CN114089364A - 一种集成化的感知系统装置及实现方法 - Google Patents
一种集成化的感知系统装置及实现方法 Download PDFInfo
- Publication number
- CN114089364A CN114089364A CN202111368558.1A CN202111368558A CN114089364A CN 114089364 A CN114089364 A CN 114089364A CN 202111368558 A CN202111368558 A CN 202111368558A CN 114089364 A CN114089364 A CN 114089364A
- Authority
- CN
- China
- Prior art keywords
- image
- sensing
- mapping
- information
- sensing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 75
- 230000008447 perception Effects 0.000 claims abstract description 66
- 230000000007 visual effect Effects 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 230000010354 integration Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 26
- 230000004888 barrier function Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 19
- 238000005070 sampling Methods 0.000 claims description 15
- 125000004122 cyclic group Chemical group 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 10
- 230000008878 coupling Effects 0.000 claims description 8
- 238000010168 coupling process Methods 0.000 claims description 8
- 238000005859 coupling reaction Methods 0.000 claims description 8
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 5
- 230000002567 autonomic effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 238000012876 topography Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/66—Tracking systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种集成化的感知系统装置及实现方法，其中，系统装置包括：感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。本发明可以较为便携地与其它可移动平台搭配使用，具有较好的工程化与集成化。
Description
技术领域
本发明涉及智能移动机器人技术领域，特别涉及一种集成化的感知系统装置及实现方法。
背景技术
为了使机器人和智能机器执行复杂的任务，它们需要具有执行感知和规划的能力，感知和规划涉及使用传感器来感知环境，并对传感器数据进行处理以做出适当的决策；感知系统主要靠具有感知不同信息的传感器构成，属于硬件部分，包括视觉、听觉、触觉以及味觉、嗅觉等传感器，如在视觉方面，目前多是利用摄像机作为视觉传感器，它与计算机相结合，并采用电视技术，使机器人具有视觉功能，可以“看到”外界的景物，经过计算机对图像的处理，就可对机器人下达如何动作的命令；而现在机器人多应用于室外非结构化的复杂环境，因而机器人的环境感知功能是提高其适应能力的必要途径，机器人环境感知设备的融合算法得到越来越多的重视，统筹运用单目相机、双目相机、近红外相机、激光扫描仪、RGB-D相机及TOF相机等多种感知手段构建其环境感知系统，能够给机器人提供更加详细、全面的全天候条件下的环境色彩与深度信息。
综上所述，机器人主要通过传感器来感知周围的环境，但是每种传感器都有其局限性，单一传感器只能反映出部分的环境信息，为了提高整个系统的有效性和稳定性，进行多传感器信息融合已经成为一种必然的要求。
因此，本发明提出一种集成化的感知系统装置及实现方法。
发明内容
本发明的目的在于提供一种集成化的感知系统装置及实现方法，用以解决上述提出的技术问题。
为实现上述目的，本发明提供如下技术方案：一种集成化的感知系统装置，包括：
感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。
优选的，所述感知系统搭建模块，还包括：
硬件控制单元：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
其中，当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
优选的，所述感知系统结构装置，还包括：
激光建图模块，用于基于LEGO-LOAM算法进行激光建图，包括：
雷达扫描单元：用于通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
建图单元：用于通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
视觉建图模块：用于基于VINS-Fusion算法来进行视觉建图，包括：
初始化单元：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
优化单元：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
优选的，所述障碍物检测模块，还包括：
获取单元：用于基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
判断单元：用于判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
优选的，所述人员识别跟踪模块，还包括：
特征提取单元：用于基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
循环采样单元：用于选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
本发明还提供如下技术方案，一种集成化的感知系统的实现方法，包括：
步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导；
优选的，步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器，包括：
1.1：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
1.2：当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
优选的，步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图，包括：
2.1：基于LEGO-LOAM算法进行激光建图，包括：
2.1.1：通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
2.1.2：通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
2.2：基于VINS-Fusion算法来进行视觉建图，包括：
2.2.1：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
2.2.2：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图。
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
优选的，步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；包括：
3.1：基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
3.2判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
优选的，步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导，包括：
4.1：基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
4.2：选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
与现有技术相比，本发明的有益效果是：
1、通过感知系统搭建模块、感知系统结构装置、障碍物检测模块和人员识别跟踪模块可以方便地进行激光与视觉的建图、楼梯的识别、地面与障碍物检测与人员识别与跟踪功能，提高了整个系统的有效性和稳定性，进行了多传感器的信息融合，具有较好的工程化与集成化。
2、能够提高步足平台在复杂地形的高机动自主适应能力，整套感知系统可以很方便地集成在其他移动平台上，能够进行感知系统的建图、感知系统对楼梯的识别、基于视觉的感知系统地面与障碍物检测、人员识别与自主跟踪功能的实现。
3、通过基于LEGO-LOAM算法进行激光建图以及基于VINS-Fusion算法来进行视觉建图，能够直接完成地图的构建、自主路径规划及运动行走控制，无需额外计算，用户可方便的在系统中集成，同时，可以帮助机器人进行描述环境、认识环境，利用环境地图来描述其当前环境信息。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明的一种集成化的感知系统装置的示意图；
图2为本发明的感知系统硬件装置图；
图3为本发明的感知系统激光雷达建图效果图；
图4为本发明的感知系统视觉建图效果图；
图5为本发明的楼梯识别效果图；
图6为本发明的基于视觉的地面与障碍物检测效果图；
图7为本发明的人员识别与自主跟踪功能效果图；
图8为本发明的一种集成化的感知系统的实现方法示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1：
本发明提供一种集成化的感知系统装置，如图1所示，包括：
感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。
该实施例中，考虑到步足平台在实际运行过程中要时刻地关注周围信息，在平台的前侧安装一个双目相机，顶部以及前方各装一个激光雷达，感知系统对环境观测更全面。
该实施例中，针对步足平台在复杂越野环境的智能、快速、伴随保障等任务要求，开展步足平台复杂环境下的地形认知、定位及自主规划技术研究，重点研究复杂地形下的环境识别与建模、步足平台自主规划等关键技术，提高步足平台在复杂地形的高机动自主适应能力，整套感知系统可以很方便地集成在其他移动平台上，能够进行感知系统的建图、感知系统对楼梯的识别、基于视觉的感知系统地面与障碍物检测、人员识别与自主跟踪功能的实现。
上述技术方案的有益效果是：通过感知系统搭建模块、感知系统结构装置、障碍物检测模块和人员识别跟踪模块可以方便地进行激光与视觉的建图、楼梯的识别、地面与障碍物检测与人员识别与跟踪功能，提高了整个系统的有效性和稳定性，进行了多传感器的信息融合，具有较好的工程化与集成化。
实施例2：
基于实施例1的基础上，如图5所示，还包括：
硬件控制单元：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
其中，当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
该实施例中，感知系统结构装置通过ROS启动相机驱动，发布相机ROS节点，包括相机图像和深度信息、使用GausianBlu来模糊图像，然后使用Canny算子进行边界检测，将图像转换为BGR格式，再应用HoughLinesP并找到所有可能的线，得到所有直线时通过处理去掉垂直直线，得到最终结果并输出。
该实施例中，硬件控制单元主要包括用于控制云台转动的机械单元、激光雷达建图的激光雷达传感器、视觉建图的双目相机传感器。
上述技术方案的有益效果是：通过硬件控制单元，可以有效的对感知器件下发控制指令，并控制对应感应器件执行相应的控制操作，能够提高在复杂地形下的高机动自主适应能力，通过感知系统对楼梯进行识别，能够使机器人在遇到楼梯时进行自主攀爬，实现了该集成化感知系统装置在复杂环境的智能、快速要求，提高了该感知系统装置的实用性。
实施例3：
基于实施例1的基础上，如图3-4所示，还包括：
激光建图模块，用于基于LEGO-LOAM算法进行激光建图，包括：
雷达扫描单元：用于通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
建图单元：用于通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
视觉建图模块：用于基于VINS-Fusion算法来进行视觉建图，包括：
初始化单元：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
优化单元：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
该实施例中，LEGO-LOAM算法步骤主要是有读取激光雷达扫描的点云数据、点云分割、特征提取、雷达里程计、雷达建图模块。
该实施例中，基于激光SLAM算法定位与建图分割的思想，构建可实现3D激光雷达实时定位与精密建图的系统，可以有效处理点云数据在激光雷达运动过程中产生的运动畸变。
上述技术方案的有益效果是：通过基于LEGO-LOAM算法进行激光建图以及基于VINS-Fusion算法来进行视觉建图，能够直接完成地图的构建、自主路径规划及运动行走控制，无需额外计算，用户可方便的在系统中集成，同时，可以帮助机器人进行描述环境、认识环境，利用环境地图来描述其当前环境信息。
实施例4：
基于实施例1的基础上，如图6所示，还包括：
获取单元：用于基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
判断单元：用于判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
该实施例中，视差图表示为同一个场景在两个相机下成像的像素的位置偏差。
该实施例中，预设的危险等级对应库，使提前设定好的，可以分析障碍物对应的危险等级。
该实施例中，预设的报警信号为声光报警信号。
上述技术方案的有益效果是：采用双目相机生成的视差图进行地面与障碍物识别与检测，能够感知到当前区域内的障碍物，并基于障碍物的感知进行下一步的规划，做出适当的决策，通过对障碍物的危险等级进行判断，可以在较快的获取到障碍物的危险系数，基于此，能够确保机器人在接下来的规划当中避免外界危险，提高了机器人在室外非结构化的复杂环境的适应能力。
实施例5：
基于实施例1的基础上，如图7所示，还包括：
特征提取单元：用于基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
循环采样单元：用于选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
该实施例中，人体检测结合分类器的思想，采用方向梯度直方图(HOG)特征结合支持向量机(SVM)的算法，通过对HOG特征的实现及优化，再经过SVM分类，可达到预期目标，即对人员的检测误差小于20cm。
上述技术方案的有益效果是：基于感知系统搭载的相机结合支持向量机的算法来进行人员识别与自主跟踪，保证了机器人视觉对实时性的要求，并将跟踪目标周围的真实环境可视化，直观的观察到跟踪人员所处的真实环境，并预警人员，提醒相关人员实施决策。
实施例6：
本发明提供一种集成化的感知系统的实现方法，如图8所示，包括：
步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导；
该实施例中，通过选型可确定感知系统硬件结构所需要的激光雷达、双目相机与主控制器，设计一种可调节云台转向的感知系统结构装置。
该实施例中，基于板载多种类型的数据接口获取各个功能的数据并进行数据计算，实现各个功能的开发。
上述技术方案的有益效果是：通过搭建感知系统结构装置等一系列步骤，可以方便地进行激光与视觉的建图、楼梯的识别、地面与障碍物检测与人员识别与跟踪功能，提高了整个系统的有效性和稳定性，同时，基于板载多种类型的数据接口，可以有效的实现各个功能的开发，确保了整体的实用性和考考下。
实施例7：
基于实施例6的基础上，步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器，包括：
1.1：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
1.2：当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
上述技术方案的有益效果是：通过对感知器件下发的控制指令，并控制对应感应器件执行相应的控制操作，能够提高在机器人在复杂地形下的高机动自主适应能力，通过对楼梯进行识别，能够使机器人在遇到楼梯时进行自主攀爬，实现了该集成化感知系统装置在复杂环境的智能、快速要求，提高了该感知系统装置的实用性。
实施例8：
基于实施例6的基础上，步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图，包括：
2.1：基于LEGO-LOAM算法进行激光建图，包括：
2.1.1：通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
2.1.2：通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
2.2：基于VINS-Fusion算法来进行视觉建图，包括：
2.2.1：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
2.2.2：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图。
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
上述技术方案的有益效果是：通过基于LEGO-LOAM算法进行激光建图以及基于VINS-Fusion算法来进行视觉建图，能够直接完成地图的构建、自主路径规划及运动行走控制，无需额外计算，用户可方便的在系统中集成，同时，可以帮助机器人进行描述环境、认识环境，利用环境地图来描述其当前环境信息。
实施例9：
基于实施例6的基础上，步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测，包括：
3.1：基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
3.2判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
该实施例中，基于视觉的地面与障碍物检测功能开发，通过妙算manifold2-C主控制器中的Ubuntu16.04系统上，通过ROS平台进行实验，为适应嵌入式轻量化需求，采用YOLOv3-tiny网络算法，将双目相机观测到的物体送入YOLOv3-tiny网络，经过算法的识别与预测，输出该物体的类别。
上述技术方案的有益效果是：通过双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，可以感知到当前区域内的障碍物，并基于障碍物的感知进行规划，进一步经过识别与预测，能够准确的输出所述障碍物的类别，通过判断障碍物个数及体积大小，能够基于获取到的障碍物的危险系数确保机器人在接下来的规划当中避免外界危险，提高了机器人在室外非结构化的复杂环境的适应能力。
实施例10：
基于实施例6的基础上，步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导，包括：
4.1：基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
4.2：选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
该实施例中，步骤4.1及步骤4.2主要是基于人体检测结合分类器的思想，采用方向梯度直方图(HOG)特征结合支持向量机(SVM)的算法，通过对HOG特征的实现及优化，再经过SVM分类，可达到预期目标，对引导人员进行误差识别检测。
上述技术方案的有益效果是：通过人体检测结合分类器的思想，采用方向梯度直方图特征结合支持向量机的算法，通过对HOG特征的实现及优化，再经过SVM分类，可达到预期目标，基于感知系统搭载的相机结合支持向量机的算法来进行人员识别与自主跟踪，保证了机器人视觉对实时性的要求，并将跟踪目标周围的真实环境可视化，直观的观察到跟踪人员所处的真实环境，并预警人员，提醒相关人员实施决策。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种集成化的感知系统装置，其特征在于，包括：
感知系统搭建模块：用于确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
所述感知系统结构装置：用于根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
障碍物检测模块：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
人员识别跟踪模块：用于对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。
2.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述感知系统搭建模块，还包括：
硬件控制单元：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
其中，当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
3.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述感知系统结构装置，还包括：
激光建图模块，用于基于LEGO-LOAM算法进行激光建图，包括：
雷达扫描单元：用于通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
建图单元：用于通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
视觉建图模块：用于基于VINS-Fusion算法来进行视觉建图，包括：
初始化单元：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
优化单元：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
4.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述障碍物检测模块，还包括：
获取单元：用于基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
判断单元：用于判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
5.如权利要求1所述的一种集成化的感知系统装置，其特征在于，所述人员识别跟踪模块，还包括：
特征提取单元：用于基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
循环采样单元：用于选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
6.一种集成化的感知系统的实现方法，其特征在于，包括：
步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器；
步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图；
步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测；
步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导。
7.如权利要求6所述的一种集成化的感知系统的实现方法，其特征在于，步骤1：确定感知系统所需要的感知器件，搭建得到感知系统结构装置，其中，所述感知器件包括激光雷达、双目相机与主控制器，包括：
1.1：用于向所述感知系统结构装置中的感知器件下发控制指令，并控制对应感应器件执行相应的控制操作；
1.2：当所述控制指令为楼梯识别指令时，控制双目相机获取对应的彩色图像，并基于楼梯识别单元将RGB格式的所述彩色图像通过加权平均法转变为灰度图像，且对所述灰度图像进行图像处理来提取边缘，并采用霍夫变换进行图像直线提取，来确定楼梯的台阶边缘在图像中的位置。
8.根据权利要求6所述的一种集成化的感知系统的实现方法，其特征在于，步骤2：根据所述感知器件的感知信息，对感知区域进行激光建图和视觉建图，包括：
2.1：基于LEGO-LOAM算法进行激光建图，包括：
2.1.1：通过所述感知系统结构装置上搭载的两个激光雷达扫描所述感知区域的环境信息，获取得到对应的点云信息；
2.1.2：通过读取所述点云信息中的点云数据，基于点云分割以及点云特征提取，将所述点云信息进行融合处理，同时，基于所述激光雷达获取得到雷达里程计，构建包含点云信息的3D环境地图；
2.2：基于VINS-Fusion算法来进行视觉建图，包括：
2.2.1：用于基于所述双目相机获取所述感知区域的环境图像，利用SFM进行纯视觉估计滑窗所有帧的位姿及3D点逆深度，将所述SFM与IMU预积分进行松耦合，对齐求解初始化参数；
2.2.2：用于基于目标函数对视觉约束、IMU约束和闭环约束进行紧耦合非线性优化，获取得到滑窗内所有帧的偏移率，基于所述偏移率获取得到基于视觉的环境地图；
其中，包含点云信息的3D环境地图以及基于视觉的环境地图即为建图结果。
9.根据权利要求6所述的一种集成化的感知系统的实现方法，其特征在于，步骤3：用于根据建图结果，对所述感知区域内地面与障碍物的位置关系进行识别检测，包括：
3.1：基于所述双目相机对障碍物生成的视差图进行三维重建与伪彩色处理，将所述视差图二值化，经过识别与预测，输出所述障碍物的类别，在二值图像基础上提取障碍物轮廓与位置信息并将障碍物信息插入环境地图；
3.2判断所述环境地图中障碍物个数及体积大小，若所述图像信息中所述障碍物个数小于或等于2，且所述障碍物小于预设体积时，基于预设的危险等级对应库，确定所述障碍物的危险等级为低危障碍物；
否则，基于预设的危险等级对应库，确定所述障碍物的危险等级为高危障碍物，同时，发出预设的报警信号。
10.根据权利要求6所述的一种集成化的感知系统的实现方法，其特征在于，步骤4：对所述感知区域中的人员进行识别跟踪，并根据建图结果以及识别检测结果，对所述人员进行自主引导的过程中，还包括：
4.1：基于所述双目相机拍摄的视频信息，对所述视频中的首帧视频初始化，获得所述人员初始目标位置的图像块，提取图像块的第一HOG特征，得到图像块特征，对所述图像块特征进傅里叶变换，计算得到初始滤波器系数；
4.2：选取所述双目相机当前拍摄的帧视频图像，对所述帧视频图像进行循环采样，建立检测样本集，提取第二HOG特征，计算得到高斯核函数，将所述高斯核函数在傅氏空间中进行相似对角化，计算得到滤波器响应，得到滤波器响应值，当所述滤波器响应值最大时，提取对应目标位置的图像块，计算得到新的滤波器系数，同时，判断当前帧是否为最后一帧；
若是，则跟踪结束；
否则，继续进行循环采样，直至跟踪结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111368558.1A CN114089364A (zh) | 2021-11-18 | 2021-11-18 | 一种集成化的感知系统装置及实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111368558.1A CN114089364A (zh) | 2021-11-18 | 2021-11-18 | 一种集成化的感知系统装置及实现方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114089364A true CN114089364A (zh) | 2022-02-25 |
Family
ID=80301596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111368558.1A Pending CN114089364A (zh) | 2021-11-18 | 2021-11-18 | 一种集成化的感知系统装置及实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114089364A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115394065A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR960021885A (ko) * | 1994-12-31 | 1996-07-18 | 김주용 | 자동차 충돌방지장치 및 방법 |
| CN103559703A (zh) * | 2013-10-08 | 2014-02-05 | 中南大学 | 基于双目视觉的起重机障碍物监测及预警方法及系统 |
| CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN109670410A (zh) * | 2018-11-29 | 2019-04-23 | 昆明理工大学 | 一种基于多特征的融合的长时运动目标跟踪方法 |
| CN111157008A (zh) * | 2020-03-05 | 2020-05-15 | 齐鲁工业大学 | 基于多维环境信息感知的局部自主导航系统及方法 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN112347840A (zh) * | 2020-08-25 | 2021-02-09 | 天津大学 | 视觉传感器激光雷达融合无人机定位与建图装置和方法 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN112967283A (zh) * | 2021-04-22 | 2021-06-15 | 上海西井信息科技有限公司 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
| CN113246963A (zh) * | 2020-02-07 | 2021-08-13 | 沃尔沃汽车公司 | 自动泊车辅助系统及其车载设备和方法 |
| CN113276769A (zh) * | 2021-04-29 | 2021-08-20 | 深圳技术大学 | 车辆盲区防撞预警系统及方法 |
| CN113516068A (zh) * | 2021-07-07 | 2021-10-19 | 智能移动机器人(中山)研究院 | 基于双目视觉的障碍物检测及人员跟随算法 |
-
2021
- 2021-11-18 CN CN202111368558.1A patent/CN114089364A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR960021885A (ko) * | 1994-12-31 | 1996-07-18 | 김주용 | 자동차 충돌방지장치 및 방법 |
| CN103559703A (zh) * | 2013-10-08 | 2014-02-05 | 中南大学 | 基于双目视觉的起重机障碍物监测及预警方法及系统 |
| CN104574376A (zh) * | 2014-12-24 | 2015-04-29 | 重庆大学 | 拥挤交通中基于双目视觉和激光雷达联合校验的防撞方法 |
| CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
| CN109670410A (zh) * | 2018-11-29 | 2019-04-23 | 昆明理工大学 | 一种基于多特征的融合的长时运动目标跟踪方法 |
| WO2020155616A1 (zh) * | 2019-01-29 | 2020-08-06 | 浙江省北大信息技术高等研究院 | 一种基于数字视网膜的拍摄装置的定位方法 |
| CN113246963A (zh) * | 2020-02-07 | 2021-08-13 | 沃尔沃汽车公司 | 自动泊车辅助系统及其车载设备和方法 |
| CN111157008A (zh) * | 2020-03-05 | 2020-05-15 | 齐鲁工业大学 | 基于多维环境信息感知的局部自主导航系统及方法 |
| CN112347840A (zh) * | 2020-08-25 | 2021-02-09 | 天津大学 | 视觉传感器激光雷达融合无人机定位与建图装置和方法 |
| CN112947415A (zh) * | 2021-01-26 | 2021-06-11 | 同济大学 | 一种基于障碍物语义信息的室内路径规划方法 |
| CN112967283A (zh) * | 2021-04-22 | 2021-06-15 | 上海西井信息科技有限公司 | 基于双目摄像头的目标识别方法、系统、设备及存储介质 |
| CN113276769A (zh) * | 2021-04-29 | 2021-08-20 | 深圳技术大学 | 车辆盲区防撞预警系统及方法 |
| CN113516068A (zh) * | 2021-07-07 | 2021-10-19 | 智能移动机器人(中山)研究院 | 基于双目视觉的障碍物检测及人员跟随算法 |
Non-Patent Citations (6)
| Title |
|---|
| IWANDER。: "【SLAM】VINS-Fusion解析——流程", Retrieved from the Internet <URL:https://blog.csdn.net/iwanderu/article/details/104837057> * |
| TIXIAO SHAN: "LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain", 2018 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS), 5 October 2018 (2018-10-05), pages 4759 - 4761 * |
| TONG QIN: "VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator", IEEE TRANSACTIONS ON ROBOTICS, vol. 34, no. 4, 31 August 2018 (2018-08-31), pages 1006 - 1010, XP011688854, DOI: 10.1109/TRO.2018.2853729 * |
| 李保国;宗光华;: "未知环境中移动机器人实时导航与避障的分层模糊控制", 机器人, no. 06, 28 November 2005 (2005-11-28), pages 482 - 501 * |
| 许雪梅: "微弱信号检测及无损探测技术研究", vol. 978, 31 July 2021, 湖南科学技术出版社 , pages: 339 - 445 * |
| 赖际舟: "不依赖于卫星的无人系统视觉 ／ 激光雷达", 导航定位与授时, vol. 8, no. 3, 31 May 2021 (2021-05-31), pages 2 - 14 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115394065A (zh) * | 2022-10-31 | 2022-11-25 | 之江实验室 | 一种基于ai自动识别丢包行为报警的方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111527463B (zh) | 用于多目标跟踪的方法和系统 | |
| US12008778B2 (en) | Information processing apparatus, control method for same, non-transitory computer-readable storage medium, and vehicle driving support system | |
| KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| Munoz et al. | Depth-aware indoor staircase detection and recognition for the visually impaired | |
| CA2950791C (en) | Binocular visual navigation system and method based on power robot | |
| CN109934848B (zh) | 一种基于深度学习的运动物体精准定位的方法 | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| CN106959691B (zh) | 可移动电子设备和即时定位与地图构建方法 | |
| Pérez-Yus et al. | Detection and modelling of staircases using a wearable depth sensor | |
| Ponnada et al. | A hybrid approach for identification of manhole and staircase to assist visually challenged | |
| Maier et al. | Self-supervised obstacle detection for humanoid navigation using monocular vision and sparse laser data | |
| Maier et al. | Vision-based humanoid navigation using self-supervised obstacle detection | |
| CN109035307B (zh) | 基于自然光双目视觉的设定区域目标追踪方法及系统 | |
| CN108089695B (zh) | 一种控制可移动设备的方法和装置 | |
| JP4042517B2 (ja) | 移動体およびその位置検出装置 | |
| CN106558051A (zh) | 一种改进的从单幅图像检测道路的方法 | |
| Herghelegiu et al. | Robust ground plane detection and tracking in stereo sequences using camera orientation | |
| Berenguel-Baeta et al. | Floor extraction and door detection for visually impaired guidance | |
| CN114089364A (zh) | 一种集成化的感知系统装置及实现方法 | |
| US11354897B2 (en) | Output control apparatus for estimating recognition level for a plurality of taget objects, display control system, and output control method for operating output control apparatus | |
| CN113496163B (zh) | 障碍物识别方法和装置 | |
| Aadi et al. | Proposed real-time obstacle detection system for visually impaired assistance based on deep learning | |
| CN108986162B (zh) | 基于惯性测量单元和视觉信息的菜品和背景分割方法 | |
| CN114800615A (zh) | 基于多源感知的机器人实时调度系统及方法 | |
| CN111783580B (zh) | 基于人腿检测的行人识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |