CN110297491A - 基于多个结构光双目ir相机的语义导航方法及其系统 - Google Patents
基于多个结构光双目ir相机的语义导航方法及其系统 Download PDFInfo
- Publication number
- CN110297491A CN110297491A CN201910587482.8A CN201910587482A CN110297491A CN 110297491 A CN110297491 A CN 110297491A CN 201910587482 A CN201910587482 A CN 201910587482A CN 110297491 A CN110297491 A CN 110297491A
- Authority
- CN
- China
- Prior art keywords
- binocular
- depth map
- module
- camera
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000004888 barrier function Effects 0.000 claims abstract description 121
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims description 42
- 241000251468 Actinopterygii Species 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 22
- 238000010408 sweeping Methods 0.000 claims description 16
- 238000001514 detection method Methods 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 9
- 238000009434 installation Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 241001417527 Pempheridae Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
基于多个结构光双目IR相机的语义导航方法及其系统，该方法包括以下步骤：步骤S1：获取环境中障碍物所对应的深度图；步骤S2：获取障碍物的二维点云数据；步骤S3：获取机器人在环境中的定位信息，构建二维栅格地图；步骤S4：识别环境中障碍物对应的语义信息；步骤S5：构建带语义的场景二维栅格地图；步骤S6：规划机器人路径，引导机器人行进；步骤S7：实时更新带语义的场景二维栅格地图。还包括基于多个结构光双目IR相机的语义导航系统。本发明视角盲区小，定位精准，能够准确对障碍物进行识别。
Description
技术领域
本发明涉及导航方法及系统，具体是涉及一种基于多个结构光双目IR相机的语义导航方法及其系统。
背景技术
随着社会的发展，机器人如扫地机器人、搬运机器人在生活工作中运用得越来越广泛。 CN201710542320公开了一种扫地机器人、扫地机器人系统及其工作方法，该扫地机器人包括控制系统、双目摄像头和图像处理系统，双目摄像头的数量为一个，双目摄像头安装于扫地机器人行进的正前方，双目摄像头只能采集扫地机器人正前方一定视角范围内的图像，存在较大的视角盲区，定位误差大，不能准确对障碍物进行识别，容易产生漏扫、重复扫、错扫等问题。
发明内容
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种基于多个结构光双目IR相机的语义导航方法及其系统，视角盲区小，定位精准，能够准确对障碍物进行识别。
本发明解决其技术问题采用的技术方案是，一种基于多个结构光双目IR相机的语义导航方法，包括以下步骤：
步骤S1：获取环境中障碍物所对应的深度图；
步骤S2：获取障碍物的二维点云数据；
步骤S3：获取机器人在环境中的定位信息，构建二维栅格地图；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划机器人路径，引导机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
进一步，所述步骤S1中，获取环境中障碍物所对应的深度图，包括以下步骤：
步骤S11:第一结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第一双目图像；第二结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第二双目图像；同时采集图像P1，图像P1为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S12:对第一双目图像进行矫正，采用基于立体匹配的方法计算第一深度图，获取第一深度图中各类障碍物的深度信息；对第二双目图像进行矫正，采用基于立体匹配的方法计算第二深度图，获取第二深度图中各类障碍物的深度信息，利用时间戳信息将第一深度图和第二深度图同步，将同步后的第一深度图和第二深度图进行融合，得到融合后的深度图。
进一步，所述步骤S2中，获取障碍物的二维点云数据，包括以下步骤：
步骤S21:选择第一深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第一结构光双目IR相机的中心，X轴为第一结构光双目IR相机的的镜头方向；
步骤S22:将步骤S21中的二维笛卡尔坐标映射成极坐标，即可获得第一双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S23:选择第二深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第二结构光双目IR相机的中心，X轴为第二结构光双目IR相机的的镜头方向；
步骤S24:将步骤S23中的二维笛卡尔坐标映射成极坐标，即可获得第二双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S25：根据第一结构光双目IR相机和第二结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
进一步，所述步骤S3中，获取机器人在环境中的定位信息，构建二维栅格地图，包括以下步骤：
步骤S31:利用非线性最小二乘法，利用障碍物的二维点云数据的前一帧位姿及相邻帧之间的关系估计当前帧的位姿，从而得到机器人在环境中的定位信息；
步骤S32: 采用贝叶斯估计方法生成和维护二维栅格地图；
步骤S33:利用图优化理论和高斯-牛顿最优化方法来优化定位和建图过程中的累计误差；
步骤S34:利用当前帧到局部地图匹配（scan-to-map）的检测闭环方法进行闭环检测与验证。
进一步，所述步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于融合后的深度图提取障碍物，结合图像P1，通过深度神经网络的方法识别各类障碍物的类别标签，从而获取各类障碍物的语义信息。
进一步，所述步骤S5中，构建带语义的场景二维栅格地图，具体方法如下：
根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
进一步，所述步骤S31中，利用鱼眼镜头相机获取机器人当前的定位信息和关键帧图像对应的机器人定位信息，包括以下步骤：
步骤S311：利用鱼眼镜头相机获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向；
步骤S312：提取并跟踪每帧图像P2的视觉局部特征信息；
步骤S313：采集两帧图像P2间的惯性导航单元信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P2间机器人的相对位置和相对姿态，得到预积分结果；
步骤S314：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息。
进一步，所述步骤S11还包括：第三结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第三双目图像；所述步骤S12还包括：对第三双目图像进行矫正，采用基于立体匹配的方法计算第三深度图，获取第三深度图中各类障碍物的深度信息，利用时间戳信息将第一深度图、第二深度图和第三深度图同步，将同步后的第一深度图、第二深度图和第三深度图进行融合，得到融合后的深度图；所述步骤S2还包括：选择第三深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第三结构光双目IR相机的中心，X轴为第三结构光双目IR相机的的镜头方向；将第三深度图的二维笛卡尔坐标映射成极坐标，即可获得第三双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；根据第一结构光双目IR相机、第二结构光双目IR相机、第三结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据、第二双目图像视野下障碍物的二维点云数据和第三双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
一种基于多个结构光双目IR相机的语义导航系统，其包括第一结构光双目IR相机、第二结构光双目IR相机、RGB相机、第一深度图获取模块、第二深度图获取模块、深度图融合及点云数据获取模块、语义分析模块、SLAM模块、语义地图构建模块、路径规划模块，第一结构光双目IR相机与第一深度图获取模块相连，第二结构光双目IR相机与第二深度图获取模块相连，第一深度图获取模块、第二深度图获取模块与深度图融合及点云数据获取模块相连，深度图融合及点云数据获取模块与SLAM模块相连，SLAM模块与语义地图构建模块相连，语义地图构建模块与路径规划模块相连；RGB相机与语义分析模块相连，语义分析模块分别与深度图融合及点云数据获取模块、语义地图构建模块相连；
所述第一结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第一双目图像；
所述第二结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第二双目图像；
所述RGB相机用于获取图像P1，图像P1为沿X轴方向的RGB图像；
所述第一深度图获取模块用于获取第一双目图像中各类障碍物所对应的的第一深度图；
所述第二深度图获取模块用于获取第二双目图像中各类障碍物所对应的的第二深度图；
所述深度图融合及点云数据获取模块用于将第一深度图和第二深度图进行融合图；获取障碍物的二维点云数据；
所述SLAM模块用于获取机器人在环境中的定位信息；
所述语义分析模块用于识别环境中障碍物对应的语义信息；
所述语义地图构建模块用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图；
所述路径规划模块用于用于规划机器人路径，引导机器人行进。
进一步，所述深度图融合及点云数据获取模块包括深度图融合模块、第一深度信息映射模块、第二深度信息映射模块和二维点云数据融合模块，所述第一深度信息映射模块、第二深度信息映射模块分别与二维点云数据融合模块相连，所述深度图融合模块、二维点云数据融合模块分别与SLAM模块相连；
所述深度图融合模块用于将第一深度图和第二深度图进行融合；
所述第一深度信息映射模块用于将第一深度图的深度信息映射
到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第一双目图像视野下障碍物的二维点云数据；
所述第二深度信息映射模块用于将第二深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第二双目图像视野下障碍物的二维点云数据；
所述二维点云数据融合模块用于合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
进一步，还包括鱼眼镜头相机，鱼眼镜头相机与SLAM模块相连，鱼眼镜头相机用于获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向。
进一步，还包括第三结构光双目IR相机和第三深度图获取模块，第三结构光双目IR相机与第三深度图获取模块相连，第三深度图获取模块与深度图融合及点云数据获取模块相连；
第三结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第三双目图像；
第三深度图获取模块用于获取第三双目图像中各类障碍物所对应的的第三深度图。
进一步，所述深度图融合及点云数据获取模块还包括第三深度信息映射模块，第三深度信息映射模块用于将第三深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第三双目图像视野下障碍物的二维点云数据。
与现有技术相比，本发明的优点如下：本发明设有不同视角朝向的第一结构光双目IR相机、第二结构光双目IR相机，能够同时采集不同视角朝向的图像，生成不同结构光双目IR相机下的二维点云数据，并合并两个二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据，利用合成的二维点云数据进行定位，视角盲区小，定位精准，能够准确对障碍物进行识别，能够有效解决漏扫、重复扫、错扫等问题。
附图说明
图1是本发明实施例1之基于多个结构光双目IR相机的语义导航方法的流程图。
图2是本发明实施例1之基于多个结构光双目IR相机的语义导航系统的结构框图。
图3是图2所示实施例1的机器人的结构示意图。
图4是本发明实施例2之基于多个结构光双目IR相机的语义导航系统的结构框图。
图5是图4所示实施例2的机器人的结构示意图。
图6是本发明实施例3之基于多个结构光双目IR相机的语义导航系统的结构框图。
图7是图6所示实施例3的机器人的结构示意图。
图8是本发明实施例4之基于多个结构光双目IR相机的语义导航系统的结构框图。
图9是图8所示实施例4的机器人的结构示意图。
图中，1—机器人，2—RGB相机，3—第一结构光双目IR相机，4—第二结构光双目IR相机，5—第一深度图获取模块，6—第二深度图获取模块，7—深度图融合及点云数据获取模块，8—语义分析模块，9—SLAM模块，10—语义地图构建模块，11—路径规划模块，12—鱼眼镜头相机，13—第三结构光双目IR相机，14—第三深度图获取模块。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
实施例1
参照图1，本实施之基于多个结构光双目IR相机的语义导航方法，包括以下步骤：
步骤S1：获取环境中障碍物所对应的深度图；
步骤S2：获取障碍物的二维点云数据；
步骤S3：获取机器人在环境中的定位信息，构建二维栅格地图；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划机器人路径，引导机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
本实施例中，步骤S1中，获取环境中障碍物所对应的深度图，包括以下步骤：
步骤S11:第一结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第一双目图像；第二结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第二双目图像；同时采集图像P1，图像P1为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S12:对第一双目图像进行矫正，采用基于立体匹配的方法计算第一深度图，获取第一深度图中各类障碍物的深度信息；对第二双目图像进行矫正，采用基于立体匹配的方法计算第二深度图，获取第二深度图中各类障碍物的深度信息，利用时间戳信息将第一深度图和第二深度图图同步，将同步后的第一深度图和第二深度图进行融合，得到融合后的深度图。
本实施例中，步骤S2中，获取障碍物的二维点云数据，包括以下步骤：
步骤S21:选择第一深度图的扫地机器人高度范围内的连续十行像素点数据，将十行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第一结构光双目IR相机的中心，X轴为第一结构光双目IR相机的的镜头方向；
步骤S22:根据相机的小孔成像原理将步骤S21中的二维笛卡尔坐标映射成极坐标，即可获得第一双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S23:选择第二深度图的扫地机器人高度范围内的连续十行像素点数据，将十行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第二结构光双目IR相机的中心，X轴为第二结构光双目IR相机的的镜头方向；
步骤S24:根据相机的小孔成像原理将步骤S23中的二维笛卡尔坐标映射成极坐标，即可获得第二双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S25：根据第一结构光双目IR相机和第二结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
本实施例中，步骤S3中，获取机器人在环境中的定位信息，构建二维栅格地图，包括以下步骤：
步骤S31:利用非线性最小二乘法，利用障碍物的二维点云数据的前一帧位姿及相邻帧之间的关系估计当前帧的位姿，从而得到机器人在环境中的定位信息；
步骤S32: 采用贝叶斯估计方法生成和维护二维栅格地图；
步骤S33:利用图优化理论和高斯-牛顿最优化方法来优化定位和建图过程中的累计误差；
步骤S34:利用当前帧到局部地图匹配（scan-to-map）的检测闭环方法进行闭环检测与验证，从而减少二维栅格地图的漂移现象。
本实施例中，步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于融合后的深度图提取障碍物，结合图像P1，通过深度神经网络的方法识别各类障碍物的类别标签，从而获取各类障碍物的语义信息。
本实施例中，步骤S5中，构建带语义的场景二维栅格地图，具体方法如下：
根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
本实施例中，步骤S6中，规划机器人路径的方法是：基于带语义的场景二维栅格地图，规划机器人路径，覆盖设定的区域并避开障碍物。
参照图2，本实施之基于多个结构光双目IR相机的语义导航系统，包括第一结构光双目IR相机3、第二结构光双目IR相机4、RGB相机2、第一深度图获取模块5、第二深度图获取模块6、深度图融合及点云数据获取模块7、语义分析模块8、SLAM模块9、语义地图构建模块10、路径规划模块11，第一结构光双目IR相机3与第一深度图获取模块5相连，第二结构光双目IR相机4与第二深度图获取模块6相连，第一深度图获取模块5、第二深度图获取模块6与深度图融合及点云数据获取模块7相连，深度图融合及点云数据获取模块7与SLAM模块9相连，SLAM模块9与语义地图构建模块10相连，语义地图构建模块10与路径规划模块11相连；RGB相机2与语义分析模块8相连，语义分析模块8分别与深度图融合及点云数据获取模块7、语义地图构建模块10相连。
第一结构光双目IR相机3用于发射红外结构光，采集带有结构光斑点的同步的第一双目图像。
第二结构光双目IR相机4用于发射红外结构光，采集带有结构光斑点的同步的第二双目图像。
RGB相机2用于获取图像P1，图像P1为沿X轴方向的RGB图像。
第一深度图获取模块5用于获取第一双目图像中各类障碍物所对应的的第一深度图。
第二深度图获取模块6用于获取第二双目图像中各类障碍物所对应的的第二深度图。
深度图融合及点云数据获取模块7用于将第一深度图和第二深度图进行融合图；获取障碍物的二维点云数据。
SLAM模块9用于获取机器人在环境中的定位信息。
语义分析模块8用于识别环境中障碍物对应的语义信息。
语义地图构建模块10用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图。
路径规划模块11用于用于规划机器人路径，引导机器人行进。
深度图融合及点云数据获取模块7包括深度图融合模块、第一深度信息映射模块、第二深度信息映射模块、二维点云数据融合模块，第一深度信息映射模块、第二深度信息映射模块分别与二维点云数据融合模块相连，深度图融合模块、二维点云数据融合模块分别与SLAM模块9相连。
深度图融合模块用于将第一深度图和第二深度图进行融合。
第一深度信息映射模块用于将第一深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第一双目图像视野下障碍物的二维点云数据。
第二深度信息映射模块用于将第二深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第二双目图像视野下障碍物的二维点云数据。
二维点云数据融合模块用于合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
参照图3，本实施例中， RGB相机2安装于机器人1的外壳侧面，RGB相机2的镜头方向与X轴方向一致；第一结构光双目IR相机3和第二结构光双目IR相机4以RGB相机2为中心对称安装于机器人1的外壳两侧，第一结构光双目IR相机3、第二结构光双目IR相机4的镜头方向在XY轴平面内与X轴呈30度夹角。
第一结构光双目IR相机3、第二结构光双目IR相机4均由红外结构光发生器以及两个IR相机组成，IR相机以红外结构光发生器为中心对称设于机器人1的外壳侧面，IR相机的镜头方向及红外结构光发生器的探测方向在XY轴平面内与X轴呈30度夹角；两个IR相机的间距可以根据需要进行调整。其中X、Y是三维笛卡尔坐标的坐标轴，X轴表示机器人1前进的方向，Y轴表示水平面内与X轴垂直的坐标轴。
实施例2
本实施例之基于多个结构光双目IR相机的语义导航方法与实施例1的区别仅在于：本实施例利用障碍物的二维点云数据定位，利用鱼眼镜头相机辅助定位。
步骤S3中，获取机器人在环境中的定位信息，构建二维栅格地图，包括以下步骤：
步骤S31:利用非线性最小二乘法，利用障碍物的二维点云数据的前一帧位姿及相邻帧之间的关系估计当前帧的位姿；利用鱼眼镜头相机获取机器人当前的定位信息和关键帧图像对应的机器人定位信息，辅助修正当前帧的位姿，从而得到机器人在环境中的定位信息；
步骤S32: 采用贝叶斯估计方法生成和维护二维栅格地图；
步骤S33:利用图优化理论和高斯-牛顿最优化方法来优化定位和建图过程中的累计误差；
步骤S34:利用当前帧到局部地图匹配（scan-to-map）的检测闭环方法进行闭环检测与验证，从而减少二维栅格地图的漂移现象。
步骤S31中，利用鱼眼镜头相机获取机器人当前的定位信息和关键帧图像对应的机器人定位信息，包括以下步骤：
步骤S311：利用鱼眼镜头相机获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向；
步骤S312：提取并跟踪每帧图像P2的视觉局部特征信息；
步骤S313：采集两帧图像P2间的惯性导航单元（IMU）信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P2间机器人的相对位置和相对姿态，得到预积分结果；
步骤S314：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息。
其余同实施例1。
参照图4，本实施之基于多个结构光双目IR相机的语义导航系统与实施例1的区别仅在于：还包括鱼眼镜头相机12，鱼眼镜头相机12与SLAM模块9相连，鱼眼镜头相机12用于获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向。
其余同实施例1。
参照图5，本实施例中，鱼眼镜头相机12安装于机器人1的外壳顶部，鱼眼镜头相机12的镜头方向沿Z轴方向；RGB相机2安装于机器人1的外壳侧面，RGB相机2的镜头方向与X轴方向一致；第一结构光双目IR相机3和第二结构光双目IR相机4以RGB相机2为中心对称安装于机器人1的外壳两侧，第一结构光双目IR相机3、第二结构光双目IR相机4的镜头方向在XY轴平面内与X轴呈45度夹角。
第一结构光双目IR相机3、第二结构光双目IR相机4均由红外结构光发生器以及两个IR相机组成，IR相机以红外结构光发生器为中心对称设于机器人1的外壳侧面，IR相机的镜头方向及红外结构光发生器的探测方向在XY轴平面内与X轴呈45度夹角；两个IR相机的间距可以根据需要进行调整。其中X、Y是三维笛卡尔坐标的坐标轴，X轴表示机器人1前进的方向，Y轴表示水平面内与X轴垂直的坐标轴，Z轴表示竖直朝上的坐标轴。
实施例3
参照图6，本实施例之基于多个结构光双目IR相机的语义导航方法与实施例1的区别仅在于：本实施例利用三个结构光双目IR相机来获取障碍物的二维点云数据。
本实施例中，步骤S1中，获取环境中障碍物所对应的深度图，包括以下步骤：
步骤S11:第一结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第一双目图像；第二结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第二双目图像；第三结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第三双目图像；同时采集图像P1，图像P1为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S12:对第一双目图像进行矫正，采用基于立体匹配的方法计算第一深度图，获取第一深度图中各类障碍物的深度信息；对第二双目图像进行矫正，采用基于立体匹配的方法计算第二深度图，获取第二深度图中各类障碍物的深度信息；对第三双目图像进行矫正，采用基于立体匹配的方法计算第三深度图，获取第三深度图中各类障碍物的深度信息；利用时间戳信息将第一深度图、第二深度图和第三深度图同步，将同步后的第一深度图、第二深度图和第三深度图进行融合，得到融合后的深度图。
本实施例中，步骤S2中，获取障碍物的二维点云数据，包括以下步骤：
步骤S21:选择第一深度图的扫地机器人高度范围内的连续十行像素点数据，将十行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第一结构光双目IR相机的中心，X轴为第一结构光双目IR相机的的镜头方向；
步骤S22:根据相机的小孔成像原理将步骤S21中的二维笛卡尔坐标映射成极坐标，即可获得第一双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S23:选择第二深度图的扫地机器人高度范围内的连续十行像素点数据，将十行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第二结构光双目IR相机的中心，X轴为第二结构光双目IR相机的的镜头方向；
步骤S24:根据相机的小孔成像原理将步骤S23中的二维笛卡尔坐标映射成极坐标，即可获得第二双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S25:选择第三深度图的扫地机器人高度范围内的连续十行像素点数据，将十行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第三结构光双目IR相机的中心，X轴为第三结构光双目IR相机的的镜头方向；
步骤S26:根据相机的小孔成像原理将步骤S25中的二维笛卡尔坐标映射成极坐标，即可获得第三双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S27：根据第一结构光双目IR相机、第二结构光双目IR相机、第三结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据、第二双目图像视野下障碍物的二维点云数据和第三双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
其余同实施例1。
参照图7，本实施之基于多个结构光双目IR相机的语义导航系统与实施例1的区别仅在于：还包括第三结构光双目IR相机13和第三深度图获取模块14，第三结构光双目IR相机13与第三深度图获取模块14相连，第三深度图获取模块14与深度图融合及点云数据获取模块7相连。
第三结构光双目IR相机13用于发射红外结构光，采集带有结构光斑点的同步的第三双目图像。
第三深度图获取模块14用于获取第三双目图像中各类障碍物所对应的的第三深度图。
深度图融合及点云数据获取模块7还包括第三深度信息映射模块，第三深度信息映射模块与二维点云数据融合模块相连。
其余同实施例1。
本实施例中，第三结构光双目IR相机13安装于机器人1的外壳侧面下部，第三结构光双目IR相机13的镜头方向与X轴方向一致；RGB相机2安装于机器人1的外壳侧面中部，位于第三结构光双目IR相机13的正上方，RGB相机2的镜头方向与X轴方向一致；第一结构光双目IR相机3和第二结构光双目IR相机4以RGB相机2为中心对称安装于机器人1的外壳两侧，第一结构光双目IR相机3、第二结构光双目IR相机4的镜头方向在XY轴平面内与X轴呈60度夹角。
第一结构光双目IR相机3、第二结构光双目IR相机4、第三结构光双目IR相机13均由红外结构光发生器以及两个IR相机组成，IR相机以红外结构光发生器为中心对称设于机器人1的外壳侧面，IR相机的镜头方向及红外结构光发生器的探测方向在XY轴平面内与X轴呈60度夹角；两个IR相机的间距可以根据需要进行调整。其中X、Y是三维笛卡尔坐标的坐标轴，X轴表示机器人1前进的方向，Y轴表示水平面内与X轴垂直的坐标轴，Z轴表示竖直朝上的坐标轴。
实施例4
参照图8，本实施例之基于多个结构光双目IR相机的语义导航方法与实施例1的区别仅在于：本实施例利用三个结构光双目IR相机来获取障碍物的二维点云数据；本实施例利用障碍物的二维点云数据定位，利用鱼眼镜头相机辅助定位。
本实施之基于多个结构光双目IR相机的语义导航系统与实施例1的区别仅在于：还包括第三结构光双目IR相机13和第三深度图获取模块14，第三结构光双目IR相机13与第三深度图获取模块14相连，第三深度图获取模块14与深度图融合及点云数据获取模块7相连。
第三结构光双目IR相机13用于发射红外结构光，采集带有结构光斑点的同步的第三双目图像。
第三深度图获取模块14用于获取第三双目图像中各类障碍物所对应的的第一深度图。
还包括鱼眼镜头相机12，鱼眼镜头相机12与SLAM模块9相连，鱼眼镜头相机12获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向。
其余同实施例1。
参照图9，本实施例中，鱼眼镜头相机12安装于机器人1的外壳顶部，鱼眼镜头相机12的镜头方向沿Z轴方向；第三结构光双目IR相机13安装于机器人1的外壳侧面下部，第三结构光双目IR相机13的镜头方向与X轴方向一致；RGB相机2安装于机器人1的外壳侧面中部，位于第三结构光双目IR相机13的正上方，RGB相机2的镜头方向与X轴方向一致；第一结构光双目IR相机3和第二结构光双目IR相机4以RGB相机2为中心对称安装于机器人1的外壳两侧，第一结构光双目IR相机3、第二结构光双目IR相机4的镜头方向在XY轴平面内与X轴呈30度夹角。
第一结构光双目IR相机3、第二结构光双目IR相机4均由红外结构光发生器以及两个IR相机组成，IR相机以红外结构光发生器为中心对称设于机器人1的外壳侧面，IR相机的镜头方向及红外结构光发生器的探测方向在XY轴平面内与X轴呈30度夹角；两个IR相机的间距可以根据需要进行调整。其中X、Y是三维笛卡尔坐标的坐标轴，X轴表示机器人1前进的方向，Y轴表示水平面内与X轴垂直的坐标轴，Z轴表示竖直朝上的坐标轴。
本发明方法及系统可适用于扫地机器人及搬运机器人（AGV Automated GuidedVehicle）。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
Claims (13)
1.一种基于多个结构光双目IR相机的语义导航方法，其特征在于， 包括以下步骤：
步骤S1：获取环境中障碍物所对应的深度图；
步骤S2：获取障碍物的二维点云数据；
步骤S3：获取机器人在环境中的定位信息，构建二维栅格地图；
步骤S4：识别环境中障碍物对应的语义信息；
步骤S5：构建带语义的场景二维栅格地图；
步骤S6：规划机器人路径，引导机器人行进；
步骤S7：实时更新带语义的场景二维栅格地图。
2.如权利要求1所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S1中，获取环境中障碍物所对应的深度图，包括以下步骤：
步骤S11:第一结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第一双目图像；第二结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第二双目图像；同时采集图像P1，图像P1为沿X轴方向的RGB图像；通过红外结构光提升双目图像的环境纹理丰富程度，实现对弱纹理或无纹理环境的深度估计；
步骤S12:对第一双目图像进行矫正，采用基于立体匹配的方法计算第一深度图，获取第一深度图中各类障碍物的深度信息；对第二双目图像进行矫正，采用基于立体匹配的方法计算第二深度图，获取第二深度图中各类障碍物的深度信息，利用时间戳信息将第一深度图和第二深度图同步，将同步后的第一深度图和第二深度图进行融合，得到融合后的深度图。
3.如权利要求2所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S2中，获取障碍物的二维点云数据，包括以下步骤：
步骤S21:选择第一深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第一结构光双目IR相机的中心，X轴为第一结构光双目IR相机的的镜头方向；
步骤S22:将步骤S21中的二维笛卡尔坐标映射成极坐标，即可获得第一双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S23:选择第二深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第二结构光双目IR相机的中心，X轴为第二结构光双目IR相机的的镜头方向；
步骤S24:将步骤S23中的二维笛卡尔坐标映射成极坐标，即可获得第二双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；
步骤S25：根据第一结构光双目IR相机和第二结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
4.如权利要求1-3之一所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S3中，获取机器人在环境中的定位信息，构建二维栅格地图，包括以下步骤：
步骤S31:利用非线性最小二乘法，利用障碍物的二维点云数据的前一帧位姿及相邻帧之间的关系估计当前帧的位姿，从而得到机器人在环境中的定位信息；
步骤S32: 采用贝叶斯估计方法生成和维护二维栅格地图；
步骤S33:利用图优化理论和高斯-牛顿最优化方法来优化定位和建图过程中的累计误差；
步骤S34:利用当前帧到局部地图匹配的检测闭环方法进行闭环检测与验证。
5.如权利要求2所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S4中，识别环境中障碍物对应的语义信息的具体方法如下：
基于融合后的深度图提取障碍物，结合图像P1，通过深度神经网络的方法识别各类障碍物的类别标签，从而获取各类障碍物的语义信息。
6.如权利要求1或2所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S5中，构建带语义的场景二维栅格地图，具体方法如下：
根据障碍物语义信息扩展二维栅格地图的语义信息，获得带语义的场景二维栅格地图。
7.如权利要求4所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S31中，利用鱼眼镜头相机获取机器人当前的定位信息和关键帧图像对应的机器人定位信息，包括以下步骤：
步骤S311：利用鱼眼镜头相机获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向；
步骤S312：提取并跟踪每帧图像P2的视觉局部特征信息；
步骤S313：采集两帧图像P2间的惯性导航单元信息和里程计信息，并利用惯性导航单元信息和预积分方法计算惯性导航单元信息对应的两帧图像P2间机器人的相对位置和相对姿态，得到预积分结果；
步骤S314：基于非线性优化方法计算机器人当前三维位置和姿态，以及跟踪上的视觉局部特征信息所对应的地图点的三维位置，并筛选关键帧图像，通过非线性最小二乘法融合所有的视觉局部特征信息、预积分结果和里程计信息，以获得当前局部地图中机器人当前三维位置、姿态以及跟踪上的视觉局部特征信息所对应的地图点的三维位置的最优解，从而得到机器人当前的定位信息和关键帧图像对应的机器人定位信息。
8.如权利要求3所述的基于多个结构光双目IR相机的语义导航方法，其特征在于：所述步骤S11还包括：第三结构光双目IR相机发射红外结构光，采集带有结构光斑点的同步的第三双目图像；所述步骤S12还包括：对第三双目图像进行矫正，采用基于立体匹配的方法计算第三深度图，获取第三深度图中各类障碍物的深度信息，利用时间戳信息将第一深度图、第二深度图和第三深度图同步，将同步后的第一深度图、第二深度图和第三深度图进行融合，得到融合后的深度图；所述步骤S2还包括：选择第三深度图的扫地机器人高度范围内的连续多行像素点数据，将多行像素点数据的深度值取平均，得到平均深度值，将平均深度值映射到二维笛卡尔坐标系，该坐标系的原点为第三结构光双目IR相机的中心，X轴为第三结构光双目IR相机的的镜头方向；将第三深度图的二维笛卡尔坐标映射成极坐标，即可获得第三双目图像视野下障碍物的二维点云数据，极点为二维笛卡尔坐标系的原点，极轴为二维笛卡尔坐标系的X轴；根据第一结构光双目IR相机、第二结构光双目IR相机、第三结构光双目IR相机的安装位置和姿态，合并第一双目图像视野下障碍物的二维点云数据、第二双目图像视野下障碍物的二维点云数据和第三双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
9.一种基于多个结构光双目IR相机的语义导航系统，其特征在于：包括第一结构光双目IR相机、第二结构光双目IR相机、RGB相机、第一深度图获取模块、第二深度图获取模块、深度图融合及点云数据获取模块、语义分析模块、SLAM模块、语义地图构建模块、路径规划模块，第一结构光双目IR相机与第一深度图获取模块相连，第二结构光双目IR相机与第二深度图获取模块相连，第一深度图获取模块、第二深度图获取模块与深度图融合及点云数据获取模块相连，深度图融合及点云数据获取模块与SLAM模块相连，SLAM模块与语义地图构建模块相连，语义地图构建模块与路径规划模块相连；RGB相机与语义分析模块相连，语义分析模块分别与深度图融合及点云数据获取模块、语义地图构建模块相连；
所述第一结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第一双目图像；
所述第二结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第二双目图像；
所述RGB相机用于获取图像P1，图像P1为沿X轴方向的RGB图像；
所述第一深度图获取模块用于获取第一双目图像中各类障碍物所对应的的第一深度图；
所述第二深度图获取模块用于获取第二双目图像中各类障碍物所对应的的第二深度图；
所述深度图融合及点云数据获取模块用于将第一深度图和第二深度图进行融合图；获取障碍物的二维点云数据；
所述SLAM模块用于获取机器人在环境中的定位信息；
所述语义分析模块用于识别环境中障碍物对应的语义信息；
所述语义地图构建模块用于构建带语义的场景二维栅格地图，并实时更新带语义的场景二维栅格地图；
所述路径规划模块用于用于规划机器人路径，引导机器人行进。
10.如权利要求9所述的基于多个结构光双目IR相机的语义导航系统，其特征在于：所述深度图融合及点云数据获取模块包括深度图融合模块、第一深度信息映射模块、第二深度信息映射模块和二维点云数据融合模块，所述第一深度信息映射模块、第二深度信息映射模块分别与二维点云数据融合模块相连，所述深度图融合模块、二维点云数据融合模块分别与SLAM模块相连；
所述深度图融合模块用于将第一深度图和第二深度图进行融合；
所述第一深度信息映射模块用于将第一深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第一双目图像视野下障碍物的二维点云数据；
所述第二深度信息映射模块用于将第二深度图的深度信息映射
到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第二双目图像视野下障碍物的二维点云数据；
所述二维点云数据融合模块用于合并第一双目图像视野下障碍物的二维点云数据和第二双目图像视野下障碍物的二维点云数据，对具有相同极角的极径数据进行滤波合并，得到一个更大视角的障碍物的二维点云数据。
11.如权利要求9或10所述的基于多个结构光双目IR相机的语义导航系统，其特征在于：还包括鱼眼镜头相机，鱼眼镜头相机与SLAM模块相连，鱼眼镜头相机用于获取图像P2，图像P2为沿Z轴方向的RGB图像，X、Z是三维笛卡尔坐标的坐标轴，Z轴表示竖直朝上的坐标，X轴表示机器人前进的方向。
12.如权利要求9或10所述的基于多个结构光双目IR相机的语义导航系统，其特征在于：还包括第三结构光双目IR相机和第三深度图获取模块，第三结构光双目IR相机与第三深度图获取模块相连，第三深度图获取模块与深度图融合及点云数据获取模块相连；
第三结构光双目IR相机用于发射红外结构光，采集带有结构光斑点的同步的第三双目图像；
第三深度图获取模块用于获取第三双目图像中各类障碍物所对应的的第三深度图。
13.如权利要求12所述的基于多个结构光双目IR相机的语义导航系统，其特征在于：所述深度图融合及点云数据获取模块还包括第三深度信息映射模块，第三深度信息映射模块用于将第三深度图的深度信息映射到二维笛卡尔坐标系，再将二维笛卡尔坐标映射成极坐标，获取第三双目图像视野下障碍物的二维点云数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587482.8A CN110297491A (zh) | 2019-07-02 | 2019-07-02 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910587482.8A CN110297491A (zh) | 2019-07-02 | 2019-07-02 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110297491A true CN110297491A (zh) | 2019-10-01 |
Family
ID=68029788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910587482.8A Pending CN110297491A (zh) | 2019-07-02 | 2019-07-02 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110297491A (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766793A (zh) * | 2019-10-08 | 2020-02-07 | 北京地平线机器人技术研发有限公司 | 一种基于语义点云的地图构建方法及装置 |
| CN110782506A (zh) * | 2019-11-21 | 2020-02-11 | 大连理工大学 | 一种利用红外相机和深度相机融合构建栅格地图的方法 |
| CN110889364A (zh) * | 2019-11-21 | 2020-03-17 | 大连理工大学 | 一种利用红外传感器和可见光传感器构建栅格地图的方法 |
| CN110910498A (zh) * | 2019-11-21 | 2020-03-24 | 大连理工大学 | 一种利用激光雷达和双目相机构建栅格地图的方法 |
| CN111028350A (zh) * | 2019-11-21 | 2020-04-17 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
| CN111161334A (zh) * | 2019-12-31 | 2020-05-15 | 南通大学 | 一种基于深度学习的语义地图构建方法 |
| CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
| CN111590589A (zh) * | 2020-06-04 | 2020-08-28 | 小狗电器互联网科技（北京）股份有限公司 | 机器人及目标物定位系统 |
| CN111665842A (zh) * | 2020-06-09 | 2020-09-15 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及系统 |
| CN112506182A (zh) * | 2020-10-29 | 2021-03-16 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人定位方法、装置、计算机设备和存储介质 |
| CN113031597A (zh) * | 2021-03-02 | 2021-06-25 | 南京理工大学 | 一种基于深度学习和立体视觉的自主避障方法 |
| CN113238554A (zh) * | 2021-05-08 | 2021-08-10 | 武汉科技大学 | 一种基于激光与视觉融合slam技术的室内导航方法及系统 |
| CN114004880A (zh) * | 2021-04-08 | 2022-02-01 | 四川大学华西医院 | 双目相机的点云和强反光目标实时定位方法 |
| CN114429432A (zh) * | 2022-04-07 | 2022-05-03 | 科大天工智能装备技术（天津）有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
| CN117093009A (zh) * | 2023-10-19 | 2023-11-21 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
| CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102042835A (zh) * | 2010-11-05 | 2011-05-04 | 中国海洋大学 | 自主式水下机器人组合导航系统 |
| US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人系统及其测控方法 |
| CN106575438A (zh) * | 2014-08-29 | 2017-04-19 | X开发有限责任公司 | 立体和结构光处理的组合 |
| CN108171796A (zh) * | 2017-12-25 | 2018-06-15 | 燕山大学 | 一种基于三维点云的巡检机器人视觉系统及控制方法 |
| CN108428255A (zh) * | 2018-02-10 | 2018-08-21 | 台州智必安科技有限责任公司 | 一种基于无人机的实时三维重建方法 |
| CN108920584A (zh) * | 2018-06-25 | 2018-11-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109559320A (zh) * | 2018-09-18 | 2019-04-02 | 华东理工大学 | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
| CN109816769A (zh) * | 2017-11-21 | 2019-05-28 | 深圳市优必选科技有限公司 | 基于深度相机的场景地图生成方法、装置及设备 |
-
2019
- 2019-07-02 CN CN201910587482.8A patent/CN110297491A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
| CN102042835A (zh) * | 2010-11-05 | 2011-05-04 | 中国海洋大学 | 自主式水下机器人组合导航系统 |
| CN103054522A (zh) * | 2012-12-31 | 2013-04-24 | 河海大学 | 基于视觉测量的清洁机器人系统及其测控方法 |
| CN106575438A (zh) * | 2014-08-29 | 2017-04-19 | X开发有限责任公司 | 立体和结构光处理的组合 |
| CN109816769A (zh) * | 2017-11-21 | 2019-05-28 | 深圳市优必选科技有限公司 | 基于深度相机的场景地图生成方法、装置及设备 |
| CN108171796A (zh) * | 2017-12-25 | 2018-06-15 | 燕山大学 | 一种基于三维点云的巡检机器人视觉系统及控制方法 |
| CN108428255A (zh) * | 2018-02-10 | 2018-08-21 | 台州智必安科技有限责任公司 | 一种基于无人机的实时三维重建方法 |
| CN108920584A (zh) * | 2018-06-25 | 2018-11-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
| CN109272481A (zh) * | 2018-07-13 | 2019-01-25 | 南京理工大学 | 一种基于深度摄像头的障碍物检测方法 |
| CN109559320A (zh) * | 2018-09-18 | 2019-04-02 | 华东理工大学 | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 |
| CN109636905A (zh) * | 2018-12-07 | 2019-04-16 | 东北大学 | 基于深度卷积神经网络的环境语义建图方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张文等: "基于语义建图的室内机器人实时场景分类", 《传感器与微系统》 * |
| 徐渊等: "一种多目立体视觉的三维激光扫描系统设计", 《计算机与数字工程》 * |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110766793A (zh) * | 2019-10-08 | 2020-02-07 | 北京地平线机器人技术研发有限公司 | 一种基于语义点云的地图构建方法及装置 |
| CN110766793B (zh) * | 2019-10-08 | 2023-06-30 | 北京地平线机器人技术研发有限公司 | 一种基于语义点云的地图构建方法及装置 |
| WO2021098079A1 (zh) * | 2019-11-21 | 2021-05-27 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
| CN110782506A (zh) * | 2019-11-21 | 2020-02-11 | 大连理工大学 | 一种利用红外相机和深度相机融合构建栅格地图的方法 |
| CN110889364A (zh) * | 2019-11-21 | 2020-03-17 | 大连理工大学 | 一种利用红外传感器和可见光传感器构建栅格地图的方法 |
| CN110910498A (zh) * | 2019-11-21 | 2020-03-24 | 大连理工大学 | 一种利用激光雷达和双目相机构建栅格地图的方法 |
| CN111028350A (zh) * | 2019-11-21 | 2020-04-17 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
| CN111028350B (zh) * | 2019-11-21 | 2022-05-20 | 大连理工大学 | 一种利用双目立体相机构建栅格地图的方法 |
| US11315318B2 (en) | 2019-11-21 | 2022-04-26 | Dalian University Of Technology | Method for constructing grid map by using binocular stereo camera |
| CN110782506B (zh) * | 2019-11-21 | 2021-04-20 | 大连理工大学 | 一种利用红外相机和深度相机融合构建栅格地图的方法 |
| CN111161334A (zh) * | 2019-12-31 | 2020-05-15 | 南通大学 | 一种基于深度学习的语义地图构建方法 |
| CN111461245A (zh) * | 2020-04-09 | 2020-07-28 | 武汉大学 | 一种融合点云和图像的轮式机器人语义建图方法及系统 |
| CN111590589A (zh) * | 2020-06-04 | 2020-08-28 | 小狗电器互联网科技（北京）股份有限公司 | 机器人及目标物定位系统 |
| CN111665842A (zh) * | 2020-06-09 | 2020-09-15 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及系统 |
| CN111665842B (zh) * | 2020-06-09 | 2021-09-28 | 山东大学 | 一种基于语义信息融合的室内slam建图方法及系统 |
| CN112506182A (zh) * | 2020-10-29 | 2021-03-16 | 久瓴(江苏)数字智能科技有限公司 | 扫地机器人定位方法、装置、计算机设备和存储介质 |
| CN113031597A (zh) * | 2021-03-02 | 2021-06-25 | 南京理工大学 | 一种基于深度学习和立体视觉的自主避障方法 |
| CN114004880A (zh) * | 2021-04-08 | 2022-02-01 | 四川大学华西医院 | 双目相机的点云和强反光目标实时定位方法 |
| CN114004880B (zh) * | 2021-04-08 | 2023-04-25 | 四川大学华西医院 | 双目相机的点云和强反光目标实时定位方法 |
| CN113238554A (zh) * | 2021-05-08 | 2021-08-10 | 武汉科技大学 | 一种基于激光与视觉融合slam技术的室内导航方法及系统 |
| WO2023173243A1 (zh) * | 2022-03-14 | 2023-09-21 | 罗伯特·博世有限公司 | 二维激光雷达扫描图的语义标注生成 |
| CN114429432A (zh) * | 2022-04-07 | 2022-05-03 | 科大天工智能装备技术（天津）有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
| CN114429432B (zh) * | 2022-04-07 | 2022-06-21 | 科大天工智能装备技术（天津）有限公司 | 一种多源信息分层融合方法、装置及存储介质 |
| CN117093009A (zh) * | 2023-10-19 | 2023-11-21 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
| CN117093009B (zh) * | 2023-10-19 | 2024-02-09 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
| CN117685954A (zh) * | 2024-02-01 | 2024-03-12 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
| CN117685954B (zh) * | 2024-02-01 | 2024-05-24 | 中国科学院自动化研究所 | 一种用于矿区的多模态语义地图构建系统和方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110297491A (zh) | 基于多个结构光双目ir相机的语义导航方法及其系统 | |
| CN107600067B (zh) | 一种基于多视觉惯导融合的自主泊车系统及方法 | |
| CN105411490B (zh) | 移动机器人的实时定位方法及移动机器人 | |
| CN110275540A (zh) | 用于扫地机器人的语义导航方法及其系统 | |
| CN106681353B (zh) | 基于双目视觉与光流融合的无人机避障方法及系统 | |
| CN100494900C (zh) | 适用于自主移动车辆的环境感知的单目视觉导航方法 | |
| CN106780601A (zh) | 一种空间位置追踪方法、装置及智能设备 | |
| CN108406731A (zh) | 一种基于深度视觉的定位装置、方法及机器人 | |
| CN104217439B (zh) | 一种室内视觉定位系统及方法 | |
| CN205905026U (zh) | 一种基于双目立体视觉的机器人系统 | |
| JP5157067B2 (ja) | 自動走行用マップ作成装置、及び自動走行装置。 | |
| CN110275538A (zh) | 智能巡航车导航方法及系统 | |
| CN108226938A (zh) | 一种agv小车的定位系统和方法 | |
| CN109465832A (zh) | 高精度视觉和imu紧融合定位方法与系统 | |
| CN107966989A (zh) | 一种机器人自主导航系统 | |
| CN106898022A (zh) | 一种手持式快速三维扫描系统及方法 | |
| CN109813319A (zh) | 一种基于slam建图的开环优化方法及系统 | |
| CN102368158A (zh) | 一种果园机械导航定位方法 | |
| CN110163963B (zh) | 一种基于slam的建图装置和建图方法 | |
| US11977378B2 (en) | Virtual path guidance system | |
| CN108205314A (zh) | 基于立体视觉匹配的机器人导航装置及系统 | |
| CN208323361U (zh) | 一种基于深度视觉的定位装置及机器人 | |
| CN109444916A (zh) | 一种无人驾驶可行驶区域确定装置及方法 | |
| CN105698784A (zh) | 一种室内机器人定位系统及方法 | |
| CN108205315A (zh) | 一种基于双目视觉的机器人自动导航方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191001 |
|
| WD01 | Invention patent application deemed withdrawn after publication |