CN115342800A - 一种基于三目视觉传感器的地图构建方法及系统 - Google Patents
一种基于三目视觉传感器的地图构建方法及系统 Download PDFInfo
- Publication number
- CN115342800A CN115342800A CN202211052904.XA CN202211052904A CN115342800A CN 115342800 A CN115342800 A CN 115342800A CN 202211052904 A CN202211052904 A CN 202211052904A CN 115342800 A CN115342800 A CN 115342800A
- Authority
- CN
- China
- Prior art keywords
- information
- vision sensor
- point cloud
- cleaning robot
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3837—Data obtained from a single source
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明公开了一种基于三目视觉传感器的地图构建方法及系统，方法包括：控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于RGB摄像头采集RGB图像；确定障碍物的深度信息与障碍物的类别信息；确定地面清洁机器人的定位信息，并对深度信息进行换算，得到全局坐标系下的点云；获取点云的高度信息，并将点云投影至对应的三维子空间，将障碍物的类别信息标注在对应的栅格中，完成地图构建；三维子空间中设置有2.5D的栅格地图，的每一个栅格用于记录障碍物的高度。本发明可以准确完整地表达三维空间的障碍物信息以及类别信息。
Description
技术领域
本发明涉及地图构建技术领域，尤其涉及一种基于三目视觉传感器的地图构建方法及系统。
背景技术
地面清洁机器人越来越多出现在家庭的日常生活中，机器人的自主移动，规划式作业，自动回充等导航功能都依赖于环境地图。环境地图记录了环境中的障碍物信息，障碍物的语义类别信息等，其包含环境信息的完整性，丰富性将极大影响机器人的智能程度。因此，如何构建环境地图对家用地面清洁机器人而言是至关重要的。
目前，依据使用的定位传感器类别，传统的地面清洁机器人主要有以单线激光雷达为核心和以单目视觉摄像头为核心的两类方案。传统的这两类方案在障碍物探测和场景AI语义识别上都是比较薄弱的，构建的地图都只是包含工作环境的部分信息。例如，虽然单线激光雷达方案具备了基本的环境深度感知，定位能力，但是由于单线激光雷达单线平面扫描的局限，它仅仅能感知扫描平面内的障碍物，不具备完整的3D障碍物感知能力，无法感知雷达扫描平面外的障碍物。为了弥补障碍物探测能力的不足，目前地面清洁机器人开始引入更多的障碍物感知传感器，如3D TOF，线激光，主动双目，超声波等；而为了识别工作场景中的一些特定物体类别，RGB摄像则越来越多的用于地面清洁机器人的AI语义识别，例如地面清洁机器人上的鞋子，袜子识别。
虽然各类3D传感器，基于RGB摄像头的AI语义识别越来越多的出现在地面清洁机器人上，但是目前这些传感器的使用方式还比较简单，通常不参与地图的构建，或只是简单的标记在地图上，例如现有的AI语义识别基本都只是在平面地图上标记一个识别物体的位置，而不记录识别物体的具体形状构成。地面清洁机器人的主流环境地图构建仍然是以2D平面地图为主，这种表达方式无法准确完整的表达三维空间的障碍物信息以及场景的AI语义信息，严重影响了地面清洁机器人系统的安全性，及地面清洁机器人作业效率的提升。
因此，现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于三目视觉传感器的地图构建方法及系统，旨在提供解决现有技术中各类3D传感器不参与地图的构建，且主流的地图构建方式无法准确完整的表达三维空间的障碍物信息以及场景的AI语义信息的问题。
第一方面，本发明提供一种基于三目视觉传感器的地图构建方法，其中，所述方法包括：
控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像；
基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息；
确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云；
获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
在一种实现方式中，所述三目视觉传感器位于所述地面清洁机器人的侧边或者斜上方。
在一种实现方式中，所述在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像，包括：
控制所述地面清洁机器人上的纹理投射装置投射随机纹理至环境场景中；
控制所述双目立体视觉系统摄像头在所述纹理投射装置光源波段的光波下采集两张场景图像；
控制所述RGB摄像头在滤除所述纹理投射装置光源波段的光波后采集RGB图像。
在一种实现方式中，所述基于两张所述场景图像确定障碍物的深度信息，包括：
将其中一张场景图像作为基准图像，并在所述基准图像上选取图像块；
在另一张场景图像上进行线扫描，计算另一张场景图像中每一个位置与所述图像块的相似度，并选取相似度最高的位置作为匹配位置；
基于所述匹配位置，所述障碍物的深度信息，所述深度信息反映的是所述障碍物的深度值。
在一种实现方式中，所述基于所述RGB图像确定所述障碍物的类别信息，包括：
将所述RGB图像输入至预先训练完成的神经网络模型中；
通过所述神经网络模型对所述RGB图像进行语义识别，得到所述障碍物对应的类别信息。
在一种实现方式中，所述根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云，包括：
基于所述定位信息，确定所述地面清洁机器人的位置信息和姿态信息；
依据所述位置信息和姿态信息，将所述深度信息换算成全局坐标系下的点云。
在一种实现方式中，所述将所述深度信息换算成全局坐标系下的点云的公式为：
其中，(X，Y，Z)为深度信息上的像素点在三维空间上对应的点坐标，(R0,T0)为姿态信息，(X0，Y0，Z0)为全局坐标系下的点云坐标。
第二方面，本发明实施例还提供一种基于三目视觉传感器的地图构建系统，其中，所述系统包括：
导航控制模块，用于控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动；
图像采集模块，用于在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像；
深度信息确定模块，用于基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息；
点云换算模块，用于确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云；
点云投影模块，用于获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
第三方面，本发明实施例还提供一种地面清洁机器人，其中，所述地面清洁机器人包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于三目视觉传感器的地图构建程序，所述处理器执行所述基于三目视觉传感器的地图构建程序时，实现上述方案中任一项所述的基于三目视觉传感器的地图构建方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有基于三目视觉传感器的地图构建程序，所述基于三目视觉传感器的地图构建程序被处理器执行时，实现上述方案中任一项所述的基于三目视觉传感器的地图构建方法的步骤。
有益效果：与现有技术相比，本发明提供了一种基于三目视觉传感器的地图构建方法，本发明首先控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像。然后，基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息。接着，确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云。再然后，获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。本发明把三维空间划分为不同高度区间的子空间，以多个2.5D栅格地图来记录每个子空间的障碍物的信息。本发明可以准确记录三维空间的障碍物的高度信息以及对应的类别信息，构建出的地图更便于地面清洁机器人在复杂环境下的导航与路径规划，保证了地面清洁机器人的安全避障及作业效率。
附图说明
图1为本发明实施例提供的基于三目视觉传感器的地图构建方法的具体实施方式的流程图。
图2为本发明实施例提供的基于三目视觉传感器的地图构建方法中的三目视觉传感器的构成示意图。
图3为本发明实施例提供的基于三目视觉传感器的地图构建方法中的三目视觉传感器在地面清洁机器人上的安装位置。
图4为本发明实施例提供的基于三目视觉传感器的地图构建方法中的“先弓字型作业，再沿边作业”的运动路线规划方式的示意图。
图5为本发明实施例提供的基于三目视觉传感器的地图构建方法中的两张场景图像进行图像匹配的示意图。
图6为本发明实施例提供的基于三目视觉传感器的地图构建方法中基于高度子空间的栅格地图表达示意图。
图7为本发明实施例提供的基于三目视觉传感器的地图构建装置的功能原理图。
图8为本发明实施例提供的地面清洁机器人的原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供一种基于三目视觉传感器的地图构建方法，基于本实施例的方法构建出的地图可准确记录三维空间的障碍物的高度信息以及对应的类别信息，更便于地面清洁机器人在复杂环境下的导航与路径规划。具体地，本实施例首先控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像。然后，基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息。接着，确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云。再然后，获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。实施例把三维空间划分为不同高度区间的子空间，以多个2.5D栅格地图来记录每个子空间的障碍物的信息。
示例性方法
本发明的基于三目视觉传感器的地图构建方法可应用于地面清洁机器人中，所述地面清洁机器人上可设置三目视觉传感器以及处理器芯片，所述三目视觉传感器硬件主要用于采集传感器数据，处理器芯片是算法软件的运算平台。具体地，如图1中所示，本实施例的方法包括如下步骤：
步骤S100、控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像。
在本实施例中，三目视觉传感器的构成如图2中所示。三目视觉传感器包括三个摄像头以及纹理投射装置，摄像头与纹理投射装置之间的位置可交换，本实施例并不对此进行限定。纹理投射装置主要用来投射随机纹理到环境场景中，而摄像头用来采集图像。在本实施例中，三个摄像头中的两个组成一对双目立体视觉系统用于计算深度信息；另外一个摄像头为可采集彩色图像的RGB摄像头或者是普通的灰度摄像头，用于AI语义识别，即识别出物体的类别信息。此外，本实施例预先对双目立体视觉系统的摄像头与用于AI语义识别的摄像头之间的相对位置以及姿态关系预先进行了标定，同时三个摄像头的曝光触发由一个统一的曝光触发信号控制，以保证摄像头之间的严格时间同步。由于本实施例中的三目视觉传感器都是由普通摄像头组成，三个摄像头之间的标定能够很容易的实现。该三目视觉传感器位于所述地面清洁机器人的侧边或者斜上方，保持传感器的视野可以覆盖地面，如图3所示。
由于三目视觉传感器获取的只是当前局部范围的信息，要构建完整的环境地图，需要地面清洁机器人的运动轨迹能保证传感器的信息采集覆盖所有环境区域。与此同时，地面清洁机器人需要完成地面清洁的任务，需要地面清洁机器人的运动路线尽可能的覆盖所有环境区域，同时不重复以保证清洁作业的效率，获取的环境地图信息能保证地面清洁机器人的运动不碰撞障碍物。因此要同时达成这几个目标，需要合理的规划机器人的运动路线。不同于现有的主流地面清洁机器人“先沿边作业，再弓字型作业”的运动路线规划，本实施例提出“先弓字型作业，再沿边作业”的运动路线规划方式。这种路径规划方式，在初次构建环境地图时，可保证机器人的安全避障，具体如图4中所示。初次启动作业时，因为没有完整环境地图信息，地面清洁机器人依赖搭载的传感器来实现障碍物规避，但由于传感器的感知范围是有限的，并不能保证各种运动路线下的安全避障。因此，本实施例中先进行弓字型作业，使得地面清洁机器人运动路线上始终有传感器的观测，实现安全避障。在一个区域进行弓字型作业覆盖后，地面清洁机器人即完成了完整的环境地图构建。
具体地，在地面清洁机器人初次启动作业时，本实施例中的三目视觉传感器的每一次触发曝光，可同时采集三张图像，两张图像为双目立体视觉系统的摄像头采集的，用于计算深度，另一张为RGB摄像头采集的，用于进行AI语义识别，即识别物体的类别信息。在图像采集时，本实施例控制所述地面清洁机器人上的纹理投射装置投射随机纹理至环境场景中；然后控制所述双目立体视觉系统摄像头在所述纹理投射装置光源波段的光波下采集两张场景图像，以屏蔽其他光波的干扰，增强主动投射纹理的信噪比。而为避免纹理投射装置对AI语义识别的影响，用于AI语义识别的摄像头会在镜头上覆盖一个滤光片，基于该滤光片来控制所述RGB摄像头在滤除所述纹理投射装置光源波段的光波后采集RGB图像。
步骤S200、基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息。
在计算深度信息时，本实施例的双目立体视觉系统的摄像头采集两张覆盖了投射纹理的场景图像，然后利用两张采集的图像，计算图像匹配，如图5中所示。将其中一张场景图像作为基准图像，如图5中的左图。然后在所述基准图像上选取以(x,y)为中心的图像块，所述图像块中包括障碍物。然后，在另一张场景图像上进行线扫描，计算另一张场景图像中每一个位置与所述图像块的相似度，并选取相似度最高的位置作为匹配位置的，如图5中的右图。所述线扫描，是指沿着图像的行或者列方向每一个像素位置进行匹配计算，基于图像匹配，可以确定出图5中左图与右图之间各个像素点之间的匹配关系，从而确定出左图中的障碍物在右图中的对应位置。在匹配完成后，本实施例利用左图与右图之间的匹配位置来计算待测物体的深度信息，进而就可以得到障碍物的深度信息，所述深度信息反映的是所述障碍物的深度值。具体如下：
其中f,B分别为左图与右图的相机的焦距和基线长度，该参数由图像之间的校准获得，d0为对应的视差。
在进行AI语义识别时，本实施例利用处理器芯片上的CPU或是专用神经网络加速硬件单元来实现。比如，处理器芯片上运行一预先训练的神经网络模型，将所述RGB图像输入至预先训练完成的神经网络模型中；然后通过所述神经网络模型对所述RGB图像进行语义识别，得到所述障碍物对应的类别信息。完成识别后，利用双目立体视觉系统的摄像头和AI语义识别的摄像头预先标定参数，可将双目立体视觉系统的摄像头产生的深度点云标注上对应的语义识别出的类别信息。
步骤S300、确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云。
由于现有的具备环境地图构建功能的地面清洁机器人基本上都是采用单线激光雷达定位，或者视觉定位，构建的环境地图都是稀疏点云地图或是平面栅格地图，这类地图不包含完整的三维空间障碍物信息，语义识别信息也只能对应出其在地图上的大概位置。因为构建的环境地图信息不完整，机器人在作业过程中会频繁碰撞障碍物，甚至被障碍物卡住导致需要用户干预。为解决以上问题，本实施例可基于地面清洁机器人的定位系统确定地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云。
具体地，本实施例可利用多张栅格地图来记录表达地图信息。不同于目前常见的仅记录有无障碍物信息的2D平面栅格地图，依据高度将三维空间划分为多个子空间，如图6中所示。每个子空间包含某一高度区间内的3D障碍物信息。每个子空间内的障碍物信息由一张2.5D的栅格地图来记录。当地面清洁机器人在移动过程中，本实施例基于所述定位信息，确定所述地面清洁机器人的位置信息和姿态信息。然后依据所述位置信息和姿态信息，将所述深度信息换算成全局坐标系下的点云。具体如下：
其中，(X，Y，Z)为深度信息上的像素点在三维空间上对应的点坐标，(R0,T0)为姿态信息，(X0，Y0，Z0)为全局坐标系下的点云坐标。
步骤S400、获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
本实施例可依据换算后的点云高度信息Z0，将这些点云对应到不同的子空间内，并投影到这个子空间对应的2.5D栅格地图。该栅格地图中的每一个栅格记录的是落在该格子内的最大或者最小障碍物高度，以及障碍物对应的类别信息，以完成地图的构建。本实施例中构建出的地图可以完整记录不同高度以及不同类别信息的障碍物信息，更便于地面移动机器人在复杂环境下的导航与路径规划。本实施例中的基于三目视觉传感器的地图构建方法用于地面清洁机器人，地面清洁机器人包括扫地机器人，拖地机器人，扫拖一体机器人等。
示例性系统
基于上述实施例，本发明还公开一种基于三目视觉传感器的地图构建系统，如图7中所示，所述系统包括：导航控制模块10，图像采集模块20、深度信息确定模块30、点云换算模块40以及点云投影模块50。具体地，所述导航控制模块10，用于控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动。所述图像采集模块20，用于在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像。所述深度信息确定模块30，用于基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息。所述点云换算模块40，用于确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云。所述点云投影模块50，用于获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
在一种实现方式中，所述三目视觉传感器位于所述地面清洁机器人的侧边或者斜上方。
在一种实现方式中，所述图像采集模块10包括：
纹理投射单元，用于控制所述地面清洁机器人上的纹理投射装置投射随机纹理至环境场景中；
场景图像采集单元，用于控制所述双目立体视觉系统摄像头在所述纹理投射装置光源波段的光波下采集两张场景图像；
RGB图像采集单元，用于控制所述RGB摄像头在滤除所述纹理投射装置光源波段的光波后采集RGB图像。
在一种实现方式中，所述深度信息确定模块30包括：
图像块选取单元，用于将其中一张场景图像作为基准图像，并在所述基准图像上选取图像块；
图像匹配单元，用于在另一张场景图像上进行线扫描，计算另一张场景图像中每一个位置与所述图像块的相似度，并选取相似度最高的位置作为匹配位置；
深度值计算单元，用于基于所述匹配位置，所述障碍物的深度信息，所述深度信息反映的是所述障碍物的深度值；
图像输入单元，用于将所述RGB图像输入至预先训练完成的神经网络模型中；
语义识别单元，用于通过所述神经网络模型对所述RGB图像进行语义识别，得到所述障碍物对应的类别信息。
在一种实现方式中，所述点云换算模块40，包括：
姿态信息确定单元，用于基于所述定位信息，确定所述地面清洁机器人的位置信息和姿态信息；
点云换算单元，用于依据所述位置信息和姿态信息，将所述深度信息换算成全局坐标系下的点云；
所述将所述深度信息换算成全局坐标系下的点云的公式为：
其中，(X，Y，Z)为深度信息上的像素点在三维空间上对应的点坐标，(R0,T0)为姿态信息，(X0，Y0，Z0)为全局坐标系下的点云坐标。
本实施例的基于三目视觉传感器的地图构建系统中各个模块的工作原理与上述方法实施例中各个步骤的原理相同，此处不再赘述。
基于上述实施例，本发明还提供了一种地面清洁机器人，所述地面清洁机器人的原理框图可以如8所示。地面清洁机器人可以包括一个或多个处理器100(图8中仅示出一个)，存储器101以及存储在存储器101中并可在一个或多个处理器100上运行的计算机程序102，例如，基于三目视觉传感器的地图构建的程序。一个或多个处理器100执行计算机程序102时可以实现基于三目视觉传感器的地图构建的方法实施例中的各个步骤。或者，一个或多个处理器100执行计算机程序102时可以实现基于三目视觉传感器的地图构建的装置实施例中各模块/单元的功能，此处不作限制。
在一个实施例中，所述处理器100可以是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在一个实施例中，存储器101可以是电子设备的内部存储单元，例如电子设备的硬盘或内存。存储器101也可以是电子设备的外部存储设备，例如电子设备上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，存储器101还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器101用于存储计算机程序以及地面清洁机器人所需的其他程序和数据。存储器101还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员可以理解，图8中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的地面清洁机器人的限定，具体的地面清洁机器人以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种基于三目视觉传感器的地图构建方法及系统，方法包括：控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于RGB摄像头采集RGB图像；基于两张场景图像确定障碍物的深度信息，并基于RGB图像确定障碍物的类别信息；确定地面清洁机器人的定位信息，并对深度信息进行换算，得到全局坐标系下的点云；获取点云的高度信息，并将点云投影至对应的三维子空间，将障碍物的类别信息标注在对应的栅格中，完成地图构建；三维子空间中设置有2.5D的栅格地图，的每一个栅格用于记录障碍物的高度。本发明可以准确完整地表达三维空间的障碍物信息以及类别信息。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于三目视觉传感器的地图构建方法，其特征在于，所述方法包括：
控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动，并在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像；
基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息；
确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云；
获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，将所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
2.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述三目视觉传感器位于所述地面清洁机器人的侧边或者斜上方。
3.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像，包括：
控制所述地面清洁机器人上的纹理投射装置投射随机纹理至环境场景中；
控制所述双目立体视觉系统摄像头在所述纹理投射装置光源波段的光波下采集两张场景图像；
控制所述RGB摄像头在滤除所述纹理投射装置光源波段的光波后采集RGB图像。
4.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述基于两张所述场景图像确定障碍物的深度信息，包括：
将其中一张场景图像作为基准图像，并在所述基准图像上选取图像块；
在另一张场景图像上进行线扫描，计算另一张场景图像中每一个位置与所述图像块的相似度，并选取相似度最高的位置作为匹配位置；
基于所述匹配位置，所述障碍物的深度信息，所述深度信息反映的是所述障碍物的深度值。
5.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述基于所述RGB图像确定所述障碍物的类别信息，包括：
将所述RGB图像输入至预先训练完成的神经网络模型中；
通过所述神经网络模型对所述RGB图像进行语义识别，得到所述障碍物对应的类别信息。
6.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云，包括：
基于所述定位信息，确定所述地面清洁机器人的位置信息和姿态信息；
依据所述位置信息和姿态信息，将所述深度信息换算成全局坐标系下的点云。
7.根据权利要求1所述的基于三目视觉传感器的地图构建方法，其特征在于，所述将所述深度信息换算成全局坐标系下的点云的公式为：
其中，(X，Y，Z)为深度信息上的像素点在三维空间上对应的点坐标，(R0,T0)为姿态信息，(X0，Y0，Z0)为全局坐标系下的点云坐标。
8.一种基于三目视觉传感器的地图构建系统，其特征在于，所述系统包括：
导航控制模块，用于控制地面清洁机器人按照先弓字型作业再沿边作业的路线规划进行运动；
图像采集模块，用于在运动时基于三目视觉传感器中的双目立体视觉系统摄像头采集两张场景图像以及基于三目视觉传感器中的RGB摄像头采集RGB图像；
深度信息确定模块，用于基于两张所述场景图像确定障碍物的深度信息，并基于所述RGB图像确定所述障碍物的类别信息；
点云换算模块，用于确定所述地面清洁机器人的定位信息，并根据所述定位信息，对所述深度信息进行换算，得到全局坐标系下的点云；
点云投影模块，用于获取所述点云的高度信息，并基于所述高度信息将所述点云投影至对应的三维子空间，所述障碍物的类别信息标注在对应的栅格中，完成地图构建，所述三维子空间中设置有2.5D的栅格地图，所述栅格地图中的每一个栅格用于记录所述障碍物的高度。
9.一种地面清洁机器人，其特征在于，所述地面清洁机器人包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的基于三目视觉传感器的地图构建程序，所述处理器执行所述基于三目视觉传感器的地图构建程序时，实现如权利要求1-7任一项所述的基于三目视觉传感器的地图构建方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于三目视觉传感器的地图构建程序，所述基于三目视觉传感器的地图构建程序被处理器执行时，实现如权利要求1-7任一项所述的基于三目视觉传感器的地图构建方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211052904.XA CN115342800A (zh) | 2022-08-31 | 2022-08-31 | 一种基于三目视觉传感器的地图构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211052904.XA CN115342800A (zh) | 2022-08-31 | 2022-08-31 | 一种基于三目视觉传感器的地图构建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115342800A true CN115342800A (zh) | 2022-11-15 |
Family
ID=83956427
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211052904.XA Pending CN115342800A (zh) | 2022-08-31 | 2022-08-31 | 一种基于三目视觉传感器的地图构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115342800A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093009A (zh) * | 2023-10-19 | 2023-11-21 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
-
2022
- 2022-08-31 CN CN202211052904.XA patent/CN115342800A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117093009A (zh) * | 2023-10-19 | 2023-11-21 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
| CN117093009B (zh) * | 2023-10-19 | 2024-02-09 | 湖南睿图智能科技有限公司 | 一种基于机器视觉的物流agv小车导航控制方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10482619B2 (en) | Method and apparatus for combining data to construct a floor plan | |
| US8712144B2 (en) | System and method for detecting crop rows in an agricultural field | |
| CN105160702B (zh) | 基于LiDAR点云辅助的立体影像密集匹配方法及系统 | |
| US8446492B2 (en) | Image capturing device, method of searching for occlusion region, and program | |
| US8737720B2 (en) | System and method for detecting and analyzing features in an agricultural field | |
| CN112785702A (zh) | 一种基于2d激光雷达和双目相机紧耦合的slam方法 | |
| Baltzakis et al. | Fusion of laser and visual data for robot motion planning and collision avoidance | |
| CN107392965B (zh) | 一种基于深度学习和双目立体视觉相结合的测距方法 | |
| WO2018227576A1 (zh) | 地面形态检测方法及系统、无人机降落方法和无人机 | |
| US20220309761A1 (en) | Target detection method, device, terminal device, and medium | |
| CN115342800A (zh) | 一种基于三目视觉传感器的地图构建方法及系统 | |
| CN108803659A (zh) | 基于魔方模型的多窗口启发式三维空间路径规划方法 | |
| Rovira-Más et al. | Stereovision data processing with 3D density maps for agricultural vehicles | |
| Kim et al. | An active trinocular vision system of sensing indoor navigation environment for mobile robots | |
| CN113313089A (zh) | 数据处理方法、装置及计算机可读存储介质 | |
| JP2010225126A (ja) | 移動経路計画装置、移動体制御装置及び移動体 | |
| CN112182122A (zh) | 一种移动机器人工作环境导航地图的获取方法及装置 | |
| CN115718304A (zh) | 目标对象检测方法、装置、车辆及存储介质 | |
| Pfeiffer et al. | Ground truth evaluation of the Stixel representation using laser scanners | |
| CN112254671B (zh) | 一种多次组合式3d采集系统及方法 | |
| CN114911223A (zh) | 一种机器人导航方法、装置、机器人及存储介质 | |
| Martinez et al. | Map-based lane identification and prediction for autonomous vehicles | |
| JP3525712B2 (ja) | 三次元画像撮像方法及び三次元画像撮像装置 | |
| TWI816166B (zh) | 偵測物件深度和水平距離的方法及系統 | |
| CN117036448B (zh) | 一种多视角相机的场景构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |