CN108344972A - 基于光栅投射立体视觉的机器人视觉系统及导航方法 - Google Patents

Abstract

本发明属于机器人视觉导航技术领域，尤其涉及一种基于光栅投射立体视觉的机器人视觉系统及导航方法，本发明针对立体视觉不能解决暗环境中自主移动机器人的导航，且需要进行图像匹配，匹配困难大精度不高的问题，采用光栅投射和立体视觉相结合的视觉模型，只需要隔段时间发射光栅条纹，同时摄像机采集一幅图，就可以解决黑暗环境下机器人自主导航中避障，实现机器人的运动估计和精确定位。

Description

基于光栅投射立体视觉的机器人视觉系统及导航方法

技术领域

本发明属于机器人视觉导航技术领域，尤其涉及一种基于 光栅投射立体视觉的机器人视觉系统及导航方法。

背景技术

自主移动机器人是一种能够在各种道路和野外环境下，实 现连续地、实时地自主运行的智能机器人。在工业生产、未知 环境探测、医学、无人驾驶飞机及汽车、危险场合的自动作业、 军事国防等领域都有着广泛的应用前景。

对自主移动机器人来说，最关键的问题就是导航，即在具 有障碍物的未知环境中，获得有效而可靠的环境信息，进行障 碍物检测与识别，并按一定的评价标准实现机器人从起点到目 标点的无碰撞运动。目前，雷达导航需要进行平面或者三维扫 描，在野外地形复杂，路面高低不平的情况下，由于车体的剧 烈颠簸，会出现严重的障碍物的漏检和虚报现象；深空探索机 器人、月球车等则是完全没有GPS信息的支持，无法用GPS进 行导航，只能使用视觉导航。但是，在黑暗环境中且自主移动 机器人携带能源有限无法采用外来光源照明的情况下，如何进 行自主导航，相应的研究较少。

在昏暗或者夜晚环境中，机器人无法采用立体视觉进行导 航，这时它就会像没有“眼睛”一样无法自主移动；而且立体 匹配环节一直是影响立体视觉研究的瓶颈问题，它需要求取同 一场景特征点在两个摄像机中成像的视差来进行场景恢复，在 特征单一的野外环境或者月面环境下提取特征点十分困难，不 仅增加计算量，增加误匹配率，也增大系统误差。

结构光视觉导航主动向周围场景投射结构光(线结构光， 面结构光)，感受周围场景的三维信息，可以适用于黑暗环境中 机器人的导航。线结构光视觉导航中视觉系统需要进行一维扫 描来获得场景的三维信息，这需要通过云台转动或移动平台的 拍摄来实现，在增加设备、增加测量时间的同时，大幅提高了 系统的复杂度，增加了误差源；采用投射光栅的面结构光视觉 导航只需要采集一幅变形条纹图，就可以获得障碍物的距离以 及场景三维形貌，这有利于机器人运动过程中采集场景信息， 因此开展暗环境中光栅投射视觉导航研究是必要的。

发明内容

本发明要解决的技术问题是提供一种基于光栅投射立体视 觉的机器人视觉系统及导航方法，通过光栅投射和立体视觉相 融合的方法，开展暗环境中光栅投射视觉导航。

为解决上述技术问题，本发明提供了一种基于光栅投射立 体视觉的机器人视觉系统，安装在机器人的头部，包括传感器 主体、光栅投射装置、第一摄像机和第二摄像机，光栅投射装 置、第一摄像机和第二摄像机均安装在传感器主体的正前方， 光栅投射装置置于第一摄像机和第二摄像机之间，第一摄像机 和第二摄像机设置在同一水平线上，光栅投射装置的光轴、第 一摄像机的光轴和第二摄像机的光轴均与地面成一定的角度， 机器人在运动过程中，光栅投射装置每隔一定时间向机器人前 方投射光栅条纹，同时，第一摄像机和第二摄像机采集受到机 器人周围场景调制的变形条纹图像，通过变形条纹图像获得障 碍物的距离以及机器人周围场景三维形貌，机器人根据障碍物 的距离以及机器人周围场景三维形貌进行移动。

作为本发明的优化方案，光栅投射装置为光栅条纹仪，第 一摄像机的镜头和第二摄像机的镜头均为CCD镜头。

为解决上述技术问题，利用基于光栅投射立体视觉的机器 人视觉系统进行导航的方法，包括如下步骤：

1)光栅投射装置每隔一定时间向机器人前方投射光栅条纹；

2)机器人在移动过程中建立光栅投射立体视觉的几何模型， 第一摄像机和第二摄像机采集受到机器人周围场景调制的变形 条纹图像，及时恢复出各个周围场景的三维坐标，以图像序列 中特征目标的3D坐标为核心，利用立体跟踪的方法研究运动目 标的跟踪识别，并研究机器人的姿态、朝向以及行驶距离与目 标之间的关系，实现机器人车体的精确运动估计，实现未知环 境中机器人的运动估计和精确定位。

作为本发明的优化方案，根据光栅条纹面SPQ、摄像机空间 平面o_aPQ和o_bPQ相交求交汇的方法建立光栅投射立体视觉的几 何模型；投射的光栅条纹面方程为

其中：α为光栅条纹面SPQ与光栅投射坐标系中O_SY_SZ_S面之间的 夹角，世界坐标系(o_w-x_wy_wz_w)、机器人坐标系(o_R-x_Ry_Rz_R)、摄像 机坐标系(o_a-x_ay_az_a,o_b-x_by_bz_b)、图像坐标系(O_aX_aY_a,O_bX_bY_b)、离散 像素坐标系(O_EaX_EaY_Ea,O_EbX_EbY_Eb)、光栅投射坐标系(O_S-X_SY_SZ_S)，将 光栅条纹面方程转化到世界坐标中，则有

其中R_sw和T_sw分别为从光栅投射坐标系到世界坐标系的旋转矩阵 和平移矩阵，其中，R_sw1、R_sw2、R_sw3、R_sw4、R_sw5、R_sw6、R_sw7、R_sw8、 R_sw9、T_sw1、T_sw2和T_sw3通过标定获得；

摄像机空间平面o_aPQ方程为

A₁x_a+B₁y_a+C₁z_a+D₁＝0， (5)

根据摄像机的透视变换原理，可以建立离散像素坐标系O_EaX_EaY_Ea与摄像机坐标系o_a-x_ay_az_a之间的关系，有

其中：λ₁、u_a、ν_a、u₀、ν₀和f_a通过标定获得；将o_a,P_a,Q_a三点在 离散像素坐标系中的坐标代入公式(2)，求解出方程中 A₁、B₁、C₁、D₁的值；

摄像机空间平面o_bPQ方程为：

A₂x_b+B₂y_b+C₂z_b+D₂＝0。 (7)

摄像机坐标系与世界坐标系之间的关系为

其中R_aw、R_bw和T_aw、T_bw分别为从摄像机坐标系到世界坐标系的旋 转矩阵和平移矩阵，R_aw1、R_aw2、R_aw3、R_aw4、R_aw5、R_aw6、R_aw7、R_aw8、R_aw9、R_bw1、R_bw2、R_bw3、R_bw4、R_bw5、R_bw6、R_bw7、R_bw8、R_bw9、T_aw1、T_aw2、T_aw3、 T_bw1、T_bw2和T_bw3通过标定获得；

将公式(5)、(7)和公式(8)联立，得到两摄像机空间平 面在世界坐标系中的方程；将公式(1)和(2)联立，得到光 栅条纹平面在世界坐标系中的方程。由于空间点P、Q一定位于 这两个联立方程中，解这两个联立方程即可得到空间曲线PQ的 方程，并求解出P、Q在世界坐标系中的坐标值。

本发明具有积极的效果：本发明利用基于光栅投射立体视 觉的机器人视觉系统进行导航的方法既规避了双目立体视觉的 立体匹配这一难题，又规避了光栅投射的相位展开这一难题， 仅采用三平面求交汇的方法实现场景空间内三维坐标计算，非 常适合处理快速、实时的障碍物检测、定位、视觉里程计问题， 可以应用于无GPS信号支持的野外暗环境的机器人导航，为机 器人导航提供鲁棒性高，精度高以及实时性好的新方法。而且 该系统关闭光栅投射装置，即为一般的立体视觉系统，可以用 一般的立体视觉技术来进行机器人的导航和定位。开创在黑暗 环境中机器人视觉导航研究及应用，在工业生产、未知环境探 测、无人驾驶飞机及汽车、危险场合的自动作业、军事国防领 域的灾害救援、巡逻机器人哨兵、排雷机器人、深空探索机器 人等领域都有着广泛的应用前景。

附图说明

下面结合附图和具体实施方式对本发明作进一步详细的说 明。

图1为本发明整体原理示意图；

图2为本发明的工作示意图；

图3为本发明的结构示意图；

图4为本发明的几何模型图。

其中：1、传感器主体，2、光栅投射装置，3、第一摄像机， 4、第二摄像机。

具体实施方式

如图1-3所示，本发明公开了一种基于光栅投射立体视觉 的机器人视觉系统，安装在机器人的头部，包括传感器主体1、 光栅投射装置2、第一摄像机3和第二摄像机4，光栅投射装置 2、第一摄像机3和第二摄像机4均安装在传感器主体1的正前 方，光栅投射装置2置于第一摄像机3和第二摄像机4之间， 第一摄像机3和第二摄像机4设置在同一水平线上，光栅投射 装置2的光轴、第一摄像机3的光轴和第二摄像机4的光轴均 与地面成一定的角度，机器人在运动过程中，光栅投射装置2 每隔一定时间向机器人前方投射光栅条纹，同时，第一摄像机3 和第二摄像机4采集受到机器人周围场景调制的变形条纹图像， 通过变形条纹图像获得障碍物的距离以及机器人周围场景三维 形貌，机器人根据障碍物的距离以及机器人周围场景三维形貌 进行移动。

光栅投射装置2为光栅条纹仪，第一摄像机3的镜头和第 二摄像机4的镜头均为CCD镜头。

利用基于光栅投射立体视觉的机器人视觉系统进行导航的 方法，包括如下步骤：

1)光栅投射装置2每隔一定时间向机器人前方投射光栅条 纹；

2)机器人在移动过程中建立光栅投射立体视觉的几何模型， 第一摄像机3和第二摄像机4采集受到机器人周围场景调制的 变形条纹图像，及时恢复出各个周围场景的三维坐标，以图像 序列中特征目标的3D坐标为核心，利用立体跟踪的方法研究运 动目标的跟踪识别，并研究机器人的姿态、朝向以及行驶距离 与目标之间的关系，实现机器人车体的精确运动估计，实现未 知环境中机器人的运动估计和精确定位。其中，光栅投射立体 视觉的几何模型由1个光栅投射装置S和2个摄像机A和B构 成。

如图4所示，根据光栅条纹面SPQ、摄像机空间平面o_aPQ和 o_bPQ相交求交汇的方法建立光栅投射立体视觉的几何模型；投 射的光栅条纹面方程为

其中：α为光栅条纹面SPQ与光栅投射坐标系中O_SY_SZ_S面之间的 夹角，世界坐标系(o_w-x_wy_wz_w)、机器人坐标系(o_R-x_Ry_Rz_R)、摄像 机坐标系(o_a-x_ay_az_a,o_b-x_by_bz_b)、图像坐标系(O_aX_aY_a,O_bX_bY_b)、离散 像素坐标系(O_EaX_EaY_Ea,O_EbX_EbY_Eb)、光栅投射坐标系(O_S-X_SY_SZ_S)，将 光栅条纹面方程转化到世界坐标中，则有

其中R_sw和T_sw分别为从光栅投射坐标系到世界坐标系的旋转矩阵 和平移矩阵，其中，R_sw1、R_sw2、R_sw3、R_sw4、R_sw5、R_sw6、R_sw7、R_sw8、 R_sw9、T_sw1、T_sw2和T_sw3通过标定获得；

摄像机空间平面o_aPQ方程为

A₁x_a+B₁y_a+C₁z_a+D₁＝0， (5)

根据摄像机的透视变换原理，可以建立离散像素坐标系O_EaX_EaY_Ea与摄像机坐标系o_a-x_ay_az_a之间的关系，有

其中：λ₁、u_a、ν_a、u₀、ν₀和f_a通过标定获得；将o_a,P_a,Q_a三点在 离散像素坐标系中的坐标代入公式(2)，求解出方程中 A₁、B₁、C₁、D₁的值；

摄像机空间平面o_bPQ方程为：

A₂x_b+B₂y_b+C₂z_b+D₂＝0。 (7)

摄像机坐标系与世界坐标系之间的关系为

其中R_aw、R_bw和T_aw、T_bw分别为从摄像机坐标系到世界坐标系的旋 转矩阵和平移矩阵，R_aw1、R_aw2、R_aw3、R_aw4、R_aw5、R_aw6、R_aw7、R_aw8、R_aw9、R_bw1、R_bw2、R_bw3、R_bw4、R_bw5、R_bw6、R_bw7、R_bw8、R_bw9、T_aw1、T_aw2、T_aw3、 T_bw1、T_bw2和T_bw3通过标定获得；

将公式(5)、(7)和公式(8)联立，得到两摄像机空间平 面在世界坐标系中的方程；将公式(1)和(2)联立，得到光 栅条纹平面在世界坐标系中的方程。由于空间点P、Q一定位于 这两个联立方程中，解这两个联立方程即可得到空间曲线PQ的 方程，并求解出P、Q在世界坐标系中的坐标值

利用基于光栅投射立体视觉的机器人视觉系统进行导航的 方法，与立体视觉系统的不同之处在于，视觉系统建模方法不 同，立体视觉系统需要进行左右两幅图像的特征匹配，可获得 同一场景特征点在两个摄像机中成像的视差，实现三维场景信 息恢复，然而目前的立体匹配算法还有很多问题还需要解决， 尤其在特征单一的野外未知环境或者月面环境下提取特征点十 分困难，不仅增加计算量，增加误匹配率，也增大系统误差； 本发明基于光栅投射立体视觉的机器人视觉系统，通过特殊组 合的视觉系统，采用三个平面求交汇的方法，实时快速地实现 移动机器人的三维场景信息和运动信息的获取，既规避了双目 立体视觉的立体匹配这一难题，又规避了光栅投射的相位展开 这一难题。

另外，本发明基于光栅投射立体视觉的机器人视觉系统与 基于立体视觉的机器人定位方法也不同，基于立体视觉的机器 人定位方法通过前后帧2D图像对信息，对机器人进行运动估计， 获得运动参数，该技术虽然可以克服航位推算方法的问题，但 是需要进行两次图像匹配，一次是同一幅场景左右两幅图进行 立体匹配，获得特征点的三维坐标；另一次是前后帧图像序列 中两幅2D图像进行特征匹配与跟踪，获得车体的运动参数，这 样需要的匹配约束条件非常多，而且要求特征匹配点在图像中 分布均匀且误匹配点要非常少，才能得到较精确的机器人运动 数据。

本发明基于光栅投射立体视觉的机器人视觉系统不需要进 行同一幅场景左右两幅图的立体匹配，就可以得到场景的三维 坐标；对于前后帧图像的匹配也并不是采用2D图像对信息，而 是采用已经获得的前后场景的3D信息来进行跟踪，获得机器人 的姿态、朝向和距离等运动参数信息。

利用基于光栅投射立体视觉的机器人视觉系统进行导航的 方法通过光栅投射和立体视觉相融合的方法，建立光栅投射立 体视觉传感器几何和数学模型；采用空间设备位置约束原理， 运用投影平面相交的方法，研究机器人视场内空间物体的三维 坐标计算方法，建立可靠、真实的障碍物检测和分析方法；以 前后场景图像序列中特征目标的3D坐标为核心，研究特征目标 的跟踪算法；并研究机器人的姿态、朝向以及行驶距离等信息 与目标移动信息之间的关系，实现机器人的运动估计和精确定 位。与此同时，研制光栅条纹仪与两摄像机及嵌入式技术构建 的光栅投射立体视觉硬件平台，编写硬件驱动程序，逐步开展 理论研究成果程序移植工作，最终建成光栅投射立体视觉实验 平台，实现暗环境下自主移动机器人视觉导航功能。应用测试 阶段将与立体视觉导航、GPS导航、激光测距等不同类型的机 器人导航设备的定位结果进行比较，开展精度分析，进行暗环 境中测量不确定度的客观评价原理和方法的研究，以实验数据 对比的方式来验证与修正所提出的暗环境下基于光栅投射立体 视觉的机器人导航性能，解决应用中的技术问题。

使用时，选用两个CCD镜头以任意夹角水平放置，光栅条 纹仪置于两CCD镜头之间，实验证明，两光轴以任意夹角放置 非常便于视觉系统的设计安装，且扩大了摄像机的共同视场， 并在环境较恶劣，机器人有大的震动时，可以保证测量的精度 和鲁棒性。基于光栅投射立体视觉的机器人视觉系统安装于机 器人的上部，且两摄像机和光栅条纹仪的光轴稍向下倾斜，与 地面成一定角度，如图2所示。在机器人运动过程中，光栅条 纹仪每隔一定时间向机器人前方投射光栅条纹，同时两摄像机 采集受到机器人周围场景调制的变形条纹图像。

本发明将光栅条纹仪和两摄像机一体化，保证三者相对位 置的固定，便于图像的采集。若采用2个独立的摄像机和1个 独立的条纹仪构建系统，则很难保证系统不会发生微动，将影 响图像质量。其次，一体化的视觉方案结构紧凑、便于控制精 度，避免了传统立体视觉在建立过程中对设计、加工、安装等 环节严格的要求。最后，可独立工作的视觉装置(无须计算机 和图像采集卡的配合)使用灵活、便于车载、更能适应快速现 场处理和室外环境的应用需求。

以上所述的具体实施例，对本发明的目的、技术方案和有 益效果进行了进一步详细说明，所应理解的是，以上所述仅为 本发明的具体实施例而已，并不用于限制本发明，凡在本发明 的精神和原则之内，所做的任何修改、等同替换、改进等，均 应包含在本发明的保护范围之内。

Claims (4)

1.基于光栅投射立体视觉的机器人视觉系统，安装在机器人的头部，其特征在于：包括传感器主体(1)、光栅投射装置(2)、第一摄像机(3)和第二摄像机(4)，所述的光栅投射装置(2)、第一摄像机(3)和第二摄像机(4)均安装在传感器主体(1)的正前方，所述的光栅投射装置(2)置于第一摄像机(3)和第二摄像机(4)之间，所述的第一摄像机(3)和第二摄像机(4)设置在同一水平线上，光栅投射装置(2)的光轴、第一摄像机(3)的光轴和第二摄像机(4)的光轴均与地面成一定的角度，机器人在运动过程中，光栅投射装置(2)每隔一定时间向机器人前方投射光栅条纹，同时，第一摄像机(3)和第二摄像机(4)采集受到机器人周围场景调制的变形条纹图像，通过变形条纹图像获得障碍物的距离以及机器人周围场景三维形貌，机器人根据障碍物的距离以及机器人周围场景三维形貌进行移动。

2.根据权利要求1所述的基于光栅投射立体视觉的机器人视觉系统，其特征在于：所述的光栅投射装置(2)为光栅条纹仪，第一摄像机(3)的镜头和第二摄像机(4)的镜头均为CCD镜头。

3.利用权利要求1所述的基于光栅投射立体视觉的机器人视觉系统进行导航的方法，其特征在于：包括如下步骤：

1)光栅投射装置(2)每隔一定时间向机器人前方投射光栅条纹；

2)机器人在移动过程中建立光栅投射立体视觉的几何模型，第一摄像机(3)和第二摄像机(4)采集受到机器人周围场景调制的变形条纹图像，及时恢复出各个周围场景的三维坐标，以图像序列中特征目标的3D坐标为核心，利用立体跟踪的方法研究运动目标的跟踪识别，并研究机器人的姿态、朝向以及行驶距离与目标之间的关系，实现机器人车体的精确运动估计，实现未知环境中机器人的运动估计和精确定位。

4.根据权利要求3所述的基于光栅投射立体视觉的机器人视觉系统进行导航的方法，其特征在于：根据光栅条纹面SPQ、摄像机空间平面o_aPQ和o_bPQ相交求交汇的方法建立光栅投射立体视觉的几何模型；投射的光栅条纹面方程为

其中：α为光栅条纹面SPQ与光栅投射坐标系中O_SY_SZ_S面之间的夹角，世界坐标系(o_w-x_wy_wz_w)、机器人坐标系(o_R-x_Ry_Rz_R)、摄像机坐标系(o_a-x_ay_az_a,o_b-x_by_bz_b)、图像坐标系(O_aX_aY_a,O_bX_bY_b)、离散像素坐标系(O_EaX_EaY_Ea,O_EbX_EbY_Eb)、光栅投射坐标系(O_S-X_SY_SZ_S)，将光栅条纹面方程转化到世界坐标中，则有

其中R_sw和T_sw分别为从光栅投射坐标系到世界坐标系的旋转矩阵和平移矩阵，其中，R_sw1、R_sw2、R_sw3、R_sw4、R_sw5、R_sw6、R_sw7、R_sw8、R_sw9、T_sw1、T_sw2和T_sw3通过标定获得；

摄像机空间平面o_aPQ方程为

A₁x_a+B₁y_a+C₁z_a+D₁＝0， (5)

根据摄像机的透视变换原理，可以建立离散像素坐标系O_EaX_EaY_Ea与摄像机坐标系o_a-x_ay_az_a之间的关系，有

其中：λ₁、u_a、ν_a、u₀、ν₀和f_a通过标定获得；将o_a,P_a,Q_a三点在离散像素坐标系中的坐标代入公式(2)，求解出方程中A₁、B₁、C₁、D₁的值；

摄像机空间平面o_bPQ方程为：

A₂x_b+B₂y_b+C₂z_b+D₂＝0。 (7)

摄像机坐标系与世界坐标系之间的关系为

其中R_aw、R_bw和T_aw、T_bw分别为从摄像机坐标系到世界坐标系的旋转矩阵和平移矩阵，R_aw1、R_aw2、R_aw3、R_aw4、R_aw5、R_aw6、R_aw7、R_aw8、R_aw9、R_bw1、R_bw2、R_bw3、R_bw4、R_bw5、R_bw6、R_bw7、R_bw8、R_bw9、T_aw1、T_aw2、T_aw3、T_bw1、T_bw2和T_bw3通过标定获得；

将公式(5)、(7)和公式(8)联立，得到两摄像机空间平面在世界坐标系中的方程；将公式(1)和(2)联立，得到光栅条纹平面在世界坐标系中的方程。由于空间点P、Q一定位于这两个联立方程中，解这两个联立方程即可得到空间曲线PQ的方程，并求解出P、Q在世界坐标系中的坐标值。