CN111191625A - 一种激光-单目视觉融合的物体识别与定位方法 - Google Patents

Abstract

本发明公开一种激光‑单目视觉融合的物体识别与定位方法。包括：S1，相机安装位置保证相机光轴平行于地面，对单目相机和激光测距模块测距光线进行标定，得到标定参数；S2，利用物体识别算法识别单目相机视野中的物体，并获取已识别物体种类与物体中心点二维坐标；S3，利用S1标定得到的相机内参与S2中物体中心点二维坐标，得到物体中心点在相机坐标系中的航向角β和俯仰角α；S4，根据航向角β和俯仰角α，激光测距模块转动到相应角度对物体进行初步测距，根据初步测距结果调整激光测距模块转动角度得α′，对物体中心点进行精确测距得d′；S5，计算得到物体中心点在激光测距模块坐标系下的三维坐标(X_c,Y_c,Z_c)，实现物体的识别与定位。

Description

一种激光-单目视觉融合的物体识别与定位方法

技术领域

本发明涉及物体识别与定位方法，尤其涉及一种激光-单目视觉融合的物体识别与定位方法。

背景技术

现如今大量机器人应用于人类的社会生活和生产之中，以协助或取代人类开展部分重复性或服务性工作，起初多应用在一些结构化工作环境中，例如生产业、建筑业等。随着机器人技术的高速发展革新，越来越多的智能机器人出现在了各行各业之中，机器人在社会生产与生活中扮演着愈发重要的角色的同时也对其智能化程度有了更高的需求。

智能机器人是一个集环境感知、动态决策与规划、行为控制与执行等多功能于一体的综合系统，其中环境感知能力是体现其智能化程度的一个重要指标，并对其自主作业功能起指导性作用，是机器人系统中极为重要的组成部分。目前在机器人环境感知系统中对于物体的识别与定位通常采用双目视觉、激光雷达、毫米波雷达等深度传感器与单目视觉融合的方案，此类方案在一定范围内可实现机器人对周围物体的识别与定位，但在计算资源消耗、物体定位精度、有效定位距离及成本等方面还存在着明显的不足。由于机器人移动端受成本、体积以及功耗等问题的制约，其搭载的终端计算设备算力十分有限，因此采用上述方案的物体识别与定位方法造价高昂、实时性差，在机器人实际工作条件下难以有效完成物体识别与定位工作。

发明内容

本发明要解决的问题是提供一种物体识别与定位方案，设计出一种在智能机器人工作条件下可以有效工作的物体识别与定位方法。此方法应消耗较少的计算资源，以便在移动端算力有限的情况下保证实时性；同时应该具有较好的识别效果与定位效果，识别准确度高、范围广，定位精度高、范围广，尽可能提升智能机器人的作业范围；此方法还需要具有一定的成本优势，可降低此方法的使用门槛，有利于技术推广与应用普及。

为了解决上述技术问题，实现根据本发明的这些目的和其他优点，提供了一种激光-单目视觉融合的物体识别与定位方法，包括：

S1，相机安装位置保证相机光轴平行于地面，激光测距模块安装位置保证激光测距模块光心与相机光心的连线垂直于地面且使激光测距模块与单目相机之间的垂直间距为c，对单目相机和激光测距模块测距光线进行标定，得到标定参数，包含相机内参矩阵K；

S2，利用物体识别算法识别单目相机视野中的物体，并获取已识别物体种类与物体中心点二维坐标；

S3，利用步骤S1标定得到的相机内参与步骤S2获取到的物体中心点二维坐标，可以得到物体中心点在相机坐标系中的航向角β和俯仰角α；

S4，根据步骤S3中得到的物体中心点在相机坐标系中的航向角β和俯仰角α，控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，根据初步测距结果调整激光测距模块转动角度得α′对物体中心点进行精确测距得d′；

S5，根据S4中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度，可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(X_c,Y_c,Z_c)，实现物体的识别与定位，

进一步的，所述步骤S1具体包括：

S11，相机标定板选取为11×9的国际象棋盘图案标定板，结合相机视场范围采集了50张不同位姿的标定图像以覆盖相机的全部视场；

S12，利用采集到的标定图像通过张正友标定法完成单目相机的标定，得到相机的内参矩阵；

S13，选取激光测距模块坐标系作为本系统的世界坐标系，根据单目相机和激光测距模块之间的相对位置获取激光测距模块的外参。

进一步的，所述步骤S2具体包括：

S21，单目相机获取视野中的环境原始图像；

S22，对获取到的环境原始图像进行预处理，包括图像的裁切，实现单目相机数码变焦；

S23，根据获取到的环境图像利用物体识别神经网络进行物体检测，检测出待识别物体的种类以及其检测框顶点在像素坐标系中的二维坐标；

S24，根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

进一步的，所述步骤S22具体为：

S221，读入单目相机获取到的原始图像数据；

S222，按照一定的裁切系数以原始图像中心为中心点对图像进行裁切；

S223，将裁切完成图像发布出去，以供物体识别神经网络使用，有效提升物体的识别范围。

进一步的，所述步骤S3具体包括：

S31，将S2获得的物体中心点在像素坐标系中的二维坐标转换为相机坐标系下的三维坐标，式(1)为像素坐标系与相机坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与相机光心连线上，根据转换关系可以得到在任意给定Z_c时物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)；

S32，根据S31中得到物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)，可求解出物体中心点在相机坐标系下与相机光心O_c连线的俯仰角和航向角。

进一步的，所述步骤S4具体包括：

S41，根据S32求解出的俯仰角α和航向角β控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，测得距离为d；

S42，根据S41初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为相机光心和激光测距模块光心在Yc轴上的间距；

S43，根据修正后的俯仰角α′重新调整激光测距模块角度，精确测量物体中心点距离。

本发明与背景技术相比，具有有益的效果是：

本发明中提及的物体识别与定位方法可使智能机器人在实际工作场景中有效得开展环境物体的识别与定位，极大得提高了智能机器人的自主作业能力。此方法对计算资源的消耗较少，以便在移动端算力有限的情况下保证识别定位实时性；同时具有较好的识别效果与定位效果，识别准确度高、范围广，定位精度高、范围广，可实现物体的精确定位，提升了智能机器人的作业范围，拓宽了智能机器人的作业种类；此方法中使用的传感器元件成熟易采购，结构紧凑，集成度高，还具有较大的成本优势，可降低此方法的使用门槛，有利于此物体识别与定位方法的推广与应用普及。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1是本发明中物体识别与定位方法原理图。

图2是本发明中物体识别与定位方法流程图。

具体实施方式

下面结合附图对本发明中的物体识别与定位方法做进一步的详细说明。

如图1-2所示，Xc，Yc，Zc为相机坐标系下的坐标轴，A点为物体中心，A’是相机成像平面上物体中心投影坐标(图像坐标系)，c为坐标轴Yc上单目相机与激光的距离，本发明提供一种激光-单目视觉融合的物体识别与定位方法，包括以下步骤：

S1，相机安装位置保证相机光轴平行于地面，激光测距模块安装位置保证激光测距模块光心与相机光心的连线垂直于地面且使激光测距模块与单目相机之间的垂直间距c尽可能小，对单目相机和激光测距模块测距相对位置进行标定，得到标定参数，包含相机内参和相机外参；

上述S1步骤具体包括：

S11，相机标定板选取为11×9的国际象棋盘图案标定板，结合相机视场范围采集了50张不同位姿的标定图像以覆盖相机的全部视场；

S12，利用采集到的标定图像通过张正友标定法完成单目相机的标定，得到相机的内参矩阵；

S13，选取激光测距模块坐标系作为本系统的世界坐标系，根据单目相机和激光测距模块之间的相对位置获取相机外参。

S2，利用物体识别算法识别单目相机视野中的物体，并获取已识别物体种类与物体中心点二维坐标；

上述步骤S2具体包括：

S21，单目相机获取视野中的环境原始图像；

S22，对获取到的环境原始图像进行预处理，包括图像的裁切，实现单目相机数码变焦；

上述步骤S22具体为：

S221，读入单目相机获取到的原始图像数据；

S222，按照一定的裁切系数以原始图像中心为中心点对图像进行裁切，裁切系数的确定跟物体中心点离相机的距离、物体识别的帧率以及是否检测到物体有关；

S223，将裁切完成图像发布出去，以供物体识别神经网络使用，有效提升物体的识别范围；

S23，根据获取到的环境图像利用物体识别神经网络进行物体检测，检测出待识别物体的种类以及其检测框顶点在像素坐标系中的二维坐标；

S24，根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

S3，利用S1标定得到的相机内参与S2获取到的物体中心点二维坐标，可以得到物体中心点在相机坐标系中的航向角β和俯仰角α；

S31，将S2获得的物体中心点在像素坐标系中的二维坐标转换为相机坐标系下的三维坐标，式(1)为像素坐标系与相机坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与相机光心连线上，根据转换关系可以得到在任意给定Z_c时物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)；

S32，根据S31中得到物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)，可求解出物体中心点在相机坐标系下与相机光心O_c连线的俯仰角α和航向角β，其中俯仰角α为物体中心点A与相机光心O_c连线与在XcOcZc平面的投影之间的夹角；航向角β为A点与Oc连线在XcOcZc平面的投影与Zc之间的夹角。

S4，根据S3中得到的物体中心点在相机坐标系中的航向角和俯仰角，控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，根据初步测距结果调整激光测距模块转动角度对物体中心点进行精确测距；

上述S4步骤具体包括：

S41，根据S33求解出的俯仰角α和航向角β控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，测得距离为d；

S42，根据S41初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为相机光心和激光测距模块光心在Yc轴上的间距；

S43，根据修正后的俯仰角α′重新调整激光测距模块角度，精确测量物体中心点距离d′。

S5，根据S4中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度，参考式(3)可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(X_c,Y_c,Z_c)，实现物体的识别与定位。

以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种激光-单目视觉融合的物体识别与定位方法，其特征在于包括：

S1，相机安装位置保证相机光轴平行于地面，激光测距模块安装位置保证激光测距模块光心与相机光心的连线垂直于地面且使激光测距模块与单目相机之间的垂直间距为c，对单目相机和激光测距模块测距光线进行标定，得到标定参数，包含相机内参矩阵K；

S2，利用物体识别算法识别单目相机视野中的物体，并获取已识别物体种类与物体中心点二维坐标；

S3，利用步骤S1标定得到的相机内参与步骤S2获取到的物体中心点二维坐标，可以得到物体中心点在相机坐标系中的航向角β和俯仰角α；

S4，根据步骤S3中得到的物体中心点在相机坐标系中的航向角β和俯仰角α，控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，根据初步测距结果调整激光测距模块转动角度得α′对物体中心点进行精确测距得d′；

S5，根据S4中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度，可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(X_c,Y_c,Z_c)，实现物体的识别与定位，

2.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法，其特征在于所述步骤S1具体包括：

S11，相机标定板选取为11×9的国际象棋盘图案标定板，结合相机视场范围采集了50张不同位姿的标定图像以覆盖相机的全部视场；

S12，利用采集到的标定图像通过张正友标定法完成单目相机的标定，得到相机的内参矩阵；

S13，选取激光测距模块坐标系作为本系统的世界坐标系，根据单目相机和激光测距模块之间的相对位置获取激光测距模块的外参。

3.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法，其特征在于所述步骤S2具体包括：

S21，单目相机获取视野中的环境原始图像；

S22，对获取到的环境原始图像进行预处理，包括图像的裁切，实现单目相机数码变焦；

S23，根据获取到的环境图像利用物体识别神经网络进行物体检测，检测出待识别物体的种类以及其检测框顶点在像素坐标系中的二维坐标；

S24，根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

4.根据权利要求3所述的一种激光-单目视觉融合的物体识别与定位方法，其特征在于所述步骤S22具体为：

S221，读入单目相机获取到的原始图像数据；

S222，按照一定的裁切系数以原始图像中心为中心点对图像进行裁切；

S223，将裁切完成图像发布出去，以供物体识别神经网络使用，有效提升物体的识别范围。

5.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法，其特征在于所述步骤S3具体包括：

S31，将S2获得的物体中心点在像素坐标系中的二维坐标转换为相机坐标系下的三维坐标，式(1)为像素坐标系与相机坐标系之间的转换关系，(u,v)为物体中心点像素坐标系坐标，当目标在像素坐标系坐标已知时，世界坐标系有无穷多个点与之对应，但均在目标点与相机光心连线上，根据转换关系可以得到在任意给定Z_c时物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)；

S32，根据S31中得到物体中心点在相机坐标系下的坐标(X_c,Y_c,Z_c)，可求解出物体中心点在相机坐标系下与相机光心O_c连线的俯仰角和航向角。

6.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法，其特征在于所述步骤S4具体包括：

S41，根据S32求解出的俯仰角α和航向角β控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距，测得距离为d；

S42，根据S41初步测得的距离d，对俯仰角进行修正，根据式(2)求得修正后的俯仰角为α′，其中c为相机光心和激光测距模块光心在Yc轴上的间距；

S43，根据修正后的俯仰角α′重新调整激光测距模块角度，精确测量物体中心点距离。

Images