CN113096183B - 一种基于激光雷达与单目相机的障碍物检测与测量方法 - Google Patents

一种基于激光雷达与单目相机的障碍物检测与测量方法 Download PDF

Info

Publication number
CN113096183B
CN113096183B CN202110291251.XA CN202110291251A CN113096183B CN 113096183 B CN113096183 B CN 113096183B CN 202110291251 A CN202110291251 A CN 202110291251A CN 113096183 B CN113096183 B CN 113096183B
Authority
CN
China
Prior art keywords
obstacle
laser radar
monocular camera
information
line segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110291251.XA
Other languages
English (en)
Other versions
CN113096183A (zh
Inventor
蒋林
马先重
聂文康
赵慧
雷斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202110291251.XA priority Critical patent/CN113096183B/zh
Publication of CN113096183A publication Critical patent/CN113096183A/zh
Application granted granted Critical
Publication of CN113096183B publication Critical patent/CN113096183B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Abstract

本发明属于移动机器人技术领域，公开了一种基于激光雷达与单目相机的障碍物检测与测量方法，包括对激光雷达与单目相机进行联合标定得到标定信息；通过单目相机获取障碍物对应的第一图像信息，利用深度学习网络模型对第一图像信息进行目标检测得到障碍物位置信息；利用图像分割算法对障碍物位置信息中的环境背景干扰信息进行去除得到障碍物目标区域信息；利用边缘检测算法对障碍物目标区域信息进行轮廓提取得到轮廓信息；对障碍物目标区域信息中的激光雷达点进行曲率计算得到曲率信息；根据轮廓信息和曲率信息得到障碍物的测量面；基于标定信息和障碍物的测量面上的激光雷达数据得到障碍物的尺寸信息。本发明能够准确检测障碍物并测量其尺寸。

Description

一种基于激光雷达与单目相机的障碍物检测与测量方法
技术领域
本发明属于移动机器人技术领域，更具体地，涉及一种基于激光雷达与单目相机的障碍物检测与测量方法。
背景技术
目前，随着科学技术的不断发展，机器人技术逐渐成熟且趋于智能化。目前较为广泛的应用有无人驾驶、扫地机器人、服务机器人以及巡检机器人等。这些机器人的智能化离不开其对环境信息的感知，而障碍物检测与测量是移动机器人环境感知领域的重要组成部分。
障碍物检测与测量即机器人利用自身所搭载传感器获得环境信息。障碍物检测与测量是移动机器人完成避障与路径规划的前提，也是移动机器人环境感知的基本目标。激光雷达作为障碍物检测的常用传感器，但其只能获得环境的二维信息，难以使机器人准确探知三维环境；单目相机可以获得较为丰富的环境信息，但其无法提供物体的尺度信息，而且容易受到机器人自身运动的影响。单一传感器难以解决障碍物检测与测量问题
对于室内移动机器人如何解决上述出现的问题，准确检测障碍物与测量其尺寸成为移动机器人研究的热点问题。
发明内容
为了解决现有技术存在的问题，本发明提供一种基于激光雷达与单目相机的障碍物检测与测量方法。
本发明提供一种基于激光雷达与单目相机的障碍物检测与测量方法，包括以下步骤：
步骤1、对激光雷达与单目相机进行联合标定，得到标定信息；
步骤2、通过所述单目相机获取障碍物对应的第一图像信息，利用训练好的深度学习网络模型对所述第一图像信息进行目标检测，得到障碍物位置信息；
步骤3、利用图像分割算法对所述障碍物位置信息中的环境背景干扰信息进行去除，得到障碍物目标区域信息；
步骤4、利用边缘检测算法对所述障碍物目标区域信息进行轮廓提取，得到轮廓信息；对所述障碍物目标区域信息中的激光雷达点进行曲率计算，得到曲率信息；根据所述轮廓信息和所述曲率信息得到障碍物的测量面；
步骤5、基于所述标定信息和所述障碍物的测量面上的激光雷达数据，得到障碍物的尺寸信息。
优选的，所述标定信息包括所述单目相机的内参，以及所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵；
所述步骤1包括以下子步骤：
步骤1.1、制作联合标定板，所述联合标定板包括黑白棋盘格；
步骤1.2、将所述联合标定板置于所述单目相机与所述激光雷达的正前方，使所述单目相机能够获得所述黑白棋盘格的全貌，同时确保能有大于第一数量的激光雷达点击中所述联合标定板，并获得击中所述联合标定板的激光雷达点的坐标信息；
步骤1.3、利用张正友标定法对所述单目相机进行标定，获得所述单目相机的内参和联合标定板的空间平面方程；
步骤1.4、根据所述联合标定板的空间平面方程和所述击中联合标定板的激光雷达点的坐标信息，得到所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵。
优选的，所述步骤1.3中，假设世界坐标系下所述黑白棋盘格所属的平面方程为Z＝0，且所述黑白棋盘格左下角的第一个黑白方块角点为世界坐标系原点，得到所述黑白棋盘格上每个黑白方块角点在世界坐标系下的位置信息；利用所述单目相机获取标定图像，对所述标定图像进行角点检测，得到每个黑白方块角点的像素坐标；假设三维坐标系下的一黑白方块角点为Pw(Xw,Yw,0)，Pw的像素点坐标为(u1,v1)，将三维坐标转换为齐次坐标，根据公式(1)有：
Figure BDA0002982058430000021
式中，Rwc为世界坐标系到相机坐标系的旋转矩阵；twc为世界坐标系到相机坐标系的位移向量；cx、cy分别为单目相机在x轴、y轴上的光圈中心位置；fx、fy分别为单目相机在x轴、y轴上的焦距；
利用PnP算法对公式(1)中未知的Rwc与twc进行求解，通过将每个黑白方块角点由世界坐标系转换到相机坐标系下，再利用三个角点坐标确定标定平面在相机坐标系下的空间平面方程，所述空间平面方程记为：Ax+By+Cz+D＝0，其中，A、B、C、D为空间平面方程的参数。
优选的，所述步骤1.4中，通过公式(2)得到所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵：
Figure BDA0002982058430000031
式中，R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵；(Xi,Yi,Zi)(i＝1,2,...n)为第i个击中联合标定板的激光雷达点的坐标；A、B、C、D为空间平面方程的参数。
优选的，所述步骤4包括以下子步骤：
步骤4.1、基于所述障碍物目标区域信息，利用Canny边缘检测算法获得障碍物中存在的所有线段，储存其中所有的竖向线段，将小于第一角度的横向线段作为选出的横向线段，储存所述选出的横向线段；
步骤4.2、对位于障碍物上的激光雷达点进行曲率计算；
步骤4.3、选出所有的竖向线段中的最左竖向线段与最右竖向线段；
所述激光雷达与所述单目相机安装在机器人上；如果存在某一激光雷达点的曲率大于第一阈值，则认为障碍物侧面面对所述机器人，则在所有的竖向线段中寻找离该激光雷达点最近的竖向线段，记为第一竖向线段；计算所述第一竖向线段分别与最左竖向线段、最右竖向线段之间的距离，并以所述第一竖向线段替换最小距离对应的竖向线段，实现最左竖向线段或最右竖向线段的更新；如果所有激光雷达点的曲率均小于等于所述第一阈值，则认为障碍物正面面对所述机器人，不对最左竖向线段和最右竖向线段进行更新；
步骤4.4、将位于最左竖向线段和最右竖向线段之间的所述选出的横向线段进行位置排序，得到最上横向线段和最下横向线段；将最左竖向线段、最右竖向线段、最上横向线段和最下横向线段所组成的矩形作为所述障碍物的测量面。
优选的，所述步骤4.2的具体实现方式为：假设计算激光雷达点P1(x1,y1)的曲率，取其前后间隔两个位置的激光雷达点P0(x0,y0)，P2(x2,y2)，由于三点能确定一个圆，设圆心坐标Pc(xc,yc)，则激光雷达点P1的曲率ρ通过公式(3)计算：
Figure BDA0002982058430000041
优选的，所述步骤5包括以下子步骤：
步骤5.1、利用所述标定信息，将所述障碍物的测量面上的激光雷达点坐标转换为像素坐标；
假设一激光雷达点在激光雷达坐标系下的坐标为P(x,y)，按照公式(4)将其转换为像素坐标：
Figure BDA0002982058430000042
式中，(u2,v2)为转换后得到的像素坐标，cx、cy分别为单目相机在x轴、y轴上的光圈中心位置；fx、fy分别为单目相机在x轴、y轴上的焦距；R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵；
步骤5.2、基于所述像素坐标对障碍物的尺寸进行测量，得到障碍物的尺寸信息。
优选的，所述像素信息包括Δw、Δh、Δs、Δy；其中，Δw为实际宽度为W的障碍物在单目相机采集的图像中所占据的宽度对应的像素值，Δh为实际高度为H的障碍物在单目相机采集的图像中所占据的高度对应的像素值，Δs为两个激光雷达点P1、P2之间的实际距离对应的像素值，Δy为激光雷达点距离地面的高度对应的像素值；
利用公式(5)计算两个激光雷达点P1(x1,y1)、P2(x2,y2)之间的实际距离S：
Figure BDA0002982058430000043
利用公式(6)计算障碍物的实际宽度W：
Figure BDA0002982058430000051
利用公式(7)计算障碍物的实际高度H：
Figure BDA0002982058430000052
其中，Y为激光雷达的安装高度。
优选的，当障碍物为实心物体时，利用公式(6)计算障碍物的实际宽度，利用公式(7)计算障碍物的实际高度；
当障碍物为空心物体时，利用公式(7)计算障碍物的实际高度；利用空心物体中存在的平行关系，结合透视原理计算Δw，然后利用公式(6)计算得到空心物体的实际宽度。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在发明中，首先对激光雷达与单目相机进行联合标定，利用深度学习对单目相机获取的环境图像中进行目标检测，初步获得障碍物位置，再利图像分割算法去除环境背景干扰，准确提取目标障碍物目标区域，然后利用曲率对激光雷达点进行特征提取，判断障碍物朝向，同时结合边缘检测算法提取物体轮廓，最后结合标定信息和障碍物的测量面上的激光雷达数据对障碍物尺寸进行测量。本发明解决了单一传感器对障碍物检测测量易受环境影响、检测精度较低的问题，保留了二维激光雷达精度高的特点，同时兼具单目物体检测便捷的优点，具有较大的可行性和实用推广价值。
附图说明
图1为本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法的流程图；
图2为本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法中激光雷达与单目相机联合标定的示意图；
图3为本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法对应的目标检测图；
图4为本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法中利用图像分割算法去除环境背景干扰的示例图；
图5为本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法中进行障碍物的测量面选择的示例图；
图6为当障碍物为实心物体时对应的测量示意图；
图7为当障碍物为空心物体时对应的透视投影图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
参见图1，本实施例提供了一种基于激光雷达与单目相机的障碍物检测与测量方法，包括如下步骤：
步骤1、对激光雷达与单目相机进行联合标定，得到标定信息。
所述标定信息包括所述单目相机的内参，以及所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵。
具体的，参见图2，所述步骤1包含以下子步骤：
步骤1.1、制作联合标定板，所述联合标定板包括黑白棋盘格。
例如，黑白棋盘格大小为10行7列，每个黑白方块大小为54*54mm。
步骤1.2、将所述联合标定板置于所述单目相机与所述激光雷达的正前方，使所述单目相机能够获得所述黑白棋盘格的全貌，同时确保能有大于第一数量的(即能有较多的)激光雷达点击中所述联合标定板，并获得击中所述联合标定板的激光雷达点的坐标信息。
步骤1.3、利用张正友标定法对所述单目相机进行标定，获得所述单目相机的内参和联合标定板的空间平面方程。
所述单目相机的内参包括cx、cy、fx、fy，分别为单目相机在x轴、y轴上的光圈中心位置与焦距。
假设世界坐标系下所述黑白棋盘格在的平面方程为Z＝0，而且所述黑白棋盘格左下角的第一个黑白方块角点为世界坐标系原点。则所述黑白棋盘格上每个黑白方块角点在世界坐标系下位置已知。利用所述单目相机获取标定图像，对所述标定图像进行角点检测，则可以得到每个黑白方块角点的像素坐标。假设三维坐标系下的一黑白方块角点为Pw(Xw,Yw,0)，其像素点坐标为(u1,v1)。将三维坐标转换为齐次坐标，由公式(1)有：
Figure BDA0002982058430000061
其中，Rwc为世界坐标系到相机坐标系的旋转矩阵，大小为3*3；twc为世界坐标系到相机坐标系的位移向量，大小为3*1。
由于一个标定图像中存在54个角点，因此可以利用PnP算法对公式(1)中未知的Rwc与twc进行求解。通过将每个黑白方块角点由世界坐标系转换到相机坐标系下，再利用三个角点坐标即可确定标定平面在相机坐标系下的空间平面方程。假设确定的空间平面方程为：Ax+By+Cz+D＝0，其中，A、B、C、D为空间平面方程的参数。
步骤1.4、根据所述联合标定板的空间平面方程和所述击中联合标定板的激光雷达点的坐标信息，得到所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵。
具体的，所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵的值可以按照求解式(2)得到：
Figure BDA0002982058430000071
式中，R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵；(Xi,Yi,Zi)(i＝1,2,...n)为第i个击中联合标定板的激光雷达点的坐标。
步骤2、通过所述单目相机获取障碍物对应的第一图像信息，利用训练好的深度学习网络模型对所述第一图像信息进行目标检测，得到障碍物位置信息，参见图3。
其中，收集多视角多距离多亮度下的室内场景图片，并添加机器人实际使用场景的图片，组成深度学习网络SSD检测识别任务的数据集。为了进一步丰富数据集，同时提高模型的泛化能力，还可在训练前对数据集进行颜色改变、尺度变换、随机裁剪等数据增强操作。采用ImageNet数据集上预训练的网络权重初始化深度学习网络模型的权重，在GPU模式下利用制作好的数据集对深度学习网络模型进行训练，得到训练好的深度学习网络模型。
步骤3、利用图像分割算法对所述障碍物位置信息中的环境背景干扰信息进行去除，得到障碍物目标区域信息。
具体的，将目标检测确定的障碍物位置作为图像分割算法GrabCut的参数，实现对图片的背景信息去除，参见图4。
步骤4、利用边缘检测算法对所述障碍物目标区域信息进行轮廓提取，得到轮廓信息；对所述障碍物目标区域信息中的激光雷达点进行曲率计算，得到曲率信息；根据所述轮廓信息和所述曲率信息得到障碍物的测量面。
具体的，所述步骤4包括以下子步骤：
步骤4.1、基于所述障碍物目标区域信息，利用Canny边缘检测算法获得障碍物中存在的所有线段，储存其中所有的竖向线段，将小于第一角度的横向线段作为选出的横向线段，储存所述选出的横向线段。例如，所述第一角度取30°。
步骤4.2、对位于障碍物上的激光雷达点进行曲率计算。
优选的情况下，对位于障碍物上除左右两端各5个激光雷达点外的所有激光雷达点进行曲率计算。由于位于障碍物边缘的激光雷达点数据会存在较大误差，因此进行去除，能够进一步提高计算精度。
假设计算激光雷达点P1(x1,y1)的曲率，取其前后间隔两个位置的激光雷达点P0(x0,y0)，P2(x2,y2)，三点能确定一个圆，设圆心坐标Pc(xc,yc)，则激光雷达点P1曲率ρ可以由公式(3)计算：
Figure BDA0002982058430000081
步骤4.3、选出所有的竖向线段中的最左竖向线段与最右竖向线段。所述激光雷达与所述单目相机安装在机器人上。
确定第一阈值(例如，第一阈值可取值为8，该取值通过实验确定，保证障碍物侧面面对机器人时，能得到曲率大于该阈值的激光雷达点，而正面面对机器人时无曲率大于该阈值即可)，如果存在某一激光雷达点的曲率大于第一阈值，则认为障碍物侧面面对所述机器人，则在所有的竖向线段中寻找离该激光雷达点最近的竖向线段，记为第一竖向线段；计算所述第一竖向线段分别与最左竖向线段、最右竖向线段之间的距离，并以所述第一竖向线段替换最小距离对应的竖向线段，实现最左竖向线段或最右竖向线段的更新；如果所有激光雷达点的曲率均小于等于所述第一阈值，则认为障碍物正面面对所述机器人，不对最左竖向线段和最右竖向线段进行更新。
步骤4.4、将位于最左竖向线段和最右竖向线段之间的所述选出的横向线段进行位置排序，得到最上横向线段和最下横向线段；将最左竖向线段、最右竖向线段、最上横向线段和最下横向线段所组成的矩形作为所述障碍物的测量面，如图5。
步骤5、基于所述标定信息和所述障碍物的测量面上的激光雷达数据，得到障碍物的尺寸信息。
具体的，所述步骤5包括以下子步骤：
步骤5.1、利用所述标定信息，将所述障碍物的测量面上的激光雷达点坐标转换为像素坐标。
假设一激光雷达点在激光雷达坐标系下坐标为P(x,y)，按照公式(4)将其转换为像素坐标，实现激光雷达数据与像素数据融合。
Figure BDA0002982058430000091
其中，(u2,v2)为转换后得到的像素坐标，cx、cy分别为单目相机在x轴、y轴上的光圈中心位置；fx、fy分别为单目相机在x轴、y轴上的焦距；R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵。
步骤5.2、基于像素坐标对障碍物的尺寸进行测量，得到障碍物的尺寸信息。
下面分别针对障碍物为实心物体、空心物体的尺寸信息的获得进行说明。
(1)当障碍物为柜子等实心物体时，基于单目相机采集的图像获得障碍物的像素信息，包括Δw、Δh、Δs、Δy，其中，参见图6，Δw为实际宽度为W的障碍物在单目相机采集的图像中所占据的宽度对应的像素值，Δh为实际高度为H的障碍物在单目相机采集的图像中所占据的高度对应的像素值，Δs为两激光雷达点P1、P2之间的距离对应的像素值，因为目标物体(即障碍物)置于地面上，因此，Δy为激光雷达点距离地面的高度对应的像素值。利用公式(5)计算两个激光雷达点P1(x1,y1)、P2(x2,y2)之间的实际距离S：
Figure BDA0002982058430000092
利用公式(6)计算障碍物的实际宽度W：
Figure BDA0002982058430000093
利用公式(7)计算障碍物的实际高度H：
Figure BDA0002982058430000101
其中，Y为激光雷达的安装高度。
公式(6)与公式(7)分别对应像素深度恢复与尺度恢复。
(2)当障碍物为椅子等空心物体时，以椅子为例，椅子的实际高度通过击中椅腿的激光雷达点按照公式(7)计算。利用椅腿的平行关系，结合透视原理重新计算Δw，利用公式(6)即可计算得到椅子的实际宽度。
如图7中的A1、A2、A3、A4分别为椅子的四条腿在同一平面上的点。三维空间中A1A2与A3A4平行且相等，而且A1A3与A2A4平行且相等，A1A3之间的距离即为椅子的宽度。但在单目相机采集的图像中，由于相机成像的透视原理，A1A2与A3A4不再平行，因此可以求出其与墙面的交线O1O2。将激光雷达点向地面投影，O1O2也即为A1A2与A3A4与激光线交点。三维空间中O1O2的距离与椅子宽度相等。将O1O2之间的像素距离作为Δw的取值，然后利用公式(6)计算椅子的实际宽度。
本发明实施例提供的一种基于激光雷达与单目相机的障碍物检测与测量方法至少包括如下技术效果：
本发明解决了单一传感器对障碍物检测测量易受环境影响、检测精度较低的问题，保留了二维激光雷达精度高的特点，同时兼具单目物体检测便捷的优点，具有较大的可行性和实用推广价值。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，包括以下步骤：
步骤1、对激光雷达与单目相机进行联合标定，得到标定信息；所述激光雷达为二维激光雷达；
步骤2、通过所述单目相机获取障碍物对应的第一图像信息，利用训练好的深度学习网络模型对所述第一图像信息进行目标检测，得到障碍物位置信息；
步骤3、利用图像分割算法对所述障碍物位置信息中的环境背景干扰信息进行去除，得到障碍物目标区域信息；
步骤4、利用边缘检测算法对所述障碍物目标区域信息进行轮廓提取，得到轮廓信息；对所述障碍物目标区域信息中的激光雷达点进行曲率计算，得到曲率信息；根据所述轮廓信息和所述曲率信息得到障碍物的测量面；
其中，所述步骤4包括以下子步骤：
步骤4.1、基于所述障碍物目标区域信息，利用Canny边缘检测算法获得障碍物中存在的所有线段，储存其中所有的竖向线段，将小于第一角度的横向线段作为选出的横向线段，储存所述选出的横向线段；
步骤4.2、对位于障碍物上的激光雷达点进行曲率计算；
步骤4.3、选出所有的竖向线段中的最左竖向线段与最右竖向线段；
所述激光雷达与所述单目相机安装在机器人上；如果存在某一激光雷达点的曲率大于第一阈值，则认为障碍物侧面面对所述机器人，则在所有的竖向线段中寻找离该激光雷达点最近的竖向线段，记为第一竖向线段；计算所述第一竖向线段分别与最左竖向线段、最右竖向线段之间的距离，并以所述第一竖向线段替换最小距离对应的竖向线段，实现最左竖向线段或最右竖向线段的更新；如果所有激光雷达点的曲率均小于等于所述第一阈值，则认为障碍物正面面对所述机器人，不对最左竖向线段和最右竖向线段进行更新；
步骤4.4、将位于最左竖向线段和最右竖向线段之间的所述选出的横向线段进行位置排序，得到最上横向线段和最下横向线段；将最左竖向线段、最右竖向线段、最上横向线段和最下横向线段所组成的矩形作为所述障碍物的测量面；
步骤5、基于所述标定信息和所述障碍物的测量面上的激光雷达数据，得到障碍物的尺寸信息。
2.根据权利要求1所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述标定信息包括所述单目相机的内参，以及所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵；
所述步骤1包括以下子步骤：
步骤1.1、制作联合标定板，所述联合标定板包括黑白棋盘格；
步骤1.2、将所述联合标定板置于所述单目相机与所述激光雷达的正前方，使所述单目相机能够获得所述黑白棋盘格的全貌，同时确保能有大于第一数量的激光雷达点击中所述联合标定板，并获得击中所述联合标定板的激光雷达点的坐标信息；
步骤1.3、利用张正友标定法对所述单目相机进行标定，获得所述单目相机的内参和联合标定板的空间平面方程；
步骤1.4、根据所述联合标定板的空间平面方程和所述击中联合标定板的激光雷达点的坐标信息，得到所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵。
3.根据权利要求2所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述步骤1.3中，假设世界坐标系下所述黑白棋盘格所属的平面方程为Z＝0，且所述黑白棋盘格左下角的第一个黑白方块角点为世界坐标系原点，得到所述黑白棋盘格上每个黑白方块角点在世界坐标系下的位置信息；利用所述单目相机获取标定图像，对所述标定图像进行角点检测，得到每个黑白方块角点的像素坐标；假设三维坐标系下的一黑白方块角点为Pw(Xw,Yw,0)，Pw的像素点坐标为(u1,v1)，将三维坐标转换为齐次坐标，根据公式(1)有：
式中，Rwc为世界坐标系到相机坐标系的旋转矩阵；twc为世界坐标系到相机坐标系的位移向量；cx、cy分别为单目相机在x轴、y轴上的光圈中心位置；fx、fy分别为单目相机在x轴、y轴上的焦距；
利用PnP算法对公式(1)中未知的Rwc与twc进行求解，通过将每个黑白方块角点由世界坐标系转换到相机坐标系下，再利用三个角点坐标确定标定平面在相机坐标系下的空间平面方程，所述空间平面方程记为：Ax+By+Cz+D＝0，其中，A、B、C、D为空间平面方程的参数。
4.根据权利要求2所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述步骤1.4中，通过公式(2)得到所述激光雷达相对于所述单目相机的旋转矩阵和位移矩阵：
式中，R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵；(Xi,Yi,Zi)(i＝1,2,...n)为第i个击中联合标定板的激光雷达点的坐标；A、B、C、D为空间平面方程的参数。
5.根据权利要求1所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述步骤4.2的具体实现方式为：假设计算激光雷达点P1(x1,y1)的曲率，取其前后间隔两个位置的激光雷达点P0(x0,y0)，P2(x2,y2)，由于三点能确定一个圆，设圆心坐标Pc(xc,yc)，则激光雷达点P1的曲率ρ通过公式(3)计算：
。
6.根据权利要求1所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述步骤5包括以下子步骤：
步骤5.1、利用所述标定信息，将所述障碍物的测量面上的激光雷达点坐标转换为像素坐标；
假设一激光雷达点在激光雷达坐标系下的坐标为P(x,y)，按照公式(4)将其转换为像素坐标：
式中，(u2,v2)为转换后得到的像素坐标，cx、cy分别为单目相机在x轴、y轴上的光圈中心位置；fx、fy分别为单目相机在x轴、y轴上的焦距；R为激光雷达相对于单目相机的旋转矩阵；t为激光雷达相对于单目相机的位移矩阵；
步骤5.2、基于所述像素坐标对障碍物的尺寸进行测量，得到障碍物的尺寸信息。
7.根据权利要求6所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，所述像素信息包括Δw、Δh、Δs、Δy；其中，Δw为实际宽度为W的障碍物在单目相机采集的图像中所占据的宽度对应的像素值，Δh为实际高度为H的障碍物在单目相机采集的图像中所占据的高度对应的像素值，Δs为两个激光雷达点P1、P2之间的实际距离对应的像素值，Δy为激光雷达点距离地面的高度对应的像素值；
利用公式(5)计算两个激光雷达点P1(x1,y1)、P2(x2,y2)之间的实际距离S：
利用公式(6)计算障碍物的实际宽度W：
利用公式(7)计算障碍物的实际高度H：
其中，Y为激光雷达的安装高度。
8.根据权利要求7所述的基于激光雷达与单目相机的障碍物检测与测量方法，其特征在于，当障碍物为实心物体时，利用公式(6)计算障碍物的实际宽度，利用公式(7)计算障碍物的实际高度；
当障碍物为空心物体时，利用公式(7)计算障碍物的实际高度；利用空心物体中存在的平行关系，结合透视原理计算Δw，然后利用公式(6)计算得到空心物体的实际宽度。
CN202110291251.XA 2021-03-18 2021-03-18 一种基于激光雷达与单目相机的障碍物检测与测量方法 Active CN113096183B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110291251.XA CN113096183B (zh) 2021-03-18 2021-03-18 一种基于激光雷达与单目相机的障碍物检测与测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110291251.XA CN113096183B (zh) 2021-03-18 2021-03-18 一种基于激光雷达与单目相机的障碍物检测与测量方法

Publications (2)

Publication Number Publication Date
CN113096183A CN113096183A (zh) 2021-07-09
CN113096183B true CN113096183B (zh) 2023-05-16

Family

ID=76668765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110291251.XA Active CN113096183B (zh) 2021-03-18 2021-03-18 一种基于激光雷达与单目相机的障碍物检测与测量方法

Country Status (1)

Country Link
CN (1) CN113096183B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113608532A (zh) * 2021-07-29 2021-11-05 深圳市眼科医院 一种用于盲人出行的自动避障系统及其代步车
CN113689502B (zh) * 2021-09-01 2023-06-30 南京信息工程大学 一种多信息融合的障碍物测量方法
CN114509061A (zh) * 2021-12-30 2022-05-17 重庆特斯联智慧科技股份有限公司 一种基于障碍物属性的机器人行进路径确定方法和系统
CN114612786A (zh) * 2022-03-18 2022-06-10 杭州萤石软件有限公司 一种障碍物检测方法、移动机器人及机器可读存储介质
CN116402871A (zh) * 2023-03-28 2023-07-07 苏州大学 一种基于场景平行要素的单目测距方法、系统及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108662987B (zh) * 2018-04-23 2021-06-08 西南交通大学 2d摄像式激光测量头的标定方法
CN109283538B (zh) * 2018-07-13 2023-06-13 上海大学 一种基于视觉和激光传感器数据融合的海上目标大小检测方法
CN109472831A (zh) * 2018-11-19 2019-03-15 东南大学 面向压路机施工过程的障碍物识别测距系统及方法
CN111399492A (zh) * 2018-12-28 2020-07-10 深圳市优必选科技有限公司 一种机器人及其障碍物感知方法和装置
CN110503040B (zh) * 2019-08-23 2022-05-27 斯坦德机器人（深圳）有限公司 障碍物检测方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110221603A (zh) * 2019-05-13 2019-09-10 浙江大学 一种基于激光雷达多帧点云融合的远距离障碍物检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Monocular visual-inertial SLAM:continuous preintegration and reliable initialization;Yi L;Sensors;第17卷(第11期);2613 *
基于相机与摇摆激光雷达融合的非结构化环境定位;俞毓锋;自动化学报;第45卷(第9期);1791-1798 *

Also Published As

Publication number Publication date
CN113096183A (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
CN113096183B (zh) 一种基于激光雷达与单目相机的障碍物检测与测量方法
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN105758426B (zh) 移动机器人的多传感器的联合标定方法
Pandey et al. Extrinsic calibration of a 3d laser scanner and an omnidirectional camera
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
CN108474658B (zh) 地面形态检测方法及系统、无人机降落方法和无人机
EP2808842A2 (en) An apparatus and method for tracking and reconstructing three-dimensional objects
He et al. Pairwise LIDAR calibration using multi-type 3D geometric features in natural scene
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
CN108332752B (zh) 机器人室内定位的方法及装置
Liang et al. Automatic registration of terrestrial laser scanning data using precisely located artificial planar targets
CN113111513B (zh) 传感器配置方案确定方法、装置、计算机设备及存储介质
CN115359130B (zh) 雷达和相机的联合标定方法、装置、电子设备及存储介质
Xu et al. LiDAR–camera calibration method based on ranging statistical characteristics and improved RANSAC algorithm
Yan et al. Joint camera intrinsic and lidar-camera extrinsic calibration
US11259000B2 (en) Spatiotemporal calibration of RGB-D and displacement sensors
CN114140539A (zh) 一种室内物体的位置获取方法和装置
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
Wan et al. A study in 3D-reconstruction using kinect sensor
CN114137564A (zh) 一种室内物体自动标识定位方法和装置
CN111198563A (zh) 一种用于足式机器人动态运动的地形识别方法及系统
CN102542563A (zh) 一种移动机器人前向单目视觉的建模方法
NL2027547B1 (en) Method of and apparatus for determining deformations of quay walls using a photogrammetric system
Pfeiffer et al. Ground truth evaluation of the Stixel representation using laser scanners

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant