CN112232275A - 基于双目识别的障碍物检测方法、系统、设备及存储介质 - Google Patents

基于双目识别的障碍物检测方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112232275A
CN112232275A CN202011212320.5A CN202011212320A CN112232275A CN 112232275 A CN112232275 A CN 112232275A CN 202011212320 A CN202011212320 A CN 202011212320A CN 112232275 A CN112232275 A CN 112232275A
Authority
CN
China
Prior art keywords
matrix
dimensional
point
image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011212320.5A
Other languages
English (en)
Other versions
CN112232275B (zh
Inventor
谭黎敏
顾荣琦
刘若晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xijing Technology Co ltd
Original Assignee
Shanghai Westwell Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Westwell Information Technology Co Ltd filed Critical Shanghai Westwell Information Technology Co Ltd
Priority to CN202011212320.5A priority Critical patent/CN112232275B/zh
Publication of CN112232275A publication Critical patent/CN112232275A/zh
Application granted granted Critical
Publication of CN112232275B publication Critical patent/CN112232275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Abstract

本发明提供了基于双目识别的障碍物检测方法、系统、设备及存储介质，该方法包括以下步骤：使用双目摄像装置拍摄防撞区域的彩色图像，根据左图像和右图像计算视差矩阵和三维点云，基于左图像与视差矩阵得到三维矩阵，将三维矩阵进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物标识；基于左图像中每个像素点与三维点云的映射关系，将三维点云的每个点标示代表障碍物种类的障碍物标识；获得双目摄像装置与地面之间的夹角，将三维点云的每个点投影为俯视图，在俯视图中获得障碍物的位置以及障碍物种类。本发明能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。

Description

基于双目识别的障碍物检测方法、系统、设备及存储介质
技术领域
本发明涉及传感器识别领域，具体地说，涉及用于行车场景下的基于双目识别的障碍物检测方法、系统、设备及存储介质。
背景技术
近年来，随着汽车驾驶辅助技术的日益成熟，各种汽车辅助功能被越来越多地应用在量产汽车上。汽车驾驶辅助技术是汽车由“机械化”向“智能化”发展的一个必经的技术阶段；其可以为驾驶员驾驶行为提供安全保障，同时提高车辆行驶的舒适性、安全性、燃油经济性。在驾驶辅助技术和无人驾驶技术中，环境感知是其重要的核心组成部分。环境感知技术指车辆通过包括摄像头、超声波雷达、毫米波雷达、激光雷达等传感器的相关信号对周围环境进行感知，为车辆的控制决策提供重要依据。
尤其是，精确实时的防碰撞预警有重要的应用意义，尤其是在辅助驾驶安全警示和自动驾驶的自动控制中起到决定性作用，比如在自动驾驶中，防碰撞预警可以尽可能多地减少事故，避免人身和财产损失；在自动驾驶中，防碰撞预警越精确，安全性越高。
目前，对于防碰撞预警方法主要有，一是基于激光雷达传感器或毫米波雷达，首先进行标定，对低于一定阈值的区域判断为地面，该方法所需激光雷达成本很高，很难普及使用，毫米波精度远没有激光雷达高；二是利用单目彩色摄像头，通过机器学习和计算机视觉的方法来检测前方障碍物，该方法严重依赖于训练的样本和人工设计的特征，可行驶区域千差万别，遇到训练样本中不存在的情况则检测不出来，扩展性、通用性不强，另一方面，单目相机无法准确地获取深度信息，得到的结果往往不符合真实场景，最后该方法实时性也难以保障。
因此，本发明提供了一种基于双目识别的障碍物检测方法、系统、设备及存储介质。
发明内容
针对现有技术中的问题，本发明的目的在于提供基于双目识别的障碍物检测方法、系统、设备及存储介质，克服了现有技术的困难，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
本发明的实施例提供一种基于双目识别的障碍物检测方法，包括以下步骤：
S110、使用双目摄像装置拍摄防撞区域的彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；
S130、基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；
S140、基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；
S105、根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；以及
S106、根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；
S107、在所述俯视图中获得障碍物的位置以及障碍物种类。
优选地，所述步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；
S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；
S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及
S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。
优选地，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure BDA0002759220540000031
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
优选地，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；
将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。
优选地，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
优选地，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：
Figure BDA0002759220540000041
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]。
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。
优选地，在所述步骤S110中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
优选地，所述步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d；
Xa＝(Za×(u-cx))/f；
Ya＝(Za×(v-cy))/f；
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为深度值，u，v为像素的横纵坐标，cx，cy为中心点。
优选地，所述步骤S130中，所述三维矩阵中的每个点的等于该像素点在左图像中的横坐标xc，第二维等于该像素点在左图像中的纵坐标yc，第三维是像素点的颜色RGB值与深度值D的组合参数(R，G，B，D)。
优选地，所述步骤S150中包括以下步骤：
S151、使用视差图构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure BDA0002759220540000051
其中k为直线的斜率，xb，yb分别是深度值与图像的行数；
S152、将地面表现为行数与深度值的线性方程：yb＝kxb+b；
S153、所述夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))；
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
优选地，所述步骤S160中将三维点云投影到地面平面以构建俯视图，所有的物体的三维点云与地面点云都经过一个旋转矩阵使地面点云平行与yz平面，之后点的yz坐标即为俯视图中的坐标，旋转矩阵的公式如下：
Rx(da)＝[1,0,0；0,cos(da),-sin(da)；0,sin(da),cos(da)]
[x’,y’,z’]＝[x,y,z]Rx(da)＝>
＝>x’＝x；
＝>y’＝z*sin(da)+y*cos(da)；
＝>z’＝z*cos(da)-y*sin(da)；
其中，da为双目摄像装置与地面之间的夹角，此时三维点云被投影到yz平面，所述俯视图中的每个点的障碍物标识等于该点对应的所述三维点云的障碍物标识。
优选地，所述步骤S107之后还包括以下步骤：
S108、基于所述俯视图规划避让所述障碍物的行驶路径。
本发明还提供一种基于双目识别的障碍物检测系统，用于实现上述的基于双目识别的障碍物检测方法，包括：
拍摄模块，使用双目摄像装置拍摄防撞区域的彩色图像；
点云模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；
分割模块，基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；
映射模块，基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；
夹角模块，根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；
投影模块，根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；以及
输出模块，在所述俯视图中获得障碍物的位置以及障碍物种类。
本发明的实施例还提供一种基于双目识别的障碍物检测设备，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行上述基于双目识别的障碍物检测方法的步骤。
本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于双目识别的障碍物检测方法的步骤。
本发明的基于双目识别的障碍物检测方法、系统、设备及存储介质，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明的基于双目识别的障碍物检测方法的流程图。
图2至6是本发明的基于双目识别的障碍物检测方法的实施过程示意图。
图7是本发明的基于双目识别的障碍物检测系统的结构示意图。
图8是本发明的基于双目识别的障碍物检测设备的结构示意图。以及
图9是本发明一实施例的计算机可读存储介质的结构示意图。
附图标记
1 车辆
2 双目摄像装置
21 左彩色摄像头
22 右彩色摄像头
3 第一障碍物
4 第二障碍物
L 行车路线
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
图1是本发明的基于双目识别的障碍物检测方法的流程图。如图1所示，本发明的基于双目识别的障碍物检测方法，包括以下步骤：
S110、使用双目摄像装置拍摄防撞区域的彩色图像。
S120、根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据视差矩阵获得防撞区域的三维点云。
S130、基于左图像与视差矩阵得到三维矩阵，三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物标识。
S140、基于左图像中每个像素点与三维点云的映射关系，将三维点云的每个点标示代表障碍物种类的障碍物标识。
S105、根据视差矩阵拟合地面信息并获得双目摄像装置与地面之间的夹角。以及
S106、根据夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，俯视图中的每个点具有基于三维点云的障碍物标识。
S107、在俯视图中获得障碍物的位置以及障碍物种类。
S108、基于俯视图规划避让障碍物的行驶路径。
在一个优选方案中，步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据匹配代价值以及位置关系建立三维匹配矩阵。
S122、基于三维匹配矩阵沿通过方向分行逐列依次生成一维搜寻矩阵，根据一维搜寻矩阵的位置关系建立与三维匹配矩阵相同尺寸的三维搜索矩阵。
S123、以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵。以及
S124、根据所有行的路径矩阵的位置关系获得视差矩阵。
在一个优选方案中，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure BDA0002759220540000081
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
在一个优选方案中，获得三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和。
将一维矩阵中最小的元素值与三维匹配矩阵中对应位置的元素的元素值的总和作为三维搜索矩阵中当前元素的元素值。
在一个优选方案中，获得路径矩阵的步骤包括：以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
在一个优选方案中，将视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：
Figure BDA0002759220540000091
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]，本实施例中是希望第三位数变成1,所以提取一个乘数s使其变为s*[u,v,1]。统计位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。
与传统的图像分割相比，传统的图像分割使用RGB三维信息进行分割,而本发明在此基础上新加了一维深度层信息,辅助进行分割使分割边缘更加准确。
在一个优选方案中，在步骤S110中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
在一个优选方案中，步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d。
Xa＝(Za×(u-cx))/f。
Ya＝(Za×(v-cy))/f。
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为深度值，u，v为像素的横纵坐标，cx，cy为中心点。
在一个优选方案中，步骤S130中，三维矩阵中的每个点的等于该像素点在左图像中的横坐标xc，第二维等于该像素点在左图像中的纵坐标yc，第三维是像素点的颜色RGB值与深度值D的组合参数(R，G，B，D)。
在一个优选方案中，步骤S150中包括以下步骤：
S151、使用视差图构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure BDA0002759220540000101
其中k为直线的斜率，xb，yb分别是深度值与图像的行数。
S152、将地面表现为行数与深度值的线性方程：yb＝kxb+b。
S153、夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))。
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
在一个优选方案中，步骤S160中将三维点云投影到地面平面以构建俯视图，所有的物体的三维点云与地面点云都经过一个旋转矩阵使地面点云平行与yz平面，之后点的yz坐标即为俯视图中的坐标，旋转矩阵的公式如下：
Rx(da)＝[1,0,0；0,cos(da),-sin(da)；0,sin(da),cos(da)]
[x’,y’,z’]＝[x,y,z]Rx(da)＝>
＝>x’＝x。
＝>y’＝z*sin(da)+y*cos(da)。
＝>z’＝z*cos(da)-y*sin(da)。
其中，da为双目摄像装置与地面之间的夹角，此时三维点云被投影到yz平面，俯视图中的每个点的障碍物标识等于该点对应的三维点云的障碍物标识。
图2至6是本发明的基于双目识别的障碍物检测方法的实施过程示意图。参考图2至6，本发明的实施过程如下：
参考图2所示，在车辆1上安装双目摄像装置2，双目摄像装置2包括左彩色摄像头21和右彩色摄像头22用于拍摄行驶方向前方的防撞区域，左彩色摄像头21获得左图像，右彩色摄像头22获得右图像。首先，使用双目摄像装置2拍摄防撞区域的彩色图像。进行图像校正，通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
根据双目摄像装置基于同一时刻获得的矫正后的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据视差矩阵获得防撞区域的三维点云。
本实施例中的左图像和右图像都是由1080P规格的传感器获得的图片，所以左图像和右图像的行方向具有1080行像素点，列方向具有1920列像素点。
本实施例中，首先，获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据匹配代价值以及位置关系建立三维匹配矩阵。其中，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure BDA0002759220540000111
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值。meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值。sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差。sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差。sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差。C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]，但不以此为限。
基于三维匹配矩阵沿通过方向分行逐列依次生成一维搜寻矩阵，根据一维搜寻矩阵的位置关系建立与三维匹配矩阵相同尺寸的三维搜索矩阵。获得三维搜索矩阵中每一列的每个元素的元素值的步骤包括：建立一维矩阵，矩阵中的每个元素为三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和。将一维矩阵中最小的元素值与三维匹配矩阵中对应位置的元素的元素值的总和作为三维搜索矩阵中当前元素的元素值。
以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵。获得路径矩阵的步骤包括：以三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
根据所有行的路径矩阵的位置关系获得视差矩阵。将视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：
Figure BDA0002759220540000121
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]，本实施例中是希望第三位数变成1,所以提取一个乘数s使其变为s*[u,v,1]。
统计位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。
最后，可以将视差图重新投影至三维坐标，例如：通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d。
Xa＝(Za×(u-cx))/f。
Ya＝(Za×(v-cy))/f。
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为深度值，u，v为像素的横纵坐标，cx，cy为中心点。
基于左图像与视差矩阵得到三维矩阵，三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物标识。三维矩阵中的每个点的等于该像素点在左图像中的横坐标xc，第二维等于该像素点在左图像中的纵坐标yc，第三维是像素点的颜色RGB值与深度值D的组合参数(R，G，B，D)。
参考图3所示，图3为被分割后的左图像。本实施例中，通过训练的机器视觉模型的识别，获得左图像中的第一区域Z1是第一障碍物石头3，第二区域Z2是第二障碍物台阶3，第三区域Z3是路面。在第一区域Z1的所有像素的属性被标记为石头(不可通行)，在第二区域Z2的所有像素的属性被标记为台阶(不可通行)，在第三区域Z3的所有像素的属性被标记为路面(可通行)。
然后，基于左图像中每个像素点与三维点云的映射关系，将三维点云的每个点标示代表障碍物种类的障碍物标识。在三维点云中对应第一区域Z1的所有像素的点的属性被标记为石头(不可通行)，在三维点云中对应第二区域Z2的所有像素的点的属性被标记为台阶(不可通行)，在三维点云中对应第三区域Z3的所有像素的点的属性被标记为路面(可通行)。
根据视差矩阵拟合地面信息并获得双目摄像装置与地面之间的夹角。通过使用视差图构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure BDA0002759220540000141
其中k为直线的斜率，xb，yb分别是深度值与图像的行数。
将地面表现为行数与深度值的线性方程：yb＝kxb+b。夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))。da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
参考图4所示，根据夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，俯视图中的每个点具有基于三维点云的障碍物标识。将三维点云投影到地面平面以构建俯视图，所有的物体的三维点云与地面点云都经过一个旋转矩阵使地面点云平行与yz平面，之后点的yz坐标即为俯视图中的坐标，旋转矩阵的公式如下：
Rx(da)＝[1,0,0；0,cos(da),-sin(da)；0,sin(da),cos(da)]
[x’,y’,z’]＝[x,y,z]Rx(da)＝>
＝>x’＝x。
＝>y’＝z*sin(da)+y*cos(da)。
＝>z’＝z*cos(da)-y*sin(da)。
其中，da为双目摄像装置与地面之间的夹角，此时三维点云被投影到yz平面，俯视图中的每个点的障碍物标识等于该点对应的三维点云的障碍物标识。
参考图5所示，在俯视图中获得障碍物的位置以及障碍物种类。在俯视图中，可以知道俯视图中的部分区域根据俯视图像素点--三维点云--左图像中像素点三者的映射关系，使得俯视图中的一部分区域的像素点的属性是第一障碍物石头3，另一部分区域的像素点的属性是第二障碍物台阶4。其余部分的像素点的属性是路面，从而可以获得第一障碍物石头3、第二障碍物台阶4相对于车辆1的位置和距离。
参考图6所示，通过基于俯视图的路径导航来规划避让第一障碍物石头3、第二障碍物台阶4的行驶路径L，驱动车辆沿路径L行驶，以避开第一障碍物石头3和第二障碍物台阶4。本实施例中的路径导航使用现有技术。
本发明的基于双目识别的障碍物检测系统能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
图7是本发明的基于双目识别的障碍物检测系统的结构示意图。如图7所示，本发明还提供一种基于双目识别的障碍物检测系统5，用于实现上述的基于双目识别的障碍物检测方法，包括：
拍摄模块51，使用双目摄像装置拍摄防撞区域的彩色图像。
点云模块52，根据双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据视差矩阵获得防撞区域的三维点云。
分割模块53，基于左图像与视差矩阵得到三维矩阵，三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于左图像的图像分割，并获得左图像中每个分割后图像区域对应的障碍物标识。
映射模块54，基于左图像中每个像素点与三维点云的映射关系，将三维点云的每个点标示代表障碍物种类的障碍物标识。
夹角模块55，根据视差矩阵拟合地面信息并获得双目摄像装置与地面之间的夹角。
投影模块56，根据夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，俯视图中的每个点具有基于三维点云的障碍物标识。
输出模块57，在俯视图中获得障碍物的位置以及障碍物种类。
自驾模块58，基于俯视图规划避让障碍物的行驶路径。
本发明的基于双目识别的障碍物检测系统能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
本发明实施例还提供一种基于双目识别的障碍物检测设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于双目识别的障碍物检测方法的步骤。
如上，本发明的基于双目识别的障碍物检测设备能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
图8是本发明的基于双目识别的障碍物检测设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于双目识别的障碍物检测方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上，本发明的基于双目识别的障碍物检测方法、系统、设备及存储介质，能够大幅降低障碍物检测的成本，并且提高障碍物检测的准确性，具备更出色的扩展性和通用性。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (15)

1.一种基于双目识别的障碍物检测方法，其特征在于，包括以下步骤：
S110、使用双目摄像装置拍摄防撞区域的彩色图像；
S120、根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；
S130、基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；
S140、基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；
S105、根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；以及
S106、根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；
S107、在所述俯视图中获得障碍物的位置以及障碍物种类。
2.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S120包括以下步骤：
S121、获得右图像的像素点基于左图像中沿左移动预设最大位移值的轨迹范围内每个像素点的匹配代价值，根据所述匹配代价值以及位置关系建立三维匹配矩阵；
S122、基于三维匹配矩阵沿所述通过方向分行逐列依次生成一维搜寻矩阵，根据所述一维搜寻矩阵的位置关系建立与所述三维匹配矩阵相同尺寸的三维搜索矩阵；
S123、以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，根据最小代价逐列回溯到该行中位于第一侧的第一列，根据回溯路径经过每一列的元素的顺序获得一维路径矩阵；以及
S124、根据所有行的所述路径矩阵的位置关系获得视差矩阵。
3.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，通过以下公式获得两个元素x，y之间的匹配代价值cost(x，y)：
Figure FDA0002759220530000021
其中，meanx是以对应像素点x为中心的第一预设范围内的像素点的像素值的平均值；
meany是以对应像素点y为中心的第一预设范围内的像素点的像素值的平均值；
sigmax是以对应像素点x为中心的第二预设范围内的像素值的标准差；
sigmay是以对应像素点y为中心的第二预设范围内的像素值的标准差；
sigmaxy是以对应像素点x、y为中心的第二预设范围内的像素值的协方差；
C1、C2为常数，C1的取值范围是[1，10]，C2的取值范围是[50，100]。
4.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，获得所述三维搜索矩阵中每一列的每个元素的元素值的步骤包括：
建立一维矩阵，矩阵中的每个元素为所述三维搜索矩阵的该元素所在页数与前一列一维矩阵中每个元素所在页数之差的绝对值与前一列一维矩阵中每个元素的元素值的和；
将所述一维矩阵中最小的元素值与所述三维匹配矩阵中对应位置的元素的元素值的总和作为所述三维搜索矩阵中当前元素的元素值。
5.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，获得所述路径矩阵的步骤包括：以所述三维搜索矩阵每行中位于第二侧的最后一列中元素值最小的元素作为起点，在前一列元素中寻找到达本列中起点的匹配代价最小的元素作为新的起点，依序逐列回溯到该行中位于第一侧的第一列形成回溯路径，根据所述回溯路径经过的每一列的元素的顺序获得一维路径矩阵。
6.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，将所述视差矩阵(u,v,z)通过以下公式投影成三维点云(x,y,z)：
Figure FDA0002759220530000031
其中，u,v是视差矩阵中像素点的横纵坐标，z是深度，fx,fy为相机在x,y方向上的焦距，cx,cy指位于图像中心的主要点，r11至r33是旋转矩阵R，t1至t3是位移矩阵T，s代表使视差矩阵中的第三维变成1的值,即等号右边的计算结果应为[us,vs,s]；
统计所述位移矩阵中各种元素的不同数值的元素值的出现次数，将出现次数最高的元素值作为深度值d。
7.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，在所述步骤S110中通过标定与矫正使得左图像和右图像上同一行的对应的像素点处于同一水平线。
8.根据权利要求2所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S120中，通过以下公式组将视差矩阵并转化为三维点云：
Za＝fba/d；
Xa＝(Za×(u-cx))/f；
Ya＝(Za×(v-cy))/f；
其中X，Y，Z为三维点云坐标，f为焦距，ba为双目的基线，d为深度值，u，v为像素的横纵坐标，cx，cy为中心点。
9.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S130中，所述三维矩阵中的每个点的等于该像素点在左图像中的横坐标xc，第二维等于该像素点在左图像中的纵坐标yc，第三维是像素点的颜色RGB值与深度值D的组合参数(R，G，B，D)。
10.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S150中包括以下步骤：
S151、使用视差图构建V-视差图像，地面相关的像素点在V-视差图中成直线形态，通过最小二乘法获得对应直线方程，其公式为：
Figure FDA0002759220530000041
其中k为直线的斜率，xb，yb分别是深度值与图像的行数；
S152、将地面表现为行数与深度值的线性方程：yb＝kxb+b；
S153、所述夹角可以通过相机参数与地面方程计算得出，其公式为：da＝arctan((-k*cy+b)/(f*k))；
da为双目摄像装置与地面之间的夹角，k为地面斜率，b为地面截距，cy为中心点的y坐标，f是焦距。
11.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S160中将三维点云投影到地面平面以构建俯视图，所有的物体的三维点云与地面点云都经过一个旋转矩阵使地面点云平行与yz平面，之后点的yz坐标即为俯视图中的坐标，旋转矩阵的公式如下：
Rx(da)＝[1,0,0；0,cos(da),-sin(da)；0,sin(da),cos(da)]
[x’,y’,z’]＝[x,y,z]Rx(da)＝>
＝>x’＝x；
＝>y’＝z*sin(da)+y*cos(da)；
＝>z’＝z*cos(da)-y*sin(da)；
其中，da为双目摄像装置与地面之间的夹角，此时三维点云被投影到yz平面，所述俯视图中的每个点的障碍物标识等于该点对应的所述三维点云的障碍物标识。
12.根据权利要求1所述的基于双目识别的障碍物检测方法，其特征在于，所述步骤S107之后还包括以下步骤：
S108、基于所述俯视图规划避让所述障碍物的行驶路径。
13.一种基于双目识别的障碍物检测系统，其特征在于，用于实现如权利要求1所述的基于双目识别的障碍物检测方法，包括：
拍摄模块，使用双目摄像装置拍摄防撞区域的彩色图像；
点云模块，根据所述双目摄像装置基于同一时刻获得的左图像和右图像计算视差矩阵和每个像素点的深度值，并根据所述视差矩阵获得防撞区域的三维点云；
分割模块，基于左图像与视差矩阵得到三维矩阵，所述三维矩阵的包括第一维和第二维是像素点在左图像中的横坐标以及纵坐标，第三维是像素点的颜色与深度值的组合参数，将三维矩阵输入经过训练的机器视觉模型进行基于所述左图像的图像分割，并获得所述左图像中每个分割后图像区域对应的障碍物标识；
映射模块，基于左图像中每个像素点与所述三维点云的映射关系，将所述三维点云的每个点标示代表障碍物种类的障碍物标识；
夹角模块，根据视差矩阵拟合地面信息并获得所述双目摄像装置与地面之间的夹角；
投影模块，根据所述夹角设置虚拟摄像机并将三维点云的每个点投影为俯视图，所述俯视图中的每个点具有基于所述三维点云的障碍物标识；以及
输出模块，在所述俯视图中获得障碍物的位置以及障碍物种类。
14.一种基于空间扫描的集装箱识别设备，其特征在于，包括：
处理器；
存储器，其中存储有处理器的可执行指令；
其中，处理器配置为经由执行可执行指令来执行权利要求1至12中任意一项所述基于空间扫描的集装箱识别方法的步骤。
15.一种计算机可读存储介质，用于存储程序，其特征在于，程序被执行时实现权利要求1至12中任意一项所述基于双目识别的障碍物检测方法的步骤。
CN202011212320.5A 2020-11-03 2020-11-03 基于双目识别的障碍物检测方法、系统、设备及存储介质 Active CN112232275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011212320.5A CN112232275B (zh) 2020-11-03 2020-11-03 基于双目识别的障碍物检测方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011212320.5A CN112232275B (zh) 2020-11-03 2020-11-03 基于双目识别的障碍物检测方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112232275A true CN112232275A (zh) 2021-01-15
CN112232275B CN112232275B (zh) 2021-12-24

Family

ID=74123066

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011212320.5A Active CN112232275B (zh) 2020-11-03 2020-11-03 基于双目识别的障碍物检测方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112232275B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113093806A (zh) * 2021-04-07 2021-07-09 涵涡智航科技(玉溪)有限公司 一种用于飞行器空间全向避障方法及系统
CN113297958A (zh) * 2021-05-24 2021-08-24 驭势（上海）汽车科技有限公司 一种自动化标注方法、装置、电子设备和存储介质
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN114167871A (zh) * 2021-12-06 2022-03-11 北京云迹科技有限公司 一种障碍物检测方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
US20150348270A1 (en) * 2013-01-14 2015-12-03 Robert Bosch Gmbh Method and device for monitoring a surrounding region of a vehicle, and method for implementing emergency braking
US20180096610A1 (en) * 2016-09-30 2018-04-05 The Boeing Company Stereo Camera System for Collision Avoidance During Aircraft Surface Operations
CN108416306A (zh) * 2018-03-12 2018-08-17 海信集团有限公司 连续型障碍物检测方法、装置、设备和存储介质
US20180307922A1 (en) * 2017-04-20 2018-10-25 Hyundai Motor Company Method of detecting obstacle around vehicle
CN110696818A (zh) * 2019-10-12 2020-01-17 深圳市布谷鸟科技有限公司 一种基于最优路径的自动泊车方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1953553A (zh) * 2005-10-17 2007-04-25 三洋电机株式会社 驾驶辅助系统
CN101852609A (zh) * 2010-06-02 2010-10-06 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
US20150348270A1 (en) * 2013-01-14 2015-12-03 Robert Bosch Gmbh Method and device for monitoring a surrounding region of a vehicle, and method for implementing emergency braking
US20180096610A1 (en) * 2016-09-30 2018-04-05 The Boeing Company Stereo Camera System for Collision Avoidance During Aircraft Surface Operations
US20180307922A1 (en) * 2017-04-20 2018-10-25 Hyundai Motor Company Method of detecting obstacle around vehicle
CN108416306A (zh) * 2018-03-12 2018-08-17 海信集团有限公司 连续型障碍物检测方法、装置、设备和存储介质
CN110696818A (zh) * 2019-10-12 2020-01-17 深圳市布谷鸟科技有限公司 一种基于最优路径的自动泊车方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
R. LABAYRADE，ET.AL: "A single framework for vehicle roll, pitch, yaw estimation and obstacles detection by stereovision", 《 IEEE IV2003 INTELLIGENT VEHICLES SYMPOSIUM》 *
YIRUO, D., ET.AL: "Complex ground plane detection based on v-disparity map in off-road environment", 《IN 2013 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
胡颖: "无人驾驶车辆双目视觉障碍物检测研究", 《中国优秀硕士学位论文全文数据库》 *
齐小燕: "基于双目立体视觉V-视差法障碍物检测算法研究与实现", 《中国优秀硕士学位论文全文数据库》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113093806A (zh) * 2021-04-07 2021-07-09 涵涡智航科技(玉溪)有限公司 一种用于飞行器空间全向避障方法及系统
CN112967283A (zh) * 2021-04-22 2021-06-15 上海西井信息科技有限公司 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113297958A (zh) * 2021-05-24 2021-08-24 驭势（上海）汽车科技有限公司 一种自动化标注方法、装置、电子设备和存储介质
CN113298044A (zh) * 2021-06-23 2021-08-24 上海西井信息科技有限公司 基于定位补偿的障碍物检测方法、系统、设备及存储介质
CN114167871A (zh) * 2021-12-06 2022-03-11 北京云迹科技有限公司 一种障碍物检测方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112232275B (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN109074668B (zh) 路径导航方法、相关装置及计算机可读存储介质
CN109461211B (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11024055B2 (en) Vehicle, vehicle positioning system, and vehicle positioning method
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
WO2020102944A1 (zh) 点云处理方法、设备及存储介质
US10990836B2 (en) Method and apparatus for recognizing object, device, vehicle and medium
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
US20190005667A1 (en) Ground Surface Estimation
US20160104047A1 (en) Image recognition system for a vehicle and corresponding method
Parra et al. Robust visual odometry for vehicle localization in urban environments
CN111121754A (zh) 移动机器人定位导航方法、装置、移动机器人及存储介质
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
CN112967283A (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN114419098A (zh) 基于视觉变换的运动目标轨迹预测方法及装置
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
CN114413958A (zh) 无人物流车的单目视觉测距测速方法
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
Nie et al. A survey of extrinsic parameters calibration techniques for autonomous devices
CN113469045A (zh) 无人集卡的视觉定位方法、系统、电子设备和存储介质
CN114646317A (zh) 车辆视觉定位导航控制方法、装置及计算机设备、介质
CN113011212B (zh) 图像识别方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee after: Shanghai Xijing Technology Co.,Ltd.

Address before: Room 503-3, 398 Jiangsu Road, Changning District, Shanghai 200050

Patentee before: SHANGHAI WESTWELL INFORMATION AND TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder