CN116012453A - 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 - Google Patents
车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 Download PDFInfo
- Publication number
- CN116012453A CN116012453A CN202310309920.0A CN202310309920A CN116012453A CN 116012453 A CN116012453 A CN 116012453A CN 202310309920 A CN202310309920 A CN 202310309920A CN 116012453 A CN116012453 A CN 116012453A
- Authority
- CN
- China
- Prior art keywords
- distance
- target object
- vehicle
- map
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000004364 calculation method Methods 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 63
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000007499 fusion processing Methods 0.000 claims abstract description 4
- 230000004927 fusion Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 claims description 4
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000000691 measurement method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及车辆智能驾驶技术领域，尤其涉及一种车辆智能驾驶的单目测距方法，包括：获取图像信息，并输入至第一卷积神经网络模型检测，得到分割图和深度图，分割图内包括目标物的检测框；提取每个目标物检测框对应的矩形框，根据矩形框对分割图进行分割，获取目标物对应的感兴趣区域图，将感兴趣区域图输入至第二卷积神经网络模型检测，获取目标物的信息；对分割图和深度图处理，通过聚类计算模型计算第一距离；结合目标物的信息，通过几何测距模型计算第二距离；将第一距离和第二距离融合处理计算，得到最终真实空间下与目标物之间的距离。本发明的一种车辆智能驾驶的单目测距方法，提高了测量准确性，且使用不受局限，实现成本低。
Description
技术领域
本发明涉及车辆智能驾驶技术领域，尤其涉及一种车辆智能驾驶的单目测距方法、装置、设备、介质及车辆。
背景技术
智能驾驶辅助系统（ADAS）中，利用安装在车内的传感器，随时感知周围环境，采集数据，识别、检测和跟踪静态和动态物体，并结合导航仪地图数据进行系统计算和分析，使驾驶员提前意识到可能发生的危险，从而使驾驶员提前意识到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。其中，前方车辆测距是智能驾驶辅助系统中的基本需求之一，常应用于车辆的自适应巡航ACC，自动紧急制动AEB等功能，因此，对前方车辆距离计算时，对其计算结果准确性有较高的要求。
现有基于双目视觉系统的测距方法主要基于两相机间的视差计算来估算场景中障碍物的距离，此类方法计算量大，在保证准确性的同时，对处理单元计算能力要求高，并且要求两个相机水平同轴，光轴平行，采集同步且曝光参数一致等，实际应用时具有较大的局限性，另外，设置的两个相机以及高算力的处理单元实现成本大。
发明内容
本发明要解决的技术问题是：为了解决现有技术中的测距方法无法兼顾测量精度、应用局限性以及成本的技术问题，本发明提供了一种车辆智能驾驶的单目测距方法，提高了测量准确性，且使用不受局限，实现成本低。
本发明解决其技术问题所采用的技术方案是：一种车辆智能驾驶的单目测距方法，包括以下步骤：
步骤S1：从车载单目摄像头拍摄的视频流中按帧读取图像信息；
步骤S2：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；
步骤S3：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；
其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；
步骤S4：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(
u,
v)，所述像素点的最小距离为真实空间下所述车载单目摄像头距离所述目标物的第一距离D1；
步骤S5：结合所述目标物的信息和所述像素点的坐标s(
u,
v)，通过几何测距模型计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2；
步骤S6：将所述第一距离D1和所述第二距离D2进行融合处理计算，得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。
进一步，具体地，在所述步骤S3中提取每个所述目标物检测框对应的矩形框具体包括以下步骤：
S31：建立像素坐标系
o-uv；
S32：获取所述目标物的检测框的上边界点(
u t
,v t )，下边界点(
u d
,v d )，左边界点(
u l
,v l )和右边界点(
u r
,v r )；
S33：根据所述上边界点、所述下边界点、所述左边界点和所述右边界点的坐标绘制所述目标物检测框的矩形框，所述目标物在图像中高度为
h=
v d -
v tt。
进一步，具体地，在所述步骤S4中所述聚类计算模型包括：
S41：设所述深度ROI图中有n个像素点，初始计算时，每个像素点自为一个簇S，所述像素点对应的深度值为dn ；
S42：计算每两个簇之间的距离，将距离最近的两个簇合并为一个簇；
S43：重复所述步骤S42，直至每两个簇之间的距离大于阈值T；
S44：分别统计两个簇中的所有像素点的数量，得到像素点数量最多的簇SMax，读取所述簇SMax中每个像素点对应的深度值，获取所述簇SMax中最小深度值dmin和所述最小深度值对应的像素点，所述最小深度值dmin为所述像素点的最小距离；
其中，当所述最小深度值dmin的数量为一个时，获取最小深度值dmin对应的所述像素点坐标s(
u,
v)；
或当所述最小深度值dmin的数量为多个时，会有多个像素点的坐标，所述车载单目摄像头的光轴在像素坐标系
o-uv中交点m的坐标为(
u 0,
v 0)，计算每个所述像素点至所述交点m之间的欧式距离，其中，所述欧式距离最小值时，获取最小深度值dmin对应的所述像素点坐标s(
u,
v)。
进一步，具体地，在所述步骤S5中所述几何测距模型包括：
S51：以所述车载单目摄像头为原点建立相机坐标系O-XYZ，垂直于所述像素坐标系
o-uv平面方向为相机坐标系的Z轴方向；
S52：在所述像素坐标系
o-uv上，已知所述像素点坐标s(
u,
v)，所述光轴在所述像素坐标系
o-uv中交点m(
u 0 ,
v 0 )，所述目标物的实际高度为
H，所述目标物在图像中的高度为
h，S(x,y,z)为所述目标物在相机坐标系下的最近点，SMN面与成像平面平行，所述光轴与所述SMN面交点为M，在相机坐标系下M坐标为(0,0,z)，计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2，计算公式为：
；
其中，
d z 为OM的长度距离，
d x 为S到OYZ面的距离，
d y 为S到OXZ面的距离，
f x 和
f y 为所述车载单目摄像头的内参，△
u为所述像素点s与所述交点m在u轴方向的距离差，△
v为所述像素点s与所述交点m在
v轴方向的距离差。
进一步，具体地，所述步骤S6具体包括：获取所述第一距离D1的标准差σ1，以及所述第二距离D2的标准差σ2，并计算距离融合标准差，所述距离融合标准差的计算公式为：
；
根据所述距离融合标准差最终真实空间下所述车载单目摄像头距离所述目标物的距离D3，计算公式为：
。
进一步，具体地，还采用卡尔曼滤波算法对最终真实空间下所述车载单目摄像头距离所述目标物的距离D3处理。
一种采用如上所述的车辆智能驾驶的单目测距方法的车辆智能驾驶的单目测距装置，所述单目测距装置包括：
第一获取模块：从车载单目摄像头拍摄的视频流中按帧读取图像信息；
第一检测模块：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；
第二检测模块：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；
其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；
第一计算模块：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(
u,
v)，所述像素点的最小距离为真实空间下所述车载单目摄像头距离所述目标物的第一距离D1；
第二计算模块：结合所述目标物的信息和所述像素点的坐标s(
u,
v)，通过几何测距模型计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2；
融合计算模块：所述第一距离D1和所述第二距离D2进行融合处理得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。
一种计算机设备，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如上所述的车辆智能驾驶的单目测距方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如上所述的车辆智能驾驶的单目测距方法。
一种车辆，包括如上所述的车辆智能驾驶的单目测距装置。
本发明的有益效果是：
通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，且实现成本低；
通过对原图像信息处理后，通过聚类算法模型计算第一距离，能够有效去除了外部干扰，第一距离的结果精度高，结合获取的实际数据，通过几何测距模型计算第二距离，第二距离的结果精度高，再对第一距离和第二距离融合计算，最终获取真实空间下的与前车的距离，相对于现有技术的单目测距，本发明的测量准确性高，且处理单元计算能力要求相对较低，进一步降低了实现成本。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明实施例一的流程示意图。
图2是本发明实施例一的图像信息示意图。
图3是本发明实施例一的车辆实例分割图的示意图。
图4是本发明实施例一的深度图的示意图。
图5是本发明实施例一的目标物的检测框在像素坐标系的示意图。
图6是本发明实施例一的部分深度ROI图
图7是本发明实施例一计算两个簇之间的距离示意图。
图8是本发明实施例一几何测距模型的原理示意图。
图9是本发明实施例二的结构示意图。
图10是本发明实施例三的硬件结构示意图
图中20、单目测距装置；200、第一获取模块；201、第一检测模块；202第二检测模块；203第一计算模块；204、第二计算模块；205、融合计算模块；
10、计算机设备；1002、处理器；1004存储器；1006、传输装置。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：本申请实施例提供了一种车辆智能驾驶的单目测距方法，包括以下步骤：
步骤S1：从车载单目摄像头拍摄的视频流中按帧读取图像信息，如图2所示，通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，适用范围广，实现成本低；
步骤S2：将图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，车辆实例分割图内包括至少一个目标物的检测框；
第一卷积神经网络采用但不限于SOLOv2分割网络结构，以获取车辆实例分割图；第一卷积神经网络内设置深度图预测分支，以获取深度图，第一卷积神经网络实现图像分割的精度高、速度快。若前方路况仅有一个车辆时，车辆实例分割图内仅有一个目标物的检测框，若前方路况仅有两个车辆时，车辆实例分割图内有两个目标物的检测框，车辆实例分割图内目标物的检测框数量与前方路况车辆数量相同，如图3所示。深度用于表示前方路况场景各点相对于车载单目摄像头的距离，即深度图中的每一个像素值表示前方路况场景中某一点与车载单目摄像头之间的距离。深度图是指以物体纵向深度值代替灰度图像的灰度级形成的图像，深度图的长度和宽度与图像信息的长度和宽度相同。图4为本实施例的一深度图的示意图，在图4中，颜色越深距离自车距离越近，颜色越浅距离自车距离越远。
步骤S3：提取每个目标物检测框对应的矩形框，根据矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图，将感兴趣区域图输入至第二卷积神经网络模型检测，获取目标物的信息；其中，目标物的信息包括：目标物类别、实际高度和目标物在图像中高度；
在本实施例中，如图5所示，步骤S3中提取每个目标物检测框对应的矩形框具体包括以下步骤：
S31：建立像素坐标系
o-uv；
S32：获取目标物的检测框的上边界点(
u t
,v t )，下边界点(
u d
,v d )，左边界点(
u l
,v l )和右边界点(
u r
,v r )，目标物的检测框为但不限于多边形状；
S33：根据上边界点、下边界点、左边界点和右边界点的坐标绘制目标物检测框的矩形框，目标物在图像中高度为
h=
v d -
v t 。
在本实施例中，基于图像分割算法根据绘制的矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图(ROI)，通过第二卷积神经网络模型检测得到目标物类型，第二卷积神经网络采用但不限于ShuffleNetv2网络结构，提高了对目标物分类的准确度，且处理速度快，目标物的类别包括但不限于小轿车、SUV或公交车，再根据目标物的类别获取目标物对应的实际高度，如：小轿车的实际高度为1.5m，SUV的实际高度为1.7m，公交车的高度为3m，以此进一步提高计算结果的准确性。
步骤S4：根据目标物的检测框和深度图，提取深度ROI图，通过聚类计算模型计算深度ROI图中像素点的最小距离，得到像素点的最小距离对应的像素点的坐标s(
u,
v)，像素点的最小距离为真实空间下车载单目摄像头距离目标物的第一距离D1；具体的，根据目标物的检测框和深度图，提取深度ROI图，车辆实例分割图内目标物的检测框的坐标与深度图融合，得到深度ROI（感兴趣区域）图。
在本实施例中，步骤S4中聚类计算模型包括：
S41：设深度ROI图中有An个像素点，初始计算时，每个像素点自为一个簇S，像素点对应的深度值为dn ；
S42：计算每两个簇之间的距离，将距离最近的两个簇合并为一个簇，具体的，如图7所示，令两个簇分别为SP和SQ，其中，簇SP有像素点AP个，簇SQ有像素点AQ个，将像素点AP1对应的深度值dp1与像素点AQ1对应的深度值dQ1作差，得到的结果dPQ1为像素点AP1与像素点AQ1之间的距离，获取两个簇之间的距离L(SP，SQ)=min(dpQ)；
S43：重复步骤S42，直至每两个簇之间的距离大于阈值T；
S44：分别统计两个簇中的所有像素点的数量，得到像素点数量最多的簇SMax，读取簇SMax中每个像素点对应的深度值，获取簇SMax中最小深度值dmin和最小深度值对应的像素点，最小深度值dmin为像素点的最小距离；
其中，当最小深度值dmin的数量为一个时，获取最小深度值dmin对应的像素点坐标s(
u,
v)；或当最小深度值dmin的数量为多个时，会有多个像素点的坐标，车载单目摄像头的光轴在像素坐标系
o-uv中交点m的坐标为(
u 0,
v 0)，计算每个像素点至交点m之间的欧式距离，欧式距离最小值时，获取最小深度值dmin对应的像素点坐标s(
u,
v)。将车辆实例分割图内目标物的检测框的坐标与深度图融合处理后，得到像素点的最小距离，该像素点的最小距离为前方车辆距离自车最近的距离，且根据像素点的最小距离得到该像素点在像素坐标中的坐标，便于后续步骤的计算的同时，减少了计算偏差，提高了计算结果的准确性。
需要说明的，车载单目摄像头采集图像时，目标物由于位置的远近关系会使得近处的目标物遮挡远处的目标物，从而使得距离近处的目标物的轮廓相对完整，而较远的目标物的轮廓会出现缺失，根据深度能够获取目标物的前后关系，以计算车载单目摄像头至远处的目标物的距离，深度图中有遮挡为例具体说明，图6为一16*16的一部分深度ROI图，A区域像素为近处目标物的深度，B区域像素为远处目标物的深度，黑色的像素点为噪点。在计算远处目标物距离时，需要避免噪点以及近处目标物带来的计算干扰，采用本实施例的聚类计算模型得到三个簇，分别为A区域的簇SA、B区域的簇SB以及异常簇SY，通过统计各个簇中像素点的数量，得到像素点最多的簇SA，在簇SA中 最小深度值为最小距离，即真实空间下车载单目摄像头距离目标物的第一距离。采用聚类计算模型能够去除对近处目标物以及噪点（噪点包括近处噪点和远处噪点）对目标物距离计算的干扰，提高计算结果的准确性以及稳定性，另外不管车辆朝向、位置以及是否有遮挡都能准确计算，适用范围广。
步骤S5：结合目标物的信息和像素点坐标s(
u,
v)，通过几何测距模型计算真实空间下车载单目摄像头距离目标物的第二距离D2；
在本实施例中，如图8所示，步骤S5中几何测距模型包括：
S51：以车载单目摄像头为原点建立相机坐标系O-XYZ，垂直于像素坐标系
o-uv平面方向为相机坐标系的Z轴方向；
S52：在像素坐标系
o-uv上，已知像素点坐标s(
u,
v)，光轴在像素坐标系
o-uv中交点m(
u 0 ,
v 0 )，目标物的实际高度为
H，目标物在图像中的高度为
h，S(x,y,z)为目标物在相机坐标系下的最近点，SMN面与成像平面平行，光轴与SMN面交点为M，在相机坐标系下M坐标为(0,0,z)，计算真实空间下车载单目摄像头距离目标物的第二距离D2，计算公式为：
；
其中，
d z 为OM的长度距离，
d x 为S到OYZ面的距离，
d y 为S到OXZ面的距离，
f x 和
f y 为车载单目摄像头的内参，△
u为像素点s与交点m在u轴方向的距离差，△
v为像素点s与交点m在
v轴方向的距离差。
步骤S6：将第一距离D1和第二距离D2进行融合处理计算，得到最终真实空间下车载单目摄像头距离目标物的距离。
具体的，获取第一距离D1的标准差σ1，以及第二距离D2的标准差σ2并计算距离融合标准差，距离融合标准差的计算公式为：
；
根据距离融合标准差最终真实空间下车载单目摄像头距离目标物的距离D3，计算公式为：
。
在本实施例中，还采用卡尔曼滤波算法3处理最终真实空间下车载单目摄像头距离目标物的距离D，处理后得到的距离进一步提高测距方法的测量精度。
在本实施例中，在执行本发明的测距方法前会对阈值T计算，并对计算结果存储，具体的，在实验场景环境，目标物由于位置的远近关系，会使得近处的目标物遮挡远处的目标物，该场景环境为本实例的一特殊情况，当有遮挡时，采用高精度激光测距仪分别测出两目标物与自车的距离分别为L1与L2，并将两距离作差Ld=|L1-L2|，本实施例统计了1000组不同遮挡情况的距离差Ld，将最小的Ld(min)的结果作为阈值T，以提高聚类计算模型计算结果的准确性，进而提高测距方法的测量精度。
在本实施例中，目标物距离越远，测距误差越大。在实验场景环境，利用高精度激光测距仪器测出与目标物的真实距离DZS，采用本实施例步骤S1~步骤S5的步骤采集1000组图像信息的样本，分别计算第一距离D1和第二距离D2，获取1000组[DZS,D1,D2 ]数据，令X1、X2分别为D1与D2的相对距离比，相对距离比计算公式如下：
；
将1000组[DZS,D1,D2 ]数据求解X1和X2对应的相对距离比标准差σ1与标准差σ2，并对相对距离比标准差σ1与标准差σ2保存，计算公式如下：
；
需要说明的是，标准差σ1和标准差σ2的计算由于复杂及庞大，在本实施例中通过电脑仿真计算并存储，很少会人工计算，通过电脑仿真计算准确度高，速度快，以提高测距方法的测量精度。使用时，直接获取标准差σ1和标准差σ2。
本发明的一种车辆智能驾驶的单目测距方法，通过设置的车载单目摄像头拍摄的视频流，相对于现有技术中基于两相机间的视差计算来估算场景中障碍物的距离，本申请使用不受局限，且实现成本低；通过对原图像信息处理后，通过聚类算法模型计算第一距离，能够有效去除了外部干扰，第一距离的结果精度高，结合获取的实际数据，通过几何测距模型计算第二距离，第二距离的结果精度高，再对第一距离和第二距离融合计算，最终获取真实空间下的与前车的距离，相对于现有技术的单目测距，本发明的测量准确性高，且处理单元计算能力要求相对较低，进一步降低了实现成本。
实施例2：本申请实施例提供了一种采用如上车辆智能驾驶的单目测距方法的车辆智能驾驶的单目测距装置，如图9所示，单目测距装置包括：
第一获取模块200：从车载单目摄像头拍摄的视频流中按帧读取图像信息；
第一检测模块201：将图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，车辆实例分割图内包括至少一个目标物的检测框；
第二检测模块202：提取每个目标物检测框对应的矩形框，根据矩形框对车辆实例分割图进行分割，获取目标物对应的感兴趣区域图，将感兴趣区域图输入至第二卷积神经网络模型检测，获取目标物的信息；其中，目标物的信息包括：目标物类别、实际高度和目标物在图像中高度；
第一计算模块203：根据目标物的检测框和深度图，提取深度ROI图，通过聚类计算模型计算深度ROI图中像素点的最小距离，获得像素点的坐标s(
u,
v)，像素点的最小距离为真实空间下车载单目摄像头距离目标物的第一距离D1；
第二计算模块204：结合目标物的信息和像素点的坐标s(
u,
v)，通过几何测距模型计算真实空间下车载单目摄像头距离目标物的第二距离D2；
融合计算模块205：第一距离D1和第二距离D2进行融合处理得到最终真实空间下车载单目摄像头距离目标物的距离。
第一获取模块200和第二检测模块202均与第一检测模块201连接，第一计算模块203与第一检测模块201连接，第一计算模块和第二检测模块均与第二计算模块204 连接，第一计算模块203和第二计算模块204均与融合计算模块205连接。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
实施例3：本申请实施例提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的一种单目测距方法。
图10示出了一种用于实现本申请实施例所提供的一种单目测距方法的设备的硬件结构示意图，设备可以参与构成或包含本申请实施例所提供的装置或系统。如图10所示，计算机设备10可以包括一个或多个处理器1002(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1004、以及用于通信功能的传输装置1006。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机设备10还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器1004可用于存储应用软件的软件程序以及模块，如本申请实施例中的一种单目测距方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器1004内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种方法。存储器1004可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1004可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置1006用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中，传输装置1006包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置1006可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机设备10(或移动设备)的用户界面进行交互。
实施例4:本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质可设置于服务器之中以保存用于实现方法实施例中一种单目测距方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的一种单目测距方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
实施例5：本发明实施例还提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施方式中提供的一种单目测距方法。
实施例6：本发明实施例还提供了一种车辆，车辆包括如上的车辆智能驾驶的单目测距装置。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。
Claims (10)
1.一种车辆智能驾驶的单目测距方法，其特征在于，包括以下步骤：
步骤S1：从车载单目摄像头拍摄的视频流中按帧读取图像信息；
步骤S2：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；
步骤S3：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；
其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；
步骤S4：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(u,v)，所述像素点的最小距离为真实空间下所述车载单目摄像头距离所述目标物的第一距离D1；
步骤S5：结合所述目标物的信息和所述像素点的坐标s(u,v)，通过几何测距模型计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2；
步骤S6：将所述第一距离D1和所述第二距离D2进行融合处理计算，得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。
2.如权利要求1所述的车辆智能驾驶的单目测距方法，其特征在于，在所述步骤S3中提取每个所述目标物检测框对应的矩形框具体包括以下步骤：
S31：建立像素坐标系o-uv；
S32：获取所述目标物的检测框的上边界点(u t ,v t )，下边界点(u d ,v d )，左边界点(u l ,v l )和右边界点(u r ,v r )；
S33：根据所述上边界点、所述下边界点、所述左边界点和所述右边界点的坐标绘制所述目标物检测框的矩形框，所述目标物在图像中高度为h=v d -v t 。
3.如权利要求2所述的车辆智能驾驶的单目测距方法，其特征在于，在所述步骤S4中所述聚类计算模型包括：
S41：设所述深度ROI图中有n个像素点，初始计算时，每个像素点自为一个簇S，所述像素点对应的深度值为dn ；
S42：计算每两个簇之间的距离，将距离最近的两个簇合并为一个簇；
S43：重复所述步骤S42，直至每两个簇之间的距离大于阈值T；
S44：分别统计两个簇中的所有像素点的数量，得到像素点数量最多的簇SMax，读取所述簇SMax中每个像素点对应的深度值，获取所述簇SMax中最小深度值dmin和所述最小深度值对应的像素点，所述最小深度值dmin为所述像素点的最小距离；
其中，当所述最小深度值dmin的数量为一个时，获取最小深度值dmin对应的所述像素点坐标s(u,v)；
或当所述最小深度值dmin的数量为多个时，会有多个像素点的坐标，所述车载单目摄像头的光轴在像素坐标系o-uv中交点m的坐标为(u 0,v 0)，计算每个所述像素点至所述交点m之间的欧式距离，其中，所述欧式距离最小值时，获取最小深度值dmin对应的所述像素点坐标s(u,v)。
4.如权利要求3所述的车辆智能驾驶的单目测距方法，其特征在于，在所述步骤S5中所述几何测距模型包括：
S51：以所述车载单目摄像头为原点建立相机坐标系O-XYZ，垂直于所述像素坐标系o- uv平面方向为相机坐标系的Z轴方向；
S52：在所述像素坐标系o-uv上，已知所述像素点坐标s(u,v)，所述光轴在所述像素坐标系o-uv中交点m(u 0 ,v 0 )，所述目标物的实际高度为H，所述目标物在图像中的高度为h，S(x,y,z)为所述目标物在相机坐标系下的最近点，SMN面与成像平面平行，所述光轴与所述SMN面交点为M，在相机坐标系下M坐标为(0,0,z)，计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2，计算公式为：
；
其中，d z 为OM的长度距离，d x 为S到OYZ面的距离，d y 为S到OXZ面的距离，f x 和f y 为所述车载单目摄像头的内参，△u为所述像素点s与所述交点m在u轴方向的距离差，△v为所述像素点s与所述交点m在v轴方向的距离差。
5.如权利要求4所述的车辆智能驾驶的单目测距方法，其特征在于，所述步骤S6具体包括：获取所述第一距离D1的标准差σ1，以及所述第二距离D2的标准差σ2，并计算距离融合标准差，所述距离融合标准差的计算公式为：
；
根据所述距离融合标准差最终真实空间下所述车载单目摄像头距离所述目标物的距离D3，计算公式为：
。
6.如权利要求5所述的车辆智能驾驶的单目测距方法，其特征在于，还采用卡尔曼滤波算法对最终真实空间下所述车载单目摄像头距离所述目标物的距离D3处理。
7.一种采用如权利要求1至6中任一项所述的车辆智能驾驶的单目测距方法的车辆智能驾驶的单目测距装置，其特征在于，所述单目测距装置包括：
第一获取模块（200）：从车载单目摄像头拍摄的视频流中按帧读取图像信息；
第一检测模块（201）：将所述图像信息输入至第一卷积神经网络模型检测，得到车辆实例分割图和深度图，所述车辆实例分割图内包括至少一个目标物的检测框；
第二检测模块（202）：提取每个所述目标物检测框对应的矩形框，根据所述矩形框对所述车辆实例分割图进行分割，获取所述目标物对应的感兴趣区域图，将所述感兴趣区域图输入至第二卷积神经网络模型检测，获取所述目标物的信息；
其中，所述目标物的信息包括：目标物类别、实际高度和所述目标物在图像中高度；
第一计算模块（203）：根据所述目标物的检测框和所述深度图，提取深度ROI图，通过聚类计算模型计算所述深度ROI图中像素点的最小距离，获得所述像素点的坐标s(u,v)，所述像素点的最小距离为真实空间下所述车载单目摄像头距离所述目标物的第一距离D1；
第二计算模块（204）：结合所述目标物的信息和所述像素点的坐标s(u,v)，通过几何测距模型计算真实空间下所述车载单目摄像头距离所述目标物的第二距离D2；
融合计算模块（205）：所述第一距离D1和所述第二距离D2进行融合处理得到最终真实空间下所述车载单目摄像头距离所述目标物的距离。
8.一种计算机设备，其特征在于，包括：
处理器；
存储器，用于存储可执行指令；
其中，所述处理器用于从所述存储器中读取所述可执行指令，并执行所述可执行指令以实现如权利要求1-6中任一项所述的车辆智能驾驶的单目测距方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，使得处理器实现如权利要求1-6中任一项所述的车辆智能驾驶的单目测距方法。
10.一种车辆，其特征在于，包括如权利要求7所述的车辆智能驾驶的单目测距装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309920.0A CN116012453B (zh) | 2023-03-28 | 2023-03-28 | 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310309920.0A CN116012453B (zh) | 2023-03-28 | 2023-03-28 | 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116012453A true CN116012453A (zh) | 2023-04-25 |
| CN116012453B CN116012453B (zh) | 2023-06-09 |
Family
ID=86028369
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310309920.0A Active CN116012453B (zh) | 2023-03-28 | 2023-03-28 | 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012453B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130251194A1 (en) * | 2012-03-26 | 2013-09-26 | Gregory Gerhard SCHAMP | Range-cued object segmentation system and method |
| CN108759667A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 车载摄像头下基于单目视觉与图像分割的前车测距方法 |
| KR20190110316A (ko) * | 2018-03-20 | 2019-09-30 | 주식회사 만도 | 객체 검출 기반 거리 추정 장치 및 그 방법 |
| CN111829484A (zh) * | 2020-06-03 | 2020-10-27 | 江西江铃集团新能源汽车有限公司 | 基于视觉的目标距离测算方法 |
| CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| US20210078609A1 (en) * | 2019-09-17 | 2021-03-18 | Aptiv Technologies Limited | Method and Device for Determining an Estimate of the Capability of a Vehicle Driver to take over Control of a Vehicle |
| CN114295099A (zh) * | 2021-12-28 | 2022-04-08 | 合肥英睿系统技术有限公司 | 基于单目摄像头的测距方法、车载测距设备以及存储介质 |
| CN115331200A (zh) * | 2022-08-22 | 2022-11-11 | 常州星宇车灯股份有限公司 | 智能驾驶前视图像的检测方法 |
| CN115424237A (zh) * | 2022-08-16 | 2022-12-02 | 重庆大学 | 一种基于深度学习的前向车辆识别与距离检测方法 |
-
2023
- 2023-03-28 CN CN202310309920.0A patent/CN116012453B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130251194A1 (en) * | 2012-03-26 | 2013-09-26 | Gregory Gerhard SCHAMP | Range-cued object segmentation system and method |
| KR20190110316A (ko) * | 2018-03-20 | 2019-09-30 | 주식회사 만도 | 객체 검출 기반 거리 추정 장치 및 그 방법 |
| CN108759667A (zh) * | 2018-05-29 | 2018-11-06 | 福州大学 | 车载摄像头下基于单目视觉与图像分割的前车测距方法 |
| US20210078609A1 (en) * | 2019-09-17 | 2021-03-18 | Aptiv Technologies Limited | Method and Device for Determining an Estimate of the Capability of a Vehicle Driver to take over Control of a Vehicle |
| CN112396650A (zh) * | 2020-03-30 | 2021-02-23 | 青岛慧拓智能机器有限公司 | 一种基于图像和激光雷达融合的目标测距系统及方法 |
| CN111829484A (zh) * | 2020-06-03 | 2020-10-27 | 江西江铃集团新能源汽车有限公司 | 基于视觉的目标距离测算方法 |
| CN112417967A (zh) * | 2020-10-22 | 2021-02-26 | 腾讯科技（深圳）有限公司 | 障碍物检测方法、装置、计算机设备和存储介质 |
| US20230014874A1 (en) * | 2020-10-22 | 2023-01-19 | Tencent Technology (Shenzhen) Company Limited | Obstacle detection method and apparatus, computer device, and storage medium |
| CN114295099A (zh) * | 2021-12-28 | 2022-04-08 | 合肥英睿系统技术有限公司 | 基于单目摄像头的测距方法、车载测距设备以及存储介质 |
| CN115424237A (zh) * | 2022-08-16 | 2022-12-02 | 重庆大学 | 一种基于深度学习的前向车辆识别与距离检测方法 |
| CN115331200A (zh) * | 2022-08-22 | 2022-11-11 | 常州星宇车灯股份有限公司 | 智能驾驶前视图像的检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| WILLIAM C. TAMAYO等: "Improving Object Distance Estimation in Automated Driving Systems Using Camera Images, LiDAR Point CLouds and Hierarchical Clustering", 2021 IEEE INTELLIGENT VEHICLES SYMPOSIUM WORKSHOPS (IV WORKSHOPS), pages 299 - 305 * |
| 张睿: "动态驾驶场景下单目视觉车辆融合测距算法研究", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 2, pages 035 - 348 * |
| 李西平;谷立臣;寇雪芹;: "基于超声时序神经网络目标识别的塔机安全预警", 中国机械工程, no. 16, pages 64 - 69 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116012453B (zh) | 2023-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10789719B2 (en) | Method and apparatus for detection of false alarm obstacle | |
| CN112733812B (zh) | 三维车道线检测方法、装置及存储介质 | |
| WO2017206999A1 (de) | Verfahren zur auswertung von bilddaten einer fahrzeugkamera | |
| CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
| EP3644271A1 (en) | Method, apparatus, and storage medium for obtaining depth image | |
| CN111340749B (zh) | 图像质量的检测方法、装置、设备及存储介质 | |
| CN111213153A (zh) | 目标物体运动状态检测方法、设备及存储介质 | |
| CN110231832B (zh) | 用于无人机的避障方法和避障装置 | |
| CN110619660A (zh) | 一种物体定位方法、装置、计算机可读存储介质及机器人 | |
| CN111105452B (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN114067001B (zh) | 车载相机角度标定方法、终端及存储介质 | |
| CN107101612A (zh) | 一种目标距离测量方法及系统 | |
| CN112489186B (zh) | 一种自动驾驶双目数据感知方法 | |
| CN116012453B (zh) | 车辆智能驾驶的单目测距方法、装置、设备、介质及车辆 | |
| CN112733678A (zh) | 测距方法、装置、计算机设备和存储介质 | |
| CN111899277A (zh) | 运动目标检测方法及装置、存储介质、电子装置 | |
| CN114611635B (zh) | 一种对象的识别方法、装置、存储介质及电子装置 | |
| CN115908551A (zh) | 车辆测距方法、装置、电子设备及存储介质 | |
| CN112365600B (zh) | 一种三维物体检测方法 | |
| EP2860975A1 (en) | Method for processing at least one disparity map, corresponding electronic device and computer program product | |
| CN110068308B (zh) | 一种基于多目相机的测距方法及测距系统 | |
| CN115063594B (zh) | 一种基于自动驾驶的特征提取方法及装置 | |
| CN113870365B (zh) | 相机标定方法、装置、设备以及存储介质 | |
| CN117148378B (zh) | 一种基于激光器的光学成像系统 | |
| CN117710467B (zh) | 无人机定位方法、设备及飞行器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |