CN116311173B - 一种多传感器融合的无人车路面坑洼检测方法 - Google Patents
一种多传感器融合的无人车路面坑洼检测方法 Download PDFInfo
- Publication number
- CN116311173B CN116311173B CN202310574572.XA CN202310574572A CN116311173B CN 116311173 B CN116311173 B CN 116311173B CN 202310574572 A CN202310574572 A CN 202310574572A CN 116311173 B CN116311173 B CN 116311173B
- Authority
- CN
- China
- Prior art keywords
- unmanned vehicle
- image
- camera
- pixel
- pothole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 230000004927 fusion Effects 0.000 title claims description 23
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 238000005286 illumination Methods 0.000 claims description 9
- 230000000007 visual effect Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000005096 rolling process Methods 0.000 claims description 8
- 238000013016 damping Methods 0.000 claims description 5
- 230000005484 gravity Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005259 measurement Methods 0.000 description 13
- 238000000691 measurement method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种多传感器融合的无人车路面坑洼检测方法，包括无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理；根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度和；将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水；计算无人车通过坑洼的最小扭矩，通过最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过，本发明使无人车运行更稳定，对未知的路况进行预先探索，自动判断道路坑洼情况是否满足电动车的行进要求，如不满足则会向工作人员发出报警，使其具有智能化，有效保护无人车的安全，避免发生损失。
Description
技术领域
本发明涉及人工智能自动驾驶技术领域，特别是一种多传感器融合的无人车路面坑洼检测方法。
背景技术
目前，生活向着智能化，便捷化的方向发展。为解决“最后一公里”的配送问题，无人车在快递物流领域的应用越来越广泛。无人化的配送方式得到人们的高度认可，无人车顺应时代的潮流，有着良好的发展前景。但是无人派送的安全性问题一直是人们关注的重点，目前的无人车研究大部分将注意力集中在行人检测以及路径优化问题上，对于无人车行进过程中道路坑洼检测预警方面的研究较少。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述和/或现有的多传感器融合的无人车路面坑洼检测方法中存在的问题，提出了本发明。
因此，本发明所要解决的问题在于如何提供一种多传感器融合的无人车路面坑洼检测方法。
为解决上述技术问题，本发明提供如下技术方案：一种多传感器融合的无人车路面坑洼检测方法，其包括，无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理；根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度和/>；将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水；通过计算无人车坑洼的最小扭矩，通过最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理，具体步骤包括：
当光照强度大于20000lux时，图像预处理具体表示为：
；
其中，表示原始图像上的像素值，/>表示经过滤波之后的像素值，为归一化因子，/>为滤波器的半径，/>和/>分别为像素间的相似性权值和空间权值，/>表示像素点/>的坐标，相似性权值和空间权值使用高斯函数来表示。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理还包括：
当光照强度小于20000lux时，预处理具体表示为：
；
其中，表示滤波后的像素值，/>和/>分别表示像素邻域内的行和列的偏移量，/>表示像素邻域的大小。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述坑洼边缘距离两侧道路边缘的宽度和/>,具体公式如下：
；
其中，表示坑洼边缘距离左侧道路的宽度，/>表示双目摄像头间的距离，表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置。
；
其中，表示坑洼边缘距离右侧道路的宽度，/>和/>分别表示左右相机中特征点的水平位置。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水具体步骤包括：
将预处理图像转化为灰度图像，将灰度图像的像素值统计到直方图中，得到图像的灰度直方图。
计算灰度直方图的累积分布函数，具体公式如下：
；
其中，是像素值为/>的像素占整个图像像素数的比例。
计算灰度直方图的归一化直方图，具体公式如下：
；
其中，是图像的总像素数。
根据归一化直方图计算类间方差，具体公式如下：
；
其中，表示阈值，/>和/>分别表示像素值小于/>和大于等于的像素占整个图像像素数的比例，/>和/>分别表示像素值小于/>和大于等于/>的像素的平均灰度值。
遍历所有的阈值，选择类间方差中最大的阈值作为分割界限，其中，最大的阈值公式具体如下：
；
将最大阈值作为分割二值化图像的阈值，根据二值化图像像素点的数量来判断坑洼中是否有水，
当数量超过阈值区时，则判断坑洼中有水；
当数量小于阈值时，则判断坑洼中无水。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测包括：
根据得到的二值图像计算坑洼区域的重心，具体坐标如下：
；
其中，N表示图像中像素的个数，表示第i个像素的x坐标。
；
其中，N表示图像中像素的个数，表示第i个像素的y坐标。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测还包括：
高度值计算方法具体步骤如下：
确定摄像头的基线长度，即两个摄像头之间的距离。
在摄像头上标定内部参数和外部参数来获取摄像头的内部参数矩阵和外部参数矩阵。
匹配左右摄像头中图像对应点的像素坐标，根据摄像头基线长度和像素坐标，计算对应点在三维空间中的坐标（X，Y，Z），其中，Z的计算公式如下：
；
其中，f为摄像头的焦距，B为左右摄像头之间的距离，为左摄像头像素的横坐标，/>为右摄像头像素的横坐标。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：所述判断坑洼中无水时，利用视觉对坑洼深度进行检测还包括：
计算左摄像头的高度值，具体如下：
；
其中，h为左右摄像头距离地面的高度，为左摄像头像素的纵坐标，/>为窗口中心的纵坐标，/>为摄像头焦距，Z为高度值。
计算右摄像头的高度值，具体表示如下：
；
其中，h为左右摄像头距离地面的高度，为右摄像头像素的纵坐标，/>为窗口中心的纵坐标，/>为摄像头焦距，Z为高度值。
取左右摄像头高度值的平均值作为像素的高度值，具体公式如下：
；
计算窗口中所有像素的平均高度值，具体表示如下：
；
计算坑洼深度，具体表示如下：
；
其中，为窗口中心的高度值。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：计算无人车坑洼的最小扭矩包括如下步骤：
利用视觉方法对水面以上的坑洼深度进行检测，得到水面以上坑洼深度。
根据阵元间距d，计算水面到坑洼底部的斜线距离即目标距离L，目标距离L具体公式如下：
；
其中，为两次声波信号到达第一阵元、第二阵元时间差的时间差，为两次声波信号到达第二阵元、第三阵元时间差的时间差，所述的两次声波信号为：一次是接触水面后返回的声波信号，一次是到达坑洼底部之后返回的声波信号，/>为声波信号的传播速度。
计算水面以下坑洼的是深度，具体公式如下 ：
；
其中，表示声纳探测仪到平整路面的直线距离，h1表示声纳探测仪到地面的垂直距离。
计算坑洼深度，公式如下：/>。
作为本发明所述多传感器融合的无人车路面坑洼检测方法的一种优选方案，其中：计算无人车坑洼的最小扭矩具体包括：
计算坑洼前后宽度D，具体公式如下：
；
其中，B表示双目摄像头间的距离，表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置。
根据坑洼深度和前后宽度D来计算无人车顺利驶过坑洼所需最小扭矩T1，具体公式如下：
；
其中M为无人车最大总重量，R为滚动阻尼系数，g为重力加速度，r为车轮滚动半径。
本发明有益效果为本发明能够使得无人车的运行更加稳定，对未知的路况进行一个预先探索，防止道路坑洼对自动驾驶造成不可逆转的影响，自动判断道路坑洼情况是否满足电动车的行进要求，如不满足则会向工作人员发出报警，使其更具有智能化，有效保护无人车的安全，避免发生损失。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为本发明多传感器融合的无人车路面坑洼检测方法的流程图。
图2为本发明多传感器融合的无人车路面坑洼检测方法的边缘距离示意图。
图3为本发明多传感器融合的无人车路面坑洼检测方法的三种测量方法下差值对比图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
实施例1
参照图1和图2，为本发明第一个实施例，该实施例提供了一种多传感器融合的无人车路面坑洼检测方法，多传感器融合的无人车路面坑洼检测方法包括无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理。根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度和/>。将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水。计算无人车通过坑洼所需的最小扭矩，判断最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过。
S1：无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理。
S1.1：具体的，当光照强度大于20000lux时为强光照，小于20000lux时为弱光照，在弱光照下噪声更大，因此采用不同的预处理方式来进行降噪，图像预处理具体表示为：
；
其中，表示原始图像上的像素值，/>表示经过滤波之后的像素值，为归一化因子，/>为滤波器的半径，/>和/>分别为像素间的相似性权值和空间权值，/>表示像素点/>的坐标，相似性权值和空间权值来使用高斯函数，具体如下：
S1.1.1：相似性权值：
；
其中，像素间的相似性权值，/>表示像素值差异或像素坐标之差，/>为相似性权值的标准差。
S1.1.2：空间权值：
；
其中，为像素间的空间权值，/>表示像素值差异或像素坐标之差，/>为空间权值的标准差。
S1.2：当光照强度小于20000lux时，预处理具体表示为：
；
其中，表示滤波后的像素值，/>和/>分别表示像素邻域内的行和列的偏移量，/>表示像素邻域的大小。
S2：根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度和。
S2.1：具体的，坑洼边缘距离两侧道路边缘的宽度和，具体步骤包括：通过判断车身宽度与坑洼边缘距离两侧道路边缘宽度的关系，来判定无人车是否绕行，坑洼边缘距离两侧道路边缘的宽度和/>,具体公式如下：
；
其中，表示坑洼边缘距离左侧道路的宽度，/>表示双目摄像头间的距离，表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置。
；
其中，表示坑洼边缘距离右侧道路的宽度，/>和/>分别表示左右相机中特征点的水平位置。
S2.2：判断车身宽度与/>和/>的关系，若/>且/>，则说明车辆无法绕行，无人车需要经过坑洼，此时进入步骤S3判断坑洼中是否有水，若或/>，则无人车绕行避开坑洼继续前进，返回步骤S1。
S3：将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水。
S3.1：具体的，将预处理图像转化为灰度图像，将灰度图像的像素值统计到直方图中，得到图像的灰度直方图，
S3.2：计算灰度直方图的累计分布函数，具体公式如下：
；
其中，是像素值为/>的像素占整个图像像素数的比例。
S3.3：计算灰度直方图的归一化直方图，具体公式如下：
；
其中，是图像的总像素数，/>是像素值为j的像素占整个图像像素的比例。
S3.4：根据归一化直方图计算类间方差，具体公式如下：
；
其中，表示阈值，/>和/>分别表示像素值小于/>和大于等于/>的像素占整个图像像素数的比例，/>和/>分别表示像素值小于/>和大于等于/>的像素的平均灰度值。
S3.4：遍历所有的阈值，选择类间方差最大的阈值作为分割界限，其中，最大的阈值公式具体如下：。
S3.5：阈值分割是对图像进行分割，得到二值化图像，统计二值化图像中的白色像素点数量，当数量超过阈值时，则判断坑洼中有水。
S3.6：坑洼中无水，采用视觉方法对坑洼深度进行检测，其中，视觉方法包括：
S3.6.1：根据二值图像计算坑洼的中心，坑洼中心横、纵坐标具体表示为：
；
其中，N表示图像中像素的个数，表示第i个像素的x坐标。
；
其中，N表示图像中像素的个数，表示第i个像素的y坐标。
S3.6.2：更进一步，将重心坐标近似认为是坑洼中心坐标，以坑洼中心为中心，选取一个包含坑洼区域和周围区域大小为的窗口，遍历窗口内的所有像素，获取每个像素的高度值，高度值计算方法具体如下：
S3.6.2.1：确定摄像头的基线长度，即两个摄像头之间的距离。
S3.6.2.2：在摄像头上标定内部参数和外部参数来获取摄像头的内部参数矩阵和外部参数矩阵，其中内部参数矩阵包括焦距、像元尺寸等参数，外部参数矩阵包括摄像头在三维空间中的位置和姿态。
S3.6.2.3：匹配左右摄像头中图像对应点的像素坐标，根据摄像头基线长度和像素坐标，计算对应点在三维空间中的坐标（X，Y，Z）具体公式如下：
；
其中，f为摄像头的焦距，B为左右摄像头之间的距离，为左摄像头像素的横坐标，/>为右摄像头像素的横坐标。
S3.6.3：计算左摄像头的高度值，具体如下：
；
其中，h为左右摄像头距离地面的高度，为左摄像头像素的纵坐标，/>为窗口中心的纵坐标，/>为摄像头焦距，Z为高度值。
S3.6.4：计算右摄像头的高度值，具体表示如下：
；
其中，h为左右摄像头距离地面的高度，为右摄像头像素的纵坐标，/>为窗口中心的纵坐标，/>为摄像头焦距，Z为高度值。
S3.6.5：近似取左右摄像头高度值的平均值作为该像素的高度值，具体公式如下：
；
S3.6.6：计算窗口中所有像素的平均高度值，再用窗口中心的高度值减去平均高度值即得到坑洼深度，具体表示如下：
；
S3.6.7：计算坑洼深度，具体表示如下：
；
其中，为窗口中心的高度值。
S3.7：坑洼存水时，利用声纳传感器检测水面以下深度，利用视觉检验水面以上深度，两者加和得到坑洼深度，具体步骤包括：
S3.7.1：利用视觉方法对水面以上的坑洼深度进行检测，得到水面以上坑洼深度为。
S3.7.2：对车载声纳探测仪根据返回的声波信号，利用三元声纳阵列测距方法，估算声波信号到达三个阵元的时间差来反推目标声源的位置，所述三个阵元为第一阵元、第二阵元、第三阵元，三个阵元均安装在车载声纳探测仪内，阵元间距均为d，水面到坑洼底部的斜线距离即为要测定的目标距离L，目标距离L计算具体为：
；
其中，为两次声波信号到达第一阵元、第二阵元时间差的时间差，为两次声波信号到达第二阵元、第三阵元时间差的时间差，所述的两次声波信号为：一次是接触水面后返回的声波信号，一次是到达坑洼底部之后返回的声波信号，/>为声波信号的传播速度。
S3.7.3：得到目标距离后，根据三角公式计算水面以下坑洼深度，水面以下坑洼的深度/>：
；
其中，表示声纳探测仪到平整路面的直线距离，h1表示声纳探测仪到地面的垂直距离。
S3.7.4：最后求和得到坑洼深度。
S4：得到坑洼深度后，结合无人车重量，滚动阻尼系数，计算无人车通过坑洼所需的最小扭矩，判断最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过。
S4.1：具体的，无人车通过坑洼所需的最小扭矩，具体步骤包括：
通过摄像头参数，计算坑洼前后宽度D，具体表示为：
；
其中，B表示双目摄像头间的距离，表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置。
S4.2：结合无人车重量，滚动阻尼系数，车轮滚动半径，计算无人车通过坑洼所需最小扭矩T1，具体公式为：
；
其中M为无人车最大总重量，R为滚动阻尼系数，g为重力加速度，r为车轮滚动半径。
S4.3：比较无人车通过坑洼所需最小扭矩T1和无人车电机最大扭矩T车的关系，若T1>T车，无人车主控制器紧急制动停车，并向工作人员发出警报；反之，无人车沿当前路线继续前进，驶过坑洼。
本发明能够使得无人车的运行更加稳定，对未知的路况进行一个预先探索，防止道路坑洼对自动驾驶造成不可逆转的影响，自动判断道路坑洼情况是否满足电动车的行进要求，如不满足则会向工作人员发出报警，使其更具有智能化，有效保护无人车的安全，避免发生损失。
实施例2
参照图3，为本发明第二个实施例，其不同于第一个实施例的是：运用真实的数据进行验证有益效果。
为了验证本发明中所述方法的有效性，我们选取校园内20处有水的坑洼进行实验，我们将仅使用视觉测量、仅使用声纳传感器测量作为对照组，得到三种情况下的测量深度后，求解测量深度与真实深度的差值，得到图3。
差值1表示在坑洼中有水时仅使用视觉测量得到的深度与真实深度的差值，差值2表示在坑洼中有水时仅使用声纳传感器测量得到的深度与真实深度的差值，差值3表示在坑洼中有水时结合视觉和声纳传感器测量得到的深度与真实深度的差值。
通过图表分析得到视觉和声纳传感器测量得到的深度与真实深度的差值最小，比其它两种测量方法精度更高。
为了更直接地表现出本发明中方法的有益效果，分别求解三种测量方法下20处测量差值的平均值，具体如表1所示：
表1 三种测量方法下的平均差值表
由此，通过比较测量差值平均值，可以得出使用不同方法时的准确性，测量平均值越接近于0，测量的准确性越高。从结果中可以看出，在坑洼中有水的情况下，仅使用视觉测量时，测量差值为1.7375cm，仅使用声纳传感器测量时，测量差值为1.4975cm，两者测量差值都大于1.4cm，在结合声纳传感器和视觉测量时，差值在0.8cm左右，远小于前两者测量误差，通过三种方案测量差值平均值的对比，从表中可以得出在坑洼中有水的情况下，使用本发明中的测量方法得到的坑洼深度准确性最高。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种多传感器融合的无人车路面坑洼检测方法，其特征在于：包括，
无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理；
根据摄像头拍摄的图像信息，计算坑洼边缘距离两侧道路边缘的宽度 和/>；
判断车身宽度与/>和/>的关系，若/>且/>，则说明车辆无法绕行，无人车需要经过坑洼，若/>或/>，则无人车绕行避开坑洼继续前进；
将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水；
若坑洼无水，利用视觉对坑洼深度进行检测，若坑洼有水，使用视觉和声纳传感器对坑洼深度进行检测；
通过计算无人车坑洼的最小扭矩，通过最小扭矩与最大扭矩的关系来判断无人车是否能够安全通过；
无人车坑洼的最小扭矩，具体步骤包括：
计算坑洼前后宽度D，具体公式如下：
其中，B表示双目摄像头间的距离，表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置；
根据坑洼深度和前后宽度D来计算无人车顺利驶过坑洼所需最小扭矩/>，具体公式如下：
其中，M为无人车最大总重量，R为滚动阻尼系数，g为重力加速度，r为车轮滚动半径。
2.如权利要求1所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理包括：
当光照强度大于20000lux时，图像预处理具体表示为：
其中，表示原始图像上的像素值，表示经过滤波之后的像素值，为归
一化因子，k为滤波器的半径，和分别为像素间的相似性权值和空间权值，表示
像素点的坐标，相似性权值和空间权值使用高斯函数表示。
3.如权利要求1所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述无人车通过声波对前方路面扫描，检测到坑洼时摄像头拍摄，根据光传感器对拍摄图像进行预处理还包括：
当光照强度小于20000lux时，预处理具体表示为：
其中，表示滤波后的像素值，k和l分别表示像素邻域内的行和列的偏移量，N表示像素邻域的大小。
4.如权利要求1所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述坑洼边缘距离两侧道路边缘的宽度和/>,具体公式如下：
其中，表示坑洼边缘距离左侧道路的宽度，B表示双目摄像头间的距离，f表示相机的焦距，/>和/>分别表示左右相机中特征点的水平位置；
其中，表示坑洼边缘距离右侧道路的宽度，/>和/>分别表示左右相机中特征点的水平位置。
5.如权利要求1所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述将预处理后的图像进行阈值分割得到二值化图像，统计二值化图像中白色像素点的数量来判断坑洼中是否有水具体步骤包括：
将预处理图像转化为灰度图像，将灰度图像的像素值统计到直方图中，得到图像的灰度直方图；
计算灰度直方图的累积分布函数，具体公式如下：
其中 ，p(j)是像素值为j的像素占整个图像像素数的比例；
计算灰度直方图的归一化直方图，具体公式如下：
其中，n是图像的总像素数；
根据归一化直方图计算类间方差，具体公式如下：
其中，t表示阈值，和/>分别表示像素值小于t和大于等于t的像素占整个图像像素数的比例，/>和/>分别表示像素值小于t和大于等于t的像素的平均灰度值；
遍历所有的阈值，选择类间方差中最大的阈值作为分割界限；
将最大阈值作为分割二值化图像的阈值，根据二值化图像像素点的数量来判断坑洼中是否有水，
当二值化图像像素点的数量超过阈值时，则判断坑洼中有水；
当二值化图像像素点的数量小于阈值时，则判断坑洼中无水。
6.如权利要求5所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述坑洼中无水时，利用视觉对坑洼深度进行检测包括：
根据得到的二值图像计算坑洼区域的重心，具体坐标如下：
其中，N表示图像中像素的个数，表示第i个像素的x坐标；
其中，N表示图像中像素的个数，表示第i个像素的y坐标。
7.如权利要求5所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述坑洼中无水时，利用视觉对坑洼深度进行检测还包括：
高度值计算方法具体步骤如下：
确定摄像头的基线长度，即两个摄像头之间的距离；
在摄像头上标定内部参数和外部参数来获取摄像头的内部参数矩阵和外部参数矩阵；
匹配左右摄像头中图像对应点的像素坐标，根据摄像头基线长度和像素坐标，计算对应点在三维空间中的坐标（X，Y，Z），其中，Z的计算公式如下：
其中，f为摄像头的焦距，B为左右摄像头之间的距离，为左摄像头像素的横坐标，/>为右摄像头像素的横坐标。
8.如权利要求5所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述坑洼中无水时，利用视觉对坑洼深度进行检测还包括：
计算左摄像头的高度值，具体如下：
其中，h为左右摄像头距离地面的高度，为左摄像头像素的纵坐标，yc为窗口中心的
纵坐标，f为摄像头焦距，Z为高度值；
计算右摄像头的高度值，具体表示如下：
其中，h为左右摄像头距离地面的高度，为右摄像头像素的纵坐标，yc为窗口中心的
纵坐标，f为摄像头焦距，Z为高度值；
取左右摄像头高度值的平均值作为像素的高度值，具体公式如下：
计算窗口中所有像素的平均高度值，具体表示如下：
计算坑洼深度，具体表示如下：
其中，为窗口中心的高度值。
9.如权利要求5所述的多传感器融合的无人车路面坑洼检测方法，其特征在于：所述坑洼中有水，具体包括：
利用视觉方法对水面以上的坑洼深度进行检测，得到水面以上坑洼深度；
根据阵元间距d，计算水面到坑洼底部的斜线距离即目标距离L，目标距离L具体公式如下：
其中，为两次声波信号到达第一阵元、第二阵元时间差的时间差，/>为两次声波信号到达第二阵元、第三阵元时间差的时间差，所述的两次声波信号为：一次是接触水面后返回的声波信号，一次是到达坑洼底部之后返回的声波信号，c为声波信号的传播速度；
计算水面一下坑洼的是深度，具体公式如下 ：
其中，R1表示声纳探测仪到平整路面的直线距离，h1表示声纳探测仪到地面的垂直距离；
计算坑洼深度，公式如下：/>。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574572.XA CN116311173B (zh) | 2023-05-22 | 2023-05-22 | 一种多传感器融合的无人车路面坑洼检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574572.XA CN116311173B (zh) | 2023-05-22 | 2023-05-22 | 一种多传感器融合的无人车路面坑洼检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311173A CN116311173A (zh) | 2023-06-23 |
| CN116311173B true CN116311173B (zh) | 2023-11-10 |
Family
ID=86815253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310574572.XA Active CN116311173B (zh) | 2023-05-22 | 2023-05-22 | 一种多传感器融合的无人车路面坑洼检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311173B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111274939A (zh) * | 2020-01-19 | 2020-06-12 | 北京中交创新投资发展有限公司 | 基于单目摄像头的道路路面坑洼破损自动提取方法 |
| KR102202572B1 (ko) * | 2019-11-25 | 2021-01-12 | 서울시립대학교 산학협력단 | 드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템 |
| CN114708567A (zh) * | 2022-06-06 | 2022-07-05 | 济南融瓴科技发展有限公司 | 一种基于双目摄像头的路面坑洼检测和避让方法及系统 |
-
2023
- 2023-05-22 CN CN202310574572.XA patent/CN116311173B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102202572B1 (ko) * | 2019-11-25 | 2021-01-12 | 서울시립대학교 산학협력단 | 드론의 촬영영상과 인공지능 알고리즘 기반의 도로표면 균열 검출 방법 및 시스템 |
| CN111274939A (zh) * | 2020-01-19 | 2020-06-12 | 北京中交创新投资发展有限公司 | 基于单目摄像头的道路路面坑洼破损自动提取方法 |
| CN114708567A (zh) * | 2022-06-06 | 2022-07-05 | 济南融瓴科技发展有限公司 | 一种基于双目摄像头的路面坑洼检测和避让方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311173A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| USRE48106E1 (en) | Detection of obstacles at night by analysis of shadows | |
| CN104916163B (zh) | 泊车位检测方法 | |
| US7046822B1 (en) | Method of detecting objects within a wide range of a road vehicle | |
| JP5297078B2 (ja) | 車両の死角における移動物体を検知するための方法、および死角検知装置 | |
| US8576055B2 (en) | Collision avoidance assisting system for vehicle | |
| US6813370B1 (en) | Lane marker recognizing apparatus | |
| EP0874331B1 (en) | Vehicle monitoring apparatus | |
| CN110794406B (zh) | 多源传感器数据融合系统和方法 | |
| US20030002713A1 (en) | Vision-based highway overhead structure detection system | |
| CN104509100B (zh) | 三维物体检测装置以及三维物体检测方法 | |
| CN108162858B (zh) | 车载监控装置及其方法 | |
| JP2006184276A (ja) | 視覚検知による全天候障害物衝突防止装置とその方法 | |
| US5920382A (en) | Distance-measuring apparatus | |
| JP2009301495A (ja) | 画像処理装置及び画像処理方法 | |
| Janda et al. | Road boundary detection for run-off road prevention based on the fusion of video and radar | |
| CN113569778A (zh) | 基于多模态数据融合的路面湿滑区域检测及预警方法 | |
| CN116311173B (zh) | 一种多传感器融合的无人车路面坑洼检测方法 | |
| CN114084129A (zh) | 一种基于融合的车辆自动驾驶控制方法及系统 | |
| CN109278759A (zh) | 一种车辆安全驾驶辅助系统 | |
| CN105043253A (zh) | 基于面结构光技术货车侧防护栏安装尺寸测量系统及方法 | |
| CN116587978A (zh) | 一种基于车载显示屏的碰撞预警方法及系统 | |
| JP7073949B2 (ja) | 避難誘導装置、避難誘導システム、および制御プログラム | |
| CN104931024B (zh) | 障碍物检测装置 | |
| CN109147328B (zh) | 一种基于视频虚拟线圈的车流量检测方法 | |
| von Trzebiatowski et al. | Detecting reflection posts-lane recognition on country roads |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |