CN114708567A - 一种基于双目摄像头的路面坑洼检测和避让方法及系统 - Google Patents

一种基于双目摄像头的路面坑洼检测和避让方法及系统 Download PDF

Info

Publication number
CN114708567A
CN114708567A CN202210626899.2A CN202210626899A CN114708567A CN 114708567 A CN114708567 A CN 114708567A CN 202210626899 A CN202210626899 A CN 202210626899A CN 114708567 A CN114708567 A CN 114708567A
Authority
CN
China
Prior art keywords
road surface
image
vehicle
distance
pothole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210626899.2A
Other languages
English (en)
Other versions
CN114708567B (zh
Inventor
高文飞
王辉
王瑞雪
郭丽丽
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan Rongling Technology Development Co ltd
Original Assignee
Jinan Rongling Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan Rongling Technology Development Co ltd filed Critical Jinan Rongling Technology Development Co ltd
Priority to CN202210626899.2A priority Critical patent/CN114708567B/zh
Publication of CN114708567A publication Critical patent/CN114708567A/zh
Application granted granted Critical
Publication of CN114708567B publication Critical patent/CN114708567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动化领域，公开了一种基于双目摄像头的路面坑洼检测和避让方法及系统，特别是设计了路面坑洼区域宽度以及车辆与路面坑洼相距距离计算方法和避让判断规则，仅需要在车顶两侧安装双目摄像头并记录安装高度、角度与摄像机参数等信息，结合双目摄像头同一时刻所拍摄的左右图像即可计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离，最后根据计算结果和车辆的行驶速度、减速度以及轮胎间距做出避让判断。本发明解决了现有技术中坑洼路面与车辆相距距离以及坑洼路面宽度的计算不够准确的问题，本发明所述检测和避让方法不仅投入成本低，而且具有较高准确率。

Description

一种基于双目摄像头的路面坑洼检测和避让方法及系统
技术领域
本发明涉及自动化领域，尤其涉及一种基于双目摄像头的路面坑洼检测和避让方法及系统。
背景技术
近年来，随着市场对汽车主动安全和智能的需求不断增加，自动驾驶技术的价值日益凸显，越来越多的科研人员致力于自动驾驶技术的研究。路面如果存在坑洼情况，不仅会使车辆的机械结构损伤以及油耗增加，还会影响乘坐人员的安全性。因此检测前方道路坑洼情况并有效进行避让是自动驾驶技术中有待解决的问题之一。
以机器学习为代表的人工智能技术为自动驾驶带来新的可能，在自动驾驶车辆上方设置高清摄像头，利用图像分割技术可以实现前方路面坑洼情况的实时监测。然而仅仅检测出前方存在路面坑洼情况是不够的，如何准确计算坑洼路面与车辆相距距离以及坑洼路面宽度也是急需解决的问题。因此探索一种准确计算坑洼路面与车辆相距位置并有效的避让的方法仍有着深远的应用前景，是研究热点之一。
发明内容
针对现有技术中的缺陷，本发明提供一种基于双目摄像头的路面坑洼检测和避让方法及系统，利用摄像头所拍摄图像检测前方路面是否存在坑洼，结合双目摄像头参数信息对检测到的坑洼路面进行距离与宽度的估算，再根据结果进行对应的避让操作以解决现有技术中存在的上述问题。
本发明是通过以下技术方案实现的：
一种基于双目摄像头的路面坑洼检测和避让方法，包括以下步骤：
S1、读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓，将预处理后的图像输入到利用路面数据集训练好的ROI分割模型中，提取图中ROI（Region of interest，即图中车辆可行驶区域，是我们所关注的区域）；
S2、利用路面坑洼数据集训练坑洼区域分割模型，并对两张图像分别进行图像分割，提取路面坑洼区域；
S3、结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
S4、根据计算所得路面坑洼区域宽度以及车辆与路面坑洼区域相距距离进行避让判断。
进一步的，所述步骤S1中的预处理步骤包括：将双目摄像头同一时刻所得左右图像，利用高斯滤波器进行平滑，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。
进一步的，所述的ROI分割模型是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度，最后，利用1x1卷积修改输出图像通道数为1。
进一步的，所述步骤S2中的具体的步骤如下：根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)，之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域。所述的坑洼区域分割模型与S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同。
具体地说，该模型利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为(0,0,0)并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率进行模型训练。训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
进一步的，所述步骤S3中的具体的步骤如下：
步骤1、标记左图的边缘点对应点E l ；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与E l 最相似的点E r ；
步骤2、首先计算窗口中所有像素点的平均灰度：
Figure 963541DEST_PATH_IMAGE001
Figure 488676DEST_PATH_IMAGE002
是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，μa，μb分别是两个图像采样窗口中所有像素点的平均灰度；
步骤3、然后使用标准差无偏估计来计算窗口的对比度：
Figure 733844DEST_PATH_IMAGE003
其中
Figure 499805DEST_PATH_IMAGE004
与
Figure 500122DEST_PATH_IMAGE005
为两个窗口的对比度；
步骤4、最后计算SSIM指数：
Figure 246974DEST_PATH_IMAGE006
其中
Figure 764674DEST_PATH_IMAGE007
为常数，优选
Figure 650722DEST_PATH_IMAGE008
，
Figure 821940DEST_PATH_IMAGE009
为图像灰度级数，K是常数，对于8-bit灰度图像，
Figure 59017DEST_PATH_IMAGE010
；
步骤5、利用步骤（1）中的SSIM指数最大的两个点
Figure 135337DEST_PATH_IMAGE011
与
Figure 610312DEST_PATH_IMAGE012
，计算双目摄像头的两图像的视差得到边缘点P的三维坐标
Figure 624535DEST_PATH_IMAGE013
，最后生成坑洼的深度图：
Figure 348909DEST_PATH_IMAGE014
其中，
Figure 471061DEST_PATH_IMAGE015
表示空间点P离相机的距离，
Figure 925176DEST_PATH_IMAGE016
表示空间点P在极平面上的横向坐标，
Figure 313563DEST_PATH_IMAGE017
表示空间点P在极平面上的纵向坐标，
Figure 525233DEST_PATH_IMAGE018
表示相机的焦距，
Figure 781902DEST_PATH_IMAGE019
表示双目摄像头两成像中心的水平距离，
Figure 962960DEST_PATH_IMAGE020
与
Figure 584566DEST_PATH_IMAGE021
表示空间点P在左成像面和右成像面上的坐标；
步骤6、根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度
Figure 80269DEST_PATH_IMAGE022
：
Figure 78312DEST_PATH_IMAGE023
，
其中
Figure 848297DEST_PATH_IMAGE024
与
Figure 640804DEST_PATH_IMAGE025
表示在深度图中坑洼的左右边缘点，
Figure 889383DEST_PATH_IMAGE026
表示坑洼的宽度；
步骤7、求出车辆与路面坑洼相距距离
Figure 425537DEST_PATH_IMAGE027
：
Figure 849697DEST_PATH_IMAGE028
，
其中
Figure 810175DEST_PATH_IMAGE029
为最大的深度坐标，
Figure 421416DEST_PATH_IMAGE030
为车辆与路面坑洼相距距离。
进一步的，所述步骤S4中的具体的步骤如下：根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域；当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶；当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：
Figure 823578DEST_PATH_IMAGE031
，
其中v表示车辆行驶速度，a表示车辆减速度，T safe表示制动安全时间，S safe表示制动安全距离；当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
一种基于双目摄像头的路面坑洼检测和避让系统，包括图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
避让判断模块，用于判断车辆是否需要避让处理。
本发明的有益效果体现在：本发明有针对性的设计了一种基于双目摄像头的路面坑洼检测和避让方法流程，特别是设计了路面坑洼区域宽度以及车辆与路面坑洼相距距离计算方法和避让判断规则，仅需要在车顶两侧安装双目摄像头并记录安装高度、角度与摄像机参数等信息，结合双目摄像头同一时刻所拍摄的左右图像即可计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离，最后根据计算结果和车辆的行驶速度、减速度以及轮胎间距做出避让判断。这种方式不仅投入成本低，而且具有较高准确率。
附图说明
下面结合附图与实施例对本发明做进一步的解释说明。应注意的是，本发明的示意性实施例及其说明仅用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例中所述的基于双目摄像头的路面坑洼检测和避让系统的流程示意图。
图2为本发明实施例中所述的路面坑洼计算方法示意图。
图3为本发明实施例中所述的避让判断流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
实施例一
一种基于双目摄像头的路面坑洼检测和避让方法，如图1所示，包括以下步骤：
步骤S1：将双目摄像头同一时刻所得左右图像预处理，提取图中ROI（Region ofinterest，即图中车辆可行驶区域，是我们所关注的区域）。具体地说，我们获取双目摄像头同一时刻所得左右图像，对两张图像分别利用高斯滤波器平滑图像，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。最后将处理后的图像输入到训练好的语义分割模型，即可输出左右图像中的ROI提取结果的二值图像。该语义分割模型结构是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度；最后，利用1x1卷积修改输出图像通道数为1。
步骤S2：利用坑洼区域分割模型，提取路面坑洼区域。具体地说，根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为(0,0,0)，之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域。所述的坑洼区域分割模型与步骤S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同。
具体地说，该模型利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为(0,0,0)并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率等训练参数进行模型训练。训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
步骤S3：结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼相距距离。
具体地说，如图2所示，步骤1、标记左图的边缘点对应点E l ；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与E l 最相似的点E r ；
步骤2、首先计算窗口中所有像素点的平均灰度：
Figure 367823DEST_PATH_IMAGE001
Figure 702465DEST_PATH_IMAGE002
是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，μa，μb分别是两个图像采样窗口中所有像素点的平均灰度；
步骤3、然后使用标准差无偏估计来计算窗口的对比度：
Figure 332161DEST_PATH_IMAGE003
其中
Figure 210118DEST_PATH_IMAGE004
与
Figure 936766DEST_PATH_IMAGE005
为两个窗口的对比度；
步骤4、最后计算SSIM指数：
Figure 710818DEST_PATH_IMAGE006
其中
Figure 824880DEST_PATH_IMAGE007
为常数，优选
Figure 834424DEST_PATH_IMAGE008
，
Figure 556524DEST_PATH_IMAGE009
为图像灰度级数，K是常数，对于8-bit灰度图像，
Figure 32635DEST_PATH_IMAGE010
；
步骤5、然后找到最相似的，即SSIM指数最大的两个点
Figure 964819DEST_PATH_IMAGE032
与
Figure 384912DEST_PATH_IMAGE033
，计算双目摄像头的两图像的视差得到边缘点P的三维坐标
Figure 23835DEST_PATH_IMAGE034
，最后生成坑洼的深度图：
Figure 733165DEST_PATH_IMAGE035
其中，
Figure 293590DEST_PATH_IMAGE036
表示空间点P离相机的距离，
Figure 337549DEST_PATH_IMAGE037
表示空间点P在极平面上的横向坐标，
Figure 893295DEST_PATH_IMAGE038
表示空间点P在极平面上的纵向坐标，
Figure 976789DEST_PATH_IMAGE039
表示相机的焦距，
Figure 758931DEST_PATH_IMAGE040
表示双目摄像头两成像中心的水平距离，
Figure 382810DEST_PATH_IMAGE041
与
Figure 993396DEST_PATH_IMAGE042
表示空间点P在左成像面和右成像面上的坐标；
步骤6、之后根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度
Figure 919895DEST_PATH_IMAGE043
：
Figure 986071DEST_PATH_IMAGE044
，
其中
Figure 679220DEST_PATH_IMAGE045
与
Figure 84925DEST_PATH_IMAGE046
表示在深度图中坑洼的左右边缘点，
Figure 241712DEST_PATH_IMAGE047
表示坑洼的宽度；
步骤7、然后求出车辆与路面坑洼相距距离
Figure 795184DEST_PATH_IMAGE048
：
Figure 26446DEST_PATH_IMAGE049
，
其中
Figure 286657DEST_PATH_IMAGE050
为最大的深度坐标，
Figure 879925DEST_PATH_IMAGE051
为车辆与路面坑洼相距距离。
步骤S4：根据计算结果进行避让判断。具体地说，如图3所示，根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域。当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶。当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：
Figure 983010DEST_PATH_IMAGE052
，
其中v表示车辆行驶速度，a表示车辆减速度，T safe 表示制动安全时间，S safe 表示制动安全距离。当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
实施例二
本实施例的目的在于提供了一种基于双目摄像头的路面坑洼检测和避让系统，包括：图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
避让判断模块，用于判断车辆是否需要避让处理。
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。

Claims (8)

1.一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：包括以下步骤：
S1、读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓，将预处理后的图像输入到利用路面数据集训练好的ROI分割模型中，提取图中ROI即图中车辆可行驶区域；
S2、利用路面坑洼数据集训练坑洼区域分割模型，并对处理好的左右图像分别进行坑洼区域分割，提取路面坑洼区域分割结果；
S3、结合摄像机安装高度、角度与摄像机参数信息与路面坑洼区域分割结果，计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
S4、根据计算所得路面坑洼区域宽度以及车辆与路面坑洼区域相距距离进行避让判断。
2.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S1中的预处理步骤包括：将双目摄像头同一时刻所得左右图像，利用高斯滤波器进行平滑，对平滑后的图像求导获取梯度图像，再将平滑后图像和梯度图像加权相加，增强图像中景物的边缘和轮廓。
3.根据权利要求2所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述的ROI分割模型是基于改进的ENet网络结构，在保证准确率的前提下，利用处理后的图像作为输入进行训练，同时简化了特征提取网络，删除部分重复的卷积层，并将剩余的部分常规卷积替换为深度可分离卷积，降低网络参数量，提高模型运行速度，最后，利用1x1卷积修改输出图像通道数为1。
4.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S2中的具体的步骤如下：根据步骤S1所得左右图像的ROI二值图像修改原图，将原图中非ROI区域的像素值改为0,0,0，之后分别输入到利用路面坑洼数据集训练坑洼区域分割模型中，提取出路面坑洼区域。
5.根据权利要求4所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述路面坑洼数据集训练坑洼区域分割模型与步骤S1所述的ROI分割模型网络结构相同，但使用的训练集与分割目标不同；具体地说，路面坑洼数据集训练坑洼区域分割模型是利用ROI分割模型提取路面坑洼数据集中每个图像的ROI区域，将非ROI区域的像素值改为0,0,0并进行归一化处理，将处理好的带标签的路面坑洼图片打乱，按照7:3的比例划分训练集与验证集，再根据训练设备性能设置训练周期、一次训练中同时读入的样本数与初始化学习率进行模型训练；训练完成后，在验证集上验证坑洼区域分割模型的准确率，若准确率不能满足需求，则调整训练参数继续训练，直到满足要求。
6.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S3中的具体的步骤如下：
步骤1、标记左图的边缘点对应点E l ；然后在极线上利用SSIM算法滑动窗口搜索双目成像右图中与E l 最相似的点E r ；
步骤2、首先计算窗口中所有像素点的平均灰度：
Figure 372516DEST_PATH_IMAGE001
Figure 250474DEST_PATH_IMAGE002
是两个图像采样窗口中的灰度；N是采样窗口中像素点总个数，i是像素点序数，i∈[1,N]，μa，μb分别是两个图像采样窗口中所有像素点的平均灰度；
步骤3、然后使用标准差无偏估计来计算窗口的对比度：
Figure 977121DEST_PATH_IMAGE003
其中
Figure 547911DEST_PATH_IMAGE004
与
Figure 865235DEST_PATH_IMAGE005
为两个窗口的对比度；
步骤4、最后计算SSIM指数：
Figure 281304DEST_PATH_IMAGE006
其中
Figure 128038DEST_PATH_IMAGE007
为常数，优选
Figure 604149DEST_PATH_IMAGE008
，
Figure 677279DEST_PATH_IMAGE009
为图像灰度级数，K是常数，对于8-bit灰度图像，
Figure 628530DEST_PATH_IMAGE010
；
步骤5、利用步骤S1中的SSIM指数最大的两个点
Figure 329770DEST_PATH_IMAGE011
与
Figure 242362DEST_PATH_IMAGE012
，计算双目摄像头的两图像的视差得到边缘点P的三维坐标
Figure 68367DEST_PATH_IMAGE013
，最后生成坑洼的深度图：
Figure 823308DEST_PATH_IMAGE014
其中，
Figure 520000DEST_PATH_IMAGE015
表示空间点P离相机的距离，
Figure 665811DEST_PATH_IMAGE016
表示空间点P在极平面上的横向坐标，
Figure 244691DEST_PATH_IMAGE017
表示空间点P在极平面上的纵向坐标，
Figure 540674DEST_PATH_IMAGE018
表示相机的焦距，
Figure 377959DEST_PATH_IMAGE019
表示双目摄像头两成像中心的水平距离，
Figure 694671DEST_PATH_IMAGE020
与
Figure 760847DEST_PATH_IMAGE021
表示空间点P在左成像面和右成像面上的坐标；
步骤6、根据得到的路面坑洼区域深度图，求出路面坑洼区域宽度
Figure 63784DEST_PATH_IMAGE022
：
Figure 263296DEST_PATH_IMAGE023
，
其中
Figure 423013DEST_PATH_IMAGE024
与
Figure 38802DEST_PATH_IMAGE025
表示在深度图中坑洼的左右边缘点，
Figure 207747DEST_PATH_IMAGE026
表示坑洼的宽度；
步骤7、求出车辆与路面坑洼相距距离
Figure 467958DEST_PATH_IMAGE027
：
Figure 795647DEST_PATH_IMAGE028
，
其中
Figure 570836DEST_PATH_IMAGE029
为最大的深度坐标，
Figure 746733DEST_PATH_IMAGE030
为车辆与路面坑洼相距距离。
7.根据权利要求1所述的一种基于双目摄像头的路面坑洼检测和避让方法，其特征在于：所述步骤S4中的具体的步骤如下：根据路面坑洼区域宽度以及所在位置确定是否需要绕过路面坑洼区域；当路面坑洼区域宽度小于车辆水平轮胎间距时，若路面坑洼区域正位于轮胎正前方，则减速行驶并调整方向使坑洼区域处于轮胎之间；若路面坑洼区域不位于轮胎正前方，则正常行驶；当路面坑洼区域宽度大于车辆水平轮胎间距时，则根据车辆行驶速度以及车辆减速度确定车辆制动安全时间，再根据当前车速和制动安全时间计算制动安全距离：
Figure 189347DEST_PATH_IMAGE031
，
其中v表示车辆行驶速度，a表示车辆减速度，T safe表示制动安全时间，S safe表示制动安全距离；当安全距离小于车辆和路面坑洼相距距离时，车辆将减速绕过路面坑洼区域；当安全距离大于车辆和路面坑洼相距距离时，车辆将紧急制动停车。
8.一种基于双目摄像头的路面坑洼检测和避让系统，其特征在于：采用权利要求1-7中任一项所述的基于双目摄像头的路面坑洼检测和避让方法，包括图像预处理模块，用于读取双目摄像头同一时刻所得左右图像，对其进行预处理，降低图像噪声，增强边缘轮廓并提取图中ROI；
路面坑洼分割模块，用于对输入的图像进行图像分割，提取路面坑洼区域；
计算模块，用于计算路面坑洼区域宽度以及车辆与路面坑洼区域相距距离；
避让判断模块，用于判断车辆是否需要避让处理。
CN202210626899.2A 2022-06-06 2022-06-06 一种基于双目摄像头的路面坑洼检测和避让方法及系统 Active CN114708567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210626899.2A CN114708567B (zh) 2022-06-06 2022-06-06 一种基于双目摄像头的路面坑洼检测和避让方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210626899.2A CN114708567B (zh) 2022-06-06 2022-06-06 一种基于双目摄像头的路面坑洼检测和避让方法及系统

Publications (2)

Publication Number Publication Date
CN114708567A true CN114708567A (zh) 2022-07-05
CN114708567B CN114708567B (zh) 2022-09-06

Family

ID=82177833

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210626899.2A Active CN114708567B (zh) 2022-06-06 2022-06-06 一种基于双目摄像头的路面坑洼检测和避让方法及系统

Country Status (1)

Country Link
CN (1) CN114708567B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546749A (zh) * 2022-09-14 2022-12-30 武汉理工大学 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法
CN116311173A (zh) * 2023-05-22 2023-06-23 南京邮电大学 一种多传感器融合的无人车路面坑洼检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2950237A1 (en) * 2014-05-28 2015-12-02 LG Electronics Inc. Driver assistance apparatus capable of performing distance detection and vehicle including the same
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN111516692A (zh) * 2020-04-20 2020-08-11 重庆长安汽车股份有限公司 一种车辆在坑洼路面上行驶的控制系统及方法
CN112793567A (zh) * 2021-01-14 2021-05-14 史鹏飞 一种基于路况检测的辅助驾驶方法及系统
EP3859596A1 (en) * 2018-12-16 2021-08-04 Huawei Technologies Co., Ltd. Object collision prediction method and device
CN113255520A (zh) * 2021-05-25 2021-08-13 华中科技大学 基于双目视觉和深度学习的车辆避障方法与电子设备
CN113420587A (zh) * 2021-05-10 2021-09-21 江苏大学 一种基于路面坑洞检测的车辆主动避撞方法
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统
CN114559961A (zh) * 2022-03-31 2022-05-31 东风汽车集团股份有限公司 自动驾驶车辆路面避障方法、装置及可读存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2950237A1 (en) * 2014-05-28 2015-12-02 LG Electronics Inc. Driver assistance apparatus capable of performing distance detection and vehicle including the same
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
EP3859596A1 (en) * 2018-12-16 2021-08-04 Huawei Technologies Co., Ltd. Object collision prediction method and device
CN111516692A (zh) * 2020-04-20 2020-08-11 重庆长安汽车股份有限公司 一种车辆在坑洼路面上行驶的控制系统及方法
CN112793567A (zh) * 2021-01-14 2021-05-14 史鹏飞 一种基于路况检测的辅助驾驶方法及系统
CN113420587A (zh) * 2021-05-10 2021-09-21 江苏大学 一种基于路面坑洞检测的车辆主动避撞方法
CN113255520A (zh) * 2021-05-25 2021-08-13 华中科技大学 基于双目视觉和深度学习的车辆避障方法与电子设备
CN113486764A (zh) * 2021-06-30 2021-10-08 中南大学 一种基于改进的YOLOv3的坑洼检测方法
CN114559961A (zh) * 2022-03-31 2022-05-31 东风汽车集团股份有限公司 自动驾驶车辆路面避障方法、装置及可读存储介质
CN114509045A (zh) * 2022-04-18 2022-05-17 北京中科慧眼科技有限公司 车轮区域高程检测方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JONATHAN DAVID ESTILO等: "Obstacle detection and localization in an automated vehicle using binocular stereopsis and motion field", 《2016 6TH IEEE INTERNATIONAL CONFERENCE ON CONTROL SYSTEM, COMPUTING AND ENGINEERING (ICCSCE)》 *
张丰梁: "基于车载双目视觉的路面坑槽检测方法研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546749A (zh) * 2022-09-14 2022-12-30 武汉理工大学 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法
CN115546749B (zh) * 2022-09-14 2023-05-30 武汉理工大学 基于摄像机和激光雷达的路面坑洼检测及清扫和避让方法
CN116311173A (zh) * 2023-05-22 2023-06-23 南京邮电大学 一种多传感器融合的无人车路面坑洼检测方法
CN116311173B (zh) * 2023-05-22 2023-11-10 南京邮电大学 一种多传感器融合的无人车路面坑洼检测方法

Also Published As

Publication number Publication date
CN114708567B (zh) 2022-09-06

Similar Documents

Publication Publication Date Title
CN114708567B (zh) 一种基于双目摄像头的路面坑洼检测和避让方法及系统
CN109829403B (zh) 一种基于深度学习的车辆防碰撞预警方法及系统
CN108596129B (zh) 一种基于智能视频分析技术的车辆越线检测方法
CN111563412B (zh) 一种基于参数空间投票和贝塞尔拟合的快速车道线检测方法
CN105206109B (zh) 一种基于红外ccd的车辆雾天识别预警系统及方法
CN104036246B (zh) 一种基于多特征融合及多态均值的车道线定位方法
CN111553214B (zh) 一种驾驶员吸烟行为检测方法及系统
CN104183127A (zh) 交通监控视频检测方法和装置
CN109948552B (zh) 一种复杂交通环境中的车道线检测的方法
CN110458050B (zh) 基于车载视频的车辆切入检测方法及装置
CN108960074B (zh) 基于深度学习的小尺寸行人目标检测方法
CN111723778B (zh) 基于MobileNet-SSD的车辆测距系统及方法
CN112598743B (zh) 一种单目视觉图像的位姿估算方法及相关装置
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN112836573A (zh) 一种基于对抗生成网络的车道线图像增强与补全方法
CN113034378A (zh) 一种区分电动汽车与燃油汽车的方法
CN113221739B (zh) 基于单目视觉的车距测量方法
CN113029185A (zh) 众包式高精度地图更新中道路标线变化检测方法及系统
CN116229423A (zh) 基于改进的Canny边缘检测算法和SVM的无人驾驶中的小目标检测方法
CN110349415B (zh) 一种基于多尺度变换的行车速度测量方法
Wang et al. Lane detection based on two-stage noise features filtering and clustering
CN114495066A (zh) 一种辅助倒车的方法
CN111460989A (zh) 一种基于单目视觉的方向盘手离检测方法
CN111881834B (zh) 一种基于改进大津算法的结构化道路车道线识别方法
CN114663860A (zh) 一种用于车道偏离系统中的车道线识别系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant