CN115131992A - 一种基于双目相机的车辆盲区障碍物示警方法及终端 - Google Patents
一种基于双目相机的车辆盲区障碍物示警方法及终端 Download PDFInfo
- Publication number
- CN115131992A CN115131992A CN202210746786.6A CN202210746786A CN115131992A CN 115131992 A CN115131992 A CN 115131992A CN 202210746786 A CN202210746786 A CN 202210746786A CN 115131992 A CN115131992 A CN 115131992A
- Authority
- CN
- China
- Prior art keywords
- obstacle
- binocular camera
- vehicle
- binocular
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 230000004888 barrier function Effects 0.000 title abstract description 49
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000005259 measurement Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 25
- 238000012937 correction Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 206010039203 Road traffic accident Diseases 0.000 abstract description 14
- 240000007651 Rubus glaucus Species 0.000 description 5
- 235000011034 Rubus glaucus Nutrition 0.000 description 5
- 235000009122 Rubus idaeus Nutrition 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于双目相机的车辆盲区障碍物示警方法及终端，包括：对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；对所述双目相机进行立体匹配；利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。本发明可以在车辆驾驶的过程中识别车辆盲区的障碍物及其障碍物的距离，辅助驾驶员进行驾驶，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
Description
技术领域
本发明涉及车辆安全驾驶技术领域，尤其是涉及一种基于双目相机的车辆盲区障碍物示警方法及终端。
背景技术
公路运输是交通运输系统的组成部分之一，主要承担短途客货运输，现代所用运输工具主要是卡货车。现在普遍使用的卡货车后视镜存在不同程度的视觉盲区，视野盲区是指驾驶员位于正常驾驶座位置，其视线被车体遮挡而不能直接观察到的那部分区域。由于卡货车车身较高，视野盲区更大，且载货时总吨位较重致使刹车车距较长，使得在运输过程中容易出现交通事故。
发明内容
本发明所要解决的技术问题是：提供一种基于双目相机的车辆盲区障碍物示警方法及终端，实现对卡货车在运输过程中位于车辆视线盲区的障碍物检测，避免交通事故的发生。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于双目相机的车辆盲区障碍物示警方法，包括步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
为了解决上述技术问题，本发明采用的另一个技术方案为：
一种基于双目相机的车辆盲区障碍物示警终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
本发明的有益效果在于：本发明提供一种基于双目相机的车辆盲区障碍物示警方法及终端，通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
附图说明
图1为本发明实施例的一种基于双目相机的车辆盲区障碍物示警方法的整体流程图；
图2为本发明实施例的一种基于双目相机的车辆盲区障碍物示警方法的具体流程图；
图3为本发明实施例的一种基于双目相机的车辆盲区障碍物示警终端的结构示意图。
标号说明：
1、一种基于双目相机的车辆盲区障碍物示警终端；2、存储器；3、处理器。
具体实施方式
为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。
在此之前，对本发明中涉及到的英文缩写及专业术语进行如下释义：
1、SGBM算法，semi-global block matching，一种用于计算双目视觉中视差(disparity)的半全局匹配算法；
2、SAD，Sum of absolute differences，一种图像匹配算法；
3、张氏标定法，张正友博士在1999年发表在国际顶级会议ICCV上的论文《Flexible Camera Calibration By Viewing a Plane From Unknown Orientations》中提出的一种利用平面棋盘格进行相机标定的实用方法；
4、yolov4算法，一种基于神经网络的目标检测算法。
请参照图1及图2，一种基于双目相机的车辆盲区障碍物示警方法，包括步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
由上述描述可知，本发明的有益效果在于：通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
进一步地，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：
采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；
所述步骤S2具体为：
S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；
S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。
由上述描述可知，采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好；同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。
进一步地，所述神经网络算法为yolov4算法，所述步骤S3具体为：
S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；
S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；
S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；
S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。
由上述描述可知，通过yolov4神经网络对双目相机采集到的图像样本进行障碍物识别模型训练，后续直接通过障碍物识别模型对双目相机实时拍摄的车辆视线盲区的图像进行障碍物识别，快速准确，进一步辅助驾驶员及时知晓视线盲区的视野，避免交通事故的发生。
进一步地，所述步骤S4具体为：
S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；
S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。
由上述描述可知，先采用双目相机的其中一目相机实时拍摄车辆盲区的图像，通过障碍物识别模型识别障碍物后再开启另一目相机，通过双目相机的左目、右目两个相机同时对拍摄到的具有障碍物的图像进行立体匹配，以获取障碍物的准确距离，不仅减小了双目相机的图像处理压力，也有效提高障碍物的识别及其距离测量的效率，进一步为驾驶员提供视线盲区的障碍物的准确位置和准确距离。
进一步地，所述步骤S4之后还包括步骤：
S5、预设安全距离及其阈值，当所述步骤S4中测得的所述障碍物距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
由上述描述可知，车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆视线盲区的障碍物距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
请参照图3，一种基于双目相机的车辆盲区障碍物示警终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
由上述描述可知，本发明的有益效果在于：基于同一技术构思，配合上述的一种基于双目相机的车辆盲区障碍物示警方法，提供一种基于双目相机的车辆盲区障碍物示警终端，通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
进一步地，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：
采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；
所述步骤S2具体为：
S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；
S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。
由上述描述可知，采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好；同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。
进一步地，所述神经网络算法为yolov4算法，所述步骤S3具体为：
S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；
S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；
S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；
S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。
由上述描述可知，通过yolov4神经网络对双目相机采集到的图像样本进行障碍物识别模型训练，后续直接通过障碍物识别模型对双目相机实时拍摄的车辆视线盲区的图像进行障碍物识别，快速准确，进一步辅助驾驶员及时知晓视线盲区的视野，避免交通事故的发生。
进一步地，所述步骤S4具体为：
S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；
S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。
由上述描述可知，先采用双目相机的其中一目相机实时拍摄车辆盲区的图像，通过障碍物识别模型识别障碍物后再开启另一目相机，通过双目相机的左目、右目两个相机同时对拍摄到的具有障碍物的图像进行立体匹配，以获取障碍物的准确距离，不仅减小了双目相机的图像处理压力，也有效提高障碍物的识别及其距离测量的效率，进一步为驾驶员提供视线盲区的障碍物的准确位置和准确距离。
进一步地，所述步骤S4之后还包括步骤：
S5、预设安全距离及其阈值，当所述步骤S4中测得的所述障碍物距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
由上述描述可知，车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆视线盲区的障碍物距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
本发明提供的一种基于双目相机的车辆盲区障碍物示警方法及终端，适用于对大型车辆，例如卡车、货车等大型车辆在行驶过程中位于视线盲区的障碍物的实时检测，以辅助驾驶员安全驾驶，以下结合实施例具体说明。
请参照图1，本发明的实施例一为：
一种基于双目相机的车辆盲区障碍物示警方法，如图1所示，包括步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取双目相机的内参、外参和畸变参数。
S2、对双目相机进行立体匹配。
S3、利用双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型。
S4、启动双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
即在本实施例中，通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。在本实施例中，可以在车辆内部设置一个中央处理控制器，例如树莓派等，并采用千兆网线将树莓派、车载显示屏和双目相机连接在同一个网络下，实现各设备之间的通信传输，比如双目相机将拍摄的图像传输到树莓派中，障碍物识别模型的训练、双目相机的标定及立体匹配过程等也均可以在树莓派中实现，然后在树莓派中采用障碍物识别模型对双目相机实时拍摄的图像进行障碍物识别及障碍物距离测量后再传输到车载显示屏中进行显示。
请参照图2，本发明的实施例二为：
一种基于双目相机的车辆盲区障碍物示警方法，在上述实施例一的基础上，在本实施例中，步骤S1中对双目相机进行标定，获取双目相机的内参、外参和畸变参数具体为：
采用张氏标定法和棋盘格对双目相机进行标定，获取双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量。
即在本实施例中，通过采用张氏标定法对双目相机进行标定，标定过程仅需使用一个棋盘格，并从不同的方向拍摄几组图像即可，不仅实用、灵活方便，且精度高，鲁棒性好。
其中，步骤S2具体为：
S21、采用SGBM算法，从双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用畸变参数对某一帧图像进行畸变校正、利用内参矩阵和外参矩阵对某一帧图像进行立体校正，得到校正完成的图像的深度图；
S22、对深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到深度图的深度信息与某一帧图像对应时刻下的障碍物距双目相机的实际距离之间的误差小于预设距离为止。
即在本实施例中，同时采用SGBM算法对标定得到的双目相机的参数进行畸变校正和立体校正，以修正视差产生的错误匹配，使得双目相机的距离测量精度更为精准。在本实施例中，步骤S22中的预设距离可以设置为0.1m。
其中，在本实施例中，步骤S3中的神经网络算法为yolov4算法，则步骤S3具体为：
S31、利用双目相机预先拍摄不同场景下的道路图像，对道路图像中的行人、车辆和其他障碍物进行标记；
S32、将标记好的道路图像按照3:1的比例随机划分为训练集和测试集；
S33、调整yolov4算法的深度、训练批次和自适应学习率参数，采用训练集对yolov4算法进行训练得到障碍物识别模型；
S34、采用测试集对障碍物识别模型进行测试，修正障碍物识别模型的精度和运算速度。
即通过yolov4神经网络对双目相机采集到的图像样本进行障碍物识别模型训练，后续直接通过障碍物识别模型对双目相机实时拍摄的车辆视线盲区的图像进行障碍物识别，快速准确，进一步辅助驾驶员及时知晓视线盲区的视野，避免交通事故的发生。
其中，在本实施例中，步骤S4具体为：
S41、启动双目相机，先开启双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；
S42、开启双目相机的另一目相机，利用步骤S2中的SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到障碍物距离，并在车载显示屏中实时显示识别到障碍物的图像及其测得的障碍物距离。
即在本实施例中，先采用双目相机的其中一目相机实时拍摄车辆盲区的图像，通过障碍物识别模型识别障碍物后再开启另一目相机，通过双目相机的左目、右目两个相机同时对拍摄到的具有障碍物的图像进行立体匹配，以获取障碍物的准确距离，不仅减小了双目相机的图像处理压力，也有效提高障碍物的识别及其距离测量的效率，进一步为驾驶员提供视线盲区的障碍物的准确位置和准确距离。
另外，在本实施例中，还可以在车辆内部部署车载蜂鸣器，则步骤S4之后还包括步骤：
S5、预设安全距离及其阈值，当步骤S4中测得的障碍物距离达到安全距离的阈值时，启动车载蜂鸣器进行报警。
即在车辆内部增加车载蜂鸣器，可在车辆驾驶过程中对车辆视线盲区的障碍物距离超过安全距离的阈值时及时示警，进一步辅助驾驶员安全驾驶，使驾驶员能有充分的时间进行规避，避免交通事故的发生。
请参照图3，本发明的实施例三为：
一种基于双目相机的车辆盲区障碍物示警终端1，包括存储器2、处理器3以及存储在存储器2是上并可在处理器3上执行的计算机程序，在本实施例中，处理器3执行计算机程序时实现上述实施例一至实施例二中任一实施例的步骤。
综上所述，本发明提供的一种基于双目相机的车辆盲区障碍物示警方法及终端，通过在车辆外部的视线盲区部署双目相机，对双目相机进行标定和立体匹配，并训练双目相机的障碍物识别模型，可通过先开启双目相机的单目实时拍摄车辆驾驶过程中位于车辆盲区的图像，由障碍物识别模型对实时拍摄的图像进行障碍物识别后再开启双目对识别到的障碍物进行测距，并显示在显示屏中，以辅助驾驶员进行驾驶，不仅能够快速识别障碍物，也能准确标出障碍物的距离以便驾驶员及时做出反应，从而降低因视野盲区或疲劳驾驶而导致的交通事故。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，包括步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
2.根据权利要求1所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：
采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；
所述步骤S2具体为：
S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；
S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。
3.根据权利要求2所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述神经网络算法为yolov4算法，所述步骤S3具体为：
S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；
S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；
S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；
S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。
4.根据权利要求3所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S4具体为：
S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；
S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。
5.根据权利要求1所述的一种基于双目相机的车辆盲区障碍物示警方法，其特征在于，所述步骤S4之后还包括步骤：
S5、预设安全距离及其阈值，当所述步骤S4中测得的所述障碍物距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
6.一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
S1、对部署在车辆引擎前端和车门外侧的车辆盲区的双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；
S2、对所述双目相机进行立体匹配；
S3、利用所述双目相机采集的图像集基于神经网络算法训练得到障碍物识别模型；
S4、启动所述双目相机，采用单目实时拍摄车辆盲区的图像，并将实时拍摄的图像传输到所述障碍物识别模型中进行障碍物识别，若识别到障碍物则再采用所述双目相机的双目测量得到障碍物距离，并实时显示在车载显示屏中。
7.根据权利要求6所述的一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，所述步骤S1中对双目相机进行标定，获取所述双目相机的内参、外参和畸变参数具体为：
采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参矩阵(f，f/dx，f/dy，cx，cy)、畸变参数(k1，k2，k3，k4，k5)和外参矩阵(R，t)，其中f为焦距，f/dx和f/dy分别为x轴和y轴上的归一化焦距，cx和cy为图像的中心，k1、k2和k3为径向畸变参数，k4和k5为切向畸变参数，R为旋转矩阵，t为平移向量；
所述步骤S2具体为：
S21、采用SGBM算法，从所述双目相机预先拍摄的障碍物视频中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参矩阵和所述外参矩阵对所述某一帧图像进行立体校正，得到校正完成的图像的深度图；
S22、对所述深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述深度图的深度信息与所述某一帧图像对应时刻下的障碍物距所述双目相机的实际距离之间的误差小于预设距离为止。
8.根据权利要求7所述的一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，所述神经网络算法为yolov4算法，所述步骤S3具体为：
S31、利用所述双目相机预先拍摄不同场景下的道路图像，对所述道路图像中的行人、车辆和其他障碍物进行标记；
S32、将标记好的所述道路图像按照3:1的比例随机划分为训练集和测试集；
S33、调整所述yolov4算法的深度、训练批次和自适应学习率参数，采用所述训练集对所述yolov4算法进行训练得到障碍物识别模型；
S34、采用所述测试集对所述障碍物识别模型进行测试，修正所述障碍物识别模型的精度和运算速度。
9.根据权利要求8所述的一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，所述步骤S4具体为：
S41、启动所述双目相机，先开启所述双目相机的其中一目相机实时拍摄位于车辆盲区的图像，并将实时拍摄的图像逐帧传输到所述障碍物识别模型中进行障碍物识别，若未识别到障碍物，则继续处理下一帧图像，若识别到障碍物，则执行步骤S42；
S42、开启所述双目相机的另一目相机，利用所述步骤S2中的所述SGBM算法对识别到障碍物的这一帧图像进行立体匹配，获取障碍物的深度信息，得到所述障碍物距离，并在所述车载显示屏中实时显示识别到障碍物的图像及其测得的所述障碍物距离。
10.根据权利要求9所述的一种基于双目相机的车辆盲区障碍物示警终端，其特征在于，所述步骤S4之后还包括步骤：
S5、预设安全距离及其阈值，当所述步骤S4中测得的所述障碍物距离达到所述安全距离的所述阈值时，启动车载蜂鸣器进行报警。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746786.6A CN115131992A (zh) | 2022-06-29 | 2022-06-29 | 一种基于双目相机的车辆盲区障碍物示警方法及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210746786.6A CN115131992A (zh) | 2022-06-29 | 2022-06-29 | 一种基于双目相机的车辆盲区障碍物示警方法及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115131992A true CN115131992A (zh) | 2022-09-30 |
Family
ID=83379178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210746786.6A Pending CN115131992A (zh) | 2022-06-29 | 2022-06-29 | 一种基于双目相机的车辆盲区障碍物示警方法及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115131992A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115817463A (zh) * | 2023-02-23 | 2023-03-21 | 禾多科技（北京）有限公司 | 车辆避障方法、装置、电子设备和计算机可读介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194997A (ja) * | 1998-12-24 | 2000-07-14 | Mazda Motor Corp | 車両の障害物警報装置 |
| JP2001209888A (ja) * | 2000-01-26 | 2001-08-03 | Mitsubishi Electric Corp | 道路監視装置 |
| JP2012004693A (ja) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | 運転支援装置 |
| CN108205658A (zh) * | 2017-11-30 | 2018-06-26 | 中原智慧城市设计研究院有限公司 | 基于单双目视觉融合的障碍物检测预警系统 |
| CN108407720A (zh) * | 2018-03-26 | 2018-08-17 | 宁夏大学 | 用于大型货车的安全距离报警及防护装置 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| CN111986512A (zh) * | 2020-07-16 | 2020-11-24 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
| US20220118916A1 (en) * | 2020-10-20 | 2022-04-21 | Hyundai Mobis Co., Ltd. | Surround view monitoring system and providing method of the same |
| CN114494462A (zh) * | 2022-02-10 | 2022-05-13 | 西安电子科技大学芜湖研究院 | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 |
| CN114608522A (zh) * | 2022-03-21 | 2022-06-10 | 沈阳理工大学 | 一种基于视觉的障碍物识别与测距方法 |
-
2022
- 2022-06-29 CN CN202210746786.6A patent/CN115131992A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000194997A (ja) * | 1998-12-24 | 2000-07-14 | Mazda Motor Corp | 車両の障害物警報装置 |
| JP2001209888A (ja) * | 2000-01-26 | 2001-08-03 | Mitsubishi Electric Corp | 道路監視装置 |
| JP2012004693A (ja) * | 2010-06-15 | 2012-01-05 | Clarion Co Ltd | 運転支援装置 |
| CN108205658A (zh) * | 2017-11-30 | 2018-06-26 | 中原智慧城市设计研究院有限公司 | 基于单双目视觉融合的障碍物检测预警系统 |
| CN108407720A (zh) * | 2018-03-26 | 2018-08-17 | 宁夏大学 | 用于大型货车的安全距离报警及防护装置 |
| CN111856448A (zh) * | 2020-07-02 | 2020-10-30 | 山东省科学院海洋仪器仪表研究所 | 基于双目视觉和雷达的海上障碍物识别方法及系统 |
| CN111986512A (zh) * | 2020-07-16 | 2020-11-24 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
| CN114612546A (zh) * | 2020-07-16 | 2022-06-10 | 华为技术有限公司 | 一种目标距离确定方法及装置 |
| US20220118916A1 (en) * | 2020-10-20 | 2022-04-21 | Hyundai Mobis Co., Ltd. | Surround view monitoring system and providing method of the same |
| CN114494462A (zh) * | 2022-02-10 | 2022-05-13 | 西安电子科技大学芜湖研究院 | 一种基于Yolov5和改进跟踪算法的双目相机测距方法 |
| CN114608522A (zh) * | 2022-03-21 | 2022-06-10 | 沈阳理工大学 | 一种基于视觉的障碍物识别与测距方法 |
Non-Patent Citations (2)
| Title |
|---|
| 刘柏森;侯力心;: "基于YOLOV2卷积神经网络的双目视觉系统设计", 网络安全技术与应用, no. 10, pages 68 - 70 * |
| 王江波;常璐瑶;杨昆;李建源;朱梦涵;: "基于树莓派的双目测距技术研究", 仪表技术, vol. 371, no. 03, pages 36 - 39 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115817463A (zh) * | 2023-02-23 | 2023-03-21 | 禾多科技（北京）有限公司 | 车辆避障方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10783657B2 (en) | Method and apparatus for vehicle position detection | |
| CN111060904B (zh) | 一种基于毫米波与视觉融合感知的盲区监测方法 | |
| EP2889641B1 (en) | Image processing apparatus, image processing method, program and image processing system | |
| CN110909705B (zh) | 一种基于车载摄像头的路侧停车位感知方法及系统 | |
| EP3792660A1 (en) | Method, apparatus and system for measuring distance | |
| DE10229334A1 (de) | Verfahren und Vorrichtung zur Kalibrierung von Sensoren im Kraftfahrzeug | |
| US20200334474A1 (en) | Image processing device and image processing method | |
| US10964059B2 (en) | Static camera calibration using motion of vehicle portion | |
| CN109345591B (zh) | 一种车辆自身姿态检测方法和装置 | |
| Megalingam et al. | Monocular distance estimation using pinhole camera approximation to avoid vehicle crash and back-over accidents | |
| CN115131992A (zh) | 一种基于双目相机的车辆盲区障碍物示警方法及终端 | |
| DE102015120014B4 (de) | Überwachungsverfahren und -vorrichtung unter Verwendung einer Kamera | |
| CN108108680A (zh) | 一种基于双目视觉的后方车辆识别与测距方法 | |
| CN108162866A (zh) | 一种基于流媒体外后视镜系统的车道识别系统及方法 | |
| WO2021151516A1 (en) | A method for determining a trailer length of a vehicle | |
| CN116823693A (zh) | 拖车视图成像方法、装置、设备及存储介质 | |
| CN116486351A (zh) | 行车预警方法、装置、设备及存储介质 | |
| CN115100251A (zh) | 一种基于热像仪和激光雷达的车前行人检测方法及终端 | |
| CN108399357B (zh) | 一种人脸定位方法及装置 | |
| US11420855B2 (en) | Object detection device, vehicle, and object detection process | |
| CN117360390A (zh) | 一种自适应车载毫米波雷达系统及其控制方法 | |
| CN114463388A (zh) | 基于双目相机的限高装置检测方法、系统和智能终端 | |
| WO2016079117A1 (en) | Gradient detection based on perspective-transformed image | |
| CN115063778A (zh) | 一种基于双目相机的车前行人测距方法及终端 | |
| Rickesh et al. | Augmented reality solution to the blind spot issue while driving vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |