CN109190488A - 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 - Google Patents
基于深度学习YOLOv3算法的前车车门打开检测方法及装置 Download PDFInfo
- Publication number
- CN109190488A CN109190488A CN201810893770.1A CN201810893770A CN109190488A CN 109190488 A CN109190488 A CN 109190488A CN 201810893770 A CN201810893770 A CN 201810893770A CN 109190488 A CN109190488 A CN 109190488A
- Authority
- CN
- China
- Prior art keywords
- door
- front vehicle
- lane
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 104
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 43
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000012360 testing method Methods 0.000 claims description 32
- 238000012795 verification Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 11
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000007477 logistic regression Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 238000005259 measurement Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了基于深度学习YOLOv3算法的前车车门打开检测方法及装置，所述方法包括：将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；对所述视频流进行图像识别，捕捉前方车辆的图像信息；根据所述图像信息，判断所述前方车辆的车门是否关闭；若否，则触发预警。本发明能够实时地高精度预测同车道或者是近车道前车车辆准备打开车门的危险并发出预警，在误检测方面错误率能降低一半多，并且可以直接学习图像的全局信息和end‑to‑end训练。
Description
技术领域
本发明涉及车辆技术领域，具体涉及一种基于深度学习YOLOv3算法的前车车门打开检测方法及装置。
背景技术
随着机动车的密度越来越高，交通事故的发生频率也随之提高。由于机动车的驾驶员在路上驾驶时，其注意力大多集中于行驶中的车辆，而容易会忽略停在路边的车辆，因此当机动车驾驶人在行驶中疏于留意停在路边的车辆是否正要开启车门或者于路边停车的驾驶人或乘客在开门时未先留意后方来车，容易造成交通事故。
但是，在对现有技术的研究与实践过程中，本发明的发明人发现，现有的车门打开检测方法大多是从停车的驾驶员本身出发，利用摄像头在司机准备打开车门的瞬间捕捉汽车周围的环境特别是后方的数据来得出打开车门有没有危险，缺乏一种可以预测同车道或者是近车道前方车辆准备打开车门的危险的方案。
发明内容
本发明实施例所要解决的技术问题在于，提供基于深度学习YOLOv3算法的前车车门打开检测方法及装置，能够实时地高精度预测同车道或者是近车道前车车辆准备打开车门的危险并发出预警，在误检测方面错误率能降低一半多，并且可以直接学习图像的全局信息和end-to-end训练。
为解决上述问题，本发明的一个实施例提供一种基于深度学习YOLOv3算法的前车车门打开检测方法，适于在计算机设备中执行，至少包括如下步骤：
将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；
对所述视频流进行图像识别，捕捉前方车辆的图像信息；
根据所述图像信息，判断所述前方车辆的车门是否关闭；
若否，则触发预警。
进一步地，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
进一步地，所述根据所述图像信息，判断所述前方车辆的车门是否关闭，具体为：
根据所述图像信息中的车型、边框位置和类别概率，判断所述前方车辆的车门是否完全关闭，若否，则输出所述前方车辆的车门打开的图像。
进一步地，所述检测模型的构建步骤为：
从BDD-100K(开放驾驶视频数据集)数据库中获取同车道或近车道的前方车辆的车门打开的图像；
根据深度学习YOLOv3(目标检测算法)算法，对所述图像进行预处理；
对预处理后的图像进行检测模型训练；
将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证；
将反馈得到的车型、边框位置和类别概率的实际情况进行若干次训练参数调整，得到匹配效果最高的检测模型。
进一步地，所述从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像，具体为：
基于BDD-100K数据库上随机挑选具有明暗变化、尺寸变化、场景变化及样式变化的同车道或近车道若干前方车辆的车门打开的图像，并将挑选得到的所有图像的70％划分为训练集、20％划分为测试集和剩下的10％划分为验证集。
进一步地，所述根据深度学习YOLOv3算法，对所述图像进行预处理，具体为：
根据深度学习YOLOv3算法，收集所述图像中车门打开的坐标信息和车门打开关键点的坐标信息。
进一步地，所述对预处理后的图像进行检测模型训练，具体为：
根据预处理后的图像，重构同车道或近车道的前方车辆车门打开的检测数据库，并构建ImageNet(一种用于视觉对象识别软件研究的大型可视化数据库)及YOLOv3检测框架的联合数据库以对训练集进行分类学习，进而创建检测模型，并通过logistic回归损失函数对所述检测模型进行优化；其中，
所述ImageNet创建所述检测模型中的同车道或近车道的前方车辆的车门打开模型，所述YOLOv3检测框架创建所述检测模型中的同车道或近车道的前方车辆的车门对齐模型。
进一步地，所述将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证，具体为：
使用mAP对同车道或近车道的前方车辆车门打开的坐标信息的准确率进行衡量，以验证所述车门打开模型的检测准确率；
使用欧拉损失对同车道或近车道的前方车辆车门打开关键点的坐标信息进行准确率进行衡量，以验证所述车门对齐模型的对齐准确率。
本发明的一个实施例还提供了一种基于深度学习YOLOv3算法的前车车门打开检测装置，包括：
输入模块，用于将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型。
图像识别模块，用于对所述视频流进行图像识别，捕捉前方车辆的图像信息。
判断模块，用于根据所述图像信息，判断所述前方车辆的车门是否关闭，若否，则触发预警。
本发明的一个实施例还提供了一种基于深度学习YOLOv3算法的前车车门打开检测方法装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于深度学习YOLOv3算法的前车车门打开检测方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于深度学习YOLOv3算法的前车车门打开检测方法。
实施本发明实施例，具有如下有益效果：
本发明实施例提供的基于深度学习YOLOv3算法的前车车门打开检测方法、装置及计算机可读存储介质，所述方法包括：将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；对所述视频流进行图像识别，捕捉前方车辆的图像信息；根据所述图像信息，判断所述前方车辆的车门是否关闭；若否，则触发预警。本发明的实施例能够实时地高精度预测同车道或者是近车道前车车辆准备打开车门的危险并发出预警，在误检测方面错误率能降低一半多，并且可以直接学习图像的全局信息和end-to-end(端对端)训练。
附图说明
图1为本发明第一实施例提供的一种基于深度学习YOLOv3算法的前车车门打开检测方法的流程示意图；
图2为本发明第一实施例提供中检测模型的构建步骤的流程示意图；
图3为本发明第二实施例提供的一种基于深度学习YOLOv3算法的前车车门打开检测装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先介绍本发明可以提供的应用场景，如预测前方车辆车门是否打开。
现有的车门打开检测方法大多是从停车的驾驶员本身出发，利用摄像头在司机准备打开车门的瞬间捕捉汽车周围的环境特别是后方的数据来得出打开车门有没有危险，本发明提供的实施例能够准确预测同车道或者是近车道前方车辆准备打开车门的危险。
本发明第一实施例：
请参阅图1。
如图1所示，本实施例提供的基于深度学习YOLOv3算法的前车车门打开检测方法，适于在计算机设备中执行，至少包括如下步骤：
S101、将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；
S102、对所述视频流进行图像识别，捕捉前方车辆的图像信息；
S103、根据所述图像信息，判断所述前方车辆的车门是否关闭。
优选地，所述的基于深度学习YOLOv3算法的前车车门打开检测方法，还包括：若否，则触发预警。
对于步骤S101，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
需要说明的是，如图2所示，所述检测模型的构建步骤为：
S201、从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像；
S202、根据深度学习YOLOv3算法，对所述图像进行预处理；
S203、对预处理后的图像进行检测模型训练；
S204、将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证；
S205、将反馈得到的车型、边框位置和类别概率的实际情况进行若干次训练参数调整，得到匹配效果最高的检测模型。
对于步骤S201，具体的，创建同车道或近车道前车车门打开的数据集，可以在BDD-100K数据库上随机挑选具有明暗变化、尺寸变化、场景变化及样式变化的同车道或近车道前方车辆的车门打开的图像，并将这些同车道或近车道前方车辆的车门打开的图像的70％划分为训练集、20％划分为测试集和剩下的10％划分为验证集；其中训练集用来建立预训练模型，测试集用来测试所述预训练模型同车道或近车道前方车辆的车门打开识别的泛化能力，验证集用来控制所述预训练模型的参数如增大batch以减少nan的出现，修改classes类别数，修改最后一层卷积层核参数个数filters、修改weight decay、修改最大迭代次数max_batches、改动学习率learning rate等等；本步骤扩充了训练的样本，防止图像样本过少导致的过拟合问题。
对于步骤S202，具体的，YOLOv3的数据包括训练数据、测试数据和验证数据(训练数据用来训练模型，测试数据用来测试模型，验证数据用来调整模型)，其中的训练数据、测试数据和验证数据都包括图片和标签；对训练集、测试集和验证集中的图像进行标注，即收集图像上同车道或近车道前方车辆的车门打开的坐标信息(x,y,w,h)和同车道或近车道前方车辆的车门打开关键点的坐标信息(xi，yi)；其中(x，y)代表同车道或近车道前方车辆的打开的车门在图像上的坐标，(w，h)代表同车道或近车道前方车辆的打开的车门在图像上的宽度和高度，其中有：
归一化的中心点x坐标计算公式：((x2+x1)/2.0)/w；
归一化的中心点y坐标计算公式：((y2+y1)/2.0)/h；
归一化的目标框宽度的计算公式：(x2-x1)/w；
归一化的目标框高度计算公式：((y2-y1)/h；
在测试集和验证集中进行图像标注的预处理就是为了帮助衡量训练集在完成预训练后图像标注的正确率。
对于步骤S203，具体的，根据预处理后的图像，重构同车道或近车道的前方车辆车门打开的检测数据库，并构建ImageNet及YOLOv3检测框架的联合数据库以对训练集进行分类学习，进而创建检测模型，并通过logistic回归损失函数对所述检测模型进行优化；其中，
所述ImageNet创建所述检测模型中的同车道或近车道的前方车辆的车门打开模型，所述YOLOv3检测框架创建所述检测模型中的同车道或近车道的前方车辆车门对齐模型；
所述logistic回归损失函数公式为,
YOLOv3检测框架将整个图像划分为s*s个网格，每个网格回归n个bounding boxes(图像边框)，每个bounding box(图像边框)都包含5个预测值：x,y,w,h和confidence。x,y就是bounding box的中心坐标，与grid cell对齐(即相对于当前grid cell的偏移值)，使得范围变成0到1；w和h进行归一化(分别除以图像的w和h，这样最后的w和h就在0到1范围)；其中每个boundingbox(图像边框)对应置信度回归(对应损失函数中的confidenceloss)、位置回归(对应损失函数中的locationloss)、关键点回归(对应损失函数中的alignedloss)，此处的关键点有5个，即车门的四个角和车窗，因此总共回归s*s*n*15.因此本损失函数包含了训练集的位置回归、置信度回归和关键点的回归，通过调节置信度、位置以及关键点损失的权重，使得模型收敛并提高模型的鲁棒性。
对于步骤S204，具体的，进行网络的验证，使用所述验证集控制所述预训练模型的参数，对于同车道或近车道前方车辆车门打开检测模型，使用mAP进行衡量，mAP是衡量同车道或近车道前方车辆车门打开检测车门框位置准确度的一个指标，通过设定不同的IoU值来计算出同车道或近车道前方车辆车门打开检测的准确率和查全率，从而计算得到mAP，即是衡量同车道或近车道前方车辆打开的车门在图像上的坐标信息(x，y，w，h)的准确率；对于同车道或近车道前方车辆打开的车门模型的验证使用欧拉损失衡量，即是衡量同车道或近车道前方车辆打开的车门关键点的坐标信息(xi，yi)的准确率；这样通过验证集的衡量，可以相应地调整预训练模型的相关参数，提高同车道或近车道前方车辆打开的车门检测模型和同车道或近车道前方车辆打开的车门对齐模型的检测准确率和对齐准确率。
对于步骤S103，所述根据所述图像信息，判断所述前方车辆的车门是否关闭，具体的，根据所述图像信息中的车型、边框位置和类别概率，判断所述前方车辆的车门是否完全关闭，若否，则输出所述前方车辆的车门打开的图像。
需要说明的是，根据所述图像信息，判断所述前方车辆的车门是否关闭，若否，则触发预警。
本实施例提供的基于深度学习YOLOv3算法的前车车门打开检测方法，将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；对所述视频流进行图像识别，捕捉前方车辆的图像信息；根据所述图像信息，判断所述前方车辆的车门是否关闭；本发明能够实时地高精度预测同车道或者是近车道前车车辆准备打开车门的危险并发出预警，在误检测方面错误率能降低一半多，并且可以直接学习图像的全局信息和end-to-end训练。
本发明第二实施例：
请参阅图3。
如图3所示，本实施例还提供了一种基于深度学习YOLOv3算法的前车车门打开检测装置，包括：
输入模块301，用于将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型
优选地，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
优选地，所述检测模型的构建步骤为：
从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像；
根据深度学习YOLOv3算法，对所述图像进行预处理；
对预处理后的图像进行检测模型训练；
将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证；
将反馈得到的车型、边框位置和类别概率的实际情况进行若干次训练参数调整，得到匹配效果最高的检测模型。
需要说明的是，所述从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像，具体的，创建同车道或近车道前车车门打开的数据集，可以在BDD-100K数据库上随机挑选具有明暗变化、尺寸变化、场景变化及样式变化的同车道或近车道前方车辆的车门打开的图像，并将这些同车道或近车道前方车辆的车门打开的图像的70％划分为训练集、20％划分为测试集和剩下的10％划分为验证集；其中训练集用来建立预训练模型，测试集用来测试所述预训练模型同车道或近车道前方车辆的车门打开识别的泛化能力，验证集用来控制所述预训练模型的参数如增大batch以减少nan的出现，修改classes类别数，修改最后一层卷积层核参数个数filters、修改weight decay、修改最大迭代次数max_batches、改动学习率learning rate等等；本步骤扩充了训练的样本，防止图像样本过少导致的过拟合问题。
需要说明的是，所述根据深度学习YOLOv3算法，对所述图像进行预处理，具体的，YOLOv3的数据包括训练数据、测试数据和验证数据(训练数据用来训练模型，测试数据用来测试模型，验证数据用来调整模型)，其中的训练数据、测试数据和验证数据都包括图片和标签；对训练集、测试集和验证集中的图像进行标注，即收集图像上同车道或近车道前方车辆的车门打开的坐标信息(x,y,w,h)和同车道或近车道前方车辆的车门打开关键点的坐标信息(xi，yi)；其中(x，y)代表同车道或近车道前方车辆的打开的车门在图像上的坐标，(w，h)代表同车道或近车道前方车辆的打开的车门在图像上的宽度和高度，其中有：
归一化的中心点x坐标计算公式：((x2+x1)/2.0)/w；
归一化的中心点y坐标计算公式：((y2+y1)/2.0)/h；
归一化的目标框宽度的计算公式：(x2-x1)/w；
归一化的目标框高度计算公式：((y2-y1)/h；
在测试集和验证集中进行图像标注的预处理就是为了帮助衡量训练集在完成预训练后图像标注的正确率。
需要说明的是，所述对预处理后的图像进行检测模型训练，具体的，根据预处理后的图像，重构同车道或近车道的前方车辆车门打开的检测数据库，并构建ImageNet及YOLOv3检测框架的联合数据库以对训练集进行分类学习，进而创建检测模型，并通过logistic回归损失函数对所述检测模型进行优化；其中，
所述ImageNet创建所述检测模型中的同车道或近车道的前方车辆的车门打开模型，所述YOLOv3检测框架创建所述检测模型中的同车道或近车道的前方车辆车门对齐模型；
所述logistic回归损失函数公式为,
YOLOv3检测框架将整个图像划分为s*s个网格，每个网格回归n个bounding boxes(图像边框)，每个bounding box(图像边框)都包含5个预测值：x,y,w,h和confidence。x,y就是bounding box的中心坐标，与grid cell对齐(即相对于当前grid cell的偏移值)，使得范围变成0到1；w和h进行归一化(分别除以图像的w和h，这样最后的w和h就在0到1范围)；其中每个boundingbox(图像边框)对应置信度回归(对应损失函数中的confidenceloss)、位置回归(对应损失函数中的locationloss)、关键点回归(对应损失函数中的alignedloss)，此处的关键点有5个，即车门的四个角和车窗，因此总共回归s*s*n*15.因此本损失函数包含了训练集的位置回归、置信度回归和关键点的回归，通过调节置信度、位置以及关键点损失的权重，使得模型收敛并提高模型的鲁棒性。
需要说明的是，所述将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证，具体的，进行网络的验证，使用所述验证集控制所述预训练模型的参数，对于同车道或近车道前方车辆车门打开检测模型，使用mAP进行衡量，mAP是衡量同车道或近车道前方车辆车门打开检测车门框位置准确度的一个指标，通过设定不同的IoU值来计算出同车道或近车道前方车辆车门打开检测的准确率和查全率，从而计算得到mAP，即是衡量同车道或近车道前方车辆打开的车门在图像上的坐标信息(x，y，w，h)的准确率；对于同车道或近车道前方车辆打开的车门模型的验证使用欧拉损失衡量，即是衡量同车道或近车道前方车辆打开的车门关键点的坐标信息(xi，yi)的准确率；这样通过验证集的衡量，可以相应地调整预训练模型的相关参数，提高同车道或近车道前方车辆打开的车门检测模型和同车道或近车道前方车辆打开的车门对齐模型的检测准确率和对齐准确率。
优选地，所述的基于深度学习YOLOv3算法的前车车门打开检测方法，还包括：若否，则触发预警。
需要说明的是，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
图像识别模块302，用于对所述视频流进行图像识别，捕捉前方车辆的图像信息。
判断模块303，用于根据所述图像信息，判断所述前方车辆的车门是否关闭，若否，则触发预警。具体的，具体用于根据所述图像信息中的车型、边框位置和类别概率，判断所述前方车辆的车门是否完全关闭，若否，则输出所述前方车辆的车门打开的图像。
需要说明的是，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
本实施例提供的基于深度学习YOLOv3算法的前车车门打开检测装置，将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；对所述视频流进行图像识别，捕捉前方车辆的图像信息；根据所述图像信息，判断所述前方车辆的车门是否关闭；本发明能够实时地高精度预测同车道或者是近车道前车车辆准备打开车门的危险并发出预警，在误检测方面错误率能降低一半多，并且可以直接学习图像的全局信息和end-to-end训练。
本发明的一个实施例还提供了一种基于深度学习YOLOv3算法的前车车门打开检测装置，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述的基于深度学习YOLOv3算法的前车车门打开检测方法。
本发明的一个实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述的基于深度学习YOLOv3算法的前车车门打开检测方法。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和变形，这些改进和变形也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
Claims (10)
1.一种基于深度学习YOLOv3算法的前车车门打开检测方法，适用于在计算机设备中执行，其特征在于，至少包括如下步骤：
将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；
对所述视频流进行图像识别，捕捉前方车辆的图像信息；
根据所述图像信息，判断所述前方车辆的车门是否关闭；
若否，则触发预警。
2.根据权利要求1所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述摄像设备包括智能手机、行车记录仪和车载摄像头；所述前方车辆为同车道或近车道的前方车辆；所述图像信息包括车型、边框位置和类别概率。
3.根据权利要求1所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述根据所述图像信息，判断所述前方车辆的车门是否关闭，具体为：
根据所述图像信息中的车型、边框位置和类别概率，判断所述前方车辆的车门是否完全关闭，若否，则输出所述前方车辆的车门打开的图像。
4.根据权利要求1所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述检测模型的构建步骤为：
从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像；
根据深度学习YOLOv3算法，对所述图像进行预处理；
对预处理后的图像进行检测模型训练；
将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证；
将反馈得到的车型、边框位置和类别概率的实际情况进行若干次训练参数调整，得到匹配效果最高的检测模型。
5.根据权利要求4所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述从BDD-100K数据库中获取同车道或近车道的前方车辆的车门打开的图像，具体为：
基于BDD-100K数据库上随机挑选具有明暗变化、尺寸变化、场景变化及样式变化的同车道或近车道若干前方车辆的车门打开的图像，并将挑选得到的所有图像的70％划分为训练集、20％划分为测试集和剩下的10％划分为验证集。
6.根据权利要求4所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述根据深度学习YOLOv3算法，对所述图像进行预处理，具体为：
根据深度学习YOLOv3算法，收集所述图像中车门打开的坐标信息和车门打开关键点的坐标信息。
7.根据权利要求4所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述对预处理后的图像进行检测模型训练，具体为：
根据预处理后的图像，重构同车道或近车道的前方车辆的车门打开的检测数据库，并构建ImageNet及YOLOv3检测框架的联合数据库以对训练集进行分类学习，进而创建检测模型，并通过logistic回归损失函数对所述检测模型进行优化；其中，
所述ImageNet创建所述检测模型中的同车道或近车道的前方车辆的车门打开模型，所述YOLOv3检测框架创建所述检测模型中的同车道或近车道的前方车辆的车门对齐模型。
8.根据权利要求4所述的基于深度学习YOLOv3算法的前车车门打开检测方法，其特征在于，所述将训练得到的检测模型进行同车道或近车道的前方车辆的车门打开的测试集和验证集的测试和验证，具体为：
使用mAP对同车道或近车道的前车车辆的车门打开的坐标信息的准确率进行衡量，以验证所述车门打开模型的检测准确率；
使用欧拉损失对同车道或近车道的前车车辆的车门打开关键点的坐标信息进行准确率进行衡量，以验证所述车门对齐模型的对齐准确率。
9.一种基于深度学习YOLOv3算法的前车车门打开检测装置，其特征在于，包括：
输入模块，用于将摄像设备实时采集的前方路况的视频流输入预先构建的检测模型；
图像识别模块，用于对所述视频流进行图像识别，捕捉前方车辆的图像信息；
判断模块，用于根据所述图像信息，判断所述前方车辆的车门是否关闭，若否，则触发预警。
10.一种基于深度学习YOLOv3算法的前车车门打开检测装置，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的基于深度学习YOLOv3算法的前车车门打开检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810893770.1A CN109190488B (zh) | 2018-08-03 | 2018-08-03 | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810893770.1A CN109190488B (zh) | 2018-08-03 | 2018-08-03 | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109190488A true CN109190488A (zh) | 2019-01-11 |
| CN109190488B CN109190488B (zh) | 2022-02-18 |
Family
ID=64920432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810893770.1A Active CN109190488B (zh) | 2018-08-03 | 2018-08-03 | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109190488B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109828578A (zh) * | 2019-02-22 | 2019-05-31 | 南京天创电子技术有限公司 | 一种基于YOLOv3的仪表巡检机器人最优路线规划方法 |
| CN110059556A (zh) * | 2019-03-14 | 2019-07-26 | 天津大学 | 一种基于深度学习的变电站开关分合状态检测方法 |
| CN110287816A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 车门动作检测方法、装置和计算机可读存储介质 |
| CN111046778A (zh) * | 2019-12-06 | 2020-04-21 | 北京路通天元科技有限公司 | 一种c80车门状态智能识别及安全风险自动报警方法 |
| CN111160213A (zh) * | 2019-12-25 | 2020-05-15 | 广州方纬智慧大脑研究开发有限公司 | 基于深度学习的非法上下客检测方法、系统及存储介质 |
| CN111688681A (zh) * | 2019-03-12 | 2020-09-22 | 罗伯特·博世有限公司 | 用于执行对在车辆旁的人员的反应的方法 |
| CN113888901A (zh) * | 2021-09-29 | 2022-01-04 | 英华达（南京）科技有限公司 | 智能安全行车提醒装置、方法及头盔 |
| CN114964291A (zh) * | 2022-05-23 | 2022-08-30 | 广州小鹏汽车科技有限公司 | 显示方法、车辆和计算机可读存储介质 |
| US20220335722A1 (en) * | 2019-12-24 | 2022-10-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Methods and systems for vehicle verification |
| CN118155143A (zh) * | 2024-05-11 | 2024-06-07 | 浙江深象智能科技有限公司 | 车辆监控方法、装置、系统及设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204915455U (zh) * | 2015-09-09 | 2015-12-30 | 深圳市江圳科技有限公司 | 一种停车开门异物提醒装置 |
| CN107316010A (zh) * | 2017-06-13 | 2017-11-03 | 武汉理工大学 | 一种识别前方车辆尾灯及判断其状态的方法 |
| CN107358223A (zh) * | 2017-08-16 | 2017-11-17 | 上海荷福人工智能科技（集团）有限公司 | 一种基于yolo的人脸检测与人脸对齐方法 |
| JP2018101904A (ja) * | 2016-12-20 | 2018-06-28 | 三菱自動車工業株式会社 | 車両用映像システム |
-
2018
- 2018-08-03 CN CN201810893770.1A patent/CN109190488B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204915455U (zh) * | 2015-09-09 | 2015-12-30 | 深圳市江圳科技有限公司 | 一种停车开门异物提醒装置 |
| JP2018101904A (ja) * | 2016-12-20 | 2018-06-28 | 三菱自動車工業株式会社 | 車両用映像システム |
| CN107316010A (zh) * | 2017-06-13 | 2017-11-03 | 武汉理工大学 | 一种识别前方车辆尾灯及判断其状态的方法 |
| CN107358223A (zh) * | 2017-08-16 | 2017-11-17 | 上海荷福人工智能科技（集团）有限公司 | 一种基于yolo的人脸检测与人脸对齐方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109828578A (zh) * | 2019-02-22 | 2019-05-31 | 南京天创电子技术有限公司 | 一种基于YOLOv3的仪表巡检机器人最优路线规划方法 |
| CN109828578B (zh) * | 2019-02-22 | 2020-06-16 | 南京天创电子技术有限公司 | 一种基于YOLOv3的仪表巡检机器人最优路线规划方法 |
| CN111688681A (zh) * | 2019-03-12 | 2020-09-22 | 罗伯特·博世有限公司 | 用于执行对在车辆旁的人员的反应的方法 |
| CN111688681B (zh) * | 2019-03-12 | 2024-06-11 | 罗伯特·博世有限公司 | 用于执行对在车辆旁的人员的反应的方法 |
| CN110059556A (zh) * | 2019-03-14 | 2019-07-26 | 天津大学 | 一种基于深度学习的变电站开关分合状态检测方法 |
| CN110287816A (zh) * | 2019-06-05 | 2019-09-27 | 北京字节跳动网络技术有限公司 | 车门动作检测方法、装置和计算机可读存储介质 |
| CN111046778A (zh) * | 2019-12-06 | 2020-04-21 | 北京路通天元科技有限公司 | 一种c80车门状态智能识别及安全风险自动报警方法 |
| US20220335722A1 (en) * | 2019-12-24 | 2022-10-20 | Beijing Didi Infinity Technology And Development Co., Ltd. | Methods and systems for vehicle verification |
| CN111160213A (zh) * | 2019-12-25 | 2020-05-15 | 广州方纬智慧大脑研究开发有限公司 | 基于深度学习的非法上下客检测方法、系统及存储介质 |
| CN111160213B (zh) * | 2019-12-25 | 2024-06-25 | 广州方纬智慧大脑研究开发有限公司 | 基于深度学习的非法上下客检测方法、系统及存储介质 |
| CN113888901A (zh) * | 2021-09-29 | 2022-01-04 | 英华达（南京）科技有限公司 | 智能安全行车提醒装置、方法及头盔 |
| CN114964291A (zh) * | 2022-05-23 | 2022-08-30 | 广州小鹏汽车科技有限公司 | 显示方法、车辆和计算机可读存储介质 |
| CN118155143A (zh) * | 2024-05-11 | 2024-06-07 | 浙江深象智能科技有限公司 | 车辆监控方法、装置、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109190488B (zh) | 2022-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109190488B (zh) | 基于深度学习YOLOv3算法的前车车门打开检测方法及装置 | |
| CN111062413B (zh) | 一种道路目标检测方法、装置、电子设备及存储介质 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
| CN108805016B (zh) | 一种头肩区域检测方法及装置 | |
| Jain et al. | Performance analysis of object detection and tracking algorithms for traffic surveillance applications using neural networks | |
| JP6700373B2 (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
| CN111753639B (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| CN113052159A (zh) | 一种图像识别方法、装置、设备及计算机存储介质 | |
| CN111898491A (zh) | 一种车辆逆向行驶的识别方法、装置及电子设备 | |
| Ketcham et al. | Recognizing the Illegal Parking Patterns of Cars on the Road in Front of the Bus Stop Using the Support Vector Machine | |
| CN110147731A (zh) | 车辆类型识别方法及相关产品 | |
| CN108320513A (zh) | 一种绿灯闪烁信号时行人过街行为分析方法 | |
| CN117152513A (zh) | 一种面向夜间场景的车辆边界定位方法 | |
| CN110674887A (zh) | 一种基于视频分类的端到端道路拥堵检测算法 | |
| Zhang et al. | The AD4CHE dataset and its application in typical congestion scenarios of traffic jam pilot systems | |
| Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
| JP6681965B2 (ja) | 自律走行のための学習対象イメージ抽出装置及び方法 | |
| CN116665188B (zh) | 一种大客车图像系统数据分析方法 | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN108873097B (zh) | 无人停车库中载车板停车时的安全检测方法及装置 | |
| CN116206186A (zh) | 一种sar图像目标检测、识别方法及相关装置 | |
| CN116050963A (zh) | 基于交通路况的配送路径选择方法、系统、装置及介质 | |
| CN113470009B (zh) | 违规撑伞检测和识别方法、装置、电子设备及存储介质 | |
| CN112133100B (zh) | 一种基于r-cnn的车辆检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |