CN112070039A - 一种基于哈希编码的车辆碰撞检测方法及系统 - Google Patents

一种基于哈希编码的车辆碰撞检测方法及系统 Download PDF

Info

Publication number
CN112070039A
CN112070039A CN202010955515.2A CN202010955515A CN112070039A CN 112070039 A CN112070039 A CN 112070039A CN 202010955515 A CN202010955515 A CN 202010955515A CN 112070039 A CN112070039 A CN 112070039A
Authority
CN
China
Prior art keywords
image
vehicle
collision sensor
area
hash
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010955515.2A
Other languages
English (en)
Other versions
CN112070039B (zh
Inventor
李景
林辉
杨乐超
潘钟声
温煦
江勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamei Zhilian Data Technology Co ltd
Original Assignee
Guangzhou Yameizhi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Yameizhi Technology Co ltd filed Critical Guangzhou Yameizhi Technology Co ltd
Priority to CN202010955515.2A priority Critical patent/CN112070039B/zh
Publication of CN112070039A publication Critical patent/CN112070039A/zh
Application granted granted Critical
Publication of CN112070039B publication Critical patent/CN112070039B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于哈希编码的车辆碰撞检测方法，包括以下步骤：获取碰撞传感器触发前后的视频片段；对视频片段进行图像分析处理，获取每帧图像中车头的位置信息；获取车辆与路面的分界线；对车辆行驶的车道区域进行检测，得到碰撞传感器触发时图像中车道线内边缘点的个数N；将边缘点的个数N与预设的阈值T1对比：若个数N小于阈值T1，则判定车辆未发生碰撞；否则将每帧车头区域图像进行哈希编码处理，得到传感器触发前后的哈希编码图；判断车头区域是否发生畸变，若是，则判定车辆发生碰撞，否则将边缘点的个数N与预设的阈值T2对比：若个数N小于阈值T2，则判定车辆未发生碰撞；否则判定车辆发生碰撞。

Description

一种基于哈希编码的车辆碰撞检测方法及系统
技术领域
本发明涉及智能驾驶技术领域，更具体地，涉及一种基于哈希编码的车辆碰撞检测方法及系统。
背景技术
随着汽车时代的到来，人们的生活变得更加舒适便捷，汽车已经成为了人们的生活必需品。但是由于汽车数量的增加、道路情况的日益复杂以及雾霾等环境问题的日益严重，交通事故的发生日益频繁，严重威胁了人民的生命财产安全，汽车安全已经成为亟待解决的重大问题。
而随着视频和图像处理技术的飞速发展，通过建立基于视频的监控平台和基于该平台上的交通事故自动检测技术的研究与推广，可扩展交通事故的检测范围，将损失减小到最低。当前普遍采用车道线检测技术进行车辆的碰撞检测，常见的如采用直线模型结合霍夫变换(Hough Transform)方法以及应用其改进方法，但是基于边缘检测的方法难以应对复杂的城市道路，易受到其他边缘噪声的影响。公开号为CN107972662A(公开日：2018-05-01)提出的一种基于深度学习的车辆前向碰撞预警方法结合多尺度深度卷积神经网络对采集的车辆前方图像信息进行识别以及碰撞判定，但通过预测车辆的速度及可能出现的位置进行等方案进行碰撞判定时，由于车辆拍摄的画面可能存在畸变，导致图像中的二维信息与真实世界的三维信息存在较大的差异，从而影响最终的识别检测或预测的准确率，且实现从图像的二维信息到真实世界的三维信息数据的转换，其特征的提取分类等算法复杂度较高，因此存在检测识别的运算速度较低的问题。
发明内容
本发明为克服上述现有技术所述的车辆碰撞检测准确率不理想、检测识别算法复杂度高的缺陷，提供一种基于哈希编码的车辆碰撞检测方法，以及一种基于哈希编码的车辆碰撞检测系统。
为解决上述技术问题，本发明的技术方案如下：
一种基于哈希编码的车辆碰撞检测方法，包括以下步骤：
S1：通过碰撞传感器接收车辆的运行信息，当碰撞传感器触发时，获取碰撞传感器触发前t1时刻至碰撞传感器触发后t2时刻之间的视频片段；
S2：对视频片段进行图像分析处理，获取视频片段中每帧图像中车头的位置信息；
S3：根据每帧图像中车头的位置信息，得到车辆与路面的分界线；
S4：根据车辆与路面的分界线截取碰撞传感器触发时图像中的车道区域图像，对车道区域图像进行图像边缘检测，得到碰撞传感器触发时图像中车道区域内的边缘点个数N；
S5：将碰撞传感器触发时图像中车道区域内的边缘点个数N与预设的阈值T1对比：若个数N小于阈值T1，则输出判定结果为车辆未发生碰撞；若个数N大于或等于阈值T1，则执行S6步骤；
S6：将视频片段的每帧车头区域图像进行哈希编码处理，得到碰撞传感器触发前后的哈希编码图，并根据碰撞传感器触发前后的哈希编码图判断车头区域是否发生畸变，若是，则输出判定结果为车辆发生碰撞，否则执行S7步骤；
S7：将碰撞传感器触发时图像中车道区域内的边缘点个数N与预设的阈值T2(T2＞T1)对比：若个数N小于阈值T2，则输出判定结果为车辆未发生碰撞；否则输出判定结果为车辆发生碰撞。
本技术方案中，先通过碰撞传感器初步判断车辆是否可能发生碰撞，再通过图像处理进一步确认车辆是否真实发生碰撞，具体地，当碰撞传感器触发时，先对车辆运行视频图像中车道区域内进行图像边缘检测，判断路面区域是否存在车辆，再采用哈希编码对车头区域畸变检测，对比碰撞传感器触发前后车头区域是否发生畸变，判断车辆是否发生严重碰撞，当车头未因碰撞发生变形时，即判断车头区域没有发生畸变时，则进一步判断车道区域的地面纹理，分析车辆是否发生碰撞。
作为优选方案，S2步骤中，其具体步骤如下：
S21：对视频片段中各帧图像建立图像坐标系；
S22：采用目标检测网络对视频片段每帧图像中的车头区域进行检测，对每帧图像中的车头区域设立外接矩形框，保留外接矩形框的顶角像素点的像素坐标作为每帧图像中车头的位置信息。
作为优选方案，S2步骤中，采用mobilenet-ssd(MobileNet-Single ShotMultiBox Detector，适用于移动端的轻量级目标检测网络模型)检测网络获取视频片段中每帧图像中车头的位置信息。
作为优选方案，mobilenet-ssd检测网络中，其输入图像尺寸为原始图像尺寸的3/5，其置信度数量为1类。
作为优选方案，S3步骤中，其具体步骤如下：
S31：将外接矩形框的左上角、右上角的像素点连接的线段作为分界线，并保存分界线的纵坐标，其中分界线的纵坐标为外接矩形框的左上角、右上角像素点的纵坐标；
S32：对所有分界线的纵坐标进行聚类，统计每类分界线的元素数量，取元素最多的一类作为车辆与路面的分界线。
作为优选方案，S4步骤中，其具体步骤如下：
S41：根据每帧图像中的车头区域外接矩形框的顶点坐标，在每帧图像中的外接矩形框上方截取ROI区域(Region of Interest，感兴趣区域)；
S42：将ROI区域图像由RGB颜色空间转换为HLS空间，通过色调H定义设定黄色和白色的阈值，然后对完成颜色空间转换的ROI区域图像进行二值化；
S43：采用霍夫变换检测ROI区域图像中的直线，结合二值化处理后的ROI区域中颜色和直线检测结果各自生成的掩模进行与操作，得到车道线掩模图像；
S44：对传感器触发前t1时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发前的车道图像；对碰撞传感器触发后t2时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发后的车道图像；
S45：将碰撞传感器触发前的车道图像和传感器触发后的车道图像分别与车道线掩模图像进行与操作，得到碰撞传感器触发时图像中车道区域内的边缘点个数N。
作为优选方案，ROI区域中，以每帧图像中的车头区域外接矩形框的顶部线段作为ROI区域的下侧边，ROI区域的宽度为图像宽度的3/4，ROI区域的高度为图像高度的1/6，且ROI区域的纵向中线与图像的纵向中线重合设置。
作为优选方案，S6步骤中，将视频片段的每帧车头区域图像进行哈希编码处理的具体步骤如下：
S61：将车头区域图像进行缩放；
S62：将缩放后的车头区域图像由RGB颜色空间转换为灰度空间；
S63：将车头区域图像的灰度值区间设置为[0,63]；
S64：计算车头区域图像的均值M；
S65：获取车头区域图像中每个像素的灰度值并与均值M对比：若像素灰度值大于或等于M，则将该像素编码为“1”，若像素灰度值小于M，则将该像素编码为“0”，得到哈希编码图。
作为优选方案，S6步骤中，根据碰撞传感器触发前后的哈希编码图判断车头区域是否发生畸变的具体步骤如下：对比碰撞传感器触发前后的哈希编码图，若碰撞传感器触发前后的哈希编码图相同位置的编码中存在编码不相同的个数大于预设的阈值T3，则判定车头发生畸变，输出判定结果为车辆发生碰撞；否则执行S7步骤。
本发明还提出了一种基于哈希编码的车辆碰撞检测系统，应用于上述任一技术方案提出的基于哈希编码的车辆碰撞检测方法，其具体包括碰撞传感器、视频采集模块、图像处理模块、微处理器，其中：
碰撞传感器用于接收车辆的运行信息，碰撞传感器的输出端与微处理器的第一输入端连接；
视频采集模块用于采集车辆运行的视频片段，视频采集模块的输出端与微处理器的第二输入端连接；
图像处理模块用于对采集的车辆运行的视频片段中每帧图像进行处理，得到碰撞传感器触发时图像中车道区域内的边缘点个数N、碰撞传感器触发前后的哈希编码图，然后发送至微处理器中；
图像处理模块的输入端与微处理器的输出端连接，图像处理模块的输出端与微处理器的第三输入端连接；
微处理器用于接收碰撞传感器反馈的触发信号、接收视频采集模块的视频片段，以及用于将碰撞传感器触发前后的视频片段发送至图像处理模块中进行图像处理，并接收图像处理模块的处理结果，然后根据图像处理模块的处理结果进行车辆碰撞判断后输出判定结果。
与现有技术相比，本发明技术方案的有益效果是：本发明通过采用碰撞传感器进行初步的车辆碰撞检测，再通过对车道线进行边缘检测、采用哈希编码检测图像车头区域是否发生畸变，进而判断车辆是否发生碰撞，能够有效提高车辆碰撞检测准确率；采用哈希编码对车头区域图像进行畸变判断，其算法复杂度低，能够快速有效地检测车头区域是否发生形变，且有效避免因车辆拍摄的画面存在的畸变对图像识别检测和预测的准确率造成影响。
附图说明
图1为实施例1的基于哈希编码的车辆碰撞检测方法的流程图；
图2为实施例1的碰撞传感器触发前的图像帧；
图3为实施例1的碰撞传感器触发后的图像帧；
图4为实施例1的标注有ROI区域的碰撞传感器触发前的图像帧；
图5为实施例1的ROI区域边缘检测二值图；
图6为实施例1的车道线区域的二值掩模图；
图7为实施例1的碰撞传感器触发前的边缘检测效果图；
图8为实施例1的碰撞传感器触发后的边缘检测效果图；
图9为实施例1的碰撞传感器触发前车道区域内边缘点示意图；
图10为实施例1的碰撞传感器触发后车道区域内边缘点示意图；
图11为实施例2的基于哈希编码的车辆碰撞检测系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于哈希编码的车辆碰撞检测方法，如图1所示，为本实施例的基于哈希编码的车辆碰撞检测方法的流程图。
本实施例提出的基于哈希编码的车辆碰撞检测方法中，包括以下步骤：
S1：通过碰撞传感器接收车辆的运行信息，当碰撞传感器触发时，获取碰撞传感器触发前t1时刻至碰撞传感器触发后t2时刻之间的视频片段。
本实施例中，采用行车记录仪获取车辆碰撞传感器触发前后的视频信息，通过分析图像信息，判定车辆是否发生了真实碰撞。
S2：对视频片段进行图像分析处理，获取视频片段中每帧图像中车头的位置信息。其具体步骤如下：
S21：以视频片段中各帧图像的左上角作为原点，以像素为单位，对视频片段中各帧图像建立图像坐标系，像素坐标中的横坐标和纵坐标分别是在其图像数组中所在的列数和行数；
S22：采用mobilenet-ssd检测网络对视频片段中每帧图像中车头区域进行检测，对每帧图像中的车头区域设立外接矩形框，保留外接矩形框的顶角像素点的像素坐标作为每帧图像中车头的位置信息。
本实施例中，采用mobilenet-ssd检测网络获取视频片段中每帧图像中车头的位置信息，其中mobilenet-ssd检测网络为改进后的轻量级目标检测网络。现有的mobilenet-ssd检测网络约22Mb，能够实现21种不同类型的目标检测，而本实施例需要检测的目标为车辆自身的车头区域，且车头区域在图像中的占比较大，因此需要对mobilenet-ssd检测网络的结构进行修改。
具体的，本实施例的mobilenet-ssd检测网络中，其输入图像尺寸为原始图像尺寸的3/5，其置信度数量为1类。此外，由于车头区域在图像中的区域较大，因此mobilenet-ssd检测网络还可以删除用于预测且感知域较小的网络层。经过修改后的网络模型约1.2Mb，缩小为原始网络模型的1/20，且只用于检测图像中车辆的车头位置。
S3：根据每帧图像中车头的位置信息，得到车辆与路面的分界线。其具体步骤如下：
S31：将外接矩形框的左上角、右上角的像素点连接的线段作为分界线，并保存分界线的纵坐标，其中分界线的纵坐标为外接矩形框的左上角、右上角像素点的纵坐标；
S32：对所有分界线的纵坐标进行聚类，统计每类分界线的元素数量，取元素最多的一类作为车辆与路面的分界线。
其中，本实施例将车头区域外接矩形框的左上角像素点以及右上角像素点连接的线段，作为图像中车头区域与路面区域的分界线，应用于后续车道区域的检测。
考虑到碰撞传感器触发前，车辆可能处于高速运动状态，不同时刻车辆所处的场景都在发生变换，因此每帧图像检测的车头位置可能不相同，为了避免检测网络的检测结构存在的误检、漏检或检测误差对判定结果造成影响，本实施例对从每帧图像中得到的分界线的纵坐标进行聚类及统计，由于分界线为水平直线，分界线上各个像素点的纵坐标相等，因此S31步骤中保存的分界线纵坐标为一个元素，对所有分界线的纵坐标进行聚类及统计，取元素最多的一类对应的纵坐标在图像以直线形式进行显示，可作为车辆与路面的分界线，并适用于不同时刻的视频图像中，具有良好的容错性。
S4：根据所述车辆与路面的分界线截取碰撞传感器触发时图像中的车道区域图像，对所述车道区域图像进行图像边缘检测，得到碰撞传感器触发时图像中车道区域内的边缘点个数N。其具体步骤如下：
S41：根据所述每帧图像中的车头区域外接矩形框的顶点坐标，在每帧图像中的外接矩形框上方截取ROI区域；
S42：将所述ROI区域图像由RGB颜色空间转换为HLS空间，通过色调H定义设定黄色和白色的阈值，然后对完成颜色空间转换的ROI区域图像进行二值化；
S43：采用霍夫变换检测ROI区域图像中的直线，结合二值化处理后的ROI区域中颜色和直线检测结果各自生成的掩模进行与操作，得到车道线掩模图像；
S44：对碰撞传感器触发前t1时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发前的车道图像；对碰撞传感器触发后t2时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发后的车道图像；
S45：将碰撞传感器触发前的车道图像和传感器触发后的车道图像分别与车道线掩模图像进行与操作，得到碰撞传感器触发时图像中车道区域内的边缘点个数N。
其中，ROI区域是指在图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，用于对该区域图像进行下一步处理。本步骤中所截取的ROI区域为图像中车头区域上方的路面车道区域。在截取ROI区域步骤中，具体的，以每帧图像中的车头区域外接矩形框的顶部线段作为ROI区域的下侧边，ROI区域的宽度为图像宽度的3/4，ROI区域的高度为图像高度的1/6，且ROI区域的纵向中线与图像的纵向中线重合设置。
本步骤中采用霍夫变换进行直线检测，判断图像中的车道线位置，结合二值化处理后的ROI区域中颜色和直线检测结果各自生成的掩模进行与操作，得到车道线掩模图像，用于检测图像中当前本车行驶的车道区域。
本步骤中对截取的ROI区域进行图像边缘检测得到碰撞传感器触发前后的车道图像，标识图像中亮度变化明显的点，再将碰撞传感器触发前后的车道图像与车道线掩模图像进行二值图像的与操作，得到本车行驶的车道区域内所有物体保留边缘像素点的图像，通过遍历图像能够统计得到碰撞传感器触发时图像中车道区域内的边缘像素点的个数，即为边缘点个数N。
S5：将碰撞传感器触发时图像中车道区域内的边缘点个数N与预设的阈值T1对比：若个数N小于阈值T1，则证明碰撞传感器触发时，车辆前方区域并没有明显的边缘信息，判定本车前方不存在车辆，不进行后续的碰撞判定，输出判定结果为车辆未发生碰撞；若个数N大于或等于阈值T1，则执行S6步骤。
S6：将视频片段的每帧车头区域图像进行哈希编码处理，得到碰撞传感器触发前后的哈希编码图，并根据碰撞传感器触发前后的哈希编码图判断车头区域是否发生畸变，若是，则输出判定结果为车辆发生碰撞，否则执行S7步骤。
本实施例中，其具体步骤如下：
S61：将车头区域图像进行缩放为8×8像素大小，能够减少图像细节的干扰；
S62：将缩放后的车头区域图像由RGB颜色空间转换为灰度空间；
S63：将车头区域图像的灰度值区间设置为[0,63]，即将所有像素值缩小为原来的1/4，能够增强算法的鲁棒性，减少环境对图像造成的干扰；
S64：计算车头区域图像的均值M；
S65：获取车头区域图像中每个像素的灰度值并与均值M对比：若像素灰度值大于或等于M，则将该像素编码为“1”，若像素灰度值小于M，则将该像素编码为“0”，得到哈希编码图；
S66：对比碰撞传感器触发前后的哈希编码图，若碰撞传感器触发前后的哈希编码图中64个编码位置存在编码不相同的个数大于预设的阈值T3(本实施例中阈值T3设置为10)，则判定车头发生畸变，输出判定结果为车辆发生碰撞；否则执行S7步骤。
S7：将碰撞传感器触发时图像中车道区域内的边缘点个数N与预设的阈值T2(T2＞T1)对比：若个数N小于阈值T2，则输出判定结果为车辆未发生碰撞；否则输出判定结果为车辆发生碰撞。
在一具体实施过程中，先获取碰撞传感器触发前后的视频片段，如图2、3所示，分别为碰撞传感器触发前、后的图像。其中，图2中的矩形框为车辆自身的车头区域，矩形框上方的直线表示车辆行驶的车道区域。
对碰撞传感器触发前的图像采用mobilenet-ssd检测网络对图像进行车头检测处理后，得到如图2所示的车头区域外接矩形框，并记录车头区域外接矩形框顶点的坐标。其中，车头区域外接矩形框中的顶部线段即为车辆和路面的分界线，即该分界线以上的区域为行车记录仪拍摄的路面信息，而该分界线以下的区域为行车记录仪拍摄的车头区域。
在检测到车头位置的基础上，需要对车辆行驶的车道区域进行检测，并基于车道区域和车头区域进行碰撞检测。如图4所示，为碰撞传感器触发前图像帧，其中，图像中部矩形框标注区域为ROI区域，图像下方矩形框标注区域为车头区域。对截取后的ROI区域进行颜色空间转换及二值化处理后，如图5所示，为ROI区域边缘检测二值图。将截取后的ROI区域进行颜色和直线检测判定车道线的位置，检测到的车道线区域生成的二值掩模图如图6所示，其中白色区域表示车辆行驶的车道区域。分别对碰撞传感器触发前后的图像帧进行边缘检测，并在检测的基础上进行形态学开运算滤波，滤除图像帧中的噪声后，得到如图7、8所示的边缘检测效果图，其中图7为碰撞传感器触发前的车道线边缘检测效果图，图8为碰撞传感器触发时的车道线边缘检测效果图。将生成的碰撞传感器触发前后的边缘检测效果图(图7与图8)分别与车道二值掩模图(图6)进行二值图像的与操作，得到碰撞传感器触发时图像中车道区域内的边缘点个数N。其中，图7、图8中白色像素点即为车道区域内边缘点，具体的，如图9-10所示，灰色线框内白色像素点表示车道区域内边缘点。
由图7-10可知，当车道区域内无车辆，则图像中车道区域内不存在强烈的边缘信息，此时边缘点个数N较少；当车道区域内存在车辆时，则图像中车道区域内存在强烈的边缘信息，此时边缘点个数N较多。因此将边缘点个数N与预设的阈值比较能够判断当前车道区域内有无车辆，从而判断车辆是否可能发生碰撞。
根据碰撞传感器触发时图像中车道区域内的边缘点个数N与预设的阈值T1、T2并结合哈希编码判定车辆是否发生碰撞：若N小于阈值T1，则证明碰撞传感器触发时，车辆前方区域并没有明显的边缘信息，判定本车前方不存在车辆，不进行后续的碰撞判定，输出判定结果为车辆未发生碰撞；若个N大于或等于阈值T1，则通过对图像进行哈希编码进行碰撞检测。本实施例中，碰撞传感器触发前的哈希编码图如下矩阵所示：
1，1，1，1，1，1，1，1
1，1，1，1，1，1，1，1
1，1，1，1，1，1，1，1
1，1，1，1，1，1，0，0
0，0，0，0，0，0，0，0
0，0，0，0，0，0，0，0
0，0，0，0，0，0，0，0
0，0，0，0，0，0，0，0
而碰撞传感器触发后的哈希编码图如下方矩阵所示：
1，0，0，1，1，1，1，1
1，1，0，1，1，1，1，1
1，1，0，1，1，1，1，1
1，1，0，0，1，1，1，1
1，1，0，0，0，1，1，1
1，1，0，0，0，1，1，1
1，1，0，0，0，1，1，1
1，1，0，0，0，1，1，1
由上述碰撞传感器触发前后的哈希编码图可知，其中存在28个不同的像素点，大于其预设的阈值T3＝10，因此判定为车辆发生碰撞。
而当碰撞传感器触发前后的哈希编码图中各编码位置存在编码不相同的个数小于或等于预设的阈值T3时，即表示当前对车头区域发生形变的程度不足以证明车辆是否发生碰撞，则再次对N进行判定，若个数N小于阈值T2，则输出判定结果为车辆未发生碰撞；若个数N大于或等于阈值T2，则输出判定结果为车辆发生碰撞。
本实施例中，先通过碰撞传感器进行初步的车辆碰撞检测，当碰撞传感器触发时，再进一步结合图像处理技术进行多重检测确认车辆是否真实发生碰撞，从而避免因车辆急加速或急减速、路面颠簸等情况对车辆碰撞检测造成的误测。其中，本实施例对mobilenet-ssd检测网络进行裁剪改进，改进后的算法模型只有1.2Mb，算法复杂度较低，能够实现实时检测识别图像中的车头位置，为后续图像分析降低难度。
特别地，考虑到当车辆发生碰撞且车头未因碰撞发生变形时，仅通过对视频片段各图像帧中的车头区域是否发生畸变，是无法准确判断车辆是否发生真实碰撞的，本实施例提出的基于哈希编码的车辆碰撞检测方法配合通过对视频片段各图像帧中车辆行驶的车道区域内进行图像边缘检测判断车前是否存在车辆，实现车辆碰撞判断；当仍无法确定(即N≥T1)时，再进一步采用哈希编码对车头区域是否发生形变实现车辆碰撞判断(将N与阈值T3对比)；当仍无法确定(即N≤T3)时，再进一步对视频片段各图像帧中车辆行驶的车道区域内进行图像边缘检测得到的边缘点个数进行判断。由此可见，本发明通过结合碰撞传感器、视频片段各图像帧中车辆行驶的车道区域内的边缘图像检测以及采用哈希编码对车头区域的形变进行检测，实现车辆碰撞检测，能够有效提高车辆碰撞检测准确率。
此外，本实施例采用哈希编码对车头区域图像进行畸变判断，其算法复杂度低，能够快速有效地检测车头区域是否发生形变，且有效避免因车辆拍摄的画面存在的畸变对图像识别检测和预测的准确率造成影响。
实施例2
本实施例提出一种基于哈希编码的车辆碰撞检测系统，应用于实施例1提出的一种基于哈希编码的车辆碰撞检测方法。如图11所示，为本实施例的基于哈希编码的车辆碰撞检测系统的结构示意图。
本实施例提出的基于哈希编码的车辆碰撞检测系统中，包括碰撞传感器1、视频采集模块2、图像处理模块3、微处理器4，其中，碰撞传感器1的输出端与微处理器4的第一输入端连接，视频采集模块2的输出端与微处理器4的第二输入端连接，图像处理模块3的输入端与微处理器4的输出端连接，图像处理模块3的输出端与微处理器4的第三输入端连接。
本实施例中，碰撞传感器1用于接收车辆的运行信息，当车辆存在急加速、急减速、车辆颠簸震动时，碰撞传感器1触发并向微处理器4发送触发信号；视频采集模块2采用行车记录仪或车载摄像头，用于实时采集车辆运行的视频片段并发送至微处理器4中；当微处理器4接收到触发信号时，微处理器4将接收到触发信号前t1时刻至接收到触发信号后t2时刻之间的视频片段发送至图像处理模块3中进行图像分析处理；图像处理模块3用于对采集的车辆运行的视频片段中每帧图像进行处理，得到碰撞传感器1触发时图像中车道区域内边缘点的个数N、碰撞传感器1触发前后的哈希编码图，然后发送至微处理器4中进行判断；微处理器4中预设有边缘点阈值T1、T2、T3，分别用于结合碰撞传感器1触发时图像中车道区域内的边缘点个数N、碰撞传感器1触发前后的哈希编码图进行车辆碰撞判定，并输出判定结果。
在一优选的实施方式中，该系统还包括报警模块5，报警模块5的输入端与微处理器4的输出端连接；当微处理器4输出判定结果为车辆发生碰撞时，微处理器4向报警模块5发送工作信号，报警模块5工作，实现自动报警功能。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于哈希编码的车辆碰撞检测方法，其特征在于，包括以下步骤：
S1：通过碰撞传感器接收车辆的运行信息，当碰撞传感器触发时，获取碰撞传感器触发前t1时刻至碰撞传感器触发后t2时刻之间的视频片段；
S2：对所述视频片段进行图像分析处理，获取视频片段中每帧图像中车头的位置信息；
S3：根据每帧图像中车头的位置信息，得到车辆与路面的分界线；
S4：根据所述车辆与路面的分界线截取碰撞传感器触发时图像中的车道区域图像，对所述车道区域图像进行图像边缘检测，得到碰撞传感器触发时图像中车道区域内的边缘点个数N；
S5：将所述边缘点个数N与预设的阈值T1对比：若个数N小于阈值T1，则输出判定结果为车辆未发生碰撞；若个数N大于或等于阈值T1，则执行S6步骤；
S6：将所述视频片段的每帧车头区域图像进行哈希编码处理，得到碰撞传感器触发前后的哈希编码图，并根据所述碰撞传感器触发前后的哈希编码图判断车头区域是否发生畸变，若是，则输出判定结果为车辆发生碰撞，否则执行S7步骤；
S7：将所述边缘点个数N与预设的阈值T2(T2＞T1)对比：若个数N小于阈值T2，则输出判定结果为车辆未发生碰撞；否则输出判定结果为车辆发生碰撞。
2.根据权利要求1所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S2步骤中，其具体步骤如下：
S21：对所述视频片段中各帧图像建立图像坐标系；
S22：采用目标检测网络对视频片段每帧图像中的车头区域进行检测，对每帧图像中的车头区域设立外接矩形框，保留所述外接矩形框的顶角像素点的像素坐标作为每帧图像中车头的位置信息。
3.根据权利要求2所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S22步骤中，所述目标检测网络采用mobilenet-ssd检测网络对视频片段中每帧图像中车头区域进行检测。
4.根据权利要求3所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述mobilenet-ssd检测网络中，其输入图像尺寸为原始图像尺寸的3/5，其置信度数量为1类。
5.根据权利要求2所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S3步骤中，其具体步骤如下：
S31：将所述外接矩形框的左上角、右上角的像素点连接的线段作为分界线，并保存所述分界线的纵坐标，其中所述分界线的纵坐标为所述外接矩形框的左上角、右上角像素点的纵坐标；
S32：对所有分界线的纵坐标进行聚类，统计每类分界线的元素数量，取元素最多的一类作为车辆与路面的分界线。
6.根据权利要求5所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S4步骤中，其具体步骤如下：
S41：根据所述每帧图像中的车头区域外接矩形框的顶点坐标，在每帧图像中的外接矩形框上方截取ROI区域；
S42：将所述ROI区域图像由RGB颜色空间转换为HLS空间，通过色调H定义设定黄色和白色的阈值，然后对完成颜色空间转换的ROI区域图像进行二值化；
S43：采用霍夫变换检测ROI区域图像中的直线，结合二值化处理后的ROI区域中颜色和直线检测结果各自生成的掩模进行与操作，得到车道线掩模图像；
S44：对碰撞传感器触发前t1时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发前的车道图像；对碰撞传感器触发后t2时段的视频片段图像中的ROI区域进行边缘检测，然后对其进行形态学开运算滤波，生成碰撞传感器触发后的车道图像；
S45：将所述碰撞传感器触发前的车道图像和碰撞传感器触发后的车道图像分别与所述车道线掩模图像进行与操作，得到碰撞传感器触发时图像中车道区域内的边缘点个数N。
7.根据权利要求6所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述ROI区域中，以每帧图像中的车头区域外接矩形框的顶部线段作为ROI区域的下侧边，ROI区域的宽度为图像宽度的3/4，ROI区域的高度为图像高度的1/6，且ROI区域的纵向中线与图像的纵向中线重合设置。
8.根据权利要求1所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S6步骤中，将所述视频片段的每帧车头区域图像进行哈希编码处理的具体步骤如下：
S61：将车头区域图像进行缩放；
S62：将缩放后的车头区域图像由RGB颜色空间转换为灰度空间；
S63：将车头区域图像的灰度值区间设置为[0,63]；
S64：计算车头区域图像的均值M；
S65：获取车头区域图像中每个像素的灰度值并与均值M对比：若像素灰度值大于或等于M，则将该像素编码为“1”，若像素灰度值小于M，则将该像素编码为“0”，得到哈希编码图。
9.根据权利要求8所述的基于哈希编码的车辆碰撞检测方法，其特征在于：所述S6步骤中，根据所述碰撞传感器触发前后的哈希编码图判断车头区域是否发生畸变的具体步骤如下：
对比碰撞传感器触发前后的哈希编码图，若碰撞传感器触发前后的哈希编码图相同位置的编码中存在编码不相同的个数大于预设的阈值T3，则判定车头发生畸变，输出判定结果为车辆发生碰撞；否则执行S7步骤。
10.一种用于实现权利要求1至9中任一所述方法的基于哈希编码的车辆碰撞检测系统，其特征在于，包括碰撞传感器、视频采集模块、图像处理模块、微处理器，其中：
所述碰撞传感器用于接收车辆的运行信息，所述碰撞传感器的输出端与所述微处理器的第一输入端连接；
所述视频采集模块用于采集车辆运行的视频片段，所述视频采集模块的输出端与所述微处理器的第二输入端连接；
所述图像处理模块用于对采集的车辆运行的视频片段中每帧图像进行处理，得到碰撞传感器触发时图像中车道区域内边缘点的个数N、碰撞传感器触发前后的哈希编码图，然后发送至所述微处理器中；所述图像处理模块的输入端与所述微处理器的输出端连接，所述图像处理模块的输出端与所述微处理器的第三输入端连接；
所述微处理器用于接收所述碰撞传感器反馈的触发信号、接收所述视频采集模块的视频片段，以及用于将碰撞传感器触发前后的视频片段发送至所述图像处理模块中进行图像处理，并接收所述图像处理模块的处理结果，然后根据所述图像处理模块的处理结果进行车辆碰撞判断后输出判定结果。
CN202010955515.2A 2020-09-11 2020-09-11 一种基于哈希编码的车辆碰撞检测方法及系统 Active CN112070039B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010955515.2A CN112070039B (zh) 2020-09-11 2020-09-11 一种基于哈希编码的车辆碰撞检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010955515.2A CN112070039B (zh) 2020-09-11 2020-09-11 一种基于哈希编码的车辆碰撞检测方法及系统

Publications (2)

Publication Number Publication Date
CN112070039A true CN112070039A (zh) 2020-12-11
CN112070039B CN112070039B (zh) 2023-08-15

Family

ID=73696575

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010955515.2A Active CN112070039B (zh) 2020-09-11 2020-09-11 一种基于哈希编码的车辆碰撞检测方法及系统

Country Status (1)

Country Link
CN (1) CN112070039B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220001866A1 (en) * 2020-07-01 2022-01-06 Toyota Jidosha Kabushiki Kaisha Information processing method, non-transitory computer readable medium, in-vehicle apparatus, vehicle, information processing apparatus, and information processing system
CN115797897A (zh) * 2023-02-03 2023-03-14 广州斯沃德科技有限公司 一种基于图像处理的车辆碰撞识别方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015043510A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN109344676A (zh) * 2018-11-22 2019-02-15 福州图腾易讯信息技术有限公司 一种基于哈希算法的自动感应触发方法及其系统
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015043510A1 (zh) * 2013-09-27 2015-04-02 比亚迪股份有限公司 车道线检测方法、系统、车道偏离预警方法及系统
CN109344676A (zh) * 2018-11-22 2019-02-15 福州图腾易讯信息技术有限公司 一种基于哈希算法的自动感应触发方法及其系统
CN109829403A (zh) * 2019-01-22 2019-05-31 淮阴工学院 一种基于深度学习的车辆防碰撞预警方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220001866A1 (en) * 2020-07-01 2022-01-06 Toyota Jidosha Kabushiki Kaisha Information processing method, non-transitory computer readable medium, in-vehicle apparatus, vehicle, information processing apparatus, and information processing system
US11676402B2 (en) * 2020-07-01 2023-06-13 Toyota Jidosha Kabushiki Kaisha Information processing method, non-transitory computer readable medium, in-vehicle apparatus, vehicle, information processing apparatus, and information processing system
CN115797897A (zh) * 2023-02-03 2023-03-14 广州斯沃德科技有限公司 一种基于图像处理的车辆碰撞识别方法和系统

Also Published As

Publication number Publication date
CN112070039B (zh) 2023-08-15

Similar Documents

Publication Publication Date Title
US10685449B2 (en) Surrounding environment recognition device for moving body
WO2019116958A1 (ja) 車載環境認識装置
CN104778444B (zh) 道路场景下车辆图像的表观特征分析方法
CN101303735B (zh) 探测车辆盲点区域内运动物体的方法及盲点探测装置
US6760061B1 (en) Traffic sensor
CN102792314B (zh) 交叉通行碰撞警报系统
CN106652465A (zh) 一种道路异常驾驶行为的识别方法及系统
CN107991671A (zh) 一种基于雷达数据和视频信号融合识别危险目标的方法
Takeuchi et al. On-road vehicle tracking using deformable object model and particle filter with integrated likelihoods
CN111891061B (zh) 车辆碰撞检测方法、装置和计算机设备
EP1817761A2 (en) Apparatus and method for automaticly detecting objects
CN111027461B (zh) 基于多维单步lstm网络的车辆轨迹预测方法
CN110298300A (zh) 一种检测车辆违章压线的方法
KR101103526B1 (ko) 스테레오 카메라를 이용한 충돌회피 방법
US11270133B2 (en) Object detection device, object detection method, and computer-readable recording medium
CN112070039B (zh) 一种基于哈希编码的车辆碰撞检测方法及系统
CN110659552B (zh) 有轨电车障碍物检测及报警方法
CN105512641A (zh) 一种采用激光雷达扫描法标定雨雪状态下视频中的动态行人及车辆的方法
JP3562278B2 (ja) 環境認識装置
Baris et al. Classification and tracking of traffic scene objects with hybrid camera systems
Pan et al. Vision-based Vehicle Forward Collision Warning System Using Optical Flow Algorithm.
CN105761501A (zh) 一种智能车辆行为检测抓拍方法
Krips et al. AdTM tracking for blind spot collision avoidance
Vijay et al. Design and integration of lane departure warning, adaptive headlight and wiper system for automobile safety
KR20080109173A (ko) 멀티패턴마스크를 이용한 이동차량인식방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230510

Address after: Room 101, No. 227 Gaotang Road, Tianhe District, Guangzhou City, Guangdong Province, 510000 (location: Room 601)

Applicant after: Yamei Zhilian Data Technology Co.,Ltd.

Address before: NO.201 zijinghe Road, Tianhan District, Guangdong Province (510000 only)

Applicant before: Guangzhou Yameizhi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant