CN107657237A - 基于深度学习的汽车碰撞检测方法及系统 - Google Patents

基于深度学习的汽车碰撞检测方法及系统 Download PDF

Info

Publication number
CN107657237A
CN107657237A CN201710904968.0A CN201710904968A CN107657237A CN 107657237 A CN107657237 A CN 107657237A CN 201710904968 A CN201710904968 A CN 201710904968A CN 107657237 A CN107657237 A CN 107657237A
Authority
CN
China
Prior art keywords
automobile
bounding box
recording device
classification
video recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710904968.0A
Other languages
English (en)
Other versions
CN107657237B (zh
Inventor
莫凌飞
蒋红亮
侯鑫鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201710904968.0A priority Critical patent/CN107657237B/zh
Publication of CN107657237A publication Critical patent/CN107657237A/zh
Application granted granted Critical
Publication of CN107657237B publication Critical patent/CN107657237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于深度学习的汽车碰撞检测方法及系统,主要由视频录制装置和部署在服务器端的图像检测系统构成。视频录制装置采集汽车周围图像后,由部署在服务器上的图像检测系统对图像中出现的汽车进行定位和类别分类,根据分类结果以及汽车边界框之间的最小距离,当所述汽车边界框之间的最小距离低于安全间距时发出警告或进行记录。由于本发明基于深度神经网络进行特征提取、定位和分类,图像检测的准确率和召回率都比传统的计算机视觉方法高很多,因此,本发明能够对驾驶员的驾驶行为,尤其对其驾驶车辆发生危险驾驶或碰撞的场景进行有效评估。本发明在车辆间距小于安全间距时记录相关图像,有较高的效率、准确度和实用性。

Description

基于深度学习的汽车碰撞检测方法及系统
技术领域
本发明涉及汽车安全技术领域,尤其涉及一种基于深度学习的汽车碰撞检测技术。
背景技术
随着社会的高速发展,汽车的普及度也越来越高。汽车的拥有率、拥有驾驶证的人数比例以及对汽车的需求也越来越高。当前,共享经济模式越来越热,也有越来越多的公司开展汽车租赁业务。另外,在保险行业,针对汽车相关保险也开始出现针对不同驾驶人员的驾驶状况定价的差异化的保险产品。不管是汽车租赁还是差异化的保险产品,产品提供方评价驾驶人员的一个重要的评判依据就是对驾驶员的驾驶行为和安全状况的数据进行分析。因此,目前急需设计一款可信度高,效率高,实用性高的安全驾驶检测系统。
然而,传统的针对驾驶员驾驶行为的分析,主要是利用车载加速度传感器进行加速度统计,或者根据车载雷达采集驾驶车辆与周围车辆或者障碍物的距离。这种评估方法得到的是数值数据,数据不直观,而且受环境因素影响较大,误判的比例比较高。不足以完全作为对驾驶员的驾驶行为的评定依据。
相对于基于传感器或车载雷达所获得的驾驶员行为信息,通常认为,车载摄像装置更能直观还原驾驶员的驾驶状态,由车载摄像装置还原出的驾驶数据更为真实可信。但是,由于图像本身信息量较大且难以直接通过简单算法计算获得与驾驶状态有关的特征信息,现有图像检测技术通常难以对车载摄像装置采集图像进行有效分析。
现有技术难以自动对驾驶员的驾驶行为进行分析与评定。因此,目前急需一种基于车载摄像装置的驾驶行为分析系统,尤其是针对汽车碰撞的检测系统。
发明内容
为了解决现有技术存在的不足,本发明的目的在于提供一种汽车碰撞检测方法及系统。
首先,为实现上述目的,提出一种汽车碰撞检测方法,包括以下步骤:
第一步,采集汽车四周视频图像;
第二步,每间隔时间周期T,获取所述汽车四周视频图像中的1帧图像;
第三步,采用VGG模型的卷积部分构成图像的特征提取基模型,使用在大数据集分类任务上充分训练好的VGG模型的参数来初始化所述特征提取基模型;
第四步,将第三步所述的体征提取基模型进行拓展,在后面继续加入8个卷积层,在最后一个卷积层后连接一个全局池化层,构成特征提取主干模型;该特征提取主干模型中共包含21个卷积层和一个全局池化层;
第五步,在所述特征提取主干模型的第10、15、17、19、21个卷积模型上和所述特征提取主干模型的最后一个全局池化层上分别同时接入一组目标定位层和一组分类层,构成图像检测模型(所述图像检测模型共包括6组目标定位层和6组分类层);其中,最后一个池化层后接入的定位和分类层为全连接网络;其他各组定位层和分类层均是卷积核为3×3的卷积层;所述6组定位层的特征图数目(最后一层为全连接神经元数目)分别为12、24、24、24、12和12,所述6组分类层的特征图数目(即全连接神经元数目)分别为6、12、12、12、6、6;第六步,将所述六个定位层的输出分别进行矩阵变形(ReShape),按照维度从内而外展开为6个一维张量,将所述6个一维张量顺次拼接为定位张量;同时,将所述六个分类层输出经过矩阵变形为6个一维张量,然后顺次拼接为分类张量;
第七步,调整所述定位张量为“[检测边界框数目,4维度]”形式的定位张量矩阵,其中,所述“检测边界框数目”为所述6个定位层的特征图的长宽乘积的大小之和,所述“4维度”为检测到的边界框的左上角以及右下角的2个坐标的四个数值(2个定点的x坐标与y坐标4个值)。调整所述分类张量为“[检测边界框数目,2维度]”形式的分类张量矩阵张量,其中的“2维度”为分类结果(即背景或汽车)的二分类数据;输出所述分类张量至激活函数获得分类结果的置信度,输出所述分类结果置信度大于阈值δ(δ一般取0.5以上)的所述汽车边界框的坐标;
第八步,保留置信度大于阈值的检测框,然后采用非极大值抑制算法,滤除掉实际对应一个物体的多个检测框,保留置信度大于阈值的检测框;
第九步,计算第八步输出的所述汽车边界框之间的最小距离,若所述最小距离低于安全间距,则报警或记录。
进一步,上述方法中,所述图像检测模型按照如下步骤完成训练:
T1,使用图像标注工具,人工标注采集到的所述图像内的汽车边界框和类别,形成标注信息,并把标注信息写入图像文件,重复上述步骤直至获得至少p帧图像的标注信息,并按照固定比例分割为训练集,验证集,和测试集;一般情况下p要大于1000张,分割所述数据集为训练集、验证集和测试集,其比例选用6∶2∶2的比例(该比例可以根据需要灵活调整);其中,所述标注信息包括图像的类别、汽车边界框的左上角坐标、汽车边界框的右下角坐标;
T2,获取图像样本以及所述图像样本的标注信息;所述标注信息包括汽车边界框的坐标和类别;
T3,按照所述第三步至第八步的方法对所述图像样本进行计算,获得汽车边界框,将所述汽车边界框与所述标注信息对比,每次设定一组超参数的组合,使用所述超参数的组合训练所述图像检测模型,计算所述图像检测模型的误差,并利用神经网络优化算法更新所述图像检测模型的参数;更换所述超参数的组合,直至获得在验证集上取得最优泛化性能的超参数组合,将该组合所对应的超参数作为所述图像检测模型的超参数。
更进一步,上述方法中,所述步骤T1中还包括对所述图像样本进行数据增强、归一化和图像大小调整的步骤:
所述数据增强的步骤包括:将所述图像样本以概率β进行随机旋转,再将所述图像样本内的每个像素值均叠加随机噪声,对叠加过随机噪声后的像素值归一化至固定范围,一般为0到1;同时以随机的比例系数调整所述图像样本的亮度、对比度、色调和饱和度;
所述图像大小调整的步骤包括:将所述图像样本的尺寸调整为归一化尺寸,以与所述图像样本的长宽尺寸调整比例相同的比例调整所述图像样本所对应的标注信息内的所述汽车边界框的坐标。
所述图像检测模型的训练过程中,使用到的图像样本包括正样本和负样本:把那些与标记的边界框的重叠度(IOU)大于70%的样本边界框作为正样本,重叠度低于30%的边界框作为负样本。重叠度定义为标记边界框(A)与样本边界框(B)的交集除以标记边界框与样本边界框的联集。即
上述方法中,训练过程中,所述图像检测模型会使用难分负样本作为训练过程的负样本,难分负样本是指本为负样本,却以很大概率被认为是正样本的负样本,筛选部分负样本,使得所述负样本与所述正样本之间的比例为3∶1。
再进一步,考虑到定位卷积层和所述分类卷积层内可能有若干汽车边界框均对应同一车辆,上述方法的所述步骤T2中还包括以下步骤:通过非最大抑制算法合并所述定位层和所述分类层得到的汽车边界框,将置信度低于阈值δ的汽车边界框舍去,另外,舍去实际对应同一物体的多个重合的汽车边界框,仅保留对应该物体的置信度最大的一个汽车边界框。
同时,为实现上述目的,还提出一种汽车碰撞检测系统,包括:视频录制装置、服务器和电源模块;所述视频录制装置连接所述服务器,所述电源模块为所述汽车碰撞检测系统供电;
所述视频录制装置用于采集汽车四周图像;
所述服务器用于根据所述视频录制装置采集的汽车四周图像,由特征提取主干模型提取特征,然后获取定位张量、分类张量后,计算出分类结果以及汽车边界框与本车之间的最小距离,在所述汽车边界框之间的最小距离低于安全间距时发出警告或进行记录。
进一步,上述系统中,所述视频录制装置数量至少为1个,所述视频录制装置包括360°摄像头或设置于汽车两侧或四周的广角摄像头,所述视频录制装置的视野范围足以覆盖汽车四周。
更进一步,上述系统中,当所述视频录制装置数量大于1个时,所述服务器在提取特征之前,所述服务器在提取特征之前,还用于将所述各视频录制装置采集的图像进行合并。
所述合并的步骤包括:使用基于时域的特征方法,找出所述各视频录制装置采集的图像中的特征点,确定所述特征点之间的对应关系,利用所述特征点之间的对应关系确定各视频录制装置采集的图像间的变换关系。此外,也可以将多个摄像头拍摄的视频直接发送至服务器进行合并或图像检测。
同时,上述系统还可包括存储器和视频压缩模块,所述存储器的输入端通过所述视频压缩模块与所述视频录制装置连接,所述存储器的输出端与所述服务器连接;
所述视频压缩模块用于对所述视频录制装置采集的汽车四周图像进行压缩;
所述存储器用于在所述电源模块供电异常时,或所述服务器连接异常时,或所述汽车边界框之间的最小距离低于安全间距时时,存储压缩后的所述汽车四周图像,在恢复正常供电或正常连接时向所述服务器上传压缩后的所述汽车四周图像。
具体而言,上述系统中,所述服务器包括车载服务器或远程服务器中的一种或多种,所述服务器通过数据线或无线网络与所述视频录制装置或所述存储器连接。
有益效果
当前深度学习技术得到了迅猛的发展,基于深度神经网络的图像检测领域取的了巨大的进步,图像检测的准确率和召回率都比传统计算机视觉方法高了很多。本发明基于深度学习图像检测方法识别车辆边界框,进而通过车辆边界框之间的距离获得车辆间距,从而对驾驶员的驾驶行为,尤其对其驾驶车辆发生碰撞的频率进行评估。本发明在车辆间距小于安全间距时记录相关图像,作为凭证,因而可以准确追溯驾驶员驾驶过程中所有的可能发生碰撞的驾驶行,记录更为精确。
进一步,本发明在对所述特征提取基模型进行训练时,通过增加数据增强的步骤,或者增加实际训练的图像样本的数量,来提高模型的泛化性能。由此训练得到的模型更利于更精准的识别出现实中的车辆边界框。
进一步,考虑到定位卷积层和所述分类卷积层得到的检测结果,有可能若干汽车边界框均对应同一辆汽车,本发明还通过非最大值抑制算法合并所述定位卷积层和所述分类卷积层结果中同一个辆汽车所生成的多个汽车边界框,保留置信度大于阈值的结果,以进一步提高检测的精度和召回率。
关于本发明所提供的汽车碰撞检测系统,该系统可通过远程服务器进行汽车碰撞的检测,可有效降低训练算法对系统硬件的要求。同时,所述系统也可通过车载服务器实现检测,实时性更高。所述系统可直接选用360°摄像头或,对若干组摄像头采集的图像进行拼接,也可以对各个摄像头拍摄的视频进行单独处理。安装更为灵活,且足以覆盖车辆周围视野区域,因此获得的图像足够进行相应检测与识别处理。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,并与本发明的实施例一起,用于解释本发明,并不构成对本发明的限制。在附图中:
图1为根据本发明的汽车碰撞检测方法的运算流程图;
图2为根据本发明的汽车碰撞检测系统的框图;
图3为根据本发明实施例的汽车碰撞检测系统中视频录制装置的安装位置示意框图;
图4为根据本发明实施例的汽车碰撞检测状态的示意图。
图5为根据本发明实施例的汽车碰撞检测系统中的图像检测模型的训练过程示意图
图6为根据本发明实施例的汽车碰撞检测系统运行过程示意图;
图7为根据本发明实施例的图像检测模型架构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
图1为根据本发明的汽车碰撞检测方法,包括以下步骤:
第一步,采集汽车四周视频图像。
第二步,每间隔时间周期T,获取所述汽车四周视频图像中的1帧图像。
第三步,采用VGG模型的卷积部分,构成图像的特征提取基模型,使用在大数据集(例如ImagNet数据集)分类任务上充分训练好的VGG模型的参数来初始化特征提取基模型;所述特征提取基模型不限于VGG16模型,还可以是VGG19,ResNet、Inception V3模型等。
第四步,将第三步所述的体征提取基模型进行拓展,在后面继续加入8个卷积层,在最后一个卷积层后连接一个全局池化层,构成共包含21个卷积层和一个全局池化层的特征提取主干模型。
第五步,以VGG16模型作为特征提取基模型为例,在所述特征提取主干模型的第10、15、17、19、21个卷积模型上和所述特征提取主干模型的最后一个全局池化层上分别同时接入一组目标定位层和一组分类层,构成共包含6组定位层和6组分类层,分别用于定位和分类的图像检测模型。其中,最后一个池化层接入的定位和分类层为全连接网络;其他各组定位层和分类成均是卷积核为的3×3的卷积层;所述6组定位层的特征图数目(最后一组为全连接神经元数目)分别为12、24、24、24、12和12,所述6组分类层的特征图数目(最后一组为全连接神经元数目)分别为6、12、12、12、6、6。
第六步,将所述六个定位卷积层的输出分别进行矩阵变形(ReShape),按照维度从内而外展开6个一维张量,将所述6个一维张量顺次拼接为定位张量;同时,将所述六个分类层的输出经过矩阵变形为6个一维张量,然后顺次拼接为分类张量;
第七步,调整所述定位张量为“[检测边界框数目,4维度]”形式的定位张量矩阵,其中,所述“检测边界框数目”为所述6个定位层的特征图的长宽乘积之和,所述“4维度”为检测到的边界框的左上角以及右下角的2个顶点的x轴坐标和y轴坐标,共四个数值。调整所述分类张量为“[检测边界框数目,2维度]”形式的分类张量矩阵,其中的“2维度”为分类结果(即背景或汽车)的二分类数据;输出所述分类张量至激活函数(可选用Sigmoid函数或Softmax函数)获得分类结果的置信度,输出所述分类结果置信度大于阈值δ(δ一般取0.5以上)的所述汽车边界框的坐标;
第八步,保留置信度大于阈值的检测框,然后采用非极大值抑制算法,滤除掉实际对应一个物体的多个检测框,保留置信度大于阈值或仅保留对应统一物体置信度最大的检测框;以上第三到第八步构成了基于深度神经网络的图像检测模型;
第九步,计算所述第八步输出的所述汽车边界框之间的最小距离,若所述最小距离低于安全间距,则报警或记录。
进一步,参照图5,上述方法中,所述图像检测模型按照如下步骤完成训练:T1,使用图形标注工具,人工标注采集到的所述图像内的汽车边界框,形成标注信息,并把标注信息写入图像文件,重复上述步骤直至获得至少1000帧图像的标注信息,并按照固定比例分割为训练集,验证集,和测试集;分割数据集,分割的比例选用6∶2∶2的训练集、验证集、和测试集比例(该比例可以灵活调整,用于训练和评估模型);其中,所述标注信息包括图像的类别、汽车边界框的左上角坐标、汽车边界框的右下角坐标;
T2,获取图像样本以及所述图像样本的标注信息;所述标注信息包括汽车边界框(Bounding Box)的坐标和类别;汽车边界框(Bounding Box)的坐标具体标记格式为:汽车边界框的左上角坐标y轴数值,汽车边界框的左上角坐标x轴数值,汽车边界框的右下角坐标y轴数值,汽车边界框的右下角坐标x轴数值,类别标号;其中,所有数据集可以分为训练集,验证集和测试集,三者数量上比重大致分配为6∶2∶2。其中训练集用于训练模型,验证集用于选择最优的超参数,测试集用于评估模型的性能;
T3,按照所述第三步至第八步的方法对所述图像样本进行计算,获得汽车边界框,将所述汽车边界框与所述标注信息对比,从而计算模型误差。使用不同的模型超参数来训练模型,模型的超参数是指学习率、迭代次数、批大小和正则化参数等,而模型的参数是指模型训练过程中内部的权重和偏置的大小。训练的步骤为:每次设定一组超参数的组合,使用所述超参数的组合训练所述图像检测模型,计算所述图像检测模型的误差,并利用神经网络优化算法更新所述图像检测模型的参数;更换所述超参数的组合,直至获得在验证集上取得最优泛化性能的超参数组合,将该组合所对应的超参数作为所述图像检测模型的超参数。所述超参数的组合一般包括指学习率,冲量大小,迭代次数等。
更进一步,上述方法中,所述步骤T1中还包括对所述图像样本进行数据增强、归一化和图像尺寸调整的步骤:
所述数据增强的步骤包括:将所述图像样本以概率β(本实施例中取β=0.5)进行随机旋转,再将所述图像样本内的每个像素均叠加随机噪声(具体是将像素值乘以(1-α,1+α),α∈[0,0.2]范围内的随机数),对叠加过随机噪声后的像素值归一化至固定范围,一般为[0,1]之间或者[-1,1]的范围;同时以随机的系数调整所述图像样本的亮度、对比度、色调和饱和度;
所述图像尺寸调整的步骤包括:将所述图像样本的尺寸调整为300×300的归一化尺寸,以与所述图像样本的长宽尺寸调整比例相同的比例调整所述图像样本所对应的标注信息内的所述汽车边界框的坐标。
上述方法中,所述图像样本包括大量负样本和少量的正样本。为保证检测准确率,其中负样本数目与正样本的数目比例不能太大。为平衡正负样本数目,采用难分负样本挖掘,将训练过程中把本是负样本却被模型认为有很高概率认为是正样本的负样本作为难分负样本,挑选出来一些难分负样本与正样本一起进行训练。所述负样本与所述正样本之间的比例为3∶1。
再进一步,考虑到定位卷积层和所述分类卷积层内有可能若干汽车边界框均对应同一辆汽车,上述方法的所述步骤T2中还包括以下步骤:将置信度低于阈值δ的汽车边界框舍去,通过非最大抑制算法合并本为同一车辆的多个汽车边界框,舍去实际对应同一物体的多个重合的汽车边界框,仅保留对应该物体的置信度最大的一个汽车边界框。
其次,参照图2以及图3所示的模块关系,为实现上述目的,还提出一种汽车碰撞检测系统,包括:视频录制装置、服务器和电源模块;所述视频录制装置连接所述服务器,所述电源模块为所述汽车碰撞检测系统供电;其中的电源模块可直接连接汽车蓄电池或单独的供电装置;
所述视频录制装置用于采集汽车四周图像;
所述服务器用于根据所述视频录制装置采集的汽车四周图像,由特征提取基主干型提取特征,获取定位张量、分类张量以后,计算出分类结果以及汽车边界框之间的最小距离,在所述汽车边界框之间的最小距离低于安全间距时发出警告或进行记录。
参照图6所示的系统运行过程,当用户开始驾车时,若视频录制装置采集的汽车四周视频图像可以实时传送到服务器,则可以对用户的驾驶情况进行实时检测,计算危险驾驶的次数或者碰撞的次数。若用户无法实时将视频传送到服务器,则可以先保存到视频录像机的存储器内,待条件允许后,将视频传送到服务器进行分析,或者,也可通过车载服务器直接分析。
本系统服务器基于深度学习技术,通过标注数据集来训练模型,将训练好的模型部署到服务器上。在图像检测过程中,系统根据采集到的视频,将视频进行按照一定时间T或者帧间隔截取成图片序列,送入到图形检测模型,模型输出宿主车辆与检测到周围车辆的坐标信息与概率,通过判断宿主车辆与周围车辆的边界框相距的最近间距判断是否发生碰撞,或者距离过近,抑或是安全间距。将类似图4所示,车辆位置(图中虚线框)发生碰撞或者距离过近的图像保存到本地,作为结果和凭证。根据对驾驶员的驾驶行为进行评判,可以给出其驾驶行为评估报告。
进一步,上述系统中,所述视频录制装置数量至少为1个,所述视频录制装置包括360°摄像头或设置于汽车两侧或四周的广角摄像头,所述视频录制装置的视野范围足以覆盖汽车四周。
更进一步,上述系统中,当所述视频录制装置数量大于1个时,所述服务器在提取特征之前,还用于将所述各视频录制装置采集的图像进行合并,
所述合并的步骤包括:使用基于时域的特征方法,找出所述各视频录制装置采集的图像中的特征点,确定所述特征点之间的对应关系,利用所述特征点之间的对应关系确定各视频录制装置采集的图像间的变换关系。此处,也可以将多个摄像头拍摄的视频直接发送至服务器进行合并或图像检测。
同时,上述系统还可包括存储器和视频压缩模块,所述存储器的输入端通过所述视频压缩模块与所述视频录制装置连接,所述存储器的输出端与所述服务器连接;
所述视频压缩模块用于对所述视频录制装置采集的汽车四周图像进行压缩;
所述存储器用于在所述电源模块供电异常时,或所述服务器连接异常时,或所述汽车边界框之间的最小距离低于安全间距时时,存储压缩后的所述汽车四周图像,在恢复正常供电或正常连接时向所述服务器上传压缩后的所述汽车四周图像。
具体而言,上述系统中,所述服务器包括车载服务器或远程服务器中的一种或多种,所述服务器通过数据线或无线网络与所述视频录制装置或所述存储器连接。
本发明技术方案的优点主要体现在:本发明不仅可以提供行驶过程中的碰撞检测,还可以在车辆停车过程中对车辆进行监控,当检测到其他车辆碰撞到本车的时候,可以及时检测到危险情况并发出警示信息或做出记录。通过本发明,用户可以根据图像检测系统得到的检测结果,对其安全驾驶或者停车状况进行分析总结,从而可以对用户的驾车行为进行一个客观系统的描述。
本领域普通技术人员可以理解:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例记载的技术方案进行修改,或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内,所的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种汽车碰撞检测方法,其特征在于,步骤包括:
第一步,采集汽车四周视频图像;
第二步,每间隔时间周期T,获取所述汽车四周视频图像中的1帧图像;
第三步,采用VGG模型的卷积部分构成图像的特征提取基模型,使用在大数据集分类任务上充分训练好的VGG模型的参数初始化所述特征提取基模型;
第四步,将第三步所述的特征提取基模型进行拓展,在后面继续加入8个卷积层,在最后一个卷积层后连接一个全局池化层,构成一个共包含21个卷积层和一个全局池化层的特征提取主干模型;
第五步,在所述特征提取主干模型的第10、15、17、19、21个卷积模型上和所述特征提取主干模型的最后一个全局池化层上分别同时接入一组目标定位层和一组分类层,构成图像检测模型;其中,最后一个池化层接入的定位层和分类层为全连接网络,其他各定位层和分类层均是卷积核为3×3的卷积层;所述6组定位层的特征图数目分别为12、24、24、24、12和12,所述6组分类层的特征图数目分别为6、12、12、12、6、6;
第六步,将所述6个定位层的输出分别进行矩阵变形,按照维度从内而外展开为6个一维张量,将所述6个一维张量拼接为定位张量,同时,将所述6个分类层输出经过矩阵变形为6个一维张量,然后拼接为分类张量;
第七步,调整所述定位张量为“[检测边界框数目,4维度]”形式的定位张量矩阵,其中所述“检测边界框数目”为所述6个定位层的特征图的长与宽乘积的和,所述“4维度”为检测边界框的左上角以及右下角的2个坐标值;调整所述分类张量为“[检测边界框数目,2维度]”形式的分类张量矩阵,其中所述“2维度”为分类结果的二分类数据;输出所述分类张量至激活函数获得所述分类结果的置信度,输出相应的边界框的坐标;
第八步,保留置信度大于阈值的检测框,然后采用非极大值抑制算法,滤除掉实际对应一个物体的多个检测框;
第九步,计算所述第八步输出的所述汽车边界框之间的最小距离,若所述最小距离低于安全间距,则报警或记录。
2.如权利要求1所述的汽车碰撞检测方法,其特征在于,按照如下步骤充分训练所述第五步形成的图像检测模型:
T1,使用图像标注工具,标注第一步中采集到的所述图像内的汽车边界框,形成标注信息,并把标注信息写入到标签文件,重复上述步骤直至获得至少1000帧图像的标注信息,并按照一定比例分割为训练集,验证集,和测试集;
T2,获取图像样本以及所述图像样本的标注信息;
T3,按照所述第三步至第八步的方法对所述图像样本进行计算,获得汽车边界框,将所述汽车边界框与所述标注信息对比,每次设定一组超参数的组合,使用所述超参数的组合训练所述图像检测模型,计算所述图像检测模型的误差,并利用神经网络优化算法更新所述图像检测模型的参数;更换所述超参数的组合,直至获得在验证集上取得最优泛化性能的超参数组合,将该组合所对应的超参数作为所述图像检测模型的超参数。
3.如权利要求2所述的汽车碰撞检测方法,其特征在于,所述步骤T1中还包括对所述图像样本进行数据增强、归一化和图像尺寸调整的步骤:
所述数据增强的步骤包括:将所述图像样本以概率β进行随机旋转,再将所述图像样本内的每个像素值叠加随机噪声,对叠加过随机噪声后的像素值归一化至固定范围;同时以随机比例调整所述图像样本的亮度、对比度、色调和饱和度;
所述图像尺寸调整的步骤包括:将所述图像样本的尺寸调整为归一化尺寸,以与所述图像样本的长宽尺寸调整比例相同的比例调整所述图像样本所对应的标注信息内的所述汽车边界框的坐标。
4.如权利要求2所述的汽车碰撞检测方法,其特征在于,训练过程中,所述图像样本包括负样本和正样本,所述负样本与所述正样本之间的比例为3∶1。
5.如权利要求2所述的汽车碰撞检测方法,其特征在于,所述步骤T2中还包括以下步骤:通过非最大抑制算法合并所述定位层和所述分类层得到的汽车边界框,将置信度低于阈值δ的汽车边界框舍去,另外,舍去实际对应同一物体的多个重合的汽车边界框,仅保留对应该物体的置信度最大的一个汽车边界框。
6.一种汽车碰撞检测系统,其特征在于,包括视频录制装置、服务器和电源模块;所述视频录制装置连接所述服务器,所述电源模块为所述汽车碰撞检测系统供电;
所述视频录制装置用于采集汽车四周图像;
所述服务器用于根据所述视频录制装置采集的汽车四周图像,由特征提取主干模型提取特征,获取定位张量、分类张量以后,计算出分类结果以及汽车边界框之间的最小距离,在所述汽车边界框之间的最小距离低于安全间距时发出警告或进行记录。
7.如权利要求6所述的汽车碰撞检测系统,其特征在于,所述视频录制装置数量至少为1个,所述视频录制装置包括360°摄像头或设置于汽车两侧或四周的广角摄像头,所述视频录制装置的视野范围足以覆盖汽车四周。
8.如权利要求7所述的汽车碰撞检测系统,其特征在于,所述视频录制装置的数量大于1个时,所述服务器在提取特征之前,还用于将所述各视频录制装置采集的图像进行合并;
所述合并的步骤包括:使用基于时域的特征方法,找出所述各视频录制装置采集的图像中的特征点,确定所述特征点之间的对应关系,利用所述特征点之间的对应关系确定各视频录制装置采集的图像间的变换关系。
9.如权利要求6所述的汽车碰撞检测系统,其特征在于,所述汽车碰撞检测系统还包括存储器和视频压缩模块,所述存储器的输入端通过所述视频压缩模块与所述视频录制装置连接,所述存储器的输出端与所述服务器连接;所述视频压缩模块用于对所述视频录制装置采集的汽车四周图像进行压缩;
所述存储器用于在所述电源模块供电异常时,或所述服务器连接异常时,或所述汽车边界框之间的最小距离低于安全间距时时,存储所述汽车四周图像,在恢复正常供电或正常连接时向所述服务器上传压缩后的所述汽车四周图像。
10.如权利要求6所述的汽车碰撞检测系统,其特征在于,所述服务器包括车载服务器或远程服务器中的一种或多种,所述服务器通过数据线或无线网络与所述视频录制装置或所述存储器连接。
CN201710904968.0A 2017-09-28 2017-09-28 基于深度学习的汽车碰撞检测方法及系统 Active CN107657237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710904968.0A CN107657237B (zh) 2017-09-28 2017-09-28 基于深度学习的汽车碰撞检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710904968.0A CN107657237B (zh) 2017-09-28 2017-09-28 基于深度学习的汽车碰撞检测方法及系统

Publications (2)

Publication Number Publication Date
CN107657237A true CN107657237A (zh) 2018-02-02
CN107657237B CN107657237B (zh) 2020-03-31

Family

ID=61117247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710904968.0A Active CN107657237B (zh) 2017-09-28 2017-09-28 基于深度学习的汽车碰撞检测方法及系统

Country Status (1)

Country Link
CN (1) CN107657237B (zh)

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法
CN108596051A (zh) * 2018-04-04 2018-09-28 浙江大学城市学院 一种面向产品风格意象的智能识别方法
CN108725440A (zh) * 2018-04-20 2018-11-02 深圳市商汤科技有限公司 前向碰撞控制方法和装置、电子设备、程序和介质
CN108830131A (zh) * 2018-04-10 2018-11-16 中科院微电子研究所昆山分所 基于深度学习的交通目标检测与测距方法
CN108921110A (zh) * 2018-07-06 2018-11-30 电子科技大学 新型卷积神经网络与Wigner-Ville分布结合的雷达信号分类方法
CN109145874A (zh) * 2018-09-28 2019-01-04 大连民族大学 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用
CN109255181A (zh) * 2018-09-07 2019-01-22 百度在线网络技术(北京)有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
CN109406161A (zh) * 2018-09-13 2019-03-01 行为科技(北京)有限公司 一种基于距离测试的前防卫碰撞测试系统及其测试方法
CN109509223A (zh) * 2018-11-08 2019-03-22 西安电子科技大学 基于深度学习的前方车辆测距方法
CN109800441A (zh) * 2019-02-01 2019-05-24 北京金山数字娱乐科技有限公司 一种模型输出推荐方法和装置、模型输出推荐系统
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109886338A (zh) * 2019-02-25 2019-06-14 苏州清研精准汽车科技有限公司 一种智能汽车测试图像标注方法、装置、系统及存储介质
CN109902806A (zh) * 2019-02-26 2019-06-18 清华大学 基于卷积神经网络的噪声图像目标边界框确定方法
CN109910865A (zh) * 2019-02-26 2019-06-21 辽宁工业大学 一种基于物联网的车辆预警刹车方法
CN110203293A (zh) * 2019-05-27 2019-09-06 北京汽车股份有限公司 碰撞事故检测方法、装置、系统和车辆
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN111951217A (zh) * 2020-07-07 2020-11-17 上海鹰瞳医疗科技有限公司 模型训练方法、医疗图像处理方法及电子设备
CN112100836A (zh) * 2020-09-07 2020-12-18 腾讯科技(深圳)有限公司 车辆边界参数的获取方法和装置
US11047673B2 (en) 2018-09-11 2021-06-29 Baidu Online Network Technology (Beijing) Co., Ltd Method, device, apparatus and storage medium for detecting a height of an obstacle
US11113546B2 (en) 2018-09-04 2021-09-07 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line processing method and device
US11126875B2 (en) 2018-09-13 2021-09-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
US11205289B2 (en) 2018-09-07 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and terminal for data augmentation
US11307302B2 (en) 2018-09-07 2022-04-19 Baidu Online Network Technology (Beijing) Co., Ltd Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium
CN115797897A (zh) * 2023-02-03 2023-03-14 广州斯沃德科技有限公司 一种基于图像处理的车辆碰撞识别方法和系统
US11718318B2 (en) 2019-02-22 2023-08-08 Apollo Intelligent Driving (Beijing) Technology Co., Ltd. Method and apparatus for planning speed of autonomous vehicle, and storage medium
US11780463B2 (en) 2019-02-19 2023-10-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102303563A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 前车碰撞预警系统及方法
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN104071311A (zh) * 2014-07-15 2014-10-01 无锡北斗星通信息科技有限公司 一种船舶预警方法
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN106240458A (zh) * 2016-07-22 2016-12-21 浙江零跑科技有限公司 一种基于车载双目相机的车辆前方碰撞预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102765365A (zh) * 2011-05-06 2012-11-07 香港生产力促进局 基于机器视觉的行人检测方法及行人防撞预警系统
CN102303563A (zh) * 2011-06-16 2012-01-04 广东铁将军防盗设备有限公司 前车碰撞预警系统及方法
CN104071311A (zh) * 2014-07-15 2014-10-01 无锡北斗星通信息科技有限公司 一种船舶预警方法
CN105654753A (zh) * 2016-01-08 2016-06-08 北京乐驾科技有限公司 一种智能车载安全驾驶辅助方法及系统
CN106240458A (zh) * 2016-07-22 2016-12-21 浙江零跑科技有限公司 一种基于车载双目相机的车辆前方碰撞预警方法

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596051A (zh) * 2018-04-04 2018-09-28 浙江大学城市学院 一种面向产品风格意象的智能识别方法
CN108830131A (zh) * 2018-04-10 2018-11-16 中科院微电子研究所昆山分所 基于深度学习的交通目标检测与测距方法
CN108830131B (zh) * 2018-04-10 2021-05-04 昆山微电子技术研究院 基于深度学习的交通目标检测与测距方法
CN108596058A (zh) * 2018-04-11 2018-09-28 西安电子科技大学 基于计算机视觉的行车障碍物测距方法
US11643076B2 (en) 2018-04-20 2023-05-09 Shenzhen Sensetime Technology Co., Ltd. Forward collision control method and apparatus, electronic device, program, and medium
CN108725440A (zh) * 2018-04-20 2018-11-02 深圳市商汤科技有限公司 前向碰撞控制方法和装置、电子设备、程序和介质
CN108921110A (zh) * 2018-07-06 2018-11-30 电子科技大学 新型卷积神经网络与Wigner-Ville分布结合的雷达信号分类方法
US11113546B2 (en) 2018-09-04 2021-09-07 Baidu Online Network Technology (Beijing) Co., Ltd. Lane line processing method and device
CN109255181A (zh) * 2018-09-07 2019-01-22 百度在线网络技术(北京)有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
US11307302B2 (en) 2018-09-07 2022-04-19 Baidu Online Network Technology (Beijing) Co., Ltd Method and device for estimating an absolute velocity of an obstacle, and non-volatile computer-readable storage medium
US11205289B2 (en) 2018-09-07 2021-12-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device and terminal for data augmentation
CN109255181B (zh) * 2018-09-07 2019-12-24 百度在线网络技术(北京)有限公司 一种基于多模型的障碍物分布仿真方法、装置以及终端
US10984588B2 (en) 2018-09-07 2021-04-20 Baidu Online Network Technology (Beijing) Co., Ltd Obstacle distribution simulation method and device based on multiple models, and storage medium
US11519715B2 (en) 2018-09-11 2022-12-06 Baidu Online Network Technology (Beijing) Co., Ltd. Method, device, apparatus and storage medium for detecting a height of an obstacle
US11047673B2 (en) 2018-09-11 2021-06-29 Baidu Online Network Technology (Beijing) Co., Ltd Method, device, apparatus and storage medium for detecting a height of an obstacle
CN109406161A (zh) * 2018-09-13 2019-03-01 行为科技(北京)有限公司 一种基于距离测试的前防卫碰撞测试系统及其测试方法
US11126875B2 (en) 2018-09-13 2021-09-21 Baidu Online Network Technology (Beijing) Co., Ltd. Method and device of multi-focal sensing of an obstacle and non-volatile computer-readable storage medium
CN109145874A (zh) * 2018-09-28 2019-01-04 大连民族大学 度量视频连续帧与其卷积特征图间差异在自主汽车视觉感应部分的障碍物检测中的应用
CN109509223A (zh) * 2018-11-08 2019-03-22 西安电子科技大学 基于深度学习的前方车辆测距方法
CN109829550B (zh) * 2019-02-01 2022-03-04 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
CN109800441A (zh) * 2019-02-01 2019-05-24 北京金山数字娱乐科技有限公司 一种模型输出推荐方法和装置、模型输出推荐系统
CN109800441B (zh) * 2019-02-01 2023-03-24 北京金山数字娱乐科技有限公司 一种模型输出推荐方法和装置、模型输出推荐系统
CN109829550A (zh) * 2019-02-01 2019-05-31 北京金山数字娱乐科技有限公司 模型评价方法和装置、模型评价系统及其训练方法和装置
US11780463B2 (en) 2019-02-19 2023-10-10 Baidu Online Network Technology (Beijing) Co., Ltd. Method, apparatus and server for real-time learning of travelling strategy of driverless vehicle
US11718318B2 (en) 2019-02-22 2023-08-08 Apollo Intelligent Driving (Beijing) Technology Co., Ltd. Method and apparatus for planning speed of autonomous vehicle, and storage medium
CN109886338A (zh) * 2019-02-25 2019-06-14 苏州清研精准汽车科技有限公司 一种智能汽车测试图像标注方法、装置、系统及存储介质
CN109902806A (zh) * 2019-02-26 2019-06-18 清华大学 基于卷积神经网络的噪声图像目标边界框确定方法
CN109910865A (zh) * 2019-02-26 2019-06-21 辽宁工业大学 一种基于物联网的车辆预警刹车方法
CN113544021B (zh) * 2019-03-08 2023-12-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN113544021A (zh) * 2019-03-08 2021-10-22 奥拉科产品有限责任公司 用于创建包括自部件排除的碰撞检测训练集的方法
CN110210328A (zh) * 2019-05-13 2019-09-06 北京三快在线科技有限公司 在图像序列中标注物体的方法、装置及电子设备
CN110203293A (zh) * 2019-05-27 2019-09-06 北京汽车股份有限公司 碰撞事故检测方法、装置、系统和车辆
CN110532937B (zh) * 2019-08-26 2022-03-08 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN110532937A (zh) * 2019-08-26 2019-12-03 北京航空航天大学 基于识别模型与分类模型进行列车前向目标精准识别的方法
CN111091061A (zh) * 2019-11-20 2020-05-01 浙江工业大学 一种基于视频分析的车辆刮蹭检测方法
CN111275044A (zh) * 2020-02-21 2020-06-12 西北工业大学 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN111951217B (zh) * 2020-07-07 2022-01-14 北京鹰瞳科技发展股份有限公司 模型训练方法、医疗图像处理方法及电子设备
CN111951217A (zh) * 2020-07-07 2020-11-17 上海鹰瞳医疗科技有限公司 模型训练方法、医疗图像处理方法及电子设备
CN112100836B (zh) * 2020-09-07 2022-06-07 腾讯科技(深圳)有限公司 车辆边界参数的获取方法和装置
CN112100836A (zh) * 2020-09-07 2020-12-18 腾讯科技(深圳)有限公司 车辆边界参数的获取方法和装置
CN115797897A (zh) * 2023-02-03 2023-03-14 广州斯沃德科技有限公司 一种基于图像处理的车辆碰撞识别方法和系统

Also Published As

Publication number Publication date
CN107657237B (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN107657237A (zh) 基于深度学习的汽车碰撞检测方法及系统
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
CN110992683A (zh) 一种基于动态图像感知的交叉口盲区预警方法及系统
CN105844257A (zh) 基于机器视觉雾天行车错失道路标志牌的预警系统及方法
CN112329747B (zh) 基于视频识别和深度学习的车辆参数检测方法及相关装置
CN104680554B (zh) 基于surf的压缩跟踪方法和系统
CN109649091A (zh) 基于计算机视觉的汽车轮胎监测系统
CN111626170B (zh) 一种铁路边坡落石侵限检测的图像识别方法
CN113808098A (zh) 道路病害识别方法、装置、电子设备及可读存储介质
CN108596883A (zh) 一种基于深度学习和距离约束的航拍图像防震锤滑移故障诊断方法
CN110516691A (zh) 一种车辆尾气检测方法和装置
CN108364476B (zh) 获取车联网信息方法及其装置
CN113221759A (zh) 基于异常检测模型的道路遗撒识别方法以及装置
Christodoulou et al. Pavement defects detection and classification using smartphone-based vibration and video signals
CN110263836B (zh) 一种基于多特征卷积神经网络的不良驾驶状态识别方法
Christodoulou et al. Pavement patch defects detection and classification using smartphones, vibration signals and video images
CN112816043B (zh) 一种确定车辆的车型的方法及系统
CN112735164B (zh) 测试数据构建方法及测试方法
CN116343513B (zh) 农村公路超视距风险点安全监测预警方法及其系统
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN112633163B (zh) 一种基于机器学习算法实现非法运营车辆检测的检测方法
TWI619099B (zh) Intelligent multifunctional driving assisted driving recording method and system
CN114863210A (zh) 桥梁结构健康监测数据驱动模型的对抗样本攻击方法及系统
Khuc Computer vision based structural identification framework for bridge health mornitoring
CN116597404B (zh) 基于多源传感器融合的可持续道路异常检测方法与系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant