CN109919074B - 一种基于视觉感知技术的车辆感知方法及装置 - Google Patents

一种基于视觉感知技术的车辆感知方法及装置 Download PDF

Info

Publication number
CN109919074B
CN109919074B CN201910157309.4A CN201910157309A CN109919074B CN 109919074 B CN109919074 B CN 109919074B CN 201910157309 A CN201910157309 A CN 201910157309A CN 109919074 B CN109919074 B CN 109919074B
Authority
CN
China
Prior art keywords
vehicle
matrix
target
current
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910157309.4A
Other languages
English (en)
Other versions
CN109919074A (zh
Inventor
孔斌
赵富强
杨静
王灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Institutes of Physical Science of CAS
Original Assignee
Hefei Institutes of Physical Science of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Institutes of Physical Science of CAS filed Critical Hefei Institutes of Physical Science of CAS
Priority to CN201910157309.4A priority Critical patent/CN109919074B/zh
Publication of CN109919074A publication Critical patent/CN109919074A/zh
Application granted granted Critical
Publication of CN109919074B publication Critical patent/CN109919074B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于视觉感知技术的车辆感知方法及装置，所述方法包括：1)、获取当前车辆周围的视频图像；2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。应用本发明实施例提高了行车安全性。

Description

一种基于视觉感知技术的车辆感知方法及装置
技术领域
本发明涉及一种车辆感知方法及装置，更具体涉及一种基于视觉感知技术的车辆感知方法及装置。
背景技术
随着人工智能技术的发展，无人驾驶技术也越来越多的应用于实际的车辆工业中。
目前，预警系统大多仅仅通过估算当前车辆与前方车辆之间的相对距离，以及相对速度，进而估算碰撞时间；在碰撞时间较小时进行预警，如果碰撞时间较大，则进行持续性的检测。
但是，发明人发现，现有技术中利用碰撞时间进行预警，只能针对当前车辆正前方的目标车辆进行碰撞预警，对于其他行车情况如，并线、超车等无法进行预警，导致现有技术应用范围较小，进而导致现有技术条件下行车安全性不足的缺点，
发明内容
本发明所要解决的技术问题在于提供了一种基于视觉感知技术的车辆感知方法及装置，以提高行车安全性。
本发明是通过以下技术方案解决上述技术问题的：
本发明实施例提供了一种基于视觉感知技术的车辆感知方法，所述方法包括：
1)、获取当前车辆周围的视频图像；
2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；
3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；
4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。
可选的，所述卷积神经网络的训练过程包括：
利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
利用所述训练样本训练卷积神经网络，并利用公式，
Figure BDA0001983332710000021
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure BDA0001983332710000022
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure BDA0001983332710000023
为真值检测框的中心坐标的横坐标值；
Figure BDA0001983332710000024
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure BDA0001983332710000031
为真值检测框的宽；hi为检测框的高；
Figure BDA0001983332710000032
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
利用公式，
Figure BDA0001983332710000033
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure BDA0001983332710000034
为真值标签；clsloss2为背景类别误差；
Figure BDA0001983332710000035
为第i个锚点对应的第j个检测框是否有对应目标；
利用公式，
Figure BDA0001983332710000036
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure BDA0001983332710000037
为第i个锚点中第c类的真值置信度；
利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。
应用本发明实施例，使用该方法的车辆检测算法，有效提高车辆的检出率和召回率，从而提高整体系统的预警准确性。
可选的，所述目标车辆为非机动车时，所述方法还包括
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
应用本发明实施例，采用深度神经网络检测车辆，可以区分机动车和非机动车，实现前方非机动车预警功能。
最后，根据检测目标的类别，分为机动车和非机动车，增加了对交通环境下，对行驶不稳定的非机动车的预警。
可选的，所述步骤2)，包括：
根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；
根据预设的学习率，利用公式，
Figure BDA0001983332710000041
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w″1为第二位移权重矩阵；w″2为第二尺度变化矩阵；γ为学习率；w′1为第一位移权重矩阵；w′2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；
根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
可选的，所述步骤3)，包括：
将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。
可选的，所述方法还包括：
获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；
通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；
利用公式，
Figure BDA0001983332710000051
计算当前车辆与目标车辆的碰撞时间，其中，
tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；
判断所述碰撞时间是否小于第四预设阈值；
若是，执行预设操作；
若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。
本发明实施例提供了一种基于视觉感知技术的车辆感知装置，所述装置包括：
第一获取模块，用于获取当前车辆周围的视频图像；
识别模块，用于利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；
第二获取模块，用于根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；
判断模块，用于根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。
可选的，所述识别模块，用于：
利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
利用所述训练样本训练卷积神经网络，并利用公式，
Figure BDA0001983332710000061
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure BDA0001983332710000071
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure BDA0001983332710000072
为真值检测框的中心坐标的横坐标值；
Figure BDA0001983332710000073
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure BDA0001983332710000074
为真值检测框的宽；hi为检测框的高；
Figure BDA0001983332710000075
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
利用公式，
Figure BDA0001983332710000076
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure BDA0001983332710000077
为真值标签；clsloss2为背景类别误差；
Figure BDA0001983332710000078
为第i个锚点对应的第j个检测框是否有对应目标；
利用公式，
Figure BDA0001983332710000079
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure BDA00019833327100000710
为第i个锚点中第c类的真值置信度；
利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。
可选的，所述装置还包括，提醒模块，用于
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
可选的，所述识别模块，用于：
根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；
根据预设的学习率，利用公式，
Figure BDA0001983332710000081
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w″1为第二位移权重矩阵；w″2为第二尺度变化矩阵；γ为学习率；w′1为第一位移权重矩阵；w′2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；
根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
可选的，所述第二获取模块，用于：
将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。
可选的，所述方法还包括：第三获取模块，用于：
获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；
通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；
利用公式，
Figure BDA0001983332710000091
计算当前车辆与目标车辆的碰撞时间，其中，
tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；
判断所述碰撞时间是否小于第四预设阈值；
若是，执行预设操作；
若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。
本发明相比现有技术具有以下优点：
应用本发明实施例，在图像感知的基础上，通过记录当前车辆与前车的相对运动轨迹，实现前车并线预警功能，高速行驶时及时提醒驾驶员前车并线意图或危险驾驶，进而提高了行车安全性。
附图说明
图1为本发明实施例提供的一种基于视觉感知技术的车辆感知方法的流程示意图；
图2为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中所训练的神经网络的结构示意图；
图3为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中目标车辆识别的原理示意图；
图4为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中目标车辆到当前车辆的距离，与目标车辆宽度之间的函数关系；
图5为本发明实施例提供的一种基于视觉感知技术的车辆感知装置的结构示意图。
具体实施方式
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
本发明实施例提供了一种基于视觉感知技术的车辆感知方法及装置，下面首先就本发明实施例提供的一种基于视觉感知技术的车辆感知方法进行介绍。
图1为本发明实施例提供的一种基于视觉感知技术的车辆感知方法的流程示意图；图2为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中所训练的神经网络的结构示意图；如图2和图2所示，所述方法包括：
S101：获取当前车辆周围的视频图像。
车载像机的安装位置位于当前车辆车顶部的中央位置，相机成像的中心点正对当前车辆正前方的中央位置。然后使用该相机进行当前车辆周围的视频图像的拍摄。
在实际应用中，车辆周围的图像可以包括：车辆正前方的图像，车辆左前方图像，车辆右前方图像。
S102：利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆。
具体的，可以S102步骤可以包括以下步骤：
A：利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
B：在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
C：利用所述训练样本训练卷积神经网络，并利用公式，
Figure BDA0001983332710000111
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure BDA0001983332710000121
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure BDA0001983332710000122
为真值检测框的中心坐标的横坐标值；
Figure BDA0001983332710000123
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure BDA0001983332710000124
为真值检测框的宽；hi为检测框的高；
Figure BDA0001983332710000125
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
D：利用公式，
Figure BDA0001983332710000126
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure BDA0001983332710000127
为真值标签；clsloss2为背景类别误差；
Figure BDA0001983332710000128
为第i个锚点对应的第j个检测框是否有对应目标；
E：利用公式，
Figure BDA0001983332710000129
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure BDA00019833327100001210
为第i个锚点中第c类的真值置信度；
F：利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
G：利用上述步骤训练卷积神经网络直至所述卷积神经网络收敛；如果卷积神经网络不收敛，根据预设的学习率更新卷积神经网络的超参数，然后再次进行训练，直至卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。其中每轮训练batch大小为64幅图像，分成16份输入到卷积神经网络中。
应用训练好的卷积神经网络获得待检测样本的卷积特征，经过目标识别网络的输出层计算，输出针对该目标车辆的识别结果，识别结果中包括了目标车辆的二维坐标、目标车辆的置信度、目标车辆的类别。
现有的前车碰撞预警系统一般基于前方车辆的阴影区域，进行车辆位置检测，该方法容易随光线的强度影响。而使用传统的机器学习的检测方法(如：adaboost，集成学习算法)，由于人工特征的局限性：如哈尔特征或者方向梯度直方图特征具有适应范围，即不同的特征只有针对特定应用场景才有效，进而导致车辆的检出率和误检率较高，容易产生误警和虚警。在本发明实施例中，使用卷积神经网络，可以提高检测的准确性和召回率。
卷积神经网络的两个检测分支分别从卷积特征网络的不同深度的层引出，如图2所示；特征矩阵设置不同的锚点检测框，如表1所示，分别负责检测大尺度和小尺度目标车辆。表1为不同批次的训练样本对应的锚点检测框尺寸：
表1
Figure BDA0001983332710000131
Figure BDA0001983332710000141
可以理解的是，不同尺寸的锚点检测框对应不同尺寸的待检测目标；通常情况下，更大的锚点检测框对应更大尺寸的待检测目标。
H：根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，以目标车辆位置的矩形框中心为基准，将该矩形框的宽和高分别向周围扩展为原来宽和高的1.5倍，并将扩展后的矩形框作为基准样本切片。将基准样本切片以像素为单位在x方向上移动至当前帧图像的最左侧，得到第一行矩阵元素，然后将基准样本切片以像素为单位在y方向上向下移位一次，然后将基准样本切片以像素为单位在x方向上移动至当前帧图像的最左侧，得到二行矩阵元素；然后将基准样本切片以像素为单位在y方向上向下移位一次，以此类推，得到第一样本矩阵集A1。将目标车辆对应的基准样本切片以±0.05倍为梯度，分别缩放16次，得到32个不同尺度的样本，作为第二样本矩阵集A2；利用二维高斯函数产生与第一样本矩阵集对应的第一标签矩阵y1，如下式所示：
Figure BDA0001983332710000142
其中，
A为幅值，且A＝1；σx为表示基准样本切片向周围扩展的大小，且σx＝σy＝5.1；x0为表示高高斯函数的中心位于标签矩阵的中央的位置在x轴上的坐标值；y0为高斯函数的中心位于标签矩阵的中央的位置在y轴上的坐标值；x为表示标签矩阵各点对应的点在x轴上的坐标值；y为标签矩阵各点对应的点在y轴上的坐标值。
利用一维高斯函数产生与第二样本矩阵集对应的第二标签矩阵，如下式所示：
Figure BDA0001983332710000143
其中，
a为表示幅值，且a＝1；表示c为正样本的区域大小，且c＝4.0；表b为高斯函数的中心位于标签矩阵的中央的点的坐标；x表示为标签矩阵各点对应的点在x轴上的坐标值。
在标签矩阵中，越靠近中心，标签值越大，该点对应的样本集中的样本为正样本的可能性越大。其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
例如，图3为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中目标车辆识别的原理示意图，如图3所示，以第一帧图像为基础，利用卷积神经网络检测输出的目标的位置，当有目标检出时，切换到目标跟踪算法。跟踪算法根据第一帧的目标位置信息，通过在x和y方向循环移位目标切片，产生第一样本矩阵集A1和第二样本矩阵A2，并用高斯函数产生第一标签矩阵y1和第二标签矩阵y2。
I：根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵，利用脊回归算法进行训练得到第一位移权重矩阵w1和第一尺度变化矩阵w2，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息，其中，
(1)根据下式训练第一位移权重矩阵：
Figure BDA0001983332710000151
Figure BDA0001983332710000152
为最小值求值函数；|| ||为二范数函数；A1为第一样本矩阵；w1为第一位移权重矩阵；y1为第一标签矩阵；λ1为正则化权重，以防止第一位移权重矩阵w1过于复杂，导致过拟合。
(2)根据下式训练第一尺度变化矩阵
Figure BDA0001983332710000153
Figure BDA0001983332710000161
为最小值求值函数；|| ||为二范数函数；A2为第二样本矩阵；w2为第一尺度变化矩阵；y2为第二标签矩阵；λ2为正则化权重，以防止第一尺度变化矩阵w2过于复杂，导致过拟合。
根据训练好的第一位移权重矩阵w1和第一尺度变化矩阵w2，对当前帧的下一帧图像，即第二帧图像中目标车辆切片进行检测并确定目标的位置和尺度信息。为了节省计算量，先根据第一位移权重矩阵w1，计算下一阵目标的最佳位移位置，再以该位置为基准，根据第二尺度变化矩阵w2，计算最佳尺度。
J：根据预设的学习率，利用公式，
Figure BDA0001983332710000162
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w″1为更新后的第一位移权重矩阵；w″2为更新后的第一尺度变化矩阵；γ为学习率；w′1为更新前的第一位移权重矩阵；w′2为更新前的第一尺度变化矩阵；w1为利用当前帧训练得到的第一位移权重矩阵；w2为利用当前帧训练得到第一尺度变化矩阵。
K：根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值，如0.7；
需要说明的是，最大响应值的获取方法为现有技术，这里不再赘述。
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
S103：根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域。
将当前车辆的中心线两侧第一设定距离d1，以及当前车辆前方第二设定距离d2所形成的区域作为当前车辆前方的安全区域。
车载像机的安装位置位于车顶部的中央位置，相机成像的中心点对应于车辆正前方的中央位置，从图像x方向的中央位置向左右扩展距离d1，即第一设定距离；并向前方延伸距离d2，即第二设定距离，如果车辆进入该区域，则认为前车正在并线，预警系统及时作出提醒。对于单目相机而言，扩展距离d1和延伸距离d2的关系，图4为本发明实施例提供的一种基于视觉感知技术的车辆感知方法中目标车辆到当前车辆的距离，与目标车辆宽度之间的函数关系，如图4所示，图4中横坐标为目标车辆到当前车辆的距离；纵坐标为目标车辆宽度。
S104：根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。
前车并线预警：如果前方车辆进入当前车道线，驾驶员需要提前预判是否避让，如果当前车辆与前方车辆的相对速度较高，或前车以较大的速度和角度突然并线，后车将无法在一定时间内避让，酿成车祸。
采用机器学习领域的相关滤波算法，使用卷积神经网络算法进行目标车辆检测，进而可以根据对目标空间上下文信息融合，实现对前车自适应尺度跟踪，并记录历史轨迹。该模块与上述的车辆检测模块连接，当跟丢目标车辆时，及时切换到检测算法，重新检测。
应用本发明图1所示实施例，在图像感知的基础上，通过记录当前车辆与前车的相对运动轨迹，实现前车并线预警功能，高速行驶时及时提醒驾驶员前车并线意图或危险驾驶，进而提高了行车安全性。
实施例2
本发明实施例2与本发明实施例1的区别在于，在本发明图1所示实施例的基础上，在所述目标车辆为非机动车时，所述方法还包括
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
基于图像和雷达感知系统。由于雷达信息不能模仿人眼的视觉感知，无法对道路环境中的目标(如：机动车、非机动车)进行有效区分，获得的信息有限。而本发明实施例采用在卷积神经网络中设置目标车辆尺寸，进而进行小目标的识别，进而可以检测出非机动车和/或行人，在安全区域出现非机动车和/或行人时进行预警，进一步提高了行车安全性。
实施例3
本发明实施例3与本发明实施例1的区别在于，在本发明图1所示实施例的基础上，在所述方法还包括：
获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；
通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；
利用公式，
Figure BDA0001983332710000181
计算当前车辆与目标车辆的碰撞时间，其中，
tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；
判断所述碰撞时间是否小于第四预设阈值；
若是，执行预设操作；
若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。
在本发明实施例中，表2为预警级别及预设操作的对应关系，如表2所示，
表2
Figure BDA0001983332710000191
应用本发明实施例，可以进行车辆碰撞时间小于第四预设阈值时进行预警，相对于需要安装测速仪进行碰撞时间预警，减少了设备的安装成本。
与本发明图1所示实施例相对应，本发明实施例还提供了一种基于视觉感知技术的车辆感知装置。
图5为本发明实施例提供的一种基于视觉感知技术的车辆感知装置的结构示意图，如图5所示，所述装置包括：
第一获取模块501，用于获取当前车辆周围的视频图像；
识别模块502，用于利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；
第二获取模块503，用于根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；
判断模块503，用于根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。
应用本发明图5所示实施例，在图像感知的基础上，通过记录当前车辆与前车的相对运动轨迹，实现前车并线预警功能，高速行驶时及时提醒驾驶员前车并线意图或危险驾驶，进而提高了行车安全性。
在本发明实施例的一种具体实施方式中，所述识别模块502，用于：
利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
利用所述训练样本训练卷积神经网络，并利用公式，
Figure BDA0001983332710000201
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure BDA0001983332710000202
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure BDA0001983332710000203
为真值检测框的中心坐标的横坐标值；
Figure BDA0001983332710000204
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure BDA0001983332710000205
为真值检测框的宽；hi为检测框的高；
Figure BDA0001983332710000206
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
利用公式，
Figure BDA0001983332710000211
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure BDA0001983332710000212
为真值标签；clsloss2为背景类别误差；
Figure BDA0001983332710000213
为第i个锚点对应的第j个检测框是否有对应目标；
利用公式，
Figure BDA0001983332710000214
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure BDA0001983332710000215
为第i个锚点中第c类的真值置信度；
利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。
在本发明实施例的一种具体实施方式中，所述装置还包括，提醒模块，用于
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
在本发明实施例的一种具体实施方式中，所述识别模块502，用于：
根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；
根据预设的学习率，利用公式，
Figure BDA0001983332710000221
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w″1为第二位移权重矩阵；w″2为第二尺度变化矩阵；γ为学习率；w′1为第一位移权重矩阵；w′2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；
根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
在本发明实施例的一种具体实施方式中，所述第二获取模块503，用于：
将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。
在本发明实施例的一种具体实施方式中，第三获取模块，用于：
获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；
通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；
利用公式，
Figure BDA0001983332710000231
计算当前车辆与目标车辆的碰撞时间，其中，
tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；
判断所述碰撞时间是否小于第四预设阈值；
若是，执行预设操作；
若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于视觉感知技术的车辆感知方法，其特征在于，所述方法包括：
1)、获取当前车辆周围的视频图像；
2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；
3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；
4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合；
所述步骤2)，包括：
根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；
根据预设的学习率，利用公式，
Figure FDA0003824461360000011
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w”1为第二位移权重矩阵；w”2为第二尺度变化矩阵；γ为学习率；w'1为第一位移权重矩阵；w'2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；
根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
2.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述卷积神经网络的训练过程包括：
利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
利用所述训练样本训练卷积神经网络，并利用公式，
Figure FDA0003824461360000021
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure FDA0003824461360000031
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure FDA0003824461360000032
为真值检测框的中心坐标的横坐标值；
Figure FDA0003824461360000033
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure FDA0003824461360000034
为真值检测框的宽；hi为检测框的高；
Figure FDA0003824461360000035
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
利用公式，
Figure FDA0003824461360000036
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure FDA0003824461360000037
为真值标签；clsloss2为背景类别误差；
Figure FDA0003824461360000038
为第i个锚点对应的第j个检测框是否有对应目标；
利用公式，
Figure FDA0003824461360000039
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure FDA00038244613600000310
为第i个锚点中第c类的真值置信度；
利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。
3.根据权利要求2所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述目标车辆为非机动车时，所述方法还包括：
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
4.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述步骤3)，包括：
将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。
5.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述方法还包括：
获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；
通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；
利用公式，
Figure FDA0003824461360000041
计算当前车辆与目标车辆的碰撞时间，其中，
tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；
判断所述碰撞时间是否小于第四预设阈值；
若是，执行预设操作；
若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。
6.一种基于视觉感知技术的车辆感知装置，其特征在于，所述装置包括：
第一获取模块，用于获取当前车辆周围的视频图像；
识别模块，用于利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；
第二获取模块，用于根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；
判断模块，用于根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合；
所述识别模块，用于：
根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；
根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；
根据预设的学习率，利用公式，
Figure FDA0003824461360000061
对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，
w1”为第二位移权重矩阵；w'2'为第二尺度变化矩阵；γ为学习率；w1'为第一位移权重矩阵；w'2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；
根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；
若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；
若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。
7.根据权利要求6所述的一种基于视觉感知技术的车辆感知装置，其特征在于，所述识别模块，用于：
利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；
在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；
利用所述训练样本训练卷积神经网络，并利用公式，
Figure FDA0003824461360000071
计算当前次迭代时所述卷积神经网络的定位误差损失，其中，
locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；
Figure FDA0003824461360000072
为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；
Figure FDA0003824461360000073
为真值检测框的中心坐标的横坐标值；
Figure FDA0003824461360000074
为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；
Figure FDA0003824461360000075
为真值检测框的宽；hi为检测框的高；
Figure FDA0003824461360000076
为真值检测框的高；locloss2为标注的检测结果的定位误差损失；
利用公式，
Figure FDA0003824461360000077
计算当前次迭代的卷积神经网络的分类误差损失，其中，
clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；
Figure FDA0003824461360000078
为真值标签；clsloss2为背景类别误差；
Figure FDA0003824461360000079
为第i个锚点对应的第j个检测框是否有对应目标；
利用公式，
Figure FDA00038244613600000710
计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，
confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；
Figure FDA00038244613600000711
为第i个锚点中第c类的真值置信度；
利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，
Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；
直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。
8.根据权利要求7所述的一种基于视觉感知技术的车辆感知装置，其特征在于，所述装置还包括，提醒模块，用于
在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，
在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。
CN201910157309.4A 2019-03-01 2019-03-01 一种基于视觉感知技术的车辆感知方法及装置 Active CN109919074B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910157309.4A CN109919074B (zh) 2019-03-01 2019-03-01 一种基于视觉感知技术的车辆感知方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910157309.4A CN109919074B (zh) 2019-03-01 2019-03-01 一种基于视觉感知技术的车辆感知方法及装置

Publications (2)

Publication Number Publication Date
CN109919074A CN109919074A (zh) 2019-06-21
CN109919074B true CN109919074B (zh) 2022-11-04

Family

ID=66962978

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910157309.4A Active CN109919074B (zh) 2019-03-01 2019-03-01 一种基于视觉感知技术的车辆感知方法及装置

Country Status (1)

Country Link
CN (1) CN109919074B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110556024B (zh) * 2019-07-18 2021-02-23 华瑞新智科技（北京）有限公司 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质
CN112347819B (zh) * 2019-08-08 2022-05-17 魔门塔(苏州)科技有限公司 一种基于全图与局部检测的车辆路径变换方法及装置
CN111002980B (zh) * 2019-12-10 2021-04-30 苏州智加科技有限公司 基于深度学习的道路障碍物轨迹预测方法和系统
TWI757964B (zh) * 2020-01-31 2022-03-11 神達數位股份有限公司 行車警示方法及系統與電腦程式產品
US11383733B2 (en) 2020-01-31 2022-07-12 Mitac Digital Technology Corporation Method and system for detecting a dangerous driving condition for a vehicle, and non-transitory computer readable medium storing program for implementing the method
CN112270286B (zh) * 2020-11-09 2024-05-10 北京机电工程研究所 一种抗阴影干扰的单色视频目标跟踪方法
CN114091626B (zh) * 2022-01-19 2022-04-22 浙江吉利控股集团有限公司 真值检测方法、装置、设备及存储介质
CN114913695B (zh) * 2022-06-21 2023-10-31 上海西井科技股份有限公司 基于ai视觉的车辆逆行检测方法、系统、设备及存储介质
CN115713500A (zh) * 2022-11-07 2023-02-24 广州汽车集团股份有限公司 一种视觉感知方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028255A1 (zh) * 2016-08-11 2018-02-15 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN108376235A (zh) * 2018-01-15 2018-08-07 深圳市易成自动驾驶技术有限公司 图像检测方法、装置及计算机可读存储介质
CN109334563A (zh) * 2018-08-31 2019-02-15 江苏大学 一种基于道路前方行人和骑行者的防碰撞预警方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Fast R-CNN的车辆目标检测;曹诗雨等;《中国图象图形学报》;20170516(第05期);全文 *
基于信息融合的智能车障碍物检测方法;陆峰等;《计算机应用》;20171220;全文 *

Also Published As

Publication number Publication date
CN109919074A (zh) 2019-06-21

Similar Documents

Publication Publication Date Title
CN109919074B (zh) 一种基于视觉感知技术的车辆感知方法及装置
CN107972662B (zh) 一种基于深度学习的车辆前向碰撞预警方法
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
JP7090105B2 (ja) 珍しい事例の分類
CN107576960B (zh) 视觉雷达时空信息融合的目标检测方法及系统
US8812226B2 (en) Multiobject fusion module for collision preparation system
CN106980813B (zh) 机器学习的注视生成
Kim et al. Robust lane detection based on convolutional neural network and random sample consensus
US9767368B2 (en) Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system
US11327178B2 (en) Piece-wise network structure for long range environment perception
Wei et al. Vision-based lane-changing behavior detection using deep residual neural network
CN110738081B (zh) 异常路况检测方法及装置
JP4521642B2 (ja) 車両周辺監視装置、車両、車両周辺監視プログラム
CN108960083B (zh) 基于多传感器信息融合的自动驾驶目标分类方法及系统
DE102010005290A1 (de) Vereinigungsmodul für mehrere Objekte für ein Kollisionsvorbereitungssystem
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
CN113435237A (zh) 物体状态识别装置、识别方法和识别用程序以及控制装置
EP3674972A1 (en) Methods and systems for generating training data for neural network
CN112810619A (zh) 基于雷达的辅助驾驶系统前方目标车辆识别方法
JP7226368B2 (ja) 物体状態識別装置
Kim et al. An intelligent and integrated driver assistance system for increased safety and convenience based on all-around sensing
Álvarez et al. Perception advances in outdoor vehicle detection for automatic cruise control
Li et al. Composition and application of current advanced driving assistance system: A review
CN113611008B (zh) 一种车辆行驶场景采集方法、装置、设备及介质
Lai et al. Sensor fusion of camera and MMW radar based on machine learning for vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant