CN107609483B - 面向驾驶辅助系统的危险目标检测方法、装置 - Google Patents

面向驾驶辅助系统的危险目标检测方法、装置 Download PDF

Info

Publication number
CN107609483B
CN107609483B CN201710696755.3A CN201710696755A CN107609483B CN 107609483 B CN107609483 B CN 107609483B CN 201710696755 A CN201710696755 A CN 201710696755A CN 107609483 B CN107609483 B CN 107609483B
Authority
CN
China
Prior art keywords
distance
target
preset
dangerous
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710696755.3A
Other languages
English (en)
Other versions
CN107609483A (zh
Inventor
赵冬斌
陈亚冉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201710696755.3A priority Critical patent/CN107609483B/zh
Publication of CN107609483A publication Critical patent/CN107609483A/zh
Application granted granted Critical
Publication of CN107609483B publication Critical patent/CN107609483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及智能驾驶领域，具体提出了一种面向驾驶辅助系统的危险目标检测方法、装置，旨在解决现场复杂交通场景下危险目标检测精度低的问题。为此目的，本发明中的危险目标检测方法，通过依据预设的危险目标检测模型，识别所获取的车体外部图像中的危险目标的检测框位置以及目标类别和距离类别的笛卡尔积；依据笛卡尔积和危险等级匹配表，获取目标的危险等级；依据危险等级对应的颜色标注图像中目标的检测框。同时本发明中的危险目标检测装置、存储及处理装置，可以执行上述危险目标检测方法中的各步骤。本发明中的技术方案，可以在现实复杂交通场景下，提升基于图像的危险目标检测的精准度，有预防交通事故的作用。

Description

面向驾驶辅助系统的危险目标检测方法、装置
技术领域
本发明涉及智能驾驶领域，具体涉及一种面向驾驶辅助系统的危险目标检测方法、装置。
背景技术
危险目标检测技术是驾驶辅助系统的关键技术之一，可以提醒驾驶员行驶过程中潜在的危险目标，减少驾驶员因疲劳过度而发生的交通事故。在先进的驾驶辅助系统中，雷达和相机融合技术是检测危险目标的主流方向。相机用于检测目标，雷达用于测量目标距离，根据距离进一步判断危险目标。但是其检测效果过分依赖于雷达测距的精度，高精度的激光雷达价格太昂贵，无法实现大批商用；价格较低的毫米波雷达测距的精度又易受天气的影响。当天气情况较差或者道路的环境过于复杂时，用雷达来测量目标距离往往难以达到理想的测量精度。
因此面对各种天气情况和复杂的道路环境，基于图像的危险目标检测方法是智能驾驶中一种有效的且低成本的方法。目前已有的基于单目图像的辅助驾驶系统一般采用简单的算法，例如几何比例关系，但是此算法不适用于不同姿态不同形状的物体，漏检率高、安全性低。
因此有必要提出一种基于图像的高精度的危险目标检测方法，获取驾驶员行驶过程中的危险目标，并提醒驾驶员，预防交通事故发生。
发明内容
为了解决现有技术中的上述问题，即为了解决现实复杂交通场景下危险目标检测精度低的问题，本发明的一方面，提出了一种面向驾驶辅助的危险目标检测方法，包括：
获取车体外部的图像；
依据预设的危险目标检测模型，识别所述图像中的危险目标；所述预设的危险目标检测模型为基于深度卷积神经网络构建的检测模型；
其中，“依据预设的危险目标检测模型，识别所述图像中的危险目标”具体包括下述步骤：
获取所述预设的危险目标检测模型的预测结果；所述预测结果包括所述图像所包含目标的检测框位置和笛卡尔积；所述笛卡尔积为所述图像中目标的目标类别与距离类别的笛卡尔积；
依据所述笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级；所述预设的危险等级匹配表包括预设的各距离类别，以及所述预设的各距离类别对应的危险等级；
依据所述匹配出的危险等级对应的颜色，标注所述图像中目标的检测框。
优选地，在“依据预设的危险目标检测模型，识别所述图像中的危险目标”的步骤之前还包括对所述危险目标检测模型进行优化训练的步骤，具体为：
获取样本图像中目标的三维空间距离，依据所述三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别；所述预设的距离类别匹配表包括所述预设的各距离类别，以及所述预设的各距离类别对应的水平距离范围和垂直距离范围；
将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像；
依据所述优化后的样本图像，对深度卷积神经网络进行网络训练，得到所述危险目标检测模型。
优选地，所述预设的距离类别匹配表包括八个距离类别，具体为：
距离类别d1，其对应的水平距离范围为|dh|≤a，垂直距离范围为dv≤b1；
距离类别d2，其对应的水平距离范围为|dh|＞a，垂直距离范围为dv≤b1；
距离类别d3，其对应的水平距离范围为|dh|≤a，垂直距离范围为b1＜dv≤b2；
距离类别d4，其对应的水平距离范围为|dh|＞a，垂直距离范围为b1＜dv≤b2；
距离类别d5，其对应的水平距离范围为|dh|≤a，垂直距离范围为b2＜dv≤b3；
距离类别d6，其对应的水平距离范围为|dh|＞a，垂直距离范围为b2＜dv≤b3；
距离类别d7，其对应的水平距离范围为|dh|≤a，垂直距离范围为b3＜dv≤b4；
距离类别d8，其对应的水平距离范围为|dh|＞a，垂直距离范围为b3＜dv≤b4；
其中，所述dh和dv分别表示在以预设相机为原点的直角坐标系下的水平距离和垂直距离，所述a为水平距离阈值，所述b1,b2,b3,b4均为垂直距离阈值，且b1＜b2＜b3＜b4。
优选地，所述预设的危险等级匹配表中的危险等级包括高、中、低和安全；
所述距离类别d1对应的危险等级为高；
所述距离类别d2和距离类别d3对应的危险等级为中；
所述距离类别d4和距离类别d5对应的危险等级为低；
所述距离类别d6、距离类别d7、距离类别d8对应的危险等级为安全。
优选地，“依据所述优化后的样本图像，对深度卷积神经网络进行网络训练”的步骤具体包括：按照下式所示的损失函数LM对深度卷积神经网络进行网络训练：
Figure BDA0001379338130000031
其中，所述Lloc为预测样本图像中目标检测框位置的损失函数，所述为
Figure BDA0001379338130000032
为识别样本图像中笛卡尔积的损失函数，所述损失函数
Figure BDA0001379338130000033
为交叉熵损失函数。
优选地，所述损失函数
Figure BDA0001379338130000034
为交叉熵损失函数。
本发明的第二方面，提出了一种面向驾驶辅助系统的危险目标检测装置，其特征在于，所述装置包括：
获取模块，配置为获取车体外部图像；
识别模块，配置为依据预设的危险目标检测模型，识别所述图像中的危险目标；所述预设的危险目标检测模型为基于深度卷积神经网络构建的检测模型；
其中，所述识别模块还包括：
预测单元，配置为获取所述预设的危险目标检测模型的预测结果；所述预测结果包括所述图像所包含目标的检测框位置和笛卡尔积；所述笛卡尔积为所述图像中目标的目标类别与距离类别的笛卡尔积；
匹配单元，配置为依据所述笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级；所述预设的危险等级匹配表包括预设的各距离类别，以及所述预设的各距离类别对应的危险等级；
标注单元，配置为依据所述匹配出的危险等级对应的颜色，标注所述图像中目标的检测框。
优选地，所述危险目标检测装置还包括优化训练模块，所述优化训练模块，配置为对所述危险目标检测模型进行优化训练；
所述优化训练模块包括：
距离类别匹配单元，配置为获取样本图像中目标的三维空间距离，依据所述三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别；所述预设的距离类别匹配表包括所述预设的各距离类别，以及所述预设的各距离类别对应的水平距离范围和垂直距离范围；
设置单元，配置为将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像；
训练单元，配置为依据所述优化后的样本图像，对深度卷积神经网络进行网络训练，得到所述危险目标检测模型。
本发明的第三方面，提出了一种存储装置，其中存储有多条程序，适用于由处理器加载并执行以实现上述技术方案所述的面向驾驶辅助的危险目标检测方法。
本发明的第四方面，提出了一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
所述程序适于由处理器加载并执行以实现上述技术方案所述的面向驾驶辅助的危险目标检测方法。
与最接近的现有技术相比，上述技术方案至少具有以下有益效果：
1、本发明的危险目标检测方法中，依据预设的危险目标检测模型获取目标检测框的位置和目标类别与距离类别的笛卡尔积；依据笛卡尔积和预设的危险等级匹配表获取目标的危险等级。在对目标的检测过程中，通过危险目标检测模型的构建以及危险等级匹配表和距离类别匹配表的构建，将距离的回归问题转化为距离分类问题，无需测量待检测目标具体的位置坐标，减小了目标危险等级的预测难度，提升了检测的精度。
2、本发明的危险目标检测方法中，采用的笛卡尔积损失函数为交叉熵损失函数，使得输出结果相对于目标真实标签的概率值最大，精度最高。
3、本发明的危险目标检测方法为基于图像的检测方法，在保持精准度的同时避免了使用价格昂贵的高精度雷达，使其危险目标的检测费用更加低廉。
4、本发明的危险目标检测方法中，通过在不同的特征图中提取候选检测框可以检测到不同大小的物体，漏检率低。
5、本发明的危险目标检测方法中，采用在特征卷积层上面提取不同比例的候选检测框，可以检测不同长宽比例的待检测目标，更加适用于不同姿态不同形状的物体，进一步提高了检测的精准度。
6、本发明的危险目标检测方法中，采用不同颜色标注危险目标的危险等级，通过可视化界面的提示，标定出危险目标在图像中的具体位置，使其危险目标的检测结果更加直观。
附图说明
图1是本发明实施例中面向驾驶辅助系统的危险目标检测方法的主要步骤示意图；
图2是本发明实施例中现实交通场景下车体外部图像的示意图；
图3是本发明实施例中目标类别和距离类别的笛卡尔积类别示意图；
图4是本发明实施例中对危险目标检测模型进行优化训练的主要步骤示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
下面结合附图，对本发明实施例中面向驾驶辅助系统的危险目标检测方法进行说明。
参阅附图1，图1示例性示出了本实施例中面向驾驶辅助系统的危险目标检测方法的主要步骤。如图1所示，本实施例中面向驾驶辅助系统的危险目标检测方法可以包括步骤S101和步骤S102。
步骤S101：获取车体外部的图像。
具体地，可以通过车载相机获取车体外部图像。
步骤S102：依据预设的危险目标检测模型，识别图像中的危险目标。
具体地，本实施例中可以按照下述步骤识别步骤S101中所获取图像的危险目标：：
步骤S1021：获取预设的危险目标检测模型的预测结果。其中，预测结果包括图像所包含目标的检测框位置和笛卡尔积，笛卡尔积为图像中目标的为目标类别与距离类别的笛卡尔积。
步骤S1022：依据笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级。其中，预设的危险等级匹配表包括预设的各距离类别，以及预设的各距离类别对应的危险等级。
步骤S1023：依据匹配出的危险等级对应的颜色，标注所述图像中目标的检测框。
本实施例中，预设的危险目标检测模型为深度卷积神经网络构建的检测模型，该模型框架有3部分组成：卷积神经网络(convolutional neural network,CNN)，提取候选框部分和检测部分。该预设的危险目标检测模型有多个卷积层堆叠构成，为了提取更有效的特征和减少训练时间，采用ImageNet预训练网络Oxford VGG Network作为初始网络提取特征，为了多尺度提取目标后面又增加8层卷积，最后该预设的危险目标检测模型包21个卷积层和6个池化层。为了说明该预设的危险目标检测模型的网络结构，分别用Conva(kh,kw,In,Out,pad)，Poolb表示第a个卷积层和b个池化层，a＝1,2,...,21，b＝1,2,...,6，其中用卷积层包含四个重要的参数(kh,kw,In,Out,pad)，分别表示卷积模板的长，宽，输入通道数，输出通道数和填充尺寸。那么模型中CNN部分的结构可以简单的用卷积层和池化层堆叠表示：Conv1(3,3,3,64,1)->Conv2(3,3,64,64,1)->Pool1->Conv3(3,3,64,128,1)->Conv4(3,3,128,128,1)->Pool2->Conv5(3,3,128,256,1)->Conv6(3,3,256,256,1)->Conv7(3,3,256,256,1)->Pool3->Conv8(3,3,256,512,1)->Conv9(3,3,512,512,1)->Conv10(3,3,512,512,1)->Pool4->Conv11(3,3,512,512,1)->Conv12(3,3,512,512,1)->Conv13(3,3,512,512,1)->Pool5->Conv14(3,3,512,1024,6)->Conv15(1,1,1024,1024,1)->Conv16(1,1,1024,256,0)->Conv17(3,3,256,512,1)->Conv18(1,1,512,128,0)->Conv19(3,3,128,256,1)->Conv20(1,1,256,128,0)->Conv21(3,3,128,256,1)->Pool6。其中网络中的池化层都是采用均值的下采样算法，池化大小为2×2。
图像经过每一个卷积层和池化层之后都会得到一层二维图像特征图，这些图像特征图包含目标类别的特征信息。对于一个给定的输入图像
Figure BDA0001379338130000071
由CNN提取图像特征图z如下式(1)所示：
z＝cnnfpvgg(x,θvgg) (1)
其中，x为给定的输入图像，
Figure BDA0001379338130000072
为在m×n的矩阵范围内的正实数，cnnfpvgg是CNN前向传播过程，θvgg表示CNN的网络参数。
本实施例中，从所有的特征图中选取7层特征图用来提取候选检测框，它们分别是图像经过Conv10，Conv14，Conv15，Conv17，Conv19，Conv21和Pool6后得到的特征图，用zk，k＝1,2,...,7表示。因为存在池化层，池化操作会使特征图变小。不同层的特征图中的每个像素点对于与原图的区域不同，即感受野不同，经过池化层越多，感受野越大。在不同的特征图中提取候选检测框可以检测到不同大小的物体。
考虑待检测目标拥有不同的长宽比例，采用在特征卷积上面提取不同比例的候选检测框。候选检测框集包含5个不同长宽比：(1/3,1/2,1,2,3)，以适应不同的长宽比例的物体。经过某一卷积之后得到特征图zk，zk包含的特征图个数用N表示，每一个特征图的长宽用W和H表示。候选检测框是从每个特征图的每个像素点提取的。候选检测框的中心点坐标是特征图的每个像素点，所以从中zk提取到的候选检测框的个数为：W×H×N×5，其中5表示每个像素点提取5个不同长宽比例的候选检测框。
提取到的候选检测框通过非最大值抑制算法筛选出置信度高的候选检测框。对于筛选出的一个候选检测框zb，经过检测得到目标检测框的位置、目标类别和距离类别的笛卡尔积的预测结果，如下式(2)所示：
Figure BDA0001379338130000081
其中，zb为筛选出的候选检测框，
Figure BDA0001379338130000082
表示检测模型用于检测候选框zb，θDet为该危险目标检测模型的参数，v为目标检测框的位置，v＝(vx,vy,vw,vh)，vx,vy,vw,vh分别为预测检测框的横坐标，纵坐标，宽度和高度，
Figure BDA0001379338130000083
为目标类别和距离类别的笛卡尔积任务的分类结果，
Figure BDA0001379338130000084
的预测结果如下式(3)所示：
Figure BDA0001379338130000085
其中，
Figure BDA0001379338130000086
是一个概率，R24×1为目标类别和距离类别的笛卡尔积集合，
Figure BDA0001379338130000087
表示候选检测框zb属于类别cidj的概率，
Figure BDA0001379338130000088
表示目标类别和距离的笛卡尔积任务中的一类。
进一步地，在“依据预设的危险目标检测模型，识别所述图像中的危险目标”的步骤之前还包括对所述危险目标检测模型进行优化训练的步骤包括步骤S201、步骤S202和步骤S203。
步骤S201，获取样本图像中目标的三维空间距离，依据三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别；预设的距离类别匹配表包括所述预设的各距离类别，以及预设的各距离类别对应的水平距离范围和垂直距离范围。
具体地，收集网上关于智能驾驶数据集KITTI，根据提供的标签信息，提取所需的目标类别及其相应的三维空间距离。KITTI是公开数据集，是通过采用安装有高清摄像头和64线激光雷达的旅行车来收集信息。KITTI数据集包含了单目图像，双目图像和雷达等信息。经过筛选，剔除和补充，得到最后的包含距离信息和目标类别的道路场景下的15000张单目图像，并将其分为训练集，验证集和测试集，三者比例为：5:3:2，其中，训练集用于训练危险目标检测模型，验证集用于距离类别的划分，测试集用于测试危险目标检测模型的性能。
考虑到根据单目图像目标距离回归预测难度大，并且相对于危险目标检测任务，只需要大概预测出目标距离，即可判断其危险等级，因此将距离回归问题转化为距离分类问题。
由于拍摄角度不同和拍摄的距离不同会影响目标的姿态、清晰度和大小，如一辆小轿车，在相机左边或右边(水平距离较远)，在图像上则展现它的侧面和小部分后面；相反若车辆在相机正前方，则它只呈现出车辆的后面。垂直距离的远近会影响目标的大小和清晰度，目标的姿态、清晰度和大小三个属性直接影响目标危险等级的检测。目标所在位置的水平距离同样会影响目标的危险性，即在相机正前方和在相机侧前方的车辆具有不同的危险等级。因此，综合考虑上述因素，本实施例中目标的距离类别按水平距离和垂直距离进行划分。
下面参阅附图2和表1对目标的距离类别的划分进行详细说明。图2示例性的示出了本发明实施例中现实交通场景下车体外部图像的示意图，表1为本发明实施例中预设的距离类别匹配表。
如图2所示，以预设的相机为原点，通过设定的水平距离阈值和垂直距离阈值对车体外部图像进行划分，可以将该图像划分为12个区域，考虑到目标的对称性，左边和右边区域对于目标的影响类似，因此12个区域可以分为8个距离类别。
如表1所示，预设的距离类别匹配表包括8个距离类别。
距离类别 d<sub>1</sub> d<sub>2</sub> d<sub>3</sub> d<sub>4</sub> d<sub>5</sub> d<sub>6</sub> d<sub>7</sub> d<sub>8</sub>
水平距离范围 |d<sub>h</sub>|≤a |d<sub>h</sub>|＞a |d<sub>h</sub>|≤a |dh|＞a |d<sub>h</sub>|≤a |d<sub>h</sub>|＞a |d<sub>h</sub>|≤a |d<sub>h</sub>|＞a
水质距离范围 d<sub>v</sub>≤b<sub>1</sub> d<sub>v</sub>≤b<sub>1</sub> b<sub>1</sub>＜d<sub>v</sub>≤b<sub>1</sub> b<sub>1</sub>＜d<sub>v</sub>≤b<sub>2</sub> b<sub>2</sub>＜d<sub>v</sub>≤b<sub>3</sub> b<sub>2</sub>＜d<sub>v</sub>≤b<sub>3</sub> b<sub>3</sub>＜d<sub>v</sub>≤b<sub>4</sub> b<sub>3</sub>＜d<sub>v</sub>≤b<sub>4</sub>
表1
预设的距离类别具体为：
距离类别d1，其对应的水平距离范围为|dh|≤a，垂直距离范围为dv≤b1；
距离类别d2，其对应的水平距离范围为|dh|＞a，垂直距离范围为dv≤b1；
距离类别d3，其对应的水平距离范围为|dh|≤a，垂直距离范围为b1＜dv≤b2；
距离类别d4，其对应的水平距离范围为|dh|＞a，垂直距离范围为b1＜dv≤b2；
距离类别d5，其对应的水平距离范围为|dh|≤a，垂直距离范围为b2＜dv≤b3；
距离类别d6，其对应的水平距离范围为|dh|＞a，垂直距离范围为b2＜dv≤b3；
距离类别d7，其对应的水平距离范围为|dh|≤a，垂直距离范围为b3＜dv≤b4；
距离类别d8，其对应的水平距离范围为|dh|＞a，垂直距离范围为b3＜dv≤b4；
其中，所述dh和dv分别表示在以预设相机为原点的直角坐标系下的水平距离和垂直距离，a为水平距离阈值，b1,b2,b3,b4均为垂直距离阈值，且b1＜b2＜b3＜b4。
本实施例中，上述距离阈值的取值分别为a＝3,b1＝5,b2＝10,b3＝20,b4＝40。
步骤S2，将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像。
具体地，本实施例中用C、D以及M分别代表目标类别、距离类别以及目标类别和距离类别的笛卡尔积。考虑到交通中常见的三类目标：车辆、形成和非机动车辆，则可以将目标类别分为三类，C＝{c1,c2,c3}；目标的距离类别为D＝{d1,d2,d3,d4,d5,d6,d7,d8}；目标类别和距离类别的笛卡尔积为
Figure BDA0001379338130000101
图3示例性示出了目标类别和距离类别的笛卡尔积类别示意图，如图3所示，该笛卡尔积包含了24个类别，每个区域内包含3个类别。
通过目标类别和距离类别的笛卡尔积运算，将目标危险等级任务预测的范围细化。每个区域内的目标在姿态、清晰度和大小上都有各自特点，这样划分不仅有助于目标精确分类，而且可以预测出目标距离，判断出危险目标。
步骤S3，依据优化后的样本图像，对深度卷积神经网络进行网络训练，得到危险目标检测模型。
具体地，将优化后的样本图像输入深度卷积神经网络中，得出该网络的损失函数，依据该网络损失函数更新该深度卷积神经网络的网络参数，最终得到危险目标检测模型。
在本实施例中，该深度卷积神经网络的损失函数LM包含了目标检测框预测损失和目标分类以及距离预测的损失，通过最小化LM，即
Figure BDA0001379338130000111
利用随机梯度下降法训练基于多任务学习的深度卷积神经网络，使该深度卷积神经网络能够学习到目标类别和距离类别预测任务的共同特征，深度卷积神经网络的损失函数LM如下式(3)所示：
Figure BDA0001379338130000112
其中，Lloc是目标检测框位置预测的损失函数，
Figure BDA0001379338130000119
是目标类别和距离类别的笛卡尔积的损失函数。
在本实施例中，采用
Figure BDA00013793381300001110
损失函数来计算预测检测框位置和真实检测框位置的误差，如下式(4)所示：
Figure BDA0001379338130000113
其中，其中t＝(tx,ty,tw,th)表示真实的检测框的标签，tx,ty,tw,th分别表示真实检测框标签的横坐标，纵坐标，宽度和高度，v＝(vx,vy,vw,vh),vx,vy,vw,vh分别表示预测的检测框标签的横坐标，纵坐标，宽度和高度，g为真实或者预测的检测框标签的横坐标、纵坐标、宽度或高度其中的一个，
Figure BDA00013793381300001111
的计算方法如下式(5)所示：
Figure BDA0001379338130000114
在本实施例中，为使输入结果相对于真实标签cidj的概率值最大、
Figure BDA0001379338130000115
最小，采用交叉熵损失计算目标类别和距离类别的笛卡尔积组成新任务的损失函数，如下式(6)所示：
Figure BDA0001379338130000116
其中，i为目标类别，i＝1,2,3；j为距离类别，j＝1,2...8；zb为筛选出的候选检测框，θDet为该危险目标检测模型的参数，
Figure BDA0001379338130000117
表示候选检测框zb属于笛卡尔积cidj的概率，
Figure BDA0001379338130000118
表示目标类别和距离的笛卡尔积任务中的一类。
进一步地，预设的危险等级匹配表中的危险等级包括高、中、低和安全。表2为预设的危险等级匹配表，如表2所示：
危险等级 高 中 低 安全
距离类别 d<sub>1</sub> d<sub>2</sub><sub>d</sub>3 d<sub>4</sub> d<sub>5</sub> d<sub>6</sub> d<sub>7</sub> d<sub>8</sub>
表2
距离类别d1对应的危险等级为高；
距离类别d2和距离类别d3对应的危险等级为中；
距离类别d4和距离类别d5对应的危险等级为低；
距离类别d6、距离类别d7、距离类别d8对应的危险等级为安全。
具体地，如图3所示，目标类别和距离类别的笛卡尔积包含了24个类别，每个区域内包含3个类别，根据预设的危险等级匹配表可知，笛卡尔积c1d1,c2d1,c3d1危险等级为高，用红色表示；笛卡尔积c1d2,c2d2,c3d2，c1d3,c2d3,c3d3危险等级为中，用黄色表示；笛卡尔积c1d4,c2d4,c3d4，c1d5,c2d5,c3d5危险等级为低，用绿色表示；笛卡尔积c1d6,c2d6,c3d6，c1d7,c2d7,c3d7，c1d8,c2d8,c3d8危险等级为安全，用蓝色表示。
基于上述面向驾驶辅助系统的危险目标检测方法的实施例，本发明还提供了一种面向驾驶辅助系统的危险目标检测装置。
本实施例中面向驾驶辅助系统的危险目标检测装置包括获取模块和识别模块。其中，获取模块可以配置为获取车体外部图像。识别模块可以配置为依据预设的危险目标检测模型，识别图像中的危险目标。预设的危险目标检测模型为基于深度卷积神经网络构建的检测模型。
具体地，本实施例中识别模块还包括预测单元、匹配单元和标注单元。
其中，预测单元可以配置为获取预设的危险目标检测模型的预测结果。预测结果包括图像所包含目标的检测框位置和笛卡尔积；笛卡尔积为图像中目标的为目标类别与距离类别的笛卡尔积。
匹配单元可以配置为依据笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级。预设的危险等级匹配表包括预设的各距离类别，以及预设的各距离类别对应的危险等级。
标注单元可以配置为依据匹配出的危险等级对应的颜色，标注所述图像中目标的检测框。
进一步地，本实施例中危险目标检测装置还包括优化训练模块，该优选训练模块包括距离类别匹配单元、设置单元和训练单元。
其中，距离类别匹配单元可以配置为获取样本图像中目标的三维空间距离，依据三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别。预设的距离类别匹配表包括预设的各距离类别，以及预设的各距离类别对应的水平距离范围和垂直距离范围。
设置单元可以配置为将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像。
训练单元可以配置为依据优化后的样本图像，对深度卷积神经网络进行网络训练，得到危险目标检测模型。
上述面向驾驶辅助系统的危险目标检测装置的实施例可以用于执行上述面向驾驶辅助系统的危险目标检测方法的实施例，其技术原理、所解决的技术问题及产生的技术效果相似，所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的面向驾驶辅助系统的危险目标检测装置的具体工作过程及有关说明，可以参考前述面向驾驶辅助系统的危险目标检测方法，在此不再赘述。
本领域技术人员可以理解，上述面向驾驶辅助系统的危险目标检测方法还包括一些其他公知结构，例如处理器、控制器、存储器等，其中，存储器包括但不限于随机存储器、闪存、只读存储器、可编程只读存储器、易失性存储器、非易失性存储器、串行存储器、并行存储器或寄存器等，处理器包括但不限于CPLD/FPGA、DSP、ARM处理器、MIPS处理器等，为了不必要地模糊本公开的实施例，这些公知的结构未示出。
本领域技术人员可以理解，可以对实施例中的装置中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个装置中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
基于上述面向驾驶辅助系统的危险目标检测方法的实施例，本发明还提供了一种存储装置。本实施例中存储装置中存储有多条程序，该程序适用于由处理器加载并执行以实现上述面向驾驶辅助系统的危险目标检测方法。
基于上述面向驾驶辅助系统的危险目标检测方法的实施例，本发明还提供了一种处理装置。本实施例中处理装置可以包括处理器和存储设备。其中，处理器适于执行各条程序，存储设备适于存储多条程序，并且这些程序适于由处理器加载并执行以实现上述面向驾驶辅助系统的危险目标检测方法。
所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述面向驾驶辅助系统的危险目标检测方法实施例中的对应过程，在此不再赘述。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，PC程序和PC程序产品)。这样的实现本发明的程序可以存储在PC可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的PC来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (7)

1.一种面向驾驶辅助系统的危险目标检测方法，其特征在于，所述方法包括：
获取车体外部的图像；
依据预设的危险目标检测模型，识别所述图像中的危险目标；所述预设的危险目标检测模型为基于深度卷积神经网络构建的检测模型；
其中，“依据预设的危险目标检测模型，识别所述图像中的危险目标”具体包括下述步骤：
获取所述预设的危险目标检测模型的预测结果；所述预测结果包括所述图像所包含目标的检测框位置和笛卡尔积；所述笛卡尔积为所述图像中目标的目标类别与距离类别的笛卡尔积；
依据所述笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级；所述预设的危险等级匹配表包括预设的各距离类别，以及所述预设的各距离类别对应的危险等级；
依据所述匹配出的危险等级对应的颜色，标注所述图像中目标的检测框；
其中，“依据预设的危险目标检测模型，识别所述图像中的危险目标”的步骤之前还包括对所述危险目标检测模型进行优化训练的步骤，具体为：
获取样本图像中目标的三维空间距离，依据所述三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别；所述预设的距离类别匹配表包括所述预设的各距离类别，以及所述预设的各距离类别对应的水平距离范围和垂直距离范围；
将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像；
依据所述优化后的样本图像，对深度卷积神经网络进行网络训练，得到所述危险目标检测模型；
其中，“依据所述优化后的样本图像，对深度卷积神经网络进行网络训练”的步骤具体包括：按照下式所示的损失函数LM对深度卷积神经网络进行网络训练：
Figure FDA0002316973780000021
其中，所述Lloc为预测样本图像中目标检测框位置的损失函数，所述为
Figure FDA0002316973780000022
为识别样本图像中笛卡尔积的损失函数。
2.根据权利要求1所述的危险目标检测方法，其特征在于，
所述预设的距离类别匹配表包括八个距离类别，具体为：
距离类别d1，其对应的水平距离范围为|dh|≤a，垂直距离范围为dv≤b1；
距离类别d2，其对应的水平距离范围为|dh|＞a，垂直距离范围为dv≤b1；
距离类别d3，其对应的水平距离范围为|dh|≤a，垂直距离范围为b1＜dv≤b2；
距离类别d4，其对应的水平距离范围为|dh|＞a，垂直距离范围为b1＜dv≤b2；
距离类别d5，其对应的水平距离范围为|dh|≤a，垂直距离范围为b2＜dv≤b3；
距离类别d6，其对应的水平距离范围为|dh|＞a，垂直距离范围为b2＜dv≤b3；
距离类别d7，其对应的水平距离范围为|dh|≤a，垂直距离范围为b3＜dv≤b4；
距离类别d8，其对应的水平距离范围为|dh|＞a，垂直距离范围为b3＜dv≤b4；
其中，所述dh和dv分别表示在以预设相机为原点的直角坐标系下的水平距离和垂直距离，所述a为水平距离阈值，所述b1,b2,b3,b4均为垂直距离阈值，且b1＜b2＜b3＜b4。
3.根据权利要求2所述的危险目标检测方法，其特征在于，
所述预设的危险等级匹配表中的危险等级包括高、中、低和安全；
所述距离类别d1对应的危险等级为高；
所述距离类别d2和距离类别d3对应的危险等级为中；
所述距离类别d4和距离类别d5对应的危险等级为低；
所述距离类别d6、距离类别d7、距离类别d8对应的危险等级为安全。
4.根据权利要求1所述的目标检测方法，其特征在于，所述损失函数
Figure FDA0002316973780000031
为交叉熵损失函数。
5.一种面向驾驶辅助系统的危险目标检测装置，其特征在于，所述装置包括：
获取模块，配置为获取车体外部图像；
识别模块，配置为依据预设的危险目标检测模型，识别所述图像中的危险目标；所述预设的危险目标检测模型为基于深度卷积神经网络构建的检测模型；
其中，所述识别模块还包括：
预测单元，配置为获取所述预设的危险目标检测模型的预测结果；所述预测结果包括所述图像所包含目标的检测框位置和笛卡尔积；所述笛卡尔积为所述图像中目标的目标类别与距离类别的笛卡尔积；
匹配单元，配置为依据所述笛卡尔积和预设的危险等级匹配表，匹配该目标的危险等级；所述预设的危险等级匹配表包括预设的各距离类别，以及所述预设的各距离类别对应的危险等级；
标注单元，配置为依据所述匹配出的危险等级对应的颜色，标注所述图像中目标的检测框；
其中，所述危险目标检测装置还包括优化训练模块，所述优化训练模块，配置为对所述危险目标检测模型进行优化训练；
所述优化训练模块包括：
距离类别匹配单元，配置为获取样本图像中目标的三维空间距离，依据所述三维空间距离和预设的距离类别匹配表，匹配该目标的距离类别；所述预设的距离类别匹配表包括所述预设的各距离类别，以及所述预设的各距离类别对应的水平距离范围和垂直距离范围；
设置单元，配置为将样本图像中所有目标的笛卡尔积设置为该样本图像的标签，得到优化后的样本图像；
训练单元，配置为依据所述优化后的样本图像，对深度卷积神经网络进行网络训练，得到所述危险目标检测模型；
其中，“依据所述优化后的样本图像，对深度卷积神经网络进行网络训练”的步骤具体包括：按照下式所示的损失函数LM对深度卷积神经网络进行网络训练：
Figure FDA0002316973780000041
其中，所述Lloc为预测样本图像中目标检测框位置的损失函数，所述为
Figure FDA0002316973780000042
为识别样本图像中笛卡尔积的损失函数。
6.一种存储装置，其中存储有多条程序，其特征在于，所述程序适用于由处理器加载并执行以实现权利要求1-4任一项所述的面向驾驶辅助系统的危险目标的检测方法。
7.一种处理装置，包括
处理器，适于执行各条程序；以及
存储设备，适于存储多条程序；
其特征在于，所述程序适于由处理器加载并执行以实现：权利要求1-4任一项所述的面向驾驶辅助系统的危险目标的检测方法。
CN201710696755.3A 2017-08-15 2017-08-15 面向驾驶辅助系统的危险目标检测方法、装置 Active CN107609483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710696755.3A CN107609483B (zh) 2017-08-15 2017-08-15 面向驾驶辅助系统的危险目标检测方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710696755.3A CN107609483B (zh) 2017-08-15 2017-08-15 面向驾驶辅助系统的危险目标检测方法、装置

Publications (2)

Publication Number Publication Date
CN107609483A CN107609483A (zh) 2018-01-19
CN107609483B true CN107609483B (zh) 2020-06-16

Family

ID=61065436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710696755.3A Active CN107609483B (zh) 2017-08-15 2017-08-15 面向驾驶辅助系统的危险目标检测方法、装置

Country Status (1)

Country Link
CN (1) CN107609483B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108445866B (zh) * 2018-03-13 2021-06-08 重庆大学 基于卷积神经网络的ldw误漏报测试方法及测试系统
CN108629309A (zh) * 2018-04-28 2018-10-09 成都睿码科技有限责任公司 基坑周围人员安全保障方法
CN109106351B (zh) * 2018-09-25 2023-05-02 齐鲁工业大学 一种基于物联网感知的人体疲劳检测与缓释系统及方法
CN111415520A (zh) * 2018-12-18 2020-07-14 北京航迹科技有限公司 处理交通目标的系统和方法
WO2020133488A1 (zh) * 2018-12-29 2020-07-02 深圳市大疆创新科技有限公司 车辆检测方法和设备
CN111753594B (zh) * 2019-03-29 2023-09-29 杭州海康威视数字技术股份有限公司 危险识别方法、装置及系统
CN110070026B (zh) * 2019-04-17 2021-01-29 中国科学院自动化研究所 基于模式识别的视频图像危险态势感知方法、系统、装置
CN110988912B (zh) * 2019-12-06 2022-12-02 青岛慧拓智能机器有限公司 自动驾驶车辆的道路目标与距离检测方法、系统、装置
CN112487907B (zh) * 2020-11-23 2022-12-20 北京理工大学 一种基于图分类的危险场景识别方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
EP2863338A2 (en) * 2013-10-16 2015-04-22 Xerox Corporation Delayed vehicle identification for privacy enforcement
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6450294B2 (ja) * 2015-09-30 2019-01-09 株式会社デンソーアイティーラボラトリ 物体検出装置、物体検出方法、及びプログラム
CN105844222B (zh) * 2016-03-18 2019-07-30 上海欧菲智能车联科技有限公司 基于视觉的前方车辆碰撞预警系统及方法
CN106250812B (zh) * 2016-07-15 2019-08-20 汤一平 一种基于快速r-cnn深度神经网络的车型识别方法
CN106599773B (zh) * 2016-10-31 2019-12-24 清华大学 用于智能驾驶的深度学习图像识别方法、系统及终端设备
CN106874840B (zh) * 2016-12-30 2019-10-22 东软集团股份有限公司 车辆信息识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103065151A (zh) * 2012-11-04 2013-04-24 北京工业大学 一种基于深度信息的车辆识别方法
EP2863338A2 (en) * 2013-10-16 2015-04-22 Xerox Corporation Delayed vehicle identification for privacy enforcement
CN104217225A (zh) * 2014-09-02 2014-12-17 中国科学院自动化研究所 一种视觉目标检测与标注方法
CN106570477A (zh) * 2016-10-28 2017-04-19 中国科学院自动化研究所 基于深度学习的车型识别模型构建方法及车型识别方法
CN106611169A (zh) * 2016-12-31 2017-05-03 中国科学技术大学 一种基于深度学习的危险驾驶行为实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Neuromorphic visual object detection for enhanced driving safety;W.S.Han 等;《2015 Science and Information Conference (SAI)》;20150903;第721-726页 *
基于计算机视觉的自动驾驶算法研究综述;张贵英 等;《贵州师范学院学报》;20160630;第32卷(第6期);第14-19页 *

Also Published As

Publication number Publication date
CN107609483A (zh) 2018-01-19

Similar Documents

Publication Publication Date Title
CN107609483B (zh) 面向驾驶辅助系统的危险目标检测方法、装置
JP6565967B2 (ja) 路上障害物検出装置，方法，およびプログラム
CN109087510B (zh) 交通监测方法及装置
US10217007B2 (en) Detecting method and device of obstacles based on disparity map and automobile driving assistance system
CN105046235B (zh) 车道线的识别建模方法和装置、识别方法和装置
US20170371329A1 (en) Multi-modal sensor data fusion for perception systems
CN106503653A (zh) 区域标注方法、装置和电子设备
CN106707293A (zh) 用于车辆的障碍物识别方法和装置
Kortli et al. A novel illumination-invariant lane detection system
CN110751012B (zh) 目标检测评估方法、装置、电子设备及存储介质
CN108764082A (zh) 一种飞机目标检测方法、电子设备、存储介质及系统
CN110889399B (zh) 基于深度学习的高分辨率遥感影像弱小目标检测方法
CN112613344B (zh) 车辆占道检测方法、装置、计算机设备和可读存储介质
CN108447094B (zh) 一种单目彩色相机的姿态估算方法及系统
CN111382658B (zh) 一种基于图像灰度梯度一致性的自然环境下道路交通标志检测方法
EP3703008A1 (en) Object detection and 3d box fitting
Chang et al. An efficient method for lane-mark extraction in complex conditions
CN111881752B (zh) 一种护栏检测分类方法、装置、电子设备及存储介质
CN103473925B (zh) 一种道路车辆检测系统的验证方法
CN114359865A (zh) 一种障碍物的检测方法及相关装置
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN112837404B (zh) 一种平面对象的三维信息的构建方法及装置
CN115683109B (zh) 基于cuda和三维栅格地图的视觉动态障碍物检测方法
CN111126154A (zh) 路面元素的识别方法、装置、无人驾驶设备和存储介质
US20220318456A1 (en) Simulation method based on three-dimensional contour, storage medium, computer equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant