CN111985388A - 行人注意力检测驾驶辅助系统、装置和方法 - Google Patents
行人注意力检测驾驶辅助系统、装置和方法 Download PDFInfo
- Publication number
- CN111985388A CN111985388A CN202010831079.8A CN202010831079A CN111985388A CN 111985388 A CN111985388 A CN 111985388A CN 202010831079 A CN202010831079 A CN 202010831079A CN 111985388 A CN111985388 A CN 111985388A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- attention
- image
- camera
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 146
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000011218 segmentation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000006399 behavior Effects 0.000 abstract description 16
- 206010039203 Road traffic accident Diseases 0.000 abstract description 8
- 238000004364 calculation method Methods 0.000 abstract description 5
- 239000013598 vector Substances 0.000 description 9
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
Abstract
行人注意力检测驾驶辅助系统、装置和方法，涉及辅助驾驶技术领域，通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，可以检测一段较远距离内的行人的注意力方向来分析其在道路上的危险等级，从而提醒驾驶员注意行人或提醒给出鸣笛或者亮灯警告，进而提醒行人规范其在道路上的行为，能检测较远距离内潜在的危险行为，并提前发出警告，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
Description
技术领域
本发明涉及辅助驾驶技术领域，具体涉及行人注意力检测驾驶辅助系统、装置和方法。
背景技术
在目前的驾驶员辅助驾驶系统中的行人检测预警中，基本上采用的车辆近距离范围内的行人碰撞预警，基本上的实现方式是通过计算车前方的行人和车子即将发生碰撞的时间(TTC)，当TTC一旦降低到一个危险值的时候，行人碰撞预警系统将向驾驶员发出预警，这种碰撞预警是在一种被动发现危险的系统反应过程，检测距离短，警告后的反应时间短，报警后可能会造成车辆的突然减速或者突然制动，大大减小了车辆舒适度和增加了后车追尾的风险，行人检测是驾驶员辅助驾驶系统的重要一个内容，但是在实际的道路行车场景中，行人的运动状态是不固定的并且行人在道路上的视线范围是有限的，在道路上的行走途中(例如行人边走边玩手机)可能并未注意到可能从视线范围外出现的车辆等危险，此时人就无法主动规避道路潜在的风险。在道路上的车辆驾驶员在意识到前方存在行人并且行人的注意力不在道路范围内时，需要对车辆进行减速、鸣笛、亮车灯等操作，从而提醒行人停止自己的不规范行为。通过检测道路上行人的注意力方向可以辅助预测行人的运行方向，并有效的帮助司机判断可能存在的碰撞的危险等级，目前的驾驶员辅助驾驶系统此过程中并没有用到行人的注意力信息，不同注意力的行人在驾驶过程中的危险性是不同的，在司机没有注意的情况下容易造成交通事故。
发明内容
本发明实施例提供了行人注意力检测驾驶辅助系统、装置和方法，通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，在出现行人注意力可能或造成交通事故时，会提醒司机注意，预防与行人发生交通事故，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
行人注意力检测驾驶辅助系统，包括：行人检测模块和行人注意力检测模块；
行人检测模块，用于对行人的图像数据进行分析处理得到行人与背景图像的分类数据和行人定位数据，并发送到行人注意力检测模块；
其中，行人检测模块包括行人检测单元，提取图像中行人的语义特征，通过一个卷积神经网络结构同时完成行人与背景图像的分类和行人定位，行人定位即准确的在图像中用行人的外接矩形框表示出行人在图像中的位置；
行人注意力检测模块，用于接收所述行人检测模块发送的背景图像的分类数据和行人定位数据，对背景图像的分类数据和行人定位数据进行分析处理得到检测结果并根据分析结果发送警报信息；
其中，所述行人注意力检测模块包括距离检测单元、分割单元、视线方向检测单元、行进方向检测单元、判断单元和警报单元，所述距离检测单元用于计算行人与车辆的相对位置，所述分割单元用于获取图像数据中行人头部的区域作为行人感兴趣区域，所述视线方向检测单元用于对行人感兴趣区域就那些分析得到行人的视线方向，所述行进方向检测单元用于检测行人的行走方向，所述判断单元用于根据行人的视线方向和行走方向对行人的注意力进行判断，根据判断结果发送警报信息到警报单元，警报单元将警报信息发出。
第二方面，本发明实施例提供的行人注意力检测驾驶辅助装置，包括：
摄像头，用于获取车辆前方的图像数据，将采集的图像数据发送到存储器；
存储器，用于接收所述摄像头发送的图像数据并进行存储，同时用于存储行人检测模块和行人注意力检测模块；
处理器，用于运行行人检测模块和行人注意力检测模块对图像数据并进行分析处理；
警报显示器，用于显示警报信息。
第三方面，本发明实施例提供的行人注意力检测驾驶辅助方法，包括以下步骤：
S1，获取图像，摄像头实时采集车辆前方场景图像；
S2，确定行人位置，目标检测定位图像行人边界框；
S3，计算行人与车辆距离，根据摄像头焦距计算行人的实际位置；
S4，获取行人感兴趣区域，截取行人头部感兴趣区域；
S5，获取行人视线方向，基于头部区域输入构建视线检测模型输出视线方向；
S6，获取行人移动方向，基于多帧行人位置拟合行人移动方向；
S7，注意力分析，计算行人移动方向与视线方向角度差值；
S8，预警，根据角度差值的阀值和时间判断是否给出预警；
S9，处理，根据预警消息采取行动。
进一步的，所述距离检测单元采用摄像头的相机焦距与行人的像素位置计算行人与车辆的相对位置，定义出所述摄像头与障碍物的距离公式：
其中，Z是相机与行人沿着相机光轴方向的距离，f是相机的焦距，H是照相机相对于地平面的实际高度，y是被检测物体在图像底部上中的垂直位移。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，可以检测一段较远距离内的行人的注意力方向来分析其在道路上的危险等级，从而提醒驾驶员注意行人或提醒给出鸣笛或者亮灯警告，进而提醒行人规范其在道路上的行为，能检测较远距离内潜在的危险行为，并提前发出警告，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例公开的行人注意力检测驾驶辅助系统结构示意图；
图2为本发明实施例公开的行人注意力检测驾驶辅助装置结构示意图；
图3为本发明实施例公开的行人注意力检测驾驶辅助方法流程图；
图4为本发明实施例公开的行人运动场景俯视图示意图。
附图标记：
101-摄像头；102-存储器；103-处理器；104-警报显示器；200-行人检测模块；201-行人检测单元；300-行人注意力检测模块；301-距离检测单元；302-分割单元；303-视线方向检测单元；304-行进方向检测单元；305-判断单元；306-警报单元。
具体实施例
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
实施例一
如图1-4所示，本发明实施例提供行人注意力检测驾驶辅助系统，包括：行人检测模块200和行人注意力检测模块300；
行人检测模块200，用于对行人的图像数据进行分析处理得到行人与背景图像的分类数据和行人定位数据，并发送到行人注意力检测模块300，行人检测模块200包括行人检测单元201，提取图像中行人的语义特征，通过一个卷积神经网络结构同时完成行人与背景图像的分类和行人定位，行人定位即准确的在图像中用行人的外接矩形框表示出行人在图像中的位置；
具体的：
针对单帧图像，行人检测是通过提取图像中行人的语义特征，行人检测单元201采用卷积神经网络同时完成行人与背景图像的分类和行人定位，行人定位即准确的在图像中用行人的外接矩形框表示出行人在图像中的位置，用行人检测单元201计算行人位置的方法如下：
(1)将原始图像变换到固定尺寸大小送入行人检测单元201中，通过预生成的各个尺度的多个预选框，在不同的卷积层的上提取图像特征，这样能保证检测到图像上不同尺度的行人；
(2)在图像中生成多个不同位置的目标的预选框，这样能根据预生成的框选择图像上不同位置的行人；
(3)提取根据预选框图像计算的图像卷积特征后，通过全连接层输出softmax计算当前框区域是行人和背景的概率，取概率最大值作为分类的目标结果；
(4)选取图像中满足(2)中条件的预选框，最后在满足条件的个预选框中采用非极大值抑制(NMS)方法筛去重叠框的部分，从而取得最贴近目标的目标框位置，根据筛选得到的目标框，确定当前行人在图像上的位置，一张图像中可以同时输出多个行人目标的检测和预测框的输出；
针对视频数据的结果可以由多帧图片的检测结果得到，由于行人的运动速度的连续性，在当前帧检测到行人后，下一帧的行人预选框可以在在前一帧附近位置生成，这样可以减少预生成框的数量，同样的通过行人检测单元201特征提取进行目标分类以达到跟踪上一帧检测到的行人的功能，然后在视频图像的连续时间序列中采用单帧图像检测和多帧跟踪结合的方法，可以追溯目标并确定运动轨迹；
将行人检测模块200检测得到的图像框发送到行人注意力检测模块300。
行人注意力检测模块300，用于接收所述行人检测模块200发送的背景图像的分类数据和行人定位数据，对背景图像的分类数据和行人定位数据进行分析处理得到检测结果并根据分析结果发送警报信息，所述行人注意力检测模块300包括距离检测单元301、分割单元302、视线方向检测单元303、行进方向检测单元304、判断单元305和警报单元306，所述距离检测单元301用于计算行人与车辆的相对位置，所述分割单元302用于获取图像数据中行人头部的区域作为行人感兴趣区域，所述视线方向检测单元303用于对行人感兴趣区域就那些分析得到行人的视线方向，所述行进方向检测单元304用于检测行人的行走方向，所述判断单元305用于根据行人的视线方向和行走方向对行人的注意力进行判断，根据判断结果发送警报信息到警报单元306，警报单元306将警报信息发出；
具体的：
1、根据行人检测模块200输出的图像框的结果，可以进行行人注意力的检测，距离检测单元301采用摄像头101的相机焦距与行人的像素位置计算行人与车辆的相对位置，定义出摄像头101与障碍物的距离公式：
其中，Z是相机与行人沿着相机光轴方向的距离，f是相机的焦距，H是照相机相对于地平面的实际高度，y是被检测物体在图像底部上中的垂直位移；
2、分割单元302对每一帧图像中检测到的所有行人，截取其边界框中的包含头部的区域作为注意力检测的感兴趣区域，此区域为人脸像素区域的4倍大小；
3、视线方向检测单元303将提取到的所有的行人感兴趣区域图像，单独对每个行人目标进行注意力检测，由于行人注意力是个自然的连续信号，注意力随着时间的过渡会产生一些视线方向，本专利通过构建一个视线检测模型来实现对行人的注意力检测，在摄像头101采集的连续时间序列下的视线检测模型方法如下：
(1)根据步骤2中得到的头部区域，采用同一人的多个帧序列的头部图像来作为注意力模型的输入，例如，在当前时刻取当前帧和前三帧和后三帧组成模型的输入；
(2)每个头部裁剪区域需要分别通过以卷积神经网络为骨干结构(Backbone)的网络，生成固定维度的高级特征，在本实施例中，骨干网络可以采用如ResNet、VGG等网络模型，生成的高级特征可以为几百或上千维度；
(3)将骨干网络生成的特征送入具有多层的双向LSTM(LongShortTermMemory)结构中，该结构在提取序列中向前和向后向量，LSTM是一种对序列进行建模的方法，其中一个元素的输出取决于过去和将来的输入；
(4)最后，将这些向量连接起来并通过一个全连接层，以产生目标输出，即当前时刻预测的视线角度，视线角度由两个角度
表示，其中
是球形坐标系中表示视线方向的一种方法，该角度与三维视线方向的换算关系式如下
其中g＝(gx,gy,gz)表示眼部坐标系中的单位视线向量，在相机的笛卡尔眼坐标系中E＝[Ex，Ey，Ez]中表达视线方向，根据眼部坐标系和相机的笛卡尔眼坐标系的关系，我们可以通过以下方法将视线矢量转换到眼睛坐标系：g＝E·gL，gL表示相机坐标系中的单位视线向量；
4、行进方向检测单元304进行行人行进方向进行检测，根据步骤3中的计算能够得到某时刻图像中所有行人的视线方向，行人在行走中比较安全的方式是在可行走区域内注意力方向与自身行走方向保持一致，针对单个行人目标，根据行人检测模块200检测得到的目标图像框，统计一段时间内的连续多帧序列中行人目标框的下边缘中心点的位置，根据这些点组成的轨迹的可以拟合出一条直线段，通过步骤1将得到行人运动轨迹一个在地面上的行驶方向，该方向可用一个角度表示，实际例子中我们可以用当前道路的行进方向表示该角度的0度，且角度范围为0～360度；
5、判断单元305根据步骤4中的结果可以得到行人的行进方向在相机坐标中表示为v＝(-cosα,0,sinα)，根据步骤3可以得到行人在相机坐标系中的视线方向为g＝(gx,gy,gz)，那么求取两个向量的夹角表示
眼部坐标系中的单位视线向量，根据计算的夹角的大小，当夹角大于某个设定的阈值时，即可判断此时行人的注意力与行驶方向偏差较大，那么，当视线偏差较大的情况的持续时间超过了一定的时间范围内时，可以判断该目标行人在行走过程中存在潜在危险行为，将判断结果发送到警报单元306；
6、警报单元306根据判断结果，当检测到带有危险行为的行人目标时，警报单元306向发送前方潜在危险行人警告信号，该警告可以包含声音或者画面等信号方式传递给辅助驾驶系统或者驾驶员本身，针对该种警告驾驶员可能做出减速鸣笛或亮灯等操作。
本发明通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头101实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，可以检测一段较远距离内的行人的注意力方向来分析其在道路上的危险等级，从而提醒驾驶员注意行人或提醒给出鸣笛或者亮灯警告，进而提醒行人规范其在道路上的行为，能检测较远距离内潜在的危险行为，并提前发出警告，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
实施例二
如图1-4所示，本发明实施例提供行人注意力检测驾驶辅助系统，包括：
摄像头101，用于获取车辆前方的图像数据，将采集的图像数据发送到存储器102；
存储器102，用于接收所述摄像头101发送的图像数据并进行存储，同时用于存储行人检测模块200和行人注意力检测模块300；
处理器103，用于运行行人检测模块200和行人注意力检测模块300对图像数据并进行分析处理；
警报显示器104，用于显示警报信息；
在本是实施例中，如图4所示的行人运动场景俯视图，其中虚线表示道路边界，半圆表示行人俯视模型及箭头表示当前行人朝向及预备运动方向，虚线表示行人运动轨迹，摄像头101实时采集前方路面的图像数据，在前向视野成像的图像传感器实时地传送图像，并且在时间序列中捕获图像图像帧，处理器103可以用于同时并行地处理图像帧，以完成图像中行人相关检测和输出结果，存储器102中具有行人检测模块200和行人注意力检测模块300，可以对行人注意力进行检测，在检测到行人带有危险行为的行人目标时，警报显示器104向驾驶员提供前方潜在危险行人警告信号，该警告可以包含声音或者画面等信号方式传递给辅助驾驶系统或者驾驶员本身，针对该种警告驾驶员可能做出减速鸣笛或亮灯等操作。
本实施例公开的行人注意力检测驾驶辅助装置，通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头101实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，可以检测一段较远距离内的行人的注意力方向来分析其在道路上的危险等级，从而提醒驾驶员注意行人或提醒给出鸣笛或者亮灯警告，进而提醒行人规范其在道路上的行为，能检测较远距离内潜在的危险行为，并提前发出警告，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
实施例三
本发明实施例还公开了行人注意力检测驾驶辅助方法，如图1-4，包括以下步骤：
S1，获取图像，摄像头101实时采集车辆前方场景图像；
具体的，例如，车辆在路上以50Km/h以内的速度进行行驶，安装在车顶前方的一个摄像头101实时采集前方道路图像的图像。
S2，确定行人位置，目标检测定位图像行人边界框；
具体的，针对单帧图像，行人检测是通过提取图像中行人的语义特征，行人检测单元201采用卷积神经网络同时完成行人与背景图像的分类和行人定位，行人定位即准确的在图像中用行人的外接矩形框表示出行人在图像中的位置，用行人检测单元201计算行人位置的方法如下：
(1)将原始图像变换到固定尺寸大小送入行人检测单元201中，通过预生成的各个尺度的多个预选框，在不同的卷积层的上提取图像特征，这样能保证检测到图像上不同尺度的行人；
(2)在图像中生成多个不同位置的目标的预选框，这样能根据预生成的框选择图像上不同位置的行人；
(3)提取根据预选框图像计算的图像卷积特征后，通过全连接层输出softmax计算当前框区域是行人和背景的概率，取概率最大值作为分类的目标结果；
(4)选取图像中满足(2)中条件的预选框，最后在满足条件的个预选框中采用非极大值抑制(NMS)方法筛去重叠框的部分，从而取得最贴近目标的目标框位置，根据筛选得到的目标框，确定当前行人在图像上的位置，一张图像中可以同时输出多个行人目标的检测和预测框的输出；
针对视频数据的结果可以由多帧图片的检测结果得到，由于行人的运动速度的连续性，在当前帧检测到行人后，下一帧的行人预选框可以在在前一帧附近位置生成，这样可以减少预生成框的数量，同样的通过行人检测单元201特征提取进行目标分类以达到跟踪上一帧检测到的行人的功能，然后在视频图像的连续时间序列中采用单帧图像检测和多帧跟踪结合的方法，可以追溯目标并确定运动轨迹。
S3，计算行人与车辆距离，根据摄像头101焦距计算行人的实际位置；
具体的，距离检测单元301采用摄像头101的相机焦距与行人的像素位置计算行人与车辆的相对位置。
S4，获取行人感兴趣区域，截取行人头部感兴趣区域；
具体的，分割单元302对每一帧图像中检测到的所有行人，截取其边界框中的包含头部的区域作为注意力检测的感兴趣区域，此区域为人脸像素区域的4倍大小。
S5，获取行人视线方向，基于头部区域输入构建视线检测模型输出视线方向；
具体的，视线方向检测单元303将提取到的所有的行人感兴趣区域图像，单独对每个行人目标进行注意力检测，由于行人注意力是个自然的连续信号，注意力随着时间的过渡会产生一些视线方向，将数据输入视线检测模型，得到行人的视线方向。
S6，获取行人移动方向，基于多帧行人位置拟合行人移动方向；
具体的，行进方向检测单元304进行行人行进方向进行检测，根据步骤S5中的计算能够得到某时刻图像中所有行人的视线方向，行人在行走中比较安全的方式是在可行走区域内注意力方向与自身行走方向保持一致，针对单个行人目标，根据行人检测模块200检测得到的目标图像框，统计一段时间内的连续多帧序列中行人目标框的下边缘中心点的位置，根据这些点组成的轨迹的可以拟合出一条直线段，通过步骤S3将得到行人运动轨迹一个在地面上的行驶方向。
S7，注意力分析，计算行人移动方向与视线方向角度差值；
具体的，判断单元305根据步骤S6中的结果可以得到行人的行进方向在相机坐标中表示为v＝(-cosα,0,sinα)，根据步骤S5可以得到行人在相机坐标系中的视线方向为g＝(gx,gy,gz)，那么求取两个向量的夹角表示
眼部坐标系中的单位视线向量，根据计算的夹角的大小，当夹角大于某个设定的阈值时，即可判断此时行人的注意力与行驶方向偏差较大，那么，当视线偏差较大的情况的持续时间超过了一定的时间范围内时，可以判断该目标行人在行走过程中存在潜在危险行为，将判断结果发送到警报单元306。
S8，预警，根据角度差值的阀值和时间判断是否给出预警；
具体的，警报单元306根据判断结果，当检测到带有危险行为的行人目标时，警报单元306向警报显示器104发送前方潜在危险行人警告信号，该警告可以包含声音或者画面等信号，警报显示器104将警告信号传递给辅助驾驶系统或者驾驶员。
S9，处理，根据预警消息采取行动；
本实施例公开的行人注意力检测驾驶辅助方法，通过在车辆上增加行人注意力检测驾驶辅助装置和行人注意力检测驾驶辅助系统，通过行人注意力检测驾驶辅助装置中设置的摄像头101实时采集前方道路的图像数据，并通过行人注意力检测驾驶辅助系统进行计算分析，可以检测一段较远距离内的行人的注意力方向来分析其在道路上的危险等级，从而提醒驾驶员注意行人或提醒给出鸣笛或者亮灯警告，进而提醒行人规范其在道路上的行为，能检测较远距离内潜在的危险行为，并提前发出警告，解决了目前驾驶辅助系统存在的不能检测行人的注意力，不能根据行人的不同注意力提前发送预警信息防止与行人发生交通事故的问题。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。
Claims (4)
1.行人注意力检测驾驶辅助系统，其特征在于，包括：行人检测模块和行人注意力检测模块；
行人检测模块，用于对行人的图像数据进行分析处理得到行人与背景图像的分类数据和行人定位数据，并发送到行人注意力检测模块；
其中，行人检测模块包括行人检测单元，提取图像中行人的语义特征，通过一个卷积神经网络结构同时完成行人与背景图像的分类和行人定位，行人定位即准确的在图像中用行人的外接矩形框表示出行人在图像中的位置；
行人注意力检测模块，用于接收所述行人检测模块发送的背景图像的分类数据和行人定位数据，对背景图像的分类数据和行人定位数据进行分析处理得到检测结果并根据分析结果发送警报信息；
其中，所述行人注意力检测模块包括距离检测单元、分割单元、视线方向检测单元、行进方向检测单元、判断单元和警报单元，所述距离检测单元用于计算行人与车辆的相对位置，所述分割单元用于获取图像数据中行人头部的区域作为行人感兴趣区域，所述视线方向检测单元用于对行人感兴趣区域就那些分析得到行人的视线方向，所述行进方向检测单元用于检测行人的行走方向，所述判断单元用于根据行人的视线方向和行走方向对行人的注意力进行判断，根据判断结果发送警报信息到警报单元，警报单元将警报信息发出。
2.行人注意力检测驾驶辅助装置，应用于如权利要求1所述的行人注意力检测驾驶辅助系统，其特征在于，包括：
摄像头，用于获取车辆前方的图像数据，将采集的图像数据发送到存储器；
存储器，用于接收所述摄像头发送的图像数据并进行存储，同时用于存储行人检测模块和行人注意力检测模块；
处理器，用于运行行人检测模块和行人注意力检测模块对图像数据并进行分析处理；
警报显示器，用于显示警报信息。
3.行人注意力检测驾驶辅助方法，应用于如权利要求1-2任一项所述的行人注意力检测驾驶辅助系统和行人注意力检测驾驶辅助装置，其特征在于，包括以下步骤：
S1，获取图像，摄像头实时采集车辆前方场景图像；
S2，确定行人位置，目标检测定位图像行人边界框；
S3，计算行人与车辆距离，根据摄像头焦距计算行人的实际位置；
S4，获取行人感兴趣区域，截取行人头部感兴趣区域；
S5，获取行人视线方向，基于头部区域输入构建视线检测模型输出视线方向；
S6，获取行人移动方向，基于多帧行人位置拟合行人移动方向；
S7，注意力分析，计算行人移动方向与视线方向角度差值；
S8，预警，根据角度差值的阀值和时间判断是否给出预警；
S9，处理，根据预警消息采取行动。
4.如权利要求1或2所述的行人注意力检测驾驶辅助系统，其特征在于，所述距离检测单元采用摄像头的相机焦距与行人的像素位置计算行人与车辆的相对位置，定义出摄像头与障碍物的距离公式：
其中，Z是相机与行人沿着相机光轴方向的距离，f是相机的焦距，H是照相机相对于地平面的实际高度，y是被检测物体在图像底部上中的垂直位移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010831079.8A CN111985388A (zh) | 2020-08-18 | 2020-08-18 | 行人注意力检测驾驶辅助系统、装置和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010831079.8A CN111985388A (zh) | 2020-08-18 | 2020-08-18 | 行人注意力检测驾驶辅助系统、装置和方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111985388A true CN111985388A (zh) | 2020-11-24 |
Family
ID=73435042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010831079.8A Pending CN111985388A (zh) | 2020-08-18 | 2020-08-18 | 行人注意力检测驾驶辅助系统、装置和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111985388A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113361388A (zh) * | 2021-06-03 | 2021-09-07 | 北京百度网讯科技有限公司 | 图像数据修正方法、装置、电子设备及自动驾驶车辆 |
| CN114550494A (zh) * | 2020-11-25 | 2022-05-27 | 丰田自动车株式会社 | 步行辅助系统 |
| CN115482217A (zh) * | 2022-09-21 | 2022-12-16 | 内蒙古科电数据服务有限公司 | 基于高斯混合模型分离算法的变电站防触电视频检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140354684A1 (en) * | 2013-05-28 | 2014-12-04 | Honda Motor Co., Ltd. | Symbology system and augmented reality heads up display (hud) for communicating safety information |
| CN108263379A (zh) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | 基于姿势信息的行人检测和行人碰撞预防装置和方法 |
| CN109334566A (zh) * | 2018-08-31 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 用于提供车外反馈的方法、装置、设备和存储介质 |
| KR20190062184A (ko) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 |
| CN109969172A (zh) * | 2017-12-26 | 2019-07-05 | 华为技术有限公司 | 车辆控制方法、设备及计算机存储介质 |
| DE102019134048A1 (de) * | 2019-12-11 | 2020-03-26 | FEV Group GmbH | Verfahren zur Vorhersage eines Verhaltens von Fußgängern |
-
2020
- 2020-08-18 CN CN202010831079.8A patent/CN111985388A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140354684A1 (en) * | 2013-05-28 | 2014-12-04 | Honda Motor Co., Ltd. | Symbology system and augmented reality heads up display (hud) for communicating safety information |
| CN108263379A (zh) * | 2016-12-30 | 2018-07-10 | 现代自动车株式会社 | 基于姿势信息的行人检测和行人碰撞预防装置和方法 |
| KR20190062184A (ko) * | 2017-11-27 | 2019-06-05 | 고려대학교 산학협력단 | 보행자 상태 기반의 보행자와 차량간 충돌 경고 시스템 및 그 방법 |
| CN109969172A (zh) * | 2017-12-26 | 2019-07-05 | 华为技术有限公司 | 车辆控制方法、设备及计算机存储介质 |
| CN109334566A (zh) * | 2018-08-31 | 2019-02-15 | 百度在线网络技术（北京）有限公司 | 用于提供车外反馈的方法、装置、设备和存储介质 |
| DE102019134048A1 (de) * | 2019-12-11 | 2020-03-26 | FEV Group GmbH | Verfahren zur Vorhersage eines Verhaltens von Fußgängern |
Non-Patent Citations (1)
| Title |
|---|
| 丁袁;马健霄;潘义勇;: "有无信号控制路段下行人过街眼动特性研究", 交通信息与安全, no. 02, pages 46 - 53 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114550494A (zh) * | 2020-11-25 | 2022-05-27 | 丰田自动车株式会社 | 步行辅助系统 |
| CN113361388A (zh) * | 2021-06-03 | 2021-09-07 | 北京百度网讯科技有限公司 | 图像数据修正方法、装置、电子设备及自动驾驶车辆 |
| CN113361388B (zh) * | 2021-06-03 | 2023-11-24 | 北京百度网讯科技有限公司 | 图像数据修正方法、装置、电子设备及自动驾驶车辆 |
| CN115482217A (zh) * | 2022-09-21 | 2022-12-16 | 内蒙古科电数据服务有限公司 | 基于高斯混合模型分离算法的变电站防触电视频检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11488392B2 (en) | Vehicle system and method for detecting objects and object distance | |
| EP3759700B1 (en) | Method for determining driving policy | |
| CN108571974B (zh) | 使用摄像机的车辆定位 | |
| CN109927719B (zh) | 一种基于障碍物轨迹预测的辅助驾驶方法和系统 | |
| CN108496178B (zh) | 用于估计未来路径的系统和方法 | |
| Gandhi et al. | Pedestrian protection systems: Issues, survey, and challenges | |
| US10336252B2 (en) | Long term driving danger prediction system | |
| US9767368B2 (en) | Method and system for adaptive ray based scene analysis of semantic traffic spaces and vehicle equipped with such system | |
| CN113646772A (zh) | 预测用于自主驾驶的三维特征 | |
| US8175331B2 (en) | Vehicle surroundings monitoring apparatus, method, and program | |
| CN112349144B (zh) | 一种基于单目视觉的车辆碰撞预警方法及系统 | |
| CN111985388A (zh) | 行人注意力检测驾驶辅助系统、装置和方法 | |
| EP2026246A1 (en) | Method and apparatus for evaluating an image | |
| CN107914708A (zh) | 后方障碍物检测和距离估算 | |
| CN110730966B (zh) | 用于行人检测的系统和方法 | |
| CN111198371A (zh) | 前视障碍物检测系统 | |
| CN102792314A (zh) | 交叉通行碰撞警报系统 | |
| CN111164652B (zh) | 移动体图像生成记录显示装置和程序产品 | |
| JP2007249841A (ja) | 画像認識装置 | |
| US11713046B2 (en) | Driving assistance apparatus and data collection system | |
| CN113808418A (zh) | 路况信息显示系统、方法、车辆、计算机设备和存储介质 | |
| CN114419603A (zh) | 一种自动驾驶车辆控制方法、系统和自动驾驶车辆 | |
| CN110556024B (zh) | 一种防碰撞辅助驾驶方法、系统及计算机可读存储介质 | |
| Sato et al. | Scene recognition for blind spot via road safety mirror and in-vehicle camera | |
| JP2022056153A (ja) | 一時停止検出装置、一時停止検出システム、及び一時停止検出プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |