CN105679090B - 一种基于智能手机的夜间司机驾驶辅助方法 - Google Patents
一种基于智能手机的夜间司机驾驶辅助方法 Download PDFInfo
- Publication number
- CN105679090B CN105679090B CN201510680349.9A CN201510680349A CN105679090B CN 105679090 B CN105679090 B CN 105679090B CN 201510680349 A CN201510680349 A CN 201510680349A CN 105679090 B CN105679090 B CN 105679090B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- picture
- vehicles
- distance
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000008447 perception Effects 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000035484 reaction time Effects 0.000 abstract description 2
- 238000012512 characterization method Methods 0.000 abstract 1
- 238000011156 evaluation Methods 0.000 abstract 1
- 231100001261 hazardous Toxicity 0.000 abstract 1
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 231100000517 death Toxicity 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Lighting Device Outwards From Vehicle And Optical Signal (AREA)
Abstract
本发明提供了基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法。它主要利用智能手机的内置照相机（即摄像头）感知主车辆后方车辆行驶情况，监测主车辆后方超速行驶或者近距离跟车的危险车辆，并给司机予以警示，使其获得更多反应时间应对危险突发事件。针对方法实现过程中的特有问题，提供了相应的解决方案。具体而言，首先给出了照相机感知距离确定方法；其次，基于车辆明亮大头灯以及它们之间的几何距离特性提出了夜间道路图片车辆识别算法；另外，根据车辆行驶的时空特性提出了图片中车辆跟踪算法，从而可以估算监测车辆行驶速度，最后，根据物体成像原理，提出了车辆间的相对距离估算方法。
Description
本发明得到国家自然科学基金（编号：61103227，61472068, 61173171）的资助。
技术领域
本发明属于移动智能感知技术领域，涉及一种基于智能手机的夜间司机驾驶辅助方法。
背景技术
近年来，交通事故频繁发生，已成为“世界第一害”。其中，车辆夜间行驶仅占总行驶时间25%，但事故发生率却是白天发生的1.6倍，事故死亡人数是更是白天的3 至4 倍之多。造成这一现象的主要原因为夜间可视度较差（据估计司机做出反应的90%是基于他们所看到），从而司机很难感知、判断其周围其他车辆的速度及车间距。另外，造成这一现象的原因还有夜间驾驶容易出现酒驾及疲劳驾驶，这时司机驾驶技能将会下降现象，驾驶人的注意力、感觉、感知、判断及决定均反应迟缓。然而，通常情况下司机并不知道身处于这些特殊危险源中且没有有效措施应对这些危险。即使非常小心地开车，但由于在夜间视线受限，也不可避免地会出现车辆由后方被其他车辆撞上的情况。奔驰汽车公司针对各类交通事故进行研究分析得出，如果能在事故发生前1秒，提前给驾驶员一个忠告，使其及时采取正确的应急措施，则绝大多数交通事故可以避免。因此，研究设计面向夜间司机危险驾驶行为识别具有重大的现实意义。
目前，为了设计研发司机辅助系统，不管工业界还是学术界都做出了大量工作。根据采用技术的不同，这些工作主要分类两类：基于无线通信的方法和基于传感器方法。
对于基于无线通信的方法，主要是利用车载自组织网络技术设计车辆碰撞避免系统。它主要思想是车辆利用专用短程通信协议周期性的将自身速度与位置信息等分发给周围车辆，主车辆将接收到的信息与自身信息结合，识别超速行驶及近距离跟车等危险行为，避免碰撞发生。但是该方法的缺点是它不能监测到蓄意危险驾驶的车辆。例如，当车辆非法赛车时，为了避免被发现，他们可以关闭车载通信设备。另外，该方法还处于理论研究阶段，对于其推广实施仍需要很长的时间。
对于基于传感器方法，它们主要利用雷达、激光、声音或者摄像头等传感器设备监测司机驾驶状态或者周围其他车辆行驶状态，当出现危险情况时给司机提出警告或采取紧急制动等措施。基于这样技术的司机辅助产品在市场已可以购买，但由于购买这些设备需要额外的费用，目前只有一些高档车辆安装了这些设备。
另外，随着计算机视觉技术的发展，从图像中能更容易把车辆与障碍物区分开，因此，基于摄像头（即照相机）传感器的司机辅助系统越来越流行。为了实现危险车辆检测功能，需要可靠的车辆图像识别与追踪技术。到目前为止，已有许多基于图片道路车辆识别技术被提出来，这些技术主要被划分为两类：基于运动（motionbased）的方法和基于知识（knowledge-based）的方法。对于基于运动的方法通过计算图片中每个像素的位移，从而估算物体移动速度，当物体移动速度达到车辆移动速度范围，则认为它是车辆。该方法的缺点是非常耗时，对基于智能手机的实时监测系统并不适用，并且单从估算物体移动速度识别车辆，假设性会大大提高。基于知识的方法主要通过车辆典型特征，如形状、对称性、车辆轮廓或者车辆底影子等，利用边缘检测法识别图像中的车辆。然而，这些白天有效的车辆特征在夜间道路环境下将会失效，所以这些方法并不适用于夜间车辆识别。
夜间的车辆唯一可视特征为他们的头灯。在先前的工作中，有作者提出利用二进制阀值过滤器确定监测目标，确定车灯位置从而检测出车辆。然而该方法容易受车灯亮度改变影响效果。因此，有作者提出光块检测法用来确定图片中候选物体。在此基础上，又有研究者提出利用车灯对称性确定图片中的车辆。然而，通过对道路上车辆真实图片的采集发现，车灯在图片中将会呈现不同的形态，不仅包括亮点对称的情况，还包括车灯汇聚为一个亮点及车灯在道路上有投影的情况，如果仅通过对称性识别图片中的潜在车辆，误差率会大大增加。就目前查阅到的文献，并没有一个能检测出图片中三种车灯形态的算法。
发明内容
本发明利用智能手机的内置照相机感知主车辆后方车辆行驶情况，监测主车辆后方超速行驶或者近距离跟车的危险车辆，需要解决以下问题：
第一，多发光源的环境。在路上除了车辆大头灯还有许多其他发光源，如交通灯、摩托车灯等，如何从图片的众多亮点中识别出哪些是车辆。
第二，车辆大头灯多变性。在真实环境下采集大量夜间车辆图片后，发现在不同角度或不同距离条件下拍摄车辆图片，图片中车辆大头灯会呈现出不同的形状。在对采集的图片进行统计之后，这些形状可以被分为3 类，分别为：（1）两个大头灯亮点是分开的；（2）两个大头灯融合为一个大亮点；（3）两个大头灯亮点在路面上有投影。另外，距离主车辆比较远的所有其他车辆大头灯将会融合为一个亮点。如何在这些情况下从图片中识别出潜在车辆。
第三，智能手机有限的处理能力。即使现在智能手机有一定的数据处理能力，但相对与电脑仍然是有限的。因此，车辆的识别与跟踪算法应该是尽量轻量级的，从而也能够给司机提供及时的反馈信息。
针对上述几个问题以及现有工作的不足和夜间司机视力受限导致交通事故频繁这一事实，本发明提供了一种基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法。
本发明为解决这一问题所采取的技术方案是：
一种基于智能手机的夜间司机驾驶辅助系统DNAS（a smartphone based DriverNighttime Driving Assistance System），该系统包括潜在车辆识别模块、车辆跟踪模块和危险车辆监测模块；潜在车辆识别模块用于提取图片中的亮点以识别潜在的车辆；车辆跟踪模块用于跟踪识别出的车辆；危险车辆监测模块用于监测超速行驶及近距离跟车两种危险行驶的车辆，并发出声音警示。
一种基于智能手机的夜间司机驾驶辅助方法，该方法利用智能手机的内置照相机感知主车辆后方车辆行驶情况，监测超速行驶或者近距离跟车的危险车辆，并给司机予以警示；该方法包括如下步骤：
第一步，确定感知距离；
当手机被旋转调整的过程中，DNAS 手机客户端展示给用户的是其感知的距离。具体感知距离D的计算过程如图3所示，CH为手机安装的高度，手机Z轴被旋转的角度（由陀螺仪传感器获取）手机摄像头垂直方向感知角度为例如，华为C8812 手机垂直感知角度α= 43.8∘，中兴ZTEZ5mini手机垂直感知角因此感知距离D为：
(1)
第二步，识别潜在车辆；
利用车辆的大头灯，从夜间拍摄道路图片中识别出潜在车辆；
第三步，跟踪识别出的车辆；
确定了车辆跟踪范围，处理当跟踪范围内有多辆被识别出来的车辆或者没有车辆出现在跟踪范围内的情况；
第四步，监测危险车辆；
监测并识别出超速及近距离跟车的车辆。
识别潜在车辆包括如下步骤：
（1）提取亮点：首先要从图片中提取出亮点；令图片中车辆大头灯像素RGB 分量为向量m，令向量z为采集图片各像素的RGB 分量，图片中各像素与车辆大头灯像素之间的距离为：
(2)
通过计算图片中所有像素与车辆大头灯像素之间的距离，排除像素距离为像素距离阀值；处理后的图片输出结果仅包含亮点；
（2）基于几何规则推测潜在车辆：在提取亮点后，利用亮点之间的几何关系识别出哪些是来自于车辆哪些是车辆大头灯的投影；
为图片亮点提取后的亮点集，N是亮点的个数，其中
、亮点宽度、高度以及发光源与手机之间的相对距离L；对于潜在车辆识别，每次有一个主点，其他亮点则为辅点；潜在车辆的亮点满足于：
（3）
其中，为手机相机焦距。在公式3 中， 能够保证辅点与主点之间垂直距离差很小； 则保证辅点与主点之间水平距离满足车辆宽度；如果
则意味着辅点与主点发光源之间水平距离为车辆宽度，但垂直距离表示这两个发光源不是来自与同一辆车且两个发光源之间距离小于车辆长度；此时，则判断此辅点为路面反射点并将其移除亮点集。
跟踪识别出的车辆具体步骤如下：
为了跟踪车辆，首先要预测识别出来的车辆在下一帧中可能的移动范围；如果在下一帧中有车辆出现在预测的范围内，则它有很高的概率来自于同一个车辆；令 为监测车辆与主车辆的相对速度，在系统开始令为道路最大允许行驶速度；在每一帧的时间间隔车辆相对位移为利用公式4计算车辆在图片中移动距离车辆在下一帧图片中可能出现范围为：
（4）
其中，是车辆在当前图片中明亮大头灯中心点坐标，X和Y为车辆在下一帧中明亮大头灯中心点可能的坐标；
在确定了车辆跟踪范围之后，下一就是处理当跟踪范围内有多辆被识别出来的车辆或者没有车辆出现在跟踪范围内的情况；与之相对应的就是三种跟踪状态：成功跟踪、新出现的车辆或者消失的车辆；为了确定在新到来图片中车辆的状态，在新帧中识别出来的车辆与上一张图片中每辆车的跟踪范围之间建立一个确认矩阵 Ω ，它可以表示为：
其中若第
其他情况下 是在新到来图片中识别的车辆数目，为上一张图片中要跟踪的车辆数目；
在确认矩阵中的列为跟踪的车辆，行表示新到来图片中识别的车辆；在新图片中识别的每个车辆最多只能与一辆跟踪车辆相匹配，且每个跟踪的车辆只能与一辆新识别的车辆相对应；当中的元素全都确认后，新到来图片中识别的车辆状态也就能确定了；如果某一列元素全部为0，则表明在新图片中的车辆没有落在该列对应跟踪车辆的跟踪范围内，即这个车在新图片中消失了；如果某一行元素全为0，则表明新识别出的车辆没有落在任何被跟踪车辆的跟踪范围内，该车辆为一新出现的车辆；对于其他行或者列则应该为每一行或者每一列至多有一个元素为1，其他元素均为0，为1 的元素则是成功跟踪的车辆；为了确定中各元素的值，在进行下一步之前先删除确认矩阵中元素全为0 的行和列，然后更新确认矩阵，其他元素则由接下来的跟踪匹配优化模型确定；
当确认矩阵被更新之后，接下来计算在新图片中被识别的车辆与其落在跟踪范围内被跟踪车辆之间的关系；新图片中被识别的车辆 与其落在车辆J跟踪范围内的相关性事件，为被跟踪车辆 时刻图片中亮点面积，时刻新图片中落在跟踪车辆 的亮点面积，因此，相关性事件的概率为：
（5）
跟踪匹配优化模型可以表示为：
当求解模型后，确认矩阵中的所有元素则被确定下来；此时，新到来图片中车辆状态则可以确定。对于不同的车辆状态，将执行不同的操作；具体操作如下所示：
（1）成功跟踪：当新识别的车辆与一个被跟踪的车辆成功匹配后，DNAS则计算此时它与主车辆的相对距离，并将该信息加入到相应的跟踪器中；
（2）新出现的车辆：对于新监测到的车辆，DNAS 将会为其新建立一个跟踪器，然后把它加入到跟踪集 中；
（3）消失的车辆：当被跟踪的车辆在新图片中没有找到与其匹配的，这辆车可能由其他车辆或障碍物遮挡住，为了防止在接下来的帧中又出现与其匹配的车辆，DNAS仍然会保留其跟踪器一段时间，但当接下来5帧中仍然没有发现与其匹配的车辆，DNAS则删除它的跟踪器。
监测危险车辆的具体步骤包括：
估算相对距离：利用图像成像原理计算监测车辆与手机之间的物距，即相对距离；为手机摄像头的焦距；首先要将点 转换到手机摄像头光轴与道路平行时对应的点 它的坐标为 。从几何关系的角度出发，点 的坐标可以由公式8计算得出；
因此，监测车辆与主车辆之间的相对距离L可以表示为：
估算速度：通过车辆跟踪模块计算车辆的相对移动速度Vr，它等于单位时间内多图片帧中车辆相对距离变化值；因此监测车辆的移动速度为：
其中，为主车辆移动速度。
本发明具有的优点和积极效果是：
本发明基于智能手机的夜间司机驾驶辅助系统属于移动智能感知范畴，该系统运行在智能手机上，只需利用智能手机内置的摄像头装置就能够在夜间监测主车辆后方超速行驶或近距离跟车的危险车辆，并当发现有危险车辆出现时给司机提前予以警示，从而避免交通事故的发生。目前针对夜间驾驶的司机辅助系统研究很少，并且近年来智能手机越来越普及，最新的预测2015年中国内地的智能手机出货量将超过5 亿，这些智能机不仅有较高的计算和存储能力，同时大都内置了摄像头，因此本发明基于智能手机摄像头的夜间驾驶辅助应用不需要用户花费额外费用而获得服务，有着广泛的应用前景。具体来说，在DNAS中，智能手机被安装在车辆后面的挡风玻璃上，系统利用手机内置的摄像机感知车辆后方道路场景。由于在夜间车辆大头灯亮度明显高于周围环境，所以DNAS首先利用这一特征从图片中确定潜在车辆，之后利用车灯之间的几何关系识别出车辆。然后，根据车辆行驶的时空特性分析连续图片中车辆信息，从而跟踪车辆行驶状态。最后，根据计算机视觉技术检测超速行驶或近距离跟车的危险车辆，并给司机予以警示。
附图说明
图1是本发明的基于智能手机的夜间司机驾驶辅助系统的系统框图；
图2是本发明的DNAS感知距离调整客户端的示意图；
图3是本发明的手机摄像头旋转角度示例图；
图4是本发明的车辆大头灯像素RGB分布图；
图5是本发明的夜间车辆大头灯提取结果图；其中(a)夜晚车辆大头灯图片(b)车辆大头灯提取结果；
图6是本发明的夜间车辆大头灯不同形态分析图；其中(a)大头灯亮点是分开的；(b) 大头灯融合为一个大亮点；(c)大头灯在路上有反射影；(d)图(a)亮度分布；(e)图(b)亮度分布；(f) 图(c)亮度分布；(g) 亮度示意；
图7是本发明的车辆识别方法示意图；
图8是本发明的潜在车辆识别算法图；（算法输入为亮点集S，S中每一个亮点由中心点坐标(x,y)、宽度W、高度H，相对距离L；算法输出为潜在车辆集合P）；
图9是本发明的相对距离计算示意图。
具体实施方式：
以下参照附图对本发明的基于智能手机的夜间司机驾驶辅助系统及驾驶辅助方法进行详细的说明。下面描述的具体实施例仅是本发明的最佳实施方式，而不能理解为对本发明的限制。
本发明的DNAS系统是运行在安卓智能手机上的夜间司机驾驶辅助系统，它利用手机内置的摄像头感知道路后方车辆的行驶状态，监测主车辆后方是否有超速行驶或近距离跟车的危险车辆，并能给司机予以警示，从而使司机获得足够的反应时间应对危险情况，避免交通事故的发生。为了实现这一目标，DNAS的系统结构如图1 所示，它主要包含三个模块，分别为潜在车辆识别模块、车辆跟踪模块及危险车辆监测模块，下面对这三个模块进行一个简单介绍。
（1）潜在车辆识别模块。为了监测主车辆后方的危险车辆，只需要关注与主车辆行驶方向一致的车辆。如图1所示，DNAS由安装在车辆后面挡风玻璃上智能手机的摄像头采集道路图片，然后将其交给车辆识别模块用以检测图片中的车辆。对于夜间车辆识别，DNAS主要利用了车辆明亮的大头灯及它们之间几何距离的关系。具体而言，相对于周围环境，车辆大头灯有明亮的亮度，通过计算机视觉技术，可以从图片中提取出这些明亮点识别潜在的车辆。为了消除交通灯或者摩托车等其他发光源对识别精度的影响，接下来利用车辆大头灯之间的几何距离关系排除这些噪声。
（2）车辆跟踪模块。为了估算识别出车辆的速度，系统必须能够跟踪识别出来的车辆。也就是在新到来的图片中识别出车辆后，系统能够将其与上一张图片中识别的车辆建立起联系，确定哪些车辆是上一针中的车辆并把它们与相应的跟踪器建立起联系；上一针中哪些车辆在新到来的图片中消失了并决定是否移除其跟踪器；哪些是新出现的车辆并为它们建立一个新的跟踪器。
（3）危险车辆监测模块。DNAS能够监测两种危险行驶的车辆，即超速行驶及近距离跟车。当主车辆后面车辆行驶速度超过道路限速或者与主车辆距离小于安全距离，DNAS则把该车辆判断为危险车辆，并给司机发送一个声音警示。
本发明的基于智能手机的夜间司机驾驶辅助方法，利用智能手机的内置照相机感知主车辆后方车辆行驶情况，监测超速行驶或者近距离跟车的危险车辆，并给司机予以警示；该方法包括如下步骤：
第一步，确定感知距离
在真实环境下采集夜间道路上车辆图片时发现距离主车辆比较远的所有其他车辆大头灯将会融合为一个亮点，从图像处理的角度不可能识别出这些车辆，会大大降低系统精度。然而，幸运地是，在真实环境下不需要关注离主车辆太远的车辆。对于大多数司机，为了避免追尾事故的发生，2 秒的车时距就足够了。例如，当后方车辆行驶速度高于主车辆速度60km/h 时，安全距离大于35m 即可。因此为了提高车辆识别效率及精度，在最初可以调整手机方朝向，缩小其感知距离，使拍摄的图片中排除掉由于远处车辆大头灯聚合造成的噪声。
当手机被旋转调整的过程中，DNAS 手机客户端展示给用户的是其感知的距离，如图2 所示。具体感知距离D的计算过程如图3所示，CH为手机安装的高度，手机Z轴被旋转的角度（由陀螺仪传感器获取）为 手机摄像头垂直方向感知角度为中兴ZTEZ5mini手机垂直感知角度
（1）
第二步，识别潜在车辆
为了从夜间拍摄道路图片中识别出潜在车辆，必须使用夜间车辆区别于周围环境的独有特征。显然，这个特征就是车辆的大头灯。基于这一事实，DNAS通过两个步骤从图片中识别出潜在车辆，第一步为亮点提取，第二部为基于几何规则的潜在车辆推测。接下来分别对这两部进行详细阐述。
（1）亮点提取
由于在夜间车辆有显著区别与周围环境的特征——明亮的大头灯，所以为了从图片中识别出车辆，DNAS 首先要从图片中提取出亮点。令图片中车辆大头灯像素RGB 分量为向量m，通过采集分析300 张车辆大头灯像素的RGB 确定了向量m的值（分析结果如图4 所示）。令向量z为采集图片各像素的RGB 分量，因此，图片中各像素与车辆大头灯像素之间的距离为：
通过计算图片中所有像素与车辆大头灯像素之间的距离，然后可以排除像素
距离 的像素点，T为像素距离阀值，本章中T= 30，为图4中所有RGB 分量的标准方差。因此，处理后的图片输出结果仅包含亮点。通常在图片中拍摄的车辆大头灯是发散的并且有很多分散点，为了提高图片后续处理速度，对亮点提取后的图片又进行了腐蚀和膨胀操作，从而消除图片中小面积亮点。图5为一夜间车辆图片亮点提取结果示例。
（2）基于几何规则的潜在车辆推测
在提取出亮点后，下一步就是要确定哪些来自于车辆大头灯，从而识别出潜
在车辆。最初，在不同角度及不同距离的条件下采集了许多夜间车辆图片，对这些图片统计之后发现，夜间车辆大头灯在图片中会呈现出三种形态：（1）两个大头灯亮点是分开的；（2）两个大头灯融合为一个大亮点；（3）两个大头灯亮点在路面上有投影，如图6(a)、6(b) 和6(c) 所示。为了从图片中识别出这些车辆，需要对车辆大头灯这三种形态的特性进行分析。
图6(d)- 6(f)为图6(a)-6(c)中三种车辆大头灯形态亮度值分布结果。从图6(d)可以看出，即使两个车辆大头灯亮点在图片中是分开的，它们呈现出的形状却是不相同，但不管怎么样两个亮点的中心点几乎还是在同一水平线上，也就是说中心点的垂直距离差很小而水平距离是由车辆宽度决定的。对于图6(e)，即使车辆两个大头灯融合为一个大亮点，但是亮点宽度仍是两个大头灯亮点的和，由车辆宽度决定。对于图6(f)，它是图6(d) 的一个扩展，大头灯在路面上投影的亮点与大头灯亮点本身有同样的特征，但在图片中却位于大头灯亮点的下方；另外，通过对大量类似图片分析发现，它们之间的距离小于车辆长度。因此，可以利用这些亮点之间的几何关系识别出哪些是来自于车辆哪些是车辆大头灯的投影。为了达到这一目的，需要知道车辆的维度信息。一项来自于新西兰陆路交通部对车辆维度调查报告给出了这一信息，调查人员通过对奥克兰、惠灵顿、克赖斯特彻奇、马斯特顿以及卡特顿地区停车场内停放车辆的长、宽、高进行测量，统计现在车辆的维度信息，统计结果如表1所示。从表中可以看出，车辆最大长度不超过5米，宽度在1-2 米之间。
表1 车辆维度信息
是亮点的个数，其中
个亮点的中心点坐标、亮点宽度、高度以及发光源与手机之间的相对距离（3.5 节将会介绍如何计算相对距离L）。对于潜在车辆识别，每次有一个主点（master spot），其他亮点则为辅点（slave spot）。以最复杂的场景亮点在路面上有投影的情况为例，如图7 所示，潜在车辆的亮点满足于：
其中，
能够保证辅点与主点之间垂直距离差很小；则保证辅点与主点之间水平距离满足车辆宽度。如果
则意味着辅点与主点发光源之间水平距离为车辆宽度，但垂直距离表示这两个发光源不是来自与同一辆车且两个发光源之间距离小于车辆长度。此时，DNAS 则判断此辅点为路面反射点并将其移除亮点集S。具体车辆识别算法如图8 所示。
第三步，跟踪识别出的车辆
为了估算监测车辆的速度，DNAS 必须能够在连续的图片帧中跟踪识别出来的车辆。为跟踪车辆的数目，
其与主车辆的相对距离。因此，从手机拍摄的图中识别车辆是一个迭代过程，在每次迭代过中，需要确定被识别出来的车辆归属于哪个跟踪集。
为了跟踪车辆，首先要预测识别出来的车辆在下一帧中可能的移动范围。如果在下一帧中有车辆出现在预测的范围内，则它有很高的概率来自于同一个车辆。
道路最大允许行驶速度。在每一帧的时间间隔车辆相对位移为 接下来可以利用公式4计算车辆在图片中移动距离 因此，车辆在下一帧图片中可能出现范围为：
其中，是车辆在当前图片中明亮大头灯中心点坐标，X和Y为车辆在下一帧中明亮大头灯中心点可能的坐标。
在确定了车辆跟踪范围之后，下一就是处理当跟踪范围内有多辆被识别出来的车辆或者没有车辆出现在跟踪范围内的情况。与之相对应的就是三种跟踪状态：成功跟踪、新出现的车辆或者消失的车辆。为了确定在新到来图片中车辆的状态，我们在新帧中识别出来的车辆与上一张图片中每辆车的跟踪范围之间建立一个确认矩阵，它可以表示为：
其中若第 跟踪范围内时其他情况下是在新到来图片中识别的车辆数目，N为上一张图片中要跟踪的车辆数目。
在确认矩阵中的列为跟踪的车辆，行表示来图片中识别的车辆。值得注意的是，在新图片中识别的每个车辆最多只能与一辆跟踪车辆相匹配，且每个跟踪的车辆只能与一辆新识别的车辆相对应。当中的元素全都确认后，新到来图片中识别的车辆状态也就能确定了。具体而言，如果某一列元素全部为0，则表明在新图片中的车辆没有落在该列对应跟踪车辆的跟踪范围内，即这个车在新图片中消失了；如果某一行元素全为0，则表明新识别出的车辆没有落在任何被跟踪车辆的跟踪范围内，该车辆为一新出现的车辆；对于其他行或者列则应该为每一行或者每一列至多有一个元素为1，其他元素均为0，为1 的元素则是成功跟踪的车辆。例如，识别出来的车辆来自于上一张图片中第个跟踪的车辆。为了确定中各元素的值，在进行下一步之前先删除确认矩阵中元素全为0 的行和列，然后更新确认矩阵，其他元素则由接下来的跟踪匹配优化模型确定。
当确认矩阵被更新之后，接下来计算在新图片中被识别的车辆与其落在跟踪
范围内被跟踪车辆之间的关系。
与其落在车辆 时刻图片中亮点面积，范围内车辆 的亮点面积，因此，相关性事件的概率为：
（5）
因此，跟踪匹配优化模型可以表示为：
当求解模型后，确认矩阵中的所有元素则被确定下来。此时，新到来图片中车辆状态则可以确定。对于不同的车辆状态，DNAS 将执行不同的操作。具体操作如下所示：
（1）成功跟踪：当新识别的车辆与一个被跟踪的车辆成功匹配后，DNAS则计算此时它与主车辆的相对距离，并将该信息加入到相应的跟踪器中。
（2）新出现的车辆：对于新监测到的车辆，DNAS 将会为其新建立一个跟踪器，然后把它加入到跟踪集
（3）消失的车辆：当被跟踪的车辆在新图片中没有找到与其匹配的，这辆车可能由其他车辆或障碍物遮挡住，为了防止在接下来的帧中又出现与其匹配的车辆，DNAS仍然会保留其跟踪器一段时间，但当接下来5帧中仍然没有发现与其匹配的车辆，DNAS则删除它的跟踪器。
第四步，监测危险车辆
DNAS 主要识别两种危险行驶的车辆：超速及近距离跟车。为此，需要估算监测车辆与主车辆之间的相对距离以及车辆的行驶速度，车辆碰撞时间 TTC则等于相对距离除以车辆的相对行驶速度。当小于某一阀值时（本章阀值设为3 秒，大于车辆间安全时间距2秒）或者车辆行驶速度超过道路限速时，则认为该车辆为危险车辆并向司机发出警示声音。接下来将介绍如何估算主车辆后方车辆的相对距离及车辆的行驶速度。
（1）相对距离估算
从图片中识别出潜在车辆后，DNAS 利用图像成像原理计算监测车辆与手机之间的物距，即相对距离。如图9 所示，为图片中监测点，它的坐标为f为手机摄像头的焦距。为了减小摄像头的感知距离，本节最开始讲述了手机朝向调整。为了计算相对距离，首先要将点 转换到手机摄像头光轴与道路平行时对应的点从几何关系的角度出发，点 的坐标可以由公式6计算得出。
因此，监测车辆与主车辆之间的相对距离L可以表示为：
(2)速度估算
对于车辆行驶速度的估算主要依靠时间序列的多帧图片。通过车辆跟踪模块可以计算车辆的相对移动速度 它等于单位时间内多图片帧中车辆相对距离变化值。因此监测车辆的移动速度为：
其中，为主车辆移动速度，可以从导航系统中获得。
当DNAS 监测到危险车辆后它需要发出警示声音引起司机的注意。为此可以使DNAS 与一个开放导航软件结合起来，危险车辆识别算法在手机后台运行并提前录制警示声音。当监测到不同危险则发出不同的声音，从而使司机知道真正的危险源。
Claims (3)
1.一种基于智能手机的夜间司机驾驶辅助方法，该方法利用智能手机的内置照相机感知主车辆后方车辆行驶情况，监测超速行驶或者近距离跟车的危险车辆，并给司机予以警示；其特征在于：该方法包括如下步骤：
第一步，确定感知距离；
第二步，识别潜在危险车辆；
利用夜间车辆的大头灯特征，从夜间拍摄道路图片中识别出潜在车辆；
第三步，跟踪识别出的车辆；
确定了车辆跟踪范围，处理当跟踪范围内有多辆被识别出来的车辆或者没有车辆出现在跟踪范围内的情况；
第四步，监测危险车辆；
监测并识别出超速及近距离跟车的车辆；
其中基于车辆大头灯特征的夜间潜在危险车辆识别包括如下步骤：
（1）提取亮点：首先要从图片中提取出亮点；令图片中车辆大头灯像素RGB 分量为向量m，令向量z为采集图片各像素的RGB 分量，图片中各像素与车辆大头灯像素之间的距离为：
（1）
通过计算图片中所有像素与车辆大头灯像素之间的距离，排除像素距离D(z,m) >T的像素点，T为像素距离阀值；处理后的图片输出结果仅包含亮点；
（2）基于几何规则推测潜在车辆：在提取亮点后，利用亮点之间的几何关系识别出哪些是来自于车辆，哪些是车辆大头灯的投影；
为图片亮点提取后的亮点集，N是亮点的个数，其中记录着第 个亮点的中心点坐标、亮点宽度、高度以及发光源与手机之间的相对距离L；对于潜在车辆识别，每次有一个主点，其他亮点则为辅点；潜在车辆的亮点满足于：
（2）
其中，为手机相机焦距，在公式2中，能够保证辅点与主点之间垂直距离差很小；则保证辅点与主点之间水平距离满足车辆宽度；如果
则意味着辅点与主点发光源之间水平距离为车辆宽度，但垂直距离表示这两个发光源不是来自与同一辆车且两个发光源之间距离小于车辆长度；此时，则判断此辅点为路面反射点并将其移除亮点集。
2.根据权利要求1所述的基于智能手机的夜间司机驾驶辅助方法，其特征在于，跟踪识别出的车辆具体步骤如下：
为了跟踪车辆，首先要预测识别出来的车辆在下一帧中可能的移动范围；如果在下一帧中有车辆出现在预测的范围内，则它有很高的概率来自于同一个车辆；令为监测车辆与主车辆的相对速度，在系统开始令
为道路最大允许行驶速度；在每一帧的时间间隔车辆相对位移为 利用公式3计算车辆在图片中移动距离△R；车辆在下一帧图片中可能出现范围为：
（3）
其中，和是车辆在当前图片中明亮大头灯中心点坐标，为车辆在下一帧中明亮大头灯中心点的坐标；
在确定了车辆跟踪范围之后，下一步是处理当跟踪范围内有多辆被识别出来的车辆或者没有车辆出现在跟踪范围内的情况；与之相对应的就是三种跟踪状态：成功跟踪、新出现的车辆或者消失的车辆；为了确定在新到来图片中车辆的状态，在新帧中识别出来的车辆与上一张图片中每辆车的跟踪范围之间建立一个确认矩阵它可以表示为：
其中若第 个新识别车辆落在第 个跟踪范围内时其他情况下 是在新到来图片中识别的车辆数目，N为上一张图片中要跟踪的车辆数目；
在确认矩阵中的列为跟踪的车辆，行表示新到来图片中识别的车辆；在新图片中识别的每个车辆最多只能与一辆跟踪车辆相匹配，且每个跟踪的车辆只能与一辆新识别的车辆相对应；当中的元素全都确认后，新到来图片中识别的车辆状态也就能确定了；如果某一列元素全部为0，则表明在新图片中的车辆没有落在该列对应跟踪车辆的跟踪范围内，即这个车在新图片中消失了；如果某一行元素全为0，则表明新识别出的车辆没有落在任何被跟踪车辆的跟踪范围内，该车辆为一新出现的车辆；对于其他行或者列则应该为每一行或者每一列至多有一个元素为1，其他元素均为0，为1 的元素则是成功跟踪的车辆；为了确定Ω中各元素的值，在进行下一步之前先删除确认矩阵中元素全为0 的行和列，然后更新确认矩阵，其他元素则由接下来的跟踪匹配优化模型确定；
当确认矩阵被更新之后，接下来计算在新图片中被识别的车辆与其落在跟踪范围内被跟踪车辆之间的关系；令为在t时刻，新图片中被识别的车辆i与其落在车辆 跟踪范围内的相关性事件，为被跟踪车辆在时刻图片中亮点面积， 时刻新图片中落在跟踪车辆 范围内车辆i的亮点面积，因此，相关性事件的概率为：
（4）
跟踪匹配优化模型可以表示为：
当求解模型后，确认矩阵 中的所有元素则被确定下来；此时，新到来图片中车辆状态则可以确定；对于不同的车辆状态，将执行不同的操作；具体操作如下所示：
（1）成功跟踪：当新识别的车辆与一个被跟踪的车辆成功匹配后，DNAS则计算此时它与主车辆的相对距离，并将相对距离信息加入到相应的跟踪器中；
（2）新出现的车辆：对于新监测到的车辆，DNAS 将会为其新建立一个跟踪器，然后把它加入到跟踪集中；
（3）消失的车辆：当被跟踪的车辆在新图片中没有找到与其匹配的，这辆车可能由其他车辆或障碍物遮挡住，为了防止在接下来的帧中又出现与其匹配的车辆，DNAS仍然会保留其跟踪器一段时间，但当接下来5帧中仍然没有发现与其匹配的车辆，DNAS则删除它的跟踪器。
3.根据权利要求1所述的基于智能手机的夜间司机驾驶辅助方法，其特征在于，监测危险车辆的具体步骤包括：
（1）估算相对距离：利用图像成像原理计算监测车辆与手机之间的物距，即相对距离；
P为图片中监测点，它的坐标为f为手机摄像头的焦距；首先要将点转换到手机摄像头光轴与道路平行时对应的点 它的坐标为从几何关系的角度出发，点的坐标可以由公式5计算得出；
因此，监测车辆与主车辆之间的相对距离可以表示为：
（6）
（2）估算速度：通过车辆跟踪模块计算车辆的相对移动速度 它等于单位时间内多图片帧中车辆相对距离变化值；因此监测车辆的移动速度为：
(7)
其中，为主车辆移动速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510680349.9A CN105679090B (zh) | 2015-10-21 | 2015-10-21 | 一种基于智能手机的夜间司机驾驶辅助方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510680349.9A CN105679090B (zh) | 2015-10-21 | 2015-10-21 | 一种基于智能手机的夜间司机驾驶辅助方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105679090A CN105679090A (zh) | 2016-06-15 |
| CN105679090B true CN105679090B (zh) | 2017-11-28 |
Family
ID=56946957
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510680349.9A Expired - Fee Related CN105679090B (zh) | 2015-10-21 | 2015-10-21 | 一种基于智能手机的夜间司机驾驶辅助方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105679090B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102535540B1 (ko) * | 2017-01-12 | 2023-05-23 | 모빌아이 비젼 테크놀로지스 엘티디. | 차량 움직임에 기반한 항법 |
| CN111081061B (zh) * | 2018-10-22 | 2021-09-21 | 杭州海康威视数字技术股份有限公司 | 碰撞预警方法及装置 |
| FR3087721B1 (fr) * | 2018-10-24 | 2021-07-30 | Valeo Vision | Systeme et procede pour l’eclairage d’une region laterale d’un vehicule |
| CN113212294B (zh) * | 2021-03-19 | 2023-01-31 | 太原理工大学 | 一种汽车远光灯照射范围智能调节装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4720700B2 (ja) * | 2006-09-21 | 2011-07-13 | セイコーエプソン株式会社 | 画像検出装置、画像検出方法及び画像検出プログラム |
| US20120287276A1 (en) * | 2011-05-12 | 2012-11-15 | Delphi Technologies, Inc. | Vision based night-time rear collision warning system, controller, and method of operating the same |
| CN103150898B (zh) * | 2013-01-25 | 2015-07-29 | 大唐移动通信设备有限公司 | 一种夜间车辆检测方法、跟踪方法及装置 |
| CN103208185B (zh) * | 2013-03-19 | 2016-07-20 | 东南大学 | 一种基于车灯识别的夜间车辆检测方法及系统 |
| CN103465857A (zh) * | 2013-09-17 | 2013-12-25 | 上海羽视澄蓝信息科技有限公司 | 一种基于手机的汽车主动安全的预警方法 |
-
2015
- 2015-10-21 CN CN201510680349.9A patent/CN105679090B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN105679090A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7397807B2 (ja) | ライダー支援システム及び方法 | |
| US11155249B2 (en) | Systems and methods for causing a vehicle response based on traffic light detection | |
| JP7121497B2 (ja) | 仮想車路生成装置及び方法 | |
| JP7499256B2 (ja) | ドライバの挙動を分類するためのシステムおよび方法 | |
| JP6783949B2 (ja) | 交通標識情報を用いた道路検出 | |
| JP5938569B2 (ja) | 方位情報を考慮する高度運転者支援システム、及びその動作方法 | |
| US11462021B2 (en) | Obstacle detection and notification for motorcycles | |
| CN106571046B (zh) | 基于路面网格体系的车路协同辅助驾驶方法 | |
| KR101891460B1 (ko) | 차도 위의 반사체를 인식하고 평가하기 위한 방법 및 장치 | |
| US20160121791A1 (en) | Vehicle Danger Notification Control Apparatus | |
| KR20220040473A (ko) | 긴급 차량들의 검출 | |
| JP4980970B2 (ja) | 撮像手段の調整装置および物体検出装置 | |
| CN105679090B (zh) | 一种基于智能手机的夜间司机驾驶辅助方法 | |
| KR20130007243A (ko) | 차량 카메라를 이용한 전방 충돌 경보 방법 및 시스템 | |
| KR102033858B1 (ko) | 교통사고 예보 시스템 | |
| CN113808418B (zh) | 路况信息显示系统、方法、车辆、计算机设备和存储介质 | |
| CN108694363A (zh) | 对车辆周围的行人进行检测的方法和装置 | |
| CN116552539A (zh) | 车辆控制装置、车辆控制方法以及车辆控制用计算机程序 | |
| JP2018163530A (ja) | 対象物検知装置、対象物検知方法、及び対象物検知プログラム | |
| WO2024214409A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| JP7384181B2 (ja) | 画像収集装置、画像収集方法及び画像収集用コンピュータプログラム | |
| Ma et al. | DNAS: a driver nighttime assistance system using rear-view smartphone | |
| Porikli et al. | Special issue on car navigation and vehicle systems | |
| JP2024051893A (ja) | エリア監視システムおよびエリア監視方法 | |
| JP2024051891A (ja) | エリア監視システムおよびエリア監視方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171128 Termination date: 20191021 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |