CN107403554A - 双目集成驾驶员行为分析设备与方法 - Google Patents
双目集成驾驶员行为分析设备与方法 Download PDFInfo
- Publication number
- CN107403554A CN107403554A CN201710777175.7A CN201710777175A CN107403554A CN 107403554 A CN107403554 A CN 107403554A CN 201710777175 A CN201710777175 A CN 201710777175A CN 107403554 A CN107403554 A CN 107403554A
- Authority
- CN
- China
- Prior art keywords
- camera
- mrow
- driver
- msup
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Emergency Alarm Devices (AREA)
- Image Processing (AREA)
Abstract
一种双目集成驾驶员行为分析设备与方法，采用集成式双目摄像机以及处理主机，通过数据线将摄像机的数据传输至后端处理主机中，主机对两只摄像头传回的数据进行综合处理，经过检测和分析等环节，形成报警输出及相应的图片、视频等输出数据，通过双摄像头对驾驶员形成的三维图像，能够更加精确的定位驾驶员的成像，并能准确的判断驾驶员在行车过程中的行为动作。
Description
技术领域
本发明涉及一种驾驶员行为分析设备与方法，尤其是涉及一种双目集成驾驶员行为分析设备与方法。
背景技术
现代社会随着经济和技术的进步，城市车辆还有增多，人口流动性也随之空前加强，同时，人口流动的加强又道路运营车辆的运营量急剧增加。对于营运性的客运车辆来说，安全是重中之重，而据有关的研究表明，车辆事故的90％是由驾驶员在行车过程中的非安全驾驶行为，如疲劳驾驶，不专心驾驶，抽烟，打电话及超速等行为引起，因此，如何能通过技术手段在驾驶员出现上述非安全驾驶行为时能够及时提醒，并通过网络通知后端平台及时干预，将会在很大程度上对车辆安全事故有较大的影响。
目前，行业内对于司机驾驶行为的监控设备市场上已有多家，主要方案如下：通过设备图像采集设备获得驾驶员的影像，并由分析处理单元对获得的影像进行分析，确认人脸的特征，通过判断驾驶员眼睛与嘴及整个面部移动的动作确认驾驶员的驾驶行为及驾驶动作(包括疲劳驾驶、低头、左顾右盼、抽烟，打电话及故意遮挡等行为)，并依据之前的模型判断驾驶员是否有非安全驾驶行为。如判断驾驶员有非安全驾驶行为，则通过语音报警在前端进行提示和报警，同时将驾驶员非安全驾驶行为抓拍图片传输至后台并在后台进行预警与处理(流程如图1所示)。
现有厂家的设备主要是以一体化摄像机为主，即将摄像机与处理主机合二为一，并将设备安装在车辆前部中控仪表台之上，正对驾驶员或者侧向对着驾驶员以拍摄驾驶员图像。
现有市场上已有部分厂家生产对驾驶员驾驶行为进行检测和提醒的设备，但在实际的使用的体验过程中存在着如下的问题与不足，诸如设备体型较大，放置在驾驶室驾驶员正前方易对驾驶员形成心理压迫，对驾驶员的正常驾驶形成一定的干扰；由于采用单摄像机采集数据，采集到的图像为平面，无法对驾驶员的驾驶行为进行准确的检测和判断，存在大量的误判，误报和漏判，漏判行为；现有设备摄像机拍摄视野有限，如遇到同一辆车辆配置不同的驾驶员，由于每个驾驶员身高，体型不一样，驾驶员坐姿不一样，会造成更换驾驶员后摄像机无法将驾驶员面部完全覆盖，造成检测与判断的准确性降低；现有设备摄像机成像像素较低，只能达到D1分辨率，抓拍到的驾驶员图片效果较差，无法反映驾驶员的实际状态；由于现有条件限制，抓拍图片为黑白色，包含信息较为单纯，无法准确反映驾驶员非安全驾驶行为的实际状况；驾驶员非安全驾驶行为只能抓拍图片，无法反映驾驶员整个非安全驾驶行为的过程，缺少足够的准确性与证据性条件。
发明内容
鉴于现有技术中的上述技术问题，针对市场上现有的对驾驶员非安全驾驶行为分析设备在功能、性能、体验性等种种方面的不足，本发明目的在于提供一种双目集成驾驶员行为分析设备与方法，通过双摄像头对驾驶员形成的三维图像，能够更加精确的定位驾驶员的成像，并能准确的判断驾驶员在行车过程中的行为动作。
具体的，本发明提供一种双目集成驾驶员行为分析设备，其特征在于，包括集成式双目摄像机以及处理主机，通过数据线将摄像机的数据传输至后端处理主机中，其中，所述集成式双目摄像机通过将第一摄像头和第二摄像头集成于同一摄像机内构成，所述主机对第一摄像头和第二摄像头传回的数据进行综合处理，经过检测和分析等环节，形成报警输出及相应的图片、视频等输出数据。
根据本发明上述的一种双目集成驾驶员行为分析设备，其特征在于，通过采用集成式双目摄像机采集驾驶员图像，并根据使用方式的不同将两只摄像头配置如下：所述第一摄像头采用红外方式工作，由红外LED补光灯进行补光，以能够全天候对驾驶员的驾驶行为进行检测与识别。
根据本发明上述的一种双目集成驾驶员行为分析设备，其特征在于，所述第二摄像头通过采用白天彩色加夜间红外的方式，可保证在光线充足条件下生产彩色的图片，而在夜间光线较暗的条件下切换为黑白(因为驾驶室条件限制，不允许夜间有明显光线补光，所以夜间只能使用红外方式)。
根据本发明上述的一种双目集成驾驶员行为分析设备，其特征在于，所述第一摄像头和第二摄像头通过总线将数据传输至位于该设备后端的所述处理主机，通过所述处理主机的CPU处理芯片对所传输的数据进行处理。
根据本发明上述的一种设备，其特征在于，所述第一摄像头和第二摄像头间隔一定的距离，对同一物体成像时在不同的角度产生差异，经过所述处理主机进行处理，对驾驶员进行三维成像。
根据本发明，由于双摄像头本身间隔一定的距离，在对同一物体成像时由不同的角度会有差异，经过处理主机的处理，即可对驾驶员成像呈三维方式(其成像原理如图2所示)。
根据本发明的另一方面，本发明还提供一种双目集成驾驶员行为分析方法，包括如下步骤：
设备正常上电后开始工作，检测摄像头1(第一摄像头)与摄像头2(第二摄像头)是否处于正常工作状态后；
使用摄像头1对驾驶员的非安全驾驶行为进行持续检测，包括驾驶员疲劳驾驶，左顾右盼，低头，抽烟，打电话，故意遮挡等行为；
当检测到驾驶员有非安全驾驶行为时根据相应的算法初步确认驾驶员的非安全驾驶行为，如是疲劳驾驶，左顾右盼，抽烟，打电话时，则根据摄像头1与摄像头2不同角度生成的立体图像判断驾驶员是否有非安全驾驶方式对应的相应的身体部位或者相应物品的位移(例如对于疲劳驾驶除驾驶员眼睛眨眼频率异常外，往往还会有驾驶员头部在短时间内不自主快速的来回移动；而对于抽烟来说则是检测到的烟头部分距离摄像机相比人脸距离摄像机的距离要近5-10cm)；
如此时仍可判定为驾驶员非安全驾驶，则可最终确认非安全驾驶行为并进行相应的动作；
如判断结论为经过摄像头合成的立体图像判断驾驶员并未非安全驾驶，则认为摄像头1检测到的非安全驾驶为误判，不再进行语音预警与图像抓拍和视频截取工作。
根据本发明上述双目集成驾驶员行为分析方法，其特征在于，首先根据摄像机2得到的平面图像初步确定驾驶员是否存在有非安全驾驶行为，同时根据驾驶员非安全驾驶行为的初步判断，确认其非安全驾驶种类，然后启动对摄像头1和摄像头2的图像进行合成，根据每种非安全驾驶行为对应的不同模型，在两摄像头合成的立体图像中判断相应的特征点或特征面是否有相应的移动最终确定由摄像头2平面判断的非安全驾驶行为是为误判还是正确判断，从而最大可能降低系统对于非安全驾驶行为误判和漏判概率。
本发明还提供一种补光方法，采用上述的双目集成驾驶员行为分析设备，在保证驾驶室内不同环境光照条件下对驾驶员表情动作进行准确识别，精准识别其动作特征，在光线充足时输出的抓拍图像和视频均为彩色模式，到夜间时自动切换为黑白输出状态。
附图说明
图1为示出现有技术中涉及的驾驶员行为分析流程图。
图2为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析设备的成像原理示意图。
图3为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析设备的结构方块图。
图4为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析方法的流程图。
具体实施方式
下面参照附图对本发明具体实施方式做出详细说明，然而该说明是示例性的，本发明并不仅限于该实施方式之中。
首先，作为对比的，介绍一下现有技术中的相关技术。图1示出现有技术中涉及的驾驶员行为分析流程图。
该流程主要内容如下：
通过设备图像采集设备获得驾驶员的影像；
由分析处理单元对获得的影像进行分析，确认人脸的特征(眼睛，嘴部)；
通过判断驾驶员眼睛与嘴及整个面部移动的动作确认驾驶员的驾驶行为及驾驶动作(包括疲劳驾驶、低头、左顾右盼、抽烟，打电话及故意遮挡等行为)，并依据之前的模型判断驾驶员是否有非安全驾驶行为。
如判断驾驶员有非安全驾驶行为，则通过语音报警在前端进行提示和报警，同时将驾驶员非安全驾驶行为抓拍图片传输至后台并在后台进行预警与处理
图2为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析设备的成像原理示意图。
图3为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析设备的结构方块图。
集成式双目摄像机方框结构图参见图3，集成式双目摄像机主要由如图中1所示，摄像机主要由摄像头2(即第一摄像头)及与之相配的镜头4、补光灯6，摄像头3(即第二摄像头)及与之相配的镜头5、补光灯7组成，两只摄像头通过连接至摄像机内的USB HUB8上与处理主机11进行控制与数据传输交互，当检测到驾驶员非安全驾驶行为时，主机11将语音报警信息通过USB HUB8传输至音频芯片9中，通过对音频信息的数模转换，将语音通过喇叭10发出，完成对驾驶员的语音预警提示。
参照图2、3所示，本发明采用集成式双目摄像机(将第一摄像头和第二摄像头集成于同一摄像机内)以及处理主机，通过数据线将摄像机的数据传输至后端处理主机中，主机对两只摄像头传回的数据进行综合处理，经过检测和分析等环节，形成报警输出及相应的图片、视频等输出数据。
所述第一摄像头和第二摄像头进行如下配置：第一摄像头采用红外方式工作，由红外LED补光灯进行补光，以能够全天候对驾驶员的驾驶行为进行检测与识别。所述第二摄像头通过采用白天彩色加夜间红外的方式，可保证在光线充足条件下生产彩色的图片，而在夜间光线较暗的条件下切换为黑白(因为驾驶室条件限制，不允许夜间有明显光线补光，所以夜间只能使用红外方式)。所述第一摄像头和第二摄像头通过总线将数据传输至位于该设备后端的所述处理主机，通过所述处理主机的CPU处理芯片对所传输的数据进行处理。
所述第一摄像头和第二摄像头间隔一定的距离，对同一物体成像时在不同的角度产生差异，经过所述处理主机进行处理，对驾驶员进行三维成像。
该双摄像头的成像原理如图2所示，两摄像头的投影中心的连线的距离，即基线距为b。摄像头坐标系的原点在摄像头镜头的光心处，坐标系如图2所示。事实上摄像头的成像平面在镜头的光心后，图2中将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像头坐标系的x轴和y轴方向一致，这样可以简化计算过程。左右图像坐标系的原点在摄像头光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)。假定两摄像头的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1＝v2。由三角几何关系得到:
上式(1)中(xc，yc，zc)为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，(u1，v1)和(u2，v2)分别为点P在左图像和右图像中的坐标。视差定义为某一点在两幅图像中相应点的位置差:
由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
因此，只要能够找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，就可以确定这个点的三维坐标。双目测距主要是利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异。
根据本发明，通过双摄像头对驾驶员形成三维图像，系统可以更加精确的定位驾驶员的成像，并能准确的判断驾驶员在行车过程中的行为动作。通过第一摄像头形成的图像可在任何光线条件下对驾驶员的面部信息进行准确的检测与识别；通过第一摄像头1与第二摄像头2形成的三维图像可以准确判断驾驶员在行驶过程中的空间移动状态，例如头部的前后移动，抽烟和打手机时手部的移动变化等，结合基于二维平面对驾驶员眼部，嘴部的动作分析，可以准确定位驾驶员在驾驶过程中的非安全驾驶行为。
例如对于本设备最主要的检测及疲劳驾驶行为的判断效果的提升描述：根据对人体在疲劳状态下的行为分析结果，一般主要情况下主要表现在以下两个方面：a)人眼的眨眼频率异常，即眨眼频率的增加和单次眨眼时闭眼时间的增加；b)人体头部异常的晃动，主要表现在头部突然的左右、前后晃动或抬头、低头。对于前一种表现可通过单目摄像机检测人眼在行车过程中的眨眼频率即可完成，而对于后一种行为由于人体的快速移动，且是在三维空间中的快速移动，在二维空间内往往难以判断，最终会造成此行为仅仅只能依据人体眨眼的变化来判断是否非安全驾驶。本设备针对上述行为的改进主要体现在通过两个摄像头成像形成的三维空间对驾驶员动作行为的各个方向的变化进行准确判断，尤其是驾驶员前后位置的移动，形成驾驶员驾驶动作的模型，结合基于对驾驶员眨眼的异常分析，从而对驾驶员疲劳驾驶的所有判断方式均进行有效的分析，进而准确判定驾驶员疲劳驾驶行为，极大提高对此行为判断的准确性，尽可能降低漏判与误判的风险。
接下来参照图4所示，对该双摄像头的检测流程进行说明。
图4为示出本发明具体实施方式中涉及的双目集成驾驶员行为分析方法的流程图。
设备正常上电后开始工作，检测摄像头1与摄像头2是否处于正常工作状态后；
使用摄像头1对驾驶员的非安全驾驶行为进行持续检测，包括驾驶员疲劳驾驶，左顾右盼，低头，抽烟，打电话，故意遮挡等行为；
当检测到驾驶员有非安全驾驶行为时根据相应的算法初步确认驾驶员的非安全驾驶行为，如是疲劳驾驶，左顾右盼，抽烟，打电话时，则根据摄像头1与摄像头2不同角度生成的立体图像判断驾驶员是否有非安全驾驶方式对应的相应的身体部位或者相应物品的位移(例如对于疲劳驾驶除驾驶员眼睛眨眼频率异常外，往往还会有驾驶员头部在短时间内不自主快速的来回移动；而对于抽烟来说则是检测到的烟头部分距离摄像机相比人脸距离摄像机的距离要近5-10cm)；
如此时仍可判定为驾驶员非安全驾驶，则可最终确认非安全驾驶行为并进行相应的动作；
如判断结论为经过摄像头合成的立体图像判断驾驶员并未非安全驾驶，则认为摄像头1检测到的非安全驾驶为误判，不再进行语音预警与图像抓拍和视频截取工作。
根据本发明，对于驾驶员非安全驾驶行为抓拍的图片，选择第二摄像头2作为主摄像头。在白天光照充足的条件下，摄像头2输出的图像为彩色图像，抓拍获取的图片为彩色，可将驾驶员及其周围的丰富信息全部展现；在夜间光线较暗的条件下，由于为避免对驾驶员形成干扰，驾驶室不允许有较强的光源，因此选择红外补光，输出黑白照片。此方案保证在尽可能的条件下系统能够输出信息丰富的图片与视频信息内容。
本发明中，还可以采用红外补光与第二摄像头白天夜间自动切换的技术方案。因为第一摄像头1一直工作在红外模式，输出黑白图像，而第二摄像头2白天工作在可见光模式，输出彩色图像，夜间工作在红外模式，输出黑白图像。因此，对于摄像头的补光可以参照如下方案进行，第一摄像头1采用850nm波长红外补光灯，镜头也采用与之对应的850nm窄红外波段镜头，摄像机全天都工作在红外模式下；第二摄像头2采用940nm波段红外补光灯，镜头采用940nm高清+红外镜头，摄像机白天工作的可见光模式下，输出彩色图像，进入夜间则开启对应的补光灯，工作在红外模式下。对于第二摄像头2在白天/夜间模式进行切换，则采用通过软件算法计算图像亮度的方式进行，即间隔一段时间对采集图像的亮度进行分析，如判断亮度在其设定阈值之上，且经过设定时间之后仍未改变，则维持白天模式不变或者进入白天模式；如果发现低于设定阈值且在经过设定时间之后仍维持现状，则将第二摄像头2的补光灯自动开启，第二摄像头2进入夜间工作模式或者维持夜间工作模式不变。上述方式可通过对补光方式的改变既保持输出图像和视频在有条件允许时保证含有丰富信息又能大大提升系统的检测与识别效率。
需要指出的是，该实施方式仅仅是例示性的，例如波长、亮度、颜色等等可以根据需要而做出各种选择，本领域技术人员应该懂得，对该方案做出的修改也属于本发明内容的一部分。
在本发明中，针对输出视频信息内容而言，对于驾驶员非安全驾驶行为的抓拍图片，实际上仅能反映驾驶员在抓拍瞬间的图像，而驾驶员非安全驾驶行为又往往是在一段相对的时间内发生，以疲劳驾驶为例，抓拍图片仅仅能反应在抓拍瞬间驾驶员处于闭眼或者打哈欠状态，但实际上如果驾驶员仅仅是偶尔的一次闭眼时间较长或者打哈欠并不能认定为疲劳驾驶，往往是在上述两个动作之外，驾驶员眨眼的频率明显有异于正常状态，哈欠不断，并且头部不断地前后、上下或者左右晃动，甚至晃动后未归回原位直接直接进入睡眠状态，上述一系列的动作用单纯的一张或者几张图片较难表现清晰，因此，设备在抓拍图片时亦可将抓拍时间段附近的视频同时截取，形成一段10～15s的录像(具体的录像时长和录像起始/终止时间点也可在一定范围内可调)。同时根据车辆数据传输的特点，系统数据通过车辆上的车机或系统单独通过3G/4G网络将数据回传至监控中心，考虑到数据传输流量大压力，本系统针对传输视频进行相应的压缩，将最终的输出视频压缩在300～500KB，确保抓拍证据的完整性与数据传输的经济性进形成良好的结合。
就摄像头而言，所述双摄像头采用高清图像传感器，图像分辨率达到720P。区别于市场上其他类似产品的模拟摄像头只能达到D1级输出效果。更高的图像分辨率代表着更加详细的图像细节，能带来更加准确的驾驶员检测与识别精度，实现检测准确性的极大提升。
根据本发明，能够更加适应不同驾驶员的不同驾驶姿态。由于采用更高分辨率的图像传感器，设备可在驾驶员与摄像机相同的距离条件下，实现驾驶员在画面中所占的比例减小，从而保证在统一车辆更换驾驶员时由于身高、体形、驾驶习惯的不同而造成图像无法覆盖驾驶员，造成系统的漏检和误检，极大的方便驾驶员的日常驾驶，避免
频繁调整摄像头位置，提高系统的冗余性能。
针对图像质量，本发明中，双目集成式双摄像头的图像采集方式通过将两只摄像头集成在同一设备上(摄像头的间距在6-10cm)，采用同一处理主机处理数据实现，双摄像头独立与互补的红外补光与切换方式，同时保证数据的丰富性与检测和识别的准确性；基于双摄像头方式的驾驶员行为三维检测与识别技术，最大程度上提高检测与识别的准确性；采用720P分辨率摄像头，提供更加丰富的图像信息；通过图片与视频双输出模式，达到证据完整与充分。
根据本发明，能够实现面向驾驶员行车过程中的非安全驾驶行为及时进行预警与纠正，新颖性在于在各种路况，光线条件下均能保持时刻对驾驶员的驾驶行为进行监控，避免由于无法实时监督与干预，驾驶员危险驾驶行为在事故苗头阶段未得到有效遏制，从而逐步演变成大型事故，造成重大损失。
根据本发明，本发明能够准确识别驾驶员在驾驶车辆过程中的各种非安全驾驶行为，如疲劳驾驶，低头，左顾右盼，抽烟，打手机，超速及故意遮挡行为，对各种非安全驾驶行为及时语音预警，提醒驾驶员及时纠正危险驾驶行为；同时可将抓拍图片及相应的录像发送回监控中心，由监控中心对驾驶员进行干预，在最大程度上降低由于驾驶员非安全驾驶行为引发的交通事故。
综上所述，由此可以看出，根据本发明的双目集成驾驶员行为分析设备与方法，设备体型较小，设备采用集成式双摄像头加处理主机的方式，可将处理主机放置于隐蔽位置，前端只安装摄像头，小巧轻便且对驾驶员压力较小；双摄像头立体成像，可极大提高系统的检测率和识别率；采用720P的摄像头将更多的图像细节显现出来；双摄像头特有的补光与切换方式，实现光线充足时输出彩色图像与视频，光线较暗时输出黑白图像与视频；图像与视频的同步输出，对驾驶员非安全驾驶行为形成完整的证据链；可实现车辆更换驾驶员后仍可对驾驶员进行正常拍摄，不需对摄像头位置进行调整。双摄像头的补光方案中因红外补光灯有不同波长，可能会采取不同波长的配置实现。
Claims (8)
1.一种双目集成驾驶员行为分析设备，其特征在于，包括集成式双目摄像机以及处理主机，通过数据线将摄像机的数据传输至后端处理主机中，其中，所述集成式双目摄像机通过将第一摄像头和第二摄像头集成于同一摄像机内构成，所述主机对第一摄像头和第二摄像头传回的数据进行综合处理，经过检测和分析等环节，形成报警输出及相应的图片、视频等输出数据。
2.根据权利要求1所述的一种双目集成驾驶员行为分析设备，其特征在于，采用第一摄像头和第二摄像头构成集成式双目摄像机的方式采集驾驶员图像，所述第一摄像头和第二摄像头进行如下配置：第一摄像头采用红外方式工作，由红外LED补光灯进行补光，以能够全天候对驾驶员的驾驶行为进行检测与识别。
3.根据权利要求1所述的一种双目集成驾驶员行为分析设备，其特征在于，所述第二摄像头通过采用白天彩色加夜间红外的方式，可保证在光线充足条件下生产彩色的图片，而在夜间光线较暗的条件下切换为黑白。
4.根据权利要求1所述的一种双目集成驾驶员行为分析设备，其特征在于，所述第一摄像头和第二摄像头通过总线将数据传输至位于该设备后端的所述处理主机，通过所述处理主机的CPU处理芯片对所传输的数据进行处理。
5.根据权利要求1所述的一种双目集成驾驶员行为分析设备，其特征在于，所述第一摄像头和第二摄像头间隔一定的距离，对同一物体成像时在不同的角度产生差异，经过所述处理主机进行处理，对驾驶员进行三维成像。
6.一种双目集成驾驶员行为分析方法，其特征在于，包括如下步骤：
设备正常上电后开始工作，检测第一摄像头与第二摄像头是否处于正常工作状态；
2)使用第一摄像头对驾驶员的非安全驾驶行为进行持续检测，包括驾驶员疲劳驾驶，左顾右盼，低头，抽烟，打电话，故意遮挡等行为；
3)当检测到驾驶员有非安全驾驶行为时根据相应的算法初步确认驾驶员的非安全驾驶行为，如是疲劳驾驶，左顾右盼，抽烟，打电话时，则根据第一摄像头与第二摄像头不同角度生成的立体图像判断驾驶员是否有非安全驾驶方式对应的相应的身体部位或者相应物品的位移；
4)如此时仍可判定为驾驶员非安全驾驶，则可最终确认非安全驾驶行为并进行相应的动作；
5)如判断结论为经过摄像头合成的立体图像判断驾驶员并未非安全驾驶，则认为第一摄像头检测到的非安全驾驶为误判，不再进行语音预警与图像抓拍和视频截取工作。
7.根据权利要求6所述的双目集成驾驶员行为分析方法，其特征在于，设两摄像头的投影中心的连线的距离，即基线距为b，摄像头坐标系的原点在摄像头镜头的光心处，摄像头的成像平面在镜头的光心后，将左右成像平面绘制在镜头的光心前f处，这个虚拟的图像平面坐标系O1uv的u轴和v轴与和摄像头坐标系的x轴和y轴方向一致，左右图像坐标系的原点在摄像头光轴与平面的交点O1和O2。空间中某点P在左图像和右图像中相应的坐标分别为P1(u1,v1)和P2(u2,v2)，假定两摄像头的图像在同一个平面上，则点P图像坐标的Y坐标相同，即v1＝v2，由三角几何关系得到:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<msup>
<mi>x</mi>
<mi>c</mi>
</msup>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<mrow>
<mo>(</mo>
<msup>
<mi>x</mi>
<mi>c</mi>
</msup>
<mo>-</mo>
<mi>b</mi>
<mo>)</mo>
</mrow>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
</mfrac>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>v</mi>
<mn>1</mn>
</msub>
<mo>=</mo>
<msub>
<mi>v</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mi>f</mi>
<mfrac>
<msup>
<mi>y</mi>
<mi>c</mi>
</msup>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
<mn>.....</mn>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
上式(1)中(xc，yc，zc)为点P在左摄像机坐标系中的坐标，b为基线距，f为两个摄像机的焦距，(u1，v1)和(u2，v2)分别为点P在左图像和右图像中的坐标，视差定义为某一点在两幅图像中相应点的位置差:
<mrow>
<mi>d</mi>
<mo>=</mo>
<mrow>
<mo>(</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
<mo>-</mo>
<msub>
<mi>u</mi>
<mn>2</mn>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>f</mi>
<mo>*</mo>
<mi>b</mi>
</mrow>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
</mfrac>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
由此可计算出空间中某点P在左摄像机坐标系中的坐标为:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msup>
<mi>x</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>*</mo>
<msub>
<mi>u</mi>
<mn>1</mn>
</msub>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>y</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>*</mo>
<mi>v</mi>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
<mtd>
<mrow>
<msup>
<mi>z</mi>
<mi>c</mi>
</msup>
<mo>=</mo>
<mfrac>
<mrow>
<mi>b</mi>
<mo>*</mo>
<mi>f</mi>
</mrow>
<mi>d</mi>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
<mn>...</mn>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
找到空间中某点在左右两个摄像机像面上的相应点，并且通过摄像机标定获得摄像机的内外参数，确定这个点的三维坐标。
8.一种补光方法，采用权利要求1-5所述的双目集成驾驶员行为分析设备，在保证驾驶室内不同环境光照条件下对驾驶员表情动作进行准确识别，精准识别其动作特征，在光线充足时输出的抓拍图像和视频均为彩色模式，到夜间时自动切换为黑白输出状态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710777175.7A CN107403554B (zh) | 2017-09-01 | 2017-09-01 | 双目集成驾驶员行为分析设备与方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710777175.7A CN107403554B (zh) | 2017-09-01 | 2017-09-01 | 双目集成驾驶员行为分析设备与方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107403554A true CN107403554A (zh) | 2017-11-28 |
| CN107403554B CN107403554B (zh) | 2023-07-11 |
Family
ID=60398184
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710777175.7A Active CN107403554B (zh) | 2017-09-01 | 2017-09-01 | 双目集成驾驶员行为分析设备与方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107403554B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院（宁波）有限公司 | 一种驾驶员检测系统 |
| CN108423004A (zh) * | 2018-05-16 | 2018-08-21 | 浙江吉利控股集团有限公司 | 一种双目识别驾驶员状态检测系统及方法 |
| CN110222596A (zh) * | 2019-05-20 | 2019-09-10 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶员行为分析防作弊方法 |
| CN110244778A (zh) * | 2019-06-20 | 2019-09-17 | 京东方科技集团股份有限公司 | 一种基于人眼追踪的平视随动控制系统和控制方法 |
| CN110691177A (zh) * | 2018-07-05 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 一种多镜头摄像机 |
| CN110874921A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元及其信息处理方法 |
| CN112706710A (zh) * | 2021-01-27 | 2021-04-27 | 南京工程学院 | 一种机动车安全驾驶智能识别及警示系统和方法 |
| CN113034851A (zh) * | 2021-03-11 | 2021-06-25 | 中铁工程装备集团有限公司 | 一种隧道掘进机主司机疲劳驾驶监测装置及方法 |
| CN113160574A (zh) * | 2021-01-27 | 2021-07-23 | 航天科工智慧产业发展有限公司 | 一种用于交通监控的图像处理方法及双模卡口摄像系统 |
| CN115243000A (zh) * | 2021-08-30 | 2022-10-25 | 广州汽车集团股份有限公司 | 一种汽车座舱监控系统及汽车 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002274265A (ja) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | ミラー調整装置 |
| JP2004177315A (ja) * | 2002-11-28 | 2004-06-24 | Alpine Electronics Inc | 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム |
| JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2006251926A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 直射光検出装置 |
| CN101038165A (zh) * | 2007-02-16 | 2007-09-19 | 北京航空航天大学 | 基于双目视觉的车载环境及距离测量系统 |
| JP2009208739A (ja) * | 2008-03-06 | 2009-09-17 | Clarion Co Ltd | 眠気覚醒装置 |
| CN202454078U (zh) * | 2012-02-27 | 2012-09-26 | 上海理工大学 | 一种道路车辆检测装置 |
| CN102860830A (zh) * | 2012-09-12 | 2013-01-09 | 上海大学 | 基于fpga的疲劳驾驶双目检测硬件平台 |
| CN103729646A (zh) * | 2013-12-20 | 2014-04-16 | 华南理工大学 | 一种眼睛图像有效性检测方法 |
| CN105469035A (zh) * | 2015-11-17 | 2016-04-06 | 中国科学院重庆绿色智能技术研究院 | 基于双目视频分析的驾驶员不良驾驶行为检测系统 |
| CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
| CN106228754A (zh) * | 2016-08-10 | 2016-12-14 | 集美大学 | 一种基于双目视觉的手检测设备 |
-
2017
- 2017-09-01 CN CN201710777175.7A patent/CN107403554B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002274265A (ja) * | 2001-03-22 | 2002-09-25 | Honda Motor Co Ltd | ミラー調整装置 |
| JP2004177315A (ja) * | 2002-11-28 | 2004-06-24 | Alpine Electronics Inc | 視線方向判定装置及びそれを利用した対話システムならびに運転支援システム |
| JP2004240480A (ja) * | 2003-02-03 | 2004-08-26 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
| JP2006251926A (ja) * | 2005-03-08 | 2006-09-21 | Nissan Motor Co Ltd | 直射光検出装置 |
| CN101038165A (zh) * | 2007-02-16 | 2007-09-19 | 北京航空航天大学 | 基于双目视觉的车载环境及距离测量系统 |
| JP2009208739A (ja) * | 2008-03-06 | 2009-09-17 | Clarion Co Ltd | 眠気覚醒装置 |
| CN202454078U (zh) * | 2012-02-27 | 2012-09-26 | 上海理工大学 | 一种道路车辆检测装置 |
| CN102860830A (zh) * | 2012-09-12 | 2013-01-09 | 上海大学 | 基于fpga的疲劳驾驶双目检测硬件平台 |
| CN103729646A (zh) * | 2013-12-20 | 2014-04-16 | 华南理工大学 | 一种眼睛图像有效性检测方法 |
| CN105469035A (zh) * | 2015-11-17 | 2016-04-06 | 中国科学院重庆绿色智能技术研究院 | 基于双目视频分析的驾驶员不良驾驶行为检测系统 |
| CN105788028A (zh) * | 2016-03-21 | 2016-07-20 | 上海仰笑信息科技有限公司 | 具有疲劳驾驶预警功能的行车记录仪 |
| CN106228754A (zh) * | 2016-08-10 | 2016-12-14 | 集美大学 | 一种基于双目视觉的手检测设备 |
Non-Patent Citations (1)
| Title |
|---|
| 龚敏明;周玉彬;: "基于图像分析的汽车驾驶员瞌睡报警器研究" * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108229345A (zh) * | 2017-12-15 | 2018-06-29 | 吉利汽车研究院（宁波）有限公司 | 一种驾驶员检测系统 |
| CN108423004A (zh) * | 2018-05-16 | 2018-08-21 | 浙江吉利控股集团有限公司 | 一种双目识别驾驶员状态检测系统及方法 |
| CN110691177A (zh) * | 2018-07-05 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 一种多镜头摄像机 |
| CN110691177B (zh) * | 2018-07-05 | 2022-02-15 | 杭州海康威视数字技术股份有限公司 | 一种多镜头摄像机 |
| US11217091B2 (en) | 2018-08-31 | 2022-01-04 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Smart roadside unit and method for processing information by smart roadside unit |
| CN110874921A (zh) * | 2018-08-31 | 2020-03-10 | 百度在线网络技术（北京）有限公司 | 智能路侧单元及其信息处理方法 |
| CN110222596A (zh) * | 2019-05-20 | 2019-09-10 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶员行为分析防作弊方法 |
| CN110222596B (zh) * | 2019-05-20 | 2021-07-09 | 浙江零跑科技有限公司 | 一种基于视觉的驾驶员行为分析防作弊方法 |
| CN110244778A (zh) * | 2019-06-20 | 2019-09-17 | 京东方科技集团股份有限公司 | 一种基于人眼追踪的平视随动控制系统和控制方法 |
| CN112706710A (zh) * | 2021-01-27 | 2021-04-27 | 南京工程学院 | 一种机动车安全驾驶智能识别及警示系统和方法 |
| CN113160574A (zh) * | 2021-01-27 | 2021-07-23 | 航天科工智慧产业发展有限公司 | 一种用于交通监控的图像处理方法及双模卡口摄像系统 |
| CN112706710B (zh) * | 2021-01-27 | 2022-07-22 | 南京工程学院 | 一种机动车安全驾驶智能识别及警示系统和方法 |
| CN113034851A (zh) * | 2021-03-11 | 2021-06-25 | 中铁工程装备集团有限公司 | 一种隧道掘进机主司机疲劳驾驶监测装置及方法 |
| CN115243000A (zh) * | 2021-08-30 | 2022-10-25 | 广州汽车集团股份有限公司 | 一种汽车座舱监控系统及汽车 |
| CN115243000B (zh) * | 2021-08-30 | 2024-02-02 | 广州汽车集团股份有限公司 | 一种汽车座舱监控系统及汽车 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107403554B (zh) | 2023-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107403554A (zh) | 双目集成驾驶员行为分析设备与方法 | |
| US7692549B2 (en) | Method and system for detecting operator alertness | |
| US7692551B2 (en) | Method and system for detecting operator alertness | |
| US6304187B1 (en) | Method and device for detecting drowsiness and preventing a driver of a motor vehicle from falling asleep | |
| US20140139655A1 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
| CN101269635A (zh) | 视场监视设备 | |
| CN107679468A (zh) | 一种嵌入式计算机视觉检测疲劳驾驶方法及装置 | |
| US7907752B2 (en) | Face center position detecting device, face center position detecting method, and computer-readable medium | |
| JP7407198B2 (ja) | ながら運転のモニタリング方法、システム及び電子機器 | |
| US7650034B2 (en) | Method of locating a human eye in a video image | |
| WO2016159142A1 (ja) | 撮像装置 | |
| US20210035533A1 (en) | Display device and display method | |
| CN107194381A (zh) | 基于Kinect的驾驶员状态监测系统 | |
| CN111832373A (zh) | 一种基于多目视觉的汽车驾驶姿态检测方法 | |
| WO2019198179A1 (ja) | 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法 | |
| JP4584408B2 (ja) | 眼球画像解析システム | |
| JP4523445B2 (ja) | 通信車両表示装置 | |
| CN207182667U (zh) | 双目集成驾驶员行为分析设备 | |
| CN106874831A (zh) | 驾驶行为侦测方法及其系统 | |
| CN103956027A (zh) | 一种驾驶员人眼疲劳检测装置及检测方法 | |
| US20160117802A1 (en) | Display control device, display control method, non-transitory recording medium, and projection device | |
| US11807264B2 (en) | Driving assistance apparatus, driving assistance method, and medium | |
| US20210295731A1 (en) | Information processing apparatus, information processing system, information processing method, and computer program | |
| EP1901252A2 (en) | Method and system for detecting operator alertness | |
| CN113095108A (zh) | 一种疲劳驾驶检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230614 Address after: 411, 4th Floor, Building 3, Yard 1, Zhongguancun East Road, Haidian District, Beijing, 100084 Applicant after: Beijing Jiuzhou Anhua Information Security Technology Co.,Ltd. Address before: Room 402, Block B, Putian Desheng Park, No. 28, Xinjiekou Street, Xicheng District, Beijing 100088 Applicant before: BEIJING YIKAXING SCIENCE & TECHNOLOGY CO.,LTD. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |