CN109326085B - 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 - Google Patents
一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 Download PDFInfo
- Publication number
- CN109326085B CN109326085B CN201811323012.2A CN201811323012A CN109326085B CN 109326085 B CN109326085 B CN 109326085B CN 201811323012 A CN201811323012 A CN 201811323012A CN 109326085 B CN109326085 B CN 109326085B
- Authority
- CN
- China
- Prior art keywords
- user
- identification information
- information
- vehicle
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000015654 memory Effects 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 230000033001 locomotion Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 7
- 230000003068 static effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 7
- 239000003550 marker Substances 0.000 description 56
- 239000013598 vector Substances 0.000 description 40
- 210000003128 head Anatomy 0.000 description 11
- 238000003384 imaging method Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010049976 Impatience Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 206010047513 Vision blurred Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000008433 psychological processes and functions Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请的目的是提供一种在车辆设备上进行疲劳驾驶检测的方法，具体包括：通过所述车辆平视显示装置呈现标识信息；通过所述摄像装置拍摄用户眼睛相关的图像信息；根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；若所述用户的视线范围与所述标识信息的显示范围相交，确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。本申请在驾驶过程中进行主动检测，可以有效减少检测过程中噪声的产生，使得检测结果更加准确可靠，提升了用户的使用体验。
Description
技术领域
本申请涉及车辆驾驶领域，尤其涉及一种用于在车辆设备上进行疲劳驾驶检测的技术。
背景技术
驾驶人在长时间连续行车后，会产生生理机能和心理机能的失调，而在客观上出现驾驶技能下降的现象。驾驶人睡眠质量差或不足，长时间驾驶车辆等均容易出现疲劳驾驶，疲劳驾驶会影响到驾驶人的注意、感觉、知觉、思维、判断、意志、决定和运动等诸方面。驾驶人疲劳时判断能力下降、反应迟钝和操作失误增加。驾驶人处于轻微疲劳时，会出现换档不及时、不准确；驾驶人处于中度疲劳时，操作动作呆滞，有时甚至会忘记操作；驾驶人处于重度疲劳时，往往会下意识操作或出现短时间睡眠现象，严重时会失去对车辆的控制能力。驾驶人疲劳时，会出现视线模糊、腰酸背疼、动作呆板、手脚发胀或有精力不集中、反应迟钝、思考不周全、精神涣散、焦虑、急躁等现象。驾驶人如果处于疲劳驾驶时仍勉强驾驶车辆，有可能导致交通事故的发生。
发明内容
本申请的一个目的是提供一种用于在车辆设备上进行疲劳驾驶检测的方法与设备。
根据本申请的一个方面，提供了一种用于在车辆设备上进行疲劳驾驶检测的方法，所述方法包括：
通过所述车辆平视显示装置呈现标识信息；
通过所述摄像装置拍摄用户的眼睛相关的图像信息；
根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；
若所述用户的视线范围与所述标识信息的显示范围相交，则确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。
根据本申请的另一个方面，提供了一种用于在车辆设备上进行疲劳驾驶检测的设备，其中，该设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器执行：
通过所述车辆平视显示装置呈现标识信息；
通过所述摄像装置拍摄用户眼睛相关的图像信息；
根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；
若所述用户的视线范围与所述标识信息的显示范围相交，则确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。
根据本申请的一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行：
通过所述车辆平视显示装置呈现标识信息；
通过所述摄像装置拍摄用户眼睛相关的图像信息；
根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；
若所述用户的视线范围与所述标识信息的显示范围相交，确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。
与现有技术相比，本申请通过车辆设备的摄像装置拍摄用户关于眼睛的图像，并根据眼睛的视线是否与车辆平视显示装置呈现的标识信息相交，判断用户是否处于疲劳驾驶状态。本方法通过较显眼的标识信息来探测用户在当前驾驶过程中注意力是否发散，从而判断用户是否处于疲劳驾驶状态，本方法根据驾驶员主动反应做出检测，可以减少许多误判，同时在驾驶过程中进行主动检测，可以有效减少检测过程中噪声的产生，使得检测结果更加准确可靠，提升了用户的使用体验。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请一个实施例的一种用于在车辆设备上进行疲劳驾驶检测的系统示意图；
图2示出根据本申请一个方面的一个实施例的一种在车辆设备上进行疲劳驾驶检测的方法流程图；
图3示出本申请在车辆行驶过程中的疲劳驾驶检测示意图；
图4示出根据本申请另一个方面的一个实施例的一种进行疲劳驾驶检测的车辆设备的设备结构图；
图5示出可被用于实施本申请中所述的各个实施例的示例性系统。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Programmable Random AccessMemory，PRAM)、静态随机存取存储器(Static Random-Access Memory，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically-Erasable ProgrammableRead-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CompactDisc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disc，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程逻辑器件(Programmable Logic Device，PLD)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、数字信号处理器(Digital Signal Processor，DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。
当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。
图1示出了本申请的一个典型系统结构图，其中，车辆设备100包括但不限于摄像装置101、处理器102、车辆平视显示装置(例如平视显示器(Head Up Display，HUD))103、报警装置104以及处理器与HUD的交换接口105等；其中，所述摄像装置包括但不限于摄像头等视频输入设备，车辆平视显示装置包括但不限于HUD等，报警装置包括不限于发生故障、事故或危险情况的文字信息、语音信息、视频信息等显示装置，如蜂鸣报警器等。在用户驾驶车辆设备时，车辆设备通过摄像装置拍摄用户的眼睛相关图像信息，根据用户视线是否与车辆平视显示装置的标识信息相交，判断用户是否处于疲劳驾驶状态。若用户处于疲劳驾驶状态，可以采取应急措施(如提供就近停车点等)供用户缓解驾驶疲劳。在此，本申请以汽车设备为例阐述以下实施例，本领域技术人员应能理解，现有的或今后可能出现的其他车辆设备(如客车、货车等)同样适用于该等实施例。
为进一步说明本申请实施例的方案，下面结合图2，从在车辆设备上进行疲劳驾驶检测的方法角度，进行举例介绍。
图2示出根据本申请一个方面一个实施例的一种在车辆设备上进行疲劳驾驶检测的方法，其特征在于，所述车辆设备包括摄像装置和车辆平视显示装置，该方法适用于图1示出的系统，该方法包括步骤S11、步骤S12、步骤S13和步骤S14。在步骤S11中，车辆设备通过所述车辆平视显示装置呈现标识信息；在步骤S12中，车辆设备通过所述摄像装置拍摄用户的眼睛相关的图像信息；在步骤S13中，车辆设备根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；在步骤S14中，若所述用户的视线范围与所述标识信息的显示范围相交，则车辆设备确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。
具体而言，在步骤S11中，车辆设备通过所述车辆平视显示装置呈现标识信息。例如，用户正在驾驶车辆设备，该车辆设备间隔一定时间通过车辆平视显示装置呈现疲劳驾驶检测的标识信息；或者车辆设备根据一些条件(如持续驾驶时间过长、行驶轨迹偏离车道线等)触发疲劳驾驶检测程序，车辆设备通过车辆平视显示装置呈现疲劳驾驶检测的标识信息，其中，该标识信息为较为醒目的用于吸引用户注意力的标识信息(如红外发光二极管(Light Emitting Diode，LED)灯、或者高亮的图像等)，可以是静态的，也可以是动态的。
在步骤S12中，车辆设备通过所述摄像装置拍摄用户眼睛相关的图像信息。例如，车辆设备上安装了摄像装置(如摄像头等)，摄像装置朝向驾驶位置，可以拍摄用户在驾驶时的相关图像信息；当车辆设备呈现标识信息时，摄像装置拍摄关于用户眼睛对应的图像信息，如摄像头捕捉并拍摄用户头部相关的图像信息。
在步骤S13中，车辆设备根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围。例如，目前较为广泛的测量视线关注点的是基于瞳孔-角膜反射向量的视线跟踪方法。该方法可以通过忽略头部的运动(如固定头部等)以保持眼睛相对于头的相对位置不变，或者测量眼睛的多个特征来消除头部运动引起的歧义，比如角膜的高光反射和瞳孔的重心。角膜反射为瞳孔附近的小白点，它是角膜表面的反射高光，由于红外光源是相对于眼睛的固定位置放置的，眼球在眼眶里面转动的时候，角膜反射的位置是相对于眼睛是固定的。而瞳孔中心的位置随着眼睛的转动而转动，因此，根据角膜反射点坐标和瞳孔中心位置坐标构成的向量可以估算视线的方向。
在步骤S14中，若所述用户的视线范围与所述标识信息的显示范围相交，则车辆设备确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。例如，车辆设备根据视线方向所对应的向量在空间中与标识信息的显示范围是否相交来判断用户是否处于疲劳驾驶状态。
例如，用户正在驾驶车辆设备，车辆设备间隔一段时间，提醒用户小心疲劳驾驶(如语音提示等)并执行对应的疲劳驾驶检测程序。车辆设备通过车辆平视显示器呈现一定的标识物，如图3中(a)所示，车辆平视显示器将汽车行驶过程中仪表显示信息投射到前风玻璃的同时，将标志物也呈现在前风玻璃上。车辆设备的驾驶位置附近安装有能够拍摄到用户脸部的摄像头，车辆设备通过该摄像头拍摄用户脸部眼睛相关的图像信息，并通过该图像信息采用基于瞳孔-角膜反射向量的视线跟踪方法确定用户角膜反射点坐标和瞳孔中心位置坐标构成的向量，将该向量作为视线的方向。随后，车辆设备根据视线方向对应的向量以及前风玻璃上标志物的所在范围是否相交，如根据向量以及标志物在前风玻璃上的平面，求向量至平面的交点，若该交点落在标志物所在的范围内，确定该视线方向与标志物的所在范围相交，否则，确定该视线方向与标志物所在的范围未相交。
当然，本领域技术人员应能理解上述标识信息仅为举例，其他现有的或今后可能出现的标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，所述标识信息包括但不限于：静态呈现的标识信息；闪烁呈现的标识信息；沿一定轨迹运动呈现的标识信息。例如，车辆设备呈现的标识信息可以是静态的，可以是动态的，如不停闪烁呈现的灯光或者沿一定轨迹运动呈现的标识信息。在一些实施方式中，车辆设备包括光敏传感装置，用于根据外界光照强度连通不同电路，呈现对应的标识信息，如白天正常光照下，光敏传感装置产生一个电信号，作用于光敏元件(如使对应电阻阻值减小等)，车辆设备连通强光照标识信息对应的电路，通过车辆平视显示装置呈现闪烁标识信息或者沿一定轨迹运动的标识信息等，当在昏暗光照下(如起雾、夜晚或者过隧道等)，光敏传感装置阻值较大，车辆设备连通弱光照标识信息对应的电路，通过车辆平视显示装置呈现LED灯光标识信息等。例如，车辆设备呈现的标志物可以是静态的，如高亮的LED灯光等，其中，该标志物对应的范围可以是以LED灯为中心，一定半径的圆所爱的范围；如图3中(a)所示，其中，在HUD的一个角落出现一个S形运动轨迹2的圆形标志物1，该圆所在范围即为标志物所在范围；如图3中(b)所示，在HUD的上侧位置出现一个V形运动轨迹5的三角形标志物4，该标志物所经过的所有范围即为该标志物所对应的范围。车辆设备通过判断用户的视线是否与标志物所在范围相交或者在该标志物所在范围内停留时长是否长于预设停留时长阈值(如0.5s等)，来判断用户是否处于疲劳驾驶状态。
当然，本领域技术人员应能理解上述标识信息仅为举例，其他现有的或今后可能出现的标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，在上述步骤S11中，若用户当前驾驶时长信息满足预设的驾驶时长阈值，则车辆设备通过所述车辆平视显示装置呈现标识信息；或者，若所述车辆设备的当前行驶轨迹与车道线偏离距离大于预定偏离距离阈值，则车辆设备通过所述车辆平视显示装置呈现标识信息。例如，车辆设备统计用户当前驾驶时长信息，当该驾驶时长信息超过驾驶时长阈值(如两小时等)，车辆设备通过车辆平视显示装置呈现标识信息；或者，车辆设备根据当前位置与车道线的位置关系，如车辆设备偏离了车道线半个车身，车辆设备通过车辆平视显示装置呈现标识信息。
例如，用户正在驾驶车辆设备，该车辆设备上安装有监测用户持续驾驶时长的相关程序，当车辆设备监测到用户当前驾驶时长超过两小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。优选地，若当前用户未处于疲劳驾驶状态，且继续保持驾驶状态，在随后的驾驶过程中，该车辆设备间隔一定时间启动一次疲劳驾驶检测程序。
当然，本领域技术人员应能理解上述驾驶时长阈值仅为举例，其他现有的或今后可能出现的驾驶时长阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
又如，用户正在驾驶车辆设备，该车辆设备前后安装有摄像头，通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线半个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。优选地，若当前用户未处于疲劳驾驶状态，且继续保持驾驶状态，在随后的驾驶过程中，该车辆设备间隔一定时间启动一次疲劳驾驶检测程序。
当然，本领域技术人员应能理解上述预定偏离距离阈值仅为举例，其他现有的或今后可能出现的预定偏离距离阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，所述驾驶时长阈值可以包括至少两个阈值，和/或，所述偏离距离阈值可以包括至少两个阈值，在一天的至少两个时间段中，可以采用不同的阈值。示例性地，所述驾驶时长阈值包括第一驾驶时长阈值及第二驾驶时长阈值，所述偏离距离阈值包括第一偏离距离阈值及第二偏离距离阈值，其中，所述第一驾驶时长阈值大于所述第二驾驶时长阈值，所述第一偏离距离阈值大于所述第二偏离距离阈值；其中，上述步骤S11中，若当前时间为白天时间段，且所述用户当前驾驶时长信息满足所述第一驾驶时长阈值，则车辆设备通过所述车辆平视显示装置呈现标识信息；或者，若当前时间为白天时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于所述第一偏离距离阈值，则车辆设备通过所述车辆平视显示装置呈现所述标识信息；或者，若当前时间为黑夜时间段，且所述用户当前驾驶时长信息满足所述第二驾驶时长阈值，则车辆设备通过所述车辆平视显示装置呈现所述标识信息；或者，若当前时间为黑夜时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于所述第二偏离距离阈值，则车辆设备通过所述车辆平视显示装置呈现所述标识信息。
例如，车辆设备可以根据当前的时间判断当前时刻对应的时间段，如处于6：00～18：00时，则判断当前时刻处于白天时间段，处于0：00～6：00和18：00～24：00两个时间段中任一时间段时，则判断当前时刻处于黑夜时间段；车辆设备根据时间段的不同，将驾驶时长阈值和偏离距离阈值分别划分为第一驾驶时长阈值(对应着白天时间段)、第二驾驶时长阈值(对应着黑夜时间段)和第一偏离距离阈值(对应着白天时间段)、第二偏离距离阈值(对应着黑夜时间段)，且白天时间段的第一驾驶时长阈值大于黑夜时间段的第二驾驶时长阈值，如第一驾驶时长阈值取两小时，第一驾驶时长阈值取一小时等；白天时间段的第一偏离距离阈值大于黑夜时间段的第二偏离距离阈值，如第一偏离距离阈值取二分之一个车身距离，第二偏离距离阈值取三分一个车身距离等。若当前时间(如14：00)为白天时间段，且车辆设备监测到用户当前驾驶时长超过两小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息等；若当前时间(如14：00)为白天时间段，且车辆设备通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线半个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息；若当前时间(如20：00)为黑夜时间段，且车辆设备监测到用户当前驾驶时长超过一小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息等；若当前时间(如20：00)为黑夜时间段，且车辆设备通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线三分之一个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。在此，当统计用户驾驶时长时，前后统计时间分别包括两个时间段(如17：00-18：30)，可以直接将所有时长应用于后一个时间段，或者根据对应的第一驾驶时长阈值和第二驾驶时长阈值比例(如2：1等)进行换算，计算是否需要启动对应的疲劳驾驶检测程序等。
在一些实施方式中，在上述步骤S14中，若所述用户的视线范围与所述标识信息的显示范围的相交频次满足第一相交频次阈值，车辆设备确定所述用户未处于疲劳驾驶状态；否则，车辆设备确定所述用户处于疲劳驾驶状态。在一些实施方式中，在上述步骤S14中，若所述用户的视线范围与所述标识信息的显示范围在测试时限内的相交频次满足第二相交频次阈值，车辆设备确定所述用户未处于疲劳驾驶状态；否则，车辆设备确定所述用户处于疲劳驾驶状态。例如，车辆设备确定用户视线方向对应的向量，根据该向量与标志物的显示范围的相交频次满足第一相交频次阈值(如五次等)，车辆设备确定该用户未处于疲劳驾驶状态；或者，该标志物只显示一定时间，在测试时限(如10秒(s))内，用户的视线方向对应的向量与标志物的显示范围相交频次满足第二相交频次阈值(如三次等)，车辆设备确定该用户未处于疲劳驾驶状态；否则，车辆设备确定该用户处于疲劳驾驶状态。
例如，车辆设备实时获取到用户的视线方向对应的向量，若该向量与标志物所在平面的交底落在标志物的显示范围内五次，车辆设备确定用户未处于疲劳驾驶状态；若该向量与标志物所在平面的交点落在在测试时限内(如10s)内落在显示范围内三次，车辆设备确定该用户未处于疲劳驾驶状态。
当然，本领域技术人员应能理解上述第一频次阈值和/或第二频次阈值仅为举例，其他现有的或今后可能出现的第一频次阈值和/或第二频次阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，该方法还包括步骤S15(未示出)。在步骤S15中，若确定所述用户处于疲劳驾驶状态，则车辆设备生成疲劳驾驶警示信息。例如，若车辆设备确定该用户处于疲劳驾驶状态，车辆设备采取一定的应急措施，如生成疲劳驾驶警示信息。在一些实施方式中，所述疲劳驾驶警示信息包括但不限于：疲劳驾驶的文字警示信息；疲劳驾驶的语音警示信息；蜂鸣器提示信息；闪烁灯提示信息。例如，疲劳驾驶信息包括但不限于文字信息、语音信息、蜂鸣示警信息、灯光闪烁灯。
例如，若车辆设备确定用户处于疲劳驾驶状态，车辆平视显示装置呈现“您需要停车休息，距离下一个停车点XX公里等”等文字信息，或者语音提示“请勿疲劳驾驶，您应尽早停止驾车，注意休息”等语音信息，或者采用蜂鸣器示警或者LED等闪烁灯方式提示用户当前处于疲劳驾驶状态。当然，上述方式可以择一实施，也可以是采取其中两种或两种以上。
当然，本领域技术人员应能理解上述疲劳驾驶警示信息为举例，其他现有的或今后可能出现的疲劳驾驶警示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，在上述步骤S13中，车辆设备根据所述摄像装置的摄像坐标系与所述图像信息的图像坐标系间的第一转换参数及所述标识信息所在的世界坐标系与所述摄像装置的摄像坐标系间的第二转换参数对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，其中，所述视线跟踪的结果信息包括所述用户的眼睛在世界坐标系中的视线范围。例如，我们以摄像机中心到图像平面的投影点为中心点，以图像平面的横向和竖直方向作为X轴和Y轴建立图像平面坐标系；以摄像装置摄像头的主点为原点，X轴向右，Z轴向前(朝向屏幕内或摄像机方向)，Y轴向上(不是世界的上方而是摄像机本身的上方)，建立对应的摄像坐标系；以标识信息的范围中心为原点，X轴水平向右，Y轴向上，Z轴根据X轴和Y轴依据右手法则确定，从而建立对应的世界坐标系。
例如，车辆设备根据摄像装置的参数信息建立图像坐标系，并以摄像中心为原点建立三维的摄像坐标系，通过图像处理及摄像坐标系与图像坐标系间的第一转换参数将图像坐标系中瞳孔位置与角膜高光点位置转换至摄像坐标系中，从角膜高光点指向瞳孔中心的向量代表了实现的方向。此处，还以标志物的显示范围中心点为原点建立世界坐标系，世界坐标系与摄像坐标系存在第二转换参数，通过该第二转换参数可以将角膜高光点指向瞳孔中心的向量转换至世界坐标系中，得到视线方向对应的向量在世界坐标系中对应的向量，即为视线跟踪的结果信息。通过该向量，可以计算该向量与标志物显示范围所在平面的交点，进一步判断用户是否处于疲劳驾驶状态。
上文主要结合实施本申请的车辆设备对本申请的实施例提供的方法进行了介绍，相对应地，本申请还提供了能能够执行上述各方法的车辆设备，下面结合图4进行了介绍。
图4示出根据本申请一个方面一个实施例的一种进行疲劳驾驶检测的车辆设备，其中，所述车辆设备包括摄像装置和车辆平视显示装置，该设备适用于图1示出的系统，该设备包括第一模块11、第二模块12、第三模块13和第四模块14。第一模块11，用于通过所述车辆平视显示装置呈现标识信息；第二模块12，用于通过所述摄像装置拍摄用户眼睛相关的图像信息；第三模块13，用于根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；第四模块14，若所述用户的视线范围与所述标识信息的显示范围相交，用于确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。
具体而言，第一模块11，用于通过所述车辆平视显示装置呈现标识信息。例如，用户正在驾驶车辆设备，该车辆设备间隔一定时间通过车辆平视显示装置呈现疲劳驾驶检测的标识信息；或者车辆设备根据一些条件(如持续驾驶时间过长、行驶轨迹偏离车道线等)触发疲劳驾驶检测程序，车辆设备通过车辆平视显示装置呈现疲劳驾驶检测的标识信息，其中，该标识信息为较为醒目的用于吸引用户注意力的标识信息(如红外LED灯、或者高亮的图像等)，可以是静态的，也可以是动态的。
第二模块12，用于通过所述摄像装置拍摄用户眼睛相关的图像信息。例如，车辆设备上安装了摄像装置(如摄像头等)，摄像装置朝向驾驶位置，可以拍摄用户在驾驶时的相关图像信息；当车辆设备呈现标识信息时，摄像装置拍摄关于用户眼睛对应的图像信息，如摄像头捕捉并拍摄用户头部相关的图像信息。
第三模块13，用于根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围。例如，目前较为广泛的测量视线关注点的是基于瞳孔-角膜反射向量的视线跟踪方法。该方法可以通过忽略头部的运动(如固定头部等)以保持眼睛相对于头的相对位置不变，或者测量眼睛的多个特征来消除头部运动引起的歧义，比如角膜的高光反射和瞳孔的重心。角膜反射为瞳孔附近的小白点，它是角膜表面的反射高光，由于红外光源是相对于眼睛的固定位置放置的，眼球在眼眶里面转动的时候，角膜反射的位置是相对于眼睛是固定的。而瞳孔中心的位置随着眼睛的转动而转动，因此，根据角膜反射点坐标和瞳孔中心位置坐标构成的向量可以估算视线的方向。
第四模块14，若所述视线跟踪的结果信息与所述标识信息的显示范围相交，则用于确定所述用户未处于疲劳驾驶状态；否则，确定所述用户处于疲劳驾驶状态。例如，车辆设备根据视线方向所对应的向量在空间中与标识信息的显示范围是否相交来判断用户是否处于疲劳驾驶状态。
例如，用户正在驾驶车辆设备，车辆设备间隔一段时间，提醒用户小心疲劳驾驶(如语音提示等)并执行对应的疲劳驾驶检测程序。车辆设备通过车辆平视显示器呈现一定的标识物，如图3中(a)所示，车辆平视显示器将汽车行驶过程中仪表显示信息投射到前风玻璃的同时，将标志物也呈现在前风玻璃上。车辆设备的驾驶位置附近安装有能够拍摄到用户脸部的摄像头，车辆设备通过该摄像头拍摄用户脸部眼睛相关的图像信息，并通过该图像信息采用基于瞳孔-角膜反射向量的视线跟踪方法确定用户角膜反射点坐标和瞳孔中心位置坐标构成的向量，将该向量作为视线的方向。随后，车辆设备根据视线方向对应的向量以及前风玻璃上标志物的所在范围是否相交，如根据向量以及标志物在前风玻璃上的平面，求向量至平面的交点，若该交点落在标志物所在的范围内，确定该视线方向与标志物的所在范围相交，否则，确定该视线方向与标志物所在的范围未相交。
当然，本领域技术人员应能理解上述标识信息仅为举例，其他现有的或今后可能出现的标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，所述标识信息包括但不限于：静态呈现的标识信息；闪烁呈现的标识信息；沿一定轨迹运动呈现的标识信息。例如，车辆设备呈现的标识信息可以是静态的，可以是动态的，如不停闪烁呈现的灯光或者沿一定轨迹运动呈现的标识信息。在一些实施方式中，车辆设备包括光敏传感装置，用于根据外界光照强度连通不同电路，呈现对应的标识信息，如白天正常光照下，光敏传感装置产生一个电信号，作用于光敏元件(如使对应电阻阻值减小等)，车辆设备连通强光照标识信息对应的电路，通过车辆平视显示装置呈现闪烁标识信息或者沿一定轨迹运动的标识信息等，当在昏暗光照下(如起雾、夜晚或者过隧道等)，光敏传感装置阻值较大，车辆设备连通弱光照标识信息对应的电路，通过车辆平视显示装置呈现LED灯光标识信息等。
例如，车辆设备呈现的标志物可以是静态的，如高亮的LED灯光等，其中，该标志物对应的范围可以是以LED灯为中心，一定半径的圆所爱的范围；如图3中(a)所示，其中，在HUD的一个角落出现一个S形运动轨迹2的圆形标志物1，该圆所在范围即为标志物所在范围；如图3中(b)所示，在HUD的上侧位置出现一个V形运动轨迹5的三角形标志物4，该标志物所经过的所有范围即为该标志物所对应的范围。车辆设备通过判断用户的视线是否与标志物所在范围相交或者在该标志物所在范围内停留时长是否长于预设停留时长阈值(如0.5s等)，来判断用户是否处于疲劳驾驶状态。
当然，本领域技术人员应能理解上述标识信息仅为举例，其他现有的或今后可能出现的标识信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，上述第一模块11，若用户当前驾驶时长信息满足预设的驾驶时长阈值，则用于通过所述车辆平视显示装置呈现标识信息；或者，若所述车辆设备的当前行驶轨迹与车道线偏离距离大于预定偏离距离阈值，则车辆设备通过所述车辆平视显示装置呈现标识信息。例如，车辆设备统计用户当前驾驶时长信息，当该驾驶时长信息超过驾驶时长阈值(如两小时等)，车辆设备通过车辆平视显示装置呈现标识信息；或者，车辆设备根据当前位置与车道线的位置关系，如车辆设备偏离了车道线半个车身，车辆设备通过车辆平视显示装置呈现标识信息。
例如，用户正在驾驶车辆设备，该车辆设备上安装有监测用户持续驾驶时长的相关程序，当车辆设备监测到用户当前驾驶时长超过两小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。优选地，若当前用户未处于疲劳驾驶状态，且继续保持驾驶状态，在随后的驾驶过程中，该车辆设备间隔一定时间启动一次疲劳驾驶检测程序。
当然，本领域技术人员应能理解上述驾驶时长阈值仅为举例，其他现有的或今后可能出现的驾驶时长阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
又如，用户正在驾驶车辆设备，该车辆设备前后安装有摄像头，通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线半个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。优选地，若当前用户未处于疲劳驾驶状态，且继续保持驾驶状态，在随后的驾驶过程中，该车辆设备间隔一定时间启动一次疲劳驾驶检测程序。
当然，本领域技术人员应能理解上述预定偏离距离阈值仅为举例，其他现有的或今后可能出现的预定偏离距离阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，所述驾驶时长阈值可以包括至少两个阈值，和/或，所述偏离距离阈值可以包括至少两个阈值，在一天的至少两个时间段中，可以采用不同的阈值。示例性地，所述驾驶时长阈值包括第一驾驶时长阈值及第二驾驶时长阈值，所述偏离距离阈值包括第一偏离距离阈值及第二偏离距离阈值，其中，所述第一驾驶时长阈值大于所述第二驾驶时长阈值，所述第一偏离距离阈值大于所述第二偏离距离阈值；其中，上述第一模块11，若当前时间为白天时间段，且所述用户当前驾驶时长信息满足所述第一驾驶时长阈值，则用于通过所述车辆平视显示装置呈现标识信息；或者，若当前时间为白天时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于预设的第一偏离距离阈值，则用于通过所述车辆平视显示装置呈现所述标识信息；或者，若当前时间为黑夜时间段，且所述用户当前驾驶时长信息满足所述第二驾驶时长阈值，则用于通过所述车辆平视显示装置呈现所述标识信息；或者，若当前时间为黑夜时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于所述第二偏离距离阈值，则用于通过所述车辆平视显示装置呈现所述标识信息。
例如，车辆设备可以根据当前的时间判断当前时刻对应的时间段，如处于6：00～18：00时，则判断当前时刻处于白天时间段，处于0：00～6：00和18：00～24：00两个时间段中任一时间段时，则判断当前时刻处于黑夜时间段；车辆设备根据时间段的不同，将驾驶时长阈值和偏离距离阈值分别划分为第一驾驶时长阈值(对应着白天时间段)、第二驾驶时长阈值(对应着黑夜时间段)和第一偏离距离阈值(对应着白天时间段)、第二偏离距离阈值(对应着黑夜时间段)，且白天时间段的第一驾驶时长阈值大于黑夜时间段的第二驾驶时长阈值，如第一驾驶时长阈值取两小时，第一驾驶时长阈值取一小时等；白天时间段的第一偏离距离阈值大于黑夜时间段的第二偏离距离阈值，如第一偏离距离阈值取二分之一个车身距离，第二偏离距离阈值取三分一个车身距离等。若当前时间(如14：00)为白天时间段，且车辆设备监测到用户当前驾驶时长超过两小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息等；若当前时间(如14：00)为白天时间段，且车辆设备通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线半个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息；若当前时间(如20：00)为黑夜时间段，且车辆设备监测到用户当前驾驶时长超过一小时，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息等；若当前时间(如20：00)为黑夜时间段，且车辆设备通过摄像头的位置和角度以及拍摄到的图像信息，确定当前车辆与车道线的相对位置信息，如确定当前车辆偏离车道线三分之一个车身，车辆设备启动对应的疲劳驾驶检测程序，通过车辆平视显示装置在前风玻璃上呈现对应的标识信息。在此，当统计用户驾驶时长时，前后统计时间分别包括两个时间段(如17：00-18：30)，可以直接将所有时长应用于后一个时间段，或者根据对应的第一驾驶时长阈值和第二驾驶时长阈值比例(如2：1等)进行换算，计算是否需要启动对应的疲劳驾驶检测程序等。
在一些实施方式中，上述第四模块14，若所述用户的视线范围与所述标识信息的显示范围的相交频次满足第一相交频次阈值，用于确定所述用户未处于疲劳驾驶状态；否则，车辆设备确定所述用户处于疲劳驾驶状态。在一些实施方式中，上述第四模块14，若所述用户的视线范围与所述标识信息的显示范围在测试时限内的相交频次满足第二相交频次阈值，用于确定所述用户未处于疲劳驾驶状态；否则，车辆设备确定所述用户处于疲劳驾驶状态。例如，车辆设备确定用户视线方向对应的向量，根据该向量与标志物的显示范围的相交频次满足第一相交频次阈值(如五次等)，车辆设备确定该用户未处于疲劳驾驶状态；或者，该标志物只显示一定时间，在测试时限(如10s)内，用户的视线方向对应的向量与标志物的显示范围相交频次满足第二相交频次阈值(如三次等)，车辆设备确定该用户未处于疲劳驾驶状态；否则，车辆设备确定该用户处于疲劳驾驶状态。
例如，车辆设备实时获取到用户的视线方向对应的向量，若该向量与标志物所在平面的交底落在标志物的显示范围内五次，车辆设备确定用户未处于疲劳驾驶状态；若该向量与标志物所在平面的交点落在在测试时限内(如10s)内落在显示范围内三次，车辆设备确定该用户未处于疲劳驾驶状态。
当然，本领域技术人员应能理解上述第一频次阈值和/或第二频次阈值仅为举例，其他现有的或今后可能出现的第一频次阈值和/或第二频次阈值如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，该设备还包括第五模块15(未示出)。第五模块15，若确定所述用户处于疲劳驾驶状态，则生成疲劳驾驶警示信息。例如，若车辆设备确定该用户处于疲劳驾驶状态，车辆设备采取一定的应急措施，如生成疲劳驾驶警示信息。在一些实施方式中，所述疲劳驾驶警示信息包括但不限于：疲劳驾驶的文字警示信息；疲劳驾驶的语音警示信息；蜂鸣器提示信息；闪烁灯提示信息。例如，疲劳驾驶信息包括但不限于文字信息、语音信息、蜂鸣示警信息、灯光闪烁灯。
例如，若车辆设备确定用户处于疲劳驾驶状态，车辆平视显示装置呈现“您需要停车休息，距离下一个停车点XX公里等”等文字信息，或者语音提示“请勿疲劳驾驶，您应尽早停止驾车，注意休息”等语音信息，或者采用蜂鸣器示警或者LED等闪烁灯方式提示用户当前处于疲劳驾驶状态。当然，上述方式可以择一实施，也可以是采取其中两种或两种以上。
当然，本领域技术人员应能理解上述疲劳驾驶警示信息为举例，其他现有的或今后可能出现的疲劳驾驶警示信息如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。
在一些实施方式中，上述第三模块13，用于根据所述摄像装置的摄像坐标系与所述图像信息的图像坐标系间的第一转换参数及所述标识信息所在的世界坐标系与所述摄像装置的摄像坐标系间的第二转换参数对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，其中，所述视线跟踪的结果信息包括所述用户的眼睛在世界坐标系中的视线范围。例如，我们以摄像机中心到图像平面的投影点为中心点，以图像平面的横向和竖直方向作为X轴和Y轴建立图像平面坐标系；以摄像装置摄像头的主点为原点，X轴向右，Z轴向前(朝向屏幕内或摄像机方向)，Y轴向上(不是世界的上方而是摄像机本身的上方)，建立对应的摄像坐标系；以标识信息的范围中心为原点，X轴水平向右，Y轴向上，Z轴根据X轴和Y轴依据右手法则确定，从而建立对应的世界坐标系。
例如，车辆设备根据摄像装置的参数信息建立图像坐标系，并以摄像中心为原点建立三维的摄像坐标系，通过图像处理及摄像坐标系与图像坐标系间的第一转换参数将图像坐标系中瞳孔位置与角膜高光点位置转换至摄像坐标系中，从角膜高光点指向瞳孔中心的向量代表了实现的方向。此处，还以标志物的显示范围中心点为原理建立世界坐标系，世界坐标系与摄像坐标系存在第二转换参数，通过该第二转换参数可以将角膜高光点指向瞳孔中心的向量转换至世界坐标系中，得到视线方向对应的向量在世界坐标系中对应的向量，即为视线跟踪的结果信息。通过该向量，可以计算该向量与标志物显示范围所在平面的交点，进一步判断用户是否处于疲劳驾驶状态。
除上述介绍的用于进行疲劳驾驶检测的方法和车辆设备外，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。
本申请还提供了一种计算机设备，所述计算机设备包括：
一个或多个处理器；
存储器，用于存储一个或多个计算机程序；
当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。
图5示出了可被用于实施本申请中所述的各个实施例的示例性系统；
如图5所示在一些实施例中，系统200能够作为各所述实施例中的任意一个上述车辆设备。在一些实施例中，系统200可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或固定存储器(Non-volatileMemory，NVM)/存储设备220)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器205)。
对于一个实施例，系统控制模块210可包括任意适当的接口控制器，以向(一个或多个)处理器205中的至少一个和/或与系统控制模块210通信的任意适当的设备或组件提供任意适当的接口。
系统控制模块210可包括存储器控制器模块230，以向系统存储器215提供接口。存储器控制器模块230可以是硬件模块、软件模块和/或固件模块。
系统存储器215可被用于例如为系统200加载和存储数据和/或指令。对于一个实施例，系统存储器215可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器215可包括双倍数据速率类型四同步动态随机存取存储器((Double-Data-Rate Fourth Generation Synchronous Dynamic Random Access Memory，DDR4SDRAM)。
对于一个实施例，系统控制模块210可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备220及(一个或多个)通信接口225提供接口。
例如，NVM/存储设备220可被用于存储数据和/或指令。NVM/存储设备220可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(Hard Disk Drive，HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。
NVM/存储设备220可包括在物理上作为系统200被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备220可通过网络经由(一个或多个)通信接口225进行访问。
(一个或多个)通信接口225可为系统200提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统200可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。
对于一个实施例，(一个或多个)处理器205中的至少一个可与系统控制模块210的一个或多个控制器(例如，存储器控制器模块230)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器205中的至少一个可与系统控制模块210的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器205中的至少一个可与系统控制模块210的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器205中的至少一个可与系统控制模块210的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。
在各个实施例中，系统200可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统200可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统200包括一个或多个摄像机、键盘、液晶显示器(Liquid Crystal Display，LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。
作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (10)
1.一种用于在车辆设备上进行疲劳驾驶检测的方法，其特征在于，所述车辆设备包括摄像装置和车辆平视显示装置，所述方法包括：
S11 若用户当前驾驶时长信息满足预设的驾驶时长阈值，则通过所述车辆平视显示装置呈现标识信息，或者，若所述车辆设备的当前行驶轨迹与车道线偏离距离大于预设的偏离距离阈值，则通过所述车辆平视显示装置呈现标识信息；
通过所述摄像装置拍摄所述用户的眼睛相关的图像信息；
根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围；
S14 若所述用户的视线范围与所述标识信息的显示范围相交，则确定所述用户未处于疲劳驾驶状态，否则，确定所述用户处于疲劳驾驶状态。
2.根据权利要求1所述的方法，其特征在于，所述标识信息包括以下至少任一项：
静态呈现的标识信息；
闪烁呈现的标识信息；
沿一定轨迹运动呈现的标识信息。
3.根据权利要求1所述的方法，其特征在于，所述驾驶时长阈值包括第一驾驶时长阈值及第二驾驶时长阈值，所述偏离距离阈值包括第一偏离距离阈值及第二偏离距离阈值，其中，所述第一驾驶时长阈值大于所述第二驾驶时长阈值，所述第一偏离距离阈值大于所述第二偏离距离阈值；
其中，所述S11包括：
若当前时间为白天时间段，且所述用户当前驾驶时长信息满足所述第一驾驶时长阈值，则通过所述车辆平视显示装置呈现标识信息；或者，
若当前时间为白天时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于所述第一偏离距离阈值，则通过所述车辆平视显示装置呈现所述标识信息；或者，
若当前时间为黑夜时间段，且所述用户当前驾驶时长信息满足所述第二驾驶时长阈值，则通过所述车辆平视显示装置呈现所述标识信息；或者，
若当前时间为黑夜时间段，且所述车辆设备的当前行驶轨迹与车道线偏离距离大于所述第二偏离距离阈值，则通过所述车辆平视显示装置呈现所述标识信息。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述S14包括：
若所述用户的视线范围与所述标识信息的显示范围的相交频次满足第一相交频次阈值，确定所述用户未处于疲劳驾驶状态，否则，确定所述用户处于疲劳驾驶状态。
5.根据权利要求1至3中任一项所述的方法，其特征在于，所述S14包括：
若所述用户的视线范围与所述标识信息的显示范围在测试时限内的相交频次满足第二相交频次阈值，确定所述用户未处于疲劳驾驶状态，否则，确定所述用户处于疲劳驾驶状态。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若确定所述用户处于疲劳驾驶状态，则生成疲劳驾驶警示信息。
7.根据权利要求6所述的方法，其特征在于，所述疲劳驾驶警示信息包括以下至少任一项：
疲劳驾驶的文字警示信息；
疲劳驾驶的语音警示信息；
蜂鸣器提示信息；
闪烁灯提示信息。
8.根据权利要求1所述的方法，其特征在于，所述根据所述图像信息对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，所述结果信息包括所述用户的视线范围，包括：
根据所述摄像装置的摄像坐标系与所述图像信息的图像坐标系间的第一转换参数及所述标识信息所在的世界坐标系与所述摄像装置的摄像坐标系间的第二转换参数对所述用户进行视线跟踪，获取所述视线跟踪的结果信息，其中，所述用户的视线范围为所述用户的眼睛在所述世界坐标系中的视线范围。
9. 一种用于在车辆设备上进行疲劳驾驶检测的设备，其特征在于，所述进行疲劳驾驶检测的设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使得所述处理器执行如权利要求1至8中任一项所述的方法。
10.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行如权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811323012.2A CN109326085B (zh) | 2018-11-08 | 2018-11-08 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811323012.2A CN109326085B (zh) | 2018-11-08 | 2018-11-08 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109326085A CN109326085A (zh) | 2019-02-12 |
| CN109326085B true CN109326085B (zh) | 2020-07-31 |
Family
ID=65261324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811323012.2A Active CN109326085B (zh) | 2018-11-08 | 2018-11-08 | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109326085B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110471532B (zh) * | 2019-08-19 | 2023-04-18 | 业成科技（成都）有限公司 | 整合眼球追踪与手势操控之车载装置 |
| CN110456914B (zh) * | 2019-08-21 | 2024-04-09 | 爱驰汽车有限公司 | 多功能车内显示装置、方法、电子设备、存储介质 |
| CN112991790B (zh) * | 2019-12-02 | 2022-06-07 | 宇龙计算机通信科技(深圳)有限公司 | 提示用户的方法、装置、电子设备及介质 |
| CN111091539B (zh) * | 2019-12-09 | 2024-03-26 | 上海联影智能医疗科技有限公司 | 网络模型训练、医学图像处理方法、装置、介质及设备 |
| CN112924984B (zh) * | 2020-01-21 | 2022-12-30 | 上海掌门科技有限公司 | 一种用于控制场景光线的方法与设备 |
| CN111401217B (zh) * | 2020-03-12 | 2023-07-11 | 大众问问(北京)信息科技有限公司 | 一种驾驶员的注意力检测方法、装置及设备 |
| CN114495069A (zh) * | 2020-10-27 | 2022-05-13 | 中车株洲电力机车研究所有限公司 | 一种监测司机驾驶状态的方法及系统 |
| CN114399750A (zh) * | 2021-12-16 | 2022-04-26 | 北京云测信息技术有限公司 | 一种危险驾驶的判断方法、装置、电子设备及存储介质 |
| CN117958742A (zh) * | 2024-03-19 | 2024-05-03 | 江苏云途半导体有限公司 | 一种驾驶员驾驶状态监控系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860702A (zh) * | 2009-04-02 | 2010-10-13 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的驾驶员瞌睡警报 |
| CN102821690A (zh) * | 2010-03-23 | 2012-12-12 | 爱信精机株式会社 | 清醒度判定装置与清醒度判定方法以及程序 |
| CN103500331A (zh) * | 2013-08-30 | 2014-01-08 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
| CN103578293A (zh) * | 2012-06-22 | 2014-02-12 | 通用汽车环球科技运作有限责任公司 | 车辆的警报系统和方法 |
| CN103767715A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测装置 |
| CN104794855A (zh) * | 2014-01-22 | 2015-07-22 | 径卫视觉科技（上海）有限公司 | 驾驶员注意力综合评估装置 |
| CN106355838A (zh) * | 2016-10-28 | 2017-01-25 | 深圳市美通视讯科技有限公司 | 一种疲劳驾驶检测方法和系统 |
| CN107730835A (zh) * | 2017-11-14 | 2018-02-23 | 吉林大学 | 一种基于应激反应能力的汽车驾驶员疲劳识别方法 |
| CN108024710A (zh) * | 2015-09-21 | 2018-05-11 | 福特全球技术公司 | 可佩戴车载眼睛注视检测 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6926429B2 (en) * | 2002-01-30 | 2005-08-09 | Delphi Technologies, Inc. | Eye tracking/HUD system |
| US8629784B2 (en) * | 2009-04-02 | 2014-01-14 | GM Global Technology Operations LLC | Peripheral salient feature enhancement on full-windshield head-up display |
| JP6540663B2 (ja) * | 2016-11-18 | 2019-07-10 | トヨタ自動車株式会社 | 車両システム |
-
2018
- 2018-11-08 CN CN201811323012.2A patent/CN109326085B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101860702A (zh) * | 2009-04-02 | 2010-10-13 | 通用汽车环球科技运作公司 | 全挡风玻璃平视显示器上的驾驶员瞌睡警报 |
| CN102821690A (zh) * | 2010-03-23 | 2012-12-12 | 爱信精机株式会社 | 清醒度判定装置与清醒度判定方法以及程序 |
| CN103578293A (zh) * | 2012-06-22 | 2014-02-12 | 通用汽车环球科技运作有限责任公司 | 车辆的警报系统和方法 |
| CN103500331A (zh) * | 2013-08-30 | 2014-01-08 | 北京智谷睿拓技术服务有限公司 | 提醒方法及装置 |
| CN103767715A (zh) * | 2014-01-15 | 2014-05-07 | 中国人民解放军国防科学技术大学 | 一种驾驶员安全驾驶状态检测装置 |
| CN104794855A (zh) * | 2014-01-22 | 2015-07-22 | 径卫视觉科技（上海）有限公司 | 驾驶员注意力综合评估装置 |
| CN108024710A (zh) * | 2015-09-21 | 2018-05-11 | 福特全球技术公司 | 可佩戴车载眼睛注视检测 |
| CN106355838A (zh) * | 2016-10-28 | 2017-01-25 | 深圳市美通视讯科技有限公司 | 一种疲劳驾驶检测方法和系统 |
| CN107730835A (zh) * | 2017-11-14 | 2018-02-23 | 吉林大学 | 一种基于应激反应能力的汽车驾驶员疲劳识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109326085A (zh) | 2019-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109326085B (zh) | 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备 | |
| KR102351592B1 (ko) | 기본 미리 보기 영역 및 시선 기반 운전자 주의 산만 검출 | |
| JP7455456B2 (ja) | ハイブリッド運転における運転者の状態に基づいた強化型警告のための方法およびシステム | |
| JP7163407B2 (ja) | 衝突制御方法及び装置、電子機器並びに記憶媒体 | |
| US10696224B2 (en) | Driving notification method and driving notification system | |
| US20180173975A1 (en) | Driver state monitoring using corneal reflection detection | |
| US11645511B2 (en) | Systems and methods for simulating instantaneous attentive human responses to road hazards for improved early warning systems and fleet data harvesting | |
| US10002300B2 (en) | Apparatus and method for monitoring driver's concentrativeness using eye tracing | |
| US9975482B2 (en) | Systems and methods for traffic event detection for vehicles using rolling averages | |
| KR101986734B1 (ko) | 차량 운전 보조 장치 및 이의 안전 운전 유도 방법 | |
| KR20210113070A (ko) | 주의 기반 알림 | |
| JP6653439B2 (ja) | 表示制御装置、投影装置、表示制御プログラム、および記録媒体 | |
| CN112289003A (zh) | 疲劳驾驶不端驾驶行为监测方法及主动安全驾驶监控系统 | |
| US20210380143A1 (en) | Handover assistant for machine to driver transitions | |
| JP6373820B2 (ja) | 障害物警告システム及びその動作方法 | |
| EP3309711B1 (en) | Vehicle alert apparatus and operating method thereof | |
| CN113386786A (zh) | 信息提示方法、装置、设备、介质、云控平台和车辆 | |
| JP2007006006A (ja) | 車載情報表示装置及び車両用情報表示方法 | |
| JP6796806B2 (ja) | 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体 | |
| CN106926698A (zh) | 包括透明显示器和镜子显示器的车辆通知系统 | |
| JP2018097515A (ja) | 運転支援装置、運転支援方法、およびプログラム | |
| CN115027353A (zh) | 一种盲区监控系统和方法 | |
| WO2019093225A1 (ja) | 情報提示システム、移動体、情報提示方法及びプログラム | |
| JP2012203829A (ja) | 車両用動体検知システム | |
| KR101947473B1 (ko) | 후방 차량을 고려한 안전 운전 지원 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |