CN105764735A - 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置 - Google Patents

通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置 Download PDF

Info

Publication number
CN105764735A
CN105764735A CN201480059248.3A CN201480059248A CN105764735A CN 105764735 A CN105764735 A CN 105764735A CN 201480059248 A CN201480059248 A CN 201480059248A CN 105764735 A CN105764735 A CN 105764735A
Authority
CN
China
Prior art keywords
sleepy
driver
action
drowsiness
omen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480059248.3A
Other languages
English (en)
Inventor
金在哲
高在观
朴秀珍
金宇昌
李昌熙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN105764735A publication Critical patent/CN105764735A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

本发明接收由包括测定使用者的汽车行使状态的GPS装置的行使判断部和包括设置于能够观察使用者脸部位置的红外线深度传感器和红外线摄像头的拍摄部拍摄的影像及3维深度信息，在瞌睡判断部作为第1步骤判断使用者的打哈欠的周期和点头的速度和周期及眨眼的速度和周期，如果当判断存在瞌睡的前兆行为时输出“预备警告”，其次作为第2步骤判断，检查眼球的闭锁状态、视线的正面注视与否、头部的角度，而当存在瞌睡的执行行动时，经警告部输出“正式警告”，通过动作、面部、眼球,嘴型等各种判断基准，以经过2步骤的阶段性判断，排出非因瞌睡引起的眼球闭锁状态或视线未向正面或头部下垂的情况，正确地只判断瞌睡驾驶行为，从而，能够事先防止因瞌睡驾驶的交通事故及人命伤害和经济损失。

Description

通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置
技术领域
本发明涉及通过对于动作、脸部眼睛、嘴型的认知2步骤预防瞌睡驾驶装置，其使用GPS装置判断使用者是否前进行使，而只有在前进行使中时，开始感知使用者的瞌睡状态，并且，同时利用红外线深度传感器和红外线摄像头，认知驾驶员的动作、面部、眼睛、打哈欠的嘴型，而能够更加准确地判断是否瞌睡驾驶，并且，为了排除因非瞌睡驾驶的其他原因闭眼或注视其他方向的情况，而准确地感知瞌睡驾驶，使用2步骤的阶段性的方法，阶段性地首先经过判断瞌睡的前兆步骤的第1步骤和判断瞌睡的执行步骤的第2步骤，并在满足第1步骤条件中一个以上，其后满足第2步骤条件中一个以上时，才最终确定判断为瞌睡驾驶。
背景技术
以往的预防瞌睡驾驶装置，包括：“利用驾驶员眼球检测的防止瞌睡驾驶的方法及装置”(登录号10-1139963)，其只将眼球区域为对象，尤其根据眼球的大小及圆形度判断瞌睡驾驶，而输出警报信号；“利用脸部认知技术的预防瞌睡驾驶装置及利用其的预防瞌睡驾驶系统”(登录号10-0778059)，其将从脸部影像读取部生成的驾驶员脸部的矢量模板和存储的驾驶员的矢量模板进行比较分析，而确认瞌睡状态；“汽车行使导引装置的预防瞌睡驾驶方法”(公开号10-2012-0086572)，其在汽车的行使速度偏离平均速度较大时，推断驾驶员瞌睡，并向驾驶员连接用于防止瞌睡的电话，而能够防止瞌睡驾驶。
但，如上述的以往技术，在汽车停驶的时候也运作，因此，驾驶员在停止中的汽车内闭眼或注视别处时，也判断为瞌睡驾驶，而给驾驶员带来不便，并且，在后退的汽车内，驾驶员注视汽车的后方或注视后视镜时，也以注视其他方向的理由误判断为瞌睡驾驶。
并且，将在面部影像读取部中生成的驾驶员的矢量模板和预先存储的驾驶员的矢量模板进行比较分析的方法，只要不同于预先存储的驾驶员的矢量模板，都判断为瞌睡驾驶，而难以分辨其是否为瞌睡驾驶还是因其他事由，并且，只因与预先存储的矢量模板不同的理由，判断为瞌睡驾驶可带来不正确的结果。
并且，以往的技术是只判断驾驶员的眼球区域，或只通过是否开闭眼球判断瞌睡驾驶，因此，有太阳镜或眼镜等障碍物而无法认知眼睛的情况下，完全无法判断瞌睡驾驶，并且，将使用者因非瞌睡的其他原因注视其他方向或闭眼或关闭眼球的所有情况均判断为瞌睡，而大大降低了准确性。并且，以往的防止瞌睡驾驶的方法，将汽车的速度为平均速度以上时判断为瞌睡驾驶，该方法存在致命的缺点，即当驾驶员因非瞌睡的其他原因，使得行使速度较大地超过平均速度，或周边环境形成障碍物而无法认知汽车的动作或速度时，无法判断是否瞌睡或其准确度大大降低。
发明内容
发明要解决的技术问题
本发明的目的为提供一种预防瞌睡驾驶装置，使用GPS装置判断使用者是否前进行使，而只有在前进行使中时，开始感知使用者的瞌睡状态，并且，同时利用红外线深度传感器和红外线摄像头，认知驾驶员的动作、面部、眼睛、打哈欠的嘴型，而能够更加准确地判断是否瞌睡驾驶，并且，为了排除因非瞌睡驾驶的其他原因闭眼或注视其他方向的情况，而准确地感知瞌睡驾驶，使用2步骤的阶段性的方法，阶段性地首先经过判断瞌睡的前兆步骤的第1步骤和判断瞌睡的执行步骤的第2步骤，并在满足第1步骤条件中一个以上，其后满足第2步骤条件中一个以上时，才最终确定判断为瞌睡驾驶。
解决问题的技术方案
本发明作为由判断汽车是否前进行使的行使判断部、拍摄驾驶员的状态的拍摄部、判断使用者是否瞌睡驾驶的瞌睡判断部、向使用者发出警告的警报部、控制上述的行使判断部和拍摄部、瞌睡判断部及警报部的控制器构成的预防瞌睡驾驶装置，其特征在于，所述行使判断部包括从GPS终端机接收汽车的目前的位置坐标信息，与之前几秒的位置坐标信息进行比较，而判断汽车的状态为前进行使中、或后退行使中、或停驶中，并且，只有当汽车前进行使时，通过认知驾驶员的动作及面部、眼球和嘴型，判断是否存在瞌睡的前兆行为的第1步骤判断过程和判断是否存在完成的瞌睡的执行行动的第2步骤判断过程，并且，在第1步骤判断过程中判断存在瞌睡的前兆行为后，在第2步骤判断过程中存在瞌睡的执行行动时，才最终判断使用者正在瞌睡驾驶并发出警告音。
优选地，瞌睡判断部，只有当所述行使判断部的判断为前进行使状态时，从红外线摄像头及红外线深度传感器接收影像信息及传感器的3维深度信息，而判断是否瞌睡驾驶，并且，通过第1步骤判断过程认知所述驾驶员是否有瞌睡的前兆行为，通过第2步骤判断过程判断是否存在瞌睡的执行行动，通过上述的方法进行只有在经过第1步骤并向第2步骤履行的情况下最终确定为瞌睡驾驶阶段性判断。
优选地，判断瞌睡的前兆行为的第1步骤，首先由从拍摄部接收的影像及传感器信息，检测驾驶员的脸部轮廓后，再检测嘴、头部、鼻子、脖子的位置，而计算驾驶员的打哈欠的周期，或计算点头的速度和周期，或检测眼睛位置后，认知眼球的外廓线和眼球的白眼珠和黑眼珠，计算眨眼的速度和周期，从而判断是否存在瞌睡的前兆行为。
优选地，判断是否存在瞌睡的执行行动的第2步骤，只限于判断为满足所述第1步骤瞌睡的前兆行为判断基准中一个的驾驶员，在相应驾驶员的眼球的闭锁状态持续既定时间以上，或视线既定时间以上不注视正面，或头部下垂既定角度以上的时间持续既定时间以上时，判断存在瞌睡的执行行动。
发明的效果
本发明通过利用GPS终端机的汽车的行使与否判断及利用红外线摄像头和红外线深度传感器的2步骤的瞌睡判断方法最终判断驾驶员是否瞌睡，并发生警告音，其具有如下效果：
第一，运用GPS终端机的坐标值的变化，只在驾驶员的汽车前进行使的状态下，判断是否瞌睡驾驶，而能够准确地判断瞌睡驾驶。
第二，并非只将认知眼球或单纯眼球开闭与否作为判断瞌睡的要素，而是将驾驶员的打哈欠的周期和眨眼的速度和周期及头部的角度和点头的速度和周期结合，而能够更加准确地判断是否瞌睡，由此，有效地改善了以往系的认知率降低的缺点。
第三，通过只在经过第1步骤瞌睡的前兆步骤，并进行第2步骤瞌睡的执行步骤的情况下才最终判断为瞌睡驾驶的经过2步骤的阶段性瞌睡判断方法，获得消除在非瞌睡驾驶的不必要的情况下发出警告信号的错误和不便的效果。
第四，利用红外线摄像头和红外线深度传感器，而在夜间也能够测定瞌睡驾驶，并且，利用警告音告知装置在判断瞌睡驾驶前兆行为时才发生预备警告音，在最终判断瞌睡驾驶执行行动时才发生正式警告音，唤醒驾驶员的瞌睡，而能够防止瞌睡驾驶，保护生命。
附图说明
图1为根据本发明的实施例的预防瞌睡驾驶装置的构成图；
图2为根据本发明的实施例的行使判断部的前进行使与否判断流程图；
图3为根据本发明的实施例的瞌睡判断部的第1步骤瞌睡前兆行为判断流程图；
图4为根据本发明的实施例的瞌睡判断部的第2步骤瞌睡执行行为判断流程图；
图5为根据本发明的实施例的打哈欠的周期的瞌睡前兆行为判断流程图；
图6为根据本发明的实施例的点头的速度和周期的瞌睡前兆行为判断流程图；
图7为根据本发明的实施例的眨眼的速度和周期的瞌睡前兆行为判断流程图；
图8为根据本发明的实施例的眼球的闭锁状态的持续时间的瞌睡执行行为判断流程图；
图9为根据本发明的实施例的视线不注视正面的状态的持续时间的瞌睡执行行为判断流程图；
图10为根据本发明的实施例的头部的下垂的持续时间的瞌睡执行行为判断流程图；
图11为通过根据本发明的实施例的拍摄部(红外线摄像头和红外线深度传感器)的瞌睡判断部的瞌睡判断过程的综合构成图。
具体实施方式
下面参照附图详细说明本发明。
如图1所示，本发明预防瞌睡驾驶装置为通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其分成在前进行使中的汽车通过认知驾驶员的动作及面部、眼球和嘴型认知而判断是否有瞌睡的前兆行为的第1步骤判断过程和判断是否有完成的瞌睡的执行行动的第2步骤判断过程，并且，在第1步骤判断过程中判断有瞌睡的前兆行为后，只有在第2步骤判断过程中有瞌睡的执行行动时，才最终判断使用者正在瞌睡驾驶并发出警告音。
更详细地，如图1所示，本发明由如下结构构成：行使判断部，判断汽车是否前进行使；拍摄部，拍摄驾驶员的状态；瞌睡判断部，判断使用者是否瞌睡驾驶；警报部，向使用者发出警告；控制器，控制行使判断部和拍摄部、瞌睡判断部及警报部。
在此，判断汽车是否前进行使的行使判断部从GPS终端机接收汽车的目前的位置坐标信息并与以前几秒之间的位置坐标信息进行比较，而判断汽车的状态为前进行使中或后退行使中或停驶中。图2为上述行使判断部的前进行使与否判断流程图，按时间段从GPS终端机接收卫星传送的位置信息，存储按汽车的时间段的坐标值，比较每个时间段的位置坐标值，由此，判断是否前进、停止、后退。在汽车正常行使的情况下较长时间(例如5分钟以上)继续后退行使的情况几乎没有，即使后退行使那么长时间，驾驶员的视线或头部为了看到汽车后面的障碍物一定会下意识地往后看或长时间注视非正面的汽车后视镜，因此，将此类情况也判断为瞌睡驾驶时，发生将下意识的头部转动或眼球的视线转动误认为无意识的瞌睡驾驶行为的错误的概率较高，并且，大部分在较短时间内集中精神而后退的驾驶员在后退行使中的短时间内瞌睡驾驶的可能性也很低，而实际上无需在后退行使中判断是否瞌睡驾驶，因此，为了只有在汽车前进行使中判断瞌睡驾驶，例如，在按时间段前后的坐标值无变化时，判断为停驶中，在比较按时间段前后的坐标值时坐标值突然(或之前暂时没有坐标值的变化)变换为与以前行使方向的反方向时，判断为后退行使；按时间段段前后坐标值一定时间以上继续向相同方向(或非反方向的汽车能够旋转的角度内的方向)一贯地发生变化时，判断为前进行使中。
并且，如图11所示，拍摄所述驾驶员的状态的拍摄部由接收所述驾驶员的脸部状态影像信息的红外线摄像头和接收3维深度信息的红外线深度传感器构成，红外线摄像头在明亮的场所及黑暗的场所接收脸部状态影像信息并向瞌睡判断部传送，而认知所述驾驶员的脸部轮廓及眼睛的外廓线,眼球的白眼珠和黑眼珠，红外线深度传感器在明亮的场所及黑暗的场所接收3维深度信息，向瞌睡判断部传送，而准确地判断所述驾驶员的上体、头部、面部、眼睛和嘴的位置及具体的动作。
并且，如图1所示，判断所述使用者是否瞌睡的瞌睡判断部，由第1步骤瞌睡前兆判断部和第2步骤瞌睡执行判断部构成，瞌睡判断部只有当所述行使判断部判断为前进行使状态时，才从红外线摄像头及红外线深度传感器接收其传送的影像信息及传感器的3维深度信息，判断是否瞌睡驾驶，并且，首先，利用所述驾驶员的动作信息、脸部信息和眼睛及嘴型信息通过第1步骤判断过程认知是否有所述驾驶员的瞌睡的前兆行为，然后，通过第2步骤判断过程判断是否有瞌睡的执行行动的方法，进行阶段性判断，即只有在经过第1步骤履行第2步骤的情况下，才最终确定为瞌睡驾驶。
在此，如图3所示，判断瞌睡的前兆行为的第1步骤，根据拍摄部接收的影像信息及传感器的3维深度信息，首先，检测驾驶员的脸部轮廓后，再检测嘴、头部、鼻子、脖子的位置，而计算驾驶员的打哈欠的周期，或计算点头的速度和周期，或者，检测眼睛的位置后，认知眼球的外廓线和眼球的白眼珠和黑眼珠，而计算眨眼的速度和周期，由此，判断是否有瞌睡的前兆行为。
如图5和所示，瞌睡的前兆行为判断基准中的一个即“打哈欠的周期”，利用从拍摄部接收的影像及传感器信息，掌握驾驶员的嘴的位置后，判断驾驶员的嘴型是否打哈欠，并且，发现在既定时间内驾驶员的打哈欠的次数为基准次数以上时，判断为存在瞌睡的前兆行为。更详细地，瞌睡判断部通过从拍摄部传送的信息认知驾驶员的脸部后，判断驾驶员的嘴的位置。然后检查嘴的形状，例如，比起完全圆形嘴张开50％以上或下巴比平时下垂既定程度以上的状态持续既定时间(例如1秒)以上时，判断为1次的打哈欠，并将在既定时间(例如2分钟)内驾驶员打哈欠既定次数(例如2次)以上判断为瞌睡驾驶前兆步骤。
如图6所示，瞌睡的前兆行为判断基准中一个即“点头的速度和周期”利用从拍摄部接收的影像及传感器信息，将驾驶员的头部下垂既定角度以上后再次复归视为1次的点头，并且，只将在所述1次的点头进行的时间较慢而需要基准时间以上的情况，计算为“瞌睡的前兆点头”，并且，“瞌睡的前兆点头”在既定时间内发生基准次数以上时，判断为存在瞌睡的前兆行为。更加详细地，瞌睡判断部通过从拍摄部传送的信息认知驾驶员的脸部后，确认头部,鼻子、脖子的各个位置。然后，利用头部和脖子的连接线(直线)和头部和鼻子的连接线(直线)测定角度。例如，如果头部下垂30度以上并再次复归，将其视为1次的点头，并存储该1次的点头进行所需时间。如果该1次的点头进行的时间需要既定基准时间以上(例如3秒以上)时，将其判断为“瞌睡的前兆点头”并存储，并且，如果上述的瞌睡的前兆点头在既定时间内(例如3分钟内)发生既定次数以上(例如2次以上)时，判断为存在瞌睡的前兆行为。
并且，如图7所示，瞌睡的前兆行为判断基准中一个即“眨眼的速度和周期”是利用从拍摄部接收的影像及传感器信息将驾驶员的眼球被遮挡既定部分以上后再次显现视为1次的眨眼，并只将所述1次的眨眼进行的时间较慢而需要基准时间以上的情况，计算为“瞌睡的前兆眨眼”，而在上述的“瞌睡的前兆眨眼”在既定时间内发生基准次数以上时，判断存在瞌睡的前兆行为。更详细地，瞌睡判断部利用从拍摄部传送的信息认知驾驶员的眼睛的外廓线、眼球的白眼珠和黑眼珠后，例如，如果眼球被遮挡50％以上后再次恢复为睁开50％以上的形状时，将其视为1次的眨眼，并存储该1次的眨眼进行的所需时间。上述的1次的眨眼进行的时间需要既定基准时间以上(例如1秒以上)时，将其视为“瞌睡的前兆眨眼”进行计算，并且，此类瞌睡的前兆眨眼既定时间内(例如1分钟内)发生既定次数以上(例如2次以上)时，判断存在瞌睡的前兆行为的方法。
并且，如图4所示，判断是否存在瞌睡的执行行动的第2步骤，只限于经过瞌睡的前兆步骤即所述第1步骤的驾驶员，当相应驾驶员的眼球的闭锁状态持续既定时间以上时，或视线既定时间以上没有注释正面时，或头部下垂既定角度以上的时间持续既定时间以上时，判断为存在瞌睡的执行行动。本发明的特征为当没有第1步骤瞌睡的前兆行为而直接感知类似于第2步骤的行为的行为时，不将其判断为瞌睡驾驶。因为没有第1步骤瞌睡的前兆行为而直接进行第2步骤的行为的情况是因非瞌睡的其他原因注视后视镜或窗外或室内镜或听音乐时点头的情况等很多，因此，为了能够将上述行为与表示因瞌睡驾驶而引起的准确的瞌睡状态的第2步骤的行为进行区分而判断。
如图8所示，瞌睡的执行行动判断基准中一个即驾驶员的眼球的闭锁状态，利用从拍摄部接收的影像信息分析驾驶员的眼球，判断驾驶员的眼球是否持续地以关闭既定程度以上的状态闭锁既定时间以上，并且，如图9所示，瞌睡的执行行动判断基准中一个即视线的正面注视与否，利用从拍摄部接收的影像信息分析驾驶员的眼球，而当判断驾驶员不注视正面的时间持续既定时间以上时，判断为瞌睡的执行步骤，并且，如图10所示，瞌睡的执行行动判断基准中一个即头部的角度，利用从拍摄部传送的影像计算驾驶员的头部基准点和鼻子基准点的角度，测定使用者的头部的角度后，如果基准时间以上持续性地倾斜既定角度以上时，判断为瞌睡的执行步骤。
并且，如图1所示，向使用者发出警告的警报部，当判断第1步骤的瞌睡的前兆行为时，发出预备警告音，当经过第1步骤判断第2步骤的瞌睡的执行行动时，向驾驶员发出正式警告音，告知瞌睡驾驶状态。
并且，如图1所示，控制所述行使判断部和拍摄部,瞌睡判断部及警报部的控制器，从行使判断部接收是否前进行使，而如果正在停驶中或后退行使中，向拍摄部传送停止拍摄命令，而只限于前进行使中的情况时向拍摄部发出感知命令，向瞌睡判断部则传送第1步骤瞌睡前兆行为的存在与否判断命令，并且，从瞌睡判断部接收存在第1步骤瞌睡前兆行为后，指示向警报部发出预备警告音的同时，向瞌睡判断部传送第2步骤瞌睡执行行动的存在与否判断命令，当从瞌睡判断部接收经过第1步骤而存在第2步骤瞌睡的执行行动时，向警报部指示向驾驶员发出正式警告音。

Claims (15)

1.一种通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，作为由判断汽车是否前进行使的行使判断部、拍摄驾驶员的状态的拍摄部、判断使用者是否瞌睡驾驶的瞌睡判断部、向使用者发出警告的警报部、控制上述的行使判断部和拍摄部、瞌睡判断部及警报部的控制器构成的预防瞌睡驾驶装置，其特征在于，
所述行使判断部包括从GPS终端机接收汽车的目前的位置坐标信息，与之前几秒的位置坐标信息进行比较，而判断汽车的状态为前进行使中、或后退行使中、或停驶中，并且，只有当汽车前进行使时，通过认知驾驶员的动作及面部、眼球和嘴型，判断是否存在瞌睡的前兆行为的第1步骤判断过程和判断是否存在完成的瞌睡的执行行动的第2步骤判断过程，并且，在第1步骤判断过程中判断存在瞌睡的前兆行为后，在第2步骤判断过程中存在瞌睡的执行行动时，才最终判断使用者正在瞌睡驾驶并发出警告音。
2.根据权利要求1所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
拍摄所述驾驶员的状态的拍摄部由接收所述驾驶员的脸部状态影像信息的红外线摄像头和接收3维深度信息的红外线深度传感器构成。
3.根据权利要求2所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
红外线摄像头不仅在明亮的场所而且在黑暗的场所都能够接收脸部状态影像信息，向瞌睡判断部传送，以便认知所述驾驶员的脸部轮廓及眼睛的外廓线,眼球的白眼珠和黑眼珠。
4.根据权利要求2所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
红外线深度传感器不仅在明亮的场所而且在黑暗的场所都能够接收3维深度信息，向瞌睡判断部传送，而正确地判断所述驾驶员的上体、头部、面部、眼睛和嘴的位置及动作。
5.根据权利要求1所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
判断所述使用者是否瞌睡的瞌睡判断部，只有当所述行使判断部的判断为前进行使状态时，从红外线摄像头及红外线深度传感器接收影像信息及传感器的3维深度信息，而判断是否瞌睡驾驶，并且，通过第1步骤判断过程认知所述驾驶员是否有瞌睡的前兆行为，通过第2步骤判断过程判断是否存在瞌睡的执行行动，通过上述的方法进行只有在经过第1步骤并向第2步骤履行的情况下最终确定为瞌睡驾驶阶段性判断。
6.根据权利要求5所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
判断瞌睡的前兆行为的第1步骤，首先由从拍摄部接收的影像及传感器信息，检测驾驶员的脸部轮廓后，再检测嘴、头部、鼻子、脖子的位置，而计算驾驶员的打哈欠的周期，或计算点头的速度和周期，或检测眼睛位置后，认知眼球的外廓线和眼球的白眼珠和黑眼珠，计算眨眼的速度和周期，从而判断是否存在瞌睡的前兆行为。
7.根据权利要求6所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的前兆行为判断基准中一个即“打哈欠的周期”利用从拍摄部接收的影像及传感器信息掌握驾驶员的嘴的位置后，通过驾驶员的嘴型或下巴的张开程度判断是否打哈欠，而当驾驶员的打哈欠的次数在既定时间内发生基准次数以上时，判断存在瞌睡的前兆行为。
8.根据权利要求6所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的前兆行为判断基准中一个即“点头的速度和周期”利用从拍摄部接收的影像及传感器信息，将驾驶员的头部下垂既定角度以上后再次复归视为1次的点头，并且，只有当所述1次的点头进行的时间较慢而需要基准时间以上时，才计算为“瞌睡的前兆点头”，并且，上述的“瞌睡的前兆点头”在既定时间内发生基准次数以上时，判断存在瞌睡的前兆行为。
9.根据权利要求6所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的前兆行为判断基准中一个即“眨眼的速度和周期”利用从拍摄部接收的影像及传感器信息，将驾驶员的眼球被遮挡既定部分以上后再次显现视为1次的眨眼，只有将所述1次的眨眼进行时间较慢而需要基准时间以上的情况，计算为“瞌睡的前兆眨眼”，并且，当上述的“瞌睡的前兆眨眼”在既定时间内发生基准次数以上时，判断存在瞌睡的前兆行为。
10.根据权利要求5所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
判断是否存在瞌睡的执行行动的第2步骤，只限于判断为满足所述第1步骤瞌睡的前兆行为判断基准中一个的驾驶员，在相应驾驶员的眼球的闭锁状态持续既定时间以上，或视线既定时间以上不注视正面，或头部下垂既定角度以上的时间持续既定时间以上时，判断存在瞌睡的执行行动。
11.根据权利要求10所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的执行行动判断基准中一个即驾驶员的“眼球的闭锁状态”是利用从拍摄部接收的影像信息分析驾驶员的眼球而判断驾驶员的眼球是否以既定程度以上关闭的状态持续性地闭锁既定时间以上。
12.根据权利要求10所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的执行行动判断基准中一个即“视线的正面注视与否”是利用拍摄部接收的影像信息分析驾驶员的眼球，而当判断驾驶员没有注视正面的时间持续既定时间以上时，判断为瞌睡的执行步骤。
13.根据权利要求10所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
瞌睡的执行行动判断基准中一个即“头部的角度”是来源于从拍摄部接收的影像计算驾驶员的头部基准点和鼻子基准点的角度，测定使用者的头部的角度后，当头部基准时间以上持续性地倾斜既定角度以上时，判断为瞌睡的执行步骤。
14.根据权利要求1所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
向使用者发出警告的警报部，当判断为第1步骤的瞌睡的前兆行为时发出预备警告音，并且，经过第1步骤判断为第2步骤的瞌睡的执行行动时，向驾驶员发出正式警告音，告知正在处于瞌睡驾驶状态。
15.根据权利要求1所述的通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置，其特征在于，
控制所述行使判断部和拍摄部、瞌睡判断部及警报部的控制器，从行使判断部接收是否在前进行使中，而当停驶中或后退行使中时，向拍摄部传送停止拍摄命令，而只有在前进行使中时，向拍摄部传送感知命令，向瞌睡判断部传送第1步骤瞌睡判断命令，并且，从瞌睡判断部接收存在第1步骤瞌睡前兆行为时，向瞌睡判断部传送第2步骤瞌睡判断命令，向警报部指示发出预备警告音，而从瞌睡判断部接收经过第1步骤存在第2步骤瞌睡的执行行动时，向警报部指示向驾驶员发出正式警告音。
CN201480059248.3A 2013-10-29 2014-10-27 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置 Pending CN105764735A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130129628A KR101386823B1 (ko) 2013-10-29 2013-10-29 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
KR10-2013-0129628 2013-10-29
PCT/KR2014/010118 WO2015064980A1 (ko) 2013-10-29 2014-10-27 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Publications (1)

Publication Number Publication Date
CN105764735A true CN105764735A (zh) 2016-07-13

Family

ID=50658101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480059248.3A Pending CN105764735A (zh) 2013-10-29 2014-10-27 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置

Country Status (5)

Country Link
US (1) US20160272217A1 (zh)
JP (1) JP2016539446A (zh)
KR (1) KR101386823B1 (zh)
CN (1) CN105764735A (zh)
WO (1) WO2015064980A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN109383516A (zh) * 2018-09-13 2019-02-26 行为科技(北京)有限公司 一种基于用户行为分析的异常分析行为检测系统
CN109508576A (zh) * 2017-09-14 2019-03-22 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN110046560A (zh) * 2019-03-28 2019-07-23 青岛小鸟看看科技有限公司 一种危险驾驶行为检测方法和相机
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN112740300A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN113168757A (zh) * 2018-12-13 2021-07-23 法国大陆汽车公司 确定驾驶者警惕水平的方法
RU2814302C1 (ru) * 2023-04-04 2024-02-28 Открытое Акционерное Общество "Российские Железные Дороги" Автоматизированная система непрерывного контроля бдительности машиниста поезда и способ непрерывного контроля бдительности машиниста поезда с помощью этой системы

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391502B1 (ko) 2014-11-27 2022-04-28 삼성전자주식회사 사용자 상태에 기반한 주변 전자 장치 제어 방법 및 그 전자 장치
CN107864667A (zh) 2014-12-27 2018-03-30 贾迪安光学技术有限公司 用于检测表面的多个振动的系统及方法
US9811993B2 (en) * 2015-04-23 2017-11-07 Wichita State University Vehicle operator impairment detection system and method
KR101693708B1 (ko) 2015-07-14 2017-01-09 한국생산기술연구원 헤드서포트
CN105844252B (zh) * 2016-04-01 2019-07-26 南昌大学 一种面部关键部位的疲劳检测方法
US11144756B2 (en) * 2016-04-07 2021-10-12 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10474145B2 (en) 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US11065958B2 (en) * 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
KR101950476B1 (ko) * 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
KR101775874B1 (ko) * 2017-07-10 2017-09-19 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법
DE102017211931B4 (de) * 2017-07-12 2022-12-29 Volkswagen Aktiengesellschaft Verfahren zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs, System zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs und Kraftfahrzeug
KR102288753B1 (ko) * 2017-10-23 2021-08-11 현대모비스 주식회사 운전자 모니터링 장치 및 방법
FR3074942B1 (fr) * 2017-12-08 2021-04-02 Valeo Comfort & Driving Assistance Procede de determination de l'etat d'un individu a partir du traitement d'images de sa tete et dispositif associe
KR102444666B1 (ko) 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
JP6933161B2 (ja) * 2018-03-02 2021-09-08 日本電気株式会社 画像処理装置、画像処理方法、プログラム
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN111079476B (zh) * 2018-10-19 2024-03-26 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
KR20200057891A (ko) * 2018-11-16 2020-05-27 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법
WO2020121425A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
KR102649027B1 (ko) 2019-05-31 2024-03-21 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR102630485B1 (ko) * 2019-06-18 2024-02-01 엘지전자 주식회사 차량 제어 방법
CN110606090A (zh) * 2019-09-05 2019-12-24 成都亿盟恒信科技有限公司 一种基于疲劳检测的驾驶员监控系统及方法
KR102320484B1 (ko) * 2020-05-06 2021-11-04 타이아(주) 운전 부주의 모니터링 시스템
CN111814613A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种人脸识别方法、设备及计算机可读存储介质
KR20220005297A (ko) * 2020-07-06 2022-01-13 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
WO2022113275A1 (ja) * 2020-11-27 2022-06-02 三菱電機株式会社 睡眠検出装置及び睡眠検出システム
KR102442203B1 (ko) 2022-03-30 2022-09-08 라이트하우스(주) 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템
CN116077798B (zh) * 2023-04-10 2023-07-28 南京信息工程大学 一种基于语音诱导与计算机视觉相结合的催眠方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000351339A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 運転装置の制御装置
CN1291320A (zh) * 1998-01-15 2001-04-11 卡鲁斯·马格努斯有限公司 检测困倦及避免汽车司机入睡的方法与装置
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
JP2009018091A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 居眠り検知装置
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
CN103120588A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用红外线摄像头和3d建模的驾驶者姿势监测装置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3115457B2 (ja) * 1993-08-16 2000-12-04 三菱電機株式会社 運転者異常事態発生警報装置
KR100630163B1 (ko) * 2004-05-12 2006-09-29 삼성전자주식회사 카메라를 구비한 휴대단말기의 졸음운전방지 방법
KR100778059B1 (ko) * 2007-05-22 2007-11-21 (주)텔릭스타 얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템
JP2008296682A (ja) * 2007-05-30 2008-12-11 Katsuya Ikuta 車載危険運転監視装置、危険運転集中監視システム、および、危険運転阻止しシステム
JP5569843B2 (ja) 2010-08-18 2014-08-13 公立大学法人岩手県立大学 自動車運転中の居眠り予兆検知システム、および自動車運転中の居眠り予兆検知方法
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
KR20130039150A (ko) * 2011-10-11 2013-04-19 현대모비스 주식회사 운전자 졸음 방지 시스템 및 방법
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1291320A (zh) * 1998-01-15 2001-04-11 卡鲁斯·马格努斯有限公司 检测困倦及避免汽车司机入睡的方法与装置
JP2000351339A (ja) * 1999-06-10 2000-12-19 Mazda Motor Corp 運転装置の制御装置
CN101090482A (zh) * 2006-06-13 2007-12-19 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
JP2009018091A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 居眠り検知装置
CN103120588A (zh) * 2011-11-17 2013-05-29 现代摩比斯株式会社 利用红外线摄像头和3d建模的驾驶者姿势监测装置及方法
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508576A (zh) * 2017-09-14 2019-03-22 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
CN108216254A (zh) * 2018-01-10 2018-06-29 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN109383516A (zh) * 2018-09-13 2019-02-26 行为科技(北京)有限公司 一种基于用户行为分析的异常分析行为检测系统
CN112740300A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
US11403858B2 (en) 2018-09-20 2022-08-02 Isuzu Motors Limited Vehicular monitoring device
US11308723B2 (en) 2018-10-19 2022-04-19 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
WO2020078464A1 (zh) * 2018-10-19 2020-04-23 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
CN109670421A (zh) * 2018-12-04 2019-04-23 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN113168757A (zh) * 2018-12-13 2021-07-23 法国大陆汽车公司 确定驾驶者警惕水平的方法
US11893807B2 (en) 2018-12-13 2024-02-06 Continental Automotive France Method for determining a level of alertness of a driver
CN110046560B (zh) * 2019-03-28 2021-11-23 青岛小鸟看看科技有限公司 一种危险驾驶行为检测方法和相机
CN110046560A (zh) * 2019-03-28 2019-07-23 青岛小鸟看看科技有限公司 一种危险驾驶行为检测方法和相机
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
RU2814302C1 (ru) * 2023-04-04 2024-02-28 Открытое Акционерное Общество "Российские Железные Дороги" Автоматизированная система непрерывного контроля бдительности машиниста поезда и способ непрерывного контроля бдительности машиниста поезда с помощью этой системы

Also Published As

Publication number Publication date
JP2016539446A (ja) 2016-12-15
US20160272217A1 (en) 2016-09-22
KR101386823B1 (ko) 2014-04-17
WO2015064980A1 (ko) 2015-05-07

Similar Documents

Publication Publication Date Title
CN105764735A (zh) 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置
US10165971B2 (en) Driver state determination apparatus
CN102930693B (zh) 安全驾驶预警方法
US8164463B2 (en) Driver management apparatus and travel management system
CN101916496B (zh) 一种司机驾驶姿势检测的系统和方法
CN108446600A (zh) 一种车辆驾驶员疲劳监测预警系统及方法
US8767061B2 (en) Inattention determining apparatus
US20190108407A1 (en) Vehicle device
WO2011101990A1 (ja) 画像処理装置及び眠気判定装置
CN108621794A (zh) 车辆的显示系统及车辆的显示系统的控制方法
CN111645694B (zh) 一种基于姿态估计的驾驶员驾驶状态监测系统及方法
KR20130054636A (ko) 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법
WO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
US20200094818A1 (en) Vehicle control system, vehicle, and vehicle control method
US20180201276A1 (en) Driver condition detection system
CN105931430A (zh) 用于驾驶员状态预警系统的报警灵敏度检测方法及装置
US20130187847A1 (en) In-car eye control method
JP2011123653A (ja) 運転者覚醒度検査装置
KR101988426B1 (ko) 졸음방지용 손목형 전기충격기
CN106157537A (zh) 防疲劳驾驶系统
CN110281944A (zh) 基于多信息融合的驾驶员状态监测系统
CN102646189B (zh) 一种司机驾驶姿势检测的系统和方法
CN113744499B (zh) 一种疲劳预警方法、眼镜、系统和计算机可读存储介质
KR101461911B1 (ko) 안전벨트 체결 상태 가이드 장치 및 방법
CN105354960A (zh) 一种金融自助服务终端安全区域控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160713

WD01 Invention patent application deemed withdrawn after publication