JP2016539446A - 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置 - Google Patents

動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置 Download PDF

Info

Publication number
JP2016539446A
JP2016539446A JP2016552381A JP2016552381A JP2016539446A JP 2016539446 A JP2016539446 A JP 2016539446A JP 2016552381 A JP2016552381 A JP 2016552381A JP 2016552381 A JP2016552381 A JP 2016552381A JP 2016539446 A JP2016539446 A JP 2016539446A
Authority
JP
Japan
Prior art keywords
dozing
driver
eyes
face
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016552381A
Other languages
English (en)
Inventor
キム，ジェ−チョル
コ，ジェ−クァン
パク，ス−ジン
キム，ウ−チャン
リ，チャン−ヒ
Original Assignee
キム，ジェ−チョル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キム，ジェ−チョル filed Critical キム，ジェ−チョル
Publication of JP2016539446A publication Critical patent/JP2016539446A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置を提供すること。本発明は、ユーザの車両の走行状態を測定する全地球測位システム（ＧＰＳ）装置を有する走行判断部と、ユーザの顔を観察する個所に設けられる赤外線深度センサー及び赤外線カメラを有する撮影部において撮影された映像及び３次元の深さ情報を受け取って居眠り判断部において第１段階の判断過程においてユーザのあくびの周期と、うなずきの速度及び周期、及びまばたきの速度及び周期を判断して居眠りの前兆行動があると判断される場合に「予備警告」を出力した後、第２段階の判断過程において瞳の閉鎖状態、視線の正面注視の有無、頭の角度を検査して居眠りの実行行動がある場合に警告部を介して「本警告」を出力することにより、動作、顔面、瞳、口形状など様々な判断基準を用いて２段階に亘っての段階的な判断過程を経て、居眠りではない瞳の閉鎖状態や視線が正面を向いていないか、或いは、うつむいている場合を除いて、単に居眠り運転行為のみを正確に判断して居眠り運転に起因する交通事故及び人命被害と経済的な損失を未然に防ぐことができる。

Description

本発明は、動作、顔面目、口形状の認知を通じた２段階に亘っての居眠り運転の防止装置に係り、ＧＰＳ装置を用いてユーザの前進走行の有無を判断した後、前進走行中であるときにのみユーザの居眠り状態を感知し始め、赤外線深度センサー及び赤外線カメラを併用して運転者の動作と、顔面と、目及びあくびをする口形状を認知してより正確に居眠り運転の有無を判断し、居眠り運転ではない理由から目を閉じたり視線が違うところを向いていたりする場合を除外させて正確に居眠り運転を感知するために、まず居眠りの前兆段階を判断する第１段階及び居眠りの実行段階を判断する第２段階を段階的に経て第１段階条件のうちのいずれか一つ以上を満たし、次いで、第２段階の条件のうちのいずれか一つ以上を満たす場合に限って最終的に居眠り運転と確定する２段階の段階的な方法を用いた居眠り運転の防止装置に関する。
従来の居眠り運転の防止装置としては、瞳（瞳孔）領域のみを対象として、特に、瞳の大きさ及び円形度に基づいて居眠り運転の有無を判断して警報信号を出力する「運転者の瞳の検出を用いた居眠り運転の防止方法及び装置」（例えば、下記の特許文献１参照）と、顔映像の読取部において生成された運転者の顔のベクトルテンプレート及び保存された運転者のベクトルテンプレートを比較し且つ分析して居眠り状態を確認する「顔認識技術を用いた居眠り運転の防止装置及びこれを用いた居眠り運転の防止システム」（例えば、下記の特許文献２参照）と、車両の走行速度が平均速度から大幅に外れると、運転者の居眠り運転を疑って運転者に居眠り防止のための電話をして居眠り運転を防ぐ「車両走行案内装置の居眠り運転の防止方法」（例えば、下記の特許文献３参照）と、が挙げられる。
しかしながら、これらの従来の技術は、車両が止まっているときにも作動して運転者が停車中の車両内において目を閉じたり、違うところを凝視したりする場合にも居眠り運転中であると判断して運転者に不便さを与える虞があり、しかも、後進する車両において運転者が車両の後ろを注視したり、バックミラーを見たりする場合にも瞳が違うところを凝視するという理由から居眠り運転であると誤って判断してしまうという欠点がある。
また、顔映像の読取部において生成された運転者のベクトルテンプレート及び予め保存された運転者のベクトルテンプレートを比較し且つ分析する方法においては、予め保存された運転者のベクトルテンプレートと異なりさえすれば居眠り運転と判断して、それが正確に居眠りによるものであるか、或いは、他の理由によるものであるかの区別が付き難く、予め保存されたベクトルテンプレートと相違するという理由だけで居眠り運転と速断することは不正確な結果を招いてしまうという欠点がある。
更に、従来の技術は、運転者の瞳領域のみを判断するか、或いは、瞳の開閉有無だけで居眠り運転の有無を判断するが故に、サングラスや眼鏡などの障害物があるため目が認識できない状況下では居眠り有無の判断が全く行えないだけではなく、ユーザが居眠りではない理由から違うところを凝視したり、目を閉じたり、瞳が閉鎖されたりする全ての状況を居眠りと判断してしまうという欠点があるため、正確度が非常に低い。なお、車両の速度が平均速度以上である場合を居眠り運転があると判断してしまう従来の居眠り運転の防止方法は、運転者が居眠りではない理由から走行速度が平均速度から大幅に外れる場合や周りの環境が障害物として作用して車両の動きや速度が認識できない状況下では、居眠り有無の判断が行えないか、或いは、正確度が低下してしまうという致命的な欠点がある。
大韓民国登録特許出願第１０−１１３９９６３号 大韓民国登録特許出願第１０−０７７８０５９号 大韓民国公開特許出願第１０−２０１２−００８６５７２号
本発明は上記の事情に鑑みてなされたものであり、その目的は、ＧＰＳ装置を用いてユーザの前進走行の有無を判断した後、前進走行中であるときにのみユーザの居眠り状態を感知し始め、赤外線深度センサー及び赤外線カメラを併用して運転者の動作と、顔面と、目及びあくびをする口形状を認知してより正確に居眠り運転の有無を判断し、居眠り運転ではない理由から目を閉じたり視線が違うところを向いていたりする場合を除外させて正確に居眠り運転を感知するために、まず居眠りの前兆段階を判断する第１段階及び居眠りの実行段階を判断する第２段階を段階的に経て第１段階条件のうちのいずれか一つ以上を満たし、次いで、第２段階の条件のうちのいずれか一つ以上を満たす場合に限って最終的に居眠り運転と確定する２段階に亘っての居眠り運転の防止装置を提供することにある。
上述した目的を達成するために案出された本発明による動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置は、車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える居眠り運転の防止装置において、前記走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置座標情報を受け取って以前の数秒間の位置座標情報と比較して車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断して、車両が前進走行中である場合に限って運転者の動作と、顔面と、瞳及び口形状の認知を通じて居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、を含み、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみユーザが居眠り運転をしていると最終的に判断して警告音を出すことを特徴とする。
好ましくは、前記居眠り判断部は、前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行う。
また、好ましくは、居眠りの前兆行動を判断する第１段階においては、まず、撮影部から送られてきた映像及びセンサー情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断する。
更に、好ましくは、居眠りの実行行動の有無を判断する第２段階においては、前記第１段階の居眠りの前兆行動の判断基準のうちの一つを満たすと判断された運転者に限って、当該運転者の瞳の閉鎖状態が所定の時間以上持続的に行われるか、視線が所定の時間以上正面を注視していないか、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断する。
本発明は、全地球測位システム（ＧＰＳ）端末を用いた車両の走行有無の判断方法と、赤外線カメラ及び赤外線深度センサーを用いて２段階に亘って居眠りを判断する装置に関するものであり、運転者の居眠りの有無を最終的に判断して警告音を出すことにより、下記の効果を有する。
まず、第一に、全地球測位システム（ＧＰＳ）端末の座標値の変化を活用して運転者の車両が前進走行中である状態でのみ居眠り運転の有無を判断して正確に居眠り運転有無の判断を行うことができる。
第二に、単に瞳のみを認識するか、或いは、瞳の単なる開閉有無のみを居眠り有無の判断の要素とするわけではなく、運転者のあくびの周期と、まばたきの速度及び周期と、頭の角度と、うなずきの速度及び周期を組み合わせて居眠り有無をなお一層正確に判断して既存のシステムの認識率の低下という欠点を効率よく改善することができる。
第三に、第１段階の居眠りの前兆段階を経て第２段階の居眠りの実行段階に移行した場合にのみ居眠り運転であると最終的に判断する２段階に亘っての段階的な居眠りの判断方法を採用することにより、居眠り運転ではない不要な状況下で警告信号が出てしまうという誤りや不便さを無くすことができる。
最後に、赤外線カメラ及び赤外線深度センサーを用いて夜間にも居眠り運転の測定を行うことができ、警告音の報知装置を用いて居眠り運転の前兆行為があると判断されるときに予備警告音のみを発生し、最終的な居眠り運転の実行行動があると判断されて始めて本警告音を発生して居眠り運転者の目を覚まして居眠り運転を防ぐことにより、生命を保護することができる。
本発明の実施形態による居眠り運転の防止装置の構成図である。 本発明の実施形態による走行判断部の前進走行の有無の判断の流れを示すフローチャートである。 本発明の実施形態による居眠り判断部の第１段階の居眠り前兆行動の判断の流れを示すフローチャートである。 本発明の実施形態による居眠り判断部の第２段階の居眠り実行行動の判断の流れを示すフローチャートである。 本発明の実施形態によるあくびの周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。 本発明の実施形態によるうなずきの速度及び周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。 本発明の実施形態によるまばたきの速度及び周期を用いた居眠り前兆行動の判断の流れを示すフローチャートである。 本発明の実施形態による瞳の閉鎖状態の持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。 本発明の実施形態による視線が正面を向いていない状態の持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。 本発明の実施形態によるうつむきの持続時間を用いた居眠り実行行動の判断の流れを示すフローチャートである。 本発明の実施形態による撮影部（赤外線カメラ及び赤外線深度センサー）を用いた居眠り判断部の居眠り判断過程に関する総合的な構成図である。
以下、添付図面に基づき、本発明の実施形態による動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置について詳細に説明する。
本発明は、図１に示すように、居眠り運転の防止装置において、前進走行中の車両における運転者の動作と、顔面と、瞳及び口形状の認知を通じて、居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、に分けて、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみ、ユーザが居眠り運転をしていると最終的に判断して警告音を出す動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置に関するものである。
具体的に、本発明は、図１に示すように、車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える。
ここで、車両の前進走行の有無を判断する走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置の座標情報を受け取って以前の数秒間の位置の座標情報と比較して、車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断することを特徴とする。図２は、上記の走行判断部の前進走行の有無の判断の流れを示すフローチャートであるが、時間帯別に衛星から送信した位置情報を全地球測位システム（ＧＰＳ）端末から受け取って車両の時間帯別の座標値を保存して時間帯別の位置座標値を比較することにより、前進、停止、後進の有無を判断する。正常の車両走行の場合、長時間（例えば、５分以上）に亘って後進走行を行い続ける場合はほとんどなく、たとえ長時間に亘って後進走行を行うとしても、運転者の視線や頭は車両の背面の障害物を見るために意識的に後ろを振り向いたり、正面ではない車両のバックミラーを長時間に亘って見続けたりする筈であるため、この場合まで居眠り運転の判断を行う場合、意識的な頭の振り向きや瞳の視線の回しが無意識的な居眠り運転の行動と誤認される誤りが生じる確率も高く、ほとんどの場合に集中して短い時間内に後進をする筈である運転者が後進走行中のしばらくの間に居眠り運転をする可能性も低くて実際に後進走行中のときに居眠り運転の有無を判断する必要もあまりないため、単に車両が前進走行中のときにのみ居眠り運転の有無を判断するために、例えば、時間帯別の前後の座標値に変化がなければ、停車中であると判断し、時間帯別の前後の座標値を比較するとき、座標値が急に（或いは、しばらくの間座標値に変化がなく）従前の進行方向とは逆方向に変わると、後進走行であると判断し、時間帯別の前後の座標値が所定の時間以上同じ方向に（或いは、逆方向ではなく、車両が回転可能な角度内の方向に）一貫的に変わり続けると、前進走行中であると判断する。
また、前記運転者の状態を撮影する撮影部は、図１１に示すように、前記運転者の顔面状態の映像情報を入力される赤外線カメラと、３次元の深さ情報を入力される赤外線深度センサーと、を備えるが、赤外線カメラは、明所はもとより暗所でも前記運転者の顔輪郭及び目の外郭線、瞳の白目及び黒目の認識のために顔面状態の映像情報を入力されて居眠り判断部に転送する機能をし、赤外線深度センサーは、明所はもとより暗所でも前記運転者の上体と、頭と、顔面と、目及び口の位置及び具体的な動きを正確に判断するために３次元の深さ情報を入力されて居眠り判断部に転送する機能をする。
更に、前記ユーザの居眠り有無を判断する居眠り判断部は、図１に示すように、第１段階の居眠り前兆判断部と、第２段階の居眠り実行判断部と、を備えるが、居眠り判断部は、前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、まず、前記運転者の動作情報と、顔面情報と、目及び口形状情報とを用いて、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、次いで、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行うことを特徴とする。
ここで、居眠りの前兆行動を判断する第１段階は、図３に示すように、まず、撮影部から送られてきた映像情報及びセンサーの３次元の深さ情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断する。
居眠りの前兆行動の判断基準のうちの一つである「あくびの周期」は、図５に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の口の位置を把握した後、運転者の口形状又はあくびをするか否かを把握して、運転者のあくびが所定の時間内に基準回数以上見付かる場合に居眠りの前兆行動があると判断する。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の顔面を認識した後に運転者の口の位置を判断する。また、次いで、口形状を検査するが、例えば、真円に比べて５０％以上口が開けられたり、下顎が平常時よりも所定のレベル以上下がっている状態が所定の時間（例えば、１秒）以上続く場合に１回のあくびと判断し、所定の時間（例えば、２分）内に運転者があくびを所定の回数（例えば、２回）以上行うことを居眠り運転の前兆段階と判断する。
居眠りの前兆行動の判断基準のうちの一つである「うなずきの速度及び周期」は、図６に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の頭が所定の角度以上下がってから元の位置に戻ることを１回のうなずきと見なし、前記１回のうなずきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のうなずき」と計算して、上記の「居眠りの前兆のうなずき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断する。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の顔面を認識した後、頭、鼻、首の各ポイントを取る。次いで、頭及び首間の接続線（直線）と、頭及び鼻間の接続線（直線）を用いて角度を測定する。例えば、もし、３０°以上うつむいてから元の位置に戻ると、これを１回のうなずきと見なし、その１回のうなずきが行われるのにかかる時間を保存する。上記の１回のうなずきが行われた時間が所定の基準時間以上（例えば、３秒以上）かかる場合には、これを「居眠りの前兆のうなずき」と捕らえて保存し、このような居眠りの前兆のうなずきが所定の時間内に（例えば、３分内に）所定の回数以上（例えば、２回以上）行われる場合に居眠りの前兆行動があると判断する。
また、居眠りの前兆行動の判断基準のうちの一つである「まばたきの速度及び周期」は、図７に示すように、撮影部から送られてきた映像及びセンサー情報を用いて運転者の瞳が所定の部分以上隠れてから再び見えることを１回のまばたきと見なし、前記１回のまばたきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のまばたき」と計算して、上記の「居眠りの前兆のまばたき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする。より具体的に、居眠り判断部は、撮影部から送られてきた情報を用いて運転者の目の外郭線と、瞳の白目及び黒目を認識した後、例えば、もし、瞳が５０％以上隠れてから再び５０％以上開かれる状態に戻ると、これを１回のまばたきと見なし、その１回のまばたきが行われるのにかかる時間を保存する。上記の１回のまばたきが行われた時間が所定の基準時間以上（例えば、１秒以上）かかる場合にはこれを「居眠りの前兆のまばたき」と捕らえて計算し、このような居眠りの前兆のまばたきが所定の時間内に（例えば、１分内に）所定の回数以上（例えば、２回以上）行われる場合に居眠りの前兆行動があると判断する。
一方、居眠りの実行行動の有無を判断する第２段階は、図４に示すように、居眠りの前兆段階である前記第１段階を経た運転者に限って当該運転者の瞳の閉鎖状態が所定の時間以上続く場合、視線が所定の時間以上正面を注視していない場合、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断することを特徴とする。本発明は、もし、第１段階の居眠りの前兆行動なしに直ちに第２段階の行動と同じ行動が感知される場合には、これを居眠り運転と判断しないというところに重要な特徴がある。これは、第１段階の居眠りの前兆行動なしに直ちに第２段階の行動を示す例としては、居眠りではない他の理由からバックミラーや窓の外を見たり、ルームミラーを見たり、音楽を聴きながらうつむいたりするなど数多く挙げられるため、このような行動を居眠り運転による熟成された居眠り状態を示す第２段階の行動と区別するためである。
居眠りの実行行動の判断基準のうちの一つである運転者の瞳の閉鎖状態は、図８に示すように、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、瞼が所定の角度以上塞がった状態で運転者の瞳が所定の時間以上持続的に閉鎖されているか否かを判断し、居眠りの実行行動の判断基準のうちの一つである視線の正面注視の有無は、図９に示すように、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、運転者が正面を注視していないと判断される時間が所定の時間以上続く場合に居眠りの実行段階と判断し、居眠りの実行行動の判断基準のうちの一つである頭の角度は、図１０に示すように、撮影部から送られてきた映像を用いて運転者の頭の基準点及び鼻の基準点の角度を計算してユーザの頭の角度を測定した後、頭が基準時間以上持続的に所定の角度以上傾いている場合に居眠りの実行段階と判断する
また、ユーザに警告をする警報部は、図１に示すように、第１段階である居眠りの前兆行動があると判断された場合には予備警告音を、第１段階を経て第２段階の居眠りの実行行動があると判断された場合には本警告音を運転者に送って居眠り運転状態であることを報知することを特徴とする。
更に、前記走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラは、図１に示すように、走行判断部から前進走行の有無が送られてきて停車中であるか、或いは、後進走行中である場合には撮影部に撮影中止指令を転送し、前進走行中である場合に限って撮影部に感知指令を、且つ、居眠り判断部には第１段階の居眠り判断指令をそれぞれ転送し、居眠り判断部から第１段階の居眠り前兆の行動がある旨が送られてきた後には、警報部に予備警告音を送ることを指示すると共に、居眠り判断部に第２段階の居眠り実行行動の有無の判断指令を転送し、居眠り判断部から第１段階を経て第２段階の居眠りの実行行動がある旨が送られてきた場合には警報部に本警告音を運転者に送ることを指示することを特徴とする

Claims (15)

  1. 車両の前進走行の有無を判断する走行判断部と、運転者の状態を撮影する撮影部と、ユーザの居眠り運転の有無を判断する居眠り判断部と、ユーザに警告を送る警報部と、上記の走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラと、を備える居眠り運転の防止装置において、
    前記走行判断部は、全地球測位システム（ＧＰＳ）端末から車両の現在の位置座標情報を受け取って以前の数秒間の位置座標情報と比較して車両の状態が前進走行中であるか、後進走行中であるか、或いは、停車中であるかを判断して、車両が前進走行中である場合に限って運転者の動作と、顔面と、瞳及び口形状の認知を通じて居眠りの前兆行動の有無を判断する第１段階の判断過程と、完成された居眠りの実行行動の有無を判断する第２段階の判断過程と、を含み、第１段階の判断過程において居眠りの前兆行動があると判断された後に、第２段階の判断過程において居眠りの実行行動があると判断される場合にのみユーザが居眠り運転をしていると最終的に判断して警告音を出す動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  2. 前記運転者の状態を撮影する撮影部は、
    前記運転者の顔面状態の映像情報を入力される赤外線カメラと、３次元の深さ情報を入力される赤外線深度センサーと、を備えることを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  3. 赤外線カメラは、
    明所はもとより暗所でも前記運転者の顔輪郭及び目の外郭線、瞳の白目及び黒目の認識のために顔面状態の映像情報を入力されて居眠り判断部に転送する機能をする請求項２に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  4. 赤外線深度センサーは、
    明所はもとより暗所でも前記運転者の上体と、頭と、顔面と、目及び口の位置及び動きを正確に判断するために３次元の深さ情報を入力されて居眠り判断部に転送する機能をする請求項２に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  5. 前記ユーザの居眠り有無を判断する居眠り判断部は、
    前記走行判断部における居眠り運転の有無の判断が、前進走行状態であるときにのみ、赤外線カメラ及び赤外線深度センサーから映像情報及びセンサーの３次元の深さ情報が送られてきて行われ、第１段階の判断過程において前記運転者の居眠りの前兆行動の有無を認知し、第２段階の判断過程において居眠りの実行行動の有無を判断するが、第１段階を経て第２段階に移行した場合に限って最終的に居眠り運転であると確定する段階的な判断を行うことを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  6. 居眠りの前兆行動を判断する第１段階においては、まず、撮影部から送られてきた映像及びセンサー情報から運転者の顔輪郭を検出した後、再び口、頭、鼻、首の位置を検出して運転者のあくびの周期を計算するか、うなずきの速度及び周期を計算するか、或いは、目の位置を検出した後に瞳の外郭線と、瞳の白目及び黒目を認識してまばたきの速度及び周期を計算するなどして、居眠りの前兆行動の有無を判断することを特徴とする請求項５に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  7. 居眠りの前兆行動の判断基準のうちの一つである「あくびの周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の口の位置を把握した後、運転者の口形状又は下顎の拡大度をもってあくびをするか否かを把握して、運転者のあくびが所定の時間内に基準回数以上見付かる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  8. 居眠りの前兆行動の判断基準のうちの一つである「うなずきの速度及び周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の頭が所定の角度以上下がってから元の位置に戻ることを１回のうなずきと見なし、前記１回のうなずきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のうなずき」と計算して、上記の「居眠りの前兆のうなずき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  9. 居眠りの前兆行動の判断基準のうちの一つである「まばたきの速度及び周期」は、撮影部から送られてきた映像及びセンサー情報を用いて運転者の瞳が所定の部分以上隠れてから再び見えることを１回のまばたきと見なし、前記１回のまばたきが行われる時間が基準時間以上かかるほど遅くなる場合のみを「居眠りの前兆のまばたき」と計算して、上記の「居眠りの前兆のまばたき」が所定の時間内に基準回数以上行われる場合に居眠りの前兆行動があると判断することを特徴とする請求項６に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  10. 居眠りの実行行動の有無を判断する第２段階においては、前記第１段階の居眠りの前兆行動の判断基準のうちの一つを満たすと判断された運転者に限って、当該運転者の瞳の閉鎖状態が所定の時間以上持続的に行われるか、視線が所定の時間以上正面を注視していないか、或いは、所定の角度以上うつむいている時間が所定の時間以上続く場合に居眠りの実行行動があると判断することを特徴とする請求項５に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  11. 居眠りの実行行動の判断基準のうちの一つである運転者の「瞳の閉鎖状態」は、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、瞼が所定の角度以上塞がった状態で運転者の瞳が所定の時間以上持続的に閉鎖されているか否かを判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  12. 居眠りの実行行動の判断基準のうちの一つである「視線の正面注視の有無」は、撮影部から送られてきた映像情報を用いて運転者の瞳を分析して、運転者が正面を注視していないと判断される時間が所定の時間以上続く場合に居眠りの実行段階と判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  13. 居眠りの実行行動の判断基準のうちの一つである「頭の角度」は、撮影部から送られてきた映像を用いて運転者の頭の基準点及び鼻の基準点の角度を計算してユーザの頭の角度を測定した後、頭が基準時間以上持続的に所定の角度以上傾いている場合に居眠りの実行段階と判断することを特徴とする請求項１０に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  14. ユーザに警告をする警報部は、
    第１段階である居眠りの前兆行動があると判断された場合には予備警告音を、第１段階を経て第２段階の居眠りの実行行動があると判断された場合には本警告音を運転者に送って居眠り運転状態であることを報知することを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
  15. 前記走行判断部と、撮影部と、居眠り判断部及び警報部を制御するコントローラは、
    走行判断部から前進走行の有無が送られてきて停車中であるか、或いは、後進走行中である場合には撮影部に撮影中止指令を転送し、前進走行中である場合に限って撮影部に感知指令を、且つ、居眠り判断部には第１段階の居眠り判断指令をそれぞれ転送し、居眠り判断部から第１段階の居眠り前兆の行動がある旨が送られてきた後には、居眠り判断部に第２段階の居眠り判断指令を転送し、警報部に予備警告音を送ることを指示し、居眠り判断部から第１段階を経て第２段階の居眠りの実行行動がある旨が送られてきた場合には警報部に本警告音を運転者に送ることを指示することを特徴とする請求項１に記載の動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置。
JP2016552381A 2013-10-29 2014-10-27 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置 Pending JP2016539446A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2013-0129628 2013-10-29
KR1020130129628A KR101386823B1 (ko) 2013-10-29 2013-10-29 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
PCT/KR2014/010118 WO2015064980A1 (ko) 2013-10-29 2014-10-27 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Publications (1)

Publication Number Publication Date
JP2016539446A true JP2016539446A (ja) 2016-12-15

Family

ID=50658101

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016552381A Pending JP2016539446A (ja) 2013-10-29 2014-10-27 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置

Country Status (5)

Country Link
US (1) US20160272217A1 (ja)
JP (1) JP2016539446A (ja)
KR (1) KR101386823B1 (ja)
CN (1) CN105764735A (ja)
WO (1) WO2015064980A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168057A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像処理装置、画像処理方法、記憶媒体
JP2021527900A (ja) * 2018-10-19 2021-10-14 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 運転状態検出方法及び装置、運転者監視システム並びに車両
WO2022113275A1 (ja) * 2020-11-27 2022-06-02 三菱電機株式会社 睡眠検出装置及び睡眠検出システム
CN116077798A (zh) * 2023-04-10 2023-05-09 南京信息工程大学 一种基于语音诱导与计算机视觉相结合的催眠方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391502B1 (ko) 2014-11-27 2022-04-28 삼성전자주식회사 사용자 상태에 기반한 주변 전자 장치 제어 방법 및 그 전자 장치
AU2015369563B2 (en) 2014-12-27 2021-09-02 Gentex Corporation System and method for detecting surface vibrations
US9811993B2 (en) * 2015-04-23 2017-11-07 Wichita State University Vehicle operator impairment detection system and method
KR101693708B1 (ko) 2015-07-14 2017-01-09 한국생산기술연구원 헤드서포트
CN105844252B (zh) * 2016-04-01 2019-07-26 南昌大学 一种面部关键部位的疲劳检测方法
EP3440592B1 (en) * 2016-04-07 2023-08-30 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10474145B2 (en) 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US11065958B2 (en) * 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
KR101950476B1 (ko) * 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
KR101775874B1 (ko) * 2017-07-10 2017-09-19 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법
DE102017211931B4 (de) * 2017-07-12 2022-12-29 Volkswagen Aktiengesellschaft Verfahren zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs, System zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs und Kraftfahrzeug
CN109508576B (zh) * 2017-09-14 2021-03-26 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
KR102288753B1 (ko) * 2017-10-23 2021-08-11 현대모비스 주식회사 운전자 모니터링 장치 및 방법
FR3074942B1 (fr) * 2017-12-08 2021-04-02 Valeo Comfort & Driving Assistance Procede de determination de l'etat d'un individu a partir du traitement d'images de sa tete et dispositif associe
KR102444666B1 (ko) 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
CN108216254B (zh) * 2018-01-10 2020-03-10 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
CN109383516A (zh) * 2018-09-13 2019-02-26 行为科技(北京)有限公司 一种基于用户行为分析的异常分析行为检测系统
JP7180227B2 (ja) 2018-09-20 2022-11-30 いすゞ自動車株式会社 車両用監視装置
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN111079476B (zh) 2018-10-19 2024-03-26 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
KR20200057891A (ko) * 2018-11-16 2020-05-27 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
CN113168680A (zh) * 2018-12-12 2021-07-23 三菱电机株式会社 状态判定装置、状态判定方法以及状态判定程序
FR3090172B1 (fr) 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
CN110046560B (zh) * 2019-03-28 2021-11-23 青岛小鸟看看科技有限公司 一种危险驾驶行为检测方法和相机
WO2020241944A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
WO2020256177A1 (ko) * 2019-06-18 2020-12-24 엘지전자 주식회사 차량 제어 방법
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110606090A (zh) * 2019-09-05 2019-12-24 成都亿盟恒信科技有限公司 一种基于疲劳检测的驾驶员监控系统及方法
KR102320484B1 (ko) * 2020-05-06 2021-11-04 타이아(주) 운전 부주의 모니터링 시스템
CN111814613A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种人脸识别方法、设备及计算机可读存储介质
KR20220005297A (ko) * 2020-07-06 2022-01-13 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
KR102442203B1 (ko) 2022-03-30 2022-09-08 라이트하우스(주) 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757172A (ja) * 1993-08-16 1995-03-03 Mitsubishi Electric Corp 運転者異常事態発生警報装置
JP2008296682A (ja) * 2007-05-30 2008-12-11 Katsuya Ikuta 車載危険運転監視装置、危険運転集中監視システム、および、危険運転阻止しシステム
JP2009018091A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 居眠り検知装置
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP4337130B2 (ja) * 1999-06-10 2009-09-30 マツダ株式会社 運転装置の制御装置
KR100630163B1 (ko) * 2004-05-12 2006-09-29 삼성전자주식회사 카메라를 구비한 휴대단말기의 졸음운전방지 방법
CN101090482B (zh) * 2006-06-13 2010-09-08 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
KR100778059B1 (ko) * 2007-05-22 2007-11-21 (주)텔릭스타 얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템
JP5569843B2 (ja) 2010-08-18 2014-08-13 公立大学法人岩手県立大学 自動車運転中の居眠り予兆検知システム、および自動車運転中の居眠り予兆検知方法
KR20130039150A (ko) * 2011-10-11 2013-04-19 현대모비스 주식회사 운전자 졸음 방지 시스템 및 방법
KR20130054636A (ko) * 2011-11-17 2013-05-27 현대모비스 주식회사 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0757172A (ja) * 1993-08-16 1995-03-03 Mitsubishi Electric Corp 運転者異常事態発生警報装置
JP2008296682A (ja) * 2007-05-30 2008-12-11 Katsuya Ikuta 車載危険運転監視装置、危険運転集中監視システム、および、危険運転阻止しシステム
JP2009018091A (ja) * 2007-07-13 2009-01-29 Toyota Motor Corp 居眠り検知装置
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019168057A1 (ja) * 2018-03-02 2019-09-06 日本電気株式会社 画像処理装置、画像処理方法、記憶媒体
JP2019153938A (ja) * 2018-03-02 2019-09-12 日本電気株式会社 画像処理装置、画像処理方法、プログラム
JP2021527900A (ja) * 2018-10-19 2021-10-14 上▲海▼商▲湯▼智能科技有限公司Ｓｈａｎｇｈａｉ Ｓｅｎｓｅｔｉｍｅ Ｉｎｔｅｌｌｉｇｅｎｔ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 運転状態検出方法及び装置、運転者監視システム並びに車両
US11308723B2 (en) 2018-10-19 2022-04-19 Shanghai Sensetime Intelligent Technology Co., Ltd. Driving state detection method and apparatus, driver monitoring system and vehicle
JP7146959B2 (ja) 2018-10-19 2022-10-04 上▲海▼商▲湯▼智能科技有限公司 運転状態検出方法及び装置、運転者監視システム並びに車両
WO2022113275A1 (ja) * 2020-11-27 2022-06-02 三菱電機株式会社 睡眠検出装置及び睡眠検出システム
CN116077798A (zh) * 2023-04-10 2023-05-09 南京信息工程大学 一种基于语音诱导与计算机视觉相结合的催眠方法

Also Published As

Publication number Publication date
WO2015064980A1 (ko) 2015-05-07
CN105764735A (zh) 2016-07-13
KR101386823B1 (ko) 2014-04-17
US20160272217A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
JP2016539446A (ja) 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置
WO2020078465A1 (zh) 驾驶状态分析方法和装置、驾驶员监控系统、车辆
WO2020078464A1 (zh) 驾驶状态检测方法和装置、驾驶员监控系统、车辆
EP3488382B1 (en) Method and system for monitoring the status of the driver of a vehicle
CN105488957B (zh) 疲劳驾驶检测方法及装置
JP6338701B2 (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
Li et al. Modeling of driver behavior in real world scenarios using multiple noninvasive sensors
US8063786B2 (en) Method of detecting drowsiness of a vehicle operator
WO2019028798A1 (zh) 驾驶状态监控方法、装置和电子设备
JP5177011B2 (ja) 開眼度特定装置
JP2010128649A (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP2016103249A (ja) 運転支援装置および運転支援方法
Manoharan et al. Android OpenCV based effective driver fatigue and distraction monitoring system
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
JPWO2019198179A1 (ja) 搭乗者状態判定装置、警告出力制御装置及び搭乗者状態判定方法
Bergasa et al. Visual monitoring of driver inattention
Guria et al. Iot-enabled driver drowsiness detection using machine learning
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
JPH08290726A (ja) 居眠り警報装置
JP2007034436A (ja) 覚醒度推定装置及び方法
JP7240910B2 (ja) 乗員観察装置
KR20150106986A (ko) 서버기반 졸음감지 시스템 및 그 방법
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
Hamada et al. Detecting method applicable to individual features for drivers' drowsiness
KR102072910B1 (ko) 졸음 인식 장치를 이용한 졸음 인식 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171024