JP2013054717A - 赤外線センサを用いた運転者状態監視装置及びその方法 - Google Patents
赤外線センサを用いた運転者状態監視装置及びその方法 Download PDFInfo
- Publication number
- JP2013054717A JP2013054717A JP2011268714A JP2011268714A JP2013054717A JP 2013054717 A JP2013054717 A JP 2013054717A JP 2011268714 A JP2011268714 A JP 2011268714A JP 2011268714 A JP2011268714 A JP 2011268714A JP 2013054717 A JP2013054717 A JP 2013054717A
- Authority
- JP
- Japan
- Prior art keywords
- driver
- face
- recognition error
- optical signal
- infrared sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012806 monitoring device Methods 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 title claims description 14
- 230000003287 optical effect Effects 0.000 claims abstract description 30
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims 1
- 206010041349 Somnolence Diseases 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 208000032140 Sleepiness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
- B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
- B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
- B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0266—Operational features for monitoring or limiting apparatus function
- A61B2560/0276—Determining malfunction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Educational Technology (AREA)
- Developmental Disabilities (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Hospice & Palliative Care (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Analysis (AREA)
Abstract
【課題】赤外線ＬＥＤ及びカメラを用いて運転者状態を確認することにより、カメラ又は運転姿勢に従い発生することのある認識誤謬を低減できる運転者状態監視装置を提供する。
【解決手段】光信号を発光する発光部１０１及び前記光信号を受光する受光部１０３を含み、発光部１０１から発光される光信号と、受光部１０３により受光される光信号の位相差を用いて、正面の運転者までの距離を測定する赤外線センサ１００、運転者の顔を撮影し、撮影された映像で運転者の顔を検出する顔認識カメラ１１０、及び赤外線センサ１００及び顔認識カメラ１１０を介して測定されたデータを用いて認識誤謬が発生したのかの可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析する電子制御部１２０を含み、運転者が正常状態か、不注意、眠気などの不注意状態かを確認する。
【選択図】図１
【解決手段】光信号を発光する発光部１０１及び前記光信号を受光する受光部１０３を含み、発光部１０１から発光される光信号と、受光部１０３により受光される光信号の位相差を用いて、正面の運転者までの距離を測定する赤外線センサ１００、運転者の顔を撮影し、撮影された映像で運転者の顔を検出する顔認識カメラ１１０、及び赤外線センサ１００及び顔認識カメラ１１０を介して測定されたデータを用いて認識誤謬が発生したのかの可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析する電子制御部１２０を含み、運転者が正常状態か、不注意、眠気などの不注意状態かを確認する。
【選択図】図１
Description
本発明は、赤外線センサを用いた運転者状態監視装置及びその方法に係り、より詳しくは赤外線ＬＥＤ及びカメラを用いる赤外線センサを用いた運転者状態監視装置及びその方法に関する。
一般に、運転者状態監視装置は、カメラを用いて運転者の顔、状態、姿勢などを撮影してこれを分析することにより、運転者の状態を確認し、運転者の不注意、眠気などが確認できる装置である。運転者状態監視装置で、夜間又は暗い環境でもカメラ撮影を円滑にするため、主に所定の照明装置がカメラとともに備えられる。
しかし、カメラで撮影された映像だけで運転者状態を確認するのは、走行中の光環境変化による劣化現象、カメラレンズの異物による映像不良、運転者の顔の一部確認不可能、運転者姿勢の変更に伴う運転者状態の未認識などに起因する誤謬に適宜対応することができず、無条件に認識誤謬を処理する問題点がある。さらに、無条件に認識誤謬を処理する場合、どのような問題のため認識誤謬が発生したのか使用者が知ることができないため、認識誤謬に対する適宜な対応ができない問題点がある。
従って、一般の運転者状態監視装置は認識誤謬だけでなく、認識誤謬を修正する方法も知ることができない問題点がある。
従って、一般の運転者状態監視装置は認識誤謬だけでなく、認識誤謬を修正する方法も知ることができない問題点がある。
本発明は、赤外線ＬＥＤ及びカメラを用いて運転者状態を確認することにより、カメラ又は運転姿勢に従い発生することのある認識誤謬を低減できる運転者状態監視装置を提供することにその目的がある。
本発明は、光信号を発光する発光部及び前記光信号を受光する受光部を含み、前記発光部から発光される光信号及び前記受光部により受光される光信号の位相差を用い、正面の障害物までの距離を測定する赤外線センサ、運転者の顔を撮影し、撮影された映像で運転者の顔を検出する顔認識カメラ、及び前記赤外線センサ及び前記顔認識カメラを介して測定されたデータを用いて認識誤謬発生可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析する電子制御部を含むことを特徴とする。
また、本発明は発光部から発光される光信号及び受光部により受光される光信号の位相差を用い、赤外線センサを介して正面の障害物までの距離を測定する第１段階、顔認識カメラを介して運転者の顔を撮影し、撮影された映像で運転者の顔を検出する第２段階、及び電子制御部を介して前記第１段階及び前記第２段階で測定されたデータを用いて認識誤謬発生可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析する第３段階を含む。
本発明によれば、運転者状態監視装置で周辺環境又は運転者の姿勢に従い発生する認識誤謬を低減することができる。
また、カメラだけでなく赤外線センサが用いられるので、認識誤謬を場合の数に従い分類することができるので、各認識誤謬の原因を把握することができる。
さらに、使用者に誤謬メッセージを提供することにより、使用者が認識誤謬を修正できるように誘導することができる。
また、カメラだけでなく赤外線センサが用いられるので、認識誤謬を場合の数に従い分類することができるので、各認識誤謬の原因を把握することができる。
さらに、使用者に誤謬メッセージを提供することにより、使用者が認識誤謬を修正できるように誘導することができる。
図１は、本発明の一実施例に係る運転者状態監視装置の構成を示す図である。
図１に示すように、本発明に係る運転者状態監視装置は赤外線（ＩＲ、Ｉｎｆｒａ Ｒａｙ）センサ１００、顔認識カメラ１１０、電子制御部１２０、表示部１３０、アラーム部１４０を含む。
赤外線センサ１００は正面の障害物と赤外線センサ１００との間の距離を測定するための装置であって、所定の光信号を発光する発光部１０１及び周辺の光信号を受光する受光部１０３を含む。
図１に示すように、本発明に係る運転者状態監視装置は赤外線（ＩＲ、Ｉｎｆｒａ Ｒａｙ）センサ１００、顔認識カメラ１１０、電子制御部１２０、表示部１３０、アラーム部１４０を含む。
赤外線センサ１００は正面の障害物と赤外線センサ１００との間の距離を測定するための装置であって、所定の光信号を発光する発光部１０１及び周辺の光信号を受光する受光部１０３を含む。
発光部１０１は所定の光信号を発光して顔認識カメラ１１０に対しては照明装置としての役割を、また、受光部１０３に対しては受光対象となる光を発光する役割を有する。発光部１０１として、可視光線又は遠赤外線領域帯のＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられることもあるが、主に赤外線ＬＥＤ（ＩＲ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）が用いられる。
発光部１０１から発光される光信号、及び受光部１０３により受光される光信号との間の位相差に応じて赤外線センサ１００と正面の障害物との距離が測定される。ここで正面の障害物とは、運転者の顔、運転者の上体、運転者の座席など、発光部１０１及び受光部１０３の正面に存在するものなどを意味する。赤外線センサ１００と正面の障害物との間の距離測定方法は、下記図４で詳しく説明する。
発光部１０１から発光される光信号、及び受光部１０３により受光される光信号との間の位相差に応じて赤外線センサ１００と正面の障害物との距離が測定される。ここで正面の障害物とは、運転者の顔、運転者の上体、運転者の座席など、発光部１０１及び受光部１０３の正面に存在するものなどを意味する。赤外線センサ１００と正面の障害物との間の距離測定方法は、下記図４で詳しく説明する。
顔認識カメラ１１０は運転者の顔を撮影する装置である。顔認識カメラ１１０によって撮影された映像で運転者の顔が検出される。顔認識カメラ１１０は赤外線センサ１００と並んで配置される場合が多いので、顔認識カメラ１１０の前に置かれる物体は赤外線センサ１００の正面の障害物と認識される。
電子制御部１２０は、赤外線センサ１００及び顔認識カメラ１１０により測定されたデータに基づいて認識誤謬発生可否を判別し、認識誤謬が発生しない場合、現在の運転者状態を確認し、認識誤謬が発生した場合、発生した認識誤謬を分析する装置である。従って、認識誤謬が発生しない場合にのみ、電子制御部１２０は現在運転者状態を確認し、正常運転状態か、運転不注意状態かを判断することができる。
電子制御部１２０は、赤外線センサ１００及び顔認識カメラ１１０により測定されたデータに基づいて認識誤謬発生可否を判別し、認識誤謬が発生しない場合、現在の運転者状態を確認し、認識誤謬が発生した場合、発生した認識誤謬を分析する装置である。従って、認識誤謬が発生しない場合にのみ、電子制御部１２０は現在運転者状態を確認し、正常運転状態か、運転不注意状態かを判断することができる。
さらに、電子制御部１２０は分析された認識誤謬に従い表示部１３０を介して使用者に適宜な案内メッセージを提供し、運転者が適切な措置を採れるようにする。
電子制御部１２０は、赤外線センサ１００及び顔認識カメラ１１０により測定されたデータを用い、各場合の数に従い認識誤謬を分析することができる。従って、電子制御部１２０は赤外線センサ１００により測定された距離に従い現在正面の障害物が何か、運転者の姿勢が正常かなどを判断することができる。
電子制御部１２０は、赤外線センサ１００及び顔認識カメラ１１０により測定されたデータを用い、各場合の数に従い認識誤謬を分析することができる。従って、電子制御部１２０は赤外線センサ１００により測定された距離に従い現在正面の障害物が何か、運転者の姿勢が正常かなどを判断することができる。
例えば、測定された距離が０ｃｍ〜３０ｃｍの場合、顔認識カメラ１１０の前に物体又は運転者の顔が非常に近くにあると判断し、測定された距離が４０ｃｍ〜６０ｃｍの場合、運転者の姿勢が正常状態であり、測定された距離は運転者の上体までの距離であると判断し、測定された距離が８０ｃｍ〜９０ｃｍの場合、運転者の姿勢が異常であり、測定された距離は運転者のシートまでの距離であると判断する。
表示部１３０は、電子制御部１２０から伝送される信号に応じて運転者の状態を示す運転者状態メッセージ、発生した認識誤謬を示す認識誤謬メッセージ、発生した認識誤謬を分析した認識誤謬分析メッセージ、又は認識誤謬の分析結果に従い認識誤謬修正のための案内メッセージを表示する。運転者状態メッセージは正常運転状態、又は運転不注意状態別に示される。
アラーム部１４０は電子制御部１２０の判断結果、運転不注意状態の場合、警報アラームを出力する。アラーム部１４０は音声出力装置であって、認識誤謬が発生した場合、認識誤謬メッセージ又は認識誤謬分析メッセージを音声で出力することもできる。
アラーム部１４０は電子制御部１２０の判断結果、運転不注意状態の場合、警報アラームを出力する。アラーム部１４０は音声出力装置であって、認識誤謬が発生した場合、認識誤謬メッセージ又は認識誤謬分析メッセージを音声で出力することもできる。
例えば、一般の光環境及び運転姿勢の場合、赤外線センサ１００により測定された運転者の上体までの距離が４０ｃｍ〜６０ｃｍの間の値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出される場合、電子制御装置１２０は認識誤謬が発生しないと判断し、現在運転者状態を確認する。運転者状態確認結果は正常運転状態、又は運転不注意状態に区分され、表示部１３０又はアラーム部１４０を介してメッセージ又は警報アラームが出力される。
他の例として、運転者の顔がカメラに近接する場合、赤外線センサ１００により測定された運転者の顔までの距離が０ｃｍ〜２０ｃｍの間の値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出されない場合、電子制御装置１２０は認識誤謬が発生したものと判断し、顔検出不可状態と分析して認識誤謬メッセージ、及び運転者状態監視のために運転者の姿勢を確認せよとの案内メッセージを表示部１３０又はアラーム部１４０を介して出力する。
また、他の例として、顔認識カメラ１１０の前に物体が存在する場合、赤外線センサ１００により測定された物体までの距離が１５ｃｍの固定された値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出されない場合、電子制御部１２０は認識誤謬が発生したものと判断し、顔検出不可状態と分析して認識誤謬メッセージ、及び顔認識カメラ１１０の前に置かれた物体を確認せよとの案内メッセージを表示部１３０又はアラーム部１４０を介して出力する。
また、他の例として、逆光又は測光によって顔が非常に暗いか明るい状態の場合、赤外線センサ１００により測定された運転者の上体までの距離が４０ｃｍ〜６０ｃｍの間の値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出されない場合、電子制御部１２０は認識誤謬が発生したものと判断し、顔検出不可状態と分析して認識誤謬メッセージ、及び光環境を調節せよとの案内メッセージを表示部１３０又はアラーム部１４０を介して出力するこ。
また、他の例として、運転者が座った姿勢で運転者の顔が検出されない場合、赤外線センサ１００により測定された運転者のシートまでの距離が８０ｃｍ〜９０ｃｍの間の値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出されない場合、電子制御部１２０は認識誤謬が発生したものと判断し、誤検出状態と分析して状態判断ができないとの誤謬認識メッセージを表示部１３０又はアラーム部１４０を介して出力する。
さらに他の例として、一般の光環境で運転者の顔が検出されない場合、赤外線センサ１００により測定された運転者の上体までの距離が４０ｃｍ〜６０ｃｍの間の値と推定され、顔認識カメラ１１０により撮影された映像で運転者の顔が正常に検出されない場合、電子制御部１２０は認識誤謬が発生したものと判断し、誤検出状態と分析して状態判断ができないとの誤謬認識メッセージを表示部１３０又はアラーム部１４０を介して出力する。
赤外線センサ１００により測定される距離に対する判断基準は、上記実施例に記載されたｃｍ範囲に限定されるのではなく、実際運転者の顔までの距離又は実際運転者の上体までの距離は運転者の体形や運転習慣に従い変更される。従って、運転者別プロファイルを登録して赤外線センサ１００により測定される距離に対する判断基準を適用することもできる。
図２は、車両に備えられる本発明の一実施例に係る運転者状態監視装置を示す図である。
図２に示すように、本発明の運転者状態監視装置の赤外線センサ１００及び顔認識カメラ１１０は、同一平面に備えることができる。２つの発光部１０１の間に１つの受光部１０３を配置し、顔認識カメラ１１０の両側にそれぞれ配置することができる。従って、正面の障害物までの距離が赤外線センサ１００により測定され、顔認識カメラ１１０により運転者の顔が撮影される。
図２に示すように、本発明の運転者状態監視装置の赤外線センサ１００及び顔認識カメラ１１０は、同一平面に備えることができる。２つの発光部１０１の間に１つの受光部１０３を配置し、顔認識カメラ１１０の両側にそれぞれ配置することができる。従って、正面の障害物までの距離が赤外線センサ１００により測定され、顔認識カメラ１１０により運転者の顔が撮影される。
図３は、本発明の一実施例に係る運転者状態監視方法を示すフローチャートである。
図３に示すように、まず運転者の顔に対する映像が撮影される（Ｓ２００）。次に、発光部１０１が光信号を発光し、受光部１０３が上記光信号を受光する（Ｓ２１０）。Ｓ２００段階及びＳ２１０段階は同時に生じることもあり、前後の順序が変更されることもある。
次に、発光部１０１から発光された光信号、及び受光部１０３により受光された光信号の位相差を用い、赤外線センサ１００の正面の障害物までの距離が推定される（Ｓ２２０）。
図３に示すように、まず運転者の顔に対する映像が撮影される（Ｓ２００）。次に、発光部１０１が光信号を発光し、受光部１０３が上記光信号を受光する（Ｓ２１０）。Ｓ２００段階及びＳ２１０段階は同時に生じることもあり、前後の順序が変更されることもある。
次に、発光部１０１から発光された光信号、及び受光部１０３により受光された光信号の位相差を用い、赤外線センサ１００の正面の障害物までの距離が推定される（Ｓ２２０）。
Ｓ２２０段階で推定された障害物までの距離、及びＳ２００段階で撮影された運転者の顔映像が電子制御部１２０によって分析される（Ｓ２３０）。
次に、Ｓ２３０段階で分析された結果に応じて所定のメッセージ又はアラームが、表示部１３０又はアラーム部１４０を介して出力される（Ｓ２４０）。上記所定のメッセージは運転者状態メッセージ、認識誤謬メッセージ、認識誤謬分析メッセージ又は案内メッセージである。
次に、Ｓ２３０段階で分析された結果に応じて所定のメッセージ又はアラームが、表示部１３０又はアラーム部１４０を介して出力される（Ｓ２４０）。上記所定のメッセージは運転者状態メッセージ、認識誤謬メッセージ、認識誤謬分析メッセージ又は案内メッセージである。
図４は、本発明の一実施例に係る運転者との距離確認方法を示す図である。
図４に示すように、発光部１０１がｔＲ間隔でｔ０時間のあいだ光信号を発光すると、受光部１０３はｔＤほど遅延した時間以後に光信号を受光する。
このとき、発光部１０１及び受光部１０３を含む赤外線センサ１００から正面に存在する障害物までの距離は、下記式（数１）のように算出され、下記式（数１）は障害物までの距離１Ｍ内外でｃｍ単位の精度を有する。
図４に示すように、発光部１０１がｔＲ間隔でｔ０時間のあいだ光信号を発光すると、受光部１０３はｔＤほど遅延した時間以後に光信号を受光する。
このとき、発光部１０１及び受光部１０３を含む赤外線センサ１００から正面に存在する障害物までの距離は、下記式（数１）のように算出され、下記式（数１）は障害物までの距離１Ｍ内外でｃｍ単位の精度を有する。
上記のように、本発明によれば、赤外線センサ１００から正面に存在する障害物までの距離を精密に推定することができるので、カメラ環境又は運転者の姿勢などにより変更される障害物までの距離が確認され、同時に運転者の顔も顔認識カメラ１１０により認識される。
従って、本発明はそれぞれのデータを用いて認識誤謬を確認することができ、認識誤謬を分析して原因を捜し出して認識誤謬を修正することができる。
本発明は、プロセッサが読み取り可能な記録媒体に、プロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な記録媒体はプロセッサにより読み取られるデータが格納される全種類の記録装置を含む。プロセッサが読み取り可能な記録媒体の例としてはＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ格納装置などがある。さらに、プロセッサが読み取り可能な記録媒体はネットワークで連結されたコンピュータシステムに分散され、分散方式でプロセッサの読み取り可能なコードが格納され実行される。
以上、本発明に関する好ましい実施形態を説明したが、本発明は上記実施例に限定されず、本発明の属する技術範囲を逸脱しない範囲での全ての変更が含まれる。
１００ 赤外線センサ
１０１ 発光部
１０３ 受光部
１１０ 顔認識カメラ
１２０ 電子制御部
１３０ 表示部
１４０ アラーム部
１０１ 発光部
１０３ 受光部
１１０ 顔認識カメラ
１２０ 電子制御部
１３０ 表示部
１４０ アラーム部
Claims (12)
- 光信号を発光する発光部及び前記光信号を受光する受光部を含み、前記発光部から発光される光信号及び上記受光部により受光される光信号の位相差を用い、正面の障害物までの距離を測定する赤外線センサ、
運転者の顔を撮影し、撮影された映像で運転者の顔を検出する顔認識カメラ、及び
前記赤外線センサ及び前記顔認識カメラを介して測定されたデータを用いて認識誤謬発生可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析する電子制御部、
を含むことを特徴とする運転者状態監視装置。 - 前記認識誤謬が発生した場合、認識誤謬メッセージ、認識誤謬分析メッセージ及び案内メッセージのうち少なくとも一つを示す表示部をさらに含むことを特徴とする請求項１に記載の運転者状態監視装置。
- 前記正面の障害物は、運転者の顔、運転者の上体及び運転者の座席のうち何れか一つであることを特徴とする請求項１に記載の運転者状態監視装置。
- 前記電子制御部は、前記赤外線センサにより測定された距離に従い前記正面の障害物又は運転者の姿勢を確認することができることを特徴とする請求項１に記載の運転者状態監視装置。
- 前記赤外線センサは、前記光信号が前記発光部により発光され、前記受光部により受光される時までの遅延時間を用いて、前記正面の障害物までの距離を測定することを特徴とする請求項１に記載の運転者状態監視装置。
- 前記認識誤謬が発生しない場合、前記電子制御部は前記赤外線センサ及び前記顔認識カメラを介して測定されたデータを用いて運転者状態が正常運転状態か、又は運転不注意状態かを判断することを特徴とする請求項１に記載の運転者状態監視装置。
- 前記電子制御部の判断結果、運転不注意状態の場合、警報アラームを出力するアラーム部をさらに含むことを特徴とする請求項６に記載の運転者状態監視装置。
- 発光部から発光される光信号及び受光部により受光される光信号の位相差を用い、赤外線センサを介して正面の障害物までの距離を測定する第１段階、
顔認識カメラを介して運転者の顔を撮影し、撮影された映像で運転者の顔を検出する第２段階、及び
電子制御部を介して前記第１段階及び前記第２段階で測定されたデータを用いて認識誤謬発生可否を判別し、認識誤謬が発生した場合、発生した認識誤謬を分析することを特徴とする第３段階を含む運転者状態監視方法。 - 前記認識誤謬が発生した場合、認識誤謬メッセージ、認識誤謬分析メッセージ及び案内メッセージのうち少なくとも一つを表示部を介して表示する第４段階をさらに含むことを特徴とする請求項８に記載の運転者状態監視方法。
- 前記正面の障害物は、運転者の顔、運転者の上体及び運転者の座席のうち何れか一つであることを特徴とする請求項８に記載の運転者状態監視方法。
- 前記電子制御部は、前記第１段階で測定された距離に従い前記正面の障害物又は運転者の姿勢を確認することができることを特徴とする請求項８に記載の運転者状態監視方法。
- 前記第１段階は、前記光信号が前記発光部により発光され、前記受光部により受光される時までの遅延時間を用いて、前記正面の障害物までの距離を測定することを特徴とする請求項８に記載の運転者状態監視方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2011-0089104 | 2011-09-02 | ||
| KR1020110089104A KR101251836B1 (ko) | 2011-09-02 | 2011-09-02 | 적외선 센서를 이용한 운전자 상태감시 장치 및 그 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013054717A true JP2013054717A (ja) | 2013-03-21 |
Family
ID=47710902
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011268714A Pending JP2013054717A (ja) | 2011-09-02 | 2011-12-08 | 赤外線センサを用いた運転者状態監視装置及びその方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20130057668A1 (ja) |
| JP (1) | JP2013054717A (ja) |
| KR (1) | KR101251836B1 (ja) |
| CN (1) | CN102975719B (ja) |
| DE (1) | DE102012200096A1 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103297704A (zh) * | 2013-06-21 | 2013-09-11 | 苏州鼎富软件科技有限公司 | 视频摄制方法以及视频尺寸自动调整方法 |
| CN104820224A (zh) * | 2015-05-08 | 2015-08-05 | 中国科学院南京地理与湖泊研究所 | 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法 |
| JP2016200910A (ja) * | 2015-04-08 | 2016-12-01 | 日野自動車株式会社 | 運転者状態判定装置 |
| JP2019194587A (ja) * | 2018-05-03 | 2019-11-07 | アナログ ディヴァイスィズ インク | 単画素センサ |
| WO2022230168A1 (ja) * | 2021-04-30 | 2022-11-03 | 三菱電機株式会社 | 乗員状態判定装置および乗員状態判定方法 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5821859B2 (ja) * | 2013-01-18 | 2015-11-24 | 株式会社デンソー | 表示システム |
| US10210761B2 (en) | 2013-09-30 | 2019-02-19 | Sackett Solutions & Innovations, LLC | Driving assistance systems and methods |
| US11243294B2 (en) * | 2014-05-19 | 2022-02-08 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
| CN105984378A (zh) * | 2015-04-14 | 2016-10-05 | 智车优行科技（北京）有限公司 | 一种汽车语音提示系统 |
| CN106327608B (zh) * | 2015-07-01 | 2019-05-21 | 窦娟 | 一种通过无线信号判断车内驾驶人员状态的方法和系统 |
| CN105357501A (zh) * | 2015-12-16 | 2016-02-24 | 天津天地伟业数码科技有限公司 | 在嵌入式录像设备上扩展生命体征检测的方法 |
| US20180313676A1 (en) * | 2016-01-19 | 2018-11-01 | Sony Corporation | Information processing apparatus, information processing method, and program |
| FR3061472B1 (fr) * | 2016-12-29 | 2019-10-11 | Arnaud Chaumeil | Securite concernant un engin et une personne equipee d'un dispositif medical |
| US10290158B2 (en) * | 2017-02-03 | 2019-05-14 | Ford Global Technologies, Llc | System and method for assessing the interior of an autonomous vehicle |
| DE102017205386A1 (de) * | 2017-03-30 | 2018-10-04 | Robert Bosch Gmbh | Fahrerbeobachtungsvorrichtung und Verfahren zum Beobachten eines Fahrers in einem Fahrzeug zum Bestimmen zumindest einer Position des Fahrers in dem Fahrzeug |
| CN107277318B (zh) * | 2017-06-26 | 2020-07-14 | 苏州佳世达电通有限公司 | 影像撷取装置及影像撷取方法 |
| US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
| CN109278556A (zh) * | 2018-11-19 | 2019-01-29 | 深圳和而泰智能控制股份有限公司 | 汽车安全装置 |
| CN113671516B (zh) * | 2021-08-05 | 2023-07-25 | 湖南大学 | 一种车灯测距装置及其方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000097638A (ja) * | 1998-09-25 | 2000-04-07 | Honda Motor Co Ltd | 乗員の乗車状態検出装置 |
| JP2009201756A (ja) * | 2008-02-28 | 2009-09-10 | Omron Corp | 情報処理装置および方法、並びに、プログラム |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8948442B2 (en) * | 1982-06-18 | 2015-02-03 | Intelligent Technologies International, Inc. | Optical monitoring of vehicle interiors |
| JPH05196859A (ja) * | 1992-01-17 | 1993-08-06 | Nikon Corp | オートフォーカス装置 |
| JPH08297019A (ja) * | 1995-04-27 | 1996-11-12 | Nissan Motor Co Ltd | 車両用視線方向計測装置 |
| DE19814691B4 (de) * | 1997-04-01 | 2008-11-27 | Fuji Electric Co., Ltd., Kawasaki | Vorrichtung zur Erfassung der Haltung eines Insassen |
| JP3286219B2 (ja) | 1997-09-11 | 2002-05-27 | トヨタ自動車株式会社 | 座席の使用状況判定装置 |
| US6577936B2 (en) * | 2001-07-10 | 2003-06-10 | Eaton Corporation | Image processing system for estimating the energy transfer of an occupant into an airbag |
| DE10149115A1 (de) * | 2001-10-05 | 2003-04-17 | Bosch Gmbh Robert | Objekterfassungsvorrichtung |
| US8560179B2 (en) * | 2003-02-20 | 2013-10-15 | Intelligent Mechatronic Systems Inc. | Adaptive visual occupant detection and classification system |
| JP2005024792A (ja) | 2003-06-30 | 2005-01-27 | Nec Saitama Ltd | カメラ付き携帯通信端末 |
| JP4702598B2 (ja) * | 2005-03-15 | 2011-06-15 | オムロン株式会社 | 監視システム、監視装置および方法、記録媒体、並びにプログラム |
| KR101047069B1 (ko) * | 2007-04-03 | 2011-07-07 | 델피 테크놀로지스 인코포레이티드 | 제어 장치 및 이를 포함하는 에어백 모듈과, 팽창가능한 쿠션 전개의 제한 방법 |
| US20120050477A1 (en) * | 2010-08-27 | 2012-03-01 | Jeyhan Karaoguz | Method and System for Utilizing Depth Information for Providing Security Monitoring |
-
2011
- 2011-09-02 KR KR1020110089104A patent/KR101251836B1/ko active IP Right Grant
- 2011-12-07 US US13/313,686 patent/US20130057668A1/en not_active Abandoned
- 2011-12-08 JP JP2011268714A patent/JP2013054717A/ja active Pending
-
2012
- 2012-01-05 DE DE102012200096A patent/DE102012200096A1/de active Pending
- 2012-01-05 CN CN201210001656.6A patent/CN102975719B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000097638A (ja) * | 1998-09-25 | 2000-04-07 | Honda Motor Co Ltd | 乗員の乗車状態検出装置 |
| JP2009201756A (ja) * | 2008-02-28 | 2009-09-10 | Omron Corp | 情報処理装置および方法、並びに、プログラム |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103297704A (zh) * | 2013-06-21 | 2013-09-11 | 苏州鼎富软件科技有限公司 | 视频摄制方法以及视频尺寸自动调整方法 |
| JP2016200910A (ja) * | 2015-04-08 | 2016-12-01 | 日野自動車株式会社 | 運転者状態判定装置 |
| CN104820224A (zh) * | 2015-05-08 | 2015-08-05 | 中国科学院南京地理与湖泊研究所 | 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法 |
| CN104820224B (zh) * | 2015-05-08 | 2017-11-03 | 中国科学院南京地理与湖泊研究所 | 富营养化湖泊水体叶绿素a的MODIS卫星高精度监测方法 |
| JP2019194587A (ja) * | 2018-05-03 | 2019-11-07 | アナログ ディヴァイスィズ インク | 単画素センサ |
| WO2022230168A1 (ja) * | 2021-04-30 | 2022-11-03 | 三菱電機株式会社 | 乗員状態判定装置および乗員状態判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130025665A (ko) | 2013-03-12 |
| CN102975719B (zh) | 2017-05-17 |
| KR101251836B1 (ko) | 2013-04-09 |
| US20130057668A1 (en) | 2013-03-07 |
| CN102975719A (zh) | 2013-03-20 |
| DE102012200096A1 (de) | 2013-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013054717A (ja) | 赤外線センサを用いた運転者状態監視装置及びその方法 | |
| US9514664B2 (en) | Measuring latency in a test system using captured images | |
| JP6586239B2 (ja) | 撮影装置及び撮影方法 | |
| CA3010922C (en) | Passenger counting device, system, method and program | |
| JPWO2014064898A1 (ja) | 乗車人数計測装置、方法およびプログラム | |
| TW201144964A (en) | Portable electronic device | |
| EP2600308A3 (en) | Information processing apparatus, information processing method, program and computer-readable storage medium | |
| KR20180104235A (ko) | 운전자 상태 모니터링 방법 및 장치 | |
| JP2014212438A (ja) | 監視システム | |
| JP2015056103A (ja) | トイレ見守り方法およびこれに用いるトイレ見守り装置 | |
| US10384608B2 (en) | Vehicle-mounted stereo camera device and method for correcting the same | |
| EP3028644B1 (en) | Diagnosis assistance device and diagnosis assistance method | |
| JP2008209122A (ja) | イミュニティ試験装置及び試験方法 | |
| US20220165092A1 (en) | Accident detection device and accident detection method | |
| CN111953935A (zh) | 体温监管方法、装置、智慧屏和计算机可读存储介质 | |
| JP2005343351A (ja) | 運転支援装置 | |
| KR20180131775A (ko) | 유전자 알고리즘을 이용한 화재 감지 방법 및 시스템 | |
| JP2013003760A (ja) | 煙感知器 | |
| WO2018170538A1 (en) | System and method of capturing true gaze position data | |
| EP2417902B1 (en) | Pupil covering state detection device, and in-vehicle camera provided therewith | |
| KR102077785B1 (ko) | 음주운전 판별장치 | |
| US20160162115A1 (en) | Touch point sensing method and optical touch system | |
| JP2017200090A (ja) | 情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法 | |
| KR101823385B1 (ko) | 사이드 카메라를 이용한 차선 이탈 경보 시스템의 인식률 향상 장치 및 방법 | |
| JP2011195032A (ja) | 車両後方監視装置および車両後方監視方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141202 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150708 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150721 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160105 |