JP2013202273A - 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム - Google Patents
眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム Download PDFInfo
- Publication number
- JP2013202273A JP2013202273A JP2012076234A JP2012076234A JP2013202273A JP 2013202273 A JP2013202273 A JP 2013202273A JP 2012076234 A JP2012076234 A JP 2012076234A JP 2012076234 A JP2012076234 A JP 2012076234A JP 2013202273 A JP2013202273 A JP 2013202273A
- Authority
- JP
- Japan
- Prior art keywords
- sleepiness
- level
- blink
- distribution
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【解決手段】眠気レベルの推定装置100においては、瞬目検知部5618は、カメラ30により撮影された動画像から運転者の瞬目を検出する。記憶装置54は、瞬目の時間間隔の頻度の第1の分布と眠気のレベルとを予め対応付けて記憶する。眠気推定部5620は、運転者について検出された瞬目の時間間隔の第2の分布を算出し、記憶装置54に記憶された第1の分布と第2の分布の類似度に基づいて、運転者の眠気のレベルを推定する。
【選択図】図3
Description
以下、本発明の実施の形態にかかる「眠気レベルの推定装置」について説明する。この眠気レベルの推定装置は、コンピュータまたはマイコン等、プログラムにより動作する演算装置により実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像のうち、瞼の画像に基づいて、眠気レベルを推定するためのものである。
以下に説明するとおり、本実施の形態の眠気レベルの推定装置100では、顔特徴点を検出・追跡することにより、視線方向を推定するとともに、瞬目の周期の分布を検出する。
図4は、本実施の形態において、CPU56により視線推定のソフトウェアを実行する処理フローを示すフローチャートである。
続いて、この画像データ中から、顔(頭部)検出部5606、特徴点抽出部5608、頭部位置・姿勢推定部5610、眼球中心推定部5612、虹彩中心抽出部5614および視線方向推定部5618により、視線方向の推定および検出が実行される(S102)。
すなわち、瞬目の検出の前提として、視線の検出を行っておくことで、瞬目の検出時点では、以下の点が既知であるものとして、説明する。
ii)運転者2の顔の特徴点の位置
iii)運転者2の目を含む領域の位置
これらのうち、少なくとも「iii)運転者2の目を含む領域の位置」が既知であることにより、以下に説明する瞬目の検出処理において瞼のエッジの検出を行う領域を制限することができる。
以上のような前提の下で、瞬目検知部5618が、撮影された運転者の画像から、運転者が瞬目するタイミングを検知する(S104)。
(瞬目の時間間隔の頻度の分布と眠気の程度のレベル)
以上説明したような眠気の程度のレベルと瞬目の時間間隔の頻度の分布の関係について、以下、実測データを用いて、より詳しく説明する。
図3〜図7で説明したような方法により被験者の映像データを解析し、開眼度のデータを得る。
図11〜図15では、各被験者、眠気レベル毎にサンプル画像を解析し、時系列の開眼度データを示した。
以上説明したように、眠気レベルが高い場合に瞬目間隔に定常性が現れる場合が多い。従って、瞬目間隔パターンの変化によって眠気検知を行うことが可能である。
(視線の推定処理の具体例)
視線の検出については、すでに、多くの技術が周知である。
公知文献3:CVIM研究会 チュートリアルシリーズ(チュートリアル2) 情報処理学会研究報告. 2007-CVIM-159(32), [コンピュータビジョンとイメージメディア] , P.265-272, 2007-05-15.
顔(頭部)の画像フレームからの検出については、周知の他のアルゴリズムを利用することも可能である。
なお、顔の特徴点の抽出については、以下のような処理を行ってもよい。
(眼球中心位置の推定処理)
そして、頭部の位置および頭部の姿勢の推定が終了すると、続いて、CPU56は、眼球中心推定部5612により、眼球の中心位置を推定する(S210)。
以下で説明するRANSAC処理は、外れ値を含むデータから安定にモデルパラメータを定めるための処理であり、これについては、たとえば、以下の文献に記載されているので、その処理の概略を説明するにとどめる。
公知文献6:大江統子、佐藤智和、横矢直和:“画像徳著点によるランドマークデータベースに基づくカメラ位置・姿勢推定”、画像の認識・理解シンポジウム(MIRU2005)2005年7月
上述のような眼球中心位置を初期値として、入力画像群に対して眼球モデルを当てはめ最適なモデルパラメータを推定する。ここで、入力画像から目の周辺領域を切り出し、色および輝度情報をもとに、以下の式(1)に従って、虹彩(黒目)、白目、肌領域の3種類にラベル付けを行なう。
Claims (6)
- 被験者の動画像を撮影するための撮像手段と、
前記撮像手段により撮影された動画像から前記被験者の瞬目を検出する瞬目検出手段と、
瞬目の時間間隔の頻度の第1の分布と眠気のレベルとを予め対応付けて記憶するための記憶手段と、
前記瞬目検出手段により検出された瞬目に基づいて、前記被験者についての瞬目の時間間隔の第2の分布を算出し、前記記憶手段に記憶された第1の分布と前記第2の分布の類似度に基づいて、前記被験者の眠気のレベルを推定するための眠気推定手段と、
前記推定された眠気のレベルを出力するための出力手段とを備える、眠気レベルの推定装置。 - 前記眠気推定手段は、前記第1の分布を第1のヒストグラムで表現した場合に、前記第1のヒストグラムの階級ごとの頻度を要素とする第1の頻度ベクトルと、前記第2の分布を第2のヒストグラムで表現した場合に、前記第2のヒストグラムの階級ごとの頻度を要素とする第2の頻度ベクトルとの距離として、前記類似度を算出する、請求項1記載の眠気レベルの推定装置。
- 前記記憶手段は、前記第1の分布として、各前記眠気のレベルで、複数の第1の頻度ベクトルを記憶しており、
前記眠気推定手段は、各前記眠気のレベルにおける、複数の第1の頻度ベクトルと前記第2の頻度ベクトルとの距離の最小値により、前記眠気のレベルを判定する、請求項2記載の眠気レベルの推定装置。 - 前記記憶手段は、前記第1の分布として、各前記眠気のレベルで、複数の第1の頻度ベクトルを、瞬目の時間間隔の大きさで複数の段階のパターンに分類して記憶しており、
前記眠気推定手段は、前記分類のうち、前記被験者の瞬目の時間間隔の大きさにもっとも近いパターンにおいて、各前記眠気のレベルにおける、複数の第1の頻度ベクトルと前記第2の頻度ベクトルとの距離を算出する、請求項2または3記載の眠気レベルの推定装置。 - 被験者について撮影された動画像から前記被験者の眠気の程度を、記憶装置および演算装置を含むコンピュータに実行させるための眠気レベルの推定方法であって、
前記記憶装置には、瞬目の時間間隔の頻度の第1の分布と眠気のレベルとが予め対応付けて記憶されており、
前記演算装置が、前記動画像から前記被験者の瞬目を検出するステップと、
前記演算装置が、前記検出された瞬目に基づいて、前記被験者についての瞬目の時間間隔の第2の分布を算出し、前記記憶装置に記憶された第1の分布と前記第2の分布の類似度に基づいて、前記被験者の眠気のレベルを推定するステップと、
前記演算装置が、前記推定された眠気のレベルを出力するステップとを備える、眠気レベルの推定方法。 - 記憶装置および演算装置を有するコンピュータに、被験者について撮影された動画像から前記被験者の眠気レベルの推定処理を実行させるための眠気レベルの推定処理プログラムであって、前記プログラムは、
前記記憶装置には、瞬目の時間間隔の頻度の第1の分布と眠気のレベルとが予め対応付けて記憶されており、
前記演算装置が、前記動画像から前記被験者の瞬目を検出するステップと、
前記演算装置が、前記検出された瞬目に基づいて、前記被験者についての瞬目の時間間隔の第2の分布を算出し、前記記憶装置に記憶された第1の分布と前記第2の分布の類似度に基づいて、前記被験者の眠気のレベルを推定するステップと、
前記演算装置が、前記推定された眠気のレベルを出力するステップとをコンピュータに実行させる、眠気レベルの推定処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012076234A JP6043933B2 (ja) | 2012-03-29 | 2012-03-29 | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012076234A JP6043933B2 (ja) | 2012-03-29 | 2012-03-29 | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013202273A true JP2013202273A (ja) | 2013-10-07 |
JP6043933B2 JP6043933B2 (ja) | 2016-12-14 |
Family
ID=49522017
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012076234A Expired - Fee Related JP6043933B2 (ja) | 2012-03-29 | 2012-03-29 | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6043933B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016146978A (ja) * | 2015-02-12 | 2016-08-18 | トヨタ自動車株式会社 | 眠気検知装置 |
JP2017209262A (ja) * | 2016-05-25 | 2017-11-30 | トヨタ自動車株式会社 | 眠気検知装置 |
WO2018150485A1 (ja) * | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
JP2018169806A (ja) * | 2017-03-30 | 2018-11-01 | マツダ株式会社 | 運転支援装置 |
JP2018183248A (ja) * | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | 眠気判定装置 |
CN110020583A (zh) * | 2017-12-22 | 2019-07-16 | 丰田自动车株式会社 | 睡意推断装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020162362A1 (ja) | 2019-02-04 | 2020-08-13 | 日本電気株式会社 | 覚醒度制御装置、覚醒度制御方法および記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07241283A (ja) * | 1994-03-04 | 1995-09-19 | Omron Corp | 覚醒度判定方法及び覚醒度判定装置 |
JPH11339200A (ja) * | 1998-05-28 | 1999-12-10 | Toyota Motor Corp | 居眠り運転検出装置 |
JP2000326757A (ja) * | 1999-05-18 | 2000-11-28 | Mitsubishi Electric Corp | 危険接近防止装置 |
JP2008083894A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | プログラム、検出方法、及び検出装置 |
-
2012
- 2012-03-29 JP JP2012076234A patent/JP6043933B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07241283A (ja) * | 1994-03-04 | 1995-09-19 | Omron Corp | 覚醒度判定方法及び覚醒度判定装置 |
JPH11339200A (ja) * | 1998-05-28 | 1999-12-10 | Toyota Motor Corp | 居眠り運転検出装置 |
JP2000326757A (ja) * | 1999-05-18 | 2000-11-28 | Mitsubishi Electric Corp | 危険接近防止装置 |
US6393361B1 (en) * | 1999-05-18 | 2002-05-21 | Mitsubishi Denki Kabushiki Kaisha | Dangerous approach prevention device for vehicle |
JP2008083894A (ja) * | 2006-09-27 | 2008-04-10 | Sony Corp | プログラム、検出方法、及び検出装置 |
US20080181492A1 (en) * | 2006-09-27 | 2008-07-31 | Mototsugu Abe | Detection Apparatus, Detection Method, and Computer Program |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016146978A (ja) * | 2015-02-12 | 2016-08-18 | トヨタ自動車株式会社 | 眠気検知装置 |
US10398356B2 (en) | 2015-02-12 | 2019-09-03 | Toyota Jidosha Kabushiki Kaisha | Sleepiness detecting device |
JP2017209262A (ja) * | 2016-05-25 | 2017-11-30 | トヨタ自動車株式会社 | 眠気検知装置 |
WO2018150485A1 (ja) * | 2017-02-15 | 2018-08-23 | 三菱電機株式会社 | 運転状態判定装置および運転状態判定方法 |
JPWO2018150485A1 (ja) * | 2017-02-15 | 2019-06-27 | 三菱電機株式会社 | 運転状態判定装置、判定装置および運転状態判定方法 |
CN110268455A (zh) * | 2017-02-15 | 2019-09-20 | 三菱电机株式会社 | 驾驶状态判定装置及驾驶状态判定方法 |
US10949690B2 (en) | 2017-02-15 | 2021-03-16 | Mitsubishi Electric Corporation | Driving state determination device, determination device, and driving state determination method |
CN110268455B (zh) * | 2017-02-15 | 2022-12-09 | 三菱电机株式会社 | 驾驶状态判定装置及驾驶状态判定方法 |
JP2018169806A (ja) * | 2017-03-30 | 2018-11-01 | マツダ株式会社 | 運転支援装置 |
JP2018183248A (ja) * | 2017-04-24 | 2018-11-22 | アルパイン株式会社 | 眠気判定装置 |
CN110020583A (zh) * | 2017-12-22 | 2019-07-16 | 丰田自动车株式会社 | 睡意推断装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6043933B2 (ja) | 2016-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
Shreve et al. | Macro-and micro-expression spotting in long videos using spatio-temporal strain | |
JP5841538B2 (ja) | 関心度推定装置および関心度推定方法 | |
Mbouna et al. | Visual analysis of eye state and head pose for driver alertness monitoring | |
Fuhl et al. | Eyes wide open? eyelid location and eye aperture estimation for pervasive eye tracking in real-world scenarios | |
EP1589485A2 (en) | Object tracking and eye state identification method | |
García et al. | Driver monitoring based on low-cost 3-D sensors | |
JP5127531B2 (ja) | 画像監視装置 | |
JP2009212637A (ja) | 撮像装置 | |
JP5225870B2 (ja) | 情動分析装置 | |
US10181075B2 (en) | Image analyzing apparatus,image analyzing, and storage medium | |
CN111563480A (zh) | 冲突行为检测方法、装置、计算机设备和存储介质 | |
Darshana et al. | Efficient PERCLOS and gaze measurement methodologies to estimate driver attention in real time | |
JP7418315B2 (ja) | 対象の再特定の方法 | |
JP2019159518A (ja) | 視認状態検知装置、視認状態検知方法および視認状態検知プログラム | |
JP2010191793A (ja) | 警告表示装置及び警告表示方法 | |
JP4992823B2 (ja) | 顔検出装置及び顔検出方法 | |
Yazdi et al. | Driver drowsiness detection by Yawn identification based on depth information and active contour model | |
JP5971712B2 (ja) | 監視装置及び方法 | |
US20120189161A1 (en) | Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus | |
KR101648786B1 (ko) | 객체 인식 방법 | |
JP6798609B2 (ja) | 映像解析装置、映像解析方法およびプログラム | |
WO2018051836A1 (ja) | 虹彩検出装置、虹彩検出方法、虹彩検出プログラム、及び虹彩検出プログラムを記録した記録媒体 | |
JP5493676B2 (ja) | 眼位置認識装置 | |
Xie et al. | Revolutionizing Road Safety: YOLOv8-Powered Driver Fatigue Detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20150327 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160527 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161004 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161007 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6043933 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |