JP2011145863A - 顔向き検知装置 - Google Patents
顔向き検知装置 Download PDFInfo
- Publication number
- JP2011145863A JP2011145863A JP2010005808A JP2010005808A JP2011145863A JP 2011145863 A JP2011145863 A JP 2011145863A JP 2010005808 A JP2010005808 A JP 2010005808A JP 2010005808 A JP2010005808 A JP 2010005808A JP 2011145863 A JP2011145863 A JP 2011145863A
- Authority
- JP
- Japan
- Prior art keywords
- face
- sunglasses
- determination
- person
- luminance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】顔向き検知装置10は、ひとの顔を撮像する乗員カメラ12から出力された顔画像から、撮像用光源14から照射された光の反射点を抽出する反射点抽出部21と、反射点の面積が最大となる1対の反射点を選択する反射点選択部22と、1対の反射点間の中心座標を算出する中心座標算出部23と、サングラス着用判定部27から出力された判定結果においてひとがサングラスを着用していると判定された場合に、中心座標算出部23から出力された中心座標に基づき、ひとの顔中心位置を検出する位置検出部28と、ひとの顔中心位置に基づき、ひとの顔向き方向を検知する顔向き検知部29とを備える。
【選択図】図1
Description
本実施の形態による顔向き検知装置10は、例えば図1に示すように、撮像制御装置11と、乗員カメラ12と、光源制御装置13と、撮像用光源14と、処理装置15とを備えて構成され、さらに、処理装置15は、反射点抽出部21と、反射点選択部22と、中心座標算出部23と、ヒストグラム算出部24と、領域設定部25と、輝度算出部26と、サングラス着用判定部27と、位置検出部28と、顔向き検知部29とを備えて構成されている。
光源制御装置13により制御される撮像用光源14は、例えば車室内のインスツルメントパネルにおいて乗員カメラ12から左右にずれた位置に配置され、少なくとも車両の運転席に着座した運転者Dに向かい、例えば可視光線または赤外線などの光を照射可能である。
反射点抽出部21は、例えば、反射領域として、撮像用光源14から照射された光の明るさに応じた所定輝度以上、かつ、撮像用光源14の配置位置及び撮像用光源14から照射された光の収束性及び所定の照射対象(例えば、サングラスのレンズ表面など)の形状などに応じた所定面積範囲の領域を抽出したり、さらに、所定のパターンマッチングの処理の併用などによって所定形状の領域を抽出する。
中心座標算出部23は、反射点選択部22により選択された1対の反射領域の各反射点に基づき、1対の反射領域間の中心座標(例えば図3に示す水平方向座標XA)を算出する。
なお、横方向ヒストグラムHYは、例えば、乗員カメラ12から出力された顔画像(例えば図4に示す顔画像FP)の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる。
また、縦方向ヒストグラムHXは、例えば、乗員カメラ12から出力された顔画像(例えば図4に示す顔画像FP)において、後述する所定の高さ幅領域での所定の横位置毎において縦方向の全画素の輝度値を積算して得られる。
例えば、領域設定部25は、先ず、横方向ヒストグラムHYにおいて、極大及び極小を抽出し、連続した極大と極小と極大との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ(例えば図4に示す極大Ma1と極小Mb1と極大Ma2)を抽出する。
そして、抽出した組み合わせ(例えば図4に示す極大Ma1と極小Mb1と極大Ma2)の極小の位置(例えば図4に示す極小Mb1の位置)をサングラス探索領域の探索領域縦位置Yaに設定する。さらに、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方(例えば図4に示す極大Ma1と極小Mb1との間の縦方向距離h)をサングラス探索領域の高さに設定する。
そして、連続した極小と極大と極小との組み合わせのうち、極大と極小との差の和が最大となる組み合わせ(例えば図4に示す極小Md1と極大Mc1と極小Md2)を抽出する。
そして、抽出した組み合わせ(例えば図4に示す極小Md1と極大Mc1と極小Md2)の極大の位置(例えば図4に示す極大Mc1の位置)をサングラス探索領域の探索領域横位置Xaに設定する。さらに、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方(例えば図4に示す極大Mc1と極小Md2との間の横方向距離w)をサングラス探索領域の幅に設定する。
サングラス着用判定部27は、輝度値算出部26により算出された各判定領域DA毎の輝度中央値に基づき、例えば、左右の判定領域DA毎に、輝度中央値が所定の第1輝度未満の場合、あるいは、輝度中央値が所定の第1輝度以上かつ第2輝度(>第1輝度)未満であって判定領域DAに対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度よりも大きい場合には、運転者が着用しているサングラスが有ると判定する。そして、これら以外の場合には、サングラスが無いと判定する。
例えば、位置検出部28は、サングラス着用判定部27により運転者が着用しているサングラスが有ると判定された場合には、中心座標算出部23により算出された中心座標(例えば図3に示す水平方向座標XAからなる中心座標)の輝度を検出し、この検出結果による輝度が所定の閾輝度以上であれば、この中心座標を、顔中心位置FCとして設定する。
また、位置検出部28は、乗員カメラ12から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置FE1,FE2を検出する。
顔向き検知部29は、例えば図5に示すように、左右の顔端位置FE1,FE2間の中央位置COと顔中心位置FCとの間の左右方向での距離を顔中心のずれrとし、左右の顔端位置FE1,FE2間の距離を顔の幅2Rとし、中央位置COから乗員カメラ12に向かう方向が運転席に着座した運転者の正面方向に対してなす角度αと、顔中心のずれrと顔の幅2Rとに基づき、運転席に着座した運転者の正面方向に対する顔向き方向のなす角度θを算出する。例えば角度β=90−αとして、正弦定理による下記数式(1)を変形して下記数式(2)が得られ、この下記数式(2)から角度θが下記数式(3)に示すように記述される。
例えば図6に示すステップS01においては、後述するサングラス検出処理の検出結果において運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「NO」の場合には、ステップS02に進み、このステップS02においては、顔中心位置FCが検出されない(顔中心不検出)として、エンドに進む。
一方、この判定結果が「YES」の場合には、ステップS03に進む。
そして、ステップS03においては、乗員カメラ12から出力された顔画像に基づき、撮像用光源14から照射された光の反射領域のうち、運転者が着用しているサングラスのレンズ上での反射領域(例えば、所定輝度以上かつ所定面積範囲かつ所定形状の反射領域)を検出し、反射領域の重心位置などからなる反射点を抽出する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS05に進む。
次に、ステップS05においては、複数の反射領域のうちから反射領域の距離(例えば、反射領域の反射点間の距離)が閾距離以上であって、面積が最大となる1対の反射領域が存在するか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS06に進む。
次に、ステップS07においては、重心の輝度を検出する。
次に、ステップS08においては、重心の輝度が所定の閾輝度以上であるか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS02に進む。
一方、この判定結果が「YES」の場合には、ステップS09に進む。
そして、ステップS09においては、重心を、顔中心位置FCとして設定し、エンドに進む。
例えば図7に示すステップS11においては、乗員カメラ12から出力された顔画像を取得する。
次に、ステップS12においては、前回の処理にて運転者がサングラスを着用していると検出されたか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS16に進む。
一方、この判定結果が「NO」の場合には、ステップS13に進む。
次に、ステップS13においては、例えば撮像用光源14から照射された光の運転者の角膜での反射などを用いた所定の視線検出の処理を実行する。
次に、ステップS14においては、運転者の視線を検出したか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS16に進む。
一方、この判定結果が「YES」の場合には、ステップS15に進む。
また、ステップS16においては、後述するサングラス検出処理を実行する。
次に、ステップS17においては、乗員カメラ12から出力された顔画像に対して所定の画像処理を行なうことで、左右の顔端位置FE1,FE2を検出する。そして、上述したステップS01〜ステップS09の処理によって検出された顔中心位置FCと、左右の顔端位置FE1,FE2とに基づき、例えばシリンダー法などによって、運転者の顔向きの方向を検出する。
次に、ステップS18においては、運転者の顔向きを出力し、エンドに進む。
例えば図8に示すステップS21においては、後述するサングラス探索領域の縦位置算出の処理を実行する。
次に、ステップS22においては、後述するサングラス探索領域の横位置算出の処理を実行する。
次に、ステップS23においては、サングラス探索領域の探索領域縦位置Yaと探索領域横位置Xaとの交点をサングラス探索領域の中心として算出する。
次に、ステップS25においては、左側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップS26においては、左側の判定領域に対する輝度中央値が所定の第1輝度未満であるか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS30に進む。
一方、この判定結果が「NO」の場合には、ステップS27に進む。
この判定結果が「NO」の場合には、ステップS28に進み、このステップS28においては、運転者がサングラスを着用していないと判断して、リターンに進む。
一方、この判定結果が「YES」の場合には、ステップS29に進む。
そして、ステップS29においては、左側の判定領域に対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度(例えば、第2輝度よりも大きい輝度など)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS30に進む。
次に、ステップS31においては、右側の判定領域に対して、後述する判定領域の輝度中央値算出の処理を実行する。
次に、ステップS32においては、右側の判定領域に対する輝度中央値が所定の第1輝度未満であるか否かを判定する。
この判定結果が「YES」の場合には、ステップS33に進み、このステップS33においては、運転者がサングラスを着用していると判断して、リターンに進む。
一方、この判定結果が「NO」の場合には、ステップS34に進む。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、ステップS35に進む。
そして、ステップS35においては、右側の判定領域に対する両方の縦方向での所定の上下の領域の輝度(例えば平均輝度など)が所定の第3輝度(例えば、第2輝度よりも大きい輝度など)よりも大きいか否かを判定する。
この判定結果が「NO」の場合には、上述したステップS28に進む。
一方、この判定結果が「YES」の場合には、上述したステップS33に進む。
例えば図9に示すステップS41においては、乗員カメラ12から出力された顔画像の所定の縦位置毎において横方向の全画素の輝度値を積算して得られる横方向ヒストグラムHYを作成する。
次に、ステップS42においては、横方向ヒストグラムHYにおいて、極大及び極小を抽出する。
次に、ステップS44においては、抽出した組み合わせの極小の位置をサングラス探索領域の探索領域縦位置Yaに設定する。
次に、ステップS45においては、抽出した組み合わせの極大と極小との間の縦方向距離のうち、短い方をサングラス探索領域の高さに設定し、リターンに進む。
例えば図10に示すステップS51においては、乗員カメラ12から出力された顔画像の所定の横位置毎において縦方向の全画素の輝度値を積算して得られる縦方向ヒストグラムHXを作成する。
次に、ステップS52においては、縦方向ヒストグラムHXにおいて、極大及び極小を抽出する。
次に、ステップS54においては、抽出した組み合わせの極大の位置をサングラス探索領域の探索領域横位置Xaに設定する。
次に、ステップS55においては、抽出した組み合わせの極大と極小との間の横方向距離のうち、短い方をサングラス探索領域の幅に設定し、リターンに進む。
例えば図11に示すステップS61においては、サングラス探索領域の中心から横方向の両方向にサングラス探索領域の幅に応じた所定距離だけずれた1対の対称な位置を、左右の判定領域の中心位置とする。
次に、ステップS62においては、左右の中心位置から横方向の両方向にサングラス探索領域の幅に応じた所定幅かつ縦方向の両方向にサングラス探索領域の高さに応じた所定高さの領域を、左側及び右側の判定領域とする。
この判定結果が「YES」の場合には、ステップS64に進み、このステップS64においては、判定領域内から所定輝度以上の領域を除外して、ステップS65に進む。
一方、この判定結果が「NO」の場合には、ステップS65に進む。
そして、ステップS65においては、判定領域内の輝度の中央値を算出して、エンドに進む。
さらに、顔画像の画素の輝度値のヒストグラムに基づき運転者がサングラスを着用しているか否かを判定することから、例えばサングラスの一部が遮蔽されて一時的に撮像されていない場合などであっても、運転者がサングラスを着用しているか否かの判定を、演算負荷が増大してしまうことを抑制しつつ精度良く行なうことができる。
12 乗員カメラ(撮像手段)
14 撮像用光源(光源)
21 反射点抽出部(反射点抽出手段)
22 反射点選択部(反射点選択手段)
23 中心座標算出部(中心座標算出手段)
24 ヒストグラム算出部(ヒストグラム算出手段)
25 領域設定部(領域設定手段)
26 輝度算出部(輝度算出手段)
27 サングラス着用判定部(サングラス着用判定手段)
28 位置検出部(位置検出手段)
29 顔向き検知部(顔向き検知手段)
Claims (2)
- ひとの顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記ひとの顔中心位置及び顔端位置を検出して検出結果を出力する位置検出手段と、該位置検出手段から出力された前記検出結果に基づき、前記ひとの顔向き方向を検知する顔向き検知手段とを備える顔向き検知装置であって、
前記ひとがサングラスを着用しているか否かを判定して判定結果を出力するサングラス着用判定手段と、
前記ひとが存在する方向に向かって光を照射可能に配置された光源と、
前記撮像手段から出力された前記顔画像から、前記光源から照射された前記光の反射点を抽出して抽出結果を出力する反射点抽出手段と、
前記反射点抽出手段から出力された前記抽出結果のうちから前記反射点の面積が最大となる1対の前記反射点を選択して選択結果を出力する反射点選択手段と、
前記反射点選択手段から出力された前記選択結果に基づき、前記1対の前記反射点間の中心座標を算出して算出結果を出力する中心座標算出手段とを備え、
前記位置検出手段は、前記サングラス着用判定手段から出力された前記判定結果において前記ひとがサングラスを着用していると判定された場合には、前記中心座標算出手段から出力された前記中心座標に基づき、前記ひとの前記顔中心位置を検出することを特徴とする顔向き検知装置。 - 前記撮像手段から出力された前記顔画像の縦方向及び横方向での輝度値のヒストグラムを算出して算出結果を出力するヒストグラム算出手段と、
前記ヒストグラム算出手段から出力された前記算出結果に基づき、前記顔画像における所定の判定領域を設定して設定結果を出力する領域設定手段と、
前記領域設定手段から出力された前記設定結果の前記判定領域内の各画素の輝度値を算出して算出結果を出力する輝度算出手段とを備え、
前記サングラス着用判定手段は、前記輝度算出手段から出力された前記算出結果の前記輝度値の中央値が所定値以下である場合に、前記ひとがサングラスを着用していると判定することを特徴とする請求項1に記載の顔向き検知装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005808A JP5396287B2 (ja) | 2010-01-14 | 2010-01-14 | 顔向き検知装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010005808A JP5396287B2 (ja) | 2010-01-14 | 2010-01-14 | 顔向き検知装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011145863A true JP2011145863A (ja) | 2011-07-28 |
JP5396287B2 JP5396287B2 (ja) | 2014-01-22 |
Family
ID=44460661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010005808A Expired - Fee Related JP5396287B2 (ja) | 2010-01-14 | 2010-01-14 | 顔向き検知装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5396287B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
JP2017194345A (ja) * | 2016-04-20 | 2017-10-26 | 株式会社デンソー | 顔向き計測装置 |
DE102019209950A1 (de) * | 2019-07-05 | 2021-01-07 | Continental Automotive Gmbh | Verfahren zur Sonnenbrillenanalyse und Anzeigeeinrichtungsjustierung |
CN112825145A (zh) * | 2019-11-20 | 2021-05-21 | 上海商汤智能科技有限公司 | 人体朝向检测方法、装置、电子设备和计算机存储介质 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7359087B2 (ja) | 2020-07-02 | 2023-10-11 | トヨタ自動車株式会社 | ドライバモニタ装置及びドライバモニタ方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072628A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | 顔向き判別装置 |
JP2008224565A (ja) * | 2007-03-15 | 2008-09-25 | Aisin Seiki Co Ltd | 目状態判別装置、目状態判別方法及び目状態判別プログラム |
-
2010
- 2010-01-14 JP JP2010005808A patent/JP5396287B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007072628A (ja) * | 2005-09-05 | 2007-03-22 | Aisin Seiki Co Ltd | 顔向き判別装置 |
JP2008224565A (ja) * | 2007-03-15 | 2008-09-25 | Aisin Seiki Co Ltd | 目状態判別装置、目状態判別方法及び目状態判別プログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130076881A1 (en) * | 2011-09-26 | 2013-03-28 | Honda Motor Co., Ltd. | Facial direction detecting apparatus |
JP2017194345A (ja) * | 2016-04-20 | 2017-10-26 | 株式会社デンソー | 顔向き計測装置 |
DE102019209950A1 (de) * | 2019-07-05 | 2021-01-07 | Continental Automotive Gmbh | Verfahren zur Sonnenbrillenanalyse und Anzeigeeinrichtungsjustierung |
DE102019209950B4 (de) * | 2019-07-05 | 2021-02-04 | Continental Automotive Gmbh | Verfahren zur Sonnenbrillenanalyse und Anzeigeeinrichtungsjustierung |
CN112825145A (zh) * | 2019-11-20 | 2021-05-21 | 上海商汤智能科技有限公司 | 人体朝向检测方法、装置、电子设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5396287B2 (ja) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6013884B2 (ja) | 物体検出装置及び物体検出方法 | |
JP6036065B2 (ja) | 注視位置検出装置及び注視位置検出方法 | |
JP5396287B2 (ja) | 顔向き検知装置 | |
JP4592744B2 (ja) | 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム | |
CN107169403B (zh) | 面部图像处理装置 | |
JP6704607B2 (ja) | 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム | |
JP2008130087A (ja) | 対象領域分割方法及び対象領域分割装置 | |
JP2014089548A (ja) | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 | |
US10778882B2 (en) | Focusing position adjustment device, focusing position adjustment system, program, and focusing position adjustment method | |
JP6737212B2 (ja) | 運転者状態推定装置、及び運転者状態推定方法 | |
JP2011089784A (ja) | 物体方向推定装置 | |
KR101720679B1 (ko) | 광계카메라를 이용한 차선 인식 시스템 및 방법 | |
JP2005296382A (ja) | 視線検出装置 | |
JP6477348B2 (ja) | 自己位置推定装置及び自己位置推定方法 | |
JP5396298B2 (ja) | 顔向き検知装置 | |
JP2019142714A (ja) | フォークリフト用の画像処理装置 | |
JP5018652B2 (ja) | 物体存在判定装置 | |
JP4451195B2 (ja) | 視線検出装置 | |
JP2009193130A (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
JP2011118588A (ja) | マスク着用判定装置 | |
JP2007236668A (ja) | 撮影装置および認証装置ならびに撮影方法 | |
JP6169446B2 (ja) | 視線検出装置 | |
JP6072508B2 (ja) | 路面段差検出方法、路面段差検出装置、路面段差検出装置を備えた車両 | |
JP6597467B2 (ja) | 顔向き計測装置 | |
JP4376685B2 (ja) | 視線検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130919 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131001 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5396287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |