JP2018106288A - 撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体 - Google Patents

Abstract

【課題】被写体の姿勢の自由度が高い状況において被写体と撮像部との間に反射による虚像を結ぶ反射体があるか否かを推定する、改善された撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体を提供する。【解決手段】本開示の一態様に係る撮像状態検出装置は、被写体を撮像する複数の撮像部から取得した画像から、被写体の複数の対象特徴点を検出する制御部と、複数の対象特徴点に基づいて、被写体に関する情報を出力する出力部と、を備え、制御部は、複数の撮像部の位置に基づく基準点から複数の対象特徴点までの距離を推定し、距離の分布に基づいて、反射による虚像を結ぶ反射体が複数の撮像部と被写体との間にあるか否かを推定する。【選択図】図２

Description

本開示は、撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体に関する。

近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する車載映像表示システムの１つとして、ステレオカメラが撮像した画像（ステレオ画像）を画像処理することにより運転手の顔の向きや視線等の状態を検出し、検出された状態に基づいて、運転手が居眠りしていると判定した場合に警告を行う警告システムがある。

運転手が眼鏡を装着している場合のシステムとして、特許文献１に記載の技術が開示されている。特許文献１に記載の技術は、左右カメラにより対象者の顔を撮影した画像から対象者の瞳孔の候補となる１以上の画像内候補点を抽出し、３次元空間内の同一点に対応する画像内候補点の組合せについて、当該組合せに対応する点を空間内候補点として抽出し、抽出された空間内候補点から２個の空間内候補点の対を選択し、選択された対の間の距離を複数の対について算出し、算出された距離が所定範囲内にない空間内候補点の対を除外し、除外されなかった対の中から一以上の空間内候補点の対を決定し、その位置に対象者の瞳孔の対が存在すると決定する。

国際公開第２０１３／１７６２６５号

しかしながら、特許文献１に記載の技術では、瞳孔の位置検出において改善の余地がある。

本開示の目的は、改善された撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体を提供することである。

本開示の一態様に係る撮像状態検出装置は、被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する制御部と、前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する出力部と、を備え、前記制御部は、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、反射による虚像を結ぶ反射体が前記複数の撮像部と前記被写体との間にあるか否かを推定する、構成を採る。

本開示の一態様に係る撮像状態検出方法は、被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、を備え、前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、構成を採る。

本開示の一態様に係るプログラムは、撮像状態検出装置が備えるコンピュータに、被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、を実行させ、前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、構成を採る。

本開示の一態様に係る非一時的記録媒体は、コンピュータ読み取り可能なプログラムを記録した非一時的記録媒体であって、撮像状態検出装置が備えるコンピュータに、被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、を実行させ、前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、プログラムを記録する構成を採る。

本開示によれば、被写体の姿勢の自由度が高い状況において被写体と撮像部との間に反射による虚像を結ぶ反射体があるか否かを推定する、改善された撮像状態検出装置、撮像状態検出方法、プログラム、および非一時的記録媒体を提供することができる。

眼鏡のレンズによる反射虚像の説明図である。 第１の実施の形態に係る撮像状態検出装置の構成図である。 第１の実施の形態に係る撮像状態検出装置の動作の一例を示すフローチャートである。 第１の実施の形態に係る特徴点の一例である。 第１の実施の形態に係る距離推定範囲の一例である。 第１の実施の形態に係る推定された顔平面の説明図である。 図３のステップＳ６の処理内容の一例を示すフローチャートである。 第１の実施の形態に係る距離の度数分布の説明図である。 コンピュータのハードウェア構成の一例を示す図である。

以下、本開示の実施の形態について、図面を参照して詳細に説明する。

（発明者が本開示に至った経緯）
運転手の顔の向きや視線等の状態を検出する画像処理としては、例えば、ステレオ画像から、被写体である乗員の顔の特徴点を抽出し、顔の三次元モデルを生成し、生成した三次元モデルに基づいて、顔の向きを検出する方式（顔向き検出方式）が知られている。他に、例えば、ステレオ画像から、被写体の瞳孔、目頭、および目尻の三次元位置を推定し、目頭および目尻の三次元位置から推定した顔の中心を通る中心平面と瞳孔との位置関係に基づいて、視線の方向を検出する方式（視線検出方式）が知られている。

運転手が眼鏡を装着している場合、外界からの光が眼鏡のレンズの表面で反射する。その結果、ステレオ画像にも、反射による虚像（反射虚像）が含まれてしまう。図１は、眼鏡のレンズＬによる反射虚像の説明図である。ステレオカメラを構成する第１の撮像部２−１および第２の撮像部２−２が、眼鏡のレンズＬに反射された物体Ｐの反射虚像Ｐ’を撮像している。反射虚像Ｐ’を含むステレオ画像に対して、ステレオ測距を用いて反射虚像Ｐ’の位置を推定すると、図１に示されるように、眼鏡のレンズＬよりも数センチ奥の位置が、反射虚像Ｐ’に対応する部分の位置として推定されてしまう。

このような反射虚像を含むステレオ画像に対して、上述の顔向き検出方式や視線検出方式により顔の向きや視線の方向を推定すると、反射虚像が目の特徴点であると誤って識別された結果、誤った位置に目の特徴点があると判定され、誤った顔の向きや誤った視線の方向が検出される問題がある。

運転手が眼鏡を装着している場合への対策として、特許文献１に記載の技術が開示されているが、一般に、例えば、ハンドル位置の変更、シート位置の変更等の運転環境の変化に応じて、運転手の頭の位置は、様々に変化する。また、運転手の体格や姿勢に応じても、運転手の頭の位置は、様々に変化する。さらに、運転手の顔の向きに応じても、運転手の頭の位置は、様々に変化する。そのような場合、特許文献１に記載の構成において、瞳孔の位置が所定の範囲に入らない結果、瞳孔の位置を検出できないという問題がある。

本件発明者は当該問題を基盤に、本開示の内容を想起するに至った。

（第１の実施の形態）
図２は、第１の実施の形態に係る撮像状態検出装置１の構成図である。撮像状態検出装置１は、第１の撮像部２−１と、第２の撮像部２−２と、制御部３と、出力部１０とを備える。

第１の撮像部２−１および第２の撮像部２−２は、異なる位置から同一の被写体を撮像し、複数の撮像画像を画像データとして取得する。一例において、第１の撮像部２−１および第２の撮像部２−２は、ステレオ画像を撮像するステレオカメラの右側カメラおよび左側カメラである。一例において、被写体は、乗員（例えば運転手）の顔である。

制御部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、制御部３の各ブロックの動作を集中制御する。制御部３は、特徴点検出部４、距離推定部５、反射判定部６、反射部位検出部７、特徴点選択部８、および出力生成部９として機能する。

特徴点検出部４は、複数の撮像画像に基づいて、被写体の複数の対象特徴点を検出する。ここで、対象特徴点とは、被写体の有する特徴点のうち、撮像状態検出装置１の出力部１０が出力する被写体に関する情報を生成するために必要とされる特徴点である。例えば、対象特徴点は、ほお、目頭、目尻、瞳孔、眉頭、眉尻、鼻頂点、唇の端点である。一例において、特徴点検出部４は、複数の撮像画像に対して、ブロックマッチング、端点検出等の公知の画像処理を実行する画像処理エンジンである。

距離推定部５は、第１の撮像部２−１および第２の撮像部２−２の位置に応じて決定される基準点から対象特徴点までの距離を推定する。一例において、基準点は、第１の撮像部２−１または第２の撮像部２−２のレンズの焦点である。他の一例において、第１の撮像部２−１および第２の撮像部２−２のレンズの焦点の中点である。一例において、距離推定部５は、被写体の同一の特徴点に対応する、複数の撮像画像のそれぞれにおける複数の画素の位置に基づいて、基準点から特徴点までの距離を、公知のステレオ測距技術を用いて推定するステレオ測距エンジンである。

一例において、対象特徴点が目頭、目尻、および眉頭を含む場合、距離推定部５は、目頭、目尻、および眉頭の撮像画像における位置に基づいて、距離推定部５が距離を推定する対象特徴点を検出する範囲（距離推定範囲）を設定する。具体的な処理内容については、後述する。

反射判定部６は、距離推定部５が推定した距離の分布に基づいて、反射による虚像（反射虚像）を結ぶ反射体が、第１の撮像部２−１および第２の撮像部２−２と被写体との間にあるか否かを判定する。

図１を参照して上述したことから明らかであるように、特徴点検出部４が反射虚像から検出した対象特徴点に対して、被写体までの距離よりも大きい距離を距離推定部５が推定することが想定される。その結果、反射体が存在する場合、反射体が存在しない場合と比較して、距離推定部５が推定した距離の分散値が大きくなることが想定される。

そこで、一例において、反射判定部６は、距離推定部５が推定した距離の分散値に基づいて、反射体があるか否かを判定する。例えば、反射体が存在する場合の距離の分散値と存在しない場合の距離の分散値を予め実験により計測し、計測した分散値に基づいて閾値を予め定める。反射判定部６は、距離推定部５が推定した距離の分散値が、予め定められた閾値よりも大きい場合、反射体があると判定する。他の一例において、反射判定部６は、距離推定部５が推定した距離の度数分布（ヒストグラム）が複数の山を構成すると判定した場合、反射体があると判定する。一例において、反射体は、眼鏡のレンズである。

反射部位検出部７は、特徴点検出部４が検出した複数の対象特徴点から、有効特徴点および無効特徴点を検出する。ここで、無効特徴点は、複数の対象特徴点のうち、反射体が生成する虚像から検出された対象特徴点であり、有効特徴点は、無効特徴点以外の対象特徴点である。一例において、反射部位検出部７は、反射判定部６によって反射体があると判定された場合に、無効特徴点および有効特徴点を検出する。

一例において、反射部位検出部７は、距離推定部５が推定した距離の分布に基づいて第１の基準距離を設定する。ここで、第１の基準距離は、例えば、距離推定部５が推定した距離のうち、値が最小のものからＮ％の個数の対象特徴点が含まれる距離（Ｎ％ｉｌｅ）として定められる。

被写体が顔であり、第１の基準距離によって特徴付けられる顔の標準位置がほおの位置に対応する場合、第１の基準距離に、所定のマージン（例えば、３ｃｍ）を加えたものを、新たに第１の基準距離として設定してもよい。これにより、目の特徴点や眉の特徴点を、有効特徴点として検出することができる。所定のマージンを加えることに代えて、所定の割合を規定するＮの値を（例えば、Ｎ＝２５に）増加させてもよい。次いで、反射部位検出部７は、第１の基準距離より大きい距離を有する対象特徴点を無効特徴点として検出し、第１の基準距離以下の距離を有する対象特徴点を、有効特徴点として検出する。

一般に、夜間においても車両の乗員の状態を検出するために、夜間に近赤外光を発光し、反射された近赤外光を受光する近赤外光センサが車内に設けられることがある。その場合、乗員が装着する眼鏡のレンズにおいて、近赤外光が反射する。そこで、一例において、反射部位検出部７は、距離推定部５が推定した距離の分布に基づいて第２の基準距離を設定する。ここで、第２の基準距離は、第1の基準距離と同様、例えば、距離推定部５が推定した距離のうち、値が最小のものからＮ％の個数の対象特徴点が含まれる距離（Ｎ％ｉｌｅ）として定められる。一例において、有効特徴点として抽出された点の中央値の距離から、目と眼鏡レンズ間の距離（たとえば１ｃｍ）と所定のマージン（たとえば２ｃｍ）を減算した距離を第２の基準距離として設定してもよい。または所定のマージンを加えることに代えて、所定の割合を規定するＮの値を（例えば、Ｎ＝５に）設定してもよい。次いで、反射部位検出部７は、第２の基準距離より小さい距離を有する対象特徴点を、無効特徴点として検出する。こうすると、乗員が近赤外光センサの方を向き、乗員が装着する眼鏡のレンズが近赤外光を反射するときであっても、測距に対する反射の影響を抑制することができる。

特徴点選択部８は、反射部位検出部７が検出した有効特徴点から、被写体に関する情報を生成するのに必要となる特徴点を選択する。被写体が顔である場合、特徴点選択部８は、有効特徴点から、例えば、ほお、目頭、目尻、瞳孔、眉頭、眉尻、鼻頂点、唇の端点の少なくとも１つを選択する。

出力生成部９は、特徴点選択部８が選択した有効特徴点に基づいて、被写体に関する情報を生成する。一例において、被写体が顔である場合、出力生成部９は、有効特徴点に基づいて、顔に対応する顔平面および顔平面の向きを推定し、向きを被写体に関する情報として生成する。

一例において、特徴点選択部８が目の特徴点および鼻の特徴点を有効特徴点として選択した場合、出力生成部９は、目の特徴点および鼻の特徴点の三次元座標を決定し、目の特徴点の三次元座標を顔平面に射影した点と、鼻の特徴点の三次元座標とに基づき、顔の向きを推定する。ここで、出力生成部９は、一例において、顔の特徴点である有効特徴点からの距離の総和が最小である平面を、例えば最小二乗法などの公知の方法を用いて、顔の表面を近似する顔平面として求める。目の特徴点は、例えば、目頭および目尻である。鼻の特徴点は、例えば鼻頂点である。

一例において、特徴点選択部８が、眉の特徴点および鼻の特徴点を有効特徴点として選択した場合、出力生成部９は、目の特徴点および鼻の特徴点の三次元座標を決定し、眉の特徴点の三次元座標を前記顔平面に射影した点と、鼻の特徴点の三次元座標に基づき、顔の向きを推定する。眉の特徴点は、例えば、眉頭である。

一例において、特徴点選択部８が、目頭、目尻、および瞳孔を有効特徴点として選択した場合、出力生成部９は、目頭、目尻、および瞳孔の三次元座標を決定し、目頭、目尻、および瞳孔の三次元座標に基づき、乗員の視線の向きを推定する。例えば、目頭および目尻の中点（目中点）と瞳孔との位置関係に基づいて、乗員の視線の向きが推定される。

出力部１０は、出力生成部９が生成した被写体に関する情報を出力する。一例において、出力部１０は、車両が備える電子ミラーシステムの表示装置である。例えば、出力部１０は、推定された顔の向きを表す角度を数値として表示する。他の一例において、出力部１０は、顔の画像に、推定された顔の向きを表す法線ベクトルの画像を重畳して表示する。

図３は、第１の実施の形態に係る撮像状態検出装置１の動作の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、撮像状態検出装置１のＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。以下においては、簡単のために、被写体を乗員の顔とし、反射体を眼鏡のレンズとして説明するが、乗員の顔以外の被写体および眼鏡のレンズ以外の反射体についても同様である。

ステップＳ１において、第１の撮像部２−１および第２の撮像部２−２が乗員の顔を撮像する。ここで、第１の撮像部２−１および第２の撮像部２−２は、異なる位置から同一の被写体を撮像する。第１の撮像部２−１および第２の撮像部２−２は、それぞれ、撮像素子からの電気信号に対してノイズ除去、利得制御、およびアナログ／デジタル変換などの処理を行い、それぞれ、第１の画像および第２の画像を、画像データとして取得する。

ステップＳ２において、制御部３は、第１の画像および第２の画像を用いて、被写体に含まれる対象特徴点を検出する（特徴部検出部４としての処理）。例えば、特徴点検出部４は、対象特徴点に対応する、第１の画像および第２の画像に含まれる画素の位置を検出する。

図４は、第１の実施の形態に係る特徴点の一例である。特徴点は、例えば、眉頭Ｐ１Ｌ，Ｐ１Ｒ、目尻Ｐ２Ｌ，Ｐ２Ｒ、目頭Ｐ３Ｌ，Ｐ３Ｒ、鼻の頂点Ｐ４である。これらの特徴点は、いずれも顔の部位の端部もしくは縁部に位置し、特徴点周囲におけるコントラストの変化が大きいので、エッジ検出、パターンマッチング、ブロックマッチング等の公知の画像処理を用いて検出することができる。

一例において、特徴点検出部４は、対象特徴点に対応する、第１の画像および第２の画像に含まれる画素の位置を、エッジ検出処理やパターンマッチング等の公知の画像処理を用いて、画像毎に個別に検出する。他の一例において、特徴点検出部４は、第１の画像と第２の画像とをブロックマッチングさせることにより、対象特徴点に対応する画素の位置を検出してもよい。

ステップＳ３において、制御部３は、距離推定範囲を設定する（距離推定部５としての処理）。例えば、距離推定部５は、顔の目頭、目尻、眉頭に対応する、第１の画像または第２に含まれる画素の位置から顔部位を抽出し、抽出された顔部位を含む所定の範囲を距離推定範囲として設定する。例えば、距離推定範囲の縦の長さが目頭の位置から眉頭の位置までの長さの３倍である。また、距離推定範囲の横の範囲は目頭の位置から目尻の位置までである。

図５は、第１の実施の形態に係る距離推定範囲の一例である。図５に示される例においては、距離推定範囲Ｆ１は、目中心Ｐ５を中心とする範囲である。距離推定範囲Ｆ１は、縦の長さが目頭の位置Ｐ３Ｌから眉頭の位置Ｐ１Ｌまでの長さの３倍である。また、距離推定範囲Ｆ１の横の範囲は目頭の位置Ｐ３Ｌから目尻の位置Ｐ２Ｌまでである。

ステップＳ４において、制御部３は、距離推定範囲に含まれる対象特徴点までの距離を推定する（距離推定部５としての処理）。一例において、距離推定部５は、特徴点検出部４によって検出された対象特徴点に対応する画素の位置に基づいて、例えば、公知のステレオ測距の技法を用いることにより、距離推定範囲に含まれる対象特徴点を三次元測距する。

ステップＳ５において、制御部３は、第１の画像または第２の画像に、虚像による反射（反射部位）が含まれるか否かを判定する（反射判定部６としての処理）。

一例において、反射判定部６は、推定された対象特徴点の距離の分散値が、予め定められた閾値よりも大きい場合、第１の画像および第２の画像に反射部位が含まれると判定する。他の一例において、反射判定部６は、推定された対象特徴点の距離の度数分布が、複数の山を構成すると判定した場合、第１の画像および第２の画像に反射部位が含まれると判定する。反射部位があると判定した場合（ステップＳ５：Ｙｅｓ）、ステップＳ６に進む。一方、反射部位がないと判定した場合（ステップＳ５：Ｎｏ）、ステップＳ８に進む。

ステップＳ６において、制御部３は、反射部位を検出する（反射部位検出部７としての処理）。ステップＳ６の処理内容の詳細については、図７を参照して後述する。

ステップＳ７において、制御部３は、検出された反射部位にある対象特徴点を無効特徴点として除外する（反射部位検出部７としての処理）。

ステップＳ８において、制御部３は、除外されなかった有効特徴点から、被写体に関する情報を生成するのに必要な特徴点を選択する（特徴点選択部８としての処理）。例えば、特徴点選択部８は、距離が推定された対象特徴点のうち、顔の向きを推定するのに必要な有効特徴点を、必要な特徴点として選択する。一例において、第１の画像および第２の画像に反射部位が含まれないと反射判定部６が判定した場合、特徴点検出部８は、特徴部検出部４が検出した対象特徴点の中から、顔の向きを推定するのに必要な特徴点を選択する。

ステップＳ９において、制御部３は、選択された特徴点から顔の向きを推定することができるか否かを判定する（出力生成部９としての処理）。例えば、選択された特徴点に、目頭、目尻等の特徴点が含まれない場合も想定できる。その場合は、目頭、目尻を用いて顔の向きを推定することはできない。一例において、選択された特徴点に、目頭、目尻等の特徴点が含まれない場合、眉頭、鼻頂点等の他の選択された特徴点を用いて、顔の向きを推定することができるか否かを判定する。

顔の向きを推定することができると判定した場合（ステップＳ９：Ｙｅｓ）、ステップＳ１０に進む。ステップＳ１０において、出力部１０は、選択された特徴点および／または推定された顔の向きを、顔に関する情報として出力する。一例において、出力生成部９は、選択された特徴点の三次元座標との距離の和が最小となる平面を顔平面として推定し、出力部１０は、推定された顔平面の向きを顔の向きを出力する。

一方、顔の向きを推定することができないと判定した場合（ステップＳ９：Ｎｏ）、ステップＳ１１に進む。ステップＳ１１において、出力部１０は、選択された特徴点を出力する。

図６は、第１の実施の形態に係る推定された顔平面Ｈの説明図である。顔平面Ｈは、特徴点ＰＬ，ＰＲを含む、複数の選択された特徴点から推定された面である。この場合、また、法線ベクトルｎは、推定された顔平面Ｈから推定された顔の向きを示している。

一例において、出力部１０は、第１の画像または第２の画像に、推定された顔の向きを表す角度を数値として重畳して出力する。他の一例において、出力部１０は、第１の画像または第２の画像に、推定された顔平面と推定された顔の向きを表す法線ベクトルとの画像を重畳して出力する。

図７は、図３のステップＳ６の処理内容の一例を示すフローチャートである。

ステップＳ２１において、制御部３は、距離の度数分布を算出する（反射部位検出部７としての処理）。一例において、反射部位検出部７は、距離推定範囲に含まれる距離が推定された全ての対象特徴点を、距離でソートすることにより、距離の度数分布を算出する。

図８は、第１の実施の形態に係る距離の度数分布の説明図である。図８に示される度数分布において、横軸が距離を示し、縦軸が度数を示す。図１を参照して上述したように、第１の撮像部２−１および第２の撮像部２−２から反射虚像Ｐ’までの見かけの距離は、反射体Ｌまでの距離と比較して大きくなる。したがって、反射虚像Ｐ’により生成される度数分布Ｄ２は、それ以外の実像により生成される度数分布Ｄ１よりも、全体として右にずれた度数分布を構成する。

ステップＳ２２において、制御部３は、第１の基準距離を設定する（反射部位検出部７としての処理）。一例において、第１の基準距離は、顔の基準位置に応じて決められる距離である。例えば、第１の基準距離は、推定された対象特徴点の距離のうち、値が最小のものからＮ％の個数の対象特徴点が含まれる距離（Ｎ％ｉｌｅ）である。図８は、Ｎ＝２０の場合の第１の基準距離Ｔを一例として示しているが、Ｎの値はこれに限られない。

ステップＳ２３において、制御部３は、設定された基準距離に基づいて反射部位を検出する（反射部位検出部７としての処理）。一例において、反射部位検出部７は、対象特徴点のうち、推定された距離が第１の基準距離Ｔ以上である対象特徴点（図８において矢印Ｒで示される範囲に含まれる対象特徴点）を、反射部位に対応する対象特徴点として検出する。

このように、第１の実施の形態に係る撮像状態検出装置１は、被写体を撮像する複数の撮像部２−１，２−２から取得した画像から、被写体の複数の対象特徴点を検出する制御部３と、複数の対象特徴点に基づいて、被写体に関する情報を出力する出力部１０と、を備え、制御部３は、複数の撮像部２−１，２−２の位置に基づく基準点から複数の対象特徴点までの距離を推定し、距離の分布に基づいて、反射による虚像を結ぶ反射体が複数の撮像部２−１，２−２と被写体との間にあるか否かを判定する構成を採る。

第１の実施の形態に係る撮像状態検出装置１によれば、運転手の頭の位置が運転手の体格および姿勢やシートの状況等に応じて変化する場合であっても、より正確に視線の向きや顔の向きを検出することができる。さらに、撮像画像において、目の特徴点と眼鏡のレンズによる反射虚像とが重複する場合であっても、より正確に視線の向きや顔の向きを検出することができる。したがって、姿勢の自由度が高い環境であっても、運転手が眼鏡を装着している場合であっても、検出する視線の向きや顔の向きのバラツキが小さくなり、視認方向を用いた、脇見検出、眠気防止等のアプリケーションの動作安定性が向上する。

図９は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。

図９に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。

（その他の実施の形態）
第１の実施の形態においては、複数の撮像部が、第１の撮像部２−１および第２の撮像部２−２の２つの撮像部で構成されている。これに代えて、複数の撮像部が、３つ以上の撮像部から構成される実施の形態も考えられる。この場合、複数の撮像部から、反射虚像による影響の最も少ない２つの撮像部の撮像画像に基づいて、視線の向きや顔の向きを判定してもよい。

第１の実施の形態においては、出力部１０は、車両が備える電子ミラーシステムの表示装置である。これに加えて、またはこれに代えて、出力部１０がスピーカを備え、出力生成部９が検出した顔の向きが下向き（鉛直下方向ベクトルと検出した顔の向きとのなす角度が所定の範囲内）である時間が所定の時間継続した場合、運転手が居眠りをしていると出力生成部９が判定し、出力部１０に警告音を発声させる実施の形態も考えられる。

本開示に係る撮像状態検出装置は、車両の運転手の状態を監視する監視システムに適用されるのに好適である。

１ 撮像状態検出装置
２−１ 第１の撮像部
２−２ 第２の撮像部
３ 制御部
４ 特徴点検出部
５ 距離推定部
６ 反射判定部
７ 反射部位検出部
８ 特徴点選択部
９ 出力生成部
１０ 出力部

Claims (14)

1. 被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する制御部と、
   前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する出力部と、
   を備え、
   前記制御部は、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、反射による虚像を結ぶ反射体が前記複数の撮像部と前記被写体との間にあるか否かを判定する、撮像状態検出装置。
2. 前記制御部は、前記反射体があると推定した場合、前記距離の分布に基づいて第１の基準距離を設定し、前記複数の対象特徴点のうち、前記第１の基準距離より大きい前記距離を有する特徴点を、前記虚像に対応する無効特徴点として検出し、前記第１の基準距離以下の前記距離を有する特徴点を、前記虚像に対応しない有効特徴点として検出する、請求項１に記載の撮像状態検出装置。
3. 前記被写体が顔であり、前記反射体が眼鏡のレンズである、請求項２に記載の撮像状態検出装置。
4. 前記複数の対象特徴点が、目頭、目尻、および眉頭を含む場合、
   前記制御部は、前記目頭、前記目尻、および前記眉頭の、前記画像における位置に基づいて、前記距離を推定する前記複数の対象特徴点を検出する範囲を設定する、請求項３に記載の撮像状態検出装置。
5. 前記制御部は、前記有効特徴点に基づいて、前記顔に対応する顔平面および前記顔平面の向きを推定し、前記向きを前記被写体に関する情報として生成する、
   請求項３または４に記載の撮像状態検出装置。
6. 前記有効特徴点が、目の特徴点および鼻の特徴点を含む場合、
   前記制御部は、前記目の特徴点および前記鼻の特徴点の三次元座標を決定し、前記目の特徴点の三次元座標を前記顔平面に射影した点と、前記鼻の特徴点の三次元座標とに基づき、前記向きを推定する、請求項５に記載の撮像状態検出装置。
7. 前記目の特徴点が目頭および目尻であり、前記鼻の特徴点が鼻頂点である、請求項６に記載の撮像状態検出装置。
8. 前記有効特徴点が、眉の特徴点および鼻の特徴点を含む場合、
   前記制御部は、前記目の特徴点および前記鼻の特徴点の三次元座標を決定し、前記眉の特徴点の三次元座標を前記顔平面に射影した点と、前記鼻の特徴点の三次元座標に基づき、前記向きを推定する、請求項５から７に記載の撮像状態検出装置。
9. 前記眉の特徴点が眉頭であり、前記鼻の特徴点が鼻頂点である、請求項８に記載の撮像状態検出装置。
10. 前記有効特徴点が、目頭、目尻、および瞳孔を含む場合、
    前記制御部は、前記目頭、前記目尻、および前記瞳孔の三次元座標を決定し、前記目頭、前記目尻、および前記瞳孔の三次元座標に基づき、前記乗員の視線の向きを推定する、請求項３から９のいずれかに記載の撮像状態検出装置。
11. 前記制御部は、前記距離の分布に基づいて第２の基準距離を設定し、前記複数の対象特徴点のうち、前記第２の基準距離より小さい前記距離を有する特徴点を、無効特徴点として検出する、請求項１に記載の撮像状態検出装置。
12. 被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、
    前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、
    を備え、
    前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、撮像状態検出方法。
13. 撮像状態検出装置が備えるコンピュータに、
    被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、
    前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、
    を実行させ、
    前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、プログラム。
14. コンピュータ読み取り可能なプログラムを記録した非一時的記録媒体であって、
    撮像状態検出装置が備えるコンピュータに、
    被写体を撮像する複数の撮像部から取得した画像から、前記被写体の複数の対象特徴点を検出する第１のステップと、
    前記複数の対象特徴点に基づいて、前記被写体に関する情報を出力する第２のステップと、
    を実行させ、
    前記第１のステップは、前記複数の撮像部の位置に基づく基準点から前記複数の対象特徴点までの距離を推定し、前記距離の分布に基づいて、前記複数の撮像部と前記被写体との間に反射による虚像を結ぶ反射体があるか否かを推定するステップを備える、プログラムを記録した非一時的記録媒体。
    

Images