JP2010129050A - 顔向き検出装置 - Google Patents

Abstract

【課題】 １つの画像から各スリット光と照射角度とを特定できる顔向き検出装置を提供する。
【解決手段】 顔向き検出装置１は、運転者の顔位置に、隣接するスリット光に対する太さの比率を他のスリット光と異ならせた基準スリットを含む複数のスリット光を照射する複数スリット光源２と、運転者の顔位置を撮像するカメラ３と、撮像したスリット光画像から基準スリット光を抽出し、基準スリット光を基準として各スリット光が複数スリット光源２からどの角度で照射されたスリット光であるのかを特定し、光切断法により運転者の顔の向きを判定する制御部４と、を備えた。
【選択図】 図１

Description

本発明は、格子パターン投影法を用いた顔向き検出装置の技術分野に属する。

従来の格子パターン投影法では、複数のスリット光を非計測物体に投影したときの非計測物体の画像と、スリット光のスリットパターンの一部の明暗を反転させて非計測物体に投影したときの非計測物体の画像とを比較することで、各スリット光と照射角度とを特定している。上記説明の技術に関する一例は、例えば、特許文献１に記載されている。
特開２００４−３２５０９６号公報

しかしながら、上記従来技術にあっては、スリットパターンの一部の明暗を反転させた２つの画像を取得する必要がある。特に車両の警報用として運転者の顔向きを検出する場合、顔位置を早期に検出するためには、1つの画像から各スリット光と照射角度とを特定することが望まれる。

本発明の目的は、１つの画像から各スリット光と照射角度とを特定できる顔向き検出装置を提供することにある。

本発明では、画像に含まれる基準スリット光を基準として各スリット光が照射手段からどの角度で照射されたスリット光であるのかを特定し、光切断法により運転者の顔の向きを判定する。

よって、本発明にあっては、１つの画像から各スリット光と照射角度とを特定できる。

以下、本発明の顔向き検出装置を実施するための最良の形態を、図面に基づく実施例により説明する。

図１は、実施例１の顔向き検出装置１の概要を示す図であり、顔向き検出装置１は、複数スリット光源（照射手段）２と、カメラ（撮像手段）３と、制御部（顔向き判定手段）４と、状態判定ユニット５とを主要な構成とする。

複数スリット光源２は、光源２ａと回折光学素子２ｂとを有し、光源２ａの発した光を回折光学素子２ｂによって回折させ、運転者の顔６に上下方向で照射角度の異なる複数のスリット光７を投影する。

図１では、紙面の都合上スリット光７を実線で示しているが、実際はスリット光が照射される部分は明るく、他の部分は暗くなる。また、スリット光７は４本のみ図示しているが、運転者の個体差による顔の位置のずれを考慮し、例えば、上下方向に20本程度のスリット光を照射している。

複数スリット光源２は、車室内であって、運転者の顔６の全体にスリット光７を投影可能な位置に配置している。
なお、光源２ａとしては、例えば、近赤外線波長のスリットレーザー等（近赤外線レーザダイオード）を用いることができる。

カメラ３は、運転者の顔６に投影されたスリット光７の反射光を撮像するもので、顔６の全体を撮像可能、かつ、光軸が複数スリット光源２の光軸と異なる角度となる位置（例えば、ステアリングコラム上部やインストルメントパネル上部等）に配置している。
カメラ３としては、例えば、近赤外線カメラとバンドパスフィルタとの組み合わせが好ましい。外光の影響を受けにくいからである。

制御部４は、カメラ４の撮像した画像（以下、スリット光画像）から運転者の顔６の向き（上下左右）を判定する。制御部４の詳細については後述する。

状態判定ユニット５は、制御部４により判定した運転者の顔６の向きに応じて、運転者の状態を判定し、運転者の状態に応じた処理を行う。例えば、顔６が所定時間下を向いている場合には、運転者が居眠りをしていると判定し、警報を発する。また、顔６が所定時間横を向いている場合には、運転者がよそ見をしていると判定し、警報を発する。なお、警報を発した後も運転者の顔の向きが変わらない（運転者が前方を見ない）場合には、車両を減速させる制御を実施してもよい。

次に、制御部４の詳細について説明する。
図２は、実施例１の制御部４の詳細を示すブロック図であり、制御部４は、画像入力部４ａと、タイミング制御部４ｂと、画像処理部４ｃと、対応付け処理部４ｄと、３次元データ／距離算出部４ｅと、顔形状／顔角度算定部４ｆと、顔角度出力部４ｇとを備える。

画像入力部４ａは、カメラ３により撮像したスリット光画像を取り込み、記憶する。
タイミング制御部４ｂは、光源２ａの発光タイミングとカメラ３のシャッタータイミングとを同期させる。

画像処理部４ｃは、画像入力部４ａに取り込んだスリット光画像に対し、各スリット光（実際は各スリット光が顔６により反射した反射光）を検出し、各スリット光の中から基準スリット光を抽出する。
ここで、基準スリット光とは、他のスリット光と形状の異なるスリット光であり、複数のスリット光の略中央に配置している。実施例１では、基準スリット光の太さ（上下方向幅）を他のスリット光よりも太く設定している。画像処理部４ｃでは、基準スリット光からのスリット光の本数（ライン）をカウントすることで、各スリット光を特定する。

対応付け処理部４ｄは、画像処理部４ｃにより特定した各スリット光と照射角度との対応付けを行う。つまり、各スリット光が複数スリット光源２からどの角度で照射したスリット光であるのかを特定する。

３次元データ／距離算出部４ｅは、対応付け処理部４ｄにより対応付けした各スリット光と照射角度とに基づいて、カメラ３の光軸と複数スリット光源２の光軸の角度等から、周知の光切断法を用い、スリット光画像内の各スリット光の距離をドット（画素）毎に算出し、３次元データを作成する。

顔形状／顔角度算定部４ｆは、３次元データ／距離算出部４ｅにより作成した３次元データに基づいて、運転者の顔の形状（顔の幅、鼻の位置等）を算定すると共に、顔の形状（鼻の向き等）に基づいて顔の上下左右の角度（顔の向き）を算出する。
顔角度出力部４ｇは、顔形状／顔角度算定部４ｆにより算定した顔の角度を状態判定ユニット５へ出力する。

［顔向き算出処理］
図３は、実施例１の顔向き検出装置１による顔向き算出処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。

ステップS1では、複数スリット光源３において、運転者の顔全体にスリット光を照射し、ステップS2へ移行する。

ステップS2では、タイミング制御部４ｂにおいて、複数スリット光源３の発光タイミングとカメラ３のシャッタータイミングとを同期させてカメラ３によりスリット光画像を撮像すると共に、画像入力部４ａにおいて、スリット光画像を取り込み、ステップS3へ移行する。

ステップS3では、画像処理部４ｃにおいて、スリット光画像に対し、各ドットの輝度から各スリット光の位置および形状を検出するスリット光検出画像処理を行い、ステップS4へ移行する。

ステップS4では、画像処理部４ｃにおいて、検出した各スリット光のうち、他のスリット光よりも幅の太い基準スリット光を抽出し、ステップS5へ移行する。

ステップS5では、画像処理部４ｃにおいて、基準スリット光に基づいて各スリット光の特定を行い、ステップS6へ移行する。各スリット光の特定方法については後述する。

ステップS6では、対応付け処理部４ｄにおいて、各スリット光と照射角度との対応付けを実施し、ステップS7へ移行する。

ステップS7では、３次元データ／距離算出部４ｅにおいて、光切断法を用いてスリット光画像の３次元座標計算を行い、ステップS8へ移行する。

ステップS8では、顔形状／顔角度算定部４ｆにおいて、運転者の顔形状を算定し、ステップS9へ移行する。

ステップS9では、顔形状／顔角度算定部４ｆにおいて、顔形状から顔向きを算出し、本制御を終了する。

次に、作用を説明する。
実施例１の顔向き検出装置１では、他のスリット光と太さの異なる基準スリット光を設定している。基準スリット光と照射角度との関係は、あらかじめわかっているため、スリット光画像内で基準スリット光を抽出すれば、他のスリット光を特定でき、各スリット光と照射角度との関係も、基準スリット光と照射角度との関係から自ずと導き出すことができる。

例えば、スリット光画像において、段差（例えば、鼻の部分）や低反射部分（例えば、頭髪部分）では、図４に示すように、スリット光の縦方向の位置が変わったり、不連続となったりする。このため、同一のスリット光であっても、不連続部分が有る場合、どのスリット光がどの照射角度で照射されたスリット光であるのかを特定できず、光切断法を用いた顔形状の３次元データの生成が困難となる。

なお、図４に示した例では、スリット光画像内で最も上方に位置するスリット光から各スリット光の数をカウントすることで、各スリット光の特定は可能であるようにも見えるが、実際はスリット光画像内にスリット光が映っていない場合もある。つまり、スリット光画像内で最も上（または下）に位置するスリット光は、複数スリット光源２で最も照射角度の大きく（または小さく）したときのスリット光であるとは限らない。よって、場合によっては、顔形状の３次元データを生成できない。

ここで、上記特許文献１には、スリットパターンの一部の明暗を判定させた２つの画像を比較することで、不連続部分のある同一のスリット光を特定する技術が開示されている。ところが、この技術では、２つのスリット光画像を取得し、両画像の差分を比較する処理が必要となるため、画像の取得時間および処理時間が長くなる。このため、顔位置を検出するまでに時間が掛かり、車両の警報用としての実用性に劣る。
また、特許文献１に記載された技術では、スリットパターンの一部の明暗を反転させる機構が必要であるため、複数スリット光源の複雑化によるコストアップを伴う。

これに対し、実施例１の顔向き検出装置１では、他のスリット光よりも太い基準スリット光を設定し、この基準スリット光を基準として各スリット光を特定している。このため、図５に示すように、スリット光に不連続な部分が生じたとしても、基準スリット光からのスリット光の数をカウントするだけで、不連続部分のある同一のスリット光を含め、各スリット光を容易に特定できる。

つまり、実施例１の顔向き検出装置１では、１つのスリット光画像から各スリット光の特定が可能であるため、画像の取得時間を短くできる。また、スリット光画像内の基準スリット光からのライン（スリット光）の数をカウントすることで、各スリット光を特定できるため、画像の処理時間を短くできる。

よって、実施例１の顔向き検出装置１では、運転者の顔の向きを早期に検出できる。顔向きの検出が早いことは、運転者の顔向きから走行中の居眠りやよそ見を判定し、警報を発するシステムにとって有利である。走行中の車両において、運転者の居眠りやよそ見はできるだけ早期に発見するのが好ましいからである。
また、実施例１の顔向き検出装置１では、スリットパターンを変更する必要がないため、スリットパターンを変更する機構が不要である。このため、複数スリット光源を簡略化でき、コストを抑えることができる。

次に、効果を説明する。
実施例１の顔向き検出装置１では、以下の列挙する効果を奏する。

(1) 顔向き検出装置１は、運転者の顔位置に、隣接するスリット光に対する太さの比率を他のスリット光と異ならせた基準スリットを含む複数のスリット光を照射する複数スリット光源２と、運転者の顔位置を撮像するカメラ３と、撮像したスリット光画像から基準スリット光を抽出し、基準スリット光を基準として各スリット光が複数スリット光源２からどの角度で照射されたスリット光であるのかを特定し、光切断法により運転者の顔の向きを判定する制御部４と、を備えた。これにより、１つのスリット光画像から各スリット光と照射角度とを特定できる。

(2) 複数スリット光源２は、基準スリット光の太さを他のスリット光よりも太くするため、基準スリット光を早期に抽出できる。

(3) 複数スリット光源２は、基準スリット光を複数のスリット光の略中央部分に配置するため、運転者の顔の高さにかかわらず、基準スリット光をカメラ３の撮像範囲内に収めることができる。つまり、基準スリット光が撮像範囲から外れて各スリット光の特定が不能となるのを防止できる。

実施例２では、上のスリット光の太さに対する下のスリット光の太さの比率を、全ての上下スリット光の組み合わせで異ならせた例である。なお、実施例１と同一の構成については、同一の符号を付して図示ならびに説明を省略する。

図６は、実施例２の各スリット光の形状の一例である。この例では、20本のスリット光を縦480ドットの画像で撮像した場合、1ラインの間隔を均等にし、最低ドットを3ドットに撮影しようとすると、スリット光の1ライン当たり、24ドットが使用可能であるため、各スリット光の太さを図６(a)のように変更することができる。

図６(a)のように上のスリット光に対する太さの比率を変えた場合、カメラ３により撮像したスリット光画像において、各スリット光の太さは、図６(b)のようなイメージとなる。すなわち、上端および下端に位置するスリット光が最も細く、上下方向中央に進むに従って徐々に太くなる。

［顔向き算出処理］
図７は、実施例２の顔向き検出装置１による顔向き算出処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、図３に示した実施例１の顔向き算出処理と同一処理を行うステップには、同一のステップ番号を付して説明を省略する。

ステップS14では、画像処理部４ｃにおいて、検出した各スリット光の上のスリット光に対する太さの比率を算出し、ステップS15へ移行する。

ステップS15では、画像処理部４ｃにおいて、各スリット光の上のスリット光に対する太さの比率に基づいて、各スリット光の特定を行い、ステップS6へ移行する。

次に、作用を説明する。
実施例２の顔向き検出装置１では、上のスリット光の太さに対する下のスリット光の太さの比率を、全ての上下スリット光の組み合わせで異ならせている。ここで、上のスリット光の太さに対する下のスリット光の太さの比率は、全て固有値であるため、この比率を算出することで、スリット光のライン番号を特定できる。よって、スリット光画像に不連続部分が生じている場合であっても、照射角度との対応付けが特定できる。

また、実施例２では、全ての上下スリット光の組み合わせで比率を異ならせているため、一部のスリット光がスリット光画像に含まれない場合があっても、各スリット光と照射角度との対応付けを特定できる。つまり、任意のスリット光を基準スリット光として他のスリット光を特定できる。

次に、効果を説明する。
実施例２の顔向き検出装置１では、実施例１の効果(1)に加え、以下の効果を奏する。

(4) 複数スリット光源２は、隣接するスリット光に対する太さの比率を全て異ならせた複数のスリット光を照射し、制御部４は、撮像したスリット光画像のスリット毎に隣接するスリット光に対する太さの比率を検出して各スリット光と照射角度とを特定する。これにより、全てのスリット光が基準スリット光となり得るため、対応付けの精度が向上する。

（他の実施例）
以上、本発明の顔向き検出装置を実施するための最良の形態を、実施例に基づいて説明したが、本発明の具体的な構成は実施例に示したものに限定されるものではない。

例えば、実施例２では、上のスリット光の太さに対する下のスリット光の太さの比率を図６(a)のように変える例を示したが、これに限らず、例えば、図８のようにしてもよい。

図８の左は、上のスリット光から順に太くしていく例である。図８の中央は、比率の小さくなる上下方向中央部に多くのドットを割り振るように太さを変更する例である。図８の右は、比率を大きく取るために、2ドットずつ割り付け、中央で折り返すように太さを変更する例である。

実施例１では、基準スリット光を１つとする例を示したが、複数の基準スリット光を設定してもよい。また、基準スリット光を他のスリット光よりも細くしてもよい。さらに、基準スリット光を破線としてもよい。
複数スリット光源とカメラの位置は、両光軸の角度が異なる位置であれば、任意の位置に配置できる。

実施例１の顔向き検出装置１の概要を示す図である。 実施例１の制御部４の詳細を示すブロック図である。 実施例１の顔向き検出装置１による顔向き算出処理の流れを示すフローチャートである。 顔の段差や低反射部分に起因してスリット光の不連続部分が発生することを示すスリット光画像の一例である。 実施例１の基準スリット光によるスリット光特定方法を示すスリット光画像の一例である。 実施例２の各スリット光の形状の一例である。 実施例２の顔向き検出装置１による顔向き算出処理の流れを示すフローチャートで 他の実施例の各スリット光の形状例である。

符号の説明

１ 顔向き検出装置
２ 複数スリット光源（照射手段）
３ カメラ（撮像手段）
４ 制御部（顔向き判定手段）

Claims (4)

1. 運転者の顔位置に、隣接するスリット光に対する太さの比率を他のスリット光と異ならせた基準スリットを含む複数のスリット光を照射する照射手段と、
   運転者の顔位置を撮像する撮像手段と、
   撮像した画像から前記基準スリット光を抽出し、基準スリット光を基準として各スリット光が前記照射手段からどの角度で照射されたスリット光であるのかを特定し、光切断法により運転者の顔の向きを判定する顔向き判定手段と、
   を備えたことを特徴とする顔向き検出装置。
2. 請求項１に記載の顔向き検出装置において、
   前記照射手段は、前記基準スリット光の太さを他のスリット光と異ならせることを特徴とする顔向き検出装置。
3. 請求項１または請求項２に記載の顔向き検出装置において、
   前記照射手段は、前記基準スリット光を複数のスリット光の略中央部分に配置することを特徴とする顔向き検出装置。
4. 請求項１に記載の顔向き検出装置において、
   前記照射手段は、隣接するスリット光に対する太さの比率を全て異ならせた複数のスリット光を照射し、
   前記顔向き判定手段は、撮像した画像のスリット毎に隣接するスリット光に対する太さの比率を検出して各スリット光と照射角度とを特定することを特徴とする顔向き検出装置。

Images