JP2009136551A - 車両用顔特徴量検出装置及び顔特徴量検出方法 - Google Patents

Abstract

【課題】車両の運転者の顔特徴量を精度よく検出することができる車両用顔特徴量検出装置及び顔特徴量検出方法を提供
【解決手段】視線検出装置１は、車両に搭載され、車両の運転席に座っている人ＤＲ１（以下、運転者ＤＲ１という）の顔に向けて近赤外光を照射する近赤外光照射機２と、運転者の顔を撮影するためのカメラ３と、車両の前方窓であるウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像を反射するミラー４と、カメラ３とミラー４との間に配置されて、赤外光の周波数近傍の周波数を有する光のみを通過させるバンドパスフィルタ５と、カメラ３により撮影された画像を用いて運転者の視線を検出するとともに近赤外光照射機２及びカメラ３を制御する制御部６とを備えている。
【選択図】図１

Description

本発明は、車両の運転者の顔特徴量を検出する車両用顔特徴量検出装置及び顔特徴量検出方法に関する。

従来、車両の運転者の運転を支援するために、車両の運転者の顔特徴量を検出する技術が知られている。例えば顔特徴量として視線を検出することにより、車両の走行経路の前方に障害物がある場合において、視線検出結果に基づいて運転者が既に障害物の存在を認識していると判断したときには障害物の存在を報知しないというように、運転者の認知状態に応じた情報提供が可能となる。

なお、車両の運転者の顔特徴量を検出するには、運転者の顔を顔特徴量検出用カメラで撮影する必要がある。図６に示すように、この顔特徴量検出用カメラ１０１は、運転者ＤＲ１１の視界の邪魔とならないように、運転者ＤＲ１１の真正面より下方の位置（例えばインパネ付近）に設置される（例えば、特許文献１を参照）。
特開２００６−９５００８号公報

しかし、顔特徴量検出用カメラが運転者の真正面より下方の位置に設置されると、顔を真正面から撮影することができないために、運転者の顔特徴量を精度よく検出することができないという問題があった。

本発明は、こうした問題に鑑みなされたものであり、車両の運転者の顔特徴量を精度よく検出することができる車両用顔特徴量検出装置及び顔特徴量検出方法を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の車両用顔特徴量検出装置では、光照射手段が、車両の運転者の顔に光を照射し、撮影手段が、照射手段により光が照射されているときにおけるウインドシールドに映った運転者の顔の虚像である運転者顔虚像を撮影する。

このように構成された車両用顔特徴量検出装置によれば、ウインドシールドに映った運転者の顔の虚像を撮影することにより、運転者の真正面に撮影手段を配置しなくても、運転者の顔を真正面からみた像を撮影することができる。このため、運転者の視界の邪魔となることなく、運転者の顔特徴量を精度よく検出することができる。

更に、ウインドシールドは一般に曲面であるので、ウインドシールドに映った運転者の顔の虚像（運転者顔虚像）の大きさは、運転者の実際の顔の大きさよりも大きくなる。つまり、ウインドシールドの拡大レンズ作用により、運転者の顔を大きく撮影することができるので、運転者の顔特徴量を更に精度よく検出することができる。

また請求項１に記載の車両用顔特徴量検出装置では、請求項２〜請求項５に記載のように、顔特徴量として、視線、顔向き、瞬き、表情を検出するようにしてもよい。
ところで、ウインドシールドに映った運転者の顔の虚像（運転者顔虚像）を直接撮影手段で撮影する場合には、ウインドシールド上の運転者顔虚像が映っている箇所の直下に撮影手段を配置しなければならず、撮影手段の設置位置が限定される。

そこで請求項１〜請求項５の何れかに記載の車両用顔特徴量検出装置では、請求項６に記載のように、運転者顔虚像を反射する反射手段を備え、撮影手段は、運転者顔虚像を更に反射手段で反射した像を運転者顔画像として撮影するようにしてもよい。

このように構成された車両用顔特徴量検出装置によれば、反射手段で運転者顔虚像を反射させることにより、ウインドシールド上の運転者顔虚像が映っている箇所の直下以外にも撮影手段を配置することが可能になり、撮影手段の設置位置の自由度を増加させることができる。

また、ウインドシールドは一般に縦方向と横方向とで曲率半径が異なる。このため、ウインドシールド上に映った運転者の顔の虚像（運転者顔虚像）に歪みや非点収差が発生する。

そこで請求項６に記載の車両用顔特徴量検出装置では、請求項７に記載のように、反射手段は、運転者顔虚像を更に反射手段で反射した像が歪みのない像となるように運転者顔虚像を補正して運転者顔虚像を歪ませるようにするとよい。

このように構成された車両用顔特徴量検出装置によれば、撮影手段は運転者の顔を歪みのない状態で撮影することができるので、運転者の顔特徴量を更に精度よく検出することができる。

或いは、請求項１〜請求項６の何れかに記載の車両用顔特徴量検出装置において、請求項８に記載のように、撮影手段のレンズは、運転者顔虚像が歪みのない像となるように運転者顔虚像を補正して運転者顔虚像を歪ませた後に、撮影手段の撮像素子に運転者顔虚像を入射させるようにしてもよい。

このように構成された車両用顔特徴量検出装置によれば、請求項７に記載の車両用顔特徴量検出装置と同様の効果を奏する。
また、光照射手段により可視光が照射されているときの運転者の顔の画像を撮影することにより、運転者の視線を検出することは可能であるが、可視光が運転者の眼に入射すると運転者が眩しいと感じるおそれがある。そこで、請求項１〜請求項８の何れかに記載の車両用顔特徴量検出装置では、請求項９に記載のように、光照射手段が照射する光は、赤外光であることが望ましい。

また請求項９に記載の車両用顔特徴量検出装置では、請求項１０に記載のように、赤外光の波長近傍の波長を有する光のみを透過するバンドパスフィルタを備え、撮影手段は、運転者顔虚像のうち、バンドパスフィルタを透過した像を運転者顔画像として撮影するようにするとよい。

このように構成された車両用顔特徴量検出装置によれば、赤外光付近の波長を有する光のみが撮影手段に入射される。これにより、ウインドシールドに、車外の景色と運転者顔虚像とが重なって映っている場合であっても、ウインドシールドに映っている景色が可視光によるものであるときには、撮影手段は、上記景色が除外された運転者顔虚像を撮影することができる。このため、運転者の顔特徴量を更に精度よく検出することができる。

また請求項１１に記載の顔特徴量検出方法は、車両の運転者の顔の画像である運転者顔画像を撮影し、撮影された運転者顔画像を用いて運転者の顔特徴量を検出する顔特徴量検出方法であって、車両の運転席前方に位置したウインドシールドに映った運転者の顔の虚像である運転者顔虚像を運転者顔画像として撮影することを特徴とする。

このように構成された顔特徴量検出方法は、請求項１に記載の車両用顔特徴量検出装置を実現するものであり、請求項１に記載の車両用顔特徴量検出装置と同様の効果を得ることができる。

また請求項１１に記載の顔特徴量検出方法では、請求項１２に記載のように、運転者顔虚像を更に反射させた像を運転者顔画像として撮影するようにしてもよい。
このように構成された顔特徴量検出方法は、請求項６に記載の車両用顔特徴量検出装置を実現するものであり、請求項６に記載の車両用顔特徴量検出装置と同様の効果を得ることができる。

以下に本発明の実施形態について図面とともに説明する。
図１は本実施形態の視線検出装置１の構成を示す模式図、図２はカメラ３の設置位置を示す図、図３は制御部６の構成を示すブロック図である。

本実施形態の視線検出装置１は、車両に搭載され、図１に示すように、車両の運転席に座っている人ＤＲ１（以下、運転者ＤＲ１という）の顔に向けて近赤外光を照射する近赤外光照射機２と、運転者の顔を撮影するためのカメラ３と、車両の前方窓であるウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像を反射するミラー４と、カメラ３とミラー４との間に配置されて、赤外光の波長近傍の波長を有する光のみを通過させるバンドパスフィルタ５と、カメラ３により撮影された画像を用いて運転者の視線を検出するとともに近赤外光照射機２及びカメラ３を制御する制御部６とを備えている。

なお、運転者ＤＲ１の顔の像がカメラ３に入射するようにするために、例えば図２に示すように、運転者ＤＲ１の眼ＥＹで反射した赤外光（矢印ＲＹ１を参照）がウインドシールドＷＳに入射する角度θ１（以下、入射角度θ１という）と、ウインドシールドＷＳで反射した赤外光（矢印ＲＹ２を参照）がミラー４に入射する角度θ２（以下、入射角度θ２という）とが等しくなるように、即ちウインドシールドＷＳと平行になるように、ミラー４が配置されるとともに、ミラー４で反射した赤外光（矢印ＲＹ３を参照）がカメラ３のレンズ３ａに入射するようにカメラ３が配置される。

またウインドシールドＷＳは、縦方向と横方向とで曲率半径が異なる。このため、ウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像に歪みや非点収差が発生する。そこでミラー４は、ウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像（以下、運転者顔虚像ともいう）を更にミラー４で反射した像が歪みのない像となるように、運転者顔虚像を補正して運転者顔虚像を歪ませるように構成されている。なお、ウインドシールドＷＳの縦方向の曲率半径Ｒｖは横方向の曲率半径Ｒｈに比べて小さい。このためミラー４は、ウインドシールドＷＳの縦方向と横方向の曲率半径の差を打ち消すように、例えば、ミラー４の横方向の曲率半径Ｒｈｍをその縦方向の曲率半径Ｒｖｍに比べて小さくした凹面鏡である。

また制御部６は、所定の処理プログラムに基づいて処理を実行するＣＰＵ１１と、種々の処理プログラムが格納されたＲＯＭ１２と、種々のデータを格納するＲＡＭ１３と、近赤外光照射機２及びカメラ３が接続され、ＣＰＵ１１及びＲＡＭ１３との間で信号及びデータの入出力を行う入出力部１４と、ＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３及び入出力部１４をデータ入出力可能に接続するバス１５とから構成される。

このように構成された視線検出装置１において、制御部６のＣＰＵ１１は、運転者の視線を検出する視線検出処理を実行する。
ここで、視線検出装置１の制御部６のＣＰＵ１１が実行する視線検出処理の手順を、図４を用いて説明する。図４は視線検出処理を示すフローチャートである。この視線検出処理は、制御部６が起動（電源オン）している間に繰り返し実行される処理である。

この視線検出処理が実行されると、制御部６のＣＰＵ１１は、まずＳ１０にて、近赤外光照射機２による近赤外光の照射を停止する。その後Ｓ２０にて、カメラ３による撮影を行う。これにより、図５（ａ）に示すように、ウインドシールドＷＳの上方の景色が写った画像Ｇ１を取得する。図５（ａ）では画像Ｇ１に、上空の雲ＣＬが写っている。

そしてＳ３０にて、近赤外光照射機２による近赤外光の照射を開始する。その後Ｓ４０にて、カメラ３による撮影を行う。これにより、図５（ｂ）に示すように、ウインドシールドＷＳの上方の景色と運転者の顔が写った画像Ｇ２を取得する。図５（ｂ）では画像Ｇ２に、上空の雲ＣＬと運転者の眼ＥＹとが重なって写っている。

更にＳ５０にて、Ｓ２０での撮影で取得された画像Ｇ１と、Ｓ４０での撮影で取得された画像Ｇ２との差分をとる処理を行い、この差分を行った画像Ｇ３（以下、差分画像Ｇ３という）を生成する。これにより、図５（ｃ）に示すように、画像Ｇ２から上空の雲ＣＬが除去された画像を取得する。

その後Ｓ６０にて、Ｓ５０で生成した差分画像Ｇ３を用いて、運転者の眼ＥＹの視線方向を検出し、視線検出処理を終了する。なお本実施形態では、視線方向の検出のために、例えば、「大野健彦著、“眼球形状モデルに基づく視線測定法”、第８回画像センシングシンポジウム pp.307-312、2002」に記載の手法を用いている。

このように構成された視線検出装置１では、近赤外光照射機２が、車両の運転者の顔に近赤外光を照射し、カメラ３が、近赤外光照射機２により近赤外光が照射されているときにおけるウインドシールドＷＳに映った運転者の顔の虚像（以下、運転者顔虚像ともいう）を撮影する。

このように構成された視線検出装置１によれば、ウインドシールドＷＳに映った運転者の顔の虚像を撮影することにより、運転者の真正面にカメラ３を配置しなくても、運転者の顔を真正面からみた像を撮影することができる。このため、運転者の視界の邪魔となることなく、運転者の視線を精度よく検出することができる。

更にウインドシールドＷＳは曲面であるので、ウインドシールドＷＳに映った運転者の顔の虚像（運転者顔虚像）の大きさは、運転者の実際の顔の大きさよりも大きくなる。つまり、ウインドシールドＷＳの拡大レンズ作用により、運転者の顔を大きく撮影することができるので、運転者の視線を更に精度よく検出することができる。

またカメラ３は、運転者顔虚像を更にミラー４で反射した像を撮影する。これにより、ウインドシールドＷＳ上の運転者顔虚像が映っている箇所の直下以外にもカメラ３を配置することが可能になり、カメラ３の設置位置の自由度を増加させることができる。

またミラー４は、ウインドシールドＷＳ上に映った運転者の顔の虚像（運転者顔虚像）を更にミラー４で反射した像が歪みのない像となるように、運転者顔虚像を補正して運転者顔虚像を歪ませるように構成されている。このため、運転者の顔を歪みのない状態で撮影することができるので、運転者の視線を更に精度よく検出することができる。

またバンドパスフィルタ５は、赤外光の波長近傍の波長を有する光のみを通過させる。これにより、ウインドシールドＷＳに、車外の景色と運転者顔虚像とが重なって映っている場合であっても、ウインドシールドＷＳに映っている景色が可視光によるものであるときには、カメラ３は、上記景色が除外された運転者顔虚像を撮影することができる。このため、運転者の視線を更に精度よく検出することができる。

以上説明した実施形態において、視線検出装置１は本発明における車両用顔特徴量検出装置、近赤外光照射機２は本発明における光照射手段、カメラ３は本発明における撮影手段、ミラー４は本発明における反射手段である。

以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
例えば上記実施形態においては、顔特徴量として、視線を検出するものを示したが、これに限られるものではなく、顔特徴量として、顔向き、瞬き、表情を検出するようにしてもよい。なお、顔向きを検出するためには、例えば、「J. Xiao, T. Moriyama, T.Kanade, and J. Cohn, "Robust Full-Motion Recovery of Head by Dynamic Templates and Re-registration Techniques," International Journal of Imaging Systems and Technology, Vol.13, September, 2003, pp. 85 - 94.」に記載の手法を用いればよい。また、瞬きを検出するためには、例えば、特開平７−３１３４５９号公報に記載の手法を用いればよい。また、表情を検出するためには、例えば、「S. Lucey, I. Matthews, C. Hu, Z. Ambadar, F. De la Torre Frade, and J. Cohn, "AAM derived face representations for robust facial action recognition," Proceedings of the Seventh IEEE International Conference on Automatic Face and Gesture Recognition (FG'06), 2006, pp. 155 - 160」に記載の手法を用いればよい。

また上記実施形態においては、ウインドシールドＷＳと平行になるようにミラー４が配置されるものを示したが、これに限られるものではなく、ミラー４で反射した赤外光がカメラ３に入射されるようにすれば、ミラー４をどのように配置してもよい。

また上記実施形態においては、ウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像（運転者顔虚像）をミラー４で補正するものを示したが、カメラ３のレンズ３ａで補正して運転者顔虚像を歪ませた後に、カメラ３の撮像素子に運転者顔虚像を入射させるようにしてもよい。例えば、ウインドシールドＷＳの縦方向と横方向の曲率半径の差を打ち消すように、縦方向の焦点距離Ｆｖを横方向の焦点距離Ｆｌより大きくしたレンズとするとよい。

また、可視光を透過するとともに近赤外光が車内に進入することを抑制する近赤外光透過抑制フィルムをウインドシールドＷＳに施すようにしてもよい。これにより、車外から車内に進入する近赤外光の光量を低減できるので、例えば図５（ｂ）に示す画像Ｇ２において、ウインドシールドＷＳの上方の景色（雲ＣＬ）の画像を、運転者の眼ＥＹの画像と比較して目立たなくすることができる。このため、近赤外光照射の有無の画像を撮影して差分を取るという処理（Ｓ１０〜Ｓ５０を参照）を不要とすることができる。

また、透明な表面反射コーティング（増反射膜）をウインドシールドＷＳに施すようにしてもよい。これにより、ウインドシールドＷＳ上に映った運転者ＤＲ１の顔の虚像（運転者顔虚像）が２重になることを防止することができる。なお、運転者顔虚像が２重になっていても、Ｓ６０の処理にて視線の検出を行うことができる。しかし、表面反射コーティングにより２重像が解消されることで視線検出の精度が向上する。或いは、視線検出の精度を向上させるために２重像を解消するための画像処理を行っていた場合には、表面反射コーティングによりこの画像処理を省略することができる。

視線検出装置１の構成を示す模式図である。 カメラ３の設置位置を示す図である。 制御部６の構成を示すブロック図である。 視線検出処理を示すフローチャートである。 差分画像Ｇ３を説明する図である。 従来のカメラ設置位置を示す図である。

符号の説明

１…視線検出装置、２…近赤外光照射機、３…カメラ、３ａ…レンズ、４…ミラー、５…バンドパスフィルタ、６…制御部、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…入出力部、１５…バス、ＷＳ…ウインドシールド

Claims (12)

1. 車両に搭載され、該車両の運転者の顔に光を照射する光照射手段と、該光照射手段により光が照射されているときの前記運転者の顔の画像である運転者顔画像を撮影する撮影手段とを備え、該撮影手段により撮影された前記運転者顔画像を用いて前記運転者の顔特徴量を検出する車両用顔特徴量検出装置であって、
   前記撮影手段は、
   前記車両の運転席前方に位置したウインドシールドに映った前記運転者の顔の虚像である運転者顔虚像を前記運転者顔画像として撮影する
   ことを特徴とする車両用顔特徴量検出装置。
2. 前記顔特徴量は、視線である
   ことを特徴とする請求項１に記載の車両用顔特徴量検出装置。
3. 前記顔特徴量は、顔向きである
   ことを特徴とする請求項１に記載の車両用顔特徴量検出装置。
4. 前記顔特徴量は、瞬きである
   ことを特徴とする請求項１に記載の車両用顔特徴量検出装置。
5. 前記顔特徴量は、表情である
   ことを特徴とする請求項１に記載の車両用顔特徴量検出装置。
6. 前記運転者顔虚像を反射する反射手段を備え、
   前記撮影手段は、
   前記運転者顔虚像を更に前記反射手段で反射した像を前記運転者顔画像として撮影する
   ことを特徴とする請求項１〜請求項５の何れかに記載の車両用顔特徴量検出装置。
7. 前記反射手段は、
   前記運転者顔虚像を更に前記反射手段で反射した像が歪みのない像となるように前記運転者顔虚像を補正して前記運転者顔虚像を歪ませる
   ことを特徴とする請求項６に記載の車両用顔特徴量検出装置。
8. 前記撮影手段のレンズは、
   前記運転者顔虚像が歪みのない像となるように前記運転者顔虚像を補正して前記運転者顔虚像を歪ませた後に、前記撮影手段の撮像素子に前記運転者顔虚像を入射させる
   ことを特徴とする請求項１〜請求項６の何れかに記載の車両用顔特徴量検出装置。
9. 前記光照射手段が照射する光は、赤外光である
   ことを特徴とする請求項１〜請求項８の何れかに記載の車両用顔特徴量検出装置。
10. 赤外光の波長近傍の波長を有する光のみを透過するバンドパスフィルタを備え、
    前記撮影手段は、
    前記運転者顔虚像のうち、前記バンドパスフィルタを透過した像を前記運転者顔画像として撮影する
    ことを特徴とする請求項９に記載の車両用顔特徴量検出装置。
11. 車両の運転者の顔の画像である運転者顔画像を撮影し、撮影された前記運転者顔画像を用いて前記運転者の顔特徴量を検出する顔特徴量検出方法であって、
    前記車両の運転席前方に位置したウインドシールドに映った前記運転者の顔の虚像である運転者顔虚像を前記運転者顔画像として撮影する
    ことを特徴とする顔特徴量検出方法。
12. 前記運転者顔虚像を更に反射させた像を前記運転者顔画像として撮影する
    ことを特徴とする請求項１１に記載の顔特徴量検出方法。