JP2002274265A - ミラー調整装置 - Google Patents

Abstract

(57)【要約】 【課題】ドライバーの顔の位置に応じて自動的にミラー
の角度を最適に調整する装置を提供することを目的とす
る。 【解決手段】この発明のミラー調整装置は、１つまたは
複数のカメラを有し、運転席のドライバーを撮影する。
ミラー調整装置は、このカメラの画像出力からドライバ
ーの顔の特徴点および顔の向きを抽出し、この抽出され
た顔の特徴点と顔の向きに基づいてドライバーが正面を
向いたときの顔の位置を求める。求められた顔の位置に
基づいてミラーの最適角度が求められ、この最適角度に
ミラーが調整される。この発明によると、ミラー調整装
置がドライバーの顔の位置を判断し、その顔位置に応じ
てミラーが最適角度に調整されるので、ドライバーが自
身でミラーの角度を調整する作業を無くすことができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ヒューマン・イン
ターフェース一般に関連し、より具体的には、自動車の
ミラーを自動調整する装置に関連する。

【０００２】

【従来の技術】従来の自動車は、リモコンによりバック
ミラー、サイドミラー、ルームミラーなどの角度を調整
する機能を備えている。これらの機能を使用する際、ド
ライバーは、リモコンのスイッチを手動で操作して、そ
れらのミラーがドライバーにとって最適な角度になるよ
う調整しなければならない。

【０００３】これらミラーの最適な角度は、個々の人間
の体型によって様々である。したがって、複数の人間が
一台の自動車を共用して使用する場合、それぞれのドラ
イバーは、自動車を運転し始める際に最適なミラー角度
を確認する必要があった。さらに、運転前にドライバー
がミラーの角度を最適に調整したとしても、長時間の運
転中にドライバーの姿勢が変化して、そのミラーの角度
が最適ではなくなる可能性がある。

【０００４】このようなミラーの調整作業を簡単にする
従来技術としては、特開平９−７６８４０号公報、特開
平９−２０２１８３号公報などがある。これらの公報で
は、ミラーの最適角度などのデータが予め記憶され、そ
れらのデータを参照してミラーなどの車内の環境設定が
実行される。そのためドライバーは、自身の最適な環境
設定を予め自動車に登録し、自動車を運転し始める際
に、記憶された環境設定を任意の手段を介して再現する
必要がある。従来技術では、この作業はドライバーの手
動操作で行われていた。

【０００５】

【発明が解決しようとする課題】したがって、本発明
は、ドライバーの顔の位置に応じて自動的にミラーの角
度を最適に調整する装置を提供する。

【０００６】

【課題を解決するための手段】上記課題を解決するため
に、この発明のミラー調整装置は、前記ドライバーを撮
影する１つまたは複数のカメラと、該カメラの画像出力
から該ドライバーの顔の特徴点および顔の向きを検出す
る検出手段と、該抽出された顔の特徴点と顔の向きに基
づいて該ドライバーが正面を向いたときの顔の位置を求
め、該求められた顔の位置に基づいて該ミラーの最適角
度を求める手段と、該ミラーを該求められた最適角度に
調整する手段と、を備え、ドライバーの顔の位置に応じ
てミラーの角度を調整するよう構成される。

【０００７】この発明によると、ミラー調整装置がドラ
イバーの顔の位置を判断し、その顔位置に応じてミラー
を最適角度に調整するので、ドライバーが自身でミラー
の角度を調整する作業を無くすことができる。

【０００８】この発明の１つの形態によると、前記ミラ
ー調整装置は、前記顔向き検出手段および前記最適角度
を求める手段が実時間で動作し、該最適角度を求める手
段で求められた最新の最適角度に基づいて前記ミラーの
角度を再調整するかどうかを判断する判断手段を備える
よう構成される。

【０００９】この形態によると、ミラー調整装置は、実
時間でドライバーの顔の位置を判断し、その顔位置に応
じてミラーを最適角度に調整するかどうかを判断するこ
とができる。したがって、運転中にドライバーの姿勢が
変化した場合にも、その姿勢変化に応じてミラーを最適
角度に調整することができる。

【００１０】この発明の１つの形態によると、前記ミラ
ー調整装置の前記顔向き検出手段は、予め定めた１つま
たは複数の顔の特徴部分の基準画像および該基準画像に
対応する座標を含む特徴点を格納する特徴点データベー
スと、前記特徴部分の基準画像をテンプレートにして前
記カメラの画像出力から該特徴部分の基準画像に対応す
る画像領域を抽出する抽出手段と、前記抽出された画像
領域に基づいて、前記抽出された画像領域の座標を求め
る手段と、前記求められた画像領域の座標と前記基準画
像に対応する座標から前記ドライバーの顔の向きを検出
する手段と、を含むよう構成される。

【００１１】この形態によると、予め記憶された顔の特
徴点と入力画像との照合によって入力画像からドライバ
ーの顔の特徴点が抽出され、この抽出された特徴点を利
用してドライバーの顔の向きと位置を精度良く検出する
ミラー調整装置を提供することができる。

【００１２】この発明の１つの形態によると、前記ミラ
ー調整装置は、前記ドライバーの顔に赤外光を照射する
よう設置された照明手段を備えるよう構成される。

【００１３】この形態によると、赤外光を照明として使
用することにより、可視光を使用して得られる画像と比
較して照明変動に対して影響の少ない画像が得られ、か
つドライバーの瞳孔を明瞭に抽出することが可能なミラ
ー調整装置を提供することができる。

【００１４】この発明の１つの形態の装置は、ドライバ
ーを撮影する１つまたは複数のカメラと、該カメラの画
像出力から該ドライバーの顔の特徴点および顔の向きを
検出する検出手段と、該カメラの画像出力から該ドライ
バーの視線方向を検出する検出手段と、該顔の向きの検
出手段および該視線方向検出手段からの該ドライバーの
顔の特徴点、顔の向き、および視線方向に基づいて該ド
ライバーがミラーを見ているかどうかを判断する手段
と、他の車両の接近を検出する検出手段と、該判断手段
による判断に応じて他の車両の接近をドライバーに警告
する警告手段と、を備え、ドライバーの視線方向に応じ
て他の車両の接近を警告するよう構成される。

【００１５】この形態の発明によると、ドライバーの顔
の位置を検出する手段が他の車両の接近を検出する手段
と組み合わされて構成されるので、運転中にドライバー
が他の車両に気づいていないときに、他の車両の接近を
警告する装置を提供することができる。

【００１６】

【発明の実施の形態】次に本発明の実施例を図面を参照
して説明する。図１は、本発明によるミラー調整装置を
備えた自動車の１つの実施形態を示す。図１の自動車
は、画像入力部１、サイドミラー２、ルームミラー３、
ミリ波レーダ４、制御装置５、赤外線照射部６を備え
る。この実施形態では、運転席にいるドライバーの顔画
像が画像入力部１により撮影され、撮影された画像から
運転席でのドライバーの顔の位置が検出される。その検
出結果に基づいて、最適なミラーの角度が計算され、ア
クチュエータにそれぞれ連結されたサイドミラー２、ル
ームミラー３が自動で最適な角度に調整される。

【００１７】画像入力部１は、ドライバーの前方に設置
された２台のビデオカメラからなる。後で詳細に述べる
ように、画像入力部１がドライバーの顔をステレオ視す
ることにより、ドライバーの顔の２次元的な画像認識だ
けでなく、３次元的な画像認識が可能になる。自動車
は、この３次元的な画像認識によって運転席でのドライ
バーの３次元的な位置を正確に認識することができる。

【００１８】赤外線照射部６は、ドライバーの顔に赤外
線を照射するよう設置され、車内の照明変動によるビデ
オカメラ画像の画質劣化を低減するのに使用される。こ
の赤外線照射部６に関しても、後で詳細に説明する。

【００１９】サイドミラー２、ルームミラー３は、一般
的な自動車で使用されるミラーであり、それぞれアクチ
ュエータに連結され、制御装置５の出力に応じてミラー
の角度を変化させることができる。ミラーの角度は、ミ
ラーに取り付けられたセンサー（例えばフォトインタラ
プタなど）を介して検出可能なように構成されている。

【００２０】ミリ波レーダ４は、自動車の後部側面に設
置され、他の車両の接近を検出するために使用される。
この実施形態では、他の車両検出のためにミリ波を使用
するが、光、超音波などの他の検出手段で代替すること
も可能である。

【００２１】図２は、本発明によるミラー調整装置の機
能ブロック図を示す。図２に示す顔向き・視線検出部１
１は、初期探索部１３、顔向き検出部１５、視線検出部
１７を含み、ドライバーの顔の位置、顔の向き、視線方
向をリアルタイムで検出する。環境設定部１９は、顔向
き・視線検出部１１により検出されたドライバーの顔の
位置と顔向きに応じて、ミラーの最適角度を求め、各ア
クチュエータ（２１、２３）を制御する。さらに、環境
設定部１９は、ミリ波レーダ４が他の車両２９の接近を
検出した場合、顔向き・視線検出部１１により検出され
た視線方向からドライバーがミラーを見ているかどうか
を判断し、ドライバーがミラーを見ていなければ警告手
段２７によりドライバーに対して警告を発する。

【００２２】これらの機能ブロックによって実行される
ミラー調整の処理は、大きく分けて２つの処理に分けら
れる。第１の処理は、ドライバーが運転席に座った直後
のミラー調整処理であり、第２の処理は、運転中のミラ
ー調整処理である。図３にドライバーが運転席に座った
直後のミラー調整処理のフロー図を示し、図８に運転中
のミラー調整処理のフロー図を示す。以下では、これら
の図を参照して、各ミラー調整処理と各機能ブロックの
概要を説明する。

【００２３】図３を参照して、ドライバーが運転席に座
った直後のミラー調整処理を説明する。ステップ１０１
で、前方に設置された画像入力部１は、ドライバーの顔
が存在すると思われる空間を撮影し、その画像を顔向き
・視線検出部１１に送る。ステップ１０３で、顔向き・
視線検出部１１は、送られてきた入力画像中に人間の顔
が撮影されているかを探索する。後で詳細に述べるよう
に、顔向き・視線検出部１１の初期探索部１３は、入力
画像中から人間の顔が撮影されている領域を検出するこ
とができる。したがって、運転席にドライバーがいれば
入力画像中に人間の顔が存在するはずなので、顔向き・
視線検出部１１は、入力画像からドライバーの顔領域を
検出することができる。

【００２４】もし、運転席にドライバーが座っていない
場合、入力画像中に人間の顔が存在しないので、初期探
索部１３は、入力画像からドライバーの顔領域を検出す
ることができない。この場合、初期探索部１３は、新た
な入力画像を使用して人間の顔領域の探索を再び繰り返
す。この探索は、入力画像中に人間の顔が見つかるまで
繰り返される。したがって、この作業は、ドライバーが
運転席に座るまで続けられ、ドライバーが運転席に座っ
た時点で次のステップに進む。

【００２５】ステップ１０３で初期探索部１３が入力画
像からドライバーの顔を検出した場合、ステップ１０５
で顔向き検出部１９は、その入力画像からドライバーの
顔の特徴点を抽出し、顔の位置と顔の向きを検出する。
顔の特徴点とは、眼、鼻、口、などの画像認識で認識す
ることが容易な特徴的な部分の局所的な画像のことであ
り、それぞれの局所的な画像は、画像入力部１の設置位
置（左右のビデオカメラのどちらかの設置位置、または
左右のカメラの中心）を基準にして、画像に撮影されて
いる対象物の３次元座標にそれぞれ関連付けられてい
る。本実施例における特徴点は、左右の目尻と目頭、口
の両端の６つあり、入力画像から切り取られたそれらの
局所的な画像と、それらの局所的画像に撮影されている
対象物（この場合、左右の目尻と目頭、口の両端）の位
置に対応する３次元座標が特徴点となる。顔の向きは、
ドライバーが正面を向いた状態を基準にし、３次元的な
角度として求められる。顔向き検出部１９の顔の特徴点
の抽出および顔向きの検出処理は、後で詳細に説明す
る。

【００２６】ステップ１０５でドライバーの顔の特徴点
と顔の向きが検出された場合、ステップ１０７で、環境
設定部１９がドライバーにとって最適なミラーの角度を
計算する。この計算方法を以下に詳細に説明する。

【００２７】図４は、ドライバー（３３、３５）が運転
席３１に座っている状態を横から見た図である。この場
合、ルームミラー３の角度は、ドライバー３３に対して
最適な角度に調整されている。したがって、ドライバー
３３とは異なる体型のドライバー３５が運転席に座った
場合では、このルームミラー３の角度は、ドライバー３
５に対して不適当であり、ルームミラー３の角度を再調
整する必要がある。

【００２８】図５は、運転席に座っているドライバーを
上から見た頭部３７とルームミラー３を示し、この図を
参照してルームミラー３の左右方向の最適角度の計算を
説明する。以下の説明では、車内における上下左右の３
次元座標は、２台のカメラのどちらかの設置位置を基準
原点とし、垂直方向をｘ軸、車の進行方向をｚ軸とす
る。ｙ軸は、ｚ軸に対して直交する水平方向（左右方
向）である。

【００２９】ミラーの最適角度を求めるのに使用するド
ライバーの基準位置は、ドライバーの頭部で一意的に定
まる部分を基準に使用して構わないが、この実施例で
は、右眼を基準位置として使用した。したがって、ドラ
イバーがルームミラー３で後方を見ようとする場合、ル
ームミラーの最適調整角度θ’_ａｄｊは、正面を向いた
ドライバーの右眼の位置３９とルームミラーの中心位置
４１との幾何的な位置関係によって定まる。

【００３０】ここで、右眼の位置３９からルームミラー
の中心位置４１までのｚ軸方向の距離をＺ’、そのｙ軸
方向の距離をＹ’とした場合、右眼の位置３９とルーム
ミラーの中心位置４１とを結ぶ直線とｚ軸とがなす角度
θ’は、θ’＝ｔａｎ^−１（Ｙ’／Ｚ’）で表される。
したがって、図５に示すように最適角度の基準を垂直面
にとれば、ルームミラー３の最適調整角度は、θ’
_ａｄｊ＝（１８０＋θ’）／２で表される。画像入力部
１とルームミラー３との間のｚ軸方向の距離Ｌおよびｙ
軸方向の距離Ｗは、既知の一定の値であるので、右眼の
位置の座標を（Ｘ、Ｙ、Ｚ）とすると、Ｙ’とＺ’は、
それぞれＹ’＝Ｗ−Ｙ、Ｚ’＝Ｚ−Ｌで表される。

【００３１】図６は、ドライバーを横から見た図であ
り、この図を参照して上下方向のミラーの最適角度を求
める方法を説明する。図６に示すように上下方向のミラ
ーの最適角度の計算の場合にも、左右方向の場合と同様
の幾何計算から最適角度を求めることができる。この場
合、右眼の位置３９からルームミラーの中心位置４１ま
でのｚ軸方向の距離をＺ’、そのｘ軸方向の距離をＸ’
とした場合、右眼の位置３９とルームミラーの中心位置
４１とを結ぶ直線とｚ軸とがなす角度θは、θ＝ｔａｎ
^−１（Ｘ’／Ｚ’）で表される。したがって、図６に示
すように最適角度の基準を水平面にとれば、ルームミラ
ー３の最適調整角度は、θ_ａｄｊ＝（１８０＋θ）／２
で表される。画像入力部１とルームミラー３との間のｚ
軸方向の距離Ｌおよびｘ軸方向の距離Ｈは、既知の一定
の値であるので、右眼の位置の座標を（Ｘ、Ｙ、Ｚ）と
すると、Ｘ’とＺ’は、それぞれＸ’＝Ｈ−Ｘ、Ｚ’＝
Ｚ−Ｌで表される。

【００３２】したがって、正面を向いたドライバーの右
眼の３次元座標（Ｘ、Ｙ、Ｚ）さえ求まれば、ルームミ
ラー３の最適な調整角度を求めることができる。サイド
ミラー２の最適角度の計算もルームミラー３の場合と同
様の幾何計算で求められる。

【００３３】次に正面を向いたドライバーの右眼の３次
元座標（Ｘ、Ｙ、Ｚ）を求める方法を説明する。画像入
力部１で撮影された瞬間のドライバーの顔は、必ずしも
完全に正面を向いているとは限らない（例えば少しうつ
むいた状態の画像）。したがって、その瞬間の画像に撮
影されている右眼の位置を基準座標としてミラーの最適
角度を計算した場合、運転時のドライバーのミラーの最
適角度とは異なる場合が生ずる。そのため撮影された画
像から、ドライバーが正面を向いたときの右目の３次元
座標を求める必要がある。

【００３４】入力画像中のドライバーの右の目尻と右の
目頭の３次元座標は、顔向き・視線検出部１１により特
徴点として既に得られている。したがって、右の目尻の
３次元座標と右の目頭の３次元座標とを結ぶ直線の中点
を右目の中心位置とする。さらに、顔向き・視線検出部
１１により、入力画像のドライバーの顔の位置と顔向き
が得られているので、それらの情報に基づいて適当な座
標変換を実行することにより、正面を向いたときのドラ
イバーの右眼の位置を求めることができる。

【００３５】本実施例のステップ１０７では、環境設定
部１９は、顔向き・視線検出部１１により得られた入力
画像中のドライバーの顔の位置、顔の向きの情報に基づ
いて、正面を向いたドライバーの右目の位置（Ｘ,Ｙ,
Ｚ）を求め、その右目の位置（Ｘ,Ｙ,Ｚ）から最適なミ
ラー角度を計算する。

【００３６】ステップ１０７でミラーの最適角度が求め
られた後で、ステップ１０９において環境設定部１９
は、接続された各アクチュエータを制御し、ミラーを最
適角度に調整する。ミラーが最適角度に調整された場
合、ステップ１１１に処理が進み、運転中のミラー調整
処理に移行する。

【００３７】次に運転中のミラー調整処理を説明する。
図７は、運転中のドライバーの姿勢変化を示す図であ
る。図７に示す様にドライバーの姿勢４３は、長時間の
運転の間に異なる姿勢４５に変化する場合がある。その
ような場合では、ドライバーの姿勢に応じてルームミラ
ー３の最適角度も変化する。したがって、運転中のミラ
ー調整処理では、主にドライバーの運転姿勢変化をドラ
イバーの顔の位置から判断し、その位置に応じてミラー
３の角度を補正する。さらに、運転中に他の車両が接近
してきたときにドライバーがミラーを見ていなかった場
合、ドライバーに他の車両が接近していることを警告す
る処理も同時に実行する。

【００３８】運転中のミラー調整処理では、ドライバー
の運転中、図８に示すステップ２０１からステップ２１
５のループが繰り返される。最初に、ステップ２０１
で、環境設定部１９は、顔向き・視線検出部１１からド
ライバーの顔の位置、顔の向きに関する情報を読み取
る。次にステップ２０３で、顔向き・視線検出部１１か
らの顔の位置と顔の向きの情報に基づいて、最適なミラ
ーの角度が計算される。ここでのミラーの最適角度の計
算は、ステップ１０７で処理されたものと同様である。
次に、ステップ２０５で、環境設定部１９は、計算され
たミラーの最適角度と現在のミラーの角度とを比較し
て、現在のミラーの角度が最適かどうかを判断する。現
在のミラーの角度が最適とみなせる範囲内であれば、ス
テップ２０９に進む。ミラーの角度が最適とみなせる範
囲内に無い場合には、ステップ２０７に進み、ミラーの
角度が最適角度に調整される。これにより、運転中にド
ライバーの姿勢が変化しても、ミラーの角度は、常に最
適の角度に維持される。

【００３９】ステップ２０９では、他の車両が接近して
いるかどうかが判断される。この他の車両の接近は、自
動車に取り付けられたミリ波レーダ４により検出され
る。図１に示すように、ミリ波レーダ４は、自動車後方
の両側面に取り付けられており、他の車両の位置を検出
することができる。環境設定部１９は、図９に示すよう
に予め定めた範囲（５５、５７）に他の車両５３が進入
したことをミリ波レーダ４が検出した場合に他の車両５
３が接近していると判断する。他の車両が接近していな
いと判断された場合には、ステップ２０１に戻り、顔向
きし線検出部１１からの新しい情報に基づいて再び一連
の処理が繰り返される。

【００４０】他の車両が接近していると判断された場
合、ステップ２１０で、環境設定部１９は、顔向き・視
線検出部１１からドライバーの視線方向を読み取る。こ
こで検出された視線方向は、３次元ベクトルとして与え
られ、ドライバーがミラーを見ているかどうかを判断す
るために使用される。この視線検出部１７が視線方向を
検出する処理は、後で詳細に説明される。

【００４１】ステップ２１３では、ドライバーの視線方
向からドライバーがミラーを見ているかが判断される。
この判断方法を図１０を参照して説明する。運転席にお
けるミラーの設置位置は、既知の３次元座標７１であ
る。ドライバーの顔の位置座標７５も既に得られている
ので、ミラーの設置座標７１と顔位置座標７５とを結ぶ
ベクトル７３を得ることができる。顔向き・視線検出部
１１からの視線方向は、ステップ２１０で３次元ベクト
ルとして得られているので、このベクトル７３と視線方
向ベクトル７７のなす角度が０°近辺であれば、ミラー
を見ていると判断がなされる。ベクトル７３と視線方向
ベクトル７７のなす角度の判断基準は、ミラーのサイ
ズ、視線ベクトルの検出精度などを考慮して予め設定さ
れる。

【００４２】ステップ２１３でドライバーがミラーを見
ていると判断された場合には、ドライバーが他の車両の
接近に気づいている可能性が高いので、ステップ２０１
に戻り、顔向き視線検出部１１からの新しい情報に基づ
いて再び一連の処理が繰り返される。ドライバーがミラ
ーを見ていないと判断された場合には、ドライバーが他
の車両の接近を気づいていない可能性があるので、ステ
ップ２１５に進み、任意の警告手段２７がドライバーに
対して警告を与える。ステップ２１５の後では、ステッ
プ２０１に戻り、顔向き視線検出部１１からの新しい情
報に基づいて再び一連の処理が繰り返される。

【００４３】次に、本実施例で使用した画像入力部１と
赤外照射部６を詳細に説明する。

【００４４】本実施例では、車内の照明変動による画像
の劣化を低減するために、赤外線照射部６を使用する。
したがって、図１に示す赤外線照射部６は、近赤外光を
ドライバーの顔に照射するようドライバーの前面に設置
される。

【００４５】近赤外光を照明として使用する第１の理由
は、照明変動に対するロバスト性を向上させることにあ
る。一般に自動車などの車内の明るさは、屋内外、また
は日中や夜間などの環境変化によって大きく変動する。
また、一方向から強い可視光がドライバーの顔に当たる
場合には、ドライバーの顔面上に陰影のグラデーション
が発生する。このような照明の変動や陰影のグラデーシ
ョンは、画像認識の精度を著しく悪化させる。したがっ
て、本実施例では、ドライバーの正面から赤外線照射部
６により近赤外光を照射して、その近赤外光で画像を撮
影することによって、周囲からの可視光による顔面上の
陰影のグラデーションを低減する。これにより、本実施
例は、可視光を使用して得られる画像と比較して照明変
化による影響を受けにくい利点があり、画像認識の精度
を向上させることができる。

【００４６】近赤外光を使用する第２の理由は、ドライ
バーの瞳孔を明瞭に抽出することが可能な点にある。ド
ライバーの瞳の位置は、視線方向を検出するために使用
されるので、瞳を明瞭に撮像することは、非常に重要で
ある。

【００４７】図１１は、画像入力部１の実施例を示す。
この実施例では、撮影対象を立体視するために従来技術
のステレオ法を利用する。したがって、画像入力部１
は、ドライバーの前方に設置された２台のビデオカメラ
（６１、６２）を備える。２台のビデオカメラは、ステ
レオ視でドライバーの顔を撮影することができるよう所
定の位置に固定される。前述したように照明として近赤
外光を使用するので、これらのビデオカメラは、近赤外
光以外の波長の可視光を遮断する可視光遮断フィルタ６
３などで波長帯域をそれぞれ制限される。各ビデオカメ
ラは、カメラ・コントロール・ユニット（６５、６６）
を介してそれぞれ制御される。各カメラ・コントロール
・ユニットは、外部同期信号線を通じて接続され、この
同期信号によって左右のビデオカメラの同期がとられ
る。顔向き・視線検出部１１は、この様にして撮影され
た画像を入力画像として使用することによって、２次元
的な物体認識だけでなく、３次元的な物体認識を処理す
ることができる。

【００４８】図１１に示すように、画像入力部１で撮影
された画像は、従来の画像処理ボード６８を介して様々
に処理されてもよい。例えば、図３の画像処理ボード６
８は、ＮＴＳＣ方式のビデオ信号の入力ポートとして機
能するだけでなく、画像を蓄積するメモリおよび複雑な
画像処理を実行するハードウェア回路を備え、一般的な
画像処理アルゴリズムを高速に実行することができる。
例えばハードウェア回路による画像処理アルゴリズムに
は、斜方投影機構、ハフ変換、２値画像マッチングフィ
ルタ、アフィン変換（画像の回転、拡大、縮小）などの
処理が含まれる。この様な画像処理ボード６８の使用
は、画像処理ボード６８が画像処理の一部を担うことに
よってＥＣＵの演算を緩和し、高速な画像処理を可能に
する。この実施例では、ＥＣＵによって画像処理ボード
６８が制御されて画像の処理が行われ、図２に示す顔向
き・視線検出部の機能が実現される。

【００４９】次に顔向き・視線検出部１１を詳細に説明
する。図２に示すように顔向き・視線検出部１１は、初
期探索部１３、顔向き検出部１５、視線検出部１７を含
み、ドライバーの顔の位置、顔の向き、視線方向を検出
する。図１２と図１３は、顔向き・視線検出部１１の処
理の全体的なフロー図を示す。初期探索部１３、顔向き
検出部１５、視線検出部１７は、それぞれ関連して動作
し、連続的に撮影される入力画像から顔向きと視線方向
をリアルタイムで検出することができる。

【００５０】図１２は、初期探索部１３の処理のフロー
図を示す。顔向き検出部１５の処理は、図１３のステッ
プ３１１からステップ３１７で示され、視線検出部１７
の処理は、図１３のステップ３２１からステップ３２５
で示される。ドライバーの顔向きと視線方向のリアルタ
イム検出は、図１３に示すステップ３１１からステップ
３２５のループ処理により実現される。図１２に示す初
期探索部１３は、顔向き・視線検出の開始直後の最初の
初期化とリアルタイムでの顔向き・視線方向検出のエラ
ー回復のために使用される。

【００５１】図１２を参照して初期探索部１３の処理を
説明する。初期探索部１３は、入力された画像から人間
の顔が撮影されている画像領域をおおまかに探索する。
ここでの処理は、顔向き検出部１５のための前処理とも
いえる。初期探索部１３が、顔向き検出部１５の処理の
前に、入力画像から顔が撮影されている領域をおおまか
に探索することにより、顔向き検出部１５は、入力画像
中の顔の詳細な解析を高速に実行することができる。

【００５２】最初に、ステップ３０１で画像入力部１か
ら画像が入力される。次にステップ３０３で、入力画像
全体から人間の顔が撮影されている領域がおおまかに探
索される。これは、予め記憶された初期探索用テンプレ
ート６７を使用して２次元テンプレート・マッチングで
実行される。

【００５３】初期探索用テンプレート６７の例を図１４
に示す。初期探索用テンプレート６７に使用される画像
は、正面を向いた人間の顔を部分的に切り取った画像で
あり、この部分的画像には目、鼻、口などの人間の顔の
特徴的な領域が１つのテンプレートとして含まれてい
る。この初期探索用テンプレート６７は、テンプレート
・マッチングでの処理速度を高めるために、予め低解像
度化された画像として記憶されている。さらに、初期探
索用テンプレート６７は、照明変動の影響を低減するた
めに微分画像にされている。このテンプレートは、複数
のサンプルから作成され予め記憶されている。

【００５４】ステップ３０３での探索は、右ビデオカメ
ラか、または左ビデオカメラのどちらかの画像に対して
実行される。以下では、右ビデオカメラの画像を使用し
た２次元テンプレート・マッチングの例を述べる。

【００５５】右ビデオカメラの画像を使用したテンプレ
ート・マッチングの場合、その右画像に対して初期探索
用テンプレート６７を使用したテンプレート・マッチン
グが実行される。ここでマッチした右画像内の領域は、
入力画像中の顔の候補となる。この顔候補をテンプレー
トとして、同様のテンプレート・マッチングが左画像に
対して実行され、そのステレオ・マッチングの結果から
顔候補の３次元的な位置が求められる（ステップ３０
５）。

【００５６】ステップ３０７において、これらの処理結
果が評価され、入力画像から顔領域が検出されたかどう
か判断がなされる。入力画像から顔領域が見つかったと
判断された場合、顔向き検出部１５の処理に移る（ステ
ップ３０９）。初期探索部１３で顔領域が見つからなか
った場合、新しい入力画像を使用して一連の処理が繰り
返される。初期探索部１３は、人間の顔が画像入力部１
によって撮影されるまで、この一連の処理を繰り返す。

【００５７】次に図１３を参照して顔向き検出部１５と
視線検出部１７の処理を説明する。先に述べたように、
顔向き・視線検出部１１は、ドライバーの顔向きと視線
方向をリアルタイムで検出するために、図６に示すステ
ップ３１１からステップ３２５のループを繰り返す。顔
向き検出部１５は、予め定めた特徴点を入力画像から抽
出し、それらの特徴点から顔の３次元位置と顔の向きを
求めることができる。視線検出部１７は、顔向き検出部
１５で得られた特徴点と顔向きに基づき、入力画像から
顔の視線方向を検出する。

【００５８】顔向き検出部１５は、ステップ３１１で、
入力画像からテンプレート・マッチングにより顔の特徴
点を探索する。この探索に使用されるテンプレートは、
データベースに予め記憶された３次元顔特徴点モデルか
らの画像を使用する。図１５に３次元顔特徴点モデル６
９の例を示す。

【００５９】本実施例における３次元顔特徴点モデル６
９は、正面を向いた人間の顔の特徴的な部分を画像から
局所的に切り取った部分的画像（８１〜９１）から生成
される。例えば顔特徴点の画像は、図１５に示すよう
に、左の目尻８１、左の目頭８３、右の目尻８７、右の
目頭８５、口の左端８９、口の右端９１などのように、
予め用意された顔画像から局所的に切り取られて生成さ
れる。これらの部分的画像のそれぞれは、その画像内で
撮影されている対象物（この例では、左右の目尻と目
頭、口の両端）の３次元位置を表す３次元座標に関連付
けられデータベースに記憶されている。本明細書では、
これらの３次元座標を有した顔の特徴領域の部分的画像
を顔特徴点と呼び、これらの複数の顔特徴点から生成さ
れる顔モデルを３次元顔特徴点モデル６９と呼ぶ。これ
らの３次元顔特徴点モデル６９は、複数のサンプルから
生成されデータベースに予め記憶されている。

【００６０】ステップ３１１で、顔向き検出部１５は、
３次元顔特徴点モデル６９に対応する画像領域を入力画
像から探索する。これは、３次元顔特徴点モデル６９の
各特徴点の画像をテンプレートとし、右画像に対して２
次元マッチングを行うことにより実行される。本実施例
では、ステップ３１１の探索の結果、右画像に撮影され
ている顔の左右の目頭と目尻、口の両端の６個の画像が
得られる。

【００６１】ステップ３１３では、ステップ３１１の探
索から得られた各特徴点の画像をテンプレートとして、
入力画像の左画像に対してステレオ・マッチングが実行
される。これにより、３次元顔特徴点モデル６９の各特
徴点に対応する入力画像の各特徴点の３次元座標が求め
られる。

【００６２】この実施例の場合、探索された入力画像中
の顔の左右の目尻と目頭、口の両端の画像をテンプレー
トにして、ステレオ・マッチングが実行される。このス
テレオ・マッチングの結果、ドライバーの顔の左右の目
尻と目頭、口の両端の３次元座標がそれぞれ得られる。
したがって、これらの入力画像の特徴点の３次元座標か
ら運転席にいるドライバーの顔の３次元位置を求めるこ
とができる。

【００６３】入力画像の各特徴点に関する３次元座標が
求められた後で、ステップ３１５で予め定めた判断基準
に基づいて特徴点の抽出が成功したかどうかがチェック
される。このステップ３１５で、もし入力画像から各特
徴点が見つからなかったと判断された場合には、初期探
索部１３に戻り、新たな入力画像から顔が撮影されてい
る領域を探索する。

【００６４】ステップ３１５で入力画像から各特徴点が
見つかったと判断された場合、ステップ３１７で３次元
顔特徴点モデル６９を使用して３次元モデル・フィッテ
ィングが実行され、顔の向きが検出される。以下ではこ
の３次元モデル・フィッティングを説明する。

【００６５】先に述べたように、予め記憶されている３
次元顔特徴点モデル６９は、正面を向いた顔の特徴点か
ら生成されている。それに対して入力画像で撮影されて
いる顔は、必ずしも正面を向いているとは限らない。し
たがって、ステップ３１３で得られた入力画像の各特徴
点（観測点）の３次元座標は、正面を向いた３次元顔特
徴点モデル６９の各特徴点の３次元座標から任意の角度
と変位だけずれを有している。したがって、正面を向い
た３次元顔特徴点モデル６９を任意に回転、変位させた
ときに、入力画像の各特徴点と一致する角度と変位が入
力画像中の顔の向きと位置に相当する。

【００６６】入力画像の各特徴点に３次元顔特徴点モデ
ル６９をフィッティングする場合、フィッティング誤差
Ｅは、下記の式で表される。

【数１】 ここで、Ｎが特徴点の数であり、ｘ_ｉがモデル内の各特
徴点の３次元座標であり、ｙ_ｉが入力画像からの各特徴
点の３次元座標を表す。ω_ｉは、各特徴点に関する重み
付け係数であり、入力画像から特徴点の３次元位置を求
めたときのステレオ・マッチングにおける相関値を利用
する。この相関値を利用することによって、それぞれの
特徴点の信頼度を考慮することができる。回転行列は、
Ｒ（φ，θ，ψ）であり、位置ベクトルは、ｔ（ｘ，
ｙ，ｚ）で表され、これらが、この式における変数とな
る。

【００６７】したがって、上記の式におけるフィッティ
ング誤差Ｅを最小にする回転行列Ｒと位置ベクトルｔを
求めれば、入力画像の顔向きと顔位置が求められる。こ
の演算は、最小二乗法または仮想バネモデルを使用した
フィッティング手法などを利用することによって実行さ
れる。

【００６８】図１３に示すステップ３２１から３２５
で、視線検出部１７は、顔向き検出部１５で得られた特
徴点と顔向きに基づき、入力画像から顔の視線方向を検
出する。この際、眼球は、３次元的な球でモデル化さ
れ、その球の中心位置が回転中心とされる。この３次元
眼モデルは、顔モデルに対する眼球の３次元的な相対位
置、眼球の半径、虹彩の半径をパラメータとする。図１
６に視線方向を求める方法の概略を示す。

【００６９】ステップ３２１で、眼球の３次元的な中心
位置９５が、顔向き検出部１５の検出結果に基づいて求
められる。眼の中心位置９５を求めるためのオフセット
・ベクトルは、左右の目の両端の特徴点（９３、９４）
を結ぶ直線の中点から眼の中心位置９５に向かう３次元
ベクトルとして予め定められている（図１６の
（１））。したがって、そのオフセット・ベクトル、眼
球の半径、顔の位置、顔の向きを使用して眼球の中心位
置９５を求めることができる（図１６の（２））。

【００７０】眼球上の瞳の中心位置９５は、既に目の両
端の位置（９３、９４）が入力画像の特徴点として求め
られているので、その両端の領域でハフ変換を実行する
ことにより容易に得られる（ステップ３２３）。視線方
向は、眼球の中心位置９５と瞳の中心位置９６とを結ぶ
３次元ベクトル（視線ベクトル）として求められる（ス
テップ３２５）。

【００７１】本実施例では、左右に配置された２台のビ
デオカメラを画像入力部１として使用したので、右画
像、左画像それぞれに対して視線ベクトルを求めること
ができる。さらに、左右の眼のそれぞれに関して視線ベ
クトルを求めることができるので、合計４つの視線ベク
トルが求められる。本実施例では、この４つの視線ベク
トルの平均ベクトルを入力画像の視線方向として使用す
る。

【００７２】ステップ３２５で、入力画像中の顔の視線
方向が検出された後で、ステップ３１１に戻り、新たな
入力画像を使用して一連の処理が繰り返される。この繰
り返しの結果、ドライバーの顔向き、顔位置、視線方向
の連続的な追従をリアルタイムで実行することが可能に
なる。

【００７３】以上に、この発明の実施例について説明し
たが、この発明はこのような実施例に限定されるもので
はない。

【００７４】

【発明の効果】この発明によると、運転席のドライバー
の顔の位置を自動的に検出し、検出されたドライバーの
顔の位置に応じてミラーの角度を最適に調整する装置が
提供される。

【図面の簡単な説明】

【図１】 本発明によるミラー調整装置を備えた自動車
の実施例。

【図２】 本発明によるミラー調整装置の機能ブロック
図。

【図３】 ドライバーが運転席に座った直後のミラー調
整処理のフロー図。

【図４】 ドライバーが運転席に座っている状態を横か
ら見た図。

【図５】 運転席に座っているドライバーを上から見た
頭部とルームミラーを示す図。

【図６】 運転席に座っているドライバーを横から見た
図。

【図７】 運転中のドライバーの姿勢変化を示す図。

【図８】 運転中のミラー調整処理のフロー図。

【図９】 他の車両の接近を検出する範囲を示す図。

【図１０】 視線方向からドライバーがミラーを見てい
るかどうかを判断する方法を示す図。

【図１１】 画像入力部の実施例

【図１２】 初期探索部の処理のフロー図。

【図１３】 顔向き検出部と視線検出部の処理のフロー
図。

【図１４】 初期探索用テンプレートの例を示す図。

【図１５】 ３次元顔特徴点モデルの例を示す図。

【図１６】 視線方向を求める方法を示す図。

【符号の説明】 １ 画像入力部 ２ サイドミラー ３ ルームミラー ４ ミリ波レーダー ５ 制御装置 ６ 赤外線照射部 １０ ドライバー １１ 顔向き・視線検出部 １９ 環境設定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｂ６０Ｒ 21/00 ６２１ Ｂ６０Ｒ 21/00 ６２１Ｄ ６２１Ｅ ６２６ ６２６Ａ Ｇ０６Ｔ 1/00 ３４０ Ｇ０６Ｔ 1/00 ３４０Ａ 7/00 ３００ 7/00 ３００Ｄ 7/60 １５０ 7/60 １５０Ｐ

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ドライバーの顔の位置に応じてミラーの
   角度を調整する装置であって、 前記ドライバーを撮影する１つまたは複数のカメラと、 前記カメラの画像出力から前記ドライバーの顔の特徴点
   および顔の向きを検出する検出手段と、 前記抽出された顔の特徴点と顔の向きに基づいて前記ド
   ライバーが正面を向いたときの顔の位置を求め、該求め
   られた顔の位置に基づいて前記ミラーの最適角度を求め
   る手段と、 前記ミラーを前記求められた最適角度に調整する手段
   と、を備えるミラー調整装置。
2. 【請求項２】 前記顔向き検出手段および前記最適角度
   を求める手段は、実時間で動作し、該最適角度を求める
   手段で求められた最新の最適角度に基づいて前記ミラー
   の角度を再調整するかどうかを判断する判断手段を備え
   る請求項１に記載のミラー調整装置。
3. 【請求項３】 前記顔向き検出手段は、 予め定めた１つまたは複数の顔の特徴部分の基準画像お
   よび該基準画像に対応する座標を含む特徴点を格納する
   特徴点データベースと、 前記特徴部分の基準画像をテンプレートにして前記カメ
   ラの画像出力から該特徴部分の基準画像に対応する画像
   領域を抽出する抽出手段と、 前記抽出された画像領域に基づいて、前記抽出された画
   像領域の座標を求める手段と、 前記求められた画像領域の座標と前記基準画像に対応す
   る座標から前記ドライバーの顔の向きを検出する手段
   と、を含む請求項１に記載のミラー調整装置。
4. 【請求項４】 前記ドライバーの顔に赤外光を照射する
   よう設置された照明手段を備える請求項１に記載のミラ
   ー調整装置。
5. 【請求項５】 ドライバーの視線方向に応じて他の車両
   の接近を警告する装置であって、 前記ドライバーを撮影する１つまたは複数のカメラと、 前記カメラの画像出力から前記ドライバーの顔の特徴点
   および顔の向きを検出する検出手段と、 前記カメラの画像出力から前記ドライバーの視線方向を
   検出する検出手段と、前記顔の向きの検出手段および前
   記視線方向検出手段からの前記ドライバーの顔の特徴
   点、顔の向き、および視線方向に基づいて、前記ドライ
   バーがミラーを見ているかどうかを判断する手段と、 他の車両の接近を検出する検出手段と、 前記判断手段による判断に応じて他の車両の接近をドラ
   イバーに警告する警告手段と、を備える装置。