JP2002274265A - ミラー調整装置 - Google Patents

ミラー調整装置

Info

Publication number
JP2002274265A
JP2002274265A JP2001083505A JP2001083505A JP2002274265A JP 2002274265 A JP2002274265 A JP 2002274265A JP 2001083505 A JP2001083505 A JP 2001083505A JP 2001083505 A JP2001083505 A JP 2001083505A JP 2002274265 A JP2002274265 A JP 2002274265A
Authority
JP
Japan
Prior art keywords
driver
mirror
image
detecting
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2001083505A
Other languages
English (en)
Inventor
Satoshi Hiyama
智 樋山
Original Assignee
Honda Motor Co Ltd
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd, 本田技研工業株式会社 filed Critical Honda Motor Co Ltd
Priority to JP2001083505A priority Critical patent/JP2002274265A/ja
Publication of JP2002274265A publication Critical patent/JP2002274265A/ja
Withdrawn legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】ドライバーの顔の位置に応じて自動的にミラー
の角度を最適に調整する装置を提供することを目的とす
る。 【解決手段】この発明のミラー調整装置は、1つまたは
複数のカメラを有し、運転席のドライバーを撮影する。
ミラー調整装置は、このカメラの画像出力からドライバ
ーの顔の特徴点および顔の向きを抽出し、この抽出され
た顔の特徴点と顔の向きに基づいてドライバーが正面を
向いたときの顔の位置を求める。求められた顔の位置に
基づいてミラーの最適角度が求められ、この最適角度に
ミラーが調整される。この発明によると、ミラー調整装
置がドライバーの顔の位置を判断し、その顔位置に応じ
てミラーが最適角度に調整されるので、ドライバーが自
身でミラーの角度を調整する作業を無くすことができ
る。

Description

【発明の詳細な説明】

【0001】

【発明の属する技術分野】本発明は、ヒューマン・イン
ターフェース一般に関連し、より具体的には、自動車の
ミラーを自動調整する装置に関連する。

【0002】

【従来の技術】従来の自動車は、リモコンによりバック
ミラー、サイドミラー、ルームミラーなどの角度を調整
する機能を備えている。これらの機能を使用する際、ド
ライバーは、リモコンのスイッチを手動で操作して、そ
れらのミラーがドライバーにとって最適な角度になるよ
う調整しなければならない。

【0003】これらミラーの最適な角度は、個々の人間
の体型によって様々である。したがって、複数の人間が
一台の自動車を共用して使用する場合、それぞれのドラ
イバーは、自動車を運転し始める際に最適なミラー角度
を確認する必要があった。さらに、運転前にドライバー
がミラーの角度を最適に調整したとしても、長時間の運
転中にドライバーの姿勢が変化して、そのミラーの角度
が最適ではなくなる可能性がある。

【0004】このようなミラーの調整作業を簡単にする
従来技術としては、特開平9−76840号公報、特開
平9−202183号公報などがある。これらの公報で
は、ミラーの最適角度などのデータが予め記憶され、そ
れらのデータを参照してミラーなどの車内の環境設定が
実行される。そのためドライバーは、自身の最適な環境
設定を予め自動車に登録し、自動車を運転し始める際
に、記憶された環境設定を任意の手段を介して再現する
必要がある。従来技術では、この作業はドライバーの手
動操作で行われていた。

【0005】

【発明が解決しようとする課題】したがって、本発明
は、ドライバーの顔の位置に応じて自動的にミラーの角
度を最適に調整する装置を提供する。

【0006】

【課題を解決するための手段】上記課題を解決するため
に、この発明のミラー調整装置は、前記ドライバーを撮
影する1つまたは複数のカメラと、該カメラの画像出力
から該ドライバーの顔の特徴点および顔の向きを検出す
る検出手段と、該抽出された顔の特徴点と顔の向きに基
づいて該ドライバーが正面を向いたときの顔の位置を求
め、該求められた顔の位置に基づいて該ミラーの最適角
度を求める手段と、該ミラーを該求められた最適角度に
調整する手段と、を備え、ドライバーの顔の位置に応じ
てミラーの角度を調整するよう構成される。

【0007】この発明によると、ミラー調整装置がドラ
イバーの顔の位置を判断し、その顔位置に応じてミラー
を最適角度に調整するので、ドライバーが自身でミラー
の角度を調整する作業を無くすことができる。

【0008】この発明の1つの形態によると、前記ミラ
ー調整装置は、前記顔向き検出手段および前記最適角度
を求める手段が実時間で動作し、該最適角度を求める手
段で求められた最新の最適角度に基づいて前記ミラーの
角度を再調整するかどうかを判断する判断手段を備える
よう構成される。

【0009】この形態によると、ミラー調整装置は、実
時間でドライバーの顔の位置を判断し、その顔位置に応
じてミラーを最適角度に調整するかどうかを判断するこ
とができる。したがって、運転中にドライバーの姿勢が
変化した場合にも、その姿勢変化に応じてミラーを最適
角度に調整することができる。

【0010】この発明の1つの形態によると、前記ミラ
ー調整装置の前記顔向き検出手段は、予め定めた1つま
たは複数の顔の特徴部分の基準画像および該基準画像に
対応する座標を含む特徴点を格納する特徴点データベー
スと、前記特徴部分の基準画像をテンプレートにして前
記カメラの画像出力から該特徴部分の基準画像に対応す
る画像領域を抽出する抽出手段と、前記抽出された画像
領域に基づいて、前記抽出された画像領域の座標を求め
る手段と、前記求められた画像領域の座標と前記基準画
像に対応する座標から前記ドライバーの顔の向きを検出
する手段と、を含むよう構成される。

【0011】この形態によると、予め記憶された顔の特
徴点と入力画像との照合によって入力画像からドライバ
ーの顔の特徴点が抽出され、この抽出された特徴点を利
用してドライバーの顔の向きと位置を精度良く検出する
ミラー調整装置を提供することができる。

【0012】この発明の1つの形態によると、前記ミラ
ー調整装置は、前記ドライバーの顔に赤外光を照射する
よう設置された照明手段を備えるよう構成される。

【0013】この形態によると、赤外光を照明として使
用することにより、可視光を使用して得られる画像と比
較して照明変動に対して影響の少ない画像が得られ、か
つドライバーの瞳孔を明瞭に抽出することが可能なミラ
ー調整装置を提供することができる。

【0014】この発明の1つの形態の装置は、ドライバ
ーを撮影する1つまたは複数のカメラと、該カメラの画
像出力から該ドライバーの顔の特徴点および顔の向きを
検出する検出手段と、該カメラの画像出力から該ドライ
バーの視線方向を検出する検出手段と、該顔の向きの検
出手段および該視線方向検出手段からの該ドライバーの
顔の特徴点、顔の向き、および視線方向に基づいて該ド
ライバーがミラーを見ているかどうかを判断する手段
と、他の車両の接近を検出する検出手段と、該判断手段
による判断に応じて他の車両の接近をドライバーに警告
する警告手段と、を備え、ドライバーの視線方向に応じ
て他の車両の接近を警告するよう構成される。

【0015】この形態の発明によると、ドライバーの顔
の位置を検出する手段が他の車両の接近を検出する手段
と組み合わされて構成されるので、運転中にドライバー
が他の車両に気づいていないときに、他の車両の接近を
警告する装置を提供することができる。

【0016】

【発明の実施の形態】次に本発明の実施例を図面を参照
して説明する。図1は、本発明によるミラー調整装置を
備えた自動車の1つの実施形態を示す。図1の自動車
は、画像入力部1、サイドミラー2、ルームミラー3、
ミリ波レーダ4、制御装置5、赤外線照射部6を備え
る。この実施形態では、運転席にいるドライバーの顔画
像が画像入力部1により撮影され、撮影された画像から
運転席でのドライバーの顔の位置が検出される。その検
出結果に基づいて、最適なミラーの角度が計算され、ア
クチュエータにそれぞれ連結されたサイドミラー2、ル
ームミラー3が自動で最適な角度に調整される。

【0017】画像入力部1は、ドライバーの前方に設置
された2台のビデオカメラからなる。後で詳細に述べる
ように、画像入力部1がドライバーの顔をステレオ視す
ることにより、ドライバーの顔の2次元的な画像認識だ
けでなく、3次元的な画像認識が可能になる。自動車
は、この3次元的な画像認識によって運転席でのドライ
バーの3次元的な位置を正確に認識することができる。

【0018】赤外線照射部6は、ドライバーの顔に赤外
線を照射するよう設置され、車内の照明変動によるビデ
オカメラ画像の画質劣化を低減するのに使用される。こ
の赤外線照射部6に関しても、後で詳細に説明する。

【0019】サイドミラー2、ルームミラー3は、一般
的な自動車で使用されるミラーであり、それぞれアクチ
ュエータに連結され、制御装置5の出力に応じてミラー
の角度を変化させることができる。ミラーの角度は、ミ
ラーに取り付けられたセンサー(例えばフォトインタラ
プタなど)を介して検出可能なように構成されている。

【0020】ミリ波レーダ4は、自動車の後部側面に設
置され、他の車両の接近を検出するために使用される。
この実施形態では、他の車両検出のためにミリ波を使用
するが、光、超音波などの他の検出手段で代替すること
も可能である。

【0021】図2は、本発明によるミラー調整装置の機
能ブロック図を示す。図2に示す顔向き・視線検出部1
1は、初期探索部13、顔向き検出部15、視線検出部
17を含み、ドライバーの顔の位置、顔の向き、視線方
向をリアルタイムで検出する。環境設定部19は、顔向
き・視線検出部11により検出されたドライバーの顔の
位置と顔向きに応じて、ミラーの最適角度を求め、各ア
クチュエータ(21、23)を制御する。さらに、環境
設定部19は、ミリ波レーダ4が他の車両29の接近を
検出した場合、顔向き・視線検出部11により検出され
た視線方向からドライバーがミラーを見ているかどうか
を判断し、ドライバーがミラーを見ていなければ警告手
段27によりドライバーに対して警告を発する。

【0022】これらの機能ブロックによって実行される
ミラー調整の処理は、大きく分けて2つの処理に分けら
れる。第1の処理は、ドライバーが運転席に座った直後
のミラー調整処理であり、第2の処理は、運転中のミラ
ー調整処理である。図3にドライバーが運転席に座った
直後のミラー調整処理のフロー図を示し、図8に運転中
のミラー調整処理のフロー図を示す。以下では、これら
の図を参照して、各ミラー調整処理と各機能ブロックの
概要を説明する。

【0023】図3を参照して、ドライバーが運転席に座
った直後のミラー調整処理を説明する。ステップ101
で、前方に設置された画像入力部1は、ドライバーの顔
が存在すると思われる空間を撮影し、その画像を顔向き
・視線検出部11に送る。ステップ103で、顔向き・
視線検出部11は、送られてきた入力画像中に人間の顔
が撮影されているかを探索する。後で詳細に述べるよう
に、顔向き・視線検出部11の初期探索部13は、入力
画像中から人間の顔が撮影されている領域を検出するこ
とができる。したがって、運転席にドライバーがいれば
入力画像中に人間の顔が存在するはずなので、顔向き・
視線検出部11は、入力画像からドライバーの顔領域を
検出することができる。

【0024】もし、運転席にドライバーが座っていない
場合、入力画像中に人間の顔が存在しないので、初期探
索部13は、入力画像からドライバーの顔領域を検出す
ることができない。この場合、初期探索部13は、新た
な入力画像を使用して人間の顔領域の探索を再び繰り返
す。この探索は、入力画像中に人間の顔が見つかるまで
繰り返される。したがって、この作業は、ドライバーが
運転席に座るまで続けられ、ドライバーが運転席に座っ
た時点で次のステップに進む。

【0025】ステップ103で初期探索部13が入力画
像からドライバーの顔を検出した場合、ステップ105
で顔向き検出部19は、その入力画像からドライバーの
顔の特徴点を抽出し、顔の位置と顔の向きを検出する。
顔の特徴点とは、眼、鼻、口、などの画像認識で認識す
ることが容易な特徴的な部分の局所的な画像のことであ
り、それぞれの局所的な画像は、画像入力部1の設置位
置(左右のビデオカメラのどちらかの設置位置、または
左右のカメラの中心)を基準にして、画像に撮影されて
いる対象物の3次元座標にそれぞれ関連付けられてい
る。本実施例における特徴点は、左右の目尻と目頭、口
の両端の6つあり、入力画像から切り取られたそれらの
局所的な画像と、それらの局所的画像に撮影されている
対象物(この場合、左右の目尻と目頭、口の両端)の位
置に対応する3次元座標が特徴点となる。顔の向きは、
ドライバーが正面を向いた状態を基準にし、3次元的な
角度として求められる。顔向き検出部19の顔の特徴点
の抽出および顔向きの検出処理は、後で詳細に説明す
る。

【0026】ステップ105でドライバーの顔の特徴点
と顔の向きが検出された場合、ステップ107で、環境
設定部19がドライバーにとって最適なミラーの角度を
計算する。この計算方法を以下に詳細に説明する。

【0027】図4は、ドライバー(33、35)が運転
席31に座っている状態を横から見た図である。この場
合、ルームミラー3の角度は、ドライバー33に対して
最適な角度に調整されている。したがって、ドライバー
33とは異なる体型のドライバー35が運転席に座った
場合では、このルームミラー3の角度は、ドライバー3
5に対して不適当であり、ルームミラー3の角度を再調
整する必要がある。

【0028】図5は、運転席に座っているドライバーを
上から見た頭部37とルームミラー3を示し、この図を
参照してルームミラー3の左右方向の最適角度の計算を
説明する。以下の説明では、車内における上下左右の3
次元座標は、2台のカメラのどちらかの設置位置を基準
原点とし、垂直方向をx軸、車の進行方向をz軸とす
る。y軸は、z軸に対して直交する水平方向(左右方
向)である。

【0029】ミラーの最適角度を求めるのに使用するド
ライバーの基準位置は、ドライバーの頭部で一意的に定
まる部分を基準に使用して構わないが、この実施例で
は、右眼を基準位置として使用した。したがって、ドラ
イバーがルームミラー3で後方を見ようとする場合、ル
ームミラーの最適調整角度θ’adjは、正面を向いた
ドライバーの右眼の位置39とルームミラーの中心位置
41との幾何的な位置関係によって定まる。

【0030】ここで、右眼の位置39からルームミラー
の中心位置41までのz軸方向の距離をZ’、そのy軸
方向の距離をY’とした場合、右眼の位置39とルーム
ミラーの中心位置41とを結ぶ直線とz軸とがなす角度
θ’は、θ’=tan−1(Y’/Z’)で表される。
したがって、図5に示すように最適角度の基準を垂直面
にとれば、ルームミラー3の最適調整角度は、θ’
adj=(180+θ’)/2で表される。画像入力部
1とルームミラー3との間のz軸方向の距離Lおよびy
軸方向の距離Wは、既知の一定の値であるので、右眼の
位置の座標を(X、Y、Z)とすると、Y’とZ’は、
それぞれY’=W−Y、Z’=Z−Lで表される。

【0031】図6は、ドライバーを横から見た図であ
り、この図を参照して上下方向のミラーの最適角度を求
める方法を説明する。図6に示すように上下方向のミラ
ーの最適角度の計算の場合にも、左右方向の場合と同様
の幾何計算から最適角度を求めることができる。この場
合、右眼の位置39からルームミラーの中心位置41ま
でのz軸方向の距離をZ’、そのx軸方向の距離をX’
とした場合、右眼の位置39とルームミラーの中心位置
41とを結ぶ直線とz軸とがなす角度θは、θ=tan
−1(X’/Z’)で表される。したがって、図6に示
すように最適角度の基準を水平面にとれば、ルームミラ
ー3の最適調整角度は、θadj=(180+θ)/2
で表される。画像入力部1とルームミラー3との間のz
軸方向の距離Lおよびx軸方向の距離Hは、既知の一定
の値であるので、右眼の位置の座標を(X、Y、Z)と
すると、X’とZ’は、それぞれX’=H−X、Z’=
Z−Lで表される。

【0032】したがって、正面を向いたドライバーの右
眼の3次元座標(X、Y、Z)さえ求まれば、ルームミ
ラー3の最適な調整角度を求めることができる。サイド
ミラー2の最適角度の計算もルームミラー3の場合と同
様の幾何計算で求められる。

【0033】次に正面を向いたドライバーの右眼の3次
元座標(X、Y、Z)を求める方法を説明する。画像入
力部1で撮影された瞬間のドライバーの顔は、必ずしも
完全に正面を向いているとは限らない(例えば少しうつ
むいた状態の画像)。したがって、その瞬間の画像に撮
影されている右眼の位置を基準座標としてミラーの最適
角度を計算した場合、運転時のドライバーのミラーの最
適角度とは異なる場合が生ずる。そのため撮影された画
像から、ドライバーが正面を向いたときの右目の3次元
座標を求める必要がある。

【0034】入力画像中のドライバーの右の目尻と右の
目頭の3次元座標は、顔向き・視線検出部11により特
徴点として既に得られている。したがって、右の目尻の
3次元座標と右の目頭の3次元座標とを結ぶ直線の中点
を右目の中心位置とする。さらに、顔向き・視線検出部
11により、入力画像のドライバーの顔の位置と顔向き
が得られているので、それらの情報に基づいて適当な座
標変換を実行することにより、正面を向いたときのドラ
イバーの右眼の位置を求めることができる。

【0035】本実施例のステップ107では、環境設定
部19は、顔向き・視線検出部11により得られた入力
画像中のドライバーの顔の位置、顔の向きの情報に基づ
いて、正面を向いたドライバーの右目の位置(X,Y,
Z)を求め、その右目の位置(X,Y,Z)から最適なミ
ラー角度を計算する。

【0036】ステップ107でミラーの最適角度が求め
られた後で、ステップ109において環境設定部19
は、接続された各アクチュエータを制御し、ミラーを最
適角度に調整する。ミラーが最適角度に調整された場
合、ステップ111に処理が進み、運転中のミラー調整
処理に移行する。

【0037】次に運転中のミラー調整処理を説明する。
図7は、運転中のドライバーの姿勢変化を示す図であ
る。図7に示す様にドライバーの姿勢43は、長時間の
運転の間に異なる姿勢45に変化する場合がある。その
ような場合では、ドライバーの姿勢に応じてルームミラ
ー3の最適角度も変化する。したがって、運転中のミラ
ー調整処理では、主にドライバーの運転姿勢変化をドラ
イバーの顔の位置から判断し、その位置に応じてミラー
3の角度を補正する。さらに、運転中に他の車両が接近
してきたときにドライバーがミラーを見ていなかった場
合、ドライバーに他の車両が接近していることを警告す
る処理も同時に実行する。

【0038】運転中のミラー調整処理では、ドライバー
の運転中、図8に示すステップ201からステップ21
5のループが繰り返される。最初に、ステップ201
で、環境設定部19は、顔向き・視線検出部11からド
ライバーの顔の位置、顔の向きに関する情報を読み取
る。次にステップ203で、顔向き・視線検出部11か
らの顔の位置と顔の向きの情報に基づいて、最適なミラ
ーの角度が計算される。ここでのミラーの最適角度の計
算は、ステップ107で処理されたものと同様である。
次に、ステップ205で、環境設定部19は、計算され
たミラーの最適角度と現在のミラーの角度とを比較し
て、現在のミラーの角度が最適かどうかを判断する。現
在のミラーの角度が最適とみなせる範囲内であれば、ス
テップ209に進む。ミラーの角度が最適とみなせる範
囲内に無い場合には、ステップ207に進み、ミラーの
角度が最適角度に調整される。これにより、運転中にド
ライバーの姿勢が変化しても、ミラーの角度は、常に最
適の角度に維持される。

【0039】ステップ209では、他の車両が接近して
いるかどうかが判断される。この他の車両の接近は、自
動車に取り付けられたミリ波レーダ4により検出され
る。図1に示すように、ミリ波レーダ4は、自動車後方
の両側面に取り付けられており、他の車両の位置を検出
することができる。環境設定部19は、図9に示すよう
に予め定めた範囲(55、57)に他の車両53が進入
したことをミリ波レーダ4が検出した場合に他の車両5
3が接近していると判断する。他の車両が接近していな
いと判断された場合には、ステップ201に戻り、顔向
きし線検出部11からの新しい情報に基づいて再び一連
の処理が繰り返される。

【0040】他の車両が接近していると判断された場
合、ステップ210で、環境設定部19は、顔向き・視
線検出部11からドライバーの視線方向を読み取る。こ
こで検出された視線方向は、3次元ベクトルとして与え
られ、ドライバーがミラーを見ているかどうかを判断す
るために使用される。この視線検出部17が視線方向を
検出する処理は、後で詳細に説明される。

【0041】ステップ213では、ドライバーの視線方
向からドライバーがミラーを見ているかが判断される。
この判断方法を図10を参照して説明する。運転席にお
けるミラーの設置位置は、既知の3次元座標71であ
る。ドライバーの顔の位置座標75も既に得られている
ので、ミラーの設置座標71と顔位置座標75とを結ぶ
ベクトル73を得ることができる。顔向き・視線検出部
11からの視線方向は、ステップ210で3次元ベクト
ルとして得られているので、このベクトル73と視線方
向ベクトル77のなす角度が0°近辺であれば、ミラー
を見ていると判断がなされる。ベクトル73と視線方向
ベクトル77のなす角度の判断基準は、ミラーのサイ
ズ、視線ベクトルの検出精度などを考慮して予め設定さ
れる。

【0042】ステップ213でドライバーがミラーを見
ていると判断された場合には、ドライバーが他の車両の
接近に気づいている可能性が高いので、ステップ201
に戻り、顔向き視線検出部11からの新しい情報に基づ
いて再び一連の処理が繰り返される。ドライバーがミラ
ーを見ていないと判断された場合には、ドライバーが他
の車両の接近を気づいていない可能性があるので、ステ
ップ215に進み、任意の警告手段27がドライバーに
対して警告を与える。ステップ215の後では、ステッ
プ201に戻り、顔向き視線検出部11からの新しい情
報に基づいて再び一連の処理が繰り返される。

【0043】次に、本実施例で使用した画像入力部1と
赤外照射部6を詳細に説明する。

【0044】本実施例では、車内の照明変動による画像
の劣化を低減するために、赤外線照射部6を使用する。
したがって、図1に示す赤外線照射部6は、近赤外光を
ドライバーの顔に照射するようドライバーの前面に設置
される。

【0045】近赤外光を照明として使用する第1の理由
は、照明変動に対するロバスト性を向上させることにあ
る。一般に自動車などの車内の明るさは、屋内外、また
は日中や夜間などの環境変化によって大きく変動する。
また、一方向から強い可視光がドライバーの顔に当たる
場合には、ドライバーの顔面上に陰影のグラデーション
が発生する。このような照明の変動や陰影のグラデーシ
ョンは、画像認識の精度を著しく悪化させる。したがっ
て、本実施例では、ドライバーの正面から赤外線照射部
6により近赤外光を照射して、その近赤外光で画像を撮
影することによって、周囲からの可視光による顔面上の
陰影のグラデーションを低減する。これにより、本実施
例は、可視光を使用して得られる画像と比較して照明変
化による影響を受けにくい利点があり、画像認識の精度
を向上させることができる。

【0046】近赤外光を使用する第2の理由は、ドライ
バーの瞳孔を明瞭に抽出することが可能な点にある。ド
ライバーの瞳の位置は、視線方向を検出するために使用
されるので、瞳を明瞭に撮像することは、非常に重要で
ある。

【0047】図11は、画像入力部1の実施例を示す。
この実施例では、撮影対象を立体視するために従来技術
のステレオ法を利用する。したがって、画像入力部1
は、ドライバーの前方に設置された2台のビデオカメラ
(61、62)を備える。2台のビデオカメラは、ステ
レオ視でドライバーの顔を撮影することができるよう所
定の位置に固定される。前述したように照明として近赤
外光を使用するので、これらのビデオカメラは、近赤外
光以外の波長の可視光を遮断する可視光遮断フィルタ6
3などで波長帯域をそれぞれ制限される。各ビデオカメ
ラは、カメラ・コントロール・ユニット(65、66)
を介してそれぞれ制御される。各カメラ・コントロール
・ユニットは、外部同期信号線を通じて接続され、この
同期信号によって左右のビデオカメラの同期がとられ
る。顔向き・視線検出部11は、この様にして撮影され
た画像を入力画像として使用することによって、2次元
的な物体認識だけでなく、3次元的な物体認識を処理す
ることができる。

【0048】図11に示すように、画像入力部1で撮影
された画像は、従来の画像処理ボード68を介して様々
に処理されてもよい。例えば、図3の画像処理ボード6
8は、NTSC方式のビデオ信号の入力ポートとして機
能するだけでなく、画像を蓄積するメモリおよび複雑な
画像処理を実行するハードウェア回路を備え、一般的な
画像処理アルゴリズムを高速に実行することができる。
例えばハードウェア回路による画像処理アルゴリズムに
は、斜方投影機構、ハフ変換、2値画像マッチングフィ
ルタ、アフィン変換(画像の回転、拡大、縮小)などの
処理が含まれる。この様な画像処理ボード68の使用
は、画像処理ボード68が画像処理の一部を担うことに
よってECUの演算を緩和し、高速な画像処理を可能に
する。この実施例では、ECUによって画像処理ボード
68が制御されて画像の処理が行われ、図2に示す顔向
き・視線検出部の機能が実現される。

【0049】次に顔向き・視線検出部11を詳細に説明
する。図2に示すように顔向き・視線検出部11は、初
期探索部13、顔向き検出部15、視線検出部17を含
み、ドライバーの顔の位置、顔の向き、視線方向を検出
する。図12と図13は、顔向き・視線検出部11の処
理の全体的なフロー図を示す。初期探索部13、顔向き
検出部15、視線検出部17は、それぞれ関連して動作
し、連続的に撮影される入力画像から顔向きと視線方向
をリアルタイムで検出することができる。

【0050】図12は、初期探索部13の処理のフロー
図を示す。顔向き検出部15の処理は、図13のステッ
プ311からステップ317で示され、視線検出部17
の処理は、図13のステップ321からステップ325
で示される。ドライバーの顔向きと視線方向のリアルタ
イム検出は、図13に示すステップ311からステップ
325のループ処理により実現される。図12に示す初
期探索部13は、顔向き・視線検出の開始直後の最初の
初期化とリアルタイムでの顔向き・視線方向検出のエラ
ー回復のために使用される。

【0051】図12を参照して初期探索部13の処理を
説明する。初期探索部13は、入力された画像から人間
の顔が撮影されている画像領域をおおまかに探索する。
ここでの処理は、顔向き検出部15のための前処理とも
いえる。初期探索部13が、顔向き検出部15の処理の
前に、入力画像から顔が撮影されている領域をおおまか
に探索することにより、顔向き検出部15は、入力画像
中の顔の詳細な解析を高速に実行することができる。

【0052】最初に、ステップ301で画像入力部1か
ら画像が入力される。次にステップ303で、入力画像
全体から人間の顔が撮影されている領域がおおまかに探
索される。これは、予め記憶された初期探索用テンプレ
ート67を使用して2次元テンプレート・マッチングで
実行される。

【0053】初期探索用テンプレート67の例を図14
に示す。初期探索用テンプレート67に使用される画像
は、正面を向いた人間の顔を部分的に切り取った画像で
あり、この部分的画像には目、鼻、口などの人間の顔の
特徴的な領域が1つのテンプレートとして含まれてい
る。この初期探索用テンプレート67は、テンプレート
・マッチングでの処理速度を高めるために、予め低解像
度化された画像として記憶されている。さらに、初期探
索用テンプレート67は、照明変動の影響を低減するた
めに微分画像にされている。このテンプレートは、複数
のサンプルから作成され予め記憶されている。

【0054】ステップ303での探索は、右ビデオカメ
ラか、または左ビデオカメラのどちらかの画像に対して
実行される。以下では、右ビデオカメラの画像を使用し
た2次元テンプレート・マッチングの例を述べる。

【0055】右ビデオカメラの画像を使用したテンプレ
ート・マッチングの場合、その右画像に対して初期探索
用テンプレート67を使用したテンプレート・マッチン
グが実行される。ここでマッチした右画像内の領域は、
入力画像中の顔の候補となる。この顔候補をテンプレー
トとして、同様のテンプレート・マッチングが左画像に
対して実行され、そのステレオ・マッチングの結果から
顔候補の3次元的な位置が求められる(ステップ30
5)。

【0056】ステップ307において、これらの処理結
果が評価され、入力画像から顔領域が検出されたかどう
か判断がなされる。入力画像から顔領域が見つかったと
判断された場合、顔向き検出部15の処理に移る(ステ
ップ309)。初期探索部13で顔領域が見つからなか
った場合、新しい入力画像を使用して一連の処理が繰り
返される。初期探索部13は、人間の顔が画像入力部1
によって撮影されるまで、この一連の処理を繰り返す。

【0057】次に図13を参照して顔向き検出部15と
視線検出部17の処理を説明する。先に述べたように、
顔向き・視線検出部11は、ドライバーの顔向きと視線
方向をリアルタイムで検出するために、図6に示すステ
ップ311からステップ325のループを繰り返す。顔
向き検出部15は、予め定めた特徴点を入力画像から抽
出し、それらの特徴点から顔の3次元位置と顔の向きを
求めることができる。視線検出部17は、顔向き検出部
15で得られた特徴点と顔向きに基づき、入力画像から
顔の視線方向を検出する。

【0058】顔向き検出部15は、ステップ311で、
入力画像からテンプレート・マッチングにより顔の特徴
点を探索する。この探索に使用されるテンプレートは、
データベースに予め記憶された3次元顔特徴点モデルか
らの画像を使用する。図15に3次元顔特徴点モデル6
9の例を示す。

【0059】本実施例における3次元顔特徴点モデル6
9は、正面を向いた人間の顔の特徴的な部分を画像から
局所的に切り取った部分的画像(81〜91)から生成
される。例えば顔特徴点の画像は、図15に示すよう
に、左の目尻81、左の目頭83、右の目尻87、右の
目頭85、口の左端89、口の右端91などのように、
予め用意された顔画像から局所的に切り取られて生成さ
れる。これらの部分的画像のそれぞれは、その画像内で
撮影されている対象物(この例では、左右の目尻と目
頭、口の両端)の3次元位置を表す3次元座標に関連付
けられデータベースに記憶されている。本明細書では、
これらの3次元座標を有した顔の特徴領域の部分的画像
を顔特徴点と呼び、これらの複数の顔特徴点から生成さ
れる顔モデルを3次元顔特徴点モデル69と呼ぶ。これ
らの3次元顔特徴点モデル69は、複数のサンプルから
生成されデータベースに予め記憶されている。

【0060】ステップ311で、顔向き検出部15は、
3次元顔特徴点モデル69に対応する画像領域を入力画
像から探索する。これは、3次元顔特徴点モデル69の
各特徴点の画像をテンプレートとし、右画像に対して2
次元マッチングを行うことにより実行される。本実施例
では、ステップ311の探索の結果、右画像に撮影され
ている顔の左右の目頭と目尻、口の両端の6個の画像が
得られる。

【0061】ステップ313では、ステップ311の探
索から得られた各特徴点の画像をテンプレートとして、
入力画像の左画像に対してステレオ・マッチングが実行
される。これにより、3次元顔特徴点モデル69の各特
徴点に対応する入力画像の各特徴点の3次元座標が求め
られる。

【0062】この実施例の場合、探索された入力画像中
の顔の左右の目尻と目頭、口の両端の画像をテンプレー
トにして、ステレオ・マッチングが実行される。このス
テレオ・マッチングの結果、ドライバーの顔の左右の目
尻と目頭、口の両端の3次元座標がそれぞれ得られる。
したがって、これらの入力画像の特徴点の3次元座標か
ら運転席にいるドライバーの顔の3次元位置を求めるこ
とができる。

【0063】入力画像の各特徴点に関する3次元座標が
求められた後で、ステップ315で予め定めた判断基準
に基づいて特徴点の抽出が成功したかどうかがチェック
される。このステップ315で、もし入力画像から各特
徴点が見つからなかったと判断された場合には、初期探
索部13に戻り、新たな入力画像から顔が撮影されてい
る領域を探索する。

【0064】ステップ315で入力画像から各特徴点が
見つかったと判断された場合、ステップ317で3次元
顔特徴点モデル69を使用して3次元モデル・フィッテ
ィングが実行され、顔の向きが検出される。以下ではこ
の3次元モデル・フィッティングを説明する。

【0065】先に述べたように、予め記憶されている3
次元顔特徴点モデル69は、正面を向いた顔の特徴点か
ら生成されている。それに対して入力画像で撮影されて
いる顔は、必ずしも正面を向いているとは限らない。し
たがって、ステップ313で得られた入力画像の各特徴
点(観測点)の3次元座標は、正面を向いた3次元顔特
徴点モデル69の各特徴点の3次元座標から任意の角度
と変位だけずれを有している。したがって、正面を向い
た3次元顔特徴点モデル69を任意に回転、変位させた
ときに、入力画像の各特徴点と一致する角度と変位が入
力画像中の顔の向きと位置に相当する。

【0066】入力画像の各特徴点に3次元顔特徴点モデ
ル69をフィッティングする場合、フィッティング誤差
Eは、下記の式で表される。

【数1】 ここで、Nが特徴点の数であり、xがモデル内の各特
徴点の3次元座標であり、yが入力画像からの各特徴
点の3次元座標を表す。ωは、各特徴点に関する重み
付け係数であり、入力画像から特徴点の3次元位置を求
めたときのステレオ・マッチングにおける相関値を利用
する。この相関値を利用することによって、それぞれの
特徴点の信頼度を考慮することができる。回転行列は、
R(φ,θ,ψ)であり、位置ベクトルは、t(x,
y,z)で表され、これらが、この式における変数とな
る。

【0067】したがって、上記の式におけるフィッティ
ング誤差Eを最小にする回転行列Rと位置ベクトルtを
求めれば、入力画像の顔向きと顔位置が求められる。こ
の演算は、最小二乗法または仮想バネモデルを使用した
フィッティング手法などを利用することによって実行さ
れる。

【0068】図13に示すステップ321から325
で、視線検出部17は、顔向き検出部15で得られた特
徴点と顔向きに基づき、入力画像から顔の視線方向を検
出する。この際、眼球は、3次元的な球でモデル化さ
れ、その球の中心位置が回転中心とされる。この3次元
眼モデルは、顔モデルに対する眼球の3次元的な相対位
置、眼球の半径、虹彩の半径をパラメータとする。図1
6に視線方向を求める方法の概略を示す。

【0069】ステップ321で、眼球の3次元的な中心
位置95が、顔向き検出部15の検出結果に基づいて求
められる。眼の中心位置95を求めるためのオフセット
・ベクトルは、左右の目の両端の特徴点(93、94)
を結ぶ直線の中点から眼の中心位置95に向かう3次元
ベクトルとして予め定められている(図16の
(1))。したがって、そのオフセット・ベクトル、眼
球の半径、顔の位置、顔の向きを使用して眼球の中心位
置95を求めることができる(図16の(2))。

【0070】眼球上の瞳の中心位置95は、既に目の両
端の位置(93、94)が入力画像の特徴点として求め
られているので、その両端の領域でハフ変換を実行する
ことにより容易に得られる(ステップ323)。視線方
向は、眼球の中心位置95と瞳の中心位置96とを結ぶ
3次元ベクトル(視線ベクトル)として求められる(ス
テップ325)。

【0071】本実施例では、左右に配置された2台のビ
デオカメラを画像入力部1として使用したので、右画
像、左画像それぞれに対して視線ベクトルを求めること
ができる。さらに、左右の眼のそれぞれに関して視線ベ
クトルを求めることができるので、合計4つの視線ベク
トルが求められる。本実施例では、この4つの視線ベク
トルの平均ベクトルを入力画像の視線方向として使用す
る。

【0072】ステップ325で、入力画像中の顔の視線
方向が検出された後で、ステップ311に戻り、新たな
入力画像を使用して一連の処理が繰り返される。この繰
り返しの結果、ドライバーの顔向き、顔位置、視線方向
の連続的な追従をリアルタイムで実行することが可能に
なる。

【0073】以上に、この発明の実施例について説明し
たが、この発明はこのような実施例に限定されるもので
はない。

【0074】

【発明の効果】この発明によると、運転席のドライバー
の顔の位置を自動的に検出し、検出されたドライバーの
顔の位置に応じてミラーの角度を最適に調整する装置が
提供される。

【図面の簡単な説明】

【図1】 本発明によるミラー調整装置を備えた自動車
の実施例。

【図2】 本発明によるミラー調整装置の機能ブロック
図。

【図3】 ドライバーが運転席に座った直後のミラー調
整処理のフロー図。

【図4】 ドライバーが運転席に座っている状態を横か
ら見た図。

【図5】 運転席に座っているドライバーを上から見た
頭部とルームミラーを示す図。

【図6】 運転席に座っているドライバーを横から見た
図。

【図7】 運転中のドライバーの姿勢変化を示す図。

【図8】 運転中のミラー調整処理のフロー図。

【図9】 他の車両の接近を検出する範囲を示す図。

【図10】 視線方向からドライバーがミラーを見てい
るかどうかを判断する方法を示す図。

【図11】 画像入力部の実施例

【図12】 初期探索部の処理のフロー図。

【図13】 顔向き検出部と視線検出部の処理のフロー
図。

【図14】 初期探索用テンプレートの例を示す図。

【図15】 3次元顔特徴点モデルの例を示す図。

【図16】 視線方向を求める方法を示す図。

【符号の説明】 1 画像入力部 2 サイドミラー 3 ルームミラー 4 ミリ波レーダー 5 制御装置 6 赤外線照射部 10 ドライバー 11 顔向き・視線検出部 19 環境設定部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) B60R 21/00 621 B60R 21/00 621D 621E 626 626A G06T 1/00 340 G06T 1/00 340A 7/00 300 7/00 300D 7/60 150 7/60 150P

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 ドライバーの顔の位置に応じてミラーの
    角度を調整する装置であって、 前記ドライバーを撮影する1つまたは複数のカメラと、 前記カメラの画像出力から前記ドライバーの顔の特徴点
    および顔の向きを検出する検出手段と、 前記抽出された顔の特徴点と顔の向きに基づいて前記ド
    ライバーが正面を向いたときの顔の位置を求め、該求め
    られた顔の位置に基づいて前記ミラーの最適角度を求め
    る手段と、 前記ミラーを前記求められた最適角度に調整する手段
    と、を備えるミラー調整装置。
  2. 【請求項2】 前記顔向き検出手段および前記最適角度
    を求める手段は、実時間で動作し、該最適角度を求める
    手段で求められた最新の最適角度に基づいて前記ミラー
    の角度を再調整するかどうかを判断する判断手段を備え
    る請求項1に記載のミラー調整装置。
  3. 【請求項3】 前記顔向き検出手段は、 予め定めた1つまたは複数の顔の特徴部分の基準画像お
    よび該基準画像に対応する座標を含む特徴点を格納する
    特徴点データベースと、 前記特徴部分の基準画像をテンプレートにして前記カメ
    ラの画像出力から該特徴部分の基準画像に対応する画像
    領域を抽出する抽出手段と、 前記抽出された画像領域に基づいて、前記抽出された画
    像領域の座標を求める手段と、 前記求められた画像領域の座標と前記基準画像に対応す
    る座標から前記ドライバーの顔の向きを検出する手段
    と、を含む請求項1に記載のミラー調整装置。
  4. 【請求項4】 前記ドライバーの顔に赤外光を照射する
    よう設置された照明手段を備える請求項1に記載のミラ
    ー調整装置。
  5. 【請求項5】 ドライバーの視線方向に応じて他の車両
    の接近を警告する装置であって、 前記ドライバーを撮影する1つまたは複数のカメラと、 前記カメラの画像出力から前記ドライバーの顔の特徴点
    および顔の向きを検出する検出手段と、 前記カメラの画像出力から前記ドライバーの視線方向を
    検出する検出手段と、前記顔の向きの検出手段および前
    記視線方向検出手段からの前記ドライバーの顔の特徴
    点、顔の向き、および視線方向に基づいて、前記ドライ
    バーがミラーを見ているかどうかを判断する手段と、 他の車両の接近を検出する検出手段と、 前記判断手段による判断に応じて他の車両の接近をドラ
    イバーに警告する警告手段と、を備える装置。
JP2001083505A 2001-03-22 2001-03-22 ミラー調整装置 Withdrawn JP2002274265A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001083505A JP2002274265A (ja) 2001-03-22 2001-03-22 ミラー調整装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001083505A JP2002274265A (ja) 2001-03-22 2001-03-22 ミラー調整装置

Publications (1)

Publication Number Publication Date
JP2002274265A true JP2002274265A (ja) 2002-09-25

Family

ID=18939309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001083505A Withdrawn JP2002274265A (ja) 2001-03-22 2001-03-22 ミラー調整装置

Country Status (1)

Country Link
JP (1) JP2002274265A (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338517A (ja) * 2003-05-15 2004-12-02 Toyota Motor Corp 車両デバイス制御装置
JP2006123735A (ja) * 2004-10-29 2006-05-18 Furukawa Electric Co Ltd:The アクティブシート
JP2007038790A (ja) * 2005-08-02 2007-02-15 Asahi Kasei Corp 車両用ミラーの鏡面角度調整方法およびその装置
JP2008194146A (ja) * 2007-02-09 2008-08-28 Toshiba Corp 視線検出装置及びその方法
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
CN102785617A (zh) * 2012-07-30 2012-11-21 程建英 汽车侧后视镜自动调节系统及方法
JP2013047019A (ja) * 2011-08-27 2013-03-07 Denso Corp 車両用ミラー制御装置
DE102012112625A1 (de) 2011-12-26 2013-06-27 Denso Corporation Spiegelsteuerung und computerlesbares Speichermedium
WO2013114871A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 運転支援装置及び運転支援方法
CN103507718A (zh) * 2012-06-26 2014-01-15 北汽福田汽车股份有限公司 车辆后视镜自动调节方法、后视镜自动调节系统及车辆
JP2016041576A (ja) * 2014-08-13 2016-03-31 センソリー・インコーポレイテッド 自動化された死角の可視化のための技術
JP2017502876A (ja) * 2014-02-24 2017-01-26 インテル コーポレイション 車両のミラー調整
CN110696712A (zh) * 2018-07-10 2020-01-17 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
WO2020066568A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 運転支援装置、運転支援方法、記録媒体
KR20200092739A (ko) * 2019-01-25 2020-08-04 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004338517A (ja) * 2003-05-15 2004-12-02 Toyota Motor Corp 車両デバイス制御装置
JP2006123735A (ja) * 2004-10-29 2006-05-18 Furukawa Electric Co Ltd:The アクティブシート
JP2007038790A (ja) * 2005-08-02 2007-02-15 Asahi Kasei Corp 車両用ミラーの鏡面角度調整方法およびその装置
JP4754294B2 (ja) * 2005-08-02 2011-08-24 旭化成株式会社 車両用ミラーの鏡面角度調整方法およびその装置
JP2011090702A (ja) * 2006-07-18 2011-05-06 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US8107688B2 (en) 2007-02-09 2012-01-31 Kabushiki Kaisha Toshiba Gaze detection apparatus and the method of the same
JP2008194146A (ja) * 2007-02-09 2008-08-28 Toshiba Corp 視線検出装置及びその方法
JP2013047019A (ja) * 2011-08-27 2013-03-07 Denso Corp 車両用ミラー制御装置
DE102012112625A1 (de) 2011-12-26 2013-06-27 Denso Corporation Spiegelsteuerung und computerlesbares Speichermedium
WO2013114871A1 (ja) * 2012-01-31 2013-08-08 株式会社デンソー 運転支援装置及び運転支援方法
CN103507718A (zh) * 2012-06-26 2014-01-15 北汽福田汽车股份有限公司 车辆后视镜自动调节方法、后视镜自动调节系统及车辆
CN102785617A (zh) * 2012-07-30 2012-11-21 程建英 汽车侧后视镜自动调节系统及方法
JP2017502876A (ja) * 2014-02-24 2017-01-26 インテル コーポレイション 車両のミラー調整
JP2016041576A (ja) * 2014-08-13 2016-03-31 センソリー・インコーポレイテッド 自動化された死角の可視化のための技術
CN110696712A (zh) * 2018-07-10 2020-01-17 广州汽车集团股份有限公司 汽车后视镜自动调节方法、装置、计算机存储介质与汽车
WO2020066568A1 (ja) * 2018-09-26 2020-04-02 日本電気株式会社 運転支援装置、運転支援方法、記録媒体
KR20200092739A (ko) * 2019-01-25 2020-08-04 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치
KR102161908B1 (ko) * 2019-01-25 2020-10-05 주식회사 에프에스솔루션 운전자 상태 모니터링 방법 및 장치

Similar Documents

Publication Publication Date Title
US10395097B2 (en) Method and system for biometric recognition
US8787628B1 (en) Spoof detection for biometric authentication
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
CN104200192B (zh) 驾驶员注视检测系统
KR101579100B1 (ko) 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
CN103770706B (zh) 动态后视镜显示特征
Birchfield Elliptical head tracking using intensity gradients and color histograms
Zhao et al. Stereo-and neural network-based pedestrian detection
Singh et al. Monitoring driver fatigue using facial analysis techniques
US8577093B2 (en) Long distance multimodal biometric system and method
JP4497133B2 (ja) 運転支援方法及び運転支援装置
US8165347B2 (en) Visual tracking eye glasses in visual head and eye tracking systems
JP3943591B2 (ja) 自動化された非侵入的な虹彩認識システムおよびその方法
JP5978639B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
EP1801730B1 (en) Method of detecting vehicle-operator state
EP1732028B1 (en) System and method for detecting an eye
US9418556B2 (en) Apparatus and method for displaying a blind spot
JP4763250B2 (ja) 物体検出装置
US6075557A (en) Image tracking system and method and observer tracking autostereoscopic display
KR101359660B1 (ko) 헤드업 디스플레이를 위한 증강현실 시스템
JP4708124B2 (ja) 画像処理装置
KR100414708B1 (ko) 화상합성장치 및 방법
EP1320830B1 (en) Facial image processing system
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
US8953849B2 (en) Method and system for biometric recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071128

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20090210