JP2017188764A - 車室内用カメラの設置支援方法および車室内用カメラ - Google Patents

Abstract

【課題】カメラ出力にもとづく画像を表示するディスプレイを用いることなく、運転者の顔を的確に撮影できる位置に容易に車室内用カメラを設置するよう支援することができる車室内用カメラの設置支援方法および車室内用カメラを提供する。【解決手段】本発明の一実施形態に係る車室内用カメラの設置支援方法は、車室内用カメラのプロセッサが実行する車室内用カメラの設置支援方法であって、撮像素子に運転席の被写体の顔を撮像させるステップと、撮像素子の出力にもとづいて、被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成するステップと、画像から目標を検出するステップと、目標があらかじめ画像内に設定された所定領域内に位置するように、画像内における目標の位置に応じて、ユーザが撮像素子の向きを修正するための情報をユーザに通知するステップと、を有する方法である。【選択図】 図８

Description

本発明の実施形態は、車室内用カメラの設置支援方法および車室内用カメラに関する。

最近、自動車などの車両には、車室内に運転者の顔を撮影するためのカメラ（以下、車室内用カメラという）を搭載したものが増えてきている。車室内用カメラの出力にもとづいて生成される運転者の顔の画像は、閉眼検出、脇見検出、個人認証など、様々な顔認識処理に利用することができる。

この種の車室内用カメラは、運転者の顔を的確に撮影できるように、たとえば運転者の顔に対して正対する位置に設置される。たとえば車両の工場出荷時に車室内用カメラをあらかじめ設けておくことができる場合は、カメラ出力にもとづく画像を所定のディスプレイに表示させるなど、様々な手法を駆使しながら、車両の種類に応じて運転者の顔を的確に撮影できる位置に車室内用カメラを設けることができる。

しかし、車両の工場出荷後に車室内用カメラをいわゆる後付けで設置する場合など、カメラ出力にもとづく画像を表示するディスプレイを簡単には利用できない場合には、画像を手がかりにすることができず、車室内用カメラの設置位置を決定することが難しい。

特開２００５−３０１７４２号公報

本発明が解決しようとする課題は、カメラ出力にもとづく画像を表示するディスプレイを用いることなく、運転者の顔を的確に撮影できる位置に容易に車室内用カメラを設置するよう支援することができる車室内用カメラの設置支援方法および車室内用カメラを提供することである。

本発明の一実施形態に係る車室内用カメラの設置支援方法は、上述した課題を解決するために、撮像素子およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの設置支援方法であって、前記撮像素子に運転席の被写体の顔を撮像させるステップと、前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成するステップと、前記画像から前記目標を検出するステップと、前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知するステップと、を有する方法である。

本発明の一実施形態に係る車室内用カメラが設置された車両の一例を示す外観図。 車室内用カメラの設置位置調整について説明するための図。 本実施形態に係る車室内用カメラの設置支援モードで利用される目標が、顔に直接設けられた反射板である場合の目標の一例を示す説明図。 （ａ）は目標が顔に装着された眼鏡に設けられた反射板である場合の目標の一例を示す説明図であり、（ｂ）は目標が顔に装着された眼鏡に設けられた光源である場合の目標の一例を示す説明図。 顔を含む画像を二値化処理した二値化画像様子の一例を示す説明図。 （ａ）は本発明の一実施形態に係る車室内用カメラの一構成例を示す側面図、（ｂ）は正面図。 主制御部のプロセッサによる機能実現部の構成例を示す概略的なブロック図。 主制御部のプロセッサにより、ディスプレイを用いることなく、運転者の顔を的確に撮影できる位置に容易に車室内用カメラを設置するよう支援する際の概略的な手順の一例を示すフローチャート。 図８のステップＳ２で実行される目標検出処理の手順の一例を示すサブルーチンフローチャート。 図８のステップＳ４で実行されるピッチ軸調整処理の手順の一例を示すサブルーチンフローチャート。 （ａ）は右目標および左目標が所定領域内にある場合の一例を示す説明図、（ｂ）は右目標および左目標が所定領域の上側に大きく位置ずれしている場合の一例を示す説明図、（ｃ）は（ｂ）に示す場合においてユーザに通知される設置支援情報の一例を示す説明図。 図８のステップＳ６で実行されるロール軸調整処理の手順の一例を示すサブルーチンフローチャート。 左目標の重心座標と右目標の重心座標のｙ座標が大きく異なる場合の一例を示す説明図。 図８のステップＳ３で実行されるフォーカス調整処理の手順の一例を示すサブルーチンフローチャート。 レンズと撮像素子との距離ｄと、二値化画像内の目標の面積Ｓおよび輝度との関係の一例を示す説明図。

本発明に係る車室内用カメラの設置支援方法および車室内用カメラの実施の形態について、添付図面を参照して説明する。

本発明の一実施形態に係る車室内用カメラはプロセッサを備え、本発明の一実施形態に係る車室内用カメラの設置支援方法は、車室内用カメラが備えたプロセッサにより実行される。

また、本発明の一実施形態に係る車室内用カメラのプロセッサは、運転者の顔画像を用いて顔認識処理を行う顔認識モードに加えて、ユーザによる車室内用カメラの設置位置調整を支援するための設置支援モードで動作することができる。なお、ユーザは運転者と同一でもよいし異なってもよい。

（構成）
図１は、本発明の一実施形態に係る車室内用カメラ１０が設置された車両１の一例を示す外観図である。なお、以下の説明では、カメラ光軸をｚ軸、水平軸をｘ軸、およびこれらの直交する軸をｙ軸とする（図１参照）。また、車室内用カメラ１０の向きをｘｙｚの各軸を中心に回転させる場合には、適宜、ｘ軸をピッチ軸、ｙ軸をヨー軸、ｚ軸をロール軸ということとする。また、車室内用カメラ１０の各コンポーネントの駆動電源は、車室内用カメラ１０に内蔵された図示しない１次電池や２次電池などの電源により与えられてもよいし、車両１から供給されてもよい。

車室内用カメラ１０は、車両１の運転席に座った運転者Ｄの顔Ｆを撮影できる位置に設けられればよい。図１には、車室内用カメラ１０が車両１のステアリングコラムカバー２の上面に設けられる場合の例を示したが、ダッシュボード３の上面、インストルメンタルパネル内などに設けられてもよい。

より好ましくは、車室内用カメラ１０は、運転者Ｄの顔Ｆを正面から撮影できるよう、カメラ光軸が運転者Ｄの顔Ｆの正中線と交わるように設けられることが好ましく、たとえばハンドル（ステアリングホイール）の回転軸を通るｙｚ平面上にカメラ光軸が位置するように設けられるとよい。

図２は、車室内用カメラ１０の設置位置調整について説明するための図である。

車室内用カメラ１０を設置するときには、ユーザは一般に、車室内用カメラ１０を仮に設置した後で、ピッチ軸、ヨー軸、ロール軸を中心として車室内用カメラ１０を一体として動かすことで車室内用カメラ１０の設置位置を調整するものと考えられる。

このとき、車室内用カメラ１０の撮像した画像を表示するディスプレイを簡単には利用できない場合には、ユーザは、画像を手がかりにしてピッチ軸、ヨー軸、ロール軸を中心とした回転の向きおよび量を把握することはできない。

そこで、本実施形態に係る車室内用カメラ１０は、顔認識モードに加えて設置支援モードで動作する。設置支援モードでは、運転席の被写体の顔Ｆに直接に設けられ、または顔Ｆの近傍に設けられた、目標（ターゲット）２０が用いられる。車室内用カメラ１０は、この目標２０を顔Ｆの両目の位置と関連づけられた処理ターゲットとすることにより、カメラ設置位置のずれ方向およびずれ量を検出する。そして、検出したずれ方向およびずれ量に応じて、車室内用カメラ１０を一体として動かして撮像素子３４の光軸の向きを顔Ｆの撮影に適した向きに修正させるための情報（以下、設置支援情報という）をユーザに通知する。

ここで、設置支援モードでは、運転席に位置する被写体は運転者Ｄなどの人物である必要はなく、たとえば運転者Ｄの顔Ｆと同じ位置に顔Ｆを有するダミー人形などを被写体としてもよい。一方、顔認識モードでは、運転者Ｄが運転席に位置することが前提となる。

図３は、本実施形態に係る車室内用カメラ１０の設置支援モードで利用される目標２０が、顔Ｆに直接設けられた反射板である場合の目標２０の一例を示す説明図である。また、図４（ａ）は目標２０が顔Ｆに装着された眼鏡に設けられた反射板である場合の目標２０の一例を示す説明図であり、（ｂ）は目標２０が顔Ｆに装着された眼鏡に設けられた光源である場合の目標２０の一例を示す説明図である。

目標２０としては、目標２０に対応する画素が、顔画像（顔Ｆを含む画像）内の他の画素よりも高輝度となるものが用いられる。たとえば、目標２０は、右目標２０Ｒおよび左目標２０Ｌの２つの円形反射板により構成され、運転席の被写体の顔Ｆの右目および左目の近傍下側に、それぞれ右目標２０Ｒおよび左目標２０Ｌが直接貼り付けられる（図３参照）。

また、図３には目標２０として円形の反射板を用いる場合の例を示したが、反射板の形状は円形に限られず、多角形など、どのような形状のものであってもよい。また、目標２０の数は２つに限られず、１つであってもよいし、３以上の複数であってもよい。目標２０が２以上の複数ある場合、１つの場合に比べて位置ずれ方向および位置ずれ量の検出精度を高めることができる。

また、目標２０は、顔Ｆの近傍に配置されてもよい。目標２０としての反射板を顔Ｆの近傍に配置する方法としては、たとえば顔Ｆに装着された眼鏡などの装着部材に反射板を設ける方法が考えられる（図４（ａ）参照）。

また、目標２０は、光源３１ａと同様の波長で発光する光源であってもよい。この場合、目標２０としての光源は、たとえば顔Ｆに装着された眼鏡などの装着部材に設けるとよい（図４（ｂ）参照）。目標２０として光源を用いる場合は、光源群３１の光源３１ａと同じ波長の光を発光する光源を用いる。また、目標２０として光源を用いる場合は、車室内用カメラ１０は光源群３１を備えずともよい。

目標２０を顔Ｆに直接にまたは顔Ｆの近傍に配置することにより、顔画像には目標２０の画像が含まれることになる。このため、車室内用カメラ１０は、顔画像における目標２０の座標に応じて設置位置のずれ方向およびずれ量を検出することができる。

図５は、顔Ｆを含む画像を二値化処理した二値化画像２１様子の一例を示す説明図である。なお、以下の説明では、図５に示すように、プロセッサによる処理対象となる顔画像が鏡像であり、左目標２０Ｌが顔画像内の左側に、右目標２０Ｒが顔画像内の右側に、それぞれ位置する場合の例を示す。なお、図５では、二値化画像２１の画素値がゼロの領域にハッチングを施して示した。

図５に示すように、撮像素子３４の光軸の向きが顔Ｆの撮影に適した向きであるときに右目標２０Ｒおよび左目標２０Ｌが二値化画像２１内で位置すべき領域として、あらかじめ所定領域２５が設定される。

目標２０に対応する画素は、顔画像内の他の画素よりも高輝度である。このため、顔画像を適切な閾値で二値化処理することにより、顔画像における目標２０を強調することができる。したがって、処理対象となる顔画像として二値化画像２１を用いることにより、車室内用カメラ１０は顔画像における目標２０の座標をより正確に求めることができる。

なお、プロセッサによる処理対象となる画像が鏡像であるか否かにかかわらず、ユーザには、目標２０を用いて検出したずれ方向およびずれ量に応じた設置支援情報は通知される一方で、プロセッサによる処理対象となる二値化画像２１などの画像は提示される必要はない。

図６（ａ）は、本発明の一実施形態に係る車室内用カメラ１０の一構成例を示す側面図であり、（ｂ）は正面図である。また、図７は、主制御部４０のプロセッサによる機能実現部の構成例を示す概略的なブロック図である。

車室内用カメラ１０は、光源群３１、レンズ３２、フィルタ３３、撮像素子３４、入力部３５、スピーカ３６、通知用光源３７、記憶部３８、および、プロセッサを備えた主制御部４０を有する。

光源群３１は、複数の光源３１ａを有する。光源群３１は、主制御部４０により各光源３１ａの発光を制御される。以下の説明では、光源３１ａがたとえば８８０ｎｍや９４０ｎｍをピーク波長にもつ近赤外光を発光する近赤外光光源である場合の例について示す。なお、光源３１ａとしては、近赤外光光源にかえて、可視光光源や紫外光光源を使用してもよい。

レンズ３２は、撮像素子３４に集光し、被写体の顔Ｆの像を撮像素子３４に結ぶために用いられる。車室内用カメラ１０は、フォーカス調整（ピント調整）が可能なように、レンズ３２と撮像素子３４との距離ｄがユーザにより変更可能に構成される。本実施形態では、ユーザがレンズ３２の位置を変更することでレンズ３２と撮像素子３４との距離ｄを変更可能なように、レンズ３２がレンズ支持筐体に支持される。レンズ３２と撮像素子３４との距離ｄが小さくなるほど、遠くの被写体を撮像可能となる（ピントがあう被写体の位置が遠くなる）。

フィルタ３３は、光源３１ａが発光する光を透過する。撮像素子３４は、少なくとも光源３１ａの発光波長を検出可能な感度を有し、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサにより構成される。撮像素子３４は、主制御部４０に制御されて、フィルタ３３を介して被写体を撮像して画像データを生成し、主制御部４０に与える。

なお、撮像素子３４は、可視光域と近赤外域との両方の感度を有したものを使用してもよい。この場合、フィルタ３３は可視光を遮り近赤外光を透過させるための第１の位置と、可視光を遮らない第２の位置との２つの位置のいずれかで位置決め可能に構成されるとよい。近赤外光を利用することにより、夜間やトンネルなど顔Ｆの照度が不足する場合でも鮮明な顔画像を取得することができる。

入力部３５は、たとえばボタンなどの一般的な入力装置により構成され、ユーザの操作に対応した操作入力信号を主制御部４０に出力する。また、入力部３５として音声入力用のマイクロフォンを用いてもよい。この場合、マイクロフォンはユーザによって入力された音声をデジタル音声信号に変換し、主制御部４０のプロセッサは、このデジタル音声信号を音声認識処理することによりユーザの入力した音声に応じた動作を行う。

スピーカ３６は、図６（ｂ）に示すように車室内用カメラ１０の筐体に設けられ、主制御部４０により制御されて、ユーザに対して車室内用カメラ１０を一体として動かして撮像素子３４の光軸の向きを顔Ｆの撮影に適した向きに修正させるための情報（設置支援情報）に対応した音声やビープ音を出力する。なお、以下の説明において、「音声」とは、聞き手に人の声として認識される音によりテキストデータを読み上げた音をいう。また、「音」は、「音声」を含むほか、「音楽」や「効果音（ビープ音など）」などを含むものとする。

通知用光源３７は、図６（ｂ）に示すように車室内用カメラ１０の筐体に設けられた可視光光源であり、主制御部４０により制御されて、設置支援情報に対応した態様（パターン）で発光する。通知用光源３７は、複数の光源を有してもよく、また複数の光源のそれぞれは互いに異なる色で発行してもよい。通知用光源３７が複数の光源を有する場合、１つの光源の場合に比べて発光パターン数を増やすことができる。

記憶部３８は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録媒体を含んだ構成を有し、これら記憶媒体内のデータの一部または全部は電子ネットワークを介してダウンロードされるように構成してもよい。

記憶部３８は、設置支援情報の具体的な通知内容を、あらかじめ記憶する（図７参照）。通知内容は、たとえば音声出力用のテキストデータや光源３１ａの発光パターン（発光の態様）などである。主制御部４０は、目標２０を用いて車室内用カメラ１０の設置位置のずれ方向およびずれ量を検出すると、この検出したずれ方向およびずれ量に対応する具体的な通知内容を記憶部３８から読み出す。そして、主制御部４０は、スピーカ３６および通知用光源３７の少なくとも一方を用いてこの具体的な通知内容を出力させることにより、検出したずれ方向およびずれ量に応じた設置支援情報をユーザに通知する。

主制御部４０は、たとえばプロセッサおよびＲＡＭならびにＲＯＭをはじめとする記憶媒体により構成され、この記憶媒体に記憶されたプログラムに従って車室内用カメラ１０の動作を制御する。

たとえば、主制御部４０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された設置支援プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、ディスプレイを用いることなく、運転者Ｄの顔Ｆを的確に撮影できる位置に容易に車室内用カメラ１０を設置するよう支援するための処理を実行する。

また、主制御部４０のプロセッサは、ＲＯＭをはじめとする記憶媒体に記憶された顔認識プログラムおよびこのプログラムの実行のために必要なデータをＲＡＭへロードし、このプログラムに従って、運転者Ｄの顔画像を用いて閉眼検出、脇見検出、個人認証などの様々な一般的な顔認識処理を実行する。

主制御部４０のＲＡＭは、プロセッサが実行するプログラムおよびデータを一時的に格納するワークエリアを提供する。主制御部４０のＲＯＭをはじめとする記憶媒体は、車室内用カメラ１０の起動プログラム、設置支援プログラム、顔認識プログラムや、これらのプログラムを実行するために必要な各種データを記憶する。なお、ＲＯＭをはじめとする記憶媒体は、磁気的もしくは光学的記録媒体または半導体メモリなどの、プロセッサにより読み取り可能な記録回路を含んだ構成を有し、これら記憶媒体内のプログラムおよびデータの一部または全部は、ネットワークを介してまたは光ディスクなどの可搬型記憶媒体を介して更新されてもよい。

図７に示すように、主制御部４０のプロセッサは、少なくともモード制御部４１、画像生成部４２、目標検出部４３、面積算出部４４、位置ずれ検出部４５、焦点ずれ検出部４６、通知部４７、および顔認識処理部４８として機能する。これらの各機能実現部４１−４８は、それぞれプログラムの形態で記憶媒体に記憶されている。

なお、本実施形態において、「プロセッサ」という文言は、たとえば、専用または汎用のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、または、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（たとえば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、およびＦＰＧＡ）等の回路を意味するものとする。プロセッサは、記憶媒体に保存されたプログラムを読み出して実行することにより、各種機能を実現する。

また、本実施形態では主制御部４０の単一のプロセッサが各機能を実現する場合の例について示したが、複数の独立したプロセッサを組み合わせて主制御部４０を構成し、各プロセッサが各機能を実現してもよい。また、プロセッサが複数設けられる場合、プログラムを記憶する記憶媒体は、プロセッサごとに個別に設けられてもよいし、１つの記憶媒体が全てのプロセッサの機能に対応するプログラムを一括して記憶してもよい。

モード制御部４１は、入力部３５を介したユーザ指示にもとづいて、車室内用カメラ１０の設置位置調整を支援するための設置支援モードと、運転者Ｄの顔画像を用いて顔認識処理を行う顔認識モードのいずれを実行すべきかを切り替えて画像生成部４２に指示する。

主制御部４０の機能実現部のうち、画像生成部４２は設置支援モードおよび顔認識モードのいずれのモードでも動作する。目標検出部４３、面積算出部４４、位置ずれ検出部４５、焦点ずれ検出部４６、および通知部４７は、設置支援モードで動作する。顔認識処理部４８は、顔認識モードで動作する。

画像生成部４２は、光源群３１および撮像素子３４を制御し、撮像素子３４が出力した画像データにもとづいて顔画像を生成する。

設置支援モードでは、運転席の被写体の顔Ｆに直接に、または顔Ｆの近傍に、目標２０が設けられる。このため、設置支援モードでは、画像生成部４２は、光源群３１を制御して目標２０を含む顔Ｆを照明しながら、撮像素子３４が出力した画像データにもとづいて、目標２０を含む画像を生成する。なお、目標２０が光源であり（図４（ｂ）参照）、かつ車室内用カメラ１０が光源群３１を備える場合、画像生成部４２は光源３１ａを点灯させずともよい。

以下の説明では、画像生成部４２が設置支援モードにおいて、目標２０を含む顔画像として、二値化画像２１を生成する場合の例について示す。

一方、顔認識モードでは、運転席には運転者Ｄが位置し、目標２０は用いられない。このため、顔認識モードでは、画像生成部４２は、撮像素子３４が出力した画像データにもとづいて、閉眼検出や脇見検出などの目的の顔認識処理に応じた画像処理を施して顔画像を生成する。

目標検出部４３は、設置支援モードで動作し、画像生成部４２から二値化画像２１を受け、二値化画像２１から所定面積以上の所定数の目標２０を検出して、その旨の情報を通知部４７に与える。本実施形態では、目標２０が右目標２０Ｒおよび左目標２０Ｌの２つであるため（図３、図４参照）、目標検出部４３は二値化画像２１から２つの目標２０Ｒおよび２０Ｌを検出する。また、目標検出部４３は、検出した目標２０の二値化画像２１内における面積が所定の面積よりも小さいと、目標２０が検出しやすくなるように、すなわち目標２０の二値化画像２１内の面積が所定の面積に近づくように、フレーム周期を維持しつつ露光時間が長くなるように撮像素子３４の露光時間を設定する。

設置支援モードは、車室内用カメラ１０がユーザにより仮に取り付けられた後の微調整に利用されると考えられる。このため、目標検出処理を最初に実行する場合であっても、顔画像には所定数の目標２０の全てが含まれているものと期待される。また、所定数の目標が含まれていない場合には、目標検出部４３からその旨の情報を通知部４７に与え、通知部４７からユーザにその旨を通知して、ユーザに仮取り付けをやり直させてもよい。

面積算出部４４は、目標検出部４３が検出した目標２０の二値化画像内における面積を求める。面積算出部４４は、求めた面積の情報を、目標検出処理では目標検出部４３に与え、フォーカス調整処理では焦点ずれ検出部４６に与える。

位置ずれ検出部４５は、まず、目標検出部４３が検出した右目標２０Ｒおよび左目標２０Ｌの二値化画像内における位置を求める。具体的には、たとえば位置ずれ検出部４５は、求める位置として、たとえば右目標２０Ｒおよび左目標２０Ｌのそれぞれの重心座標を求める。重心座標は、たとえば二値化画像２１のモーメント特徴から求めることができる。

次に、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌの少なくとも一方が、あらかじめ二値化画像２１に設定された所定領域２５の外にあるか否かを判定する（図５参照）。所定領域の外であれば、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌの所定領域２５からの位置ずれ方向および位置ずれ量を求める。そして、位置ずれ検出部４５は、所定領域２５内に位置するために要求される撮像素子３４の向きの修正方向および修正量を求めて、求めた修正方向および修正量の情報を通知部４７に与える。このとき、位置ずれ検出部４５は、簡略的に修正方向のみを求めてもよい。

また、位置ずれ検出部４５は、目標２０が複数の場合、所定領域２５内にあるか否かによらず、複数の目標２０が理想位置関係に対してロール軸を中心とする回転ずれを起こしているか否かを判定する。

たとえば、図３に示すように目標２０が右目標２０Ｒおよび左目標２０Ｌの２つの場合には、右目標２０Ｒおよび左目標２０Ｌのそれぞれの重心座標のｙ座標がほぼ同一である位置関係、すなわち互いの重心を結ぶ直線が水平である位置関係が理想的な位置関係である。このように、目標２０が複数ある場合は、重心座標どうしの理想位置関係を定義することができる。

そこで、位置ずれ検出部４５は、理想位置関係に対するロール軸を中心とする回転ずれ方向および回転ずれ量を求める。理想位置関係としては、たとえば全ての重心座標の重心（全体重心）を原点とした各重心座標の位置などを用いることができる。

そして、複数の目標２０が理想位置関係に対してロール軸を中心とする回転ずれを起こしていると、位置ずれ検出部４５は、理想位置関係に近づけるために要求される撮像素子３４のロール軸を中心とする回転の修正方向および修正量を求めて、求めた修正方向および修正量の情報を通知部４７に与える。

焦点ずれ検出部４６は、フォーカス調整処理を行う場合に、レンズ３２と撮像素子３４との距離ｄを変化させながら右目標２０Ｒの面積と左目標２０Ｌの面積の平均面積を求めることにより、顔Ｆにピントがあった距離ｄを検知して、その旨の情報を通知部４７に与える。距離ｄを変化させると、顔Ｆにピントがあう距離ｄで平均面積が最小になる。したがって、距離ｄの変化に応じた平均面積の変化にもとづいて顔Ｆにピントがあう距離ｄを検知できる。

また、距離ｄを変化させると、顔Ｆにピントがあう距離で右目標２０Ｒの輝度と左目標２０Ｌの輝度の平均輝度が最大となる。したがって、焦点ずれ検出部４６は、距離ｄの変化に応じた平均輝度の変化にもとづいて顔Ｆにピントがあう距離ｄを検知してもよい。また、平均面積と平均輝度の両方の変化にもとづいて顔Ｆにピントがあう距離ｄを検知してもよい。以下の説明では、焦点ずれ検出部４６が、距離ｄの変化に応じた平均面積の変化にもとづいて顔Ｆにピントがあう距離ｄを検知する場合の例を示す。

なお、フォーカス調整処理は、ユーザによって入力部３５を介して指示があった場合のみ実行されてもよいし、自動で所定のタイミングで実行されてもよい。また、レンズ３２と撮像素子３４との距離ｄが固定されている場合には、フォーカス調整処理は行われないとともに、主制御部４０は焦点ずれ検出部４６として機能せずともよい。

通知部４７は、目標２０があらかじめ二値化画像内に設定された所定領域２５内に位置するように、二値化画像２１内における目標２０の位置に応じて、ユーザが撮像素子３４の向きを修正するための情報をユーザに通知する。この通知は、たとえばスピーカ３６および通知用光源３７を介して行われる。

たとえば、目標検出部４３から所定面積以上の所定数の目標２０を検出して目標検出が終了した旨の情報を受けると、通知部４７は、この情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、目標検出が終了した旨の情報をユーザに通知する。

また、撮像素子３４の光軸の修正方向および修正量の情報を位置ずれ検出部４５から受けると、通知部４７は、この情報に対応する通知内容を記憶部３８から読みだして、スピーカ３６および通知用光源３７の少なくとも一方を用いて、読みだした通知内容を出力させる。この結果、通知部４７は、位置ずれ検出部４５が検出した位置ずれ方向および位置ずれ量に応じた設置支援情報（車室内用カメラ１０を一体として動かして撮像素子３４の光軸の向きを顔Ｆの撮影に適した向きに修正させるための情報）をユーザに通知することができる。

また、焦点ずれ検出部４６から顔Ｆにピントがあった旨の情報を受けると、通知部４７は、顔Ｆにピントがあった旨の情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、顔Ｆにピントがあった旨の情報をユーザに通知する。

顔認識処理部４８は、撮像素子３４の出力にもとづいて生成した顔画像を用いて顔認識処理を実行する。

（動作）
次に、本実施形態に係る車室内用カメラ１０の設置支援方法および車室内用カメラ１０の動作の一例について説明する。

（動作の概略）
図８は、主制御部４０のプロセッサにより、ディスプレイを用いることなく、運転者Ｄの顔Ｆを的確に撮影できる位置に容易に車室内用カメラ１０を設置するよう支援する際の概略的な手順の一例を示すフローチャートである。図８において、Ｓに数字を付した符号はフローチャートの各ステップを示す。

まず、ステップＳ１において、モード制御部４１は、入力部３５を介したユーザ指示にもとづいて、設置支援モードと顔認識モードのいずれを実行すべきかを判定する。設置支援モードを実行すべき場合は、ステップＳ２に進む。一方、顔認識モードを実行すべき場合は、ステップＳ８に進む。

次に、ステップＳ２において、プロセッサは目標検出処理を実行する。目標検出処理の詳細については図９を用いて後述する。

次に、ステップＳ３において、プロセッサはフォーカス調整処理を実行する。なお、ステップＳ３は、ユーザによって入力部３５を介して指示があった場合のみ実行されてもよい。また、レンズ３２と撮像素子３４との距離ｄが固定されている場合には、ステップＳ３は実行されない。フォーカス調整処理の詳細については図１４および１５を用いて後述する。

次に、プロセッサはピッチ軸調整処理（ステップＳ４）、ヨー軸調整処理（ステップＳ５）、ロール軸調整処理（ステップＳ６）を実行することにより、ディスプレイを用いることなく車室内用カメラ１０のみで、ユーザによる撮像素子３４の光軸向きの調整を支援する。ピッチ軸調整処理およびヨー軸調整処理の詳細については図１０、１１を用いて後述する。また、ロール軸調整処理の詳細については図１２、１３を用いて後述する。

次に、プロセッサは入力部３５を介してユーザから終了すべき旨の指示を受けたか否かなど、一連の手順を終了すべきか否かを判定し、まだ終了すべきでない場合は（ステップＳ７のＮＯ）、ステップＳ１に戻る。一方、終了すべき場合は（ステップＳ７のＹＥＳ）一連の手順を終了する。

他方、ステップＳ１で顔認識モードを実行すべきと判定された場合は、ステップＳ８において、顔認識処理部４８は、撮像素子３４の出力にもとづいて生成した顔画像を用いて顔認識処理を実行する。

以上の手順により、ディスプレイを用いることなく、運転者Ｄの顔Ｆを的確に撮影できる位置に容易に車室内用カメラ１０を設置するよう支援することができる。

なお、図８のステップＳ３−６は、図示した順番で実行される場合に限らず、どの順番で実行されても同様の効果を奏する。

（目標検出処理）
続いて、目標検出処理について説明する。図９は、図８のステップＳ２で実行される目標検出処理の手順の一例を示すサブルーチンフローチャートである。

ステップＳ２１において、目標検出部４３は、光源群３１の光源３１ａを所定の輝度で発光させる。なお、以下の説明では、図８に示す手順が終了するまで、ステップＳ２１で開始した発光を停止させずにステップＳ２１移行の処理に並行して光源３１ａを点灯させ続ける場合の例を示すが、光源３１ａは少なくとも撮像の露光時間に発光していればよく、露光タイミングに合わせて光源３１ａの点灯、消灯制御を行ってもよい。

次に、ステップＳ２２において、目標検出部４３は、光源３１ａの発光輝度に応じて撮像素子３４の露光時間を設定する。

次に、ステップＳ２３において、撮像素子３４は画像生成部４２に制御されて目標２０を含む顔Ｆを撮像する。また、画像生成部４２は、撮像素子３４の出力にもとづいて目標２０を含む二値化画像２１を生成する（図５参照）。

次に、ステップＳ２４において、目標検出部４３は、二値化画像２１の画素のうち、画素値が１の連結部分を目標２０として検出する。

次に、ステップＳ２５において、面積算出部４４は、目標検出部４３が検出した目標２０の二値化画像内における面積を求め、求めた面積の情報を目標検出部４３に与える。そして、目標検出部４３は、所定の面積以上の連結成分が２つ検出されたのか否かを判定する。

所定の面積以上の連結成分が２つ以上検出されていた場合は、目標検出が終了した旨の情報を通知部４７に与えてステップＳ２６に進む。そして、ステップＳ２６において通知部４７は、目標検出が終了した旨の情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、目標検出が終了した旨の情報をユーザに通知し、図８のステップＳ３に進む。

一方、ステップＳ２５において所定の面積以上の連結成分が２つ検出されていない場合は、ステップＳ２７に進む。そして、ステップＳ２７において、目標検出部４３は、目標２０の二値化画像２１内の面積が所定の面積に近づくように、フレーム周期を維持しつつ露光時間が長くなるように撮像素子３４の露光時間を設定して、ステップＳ２３に戻る。

以上の手順により、目標２０の検出に適した露光時間を設定することができ、二値化画像２１内から所定面積以上の所定数の目標２０を確実に検出することができる。

（ピッチ軸調整処理、ヨー軸調整処理）
続いて、ピッチ軸調整処理について説明する。図１０は、図８のステップＳ４で実行されるピッチ軸調整処理の手順の一例を示すサブルーチンフローチャートである。なお、図９のステップＳ５で実行されるヨー軸調整処理は、位置ずれ方向が異なる以外はピッチ軸調整処理と同じ手順であるため説明を省略する。

また、図１１（ａ）は、右目標２０Ｒおよび左目標２０Ｌが所定領域２５内にある場合の一例を示す説明図であり、（ｂ）は右目標２０Ｒおよび左目標２０Ｌが所定領域２５の上側に大きく位置ずれしている場合の一例を示す説明図である。また、図１１（ｃ）は、（ｂ）に示す場合においてユーザに通知される設置支援情報の一例を示す説明図である。

ステップＳ４１において、撮像素子３４は目標２０を含む顔Ｆを撮像する。また、画像生成部４２は、撮像素子３４の出力にもとづいて目標２０を含む二値化画像２１を生成する。なお、図１１では、二値化画像２１の画素値がゼロの領域のハッチングを省略した。

次に、ステップＳ４２において、目標検出部４３は、二値化画像２１から右目標２０Ｒおよび左目標２０Ｌを検出する。

次に、ステップＳ４３において、位置ずれ検出部４５は、二値化画像２１のモーメント特徴を用いて、右目標２０Ｒおよび左目標２０Ｌのそれぞれの重心座標を求める。

次に、ステップＳ４４において、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌの重心座標の両方が、所定領域２５の上下範囲内にあるか否か（ヨー軸調整処理では左右範囲内にあるか否か）を判定する。

右目標２０Ｒおよび左目標２０Ｌの重心座標の両方が所定領域２５の上下範囲内にある場合は（図１１（ａ）参照）、ピッチ軸調整が終了した旨の情報を通知部４７に与えてステップＳ４５に進む。そして、ステップＳ４５において通知部４７は、ピッチ軸調整が終了した旨の情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、その旨の情報をユーザに通知し、図８のステップＳ５に進む。

そして、続いて図８のステップＳ５で上記ピッチ軸調整と同様のヨー軸調整が終了した旨の通知が行われると、図８のステップＳ６に進む。

一方、右目標２０Ｒおよび左目標２０Ｌの重心座標の両方が所定領域２５の上下範囲外にある場合はステップＳ４６に進む。このとき、通知部４７はピッチ軸調整を開始する旨の通知を行ってもよい（図１１（ｂ）参照）。以下の説明では、右目標２０Ｒおよび左目標２０Ｌが所定領域２５の上側に大きく位置ずれしている場合の例を示す（図１１（ｂ）参照）。

次に、ステップＳ４６において、位置ずれ検出部４５は、所定領域２５に対する右目標２０Ｒおよび左目標２０Ｌの重心座標の位置ずれ方向および位置ずれ量を求める。

次に、ステップＳ４７において、位置ずれ検出部４５は、位置ずれ方向および位置ずれ量に応じて、右目標２０Ｒおよび左目標２０Ｌを所定領域２５の上下範囲内（ヨー軸調整では左右範囲内）に位置させるために要求されるピッチ軸を中心とする回転による修正方向および修正量を求め、この情報を通知部４７に与える。通知部４７は、この修正方向および修正量の情報に対応する通知内容を記憶部３８から読み出し、スピーカ３６および通知用光源３７の少なくとも一方を介して、ピッチ軸中心回転の設置支援情報をユーザに通知して（図１１（ｃ）参照）、ステップＳ４１に戻る。

なお、設置支援情報に沿った設置位置調整を行なうための時間をユーザに与えるために、ステップＳ４７でピッチ軸中心回転の設置支援情報をユーザに通知してからステップＳ４１で次の画像を撮像するまで、たとえば５秒から１０秒などの所定の時間だけ待機してもよい。

以上の手順により、ディスプレイを用いることなく、右目標２０Ｒおよび左目標２０Ｌを所定領域２５の上下範囲内（ヨー軸調整では左右範囲内）に位置させるための設置支援情報をユーザに通知することができる。

（ロール軸調整処理）
続いて、ロール軸調整処理について説明する。図１２は、図８のステップＳ６で実行されるロール軸調整処理の手順の一例を示すサブルーチンフローチャートである。また、図１３は、左目標２０Ｌの重心座標と右目標２０Ｒの重心座標のy座標が大きく異なる場合の一例を示す説明図である。

本実施形態では、ロール軸調整処理の前にピッチ軸調整処理およびヨー軸調整処理を終えているため、図１３には右目標２０Ｒおよび左目標２０Ｌが所定領域２５内にある場合の例を示してある。なお、図１３では、二値化画像２１の画素値がゼロの領域のハッチングを省略した。

目標２０が右目標２０Ｒおよび左目標２０Ｌの２つの場合には、右目標２０Ｒおよび左目標２０Ｌのそれぞれの重心座標のｙ座標がほぼ同一である位置関係が理想位置関係である。

ステップＳ６１において、図１０のステップＳ４１と同様に撮像素子３４は目標２０を含む顔Ｆを撮像する。また、画像生成部４２は、撮像素子３４の出力にもとづいて目標２０を含む二値化画像２１を生成する。

次に、ステップＳ６２において、図１０のステップＳ４２と同様に目標検出部４３は、二値化画像２１から右目標２０Ｒおよび左目標２０Ｌを検出する。

次に、ステップＳ６３において、図１０のステップＳ４３と同様に位置ずれ検出部４５は、二値化画像２１のモーメント特徴を用いて、右目標２０Ｒおよび左目標２０Ｌのそれぞれの重心座標を求める。

次に、ステップＳ６４において、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌの、理想位置関係に対するロール軸を中心とする回転ずれ方向および回転ずれ量を求める。

次に、ステップＳ６５において、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌが理想位置関係に対してロール軸を中心とする回転ずれ量が閾値以下であるか否かを判定する。

ロール軸を中心とする回転ずれ量が閾値以下である場合は、ロール軸調整が終了した旨の情報を通知部４７に与えてステップＳ６６に進む。そして、ステップＳ６６において通知部４７は、ロール軸調整が終了した旨の情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、その旨の情報をユーザに通知し、図８のステップＳ７に進む。

一方、ロール軸を中心とする回転ずれ量が閾値より大きい場合は、ステップＳ６７に進む。このとき、通知部４７はロール軸調整を開始する旨の通知を行ってもよい。

次に、ステップＳ６７において、位置ずれ検出部４５は、右目標２０Ｒおよび左目標２０Ｌの、理想位置関係に対するロール軸を中心とする回転ずれ方向および回転ずれ量に応じて、理想位置関係に近づけるために要求される撮像素子３４のロール軸を中心とする回転の修正方向および修正量を求めて、求めた修正方向および修正量の情報を通知部４７に与える。通知部４７は、この修正方向および修正量の情報に対応する通知内容を記憶部３８から読み出し、スピーカ３６および通知用光源３７の少なくとも一方を介して、ロール軸中心回転の設置支援情報をユーザに通知して（図１３参照）、ステップＳ６１に戻る。

なお、設置支援情報に沿った設置位置調整を行なうための時間をユーザに与えるために、ステップＳ６７でピッチ軸中心回転の設置支援情報をユーザに通知してからステップＳ６１で次の画像を撮像するまで、たとえば５秒から１０秒などの所定の時間だけ待機してもよい。

以上の手順により、ディスプレイを用いることなく、右目標２０Ｒおよび左目標２０Ｌを理想位置関係に近づけるためのロール軸中心回転に係る設置支援情報をユーザに通知することができる。

（フォーカス調整処理）
続いて、フォーカス調整処理について説明する。図１４は、図８のステップＳ３で実行されるフォーカス調整処理の手順の一例を示すサブルーチンフローチャートである。また、図１５は、レンズ３２と撮像素子３４との距離ｄと、二値化画像２１内の目標２０の面積Ｓおよび輝度との関係の一例を示す説明図である。

この手順は、たとえばユーザによって入力部３５を介してフォーカス調整の開始指示があってスタートとなる。スタートの際には、通知部４７は、ユーザに対して所定方向にレンズ３２を移動開始するよう促す通知を行うことが好ましい。

ステップＳ３０１において、ユーザは、レンズ３２を所定の方向に移動させることにより距離ｄを変更しはじめる。所定の方向は、距離ｄが短くなる方向または長くなる方向のいずれか一方である。以下の説明では、レンズ３２が所定の方向に移動することを、適宜、順行という。

たとえば、レンズ３２がレンズ支持筐体に指示され、レンズ支持筐体に設けられたダイヤルを回すごとにレンズ３２が移動する場合は、ユーザはこのダイヤルをゆっくりと回し始める。

なお、距離ｄは、ステップＳ３０６からステップＳ３０２に戻ることにより繰り返されるステップＳ３０２を実行するごとに異なる距離ｄとなるように変更されればよく、連続的になめらかに変更されてもよいし、ステップＳ３０２を実行するごとに段階的に変更されてもよい。

次に、ステップＳ３０２において、撮像素子３４は目標２０を含む顔Ｆを撮像する。また、画像生成部４２は、撮像素子３４の出力にもとづいて目標２０を含む二値化画像２１を生成する。

次に、ステップＳ３０３において、目標検出部４３は、二値化画像２１から右目標２０Ｒおよび左目標２０Ｌを検出する。そして、面積算出部４４は、目標検出部４３が検出した右目標２０Ｒおよび左目標２０Ｌの二値化画像内における面積の平均を求め、求めた平均面積Ｓの情報を焦点ずれ検出部４６に与える。

次に、ステップＳ３０４において、焦点ずれ検出部４６は、ＲＡＭに記憶された基準面積Ｓ０よりも現在の平均面積Ｓのほうが小さいか否かを判定する。平均面積Ｓは、顔Ｆにピントがあう距離ｄで最も小さくなると考えられる。そこで、平均面積Ｓが現在の平均面積Ｓのほうが小さい場合、および、初めてステップＳ３０４を実行する場合には、ステップＳ３０５に進み、焦点ずれ検出部４６はＲＡＭに記憶された基準面積Ｓ０を現在の平均面積Ｓに更新する。顔Ｆにピントがあう位置にレンズ３２が向かっているときは、基準面積Ｓ０が更新されることになる。

一方、基準面積Ｓ０のほうが小さいときは、ステップＳ３０６に進む。顔Ｆにピントがあう位置から遠ざかるようにレンズ３２が動いているときは、基準面積Ｓ０は更新されずステップＳ３０６に進むことになる。

次に、ステップＳ３０６において、焦点ずれ検出部４６は、レンズ３２の順行（所定の方向への進行）を終了するか否かを判定する。順行を終了すべき場合としては、ステップＳ３０３で算出される平均面積Ｓが所定時間変化せずレンズ３２が停止したと考えられる場合や、ユーザにより入力部３５を介してその旨の情報を与えた場合などが考えられる。

順行を終了すべきでない場合は、ステップＳ３０２に戻り、再び異なる距離ｄにおける平均面積Ｓの算出を行なう。

一方、順行を終了すべき場合は、ステップＳ３０７に進む。このとき、通知部４７は、ユーザに対して所定方向の逆方向である反転方向にレンズ３２を移動させる（逆行させる）よう促す通知を行うとよい。

次に、ステップＳ３０７において、ユーザは、レンズ３２を反転方向に移動させることにより距離ｄを戻しはじめる。

なお、逆行時も、順行時と同様に、距離ｄは、ステップＳ３１０からステップＳ３０８に戻ることにより繰り返されるステップＳ３０８を実行するごとに異なる距離ｄとなるように変更されればよく、連続的になめらかに変更されてもよいし、ステップＳ３０８を実行するごとに段階的に変更されてもよい。

次に、ステップＳ３０８において、撮像素子３４は目標２０を含む顔Ｆを撮像する。また、画像生成部４２は、撮像素子３４の出力にもとづいて目標２０を含む二値化画像２１を生成する。

次に、ステップＳ３０９において、目標検出部４３は、二値化画像２１から右目標２０Ｒおよび左目標２０Ｌを検出する。そして、面積算出部４４は、目標検出部４３が検出した右目標２０Ｒおよび左目標２０Ｌの二値化画像内における面積の平均を求め、求めた平均面積Ｓの情報を焦点ずれ検出部４６に与える。

次に、ステップＳ３１０において、焦点ずれ検出部４６は、現在の平均面積ＳとＲＡＭに記憶された基準面積Ｓ０との差が閾値以下であるか否かを判定する。閾値以下である場合は、現在顔Ｆにピントがあっている旨の情報をリアルタイムで通知部４７に与えてステップＳ３１１に進む。そして、ステップＳ３１１において通知部４７は、現在顔Ｆにピントがあっている旨の情報に対応する通知内容を記憶部３８から読み出して、スピーカ３６および通知用光源３７の少なくとも一方を介して、その旨の情報をリアルタイムでユーザに通知し、図８のステップＳ４に進む。

一方、現在の平均面積Ｓと基準面積Ｓ０との差が閾値より大きい場合は、ステップＳ３０８に戻る。

以上の手順により、レンズ３２の順行時に最小面積Ｓ０を記憶しておき、逆行時において、この最小面積Ｓ０に近い平均面積Ｓを与える位置でレンズ３２を停止させるようにユーザに通知することができる。このため、ディスプレイを用いることなく、顔Ｆにピントがあう距離ｄにレンズ３２を位置させるための設置支援情報をユーザに通知することができる。

以上説明した少なくとも１つの実施形態によれば、撮像素子３４の出力にもとづく画像を表示するディスプレイを用いることなく、簡素な構成で、運転者Ｄの顔Ｆを的確に撮影できる位置に容易に車室内用カメラ１０を設置するよう支援することができる。

なお、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、本発明の実施形態では、フローチャートの各ステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

１０…車室内用カメラ
２０…目標
２０Ｒ…目標
２５…所定領域
３１ａ…光源
３２…レンズ
３３…フィルタ
３４…撮像素子
３５…入力部
３６…スピーカ
３７…通知用光源
３８…記憶部
４２…画像生成部
４３…目標検出部
４７…通知部

Claims (12)

1. 撮像素子およびプロセッサを備えた車室内用カメラの前記プロセッサが実行する、車室内用カメラの設置支援方法であって、
   前記撮像素子に運転席の被写体の顔を撮像させるステップと、
   前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成するステップと、
   前記画像から前記目標を検出するステップと、
   前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知するステップと、
   を有する車室内用カメラの設置支援方法。
2. 前記目標を検出するステップで検出された前記目標の前記画像内における位置を求めるステップと、
   前記所定領域外に前記目標があると、前記所定領域に対する前記目標の位置ずれ方向および位置ずれ量を求めるステップと、
   前記位置ずれ方向および位置ずれ量に応じて、前記目標が前記所定領域内に位置するために要求される前記撮像素子の向きの修正方向および修正量を求めるステップと、
   をさらに有し、
   前記通知するステップは、
   前記修正方向および前記修正量をユーザに通知するステップである、
   請求項１記載の車室内用カメラの設置支援方法。
3. 前記修正方向および修正量を求めるステップは、
   前記撮像素子の光軸をロール軸、水平軸をピッチ軸、これらに直交する軸をヨー軸として、前記位置ずれ方向および位置ずれ量に応じて、前記目標が前記所定領域内に位置するために要求される、ピッチ軸およびヨー軸の少なくとも一方を中心とする前記撮像素子の回転による前記撮像素子の光軸の修正方向および修正量を求めるステップを含む、
   請求項２記載の車室内用カメラの設置支援方法。
4. 前記目標は、前記被写体の顔または顔の近傍に複数設けられ、
   前記目標を検出するステップは、前記画像から複数の前記目標を検出するステップであり、
   前記目標を検出するステップで検出された複数の前記目標のそれぞれの前記画像内における位置を求めるステップと、
   前記撮像素子の光軸をロール軸、水平軸をピッチ軸、これらに直交する軸をヨー軸として、複数の前記目標の位置関係の、理想位置関係に対するロール軸を中心とする回転ずれ方向および回転ずれ量を求めるステップと、
   をさらに備え、
   前記修正方向および修正量を求めるステップは、
   前記回転ずれ方向および回転ずれ量に応じて、複数の前記目標が前記画像内で前記理想位置関係に近づくために要求される、ロール軸を中心とする前記撮像素子の回転による前記撮像素子の光軸の修正方向および修正量を求めるステップを含む、
   請求項２または３に記載の車室内用カメラの設置支援方法。
5. 前記撮像素子に集光するためのレンズと前記撮像素子との距離がユーザにより所定の方向に変更されるステップと、
   前記所定の方向への前記距離の変更の間に、複数の前記画像を生成し、複数の前記画像のそれぞれから検出された前記目標の前記画像内における面積を求め、求めた面積のうちの最小面積を基準面積として記憶部に記憶させるステップと、
   前記距離がユーザにより前記所定の方向の逆方向である反転方向に変更されるステップと、
   前記反転方向への前記距離の変更の間に、リアルタイムで複数の前記画像を生成して前記目標の面積を求め、求めた面積と前記基準面積との差が閾値以内であると、現在前記顔にピントがあっている旨の情報をリアルタイムにユーザに通知するステップと、
   をさらに有する請求項１ないし４のいずれか１項に記載の車室内用カメラの設置支援方法。
6. 前記目標は、
   前記被写体の目の近傍に直接配置された反射板、または前記被写体の顔が装着した眼鏡に配置された反射板である、
   請求項１ないし５のいずれか１項に記載の車室内用カメラの設置支援方法。
7. 前記被写体の顔を撮像させるステップと並行して、車室内用カメラに設けられた光源を所定の輝度で発光させることにより前記目標を含む顔を照明するステップと、
   前記画像から前記目標を検出するステップで検出された前記目標の前記画像内における面積が所定の面積より小さいと、前記面積が前記所定の面積に近づくように前記撮像素子の露光時間を長く変更してから前記被写体の顔を撮像させるステップに戻るステップと、
   をさらに有する請求項１ないし６のいずれか１項に記載の車室内用カメラの設置支援方法。
8. 前記光源は近赤外光を発光し、前記撮像素子は前記光源が発光する近赤外光を透過するフィルタを介して前記被写体の顔を撮像する、
   請求項７記載の車室内用カメラの設置支援方法。
9. 前記目標は、
   前記被写体の顔の目の近傍に配置された、または前記被写体の顔が装着した眼鏡に配置された、近赤外光を発光する光源である、
   請求項８記載の車室内用カメラの設置支援方法。
10. 前記通知するステップは、
    スピーカを介した音声出力およびビープ音出力ならびに通知用光源を介した発光パターンの少なくとも１つにより、ユーザに前記撮像素子の向きを修正させるための情報をユーザに通知する、
    請求項１ないし９のいずれか１項に記載の車室内用カメラの設置支援方法。
11. 前記プロセッサが請求項１ないし１０に記載のステップを実行する設置支援モードと、前記プロセッサが前記運転席に座った運転者の顔画像にもとづいて顔認識処理を実行する顔認識モードと、のいずれのモードで動作するかを、入力部を介したユーザによる指示に応じて切り替えるステップ、
    をさらに有する請求項１ないし１０のいずれか１項に記載の車室内用カメラの設置支援方法。
12. 運転席の被写体の顔を撮像する撮像素子と、
    前記撮像素子の出力にもとづいて、前記被写体の顔に直接設けられまたは顔の近傍に設けられた目標を含む画像を生成する画像生成部と、
    前記画像から前記目標を検出する目標検出部と、
    前記目標があらかじめ前記画像内に設定された所定領域内に位置するように、前記画像内における前記目標の位置に応じて、ユーザが前記撮像素子の向きを修正するための情報をユーザに通知する通知部と、
    を備えた車室内用カメラ。

Images