JP2009113621A - 乗員画像撮像装置、運転支援装置 - Google Patents

Abstract

【課題】乗員の頭部を撮影範囲に含むようカメラの状態を調整するか又は乗員の頭部を撮影範囲に誘導する乗員画像撮像装置及び運転支援装置を提供すること。
【解決手段】車両に搭乗している乗員の顔画像を撮像する画像センサ２５と、画像センサ２５による撮像方向、ズーム倍率又は焦点位置の少なくともいずれかの画像センサ状態を調整する撮像調整手段５６、５８と、座席に対する乗員の頭部位置を検出する頭部位置検出手段１３と、撮像調整手段５６、５８により調整された画像センサ状態と頭部位置の各情報に基づき、撮像調整手段５６、５８による画像センサ状態の調整を促進する促進手段２３と、を有する乗員画像撮像装置１００を提供することを特徴とする。
【選択図】図１

Description

本発明は、乗員の画像を撮像する乗員画像撮像装置及び撮像結果に基づき動作する運転支援装置に関する。

運転者等の乗員の顔画像を撮影して顔向きや居眠りなどを検出し運転支援を行う運転支援技術が知られている。運転者の顔画像を撮影するカメラは運転者の顔を撮影しやすい位置、例えばステアリングコラムのアッパーカバーの上側又はメータパネルに埋設するように配置されているが、カメラの撮影範囲は画角や倍率等によりある範囲に定まってしまう。

このため、カメラの向きや運転者の運転姿勢によっては上下左右に頭部の位置がずれて撮影範囲から外れてしまう場合がある。そこで、運転者の頭部の位置を推定して推定された位置を撮影目標とするようカメラの調節機構を制御する乗員画像撮像装置が提案されている（例えば、特許文献１参照。）。特許文献１記載の乗員画像撮像装置は、運転者の頭部の位置を運転者のシートの前後位置、高さ及びシートの傾きから推定し、推定位置を撮影目標とするようにカメラの向き、距離、ズーム機構を最適化する。
特開平６−１７８３０２号公報

しかしながら、特許文献１記載の乗員画像撮像装置のように、シートの前後位置からのみ運転者の頭部の位置を推定するだけでは、精度よく運転者の頭部の位置を推定することができない。また、ステアリングコラムにカメラを配置した場合は、チルト角度やテレスコピック位置の調整によりカメラの撮影範囲が変動してしまうが、運転者は撮影範囲に頭部が含まれるようにチルト角度やテレスコピック位置を調整するとは限らないという問題がある。

本発明は、上記課題に鑑み、乗員の頭部を撮影範囲に含むようカメラの状態を調整するか又は乗員の頭部を撮影範囲に誘導する乗員画像撮像装置及び運転支援装置を提供することを目的とする。

本発明は、上記課題に鑑み、乗員の顔画像を撮像する画像センサと、画像センサによる、撮影方向、ズーム倍率又は焦点位置の少なくともいずれかの画像センサ状態を調整する撮像調整手段と、座席に対する乗員の頭部位置を検出する頭部位置検出手段（例えば、ステアリングコラム５０のチルテレ位置の調整手段）と、撮像調整手段により調整された画像センサ状態と頭部位置の各情報に基づき、撮像調整手段による画像センサ状態の調整を促進する促進手段（例えば、通知部２３やマルチインフォメーションディスプレイ１２）と、を有する乗員画像撮像装置を提供することを特徴とする。

本発明によれば、座席を基準に頭部位置を検出するので頭部位置の検出精度が向上し、画像センサ状態を精度よく調整させることができる。

また、本発明の一形態において、画像センサが設置されたステアリングコラムのチルト角度又はテレスコピック位置により画像センサ状態が調整される、ことを特徴とする。

本発明によれば、チルテレ位置と一体に画像センサ状態を調整できるので、チルテレ位置を調整すると画像センサ状態も調整できる。

また、本発明の一形態において、頭部位置検出手段は静電容量センサを有する、ことを特徴とする。本発明によれば、非接触で頭部位置を検出することができる。

また、本発明の一形態において、静電容量センサは座席のヘッドレストに設けられている、ことを特徴とする。本発明によれば、静電容量センサの存在を乗員に意識させることなく頭部位置を検出できる。

また、本発明の一形態において、促進手段は、画像センサ状態の調整量を乗員に通知する、ことを特徴とする。本発明によれば、通知された調整量に従い乗員が画像センサを調整することができる。

また、本発明の一形態において、促進手段は、顔画像及び顔位置の適正位置を表示装置に表示する、ことを特徴とする。本発明によれば、撮影された顔画像を見ながら画像センサ状態を調整し又は顔位置を誘導できる。

また、本発明の一形態において、乗員画像撮像装置と、画像センサが撮像した顔画像に基づき動作する第１車載装置（例えば、脇見検知装置や居眠り検知装置）と、頭部位置に基づき動作する第２車載装置と、有することを特徴とする運転支援装置を提供する。

本発明によれば、顔画像を精度よく撮影できるので第１車載装置が好適に動作することができる。

また、本発明の一形態において、第２車載装置は、ヘッドレストと頭部の距離を減少させる方向に移動させるヘッドレスト可動手段である、ことを特徴とする。

本発明によれば、例えばアクティブヘッドレスト等のヘッドレスト可動手段には静電容量センサが配置されているので、新たに頭部位置検出手段を設ける必要がなくコスト増を抑制できる。

また、本発明の一形態において、第１車載装置は、前記乗員が脇見しているか否か、又は、乗員の眠気が強いか否かを判定する、ことを特徴とする。

本発明によれば、適切な顔位置の顔画像を撮影して脇見又は居眠りを検知して、警告、車両制動、操舵制御等、適切な車両制御を実現できる。

乗員の頭部を撮影範囲に含むようカメラの状態を調整するか又は乗員の頭部を撮影範囲に誘導する乗員画像撮像装置及び運転支援装置を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。

図１（ａ）は本実施例のカメラアッシー１１の搭載構造の概略側面図を、図１（ｂ）は本実施例の乗員撮像装置１００の処理の概略をそれぞれ示す。乗員撮像装置１００は運転者の頭部の位置（以下、単に顔位置という）を撮影範囲に含むようカメラ２５を搭載したカメラアッシー１１の位置を調整させ、また、撮影範囲に含まれるよう運転者の顔位置を誘導する。

本実施例の乗員撮像装置１００は、予め顔位置とチルト角度及びテレスコピック位置（以下、チルト角度及びテレスコピック位置を区別しない場合、単にチルテレ位置という）の適切な関係をマップ１９に関連づけておく。そして、顔位置検出部２４により顔位置を、チルテレ位置検出部１６によりチルテレ位置をそれぞれ検出し、マップ１９との比較結果をマルチインフォメーションディスプレイ１２（以下、ＭＩＤ１２という）、ヘッドアップディスプレイ、ナビ画面等に表示する。比較結果は、例えば調整を促す表示と適切な顔位置とのずれ量である。運転者は通知によりカメラ２５又は自分の顔位置をどの方向にどのくらい移動すればよいかを知ることができるので、カメラ２５の撮影範囲に顔位置が含まれるようにすることができる。

本実施例の乗員撮像装置１００は制御部１８により制御される。制御部１８と顔位置検出部２４、チルテレ置検出部１６及びＭＩＤ１２とはＣＡＮ（Controller Area Network）及び／又はＬＩＮ（Local Interconnect Network）等の車内ＬＡＮにより接続されている。制御部１８は、ＣＰＵ、ＲＡＭ、ＲＯＭ及び入出力部を備えたコンピュータであり、顔画像を画像処理する画像処理ＥＣＵ（Electronic Control Unit）により実現してもよいし、また例えばＭＩＤ１２を制御するメータＥＣＵ、チルテレ位置を制御するチルテレＥＣＵ１７、又は、シート４０の前後位置等を制御するパワーシートＥＣＵ１５等により兼用してもよい。制御部１８はカメラアッシー１１を制御して撮影された画像から顔向きや眼の開閉を検出する。

・カメラアッシー１１
カメラアッシー１１について説明する。カメラアッシー１１は運転者の顔を撮影しやすい位置、例えばステアリングコラムのアッパーカバーの上側に配置される。カメラアッシー１１の撮影範囲と運転者の顔位置の相対的な関係が適切であればよいので、ロワーカバーの下側やメータパネル内などカメラアッシー１１の配置位置はどこであってもよい。

図２（ａ）は運転席から視認されるカメラ搭載構造を、図２（ｂ）はカメラアッシー１１の正面図をそれぞれ示す図である。カメラ２５は、ステアリングホイール１４の円周部とスポークとに囲まれた扇状の開口部１４ａを通して、運転者の顔が存在する方向（車両後方かつ斜め上方）に光軸を向けて配置される。カメラ２５は所定の画角を備え、車両運転者の顔の全体をほぼ正面から撮影する。

カメラアッシー１１は、ケース内にカメラ２５及び赤外線投光器２６を収納している。カメラ２５は、カメラアッシー１１の中央に１台搭載されており、ステアリングホイール１４の中心を通る鉛直軸線上に位置している。カメラ２５はＣＣＤ（Charge Coupled Device)やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等で構成され、赤外線投光器２６が照射する赤外光（ピーク波長約８７０ｎｍ付近）に感度を有しており、入射した光を電気に変換する。

また、赤外線投光器２６は、カメラアッシー１１においてカメラ２５の左右両側に同数ずつ（図では３個ずつ）配置されている。各赤線外投光器は、運転者の顔部へ向けて近赤外光を投光するＬＥＤランプであり、夜間における運転者の顔の撮影を可能としている。なお、制御部１８はカメラ２５の自動的に適切な焦点位置を決定するオートフォーカス機能及び被写体を拡大縮小するズーム機能を有している。

顔画像による顔向き検知及び眼の閉眼検知について簡単に説明する。カメラ２５及び赤外線投光器２６は制御部１８により制御され、制御部１８は、例えば赤外線投光器２６を毎秒６０回発光させて、運転者の顔に向けて近赤外光を照射し、カメラ２５は近赤外光で照射された運転者の顔画像を毎秒３０フレーム（＝６０フィールド）で撮影し制御部１８に送出する。

制御部１８は、カメラ２５から供給される顔画像からエッジ情報を抽出し、エッジ強度と閾値と比較することで顔画像を２値化したエッジ画像を生成する。そして、このエッジ画像のエッジ点を垂直下方向に投影するヒストグラムを作成し、ヒストグラムがピークを示す顔の両端を検出する。

また、制御部１８はエッジ点の数が左右に均等となるように顔の中心線を検出し、中心線から両端部までの左右の顔の比率から顔向き角度を算出する。顔向き角度は、運転者が直線走行時にその走行レーンに沿って車両進行方向に真正面に顔を向けたときを０°とし、例えば右向きが正である。

また、制御部１８は顔画像から比較的検出しやすい鼻孔位置を検出し、鼻孔位置と眼の位置の相対関係の統計情報を用いて鼻孔位置から眼球追跡領域を設定し、顔画像毎に眼の開閉をカウントし、閉眼が所定時間以上継続した場合には、運転者が居眠りしていることや眠気が強いことを検出する。

車両の運転支援装置は、検出した顔向き角度や眠気に応じて警報を行い、又は、自車両の前方に存在する障害物との衝突前に警報を開始するうえで、警報開始タイミングを変更する（早出しする）処理を行う。

・顔位置検出部２４
顔位置検出部２４について説明する。顔位置検出部２４はシート４０の状態と静電容量センサ１３から車室内の３次元空間における運転者の顔位置を検出する。運転者のおおよその顔位置はシート４０の前後位置、シート高、リクライニング角度及びヘッドレスト高さ（以下、これらを総称してドライビングポジションといい、具体的な値をドライビングポジション情報という）から求められる。しかしながら、ドライビングポジションが同じであっても運転者の体格や姿勢によって顔位置が変動するので、ヘッドレスト４１に対する運転者の頭部中心の相対位置（以下、ヘッドレスト相対位置という）を検出することで、顔位置を精度よく検出する。

本実施例では、ドライビングポジション情報をパワーシートＥＣＵ１５により検出し、ヘッドレスト相対位置を静電容量センサ１３により検出する。

図３はチルテレ位置を調整させ又は顔位置を適正な位置に誘導するまでの概略を説明する図であり、図４は本実施例のシート４０とカメラアッシー１１との位置関係を示す図である。パワーシートＥＣＵ１５は、シート４０の前後位置Ｐ、シート高ｄ、リクライニング角度θ、ヘッドレスト伸長ｈをそれぞれ独立に調整するアクチュエータを各部位に備える。パワーシートＥＣＵ１５は、前後位置センサ３１、シート高センサ３２、リクライニング角度センサ３３及びヘッドレスト伸長センサ３４から各アクチュエータの駆動量又は操作量を検出し、シート４０の前後位置Ｐ、シート高ｄ、リクライニング角度θ、ヘッドレスト伸長ｈを検出する。したがって、ドライビングポジション情報については既知である。

なお、図４では、カメラアッシー１１の後端（運転者側）を基準にシート４０の座面４３の後端までの距離をシート前後位置Ｐとし、シートバック４２の長さをシートバック長ｂとした。

顔位置決定部２１は、パワーシートＥＣＵ１５からドライビングポジション情報を取得し、カメラアッシー１１からヘッドレスト４１までの水平距離Ｌ及び床面からヘッドレスト４１の下端位置までのヘッドレスト高さＫを決定する。水平距離Ｌは、シート前後位置Ｐに、座面４３の後端からヘッドレスト４１までの水平距離ｓを加えた値となる。座面４３がほぼ床面に平行でリクライニング角度θが９０度以上であるとすると、座面４３の後端からヘッドレスト４１までの水平距離ｓはシートバック長ｂから次のように求められる。
ｓ＝ｂ×sin（θ−π/2）
したがって、顔位置決定部２１は、次式から水平距離Ｌを求める。
水平距離Ｌ＝Ｐ＋ｓ
＝Ｐ＋ｂ×sin（θ−π/2）
また、シートバック長ｂ及びリクライニング角度θからシートバック４２による高さはｂ・cos（θ−π/2）となる。したがって、ヘッドレスト高さＫは、次式から算出できる。
ヘッドレスト高さＫ ＝ シート高ｄ ＋ ｂ・cos（θ−π/2）＋ｈ
水平距離Ｌ及びヘッドレスト高さＫによりヘッドレスト４１の位置が明らかとなるので、これに静電容量センサ１３により検出されるヘッドレスト相対位置を考慮することで車室内における運転者の顔位置を決定することができる。

図５（ａ）は、ヘッドレスト４１に内設された静電容量センサ１３の一形態を示す図である。静電容量センサ１３は運転者の頭部との相対距離を検出できるセンサであればよく例えば超音波センサでもよい。静電容量センサ１３はいわゆるアクティブヘッドレストを備えたシート４０では標準装備されているので、ここではアクティブヘッドレストを例に静電容量センサ１３について説明する。

ヘッドレスト４１は、車両前方側の可動部４１ａと後方側の固定部４１ｂとにより構成されていて、ヘッドレスト４１の内部に可動部４１ａの駆動機構４４を備える。駆動機構４４が駆動することにより、可動部４１ａを固定部４１ｂに対して車両の前後方向へ往復移動させ、乗員の頭部とヘッドレスト４１との間の相対距離を制御する。

静電容量センサ１３は可撓性を有する薄板状の形状を有しヘッドレスト４１の表皮内側に沿って例えば矩形状に配設されている。静電容量センサ１３は乗員の頭部との相対距離を非接触状態で検知する。静電容量センサ１３の検出信号はヘッドレストＥＣＵに送出され、ヘッドレストＥＣＵは相対距離と検出信号の関係を定めた検出マップを参照して相対距離を検出する。

例えば、自車両の後方に備えたミリ波レーダ装置により、自車両の後方から他車両が異常接近することが検出されると、ヘッドレストＥＣＵは静電容量センサ１３により乗員の頭部との相対距離を測定しながら駆動機構４４を駆動して可動部４１ａを頭部との相対距離を減少させる方向に移動させ、頭部の直前で停止するように可動部４１ａを制御する。ヘッドレスト４１と頭部との相対距離が短縮されるので、後方衝突時における乗員の頸部にかかる負担を和らげることができる。本実施例では自車両後方から他車両が接近していない場合であっても、静電容量センサ１３によりヘッドレスト相対位置を検出する。

また、単に運転者の頭部とヘッドレスト４１までの相対距離Ｑだけでなく、静電容量センサ１３は運転者の頭部の高さ位置及び車幅方向の位置を検出する。

図５（ｂ）は静電容量センサ１３の平面図の一例を示す。静電容量センサ１３が例えばヘッドレスト４１の複数点（図では５点）の位置で静電容量を検出すれば、位置毎の静電容量の強弱から運転者の頭部の中心Ｒを検出することができる。図５（ｂ）では、原点Ｇをヘッドレスト４１の下端であって車幅方向中心に取り、車幅方向の頭部の中心をＲ１、車高方向の頭部の中心をＲ２とした。相対距離Ｑ及び、頭部位置Ｒ１、Ｒ２がヘッドレスト相対位置となり、静電容量センサ１３はヘッドレスト相対位置を制御部１８の顔位置決定部２１に送出する。

ヘッドレスト４１の水平距離Ｌ及びヘッドレスト高さＫ並びにヘッドレスト相対位置に基づき、顔位置を３次元上で特定することができる。

カメラアッシー１１の後端から運転者の顔位置までの車両前後方向の距離をｘ、床面から運転者の顔位置までの車高方向の距離をｚ、ステアリングホイール１４中心から運転者の顔位置までの車幅方向の距離をｙとした場合、次のように表すことができる。
ｘ ＝ 水平距離Ｌ−相対距離Ｑ
ｙ ＝ Ｒ１
ｚ ＝ ヘッドレスト高さＫ ＋ Ｒ２
・チルテレ位置検出部１６
チルテレ位置の検出について説明する。カメラアッシー１１はステアリングコラム５０に配置されているのでステアリングコラム５０のチルテレ位置に応じて撮影範囲が変動する。図６は、チルテレ構造を備えたステアリングコラム５０の概略図を示す。なお図６ではアクチュエータでチルテレ位置を制御するがマニュアルでチルテレ位置を決定してもよい。

ステアリングホイール１４から延びたステアリングシャフト５１は、アッパコラム５２，ミドルコラム５３及びロアコラム５４により回転可能に支持されている。アッパコラム５２は、ミドルコラム５３の後端に形成されたフォーク部５５にチルトヒンジピン５５ａを介してチルト可能に取り付けられていて、アッパコラム５２を、チルトヒンジピン５５ａを支点として適宜揺動させることにより、ステアリングホイール１４のチルト角度αを調節することができる。

ミドルコラム５３はロアコラム５４に内挿され、アッパコラム５２と共に軸線方向に摺動可能になっている。したがって、車体側に固定されたロアコラム５４に対してミドルコラム５３を摺動させることにより、ステアリングホイール１４のテレスコピック位置βを調節することができる。

ステアリングホイール１４のチルト位置は、電動チルトアクチュエータ５６によって調節される。電動チルトアクチュエータ５６の電動モータ５７が回転すると電動チルトアクチュエータ５６が伸縮して、チルトヒンジピン６１を支点としてアッパコラム５２を揺動する。

ステアリングホイール１４のテレスコピック位置は、電動テレスコピックアクチュエータ５８によって調節される。電動テレスコピックアクチュエータ５８の電動モータ５９が回転すると、電動テレスコピックアクチュエータ５８が伸縮してロアコラム５４と接続部であるピン６２を支点にミドルコラム５３がロアコラム５４に対し摺動する。

チルト角度やテレスコピック位置は非接触のロータリエンコーダ、リニアエンコーダ又は抵抗センサにより構成されるチルト角センサ３５とテレスコピック位置センサ３６によりそれぞれ検出される。チルト角度α及びテレスコピック位置βは顔位置（ｘ、ｙ、ｚ）と共に比較部２２に送出される。

・比較部２２
比較部２２によるマップ１９とチルテレ位置（α、β）及び顔位置（ｘ、ｙ、ｚ）との比較について説明する。図７は、マップ１９の一例を示す図である。マップ１９にはチルト角度αとテレスコピック位置βに対応づけて予め設定された顔画像の撮影に好適な顔位置（ｘｉ、ｙｉ、ｚｉ）が対応づけられている。マップ１９の関係は、ステアリングホイール１４に隠れることなく運転者がメータを視認できる顔位置とチルテレ位置の関係を示すものである。

顔位置決定部２１が決定した顔位置（ｘ、ｙ、ｚ）に基づきマップ１９を参照すると、その顔位置に対し適正なチルテレ位置を抽出することができる。したがって、適正なチルテレ位置（αｉ、βｉ）とチルテレＥＣＵ１７が検出したチルテレ位置（α、β）との差分が調整量となる。
チルト角度 ：α−αｉ
テレスコピック位置：β−βｉ
また、チルテレ位置でなく顔位置を移動させてもよい。チルテレＥＣＵ１７が検出したチルテレ位置（α、β）に基づきマップ１９を参照すると好適な顔位置（ｘｉ、ｙｉ、ｚｉ）を抽出することができ、これと顔位置決定部２１が決定した顔位置（ｘ、ｙ、ｚ）とを比較すれば、運転者の顔位置が顔画像の撮影に適正な顔位置（ｘｉ、ｙｉ、ｚｉ）にあるか否か、及び、適正な顔位置（ｘｉ、ｙｉ、ｚｉ）に誘導するための誘導量を算出することができる。

例えば、適正な顔位置が（ｘｉ、ｙｉ、ｚｉ）の場合に顔位置決定部２１が決定した顔位置が（ｘ、ｙ、ｚ）の場合、誘導量は次のようになる。
車両前後方向：ｘｉ−ｘ
車幅方向 ：ｙｉ−ｙ
車高方向 ：ｚｉ−ｚ
調整量と誘導量のいずれを通知してもよいが、走行状況に応じて２つを切り換えることが好適となる。例えば、車両やカメラアッシー１１の購入時、その日の車両の乗車時等、運転者が適正なドライビングポジションを取っていると考えられる状況では、チルテレ位置を適正に設定することが好ましい。また、いったんチルテレ位置を適正に設定した後であれば、走行中に徐々に姿勢がくずれ顔位置が適正でなくなったとして、信号待ちなどの場合に顔位置の移動量を通知することができる。比較部２２はこれら算出した調整量又は誘導量を通知部２３に送出する。

なお、カメラ２５がズーム機能を有効にした場合、カメラ２５の撮影範囲が変動するので、マップ１９はズーム倍率に応じて記憶しておくか又はズーム倍率に応じて補正される。

・通知部２３
通知部２３は調整量を含む調整情報又は誘導量を含む誘導情報をＭＩＤ１２又はナビ画面に表示し、また、調整情報又は誘導情報を音声にて出力する。調整情報を通知する場合、通知部２３は調整量の正負からチルト角を大小いずれに調整するか及びテレスコピック位置を前後のいずれに調整するかを判定し、調整方向と調整量の絶対値を調整情報として通知する。また、誘導情報を通知する場合、通知部２３は誘導量の正負から運転者の顔位置を前後のいずれに移動すべきか、左右のいずれに移動すべきか及び上下のいずれに移動すべきかを判定し、誘導方向と誘導量の絶対値を誘導情報として通知する。

図８（ａ）はＭＩＤ１２に表示された調整情報を、図８（ｂ）はＭＩＤ１２に表示された誘導情報の一例をそれぞれ示す。図８（ａ）では「チルト角を５度下げてください」と表示されている。また、図８（ｂ）では「右方向に５ｃｍ、上方向に４ｃｍ、顔を移動してください。」と表示されている。

運転者は図８（ａ）又は（ｂ）のような表示を見てチルテレ位置を調整し、また、顔位置を移動させるので、カメラアッシー１１により顔画像を適正に撮影することができる。なお、シート４０の前後位置等で定まるドライビングポジションに適正に着座すれば、チルテレ位置に対し自然と適正な顔位置になり、ステアリングホイール１４やカメラアッシー１１に遮られることなくメータを視認することができる。

また、例えばカメラ２５により撮影された顔画像を用いてチルテレ位置を調整したり顔位置を誘導してもよい。図８（ｃ）はナビ画面に表示された顔画像の一例を示す。ナビ画面にはカメラ２５が撮影した顔画像が表示されるが、適正な顔位置からはずれたものとなる。これに対し通知部２３は例えば顔画像の中心に適正な顔位置を示す楕円を表示すると共に、例えば音声で「顔が楕円に入るようチルテレ位置を調整してください」や「楕円に一致するよう顔を移動させてください」と出力する。運転者は、例えば顔画像を見ながら楕円に一致するようにチルテレ位置を調整することができ、さらに顔位置を移動させて楕円と顔位置を一致させることができる。

なお、図６のようにチルテレ位置をアクチュエータで制御する場合、運転者が操作しなくても調整方向と調整量に応じて、自動的にチルテレ位置を調整することができる。

図９は、乗員撮像装置１００がチルテレ位置を調整させ、また、運転者の顔位置を適正な位置に誘導する手順のフローチャート図である。図９のフローチャート図は例えばカメラアッシー１１を制御する制御部１８が起動した状態で所定のサイクル時間毎に繰り返される。なお、チルテレ位置を調整したり顔位置を移動させる場合、車両が停止している必要があるので図９の手順はイグニッションオンから走行開始前や信号停止中などに実行される。

まず、制御部１８は顔位置が適正か否かを判定する（Ｓ１０）。制御部１８はカメラ２５が撮影した顔画像から顔向きや眼の開閉を検出するが、顔位置が適正でない場合には顔向き等を検出できないことから顔位置が適切でないと判定する。

顔位置が適正でないと判定された場合（Ｓ１０のＮｏ）、顔位置決定部２１は、静電容量センサ１３の検出するヘッドレスト４１までの相対距離Ｑ、頭部位置Ｒ１、Ｒ２及びパワーシートＥＣＵ１５が取得したシート４０の前後位置Ｐ、シート高ｄ、リクライニング角度θ、ヘッドレスト伸長ｈから顔位置（ｘ、ｙ、ｚ）を決定する（Ｓ２０）。

ついで、比較部２２はチルテレＥＣＵ１７からチルテレ位置（α、β）を検出し（Ｓ３０）、通知部２３はチルテレ位置（α、β）と顔位置（ｘ、ｙ、ｚ）からマップ１９を参照し調整情報又は誘導情報を生成してＭＩＤ１２に表示する（Ｓ４０）。

本実施例によれば、撮影範囲に運転者の顔位置が含まれるようチルテレ位置を調整させることができ、また、運転者の顔位置を撮影に適正な位置に誘導することができる。これにより様々な運転姿勢の運転者の顔画像から顔向き等を検出することができるので、脇見や居眠りを検知して適切な車両制御が可能となる。また、顔位置が適正になると、ステアリングホイール１４に遮られずに運転者はメータを視認できるので、メータの視認性を向上させることもできる。

なお、運転者の顔画像の撮影を例に説明したが、運転席に搭乗した運転者だけでなく、他の乗員に対しても同様に適用できる。例えば、助手席の乗員の顔向きを検知する場合、助手席の乗員の顔位置が撮影範囲に含まれるようドライビングポジションを調整させ、顔位置を撮影に適正な位置に誘導することができる。顔向きが検知できれば、助手席の乗員にはナビ画面の操作のため脇見を許容することができる。

本実施例では実施例１の乗員撮像装置１００を用いた運転支援装置について説明する。図１０は、乗員撮像装置１００のブロック図を示す。カメラアッシー１１及び制御部１８については実施例１で説明した。制御部１８は、例えば、脇見が所定時間以上継続した場合又は居眠りが検知された場合に、メイン制御ＥＣＵ７４に警報音の吹鳴を要求する。

前方カメラ７２は車両前部バンパや室内ルームミラーに搭載され、車両前方へ向けて水平下向きに所定角範囲で広がる領域を撮影し、所定の輝度階調（例えば、２５６階調）のデジタル画像（前方画像）を撮影し前方カメラＥＣＵ７１に出力する。前方カメラＥＣＵ７１は、前方カメラ７２が撮影した前方画像を処理して車両前方の白線情報を生成する。例えば、所定の閾値以上の輝度を有する領域を前方画像の底部から上方に向けて探索するようにして、その前方画像に映し出されている道路上に描かれた走行レーンを区切る車線区分線（以下、単に白線という）を検出する。１本の白線は両端に高周波成分たるエッジを有するので、車両前方の画像データの輝度値を水平方向に微分すると、白線の両端にピークが得られエッジ線が推定できる。そして、推定した複数のエッジ線が一対となる複数組の白線候補線を抽出し、複数組の白線候補線のなかから、エッジ閾値や白線幅等の条件を満たす白線と認められる１本又は複数の白線を選定する。

左右の白線がそれぞれ１本ずつに定まったら、その白線をそれぞれモデル式に表現することで、左右の２本の白線の消失点（交点）の座標が算出でき、前方カメラ７２の路面からの高さ及び路面に対する光軸のなす角と消失点の座標から白線情報（道路曲率、ヨー角Ｙａｗ、幅員Ｗ、目標走行線Ｏからのオフセット量Ｄ）を演算する。

メイン制御ＥＣＵ７４は、白線情報を取得し目標走行線からのオフセット量Ｄがゼロになるように、目標操舵力を決定しステアリングＥＣＵ７６に送出する。ステアリングＥＣＵ７６は目標操舵力に従い電動パワステアクチュエータを制御し、減速歯車などを介してステアリングコラム５０に操舵力を付加する（ＬＫＡ（Lane Keeping Assist）制御）。また、白線情報や車速から例えば数秒後に白線を逸脱すると予測した場合には、メイン制御ＥＣＵ７４は警報音の吹鳴を要求する。

メイン制御ＥＣＵ７４にはミリ波レーダ装置７３が接続されている。ミリ波レーダ装置７３は、車両の例えばフロントグリル内に設置され車両前方及び後方に向けてミリ波を送信すると共に先行車両に反射したミリ波を受信する装置で、発信したミリ波が受信されるまでの時間に基づき障害物との相対距離を、送信波と受信波の周波数との差に基づき相対速度を検出する。

そして、メイン制御ＥＣＵ７４は、障害物との衝突の可能性が高くなると、警報音の吹鳴や警告ランプの点灯により運転者に警告し、ブレーキＥＣＵ７８に比較的小さな減速度となる制動を加えるよう要求する。そしてさらに衝突の可能性が増し衝突が不可避になるとシートベルト制御ＥＣＵ７７に運転席のシートベルトや後席シートベルトの巻き上げを要求し、また、ブレーキＥＣＵ７８に車両を緊急制動するよう要求して衝撃から乗員を保護する。

また、車両の停車中等に自車両の後方から他車両が異常接近する場合、実施例１で説明したようにメイン制御ＥＣＵ７４は、ヘッドレスト４１を、頭部との相対距離を減少させる方向に移動させるようヘッドレストＥＣＵに要求する（プリクラッシュ制御）。

以上のような乗員撮像装置１００において、制御部１８が運転者の顔画像から脇見又は居眠りを検知した場合、メイン制御ＥＣＵ７４は以下のようにそれぞれの運転支援を早期に実行する。
・ＬＫＡ制御
脇見又は居眠りが検知された場合、メイン制御ＥＣＵ７４は障害物との関係においてより早い段階から警報音を吹鳴し、また、減速するようブレーキＥＣＵ７８に要求する。なお、必ずしも警報音を吹鳴しなくてもよい。また、脇見又は居眠が検知された場合、目標走行線に沿って白線内を走行するようステアリングＥＣＵ７６に要求することで、例えば運転者が誤ってステアリングホイール１４を操作してもＬＫＡ制御を優先でき、運転者が脇見又は居眠りしていても他車線の他車両と衝突することを確実に防止できる。
・プリクラッシュ制御
脇見又は居眠りが検知された場合、メイン制御ＥＣＵ７４は障害物との関係においてより早い段階から警報音を吹鳴し、また、減速するようブレーキＥＣＵ７８に要求する。なお、必ずしも警報音を吹鳴しなくてもよい。また、メイン制御ＥＣＵ７４はより早い段階でヘッドレスト４１を頭部との相対距離を減少させる方向に移動させるようヘッドレストＥＣＵ７５に要求する。脇見又は居眠りにより例えば運転者が不注意状態であっても、早期に警報音が吹鳴されるのでより早期に注意を喚起することができる。

本実施例の運転支援装置は、実施例１の乗員撮像装置１００を用いて顔画像を撮影しているので、チルテレ位置を顔位置の撮影に適切な位置に調整でき、また、顔位置を撮影範囲に適正な位置に誘導できるので、脇見又は居眠りを精度よく検出できる。

カメラアッシーの搭載構造の概略側面図である。 カメラ搭載構造の一例を示す図である。 顔位置決定部が顔位置を決定する概略を説明する図である。 シートとカメラアッシーとの位置関係を示す図である。 ヘッドレストに内設された静電容量センサの一形態を示す図である。 チルテレ構造を備えたステアリングコラムの概略図である。 マップの一例を示す図である。 マルチインフォメーションディスプレイに表示された誘導情報の一例を示す図である。 乗員撮像装置が運転者の顔位置を適正な位置に誘導する手順のフローチャート図である。 乗員撮像装置のブロック図の一例である。

符号の説明

１１ カメラアッシー
１２ マルチインフォメーションディスプレイ
１３ 静電容量センサ
１４ ステアリングホイール
１６ チルテレ位置検出部
１８ 制御部
１９ マップ
２１ 顔位置決定部
２２ 比較部
２３ 通知部
２４ 顔位置検出部
２５ カメラ
５６ 電動チルトアクチュエータ
５８ 電動テレスコピックアクチュエータ
１００ 乗員撮像装置

Claims (9)

1. 車両に搭乗している乗員の顔画像を撮像する画像センサと、
   前記画像センサによる撮像方向、ズーム倍率又は焦点位置の少なくともいずれかの画像センサ状態を調整する撮像調整手段と、
   座席に対する前記乗員の頭部位置を検出する頭部位置検出手段と、
   前記撮像調整手段により調整された前記画像センサ状態と前記頭部位置の各情報に基づき、前記撮像調整手段による前記画像センサ状態の調整を促進する促進手段と、
   を有することを特徴とする乗員画像撮像装置。
2. 前記画像センサが設置されたステアリングコラムのチルト角度又はテレスコピック位置により前記画像センサ状態が調整される、
   ことを特徴とする請求項１記載の乗員画像撮像装置。
3. 前記頭部位置検出手段は静電容量センサを有する、ことを特徴とする請求項１又は２記載の乗員画像撮像装置。
4. 前記静電容量センサは前記座席のヘッドレストに設けられている、ことを特徴とする請求項３記載の乗員画像撮像装置。
5. 前記促進手段は、前記画像センサ状態の調整量又は顔位置の誘導量を前記乗員に通知する、
   ことを特徴とする請求項１〜３いずれか記載の乗員画像撮像装置。
6. 前記促進手段は、顔画像及び顔位置の適正位置を表示装置に表示する、
   ことを特徴とする請求項５記載の乗員画像撮像装置。
7. 請求項１〜６いずれか１項記載の乗員画像撮像装置と、
   前記画像センサが撮像した前記顔画像に基づき動作する第１車載装置と、
   前記頭部位置に基づき動作する第２車載装置と、
   を有することを特徴とする運転支援装置。
8. 前記第２車載装置は、障害物の接近に応じて、ヘッドレストを頭部との距離を減少させる方向に移動させるヘッドレスト可動手段である、
   ことを特徴とする請求項７記載の運転支援装置。
9. 前記第１車載装置は、
   前記顔画像に基づき前記乗員が脇見しているか否か、又は、前記乗員の眠気が強いか否かを判定する、
   ことを特徴とする請求項７記載の運転支援装置。
   
   
   
   

Images