JP2017212633A - 撮像装置、撮像表示方法および撮像表示プログラム - Google Patents

Abstract

【課題】進行方向に対して後方に向けられたカメラは、取得する画像の全体がバランスのとれた明るさとなるように撮像制御を行う。すると、自車両に後方から接近する他車両の車内は相対的に暗く写りがちとなり、他車両を運転する運転者の顔や表情を画像から視認することは難しかった。【解決手段】自車両の進行方向に対して後方を撮像する撮像部と、撮像部を制御する制御部と、撮像部が撮像した画像を表示部に出力する出力部と、自車両の後方において自車両へ接近する他車両を検知する検知部とを備え、制御部は、検知部が自車両へ接近する他車両を検知した場合に、撮像部が撮像した画像から検知部が検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行い、その結果に基づいて撮像部を制御する撮像装置を提供する。【選択図】図６

Description

本発明は、撮像装置、撮像表示方法および撮像表示プログラムに関する。

例えば進行方向の様子を撮像するように車両に設置されたカメラにおいて、自動露出制御（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）により適切な明るさの画像を得る技術が知られている。特許文献１は、予め設定された露出制御用の複数エリアの輝度を用いて露出制御を行う技術を開示している。特許文献２は、車両の走行速度に応じて露出演算に用いる領域を変更する技術を開示している。

特開２０１０−０４１６６８号公報 特開２０１４−１４３５４７号公報

進行方向に対して後方に向けられたカメラは、取得する画像の全体がバランスのとれた明るさとなるように撮像制御を行う。すると、自車両に後方から接近する他車両の車内は相対的に暗く写りがちとなり、他車両を運転する運転者の顔や表情を画像から視認することは難しかった。

本発明は、このような問題を解決するためになされたものであり、自車両に後方から接近する他車両を運転する運転者の明るさを適切にした画像を取得して、運転者に当該画像を呈示する技術を提供することを目的とする。

本発明の第１の態様における撮像装置は、自車両の進行方向に対して後方を撮像する撮像部と、撮像部を制御する制御部と、撮像部が撮像した画像を表示部に出力する出力部と、自車両の後方において自車両へ接近する他車両を検知する検知部とを備え、制御部は、検知部が自車両へ接近する他車両を検知した場合に、撮像部が撮像した画像から検知部が検知した他車両の運転者を含む領域を抽出し、抽出した領域に重み付けを施してＡＥ演算を行い、その結果に基づいて撮像部を制御する。

本発明の第２の態様における撮像表示方法は、自車両の進行方向に対して後方を撮像する第１撮像ステップと、自車両の後方において自車両へ接近する他車両を検知する検知ステップと、検知ステップで自車両へ接近する他車両を検知した場合に、第１撮像ステップで撮像した画像から検知ステップにおいて検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行う演算ステップと、演算ステップのＡＥ演算結果に基づいて、後方を撮像する第２撮像ステップと、第２撮像ステップで撮像された画像の少なくとも一部を表示する表示ステップとを有する。

本発明の第３の態様における撮像表示プログラムは、自車両の進行方向に対して後方を撮像する第１撮像ステップと、自車両の後方において自車両へ接近する他車両を検知する検知ステップと、検知ステップで自車両へ接近する他車両を検知した場合に、第１撮像ステップで撮像した画像から検知ステップにおいて検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行う演算ステップと、演算ステップのＡＥ演算結果に基づいて、後方を撮像する第２撮像ステップと、第２撮像ステップで撮像された画像の少なくとも一部を表示する表示ステップとをコンピュータに実行させる。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明により、自車両を運転する運転者は、後方から接近してくる他車両の運転者の様子を適切な明るさで観察することができるので、他車両がどのような運転をするのか予測しやすくなり、ひいては交通事故を未然に防ぐことが可能となる。

撮像装置が自車両に設置されている様子を示す概略図である。 自車両車室内から進行方向を観察した様子を示す概略図である。 撮像装置の構成を示すブロック図である。 あるシーンにおける取得画像と表示画像の関係を示す図である。 通常時の重み付け係数について説明する説明図である。 他車両接近時の撮像処理を説明する図である。 他車両接近時の撮像処理を説明する図である。 他車両接近時の表示画像の生成を説明する図である。 撮像装置の制御フローを示すフロー図である。 他車両の接近を検知する検知手法を説明する図である。 他車両の運転者の様子を知らせる表示例を示す図である。 他の表示例と、重み付け係数を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。

図１は、本実施形態に係る撮像装置１００が、自車両１０に設置されている様子を示す概略図である。撮像装置１００は、主にカメラユニット１１０と本体ユニット１３０によって構成されている。カメラユニット１１０は、自車両１０の進行方向に対して後方の周辺環境を撮像できるように、車両後部に設置されている。すなわち、カメラユニット１１０は、自車両１０の進行方向に対して後方を撮像する撮像部としての機能を担う。カメラユニット１１０で撮像された画像は、本体ユニット１３０で処理され、表示ユニット１６０で表示される。

表示ユニット１６０は、従来のバックミラーに置き換えられる表示装置であり、運転者は運転中に表示ユニット１６０を観察すれば、従来のバックミラーのように後方の様子を確認することができる。本実施形態においては、表示ユニット１６０としてＬＣＤパネルを採用するが、ＬＣＤパネルに限らず、有機ＥＬディスプレイ、ヘッドアップディスプレイなど、様々な態様の表示装置を採用し得る。また、表示ユニット１６０は、従来のバックミラーと併置しても良い。

自車両１０は、他車両の存在を検知するミリ波レーダー１１を、車両後方に備える。ミリ波レーダー１１は、他車両が存在する場合に検知信号としてのミリ波レーダー信号を出力する。ミリ波レーダー信号は、他車両の方向（右後方、直後方、左後方）や距離、接近速度の情報を含む。本体ユニット１３０は、ミリ波レーダー１１からの信号またはミリ波レーダー１１による他車両の検知結果を取得する。

図２は、自車両１０の車室内から進行方向を観察した様子を示す概略図である。上述のように、従来の車両においてバックミラーが設置されていた位置に表示ユニット１６０が設置されており、車両後方の様子が画像として表示されている。表示される画像は、例えば６０ｆｐｓのライブビュー画像であり、ほぼリアルタイムに表示されている。表示ユニット１６０の表示は、例えばパワースイッチあるいはイグニッションスイッチの操作に同期して開始され、パワースイッチあるいはイグニッションスイッチの再度の操作に同期して終了する。

運転席から見て左前方には、ナビゲーションシステム１４が設けられている。ナビゲーションシステム１４は、運転者が目的地を設定するとルートを探索して案内すると共に、地図上に現在の自車両１０の位置を表示する。また、運転者の操作に従って、後述する拡大表示枠を表示させることもできる。

図３は、撮像装置１００の構成を示すブロック図である。上述のように、撮像装置１００は、主にカメラユニット１１０および本体ユニット１３０によって構成される。

カメラユニット１１０は、主にレンズ１１２、撮像素子１１４およびＡＦＥ（アナログフロントエンド）１１６を備える。レンズ１１２は、入射する被写体光束を撮像素子１１４へ導く。レンズ１１２は、複数の光学レンズ群から構成されていても良い。

撮像素子１１４は、例えばＣＭＯＳイメージセンサである。撮像素子１１４は、システム制御部１３１から指定される１フレームあたりの露光時間に従って電子シャッタにより電荷蓄積時間を調整し、光電変換を行って画素信号を出力する。撮像素子１１４は、画素信号をＡＦＥ１１６へ引き渡す。ＡＦＥ１１６は、画素信号をシステム制御部１３１から指示される増幅ゲインに応じてレベル調整してデジタルデータへＡ／Ｄ変換し、画素データとして本体ユニット１３０へ送信する。なお、カメラユニット１１０は、メカニカルシャッタや虹彩絞りを備えても良い。メカニカルシャッタや虹彩絞りを備える場合には、システム制御部１３１は、これらも利用して、撮像素子１１４へ入射する光量を調整することができる。

本体ユニット１３０は、システム制御部１３１、画像入力ＩＦ１３２、ワークメモリ１３３、システムメモリ１３４、画像処理部１３５、表示出力部１３６、入出力ＩＦ１３８、バスライン１３９を主に備える。画像入力ＩＦ１３２は、本体ユニット１３０とケーブルを介して接続されているカメラユニット１１０から画素データ受信して、バスライン１３９へ引き渡す。

ワークメモリ１３３は、例えば揮発性の高速メモリによって構成される。ワークメモリ１３３は、ＡＦＥ１１６から画像入力ＩＦ１３２を介して画素データを受け取り、１フレームの画像データに纏めて記憶する。ワークメモリ１３３は、フレーム単位で画像処理部１３５へ画像データを引き渡す。また、ワークメモリ１３３は、画像処理部１３５が画像処理する途中段階においても一時的な記憶領域として適宜利用される。

画像処理部１３５は、受け取った画像データに対して各種の画像処理を施し、予め定められたフォーマットに即した画像データを生成する。例えば、ＪＰＥＧ形式の静止画像データを生成する場合は、１フレームの画像データに対してホワイトバランス処理、ガンマ処理等を施して圧縮処理を実行する。例えば、ＭＰＥＧファイル形式の動画像データを生成する場合は、各フレーム画像データに対するホワイトバランス処理、ガンマ処理等を施した後に、フレーム内およびフレーム間の圧縮処理を実行する。画像処理部１３５は、生成された画像データから表示用画像データを逐次生成して、表示出力部１３６へ引き渡す。

表示出力部１３６は、画像処理部１３５から受け取った表示用画像データを、表示ユニット１６０で表示可能な画像信号に変換して出力する。すなわち、表示出力部１３６は、撮像部としてのカメラユニット１１０が撮像した画像を表示部である表示ユニット１６０に出力する出力部としての機能を担う。本体ユニット１３０と表示ユニット１６０とが、アナログケーブルで接続されている場合には、表示用画像データをＤＡ変換して出力する。また、例えばＨＤＭＩ（登録商標）ケーブルで接続されている場合には、表示用画像データをＨＤＭＩ形式のデジタル信号に変換して出力する。表示ユニット１６０は、表示出力部１３６から受け取った画像信号を逐次表示する。

システムメモリ１３４は、例えばＥＥＰＲＯＭ（登録商標）などの不揮発性記録媒体により構成される。システムメモリ１３４は、撮像装置１００の動作時に必要な定数、変数、設定値、プログラム等を記録、保持する。

入出力ＩＦ１３８は、外部機器からの信号を受信してシステム制御部１３１へ引き渡したり、外部機器へ信号要求などの制御信号をシステム制御部１３１から受け取って外部機器へ送信したりする、外部機器との接続インタフェースである。上述したミリ波レーダー１１からの信号は、入出力ＩＦ１３８を介してシステム制御部１３１へ入力される。入出力ＩＦ１３８がミリ波レーダー１１からの信号を受信する場合に、入出力ＩＦ１３８は、システム制御部１３１と協働して、自車両１０へ接近する他車両を検知する検知部としての機能を担う。

システム制御部１３１は、撮像装置１００を構成する各要素を直接的または間接的に制御する。システム制御部１３１による制御は、システムメモリ１３４から読みだされたプログラム等によって実現される。本発明における制御部とは、システム制御部１３１が直接的または間接的に制御する各要素を含む。

次に、本実施形態に係る撮像制御について説明する。図４は、あるシーンにおける取得画像と表示画像の関係を示す説明図である。図４において、外枠の範囲として表す撮像画角２１４は、撮像素子１１４が光電変換する光学像の範囲を表す。撮像素子１１４は、結像する光学像を、二次元的に配列された例えば２００万個からなる画素で光電変換して、画素信号を出力する。

内枠の範囲として表す表示画角２６１は、表示ユニット１６０で表示される画像領域を表す。表示ユニット１６０は、上述のように従来のバックミラーに置き換えられるものである場合に、従来のバックミラーのように横長のアスペクト比を有する表示パネルが採用される。表示ユニット１６０は、撮像素子１１４の出力から生成される画像のうち、表示画角２６１に相当する領域を表示する。本実施形態においては、画像処理部１３５が、撮像画角２１４で生成した画像を表示画角２６１に切り出して表示用画像データを生成する。なお、表示ユニット１６０に表示される画像は、自車両１０の後方へ向けられたカメラユニット１１０で撮像された画像とは鏡像の関係にある。したがって、画像処理部１３５は鏡像反転の画像処理をおこなうが、以下においては理解しやすいよう、表示ユニット１６０で表示される鏡像を基準としてシーンを説明する。

図示する一例のシーンは、自車両１０が走行する中央車線９００と、後方に他車両２０が走行する右車線９０１を有する道路を含む。中央車線９００と右車線９０１とは、路面に描かれた区分線９１１で区分されている。道路よりも上側は空９２０が撮像画角２１４の１／３程度を占めている。また、他車両２０は、区分線９１１を跨いで中央車線９００へ車線変更しようとしている。

後述する他車両接近時以外の通常時においては、運転者が後方環境の全体を観察することを前提として、システム制御部１３１は、取得する画像の全体がバランスのとれた明るさとなるように、カメラユニット１１０を制御する。具体的には、予め定められた撮像制御値により撮像処理を実行して一枚の画像データを生成し、その画像データを用いてＡＥ演算を実行する。

ＡＥ演算は、例えば、生成した画像の各領域の輝度値から画像全体の平均輝度値を算出し、その平均輝度値と目標輝度値の差が０となるような撮像制御値を決定する演算である。より具体的には、算出された平均輝度値と目標輝度値の差を、例えばシステムメモリ１３４に記憶されたルックアップテーブルを参照して撮像制御値の修正量に変換し、これを予め用いた撮像制御値に加算して、次に撮像処理を実行するための撮像制御値として決定する演算である。なお、撮像制御値は、撮像素子１１４の電荷蓄積時間（シャッタ速度に相当）と、ＡＦＥ１１６の増幅ゲインの少なくともいずれかを含む。虹彩絞りを備える場合は、光彩絞りを駆動して調整され得る光学系のＦ値を含んでも良い。

ここで、画像全体の平均輝度値を算出するときに、各領域の輝度値に重み付け係数を掛け合わせる。図５は、通常時の重み付け係数について説明する説明図である。

図において点線によって区分するように、撮像画角２１４を横ｍ×縦ｎ’のｍ・ｎ’領域に分割する場合、システム制御部１３１は、それぞれの領域に含まれる画素の輝度値に重み付け係数を掛け合わせて、画像全体の平均輝度値を算出する。図示するように、通常時の重み付け係数はすべて１である。つまり、実質的には重み付けを施さない。したがって、全ての領域を偏りなく扱うことにより、全体的にバランスのとれた明るさの画像が生成されるような撮像制御値が決定される。全体的にバランスのとれた明るさの画像であれば、図４において他車両２０の車内は相対的に暗くなり、空９２０は相対的に明るくなる。なお、撮像画角２１４をいくつの領域に分割するかは、システム制御部１３１の演算能力等によって任意に設定される。

なお、以下の説明においては、システム制御部１３１は、まず表示画角２６１に切り出し、表示画角２６１の画像を横ｍ×縦ｎのｍ・ｎ領域に分割してＡＥ演算を行うものとする。表示画角２６１の画像を対象に重み付けを施すＡＥ演算を行えば、切り落とした撮像画角の領域に極端な高輝度や低輝度の被写体が存在する場合であっても、これらの影響を受けることなく、より適切な撮像制御値を決定できる。

次に、他車両２０が自車両１０に接近してくる他車両接近時における、撮像処理について説明する。図６は、他車両２０の接近検知からウィンドシールド２１に対応する領域に加重ウィンドウを設定するまでの撮像処理を説明する図である。

図６（ａ）は、通常時に取得されている画像を表す。上述のように、通常時の画像は、全体的にバランスのとれた明るさの画像なので、フロントガラスであるウィンドシールド２１に遮られた他車両２０の車内は、相対的に暗い。したがって、自車両１０の運転者は、他車両２０の運転者がどのような様子であるかを、通常時の画像からは観察しにくい。

システム制御部１３１は、入出力ＩＦ１３８が受信するミリ波レーダー信号から他車両２０の接近を検知したら、他車両接近時における撮像処理を開始する。図６（ｂ）は、現時点で取得している画像から、他車両２０のウィンドシールド２１に対応する領域を抽出する様子を表す。

システム制御部１３１は、画像処理部１３５と協働して、ウィンドシールド２１に対応する領域を抽出する。具体的には、ミリ波レーダー信号の情報により他車両２０の接近方向を定め、その方向に輝度の低い略矩形領域が無いかを探索する。このとき、ミリ波レーダー信号の変化と、取得されるフレーム画像間の変化（例えば、被写体の移動ベクトル）の相関関係を利用して、輝度の低い略矩形領域を同定しても良い。

図６（ｃ）は、表示画角２６１の領域に第１加重ウィンドウ３０１を設定した様子を表す。システム制御部１３１は、ウィンドシールド２１に対応する領域を抽出したら、その領域を囲む第１加重ウィンドウ３０１を設定する。システム制御部１３１は、第１加重ウィンドウ３０１を設定したら、第１加重ウィンドウ３０１に含まれる分割領域に係数１を、含まれない分割領域に係数０を与える。なお、ウィンドシールド２１は、表示画角２６１に対して相対的に小さい場合もあるので、他車両接近時における分割領域数ｍ・ｎを、通常時のときよりも多くしても良い。あるいは、分割領域を画素単位としても良い。他車両接近時における分割領域数を通常時よりも多くすることにより、他車両接近時における処理を高い精度で行えると共に、通常における処理を簡易に行うことができる。

このような重み付けを施すと、第１加重ウィンドウ３０１が設定されたウィンドシールド２１の領域の輝度に基づいて撮像制御値が決定されることになる。具体的には、図６（ａ）に示すように、ウィンドシールド２１の領域は暗いので、この領域における平均輝度値は小さくなり、目標輝度値との差は大きくなる。目標輝度値との差が大きくなると、撮像制御値としての修正量も大きくなり、この場合は、画像全体をより明るくしようとする撮像制御値が決定されることになる。

このように重み付けが施されたＡＥ演算結果によって撮像制御値が決定されると、その撮像制御値で撮像された画像は、ウィンドシールド２１の範囲に含まれる被写体の明るさが適正になることが期待できる。図７は、ウィンドシールド２１の領域の明るさを最適化した画像の取得から、他車両２０の運転者の顔領域５０１に加重ウィンドウを設定するまでの撮像処理を説明する図である。

図７（ａ）は、図６の処理を経て決定された撮像制御値で撮像された画像を模式的に表した図である。ウィンドシールド２１の領域を適正露出としたので、その他の被写体領域は、相対的にかなり明るくなっている。そして、適正露出としたウィンドシールド２１の領域には、通常時における画像では潰れて観察できなかった運転者９０が観察できるようになる。

図７（ｂ）は、ウィンドシールド２１の領域を拡大して示す。システム制御部１３１は、画像処理部１３５が備える顔検出機能により、ウィンドシールド２１の領域内から運転者９０の顔領域５０１を抽出する。

図７（ｃ）は、抽出した顔領域５０１を第２加重ウィンドウ３０２として重み付けする様子を示す。システム制御部１３１は、ウィンドシールド２１に対応する第１加重ウィンドウ３０１のうち、顔領域５０１に対応する部分を第２加重ウィンドウ３０２と定める。そして、第１加重ウィンドウ３０１に含まれる分割領域に係数１を、第２加重ウィンドウ３０２に含まれる分割領域に係数３を、いずれにも含まれない分割領域に係数０を与える。このような重み付けを施すと、第２加重ウィンドウ３０２が設定された顔領域５０１の影響が相対的に大きくなり、顔領域５０１をより適切な明るさで撮像する撮像制御値が決定されることになる。

図８は、表示画像を生成して表示ユニット１６０に表示するまでの処理を説明する図である。図８（ａ）は、図７の処理を経て決定された撮像制御値によって撮像された画像を模式的に表した図である。顔領域５０１を重点的に適正露出としたので、その他の被写体領域は、相対的にかなり明るくなっている。

図８（ｂ）は、図８（ａ）の画像を取得した後に続いて、通常時と同様に実質的に重み付けを施さないでＡＥ演算を行って取得した画像である。システム制御部１３１は、画像処理部１３５と協働して、まず図８（ａ）の画像から顔領域５０１を切り出し、運転者９０の顔を視認しやすいように拡大処理する。そして、拡大処理した拡大表示枠７００を、図８（ｂ）の画像に重畳、合成する。図８（ｃ）は、図８（ｂ）の画像に、拡大表示枠７００を重畳、合成した表示画像を表す。図示するように、拡大表示枠７００に示される運転者９０が、どの他車両の運転者であるかわかるように、拡大表示枠７００と、対象となるウィンドシールド２１とを、引出線７０１で繋いで表示しても良い。また、図８（ｂ）の画像は、図８（ａ）の画像を取得した後に続いて取得した画像でなくても、図６（ａ）の画像取得から図８（ａ）の画像取得までにそれ程時間がかからないのであれば、図６（ａ）の画像であっても良い。

図８（ｃ）で示すような形式で表示ユニット１６０に表示されると、自車両１０の運転者は、周辺環境の様子と共に、接近車両の運転者の様子や表情を視認することができる。接近車両の運転者の様子や表情がわかれば、その接近車両がどのような走行をするかの予測もしやすく、自車両の安全を確保することに資する。例えば、接近車両の運転者が老人であれば、自車両１０を遅く走らせても迷惑にならないことが予想でき、若者が運転しているのであれば、自車両１０を他車線へ回避させるなどの行動を取ることができる。

次に、撮像装置１００の制御フローの一例について説明する。図９は、撮像装置１００の制御フローを示すフロー図である。フローは、例えばパワースイッチが操作された時点で開始される。

システム制御部１３１は、ステップＳ１０１で、撮像制御値を含む撮像制御信号をカメラユニット１１０へ送り、撮像を実行させて画素データを本体ユニット１３０に送信させる。ステップＳ１０２へ進み、システム制御部１３１は、入出力ＩＦ１３８等を介して、他車両が接近する情報を取得したか否かを判断する。

システム制御部１３１は、他車両が接近する情報を取得していないと判断したら、ステップＳ１０３へ進み、ステップＳ１０１で取得した画素データを画像処理部１３５で処理して表示画像を形成し、表示出力部１３６を介して表示ユニット１６０で表示する。その後、ステップＳ１１４へ進み、表示終了の指示を受け付けてなければ、更にステップＳ１１５へ進む。ステップＳ１１５では、システム制御部１３１は、ステップＳ１０１で取得した画素データを利用して、図５を用いて説明した重み付けを施さないＡＥ演算を行い、次に画像を取得するための撮像制御値を決定する。そして、ステップＳ１０１へ戻り、ステップＳ１１５で決定された撮像制御値を用いて画像の取得が実行され、他車両が接近しない通常時の撮像処理が繰り返し実行される。

システム制御部１３１は、ステップＳ１０２で、他車両が接近する情報を取得したと判断したら、ステップＳ１０４へ進む。システム制御部１３１は、ステップＳ１０１で取得した画素データを画像処理部１３５で処理して、図６（ｂ）を用いて説明したように、ウィンドシールド２１の領域を検出する。そして、ステップＳ１０５へ進み、図６（ｃ）を用いて説明したように、第１加重ウィンドウ３０１を設定して、重み付けを施してＡＥ演算を行い、撮像制御値を決定する。

ステップＳ１０６へ進み、システム制御部１３１は、当該撮像制御値を含む撮像制御信号をカメラユニット１１０へ送り、撮像を実行させて画素データを本体ユニット１３０に送信させる。システム制御部１３１は、本体ユニット１３０が画素データを取得すると、ステップＳ１０７へ進み、図７（ａ）（ｂ）を用いて説明したように、顔領域５０１を抽出する。そして、ステップＳ１０８へ進み、図７（ｃ）を用いて説明したように、第２加重ウィンドウ３０２を設定して、重み付けを施してＡＥ演算を行い、撮像制御値を決定する。

ステップＳ１０９へ進み、システム制御部１３１は、当該撮像制御値を含む撮像制御信号をカメラユニット１１０へ送り、撮像を実行させて画素データを本体ユニット１３０に送信させる。システム制御部１３１は、本体ユニット１３０が画素データを取得すると、ステップＳ１１０へ進み、取得した画素データから顔領域を切り出して拡大した拡大表示枠７００を生成する。そして、ステップＳ１１１へ進み、ステップＳ１０１で取得した画像に拡大表示枠７００を重畳、合成して表示画像データを生成する。システム制御部１３１は、ステップＳ１１２で、当該表示画像データを表示出力部１３６で画像信号に変換し、図８（ｃ）を用いて説明したような形式の表示画像を表示ユニット１６０に表示させる。

ステップＳ１１３では、システム制御部１３１は、表示画像を表示してから所定時間が経過したか否かを判断する。所定時間が経過するまでは、ステップＳ１１２の表示を継続する。所定時間が経過したと判断したら、ステップＳ１１４へ進む。

ステップＳ１１４では、表示終了の指示を受け付けたか否かを判断する。表示終了の指示は、例えば再度のパワースイッチの操作である。表示終了の指示を受け付けていないと判断したらステップＳ１１５を経由してステップＳ１０１へ戻り、受け付けたと判断したら一連の処理を終了する。なお、ステップＳ１１２の表示を行った後にステップＳ１１５へ進む場合は、システム制御部１３１は、ステップＳ１０１で取得した画像を用いて重み付け無しのＡＥ演算を行う。

図１０は、他車両２０の接近を検知する別の検知手法を説明する図である。上述の実施例においては、ミリ波レーダー１１から受信するミリ波レーダー信号を利用して他車両２０の接近を検知したが、カメラユニット１１０が撮像した画像から、自車両１０へ接近する他車両２０を検知することもできる。この場合、画像処理部１３５は、システム制御部１３１と協働して、後方において自車両１０へ接近する他車両２０を検知する検知部としての機能を担う。

一例としては、カメラユニット１１０が撮像した画像に占める他車両２０の割合が予め定められた基準値を上回った場合に、他車両２０が自車両１０に接近したと検知できる。例えば、システム制御部１３１は、表示画角２６１に対して中央付近に予め一定の割合を成す近接枠６００を設定する。図１０（ａ）に示すように、近接枠６００よりも他車両２０が小さければ、接近状態とは判断せず、図１０（ｂ）に示すように、近接枠６００よりも他車両２０が大きければ、接近状態と判断する。他車両２０の大きさは、フレーム画像間でひとかたまりを成す移動ベクトル群の領域を抽出すれば把握することができる。あるいは、複数の車両輪郭パターンをテンプレートとして予め用意しておき、取得画像に対するパターンマッチングにより把握することもできる。

また、別の例としては、カメラユニット１１０が撮像した画像における他車両２０の移動量が予め定められた基準値を上回った場合に、他車両２０が自車両１０に勢いよく接近していると検知することができる。上述のように、フレーム画像間でひとかたまりを成す移動ベクトル群の領域を抽出し、その移動ベクトルの大きさを観察すれば、他車両２０が勢いよく自車両１０に接近しているか否かを把握することができる。勢いよく近づいて来るときほど、他車両の運転者の様子を観察する必要性があると言えるので、システム制御部１３１は、他車両が勢いよく近づいて来る場合に、当該他車両の運転者を表示するようにしても良い。

また、別の例としては、カメラユニット１１０が撮像した画像において、自車両１０が走行する車線に他車両２０が進入したことを検知した場合に、他車両２０が自車両１０に接近したと検知することもできる。例えば、取得した画像を解析して、自車両１０の走行車線と隣接する走行車線との間の区分線を抽出しておき、他車両２０が当該区分線を跨いだら近接状態になったと判断する。

次に、検出した他車両２０の運転者９０の様子に応じて、表示制御を変更する実施例について説明する。図１１は、他車両２０の運転者９０の様子を知らせる表示例を示す図である。

画像処理部１３５は、図７（ｂ）で説明したように顔領域５０１を抽出したら、さらに運転者９０の表情を解析する。例えば、両目が閉じていると解析したら、システム制御部１３１は、その解析結果を受け、図示するように「居眠り注意」とのメッセージ７１０を重畳、合成して表示する。画像処理部１３５は、他にも笑っている状態や怒っている状態を解析し、システム制御部１３１は、これらの解析結果に応じてメッセージ７１０の内容を変更するようにしても良い。また、特定の状態を解析した場合にのみ、運転者９０の拡大表示枠７００を重畳、合成して表示するようにしても良い。

次に、重み付けを施すＡＥ演算のバリエーションについて説明する。以上に説明した実施例においては、まずウィンドシールド２１の領域を抽出して第１加重ウィンドウ３０１を設定した。このとき、第１加重ウィンドウ３０１に含まれる分割領域の重み付け係数を１とし、他の分割領域の重み付け係数を０とすることで、ウィンドシールド２１の領域以外の領域における輝度の影響を排除した。しかし、相対的にウィンドシールド２１の領域の輝度の影響が大きくなれば良いので、第１加重ウィンドウ３０１に含まれる分割領域の重み付け係数を相対的に大きく設定した上で、他の領域の輝度の影響も残るようにしても良い。例えば、ウィンドシールド以外の他車両のボディや路面に対応する分割領域の重み付け係数を、第１加重ウィンドウ３０１に含まれる分割領域の重み付け係数に準ずる（小さい）値とする。

また、以上に説明した実施例においては、第１加重ウィンドウ３０１に含まれる分割領域の重み付け係数を１とした上で、第２加重ウィンドウ３０２に含まれる分割領域の重み付け係数を３とした。しかし、システム制御部１３１は、顔領域５０１を抽出したら、その領域に対応する分割領域のみに重み付け係数１を与え、他の分割領域の重み付け係数を０とすることもできる。このように重み付け係数を設定すれば、運転者９０の顔以外の被写体の輝度の影響を排除することができる。なお、重み付け係数は、固定された値ではなく、ウィンドウの大きさや、取得画像のコントラスト、他車両の動き等に応じて、適宜変更し得る。この場合、複数の重み付け係数パターンを予め用意しておき、状況に応じて適用する重み付け係数パターンを選択するようにしても良い。また、重み付け係数の具体的な数値は、１、３、０等に限られるものではなく、シミュレーション等により事前に好ましい数値が設定される。

以上に説明した実施例においては、ウィンドシールド２１の領域の検出と、顔領域の検出の２段階を経て表示画像を生成したが、最初に取得した画像から直接的に顔領域を抽出できる場合は、ウィンドシールド２１の領域を検出する段階を経なくても良い。図１２は、このような場合における表示画像の例と、重み付け係数を説明する図である。

最初に取得した画像が図１２（ａ）で示すような画像であれば、顔検出機能により顔を検出できる程度に運転者９０の顔が写り込んでいるので、システム制御部１３１は、ウィンドシールド２１の領域を検出することなく、加重ウィンドウを設定する。

システム制御部１３１は、図１２（ｂ）に示すように、顔領域に対応する領域に加重ウィンドウ３０３を設定する。また、空９２０に対応する領域に軽減ウィンドウ３０４を設定し、他の領域に通常ウィンドウ３０５を設定する。そして、加重ウィンドウ３０３に含まれる分割領域には重み付け係数５を与え、通常ウィンドウ３０５に含まれる分割領域には重み付け係数１を与える。一方、軽減ウィンドウ３０４に含まれる分割領域には重み付け係数を０とする。このように重み付けが施されたＡＥ演算結果によって撮像制御値が決定されると、その撮像制御値で撮像された画像は、高輝度な空９２０の影響を排除しつつ、路面などの影響を残して、運転者９０の顔が視認しやすい明るさになることが期待できる。

そのようにして撮像された画像から拡大表示枠７００を生成して、図１２（ａ）の画像に重畳すると、図１２（ｃ）に示すように、表示ユニット１６０に表示する表示画像が得られる。

撮像装置１００は、撮像した画像を静止画像データあるいは動画像データとして図示しない記録媒体に記録できる構成としてもよい。取得画像の利用が私的なものであれば、取得した画像データをそのまま記録すれば良いが、取得画像が公共の利用に供されるのであれば、プライバシー保護の観点から画像処理を施した上で記録する。具体的には、画像処理部１３５により、他車両２０の運転者９０の顔領域に対してモザイク処理等の不鮮明にする画像処理を施した上で記録する。また、ナンバープレートのように個人を特定できる被写体が移っている場合も不鮮明にする画像処理を施しても良い。

以上説明した実施形態において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現し得る。便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ 自車両、１１ ミリ波レーダー、１４ ナビゲーションシステム、２０ 他車両、２１ ウィンドシールド、９０ 運転者、１００ 撮像装置、１１０ カメラユニット、１１２ レンズ、１１４ 撮像素子、１１６ ＡＦＥ、１３０ 本体ユニット、１３１ システム制御部、１３２ 画像入力ＩＦ、１３３ ワークメモリ、１３４ システムメモリ、１３５ 画像処理部、１３６ 表示出力部、１３８ 入出力ＩＦ、１６０ 表示ユニット、２１４ 撮像画角、２６１ 表示画角、３０１ 第１加重ウィンドウ、３０２ 第２加重ウィンドウ、３０３ 加重ウィンドウ、３０４ 軽減ウィンドウ、３０５ 通常ウィンドウ、５０１ 顔領域、６００ 近接枠、７００ 拡大表示枠、７０１ 引出線、７１０ メッセージ、９００ 中央車線、９０１ 右車線、９１１ 区分線、９２０ 空

Claims (12)

1. 自車両の進行方向に対して後方を撮像する撮像部と、
   前記撮像部を制御する制御部と、
   前記撮像部が撮像した画像を表示部に出力する出力部と、
   前記自車両の後方において前記自車両へ接近する他車両を検知する検知部と
   を備え、
   前記制御部は、前記検知部が前記自車両へ接近する他車両を検知した場合に、前記撮像部が撮像した画像から前記検知部が検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行い、その結果に基づいて前記撮像部を制御する撮像装置。
2. 前記制御部は、重み付けを大きくした領域以外の重みを０とする請求項１に記載の撮像装置。
3. 前記制御部は、重み付けを大きくしてＡＥ演算を行って前記撮像部を制御して前記撮像部から出力された画像の少なくとも一部と、重み付けを施すことなくＡＥ演算を行って前記撮像部を制御して前記撮像部から出力された画像の少なくとも一部とを合成した画像を生成し、
   前記出力部は、前記制御部が合成した画像を前記表示部に出力する請求項１または２に記載の撮像装置。
4. 前記制御部は、重み付けを大きくした領域の少なくとも一部を拡大した画像を前記撮像部から出力された画像に合成した画像生成し、
   前記出力部は、前記制御部が合成した画像を前記表示部に出力する請求項１から３のいずれか１項に記載の撮像装置。
5. 前記制御部は、前記運転者の表情状況を解析し、その結果に基づいた合成画像を生成し、
   前記出力部は、前記制御部が合成した画像を前記表示部に出力する請求項１から４のいずれか１項に記載の撮像装置。
6. 前記制御部は、前記撮像部が撮像した画像から、前記他車両のウィンドシールドの範囲を抽出し、前記ウィンドシールドの範囲から前記運転者を含む領域を抽出する請求項１から５のいずれか１項に記載の撮像装置。
7. 前記検知部は、前記撮像部が撮像した画像から、前記自車両へ接近する他車両を検知する請求項１から６のいずれか１項に記載の撮像装置。
8. 前記検知部は、前記撮像部が撮像した画像に占める前記他車両の割合が予め定められた基準値を上回った場合に、前記他車両が前記自車両に接近したと検知する請求項７に記載の撮像装置。
9. 前記検知部は、前記撮像部が撮像した画像における前記他車両の移動量が予め定められた基準値を上回った場合に、前記他車両が前記自車両に接近したと検知する請求項７または８に記載の撮像装置。
10. 前記検知部は、前記撮像部が撮像した画像において、前記自車両が走行する車線に前記他車両が進入したことを検知した場合に、前記他車両が前記自車両に接近したと検知する請求項７から９のいずれか１項に記載の撮像装置。
11. 自車両の進行方向に対して後方を撮像する第１撮像ステップと、
    前記自車両の後方において前記自車両へ接近する他車両を検知する検知ステップと、
    前記検知ステップで前記自車両へ接近する他車両を検知した場合に、前記第１撮像ステップで撮像した画像から前記検知ステップにおいて検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行う演算ステップと、
    前記演算ステップのＡＥ演算結果に基づいて、前記後方を撮像する第２撮像ステップと、
    前記第２撮像ステップで撮像された画像の少なくとも一部を表示する表示ステップと
    を有する撮像表示方法。
12. 自車両の進行方向に対して後方を撮像する第１撮像ステップと、
    前記自車両の後方において前記自車両へ接近する他車両を検知する検知ステップと、
    前記検知ステップで前記自車両へ接近する他車両を検知した場合に、前記第１撮像ステップで撮像した画像から前記検知ステップにおいて検知した他車両の運転者を含む領域を抽出し、抽出した領域の重み付けを大きくしてＡＥ演算を行う演算ステップと、
    前記演算ステップのＡＥ演算結果に基づいて、前記後方を撮像する第２撮像ステップと、
    前記第２撮像ステップで撮像された画像の少なくとも一部を表示する表示ステップと
    をコンピュータに実行させる撮像表示プログラム。

Images