JP2016196217A - 周辺監視装置 - Google Patents

Abstract

【課題】停車時と発進時との間の車両の周囲の状況の変化を車両の乗員に通知する。
【解決手段】実施形態による周辺監視装置は、車両の周辺の状況を示す周辺情報を取得する取得部と、車両の停車時に取得部により取得される第１の周辺情報をメモリに保存する保存処理部と、車両の停車からの発進時に取得部により取得される第２の周辺情報と、メモリに保存された第１の周辺情報とを比較する比較処理部と、比較処理部による比較結果に基づいて、第１の周辺情報と第２の周辺情報との差異を出力する出力部とを備える。
【選択図】図５

Description

本発明の実施形態は、周辺監視装置に関する。

従来、車両を停車から発進させる際に、車両に設置されたカメラで撮像し、撮像した画像を車両の乗員に向けて表示することで、発進時における車両の周辺の状況を乗員に通知する技術が知られている。

特開２００３−３０６１０５号公報

上記のような従来技術では、発進時における車両の周辺の状況のみが通知されるため、停車してから発進するまでの間に車両の周辺の状況に変化があった場合、その変化に乗員が気付かないことがあった。

実施形態による周辺監視装置は、車両の周辺の状況を示す周辺情報を取得する取得部と、車両の停車時に取得部により取得される第１の周辺情報をメモリに保存する保存処理部と、車両の停車からの発進時に取得部により取得される第２の周辺情報と、メモリに保存された第１の周辺情報とを比較する比較処理部と、比較処理部による比較結果に基づいて、第１の周辺情報と第２の周辺情報との差異を出力する出力部とを備える。これにより、たとえば、停車してから発進するまでの間に車両の周辺の状況に変化があった場合に、その変化を車両の乗員に通知することができる。

また、実施形態による周辺監視装置では、保存処理部は、停車時に車両の駆動源がオフになる場合、第１の周辺情報を、メモリのうちの不揮発性の第１メモリに保存し、停車時に車両の駆動源がオンのまま維持される場合、第１の周辺情報を、メモリのうちの揮発性の第２メモリに保存する。これにより、たとえば、停車時における車両の周辺の状況を、車両の駆動源のオンオフの状態に応じて適切な記憶媒体に保存することができる。

また、実施形態による周辺監視装置では、周辺情報は、車両に設けられた複数のカメラにより撮像された複数の撮像画像が合成された合成画像に対応し、比較処理部は、第１の周辺情報に対応する第１の合成画像と、第２の周辺情報に対応する第２の合成画像とを比較し、出力部は、第１の合成画像と第２の合成画像との差分に基づく差分画像を表示部に表示する。これにより、たとえば、車両の周辺の状況の変化を、乗員が認識しやすい視覚的な方法を用いて通知することができる。

また、実施形態による周辺監視装置では、撮像画像は、車両に格納可能な（開閉可能な）サイドミラーに設けられたサイドカメラにより撮像されたサイド画像を含み、サイド画像は、開いた状態のサイドミラーのサイドカメラにより撮像された第１のサイド画像と、閉じた状態のサイドミラーのサイドカメラにより撮像された第２のサイド画像とを含み、比較処理部は、第１のサイド画像が合成された第１の合成画像および第２の合成画像を比較し、第２のサイド画像が合成された第１の合成画像および第２の合成画像を比較する。これにより、たとえば、２種類のサイド画像を用いて比較対象を増やすことができるので、車両の周辺の状況の変化を精度よく検出することができる。

また、実施形態による周辺監視装置では、出力部は、差分が抽出された領域を、第２の合成画像上で強調表示する。これにより、たとえば、車両の周辺の状況の変化を容易に乗員に通知することができる。

また、実施形態による周辺監視装置では、車両に備えられる全てのドアが閉じられた状態、またはドアが施錠された状態において、保存処理部が第１の周辺情報を保存し、かつ比較処理部が第１の周辺情報と第２の周辺情報とを比較する。これにより、たとえば、車両のドアの影響が除外された周辺情報を用いて比較処理を行うことができる。

図１は、実施形態による周辺監視装置を搭載する車両の車室の一部が透視された状態を示した例示斜視図である。 図２は、実施形態による周辺監視装置を搭載する車両のサイドミラーが開かれた状態を示した例示平面図（俯瞰図）である。 図３は、実施形態による周辺監視装置を搭載する車両のサイドミラーが閉じた状態を示した例示平面図（俯瞰図）である。 図４は、実施形態による周辺監視装置の構成を示した例示ブロック図である。 図５は、実施形態による周辺監視装置の周辺監視ＥＣＵ内に実現される周辺監視部の機能的構成を示した例示ブロック図である。 図６は、実施形態による周辺監視装置が生成する、停車時における車両の俯瞰画像を示した例示図である。 図７は、実施形態による周辺監視装置が生成する、停車からの発進時における車両の俯瞰画像を示した例示図である。 図８は、実施形態による周辺監視装置が生成する差分画像を説明するための例示図である。 図９は、実施形態による周辺監視装置が表示装置に出力する画像を示した例示図である。 図１０は、実施形態による周辺監視装置が表示装置に出力する画像を示した例示図である。 図１１は、実施形態による周辺監視装置が図９および図１０とは異なる方法で差分画像を強調表示した状態を示した例示図である。 図１２は、実施形態による周辺監視装置が車両の停車時に実行する処理を示した例示フローチャートである。 図１３は、実施形態による周辺監視装置が車両の停車からの発進時に実行する処理を示した例示フローチャートである。

以下、実施形態を図面に基づいて説明する。

まず、図１〜図３を参照して、実施形態による車両１の全体構成について説明する。

実施形態による車両１は、たとえば、エンジンなどの内燃機関を駆動源ＤＳとする車両（内燃機関自動車）であってもよいし、モータなどの電動機を駆動源ＤＳとする車両（電気自動車、燃料電池自動車など）であってもよい。また、車両１は、これらの双方を駆動源とする車両（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品など）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、レイアウトなどは、種々に設定することができる。

図１に示すように、実施形態による車両１は、乗員（図示せず）が乗車する車室２ａを構成する車体２を備える。車室２ａ内には、乗員としての運転者の座席２ｂに対応するように、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７とが設けられている。たとえば、操舵部４は、ダッシュボード（インストルメントパネル）から突出したステアリングホイールであり、加速操作部５は、運転者の足下に位置されたアクセルペダルである。また、たとえば、制動操作部６は、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、センターコンソールから突出したシフトレバーである。なお、実施形態による操舵部４、加速操作部５、制動操作部６、変速操作部７は、ここで挙げた構成に限定されるものではない。

また、車室２ａ内には、表示装置８と、音声出力装置９とが設けられている。表示装置８は、たとえば、液晶ディスプレイや、有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｔ）ディスプレイなどである。また、音声出力装置９は、たとえば、スピーカである。ここで、実施形態による表示装置８は、タッチパネルなどの操作入力部１０を備える。車両１の乗員は、操作入力部１０を手指などでタッチすることにより、表示装置８に表示される画像（映像）に対して種々の操作入力（指示入力）を実行することができる。なお、図１に示した例では、表示装置８（操作入力部１０）と、音声出力装置９とは、ダッシュボードの車幅方向（左右方向）の中央部に位置するモニタ装置１１に設けられている。モニタ装置１１は、ナビゲーションシステムやオーディオシステムなどとして用いられ、スイッチ、ダイヤル、ジョイスティック、押しボタンなどの操作入力部（図示せず）を有することができる。

図１〜図３に示すように、実施形態による車両１は、四輪の自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。前輪３Ｆのタイヤ角は、たとえば操舵部４（ステアリングホイール）の操作に応じて変化（転舵）する。実施形態で用いられる操舵システム１２（図４参照）は、たとえば、電動パワーステアリングシステムや、ＳＢＷ（ｓｔｅｅｒ ｂｙ ｗｉｒｅ）システムなどである。図４に示すように、操舵システム１２は、アクチュエータ１２ａによって操舵部４にトルク（アシストトルク）を付加して操舵力を補い、前輪３Ｆを操舵する。

ここで、実施形態による車両１には、複数のカメラ１６が設けられている。カメラ１６は、たとえば、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＩＳ（ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ）などの撮像素子を備えた撮像デバイスである。カメラ１６は、所定のフレームレートで撮像画像データ（動画データ、フレームデータ）を出力することができる。カメラ１６は、広角レンズを有し、水平方向にたとえば１４０°〜２２０°の範囲（視野角）を撮像することができる。ここで、実施形態によるカメラ１６の光軸は、鉛直方向や斜め下方などの下方に向けて設定されている。これにより、実施形態によるカメラ１６は、車両１が移動可能な路面と、当該路面から上方の領域とを含む車体２の周辺の状況を撮像することができる。

図１〜図３に示した例では、フロントカメラ１６ａと、サイドカメラ１６ｂと、リアカメラ１６ｃと、サイドカメラ１６ｄとの４つのカメラ１６が設けられている。フロントカメラ１６ａは、車体２の前側（車両前後方向の前方側）の端部２ｃ（平面視での端部）に位置し、車体２のフロントグリルなどに設けられている。また、サイドカメラ１６ｂは、車体２の左側（車幅方向の左側）の端部２ｄに位置し、左側のサイドミラー２ｇに設けられている。また、リアカメラ１６ｃは、車体２の後側（車両前後方向の後方側）の端部２ｅに位置し、リヤトランクのドア２ｈの下方の壁部などに設けられている。また、サイドカメラ１６ｄは、車体２の右側（車幅方向の右側）の端部２ｆに位置し、右側のサイドミラー２ｇに設けられている。なお、カメラ１６の設置位置は、これらに制限されるものではなく、車両に対してフロント方向の撮像画像データ、左右サイド方向の撮像画像データ、リア方向の撮像画像データを取得できれば、カメラ１６がどのような位置に設置されてもよい。

ここで、図２および図３に示すように、実施形態によるサイドミラー２ｇは、手動または自動で開閉可能に構成されている。サイドカメラ１６ｂおよび１６ｄは、サイドミラー２ｇに固定されているので、サイドカメラ１６ｂおよび１６ｄの視野は、サイドミラー２ｇの開閉に応じて変化する。つまり、サイドミラー２ｇが開いた状態（図２参照）と、サイドミラー２ｇが閉じた状態（図３参照）とでは、サイドカメラ１６ｂおよび１６ｄの視野が異なる。図２には、サイドミラー２ｇが開いた状態におけるサイドミラー２ｇの視野Ｖ１の例を示し、図３には、サイドミラー２ｇが閉じた状態におけるサイドカメラ１６ｄの視野Ｖ２の例を示している。

次に、図４を参照して、実施形態による周辺監視装置１００の構成について説明する。

図４に示すように、周辺監視装置１００は、モニタ装置１１と、周辺監視ＥＣＵ（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ）１４と、ブレーキシステム１８と、舵角センサ（角度センサ）１９と、アクセルセンサ２０と、シフトセンサ２１と、車輪速センサ２２と、加速度センサ２６とを備える。これらのモジュールは、ＣＡＮ（ｃｏｎｔｒｏｌｌｅｒ ａｒｅａ ｎｅｔｗｏｒｋ）などの車内ネットワーク２３を介して電気的に接続されている。

周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して制御信号を送ることで、周辺監視装置１００の各部を制御するように構成されている。また、周辺監視ＥＣＵ１４は、車内ネットワーク２３を介して、トルクセンサ１２ｂ、ブレーキセンサ１８ｂ、舵角センサ１９、アクセルセンサ２０、シフトセンサ２１、車輪速センサ２２、加速度センサ２６などによる検出結果を受信することが可能なように構成されている。また、周辺監視ＥＣＵ１４は、操作入力部１０などから出力される、乗員の操作入力に対応した信号（制御信号、指示信号、操作信号、入力信号、データなど）を受信することが可能なように構成されている。なお、図４に示した例では、加速度センサ２６は、２個設けられている。２個の加速度センサ２６ａおよび２６ｂは、それぞれ、車両１の前後方向の加速度および左右方向の加速度を検出するように構成されている。このような２個の加速度センサ２６ａおよび２６ｂは、ＥＳＣ（ｅｌｅｃｔｒｏｎｉｃ ｓｔａｂｉｌｉｔｙ ｃｏｎｔｒｏｌ）を搭載した車両に一般的に設けられている。つまり、実施形態による車両１は、ＥＳＣ搭載車両であるものとする。

周辺監視ＥＣＵ１４は、通常のコンピュータを利用したハードウェア構成を有する。つまり、周辺監視ＥＣＵ１４は、ハードウェア構成として、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）１４ａと、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１４ｂと、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１４ｃとを備える。また、周辺監視ＥＣＵ１４は、表示制御部１４ｄと、音声制御部１４ｅと、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１４ｆとを備える。なお、ＲＡＭ１４ｃと、ＥＥＰＲＯＭ１４ｆとは、後述する俯瞰画像を記憶するための俯瞰画像メモリ１４ｇとして機能する。ＥＥＰＲＯＭ１４ｆは、「第１メモリ」の一例であり、ＲＡＭ１４ｃは、「第２メモリ」の一例である。

ＣＰＵ１４ａは、各種コンピュータプログラムを実行することにより、各種制御処理を実行するように構成された制御部である。ＣＰＵ１４ａは、たとえば、車両１の移動経路の演算や、車両１と物体との干渉の有無の判断などを実行するように構成されている。また、ＲＯＭ１４ｂは、ＣＰＵ１４ａが実行する各種コンピュータプログラムなどを記憶するように構成された不揮発性のメモリである。ＣＰＵ１４ａは、ＲＯＭ１４ｂから各種コンピュータプログラムを読み出して実行することにより、上記の各種制御処理を実行するように構成されている。なお、ＲＡＭ１４ｃは、ＣＰＵ１４ａが各種コンピュータプログラムを実行する際の作業領域を提供するメインメモリである。

表示制御部１４ｄは、周辺監視ＥＣＵ１４での制御処理のうち、主として、カメラ１６で得られた撮像画像データを用いた画像処理や、表示装置８に出力する表示データ（画像データ、映像データ）に関連した表示処理などを実行するように構成されている。また、音声制御部１４ｅは、周辺監視ＥＣＵ１４での制御処理のうち、主として、音声出力装置９に出力する音声データに関連した音声処理を実行するように構成されている。また、ＥＥＰＲＯＭ１４ｆは、書き換え可能な不揮発性のメモリであり、車両１の駆動源ＤＳ（図２および図３参照）がオフになって周辺監視ＥＣＵ１４の電源がオフになった場合でもデータを記憶することが可能なように構成されている。なお、実施形態では、ＣＰＵ１４ａ、ＲＯＭ１４ｂ、およびＲＡＭ１４ｃは、同一パッケージ内に集積されることができる。また、実施形態では、ＣＰＵ１４ａに替えて、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）などの他の論理演算プロセッサや論理回路が用いられてもよい。また、実施形態では、ＥＥＰＲＯＭ１４ｆに替えて、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）やＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅ）などのストレージデバイスが設けられてもよい。この場合、ストレージデバイスは、周辺監視ＥＣＵ１４とは別個に設けられてもよい。

次に、図５〜図１０を参照して、実施形態による周辺監視ＥＣＵ１４内に実現される周辺監視部４００の機能的構成について説明する。

図５に示すように、周辺監視部４００は、機能的構成として、取得部４０１と、画像処理部４０２と、保存処理部４０３と、読出処理部４０４と、比較処理部４０５と、出力部４０６とを備える。これらの各モジュールは、周辺監視ＥＣＵ１４のＣＰＵ１４ａが所定のコンピュータプログラムを実行した結果としてＲＡＭ１４ｃ上に生成される。ここで実行される所定のコンピュータプログラムは、ＲＯＭ１４ｂに予め組み込まれた状態で提供されてもよいし、コンピュータで読み取り可能な他の記録媒体を介して提供されてもよいし、ネットワーク経由で提供されてもよい。

取得部４０１は、複数のカメラ１６によって撮像された複数の撮像画像を、車両１の周辺の状況を示す周辺情報として取得するように構成されている。画像処理部４０２は、取得部４０１により取得された複数の撮像画像を視点変換して合成することにより、車両１の周辺を上方から俯瞰した俯瞰画像（図６および図７参照）を生成するように構成されている。

ここで、車両１が停車（駐車）する時と、車両１が停車から発進する時とで時間間隔が空いている場合、車両１の周辺の状況が変化する場合がある。たとえば、車両１が縦列停車を行った場合では、車両１の前方または後方に停車する車両の入れ替わりなどが発生すると、車両１と、当該車両１の前方または後方に停車している車両との間の車両間隔が停車時よりも狭くなる場合がある。この場合、過去の（停車時の）感覚で車両１を発進させると、車両１が前方または後方に停車している車両に接触してしまうおそれがある。また、たとえば、停車中の車両１から乗員が離れている時に車両１の周辺の気づきにくい位置に障害物が置かれると、戻ってきた乗員が、障害物を見落とす場合がある。さらに、たとえば、信号待ちなどでの停車中に車両の側方に人やバイクなどの障害物が接近した場合、停車中に運転者がテレビなどを見ていると、運転者が障害物の接近に気付かない場合がある。これらの場合、過去の（停車時の）感覚で車両１を発進させると、車両１が障害物に接触してしまうおそれがある。

そこで、実施形態では、停車時における車両１の周辺の状況と、停車からの発進時における車両１の周辺の状況との差異を乗員に通知することが可能な構成を提供することにした。以下、このような効果を実現するための構成についてより具体的に説明する。

実施形態による取得部４０１は、複数の撮像画像を、車両１の停車時に取得するように構成されている。そして、画像処理部４０２は、停車時に取得された複数の撮像画像を合成することにより、停車時における車両１の周辺の状況を示す第１の周辺情報に対応する第１の合成画像として、停車時の俯瞰画像（図６参照）を生成するように構成されている。図６の俯瞰画像ＩＭ１には、一例として、車両１を示すマーク（表示、シンボル）Ｍ１が表示されている。保存処理部４０３は、画像処理部４０２により生成された停車時の俯瞰画像を、俯瞰画像メモリ１４ｇ（ＲＡＭ１４ｃ、ＥＥＰＲＯＭ１４ｆ）に保存するように構成されている。

ここで、保存処理部４０３は、停車時に車両１が満たしている条件に応じて、停車時の俯瞰画像の保存先を、揮発性のＲＡＭ１４ｃと、不揮発性のＥＥＰＲＯＭ１４ｆとで切り替えるように構成されている。より具体的には、保存処理部４０３は、停車時に車両１の駆動源ＤＳがオフになる場合、停車時の俯瞰画像を不揮発性のＥＥＰＲＯＭ１４ｆに保存し、停車時に車両１の駆動源ＤＳがオンのまま維持される場合、停車時の俯瞰画像を揮発性のＲＡＭ１４ｃに保存するように構成されている。なお、俯瞰画像の信頼性を担保するために、俯瞰画像を生成して保存する条件（保存条件）として、カメラ１６の位置が所定の位置に保たれた状態であること、つまり車両１の全てのドアが閉じた状態（または施錠された状態）であることを要求してもよい。

また、実施形態による取得部４０１は、複数の撮像画像を、車両１の停車からの発進時にも取得するように構成されている。そして、画像処理部４０２は、発進時に取得された複数の撮像画像を合成することにより、発進時における車両１の周辺の状況を示す第２の周辺情報に対応する第２の合成画像として、発進時の俯瞰画像（図７参照）を生成するように構成されている。図７の俯瞰画像ＩＭ２には、一例として、車両１を示すマークＭ１に加えて、図６の俯瞰画像ＩＭ１には存在しない、停車時に車両１の周辺に置かれた障害物を示すマークＭ２が表示されている。

読出処理部４０４は、車両１の停車からの発進時において所定の画像提示条件が満たされた場合に、俯瞰画像メモリ１４ｇ（ＲＡＭ１４ｃ、ＥＥＰＲＯＭ１４ｆ）から過去の俯瞰画像（停車時の俯瞰画像、図６参照）を読み出すように構成されている。そして、比較処理部４０５は、俯瞰画像メモリ１４ｇから読み出された過去の俯瞰画像（停車時の俯瞰画像、図６参照）と、発進時に生成した現在の俯瞰画像（発進時の俯瞰画像、図７参照）とを比較するように構成されている。画像提示条件としては、たとえば、駆動源ＤＳがオフからオンになったことや、駆動源ＤＳがオンになった状態で車両１のギアが停車用のギアから走行用のギアに切り替わったことなどが考えられる。このような画像提示条件においても、上記の保存条件と同様に、俯瞰画像の信頼性を担保するために、カメラ１６の位置が所定の位置に保たれていること、つまり車両１の全てのドアが閉じている（または施錠されている）ことが要求されてもよい。

ここで、実施形態では、上記のように、サイドミラー２ｇが開いた状態と、サイドミラー２ｇが閉じた状態とでは、サイドカメラ１６ｂおよび１６ｄの視野が異なる。そこで、実施形態による画像処理部４０２は、サイドカメラ１６ｂおよび１６ｄにより撮像された撮像画像（サイド画像）が、サイドミラー２ｇが開いた状態で撮像されたもの（第１のサイド画像、図２の視点Ｖ１に対応）と、サイドミラー２ｇが閉じた状態で撮像されたもの（第２のサイド画像、図３の視点Ｖ２に対応）との２種類存在する場合、第１のサイド画像を利用した俯瞰画像と、第２のサイド画像を利用した俯瞰画像との、２種類の俯瞰画像を生成するように構成されている。そして、比較処理部４０５は、過去の俯瞰画像と現在の俯瞰画像とを比較する場合、第１のサイド画像に基づいて生成されたもの同士を比較するとともに、第２のサイド画像に基づいて生成されたもの同士を比較するように構成されている。なお、第１のサイド画像と、第２のサイド画像とは、視点変換などの処理により、視点を揃えることも可能である。したがって、実施形態では、第１のサイド画像に基づいて生成された俯瞰画像と、第２のサイド画像に基づいて生成された俯瞰画像とを比較することも可能である。

出力部４０６は、比較処理部４０５による比較結果に基づいて、停車時における車両１の周辺の状況を示す第１の周辺情報と、停車からの発進時における車両１の周辺の状況を示す第２の周辺情報との差異を出力するように構成されている。より具体的には、出力部４０６は、第１の周辺情報としての過去の俯瞰画像（図６参照）と、第２の周辺情報としての現在の俯瞰画像（図７参照）との差分に基づく差分画像（図８参照）を表示装置８に表示するように構成されている。図８の差分画像ＩＭ３には、一例として、過去の俯瞰画像としての図６の俯瞰画像ＩＭ１と、現在の俯瞰画像としての図７の俯瞰画像ＩＭ２との差異、すなわち車両１の周辺に置かれた障害物を示すマークＭ２が表示されている。このような差分画像ＩＭ３を生成する方法としては、俯瞰画像ＩＭ１およびＩＭ２の画素値の差の総和（ＳＳＤ; ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅｓ）を利用する方法や、俯瞰画像ＩＭ１およびＩＭ２の画素値の絶対値の差の総和（ＳＡＤ; ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅｓ）を利用する方法や、俯瞰画像ＩＭ１およびＩＭ２のＨＯＧ（ｈｉｓｔｏｇｒａｍ ｏｆ ｇｒａｄｉｅｎｔ）特徴量の差を利用する方法などが考えられる。

実施形態による出力部４０６は、上記の差分画像（図８参照）を、たとえば図９および図１０の画像ＩＭ１０（ＩＭ１０ａおよびＩＭ１０ｂ）のような表示形式で表示装置８に表示させるように構成されている。図９および図１０の画像ＩＭ１０においては、一例として、図７の現在の俯瞰画像ＩＭ２が所定のフレームＦ内に表示されており、このフレームＦ内の俯瞰画像ＩＭ２上に、図８の差分画像ＩＭ３に対応する障害物のマークＭ２が表示されている。また、画像ＩＭ１０には、一例として、俯瞰画像ＩＭ２とは異なる視点の画像ＩＭ４が表示されている。なお、画像ＩＭ４とは、障害物を含むような視点の画像である。つまり、画像ＩＭ４にも、俯瞰画像ＩＭ２と同様に、障害物に対応するマークＭ３が表示されている。

また、実施形態による出力部４０６は、上記の差分画像（図８参照）を、現在の俯瞰画像（図７参照）上で強調表示するように構成されている。強調表示の方法としては、差分画像に対応する領域（差分が抽出された領域）を点滅させる方法が考えられる。ここでいう点滅には、対象物の強調表示と非表示を所定の時間で交互に切り替えることの他、対象物を表示させたままで表示色を所定の時間で繰り返し変化させることも含まれる。たとえば、実施形態による出力部４０６は、図８の差分画像ＩＭ３に対応するマークＭ２を強調表示するために、マークＭ２が通常の色で（カメラ１６が撮像した通りの色で）表示された図９の画像ＩＭ１０ａと、マークＭ２が図９の色とは異なる色で（図９の色を反転させた色やグレースケールなどで）表示された図１０の画像ＩＭ１０ｂとを短い時間で交互に切り替えるように構成されている。

ここで、強調表示の方法としての、差分画像に対応する領域を点滅させる方法において、差分画像に対応する領域を、カメラ１６が撮像した通りの通常の色とは異なる色で表示する方法なども考えられる。この方法は、差分画像に対応する領域に含まれる複数の色成分のうちの特定の色成分を強めることなどによって実現される。たとえば、色成分がＲ（赤）、Ｇ（緑）、およびＢ（青）の３つである場合において、差分画像に対応する領域の平均色が赤に近い場合、青の色成分を最も強めた色で差分画像に対応する領域を表示すれば、差分画像に対応する領域をユーザの目に付きやすくすることができる。

なお、上記の図９および図１０には、差分画像に対応するマークＭ２のみを強調表示する例を示したが、実施形態では、図１１に示すように、マークＭ２とあわせてフレームＦも強調表示してもよい。図１１の例では、フレームＦが複数（４個）の分割フレームＦ１〜Ｆ４に分割されており、それら複数の分割フレームＦ１〜Ｆ４のうちのマークＭ２に最も近い分割フレームＦ１が、マークＭ２にあわせて強調表示されている。これにより、マークＭ２をさらに強調することが可能である。

また、上記では、駆動源ＤＳがオフからオンになったことや、駆動源ＤＳがオンになった状態で車両１のギアが停車用のギアから走行用のギアに切り替わったことなどを条件（画像提示条件）として、比較処理を実行して差分画像を表示する例を示したが、実施形態による画像提示条件はこれに限らない。つまり、実施形態では、停車時から発進時までの経過時間、すなわち駆動源ＤＳがオフになってからオンになるまでの経過時間が大きくなり過ぎると、たとえば昼から夜までの時間経過などによって主に周囲の光環境に大きな変化が発生する。このように周囲の光環境に大きな変化が発生すると、過去の俯瞰画像と現在の俯瞰画像との差異が大きくなり過ぎて、上記の比較処理による差分の抽出が困難になり、精度の維持が困難になる。したがって、実施形態では、駆動源ＤＳがオフになってからオンになるまでの経過時間が所定時間以下の場合に上記の比較処理を実行するような構成であってもよい。ただし、周囲の光環境に大きな変化が発生しても適切に（精度よく）差異を抽出できるような構成であれば、上記のような時間制限をなくしてもよい。また、実施形態では、乗員の都合により、駆動源ＤＳがオンになってから実際に出発するまでに一定以上の時間間隔が空くことも考えられる。したがって、実施形態では、駆動源ＤＳがオンになってから所定時間が経過した後に上記の比較処理を再度実行し、比較結果を再度乗員に通知するような構成であってもよい。

次に、図１２を参照して、実施形態による周辺監視装置１００（周辺監視部４００）が車両１の停車時に実行する処理について説明する。

図１２の処理フローでは、まず、Ｓ１において、取得部４０１は、複数のカメラ１６によって撮像された複数の撮像画像を取得する。

次に、Ｓ２において、画像処理部４０２は、Ｓ１において取得された複数の撮像画像に視点変換処理や合成処理を施して、停車時における車両１の周辺の状況を示す俯瞰画像（図６参照）を生成する。

次に、Ｓ３において、保存処理部４０３は、車両１の駆動源ＤＳがオフになるか否かを判断する。

Ｓ３において、駆動源ＤＳがオフになると判断された場合、Ｓ４に処理が進む。そして、Ｓ４において、保存処理部４０３は、Ｓ２において生成された俯瞰画像を不揮発性のＥＥＰＲＯＭ１４ｆに保存する。そして、処理が終了する。

一方、Ｓ３において、駆動源ＤＳがオフにならない、つまり駆動源ＤＳがオンのまま維持されると判断された場合、Ｓ５に処理が進む。そして、Ｓ５において、保存処理部４０３は、Ｓ２において生成された俯瞰画像を揮発性のＲＡＭ１４ｃに保存する。そして、処理が終了する。

上記のＳ４またはＳ５の処理が完了すると、処理が終了する。なお、実施形態では、Ｓ３において、車両１の駆動源ＤＳがオフになるか否かの判断に加えて、車両１の全てのドアが閉じた状態（または施錠された状態）であるか否かの判断が実行されてもよい。

次に、図１３を参照して、実施形態による周辺監視装置１００（周辺監視部４００）が車両の停車からの発進時に実行する処理について説明する。

図１３の処理フローでは、まず、Ｓ１１において、周辺監視部４００は、画像提示条件が満たされているか否かを判断する。実施形態では、前述のように、画像提示条件が満たされる場合として、たとえば、駆動源ＤＳがオフからオンになった場合や、駆動源ＤＳがオンになった状態で車両１のギアが停車用のギアから走行用のギアに切り替わった場合などが考えられる。また、実施形態では、前述のように、画像提示条件が満たされる場合として、駆動源ＤＳがオフになってからオンになるまでの経過時間が所定時間以下である場合や、駆動源ＤＳがオンになってから所定時間が経過した後である場合なども考えられる。なお、これらの場合では、車両１の全てのドアが閉じている（または施錠されている）ことが前提条件となっていてもよい。

上記のＳ１１の判断処理は、画像提示条件が満たされていると判断されるまで繰り返される。Ｓ１１において、画像提示条件が満たされていると判断された場合、Ｓ１２に処理が進む。

Ｓ１２において、取得部４０１は、複数のカメラ１６によって撮像された複数の撮像画像（現在の撮像画像）を取得する。

次に、Ｓ１３において、画像処理部４０２は、Ｓ１２において取得された複数の撮像画像に視点変換処理や合成処理を施して、現在の（つまり、停車からの発進時における）車両１の周辺の状況を示す現在の俯瞰画像（図７参照）を生成する。

次に、Ｓ１４において、読出処理部４０４は、図１２のＳ４またはＳ５によって俯瞰画像メモリ１４ｇ（ＥＥＰＲＯＭ１４ｆまたはＲＡＭ１４ｃ）に保存された過去の俯瞰画像（図６参照）を読み出す。

次に、Ｓ１５において、比較処理部４０５は、Ｓ１３において生成された現在の俯瞰画像（図７参照）と、Ｓ１４において読み出された過去の俯瞰画像（図６参照）とを比較する。

次に、Ｓ１６において、出力部４０６は、Ｓ１５における比較処理の結果を表示装置８に出力する。つまり、出力部４０６は、Ｓ１６において、現在の俯瞰画像（図７参照）と、過去の俯瞰画像（図６参照）との差分を示す差分画像（図８参照）を、たとえば図９および図１０に示すような表示形式で表示装置８に表示させる。そして、処理が終了する。

以上説明したように、実施形態では、比較処理部４０５は、停車時における車両１の周辺の状況を示す第１の周辺情報と、停車からの発進時における車両１の周辺の状況を示す第２の周辺情報とを比較するように構成され、出力部４０６は、比較処理部４０５による比較結果に基づいて、第１の周辺情報と第２の周辺情報との差異を出力するように構成されている。より具体的には、比較処理部４０５は、上記の第１の周辺情報に対応する過去の俯瞰画像（第１の合成画像、図６参照）と、上記の第２の周辺情報に対応する現在の俯瞰画像（第２の合成画像、図７参照）とを比較するように構成され、出力部４０６は、比較処理部４０５による比較結果に基づいて、過去の俯瞰画像と現在の俯瞰画像との差異を示す差分画像（図８参照）を表示装置８に表示するように構成されている。これにより、たとえば、停車してから発進するまでの間に車両１の周辺の状況に変化があった場合に、その変化を車両１の乗員に通知することができる。また、車両１の周辺の状況の変化を、乗員が認識しやすい視覚的な方法を用いて通知することができる。

また、実施形態では、保存処理部４０３は、停車時に車両１の駆動源ＤＳがオフになる場合、過去の俯瞰画像（図６参照）を、不揮発性のＥＥＰＲＯＭ１４ｆに保存し、停車時に車両１の駆動源ＤＳがオンのまま維持される場合、過去の俯瞰画像を、揮発性のＲＡＭ１４ｃに保存するように構成されている。これにより、停車時における車両１の周辺の状況を、車両１の駆動源のオンオフの状態に応じて適切な記憶媒体に保存することができる。

また、実施形態による比較処理部４０５は、取得部４０１により取得される撮像画像が、開いた状態のサイドミラー２ｇのサイドカメラ１６ｂおよび１６ｄにより撮像された第１のサイド画像と、閉じた状態のサイドミラー２ｇのサイドカメラ１６ｂおよび１６ｄにより撮像された第２のサイド画像との２種類のサイド画像を含む場合、過去の俯瞰画像（図６参照）と現在の俯瞰画像（図７参照）とを比較する際に、第１のサイド画像が合成された俯瞰画像同士を比較し、第２のサイド画像が合成された俯瞰画像同士を比較する。これにより、２種類のサイド画像を用いて比較対象を増やすことができるので、車両１の周辺の状況の変化を精度よく検出することができる。

また、実施形態による出力部４０６は、たとえば図９〜図１１に示したような表示形式で、差分画像（図８参照）を、現在の俯瞰画像（図７参照）上で強調表示する。これにより、車両１の周辺の状況の変化を容易に乗員に通知することができる。

なお、上記の説明では、図５の各モジュールが、ソフトウェア（コンピュータプログラム）とハードウェア（周辺監視ＥＣＵ１４のＣＰＵ１４ａ）との協働により実現される例を示したが、実施形態では、図５の各モジュールが、ハードウェアのみによって実現されてもよい。つまり、実施形態では、図５の各モジュールに対応する専用のハードウェア（回路）が周辺監視装置１００に設けられてもよい。

また、上記の説明では、ナビゲーションシステムやオーディオシステムなどとして用いられるモニタ装置１１が、周辺監視装置１００による監視結果の通知用として兼用される例を示したが、実施形態では、周辺監視装置１００による監視結果を通知するための専用のモニタ装置が、モニタ装置１１とは別個に設けられてもよい。

以上、本発明の実施形態を説明したが、上記の実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上記の実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記の実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 車両
２ｇ サイドミラー
８ 表示装置（表示部）
１４ｆ ＥＥＰＲＯＭ（第１メモリ）
１４ｃ ＲＡＭ（第２メモリ）
１４ｇ 俯瞰画像メモリ
１６ カメラ
１６ｂ、１６ｄ サイドカメラ
１００ 周辺監視装置
４０１ 取得部
４０３ 保存処理部
４０５ 比較処理部
４０６ 出力部
ＤＳ 駆動源

Claims (6)

1. 車両の周辺の状況を示す周辺情報を取得する取得部と、
   前記車両の停車時に前記取得部により取得される第１の周辺情報をメモリに保存する保存処理部と、
   前記車両の停車からの発進時に前記取得部により取得される第２の周辺情報と、前記メモリに保存された前記第１の周辺情報とを比較する比較処理部と、
   前記比較処理部による比較結果に基づいて、前記第１の周辺情報と前記第２の周辺情報との差異を出力する出力部とを備える、周辺監視装置。
2. 前記保存処理部は、停車時に前記車両の駆動源がオフになる場合、前記第１の周辺情報を、前記メモリのうちの不揮発性の第１メモリに保存し、停車時に前記車両の駆動源がオンのまま維持される場合、前記第１の周辺情報を、前記メモリのうちの揮発性の第２メモリに保存する、請求項１に記載の周辺監視装置。
3. 前記周辺情報は、前記車両に設けられた複数のカメラにより撮像された複数の撮像画像が合成された合成画像に対応し、
   前記比較処理部は、前記第１の周辺情報に対応する第１の合成画像と、前記第２の周辺情報に対応する第２の合成画像とを比較し、
   前記出力部は、前記第１の合成画像と前記第２の合成画像との差分に基づく差分画像を表示部に表示する、請求項１または２に記載の周辺監視装置。
4. 前記撮像画像は、前記車両に格納可能なサイドミラーに設けられたサイドカメラにより撮像されたサイド画像を含み、
   前記サイド画像は、開いた状態の前記サイドミラーの前記サイドカメラにより撮像された第１のサイド画像と、閉じた状態の前記サイドミラーの前記サイドカメラにより撮像された第２のサイド画像とを含み、
   前記比較処理部は、前記第１のサイド画像が合成された前記第１の合成画像および前記第２の合成画像を比較し、前記第２のサイド画像が合成された前記第１の合成画像および前記第２の合成画像を比較する、請求項３に記載の周辺監視装置。
5. 前記出力部は、前記差分が抽出された領域を、前記第２の合成画像上で強調表示する、請求項３または４に記載の周辺監視装置。
6. 前記車両に備えられる全てのドアが閉じられた状態、または前記ドアが施錠された状態において、前記保存処理部が前記第１の周辺情報を保存し、かつ前記比較処理部が前記第１の周辺情報と前記第２の周辺情報とを比較する、請求項１〜５のいずれか１項に記載の周辺監視装置。

Images