JP2011155651A

JP2011155651A - 車両周辺画像表示装置および車両周辺画像表示方法

Info

Publication number: JP2011155651A
Application number: JP2011027217A
Authority: JP
Inventors: Nobuyuki Ozaki; 信之尾崎
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-02-10
Filing date: 2011-02-10
Publication date: 2011-08-11

Abstract

【課題】車両周辺の立体物を識別可能にかつ適切に表示することができる俯瞰画像を生成すると共に運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し統合的に運転支援を行うことができる車両周辺画像表示装置を提供する。
【解決手段】本発明に係る車両周辺画像表示装置は、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部と、正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、車両の運転を支援するための運転支援画像を生成する支援画像生成部と、運転支援画像と俯瞰画像とを合成する画像合成部と、俯瞰画像とともに運転支援画像を表示する表示部とを備えたことを特徴とする。
【選択図】図２

Description

本発明は、車両周辺画像表示装置および車両周辺画像表示方法に係り、特に車両の周辺を撮像し運転者に安全な運転を可能とする画像を提供する車両周辺画像表示装置および車両周辺画像表示方法に関する。

従来から、車両等の周辺に設けられた監視カメラによって車両等の周辺を撮像し、撮像された画像データを運転者に提供することで、より安全な運転を実現するための技術が種々開発され普及してきている。

例えば、見通しの悪い交差点やＴ字路での左右確認の支援を行うブラインドモニタは、車両の先端部近傍に複数設けられた監視カメラの画像を表示するものである。

また、サイドミラー等に取り付けられるサイドブラインドモニタは、左前輪付近から前方を監視するものが多く、狭い道路の通り抜けや障害回避、或いは幅寄せ等に効果を発揮している。

さらに、後方車両ナンバプレート近傍に設置されるバックガイドモニタは、車庫入れや並列駐車等を支援するものとして普及している。

これらのブラインドモニタ等に用いられる監視カメラは、比較的画角が小さく、監視を所望する方向を指向する監視カメラを適宜手動或いは自動で切り換えて選択するものが多い。

監視カメラの画角を拡大する技術としては、例えば特許文献１には、魚眼レンズを用いた監視装置に関する技術が開示されている。特許文献１は、後方監視カメラの１つに魚眼レンズを用いて広い視野の画像を得ると同時に、魚眼画像を通常の画像に変換して運転者に違和感の無い画像に変換し、通常のバックミラー画像と重畳することによって車両後方の死角を排除する技術を開示している。

また、特許文献２には、車両周辺を監視する複数の監視カメラを車両の周囲に設け、これら複数の監視カメラから得られる画像を例えば車両の上方の仮想視点から俯瞰した画像に変換・合成する技術が開示されている。

特開２００３−１９６６４５号公報特許第３３００３３４号公報

上述したブラインドモニタ、サイドブラインドモニタ、或いはバックガイドモニタは、比較的簡素な構成で実現できるため、今日広く普及している技術である。

しかしながら、これらの技術による監視画像は、運転状況に応じて適宜選択し切り換えることを前提としており、監視対象とする空間は限定されたものである。例えばブラインドモニタを用いて見通しの悪い交差点やＴ字路において前方左右方向を監視しているときには車両側方に接近している二輪車や通行者をモニタすることはできない。

また、サイドブラインドモニタを選択している場合には、車両後方の障害物や車両後方に接近している通行者等をモニタすることができない。

バックガイドモニタは車庫入れや並列駐車の運転支援に有効であるが、車両後方の比較的車両に近接した空間をモニタしているため、車両とある程度離れた地点にいる接近車両は必ずしも十分にモニタすることはできない。

このように、上記のブラインドモニタ等は、特定の運転状況において特定の監視範囲の画像を運転者に提供することで運転者を支援するものであり、監視方向や監視範囲は限定されたものとなっており車両周辺の部分的な画像を提供するに留まっている。

特許文献１は、後方監視カメラに魚眼レンズを用いて画角を拡大する実施形態を開示しているが、基本的には上記ブラインドモニタ等と同様に特定の監視方向をモニタするものである。

これに対して、特許文献２が開示する車両周辺画像表示装置は、車両周辺を監視する複数の監視カメラを車両の周囲に設け、これら複数の監視カメラから得られる画像を例えば車両の上方の仮想視点から俯瞰した俯瞰画像に変換・合成するもので、車両周辺の広い範囲の画像を選択や切り換え操作をすることなく１つの画像として提供するものである。このため、運転者等にユーザに対する利便性が向上するとしている。

特許文献２が開示する車両周辺画像表示装置では、標準レンズ装着の通常のカメラを使用していると推定される。このため、車両周辺の全方位（３６０度）の合成画像を得るために８台の監視カメラ画像を合成する実施形態となっている。

監視カメラに魚眼レンズ等の広画角レンズを用いることによって、より少ない監視カメラ、例えば４台程度の監視カメラであっても車両周辺の全方位（３６０度）を監視することが可能になると考えられる。

ところで、実際の監視カメラ、例えばバックミラー等に装着された監視カメラの画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に正確に変換するためには対象物の３次元情報が必要である。

しかしながら、実際の監視カメラで得られる画像情報は、車両周辺の立体物（３次元情報）を２次元に投射した２次元情報として得られるため、１つの次元情報が欠落したものとなっている。複数の監視カメラを用いて同一の対象物を撮像することによって３次元情報を得ることも原理的には可能であるが、対象物が車両の全周囲に亘るような場合には、監視カメラの数も増加し処理も複雑になるため、現実的な解決方法とは言い難い。

そこで、バックミラー等に装着された監視カメラの２次元画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に変換する際には、対象物の立体形状（空間モデル）に対して所定の仮定を行うことがしばしば行われる。

具体的には、立体形状をなす対象物を路面平面等の面上に投射された投射画像（２次元形状）として扱う（特許文献２参照）。

この結果、俯瞰画像を見る運転者は、路上にある立体物を路面上の模様として誤認する虞が生じる。運転者が余裕をもって俯瞰画像を観察することができる場合であれば、対象画像の形状や色彩等から運転者のもつ経験に基づいて対象物が立体物であることを認識することが可能であろう。しかしながら、車両周辺画像表示装置が効果を発揮するような場面では、運転者に余裕をもって俯瞰画像を観察することが期待できない場合が多く、俯瞰画像に映し出された対象物が立体物であるか否かを瞬時に判断できる機能が要望されている。

また、視線方向の異なる２台のカメラの共通の視野領域に立体物が存在する場合には、２台のカメラから路面上に投射される位置が異なるため、路面に接している部分以外は分離した合成画像となってしまう。

例えば、２台のカメラの共通の視野領域に１人の歩行者が入った場合には、路面上にある歩行者の足部では合致した画像が得られるものの、歩行者の胴体部や頭部の部分は分離した画像として合成されるため、あたかも２人の歩行者が存在するかのような誤認を生じる虞もある。

特許文献２が開示する技術では、立体物と平面物とを容易に区別することができない。また、２台のカメラの共通の視野領域に存在する立体物の分離現象を防止できない。

また、車両の全周囲を映し出す俯瞰画像が提供できたとしても、それだけでは運転者に十分な安全性を提供できたとは言えない。運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し、統合的に運転支援を行うことができる車両周辺画像表示装置が求められている。

本発明は上記事情に鑑みてなされたもので、車両周辺の立体物を識別可能にかつ適切に表示することができる俯瞰画像を生成すると共に、運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し統合的に運転支援を行うことができる車両周辺画像表示装置および車両周辺画像表示方法を提供することを目的とする。

本発明に係る車両周辺画像表示装置は、上記課題を解決するため、請求項１に記載したように、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部と、前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、前記車両の運転を支援するための運転支援画像を生成する支援画像生成部と、前記運転支援画像と前記俯瞰画像とを合成する画像合成部と、前記俯瞰画像とともに前記運転支援画像を表示する表示部と、前記車両に設けられた各種センサからの情報に基づいて、低速移動する前記車両の予想軌跡を算出する軌跡算出部と、を備え、前記支援画像生成部は、算出された前記予想軌跡を前記仮想視点から俯瞰した模擬車両画像とともに合成した画像を前記運転支援画像として選択する、ことを特徴とする。

また、本発明に係る車両周辺画像表示方法は、上記課題を解決するため、請求項２に記載したように、車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成するステップと、前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成するステップと、前記車両の運転を支援するための運転支援画像を生成するステップと、前記運転支援画像と前記俯瞰画像とを合成するステップと、前記俯瞰画像とともに前記運転支援画像を表示するステップと、前記車両に設けられた各種センサからの情報に基づいて、低速移動する前記車両の予想軌跡を算出するステップと、を備え、前記運転支援画像を生成するステップでは、算出された前記予想軌跡を前記仮想視点から俯瞰した模擬車両画像とともに合成した画像を前記運転支援画像として選択する、ことを特徴とする。

本発明に係る車両周辺画像表示装置および車両周辺画像表示方法によれば、車両周辺の立体物を識別可能にかつ適切に表示することができる俯瞰画像を生成すると共に、運転状況を自動的に把握し、運転状況に応じた最適な運転支援情報を俯瞰画像に加えて表示し統合的に運転支援を行うことができる。

本発明に係る車両周辺画像表示装置および車両周辺画像表示方法の動作概念を示す図。本発明に係る車両周辺画像表示装置の実施形態の基本構成例を示す図。本発明に係る車両周辺画像表示装置の実施形態における俯瞰画像生成部の細部構成例を示す図。本発明に係る車両周辺画像表示装置の実施形態における立体物の表示概念を説明する図。本発明に係る車両周辺画像表示装置の実施形態における立体物識別部の細部構成例を示す図。本発明に係る車両周辺画像表示装置の実施形態における立体物識別部の動作原理を説明する図。本発明に係る車両周辺画像表示装置の実施形態における立体物識別部の重複領域選択処理を説明する図。本発明に係る車両周辺画像表示装置の実施形態における立体物識別部の延長判定処理を説明する図。本発明に係る車両周辺画像表示装置の実施形態における関心領域推定部の入出力信号の例を示す図。本発明に係る車両周辺画像表示装置の実施形態における画像合成部の細部構成例を示す図。本発明に係る車両周辺画像表示装置の実施形態における関心領域推定部と画像合成部の処理内容例を表の形態で説明する図。本発明に係る車両周辺画像表示装置の実施形態における画像合成部の合成画像例を示す第１の図。本発明に係る車両周辺画像表示装置の実施形態における画像合成部の合成画像例を示す第２の図。本発明に係る車両周辺画像表示装置の実施形態における画像合成部の表示位置の決定方法の例を説明する図。本発明に係る車両周辺画像表示装置の実施形態における画像合成部の合成画像例を示す第３の図。本発明に係る車両周辺画像表示装置の実施形態における運転支援画像の表示例を示す図。本発明に係る車両周辺画像表示装置の実施形態における車両予想軌跡の計算方法を説明する第１の図。本発明に係る車両周辺画像表示装置の実施形態における車両予想軌跡の計算方法を説明する第２の図。本発明に係る車両周辺画像表示装置の実施形態における車両予想軌跡の表示例を示す図。

本発明に係る車両周辺画像表示装置及び車両周辺画像表示方法の実施形態について添付図面を参照して説明する。

（１）車両周辺画像表示装置及び車両周辺画像表示方法の概念と基本構成
図１（ａ）及び（ｂ）は、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法を用いて車両１００の周辺画像を生成、表示する際の全体概念を示す図である。

図１（ａ）に示したように、車両１００の外周の適宜の部位に複数の監視カメラ（魚眼カメラ）２００が装着される。監視カメラ２００の台数や装着位置は特に限定するものではないが、例えば、車両１００の前方ナンバプレート近辺に前方監視カメラ２００ａが、後方ナンバプレート近辺に後方監視カメラ２００ｂが装着される。また、左サイドミラーには左側方監視カメラ２００ｃが、右サイドミラーには右側方監視カメラ２００ｄがそれぞれ装着される。

各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄ（以下、これらの総称を意味する場合は単に監視カメラ２００と呼ぶ。）は、図１（ｂ）に示したように、車両１００の周辺領域、即ち前方領域Ａoa、後方領域Ａob、左側方領域Ａoc、及び右側方領域Ａodの各領域の画像を撮像する。

監視カメラ２００の画角は特に限定するものではないが、少ない台数で車両１００の全集をカバーすることが可能であることから、広画角であることが好ましい。例えば水平方向の画角が約１８０度或いはそれ以上の魚眼レンズを用いた４台の監視カメラ２００によって、車両１００の周辺の総ての範囲（水平方向３６０度の範囲）を監視することができる。

監視カメラ２００のレンズが魚眼レンズ等の超広画角の場合は撮像された画像は歪みを伴った画像となるが、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法では、適宜の歪み補正手段によって歪みの無い画像（以下、正規化画像と呼ぶ）に変換するものとしている。

各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄの撮像画像に対して歪みを補正した正規化画像は、対応する領域、即ち前方領域Ａoa、後方領域Ａob、左側方領域Ａoc、及び右側方領域Ａodの各領域を、それぞれの監視カメラ２００が装着されている視点から眺めた画像となっている。

各正規化画像は、車両１００の上方に設けた仮想視点Ｐから車両周辺を俯瞰した画像に変換される。この変換は、適宜のパラメータを備えた画像変換行列等を用いて行うことができる。さらに、個々の俯瞰画像を合成することによって、車両１００の全周囲を仮想視点Ｐから俯瞰した俯瞰画像Ｐddが生成される。

このようにして生成された俯瞰画像Ｐddを、例えば運転席前部に設けられた画像表示部（表示部）１４０に表示して運転者に提供することで、車両１００の全周囲の障害物や通行者等の状況を運転者に対して瞬時に知らしめることが可能となり、運転の安全性を向上させることができる。

また、本発明の実施形態に係る車両周辺画像表示装置及び車両周辺画像表示方法では、俯瞰画像Ｐddの中に通行者等の立体物が存在する場合には、その立体物画像を識別し、運転者に視認容易に提示することで、運転の安全性をより一層向上させることができる。

この他、運転状況をモニタし、運転状況に対応した運転支援情報や画像情報を俯瞰画像Ｐddに合成して表示させることによって、統合的な運転支援を提供することができる。

図２は、本発明の実施形態に係る車両周辺画像表示装置１の基本構成を示す図である。

車両周辺画像表示装置１は、魚眼レンズを備える各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄから入力される画像データを一時的に記憶する画像バッファ２、魚眼レンズで撮像された画像の歪みを補正し個々の（監視カメラ２００の数に対応した）正規化画像として出力する正規化処理部３、個々の正規化画像を仮想視点Ｐから俯瞰した画像に変換しさらに合成することによって車両１００の全周囲を俯瞰した俯瞰画像Ｐddを生成する俯瞰画像生成部４、俯瞰画像Ｐddを他の画像や運転支援画像と合成し画像表示部１４０へ出力する画像合成部６を備えている。

また、車両周辺画像表示装置１は、生成した俯瞰画像Ｐddの中に立体物が存在するか否かを識別し、立体物が存在する場合にはその立体物の画像を画像合成部６へ出力する立体物識別部５を備えている。

さらにまた、車両周辺画像表示装置１は、車速や繰舵角等をモニタする車両センサ１１０や、車両１００の周辺の障害物を検出する立体物検出部１２０からの情報に基づいて、運転者が関心を向けるであろう関心方向や関心領域を推定する関心領域推定部７を備える。まあ、推定された関心領域の画像を正規化画像から抽出、拡大等して関心領域画像（部分画像）を生成する他、複数の正規化画像を正規化処理部３から入力し画像合成部６へ出力する支援画像生成部８を備えている。

この他、車両周辺画像表示装置１は、低速運転時に車速や繰舵角等から車両１００の軌跡、例えば車両の前後左右の４隅の予想軌跡を算出する軌跡算出部９、算出された予想軌跡や車両１００の周辺の安全余裕領域を示すガイド線等の運転支援画像を生成し、画像合成部６へ出力するガイド線等生成部１０を備えている。

上記のように構成された車両周辺画像表示装置１の動作について、各構成部の細部構成を参照しつつ説明する。

（２）俯瞰画像生成部と立体物識別部の細部構成と動作
図３は、俯瞰画像生成部４の細部構成を示した図である。

俯瞰画像生成部４は、俯瞰画像変換部４０ａ、４０ｂ、４０ｃ、及び４０ｄ、変換パラメータ生成部４１，及び俯瞰画像統合部４２を備えて構成される。

俯瞰画像生成部４には、正規化画像が入力される。正規化画像とは、例えば魚眼レンズを備え車両１００の周囲に装着された４台の監視カメラ２００で撮像された画像を正規化処理部３で補正した後の画像である。

個々の正規化画像は、俯瞰画像変換部４０ａ、４０ｂ、４０ｃ、及び４０ｄにおいて、各監視カメラ２００の視点で見た画像から、仮想視点Ｐから俯瞰した個々の俯瞰画像に変換される。この変換は、各監視カメラ２００に関するパラメータと仮想視点Ｐに関するパラメータ等によって生成される変換パラメータに基づいて行うことができる。

各監視カメラ２００に関するパラメータとは、各監視カメラ２００の位置情報、視線方向等であり、仮想視点Ｐに関するパラメータとは、仮想視点Ｐの位置情報、仮想視点から俯瞰する視線方向、視野範囲等であり、これらの変換パラメータは変換パラメータ生成部４１で生成される。

個々の俯瞰画像、例えば４台の監視カメラ２００に基づく４つの俯瞰画像は、俯瞰画像統合部４２において１つの俯瞰画像Ｐddに統合される。統合された俯瞰画像Ｐddは、車両１００の全周囲を仮想視点Ｐから俯瞰した画像となっている。

生成された俯瞰画像Ｐddは、立体物識別部５及び画像合成部６へ出力される。

立体物識別部５は、俯瞰画像Ｐddの中に立体物が含まれるか否かを判定し、立体物が含まれる場合にはその立体物の画像を抽出し画像合成部６へ出力することを目的として設けられているものである。

監視カメラ２００が撮像する対象物は、平面物（路上の模様等を含む）に限らず立体物、例えば路上に設置されている障害物や路上を通行する通行者等を含むものである。

しかしながら、図４に示したように、例えば左側方監視カメラ２００ｃが立体物Ｏｂ（例えば路上を通行する幼児等）を撮像する場合には、左側方監視カメラ２００ｃから得られる画像は立体物Ｏｂを路上に投射した投射画像として得られる。即ち、立体物Ｏｂの３次元情報は失われ、路面上に存在する２次元物として捉えられる。

このため、この投射画像を仮想視点Ｐから俯瞰した俯瞰画像Ｐddに変換したとしても、図４（ｂ）に示したように路面上に投射された俯瞰画像Ｐodとして得られることになる。もっとも、複数の監視カメラを用いて同一の対象物を撮像することによって３次元情報を取得することも原理的には可能であるが、対象物が車両の全周囲に亘るような場合には、監視カメラの数も増加し処理も複雑になるため、現実的な解決方法とは言い難い。

そこで、本発明の実施形態では、監視カメラ２００で得られるの２次元画像を、車両上方にある仮想視点から俯瞰した俯瞰画像に変換する際には、対象物の立体形状（空間モデル）に対して、立体対象物は路面上に投射された２次元形状をなしているものとの仮定を行っている。このため、俯瞰画像Ｐddで得られる立体物の画像は路面上に投射された形状として表現される。

この結果、俯瞰画像を見る運転者は、路上にある立体物Ｏｂを路面上の模様として誤認する虞が生じる。運転者が余裕をもって俯瞰画像Ｐddを観察することができる場合であれば、対象画像の形状や色彩等から運転者のもつ経験に基づいて対象物Ｏｂが立体物であることを認識することが可能であろう。しかしながら、車両周辺画像表示装置１が効果を発揮するような場面では、運転者に余裕をもって俯瞰画像Ｏｂを観察することが期待できな場合多い。このため、立体物識別部５において俯瞰画像Ｐddに映し出された対象物が立体物であるか否か判定する機能を別途設ける構成としている。

図５は、立体物識別部５の細部構成を示したものである。

立体物識別部５は、俯瞰画像生成部４から入力される俯瞰画像Ｐddを例えば１フレーム分記憶し１フレーム時間だけ遅延させるフレームメモリ部５０と、１フレーム時間遅延された俯瞰画像Ｐddを、１フレーム時間に車両が移動する移動距離だけシフトさせるフレームシフト画像生成部５１を備える。

また、フレームシフトされた前フレームの俯瞰画像Ｐdd(N)’と新たなフレームの俯瞰画像Ｐdd(N)との差分画像Ｐdfを求める差分画像処理部５３と、差分画像と前記新たなフレームの俯瞰画像Ｐdd(N)との相関処理を行い立体物画像を抽出する相関処理部５４とを備える。

この他、車両センサ１１０から入力される車速と、所定のフレーム時間とからフレーム時間あたりの移動量Ｄｆを算出するフレーム移動量演算部５２を備えている。

上記のように構成された立体物識別部５の動作について図６を用いて説明する。

まず、フレームメモリ部５０に、（Ｎ−１）フレーム目の俯瞰画像Ｐdd(N-1)が入力され、記憶される。フレームメモリ部５０は、俯瞰画像Ｐdd(N-1)を１フレーム時間だけ遅延させる。俯瞰画像Ｐdd(N-1)には、例えば、立体物Ｏｂが路面に投射された画像Ｉｍ１と、路面上に描かれた停止線の画像Ｉｍs1、及び同じく路面上に描かれた「徐行注意」の注意標識の画像Ｉｍs2とが含まれている。

一方、フレーム移動量演算部５２では、車速センサ１１０から入力される車速Ｖと所定のフレーム時間Ｔｆとから、フレーム時間Ｔｆでの車両１００の移動量Ｄｆを算出する。

次に、フレームシフト画像生成部５１において、俯瞰画像Ｐdd(N-1)に対して一律に前記移動量Ｄｆに基づいてシフト処理を行い、シフト俯瞰画像Ｐdd(N)’を生成する。シフト俯瞰画像Ｐdd(N)’は、（Ｎ）フレーム目の俯瞰画像Ｐdd(N)を予測するものである。

他方、（Ｎ）フレーム目では、実際に撮像された新たな俯瞰画像Ｐdd(N)が入力される。この俯瞰画像Ｐdd(N)には、（Ｎ）フレーム目の監視カメラ２００の位置から撮像された立体物Ｏｂの投射画像Ｉｍ２と、路面上に描かれた停止線の画像Ｉｍs1、及び同じく路面上に描かれた「徐行注意」の注意標識の画像Ｉｍs2とが含まれている。

停止線の画像Ｉｍs1および注意標識の画像Ｉｍs2については、車両の位置がＤｆだけ移動しているため（Ｎ−１）フレーム目で得られた俯瞰画像Ｐdd(N-1)に対して移動量Ｄｆだけシフトした相似画像が得られる。

これに対して、立体物Ｏｂの投射画像Ｉｍ２は監視カメラ２００の視線方向が車両の移動に伴って変化しているため、移動量Ｄｆだけシフトさせたとしても（Ｎ−１）フレーム目で得られた俯瞰画像Ｐdd(N-1)とは異なったものとなる。例えば、路面に接近した足部の画像はほぼ同一形状となるものの、路面から離れた胴脚部や頭部の画像の位置は移動量Ｄｆだけシフトさせたとしても一致しない。

立体物識別部５では、この事象の原理を用いて以下のように立体物Ｏｂを識別する。

まず、差分画像処理部５３で、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)と、予測俯瞰画像Ｐdd(N)’との差分をとり、差分画像Ｐdfを生成する。差分画像Ｐdfでは、立体物Ｏｂに対して視線方向の異なる２つの投射画像Ｉｍ１およびＩｍ２が得られることになる。但し、足部の画像は双方で一致するため差分処理によって消去される。

なお、差分処理の際に生じる可能性のあるノイズ成分を差分処理の後に除去するノイズ除去処理を付加した形態としてもよい。

次に、差分画像Ｐdfと（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)との間で相関処理を行い相関画像Ｐcrを生成する。相関処理によって、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に含まれる立体物の画像Ｉmspのみが識別、抽出される（差分画像Ｐdfに含まれる(N-1)フレーム目の画像から予測した立体物の画像Ｉｍ１が除去される）。厳密には路面から離れた胴脚部および頭部の部分が立体物として識別、抽出される。

このようにして、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に含まれる立体物の画像Ｉmspが識別、抽出され、相関画像Ｐcrとして画像合成部６へ出力される。

画像合成部６では、この立体物の画像Ｉmspに対して視認容易にするため適宜着色等の処理を施した後、（Ｎ）フレーム目の実際の俯瞰画像Ｐdd(N)に重ね合わせ合成を行った後に画像表示部１４０に出力する。

本実施形態に係る立体物識別部５の立体物識別処理によれば、安全な運転を支援するために重要となる立体物の識別を、俯瞰画像Ｐddのフレーム間の差分情報（差分画像Ｐdf）に基づいて簡素な方法で識別、抽出することが可能となる。また、識別、抽出された立体物の画像Ｉmspに着色等を施して視認容易に表示させることで運転者の注意を喚起し、車両周辺の障害物や通行者等の立体物への衝突事故等を事前に回避することが容易となる。

ところで、立体物が上記の立体物識別処理によって識別されたとしても、監視カメラ２００の重複領域およびその近傍領域の画像表示には以下のような問題点がある。

図７は、第１の問題点とその解決方法を説明したものである。

図７（ａ）は、車両１００の左後方の領域に障害物や通行者等の立体物Ｏｂが存在する場合の状況を示したものである。車両１００の周囲４隅の領域は、各監視カメラ２００ａ、２００ｂ、２００ｃ、及び２００ｄのうち隣り合う監視カメラの双方で同一領域を重複して監視することができる領域である。この重複領域、例えば車両１００の左後方の重複領域Ａobcに立体物Ｏｂが存在した場合、監視カメラ２００ｂと監視カメラ２００ｃとでは立体物Ｏｂに対する視線方向が異なるため、路面に投射された像の向きや形状はそれぞれ異なったものとなる。

このため、図７（ｂ）に示したように、個々の俯瞰画像を単純に重ね合わせ合成して俯瞰画像Ｐdd’を生成すると、俯瞰画像Ｐdd’では立体物Ｏｂが２つに分離して表示されることになる。

このままの画像表示では、立体物Ｏｂが１つしか無い場合でもあたかも２つの立体物が存在するかのような誤認を運転者に与える虞が生じる。

そこで、本実施形態に係る車両周辺画像表示装置１では、監視カメラ２００の重複領域、例えば重複領域Ａobcにおいては、いずれか一方の監視カメラ２００、例えば監視カメラ２００ｂで監視する領域Ａobから得られる画像のみを選択して俯瞰画像Ｐddを合成するものとしている。即ち、監視カメラ２００ｂから得られる画像（重複領域Ａobcを含む領域Ａobの画像）と、監視カメラ２００ｃから得られる画像から重複領域Ａobcを除いた非重複領域Ａoc’の画像とを用いて俯瞰画像Ｐddを合成するものとしている。以下この処理を重複領域選択処理と呼ぶ。

この結果、図７（ｃ）に示したように、重複領域Ａobcを表示する俯瞰画像Ｐddは、監視カメラ２００ｂから得られる画像のみに基づいて生成されるため、同一の立体物Ｏｂが分離して表示されることが無くなり、運転者に対する誤認を回避することができる。

本実施形態では、俯瞰画像生成部４において重複領域選択処理を行っている。

なお、車両がほぼ直進している場合には、左右側方にある監視カメラ２００ｃおよび２００ｄから得られる画像を優先的に選択することが好ましい。この結果、車両側方の立体物が非重複領域から重複領域に移った場合でも同一の監視カメラ２００で監視を継続することが可能となり、監視カメラの切り換えによる急激な画像の変化を避けることができる。同様の理由で、車両が大きく旋回する場合等、車両が左右方向に移動する場合には、前後方にある監視カメラ２００ａおよび２００ｂから得られる画像を優先的に選択することが好ましい。この他、優先的に選択する監視カメラ２００を、指示入力部１３０から入力されるコマンドによってユーザが適宜変更、選択できる形態でもよい。

図８は、重複領域およびその近傍領域に関する第２の問題点とその解決方法を説明したものである。

図８（ａ）は、車両１００の左後方の領域に障害物や通行者等の２つの立体物Ｏb1およびＯb2が存在する場合の状況を示したものである。立体物Ｏb1は監視カメラ２００ｂの視野内にはあるが監視カメラ２００ｃからは見えない位置にある。また、立体物Ｏb2は、監視カメラ２００ｃの視野内にはあるが監視カメラ２００ｂからは見えない位置にある。

このような状況で、監視カメラ２００ｂ、及び２００ｃからの画像に基づいて単純に重ね合わせで俯瞰画像Ｐdd”を生成すると、図８（ｂ）に示したような画像が得られることになる。

次に、俯瞰画像Ｐdd”に対して重複領域選択処理を施すと、図８（ｃ）に示した俯瞰画像Ｐdd’が得られることになる。監視カメラ２００ｂの視野内には、立体物Ｏb2は入っていない。従って、監視カメラ２００ｂの画像から生成される重複領域Ａobcの俯瞰画像Ｐdd’には立体物Ｏb2の路面への投射像は含まれない。

一方、監視カメラ２００ｃの画像については、非重複領域Ａoc’の画像のみが用いられて俯瞰画像Ｐddが生成される。

このため、図８（ｃ）に示したように、立体物Ｏb2が重複領域Ａobcに近接した非重複領域Ａoc’に存在するような場合には、立体物Ｏb2の路面近傍の一部、例えば通行者の足部の画像Ｉmc’のみが俯瞰画像Ｐdd’に表示されることになる。

この結果、運転者は、立体物Ｏb2の一部の画像Ｉmc’を看過し、障害物や通行者等の立体物が２つ存在するにもかかわらず、１つの立体物しか存在しないと誤認する虞が高くなる。

そこで、この問題を解決するため本実施形態に係る車両周辺画像表示装置１では、重複領域選択処理に加えて、立体物延長表示処理を行っている。

立体物延長表示処理とは、図８の例で説明すると、重複領域Ａobcの近接領域に立体物Ｏb2が存在する場合において、立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長している場合には、重複領域選択処理の後にその立体物Ｏb2の画像Ｉmcspを重複領域Ａobcに重ねて合成する処理をいう。

画像Ｉmcが立体物の画像であるか否かの識別は、立体物識別部５において行われる。また、立体物識別部５において識別、抽出された立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長しているか否かの判定（以下、この判定を延長判定と呼ぶ）は、識別された立体物の位置情報をもとに、俯瞰画像生成部４において判定される。この延長判定は個々の俯瞰画像の全領域で行う必要はない。立体物の大きさは通常ある範囲に限定されているため重複領域とその近傍領域で行えば十分であり、例えば図８（ｄ）に例示した判定領域Ａｄで判定する。これにより、個々の俯瞰画像の全領域、例えばＡocの全領域で判定する場合に比べて処理時間が短縮できる。

延長判定において、立体物Ｏb2の画像Ｉmcが非重複領域Ａoc’から重複領域Ａobcに亘って延長していると判定された場合には、判定された延長立体物画像Ｉmcspを俯瞰画像Ｐdd’重ね合わせ合成し、最終的な俯瞰画像Ｐddを生成する。

（３）関心領域推定部と画像合成部の細部構成と動作
図９は、車両周辺画像表示装置１の関心領域推定部７への具体的な入力信号および出力信号を例示した図である。

関心領域推定部７には、車両センサ１１０のうち、車速センサ１１１からは車速が、ギアセンサ１１２からは車両の進行方向を示す情報、即ち「前進」又は「後進」が、繰舵角センサ１１３からは駆動輪の繰舵角がそれぞれ入力される。この他、ヨーレートセンサからヨーレート（地面方向に向かう車両の中心軸周りの角速度）を入力する形態としても良い。

また、関心領域推定部７には、車両１００が備える立体物検出部１２０で検出した障害物の位置情報（方位、距離等）が入力される。

この他、車両１００が備える指示入力部１３０からは、マイク、キーボード、スイッチ、タッチパネル等の適宜の入力手段を介してコマンド情報が入力される。

関心領域推定部７では、車両センサ１１０から入力される各種情報から運転状況を自動的に判断し、この運転状況から運転者が関心を示すであろう方向（関心方向）を推定し、この関心方向の情報を画像合成部６に出力する。関心方向は、例えば、前方、後方、左側方、右側方である。

また、関心領域推定部７では、立体物検出部１２０から入力される障害物の位置情報から、運転者が関心を示すであろう障害物の領域（関心領域）を推定し、関心領域情報を画像合成部６に出力する。関心領域情報は、例えばその領域を示す方位角範囲、車両からの離隔距離範囲等である。

図１０は、画像合成部６の細部構成を示したものである。

画像合成部６は、画像選択部６０、表示画像決定部６１，表示位置決定部６２，および合成部６２を備えて構成される。

画像選択部６０では、表示画像決定部６１からの指示に基づいて、画像合成部６に入力される３種類の画像、即ち、俯瞰画像Ｐdd、正規化画像Ｐnn、および関心領域画像Ｐiiの中から単独或いは複数の画像を選択する。

合成部６２では、画像選択部６０で選択された画像が複数ある場合に、表示位置決定部６２からの指示に基づいて指示された位置に配置して合成する。また、必要に応じて、ガイド線等生成部１０で生成されるガイド線、予想軌跡等の運転支援画像とさらに合成した後に画像表示部１４０に出力する。

表示画像決定部６１は、関心領域推定部７から出力される関心方向情報および関心領域情報に基づいて表示すべき画像を特定し、画像選択部６０に対して選択画像を指示する。

また、表示位置決定部６２は、選択画像が複数ある場合に、関心領域推定部７から出力される関心方向情報および関心領域情報に基づいて複数の選択画像のそれぞれの表示位置を、運転者が容易に視認できるように決定する。また、元の画像の大きさでは視認性が劣化すると判断される場合には、視認容易となるように特定の画像を縮小して表示するように合成部６３に対して指示する。

図１１（ａ）は、関心領域推定部７における関心方向及び関心領域の具体的な推定方法を表の形で例示したものである。

また、図１１（ｂ）は、画像合成部６における表示画像の具体的な選択方法と位置決定方法を表の形で例示したものである。

関心領域推定部７では、入力される車速、ギア、繰舵角等の情報から運転上状況を判定する。例えば、図１１（ａ）の表の第１行に例示したように運転状況が「低速・前進」と判定された場合には、見通しの悪い交差点やＴ字路に頭出している可能性が高い。そこで、運転者の関心方向は「前方」にあると推定する。

また、「低速・前進」で車両の頭出しを行っている場合には、運転者の最大の関心は前方の監視カメラ２００ａで撮像した正規化画像Ｐnn（前方）であり、この際には俯瞰画像Ｐddは特に必要性は認められないと考えられる。このため、図１１（ｂ）の表の第１行に例示したように、表示画像の選択では、関心方向（前方）の正規化画像のみを選択し、俯瞰画像Ｐddや関心領域画像は表示しないものとしている。

図１２（ｂ）および図１３（ｂ）は、運転状況が「低速・前進」と判定された場合に、前方の正規化画像Ｐnn（前方）が選択されて、画像表示部１４０に表示される様子を示している。図１２と図１３との相違点は、俯瞰画像Ｐddにおける車両１００の向きが図１２では横表示、図１３では縦表示となっている点である。この選択は、例えば指示入力部１３０から入力される手動指示によって選択できる。なお、「低速・前進」では俯瞰画像Ｐddは選択されないため、図１２（ｂ）と図１３（ｂ）とは同一の画像となっている。

入力される車速、ギア、繰舵角等の情報から運転上状況が「低速・後進」と判定されると、図１１（ａ）の表の第２行に例示したように、運転者の「関心方向」は「後方」と判定される。この場合、画像合成部６では、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）の２種類の画像が選択される。

図１２（ｃ）および図１３（ｃ）は、運転状況が「低速・後進」と判定された場合に、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）とが選択されて、画像表示部１４０に表示される様子を示している。正規化画像Ｐnn（後方）は適度の大きさに縮小された後、俯瞰画像Ｐddの後方方向の表示に支障の無い位置に配置される。なお、俯瞰画像Ｐddと後方の正規化画像Ｐnn（後方）の表示位置関係は通常変化しないと考えられるため、「固定」としている。

入力される車速、ギア、繰舵角等の情報から運転上状況が「低速・左旋回」或いは「低速・右旋回」と判定されると、運転者の「関心方向」はそれぞれ「左側方」或いは「右側方」と判定される。この場合、画像合成部６では、俯瞰画像Ｐddと正規化画像Ｐnn（左側方）或いは正規化画像Ｐnn（右側方）とが選択される。相互の位置関係は「固定」としている（図は省略した）。

立体物検出部１２０が障害物を検出し、関心領域推定部７に障害物の位置情報が入力されると、関心領域推定部７では運転状況は「障害物回避」と推定するとともに障害物の存在する領域（方向、距離等）が運転者にとっての「関心領域」であると推定する。

一方、支援画像生成部８では、推定された関心領域の位置情報に基づいて、４つの正規化画像Ｐnnの中から関心領域をカバーする正規化画像Ｐnnを選択し、さらにその正規化画像Ｐnnに含まれる関心領域の部分を拡大処理する。関心領域が拡大された画像を関心領域画像（部分画像）Ｐiiと呼んでいる。

運転状況が「障害物回避」であると推定されると、画像合成部６では、俯瞰画像Ｐddと関心領域画像Ｐiiとを選択する。

図１２（ｄ）および図１３（ｄ）は、運転状況が「障害物回避」と判定された場合に、俯瞰画像Ｐddと関心領域画像Ｐiiとが選択されて、画像表示部１４０に表示される様子を示している。

障害物はどこにあるかわからないため、立体物検出部１２０で検出された障害物と車両との位置関係に応じて、俯瞰画像Ｐdd中の障害物と関心領域画像Ｐiiとが相互に重ならないように関心領域画像Ｐiiの表示位置は動的に変化させる必要がある。

図１４は、「障害物回避」時の処理内容の細部を示したものである。

まず、立体物検出部１２０が障害物を検出し、障害物の位置情報を関心領域推定部７へ出力する（ステップＳＴ１）。

次に関心領域推定部７では、障害物のある領域を運転者の「関心領域」として推定する（ステップＳＴ２）。さらに、支援画像生成部８では、障害物をカバーするカメラの画像から生成される正規化画像Ｐnnを選択し、さらに関心領域部を拡大して関心領域画像Ｐiiを生成する（ステップＳＴ３）。

画像合成部６では、俯瞰画像Ｐddの障害物の位置と、関心領域画像Ｐiiとが重ならないように関心領域画像Ｐiiの位置を決定する。また単に配置だけでは重なりを回避できない場合には適宜いずれかの画像を縮小する（ステップＳＴ４）。

双方の画像の位置や大きさを決定した後、２つの画像を重ねて合成し、画像表示部１４０へ出力する。

図１５は、障害物、例えば通行者の位置が異なる場合の俯瞰画像Ｐddと関心領域画像Ｐiiとの位置関係を例示するものである。図１５（ａ）、（ｂ）、および（ｃ）のいずれの場合でも俯瞰画像Ｐdd中の通行者と関心領域画像Ｐiiとが重なり合わないように表示されている。

このように、障害物の位置に応じて関心領域画像Ｐiiに位置を動的に変化させ、運転者に対して視認容易に表示させることにより、運転者に対して障害物の位置を常に適切に知らしめることが可能となり、運転の安全性向上に資する。

なお、関心領域推定部７で推定される関心方向や関心領域の範囲、或いは、画像合成部６で選択される表示画像の選択や画像の表示位置等については、指示入力部１３０から入力されるコマンドによっても適宜設定、変更できるように構成されている。

（４）ガイド線等生成部および軌跡算出部の動作
図１６は、ガイド線等生成部１０で生成され画像合成部６で合成される運転支援画像の一例を示す図である。

駐車場等の狭いスペースに駐車等する際には、他の車両等との衝突を避けるため車両周辺の安全余裕が重要となる。駐車等の運転状況において運転者を支援するため、本実施形態に係る車両周辺画像表示装置１では、図１６（ａ）に示したように、車両１００の周辺の安全余裕領域Ａsf1を示すガイド線Ｌg1を車両１００の俯瞰画像Ｐddとともに表示する形態としている。

また、駐車等の際には、運転ドア１５０を開いたときにクリアランスを考慮して駐車等する必要がある。本実施形態に係る車両周辺画像表示装置１では、図１６（ｂ）に示したように、運転ドア１５０の開放時のクリアランス領域Ａsf2を示すガイド線Ｌg2を車両１００の俯瞰画像Ｐddとともに表示する形態としている。

これらのガイド線Ｌg1、Ｌg2が俯瞰画像Ｐddと共に表示されることによって、運転者は適切かつ安全な位置に駐車等することができる。

本実施形態に係る車両周辺画像表示装置１は、この他、車両の予想軌跡を運転支援画像として表示するものとしている。狭いスペースに駐車する時や縦列駐車の時には、例えば車両の４隅の予想軌跡等が俯瞰画像Ｐddと共に表示されると運転者にとって便利である。ハンドルの状態（繰舵角）に応じて予想軌跡等を順次更新することによって、運転者の適切なハンドル操作を支援することが可能となる。

車両１００の４隅の予想軌跡の算出は軌跡算出部９で行われる。４隅の予想軌跡の算出方法は特に限定するものではないが、例えば以下の手順で算出することができる。

車両の重心位置を座標（Ｘ,Ｙ）とすると、重心位置（Ｘ,Ｙ）は式１で表すことができる。

式１は、低速運行時等、タイヤのスリップが無いときの２輪（例えば前輪）駆動モデルに適用されるものである。

図１７は、式１の各パラメータを説明する図である。図１７に示したように、車両の重心位置（Ｘ,Ｙ）は、地上固定座標系で表される。Ｖは、車両１００の走行速度（車速）を表し、車速センサ１１１から出力される。βは前輪舵角（繰舵角）を表し繰舵角センサ１１３から出力される。また、ｒはヨーレート（Ｚ軸まわりの角速度）を表しヨーレートセンサ１１４から出力される。θは、（ｘ，y）で表記される車両に固定の座標系（車両固定座標系）の基準軸（ｘ軸）と、地上固定座標系の基準軸（Ｘ軸）との差を表している。なお、上記のＶ、β、ｒはいずれも軌跡の予想計算開始時における値であり、以下の軌跡の予想計算においては、一定値として扱うものである。

式１を積分することで次の式２が得られる。

ここで、（Ｘo、Ｙo）は、予測計算開始時の車両１００の重心位置を示す座量であり、（Ｘ(t)、Ｙ(t)）が、重心位置の予測軌跡を表すものである。また、θ(t)は、次の式３で計算できるものである。

なお、車両の進行方向をＸ軸に合致させておくことにより、θo＝Ｘo＝Ｙo＝０とすることができる。

式２、式３に基づいて重心位置の予測位置を算出することができるが、車両の４隅の予想軌跡を求めるためにはさらに次の計算が必要となる。

図１８に示したように、車両の重心位置から、左前方端、右前方端、左後方端、および右後方端へ向かう４隅の位置を示す各ベクトルを、車両固定座標で式４のように表記する。

次に、車両固定座標系から地上固定座標系に次の式５を用いて変換する。

式５によれば、例えば、地上固定座標で表記した左前方端の予想軌跡^WP_flは、次の式６で表される。

他の３つの端点についても同様にして^ＷP_□□（ｔ）が計算でき、車両１００の４隅の予想軌跡を算出することができる。

図１９は、式２から式６の計算に基づいて算出された、右前方端及び左後方端の予想軌跡を例示したものである。

計算された４隅の予想軌跡はガイド線等生成部１０において画像化され、画像合成部６において俯瞰画像Ｐddと合成された後に画像表示部１４０に出力される。

ガイド線等生成部１０で生成されるガイド線Ｌg1、Ｌg2や、車両１００の各４隅の予想軌跡の表示は、指示入力部１３０から入力されるコマンドにより、適宜表示或いは非表示を選択できる構成としている。

なお、本発明は上記の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。

１車両周辺画像表示装置
２画像バッファ
３正規化処理部
４俯瞰画像生成部
５立体物識別部
６画像合成部
７関心領域推定部
８支援画像生成部
９軌跡算出部
１０ガイド線等生成部
１００車両
１１０車両センサ
１２０立体物検出部
１３０指示入力部
１４０画像表示部
２００監視カメラ（魚眼カメラ）

Claims

車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成する正規化処理部と、
前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成する俯瞰画像生成部と、
前記車両の運転を支援するための運転支援画像を生成する支援画像生成部と、
前記運転支援画像と前記俯瞰画像とを合成する画像合成部と、
前記俯瞰画像とともに前記運転支援画像を表示する表示部と、
前記車両に設けられた各種センサからの情報に基づいて、低速移動する前記車両の予想軌跡を算出する軌跡算出部と、
を備え、
前記支援画像生成部は、算出された前記予想軌跡を前記仮想視点から俯瞰した模擬車両画像とともに合成した画像を前記運転支援画像として選択する、
ことを特徴とする車両周辺画像表示装置。
車両の周辺を撮像する複数の魚眼カメラから得られる複数の画像を夫々通常の画像に正規化処理し正規化画像を生成するステップと、
前記正規化画像から、車両上方の仮想視点から車両の周辺を俯瞰する俯瞰画像を生成するステップと、
前記車両の運転を支援するための運転支援画像を生成するステップと、
前記運転支援画像と前記俯瞰画像とを合成するステップと、
前記俯瞰画像とともに前記運転支援画像を表示するステップと、
前記車両に設けられた各種センサからの情報に基づいて、低速移動する前記車両の予想軌跡を算出するステップと、
を備え、
前記運転支援画像を生成するステップでは、算出された前記予想軌跡を前記仮想視点から俯瞰した模擬車両画像とともに合成した画像を前記運転支援画像として選択する、
ことを特徴とする車両周辺画像表示方法。