JP2010128951A - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】車両に取り付けられた撮像装置で車両の周囲を撮像して得られた画像を表示装置に表示させる画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】車両状態判断部１１は、各種センサ８０からの検出信号に基づいて車両の状態を判断する。カメラ境界制御部１２は、車両状態判断部１１が判断した車両の状態に応じて、画像処理部６が４つの２次元画像データを合成して１つの３次元画像データを生成する際の境界位置角度を決定する。画像視点制御部１３は、車両状態判断部１１が判断した車両の状態に応じて、画像処理部６が３次元画像データから投影画像データを生成する際の視点位置角度を決定する。画像処理部６は、それぞれ決定された境界位置角度及び視点位置角度と３次元画像変換用データ４ａとを用いて、カメラ７１，７２，７３，７４によって撮影された画像データから投影画像データを生成し、表示装置９０へ出力する。
【選択図】図４

Description

本発明は、車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置、画像処理方法及びコンピュータプログラムに関する。

自動車等の車両の運転を支援する装置として、運転者の視界からの死角を含む範囲を撮像する車載カメラと、車載カメラで撮像した画像を表示させる車載モニタとが普及している。例えば、車両の背面にカメラを取り付け、車両の後方を撮像して得られた画像を車載モニタに表示させることにより、運転者は、車載モニタに表示された画像によって車両の後方を確認しながら車庫入れを行なうことができる。また、車両の前面にカメラを取り付け、車両の左右前方を撮像して得られた画像を車載モニタに表示させることにより、運転者は、車載モニタに表示された画像によって交差点等において車両周辺における子供及び障害物等の存在を確認できる。

このような運転支援装置では、複数のカメラを車両に搭載し、各カメラからの画像を切り替えて表示し、又は複数のカメラからの画像を合成して表示することにより、車載モニタに表示される画像によって運転者が確認できる領域が拡大している。例えば、車両の前後左右にカメラを取り付け、各カメラからの画像を合成して車両の周囲全体を表示した１つの画像データを生成して車載モニタに表示させる装置が提案されている（特許文献１参照）。このような装置では、運転者は、車載モニタに表示された画像によって車両の周囲全体の状況を一度に確認できるので、車載モニタを確認する動作によって運転操作に与える影響を低減できる。
特開２００７−３６６６８号公報

上述したように、複数のカメラで撮像した画像を合成する場合、各カメラは、撮像領域の一部が重複するように配置される。そして、複数のカメラで重複して撮像された領域において、各カメラが撮像した画像が合成される。なお、複数の画像を合成した合成位置では画像の継ぎ目が生じる。このような継ぎ目の近傍の領域では、各カメラの視点が異なることによって画像に不連続性が生じることがあり、本来存在する障害物が画像データ上では確認できない状況が発生する場合がある。

このような問題を解決するために、複数の画像を合成する際の合成位置を変更可能に構成されている装置もある。しかし、このような装置は、数種類の合成位置パターンしか用意しておらず、所定の条件を満たした場合に、合成位置パターンを切り替える場合が多い。従って、画像の合成位置が切り換わることによる表示画像の変化によって表示画像中の物体の見え方が急に変わる可能性があり、表示画像の変化によって運転者が混乱する虞がある。

本発明は斯かる事情に鑑みてなされたものであり、その目的とするところは、急激な変化を生じず、見易い画像を提供することが可能な画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。

本願に開示する画像処理装置は、車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置であり、車両の運転操作の状態を示す状態情報を常時取得する。本願に開示する画像処理装置は、撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを画像記憶部に記憶する。本願に開示する画像処理装置は、所定の状態情報を取得した場合に、複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定する。そして、本願に開示する画像処理装置は、特定した変換情報及び／又は合成方法を用いて、前記画像記憶部に記憶された複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換する。

本願に開示する画像処理装置によれば、複数の撮像装置で撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、常時取得する状態情報に応じて変更する。よって、車両の運転操作の状態を示す状態情報に応じて適宜変更される情報を用いて投影画像データが生成されるので、生成された投影画像データに基づく画像間の変化量が抑制される。

本願に開示する画像処理装置では、複数の撮像装置で撮像して得られた複数の２次元画像データから生成された投影画像データに基づく画像に急減な変化が生じず、連続的で滑らかに変化する画像が生成される。よって、運転者は、表示画像の変化によって混乱せず、運転者が見易い画像を提供できる。

以下に、本願に開示する画像処理装置、画像処理方法及びコンピュータプログラムを、各実施形態を示す図面に基づいて詳述する。以下では、本願に開示する画像処理装置と、カメラ（撮像装置）と、表示装置とを自動車等の車両に搭載した画像処理システムについて説明する。

（実施形態１）
以下に、実施形態１の画像処理システムについて説明する。図１は実施形態１の画像処理システムの構成を示すブロック図である。本実施形態１の画像処理システムでは、画像処理装置１０に、４つのカメラ７１，７２，７３，７４と、各種センサ８０と、表示装置９０とが接続されている。画像処理装置１０と、カメラ７１，７２，７３，７４、各種センサ８０及び表示装置９０のそれぞれとは、専用のケーブルで接続されてもよく、車両内部に構築された車載ＬＡＮ（Local Area Network）を介して接続されてもよい。

カメラ７１，７２，７３，７４は、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor ）等の撮像素子を用いて、例えば１秒当たり３０枚の画像フレーム（画像データ）を取得する。カメラ７１，７２，７３，７４は、取得したアナログの画像データを順次デジタルの画像データにアナログ／デジタル変換し、生成したデジタルの画像データを画像処理装置１０へ順次出力する。

表示装置９０は、例えば液晶ディスプレイであり、カメラ７１，７２，７３，７４によって取得され、画像処理装置１０によって所定の処理が施された画像データを順次表示する。

各種センサ８０は、例えば、車速センサ、シフト位置センサ、パーキングブレーキセンサ、ＧＰＳ（Global Positioning System）センサ、舵角センサ等である。車速センサは車両の走行速度を検出するセンサである。シフト位置センサは車両に設けられたシフトレバーの操作位置を検出するセンサである。パーキングブレーキセンサは、パーキングブレーキが掛けられているか否か（オン又はオフ）を検出するセンサである。舵角センサは、車両に設けられたハンドルの回転に伴って地面との接触箇所で回動する車輪の進行方向に対する回動角度を検出するセンサである。

ＧＰＳセンサは、複数のＧＰＳ衛星から送られてくる電波（ＧＰＳ信号）を受信するアンテナを備え、受信したＧＰＳ信号に基づいて所在地（現在位置）を検出するセンサである。なお、ＧＰＳセンサ（位置取得部）は、検出した現在位置を、緯度、経度及び標高についてのデータを含む位置情報として取得する。各種センサ８０は、各種の情報を検出した検出信号を順次画像処理装置１０へ出力する。なお、各種センサ８０は、上述した各センサのほかに、例えば、アクセスペダルの踏み込み量を検出するためのセンサ、ブレーキペダルの踏み込み量を検出するためのセンサ等を用いてもよい。

図２はカメラ７１，７２，７３，７４の車両への取付位置の例を示す模式図である。図２は、画像処理システムを搭載した車両を真上方向から見た図を示している。また、図２に示した車両は前方を上にして図示されている。図２に示すように、前カメラ７１は、車両に備え付けられた前バンパーの中央に、車両の前方を撮影するように取り付けられ、後カメラ７２は、車両に備え付けられた後バンパーの中央に、車両の後方を撮影するように取り付けられる。左カメラ７３は、前方を向いた状態での車両の左側面の中央に、車両の左側を撮影するように取り付けられ、右カメラ７４は、前方を向いた状態での車両の右側面の中央に、車両の右側を撮影するように取り付けられる。

カメラ７１，７２，７３，７４のそれぞれは、１８０°の画角を有する超広角レンズを用いたカメラである。従って、前カメラ７１は車両の前方の領域７１ａを撮影し、後カメラ７２は車両の後方の領域７２ａを撮影し、左カメラ７３は車両の左側の領域７３ａを撮影し、右カメラ７４は車両の右側の領域７４ａを撮影する。カメラ７１，７２，７３，７４は、それぞれの撮影範囲（撮像領域）の一部が重複するように配置される。図２では、ハッチングを付した領域が、２つのカメラの撮影範囲が重複する領域である。

カメラ７１，７２，７３，７４の取付位置は、図２に示すように車両の前面、背面、左側面、右側面のそれぞれの中央が望ましいが、それぞれのカメラ７１，７２，７３，７４の撮影範囲の一部が重複する位置であれば、このような取付位置に限られない。例えば、左カメラ７３及び右カメラ７４は、車両に備え付けられたミラーに取り付けられていてもよい。また、カメラの数も、それぞれのカメラの撮影範囲の一部を重複させつつ、車両の周囲３６０°の範囲を撮影できる位置に取り付け可能であれば、４つに限られない。

図３は実施形態１の画像処理装置１０の構成を示すブロック図である。本実施形態１の画像処理装置１０は、制御部１、ＲＯＭ（Read Only Memory）２、ＲＡＭ（Random Access Memory）３、記憶部４、画像バッファ５、画像処理部６、カメラインタフェース７、センサインタフェース８、モニタインタフェース９等を備える。これらのハードウェア各部はそれぞれバス１ａを介して相互に接続されている。

制御部１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processor Unit）等であり、ＲＯＭ２又は記憶部４に予め格納されている制御プログラムを適宜ＲＡＭ３に読み出して実行する。また、制御部１は、上述したハードウェア各部の動作を制御する。ＲＯＭ２は、画像処理装置１０として動作させるために必要な種々の制御プログラム、カメラ７１，７２，７３，７４の車両への取付位置及び撮影方向等の情報等を予め格納している。ＲＡＭ３はＳＲＡＭ又はフラッシュメモリ等であり、制御部１による制御プログラムの実行時に発生する種々のデータを一時的に記憶する。

記憶部４は、ハードディスクドライバ又はフラッシュメモリ等であり、画像処理装置１０として動作させるために必要な種々の制御プログラム、３次元画像変換用データ４ａ等を予め格納している。

画像バッファ（画像記憶部）５は、ＲＡＭ又はフラッシュメモリ等であり、カメラ７１，７２，７３，７４によって撮影された画像データを順次格納する。
画像処理部（画像変換部）６は、カメラ７１，７２，７３，７４によって撮影され、画像バッファ５に格納された画像データに所定の処理を行ない、得られた画像データを表示装置９０へ出力する。なお、画像処理部６は、所定の処理を施した画像データをＮＴＳＣ（National Television System Committee standard ）データ等の表示用データに変換し、得られた表示用データを表示装置９０へ出力する。画像処理部６が行なう画像処理の詳細については後述する。

カメラインタフェース７は、通信線を介してカメラ７１，７２，７３，７４のそれぞれと接続され、カメラ７１，７２，７３，７４のそれぞれが撮影して得られた画像データを順次取得する。カメラインタフェース７は、順次取得する画像データを画像バッファ５へ送出し、画像バッファ５に格納させる。

センサインタフェース８は、通信線を介して上述したような各種センサ８０のそれぞれと接続され、各種センサ８０のそれぞれによる検出結果を順次取得する。センサインタフェース８は、順次取得する検出結果をＲＡＭ３へ送出し、ＲＡＭ３に格納させる。
モニタインタフェース（画像出力部）９は、通信線を介して表示装置９０と接続され、画像処理部６によって所定の画像処理が施され、生成された表示用データを表示装置９０へ出力する。

以下に、上述した構成の画像処理装置１０において、制御部１がＲＯＭ２又は記憶部４に格納されている制御プログラムを実行することによって実現される機能について説明する。図４は実施形態１の画像処理装置１０の機能を示す機能ブロック図である。本実施形態１の画像処理装置１０において、制御部１は、ＲＯＭ２又は記憶部４に格納されている制御プログラムを実行することによって、車両状態判断部１１、カメラ境界制御部１２及び画像視点制御部１３等の機能を実現する。

本実施形態１の画像処理装置１０は、カメラインタフェース７を介してカメラ７１，７２，７３，７４から取得した画像データを画像バッファ５に順次格納する。図５は画像バッファ５による画像データの格納例を示す模式図である。画像バッファ５は、図５に示すように４つの領域５１，５２，５３，５４に分割されている。図５に示す例では、前カメラ７１によって撮影された画像データは領域５１に格納され、後カメラ７２によって撮影された画像データは領域５２に格納される。また、左カメラ７３によって撮影された画像データは領域５３に格納され、右カメラ７４によって撮影された画像データは領域５４に格納される。

画像処理部６は、例えば、３次元画像データの生成及び表示のためのライブラリであるＯｐｅｎＧＬ（Open Graphics Library）を格納するメモリ及び３次元画像データを高速に処理できる演算回路（共に図示せず）等を備える。画像処理部６は、まず、３次元画像変換用データ４ａを用いて、画像バッファ５に格納された４つの画像データを合成して３次元画像データを生成する。

図６は３次元画像変換用データ４ａの例を示す模式図である。図６（ａ）は車両の真上から見た図を示し、図６（ｂ）は車両の左前方の斜め上から見た図を示している。なお、図６（ａ）中に記載した各符号の図６（ｂ）中への記載は省略する。３次元画像変換用データ４ａは、例えば図６に示すように、カメラ７１，７２，７３，７４によって撮影された画像データを３次元画像データに合成する際の３次元モデル、車両を３次元画像として表示させるための車両データ等を含む。

３次元モデルは、図６に示すように、車両が配置される矩形の配置面から延設された円形状の平面６１を示す平面画像データと、平面から延設された曲面６２を示す曲面画像データとを含む。また、平面画像データは、配置面の各辺のそれぞれから延設された略矩形状の４つの矩形延設面６３，６３…を示す矩形延設面データと、配置面の各頂点のそれぞれから延設された扇形状の４つの扇形延設面６４，６４…を示す扇形延設面データとを含む。矩形延設面データは、車両の配置面の各辺から矩形延設面６３，６３…の延設方向に配置された複数のポリゴンのデータであり、扇形延設面データは、車両の配置面の各頂点から放射状に配置された複数のポリゴンのデータである。
車両データは、本実施形態１の画像処理装置１０が搭載された車両を表示させるための車両画像データであり、車種毎に異なるデータである。

画像処理部６は、画像バッファ５に図５に示す状態で格納された４つの画像データを、図６に示した３次元モデルの各ポリゴンに貼り付けるテクスチャマッピング処理を行なう。従って、画像バッファ５に格納された画像データは、３次元モデルに貼り付けられるテクスチャマップパターンとして利用される。画像処理部６は、テクスチャマッピング処理を行なうことにより、４つの２次元画像データを１つの３次元画像データに合成する。

図７はテクスチャマッピング処理を説明するための模式図である。図７（ａ）は車両の真上から見た図を示し、図７（ｂ）は車両の左前方の斜め上から見た図を示している。
画像処理部６は、画像バッファ５の領域５１に格納された前カメラ７１によって撮影された画像データを、図７に示すように車両の前方の領域９０ａにマッピングする。また、画像処理部６は、画像バッファ５の領域５２に格納された後カメラ７２によって撮影された画像データを、図７に示すように車両の後方の領域９０ｂにマッピングする。

同様に、画像処理部６は、画像バッファ５の領域５３に格納された左カメラ７３によって撮影された画像データを、図７に示すように車両の左側の領域９０ｃにマッピングする。画像処理部６は、画像バッファ５の領域５４に格納された右カメラ７４によって撮影された画像データを、図７に示すように車両の右側の領域９０ｄにマッピングする。

次に画像処理部６は、テクスチャマッピング処理によって生成した３次元画像データを所定の視点から見た２次元の投影画像データに変換する。なお、図６（ａ）及び図７（ａ）は車両の真上方向を視点とした投影画像であり、図６（ｂ）及び図７（ｂ）は車両の左前方の斜め上方向を視点とした投影画像である。

そして、画像処理部６は、生成した投影画像データを表示装置９０に表示させるための表示用データに変換し、モニタインタフェース９を介して表示装置９０へ出力する。なお、投影画像データを表示用データに変換する処理は、画像処理部６が行なうほか、表示装置９０が行なってもよいし、画像処理部６及び表示装置９０以外のいずれかの各部が行なってもよい。

ここで、上述したように画像処理部６が４つの２次元画像データから１つの投影画像データを生成する画像処理の際に用いるパラメータは、所定の範囲内で可変である。パラメータとしては、４つの２次元画像データを１つの３次元投影面形状に合成して１つの３次元画像データを生成する際の４つの２次元画像データの合成位置を示す情報と、３次元画像データから投影画像データを生成する際の視点の位置／視線方向を示す情報とがある。本実施形態１の画像処理装置１０では、これらのパラメータは、車両の走行状態に応じて変更される。

なお、２次元画像データの合成位置（以下、境界位置角度という）は、後述するカメラ境界制御部１２によって制御され、視点の位置（以下、視点位置角度という）は、後述する画像視点制御部１３によって制御される。また、本実施形態１の画像処理装置１０は、走行状態として、前進中の走行速度及び後退中の走行速度を用いるが、これらに限られない。

図８は境界位置角度及び視点位置角度を説明するための模式図である。図８（ａ）は境界位置角度を説明するための模式図であり、図８（ｂ）は視点位置角度を説明するための模式図である。図８（ａ）において、領域９０ａには前カメラ７１によって撮影された画像データが貼り付けられ、領域９０ｂには後カメラ７２によって撮影された画像データが貼り付けられる。また、領域９０ｃには左カメラ７３によって撮影された画像データが貼り付けられ、領域９０ｄには右カメラ７４によって撮影された画像データが貼り付けられる。

本実施形態１では、４つの２次元画像データを１つの３次元画像データに合成する際の合成位置として、図８（ａ）に示すような境界位置角度が設定され、境界位置角度は、図８（ａ）中に示した破線を基準として５°〜８５°の範囲内での変更が可能である。なお、４つの２次元画像データは、図６（ａ）に示した放射状延設面６４，６４…上で合成されることが望ましく、境界位置角度は、０°から９０°等、隣り合う２次元画像データが重なる範囲内であれば、５°〜８５°に限られない。

また、本実施形態１では、設定された境界位置角度によって、領域９０ａと領域９０ｃとの境界位置だけでなく、領域９０ａと領域９０ｄとの境界位置、領域９０ｄと領域９０ｂとの境界位置及び領域９０ｂと領域９０ｃとの境界位置も連動して変更される。なお、このような構成に限らず、領域９０ａと領域９０ｃとの境界位置、領域９０ａと領域９０ｄとの境界位置、領域９０ｄと領域９０ｂとの境界位置及び領域９０ｂと領域９０ｃのそれぞれを各別に設定するようにしてもよい。

図９は境界位置角度の相異を説明するための模式図である。図９（ａ）は境界位置角度が１５°程度に設定された場合の３次元画像データを示している。図９（ｂ）は境界位置角度が４０°程度に設定された場合の３次元画像データを示しており、図９（ｃ）は境界位置角度が７０°程度に設定された場合の３次元画像データを示している。図９に示すように、境界位置角度が小さいほど左カメラ７３及び右カメラ７４によって撮影された画像がクローズアップされ、境界位置角度が大きいほど前カメラ７１及び後カメラ７２によって撮影された画像がクローズアップされる。

また、本実施形態１では、３次元画像データから投影画像データを生成する際の視点の位置として、図８（ｂ）に示すような視点位置角度が設定され、視点位置角度は、図８（ｂ）中に破線で示した鉛直方向を基準として車両の後方に０°〜６０°の範囲内での変更が可能である。なお、図８（ｂ）には図示しないが、本実施形態１では、車両の真上方向（破線で示した鉛直方向）から車両の前方に０°〜６０°の範囲内での変更も可能であり、このときの視点位置角度を０°〜−６０°で表現する。また、視点の位置は、車両の真上方向を基準に車両の前後に移動させるだけでなく、車両の左右方向に移動させてもよい。

図１０は視点位置角度の相異を説明するための模式図である。図１０（ａ）は視点位置角度が０°に設定された場合の３次元画像データを示している。図１０（ｂ）は視点位置角度が１５°程度に設定された場合の３次元画像データを示しており、図１０（ｃ）は視点位置角度が４５°程度に設定された場合の３次元画像データを示している。図１０に示すように、視点位置角度が大きいほど後カメラ７２によって撮影された画像が前カメラ７１によって撮影された画像よりもクローズアップされる。

本実施形態１の画像処理部６は、上述したように変更が可能な境界位置角度及び視点位置角度を、後述するカメラ境界制御部１２及び画像視点制御部１３から取得する。画像処理部６は、カメラ境界制御部１２から取得した境界位置角度に基づいて、図５に示すように画像バッファ５に格納された各画像データ中の各画素データを、図７に示した各領域９０ａ，９０ｂ，９０ｃ，９０ｄのどのポリゴンに貼り付けるかを算出する。そして、画像処理部６は、算出結果に基づいて、画像バッファ５に格納された各画像データを合成して３次元画像データを生成する。

また、本実施形態１の画像処理部６は、生成した３次元画像データを、画像視点制御部１３から取得した視点位置角度が示す視点から見た投影画像データに変換する。画像処理部６は、生成した投影画像データを表示装置９０へ出力する。

車両状態判断部１１は、センサインタフェース８を介して各種センサ８０からの検出信号を取得し、取得した検出信号に基づいて、連続的に変化する車両の状態を判断する。具体的には、車両状態判断部（状態情報取得部）１１は、車速センサからの検出信号を取得した場合、取得した検出信号に基づいて車両の走行速度（走行状態情報）を検出する。車両状態判断部１１は、走行速度を検出した場合、時速２０ｋｍを１００％とした場合の、検出した走行速度のパーセンテージ（％）を算出する。そして、車両状態判断部１１は、算出した走行速度のパーセンテージをカメラ境界制御部１２及び画像視点制御部１３へ通知する。なお、車両状態判断部１１は、検出した走行速度が時速２０ｋｍ以上である場合は１００％のパーセンテージをカメラ境界制御部１２及び画像視点制御部１３へ通知する。

また、車両状態判断部１１は、シフト位置センサからの検出信号を取得した場合、ギアの位置を判断する。車両状態判断部１１は、パーキングブレーキセンサからの検出信号を取得した場合、パーキングブレーキが掛けられているか否かを判断する。車両状態判断部１１は、パーキングブレーキが掛けられていると判断した場合は、車両が駐車状態であることをカメラ境界制御部１２及び画像視点制御部１３へ通知する。また、パーキングブレーキが掛けられていないと判断し、シフト位置がリバース（Ｒ）であると判断した場合、車両状態判断部１１は、車両が後退する状態であると判断し、車両が後退状態であることをカメラ境界制御部１２及び画像視点制御部１３へ通知する。

また、パーキングブレーキが掛けられていないと判断し、シフト位置がリバース（Ｒ）以外であると判断した場合、車両状態判断部１１は、車両が前進する状態であると判断し、車両が前進状態であることをカメラ境界制御部１２及び画像視点制御部１３へ通知する。

カメラ境界制御部（特定部）１２は、車両状態判断部１１から随時送出されてくる状態情報に応じて、画像処理部６が４つの２次元画像データを合成して１つの３次元画像データを生成する際の境界位置角度を決定し、画像処理部６へ送出する。具体的には、カメラ境界制御部１２は、車両状態判断部１１から通知された走行速度のパーセンテージに応じた境界位置角度を算出し、画像処理部６へ送出する。より具体的には、カメラ境界制御部１２は、車両状態判断部１１から取得した走行速度のパーセンテージｖｐ（％）に基づいて、下記の式１を用いて境界位置角度を算出する。このように、カメラ境界制御部１２は、車両の走行速度に比例する大きさの境界位置角度を算出するので、走行速度の加減に対して連続的に追随する境界位置角度を算出できる。

境界位置角度（°）＝（８５−５）×ｖｐ／１００＋５ …（式１）

これにより、車両の走行速度が速いほど、前カメラ７１及び後カメラ７２によって撮影された画像データを、左カメラ７３及び右カメラ７４によって撮影された画像データよりも優先的に表示した３次元画像データが画像処理部６によって生成される。逆に、車両の走行速度が遅いほど、左カメラ７３及び右カメラ７４によって撮影された画像データを、前カメラ７１及び後カメラ７２によって撮影された画像データよりも優先的に表示した３次元画像データが画像処理部６によって生成される。

なお、本実施形態１のカメラ境界制御部１２は、車両が前進状態である場合と、後退状態である場合とにおいて共に、上記式１を用いて境界位置角度を算出する。しかし、カメラ境界制御部１２は、車両が前進状態である場合と、後退状態である場合とにおいて、それぞれ異なる式を用いて境界位置角度を算出してもよい。

一方、画像視点制御部（特定部）１３は、車両状態判断部１１から随時送出されてくる状態情報に応じて、画像処理部６が３次元画像データから投影画像データを生成する際の視点位置角度を決定し、画像処理部６へ送出する。具体的には、画像視点制御部１３は、車両が後退状態であることを通知された場合、車両状態判断部１１から通知された走行速度のパーセンテージに応じた視点位置角度を算出し、画像処理部６へ送出する。より具体的には、画像視点制御部１３は、車両状態判断部１１から取得した走行速度のパーセンテージｖｐ（％）に基づいて、下記の式２を用いて視点位置角度を算出する。このように、画像視点制御部１３は、車両の走行速度に比例する大きさの視点位置角度を算出するので、走行速度の加減に対して連続的に追随する視点位置角度を算出できる。

視点位置角度（°）＝６０×ｖｐ／１００ …（式２）

また、画像視点制御部１３は、車両が前進状態であることを通知された場合、車両状態判断部１１から通知された走行速度のパーセンテージｖｐ（％）に応じた視点位置角度を下記の式３を用いて算出する。これにより、画像視点制御部１３は、車両が前進状態であれば、前カメラ７１によって撮影された画像データを、後カメラ７２によって撮影された画像データよりも優先的に表示した３次元画像データが画像処理部６によって生成される。また、画像視点制御部１３は、車両が後退状態であれば、後カメラ７２によって撮影された画像データを、前カメラ７１によって撮影された画像データよりも優先的に表示した３次元画像データが画像処理部６によって生成される。

視点位置角度（°）＝−６０×ｖｐ／１００ …（式３）

上述したように、カメラ境界制御部１２及び画像視点制御部１３が、車両状態判断部１１からの情報に応じた境界位置角度及び視点位置角度を適宜算出する。また、カメラ境界制御部１２及び画像視点制御部１３が、算出した境界位置角度及び視点位置角度を適宜画像処理部６へ送出することにより、画像処理部６は、車両の状態に応じた３次元画像データ及び投影画像データを生成することができる。このように生成された投影画像データを表示装置９０に表示させることによって、車両の運転者は、車両の周囲の状況を容易に把握できる。

このように、本実施形態１の画像処理装置１０は、車両の走行状態に応じて、運転者に通知したい領域を撮像範囲とするカメラ７１，７２，７３，７４によって撮影された画像を優先的に表示させる。これにより、３つの２次元画像データを１つの３次元画像データに合成する際の合成位置を可能な限り邪魔にならない箇所に設定すると共に、適切に視点を設定することによって運転者に通知したい領域を適切にクローズアップさせることができる。

以下に、本実施形態１の画像処理装置１０による画像処理についてフローチャートに基づいて説明する。図１１は画像処理装置１０による画像処理の手順を示すフローチャートである。なお、以下の処理は、画像処理装置１０のＲＯＭ２又は記憶部４に格納されている各種の制御プログラムに従って制御部１によって実行される。

画像処理装置１０の制御部１は、電源ボタンが操作された場合、画像処理部１０が備えるハードウェア各部を起動させ、画像処理装置１０としての動作を開始する。制御部１は、カメラ７１，７２，７３，７４から出力される画像データをカメラインタフェース７を介して取得し（Ｓ１）、取得した画像データを画像バッファ５に格納する。制御部１（車両状態判断部１１）は、各種センサ８０からの検出信号をセンサインタフェース８を介して取得し（Ｓ２）、取得した検出信号に基づいて車両の状態を判断する（Ｓ３）。具体的には、制御部１は、車両の走行速度の検出、車両が前進状態であるか後退状態であるかの判断等を行なう。

制御部１（カメラ境界制御部１２）は、判断した車両の状態に応じた境界位置角度を算出する（Ｓ４）。また、制御部１（画像視点制御部１３）は、判断した車両の状態に応じた視点位置角度を算出する（Ｓ５）。なお、制御部１は、ステップＳ４の処理及びステップＳ５の処理を、順序を逆に実行してもよいし、並列に実行してもよい。

制御部１は、画像処理部６に、ステップＳ４で算出した境界位置角度及び３次元画像変換用データ４ａを用いて、画像バッファ５に格納した４つの画像データを合成させて３次元画像データを生成させる（Ｓ６）。制御部１は、画像処理部６に、生成した３次元画像データから、この３次元画像データに基づく３次元画像を、ステップＳ５で算出した視点位置角度が示す視点から見た２次元の投影画像データを生成させる（Ｓ７）。制御部１は、生成した投影画像データをモニタインタフェース９を介して表示装置９０へ出力する（Ｓ８）。

制御部１は、例えば車両の運転者又は搭乗者等による電源ボタンの操作、動作終了を指示するボタンの操作によって、動作終了の指示を受け付ける。制御部１は、動作終了を指示されたか否かを判断しており（Ｓ９）、動作終了を指示されていないと判断した場合（Ｓ９：ＮＯ）、ステップＳ１へ処理を戻す。制御部１は、動作終了を指示されるまで上述したステップＳ１〜Ｓ８までの処理を繰り返し、動作終了を指示されたと判断した場合（Ｓ９：ＹＥＳ）、処理を終了する。

上述した処理により、本実施形態１の画像処理装置１０は、車両の走行状態に応じた画像（映像）を表示装置９０に表示させることができる。よって、運転者は、車両の走行状態に応じた画像によって車両の周囲の状況を容易に把握できる。例えば、車両の走行速度が速いほど、前カメラ７１及び後カメラ７２によって撮影された画像データが優先的に表示される。また、車両が前進状態である場合には車両の前方方向に視点を移動させ、車両が後退状態である場合には車両の後方方向に視点を移動させる。これにより、車両が後退状態である場合には、優先的に表示された車両の後方の画像によって、車両の後方が確認し易くなるので、車両の後方の子供及び障害物等を発見し易くなる。また、車両が前進状態である場合には、優先的に表示された車両の前方の画像によって、車両の前方が確認し易くなるので、遠方であっても前方の障害物を発見し易くなる。

本実施形態１の画像処理装置１０は、図６及び図７に示すように、平面画像データに含まれる矩形延設面データが示す矩形延設面６３，６３…中のポリゴンを車両の側面に対して垂直に配置した。これにより、車両の周辺近傍の画像をより違和感のない画像として表示できる。

また、本実施形態１の画像処理装置１０は、走行速度の加減等の車両の状態に対して連続的に境界位置角度及び視点位置角度を変更させるので、境界位置角度及び視点位置角度が変更された場合であっても、表示される画像は滑らかに変化する。従って、境界位置角度及び視点位置角度を急激に変化させた場合には、運転者に混乱を与える虞があったが、本実施形態１ではその虞はない。よって、車両の周辺の映像をより見易く表示することができるので、運転者による車両の運転をよりよく支援できる。

また、従来では、例えば、カメラ７１，７２，７３，７４によってそれぞれ撮影された画像データから複数パターンの投影画像データを生成するために、各パターン毎に変換テーブルを用意しておく方法が提案されていた。しかし、このような方法では、変換テーブルが用意されていないパターン、例えば変換テーブルが用意されているパターンとは視点が異なるパターンの投影画像データを生成することはできなかった。また、車両の走行状態に応じて運転者が確認したい領域をより見やすくクローズアップさせた投影画像データを生成することはできなかった。また、多数のパターンに対応するために多数の変換テーブルを用意した場合、変換テーブルを格納しておくメモリの容量が膨大となるので実用的ではなかった。しかし、本実施形態１の画像処理装置１０は、これらの問題を解決できると共に、車両の周辺の映像をより見易い状態で表示させることができる。

（実施形態２）
以下に、実施形態２の画像処理システムについて説明する。図１２は実施形態２の画像処理装置１０の構成を示すブロック図である。本実施形態２の画像処理装置１０は、図３に示したハードウェア各部のほかに、外部記憶装置１５を備える。外部記憶装置１５は、例えば、ＣＤ−ＲＯＭドライブ又はＤＶＤドライブ等であり、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭ等である記録媒体１５ａから、記録媒体１５ａに格納されたデータを読み出す。

記録媒体１５ａは、画像処理装置１０として動作するために必要な制御プログラムを記録している。外部記憶装置１５は、記録媒体１５ａから制御プログラムを読み出し、記憶部４に格納させる。制御部１は、記憶部４に格納された制御プログラムをＲＡＭ３に読み出して順次実行し、これにより、本実施形態２の画像処理装置１０は、上述の実施形態１で説明した処理を行なうことができる。

記録媒体１５ａとしては、ＣＤ−ＲＯＭ又はＤＶＤ−ＲＯＭのほかに、フレキシブルディスク、メモリカード、ＵＳＢ（Universal Serial Bus）メモリ等、各種の記録媒体を用いることができる。

なお、画像処理装置１０が、インターネット又はＬＡＮ（Local Area Network）等のネットワークに接続するための通信部を有する場合、画像処理装置１０を動作させるために必要な制御プログラムを、ネットワークを介してダウンロードしてもよい。

（実施形態３）
以下に、実施形態３の画像処理システムについて説明する。なお、本実施形態３の画像処理システムは、上述した実施形態１の画像処理システムと同様の構成によって実現できるので、同様の構成については同一の符号を付して説明を省略する。

上述した実施形態１では、車両が前進中である場合又は後退中である場合に、画像処理装置１０が、車両の走行速度に応じた画像を生成して表示装置９０に表示させる処理について説明した。本実施形態３の画像処理装置１０は、車両の場所の状況に応じた画像を生成するものとする。

本実施形態３の画像処理装置１０は、図３に示した構成のほかに、例えば記憶部（地図記憶部）４に、地図データ及び地図データ中の各場所の特性を示す特性情報を格納している。地図データは、車両にカーナビゲーションシステムが搭載されていれば、カーナビゲーションシステムに利用されるデータを用いればよい。地図データ中の各場所の特性情報は、例えば、各道路が高速道路であるか一般道であるかを示す情報、一般道であれば道幅が所定値以上であるか否かを示す情報等を含む。また、特性情報は、各場所が周囲に高い建物がなく周囲の視界が開けている場所であるか否かを示す情報、各場所が住宅街であるかオフィス街であるかを示す情報等を含む。

本実施形態３の車両状態判断部１１は、ＧＰＳセンサからの検出信号、即ち現在位置を示す情報を取得した場合、記憶部４に格納されている地図データ及び特性情報から、現在位置の特性情報を取得する。車両状態判断部１１は、取得した特性情報に基づいて、車両の現在位置の特性を判断し、カメラ境界制御部１２及び画像視点制御部１３へ通知する。

本実施形態３のカメラ境界制御部１２は、車両状態判断部１１から車両の現在位置の特性を通知された場合、通知された特性に応じた境界位置角度を算出する。具体的には、カメラ境界制御部１２は、上記の式１のように境界位置角度を算出するための式を、各場所の特性毎に用意している。よって、カメラ境界制御部１２は、車両状態判断部１１から通知された特性に対応した式を用いて、車両状態判断部１１から通知された車両の走行速度に基づく境界位置角度を算出する。カメラ境界制御部１２は、算出した境界位置角度を画像処理部６へ送出する。

本実施形態３の画像視点制御部１３は、車両状態判断部１１から車両の現在位置の特性を通知された場合、通知された特性に応じた視点位置角度を算出する。具体的には、画像視点制御部１３も、上記の式２，３のように視点位置角度を算出するための式を、各場所の特性毎に用意している。よって、画像視点制御部１３は、車両状態判断部１１から通知された特性に対応した式を用いて、車両状態判断部１１から通知された車両の走行速度に基づく視点位置角度を算出する。画像視点制御部１３は、算出した視点位置角度を画像処理部６へ送出する。

上述した処理により、本実施形態３のカメラ境界制御部１２及び画像視点制御部１３は、車両の走行状態だけでなく、車両が走行中の場所の特性に応じた境界位置角度及び視点位置角度を算出できる。そして、画像処理部６が、このような境界位置角度及び視点位置角度を用いた画像処理を画像バッファ５に格納された画像データに行なうことによって、走行中の場所の特定に応じた画像が生成されて表示装置９０に表示される。

これにより、運転者は、車両の現在の場所の状況に応じてより見易い画像を得ることができる。なお、この場合にも、走行速度の加減等の車両の状態に対して連続的に境界位置角度及び視点位置角度を変更させるので、表示される画像は滑らかに変化する。

（実施形態４）
以下に、実施形態４の画像処理システムについて説明する。なお、本実施形態４の画像処理システムは、上述した実施形態１の画像処理システムと同様の構成によって実現できるので、同様の構成については同一の符号を付して説明を省略する。

本実施形態４の画像処理装置１０は、各種センサ８０として、例えば車両の周囲に存在する障害物を検出するためのセンサを備えている。なお、障害物を検出するためのセンサとしては、超音波又は赤外線等を用いたセンサを利用することができるが、このようなセンサに限られない。

本実施形態４の車両状態判断部１１は、障害物検出センサからの検出信号を取得した場合、車両の周囲に障害物があるか否かを判断し、障害物があると判断した場合、車両に対する障害物の位置を検出する。車両状態判断部１１は、検出した障害物の位置をカメラ境界制御部１２及び画像視点制御部１３へ通知する。

本実施形態４のカメラ境界制御部１２は、車両状態判断部１１から障害物の位置を通知された場合、通知された位置を撮影範囲とするカメラ７１（又は７２，７３，７４）を特定する。そして、カメラ境界制御部１２は、特定したカメラ７１（又は７２，７３，７４）によって撮影された画像をクローズアップさせて表示できる境界位置角度を決定する。具体的には、例えば、車両の左側又は右側に障害物があることを通知された場合、カメラ境界制御部１２は、障害物の位置を撮影範囲とするカメラとして左カメラ７３又は右カメラ７４を特定する。そして、カメラ境界制御部１２は、特定した左カメラ７３又は右カメラ７４によって撮影された画像をクローズアップさせて表示するために、境界位置角度を例えば５°等の小さい値に決定する。

また、例えば、車両の前方又は後方に障害物があることを通知された場合、カメラ境界制御部１２は、障害物の位置を撮影範囲とするカメラとして前カメラ７１及び後カメラ７２を特定する。そして、カメラ境界制御部１２は、特定した前カメラ７１及び後カメラ７２によって撮影された画像をクローズアップさせて表示するために、境界位置角度を例えば８５°等の大きい値に決定する。カメラ境界制御部１２は、決定した境界位置角度を画像処理部６へ送出する。

なお、カメラ境界制御部１２は、境界位置角度の値を、例えば、車両と障害物との距離に応じて適宜変更してもよい。例えば、車両と障害物との距離が近付くにつれて、障害物の位置を撮影範囲とするカメラ７１（又は７２，７３，７４）によって撮影された画像をよりクローズアップさせるような境界位置角度に変更してもよい。具体的には、車両と障害物との距離に応じた境界位置角度の値を予めテーブルに登録しておき、カメラ境界制御部１２がテーブルを参照することによって境界位置角度を決定してもよい。また、車両と障害物との距離に応じた境界位置角度の値を数式によって予め定義しておき、カメラ境界制御部１２が、数式を用いて、車両と障害物との距離に応じた境界位置角度を算出してもよい。また、新たな障害物が検出された場合、境界位置角度を障害物の位置に合わせた角度に段階的に変化させるように算出してもよい。

本実施形態４の画像視点制御部１３は、車両状態判断部１１から障害物の位置を通知された場合、通知された位置の方向に視点を移動させるような視点位置角度を決定する。具体的には、例えば、車両の前方又は後方に障害物があることを通知された場合、画像視点制御部１３は、視点を車両の真上方向から車両の前方又は後方に移動させるための視点位置角度を決定する。画像視点制御部１３は、決定した視点位置角度を画像処理部６へ送出する。

なお、画像視点制御部１３は、視点位置角度の値を、例えば、車両と障害物との距離に応じて適宜変更してもよい。例えば、車両と障害物との距離が近付くにつれて、障害物の位置の真上方向に視点を移動させるような視点位置角度に変更してもよい。具体的には、車両と障害物との距離に応じた視点位置角度の値を予めテーブルに登録しておき、画像視点制御部１３がテーブルを参照することによって視点位置角度を決定してもよい。また、車両と障害物との距離に応じた視点位置角度の値を数式によって予め定義しておき、画像視点制御部１３が、数式を用いて、車両と障害物との距離に応じた視点位置角度を算出してもよい。また、新たな障害物が検出された場合、視点位置角度を障害物の位置に合わせた角度に段階的に変化させるように算出してもよい。

上述した処理により、本実施形態４のカメラ境界制御部１２及び画像視点制御部１３は、車両の走行状態だけでなく、車両の周囲の障害物の有無に応じた境界位置角度及び視点位置角度を決定できる。そして、画像処理部６が、このような境界位置角度及び視点位置角度を用いた画像処理を画像バッファ５に格納された画像データに行なうことによって、周囲に存在する障害物の場所等に応じた画像が生成されて表示装置９０に表示される。これにより、運転者は、車両の周囲の状況に応じてより見易い画像を滑らかに変化させつつ得ることができ、周囲の障害物をより容易に発見できる。

なお、車両の周囲に存在する障害物を検出するためのセンサとしては、画像処理センサを用いることもできる。画像処理センサは、例えばそれぞれのカメラ７１，７２，７３，７４が撮影した時系列の画像データを比較することによって動体を検出するセンサである。このような画像処理センサを用いた場合でも、検出した動体の位置をクローズアップさせて表示する画像が生成される。

また、近年、インフラ協調型システムの開発が行なわれており、車両の周囲の状況を検出する手段として、インフラ協調型システムを利用することもできる。例えば、交差点又は横断歩道の近傍に設置された歩行者検出センサからの検出信号、他の車両に搭載された各種センサからの検出信号を利用することが考えられる。インフラ協調型システムを利用して車両の周囲の状況を検出する場合、画像処理装置１０は、図３に示した構成のほかに、歩行者検出センサ又は他の車両に搭載された障害物検出センサからの検出信号を無線通信で受信するための受信部を備える。

この場合の車両状態判断部１１は、受信部を介して歩行者検出センサ又は他の車両の障害物検出センサからの検出信号を取得し、取得した検出信号に基づいて、自身の車両に対してどの位置に歩行者又は障害物がいるかを検出する。そして、車両状態判断部１１は、検出した歩行者又は障害物の位置をカメラ境界制御部１２及び画像視点制御部１３へ通知する。この場合にも、歩行者又は障害物の位置をクローズアップさせて表示する画像が生成される。

（実施形態５）
以下に、実施形態５の画像処理システムについて説明する。なお、本実施形態５の画像処理システムは、上述した実施形態１の画像処理システムと同様の構成によって実現できるので、同様の構成については同一の符号を付して説明を省略する。

本実施形態５の画像処理装置１０は、車両の状態として、ハンドルの回転に伴って回動する車輪の進行方向に対する回動角度を検出し、回動角度に応じた画像を生成する。
本実施形態５の車両状態判断部１１は、各種センサ８０として、例えば舵角センサからの検出信号を取得し、取得した検出信号に基づいて、進行方向に対する車輪の回動角度を検出する。車両状態判断部１１は、検出した車輪の回動角度をカメラ境界制御部１２及び画像視点制御部１３へ通知する。

本実施形態５のカメラ境界制御部１２は、車両状態判断部１１から車輪の回動角度を通知された場合、通知された回動角度に応じた境界位置角度を算出する。具体的には、例えば、車輪の回動角度が大きくなっていく場合は、車両が左折又は右折するために交差点に進入した状況であると推測できる。従って、カメラ境界制御部１２は、車輪の回動角度が大きくなるにつれて、左カメラ７３及び右カメラ７４によって撮影された画像をよりクローズアップさせるような境界位置角度を算出する。

また、例えば、車輪の回動角度が小さくなっていく場合は、車両が左折又は右折をして交差点から退出する状況であると推測できる。従って、カメラ境界制御部１２は、車輪の回動角度が小さくなるにつれて、前カメラ７１及び後カメラ７２によって撮影された画像をクローズアップさせるような境界位置角度を算出する。カメラ境界制御部１２は、算出した境界位置角度を画像処理部６へ送出する。

なお、カメラ境界制御部１２は、車輪の回動角度に応じた境界位置角度の値を予めテーブルに登録しておき、テーブルを参照することによって境界位置角度を決定してもよい。また、車輪の回動角度に応じた境界位置角度の値を数式によって予め定義しておき、カメラ境界制御部１２が、数式を用いて、車輪の回動角度に応じた境界位置角度を算出してもよい。

本実施形態５の画像視点制御部１３は、車両状態判断部１１から車輪の回動角度を通知された場合、通知された回動角度に応じた視点位置角度を算出する。具体的には、例えば、画像視点制御部１３は、車輪の回動角度が大きくなるにつれて、視点を車両の真上方向から車両の前方に移動させるための視点位置角度を算出する。また、画像視点制御部１３は、車輪の回動角度が小さくなるにつれて、視点を車両の真上方向に戻すための視点位置角度を算出する。画像視点制御部１３は、算出した視点位置角度を画像処理部６へ送出する。

なお、画像視点制御部１３は、車輪の回動角度に応じた視点位置角度の値を予めテーブルに登録しておき、テーブルを参照することによって視点位置角度を決定してもよい。また、車輪の回動角度に応じた視点位置角度の値を数式によって予め定義しておき、画像視点制御部１３が、数式を用いて、車輪の回動角度に応じた視点位置角度を算出してもよい。

上述した処理により、本実施形態５のカメラ境界制御部１２及び画像視点制御部１３は、車両の走行状態だけでなく、車両の車輪の回動角度に応じた境界位置角度及び視点位置角度を決定できる。そして、画像処理部６が、このような境界位置角度及び視点位置角度を用いた画像処理を画像バッファ５に格納された画像データに行なうことによって、車両が左折又は右折する場合のように車両の車輪の回動状況に応じた画像が生成されて表示装置９０に表示される。これにより、運転者は、車両の走行状況に応じてより見易い画像を滑らかに変化させつつ得ることができる。

（実施形態６）
以下に、実施形態６の画像処理システムについて説明する。なお、本実施形態６の画像処理システムは、上述した実施形態１の画像処理システムと同様の構成によって実現できるので、同様の構成については同一の符号を付して説明を省略する。
本実施形態６の画像処理装置１０は、各種センサ８０として、例えば、アクセスペダルの踏み込み量を検出するセンサ、ブレーキペダルの踏み込み量を検出するセンサ等を更に備える。

本実施形態６の車両状態判断部１１は、アクセルペダルセンサ又はブレーキペダルセンサからの検出信号を取得した場合、アクセルペダル又はブレーキペダルの踏み込み量を検出する。車両状態判断部１１は、検出したアクセルペダル又はブレーキペダルの踏み込み量をカメラ境界制御部１２及び画像視点制御部１３へ通知する。

本実施形態６のカメラ境界制御部１２は、車両状態判断部１１からアクセルペダル又はブレーキペダルの踏み込み量を通知された場合、通知された踏み込み量に応じた境界位置角度を算出する。具体的には、例えば、アクセルペダルの踏み込み量が大きいほど、前カメラ７１及び後カメラ７２によって撮影された画像をよりクローズアップさせるような境界位置角度を算出する。また、例えば、ブレーキペダルの踏み込み量が大きいほど、左カメラ７３及び右カメラ７４によって撮影された画像をよりクローズアップさせるような境界位置角度を算出する。カメラ境界制御部１２は、算出した境界位置角度を画像処理部６へ送出する。

なお、カメラ境界制御部１２は、アクセルペダル又はブレーキペダルの踏み込み量に応じた境界位置角度の値を予めテーブルに登録しておき、テーブルを参照することによって境界位置角度を決定してもよい。また、アクセルペダル又はブレーキペダルの踏み込み量に応じた境界位置角度の値を数式によって予め定義しておき、カメラ境界制御部１２が、数式を用いて、通知された踏み込み量に応じた境界位置角度を算出してもよい。

本実施形態６の画像視点制御部１３は、車両状態判断部１１からアクセルペダル又はブレーキペダルの踏み込み量を通知された場合、通知された踏み込み量に応じた視点位置角度を算出する。具体的には、例えば、アクセルペダルの踏み込み量が大きいほど、視点を車両の真上方向から車両の前方に移動させるための視点位置角度を算出する。また、画像視点制御部１３は、ブレーキペダルの踏み込み量が大きいほど、視点を車両の真上方向に戻すための視点位置角度を算出する。画像視点制御部１３は、算出した視点位置角度を画像処理部６へ送出する。

なお、画像視点制御部１３は、アクセルペダル又はブレーキペダルの踏み込み量に応じた視点位置角度の値を予めテーブルに登録しておき、テーブルを参照することによって視点位置角度を決定してもよい。また、アクセルペダル又はブレーキペダルの踏み込み量に応じた視点位置角度の値を数式によって予め定義しておき、画像視点制御部１３が、数式を用いて、通知された踏み込み量に応じた視点位置角度を算出してもよい。

上述した処理により、本実施形態６のカメラ境界制御部１２及び画像視点制御部１３は、アクセルペダルの踏み込み量又はブレーキペダルの踏み込み量に応じた境界位置角度及び視点位置角度を決定できる。そして、画像処理部６が、このような境界位置角度及び視点位置角度を用いた画像処理を画像バッファ５に格納された画像データに行なうことによって、アクセルペダルの踏み込み量又はブレーキペダルの踏み込み量の変化による車両の走行状況に応じた画像が生成されて表示装置９０に表示される。これにより、運転者は、車両の走行状況に応じてより見易い画像を滑らかに変化させつつ得ることができる。

（実施形態７）
以下に、実施形態７の画像処理システムについて説明する。なお、本実施形態７の画像処理システムは、上述した実施形態１の画像処理システムと同様の構成によって実現できるので、同様の構成については同一の符号を付して説明を省略する。
本実施形態７の画像処理装置１０は、各種センサ８０として、ウインカー（方向指示器）が指示する方向を検出するセンサ等を更に備える。

本実施形態７の車両状態判断部１１は、ウインカーセンサからの検出信号を取得した場合、車両が走行する予定の方向を判断し、カメラ境界制御部１２及び画像視点制御部１３へ通知する。

本実施形態７のカメラ境界制御部１２は、車両状態判断部１１から車両が走行する予定の方向を通知された場合、通知された方向を撮影範囲とするカメラとして左カメラ７３又は右カメラ７４を特定する。そして、カメラ境界制御部１２は、特定した左カメラ７３又は右カメラ７４によって撮影された画像をクローズアップさせて表示するために、境界位置角度を例えば５°等の小さい値に決定する。カメラ境界制御部１２は、決定した境界位置角度を画像処理部６へ送出する。

なお、カメラ境界制御部１２は、境界位置角度の値を、例えば、ウインカーの点滅が開始されてからの時間に応じて適宜変更してもよい。例えば、ウインカーの点滅開始からの時間が経過するほど、左カメラ７３及び右カメラ７４によって撮影された画像をクローズアップさせるような境界位置角度に変更してもよい。具体的には、ウインカーの点滅開始からの時間に応じた境界位置角度の値を予めテーブルに登録しておき、カメラ境界制御部１２がテーブルを参照することによって境界位置角度を決定してもよい。また、ウインカーの点滅開始からの時間に応じた境界位置角度の値を数式によって予め定義しておき、カメラ境界制御部１２が、数式を用いて、車両と障害物との距離に応じた境界位置角度を算出してもよい。

本実施形態７の画像視点制御部１３は、車両状態判断部１１から車両が走行する予定の方向を通知された場合、通知された方向に対応する位置に視点を移動させるような視点位置角度を決定する。具体的には、例えば、車両の走行予定の方向として左前方又は右前方を通知された場合、画像視点制御部１３は、視点を車両の真上方向から車両の後方に移動させるための視点位置角度を決定する。画像視点制御部１３は、決定した視点位置角度を画像処理部６へ送出する。

なお、画像視点制御部１３は、視点位置角度の値を、例えば、ウインカーの点滅が開始されてからの時間に応じて適宜変更してもよい。例えば、ウインカーの点滅開始からの時間が経過するほど、車両の後方に視点を移動させるような視点位置角度に変更してもよい。具体的には、ウインカーの点滅開始からの時間に応じた視点位置角度の値を予めテーブルに登録しておき、画像視点制御部１３がテーブルを参照することによって視点位置角度を決定してもよい。また、ウインカーの点滅開始からの時間に応じた視点位置角度の値を数式によって予め定義しておき、画像視点制御部１３が、数式を用いて、ウインカーの点滅開始からの時間に応じた視点位置角度を算出してもよい。

上述した処理により、本実施形態７のカメラ境界制御部１２及び画像視点制御部１３は、車両の走行予定の方向に応じた境界位置角度及び視点位置角度を決定できる。そして、画像処理部６が、このような境界位置角度及び視点位置角度を用いた画像処理を画像バッファ５に格納された画像データに行なうことによって、車両の走行予定の方向に応じた画像が生成されて表示装置９０に表示される。これにより、運転者は、車両の走行状況に応じてより見易い画像を得ることができる。特に、交差点で左折又は右折する場合には、運転者は、左後方又は右後方をより確認し易い画像を滑らかに変化させつつ得ることができる。

上述した各実施形態では、車両状態判断部１１が、各種センサ８０に含まれるそれぞれのセンサからの検出信号に基づいて車両の状態を判断する例を説明した。しかし、本願に開示する画像処理装置１０は、それぞれのセンサによる検出結果に基づいて総合的な車両の状態を検出し、総合的な車両の状態に応じた画像を表示装置９０に表示させることができる。

例えば、ＧＰＳセンサによって検出された車両の現在位置に基づいて現在走行中の道路が高速道路であると判断されている状況で、ウインカーセンサによって車両の走行予定方向が左方向又は右方向であると判断されたとする。この場合、車両状態判断部１１は、車両が隣接するレーン（車線）に移動する状態であると推測できる。また、ＧＰＳセンサによって検出された車両の現在位置に基づいて現在走行中の場所が住宅街であると判断されている状況で、ウインカーセンサによって車両の走行予定方向が左方向又は右方向であると判断されたとする。この場合、車両状態判断部１１は、車両が左折又は右折する状態であると推測できる。

このようにして、車両状態判断部１１は、各種センサ８０に含まれるそれぞれのセンサからの検出信号に基づいて総合的な車両の状態を検出するので、総合的に判断された車両の状態に応じて、運転者が所望する可能性の高い画像を提供できる。

上述した各実施形態の画像処理装置１０は、車両の走行状態に応じて変更させるパラメータとして、４つの２次元画像データから１つの投影画像データを生成するための境界位置角度及び視点位置角度を用いていた。このような構成のほかに、図６に示した３次元画像変換用データ４ａの３次元モデルに含まれる曲面画像データの曲面６２の角度を変更可能なパラメータとしてもよい。図１３は曲面角度を説明するための模式図である。図１３には図６及び図７に示した３次元モデルの縦断面図を示しており、図１３（ａ）は曲面角度が広い３次元モデルを、図１３（ｂ）は曲面角度が狭い３次元モデルをそれぞれ示している。

曲面角度を変更するようにした場合、例えば、車両の現在位置を検知し、検知した現在位置の特性を検出した場合に、狭い路地を走行中であれば曲面角度を小さい値に変更し、周囲が開けた場所を走行中であれば曲面角度を大きい値に変更する。また値を変更するときは段階的に変更する。これにより、視界が開けた場所を走行中であるか否かに応じた画像を表示装置９０に表示させることができ、運転者は、走行場所の状況に応じた画像によって周囲の状況を把握し易い。また、３次元画像変換用データ４ａの３次元モデルに含まれる平面画像データが示す平面６１の大きさ、３次元画像変換用データ４ａ中の車両データの位置等を変更させるようにしてもよい。

上述した各実施形態では、左カメラ７３及び右カメラ７４は、車両の左右の側面の中央部分に取り付けられている例について説明した。しかし、左カメラ７３及び右カメラ７４を例えば車両の左右のドアに取り付けられているドアミラーに取り付けることもできる。この場合、ドアミラーの角度を変更させることによって、左カメラ７３及び右カメラ７４によって撮影される領域も変更可能である。従って、例えば、車両が後退状態となった場合に、ドアミラーが斜め下方向を向くようにドアミラーの角度を変更すれば、車両の後方の近傍領域を左カメラ７３及び右カメラ７４によって効率よく撮影することができる。また、３次元画像を２次元に投影するパラメータとして視点位置角度以外に、視点と車両との距離又は拡大率等、２次元投影面を決定するための他のパラメータも同様に変化させてもよい。

上述した各実施形態では、画像処理装置１０を車両内部に搭載された画像処理システムに用いた例について説明したが、車両内部に搭載されて、カーナビゲーションシステムと連動して動作するような画像処理システムに適用される構成に限られない。例えば、車両に取り付けられたカメラによって撮影された画像データ、車両に設けられた各種センサ８０からの検出信号等を取得できる環境であれば、画像処理装置１０は、車両内部に搭載されている必要はない。

以上の実施形態１〜７を含む実施形態に関し、更に以下の付記を開示する。

（付記１）
車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置において、
車両の運転操作の状態を示す状態情報を常時取得する状態情報取得部と、
撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを記憶する画像記憶部と、
前記状態情報取得部が所定の状態情報を取得した場合に、複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定する特定部と、
該特定部が特定した変換情報及び／又は合成方法を用いて、前記画像記憶部に記憶された複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換する画像変換部と
を備える画像処理装置。

（付記２）
車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置において、
車両の運転操作の状態を示す状態情報を車両から定期的に又は変化があった場合に取得する状態情報取得部と、
撮像領域の一部が重複する複数の撮像装置で撮像して得られた複数の２次元画像データを記憶する画像記憶部と、
該画像記憶部に記憶された複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報取得部が取得した状態情報に応じて特定する特定部と、
該特定部が特定した変換情報及び／又は合成方法を用いて、前記画像記憶部に記憶された複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換する画像変換部と
を備える画像処理装置。

（付記３）
前記特定部は、前記複数の２次元画像データを１つの３次元投影面形状に合成する際の、前記３次元画像データにおける前記複数の２次元画像データの重複範囲においていずれの２次元画像データを採用するかの区切りを示す合成位置の情報、及び／又は、前記視点の位置及び視線方向を示す情報を含む付記１又は２に記載の画像処理装置。

（付記４）
所在地を示す位置情報を取得する位置取得部と、
地図データ及び地図データ中の各場所の特性を示す特性情報を記憶する地図記憶部とを備え、
前記状態情報取得部は、前記状態情報として、前記位置取得部が取得した位置情報が示す所在地の特性情報を前記地図記憶部から取得し、
前記特定部は、前記状態情報取得部が取得した特性情報に応じた変換情報及び／又は合成方法を特定する付記１から３までのいずれかひとつに記載の画像処理装置。

（付記５）
前記特性情報は、各場所が幹線道路であることを示す情報、又は各場所が市街地であることを示す情報を含む付記４に記載の画像処理装置。

（付記６）
前記状態情報取得部は、前記状態情報として、車両の走行状態を示す走行状態情報を取得し、
前記特定部は、前記状態情報取得部が取得した走行状態情報に応じた変換情報及び／又は合成方法を特定する付記１から５までのいずれかひとつに記載の画像処理装置。

（付記７）
前記状態情報取得部は、前記状態情報として、車両の周囲の状態を示す周囲状態情報を取得し、
前記特定部は、前記状態情報取得部が取得した周囲状態情報に応じた変換情報及び／又は合成方法を特定する付記１から６までのいずれかひとつに記載の画像処理装置。

（付記８）
前記周囲状態情報は、車両の周囲に存在する障害物又は移動体を示す情報、又は車両が走行する道路の形状を示す情報を含む付記７に記載の画像処理装置。

（付記９）
前記３次元画像データは、車両を示す車両画像データと、該車両が配置される矩形の配置面から延設された平面を示す平面画像データと、前記平面から延設された曲面を示す曲面画像データとを含み、前記平面画像データは、前記配置面の各辺のそれぞれから延設され、延設方向に複数のポリゴンが配置された略矩形状の延設面を示す矩形延設面データと、前記配置面の各頂点のそれぞれから延設され、放射状に複数のポリゴンが配置された略扇形状の延設面を示す扇形延設面データとを含み、
前記特定部は、前記複数の２次元画像データを１つの３次元投影面形状に合成する際の、前記３次元画像データにおける前記複数の２次元画像データの重複範囲においていずれの２次元画像データを採用するかの区切りを示す合成位置の情報として、前記略扇形状の延設面において前記配置面の各頂点を一端とした直線の情報を特定する付記１から８までのいずれかひとつに記載の画像処理装置。

（付記１０）
前記画像変換部が変換して得られた投影画像データを表示装置へ出力する画像出力部を備える付記１から９までのいずれかひとつに記載の画像処理装置。

（付記１１）
車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置による画像処理方法において、
車両の運転操作の状態を示す状態情報を常時取得するステップと、
所定の状態情報を取得した場合、撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定するステップと、
特定した変換情報及び／又は合成方法を用いて、前記複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換するステップと
を含む画像処理方法。

（付記１２）
コンピュータに、車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理させるためのコンピュータプログラムであって、
前記コンピュータに、
車両の運転操作の状態を示す状態情報を常時取得するステップと、
所定の状態情報を取得した場合、撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定するステップと、
特定した変換情報及び／又は合成方法を用いて、前記複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換するステップと
を実行させるためのコンピュータプログラム。

実施形態１の画像処理システムの構成を示すブロック図である。 カメラの車両への取付位置の例を示す模式図である。 実施形態１の画像処理装置の構成を示すブロック図である。 実施形態１の画像処理装置の機能を示す機能ブロック図である。 画像バッファによる画像データの格納例を示す模式図である。 ３次元画像変換用データの例を示す模式図である。 テクスチャマッピング処理を説明するための模式図である。 境界位置角度及び視点位置角度を説明するための模式図である。 境界位置角度の相異を説明するための模式図である。 視点位置角度の相異を説明するための模式図である。 画像処理装置による画像処理の手順を示すフローチャートである。 実施形態２の画像処理装置の構成を示すブロック図である。 曲面角度を説明するための模式図である。

符号の説明

１０ 画像処理装置
１ 制御部
５ 画像バッファ（画像記憶部）
６ 画像処理部（画像変換部）
９ モニタインタフェース（画像出力部）
１１ 車両状態判断部（状態情報取得部）
１２ カメラ境界制御部（特定部）
１３ 画像視点制御部（特定部）

Claims (10)

1. 車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置において、
   車両の運転操作の状態を示す状態情報を常時取得する状態情報取得部と、
   撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを記憶する画像記憶部と、
   前記状態情報取得部が所定の状態情報を取得した場合に、複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定する特定部と、
   該特定部が特定した変換情報及び／又は合成方法を用いて、前記画像記憶部に記憶された複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換する画像変換部と
   を備える画像処理装置。
2. 車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置において、
   車両の運転操作の状態を示す状態情報を車両から定期的に又は変化があった場合に取得する状態情報取得部と、
   撮像領域の一部が重複する複数の撮像装置で撮像して得られた複数の２次元画像データを記憶する画像記憶部と、
   該画像記憶部に記憶された複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報取得部が取得した状態情報に応じて特定する特定部と、
   該特定部が特定した変換情報及び／又は合成方法を用いて、前記画像記憶部に記憶された複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換する画像変換部と
   を備える画像処理装置。
3. 前記特定部は、前記複数の２次元画像データを１つの３次元投影面形状に合成する際の、前記３次元画像データにおける前記複数の２次元画像データの重複範囲においていずれの２次元画像データを採用するかの区切りを示す合成位置の情報、及び／又は、前記視点の位置及び視線方向を示す情報を含む請求項１又は２に記載の画像処理装置。
4. 所在地を示す位置情報を取得する位置取得部と、
   地図データ及び地図データ中の各場所の特性を示す特性情報を記憶する地図記憶部とを備え、
   前記状態情報取得部は、前記状態情報として、前記位置取得部が取得した位置情報が示す所在地の特性情報を前記地図記憶部から取得し、
   前記特定部は、前記状態情報取得部が取得した特性情報に応じた変換情報及び／又は合成方法を特定する請求項１から３までのいずれかひとつに記載の画像処理装置。
5. 前記状態情報取得部は、前記状態情報として、車両の走行状態を示す走行状態情報を取得し、
   前記特定部は、前記状態情報取得部が取得した走行状態情報に応じた変換情報及び／又は合成方法を特定する請求項１から４までのいずれかひとつに記載の画像処理装置。
6. 前記状態情報取得部は、前記状態情報として、車両の周囲の状態を示す周囲状態情報を取得し、
   前記特定部は、前記状態情報取得部が取得した周囲状態情報に応じた変換情報及び／又は合成方法を特定する請求項１から５までのいずれかひとつに記載の画像処理装置。
7. 前記３次元画像データは、車両を示す車両画像データと、該車両が配置される矩形の配置面から延設された平面を示す平面画像データと、前記平面から延設された曲面を示す曲面画像データとを含み、前記平面画像データは、前記配置面の各辺のそれぞれから延設され、延設方向に複数のポリゴンが配置された略矩形状の延設面を示す矩形延設面データと、前記配置面の各頂点のそれぞれから延設され、放射状に複数のポリゴンが配置された略扇形状の延設面を示す扇形延設面データとを含み、
   前記特定部は、前記複数の２次元画像データを１つの３次元投影面形状に合成する際の、前記３次元画像データにおける前記複数の２次元画像データの重複範囲においていずれの２次元画像データを採用するかの区切りを示す合成位置の情報として、前記略扇形状の延設面において前記配置面の各頂点を一端とした直線の情報を特定する請求項１から６までのいずれかひとつに記載の画像処理装置。
8. 前記画像変換部が変換して得られた投影画像データを表示装置へ出力する画像出力部を備える請求項１から７までのいずれかひとつに記載の画像処理装置。
9. 車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理可能な画像処理装置による画像処理方法において、
   車両の運転操作の状態を示す状態情報を常時取得するステップと、
   所定の状態情報を取得した場合、撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定するステップと、
   特定した変換情報及び／又は合成方法を用いて、前記複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換するステップと
   を含む画像処理方法。
10. コンピュータに、車両に搭載された複数の撮像装置で車両の周囲を撮像して得られる画像データを画像処理させるためのコンピュータプログラムであって、
    前記コンピュータに、
    車両の運転操作の状態を示す状態情報を常時取得するステップと、
    所定の状態情報を取得した場合、撮像領域の一部が重複する前記複数の撮像装置で撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成し、得られた３次元画像データに基づく３次元画像を所定の視点／視線方向から見た投影画像データに変換する際に用いる変換情報、及び／又は、撮像領域の重複部分の合成方法を、前記状態情報に応じて特定するステップと、
    特定した変換情報及び／又は合成方法を用いて、前記複数の２次元画像データを、前記所定の視点／視線方向から見た投影画像データに変換するステップと
    を実行させるためのコンピュータプログラム。

Images