JP2022029345A - 画像処理装置、画像処理プログラム - Google Patents

Abstract

【課題】複数のカメラで撮影した画像の合成において、注視して監視する必要のある対象物である注目画像が認識しづらくなることを防ぐ。【解決手段】比較例では、仮想スクリーン１１４の手前側に注目画像が存在しているため、仮想スクリーン１１４上では歪んでしまい、例えば、楕円状となる。そこで、この注目画像の位置（Ｌカメラ１０２及びＲカメラ１０４から注目画像までの距離）を算出し、算出した位置が仮想スクリーン１１４の位置となるように補正する。すなわち、もともと設定されたデフォルト位置の仮想スクリーン１１４を移動させることで、仮想スクリーン１１４の位置と注目画像との位置が一致し、注目画像の歪みが解消される。【選択図】図４

Description

本発明は、分割して撮像した車両周囲画像を合成する画像処理装置、画像処理プログラムに関する。

間隔を置いて設置された２台以上のカメラで撮影した画像に重複領域(オーバーラップ部)を設け、合成する技術では、基本的に予め定めた仮想スクリーン(投影位置)を基準として画像のずれを補正する。

このとき、仮想スクリーンよりも手前側には、表示されない死角が存在し、かつ、仮想スクリーンよりも奥側には、被写体が二重像となる領域が存在する場合がある。

特許文献１には、合成画像の境界線上の物体の周縁のずれ量を少なくすることが記載されている。

より詳細には、画像投影スクリーン設定部は、仮想視点と消失点とを結ぶ仮想視線に垂直な投影スクリーンを仮想視点との距離を変えて複数設定する。画像合成部は、各投影スクリーンについて、仮想視線と平行で所定距離を隔てた境界面と投影スクリーンとの交線を境界とし、後方画像、左後側方画像及び右後側方画像を投影スクリーンに投影し、合成画像の候補を複数形成する。画像評価部は、各合成画像について合成画像中で境界上の物体の周縁のずれ量を評価し、画像選択部は、各合成画像中でずれ量が最も少ない合成画像を選択する。これにより、合成画像の境界上の物体の周縁のずれ量を少なくできる。

特開２０１３－１１８５０８号公報

しかしながら、特許文献１の技術では、２台のカメラで撮影した画像のつなぎ目についてのずれ量を軽減することが記載されているが、重複画像領域の死角や二重像の解消については明確な記載はない。すなわち、特許文献１は、投影スクリーン（仮想スクリーンと同義）を複数設定する技術であるが、注視して監視する必要のある対象物（注目画像）の二重像、消失を解消するものではない。

本発明は、複数のカメラで撮影した画像の合成において、注視して監視するべき対象物である注目画像が認識しづらくなることを防ぐことができる画像処理装置、画像処理プログラムを得ることが目的である。

本発明に係る画像処理装置は、複数の撮像装置で、相互の撮影領域が重なるオーバラップ部が形成されるように撮影した画像情報を取得し、取得した複数の画像情報を合成する場合に、前記オーバラップ部の画像情報の配分率を制御して、基準として設定した仮想スクリーンでの画像を生成し、生成された前記仮想スクリーンの画像を表示することで画像を合成する画像合成処理を行うと共に、前記複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、前記複数の撮像装置の各々から前記注目画像までの距離を算出し、前記注目画像が抽出された場合に、前記複数の撮像装置の各々から前記注目画像までの距離に基づいて、前記画像合成処理で適用する仮想スクリーンの位置を補正することで仮想スクリーン位置を調整する、制御部を有している。

本発明によれば、複数の撮像装置で、相互の撮影領域が重なるオーバラップ部が形成されるように撮影した画像情報を取得し、取得した複数の画像情報を合成する場合に、オーバラップ部の画像情報の配分率を制御して視差を調整し、基準となる仮想スクリーンでの画像を生成して、当該仮想スクリーンの画像を表示する。

ここで、本発明では、複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、複数の撮像装置の各々から注目画像までの距離を算出して、複数の撮像装置の各々から注目画像までの距離に基づいて、仮想スクリーンの位置を調整する。

これにより、複数のカメラで撮影した画像の合成において、注視して監視する必要のある対象物が認識しづらくなることを防ぐことができる。

本発明において、前記注目画像までの距離は、前記複数の撮像装置で撮像した複数の画像情報から得た視差情報を用いて算出することを特徴としている。

これにより、複数カメラを用いたときに発生する特有の現象を、距離情報取得に利用することができる。

本発明において、３以上の撮像装置による撮像において、複数のオーバラップ部が存在する場合に、注目画像は、前記オーバラップ部のそれぞれで抽出可能であり、それぞれ独立して、仮想スクリーンの位置を補正することを特徴としている。

例えば、車両の左後方、右後方の注目画像を独立して設定し、それぞれ仮想スクリーンを設定することができる。なお、仮想スクリーンは一直線である必要はない。また、車両の場合、車軸（直進方向）に対して垂直である必要はない。

本発明において、前記オーバラップ部に相当する画像情報に対して、仮想視点を設定し、前記画像合成処理では、それぞれの仮想視点における画像情報を用いて画像を生成することを特徴としている。

これにより、カメラ間の距離が縮まり、２台の実カメラ間の画像の連続性を維持できる。

本発明において、前記複数の撮像装置が、車両の後方を分割して撮像する撮像装置であり、前記画像合成処理で合成された画像が、運転者が運転中に視認可能に表示され、前記注目画像が、自車両の後方に存在する注視するべき対象物であることを特徴としている。

これにより、車両のバックミラーの代替として有効利用することができ、自動的に注目画像が認識しづらくなることを防ぐことができる。

本発明において、前記注目画像の抽出するための前記所定条件が、予め定めた優先順位に基づくものであり、優先順位を決める要素として、少なくとも、前記自車両の後方に存在する注目画像までの距離、及び注目画像の移動速度を含むことを特徴としている。

本発明において、車両とは、自動車、農機、建機、バイク、自転車を含む移動体であり、自車両の後方に位置する移動体は全て注目画像の候補となる。この注目画像となり得る物体には、車両以外の移動体（例えば、人、動物、看板、障害物等）を含むものとする。なお、優先順位を決める要素として、注目画像の大きさを含めてもよい。

本発明に係る画像処理プログラムは、コンピュータを、上記画像処理装置の制御部として動作させることを特徴としている。

以上説明した如く本発明では、複数のカメラで撮影した画像の合成において、注視して監視するべき対象物である注目画像が認識しづらくなることを防ぐことができる。

第１の実施の形態に係る画像処理装置の構成を示す概略構成図である。 図１に示す画像処理装置における視点補間画像生成部の詳細を示す概略構成図である。 第１の実施の形態に係る画像処理装置の処理の流れを示す制御フローチャートである。 （Ａ）は第１の実施の形態に係り仮想カメラアレイ方式の合成処理後に、注目画像の距離の位置に仮想スクリーンを設定したときの概念図、（Ｂ）は（Ａ）の比較例であり注目画像の距離の位置に仮想スクリーンが設定されていないときの概念図である。 第２の実施の形態に係る車両が示されており、（Ａ）は車両の平面図、（Ｂ）は車両の側面図である。 第２の実施の形態に係る車両の室内を、後席中央から前席を見たときの概略図である。 （Ａ）は第２の実施の形態に係り、注目画像の距離の位置に仮想スクリーンを設定したときの概念図、（Ｂ）は（Ａ）の比較例であり注目画像の距離の位置に仮想スクリーンが設定されていないときの概念図である。 第２の実施の形態の変形例であり、仮想スクリーンの位置の調整例を示す概念図である。

「第１の実施の形態」

図１は、本発明の第１の実施の形態に係る仮想カメラアレイを利用した画像処理装置１００が示されている。

画像処理装置１００には、実装カメラとしてＬカメラ１０２とＲカメラ１０４を備えている。画像処理装置１００は、Ｌカメラ１０２とＲカメラ１０４で撮影した画像を合成して、モニタ部１０６へ出力する画像合成処理部１００Ａと、画像合成時の基準となる仮想スクリーン１１４（図４等参照）の位置を調整する仮想スクリーン位置調整処理部１００Ｂと、を備えている。

モニタ部１０６は、表示ドライバ１０８及び表示画面１１０を備えており、画像処理装置１００から受け付けた画像情報に基づいて、表示画面１１０に合成画像を表示する。

Ｌカメラ１０２とＲカメラ１０４とは、左右方向に並ぶように配置されている(図４参照)。なお、第１の実施の形態では、Ｌカメラ１０２とＲカメラ１０４とは、相対的な位置関係で左（Ｌ）及び右（Ｒ）に区別しているが、図４の奥行き方向（縦方向）に並ぶように配置してもよい。Ｌカメラ１０２及びＲカメラ１０４はそれぞれ、図４の一点鎖線で示される視野範囲ＷＬ、ＷＲを持っている。その内、後述する仮想スクリーン１１４に反映される画像を斜線で示している。仮想スクリーン１１４に反映される画像は、表示画像として利用される。

図４に示される如く、Ｌカメラ１０２及びＲカメラ１０４は、それぞれの光軸が平行ではなく、互いに外向きとなっており、Ｌカメラ１０２及びＲカメラ１０４の視界（斜線領域）を異ならせることが好ましい。なお、Ｌカメラ１０２及びＲカメラ１０４のそれぞれの光軸を互いに外向きとしたが、平行であってもよい。

Ｌカメラ１０２及びＲカメラ１０４による撮影画像には、オーバラップ部１１２（図４参照）が存在する。

オーバラップ部１１２では、Ｌカメラ１０２の画像情報とＲカメラ１０４の画像情報とを単純に合成すると、相互の視差に起因して、仮想スクリーン１１４の奥側の被写体が二重にみえる（二重像）現象が発生する。二重像は、Ｌカメラ１０２とＲカメラ１０４との間隔（距離）に依存する。

また、Ｌカメラ１０２の画像情報とＲカメラ１０４の画像情報とを単純に合成すると、仮想スクリーン１１４よりも手前側に死角領域１１６が存在する。

第１の実施の形態では、Ｌカメラ１０２の撮影画像とＲカメラとの撮影画像（図４の視野範囲ＷＬ、ＷＲを含む）とから、視差を調整した仮想的な視点での画像を生成し、二重像の発生、及び死角領域１１６を軽減するようにした。

なお、視点の生成は等間隔でもよいが、視点間隔を狭くすることで、つなぎ目を目立たなくすることができる。さらに、生成画像のＬカメラ１０２の撮影画像のオーバラップ部以外と連結される側では、仮想視点をＬカメラ１０２の位置近傍、生成画像のＲカメラ１０４の撮影画像のオーバラップ部以外と連結される側では、仮想視点をＲカメラ１０４の位置近傍とすることで、画像連結部で結合される部分での繋ぎ目を目立たなくすることができる。

(画像合成処理部１００Ａ)
図１に示される如く、Ｌカメラ１０２及びＲカメラ１０４は、それぞれ画像合成処理部１００Ａの視点補間画像生成部１１８に接続されている。視点補間画像生成部１１８では、Ｌカメラ１０２とＲカメラ１０４との間に仮想的な視点を生成し、仮想スクリーン位置調整処理部１００Ｂから指示された仮想スクリーン１１４の位置を基準として、当該仮想的な視点からみた画像を補間画像として生成する。仮想スクリーン位置調整処理部１００Ｂの詳細については、後述する。

すなわち、図４に示される如く、Ｌカメラ１０２とＲカメラ１０４との間には、各視点での補間画像を撮影する仮想カメラ１２０が設置されているということができる。

仮想カメラ１２０の数は、視点位置指示部１２２によって指示される。仮想カメラ１２０の数は、１以上であり、実用的な最大数は生成されるオーバラップ部の画像幅に依存する。この場合、生成画像の１画素幅毎に異なる仮想視点が設定される。仮想カメラ１２０の数の設定は、Ｌカメラ１０２及びＲカメラ１０４で撮影する被写体や精度条件（例えば、二重像のずれ幅の制限）等によって定めればよい。

視点位置指示部１２２は、視点補間画像生成部１１８に接続されており、Ｌカメラ１０２及びＲカメラ１０４で撮影した画像に基づいて、仮想カメラ１２０の数及び位置を決定する。

図２において、詳細に説明するが、視点位置はＬカメラ１０２の位置とＲカメラ１０４の位置の内分比をｔ：１－ｔとする値ｔで示され、オーバラップ部の各画素（ｘ，ｙ）毎に対応するtを示すマップｔ（ｘ，ｙ）として視点位置情報は、視点補間画像生成部１１８の一部を構成する視差検出部１２８、視差調整部１３０，１３２、及び画像混合部１３６に送出される。

このｔは０～１の数値（小数）であり、例えば、ｔ＝０はＬカメラ１０２の位置となり、ｔ＝１はＲカメラ１０４の位置となる。従って、画像連結部１２４でＬカメラ１０２単独で撮影された領域画像に連結される側では０に近い値をとり、反対に、Ｒカメラ１０４単独で撮影された領域画像に連結される側では１に近い値を取り、その間は連続的に変化する。例えば中間位置ではｔ＝０．５となる。

視点補間画像生成部１１８では、設定された仮想カメラ１２０の数に応じて生成された補間画像（図４における仮想カメラ光軸（視点）群参照）を画像連結部１２４へ送出する。

図１に示される如く、画像連結部１２４には、Ｌカメラ１０２及びＲカメラ１０４の撮影画像も入力されている。画像連結部１２４では、Ｌカメラ１０２の撮影画像、Ｒカメラ１０４の撮影画像、及び複数の補間画像を連結する。

画像連結部１２４で連結することで生成された合成画像は、出力部１２６へ出力され、前述したようにモニタ部１０６の表示画面１１０に表示される。

（視点補間画像生成部１１８の詳細）

図２は、図１の視点補間画像生成部１１８における、視点位置指示部１２２からの視点指示に応じた補間画像の生成に関する演算処理の詳細を示した概略構成図である。

図２に示される如く、Ｌカメラ１０２及びＲカメラ１０４の撮影画像は、それぞれ視差検出部１２８に入力される。この視差検出部１２８には、視点位置指示部１２２からの視点指示情報が入力される。

また、視点補間画像生成部１１８の視差検出部１２８には、仮想スクリーン位置調整処理部１００Ｂにより指示された仮想スクリーン１１４の位置を指示する情報が入力される。

視差検出部１２８では、仮想スクリーン１１４上において、以下の（１）式及び（２）式に基づいて、Ｌカメラ１０２とＲカメラ１０４との撮影画像の視差マップｄを演算する。なお、ｘ、ｙは、二次元の画像の座標である。Ｌカメラ１０２を基準とした視差マップｄ（ｘ，ｙ）を次のように求める。

この視差マップｄ（ｘ，ｙ）はＬ画像の各画素Ｌ（ｘ，ｙ）を－ｄ（ｘ，ｙ）画素幅横に移動した際にＲ画像と一致するような値のマップである。実際には数学的に完全に一致するわけではなく、ステレオマッチングとして知られる手法によって算出される。ステレオマッチングにはブロックマッチングやセミグローバルブロックマッチング等各種手法が存在するが、本発明はステレオマッチングの手法を限定するものではない。

同様に、Ｒカメラ１０４を基準とした視差マップｄ（ｘ，ｙ）を次のように求める。

（１）式はＬカメラ１０２を基準とした視差であり、（２）式はＲカメラ１０４を基準とした視差であり、双方共、ほぼ計算結果は一致するが、Ｌカメラ１０２でしか撮影されない領域、Ｒカメラ１０４でしか撮影されない領域等の存在により、（１）式及び（２）式を併用することが好ましい。

視差検出部１２８での演算結果において、（１）式の演算結果は、Ｌカメラ１０２用の視差調整部１３０に送出され、（２）式の演算結果は、Ｒカメラ１０４用の視差調整部１３２に送出される。

視差調整部１３０、１３２には、それぞれ視点位置指示部１２２からの視点位置情報が入力されている。

（Ｌカメラ１０２の視差調整）

Ｌカメラ１０２用の視差調整部１３０では、（１）式の演算結果と視点位置情報とに基づき、視差調整のための変形量ｄＬの演算を（３）式により実行する。

視差調整部１３０での演算結果は、Ｌカメラ１０２用の画像変形部１３４に送出される。画像変形部１３４には、Ｌカメラ１０２で撮影された画像情報が入力されている。

画像変形部１３４では、視差調整部１３０での（３）式の演算結果と、Ｌカメラ１０２の画像情報とに基づき、Ｌカメラ１０２で撮影した画像の視差を補正するための変形処理を、（４）式により実行する。

画像変形部１３４で実行された変形処理後のＬカメラ１０２の画像情報は、画像混合部１３６へ送出される。

（Ｒカメラ１０４の視差調整）

Ｒカメラ１０４用の視差調整部１３２では、（１）式の演算結果と視点位置情報とに基づき、視差調整のための変形量ｄＲの演算を（５）式により実行する。

視差調整部１３２での演算結果は、Ｒカメラ１０４用の画像変形部１３８に送出される。画像変形部１３８には、Ｒカメラ１０４で撮影された画像情報が入力されている。

画像変形部１３８では、視差調整部１３２での（５）式の演算結果と、Ｒカメラ１０４の画像情報とに基づき、Ｒカメラ１０４で撮影した画像の視差を補正するための変形処理を、（６）式により実行する。

画像変形部１３８で実行された変形処理後のＲカメラ１０４の画像情報は、画像混合部１３６へ送出される。

画像混合部１３６には、視点位置指示部１２２からの視点指示情報が入力されている。

画像混合部１３６では、（７）式に基づき、視点毎の画像（仮想カメラの各視点の画像）を重畳する。

この合成は、α－ｂｌｅｎｄｉｎｇ処理として知られる。採用比率（１－ｔ）：ｔをＬカメラ１０２の位置とＲカメラ１０４の位置の内分比の逆とすることで、徐々に変化しカメラ間の画質の差異による段差を解消する。また、画像連結される部分では、ほぼ１００％連結されるカメラ画像が採用されるため、連結される画像間の段差も解消される。

画像混合部１３６で重畳されたオーバラップ部の補間画像Ｉ（ｘ，ｙ）は、補間画像格納部１４０へ一時的に格納され、所定のタイミング（Ｌカメラ１０２の画像とＲカメラ１０４の画像との間での同期をとった状態）で、前述した画像連結部１２４へ送出される。なお、カメラ間の同期は、視差検出部１２８よりも前で実行しておく必要がある。

（仮想スクリーン位置調整処理部１００Ｂ）
前述したように、視点補間画像生成部１１８には、仮想スクリーン位置調整処理部１００Ｂで設定された仮想スクリーン１１４の位置を指示する情報が入力される（図１参照）。この入力された位置に設定される仮想スクリーン１１４上に表示画像を生成することになる。

言い換えれば、設定された仮想スクリーン１１４の位置に存在する対象物は、画像合成処理部１００Ａによる画像合成によって二重像、消失等が無い状態で表示される。

これに対して、設定された仮想スクリーン１１４の位置から逸脱した対象物は、歪みが生じた状態で表示される場合がある。

なお、仮想スクリーン１１４は、人が表示画面１１０の画像を見るときに違和感がない標準的な位置（デフォルト位置）に設定するため、実用的に歪みが問題になることはない。

ここで、第１の実施の形態の仮想スクリーン位置調整処理部１００Ｂでは、仮想スクリーン１１４の位置以外に、注視するべき対象物（注目画像）が存在する場合、仮想スクリーン１１４の位置であるデフォルト情報を補正して、注目画像の位置に仮想スクリーン１１４の位置を設定するようにした。以下、図１に、仮想スクリーン位置調整処理部１００Ｂにおける各部の機能について説明する。

図１に示される如く、仮想スクリーン位置調整処理部１００Ｂは、仮想スクリーン位置指示部２００を備え、この仮想スクリーン位置指示部２００から視点補間画像生成部１１８の視差検出部１２８（図２参照）へ仮想スクリーン位置を指示する。

仮想スクリーン位置指示部２００は、補正処理部２０２に接続されている。また、補正処理部２０２は、デフォルト情報記憶部２０４及び補正指示部２０６に接続されている。

補正指示部２０６には、距離算出部２０８、注目画像抽出部２１０、及び視差情報取得部２１２の連携により確定した、Ｌカメラ１０２及びＲカメラ１０４から注目画像までの距離情報が入力されるようになっている。補正指示部２０６では、注目画像までの距離に応じて補正値を生成する。

注目画像抽出部２１０では、Ｌカメラ１０２及びＲカメラ１０４から出力される画像情報を解析して、注目画像を抽出する。注目画像は、例えば、距離が徐々に狭まってくるように移動する物体（すなわち、Ｌカメラ１０２及びＲカメラ１０４に接近してくる物体）を、注目画像（注視するべき対象物）として抽出する。

注目画像とは、仮想スクリーン位置に合わせる対象であり、視差調整の基準である。なお、注目画像は、接近してくる物体に限定されるものではなく、物体の種類（自動車、農機、建機、自転車、歩行者等）によって抽出してもよいし、物体の大きさによって抽出してもよい。また、注目画像が複数存在する場合、基本的には、１つの仮想スクリーン１１４に対して１つの注目画像とすることが好ましいため、予め定めた優先度合いに基づいて抽出すればよい。

以下に、注視するべき対象物（すなわち、抽出する注目画像）を特定する場合の優先度合いの要素及び順位についての一例を挙げる。優先度合いの要素としては、優先順位が高い順に、距離、スピード（相対距離の変化）、及び物体の大きさ等がある。
（優先順位第１位） 要素が距離の場合は、近い物体の方が、遠い物体よりも優先度が高い。
（優先順位第２位） 要素がスピードの場合は、接近速度が速い物体の方が、接近速度が遅い物体よりも優先度が高い。さらに、接近速度がマイナス（遠ざかっている物体）は最も優先度が低い。
（優先順位第３位） 要素が物体の大きさの場合は、小さい物体の方が大きい物体よりも優先度が高い（小さいと視認が遅れる可能性がある。）。

なお、上記優先順位は基本順位であり、周囲の条件、又は、一定期間監視（追跡）を行った上で、優先順位を逸脱して注目画像を抽出することも可能である。

例えば、第１の実施の形態の画像処理装置１００が車両に搭載されており、自車の後方に接近した状態で追従する他車があり、その横をバイクがすり抜けるような場合は、他車が優先となるが、優先順位第２位のスピードと優先順位第３位の組み合わせによって、優先順位第１位よりも優先し、バイクを注目画像とすることが好ましい。

また、例えば、第１の実施の形態の画像処理装置１００が車両に搭載されており、自車の後方において、相対的に近い位置に障害物や看板が存在し、その後方に他車が追従して走行している場合は、距離が近い看板が優先となるが、優先順位第２位のスピードと優先順位第３位の組み合わせによって、優先順位第１位よりも優先し、他車を注目画像とすることが好ましい。

なお、全ての事象を記録しておき、以後の注目画像の抽出を機械学習を用いて処理するようにしてもよい。

注目画像抽出部２１０は、抽出した注目画像に関する情報を距離算出部２０８へ送出する。距離算出部２０８は、視差情報取得部２１２を介して、視点補間画像生成部１１８の視差検出部１２８（図２参照）から視差情報を取得し、Ｌカメラ１０２及びＲカメラ１０４から注目画像までの距離を算出し、補正指示部２０６へ送出する。

補正処理部２０２では、補正指示部２０６から補正指示がない場合は、デフォルト情報記憶部２０４からデフォルト情報を読み出す。補正処理部２０２は、デフォルト情報を仮想スクリーン位置として、仮想スクリーン位置指示部２００へ送出する。

また、補正処理部２０２では、補正指示部２０６から補正指示がある場合は、デフォルト情報記憶部２０４からデフォルト情報を読み出すと共に、補正指示部２０６からの補正指示に基づいて、デフォルト情報を補正する。補正処理部２０２では、補正した位置情報を仮想スクリーン位置として、仮想スクリーン位置指示部２００へ送出する。

すなわち、仮想スクリーン位置調整処理部１００Ｂでは、注目画像が存在しない場合はデフォルト情報に基づく仮想スクリーン１１４の位置を指示し（図４（Ａ）及び（Ｂ）の点線位置参照）、注目画像が存在する場合は、注目画像までの距離に基づいて補正した仮想スクリーン１１４の位置を指示する（図４（Ａ）の実線参照）。

以下に、第１の実施の形態の作用を図３のフローチャートに従い説明する。

図３は、画像処理装置の処理の流れを示す制御フローチャートである。なお、画像処理は、シングルプロセッサにおいて、所定の制御プログラムに基づき制御してもよいし、図１及び図２の機能ブロック単位において、１又は複数の処理を、マルチプロセッサで並行処理してもよいし、或いは、ＡＳＩＣ（Application Specific Integrated Circuit）のような特定用途向けの集積回路を組み合わせた処理基板を作成して並行処理してもよい。

図３に示される如く、ステップ１４７では、仮想スクリーン１１４の位置として、デフォルト情報を読み出し、ステップ１４８へ移行する。

ステップ１４８では、Ｌカメラ１０２及びＲカメラ１０４で撮影した画像を取り込み、次いで、ステップ１４９へ移行して、注目画像が有るか否かを判断する。

このステップ１４９で肯定判定されると、ステップ１５０へ移行して、Ｌカメラ１０２及びＲカメラ１０４の視差情報に基づき、注目画像情報の距離（Ｌカメラ１０２及びＲカメラ１０４から注目画像までの距離）を算出し、ステップ１５１へ移行する。

ステップ１５１では、仮想スクリーン１１４の位置の補正処理を実行し、ステップ１５２へ移行する。

また、ステップ１４９で否定判定された場合は、注目画像が無いと判断され、ステップ１５２へ移行する。この場合は、仮想スクリーン１１４の位置はデフォルト情報に基づいて設定されることになる。

ステップ１５２では、設定された仮想スクリーン１１４の位置に基づいて、視点位置指示情報を取り込み、ステップ１５４へ移行する。

ステップ１５４では、Ｌカメラ１０２基準の視差検出処理と、Ｒカメラ１０４基準の視差検出処理と、が実行される。

次のステップ１５６では、Ｌカメラ１０２基準の視差に基づく視差調整処理と、Ｒカメラ１０４基準の視差に基づく視差調整処理と、が実行される。

次のステップ１５８では、Ｌカメラ１０２基準の画像変形処理と、Ｒカメラ１０４基準の画像変形処理と、が実行される。

なお、ステップ１５４の視差検出処理、ステップ１５６の視差調整処理、及びステップ１５８の画像変形処理において、処理時間短縮のために、Ｌカメラ１０２基準及びＲカメラ１０４基準での各処理を並行処理することが好ましい。

次のステップ１６０では、ステップ１５８で変形処理された、Ｌカメラ１０２基準の及びＲカメラ１０４基準のオーバラップ部の画像を混合して補間画像を生成し、ステップ１６２へ移行して、当該補間画像を補間画像格納部１４０（図３参照）へ一時的に格納する。

次のステップ１６４では、Ｌカメラ１０２の撮影画像及びＲカメラ１０４で撮影した画像の非オーバラップ部分を取り込み、次いで、ステップ１６６で補間画像格納部１４０（図２参照）に格納した補間画像を読み出して、ステップ１６８へ移行する。

ステップ１６８では、Ｌカメラ１０２の撮影画像、Ｒカメラ１０４の撮影画像、及び補間画像を連結し、ステップ１７０へ移行する。

ステップ１７０では、画像表示処理が実行される。画像表示処理は、画像連結部１２４（図１参照）で連結した連結画像を、出力部１２６を介してモニタ部１０６へ出力し、表示ドライバ１０８の駆動により、表示画面１１０に連結画像を表示する。

次のステップ１７２では、画像処理装置１００の電源がオフされたか否かを判断し、否定判定された場合は、ステップ１５０へ戻り、上記工程を繰り返すことで、動画が表示される。また、ステップ１７２で肯定判定された場合は、このルーチンは終了する。

図４は、Ｌカメラ１０２及びＲカメラ１０４の合成処理において、注目画像が存在したときに当該注目画像の位置（Ｌカメラ１０２及びＲカメラ１０４から注目画像までの距離）に基づいて、仮想スクリーン１１４の位置を補正した場合（図４（Ａ）参照）と、比較例として補正しない場合（図４（Ｂ）参照）と、を示している。

図４（Ｂ）の比較例では、仮想スクリーン１１４の手前側に注目画像（黒塗り点Ａ参照）が存在しているため、仮想スクリーン１１４上では歪んでしまい、例えば、楕円状となる（白抜き点Ｂ参照）。

そこで、この注目画像（点Ａ）の位置（Ｌカメラ１０２及びＲカメラ１０４から注目画像（点Ａ）までの距離）を算出し、算出した位置が仮想スクリーン１１４の位置となるように補正する。

すなわち、図４（Ａ）において、もともと設定されたデフォルト位置の仮想スクリーン１１４（点線位置参照）を、実線位置まで移動させることで、仮想スクリーン１１４の位置と注目画像との位置が一致し、注目画像（点Ａ）の歪みが解消される。

なお、本実施の形態において、Ｌカメラ１０２とＲカメラ１０４とで撮影した画像を合成する場合に、仮想カメラ１２０の視点を設定したが、仮想カメラ１２０を設定せず、例えば、Ｌカメラ１０２とＲカメラ１０４とで撮影した２つの画像を、α－ｂｌｅｎｄｉｎｇ処理（半透明の画像を重ね合わせる合成処理）を用いて画像合成してもよい。

また、第１の実施の形態では、Ｌカメラ１０２とＲカメラ１０４との位置関係を、光軸と直交する仮想スクリーンに沿った線に対して平行となるように設置したが、光軸と直交する仮想スクリーンに沿った線に対して、光軸方向、光軸と直交する方向にオフセットさせることに制限はない。

「第２の実施の形態」
以下に、本発明の第２の実施の形態について説明する。

図５には、第２の実施の形態に係る車両１０が示されており、（Ａ）は車両１０の平面図、（Ｂ）は車両１０の側面図である。

図５（Ａ）に示される如く、車両１０の前進方向右側面には、右カメラアダプタ１２が取り付けられている。右カメラアダプタ１２には、光軸が車両１０の右後方に向けられたＲＨカメラヘッド１４が取り付けられている。ＲＨカメラヘッド１４では、図５（Ａ）の一点鎖線Ｒで囲まれた領域ＡＲを撮像する。

また、図５（Ａ）に示される如く、車両１０の前進方向左側面には、左カメラアダプタ１６が突出されている。左カメラアダプタ１６には、光軸が車両１０の左後方に向けられたＬＨカメラヘッド１８が取り付けられている。ＬＨカメラヘッド１８では、図５（Ａ）の一点鎖線Ｌで囲まれた領域ＡＬを撮像する。

さらに、図５（Ａ）に示される如く、車両１０の後部における、車両幅方向中央部には、光軸が車両１０の後方（光軸が路面に略水平）に向けられたＲＲカメラヘッド２０が取り付けられている。ＲＲカメラヘッド２０では、図５（Ａ）の一点鎖線Ｃで囲まれた領域ＡＣを撮像する。

ここで、領域ＡＲと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。また、領域ＡＬと領域ＡＣとは、それぞれ一部が重なっており、撮像される画像の一部が重複している。

図５（Ｂ）に示される如く、車両１０の後部には、ＲＲカメラヘッド２０とは別に、後進専用カメラ２２が取り付けられている。後進専用カメラ２２は、点線Ｂで囲まれた領域ＡＢを撮像するようになっており、撮影画像は、車両１０が後進する際に、車室内の情報表示用モニタ２４（図６参照）に表示されるようになっている。領域ＡＢは、車両１０の後方端部（例えば、後部バンパ）を含むように光軸が設定され、ＲＲカメラヘッド２０の光軸よりも下向きとされる。

すなわち、前述したＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０には、車両１０の通常走行（前進及び後進、停車を問わず）の運転者の支援として用いられるのに対し、後進専用カメラ２２は、車両１０の後進時に特化して運転者の支援として用いられるものであり、用途が互いに異なるものである。

図６は、車両１０の室内を、後席中央から前席を見たときの概略図である。

車両１０の右サイドウィンドウ部２６の前方には、前述した右カメラアダプタ１２が位置しており、ＲＨカメラヘッド１４が取り付けられている。

右サイドウィンドウ部２６とフロントウィンドウ部２８との間に位置する右サイドＡピラー３０の下部には、ＲＨモニタ３２が取り付けられている。ＲＨモニタ３２には、ＲＨカメラヘッド１４で撮像された車両右後方の領域ＡＲ（図５（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＲＨカメラヘッド１４とＲＨモニタ３２は、光学式の右サイドドアミラーと同等の役目を有する。

車両１０の左サイドウィンドウ部３４の前方には、前述した左カメラアダプタ１６が位置しており、ＬＨカメラヘッド１８が取り付けられている。

左サイドウィンドウ部３４とフロントウィンドウ部２８との間に位置する左サイドＡピラー３６の下部には、ＬＨモニタ３８が取り付けられている。ＬＨモニタ３８には、ＬＨカメラヘッド１８で撮像された車両右後方の領域ＡＬ（図５（Ａ）参照）の画像が鏡面反転処理された状態で表示されるようになっている。すなわち、ＬＨカメラヘッド１８とＬＨモニタ３８は、光学式の左サイドドアミラーと同等の役目を有する。

また、車室内における、センターコンソール部４０の上部には、情報表示用モニタ２４が取り付けられている。情報表示用モニタ２４は、車両１０のトランスミッション（図示省略）のシフトレバー４２が後進レンジ（Ｒレンジ）に入っているときに、後進専用カメラ２２で撮像した画像を表示する。

情報表示用モニタ２４は多機能モニタとして利用されるものであり、上記車両後方画像の表示以外に、例えば、図示しないナビゲーションシステムやオーディオシステムと連携し、切り替え操作によって、ナビゲーション画面（ナビゲーション情報画面等）やオーディオ画面（音楽に関する情報画面等）を表示する。例えば、ナビゲーション画面では、車両１０に搭載したＧＰＳ機能で取得した位置情報に基づき、地図画像と共に自車の走行位置を地図画像上に表示する。なお、情報表示用モニタ２４がタッチパネルの場合は、入力デバイスとしての機能を併せ持つ。

ここで、本実施の形態の車両１０のフロントウィンドウ部２８の中央上部（又は、天井部）には、ルームミラー部４４が取り付けられている。

ルームミラー部４４は、光学式の鏡面となる鏡面機能と、画像を表示するモニタ機能（第１の実施の形態で示したモニタ部１０６（図１参照）に相当）を併せ持っている。

鏡面機能では、運転中の運転者等の視野の範囲（目線の移動）で車両後方の状況を確認することができる。

一方、モニタ機能では、前記ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０で撮像した画像の合成画像を表示することができる。

上記車両１０に搭載されたＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０は、図５に示される如く、領域ＡＲと領域ＡＣとの重複部分（第１オーバラップ部５０Ａ）と、領域ＡＬと領域ＡＣとの重複部分（第２オーバラップ部５０Ｂ）と、が存在している。言い換えれば、本発明の仮想カメラ１２０を設定し得るオーバラップ部が、２箇所存在することになる。

これを、第１の実施の形態のＬカメラ１０２とＲカメラ１０４（図２参照）との構成に置き換えると、第１オーバラップ部５０Ａは、ＬＨカメラヘッド１８がＬカメラ１０２であり、ＲＲカメラヘッド２０がＲカメラ１０４となる。

一方、第２オーバラップ部５０Ｂは、ＲＲカメラヘッド２０がＬカメラ１０２であり、ＲＨカメラヘッド１４がＲカメラ１０４となる。

第２の実施の形態では、この２箇所のオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）のそれぞれで、図４に示す仮想カメラ１２０を設定した。

第２の実施の形態においても、第１オーバラップ部５０Ａと第２オーバラップ部５０Ｂとのそれぞれにおいて、第１の実施の形態で説明した画像合成処理部１００Ａ（図１参照）を適用して、視差を検出し、検出した視差を調整し、実装したカメラの画像を変形し、それぞれのオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）で画像を重畳し、補間画像を生成することで、被写体の仮想スクリーン１１４上での二重像の発生を解消（軽減）することができる。

なお、参考として、表１に、第１の実施の形態のオーバラップ部１１２において、仮想カメラ１２０による補間画像生成するための実装のカメラ（Ｌカメラ１０２、Ｒカメラ１０４）と、第２の実施の形態のオーバラップ部（第１オーバラップ部５０Ａ及び第２オーバラップ部５０Ｂ）のそれぞれにおいて、仮想カメラ１２０による補間画像生成するための実装のカメラ（ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、ＲＲカメラヘッド２０）と、の対照関係を示す。

（仮想スクリーン１１４の調整）
さらに、第２の実施の形態では、図７に示される如く、ルームミラー部４４のモニタ機能によって表示される画像の中に注目画像が存在する場合、第１の実施の形態と同様に、注目画像の位置（ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、及びＲＲカメラヘッド２０のそれぞれから注目画像までの距離）に基づいて、仮想スクリーン１１４の位置を調整するようにした。

例えば、注目画像は、車両１０に対して、後方から接近してくる車両を想定しており、後方画像の中でも、車両１０の運転者が注視するべき対象物である。特に、接近する速度が速ければ速いほど、注視度合いが増大するため、一般走行において、複数表示される接近車両の中から、最も早く接近してくる車両を注目画像とすることが好ましい（速度による優先順位の設定）。

図７は、一例として、ＲＨカメラヘッド１４及びＲＲカメラヘッド２０の合成処理において、注目画像が存在したときに当該注目画像の位置（ＲＨカメラヘッド１４及びＲＲカメラヘッド２０から注目画像までの距離）に基づいて、仮想スクリーン１１４の位置を補正した場合（図７（Ａ）参照）と、比較例として補正しない場合（図７（Ｂ）参照）と、を示している。

図７（Ｂ）の比較例では、仮想スクリーン１１４の手前側に注目画像（黒塗り点Ａ参照）が存在しているため、仮想スクリーン１１４上では歪んでしまい、例えば、楕円状となる（白抜き点Ｂ参照）。

そこで、この注目画像（点Ａ）の位置（ＲＨカメラヘッド１４及びＲＲカメラヘッド２０から注目画像（点Ａ）までの距離）を算出し、算出した位置が仮想スクリーン１１４の位置となるように補正する。

すなわち、図７（Ａ）において、もともと設定されたデフォルト位置の仮想スクリーン１１４（点線位置参照）を、実線位置まで移動させることで、仮想スクリーン１１４の位置と注目画像との位置が一致し、注目画像（点Ａ）の歪みが解消される。

（変形例)
なお、第２の実施の形態では、ＲＨカメラヘッド１４及びＲＲカメラヘッド２０から注目画像（点Ａ）までの距離に基づいて、全体として、直線上の仮想スクリーン１１４としたが、ＬＨカメラヘッド１８及びＲＲカメラヘッド２０の画像の合成処理は注目画像が存在しないため、仮想スクリーン１１４はデフォルトの位置が好ましい場合がある。

このため、図８（Ａ）及び（Ｂ）に示される如く、ＲＨカメラヘッド１４及びＲＲカメラヘッド２０の画像の合成処理に設定する仮想スクリーン１１４Ｒ（注目画像による補正有り）と、ＬＨカメラヘッド１８及びＲＲカメラヘッド２０の画像の合成処理に設定する仮想スクリーン１１４Ｌ（計算で得た補正値）とを設定して、車両１０の前後方向にオフセットさせた位置としてもよい。なお、ＲＨカメラヘッド１４及びＲＲカメラヘッド２０の画像合成領域に、他の注目画像がある場合は仮想スクリーン１１４Ｌを設定し、他の注目画像がない場合は仮想スクリーン１１４をデフォルトの位置に設定することが好ましい。

この場合、図８（Ａ）のように、仮想スクリーン１１４Ｒと仮想スクリーン１１４Ｌとを接続するための接続仮想スクリーン１１４Ｊは、徐々に変化する斜線とすればよい（ＲＲカメラヘッド２０の画像処理に依存する。）。

また、図８（Ｂ）に示される如く、仮想スクリーン１１４Ｒと仮想スクリーン１１４Ｌとを接続するための接続仮想スクリーン１１４Ｊは、単純に段差を設けるようにしてもよい。

さらに、図８（Ｃ）に示される如く、計算で得た補正位置であるの仮想スクリーン１１４Ｒと、計算で得た補正値である仮想スクリーン１１４Ｌの平均的な中間位置に、直線上の仮想スクリーン１１４Ｆを設定してもよい。

なお、第２の実施の形態において、実装するカメラを、ＲＨカメラヘッド１４、ＬＨカメラヘッド１８、ＲＲカメラヘッド２０としたが、実装するカメラ数や設置場所は限定されるものではない。例えば、ＲＲカメラヘッド２０を車両１０の中央ではなく、左右に分散しての一対のＲＲカメラを設けてもよい（合計４個の実装カメラと３箇所のオーバラップ部）。

また、第２の実施の形態では、車両１０の後方の画像を撮影し、運転の支援をするためにルームミラー部４４に表示するようにしたが、本発明の画像処理装置は、監視カメラ等にも適用可能である。

例えば、ある領域を複数の監視カメラで分割して撮影して監視する場合、モニタ上には、各監視カメラの映像がマルチに表示されており（或いは、定期的に切り替わって表示されており）、監視者は、それぞれの画像に順次視線を向ける必要があった。そこで、複数の監視カメラの撮影領域にオーバラップ部を設け、本発明の画像処理装置により合成することで、二重像が発生したり、被写体が消失することのない単一の広視野の画像を生成することができ、監視者の視点の移動を最小限に押さえることができる。

「第１の実施の形態」
１００ 画像処理装置
１００Ａ 画像合成処理部
１００Ｂ 仮想スクリーン位置調整処理部
１０２ Ｌカメラ
１０４ Ｒカメラ
１０６ モニタ部
１０８ 表示ドライバ
１１０ 表示画面
１１２ オーバラップ部
１１４ 仮想スクリーン
１１６ 死角領域
１１８ 視点補間画像生成部
１２０ 仮想カメラ
１２２ 視点位置指示部
１２４ 画像連結部
１２６ 出力部
１２８ 視差検出部
１３０、１３２ 視差調整部
１３４、１３８ 画像変形部
１３６ 画像混合部
１４０ 補間画像格納部
２００ 仮想スクリーン位置指示部
２０２ 補正処理部
２０４ デフォルト情報記憶部
２０６ 補正指示部
２０８ 距離算出部
２１０ 注目画像抽出部
２１２ 視差情報取得部
「第２の実施の形態」
１０ 車両
１２ 右カメラアダプタ（撮像装置）
１４ ＲＨカメラヘッド（撮像装置）
１６ 左カメラアダプタ（撮像装置）
１８ ＬＨカメラヘッド
２０ ＲＲカメラヘッド
２２ 後進専用カメラ
２４ 情報表示用モニタ
２６ 右サイドウィンドウ部
２８ フロントウィンドウ部
３０ 右サイドＡピラー
３２ ＲＨモニタ
３４ 左サイドウィンドウ部
３６ 左サイドＡピラー
３８ ＬＨモニタ
４０ センターコンソール部
４２ シフトレバー
４４ ルームミラー部
１１４Ｒ 、１１４Ｌ、１１４Ｊ、１１４Ｆ 仮想スクリーン

Claims (7)

1. 複数の撮像装置で、相互の撮影領域が重なるオーバラップ部が形成されるように撮影した画像情報を取得し、取得した複数の画像情報を合成する場合に、前記オーバラップ部の画像情報の配分率を制御して、基準として設定した仮想スクリーンでの画像を生成し、生成された前記仮想スクリーンの画像を表示することで画像を合成する画像合成処理を行うと共に、
   前記複数の撮像装置で撮影された画像の中から、所定条件で特定された注目画像を抽出し、前記複数の撮像装置の各々から前記注目画像までの距離を算出し、前記注目画像が抽出された場合に、前記複数の撮像装置の各々から前記注目画像までの距離に基づいて、前記画像合成処理で適用する仮想スクリーンの位置を補正することで仮想スクリーン位置を調整する、制御部を有する画像処理装置。
2. 前記注目画像までの距離は、前記複数の撮像装置で撮像した複数の画像情報から得た視差情報を用いて算出する、請求項１記載の画像処理装置。
3. ３以上の撮像装置による撮像において、複数のオーバラップ部が存在する場合に、注目画像は、前記オーバラップ部のそれぞれで抽出可能であり、それぞれ独立して、仮想スクリーンの位置を補正する、請求項１又は請求項２記載の画像処理装置。
4. 前記オーバラップ部に相当する画像情報に対して、仮想視点を設定し、前記画像合成処理では、それぞれの仮想視点における画像情報を用いて画像を生成する、請求項１～請求項３の何れか１項記載の画像処理装置。
5. 前記複数の撮像装置が、車両の後方を分割して撮像する撮像装置であり、前記画像合成処理で合成された画像が、運転者が運転中に視認可能に表示され、前記注目画像が、自車両の後方に存在する注視するべき対象物である、請求項１～請求項４の何れか１項記載の画像処理装置。
6. 前記注目画像の抽出するための前記所定条件が、予め定めた優先順位に基づくものであり、優先順位を決める要素として、少なくとも、前記自車両の後方に存在する注目画像までの距離、及び注目画像の移動速度を含む、請求項５記載の画像処理装置。
7. コンピュータを、
   請求項１～請求項６の何れか１項記載の画像処理装置の制御部として動作させる、
   画像処理プログラム。

Images