JP2009083744A - 合成画像調整装置 - Google Patents

Abstract

【課題】合成画像とする各カメラの取り付け誤差による不適切な合成画像を、合成画像を見ながら分かり易く調整することができるようにした「合成画像処理装置」とする。
【解決手段】車外を撮影する複数のカメラ１１の撮影画像を入力して車両上方に視点のある１つのトップビュー画像を合成し出力する画像合成処理部１４を備え、適切な合成画像が得られないときには調整画面３２にトップビュー画像４１を図中右側に表示し、左側下方には車両における調整するカメラの位置と、調整する方向及び角度指示入力を行う画面を表示する調整用基本画面を表示し、その上にはどの方向にどの程度調整するのかを補助線ＨＳで明示する調整用イメージ入力画面とを表示する。それにより、トップビュー画像の特定のカメラの撮影領域にタッチしてカメラを選択し、そのカメラの角度調整方向を指示するとき表示される補助線を見ながら、角度調整を容易に且つ確実に行うことができる。
【選択図】図１

Description

本発明は例えばトップビュー等の、複数カメラで撮影した画像を合成して上方に視点のある１つの平面画像を合成するに際して、カメラの設置状態が変化したときでも、画像処理によって容易に調整を行うことができるようにした合成画像調整装置に関する。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。

しかし上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図７に示すように、車両の右側を撮影する車両右側撮影用カメラＣＲ、車両の左側を撮影する車両左側撮影用カメラＣＬ、車両の後方を撮影する車両後方撮影用カメラＣＢ、車両の前側を撮影する車両前方撮影用カメラＣＦの合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図７（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。

なお、このようなトップビューシステムにおいて、カメラやレンズを交換した後に少ない手間で歪みのない画像を得るため、カメラを用いて撮影された画像に対して設定された基準位置に基づいてマッピングてー部の内容を補正変換するようにした技術は特開２００７−１５８６３９号公報に開示されている。
特開２００７−１５８６３９号公報

上記のようなトップビューシステムにおいて、車両に搭載した各カメラは予め決められた位置に設置され、その撮影方向は上下方向及び左右方向において所定の角度となるように設置される。このことを前提にして画像合成部では各撮影画像を特定の平面の画像に変換するためのマッピングテーブル等を用いて所定の座標変換を行い、最終的に各カメラの画像の表示領域を決めて１つの平面画像とする。

したがって、車両に搭載した各カメラの設置状態が変われば、撮影した画像は所定の座標と異なるため、座標変換に際しては正規の画像を得ることができなくなり、最終的に各カメラの撮影画像を組み合わせるとき、結合部分での画像が連続的ではなくなり、全体として正しい１枚の平面画像を得ることができなくなる。そのためこのようなトップビューシステムによる画像表示ではユーザにとって極めて見にくい画像とならざるを得ない。

特に、このようなトップビューシステムを備えた車両を工場の生産ラインから出荷するときには、生産ラインにおいて各カメラは精密に取り付けることができ、また大型の精密な装置によって正しいトップビューの画像が得られているかの検査を行い、適切でないときにはカメラの取り付け調整、及び画像処理システムにおける調整部を調整して適正なトップビュー画像を得ることができる。

しかしながら、このようにして生産ラインから出荷されてユーザの手に渡った車両でも、例えばサイドミラー先端に取り付けられたカメラ等では、車両の側部に突出していることもあり、サイドミラーの各種物体との接触等によって撮影方向がずれてしまうことがある。このような撮影方向のずれは、トップビュー画像における大きなずれとなり、見にくい画像とならざるを得ない。

また、このようなトップビューシステムは必ずしも工場の出荷時に車両に搭載されるとは限らず、自動車メーターのディーラーにおいてオプションで取り付けられることも考えられる。その際にはディーラーの工場においてカメラの取り付け、システムの調整を行うこととなるが、ディーラーでこのような調整を行うときには大がかりな調整装置を備えることはできず、カメラを取り付けた後、トップビュー画像を実際に見ながら、画像合成部分の調整を行い、取り付けたカメラの位置及び撮影角度に合った調整を、各カメラ毎に行わなければならず、その作業には多くの時間と手間を要することが推定される。

ディーラーによる前記のような調整作業は、ディーラーオプションとしてこのトップビューシステムを取り付けるとき以外に、前記のように実際に車両に搭載して使用しているとき、次第にカメラの撮影方向が変化し、或いは事故により大きく変化し、或いは特定のカメラ等を取り付け直しをしなければならなくなることもある。その際にも各ディーラ等で前記作業を行わなければならず、したがってこのような調整を容易に行うことができるようにすることがこのシステムの普及にとって大きな課題となる。

上記のような課題は前記トップビューシステムに限らず、複数カメラで撮影した画像を合成して１枚の画像とするときには常に問題となる点であり、多くの分野でその簡単な調整手法の開発が課題となる。

したがって本発明は、複数カメラで撮影した画像を合成して１枚の画像とするとき、カメラの設置状態に合わせて適切な合成画像を得ることができるように、合成画像を見ながら画像合成の調整を行うとき、作業者が現在どのカメラについてどのような調整を行っているか、その調整の結果画像がどのように変化するかを容易にわかるようにした合成画像調整装置を提供することを主たる目的とする。

本発明に係る合成画像処理装置は、前記課題を解決するため、車外を撮影する複数のカメラの撮影画像を入力して車両上方に視点のある１つの画像を合成し出力する画像合成処理部と、前記画像合成を行うとき、各カメラ毎に画角データを調整して他のカメラの画像に合わせる画角調整部と、調整するカメラと、該カメラの画角調整方向と、該調整方向の画角調整角度とを調整作業者が指示する調整指示部と、前記調整指示部のための入力画面となる調整用画面を表示する調整用画面表示出力部と、前記調整用画面に前記画像合成処理部の合成画像を出力する合成画像表示出力部とを備え、前記調整用画面表示出力部には、現在調整しているカメラの特定の画角調整方向を示し調整作業者が指示する画角に応じて角度が変化する補助線を、車両を表示した調整用画面に表示する補助線表示部を備えたことを特徴とする。

本発明に係る他の合成画像処理装置は、前記合成画像処理装置において、前記調整用画面表示出力部に、現在調整しているカメラと該カメラの調整方向を表示するとともに、該調整方向の角度を入力する調整操作部分を表示する調整用基本画面表示出力部と、前記調整用基本画面に近接して前記補助線を表示する調整用イメージ入力画面を出力する調整用イメージ入力画面表示出力部とを備えたことを特徴とする。

本発明に係る他の合成画像処理装置は、前記合成画像処理装置において、前記調整用画面表示出力部に、調整用画面の補助線が調整作業者の調整操作によって標準位置から傾斜する方向を示す矢印を表示する調整方向表示部を備えたことを特徴とする請求項１記載の合成画像処理装置。

本発明に係る他の合成画像処理装置は、前記合成画像処理装置において、前記調整用画面に表示した合成画像における各カメラの撮影画像表示部分に対応して、モニタ画面にタッチセンサを設け、調整作業者が特定のカメラ撮影画像部分をタッチすることにより、調整するカメラを選択する調整カメラ指示部を備えたことを特徴とする。

本発明に係る他の合成画像処理装置は、前記合成画像処理装置において、前記補助線は、調整画面に表示した車両画像の路面部分に配置したことを特徴とする。

本発明に係る他の合成画像処理装置は、前記合成画像処理装置において、前記補助線は、調整画面に表示した車両画像のカメラ設置位置に配置したことを特徴とする。

本発明は上記のように構成したので、複数カメラで撮影した画像を合成して１枚の画像とするとき、カメラの設置状態に合わせて適切な合成画像を得ることができるように、合成画像を見ながら画像合成の調整を行うとき、作業者が現在どのカメラについてどのような調整を行っているか、その調整の結果画像がどのように変化するかを容易にわかるようにすることができる。

本発明は合成画像とする各カメラの撮影映像の画角調整を容易に行うことができるようにするという目的を、車外を撮影する複数のカメラの撮影画像を入力して車両上方に視点のある１つの画像を合成し出力する画像合成処理部と、前記画像合成を行うとき、各カメラ毎に画角データを調整して他のカメラの画像に合わせる画角調整部と、調整するカメラと、該カメラの画角調整方向と、該調整方向の画角調整角度とを調整作業者が指示する調整指示部と、前記調整指示部のための入力画面となる調整用画面を表示する調整用画面表示出力部と、前記調整用画面に前記画像合成処理部の合成画像を出力する合成画像表示出力部とを備え、前記調整用画面表示出力部には、現在調整しているカメラの特定の画角調整方向を示し調整作業者が指示する画角に応じて角度が変化する補助線を、車両を表示した調整用画面に表示する補助線表示部を備えることにより実現した。

本発明の実施例を図面に沿って説明する。図１は本発明による合成画像調整装置をトップビューシステムに用いた例を示している。同図の例においては前記図５と同様に４個のカメラ１１を備えており、各カメラの画像はトップビュー画像処理部１０における各カメラ毎に設けたカメラ画像入力部１２から入力し、各カメラ画像毎にカメラ画像処理部１３で以降のトップビュー画像処理を行うための前処理を行い、これをトップビュー画像合成処理部１４に入力する。

トップビュー画像合成処理部部１４においては、各カメラの画像を１枚のトップビュー画像に合成するため、予め設定されたマッピングテーブル等により画像データの変換を行うものであるが、マッピングへの変換に際しては入力した各種データにより補正処理を行うことができる。入力する各種補正データとして、図示の例ではトップビュー画像調整部２０の調整値出力部３１から出力されるデータによって、画角調整部１５が各カメラ毎の撮影角度である画角を調整できるようにしている。

この画角調整に際しては、各カメラ１１は例えば車両の生産ラインで取り付けられて工場から出荷するときには、熟練者による適正なカメラ取り付けと正確な調整を行うことができるものであるが、自動車メーカーのディーラーや自動車装備品販売店等の各種作業者が取り付けるときにはカメラの正確な取り付けと調整は困難である。そのため各カメラの画角が適正であるときには、例えば図６（ａ）のように、各カメラで撮影した画像によるトップビュー表示画像としてして示す平行線は、それぞれの接合位置で正確に合成される。

それに対して例えば図６（ｂ）の画像例では、左右のカメラＣＬ、ＣＲがほぼ同量標準取り付け状態より前方下向きとなって取り付けられた状態を示しているように、適正に取り付けられた前後のカメラの画像とは適切に接合できない。また同図（ｃ）の例では、前後のカメラＣｆ、ＣＢがほぼ同量左側が下がった、傾斜して取り付けられた状態であり、同図（ｄ）の例では左側カメラＣＬが前方下向きで、右側カメラＣＲが後方下向きで取り付けられた状態を示している。更に同図（ｅ）の例では前側カメラＣＦは右側が下がって取り付けられ、後側カメラＣＢは左側が下がって取り付けられており、同図（ｆ）の例では左右のカメラＣＬ、ＣＲの傾きは同図（ｂ）と同様であり、前後のカメラＣＦ、ＣＢの傾きは同図（ｃ）と同様に傾斜して取り付けられている。これらのカメラの設置状態には更に複雑であり、各々のカメラで前後左右の取り付け状態が異なることとなる。このように、前後左右のカメラの取り付けにはそれぞれ種々の態様で誤差を生じることとなるため、このまま画面に表示したのでは特に各カメラの撮影画像接続部で見にくくなってしまう。

これを直すには、カメラの取り付け自体をもう一度適正に行うことも考えられるが、カメラの角度を変えながらその調整を行うことは困難であり、最終的に固定してネジ等を締め付けるときに画角がずれてしまうこともある。そのため実際のカメラの取り付け角度を調整するのではなく、図１のトップビュー画像合成用処理部１４の画角調整部１５において、指定したカメラについて誤った画角を正しい画角に調整して前記図６（ａ）のような適正な合成画像とする。

トップビュー画像合成処理部１４で合成処理された１枚のトップビュー画像は、トップビュー画像合成画面表示処理部１６からモニタ等にトップビュー画像１６を出力する。またトップビュー合成画面表示処理部１６は、後述する作業用モニタ等におけるトップビュー画像調整部２０の調整画面３２にも出力できるようにしている。なお、図１の調整画面３２は、図３（ａ）に示す画面表示例を縮小して示したものであり、図示の例ではこの調整画面３２において図中右側にトップビュー画像を表示している。

トップビュー画像調整部２０においては、例えば自動車メーカーのディーラーにおける作業者がこのトップビューシステムの取り付けや調整を行うとき、カメラの取り付け状態による不適切な合成画像を調整するため、調整指示部２１から調整のための各種指示信号を入力する。その指示信号としては作業者によるカメラを選択する調整カメラ指示部２２と、選択したカメラについて前後左右の調整方向を指示する調整方向指示部２３と、各方向について調整角度を指示する調整角度指示部２４とを備えている。

これらの指示信号は、図示実施例では調整画面３２のモニタ表面にタッチパネルを設け、画面表示指示入力部分の所定部分にタッチすることによって入力できるようにしている。それによりトップビュー画面における特定のカメラ撮影画像部分をタッチすることによってカメラの選択を行い、更に前後左右方向を指示し、その後表示されている調整指示画面で任意の角度とする各指示信号を入力することができるようにしている。

調整用基本画面表示出力部２５では、図３（ａ）にも示すように、調整画面３２において図中左側下方に示す調整用基本画面４２の部分を表示するものであり、この調整用基本画面表示出力部２５には、調整を行っているカメラ部分を十字マーク等で表示する調整カメラ表示出力部２６と、調整作業者が調整操作を行うための調整操作部分表示出力部２７とを備えている。調整操作部分表示出力部２７には、特に調整方向を示す矢印を表示する調整方向表示部２８を備えた例を示している。

本来の合成画像の調整作業は前記のように画像合成の補正データを設定して、カメラの所定の取り付け状態とは異なって取り付けることにより画角が変化してしまったその画角を、データによって補正することにより、本来の適正な撮影画像を得るものであるが、作業者にとってはその作業の状態が実感として極めてわかりにくいという問題があることは前記のとおりである。

そのため例えば図４に示すように、モニタに表示される調整画面５１の図中右側に実際のトップビュー画像５２を表示し、作業者はこれを見て例えば左側撮影カメラの取り付けが適切ではないことを知り、左側カメラの撮影画像部分をタッチパネルにより指示することによってこのカメラを選択し、それにより調整画面５１の左側に、カメラ設置位置を十字マークで示す車両の画像５３と、操作指示入力部５４とを表示し、作業者は実際のトップビュー画像を見ながら、操作指示部５４の上下方向のいずれかを押して指示した、カメラの特定方向の補正データ量を変化させることが考えられる。

このような調整画面を用いることにより画角調整を行うことは可能であるが、操作指示入力部５４を上下に操作している内に、実際の画面は図示のような平行線ではなく、通常の周囲撮影画像であることもあり、現在の調整指示は標準状態から前方に傾斜するように調整を行っているのか、後方に傾斜するように調整を行っているのかわからなくなってしまい、何度も同じ作業を繰り返すことにより、多くの調整時間を要することとなる。図４においては同図（ａ）に左側カメラの前後方向の画角調整を行う調整画面を示し、同図（ｂ）には更に左右方向の画角調整を行う調整画面を示している。

前記図４に示す調整画面では、現在どのカメラの前後方向、左右方向のいずれの方向の調整を行っているのかを示すことができるものであるが、その調整作業においては前記のように、何回も操作指示入力部５４を上下に操作している内にどのような状態にあるのかがわからなくなってしまう。そのため図３に示す本発明の実施例においては更にこれを改良し、調整画面３２の右側に前記と同様にトップビュー画像４１を表示し、左下部分に調整用基本画面４２を表示し、左上部分に調整用イメージ入力画面４５を表示するようにしている。

図１の調整用イメージ入力画面表示出力部２９ではこの調整用イメージ入力画面４５を表示するものであり、特にその中の補助線表示部３０においては、調整用イメージ入力画面４５における車両の下側に補助線ＨＳを、作業者の指示入力状態に応じて傾斜度を変化させて表示している。この補助線ＨＳの傾斜度の変化は、車両と路面との間に角度調整機構があり、その調整によって路面と車両が相対的に角度が調整できるようにしていると仮定し、この仮想の状態を示すことにより作業者の直感で理解しやすいように表示している。

作業者の実際の作業においては、例えば図３（ａ）の例において、画面の下方に示されている調整用基本画面４２の調整操作部４４に、作業者が指示した調整方向に応じて矢印４７が表示されている状態で、上下の操作部をタッチすることによって、調整用イメージ入力画面４５の補助線ＨＳの傾斜を変化させる。それにより例えば操作指示部４６にタッチして、より下方に操作すると、補助線の後方が下がり、車両が相対的に前のめりになった状態となり、それに伴ってカメラも前方下方に画角が傾斜したように示すことができる。

これらの調整画面での各種指示入力は図１の調整指示部２１の各指示部から、それぞれの指示信号として出力する。その出力信号は調整値出力部３１からトップビュー画像合成用処理部１４の画角調整部１５に画角調整用データとして出力し、画像合成時の各カメラの画角調整を行う。

図１に示すような機能ブロックにより本発明は構成されるものであるが、その実施に際しては例えば図２に示す作動フローによって順に作動させることができる。図２に示すトップビュー画面調整処理の例においては、最初トップビューの画面表示を行う（ステップＳ１）。このとき表示するトップビュー画面としては、車両に搭載しているモニタに表示しても良いが、別途作業用パソコン等の大型モニタを接続して車外等で作業を行うようにしても良い。調整作業者はこれを見て、画像合成接続部分は適切か否かの判断を行う（ステップＳ２）。適切であると判断したときには、この処理は不要であるとして終了する（ステップＳ１４）。

ステップＳ２で作業者がトップビュー画面は画像合成接続部分において適切ではないと判断したときには調整するカメラを選択する（ステップＳ３）。その時にはモニタ画面表面に設けたタッチパネルによって、図３（ａ）のように表示されたトップビュー画面４１部分において、調整すべきと判断したカメラが撮影している範囲の部分にタッチすることにより、そのカメラの選択を行うことができる。

ステップＳ３の調整カメラの選択により、調整カメラの特定方向の基本調整画面を表示する（ステップＳ４）。即ち図３（ａ）の例では調整画面３２の左下部分に基本調整画面を表示する領域を設け、この部分に図示の例では選択したカメラが示される車両の左側面方向を表示した例を示し、車両におけるカメラの設置部に十字マークを各種の色の線によりわかり易く表示する。

その後作業者による調整方向の指示を行う（ステップＳ５）。この指示に際しては、作業者が前記のようにトップビュー画面を見て不適切であるとするカメラを選択したとき、どのように不適切であるかを判断し、左側カメラにおいては下向きになっていると判断したときには、例えば基本調整画面に表示されている車両の後側をタッチするか、トップビュー画面４１の車両の後側をタッチする等によって調整方向を指示することができる。

ステップＳ５において作業者による調整方向の指示が行われたとき、調整用イメージ入力画面に調整部分の指示に応じた補助線を表示する（ステップＳ６）。これは図３（ａ）の例では調整画面３２の左上部分に調整用イメージ入力画面４５の領域を設けており、ここには前記基本調整画面４２の車両画像４３と同様の左カメラが表示されている車両画像を示し、その路面部分に相当する位置に傾斜した補助線ＨＳを、例えば太い赤線等の見易い形式で表示する。図示の例においては左側カメラが下向きになっているので、路面とカメラの相対角度として、路面を図示のように後側が下がる傾斜線として補助線ＨＳを表示している。

その後基本調整画面の調整部に、調整方向を示す矢印４７を表示する（ステップＳ７）。図３（ａ）の例では、作業者が調整操作する部分である調整操作部４４を車両の後側を操作するものとして車両画像４３の後側に表示し、作業者が実際にタッチして指示入力を行う上下の操作指示部４６の間に、図示の例では車両後方側を標準状態から下側の方向で操作することを示す、下向きを示す矢印４７を表示した例を示している。

その後作業者による角度調整操作を行う（ステップＳ８）。この作業は図３（ａ）の例では調整操作部４４における上と下を示す操作指示部４６にタッチすることにより行う。この調整操作に応じて調整用補助線の角度を変更する（ステップＳ９）。その際には、例えば１回タッチする毎に１度ずつ変化し、３秒等の所定時間以上タッチを続けると連続変化する等の、所定の作動を行わせる。この調整中において、図３（ａ）の例では車両の後側の路面を下げるような仮想の操作を行うとき、矢印４７が下向きを示しているときには、上下の操作指示部４６において上側に移動させる操作を繰り返しても、補助線ＨＳは水平となる状態より上がらないように制限する。

次いでこの調整はできたか否かを判断し（ステップＳ１０）、未だ調整ができていないときにはステップＳ８に戻って作業者による角度調整操作と前記補助線の角度変更表示を継続する。ステップＳ１０でこの調整はできたと判断したときには、その調整カメラの他方向の調整も行うか否かの判断をする（ステップＳ１１）。即ち、例えば図３（ａ）に示すような車両左側カメラにおける前後方向の調整を行って、カメラの前後方向のずれは調整されたと判断したとき、トップビュー画面を見て未だ左右方向にずれていると判断したときには、この調整カメラの他方向の調整も行うものとして、ステップＳ４に戻り、調整カメラ特定方向の基本調整画面を表示する。

それにより図３（ｂ）に示すような、車両を後方から見た画面として、基本調整画面４２では左側カメラに十字マークを付与すると共に、そのカメラ部分に近接した位置に調整操作部４４を表示する。次いで前記と同様に作業者による調整方向の指示を行い（ステップＳ５）、左側が下がっていると判断したときには基本調整画面４２の車両画像４３の左側をタッチし、或いはトップビュー画面４１の車両の左側をタッチする等によって左側が下がった状態の調整を行うことを指示すると、同図に示すように下方向の矢印４７が表示される。

同時に調整用イメージ入力画面に調整部分指示に応じた補助線ＨＳを表示する（ステップＳ６）。図３（ｂ）の例では左カメラにおいて左側が下がった状態で取り付けられているのでこれを図中左下がりの補助線ＨＳとして示している。また、基本調整画面の調整部に調整方向を示す矢印を表示する（ステップＳ７）。図３（ｂ）には調整操作部４４に下向きの矢印４７を示しており、調整方向を見易く表示している。その後作業者による角度調整操作を行い（ステップＳ８）、その調整操作に応じて調整用補助線角度を変更する（ステップＳ１１）。これを調整ができるまで繰り返す（ステップＳ１０）。

ステップＳ１０で調整ができたと判別したときには、その後更に調整カメラの他方向の調整を行うか否かの判別を行い、ここではカメラの調整は前後方向と左右方向の両調整を行うのみであるので、前記の例ではこれらを全て行ったので否と判別し、前記左側カメラの前後方向の調整後にステップＳ１１の判別で調整カメラの他方向の調整は行わないと判別したときと共に、他のカメラの調整も行うか否かの判別を行う（ステップＳ１２）。

図３の例においては車両の左側カメラと右側カメラの画角調整が必要な例を示しており、したがってこの例では更に右側カメラの調整も必要であるため、ステップＳ１２では他のカメラの調整も行うものと判別し、再びステップＳ３に戻って調整カメラの選択を行う。ここでは作業者によってトップビュー画面４１の右側カメラ撮影領域にタッチすることによってカメラの選択を指示し、以降は同様の作動を繰り返す。

図３の例では同図（ｂ）に示す状態から（ｃ）に示す右側カメラの前後方向の調整画面となり、ここでも前記と同様の調整を行う。更にこの前後方向の調整が終了した後もこの右側カメラにおいても左右方向の調整が必要であるとされたときには、同図（ｅ）に示すように右側カメラの左右方向調整画面を表示し、前記と同様の作業を行ってこのカメラの調整を終了する。なお、更に車両の前後方向のカメラの調整も必要であると判断したときには、ステップＳ１３からステップＳ３に戻る作動を繰り返し、調整作業を継続する。

最終的にステップＳ１２において他のカメラの調整も行うかの判断で、調整すべき全てのカメラの調整が終了することによってステップＳ１３に進み、前記のような調整用画面の表示を終了し、このトップビュー画面調整処理を終了する（ステップＳ１４）。

前記実施例においては図１〜図３によって、調整用イメージ入力画面を調整用基本画面と別に表示する例を示したが、そのほか簡略な態様として、例えば図５に示すように、調整用イメージ入力画面の補助線ＨＳを、調整するカメラの位置を示す部分に重ねて表示し、例えば図５（ａ）のように、カメラの取り付け状態が下向きの画角になっていることを極端に表示し、この画面において調整操作部４４を表示すると共に、その部分に調整方向を示す矢印４７を前記と同様に表示しても良い。このような表示は同カメラの左右方向の調整に際しても同図（ｂ）のように表示し、この画面で調整を行うこともできる。

本発明の実施例の機能ブロック図である。 同実施例の作動フロー図である。 同実施例の調整画面の表示例を示す図である。 調整画面の例を示す図である。 調整画面の他の例を示す図である。 トップビュー画像の各種態様を示す図である。 トップビューシステムの例を示す図である。

符号の説明

１１ カメラ
１２ カメラ画像入力部
１３ カメラ画像処理部
１４ トップビュー画像合成用処理部
１５ 画角調整部
１６ トップビュー合成画像表示処理部
１７ トップビュー画像
２０ トップビュー画像調整部
２１ 調整指示入力部
２２ 調整カメラ指示入力部
２３ 調整方向指示入力部
２４ 調整角度指示入力部
２５ 調整用基本画面表示出力部
２６ 調整カメラ表示出力部
２７ 調整操作部分表示出力部
２８ 調整方向表示部
２９ 調整用イメージ入力画面表示出力部
３０ 補助線表示部
３１ 調整値出力部
３２ 調整画面
４１ トップビュー画像
４２ 調整用基本画面
４３ 車両画像
４４ 調整操作部
４５ 調整用イメージ入力画面
４６ 操作指示部
４７ 矢印

Claims (6)

1. 車外を撮影する複数のカメラの撮影画像を入力して車両上方に視点のある１つの画像を合成し出力する画像合成処理部と、
   前記画像合成を行うとき、各カメラ毎に画角データを調整して他のカメラの画像に合わせる画角調整部と、
   調整するカメラと、該カメラの画角調整方向と、該調整方向の画角調整角度とを調整作業者が指示する調整指示部と、
   前記調整指示部のための入力画面となる調整用画面を表示する調整用画面表示出力部と、
   前記調整用画面に前記画像合成処理部の合成画像を出力する合成画像表示出力部とを備え、
   前記調整用画面表示出力部には、現在調整しているカメラの特定の画角調整方向を示し調整作業者が指示する画角に応じて角度が変化する補助線を、車両を表示した調整用画面に表示する補助線表示部を備えたことを特徴とする合成画像調整装置。
2. 前記調整用画面表示出力部には、現在調整しているカメラと該カメラの調整方向を表示するとともに、該調整方向の角度を入力する調整操作部分を表示する調整用基本画面表示出力部と、前記調整用基本画面に近接して前記補助線を表示する調整用イメージ入力画面を出力する調整用イメージ入力画面表示出力部とを備えたことを特徴とする請求項１記載の合成画像処理装置。
3. 前記調整用画面表示出力部には、調整用画面の補助線が調整作業者の調整操作によって標準位置から傾斜する方向を示す矢印を表示する調整方向表示部を備えたたことを特徴とする請求項１記載の合成画像処理装置。
4. 前記調整用画面に表示した合成画像における各カメラの撮影画像表示部分に対応して、モニタ画面にタッチセンサを設け、調整作業者が特定のカメラ撮影画像部分をタッチすることにより、調整するカメラを選択する調整カメラ指示部を備えたことを特徴とする請求項１記載の合成画像処理装置。
5. 前記補助線は、調整画面に表示した車両画像の路面部分に配置したことを特徴とする請求項１記載の合成画像処理装置。
6. 前記補助線は、調整画面に表示した車両画像のカメラ設置位置に配置したことを特徴とする請求項１記載の合成画像処理装置。

Images