JP2004056778A - 車両周辺監視装置、画像生成方法および画像生成プログラム - Google Patents

Abstract

【課題】車両周辺の状況を示す画像を、従来よりも、自然に、かつ、運転者の誤解をまねかないように、提示する。
【解決課題】車両の周辺を映すカメラ１１ａ，１１ｂの画像から、車両の周辺状況を示す合成画像を生成して、ディスプレイ２０に提示する。位置算出部１４はカメラ画像中の複数の点について、位置情報ＰＩと、当該位置情報の信頼度ＲＬとを算出する。可変画像合成部１５は位置情報ＰＩを用いて、カメラ画像から第１の合成画像ＳＩ１を生成する。固定画像合成部１６は位置情報ＰＩを用いないで、例えば路面投影によって第２の合成画像ＳＩ２を生成する。合成方式選択部１７は信頼度ＲＬに応じて、第１および第２の合成画像ＳＩ１，ＳＩ２のいずれか一方を、提示対象の合成画像として選択する。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、車両の周辺を映すカメラの画像を変形加工して、車両の周辺状況を示す合成画像を提示する車両周辺監視装置に関する技術に属する。
【０００２】
【従来の技術】
近年、運転者が安全に運転できるように、カメラによって車両周辺を監視する車両周辺監視装置が実用化されつつある。
【０００３】
従来の車両周辺監視装置の一例として、車両の後方など運転者の死角となる部分を映すようにカメラを設置しておき、カメラで撮影した画像を予め決められた固定の方法によって変形加工してディスプレイに表示するものがある。例えば特許文献１に開示された技術では、図２０（ａ）のように車両の周囲に複数個のカメラを設置し、カメラで撮影した車両周辺の画像を変形加工して、図２０（ｂ）のような自車を中心として上方から見た画像を生成し、車内の表示装置に提示する。
【０００４】
また、他の例として、車両に設置されたカメラで撮影した画像から、画像中の障害物の位置を算出し、障害物の位置に応じて画像を変形加工してディスプレイに表示するというものがある。例えば特許文献２に開示された技術では、車両が動いている場合に撮影時間がわずかに異なる２つの画像を用いて画像中の障害物位置を算出し、この位置を用いて画像を変形加工することによって、図２１（ａ）のような側方視点からの合成画像を表示する。
【０００５】
このような装置を用いると、運転席からは直接見ることができない死角をディスプレイで確認することができたり、上方や側方から見た画像によって障害物までの距離感がつかみやすくなったりするので、より安全な運転が可能になる。
【０００６】
【特許文献１】
特開平０３−９９９５２号公報
【特許文献２】
特開平０６−３３３２００号公報
【０００７】
【発明が解決しようとする課題】
ところが、上述の従来技術では、次のような問題があった。
【０００８】
まず、カメラ画像を予め決められた固定の方法によって変形加工する場合、画像中の障害物の形状が考慮されないため、合成画像上で障害物の形状が歪み、この結果、合成画像が不自然になる、という問題があった。例えば特許文献１では、カメラ画像の変形加工を、画像中の物体が同一平面例えば路面平面に存在するものと仮定して行うので、図２０（ｂ）のように、路面平面は正しく表示されても、路面平面上にはない物体例えば障害物については、歪んだ不自然な画像になる。
【０００９】
また、画像から算出した障害物の位置に応じて画像を変形加工する場合は、障害物の位置が正しく算出されたときは画像に歪みが生じず、自然な合成画像が生成される反面、算出した位置に誤差が多く含まれている場合、障害物が誤った位置に表示されたり、あるいは合成画像に障害物が表示されなかったりするおそれがある。例えば特許文献２では、撮影時間がわずかに異なる２枚の画像から輝度エッジの動きを抽出することによって障害物の位置を算出しているが、実際の走行環境では、算出した位置に誤差を多く含む場合や障害物の位置を全く検出できない場合が頻繁に起こる。位置に誤差を多く含む場合には、図２１（ｂ）のように、障害物が実際よりも遠くに表示されたり、あるいは合成画像上に表示されなかったりするため、運転者の誤解をまねきやすく、安全な運転の妨げになるおそれあった。
【００１０】
前記の問題に鑑み、本発明は、車両周辺の状況を示す画像を、従来よりも、自然に、かつ、運転者の誤解をまねかないように、提示可能な車両周辺監視装置を提供することを課題とする。
【００１１】
【課題を解決するための手段】
前記の課題を解決するために、本発明は、カメラ画像中の複数の点について、位置情報と、その位置情報がどの程度正確に算出されたかを表す信頼度とを算出し、この信頼度に応じて、位置情報を用いてカメラ画像を変形加工する画像合成方式と、位置情報を用いないで所定の方法によってカメラ画像を変形加工する画像合成方式とを、画像全体で、あるいは部分的に、適宜選択する。これにより例えば、信頼度が高く、位置情報が正しく算出されている場合は、位置情報を用いて歪みの少ない合成画像が表示される一方、信頼度が低く、位置情報に大きな誤差が含まれている場合は、位置情報は用いないが、障害物が誤った位置に表示されたり消えたりはしない合成画像が表示される。したがって、従来よりも、自然で、かつ、運転者の誤解をまねかないような車両周辺の状況を示す画像を、提示することができる。
【００１２】
【発明の実施の形態】
本発明の第１態様によれば、車両の周辺を映すカメラの画像から前記車両の周辺状況を示す合成画像を生成して提示する車両周辺監視装置として、前記カメラ画像中の複数の点について、位置情報と当該位置情報の信頼度とを算出する位置算出部と、前記カメラ画像から前記位置情報を用いて第１の合成画像を生成する可変画像合成部と、前記カメラ画像から前記位置情報を用いないで所定の方法によって第２の合成画像を生成する固定画像合成部と、前記信頼度に応じて、前記第１および第２の合成画像のうちいずれか一方を提示対象の合成画像として選択する合成方式選択部とを備えたものを提供する。
【００１３】
本発明の第２態様によれば、前記合成方式選択部は、前記位置情報を加味して合成画像の選択を行う第１態様の車両周辺監視装置を提供する。
【００１４】
本発明の第３態様によれば、前記合成方式選択部は、前記位置情報を参照して、前記複数の点のうち画像合成に用いられる領域に属する点を抽出し、抽出した点に係る信頼度を合成画像の選択に用いる第２態様の車両周辺監視装置を提供する。
【００１５】
本発明の第４態様によれば、前記可変画像合成部および固定画像合成部は、前記第１および第２の合成画像において、路面の位置が互いに一致するように、画像合成を行う第１態様の車両周辺監視装置を提供する。
【００１６】
本発明の第５態様によれば、前記合成方式選択部は、前記第１および第２の合成画像のうちいずれか一方を選択する代わりに、前記第１および第２の合成画像から前記信頼度に応じて画像を部分的に選択し、選択した画像から提示対象の合成画像を生成する第１態様の車両周辺監視装置を提供する。
【００１７】
本発明の第６態様によれば、前記合成方式選択部は、選択した合成画像に当該合成画像の特徴に応じた所定の表示を重畳する第１態様の車両周辺監視装置を提供する。
【００１８】
本発明の第７態様によれば、前記車両は障害物センサが設けられており、前記合成方式選択部は、前記障害物センサから得られた障害物までの距離値を示す距離情報を加味して合成画像の選択を行う第１態様の車両周辺監視装置を提供する。
【００１９】
本発明の第８態様によれば、前記合成方式選択部は、前記距離情報および位置情報を参照して、前記障害物に係る前記位置情報の精度を評価し、精度が十分でないと判断したとき、信頼度に応じた合成画像の選択を行わないで、前記第２の合成画像を選択する第７態様の車両周辺監視装置を提供する。
【００２０】
本発明の第９態様によれば、前記車両は当該車両の移動方向を検出する移動方向検出手段を有し、前記合成方式選択部は、前記移動方向検出手段から得られた移動方向を加味して、合成画像の選択を行う第１態様の車両周辺監視装置を提供する。
【００２１】
本発明の第１０態様によれば、前記合成方式選択部は、前記複数の点のうち前記移動方向の画像領域に属する点を特定し、特定した点に係る前記信頼度を合成画像の選択に用いる第９態様の車両周辺監視装置を提供する。
【００２２】
本発明の第１１態様によれば、車両の周辺を映すカメラの画像から、前記車両の周辺状況を示す合成画像を生成する画像生成方法として、前記カメラ画像中の複数の点について、位置情報と、当該位置情報の信頼度とを求める第１のステップと、前記信頼度を、所定の基準と比較する第２のステップと、前記第２のステップにおいて前記信頼度が前記所定の基準よりも高いと判断したとき、前記カメラ画像から、前記第１のステップで求めた位置情報を用いて、合成画像を生成する第３のステップと、前記第２のステップにおいて前記信頼度が前記所定の基準よりも低いと判断したとき、前記カメラ画像から、前記位置情報を用いないで、所定の方法によって合成画像を生成する第４のステップとを備えたものを提供する。
【００２３】
本発明の第１２態様によれば、前記第１のステップにおいて、第１および第２のカメラ画像について、対応点を探索し、特定した対応点について、前記第１および第２のカメラ画像における原画像座標値から３次元位置座標値を求め、前記原画像座標値および３次元位置座標値を、当該対応点の位置情報として定め、前記３次元位置座標値から、前記第１および第２のカメラ画像における画像座標値を逆算し、逆算した画像座標値と、前記原画像座標値とを用いて、前記位置情報の信頼度を求める第１１態様の画像生成方法を提供する。
【００２４】
本発明の第１３態様によれば、車両の周辺を映すカメラの画像から、前記車両の周辺状況を示す合成画像を生成する方法を、コンピュータに実行させるプログラムとして、コンピュータに、前記カメラ画像中の複数の点について、位置情報と、当該位置情報の信頼度とを求める第１のステップと、前記第１のステップで求めた信頼度を、所定の基準と比較する第２のステップと、前記第２のステップにおいて前記信頼度が前記所定の基準よりも高いと判断したとき、前記カメラ画像から、前記１のステップで求めた位置情報を用いて、合成画像を生成する第３のステップと、前記第２のステップにおいて前記信頼度が前記所定の基準よりも低いと判断したとき、前記カメラ画像から、前記位置情報を用いないで、所定の方法によって合成画像を生成する第４のステップとを実行させるものを提供する。
【００２５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２６】
（第１の実施形態）
図１は本発明の第１の実施形態に係る車両周辺監視装置の構成を示すブロック図である。図１の車両周辺監視装置は、車両の周辺を映すカメラの画像から、車両の周辺状況を示す合成画像を生成し、これをディスプレイに提示する。
【００２７】
図１において、１１ａ，１１ｂは車両の周辺を映すカメラ、１２ａ，１２ｂはカメラ１１ａ，１１ｂによって得られたアナログ映像信号をデジタル化するＡ／Ｄ変換器、１３ａ，１３ｂはデジタル化されたカメラ画像を一時的に保持するフレームメモリである。また、１４はカメラ画像を入力とし、カメラ画像中の複数の点について位置情報ＰＩとその信頼度ＲＬを算出する位置算出部、１５は位置情報ＰＩを用いて、カメラ画像を変形加工して、別視点からの第１の合成画像ＳＩ１を生成する可変画像合成部、１６は位置情報ＰＩを用いないで、カメラ画像を所定の方法によって変形加工して別視点からの第２の合成画像ＳＩ２を生成する固定画像合成部、１７は信頼度ＲＬに応じて、第１および第２の合成画像ＳＩ１，ＳＩ２のうちいずれか一方を、提示対象の合成画像として選択する合成方式選択部である。また，１８は提示対象の合成画像を一時的に保存するフレームメモリ、１９はフレームメモリ１８に保存されたデジタル画像データをアナログ映像信号に変換するＤ／Ａ変換器、２０はアナログ映像信号を表示するディスプレイである。
【００２８】
図２は本実施形態におけるカメラの設置態様とカメラ画像の例である。図２（ａ）に示すように、本実施形態では、車両１の後部に、２個のカメラ（カメラ１，カメラ２：図１のカメラ１１ａ，１１ｂに対応）が車両後方を撮影するように設置されている。ＯＢは障害物、ＷＬは白線である。図２（ｂ）（ｃ）はそれぞれ、カメラ１，カメラ２で撮影されたカメラ画像の例である。図２（ｂ）（ｃ）から分かるように、カメラ１，カメラ２の撮影範囲は互いにオーバーラップしている。ただし、本発明において、カメラは、車両以外の所、例えば駐車場や道路周辺の設備等に設置されていてもかまわない。また、ディスプレイ２０は、車両１内の、運転者から見えやすい位置に設置されているものとする。もちろん、車両以外の場所に設置してもかまわない。
【００２９】
位置算出部１４は、いわゆる２眼ステレオ視による３次元位置検出を利用して、カメラ画像における複数の点の位置情報とその信頼度とを算出する。図３は位置算出部１４の動作を示すフローチャートである。
【００３０】
位置算出部１４はまず、フレームメモリ１３ａ，１３ｂからカメラ画像データをそれぞれ読み出し、この２つのカメラ画像（第１および第２のカメラ画像）から対応点を特定し、その座標を算出する（Ｓ１１）。
【００３１】
具体的には次のように行う。まず最初に、フレームメモリ１３ａから第１のカメラ画像の画像データを順次読み出し、各画素を中心とした小領域における輝度変化量を、それぞれ算出する。
【００３２】
次に、全画素の中から、算出した輝度変化量が大きい順に所定数の画素（ｕ１ｉ，ｖ１ｉ）（ｉ＝１…ｎ）を選択する。輝度変化量が大きい順に選択することによって、物体の境界部上の画素などが選択されやすくなる。例えば図２（ｂ）に示した、障害物ＯＢのエッジに対応している画素（ｕ１，ｖ１）が選択されたものとする。
【００３３】
次に、選択した各画素（ｕ１ｉ，ｖ１ｉ）（ｉ＝１…ｎ）を中心とした小領域を比較基準として、第２のカメラ画像において、最も輝度差が少ない小領域をそれぞれ探索する。そして、探索された小領域の中心の画像座標値（ｕ２ｉ，ｖ２ｉ）（ｉ＝１…ｎ）をそれぞれ算出する。図２（ｃ）に示した点（ｕ２，ｖ２）は選択された点の例であり、図２（ｂ）の点（ｕ１，ｖ１）と同様に障害物ＯＢのエッジに対応している。
【００３４】
このような、画像からの対応点候補の選択方法や、２画像間の対応点を検出する対応点探索方法については、例えば、”Ｇｏｏｄ　Ｆｅａｔｕｒｅｓ　ｔｏ　Ｔｒａｃｋ”，　Ｊｉａｎｂｏ　Ｓｈｉ，　Ｃａｒｌｏ　Ｔｏｍａｓｉ，　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　１９９４や、”Ａｎ　Ｉｔｅｒａｔｉｖｅ　Ｉｍａｇｅ　Ｒｅｇｉｓｔｒａｔｉｏｎ　Ｔｅｃｈｎｉｑｕｅ　ｗｉｔｈ　ａｎ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　Ｓｔｅｒｅｏ　Ｖｉｓｉｏｎ”，　Ｂｒｕｃｅ　Ｄ．　Ｌｕｃａｓ，　Ｔａｋｅｏ　Ｋａｎａｄｅ，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｉｍａｇｉｎｇ　Ｕｎｄｅｒｓｔａｎｄｉｇ　Ｗｏｒｋｓｈｏｐ，　ｐｐ１２１−１３０，１９８１など多くの文献に記載されているので、ここでは詳細な説明を省略する。
【００３５】
次に位置算出部１４は、ステップＳ１１で特定した各対応点について、画像座標（ｕ１ｉ，ｖ１ｉ）（ｕ２ｉ，ｖ２ｉ）（ｉ＝１…ｎ）から、３次元位置座標を算出する（Ｓ１２）。ここでは、予め計測しておいた、カメラ１，２の位置関係（座標変換行列）Ｍ１２，およびそれぞれのカメラパラメタｆ１，ｆ２を用いる。
【００３６】
いま、カメラ１，カメラ２の座標系が図４のように配置されているものとする。ある１つの点について、カメラ１の視点座標系の座標値（ｘ１，ｙ１，ｚ１）とカメラ２の視点座標の座標値（ｘ２，ｙ２，ｚ２）との間には、カメラ間の位置関係Ｍ１２を用いて次の関係式が成り立つ。
【数１】

【００３７】
また、対応点の画像座標値（ｕ１，ｖ１），（ｕ２，ｖ２）と、そのカメラ１の視点座標系の座標値（ｘ１，ｙ１，ｚ１）、カメラ間の位置関係Ｍ１２およびカメラパラメタｆ１，ｆ２との間には、次の関係式が成り立つ。カメラパラメタｆ１，ｆ２は、カメラの焦点距離に画素サイズと画像座標値の変換係数を掛けたものである。
【数２】

【００３８】
予め計測されたパラメタＭ１２，ｆ１，ｆ２と、算出した対応点の画像座標値（ｕ１，ｖ１）、（ｕ２，ｖ２）を（数２）に代入することによって、対応点の３次元座標（ｘ１，ｙ１，ｚ１）を算出することができる。ここで、（数２）には未知数３に対して独立した一次式が４つあることと、画像から算出した対応点の画像座標値（ｕ１，ｖ１）、（ｕ２，ｖ２）は誤差を含むと考えられることから、最小二乗法を用いて３次元座標値（ｘ１，ｙ１，ｚ１）を算出するものとする。これにより、誤差の影響を低減することができる。
【００３９】
このようにして求めた、ある点に対応する、第１のカメラ画像における画像座標値（ｕ１，ｖ１）、第２のカメラ画像における画像座標値（ｕ２，ｖ２）、および３次元位置座標値（ｘ１，ｙ１，ｚ１）をまとめた（ｕ１，ｖ１，ｕ２，ｖ２，ｘ１，ｙ１，ｚ１）を、当該点の位置情報と呼ぶ。
【００４０】
さらに、位置算出部１４は、最小二乗法で求めた３次元座標値（ｘ１，ｙ１，ｚ１）から、第１および第２のカメラ画像における画像座標値（ｕ１’，ｖ１’）、（ｕ２’，ｖ２’）を逆算する（Ｓ１３）。すなわち、３次元座標値（ｘ１，ｙ１，ｚ１）およびパラメタＭ１２，ｆ１，ｆ２を（数２）に代入して、第１および第２のカメラ画像における画像座標値を新たに求める。
【００４１】
ここで、逆算により求めた画像座標値（ｕ１’，ｖ１’），（ｕ２’，ｖ２’）は、計測誤差がない場合は、元の原画像座標値（ｕ１，ｖ１），（ｕ２，ｖ２）と一致するはずである。しかしながら、一般には、計測誤差があるため両者は一致しない。そこで、原画像座標値（ｕ１，ｖ１），（ｕ２，ｖ２）と逆算により求めた画像座標値（ｕ１’，ｖ１’），（ｕ２’，ｖ２’）との距離誤差平均ｅを用いて、次式によって、信頼度ｒを求める（Ｓ１４）。
【００４２】
【数３】

【００４３】
この信頼度ｒは、対応点の座標値に計測誤差が含まれていない場合は１になり、計測誤差が大きくなるにつれて０に近づく。すなわち、算出した対応点の位置情報（ｕ１，ｖ１，ｕ２，ｖ２，ｘ１，ｙ１，ｚ１）が誤差を含む度合を表しており、位置情報が信頼できるか否かの指標となる。
【００４４】
このような手順によって、位置算出部１４は、フレームメモリ１３ａ，１３ｂに格納された第１および第２のカメラ画像から、所定数の対応点の位置情報ＰＩ（（ｕ１ｉ，ｖ１ｉ，ｕ２ｉ，ｖ２ｉ，ｘ１ｉ，ｙ１ｉ，ｚ１ｉ）：ｉ＝１〜ｎ）とその信頼度ＲＬ（ｒｉ：ｉ＝１〜ｎ）を算出して出力する。
【００４５】
可変画像合成部１５はフレームメモリ１３ａ，１３ｂから第１および第２のカメラ画像のデータを読み出し、位置算出部１４によって算出された対応点の位置情報ＰＩを用いて、第１の合成画像ＳＩ１を生成する。ここでは、図４に示すように配置された合成カメラを仮定し、予め与えられた合成カメラの位置Ｍ１０とパラメタｆ０とを用いて、テクスチャマッピングの手法によって画像合成を行うものとする。画像データと画像中の点の３次元座標値とを用いて、任意の視点からみた画像を合成する、いわゆるテクスチャマッピングは、コンピュータグラフィックスの分野の広く知られた技術であり、ここでは詳細な説明を省略する。なお、可変画像合成部１７での画像合成はテクスチャマッピングに限定されるものではなく、例えば、合成画像において、位置情報が示す位置に、障害物を表す所定の色や図形を重畳表示する方法など、位置情報を反映させた画像合成であればよい。
【００４６】
一方、固定画像合成部１６はフレームメモリ１３ａ，１３ｂから第１および第２のカメラ画像のデータを読み出し、位置算出部１４によって算出された対応点の位置情報ＰＩを用いないで、予め定められた方法によって、第２の合成画像ＳＩ２を生成する。ここでは、図５のように、路面平面を基準にして画像合成を行うものとする。すなわち、カメラ１、カメラ２は全て路面平面を撮影していると仮定すると、カメラ１，カメラ２および合成カメラについてそれぞれ、路面に対する位置およびカメラパラメタを与えることによって、合成カメラの画像座標に対応するカメラ１またはカメラ２の画像座標を計算することができる。固定画像合成部１６は合成カメラの全ての画像座標（ｕｏｉ，ｖｏｉ）について、対応するカメラを示す値ｃｉ、およびその画像座標（ｕｉ，ｖｉ）を予め計算して参照テーブルとして記録している。そしてこの参照テーブルに従って、合成画像の各座標（ｕｏｉ，ｖｏｉ）に対応する画素データ（ｃｉ，ｕｉ，ｖｉ）をフレームメモリ１３ａ，１３ｂから順次読み出し、合成画像を生成する。このような路面平面を基準にした画像合成については、例えば国際公開第００／０７３７３号パンフレットに開示されており、ここでは詳細な説明は省略する。
【００４７】
図６は図２の状況において、可変画像合成部１５が生成した第１の合成画像ＳＩ１の例であり、（ａ）は位置算出部１４によって対応点の位置情報ＰＩが正しく算出された場合、（ｂ）は位置情報ＰＩに誤差が多く含まれた場合である。１Ａは車両１を表す画像である。図６（ａ）のように、第１の合成画像ＳＩ１は、元のカメラ画像中の物体の３次元位置が維持されたまま視点が変換されているため、図２（ｂ）（ｃ）のようなカメラ画像と比べて、障害物ＯＢまでの距離が分かりやすいという特徴がある。一方、図６（ｂ）のように、位置情報ＰＩが誤差を多く含む場合は、障害物ＯＢの位置や形状が正確でなくなる、という特徴もある。
【００４８】
これに対して図７は図２の状況において、固定画像合成部１６が生成した第２の合成画像ＳＩ２の例である。図７のように、第２の合成画像ＳＩ２は、障害物ＯＢが路面と接する領域と車両との位置関係は正確に示されるものの、路面平面に対して高さのある領域は歪んで表示され、不自然になる、という特徴がある。
【００４９】
そこで合成方式選択部１７は、位置算出部１４によって算出された信頼度ＲＬに応じて、第１および第２の合成画像ＳＩ１，ＳＩ２のうちいずれか一方を、提示対象の合成画像として選択し、出力する。すなわち、信頼度ＲＬが所定の基準よりも高いと判断した場合、言い換えると、位置情報ＰＩが誤差をあまり含まない場合は、可変画像合成部１５が生成した第１の合成画像ＳＩ１を選択し、一方、信頼度ＲＬが所定の基準よりも低いと判断した場合、言い換えると、位置情報ＰＩが誤差を多く含む場合は、固定画像合成部１６が生成した第２の合成画像ＳＩ２を選択する。
【００５０】
信頼度ＲＬと所定の基準との比較は、具体的には例えば次のように行う。まず、位置算出部１４によって算出されたｎ個の対応点の信頼度ｒｉと、所定の閾値ｒｔｈとをそれぞれ比較し、閾値ｒｔｈ以上である対応点の個数ｍを算出する。そして、閾値ｒｔｈ以上の対応点の割合ｍ／ｎと所定の閾値ｍｔｈとを比較し、割合ｍ／ｎが閾値ｍｔｈよりも大きいときは、信頼度ＲＬが所定の基準よりも高いと判断して、可変画像合成部１５が生成した第１の合成画像ＳＩ１を選択する。一方、割合ｍ／ｎが閾値ｍｔｈよりも小さいときは、信頼度ＲＬが所定の基準よりも低いと判断して、固定画像合成部１５が生成した第２の合成画像ＳＩ２を選択する。もちろん、信頼度と所定の基準との比較は、このような方法に限定されるものではなく、例えば、信頼度ｒｉが閾値ｒｔｈ以上である対応点の個数を、閾値と大小比較してもよい。
【００５１】
カメラ１１ａ，１１ｂはそれぞれ，一定周期で画像を撮影する。そして、位置算出部１４、可変画像合成部１５、固定画像合成部１６および合成方式選択部１７は、カメラ画像が得られる毎に、上述した動作を繰り返し実行する。これにより、時間的に変化する車両の周辺状況に応じた合成画像がディスプレイ２０に表示される。
【００５２】
運転者はディスプレイ２０に表示された合成画像を見て、これを参考にして運転を行う。例えば図２（ａ）の状況において、可変画像合成部１５は、位置算出部１４で位置情報ＰＩが正しく算出されたときは図６（ａ）の合成画像を、位置情報ＰＩが正しく算出されなかったときは図６（ｂ）の合成画像を生成し、固定画像合成部１６は、図７の合成画像を生成する。ここで、図６（ａ）の画像は図７と比べて、障害物ＯＢの歪みが無く自然である。ところが図６（ｂ）の画像は、運転者に障害物ＯＢの位置について誤解を与える可能性が高いため、図７の画像の方が好ましい、といえる。
【００５３】
そこで本実施形態では、合成方式選択部１７が、信頼度ＲＬを用いて位置情報ＰＩが正しく算出されたか否かを判断し、位置情報ＰＩが正しく算出されたときは可変画像合成部１５が生成した図６（ａ）の合成画像を選択し、位置情報ＰＩが誤差を多く含む場合は固定画像合成部１６が生成した図７の合成画像を選択して出力する。この結果、運転者にとってより安全で、かつ自然な画像の提示が実現される。
【００５４】
以上のように本実施形態によると、画像中の物体の位置情報とその信頼度を算出する位置算出部と、位置情報を用いてカメラ画像を変形加工して第１の合成画像を生成する可変画像合成部と、位置情報を用いないで、予め定められた手順でカメラ画像を変形加工して第２の合成画像を生成する固定画像合成部とを設けて、位置情報の信頼度を参照して、位置情報が正しく算出されたと判断したときは第１の合成画像を選択し、位置情報が誤差を多く含む可能性があると判断したときは第２の合成画像を選択する。これにより、合成画像において、障害物が誤った位置に表示されたり、障害物が表示されないということがなく、かつ状況に応じて歪みの少ない合成画像を表示することができるので、運転者にとってより安全で、より自然な画像の提示が可能になる。
【００５５】
なお、本実施形態では、可変画像合成部１５および固定画像合成部１６が生成する第１および第２の合成画像は、その構図について特に限定はないものとしたが、可変画像合成部１５および固定画像合成部１６は、第１および第２の合成画像において、路面の位置が互いに一致するように、画像合成を行うのが好ましい。これにより、画像合成方式が頻繁に切り替わったときでも、合成画像が見にくくなることがなく、運転者が車両周辺の状況を把握しやすくなる。
【００５６】
例えば、撮影状況によっては、処理を繰り返す毎に位置情報の信頼度ＲＬが大きく変動し、第１の合成画像と第２の合成画像とが頻繁に切り替えられる場合がある。このような場合、第１および第２の合成画像の構図が大きく異なっていると、運転者が車両周辺の状況を把握しづらくなる。そこで、可変画像合成部１５と固定画像合成部１６とで、画像合成における合成カメラの位置と内部パラメタを予め一致させておくことによって、図６および図７のように、路面がほぼ同じ位置に示された合成画像を生成することができる。この結果、合成画像が頻繁に切り替わっても、見にくくなることはない。
【００５７】
また本実施形態では、位置情報の信頼度に応じて画像合成方式を選択するものとしたが、選択のためのしきい値にヒステリシスを持たせることによって、信頼度が早い周期で微小変動した場合などに、画像合成方式の頻繁な切替を抑制することができる。同様に、所定時間が経過するまでは画像合成方式の切替が生じないよう制約を加えることによっても、画像合成方式の頻繁な切替を抑制することができる。これにより、合成画像が見やすくなり、運転者が車両周辺の状況を把握しやすくなる。
【００５８】
また本実施形態では、位置情報の信頼度に応じて画像合成方式を選択するものとしたが、さらに位置情報自体も参照して、画像合成方式を選択するようにしてもよい。例えば、合成方式選択部１７は、位置情報に含まれる各対応点の３次元位置および画像座標値を参照して、可変画像合成部１５および固定画像合成部１６における画像合成に用いられる領域に属する点を抽出する。そして、抽出した点に係る信頼度を、合成画像の選択に用いる。具体的には例えば、抽出した点の個数が所定値以上のときは、抽出した点の信頼度を用いて、上述した手順によって画像合成方式を選択する。一方、抽出した点の個数が所定値未満のときは、固定画像合成部１６によって生成された第２の合成画像ＳＩ２を選択する。これにより、画像合成に用いられない領域に属する対応点の信頼度が、画像合成方式の選択に考慮されなくなるので、より適切な合成画像の提示が可能になる。
【００５９】
また本実施形態では、カメラは、図２のように車両１後方を撮影するように、かつ、水平位置が異なるように設置されているものとしたが、撮影範囲やカメラ設置位置を限定するものではなく、カメラの撮影範囲が重複するように配置されていれば、その重複領域に対して本実施形態と同様な処理を行うことができる。
【００６０】
また本実施形態では、対応点の位置情報の信頼度は、画像座標を基にして（数３）により求めるものとしたが、信頼度の算出はこれに限定されるものではなく、対応点の位置情報に含まれる誤差の大きさや誤りの可能性を示す尺度であればどのような基準値を用いてもよい。
【００６１】
また本実施形態では、可変画像合成部１５は、位置算出部１４によって算出されたｎ個の対応点の位置情報を用いて画像合成を行うものとしたが、ｎ個の対応点のうち信頼度が所定の閾値以上である点の位置情報のみを選択して用いてもよい。これにより、信頼度の低い位置情報が排除されるので、合成画像における合成誤りを低減できる。
【００６２】
また本実施形態では、可変画像合成部１５と固定画像合成部１６はそれぞれ１個ずつとしたが、画像合成部の個数はこれに限定されるものではない。例えば、可変画像合成部および固定画像合成部のうち少なくとも一方を複数個設けて、合成方式選択部１７が位置情報の信頼度に応じて、各画像合成部がそれぞれ生成した合成画像のうち１つを選択するようにしてもよい。
【００６３】
また本実施形態では、位置算出部１４は、２個のカメラで同時に撮影された画像を用いて位置を算出する、いわゆる２眼ステレオ方式を利用するものとしたが、この代わりに、時間的に連続した２個のカメラ画像を用いて位置を算出する、いわゆる動きステレオ方式を利用してもよく、本実施形態と同様の効果を得ることができる。
【００６４】
（第２の実施形態）
本発明の第２の実施形態に係る車両周辺監視装置の構成は第１の実施形態とほぼ同様であり、図１に示すとおりである。第１の実施形態と異なるのは、合成方式選択部１７Ａが、選択した合成画像に、当該合成画像の特徴に応じた所定の表示を重畳する点である。また、合成画像の選択に際し、位置情報の信頼度ＲＬと併せて、位置情報ＰＩ自体も組み合わせて用いる。
【００６５】
具体的には次のように動作する。合成方式選択部１７Ａは、位置算出部１４によって特定されたｎ個の対応点から、合成画像に現れる可能性がある障害物に属する点を抽出する。すなわち、位置情報ＰＩに含まれる３次元位置座標値および画像座標値を基準にして、路面平面から所定距離だけ離れ、かつ画像合成に用いられる領域に属する点を抽出する。
【００６６】
そして、抽出した点の個数が所定値以上である場合は、抽出した点の信頼度を用いて第１の実施形態で示した処理を行い、信頼度が所定の基準よりも高いときは可変画像合成部１５が生成した第１の合成画像ＳＩ１を選択する。このとき、障害物ＯＢの位置は正確に検出されたと判断されるので、図８（ａ）に示すように、例えば「障害物位置検出中」というメッセージを重畳する。一方、信頼度が所定の基準よりも低いときは固定画像合成部１６が生成した第２の合成画像ＳＩ２を選択し、このときは、障害物ＯＢの位置が正確には検出されなかったと判断されるので、図８（ｂ）に示すように、例えば「位置算出不可：画像に歪みがあります！」というメッセージを重畳する。
【００６７】
一方、抽出した点の個数が所定値未満である場合は、固定画像合成部１６が生成した第２の合成画像ＳＩ２を選択し、このときは車両近傍に障害物が検出されなかったと判断されるので、図８（ｃ）に示すように、例えば「障害物を検出していません」というメッセージを重畳する。
【００６８】
ここで、可変画像合成部１５が生成する第１の合成画像ＳＩ１では、図６（ａ）のように障害物の形状が正しく表示されるのに対して、固定画像合成部１６が生成する第２の合成画像ＳＩ２では、図７のように障害物の形状が歪む場合がある。このため、利用者が図７のような合成画像を見た場合、障害物は直方体状で合成画像が歪んでいるのか、障害物がつぶれた直方体状であって合成画像は歪んでいないのかが、利用者には判断できないため、障害物の形状を誤解してしまう可能性がある。例えば運転者が、図７に示された障害物は低いので車で乗り越えることができる、と誤解した場合、安全性の面で問題がある。
【００６９】
これに対して本実施形態では、図８のように、選択した合成画像に当該合成画像の特徴に応じた表示が重畳されるので、利用者は、例えば合成画像が歪みを含むことを容易に知ることができ、したがって、合成画像の性質に起因した車両周辺状況に対する誤解を避けることができる。この結果、より安全な運転が実現される。
【００７０】
（第３の実施形態）
図９は本発明の第３の実施形態に係る車両周辺監視装置の構成を示すブロック図である。図１と共通の構成要素については図１と同一の符号を付しており、ここではその詳細な説明を省略する。図１と異なるのは、車両周辺の障害物を検出してその距離情報ＤＩを出力する障害物センサ３１が車両に設けられており、合成方式選択部１７Ｂは、障害物センサ３１から得られた距離情報ＤＩを加味して、合成画像の選択を行う点である。障害物センサ３１は近くにある障害物までの距離を一定周期で計測し、所定距離以内に障害物があるとき、距離情報ＤＩを出力する。ここでは障害物センサ３１は、超音波を発信してそれが反射して戻って来るまでの時間から物体までの距離を計測する、いわゆる超音波センサであるものとする。
【００７１】
図１０は本実施形態におけるカメラおよび障害物センサの設置態様である。図１０のように、障害物センサ３１はカメラ１とカメラ２の間に設置されている。なお、障害物センサ３１とカメラ１，カメラ２との位置関係は予め計測されているものとする。
【００７２】
本実施形態における合成方式選択部１７Ｂの動作について説明する。合成方式選択部１７Ｂは、障害物センサ３１で障害物が検出されなかった場合、第１の実施形態と同様に、位置情報の信頼度ＲＬを所定の基準と比較し、その比較結果に応じて合成画像の選択を行う。一方、障害物センサ３１で障害物が検出された場合、まず、位置算出部１４によって特定されたｎ個の対応点について、障害物センサ３１からの距離ｄｉ（ｉ＝１，…，ｎ）をそれぞれ算出する。ここでの算出は、各対応点の位置情報と、障害物センサ３１とカメラ１，カメラ２との位置関係を用いて行うことができる。次に合成方式選択部１７Ｂは、算出した距離ｄｉ（ｉ＝１，…，ｎ）と、障害物センサ３１によって検出された距離情報ＤＩとを比較する。そして、その差が所定の誤差閾値ｄｔｈ以下の対応点が存在するか否か、すなわち、距離情報ＤＩとほぼ等しい距離ｄｉを有する対応点が存在するか否かを判断する。この処理は、距離情報ＤＩと位置情報ＰＩとを参照して、障害物ＯＢに関する位置情報ＰＩの精度を評価している、といえる。
【００７３】
そして合成方式選択部１７Ｂは、距離情報ＤＩとほぼ等しい距離ｄｉを有する対応点が存在する場合は、第１の実施形態と同様に、位置情報の信頼度ＲＬを所定の基準と比較し、その比較結果に応じて、合成画像の選択を行う。一方、距離情報ＤＩとほぼ等しい距離ｄｉを有する対応点が存在しない場合は、言い換えると、障害物ＯＢに関する位置情報ＰＩの精度が十分でないと判断されるときは、信頼度ＲＬに応じた合成画像の選択を行わないで、固定画像合成部１６が生成した第２の合成画像ＳＩ２を選択する。
【００７４】
ここで、障害物センサ３１は、近距離にある物体については比較的確実にその距離を検出できる。言い換えると、障害物センサ３１が距離情報ＤＩを出力したとき、距離情報ＤＩが示す距離の位置に障害物が実際に存在する可能性は高い。これに対して、位置算出部１４で実行される画像上での対応点探索や位置検出では、特に障害物の輝度や色合いが均一である場合や、障害物が背景と似ている場合などに、位置情報に誤差が多く含まれたり、障害物上の対応点自体が算出されなかったりする可能性がある。
【００７５】
位置情報に誤差が含まれるという問題は、第１の実施形態で説明したように、位置情報の信頼度を基準にして画像合成方式を選択することによって、ある程度回避することができる。ところが、障害物上の対応点自体が算出されなかった場合、このことは信頼度を用いた評価からは認識できない。
【００７６】
これに対して本実施形態では、合成方式選択部１７Ｂが、距離情報ＤＩとほぼ等しい距離ｄｉを有する対応点が存在するか否かを判断する。存在しないときは、位置情報が多くの誤差を含んでいるか、障害物上の対応点が算出されていない可能性が高い。言い換えると、障害物センサ３１によって検出された障害物ＯＢに関して、位置算出部１４によって得られた位置情報ＰＩの精度が十分でない、といえる。このとき、固定画像合成部１６で生成された第２の合成画像ＳＩ２を選択することによって、障害物の位置に誤りの無い合成画像を表示できる。
【００７７】
逆に、距離情報ＤＩとほぼ等しい距離を有する対応点が存在する場合は、第１の実施の形態と同様に、信頼度を用いて画像合成方式を選択する。これにより、障害物が誤った位置に表示されたり、表示されなかったりするということがなく、かつ状況に応じて歪みの少ない合成画像を表示することができる。したがって、運転者にとってより安全で、より自然な画像の提示が可能になる。
【００７８】
（第４の実施形態）
本発明の第４の実施形態に係るる車両周辺監視装置の構成は第３の実施形態とほぼ同様であり、図９に示すとおりである。第３の実施形態と異なるのは、合成方式選択部１７Ｃが、可変画像合成部１５および固定画像合成部１６によって生成された第１および第２の合成画像ＳＩ１，ＳＩ２のうちいずれか一方を選択する代わりに、第１および第２の合成画像ＳＩ１，ＳＩ２から、信頼度ＲＬに応じて、画像を部分的に選択し、提示対象の合成画像を生成する点である。
【００７９】
図１１は本実施形態におけるカメラの設置態様とカメラ画像の例である。ここでは、車両１の後方にある２個の障害物ＯＢａ，ＯＢｂがカメラに映されているものとする。
【００８０】
位置算出部１４は、図１１（ｂ）（ｃ）のカメラ画像から複数の点の位置情報とその信頼度を算出する。一般に、複数の物体がある場合、位置算出部１４によって算出される位置情報は、誤差を含む可能性や誤差の大きさが画像の領域によって異なっている。ここでは、障害物ＯＢａの領域に属する点の位置情報は誤差が小さく、障害物ＯＢｂの領域に属する点の位置情報は誤差が大きいと仮定する。このとき、障害物ＯＢａの領域に属する点の位置情報は信頼度が高くなり、障害物ＯＢｂの領域に属する点の位置情報は信頼度が低くなる。
【００８１】
図１２（ａ）は可変画像合成部１５によって生成された第１の合成画像ＳＩ１の例であり、図１２（ｂ）は固定画像合成部１６によって生成された第２の合成画像ＳＩ２の例である。ここで図１２（ａ）を見ると、障害物ＯＢａの領域の位置情報は信頼度が高いため、障害物ＯＢａは正しい位置に表示されているのに対して、障害物ＯＢｂの領域の位置情報は信頼度が低く誤差を多く含むため、障害物ＯＢｂは誤った位置に合成されている。
【００８２】
合成方式選択部１７Ｃは、図１３に示すように分割された複数の領域（図１３では１２個の領域）において、それぞれ、合成画像の部分的な選択を行う。すなわち、位置算出部１４によって算出された各点の位置情報と、可変画像合成部１５および固定画像合成部１６の合成パラメタとを用いて、各点が対応する合成画像上での位置を算出する。そして図１３に示す部分領域毎に、信頼度が所定の閾値以上のときは可変画像合成部１５が生成した第１の合成画像ＳＩ１を選択し、信頼度が閾値以下のときは固定画像合成部１６が生成した第２の合成画像ＳＩ２を選択する。
【００８３】
図１４は合成方式選択部１７Ｃの出力画像の例である。図１４において、障害物ＯＢａの領域（図１３における第９の部分領域）については、位置情報の信頼度が高いので、第１の合成画像ＳＩ１が選択されている。それ以外の領域では、第２の合成画像ＳＩ２が選択されている。ここで図１４と図１２（ａ）（ｂ）とを比較すると、図１２（ａ）では、障害物ＯＢａは正しい位置に歪みが少なく表示されているものの、障害物ＯＢｂの位置がずれており、また図１２（ｂ）では、障害物ＯＢａ，ＯＢｂはともに、路面と接する領域の位置は正しく合成されているものの、路面平面に対して高さのある領域は歪んでいる。これに対して図１４では、障害物ＯＢａ，ＯＢｂともに位置は正しく、障害物ＯＢａは歪みも少ない画像として、良好に表示されており、したがってより適切な合成画像が表示されているといえる。
【００８４】
以上のように本実施形態によると、第１および第２の合成画像ＳＩ１，ＳＩ２を、位置情報の信頼度に応じて部分的に選択して、合成画像を生成しているので、障害物の位置がより正しく、歪みがより少ない合成画像を表示することができる。
【００８５】
なお、本実施形態では、図１３に示すような所定の部分領域毎に、合成画像の選択を行うものとしたが、部分領域の個数や分割位置、大きさなどはこれに限定されるものではない。
【００８６】
また、合成画像を選択する部分領域は、予め定めておく代わりに、動的に定めてもかまわない。例えば、各点の位置情報と画像合成のパラメタとから、各点が対応する合成画像上での位置を算出した後、所定サイズの単位矩形領域においてそれぞれ、点の密度と、信頼度の平均値とを算出する。そして、これらの値が所定のしきい値よりも大きいときは第１の合成画像ＳＩ１を選択し、しきい値以下のときは第２の合成画像ＳＩ２を選択するようにしてもよい。点の密度と信頼度が高い領域は、障害物の位置が正しく計測された領域なので、このような部分領域を動的に選択することによって、歪みがより少ない合成画像を生成することができる。
【００８７】
なおもちろん、画像の選択に際し、上述の実施形態で示したように、位置情報ＰＩや距離情報ＤＩを加味してもかまわない。
【００８８】
（第５の実施形態）
図１５は本発明の第５の実施形態に係る車両周辺監視装置の構成を示すブロック図である。図９の構成と異なるのは、車両が、当該車両の移動方向を検出する移動方向検出手段３２を有しており、合成方式選択部１７Ｄが、移動方向検出手段３２から得た移動方向を加味して、合成画像の選択を行う点である。移動方向検出手段３２は例えば、車速センサと、舵角センサと、車速センサおよび舵角センサの出力から車両の移動方向を算出する手段とによって構成されるが、このような構成はすでに広く知られており、ここでは詳細な説明は省略する。
【００８９】
いま図１１の状況において、位置算出部１４で算出された位置情報ＰＩの信頼度ＲＬが、障害物ＯＢａの領域では高く、障害物ＯＢｂの領域では障害物ＯＢａの領域に比べて低いものと仮定する。このとき、可変画像合成部１５によって、図１６のような第１の合成画像ＳＩ１が生成される。図１６では、障害物ＯＢａは、位置情報の誤差が小さいため正しい位置に表示されているのに対して、障害物ＯＢｂは、位置情報が誤差を多く含むため少しずれた位置に合成されている。
【００９０】
合成方式選択部１７Ｄは、移動方向検出手段３２によって検出された車両の移動方向を用いて、位置算出部１４によって特定された複数の点のうち、車両の移動方向の画像に対応する点を特定する。そして、特定した点に係る信頼度に応じて、合成画像の選択を行う。
【００９１】
例えば合成方式選択部１７Ｄは、車両が左後方へ移動した場合、すなわち障害物ＯＢａの方向に進んだ場合は、障害物ＯＢａの領域に属する点の信頼度を基準にして合成画像の選択を行い、一方、車両が右後方へ移動した場合、すなわち障害物ＯＢｂの方向に進んだ場合は、障害物ＯＢｂの領域に属する点の信頼度を基準にして合成画像の選択を行う。
【００９２】
図１７（ａ）は車両が左後方へ移動した場合に合成方式選択部１７Ｄが出力した合成画像の例である。この場合、移動方向にあたる障害物ＯＢａの領域の点の信頼度は高いため、可変画像合成部１５が生成した第１の合成画像ＳＩ１が選択されている。一方、図１７（ｂ）は車両が右後方へ移動した場合に合成方式選択部１７Ｄが出力した合成画像の例である。この場合、移動方向にあたる障害物ＯＢｂの領域の点の信頼度が低いため、固定画像合成部１６が生成した第２の合成画像ＳＩ２が選択されている。
【００９３】
ここで、車両を運転する場合、車両の移動方向の画像は非常に重要であり、移動方向にある障害物はより正しい位置に表示される方が望ましいのに対して、移動方向以外にある障害物は多少位置がずれて表示されてもさほど問題にならないと考えられる。また、わずかな位置ずれよりも歪みによる違和感の方が、影響が大きい場合があり得るので、このような場合には、本実施形態によってより適切な合成画像が出力される。
【００９４】
以上のように本実施形態によると、合成画像の選択に、車両の移動方向が加味され、移動方向の画像に対応する点の信頼度が用いられるので、車両の移動方向において障害物が誤った位置に表示されず、また、移動方向以外については歪みの少ない合成画像を表示することができる。
【００９５】
なお、本実施形態において、合成画像の選択基準のしきい値にヒステリシスを持たせて、さらに、そのヒステリシスの幅を車両の移動速度に応じて変化させるようにしてもよい。具体的には、車両の移動速度が大きいほど、しきい値のヒステリシスの幅を大きくする。一般に、車両の移動速度が大きいほど画像の時間的な変動が大きくなり、これに伴って信頼度の時間的な変動も大きくなる。このため、移動速度に応じてヒステリシスの幅を大きくすることによって、合成画像の頻繁な切り替わりが抑制され、したがって、運転者が車両周辺の状況を把握しづらくなるという問題を回避することができる。
【００９６】
なお、本発明に係る車両周辺監視装置としては、カメラやディスプレイ、Ａ／Ｄ変換器、Ｄ／Ａ変換器、フレームメモリ、障害物センサおよび移動方向検出手段は、必須の構成要素では必ずしもない。
【００９７】
また、上述の各実施形態では、本発明に係る個別の処理手段、すなわち位置算出部、可変画像合成部、固定画像合成部および合成方式選択部は、個別のハードウェアによって実現されるものとしたが、ソフトウェアによって実現することも可能である。この場合、本発明に係る車両周辺監視装置は、例えば図１８のようなＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３を備えたコンピュータによって構成され、位置算出部、可変画像合成部、固定画像合成部、合成方法選択部などの処理手段は、ＲＯＭ４２またはＲＡＭ４３に格納されたプログラムをＣＰＵ４１によって実行することによって、実現される。
【００９８】
図１９は図１８の構成における処理の流れの一例を示すフローチャートであり、本発明に係る画像生成方法、および画像生成プログラムに対応している。まず、フレームメモリ１３ａ，１３ｂからカメラ画像を入力し（Ｓ２１）、入力したカメラ画像から、上述の位置算出部１４の動作と同様に、複数の点について、位置情報と、その位置情報の信頼度とを求める（Ｓ２２）。そして、第１の実施形態で述べたように、信頼度と所定の基準とを比較して（Ｓ２３）、信頼度が所定の基準よりも高いときは（Ｓ２４でＹｅｓ）、可変画像合成部１５の動作と同様にして、位置情報を用いて、カメラ画像から合成画像を生成する（Ｓ２５）。一方、信頼度が所定の基準よりも低いときは（Ｓ２４でＮｏ）、固定画像合成部１６の動作と同様にして、位置情報を用いないで所定の方法によって、カメラ画像から合成画像を生成する（Ｓ２６）。そして、生成した合成画像を、フレームメモリ１８へ出力する（Ｓ２７）。
【００９９】
なお、図１９の方法では、信頼度に応じて、いずれかの合成画像を選択的に生成するものとしたが、もちろん上述した各実施形態と同様に、２種類の合成画像を生成してから、信頼度に応じて選択するようにしてもかまわない。また逆に、例えば図１のようなハード構成において、合成方式選択部１７が、信頼度に応じて、可変画像合成部１５および固定画像合成部１６のいずれか一方を、選択的に動作させるようにしてもかまわない。
【０１００】
なお、本発明の用途は、車両の周辺監視に限定されるものではなく、例えば、ロボットにも適用することも可能である。例えば、遠隔操作が可能な移動ロボットにカメラと本発明に係る監視装置とを設置し、ロボット周囲の状況を示す合成画像は、ロボットのユーザが監視できるように、遠隔地に置かれたディスプレイに表示させる。本発明の各実施形態と同様の効果を得ることができる。
【０１０１】
【発明の効果】
以上のように本発明によると、車両の周辺状況を示す画像として、位置情報が正しく算出された場合は歪みの少ない合成画像が表示され、位置情報が大きな誤差を含む場合には、障害物が誤った位置に表示されたり消えたりしない合成画像が表示される。したがって、より自然で、かつ、より安全な画像を提示することができる。
【図面の簡単な説明】
【図１】本発明の第１および第２の実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図２】（ａ）は第１の実施形態におけるカメラの設置態様の例、（ｂ）（ｃ）は（ａ）におけるカメラ画像の例である。
【図３】位置算出部の動作を示すフローチャートである。
【図４】カメラ座標系の関係を示す概念図である。
【図５】路面平面を基準にした画像合成を示す概念図である。
【図６】本発明の第１の実施形態において、可変画像合成部が生成した第１の合成画像の例である。
【図７】本発明の第１の実施の形態において、固定画像合成部が生成した第２の合成画像の例である。
【図８】本発明の第２の実施形態において、提示される合成画像の例である。
【図９】本発明の第３および第４の実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図１０】第３の実施形態におけるカメラおよび障害物センサの設置態様の例である。
【図１１】（ａ）は第４の実施形態におけるカメラの設置態様の例、（ｂ）（ｃ）は（ａ）におけるカメラ画像の例である。
【図１２】（ａ）は第４の実施形態において、可変画像合成部が生成した第１の合成画像の例、（ｂ）は固定画像合成部が生成した第２の合成画像の例である。
【図１３】合成画像の部分的な選択を行うための領域分割の例である。
【図１４】第４の実施形態において、合成方式選択部が生成した合成画像の例である。
【図１５】本発明の第５の実施形態に係る車両周辺監視装置の構成を示すブロック図である。
【図１６】第５の実施形態において、可変画像合成部が生成した第１の合成画像の例である。
【図１７】第５の実施形態において、合成方式選択部が出力した合成画像の例である。
【図１８】本発明に係る車両周辺監視装置をコンピュータを用いて構成した場合の構成を示すブロック図である。
【図１９】図１８の構成における処理の流れを示すフローチャートである。
【図２０】従来技術を示す図である。
【図２１】従来技術と、その問題点を示す図である。
【符号の説明】
１　車両
１１ａ，１１ｂ　カメラ
１４　位置算出部
１５　可変画像合成部
１６　固定画像合成部
１７，１７Ａ，１７Ｂ，１７Ｃ，１７Ｄ　合成方式選択部
２０　ディスプレイ
３１　障害物センサ
３２　移動方向検出手段
ＰＩ　位置情報
ＲＬ　信頼度
ＳＩ１　第１の合成画像
ＳＩ２　第２の合成画像
ＤＩ　距離情報

Claims (13)

1. 車両の周辺を映すカメラの画像から、前記車両の周辺状況を示す合成画像を生成して提示する車両周辺監視装置であって、
   前記カメラ画像中の複数の点について、位置情報と、当該位置情報の信頼度とを算出する位置算出部と、
   前記カメラ画像から、前記位置情報を用いて、第１の合成画像を生成する可変画像合成部と、
   前記カメラ画像から、前記位置情報を用いないで、所定の方法によって第２の合成画像を生成する固定画像合成部と、
   前記信頼度に応じて、前記第１および第２の合成画像のうちいずれか一方を、提示対象の合成画像として、選択する合成方式選択部とを備えた
   ことを特徴とする車両周辺監視装置。
2. 請求項１において、
   前記合成方式選択部は、
   前記位置情報を加味して、合成画像の選択を行う
   ことを特徴とする車両周辺監視装置。
3. 請求項２において、
   前記合成方式選択部は、
   前記位置情報を参照して、前記複数の点のうち、画像合成に用いられる領域に属する点を抽出し、
   抽出した点に係る信頼度を、合成画像の選択に用いる
   ことを特徴とする車両周辺監視装置。
4. 請求項１において、
   前記可変画像合成部および固定画像合成部は、
   前記第１および第２の合成画像において、路面の位置が互いに一致するように、画像合成を行う
   ことを特徴とする車両周辺監視装置。
5. 請求項１において、
   前記合成方式選択部は、
   前記第１および第２の合成画像のうちいずれか一方を選択する代わりに、前記第１および第２の合成画像から、前記信頼度に応じて、画像を部分的に選択し、選択した画像から提示対象の合成画像を生成する
   ことを特徴とする車両周辺監視装置。
6. 請求項１において、
   前記合成方式選択部は、
   選択した合成画像に、当該合成画像の特徴に応じた所定の表示を、重畳する
   ことを特徴とする車両周辺監視装置。
7. 請求項１において、
   前記車両は、障害物センサが設けられており、
   前記合成方式選択部は、
   前記障害物センサから得られた，障害物までの距離値を示す距離情報を加味して、合成画像の選択を行う
   ことを特徴とする車両周辺監視装置。
8. 請求項７において、
   前記合成方式選択部は、
   前記距離情報および位置情報を参照して、前記障害物に係る前記位置情報の精度を評価し、精度が十分でないと判断したとき、信頼度に応じた合成画像の選択を行わないで、前記第２の合成画像を選択する
   ことを特徴とする車両周辺監視装置。
9. 請求項１において、
   前記車両は、当該車両の移動方向を検出する移動方向検出手段を有し、
   前記合成方式選択部は、
   前記移動方向検出手段から得られた移動方向を加味して、合成画像の選択を行う
   ことを特徴とする車両周辺監視装置。
10. 請求項９において、
    前記合成方式選択部は、
    前記複数の点のうち、前記移動方向の画像領域に属する点を特定し、
    特定した点に係る前記信頼度を、合成画像の選択に用いる
    ことを特徴とする車両周辺監視装置。
11. 車両の周辺を映すカメラの画像から、前記車両の周辺状況を示す合成画像を生成する画像生成方法であって、
    前記カメラ画像中の複数の点について、位置情報と、当該位置情報の信頼度とを求める第１のステップと、
    前記信頼度を、所定の基準と比較する第２のステップと、
    前記第２のステップにおいて前記信頼度が前記所定の基準よりも高いと判断したとき、前記カメラ画像から、前記第１のステップで求めた位置情報を用いて、合成画像を生成する第３のステップと、
    前記第２のステップにおいて前記信頼度が前記所定の基準よりも低いと判断したとき、前記カメラ画像から、前記位置情報を用いないで、所定の方法によって合成画像を生成する第４のステップとを備えた
    ことを特徴とする画像生成方法。
12. 請求項１１において、
    前記第１のステップにおいて、
    第１および第２のカメラ画像について、対応点を探索し、
    特定した対応点について、前記第１および第２のカメラ画像における原画像座標値から３次元位置座標値を求め、前記原画像座標値および３次元位置座標値を、当該対応点の位置情報として定め、
    前記３次元位置座標値から、前記第１および第２のカメラ画像における画像座標値を逆算し、
    逆算した画像座標値と、前記原画像座標値とを用いて、前記位置情報の信頼度を求める
    ことを特徴とする画像生成方法。
13. 車両の周辺を映すカメラの画像から、前記車両の周辺状況を示す合成画像を生成する方法を、コンピュータに実行させるプログラムであって、コンピュータに、
    前記カメラ画像中の複数の点について、位置情報と、当該位置情報の信頼度とを求める第１のステップと、
    前記第１のステップで求めた信頼度を、所定の基準と比較する第２のステップと、
    前記第２のステップにおいて前記信頼度が前記所定の基準よりも高いと判断したとき、前記カメラ画像から、前記１のステップで求めた位置情報を用いて、合成画像を生成する第３のステップと、
    前記第２のステップにおいて前記信頼度が前記所定の基準よりも低いと判断したとき、前記カメラ画像から、前記位置情報を用いないで、所定の方法によって合成画像を生成する第４のステップとを実行させる
    ことを特徴とする画像生成プログラム。

Images