以下、本発明の実施の形態について、図面を用いて説明する。
(第1の実施の形態)
本発明の第1の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の3次元情報を検出し、その3次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認できるようにしたものである。
図1は、本発明の第1の実施の形態の運転支援装置のブロック図であり、図2〜図6は、その運転支援装置の動作を説明するための概略図である。
図1に示されているように、本発明の第1の実施の形態の運転支援装置は、2つの撮像手段1001、3001と、それぞれ撮像手段1001、3001で撮像された画像の水平エッジを抽出する水平エッジ抽出手段3002、3003と、水平エッジ抽出手段3002の出力を用いて視差探索のためのブロックの設定を行うブロック設定手段3004と、水平エッジ抽出手段3003の出力と、ブロック設定手段3004の出力と、後述するデフォルト視差データ3010とを基にブロックの探索を行う探索手段3005と、探索手段3005の出力から、各ブロックについてサブピクセル精度の視差と信頼性判定結果を出力するサブピクセル推定・信頼性判定手段3006と、サブピクセル推定・信頼性判定手段3006の出力と、デフォルト視差データ3010と、後述する路面データ3011とを基に撮像手段3001からの画像画面上に3Dマップを作成する3Dマップ作成手段3007と、撮像手段3001からの画像とその画面上の3Dマップとを基に、上方の仮想視点からの画像を合成する3D画像合成手段3008と、3D画像合成手段3008の出力を表示する表示手段3009とを具備する。
また、本発明の第1の実施の形態の運転支援装置は、デフォルト視差データ手段3010と、路面データ手段3011と、車両姿勢情報手段3012とを具備する。
2つの撮像手段1001と撮像手段3001は、図2(a)に示されているような位置に設置されている。ここでは地面に垂直な方向の直線4001上に10cmの間隔をあけた位置に設置され、それぞれの地面からの高さは、100cmと110cmである。それぞれの視線方向4003は、水平から地面に向かって40度の角度で下向きである。2つの撮像手段の視線は平行である。また2つの撮像手段の視野範囲4002は、垂直方向(仰角方向)に90度である。
図1に示されているこの2つの撮像手段1001、3001からの入力画像としては、それぞれ図2(b)、図2(c)に示されているように、水平方向は殆ど同一で垂直方向に位置が変化した画像が得られる。撮像手段3001は撮像手段1001よりも高い位置に配置されているため、撮像手段3001からの入力画像では、無限遠方の水平線4004の画面上の位置は同じだが、より近くに位置する点(例えば、路面上に位置する白線のある点4005や、車のバンパー上のある点4006)は画面上、図2(b)の画像より下に位置する。そして、この垂直方向の位置の変化は、2つの画像を重ねた図2(d)に示されているように、垂直方向の視差4007や4008となる。ここで4007は路面上に位置する白線の視差であり、4008は路面より上に位置する車のバンパーの視差である。
図1に示されている水平エッジ抽出手段3002、3003では、この2つの撮像画像について下記の式[1]に示されている操作で水平エッジの抽出を行う。ここで、Lは画像の輝度信号、x,yは水平、垂直の画素位置である。
L'(x,y)=2*L(x,y)-L(x,y-1)-L(x,y+1) …式[1]
この操作により、例えば、図2(b)の画像は図3(a)のように、画面上水平方向に近いバンパーや白線のエッジ(4009,4010)が強調され、また画面上垂直方向に近いエッジ(4011,4012)は弱められる。
図1のブロック設定手段3004では、水平エッジ強調手段3002、3003で水平エッジが強調された画像について、視差探索のためのブロックの設定が行われる。図3(b)はそのブロック設定を説明するためのもので、垂直方向に2画素おきの走査線4013にしたがって、式[1]に示したL'(x,y)の極大点と極小点を求め、その点を中心とした縦横5×5画素のブロック4014を設定する。図3(b)に示されているように、このブロックは画面の水平エッジ上に重なりを持って複数配置される。
次に、図1の路面データ3011に基づいたデフォルト視差データ3010について説明する。これは図3(c)に示されているように、2つの撮像手段1001、3001が共に路面を写していると仮定したときに生じる視差を予め計算したものである。図3(c)中、路面上の点4015の視差は角度で4016と計算される。図3(d)は画面上での、このデフォルト視差データを示すものである。無限遠方の水平線4004の位置のデフォルト視差4017は0であるが、それから近づく(画面上、下に下がる)に従って、4018、4019とデフォルト視差は大きくなる。それからさらに下がると、今度は撮像手段1001、3001の視線方向が垂直方向に近くなるので、4020に示されているようにデフォルト視差は小さくなる。
路面より上に位置する物体は、このデフォルト視差より大きな視差を生じるので、図1の探索手段3005では、このデフォルト視差を探索の初期値としてさらに大きい視差の方向に探索を行う。
探索視差の上限は次のようにして決定する。図4(a)に示されているように、車両からの距離が50cmでかつ地面から垂直な壁4021と、撮像手段1001、3001の真下から60度の角度を持つ壁4022とを仮定したときの視差を概算する。このときの視差4023の画面中の値を探索視差の上限とする。
探索手段3005は、前記探索の初期値から上限までの間で、ブロック設定手段3004で設定された5×5画素の信号L'(x+j,y+i)について、撮像手段3001からの画像信号L3'に対して下記の式[2]に示されている相関値Fが最大となる視差DYを探索する。
F=ΣiΣjL'(x+j,y+i)*L3'(x+j,y+i+DY) …式[2]
:(i=-2〜2,j=-2〜2)
サブピクセル推定・信頼性判定手段3006では、さらに前記探索手段3005で求められた視差DYと相関値について解析する。
まず、相関値Fと、ブロック信号L'(x+j,y+i)の自己相関値SS=ΣiΣjL'(x+j,y+i)*L'(x+j,y+i) …式[3]
:(i=-2〜2,j=-2〜2)の比F/Sが閾値が0.75以上のときは信頼性ありと判定し、0.75未満のときは信頼性なしと判定する。
信頼性ありと判定されたブロックについては、図4(b)に示されているように、1画素単位の視差DYの周囲の相関値Fを用いて2次式で補間した曲線4024の最大点4025を求め、この位置をサブピクセル精度の視差DY’とする。
サブピクセル推定・信頼性判定手段3006では、各ブロックについてこのサブピクセル精度の視差DY’と信頼性判定結果を出力する。
3Dマップ作成手段3007では、サブピクセル推定・信頼性判定手段3006の出力である各ブロックについてのサブピクセル精度の視差DY’および信頼性判定結果と、路面データ3001と、デフォルト視差データ3010とを基に撮像手段3001からの画像画面上に3Dマップを作成する。
まず、図4(c)に示されているように、信頼性ありと判定された各ブロックを検出した視差DY'で動かした位置4026には、撮像手段3001からの画像の水平エッジが存在する。またこのとき、図4(d)に示されているように、検出視差DY’がデフォルト視差データ3010に一致する水平エッジ4027は路面上に存在すると判定され、一致しない水平エッジ4028は路面より上に存在すると判定される。路面より上に存在すると判定されたエッジは、検出視差DY’の値によって撮像手段3001からの距離が求められる。
この判定と距離とを基に、図5(a)に示されているように画面全体について3Dマップが作成される。まず走査線4032に示されているように、画面を下方から垂直に走査し、領域4029のように水平エッジを有しないか、有していても路面上に存在すると判定されたエッジしかない場合、その領域は路面に存在すると判定され、路面データ3011の値を基に3D距離が与えられる。一方、路面より上に存在すると判定されたエッジに挟まれた領域4030では、その2つのエッジの距離を線形補間した値が与えられる。路面より上に存在すると判定されたエッジより上の領域4031ではそのエッジの距離のデータが与えられる。
3D画像合成手段3008は、撮像手段3001からの画像とその画面上の3Dマップとを基に、上方の仮想視点からの画像を合成する。したがって図5(b)に示されているように、バンパーなどの路面より上に存在する点4033でも、路面上の位置4034ではなく正確な3D位置をもとに仮想視点で見た画面上の位置が決定できるので、図5(c)に示されているように、路面上の位置4034ではなく正確な位置4033に画像が合成される。一方、車両の陰などになった部分は、領域4035に示されているように斜線で表示される。
また、このとき図5(d)の領域4036に示されているように、路面より上に存在する領域を半透明の赤い幕や点滅等で強調することも可能である。
表示手段3009には、この合成画像が表示され、運転者は車両周囲の障害物の位置を直感的かつ正確に把握することができる。
なお、図1に示されている車両姿勢情報手段3012は、車両に荷物を積んだ場合や、車両の加速等に伴う姿勢の変化情報を出力する。路面データ手段3011は、この情報に対応して図6に示されているように、撮像手段1001、3001に対する平時の路面位置データ4037に対し、変化した路面位置データ4038を計算する。この変化した路面位置データは、それ以降のデフォルト視差データ手段3010や3Dマップ作成手段3007の処理に反映される。このことによって、車両に荷物を積んだ場合や、車両の加速等に伴って姿勢が変化場合でも正確な画像が合成され、運転者は、この画像を見ることで、常に車両周囲の障害物の位置を直感的かつ正確に把握することができる。
ここで、第1の実施の形態では、2つの撮像手段1001、3001を垂直方向に10cmの間隔をあけて設置することにより、その視差によって障害物の合成画像上の歪みを補正することができたが、このとき、視差に微量の誤差が含まれていても、2つの撮像手段の間隔が垂直方向なので、障害物までの距離には誤差の影響が生じても、その障害物の方向には影響は殆ど表れないという利点がある。これは車両を運転する上で大変重要な利点である。
また、この2つの撮像手段1001、3001を垂直方向に間隔をあけて配置することで、その後の視差検出処理を水平エッジ抽出手段で検出されたエッジ部分に限定することができ、その処理量を大幅に削減できる。車両のバンパーなど、路面から浮いている部分は殆ど画面上で水平エッジを持っているので、その限定された処理でも障害物を漏らすことなく検出できるという利点がある。
このように、本発明の第1の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ複数の撮像手段で撮像された画像間の視差を基に路面以外の3次元情報を検出し、その3次元情報を基に前記変換された画像の歪みを補正し、その補正された画像を表示することにより、障害物までの距離と方向をより判り易く、かつ正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
(第2の実施の形態)
本発明の第2の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
図7は、本発明の第2の実施の形態の運転支援装置のブロック図であり、図8〜図11はその動作を説明するための概略図である。また、図12は、本発明の第2の実施の形態の運転支援装置の変形例のブロック図である。図7と図12のブロック図中、図1と同じ符号が付されたブロック要素は図1のブロック要素と同じ構成および機能を有する。
本発明の第2の実施の形態の運転支援装置は、画像投影手段3013、障害物エッジ距離手段3014、障害物領域手段3015、およびオーバーレイ手段3016を備えており、3Dマップ作成手段および3D画像合成手段を備えていない点において第1の実施の形態の運転支援装置と異なる。
まず路面投影手段3013は、図1の3D画像合成手段3008とは異なり、路面データ手段3011のデータを基に、撮像手段3001からの入力画像を図8(a)に示されているように、路面に投影した位置に存在するように合成する。このとき視点は第1の実施の形態のような仮想の視点ではなく、図8(a)の視点6001に示されているように、真上からの直交投影で得られる画像を合成する。このとき得られる合成画像は、図8(b)に示されているように、従来例と同様、路面より上に位置する車両のバンパーの点6002などが、より遠くの点6003に存在するような歪んだ画像となる。
障害物エッジ距離手段3014は、第1の実施の形態の3Dマップ作成手段3007と同様に、図8(c)に示されている2つの画像の水平エッジについて、サブピクセル推定・信頼性判定手段3006から得られるその視差から、路面より上に存在するエッジを障害物エッジとして検出し、撮像手段3001からの距離を算出する。図8(c)の走査線6006に示されているように、画面を下方から垂直方向に走査し、その垂直ラインについて、障害物ラインが存在した場合、その距離の最小値が、その垂直ライン毎に記憶され、出力される。
障害物領域手段3015は、図8(d)に示されているように、障害物エッジ距離手段3014の出力の、垂直ライン毎の障害物ラインの距離の最小値を路面に投影した位置6008と、それ以遠の領域6009とを障害物領域として合成する。
オーバーレイ手段3016は、合成画像と別の層(レイヤー)に運転者への指示を書き込み、図9(a)に示されているように、図8(b)、図8(d)の合成画像を重ね合わせて合成する。このとき障害物領域6009は、画像上半透明の赤い膜として図8(b) の車両の存在する領域に合成される。
表示手段3009には、このオーバーレイ手段3016の出力が表示される。運転者は、この合成画像を見ることで、路面上の白線の位置を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができる。
この第2の実施の形態では、第1の実施の形態に比較して、撮像手段3001からの入力画像をリアルタイムに変化する3Dマップに合わせて合成しなくても良く、予め定められた路面モデルへの投影変換だけで良いので、実回路での実現が容易であるという利点がある。
また障害物エッジ距離手段3014、障害物領域手段3015の動作も、3Dマップ作成手段3007に比較して、垂直ライン毎の障害物ラインの距離の最小値だけを解析するので、その処理が比較的簡単であるという利点がある。
これらのことより、第2の実施の形態では、第1の実施の形態に比較して、実回路での実現が大幅に容易であるという利点があり、かつ第1の実施の形態と同様に、運転者が表示画像を見ることで、路面上の白線を正確に把握することができ、また他の車両などの障害物までの自車両からの距離と方向を正確に把握することができるので、従来例と比較しても大幅に安全かつ正確に車両を運転することができるという効果が得られる。
なお、図9(b)に示されているように、障害物領域6009ではなく、障害物ラインの距離の最小値を路面に投影した位置6008だけを境界線として表示しても良い。この場合でも、運転者は障害物までの距離と方向を正確に把握することができるので、安全かつ正確に車両を運転することができるという効果が得られる。
図10(a)〜(c)は、実際の撮像画像での図9(b)の効果を示す例である。図10(a)は、駐車操作中の車の後方カメラから撮像される画像である。ここでは、広角な範囲を撮像するために魚眼レンズを用いている。画像には、これから駐車しようとするスペースと、その左側にトラック、右側に乗用車が映っている。図10(b)は図10(a)の撮像画像を用いて従来例によって合成された画像である。合成画像の中央から右にかけて、上方から見た駐車場の状況と、左に自車両を示すCGが合成されている。ここでは、路面にある白線は正確な位置に合成されるので、運転者は自車両と駐車スペースとの関係を正確に把握できる。しかしながら、地面より上にあるものは、実際より遠くにあるように合成される。ここでは、トラックと自車両との間には十分な余裕があるように合成されているが、実際には接触の危険がある。図10(c)は、本実施の形態での合成例で、障害物までの距離を白線で表示している。この白線によって実際のトラックまでの距離が一目で分かり、これ以上後退すると接触の危険があることを運転者に認知させることができる。
また、図9(c)は、前記障害物ラインについて、距離の最小値だけではなく、そのラインの路面からの高さを記憶しておき、路面からの高さに応じて、前記表示する境界線の色と太さを変えた例である。ここでは、例えば高さが10cm以下のものを黄色で細く表示し、10〜15cmのものを赤く細く、20cm以上のものを赤く太く表示する。このようにすることで、路面が少し傾斜していた場合など、路面モデルと実際のモデルとのずれのため検出される白線6012は黄色く細く表示され、高さ15cm以下の低い縁石6011などは赤く細く表示され、他の車両など障害物を示す境界線6010は赤く太く表示される。このことで、運転者は重要な障害物を最優先に注意することができ、路面の荒れなどによるノイズの影響を最小限に抑えることができる。
さらに、図9(c)においてある程度以上の高さのある領域(障害物に相当)の境界線6010を、合成画像の表示画面上で点滅させて、運転者にさらなる注意を向けさせても良い。
また、図9(d)に示されているように、ある程度以上の高さのある領域の境界線6010についての最近傍点を通る自車両からの距離方向に垂直な線6013とそこまでの距離の値を数値6014で表示させて、運転者に実際の距離の値を認知させても良い。
さらに、2つの撮像手段は図11(a)に示されているように、必ずしも上下方向に直線上に位置しなくても良い。この図のような配置の場合、後方の車両がかなり接近した場合、そのバンパーの点7001が上方の撮像手段3001からは死角で見えないが、このとき、この部分の路面の画像は、図12のブロック図における路面投影手段7013に示されているように、撮像手段1001からの画像を用いて従来と同様に路面投影で合成することができる。
この場合、従来と同様に、バンパー位置の実際と合成画像とのずれが生じるが、バンパー位置が撮像手段1001から見て十分下の方向7002に位置するので、その位置ずれは小さい。
また、路面投影の合成画像に用いる上方の撮像手段3001として1024×768画素の高解像度のカラーカメラを用い、視差検出用の下方の撮像手段1001として640×480画素の白黒カメラを用いても良い。この場合、下方の撮像手段1001のコストを抑えることができ、かつ合成画像は高解像度なカラー画像を得ることができる。
また、図11(b)に示されているように、上方の撮像手段3001は遠方を高解像度に映すようにし、下方の撮像手段1001は近辺を高解像度に映すようにすると共に、図12のブロック図における路面投影手段7013に示されているように、路面合成の際、遠方を撮像手段3001からの画像信号を用い、近辺を撮像手段1001からの画像信号を用いるようにしても良い。
このように、本発明の第2の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方から直交投影した画像に変換し、かつ複数の撮像手段で撮像された画像間の視差と路面モデルの視差とを用いて路面以外の領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
(第3の実施の形態)
本発明の第3の実施の形態の運転支援装置では、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
図13は、本発明の第3の実施の形態の運転支援装置のブロック図、図14はその変形例のブロック図、図15〜図17は、それらの動作を説明するための概略図である。図13および図14において、図7と同じ符号が付されたブロック要素は図7のブロック要素と同じ構成および機能を有する。
本実施の形態では、図15(a)に示されているように、前記第1、2の実施の形態と同様に、垂直方向に所定の間隔をあけて設置された2つの撮像手段1001、3001から画像を入力する。この2つの入力画像は、それぞれ路面投影手段8001、8002において、路面データ手段3011のデータを基に、路面に投影された位置に仮想視点1004からの画像が合成される。
このとき、路面より上に位置する後方の車両のバンパーの点9001は、上方の撮像手段3001からは、路面上に投影すると9002の方向に見え、下方の撮像手段1001からは、より遠方の9003の方向に見える。したがって、それぞれ合成される画像では、図15(b)、図15(c)に示されているように、路面上の白線は、同じ位置に合成されるが、路面より上に位置する後方の車両のバンパーの点9001などは異なる位置に合成される。
障害物領域検出手段8003は、この2つの合成画像の差を取り、一定以上の差のある領域を障害物領域として検出する。このとき検出される領域は、図15(d)に示されているように、路面より上に位置して、かつ元の撮像画像上で水平エッジを有する部分が、領域9004、領域9005のように検出される。
オーバーレイ手段8004では、この図16(a)に示されているように、図15(b)の画像に、図15(d)に示されている障害物領域を重ね合わせて合成する。このとき障害物領域9004、9005は画像上半透明の赤い膜として、図15(d)で車両の存在する領域に合成される。
表示手段3009にはこのオーバーレイ手段8004の出力が表示される。運転者は、この合成画像を見ることで、従来例とは異なり、路面上の白線と障害物の区別を正確に把握することができる。また他の車両などの障害物までの自車両からの距離は正確ではないが、その方向は正確に把握することができるので、従来例と比較しても安全に車両を運転することができる。
さらに、この第3の実施の形態のバリエーションを図14、図16(b)〜(d)、および図17(a)〜図17(d)を用いて説明する。まず撮像手段1001、3001からの撮像画像は、それぞれレンズ歪み補正・距離・方向画像手段8005、8006で、それぞれ図16(b)に示されているように路面に投影したときの撮像手段からの距離Rと方向θで展開される座標上の画像に変換される。このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき、変換時に同時に補正する。距離Rと方向θで展開される座標上の画像は、それぞれ図16(c)、図16(d)に示されているようになる。ここで、撮像手段3001からの画像が図16(c)、撮像手段1001からの画像が図16(d)で、路面上の白線などは同じ位置に合成されるが、バンパーなどのエッジ位置は16(d)の方が遠くに合成される。
エッジ比較手段8007では、このエッジ位置を図16(c)、図16(d)の走査線9008に従って比較する。走査線9008上の画像のエッジを示したものが図17(a)である。そして、この図において、図16(c)に対応するエッジ信号が9009、図16(d)に対応するエッジ信号が9010である。ここで走査線に従ってエッジ信号9009のエッジ9011を検出したとき、これと同じ位置にエッジ信号9010上のエッジ9012が存在するとき、これは路面上のエッジなので無視する。一方、エッジ信号9009のエッジ9013を検出し、かつこれと同じ位置にエッジ信号9010上のエッジが存在しないとき、次に検出されるエッジ9014までの距離dを検出し、このときのエッジ9013までの距離R1と、エッジ9013からエッジ9014までの距離dを距離推定手段8008へ出力する。
距離推定手段8008では、エッジ9013までの距離R1と、エッジ9013からエッジ9014までの距離dを基に実際の距離を推定する。図17(b)はその関係を示したものである。ここで、撮像手段1001の高さをH1、撮像手段1001から撮像手段3001までの高さの差をHdとし、前記入力のR1とdとから、実際の点の高さHと距離R’の関係は簡単な比例により下記2つの関係式[4]、[5]が求まる。
H*R1=(H1+Hd)*(R1−R’) …式[4]
H*(R1+d)=H1*(R1+d−R’) …式[5]
これらの関係式より、実際の点の高さHと距離R’は下記式[6]、[7]のように推定される。
R’=R1*(R1+d)*Hd/{R1*Hd+d*(H1+Hd)}…式[6]
H=H1*(H1+Hd)*d/{Hd*R1+(H1+Hd)*d}…式[7]
この推定された高さHと距離R’を障害物領域手段8009へ出力する。障害物領域手段8009は、この高さHが閾値以上のときの距離R’が入力されたとき、図17(c)に示されているように、走査線9008上の距離R’のところに線を引き、それより遠方を障害物領域と決定する。
オーバーレイ手段8004では、図17(c)に示されているように、撮像手段3001からの変換画像である図16(c)の上に、この障害物領域をオーバーレイ合成する。
距離・方向・路面変換手段8010は、このオーバーレイ合成された画像の距離・方向展開された座標を通常の上方から見た路面の画像に変換し、表示手段3009へ出力する。
表示手段3009に表示される画像は、図17(d)に示されているように、バンパーのような地面から離れた障害物でも実際の距離R1の位置に障害物領域として表示されるので、運転者はこれを見ることで、安全に運転することができる。
この実施の形態には以下の(1)〜(4)に記載したような利点がある。
(1)一度、距離・方向に展開した座標上に画像を変換するとき、カメラのレンズの歪みやカメラ取り付け角などの歪みを補正することができる。
(2)2つの入力画像同士で直接視差を検出するときは、これらの歪みを別途考慮する必要があるが、本実施の形態では、これを省略することができる。
(3)2つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収できる。
(4)路面投影した後でエッジなどを比較する場合は、距離方向にエッジ比較を行う必要があるが、路面投影画像では距離方向は一定ではないので、実際のハードでのメモリアクセスが煩雑になり、また障害物領域を決定するときも距離方向が一定でないので同様に実際のハードでのメモリアクセスが煩雑になる。しかし、ここでは、画像を一度、距離・方向に展開した座標上に画像を変換した状態で、エッジ比較と障害物領域決定を行っている。この変換画像上では距離方向を座標軸としているので、上述の操作が実際のハードで非常に簡単に実現できる。
このように、本発明の第3の実施の形態によれば、移動体に設置された複数の撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつ変換された画像間で一致しない領域を障害物領域として検出し、その障害物領域を示す信号を前記変換画像信号に合成し、表示することにより、障害物までの距離と方向をより判り易く正確に提示する。したがって、運転者は、表示された画像を見ることで、車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができる。
(第4の実施の形態)
本発明の第4の実施の形態の運転支援装置は、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分とを直観的に把握できるようにしたものである。
図18は、本発明の第4の実施の形態による運転支援装置のブロック図であり、図19は、その変形例のブロック図である。また、図20は、それらの動作を説明するための概略図である。図18および図19において、図7と同じ符号が付されたブロック要素は図7のブロック要素と同じ構成および機能を有する。
本実施の形態では、図18に示されているように1つの撮像手段1001から画像を入力する。そして、この入力画像を基に、画像投影手段10001において、路面データ手段3011のデータで路面に投影された位置に画像が合成されるが、このとき強度算出手段10002は、撮像手段1001のカメラパラメータ10003と路面データ手段3011のデータとの関係から路面へ投影する強度を算出し、決定する。
図20(a)に示されているように、撮像手段10001から1画素あたり一定の光線11001を仮定する。ここで、路面投影するときの強度Kを、その1画素が路面を投影する面積Aと、光線の路面への角度θから下記の式[8]のように計算する。
簡単に式[8]を説明すると、面積Aが大きいほど強度は減り、また路面への角度が垂直なほど強度は大きくなる。また強度は1.0でクリップされる。
K’=α・sin(θ)/S …式[8]
if(K’>1.0) K=1.0elseK=K’ここで、αは増幅強度で定数
この強度の算出により、図20(a)に示されているように、撮像手段1001の近辺の路面は、その強度が大きく、遠方は強度が小さくなる。この強度の値に従って合成された画像は、図20(b)に示されているように、撮像手段1001から一定の近辺の路面までは、強度Kが1.0であるので一定の明るさに合成され、そこから遠方に行くに従って、だんだん暗くなるように合成される。
撮像手段1001からの入力画像をこの強度に従って合成した画像は、図20(c)のように、歪みが大きく距離の誤差も大きい遠方の部分が暗く合成される。
運転者は、この合成画像を見ることで、従来例とは異なり、誤差が少なく正確な近辺の部分の合成画像をはっきり見ることができ、誤差と歪みの多い遠方については暗く合成されているので、その明るさに応じた確かさしか有しない情報であることが直感的に認識できる。したがって、障害物までの距離を正確に把握することはできないが、合成画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
図19に示されている変形例は、図18を複数の撮像手段を有するように拡張したものである。各撮像手段1001…10007の撮像画像は、それぞれのカメラパラメータ10003…10004と路面データ3011との関係から、強度算出手段10002…10005でそれぞれの路面投影への強度が算出・決定され、その強度に従って画像投影手段10001、10006で画像が合成される。
これらの路面投影合成された画像をさらに合成手段10007で1つの画像に合成する。このとき、それぞれの路面投影の強度に従った重みづけで合成が行われ、表示手段3009に表示される。表示される画像は、例えば図20(d)に示されているように、3つの撮像手段からの画像が1つの路面投影画像に合成されたものである。
このとき車両後方中央の撮像手段は高解像度なもので、左右の撮像手段は補助的なものとして低解像度なものを用いている。したがって、左右の撮像手段の投影する領域は1画素あたりの面積が大きいので、かなり近辺の領域しか明るく合成しない。一方、中央の撮像手段の投影する領域は1画素あたりの面積が比較的小さいので、遠方まで明るく合成できる。そして、両方の投影画像が重なる領域11002では、強度の大きい中央の撮像手段の投影画像が大きく重みづけられて合成されるので、より信頼性の高い画像が合成される。
運転者は、この合成画像を見ることで、複数の撮像手段からの合成画像であっても、画像中の部分部分の信頼度を直感的に把握でき、従来例と比較しても安全に車両を運転することができる。
このように、本発明の第4の実施の形態によれば、移動体に設置された撮像手段で撮像された画像を上方の仮想視点からの画像に変換し、かつその変換画像において正確で歪みの少ない部分を明るく合成し、歪みが大きく距離が不正確な部分が暗く合成することにより、運転者が画像中の信頼性の高い部分と低い部分を直感的に把握できるようにした。これにより、信頼性の低い部分の方向に車両を速く動かすといった危険な運転が防止され、その結果、より安全な運転を促すことができる。
なお、以上説明した第4の実施の形態では、算出された強度にしたがって画像の明るさのみを変化させたが、それ以外にも色づけなどを変化させても良い。また強度の小さな部分について灰色や白色を混ぜることで、霧のような効果を出すこともでき、この場合でも運転者が強度の少ない方向へ車を速く移動させることを防止できるので、安全な運転を促すことができる。
(第5の実施の形態)
本発明の第5の実施の形態運転支援装置は、撮像手段で撮像された画像を撮像手段からの距離または高さを座標とした中間画像に変換し、その中間画像間における一致しない領域の実際の距離を推定して位置を修正し、その修正された領域を障害物領域として検出し、その障害物領域を示す信号を中間画像中に合成し、この合成画像を通常座標画像に変換し、表示することにより、運転者が車両周囲の障害物の位置関係と周囲状況を直感的かつ正確に確認することができるようにしたものである。
図21は本発明の第5の実施の形態による運転支援装置のブロック図であり、図22〜26はその動作を説明するための図であり、図27は探索処理を説明するためのフローチャートである。図21において、図7と同じ符号が付されたブロック要素は図7のブロック要素と同じ構成および機能を有する。
本実施の形態では、撮像手段1001、3001は魚眼レンズを有し、その撮像画像はレンズ歪み補正・距離−高さ・方向画像手段13005、13006にそれぞれ入力される。レンズ歪み補正・距離−高さ・方向画像手段13005、13006では、入力画像は図22(1)に示されているように、撮像手段からの所定の距離Rmaxまでは路面に投影し、それ以遠は円筒に投影したと仮定し、図22(b)に示されているように、このときの路面上の距離Rまたは円筒上の高さHと方向θとで展開される座標の変換画像に変換される。
このとき撮像画像にレンズ歪みや取り付け角による歪みなどが含まれていた場合、この歪み量を予め計測しておき変換時に同時に補正する。例えば、図23(a)、(b)に示されている撮像画像図は、それぞれ同図(c)、(d)に示されているようになる。ここでは、前記路面上の所定の距離Rmax=300cmであり、また、図22(a)に示されているRmin=0cm、Hmax=200cmである。
エッジ抽出手段13007では、前記それぞれの変換画像について垂直方向に5画素離れた信号の差分をとる操作により、水平エッジを抽出する。図24(a)、(b)にそれぞれレンズ歪み補正・距離−高さ・方向画像手段13005、13006の出力の変換画像の水平エッジが抽出された画像の様子を示す。ここで、図24(a)が上方の撮像手段3001からのものであり、図24(b)が他方のものである。図の中で破線14007で示されているように、垂直に近い斜めのエッジは弱められ、太い実線14008で示されているように、水平エッジは強調される。
水平ブロックマッチング・距離推定手段13008は、このエッジ位置を走査線14001に従って走査し、エッジの極大点14002を検出すると、その極大点を中心とした縦横10画素の範囲のブロック14003の画像信号を記憶する。
次に、図24(b)に示されているエッジ画像について、前記走査線14001と同じ水平位置の走査線14004上で、図21に示されている探索範囲データ手段13012に従った範囲で、前記記憶したブロック14003と最も類似したデータを持つブロック14006を検出する。このとき、ブロック14006の中心点14005と前記エッジの極大点14002の垂直位置との差を変換画像上での視差データとして距離が推定される。
このときの、探索範囲データ手段13012と、水平ブロックマッチング・距離推定手段13008の動作を、図27のフロー図を基にしてさらに詳しく説明する。探索範囲データ手段13012には、ブロック14003の中心位置14002の垂直位置に対応したデータが格納されている。図25(a)の点14013に示されているように、上方の撮像手段3001から見た点14002の位置が路面に対応している場合(点14002の位置が、図24(a)のRmaxより下の場合)、路面上の点14013と撮像手段からの距離50cmの点14014とをそれぞれ下方の撮像手段1001で見たときの変換画像上(図25(b))での垂直位置14015、14016が探索範囲データ手段13012に記憶されている(ただし、このとき、路面上の点14013を下方の撮像手段1001で見たときの垂直位置14015は、両画像とも路面を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。)。
また、図25(a)に示されているように、上方の撮像手段3001から見た点14002の位置が円筒に対応している場合(点14002の位置が、図24(a)のRmaxより上の場合)、無限遠点14017と円筒上の点14018と撮像手段からの距離50cmの点14019とをそれぞれ下方の撮像手段1001で見たときの変換画像上での垂直位置14020、14021、14022が探索範囲データ手段13012に記憶されている(ただし、このときも、円筒上の点14018を下方の撮像手段1001で見たときの垂直位置14021は、両画像とも円筒を仮定して変換画像を合成しているので点14002の垂直位置と同じになる。)。
これらの探索範囲データを元に、図27に示されているフローに従って、探索処理が行われる。
まず、点14002の位置が路面に対応するか円筒に対応するかを判断する(ステップS1)。
そして、路面に対応すると判断した場合(ステップS1でYES)、まず垂直位置14015でブロックの信号の差の絶対値の集計(SAD)を求め(ステップS2)、そのSAD値が閾値THよりも小さい場合(ステップS3でYES)、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは路面上のエッジであるとの判断出力を行って処理を終わる(ステップS4)。前記SAD値が閾値THよりも大きい場合(ステップS3でNO)、垂直位置14015から14016の範囲でSAD値が最小となる位置を探索する(ステップS5)。最小となったSAD値が閾値THよりも小さい場合(ステップS6でYES)、その位置と点14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる(ステップS7)。最小となったSAD値が閾値THよりも大きい場合(ステップS6でNO)、一致する水平エッジが存在しないとの判断出力を行って処理を終わる(ステップS8)。
円筒に対応すると判断した場合(ステップS1でNO)、まず垂直位置14020から14021までの範囲でSAD値の最小値を求め(ステップS9)、そのSAD値の最小値が閾値THよりも小さい場合(ステップS10でYES)、ブロックデータが一致したと判断し、この場合、点14002の水平エッジは円筒までの距離Rmaxより遠方であるとの判断出力を行って処理を終わる(ステップS11)。前記SAD値が閾値THよりも大きい場合(ステップS10でNO)、垂直位置14021から14022の範囲でSAD値が最小となる位置を探索する(ステップS12)。最小となったSAD値が閾値THよりも小さい場合(ステップS13でYES)、その位置と14002の垂直位置との差を視差データとして距離と路面からの高さが求まるので、それを出力して処理を終わる(ステップS14)。最小となったSAD値が閾値THよりも大きい場合(ステップS13でNO)、一致する水平エッジが存在しないとの判断出力を行って処理を終わる(ステップS15)。
以上の処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
障害物境界手段13009では、図27に示されているように、距離と高さが検出された水平エッジについて、その高さが20cm以上のものを障害物のエッジと判断し、図25(c)に示されているように、距離R’の場所に線を引き、その結果、水平エッジの集合は障害物境界を示す線14023となる。
画像投影手段13010では、別途撮像手段3001の画像を基に直接上方仮想視点から見た画像が合成され、オーバーレイ手段13004では、図25(c)に示されているように、画像投影手段13010から画像の上に、この障害物をオーバーレイ合成する。
このオーバーレイ合成された画像が、表示手段3009に表示される。表示される画像は、図25(c)に示されているように、バンパーのように地面から離れた障害物が存在しても実際の距離の位置に障害物境界の線が表示されるので、運転者はこれを見ることで安全に運転することができる。
この実施の形態には以下の(1)〜(8)に記載したような利点がある。
(1)一度、距離・方向に展開した座標上に画像を変換するとき、撮像手段のレンズの歪みや撮像手段の取り付け角などの歪みを補正することができる。
(2)2つの入力画像同士で直接視差を検出するときは、これらの歪みを別途勘案する必要があるが、これを省くことができる。
(3)2つの撮像手段の視野角等が異なる場合も、同様にこの操作によってその違いの影響を吸収することができる。
(4)また、図22(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、撮像手段に対し高い位置にあるため路面投影画像では現れないような障害物も検出でき、表示画像上にその障害物境界線を表示することができる。
(5)図27に示されている処理フローによって、障害物と関係ない、路面上や遠方の水平エッジは、少ない処理で判断・除去でき、障害物に関係するエッジのみ多くの処理が発生するので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
(6)探索範囲データ手段13012を設けることで、必要な範囲だけ探索できるので、全体的に非常に少ない処理で、障害物に関係するエッジの距離と高さが算出できる。
(7)図22(a)に示されているように、路面に加えて円筒を仮定した変換画像を用いることで、探索範囲データは水平エッジ14002の垂直位置のみで決定され、水平位置には依存しないので、そのメモリ量を非常に少なくすることができる。
例えば、従来のように魚眼レンズを有する撮像手段の画像をそのまま用いてステレオマッチングを行う場合、その探索範囲は図26に示されているように、画面の垂直位置と水平位置に依存した曲線14024、14025になってしまう。この曲線のデータを記憶するためには非常に多くのメモリを必要とする。本実施の形態では、このメモリを非常に少なくすることができ、かつ単純な構成で実現できる。
(8)従来のステレオマッチングでは、この曲線の位置は、厳密には画素単位以下の精度を必要とするが、実際の探索におけるSAD値の算出においては、画素単位の位置精度でしか求めることができないので、この量子化ノイズが悪影響を及ぼす。本実施の形態では、その悪影響も回避することができる。
図28(a)〜(c)は、第5の実施の形態のバリエーションを説明するものである。図22(a)、(b)に示されている路面と円筒の投影面の代わりに、図28(a)、(b)に示されているように上方の撮像手段3001の位置を中心とした球面を投影面としてもよい。また、図28(c)に示されているように、変換画像の横軸は必ずしも角度θでなくてもよく、関数F(θ)で圧縮したものでも良い。
図29(a)は、第5の実施の形態の別のバリエーションを説明するものである。ここで、上方の撮像手段3001の解像度は640x480画素のものとし、ステレオマッチングにしか使用しない下方の撮像手段1001は320x480画素とする。このことで、表示用の合成画像は高解像度で、かつ障害物境界は必要十分な精度で検出でき、撮像手段の構成を安価なものにできる。
図29(b)は、第5の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の同じ軸上に撮像手段18001を加え、障害物と検知されたエッジについて、さらに撮像手段18001の画像をもって検証することによって、ノイズを低減できるようにした。
図29(c)は、第5の実施の形態のさらに別のバリエーションを説明するものである。撮像手段3001、1001の軸上とは別位置に撮像手段18002を加えることによって、水平エッジ以外の垂直エッジも使用して障害物を検知することができるようにした。
図30(a)〜(c)は、第1〜第5の実施の形態において、上下2つのカメラで構成していたステレオ画像の撮像を1つのカメラで構成したものである。図30(a)は、レンズ1904の前に複数の鏡1901〜1903を配置することにより、1つの撮像面1905上の左右に、それぞれ視差のあるステレオ画像を得るものである。また、図30(b)は、2つの凸面鏡1906、1907をカメラ1908で撮像することによって、実質上、上下に視差のある画像を得るものである。そして、図30(c)は、図30(b)のカメラ1908で撮像される画像を示すもので、画面1909には、上に位置する凸面鏡1907で写した画像1910と、下に位置する凸面鏡1906で写した画像1911とが表示される。
ここで、凸面鏡1906、1907の曲率を調節することによって、撮像範囲と撮像画像の解像度を調節することができる(垂直方向と水平方向を独立に調節することもできる)。
また、図30(b)では、凸面鏡1906と1907で撮像される角度の範囲はほぼ同じであるが、凸面鏡1906は凸面鏡1907に比較して曲率が大きく、小さな鏡で同じ範囲を撮像できるようになっており、このため、画面1909で画像1911は画像1910より小さく写っている。その結果、画像1910は高解像度であり、画像1911は比較的低解像度となる。画像1911は、視点変換の合成画像用に用いられ、画像1910はステレオ解析のみに用いられる。
つまり、この合成によって、前述した図29の第5の実施の形態の別のバリエーションで説明したものと同様に、表示用の合成画像は高解像度で、かつ障害物領域は必要十分な精度で検出でき、カメラおよび画像処理装置を安価なものにできる。
以上図30(a)〜(c)を用いて説明したように、第1〜第5の実施の形態において、上下2つのカメラで構成していたステレオ画像の撮像を凸面鏡や反射鏡を用いて、1つのカメラで構成してもよい。
なお、上述した第1〜第5の実施の形態においては、本発明の運転支援装置は、主として、後方の画像を生成するものであるとして説明したが、これに限るものではなく、前方や側方での画像を生成するものとしても良い。
また、上述した第1の実施の形態においては路面モデルを用いた仮想視点による画像合成を基にした例を説明し、第2の実施の形態においては路面モデルを用いた上方からの直交投影による画像合成を基にした例を説明したが、これはそれぞれ他方のものを基にしても良く、その場合でも本発明の運転支援装置の効果は変わりなく得られる。
さらに、本実施の形態の運転支援装置の各手段の機能の全部または一部をコンピュータに実行させるプログラムを用いて実現できる。