JP2009212734A - 自動校正単眼ステレオ視装置 - Google Patents

Abstract

【課題】１つのカメラの撮影画像でトップビュー画像を形成する際、カメラの設置位置や画角が変更しても自動的にこれを校正できる「自動校正単眼ステレオ視装置」とする。
【解決手段】車外を撮影する１つのカメラの撮影画像を取り込み、任意に設定可能な基準面設定部で設定した基準面を用いて、車両上方に視点のあるトップビュー画像を形成する。その際、車両移動前後の２枚の画像において共通する複数の特徴点を抽出し、共通特徴点の現在の仮基準面における車両前後の３次元位置の移動量を検出し前記特徴点の車両移動前後の３次元位置を一致させるために必要な３次元移動量を演算し、その演算結果により、トップビュー画像形成部における現在の仮基準面を補正する。またその補正基準面を用いた画像に基づいて立体物検出処理を正確に行う。
【選択図】図１

Description

本発明は車両に搭載した外部を撮影する１つのカメラの画像を用い、車両の移動によりステレオ視画像を形成して車両周囲を見やすく表示し、立体物を検出するに際して、カメラの画角のずれを自動校正して正確に表示することができるようにした自動校正単眼ステレオ視装置に関する。

近年車両には、例えば後方を撮影するカメラを搭載し、車両のバック時にモニタにそのカメラ画像を表示して運転者の補助を行い、また車両の前方左右に設置したカメラにより、車両が狭い道路から交差点に出るときに、モニタにそのカメラ画像を表示して運転者の補助を行う等、車両に種々のカメラを搭載して、車両の周囲を撮影し、運転の補助にすることが広く行われるようになっている。

また、車両の周囲を広域に撮影する広角カメラの画像をそのまま表示すると見にくい画像となるため、その画像データを処理して車両の上方に視点がある画像に変換し、モニタにその画像を表示する、通称トップビューシステムによる画像表示手法も採用されるようになっている。このようなトップビューシステムにおいては、例えば車両の前後左右を撮影する４個のカメラの撮影画像を合成処理して、車両の上方に視点がある１つの画像を形成する手法も開発されている。

トップビューシステムとしては前記のような多数のカメラの画像を合成処理するほか、例えば非特許文献１に記載しているように、車両に１つのカメラを搭載して車両の周囲を撮影しこれをトップビュー表示するとともに、車両の移動によって得られる２枚の画像によって画像内の物体の距離測定を行い、立体物の輪郭を検出する単眼ステレオ視技術も提案されている。この手法によると、例えば図９に示すように、車両Vの後方にカメラCを搭載し、後方を撮影するとき、同図（ｂ）のように移動前では車両後方の矩形範囲（ｄａ、ｅａ、ｆａ、ｇａ）から、移動後では同様に矩形範囲（ｄｂ、ｅｂ、ｆｂ、ｇｂ）を撮影し、各画像をトップビュー画像に変換して表示する。また、２枚の撮影画像そのものを用い、或いはトップビュー画像を２枚用いて立体物２１を検出し、トップビュー画像にこれを表示することができるようになる。
ＳＥＩテクニカルレビュー、２００６年７月、１６９号ｐ．８２−８７「車載カメラを用いた単眼測距検証システムの開発」滝本周平・伊藤崇晶

前記従来の単眼ステレオ視手法においては、多数のカメラを用いることなく１つのカメラにより立体物を容易に検出することができ、安価なシステムとすることができるものであるが、カメラで撮影した画像をトップビュー画像に変換する際、車両の特定位置にカメラを設置し、予め設定した所定の画角で車両の外部を撮影し、撮影した画像に基づいて画面中の物体の距離測定を行うものであり、予め設定した理想の状態で撮影したカメラの画像を用いて距離測定を行っている。

しかしながら、実際の車両においては車両の特定の位置で所定の画角でカメラを設置したとしても、車両に多数の人が搭乗し、また多くの荷物を積んだときには車体は降下し、また、車両の前後方向に傾斜することもある。更には、車内に搭乗した人が車両の片側に偏って乗っているときのように、車両が左右方向に傾いているときもある。また、車両に設置したカメラは振動等により次第に設置状態が変化することもある。

このように車両は前記のような理想の状態に常に存在するとは限らず、カメラの高さが変化し、また車両の傾きと共に撮影方向としての画角は移動するため、前記のような理想の状態であることを前提として距離測定を行うと正しい測定を行うことができず、そのため得られた立体物の画像は実際のものとは異なった物となる。

したがって本発明は、車外を撮影する１つのカメラの撮影画像を用いてトップビュー画像を形成する際、カメラの設置位置や画角が変更しても自動的にこれを校正し、常に理想的な状態を維持してステレオ視画像を得ることができ、正確な立体物検出を行うことができるようにした自動校正単眼ステレオ視装置を得ることを目的とする。

本発明に係る自動校正単眼ステレオ視装置は上記課題を解決するため、車外を撮影する１つのカメラの撮影画像を取り込む車外撮影カメラ画像取込部と、前記車外撮影カメラ画像取込部で取り込んだ画像を、任意に設定可能な基準面に対する画像として車両上方に視点のあるトップビュー画像を形成するトップビュー画像形成部と、車両移動前後の２枚の画像において共通する複数の特徴点を抽出する共通特徴点抽出部と、前記共通特徴点抽出部で抽出した共通特徴点の、現在の仮基準面における車両前後の３次元位置の移動量を検出する特徴点移動量検出部と、前記特徴点の車両移動前後の３次元位置を一致させるために必要な３次元移動量を演算する特徴点一致化演算部と、 前記特徴点一致化演算部での演算結果により、トップビュー画像形成部における現在の仮基準面を補正するデータを出力する基準面補正データ演算出力部とを備えたことを特徴とする。

また、本発明に係る他の単眼ステレオ視装置は、前記単眼ステレオ視装置において、前記トップビュー画像形成部で取り込む車両移動前後の画像により立体物を検出する立体物検出手段を備え、前記立体物検出手段は、前記基準面補正データ演算出力部からの補正データにより補正した基準面を用いたトップビュー画像を用いて立体物を検出することを特徴とする。

また、本発明に係る他の単眼ステレオ視装置は、前記単眼ステレオ視装置において、前記共通特徴点抽出部で抽出する特徴点は３個であることを特徴とする。

また、本発明に係る他の単眼ステレオ視装置は、前記単眼ステレオ視装置において、前記現在の仮基準面を補正するデータを演算する処理を繰り返すことにより、仮基準面を正規基準面に近づけることを特徴とする。

本発明は上記のように構成したので、車外を撮影する１つのカメラの撮影画像を用いてトップビュー画像を形成する際、カメラの設置位置や画角が変更しても自動的にこれを校正し、常に理想的な状態を維持してステレオ視画像を得ることができ、またこの画像を用いることにより正確な立体物検出を行うことができる。また、本発明による一連の処理を繰り返すことにより、誤差が減少し、より高精度のステレオ視画像を得ることができる。更に、本発明による手法においては追加のハードウエアをいっさい必要とせず、安価で対応の容易な自動校正単眼ステレオ視装置とすることができる。

本発明に係る単眼ステレオ視装置は、車外を撮影する１つのカメラの撮影画像を用いてトップビュー画像を形成する際、カメラの設置位置や画角が変更しても自動的にこれを校正し、常に理想的な状態を維持してステレオ視画像を得ることができ、またこの画像を用いることにより正確な立体物検出を行うという目的を、車外を撮影する１つのカメラの撮影画像を取り込む車外撮影カメラ画像取込部と、前記車外撮影カメラ画像取込部で取り込んだ画像を、任意に設定可能な基準面に対する画像として車両上方に視点のあるトップビュー画像を形成するトップビュー画像形成部と、車両移動前後の２枚の画像において共通する複数の特徴点を抽出する共通特徴点抽出部と、前記共通特徴点抽出部で抽出した共通特徴点の、現在の仮基準面における車両前後の３次元位置の移動量を検出する特徴点移動量検出部と、前記特徴点の車両移動前後の３次元位置を一致させるために必要な３次元移動量を演算する特徴点一致化演算部と、 前記特徴点一致化演算部での演算結果により、トップビュー画像形成部における現在の仮基準面を補正するデータを出力する基準面補正データ演算出力部とを備えることにより実現した。

本発明の実施例の説明に際し、前提となる点について説明する。先ず車載カメラで斜め上方向から路面を撮像した後、真上から見た路面画像に視点変換する処理を「トップビュー」と呼ぶ。このトップビューにおいては車載カメラによる撮影画像は、路面を基準として視点変換する。トップビューが路面とみなしてもっている仮想的な平面を「基準面」と呼ぶ。この仮想的な平面である基準面は、予め校正を行うことで実際の路面とこの基準面とを一致させるものであるが、カメラの取り付け位置の変動、或いは、乗車人員や積載量の変動、タイヤ空気圧の変動等により、使用状態でずれが発生する。前記基準面の精度を３つのパラメータとして表すこととし、例えば、基準面をｘｙ平面とすると、ｘｙ平面の原点とカメラ中心までの路面からの高さをｈ、ｘｙ平面のｘ軸と路面との角度をθｘ、ｘｙ平面のｙ軸と路面との角度をθｙとするとき、θｘ、θｙはカメラ光軸と路面との相対角度を表している。それにより基準面データは（ｈ、θｘ、θｙ）の関数として表される。したがって、本発明においては、後述する手法により基準面データ（ｈ、θｘ、θｙ）の自動校正を行うものである。

次に本発明の実施例を図面に沿って説明する。図１は本発明の実施例の機能ブロック図であり、後に詳述するような各種作動を行うための機能ブロックについて、相互の関連を図示している。図１に示す例においては、例えば車両Ｖの後部を撮影するカメラ１の撮影画像を、車外撮影カメラ画像取込部２で取り込み、これをトップビュー画像形成部３に出力している。トップビュー画像形成部３においては、カメラ１の撮影画像を、車両の上方に視点のある画像に変換する処理を行うものであって、その際にはカメラの撮影画像の撮影面を、トップビュー画像の基準面に変換処理を行うため、その処理に必要なトップビュー表示を行う基準面はトップビュー基準面設定部４で設定可能としている。なお、従来のトップビュー画像形成に際しては、前記従来技術で述べたように、予め定めた理想状態の面を基準面として設定しておき、全てこの基準面を用いて処理を行っているものであるが、本発明においてはこの基準面をカメラの位置や画角の状態に適合するように、トップビュー基準面設定部４でカメラの撮影画像を利用して自動校正するものである。

図１に示す立体物検出部５においては、トップビュー画像形成部３で形成した異なる視点の２つの画像の差分から立体物の画像を検出し、特に車両の走行に障害となる物体であるときには、警報出力部６から運転者に対して警報を出力できるようにしている。また、画像出力部７においては、トップビュー画像形成部３で形成した画像と、立体物検出部５で障害物となる立体物を検出したときにはその立体物を強調表示する等、適宜の表示手法を加えてモニタ８に表示する。図１に示す例においては、モニタ８において立体物である障害物９が検出されたことを示している。

トップビュー画像形成部３で形成した画像は、図１に示す例においてはトップビュー基準面補正データ作成処理部１０に出力しており、特にその中の特定画像取込部１１に取り込まれる。特定画像取込部１１においては、前記のようなトップビュー画像において、或いはトップビュー画像処理を行う前の画像を用い、カメラのできる限り直下部分の画像を選択して取り込む。このようなカメラ直下近傍の画像はカメラから至近距離であるので、カメラの取り付け誤差の影響が少なく、後述する基準面補正処理を速く正確に行うことができる。

上記のような特定部分の画像について、撮影時刻がｔ＝ｔ１の第１の時刻において取り込んだ画像を第１取込画像１２とし、ｔ１から短時間後のｔ＝ｔ２の時刻において取り込んだ画像を第２取込１３として共通特徴点抽出部１４に出力する。共通特徴点抽出部１４においては、近接した時刻の２枚の画像である第１取込画像１２と第２取込画像１３とにおいて、共通の特徴点Ｐ１〜Ｐ４を抽出する。また、ｔ１とｔ２の間をΔｔづつｎ個に分割した時間間隔においても、ここにおいて順に取り込む。

移動量検出部１５においては、車両の移動量を各種センサーを用いることなくトップビュー画像から検出することができるようにしているものであり、共通特徴点抽出部１４で抽出したｔ１とｔ２の間におけるΔｔ毎に、２枚のトップビュー画像に基づいて、カメラ直下近傍の共通特徴点Ｐ３、Ｐ４について移動量を検出し、これを積算することによってほぼ正確は車両、即ちカメラの移動量を検出する。この作動は後述する図２に示すトップビュー基準面自動校正処理の作動フローにおいて、主としてステップＳ１〜１０の処理を行うことにより、自車即ちカメラの移動量を検出する。この移動量は構成処理中の基準面に基づくとき日は、仮の移動量、即ち仮移動量となる。

特徴点一致化演算部１６では、共通特徴点抽出部１４で抽出したｔ１とｔ２の２枚のトップビュー画像における共通特徴点Ｐ１とＰ２について、また移動量検出部１５で検出したＰ３、Ｐ４等の点の移動も加味し、特に移動量検出部１５で検出した前記移動量Ｌだけ移動した画像と各点が一致しているか、またどの程度一致しているかを演算する。この作動は図３に示す演算した仮移動量Ｌによる基準面校正処理における、ステップＳ２１〜２５の処理を行う。

基準面補正データ演算出力部１７では、特徴点一致化演算部１６で共通特徴点Ｐ１とＰ２、またＰ３（Ｐ４）について、２つの画面上で移動量Ｌ移動させたときに一致していないとき、一致させるために必要な基準面補正データを演算して、トップビュー画像形成部３の特にトップビュー基準面設定部４に出力する。それによりトップビュー画像形成部３ではその後この補正された基準面に基づき、より正しい基準面に基づいてトップビュー画像を形成する。

上記のような機能ブロックからなる本発明においては、例えば図２及び図３に示す作動フローにしたがって順に作動することにより実施することができる。即ち図２に示すトップビュー基準面自動校正処理においては、最初基準面の仮設定を行う（ステップＳ１）。このときの基準面は前記のように（ｈ、θｘ、θｙ）で表すことができ、最初は車両にトップビューシステムを搭載するときに、車両のメーカーやディーラー等によって設定され、その後は本発明による図３のステップＳ２７から得られる校正基準面データが用いられる。次いでこのトップビュー基準面自動校正処理の処理開始時点ｔ＝ｔ１において、カメラ撮影画像ｇ１の取り込みを行う（ステップＳ２）。

その後微少時間Δｔ後、即ちｔ＝ｔ＋Δｔ後に、次のカメラ撮影画像ｇ２の取り込みを行う（ステップＳ３）。このときのΔｔは、後述する図３の基準面校正処理においてｔ１とｔ２で２枚の画像を取り込むとき、この時間間隔をｎ個に分割した微少時間とする。次いで２枚の画像から共通する特徴点Ｐ３及びＰ４を抽出する。この特徴点Ｐ３及びＰ４は例えば図４に示すように、カメラＣのできる限り直下部分から選択する（ステップＳ４）。なお、図４（ｂ）には車両ＶにおけるカメラＣで撮影した矩形の路面撮影部分（ｄ、ｅ、ｆ、ｇ）について、移動前のｔ＝ｔ１の状態を（ｄａ、ｅａ、ｆａ、ｇａ）で表し、移動後のｔ＝ｔ２の状態を（ｄｂ、ｅｂ、ｆｂ、ｇｂ）で表している。

この矩形の路面撮影部分において共通する特徴点はＰ１〜４で表しており、移動前は同図（ｃ）のようにＰａ１、Ｐａ２、Ｐａ３、Ｐａ４で示し、移動後は同図（ｄ）のようにＰｂ１、Ｐｂ２、Ｐｂ３、Ｐｂ４で示している。また同図（ｂ）に示すように、ｔ１とｔ２との間を微少時間Δｔで分割した状態を示している。同図に示すように、前記Δｔ毎に撮影画像が取り込まれる特徴点Ｐ３及びＰ４は特にカメラに近接した点を選択し、ｔ１とｔ２おいて撮影画像が取り込まれる特徴点Ｐ１、Ｐ２は互いに離れた点であり、またＰ３（またはＰ４）とも離れた点を選択する。

その後、現状基準面データ（ｈ、θｘ、θｙ）でトップビュー変換を行う（ステップＳ５）。それにより自車カメラからのＰ３、Ｐ４の位置が、トップビュー画像として求められる。次いでこのようにして得られた２枚のトップビュー画像において、共通の特徴点Ｐ３とＰ４とを一致させるようにずらせて重ねる（ステップＳ６）。その際には例えば一つの特徴点Ｐ３（Ｐａ３とＰｂ３）を重ね合わせた状態で、この点を中心に回転し、互いに最も近接したＰ４（Ｐａ４とＰｂ４）の位置を検出することによって行うことができる。このとき、基準面データが正しければ、トップビュー変換した路面上の共通点Ｐ３とＰ４は完全に一致する画像移動が可能となる。

次いで、ｔ及びｔ＋Δｔにおける自車カメラ位置を求めて両位置の差分をカメラ位置移動量ΔＬとする（ステップＳ７）。このときのΔＬは、路面に平行な平面上のベクトルとなる。その後これらの一連の処理をｎ回繰り返したか否かを判別する（ステップＳ８）。ここで未だｎ回繰り返していないと判別したときには、先のｔ＋Δｔをｔにリセットすると共に、先の画像ｇ２をｇ１にリセットする（ステップＳ１０）。その後再びステップＳ３に戻って、先のｔ＋Δｔから更に微少時間Δｔ経過した後にカメラ撮影画像ｇ２の取り込みを行う作動以降、前記作動を繰り返す。

ステップＳ８においてｎ回繰り返したと判別したときには、ｔ１からｔ２＝ｔ１＋ｎΔｔ迄の時間間隔であるｎ×Δｔにおける自車移動量、即ちカメラ移動量をＬ＝ΣΔＬの式で求める（ステップＳ９）。このときの移動量Ｌは路面に平行な平面上のベクトルとなる。このように、時間間隔を小さくΔｔとすることで、自車の移動に伴うカメラ視点の変化が少なくなり、視点変化による誤差を小さくすることができるものであるが、仮基準面のデータを用いてトップビュー変換して得た画像による距離であるので、必ずしも正確ではないため、これを仮移動量Ｌとしている。その後、前記のようにして演算した仮移動量Ｌによる基準面校正処理を行う（ステップＳ１１）。この処理は図３に示している。

図３に示す演算した仮移動量Ｌによる基準面校正処理においては、最初ｔ＝ｔ１とｔ２の２枚の画像を取り込む（ステップＳ２１）。この画像は前記図２におけるステップＳ２のｔ＝ｔ１で取り込んだ画像と、ステップＳ８でｎ回繰り返したと判別したときに存在する画像であるｔ＝ｔ２の画像を取り込む。次いで２枚の画像に共通な共通特徴点Ｐ１、Ｐ２を抽出する。その際には共通特徴点Ｐ１、Ｐ２は例えば図４に示すように、できる限り前記Ｐ３、Ｐ４とは離れたものであって、またＰ１とＰ２もできる限り離れたものを選択することが好ましい。

その後現在の基準面データ（ｈ、θｘ、θｙ）を用いてトップビュー変換を行う（ステップＳ２３）。次いで前記トップビュー変換した２枚の画像を、図２のステップＳ９で計算した仮移動量Ｌだけずらせて重ね合わせる（ステップＳ２４）。その後Ｐ３（或いはＰ４）と、Ｐ１、Ｐ２の３点が一致するか否かを判別する。即ち、前記２枚の画像を重ね合わせて、例えばＰ３を一致させた状態で回転移動し、回転前のＰ１であるＰａ１と回転後のＰｂ１との距離と、回転前のＰ２であるＰａ２と回転後のＰｂ２との距離を足した値が最も少ない状態を検出することによって実施することができる。

次いで、Ｐ３（またはＰ４）、Ｐ１、Ｐ２の３点が一致するか否かの判別を行い（ステップＳ２５）、一致しないときには基準面（ｈ、θｘ、θｙ）を微少量修正する（ステップＳ２６）。その修正に際しては、前記３点ができる限り一致する方向でｈ、θｘ、θｙの値の微少量修正を行う。そのときには例えば前記のような回転移動を行ってＰ１、Ｐ２ができる限り一致する状態にし、そこでＰａ１とＰｂ１の距離がＰａ２とＰｂ２の距離よりも大きく離れているときには、Ｐａ１とＰｂ１の方を近づけるように修正する、等の操作によっても実施することができる。その後ステップＳ２５でＰ３（又はＰ４）、Ｐ１、Ｐ２の３点が一致すると判別したときとともに、前記図２のステップＳ２に戻り（ステップＳ２７）、以降はステップＳ３から前記作動を繰り返す。

上記のように図２のステップＳ２〜Ｓ９において、現状の基準面データを用いて仮移動量Ｌを求めるものであるが、それ以降に図３のステップＳ２１〜２６の処理によって基準面データが修正されるため精度が向上する。この修正後の基準面データで再度仮移動量Ｌを求め直すとＬの精度が更に向上する。このように前記作動を繰り返すことにより基準面データ及び仮移動量Ｌの精度が繰り返し向上する。したがって、車両への物の積載、乗車人員の変化、タイヤ空気圧の変動等によるカメラと路面とのずれを自動的に補正することができる。

本発明の実施例の機能ブロック図である。 同実施例においてトップビュー基準面自動校正処理の作動フロー図である。 同作動フローにおいて、トップビュー基準年の自動校正処理を行う作動フローズである。 車両移動前後の車両後部撮影状態の説明図である。 従来の単眼ステレオ視画像形成手法を示す図である。

符号の説明

１ カメラ
２ 車外撮影カメラ画像取込部
３ トップビュー画像形成部
４ トップビュー基準面設定部
５ 立体物検出部
６ 警報出力部
７ 画像出力部
８ モニタ
１０ トップビュー基準面修正データ作成処理部
１１ 特定画像取込部
１２ 第１取込画像
１３ 第２取込画像
１４ 共通特徴点抽出部
１５ 移動量検出部
１６ 特徴点一致化演算部
１７ 基準面補正データ演算出力部

Claims (4)

1. 車外を撮影する１つのカメラの撮影画像を取り込む車外撮影カメラ画像取込部と、
   前記車外撮影カメラ画像取込部で取り込んだ画像を、任意に設定可能な基準面に対する画像として車両上方に視点のあるトップビュー画像を形成するトップビュー画像形成部と、
   車両移動前後の２枚の画像において共通する複数の特徴点を抽出する共通特徴点抽出部と、
   前記共通特徴点抽出部で抽出した共通特徴点の、現在の仮基準面における車両前後のトップビュー画像上の移動量を検出する特徴点移動量検出部と、
   前記特徴点及び、前記特徴点以外の少なくとも２つの特徴点の各々の車両移動前後のトップビュー画像位置を一致させるように基準面データを補正する特徴点一致化演算部と、
   前記特徴点一致化演算部での演算結果により、トップビュー画像形成部における現在の仮基準面を補正するデータを出力する基準面補正データ演算出力部とを備えたことを特徴とする自動校正単眼ステレオ視装置。
2. 前記トップビュー画像形成部で取り込む車両移動前後の画像により立体物を検出する立体物検出手段を備え、
   前記立体物検出手段は、前記基準面補正データ演算出力部からの補正データにより補正した基準面を用いたトップビュー画像を用いて立体物を検出することを特徴とする請求項１記載の自動校正単眼ステレオ視装置。
3. 前記共通特徴点抽出部で抽出する特徴点は３個であることを特徴とする請求項１記載の自動校正単眼ステレオ視装置。
4. 前記現在の仮基準面を補正するデータを演算する処理を繰り返すことにより、仮基準面を正規基準面に近づけることを特徴とする請求項１記載の自動校正単眼ステレオ視装置。

Images