JP2012504889A - 画像取込装置の較正方法および較正システム - Google Patents

Abstract

【課題】車両が移動している間に、画像取込装置の調整不良やオフセットを較正することのできる方法およびシステムを提供する。
【解決手段】車両が移動している間に、理想位置および理想角度方向からのオフセットに対して、前記車両に搭載された画像取込装置２を較正するシステム１であって、連続的に取り込まれた複数の画像フレーム１４ａ〜１４ｄを通して追跡可能な自動車に対する静止物体の取り込まれた画像フレーム１０から、１つの画像１２を選択し、目標画像１２ｂが連続的に取り込まれた画像フレーム１４ａ〜１４ｄに現れるべき位置を予測し、連続的に取り込まれた前記画像フレーム１４ａ〜１４ｄにおける目標画像の実際の位置１２ａを、予測された位置１２ｂと比較し、各画像フレーム１４ａ〜１４ｄにおける目標画像の実際の位置１２ａと予測された位置１２ｂとが一致しない場合、比較の結果から、カメラ２の較正値を決定する。
【選択図】図３

Description

本発明は、車両が移動している間に、画像取込装置の理想的な水平位置もしくは鉛直位置、または、画像取込装置の焦点軸の回りにおける理想的な角度方向の少なくとも１つからのオフセットに対する、例えば自動車に搭載された画像取込装置の較正方法および較正システムに関する。特に、本発明は、画像取込装置の理想的な位置、および焦点軸の回りの理想的な角度方向の両方からのオフセットに対して、自動車のサイドミラー、または自動車の前部もしくは後部に装着することのできる画像取込装置の較正方法および較正システムに関する。

ドライバを支援するため、自動車に1つ以上の画像取込装置を設けることは、益々一般的になってきている。このような画像取込装置は、アナログカメラまたはデジタルカメラとすることができる。代表的なカメラは、ＣＭＯＳカメラまたはＣＣＤ（charge coupled device）カメラである。このようなカメラは、自動車の後部、自動車のサイドミラー、または自動車の前部に装着することができる。通常、このようなカメラは、自動車の外部に配置されるが、自動車の内部に配置することもできる。このようなカメラは、自動車の後部またはサイドミラーに装着して、一般に鳥瞰画像と言われる、車両の後部に近接した領域、および車両の反対側の下方向の平面画像を提供するのに用いられる。このような平面画像は、制限された場所で車両を操縦するドライバを補助するため、ダッシュボードに装着された視覚表示スクリーンに表示される。また、後部に装着されたカメラは、車両が速度を速めて後退する場合、ドライバに提供される画像の視野が、車両の後部から広って、視覚表示スクリーン上で増大するように変化する状態をドライバに示すもので、適切な画像プロセッサによって処理できる画像を生成させることができる。

前部に装着されるカメラは、通常、車両の前方、または、車両の両側方を見る視覚表示スクリーン上に画像を生成する。言うまでもなく、自動車におけるカメラの位置は、車両の後部もしくは前部に、あるいは、サイドミラー上に制限されるものではない。

このようなカメラによって取り込まれた画像は、通常、視覚表示スクリーン上に表示される画像の視野を変更するように処理される。通常、カメラは、自動車の固定位置に配置されていて動かすことはできない。画像の視野の変更は、画像処理によって行われる。このことは、当業者にとって周知である。

しかしながら、ドライバに表示するために処理された画像は、自動車に近接する領域を正確に表示するためには、自動車に対するカメラの位置および方向を較正しなければならない。工場で自動車にカメラを搭載する際に、このような較正は工場で実施され、一般に工場較正と言われる。工場較正は、位置を正確に定めた治具上に配置された自動車に対して、特定の目的の治具上で行われ、また、床、および、適切であれば、高精度な目標物を備えた治具の側壁および端壁を自動車に対して公知の位置に設置とする。カメラは、その目標物に合焦され、カメラによって取り込まれた画像フレームに基づいて較正が行われる。工場較正は、当業者にとって周知である。

しかしながら、自動車が通常の走行を行っている間、例えば、車両が比較的小さな衝突をした結果、または、１台の車両が他の車両に軽く衝突した結果、カメラが調整不良を来すことがある。カメラの調整が一旦ずれると、カメラにより取り込まれて処理された画像フレームは、車両に近接する領域の正確な画像をドライバに提供することができない。このことは、車両の後部および側部に近接する地面の鳥瞰画像の生成に適用されるサイドミラーに装着されたカメラ、および後方に装着されたカメラの場合において特にそのとおりである。

このように、カメラの調整不良が生じると、通常、調整不良を補正する唯一の効果的な方法は、カメラを再度較正することである。この場合、車両を、カメラの再較正に必要な設備のある修理工場へ運ぶことが必要となる。そのため、第１に、おそらく１日以上、ドライバが車を所持できないという望ましくない状態となる。第２に、ドライバは、修理工場がカメラの較正を開始できるまで、１週間以上待たなければならないこともある。この間、調整不良のカメラは、使い物にならず、車は、カメラによる利益を得られない状態で走行しなければならない。

従って、この課題を解決する画像取込装置の較正方法および較正システムが必要とされている。

本発明は、上記の方法およびシステムを提供することを目的としている。

本発明によれば、車両が移動している間に、画像取込装置の理想位置、または焦点軸の回りの理想角度方向の少なくとも１つのオフセットに対して、車両に搭載された画像取込装置を較正する方法を提供するものであり、この方法は、
画像取込装置によって取り込まれた１つの画像フレームを基準画像フレームとして選択し、
目標物に適した前記基準画像フレームにおける車両の外部環境の静止物体の画像を目標画像として選択し、
前記目標物の画像が、移動する前記車両の少なくとも１つのパラメータに応じて、続いて取り込まれた画像フレームに現れるべき位置を予測し、
続いて取り込まれた前記画像フレームにおける前記目標物の画像の実際の位置を、予測された位置と比較し、
前記画像取込装置が前記理想位置または理想の角度方向の少なくとも１つからオフセットしているか否かを、前記目標物の画像の実際の位置と、予測した位置との比較から決定し、
前記画像取込装置がオフセットしていると決定される場合、前記理想位置または理想角度方向の少なくとも１つから、前記画像取込装置のオフセットに対して取り込まれた前記画像フレームを補正し、前記画像取込装置により取り込まれた画像フレームに適用するため、前記目標物の画像の実際の位置と、前記予測された位置との差から較正データを決定する。

続いて取り込まれた複数の各画像フレームに、前記目標物の画像が現れるべき位置を予測し、続いて取り込まれた画像フレームにおける目標物の画像の実際の位置を、対応する前記予測された位置と比較することが好ましい。前記目標物の画像の実際の位置と、続いて取り込まれた各画像フレームの予測された位置との間の差は、前記較正データを決定するために平均化されると有利である。理想的には、続いて取り込まれた画像フレームは、連続的に取り込まれた画像フレームである。

本発明の一実施形態においては、取り込まれた前記画像フレームは、少なくとも前記画像フレームの一部の時間領域の画像データが、所定の高い空間周波数の成分よりもさらに高い空間周波数の成分を示す場合、基準画像フレームとして選択する。

取り込まれた前記画像フレームを表す時間領域における少なくとも一部の画像データは、前記画像フレームが目標画像を含むか否かを決定するために、ハイパスフィルタを通過させることが好ましい。ハイパスフィルタは、ハイパス３×３コンボリューションマスクとすると有利である。

本発明の他の実施形態においては、前記目標画像は、基準画像フレームにおける目標画像領域を形成する所定サイズの領域から選択され、前記目標画像領域に対応する画像領域が続いて取り込まれた各画像フレームに現れるべき位置が予測され、前記目標物の画像の実際の位置と、前記予測された位置との間の差を決定するため、続いて取り込まれた各画像フレームの予測された位置における前記目標画像領域に対応する領域の実際の画像が、前記目標画像領域と比較される。前記基準画像フレームの目標画像領域の位置は、予め決められた位置であることが好ましい。

目標画像領域の所定の位置は、移動する車両の少なくとも１つのパラメータに応じて、前記目標物の画像の実際の位置と、前記予測された位置とを比較し、最適な結果が得られる基準画像フレームにおける位置として選択されることが好ましい。

基準画像フレームとして選択されて取り込まれた画像フレームは、目標画像領域内の特有の目標画像領域における目標画像を備える１つの画像フレームであることが好ましい。

本発明の一実施形態において、続いて取り込まれた各画像フレームにおける予測された位置の目標画像領域に対応する領域の実際の画像は、テンプレートマッチング処理によって、前記目標画像領域と比較される。続いて取り込まれた各画像フレームの予測された位置における目標画像領域に対応する領域の実際の画像は、前記予測された位置での目標画像領域に対応する領域の実際の画像を表す周波数領域の画像データと、前記目標画像領域を表す周波数領域の画像データとを比較することによって、前記目標画像領域と比較されることが好ましい。続いて取り込まれた各画像フレームの予測された位置における目標画像領域に対応する領域の実際の画像を表す周波数領域の画像データを、前記予測された位置、および所定の目標画像領域に対応する領域の実際の画像の結合パワースペクトルを生成する相互相関処理によって、所定の目標画像領域を表す周波数領域における画像データと比較すると有利である。

理想的には、各結合パワースペクトルの相関平面における最大ピーク値のピーク位置は、前記目標物の画像の実際の位置と、続いて取り込まれた画像フレームに対応する予測された位置との差を求めるために決定される。

本発明の一実施形態において、最大ピーク値のピークが有効なピークであるか否かを決定するため、各結合パワースペクトルの相関平面の最大ピーク値が、所定のピーク値の閾値と比較される。各結合パワースペクトルの相関平面におけるピーク値の平均ピーク値が計算され、比率が、各結合パワースペクトルのために計算された平均ピーク値に対する、最大ピークの値として計算され、最大ピーク値のピークが有効なピークであるか否かを決定するため、計算された比率を、所定の比率の閾値と比較することが好ましい。

本発明の他の実施形態において、続く各画像フレームにおける目標物の画像の位置は、移動する車両の前方／後方の移動方向、移動速度、または、操舵可能なホイールのステアリング角度の少なくとも１つのパラメータに応じて予測される。

取り込まれた画像フレームは、先ず、遠近歪みまたは魚眼歪みの１つ以上の歪みに対して補正され、続いて、較正方法による処理に先立ち、平面画像に変換されることが好ましい。

本発明の一実施形態において、取り込まれた画像フレームは、車両が横切る地面の画像フレームである。

前記較正データは、車両が直線上または円弧上を移動するそれぞれの期間において決定されることが好ましい。

各較正は、車両が所定の閾値速度以下の速度で移動する間に実施されることが好ましい。

各較正は、車両が、通常、前方に移動する間に実施されると有利である。

複数の較正により生成された較正データは、平均化されることが好ましい。

較正データは、車両の各運転期間に生成されると有利である。車両の各運転期間に生成される較正データは、運転期間中に平均化されることが好ましい。

理想的には、各運転期間に生成された較正データは、次の運転期間において直ちに取り込まれた画像フレームに適用される。

本発明の一実施形態において、較正データは、理想位置からの画像取込装置のオフセットを補正するために生成される。

本発明の他の実施形態においては、前記較正データは、焦点軸について、画像取込装置の焦点軸の回りの理想的な角度方向からの画像取込装置のオフセットを補正するために生成される。

取り込まれた画像フレームを表す信号は、デジタル化される。

また、本発明は、車両が移動している間に、理想位置または理想角度方向の少なくとも１つからのオフセットに対して、前記車両に搭載された画像取込装置を較正するシステムを提供するものであり、このシステムは、
画像取込装置によって取り込まれた１つの画像フレームを基準画像フレームとして選択する手段と、
目標物に適した基準画像フレームにおける車両の外部の環境の静止物体の画像を目標画像として選択する手段と、
前記目標物の画像が、移動する車両の少なくとも１つのパラメータに応じて、続いて取り込まれた画像フレームに現れるべき位置を予測する手段と、
続いて取り込まれた画像フレームにおける目標物の画像の実際の位置を、予測された位置と比較する手段と、
前記画像取込装置が理想位置または理想角度方向の少なくとも１つからオフセットしているか否かを、前記目標物の画像の実際の位置と予測された位置とを比較して決定する手段と、
前記画像取込装置がオフセットしていると決定される場合、前記理想位置または理想角度方向の少なくとも１つから、画像取込装置のオフセットに対して取り込まれた画像フレームを補正し、前記画像取込装置により取り込まれた画像フレームに適用するため、前記目標物の画像の実際の位置と、前記予測された位置との差から較正データを決定する手段とを備えている。

本発明は、多くの利点を有する。画像取込装置の較正は、車両が移動している間に実施されるため、車両の保守整備中に較正を行う必要はない。さらに、車両が普通に損傷している間、画像取込装置に調整不良、正しい位置、および／または角度方向から、オフセットがある場合、画像取込装置の較正は、車両の移動中に実施されるため、いかなる調整不良やオフセットも、画像取込装置の次の較正の間に補正されることが保証される。もちろん、画像取込装置の調整不良やオフセットは、過大なものではなく、また、画像取込装置を物理的に取り外すことなく補正できることが条件である。

較正は、視覚表示スクリーン上に表示される取り込まれた画像に対する他の処理が、バックグラウンドで独立して実施されることため、画像取込装置の通常の動作、通常の処理、および、ドライバに対する視覚表示スクリーンへの画像表示に影響を与えることはない。

本発明のさらなる利点は、画像取込装置の較正が継続して実施され、画像取込装置の工場較正での時間の消費を減少させることができることにある。

本発明は、添付の図面を参照して、例示のみを目的とする以下の好適な実施形態の記述から、より明確に理解しうると思う。
車両に搭載された画像取込装置を較正するための本発明にかかるシステムのブロック図である。 図１のシステムに用いられる画像取込装置により取り込まれた画像フレームを示す図である。 図３（ａ）〜図３（ｄ）は、画像取込装置を較正する間に、システムに用いられる画像取込装置によって取り込まれた、図２と同様の画像フレームを示す図である。

図面において符号１は、画像取込装置、すなわち、カメラ２を較正するための本発明にかかるシステムである。カメラ２は、その理想位置、および中心焦点軸の回りの理想角度方向からの自動車（図示せず）に対するカメラ２のオフセットを補正するため、自動車に搭載される。カメラ２は、画像取込装置のいかなるタイプのものも適用可能である。カメラ２は、通常、デジタルカメラまたはアナログカメラと言われるタイプのカメラとすることができる。このようなデジタルカメラおよびアナログカメラは、例えば、ＣＭＯＳカメラ、ＣＣＤカメラ等とすることができる。典型的なＣＭＯＳカメラは、毎秒３０枚の画像フレームの割合で、Ｘ方向に６４０画素、Ｙ方向に４８０画素の画像フレームを生成することができる。

カメラ２は、車両のいかなる所望の位置にも装着することができる。例えば、カメラ２は、視覚表示スクリーン４に表示する自動車の後部の画像を取り込むため、自動車の後部に装着することができる。視覚表示スクリーン４は、カメラ２により取り込まれた画像を車両のドライバに提供するため、例えば、ダッシュボードに装着される。このような後方画像は、制限された空間内で車両の後退操縦を実施するドライバを補助することを目的として、自動車の後部における領域の下方向を見る平面画像とすることができる。また、後方の画像は、通常、車両の後方を見る画像とすることができる。

変形例として、カメラ２は、視覚表示スクリーン４に表示する車両の側部に近接する地面の下方向を見る平面画像を取り込み、また、制限された空間内における車両の操縦、例えば、駐車、特に、縁石に対して平行に車両を駐車するドライバを補助するため、自動車のサイドミラーに装着することができる。また、カメラ２は、車両の前部に近接する地面の下方向を見る平面画像を取り込み、または、通常、車両の前方向の画像を取り込むため、車両の前部に配置することができる。このようなカメラ２の装着および操作は、当業者にとって周知であり、カメラ２およびその装着についてのさらなる説明は、必要ないと思う。

システム１は、単一のカメラ２のみを較正するものとして説明するが、システム１は、実際には、実質的に同時に較正されるいくつものカメラ、例えば、後方に装着されたカメラ、車両の各サイドミラーに装着されたカメラ、および、前方に装着されたカメラが設けられている場合には、これらを較正するものであることは容易に理解されると思う。しかしここでは、便宜上、システム１は、単一のカメラ２のみを較正するものとして説明する。

システム１は、以下に詳細に説明する本発明にかかる方法を実施するためにプログラムされたマイクロプロセッサ５を備えている。システム１について説明する前に、カメラ２を較正する本発明にかかる方法の概要について、最初に説明する。本発明の実施形態において、カメラ２は、Ｘ−Ｙ水平面の理想位置からのオフセットと、カメラ２の焦点軸の回りの理想角度方向からのオフセットとが較正される。また、地面からの理想高さ、換言すれば、Ｚ軸に沿った理想高さに対するカメラ２のオフセットの較正も行われる。

カメラ２の較正は、車両の移動中に実施される。較正を実施するソフトウエアは、車両が駆動される間、画像データを取り込むカメラ２の動作に干渉することなく、また、カメラ２により取り込まれた画像の視覚表示スクリーン４上での処理または表示に干渉することなく、バックグラウンドで動作する。システム１は、自動車が所定の最大速度以下の速度で走行する期間において、カメラ２を較正するための処理が可能である。最大速度は、本発明の実施形態では、直線上および円弧上の双方の前方向に対して、２５ｋｍ／時である。車両が円弧上を走行するとき、操舵可能なホイールのステアリングの角度は、予め定めた所定のステアリング角度よりも大きく、この場合、真正面の位置から２０°である。なお、所定の最大速度は、カメラ２から供給される画像フレームの割合に依存することは理解しうると思う。

カメラ２を較正する本発明にかかる方法は、較正に用いられる画像が、魚眼歪み、および斜向視歪みの双方が補正されており、また、車両の実質上の位置からカメラ２によって取り込まれる、通常、「鳥瞰画像」と言われる下方向を見る平面画像として処理されていることが必要である。本発明の較正方法は、２つのモードで動作する。すなわち始めに新目標検出モードで動作し、次いで、較正モードで動作する。

新目標検出モードでは、連続的に取り込まれた画像フレームが、次の画像フレームの追跡に適した対象物の画像のために走査される。このような対象物の画像は、特徴的な画像でなければならず、画像フレームにおける他の対象物の画像と容易に混同されるものであってはならない。システム１は、このような対象物の画像、すなわち、目標物が画像フレームで識別されるまで、新目標検出モードのままである。そして、目標物の画像が目標画像となるその画像フレームが、基準画像フレームとして識別される。目標画像および基準画像フレームが識別されると、システム１は、較正モードの動作を開始する。

較正モードでは、システム１は、次の各画像フレームが取り込まれた間、車両の現在の前進速度および操舵可能なホイールのステアリング角度に基づき、続いて取り込まれた画像フレームに現れるべき目標物の画像の位置を予測する。連続的に続けて取り込まれた画像フレームにおける目標物の画像の実際の位置が決定され、予測された位置と比較される。連続的に取り込まれた各画像フレームにおける目標物の画像の実際の位置が予測された位置と一致した場合、カメラ２は、正しく較正されているものと考えられる。一致しない場合には、連続する画像フレームにおける目標物の画像の実際の位置と、較正サイクルの間の比較から導かれる予測された位置との間の差の平均値から較正値が生成される。各較正サイクルの間に生成された較正値は、保存される。

車両の速度、およびホイールのステアリング角度が許容される自動車の各駆動期間において、較正サイクルが実施される。駆動期間は、車両のイグニッションの駆動状態と非駆動状態との間の期間である。各較正サイクルの較正値は、駆動期間の最後に平均化されるか、または、較正値の動的平均を各較正サイクルの最後に生成することができる。自動車の各駆動期間に得られた平均較正値、または動的平均較正値は、以下に説明するように、自動車のイグニッションが再び駆動されるとき、次の駆動期間の開始からカメラ２によって取り込まれる画像フレームに適用される。

信頼性のある各駆動期間の較正値を生成するため、車両が直線上を真っ直ぐに駆動する間、少なくとも所定回数の駆動サイクルが実施されるべきであり、また、車両が円弧上を駆動する間、所定回数の駆動サイクルが実施されるべきである。一般には、車両が直線上を真っ直ぐに駆動する期間と、円弧上を駆動する駆動期間とにおいて、少なくとも２０回の較正サイクルが実施されるべきである。そうでない場合には、駆動期間に生成された較正データは、無視される。

較正サイクルの間の較正値の生成に必要とされる計算を最小にするため、取り込まれた各画像フレームにおける所定の位置の所定の目標画像領域内に現れる対象物の画像のみが考慮される。所定の目標画像領域は、比較的小さい領域であり、本発明の実施形態では、６４画素×６４画素である。所定の目標画像領域の所定の位置は、選択された目標物の画像の実際の位置と予測された位置との比較が最適な結果となり、目標物の画像が連続的に取り込まれた十分な数の画像フレームの中に残るように選択される。

図２には、カメラ２によって取り込まれた典型的な基準画像フレーム１０が示されている。基準画像フレーム１０のＸおよびＹ方向は、図２の矢印ＸおよびＹで示されている。取り込まれた基準画像フレーム１０における所定の目標画像領域は、符号１１で示されている。目標画像１２、換言すると、選択された目標物の画像は、所定の目標画像領域１１の中にある。図３（ａ）〜図３（ｄ）において、一連の４つの連続する画像フレーム１４ａ〜１４ｄは、符号１１ａ〜１１ｄで示される目標画像領域に対応する領域の予測された位置とともに示されている。目標物の画像１２ａの実際の位置は、目標画像領域に対応する各予測領域１１ａ〜１１ｄ内に示されている。また、目標物の画像１２ｂの予測された位置は、目標画像領域に対応する各予測領域１１ａ〜１１ｄ内に示されている。図より分かるように、連続する画像フレーム１４ａ〜１４ｄにおける目標物の画像１２ａの実際の位置は、画像１２ｂの予測された位置と一致しない。また、目標物の画像１２ａの実際の位置と、画像１２ｂの予測された位置との間の距離は、連続する画像フレーム１４ａ〜１４ｄにおいて徐々に増加する。

目標物の画像１２ａの実際の位置と、画像１２ｂの予測された位置との間の差は、画像フレーム毎に計算され、較正データが各画像フレームの画像１２ａ、１２ｂ間の計算された差の平均値から生成される。

特に、図１に示すように、システム１は、カメラ２によって取り込まれた画像フレームを表すアナログ信号を受信し、そのアナログ信号を取り込まれた画像フレームを表す時間領域のデジタル画像データに変換するデジタル処理回路２０を備えている。取り込まれた各画像フレームには、デジタル処理回路２０により時刻が付与される。デジタル処理回路２０からのデジタル画像データは、マイクロプロセッサ５によって読み込まれる。車両速度入力回路２１は、走行距離計、または、車両の速度を示す信号を生成する自動車の他の出力装置から信号を受信する。車両速度入力回路２１は、車両の速度を示す信号を処理し、マイクロプロセッサ５によって読み込まれる車両の速度を示すデジタル信号を生成する。車両方向入力回路２２は、ギアシフトレバーによって選択された前進または後退ギアを示すギアシフトレバーからの信号を受信する。車両方向入力回路２２は、マイクロプロセッサ５によって読み込まれる車両の移動方向を示すデジタル信号を生成するために信号をデジタル化する。ステアリング角度入力回路２３は、自動車のセンサまたは他の適切なモニタリングシステムから、車両の操舵可能なホイールのステアリング角度を示す信号を受信する。また、ステアリング角度入力回路２３は、マイクロプロセッサ５によって読み込まれる車両の操舵可能なホイールのステアリング角度を示すデジタル信号を生成するために信号をデジタル化する。

マイクロプロセッサ５は、取り込まれた画像フレームの魚眼歪みを補正するため、デジタル処理回路２０から受信したデジタル画像データに魚眼補正アルゴリズム２５を適用するようにプログラムされる。魚眼補正アルゴリズム２５は、当業者にとって周知であり、さらなる説明は必要ない。また、マイクロプロセッサ５は、取り込まれた画像フレームの遠近歪みを補正するため、魚眼補正アルゴリズム２５で魚眼補正されたデジタル画像データに遠近補正アルゴリズム２７を適用するようにプログラムされる。魚眼補正アルゴリズム２５および遠近補正アルゴリズム２７は、マイクロプロセッサ５に保存される。遠近補正ルックアップテーブル２８は、マイクロプロセッサ５に保存され、魚眼歪みに対して魚眼補正されて取り込まれた画像フレームを補正するため、遠近補正アルゴリズム２７に使用される。遠近歪みに対するこのような画像フレームの補正は、当業者には公知であり、さらなる説明の必要はないと思う。さらに、マイクロプロセッサ５は、平面画像を生成するため、魚眼補正および遠近補正された画像フレームに対して平面変換アルゴリズム２９を適用するようにプログラムされている。平面変換アルゴリズム２９は、マイクロプロセッサ５に保存される。平面変換アルゴリズム２９は、当業者には公知であり、さらなる説明の必要はないと思う。マイクロプロセッサ５に保存される画像処理サブルーチン３０は、視覚表示スクリーン４に表示するため、遠近補正アルゴリズム２７および平面変換アルゴリズム２９により補正された画像フレームを処理する。

目標画像検出サブルーチン３１は、魚眼歪みおよび遠近歪みが補正され、平面画像に変換されて取り込まれた画像フレームを走査する。その間、システム１は、目標画像が画像フレーム内で検出されるまで新目標検出モードである。目標画像検出サブルーチン３１は、システム１が新目標検出モードで動作しているとき、連続する次の画像フレームで識別することのできる非常に目立つ特徴を有する所定の目標画像領域１１内の目標物の画像を探索するようにプログラムされる。目標物は、目標物の画像と目標物の画像に隣接する画像フレームの領域との間に、急峻な輝度勾配がある場合、目標物であると考えられる。取り込まれた画像フレームの目標画像領域１１が高い空間周波数の成分を有する場合、目標物として適切な目標物の画像が含まれるはずである。目標画像検出サブルーチン３１は、取り込まれた画像フレームの目標画像領域１１が、まだ時間領域であるハイパスフィルタを介して取り込まれた画像フレームの所定の目標画像領域１１を示す画像データを通して、目標物として適切である目標物の画像を含むか否かを決定する。本発明の実施形態におけるハイパスフィルタは、マイクロプロセッサ５のソフトウエアに実装された３×３のハイパスコンボリューションマスクである。ハイパスフィルタを用いた結果、取り込まれた画像フレームにおける目標画像領域１１の高い空間周波数の成分が、所定の高い空間周波数の成分よりも大きい場合、取り込まれた画像フレームの目標画像領域１１は、適切な目標物の画像を含むものと考えられる。画像フレームは、基準画像フレームであると考えられ、目標物の画像は、目標画像であると考えられる。目標画像検出サブルーチン３１は、目標画像を記録し、マイクロプロセッサ５の適切なメモリ３２に、所定の目標画像領域１１内のＸ−Ｙ座標を保存する。

基準画像フレームが識別され、基準画像フレームの所定の目標画像領域１１における目標画像およびその位置が識別されると、マイクロプロセッサ５は、システム１を、新目標検出モードの動作から較正モードの動作に切り替える。

較正モードが動作すると、マイクロプロセッサ５に保存されている目標画像領域位置予測サブルーチン３３は、続いて順次取り込まれた各画像フレームに目標画像領域１１に対応する領域の画像が現れるべき、魚眼歪みおよび遠近歪みが補正されて平面画像に変換され、その後、連続的に取り込まれた各画像フレームにおける位置を予測する。目標画像領域位置予測サブルーチン３３は、車両速度入力回路２１、車両方向入力回路２２およびステアリング角度入力回路２３から受信した車両の速度、車両の走行方向およびステアリング角度に応じて目標画像領域が現れるべき位置と、取り込まれた各画像フレームに付与された時刻とに基づき、続いて取り込まれた各画像フレームにおける位置を予測する。

続いて取り込まれた画像フレームにおける予測された位置において、目標画像領域に対応する領域の実際の画像は、テンプレートマッチングにより、所定の目標画像領域の画像と比較される。テンプレートマッチングでは、目標物の画像の実際の位置と、連続的に取り込まれた各画像フレームにおける目標物の画像の予測された位置との間の差を決定する。テンプレートマッチングは、システム１で実施され、基準画像フレームの所定の目標画像領域１１を表す画像データを時間領域から周波数領域に変換するとともに、連続的に取り込まれた画像フレームにおける予測された位置における目標画像領域に対応する領域の実際の画像を表す画像データを時間領域から周波数領域に変換する。連続的に取り込まれた画像フレームのそれぞれにおける予測された位置の目標画像に対応する領域の実際の画像を表す周波数領域の画像データは、基準画像フレームの所定の目標画像領域１１を表す周波数領域における対応する画像データと相互相関がとられる。目標物の実際の画像の位置と予測された位置との差は、以下に説明するように、相互相関から決定される。

高速フーリエ変換アルゴリズム３４は、マイクロプロセッサ５に保存される。高速フーリエ変換アルゴリズム３４は、最初に、所定の目標画像領域１１を表す画像データを時間領域から周波数領域に変換するため、基準画像フレームの所定の目標画像領域１１を表す画像データに適用される。次いで、高速フーリエ変換アルゴリズム３４は、所定の目標画像領域１１を表す周波数領域において画像データを高速フーリエ変換するため、基準画像フレームの所定の目標画像領域１１を表す画像データに適用される。次に、所定の目標画像領域１１の高速フーリエ変換された画像データは、マイクロプロセッサ５の適切なメモリ３６に保存される。

また、魚眼補正および遠近補正された平面画像に連続して取り込まれた画像フレームにおける予測された位置での目標画像領域に対応する領域を表す時間領域の画像データは、周波数領域に変換され、連続的に取り込まれた画像フレームの予測された位置における目標画像領域に対応する各領域の周波数領域の画像データに高速フーリエ変換アルゴリズム３４を適用することで、高速フーリエ変換される。

連続的に取り込まれた各画像フレームの予測された位置における目標画像に対応する領域を表す高速フーリエ変換された画像データは、マイクロプロセッサ５に保存されている相互相関アルゴリズム３７により、基準画像フレームの所定の目標画像領域１１を表す対応する高速フーリエ変換された画像データと相互相関がとられる。相互相関アルゴリズム３７は、取り込まれた画像フレームの予測された位置における領域の高速フーリエ変換された画像データを、基準画像フレームの所定の目標画像領域の高速フーリエ変換された画像データに掛け合わせ、次いで、逆高速フーリエ変換されて結合パワースペクトルが生成される。

マイクロプロセッサ５に保存されたピーク値検出アルゴリズム４０は、各結合パワースペクトルの相互相関平面の最大ピーク値およびＸ−Ｙ座標を決定する。マイクロプロセッサ５に保存されたピーク値平均アルゴリズム４１は、相互相関平面におけるピーク値の平均を計算する。マイクロプロセッサ５に保存されたピーク値比率アルゴリズム４２は、ピーク値検出アルゴリズム４０により決定された相互相関平面における最大ピーク値と、相互相関アルゴリズム３７により生成された各相互相関平面のためのピーク値平均アルゴリズム４１によって計算された平均ピーク値との比率を計算する。マイクロプロセッサ５に保存された有効信号決定アルゴリズム４４は、第１に、そのピークのピーク値が所定の閾値ピーク値よりも大きいか否かを決定し、第２に、そのピークのピーク値と、相互相関平面におけるピークの平均ピーク値との比率が所定の閾値比率値よりも大きいか否かを決定することにより、相互相関平面における最大振幅値のピーク値が有効なピークであるか否かを決定する。最大ピーク値のピークのピーク値が所定の閾値ピーク値を超え、比率が所定の閾値比率値を超えた場合、相互相関平面における最大ピーク値のピークは、有効なピークであると考えられる。そうでない場合、最大ピーク値のピークは、無効なピークであると考えられる。

マイクロプロセッサ５に保存された差決定アルゴリズム４５は、相互相関アルゴリズム３７により生成されて準備された各相互相関平面の最大ピーク値の位置と、基準画像フレームの所定の目標画像領域１１の目標画像１２の位置との差を決定する。マイクロプロセッサ５に保存された差平均化サブルーチン４６は、差決定アルゴリズム４５により決定された差の値を平均する。マイクロプロセッサ５に保存された較正値生成サブルーチン４８は、理想位置からのカメラ２のオフセットの補正および焦点軸に対する理想角度方向からのカメラ２のオフセットを補正するため、各較正サイクルの間、差平均化サブルーチン４６によって生成された平均差データから較正値を決定する。較正値生成サブルーチン４８により生成された較正値は、適切なメモリ４９に保存される。

各較正サイクル中に生成された較正値は、Ｘ−Ｙ水平面およびＺ方向における理想位置からのカメラ２のオフセットを較正し、また、焦点軸に対する理想角度方向からのカメラ２のオフセットを較正する。

マイクロプロセッサ５に保存された較正値平均サブルーチン５０は、車両が駆動されている期間の各較正サイクルの間に生成された較正値を平均する。較正値の平均は、駆動期間の最後に較正値平均サブルーチン５０により実施されるか、または、較正値の新しい組が生成される毎の動的な平均として、較正値平均サブルーチン５０により実施される。較正値平均サブルーチン５０により生成される平均較正値は、次の駆動期間でカメラ２により取り込まれた画像フレームに適用するために、マイクロプロセッサ５の適切なメモリ５１に保存される。

マイクロプロセッサ５に保存された解析サブルーチン５２は、次の駆動期間におけるイグニッションの駆動時において、メモリ５１に保存された平均較正値を解析する。平均較正値が所定値よりも小さい場合、マイクロプロセッサ５に保存された更新サブルーチン５３は、メモリ５１に保存された平均較正値を組み入れて遠近補正ルックアップテーブル２８を更新する。ここで、平均較正値が対応する所定の較正値を超えた場合、遠近補正ルックアップテーブル２８を更新する更新サブルーチン５３は、遠近補正ルックアップテーブル２８に、各較正値の所定値までの較正値を組み込む。遠近補正ルックアップテーブル２８の較正を所定の較正値で制限することにより、オフセットの過剰較正が回避される。

使用に際しては、車両が真っ直ぐ前に移動し、車両の速度が所定の最大速度２５ｋｍ／時以下である期間において、較正サイクルが開始される。さらに、車両が前方に２５ｋｍ／時以下で移動し、操舵可能なホイールのステアリング角度が所定のステアリング角度２０°よりも大きい期間において、較正サイクルが開始される。そうでない場合には、次の較正サイクルは、車両が前方に２５ｋｍ／時以下で直線上を移動し、または、操舵可能なホイールにより２０°よりも大きな角度で円弧上を移動するまで延期される。

本発明の好適な実施形態の説明において、較正可能な車両の最大速度を、２５ｋｍ／時としたが、最大速度は、画像フレームがカメラによって取り込まれる割合、および、本発明にかかるシステムにより実施可能な計算の割合を含む変数の数に依存する。

さらに、車両が円弧上を移動する間に較正を実施することのできる操舵可能なホイールの最小角度もまた、変更することができる。

所定の目標画像領域に対応する予測された位置における領域の実際の画像は、高速フーリエ変換を用いて、連続する各画像フレームのための基準画像フレームの所定の画像領域と比較されるが、比較のために、他の適切な方法を用いることもできる。また、連続する画像フレームにおける目標画像領域に対応する唯一の領域と、基準画像フレームにおける所定の目標画像領域とが比較のために使用されるが、ある場合には、取り込まれた画像フレームの全体を使用することもできる。しかしながら、比較のために取り込まれた画像フレームの比較的小さい部分を利用するだけで、システム１が要求する計算時間およびシステム１が要求する計算能力がかなり減少する。さらに、本発明の実施形態では、比較がそれぞれの目標画像領域の画像データを高速フーリエ変換することで実施されるため、目標画像領域は、２^x×２^yの程度の領域とするべきである。ここで、ｘおよびｙは、画像データの高速フーリエ変換を容易にするため、０よりも大きい整数である。

１ システム
２ カメラ
４ 視覚表示スクリーン
１０ 基準画像フレーム
１１ 目標画像領域
１１ａ〜１１ｄ 予測領域
１２ 目標画像
２０ デジタル処理回路
２１ 車両速度入力回路
２２ 車両方向入力回路
２３ ステアリング角度入力回路
２５ 魚眼補正アルゴリズム
２７ 遠近補正アルゴリズム
２８ 遠近補正ルックアップテーブル
２９ 平面変換アルゴリズム
３０ 画像処理サブルーチン
３１ 目標画像検出サブルーチン
３２、３６、４９、５１ メモリ
３３ 目標画像領域位置予測サブルーチン
３４ 高速フーリエ変換アルゴリズム
３７ 相互相関アルゴリズム
４０ ピーク値検出アルゴリズム
４１ ピーク値平均アルゴリズム
４２ ピーク値比率アルゴリズム
４４ 有効信号決定アルゴリズム
４５ 差決定アルゴリズム
４６ 差平均化サブルーチン
４８ 較正値生成サブルーチン
５０ 較正値平均サブルーチン
５２ 解析サブルーチン
５３ 更新サブルーチン

Claims (15)

1. 車両が移動している間に、画像取込装置の理想位置、または焦点軸の回りの理想角度方向の少なくとも１つのオフセットに対して、前記車両に搭載された画像取込装置を較正する方法であって、
   前記画像取込装置によって取り込まれた１つの画像フレームを、基準画像フレームとして選択し、
   目標物に適した前記基準画像フレームにおける前記車両の外部環境の静止物体の画像を目標画像として選択し、
   前記目標物の画像が、移動する前記車両の少なくとも１つのパラメータに応じて、続いて取り込まれた画像フレームに現れるべき位置を予測し、
   続いて取り込まれた前記画像フレームにおける前記目標物の画像の実際の位置を、予測された位置と比較し、
   前記画像取込装置が前記理想位置、または前記理想角度方向の少なくとも１つからオフセットしているか否かを、前記目標物の画像の実際の位置と、前記予測された位置との比較から決定し、
   前記画像取込装置がオフセットしていると決定される場合、前記理想位置または理想角度方向の少なくとも１つから、前記画像取込装置の前記オフセットに対して取り込まれた前記画像フレームを補正し、前記画像取込装置により取り込まれた画像フレームに適用するため、前記目標物の画像の前記実際の位置と前記予測された位置との差から較正データを決定することを特徴とする画像取込装置の較正方法。
2. 続いて取り込まれた複数の前記各画像フレームに、目標物の画像が現れるべき位置を予測し、続いて取り込まれた前記画像フレームにおける目標物の画像の前記実際の位置を、対応する前記予測された位置と比較することを特徴とする請求項１記載の画像取込装置の較正方法。
3. 前記目標物の画像の実際の位置と、続いて取り込まれた前記各画像フレームの予測された位置との間の差を、前記較正データを決定するために平均化することを特徴とする請求項２記載の画像取込装置の較正方法。
4. 続いて取り込まれた前記画像フレームは、連続的に取り込まれた画像フレームであることを特徴とする請求項２または３記載の画像取込装置の較正方法。
5. 取り込まれた前記画像フレームは、少なくとも前記画像フレームの一部の時間領域の画像データが、所定の高い空間周波数の成分よりもさらに高い空間周波数の成分を示す場合、基準画像フレームとして選択されることを特徴とする請求項１〜４のいずれか１項に記載の画像取込装置の較正方法。
6. 取り込まれた前記画像フレームを表す時間領域における少なくとも一部の前記画像データは、前記画像フレームが目標画像を含むか否かを決定するためにハイパスフィルタを通過させることを特徴とする請求項５記載の画像取込装置の較正方法。
7. 前記目標画像は、前記基準画像フレームにおける目標画像領域を形成する所定サイズの領域から選択され、前記目標画像領域に対応する画像領域が、続いて取り込まれた前記各画像フレームに現れるべき位置が予測され、前記目標物の画像の実際の位置と予測された位置との間の差を決定するため、続いて取り込まれた各画像フレームの前記予測された位置における目標画像領域に対応する領域の実際の画像を、前記目標画像領域と比較することを特徴とする請求項１〜６のいずれか１項に記載の画像取込装置の較正方法。
8. 前記基準画像フレームの目標画像領域の位置は、予め決められた位置であることを特徴とする請求項７記載の画像取込装置の較正方法。
9. 続いて取り込まれた各画像フレームにおける予測された位置の目標画像領域に対応する領域の実際の画像を、テンプレートマッチング処理によって前記目標画像領域と比較することを特徴とする請求項７または８記載の画像取込装置の較正方法。
10. 続いて取り込まれた各画像フレームの予測された位置における目標画像領域に対応する領域の実際の画像は、前記予測された位置での目標画像領域に対応する領域の実際の画像を表す周波数領域の画像データと、前記目標画像領域を表す周波数領域の画像データとを比較することによって、前記目標画像領域と比較することを特徴とする請求項７〜９のいずれか１項に記載の画像取込装置の較正方法。
11. 続いて取り込まれた各画像フレームの予測された位置における前記目標画像領域に対応する領域の実際の画像を表す周波数領域の画像データは、前記予測された位置および目標画像領域に対応する領域の実際の画像の結合パワースペクトルを生成する相互相関処理によって、前記目標画像領域を表す周波数領域における前記画像データと比較されることを特徴とする請求項１０記載の画像取込装置の較正方法。
12. 各結合パワースペクトルの相関平面における最大ピーク値のピーク位置は、前記目標物の画像の実際の位置と、続いて取り込まれた前記画像フレームに対応する前記予測された位置との差を決めるために決定されることを特徴とする請求項１１記載の画像取込装置の較正方法。
13. 続く前記各画像フレームにおける目標物の画像の位置は、移動する車両の前方／後方の移動方向、移動速度、または、操舵可能なホイールのステアリング角度の少なくとも１つのパラメータに応じて予測されることを特徴とする請求項１〜１２のいずれか１項に記載の画像取込装置の較正方法。
14. 取り込まれた画像フレームは、先ず、遠近歪みまたは魚眼歪みの１つ以上の歪みに対して補正され、続いて、較正方法による処理に先立ち、平面画像に変換されることを特徴とする請求項１〜１３のいずれか１項に記載の画像取込装置の較正方法。
15. 車両が移動している間に、理想位置または理想角度方向の少なくとも１つからのオフセットに対して、前記車両に搭載された画像取込装置を較正するシステムであって、
    前記画像取込装置によって取り込まれた１つの画像フレームを、基準画像フレームとして選択する手段と、
    目標物に適した基準画像フレームにおける前記車両の外部環境の静止物体の画像を目標画像として選択する手段と、
    前記目標物の画像が、移動する前記車両の少なくとも１つのパラメータに応じて、続いて取り込まれた画像フレームに現れるべき位置を予測する手段と、
    続いて取り込まれた前記画像フレームにおける目標物の画像の実際の位置を、予測された位置と比較する手段と、
    前記画像取込装置が、前記理想位置または理想角度方向の少なくとも１つからオフセットしているか否かを、前記目標物の画像の実際の位置と、前記予測された位置とを比較して決定する手段と、
    前記画像取込装置がオフセットしていると決定される場合、前記理想位置または理想角度方向の少なくとも１つから、前記画像取込装置のオフセットに対して取り込まれた前記画像フレームを補正し、前記画像取込装置により取り込まれた画像フレームに適用するため、前記目標物の画像の実際の位置と、前記予測された位置との差から較正データを決定する手段とを備えることを特徴とする画像取込装置の較正システム。

Images