JP2021120678A - 画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス、記憶媒体、及びプログラム - Google Patents

Abstract

【課題】画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス、記憶媒体、及びプログラムを開示し、車両測位技術分野に関する。【解決手段】画像収集デバイスによって撮影された画像を取得しＳ１０１、画像内のキャリブレーションボード上の複数のキャリブレーション点を決定しＳ１０２、画像画素座標系及びキャリブレーションボード座標系における各キャリブレーション点の座標に基づいて、画像画素座標系からキャリブレーションボード座標系への第１変換行列を決定しＳ１０３、キャリブレーションボード座標系及び車体座標系における車両の少なくとも１つの車輪接地点の座標に基づいて、キャリブレーションボード座標系から車体座標系への第２変換行列を決定しＳ１０４、第１変換行列と前記第２変換行列を利用して、画像収集デバイスの外部パラメータを決定するＳ１０５。【選択図】図１

Description

本発明は、自動運転分野に関して、特に車両測位技術分野に関する。

自動運転において、自動運転車両が車道内にある正確の位置を決定する必要があり、即ち、自動運転車両と左右車線との距離である。通常、車両の両側に側方を視認するための画像収集装置（例えば、カメラ）を設けることができ、これらのカメラを利用して車線を含む高解像度画像を取得し、画像画素座標系における車線の座標を決定し、そしてカメラの内部パラメータと外部パラメータによって、車体座標系における車線の座標を決定し、それによって現在の車両と車線との距離を得、当該距離を車道内の車両位置の精確の測定値とする。

カメラの内部パラメータは、画像画素座標系とカメラ座標系との関係を指し、カメラの外部パラメータは、カメラ座標系と車体座標系との関係を指す。ここで、カメラの内部パラメータは、事前にキャリブレーションされた固定値である。車両測位の精度を保証するために、カメラの外部パラメータをキャリブレーションする必要がある。

現在、カメラ外部パラメータのキャリブレーション方式は、
（１）事前に設置された碁盤目キャリブレーションボードを使用して、それぞれのカメラに対して外部パラメータのキャリブレーションを行う方式、
（２）専用のキャリブレーションの場所を用意し、車両が当該場所の指定位置に移動してキャリブレーションを行う方式、
（３）運動推定による動的のキャリブレーション方法、
という３つの方式がある。

上記の３つの方式は、それぞれ特徴があり、方式（１）の応用場面が小さい視野、近距離場合であり、キャリブレーションボードが、遮られることがなく、カメラの視野内にする必要がある。キャリブレーションボードに対するカメラの外部パラメータをキャリブレーションするしかできず、車体座標系へ変換が困難である。方式（２）は、キャリブレーション精度に対する要求が高く、且つ車両とカメラのキャリブレーションを標準化する場面に適用し、専用の場所が必要である。方式（３）は、その他のセンサーに依存し、しかもキャリブレーションの精度が低い。

よって、従来技術は、画像収集デバイスの外部パラメータを便利、高精度でキャリブレーションする方法が欠けている。

本発明は、画像収集デバイスの外部パラメータのキャリブレーション方法、装置、デバイス及び記憶媒体を提供する。

本発明の１様態では、画像収集デバイスの外部パラメータのキャリブレーション方法を提供し、前記画像収集デバイスは、車両の車体側面に設けられ、前記画像収集デバイスの視野が下向きであり、前記車両側面の地面にキャリブレーションボードが設けられ、前記キャリブレーションボードが前記画像収集デバイスの視野範囲内に位置し、前記方法は、
前記画像収集デバイスによって撮影された画像を取得することと、
前記画像内のキャリブレーションボード上の複数のキャリブレーション点を決定することと、
画像画素座標系及びキャリブレーションボード座標系における各前記キャリブレーション点の座標に基づいて、前記画像画素座標系から前記キャリブレーションボード座標系への第１変換行列を決定することと、
前記キャリブレーションボード座標系及び車体座標系における前記車両の少なくとも１つの車輪接地点の座標に基づいて、前記キャリブレーションボード座標系から前記車体座標系への第２変換行列を決定することと、
前記第１変換行列及び前記第２変換行列を利用して、前記画像収集デバイスの外部パラメータを決定することと、を含む。

本発明のもう１つの様態では、画像収集デバイスの外部パラメータの精度誤差評価方法を提供し、前記画像収集デバイスの外部パラメータは、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定され、前記方法は
前記第１変換行列及び／又は前記第２変換行列の精度誤差を評価すること、を含み、
前記第１変換行列の精度誤差を評価することは、前記画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び前記第１変換行列を利用して、前記キャリブレーションボード座標系における前記キャリブレーション点の第１座標を計算することと、前記第１変換行列の精度誤差を評価するために、前記第１座標と前記キャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算することと、を含み、
前記第２変換行列の精度誤差を評価することは、前記キャリブレーションボード座標系における前記車両の車輪接地点の座標及び前記第２変換行列を利用して、前記車体座標系における前記車輪接地点の第２座標を計算することと、前記第２変換行列の精度誤差を評価するために、前記第２座標と前記車体座標系における前記車輪接地点の実座標との距離を計算することと、を含む。

本発明のもう１つの様態では、画像収集デバイスの外部パラメータのキャリブレーション装置を提供し、前記画像収集デバイスは、車両の車体側面に設けられ、前記画像収集デバイスの視野が下向きであり、前記車両側面の地面にキャリブレーションボードが設けられ、前記キャリブレーションボードが前記画像収集デバイスの視野範囲内に位置し、前記装置は、
前記画像収集デバイスによって撮影された画像を取得するように構成される画像取得モジュールと、
前記画像内のキャリブレーションボード上の複数のキャリブレーション点を決定するように構成されるキャリブレーション点決定モジュールと、
画像画素座標系及びキャリブレーションボード座標系における各前記キャリブレーション点の座標に基づいて、前記画像画素座標系から前記キャリブレーションボード座標系への第１変換行列を決定するように構成される第１変換行列決定モジュールと、
前記キャリブレーションボード座標系及び車体座標系における前記車両の少なくとも１つの車輪接地点の座標に基づいて、前記キャリブレーションボード座標系から前記車体座標系への第２変換行列を決定するように構成される第２変換行列決定モジュールと、
前記第１変換行列及び前記第２変換行列を利用して、前記画像収集デバイスの外部パラメータを決定するように構成される外部パラメータ決定モジュールと、を備える。

本発明のもう１つの様態では、画像収集デバイスの外部パラメータの精度誤差評価装置を提供し、前記画像収集デバイスの外部パラメータは、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定され、前記装置は、
第１評価モジュール及び／又は第２評価モジュールを備え、
前記第１評価モジュールは、
前記画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び前記第１変換行列を利用して、前記キャリブレーションボード座標系における前記キャリブレーション点の第１座標を計算するように構成される第１計算サブモジュールと、
前記第１変換行列の精度誤差を評価するために、前記第１座標と前記キャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算するように構成される第２計算サブモジュールと、を備え、
前記第２評価モジュールは、
前記キャリブレーションボード座標系における前記車両の車輪接地点の座標及び前記第２変換行列を利用して、前記車体座標系における前記車輪接地点の第２座標を計算するように構成される第３計算サブモジュールと、
前記第２変換行列の精度誤差を評価するために、前記第２座標と前記車体座標系における前記車輪接地点の実座標との距離を計算するように構成される第４計算サブモジュール、を備える。

本発明のもう１つの様態では、電子デバイスを提供し、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、本発明のいずれかの実施形態に記載の前記方法を実行させる。

本発明のもう１つの様態では、コンピュータに本発明のいずれかの実施形態に記載の方法を実行させるコンピュータ命令を記憶するための非一時的コンピュータ可読記憶媒体を提供する。

なお、ここで記載されている内容は、本発明の実施形態においてキーとなっている、又は重要視されている特徴、本発明の範囲を限定しているわけではない。本発明の他の特徴は下記の明細書の記載によって理解しやすくさせる。

本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法を実現するフローチャートである。 本発明の実施形態におけるＣｈＡｒＵｃｏキャリブレーションボードを示す図である。 本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法内の、キャリブレーションボード座標系における車輪接地点の座標を決定するフローチャートである。 本発明の実施形態における車輪ハブの縁部を利用してキャリブレーション点を付ける方式を示す図である。 本発明の実施形態における、キャリブレーションボード座標系における車両の片側の車輪接地点の座標の確定方式を示す図である。 本発明の実施形態における、車両の片側の車輪接地点の座標による、キャリブレーションボード座標系における車両の他側の車輪接地点の座標の決定方式を示す図である。 本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価方法の、第１変換行列の精度誤差の評価を実現するフローチャートである。 本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価方法の、第２変換行列の精度誤差の評価を実現するフローチャートである。 本発明の実施形態における第１変換行列の精度誤差を示す図である。 画像収集装置により収集された画像に対して歪み除去処理を行った後の画像を示す図である。 本発明の実施形態における精度誤差評価方法を示す図である。 本発明の実施形態における精度誤差評価方法の、直線をフィッティングする方法を示す図である。 本発明の実施形態における直線のフィッティングを示す図である。 本発明の実施形態における、画像収集デバイスの外部パラメータのキャリブレーション装置１１００の構造を示す図である。 本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション装置１２００の構造を示す図である。 本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価装置１３００の構造を示す図である。 本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価装置１４００の構造を示す図である。 本発明の実施形態における方法を実現するための電子デバイスのブロック図である。

上記の図面は、よりよく本発明を理解させるためのものであり、本発明を限定するものではない。

下記において、図面を参照して本発明の例示的な実施形態を説明し、理解しやすくするために、本発明の実施形態の細部を記載しており、それらが例示的なものであると理解すべきである。そのため、本発明の範囲と思想を反しない前提で、ここで記載されている実施形態に対して変更、修正を行うことができることは当業者にとって自明である。同様に、明確化と簡略化のために、下記の記載は公知機能と構造を省略したものとする。

本発明の実施形態は、画像収集デバイスの外部パラメータのキャリブレーション方法を提供し、画像収集デバイスは、車両の車体側面に設けられ、画像収集デバイスの視野が下向きであり、車両側面の地面にキャリブレーションボードが設けられ、当該キャリブレーションボードは、画像収集デバイスの視野範囲内に位置する。図１は、本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法を実現するフローチャートであり、下記のステップを含む。

ステップＳ１０１において、画像収集デバイスによって撮影された画像を取得する。

ステップＳ１０２において、当該画像内のキャリブレーションボード上の複数のキャリブレーション点を決定する。

ステップＳ１０３において、画像画素座標系及びキャリブレーションボード座標系における各キャリブレーション点の座標に基づいて、画像画素座標系からキャリブレーションボード座標系への第１変換行列を決定する。

ステップＳ１０４において、キャリブレーションボード座標系及び車体座標系における車両の少なくとも１つの車輪接地点の座標に基づいて、キャリブレーションボード座標系から車体座標系への第２変換行列を決定する。

ステップＳ１０５において、当該第１変換行列と第２変換行列を利用して、当該画像収集デバイスの外部パラメータを決定する。

なお、上記のＳ１０４とステップＳ１０１〜Ｓ１０３との実行順序については、制限がない。両者は前後順位で実行してもよく、同期して実行してもよい。

幾つかの実施形態において、車両の四つの車輪の上方に１つのカメラをそれぞれ装着することが可能であり、カメラ視野が下向きであり、車両の片側の２メートル前後の距離を撮影する。任意選択で、カメラを適切な位置に調整するために、ディスプレイによってカメラで撮影された画像をプレビューしてもよい。

幾つかの実施形態において、上記のキャリブレーションボードは、ＣｈＡｒＵｃｏキャリブレーションボードを含む。ＣｈＡｒＵｃｏキャリブレーションボードは、碁盤目キャリブレーションボード（Ｃｈｅｓｓｂｏａｒｄ）とＡｒＵｃｏキャリブレーションボードの特徴を参照しており、ＣｈＡｒＵｃｏキャリブレーションボードにおいて、各々の白い格子が四つの黒い格子に囲まれ、同様に、各々の黒い格子が四つの白い格子に囲まれる。格子の角部はチェスボードパターンのコーナーと称してもよい。各々の白い格子内に１つのＡｒＵｃｏキャリブレーション点があり、各々のＡｒＵｃｏキャリブレーション点が１つの対応するキャリブレーション点（ＩＤ）情報がある。従来の碁盤目キャリブレーションボードと比べて、ＣｈＡｒＵｃｏキャリブレーションボードはより高いロバスト性を有し、カメラは、キャリブレーションボード全体を完全に視認することができ、各ＡｒＵｃｏキャリブレーション点いずれも唯一のＩＤを有するため、画像に部分のＣｈＡｒＵｃｏキャリブレーションボードの画像を含ませれば、キャリブレーションを遂行することができる。

幾つかの実施形態において、車両の長さによってＣｈＡｒＵｃｏキャリブレーションボードの長さを決定することができ、ＣｈＡｒＵｃｏキャリブレーションボードの幅を１．２メートル前後と設置することができる。ＣｈＡｒＵｃｏキャリブレーションボードの周りに、１つのキャリブレーション格子と同じサイズの空白領域を残し、キャリブレーションボードの両側の空白領域に精確の目盛りを作成することができる。キャリブレーションボード全体は、持ちやすいために、通常の片面テープ付き用紙を使用してもよい。図２は、本発明の実施形態におけるＣｈＡｒＵｃｏキャリブレーションボードを示す図である。

上記のプロセスにおいて、３つの座標系、即ち、画像画素座標系、キャリブレーションボード座標系、及び車体座標系に関わっており、即ち、
画像画素座標系は、画像収集デバイスで収集された画像内の画素点の画像における位置を表現するためのものであり。画像座標系は、画像の左上角を座標系の原点として、画素を単位とする直角座標系であり、ここで、横座標と縦座標は、それぞれ画素点が画像に位置する列数と行数を示す。

キャリブレーションボード座標系は、キャリブレーションボードの左下角を原点とする直角座標系であり、Ｘ軸方向が右向きであり、Ｙ軸方向が前向きであり、Ｙ軸座標の目盛りが既にキャリブレーションボードにキャリブレーション点している。任意選択で、車両を平らな地面の広い場所に止め、車輪方向をまっすぐにし、カメラ下方の地面にキャリブレーションボードを敷設し、キャリブレーションボードの縁部と車両との間に一定の距離（例えば、３０ｃｍ前後）を置く。

車体座標系は、車両の後軸中心を原点とする直角座標系であり、Ｘ軸方向が前向きであり、Ｙ軸方向が右向きである。

幾つかの実施形態において、上記した、画像収集デバイスによって撮影された画像を取得するステップＳ１０１は、画像収集デバイスによってキャリブレーションボードのビデオを撮影し、即ち、車両が静止したままで、キャリブレーションボードを車両の片側に置く時にキャリブレーションボードのビデオを撮影し、さらに当該ビデオから１フレームを選択し、画像収集デバイスの外部パラメータをキャリブレーションして取得する時に使用する画像とすること、を含むことができる。

上記のステップＳ１０２とステップＳ１０３において、第１変換行列を決定するためのキャリブレーション点は、ＣｈＡｒＵｃｏキャリブレーションボード上の複数のチェスボードパターンのコーナーを含み得る。ＣｈＡｒＵｃｏキャリブレーション法を利用し、画像画素座標系とキャリブレーションボード座標系におけるチェスボードパターンのコーナーの座標を利用して、画像画素座標系からキャリブレーションボード座標系への第１変換行列を決定することができる。

在上記のステップＳ１０４において、キャリブレーションボード座標系から車体座標系への第２変換行列を決定するために、キャリブレーションボード座標系及び車体座標系における車輪接地点の座標を利用する必要がある。ここで、図３に示すように、キャリブレーションボード座標系における車輪接地点の座標の決定方式は、下記のステップを含み得る。

Ｓ３０１において、キャリブレーションボード座標系における車両の片側の２つの車輪接地点の座標を決定する。

Ｓ３０２において、決定された座標及び当該車両の車両モデルを利用して、当該キャリブレーションボード座標系における車両の他側の２つの車輪接地点の座標を決定する。

幾つかの実施形態において、上記したキャリブレーションボード座標系における車両の片側の２つの車輪接地点の座標を決定するステップＳ３０１は、下記を含み得る。

まず、車両の片側の２つの車輪の車輪ハブの縁部に下げ振り糸を置き、糸が車輪ハブの縁部と相接し、下げ振り錘と地面が交わる位置で、チョーク又はマーカを使用してキャリブレーション点を付ける。車輪毎に２つのキャリブレーション点を付ける。図４Ａは、本発明の実施形態における、車輪ハブの縁部を利用するキャリブレーション点方式を示す図である。図４Ａに示すように、各車両の車輪ハブの縁部に置かれる下げ振り糸を利用して、車両の片側に四つのキャリブレーション点を付けることができ、当該側の車輪毎に２つのキャリブレーション点が対応され、各車輪の２つのキャリブレーション点の中点が、当該車輪の車輪接地点になる。

次に、キャリブレーションボードと直定規を利用して、キャリブレーションボード座標系における各キャリブレーション点の座標を測定し、それによってキャリブレーションボード座標系における車輪接地点の座標を決定する。図４Ｂは、本発明の実施形態における、キャリブレーションボード座標系における車両の片側の車輪接地点の座標の確定方式を示す図である。図４Ｂに示すように、車両の左側で、各車輪に既に２つのキャリブレーション点が付けられ、直定規を使用して、キャリブレーションボード座標系におけるキャリブレーションボードの同側の車輪キャリブレーション点の座標を測定することができる。例えば、直定規の片側をキャリブレーションボードの縁部に合わせ、他側を上記のキャリブレーション点に合わせ、直定規の目盛りとキャリブレーションボードのＹ軸の目盛りを記録し、キャリブレーションボード座標系におけるキャリブレーション点の座標を換算する。そしてキャリブレーションボード座標系における、車輪の対応する２つのキャリブレーション点の座標に基づいて、この２つのキャリブレーション点の中点の座標を決定し、即ち、キャリブレーションボード座標系における当該車輪の車輪接地点の座標を決定する。

上記のプロセスにおいて、キャリブレーションボード座標系における車両の片側の２つの車輪接地点の座標を決定し、その後、当該側の車輪接地点の座標及び車両の車両モデルに基づいて、キャリブレーションボード座標系における他側の車輪接地点の座標を決定することができ、即ち、上記のステップＳ３０２を実行する。車両モデルは、車長、車輻、軸距等の情報を含み得る。図４Ｃは、本発明の実施形態における車両の片側の車輪接地点の座標による、キャリブレーションボード座標系における車両の他側の車輪接地点の座標の決定方式を示す図である。図４Ｃに示すように、ＡとＢが既に座標を決定した２つの車輪接地点であり、Ａの座標が（ｘ１，ｙ１）であり、Ｂの座標が（ｘ２，ｙ２）であり、その場合、車両の偏向角と車幅Ｗに基づいて、キャリブレーションボード座標系における他の２つの車輪接地点Ｃ（ｘ３，ｙ３）とＤ（ｘ４，ｙ４）の座標を決定することができ、具体的に、
ｘ３＝ｘ２＋Ｗ×ｃｏｓθ、
ｙ３＝ｙ２＋Ｗ×ｓｉｎθ、
ｘ４＝ｘ１＋Ｗ×ｃｏｓθ、
ｙ４＝ｙ１＋Ｗ×ｓｉｎθ、
とする。

ここで、θ=ａｒｃｔａｎ（｜ｘ１−ｘ２｜／｜ｙ１−ｙ２｜）である。

キャリブレーションボード座標系における車両の各車輪接地点の座標を決定した後に、キャリブレーションボード座標系及び車体座標系における車両の少なくとも１つの車輪接地点の座標に基づいて、キャリブレーションボード座標系から前記車体座標系への第２変換行列を決定することができ、即ち、上記のステップＳ１０４を実行する。例えば、車両の３つの車輪接地点を利用して第２変換行列を決定し、残りの１つの車輪接地点は、後続の第２変換行列精度誤差に対する評価に用いられることができる。

本発明の実施形態は、画像収集デバイスの外部パラメータの精度誤差評価方法を提供し、当該画像収集デバイスの外部パラメータは、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定され、当該方法は、当該第１変換行列及び／又は当該第２変換行列の精度誤差を評価することを含み、ここで、
図５に示すように、第１変換行列の精度誤差を評価することは、下記のステップを含むことができる。

ステップＳ５０１において、画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び第１変換行列を利用して、キャリブレーションボード座標系におけるキャリブレーション点の第１座標を計算する。

ステップＳ５０２において、第１変換行列の精度誤差を評価するために、当該第１座標とキャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算する。

任意選択で、上記の距離はユークリッド距離であってもよい。

図６に示すように、第２変換行列の精度誤差を評価することは、下記のステップを含み得る。

ステップＳ６０１において、キャリブレーションボード座標系における車両の車輪接地点の座標及び第２変換行列を利用して、車体座標系における車輪接地点の第２座標を計算する。

ステップＳ６０２において、第２変換行列の精度誤差を評価するために、当該第２座標と車体座標系における車輪接地点の実座標との距離を計算する。

任意選択で、上記の距離はユークリッド距離であってもよい。

任意選択で、上記の精度誤差の評価プロセスにおいて、ステップＳ５０１で利用されているキャリブレーション点は、キャリブレーションボード内の、第１変換行列を決定する時に使用されていないキャリブレーション点を含み得、ステップＳ６０１で利用されている車輪接地点は、車両の車輪接地点のうちの、第２変換行列を決定する時に使用されていない車輪接地点を含み得る。

例えば、ＣｈＡｒＵｃｏキャリブレーションボードを採用するとした場合、第１変換行列を決定する時に使用されるのがＣｈＡｒＵｃｏキャリブレーションボードにおけるチェスボードパターンのコーナーであれば、第１変換行列の精度誤差を評価する時に、ＣｈＡｒＵｃｏキャリブレーションボード内のＡｒＵｃｏキャリブレーション点の角部を採用することができる。

また例えば、当該車両が四つの車輪がある場合、第２変換行列を決定する時に使用されるのが車両の３つの車輪接地点であれば、第２変換行列の精度誤差を評価する時に、当該車両のもう１つの車輪接地点を利用することができる。

さらに、上記の第１変換行列の精度誤差を利用して、画像収集デバイスの高精度領域を決定することができる。図７Ａは本発明の実施形態における第１変換行列の精度誤差を示す図であり、図７Ａにおいて、キャリブレーションボードの左上角に四つの黒いキャリブレーション点があり、キャリブレーションボード左下角に１つの黒いキャリブレーション点があり、この五つの黒いキャリブレーション点の精度が１ｃｍより大きい。図７Ａ内のその他のキャリブレーション点の精度が０．５ｃｍ〜１ｃｍであり、又は０．５ｃｍより小さい。よって、図７Ａ内の五つの黒いキャリブレーション点の位置の精度誤差が比較的に大きく、これらの誤差の大きいキャリブレーション点を利用して、画像収集デバイスの高精度領域を画定することができ、図７Ａ内の４本の黒い直線によって画定される領域は、画像収集デバイスの高精度領域である。ここで、２本の黒い横線及び左側の１本の黒い縦線は、図７Ａ内の五つの精度誤差の高い黒いキャリブレーション点によって決定されるものであり、右側の１本の黒い縦線は、歪み除去後の画像エッジによって決定されるものである。歪み除去後の画像は図７Ｂに示されているようになっている。

上記の図５と図６に示される精度誤差評価方式は、第１変換行列と第２変換行列のそれぞれに対して評価する方式である。本発明の実施形態において、第１変換行列と第２変換行列の総合精度に対して評価することもできる。図８は、本発明の実施形態における精度誤差評価方法を示す図であり、当該評価方式は、下記のステップを含むことができる。

ステップＳ８０１において、車両の同側に設けられる２つの画像収集デバイスを利用して、それぞれ１つの直線をフィッティングする。

ステップＳ８０２において、画像収集デバイスの外部パラメータの精度誤差を評価するために、２つの直線の夾角を決定する。

任意選択で、図９は、本発明の実施形態における精度誤差評価方法の、直線をフィッティングする方法を示す図である、図９に示すように、上記のステップＳ８０１における直線のフィッティング方式は、下記のステップを含み得る。

ステップＳ９０１において、画像収集デバイスによって撮影された画像内の、キャリブレーションボードにおける同一直線上の複数のキャリブレーション点を決定する。

ステップＳ９０２において、それぞれのキャリブレーション点に対して、キャリブレーションボード座標系におけるキャリブレーション点の座標、上記の第１変換行列、及び第２変換行列を利用して、車体座標系におけるキャリブレーション点の座標を決定する。

ステップＳ９０３において、複数の車体座標系におけるキャリブレーション点の座標を利用して、複数のキャリブレーション点を１つの直線にフィッティングする。

車両の同側の２つの画像収集デバイスで直線をフィッティングする時に同一の直線上のキャリブレーション点を使用しているため、この２本の直線の夾角が大きいほど、画像収集デバイスの外部パラメータの精度誤差が大きいことは明らかである。

図１０は、本発明の実施形態における直線のフィッティングを示す図である。図１０の上半分の２本の直線は、それぞれ車両の左前方と左後方の２つの画像収集デバイスによってフィッティングされた直線であり、図１０の下半分の２本の交差している直線は、それぞれ車両の右前方と右後方の２つの画像収集デバイスによってフィッティングされた直線である。車両右前方と右後方の２つの画像収集デバイスによってフィッティングされた直線の間に一定夾角があり、外部パラメータのキャリブレーションで一定の誤差が生じている証左である。

よって、本発明の実施形態に提供される画像収集デバイスの外部パラメータのキャリブレーション方法及び精度の評価方法は、キャリブレーションボードが遮られることによる影響を克服することができ、しかも車体座標系との変換関係を便利に計算することができる。専用のキャリブレーション場所を必要とせず、適応性が良い。キャリブレーションボードとカメラを移動する必要がなく、複数のカメラを同時にキャリブレーションすることができる。本発明の実施形態のキャリブレーション精度が高く、しかもキャリブレーションの誤差が定量化して評価することができる。

本発明の実施形態は、画像収集デバイスの外部パラメータのキャリブレーション装置をさらに提供し、ここで画像収集デバイスは、車両の車体側面に設けられ、画像収集デバイスの視野が下向きであり、車両側面の地面にキャリブレーションボードが設けられ、キャリブレーションボードは、画像収集デバイスの視野範囲内に位置し、図１１は、本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション装置１１００の構造を示す図であり、
画像収集デバイスによって撮影された画像を取得するように構成される画像取得モジュール１１１０と、
画像内のキャリブレーションボード上の複数のキャリブレーション点を決定するように構成されるキャリブレーション点決定モジュール１１２０と、
画像画素座標系及びキャリブレーションボード座標系における各キャリブレーション点の座標に基づいて、画像画素座標系からキャリブレーションボード座標系への第１変換行列を決定するように構成される第１変換行列決定モジュール１１３０と、
キャリブレーションボード座標系及び車体座標系における車両の少なくとも１つの車輪接地点の座標に基づいて、キャリブレーションボード座標系から車体座標系への第２変換行列を決定するように構成される第２変換行列決定モジュール１１４０と、
第１変換行列と第２変換行列を利用して、画像収集デバイスの外部パラメータを決定するように構成される外部パラメータ決定モジュール１１５０と、を含む。

任意選択で、上記のキャリブレーションボードは、ＣｈＡｒＵｃｏキャリブレーションボードを含むことができる。

任意選択で、上記のキャリブレーション点決定モジュール１１２０は、ＣｈＡｒＵｃｏキャリブレーションボード上の複数のチェスボードパターンのコーナーを決定するように構成されることができる。

図１２は、本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション装置１２００の構造を示す図であり、画像取得モジュール１１１０、キャリブレーション点決定モジュール１１２０、第１変換行列決定モジュール１１３０、第２変換行列決定モジュール１２４０、及び外部パラメータ決定モジュール１１５０を含む。

ここで、第２変換行列決定モジュール１２４０は、
キャリブレーションボード座標系における車両の片側の２つの車輪接地点の座標を決定するように構成される第１座標決定サブモジュール１２４１と、
決定された座標及び車両の車両モデルを利用して、キャリブレーションボード座標系における車両の他側の２つの車輪接地点の座標を決定するように構成される第２座標決定サブモジュール１２４２と、を含み得る。

本発明の実施形態は、画像収集デバイスの外部パラメータの精度誤差評価装置をさらに提出し、当該画像収集デバイスの外部パラメータは、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定され、図１３は、本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価装置１３００の構造を示す図であり、
第１評価モジュール１３１０及び／又は第２評価モジュール１３２０を含み、ここで、
第１評価モジュール１３１０は、
画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び第１変換行列を利用して、前記キャリブレーションボード座標系におけるキャリブレーション点の第１座標を計算するように構成される第１計算サブモジュール１３１１と、
第１変換行列の精度誤差を評価するために、第１座標と前記キャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算するように構成される第２計算サブモジュール１３１２と、を含み得、
第２評価モジュール１３２０は、
キャリブレーションボード座標系における車両の車輪接地点の座標及び第２変換行列を利用して、前記車体座標系における車輪接地点の第２座標を計算するように構成される第３計算サブモジュール１３２１と、
第２変換行列の精度誤差を評価するために、第２座標と車体座標系における車輪接地点の実座標との距離を計算するように構成される第４計算サブモジュール１３２２と、を含み得る。

任意選択で、上記の第１計算サブモジュール１３１１で利用されているのは、キャリブレーションボード内の第１変換行列を確定する時に使用されていないキャリブレーション点であってもよい。

上記の第３計算サブモジュール１３２１で利用されているのは、車両の車輪接地点内の第２変換行列を確定する時に使用されていない車輪接地点であってもよい。

任意選択で、上記のキャリブレーションボードは、ＣｈＡｒＵｃｏキャリブレーションボードを含み得る。

図１４は、本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価装置１４００の構造を示す図であり、図１４に示すように、上記の装置は、第３評価モジュール１４３０と、高精度領域決定モジュール１４４０とをさらに含み得る。

第３評価モジュール１４３０は、車両の同側に設けられる２つの画像収集デバイスを利用して、それぞれ１つの直線をフィッティングし、画像収集デバイスの外部パラメータの精度誤差を評価するために、２つの直線の夾角を決定するように構成され、ここで、各画像収集デバイスを利用して直線をフィッティングする方式は、画像収集デバイスによって撮影された画像内の、キャリブレーションボードにおける同一直線上の複数のキャリブレーション点を決定することと、各キャリブレーション点に対して、キャリブレーションボード座標系におけるキャリブレーション点の座標、第１変換行列、及び第２変換行列を利用して、前記車体座標系におけるキャリブレーション点の座標を決定することと、複数の車体座標系におけるキャリブレーション点の座標を利用して、複数のキャリブレーション点を１つの直線にフィッティングすることと、を含む。

高精度領域決定モジュール１４４０は、第１変換行列の精度誤差を利用して、画像収集デバイスの高精度領域を決定するように構成される。

本発明の実施形態における各装置内の各モジュールの機能は、上記の方法内の対応する記載を参照してもよく、ここで省略する。

本発明の実施形態によれば、本発明は、電子デバイスと読取可能記憶媒体をさらに提供する。

図１５は、本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法、又は画像収集デバイスの外部パラメータの精度誤差評価方法を実行するための電子デバイスのブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、個人デジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、個人デジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本出願に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本出願に記載・特定されているものの実現を限定するわけではない。

図１５に示すように、当該電子デバイスは、１つ又は複数のプロセッサ１５０１、メモリ１５０２、及び各部品を接続するためのインターフェースを含み、高速インターフェースと低速インターフェースを含む。各部品が異なるバスによって接続され、共通マザーボードに装着することができ、又は必要に応じて他の方式で装着することもできる。プロセッサは、電子デバイスで実行する命令を実行することができ、メモリに記憶される命令、又は外部入力／出力装置（例えば、インターフェースにカップリングする表示デバイス）に記憶され、ＧＵＩに表示するグラフィック情報の命令を含む。その他の実施形態において、必要があれば、複数のプロセッサ及び／又は複数のバス及び複数のメモリを一緒に使用することができる。同様に、複数の電子デバイスを接続することができ、各デバイスが各自の必要な操作を提供する（例えば、サーバアレイとしての１グループのブレードサーバ、又は、複数のプロセッサシステム）。図１５では１つのプロセッサ１５０１を例としている。

メモリ１５０２は、本発明に提供される非一時的コンピュータ読取可能な記憶媒体である。ここで、当該メモリに少なくとも１つのプロセッサで実行する命令が記憶され、当該少なくとも１つのプロセッサに、本発明に提供される画像収集デバイスの外部パラメータのキャリブレーション方法又は画像収集デバイスの外部パラメータの精度誤差評価方法を実行させる。本発明の非一時的コンピュータ読取可能な記憶媒体にコンピュータ命令が記憶され、当該コンピュータ命令は、コンピュータに本発明に提供される画像収集デバイスの外部パラメータのキャリブレーション方法又は画像収集デバイスの外部パラメータの精度誤差評価方法を実行させる。

メモリ１５０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラムを記憶するためのものであってもよく、非一時的コンピュータは、プログラム、及びモジュールを実行することができ、例えば、本発明の実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法に対応するプログラム命令／モジュール（例えば、図１１に示される画像取得モジュール１１１０、キャリブレーション点決定モジュール１１２０、第１変換行列決定モジュール１１３０、第２変換行列決定モジュール１１４０及び外部パラメータ決定モジュール１１５０）、又は本発明の実施形態における画像収集デバイスの外部パラメータの精度誤差評価方法に対応するプログラム命令／モジュール（例えば、図１３に示される第１評価モジュール１３１０及び／又は第２評価モジュール１３２０）を実行することができる。プロセッサ１５０１は、メモリ１５０２に記憶されている非一時的ソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの各機能及びデータ処理を実行し、即ち、上記の方法実施形態における画像収集デバイスの外部パラメータのキャリブレーション方法又は画像収集デバイスの外部パラメータの精度誤差評価方法を実現する。

メモリ１５０２は、プログラム記憶領域とデータ記憶領域を含み、ここで、プログラム記憶領域に、オペレーションシステム、少なくとも１つの機能に必要なアプリケーションプログラムが記憶され得、データ記憶領域に、画像収集デバイスの外部パラメータのキャリブレーション、又は画像収集デバイスの外部パラメータの精度誤差の評価による電子デバイスの使用によって生成されるデータ等が記憶され得る。また、メモリ１５０２は、高速ランダムアクセスメモリを含み得、非一時的メモリも含み得、例えば、少なくとも１つのディスク記憶素子、フラッシュ素子、又はその他の非一時的固体メモリ素子を含む。幾つかの実施形態において、メモリ１５０２はプロセッサ１５０１から遠隔に設置されるメモリを選択的に含み、これらの遠隔メモリは、ネットワークによって、画像収集デバイスの外部パラメータのキャリブレーション、又は画像収集デバイスの外部パラメータの精度誤差の評価を実行する電子デバイスに接続されることができる。上記のネットワークは、インターネット、イントラネット、ローカルエリアネットワーク、移動通信ネットワーク及びそれらの組み合わせを例として含むが、それらを限定しない。

画像収集デバイスの外部パラメータのキャリブレーション方法、又は画像収集デバイスの外部パラメータの精度誤差評価方法を実行する電子デバイスは、入力装置１５０３及び出力装置１５０４をさらに含み得る。プロセッサ１５０１、メモリ１５０２、入力装置１５０３、及び出力装置１５０４は、バス又は他の方式で接続されることができ、図１３ではバスによる接続を例としている。

入力装置１５０３は入力された数字又は文字情報を受け取ることができ、画像収集デバイスの外部パラメータのキャリブレーション方法、又は画像収集デバイスの外部パラメータの精度誤差評価方法を実行する電子デバイスのユーザ設定及び機能制御に関連するキーボード信号入力を生成し、例えば、タッチスクリーン、テンキー、マウス、トラックプレート、タッチタブレット、インジケーター、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置が挙げられる。出力装置１５０４は、表示用デバイス、照明補助装置（例えば、ＬＥＤ）及び触覚型フィードバック装置（例えば、振動モーター）等を含み得る。当該表示用デバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むが、それらを限定しない。幾つかの実施形態において、表示用デバイスは、タッチスクリーンであってもよい。

ここで記載されているシステムと技術に関する各実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現されることができる。これらの各実施形態は、１つ又は複数のコンピュータプログラムで実施することを含み得、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラミング可能なプロセッサを含むプログラミング可能なシステムにおいて、実行及び／又は解釈することができ、当該プログラミング可能なプロセッサは、専用又は汎用プログラミング可能なプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置から、データと命令を受け取ることができ、データと命令を当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも称する）はプログラミング可能なプロセッサの機械命令を含み、高級プロシージャ及び／又はオブジェクト指向のプログラム言語、及び／又はアセンブラ／機械語を利用してこれらのコンピュータプログラムを実施する。例えば、本出願に使用される、用語「機械での読取可能な媒体」と「コンピュータ読取可能な媒体」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのコンピュータプログラム製品、デバイス、及び／又は装置（例えば、ディスク、コンパクトディスク、メモリ、プログラミング可能なロジック装置（ＰＬＤ））を指しており、機械読取可能な信号として機械命令を受け取る機械読取可能な媒体を含む。用語「機械読取可能な信号」は、機械命令及び／又はデータをプログラミング可能なプロセッサに提供するためのいかなる信号を指している。

ユーザとのインタラクションを提供するために、コンピュータでここに記載されているシステムと技術を実施することができ、当該コンピュータは、ユーザに情報を表示するための表示用装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニター）、及びキーボードとポインティングデバイス（例えば、マウス又はトラックボール）を備え、ユーザは、当該キーボードと当該ポインティングデバイスによって、入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることができ、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、いかなる形式（音入力、音声入力、又は触覚入力）によって、ユーザからの入力を受け取ることができる。

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は当該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

コンピュータシステムは、クライアントとサーバを含み得る。通常、クライアントとサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント−サーバの関係を有するコンピュータプログラムによってクライアントとサーバの関係を生み出す。サーバは、クラウドサーバであってもよく、クラウド計算サーバ又はクラウドホストとも称し、クラウド計算サービス体系におけるホスト製品であり、従来の物理ホストと仮想専用サーバ（ＶＰＳ）でのサービスに存在する管理難度が大きく、サービス拡張性が弱い欠点を解決することができる。

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、または削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。

上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、および代替が可能であることを理解するべきである。本発明の要旨および原則内における変更、均等な置換および改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (21)

1. 画像収集デバイスが車両の車体側面に設けられ、前記画像収集デバイスの視野が下向きであり、前記車両側面の地面にキャリブレーションボードが設けられ、前記キャリブレーションボードが前記画像収集デバイスの視野範囲内に位置する、画像収集デバイスの外部パラメータのキャリブレーション方法であって、
   前記画像収集デバイスによって撮影された画像を取得することと、
   前記画像内のキャリブレーションボード上の複数のキャリブレーション点を決定することと、
   画像画素座標系及びキャリブレーションボード座標系における各前記キャリブレーション点の座標に基づいて、前記画像画素座標系から前記キャリブレーションボード座標系への第１変換行列を決定することと、
   前記キャリブレーションボード座標系及び車体座標系における、前記車両の少なくとも１つの車輪接地点の座標に基づいて、前記キャリブレーションボード座標系から前記車体座標系への第２変換行列を決定することと、
   前記第１変換行列及び前記第２変換行列を利用して、前記画像収集デバイスの外部パラメータを決定することと、を含む、
   画像収集デバイスの外部パラメータのキャリブレーション方法。
2. 前記キャリブレーションボードはＣｈＡｒＵｃｏキャリブレーションボードを含む、
   請求項１に記載の画像収集デバイスの外部パラメータのキャリブレーション方法。
3. 前記画像内のキャリブレーションボード上の複数のキャリブレーション点を決定することは、前記ＣｈＡｒＵｃｏキャリブレーションボード上の複数のチェスボードパターンのコーナーを決定することを含む、
   請求項２に記載の画像収集デバイスの外部パラメータのキャリブレーション方法。
4. 前記キャリブレーションボード座標系における前記車輪接地点の座標の決定方式は、
   前記キャリブレーションボード座標系における前記車両の片側の２つの車輪接地点の座標を決定することと、
   決定された座標及び前記車両の車両モデルを利用して、前記キャリブレーションボード座標系における前記車両の他側の２つの車輪接地点の座標を決定することと、を含む、
   請求項１〜３のいずれか１項に記載の画像収集デバイスの外部パラメータのキャリブレーション方法。
5. 画像収集デバイスの外部パラメータが、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定される、画像収集デバイスの外部パラメータの精度誤差評価方法であって、
   前記第１変換行列及び／又は前記第２変換行列の精度誤差を評価することを含み、
   前記第１変換行列の精度誤差を評価することは、前記画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び前記第１変換行列を利用して、前記キャリブレーションボード座標系における前記キャリブレーション点の第１座標を計算することと、前記第１変換行列の精度誤差を評価するために、前記第１座標と前記キャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算することと、を含み、
   前記第２変換行列の精度誤差を評価することは、前記キャリブレーションボード座標系における前記車両の車輪接地点の座標及び前記第２変換行列を利用して、前記車体座標系における前記車輪接地点の第２座標を計算することと、前記第２変換行列の精度誤差を評価するために、前記第２座標と前記車体座標系における前記車輪接地点の実座標との距離を計算することと、を含む、
   画像収集デバイスの外部パラメータの精度誤差評価方法。
6. 前記キャリブレーションボード内のキャリブレーション点は、前記キャリブレーションボード内の、前記第１変換行列の決定に使用されていないキャリブレーション点を含み、
   前記車両の車輪接地点は、前記車両の車輪接地点のうちの、前記第２変換行列の決定に使用されていない車輪接地点を含む、
   請求項５に記載の画像収集デバイスの外部パラメータの精度誤差評価方法。
7. 前記キャリブレーションボードはＣｈＡｒＵｃｏキャリブレーションボードを含む、
   請求項５又は６に記載の画像収集デバイスの外部パラメータの精度誤差評価方法。
8. 車両の同側に設けられる２つの画像収集デバイスを利用して、それぞれ１つの直線をフィッティングすることと、画像収集デバイスの外部パラメータの精度誤差を評価するために、２本の前記直線の夾角を決定することと、をさらに含み、
   各前記画像収集デバイスを利用して直線をフィッティングする方式は、
   前記画像収集デバイスによって撮影された画像における、前記キャリブレーションボード内の同一直線上の複数のキャリブレーション点を決定することと、
   各々の前記キャリブレーション点に対して、前記キャリブレーションボード座標系におけるキャリブレーション点の座標、前記第１変換行列、及び前記第２変換行列を利用して、前記車体座標系における前記キャリブレーション点の座標を決定することと、
   前記車体座標系における前記複数のキャリブレーション点の座標を利用して、前記複数のキャリブレーション点を１つの直線にフィッティングすることと、を含む、
   請求項５又は６に記載の画像収集デバイスの外部パラメータの精度誤差評価方法。
9. 前記第１変換行列の精度誤差を利用して、前記画像収集デバイスの高精度領域を決定すること、をさらに含む、
   請求項５又は６に記載の画像収集デバイスの外部パラメータの精度誤差評価方法。
10. 画像収集デバイスの外部パラメータのキャリブレーション装置であって、前記画像収集デバイスが、車両の車体側面に設けられ、前記画像収集デバイスの視野が下向きであり、前記車両側面の地面にキャリブレーションボードが設けられ、前記キャリブレーションボードが前記画像収集デバイスの視野範囲内に位置し、前記装置は、
    前記画像収集デバイスによって撮影された画像を取得するように構成される画像取得モジュールと、
    前記画像内のキャリブレーションボード上の複数のキャリブレーション点を決定するように構成されるキャリブレーション点決定モジュールと、
    画像画素座標系及びキャリブレーションボード座標系における各前記キャリブレーション点の座標に基づいて、前記画像画素座標系から前記キャリブレーションボード座標系への第１変換行列を決定するように構成される第１変換行列決定モジュールと、
    前記キャリブレーションボード座標系及び車体座標系における、前記車両の少なくとも１つの車輪接地点の座標に基づいて、前記キャリブレーションボード座標系から前記車体座標系への第２変換行列を決定するように構成される第２変換行列決定モジュールと、
    前記第１変換行列及び前記第２変換行列を利用して、前記画像収集デバイスの外部パラメータを決定するように構成される外部パラメータ決定モジュールと、を備える、
    画像収集デバイスの外部パラメータのキャリブレーション装置。
11. 前記キャリブレーションボードはＣｈＡｒＵｃｏキャリブレーションボードを含む、
    請求項１０に記載の画像収集デバイスの外部パラメータのキャリブレーション装置。
12. 前記キャリブレーション点決定モジュールは、前記ＣｈＡｒＵｃｏキャリブレーションボード上の複数のチェスボードパターンのコーナーを決定するように構成される、
    請求項１１に記載の画像収集デバイスの外部パラメータのキャリブレーション装置。
13. 前記第２変換行列決定モジュールは、
    前記キャリブレーションボード座標系における前記車両の片側の２つの車輪接地点の座標を決定するように構成される第１座標決定サブモジュールと、
    決定された座標及び前記車両の車両モデルを利用して、前記キャリブレーションボード座標系における前記車両の他側の２つの車輪接地点の座標を決定するように構成される第２座標決定サブモジュールと、を含む、
    請求項１０〜１２のいずれか１項に記載の画像収集デバイスの外部パラメータのキャリブレーション装置。
14. 画像収集デバイスの外部パラメータの精度誤差評価装置であって、前記画像収集デバイスの外部パラメータが、画像画素座標系からキャリブレーションボード座標系への第１変換行列、及びキャリブレーションボード座標系から車体座標系への第２変換行列によって決定され、前記装置は、
    第１評価モジュール及び／又は第２評価モジュールを備え、
    前記第１評価モジュールは、
    前記画像画素座標系におけるキャリブレーションボード内のキャリブレーション点の座標及び前記第１変換行列を利用して、前記キャリブレーションボード座標系における前記キャリブレーション点の第１座標を計算するように構成される第１計算サブモジュールと、
    前記第１変換行列の精度誤差を評価するために、前記第１座標と前記キャリブレーションボード座標系におけるキャリブレーション点の実座標との距離を計算するように構成される第２計算サブモジュールと、を備え、
    前記第２評価モジュールは、
    前記キャリブレーションボード座標系における前記車両の車輪接地点の座標及び前記第２変換行列を利用して、前記車体座標系における前記車輪接地点の第２座標を計算するように構成される第３計算サブモジュールと、
    前記第２変換行列の精度誤差を評価するために、前記第２座標と前記車体座標系における前記車輪接地点の実座標との距離を計算するように構成される第４計算サブモジュールと、を備え、
    画像収集デバイスの外部パラメータの精度誤差評価装置。
15. 前記第１計算サブモジュールで利用されるキャリブレーション点は、前記キャリブレーションボード内の、前記第１変換行列の決定に使用されていないキャリブレーション点であり、
    前記第３計算サブモジュールで利用される車輪接地点は、前記車両の車輪接地点のうちの、前記第２変換行列の決定に使用されていない車輪接地点である、
    請求項１４に記載の画像収集デバイスの外部パラメータの精度誤差評価装置。
16. 前記キャリブレーションボードはＣｈＡｒＵｃｏキャリブレーションボードを含む、
    請求項１４又は１５に記載の画像収集デバイスの外部パラメータの精度誤差評価装置。
17. 車両の同側に設けられる２つの画像収集デバイスを利用して、それぞれ１つの直線をフィッティングし、画像収集デバイスの外部パラメータの精度誤差を評価するために、２本の前記直線の夾角を決定するように構成される第３評価モジュールを、さらに備え、
    各前記画像収集デバイスを利用して直線をフィッティングする方式は、
    前記画像収集デバイスによって撮影された画像における、前記キャリブレーションボード内の同一直線上の複数のキャリブレーション点を決定することと、
    各々の前記キャリブレーション点に対して、前記キャリブレーションボード座標系におけるキャリブレーション点の座標、前記第１変換行列、及び前記第２変換行列を利用して、前記車体座標系における前記キャリブレーション点の座標を決定することと、
    前記車体座標系における前記複数のキャリブレーション点の座標を利用して、前記複数のキャリブレーション点を１つの直線にフィッティングすることと、を含む、
    請求項１４又は１５に記載の画像収集デバイスの外部パラメータの精度誤差評価装置。
18. 前記第１変換行列の精度誤差を利用して、前記画像収集デバイスの高精度領域を決定するように構成される高精度領域決定モジュールを、さらに備える、
    請求項１４又は１５に記載の画像収集デバイスの外部パラメータの精度誤差評価装置。
19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサに、請求項１〜９のいずれか１項に記載の方法を実行させる、
    電子デバイス。
20. 前記コンピュータに請求項１〜９のいずれか１項に記載の方法を実行させる命令を記憶するための非一時的コンピュータ可読記憶媒体。
21. コンピュータにおいて、プロセッサにより実行されると、請求項１〜９のいずれか１項に記載の方法を実現することを特徴とするプログラム。

Images