JP2022085910A - カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置 - Google Patents

Abstract

【課題】本開示は、カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置を開示する。【解決手段】カメラの校正方法は、カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定することと、内部パラメータの初期値、外部パラメータの初期値、歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定することと、第１領域の高精細地図における複数の特徴点を、カメラによって撮影された第１領域の第１画像の画素座標系に投影して複数の投影点を得ることと、複数の特徴点の画素座標系における座標、変換関係、及び複数の投影点のワールド座標に基づいて、カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得ることと、を含む。【選択図】図１

Description

本開示は、インテリジェント交通及び路車協調の技術分野に関し、具体的には、カメラ校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置に関する。

新インフラ整備の大きな背景のもとに、車とモノとのネットワーク（Ｖ２Ｘ）の路側感知システムは車路協調における車に対して、見通し外の感知情報を提供した。カメラは路側感知システムの中で最も主要なセンサの１つであり、通常は交差点の一方向の支柱に３つのカメラが同時に設置され、それぞれ前視銃型カメラ、後視銃型カメラ、魚眼カメラであり、そのうち魚眼カメラは前後のカメラの間の死角を補うためのものである。路側感知カメラの内部パラメータは車路協調の路側感知の基礎パラメータであり、画像の前処理による歪み除去にとって極めて重要であり、路側感知システムの精度とロバスト性にとって極めて重要な役割を果たしている。銃型カメラ（「ガンカメラ」と略称することができる）と魚眼カメラは重要なセンサとして校正をしてから再使用する必要があり、従来は多くの場合、「張正友校正法」を用いて校正を行い、複数組の市松模様や白黒格子などのキャリブレーションプレートの画像を収集して一連の計算を行うことによってカメラの内部パラメータを校正していた。しかし，この方法では，オペレータが交差点監視支柱にあるカメラの視野の下に碁盤目を置いて碁盤目画像を収集する必要があるため、多くの人件費と時間コストを投入する必要がある。

本開示は、カメラの校正方法、装置、電子デバイス、記憶媒体、プログラム、及び路側装置を提供する。

本開示の第１態様では、カメラの校正方法を提供し、該方法は、
カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定することと、
前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定することと、
第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得ることと、
前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得ることと、を含む。

本開示の第２様態では、カメラの校正装置を提供し、該装置は、
カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定するための第１決定モジュールと、
前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定するための第２決定モジュールと、
第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得るための投影モジュールと、
前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得るための計算モジュールと、を備える。

本開示の第３様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
少なくとも１つのプロセッサに通信接続されるメモリと、を備え、
メモリには、少なくとも１つのプロセッサにより実行可能な命令が記憶されており、
命令は、少なくとも１つのプロセッサにより実行されると、少なくとも１つのプロセッサに上述の方法を実行させる。

本開示の第４様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、該コンピュータ命令は、上述の方法をコンピュータに実行させる。

本開示の第５様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、上述の方法を実現する。

本開示の第６様態では、上述の電子デバイスを含む路側装置を提供する。

本開示の実施形態に係るカメラ校正方法によれば、キャリブレーションプレートによる補助を必要とせず、高精度地図とカメラで撮影された画像との間の対応関係を巧みに利用して、最小二乗最適化アルゴリズムを構築して、カメラの校正を行い、最終的に所要のカメラの内部パラメータと歪み係数を得ることができる。本開示の実施形態のカメラ校正方法によれば、コストを節約し、処理プロセスの作業効率を高めることができる。

ここに記載された内容は、本開示の実施形態のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して説明を促す。

本開示の実施形態によるカメラの校正方法のフローチャートである。 本開示の実施形態によるガンカメラ内部パラメータ校正のプロセスを示す概略図である。 本開示の図２の実施形態に係る高精細地図における特徴点を画像に投影した模式図である。 本開示の図２の実施形態に係る局所的に拡大した図である。 本開示の図２の実施形態に係る画像歪みを除去した後の概略図である。 本開示の実施形態による魚眼カメラ内部パラメータ校正のプロセスを示す概略図である。 本開示の図６の実施形態に係る高精細地図における特徴点を画像に投影した模式図である。 本開示の図６の実施形態に係る局所的に拡大した図である。 本開示の図６の実施形態に係る画像歪みを除去した後の概略図である。 本開示の実施形態によるカメラの校正装置の構成ブロック図である。 本開示の実施形態によるカメラの校正方法を実現するための電子デバイスのブロック図である。

添付図面は、本開示をより良く理解するためのものであり、本開示を限定するものではない。

以下では、本開示の例示的な実施形態を、理解を容易にするために本開示の実施形態の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施形態に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

本開示の実施形態はカメラの校正方法を提供し、図１は、本開示の実施形態によるカメラの校正方法のフローチャートである。該方法は、以下を含む。

Ｓ１０１において、カメラの内部パラメータの初期値（Ｋ）、外部パラメータの初期値（Ｒ，ｔ）、及び歪み係数の初期値（ｋ１，ｋ２は０）を決定する。

Ｓ１０２において、前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定する。

Ｓ１０３において、第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得る。

Ｓ１０４において、前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得る。

本開示の実施形態によれば、カメラの校正プロセスがカメラで撮影された画像に依存しないため、キャリブレーションプレートを使用する必要がなく、人的及び時間的コストを大幅に節約することができる。本開示の実施形態は、まず、カメラの内部パラメータの初期値、カメラの外部パラメータの初期値、及びカメラの歪み係数の初期値を含む複数のパラメータの初期値を決定し、そして、カメラの数学モデルにこれらの初期値を代入することができ、例えば、ガンカメラには「ピンホールカメラ投影モデル」を採用することができ、魚眼カメラには「等距離投影モデル」を採用することができ、一定の簡略化処理を経て変換関係式を得ることができ、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を表し、後続の処理のために準備する。

本開示の実施形態では、高精度地図の持つワールド座標データを利用する必要があり、利用方法は次のとおりである。すなわち、カメラの撮影視野が第１領域を含むと仮定すると、この第１領域の高精度グラフにおいて、複数の特徴点（例えば、車線境界線コーナー点、道路エッジ点等）を選択し、これらの複数の特徴点を、カメラによって撮影された第１領域の画像に投影して複数の投影点を形成することができ、また、同一の領域であるため、選択された複数の特徴点は第１領域の画像にも存在するが、カメラが校正を完了していないため、第１領域の画像における特徴点は、高精細地図から該画像に投影して得られた投影点と一定の距離だけ離れてしまい、特徴点と対応する投影点とが重なり合うことができない。特徴点が対応する投影点と重ね合わせるように、本開示の実施形態は、最小二乗法を用いて処理を行い、ここで、カメラによって撮影された画像における点の、ワールド座標系から画素座標系への変換関係に応じて、投影点の画素座標系における座標データを得ることができ、これにより、画像における特徴点と対応する投影点間の距離が縮小され、最小二乗法による反復処理により、カメラの内部パラメータと歪み係数の値を得ることができ、カメラ校正を実現することができる。

本開示の実施形態に係るカメラ校正方法によれば、キャリブレーションプレートによる補助を必要とせず、高精度地図とカメラで撮影された画像との間の対応関係を巧みに利用して、最小二乗最適化アルゴリズムを構築して、最終的に所要のカメラの内部パラメータと歪み係数を得ることができる。本開示の実施形態のカメラ校正方法によれば、コストを節約し、処理過程を便利にし、作業効率を高めることができる。

本開示の実施形態では、選択的に、内部パラメータの初期値は、カメラの構成パラメータに基づいて決定されてもよい。あるいは、内部パラメータの初期値は、カメラの焦点距離及び画像解像度に基づいて決定されてもよい。本開示の実施形態では、カメラ校正パラメータの初期値をカメラ自身のパラメータに基づいて設定することで、データ取得が容易であり、処理結果の信頼性が高い。

本開示の一実施形態では、選択的に、前記カメラは、銃型カメラであり、前記カメラの数学モデルは、ピンホールカメラ投影モデルであり、前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される。
ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）
ここで、ｌｅｎｓはカメラの焦点距離を表し、ｌｅｎｔｈはカメラのサイズパラメータを表し、ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅはカメラのサイズスケールパラメータを表し、ｗとｈは、それぞれカメラの画像解像度の幅と高さを表す。

本開示の別の実施形態では、選択的に、前記カメラは、魚眼カメラであり、前記カメラの数学モデルは、等距離投影モデルであり、前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される。
ｆ＝ｗ／ｓｃａｌｅ＿ｆｏｃａｌ
ここで、ｗはカメラの画像解像度における水平方向の画素数を表し、ｓｃａｌｅ＿ｆｏｃａｌは魚眼カメラの銃型カメラでの等価焦点距離を計算する尺度を表す。

上記のいずれかの実施形態について、選択的に、カメラの内部パラメータのうち、ｃｘの初期値はカメラの画像解像度の幅の１／２であってもよく、ｃｙの初期値はカメラの画像解像度の高さの１／２でであってもよい。異なるタイプのカメラは異なるカメラモデルを採用し、本開示の実施形態は異なるモデルに対して適切な初期値を与え、校正結果の精度が高い。

本開示の実施形態では、選択的に、前記複数の特徴点の前記第１画像における位置と、前記複数の投影点の前記第１画像における位置とに基づいて、前記複数の特徴点の位置と前記複数の投影点の位置とが対応するように、前記カメラの角度を調整し、調整した角度と前記カメラの設置位置パラメータとに基づき前記カメラの外部パラメータの初期値を決定することができる。

本開示の実施形態によれば、カメラにより撮影された交差点画像における複数の特徴点を車線境界線上の複数のコーナー点とすると、これらのコーナーは、車線境界線に分布しており、一組のアレイを形成する。高精度地図上の同一交差点の同一車線境界線の同一位置の複数の角点を交差点画像に投影した後、投影点も一組のアレイとなる。オペレータは、カメラの角度（ピッチ角、方位角、タンブル角など）を調整して、撮影画像中の特徴点アレイを投影点アレイの方位と一致させることができ（このとき、特徴点と投影点とは重なり合ってしない）、調整された角度に基づいて外部パラメータ回転行列の初期値を得ることができ、通常Ｒと表記し、また、カメラの設置位置のワールド座標を外部パラメータ平行移動ベクトルの初期値とすることができ、通常ｔと表記することができ、歪み係数の初期値を０とすることができ、ｋ１＝ｋ２＝０と表記することができる。本開示の実施形態では、カメラの校正パラメータの初期値を設定する方法が直観的であり、取得しやすく、校正結果の精度が高い。

本開示の実施形態は、インテリジェント交通の分野又は車両と道路との協調の分野に適用することができ、路側感知技術分野では、路側感知銃式カメラと魚眼カメラの内部パラメータは車路協調感知の基礎パラメータであり、画像の前処理による歪み除去にとって極めて重要であり、車路協調感知の精度への影響は大きく、伝統的な方法ではカメラ内部パラメータ校正のコストは高止まりしており、大きな割合を占めている。本開示の以上の少なくとも１つの実施形態を採用することにより、高精度地図を利用し、カメラモデルに基づいて最小二乗最適化アルゴリズムを構築することができ、車路協調の路側カメラ内部パラメータ自己校正を実現することができ、碁盤目状のキャリブレーションプレートの画像を追加的に収集する必要がなく、カメラ内部パラメータ校正の人的、物的、及び時間的コストを大幅に低減することができる。

以上、本開示の実施形態に係るカメラの校正方法の実施形態及び得られる利点について説明した。以下、本開示の実施形態の具体的な処理手順について、具体的な例を用いて詳細に説明する。

実施形態１：ガンカメラの校正
本開示の実施形態は、３Ｄ高精細地図及びピンホールカメラ投影モデルを使用して、ガンカメラ内部パラメータ自己校正を達成することができ、図２は、本開示の実施形態によるガンカメラ内部パラメータ自己校正のプロセスを示す概略図である。

具体的には、ガンカメラの内部パラメータ行列Ｋは、

であり、ガンカメラのピンホールカメラモデルには、次のパラメータ、
ガンカメラの内部パラメータｆｘ、ｆｙ、ｃｘ、ｃｙ（ここで、ｆｘ＝ｆｙ＝ｆと仮定することができ、ｃｘ及びｃｙの初期値は、それぞれガンカメラの画像解像度の幅及び高さの半分（画像の中心座標）とすることができる。）、
歪み係数Ｄ＝［ｋ１，ｋ２，０．０，０．０，０．０］、
外部パラメータ回転行列Ｒと外部パラメータ平行移動ベクトルｔ、
を含む。

ガンカメラのピンホールカメラモデルは次のとおりである。

ここで、（Ｘｗ，Ｙｗ，Ｚｗ）は地面標識コーナー点（特徴点）の３Ｄ座標を表し、外部パラメータ回転行列Ｒと外部パラメータ平行移動ベクトルｔからカメラ座標系における座標（ｘｃ，ｙｃ，ｚｃ）は算出され、正規化後に次のように歪み処理を行う。すなわち、
ｘｃ＿ｄ＝ｘｃ１×（１＋ｋ１×ｒ^２＋ｋ２×ｒ^４）、
ｙｃ＿ｄ＝ｙｃ１×（１＋ｋ１×ｒ^２＋ｋ２×ｒ^４）、
ここで、ｘｃ１とｙｃ１とはカメラ座標系におけるコーナー点の正規化座標を表し、
ｒ^２＝ｘｃ１^２＋ｙｃ１^２、
ｕ＝ｆｘ×ｘｃ＿ｄ＋ｃｘ、
ｖ＝ｆｙ×ｙｃ＿ｄ＋ｃｙ、

との式があり、ここで、（ｕ，ｖ）は元画像におけるコーナー点の２Ｄ座標である。

ガンカメラの既知のパラメータとして、ガンカメラの実際の焦点距離ｌｅｎｓ、画像センサのサイズパラメータｌｅｎｔｈ、画像センサのサイズスケールパラメータｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ、及びそれぞれｗｉｄｔｈ（ｗ）とｈｅｉｇｈｔ（ｈ）として表されるガンカメラの画像解像度の高さと幅がある。

本実施形態では、内部パラメータ行列におけるパラメータｆの初期値は、次式により得ることができる。

ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）、
ガンの設置位置パラメータ（例えば、カメラの取り付け工事時にＲＴＫ設備で収集して得ることができる）に基づいて、高精細地図の点から画像への投影のマッチング関係を利用して、ガンの外部パラメータＲとｔの初期値を得ることができる。

以上のパラメータと初期値をガンカメラピンホールカメラモデルに入力して構築した最小二乗最適化アルゴリズムは、以下のとおり、最終的にガンカメラの内部パラメータ（内部パラメータ行列と歪み係数）を解くことができる。

ここで、ｌｏｓｓは損失関数、ｍは正の整数であり、ｕｏ、ｖｏは特徴点の画素座標系における座標を表し、ＤＩＳＴ（）はカメラ座標系における点に対して歪みを加える処理を行うことを表す（ガンの場合、ＤＩＳＴ（）は、ｘｃ＿ｄ＝ｘｃ１×（１＋ｋ１×ｒ^２＋ｋ２×ｒ^４）、ｙｃ＿ｄ＝ｙｃ１×（１＋ｋ１×ｒ^２＋ｋ２×ｒ^４、ｒ^２＝ｘｃ１^２＋ｙｃ１^２）を含む。

本開示の一実施形態では、既知のガンカメラの初期パラメータは以下の通りである。
ｌｅｎｓ＝１２．０ｍｍ、ｌｅｎｔｈ＝１６．０ｍｍ、ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ＝１．８、
イメージの解像度が１９２０×１０８０の場合、ｗ＝９２０、ｈ＝１０８０とすると、
ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）より，ｆ＝２９７４．０５が求められる。
ここで、ガンカメラの初期パラメータは次のとおりである。
Ｋ：［２９７４．０５，０．００００００，９６０．０，０．００００００，２９７４．０５，５４０．０，０．００００００，０．００００００，１．００００００］、
Ｄ：［０．０，０．０，０．０，０．０，０．０］、
初期パラメータＫ、Ｄ、及びカメラの初期位置と方向を使用して、高精細地図を画像上に投影した投影点（図３においてドットで示す）を求めた後、高精細地図と画像における対応する位置がほぼ一致するようにガンカメラ角度を微調整して、画像の２Ｄ座標とそれに対応する高精細地図の３Ｄ座標の投影点とを接続することにより、図３に示すように２Ｄ－３Ｄ点対が求められ、図４は局所的に拡大した図である。

構築された最小二乗最適化アルゴリズムによって、カメラの内部パラメータｆ、歪み係数ｋ１、ｋ２及びカメラの外部パラメータＲ及びｔが最適化され、最終的に反復して最適化することにより、カメラの内部パラメータｆ及び歪み係数ｋ１及びｋ２の最適解を得ることができ、具体的には以下の通りである。

ｆ＝２８０９．７３９７７６、ｋ１＝－０．３１４８１３、ｋ２＝０．１９１４４４、即ち、

Ｋ：［２８０９．７３９７７６，０．０，９６０，０．０，２８０９．７３９７７６，５４０，０．０，０．０，１．０］、
Ｄ：［－０．３１４８１３，０．１９１４４４，０．０，０．０，０．０］、
画像歪みを除去した後の画像は図５に示した通りである。

実施形態２：魚眼カメラの校正
本開示の実施形態は、３Ｄ高精細地図及び等距離投影モデルを使用して、魚眼カメラ内部パラメータ自己校正を達成することができ、図６は、本開示の実施形態による魚眼カメラ内部パラメータ自己校正のプロセスを示す概略図である。

具体的には、魚眼カメラの内部パラメータ行列Ｋは、

であり、魚眼カメラの等距離投影モデルのパラメータには、魚眼カメラの焦点距離ｆｘ、ｆｙ、ｃｘ、ｃｙ及び歪み係数Ｄ＝「ｋ１、ｋ２、ｋ３、ｋ４」を含む。同一機種の魚眼カメラでは、焦点距離ｆｘ，ｆｙの初期値はともにｆ、すなわちｆｘ＝ｆｙ＝ｆとし、ｃｘとｃｙの初期値は、それぞれカメラ画像解像度の幅と高さの半分（画像の中心座標）とし、歪み係数Ｄは、ｋ３とｋ４を０とし、Ｄ＝「ｋ１，ｋ２，０．０，０．０」とし、ｋ１とｋ２の初期値を０．０とする。

魚眼カメラによる等距離投影モデルは次のとおりである。
ｐｃ＝Ｒ×ｐ３ｄ＋ｔ、
ｘ＝ｐｃ［０］、
ｙ＝ｐｃ［１］、
ｚ＝ｐｃ［２］、
ここで、ｐ３ｄは高精細地図における地面標識コーナー点（特徴点）の３Ｄ座標を表し、ｐｃは地面標識コーナー点のカメラ座標系における座標を表し、ｐｃ［０］はその１次元目の座標を表し、ｐｃ［１］はその２次元目の座標を表し、ｐｃ［２］はその３次元目の座標を表す。カメラ座標系における点は、次のように歪みを加える処理を行う。
ｒ＿２＝（ｘ／ｚ）×（ｘ／ｚ）＋（ｙ／ｚ）×（ｙ／ｚ）、
ｒ＝ｓｑｒｔ（ｒ＿２）、
θ＝ａｒｃｔａｎ（ｒ）、
θ＿ｄ＝θ×（１＋ｋ１×θ^２＋ｋ２×θ^４）、
ｕ＿ｄ＝ｆｘ×（θ＿ｄ／ｒ）×ｘ／ｚ＋ｃｘ、
ｖ＿ｄ＝ｆｙ×（θ＿ｄ／ｒ）×ｙ／ｚ＋ｃｙ、
ここで、（ｕ＿ｄ、ｖ＿ｄ）は地面標識コーナー点が魚眼画像の元画像上に投影された画素座標を表し、次に魚眼画像の元画像上の地面標識コーナー点の画素座標と誤差を求め、上記パラメータ及び初期値を用いて構築された最小二乗最適化アルゴリズムは、式［１］及び式［２］と同様であり、魚眼カメラの場合、歪みを加える処理ＤＩＳＴ（）には、ｒ＿２＝（ｘ／ｚ）×（ｘ／ｚ）＋（ｙ／ｚ）×（ｙ／ｚ）、ｒ＝ｓｑｒｔ（ｒ＿２）、θ＝ａｒｃｔａｎ（ｒ）、θ＿ｄ＝θ×（１＋ｋ１×θ^２＋ｋ２×θ^４）を含み、最終的には、魚眼カメラの新しい内部パラメータ行列Ｋと歪み係数Ｄを解くことができる。

本開示の一実施形態では、魚眼カメラの初期パラメータは以下の通りである。
Ｋ：［３３７．０，０．００００００，６４０．０，０．００００００，３３７．０，６４０．０，０．００００００，０．００００００，１．００００００］、
Ｄ：［０．０，０．０，０．０，０．０］、
魚眼カメラの画像解像度は１２８０×１２８０である。

初期パラメータＫ、Ｄ、及びカメラの初期位置と方向を使用して、高精細地図を画像上に投影した投影点（図７においてドットで示す）を求めた後、高精細地図と画像における対応する位置がほぼ一致するように魚眼カメラ角度を微調整して、画像の２Ｄ座標とそれに対応する高精細地図の３Ｄ座標の投影点とを接続することにより、図７に示すように２Ｄ－３Ｄ点対が求められ、図８は局所的に拡大した図である。

次に、構築された最小二乗最適化アルゴリズムによって、カメラの歪み係数ｋ１、ｋ２及びカメラの外部パラメータＲ及びｔを最適化し、最終的に反復して最適化することにより、カメラの歪み係数ｋ１及びｋ２の最適解を得ることができ、具体的には以下の通りである。

ｋ１＝０．０６５８１０、ｋ２＝－０．００６３４２、Ｄ：［０．０６５８１０，－０．００６３４２，０．０，０．０］。

画像歪みを除去した後の画像は図９に示した通りである。

本明細書の上記の少なくとも１つの例によれば、カメラ内部パラメータ自己校正は、３Ｄ高精細地図を利用して実現され、従来の校正方法による内部パラメータ校正プロセスを省き、カメラ内部パラメータ校正のコストを低減することができる。

以上、本開示の実施形態の具体的な設定及び実施形態について、複数の実施形態を介して異なる角度から説明した。上述した少なくとも１つの実施形態の処理方法に対応して、本開示の実施形態は、カメラ校正装置１００をさらに提供し、図１０に示すように、当該装置は、
カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定するための第１決定モジュール１１０と、
前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定するための第２決定モジュール１２０と、
第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得るための投影モジュール１３０と、
前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得るための計算モジュール１４０と、を備える。

選択的に、第１決定モジュールは、前記カメラの構成パラメータに基づいて内部パラメータの初期値を決定する。

選択的に、前記構成パラメータは、カメラの焦点距離及び画像解像度を含む。

選択的に、前記カメラは、銃型カメラであり、前記カメラの数学モデルは、ピンホールカメラ投影モデルであり、前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）により計算され、ここで、ｌｅｎｓはカメラの焦点距離を表し、ｌｅｎｔｈはカメラのサイズパラメータを表し、ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅはカメラのサイズスケールパラメータを表し、ｗとｈは、それぞれカメラの画像解像度の幅と高さを表す。

選択的に、前記カメラは、魚眼カメラであり、前記カメラの数学モデルは、等距離投影モデルであり、前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は式ｆ＝ｗ／ｓｃａｌｅ＿ｆｏｃａｌにより計算され、ここで、ｗはカメラの画像解像度における水平方向の画素数を表し、ｓｃａｌｅ＿ｆｏｃａｌは魚眼カメラの銃型カメラでの等価焦点距離を計算する尺度を表す。

選択的に、前記カメラの内部パラメータのうち、ｃｘの初期値はカメラの画像解像度の幅の１／２であり、ｃｙの初期値はカメラの画像解像度の高さの１／２である。

選択的に、前記第１決定モジュールは、前記複数の特徴点の前記第１画像における位置と、前記複数の投影点の前記第１画像における位置とに基づいて、前記複数の特徴点の位置と前記複数の投影点の位置とが対応するように、前記カメラの角度を調整し、調整した角度と前記カメラの設置位置パラメータとに基づき前記カメラの外部パラメータの初期値を決定する。

本開示の実施形態のカメラ校正装置１００を利用すれば、道路上に既存する多くの従来の交通監視用電気警察カメラについて、人的・物的コストを費やして電気警察カメラを分解しカメラ内部パラメータ校正を行う必要がなく、カメラ校正装置１００に基づいて、電気警察カメラに対して直接内部パラメータの自己校正をすることができ、車路協調の路側感知に用いられることができる。そのため、既存の電気警察カメラ資源をグレードアップして最適化し、古いカメラの利用最大化と最大限の互換性を実現することに積極的な役割を発揮し、インテリジェント交通道路施設建設への資金投入と時間投入を大幅に削減し、インテリジェント交通業界の発展・普及を加速させることができる。

本開示の実施形態によれば、本開示は、電子デバイスをさらに提供する。図１１に示すよう、該電子デバイスは、１つ又は複数のコンピューティングユニット１００１と、メモリ１００２と、高速インターフェースと低速インターフェースとを含む各構成要素を接続するためのインターフェースとを含む。各構成要素は、異なるバスを利用して互いに接続し、共通のマザーボードに取り付けられてもよいし、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子デバイス内で実行される命令を処理してもよく、また、外部入出力デバイス（例えば、インターフェースに接続された表示デバイス）にグラフィックユーザインターフェース（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ、ＧＵＩ）を表示するための、メモリ又はメモリ上に記憶されたグラフィカル情報の命令を含む。他の実施形態において、必要に応じて、複数のプロセッサ及び／又は複数のバスを複数のメモリ及び複数のメモリとともに使用することができる。同様に、複数の電子デバイスを接続してもよく、各デバイスは、部分的に必要な動作、例えば、サーバアレイ、ブレードサーバの集合、又はマルチプロセッサシステムとして、提供する。図１１においてコンピューティングユニット１００１を例とする。

メモリ１００２は、本発明にて提供された非一過性のコンピュータ可読記憶媒体である。メモリは、本発明で提供される商品案内方法を少なくとも１つのプロセッサに実行させるように、少なくとも１つのプロセッサによって実行されることができる命令を記憶する。本発明における非一過性のコンピュータ可読記憶媒体は、本発明で提供された商品案内方法をコンピュータに実行させるためのコンピュータ命令を記憶する。

メモリ１００２は、非一過性のコンピュータ可読記憶媒体として、非一過性のソフトウェアプログラム、非一過性のコンピュータ実行可能なプログラム及びモジュールを記憶するために使用されてもよく、本発明の実施形態におけるカメラの校正方法に対応するプログラム命令／モジュールである。コンピューティングユニット１００１は、メモリ１００２に記憶されている非一過性のソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理、即ち上述した方法に関する実施形態に係る商品案内方法を実行する。

メモリ１００２は、オペレーティングシステムや少なくとも１つの機能に必要なアプリケーションを記憶することができるプログラムの記憶領域と、商品案内方法に係る電子デバイスの使用によって生成されたデータなどを記憶することができるデータの記憶領域と、を含むことができる。さらに、メモリ１００２は、高速ランダムアクセスメモリを含んでもよく、非一過性の固体記憶装置を含んでもよい。例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリ装置、又は他の非一過性の固体記憶装置を含むことができる。いくつかの実施形態において、メモリ１００２はオプションとして、コンピューティングユニット１００１に対して遠隔的に設定されたメモリを含み、これらの遠隔メモリは、ネットワークを介して商品案内方法に係る電子デバイスに接続されてもよい。上記のネットワークの例は、インターネット、企業内ネットワーク、ローカルネットワーク、モバイル通信ネットワーク及びその組み合わせを含むが、これらに限定されない。

本発明の実施形態のカメラの校正方法に対応する電子デバイスは、入力装置１００３と出力装置１００４とをさらに含むことができる。コンピューティングユニット１００１、メモリ１００２、入力装置１００３、及び出力装置１００４は、バス又は他の方法で接続されてもよく、図１１ではバスを介して接続されている。

入力装置１００３は、入力された数字又は文字を受信し、商品案内方法に係る電子デバイスのユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチパネル、キーパッド、マウス、トラックボード、タッチパッド、指示棒、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどを含むことができる。出力装置１００４は、表示装置、補助照明装置（例えばＬＥＤ）、及び触覚フィードバック装置（例えば、振動モータ）などを含むことができる。この表示装置は、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるがこれらに限定されない。いくつかの実施形態では、表示装置はタッチパネルであってもよい。

本開示の実施形態では、上述したような電子デバイスを含む路側装置をさらに提供する。

選択的に、路側装置は、電子デバイスに加えて、通信コンポーネントなどを含んでいてもよい。電子デバイスは、通信コンポーネントと一体に統合されてもよいし、別個に提供されてもよい。該電子デバイスは、感知デバイス（路側カメラなど）から写真や動画などのデータを取得し、画像・映像処理やデータ演算を行うことができる。選択的に、電子デバイス自体は感知データを取得する機能や通信機能を有してもよく、例えばＡＩカメラである。取得した感知データに基づいて電子デバイスは直接、画像・映像処理やデータ演算を行うことも可能である。

本発明におけるシステム及び技術に係る様々な実施形態は、デジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現されることができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実装されてもよく、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステム上で実行されてもよく、及び／又は解釈されてもよく、このプログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置より、データと命令を受信し、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置に、データと命令を送信する。

これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードともいう）は、プログラマブルプロセッサのマシン命令を含み、過程指向及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／マシン言語を用いてこれらの計算プログラムを実施することができる。本発明で使用されるように、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、マシン命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、編集可能論理デバイス（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅ、ＰＬＤ）を意味し、機械読み取り可能な信号としてのマシン命令を受信する機械可読媒体を含む。「機械読み取り可能な信号」という用語は、マシン命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を意味する。

ユーザとのイントラクションを提供するために、本発明で説明されているシステムや技術は、コンピュータ上で実施されてもよく、また、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備えてもよい。他の種類の装置も、ユーザとのイントラクションを提供するために使用され得る。例えば、ユーザに提供されたフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、いかなる形式（音響入力、音声入力、又は触覚入力を含む）で受信されてもよい。

本発明で説明されているシステム及び技術は、バックグラウンド構成要素を含む計算システム（例えば、データサーバとして）、又は中間部構成要素を含む計算システム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含む計算システム（例えば、グラフィカルユーザインタフェース又はネットワークブラウザを備えたユーザコンピュータであって、ユーザがこのグラフィカルユーザインタフェース又はネットワークブラウザを介して本発明で説明されたシステム及び技術に係る実施形態とインタラクションを行うことができるユーザコンピュータ）に実行されてもよく、又は、このようなバックグラウンド構成要素、中間部構成要素、又はフロントエンド構成要素の任意の組合せを含む計算システムにおいて実行されてもよい。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されてもよい。通信ネットワークの例えとして、ローカルネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、広域ネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）及びインターネットを含む。

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアントとサーバは一般的に相互に離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係を持つコンピュータプログラムがそれぞれのコンピュータ上で実行されることによって、クライアントとサーバとの関係は構築される。

上記の様々な態様のフローを使用して、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本発明で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本発明で開示された技術案が所望する結果を実現することができる限り、本発明ではこれに限定されない。

上記具体的な実施形態は、本発明の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本発明の要旨及び原則内における変更、均等な置換及び改善等は、いずれも本発明の保護範囲に含まれるべきである。

Claims (18)

1. カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定することと、
   前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定することと、
   第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得ることと、
   前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得ることと、を含む、
   カメラの校正方法。
2. 前記カメラの内部パラメータの初期値を決定することは、
   前記カメラの構成パラメータに基づいて内部パラメータの初期値を決定することを含む、
   請求項１に記載のカメラの校正方法。
3. 前記構成パラメータは、カメラの焦点距離及び画像解像度を含む、
   請求項２に記載のカメラの校正方法。
4. 前記カメラは、銃型カメラであり、
   前記カメラの数学モデルは、ピンホールカメラ投影モデルであり、
   前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される、
   ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）
   （式中、ｌｅｎｓはカメラの焦点距離を表し、ｌｅｎｔｈはカメラのサイズパラメータを表し、ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅはカメラのサイズスケールパラメータを表し、ｗとｈは、それぞれカメラの画像解像度の幅と高さを表す）
   請求項１に記載のカメラの校正方法。
5. 前記カメラは、魚眼カメラであり、
   前記カメラの数学モデルは、等距離投影モデルであり、
   前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される、
   ｆ＝ｗ／ｓｃａｌｅ＿ｆｏｃａｌ
   （式中、ｗはカメラの画像解像度における水平方向の画素数を表し、ｓｃａｌｅ＿ｆｏｃａｌは魚眼カメラの銃型カメラでの等価焦点距離を計算する尺度を表す）
   請求項１に記載のカメラの校正方法。
6. 前記カメラの内部パラメータのうち、ｃｘの初期値はカメラの画像解像度の幅の１／２であり、ｃｙの初期値はカメラの画像解像度の高さの１／２である、
   請求項４又は５に記載のカメラの校正方法。
7. 前記カメラの外部パラメータの初期値を決定することは、
   前記複数の特徴点の前記第１画像における位置と、前記複数の投影点の前記第１画像における位置とに基づいて、前記複数の特徴点の位置と前記複数の投影点の位置とが対応するように、前記カメラの角度を調整し、調整した角度と前記カメラの設置位置パラメータとに基づき前記カメラの外部パラメータの初期値を決定することを含む、
   請求項１に記載のカメラの校正方法。
8. カメラの内部パラメータの初期値、外部パラメータの初期値、及び歪み係数の初期値を決定するための第１決定モジュールと、
   前記内部パラメータの初期値、前記外部パラメータの初期値、前記歪み係数の初期値、及びカメラの数学モデルに基づいて、カメラによって撮影された画像における点のワールド座標系から画素座標系への変換関係を決定するための第２決定モジュールと、
   第１領域の高精細地図における複数の特徴点を、前記カメラによって撮影された前記第１領域の第１画像の画素座標系に投影して複数の投影点を得るための投影モジュールと、
   前記複数の特徴点の画素座標系における座標、前記変換関係、及び前記複数の投影点のワールド座標に基づいて、前記カメラの内部パラメータ及び歪み係数を、最小二乗法を用いて得るための計算モジュールと、を備える、
   カメラの校正装置。
9. 前記第１決定モジュールは、前記カメラの構成パラメータに基づいて内部パラメータの初期値を決定する、
   請求項８に記載のカメラの校正装置。
10. 前記構成パラメータは、カメラの焦点距離及び画像解像度を含む、
    請求項９に記載のカメラの校正装置。
11. 前記カメラは、銃型カメラであり、
    前記カメラの数学モデルは、ピンホールカメラ投影モデルであり、
    前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される、
    ｆ／（ｗ^２＋ｈ^２）^０．５＝ｌｅｎｓ／（ｌｅｎｔｈ／ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅ）
    （式中、ｌｅｎｓはカメラの焦点距離を表し、ｌｅｎｔｈはカメラのサイズパラメータを表し、ｓｅｎｓｏｒ＿ｓｉｚｅ＿ｓｃａｌｅはカメラのサイズスケールパラメータを表し、ｗとｈは、それぞれカメラの画像解像度の幅と高さを表す）
    請求項８に記載のカメラの校正装置。
12. 前記カメラは、魚眼カメラであり、
    前記カメラの数学モデルは、等距離投影モデルであり、
    前記カメラの内部パラメータのうち、ｆｘ＝ｆｙ＝ｆとなり、前記ｆの初期値は次の式により計算される、
    ｆ＝ｗ／ｓｃａｌｅ＿ｆｏｃａｌ
    （式中、ｗはカメラの画像解像度における水平方向の画素数を表し、ｓｃａｌｅ＿ｆｏｃａｌは魚眼カメラの銃型カメラでの等価焦点距離を計算する尺度を表す）
    請求項８に記載のカメラの校正装置。
13. 前記カメラの内部パラメータのうち、ｃｘの初期値はカメラの画像解像度の幅の１／２であり、ｃｙの初期値はカメラの画像解像度の高さの１／２である、
    請求項１１又は１２に記載のカメラの校正装置。
14. 前記第１決定モジュールは、前記複数の特徴点の前記第１画像における位置と、前記複数の投影点の前記第１画像における位置とに基づいて、前記複数の特徴点の位置と前記複数の投影点の位置とが対応するように、前記カメラの角度を調整し、調整した角度と前記カメラの設置位置パラメータとに基づき前記カメラの外部パラメータの初期値を決定する、
    請求項８に記載のカメラの校正装置。
15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項７までのいずれか１項に記載のカメラの校正方法を実行させる、
    電子デバイス。
16. コンピュータに請求項１から請求項７までのいずれか１項に記載のカメラの校正方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。
17. コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項７までのいずれか１項に記載のカメラの校正方法を実現するためのプログラム。
18. 請求項１５に記載の電子デバイスを備える、
    路側装置。

Images