JP2010232852A - カメラ校正装置 - Google Patents

Abstract

【課題】ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供することにある。
【解決手段】第１平面Πにおける専有領域Πmに配置された優先校正指標Ｍ１、Ｍ２及び共有領域Πcに配置された非優先校正指標Ｍ３、Ｍ４を含む撮影画像を取得し、まず優先校正指標の座標位置を検出し、検出された優先校正指標との位置関係に基づいて非優先校正指標の座標位置が算定される。少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから撮影画像の撮影画像面と第１平面との間のホモグラフィＨ１を算定され、このホモグラフィを用いてカメラの校正が行われる。
【選択図】図２

Description

本発明は、平面射影変換の原理を用いてカメラ校正を行うカメラ校正装置に関する。

平面射影変換に基づいてカメラを校正する装置として、少なくとも４点の座標情報を含む平面状の校正指標を第１の平面に配置して、校正指標を含むカメラの撮影画像面を第２の平面として入力し、前記第２の平面上に存在するとともに校正指標の所定の部位に対応する点を特定し、前記第１の平面と前記第２の平面に共通して包含される少なくとも４点の対応関係に基づき、前記第１の平面と前記第２の平面との間のホモグラフィを演算する、カメラ校正装置が知られている（例えば、特許文献１参照）。この装置では、撮影領域内に校正指標を配置し、撮影した校正指標に基づいて、撮影画像の座標（撮影画像系座標位置）と変換画像の座標（平面座標系座標位置）との対応関係を示す変換行列であるホモグラフィを求めるという校正作業を行う。このカメラ校正は、平面射影変換の原理により、カメラ外部パラメータやカメラ内部パラメータを必要とせず、また、実際に撮影された校正指標に基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けないという利点をもつ。

特開２００６‐１４８７４５号公報（段落番号〔００１１〕−、図※）

上述した特許文献１によるカメラ校正装置で用いられる、各カメラの撮影画像を路面に射影するためのホモグラフィは、座標位置が既知の少なくとも４以上の校正指標に基づいて算定可能であるが、これらの校正指標の撮影画像系での座標位置を算出するためには撮影画像から画像処理技術を用いて校正指標を検出する必要がある。しかしながら、撮影画像の中から少なくとも４つの校正指標を短時間で検出するためには、画像処理の演算負荷が高く、高性能の演算装置が必要となるためコストが高くなるという問題があった。

本発明の目的は、ホモグラフィを用いたカメラ校正において、必要な数の校正指標を撮影画像の中から簡単かつ正確に求める技術を提供することにある。また、本発明の他の目的は、ホモグラフィを用いて複数台のカメラの校正を簡単に校正する技術を提供することである。

上記目的を達成するために、本発明によるカメラ校正装置は、カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４点の座標を表す校正指標を含む撮影画像を取得する画像取得部と、前記優先校正指標と前記非優先校正指標との位置関係を予め設定するとともに、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定部と、前記位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の座標位置を算定する非優先校正指標位置算定部と、前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、前記ホモグラフィを用いて前記カメラの校正を行う校正部とを備えている。

この構成によると、まず、取得された撮影画像から第１平面内の特定領域に配置された優先校正指標の撮影画像系の座標位置を算定する。この特定領域は撮影画像の限定された領域となるので撮影画像全体から校正指標を検出することに比べて処理負担が少ない。少なくとも１つの優先校正指標の座標位置が算定されると、当該優先校正指標の算定座標位置と非優先正指標との予め設定されている位置関係を参照して撮影画像面における残りの校正指標である非優先正指標の存在領域を推定する。この予め設定されている位置関係の情報の例としては、例えば、優先校正指標と光学中心を結ぶ直線の右側領域に非優先正指標が存在しているといった情報や、優先校正指標として描かれているパターンに方向性の情報を含ませ、この方向性によって規定される直線上に非優先正指標が存在しているといった情報が挙げられる。このように、非優先正指標の存在領域が推定されることで、効率よく非優先指標の算定座標位置を求めることができる。このようにして、少なくとも４点の座標を表す校正指標の算定座標位置が得られると、その対応する実座標位置（校正指標の第１平面座標系の座標位置）とともにホモグラフィ算定部に与えられ、そこで撮影画像の撮影画像面と第１平面との間のホモグラフィを算定される。このホモグラフィを用いることで、カメラパラメータを知ることなしにカメラ校正を行うことができる。

本発明の好適な実施形態の１つでは、前記特定領域は前記カメラからの撮影距離が短い近傍領域であり、前記非優先校正指標は前記カメラからの撮影距離が長い遠方領域に配置されている。このような校正指標の配置を採用することにより、優先校正指標と非優先校正指標とによって区画される領域が撮影画像の中で広い範囲に分布することができる。カメラに近い位置に配置された優先校正指標の撮影画像での像は高品質のレンズを用いずとも他の領域に配置することに比べその画像精度が高くなり、その検出精度も高くなるだけでなく、その元となる少なくとも４点の座標を表す校正指標ができるだけ撮影画像の広い範囲に分布していることで、最終的に求めるホモグラフィが撮影画像の全範囲で高い精度を有する利点が得られる。

カメラを用いた監視システム等では、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、監視注目領域周辺の状況を把握しやすくなるような試みが行われている。このため、複数のカメラの校正を行い、各カメラの撮影画像を変換して合成された合成画像に継ぎ目や断層が生じないようにすることが要求されている。この要求を満たすため、本発明を複数のカメラの校正に適用した場合でのカメラ校正装置は、各カメラの撮影視界における第１平面内で規定された専有領域に配置された平面状の優先校正指標及び隣り合うカメラの撮影画像の間で前記第１平面において共有している共有領域に配置された平面状の非優先校正指標からなる少なくとも４点の座標を表す校正指標を含む撮影画像を各カメラから取得する画像取得部と、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、前記優先校正指標の座標位置を算定する優先校正指標位置算定部と、校正指標の実座標位置と算定された前記非優先校正指標の座標位置を参照して前記非優先校正指標の座標位置を算定する非優先校正指標位置算定部と、各カメラからの撮影画像毎に前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから各カメラの撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、前記カメラ毎に算定されたホモグラフィを用いて複数の前記カメラの校正を行う校正部とを備えている。このように構成された複数のカメラの校正装置では、カメラ視界を共有した領域で撮影される校正用指標の平面画像上の座標値は、ホモグラフィの特性から実際値に一致しているので、基準として定めた座標系上で各カメラの画像を上空から見た画像に変換して得られた変換画像を合成した画像には継ぎ目や断層が生じるようなことは起こらない。

特に、最近の自動車などの移動体には、複数台のカメラを搭載し、その撮影画像から鳥瞰図や全周囲パノラマ画像を表示し、運転者等の操作者が移動体周辺の状況を把握しやすくなるような試みが行われていることを考慮するならば、前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標を前記路面に描画された模様としてのマーカとすることが好適である。同様に、前記校正指標を前記路面と平行に配置される、平面模様を有するマーカとするこことも好適である。つまり、本発明で扱われる校正指標には、路面に直接ペンキ等で塗られたマーカだけでなく、実質的に路面と同じ高さレベルとみなされるプレート上にペンキ等で塗られたマーカを路面に載置するような形態などホモグラフィ算定に適した種々なものが含まれる。
また、前記カメラが、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラとから構成されるとよい。なお、このカメラ校正を工場内で行う場合には、路面は工場の床面となる。

なお、本発明は、上述したカメラ校正装置だけでなく、そのような装置におけるカメラ校正機能をコンピュータによって実現するカメラ校正プログラムやそのようなプログラムによる制御の流れを規定しているカメラ校正方法も発明対象としている。例えば、上記課題を解決するためのカメラ校正方法の１つは、カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４つの校正指標を含む撮影画像を取得する画像取得ステップと、前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定ステップと、前記優先校正指標と前記非優先校正指標との予め設定された位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の画像上の座標位置を算定する非優先校正指標位置算定ステップと、前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定ステップと、前記ホモグラフィを用いて前記カメラの校正を行う校正ステップとからなる。このようなステップからなるカメラ校正方法も、前述したカメラ校正装置で述べられた作用効果を伴うものであり、上述した種々の付加的な特徴を適用することも可能である。これは、実質的に同一なカメラ校正プログラムにおいても同様である。

本発明で利用されている平面射影変換の基本原理を説明する説明図である。 本発明によるカメラ校正装置の基本原理を説明する説明図である。 路面に配置された校正指標と車両とカメラ視界との関係を示す説明図である。 平面状校正指標を示す平面図である。 カメラ校正装置のコントローラユニットに構築される機能を示す機能ブロック図である。 複数カメラ１の校正処理の流れを例示するフローチャートである。 別実施形態の平面状校正指標を示す平面図である。 さらに別な実施形態の平面状校正指標を示す平面図である。 さらに別な実施形態の平面状校正指標を示す平面図である。 図９による平面状校正指標の撮影画像を示す平面図である。 優先校正指標と非優先正指標との位置関係情報を説明する説明図である。

まず、図１を用いて本発明で利用されている平面射影変換の基本原理を説明する。撮影中心（ここでは光学中心でもある）Ｃを有するカメラの撮影視界に第１平面Πが存在しており、この平面上にカメラ校正のための４点の座標を表す校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４が配置されている。カメラの撮影画像面πには４つの校正指標Ｍ１、Ｍ２、Ｍ３、Ｍ４の像が写される。それらの像の撮影画像座標系（ここではｘ−ｙ座標系としておく）の点Ｐ１、Ｐ２、Ｐ３、Ｐ４の座標位置は画像処理によって算定することができる。また、校正指標は予め設定したとおりに配置されているので、第１平面Πに配置された校正指標（図１では点で示されている）Ｍ１、Ｍ２、Ｍ３、Ｍ４の第１平面Πで設定されている平面座標系（ここではＸ−Ｙ座標系としておく）における座標位置は、既知である。

三次元空間における平面上の配置が既知である４点を校正指標として使用すれば、それぞれの校正指標に対応する撮影画像の４点との関係付け、いわゆるホモグラフィ（平面射影変換）：Ｈを算定することができ、カメラの外部パラメータが未知であっても、撮影画像面の４点を、元の三次元空間における平面上の４点として復元することができることは、投影幾何学から知られている。詳しい説明はここでは省略するが、これについては、例えば、特開２００６−１４８７４５号公報や、佐藤淳著「コンピュータビジョン」、コロナ社、２００１年１０月１０日初版第３刷発行、が参照される。ここでは特筆すべきことは、カメラの高さやチルト角等の三次元空間中のカメラの位置及び姿勢の情報であるカメラの外部パラメータは必要とせず、これらは未知でよいということである。図１に示すように、４つの校正指標の第１平面座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２) 、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)と、その撮影画像における４つの校正指標の算定された撮影画像座標位置：Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)との対応付けを行い、ホモグラフィ：Ｈが算定される。一旦ホモグラフィＨ が算定されると、撮影画像面：πにおける任意の撮影画像座標位置の点Ｐn(ｘn,ｙn)の第１平面における座標位置Ｍn(Ｘn,Ｙn)への変換が可能となる。

上述した基本原理を用いた、本発明に係るカメラ校正装置の原理を図２に基づいて説明する。
ここでは、カメラ１の撮影視界における第１平面Πにおいて、カメラ１からの撮影距離が短い領域である特定領域を専有領域Πｍとして設定しており、この特定領域以外の領域でカメラ１からの撮影距離が長い一部の領域を共有領域Πｃとして設定している。この共有領域Πｃは、複数のカメラを用いて第１平面Πの大きなエリアをカバーする際に隣り合うカメラの撮影画像において共有する領域として適している。また、専有領域Πｍは、複数のカメラを用いて第１平面Πの大きなエリアをカバーする際に1台のカメラによってのみ最適に写される領域として適している。なお、共有領域Πｃは、カメラ光軸の横断方向に大きく間隔をあけた２つの領域に分けられている。ホモグラフィを算定するためには、第１平面Πの内の１つのカメラの視界に入っている平面領域Π１には、少なくとも４つの平面状優先校正指標が必要となる。従って、ここでは、専有領域Πｍに２つの優先校正指標（以下単に優先指標と称する）Ｍ１、Ｍ２が配置され、共有領域Πｃに２つの非優先正指標（以下単に非優先指標と称する）Ｍ３、Ｍ４が配置されている。なお、優先指標と非優先指標を特に区別する必要のない場合では、単に指標という語句を用い、校正指標を総称する図番を９とした。また、第１平面Πの平面座標系における各指標の座標位置は指標の実座標位置として既知値となっている。

この部分第１平面Π１をカメラ１で撮影するとその撮影画像は撮影画像面πで得られる。この撮影画像において、まず専有領域Πｍに配置されている２つの優先指標Ｍ１、Ｍ２の撮影画像座標系での座標位置が算定座標位置として画像処理技術を通じて算定される。その際、この２つの優先指標Ｍ１、Ｍ２は、撮影距離が短く横断方向で中央の領域である特定された領域である専有領域Πｍに配置されているので、その撮影像も撮影画像内の特定された領域に位置することになり、その検索処理の演算負担が小さいものとなる。

優先指標Ｍ１、Ｍ２が検出されると、予め設定されている優先校正指標Ｍ１、Ｍ２の算定座標位置と非優先正指標Ｍ３、Ｍ４との位置関係を参照して撮影画像面πにおける非優先正指標Ｍ３、Ｍ４の存在領域を推定する。例えば、優先校正指標Ｍ１、Ｍ２の垂直二等分線の右側領域に非優先正指標Ｍ３が存在しており、その左側領域に非優先正指標Ｍ４が存在していると定義されていると、検索領域は半分となる。また、光学中心Ｃと優先校正指標Ｍ１とを結ぶ直線上に非優先正指標Ｍ４が存在し、光学中心Ｃと優先校正指標Ｍ２とを結ぶ直線上に非優先正指標Ｍ３が存在していると定義されていると、検索領域はさらに狭くなる。このように、まだ検出されていない非優先正指標Ｍ３、Ｍ４の存在領域が推定されることで、効率よく非優先指標Ｍ３、Ｍ４の算定座標位置を得ることができる。

このようにして得られる指標Ｍ１、Ｍ２、Ｍ３、Ｍ４は、できるだけ第１平面Π1の大きな領域を規定するように設定しておくと、これに基づいて算定されるホモグラフィの精度も向上する。

優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の撮影画像系での算定座標位置Ｐ１(ｘ１,ｙ１)、Ｐ２(ｘ２,ｙ２)、Ｐ３(ｘ３,ｙ３)、Ｐ４(ｘ４,ｙ４)と、その第１平面Π上での実座標位置である平面座標系（または路面座標系）での座標位置：Ｍ１(Ｘ１,Ｙ１)、Ｍ２(Ｘ２,Ｙ２) 、Ｍ３(Ｘ３,Ｙ３)、Ｍ４(Ｘ４,Ｙ４)とから、このカメラ１の撮影画像面πと第１平面Πとの間のホモグラフィ：Ｈ１を算定することができる。

図２で模式的に示されているように、４つのカメラ１によって第１平面Πがカバーされている場合は、４つのホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４が算定される。
このようにして構築されたホモグラフィを用いてカメラ１の校正を行うことで、カメラ１の内部パラメータのみならず外部パラメータに係る情報を必要とすることなく、道路面等の第１平面Πと撮影画像に基づくモニタ等の表示画像との対応が適正となるカメラ校正が実現する。

移動体の一例としての車両に搭載された複数の車載カメラ１を校正するために本発明に係るカメラ校正装置が適用された例を実施の形態の１つとして以下に説明する。
図３は、第１平面Πとしての路面の所定の位置に停止した車両と、その路面に描画された校正指標とカメラ視界との関係を示す説明図である。ここでは車載カメラ１として、車両前方をカメラ視界とする第１カメラ１１と、車両右側方をカメラ視界とする第２カメラ１２と、車両後方をカメラ視界とする第３カメラ１３と、車両左側方をカメラ視界とする第４カメラ１４とが備えられている。なお、各カメラを特に区別しない場合には共通的にカメラ１と呼ぶことにする。

各カメラ１の視界内に入っている路面は、それぞれ、車両に近い中央に位置する専有領域Πｍと、車両から遠い両側の共有領域Πｃとを含んでいる。共有領域Πｃは隣り合うカメラ１の視界内に入っている路面における共通領域である。専有領域Πｍのカメラ１から近い箇所に２つの優先指標Ｍ１、Ｍ２及び左右両側の共有領域Πｃのカメラから遠い箇所には、それぞれ１つの非優先指標Ｍ３、Ｍ４が配置される。優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４は、いずれも、図４に例示するような、マーカとも呼ばれている白黒の市松模様のパターンからなる図番９で総称される同じ指標である。この指標９は白の矩形２個、黒の矩形２個の計４個の矩形により校正された市松模様パターンであり、そのパターン中央の点Ｑの座標位置が実際に用いられる指標９の座標位置である。従って、点Ｑの位置を画像処理的に検出するために、市松模様パターンのエッジ検出を行い、それによって得られた直交する直線の交点を点Ｑとみなす。なお、指標それ自体は、路面に直接描画してもよいし、プレート体の表面に指標を描画して、このプレート体を任意に移動設置するようにしてもよい。

第１カメラ１１による撮影画像には専有領域Πｍに配置された優先指標Ｍ１、Ｍ２及び隣り合う第２カメラ１２または第４カメラ１４とで共有している共有領域Πｃに配置された非優先指標Ｍ３とＭ４の画像が含まれる。同様に第２カメラ１２による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれ、第３カメラ１３による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれ、第４カメラ１４による撮影画像にも優先指標Ｍ１、Ｍ２及び非優先指標Ｍ３、Ｍ４の画像が含まれる。

このような車両と校正指標とカメラ視界との関係において、図２を用いて説明したカメラ校正を実施するため、この車両に搭載されたカメラ校正装置は、図５で模式的に示すような機能部を構築しているコントロールユニット５と、このコントロールユニット５に接続されたモニタ６を備えている。上記４台の車載カメラ１はこのコントロールユニット５にデータ伝送可能に接続されており、各撮影視界の撮影画像をコントロールユニット５に送り込む。

コントロールユニット５に構築された、本発明に特に関係する機能部は、画像取得部５１と、指標情報管理部５２と、指標位置算定部５３と、ホモグラフィ算定部５４と、校正部５６と、表示画像生成部５７である。画像取得部５１は、各カメラ１から送られてくる撮影画像を選択的に取得して、必要な前処理を施してワーキングメモリに展開する。指標情報管理部５２は、各カメラ１の視界毎に路面Πに配置された、優先指標Ｍ１、Ｍ２と非優先指標Ｍ３、Ｍ４を含む校正指標９の実座標位置である路面座標位置を管理しており、要求に応じて処理対象となっている校正指標９の路面座標位置を機能部に与える。車両の停止位置が決められ、各校正指標９も所定の位置に描画またはセットされている場合には、この路面座標位置は不揮発性メモリ等に記憶しておくとよい。また、校正指標９と車両との路面におけう相対位置が変動する場合には、その都度入力された校正指標９の路面座標位置を指標情報管理部５２が管理することになる。

さらに、この指標情報管理部５２は、前述したような、優先指標Ｍ１、Ｍ２と非優先正指標Ｍ３、Ｍ４との位置関係を表す情報も格納しており、優先指標Ｍ１、Ｍ２を検出したのちでの、非優先指標の検出対象となる領域を限定するために、必要に応じて、指標位置算定部５３に与えられる。

指標位置算定部５３は、ワーキングメモリに展開されている撮影画像における校正指標９の撮影画像座標上での座標位置を算定座標位置として求める処理を行う。この処理では、図４における点Ｑを検出するために、水平線検出及び垂直線検出のためのエッジ検出フィルタをかけ、ＲＡＮＳＡＣを用いて直線を求め、その直線の交点の座標位置を算定座標位置とする。指標位置算定部５３は、優先校正指標の座標位置を算定する優先指標位置算定部５３ａと、指標位置算定部５３から与えられる、上述した位置関係情報を参照して非優先校正指標の座標位置を算定する非優先校正指標位置算定部５３ｂとの２つの機能を有する。

ホモグラフィ算定部５４は、少なくとも４つの校正指標９の路面座標位置と、当該校正指標９の指標位置算定部５３によって算定された算定座標位置とから撮影画像の撮影画像面πと路面Πとの間のホモグラフィを算定する。

校正部５６は、カメラ１毎にホモグラフィ算定部５４で算定された各撮影画像面πと路面Πとの間の精密ホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４から、各カメラ１の校正データを設定する。表示画像生成部５７は、校正部５６によって設定された校正データを参照して、各カメラ１からの撮影画像をモニタ６に表示するための表示画像に変換し、各カメラ１の撮影画像間でずれのない表示画像をユーザに提供する。

上述したように構成されたカメラ校正装置による複数カメラ１の校正処理の流れを図６のフローチャートを用いて説明する。
まず、最初に校正処理するカメラ１を指定して（＃０１）、指定されたカメラ１の撮影画像をワーキングメモリに取り込む（＃０２）。指定されたカメラ１の視界に属する専有領域の位置情報を参照して、その専有領域に配置されている優先指標のための注目検索領域を撮影画像に対して設定する（＃０３）。設定された注目検索領域から２つの優先指標を検出し、その画像座標位置を算定する（＃０４）。算定された２つの優先指標の路面座標系での座標位置である路面座標位置、及び、当該優先指標と対応非優先指標指との位置関係情報を報標情報管理部５２から得て、非優先指標の撮影画像座標系での推定存在位置から非優先指標の注目検索領域を設定する（＃０５）。設定された注目検索領域から２つの非優先指標を検出し、その画像座標位置を算定する（＃０９）。算定された２つの非優先指標の路面座標系での座標位置である路面座標位置を指標情報管理部５２から読み込む（＃１０）。このようにして得られた２つの優先指標と非優先指標との算定座標位置と路面座標位置とを利用して、ホモグラフィ：Ｈｎ（ｎはカメラ番号；１、２、３、４）を算定する（＃０８）。算定されたホモグラフィ：Ｈｎは、指定されたカメラ１のホモグラフィ：Ｈ１として登録される（＃０９２）。次に、４台の全てのカメラ１の精密ホモグラフィ：Ｈｎの登録が完了したかどうかチェックされ（＃１０）、まだ未了のカメラが残っていると（＃１０No分岐）、再びステップ＃０１に戻って上述した処理を繰り返す。全てのカメラ１の精密ホモグラフィ：Ｈｎの登録が完了した場合（＃１０Yes分岐）、全てのカメラ１のホモグラフィ：Ｈ１、Ｈ２、Ｈ３、Ｈ４から各カメラ１の校正データをカメラ校正テーブルに登録して、このカメラ校正ルーチンを終了する（＃１１）。

〔平面状校正指標の別形態〕
以下に、図４で示された平面状校正指標９以外の模様を有する平面状校正指標を例示する。
（１）図７で示す校正指標９では、優先指標は黒く（周囲と画像処理的に区別できるならその色は黒に限定されない）塗りつぶされた台形であり、非優先指標は黒く塗りつぶされた三角形である。優先指標を規定する台形は、カメラの光学中心位置から同一の放射角度で放射状に伸びる２本の直線と、カメラの光軸（図７においてカメラ位置から上下方向に延びる線）に直交する２本の平行な直線とによって規定される台形である。この台形の４つのコーナ点が４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４となる。この台形の境界辺をエッジ検出により検出し、検出された４つの境界線の交点を算定することで４つの校正指標点、ｑ１、ｑ２、ｑ３、ｑ４が得られる。非優先指標を規定する三角形は、カメラの光学中心位置から遠方領域の方に延びた１本の放射直線とカメラの光軸に直交する１本の直線と任意に設定可能な直線によって規定される三角形である。三角形の２つの境界辺を横方向エッジ検出により検出し、検出された２本の境界線の交点を算定することで校正指標点ｑ５またはｑ６が得られる。

（２）
使用するカメラが高品質でない場合、被写体の輝度によっては像の位置がずれる可能性がある。このような場合は、そのままエッジ検出した後に直線を当てはめても実際とは異なる位置に直線が設定されてしまう恐れがある。この問題を解決するために、図８で示す校正指標は、その濃淡パターンが相補的となっていることで、上記ずれをキャンセルさせるようになっている。つまり、図７による校正指標と比較して、その優先指標のパターン模様は、実質的には２本の放射直線と、２本の平行直線とによって規定される１つの台形と、その台形の各頂点の１８０°回転位置に規定されるほぼ相似するダミーの４つの台形が黒く塗りつぶされた模様となっている。優先指標のパターン模様は、図７での非優先指標である三角形の対頂角側にもうひとつダミーの三角形が配置された模様となっている。つまり、校正指標としての中央の台形及び三角形の基準線を共有するダミーの台形と三角形が存在することにより、相補的な濃淡パターンが実現されている。
（２）
図９に示されたこの校正指標は、図８に示された校正指標と類似しているが、ダミーを含む台形及び三角形のサイズを、カメラ１より遠方側に位置するものほど大きくすることにより撮影画像上でのそれぞれのサイズがほぼ同一のサイズとなるように設定されている。この校正指標の撮影画像が図１０に示されている。この図１０から理解できるように、実際の路面上では放射状直線であったものが撮影画像上では垂直線として現れ、水平線であったものはそのまま水平線としてあらわれるので、画像処理におけるエッジ検出が大変処理がシンプルになる。これにより、各パターンのエッジ検出精度が向上、結果的に校正指標点の算定を導く直線検出の精度の向上が期待できる。

優先校正指標と非優先正指標との位置関係情報の一例を、図１１を用いて説明する。ここには、校正指標９として、２つの優先校正指標Ｍ１、Ｍ２と２つの非優先正指標Ｍ３、Ｍ４が示されている。各校正指標９は図４で示された白黒の市松模様である。上述したように、一方の優先校正指標Ｍ１の指標点Ｑを算定する際に、市松模様パターンのエッジ検出によって直交する２つの直線が得られる。ここではその内の１つの直線Ｌ１上に非優先正指標Ｍ４が存在するように予め設定されている。同様に、他方の優先校正指標Ｍ２の指標点Ｑを算定する際に得られる直線Ｌ２上に非優先正指標Ｍ３が存在するように予め設定されている。これが、この図１１の例での優先校正指標と非優先正指標との位置関係情報であり、優先校正指標として描かれている市松模様パターンに方向性の情報である直線情報を含ませている。この位置関係情報により、優先校正指標Ｍ１、Ｍ２が検出された後は、直線Ｌ１上及び直線Ｌ２上を探索することで非優先正指標Ｍ３、Ｍ４を効率よく見つけることができる。

本発明によるカメラ校正（カメラの校正）の具体的な目的の１つは、カメラ１により取得された撮像画像をモニタ６に表示するとともに、当該撮像画像に所定の画像情報（例えば、車両駐車スペースに駐車させたり、後退走行をさせたりする際にドライバの運転を支援する公知の駐車支援装置や運転支援装置等における車両の進路を予想した予想進路線等）を重畳する際に、撮影画像と重畳画像との関係を正確にするためである。本発明によるカメラ校正（カメラの校正）により実際の路面位置と撮影画像上での路面位置が正確に対応付けられているので、モニタ６におけるカメラ１により取得された撮像画像と付加的な重畳画像との位置関係が正確となる。すなわち、撮影画像はそのままで、重畳画像を補正して撮影画像と付加的な重畳画像との位置関係が正確になるようにもできるし、重畳画像は固定で撮影画像の方を補正して、撮影画像と付加的な重畳画像との位置関係が正確となるようにもできる。
また、本発明によるカメラ校正（カメラの校正）を通じて実際の路面位置と撮影画像上での路面位置が正確に対応付けられていると、車載カメラで取得された撮像画像に含まれる表示物（例えば、車線や物体等）の実際の位置が撮像画像の画像処理を通じて正確に特定することができる。

〔別実施の形態〕
（１）上述した実施の形態では、ホモグラフィを算定するため、４つの校正指標を用いていたが、もちろん４つ以上の校正指標を用いてもよい。また、専有領域や共有領域に配置される指標の数を多くし、最も検出しやすいものだけを選択して利用するようにしてもよい。
（２）校正指標の形態は、上述した以外種々な変更が可能である。またそのパターン模様の形成はペンキ等を用いた描画に限られず、例えば光学的、照明的な方法によるパターン模様形成を採用してもよい。
（３）優先校正指標と非優先校正指標との位置関係は上述した関係以外の種々の関係を設定可能であり、またその位置関係は必ずしもメモリ等に格納する必要はなく、指標位置算定処理のアルゴリズムとして組み込んでもよい。

本発明は、そのカメラパラメータが未知である単一のカメラあるは複数のカメラために、撮影画像面とカメラ視界における特定平面との関係を整合させるカメラ校正を行う必要がある全ての分野で適用することができる。

Π：第１平面（路面）
π：撮像画像面
Ｈ、Ｈ１，Ｈ２，Ｈ３，Ｈ４：ホモグラフィ
５：コントロールユニット
９：校正指標
Ｍ１、Ｍ２：優先校正指標
Ｍ３、Ｍ４：非優先校正指標
５１：画像取得部
５２：指標情報管理部
５３：指標位置算定部
５３ａ：優先指標位置算定部
５３ｂ：非優先指標位置算定部
５４：ホモグラフィ算定部
５６：校正部
５７：表示画像生成部

Claims (7)

1. カメラの撮影視界における第１平面内で規定された特定領域に配置された平面状の優先校正指標と前記特定領域以外の領域に配置された平面状の非優先校正指標とからなる少なくとも４つの校正指標を含む撮影画像を取得する画像取得部と、
   前記優先校正指標と前記非優先校正指標との位置関係を予め設定するとともに、前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、
   前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定部と、
   前記位置関係及び算定された前記優先校正指標の座標位置を参照して前記非優先校正指標の画像上の座標位置を算定する非優先校正指標位置算定部と、
   前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから前記撮影画像の撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、
   前記ホモグラフィを用いて前記カメラの校正を行う校正部と、
   を備えたカメラ校正装置。
2. 前記特定領域は前記カメラからの撮影距離が短い近傍領域であり、前記非優先校正指標は前記カメラからの撮影距離が長い遠方領域に配置されている請求項１に記載のカメラ校正装置。
3. 前記画像取得部は異なる撮影視界を有する複数のカメラからの撮影画像を取得し、前記各カメラからの撮影画像には隣り合うカメラの撮影画像の間で前記第１平面において共有している共有領域と共有していない専有領域とが含まれており、前記共有領域に前記非優先校正指標が配置されているとともに前記専有領域に前記優先校正指標が配置されており、前記校正部は前記カメラ毎に算定されたホモグラフィを用いて前記複数のカメラの校正を行う請求項１または２に記載のカメラ校正装置。
4. 前記カメラが車両に取り付けられた車載カメラであり、前記第１平面は路面であり、前記校正指標は前記路面と平行に配置される、平面模様を有するマーカである請求項１から３のいずれか一項に記載のカメラ校正装置。
5. 前記カメラが移動体に取り付けられたカメラであり、前記第１平面は路面であり、前記校正指標は前記路面に描画された模様としてのマーカである請求項１から３のいずれか一項に記載のカメラ校正装置。
6. 前記カメラには、移動体前方を撮影視界とする前方カメラと、移動体右側方を撮影視界とする右側方カメラと、移動体左側方を撮影視界とする左側方カメラと、移動体後方を撮影視界とする後方カメラが含まれている請求項３から５のいずれか一項に記載のカメラ校正装置。
7. 各カメラの撮影視界における第１平面内で規定された専有領域に配置された平面状の優先校正指標及び隣り合うカメラの撮影画像の間で前記第１平面において共有している共有領域に配置された平面状の非優先校正指標からなる少なくとも４点の座標を表す校正指標を含む撮影画像を各カメラから取得する画像取得部と、
   前記第１平面における前記優先校正指標と前記非優先校正指標との座標位置を実座標位置として格納する指標情報格納部と、
   前記優先校正指標の画像上の座標位置を算定する優先校正指標位置算定部と、
   校正指標の実座標位置と算定された前記非優先校正指標の座標位置を参照して前記非優先校正指標の画像上の座標位置を算定する非優先校正指標位置算定部と、
   各カメラからの撮影画像毎に前記少なくとも４点の座標を表す校正指標の実座標位置と算定座標位置とから各カメラの撮影画像面と前記第１平面との間のホモグラフィを算定するホモグラフィ算定部と、
   前記カメラ毎に算定されたホモグラフィを用いて複数の前記カメラの校正を行う校正部と、
   を備えたカメラ校正装置。

Images