JP2008193188A - カメラ校正装置及び方法並びに車両 - Google Patents

Abstract

【課題】カメラの設置誤差を吸収し、校正環境整備の簡便化及び校正精度の向上を図る。
【解決手段】カメラ校正装置は、撮影画像を地面上に投影するための変換パラメータを求める。車両の後方に設置されたカメラの撮影領域内に正方形形状を有した複数の小さな校正パターン（Ａ１〜Ａ３）を配置して撮影を行い、校正用撮影画像（１２１）を得る。各校正パターンの形状は既知であり、夫々、４つの特徴点（正方形の頂点）を含む。校正用撮影画像における中央の校正パターン（Ａ１）の座標情報と形状に関する既知情報に基づき、変換画像上において該校正パターンの形状が既知の正方形になるように平面射影変換にて一旦初期パラメータを求める。この後、左右の校正パターンの座標情報と既知情報に基づいて初期パラメータを調整し、最終的な変換パラメータを求める。
【選択図】図４

Description

本発明は、カメラの撮影画像を所定面上に投影するために必要となる校正処理を実現するカメラ校正装置及びカメラ校正方法に関し、また、それらを利用した車両に関する。

近年の安全意識の高まりに伴って、自動車などの車両にカメラ（車載カメラ）が搭載されることが多くなっている。特に、車両後方の安全確認を支援するリアカメラの装備が盛んである。このリアカメラの撮影画像は、カーナビゲーション等を形成する表示装置に表示され、車両と車両後方の障害物との衝突を回避するために利用される。

このような衝突を回避するためには、車体と障害物との距離を運転者が正確に把握することが重要である。しかしながら、通常、リアカメラは斜め下向きに設置されるため、その撮影画像をそのまま表示したのでは、距離を正確に把握しがたい。そこで、撮影画像を座標変換（換言すれば、画像変換）することにより、地面の上方から眺めたような鳥瞰図画像を生成して表示する技術が既に提案されている。

このような座標変換の手法として、透視投影変換を用いる手法（例えば、下記特許文献１参照）と平面射影変換を用いる手法（例えば、下記特許文献２参照）が知られている。何れの手法を用いた場合においても、精度よく座標変換を行うためには、座標変換用の変換パラメータを適切に調整する必要がある。

透視投影変換では、カメラの取り付け角度及びカメラの設置高さなどのカメラ外部情報とカメラの焦点距離（或いは画角）などのカメラ内部情報とに基づいて、撮影画像を設定平面（路面など）上に投影するための変換パラメータを算出する。このため、精度よく座標変換を行うためにはカメラ外部情報を正確に把握することが必要となる。カメラの取り付け角度やカメラの設置高さなどは、事前に設計されていることが多いが、それらの設計値と実際に車両に設置したときのそれらとの間には誤差が生じるため、正確な変換パラメータを計測または推定することは困難であることが多い。

平面射影変換では、撮影領域内に校正パターンを配置し、撮影した校正パターンに基づいて、撮影画像の座標（２次元カメラ座標）と変換画像の座標（２次元世界座標）との対応関係を示す変換行列を求める、という校正作業を行う。この変換行列は、一般的に、ホモグラフィ行列と呼ばれる。平面射影変換によれば、カメラ外部情報やカメラ内部情報を必要とせず、また、実際に撮影された校正パターンに基づいて撮影画像と変換画像との間の対応座標が指定されるため、カメラの設置誤差の影響を受けない（或いは受けにくい）。

平面射影変換を用いる場合の校正作業では、通常、撮影領域全体に校正パターンを配置し、校正パターンに含まれる特徴点の座標値を設定する。図１２（ａ）の符号３００は、この校正作業時におけるカメラの撮影画像を表す。撮影画像３００に対応する例では、撮影領域全体に、座標値が既知の４以上の特徴点を含む市松模様の校正パターンを配置する。撮影画像３００における点３０１〜３０４は、撮影画像３００上の４つの特徴点である。

そして、この４つの特徴点が変換画像上で所望の位置に変換されるようなホモグラフィ行列を求める。図１２（ｂ）の符号３１０は、このホモグラフィ行列を用いて座標変換した変換画像（変換後の画像）を表す。変換画像３１０における点３０１〜３０４は、変換画像３１０上の４つの特徴点である。変換画像３１０では、市松模様が地面の上方から眺めたように歪みなく描写される。

しかしながら、このような手法では、撮影領域全体を覆うような座標系を定義する必要があるため、上記のような大きな校正パターンを設けなくてはならない。つまり、校正環境の整備に多大な手間がかかり、校正作業全体の負担が大きくなる。通常、乗用車の後方に設置されるリアカメラは、広視野の安全確認を支援する目的で設置されるため、広角であることが多く、それによって撮影される路面の範囲は４ｍ×５ｍ程度となる。校正作業時には、４ｍ×５ｍ程度の大きさを有する校正パターンを用意する必要があると共に校正パターンを設置するための場所を占有する必要がある。また、ホモグラフィ行列を求めるに当たり、校正パターンに含まれる特徴点の座標値も設定してやる必要がある。校正作業の効率を向上させるために、より簡便な校正方法が求められている。

校正環境の整備を簡便化するべく、撮影領域の一部に配置した校正パターンを用いて変換パラメータ（ホモグラフィ行列）を算出する手法も考えられる。即ち、図１３（ａ）の撮影画像３２０に示す如く、４つの特徴点３２１〜３２４を撮影領域内の限られた小領域内に配置するようにし、この４つの特徴点３２１〜３２４を用いて変換画像を得るようにする。説明の便宜上、図１２（ａ）の撮影画像３００における市松模様と同じ風景を撮影しているが、図１３（ａ）に示す例では、４つの特徴点３２１〜３２４を結ぶ小さな四角形が校正パターンと捉えられる。

図１３（ｂ）の符号３３０は、この手法によって得られる変換画像を表す。校正時に指定した４つの特徴点３２１〜３２４を用いて変換パラメータ（ホモグラフィ行列）を算出するため、校正パターンの周辺において座標変換の精度は比較的良いが、校正パターンから離れるに従って、４つの特徴点３２１〜３２４に対して設定される座標値の誤差の影響が大きくなり、座標変換の精度が悪くなってしまう。

尚、下記特許文献３には、複数の位置で撮影した画像を用いて、平面射影変換に基づく変換パラメータを調整する手法が開示されている（特に段落６９など参照）。しかしながら、この手法においても、複数の画像間で共通の座標（２次元世界座標）系を設定しておく必要があるため、校正環境の整備に手間がかかるという問題は何ら解決されない。

特開２００６−２８７８９２号公報 特開２００６−１４８７４５号公報 特開２００４−３４２０６７号公報

上述したように、
透視投影変換を用いる場合は、カメラの設置誤差の影響を受ける。
平面射影変換を用いる場合は、校正環境の整備に手間がかかる。
平面射影変換において撮影領域の一部に校正パターンを配置するようにした場合、座標変換の精度（校正精度）が悪化する。

そこで本発明は、カメラの設置誤差の影響を受けにくく、校正環境整備の簡便化及び校正精度向上に寄与するカメラ校正装置及びカメラ校正方法を提供することを目的とする。また、本発明は、それらを利用した車両を提供することを目的とする。

上記目的を達成するために本発明に係る第１のカメラ校正装置は、カメラの撮影画像を所定面上に投影するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、前記パラメータ導出手段は、前記カメラからの校正用撮影画像に基づいて前記パラメータを求め、前記校正用撮影画像は、前記カメラの撮影領域内の互いに異なる位置に配置された、形状が既知の複数の校正パターンを含むことを特徴とする。

校正用撮影画像に含められた校正パターンの既知形状を利用すれば、例えば平面射影変換にてパラメータを導出することができるため、カメラの設置誤差の影響を受けにくくなる。また、複数の校正パターンを撮影領域内の互いに異なる位置に配置することによって、或る校正パターンを用いて一旦パラメータを求めた後、残りの校正パターンを用いてパラメータを最適化するといったことが可能となるため、図１３を参照して説明したような従来の問題が緩和される。即ち、校正精度の向上が期待される。また、撮影領域全体を覆うような校正パターンを用意する必要もないため、校正環境の整備が簡便化可能である。

また、第１のカメラ校正装置において、透視投影変換を利用することも可能である。例えば透視投影変換を利用してパラメータの初期値を求めたとしても、形状既知の校正バターンを用いてそれを調整することが可能となるため、カメラの設置誤差の影響を受けにくくなる。

具体的には例えば、前記複数の校正パターンは、第１校正パターンと第２校正パターンを含み、前記パラメータ導出手段は、前記校正用撮影画像上の前記第１校正パターンの形状と該形状に関する第１既知情報に基づいて初期パラメータを求めた後、前記初期パラメータを用いて前記校正用撮影画像上の前記第２校正パターンを座標変換し、この座標変換後の前記第２校正パターンの形状と該形状に関する第２既知情報とに基づいて前記初期パラメータを調整し、この調整を経て最終的に前記パラメータを求める。

また例えば、前記第１校正パターンは、少なくとも４点の特徴点を含み、前記第１既知情報は、前記４点の特徴点間の相対位置関係を特定する。

上記目的を達成するために本発明に係る第２のカメラ校正装置は、カメラの撮影画像を所定面上に投影するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、前記パラメータ導出手段は、前記カメラからの校正用撮影画像に基づいて前記パラメータを求め、前記校正用撮影画像は、前記カメラの撮影領域内に配置された形状が既知の校正パターンを含み、前記パラメータ導出手段は、予め設定された情報に基づく初期パラメータを用いて前記校正用撮影画像上の前記校正パターンを座標変換し、この座標変換後の前記校正パターンの形状と該形状に関する既知情報とに基づいて前記初期パラメータを調整し、この調整を経て最終的に前記パラメータを求めることを特徴とする。

初期パラメータは、例えばカメラの設置位置などに依存して求められるが、これを形状既知の校正パターンを用いて調整することにより、カメラの設置誤差の影響を受けにくくなる。よって、校正精度の向上が期待される。また、撮影領域全体を覆うような校正パターンを用意する必要もないため、校正環境の整備が簡便化可能である。

上記目的を達成するために本発明に係る車両は、カメラ及び画像処理装置が設置された車両において、前記画像処理装置は、上記の何れかに記載のカメラ校正装置を含む。

上記目的を達成するために本発明に係る第１のカメラ校正方法は、カメラの撮影画像を所定面上に投影するためのパラメータを求めるカメラ校正方法において、前記カメラからの校正用撮影画像に基づいて前記パラメータを求めるパラメータ導出ステップを有し、前記校正用撮影画像に、前記カメラの撮影領域内の互いに異なる位置に配置された、形状が既知の複数の校正パターンを含めることを特徴とする。

上記目的を達成するために本発明に係る第２のカメラ校正方法は、カメラの撮影画像を所定面上に投影するためのパラメータを求めるカメラ校正方法において、前記カメラからの校正用撮影画像に基づいて前記パラメータを求めるパラメータ導出ステップを有し、前記校正用撮影画像に、前記カメラの撮影領域内に配置された形状が既知の校正パターンを含め、前記パラメータ導出ステップは、予め設定された情報に基づく初期パラメータを用いて前記校正用撮影画像上の前記校正パターンを座標変換し、この座標変換後の前記校正パターンの形状と該形状に関する既知情報とに基づいて前記初期パラメータを調整するパラメータ調整ステップを備え、この調整を経て最終的に前記パラメータを求めることを特徴とする。

本発明によれば、カメラの設置誤差の影響を受けにくく、校正環境整備の簡便化及び校正精度向上に寄与するカメラ校正装置及びカメラ校正方法を提供することができる。また、本発明によれば、それらを利用した車両を提供することができる。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、自動車である車両１００を上方から見た図である。車両１００の後部には、撮像装置としてのカメラ１が設置されている。カメラ１は、車両１００の後方側に視野を有するように車両１００に設置される。このようなカメラ１は、車両１００が障害物などと衝突するのを回避するために設置される。このため、通常、カメラ１の視野には、車両１００の一部も含まれる。図１の例では、カメラ１の視野に、車両１００の車体後端に設けられたバンパ１０１が含まれている。尚、車両１００として普通乗用車を例示しているが、車両１００は、普通乗用車以外（トラックなど）であってもよい。

符号１１０が付された破線扇型領域は、カメラ１の撮影領域を表している。符合Ａ１、Ａ２及びＡ３は、夫々、カメラ１の撮影領域内であって且つ地面上に配置された、平面状の（２次元の）校正パターンである。校正パターンＡ１〜Ａ３は、カメラ１の校正を行う際に用いられる（詳細は後述）。尚、以下の説明において、地面は水平面上にあるものとし、「高さ」は、地面を基準とした高さを表すものとする。

図２に、本発明の実施形態に係る視界支援システムの構成ブロック図を示す。カメラ１は、撮影を行い、撮影によって得られた画像（以下、撮影画像とも言う）を表す信号を画像処理装置２に送る。画像処理装置２は、撮影画像を視点変換によって鳥瞰図画像に変換する。但し、鳥瞰図画像の基となる撮影画像に対してレンズ歪み補正などの画像処理を施し、その画像処理後の撮影画像を鳥瞰図画像に変換するものとする。表示装置３は、この鳥瞰図画像を映像として表示する。

鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものである。より具体的には、鳥瞰図画像は、実際のカメラ１の撮影画像を、地上面を鉛直方向に見下ろした画像に変換したものである。この種の画像変換は、一般に、視点変換とも呼ばれる。このような鳥瞰図画像を表示することによって、運転者の車両後方の視界が支援され、車両後方の安全確認が容易となる。

カメラ１として、例えばＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。画像処理装置２は、例えば集積回路から形成される。表示装置３は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、視界支援システムにおける表示装置３として流用しても良い。また、画像処理装置２は、カーナビゲーションシステムの一部として組み込まれうる。画像処理装置２及び表示装置３は、例えば、車両１００の運転席付近に設置される。

広視野の安全確認を支援するべく、カメラ１の画角は広角となっている。このため、カメラ１の撮影領域は、地面上において、例えば４ｍ×５ｍ（メートル）程度の大きさを有する。図１の例では、この撮影領域の大きさよりも小さい校正パターン（Ａ１〜Ａ３）を３つ用いる。

校正パターンＡ１〜Ａ３の夫々は、正方形形状を有し、その正方形の一辺の長さは、１ｍ程度とされる。校正パターンＡ１〜Ａ３を全て同じ形状とする必要は必ずしもないが、説明の便宜上、それらの形状が全て同じであるものとする。ここにおける形状は、大きさをも含む概念である。従って、校正パターンＡ１〜Ａ３は、全く同じものである。鳥瞰図画像上において、各校正パターンの形状は、理想的には正方形となるべきである。

各校正パターンは、正方形形状であるため、４つの特徴点を有する。今の例の場合、４つの特徴点は、正方形を形成する４つの頂点に相当する。画像処理装置２は、各校正パターンの形状を既知情報として予め認識している。この既知情報によって、後述する変換画像上における（及び実空間上における）、理想的な校正パターン（Ａ１、Ａ２又はＡ３）の４つの特徴点間の相対的な位置関係は特定される。

校正パターンの形状とは、その校正パターンに含まれる特徴点を結ぶことによって形成される図形の形状を意味する。例えば、正方形形状を有する３つの校正プレートそのものを３つの校正パターンＡ１〜Ａ３とし、各校正プレートの４つの角を、各校正パターンの４つの特徴点として取り扱う。或いは例えば、校正パターンＡ１が描かれた校正プレート、校正パターンＡ２が描かれた校正プレート及び校正パターンＡ３が描かれた校正プレートを用意する。この場合、校正プレート自体の外形は、校正パターンの外形と一致しない。例として、図１１に、校正パターンＡ１が描かれた正方形状の校正プレート２００の平面図を示す。校正パターン２００は白地となっており、校正プレート２００の４隅の夫々には、１頂点にて互いに連結された黒塗りの正方形が２つずつ描かれている。そして、校正プレート２００の４隅における、２つの黒塗りの正方形の連結部分２１１〜２１４が校正パターンＡ１の特徴点に相当する。

校正プレート自体の色や校正プレートに描かれる模様の色を適切に選ぶことによって、カメラ１（及び画像処理装置２）が、校正パターンの各特徴点を路面等と明確に区別して認識できるようになっている。但し、本実施形態では、以下、図示及び説明の便宜上、校正プレートの存在を無視し、校正パターンにのみ着目する。

各校正パターンは、カメラ１の撮影領域内に収まるように配置されるが、その配置の仕方は自由である。即ち、各校正パターンの撮影領域内での配置位置は任意であり、また、異なる校正パターン間の位置関係も任意である。但し、各校正パターンは、撮影領域内の互いに異なる位置に配置されるものとする。また、各校正パターンが重ならないように各校正パターンを互いに分離して配置する。図１３を参照して説明した従来技術の問題点の発生理由及び後述の説明からも理解されるが、校正の精度を向上させるためには、ある程度広い領域にわたって３つの校正パターンを分散配置するとよい。

鳥瞰図画像を生成するためには、撮影画像を鳥瞰図画像に変換するための変換パラメータが必要となる。画像処理装置２は、適切な鳥瞰図画像が得られるように、即ち、鳥瞰図画像上において各校正パターンの形状が正方形（或いは略正方形）になるように変換パラメータを校正し、校正後の変換パラメータを用いて撮影画像を鳥瞰図画像に変換する。この校正処理に関する実施例として、以下に、第１〜第３実施例を例示する。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図３は、第１実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。ステップＳ１の処理は、カメラ１（及び画像処理装置２）によって実現され、ステップＳ２〜Ｓ５の各処理は、画像処理装置２によって実現される。

まず、ステップＳ１において、校正パターンＡ１〜Ａ３を上述の如く撮影領域内に配置した状態でカメラ１に撮影を行わせて撮影画像を得る。この撮影画像を、校正用撮影画像と呼ぶ。図４（ａ）において、符号１２１は、校正用撮影画像を表している。また、図４（ａ）〜（ｃ）において、画像上に、バンパ１０１の一部が現れている。

次に、ステップＳ２において、初期校正を行う。初期校正では、校正用撮影画像に含まれる３つの校正パターンＡ１〜Ａ３の内、何れか１つの校正パターンを用いて平面射影変換を行い、最終的に求めるべき変換パラメータの初期値に相当する初期パラメータを算出する。この初期パラメータは、鳥瞰図画像を得るためのホモグラフィ行列の初期値である。初期パラメータを算出するに当たり、何れの校正パターンを用いるかは任意であるが、今、中央に位置する校正パターンＡ１を用いるものとする。

このステップＳ２の処理について説明する。ホモグラフィ行列を用いて校正用撮影画像を座標変換（画像変換）することによって得られる画像を、校正用変換画像と呼ぶ。ステップＳ２では、校正用撮影画像及び校正用変換画像をそれぞれ原画像及び変換画像として捉える。原画像上における各点の座標を（ｘ，ｙ）にて表し、変換画像上における各点の座標を（Ｘ，Ｙ）にて表す。原画像上における座標（ｘ，ｙ）と変換画像上における座標（Ｘ，Ｙ）との関係は、ホモグラフィ行列Ｈを用いて下記式（１）のように表される。ホモグラフィ行列Ｈは、３行３列の行列であり、その行列の各要素をｈ₁〜ｈ₉で表す。更に、ｈ₉＝１であるとする（ｈ₉＝１、となるように行列を正規化する）。また、式（１）より、座標（ｘ，ｙ）と座標（Ｘ，Ｙ）との関係は、下記式（２ａ）及び（２ｂ）によって表すこともできる。

ステップＳ２において、画像処理装置２は、原画像に対してエッジ検出処理などを施すことにより、原画像上における校正パターンＡ１の４つの特徴点の座標値を特定する。特定された４つの座標値を（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）とする。また、予め認識している既知情報に従い、変換画像上における校正パターンＡ１の４つの特徴点の座標値を定める。定められた４つの座標値を（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）とする。校正パターンＡ１の形状は正方形であるから、座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）を、例えば、（０，０）、（１，０）、（０，１）及び（１，１）と定義することができる。

原画像と変換画像との間で４点の座標値対応関係が分かれば、ホモグラフィ行列Ｈは一意に定まる。原画像と変換画像との間における４点の座標値対応関係に基づきホモグラフィ行列（射影変換行列）を求める手法として、公知の手法を用いればよい。例えば、上記特許文献３に記載の手法（特に、特許文献３の段落［００５９］〜［００６９］に記載の手法を参照）を用いればよい。つまり、原画像上における座標値（ｘ₁，ｙ₁）、（ｘ₂，ｙ₂）、（ｘ₃，ｙ₃）及び（ｘ₄，ｙ₄）が、夫々、変換画像上における座標値（Ｘ₁，Ｙ₁）、（Ｘ₂，Ｙ₂）、（Ｘ₃，Ｙ₃）及び（Ｘ₄，Ｙ₄）に変換されるように、ホモグラフィ行列Ｈの要素ｈ₁〜ｈ₈を求める。実際には、この変換の誤差（特許文献３における評価関数）が最小化されるように要素ｈ₁〜ｈ₈を求める。ここで求められた要素ｈ₁〜ｈ₈（及びｈ₉）を有するホモグラフィ行列Ｈが、ステップＳ２で求められるべき初期パラメータである。

一旦、ホモグラフィ行列Ｈが求まれば、上記式（２ａ）及び（２ｂ）に従って原画像上の任意の点を変換画像上の点に変換することが可能である。図４（ｂ）において、符号１２２は、ステップＳ２における初期校正直後の変換画像（即ち、初期パラメータを用いて変換した変換画像）を表している。この変換画像１２２において、中央に位置する校正パターンＡ１の形状は正方形となるが、通常、誤差（座標値指定誤差など）に起因して左右に位置する校正パターンＡ２及びＡ３の形状は正方形とならない。

初期パラメータの算出後、変換画像上における、実際の各校正パターンの形状と理想的な各校正パターンの形状との間の誤差を評価し、繰り返し演算によってこの誤差が最小化されるように変換パラメータの調整を行う。

具体的には、ステップＳ３において、まず、変換画像上における実際の各校正パターンの形状と変換画像上における理想的な各校正パターンの形状との間の誤差を表す誤差評価値Ｄを算出する。

図５を参照して、誤差評価値Ｄの算出手法について説明する。図５において、符号１４０が付された正方形は、変換画像上における理想的な校正パターン（Ａ１、Ａ２又はＡ３）の形状を表す。一方、符合１５０が付された四角形は、変換画像上における実際の校正パターン（Ａ１、Ａ２又はＡ３）の形状を表す。つまり、四角形１５０は、ホモグラフィ行列Ｈを用いて校正用撮影画像上の校正パターンを座標変換することによって得られる座標変換後の校正パターンの形状を表す。上述したように、正方形１４０の形状は、画像処理装置２にとって既知である。

図５において、符号１４１〜１４４は、正方形１４０の４つの頂点を表し、符号１５１〜１５４は、四角形１５０の４つの頂点を表す。四角形１５０の各頂点１５１〜１５４の座標は、原画像上における校正パターンの各頂点（即ち、各特徴点）の座標（ｘ，ｙ）を上記式（２ａ）及び（２ｂ）に従って変換画像上の座標（Ｘ，Ｙ）に変換することによって得られる。この変換に用いられるホモグラフィ行列Ｈの要素ｈ₁〜ｈ₉は、一旦、ステップＳ２において算出されるが、後述するステップＳ５にて更新される。ステップＳ３において、各頂点１５１〜１５４の座標は、最新の要素ｈ₁〜ｈ₉を用いて算出される。

今、変換画像上において、頂点１４１と頂点１５１の座標を一致させる。そして例えば、頂点１４１と頂点１４２を結ぶ線分と頂点１５１と頂点１５２を結ぶ線分とを重ねる。即ち、頂点１４１と頂点１５１の座標を一致させ且つ上記２つの線分が重なるように、形状既知の正方形１４０を変換画像上に配置して考える。但し、図５では、図示の便宜上、正方形１４０と四角形１５０を若干ずらして示している。

この場合において、変換画像上における、頂点１４２と頂点１５２との間の位置誤差をｄ１、頂点１４３と頂点１５３との間の位置誤差をｄ２、頂点１４４と頂点１５４との間の位置誤差をｄ３とする。位置誤差ｄ１は、変換画像上における頂点１４２と頂点１５２の距離とされる。位置誤差ｄ２及びｄ３も同様である。

このような位置誤差ｄ１〜ｄ３は、校正パターンＡ１〜Ａ３の夫々に対して算出される。即ち、１つの変換画像に対して、９つの位置誤差が算出される。誤差評価値Ｄは、この９つの位置誤差の総和とされる。位置誤差は、対比する頂点間の距離であるので、常に０又は正の値をとる。誤差評価値Ｄの算出式を式（３）に示す。式（３）の右辺において、（ｄ１＋ｄ２＋ｄ３）に対するΣは、校正パターンの個数分の総和をとることを意味する
。

ステップＳ３にて誤差評価値Ｄを算出した後、ステップＳ４に移行し、誤差評価値Ｄが所定の閾値以下であるかを判断する。誤差評価値Ｄが閾値以下でない場合は、ステップＳ５に移行して、変換パラメータを変更する。即ち、ホモグラフィ行列の各要素ｈ₁〜ｈ₉を調整して（従前のものから変更して）ステップＳ３に戻る。ステップＳ５を介してステップＳ３に戻った場合、調整後の各要素ｈ₁〜ｈ₉を用いて上述と同様の処理を行う。

一方、誤差評価値Ｄが所定の閾値以下である場合、ステップＳ３〜Ｓ５から成る繰り返し演算によって変換パラメータが最適化されたと判断し、最終的に得られた変換パラメータ（即ち、調整によって得られた最新のホモグラフィ行列Ｈ）を校正済み変換パラメータとして取り扱うこととする。図４（ｃ）において、符号１２３は、変換パラメータが最適化された後の変換画像（即ち、校正済み変換パラメータを用いて変換した変換画像）を表している。この後、図３の変換パラメータ校正処理を終了する。

実際には、例えば、最新のホモグラフィ行列Ｈに従って、原画像上の各座標（ｘ，ｙ）と変換画像上の各座標（Ｘ，Ｙ）との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。このテーブルデータを用いれば、撮影画像を鳥瞰図画像に変換することができ、この鳥瞰図画像において各校正パターンは略正方形となる。この場合、上記テーブルデータを校正済み変換パラメータと捉えることもできる。

尚、ステップＳ３〜Ｓ５にて実現される変換パラメータの最適化の手法として、公知の手法を用いることができる。例えば、多次元の滑降シンプレックス法（downhill simplex method）や、パウエル（Powell）法などを用いればよい（例えば、“William H. Press, 「ニューメリカルレシピ・イン・シー Ｃ言語による数値計算のレシピ」，技術評論社，１９９３年発行”を参照）。それらの手法は、周知であるため、ここでの説明を割愛する。

また、各画像から特徴点を検出する手法として、上述の如く画像処理を用いた自動検出手法を採用するようにしてもよいが、操作部（不図示）への手動操作に基づく手動検出手法を採用するようにしてもよい。

図３の変換パラメータ校正処理後、図２の画像処理装置２は、カメラ１にて次々と得られる撮影画像を校正済み変換パラメータを用いて次々と鳥瞰図画像に変換する。この際、各撮影画像を原画像として取り扱うと共に、各鳥瞰図画像を変換画像として取り扱う。このため、撮影画像上の各点の座標は（ｘ、ｙ）にて表され、鳥瞰図画像上の各点の座標は（Ｘ，Ｙ）にて表される。画像処理装置２は、各鳥瞰図画像を表す映像信号を表示装置３に供給する。表示装置３は、各鳥瞰図画像を動画像として表示する。

第１実施例では、平面射影変換にて校正を行うため、カメラの設置誤差を吸収可能である。また、撮影領域よりも小さい校正パターンを用い、それを撮影領域内で自由に配置することによって校正環境が整備されるため、従来の平面射影変換による校正手法よりも校正環境の整備が簡便である。従来では、小さい校正パターンを用いた場合、校正精度が低下する問題があったが、複数の形状既知の校正パターンを用い、変換パラメータの調整を実行することにより校正精度の向上効果が得られる。

本実施例のような車両の運転者に対する視界支援システムを構築する場合は、校正環境の整備が困難な販売店等において駐車場に一時的に校正パターンを配置して校正を実行する、といった利用法が考えられる。また、撮影領域に対して校正パターンを随分小さくすることができるため、校正パターン（或いは校正パターンが描かれた校正プレート）を容易に持ち運び可能なサイズとすることも可能であり、校正作業の負担軽減効果も期待される。

＜＜第２実施例＞＞
次に、第２実施例について説明する。図６は、第２実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。第２実施例に係る変換パラメータ校正処理は、ステップＳ１〜Ｓ５の各処理と、ステップＳ６の処理とから構成される。ステップＳ６の処理は、画像処理装置２によって実現される。

ステップＳ１〜Ｓ５の各処理は、第１実施例におけるそれらと同じものである。従って、それらの重複する説明を省略する。但し、第２実施例では、ステップＳ４において誤差評価値Ｄが所定の閾値以下である場合、ステップＳ３〜Ｓ５から成る繰り返し演算によってホモグラフィ行列Ｈが最適化されたと判断し、ステップＳ６に移行する。

ところで、車両１００の後方確認のために設置されるカメラ１は、通常、車両１００の後方を左右均等に傾きなく撮影できるように設置される。しかしながら、通常、設置誤差が生じるため、撮影画像に傾きが生じる。例えば、図７（ａ）に示すような水平方向の回転設置誤差や、図７（ｂ）に示すようなカメラ１の光軸回りの回転設置誤差が生じ、これらは撮影画像に傾きを生じさせる。

図４（ｃ）と同じ変換画像１２３を表した図８（ａ）を参照する。このような設置誤差は、本来、画像の水平方向と平行となるべき、画像上のバンパ１０１と地面との境界線１６１を傾かせる。そこで、第２実施例では、ステップＳ１〜Ｓ５の後、この傾きをも補正するように角度調整を行う。

具体的には、ステップＳ６において、変換画像１２３におけるバンパ１０１と地面との境界点を２点設定する。図８（ａ）（及び後述する図８（ｂ））において、符号１７１及び１７２は、設定された２つの境界点を表し、境界点１７１及び１７２は、境界線１６１上にのる。そして、変換画像１２３上において、境界点１７１と１７２を結ぶ直線と変換画像１２３の水平ラインとの成す角度θ（この角度θは、鋭角である）を求める。水平ラインは、画像の水平方向に伸びるラインである。尚、境界点を検出する手法として、画像処理を用いた自動検出手法を採用するようにしてもよいし、操作部（不図示）への手動操作に基づく手動検出手法を採用するようにしてもよい。

変換画像１２３上における境界線１６１を画像の水平ラインと平行にするための回転行列をＲとすると、回転行列Ｒは、角度θを用いて下記式（４）により表される。

図８（ｂ）の符号１２４は、回転行列Ｒに基づいて変換画像１２３を回転させることによって得られる画像を表す。回転行列Ｒに基づく回転補正前の画像（例えば、変換画像１２３）の各点の座標を（Ｘ，Ｙ）で表し、回転行列Ｒに基づく回転補正後の画像（例えば、画像１２４）の各点の座標を（Ｘ’，Ｙ’）で表すと、下記式（５）の関係が成立する。

ステップＳ６の処理を終えると、図６の変換パラメータ校正処理を終了する。第２実施例では、ステップＳ３〜Ｓ５の調整によって得られた最新のホモグラフィ行列Ｈと、上記回転行列Ｒとが、校正済み変換パラメータとして取り扱われる。

実際には、例えば、最新のホモグラフィ行列Ｈと上記回転行列Ｒに従って、原画像上の各座標（ｘ，ｙ）と回転補正後の画像上の各座標（Ｘ’，Ｙ’）との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。このテーブルデータを用いれば、撮影画像を鳥瞰図画像に変換することができ、この鳥瞰図画像において各校正パターンは略正方形となると共にカメラ１の設置誤差等に由来する画像の傾きが補正される。この場合、上記テーブルデータを校正済み変換パラメータと捉えることもできる。

図６の変換パラメータ校正処理後、図２の画像処理装置２は、カメラ１にて次々と得られる撮影画像を、ホモグラフィ行列Ｈと回転行列Ｒに基づく校正済み変換パラメータを用いて次々と鳥瞰図画像に変換する。この際、各撮影画像を原画像として取り扱うと共に、各鳥瞰図画像を回転補正後の画像として取り扱う。このため、撮影画像上の各点の座標は（ｘ、ｙ）にて表され、鳥瞰図画像上の各点の座標は（Ｘ’，Ｙ’）にて表される。画像処理装置２は、各鳥瞰図画像を表す映像信号を表示装置３に供給する。表示装置３は、各鳥瞰図画像を動画像として表示する。

本実施例によれば、主としてカメラ１の設置誤差に由来する、画像の傾きが補正される。勿論、第１実施例と同様の効果も達成される。

＜＜第３実施例＞＞
次に、第３実施例について説明する。図９は、第３実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。第３実施例に係る変換パラメータ校正処理では、透視投影変換にて初期パラメータを算出するようにしている。初期パラメータを算出した後の動作は、第１又は第２実施例におけるそれと同様である。図９の変換パラメータ校正処理では、初期パラメータを算出した後の動作として、第２実施例におけるそれを適用しているが、第１実施例におけるそれを適用することも可能である（即ち、ステップＳ６を省略することも可能である）。

図９の変換パラメータ校正処理は、ステップＳ１１及びＳ１２の各処理と、ステップＳ３〜Ｓ６の各処理とから構成される。ステップＳ３〜Ｓ６の各処理は、第２実施例におけるそれらと同様である。

まず、ステップＳ１１において、初期校正を行う。初期校正では、透視投影変換にて初期パラメータを算出する。透視投影変換については公知である（例えば、下記特許文献１参照）。撮影画像上における各点の座標を（ｘ_bu、ｙ_bu）で表し、この撮影画像を透視投影変換にて変換した鳥瞰図画像上における各点の座標を（ｘ_au、ｙ_au）で表すと、座標（ｘ_bu、ｙ_bu）を座標（ｘ_au、ｙ_au）に変換するための式は、下記式（６）によって表される。

ここで、θ_aは、図１０に示す如く、地面とカメラ１の光軸との成す角度である（但し、９０°＜θ_a＜１８０°）。ｈは、カメラ１の高さに基づく量（カメラ座標系と世界座標系の、高さ方向の平行移動量）である。ｆは、カメラ１の焦点距離である。上述したように、鳥瞰図画像は、実際のカメラ１の撮影画像を仮想カメラの視点（仮想視点）から見た画像に変換したものであり、Ｈ_aは、この仮想カメラの高さを表す。

θ_a、ｈ及びＨ_aは、カメラ外部情報（カメラ１の外部パラメータ）と捉えることができ、ｆは、カメラ内部情報（カメラ１の内部パラメータ）と捉えることができる。透視投影変換に必要な、θ_a、ｈ、ｆ及びＨ_aを、総称して、透視投影用設定情報と呼ぶ。透視投影用設定情報は、例えば、設計段階において事前に設定され、予め画像処理装置２に与えられる。

図９に示す例では、式（６）に基づき、初期パラメータとして、下記式（７）のホモグラフィ行列Ｈを求める。透視投影変換を行うための式（６）からホモグラフィ行列Ｈを求める手法は公知である。例えば、第１実施例で説明したように、撮影画像と鳥瞰図画像との間における４点の座標値対応関係に基づきホモグラフィ行列Ｈを求めればよい。４点の座標値対応関係は、式（６）から得ることができる。

ステップＳ１１における初期パラメータの算出は、例えば、車両１００へのカメラ１の取り付け状態に応じて透視投影用設定情報（特に、θ_a及びｈ）を設定した後、図２の画像処理装置２内にて行われる。しかし、θ_a及びｈを特定するカメラ１の設置条件が定められており且つ該設置条件に従ってカメラ１が取り付けられることが決まっているのであれば、画像処理装置２の設計段階において、該設置条件を含む透視投影用設定情報に基づき初期パラメータを予め算出しておくようにしても良い。これは、車両製造時にカメラを備え付ける場合などに有効である。

ステップＳ１１の後、ステップＳ１２において、校正パターンＡ１〜Ａ３を上述の如く撮影領域内に配置した状態でカメラ１に撮影を行わせて校正用撮影画像を得る。第１実施例と同様、ステップＳ１１で求めたホモグラフィ行列Ｈを用いて該校正用撮影画像を座標変換することによって得られる画像を、校正用変換画像と呼ぶ。校正用撮影画像及び校正用変換画像をそれぞれ原画像及び変換画像として捉え、第１実施例と同様、原画像上における各点の座標を（ｘ，ｙ）にて表し、変換画像における各点の座標を（Ｘ，Ｙ）にて表すと、上記式（１）並びに式（２ａ）及び（２ｂ）が成立する。

ステップＳ１１及びＳ１２にて、初期パラメータを求め、校正用撮影画像を取得した後の処理は、第２実施例におけるそれと同様である。つまり、ステップＳ１２の後、ステップＳ３に移行して上記誤差評価値Ｄを算出し、ステップＳ３〜Ｓ５から成る繰り返し演算を実行して誤差評価値Ｄが所定の閾値以下となるようにホモグラフィ行列Ｈの最適化を行う。更にその後、ステップＳ６にて、傾き補正用の回転行列Ｒを求める。ステップＳ６の処理を終えると、図９の変換パラメータ校正処理を終了する。第３実施例では、ステップＳ３〜Ｓ５の調整によって得られた最新のホモグラフィ行列Ｈと、上記回転行列Ｒとが、校正済み変換パラメータとして取り扱われる。

実際には、例えば、最新のホモグラフィ行列Ｈと上記回転行列Ｒに従って、原画像上の各座標（ｘ，ｙ）と回転補正後の画像上の各座標（Ｘ’，Ｙ’）との対応関係を示すテーブルデータを作成し、これを図示されないメモリ（ルックアップテーブル）に格納しておく。このテーブルデータを用いれば、撮影画像を鳥瞰図画像に変換することができ、この鳥瞰図画像において各校正パターンは略正方形となると共にカメラ１の設置誤差等に由来する画像の傾きが補正される。この場合、上記テーブルデータを校正済み変換パラメータと捉えることもできる。

図９の変換パラメータ校正処理後、図２の画像処理装置２は、カメラ１にて次々と得られる撮影画像を、ホモグラフィ行列Ｈと回転行列Ｒに基づく校正済み変換パラメータを用いて次々と鳥瞰図画像に変換する。この際、各撮影画像を原画像として取り扱うと共に、各鳥瞰図画像を回転補正後の画像として取り扱う。このため、撮影画像上の各点の座標は（ｘ、ｙ）にて表され、鳥瞰図画像上の各点の座標は（Ｘ’，Ｙ’）にて表される。画像処理装置２は、各鳥瞰図画像を表す映像信号を表示装置３に供給する。表示装置３は、各鳥瞰図画像を動画像として表示する。

撮影画像を鳥瞰図画像に変換するための変換パラメータを透視投影変換によって求めた場合、その変換パラメータはカメラ１の設置誤差の影響を受け、通常、鳥瞰図画像上において正方形に見えるべき校正パターンが正方形に見えなくなる。そこで、上述の如く、透視投影変換によって求めた変換パラメータを変換パラメータの初期値（初期パラメータ）として取り扱い、形状既知の校正パターンを利用して変換パラメータを調整する。これにより、カメラ１の設置誤差を吸収可能となる。

また、第１又は第２実施例では、車両１００にカメラ１を設置した後、必ず画像処理装置２内で初期パラメータを算出する必要があるが、第３実施例では、この初期パラメータを設計段階で求めておくことも可能である。初期パラメータを設計段階で求めておかなかったとしても、透視投影用設定情報を与えてやるだけで容易に初期パラメータを算出可能である。即ち、第３実施例では、画像処理装置２内での初期パラメータの算出処理を省略或いは簡略化することができる。

＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
各校正パターンの形状が正方形である場合を例示したが、各校正パターンの形状を任意の形状とすることが可能である。

［注釈２］
上述の各実施例では、校正用撮影画像に３つの校正パターンＡ１〜Ａ３が含まれるようにし、３つの校正パターンの各特徴点に基づいて変換パラメータの調整を行うようにしているが、校正用撮影画像に含めるべき校正パターンの総数は２以上であればよい。第１又は第２実施例の如く変換パラメータの初期値（初期パラメータ）を平面射影変換にて求める場合、初期パラメータ算出用の校正パターン（例えば校正パターンＡ１）で変換パラメータの初期値を算出した後、調整用の校正パターン（例えば校正パターンＡ２）を用いてそれを調整するようにすれば、上述のような効果が得られるからである。尚、上述の第１又は第２実施例では、初期パラメータ算出用の校正パターンは、調整用の校正パターンとしての機能をも兼務する。

更に、第３実施例においては、透視投影変換によって初期パラメータが算出されるため、初期パラメータ算出用の校正パターンを省略することも可能である。つまり、校正用撮影画像に含めるべき校正パターンの総数を１とすることも可能である。校正パターンが１つであっても、カメラ１の設置誤差の吸収効果を得ることができるからである。この場合、この１つの校正パターンは、調整用の校正パターンとして機能する。

また、調整効果の低減が予想されるが、上記調整用の校正パターンの形状を三角形や線分とすることも可能である。即ち、調整用の校正パターンに含まれる特徴点の総数を３または２とすることも可能である。調整用の校正パターンの形状が線分であって特徴点が２つしか含まれていなかったとしても、その形状を既知としておけば（変換画像上における２つの特徴点の相対位置関係を既知としておけば）、変換画像上における調整用の校正パターンの実際の形状と理想的な形状との間の誤差に基づき、変換パラメータの初期値（初期パラメータ）をより良いものに調整することが可能である。

［注釈３］
上述の鳥瞰図画像は、カメラ１の撮影画像を地面上に投影した画像に相当する。つまり、上述の実施形態では、カメラ１の撮影画像を地面上に投影することにより鳥瞰図画像を生成するようにしているが、撮影画像が投影されるべき面を、地面以外の任意の所定面（例えば所定平面）とすることも可能である。

［注釈４］
車載カメラとしてのカメラ１を用いた視界支援システムを例に挙げて本発明の実施形態を説明したが、画像処理装置２に接続されるべきカメラを車両以外に設置することも可能である。つまり、本発明は、建物などに設置される監視システムに対しても、適用可能である。この種の監視システムにおいても、上述の実施形態と同様、撮影画像が所定面上に投影され、投影によって得られた画像が表示装置に表示される。

［注釈５］
図２の画像処理装置２の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。画像処理装置２にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。

［注釈６］
校正処理時において変換パラメータの調整を行って校正済み変換パラメータを導出するパラメータ導出手段は、画像処理装置２に内在しており、このパラメータ導出手段を備えてカメラの校正処理を行うカメラ校正装置も、画像処理装置２に内在している。パラメータ導出手段は、初期パラメータを導出する初期パラメータ導出手段と、変換パラメータの調整を実施するパラメータ調整手段と、を含む。校正処理後、画像処理装置２は、撮影画像を所定面上に投影することによって投影画像（上述の実施形態においては、鳥瞰図画像）を生成する投影手段として機能する。

本発明の実施形態に係り、カメラが設置された車両を上方から見た図である。 本発明の実施形態に係る視界支援システムの構成ブロック図である。 本発明の第１実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。 図３の変換パラメータ校正処理に従って校正が進行する様子を示す図である。 本発明の第１実施例に係り、変換画像上における実際の校正パターンの形状と変換画像上における理想的な校正パターンの形状との誤差を表す図である。 本発明の第２実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。 図１の車両に対するカメラの設置誤差（回転成分）を表す図である。 本発明の第２実施例に係る回転補正を説明するための図である。 本発明の第３実施例に係る変換パラメータ校正処理の手順を表すフローチャートである。 図１の車両を横から見た図であり、その車両に対するカメラの取り付け状態を表す図である。 校正パターンが描かれた校正プレートを上方から見た図である。 従来の平面射影変換による校正手法の問題点を説明するための図である。 従来の平面射影変換による校正手法の問題点を説明するための図である。

符号の説明

１ カメラ
２ 画像処理装置
３ 表示装置
１００ 車両
１０１ バンパ
Ａ１、Ａ２、Ａ３ 校正パターン

Claims (7)

1. カメラの撮影画像を所定面上に投影するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、
   前記パラメータ導出手段は、前記カメラからの校正用撮影画像に基づいて前記パラメータを求め、
   前記校正用撮影画像は、前記カメラの撮影領域内の互いに異なる位置に配置された、形状が既知の複数の校正パターンを含む
   ことを特徴とするカメラ校正装置。
2. 前記複数の校正パターンは、第１校正パターンと第２校正パターンを含み、
   前記パラメータ導出手段は、
   前記校正用撮影画像上の前記第１校正パターンの座標情報と前記第１校正パターンの形状に関する第１既知情報に基づいて初期パラメータを求めた後、
   前記初期パラメータを用いて前記校正用撮影画像上の前記第２校正パターンを座標変換し、この座標変換後の前記第２校正パターンの形状と該形状に関する第２既知情報とに基づいて前記初期パラメータを調整し、この調整を経て最終的に前記パラメータを求める
   ことを特徴とする請求項１に記載のカメラ校正装置。
3. 前記第１校正パターンは、少なくとも４点の特徴点を含み、
   前記第１既知情報は、前記４点の特徴点間の相対位置関係を特定する
   ことを特徴とする請求項２に記載のカメラ校正装置。
4. カメラの撮影画像を所定面上に投影するためのパラメータを求めるパラメータ導出手段を備えたカメラ校正装置において、
   前記パラメータ導出手段は、前記カメラからの校正用撮影画像に基づいて前記パラメータを求め、
   前記校正用撮影画像は、前記カメラの撮影領域内に配置された形状が既知の校正パターンを含み、
   前記パラメータ導出手段は、予め設定された情報に基づく初期パラメータを用いて前記校正用撮影画像上の前記校正パターンを座標変換し、この座標変換後の前記校正パターンの形状と該形状に関する既知情報とに基づいて前記初期パラメータを調整し、この調整を経て最終的に前記パラメータを求める
   ことを特徴とするカメラ校正装置。
5. カメラ及び画像処理装置が設置された車両において、
   前記画像処理装置は、請求項１〜請求項４の何れかに記載のカメラ校正装置を含む
   ことを特徴とする車両。
6. カメラの撮影画像を所定面上に投影するためのパラメータを求めるカメラ校正方法において、
   前記カメラからの校正用撮影画像に基づいて前記パラメータを求めるパラメータ導出ステップを有し、
   前記校正用撮影画像に、前記カメラの撮影領域内の互いに異なる位置に配置された、形状が既知の複数の校正パターンを含める
   ことを特徴とするカメラ校正方法。
7. カメラの撮影画像を所定面上に投影するためのパラメータを求めるカメラ校正方法において、
   前記カメラからの校正用撮影画像に基づいて前記パラメータを求めるパラメータ導出ステップを有し、
   前記校正用撮影画像に、前記カメラの撮影領域内に配置された形状が既知の校正パターンを含め、
   前記パラメータ導出ステップは、予め設定された情報に基づく初期パラメータを用いて前記校正用撮影画像上の前記校正パターンを座標変換し、この座標変換後の前記校正パターンの形状と該形状に関する既知情報とに基づいて前記初期パラメータを調整するパラメータ調整ステップを備え、この調整を経て最終的に前記パラメータを求める
   ことを特徴とするカメラ校正方法。