JP2004213332A - キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具 - Google Patents

Abstract

【課題】画像撮影装置が設置された様々な環境の中でもロバストにキャリブレーションに使用されるマーカが正確に同定できるようにし、以って、画像撮影装置が有する光学的歪みが大きな場合でも画像内からキャリブレーションマーカを容易に且つ正確に認識し、より精密なキャリブレーションパラメータを算出できるようにすること。
【解決手段】少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されたキャリブレーション治具２を画像撮影装置１で撮影し、演算装置４によって、この撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けし、この番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影装置１のキャリブレーションパラメータを推定する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像撮影装置のキャリブレーションを行うキャリブレーション装置及びキャリブレーション方法、コンピュータをそのようなキャリブレーション装置として機能させるためのキャリブレーション用プログラム、及び、キャリブレーション装置と組み合わされるキャリブレーション治具に関する。
【０００２】
【従来の技術】
画像撮影装置のキャリブレーション方法、あるいはカメラキャリブレーションは、画像処理において重要な技術である。この技術は、特に、カメラを利用した３次元計測や物体認識やロボットによる物体把持などに利用される。カメラキャリブレーション技術は、後述するように、画像撮影装置（カメラ）の光学的且つ幾何学的特性を規定するものであり、カメラの射影変換的特性パラメータと環境内におけるカメラの位置姿勢パラメータなどを推定する問題としても重要である。これらのカメラキャリブレーションパラメータを算出あるいは推定するためには、カメラが配置された世界座標系内にある３次元位置が既知なマーカ（キャリブレーション用のマーカあるいはランドマーク）をカメラで撮影し、そのカメラ画像に撮影されたマーカの像の２次元位置を画像内で算出して、両者の位置関係から各種のカメラパラメータを算出することになる。こうしたカメラキャリブレーションの方法としては、従来より種々知られている（例えば、非特許文献１乃至３参照）。
【０００３】
非特許文献１に開示されている方法では、キャリブレーション治具として、すべて同一の大きさの正方形のキャリブレーションマーカを配置した平面ボードと、その平面ボードをｚ軸方向にスライドするｚステージとを用意する。その正方形の頂点を画像処理により認識することにより、画像内でのキャリブレーションマーカの位置を計測すると共に、ｚステージから得られるｚ値と平面ボード上のｘｙ座標とを組み合わせることにより、世界座標系での３次元位置を計測する。そして、対応するマーカの世界座標系における３次元位置と複数画像内の２次元位置とを利用しながら、画像撮影装置のキャリブレーションパラメータを推定する。
【０００４】
また、非特許文献２は、キャリブレーションマーカを互いに垂直な３平面に配置し、そのマーカを認識することで、画像撮影装置（カメラ）のキャリブレーションを行う方法を開示している。
【０００５】
非特許文献３では、２平面から構成されるキャリブレーション治具を考案し、そのキャリブレーションボード上には、複数の正方形のマーカを配置し、その正方形のマーカの４個の頂点を画像処理的に抽出することにより、マーカの画像内位置を推定している。これらマーカである正方形の色は、背景の色と異なり、さらに２平面を分離できる境界が明確であるという特徴がある。
【０００６】
【非特許文献１】
Ｊ． Ｗｅｎｇ， Ｐ． Ｃｏｈｅｎ， ａｎｄ Ｍ． Ｈｅｒｎｉｏｕ， ”Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ Ｄｉｓｔｏｒｔｉｏｎ Ｍｏｄｅｌｓ ａｎｄ Ａｃｃｕｒａｃｙ Ｅｖａｌｕａｔｉｏｎ，” ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｆ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｐｐ． ９６５−９８０， １９９２
【０００７】
【非特許文献２】
Ｂ． Ｇｉｒｏｄ， ｅｔ ａｌ， ｅｄｉｔｅｄ， Ｐｒｉｎｃｉｐｌｅｓ ｏｆ ３Ｄ ｉｍａｇｅ ａｎａｌｙｓｉｓ ａｎｄ ｓｙｎｔｈｅｓｉｓ， Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ， ２０００， ｐｐ． ２９−３０
【０００８】
【非特許文献３】
Ｏｌｉｖｅｒ Ｆａｕｇｅｒａｓ， Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， ＭＩＴ Ｐｒｅｓｓ，１９９３， ｐｐ． ２３２−２３５
【０００９】
【発明が解決しようとする課題】
上記非特許文献１に開示の方法では、キャリブレーションマーカを平面上に配置しているため、複数のｚの値に対する複数の画像を撮影する必要がある。また、キャリブレーションマーカがすべて同一のものを使用しているため、マーカを同定するためには、すべてのマーカを画像内に撮影する必要があり、また複数のｚ値に対して画像を撮影する際にも、すべてのマーカが撮影されていなければならないため、キャリブレーション治具の設定方法に制限があるという問題があった。更に、複数の画像撮影装置（カメラ）を使用する際には、画像撮影装置間に設定が困難であるという問題があった。
【００１０】
また、上記非特許文献２に開示の方法では、３平面のうち上部２平面に均等にキャリブレーションマーカを配置し、それらを認識し易くするために、大きさの異なる円マーカを使用している。しかし、下方の平面には、上部２面とは異なるマーカ配置を行っている。具体的には、すべて同一の大きさを均等に配置しているに過ぎない。この方法では、画像撮影装置の光学的レンズ歪みが大きいときには、マーカの番号付けや認識に誤りが起こる可能性が高い。その理由としては、（１）上部２平面と下部１平面の間の境界が不明確なこと、（２）キャリブレーションマーカが存在する背景領域の境界が不明確なため、画像内にマーカと類似したものが撮影されると、それをキャリブレーションマーカと誤認識する可能性があること、（３）上部と下部とで異なるマーカ配置を行っているため、画像撮影装置であるカメラの撮影配置に制限があること、が挙げられ、実際的にキャリブレーションを行う際には、実用的な問題があった。
【００１１】
そして、上記非特許文献３に開示の方法では、画像撮影装置のレンズ歪み（レンズディストーション）は無視しており、画像撮影装置をピンホールカメラモデルで近似しているにとどまり、レンズ歪みの影響が大きくなるとキャリブレーションパラメータの算出で問題が起こる。この理由は、（１）マーカが２平面に限定されて配置されていること、（２）正方形の頂点の画像検出は、いわゆるコーナーポイントの検出となり、画像検出誤差の検出成分が大きくなること、などを挙げることができる。
【００１２】
本発明は、上記の点に鑑みてなされたもので、画像撮影装置が設置された様々な環境の中でも、ロバストにキャリブレーションに使用されるマーカが正確に同定できることを課題とし、特に、画像撮影装置が有する光学的歪み（レンズディストーション）が大きな場合でも、画像内からキャリブレーションマーカを容易に且つ正確に認識し、より精密なキャリブレーションパラメータを算出できるキャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に記載の発明によるキャリブレーション装置は、
画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
上記キャリブレーション治具を撮影する上記画像撮影手段と、
上記画像撮影手段により撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とする。
【００１４】
また、請求項２に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカが上記所定の規則に基づいて配置されている上記キャリブレーション治具は、所定の規則に基づいて番号付け可能にキャリブレーションマーカが配置されたキャリブレーション治具であることを特徴とする。
【００１５】
また、請求項３に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、上記キャリブレーションマーカが配置された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする。
【００１６】
また、請求項４に記載の発明によるキャリブレーション装置は、請求項３に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、お互いに直交する３面から構成されることを特徴とする。
【００１７】
また、請求項５に記載の発明によるキャリブレーション装置は、請求項４に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、上記キャリブレーションマーカが配置された各面に、少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付けを行うように構成されたことを特徴とする。
【００１８】
また、請求項６に記載の発明によるキャリブレーション装置は、請求項５に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、大きさの異なる２種類以上のキャリブレーションマーカを有することを特徴とする。
【００１９】
また、請求項７に記載の発明によるキャリブレーション装置は、請求項５に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする。
【００２０】
また、請求項８に記載の発明によるキャリブレーション装置は、請求項５に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、形状の異なる２種類以上のマーカを有することを特徴とする。
【００２１】
また、請求項９に記載の発明によるキャリブレーション装置は、請求項５に記載の発明によるキャリブレーション装置において、上記キャリブレーション治具は、上記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする。
【００２２】
また、請求項１０に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、複数の視点から上記キャリブレーション治具が写っている複数枚の画像を撮影するために、上記画像撮影装置あるいはキャリブレーション治具を相対的に移動させる移動手段をさらに具備することを特徴とする。
【００２３】
また、請求項１１に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカ認識手段は、上記キャリブレーション治具の各面におけるキャリブレーションマーカの番号付けの処理を所定の順番に基づいて行い、既に番号付けされた近傍マーカの画像位置の情報を利用して、次に番号付けされるべきマーカの画像内位置を予測するとともに、その予測に従って検出されたマーカ候補から最適な候補を選択するか、あるいは最適な候補が存在しないと判定するかの処理を行うことを特徴とする。
【００２４】
また、請求項１２に記載の発明によるキャリブレーション装置は、請求項１１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカ認識手段は、上記最適な候補の選択には、予測位置からの距離を利用することを特徴とする。
【００２５】
また、請求項１３に記載の発明によるキャリブレーション装置は、請求項１１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカ認識手段は、上記最適な候補が存在しないと判定するのに、予測位置からの距離を尺度とし、その距離が所定の閾値を超えていた場合に存在しないと判定することを特徴とする。
【００２６】
また、請求項１４に記載の発明によるキャリブレーション装置は、請求項１１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカ認識手段において、上記キャリブレーションマーカの番号付けは、螺旋状に行うことを特徴とする。
【００２７】
また、請求項１５に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記キャリブレーションマーカ認識手段が認識したキャリブレーションマーカの認識結果を、上記画像撮影手段で撮影された画像あるいは別の画像にその結果を重畳して表示する表示手段をさらに具備することを特徴とする。
【００２８】
また、請求項１６に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記画撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてが写っているものであることを特徴とする。
【００２９】
また、請求項１７に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記画像撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほほ中央に写っているものであることを特徴とする。
【００３０】
また、請求項１８に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、ステレオアダプタを装着した上記画像撮影装置が撮影する上記キャリブレーション治具の少なくとも一方の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほぼ中央に配置されるように撮影されたものであることを特徴とする。
【００３１】
また、請求項１９に記載の発明によるキャリブレーション装置は、請求項１に記載の発明によるキャリブレーション装置において、上記画像撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具を構成する複数の面の境界線あるいは境界曲線の一部が中央に位置するように撮影されたものであることを特徴とする。
【００３２】
また、上記の目的を達成するために、請求項２０に記載の発明によるキャリブレーション装置は、
複数の画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
上記キャリブレーション治具を異なる位置から撮影する上記複数の画像撮影手段と、
上記複数の画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記複数の画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とする。
【００３３】
また、上記の目的を達成するために、請求項２１に記載の発明によるキャリブレーション装置は、
ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
ステレオアダプタを介して撮影することにより上記キャリブレーション治具を異なる位置から撮影する上記ステレオアダプタ付きの画像撮影手段と、
上記ステレオアダプタ付きの画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とする。
【００３４】
また、上記の目的を達成するために、請求項２２に記載の発明によるキャリブレーション装置は、
画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する手段と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利属して、上記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とする。
【００３５】
また、上記の目的を達成するために、請求項２３に記載の発明によるキャリブレーション方法は、
画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション方法において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する工程と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する工程と、
上記キャリブレーションマーカを認識する工程により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定する工程と、
を有することを特徴とする。
【００３６】
また、上記の目的を達成するために、請求項２４に記載の発明によるキャリブレーション用プログラムは、
画像撮影手段のキャリブレーションパラメータを推定するためにコンピュータに、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する機能と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する機能と、
上記番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定する機能と、
を実現させるためのものである。
【００３７】
また、上記の目的を達成するために、請求項２５に記載の発明によるキャリブレーション治具は、
画像撮影手段で所定のキャリブレーションマーカを有するキャリブレーション治具を撮影し、上記撮影された画像に基づいて上記撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置と組み合わせるキャリブレーション治具であって、
少なくとも複数の面と、
上記複数の面の各々に所定の規則に基づいて配置されるとともに、３次元位置が既知な複数種類のキャリブレーションマーカと、
を備えることを特徴とする。
【００３８】
また、請求項２６に記載の発明によるキャリブレーション治具は、請求項２５に記載の発明によるキャリブレーション治具において、上記キャリブレーションマーカが配された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする。
【００３９】
また、請求項２７に記載の発明によるキャリブレーション治具は、請求項２５に記載の発明によるキャリブレーション治具において、互いに直交する３面から構成されることを特徴とする。
【００４０】
また、請求項２８に記載の発明によるキャリブレーション治具は、請求項２７に記載の発明によるキャリブレーション治具において、上記キャリブレーションマーカが配置された各面に少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付け可能なように構成されたことを特徴とする。
【００４１】
また、請求項２９に記載の発明によるキャリブレーション治具は、請求項２８に記載の発明によるキャリブレーション治具において、大きさの異なる２種以上のキャリブレーションマーカを有することを特徴とする。
【００４２】
また、請求項３０に記載の発明によるキャリブレーション治具は、請求項２８に記載の発明によるキャリブレーション治具において、色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする。
【００４３】
また、請求項３１に記載の発明によるキャリブレーション治具は、請求項２８に記載の発明によるキャリブレーション治具において、形状の異なる２種類以上のキャリブレーションマーカを有することを特徴とする。
【００４４】
また、請求項３２に記載の発明によるキャリブレーション治具は、請求項２８に記載の発明によるキャリブレーション治具において、上記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする。
【００４５】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
【００４６】
［第１の実施の形態］
図１の（Ａ）は、本発明の第１の実施の形態に係るキャリブレーション装置の基本構成を示す図である。
【００４７】
即ち、このキャリブレーション装置は、キャリブレーションを実行すべき画像撮影装置１により撮影される、キャリブレーションパターンが付加されているキャリブレーション治具２と、上記画像撮影装置１が撮影した画像（あるいは映像信号）３を処理して上記画像撮影装置１に関するキャリブレーションパラメータを算出する演算装置４と、から構成されるものである。
【００４８】
ここで、上記画像撮影装置１は、ビデオカメラ、ディジタルカメラ、など画像を撮影あるいは入力する装置であれば何でも良い。
【００４９】
また、上記演算装置４は、パーソナルコンピュータのような汎用の計算機でも良いし、専用の演算処理装置であっても良い。更に、上記画像（あるいは映像信号）３は、上記画像撮影装置１と上記演算装置４との間を通信により授受しても良いし、電子メディア（例えば、メモリ、コンパクトフラッシュ（登録商標）メモリ、フロッピー（登録商標）ディスク、スマートメディア（商標）、ＣＤ−ＲＯＭ、光磁気ディスク）などによって手渡ししても良い。また、上記演算装置４は、上記画像撮影装置１内に存在しても良く、そのような場合には、画像撮影装置１内で、ハードウェア回路あるいはソフトウェア処理で行っても良い。
【００５０】
また、上記キャリブレーション治具２は、３個の平面２Ａが直交するコーナーキューブの形で構成されたものである。各面２Ａは、例えば図２の（Ａ）に示すように正方形形状でも構わないし、図２の（Ｂ）あるいは、図２の（Ｃ）に示すように三角形形状でもあるいは５角形の形状でも良いし、更には、図示していないが円弧形状であっても構わない。こららの直交する３面は、キャリブレーション治具２が規定する座標系においてｘｙ平面、ｙｚ平面、ｚｘ平面を構成するように配慮されている。例えば、図２の（Ａ）においては、下部に位置する面２Ａ１が、ｘｙ平面、右上に位置する面２Ａ２がｙｚ平面、左上に位置する面２Ａ３がｚｘ平面として定義され、ｘｙ平面とｙｚ平面が交わる直線がｙ軸、ｙｚ平面とｚｘ平面が交わる直線がｚ軸、ｚｘ平面とｘｙ平面が交わる直線がｘ軸、三平面が交わる点を原点Ｏと定義することができる。このように決定することで、各面の位置関係と座標系を決定することができる。即ち、ｘｙ平面はｚ＝０平面として定義され、ｙｚ平面はｘ＝０平面として定義され、ｚｘ平面はｙ＝０と定義されるわけである。
【００５１】
図３の（Ａ）は、このキャリブレーション治具２を構成する１つの面２Ａを表したものである。この面内には２種類の大きさの円マーカ５ｂ，５ｓが存在する。具体的には、図２の（Ａ）に示したような３面構成のキャリブレーション治具２の場合には、前述の通り３面が交わる原点付近に大きさの異なる３個の大マーカ５ｂが存在する。
【００５２】
本キャリブレーション治具２の各面２Ａでは、白色を背景とし、マーカ（大マーカ５ｂ・小マーカ５ｓ）は黒色で印刷されている。また、各面でマーカ全部を含む白色の背景のことを、以下、マーカ背景領域５と称する。そして、このマーカ背景領域５をさらに囲むように黒色で背景境界線（あるいは背景境界曲線）６が存在する。この背景境界線（あるいは背景境界曲線）６は、マーカが存在する領域を制限する意味で重要であり、この背景境界線６をどのように利用するかについては、後述する。
【００５３】
ここでは、マーカを黒色で、また背景を白色で表したが、もちろん、これとは逆の色を使用しても良いことは明白である。また、カラーカメラを使用することができる際には、大マーカ５ｂと小マーカ５ｓのように大きさで２種類のマーカを区別したが、色によって２種類のマーカを区別することも可能であることは明白である。また、図３の（Ｂ）に示すように、大マーカ５ｂを、白黒２重円から構成するようにしても良い。また、別の構成としては、マーカを包含するマーカ背景領域５が灰色で、大マーカ５ｂが白、小マーカ５ｓが黒などのように、２階調の濃度値を利用するのではなく２階調以上の濃度値を利用するようなマーカ構成であっても構わない。
【００５４】
次に、このような構成のキャリブレーション装置の動作を説明する。
【００５５】
図１の（Ｂ）は、このキャリブレーション装置全体の動作フローチャートを示す図である。
【００５６】
即ち、キャリブレーションすべき画像撮影装置１を、上記のようなキャリブレーション治具２を撮影できるような位置に設定し（ステップＳ１）、キャリブレーション治具２を画像撮影装置１で撮影する（ステップＳ２）。ここで、実際に画像撮影装置１で、このキャリブレーション治具２を撮影を撮影する際には、上記各面２Ａの存在する大マーカ５ｂが撮影画像内に存在するように撮影するか、あるいはその大マーカ５ｂができるだけ画像の中央に配置されるように撮影することが、撮影者への指針となる。大マーカ５ｂの画像内位置をこのように撮影指針にすることは、後述するように、マーカ認識の精度を向上させることで重要な役割を果たす。これは、特に光学レンズのディストーションの影響が大きいときには、重要である。
【００５７】
こうして撮影されたキャリブレーション治具２の画像（あるいは映像信号）３は、演算装置４に送出される。而して、演算装置４において、キャリブレーション治具２の幾何学的情報と、上記ステップＳ２で撮影された画像（あるいは映像信号）３とを利用して、上記画像撮影装置１に関するキャリブレーションパラメータを算出する（ステップＳ３）。
【００５８】
図１の（Ｃ）は、このステップＳ３の上記演算装置４で行われるキャリブレーションパラメータ算出のためのサブルーチンのフローチャートを示している。
【００５９】
即ち、まず、マーカ背景領域認識の処理として、上記画像撮影装置１から得られた画像（あるいは映像信号）３から、３個のマーカ背景領域５を抽出し、それぞれがｘｙ平面、ｙｚ平面、ｚｘ平面のいずれに対応するかを同定（認識）する（ステップＳ３１）。
【００６０】
続いて、マーカ認識の処理として、上記ステップＳ３１において同定された各面（ｘｙ平面、ｙｚ平面、ｚｘ平面）について、各面に配置された大小のマーカ５ｂ，５ｓに対応する領域をマーカ背景領域５で囲まれた領域内から抽出し、それらを同定（レベル付け）する（ステップＳ３２）。
【００６１】
ここで、大マーカ５ｂである３個のマーカを図４の（Ａ）に示すようにＡ，Ｂ，Ｃとし、この面２Ａがキャリブレーション治具２のｘｙ平面に対応すると仮定する。この場合、Ａ−Ｂは３次元空間である世界座標系内のｘ軸を規定するものとして考えることができ、Ａ−Ｃは３次元空間である世界座標系内のｙ軸を規定するものとして考えることができるわけである。従って、詳細は後述するように、画像内でのＡ，Ｂ，Ｃの位置関係を考えると、世界座標系のｘ軸ｙ軸について画像内における大まかな方向ベクトルを算出することが可能となる。もちろん、この方向ベクトルは、Ａ，Ｂ，Ｃの存在する近傍では正確な推定値であるが、Ａ，Ｂ，Ｃから極端に離れていくと、画像撮影装置１（あるいは手段）の光学系のレンズの歪みの影響で方向ベクトルの推定値は誤差を含むものとなる。このような課題を解決する手段として、後述するような方法で、キャリブレーションマーカの同定（あるいは番号付け）を行うものである。
【００６２】
さらに、図４の（Ｂ）は、各面におけるマーカのラベルと座標関係を表した図である。これらマーカ群は、Ａ＝Ｍ_０を基点として、反時計回りに螺旋状にＭ_１，Ｍ_２，…，Ｍ_ｎという具合に番号付けされている。即ち、大マーカＢはＭ_４として、大マーカＣはＭ_８として番号付けされるわけである。
【００６３】
そして、例えば図４の（Ｂ）に示すように、ｘｙ平面上のマーカ群に関しては、原点Ｏを基準として各マーカの３次元位置座標を付与することができる。例えば、原点ＯからＭ_０までのｘ方向とｙ方向のオフセットを共にａ（メートル）、ｘ方向及びｙ方向のマーカ間の間隔をｂ（メートル）とすると、各代表的なマーカの３次元座標値（ｘ，ｙ，ｚ）は、以下のように簡単に計算することができる。
【００６４】
【数１】

【００６５】
なお、Ｍ＝０となるマーカＡを容易に検出できるように、図５の（Ａ）に示すように、原点Ｏに最も近い大マーカ５ｂだけを図３の（Ｂ）に示したような白黒２重円から構成するようにしても良い。
【００６６】
以上のようなマーカ認識の処理によって、各マーカＭ_ｉ（ｉ＝０，１，２，…）について、そのキャリブレーション治具２が基準とする世界座標系におけるマーカ３次元位置（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）の位置と、対応する画像内における２次元位置（ｕ_ｉ，ｖ_ｉ）を算出することができる。
【００６７】
そしてその後、パラメータ算出の処理として、上記ステップＳ３２において対応付けられたマーカの３次元位置（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と２次元位置（ｕ_ｉ，ｖ_ｉ）とを利用することによって、画像撮影装置１に関するカメラキャリブレーションパラメータを算出する（ステップＳ３３）。
【００６８】
以下、これらのステップＳ３１，Ｓ３２，Ｓ３３について詳細に説明する。
【００６９】
（マーカ背景領域認識方法）
まず、上記ステップＳ３１のマーカ背景領域認識の方法について説明する。
【００７０】
画像撮影装置１で撮影されたキャリブレーション治具２の画像（あるいは映像信号）３について、マーカ５ｂ，５ｓはほぼ黒色に、マーカ背景領域５はほぼ白色に撮影されている。そこで、適切な閾値を設定して、この画像３に対して２値化処理を施すと、マーカ背景領域５は「１」に変換され、マーカ５ｂ，５ｓを示す楕円あるいは円領域は「０」に、さらに背景境界線６の領域は「０」に変換される。ここで、「１」である２値領域を抽出すると、３個のマーカ背景領域５とその他白色に映し出されたキャリブレーション治具以外の物体がラベル「１」で指定される２値領域（対象領域）として抽出される。ここで注意しなければならないのは、３個のマーカ背景領域５は黒色の背景境界線６で区切られているため、画像内では、必ずこれらのマーカ背景領域５は閉領域として、お互いに区別できるわけである。
【００７１】
画像撮影の典型的な場合は、図５の（Ｂ）に示すような場合である。この場合には、マーカ背景領域５である画像領域Ｃ，Ｄ，Ｅとその他の領域Ａ，Ｂ，Ｆがラベル「１」の領域として登録される。
【００７２】
そして次に、マーカ背景領域５あるいはその一部の領域だけが抽出される。この抽出の条件としては、マーカ背景領域５は、
１）画像の中心付近に、その一部が少なくとも位置し、
２）その面積はある閾値よりも大であり、
３）３面のマーカ背景領域５はその中央付近でお互いに隣接関係にある、などを使用すれば良い。このような抽出条件により、例えば、図５の（Ｂ）の場合には、Ｃ，Ｄ，Ｅの画像領域が抽出選択される。
【００７３】
このようにして、複数のマーカ背景領域５が抽出された後、これらがそれぞれｘｙ平面、ｙｚ平面、ｚｘ平面のいずれに対応するかを決定する。これには、以下のような方法を利用する。
【００７４】
まず、マーカ背景領域５として抽出された画像領域をα、β、γとする。次に、これらの画像領域内における重心位置をＰα、Ｐβ、Ｐγとすると、
【数２】

により、その平均位置を計算するとともに、ベクトル
【数３】

を考えて、それらのベクトルが反時計回りになるように並べ替える。そして、画像３内の最も下部に重心が位置するものをｘｙ平面を構成するマーカ背景領域５とし、ベクトルが反時計回りになる順にｙｚ平面、ｚｘ平面となるものを選択することにより、３個のマーカ背景領域５をｘｙ平面、ｙｚ平面、ｚｘ平面とすることができるわけである。例えば、図５の（Ｂ）においては、このようにすることにより、画像領域Ｅがｘｙ平面に、画像領域Ｄがｙｚ平面に、画像領域Ｃがｚｘ平面に対応するマーカ背景領域５であると認識できることになる。
【００７５】
（マーカ認識方法）
次に、上記ステップＳ３２のマーカ認識の方法について説明する。即ち、キャリブレーションに使用する大小のマーカの認識方法の概要に関して解説する。
【００７６】
今まで説明してきたように、マーカ背景領域５の認識が終わると、それに囲まれる大小のマーカ５ｂ，５ｓを正確に認識することが重要になる。大小のマーカ５ｂ，５ｓは、定義上では、円形マーカであるが、画像撮影装置１が撮影した画像３内では、必ずしも正確な円とは撮像されない。しかしながら、その形状はほぼ楕円で近似することができる。
【００７７】
図６は、このマーカ認識処理のフローチャートを示す図である。
【００７８】
即ち、まず、マーカ背景領域５毎に、そのマーカ背景領域５内の穴埋め２値処理を行い、マーカ背景領域５とマーカ領域とを含む包含領域を生成し、さらに、この包含領域について適当な閾値を利用した２値化処理により平面内のマーカ領域と背景領域に領域分割するか、あるいは例えばＲａｈａｒｄｊａ／Ｋｏｓａｋａの領域分割アルゴリズムなどを適用し、画像３内から円形状（楕円形状）の領域だけを高速に抽出する（ステップＳ３２０）。こうして、大小の楕円領域が抽出される。ここで、これらの楕円領域を、Ｅ_ｊ（ｊ＝０，１，２，…）と表現するものとする。
【００７９】
次に、大マーカ５ｂであるＭ_０，Ｍ_４，Ｍ_８に対応する大楕円領域Ｅ_０，Ｅ_４，Ｅ_８を選択する（ステップＳ３２１）。この際、マーカ間の幾何学的制約条件を考慮して、正確に対応付けが出来ているかを確認する。
【００８０】
その後、大楕円領域Ｅ_０の重心をＰ_０としたとき、そのＰ_０における方向ベクトルｄｘ（Ｐ_０）とｄｙ（Ｐ_０）を大楕円領域Ｅ_４，Ｅ_８の位置関係から算出する（ステップＳ３２２）。
【００８１】
以上で、アルゴリズムの初期化が終わり、マーカＭ_１，Ｍ_２，Ｍ_３，…の順に（らせん状の順番で）、マーカＭ_ｋ（ｋ＝１，２，…，Ｎ）に対応する楕円Ｅ_ｋを探索する。このため、インデックスｋの値をまず「１」に初期設定した後（ステップＳ３２３）、以下のステップＳ３２４乃至ステップＳ３２９を繰り返す。
【００８２】
即ち、マーカＭ_Ｎまでのすべてのマーカを認識したかどうかを判別するため、インデックスｋがＮを超えたか否かを判別する（ステップＳ３２４）。
【００８３】
ここで、まだ越えていない、つまり、認識していないマーカが存在する場合には、マーカＭ_ｋの５×５近傍において、すでに楕円と対応関係が確定しているマーカＭ_ｊ（ｊ＜ｋ）を収集する（ステップＳ３２５）。なお、５×５近傍とは、注目しているマーカＭ_ｋの座標位置（ｘ，ｙ）に対して、ｘ軸方向の座標値の差が２間隔以内またはｙ軸方向の座標値の差が２間隔以内ということであり、従って、５×５近傍に存在するマーカの総数は、その注目マーカＭ_ｋを除いて２４個となる。
【００８４】
次に、それら収集したマーカ群｛Ｍ_ｊ｜ｊ＜ｋ｝及びそれらと対応関係が確定した楕円群｛Ｅ_ｊ｜ｊ＜ｋ｝の座標値を利用して、マーカＭ_ｋの画像内位置を予測する。予測に関しては、その予測期待値と限界領域を規定する。さらに、マーカＭ_ｋに対応する楕円の重心における方向ベクトルｄｘ，ｄｙも予測する（ステップＳ３２６）。
【００８５】
そして、マーカＭ_ｋの限界領域内に存在し且つ予測期待値に最も近い楕円Ｅ_ｋを選択する（ステップＳ３２７）。
【００８６】
その後、マーカの対応関係（Ｍ_ｋ，Ｅ_ｋ）を含めて、楕円Ｅ_ｋの重心Ｐ_ｋに対応するｄｘ（Ｐ_ｋ），ｄｙ（Ｐ_ｋ）の値を更新する（ステップＳ３２８）。
【００８７】
そして、インデックスｋの値を「１」増やした後（ステップＳ３２９）、上記ステップＳ３２４へ戻る。
【００８８】
こうして、ステップＳ３２４乃至Ｓ３２９を繰り返し、インデックスｋの値がＮを超えたならば（ステップＳ３２４）、このマーカ認識処理を終了する。
【００８９】
以下、このようなマーカ認識アルゴリズムの詳細、特に、マーカと楕円との対応付け（ラベリング）の詳細について説明する。即ち、マーカＭ_ｋと画像から抽出された楕円Ｅ_ｊの間のラベリングを如何にして行うかを以下で説明する。基本的には、マーカの中で主特徴となる大マーカ（Ｍ_０，Ｍ_４，Ｍ_８）に対応する楕円をまず抽出し、その楕円群により、マーカの幾何学位置を規定するｘ軸方向とｙ軸方向の画像内における方向ベクトルｄｘ，ｄｙの初期推定値と原点Ｐ_０を決定する。その後、再帰的にマーカＭ_１，Ｍ_２，Ｍ_３，…に対応する楕円Ｅ_１，Ｅ_２，Ｅ_３，…を順次決定する方法を採用する。
【００９０】
なおここで、各用語の定義は、以下のようである。
【００９１】
１）マーカＭ_ｋ：大マーカ（大円マーカ）５ｂと小マーカ（小円マーカ）５ｓ
マーカとしては、Ｍ_０，Ｍ_４，Ｍ_８からなる大マーカ５ｂと、その他の小マーカ５ｓからなる。
【００９２】
２）楕円（大）と楕円（小）Ｅ_ｊ
マーカの画像上への投影像は一般的には楕円で近似することができる。画像内から抽出される楕円は、その幾何学的特徴と重心位置（重心座標）により記述される。
【００９３】
３）ｘ軸とｙ軸、方向ステップ（ｓｘ，ｓｙ）と方向ベクトル（ｄｘ，ｄｙ）
マーカ間の相対位置はｓｘ，ｓｙにより記述される。ここで、ｓｘ，ｓｙはそれぞれｘ軸方向にステップ数とｙ方向のステップ数を表す。ｄｘ，ｄｙは隣接ランドマークの画像内でのｘ方向とｙ方向の距離を表す。より具体的には、対応する楕円がｘ軸方向での１ステップ進んだ距離がｄｘであり、ｙ軸方向での１ステップ進んだ距離がｄｙとなる。ｄｘ，ｄｙは画像内で均一ではないため、抽出された各楕円の重心に対して定義される。
【００９４】
このような定義により、以下、アルゴリズム・ステップを説明する。
【００９５】
１）３個の大楕円の認識（上記ステップＳ３２１の処理）
まず、上記ステップＳ３２０の処理により領域抽出された楕円の集合を、面積によって降べきの順にソーティングする。
【００９６】
次に、面積が大な楕円３個を選択し、それらが以下の条件を満たすか否かを判定する：
ｉ）面積がほぼ等しい（例えば、３個の楕円の面積のうち最大と最小の比がある範囲内）
この条件を満たすときには、３個の楕円が認識されたとする。そして、それら３個の楕円をＭ_０，Ｍ_４，Ｍ_８として番号付けする。
【００９７】
２）方向ベクトルｄｘ，ｄｙの初期値推定
Ｍ_０，Ｍ_４から隣接格子点間のｘ方向を規定する方向ベクトルｄｘの初期値を算出する。
【００９８】
【数４】

【００９９】
また、Ｍ_０，Ｍ_８から隣接格子間のｙ方向を規定する方向ベクトルｄｙの初期値を算出する。
【０１００】
【数５】

３）中心点Ｐ_０の認識（上記ステップＳ３２２の処理）
３個の大楕円の重心に最も近い大楕円をＥ_０とラベリングし、Ｅ_０の重心を点Ｐ_０とする。この点Ｐ_０の方向ベクトルｄｘ（Ｐ_０），ｄｙ（Ｐ_０）としては、上述したｄｘ，ｄｙの初期値を利用する。
【０１０１】
４）再帰的楕円ラベリング法
今、マーカＭ_ｋ−１に対応する楕円Ｅ_ｋ−１とその中心点Ｐ_ｋ−１（ｋ＝１，２，…）までが求められたとし、各楕円の中心点における方向ベクトルｄｘ（Ｐ_ｋ−１），ｄｙ（Ｐ_ｋ−１）が算出できたと仮定する。この際、あるマーカＭ_ｉに対応する楕円Ｅ_ｉ（０＜ｉ＜ｋ）は検出できていない可能性はもちろんある。このとき、マーカＭ_ｋに対応する楕円Ｅ_ｋをラベリングすることを考える。
【０１０２】
ａ）マーカＭ_ｋの５×５近傍のランドマークを収集する（上記ステップＳ３２５の処理）。
【０１０３】
ｂ）近傍マーカＭ_ｊに対応し、既にラベリングされた楕円Ｅ_ｊの中心点Ｐ_ｊとその方向ベクトルｄｘ（Ｐ_ｊ），ｄｙ（Ｐ_ｊ）を利用して、マーカＭ_ｋに対応する中心値Ｐ_ｋの予測値Ｐ_ｋ ^０を算出する（上記ステップＳ３２６の処理）。これには、Ｌ_ｊとＬ_ｋ間のｘ方向ｙ方向のステップをｓｘ，ｓｙとしたとき（ｓｘ＝−２，−１，０，１，２；ｓｙ＝−２，−１，０，１，２）、
【数６】

【０１０４】
ｃ）最近接楕円Ｅ_ｋを選択（上記ステップＳ３２７の処理）
マーカＭ_ｋの予測値Ｐ_ｋ ^０に最も近接な楕円を求める。この際、予測値Ｐ_ｋ ^０と楕円間の距離が
【数７】

を満たすもののみを考慮に入れる。例えば、
【数８】

とする。（これを図７の（Ａ）に示す。）
ｄ）ｄｘ（Ｐ_ｋ），ｄｙ（Ｐ_ｋ）を更新（上記ステップＳ３２８の処理）
Ｅ_ｋに対応するマーカＭ_ｋの５×５近傍の中で楕円対応が成功したマーカと楕円の組に関して、そのステップがｘ方向またはｙ方向のみの組を考える。即ち、ｓｘ（Ｐ_ｊ），ｓｙ（Ｐ_ｊ）のいずれかのみがゼロである近傍マーカＭ_ｊでそれに対応する楕円Ｅ_ｊが確定しているものだけを選択し、ｄｘ，ｄｙをその平均値により更新する。（これを図７の（Ｂ）に示す。）
以上のような方法によれば、マーカ背景領域５内にある大小マーカＭ_０，Ｍ_１，…に対応する楕円マーカを画像内から抽出することが可能である。マーカＭ_ｉの３次元座標を（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とし、マーカＭ_ｉに対応する画像位置を（ｕ_ｉ，ｖ_ｉ）とすれば、キャリブレーション治具２から得られるマーカの情報Ｒは、世界座標系における３次元座標値（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と２次元画像から得られる（ｕ_ｉ，ｖｖ）の対として得ることができる。ここでさらに重要なのは、マーカ背景領域５内にあるマーカＭ_ｉのすべてが画像内から検出されるとは限らないことである。即ち、
Ｒ＝｛（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ；ｕ_ｉ，ｖ_ｉ）｜ｉ＝１，２，３，…，ｎ｝
で表されるように、検出されたマーカ群だけを集合として表現する。
【０１０５】
図７の（Ｃ）は、演算装置４が備える又は接続された表示装置に表示された認識結果を示す図である。螺旋状に番号付けされている場合には、同図に示すように、その番号が幾何学的に隣接するマーカの重心同士を点線（あるいは直線）で接続することで、正確に番号付けがなされているかを、操作者あるいはユーザが目視で判断できるようになっている。
【０１０６】
もちろん、この図のように幾何学的に隣接するマーカ同士を点線あるいは直線で接続するばかりではく、各マーカの番号などを付加しても、その効果が得られることが明らかである。
【０１０７】
また、今までの説明では、マーカの近傍として５×５近傍を利用していたが、３×３近傍や７×７近傍を利用しても構わない。
【０１０８】
さらに、これまでは、マーカＭ_ｋの画像内位置Ｐ_ｋ（ｕ_ｋ，ｖ_ｋ）を予測するのに、今まで同定できた近傍のマーカＭ_ｊの画像内位置Ｐ_ｊ（ｕ_ｊ，ｖ_ｊ）を利用する方法を中心に説明した。しかしながら、こうした予測は、画像内位置Ｐ_ｊ（ｕ_ｊ，ｖ_ｊ）を直接利用しなくても可能である。例えば、各マーカの動径ｒと角度θを利用するほう方法がある。即ち、
【数９】

となる関係式を利用して、各マーカＭ_ｋにおける動径と角度（ｒ_ｋ，θ_ｋ）を予測するようにすれば良い。この方法は、画像内の位置Ｐ_ｋ（ｕ_ｋ，ｖ_ｋ）の予測方法と同様であるので、ここでは詳しく述べない。
【０１０９】
（パラメータ算出方法）
次に、上記ステップＳ３３のパラメータ算出の方法について説明する。
【０１１０】
前節で説明したように、マーカ認識方法によって認識されたマーカ情報Ｒは、３次元点（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と対応する２次元点（ｕ_ｉ，ｖ_ｉ）の対の集合として表現できた。この節では、これらを利用して画像撮影装置１のキャリブレーションパラメータを算出する方法を説明する。
【０１１１】
まず、カメラキャリブレーションの定義を説明する。
【０１１２】
世界座標系Ｗの３次元点（ｘ，ｙ，ｚ）に対して、カメラ座標系Ｃへの座標変換を回転行列Ｒ＝（ｒ_ｉｊ）と並進ベクトルＴ＝［ｔ_ｘ，ｔ_ｙ，ｔ_ｚ］^ｔを用いて表す。このとき、カメラ画像面上の点は、ディストーションを含めて、（ｕ’，ｖ’）と書くとすると、これらの関係は、
【数１０】

で表現することができる。このとき、この表現のもとでカメラキャリブレーションで推定すべきパラメータは１５次元のパラメータ
【数１１】

として表現することができる。ここで、
【数１２】

は、カメラの内部パラメータであり、
【数１３】

は世界座標系に対するカメラの位置を規定するパラメータとして、外部パラメータと呼ばれる。カメラキャリブレーションでは、３次元点群（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とその画像対応点（ｕ_ｉ’，ｖ_ｉ’）（ｉ＝１，２，…，ｎ）を利用して、キャリブレーションパラメータｐを推定する問題となる。
【０１１３】
また、これらの定義式の中で、（α_ｕ，α_ｖ，ｕ_０，ｖ_０）はピンホールに関するパラメータであり、（ｋ_１，ｇ_１，ｇ_２，ｇ_３，ｇ_４）はレンズディストーションに関するパラメータと呼ばれる。勿論、レンズのディストーションパラメータは、より高次ディストーションに関するパラメータ（ｋ_２，ｋ_３，…）などを含んでも良い。しかしながら、以下で説明する方法では、高次のディストーションであっても、低次のディストーションであっても、発明の本質には関係ないことは明白である。
【０１１４】
また、これらのキャリブレーションパラメータｐは、本発明において、画像撮影装置の光学的パラメータと等価な言葉として使用する。
【０１１５】
このような定義において、具体的な手法は、以下のようになる。
【０１１６】
１）まず、３次元点群（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とその画像対応点（ｕ_ｉ’，ｖ_ｉ’）（ｉ＝１，２，…，ｎ）の一部あるいは全部を利用して、パラメータｐ内のピンホールパラメータ
【数１４】

を推定する。
【０１１７】
２）次に、上記ピンホールパラメータ
【数１５】

とレンズディストーションに関するパラメータ
【数１６】

の初期推定値ｄ_０＝［０，０，０，０，０］^ｔを組み合わせて、ｐの初期値
【数１７】

を生成する。
【０１１８】
３） ３次元点群（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とその画像対応点（ｕ_ｉ’，ｖ_ｉ’）（ｉ＝１，２，…，ｎ）と、ｐの初期値ｐ_０を利用して、繰り返し法により、推定値ｐを更新する。
【０１１９】
繰り返し法では、カルマンフィルタなどを用いればよい。即ち、媒介変数を（ｕ_ｐ，ｖ_ｐ）として、
【数１８】

と
【数１９】

を制約式として、更新すればよい。具体的には、カルマン制約式として、ｐの初期推定値を予測値として、平均と分散
【数２０】

で表すとともに、各計測値ｑ＝（ｕ_ｉ’，ｖ_ｉ’）に対する測定値と誤差分散を
【数２１】

で表すとすると、各３次元点（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とその画像対応点（ｕ_ｉ’，ｖ_ｉ’）に対して、ｐの統計量である平均と分散
【数２２】

は、以下の
【数２３】

に、カルマンフィルタにより更新される。（この際、ｆを推定値のまわりで線形化することで、いわゆる拡張カルマンフィルタを使用する。）即ち、
【数２４】

なる式群で、（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）とその画像対応点（ｕ_ｉ’，ｖ_ｉ’）で、ｉ＝１，２，…，ｎを変化させながら、推定値ｐを順次更新することによって、ｐの平均値
【数２５】

と推定誤差分散Ｓを更新することができるわけである。
【０１２０】
この方法については、例えば非特許文献４：Ｙ．Ｍｏｔａｉ ａｎｄ Ａ． Ｋｏｓａｋａ， ”ＳｍａｒｔＶｉｅｗ： Ｈａｎｄ−Ｅｙｅ Ｒｏｂｏｔｉｃ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ Ａｃｔｉｖｅ Ｖｉｅｗｐｏｉｎｔ Ｇｅｎｅｒａｔｉｏｎ ａｎｄ Ｏｂｊｅｃｔ Ｇｒａｓｐｉｎｇ，” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓａｎｄ Ａｕｔｏｍａｔｉｏｎ， Ｓｅｏｕｌ， Ｋｏｒｅａ， ｐｐ． ２１８３ −２１９０， Ｍａｙ ２００１、あるいは、非特許文献５：Ａ． Ｋｏｓａｋａ ａｎｄ Ａ． Ｃ． Ｋａｋ， ”Ｆａｓｔ Ｖｉｓｉｏｎ−Ｇｕｉｄｅｄ Ｍｏｂｉｌｅ Ｒｏｂｏｔ Ｎａｖｉｇａｔｉｏｎ Ｕｓｉｎｇ Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅａｓｏｎｉｎｇ ａｎｄ Ｐｒｅｄｉｃｔｉｏｎ ｏｆ Ｕｎｃｅｒｔａｉｎｔｉｓ，” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｇｒａｐｈｉｃｓ， ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ − Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ， Ｖｏｌ． ５６， Ｎｏ． ３， ｐｐ． ２７１ − ３２９， １９９２に説明されているので、ここでは詳細を述べない。
【０１２１】
また、今までは、上記式（Ｅ１）で説明してきたが、カメラのモデル化には、他の方法もある。例えば、上記非特許文献１に開示の方法では、３次元点（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）と対応する画像点（ｕ_ｉ’，ｖ_ｉ’）の間に、媒介変数（ｕ_ｄ，ｖ_ｄ）を利用して、
【数２６】

なる拘束式が成立する。従って、式（Ｅ２）で表されるカルマンフィルタを利用することで、同様にｐを推定することができるわけである。
【０１２２】
以上の方法では、測定される２次元点（ｕ_ｉ’，ｖ_ｉ’）に含まれる誤差成分が比較的小さいとして、推定を行ってきたが、このカルマンフィルタを各測定点に適用する際に、３次元点（ｘ_ｉ，ｙ_ｉ，ｚ_ｉ）が現在のパラメータの推定値ｐの平均値を正しいと仮定したときに、そのあるべき測定点からある閾値以上の距離にあるときには、その測定値が異常値（ｏｕｔｌｉｅｒ）であると判定して、その測定点をカルマンフィルタの適用から除外することも可能である。この方法の詳細に関しては、例えば上記非特許文献５に開示されているので、ここではその詳細を述べない。
【０１２３】
以上説明してきたように、キャリブレーション治具２を構成する平面２Ａの境界線（背景境界線６）を付加することで、それぞれの平面２Ａの認識を容易にさせ、且つ、平面内にあるキャリブレーションマーカの一部を特殊なマーカ（大きさや色が異なる）を設置することで、マーカの番号付け（同定）が容易になるため、キャリブレーションに必要となるデータ内に誤認識による異常値が含まれる確率が非常に小さくなり、ロバストにキャリブレーションパラメータを推定あるいは算出することができるようになる。また、キャリブレーションパラメータを推定する際には、例えばカルマンフィルタを採用することにより、数値計算的に少ない計算量でキャリブレーションパラメータを推定できることも、本実施の形態で見られる重要な効果である。
【０１２４】
［第２の実施形態］
次に、本発明の第２の実施の形態を説明する。
【０１２５】
上記第１の実施の形態では、コーナーキューブ形状のキャリブレーション治具２を１回だけ撮影してキャリブレーションパラメータｐを推定してきた。本実施形態で説明する方法では、より精密な推定を行うために、キャリブレーション治具２の撮影に際し、画像撮影装置１あるいはキャリブレーション治具２を相対的に移動させて複数回撮影することにより、キャリブレーションパラメータを推定するものである。この場合、画像撮影装置１の移動方法としては、操作者が画像撮影装置１を手で移動させても良いし、あるいは特別な移動手段（例えばＸステージや回転ステージやロボットを利用しても構わない）。以下に説明する方法では、即ちこの移動に関する詳細な移動パラメータが既知でなくても良い。従って、上記非特許文献４で示される方法より、さらに自由度のある方法として提案でき、且つ装置構成も容易となる。
【０１２６】
図８の（Ａ）は、この移動手段に関する第１の構成例を示す図である。この構成例では、上記第１の実施の形態の構成に、画像撮影装置１を移動させることで画像撮影装置１の視点を変化させる画像撮影装置移動装置７を加えている。そして、上記画像撮影装置１及び演算装置４とこの画像撮影装置移動装置７とは、制御装置８により、移動と撮影の演算のタイミングが制御さるようにしている。制御信号９、制御信号１０、制御信号１１が、これらのタイミングを決定するものである。
【０１２７】
一方、図８の（Ｂ）は、キャリブレーション治具２を移動させるためのキャリブレーション治具移動装置１２を付加した第２の構成例を示す図である。この場合、上記画像撮影装置１及び演算装置４とキャリブレーション治具移動装置１２とは、制御装置８により、移動と撮影の演算のタイミングが制御さる。制御信号１３乃至１５が、これらのタイミングを決定するものである。
【０１２８】
これら第１及び第２の構成例のように、異なった視点からキャリブレーション治具２を撮影するのが特に有効なのは、キャリブレーション治具内に含まれるキャリブレーション用のマーカ（あるいは３次元点）の数が少ない時に有効となる。以下では、複数回の計測により、キャリブレーションパラメータを推定する方法について説明する。ここで、複数回の撮影は、コーナーキューブに対して、少なくとも大マーカ５ｂが撮影されるようになっていれば、自由な視点からの撮影で構わない。
【０１２９】
（１）まず、各視点ｋからキャリブレーション治具２を撮影し、３次元点（ｘ_ｉ ^ｋ，ｙ_ｉ ^ｋ，ｚ_ｉ ^ｋ）と対応する画像点（ｕ_ｉ’^ｋ，ｖ_ｉ’^ｋ）を計測し、その視点に関するキャリブレーションパラメータｐ^ｋを推定する。この方法は、上記第１の実施形態と同様である。このように推定されたパラメータを
【数２７】

とする。
【０１３０】
（２）次に、複数視点からのキャリブレーションパラメータを統合して、推定すべきパラメータｐを生成する。
【０１３１】
【数２８】

において、ｐ^ｋに共通なカメラ内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒｓ）
【数２９】

とｐ^ｋに共通しない外部パラメータ
【数３０】

が存在する。ここで、ｐの初期推定値としては、
【数３１】

に関しては、任意の視点の内部パラメータを利用し、外部パラメータに関しては、各視点から得られる値を用いる。
【０１３２】
（３）そして、各視点ｋで撮影された３次元点（ｘ_ｉ ^ｋ，ｙ_ｉ ^ｋ，ｚ_ｉ ^ｋ）と対応する画像点（ｕ_ｉ’^ｋ，ｖ_ｉ’^ｋ）を再度利用して、
【数３２】

の更新を行う。例えば、視点の数がｍとすると、ｐの次元は９＋６ｍとなる。各３次元点と対応する画像点に関して、式（Ｅ３）と同様な２自由度の制約条件が成立するため、この制約条件をカルマンフィルタの制約方程式とすることで、上記第１の実施形態と同様に、パラメータｐの更新を行うことができる。
【０１３３】
以上のようなステップを採用することで、複数の視点から得られるパラメータを利用することにより、より精密にカメラキャリブレーションパラメータを推定することができる。
【０１３４】
［第３の実施形態］
次に、本発明の第３の実施の形態を説明する。
【０１３５】
本第３の実施の形態では、１個のキャリブレーション治具２を用いて、複数のカメラのキャリブレーションを同時に行うというものである。
【０１３６】
図９の（Ａ）は、本第３の実施の形態に係るキャリブレーション装置が適用される画像撮影装置でキャリブレーション治具２を撮影している様子を示す図で、画像撮影装置は、２個のカメラ１６，１７から構成される。
【０１３７】
図９の（Ｂ）は、このような２個のカメラ１６，１７のキャリブレーションを同時に行う本実施の形態に係るキャリブレーション装置全体の動作フローチャートを示す図である。
【０１３８】
即ち、まず、画像撮影装置（２個のカメラ１６，１７）をキャリブレーション治具２を撮影できる場所に設定する（ステップＳ５）。
【０１３９】
次に、キャリブレーション治具２を、２台のカメラ１６，１７で撮影する（ステップＳ６）。この２台のカメラによる撮影は、同期あるいは非同期のどちらでも構わない。このように撮影された２枚の画像は、演算装置４に送出される。
【０１４０】
そして、演算装置４では、各カメラ毎に、カメラキャリブレーションパラメータがまず算出される（ステップＳ７）。
【０１４１】
続いて、カメラ間の相対的な位置姿勢関係を表すパラメータが算出される（ステップＳ８）。これは、いわゆる２眼ステレオで良く利用されるレクティフィケーションのためのカメラパラメータを算出することに対応する。
【０１４２】
なお、各カメラ１６，１７についてカメラパラメータが算出された後に、レクティフィケーションに必要となるカメラパラメータを算出する方法については、例えば上記非特許文献３、あるいは、非特許文献６：Ｅ． Ｔｒｕｃｃｏ ａｎｄ Ａ． Ｖｅｒｒｉ， Ｉｎｔｒｏｄｕｃｔｏｒｙ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ ３−Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， Ｐｒｅｎｔｉｃｅ Ｈａｌｌ， １９９８に詳細で述べられているので、ここでは説明しない。ただし、重要なポイントとして、本発明の場合には、レンズのディストーションパラメータを同時に推定している。そこで、レクティフィケーション処理をする前に、レンズのディストーション成分を画像から除去する操作を加え、レクティフィケーションすることが、上記非特許文献３と上記非特許文献６の場合と異なる。
【０１４３】
一般的に、複数のカメラで同一のキャリブレーション治具を撮影する場合には、左右のカメラが撮影できる範囲が異なるため、左カメラであるカメラ１６と右カメラであるカメラ１７の両方に、キャリブレーションマーカが同時に撮影されているとは限らない。また、マーカや背景画像の写り方が異なるので、左右画像でのマーカの同定（同一のマーカには同一の番号を付与すること）が困難になることが問題である。しかしながら、本発明の方法では、キャリブレーション治具２を構成する３面の平面２Ａに境界線（背景境界線６）が明確にあり、且つ、マーカを同定するために特徴的な大マーカ５ｂが存在するために、マーカの同定が容易になっているという新しい構成と効果があるため、カメラのキャリブレーションパラメータを算出する際によりロバストな推定（算出）が可能になるというメリットがある。
【０１４４】
また、図９の（Ａ）では、画像撮影装置１を２個のカメラ１６，１７によって構成した場合について説明したが、そのような２個のカメラを利用せずに、図１０の（Ａ）に示すように、ステレオアダプタ付きカメラ１８を利用して画像撮影装置１を構成した場合においても、本実施の形態は適用可能である。即ち、このようなステレオアダプタ付きカメラ１８の場合には、図１０の（Ｂ）に示すように、１枚の画像の中に視差の異なったキャリブレーション治具２の画像が撮影されることになり、１枚の画像を２枚分に切り出すことにより、あたかも２個のカメラで撮影したかのごとく画像を得ることができるものである。その他、作用効果ともに２個のカメラの場合と同様であるため、ここでは詳細は述べない。従って、画像撮影装置１をこのようなステレオアダプタ付きカメラ１８により構成した場合にも、図９の（Ｂ）と同様な動作フローチャートに従った動作を行うキャリブレーション装置とすれば良い。
【０１４５】
［第４の実施形態］
次に、本発明の第４の実施の形態を説明する。
【０１４６】
上記第１乃至第３の実施の形態では、直交する３平面を含むキャリブレーション治具２を中心に説明してきた。しかしながら本発明では、必ずしも直交するコーナーキューブ型のキャリブレーション治具２でなくても構わない。基本的には、少なくとも２平面あるいは曲面から構成されるキャリブレーション治具であれば良く、且つ、平面あるいは曲面内のマーカの３次元位置が容易にモデリングあるいは登録できるものであれば良い。
【０１４７】
このような観点から、キャリブレーション治具としては、図１１の（Ａ）に示すような正四面体のキャリブレーション治具１９であっても構わないし、図１１の（Ｂ）に示すような凹形状でなく凸形状の直交する３平面を含むコーナーキューブ状のキャリブレーション治具２０であっても良い。さらに、図２の（Ａ）乃至（Ｃ）で示されるように、各面が各種の形状を有していても良い。基本的に、本発明の第１の実施の形態で説明したように、各面には、その面の原点あるいは方向ベクトルを容易に検出できるマーカが設置されていることが重要である。このような特徴的なマーカが各面にあり、番号付けが容易であれば、上記第１乃至第３の実施の形態で示された方法は、すべて適用可能である。
【０１４８】
以上実施の形態に基づいて本発明を説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【０１４９】
（付記）
上記の具体的実施の形態から、以下のような構成の発明を抽出することができる。
【０１５０】
（１） 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
上記キャリブレーション治具を撮影する上記画像撮影手段と、
上記画像撮影手段により撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とするキャリブレーション装置。
【０１５１】
（対応する実施の形態）
（１）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１５２】
（作用効果）
（１）に記載のキャリブレーション装置によれば、３次元位置が既知なキャリブレーションマーカを所定の規則に基づいて複数面に配置することで、必要最低限の撮影回数でキャリブレーション治具を撮影し、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１５３】
（２） 上記キャリブレーションマーカが上記所定の規則に基づいて配置されている上記キャリブレーション治具は、所定の規則に基づいて番号付け可能にキャリブレーションマーカが配置されたキャリブレーション治具であることを特徴とする（１）に記載のキャリブレーション装置。
【０１５４】
（対応する実施の形態）
（２）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１５５】
（作用効果）
（２）に記載のキャリブレーション装置によれば、所定の規則に基づいて番号付け可能にキャリブレーションマーカを複数面に配置することで、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１５６】
（３） 上記キャリブレーション治具は、上記キャリブレーションマーカが配置された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする（１）に記載のキャリブレーション装置。
【０１５７】
（対応する実施の形態）
（３）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１５８】
（作用効果）
（３）に記載のキャリブレーション装置によれば、キャリブレーション治具を構成する複数面間の境界線があることで、複数面の同定及び各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１５９】
（４） 上記キャリブレーション治具は、お互いに直交する３面から構成されることを特徴とする（３）に記載のキャリブレーション装置。
【０１６０】
（対応する実施の形態）
（４）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１６１】
（作用効果）
（４）に記載のキャリブレーション装置によれば、キャリブレーション治具を構成する複数面の関係が容易になることで、複数面の同定及び各面に配置されたマーカの同定が簡単化され、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１６２】
（５） 上記キャリブレーション治具は、上記キャリブレーションマーカが配置された各面に、少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付けを行うように構成されたことを特徴とする（４）に記載のキャリブレーション装置。
【０１６３】
（対応する実施の形態）
（５）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１６４】
（作用効果）
（５）に記載のキャリブレーション装置によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１６５】
（６） 上記キャリブレーション治具は、大きさの異なる２種類以上のキャリブレーションマーカを有することを特徴とする（５）に記載のキャリブレーション装置。
【０１６６】
（対応する実施の形態）
（６）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１６７】
（作用効果）
（６）に記載のキャリブレーション装置によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１６８】
（７） 上記キャリブレーション治具は、色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする（５）に記載のキャリブレーション装置。
【０１６９】
（対応する実施の形態）
（７）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１７０】
（作用効果）
（７）に記載のキャリブレーション装置によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１７１】
（８） 上記キャリブレーション治具は、形状の異なる２種類以上のマーカを有することを特徴とする（５）に記載のキャリブレーション装置。
【０１７２】
（対応する実施の形態）
（８）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１７３】
（作用効果）
（８）に記載のキャリブレーション装置によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０１７４】
（９） 上記キャリブレーション治具は、上記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする（５）に記載のキャリブレーション装置。
【０１７５】
（対応する実施の形態）
（９）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０１７６】
（作用効果）
（９）に記載のキャリブレーション装置によれば、基準となるマーカを３面が交わる原点付近に配置することで、画像撮影装置で撮影する際に、これらをすべて含むように、あるいはこれらが画像内のほぼ中央に配置されるように撮影することが可能となるので、マーカの認識率が向上するとともに、キャリブレーション方法の成功率を向上させることができる。
【０１７７】
（１０） 複数の視点から上記キャリブレーション治具が写っている複数枚の画像を撮影するために、上記画像撮影装置あるいはキャリブレーション治具を相対的に移動させる移動手段をさらに具備することを特徴とする（１）に記載のキャリブレーション装置。
【０１７８】
（対応する実施の形態）
（１０）に記載のキャリブレーション装置に関する実施の形態は、第２及び第３の実施の形態が対応する。
【０１７９】
（作用効果）
（１０）に記載のキャリブレーション装置によれば、キャリブレーション治具の撮影を容易にすることができ、高速にキャリブレーションパラメータを算出することができる。
【０１８０】
（１１） 上記キャリブレーションマーカ認識手段は、上記キャリブレーション治具の各面におけるキャリブレーションマーカの番号付けの処理を所定の順番に基づいて行い、既に番号付けされた近傍マーカの画像位置の情報を利用して、次に番号付けされるべきマーカの画像内位置を予測するとともに、その予測に従って検出されたマーカ候補から最適な候補を選択するか、あるいは最適な候補が存在しないと判定するかの処理を行うことを特徴とする（１）に記載のキャリブレーション装置。
【０１８１】
（対応する実施の形態）
（１１）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１８２】
（作用効果）
（１１）に記載のキャリブレーション装置によれば、画像撮影装置の光学系レンズ歪みが大きい場合でも、キャリブレーションマーカの番号付けが失敗する確率を小さくすることができ、ロバストなキャリブレーション方法を提供することができる。
【０１８３】
（１２） 上記キャリブレーションマーカ認識手段は、上記最適な候補の選択には、予測位置からの距離を利用することを特徴とする（１１）に記載のキャリブレーション装置。
【０１８４】
（対応する実施の形態）
（１２）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１８５】
（作用効果）
（１２）に記載のキャリブレーション装置によれば、予測位置からの距離を利用するので、最適な候補の選択を容易に行うことができる。
【０１８６】
（１３） 上記キャリブレーションマーカ認識手段は、上記最適な候補が存在しないと判定するのに、予測位置からの距離を尺度とし、その距離が所定の閾値を超えていた場合に存在しないと判定することを特徴とする（１１）に記載のキャリブレーション装置。
【０１８７】
（対応する実施の形態）
（１３）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１８８】
（作用効果）
（１３）に記載のキャリブレーション装置によれば、単純な閾値判定を行うようにしているので、最適な候補が存在しないことの判定を容易に行うことができる。
【０１８９】
（１４） 上記キャリブレーションマーカ認識手段において、上記キャリブレーションマーカの番号付けは、螺旋状に行うことを特徴とする（１１）に記載のキャリブレーション装置。
【０１９０】
（対応する実施の形態）
（１４）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１９１】
（作用効果）
（１４）に記載のキャリブレーション装置によれば、螺旋状に番号付けされるので、既に番号付けされた近傍マーカとして複数のマーカが利用でき、より最適な候補を予測できるようになる。
【０１９２】
（１５） 上記キャリブレーションマーカ認識手段が認識したキャリブレーションマーカの認識結果を、上記画像撮影手段で撮影された画像あるいは別の画像にその結果を重畳して表示する表示手段をさらに具備することを特徴とする（１）に記載のキャリブレーション装置。
【０１９３】
（対応する実施の形態）
（１５）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１９４】
（作用効果）
（１５）に記載のキャリブレーション装置によれば、マーカ認識結果が正しいかどうかを、目視で簡単に確認することができる。
【０１９５】
（１６） 上記画撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてが写っているものであることを特徴とする（１）に記載のキャリブレーション装置。
【０１９６】
（対応する実施の形態）
（１６）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０１９７】
（作用効果）
（１６）に記載のキャリブレーション装置によれば、キャリブレーションマーカの認識の基本となるマーカをすべて確実に認識することができるので、キャリブレーションの失敗を減少させることができる。
【０１９８】
（１７） 上記画像撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほほ中央に写っているものであることを特徴とする（１）に記載のキャリブレーション装置。
【０１９９】
（対応する実施の形態）
（１７）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０２００】
（作用効果）
（１７）に記載のキャリブレーション装置によれば、キャリブレーションマーカの認識の基本となるマーカをすべて確実に認識することができ、且つ、レンズディストーションの影響が大きい場合にも、他のマーカの認識が容易にできるようになるので、キャリブレーションの失敗を減少させることができる。
【０２０１】
（１８） ステレオアダプタを装着した上記画像撮影装置が撮影する上記キャリブレーション治具の少なくとも一方の画像は、上記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほぼ中央に配置されるように撮影されたものであることを特徴とする（１）に記載のキャリブレーション装置。
【０２０２】
（対応する実施の形態）
（１８）に記載のキャリブレーション装置に関する実施の形態は、第２の実施の形態が対応する。
【０２０３】
（作用効果）
（１８）に記載のキャリブレーション装置によれば、ステレオアダプタを利用した場合にも、キャリブレーションマーカの認識の基本となるマーカをすべて確実に認識することができ、且つ、レンズディストーションの影響が大きい場合にも、他のマーカの認識が容易にできるようになるので、キャリブレーションの失敗を減少させることができる。
【０２０４】
（１９） 上記画像撮影装置が撮影する上記キャリブレーション治具の画像は、上記キャリブレーション治具を構成する複数の面の境界線あるいは境界曲線の一部が中央に位置するように撮影されたものであることを特徴とする（１）に記載のキャリブレーション装置。
【０２０５】
（対応する実施の形態）
（１９）に記載のキャリブレーション装置に関する実施の形態は、第１の実施の形態が対応する。
【０２０６】
（作用効果）
（１９）に記載のキャリブレーション装置によれば、キャリブレーション治具の撮影を確実なものにすることができる。
【０２０７】
（２０） 複数の画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
上記キャリブレーション治具を異なる位置から撮影する上記複数の画像撮影手段と、
上記複数の画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記複数の画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とするキャリブレーション装置。
【０２０８】
（対応する実施の形態）
（２０）に記載のキャリブレーション装置に関する実施の形態は、第３の実施の形態が対応する。
【０２０９】
（作用効果）
（２０）に記載のキャリブレーション装置によれば、複数の画像撮影装置があっても、必要最低限の撮影回数でキャリブレーション治具を撮影し、同一のキャリブレーション治具と各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２１０】
（２１） ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
ステレオアダプタを介して撮影することにより上記キャリブレーション治具を異なる位置から撮影する上記ステレオアダプタ付きの画像撮影手段と、
上記ステレオアダプタ付きの画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とするキャリブレーション装置。
【０２１１】
（対応する実施の形態）
（２１）に記載のキャリブレーション装置に関する実施の形態は、第３の実施の形態が対応する。
【０２１２】
（作用効果）
（２１）に記載のキャリブレーション装置によれば、ステレオアダプタ形式の画像撮影装置であっても、必要最低限の撮影回数でキャリブレーション治具を撮影し、同一のキャリブレーション治具と各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２１３】
（２２） 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する手段と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
上記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利属して、上記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
を具備することを特徴とするキャリブレーション装置。
【０２１４】
（対応する実施の形態）
（２２）に記載のキャリブレーション装置に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２１５】
（作用効果）
（２２）に記載のキャリブレーション装置によれば、３次元位置が既知なキャリブレーションマーカを所定の規則に基づいて複数面に配置することで、必要最低限の撮影回数でキャリブレーション治具を撮影し、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２１６】
（２３） 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション方法において、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する工程と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する工程と、
上記キャリブレーションマーカを認識する工程により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定する工程と、
を有することを特徴とするキャリブレーション方法。
【０２１７】
（対応する実施の形態）
（２３）に記載のキャリブレーション方法に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２１８】
（作用効果）
（２３）に記載のキャリブレーション方法によれば、３次元位置が既知なキャリブレーションマーカを所定の規則に基づいて複数面に配置することで、必要最低限の撮影回数でキャリブレーション治具を撮影し、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２１９】
（２４） 画像撮影手段のキャリブレーションパラメータを推定するためにコンピュータに、
少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を上記画像撮影手段で撮影した画像を入力する機能と、
上記撮影された１枚あるいは複数枚の画像において上記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する機能と、
上記番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、上記画像撮影手段のキャリブレーションパラメータを推定する機能と、
を実現させるためのキャリブレーション用プログラム。
【０２２０】
（対応する実施の形態）
（２４）に記載のキャリブレーション用プログラムに関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２２１】
（作用効果）
（２４）に記載のキャリブレーション用プログラムによれば、３次元位置が既知なキャリブレーションマーカを所定の規則に基づいて複数面に配置することで、必要最低限の撮影回数でキャリブレーション治具を撮影し、コンピュータによって、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２２２】
（２５） 画像撮影手段で所定のキャリブレーションマーカを有するキャリブレーション治具を撮影し、上記撮影された画像に基づいて上記撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置と組み合わせるキャリブレーション治具であって、
少なくとも複数の面と、
上記複数の面の各々に所定の規則に基づいて配置されるとともに、３次元位置が既知な複数種類のキャリブレーションマーカと、
を備えることを特徴とするキャリブレーション治具。
【０２２３】
（対応する実施の形態）
（２５）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２２４】
（作用効果）
（２５）に記載のキャリブレーション治具によれば、３次元位置が既知なキャリブレーションマーカを所定の規則に基づいて複数面に配置することで、必要最低限の撮影回数でキャリブレーション治具を撮影し、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２２５】
（２６） 上記キャリブレーションマーカが配された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする（２５）に記載のキャリブレーション治具。
【０２２６】
（対応する実施の形態）
（２６）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２２７】
（作用効果）
（２６）に記載のキャリブレーション治具によれば、キャリブレーション治具を構成する複数面間の境界線があることで、複数面の同定及び各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２２８】
（２７） 互いに直交する３面から構成されることを特徴とする（２５）に記載のキャリブレーション治具。
【０２２９】
（対応する実施の形態）
（２７）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２３０】
（作用効果）
（２７）に記載のキャリブレーション治具によれば、キャリブレーション治具を構成する複数面の関係が容易になることで、複数面の同定及び各面に配置されたマーカの同定が簡単化され、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２３１】
（２８） 上記キャリブレーションマーカが配置された各面に少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付け可能なように構成されたことを特徴とする（２７）に記載のキャリブレーション治具。
【０２３２】
（対応する実施の形態）
（２８）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２３３】
（作用効果）
（２８）に記載のキャリブレーション治具によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２３４】
（２９） 大きさの異なる２種以上のキャリブレーションマーカを有することを特徴とする（２８）に記載のキャリブレーション治具。
【０２３５】
（対応する実施の形態）
（２９）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２３６】
（作用効果）
（２９）に記載のキャリブレーション治具によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２３７】
（３０） 色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする（２８）に記載のキャリブレーション治具。
【０２３８】
（対応する実施の形態）
（３０）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２３９】
（作用効果）
（３０）に記載のキャリブレーション治具によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２４０】
（３１）形状の異なる２種類以上のキャリブレーションマーカを有することを特徴とする（２８）に記載のキャリブレーション治具。
【０２４１】
（対応する実施の形態）
（３１）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２４２】
（作用効果）
（３１）に記載のキャリブレーション治具によれば、各面に配置されたマーカの同定が容易になり、キャリブレーションパラメータを算出するのに必要なマーカを容易に認識し、且つ、キャリブレーションパラメータをロバストに算出することができる。
【０２４３】
（３２） 上記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする（２８）に記載のキャリブレーション治具。
【０２４４】
（対応する実施の形態）
（３２）に記載のキャリブレーション治具に関する実施の形態は、第１及び第２の実施の形態が対応する。
【０２４５】
（作用効果）
（３２）に記載のキャリブレーション治具によれば、基準となるマーカを３面が交わる原点付近に配置することで、画像撮影装置で撮影する際に、これらをすべて含むように、あるいはこれらが画像内のほぼ中央に配置されるように撮影することが可能となるので、マーカの認識率が向上するとともに、キャリブレーション方法の成功率を向上させることができる。
【０２４６】
【発明の効果】
以上詳述したように、本発明によれば、画像撮影装置が設置された様々な環境の中でも、ロバストにキャリブレーションに使用されるマーカが正確に同定でき、特に、画像撮影装置が有する光学的歪み（レンズディストーション）が大きな場合でも、画像内からキャリブレーションマーカを容易に且つ正確に認識し、より精密なキャリブレーションパラメータを算出できるキャリブレーション方法、キャリブレーション装置、及びキャリブレーション治具を提供することができる。
【図面の簡単な説明】
【図１】（Ａ）は本発明の第１の実施の形態に係るキャリブレーション装置の基本構成を示す図、（Ｂ）は第１の実施の形態に係るキャリブレーション装置全体の動作フローチャートを示す図であり、（Ｃ）はキャリブレーションパラメータ算出のためのサブルーチンのフローチャートを示す図である。
【図２】（Ａ）乃至（Ｃ）はそれぞれキャリブレーション治具の例を示す図である。
【図３】（Ａ）はキャリブレーション治具を構成する１つの面を示す図であり、（Ｂ）はキャリブレーションマーカの別の例を示す図である。
【図４】（Ａ）は３個の大マーカの位置関係を説明するための図であり、（Ｂ）は各面におけるマーカのラベルと座標関係を表した図である。
【図５】（Ａ）はキャリブレーション治具を構成する１つの面の別の例を示す図であり、（Ｂ）は撮影された画像の典型例を示す図である。
【図６】マーカ認識処理のフローチャートを示す図である。
【図７】（Ａ）は最近接楕円の選択方法を説明するための図、（Ｂ）はｄｘ，ｄｙの更新を説明するための図であり、（Ｃ）は認識結果の表示例を示す図である。
【図８】（Ａ）は本発明の第２の実施の形態に係るキャリブレーション装置の第１の構成例を示す図であり、（Ｂ）は第２の実施の形態に係るキャリブレーション装置の第２の構成例を示す図である。
【図９】（Ａ）は本発明の第３の実施の形態に係るキャリブレーション装置が適用される画像撮影装置でキャリブレーション治具を撮影している様子を示す図であり、（Ｂ）は第３の実施の形態に係るキャリブレーション装置全体の動作フローチャートを示す図である。
【図１０】（Ａ）はステレオアダプタ付きカメラを利用した画像撮影装置でキャリブレーション治具を撮影している様子を示す図であり、（Ｂ）はその場合の撮影画像を示す図である。
【図１１】（Ａ）及び（Ｂ）はそれぞれ本発明の第４の実施の形態に係るキャリブレーション治具の例を示す図である。
【符号の説明】
１…画像撮影装置、２，１９，２０…キャリブレーション治具、２Ａ…面、２Ａ１…下部に位置する面、２Ａ２…右上に位置する面、２Ａ３…左上に位置する面、３…画像（あるいは映像信号）、４…演算装置、５…マーカ背景領域、５ｂ…大マーカ（大円マーカ）、５ｓ…小マーカ（小円マーカ）、６…背景境界線（あるいは背景境界曲線）、７…画像撮影装置移動装置、８…制御装置、９，１０，１１，１３，１４，１５…制御信号、１２…キャリブレーション治具移動装置、１６，１７…カメラ、１８…ステレオアダプタ付きカメラ。

Claims (32)

1. 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
   少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
   前記キャリブレーション治具を撮影する前記画像撮影手段と、
   前記画像撮影手段により撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
   前記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、前記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
   を具備することを特徴とするキャリブレーション装置。
2. 前記キャリブレーションマーカが前記所定の規則に基づいて配置されている前記キャリブレーション治具は、所定の規則に基づいて番号付け可能にキャリブレーションマーカが配置されたキャリブレーション治具であることを特徴とする請求項１に記載のキャリブレーション装置。
3. 前記キャリブレーション治具は、前記キャリブレーションマーカが配置された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする請求項１に記載のキャリブレーション装置。
4. 前記キャリブレーション治具は、お互いに直交する３面から構成されることを特徴とする請求項３に記載のキャリブレーション装置。
5. 前記キャリブレーション治具は、前記キャリブレーションマーカが配置された各面に、少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付けを行うように構成されたことを特徴とする請求項４に記載のキャリブレーション装置。
6. 前記キャリブレーション治具は、大きさの異なる２種類以上のキャリブレーションマーカを有することを特徴とする請求項５に記載のキャリブレーション装置。
7. 前記キャリブレーション治具は、色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする請求項５に記載のキャリブレーション装置。
8. 前記キャリブレーション治具は、形状の異なる２種類以上のマーカを有することを特徴とする請求項５に記載のキャリブレーション装置。
9. 前記キャリブレーション治具は、前記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする請求項５に記載のキャリブレーション装置。
10. 複数の視点から前記キャリブレーション治具が写っている複数枚の画像を撮影するために、前記画像撮影装置あるいはキャリブレーション治具を相対的に移動させる移動手段をさらに具備することを特徴とする請求項１に記載のキャリブレーション装置。
11. 前記キャリブレーションマーカ認識手段は、前記キャリブレーション治具の各面におけるキャリブレーションマーカの番号付けの処理を所定の順番に基づいて行い、既に番号付けされた近傍マーカの画像位置の情報を利用して、次に番号付けされるべきマーカの画像内位置を予測するとともに、その予測に従って検出されたマーカ候補から最適な候補を選択するか、あるいは最適な候補が存在しないと判定するかの処理を行うことを特徴とする請求項１に記載のキャリブレーション装置。
12. 前記キャリブレーションマーカ認識手段は、前記最適な候補の選択には、予測位置からの距離を利用することを特徴とする請求項１１に記載のキャリブレーション装置。
13. 前記キャリブレーションマーカ認識手段は、前記最適な候補が存在しないと判定するのに、予測位置からの距離を尺度とし、その距離が所定の閾値を超えていた場合に存在しないと判定することを特徴とする請求項１１に記載のキャリブレーション装置。
14. 前記キャリブレーションマーカ認識手段において、前記キャリブレーションマーカの番号付けは、螺旋状に行うことを特徴とする請求項１１に記載のキャリブレーション装置。
15. 前記キャリブレーションマーカ認識手段が認識したキャリブレーションマーカの認識結果を、前記画像撮影手段で撮影された画像あるいは別の画像にその結果を重畳して表示する表示手段をさらに具備することを特徴とする請求項１に記載のキャリブレーション装置。
16. 前記画撮影装置が撮影する前記キャリブレーション治具の画像は、前記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてが写っているものであることを特徴とする請求項１に記載のキャリブレーション装置。
17. 前記画像撮影装置が撮影する前記キャリブレーション治具の画像は、前記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほほ中央に写っているものであることを特徴とする請求項１に記載のキャリブレーション装置。
18. ステレオアダプタを装着した前記画像撮影装置が撮影する前記キャリブレーション治具の少なくとも一方の画像は、前記キャリブレーション治具上に配置された複数種類のキャリブレーションマーカのうち、少なくとも１種類のキャリブレーションマーカのすべてがほぼ中央に配置されるように撮影されたものであることを特徴とする請求項１に記載のキャリブレーション装置。
19. 前記画像撮影装置が撮影する前記キャリブレーション治具の画像は、前記キャリブレーション治具を構成する複数の面の境界線あるいは境界曲線の一部が中央に位置するように撮影されたものであることを特徴とする請求項１に記載のキャリブレーション装置。
20. 複数の画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
    少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
    前記キャリブレーション治具を異なる位置から撮影する前記複数の画像撮影手段と、
    前記複数の画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
    前記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、前記複数の画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
    を具備することを特徴とするキャリブレーション装置。
21. ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
    少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具と、
    ステレオアダプタを介して撮影することにより前記キャリブレーション治具を異なる位置から撮影する前記ステレオアダプタ付きの画像撮影手段と、
    前記ステレオアダプタ付きの画像撮影手段により異なる位置から撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
    前記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、前記ステレオアダプタ付きの画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
    を具備することを特徴とするキャリブレーション装置。
22. 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置において、
    少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を前記画像撮影手段で撮影した画像を入力する手段と、
    前記撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカ認識手段と、
    前記キャリブレーションマーカ認識手段により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利属して、前記画像撮影手段のキャリブレーションパラメータを推定するパラメータ推定手段と、
    を具備することを特徴とするキャリブレーション装置。
23. 画像撮影手段のキャリブレーションパラメータを推定するキャリブレーション方法において、
    少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を前記画像撮影手段で撮影した画像を入力する工程と、
    前記撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する工程と、
    前記キャリブレーションマーカを認識する工程により番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、前記画像撮影手段のキャリブレーションパラメータを推定する工程と、
    を有することを特徴とするキャリブレーション方法。
24. 画像撮影手段のキャリブレーションパラメータを推定するためにコンピュータに、
    少なくとも２面を有し、各面には３次元位置が既知なキャリブレーションマーカが所定の規則に基づいて配置されているキャリブレーション治具を前記画像撮影手段で撮影した画像を入力する機能と、
    前記撮影された１枚あるいは複数枚の画像において前記キャリブレーションマーカの画像内位置を計測し、番号付けするキャリブレーションマーカを認識する機能と、
    前記番号付けされたキャリブレーションマーカの３次元位置と画像内位置を利用して、前記画像撮影手段のキャリブレーションパラメータを推定する機能と、
    を実現させるためのキャリブレーション用プログラム。
25. 画像撮影手段で所定のキャリブレーションマーカを有するキャリブレーション治具を撮影し、前記撮影された画像に基づいて前記撮影手段のキャリブレーションパラメータを推定するキャリブレーション装置と組み合わせるキャリブレーション治具であって、
    少なくとも複数の面と、
    前記複数の面の各々に所定の規則に基づいて配置されるとともに、３次元位置が既知な複数種類のキャリブレーションマーカと、
    を備えることを特徴とするキャリブレーション治具。
26. 前記キャリブレーションマーカが配された面の間に、キャリブレーションマーカが属する面を規定することが可能な面境界線あるいは面境界線群あるいは面境界曲線があることを特徴とする請求項２５に記載のキャリブレーション治具。
27. 互いに直交する３面から構成されることを特徴とする請求項２５に記載のキャリブレーション治具。
28. 前記キャリブレーションマーカが配置された各面に少なくとも２種類のキャリブレーションマーカが配置され、当該２種類のマーカの配置関係から各面におけるマーカの同定あるいは番号付け可能なように構成されたことを特徴とする請求項２７に記載のキャリブレーション治具。
29. 大きさの異なる２種以上のキャリブレーションマーカを有することを特徴とする請求項２８に記載のキャリブレーション治具。
30. 色の異なる２種類以上のキャリブレーションマーカを有することを特徴とする請求項２８に記載のキャリブレーション治具。
31. 形状の異なる２種類以上のキャリブレーションマーカを有することを特徴とする請求項２８に記載のキャリブレーション治具。
32. 前記キャリブレーションマーカのうちの少なくとも１種類が、３面が交わる原点付近に配置されたものであることを特徴とする請求項２８に記載のキャリブレーション治具。

Images