JP2001264037A - カメラキャリブレーション方法及び装置及びカメラキャリブレーションプログラムを格納した記憶媒体 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 キャリブレーションボードとカメラの撮像面
を斜めに傾けて撮影した場合においても、画面座標値と
世界座標値との対応付けを自動的に行い、カメラのキャ
リブレーションを高精度に行う。 【解決手段】 対象物画像とキャリブレーション画像を
入力Ｓ１し、投影歪による入力画像のコード部分の変形
を除去Ｓ２した後、参照点の画面座標を取得し、予め入
力されたコードパターンと参照点の世界座標情報に基づ
いて、カメラ内部のパラメータ計算Ｓ４を行う。つづい
て予め入力された対象物既知点の模式図と世界座標情報
に基づき、カメラ外部パラメータ計算Ｓ８を行う。こう
して得たカメラ内部パラメータとカメラ外部パラメータ
を用いて、画面座標から世界座標への変換Ｓ１０を行
い、測定すべき対象物未知点の世界座標を取得する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラキャリブレ
ーション方法及び装置及びカメラキャリブレーションプ
ログラムを格納した記憶媒体に係り、特に、対象となる
計測領域において、その３次元位置を求める際に、あら
からじめ三次元形状が既知なキャリブレーションボード
を計測領域に設置することで、対象の３次元位置計測の
ための変換パラメータの導出を簡便に行うためのカメラ
キャリブレーション方法及び装置及びカメラキャリブレ
ーションプログラムを格納した記憶媒体に関する。

【０００２】

【従来の技術】カメラを用いて対象物の計測を行うため
には、予めカメラのキャリブレーションを行っておく必
要がある。つまり、画面中での位置と空間中での位置の
対応付けを行うためには、カメラの焦点距離、レンズ歪
等のカメラ内部パラメータ及び、カメラの位置姿勢であ
るカメラ外部パラメータを求めておかなくてはならな
い。

【０００３】従来の第１の方法として、カメラのキャリ
ブレーションは、世界座標系内に置かれた座標値が既知
の複数の参照点をカメラで撮影し、当該参照点の世界座
標値とそれに対応する画面座標値の組を用いて、キャリ
ブレーションアルゴリズムに基づき演算を行うことで達
成される。この場合、各参照点の世界座標値と画面座標
値の対応付けは、撮影した画像から人間が判断して手動
で行うのが一般的である。

【０００４】一方、従来の第２の方法として、各参照点
の画面座標値と世界座標値との対応付けを、画像処理を
用いて自動的に行う方法（特開平４−１８１１０６）も
提案されている。つまり、互いに異なる形状の図形（例
えば、数字、バーコード等）を複数配列したキャリブレ
ーションボードを撮影し、予め教示された図形のテンプ
レートと世界座標値の組を用い、撮影した画像に対して
各図形の画面座標値を計算すると共に、予め教示された
テンプレートとのマッチングを行い、計算した画面座標
値に対応する世界座標値を、図形のテンプレートと世界
座標値の組から読み出すことで、各参照点の画面座標値
と世界座標値との対応付けを行う。

【０００５】また、従来の第３の方法として、平面上に
分布した参照点を有するキャリブレーションボードを用
いてカメラのキャリブレーションを簡便に行う方法が、
Roger Y.Tsai等により提案されている（Roger Y.Tsai,
"A Versatile Camera Calibration Technique for Hig
h-Accuracy 3D Machine Metrology Using Off-the Shel
f TV Cameras and Lenses", IEEE J.Robotics and Auto
mation, Vol. RA-3, No4, pp.323-344, 1987)。この方
法では、平面上に参照点を複数配置したキャリブレーシ
ョンボードを斜めから撮影し、各参照点の世界座標値と
画面座標値の組からカメラパラメータを決定している。

【０００６】

【発明が解決しようとする課題】しかしながら、上記従
来の第１の方法では、入力画面中の各参照点のイメージ
座標系における座標値とワールド座標系における座標値
の対応を、人手によりとる必要があり、キャリブレーシ
ョンの精度を高めるためには多数の参照点を用いる必要
があるため、作業者にかかる負担が大きくなるという問
題点と、対応付けの間違いを起こしやすいという問題が
ある。

【０００７】予め教示された図形のテンプレートと世界
座標値の組を用いる従来の第２の方法では、前述の第１
の情報で生じた問題は起こらない。各図形の配列情報と
入力画像とのマッチングにより、自動的に各図形の画面
座標値と世界座標値の対応を取る。しかしながら、カメ
ラを用いてキャリブレーションボードを撮影する場合、
キャリブレーションボードとカメラの撮像面が傾いてい
ると、キャリブレーションボード上に複数配列された図
形は、入力画像中では投影により歪んで写る（以降、投
影歪と記す）。そのため、キャリブレーションボードと
カメラの撮像面を傾けて撮影した場合には、入力画像中
の各参照点の画面座標値との対応付けを自動的に行えな
いという問題がある。

【０００８】さらに、従来の第３の方法である平面上に
分布した参照点を有するキャリブレーションボードを用
いてカメラのキャリブレーションを行うTsaiらの方法で
は、キャリブレーションボードとカメラの撮像面を平行
に近い状態で配置すると測定精度が悪くなるため、キャ
リブレーションボードとカメラの撮像面を斜めに傾けて
撮影する必要がある。

【０００９】本発明は、上記の点に鑑みなされたもの
で、キャリブレーションボードとカメラの撮像面を斜め
に傾けて撮影した場合においても、入力画像中の各参照
点の画面座標値と世界座標値との対応付けを自動的に行
い、カメラのキャリブレーションを高精度に行うことが
可能なカメラキャリブレーション方法及び装置及びカメ
ラキャリブレーションプログラムを格納した記憶媒体を
提供することを目的とする。

【００１０】

【課題を解決するための手段】図１は、本発明の原理を
説明するための図である。

【００１１】本発明（請求項１）は、対象となる計測領
域において、該計測領域の３次元位置を求める際に、予
め三次元形状が既知なキャリブレーションボードを計測
領域に設置し、対象の３次元位置計測のための変換パラ
メータを導出するカメラキャリブレーション方法におい
て、カメラを用いて対象物を撮影した対象物画像を取込
むと共に、キャリブレーションボード画像を入力し（ス
テップ１）、キャリブレーションボード画像のコード部
分の変形除去及び参照点の画面座標を取得し、投影歪に
よる入力画像のコード部分の変形を除去したコード画像
を取得すると共に、参照点の画面座標を取得し（ステッ
プ２）、予め入力されたコードパターンと参照点の世界
座標情報に基づいて、参照点の画面座標と参照点の世界
座標の対応付けを行い、各参照点の画面座標と世界座標
の組のデータを取得し（ステップ３）、各参照点の画面
座標と世界座標の組データを用いてカメラ内部のパラメ
ータ計算を行い（ステップ４）、対象物を撮影し（ステ
ップ５）、対象物画像を取得から対象物既知点の画面座
標を取得し（ステップ６）、予め入力された対象物既知
点の模式図と世界座標情報に基づき、対象物既知点の画
面座標と世界座標の対応付けを行い、各対象物既知点の
画面座標と世界座標の組データを取得し（ステップ７）
各対象物既知点の画面座標と世界座標の組データを用い
てカメラ外部パラメータ計算を行い（ステップ８）、対
象物未知点の画面座標を取得し（ステップ９）、対象物
未知点の画面座標からカメラ内部パラメータとカメラ外
部パラメータを用いて、画面座標から世界座標への変換
を行い、測定すべき対象物未知点の世界座標を取得する
（ステップ１０）。

【００１２】図２は、本発明の原理構成図である。

【００１３】本発明（請求項２）は、対象となる計測領
域において、該計測領域の３次元位置を求める際に、予
め三次元形状が既知なキャリブレーションボードを計測
領域に設置し、対象の３次元位置計測のための変換パラ
メータを導出するカメラキャリブレーション装置であっ
て、カメラ１０１を用いて対象物を撮影した対象物画像
を取り込むと共に、キャリブレーションボード画像を入
力し、該キャリブレーションボード画像のコード部分の
変形除去及び参照点の画面座標を取得し、投影歪による
入力画像のコード部分の変形を除去したコード画像を取
得すると共に、参照点の画面座標を取得する参照点画面
座標取得手段３０３と、予め入力されたコードパターン
と参照点の世界座標情報に基づいて、参照点の画面座標
と、該世界座標情報の世界座標の対応付けを行い、各参
照点の画面座標と世界座標の組のデータを取得する参照
点対応付け手段３０６と、各参照点の画面座標と世界座
標の組データを用いてカメラ内部のパラメータ計算を行
うカメラ内部パラメータ計算手段３０８と、対象物画像
から対象物既知点の画面座標を取得する対象物既知点画
面座標取得手段３１２と、予め入力された対象物既知点
の模式図と世界座標情報に基づき、対象物既知点の画面
座標と世界座標の対応付けを行い、各対象物既知点の画
面座標と世界座標の組データを取得する対象物既知点対
応付け手段３１５と、各対象物既知点の画面座標と世界
座標の組データを用いてカメラ外部パラメータ計算を行
うカメラ外部パラメータ計算手段３１８と、対象物未知
点の画面座標を取得する対象物未知点画面座標取得手段
３２０と、対象物未知点の画面座標からカメラ内部パラ
メータとカメラ外部パラメータを用いて、画面座標から
世界座標への変換を行い、測定すべき対象物未知点の世
界座標を取得する変換手段３２２とを有する。

【００１４】本発明（請求項３）は、対象となる計測領
域において、該計測領域の３次元位置を求める際に、予
め三次元形状が既知なキャリブレーションボードを計測
領域に設置し、対象の３次元位置計測のための変換パラ
メータを導出するカメラキャリブレーションプログラム
を格納した記憶媒体であって、カメラを用いて対象物の
画像を取込み、コード部分の変形除去及び参照点の画面
座標を取得し、投影歪による入力画像のコード部分の変
形を除去したコード画像を取得すると共に、参照点の画
面座標を取得する参照点画面座標取得プロセスと、予め
入力されたコードパターンと参照点の世界座標情報に基
づいて、参照点の画面座標と、該世界座標情報の世界座
標の対応付けを行い、各参照点の画面座標と世界座標の
組のデータを取得する参照点対応付けプロセスと、各参
照点の画面座標と世界座標の組データを用いてカメラ内
部のパラメータ計算を行うカメラ内部パラメータ計算プ
ロセスと、対象物画像から対象物既知点の画面座標を取
得する対象物既知点画面座標取得プロセスと、予め入力
された対象物既知点の模式図と世界座標情報に基づき、
対象物既知点の画面座標と世界座標の対応付けを行い、
各対象物既知点の画面座標と世界座標の組データを取得
する対象物既知点対応付けプロセスと、各対象物既知点
の画面座標と世界座標の組データを用いてカメラ外部パ
ラメータ計算を行うカメラ外部パラメータ計算プロセス
と、対象物未知点の画面座標を取得する対象物未知点画
面座標取得プロセスと、対象物未知点の画面座標からカ
メラ内部パラメータとカメラ外部パラメータを用いて、
画面座標から世界座標への変換を行い、測定すべき対象
物未知点の世界座標を取得する変換プロセスとを有す
る。

【００１５】本発明（請求項４）は、参照点画面座標取
得プロセスにおいて、二値化処理を行う二値化プロセス
と、二値化プロセスで取得した二値化画像からコード部
分のマスク画像及び、各マスク領域に連続して与えられ
るラベルとそのマスク領域の重心位置からなるマスク情
報を取得するコード部分のマスク画像及びマスク情報取
得プロセスと、コード部分のマスク画像及びマスク情報
に基づいて、キャリブレーションに用いる参照点の選
択、及び選択された参照点の画面座標の組である、更新
されたマスク情報及び参照点の画面座標を取得する参照
点の選択及び、画面座標取得プロセスと、二値画像、コ
ード部分のマスク画像及びマスク情報及び、更新された
マスク情報及び参照点の画面座標に基づいてキャリブレ
ーションのための参照点として用いるマスクのコード部
分のみを抽出したコード画像を取得するマスクプロセス
と、コード画像及び各マスクの４つの参照点の画面座標
から射影変換行列を求め、その逆射影変換を行うことで
補正したコード画像を取得し、その補正したコード画像
と参照点の画面座標データを取得するコード部分の変形
除去プロセスとを有する。

【００１６】本発明（請求項５）は、コード部分のマス
ク画像及びマスク情報取得プロセスにおいて、二値画像
を読み込むプロセスと、コード部分のマスク画像を取得
するプロセスと、各マスク領域のラベル付けを行うと共
に、各マスク領域以外の雑音を除去するプロセスと、ラ
ベル付けされた各マスク領域において、画面上を走査す
ることによりｘ軸方向、ｙ軸方向への領域の最大値を最
小値を求め、マスク領域の重心位置を計算するプロセス
とを有する。

【００１７】本発明（請求項６）は、参照点の選択及
び、画面座標取得プロセスにおいて、コード部分のマス
ク画像及びマスク情報を読み込むプロセスと、マスク情
報のリストから順次マスクを選択するプロセスと、選択
されたマスクの重心位置をマスク情報のリストから取得
し、コード部分のマスク画像において、選択されたマス
ク重心位置からｙ軸方向に順次画素値を走査し、画素値
が０から１に変化する輪郭線位置を検出するプロセス
と、輪郭線位置を起点として、図形を一巡する間に角度
変化の大きいコーナーを検出し、参照点の画面座標デー
タとして記録するプロセスと、図形を一巡しないまま画
面の端に到達した場合には、マスク情報のリストから現
在選択されているマスクの情報を削除するプロセスとを
有する。

【００１８】本発明（請求項７）は、マスクプロセスに
おいて、二値画像及びコード部分のマスク画像及びマス
ク情報、及び更新されたマスク情報及び参照点の画像座
標を読み込むプロセスと、更新されたマスク情報に基づ
いて、コード部分のマスク画像から、キャリブレーショ
ンのための参照点として用いるマスク以外のマスク領域
を削除するプロセスと、更新されたマスク画像と二値画
像を照合し、画素値が１から０に変化した画素の画素値
を０、その他を１とし、コード画像を取得するプロセス
とを有する。

【００１９】本発明（請求項８）は、コード部分の変形
除去プロセスにおいて、コード画像及び更新されたマス
ク情報及び参照点の画面座標を読み込むプロセスと、更
新されたマスク情報のリストから順次マスクを選択する
プロセスと、同一平面上の世界座標に単位正方形世界座
標を代入し、該単位正方形世界座標に対応する画面座標
に、選択されたマスクの参照点の画面座標を代入し、射
影変換行列を求めるプロセスと、射影変換行列の逆行列
を用いて逆射影変換を行い、投影歪を除去したコード画
像を取得し、該コード画像に対して必要なスケール変換
を行うプロセスとを有する。

【００２０】本発明（請求項９）は、対象物既知点対応
付けプロセスにおいて、対象物既知点の画面座標及び対
象物既知点の模式図と世界座標を読み込むプロセスと、
対象物既知点の模式図を表示するプロセスと、表示され
た模式図からすでに、画面座標の取得時に指定された対
象物既知点に対応する模式図上での点を選択し、選択さ
れた該点の世界座標を組データから読み出して、指定さ
れた対象物既知点の画面座標と世界座標の対応付けを行
うプロセスとを有する。

【００２１】上記のように、本発明では、コードパター
ンと参照点の世界座標情報、コード部分の変形除去及び
参照点の画面座標獲得の処理、参照点の画面座標と世界
座標の対応付けの処理を行い、撮像手段（カメラ）によ
るコード部分の変形を除去しながら、入力画像中のコー
ドとコードパターンとのマッチングを行い、コードパタ
ーンの参照点の世界座標情報から参照点のコードに対応
する世界座標値を自動的に取得することが可能であるた
め、キャリブレーションボードとカメラの撮像面を斜め
に傾けて撮影した場合においても、入力画像中の各参照
点の画面座標値と世界座標値との対応付けを自動的に行
い、高精度なカメラキャリブレーションを行うことが可
能となる。

【００２２】

【発明の実施の形態】図３は、本発明のカメラキャリブ
レーション装置の構成を示す。同図に示すカメラキャリ
ブレーション装置１０４は、カメラ１０１と接続されて
いる。

【００２３】カメラキャリブレーション装置１０４は、
画像取込装置１０５、フレームメモリ１０６、演算装置
１０７、表示装置１０８、データ入力装置１０９、デー
タ出力装置１１０から構成される。

【００２４】同図において、撮像手段であるカメラ１０
１の視野内に、互いに異なる形状のコードを複数配列し
たキャリブレーションボード１０２と測定する対象物１
０３の全て、もしくは、一部分が入るように配置し、画
像取込装置１０５によりキャリブレーションボード１０
２及び対象物１０３の画像を取得し、フレームメモリ１
０６に記憶する。フレームメモリ１０６に記憶された画
像は、演算装置１０７に入力される。この演算装置１０
７において、データ入力装置１０８により予め入力され
た情報及び表示装置１０８からの情報をもとに、カメラ
内部パラメータ及び外部パラメータを計算する。

【００２５】さらに、このカメラ内部パラメータ及び外
部パラメータを用いて、対象物１０３の未知点の世界座
標値を算出し、データ出力装置１０９により算出結果を
出力する。

【００２６】図４は、本発明の動作の概要を説明するた
めの図である。

【００２７】まず、カメラ１０１からキャリブレーンボ
ード１０２及び、対象物１０３の画像を取り込む（ステ
ップ１０１）。カメラ内部のパラメータを求めるため
に、キャリブレーションボード画像が入力されると（ス
テップ１０２）、コード部分の変形除去及び参照点の画
面座標を取得し、投影歪による入力画像のコード部分の
変形を除去したコード画像を取得すると共に、参照点の
画面座標を取得する（ステップ１０３）。

【００２８】そして、予め入力されたコードパターンと
参照点の世界座標情報に基づいて、参照点の画面座標と
世界座標の対応付けを行い、各参照点の画面座標と世界
座標の組のデータを得る（ステップ１０４）。

【００２９】さらに、この各参照点の画面座標と世界座
標の組データを用いてカメラ内部のパラメータ計算を行
い（ステップ１０５）、カメラの内部のパラメータを取
得する（ステップ１０６）。

【００３０】次に、カメラの外部パラメータを求めるた
めに、対象物画像が入力されると（ステップ１０７）、
対象物既知点の画面座標を取得する（ステップ１０
８）。そして、予め入力された対象物既知点の模式図と
世界座標情報に基づき、対象物既知点の画面座標と世界
座標の対応付けを行い、各対象物既知点の画面座標と世
界座標の組データを得る（ステップ１０９）。

【００３１】さらに、この各対象物既知点の画面座標と
世界座標の組データを用いてカメラ外部パラメータ計算
を行い（ステップ１１０）、カメラの外部パラメータを
取得する（ステップ１１１）。

【００３２】さらに、対象物未知点の画面座標を取得し
（ステップ１１２）、このとき得られた測定すべき対象
物未知点の画面座標からその世界座標を求めるために、
以上の処理で求めたカメラの内部パラメータと外部パラ
メータを使い、画面座標から世界座標への変換を行い
（ステップ１１３）、測定すべき対象物未知点の世界座
標を得る（ステップ１１４）。

【００３３】

【実施例】以下、図面と共に本発明の実施例を説明す
る。

【００３４】図５は、本発明の一実施例のカメラキャリ
ブレーション装置の構成を示す。

【００３５】同図に示すカメラキャリブレーション装置
は、画像取込部３０１、参照点画面座標取得部３０３、
参照点対応付け部３０６、カメラ内部パラメータ計算部
３０８、対象物既知点画面座標取得部３１２、対象物既
知点対応付け部３１５、カメラ外部パラメータ計算部３
１８、対象物未知点画面座標取得部３２０、及び変換部
３２２から構成される。

【００３６】当該カメラキャリブレーション装置の入力
として、カメラ１０１から参照点画面座標取得部３０３
にキャリブレーションボード画像３０２が、対象物既知
点画面座標取得部３１２と対象部未知点画面座標取得部
３２０に対象物画像３１１が、それぞれ入力される。ま
た、予め、コードパターンと参照点の世界座標３０５及
び対象物既知点の模式図と世界座標３１４が入力され
る。

【００３７】当該カメラキャリブレーション装置の出力
として、変換部３２２から対象物未知点の世界座標３２
３が出力される。

【００３８】図６、図７は、本発明の一実施例のカメラ
キャリブレーション処理のフローチャートである。

【００３９】［ステップ２０１］ まず、画像取込部３
０１は、図８に示すように黒く塗りつぶした正方形のブ
ロック内に互いに異なる形状のコードを書き込んだもの
（ここでは、数字の１〜９を用いているが、互いに異な
る形状のコードであれば何でもよい）を複数配列したキ
ャリブレーションボード１０２に対して、撮影手段であ
るカメラ１０１を斜めに傾けて撮影する。

【００４０】［ステップ２０２］ 参照点画面座標取得
部３０３は、画像取込部３０１で撮影されたキャリブレ
ーションボード画像３０２を取得する。このように、キ
ャリブレーションボード１０２とカメラ１０１の撮影面
を斜めに傾けて撮影した場合、キャリブレーションボー
ド画像３０２は、図９に示すように、投影歪によりコー
ド部分が変形した画像になる。ここで、本実施例では、
キャリブレーションボードの参照点として、正方形のブ
ロックの角の点を用いる。

【００４１】コード部分の変形除去及び参照点の画面座
標取得を行う参照点画面座標取得部３０３では、キャリ
ブレーションボード撮影を行ったカメラ１０１からのキ
ャリブレーションボード画像３０２を入力とし、投影歪
によるコード部分の変形を除去すると共に、参照点の画
面座標を取得し、補正したコード画像と参照点の画面座
標３０４を出力する。

【００４２】ここで、コード部分の変形除去及び参照点
の画面座標の取得の動作を説明する。

【００４３】図１０は、本発明の一実施例の参照点画面
座標取得部の動作を示すフローチャートである。同図に
おいて、左側に処理を行うための入力データを示し、右
側には処理により出力されるデータを示す。

【００４４】・図１０−ステップ４０２） 最初に二値
化処理では、キャリブレーションボード画像３０２を入
力とし、図８における正方形のブロック部分の画素値が
“０”、コード部分及びその他の背景部分の画素値が
“１”の値を持つように二値化処理を行い、二値画像４
０３を出力する。ここで、二値化処理の方法としては、
例えば、判別分析法（谷内田正彦：コンピュータビショ
ン、pp.60-61, 丸善、1990）等を用いる。

【００４５】・図１０−ステップ４０４） コード部分
のマスク画像及びマスク情報取得処理では、二値化処理
（ステップ４０２）で得られた、二値画像４０３を入力
とし、図１１に示すような正方形のブロック内のコード
部分を塗りつぶした画像であるコード部分のマスク画像
及び、各マスク領域に連続して与えられるラベルとその
マスク領域の重心位置からなるマスク情報を出力する。
ここで、図１１の黒い部分の画素値は“０”、白い部分
の画素値は“１”である。

【００４６】ここで、コード部分のマスク画像及びマス
ク情報取得処理について詳細に説明する。図１２は、本
発明の一実施例のコード部分のマスク画像及びマスク情
報取得処理のフローチャートである。

【００４７】ステップ５０２） 二値画像読み込み処理
では、二値画像４０３をメモリ上に読み込む。

【００４８】ステップ５０３） 穴埋め処理では、例え
ば、膨張収縮処理（谷内田正彦：コンピュータビショ
ン、pp.82-82, 丸善、1990）等を用いて、コード部分の
マスク画像を得る。

【００４９】ステップ５０４） ラベリング処理では、
例えば、ラベリング処理（谷内田正彦：コンピュータビ
ション、pp.82-82, 丸善、1990）等を用いて、各マスク
領域のラベル付けを行うと共に、各マスク領域以外の小
さな領域（雑音）を除去する。マスク領域か否かの判別
方法としては、事前にマスク領域の最低画素数を指定し
ておき、それより小さな領域を雑音として除去する。

【００５０】ステップ５０５） マスク領域の重心位置
計算処理では、ラベル付けされた各マスク領域におい
て、画像上を順次走査することで、ｘ軸方向への領域の
最大値ｘ＿ｍａｘと最小値ｘ＿ｍｉｎ及び、ｙ軸方向へ
の領域の最大値ｙ＿ｍａｘと最小値ｙ＿ｍｉｎを求め、
以下の数式（１）を用いて、マスク領域の重心位置（ｘ
＿ｃｅｎｔｅｒ，ｙ＿ｃｅｎｔｅｒ）をそれぞれ計算す
る。

【００５１】

【数１】 ステップ５０６） コード部分のマスク画像及びマスク
情報出力処理では、以上の処理で求めたコード部分のマ
スク画像とマスク領域のラベル及び重心位置からなるマ
スク情報４０５を次の処理のステップに出力する。

【００５２】・図１０−ステップ４０６） 参照点の選
択及び画面座標取得処理では、前段の処理で得られたコ
ード部分のマスク画像及びマスク情報４０５を入力と
し、キャリブレーションに用いる参照点の選択及び選択
された参照点の画面座標を取得し、図１３のようなキャ
リブレーションに用いる参照点として選択されたマスク
情報及びその参照点の画面座標の組である、更新された
マスク情報及び参照点の画面座標４０７を出力する。

【００５３】ここで、上記の参照点の選択及び画面座標
取得処理（ステップ４０６）の動作を詳細に説明する。
図１４は、本発明の一実施例の参照点の選択及び画面座
標取得処理のフローチャートである。

【００５４】ステップ６０２） コード部分のマスク画
像及びマスク情報読み込み処理として、前段の処理で得
られたコード部分のマスク画像及びマスク情報４０５を
メモリ上に読み込む。

【００５５】ステップ６０３） マスク選択処理とし
て、マスク情報のリストから順次マスクを選択する。

【００５６】ステップ６０４） 輪郭線検出処理とし
て、マスク選択処理（ステップ６０３）により選択され
たマスクの重心位置(x＿center, y ＿center) をマスク
情報のリストから取得し、コード部分のマスク画像にお
いて、選択されたマスクの重心位置からｙ軸方向に順次
画素値を走査(x＿center, y ＿center+1) していき、画
素値が“０”から“１”に変化する場所を取得する。

【００５７】ステップ６０５） コーナー検出処理で
は、輪郭線検出処理（ステップ６０４）により得られた
マスクの輪郭線位置を起点にして、マスクの周辺部を時
計回りに追跡する。そして、図形の周囲を一巡する間に
角度変化の大きいコーナーを見つけ出す。コーナーの検
出の方法としては、例えば、コーナー検出と隣接コーナ
ーの識別処理（高野英彦：形状パターンの認識技術，p
p.32-33, 情報調査会,1984)等を用いる。

【００５８】ステップ６０６） ここで、コーナー検出
の追跡の際に、画面の端に到達した場合は、ステップ６
０７に移行する。画面の端に到達したか否かの判定は、
マスクの周辺部の追跡の際に、ｘ座標もしくはｙ座標が
入力画像の最大座標もしくは最小座標に到達したか否か
により判別できる。到達していない場合には、ステップ
６０８に移行する。

【００５９】ステップ６０７） コーナー検出の追跡の
際に、画面の端に到達した場合は、そのマスクをキャリ
ブレーションのための参照点として用いないため、マス
ク情報からの削除処理により、マスク情報のリストから
現在選択されているマスクの情報を削除し、ステップ６
０９に移行する。

【００６０】ステップ６０８） コーナー検出の追跡の
際に、画面の端に到達していない場合は、参照点の画面
座標記録処理を行う。これは、コーナー検出処理（ステ
ップ６０５）の際にすでに検出された４つのコーナーの
画面座標値を検出された順番にメモリ上に記憶してお
く。

【００６１】ステップ６０９） 以上のマスク選択処理
（ステップ６０３）、輪郭線検出処理（ステップ６０
４）、コーナー検出処理（ステップ６０５）、参照点の
画面座標記録処理（ステップ６０８）及びマスク情報か
らの削除処理（ステップ６０７）をマスク情報リストの
全てのマスクについて行う。

【００６２】ステップ６１０） 更新されたマスク情報
及び参照点の画面座標出力処理として、以上の処理によ
って得られた、更新されたマスク情報及び参照点の画面
座標データ４０７を出力する。

【００６３】・図１０−ステップ４０８） 二値画像４
０３、コード部分のマスク画像及びマスク情報４０５、
更新されたマスク情報及び参照点の画面座標４０７を入
力とし、図１５に示すようなキャリブレーションのため
の参照点として用いるマスクのコード部分のみを抽出し
たコード画像４０９を出力する。ここで、マスク処理に
ついて詳細に説明する。

【００６４】図１６は、本発明の一実施例のマスク処理
のフローチャートである。

【００６５】ステップ７０２） 二値画像読み込み処理
では、二値画像４０３をメモリ上に読み込む。

【００６６】ステップ７０４） コード部分のマスク画
像読み込み処理では、コード部分のマスク画像及びマス
ク情報４０５をメモリ上に読み込む。

【００６７】ステップ７０６） 更新されたマスク情報
読み込み処理では、メモリ上に更新されたマスク情報及
び参照点の画像座標を読み込む。

【００６８】ステップ７０７） マスク画像更新処理で
は、更新されたマスク情報に基づいて、コード部分のマ
スク画像から、キャリブレーションのための参照点とし
て用いるマスク以外のマスク領域を削除する。具体的に
は、更新されたマスク情報にないマスク領域の画素値を
“１”にする。

【００６９】ステップ７０８） コード画像抽出処理で
は、二値画像とマスク画像更新処理（ステップ７０７）
により更新されたマスク画像を照らし合わせ、画素値が
“１”から“０”に変化した画素の画素値を“０”、そ
の他の画素値を“１”とすることでコード画像４０９を
出力する。

【００７０】・図１０−ステップ４１０） コード部分
の変形除去処理として、更新されたマスク情報及び参照
点の画面座標４０７と前段のマスク処理（ステップ４０
８）により生成されたコード画像４０９を入力とし、図
１７（ａ）に示すようなコード画像及び各マスクの４つ
の参照点の画面座標（Ｕ０，Ｖ０），（Ｕ１，Ｖ１），
（Ｕ２，Ｖ２），（Ｕ３，Ｖ３）から射影変換行列を求
め、その逆射影変換を行うことで図１７（ｂ）に示すよ
うな補正したコード画像を取得し、その補正したコード
画像と参照点の画面座標データ３０４を出力する。

【００７１】ステップ４１０における当該コード部分の
変形除去処理について詳細に説明する。

【００７２】図１８は、本発明の一実施例のコード部分
の変形除去処理のフローチャートである。

【００７３】ステップ８０２） コード画像読み込み処
理では、メモリ上にコード画像４０９を読み込む。

【００７４】ステップ８０４） 更新されたマスク情報
及び参照点の画面座標読み込み処理では、メモリ上に更
新されたマスク情報及び参照点の画面座標を読み込む。

【００７５】ステップ８０５） マスク選択処理では、
更新されたマスク情報のリストから順次マスクを選択す
る。

【００７６】ステップ８０６） 射影変換行列の計算処
理では、以下の式で表される３×３の射影変換行列Ｍqt
を計算する。

【００７７】 ｑＭqt＝ｗt ｔ （２） 上記の式（２）で、ｑは同一平面上の世界座標を表す斉
次座標、ｔはそれに対応する画面座標の斉次座標、ｗt
は斉次座標のための変数を示す。

【００７８】ここで、同一平面上の世界座標ｑに単位正
方形世界座標（０，０），（１，０），（１，１），
（０，１）を代入し、それに対応する画面座標ｔにマス
ク選択処理（ステップ８０５）により選択されたマスク
の４つの参照点の画面座標（Ｕ０，Ｖ０），（Ｕ１，Ｖ
１），（Ｕ２，Ｖ２），（Ｕ３，Ｖ３）を代入すること
で、射影変換行列Ｍqtを求めることができる。この計算
方法は、例えば、Heckbertによる解法(Jim Blinn's Cor
ner: IEEE Computer Graphics and Applicationsjourna
l, pp.93-98, May/June 1999)等を用いる。ここでは、
世界座標として相対的な座標値（０，０），（１，
０），（１，１），（０，１）を用いることにより、簡
潔に射影変換行列を求めている。

【００７９】ステップ８０７） 画像補正処理として、
前段で求めた射影変換行列の逆行列Ｍ^-1qtを用いて、以
下の式による逆射影変換を行う。

【００８０】

【数２】 上記（３）式の（Ｘ，Ｙ）は、逆射影変換により投影歪
を除去した座標値、（Ｕ，Ｖ）は画面上の座標値、ｗは
斉次行列のための変数を表す。ここで、（３）式の下式
を変形し、上式に代入すると、 ［Ｘ Ｙ １］＝［ｗＵ ｗＶ ｗ］Ｍ^-1qt （４） さらに、両辺をｗで割ると、

【００８１】

【数３】 上記の（５）式の（Ｕ，Ｖ）に、選択されているマスク
領域の画面座標をそれぞれ代入し、投影歪を除去した座
標値（Ｘ，Ｙ）を得る。そして、画面座標（Ｕ，Ｖ）に
対応するコード画像４０１上の画素値を座標値（Ｘ，
Ｙ）に代入することで投影歪を除去したコード画像を得
る。しかし、このままでは、単位正方形世界座標への射
影であるので、図１７（ｂ）のような１００×１００の
画像（画像の大きさは予め入力されるコードパターンの
大きさと同じであればよい）に変換するためには、スケ
ール変換を行う必要がある。スケール変換は、以下のよ
うな式を用いることで行うことができる。

【００８２】

【数４】 ここで、（Ｘ^* ，Ｙ^* ）は、スケール変換した座標値
（Ｘ，Ｙ）は単位正方形世界座標値、Ｓx ，Ｓy はスケ
ール変換の倍率である。図１７（ｂ）のような１００×
１００の画像に補正したコード画像を生成するために
は、Ｓx ，Ｓy とも１００とする。以上の処理を更新さ
れたマスク情報のリストすべてのマスクについて行い、
補正したコード画像と参照点の画面座標の組３０４を出
力する。

【００８３】これまでの処理で、図１７（ｂ）のような
１００×１００の画像に補正されたコード画像とその参
照点の画面座標の組のデータ３０４が得られた また、
図１９のようなコード部分の画素値が“０”、その他の
背景領域の画素値が“１”である１００×１００の大き
さのコードパターン画像（画像の大きさは補正したコー
ド画像の大きさと同じであればよい）と参照点の世界座
標（参照点の選択及び画面座標取得処理で取得した４つ
の参照点の画面座標と同じ順番が記録されているものと
する）の組のデータ３０５が、予めデータ入力装置から
入力される。ここで、コードパターン画像と参照点の世
界座標の組のデータは、キャリブレーションボード１０
２上のすべてのコードに対して用意しておく必要があ
る。本実施例では、数字１から９までのコードパターン
画像とそれに対応する参照点の世界座標（図８における
正方形の四つの角の点のキャリブレーションボード上で
の世界座標）の組を用意しておく。参照点の世界座標
は、例えば、図８において、“１”のコードが書き込ま
れた正方形のブロックの左上を原点とし、それを基準と
して実際にｘ軸、ｙ軸方向の距離を計ることで求める。

【００８４】［ステップ２０３］ 参照点対応付け部３
０６では、上記の２つの組のデータ（補正したコード画
像と参照点の画面座標３０４と、コードパターンと参照
点の世界座標３０５）を入力とし、各補正したコード画
像に対して、順次数字１から９までのコードパタン画像
との相関値を求め、相関値が最も大きい数字のコードパ
ターンの参照点の世界座標と、補正したコード画像の参
照点の画面座標を順番にそれぞれ対応付ける。この処理
を補正したコード画像すべてについて行うことで、キャ
リブレーションに用いる参照点のキャリブレーションデ
ータ３０７の取得を自動的に行う。ここで、補正したコ
ード画像とコードパターン画像との相関値の算出方法
は、例えば、以下のような式を用いる。

【００８５】

【数５】 上記の式（７）において、ｐ１（ｘ，ｙ）は、補正した
コード画像の座標（ｘ，ｙ）における画素値、ｐ２
（ｘ，ｙ）は、コードパターン画像の座標（ｘ，ｙ）に
おける画素値を表す。式（７）では、ｐ１（ｘ，ｙ）と
ｐ２（ｘ，ｙ）論理演算ＮＯＲを行い、コード部分（画
素値は“０”）がマッチングしている画素の数をカウン
トし、相関値としている。相関値の算出方法としては、
特に指定するものではなく、別の方法を用いてもよい。
また、論理演算ＮＯＲは、以下のように定義される。

【００８６】

【表１】 ［ステップ２０４］ カメラ内部パラメータ計算部３０
８は、参照点対応付け部３０６で得られた参照点のキャ
リブレーションデータ３０７を入力とし、カメラキャリ
ブレーションアルゴリズムを用いて、焦点距離、レンズ
歪等のカメラ内部パラメータ３０９を計算する。カメラ
キャリブレーションアルゴリズムとしては、例えば、従
来の技術の項で述べたTsaiの方法を用いる。Tsaiの方法
では、カメラ内部パラメータとカメラ外部パラメータを
分けて計算することができるため、ここでは、カメラ内
部パラメータのみを取得し、測定対象１０３とカメラ１
０１との位置関係を表すカメラ外部パラメータは後述の
カメラ外部パラメータ計算部３１８で取得する。以下、
簡単にTsaiのカメラキャリブレーション方法について説
明する。

【００８７】図２０は、本発明の一実施例のカメラモデ
ルを示す。同図において、点Ｐが存在する世界座標系Ｏ
ｗ内にカメラを基準とした座標系Ｏｃが存在している。
このとき、点ＰをＯｗから見た座標値（ｘｗ，ｙｗ，ｚ
ｗ）と、Ｏｃから見た座標値（ｘ，ｙ，ｚ）で表すと、
その関係は以下の式で表される。

【００８８】

【数６】 ここで、Ｒ，Ｔは、それぞれＯｗからＯｃへの回転行
列、並進ベクトルであり、カメラ外部パラメータであ
る。Ｒ，Ｔはそれぞれ以下のように表される。

【００８９】

【数７】 次に、透視変換により点ＰをＯｃから焦点距離ｆだけ離
れてｚ軸に垂直な画像座標Ｏｉに投影したときの、
（ｘ，ｙ，ｚ）とＯｉ上での点Ｐの観測点（Ｘｕ、Ｙ
ｕ）との関係は以下の式で表される。ここで、焦点距離
ｆは、カメラ内部パラメータの１つである。

【００９０】

【数８】 撮像手段であるカメラのレンズには歪があり、実際には
（Ｘｄ，Ｙｄ）へ投影される。そこで、理想的な観測点
（Ｘｕ，Ｙｕ）と実際の観測点（Ｘｄ，Ｙｄ）との関係
は、レンズ歪の量（Ｄｘ，Ｄｙ）を用いて以下の式で表
される。

【００９１】 Ｘｄ＋Ｄｘ＝Ｘｕ Ｙｄ＋Ｄｙ＝Ｙｕ （１１） ここで、Tsaiの方法では、レンズ歪の量（Ｄｘ，Ｄｙ）
を以下のような式を用いて求めている。ｋ1 ，ｋ2 はレ
ンズ歪係数を示し、カメラ内部パラメータの１つであ
る。

【００９２】

【数９】 さらに、画像取込装置内のＡ／Ｄコンバータにより量子
化され、画面座標系Ｏｆ上での点（Ｘｆ，Ｙｆ）へ変換
される。このとき、（Ｘｆ，Ｙｆ）と（Ｘｄ，Ｙｄ）と
の関係は、以下の式で表される。

【００９３】ここで、Ｃｘ、Ｃｙは、それぞれ画面座標
系Ｏｆにおける画像の中心位置、ｄｘ、ｄｙは、それぞ
れＸ軸、Ｙ軸方向のカメラの隣接センサ素子間隔、ｓx
は、Ｆｃをカメラの水平駆動周波数Ｆｆを画像処理装置
のＡ／Ｄコンバータの周波数とすると、ｓx ＝Ｆｃ／Ｆ
ｆで表される値を示し、カメラのカタログ等から取得す
る。

【００９４】以上の関係式から、先に求めた参照点のキ
ャリブレーションデータ３０７をもとに、最小２乗法な
どを用いてカメラの内部パラメータ及び外部パラメータ
を求めることができる。

【００９５】［ステップ２０５］ 図２１のような測定
すべき対象物に対して、カメラ１０１を斜めに傾けて撮
影し、対象物画像３１１を取得する。ここで、対象物と
しては、測定すべき世界座標が平面上にあるものを用い
る。対象物画像の例を図２２に示す。

【００９６】［ステップ２０６］ 対象物既知点画像座
標取得部３１２では、前段で取得した対象物画像３１１
を入力し、測定すべき対象物の世界座標が予め既知点
（ここでは、対象物既知点と呼ぶ。例えば、図２１のラ
インの交点のようなものである）を指定し、その点の画
面座標を取得する。対象物既知点の指定方法としては、
例えば、マウス等のポインティングデバイスを用いて図
２２の矢印のように人が指定し、指定された画素の画面
座標値をフレームメモリから読み出すことで、指定され
た対象物既知点の画面座標３１３を取得する。

【００９７】［ステップ２０７］ 対象物既知点対応付
け部３１５では、通常測定すべき対象物に対応付けのた
めの基準となるコードを書き込むことができないため、
図２３のような対象物既知点の模式図とそれに対応する
世界座標値の組データ３１４を用いる。ここで、対象物
既知点対応付け部３１５の動作を詳細に説明する。

【００９８】図２４は、本発明の一実施例の対象物既知
点対応付け部の動作のフローチャートである。

【００９９】ステップ９０２） まず、前段で取得した
対象物既知点の画面座標３１３をメモリ上に読み込む。

【０１００】ステップ９０４） 予めデータ入力装置１
０９により入力される対象物 既知点の模式図と世界座
標３１４をメモリ上に読み込む。

【０１０１】ステップ９０５） 次に、対象物既知点の
模式図を表示装置１０８等の画面上に表示する。

【０１０２】ステップ９０６） 表示された模式図から
すでに画面座標の取得時に指定された対象物既知点に対
応する模式図上での点を選択し、その点の世界座標を上
記の組データ３１４から読み出すことにより、指定され
た対象物既知点の画面座標と世界座標の対応付けを行
う。対象物既知点の模式図上の点の選択方法としては、
前段での処理と同じく、マウス等のポインティングデバ
イスを引いて図２３の矢印のように人が指定する。

【０１０３】ステップ９０７） 以上の処理により対応
付けを行った対象物既知点のキャリブレーションデター
タ３１６を出力する。

【０１０４】［ステップ２０８］ 対象物既知点画面座
標取得部３１２及び、対象物既知点対応付け部３１５を
対象物画像３１１に写っている対象物既知点の全てにつ
いて繰り返し行うことで、対象物非点のキャリブレーシ
ョンデータ３１６を取得する。

【０１０５】［ステップ２０９］ カメラ外部パラメー
タ計算部３１８は、これまでの処理で得られた対象物既
知点のキャリブレーションデータ３１６とカメラ内部パ
ラメータ３０９を入力とし、カメラキャリブレーション
アルゴリズムを用いて、測定対象とカメラとの位置関係
を表すカメラ外部パラメータ３１９を計算する。カメラ
キャリブレーションアルゴリズムには、例えば、カメラ
内部パラメータ計算部３０８と同じくTsaiの方法を用い
る。Tsaiの方法については、既に前述のカメラ内部パラ
メータ計算部３０９の項で説明した通りである。

【０１０６】［ステップ２１０］ 対象物未知点画面座
標取得部３２０は、測定すべき世界座標未知点の画面座
標を取得する。つまり、対象物画像３１１を入力とし、
その入力画像において、世界座標を測定する点を指定
し、その点に対応する画面座標をフレームメモリから読
み出すことにより、対象物未知点の画面座標３２１を取
得する。入力画像において３次元位置を測定する点の指
定方法としては、例えば、画面上に入力画像を表示し、
マウス等のポインティングデバイスを用いて人が指定す
る。

【０１０７】［ステップ２１１］ 変換部３２２では、
すでに求めたカメラ内部パラメータ（ｆ，ｋ1 ，ｋ2 ）
とカメラ外部パラメータ（Ｒ，Ｔ）を使って、前段で指
定した対象物未知点の画面座標３２１に対応する対象物
未知点の世界座標３２３を計算する。

【０１０８】ここで、画面座標から世界座標への変換
は、式（８）から式（１３）における変換の逆を行えば
よい。つまり、まず、画面座標系Ｏｆ上の点（Ｘｆ，Ｙ
ｆ）から画像座標系Ｏｉ上の点（Ｘｄ，Ｙｄ）を計算す
る（式（１４））。

【０１０９】 Ｘd ＝ｓx ｄｘ（Ｘｆ−Ｃｘ） Ｙd ＝ｄｙ（Ｙｆ−Ｃｙ） （１４） 次に、画像座標系Ｏｉ上の点（Ｘｄ，Ｙｄ）からレンズ
歪を考慮した点（Ｘｕ，Ｙｕ）を計算する（式（１
５））。

【０１１０】

【数１０】 式（１０）よりカメラ座標系での座標値（ｘ，ｙ，ｚ）
と（Ｘｕ，Ｙｕ）との関係は以下の式で表される。

【０１１１】

【数１１】 ここで、式（８）より、（ｘ，ｙ，ｚ）から世界座標系
での座標値（ｘｗ，ｙｗ，ｚｗ）を計算すると、

【０１１２】

【数１２】 また、

【０１１３】

【数１３】 として、式（１７）のｚｗの値をｚについて書き下す
と、

【０１１４】

【数１４】 ここで、対象物が平面の場合ｚｗの値が０なので、ｚｗ
＝０とおいてｚを求めると、

【０１１５】

【数１５】 となり、式（１５）の（Ｘｕ，Ｙｕ）からｚが求まる。
さらに、式（１６）からｘ，ｙが求まり、これらを式
（１７）に代入することで、求めるべき世界座標（ｘ
ｗ，ｙｗ，ｚｗ）を得ることができる。

【０１１６】また、上記の実施例では、図６及び図７に
示すフローチャートを用いて、カメラキャリブレーショ
ン方法について説明したが、これらのフローチャートを
プログラムとして構築し、カメラキャリブレーション装
置として利用されるコンピュータに接続されるディスク
装置や、フロッピー（登録商標）ディスク、ＣＤ−ＲＯ
Ｍ等の可搬記憶媒体に格納しておき、本発明を実施する
際にインストールすることにより、容易に本発明を実現
できる。

【０１１７】なお、本発明は、上記の実施例に限定され
ることなく、特許請求の範囲内において種々変更・応用
が可能である。

【０１１８】

【発明の効果】上述のように、本発明によれば、キャリ
ブレーションボードとカメラの撮像面を斜めに傾けて撮
影した場合においても、入力画像中の各参照点の画面座
標値と世界座標値との対応付けを自動的に行い、カメラ
のキャリブレーションを高精度に行うことができる。

【図面の簡単な説明】

【図１】本発明の原理を説明するための図である。

【図２】本発明の原理構成図である。

【図３】本発明のカメラキャリブレーション装置の構成
図である。

【図４】本発明の動作概要を説明するための図である。

【図５】本発明の一実施例のカメラキャリブレーション
装置の構成図である。

【図６】本発明の一実施例のカメラキャリブレーション
処理のフローチャート（その１）である。

【図７】本発明の一実施例のカメラキャリブレーション
処理のフローチャート（その２）である。

【図８】本発明の一実施例の数字を利用したキャリブレ
ーションボードの例である。

【図９】本発明の一実施例のキャリブレーションボード
画像である。

【図１０】本発明の一実施例の参照点画面座標取得部の
動作を示すフローチャートである。

【図１１】本発明の一実施例のコード部分のマスク画像
である。

【図１２】本発明の一実施例のコード部分のマスク画像
及びマスク情報取得処理のフローーチャートである。

【図１３】本発明の一実施例のマスク情報及び参照点の
画面座標である。

【図１４】本発明の一実施例の参照点の選択及び画面座
標取得処理のフローチャートである。

【図１５】本発明の一実施例のマスク処理により抽出し
た参照点コード画像である。

【図１６】本発明の一実施例のマスク処理のフローチャ
ートである。

【図１７】本発明の一実施例の射影逆変換による投影歪
の除去を説明するための図である。

【図１８】本発明の一実施例のコード部分の変形除去処
理のフローチャートである。

【図１９】本発明の一実施例のコードパターン画像であ
る。

【図２０】本発明の一実施例のカメラモデルである。

【図２１】本発明の一実施例の測定対象物の例である。

【図２２】本発明の一実施例の対象物画像の例である。

【図２３】本発明の一実施例の対象物既知点の模式図で
ある。

【図２４】本発明の一実施例の対象物既知点対応付け部
の動作のフローチャートである。

【符号の説明】

１０１ カメラ １０２ キャリブレーションボード １０３ 対象物 １０４ カメラキャリブレーション装置 １０５ 画像取込み装置 １０６ フレームメモリ １０７ 演算装置 １０８ 表示装置 １０９ データ入力装置 １１０ データ出力装置 ３０２ キャリブレーションボード画像 ３０３ 参照点画面座標取得手段、参照点画面座標取得
部 ３０４ 補正したコード画像と参照点の画面座標 ３０５ コードパターンと参照点の世界座標 ３０６ 参照点対応付け手段、参照点対応付け部 ３０７ 参照点のキャリブレーションデータ ３０８ カメラ内部パラメータ計算手段、カメラ内部パ
ラメータ計算部 ３０９ カメラ内部パラメータ ３１１ 対象物画像 ３１２ 対象物既知点画面座標取得手段、対象物既知点
画面座標取得部 ３１３ 対象物既知点対応付け部 ３１４ 対象物既知点の模式図と世界座標 ３１５ 対象物既知点対応付け手段、対象物既知点対応
付け部 ３１６ 対象物既知点のキャリブレーションデータ ３１８ カメラ外部パラメータ計算手段、カメラ外部パ
ラメータ計算部 ３１９ カメラ外部パラメータ ３２０ 対象物未知点画面座標取得手段、対象物未知点
画面座標取得部 ３２１ 対象物未知点画面座標 ３２２ 変換手段、変換部 ３２３ 対象物未知点の世界座標

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中川 督之 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 杉山 和弘 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 田中 明通 東京都千代田区内幸町一丁目１番６号 エ ヌ・ティ・ティ・コミュニケーションズ株 式会社内 (72)発明者 木谷 靖 東京都千代田区内幸町一丁目１番６号 エ ヌ・ティ・ティ・コミュニケーションズ株 式会社内 Ｆターム(参考） 2F065 AA04 AA17 AA53 EE08 FF04 FF61 JJ03 JJ19 JJ26 QQ03 QQ04 QQ24 QQ28 QQ29 QQ31 QQ32 QQ37 QQ42 5B057 AA20 BA02 CD12 CD20 CE12 DA20 DB08 DC02 DC14 DC16

Claims (9)

【特許請求の範囲】
1. 【請求項１】 対象となる計測領域において、該計測領
   域の３次元位置を求める際に、予め三次元形状が既知な
   キャリブレーションボードを計測領域に設置し、対象の
   ３次元位置計測のための変換パラメータを導出するカメ
   ラキャリブレーション方法において、 カメラを用いて対象物を撮影した対象物画像を取込むと
   共に、キャリブレーションボード画像を入力し、 前記キャリブレーションボード画像のコード部分の変形
   除去及び参照点の画面座標を取得し、投影歪による入力
   画像のコード部分の変形を除去したコード画像を取得す
   ると共に、参照点の画面座標を取得し、 予め入力されたコードパターンと参照点の世界座標情報
   に基づいて、前記参照点の画面座標と前記参照点の世界
   座標の対応付けを行い、各参照点の画面座標と世界座標
   の組のデータを取得し、 前記各参照点の画面座標と前記世界座標の組データを用
   いてカメラ内部のパラメータ計算を行い、 前記対象物画像から対象物既知点の画面座標を取得し、 予め入力された対象物既知点の模式図と世界座標情報に
   基づき、対象物既知点の画面座標と世界座標の対応付け
   を行い、各対象物既知点の画面座標と世界座標の組デー
   タを取得し、 前記各対象物既知点の画面座標と世界座標の組データを
   用いてカメラ外部パラメータ計算を行い、 対象物未知点の画面座標を取得し、 前記対象物未知点の画面座標から前記カメラ内部パラメ
   ータと前記カメラ外部パラメータを用いて、画面座標か
   ら世界座標への変換を行い、測定すべき対象物未知点の
   世界座標を取得することを特徴とするカメラキャリブレ
   ーション方法。
2. 【請求項２】 対象となる計測領域において、該計測領
   域の３次元位置を求める際に、予め三次元形状が既知な
   キャリブレーションボードを計測領域に設置し、対象の
   ３次元位置計測のための変換パラメータを導出するカメ
   ラキャリブレーション装置であって、 カメラを用いて対象物を撮影した対象物画像を取込むと
   共に、キャリブレーションボード画像を入力し、該キャ
   リブレーションボード画像のコード部分の変形除去及び
   参照点の画面座標を取得し、投影歪による入力画像のコ
   ード部分の変形を除去したコード画像を取得すると共
   に、参照点の画面座標を取得する参照点画面座標取得手
   段と、 予め入力されたコードパターンと参照点の世界
   座標情報に基づいて、前記参照点の画面座標と、該世界
   座標情報の世界座標の対応付けを行い、各参照点の画面
   座標と世界座標の組のデータを取得する参照点対応付け
   手段と、 前記各参照点の画面座標と前記世界座標の組データを用
   いてカメラ内部のパラメータ計算を行うカメラ内部パラ
   メータ計算手段と、 前記対象物画像から対象物既知点の画面座標を取得する
   対象物既知点画面座標取得手段と、 予め入力された対象物既知点の模式図と世界座標情報に
   基づき、前記対象物既知点の画面座標と世界座標の対応
   付けを行い、各対象物既知点の画面座標と世界座標の組
   データを取得する対象物既知点対応付け手段と、 前記各対象物既知点の画面座標と世界座標の組データを
   用いてカメラ外部パラメータ計算を行うカメラ外部パラ
   メータ計算手段と、 対象物未知点の画面座標を取得する対象物未知点画面座
   標取得手段と、 前記対象物未知点の画面座標から前記カメラ内部パラメ
   ータと前記カメラ外部パラメータを用いて、画面座標か
   ら世界座標への変換を行い、測定すべき対象物未知点の
   世界座標を取得する変換手段とを有することを特徴とす
   るカメラキャリブレーション装置。
3. 【請求項３】 対象となる計測領域において、該計測領
   域の３次元位置を求める際に、予め三次元形状が既知な
   キャリブレーションボードを計測領域に設置し、対象の
   ３次元位置計測のための変換パラメータを導出するカメ
   ラキャリブレーションプログラムを格納した記憶媒体で
   あって、 カメラを用いて対象物を撮影した対象物画像を取り込む
   と共に、キャリブレーションボード画像を入力し、該キ
   ャリブレーションボード画像のコード部分の変形除去及
   び参照点の画面座標を取得し、投影歪による入力画像の
   コード部分の変形を除去したコード画像を取得すると共
   に、参照点の画面座標を取得する参照点画面座標取得プ
   ロセスと、 予め入力されたコードパターンと参照点の世界座標情報
   に基づいて、前記参照点の画面座標と、該世界座標情報
   の世界座標の対応付けを行い、各参照点の画面座標と世
   界座標の組のデータを取得する参照点対応付けプロセス
   と、 前記各参照点の画面座標と前記世界座標の組データを用
   いてカメラ内部のパラメータ計算を行うカメラ内部パラ
   メータ計算プロセスと、 前記対象物画像から対象物既知点の画面座標を取得する
   対象物既知点画面座標取得プロセスと、 予め入力された対象物既知点の模式図と世界座標情報に
   基づき、前記対象物既知点の画面座標と世界座標の対応
   付けを行い、各対象物既知点の画面座標と世界座標の組
   データを取得する対象物既知点対応付けプロセスと、 前記各対象物既知点の画面座標と世界座標の組データを
   用いてカメラ外部パラメータ計算を行うカメラ外部パラ
   メータ計算プロセスと、 対象物未知点の画面座標を取得する対象物未知点画面座
   標取得プロセスと、 前記対象物未知点の画面座標から前記カメラ内部パラメ
   ータと前記カメラ外部パラメータを用いて、画面座標か
   ら世界座標への変換を行い、測定すべき対象物未知点の
   世界座標を取得する変換プロセスとを有することを特徴
   とするカメラキャリブレーションプログラムを格納した
   記憶媒体。
4. 【請求項４】 参照点画面座標取得プロセスは、 二値化処理を行う二値化プロセスと、 前記二値化プロセスで取得した二値化画像からコード部
   分のマスク画像及び、各マスク領域に連続して与えられ
   るラベルとそのマスク領域の重心位置からなるマスク情
   報を取得するコード部分のマスク画像及びマスク情報取
   得プロセスと、 前記コード部分のマスク画像及びマスク情報に基づい
   て、キャリブレーションに用いる参照点の選択、及び選
   択された参照点の画面座標の組である、更新されたマス
   ク情報及び参照点の画面座標を取得する参照点の選択及
   び、画面座標取得プロセスと、 前記二値画像、前記コード部分のマスク画像及びマスク
   情報及び、前記更新されたマスク情報及び参照点の画面
   座標に基づいてキャリブレーションのための参照点とし
   て用いるマスクのコード部分のみを抽出したコード画像
   を取得するマスクプロセスと、 前記コード画像及び各マスクの４つの参照点の画面座標
   から射影変換行列を求め、その逆射影変換を行うことで
   補正したコード画像を取得し、その補正したコード画像
   と参照点の画面座標データを取得するコード部分の変形
   除去プロセスとを有する請求項３記載のカメラキャリブ
   レーションプログラムを格納した記憶媒体。
5. 【請求項５】 前記コード部分のマスク画像及びマスク
   情報取得プロセスは、 前記二値画像を読み込むプロセスと、 前記コード部分のマスク画像を取得するプロセスと、 前記各マスク領域のラベル付けを行うと共に、各マスク
   領域以外の雑音を除去するプロセスと、 ラベル付けされた各マスク領域において、画面上を走査
   することによりｘ軸方向、ｙ軸方向への領域の最大値を
   最小値を求め、マスク領域の重心位置を計算するプロセ
   スとを有する請求項４記載のカメラキャリブレーション
   プログラムを格納した記憶媒体。
6. 【請求項６】 前記参照点の選択及び、画面座標取得プ
   ロセスは、 前記コード部分のマスク画像及び前記マスク情報を読み
   込むプロセスと、 前記マスク情報のリストから順次マスクを選択するプロ
   セスと、 選択されたマスクの重心位置を前記マスク情報のリスト
   から取得し、コード部分のマスク画像において、選択さ
   れたマスク重心位置からｙ軸方向に順次画素値を走査
   し、画素値が０から１に変化する輪郭線位置を検出する
   プロセスと、 前記輪郭線位置を起点として、図形を一巡する間に角度
   変化の大きいコーナーを検出し、参照点の画面座標デー
   タとして記録するプロセスと、 図形を一巡しないまま画面の端に到達した場合には、前
   記マスク情報のリストから現在選択されているマスクの
   情報を削除するプロセスとを有する請求項４記載のカメ
   ラキャリブレーションプログラムを格納した記憶媒体。
7. 【請求項７】 前記マスクプロセスは、 前記二値画像及び前記コード部分のマスク画像及び前記
   マスク情報、及び前記更新されたマスク情報及び前記参
   照点の画像座標を読み込むプロセスと、 前記更新されたマスク情報に基づいて、前記コード部分
   のマスク画像から、キャリブレーションのための参照点
   として用いるマスク以外のマスク領域を削除するプロセ
   スと、 前記更新されたマスク画像と前記二値画像を照合し、画
   素値が１から０に変化した画素の画素値を０、その他を
   １とし、コード画像を取得するプロセスとを有する請求
   項４記載のカメラキャリブレーションプログラムを格納
   した記憶媒体。
8. 【請求項８】 前記コード部分の変形除去プロセスは、 前記コード画像及び前記更新されたマスク情報及び前記
   参照点の画面座標を読み込むプロセスと、 前記更新されたマスク情報のリストから順次マスクを選
   択するプロセスと、 同一平面上の世界座標に単位正方形世界座標を代入し、
   該単位正方形世界座標に対応する画面座標に、選択され
   たマスクの参照点の画面座標を代入し、射影変換行列を
   求めるプロセスと、 前記射影変換行列の逆行列を用いて逆射影変換を行い、
   投影歪を除去したコード画像を取得し、該コード画像に
   対して必要なスケール変換を行うプロセスとを有する請
   求項４記載のカメラキャリブレーションプログラムを格
   納した記憶媒体。
9. 【請求項９】 前記対象物既知点対応付けプロセスは、 前記対象物既知点の画面座標及び対象物既知点の模式図
   と世界座標を読み込むプロセスと、 前記対象物既知点の模式図を表示するプロセスと、 表示された前記模式図からすでに、前記画面座標の取得
   時に指定された対象物既知点に対応する模式図上での点
   を選択し、選択された該点の世界座標を前記組データか
   ら読み出して、指定された対象物既知点の画面座標と世
   界座標の対応付けを行うプロセスとを有する請求項３記
   載のカメラキャリブレーションプログラムを格納した記
   憶媒体。