JP2002031515A

JP2002031515A - カメラのキャリブレーション方法およびこれを利用する装置並びにキャリブレーションプログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2002031515A
Application number: JP2000215770A
Authority: JP
Inventors: Ryuichi Ishino; 隆一石野
Original assignee: Central Research Institute of Electric Power Industry
Current assignee: Central Research Institute of Electric Power Industry
Priority date: 2000-07-17
Filing date: 2000-07-17
Publication date: 2002-01-31

Abstract

(57)【要約】【課題】画像から特徴点を抽出したり特徴点同士の対
応付けを行わずに多眼カメラシステムのカメラキャリブ
レーションを行う。【解決手段】２台のカメラにより計測対象を撮影して
２枚の画像を得て（ステップ１）、一方の画像を基準画
像、他方の画像を参照画像とし（ステップ２）、各画像
の視差に基づいた画像計測を行う前に、基準画像に対し
て適正な視差を得られる位置に参照画像を位置させるた
めの補正量を算出するカメラのキャリブレーション方法
において、参照画像を移動する（ステップ３）と共に各
位置で基準画像との視差画像を作成して（ステップ
４）、各視差画像の指示値分布の分散を求め（ステップ
６）、該分散が最小となるときの参照画像の移動量を補
正量とする（ステップ７）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数のカメラによ
り同一の計測対象を撮像して、その視差を利用して３次
元画像計測を行う前に、カメラの位置ずれに対するキャ
リブレーションを行う方法およびこれを利用する装置並
びにこのキャリブレーションプログラムを記録したコン
ピュータ読み取り可能な記録媒体に関する。さらに詳述
すると、本発明は、手法を改良したキャリブレーション
方法およびこれを利用する装置並びにこのキャリブレー
ションプログラムを記録したコンピュータ読み取り可能
な記録媒体に関する。

【０００２】

【従来の技術】複数のカメラを利用してステレオ画像計
測を行う装置では、計測精度を高めるためにカメラの位
置や光軸の向きをできるだけ正確にして設置することが
望まれる。しかしながら、カメラを正確に設置しようと
しても若干の取付誤差等が生じてしまい、各カメラで撮
影された画像をそのまま画像計測に利用することはでき
ない。このため、得られた画像に補正を加えたものを利
用して画像計測を行うようにする。この装置固有の補正
量を予め決定しておくために、いわゆるキャリブレーシ
ョン作業が必要とされる。

【０００３】例えば２台のカメラの間でキャリブレーシ
ョンを行う場合は、寸法や形状が既知であるパターンを
撮影する。一方のカメラで撮られた画像を基準画像、他
方のカメラで撮られた画像を参照画像として、パターン
の複数の点を特徴点として各画像から抽出する。そし
て、各画像での対応する特徴点が同一点であることを利
用して解析を行い、参照画像の補正量を求める。

【０００４】このようなキャリブレーションに用いるパ
ターンとしては、例えば図１３に示すような格子模様１
００を利用する。この場合、格子模様１００を左右のカ
メラで撮影して基準画像１０１および参照画像１０２を
得る。そして、図１４に示すように例えば基準画像１０
１の格子の交点を特徴点（同図中、小円で示す）として
抽出する。この抽出は、各画像１０１，１０２に画像処
理を施して自動で行うようにしている。

【０００５】

【発明が解決しようとする課題】しかしながら、上述し
たキャリブレーション方法では、各画像１０１，１０２
からの特徴点の抽出や各画像１０１，１０２の特徴点同
士の対応付けを必要とするので、キャリブレーション作
業が煩雑になってしまう。特に、特徴点の抽出や特徴点
の対応付けは室内で難しく、屋外では更に難しくなって
しまう。このため、多眼カメラを用いて屋外の工事現場
等を監視するためにはキャリブレーション作業に大きな
労力を必要としてしまう。

【０００６】また、特徴点として格子の交点を利用する
場合に、図１４に示すように特徴点が交点から僅かにず
れて検出されたり、交点の近傍の複数箇所に検出された
り、あるいは特徴点が検出されないことがある。このよ
うに交点の自動検出の精度が悪いときには、人間が正し
い交点を抽出したり不要な特徴点を除去しなければなら
ず作業性が悪い。

【０００７】そこで、本発明は、基準画像および参照画
像から特徴点を抽出したり特徴点同士の対応付けを行わ
ずに多眼カメラシステムのカメラキャリブレーションを
行うことができるキャリブレーション方法およびこれを
利用する装置並びにキャリブレーションプログラムを記
録したコンピュータ読み取り可能な記録媒体を提供する
ことを目的とする。

【０００８】

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の発明は、２台のカメラにより計測対
象を撮影して２枚の画像を得て、一方の画像を基準画
像、他方の画像を参照画像とし、各画像の視差に基づい
た画像計測を行う前に、基準画像に対して適正な視差を
得られる位置に参照画像を位置させるための補正量を算
出するカメラのキャリブレーション方法において、参照
画像を移動すると共に各位置で基準画像との視差画像を
作成して、各視差画像の指示値分布の分散を求め、該分
散が最小となるときの参照画像の移動量を補正量とする
ようにしている。また、請求項５記載の発明は、２台の
カメラにより計測対象を撮影して２枚の画像を得て、一
方の画像を基準画像、他方の画像を参照画像とし、各画
像の視差に基づいた画像計測を行う前に、基準画像に対
して適正な視差を得られる位置に参照画像を位置させる
ための補正量を算出するカメラのキャリブレーション装
置において、参照画像を移動する参照画像移動手段と、
移動された参照画像と基準画像とにより視差画像を作成
する視差画像作成手段と、各視差画像の指示値分布の分
散を求める分散作成手段と、該分散が最小となるときの
参照画像の移動量を補正量とする補正量決定手段とを有
するようにしている。

【０００９】したがって、キャリブレーションパターン
を撮影した基準画像および参照画像の特徴点を抽出する
ことなく参照画像の補正量を決定することができるの
で、キャリブレーションパターンや特徴点抽出を不要に
することができる。このため、従来のような各画像から
の特徴点の抽出や各画像の特徴点同士の対応付けに伴う
煩雑さが無くなり、補正量算出の高速化および自動化を
促進することができる。

【００１０】しかも、基準画像および参照画像の少なく
とも一方にノイズが載っていても、各視差画像の分散値
は全て同方向に増減するので、変換量の評価精度を維持
することができる。

【００１１】そして、請求項９記載の発明は、２台のカ
メラにより計測対象を撮影して２枚の画像を得て、一方
の画像を基準画像、他方の画像を参照画像とし、各画像
の視差に基づいた画像計測を行う前に、基準画像に対し
て適正な視差を得られる位置に参照画像を位置させるた
めの補正量を算出するカメラのキャリブレーションをコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体において、参照画像
を移動する参照画像移動手順と、移動された参照画像と
基準画像とにより視差画像を作成する視差画像作成手順
と、各視差画像の指示値分布の分散を求める分散作成手
順と、該分散が最小となるときの参照画像の移動量を補
正量とする補正量決定手順とをコンピュータに実行させ
るようにしている。

【００１２】したがって、コンピュータで記録媒体に格
納されたプログラムを読み取り、インストールすること
によってあるいはそのままプログラムを実行することに
よって、カメラのキャリブレーションを容易に行うこと
ができる。

【００１３】さらに、請求項２記載の発明は、請求項１
記載のカメラのキャリブレーション方法において、２台
のカメラは多数の撮像素子を配列して成る撮像面を有す
るものであり、参照画像の移動は該参照画像に対してそ
の座標軸を相対移動させて行うものであり、基準画像の
任意の座標（Ｘｂ，Ｙｂ）に関連付けた画素群を抽出し
て該画素群での各画素の輝度値の配列をテンプレートと
し、移動後の参照画像の座標（Ｘａ，Ｙｂ）（但し、Ｘ
ａは当該参照画像のＸ軸座標の最小値から最大値までの
各値）に画素群抽出の関連付けと同じ関連付けをした参
照画素群を抽出して、該参照画素群での各画素の輝度値
の配列をテンプレートとそれぞれ比較して一致度を求
め、該一致度が最高となる参照画素群を検出し、該参照
画素群のＸ座標をＸｒとして、該参照画素群とテンプレ
ートとの視差値Ｘｄ＝｜Ｘｂ−Ｘｒ｜に対応する指示値
を求めて、基準画像の全面についてテンプレートの作成
と該テンプレートに対応する指示値を算出して、各画素
群の座標（Ｘｂ，Ｙｂ）と該座標に対応する指示値とか
ら視差画像を作成するようにしている。また、請求項６
記載の発明は、請求項５記載のカメラのキャリブレーシ
ョン装置において、２台のカメラは多数の撮像素子を配
列して成る撮像面を有するものであり、参照画像移動手
段は参照画像に対してその座標軸を相対移動させること
により該参照画像を移動するものであり、視差画像作成
手段は、基準画像の任意の座標（Ｘｂ，Ｙｂ）に関連付
けた画素群を抽出して該画素群での各画素の輝度値の配
列をテンプレートとするテンプレート抽出手段と、移動
後の参照画像の座標（Ｘａ，Ｙｂ）（但し、Ｘａは当該
参照画像のＸ軸座標の最小値から最大値までの各値）に
画素群抽出の関連付けと同じ関連付けをした参照画素群
を抽出して、該参照画素群での各画素の輝度値の配列を
テンプレートとそれぞれ比較して一致度を求め、該一致
度が最高となる参照画素群を検出する照合手段と、最高
の一致度で検出された参照画素群のＸ座標をＸｒとした
ときの該参照画素群とテンプレートとの視差値Ｘｄ＝｜
Ｘｂ−Ｘｒ｜に対応する指示値を求めて、基準画像の全
面についてテンプレートの作成と該テンプレートに対応
する指示値を算出して、各画素群の座標（Ｘｂ，Ｙｂ）
と該座標に対応する指示値とから視差画像を作成する画
像作成手段とを備えるようにしている。さらに、請求項
１０記載の発明は、請求項９記載のプログラムを記録し
たコンピュータ読み取り可能な記録媒体において、２台
のカメラは多数の撮像素子を配列して成る撮像面を有す
るものであり、参照画像移動手順は参照画像に対してそ
の座標軸を相対移動させることにより該参照画像を移動
するものであり、視差画像作成手順は、基準画像の任意
の座標（Ｘｂ，Ｙｂ）に関連付けた画素群を抽出して該
画素群での各画素の輝度値の配列をテンプレートとする
テンプレート抽出手順と、移動後の参照画像の座標（Ｘ
ａ，Ｙｂ）（但し、Ｘａは当該参照画像のＸ軸座標の最
小値から最大値までの各値）に画素群抽出の関連付けと
同じ関連付けをした参照画素群を抽出して、該参照画素
群での各画素の輝度値の配列をテンプレートとそれぞれ
比較して一致度を求め、該一致度が最高となる参照画素
群を検出する照合手順と、最高の一致度で検出された前
記参照画素群のＸ座標をＸｒとしたときの該参照画素群
とテンプレートとの視差値Ｘｄ＝｜Ｘｂ−Ｘｒ｜に対応
する指示値を求めて、基準画像の全面についてテンプレ
ートの作成と該テンプレートに対応する指示値を算出し
て、各画素群の座標（Ｘｂ，Ｙｂ）と該座標に対応する
指示値とから視差画像を作成する画像作成手順とを備え
るようにしている。

【００１４】したがって、視差画像は基準画像の画素群
と参照画像の参照画素群とを比較して作成されるので、
各画素群の大きさや形状を設定することによりパターン
認識の精度と視差画像の解像度とを調整することができ
る。

【００１５】また、請求項３、７、１０のいずれかに記
載された発明によれば、各カメラの撮像素子はＸＹ直交
座標のＸ軸方向とＹ軸方向とに沿って配列されたもので
あり、各撮像面のＸ軸方向とカメラが離れている方向と
を平行にして、各カメラの撮像面が同一平面内に位置す
ると共に各レンズの光軸が互いに平行に成るようにカメ
ラを設置して、参照画像の比較用参照画像への変換はＹ
軸方向への偏倚であるようにしている。

【００１６】したがって、カメラの設置条件を限定して
参照画像の補正方向をＹ軸方向のみにすることができ
る。すなわち、参照画像をＹ軸方向のみに偏倚すれば視
差が適正となる位置を見出すことができる。このため、
参照画像の補正方向が限定されていない場合に比べて参
照画像の移動回数および視差画像の作成枚数を大幅に減
らすことができるので、キャリブレーションの迅速化を
図ることができる。

【００１７】そして、請求項４、８、１１のいずれかに
記載された発明によれば、指示値は視差値に比例する輝
度値であるので、視差画像を視覚的に捉えることができ
るようになる。このため、指示値分布の分散の大小を感
覚的に判りやすくすることができる。

【００１８】

【発明の実施の形態】以下、本発明の構成を図面に示す
実施の形態の一例に基づいて詳細に説明する。図５に本
発明のカメラのキャリブレーション装置１の実施形態を
示す。

【００１９】このカメラのキャリブレーション装置１
は、２台のカメラ２，３により計測対象４を撮影して２
枚の画像を得て、一方の画像を基準画像５、他方の画像
を参照画像６とし、各画像５，６の視差に基づいた画像
計測を行う前に、基準画像５に対して適正な視差を得ら
れる位置に参照画像６を位置させるための補正量Ｙｃを
算出するためのものである。

【００２０】このキャリブレーション装置１は、図５に
示すように参照画像を移動する参照画像移動手段１０
と、移動された参照画像６と基準画像５とにより視差画
像１５を作成する視差画像作成手段９と、各視差画像１
５の指示値分布の分散を求める分散作成手段１７と、該
分散が最小となるとき（図１１中、Ｖｍｉｎで示す点）
の参照画像６の移動量を補正量Ｙｃとする補正量決定手
段１８とを有するようにしている。このため、基準画像
５および参照画像６の特徴点を抽出する手段を有してい
ないので、従来のような各画像５，６からの特徴点の抽
出や各画像５，６の特徴点同士の対応付けに伴う煩雑な
計算手段を不要にできる。よって、補正量算出の高速化
を図ることができる。

【００２１】このキャリブレーション装置１では、２台
のカメラ２，３は多数の撮像素子を配列して成る撮像面
を有すると共に、同一焦点距離のレンズ２ａ，３ａを有
している。そして、参照画像移動手段１０は、参照画像
６に対してその座標軸を相対移動させることにより該参
照画像６を移動するものとしている。

【００２２】さらに、視差画像作成手段９は、図５に示
すように基準画像５からテンプレート１１を作成するテ
ンプレート抽出手段１２と、当該テンプレート１１と移
動後の参照画像６を比較して一致度が最高の参照画素群
１３を検出する照合手段１４と、テンプレート１１およ
び参照画素群１３の視差値Ｘｄに基づき視差画像１５を
作成する画像作成手段１６とを備えている。

【００２３】本実施形態では、各カメラ２，３の撮像素
子はＸＹ直交座標のＸ軸方向とＹ軸方向とに沿って格子
状に配列したＣＣＤから成るようにしている。そして、
各撮像面のＸ軸方向とカメラ２，３が離れている方向と
が水平になるようにカメラ２，３を設置している。さら
に、各カメラ２，３の撮像面が同一平面内に位置すると
共に、各レンズ２ａ，３ａの光軸７，８が互いに平行に
成るようにカメラ２，３は設置されている。このため、
参照画像６をＹ軸方向のみに偏倚すれば視差が適正とな
る位置を見出すことができるので、参照画像６の移動回
数を最低限に抑えてキャリブレーションの迅速化を図る
ことができる。

【００２４】参照画像移動手段１０は、参照画像６をＹ
軸方向に相対的に偏倚するものとしている。すなわち、
参照画像移動手段１０は、図３に示すように基準画像５
のＸ軸の延長上に位置する参照画像６のＸ軸に対して参
照画像６そのものをＹ軸方向に１画素ずつずらすものと
している。また、この参照画像移動手段１０は、参照画
像６の偏倚量が最大で例えば±３５画素になるまで移動
させるものとしている。

【００２５】テンプレート抽出手段１２は、図６（Ａ）
に示すように基準画像５の任意の座標（Ｘｂ，Ｙｂ）に
関連付けた画素群１９を抽出し、該画素群１９での各画
素の輝度値の配列をテンプレート１１とする。本実施形
態では、画素群１９を縦横３×３画素として、予め基準
画像５を画素群１９で分割しておく。そして、いずれか
任意の画素群１９の中心画素の座標（Ｘｂ，Ｙｂ）を指
定し、指定した画素を中心とする縦横３×３画素を画素
群１９として抽出し、図７に示すようにその画素群１９
の輝度値の配列パターンをテンプレート１１としてい
る。本実施形態ではテンプレート１１の配列が縦横３×
３画素であるので、参照画像６と比較したときのパター
ン認識の精度を担保できると共に視差画像１５の解像度
が粗く成りすぎることを防止できる。

【００２６】照合手段１４は、図６（Ｂ）に示すように
移動後の参照画像６の座標（Ｘａ，Ｙｂ）（但し、Ｘａ
＝Ｘｍｉｎ〜Ｘｍａｘ）に画素群１９抽出の関連付けと
同じ関連付けをした参照画素群１３を抽出する。換言す
ると、移動後の参照画像６のｙ＝Ｙｂとなる直線を走査
線２０として、該走査線２０の全域で参照画素群１３を
抽出する。各座標（Ｘａ，Ｙｂ）と参照画素群１３との
関連付けは、基準画像５の座標（Ｘｂ，Ｙｂ）に対する
画素群１９の関連付けと同じにしており、本実施形態で
は参照画素群１３は各座標（Ｘａ，Ｙｂ）を中心とする
縦横３×３画素から成るようにしている。そして、照合
手段１４は、全ての参照画素群１３とテンプレート１１
との輝度値の配列を比較して一致度を求める。その結
果、一致度が最高となる参照画素群１３を検出する。ま
た、この一致度が最高の参照画素群１３のＸ座標をＸｒ
とする。

【００２７】画像作成手段１６は、まず参照画素群１３
とテンプレート１１との視差値Ｘｄ＝｜Ｘｂ−Ｘｒ｜を
求めて、これに対応する指示値を求める。そして、基準
画像５の全面についてテンプレート１１の作成と該テン
プレート１１に対応する指示値を算出する。そして、図
８に示すように、各画素群１９の座標（Ｘｂ，Ｙｂ）を
中心とする縦横３×３画素の領域２１に、該画素群１９
に対応する指示値を当てはめる。これを全画素群１９に
ついて行うことにより視差画像１５を作成する。

【００２８】ここで、指示値としては、視差値Ｘｄに比
例する輝度値を採用している。この場合、得られた視差
値Ｘｄが採り得る最小値のときに輝度値０（黒）とし、
得られた視差値Ｘｄが採り得る最大値のときに輝度値２
５５（白）とする。また、視差値Ｘｄが最小値と最大値
との間のときは、輝度値０〜２５５の間で比例関係によ
り補間する。したがって、視差画像１５は、図９に示す
ように、計測対象４との距離が大きいときは視差値Ｘｄ
が小さいので暗く表示される一方、計測対象４との距離
が大きいときは視差値Ｘｄが大きいので明るく表示され
るようになる。このため、視差画像１５を視覚的に捉え
ることができるので、例えば図９に示す視差画像１５と
図１０に示す視差画像１５とを比較して図９に示す方が
輝度値分布の分散が小さいということを感覚的に判りや
すくなる。

【００２９】上述したキャリブレーション装置１の参照
画像移動手段１０と視差画像作成手段９と分散算出手段
１７と補正量決定手段１８とは、コンピュータシステム
にて構成されている。このコンピュータシステムは、特
に図示していないが、例えば各種の演算処理を実行する
中央演算処理装置と、演算処理を実行する上で必要なプ
ログラムやデータ等を記憶する主記憶装置と、入出力ポ
ート等の各種インタフェースと、このキャリブレーショ
ンを実現するプログラムやその処理を実行する上で必要
な各種データや定数等を記憶する例えばハードディスク
ドライブ装置と、データや必要な指令を入力する入力装
置と、中央演算処理装置で処理した結果を出力する出力
装置とから構成されている。

【００３０】上述したキャリブレーション装置１により
カメラのキャリブレーションを実行する手順を図１に示
すフローチャートに基づいて説明する。

【００３１】撮影を行う２台のカメラ２，３を設置する
（ステップ１）。この設置は、図３に示すように各カメ
ラ２，３の各撮像面のＸ軸方向とカメラ２，３が離れて
いる方向とが平行になるようにする。さらに、各カメラ
２，３の撮像面が同一平面内に位置すると共に、各光軸
７，８が互いに平行に成るように設置する。

【００３２】そして、一方のカメラ２で基準画像５を撮
影すると同時に他方のカメラ３で参照画像６を撮影する
（ステップ２、図４参照）。さらに、参照画像移動手段
１０により、参照画像６をＹ軸方向に偏倚する（ステッ
プ３）。移動後の参照画像６と基準画像５とに基づい
て、視差画像作成手段９により視差画像１５を作成する
（ステップ４）。

【００３３】そして、参照画像６のＹ軸方向の偏倚量の
全範囲、即ち０〜±３５画素の範囲の全てについて移動
して視差画像１５を作成したか判断し（ステップ５）、
全ての視差画像１５を作成していなければ（ステップ
５；ＮＯ）、次の移動を行って視差画像１５を作成する
（ステップ３〜ステップ４）。これにより、偏倚量が０
〜±３５画素の範囲で合計７１枚の視差画像１５が作成
される。

【００３４】全ての視差画像１５が作成されれば（ステ
ップ５；ＹＥＳ）、分散算出手段１７が図１１に示すよ
うに各視差画像１５ごとに輝度値の分布の分散を求める
（ステップ６）。分散算出手段１７では、数式１により
視差画像１５の輝度値の平均Ｄａｖｅを算出する。

【数１】但し、数式１で、Ｖ＿ＳＩＺＥはＹ軸方向の画像サイズ
（画素数）、Ｈ＿ＳＩＺＥはＸ軸方向の画像サイズ（画
素数）、Ｄｈｖは座標（ｈ，ｖ）の画素の輝度値であ
る。

【００３５】そして、数式２により視差画像１５の輝度
分散Ｖａｒを算出する。

【数２】

【００３６】そして、補正量決定手段１８により、輝度
分散Ｖａｒの最小となったとき（図１１中、Ｖｍｉｎで
示す点）の参照画像６の偏倚量を参照画像６の補正量Ｙ
ｃと決定する。

【００３７】次に、上述した視差画像作成手段９により
視差画像１５を作成する手順を図２に示すフローチャー
トに基づいて説明する。

【００３８】テンプレート抽出手段１２により、基準画
像５を図６（Ａ）に示すように縦横３×３画素の画素群
１９に分割しておく（ステップ８）。そして、任意の画
素群１９の中心画素の座標（Ｘｂ，Ｙｂ）を指定し、指
定した画素を中心とする縦横３×３画素を画素群１９と
して抽出し、図７に示すようにその画素群１９の輝度値
の配列パターンをテンプレート１１とする（ステップ
９）。

【００３９】そして、照合手段１４により、図６（Ｂ）
に示すように移動後の参照画像６のｙ＝Ｙｂの走査線２
０上で参照画素群１３を作成・抽出すると共に、各参照
画素群１３とテンプレート１１との輝度値の配列を比較
して一致度を求める（ステップ１０）。この一致度の算
出の手法は従来から使用される既知のもので良い。一致
度を求めた結果、一致度が最高となる参照画素群１３を
検出する（ステップ１１）。この参照画素群１３のＸ座
標はＸｒとする。

【００４０】さらに、画像作成手段１６により、検出し
た参照画素群１３とテンプレート１１との視差値Ｘｄ＝
｜Ｘｂ−Ｘｒ｜を求めて（ステップ１２）、該視差値Ｘ
ｄを０〜２５５の輝度値に変換する（ステップ１３）。

【００４１】そして、基準画像５の全画素群１９につい
てテンプレート１１の作成と対応する輝度値を算出した
か判断し（ステップ１４）、まだであれば（ステップ１
４；ＮＯ）未処理の画素群１９についてテンプレート１
１の作成と対応する輝度値の算出を行う（ステップ９〜
ステップ１３）。全画素群１９についてテンプレート１
１の作成と対応する輝度値を算出していれば（ステップ
１４；ＹＥＳ）、図８に示すように、各画素群１９の座
標（Ｘｂ，Ｙｂ）を中心とする縦横３×３画素の領域２
１に、該画素群１９に対応する輝度値を当てはめる。こ
れを全画素群１９について行うことにより視差画像１５
を作成する（ステップ１５）。

【００４２】なお、上述の実施形態は本発明の好適な実
施の一例ではあるがこれに限定されるものではなく本発
明の要旨を逸脱しない範囲において種々変形実施可能で
ある。例えば上述した実施形態では各撮像面のＸ軸方向
とカメラ２，３が離れている方向とが水平になるように
カメラ２，３を設置しているが、これには限られず各撮
像面のＸ軸方向とカメラ２，３が離れている方向とを平
行に維持しながらカメラ２，３を鉛直あるいは斜めに設
置するようにしても良い。いずれの場合も、各撮像面の
Ｘ軸方向とカメラ２，３が離れている方向とが平行であ
るので、参照画像６をＹ軸方向のみに偏倚すれば視差が
適正となる位置を見出すことができる。

【００４３】また、本実施形態では参照画像６をＹ軸方
向に偏倚させて視差画像１５を作成しているが、これに
は限られず例えば参照画像６を回転させたり変形させる
等の移動により視差画像１５を作成するようにしても良
い。

【００４４】また、上述した実施形態では、撮像素子で
あるＣＣＤが直交座標のＸ軸方向とＹ軸方向に沿って配
列されているが、これには限られず六角形のいわゆるハ
ニカム状に配列したものであっても良い。この場合も基
準画像５からテンプレート１１を作成して参照画像６の
走査線２０上の参照画素群１３と比較できるので、各画
像５，６からの特徴点の抽出や各画像５，６の特徴点同
士の対応付けに伴う煩雑な計算手段を不要にすることが
できる。

【００４５】さらに、上述した各実施形態ではテンプレ
ート１１として基準画像５の任意の座標（Ｘｂ，Ｙｂ）
を中心とする縦横３×３画素の画素群１９を使用してい
るが、これには限られず画素群１９の大きさや形状は特
に限定されない。画素群１９を大きく設定したときは、
各テンプレート１１のパターン数が多くなるので参照画
像６と比較したときのパターン認識の精度を高めること
ができる。その一方、画素群１９を小さく設定したとき
は、視差画像１５の解像度を細かくすることができるの
で、計測対象４の輪郭を詳細に表現して輝度値分散の評
価精度を高めることができる。更に任意の座標（Ｘｂ，
Ｙｂ）が画素群１９の必ず中心に位置する必要はなく、
画素群１９の端部や角部や画素群１９から離れた位置で
あっても良い。いずれの場合もテンプレート１１と参照
画素群１３との比較により一致度を検出することができ
る。

【００４６】また、上述した実施形態では各視差画像１
５を形成する指示値は視差値に比例する輝度値としてい
るが、これには限られず視差値に相関関係のある色情報
としたり、視差値自体を指示値として利用したり、ある
いは視差値の２乗の値を利用したり、他の相関関係を有
する値を利用するようにしても良い。いずれの場合も視
差値に対応した値により視差画像１５を作成できるの
で、その指示値分散により補正量を決定することができ
る。

【００４７】さらに、上述した各実施形態ではキャリブ
レーション装置１はコンピュータシステムから構成され
るものとしているが、これには限られない。例えば、上
述したキャリブレーション方法をコンピュータに実行さ
せるためのプログラムを記録したＣＤ−ＲＯＭやフロッ
ピー（登録商標）ディスク等のコンピュータ読み取り可
能な記録媒体を使用して汎用コンピュータを作動させる
ことによりキャリブレーション方法を実行することもで
きる。

【００４８】ここでのプログラムは、具体的には、参照
画像６を移動する参照画像移動手順と、移動された参照
画像６と基準画像５とにより視差画像１５を作成する視
差画像作成手順と、各視差画像１５の指示値分布の分散
を求める分散作成手順と、該分散が最小となるときの参
照画像６の移動量を補正量Ｙｃとする補正量決定手順と
をコンピュータに実行させるためのものである。

【００４９】この場合はキャリブレーションプログラム
を汎用コンピュータに実行させているが、これには限ら
れずこの方法を専用のコンピュータから成る独立した装
置に実行させるようにしても良い。さらに、上述した実
施形態では、キャリブレーション方法をコンピュータに
実行させているが、これには限られずこの方法をシーケ
ンス回路に実行させるようにしても良い。いずれの場合
も、基準画像５および参照画像６の特徴点を抽出する手
段を有していないので、各画像５，６からの特徴点の抽
出や各画像５，６の特徴点同士の対応付けに伴う煩雑な
計算手段を不要にできる。

【００５０】

【実施例】（実施例１）図３および図５に示すカメラ
２，３およびキャリブレーション装置１を使用して、図
４に示す画像５，６を撮影した。これらの画像５，６に
基づいて図１および図２に示す手順により視差画像１５
を作成して、各視差画像１５の輝度値分布の分散を求め
た。その結果を図１１に示す。同図に示すように、参照
画像６をＹ軸方向に−１３画素移動させたときの視差画
像１５（図９に示す）の輝度値分布の分散値（Ｖｍｉ
ｎ）が最小になった。したがって、カメラ２，３により
撮影される参照画像６の補正値は、Ｙ軸方向に−１３画
素であると判断された。

【００５１】また、参照画像６をＹ軸方向に＋１３画素
移動させたときの視差画像１５（図１０に示す）の輝度
値分布の分散値（Ｖｍａｘ）が最大になった。このとき
の視差画像１５は混沌としており、見た目で意味の分か
る画像では無かった。これに対し、最適な視差を得られ
るときの図９の視差画像１５では、図４の基準画像５に
写った計測対象４の輪郭に近似した画像が得られた。こ
のため、最適な視差を得られる位置の参照画像６の視差
画像１５は、見た目で意味の分かる画像に成った。

【００５２】したがって、このキャリブレーション方法
における判断手法によれば、視差画像１５の画像が見た
目で基準画像５に近いほど参照画像６の位置が適正であ
る一方、視差画像１５の画像が意味不明に成るほど参照
画像６の位置が不適正であるので、感覚的に捉えやすい
判断手法と言うことができる。

【００５３】（実施例２）移動後の各参照画像６におけ
る視差の真値に対する誤差を求めた。この計算は数式３
により行った。

【数３】誤差＝｜Ｄｉｓｔ_１２−Ｄｉｓｔ_ｔｒ｜／Ｄｉ
ｓｔ_ｔｒ×１００（％）但し、Ｄｉｓｔ_１２：第１物体と第２物体との推定視差
の差、即ち撮影画像から測定した各物体の間の視差Ｄｉｓｔ_ｔｒ：第１物体と第２物体との視差の差の真
値、即ち各物体の間隔を直接計測して求めた視差

【００５４】その結果を図１１に示す。また、各参照画
像６における輝度値分散と視差の真値に対する誤差との
関係を図１２に示す。これらのグラフから明らかなよう
に、視差の誤差が最小のときと輝度値分散が最小のとき
とが一致した。したがって、輝度値分散の最小時に視差
の誤差が最小になると判断できた。

【００５５】

【発明の効果】以上の説明より明らかなように、請求項
１記載のカメラのキャリブレーション方法と請求項５記
載のカメラのキャリブレーション装置と請求項９記載の
記録媒体によれば、キャリブレーションパターンを撮影
した基準画像および参照画像の特徴点を抽出することな
く参照画像の補正量を決定することができるので、キャ
リブレーションパターンや特徴点抽出を不要にすること
ができる。このため、従来のような各画像からの特徴点
の抽出や各画像の特徴点同士の対応付けに伴う煩雑さが
無くなり、補正量算出の高速化を図ることができる。ま
た、特徴点を作業者が修正したり加えたりする作業が不
要になるので、補正量算出の自動化を促進することがで
きる。

【００５６】しかも、基準画像および参照画像の少なく
とも一方にノイズが載っていても、各視差画像の分散値
は全て同方向に増減するので、変換量の評価精度を維持
することができる。

【００５７】また、請求項２、６、１０のいずれかに記
載された発明によれば、視差画像は基準画像の画素群と
参照画像の参照画素群とを比較して作成されるので、各
画素群の大きさや形状を設定することによりパターン認
識の精度と視差画像の解像度とを調整することができ
る。

【００５８】さらに、請求項３、７、１１のいずれかに
記載された発明によれば、カメラの設置条件を限定して
参照画像の補正方向をＹ軸方向のみにしているので、参
照画像の補正方向が限定されていない場合に比べて比較
用参照画像の作成枚数を大幅に減らすことができる。こ
れにより、キャリブレーションの迅速化を図ることがで
きる。

【００５９】さらに、請求項４、８、１２のいずれかに
記載された発明によれば、指示値は視差値に比例する輝
度値であるので、視差画像を視覚的に捉えることができ
るようになる。このため、指示値分布の分散の大小を感
覚的に判りやすくすることができる。

【図面の簡単な説明】

【図１】本発明のカメラのキャリブレーション方法を示
すフローチャートである。

【図２】視差画像の作成手順を示すフローチャートであ
る。

【図３】基準画像および参照画像と計測対象との位置関
係を示す斜視図である。

【図４】基準画像および参照画像の一例を示す図であ
る。

【図５】カメラのキャリブレーション装置を示すブロッ
ク図である。

【図６】基準画像および参照画像から画素群を抽出する
様子を示す図であり、（Ａ）は基準画像、（Ｂ）は参照
画像である。

【図７】テンプレートの一例を示す図である。

【図８】視差画像を作成する様子を示す図である。

【図９】視差が適正な比較用参照画像による視差画像の
一例を示す図である。

【図１０】視差が不適正な比較用参照画像による視差画
像の一例を示す図である。

【図１１】偏倚量と輝度値の分散量との関係、並びに偏
倚量と視差の誤差との関係を示すグラフである。

【図１２】輝度値の分散量と視差の誤差との関係を示す
グラフである。

【図１３】従来のキャリブレーションパターンを示す斜
視図である。

【図１４】キャリブレーションパターンにより特徴点を
自動抽出した画像を示す図である。

【符号の説明】

１キャリブレーション装置２，３カメラ２ａ，３ａレンズ４計測対象５基準画像６参照画像７，８光軸９視差画像作成手段１０参照画像移動手段１１テンプレート１２テンプレート抽出手段１３参照画素群１４照合手段１５視差画像１６画像作成手段１７分散算出手段１８補正量決定手段１９画素群

Claims

【特許請求の範囲】

【請求項１】２台のカメラにより計測対象を撮影して
２枚の画像を得て、一方の画像を基準画像、他方の画像
を参照画像とし、各画像の視差に基づいた画像計測を行
う前に、前記基準画像に対して適正な視差を得られる位
置に前記参照画像を位置させるための補正量を算出する
カメラのキャリブレーション方法において、前記参照画
像を移動すると共に各位置で前記基準画像との視差画像
を作成して、各視差画像の指示値分布の分散を求め、該
分散が最小となるときの前記参照画像の移動量を前記補
正量とすることを特徴とするカメラのキャリブレーショ
ン方法。
【請求項２】前記２台のカメラは多数の撮像素子を配
列して成る撮像面を有するものであり、前記参照画像の
移動は該参照画像に対してその座標軸を相対移動させて
行うものであり、前記基準画像の任意の座標（Ｘｂ，Ｙ
ｂ）に関連付けた画素群を抽出して該画素群での各画素
の輝度値の配列をテンプレートとし、移動後の前記参照
画像の座標（Ｘａ，Ｙｂ）（但し、Ｘａは当該参照画像
のＸ軸座標の最小値から最大値までの各値）に前記画素
群抽出の関連付けと同じ関連付けをした参照画素群を抽
出して、該参照画素群での各画素の輝度値の配列を前記
テンプレートとそれぞれ比較して一致度を求め、該一致
度が最高となる前記参照画素群を検出し、該参照画素群
のＸ座標をＸｒとして、該参照画素群と前記テンプレー
トとの視差値Ｘｄ＝｜Ｘｂ−Ｘｒ｜に対応する指示値を
求めて、前記基準画像の全面について前記テンプレート
の作成と該テンプレートに対応する前記指示値を算出し
て、各画素群の座標（Ｘｂ，Ｙｂ）と該座標に対応する
前記指示値とから前記視差画像を作成することを特徴と
する請求項１記載のカメラのキャリブレーション方法。
【請求項３】各カメラの前記撮像素子はＸＹ直交座標
のＸ軸方向とＹ軸方向とに沿って配列されたものであ
り、各撮像面のＸ軸方向と前記カメラが離れている方向
とを平行にして、各カメラの前記撮像面が同一平面内に
位置すると共に各レンズの光軸が互いに平行に成るよう
に前記カメラを設置して、前記参照画像の前記比較用参
照画像への変換はＹ軸方向への偏倚であることを特徴と
する請求項２記載のカメラのキャリブレーション方法。
【請求項４】前記指示値は前記視差値に比例する輝度
値であることを特徴とする請求項１から３までのいずれ
か記載のカメラのキャリブレーション方法。
【請求項５】２台のカメラにより計測対象を撮影して
２枚の画像を得て、一方の画像を基準画像、他方の画像
を参照画像とし、各画像の視差に基づいた画像計測を行
う前に、前記基準画像に対して適正な視差を得られる位
置に前記参照画像を位置させるための補正量を算出する
カメラのキャリブレーション装置において、前記参照画
像を移動する参照画像移動手段と、移動された前記参照
画像と前記基準画像とにより視差画像を作成する視差画
像作成手段と、各視差画像の指示値分布の分散を求める
分散作成手段と、該分散が最小となるときの前記参照画
像の移動量を前記補正量とする補正量決定手段とを有す
ることを特徴とするカメラのキャリブレーション装置。
【請求項６】前記２台のカメラは多数の撮像素子を配
列して成る撮像面を有するものであり、前記参照画像移
動手段は前記参照画像に対してその座標軸を相対移動さ
せることにより該参照画像を移動するものであり、前記
視差画像作成手段は、前記基準画像の任意の座標（Ｘ
ｂ，Ｙｂ）に関連付けた画素群を抽出して該画素群での
各画素の輝度値の配列をテンプレートとするテンプレー
ト抽出手段と、移動後の前記参照画像の座標（Ｘａ，Ｙ
ｂ）（但し、Ｘａは当該参照画像のＸ軸座標の最小値か
ら最大値までの各値）に前記画素群抽出の関連付けと同
じ関連付けをした参照画素群を抽出して、該参照画素群
での各画素の輝度値の配列を前記テンプレートとそれぞ
れ比較して一致度を求め、該一致度が最高となる前記参
照画素群を検出する照合手段と、最高の一致度で検出さ
れた前記参照画素群のＸ座標をＸｒとしたときの該参照
画素群と前記テンプレートとの視差値Ｘｄ＝｜Ｘｂ−Ｘ
ｒ｜に対応する指示値を求めて、前記基準画像の全面に
ついて前記テンプレートの作成と該テンプレートに対応
する前記指示値を算出して、各画素群の座標（Ｘｂ，Ｙ
ｂ）と該座標に対応する前記指示値とから前記視差画像
を作成する画像作成手段とを備えることを特徴とする請
求項５記載のカメラのキャリブレーション装置。
【請求項７】各カメラの前記撮像素子はＸＹ直交座標
のＸ軸方向とＹ軸方向とに沿って配列されたものであ
り、各撮像面のＸ軸方向と前記カメラが離れている方向
とを平行にして、各カメラの前記撮像面が同一平面内に
位置すると共に各レンズの光軸が互いに平行に成るよう
に前記カメラを設置して、前記参照画像の前記比較用参
照画像への変換はＹ軸方向への偏倚であることを特徴と
する請求項６記載のカメラのキャリブレーション装置。
【請求項８】前記指示値は前記視差値に比例する輝度
値であることを特徴とする請求項４から７までのいずれ
か記載のカメラのキャリブレーション装置。
【請求項９】２台のカメラにより計測対象を撮影して
２枚の画像を得て、一方の画像を基準画像、他方の画像
を参照画像とし、各画像の視差に基づいた画像計測を行
う前に、前記基準画像に対して適正な視差を得られる位
置に前記参照画像を位置させるための補正量を算出する
カメラのキャリブレーションをコンピュータに実行させ
るためのプログラムを記録したコンピュータ読み取り可
能な記録媒体において、前記参照画像を移動する参照画
像移動手順と、移動された前記参照画像と前記基準画像
とにより視差画像を作成する視差画像作成手順と、各視
差画像の指示値分布の分散を求める分散作成手順と、該
分散が最小となるときの前記参照画像の移動量を前記補
正量とする補正量決定手順とをコンピュータに実行させ
るためのプログラムを記録したコンピュータ読み取り可
能な記録媒体。
【請求項１０】前記２台のカメラは多数の撮像素子を
配列して成る撮像面を有するものであり、前記参照画像
移動手順は前記参照画像に対してその座標軸を相対移動
させることにより該参照画像を移動するものであり、前
記視差画像作成手順は、前記基準画像の任意の座標（Ｘ
ｂ，Ｙｂ）に関連付けた画素群を抽出して該画素群での
各画素の輝度値の配列をテンプレートとするテンプレー
ト抽出手順と、移動後の前記参照画像の座標（Ｘａ，Ｙ
ｂ）（但し、Ｘａは当該参照画像のＸ軸座標の最小値か
ら最大値までの各値）に前記画素群抽出の関連付けと同
じ関連付けをした参照画素群を抽出して、該参照画素群
での各画素の輝度値の配列を前記テンプレートとそれぞ
れ比較して一致度を求め、該一致度が最高となる前記参
照画素群を検出する照合手順と、最高の一致度で検出さ
れた前記参照画素群のＸ座標をＸｒとしたときの該参照
画素群と前記テンプレートとの視差値Ｘｄ＝｜Ｘｂ−Ｘ
ｒ｜に対応する指示値を求めて、前記基準画像の全面に
ついて前記テンプレートの作成と該テンプレートに対応
する前記指示値を算出して、各画素群の座標（Ｘｂ，Ｙ
ｂ）と該座標に対応する前記指示値とから前記視差画像
を作成する画像作成手順とを備えることを特徴とする請
求項９記載のプログラムを記録したコンピュータ読み取
り可能な記録媒体。
【請求項１１】各カメラの前記撮像素子はＸＹ直交座
標のＸ軸方向とＹ軸方向とに沿って配列されたものであ
り、各撮像面のＸ軸方向と前記カメラが離れている方向
とを平行にして、各カメラの前記撮像面が同一平面内に
位置すると共に各レンズの光軸が互いに平行に成るよう
に前記カメラを設置して、前記参照画像の前記比較用参
照画像への変換はＹ軸方向への偏倚であることを特徴と
する請求項１０記載のプログラムを記録したコンピュー
タ読み取り可能な記録媒体。
【請求項１２】前記指示値は前記視差値に比例する輝
度値であることを特徴とする請求項８から１１までのい
ずれか記載のプログラムを記録したコンピュータ読み取
り可能な記録媒体。