JP2009042082A - 三次元座標系の設定方法および装置 - Google Patents

Abstract

【課題】測定値を表す座標系として複数の座標系を設定することができる装置に対し、複数の座標系を効率よく且つ精度よく設定する。
【解決手段】所定の空間に、ターゲットマーク９３（第１マーク）を備えた較正チャート９２と、外観上識別可能な基点マーク４３（第２マーク）を備えたステレオカメラ１を配置する。ステレオカメラ１に接続された設定装置９１からステレオカメラ１に較正値を入力し、自動較正機能により固有座標系の原点を較正する。設定装置９１は、較正値、ターゲットマーク９３の位置座標および基点マーク４３の位置座標に基づいて、固有座標系における基点マーク４３の位置座標を算出する。設定装置９１は、算出した基点マーク４３の位置座標を、固有座標系とは別の共通座標系の原点の位置座標として、ステレオカメラ１に記憶せしめる。
【選択図】図２３

Description

本発明は、三次元空間において被測定点の位置を測定する装置に対し、位置を表すための三次元座標系を設定する方法および装置に関する。詳しくは、装置に固有の座標系のほかに、一または複数の座標系を設定する方法および装置に関する。

コンピュータビジョンの分野では、撮影空間をある方向から見たときに視認できる点の位置を光学的に計測することにより、撮影空間に配置された物体の三次元形状を認識したり、撮影空間の奥行きを認識したりすることが行われている。計測の手法としては、三角測量の原理を利用したステレオ画像法、光の照射から反射光の受光までの時間を測定するＴＯＦ（Time of Flight）法、スリット光を照射したときのパターン光を調べる光切断法などが知られている。

視認できる点の位置を所定の座標系における座標値として表し、その座標値を画素値として記録した画像は、一般に「距離画像」、「奥行画像」などと呼ばれている。距離画像には、人間が対象を両眼視することにより認識する空間的な位置の情報が含まれている。一方、通常の撮影により得られるＲＧＢデータあるいは濃淡画像には、人間が物体を見たときに認識する色や明るさの情報が含まれている。よって、距離画像から得られる情報とＲＧＢデータなどから得られる情報とを組み合わせれば、人間が視覚により取得するのとほぼ同等の情報をコンピュータに認識させることができる。これにより、撮影空間の立体映像をモニタ上に再生したり、コンピュータにより三次元の物体を判別することが可能となる。このような技術は、あらゆる産業分野において有用な技術であるため、数々の研究が進められている（例えば、特許文献１）。

一方、距離画像を取得する場合に限らず、位置や距離を測定するときには、計測装置の個体差が測量結果に与える影響を軽減するために、装置の使用前に、チャートを用いた較正（キャリブレーション）を行うことが一般的である。装置の動作モードの１つとして、所定操作を行った場合に自動的に内部のパラメータを較正するセルフ（自動）キャリブレーションモードを備えた装置も知られている（例えば、特許文献２）。
特開２００２−０９５０１８号公報 特開２００３−３０７４６６号公報

位置や距離を測定する装置は、装置内部に座標系を保持しており、その座標系に基づいて位置を表したり距離を算出したりする。しかし、空間をどのような座標系で表現するかは、メーカー間、装置間で特に統一されていない。このため、同じ位置から同じ対象を撮影した場合でも、距離画像を生成する撮像装置が異なれば、距離画像の画素値は異なることとなる。この座標系の相違は、異なる計測装置を組み合わせて用いる場合や、計測装置を交換した場合などに、不都合を生じさせる。

上記問題の解決策として、本発明の発明者らは、装置に固有の座標系とは別に複数の装置に共通の共通座標系を装置内部に保持させることを提案している。これに伴い、装置に対し、互いに関連づけられた複数種類の座標系を、短時間で精度良く記憶せしめることが必要になった。

本発明は、上記事情に鑑みて、１台の装置に対し複数種類の座標系をまとめて且つ精度よく設定する方法および装置を提供することを目的とする。

本発明は、上記目的を達成するために、被測定点の位置を測定する装置に対し、位置を表すための三次元座標系を設定する方法を提案する。ここで、設定の対象となる測距装置（第１測距装置）は、装置固有の固有座標系の原点を記憶する記憶部、被測定点の固有座標系における位置座標を取得する座標取得部、入力された較正値と座標取得部により取得された第１マークの位置座標とに基づいて固有座標系の原点を自動的に較正する較正部、および外観上識別可能な第２マークを備えているものとする。

本発明の方法では、まず、所定の空間に、第１マークを備えた較正チャートを配置し、第１測距装置を、同じ空間内の前記第１マークの位置を測定し得る位置に配置する。次に、第１測距装置に設定装置を接続し、設定装置から第１測距装置の較正部に所定の較正値を送信して、前記記憶部に記憶された固有座標系の原点を較正せしめる。続いて、設定装置が、較正値、第１マークの位置座標および第２マークの位置座標に基づいて、固有座標系における第２マークの位置座標を算出し、第２マークの位置座標を、一の三次元座標系の原点の位置座標として、第１測距装置の記憶部に記憶せしめる。これにより、第１測距装置に対し三次元座標系を設定することができる。

第１マークの位置座標および第２マークの位置座標は、設定の対象となる第１測距装置とは異なる第２測距装置を用いて取得することが好ましい。例えば、被測定点の所定座標系における位置座標を取得する第２測距装置を、前記空間内の第１マークおよび第２マークの位置座標を取得し得る位置に配置し、設定装置から第２測距装置に対し、第１マークおよび第２マークの位置座標の取得を指示する。これにより、設定装置は、第２測距装置により取得された位置座標を利用して、第２マークの位置座標を算出することができる。

また、設定装置に、第１測距装置の一または複数の特徴点と第２マークとの位置関係を表す情報を予め記憶せしめ、その位置関係の情報と第２のマークの位置座標とに基づいて、各特徴点の固有座標系における位置座標を算出し、各特徴点の固有座標系における位置座標を、一の三次元座標系とは異なる三次元座標系の原点の位置座標として、それぞれ、第１測距装置の記憶部に記憶せしめてもよい。これにより、第１測距装置に対し複数の三次元座標系を設定することができる。

さらに、本発明は上記方法に使用する装置として、被測定点の位置を測定する測距装置に接続され、その測距装置に対し位置を表すための三次元座標系を設定する設定装置を提供する。この設定装置は、前記第１測距装置および前記第２測距装置を設定装置にそれぞれ接続するための接続手段を備えている。また、第１測距装置の較正部に所定の較正値を送信して、前記記憶部に記憶された固有座標系の原点を較正せしめる較正指示手段と、第２測距装置に対し、第１マークおよび第２マークの位置座標の取得を指示して、第２測距装置から第１マークおよび第２マークの所定座標系における位置座標を取得する座標取得手段を備える。さらに、較正値、第１マークの位置座標および第２マークの位置座標に基づいて、固有座標系における第２マークの位置座標を算出する算出手段と、算出手段により算出された第２マークの位置座標を、一の三次元座標系の原点の位置座標として、第１測距装置の前記記憶部に記憶せしめることにより、第１測距装置に対し三次元座標系を設定する座標系設定手段とを備える。

なお、上記設定装置は、第１測距装置の一または複数の特徴点と第２マークとの位置関係を表す情報を記憶する記憶手段をさらに備えるものとしてもよい。この場合、算出手段は、記憶手段が記憶する位置関係の情報と座標取得手段が取得した第２マークの位置座標とに基づいて、各特徴点の固有座標系における位置座標を算出する。また、座標系設定手段は、各特徴点の固有座標系における位置座標を、一の三次元座標系とは異なる三次元座標系の原点の位置座標として、それぞれ、第１測距装置の記憶部に記憶せしめることにより、第１測距装置に対し複数の座標系を設定する。

上記方法および装置によれば、固有座標系の較正を行う過程で、固有座標系以外の座標系をも設定するので、設定すべき座標系が２以上ある場合でも、簡単な手順で短時間に設定を行うことができる。また、較正された固有座標系の原点を基準にして、他の座標系を設定するため、すべての座標系を高い精度で設定することができる。

以下、本発明の方法および装置について、測距装置の一種であるステレオカメラに対し、複数種類の座標系を設定する場合を例示しながら、詳細に説明する。

［ ステレオカメラの概要 ］
図１Ａおよび図１Ｂはステレオカメラの外観図であり、図１Ａは正面側、図１Ｂは背面側の外観を示している。このステレオカメラ１は、撮影空間の奥行きをステレオ法により 測定するタイプのカメラで、２つの撮像レンズ２ａ、２ｂを備えている。ステレオカメラ１は、この他、一般のデジタルカメラと同様、シャッタレリーズボタン３、ファインダ４、操作ボタン５、液晶モニタ７、メモリカード９をセットするカードスロット８、ケーブルを接続する外部接続インタフェース１０、その他スピーカ、マイクなどを備えている。

図２は、ステレオカメラ１の内部構成を示すブロック図である。図に示すように、ステレオカメラ１は、撮像レンズ２ａ、２ｂ、絞り（図示せず）、ＣＣＤ１１ａ、１１ｂおよびレンズの位置や向き、絞りの開閉、ＣＣＤの電荷放出タイミングなどを制御するための機構（モータ、制御回路など：図示せず）からなる撮像系を備え、さらに撮像系により得られた信号をデジタルデータに変換する手段として、Ａ／Ｄ変換部１２ａ、１２ｂを備えている。撮像系の基線長および輻輳角は、モータの駆動により撮像レンズ２ａ、２ｂ（ＣＣＤなども含む）の位置や向きを変更することで、調整可能となっている。

また、ステレオカメラ１は、モニタ７への表示出力を制御する表示制御部１５、メモリカードスロット８に装填されたメモリカード９へのデータの記録およびメモリカード９からのデータの読み出しを制御する読出／書込制御部１７、外部接続インタフェース１０に接続された機器との間の入出力を制御する転送制御部１８を備える。これらの制御部は、それぞれ専用の回路もしくはドライバプログラムとして実装されている。

また、ステレオカメラ１は、ＳＤＲＡＭなどのメモリ２３と、カメラ全体の動作を制御する全体制御部１９を備える。全体制御部１９は、制御プログラムが記録されたＲＡＭ２１と、制御に利用する各種設定値が記録されたＥＥＰＲＯＭ２２と、制御プログラムを実行するＣＰＵ２０とにより構成され、シャッタレリーズボタン３や操作ボタン５からの入力を受け付けて、各部に対し直接またはシステムバス１４を介して指示信号を送出する。指示信号を受けた各部はメモリ２３を介して処理済みデータを交換しながら処理を行う。

さらに、ステレオカメラ１は、カメラ内部に保持される各種設定値を自動的に較正する較正部９０を備える。較正部９０は、全体制御部１９によりキャリブレーションモードへの移行操作が検出されると、外部接続インタフェース１０を介して外部から入力される較正値を取得する。そして、取得した較正値に基づいて、後述する変位情報記憶部２４に記憶されている情報や、ＥＥＰＲＯＭ２２に記憶されている設定値などを補正する。すなわち、セルフキャリブレーションを行なう。

システムバス１４には、この他、画像処理部１３ａ、１３ｂ、圧縮処理部６６、変位情報記憶部２４、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６が接続されている。本実施形態では、変位情報記憶部２４は後述するデータを記憶するＥＥＰＲＯＭとして実装され、画像処理部１３ａ、１３ｂ、圧縮処理部６６、距離画像生成部２５、確認用画像生成部６７および画像ファイル生成部２６は、それぞれ専用のプロセッサとして実装される。但し、これらの処理部の機能を兼ね備える１つのプロセッサとして実装してもよいし、全体制御部１９のＲＡＭ２１に記憶されるプログラムの１つとして実装してもよく、実装のしかたは特に限定されない。

以下、ステレオカメラ１の動作について、画像処理部１３ａ、１３ｂ、変位情報記憶部２４、距離画像生成部２５、確認画像生成部６７および画像ファイル生成部２６の処理に着目しながら説明する。

［ 撮影 ］
シャッタレリーズボタン３の押下など撮影のための操作が行われると、その操作は全体制御部１９により検出され、全体制御部１９から撮像系に対し各種指示信号が送出される。これにより、撮像系からＡ／Ｄ変換部１２ａ、１２ｂに撮影空間を表す映像信号が入力され、Ａ／Ｄ１２ａ、１２ｂから、それぞれ画像データ（輝度画像）、例えばＲＧＢデータが出力される。画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されるＲＧＢデータを、メモリ２３に格納する。例えば、図３に示すように、三角錐の形をした物体２７が配置された撮影空間を撮影した場合であれば、図４に示すように、撮像レンズ２ａを通して得られたＲＧＢデータ２８ａと、撮像レンズ２ｂを通して得られたＲＧＢデータ２８ｂとが、メモリ２３に格納される。

続いて、画像処理部１３ａ、１３ｂは、それぞれ、Ａ／Ｄ変換部１２ａ、１２ｂから供給されたＲＧＢデータに対しＲＧＢ−ＹＣＣ変換を施す。そして、変換により得られたＹＣＣデータをメモリ２３に格納する。その後、このＹＣＣデータは圧縮処理部６６により読み出され、圧縮された後再度メモリ２３に格納される。これにより、レンズ２ａを通して得られたＲＧＢデータと、同時刻にレンズ２ｂを通して得られたＲＧＢデータと、それらのＲＧＢデータを変換、圧縮することにより生成された２つのＹＣＣデータとが、メモリ２３に格納されることとなる。但し、ＲＧＢ−ＹＣＣ変換は行わず、ＲＧＢデータをそのまま圧縮処理部６６により圧縮してメモリ２３に保存してもよい。その場合には、以下の説明において、ＹＣＣデータはＲＧＢデータと読み替えるものとする。

［ 距離画像の生成 ］
距離画像生成部２５は、同時刻に異なるレンズを通して取得された２つのＲＧＢデータをメモリ２３から読み出す。そして、パターンマッチングを行うことにより、２つのＲＧＢデータを構成する画素の対応づけを行う。例えば図４の例であれば、ＲＧＢデータ２８ａの画素ＰａはＲＧＢデータ２８ｂの画素Ｐｂと対応づけられる。同様にＲＧＢデータ２８ａ，２８ｂを構成する他の画素についても、同様の対応付けが行われる。

続いて、距離画像生成部２５は、上記画素の対応付けと撮像系の基長および輻輳角の情報を利用して、ステレオ法（三角測量法）に基づく演算を行い、撮影空間内のカメラで捉えられるすべての点の空間座標値を求める。この演算は撮像系に固有の座標系（以下、固有座標系）上で行い、各点の位置は、固有座標系における座標値として表すこととする。図５は、図３に示した撮影空間内に、ステレオカメラ１の左右方向をＸｎ軸、上下方向をＹｎ軸（図示せず）、背面から正面に向かう方向をＺｎ軸とした直交座標形式の固有座標系を配したところを示している。図の例では、固有座標系の原点は、カメラ正面側の、カメラの中心より撮像レンズ２ｂ側に少しずれた位置にある。ＲＧＢデータ２８ａの画素ＰａとＲＧＢデータ２８ｂの画素Ｐｂとが表していた、撮影空間内の点Ｐｒの位置は、（ｘｒ，ｙｒ，ｚｒ）と表される（但し、ｙｒは図示せず）。

演算を繰り返すことによりカメラが捉えたすべての点についての座標値（ｘ、ｙ、ｚ）が求まると、距離画像生成部２５は、各点について求めた座標値（ｘ、ｙ、ｚ）を、その撮影空間の距離画像として記録する。例えば、各点のｘ値、ｙ値、ｚ値を、それぞれ８ビットの画素データとして記録する。そして生成した距離画像を、前記ＲＧＢデータやＹＣＣデータとともに、メモリ２３に格納する。なお、距離画像も、ＹＣＣデータと同じく圧縮処理部６６により圧縮してもよい。

なお、ステレオカメラ１は、撮影空間を一方向から見たときに視認できる点の位置をステレオ法により求めるように構成されたカメラであるため、距離画像の画素値は（ｘ，ｙ，ｚ）座標値である。これに対し、ステレオ法以外の手法を用いるカメラの場合には、距離画像の画素値として他の値が記録されることもある。ステレオカメラ１と異なるタイプのカメラとしては、例えば、図２の破線で囲んだ部分の構成Ｓ１を、図６の破線で囲んだ構成Ｓ２に置き換えたカメラが考えられる。構成Ｓ２は、撮像レンズ２ｃ、ＣＣＤ１１ｃ、Ａ／Ｄ変換部１２ｃ、画像処理部１３ｃ、赤外線照射部２９および距離計測部３０を備えた構成である。構成Ｓ２では、赤外線照射部２９は撮影空間に対し振幅変調された赤外線を照射する。照射のタイミングや振幅変調の周波数は、距離計測部３０により制御される。照射された赤外線は撮影空間内の各所において反射され、反射光は撮像レンズ２ｃ、ＣＣＤ１１ｃにより受光される。Ａ／Ｄ変換部１２ｃは反射光を表す信号を距離計測部３０に供給する。距離計測部３０は、赤外線照射部２９に指示した照射タイミング、反射光の受光タイミングおよび照射光と反射光の位相ずれに基づいて（すなわちＴＯＦ法により）、撮影空間内のカメラが捉えられるすべての点までの距離および方向を算出する。つまり、撮影空間に極座標系を定義したときの座標値を求める。構成Ｓ２を備えたカメラの場合、距離画像生成部２５は、その極座標系の座標値（ｒ，θ，φ）を画素値とした距離画像を生成する。

なお、カメラの構成としては、この他、図２の構成Ｓ１と図６の構成Ｓ２とを兼ね備え、ステレオ法とＴＯＦ法を切り替えて用いることができるカメラも考えられる。図７に、２種類の構成Ｓ１、Ｓ２を兼ね備えたカメラの外観を例示する。図７に示される撮像レンズ２ｂは、図２の撮像レンズ２ｂとして機能するとともに、図６の撮像レンズ２ｃとしても機能する。

このように、撮影空間の三次元情報を取得するためのカメラの構成は種々考えられ、どの手法を採用するかによって得られる三次元情報の種類や精度は異なるが、撮影空間に係る三次元的な情報を取得することができれば、カメラの構成や距離画像の画素値として記録される値の種類は、どのようなものであってもよい。

［ 画像ファイルの生成 ］
次に、画像ファイル生成部２６による画像ファイルの生成処理について説明する。画像ファイル生成部２６は、図８に示すフォーマットのファイル、すなわち、ファイルヘッダＨ、距離画像Ｄ、および１組のＹＣＣデータ（以下、視差画像Ｒ，Ｌと称する）を含む画像ファイル３１を生成する。ファイルヘッダに設定する情報は、カメラを構成する各メモリから読み出す。もしくは、モニタ７に表示される設定画面においてユーザが選択あるいは入力した情報を取り込む。視差画像Ｒ，Ｌと距離画像Ｄは、メモリ２３に記憶されているものを読み出す。

なお、上記例では、画像ファイルに格納するＹＣＣデータを一組の視差画像Ｒ，Ｌとしているが、一方の撮像レンズを通して得られた画像から生成されたＹＣＣデータのみをファイルに格納するようにしてもよい。図６を参照して説明した構造のカメラを使用した場合も撮像レンズは１つであるため、１つのＹＣＣデータが画像ファイルに格納されることとなる。

画像ファイル生成部２６は、生成した画像ファイルを一旦メモリ２３に保存する。メモリ２３に記憶された画像ファイルは、全体制御部１９の制御の下、読出／書込制御部１７に転送され、カードスロット８を経てメモリカード９などの記録媒体に記録される。または、同じく全体制御部１９の制御の下、転送制御部１８に転送され、外部接続インタフェース１０を介して、他の装置へと転送される。あるいは、画像ファイルは表示制御部１５に転送され、表示制御部１５によりモニタ７に表示出力される。

以下に、画像ファイル３１のフォーマットの詳細を示す。画像ファイル３１は、前述したとおり、ファイルヘッダＨ、距離画像Ｄおよび視差画像Ｒ，Ｌにより構成される。ファイルヘッダＨには、ファイルタイプやファイルサイズのほか、ファイルの先頭から距離画像までのオフセットと、ファイルの先頭から視差画像Ｒ，Ｌまでのオフセットの情報が含まれている。よって、ファイルの先頭に記録されているファイルタイプの情報からヘッダ情報のフォーマットを認識し、ヘッダ情報中のオフセット情報を参照すれば、距離画像Ｄや視差画像Ｒ，Ｌを読み出すことができる。

また、図９に示すように、ファイルヘッダＨには、距離画像に関連する情報を設定する領域として、画像を撮影したときの輻輳角を設定する領域ｈ１、基線長を設定する領域ｈ２、焦点距離を設定する領域ｈ３、撮影画角を設定する領域ｈ４、距離画像の大きさ（縦横の画素数）を設定する領域ｈ５、距離画像の各画素に割り当てられたビット数を設定する領域ｈ６が設けられている。領域ｈ３はステレオカメラ１のように撮像レンズが２つあるカメラで各撮像レンズについての焦点距離を設定できるように定義されている。領域ｈ４は、２つの撮像レンズのそれぞれについて、水平方向の画角と垂直方向の画角を設定できるように定義されている。

輻輳角、基線長、焦点距離、撮影画角、距離画像の大きさや一画素あたりのビット数は、撮像系に固有に定められているか、もしくは撮像系を調整したときに決定される。撮像系に固有か、調整により可変かは、カメラの仕様により異なる。例えば、輻輳角が固定されたカメラであれば輻輳角は固有の値であり、輻輳角が調整可能なカメラであれば輻輳角は可変な値となる。撮像系に固有の値は、ステレオカメラ１内の所定のメモリ（全体制御部１９のＥＥＰＲＯＭ２２、メモリ２３あるいは他の図示しないメモリでもよい）の予め決められた領域に記録されている。また、調整により決定される値は、調整を行った制御部（例えば輻輳角であれば、レンズの向きを制御する回路）により、調整が完了した時点で、所定のメモリに記録される。画像ファイル生成部２６は、そのようにしてメモリに記憶された値を読み出し、読み出した値をファイルヘッダの上記各領域ｈ１〜ｈ６に設定する。

また、ファイルヘッダには、距離画像に関連する情報を設定する領域として、さらに、共通座標系の座標形式（直交座標または極座標）を設定する領域ｈ７、共通座標系の変位情報を設定する領域ｈ８、ユーザが指定した一の共通座標系を設定する領域ｈ９が設けられている。以下、領域ｈ７〜ｈ９に設定する共通座標系の情報について、さらに説明する。

[ 共通座標系 ]
図１０は、撮影空間の三次元情報（距離画像など）を取得する機能を備えた第１のカメラ３２と、立方体の物体３３が配置された撮影空間と、第１のカメラ３２の固有座標系３４と、固有座標系３４の原点３５との関係を示す図である。また、図１１は、撮影空間の三次元情報を取得する機能を備えた第２のカメラ３６と、三角錐の物体３７が配置された撮影空間と、第２のカメラ３６の固有座標系３８と、固有座標系３８の原点３９との関係を示す図である。図１０、図１１において、一点鎖線は、カメラ３２、３６を左右に分ける中心線を表している。図１０の撮像空間では、物体３３はカメラ３２の中心より左側に位置している。一方、図１１の撮像空間では、物体３７はカメラ３６の中心よりも右側に位置している。また、図１０と図１１の対比から明らかであるように、第１のカメラ３２と第２のカメラ３６とでは、固有座標系の原点の位置は大きく異なっている。なお、これらの図において、固有座標系３４、３８のＹ軸は図の紙面に垂直であり、原点３５、３９と重なって図示されている。

図１２は、図１０に示す位置関係で撮影を行い、図１１に示した位置関係で撮影を行い、２回の撮影により得られた２組の視差画像を合成して立体モニタ４０に表示するときの、表示座標系４１と、表示される物体３３および物体３７の関係を示す図である。従来手法では、固有座標系上で求められた距離画像の各画素値が、表示の奥行き感を表す値としてそのまま用いられる。すなわち、図１０に示した原点３５と物体３３の位置関係は、表示座標系４１における原点４２と物体３３の位置関係として、そのまま維持される。同様に、図１１に示した原点３９と物体３７の位置関係も、表示座標系４１における原点４２と物体３７の位置関係として、そのまま維持される。その結果、立体モニタ４０には、図１３に示すように、物体３７の背後に物体３３が配置された映像が表示されることとなる。

一方、図１１に示した位置関係で、物体３７を含む撮影空間の撮影を行うときにも、物体３３を含む撮影空間の撮影を行ったときと同じく第１のカメラ３２を使用したとすれば、物体３３はカメラの中心よりも左側に配置され、物体３７はカメラの中心よりも右側に配置され、また固有座標系のＺ軸はカメラの中心よりも左側にあるので、画像合成により得られる立体画像では、図１４に例示するように、物体３３と物体３７とが離れた状態で表示されることとなる。

図１３と図１４の対比として示されるように、従来手法では、複数の立体画像から合成立体画像を生成しようとした場合、撮影に用いたカメラによって、合成により得られる結果が異なってしまうという問題がある。また、同様の理由で、従来手法では、立体画像から物体の形状や位置を認識して制御を行う場合に、同じ撮像系を使い続けない限り、安定した認識を行えないという問題がある。

従来手法のこれらの問題は、共通座標系の概念を取り入れることにより解決することができる。共通座標系は、固有座標系と同じく、撮影空間内に定義される座標系である。但し、固有座標系が個々のカメラにより定義されユーザに見えないものであるのに対し、共通座標系はユーザが把握できる形で定義される。

図１５は、図５に示したステレオカメラ１の固有座標系に、一例としての共通座標系を重ねて示した図である。この例では、共通座標系は三次元直交座標であり、そのＸｕ軸はステレオカメラ１の左方向から右方向に向かい、Ｙｕ軸はステレオカメラ１の下方向から上方向に向かい、Ｚｕ軸はＸｕ軸、Ｙｕ軸の両方に垂直で、カメラから撮影空間に向かって延びている。また、この例では、共通座標系の原点Ｏｕは、ステレオカメラ１の背面の中心にある。

画像ファイルを生成するときには、座標系を固有座標系から共通座標系に切り替えたときの原点の変位、すなわち固有座標系の原点Ｏｎと共通座標系の原点Ｏｕとのズレを、ファイルヘッダに記録する。言い換えれば、固有座標系の原点Ｏｎを始点、共通座標系の原点Ｏｕを終点とする変位ベクトルを記録する。例えば、固有座標系で表したときの共通座標系の原点Ｏｕの位置が（ｘｃ、ｙｃ、ｚｃ）という座標値（ベクトル）で表されるのであれば、そのｘｃ、ｙｃ、ｚｃの値を、共通座標系の変位情報としてファイルヘッダに格納する。

この共通座標系の変位情報を画像ファイルのヘッダに記録しておけば、立体画像処理や形状認識処理など距離画像を利用した処理を行うときに、距離画像の各画素値を、固有座標系における座標値から、共通座標系における座標値に置き換えてから、処理を行うことができる。図１０〜１４を参照して説明した従来手法の問題は、第１の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、同様に第２の撮像系により取得された距離画像の各画素値を固有座標系における座標値から共通座標系における座標値に置き換え、置き換え後の距離画像を使って画像の合成を行うことで、解決することができる。同様に、継続的に行われる撮影の途中でカメラを交換した場合でも、交換前のカメラにより取得された距離画像、交換後のカメラにより取得された距離画像の画素値について、それぞれ上記のような置き換えを行えば、カメラを交換したことでそれまでの撮影が無駄になるということもない。その他、座標系がカメラに固有であるがために生じるあらゆる問題は、共通座標系の概念を取り入れることにより、解決することができる。

［ 共有座標系情報の設定 ］
上記共通座標系の説明では、理解を容易にするため、共通座標系が１つしか定義されていない場合を例示しながら説明したが、以下、共通座標系として選択し得る座標系、すなわち共通座標系の候補が、複数定義されている場合を例示する。共通座標系が複数定義されている場合、ファイルヘッダＨには、ユーザが選択し得るすべての座標系の変位情報と、ユーザが選択した変位情報を特定するための情報とが記録される。

まず、領域ｈ７に設定される共通座標系の座標形式について説明する。共通座標の座標形式については、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において、ユーザから座標形式の指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶される。画像ファイル生成部２６は、画像ファイルの生成時に変位情報記憶部２４からそのデータを読み出し、ヘッダの領域ｈ７に記録する。ここでは、領域ｈ７には、“０”、“１”または“２”のいずれかの数値データが記録されるものとする。“１”は共通座標系が三次元直交座標系であることを示し、“２”は共通座標系が極座標系であることを示し、“０”は座標形式が不明、すなわちユーザによる座標形式の指定が行われなかったことを示す。

続いて、領域ｈ８に設定される共通座標系の変位情報について説明する。ステレオカメラ１では、共通座標系の原点となり得る点として、固有座標系の原点Ｏｕ０、共通座標系の概念の説明において例示したカメラ本体背面の中心点Ｏｕ１を含む合計８個の点が定義されている。このうち、カメラ本体背面の中心点は、図１６に例示するように、モニタ７に基点マーク４３を表示することで、外観上認識できるようにしている。但し、基点マーク４３の表示は、ユーザが所定の操作を行ったときのみ行う。なお、図１７に例示するように、モニタが開閉するタイプのカメラで、モニタを使用するときと使用しないときとで、カメラの背面の状態が異なるようなときには、カメラの外装部材に、印刷または加工により形成される基点マーク４４ａ、４４ｂをつけてもよい。

このように、共通座標系の原点を外観上認識し得る部材の外観上認識し得る位置に設けておけば、例えばカメラを交換するときに、交換前と交換後とで基準マークが同じ位置にくるようにカメラを配置するといった位置あわせを行うことができる。

図１８は、共通座標系の原点の候補として定義されている他の点を示す図である。図に示すように、撮像レンズ２ａと２ｂの中心点Ｏｕ２、撮像レンズ２ａ、撮像レンズ２ｂそれぞれの中心点Ｏｕ３，Ｏｕ４、ＣＣＤ１１ａと１１ｂの中心点Ｏｕ５、ＣＣＤ１１ａ、ＣＣＤ１１ｂそれぞれの中心点Ｏｕ６，Ｏｕ７が、共通座標系の原点の候補として定義されている。これらの点は、外観上は認識できないが、カメラ内部の通常見えない点であっても、所定の部材の中心点、端点など何らかの特徴がある点（以下、特徴点）であれば、共通座標系の原点となり得る。

これら８個の点Ｏｕ０〜Ｏｕ７の固有座標系における座標値、すなわち変位情報は、カメラの初期設定時に変位情報記憶部２４に記憶される。但し、撮像系が、焦点距離が可変なズームレンズを備えている場合には、固有座標系が撮像系の特性に応じて再定義されるため、変位情報記憶部２４に記憶されている変位情報は焦点距離の変更に応じて再設定される。全体制御部１９は、ズーム操作により設定された焦点距離を検出し、検出された焦点距離に応じて変位情報記憶部２４に記憶されている変位情報を書き換える。焦点距離と固有座標系の原点の対応付けは予めＲＡＭ２１などに登録されている。よって、その対応付けを参照することにより、検出された焦点距離に対応する固有座標系の原点を求め、その原点を基準とした変位を計算しなおせば、変位情報を再設定することができる。画像ファイル生成部２６は、上記のように記憶あるいは再設定された変位情報を変位情報記憶部２４から読み出し、ファイルヘッダの領域ｈ８に格納する。

図１９に、変位情報を設定する領域ｈ８の詳細フォーマットを示す。領域ｈ８は、識別子と変位情報とを対応付けて格納する複数の領域からなる。識別子は数字、アルファベットその他記号により構成される値である。図は０から始まる通し番号を識別子とした場合を例示している。各領域にどの点の変位情報を設定するかは、予め共通のルールを設けておくことが好ましい。ここでは、識別子０に対しては前述した点Ｏｕ０の変位情報（すなわち０，０，０）を、識別子１に対しては点Ｏｕ１（基準マーク位置）の変位情報を、以下識別子の番号が若い順に、図１８に示した点Ｏｕ２〜Ｏｕ７の変位情報を対応付けて記録するものとする。

なお、領域ｈ８にはステレオカメラ１が変位情報を設定する領域のほか、撮像レンズやＣＣＤを１つしか備えていないタイプのカメラが変位情報を設定する領域を備えている。１つの撮像レンズの中心点の変位情報を設定する領域（識別子８の領域）とその１つのＣＣＤの中心点の変位情報を設定する領域（識別子９の領域）である。また、領域ｈ８にはさらに予備の領域（識別子１０の領域）も用意されている。使用されない領域には、図に示すように、０，０，０の値が設定される。

続いて、図９の領域ｈ９に設定されるユーザ指定情報について説明する。ユーザ指定情報は、座標形式と同じく、撮影を行う前に、全体制御部１９がモニタ７に表示する設定画面において指定を受け付けておく。選択画面において入力されたデータは、一旦図２の変位情報記憶部２４に記憶され、画像ファイル生成部２６により読み出されて領域ｈ９に設定される。領域ｈ９には、値“０”またはユーザが選択した一の変位情報を指し示す識別子の値が設定される。値“０”はユーザが変位情報の選択を行わなかったことを意味する。

以上に説明したように、ファイルヘッダの構造を、複数の座標系の変位情報を格納でき且つユーザが指定した変位情報を指し示す識別子および座標形式を格納できる構造としておけば、ユーザはその画像ファイルを利用した処理を行う上で最も都合のよい共通座標系を選択することができ、その共通座標系を利用することで従来手法にはない利便性を確保することができる。さらには、その共通座標系に不都合が生じた場合に他の座標系を共通座標系として指定しなおすことができるので、目的に合わせて共通座標系を使い分けることで目的を達成しやすくなる。

上記ステレオカメラ１は、ユーザにとっての使い勝手が良い反面、使用前に行なう初期設定の作業は従来のカメラよりも多少複雑になる。従来のカメラは、使用を始める前に、固有座標系の原点のキャリブレーションを行なうだけでよいが、ステレオカメラ１は、さらに共通座標系の設定、すなわち変位情報記憶部２４への変位情報の記録を行なう必要があるからである。以下、図面を参照して、共通座標系の設定に使用する機器と、設定の手順を説明する。

図２０は、共通座標系の設定に使用する機器と、それらの機器の配置を示す図である。図に示すように、共通座標系の設定には、キャリブレーションチャート９２、補助カメラ９４および設定装置９１を使用する。

キャリブレーションチャート９２は、ステレオカメラ１（第１測距装置）により識別可能なターゲットマーク９３（第１マーク）が付されたチャートである。ステレオカメラ１のメモリには、ターゲットマーク９３の色や形状が記憶されており、ステレオカメラ１は、キャリブレーションモードへの移行操作が行なわれると自動的にターゲットマーク９３を探索し、識別する。本実施形態では、キャリブレーションチャート９２のターゲットマーク９３がステレオカメラ１の一方のレンズの光軸上に配置されるように、ステレオカメラ１を設置する。ステレオカメラ１のモニタの中心にターゲットマーク９３が表示されるように、ステレオカメラ１もしくはキャリブレーションチャート９２の位置を調整すれば、ターゲットマーク９３はレンズの光軸上に配置される。その後、ステレオカメラ１の背面のモニタに、基点マーク４３（第２マーク）を表示させる。

補助カメラ９４（第２測距装置）は、撮影対象の位置を所定の座標系の座標値として出力する機能を備えたステレオカメラである。ステレオカメラ１と同じタイプのカメラでもよいが、複数の座標系は必要とされないので、既存のタイプのステレオカメラ、あるいはその他の測距装置でもよい。補助カメラ９４は、図に例示するように、ステレオカメラ１の背面の基点マーク４３と、キャリブレーションチャート９２のターゲットマーク９３とを撮影できる位置に、ステレオカメラ１の光軸と補助カメラ９４の光軸とが平行になるように配置する。

設定装置９１は、パソコン、ワークステーションなどの汎用コンピュータに、共通座標系の設定に必要なプログラムおよびデータを記憶せしめた装置である。設定装置９１は、図２１に示すように、少なくともメモリ９７、ＣＰＵ９５および外部の機器との接続インタフェース９６を備えている。メモリ９７には、較正指示プログラム、座標取得プログラム、算出プログラムおよび座標系設定プログラムが記憶されている。各プログラムは、ＣＰＵ９５により実行され、それぞれ、較正指示手段、座標取得手段、算出手段、座標系設定手段として機能する。メモリ９７には、この他、ステレオカメラ１の所定の部材の中心点、端点など（特徴点）の位置が、基点マーク４３の位置を基点とする相対位置座標として記憶されている。以下、このデータを特徴点データと称する。本実施形態では、特徴点データとして、撮像レンズ２ａと２ｂの中心点、撮像レンズ２ａの中心点、撮像レンズ２ｂの中心点、ＣＣＤ１１ａと１１ｂの中心点、ＣＣＤ１１ａの中心点、ＣＣＤ１１ｂの中心点の相対位置座標（位置情報）が記憶されている。

また、設定装置９１は、接続インタフェース９６を介して、ステレオカメラ１および補助カメラ９４の外部接続インタフェースと接続される。本実施形態では、接続インタフェースはＵＳＢインタフェースであり、設定装置９１とステレオカメラ１、設定装置９１と補助カメラ９４は、それぞれ、ＵＳＢケーブルで接続される。但し、各機器が接続インタフェースとして無線ＬＡＮインタフェースを備えている場合には、無線ＬＡＮによる接続でもよい。

図２２は、ステレオカメラ１、キャリブレーションチャート９２、ターゲットマーク９３、点Ｏｎを原点とする固有座標系、および基点マークの位置Ｏｕを原点とする共通座標系の関係を示した図である。図２３は、固有座標系と共通座標系を設定する手順を示すフローチャートである。

はじめに、設定装置９１の較正指示手段が、ステレオカメラ１に対してキャリブレーションの開始を指示する（Ｓ１０１）。ステレオカメラ１は、この指示を受けて、キャリブレーションモードへと移行する（Ｓ３０１）。続いて、設定装置９１の較正指示手段は、ステレオカメラ１に対し較正値Ｌを送信する（Ｓ１０２）。ステレオカメラ１の較正部９０は、入力された値Ｌを較正値として、固有座標系の自動キャリブレーションを実行する（Ｓ３０２）。本実施形態では、図２２に示すように、ターゲットマーク９３の固有座標系におけるＺ座標値がＬとなるように、固有座標系が設定されるものとする。

次に、設定装置９１の座標取得手段が、補助カメラ９４に対しマークの測距を指示する（Ｓ１０３）。補助カメラ９４は、この指示を受けて、キャリブレーションチャート９２のターゲットマーク９３と、ステレオカメラ１の基点マーク４３とを、それぞれ探索し、識別する（Ｓ２０１）。そして、ターゲットマーク９３の位置座標（ｘｔ、ｙｔ、ｚｔ）と、基点マーク４３の位置座標（ｘｋ、ｙｋ、ｚｋ）とを算出し（Ｓ２０２）、算出した座標値を設定装置９１に対し送信する（Ｓ２０３）。

なお、図の例では、ステレオカメラ１が自動キャリブレーションを実行した後に、補助カメラが各マークの位置座標を取得しているが、設定装置９１の較正指示手段と座標取得手段とを並列に動作させることにより、ステレオカメラ１の自動キャリブレーション（Ｓ３０１〜Ｓ３０２）と、補助カメラ９４による位置座標の取得処理（Ｓ２０１〜Ｓ２０３）とが並行して行なわれるようにしてもよい。

設定装置９１の算出手段は、各マークの座標値を取得すると、次式
ｚｃ＝ｚｔ−Ｌ−ｚｋ
ｘｃ＝ｘｔ−ｘｋ
ｙｃ＝ｙｔ−ｙｋ
に基づき、共通座標系の原点Ｏｕ１の変位情報を生成する（Ｓ１０４）。

続いて、算出手段は、メモリ９７から特徴点データ（相対位置座標）を読み込み、特徴点ごとに相対位置座標のｚ値にｚｃを、ｘ値にｘｃを加算する。これにより、各特徴点の固有座標系における位置座標、すなわち他の共通座標系の原点Ｏｕ２〜Ｏｕ７の変位情報が生成される（Ｓ１０５）。

設定装置９１の座標系設定手段は、生成された変位情報をステレオカメラ１に送信するとともに、メモリへの書き込みを指示する（Ｓ１０６）。ステレオカメラ１は、この指示を受けて、メモリの１つである変位情報記憶部２４に共通座標系の原点Ｏｕ１〜Ｏｕ７の変位情報を書き込む（Ｓ３０３）。書き込みが完了すると、ステレオカメラ１から設定装置９１に対し、設定の完了を報告するメッセージあるいは信号が送信される（Ｓ３０４）。これにより、固有座標系のキャリブレーションおよび共通座標系の設定が完了する。

以上に説明した手順は、ステレオカメラ１の光軸と補助カメラ９４の光軸とが平行な場合の手順であるが、ステレオカメラ１の光軸と補助カメラ９４の光軸とが平行でないときも、補助カメラ９４から送信された座標値に対し座標変換を施せば、同様の手順による設定が可能となる。例えば、基点マーク４３とターゲットマーク９３とを結ぶ直線をＺ軸とし、Ｘ軸とＹ軸を、互いに直行し、且つそれぞれＺ軸と直行するように設定した座標系を定義して、座標変換を行えばよい。

このように、ステレオカメラ１のセルフキャリブレーション処理と、補助カメラ９４による測距処理とを、１台の設定装置９１によって統括制御することで、較正値Ｌを利用した位置座標の算出が可能になる。これにより、設定すべき共通座標系の数が多い場合でも、比較的短時間で、簡単に、各座標系の原点の変位情報を設定することができる。また、共通座標系を設定する直前に、固有座標系の原点のキャリブレーションを実行するので、すべての座標系を高い精度で設定することができる。

［ 変形例 ］
上記例では、ターゲットマーク９３の固有座標系におけるＺ座標値を較正値Ｌとして入力しているが、何に対する較正値を入力するかは、カメラが備えるキャリブレーション機能に応じて決まるものであり、上記例に限定されるものではない。また、上記例では、ステレオカメラ１の背面に付された基点マーク４３を第２マークとみなした例であるが、ステレオカメラの他の特徴点（但し外観上識別可能な点とする）を第２マークとみなして同様の処理を行う形態も考えられる。その他、本発明の実施形態としては種々の形態が考えられ、上記形態はあくまでも一例に過ぎない。

また、上記例では、測距装置として、撮影空間内の各点の位置座標を取得して距離画像を生成するステレオカメラを例示したが、本発明の方法および装置は、距離画像を生成する装置に限らず、被測定点までの距離を測定して測定結果を座標値もしくは距離値として出力する、あらゆる装置について適用可能である。

ステレオカメラの外観図(正面側) ステレオカメラの外観図(背面側) ステレオカメラの内部構成を示すブロック図 撮影空間を例示した図 視差画像（ＲＧＢデータ）を例示した図 固有座標系を例示した図 カメラの他の構成を例示した図 他の構成を有するカメラの外観を例示した図 画像ファイルのフォーマットを示す図 画像ファイルのファイルヘッダの一部領域を示す図 固有座標系の問題点について説明するための図 固有座標系の問題点について説明するための図 固有座標系の問題点について説明するための図 固有座標系の問題点について説明するための図 固有座標系の問題点について説明するための図 共通座標系を例示した図 外観上認識し得る原点の一例を示す図 外観上認識し得る原点の他の例を示す図 共通座標系の原点の他の候補を示す図 変位情報を設定する領域ｈ８の詳細フォーマットを示す図 共通座標系の設定に使用する機器と、それらの機器の配置を示す図 設定装置の較正を示す図 点Ｏｎを原点とする固有座標系、および基点マークの位置Ｏｕを原点とする共通座標系の関係を示した図 固有座標系と共通座標系を設定する手順を示すフローチャート

符号の説明

１ ステレオカメラ、 ２ａ，２ｂ，２ｃ 撮像レンズ、
３ シャッタレリーズボタン、 ４ ファインダ、 ５ 操作ボタン、
７ モニタ、 ８ カードスロット、 ９ メモリカード、 １０ 外部接続Ｉ／Ｆ、
１１ａ，１１ｂ，１１ｃ ＣＣＤ、 １４ システムバス、
２７，３３，３７ 撮影空間に配置された物体
２８ａ，２８ｂ ＲＧＢデータ、 ２９ 赤外線照射部、
３１ 画像ファイル、 Ｈ，Ｈ´ ヘッダ、 ３２，３６ 従来のステレオカメラ、
３４，３８ 固有座標系、 ４０ 立体表示モニタ、
４３，４４ａ，４４ｂ 基点マーク、

Claims (5)

1. 被測定点の位置を測定する装置に対し、前記位置を表すための三次元座標系を設定する方法であって、
   所定の空間に、第１マークを備えた較正チャートを配置し、
   装置固有の固有座標系の原点を記憶する記憶部、被測定点の前記固有座標系における位置座標を取得する座標取得部、入力された較正値と前記座標取得部により取得された前記第１マークの位置座標とに基づいて前記固有座標系の原点を自動的に較正する較正部、および外観上識別可能な第２マークを備えた第１測距装置を、前記空間内の前記第１マークの位置を測定し得る位置に配置し、
   前記第１測距装置に設定装置を接続し、
   前記設定装置から前記第１測距装置の前記較正部に所定の較正値を送信して、前記記憶部に記憶された固有座標系の原点を較正せしめ、
   前記設定装置が、前記較正値、前記第１マークの位置座標および前記第２マークの位置座標に基づいて、前記固有座標系における前記第２マークの位置座標を算出し、
   前記第２マークの位置座標を、一の三次元座標系の原点の位置座標として、前記第１測距装置の前記記憶部に記憶せしめることにより、該第１測距装置に対し三次元座標系を設定する設定方法。
2. 請求項１記載の方法において、
   被測定点の所定座標系における位置座標を取得する第２測距装置を、前記空間内の前記第１マークおよび第２マークの位置座標を取得し得る位置に配置し、
   前記設定装置から前記第２測距装置に対し、前記第１マークおよび前記第２マークの位置座標の取得を指示し、
   前記設定装置が、前記第２測距装置により取得された位置座標を利用して、前記第２マークの位置座標を算出することを特徴とする設定方法。
3. 請求項１または２記載の方法において、
   前記設定装置に、前記第１測距装置の一または複数の特徴点と前記第２マークとの位置関係を表す情報を予め記憶せしめ、
   前記位置関係の情報と前記第２のマークの位置座標とに基づいて、前記各特徴点の前記固有座標系における位置座標を算出し、
   前記各特徴点の前記固有座標系における位置座標を、前記一の三次元座標系とは異なる三次元座標系の原点の位置座標として、それぞれ、前記第１測距装置の前記記憶部に記憶せしめることにより、該第１測距装置に対し複数の三次元座標系を設定する設定方法。
4. 被測定点の位置を測定する測距装置に接続され、該測距装置に対し前記位置を表すための三次元座標系を設定する設定装置であって、
   当該設定装置に、
   （ｉ） 装置固有の固有座標系の原点を記憶する記憶部、被測定点の前記固有座標系における位置座標を取得する座標取得部、入力された較正値と前記座標取得部により取得された前記第１マークの位置座標とに基づいて前記固有座標系の原点を自動的に較正する較正部、および外観上識別可能な第２マークを備えた第１測距装置、および、
   （ii） 被測定点の所定座標系における位置座標を取得する第２測距装置
   を、それぞれ接続するための接続手段と、
   前記第１測距装置の前記較正部に所定の較正値を送信して、前記記憶部に記憶された固有座標系の原点を較正せしめる較正指示手段と、
   前記第２測距装置に対し、前記第１マークおよび前記第２マークの位置座標の取得を指示して、該第２測距装置から前記第１マークおよび前記第２マークの前記所定座標系における位置座標を取得する座標取得手段と、
   前記較正値、前記第１マークの位置座標および前記第２マークの位置座標に基づいて、前記固有座標系における前記第２マークの位置座標を算出する算出手段と、
   前記算出手段により算出された第２マークの位置座標を、一の三次元座標系の原点の位置座標として、前記第１測距装置の前記記憶部に記憶せしめることにより、該第１測距装置に対し三次元座標系を設定する座標系設定手段とを備えた設定装置。
5. 前記第１測距装置の一または複数の特徴点と前記第２マークとの位置関係を表す情報を記憶する記憶手段をさらに備え、
   前記算出手段が、前記記憶手段が記憶する位置関係の情報と前記座標取得手段が取得した第２マークの位置座標とに基づいて、前記各特徴点の前記固有座標系における位置座標を算出し、
   前記座標系設定手段が、前記各特徴点の前記固有座標系における位置座標を、前記一の三次元座標系とは異なる三次元座標系の原点の位置座標として、それぞれ、前記第１測距装置の前記記憶部に記憶せしめることにより、該第１測距装置に対し複数の座標系を設定することを特徴とする請求項４記載の設定装置。

Images