JP2023016075A - 情報処理装置、情報処理システム、校正方法およびプログラム - Google Patents

Abstract

【課題】 情報処理装置を提供すること。【解決手段】 情報処理装置１１０は、複数の撮像手段１６０を用いる三次元計測の校正を行うための装置である。情報処理装置１１０は、撮像手段１６０の撮像画像から求められる情報に基づいて、複数の撮像手段１６０のうちの再補正対象の撮像手段を判定する対象判定手段２７２を含む。情報処理装置１１０は、再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、再補正対象の撮像手段を用いる三次元計測のパラメータを算出する算出手段２７４を含む。【選択図】 図３

Description

本開示は、情報処理装置、情報処理システム、校正方法およびプログラムに関する。

従来より、工場での部品組み立てや高精度のアライメント調整のために、動物体の三次元計測が行われている。三次元計測には、ステレオカメラを含む撮像システムを用いるものが知られている。

上述した三次元計測において、突然の衝突や経時変化などによってカメラの位置がずれた場合、位置ずれがあるカメラに関連してキャリブレーション補正を行う必要がある。

キャリブレーション補正に関連して、例えば、特開２００５－２３３６３９号公報（特許文献１）に開示される従来技術が知られている。特許文献１は、ステレオカメラ同士のキャリブレーションを自動的に行う目的で、２台のステレオカメラで撮影した画像から人物の三次元位置をそれぞれ算出する三次元位置算出工程と、その三次元位置に基づいて人物を二次元平面に投影した投影像に相関する投影人物領域算出工程について開示する。特許文献１に開示される従来技術では、各投影人物領域の位置が比較され、その相対位置関係に基づいてステレオカメラ同士のキャリブレーション補正が行われる。

特許文献１は、ステレオカメラシステムを稼動中、故意または偶発的にステレオカメラが動いた際のステレオカメラ同士のキャリブレーションを開示する。しかしながら、ステレオカメラにおける左右カメラ同士のキャリブレーションが正確に行われていることを前提としており、カメラ単独がずれた場合に対応できるものではない。また、特許文献１の従来技術では、キャリブレーション補正部は、投影人物領域に位置ずれが生じている場合に、ステレオカメラのキャリブレーションに誤差が生じていると判断して、キャリブレーション補正を行うものである。つまり、いずれのステレオカメラが動いたかを判定できるものではない。

本開示は、上記点に鑑みてなされたものであり、複数の撮像手段を用いる三次元計測において、再補正が必要な撮像手段を判断し、その撮像手段を用いる三次元計測におけるパラメータを補正することが可能な情報処理装置を提供することを目的とする。

本開示では、上記課題を解決するために、複数の撮像手段を用いる三次元計測の校正を行うための、下記特徴を有する情報処理装置を提供する。情報処理装置は、撮像手段の撮像画像から求められる情報に基づいて、複数の撮像手段のうちの再補正対象の撮像手段を検知する対象判定手段と、再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、再補正対象の撮像手段を用いる三次元計測のパラメータを算出する算出手段とを含む。

上記構成により、複数の撮像手段を用いる三次元計測において、再補正が必要な撮像手段を判断し、その撮像手段を含むステレオ計測におけるパラメータを補正することが可能となる。

１または複数の実施形態による三次元計測システムの全体構成図。 １または複数の実施形態による三次元計測装置として用いることができる、パーソナルコンピュータのハードウェア構成図。 １または複数の実施形態による三次元計測装置の機能ブロック図。 １または複数の実施形態による再補正対象のカメラの外部パラメータのキャリブレーション補正を説明する図。 １または複数の実施形態において、外部パラメータのキャリブレーション補正を実現する計算方法を概略的に説明する図。 １または複数の実施形態による三次元計測装置１１０が実行する三次元計測処理を示すフローチャート。 １または複数の実施形態による三次元計測装置１１０が実行する、再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャート。 １または複数の実施形態による三次元計測装置１１０が実行する、位置ずれがあるカメラを判定する方法を説明する図。 他の実施形態による三次元計測装置１１０が実行する、三次元計測とともに再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャート。 他の実施形態による三次元計測装置１１０が実行する、重心速度を用いた位置ずれがあるカメラを判定する方法を説明する図。 さらに他の実施形態による三次元計測装置１１０が実行する、重心加速度を用いた位置ずれがあるカメラを判定する方法を説明する図。 さらに他の実施形態による三次元計測装置１１０が実行する、三次元計測とともに再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャート。

以下、本発明の実施形態について説明するが、本発明の実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、情報処理システムおよび情報処理装置の一例として、それぞれ、複数の高速ビジョンカメラ１６０と、対象物の三次元計測を行う三次元計測装置１１０とを含み構成される三次元計測システム１００、および、該三次元計測装置１１０を参照しながら説明する。

図１は、１または複数の実施形態による三次元計測システム１００の全体構成を示す。図１に示すように、三次元計測システム１００は、三次元計測装置１１０と、カメラ同期装置１５０と、それぞれ三次元計測装置１１０およびカメラ同期装置１５０に接続される複数の高速ビジョンカメラ１６０ａ～１６０ｚとを含み構成される。

複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ異なる位置にそれぞれ所定の方向を向くように配置されており、異なる視点から、対象物１０２を被写体として撮影するよう構成されている。したがって、複数の高速ビジョンカメラ１６０ａ～１６０ｚによって撮像された複数の画像間では、視差が生じる。好ましくは、複数の高速ビジョンカメラ１６０ａ～１６０ｚは、それぞれ、対象物１０２が移動可能な範囲がカバーされるように視野が設定される。各高速ビジョンカメラ１６０は、カメラ同期装置１５０から入力されるタイミング信号に基づいて、視野内の対象物１０２を撮影し、撮影した画像を三次元計測装置１１０に入力する。高速ビジョンカメラ１６０は、本実施形態における撮像手段を構成する。

高速ビジョンカメラ１６０は、３０ｆｐｓ～６０ｆｐｓ程度の通常のカメラよりも高速に画像を撮像する撮像装置であり、典型的には、１０００ｆｐｓ程度のフレームレートを実現するものが好ましく用いられる。この高速なフレームレートに起因して、高速ビジョンカメラ１６０は、高速に動く動物体でも対応が可能である。各高速ビジョンカメラ１６０は、外部のカメラ同期装置１５０によってシャッターが同期されているため、同時刻に同フレームの撮影が可能とされる。なお、説明する実施形態では、高速ビジョンカメラ１６０を用いるものとして説明するが、特に限定されるものではなく、通常のカメラを用いてもよい。

カメラ同期装置１５０は、各高速ビジョンカメラ１６０のシャッター同期を外部から制御する。外部のカメラ同期装置１５０を複数の高速ビジョンカメラ１６０に繋げ、プログラムにてマスタ‐スレーブ設定をすることにより、外部トリガの入出力によりシャッター同期が可能となる。

三次元計測装置１１０は、対象物１０２を複数の高速ビジョンカメラ１６０ａ～１６０ｚで撮影して得られた複数の画像に基づいて、対象物１０２の奥行を含めた三次元計測を行う。なお、対象物１０２は、説明の便宜上、再帰性反射材で作成されたマーカである場合を例として説明するが、マーカが別の対象物（例えば、工場での部品組み立てにおける部品など）に貼り付けられていて、その貼り付けられたマーカを検知することとしてもよい。また、認識される対象物１０２は、再帰性反射材で作成されたマーカに限定されるものでもなく、撮像された画像から認識可能なものであれば、いかなる形態の物体を対象物とすることができる。

三次元計測装置１１０は、３以上の高速ビジョンカメラ１６０を含み構成され得る。三次元計測装置１１０は、三次元計測を行う際に、対象物１０２の障害物による隠蔽（以下、オクルージョンという場合がある。）が発生した場合に、オクルージョンが発生した高速ビジョンカメラ１６０以外を用いて三次元計測を継続するように構成されている。どのように、オクルージョンが発生した高速ビジョンカメラ１６０以外を用いて三次元計測を継続するかについては、説明を割愛する。説明する実施形態においては、任意の高速ビジョンカメラ１６０のペアにより三次元計測が行われるものとして説明を続ける。

以下、三次元計測システム１００の機能の詳細について説明する前に、三次元計測装置１１０のハードウェア構成について説明する。

図２は、本実施形態による三次元計測装置１１０として用いることができるパーソナルコンピュータのハードウェア構成を示す。ここでは、パーソナルコンピュータ５００のハードウェア構成について説明する。

図２に示されているように、パーソナルコンピュータ５００は、汎用なコンピュータによって構築されており、図２に示されているように、ＣＰＵ（Central Processing Unit）５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３、ＨＤＤ（Hard Disk Drive）５０４、ＨＤＤコントローラ５０５、ディスプレイ５０６、外部機器接続Ｉ／Ｆ（Interface）５０８、ネットワークＩ／Ｆ５０９、データバス５１０、キーボード５１１、ポインティングデバイス５１２、ＤＶＤ－ＲＷ（Digital Versatile Disk Rewritable）ドライブ５１４、メディアＩ／Ｆ５１６を備えている。

これらのうち、ＣＰＵ５０１は、パーソナルコンピュータ５００全体の動作を制御する。ＲＯＭ５０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＨＤＤ５０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ５０５は、ＣＰＵ５０１の制御にしたがってＨＤＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ５０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ（Universal Serial Bus）メモリやプリンタ等である。ネットワークＩ／Ｆ５０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン５１０は、図２に示されているＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード５１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス５１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ５１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷメディア５１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ５１６は、フラッシュメモリ等の記録メディア５１５に対するデータの読み出し又は書き込み（記憶）を制御する。

以下、図３を参照しながら、三次元計測装置１１０の機能構成について説明する。図３は、本実施形態による三次元計測装置１１０の機能ブロックを示す。

図３に示すように、三次元計測装置１１０は、複数台の高速ビジョンカメラ（図３ではＨＳＶと示されている。）１６０から、視点の異なる画像の入力を受ける画像入力部２１０を含み構成される。三次元計測装置１１０は、また、入力された画像中で所定の対象物１０２を探索する対象探索部２２０と、画像中で対象物１０２を追跡するトラッキング部２３０とを含み構成される。三次元計測装置１１０は、さらに、画像入力部２１０に入力された、視点の異なる複数の画像に基づいて、三次元計測を行う三次元計測部２５０と、三次元計測のためのキャリブレーションを行うキャリブレーション部２６０と、キャリブレーション補正部２７０とを含み構成される。

画像入力部２１０は、複数台の高速ビジョンカメラ１６０各々で撮像された画像の入力を受けて、取得した複数の高速ビジョンカメラ１６０の撮像画像を、順次、対象探索部２２０に渡す。高速ビジョンカメラ１６０各々で撮像される画像の複数のフレームから構成される時系列データが、高速ビジョンカメラ１６０の台数分だけ入力されることになる。

対象探索部２２０は、各撮像画像中から、所定の対象物１０２を探索する。対象物１０２が、高輝度領域として背景や他の物体から識別可能な場合は、例えば二値化して、二値化画像中で対象物の輪郭を探索することができる。

トラッキング部２３０は、撮像画像中の対象物１０２の位置の追跡を行う。トラッキング部２３０は、より詳細には、重心計算部２３２と、領域設定部２３４とを含み構成される。

重心計算部２３２は、関心領域（ＲＯＩ；Region Of Interest）と参照される所定の部分領域の画像情報に基づいて、各フレーム内において、特徴点として対象物１０２の重心位置を計算する。関心領域は、対象探索部２２０で求められた対象物１０２の輪郭に応じた大きさの矩形領域として設定され得る。画像処理を関心領域内のみで行うことにより、計算量を大幅に削減することが可能となる。重心位置は、高速ビジョンカメラ１６０の撮影画像の座標系において計測される。

領域設定部２３４は、重心計算部２３２で求められた重心位置を中心として関心領域（ＲＯＩ）を設定する。関心領域は、過去の時点（典型的には前回）のフレームで計算された重心位置に基づいて、現在のフレームに対し設定されるものであり、随時更新される。

キャリブレーション部２６０は、各高速ビジョンカメラ１６０の校正処理を行う。キャリブレーション部２６０は、より詳細には、補正変換用行列計算部２６２と、基礎行列計算部２６４とを含み構成される。補正変換用行列計算部２６２は、補正変換用行列を計算する。基礎行列計算部２６４は、基礎行列を計算する。補正変換用行列と基礎行列が求められると、三次元計測に必要な射影行列Ｐｎ（ｎは、カメラを識別するインデックスである。）が求められる。

三次元計測部２５０は、上述したパラメータを使用して、三角測量の原理を使用して三次元計測を行う。三次元計測は、説明する実施形態では、ステレオ法を用いることができる。ステレオ法の三次元計測は、高速ビジョンカメラ１６０で得られる２つの画像から得られる特徴点の視差に基づいて行われる。なお、ステレオ法であれば、特徴点のある一部のみ比較すればよく、計算方法も単純なため、処理時間を短縮することができる。

ステレオ法の三次元計測では、下記式（１）および（２）の連立方程式を解くことにより、画素位置での距離が導出される。なお、下記式中、ｍ^～は、画像座標（ｕ，ｖ）（重心位置）の同次形であり、Ｐは射影行列であり、Ｘ^～ _ｗはワールド座標（Ｘ_ｗ、Ｙ_ｗ、Ｚ_ｗ）の同次形である。また、下記式（１）および（２）中でチルダ（～）のアクセントが付された変数には、本文中においては、ｍ^～やＸ^～ _ｗのように表記する。なお、記号「’」は、ステレオペアとして選択された一方のカメラと他方のカメラとを識別する。また、ステレオ法による三次元計測は、既存の技術を用いて適宜実施できるため、これ以上の詳細な説明には立ち入らない。

キャリブレーション部２６０により、三次元計測に必要なパラメータの校正が行われ、以降、三次元計測が可能となる。一方で、初期のキャリブレーション後、三次元計測システム１００において、いずれかの高速ビジョンカメラ１６０に、意図しない突然の物体の衝突や経時変化などによって、位置ずれが発生してしまう可能性がある。そうした場合、位置ずれしたカメラに関連するパラメータの再校正、より具体的には、射影行列の再計算が必要となる。

本実施形態によるキャリブレーション補正部２７０は、上述した初期キャリブレーション後の位置ずれに対処するものである。キャリブレーション補正部２７０は、定期的、不定期に、明示的な指示に応答して、高速ビジョンカメラ１６０に生じた位置ずれの検知を試みる。キャリブレーション補正部２７０は、位置ずれを検知した高速ビジョンカメラ１６０について三次元計測で用いるパラメータ補正を行う。キャリブレーション補正部２７０は、より詳細には、再補正対象カメラ判定部２７２と、パラメータ算出部２７４とを含み構成される。

再補正対象カメラ判定部２７２は、高速ビジョンカメラ１６０の撮像画像から求められる情報に基づいて、複数の高速ビジョンカメラ１６０のうちの再補正が必要な、つまり位置ずれが発生した高速ビジョンカメラ１６０（以下、再補正対象のカメラと参照する場合がある。）を判定する。ここで、再補正対象のカメラを判定するために用いられる、撮像画像から求められる情報としては、特に限定されるものではないが、三次元座標系における１点の位置、三次元座標系における２点間の相対距離、画像座標系における対象物の特徴点（例えば対象物の重心）の速度や加速度を挙げることができる。パラメータ算出部２７４は、再補正対象の高速ビジョンカメラ１６０に対して、新たな外部パラメータを算出し、これを用いることでキャリブレーション補正を行う。

図４は、１または複数の実施形態による再補正対象のカメラの外部パラメータのキャリブレーション補正を説明する図である。本発明の実施形態においては、対象物ｍ１が３つの高速ビジョンカメラ（以下、カメラＣｎ（ｎ＝１～３）と参照する。）により撮像され、対象物の位置やオクルージョンの状況に応じて選択されたペアをステレオカメラとして用いて、三次元計測が行われるものとする。ここで、複数台のうちのいずれか１台の高速ビジョンカメラが経時変動や突然の衝突などで位置がずれることを想定した場合、この位置ずれを検知するためには、高速ビジョンカメラ１６０は、３台以上用いられる。

再補正対象カメラ判定部２７２は、ステレオペアを切り替えて計測することで得られた対象物ｍ１の三次元計測位置や、撮像画像１７０中の対象物ｍ１の像１７２の重心などに基づいて、再補正対象の高速ビジョンカメラ１６０を判定する。例えば図４では、実線で示す第２カメラＣ２が、経時変動または突然の衝突などにより点線で示す位置Ｃ２’にずれたとする。その場合、位置ずれが発生していないカメラ同士のステレオペア（Ｃ１，Ｃ３）による計測値と、位置ずれしたカメラを含むステレオペア（Ｃ１，Ｃ２）による計測値とを比較することによって、位置ずれした再補正対象のカメラを判定することができる。再補正対象カメラ判定部２７２は、本実施形態における対象判定手段を構成する。なお、再補正対象のカメラの判定方法については、詳細を後述する。

再補正対象のカメラが判別されると、キャリブレーション補正が行われる。キャリブレーション補正には、図４に示すように異なる位置にある対象物を撮影し、正確な三次元座標系における位置（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）（ｔ＝１，…；ｔは、時点を識別するインデックスであるが、異なる対象物を用いてもよい。）と、位置ずれしたカメラＣ２の画像座標系における対応する重心位置（ｘ２_ｔ,ｙ２_ｔ）（ｔ＝１，…）とを１組以上取得し、１組以上の三次元位置および重心位置を用いることで、カメラＣ２の外部パラメータを導出する。上述した射影行列Ｐｎは、カメラｎの内部パラメータおよび外部パラメータの積として定義されるところ、補正対象カメラｍの新たに算出された外部パラメータを用いることにより、新たな射影行列Ｐｍ’（ｍは、補正対象カメラ示す。）を導出し、これをパラメータとして組み込むことによって、三次元計測のキャリブレーション補正が可能となる。

パラメータ算出部２７４は、再補正対象以外の高速ビジョンカメラ１６０の組み合わせを用いて取得した対象物の三次元位置情報（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）と、再補正対象カメラ判定部２７２によって判定された再補正対象カメラｍの撮像画像中の対応する位置情報（ｘｍ_ｔ,ｙｍ_ｔ）に基づいて、再補正対象カメラｍの外部パラメータを算出する。算出された外部パラメータは、キャリブレーション部２６０に入力されて、新たな射影行列Ｐｍ’を導出するために用いられる。パラメータ算出部２７４は、本実施形態における算出手段を構成する。

図５（Ａ）は、本実施形態において、外部パラメータのキャリブレーション補正を実現する計算方法の概略を示す図である。キャリブレーション補正には、図５（Ａ）に示すように、位置ずれが発生したと判定された再補正対象のカメラＣ２で撮影された撮像画像１７０中の対象物の重心位置（ｘ２_ｔ，ｙ２_ｔ）と、位置ずれが発生したと判定されたカメラ以外のペア（Ｃ１，Ｃ３）をステレオペアとして三次元計測した値（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）とが用いられる。

本実施形態では、カメラの衝突による位置ずれに注目し、各カメラの内部パラメータは、初回のキャリブレーションから変化しないと仮定すると、外部パラメータを求めるには上記三次元位置および重心位置の組が少なくとも４組あればよく、４組から新たな回転行列Ｒ’および平行移動行列Ｔ’を含めた新たな射影行列を導出することが可能となる。具体的な計算方法は、玉木 徹、“画像工学特論講義ノート：線形代数で３次元復元”、［online］、２００９年１１月２５日、［令和３年７月１４日検索］、インターネット＜URL：https://ir.lib.hiroshima-u.ac.jp/00027688＞に記載されている２視点幾何の式より導出することが可能である。このように、三次元座標系の複数の位置と、画像座標系の対応する複数の位置とに基づいて、再補正対象のカメラｍのパラメータとして、平行移動行列Ｔおよび回転行列Ｒが算出され、これより新しい射影行列Ｐｍ’が導出され、パラメータとして組み込むことでキャリブレーション補正が実現される。なお、４より多くの組を用いることで回転行列Ｒ’および平行移動行列Ｔ’を計算することも妨げられない。

上述した説明では、４組以上の三次元位置および重心位置を用いて、カメラ外部パラメータとして回転行列Ｒ’および平行移動行列Ｔ’を求めるものとして説明した。これは、衝突等によるカメラの並進的なずれおよび回転ずれの両方を想定したものである。一方、衝突等によってカメラの並進的なズレが主に起こると仮定することで、計算を簡略化することもできる。図５（Ｂ）は、別の実施形態において、外部パラメータのキャリブレーション補正を実現する計算方法の概略を示す図である。図５（Ｂ）は、平行移動行列Ｔ’のみキャリブレーション補正する計算方法を説明する。

図５（Ａ）に示す方法では、外部パラメータとして、平行移動行列Ｔ’および回転行列Ｒ’の両方を求めていたのに対し、図５（Ｂ）に示す方法では、回転方向にずれは発生しないと仮定し、平行移動行列Ｔ’のみを求める。図５（Ｂ）では、Ｃ２が破線Ｃ２’の位置に並進的にずれた場合を想定する。この場合も、図５（Ａ）の説明と同様に、キャリブレーション補正には位置ずれが発生したと判定されたカメラＣ２で撮影された対象物の画像座標系における重心位置の位置（ｘ２，ｙ２）と、位置ずれが発生したと判定されたカメラＣ２以外のペア（Ｃ１,Ｃ３）をステレオペアとして三次元計測した正確な値（Ｘ，Ｙ，Ｚ）を用いることができる。しかしながら、各カメラの内部パラメータと、外部パラメータの一部である回転行列Ｒは、初回のキャリブレーションから変化されないと仮定しているので、三次元座標系における位置（Ｘ，Ｙ，Ｚ）および重心位置（ｘ２,ｙ２）少なくとも１組あれば、平行移動行列Ｔ’を含めた新たな射影行列Ｐｍ’を導出することができる。これにより、より簡単な手法で平行移動行列だけを外部パラメータとして求めることができる。なお、この場合も、１より多い組を用いることで平行移動行列Ｔ’を計算することは妨げられない。

以下、図６および図７に示すフローチャート並びに図８に示す概念図を参照しながら、本実施形態による三次元計測装置１１０が実行する、再補正対象の高速ビジョンカメラ１６０を検出し、キャリブレーション補正する処理について、より詳細に説明する。

図６は、本実施形態による三次元計測装置１１０が実行する三次元計測処理を示すフローチャートである。図６に示す処理は、例えば、オペレータからの三次元計測の開始の指示に応答して、ステップＳ１００から開始する。

ステップＳ１０１では、三次元計測装置１１０は、キャリブレーション部２６０により、各高速ビジョンカメラ１６０の初期設定を行い、三次元計測に必要な射影行列Ｐｎを求める。ステップＳ１０２では、三次元計測装置１１０は、全ての高速ビジョンカメラ１６０において、対象物の面積に合わせたサイズの関心領域（ＲＯＩ）を設定する。ステップＳ１０３では、三次元計測装置１１０は、ステップＳ１０２で設定した関心領域内で重心位置を求める。ステップＳ１０４では、三次元計測装置１１０は、複数の高速ビジョンカメラ１６０から状況に応じて適切なステレオペアを選択する。ステップＳ１０５では、三次元計測装置１１０は、選択したステレオペアの画像各々から求められた重心位置（ｘｎ，ｙｎ）とステップＳ１０１で求めた射影行列Ｐｎとを用いて、三角測量の原理で三次元計測を実行する。ステップＳ１０６では、三次元計測装置１１０は、計算された対象物の重心位置を中心として関心領域を再設定し、ステップＳ１０３へ処理をループさせる。

図７は、図６に示す三次元計測のメインルーチンのループ中のタイマ割込みによって行われる、再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャートである。図７に示す制御は、例えば、メインルーチンで三次元計測を行っている間に、タイマ割込処理が発生したタイミングで呼び出され、ステップＳ２００から開始される。なお、タイマ割込は、カメラの位置ずれを判定したい任意の時間に設定することができる。高速ビジョンカメラの場合は、メインの１ループが１ｍｓ程度まで可能であるため、高速判定も可能である。また、タイマ割込みは一例であり、特に限定されるものではなく、例えば、操作者からの明示的な再校正の指示に応答して図7に示す処理が行われてもよい。

ステップＳ２０１では、三次元計測装置１１０は、基準カメラを含むすべてのステレオペアで三次元計測を行い、三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）（ｐ＝１，…，Ｎ－１；ｐはペアを識別するインデックスであり、Ｎはカメラの個数である。）を取得する。ステップＳ２０２では、三次元計測装置１１０は、ステップＳ２０１で求められた各ステレオペアの三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）を比較し、一致する（所定の誤差の範囲内となる場合に一致するとみなす。）組数を導出する。

図8は、１または複数の実施形態による三次元計測装置１１０が実行する、位置ずれがあるカメラを判定する方法を説明する。図８（Ａ）は、三次元位置に基づいて位置ずれがあるカメラを判定する方法を示す。図８（Ａ）の例では、簡単のためカメラＣ１～Ｃ４は、平行に置かれているものとして描かれているが、任意の位置および姿勢で置かれ得る。ここで、１台しかずれないと仮定した場合、カメラの個数は４台以上となり、図８（Ａ）に示す例では、カメラの個数は、４である（Ｎ＝４）。

基準カメラをカメラＣ１として各ステレオペア（Ｃ１，Ｃ２）、（Ｃ１，Ｃ３）、（Ｃ１，Ｃ４）で三次元計測が行われ、各三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致するか否かが確認される。ここで、仮に位置ずれが全く発生していないとした場合は、すべての三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が所定の誤差の範囲で一致するはずである。つまり、仮にカメラ数が４であるとした場合、基準カメラを含む３組のステレオペアが生じるが、この場合、３組のステレオペアで求められるすべての三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）（ｐ＝１～３）が一致するはずである。カメラ数を任意の数Ｎに拡張すると、基準カメラを固定してＮ－１組のステレオペアが生じ、Ｎ－１組のステレオペアで求められるすべての三次元計測位置（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致するということになる。

そこで、ステップＳ２０２の判断では、カメラ数が４の場合で３組、カメラ数がＮであるとしてＮ－１組の三次元計測位置（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致すると判定された場合は、ステップＳ２０３へ処理が分岐される。ステップＳ２０３では、すべてのカメラが正常であると判定して、ステップＳ２０９で本ルーチンを終了する。

一方、仮に、基準カメラが位置ずれをしたとした場合は、位置ずれしたカメラを基準カメラとして含むすべての三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致しない。つまり、仮にカメラ数がＮであるとした場合、Ｎ－１組のステレオペアで求められるすべての三次元位置情報（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が不一致となるであろう。

そこで、ステップＳ２０２の判断で、０組の三次元計測位置が一致すると判定された場合は、ステップＳ２０５へ処理が分岐される。ステップＳ２０５では、基準カメラがずれており、基準カメラを変えた異なるステレオペアでの確認が必要として、ステップＳ２０６へ制御を進める。ステップＳ２０６では、すべてのペアの確認を終えた否かに応じて処理を分岐させる。ステップＳ２０６で、まだ未確認のペアがあると判定された場合（ＮＯ）は、ステップＳ２０７へ分岐させ、基準カメラを変更し、ステップＳ２０１へ処理を戻す。この場合は、異なる基準カメラを含むステレオペアでの三次元計測が行われる。例えば、カメラＣ２を基準カメラをとして各ステレオペア（Ｃ２，Ｃ１）、（Ｃ２，Ｃ３）、（Ｃ２，Ｃ４）で三次元計測が行われる。

一方、ステップＳ２０６で、すべてのペアを確認したと判定される場合（ＹＥＳ）は、ステップＳ２０８へ分岐させて、２台以上のカメラで位置ずれが生じているとして、ステップＳ２０９で本ルーチンを終了する。

続いて、仮に基準カメラ以外の１つのカメラで位置ずれが発生したとした場合を考える。カメラ個数が４であるとした場合、基準カメラを含む３組のステレオペアが生じるが、３組のステレオペアのうちの１組の三次元計測位置のみが異なることとなるため、残り２組のステレオペアの三次元測定位置（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致するはずである。図８（Ａ）に示す例では、カメラＣ２が破線で示すようにずれたとすると、この場合、ステレオペア（Ｃ１，Ｃ２）により得られる三次元計測位置（Ｘ_１ ^’，Ｙ_１ ^’，Ｚ_１ ^’）だけが、他の値（（Ｘ_２，Ｙ_２，Ｚ_２）＝（Ｘ_３，Ｙ_３，Ｚ_３）＝（Ｘ，Ｙ，Ｚ）。ここで、（Ｘ，Ｙ，Ｚ）は正しい三次元位置とする。）との誤差が生じるため、その誤差がある一定の値より大きければカメラＣ２がずれていると判定することができる。カメラ数を任意の数Ｎに拡張すると、基準カメラを含むＮ－１組のステレオペアが生じ、Ｎ－２組のステレオペアで求められる三次元計測位置（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致する場合、１つのカメラで位置ずれが生じたと判定できる。

そこで、ステップＳ２０２の判断では、カメラ数が４の場合で２組、カメラ数がＮであるとしてＮ－２組の三次元計測位置（Ｘ_ｐ，Ｙ_ｐ，Ｚ_ｐ）が一致すると判定された場合は、ステップＳ２０４へ処理が分岐される。

ステップＳ２０４では、残り１組の一致しないステレオペアに含まれるカメラであって、かつ、基準カメラでない他方のカメラｍ（図８（Ａ）の例ではペア（Ｃ１，Ｃ２）のうちの基準カメラではないＣ２）で位置ずれが発生している判定して、そのカメラｍについて新たに外部パラメータを算出し、射影行列Ｐｍ’を算出し、ステップＳ２０９で本ルーチンを終了する。

なお、カメラ個数が４の場合、基準カメラを含むペアは、３組あり、３組が一致するか、２組が一致するか、０組が一致するかの場合分けしか存在しない。一方、カメラ個数が５以上の任意Ｎである場合、基準カメラを含むＮ－１組のペアがあり、Ｎ－１組が一致するか、Ｎ－２組が一致するか、０組が一致するかに加えて、他の場合も存在する。しかしながら、他の場合は、２台以上で位置ずれした場合に該当するため、この場合（ステップＳ２０２でｏｔｈｅｒｗｉｓｅの場合）は、ステップＳ２０８へ処理を分岐させ、２台以上のカメラで位置ずれが生じているとして、ステップＳ２０９で本ルーチンを終了すればよい。

このように、上述した実施形態では、再補正対象カメラ判定部２７２は、複数のカメラのうちの各組を用いて行った三次元位置を比較することにより、再補正対象のカメラを検出することができる。

なお、図８（Ａ）を参照して説明した１点の三次元位置の一致および不一致を確認する方法では、基準カメラを定めて、基準カメラに基づく世界座標系で三次元位置の一致および不一致を見ていた。これに対し、以下、図８（Ｂ）を参照しながら、基準カメラを定めずに位置ずれがあるカメラを判定する方法について説明する。

図８（Ｂ）は、三次元座標系における２点間の相対距離より、位置ずれしたカメラを判定する方法を示す。ここでも、簡単のためカメラは、平行に置かれているものとして描くが、任意の位置および姿勢で置かれ得る。図８（Ｂ）に示す方法でも、１台しかずれないと仮定した場合、カメラの個数は４台以上となり、図８（Ａ）に示す例では、カメラの個数は、４である。

図８（Ｂ）でも、カメラＣ２がずれたことを想定する。この方法において、各ステレオペアは、移動する対象物の２点間の相対距離Ｌを測定し、再補正対象カメラ判定部２７２は、複数のカメラのうちの各組を用いて行った三次元座標系における２点間の相対距離を比較することにより、撮像画像を検出する。例えば、ステレオペア（Ｃ１，Ｃ２）（Ｃ１，Ｃ３）（Ｃ３，Ｃ４）の相対距離Ｌ１，Ｌ２，Ｌ３を比較するとした場合、カメラＣ２がずれると、Ｌ２とＬ３は一致するが、Ｌ１が、Ｌ２やＬ３とは異なる値になることが期待される。ここで、カメラＣ１を基準カメラとした（Ｃ１，Ｃ２）（Ｃ１，Ｃ３）の世界座標系と、カメラＣ３を基準カメラとした（Ｃ３，Ｃ４）の世界座標系は、基準カメラが異なるため、１点の位置座標としては異なり得るが、２点間の相対距離は変わらない。そのため、ずれのないステレオペア（Ｃ１，Ｃ３）とステレオペア（Ｃ３，Ｃ４）との相対距離が一致するため、他と一致しない相対距離を示すステレオペア（Ｃ１，Ｃ２）のうちの、他との一致がないカメラＣ２が位置ずれしたものと判断できる。

このように、図８（Ａ）に示す方法では、基準カメラを定めて、座標値の一致および不一致で再補正対象を判定していたのに対し、図８（Ｂ）に示す方法であれば、基準カメラを定めずに任意のペアの比較で対応可能である。

上述した図８（Ａ）および（Ｂ）で説明した計算方法では、１台のずれを想定した場合、４以上の台数となるが、最短で１回の位置および相対距離の測定で、再補正対象を判定することが可能である。なお、上述した実施形態では、複数のカメラのうちの１台しか位置ずれしないと仮定し、カメラの個数を４台以上としていた。しかしながら、検知可能な再補正対象のカメラの個数は、１に限定されるものではなく、充分な個数のカメラが設けられる前提において、複数台の位置ずれに対処可能に構成してもよい。

図６～図８を参照して説明した実施形態では、ステレオペアで三次元計測した三次元座標系における１点の位置および２点間の相対距離に基づいて再補正対象のカメラを判定するものであった。以下、図９～図１２を参照しながら、カメラの撮像画像の画像座標系における対象物の特徴点（例えば対象物の重心）の速度や加速度を用いて再設定対象のカメラを判定する他の実施形態について説明する。

図９は、他の実施形態による三次元計測装置１１０が実行する、三次元計測とともに再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャートである。図９に示す処理は、対象物の画像座標系における重心位置の変化により位置ずれしたカメラを判定する処理を示す。図９に示す制御は、例えば、オペレータからの三次元計測の開始の指示に応答して、ステップＳ３００から開始する。

ステップＳ３０１では、三次元計測装置１１０は、キャリブレーション部２６０により、各高速ビジョンカメラ１６０の初期設定を行う。ステップＳ３０２では、三次元計測装置１１０は、すべての高速ビジョンカメラ１６０において、対象物の面積に合わせたサイズの関心領域（ＲＯＩ）を設定する。ステップＳ３０３では、三次元計測装置１１０は、ステップＳ１０２で設定した関心領域内で重心位置を求める。ステップＳ３０４では、三次元計測装置１１０は、複数の高速ビジョンカメラ１６０から状況に応じて適切なステレオペアを選択する。ステップＳ３０５では、三次元計測装置１１０は、選択したステレオペアの画像各々から求められた重心位置（ｘｎ，ｙｎ）と射影行列Ｐｎとを用いて、三角測量の原理で三次元計測を実行する。ステップＳ３０６では、三次元計測装置１１０は、計算された対象物の重心位置を中心として関心領域を再設定する。ここまでは、図６に示すフローと同様であるが、図８に示す処理では、ステップＳ３０６の後はステップＳ３０７へ進められる。

ステップＳ３０７では、三次元計測装置１１０は、全カメラの関心領域の中で、重心位置を求め、１つ前の重心位置と合わせて重心速度Ｖｎ_ｔを算出する。ステップＳ３０８では、三次元計測装置１１０は、すべてのカメラが許容条件を満たすか否かを判定する。ここで判定される許容条件は、特定の実施形態では、ステップＳ３０７で求めた全カメラの重心速度Ｖｎ_ｔ（ｔは時間を識別する。）を１つ前の重心速度Ｖｎ_ｔ－１と比較して、ある一定の閾値α以上の変化が生じていないという条件（Ｖｎ_ｔ－１－α＜Ｖｎ_ｔ＜Ｖｎ_ｔ－１＋α）である。

図１０は、他の実施形態による三次元計測装置１１０が実行する、重心速度を用いた位置ずれがあるカメラを判定する方法を説明する。図１０（Ａ）は、位置ずれがあるカメラを判定する方法を示す概念図である。図１０（Ａ）では、図８（Ａ）および図８（Ｂ）と同様に、簡単のためカメラＣ１～Ｃ３は、平行に置かれているものとして描かれているが、任意の位置および姿勢で置かれ得る。ここで、１台しかずれないと仮定した場合、カメラの個数は３台以上となり、図１０（Ａ）に示す例では、カメラの個数は、３である（Ｎ＝３）。

図１０（Ａ）に示す例では、カメラＣ２が破線で示すようにずれたとする。このとき、カメラＣ２で設定していた関心領域の重心位置を時系列としてみると、急激に変化することが考えられる。他のカメラの関心領域の重心位置が急激に変化してないにもかかわらず、特定のカメラＣ２のみの重心位置の変化が大きい場合、これはカメラＣ２に何らかの理由で位置ずれが生じたと判定することができる。

図１０（Ｂ）は、対象物が所定の速度Ｖで運動しており、それを高速ビジョンカメラ１６０で撮像して得られる重心速度Ｖ２の時間変化を模式的に示すを示すグラフである。各カメラは、常に対象物をトラッキングしており、対象物の重心位置（ｘｎ，ｙｎ）が得られる。この重心位置の時間変化より、各カメラで重心速度Ｖｎを導出することができる。もし対象物が同一方向に等速Ｖで運動しているとすると、各カメラで観察される重心速度は一定であるはずである。しかしながら、図１０（Ａ）に示すように、時刻ｔ１で第２カメラＣ２に位置ずれが生じると、そのカメラに対する対象物の進む方向が変化し、図１０（Ｂ）で描かれるように重心速度の一定値に変化が生じる。そのため、重心速度Ｖｎをモニタし、ある一定の閾値α以上の速度の変化が生じた場合に、カメラがずれたと判定することができる。

再び図９を参照すると、ある一定の閾値α以上の速度Ｖｎの変化が生じているカメラがあった場合（ステップＳ３０８でＮＯ）は、ステップＳ３０９へ処理を進め、ステップＳ３０９では、そのカメラの位置がずれていると判断して、その再補正対象カメラｍの新たな外部パラメータを算出し、新たな射影行列Ｐｍを得る。一方、すべてのカメラで一定の閾値α以上の変化が生じていなかった場合（ステップＳ３０８でＹＥＳ）は、ステップＳ３１０へに進み、次の重心速度を保存するためのカウントｔをインクリメントし、ステップＳ３０３へ処理を戻す。

このように、再補正対象カメラ判定部２７２は、複数のカメラ各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した速度が所定の条件を満たすカメラを、補正対象として検出することができる。なお、図９および図１０を参照して説明した実施形態では、各カメラで観測される画像座標系における重心位置および速度だけで再補正対象が判定できるので、必要なカメラの個数を削減することができる。

なお、図９および図１０を参照しながら説明した実施形態では、対象物が等速運動していることを前提としていた。以下、対象物の速度が変化する場合（つまり加速または減速する場合）にも対処することができる、さらに他の実施形態について、図１１を参照しながら説明する。

図１１は、さらに他の実施形態による三次元計測装置１１０が実行する、重心加速度を用いた位置ずれがあるカメラを判定する方法を説明する。図１１（Ａ）は、カメラに位置ずれが生じた際の対象物の重心速度の変化を説明する図である。上述したように各カメラは、常に対象物をトラッキングしており、対象物の重心位置（ｘｎ，ｙｎ）が得られる。この重心位置の時間変化より、各カメラで重心加速度ａｎを導出することができる。もし対象物が一定の速度変化を持って（一定の加速度で）運動しているならば、重心速度は、図１１（Ａ）に示すように一定に増加または減少するはずである。一方、加速度に変換すると、一定の加速度となるはずである。図１１（Ｂ）は、カメラに位置ずれが生じた際の対象物の重心加速度の変化を説明する図である。

ここで、図１０（Ａ）に示すように、時刻ｔ１で第２カメラＣ２に位置ずれが生じると、そのカメラに対する対象物の進む方向が変わるため、重心速度の一定値に変化が生じ、図１１（Ｂ）で描かれるように、同様に重心加速度の一定値に変化が生じるる。そのため、重心加速度ａｎをモニタし、ある一定の閾値β以上の速度の変化が生じた場合に、カメラがずれたと判定することができる。この場合、図９に示すステップＳ３０７では、速度Ｖｎに加えて、さらに加速度ａｎを算出し、ステップＳ３０８では、ステップＳ３０７で求めた全カメラの重心加速度ａｎ_ｔ（ｔは時間を識別する。）を１つ前の重心加速度ａｎ_ｔ－１と比較して、ある一定の閾値β以上の変化が生じていないという許容条件（ａｎ_ｔ－１－β＜ａｎ_ｔ＜ａｎ_ｔ－１＋β）を判断すればよい。

このように、再補正対象カメラ判定部２７２は、複数のカメラ各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した加速度が所定の条件を満たすカメラを、補正対象として検出することができる。

なお、図９～図１１を参照しながら説明した実施形態では、突発的に位置ずれしたカメラを再補正対象として検知するものであった。以下、カメラが経時的に位置をずらした場合にも対処することが可能なさらに他の実施形態について、図１２を参照しながら説明する。

図１２は、さらに他の実施形態による三次元計測装置１１０が実行する、三次元計測とともに、再補正対象カメラの判定およびキャリブレーション補正を行う制御を示すフローチャートである。図１２は、経時的に位置ずれしたカメラを再補正対象として判定する処理を示す。

図１２に示す制御は、例えば、オペレータからの三次元計測の開始の指示に応答して、ステップＳ４００から開始する。なお、図１２に示すステップＳ４００～４０７までの処理は、図９に示すステップＳ３００～３０７までの処理と同様であるため、説明を割愛する。

ステップＳ４０８では、三次元計測装置１１０は、時刻のインデックスｔを所定時間ｔｉｍｅで除算し、剰余が０であるか否かで処理を分岐させる。ここでは、ｔｉｍｅ回に１回だけ、処理がステップS４０９へ分岐させられ、残りのｔｉｍｅ－１回は、処理がステップＳ４１０へ分岐させられる。この定数ｔｉｍｅは、重心速度の変化を蓄積し、任意に設定したある速度の閾値γと比較するための時間を設定する。

ステップＳ４１０では、三次元計測装置１１０は、図９に示した許容条件と同一の第１許容条件を満たすか否かを判定する。ここで判定される第１の許容条件は、特定の実施形態では、ステップＳ４０７で求めた全カメラの重心速度Ｖｎ_ｔ（ｔは時間を識別する。）を１つ前の重心速度ｖｎ_ｔ－１と比較して、ある一定の閾値α以上の変化が生じていないという条件（Ｖｎ_ｔ－１－α＜Ｖｎ_ｔ＜Ｖｎ_ｔ－１＋α）である。

ある一定の閾値α以上の速度Ｖｎの変化が生じているカメラが有った場合（ステップＳ４１０でＮＯ）は、ステップＳ４１１へ処理を進める。ステップＳ４１１では、三次元計測装置１１０は、閾値α以上の速度Ｖｎの変化が生じているカメラの位置がずれていると判断して、その再補正対象カメラｍの新たな外部パラメータを算出し、新たな射影行列Ｐｍを得る。一方で、ステップＳ４１０で、全てのカメラで第１の許容条件が満たされると判定された場合（ＹＥＳ）は，ステップＳ４１２へ処理を進める。ステップＳ４１２では、三次元計測装置１１０は、新たな速度を保存するためのカウントｔをインクリメントし、ステップＳ４０３へ処理を戻す。

一方、ステップＳ４０９では、三次元計測装置１１０は、すべてのカメラが第２の許容条件を満たすか否かを判定する。ここで判定される第２の許容条件は、特定の実施形態では、ステップＳ４０７で求めた全カメラのｔｉｍｅ時間分蓄積された重心速度Ｖｎ_ｔ（ｔは時間を識別する。）をｔｉｍｅ時間前の重心速度Ｖｎ_{ｔ－ｔｉｍｅ}と比較して、ある一定の閾値γ以上の変化が生じていないという条件（Ｖｎ_{ｔ－ｔｉｍｅ}－γ＜Ｖｎ_ｔ＜Ｖｎ_{ｔ－ｔｉｍｅ}＋γ）である。なお、ここでは、累積速度を条件とするが、累積加速度を条件としてもよい。

ある一定の閾値γ以上の累積速度Ｖｎの変化が生じているカメラが有った場合（ステップＳ４０９でＮＯ）は、ステップＳ４１１へ処理を進める。ステップＳ４１１では、三次元計測装置１１０は、閾値γ以上の累積速度Ｖｎの変化が生じているカメラの位置がずれていると判断して、その再補正対象カメラｍの新たな外部パラメータを算出し、新たな射影行列Ｐｍを得る。一方ステップＳ４０９で、全てのカメラで第２の許容条件が満たされると判定された場合（ＹＥＳ）は，ステップＳ４１０へ処理を進める。

このように、再補正対象カメラ判定部２７２は、複数のカメラ各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した速度または加速度の累積値が所定の条件を満たすカメラを、補正対象として検出することができる。

以上説明した実施形態によれば、複数の撮像手段を用いる三次元計測において、再補正が必要な撮像手段を判断し、その撮像手段を用いる三次元計測におけるパラメータを補正することが可能な情報処理装置、情報処理システム、校正方法およびプログラムを提供することが可能となる。

特に、上述した実施形態による三次元計測によれば、三次元計測開始後にカメラに位置ずれが発生した場合でも、高速かつ精度の良い三次元計測を実現することが可能となる。

なお、説明する実施形態では、情報処理システムの一例として、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０を含む三次元計測システム１００をもって説明してきた。しかしながら、情報処理システムは、上記の構成に限定されるものではなく、コンポーネントの追加や削除が行われてもよい。例えば、三次元計測装置１１０およびカメラ同期装置１５０の機能を兼ねそろえる装置を設け、三次元計測装置１１０およびカメラ同期装置１５０を省略してもよい。他の実施形態では、複数の高速ビジョンカメラ１６０、三次元計測装置１１０およびカメラ同期装置１５０に加えて、対象物１０２を物理的に操作するロボットアームなどのロボティック装置、ロボット装置を制御する制御コントローラを含み構成されてもよい。その際に、三次元計測装置１１０および制御コントローラの機能を兼ねそろえる装置を設けてもよい。

なお、説明する実施形態では、ｎ台の高速ビジョンカメラ１６０が固定されており、対象物が移動しているものとして説明するが、ｎ台の高速ビジョンカメラ１６０と対象物との相対的な位置関係が変動する限り、いかなる構成に対しても適用可能である。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。ある実施形態では、三次元計測装置は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。

以上、本発明の実施形態および実施例について説明してきたが、本発明の実施形態および実施例は上述した実施形態および実施例に限定されるものではなく、他の実施形態、他の実施例、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…三次元計測システム、１０２…対象物、１１０…三次元計測装置、１５０…カメラ同期装置、１６０…高速ビジョンカメラ、１７０…撮像画像、１７２…対象物像、２１０…画像入力部、２２０…対象探索部、２３０…トラッキング部、２３２…重心計算部、２３４…領域設定部、２５０…三次元計測部、２６０…キャリブレーション部、２６２…補正変換用行列計算部、２６４…基礎行列計算部、２７０…キャリブレーション補正部、２７２…再補正対象判定部、２７４…パラメータ算出部、５００…パーソナルコンピュータ、５０１…ＣＰＵ、５０２…ＲＯＭ、５０３…ＲＡＭ、５０４…ＨＤＤ、５０５…ＨＤＤコントローラ、５０６…ディスプレイ、５０８…外部機器接続Ｉ／Ｆ、５０９…ネットワークＩ／Ｆ、５１１…キーボード、５１２…ポインティングデバイス、５１４…ＤＶＤ－ＲＷドライブ、５１３…ＤＶＤ－ＲＷメディア、５１６…メディアＩ／Ｆ、５１５…記録メディア

特開２００５－２３３６３９号公報

Claims (11)

1. 複数の撮像手段を用いる三次元計測の校正を行うための情報処理装置であって、
   前記撮像手段の撮像画像から求められる情報に基づいて、前記複数の撮像手段のうちの再補正対象の撮像手段を判定する対象判定手段と、
   前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、前記再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、前記再補正対象の撮像手段を用いる三次元計測のパラメータを算出する算出手段と
   を含む、情報処理装置。
2. 前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報は、複数回の三次元計測で得られた三次元座標系の複数の位置を示すものであり、前記対応する位置情報は、前記再補正対象の撮像手段による複数回の撮像で得られた画像座標系での特徴点の複数の位置を示すものであり、前記算出手段は、前記三次元座標系の複数の位置と、前記画像座標系の複数の位置とに基づいて、前記再補正対象の撮像手段のパラメータとして、平行移動行列および回転行列を算出する、請求項１に記載の情報処理装置。
3. 前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報は、三次元計測で得られた三次元座標系の１以上の位置を示すものであり、前記対応する位置情報は、前記再補正対象の撮像手段による撮像で得られた画像座標系での特徴点の１以上の位置を示すものであり、前記算出手段は、前記三次元座標系の１以上の位置と、前記画像座標系の１以上の位置とに基づいて、前記再補正対象の撮像手段のパラメータとして、平行移動行列を算出する、請求項１に記載の情報処理装置。
4. 前記対象判定手段は、前記情報として、前記複数の撮像手段のうちの各組を用いて行った三次元位置を比較することにより、前記再補正対象の撮像手段を検出することを特徴とする、請求項１～３のいずれか１項に記載の情報処理装置。
5. 前記対象判定手段は、前記情報として、前記複数の撮像手段のうちの各組を用いて行った三次元座標系における２点間の相対距離を比較することにより、前記再補正対象の撮像手段を検出することを特徴とする、請求項１～３のいずれか１項に記載の情報処理装置。
6. 前記対象判定手段は、前記情報として、前記複数の撮像手段各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した速度が所定の条件を満たす撮像手段を、前記再補正対象の撮像手段として検出する、請求項１～３のいずれか１項に記載の情報処理装置。
7. 前記対象判定手段は、前記情報として、前記複数の撮像手段各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した加速度が所定の条件を満たす撮像手段を、前記再補正対象の撮像手段として検出する、請求項１～３のいずれか１項に記載の情報処理装置。
8. 前記対象判定手段は、前記複数の撮像手段各々を用いて撮像された画像中の特徴点の位置の時間変化を検出し、検出した特徴点の位置の時間変化に基づき算出した速度または加速度の累積値が所定の条件を満たす撮像手段を、前記再補正対象の撮像手段として検出する、請求項１、請求項６または７に記載の情報処理装置。
9. 複数の撮像手段を用いる三次元計測を行う情報処理システムであって、
   それぞれ異なる位置に配置された複数の撮像手段と、
   前記撮像手段の撮像画像から求められる情報に基づいて、前記複数の撮像手段のうちの再補正対象の撮像手段を判定する対象判定手段と、
   前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、前記再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、前記再補正対象の撮像手段を用いる三次元計測のパラメータを算出する算出手段と
   を含む、情報処理システム。
10. 複数の撮像手段を用いる三次元計測における校正方法あって、コンピュータが、
    前記撮像手段の撮像画像から求められる情報に基づいて、前記複数の撮像手段のうちの再補正対象の撮像手段を判定するステップと、
    前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、前記再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、前記再補正対象の撮像手段のパラメータを算出するステップと
    を含む、校正方法。
11. 複数の撮像手段を用いる三次元計測の校正を行うための情報処理装置を実現するためのプログラムであって、コンピュータを、
    前記撮像手段の撮像画像から求められる情報に基づいて、前記複数の撮像手段のうちの再補正対象の撮像手段を判定する対象判定手段、および
    前記再補正対象以外の撮像手段の組み合わせを用いて取得した三次元位置情報と、前記再補正対象の撮像手段の撮像画像中の対応する位置情報とに基づき、前記再補正対象の撮像手段のパラメータを算出する算出手段
    として機能させるためのプログラム。

Images