JP2004506215A - ３次元再構成のためのストラップダウンシステム - Google Patents

Abstract

３次元対象物の形状は、最初に点の基準面における投影を決定することにより、キャリブレーションされていないステレオ画像から決定される。基準面からの各点の距離は、各カメラの視野において可視である２つの既知の点に基づくキャリブレーションを使用する技術によって得られる。この方法は、１つの精密測定のみを必要とし、それは、基準面からの２つのキャリブレーション点の奥行きである。これらはセットアップ装置に供給され、ユーザが測定を行う必要が無くなる。要求される残りのキャリブレーションデータは、カメラの画像から直接得られる。

Description

【０００１】
［発明の背景］
［発明の属する技術分野］
本発明は、１対のカメラにより捕捉される同一の対象物の画像に基づく形状の３次元モデリングに関する。
【０００２】
［発明の背景］
３次元シーンにおける対象物の形状及び位置に関する情報を入力することは、オートメーションの支援なくしては困難且つ単調な作業である。このような情報は、３次元アニメーション、マシンビジョン（製品の品質管理における形状解析／認識）、自動車衝突から動物の行動までのイベントの力学の解析、更には、ジェスチャ認識に依存するユーザインタフェース、及び、バイオ認証において有用である。その応用範囲は多様である。例えば、パニング効果を形成するよう１つの視点から次の視点に画像をモーフィングすることによる純粋な視覚データを使用する３次元モデリングの幾つかの利点を供給する方法もあるが、これらは、純３次元モデリングの能力には及ばない。
【０００３】
［発明の概要］
本発明を使用することにより、複数のカメラ画像に基づいた３次元再構成を、精密測定、キャリブレーション、及び、機器の配置が困難である環境において行うことができる。例えば、消費者製品では、そのような再構成はユーザインタフェースの一部として使用でき、また、システムがセットアップされる速度が重要であり、このようなシステムは通常扱いにくい分野に使用することができる。本発明は、技術的な知識を必要とすることなく複数カメラの３次元再構成を容易にキャリブレーションすることが可能となる構成要素を提供する。
【０００４】
セットアップをキャリブレーションするための２つの実施例について説明し、それを用いて未知の点に対する位置データを計算する。物理的な装置は他の計算技術と共に使用してもよい。２つの例示的な実施例のうちの１つでは、キャリブレーション処理によって、カメラ画像の光学的中心（ピンホールカメラのピンホールの位置）は、位置が既知である基準マーカから三角測量により決定され、位置データはカメラ画像から未知の点の座標を決定するために使用される。もう一方の実施例では、キャリブレーションはアルゴリズムを供給し、このアルゴリズムにより未知の点の基準面からの距離が計算され、アルゴリズムは、基準面からの１対の基準マーカの距離から得られる。いずれの実施例においても、２つのマーカが使用されてセットアップをキャリブレーションし、その後にシーンから取り除かれ、システムが同一の視野における任意の未知の点の位置又は奥行きを決定するために使用することができるようにする。
【０００５】
キャリブレーション装置の１つの実施例において、各カメラは、画像の周辺フィールドにおいて常に可視である多角形のアパーチャの背後からシーンを見る。アパーチャは共に共通の基準面上にある。最初のセットアップ手順において、前面画面（カメラ及びそれぞれのアパーチャに向かって見る）が捕捉され、正投影に近似する狭い視野を得る。これは、基準面の歪んでいない２次元の外観をあらわす。カメラの２つの画像は、奥行きの計算の際に、平面投影変換により基準面にワープされ、アパーチャの境界が完全に一直線となるよう重ねられる。この平面投影変換は、セットアップ手順の際に計算され、繰り返す必要はない。
【０００６】
セットアップ手順の際には更に、マーカを基準面に対し所定の位置に配置するのに有効である装置がシーンに置かれる。第１の計算実施例では、マーカの３つの座標が既知である。第２の計算実施例では、マーカの基準面からの距離（奥行き）のみが既知である。
【０００７】
第１の計算実施例では、キャリブレーションの際に、キャリブレーションマーカの３次元座標が、基準面に対するカメラの光学的中心を計算するために使用される。このために、各カメラにおける各マーカの像は、変換を利用して基準面にワープされ、変換は、カメラのアパーチャのコーナを、基準面の直交ビューにおける対応する点にマッピングする。各カメラのマーカ像は、基準面上の１対の点にマッピングされ、これはカメラの光学的中心において交差する。光学的中心が既知となると、光学的中心は、基準面にワープされる任意の未知の点の像から、その任意の未知の点の位置を三角測量で得られるよう使用することができる。
【０００８】
第２の計算実施例では、基準面に対するキャリブレーションマーカの奥行きのみが既知であるが、未知の点の基準面に対する奥行きは、あまり簡単でない手段によって決定可能である。この技術のためのアルゴリズムは、明細書の主要部分に与えられる。
【０００９】
システムは、キャリブレーションのために使用される特定の取付部品を除き、カメラ又はオプティックスの位置についての情報を用いることなく実施することが可能であり、従って、迅速且つ便利なセットアップに好適である。シーンにおける画像をぴったりと合わせること以外は、必要となるキャリブレーションセットアップは、基準面に対し１対の点を正確に配置することだけである。これは、異なる位置にそれぞれ置かれる１対のマーカを有する伸張可能なブームといった取付部品により供給される。これにより、消費者が、例えば、家庭においてシステムをセットアップすることができるようになる。
【００１０】
基準面に対する未知の点の奥行きの決定は、Ｗｅｉｎｓｈａｌｌ， Ｄ．， Ａｎａｎｄａ， Ｐ．， Ｉｒａｎｉ， Ｍによる「Ｆｒｏｍ ｏｒｄｉｎａｌ ｔｏ Ｅｕｃｌｉｄｅａｎ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ｐａｒｔｉａｌ ｓｃｅｎｅ ｃａｌｉｂｒａｔｉｏｎ」Ｓｐｒｉｎｇｅｒ ＬＮＣＳ： ３Ｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｕｌｔｉｐｌｅ Ｉｍａｇｅ ｏｆ Ｌａｒｇｅ Ｓｃａｌｅ Ｅｎｖｉｒｏｎｍｅｎｔ， Ｊｕｎｅ， １９９８に記載されるアルゴリズムに従い、ここに記載される内容全体は本願に記載されたものとして参考文献として組込まれる。
【００１１】
上述した方法は、３次元シーンをモデリングするための「ストラップダウン（ｓｔｒａｐ−ｄｏｗｎ）」セットアップを形成するよう使用することができる。必要な整合情報は、幾つかの相互接続された構成要素及びカメラによって３次元シーンに置くことが可能である。例えば、アパーチャを有し基準面を表すパネルは、例えば、カメラの前にセットアップされ、「ピークスルー」構成とされてよい。パネルは、基準面から所定の距離において可視となる１対のスポットをシーンに配置する伸張可能なワンド又は他の一時的な装置を有してもよい。ワンドは、キャリブレーションの際に一時的にシーンに伸張され、その後取り除かれる。カメラの位置合わせ及び基準フレーム画像の作成には、カメラの正確な位置決め、又は、カメラの位置合わせ又は位置決めに関する正確な情報を必要としない。
【００１２】
データ入力又は高い精度を必要としないので、セットアップ手順は単純であり、このような特徴が付加価値となる環境において使用することができる。例えば、システムは、例えば、対象物を分析するフィールドエンジニア又はジェスチャに基づくユーザインタフェースの一部としてプレゼンタによって、一時的な場所において迅速にセットアップすることができる携帯可能なキットとして形成可能である。システムは、スマート電化製品又は最新通信装置の制御用ユーザインタフェースのベースを形成できるよう家庭内においてセットアップされるべく消費者に出荷されてもよい。この技術の応用範囲は様々且つ数多く、現在及び将来のマシンビジョンの略どの用途も包含する。
【００１３】
キャリブレーション及びセットアップは、１つのカメラからもう１つのカメラに位置情報を供給することによって行われることが可能であり、それにより、相対的な位置合わせ及び位置を決定可能である。例えば、各カメラはもう一方に平行ビームを送信するようにされていてもよい。粗い位置合わせは、ユーザが各カメラのビームをもう一方のカメラの検出器に向けることにより達成され、正確な誤差は、各カメラの検出器上にビームが当たる場所を検出することにより決定される。２つのカメラの精密な位置合わせが与えられると、任意の基準面が決定可能となる。或いは、カメラを精密に位置合わせするジグが使用されてもよい。しかし、この代替案は、カメラ間の位置合わせ及び画像差を補償する好適な構成の利点を有さず、というのは、代替案は、各カメラは光学的中心（ピンホールカメラ理想）を通る画像を形成するという仮定のみに基づいているからである。従って、第１の実施例は、カメラは基準面のアパーチャを覗き込み、基準面及びアパーチャの１つの画像のみを使用するので、好適である。
【００１４】
尚、本発明の方法は、２つのカメラの使用に制限されるものではなく、シーンの重なり合う特徴を観察する任意の数のカメラを使用することが可能である。重なり合う画像からの画像データは、確率的誤差を減少するのに使用することができる。多数のカメラは、システムの有効視野を増加するために使用することもできる。
【００１５】
［好適な実施例の詳細な説明］
本発明は、以下の例示的な図面を参照しながら、特定の好適な実施例に関連して説明し、それにより、本発明をより完全に理解することができよう。図面を参照するに、図示される詳細は例示的であり、且つ、本発明の好適な実施例を例示的に説明するものに過ぎず、本発明の原理及び概念的な面を容易に理解するのに最も有用であるものとして提示されていることを強調する。この点に関し、本発明は構造的な詳細を、本発明の基本的な理解のために必要である以上に示してはいない。参照図面と共に本発明の説明を考慮することにより、当業者には、実際に具現化される本発明の幾つかの方法を想到可能であろう。
【００１６】
図１Ａ、図１Ｂ、及び、図１Ｃを参照するに、１対のカメラ１００及び１０５が、アパーチャ１５０及び１５５を有するスクリーン１３５が取付けられるテーブル１１０上に配置される。カメラ１００はスクリーンの前にあるシーンに向けられ、カメラ１００がアパーチャ１５０を介しシーンを見るようにされる。カメラ１０５もシーンに向けられ、アパーチャ１５５を介しシーンを見るようにされる。カメラ１００及び１５０は、アパーチャ１５０及び１５５のフレーム１６５及び１７０の内側の縁がそれぞれ各画像に含まれるようアパーチャ１５０及び１５５を介しねらいが定められる。従って、カメラ１０５の視野１３０はアパーチャによって僅かにクリッピングされ、破線１３２によって示すような有効視野に小さくされる。カメラ１００に対しても同様に、視野１３１は僅かにクリップングされ、破線１４５に示す通りとなる。
【００１７】
ブーム１１５は、両方のカメラの視野に入り１４０に示すような位置に配置されるよう回転転可能である。ブームは、その長さ方向においてスクリーン１１０から異なる距離にある１対のマーカ１２０及び１２５を有する。伸張された位置１４０に回転されると、両方のマーカは各カメラの画像中に可視となる。
【００１８】
マーカ１２０及び１２５は、スクリーン１３５の内側の縁１７０／１６５に対し既知の位置に配置される。マーカの３次元座標、又は、基準面からの距離のいずれかが使用されるが、これは、未知の点の３次元座標が所望されるか又は奥行きのみが所望されるかに依存する。３次元座標が所望される場合、カメラの光学的中心が計算され、未知の点はカメラの光学的中心からの三角測量により求められ、未知の点の座標は基準フレームにワープされる。奥行きが所望される場合、以下に説明するアルゴリズムが使用される。
【００１９】
図１Ｄを更に参照するに、アパーチャ１５０及び１５５のコーナ２１、２２、２３、及び、２４によって定義付けられる４点は、スクリーンの内側面１３７により画成される面に全て配置される。本実施例では、この内側面１３７は基準面を画成する。各画像におけるこれらの４つの座標及びマーカに関する位置データにより、システムはキャリブレーションされ、それにより、シーンにおける任意の点（両方のカメラから可視である）の３次元座標及び奥行きを決定することができる。
【００２０】
点を基準面にマッピングするには、スクリーン１３５から少し距離が置かれ且つスクリーン１３５に対し略垂直であるアパーチャの画像を必要とする。基準フレームにおける座標は、この画像に対し定義される。この画像は、セットアップの際に１回だけ生成されればよい。この画像は、各カメラのアパーチャの４点を示さなければならず、それにより、正確な変換を計算することができる。この変換は、２０００年５月１７日に出願された「Ａｐｐａｒａｔｕｓ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｉｎｄｉｃａｔｉｎｇ ａ Ｔａｒｇｅｔ ｂｙ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ Ｗｉｔｈｏｕｔ Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｍｏｄｅｌｉｎｇ」なる名称の米国特許出願番号０９／５７２，９９１に記載されるように大体計算され、上記特許出願の全体は本願に参考文献として組込む。この変換を使用することにより、カメラの画像における任意の点を基準面にワープすることができる。
【００２１】
図４に、使用可能な類似の方法を説明する。図４では、４つの基準点４２２、４２３、４２４、及び、４２５が基準面４７０に配置されるが、基準面は、同一の４つの基準マーカが各カメラ４１５及び４２０に対し可視となるよう配置される。各カメラは、４つの基準マーカ像４３１、４３２、４３３、及び、４３４をそれぞれの画像面４３０（カメラ４１５に対しては画像面４４０）に有する。これらのマーカ像は、基準フレーム４３５への変換を計算するために使用され、基準フレームは基準面４７０の平面投影である。
【００２２】
図５を参照するに、第１の計算実施例では、位置が既知であるマーカ４５１及び４５２の像（４３２、４３４）は基準面に４５３、４５４として変換される。このマーカの既知の座標及びマーカの変換後の像の座標を使用して、各カメラの光学的中心（カメラ４２０に対しては４５５）を計算することができる。上記は、第１の計算実施例に対するキャリブレーション処理が完了する。
【００２３】
図６を参照するに、カメラの光学的中心の既知の位置を使用して、任意の未知の点は基準面にワープされ、基準面における像座標が求められる。各カメラから基準フレームにワープされる未知の点は、それぞれのカメラに対し像４６２、４６３となる。未知の点の位置は図示するように三角測量から求めることができる。
【００２４】
第２の計算実施例では、未知の点の基準面に対する奥行きが決定されるが、マーカの基準面に対する奥行きが与えられたとすると、上記決定は、それぞれの画像における未知の点及び２つのキャリブレーション点の非同次座標の基準面への平面投影変換から開始する。以下の変数が定義される：ｐは、第１のカメラ１００の画像における点を表し、ｑは、第２のカメラ１０５の画像における点を表し、ｉは第１のマーカを表し、ｊは第２のマーカを表す。第１のカメラ１００の画像における点を表す形状行列ｐの行インデックスは、軸（Ｘ＝１及びＹ＝２）を表し、行列ｐの列インデックスは、対応する座標の点を表す。同様に、第２のカメラ１０５の画像中の点を表す形状行列ｑの行インデックスは、軸（Ｘ＝１及びＹ＝２）を表し、行列ｑの列インデックスは、対応する座標の点を表す。文字ｉ及びｊは、マーカ１２０及び１２５に対応する点を表し、文字ｋは未知の点を表す。従って、ｐ（１，ｉ）は、第１のカメラ１００の画像における１つのマーカ点のＸ座標であり、ｑ（２，ｊ）は、第２のカメラ１００の画像におけるもう一方のマーカ点のＹ座標である。文字Ｚは、点の奥行き、又は、基準面からの距離を表す。未知の点ｋのＸ及びＹ座標は、アパーチャのそれぞれのコーナ点を、基準画像における対応する点にマッピングする平面投影変換を計算することにより、基準フレームにおいて得られる。像点とエピポールとをつなぐ線は、各像に対し上記の変換を用いることにより変換される。これらの２つの線の交点は、基準面座標における未知の点の場所を示す。次に、未知の点の奥行きが、以下の行列の特異値分解（ＳＶＤ）を用いることにより計算される。
【００２５】
【表１】

ＳＶＤのＶ行列の比ｕ＝Ｖ（６，９）／Ｖ（３，９）（即ち、６行９列目の値を３行９列目の値によって割り算する）は、未知の点の相対的奥行きに等しい。数値による奥行きは、式１から得られる。
【００２６】
【数１】

従って、各画像に対するアパーチャ１５０及び１５５のコーナにより定義付けられる４つの点の座標と、スクリーン１３５の内側面１３７からのマーカ１２０及び１２５の距離によって、両方のカメラの画像における任意の点の距離を計算することができる。尚、変換はキャリブレーション段階に計算可能であり、繰り返される必要はなく、変換はコンピュータに記憶される。
【００２７】
尚、ブーム１１５の機能は、外側に向かって旋回する軸受け１０５に取付けられる単一の要素以外に様々な他の装置によっても行うことが可能である。例えばブームは、或いは、マーカを指定の位置に配置するようカメラ１００及び１０５の前に直接延出する伸縮式の構造であってもよい。
【００２８】
図２を参照するに、本発明は、カメラが、４つのマーク２２０をその上に有する基準面２１０を見るセットアップを用いて実施されてもよい。点は、レーザスキャナによって壁に投影されてよい。或いは、マークを含むスクリーンが、カメラの前方に一時的にセットアップされてもよい。後者の場合、スクリーンの位置が、基準面であり、全ての座標はスクリーンに対し決定される。
【００２９】
図３を参照するに、本発明は、カメラ３０１及び３０２等に接続される画像プロセッサ３０５により実施され得る。用途プロセス３３０は、３次元情報を使用する。上述したように、用途プロセスは、ジェスチャを認識するユーザインタフェース、解析又はアニメーションに使用する３次元モデルの作成、又は、３次元形状又は３次元位置情報を使用可能な任意のプロセスである。カメラの各２次元画像における特定の特徴は、既知である様々な方法により選択可能である。様々な２次元画像解析及び分類技術を使用して、１つの画像における点を他の画像における点と特定する技術を使用してもよく、このトピックに関する議論は本願の範囲外である。同一の３次元特徴に対応する２つの画像における点を特定するために使用してもよい１つの例示的な方法は、各画像における特徴点を単に特定し、それぞれに対しカーネルにおいて２次元的な強度の相関を計算することである。画像プロセッサ３０５は、メモリ３１０、不揮発性記憶装置３２０、及び、出力装置３４０を使用してもよい。
【００３０】
当業者には、本発明は、上述した例示的な実施例の詳細に制限されるものではなく、更に、本発明の目的又は本質的なアトリビュートから逸脱することなく他の特定の形式で具現化可能であることが明らかであろう。本発明は、従って、全ての面において制限的ではなく例示的であると考えるべきであり、本発明の範囲は上述の説明ではなく、むしろ特許請求の範囲により決定されるものであり、従って、特許請求の範囲の目的及びそれと等価の範囲における全ての変更は本願に包含されるものとする。
【図面の簡単な説明】
【図１Ａ】
本発明の実施例を実施するためのジグを示す平面図である。
【図１Ｂ】
図１Ａのジグを示す正面図である。
【図１Ｃ】
図１Ａ及び図１Ｂのジグを示す側面図である。
【図１Ｄ】
図１Ａ乃至図１Ｃのジグのアパーチャの輪郭を示す図である。
【図２】
本発明の様々な実施例に共通する特徴を示す図である。
【図３】
本発明を実施するために使用されてもよいコンピュータシステムを示す図である。
【図４】
三角測量法を支援するために使用されるキャリブレーション処理の段階を示す図である。
【図５】
三角測量法を支援するために使用されるキャリブレーション処理の段階を示す図である。
【図６】
三角測量法を支援するために使用されるキャリブレーション処理の段階を示す図である。

Claims (12)

1. 視野が重なるようねらいが定められる少なくとも２つのカメラを用いて空間における未知の点の位置を決定する方法であって、
   上記カメラのそれぞれにおいて、基準面にある少なくとも４つの点に対応する像を生成し、上記基準面は上記カメラの上記画面のそれぞれに共通する段階と、
   上記少なくとも４つの点の上記像を、基準フレームにマッピングする平面投影変換を計算し、上記基準フレームは上記基準面の投影である段階と、
   上記カメラのそれぞれにおいて、上記基準面に対する位置が既知である少なくとも２つのキャリブレーションマーカの像、及び、未知の点の像を生成する段階と、
   上記少なくとも２つのキャリブレーションマーカの上記像、及び、未知の点の上記像のそれぞれに対し上記変換を行い、上記画像面におけるそれぞれの点を画成する段階と、
   上記未知の点の少なくとも奥行き、及び、上記基準フレームに変換される上記未知の点及び上記少なくとも２つの点の座標に応答して、上記基準面からの上記未知の点の少なくとも距離を算出する段階とを含む方法。
2. 上記算出段階は、上記キャリブレーション点の位置に応答して、上記基準面からの上記未知の点の距離を算出する段階を含む請求項１記載の方法。
3. 上記点は、上記基準面からの上記キャリブレーション点の距離を示す請求項２記載の方法。
4. 上記生成段階は、上記キャリブレーションマーカを上記重なる視野に配置する段階を含む請求項１記載の方法。
5. 上記配置段階は、上記マーカを有するブームを延長する段階を含む請求項４記載の方法。
6. 上記位置は、上記基準面からの距離だけを含む請求項１記載の方法。
7. ストラップダウン式３次元再構成システムであって、
   少なくとも２つのカメラを支持するジグを含み、
   上記ジグは、上記少なくとも２つのカメラによって可視となる位置にある少なくとも２つのキャリブレーションマーカを支持する構造体を有し、
   上記ジグは更に、上記少なくとも２つのカメラのそれぞれの視野に少なくとも４つの基準マーカを支持し、上記基準マーカの全ては共通の面にあるシステム。
8. 上記４つの基準マーカは、上記ジグのスクリーン（１３５）にあるアパーチャのコーナである請求項７記載のシステム。
9. 上記４つの基準マーカは、スクリーン（２１０）に投影される請求項７記載のシステム。
10. 上記カメラから上記像を受信するよう接続され、上記キャリブレーションマーカに対応する位置データに応答して、上記カメラのそれぞれにおいて可視となる点の位置を計算するようプログラムされる画像処理コンピュータを更に含む請求項７記載のシステム。
11. 視野が重なるようねらいが定められる少なくとも２つのカメラを用いて空間における未知の点の位置を決定する方法であって、
    上記カメラのそれぞれにおいて、基準面にある少なくとも４つの点に対応する像を生成し、上記基準面は上記カメラの上記画面のそれぞれに共通する段階と、
    上記少なくとも４つの点の上記像を、基準フレームにマッピングする平面投影変換を計算し、上記基準フレームは上記基準面の投影である段階と、
    上記カメラのそれぞれにおいて、上記基準面に対する位置が既知である少なくとも２つのキャリブレーションマーカの像、及び、未知の点の像を生成する段階と、
    上記平面投影変換によって、上記キャリブレーションマーカの上記像のそれぞれを変換する段階と、
    変換段階の結果の応答して光学的中心を算出する段階と、
    上記カメラのそれぞれにおいて、未知の点の像を生成し、上記算出段階の結果に応答して、上記未知の点の位置を計算する段階とを含む方法。
12. 上記計算段階は、上記平面投影変換を用いて上記未知の点の上記像を変換する段階を含む請求項１１記載の方法。

Images