JP2004325464A - 三次元情報再構成装置及び三次元情報再構成方法、基準パターン並びに撮影装置及び撮影方法。 - Google Patents

Abstract

【課題】簡単な装置構成で対象物に対する制約が少なく、しかも正確な三次元情報を再構成することのできる三次元情報再構成装置を提供すること。
【解決手段】対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して、当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと、当該対象物とを一緒に複数の視点から撮影した画像を入力する画像入力部１と、画像入力部１から入力された画像を格納する画像格納部２と、画像格納部２に格納された基準パターンの画像に基づいて当該画像が撮影された方向の情報を算出し、画像格納部２に格納された前記対象物の複数の画像の情報と、算出された当該複数の画像の撮影された方向の情報とを用いて、対象物の三次元情報を算出する画像処理部４とを具備する。
【選択図】 図２

Description

本発明は、三次元情報再構成装置及び三次元情報再構成方法、基準パターン並びに撮影装置及び撮影方法に関する。

近年、対象物の立体形状を非接触で観測または計測することは、工業用品の設計・製作やコンピュータグラフィックスなどにおいて重要な技術となっている。従来、例えば対象物をターンテーブル上にのせて回転しながらレーザー光線を走査し、その反射された情報を用いてその対象物の立体情報を取得し三次元形状を算出する装置が使用されている。

また、装置構成自体を簡易化して低価格にするために、被写体をさまざまな角度から撮影して、それらの画像における被写体の部分の対応をつけることにより、三角測量の原理で奥行き情報を得る方式（即ち、ステレオビジョン）が知られている。またその他にも、画像上で対応点を正確に求める処理を完全に自動的に行なうことは困難である故に、操作者がその対応関係を入力するようにした方式が特開平６−２１５０９７号公報に開示されている。

しかし上記した従来技術においては、装置の構成やコストおよび、対象物の制約や得られる情報の正確さなどの点で解決されなければならない課題がある。

そこで本発明はこのような事情に鑑がみてなされたものであり、簡単な装置構成で対象物に対する制約が少なく、しかも正確な三次元情報を再構成することのできる三次元情報再構成装置及び方法、基準パターン並びに撮影装置、撮影方法を提供することを目的とするものである。

上記の目的を達成するために、本発明の第１の態様は、三次元情報再構成装置において、対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して、当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと、当該対象物とを一緒に複数の視点から撮影した画像を入力する画像入力手段と、前記画像入力手段から入力された画像を格納する画像格納手段と、前記格納手段に格納された前記基準パターンの画像に基づいて当該画像が撮影された方向の情報を算出する手段と、前記画像格納手段に格納された前記対象物の複数の画像の情報と、前記方向の情報を算出する手段によって算出された当該複数の画像の撮影された方向の情報とを用いて、前記対象物の三次元情報を算出する手段と、を具備する。

また、本発明の第２の態様は、本発明の第１の態様において、前記ステージは多角形である。

また、本発明の第３の態様は、本発明の第１の態様において、前記パターンは異なる面に描かれている。

また、本発明の第４の態様は、対象物を複数の方向から撮影して当該対象物の三次元情報を算出する三次元情報再構成装置に用いる基準パターンにおいて、前記複数の方向から前記対象物が撮影される際に、前記対象物とともに撮影されるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して、当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる。

また、本発明の第５の態様は、三次元情報再構成方法において、対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影した画像を入力するステップと、前記対象物と共に撮影された前記基準パターンの画像から、当該画像が撮影された方向の情報を算出するステップと、入力された前記画像と、算出された前記方向の情報とを用いて、前記対象物の三次元情報を算出するステップと、を具備する。

また、本発明の第６の態様は、対象物の画像に基づき前記対象物の三次元情報を再構成するために前記対象物を撮影可能な撮影装置において、対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影する撮影手段と、前記撮影手段によって撮影された画像を格納する格納手段と、を有する。

また、本発明の第７の態様は、対象物の画像に基づいて三次元情報の再構成を行うための対象物の撮影方法において、対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影するステップと、前記対象物と前記基準パターンとが一緒に撮影された複数の画像を格納するステップと、を有する。

以上、本発明によれば、画像の再構成演算を行うときの探索範囲が小さくなり、複数画像間の対応関係を求める演算の探索範囲が小さくなり、同様に、空間から画像への投影関係を求める演算が容易となる等により、三次元情報再構成処理が容易になる。

詳しくは、第１実施形態の装置では、対象物の画像の「撮影方向」を操作者が何らかの方法で入力指定する構成としたので、三次元情報再構成処理が容易になる。第２実施形態の装置では、対象物の画像の「配置」を入力指定することにより「撮影方向」が装置側で求められる。更に、第３実施形態の装置では、対象物の画像の「撮影方向」がその対象物の画像と同じ画面に撮影されたキャリブレーションパターンから算出されるように構成されているので、操作者の指定入力は特に必要とせず、従って操作部をもたず、自動的に本装置側で判断できる。その結果、三次元情報再構成処理が容易で迅速になると共に構成が簡単になるという効果が得られる。

したがって、本発明の目的である処の、簡単な装置構成で対象物に対する制約が少なくしかも正確な三次元情報を再構成可能な三次元情報再構成装置及び三次元情報再構成方法、基準パターン並びに撮影装置及び撮影方法を提供することができる。

以下に、複数からなる実施の形態を挙げて本発明の内容を説明する。

［第１実施形態］
図１には本発明の三次元情報再構成装置の概略的構成が機能ブロック図で示されている。

（構成１）
図示のごとく本装置は、ある対象物の画像を入力する画像入力部１と、その入力された画像を格納する画像格納部２と、所望する操作を指示する操作部３と、当該画像に対して所定の処理を行う画像処理部４と、画像イメージを表示する画像表示部５と、画像処理された画像データを記憶蓄積するデータ蓄積部６とから主に構成されている。

画像入力部１、画像格納部２、画像処理部４およびデータ蓄積部６の各部位は順次に直列に接続され、一方、操作部３は、画像処理部４と画像表示部５に接続して所望の処理を指示し表示させ、画像格納部２と画像処理部４からは表示すべき画像情報を逐次に供給されるようにこの画像表示部５と接続されている。

詳しくは、対象物１４を光学的に撮像して光電変換するために、画像入力部１は、レンズ１０を有し、更に撮像素子１１とプロセス回路１２とメモリ１３とが直列に構成され、続く画像格納部２に得られた画像信号を供給する。また、画像処理部４は、対応領域検出部２０と投影関係演算部２１とモデル格納部２２と三次元情報算出部２３とから図示のように構成されていることが解る。

なお、操作部３は、上記のモデル格納部２２に接続し、画像表示部５は三次元情報算出部２３から立体情報等を供給されるように接続されている。

また画像入力部１は例えば電子カメラにより構成され、対象物１４の画像を撮影する。撮影された画像情報は画像格納部２に出力される。この画像格納部２に蓄積された画像情報はＣＲＴ等の画像表示部５に表示されるとともに画像処理部４に出力される。この画像処理部４では操作部３を介して操作者が指示した入力に伴なって画像情報の所望する処理が行なわれ、三次元寸法を再構成する。得られたこの三次元情報は画像表示部５で表示されるとともに、データ蓄積部６に格納され、図示しないＣＡＤやＣＧなどのシステムで利用するために装置外に出力される。

（動作１）
次に図２を用いて本装置の動作を説明する。この図２には、本第１実施形態の三次元情報再構成装置の詳しい構成が例示されている。

画像入力部１を構成する電子カメラはレンズ１０と撮像素子１１とプロセス回路１２とメモリ１３を備える。被写体となる対象物１４は複数の視点から撮影され、その像はレンズ１０により結像されて撮像素子１１で電気信号に変換され、プロセス回路１２でビデオ信号処理されてメモリ１３に記録される。この画像情報は画像格納部２に入力される。画像格納部２に蓄積された画像情報は表示部５に表示され、概略の視点位置・方向の入力指示用に供される。この動作は具体的に次のように行われる。

図３は本発明に係わる実施形態の装置における表示例を示し、（ａ）は装置の表示部５に表示される選択メニュー画面の一例であり、（ｂ）は装置の表示部５に視点情報を入力するための表示画面を例示している。

すなわち、画像表示部５には図３（ａ），（ｂ）のように、画像格納部２に蓄積されている被写体の画像とともに対象物１４の概略形状を選択するメニュー画面が表示される。概略形状としては例えば、直方体、錐体または円柱等の基本的な立体形状からなり、必要に応じて更に縦横比等の形状のバリエーションを設けてもよい。操作者は表示された対象物の概略形状をみて当該選択メニュー画面からその形状に近いものを択一的に選択する（参照、図３（ａ））。ちなみにこの例の場合では、「直方体１」を選択指示している。

なおこの選択メニューには、概略形状の代わりに座標軸を表示してもよい。例えば長さ方向をＸ軸、幅方向をＹ軸、高さ方向をＺ軸というように座標軸を設定して表示すればよい。

次に、電子カメラ１で撮影した画像を順次画面上に表示し、対象物１４をどの方向から見ているかの「視点情報」を表示画面で入力する（参照、図３（ｂ））。従って、この操作により当該画像の概略の「視線方向情報」が得られ、画像処理部４にその画像情報とともに入力される。

画像処理部４では複数の画像を用いて三次元情報の再構成処理が行われる。「三角測量の原理」に基づく一般的なステレオビジョンの原理は、例えばホーン著による「ロボットビジョン」（朝倉書店刊）の第１３章に解説されている。よってこの原理に基づくと、異なる視点から観測した画像において同一点がそれぞれの画像においてどこに位置するかが求められれば、その点の空間位置を求められる。

この処理において実際上困難なことは、それぞれの画像の対応を求めることであり、特に画像上において対象物１４がおよそどのように観測されるかが与えられていない場合には、画面の全範囲において対象物の要素についての解釈を試みることになるため、処理の量が膨大となり実現が難しくなる。

そこで本発明に係わる三次元情報再構成装置では、先に解説した如くの動作により、対象物１４の「概略の形状」（以下これを「モデル」と称す）と「画像の方向」が与えられているため、このモデルを用いた処理が可能となる。すなわち、画像処理部４の対応領域検出部２０で画像から輪郭や面などの特徴が抽出され、モデル格納部２２から出力されたモデルとの特徴に基づく対応付けが行われる。

いま、モデルが選択され、また概略の観測方向が与えられているため、画像上にはどの範囲にどのような特徴が観測されるかが予測できる。この予測範囲内で実画像から選択された特徴を探索することにより、そのモデルの特徴が実画像で観測されている位置が求められる。この結果は投影関係演算部２１に与えられ、対象物と画像との投影関係のパラメータが求められる。

すなわち、対象物上の点Ｍが画像上の点ｍに投影される場合、カメラの光軸をｚ軸に、レンズ位置を原点にとり、Ｍの空間座標を（ｘ，ｙ，ｚ）、ｍの平面座標を（ｕ，ｖ）とすると次式の関係が成り立つ。

−ｕ／ｆ − ｘ／ｚ …（１式）
−ｖ／ｆ − ｙ／ｚ …（２式）
但し、ｆはカメラの焦点距離を表す。

カメラの空間上における位置や焦点距離等のパラメータが上記の（１式）と（２式）から決まれば、画像上の注目している部分が空間のどの範囲にあるかが算出できる。また、別な画像に対しても上記のような処理がなされることにより、異なる視点から観測した場合の画像上の要素と空間中の範囲が求められる。

これらの結果は三次元情報算出部２３で処理されて、図４に示すように複数の視点からの存在範囲の交わる領域を定めることにより、その要素の空間位置が求められる。この図４は、異なる複数の視点から観測した画像上の要素と空間位置を説明する図である。

したがって、このような処理が同様に複数の要素について行われることにより、被写体の立体形状が得られる。この得られた三次元情報はデータ蓄積部６に格納され、また同時に画像表示部５により表示出力される。

（変形例１）
なお、ここで必要に応じて三次元情報の修正が加えられるようにしてもよい。例えば、使用者が得られた三次元情報を変形して使用したい場合には、表示された三次元情報の該当する部分を「ポインティング・デバイス」等で指定し、所望する変形を与えるように修正を施してもよい。このデータ蓄積部６に一時的に格納された三次元情報は、他のシステムに対して出力され利用され得る。

以上の例によれば、本装置では対象物の画像の「概略の撮影方向」を操作者が入力するようにしているが、この概略の撮影方向を入力するには他の方法も考えられる。例えば、対象物のモデルを回転しながら表示し、カメラで撮影した画像とおよそ一致する場所でボタンを押すようにしてもよい。あるいは図５に示すように展開図を用いてもよい。この図５は、本発明に係わる実施形態の装置における撮影画像とその対応する展開図を表示する表示画面の一例である。

詳しくは、操作者は対象物の概略形状に合わせた展開図を画面上のメニューから選択する。続いて画像格納部に格納されている画像を画面上に表示し、展開図上の対応する位置に重ねることによりその観測方向を指定する。この操作を順次異なる位置からの撮影画像ごとに繰り返すことにより概略の撮影方向が入力される。この後、画像に対して所定の特徴抽出の処理が行われ、抽出された特徴に関して展開図で定められた対象物と画像との投影関係が求められる。

同様にして、また別の画像に対しても上記の同様な処理がなされることにより、異なる視点から観測した場合の画像上の要素と空間中の範囲が求められる。よって、これらの結果は三次元情報算出部２３で処理され、被写体の立体形状が得られる。

（作用効果１）
以上に説明した第１実施形態の装置は、対象物の画像の「概略の撮影方向」を操作者が上述のような何らかの方法で入力指定するように構成していることにより、三次元情報再構成処理が容易になるという利点が得られる。

［第２実施形態］
続いて、本発明における三次元情報再構成装置に係わる第２の実施形態について図６を参照しながら説明する。

この図６には、第２実施形態の三次元情報再構成装置の構成が示されている。

（構成２）
図示の如く本装置は、ある対象物１４の画像を入力する画像入力部１と、その入力された画像を格納する画像格納部２と、所望する操作を指示する操作部３と、当該画像に対して所定の処理を行う画像処理部４と、画像イメージを表示する画像表示部５と、画像処理された画像データを記憶蓄積するデータ蓄積部６とから主に構成されている。

画像入力部１、画像格納部２、画像処理部４およびデータ蓄積部６の各部位は順次に直列に接続され、一方、操作部３は、画像処理部４と画像表示部５に接続して所望の処理を指示し表示させ、画像格納部２と画像処理部４からは表示すべき画像情報を逐次に供給されるようにこの画像表示部５と接続されている。

なお、ここでは前説の第１実施形態の装置と同様の構成要素については同一の番号で示し、その詳細な説明は省略するものとする。

詳しくは、対象物１４を光学的に撮像して光電変換するために、画像入力部１は、レンズ１０を有し、撮像素子１１とプロセス回路１２とメモリ１３とが直列に構成され、続く画像格納部２に得られた画像信号を供給する。

また、画像処理部４は、対応領域検出部２０と投影関係演算部２１と、隣接する画像の位置関係を求めるための画像配置演算部２４と、三次元情報算出部２３とから図示のように接続され構成されていることが解る。なお、操作部３は、上記の画像配置演算部２４に接続され、画像表示部５は三次元情報算出部２３から立体画像情報等を供給されるように接続している。

（動作２）
例えば、画像入力部１としての電子カメラによって、対象物１４の画像を撮影する際に、画面の一部が重なるようにして撮影する。具体的には、画面上で対象物の半分程度の部分が隣り合う画像で含まれるように撮影されることが好ましい。このようにして撮影された画像は画像格納部２に出力され、ここに格納される。

格納された画像は表示部５に表示される。ここで、操作者は表示画面上で画面間の概略の「重なり」を合わせて配置していく。この時に、カメラを平行に移動して撮影した画像だけではなく、異なる角度方向から撮影された画像を配置することもある。この場合には対象物の見え方が方向により異なってくるため、対象物の重なる部分が完全に一致するわけではないが、概略の重なりを合わせて他の画像をつなぎ合わせていけばよい。

その結果、図７に示すように画像の空間的つながりを平面上に展開したような画像が得られる。ここで対象物の画像を四方から撮影したために、例えば右端と左端の画像とが互いに重なり合う場合には、その情報も併せて入力する。それには、例えばマウス等のポインティングデバイスで重なる領域を指定するようにすればよい。あるいはまた、画像同士のなす角度を数値として入力するようにしてもよい。例えば、完全に一回転して撮影した場合には、角度は３６０度となる。

このように配列された画像データは、まず画像処理部４の対応領域検出部２０に入力される。対応領域検出部２０では画像から輪郭や面などの特徴を抽出し、これをもとに隣り合う画像間の対応付けを行う。あるいはそれぞれの画像に対し適切な窓領域を設け、一方の窓領域を移動しながら２つの窓領域での相関値を求めて、この相関値が最大になる位置を求めて対応付けを行ってもよい。この処理においてもあらかじめ概略の対応する配置が与えられているため、限られた範囲を探索することにより「対応関係」が求まり、処理が容易である。

得られた対応結果は画像配置演算部２４に与えられ、隣接する画像間の対応からそれらの位置関係が求められる。ここでは画像上の対象物の要素の配置の関係から、画像のなす空間的角度も求められる。すなわち、図７に示されるように、同一物を異なる角度から観察することにより要素位置が異なって観測されるため、その角度が算出できる。

（ａ）には画像の空間的なつながりを平面的に展開した例が展開図で示され、（ｂ）には異なる２方向からの撮影による表示例が示されている。

なお、この算出に関する方法は、例えば、ホーン著「ロボットビジョン」（朝倉書店刊）の第１３章記載の手法を使うことができる。あるいはまた、対象物のある面の両端が平行な稜線を持つ場合には、例えば金谷健一著「画像理解」（森北出版刊）第１章に記載されているように、画面上でその線が交わる点（即ち、「消失点」と称す）の位置から画像面の対称面に対する方向を求められる。

上述のような処理が繰り返されることにより対象物１４をさまざまな角度から観測した画像の位置関係が求められる。この結果は投影関係演算部２５で処理され、画像と空間中の対象物１４との投影関係が求められる。その結果を用いて三次元情報算出部２２の画像上の要素が空間のどの範囲に在るかが算出され、異なる視点から観測した時の画像上の要素と空間中の範囲を組み合わせることにより、その要素の空間位置が求められる。よって、同様にこのような処理が複数の要素について行われることにより、被写体の立体形状が得られる。そして、このようにして得られた三次元情報は続くデータ蓄積部６に格納される。

（変形例２）
上述の説明では、隣接する画像の対応を用いて画像のなす角度を算出するものとしたが、この他の方式としては、例えば、画像のなす角度を数値として与えるようにしてもよい。この時の構成については図８に例示している。つまり、この図８は、本第２実施形態の三次元情報再構成装置に関するその他の構成を示している。

図示によれば、画像処理部４には画像角度格納部２８が備えられている。操作部３から入力された画像のなす角度の情報はこの画像角度格納部２８に格納され、この情報は投影関係演算部２５で処理されて、画像と空間中の対象物との投影関係が求められる。この結果を用いて三次元情報算出部２３の画像上の要素が空間のどの範囲にあるかが算出され、異なる視点から観測した時の画像上の要素と空間中の範囲を組み合わせることにより、その要素の空間位置が求められる。このように同様な処理が複数の要素について行われることにより、被写体の立体形状が得られる。

ただし、この場合には必ずしも全ての画像に対して角度のデータを入力する必要はなく、例えば数枚の基準となる画像についてのみ入力するようにしてもよい。よって、そのデータを補間することで各画像についての角度データを得ることができる。

また、基準となる画像について角度データを入力する方式と、画像上の対象物要素の配置関係から画像のなす角度を求める方式とを併用するようにしてもよい。

（作用効果２）
よって、以上に説明した第２実施形態の装置においては、対象物の画像の「概略の配置」を操作者が上述のような何らかの方法で入力指定することにより、概略の撮影方向が求められ、この結果、三次元情報再構成処理が容易になるという利点がある。

［第３実施形態］
本発明における三次元情報再構成装置の第３の実施形態を図９を参照しながら説明する。

この図９には、第３実施形態の三次元情報再構成装置の構成が示されている。

（構成３）
図示の如く本装置は、ある対象物１４の画像を入力する画像入力部１と、その入力された画像を格納する画像格納部２と、所望する操作を指示する操作部３と、当該画像に対して所定の処理を行う画像処理部４と、画像イメージを表示する画像表示部５と、画像処理された画像データを記憶蓄積するデータ蓄積部６とから主に構成されている。

画像入力部１、画像格納部２、画像処理部４およびデータ蓄積部６の各部位は順次に直列に接続され、一方、操作部３は、画像処理部４と画像表示部５に接続して所望の処理を指示し表示させ、画像格納部２と画像処理部４からは表示すべき画像情報を逐次に供給されるようにこの画像表示部５と接続されている。

なお、ここでは前説の第１または第２実施形態の装置と同様の構成要素については同一の番号で示すものとする。

詳しくは、対象物１４を光学的に撮像して光電変換するために、画像入力部１はレンズ１０を有し、撮像素子１１とプロセス回路１２とメモリ１３とが直列に構成され、続く画像格納部２に得られた画像信号を供給している。

また、画像処理部４は、キャリブレーションパターンを抽出するためのパターン検出部２７と、投影関係演算部２１と、対象物の特徴的要素を抽出するための特徴抽出部２６と、三次元情報算出部２３とから図示のように接続され構成されている。なお、この例では操作部は無いことが解る。

画像入力部１で対象物１４の画像を撮影するが、この時に、撮影時の概略のカメラ位置情報をあらかじめ与え、その画像と共に記録するように構成する。このための手段の一例として、対象物を撮影する際に後述する所定の基準パターンを画面内に撮影し、これ（即ち、基準パターン）をもとにしてカメラ位置を算出する。

図１０には、基準パターンの一例としての「キャリブレーションパターン３０」を描いた多角形のステージ（台）を斜視図で示している。

上記の基準パターンの一例として、この図１０に示されるような側面に格子等の「キャリブレーションパターン３０」を描いた多角形のステージを用いる。このステージに対象物１４を乗せた状態で、図示しない画像入力部１の電子カメラによってこの対象物１４の画像を撮影する。この際に格子状のキャリブレーションパターン３０も一緒に画面の一部に撮影される。この対象物１４は複数の視点から撮影され、この時にはステージの異なる面のキャリブレーションパターン３０も同時に撮影され得る。このようにして撮影された画像は画像格納部２に出力されていったん格納される。

格納されたこの画像データはまず、画像処理部４の特徴抽出部２６で対象物の要素が抽出されるとともに、パターン検出部２７に入力される。このパターン検出部２７では画像から「輪郭抽出」や「二値化」等の操作により当該キャリブレーションパターン３０が抽出される。その結果は投影関係算出部２５で処理され、画像と空間中のステージとの投影関係が求められる。すなわち、先に述べたように画像上の点とその空間位置とは（１式）（２式）で示したような関係式で与えられ、一定数以上の点についてこの対応が求められれば投影関係のパラメータを求めることができる。

したがってキャリブレーションパターン３０は、このような演算が容易に行われるように格子状の所定のパターンとされている。続いて、得られた投影関係を用いて、三次元情報算出部２３において特徴抽出部２６で抽出された画像上の対象物の要素に関しての三次元情報算出処理が行われる。すなわち、空間から画像への投影関係を用いて画像上に撮影された対象物要素の空間上の存在範囲が算出される。この処理が同じ対象物に対する複数の画像について繰り返し行われることにより、異なる視点から観測した時の画像上の要素と空間中の範囲を組み合わせられ、その要素の空間位置が求められる。そして同様に上記のような処理が複数の要素について行われることにより、当該被写体の立体形状が得られる。そして、得られた三次元情報はデータ蓄積部６に格納される。

（変形例３）
ここでキャリブレーションパターン３０として用いられている格子の配置や寸法はあらかじめ解っているので、これを画像処理して投影関係を求めることは容易である。

また図１０に示したようなステージを用いることにより、異なる面の空間的位置関係も解っており、大きく異なる視点から観測した画像の空間的位置関係を求めることも容易である。なお、画像にステージのどの面が撮影されているかを自動的に判定するためには、面の色を異なるものとしてこの色の違いを用いて判定するか、あるいは面を特定するような特殊なパターンを用いてもよい。

（作用効果３）
以上に説明したように第３実施形態の装置においては、対象物の画像の「概略の撮影方向」がその対象物の画像と同じ画面に撮影されたキャリブレーションパターンから算出されるので、操作者の指定入力は必要とせずに自動的に装置側で判断でき、三次元情報再構成処理が容易で迅速になるという利点が得られる。

（その他の変形例）
以上、本発明で示した画像入力時の概略情報の算出の手段としては、さらに他の手法を用いることができる。例えば、カメラに位置情報センサを内蔵あるいは外付けし、撮影ごとに位置情報を記録して画像データとともにメモリに記録し、出力するようにしてもよい。このようなセンサの例としては、ＶＲシステム等でも用いられている磁気感応による位置センサや光学的位置センサを使用できる。

また、例えばビデオカメラのぶれ検出に用いられるピエゾ加速度センサ等を利用して、その情報を積分することにより概略情報の算出を行ってもよい。

さらに、機械式のアームにカメラを取り付け、このアームの変位をエンコーダにより検出するようにしてもよい。

そのほかにも、本発明の要旨を逸脱しない範囲で種々の変形実施が可能である。

以上、複数の実施形態に基づいて説明したが、本明細書には以下の発明が含まれる。

［１］ 対象物の画像を入力する画像入力手段と、
前記画像入力手段から入力された画像を格納する画像格納手段と、
前記画像格納手段に格納された情報を用いて被写体の三次元情報を算出する処理手段と、
当該入力画像の対象物に対する概略の方向を得る手段と、を備え、
前記方向を得る手段で得た画像の入力方向情報は、当該入力方向に対応する前記画像格納手段に格納された情報と対応するように前記処理手段に入力することを特徴とする三次元情報再構成装置。

（作用効果１）：三次元情報再構成処理が容易になる。

［２］ 前記概略の方向を得る手段は、
所定の対象物のモデル発生手段と、
撮影方向を入力する方向入力手段と、
前記モデル発生手段で発生した対象物のモデルと前記方向入力手段で入力した撮影方向とを表示する手段と、
から成ることを特徴とする［１］に記載の三次元情報再構成装置。

（作用効果２）：画像の再構成演算を行うときの探索範囲が小さくなり、三次元情報再構成処理が容易になる。

［３］ 前記概略の方向を得る手段は、
前記画像格納手段に格納された画像を再配置する手段と、
前記画像入力手段から入力された複数の画像の入力方向のなす角度を入力する手段と、
前記の再配置された画像と前記画像のなす角度との情報を用いて各入力画像の当該対象物に対する概略の方向を算出する手段と、
によって構成されることを特徴とする［１］に記載の三次元情報再構成装置。

（作用効果３）：複数画像間の対応関係を求める演算の探索範囲が小さくなり、三次元情報再構成処理が容易になる。

［４］ 前記概略の方向を得る手段は、
前記画像格納手段に格納された画像を再配置する手段と、
前記画像入力手段から入力された複数の画像の入力方向のなす角度を算出する手段と、
前記の再配置された画像と前記画像のなす角度との情報を用いて各入力画像の当該対象物に対する概略の方向を算出する手段と、
によって構成することを特徴とする［１］に記載の三次元情報再構成装置。（図６の実施形態が対応する）。

（作用効果４）：複数の画像を用いて三次元情報を再構成する際に、重なりのある複数画像の配置関係を入力し、この配置関係から画像のなす角度を算出する手段を備え、角度を求められる。複数画像間の対応関係を求める演算の探索範囲が小さくなり、三次元情報再構成処理が容易になる。

［５］ 前記の概略の方向を得る手段は、
画像に所定のキャリブレーションを形成させる手段と、
前記キャリブレーションのパターンから当該画像の撮影方向を算出する手段と、
から構成されることを特徴とする［１］に記載の三次元情報再構成装置。（図９、図１０の実施形態が対応する）。

（作用効果５）：複数の画像を用いて三次元情報を再構成する際に、画像内にキャリブレーションを形成する手段と、画像内に撮影されたキャリブレーションパターンから入力画像の対象物に対する「概略の位置」を算出する手段とを備え、概略的な位置を知ることができる。空間から画像への投影関係を求める演算が容易となり、三次元情報再構成処理が容易になる。

本発明に係わる第１実施形態の三次元情報再構成装置を示す構成図である。 本第１実施形態の三次元情報再構成装置の動作を説明する構成図である。 本発明に係わる実施形態の装置における表示例を示し、（ａ）は、装置の表示部に表示される選択メニュー画面の一例であり、（ｂ）は、装置の表示部に視点情報を入力するための表示画面である。 異なる複数の視点から観測した画像上の要素と空間位置を示す説明図である。 本発明に係わる実施形態の装置における撮影画像とその対応する展開図を表示する表示画面の例である。 本発明に係わる第２実施形態の三次元情報再構成装置の動作を説明する構成図である。 本発明に係わる実施形態の装置における要素位置の表示例を示し、（ａ）は、画像の空間的なつながりを平面的に展開した例を示す展開図であり、（ｂ）は、異なる２方向からの撮影による表示例を示す説明図である。 本発明に係わる第２実施形態の三次元情報再構成装置のその他の構成を例示する構成図である。 本発明に係わる第３実施形態の三次元情報再構成装置の動作を説明する構成図である。 基準パターンの一例としての「キャリブレーションパターン」を描いた多角形のステージを示す斜視図である。

符号の説明

１…画像入力部、２…画像格納部、３…操作部、４…画像処理部、５…画像表示部、６…データ蓄積部、１０…レンズ、１１…撮像素子、１２…プロセス回路、１３…メモリ、１４…対象物、２０…対応領域検出部、２１…投影関係演算部、２２…モデル格納部、２３…三次元情報算出部、２４…画像配置演算部、２５…投影関係演算部、２６…特徴抽出部、２７…パターン検出部、２８…画像角度格納部、３０…キャリブレーションパターン。

Claims (7)

1. 対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して、当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと、当該対象物とを一緒に複数の視点から撮影した画像を入力する画像入力手段と、
   前記画像入力手段から入力された画像を格納する画像格納手段と、
   前記格納手段に格納された前記基準パターンの画像に基づいて当該画像が撮影された方向の情報を算出する手段と、
   前記画像格納手段に格納された前記対象物の複数の画像の情報と、前記方向の情報を算出する手段によって算出された当該複数の画像の撮影された方向の情報とを用いて、前記対象物の三次元情報を算出する手段と、
   を具備することを特徴とする三次元情報再構成装置。
2. 前記ステージは多角形であることを特徴とする請求項１に記載の三次元情報再構成装置。
3. 前記パターンは異なる面に描かれていることを特徴とする請求項１に記載の三次元情報再構成装置。
4. 対象物を複数の方向から撮影して当該対象物の三次元情報を算出する三次元情報再構成装置に用いる基準パターンにおいて、
   前記複数の方向から前記対象物が撮影される際に、前記対象物とともに撮影されるステージの側面に描かれたパターンであって、
   当該パターンを撮影した画像を利用して、当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなることを特徴とする基準パターン。
5. 対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影した画像を入力するステップと、
   前記対象物と共に撮影された前記基準パターンの画像から、当該画像が撮影された方向の情報を算出するステップと、
   入力された前記画像と、算出された前記方向の情報とを用いて、前記対象物の三次元情報を算出するステップと、
   を具備することを特徴とする三次元情報再構成方法。
6. 対象物の画像に基づき前記対象物の三次元情報を再構成するために前記対象物を撮影可能な撮影装置において、
   対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影する撮影手段と、
   前記撮影手段によって撮影された画像を格納する格納手段と、
   を有することを特徴とする撮影装置。
7. 対象物の画像に基づいて三次元情報の再構成を行うための対象物の撮影方法において、
   対象物を乗せるステージの側面に描かれたパターンであって、当該パターンを撮影した画像を利用して当該パターンの画像が撮影された方向を算出可能なように構成されたパターンからなる基準パターンと共に、前記対象物を複数の視点から撮影するステップと、
   前記対象物と前記基準パターンとが一緒に撮影された複数の画像を格納するステップと、
   を有することを特徴とする撮影方法。

Images