JP2004132759A - 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム - Google Patents
三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP2004132759A JP2004132759A JP2002295714A JP2002295714A JP2004132759A JP 2004132759 A JP2004132759 A JP 2004132759A JP 2002295714 A JP2002295714 A JP 2002295714A JP 2002295714 A JP2002295714 A JP 2002295714A JP 2004132759 A JP2004132759 A JP 2004132759A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- pattern
- image
- dimensional image
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】小型で低コストの三次元画像生成用データ撮像装置を提供する。
【解決手段】ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる視点からの画像データを撮り込むカメラ部とを有する構成により、異なる視点からのランダムパターン投光画像を撮影可能とした。また、フォーカス調整信号、発光タイミング制御信号をカメラ部からパターン投光部に入力してパターン投光部のフォーカス調整、発光制御を実行可能とした。
【選択図】 図８
【解決手段】ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる視点からの画像データを撮り込むカメラ部とを有する構成により、異なる視点からのランダムパターン投光画像を撮影可能とした。また、フォーカス調整信号、発光タイミング制御信号をカメラ部からパターン投光部に入力してパターン投光部のフォーカス調整、発光制御を実行可能とした。
【選択図】 図８
Description
【０００１】
【発明の属する技術分野】
本発明は、簡易な構成で物体の三次元画像生成用データを取得することを可能とした三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムに関する。さらに詳細には、カメラにパターン投光手段を設けるとともにパターン投光手段の発光タイミング制御、フォーカス調整を効率的に実行可能とした三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
物体の三次元形状を求める従来手法には、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各測定対象物体までの距離を求める方法や、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】
また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。
【０００４】
ステレオ画像法について、その原理を簡単に説明する。ステレオ画像法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで測定対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる複数視点から同一対象物を撮影して、それぞれの画像内の測定対象物の距離を三角測量の原理により測定する。
【０００５】
図１は、ステレオ画像法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と参照カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している参照カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】
基準カメラにおけるポイント「ｍｂ」の位置は、参照カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、参照カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】
図１には、エピポーラ・ラインと、参照画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、参照画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】
上述のステレオ画像法は１台の基準カメラと１台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００１１】
上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで測定対象物の三次元空間における位置を求めようとするものである。
【００１２】
従来、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ−９６−１９６， （１９９６）参照）。
【００１３】
Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１７−１３２７， （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、 ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９９５）、金出、蚊野、木村、川村、吉田、織田： ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７， （１９９７）、山口、高地、井口： 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐｐ．５５〜６０， （１９９６）、横矢： 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８，Ｎｏ８，ｐｐ４３６−４４１，（１９９４）参照）。
【００１４】
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅｐｔｈ ｆｒｏｍ ｅｄｇｅ ａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ． ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河井、植芝、富田： セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６， Ｎｏ．１３６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ： Ｃｏｍｐｕｔａｔｉｏｎａｌｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１７〜３４， （１９８５））。
【００１５】
上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】
（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】
（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】
上述の各種の方法により、ステレオ画像法における対応点付け処理が行なわれる。しかしながら、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しては、上述のいずれの方法を使用しても、３次元形状を計測するために必要となる対応点付け処理が困難となる。これが、ステレオ画像法による処理における一つの大きな課題となっている。
【００２０】
白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理をより正確に行なうため、チェッカや周波数変調された正弦波などの周期的なパターンを投光することによって、マルチベースラインステレオシステムによる画像マッチングのエラーを低減する手法が、いくつか開示されている（Ｓ．Ｂ．Ｋａｎｇ， Ｊ．Ａ．Ｗｅｂｂ， Ｃ．Ｌ．Ｚｉｔｎｉｃｋ ａｎｄ Ｔ．Ｋａｎａｄｅ： Ａ Ｍｕｌｔｉｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｓｙｓｔｅｍ ｗｉｔｈ Ａｃｔｉｖｅ Ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ Ｒｅａｌ−ｔｉｍｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ， ＰｒｏｃＩＥＥＥ Ｉｎｔ Ｃｏｎｆ． Ｃｏｍｐｕｔ． Ｖｉｓ．， Ｖｏｌ．５， ｐｐ．８８〜９３， （１９９５）、Ｍ．Ｎｏｇｕｃｈｉ ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ： Ｍｉｃｒｏｓｃｏｐｉｃ Ｓｈａｐｅ ｆｒｏｍ Ｆｏｃｕｓ Ｕｓｉｎｇ Ａｃｔｉｖｅ Ｉｌｌｕｍｉｎａｔｉｏｎ， Ｐｒｏｃ Ｉｎｔ． Ｃｏｎｆ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ．， Ｖｏｌ．１２， Ｎｏ．Ｖｏｌ １， ｐｐ．１４７〜１５２， （１９９４）参照）。
【００２１】
しかしながら、上述した手法では、対応付け処理におけるエラー、すなわちミスマッチングの完全な除去を達成することはできなかった。また、上述の周波数変調された周期的なパターンを投光して対応付け処理を実行する構成は、複数台（３台以上）のカメラを用いるマルチベースラインステレオマシンにおいては、ミスマッチング領域減少に対して効果があるが、２台のカメラを用いる２眼ステレオ視に対しては、生成される模様が周期的であるために類似する模様同士の対応付けにエラーが発生する可能性があり、必ずしも有効とはならないという欠点がある。
【００２２】
そこで、本特許出願人は、先の出願において、例えば乱数を用いた非周期的な投光パターンを生成して、このランダムパターンを測定対象に投光することで、高精度な距離画像生成を可能とする構成を提案（特開２００１−９１２３２、特開２００１−１４７１１０）した。
【００２３】
図２にマルチベースラインステレオ画像法を適用し、ランダムパターンを照射して三次元画像を取得する装置の構成例を示す。計測対象１５０の画像を異なる位置にある３台のカメラ１０３，１０４，１０５によって撮影する。この撮影の際には、ストロボ装置１０１からストロボが計測対象１５０に照射されるとともに、パターン投影装置１０２によりパターン画像が計測対象１５０に照射される。操作部１０６における操作情報がタイミング制御部１０７に出力され、ストロボ装置１０１と、パターン投影装置１０２の動作タイミングが制御される。
【００２４】
３台のカメラ１０３，１０４，１０５によって撮影された画像は、画像取り込み部１０８に一旦、蓄積された後、データ蓄積部１０９に蓄積される。データ蓄積部１０９に蓄積された画像データは、コンピュータインタフェース部１１０を介してコンピュータ１２０に入力され、前述したマッチング処理により、三次元形状データが生成される。この場合、例えば基準カメラをカメラ１０４とし、参照カメラをカメラ１０３、１０５として、それぞれの基準間カメラと複数の参照カメラとの特徴点のマッチング処理により三次元形状データが生成される。なお、パターン投影装置１０２によりパターン画像が計測対象１５０に照射されているので、特徴点が多数取得可能となり、マッチング処理が容易となる。
【００２５】
コンピュータ１２０によって生成された三次元形状データは、コンピュータＩ／Ｆ１１０を介してデータ蓄積部１０９に蓄積されて、表示制御部１１１の制御に基づいて、表示部１１２に表示される。
【００２６】
このように、模様のない被写体に非周期のランダムパターンを投光して対応付け処理を行なう測定方法によれば、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理がより正確になされ、距離画像生成が高精度に行なわれる。
【００２７】
【発明が解決しようとする課題】
しかしながら、従来のステレオ法を用いた三次元形状計測には、２台以上のカメラを利用することが前提となっていたため、図２に示したように、装置が大掛かりとなり、また高コストとなってしまいパーソナルユースとしての適用は困難であった。
【００２８】
小型化した装置としては、一般のカメラにステレオミラーアダプタを組み込み、１枚の画像を左右に分割してそれぞれを左右の眼の画像として記録し、これらの画像を用いて立体画像を楽しむ装置が特公平７−２７１７８に開示されている。ただし、この公報に開示の装置は、マッチング処理の困難な特徴点を多数持たない画像についての三次元形状を求めることは不可能であり、特徴点を持つ撮影画像についてのみ対応可能な限定された利用しかできなかった。
【００２９】
本発明は、上述の問題点に鑑みてなされたものであり、低コストで、かつコンパクトな構成にランダムパターン投光機能を持たせ、マッチング処理に適用する特徴点を持たない画像についても三次元形状データを正確に取得することの可能な三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００３０】
本発明の構成は、小型でかつ低コストの装置として構成可能であるため、例えば携帯可能な、あるいはパーソナルユースに適した三次元画像生成用データ撮像装置として実現可能である。
【００３１】
【課題を解決するための手段】
本発明の第１の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像装置であり、
ランダムパターンを被写体に投光するパターン投光部と、
被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、
前記ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部と、
を有することを特徴とする三次元画像生成用データ撮像装置にある。
【００３２】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記パターン投光部は、前記ステレオミラーアダプター部に内蔵され、前記カメラ部の被写体画像入力光学系の前部に構成されていることを特徴とする。
【００３３】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部と、前記パターン投光部とは接続部により電気的接続がなされ、カメラ部の電源からの前記パターン投光部に対する電力供給がなされる構成であることを特徴とする。
【００３４】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、前記パターン投光部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう構成であることを特徴とする。
【００３５】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、前記パターン投光部は、前記発光タイミング制御信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行する構成であることを特徴とする。
【００３６】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、前記ステレオミラーアダプター部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてステレオミラーアダプター部内のミラー調整処理を実行する構成であることを特徴とする。
【００３７】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力する構成としたことを特徴とする。
【００３８】
さらに、本発明の第２の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像方法であり、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とする三次元画像生成用データ撮像方法にある。
【００３９】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、パターン投光部の発光タイミング制御信号を生成する発光タイミング制御信号生成ステップと、前記発光タイミング制御信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行するステップと、を有することを特徴とする。
【００４０】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、前記フォーカス調整信号に基づいて、前記ステレオミラーアダプター部内のミラー調整処理を実行するミラー調整ステップを有し、前記画像撮影ステップは、前記ミラー調整ステップの完了後に実行することを特徴とする。
【００４１】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力することを特徴とする。
【００４２】
さらに、本発明の第３の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像処理をコンピュータシステム上で実行するコンピュータ・プログラムであって、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００４３】
【作用】
本発明の構成によれば、ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部とを有する構成により、異なる複数視点からのランダムパターン投光画像を撮影可能としたので、従来の複数カメラによる撮影処理構成といった大掛かりな構成を用いることなく、小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【００４４】
さらに、本発明の構成によれば、パターン投光部をステレオミラーアダプター部に内蔵し、カメラ部の被写体画像入力光学系の前部に構成したので、被写体にパターンの投光されない領域が発生することなく、正確なマッチング処理が可能となり、正確な三次元形状データの生成が可能となる。
【００４５】
さらに、本発明の構成によれば、カメラ部と、パターン投光部とを接続部により電気的接続を行ない、カメラ部の電源からのパターン投光部に対する電力供給を行なうとともに、フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行可能とし、発光タイミング制御信号のカメラ部からの入力により、パターン投光部内の光源の発光タイミングの制御を実行する構成としたので、パターン投光部を内蔵したステレオミラーアダプタ部の構成を複雑化することなく、従来のカメラの持つ制御処理部からの信号の入力処理、制御回路を付加することにより小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【００４６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４８】
【発明の実施の形態】
以下、図面を参照しながら、本発明の三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法について説明する。
【００４９】
まず、図３を参照して本発明の三次元画像生成用データ撮像装置の実施例構成を説明する。（ａ）は、三次元画像生成用データ撮像装置の全体構成を示す。三次元画像生成用データ撮像装置３００は、通常の従来型のカメラを内蔵し、さらに、測定対象（撮影対象）に対してランダムパターンを照射するためのパターン投光ユニット３０１、シャッター３０２、ステレオミラーアダプタ３０３を有する。
【００５０】
ステレオミラーアダプタ３０３の構成図が（ｂ）である。ステレオミラーアダプタは、２つの異なる視点からの２つの画像を撮り込むための構成を持ち、ミラー３１１〜３１４によって構成される。
【００５１】
パターン投光ユニット３０１の詳細構成例を図４を参照して説明する。パターン投光ユニット３０１は、光源３２１、コンデンサレンズ３２２、ランダムパターンを持つスライド３２３、投影レンズ３２４を有し、スライド３２３に構成されたランダムバターンが計測対象（撮影対象）に対して投影される。例えば、図に示すような、ランダムパターン３２５が、計測対象（撮影対象）に対して投影される。
【００５２】
このようなランダムパターンを投影した２つの異なる視点からの画像のマッチング処理（対応点探索）を実行することにより、計測対象（撮影対象）の三次元データを効率的に確実に求めることが可能となる。
【００５３】
次に、図５を参照してステレオミラーアダプタ３０３による画像撮り込み処理例について説明する。図５は、測定対象（撮影対象）としての被写体３５０の画像をステレオミラーアダプタ３０３と、撮像部としてのカメラ３６１からなる三次元画像生成用データ撮像装置３００において撮り込む例を示している。三次元データ計測時の画像撮り込みの際には、パターン投光ユニット３０１から被写体３５０に対してランダムパターンが照射される。
【００５４】
ステレオミラーアダプタ３０３は、ミラー３１１〜３１４を有している。ミラー３１１に入射する被写体３５０の画像は、ミラー３１２を介してカメラ３６１に撮り込まれ、一方、ミラー３１４に入射する被写体３５０の画像は、ミラー３１３を介してカメラ３６１に撮り込まれる。
【００５５】
カメラには、ミラー３１１の視点からの被写体画像と、ミラー３１４の視点からの被写体画像の２つの画像が併せて撮り込まれる。
【００５６】
撮り込み画像例を図６に示す。（ａ）がパターン投光ユニット３０１から被写体３５０に対してランダムパターンを照射して撮影した画像例であり、（ｂ）がパターン投光ユニット３０１からのランダムパターン照射を停止して撮影した画像例である。
【００５７】
（ａ）に示す画像に基づいて、マッチング（対応点探索）処理を実行して被写体の三次元形状データを求めて、求めた三次元形状データに（ｂ）に示す画像データ（テクスチャ画像）を貼り付けることにより、被写体の三次元画像データが生成される。この画像貼り付け処理はテクスチャマッピングと呼ばれる。
【００５８】
図６（ａ）および（ｂ）に示すランダムパターン照射画像、およびテクスチャ画像の撮影は、連続して撮影する。例えばカメラの連射モードを適用し、１回目の撮影時にパターン投光ユニット３０１を動作させて、被写体にランダムパターンを照射して図（ａ）に示すランダムパターン照射画像を取得し、２回目の撮影時にパターン投光ユニット３０１を停止させて、図６（ｂ）に示す被写体のテクスチャ画像を取得する。これらの撮影時の制御処理構成については、後段で説明する。
【００５９】
このように、本実施例の三次元画像生成用データ撮像装置によれば、小型で低コストの構成で、２つの離間した視点からの画像を容易に取得し、正確な三次元画像データの取得が可能となり、小型で低コストの三次元画像生成用データ撮像装置が実現される。
【００６０】
図３を参照して説明した三次元画像生成用データ撮像装置は、図３から理解されるようにパターン投光ユニットが三次元画像生成用データ撮像装置の上部に取り付けられた構成を持つ。すなわち、カメラ部の撮影視点とは異なる方向からランダムパターンを投光する構成となっている。
【００６１】
このような構成においては、撮影条件によっては撮影画像にランダムパターンの非照射部が発生する場合がある。図７を参照して、ランダムパターンの非照射部発生例について説明する。
【００６２】
図７に示す構成において、三次元画像生成用データ撮像装置３７０は、図３を参照して説明したと同様の構成であり、カメラ部３７１、パターン投光ユニット３７２、ステレオミラーアダプタ３７３を有する構成である。
【００６３】
このような構成において、パターン投光ユニット３７２から被写体３８０に対してランダムパターンを照射して測定対象（撮影対象）３８０の画像を撮影しようとすると、ランダムパターン照射領域Ａと、撮影領域Ｂとがそれぞれ形成されるが、ランダムパターン照射領域Ａの一部がステレオミラーアダプタ３７３によって遮られ、ランダムパターンが照射されない領域、ランダムパターン非照射領域３８１が発生する。このような領域においては、ランダムパターン画像が得られず、正確な三次元データを取得することができない可能性が発生する。
【００６４】
このような、ランダムパターン非照射領域の発生を防止した装置構成を図８を参照して説明する。図８（ａ）は、本実施例に係る三次元画像生成用データ撮像装置の全体構成を示す。三次元画像生成用データ撮像装置５００は、通常の従来型のカメラを内蔵し、測定対象（撮影対象）に対してシャッター５０２、ステレオミラーアダプタ５０３を有し、ランダムパターンを照射するためのパターン投光ユニット５２０が、ステレオミラーアダプタ５０３に内蔵された構成を有する。すなわち、パターン投光ユニット５２０は、ステレオミラーアダプター５０３に内蔵され、カメラ部の被写体画像入力光学系の前部に構成されている。すなわち、カメラによる撮影視点と、ランダムパターン照射位置とをほぼ同軸上に配列した構成を持つ。
【００６５】
ランダムパターンを照射するためのパターン投光ユニット５２０を内蔵したステレオミラーアダプタ５０３の構成図が（ｂ）である。ステレオミラーアダプタは、２つの異なる視点からの２つの画像を撮り込むための構成を持ち、ミラー５１１〜５１４によって構成される。
【００６６】
パターン投光ユニット５２０は、ステレオミラーアダプタ５０３に内蔵されており、パターン投光ユニット５２０から被写体に対してランダムパターンを照射して測定対象（撮影対象の画像を撮影する場合に、ランダムパターン照射領域と、撮影領域とがそれぞれ、ほぼ同一領域として設定され、先に、図７を参照して説明したランダムパターン非照射領域の発生が防止される。
【００６７】
図９を参照して、ランダムパターンの非照射部解消例について説明する。図９に示す構成において、三次元画像生成用データ撮像装置５７０は、図８を参照して説明した構成であり、カメラ部５７１、パターン投光ユニット５７２、ステレオミラーアダプタ５７３を有し、パターン投光ユニット５７２はステレオミラーアダプタ５７３に内蔵された構成である。
【００６８】
このような構成において、パターン投光ユニット５７２から被写体５８０に対してランダムパターンを照射して測定対象（撮影対象）５８０の画像を撮影する場合、ランダムパターン照射領域Ａと、撮影領域Ｂとがそれぞれ形成されるが、撮影領域Ｂのほぼ全領域に渡って、ランダムパターン照射領域Ａが形成され、ランダムパターンが照射されない領域は発生しない。このように、パターン投光ユニット５７２をステレオミラーアダプタ５７３に内蔵し、パターン投光部を、カメラ部の被写体画像入力光学系の前部に構成し、撮影視点と、ランダムパターン照射位置とをほぼ同軸上に配列することで、ランダムパターン非照射領域を発生させることのない画像撮影が可能となる。
【００６９】
このように撮影全領域に渡ってランダムパターンを照射させた画像に基づいてマッチング処理を行なうことで、被写体の正確な三次元データを取得することが可能となる。
【００７０】
なお、パターン投光ユニット５７２の照射パターンを被写体に対して正確にフォーカスさせるためには、パターン投光ユニットの光学系を被写体までの距離に応じて制御することが必要となる。そのための制御処理について、以下、説明する。
【００７１】
パターン投光ユニット内蔵のステレオミラーアダプタユニットと、カメラ部との間における信号伝送構成について、図１０を参照して説明する。カメラ部７１０は、各種の撮影処理に必要なユニットを有し、バッテリ等の電源７１１から各ユニットに駆動用電力が供給される。図には、いわゆるオートフォーカス処理によるフォーカス検出を実行するフォーカス検出部７１２と、パターン投光ユニットにおける発光タイミング制御信号を出力する光源発光制御部７１３を示している。カメラ部７１０には、その他にも画像撮影を実行するための既存の様々な処理ユニットが存在し、各ユニットに電力が供給される。
【００７２】
一方、パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０には、パターン投光ユニット７３１が内蔵されている。パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０は電源部を有しておらず、カメラ部７１０との接続ライン７２０としてのコネクタ、あるいはケーブル接続部に電力供給ライン７２１が構成され、パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０内の各素子の駆動電源として利用される。
【００７３】
また、パターン投光ユニット７３１のフォーカス調整信号、すなわち、投光パターンの焦点を被写体に合わせて照射させるためにパターン投光ユニット７３１の光学系を制御するフォーカス調整信号が、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介してパターン投光ユニット７３１に供給される。
【００７４】
さらに、カメラ部７１０の光源発光制御部７１３の生成する光源発光タイミング制御信号が、接続ライン７２０内の光源発光タイミング制御信号ライン７２３を介してパターン投光ユニット７３１に供給される。
【００７５】
パターン投光ユニット７３１は、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介して入力するフォーカス調整信号に基づいて、パターン投光ユニット内の光学系の調整処理を実行し、また、カメラ部７１０の光源発光制御部７１３から、接続ライン７２０内の光源発光タイミング制御信号ライン７２３を介して入力する光源発光タイミング制御信号に基づいて、パターン投光ユニット内の光源の発光制御を行なう。
【００７６】
なお、ステレオミラーアダプタユニットのミラーの角度は、固定構成としてもよいが、制御可能な構成としてもよく、制御可能な構成とする場合には、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介して入力するフォーカス調整信号を、ステレオミラーアダプタユニットのミラー駆動部に出力して、フォーカス調整信号に基づいてミラーの調整を行なう構成とする。
【００７７】
次に、図１１を参照して、カメラ部とパターン投光ユニット内蔵ステレオミラーアダプタユニットのハードウェア構成例について説明する。カメラ部８１０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１２は、操作部８１１からの入力信号に基づいて、フォーカス調整処理プログラムの実行や、撮影プログラムの実行、データ格納処理等、カメラ部における処理全般の制御を実行する制御部である。
【００７８】
撮影処理は、画像取得部８１４に接続された光学系（図示せず）から取得され、メモリ８１６、あるいはＩ／Ｆ８１７を介して接続されたフラッシュメモリ、光学記憶媒体、磁気記憶媒体等の各種リムーバブル記憶媒体８１８に記録される。
【００７９】
焦点検出部８１５は、被写体とカメラ間の距離に基づくオートフォーカス処理に必要な焦点距離情報の取得処理を実行する。制御ＩＣ８１３は、カメラ部とパターン投光ユニット内蔵ステレオミラーアダプタユニット間の伝送信号の制御を行ない、図１０を参照して説明したように、電力供給、パターン投光ユニットの光学系を制御するためのフォーカス調整信号、光源発光タイミング制御信号等をカメラ部８１０からパターン投光ユニット内蔵ステレオミラーアダプタユニット８２０に対して出力する制御を実行する。図１０に示したフォーカス検出部７１２、光源発光制御部７１３の処理は、図１１におけるＣＰＵ８１２、制御ＩＣ８１３、焦点検出部８１５の協同的処理として実行される。
【００８０】
パターン投光ユニット内蔵ステレオミラーアダプタユニット８２０内では、制御ＩＣ８２１がカメラ部からの各種の信号を入力する。制御ＩＣ８２１は、フォーカス調整信号の入力に応じて、フォーカス調整モータ８３１に制御信号を出力する。フォーカス調整モータ８３１は、入力信号に基づいて、パターン投光ユニット８３０の光学系８３２の制御により投光パターンのフォーカス調整を実行する。
【００８１】
また、ステレオミラーアダプタ８４０のミラー制御処理も実行される。制御ＩＣ８２１が、カメラ部８１０からのフォーカス調整信号の入力に応じて、ステレオミラーアダプタ８４０のミラー８４２を駆動するミラー調整モータ８４１に制御信号を出力し、ミラー調整モータ８４１が入力信号により動作して、ミラー８４２の角度調整を実行する。
【００８２】
次に、図１２を参照して、三次元形状データの生成処理を実行するＰＣ等の画像処理装置とのデータ入出力構成について説明する。カメラ部９０３、パターン投光ユニット９０５を内蔵ステレオミラーアダプタユニット９０４を有する三次元画像生成用データ撮像装置により取得した画像データ、すなわち、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像は、フラッシュメモリ、あるいは光学的、磁気的等、各種の記録媒体９０２に格納して、ＰＣ等の画像処理装置９０１に入力して、マッチング処理等により三次元形状データを生成し、またテクスチャマッピング処理を実行して、三次元画像データを生成することができる。
【００８３】
あるいは、ケーブル９１１により、撮影画像データをＰＣ等の画像処理装置９０１に入力する構成としてもよく、あるいは、無線通信ライン９１２を介して撮影画像データをＰＣ等の画像処理装置９０１に入力する構成としてもよい。
【００８４】
次に、図１３に示すフローチャートを参照して、本発明の画像撮像装置における画像取得処理の手順について説明する。
【００８５】
ステップＳ１０１において、ステレオミラーアダプタが装着されているか否かを判定する。この判定は、カメラ部側の制御部（ＣＰＵ等）における検知プログラムの実行により処理され、ステレオミラーアダプタとカメラ間がコネクタ、ケーブル等によって接続されているか否かを判定する処理として実行される。
【００８６】
ステレオミラーアダプタが装着されていない場合には、ステップＳ１０８において、通常のカメラ撮影としての二次元（２Ｄ）画像撮影処理が実行される。
【００８７】
ステレオミラーアダプタが装着されている場合には、ステップＳ１０２に進み、三次元（３Ｄ）画像撮影モードに移行し、ステップＳ１０３でシャッターが半押しされたと判定されると、ステップＳ１０４において、カメラ側のオートフォーカス処理が実行され、カメラの光学系において、被写体に対する焦点距離調整が実行される。
【００８８】
さらに、ステップＳ１０５において、パターン投光装置のフォーカス調整処理が実行される。この処理は、先に図１０を参照して説明したように、カメラ部のフォーカス検出部の検出したフォーカス調整信号が、カメラ部から接続ラインを介して、パターン投光装置に供給されて実行される。
【００８９】
次に、ステップＳ１０６において、シャッター全押しが実行されたと判定されると、ステップＳ１０７において、連続撮影処理、すなわち、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像が連続して撮影される。
【００９０】
なお、このランダムパターン投光画像と、テクスチャ画像の連続撮影処理は、図１０を参照して説明したように、カメラ部の光源発光制御部の生成する光源発光タイミング制御信号を、接続ライン内の光源発光タイミング制御信号ラインを介してパターン投光ユニットに供給することで制御される。例えば、第１回目の撮影には光源発光を行なって、投光パターンを照射して撮影を実行し、第２回目の撮影には、光源発光を停止して、投光パターンを照射せずに撮影を実行する。
【００９１】
すなわち、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ発光タイミング制御信号をパターン投光部に出力する。
【００９２】
この処理結果として、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像が取得される。取得画像は、フラッシュメモリ、あるいは光学的、磁気的等、各種の記録媒体に格納して、あるいは有線または無線の通信路を介してＰＣ等の画像処理装置に入力して、マッチング処理等により三次元形状データを生成し、またテクスチャマッピング処理を実行して、三次元画像データを生成する。
【００９３】
なお、図１３の処理フローにおいては、ステレオミラーアダプタユニットのミラーの角度は固定構成であるものとして説明したが、制御可能な構成としてもよく、制御可能な構成とした場合には、ステップＳ１０５とステップＳ１０６間において、ステレオミラーアダプタユニットのミラー駆動部がミラーの調整処理を行なう。
【００９４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９５】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００９７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００９９】
【発明の効果】
以上、説明したように、本発明においては、ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部とを有する構成により、異なる複数視点からのランダムパターン投光画像を撮影可能としたので、従来の複数カメラによる撮影処理構成といった大掛かりな構成を用いることなく、小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【０１００】
さらに、本発明の構成によれば、パターン投光部をステレオミラーアダプター部に内蔵し、カメラ部の被写体画像入力光学系の前部に構成したので、被写体にパターンの投光されない領域が発生することなく、正確なマッチング処理が可能となり、正確な三次元形状データの生成が可能となる。
【０１０１】
さらに、本発明の構成によれば、カメラ部と、パターン投光部とを接続部により電気的接続を行ない、カメラ部の電源からのパターン投光部に対する電力供給を行なうとともに、フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行可能とし、発光タイミング制御信号のカメラ部からの入力により、パターン投光部内の光源の発光タイミングの制御を実行する構成としたので、パターン投光部を内蔵したステレオミラーアダプタ部の構成を複雑化することなく、従来のカメラの持つ制御処理部からの信号の入力処理、制御回路を付加することにより小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【図面の簡単な説明】
【図１】三次元形状データの取得処理方法において、エピポーララインを適用した処理例を説明する図である。
【図２】従来の三次元形状データ取得処理装置の構成例を示す図である。
【図３】本発明の三次元画像取得装置の構成例を示す図である。
【図４】パターン投光ユニット３０１の詳細構成例を示す図である。
【図５】ステレオミラーアダプタユニットの構成例を示す図である。
【図６】本発明の三次元画像取得装置によって撮影される画像例を示す図である。
【図７】ランダムパターン非照射領域の発生について説明する図である。
【図８】本発明の三次元画像取得装置の構成例を示す図である。
【図９】ランダムパターン非照射領域の発生防止例について説明する図である。
【図１０】本発明の三次元画像取得装置におけるカメラ部と、パターン投光ユニット内蔵ステレオミラーアダプタユニットとの接続構成を説明する図である。
【図１１】本発明の三次元画像取得装置におけるカメラ部と、パターン投光ユニット内蔵ステレオミラーアダプタユニットとのハードウェア構成例を説明する図である。
【図１２】本発明の三次元画像取得装置における取得画像の画像処理装置に対するデータ転送構成を説明する図である。
【図１３】本発明の三次元画像取得装置における画像取得処理手順を説明するフローチャートを示す図である。
【符号の説明】
１０１ ストロボ装置
１０２ パターン投影装置
１０３，１０４，１０５ カメラ
１０６ 操作部
１０７ タイミング制御部
１０８ 画像取り込み部
１０９ データ蓄積部
１１０ コンピュータＩ／Ｆ
１１１ 表示制御部
１１２ 表示部
１２０ コンピュータ
３００ 三次元画像生成用データ撮像装置
３０１ パターン投光ユニット
３０２ シャッター
３０３ ステレオミラーアダプ
３１１〜３１４ ミラー
３２１ 光源
３２２ コンデンサレンズ
３２３ スライド
３２４ 投影レンズ
３２５ ランダムパターン
３５０ 被写体
３６１ カメラ
３７１ カメラ部
３７２ パターン投光ユニット
３７３ ステレオミラーアダプタ
３８０ 被写体
３８１ ランダムパターン非照射領域
５００ 三次元画像生成用データ撮像装置
５０２ シャッター
５０３ ステレオミラーアダプ
５１１〜５１４ ミラー
５２０ パターン投光ユニット
５７０ 三次元画像生成用データ撮像装置
５７１ カメラ部
５７２ パターン投光ユニット
５７３ ステレオミラーアダプタ
５８０ 被写体
７１０ カメラ部
７１１ 電源
７１２ フォーカス検出部
７１３ 光源発光制御部
７２０ 接続ライン
７２１ 電力供給ライン
７２２ フォーカス調整信号ライン
７２３ 光源発光タイミング制御信号ライン
７３０ パターン投光ユニット内蔵ステレオミラーアダプタユニット
７３１ パターン投光ユニット
８１０ カメラ部
８１１ 操作部
８１２ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
８１３ 制御ＩＣ
８１４ 画像取得部
８１５ 焦点検出部
８１６ メモリ
８１７ Ｉ／Ｆ
８１８ リムーバブル記憶媒体
８２０ パターン投光ユニット内蔵ステレオミラーアダプタユニット
８２１ 制御ＩＣ
８３０ パターン投光ユニット
８３１ フォーカス調整モータ
８３２ 光学系
８４０ ステレオミラーアダプタ
８４１ ミラー調整モータ
８４２ ミラー
９０１ 画像処理装置
９０２ 記録媒体
９０３ カメラ部
９０４ 内蔵ステレオミラーアダプタユニット
９０５ パターン投光ユニット
９１１ ケーブル
９１２ 無線通信ライン
【発明の属する技術分野】
本発明は、簡易な構成で物体の三次元画像生成用データを取得することを可能とした三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムに関する。さらに詳細には、カメラにパターン投光手段を設けるとともにパターン投光手段の発光タイミング制御、フォーカス調整を効率的に実行可能とした三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
物体の三次元形状を求める従来手法には、大きく分けて能動的手法（アクティブ手法）と受動的手法（パッシブ手法）がある。能動的手法としては、光を投射して、その光が反射して帰ってくるまでの時間を測定することで各測定対象物体までの距離を求める方法や、測定対象にスリット状のパターン光をあてて測定対象に投影されたパターン光の形状を調べることによって三次元形状を計測する光切断法といった方法がある。
【０００３】
また、受動的手法として代表的なものは、三角測量の原理を利用したステレオ画像法であり、これは２台以上のカメラを使って、その画像間の対応点を見つけることで視差を求め、距離を計測する方法である。
【０００４】
ステレオ画像法について、その原理を簡単に説明する。ステレオ画像法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで測定対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと参照カメラにより異なる複数視点から同一対象物を撮影して、それぞれの画像内の測定対象物の距離を三角測量の原理により測定する。
【０００５】
図１は、ステレオ画像法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と参照カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【０００６】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している参照カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【０００７】
基準カメラにおけるポイント「ｍｂ」の位置は、参照カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、参照カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【０００８】
図１には、エピポーラ・ラインと、参照画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、参照画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【０００９】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ画像法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００１０】
上述のステレオ画像法は１台の基準カメラと１台の参照カメラとを用いた構成としたが、参照カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の参照カメラによって撮影される画像を用い、複数の参照カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００１１】
上述のように、ステレオ画像法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで測定対象物の三次元空間における位置を求めようとするものである。
【００１２】
従来、よく使われている「対応点付け」の手法は、Ｐｉｘｅｌ−ｂａｓｅｄマッチング、Ａｒｅａ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに大別される。Ｐｉｘｅｌ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である（Ｃ．Ｌａｗｒｅｎｃｅ Ｚｉｔｎｉｃｋ ａｎｄ Ｊｏｎ Ａ． Ｗｅｂｂ： Ｍｕｌｔｉ−ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｕｓｉｎｇ Ｓｕｒｆａｃｅ Ｅｘｔｒａｃｔｉｏｎ， Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ， ＣＭＵ−ＣＳ−９６−１９６， （１９９６）参照）。
【００１３】
Ａｒｅａ−ｂａｓｅｄマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である（奥富、金出： 複数の基線長を利用したステレオマッチング、電子情報通信学会論文誌Ｄ−ＩＩ、Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ， Ｎｏ．８， ｐｐ．１３１７−１３２７， （１９９２）、横山、三輪、芦ヶ原、小柳津、林、後： Ｓｔｅｒｅｏ Ｃａｍｅｒａ Ｓｙｓｔｅｍ ａｎｄ Ｉｔｓ Ａｐｐｌｉｃａｔｉｏｎ、 ＳＲＦ’９７、（１９９７）、金出、木村： ビデオレート・ステレオマシン、日本ロボット学会誌、Ｖｏｌ．１３， Ｎｏ．３， ｐｐ．３２２〜３２６， （１９９５）、金出、蚊野、木村、川村、吉田、織田： ビデオレートステレオマシンの開発、日本ロボット学会誌、Ｖｏｌ．１５， Ｎｏ．２， ｐｐ．２６１〜２６７， （１９９７）、山口、高地、井口： 適応ウィンドウ法を用いた石像計測のためのステレオ対応付け、人文科学とコンピュータ、Ｖｏｌ．３２， Ｎｏ．１０， ｐｐ．５５〜６０， （１９９６）、横矢： 最近の信号処理総合特集号 コンピュータビジョンの最近の話題、システム／制御／情報、Ｖｏｌ．３８，Ｎｏ８，ｐｐ４３６−４４１，（１９９４）参照）。
【００１４】
Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である（Ｈ．Ｈ．Ｂａｋｅｒ ａｎｄ Ｔ．Ｏ．Ｂｉｎｆｏｒｄ： Ｄｅｐｔｈ ｆｒｏｍ ｅｄｇｅ ａｎｄ ｉｎｔｅｎｓｉｔｙ ｂａｓｅｄ ｓｔｅｒｅｏ， Ｉｎ Ｐｒｏｃ． ＩＪＣＡＩ’８１， （１９８１）、石山、角保、河井、植芝、富田： セグメントベーストステレオにおける対応候補探索、信学技報、Ｖｏｌ．９６， Ｎｏ．１３６， （１９９７）、Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ： Ｃｏｍｐｕｔａｔｉｏｎａｌｅｘｐｅｒｉｍｅｎｔｓ ｗｉｔｈ ａ ｆｅａｔｕｒｅ ｂａｓｅｄ ｓｔｅｒｅｏ ａｌｇｏｒｉｔｈｍ， ＩＥＥＥ Ｔｒａｎｓ． ＰＡＭＩ， Ｖｏｌ．７， Ｎｏ．１， ｐｐ．１７〜３４， （１９８５））。
【００１５】
上記の各手法の特徴を整理すると、次のようになる。
（１）Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＡｒｅａ−ｂａｓｅｄマッチングは各々の画素に対して、対応点を探索するので、求められた距離画像は密である。一方、Ｆｅａｔｕｒｅ−ｂａｓｅｄマッチングは、特徴点だけに対して、対応付けを行うので、得られた距離画像は疎である。
【００１６】
（２）Ａｒｅａ−ｂａｓｅｄマッチングは、一種の相関演算を行うため、Ｐｉｘｅｌ−ｂａｓｅｄマッチングとＦｅａｔｕｒｅ−ｂａｓｅｄマッチングに比べて、計算コストがかかるが、アルゴリズムの高速化によって、必ずしも解決できない問題ではない。
【００１７】
（３）Ｐｉｘｅｌ−ｂａｓｅｄマッチングは、画素間の対応付けだけを行うため、計算速度がかなり速いが、左右カメラ間の特性の違いによって、画素間の濃淡値を用いる対応付けが容易ではない。
【００１８】
上述の特徴から、一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてＡｒｅａ−ｂａｓｅｄマッチングは有効であり、よく使われている。
【００１９】
上述の各種の方法により、ステレオ画像法における対応点付け処理が行なわれる。しかしながら、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しては、上述のいずれの方法を使用しても、３次元形状を計測するために必要となる対応点付け処理が困難となる。これが、ステレオ画像法による処理における一つの大きな課題となっている。
【００２０】
白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理をより正確に行なうため、チェッカや周波数変調された正弦波などの周期的なパターンを投光することによって、マルチベースラインステレオシステムによる画像マッチングのエラーを低減する手法が、いくつか開示されている（Ｓ．Ｂ．Ｋａｎｇ， Ｊ．Ａ．Ｗｅｂｂ， Ｃ．Ｌ．Ｚｉｔｎｉｃｋ ａｎｄ Ｔ．Ｋａｎａｄｅ： Ａ Ｍｕｌｔｉｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ Ｓｙｓｔｅｍ ｗｉｔｈ Ａｃｔｉｖｅ Ｉｌｌｕｍｉｎａｔｉｏｎ ａｎｄ Ｒｅａｌ−ｔｉｍｅ Ｉｍａｇｅ Ａｃｑｕｉｓｉｔｉｏｎ， ＰｒｏｃＩＥＥＥ Ｉｎｔ Ｃｏｎｆ． Ｃｏｍｐｕｔ． Ｖｉｓ．， Ｖｏｌ．５， ｐｐ．８８〜９３， （１９９５）、Ｍ．Ｎｏｇｕｃｈｉ ａｎｄ Ｓ．Ｋ．Ｎａｙａｒ： Ｍｉｃｒｏｓｃｏｐｉｃ Ｓｈａｐｅ ｆｒｏｍ Ｆｏｃｕｓ Ｕｓｉｎｇ Ａｃｔｉｖｅ Ｉｌｌｕｍｉｎａｔｉｏｎ， Ｐｒｏｃ Ｉｎｔ． Ｃｏｎｆ． Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ．， Ｖｏｌ．１２， Ｎｏ．Ｖｏｌ １， ｐｐ．１４７〜１５２， （１９９４）参照）。
【００２１】
しかしながら、上述した手法では、対応付け処理におけるエラー、すなわちミスマッチングの完全な除去を達成することはできなかった。また、上述の周波数変調された周期的なパターンを投光して対応付け処理を実行する構成は、複数台（３台以上）のカメラを用いるマルチベースラインステレオマシンにおいては、ミスマッチング領域減少に対して効果があるが、２台のカメラを用いる２眼ステレオ視に対しては、生成される模様が周期的であるために類似する模様同士の対応付けにエラーが発生する可能性があり、必ずしも有効とはならないという欠点がある。
【００２２】
そこで、本特許出願人は、先の出願において、例えば乱数を用いた非周期的な投光パターンを生成して、このランダムパターンを測定対象に投光することで、高精度な距離画像生成を可能とする構成を提案（特開２００１−９１２３２、特開２００１−１４７１１０）した。
【００２３】
図２にマルチベースラインステレオ画像法を適用し、ランダムパターンを照射して三次元画像を取得する装置の構成例を示す。計測対象１５０の画像を異なる位置にある３台のカメラ１０３，１０４，１０５によって撮影する。この撮影の際には、ストロボ装置１０１からストロボが計測対象１５０に照射されるとともに、パターン投影装置１０２によりパターン画像が計測対象１５０に照射される。操作部１０６における操作情報がタイミング制御部１０７に出力され、ストロボ装置１０１と、パターン投影装置１０２の動作タイミングが制御される。
【００２４】
３台のカメラ１０３，１０４，１０５によって撮影された画像は、画像取り込み部１０８に一旦、蓄積された後、データ蓄積部１０９に蓄積される。データ蓄積部１０９に蓄積された画像データは、コンピュータインタフェース部１１０を介してコンピュータ１２０に入力され、前述したマッチング処理により、三次元形状データが生成される。この場合、例えば基準カメラをカメラ１０４とし、参照カメラをカメラ１０３、１０５として、それぞれの基準間カメラと複数の参照カメラとの特徴点のマッチング処理により三次元形状データが生成される。なお、パターン投影装置１０２によりパターン画像が計測対象１５０に照射されているので、特徴点が多数取得可能となり、マッチング処理が容易となる。
【００２５】
コンピュータ１２０によって生成された三次元形状データは、コンピュータＩ／Ｆ１１０を介してデータ蓄積部１０９に蓄積されて、表示制御部１１１の制御に基づいて、表示部１１２に表示される。
【００２６】
このように、模様のない被写体に非周期のランダムパターンを投光して対応付け処理を行なう測定方法によれば、白い壁や人間の顔などの特徴（濃淡、形状、色等）のほとんどない対象に対しての対応付け処理がより正確になされ、距離画像生成が高精度に行なわれる。
【００２７】
【発明が解決しようとする課題】
しかしながら、従来のステレオ法を用いた三次元形状計測には、２台以上のカメラを利用することが前提となっていたため、図２に示したように、装置が大掛かりとなり、また高コストとなってしまいパーソナルユースとしての適用は困難であった。
【００２８】
小型化した装置としては、一般のカメラにステレオミラーアダプタを組み込み、１枚の画像を左右に分割してそれぞれを左右の眼の画像として記録し、これらの画像を用いて立体画像を楽しむ装置が特公平７−２７１７８に開示されている。ただし、この公報に開示の装置は、マッチング処理の困難な特徴点を多数持たない画像についての三次元形状を求めることは不可能であり、特徴点を持つ撮影画像についてのみ対応可能な限定された利用しかできなかった。
【００２９】
本発明は、上述の問題点に鑑みてなされたものであり、低コストで、かつコンパクトな構成にランダムパターン投光機能を持たせ、マッチング処理に適用する特徴点を持たない画像についても三次元形状データを正確に取得することの可能な三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００３０】
本発明の構成は、小型でかつ低コストの装置として構成可能であるため、例えば携帯可能な、あるいはパーソナルユースに適した三次元画像生成用データ撮像装置として実現可能である。
【００３１】
【課題を解決するための手段】
本発明の第１の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像装置であり、
ランダムパターンを被写体に投光するパターン投光部と、
被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、
前記ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部と、
を有することを特徴とする三次元画像生成用データ撮像装置にある。
【００３２】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記パターン投光部は、前記ステレオミラーアダプター部に内蔵され、前記カメラ部の被写体画像入力光学系の前部に構成されていることを特徴とする。
【００３３】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部と、前記パターン投光部とは接続部により電気的接続がなされ、カメラ部の電源からの前記パターン投光部に対する電力供給がなされる構成であることを特徴とする。
【００３４】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、前記パターン投光部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう構成であることを特徴とする。
【００３５】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、前記パターン投光部は、前記発光タイミング制御信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行する構成であることを特徴とする。
【００３６】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、前記ステレオミラーアダプター部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてステレオミラーアダプター部内のミラー調整処理を実行する構成であることを特徴とする。
【００３７】
さらに、本発明の三次元画像生成用データ撮像装置の一実施態様において、前記カメラ部は、前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力する構成としたことを特徴とする。
【００３８】
さらに、本発明の第２の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像方法であり、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とする三次元画像生成用データ撮像方法にある。
【００３９】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、パターン投光部の発光タイミング制御信号を生成する発光タイミング制御信号生成ステップと、前記発光タイミング制御信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行するステップと、を有することを特徴とする。
【００４０】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、前記フォーカス調整信号に基づいて、前記ステレオミラーアダプター部内のミラー調整処理を実行するミラー調整ステップを有し、前記画像撮影ステップは、前記ミラー調整ステップの完了後に実行することを特徴とする。
【００４１】
さらに、本発明の三次元画像生成用データ撮像方法の一実施態様において、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力することを特徴とする。
【００４２】
さらに、本発明の第３の側面は、
三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像処理をコンピュータシステム上で実行するコンピュータ・プログラムであって、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とするコンピュータ・プログラムにある。
【００４３】
【作用】
本発明の構成によれば、ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部とを有する構成により、異なる複数視点からのランダムパターン投光画像を撮影可能としたので、従来の複数カメラによる撮影処理構成といった大掛かりな構成を用いることなく、小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【００４４】
さらに、本発明の構成によれば、パターン投光部をステレオミラーアダプター部に内蔵し、カメラ部の被写体画像入力光学系の前部に構成したので、被写体にパターンの投光されない領域が発生することなく、正確なマッチング処理が可能となり、正確な三次元形状データの生成が可能となる。
【００４５】
さらに、本発明の構成によれば、カメラ部と、パターン投光部とを接続部により電気的接続を行ない、カメラ部の電源からのパターン投光部に対する電力供給を行なうとともに、フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行可能とし、発光タイミング制御信号のカメラ部からの入力により、パターン投光部内の光源の発光タイミングの制御を実行する構成としたので、パターン投光部を内蔵したステレオミラーアダプタ部の構成を複雑化することなく、従来のカメラの持つ制御処理部からの信号の入力処理、制御回路を付加することにより小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【００４６】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４８】
【発明の実施の形態】
以下、図面を参照しながら、本発明の三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法について説明する。
【００４９】
まず、図３を参照して本発明の三次元画像生成用データ撮像装置の実施例構成を説明する。（ａ）は、三次元画像生成用データ撮像装置の全体構成を示す。三次元画像生成用データ撮像装置３００は、通常の従来型のカメラを内蔵し、さらに、測定対象（撮影対象）に対してランダムパターンを照射するためのパターン投光ユニット３０１、シャッター３０２、ステレオミラーアダプタ３０３を有する。
【００５０】
ステレオミラーアダプタ３０３の構成図が（ｂ）である。ステレオミラーアダプタは、２つの異なる視点からの２つの画像を撮り込むための構成を持ち、ミラー３１１〜３１４によって構成される。
【００５１】
パターン投光ユニット３０１の詳細構成例を図４を参照して説明する。パターン投光ユニット３０１は、光源３２１、コンデンサレンズ３２２、ランダムパターンを持つスライド３２３、投影レンズ３２４を有し、スライド３２３に構成されたランダムバターンが計測対象（撮影対象）に対して投影される。例えば、図に示すような、ランダムパターン３２５が、計測対象（撮影対象）に対して投影される。
【００５２】
このようなランダムパターンを投影した２つの異なる視点からの画像のマッチング処理（対応点探索）を実行することにより、計測対象（撮影対象）の三次元データを効率的に確実に求めることが可能となる。
【００５３】
次に、図５を参照してステレオミラーアダプタ３０３による画像撮り込み処理例について説明する。図５は、測定対象（撮影対象）としての被写体３５０の画像をステレオミラーアダプタ３０３と、撮像部としてのカメラ３６１からなる三次元画像生成用データ撮像装置３００において撮り込む例を示している。三次元データ計測時の画像撮り込みの際には、パターン投光ユニット３０１から被写体３５０に対してランダムパターンが照射される。
【００５４】
ステレオミラーアダプタ３０３は、ミラー３１１〜３１４を有している。ミラー３１１に入射する被写体３５０の画像は、ミラー３１２を介してカメラ３６１に撮り込まれ、一方、ミラー３１４に入射する被写体３５０の画像は、ミラー３１３を介してカメラ３６１に撮り込まれる。
【００５５】
カメラには、ミラー３１１の視点からの被写体画像と、ミラー３１４の視点からの被写体画像の２つの画像が併せて撮り込まれる。
【００５６】
撮り込み画像例を図６に示す。（ａ）がパターン投光ユニット３０１から被写体３５０に対してランダムパターンを照射して撮影した画像例であり、（ｂ）がパターン投光ユニット３０１からのランダムパターン照射を停止して撮影した画像例である。
【００５７】
（ａ）に示す画像に基づいて、マッチング（対応点探索）処理を実行して被写体の三次元形状データを求めて、求めた三次元形状データに（ｂ）に示す画像データ（テクスチャ画像）を貼り付けることにより、被写体の三次元画像データが生成される。この画像貼り付け処理はテクスチャマッピングと呼ばれる。
【００５８】
図６（ａ）および（ｂ）に示すランダムパターン照射画像、およびテクスチャ画像の撮影は、連続して撮影する。例えばカメラの連射モードを適用し、１回目の撮影時にパターン投光ユニット３０１を動作させて、被写体にランダムパターンを照射して図（ａ）に示すランダムパターン照射画像を取得し、２回目の撮影時にパターン投光ユニット３０１を停止させて、図６（ｂ）に示す被写体のテクスチャ画像を取得する。これらの撮影時の制御処理構成については、後段で説明する。
【００５９】
このように、本実施例の三次元画像生成用データ撮像装置によれば、小型で低コストの構成で、２つの離間した視点からの画像を容易に取得し、正確な三次元画像データの取得が可能となり、小型で低コストの三次元画像生成用データ撮像装置が実現される。
【００６０】
図３を参照して説明した三次元画像生成用データ撮像装置は、図３から理解されるようにパターン投光ユニットが三次元画像生成用データ撮像装置の上部に取り付けられた構成を持つ。すなわち、カメラ部の撮影視点とは異なる方向からランダムパターンを投光する構成となっている。
【００６１】
このような構成においては、撮影条件によっては撮影画像にランダムパターンの非照射部が発生する場合がある。図７を参照して、ランダムパターンの非照射部発生例について説明する。
【００６２】
図７に示す構成において、三次元画像生成用データ撮像装置３７０は、図３を参照して説明したと同様の構成であり、カメラ部３７１、パターン投光ユニット３７２、ステレオミラーアダプタ３７３を有する構成である。
【００６３】
このような構成において、パターン投光ユニット３７２から被写体３８０に対してランダムパターンを照射して測定対象（撮影対象）３８０の画像を撮影しようとすると、ランダムパターン照射領域Ａと、撮影領域Ｂとがそれぞれ形成されるが、ランダムパターン照射領域Ａの一部がステレオミラーアダプタ３７３によって遮られ、ランダムパターンが照射されない領域、ランダムパターン非照射領域３８１が発生する。このような領域においては、ランダムパターン画像が得られず、正確な三次元データを取得することができない可能性が発生する。
【００６４】
このような、ランダムパターン非照射領域の発生を防止した装置構成を図８を参照して説明する。図８（ａ）は、本実施例に係る三次元画像生成用データ撮像装置の全体構成を示す。三次元画像生成用データ撮像装置５００は、通常の従来型のカメラを内蔵し、測定対象（撮影対象）に対してシャッター５０２、ステレオミラーアダプタ５０３を有し、ランダムパターンを照射するためのパターン投光ユニット５２０が、ステレオミラーアダプタ５０３に内蔵された構成を有する。すなわち、パターン投光ユニット５２０は、ステレオミラーアダプター５０３に内蔵され、カメラ部の被写体画像入力光学系の前部に構成されている。すなわち、カメラによる撮影視点と、ランダムパターン照射位置とをほぼ同軸上に配列した構成を持つ。
【００６５】
ランダムパターンを照射するためのパターン投光ユニット５２０を内蔵したステレオミラーアダプタ５０３の構成図が（ｂ）である。ステレオミラーアダプタは、２つの異なる視点からの２つの画像を撮り込むための構成を持ち、ミラー５１１〜５１４によって構成される。
【００６６】
パターン投光ユニット５２０は、ステレオミラーアダプタ５０３に内蔵されており、パターン投光ユニット５２０から被写体に対してランダムパターンを照射して測定対象（撮影対象の画像を撮影する場合に、ランダムパターン照射領域と、撮影領域とがそれぞれ、ほぼ同一領域として設定され、先に、図７を参照して説明したランダムパターン非照射領域の発生が防止される。
【００６７】
図９を参照して、ランダムパターンの非照射部解消例について説明する。図９に示す構成において、三次元画像生成用データ撮像装置５７０は、図８を参照して説明した構成であり、カメラ部５７１、パターン投光ユニット５７２、ステレオミラーアダプタ５７３を有し、パターン投光ユニット５７２はステレオミラーアダプタ５７３に内蔵された構成である。
【００６８】
このような構成において、パターン投光ユニット５７２から被写体５８０に対してランダムパターンを照射して測定対象（撮影対象）５８０の画像を撮影する場合、ランダムパターン照射領域Ａと、撮影領域Ｂとがそれぞれ形成されるが、撮影領域Ｂのほぼ全領域に渡って、ランダムパターン照射領域Ａが形成され、ランダムパターンが照射されない領域は発生しない。このように、パターン投光ユニット５７２をステレオミラーアダプタ５７３に内蔵し、パターン投光部を、カメラ部の被写体画像入力光学系の前部に構成し、撮影視点と、ランダムパターン照射位置とをほぼ同軸上に配列することで、ランダムパターン非照射領域を発生させることのない画像撮影が可能となる。
【００６９】
このように撮影全領域に渡ってランダムパターンを照射させた画像に基づいてマッチング処理を行なうことで、被写体の正確な三次元データを取得することが可能となる。
【００７０】
なお、パターン投光ユニット５７２の照射パターンを被写体に対して正確にフォーカスさせるためには、パターン投光ユニットの光学系を被写体までの距離に応じて制御することが必要となる。そのための制御処理について、以下、説明する。
【００７１】
パターン投光ユニット内蔵のステレオミラーアダプタユニットと、カメラ部との間における信号伝送構成について、図１０を参照して説明する。カメラ部７１０は、各種の撮影処理に必要なユニットを有し、バッテリ等の電源７１１から各ユニットに駆動用電力が供給される。図には、いわゆるオートフォーカス処理によるフォーカス検出を実行するフォーカス検出部７１２と、パターン投光ユニットにおける発光タイミング制御信号を出力する光源発光制御部７１３を示している。カメラ部７１０には、その他にも画像撮影を実行するための既存の様々な処理ユニットが存在し、各ユニットに電力が供給される。
【００７２】
一方、パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０には、パターン投光ユニット７３１が内蔵されている。パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０は電源部を有しておらず、カメラ部７１０との接続ライン７２０としてのコネクタ、あるいはケーブル接続部に電力供給ライン７２１が構成され、パターン投光ユニット内蔵ステレオミラーアダプタユニット７３０内の各素子の駆動電源として利用される。
【００７３】
また、パターン投光ユニット７３１のフォーカス調整信号、すなわち、投光パターンの焦点を被写体に合わせて照射させるためにパターン投光ユニット７３１の光学系を制御するフォーカス調整信号が、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介してパターン投光ユニット７３１に供給される。
【００７４】
さらに、カメラ部７１０の光源発光制御部７１３の生成する光源発光タイミング制御信号が、接続ライン７２０内の光源発光タイミング制御信号ライン７２３を介してパターン投光ユニット７３１に供給される。
【００７５】
パターン投光ユニット７３１は、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介して入力するフォーカス調整信号に基づいて、パターン投光ユニット内の光学系の調整処理を実行し、また、カメラ部７１０の光源発光制御部７１３から、接続ライン７２０内の光源発光タイミング制御信号ライン７２３を介して入力する光源発光タイミング制御信号に基づいて、パターン投光ユニット内の光源の発光制御を行なう。
【００７６】
なお、ステレオミラーアダプタユニットのミラーの角度は、固定構成としてもよいが、制御可能な構成としてもよく、制御可能な構成とする場合には、カメラ部７１０のフォーカス検出部７１２から接続ライン７２０内のフォーカス調整信号ライン７２２を介して入力するフォーカス調整信号を、ステレオミラーアダプタユニットのミラー駆動部に出力して、フォーカス調整信号に基づいてミラーの調整を行なう構成とする。
【００７７】
次に、図１１を参照して、カメラ部とパターン投光ユニット内蔵ステレオミラーアダプタユニットのハードウェア構成例について説明する。カメラ部８１０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）８１２は、操作部８１１からの入力信号に基づいて、フォーカス調整処理プログラムの実行や、撮影プログラムの実行、データ格納処理等、カメラ部における処理全般の制御を実行する制御部である。
【００７８】
撮影処理は、画像取得部８１４に接続された光学系（図示せず）から取得され、メモリ８１６、あるいはＩ／Ｆ８１７を介して接続されたフラッシュメモリ、光学記憶媒体、磁気記憶媒体等の各種リムーバブル記憶媒体８１８に記録される。
【００７９】
焦点検出部８１５は、被写体とカメラ間の距離に基づくオートフォーカス処理に必要な焦点距離情報の取得処理を実行する。制御ＩＣ８１３は、カメラ部とパターン投光ユニット内蔵ステレオミラーアダプタユニット間の伝送信号の制御を行ない、図１０を参照して説明したように、電力供給、パターン投光ユニットの光学系を制御するためのフォーカス調整信号、光源発光タイミング制御信号等をカメラ部８１０からパターン投光ユニット内蔵ステレオミラーアダプタユニット８２０に対して出力する制御を実行する。図１０に示したフォーカス検出部７１２、光源発光制御部７１３の処理は、図１１におけるＣＰＵ８１２、制御ＩＣ８１３、焦点検出部８１５の協同的処理として実行される。
【００８０】
パターン投光ユニット内蔵ステレオミラーアダプタユニット８２０内では、制御ＩＣ８２１がカメラ部からの各種の信号を入力する。制御ＩＣ８２１は、フォーカス調整信号の入力に応じて、フォーカス調整モータ８３１に制御信号を出力する。フォーカス調整モータ８３１は、入力信号に基づいて、パターン投光ユニット８３０の光学系８３２の制御により投光パターンのフォーカス調整を実行する。
【００８１】
また、ステレオミラーアダプタ８４０のミラー制御処理も実行される。制御ＩＣ８２１が、カメラ部８１０からのフォーカス調整信号の入力に応じて、ステレオミラーアダプタ８４０のミラー８４２を駆動するミラー調整モータ８４１に制御信号を出力し、ミラー調整モータ８４１が入力信号により動作して、ミラー８４２の角度調整を実行する。
【００８２】
次に、図１２を参照して、三次元形状データの生成処理を実行するＰＣ等の画像処理装置とのデータ入出力構成について説明する。カメラ部９０３、パターン投光ユニット９０５を内蔵ステレオミラーアダプタユニット９０４を有する三次元画像生成用データ撮像装置により取得した画像データ、すなわち、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像は、フラッシュメモリ、あるいは光学的、磁気的等、各種の記録媒体９０２に格納して、ＰＣ等の画像処理装置９０１に入力して、マッチング処理等により三次元形状データを生成し、またテクスチャマッピング処理を実行して、三次元画像データを生成することができる。
【００８３】
あるいは、ケーブル９１１により、撮影画像データをＰＣ等の画像処理装置９０１に入力する構成としてもよく、あるいは、無線通信ライン９１２を介して撮影画像データをＰＣ等の画像処理装置９０１に入力する構成としてもよい。
【００８４】
次に、図１３に示すフローチャートを参照して、本発明の画像撮像装置における画像取得処理の手順について説明する。
【００８５】
ステップＳ１０１において、ステレオミラーアダプタが装着されているか否かを判定する。この判定は、カメラ部側の制御部（ＣＰＵ等）における検知プログラムの実行により処理され、ステレオミラーアダプタとカメラ間がコネクタ、ケーブル等によって接続されているか否かを判定する処理として実行される。
【００８６】
ステレオミラーアダプタが装着されていない場合には、ステップＳ１０８において、通常のカメラ撮影としての二次元（２Ｄ）画像撮影処理が実行される。
【００８７】
ステレオミラーアダプタが装着されている場合には、ステップＳ１０２に進み、三次元（３Ｄ）画像撮影モードに移行し、ステップＳ１０３でシャッターが半押しされたと判定されると、ステップＳ１０４において、カメラ側のオートフォーカス処理が実行され、カメラの光学系において、被写体に対する焦点距離調整が実行される。
【００８８】
さらに、ステップＳ１０５において、パターン投光装置のフォーカス調整処理が実行される。この処理は、先に図１０を参照して説明したように、カメラ部のフォーカス検出部の検出したフォーカス調整信号が、カメラ部から接続ラインを介して、パターン投光装置に供給されて実行される。
【００８９】
次に、ステップＳ１０６において、シャッター全押しが実行されたと判定されると、ステップＳ１０７において、連続撮影処理、すなわち、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像が連続して撮影される。
【００９０】
なお、このランダムパターン投光画像と、テクスチャ画像の連続撮影処理は、図１０を参照して説明したように、カメラ部の光源発光制御部の生成する光源発光タイミング制御信号を、接続ライン内の光源発光タイミング制御信号ラインを介してパターン投光ユニットに供給することで制御される。例えば、第１回目の撮影には光源発光を行なって、投光パターンを照射して撮影を実行し、第２回目の撮影には、光源発光を停止して、投光パターンを照射せずに撮影を実行する。
【００９１】
すなわち、ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ発光タイミング制御信号をパターン投光部に出力する。
【００９２】
この処理結果として、図６を参照して説明したランダムパターン投光画像と、テクスチャ画像が取得される。取得画像は、フラッシュメモリ、あるいは光学的、磁気的等、各種の記録媒体に格納して、あるいは有線または無線の通信路を介してＰＣ等の画像処理装置に入力して、マッチング処理等により三次元形状データを生成し、またテクスチャマッピング処理を実行して、三次元画像データを生成する。
【００９３】
なお、図１３の処理フローにおいては、ステレオミラーアダプタユニットのミラーの角度は固定構成であるものとして説明したが、制御可能な構成としてもよく、制御可能な構成とした場合には、ステップＳ１０５とステップＳ１０６間において、ステレオミラーアダプタユニットのミラー駆動部がミラーの調整処理を行なう。
【００９４】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【００９５】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９６】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【００９７】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【００９８】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００９９】
【発明の効果】
以上、説明したように、本発明においては、ランダムパターンを被写体に投光するパターン投光部と、被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部とを有する構成により、異なる複数視点からのランダムパターン投光画像を撮影可能としたので、従来の複数カメラによる撮影処理構成といった大掛かりな構成を用いることなく、小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【０１００】
さらに、本発明の構成によれば、パターン投光部をステレオミラーアダプター部に内蔵し、カメラ部の被写体画像入力光学系の前部に構成したので、被写体にパターンの投光されない領域が発生することなく、正確なマッチング処理が可能となり、正確な三次元形状データの生成が可能となる。
【０１０１】
さらに、本発明の構成によれば、カメラ部と、パターン投光部とを接続部により電気的接続を行ない、カメラ部の電源からのパターン投光部に対する電力供給を行なうとともに、フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行可能とし、発光タイミング制御信号のカメラ部からの入力により、パターン投光部内の光源の発光タイミングの制御を実行する構成としたので、パターン投光部を内蔵したステレオミラーアダプタ部の構成を複雑化することなく、従来のカメラの持つ制御処理部からの信号の入力処理、制御回路を付加することにより小型で低コストな撮像装置が実現され、手軽に持ち運びでき、パーソナルユースに適した三次元画像生成用データ撮像装置が実現される。
【図面の簡単な説明】
【図１】三次元形状データの取得処理方法において、エピポーララインを適用した処理例を説明する図である。
【図２】従来の三次元形状データ取得処理装置の構成例を示す図である。
【図３】本発明の三次元画像取得装置の構成例を示す図である。
【図４】パターン投光ユニット３０１の詳細構成例を示す図である。
【図５】ステレオミラーアダプタユニットの構成例を示す図である。
【図６】本発明の三次元画像取得装置によって撮影される画像例を示す図である。
【図７】ランダムパターン非照射領域の発生について説明する図である。
【図８】本発明の三次元画像取得装置の構成例を示す図である。
【図９】ランダムパターン非照射領域の発生防止例について説明する図である。
【図１０】本発明の三次元画像取得装置におけるカメラ部と、パターン投光ユニット内蔵ステレオミラーアダプタユニットとの接続構成を説明する図である。
【図１１】本発明の三次元画像取得装置におけるカメラ部と、パターン投光ユニット内蔵ステレオミラーアダプタユニットとのハードウェア構成例を説明する図である。
【図１２】本発明の三次元画像取得装置における取得画像の画像処理装置に対するデータ転送構成を説明する図である。
【図１３】本発明の三次元画像取得装置における画像取得処理手順を説明するフローチャートを示す図である。
【符号の説明】
１０１ ストロボ装置
１０２ パターン投影装置
１０３，１０４，１０５ カメラ
１０６ 操作部
１０７ タイミング制御部
１０８ 画像取り込み部
１０９ データ蓄積部
１１０ コンピュータＩ／Ｆ
１１１ 表示制御部
１１２ 表示部
１２０ コンピュータ
３００ 三次元画像生成用データ撮像装置
３０１ パターン投光ユニット
３０２ シャッター
３０３ ステレオミラーアダプ
３１１〜３１４ ミラー
３２１ 光源
３２２ コンデンサレンズ
３２３ スライド
３２４ 投影レンズ
３２５ ランダムパターン
３５０ 被写体
３６１ カメラ
３７１ カメラ部
３７２ パターン投光ユニット
３７３ ステレオミラーアダプタ
３８０ 被写体
３８１ ランダムパターン非照射領域
５００ 三次元画像生成用データ撮像装置
５０２ シャッター
５０３ ステレオミラーアダプ
５１１〜５１４ ミラー
５２０ パターン投光ユニット
５７０ 三次元画像生成用データ撮像装置
５７１ カメラ部
５７２ パターン投光ユニット
５７３ ステレオミラーアダプタ
５８０ 被写体
７１０ カメラ部
７１１ 電源
７１２ フォーカス検出部
７１３ 光源発光制御部
７２０ 接続ライン
７２１ 電力供給ライン
７２２ フォーカス調整信号ライン
７２３ 光源発光タイミング制御信号ライン
７３０ パターン投光ユニット内蔵ステレオミラーアダプタユニット
７３１ パターン投光ユニット
８１０ カメラ部
８１１ 操作部
８１２ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
８１３ 制御ＩＣ
８１４ 画像取得部
８１５ 焦点検出部
８１６ メモリ
８１７ Ｉ／Ｆ
８１８ リムーバブル記憶媒体
８２０ パターン投光ユニット内蔵ステレオミラーアダプタユニット
８２１ 制御ＩＣ
８３０ パターン投光ユニット
８３１ フォーカス調整モータ
８３２ 光学系
８４０ ステレオミラーアダプタ
８４１ ミラー調整モータ
８４２ ミラー
９０１ 画像処理装置
９０２ 記録媒体
９０３ カメラ部
９０４ 内蔵ステレオミラーアダプタユニット
９０５ パターン投光ユニット
９１１ ケーブル
９１２ 無線通信ライン
Claims (12)
- 三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像装置であり、
ランダムパターンを被写体に投光するパターン投光部と、
被写体に対する異なる複数視点からの画像データをカメラ部に対して入力するミラー構成を持つステレオミラーアダプタ部と、
前記ステレオミラーアダプター部を介して入力する異なる複数視点からの画像データを撮り込むカメラ部と、
を有することを特徴とする三次元画像生成用データ撮像装置。 - 前記パターン投光部は、前記ステレオミラーアダプター部に内蔵され、前記カメラ部の被写体画像入力光学系の前部に構成されていることを特徴とする請求項１に記載の三次元画像生成用データ撮像装置。
- 前記カメラ部と、前記パターン投光部とは接続部により電気的接続がなされ、カメラ部の電源からの前記パターン投光部に対する電力供給がなされる構成であることを特徴とする請求項１または２に記載の三次元画像生成用データ撮像装置。
- 前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、
前記パターン投光部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう構成であることを特徴とする請求項１または２に記載の三次元画像生成用データ撮像装置。 - 前記カメラ部は、前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、
前記パターン投光部は、前記発光タイミング制御信号をカメラ部から入力し、該入力信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行する構成であることを特徴とする請求項１または２に記載の三次元画像生成用データ撮像装置。 - 前記カメラ部は、被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出部を有し、
前記ステレオミラーアダプター部は、前記フォーカス調整信号をカメラ部から入力し、該入力信号に基づいてステレオミラーアダプター部内のミラー調整処理を実行する構成であることを特徴とする請求項１または２に記載の三次元画像生成用データ撮像装置。 - 前記カメラ部は、
前記パターン投光部の発光タイミング制御信号を生成する光源発光制御部を有し、
ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力する構成としたことを特徴とする請求項１または２に記載の三次元画像生成用データ撮像装置。 - 三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像方法であり、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とする三次元画像生成用データ撮像方法。 - 前記三次元画像生成用データ撮像方法において、さらに、
パターン投光部の発光タイミング制御信号を生成する発光タイミング制御信号生成ステップと、
前記発光タイミング制御信号に基づいてパターン投光部内の光源の発光タイミングの制御を実行するステップと、
を有することを特徴とする請求項８に記載の三次元画像生成用データ撮像方法。 - 前記三次元画像生成用データ撮像方法において、さらに、
前記フォーカス調整信号に基づいて、前記ステレオミラーアダプター部内のミラー調整処理を実行するミラー調整ステップを有し、
前記画像撮影ステップは、前記ミラー調整ステップの完了後に実行することを特徴とする請求項８に記載の三次元画像生成用データ撮像方法。 - 前記三次元画像生成用データ撮像方法において、さらに、
ランダムパターン投光画像とランダムパターン非投光画像としてのテクスチャ画像の連続撮影処理において、ランダムパターン投光画像撮影タイミングにおいてのみ前記発光タイミング制御信号を前記パターン投光部に出力することを特徴とする請求項８に記載の三次元画像生成用データ撮像方法。 - 三次元形状データを生成するための異なる複数視点からのランダムパターン投光画像を撮影する三次元画像生成用データ撮像処理をコンピュータシステム上で実行するコンピュータ・プログラムであって、
被写体に対するフォーカス調整処理用のフォーカス調整信号を生成するフォーカス検出ステップと、
前記フォーカス調整信号に基づいてカメラ部のフォーカス制御を実行するカメラ部フォーカス制御ステップと、
前記フォーカス調整信号に基づいてパターン投光部内の光学系の調整処理を実行し、被写体に対する投光パターンのフォーカス制御を行なう投光パターンフォーカス制御ステップと、
パターン投光部からランダムパターンを被写体に投光するパターン投光ステップと、
被写体に対する異なる複数視点からの画像データを入力するミラー構成を持つステレオミラーアダプタ部を介して異なる複数視点からの画像データを撮り込む画像撮影ステップと、
を有することを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295714A JP2004132759A (ja) | 2002-10-09 | 2002-10-09 | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002295714A JP2004132759A (ja) | 2002-10-09 | 2002-10-09 | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004132759A true JP2004132759A (ja) | 2004-04-30 |
Family
ID=32285884
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002295714A Pending JP2004132759A (ja) | 2002-10-09 | 2002-10-09 | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004132759A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010220787A (ja) * | 2009-03-24 | 2010-10-07 | Waseda Univ | 測距装置及びそのプログラム、並びに測距システム |
| JP2011160299A (ja) * | 2010-02-02 | 2011-08-18 | Konica Minolta Holdings Inc | 三次元画像撮影システムおよび三次元画像撮影システム用カメラ |
| US10140509B2 (en) | 2013-12-19 | 2018-11-27 | Sony Corporation | Information processing for detection and distance calculation of a specific object in captured images |
| JP2020513538A (ja) * | 2016-10-20 | 2020-05-14 | 株式会社ハイモ | ポータブルスキャナ及びそのスキャニング方法 |
| CN112637495A (zh) * | 2020-12-21 | 2021-04-09 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
-
2002
- 2002-10-09 JP JP2002295714A patent/JP2004132759A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010220787A (ja) * | 2009-03-24 | 2010-10-07 | Waseda Univ | 測距装置及びそのプログラム、並びに測距システム |
| JP2011160299A (ja) * | 2010-02-02 | 2011-08-18 | Konica Minolta Holdings Inc | 三次元画像撮影システムおよび三次元画像撮影システム用カメラ |
| US10140509B2 (en) | 2013-12-19 | 2018-11-27 | Sony Corporation | Information processing for detection and distance calculation of a specific object in captured images |
| JP2020513538A (ja) * | 2016-10-20 | 2020-05-14 | 株式会社ハイモ | ポータブルスキャナ及びそのスキャニング方法 |
| US10798263B2 (en) | 2016-10-20 | 2020-10-06 | Himo, Inc. | Portable scanner and scanning method thereof |
| JP7027414B2 (ja) | 2016-10-20 | 2022-03-01 | 有限責任会社ハイモ | ポータブルスキャナ及びそのスキャニング方法 |
| CN112637495A (zh) * | 2020-12-21 | 2021-04-09 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
| CN112637495B (zh) * | 2020-12-21 | 2022-06-17 | 维沃移动通信有限公司 | 拍摄方法、装置、电子设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9392262B2 (en) | System and method for 3D reconstruction using multiple multi-channel cameras | |
| KR100866491B1 (ko) | 영상 처리 방법 및 장치 | |
| CA2650557C (en) | System and method for three-dimensional object reconstruction from two-dimensional images | |
| EP3416370B1 (en) | Photography focusing method, device, and apparatus for terminal | |
| US20170013245A1 (en) | Single-sensor system for extracting depth information from image blur | |
| US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
| WO2016049889A1 (zh) | 一种自动对焦方法、装置及电子设备 | |
| US20090296984A1 (en) | System and Method for Three-Dimensional Object Reconstruction from Two-Dimensional Images | |
| JP2001194114A (ja) | 画像処理装置および画像処理方法、並びにプログラム提供媒体 | |
| JP2001264033A (ja) | 三次元形状計測装置とその方法、三次元モデリング装置とその方法、およびプログラム提供媒体 | |
| JP2001008235A (ja) | ３次元データの再構成のための画像入力方法及び多眼式データ入力装置 | |
| CN107517346B (zh) | 基于结构光的拍照方法、装置及移动设备 | |
| US20120113231A1 (en) | 3d camera | |
| KR20190062794A (ko) | 시점 변환을 이용하는 영상 결합 방법 및 시스템 | |
| JP4110501B2 (ja) | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 | |
| JP2009047497A (ja) | 立体撮像装置および立体撮像装置の制御方法並びにプログラム | |
| WO2019125427A1 (en) | System and method for hybrid depth estimation | |
| US20220398760A1 (en) | Image processing device and three-dimensional measuring system | |
| JP2022176974A (ja) | 撮像装置 | |
| JP2001091232A (ja) | ３次元形状計測装置および方法、並びに記録媒体 | |
| JP2001266128A (ja) | 奥行き情報取得方法，装置および奥行き情報取得プログラムを記録した記録媒体 | |
| JP2002152779A (ja) | ３次元画像検出装置 | |
| JP2009047498A (ja) | 立体撮像装置および立体撮像装置の制御方法並びにプログラム | |
| JP2004069583A (ja) | 画像処理装置 | |
| KR101578891B1 (ko) | 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법 |