JP2010091492A - ３次元形状計測用撮影装置および方法並びにプログラム - Google Patents

Abstract

【課題】被写体にパターン光を照射することにより取得した画像を用いて、被写体の３次元形状を正確に計測する。
【解決手段】第１のカメラ２により被写体のプレ画像を取得し、演算部５がプレ画像上に複数の領域からなる照射範囲を設定する。さらに、照射範囲内の領域毎にパターン光照射の有無を判定する。次いで、第１および第２のカメラ２，３によりパターン光を照射しない撮影およびパターン光を照射する撮影を行い、非照射基準画像Ｇ１および照射基準画像Ｇ１′、並びに非照射参照画像Ｇ２および照射参照画像Ｇ２′を取得する。これらの画像の画像データから画像ファイルを生成し、画像ファイルのヘッダに照射範囲内の各領域におけるパターン光照射の有無の情報を記述する。
【選択図】図１

Description

本発明は、被写体の３次元形状を計測するための計測用画像を取得する３次元形状計測用撮影装置および方法並びに３次元形状計測用撮影方法をコンピュータに実行させるためのプログラムに関するものである。

一般にステレオ法またはステレオ３次元画像計測法等と称される距離測定方法は、異なる位置に設けられた少なくとも２台以上のカメラ（１台の基準カメラおよびその他の参照カメラ）を用いて被写体を撮影し、これにより取得された複数の計測用画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で画素を対応付け、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測するものである。

したがって、被写体の表面全体に対応するすべての画素までの距離を測定すれば、被写体の形状や奥行きという３次元形状を計測することが可能となる。なお、１台のカメラのみを使用して異なる位置において撮影を行うことにより複数の画像を取得して、被写体の３次元形状を計測することも可能である。

ここで、ステレオ法においては、図１２に示すように、基準画像Ｇ１上のある点Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｃからの視線上に複数存在するため、実空間上の点Ｐ１ ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、点Ｐａに対応する参照画像Ｇ２上の点Ｐａ′が存在することに基づいて画素の対応付けが行われる。なお、図１２において点Ｃは基準カメラの視点、点Ｃ′は参照カメラの視点である。

しかしながら、ステレオ法においては、被写体が人物の顔のように濃淡、形状および色等の局所的な特徴がない場合には、画素の対応付けを行うことにより対応点を求めることができないという問題がある。このような問題を解決するために、被写体にランダムドットパターン、格子状パターン、バーコード状パターン等のパターン光を照射し、パターン光の位置に基づいて対応点を求める手法が提案されている（特許文献１，２参照）。

また、被写体のコントラストを測定し、その測定結果に応じてパターン光を照射するか否かを決定する手法も提案されている（特許文献３参照）。
特開２００４−２１２３８５号公報 特開２０００−２８３７５２号公報 特開２００２−３００６０５号公報

しかしながら、特許文献３に記載された手法は、画角の全範囲に対してパターン光の照射の有無を設定しているため、画角の範囲におけるコントラストが高い部分や、局所的な特徴を有する部分にもパターン光が照射される。このようにコントラストが高い部分あるいは局所的な特徴を有する部分にパターン光が照射されると、取得される画像の高周波成分が多くなる。このため、その部分に対応する画像にモアレが生じる等してしまうことから、対応点の探索を良好に行うことができず、その結果、被写体までの距離を正確に測定できなくなってしまうという問題がある。

本発明は上記事情に鑑みなされたものであり、被写体にパターン光を照射することにより取得した画像を用いて、被写体の３次元形状を正確に計測することを目的とする。

本発明による３次元形状計測用撮影装置は、被写体を撮影することにより、該被写体の３次元形状を計測するための複数の計測用画像からなる計測用画像群を取得する複数の撮影手段と、
前記撮影手段による画角の範囲内にパターン光を照射する照射手段と、
前記被写体のプレ画像を取得するよう、または前記パターン光が非照射の前記被写体の複数の第１の計測用画像からなる第１の計測用画像群を取得するよう、前記複数の撮影手段を制御する撮影制御手段と、
前記プレ画像または少なくとも１つの前記第１の計測用画像上に複数の領域を設定し、該領域毎に前記パターン光照射の有無を判定する判定手段とを備えたことを特徴とするものである。

「プレ画像」とは、３次元形状の計測に使用しない画像であり、例えば計測用画像と比較して、画素数が少ない画像を用いることができる。

なお、本発明による３次元形状計測用撮影装置においては、前記判定結果を記憶する記憶手段をさらに備えるものとしてもよい。

また、本発明による３次元形状計測用撮影装置においては、前記被写体にパターン光を照射するよう前記照射手段を制御する照射制御手段をさらに備えるものとし、
前記撮影制御手段を、前記パターン光が照射された前記被写体の複数の第２の計測用画像からなる第２の計測用画像群を取得するよう前記撮影制御手段を制御する手段としてもよい。

また、本発明による３次元形状計測用撮影装置においては、前記被写体にパターン光を照射するよう前記照射手段を制御する照射制御手段をさらに備えるものとし、
前記撮影制御手段を、前記複数の領域のうち前記パターン光を照射すると判定された領域が存在する場合に、前記パターン光が照射された前記被写体の複数の第２の計測用画像からなる第２の計測用画像群を取得するよう前記撮影制御手段を制御する手段としてもよい。

また、本発明による３次元形状計測用撮影装置においては、前記第１および前記第２の計測用画像群に基づいて、前記被写体の３次元形状を計測する計測手段をさらに備えるものとしてもよい。

また、本発明による３次元形状計測用撮影装置においては、前記第１の計測用画像から前記パターン光が非照射と判定された非照射領域を抽出し、前記第２の計測用画像から前記パターン光を照射すると判定された照射領域を抽出し、互いに対応する前記第１および前記第２の計測用画像群から抽出した前記非照射領域および前記照射領域から、複数の合成画像からなる合成画像群を生成する合成手段をさらに備えるものとしてもよい。

また、本発明による３次元形状計測用撮影装置においては、前記合成画像群に基づいて、前記被写体の３次元形状を計測する計測手段をさらに備えるものとしてもよい。

本発明による３次元形状計測用撮影方法は、被写体を撮影することにより、該被写体の３次元形状を計測するための複数の計測用画像からなる計測用画像群を取得する複数の撮影手段と、
前記撮影手段による画角の範囲内にパターン光を照射する照射手段とを備えた３次元形状計測用撮影装置における３次元形状計測用撮影方法であって、
前記被写体のプレ画像または前記パターン光が非照射の前記被写体の複数の第１の計測用画像からなる第１の計測用画像群を取得し、
前記プレ画像または少なくとも１つの前記第１の計測用画像上に複数の領域を設定し、該領域毎に前記パターン光照射の有無を判定することを特徴とするものである。

なお、本発明による３次元形状計測用撮影方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、被写体のプレ画像またはパターン光が非照射の被写体の複数の第１の計測用画像からなる第１の計測用画像群が取得され、プレ画像または少なくとも１つの第１の計測用画像上に複数の領域が設定され、設定された領域毎にパターン光照射の有無が判定される。このため、パターン光を照射して被写体の撮影を行って、パターン光が照射された被写体の複数の第２の計測用画像からなる第２の計測用画像群を取得し、判定結果に基づいて、画角の範囲にコントラストが高い部分や、局所的な特徴を有する部分については第２の計測用画像群を、それ以外の部分については第１の計測用画像群を用いて対応点を探索することにより、モアレ等を含まない高画質の画像を用いて対応点を精度よく求めることができ、その結果、被写体の３次元形状を精度よく計測することができる。

また、判定結果を記憶することにより、第１および第２の計測用画像群を用いて被写体の３次元形状を計測する際に、判定結果に応じたパターン光が照射された照射領域およびパターン光が照射されていない非照射領域を、第１および第２の計測用画像群から取得することができるため、３次元形状の計測を容易に行うことができる。

また、第１の計測用画像群からパターン光が非照射と判定された非照射領域を抽出し、第２の計測用画像群からパターン光を照射すると判定された照射領域を抽出し、互いに対応する第１および第２の計測用画像群から抽出した非照射領域および照射領域から、複数の合成画像からなる合成画像群を生成することにより、合成画像において、画角の範囲に含まれるコントラストが高い部分や、局所的な特徴を有する部分を、パターン光が照射されていないものとすることができる。したがって、画角の範囲にコントラストが高かったり、局所的な特徴を有する部分を含む場合であっても、モアレ等を含まない高画質の合成画像を取得できるため、対応点を精度よく求めることができ、その結果、被写体の３次元形状を精度よく計測することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元形状計測用撮影装置を適用した３次元形状計測装置の外観斜視図である。図１に示すように本実施形態による３次元形状計測装置１は、第１のカメラ２、第２のカメラ３、プロジェクタ４、演算部５、モニタ６および入力部７を備える。

第１および第２のカメラ２，３は、所定間隔を空けかつ所定の輻輳角を持って配置されており、演算部５からの指示に応じて、被写体をそれぞれ異なる位置から撮影することにより、被写体の３次元形状の計測に使用する画像をそれぞれ取得する。なお、取得した画像は演算部５に入力されて、被写体の３次元形状の計測に用いられる。なお、第１および第２のカメラ２，３が撮影手段に相当する。

プロジェクタ４は、演算部５からの指示により、格子状パターン等の所定のパターンからなるパターン光を被写体に向けて照射するためのものであり、ＬＥＤ等の光を発する光源１１、および光源１１から発せられた光をパターン光に変換するフィルタ部１２を備える。なお、プロジェクタ４および後述する照射制御部２１が照射手段に相当する。

フィルタ部１２は、円盤１２Ａ上においてその中心を挟んだ対向する位置に、透過する光が所定パターンを有するものとなるようにパターンが印刷されたパターンフィルタ１２Ｂおよび透明フィルタ１２Ｃが取付けられることにより構成されている。なお、本実施形態においては、パターンとして格子状のパターンを用いるものとする。円盤１２Ａは、モータ１２Ｄにより、その中心を通り光源１１から発せられた光の光路Ｘ０に平行な回転軸の周囲に回転可能とされている。これにより、演算部５からの指示によって、パターンフィルタ１２Ｂおよび透明フィルタ１２Ｃを、光路Ｘ０上に切り替えて配置することが可能とされている。

ここで、フィルタ部１２に透明フィルタ１２Ｃを設けることにより、被写体の光量が足りない場合に、プロジェクタ４から被写体に光を照射することができることとなる。

演算部５は、被写体の３次元形状の計測のために必要な演算を行うとともに、第１のカメラ２、第２のカメラ３およびプロジェクタ４の駆動を制御する。

図２は演算部５の構成を示す概略ブロック図である。図２に示すように演算部５は、プロジェクタ４の駆動を制御する照射制御部２１、第１および第２のカメラ２，３の動作を制御する撮影制御部２２、被写体への光の照射範囲を設定する範囲設定部２３、被写体へのパターン光照射の有無を判定する判定部２４、第１および第２のカメラ２，３が取得した画像を用いて被写体の３次元形状を計測する計測部２５、第１および第２のカメラ２，３が取得した画像の画像ファイルを生成するファイル生成部２６、画像ファイルを不図示のメディアに記録する記録部２７、および演算部５の全体の動作を制御する全体制御部２８を備え、照射制御部２１、撮影制御部２２、範囲設定部２３、判定部２４、計測部２５、ファイル生成部２６、記録部２７および全体制御部２８が、モニタ６および入力部７とともにバス２９により接続されている。

全体制御部２８は、ＣＰＵ２８Ａ、作業領域となるＲＡＭ２８Ｂおよび操作／制御プログラムを含む各種情報が記憶されているＲＯＭ２８Ｃからなる。

照射制御部２１は、全体制御部２８からの指示により、光源１１のオン、オフを制御する。また、全体制御部２８からの指示に応じて、フィルタ部１２のパターンフィルタ１２Ｂおよび透明フィルタ１２Ｃのいずれかを光路Ｘ０上に位置せしめるために、モータ１２Ｄを回転する指示を行う。

撮影制御部２２は、入力部７から３次元形状計測の指示がなされている場合、被写体を撮影して３次元形状計測用の画像を取得する指示を第１および第２のカメラ２，３に対して行う。また、３次元形状計測用の画像の取得前に、プレ画像を取得する指示を第１のカメラ２に対して行う。さらに、パターン光非照射の撮影およびパターン光照射の撮影を行う指示を、第１および第２のカメラ２，３に対して行う。

範囲設定部２３は、プレ画像上にプロジェクタ４から発せられる光を照射する範囲を設定する。図３は光の照射範囲の設定を説明するための図である。図３に示すように範囲設定部２３は、プレ画像上に４×４＝１６の領域からなる照射範囲Ｒ０を設定する。ここで、照射範囲Ｒ０内の各領域は、図３に示すようにｘｙ座標系を設定した場合の座標値によりその位置を特定するものとする。

なお、照射範囲Ｒ０の位置および分割数はこれに限定されるものではなく、例えば、図４（ａ）、（ｂ）に示すように照射範囲Ｒ０を狭くしたり、図４（ｃ）に示すように分割数を２×２としたりしてもよい。なお、照射範囲Ｒ０はユーザによる入力部７からの指示によりあらかじめ設定されたものであってもよく、プレ画像をモニタ６に表示し、表示されたプレ画像をユーザが見ながら設定したものであってもよい。

判定部２４は、プレ画像に設定された照射範囲Ｒ０の各領域において、パターン光照射の有無を判定するための評価値を算出する。具体的には、判定部２４は、領域内の画像に含まれるエッジを微分フィルタ等を用いた演算により検出し、検出したエッジの本数を評価値として用いる。なお、領域内の画像のコントラストを検出し、検出したコントラストを評価値として用いるようにしてもよい。

ここで、領域内の画像にエッジが少ない場合は評価値は低くなる。また、領域内の画像のコントラストが低い場合も評価値は低くなる。このように領域内の画像の評価値が低い場合は、後述するように３次元形状を計測するための対応点を精度よく求めることができない。このため、判定部２４は、評価値をしきい値Ｔｈ１と比較し、評価値がしきい値Ｔｈ１を超える場合に、その領域についてはパターン光を照射しない非照射領域と判定する。一方、評価値がしきい値Ｔｈ１以下の場合に、その領域についてはパターン光を照射する照射領域と判定する。

例えば、図３に示すように照射範囲Ｒ０が設定されている場合において、（１，１）、（１，２）および（４，４）の位置の領域にパターンを照射すると判定部２４が判定した場合、図５に示すように（１，１）、（１，２）および（４，４）の位置の領域が照射領域、それ以外の位置の領域が非照射領域となる。なお、図５においては照射領域に○を、非照射領域に×を付与している。

計測部２５は、パターン光が照射されていない被写体を撮影することにより第１および第２のカメラ２，３が取得した非照射基準画像Ｇ１および非照射参照画像Ｇ２、並びにパターン光が照射された被写体を撮影することにより第１および第２のカメラ２，３が取得した照射基準画像Ｇ１′および照射参照画像Ｇ２′に基づいて、被写体の３次元形状を計測する。なお、非照射基準画像Ｇ１および非照射参照画像Ｇ２が第１の計測用画像に、照射基準画像Ｇ１′および照射参照画像Ｇ２′が第２の計測用画像に相当する。

なお、３次元形状を計測する際には対応点が求められるが、対応点を求める画素が非照射領域にある場合には、非照射基準画像Ｇ１および非照射参照画像Ｇ２上にマッチングウィンドウを設定し、エピポーラ線の情報を用いて、非照射基準画像Ｇ１および非照射参照画像Ｇ２上の画素の対応付けを行って対応点を求める。一方、対応点を求める画素が照射領域にある場合には、照射基準画像Ｇ１′および照射参照画像Ｇ２′上にマッチングウィンドウを設定し、エピポーラ線の情報を用いて、照射基準画像Ｇ１′および照射参照画像Ｇ２′上の画素の対応付けを行って対応点を求める。

ここで、計測部２５は、第１および第２のカメラ２，３のレンズの光路と撮像面との位置関係を表す内部パラメータ、並びに第１および第２のカメラ２，３の位置関係を表す外部パラメータをＲＯＭ２８Ｃに記憶しており、内部パラメータおよび外部パラメータを参照して画素の対応付けを行って対応点を求める。なお、内部パラメータおよび外部パラメータは、あらかじめカメラキャリブレーションにより求められ、ＲＯＭ２８Ｃに記憶されている。そして、計測部２５は、画素の対応付けが終了すると、対応点に基づいて被写体の３次元形状を算出し、算出結果を距離画像としてモニタ６に出力する。

ファイル生成部２６は、非照射基準画像Ｇ１および非照射参照画像Ｇ２並びに照射基準画像Ｇ１′および照射参照画像Ｇ２′を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルは、非照射基準画像Ｇ１および非照射参照画像Ｇ２並びに照射基準画像Ｇ１′および照射参照画像Ｇ２′を表す画像データを含むものとなる。また、この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付与される。また、本実施形態においては、タグには、照射範囲Ｒ０内における非照射領域および照射領域の位置を特定する情報が記述される。

記録部２７は、ファイル生成部２６が生成した画像ファイルをメディアに記録する。

次いで、第１の実施形態において行われる処理について説明する。図６は第１の実施形態において行われる処理を示すフローチャートである。まず、全体制御部２８が、３次元形状計測のための撮影の指示がなされているか否かを監視しており（ステップＳＴ１）、ステップＳＴ１が肯定されると、第１のカメラ２がプレ画像を取得し（ステップＳＴ２）、範囲設定部２３がプレ画像に照射範囲Ｒ０を設定する（ステップＳＴ３）。

そして、全体制御部２８が、照射範囲Ｒ０内の領域のうち判定の対象とする領域を最初の領域に設定し（ｉ＝１，ステップＳＴ４）、判定部２４が対象の領域の評価値を算出し（ステップＳＴ５）、評価値がしきい値Ｔｈ１以下であるか否かを判定する（ステップＳＴ６）。ステップＳＴ６が肯定されると、判定部２４は、その領域を照射領域に設定する（ステップＳＴ７）。ステップＳＴ６が否定されると、判定部２４は、その領域を非照射領域に設定する（ステップＳＴ８）。

そして、全体制御部２８がすべての領域について判定を行ったか否かを判定し（ステップＳＴ９）、ステップＳＴ９が否定されると、判定の対象を次の領域に変更し（ｉ＝ｉ＋１、ステップＳＴ１０）、ステップＳＴ５の処理に戻る。

ステップＳＴ９が肯定されると、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（非照射撮影、ステップＳＴ１１）。これにより、非照射基準画像Ｇ１および非照射参照画像Ｇ２が取得される。

次いで、照射制御部２１がプロジェクタ４に対するパターン光発光の設定を行う（ステップＳＴ１２）。すなわち、照射制御部２１が、光源１１をオンとし、パターンフィルタ１２Ｂが光源１１から発せられる光の光路Ｘ０上に位置するようにフィルタ部１２を回転させる指示を、モータ１２Ｄに対して行う。これにより、光源１１から発せられた光は、パターンフィルタ１２Ｂによりパターン光に変換されて被写体に照射される。被写体において反射されたパターン光は、第１および第２のカメラ２，３に入射する。

そして、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（照射撮影、ステップＳＴ１３）。これにより、照射基準画像Ｇ１′および照射参照画像Ｇ２′が取得される。そして、ファイル生成部２６が、非照射基準画像Ｇ１および非照射参照画像Ｇ２並びに照射基準画像Ｇ１′および照射参照画像Ｇ２′を表す画像データから画像ファイルを生成する（ステップＳＴ１４）。なお、画像ファイルのタグには、照射範囲Ｒ０内における非照射領域および照射領域の位置を特定する情報が記述される。そして、記録部２７が画像ファイルをメディアに記録し（ステップＳＴ１５）、処理を終了する。

このように、第１の実施形態においては、プレ画像上に複数の領域からなる照射範囲Ｒ０を設定し、照射範囲Ｒ０内の領域毎にパターン光照射の有無を判定するようにしたため、非照射基準画像Ｇ１および非照射参照画像Ｇ２とともに、パターン光を照射して被写体の撮影を行って照射基準画像Ｇ１′および照射参照画像Ｇ２′を取得し、計測部２５において、判定結果に基づいて、画角の範囲にコントラストが高い部分や、局所的な特徴を有する部分については照射基準画像Ｇ１′および照射参照画像Ｇ２′を、それ以外の部分については非照射基準画像Ｇ１および非照射参照画像Ｇ２を用いて対応点を探索することにより、モアレ等を含まない高画質の画像を用いて対応点を精度よく求めることができ、その結果、被写体の３次元形状を精度よく計測することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による３次元形状計測装置の構成は、上記第１の実施形態による３次元形状計測装置の構成と同一であるため、ここでは構成についての詳細な説明は省略する。第２の実施形態においては、プレ画像を取得することなく、先に非照射撮影および照射撮影を行い、判定部２４が、非照射基準画像Ｇ１および非照射参照画像Ｇ２のいずれか一方を用いて判定を行うようにした点が第１の実施形態と異なる。なお、第２の実施形態においては、非照射基準画像Ｇ１を用いて判定を行うものとする。

次いで、第２の実施形態において行われる処理について説明する。図７は第２の実施形態において行われる処理を示すフローチャートである。まず、全体制御部２８が、３次元形状計測のための撮影の指示がなされているか否かを監視しており（ステップＳＴ２１）、ステップＳＴ２１が肯定されると、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（非照射撮影、ステップＳＴ２２）。これにより、非照射基準画像Ｇ１および非照射参照画像Ｇ２が取得される。

次いで、照射制御部２１がプロジェクタ４に対するパターン光発光の設定を行い（ステップＳＴ２３）、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（照射撮影、ステップＳＴ２４）。これにより、照射基準画像Ｇ１′および照射参照画像Ｇ２′が取得される。

次いで、範囲設定部２３が非照射基準画像Ｇ１に照射範囲Ｒ０を設定する（ステップＳＴ２５）。そして、全体制御部２８が、照射範囲Ｒ０内の領域のうち判定の対象とする領域を最初の領域に設定し（ｉ＝１，ステップＳＴ２６）、判定部２４が対象の領域の評価値を算出し（ステップＳＴ２７）、評価値がしきい値Ｔｈ１以下であるか否かを判定する（ステップＳＴ２８）。ステップＳＴ２８が肯定されると、判定部２４は、その領域を照射領域に設定する（ステップＳＴ２９）。ステップＳＴ２８が否定されると、判定部２４は、その領域を非照射領域に設定する（ステップＳＴ３０）。

そして、全体制御部２８がすべての領域について判定を行ったか否かを判定し（ステップＳＴ３１）、ステップＳＴ３１が否定されると、判定の対象を次の領域に変更し（ｉ＝ｉ＋１、ステップＳＴ３２）、ステップＳＴ２７の処理に戻る。

ステップＳＴ３１が肯定されると、ファイル生成部２６が、非照射基準画像Ｇ１および非照射参照画像Ｇ２並びに照射基準画像Ｇ１′および照射参照画像Ｇ２′を表す画像データから画像ファイルを生成する（ステップＳＴ３３）。なお、画像ファイルのタグには、照射範囲Ｒ０内における非照射領域および照射領域の位置を特定する情報が記述される。そして、記録部２７が画像ファイルをメディアに記録し（ステップＳＴ３４）、処理を終了する。

なお、上記第２の実施形態においては、非照射基準画像Ｇ１を用いて判定を行っているが、非照射参照画像Ｇ２を用いて判定を行うようにしてもよい。

次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態による３次元形状計測装置の構成は、上記第１の実施形態による３次元形状計測装置の構成と同一であるため、ここでは構成についての詳細な説明は省略する。第３の実施形態においては、判定部２４が、プレ画像を取得することなく、先に非照射撮影を行って非照射基準画像Ｇ１および非照射参照画像Ｇ２を取得し、非照射基準画像Ｇ１および非照射参照画像Ｇ２のいずれか一方を用いて判定を行い、必要な場合にのみ照射撮影を行うようにした点が第１の実施形態と異なる。なお、第３の実施形態においては、非照射基準画像Ｇ１を用いて判定を行うものとする。

次いで、第３の実施形態において行われる処理について説明する。図８は第３の実施形態において行われる処理を示すフローチャートである。まず、全体制御部２８が、３次元形状計測のための撮影の指示がなされているか否かを監視しており（ステップＳＴ４１）、ステップＳＴ４１が肯定されると、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（非照射撮影、ステップＳＴ４２）。これにより、非照射基準画像Ｇ１および非照射参照画像Ｇ２が取得される。

次いで、範囲設定部２３が非照射基準画像Ｇ１に照射範囲Ｒ０を設定する（ステップＳＴ４３）。そして、全体制御部２８が、照射範囲Ｒ０内の領域のうち判定の対象とする領域を最初の領域に設定し（ｉ＝１，ステップＳＴ４４）、判定部２４が対象の領域の評価値を算出し（ステップＳＴ４５）、評価値がしきい値Ｔｈ１以下であるか否かを判定する（ステップＳＴ４６）。ステップＳＴ４６が肯定されると、判定部２４は、その領域を照射領域に設定する（ステップＳＴ４７）。ステップＳＴ４６が否定されると、判定部２４は、その領域を非照射領域に設定する（ステップＳＴ４８）。

そして、全体制御部２８がすべての領域について判定を行ったか否かを判定し（ステップＳＴ４９）、ステップＳＴ４９が否定されると、判定の対象を次の領域に変更し（ｉ＝ｉ＋１、ステップＳＴ５０）、ステップＳＴ４５の処理に戻る。

ステップＳＴ４９が肯定されると、パターン光を照射する必要があるか否かを判定する（ステップＳＴ５１）。ここで、すべての領域が非照射領域に設定された場合、パターン光を照射する必要がないため、ステップＳＴ５１は否定されるが、照射領域に設定された領域が１つでもある場合、ステップＳＴ５１は肯定される。ステップＳＴ５１が肯定されると、照射制御部２１がプロジェクタ４に対するパターン光発光の設定を行い（ステップＳＴ５２）、撮影制御部２２が第１および第２のカメラ２，３により撮影を行う（照射撮影、ステップＳＴ５３）。これにより、照射基準画像Ｇ１′および照射参照画像Ｇ２′が取得される。そして、ファイル生成部２６が、非照射基準画像Ｇ１および非照射参照画像Ｇ２並びに照射基準画像Ｇ１′および照射参照画像Ｇ２′を表す画像データから画像ファイルを生成する（ステップＳＴ５４）。なお、画像ファイルのタグには、照射範囲Ｒ０内における非照射領域および照射領域の位置を特定する情報が記述される。そして、記録部２７が画像ファイルをメディアに記録し（ステップＳＴ５５）、処理を終了する。

一方、ステップＳＴ５１が否定されると、ステップＳＴ５４の処理に進む。この場合、ファイル生成部２６は、非照射基準画像Ｇ１および非照射参照画像Ｇ２を表す画像データから画像ファイルを生成し、画像ファイルのタグには、照射範囲Ｒ０内における非照射領域のみの位置を特定する情報が記述される。

なお、上記第１の実施形態においては照射撮影を行っているが、プレ画像を用いての判定結果に基づいてパターン光の照射が必要か否かを判定し、パターン光の照射が必要であると判定された場合にのみ、照射撮影を行うようにしてもよい。

次いで、本発明の第４の実施形態について説明する。なお、第４の実施形態においては、演算部５の構成のみが第１から第３の実施形態と異なるため、ここでは演算部５の構成についてのみ説明する。図９は本発明の第４の実施形態による３次元形状計測装置における演算部の構成を示す図である。図９に示すように第２の実施形態による３次元形状計測装置の演算部５Ａは、非照射基準画像Ｇ１および照射基準画像Ｇ１′の合成画像Ｃ１、並びに非照射参照画像Ｇ２および照射参照画像Ｇ２′の合成画像Ｃ２を生成する合成部３０を備えた点が第１から第３の実施形態と異なる。

次いで、第４の実施形態において行われる処理について説明する。なお、第４の実施形態においては、上記第１の実施形態におけるステップＳＴ１３以降の処理が第１の実施形態と、第２の実施形態におけるステップＳＴ３１が肯定された以降の処理が第２の実施形態と、第３の実施形態におけるステップＳＴ５３以降の処理が第３の実施形態とそれぞれ異なるため、ここではこれらのステップ以降の処理についてのみ説明する。

第１の実施形態におけるステップＳＴ１３、第２の実施形態におけるステップＳＴ３１（肯定された場合）、第３の実施形態におけるステップＳＴ５３に続いて、合成部３０が非照射基準画像Ｇ１および照射基準画像Ｇ１′の合成画像Ｃ１、並びに非照射参照画像Ｇ２および照射参照画像Ｇ２′の合成画像Ｃ２を生成する（ステップＳＴ７１）。

図１１は合成画像の生成を説明するための図である。なお、非照射基準画像Ｇ１および照射基準画像Ｇ１′からの合成画像Ｃ１の生成、および非照射参照画像Ｇ２および照射参照画像Ｇ２′からの合成画像Ｃ２の生成の処理は同一であるため、ここでは、非照射基準画像Ｇ１および照射基準画像Ｇ１′からの合成画像Ｃ１の生成についてのみ説明する。

まず、合成部３０は、非照射基準画像Ｇ１における照射範囲Ｒ０に対応する複数の領域のうち、非照射領域に設定された領域を抽出する。例えば、図５に示すように照射領域および非照射領域が設定された場合、非照射基準画像Ｇ１における（１，１）、（１，２）および（４，４）の位置の領域以外の太線で囲まれた領域を抽出する。また、合成部３０は、照射基準画像Ｇ１′における照射範囲Ｒ０に対応する複数の領域のうち、照射領域に設定された領域を抽出する。例えば、図５に示すように照射領域および非照射領域が設定された場合、照射基準画像Ｇ１′における太線で囲まれた（１，１）、（１，２）および（４，４）の位置の領域を抽出する。そして、合成部３０は、抽出した領域を合成して合成画像Ｃ１を生成する。なお、非照射基準画像Ｇ１と照射基準画像Ｇ１′とは、異なる時点において撮影を行っているため、非照射基準画像Ｇ１と照射基準画像Ｇ１′との撮影時における画角のずれ等を補正した後に、非照射領域および照射領域の抽出並びに合成を行うことが好ましい。

なお、非照射参照画像Ｇ２および照射参照画像Ｇ２′からも同様に合成画像Ｃ２を生成する。ここで、照射範囲Ｒ０は、プレ画像または非照射基準画像Ｇ１に設定しているため、非照射参照画像Ｇ２または照射参照画像Ｇ２′上に、プレ画像または非照射基準画像Ｇ１上に設定した照射範囲Ｒ０に対応する領域を設定し、設定した領域内における非照射領域および照射領域に対応する領域を抽出して合成画像Ｃ２を生成すればよい。

次いで、ファイル生成部２６が、合成画像Ｃ１，Ｃ２を表す画像データから画像ファイルを生成する（ステップＳＴ７２）。そして、記録部２７が画像ファイルをメディアに記録し（ステップＳＴ７３）、処理を終了する。

このように第４の実施形態においては、非照射基準画像Ｇ１および非照射参照画像Ｇ２から非照射領域を抽出し、照射基準画像Ｇ１′および照射参照画像Ｇ２′から照射領域を抽出し、抽出した領域を合成して合成画像Ｃ１，Ｃ２を生成するようにしたものである。このため、合成画像Ｃ１，Ｃ２においては、画角の範囲に含まれるコントラストが高い部分や、局所的な特徴を有する部分には、パターン光が照射されていないものとすることができる。したがって、画角の範囲にコントラストが高かったり、局所的な特徴を有する部分を含む場合であっても、モアレ等を含まない高画質の合成画像Ｃ１，Ｃ２を取得できるため、対応点を精度よく求めることができ、その結果、被写体の３次元形状を精度よく計測することができる。

また、第４の実施形態においては、画像ファイルの生成に使用される画像は、合成画像Ｃ１，Ｃ２のみであるため、第１から第３の実施形態と比較して画像ファイルの容量を低減することができる。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の撮影制御部２２、範囲設定部２３、判定部２４、計測部２５、ファイル生成部２６および合成部３０に対応する手段として機能させ、図６，７，８，１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元形状計測装置の外観斜視図 第１の実施形態における演算部の構成を示す概略ブロック図 光の照射範囲の設定を説明するための図 光の照射範囲の設定の他の例を説明するための図 非照射領域および照射領域の判定結果を示す図 第１の実施形態において行われる処理を示すフローチャート 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態における演算部の構成を示す概略ブロック図 第４の実施形態において行われる処理を示すフローチャート 合成画像の生成を説明するための図 画素の対応付けを説明するための図

符号の説明

１ ３次元形状計測装置
２，３ カメラ
４ プロジェクタ
５ 演算部
６ モニタ
７ 入力部
１１ 光源
１２ フィルタ部
２１ 照射制御部
２２ 撮影制御部
２３ 範囲設定部
２４ 判定部
２５ 計測部
２６ ファイル生成部
２７ 記録部
２８ 全体制御部
３０ 合成部

Claims (9)

1. 被写体を撮影することにより、該被写体の３次元形状を計測するための複数の計測用画像からなる計測用画像群を取得する複数の撮影手段と、
   前記撮影手段による画角の範囲内にパターン光を照射する照射手段と、
   前記被写体のプレ画像を取得するよう、または前記パターン光が非照射の前記被写体の複数の第１の計測用画像からなる第１の計測用画像群を取得するよう、前記複数の撮影手段を制御する撮影制御手段と、
   前記プレ画像または少なくとも１つの前記第１の計測用画像上に複数の領域を設定し、該領域毎に前記パターン光照射の有無を判定する判定手段とを備えたことを特徴とする３次元形状計測用撮影装置。
2. 前記判定結果を記憶する記憶手段をさらに備えたことを特徴とする請求項１記載の３次元形状計測用撮影装置。
3. 前記被写体にパターン光を照射するよう前記照射手段を制御する照射制御手段をさらに備え、
   前記撮影制御手段は、前記パターン光が照射された前記被写体の複数の第２の計測用画像からなる第２の計測用画像群を取得するよう前記撮影制御手段を制御する手段であることを特徴とする請求項１または２記載の３次元形状計測用撮影装置。
4. 前記被写体にパターン光を照射するよう前記照射手段を制御する照射制御手段をさらに備え、
   前記撮影制御手段は、前記複数の領域のうち前記パターン光を照射すると判定された領域が存在する場合に、前記パターン光が照射された前記被写体の複数の第２の計測用画像からなる第２の計測用画像群を取得するよう前記撮影制御手段を制御する手段であることを特徴とする請求項１または２記載の３次元形状計測用撮影装置。
5. 前記第１および前記第２の計測用画像群に基づいて、前記被写体の３次元形状を計測する計測手段をさらに備えたことを特徴とする請求項３または４記載の３次元形状計測用撮影装置。
6. 前記第１の計測用画像群から前記パターン光が非照射と判定された非照射領域を抽出し、前記第２の計測用画像群から前記パターン光を照射すると判定された照射領域を抽出し、互いに対応する前記第１および前記第２の計測用画像群から抽出した前記非照射領域および前記照射領域から、複数の合成画像からなる合成画像群を生成する合成手段をさらに備えたことを特徴とする請求項３または４記載の３次元形状計測用撮影装置。
7. 前記合成画像群に基づいて、前記被写体の３次元形状を計測する計測手段をさらに備えたことを特徴とする請求項６記載の３次元形状計測用撮影装置。
8. 被写体を撮影することにより、該被写体の３次元形状を計測するための複数の計測用画像からなる計測用画像群を取得する複数の撮影手段と、
   前記撮影手段による画角の範囲内にパターン光を照射する照射手段とを備えた３次元形状計測用撮影装置における３次元形状計測用撮影方法であって、
   前記被写体のプレ画像または前記パターン光が非照射の前記被写体の複数の第１の計測用画像からなる第１の計測用画像群を取得し、
   前記プレ画像または少なくとも１つの前記第１の計測用画像上に複数の領域を設定し、該領域毎に前記パターン光照射の有無を判定することを特徴とする３次元形状計測用撮影方法。
9. 被写体を撮影することにより、該被写体の３次元形状を計測するための複数の計測用画像からなる計測用画像群を取得する複数の撮影手段と、
   前記撮影手段による画角の範囲内にパターン光を照射する照射手段とを備えた３次元形状計測用撮影装置における３次元形状計測用撮影方法をコンピュータに実行させるためのプログラムであって、
   前記被写体のプレ画像または前記パターン光が非照射の前記被写体の複数の第１の計測用画像からなる第１の計測用画像群を取得する手順と、
   前記プレ画像または少なくとも１つの前記第１の計測用画像上に複数の領域を設定し、該領域毎に前記パターン光照射の有無を判定する手順とをコンピュータに実行させることを特徴とするプログラム。

Images