JP2008232776A - ３次元形状計測装置および方法並びにプログラム - Google Patents

Abstract

【課題】被写体の３次元形状を計測するに際し、無駄なく簡易な演算により３次元形状を計測できるようにする。
【解決手段】第１の撮影手段２または第２の撮影手段３が取得した基準画像Ｂ０または参照画像Ｒ０から顔等の特定領域を検出し、特定領域に応じたパターン光をプロジェクタ４から被写体の特定部分に照射する。パターン光が照射された被写体を撮影することにより第１および第２の撮影手段２，３が取得した基準画像Ｂ１および参照画像Ｒ１における特定領域上の画素の対応付けを行って、特定部分の３次元形状を計測する。
【選択図】図１

Description

本発明は、被写体を異なる複数の位置から撮影することにより取得された画像を用いて、被写体の３次元形状を計測する３次元形状計測装置および方法並びに３次元形状計測方法をコンピュータに実行させるためのプログラムに関するものである。

一般にステレオ法またはステレオ３次元画像計測法等と称される距離測定方法は、異なる位置に設けられた少なくとも２台以上のカメラ（１台の基準カメラと、その他の参照カメラ）を用いて被写体を撮影し、これにより取得された複数の画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で画素を対応付ける対応点付けを行い、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測するものである。

したがって、被写体の表面全体に対応するすべての画素までの距離を測定すれば、被写体の形状や奥行きという３次元形状を測定することが可能となる。

なお、ステレオ３次元画像計測法においては、図１７に示すように、基準画像Ｂ上のある点Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｃからの視線上に複数存在するため、実空間上の点Ｐ1 ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、点Ｐａに対応する参照画像Ｒ上の点Ｐａ′が存在することに基づいて対応点付けが行われる。なお、図１７において点Ｃは基準カメラの視点、点Ｃ′は参照カメラの視点である。

しかしながら、被写体が人物の顔のように濃淡、形状および色等の局所的な特徴がない場合には、対応点付けを行うことができないという問題がある。このような問題を解決するために、被写体に周期的なパターンを照射して撮影を行う手法が提案されているが、パターンが周期的であることから、とくに２台のカメラを用いた場合に、対応点付けが行えない領域（ミスマッチング領域）が発生するという問題がある。

このため、被写体にランダムな模様からなるパターンを繰り返し照射することにより、対応点付けを確実に行い、ミスマッチング領域の発生を防止するようにした手法が提案されている（特許文献１参照）。また、乱数を用いて非周期的な投光パターンを生成し、その投光パターンの評価を行い、適正であると評価された場合に被写体にその投光パターンによるパターン光を照射することにより、対応点付けの際のミスマッチング領域の発生を防止する手法も提案されている（特許文献２参照）。特許文献２に記載された手法においては、パターン光を被写体に照射した状態においてカメラで撮影を行うことにより画像を取得し、その画像を用いて投光パターンの評価を行って新たな投光パターンを生成している。
特開２００１−９１２３２号公報 特開２００１−１４７１１０号公報

しかしながら、上記特許文献１，２に記載された手法では、撮影シーンに存在する３次元形状の測定を所望する被写体以外の他の被写体にもパターン光が照射されてしまうため、照射されるパターン光の一部のみしか使用されず、所望とする被写体以外に照射されるパターン光は無駄となってしまう。また、パターン光を複数回照射する必要があるため、撮影が終了するまでに長時間を要し、また照射された回数に応じて対応点付けを行う必要があり、さらにはとくに特許文献２に記載された手法においては、パターンの評価を繰り返す必要があるため、演算量が多くなるという問題もある。

本発明は上記事情に鑑みなされたものであり、無駄なく簡易な演算により３次元形状を計測できるようにすることを目的とする。

本発明による３次元形状計測装置は、被写体を異なる複数の視点から撮影することにより取得した複数の画像に基づいて、前記被写体の３次元形状を計測する３次元形状計測装置において、
前記被写体を撮影することにより該被写体の基準画像を取得する第１の撮影手段と、
前記第１の撮影手段と異なる位置から前記被写体を撮影することにより該被写体の参照画像を取得する少なくとも１つの第２の撮影手段と、
前記第１および前記第２の撮影手段の駆動を制御する撮影制御手段と、
前記被写体にパターン光を照射する照射手段と、
前記パターン光の照射前に前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記少なくとも１つの参照画像のいずれかから、前記被写体の特定部分を表す特定領域を検出する特定領域検出手段と、
前記被写体の前記特定部分に、前記特定領域に応じた所定のパターン光を照射するよう前記照射手段の駆動を制御する照射制御手段と、
前記パターン光が照射された前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記参照画像における前記特定領域上の画素の対応付けを行って、前記特定部分の３次元形状を計測する計測手段とを備えたことを特徴とするものである。

なお、本発明による３次元形状計測装置においては、前記照射制御手段を、前記パターン光を複数のスポット光からなるものとし、前記特定領域に応じて、前記スポット光の数、大きさおよび照射位置を決定する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記照射手段の照射方向および高さを調整する照射位置調整手段をさらに備えるものとしてもよい。

また、本発明による３次元形状計測装置においては、前記第１および前記第２の撮影手段がズーム機構を備えてなる場合、前記計測手段を、前記３次元形状を計測する際に参照する前記第１および前記第２の撮影手段の内部パラメータを各種ズーム倍率に応じて複数用意してなるものとし、前記第１および前記第２の撮影手段のズーム倍率に応じた前記内部パラメータを参照して前記特定部分の３次元形状を計測する手段としてもよい。

「内部パラメータ」とは、撮影手段が備える撮影レンズとＣＣＤ等の撮像素子の撮像面との位置関係を表すパラメータであり、ズーム倍率を各種変更する都度測定して、各種ズーム倍率と対応付けて用意しておくものである。

また、本発明による３次元形状計測装置においては、前記特定領域の前記基準画像および／または前記参照画像上における位置が該基準画像および／または該参照画像の略中央に位置するように、前記第１および／または前記第２の撮影手段の撮影方向および高さを調整する撮影位置調整手段をさらに備えるものとしてもよい。

この場合、前記計測手段を、前記第１および／または前記第２の撮影手段の位置および／または撮影方向が変更された場合、前記第１および前記第２の撮影手段の位置関係を表すパラメータを算出し、該算出したパラメータに基づいて前記特定部分の３次元形状を計測する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記計測手段を、前記特定領域内に存在する２点間の距離をも参照して、前記特定部分の３次元形状を計測する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記特定部分が顔である場合において、前記照射制御手段を、前記特定領域内における目の部分に照射される前記パターン光の輝度を、該目以外の他の部分に照射される前記パターン光の輝度とは異なるものとなるように変更する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記照射制御手段を、前記特定領域の色を検出し、該色の補色となる色の前記パターン光を前記特定部分に照射するよう前記照射手段を制御する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記特定部分が顔である場合において、前記計測手段を、前記特定領域内における目以外の領域において前記画素の対応付けを行って、前記３次元形状を計測する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記特定部分が顔である場合において、前記計測手段を、前記特定領域内におけるメガネに対応するメガネ領域を検出し、前記基準画像および前記参照画像における前記メガネ領域の歪みを補正して前記３次元形状を計測する手段としてもよい。

本発明による３次元形状計測方法は、被写体を異なる複数の視点から撮影することにより取得した複数の画像に基づいて、前記被写体の３次元形状を計測する３次元形状計測装置であって、前記被写体を撮影することにより該被写体の基準画像を取得する第１の撮影手段と、
前記第１の撮影手段と異なる位置から前記被写体を撮影することにより該被写体の参照画像を取得する少なくとも１つの第２の撮影手段と、
前記被写体にパターン光を照射する照射手段とを備えた３次元形状計測装置における３次元形状計測方法において、
前記パターン光の照射前に前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記少なくとも１つの参照画像のいずれかから、前記被写体の特定部分を表す特定領域を検出し、
前記被写体の前記特定部分に、前記特定領域に応じた所定のパターン光を照射するよう前記照射手段の駆動を制御し、
前記パターン光が照射された前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記参照画像における前記特定領域上の画素の対応付けを行って、前記特定部分の３次元形状を計測することを特徴とするものである。

なお、本発明による３次元形状計測方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、撮影により取得された基準画像および少なくとも１つの参照画像のいずれかから、被写体の特定部分を表す特定領域が検出され、検出された特定領域に基づいて、被写体の特定部分に応じた所定のパターン光が照射される。そして、パターン光が照射された被写体を撮影することにより取得された基準画像および参照画像における特定領域上の画素の対応付けが行われて、被写体の特定部分の３次元形状が計測される。

このため、被写体の特定部分以外の部分へはパターン光が照射されることがなくなり、その結果、照射されたパターン光が無駄となることを防止できる。また、パターン光の照射は検出した特定領域に応じたものであるため、特定領域に応じたものとなるまで繰り返しパターン光を照射する必要がなくなり、その結果、撮影終了までに長時間を要することもなくなる。さらには照射された回数に応じて画素の対応付けを行う必要もないため、演算量も低減することができる。

また、パターン光が複数のスポット光からなる場合において、特定領域に応じて、スポット光の数、大きさおよび照射位置を決定することにより、被写体の特定部分に３次元形状の計測に適したパターン光を正確に照射することができ、その結果、被写体の特定部分の３次元形状を正確に計測することができる。

また、照射手段の照射方向および高さを変更可能とすることにより、被写体が移動しても被写体の特定部分にパターン光を照射することができる。

また、撮影手段がズーム機構を備えてなる場合、ズームを行うと内部パラメータが変更されてしまうため、特定部分の３次元形状を正確に測定することができなくなる。このため、各種ズーム倍率に応じた第１および第２の撮影手段の内部パラメータを用意しておき、第１および第２の撮影手段のズーム倍率に応じた内部パラメータを参照することにより、特定部分の３次元形状を正確に計測することができる。

ところで、撮影手段は撮影範囲の中央部分ほど歪みが少なく高解像度の画像を得ることができる。したがって、特定領域の基準画像および／または参照画像上における位置が基準画像および／または参照画像の略中央に位置するように、第１および／または第２の撮影手段の向きを調整することにより、常に画像の略中央において特定領域を捉えることができ、その結果、得られる基準画像および参照画像に含まれる被写体の特定部分を高画質のものとすることができる。

また、第１および／または第２の撮影手段の位置および／または向きが変更された場合には、第１および第２の撮影手段の位置関係を表すパラメータを算出し、算出したパラメータに基づいて特定部分の３次元形状を計測することにより、第１および／または第２の撮影手段の位置および／または向きが変更されても、被写体の特定部分の３次元形状を計測することができる。

この場合、特定領域内に存在する２点間の距離をも参照して、被写体の特定部分の３次元形状を計測することにより、被写体の特定部分の絶対的な３次元形状を計測することができる。

また、被写体の特定部分が顔である場合において、特定領域内における目の部分に照射されるパターン光の輝度を、目以外の他の部分に照射されるパターン光の輝度とは異なるものとなるように変更することにより、パターン光照射時の人への負担を軽減できる。

また、特定領域の色を検出し、検出した色の補色となる色のパターン光を被写体の特定部分に照射することにより、画素を対応づける際の精度を向上させることができ、その結果、被写体の特定部分の３次元形状を高精度に計測することができる。

また、特定部分が顔である場合において、特定領域内における目以外の領域において画素の対応付けを行うことにより、瞬きによる被写体のブレ、目の部分における光の反射の影響をなくすることができるため、被写体の特定部分の３次元形状を高精度に計測することができる。

また、特定部分が顔である場合において、特定領域内におけるメガネに対応するメガネ領域を検出し、基準画像および参照画像におけるメガネ領域の歪みを補正することにより、メガネによる画像の歪みの影響をなくすることができるため、被写体の特定部分の３次元形状を高精度に計測することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元形状計測装置の外観斜視図である。図１に示すように本実施形態による３次元形状計測装置１は、基準カメラ２と、参照カメラ３と、プロジェクタ４と、演算部５と、モニタ６と、入力部７と、基準カメラ２、参照カメラ３およびプロジェクタ４が取り付けられる基台８とを備える。

基準カメラ２および参照カメラ３は、被写体である人物をそれぞれ異なる位置から撮影することにより、人物の３次元形状の計測に使用する基準画像Ｂおよび参照画像Ｒをそれぞれ取得する。なお、取得した基準画像Ｂおよび参照画像Ｒは演算部５に入力されて、顔の３次元形状の計測に用いられる。

また、基準カメラ２および参照カメラ３は、撮影位置制御機構１０，１１により、図１に示すｘ軸、ｙ軸およびｚ軸の周囲に回転可能かつｚ軸方向に移動可能に基台８に取り付けられている。これにより、基準カメラ２および参照カメラ３は、撮影方向および高さを変更可能とされている。なお、基準カメラ２および参照カメラ３の撮影方向および高さの調整は、演算部５からの指示により行われる。

プロジェクタ４は、演算部５からの指示により、複数のスポット光からなるパターン光を被写体である人物の顔に向けて照射する。なお、パターン光については後述する。

また、プロジェクタ４は、照射位置制御機構１２により、図１に示すｘ軸、ｙ軸およびｚ軸の周囲に回転可能かつｚ軸方向に移動可能に基台８に取り付けられている。これにより、プロジェクタ４は、基準カメラ２および参照カメラ３と同様に、パターン光の照射方向および高さを変更可能とされている。また、プロジェクタ４はズーム機構およびフォーカス機構を備えており、パターン光のズーム動作およびフォーカス動作を行うことができる。なお、プロジェクタ４のパターン光の照射方向およびその高さの調整、ズーム動作並びにフォーカス動作は、演算部５からの指示により行われる。

演算部５は、人物の顔の３次元形状の計測のために必要な演算を行うとともに、基準カメラ２、参照カメラ３およびプロジェクタ４の駆動を制御する。

なお、基台８には、基準カメラ２、参照カメラ３およびプロジェクタ４の位置を変更可能なように多数の取付孔８Ａが形成されている。これにより、本実施形態による３次元形状計測装置１のオペレータは、基準カメラ２、参照カメラ３およびプロジェクタ４の基台８への取付位置を変更することができる。

図２は演算部５の構成を示す概略ブロック図である。図２に示すように演算部５は、プロジェクタ４からパターン光を出射する前に、基準カメラ２が撮影により取得した基準画像Ｂ０から人物の顔領域を検出する顔検出部２１と、基準カメラ２および参照カメラ３の動作を制御する撮影制御部２２と、プロジェクタ４の駆動を制御する照射制御部２３と、パターン光が照射された被写体を撮影することにより取得された基準画像Ｂ１および参照画像Ｒ１を用いて顔の３次元形状を計測する計測部２４と、演算部５の全体の動作を制御する全体制御部２５とを備え、顔検出部２１、撮影制御部２２、照射制御部２３、計測部２４および全体制御部２５が、モニタ６および入力部７とともにバス２６により接続されている。

なお、以降の説明において、パターン光の照射前に取得された基準画像および参照画像については参照符号としてＢ０，Ｒ０を、パターン光の照射後に取得された基準画像および参照画像については参照符号としてＢ１，Ｒ１を用いるものとする。

全体制御部２５は、ＣＰＵ３０、操作／制御プログラムが格納されたＲＡＭ３１および各種情報が記憶されているＲＯＭ３２からなる。

顔検出部２１は、例えば、基準となる矩形領域により囲まれる平均顔パターンと基準画像Ｂ０とのパターンマッチングを行い、マッチング度が最も大きい基準画像Ｂ０上の位置において、平均顔パターンが囲まれる矩形領域に対応する位置を顔領域とする手法を用いて基準画像Ｂ０から顔領域を検出して検出結果を出力する。ここで、パターンマッチングとは、平均顔パターンを、そのサイズおよび基準画像平面上における回転角度をあらかじめ定められた所定量ずつ変更しながら基準画像上を少しずつ移動させて、平均顔パターンと画像とのマッチング度を算出する手法である。なお、ここでは顔検出部２１は基準画像Ｂ０から顔領域を検出しているが、参照画像Ｒ０から顔領域を検出するようにしてもよい。

ここで、顔を検出する手法はこれに限定されるものではなく、例えば基準画像Ｂ０における肌色を有しかつ顔の輪郭形状を囲む矩形の領域を顔領域として検出する手法、顔の輪郭形状をなす領域を顔領域として検出する手法等、任意の手法を用いることができる。

なお、本明細書において、顔検出部２１が出力する「検出結果」とは、顔を検出できなかった場合には検出できなかったという結果、顔を検出できた場合には顔を検出できたということと検出した顔の情報（位置、大きさ等）を意味するものとする。したがって、顔を検出できなかった場合は検出結果は顔情報を含まないものとなり、顔を検出できた場合は検出結果は顔情報を含むものとなる。

撮影制御部２２は、顔領域検出のための撮影の指示、パターン光が照射された被写体を撮影して基準画像Ｂ１および参照画像Ｒ１を取得する指示等を基準カメラ２および参照カメラ３に対して行う。なお、撮影の際に必要があれば撮影制御部２２は撮影位置制御機構１０，１１を駆動して、基準カメラ２および参照カメラ３の撮影方向および高さを制御する。

照射制御部２３は、顔検出部２１が顔を検出した際の顔情報に基づいて、被写体である人物の顔にパターン光を照射する。本実施形態においては、パターン光は複数のスポット光からなり、照射制御部２３は、顔情報に基づいて人物の顔の大きさを推定し、スポット光の数、大きさおよび照射位置を決定して、パターン光を人物の顔に照射する。

なお、この際に、顔領域の色である肌色の補色のパターン光を照射するようにしてもよい。これにより、基準画像Ｂ１および参照画像Ｒ１においてパターン光が明りょうとなるため、３次元形状を算出する際の対応点付けを精度よく行うことができる。

図３はパターン光の照射を説明するための図である。照射制御部２３は顔検出部２１が検出した際の顔情報に基づいて基準画像Ｂ０から顔領域Ｆ１を抽出する（図３（ａ））。そして、図３（ｂ）に示すように、顔領域Ｆ１をあらかじめ定められた分割数（ここでは１６）に分割し、これにより得られた格子点の数をスポット光の数に、格子点の位置をスポット光の照射位置に決定する。図３（ｂ）に示すように顔領域Ｆ１を１６分割すると格子点数は２５となるため、スポット光の数を２５に決定する。

さらに、照射制御部２３は、分割により得られた各分割領域のサイズに基づいて、スポット光のサイズを決定する。例えば、スポット光の上限サイズを分割領域の横幅の３／４に、次に小さいサイズを分割領域の横幅の２／４に、下限サイズを分割領域の横幅の１／４に決定する。そして、例えば図３（ｃ）に示すように大中小の３つのサイズのスポット光が格子点に照射されるようにスポット光の照射位置を決定する。

なお、このように複数のスポット光を照射する場合には、隣接するスポット光同士を連結するための情報（連結情報とする）を照射制御部２３が生成するようにしてもよい。このような連結情報は、計測部２４に入力されて、顔の３次元形状の計測に使用される。

また、パターン光を照射した際に再度基準カメラ２により被写体の撮影を行い、パターン光のコントラストが最大となるようにパターン光のフォーカス動作を行うようにしてもよい。

また、パターン光を照射する際には、照射制御部２３は、照射位置制御機構１２を駆動して、決定したパターン光が人物の顔に照射されるようにプロジェクタ４の照射方向および高さを調整する。また、プロジェクタ４のズームも制御する。ここで、基準カメラ２および参照カメラ３の撮影方向および高さとプロジェクタ４の照射方向および高さとは一致する必要があることから、基準カメラ２または参照カメラ３の撮影方向および高さと一致するようにプロジェクタ４の照射方向および高さを照射位置制御機構１２により制御してもよい。

なお、プロジェクタ４の照射方向および位置を最大限に調整しても、人物の顔の位置がなお照射範囲外にある場合には、パターン光４が顔に照射されるようにするために、プロジェクタ４の前方にプリズムまたはミラー等の光学系を配置してもよい。なお、このような光学系は自動でプロジェクタ４の前方に位置させるようにしてもよい。

計測部２４は、パターン光が照射された被写体の顔を撮影して顔の３次元形状を計測する。すなわち、基準画像Ｂ１および参照画像Ｒ１に含まれる顔領域上におけるパターン光に含まれる対応するスポット光が１以上含まれるマッチングウィンドウＭＷ（図３（ｃ）参照）を基準画像Ｂ１および参照画像Ｒ１上に設定し、エピポーラ線の情報と基準となるスポット光の形状とにより、基準画像Ｂ１および参照画像Ｒ１との対応点付けを行う。ここで、基準となるスポット光は例えば図３（ｃ）に示す最も大きいスポット光を使用し、基準となるスポット光を対応点付けの開始位置および終了位置に設定することにより、対応点付けの精度を向上させることができる。

また、対応点付けを行う際に、スポット光の連結情報が計測部２４に入力されている場合には、連結情報に応じて対応点付けを行うスポット光の順序を変更すればよい。

なお、計測部２４は、基準カメラ２および参照カメラ３のレンズの光軸と撮像面との位置関係を表す行列Ａ，Ａ′を内部パラメータとして、基準カメラ２および参照カメラ３の位置関係を表す回転行列Ｒおよび平行移動ベクトルｔ（すなわち、カメラ２，３の位置の変換を表す回転行列と平行移動ベクトル）を外部パラメータとしてＲＯＭ３２に記憶しており、内部パラメータおよび外部パラメータを参照して対応点付けを行う。なお、内部パラメータおよび外部パラメータは、あらかじめカメラキャリブレーションにより求められ、ＲＯＭ３２に記憶されている。

そして、計測部２４は、対応点付けが終了すると顔の３次元形状を算出し、算出結果を距離画像としてモニタ６に出力する。

以下、内部パラメータおよび外部パラメータを用いた３次元形状の計測について説明する。３次元空間上の位置（Ｘｗ，Ｙｗ，Ｚｗ）にある点の基準画像Ｂ１および参照画像Ｒ１への投影点の座標をそれぞれ（ｕ，ｖ）、（ｕ′，ｖ′）とすると、下記の式（１）に示す関係が得られる。

Ｐ，Ｐ′は基準カメラ２および参照カメラ３に対する透視投影行列であり、あらかじめカメラキャリブレーションにより求められている。上記式（１）は３次元空間の位置（Ｘｗ，Ｙｗ，Ｚｗ）を未知数とする連立方程式となるため、未知数に関してまとめることにより下記の式（２）に変形することができる。

式（２）は未知数が３であるのに対して、方程式の数は４となるため３次元空間の位置（Ｘｗ，Ｙｗ，Ｚｗ）の解を得ることができる。

ここで、本実施形態においては内部パラメータおよび外部パラメータがＲＯＭ３２に記憶されている。具体的には基準カメラ２および参照カメラ３の内部パラメータを表す行列Ａ，Ａ′、外部パラメータの回転行列Ｒおよび平行移動ベクトルｔが記憶されている。このため、式（１）における透視投影行列Ｐ，Ｐ′を下記の式（３）、（４）に示すように置換することにより、基準画像Ｂ１および参照画像Ｒ１における対応点から３次元空間の位置を算出することができる。なお、式（３）においてＩは単位行列である。また、式（３）の（Ｉ｜０）は、単位行列Ｉと値が０のベクトル（０，０，０）とを並べることにより得られる３×４の行列を表す。また、式（４）の（Ｒ｜ｔ）は、回転行列Ｒと平行移動ベクトルｔとを並べることに得られる３×４の行列を表す。

Ｐ＝Ａ（Ｉ｜０） （３）
Ｐ′＝Ａ′（Ｒ｜ｔ） （４）
次いで、第１の実施形態において行われる処理について説明する。図４および図５は第１の実施形態において行われる処理を示すフローチャートである。３次元形状計測開始の指示が入力部７から行われることにより演算部５が処理を開始し、基準カメラ２および参照カメラ３により被写体の撮影を行う（ステップＳＴ１）。そして、顔検出部２１が撮影により取得された基準画像Ｂ０および参照画像Ｒ０に対して顔を検出する処理を施し（ステップＳＴ２）、基準画像Ｂ０および参照画像Ｒ０の双方において顔領域が検出されたか否かを判定する（ステップＳＴ３）。ステップＳＴ３が肯定されると、基準画像Ｂ０からの顔の検出結果を用いて、照射制御部２３がパターン光に含まれるスポット光の数、大きさおよび照射位置を決定する（ステップＳＴ４）。なお、ステップＳＴ３が否定されると、処理を終了する。

続いて、照射制御部２３は、ステップＳＴ４において決定したスポット光からなるパターン光を被写体である人物の顔に照射するに際し、プロジェクタ４の照射方向、高さおよびズーム倍率が現在の設定で適切であるか否かを判定する（ステップＳＴ５）。ステップＳＴ５が否定されるとプロジェクタ４の照射方向、高さおよびズーム倍率を変更する（ステップＳＴ６）。ステップＳＴ６に続いておよびステップＳＴ５が肯定されると、被写体にパターン光を照射する（ステップＳＴ７）。

次いで、撮影制御部２２が基準カメラ２により撮影を行い（ステップＳＴ８）、顔検出部２１が基準画像Ｂ１に対して顔を検出する処理を施し（ステップＳＴ９）、基準画像Ｂ１から顔領域が検出されたか否かを判定する（ステップＳＴ１０）。ステップＳＴ１０が否定されると処理を終了する。ステップＳＴ１０が肯定されると、照射制御部２３が基準画像Ｂ１に基づいてパターン光のコントラストを算出する（ステップＳＴ１１）。そしてコントラストが最大となるようにパターン光のフォーカス動作を行う（ステップＳＴ１２）。

そして、撮影制御部２２が基準カメラ２および参照カメラ３により撮影を行い（ステップＳＴ１３）、計測部２４が基準画像Ｂ１および参照画像Ｒ１に含まれる顔領域上にマッチングウィンドウＭＷを設定し（ステップＳＴ１４）、基準画像Ｂ１および参照画像Ｒ１との対応点付けを行う（ステップＳＴ１５）。そして、すべてのスポット光の位置に対応する画素について対応点付けが終了したか否かを判定し（ステップＳＴ１６）、ステップＳＴ１６が否定されるとステップＳＴ１５に戻る。ステップＳＴ１６が肯定されると、計測部２４は顔の３次元形状を算出し（ステップＳＴ１７）、算出結果である距離画像をモニタ６に表示し（ステップＳＴ１８）、処理を終了する。

なお、上記第１の実施形態において、基準画像Ｂ１および参照画像Ｒ１に３次元形状の計測に十分なサイズの顔領域が含まれない場合、あるいは基準画像Ｂ１および参照画像Ｒ１に顔領域の一部のみしか含まれない場合（以下顔領域サイズが適切でない場合とする）には、基準カメラ２および参照カメラ３のズーム倍率を変更する必要がある。しかしながら、ズーム倍率を変更すると、基準カメラ２および参照カメラ３のレンズの光軸と撮像面との位置関係が変更されてしまう。

このため、基準カメラ２および参照カメラ３の各種ズーム倍率に応じた内部パラメータをあらかじめ測定してＲＯＭ３２に記憶しておき、基準カメラ２および参照カメラ３のズーム倍率を変更した際には、変更したズーム倍率に応じた内部パラメータをＲＯＭ３２から読み出して顔の３次元形状を計測することが好ましい。以下、これを第２の実施形態として説明する。

図６は第２の実施形態において行われる処理を示すフローチャートである。なお、第２の実施形態において行われる処理は、第１の実施形態のステップＳＴ４の処理後に行われるため、ここではステップＳＴ４以降の処理について説明する。ステップＳＴ４に続いて、撮影制御部２２は、顔領域サイズが適切か否かを判定する（ステップＳＴ２１）。ステップＳＴ２１が肯定されると第１の実施形態におけるステップＳＴ５以降の処理を行う。ステップＳＴ２１が否定されると、撮影制御部２２は基準カメラ２および参照カメラ３のズーム倍率を変更し（ステップＳＴ２２）、変更されたズーム倍率に応じて内部パラメータ変更の指示を計測部２４に行う（ステップＳＴ２３）。そして、第１の実施形態におけるステップＳＴ５以降の処理を行う。この際、計測部２４は変更された内部パラメータをＲＯＭ３２から読み出して、顔の３次元形状を計測する
これにより、基準カメラ２および参照カメラ３のズーム倍率を変更しても、精度良く顔の３次元形状を計測できる。

また、上記第１の実施形態においては、３次元形状を計測する際に、基準カメラ２および参照カメラ３の光学系の歪みを補正する処理を行ったり、基準画像Ｂ１および参照画像Ｒ１について基準カメラ２および参照カメラ３を上下に移動、各軸(ｘｙｚ軸)周りに回転したかのように画像を変換して左右画像のエピポーラ線が水平に並ぶように平行化処理を行う場合があるが、このような処理を行うと、基準画像Ｂ１および参照画像Ｒ１の周囲部分が切り取られたり、画像の周辺部が部分的に拡大されたり縮小されたりする。このため、基準画像Ｂ１および参照画像Ｒ１の周辺部は中央部分と比較して画質が悪いものとなる。したがって、基準画像Ｂ１および参照画像Ｒ１を取得した際に、基準画像Ｂ１および参照画像Ｒ１の中央部分に顔領域が位置するように、撮影位置制御機構１０，１１を用いて基準カメラ２および参照カメラ３の撮影方向および高さを変更することが好ましい。以下、これを第３の実施形態として説明する。

図７は第３の実施形態において行われる処理を示すフローチャートである。なお、第３の実施形態の処理は、第１の実施形態におけるステップＳＴ３が肯定された以降に行われるため、ここではステップＳＴ３が肯定された以降の処理について説明する。第１の実施形態のステップＳＴ３が肯定されると、撮影制御部２２は、基準画像Ｂ０および参照画像Ｒ０において光学系の歪みの補正および平行化処理により切り取られたり、拡大縮小されたりする領域（以下変更される領域）を算出する（ステップＳＴ３１）。

そして、顔領域が基準画像Ｂ０および参照画像Ｒ０における変更される領域に存在するか否かを判定し（ステップＳＴ３２）、ステップＳＴ３２が否定されると、さらに顔領域が基準画像Ｂ０および参照画像Ｒ０の端に存在するか否かを判定する（ステップＳＴ３３）。ステップＳＴ３３が否定されると、第１の実施形態のステップＳＴ４の処理に進む。ステップＳＴ３２およびステップＳＴ３３が肯定されると、顔領域が基準画像Ｂ０および参照画像Ｒ０の中央部分に位置するように撮影位置制御機構１０，１１に指示を行って、基準カメラ２および参照カメラ３の撮影方向および高さを変更し（ステップＳＴ３４）、第１の実施形態におけるステップＳＴ１に戻る。

これにより、顔領域が中央に位置する基準画像Ｂ１および参照画像Ｒ１を取得することができるため、精度良く顔の３次元形状を計測することができる。

なお、上記のように基準カメラ２および参照カメラ３の撮影方向および高さ、さらには位置が変更されると、基準カメラ２および参照カメラ３の位置関係を表す外部パラメータが変更されるため、顔の３次元形状を計測するためには外部パラメータを算出する必要がある。以下これを第４の実施形態として説明する。

図８は第４の実施形態の原理を説明するための図である。図８に示すように、３次元空間の点Ｐの基準画像Ｂおよび参照画像Ｒへの投影点を正規化画像座標でｘ、ｘ′とすると、３つのベクトル

はすべてエピポーラ平面内に存在する。ここで、エピポーラ平面とは図８における３点Ｐ，Ｃ，Ｃ′を通る平面である。そこでこれらの３つのベクトルからなるスカラー３重積は０となることから、下記の式（５）の関係が成立する。

また式（５）を変形して式（６）の関係も得られる。

但し［ｔ］_xは下記の式（７）で示すベクトルｔの各要素からなる３×３の行列を表す。

さらに、Ｅ＝［ｔ］_xＲ （８）
と置き換えることにより、最終的に基準画像Ｂおよび参照画像Ｒにおける投影点の正規化座標ｘ、ｘ′の間には下記の式（９）の関係が成立する。なお、式（９）においてＥは３×３の行列であり、基本行列と称される。

次いで、上記の関係を一般的な画像座標を用いて表す。基準画像Ｂおよび参照画像Ｒへの投影点の座標をｍ，ｍ′とすると、ｍ，ｍ′は基準カメラ２および参照カメラ３の内部パラメータＡ，Ａ′を用いて下記のように表すことができる。

したがって、式（６）より下記の式（１０）の関係が成立する。

と置き換えることにより最終的に２つの画像における投影点の座標ｍ，ｍ′の間には下記の式（１２）の関係が成立する。

ここで行列Ｆは３×３の行列であり、基礎行列と称される。式（１２）を各ベクトルおよび行列の要素を用いて変形すると下記の式（１３）となる。

式（１３）を基礎行列Ｆの各要素に関する行列式と見なしたとき、行列Ｆの要素の数は９個であるが、式（１３）から求められる行列Ｆには定数倍の不定性が残るため、実質的な未知数の数は８個となる。したがって、少なくとも８個の対応点が得られれば、行列Ｆを求めることができる。

式（８）と式（１１）より下記の式（１４）の関係が成立する。

Ｅ＝Ａ^TＦＡ （１４）
式（１４）より、内部パラメータの行列Ａが既知であれば、行列Ｆから行列Ｅを求めることができる。

さらに行列Ｅを歪対称行列と直交行列との積に分解することにより、基準カメラ２および参照カメラ３の位置関係を表す回転行列Ｒおよび平行移動ベクトルｔの方向を求めることができる。これにより基準カメラ２および参照カメラ３の動きをその動きの大きさを除いて推定することが可能となる。なお、歪対称行列とは、下記の関係を満たす行列である。

第４の実施形態は、基準画像Ｂ１および参照画像Ｒ１の少なくとも８個の対応点を求めることにより、基準カメラ２および参照カメラ３の位置関係を表す回転行列Ｒおよび平行移動ベクトルｔの方向、すなわち外部パラメータを算出し、算出した外部パラメータを用いて顔の３次元形状を計測するものである。

なお、以上の外部パラメータの算出は、「ディジタル画像処理、ディジタル画像処理編集委員会、財団法人画像情報教育振興協会。２００４年７月２２日」に詳細が記載されている。

図９は第４の実施形態において行われる処理を示すフローチャートである。なお、第４の実施形態において行われる処理は、第３の実施形態の処理に続いて行われる第１の実施形態のステップＳＴ１４の処理後に行われるため、ここではステップＳＴ１４以降の処理について説明する。

第１の実施形態のステップＳＴ１４に続いて、基準画像Ｂ１および参照画像Ｒ１上において８以上の対応点を取得する（ステップＳＴ４１）。そして、上述したように対応点を用いて外部パラメータを算出し（ステップＳＴ４２）、第１の実施形態のステップＳＴ１７へ進んで顔の３次元形状を計測する。

ここで基準カメラ２および参照カメラ３の撮影方向、高ささらには位置を移動した場合には、実際にはカメラキャリブレーションを行って外部パラメータを測定し直さないと顔の３次元形状を計測することができないが、第４の実施形態のように少なくとも８個の対応点を取得することにより、カメラキャリブレーションを行うことなく外部パラメータを算出することができる。このため、第４の実施形態によれば、基準カメラ２および参照カメラ３の撮影方向、高ささらには位置を移動した場合であっても、撮影を中断して外部パラメータを算出する必要がなくなり、その結果、高速に顔の３次元形状を計測することができる。

なお、上記第４の実施形態においては、平行移動ベクトルｔの方向のみしか求められないため、計測した３次元形状の絶対的な大きさは未知となっている。図１０は第４の実施形態において計測した３次元形状の絶対的な大きさが未知であることを説明するための図である。

図１０に示すように、点Ａおよび点Ｂで観察される画像と、点Ａおよび点Ｃで観察される画像とは全く同一であり、その２つの画像を区別することができない。すなわち、小さいカメラの移動量で近くの小さいものを観察した場合と、大きい移動量で遠くの大きいものを観察した場合とで全く同一の画像が得られ、カメラの移動量および見ている対象がともに未知の条件では、この２つの場合を区別することができない。この場合、基準となる長さ（以下基準長さとする）を計測した３次元形状に適用することにより、絶対的な３次元形状を算出することができる。以下、これを第５の実施形態として説明する。

図１１は第５の実施形態において行われる処理を示すフローチャートである。なお、第５の実施形態において行われる処理は、第４の実施形態の処理に続いて行われる第１の実施形態のステップＳＴ１７の処理後に行われるため、ここではステップＳＴ１７以降の処理について説明する。なお、第５の実施形態においては、絶対的な３次元形状に変換する指示、および絶対的な３次元形状に変換する場合に自動変換するか基準長さを入力するするかの指示はあらかじめ入力部７から入力されており、これにしたがって装置１の設定がなされているものとする。

ステップＳＴ１７に続いて、計測部２４は、顔の３次元形状を絶対的な３次元形状に変換する設定がなされているか否かを判定する（ステップＳＴ５１）。ステップＳＴ５１が否定されると、第１の実施形態のステップＳＴ１８の処理に進む。ステップＳＴ５１が肯定されると、自動変換する設定がなされているか否かを判定する（ステップＳＴ５２）。ステップＳＴ５２が否定されると、基準長さの入力部７からの入力を受け付け（ステップＳＴ５３）、後述するステップＳＴ５７に進む。

ステップＳＴ５２が肯定されると、顔検出部２１が検出した顔領域において両目を検出可能か否かを判定し（ステップＳＴ５４）、ステップＳＴ５４が否定されると、あらかじめＲＯＭ３２に保存されていた基準長さ（例えば顔の縦の長さの一般的な値である２５ｃｍ、口の幅の一般的な値である５ｃｍ等）を取得し（ステップＳＴ５５）、後述するステップＳＴ５７に進む。

ステップＳＴ５４が肯定されると、ＲＯＭ３２に保存されている両目間の距離である６６ｍｍを基準長さとして取得し（ステップＳＴ５６）、取得または入力した基準長さを用いて絶対的な３次元形状を算出し（ステップＳＴ５７）、第１の実施形態のステップＳＴ１８の処理に進む。

なお、基準長さの入力は、ユーザが顔上における２点間の距離を実際に計測して入力部７から入力すればよい。また入力部７をモニタ６と一体化してタッチパネル方式とした場合、モニタ６に表示されている距離画像上における所望とする２点をタッチパネルに触れることにより指定して、指定した２点間の距離を入力するようにしてもよい。

これにより、第５の実施形態においては、顔の絶対的な３次元形状を算出することができる。

なお、上記各実施形態においては、顔の目の部分にパターン光が照射されると、撮影される人物が眩しさを感じてしまう。このため、パターン光が目に照射される場合には、目の部分のみパターン光の照射の態様を変更してもよい。以下これを第６の実施形態として説明する。

図１２は第６の実施形態において行われる処理を示すフローチャートである。なお、第６の実施形態において行われる処理は、第１の実施形態のステップＳＴ３が肯定された場合に続いて行われるため、ここではステップＳＴ３が肯定された以降の処理について説明する。

ステップＳＴ３が肯定されると、照射制御部２３は、顔領域において目が検出されるか否かを判定し（ステップＳＴ６１）、ステップＳＴ６１が否定されると第１の実施形態のステップＳＴ４の処理に進む。ステップＳＴ６１が肯定されると、基準画像Ｂ０からの顔の検出結果を用いて、顔領域に含まれる目の部分の照射の態様を変更して、照射制御部２３がパターン光に含まれるスポット光の数、大きさおよび照射位置を決定し（ステップＳＴ６２）、第１の実施形態のステップＳＴ５の処理に進む。

なお、ステップＳＴ６２の処理においては、具体的には図３（ｂ）に示すように格子点が目の部分に位置しないように顔領域Ｆ１の分割数を決定したり、図１３に示すように格子点が目の部分に位置する場合には、目の部分に位置する格子点においてはスポット光を照射しないようにしたり、スポット光の光量を低減したりすればよい。また、黒パターンを目の部分に位置する格子点に照射してもよい。

ところで、目は瞬きをしたり、光が反射されたり、さらには人物によってはメガネをかけていることもあるため、基準画像Ｂ１および参照画像Ｒ１の目の領域においては対応点付けを行うことが困難な場合がある。したがって、目の領域において対応点付けを行うか否かを入力部７から設定するようにしてもよい。以下これを第７の実施形態として説明する。

図１４は第７の実施形態において行われる処理を示すフローチャートである。なお、第７の実施形態において行われる処理は、第１の実施形態のステップＳＴ１４以降に行われるため、ここではステップＳＴ１４以降の処理について説明する。また、目の領域において対応点付けを行うか否か等の第７の実施形態において必要な指示は、あらかじめ入力部７から入力されており、これにしたがって装置１の設定がなされているものとする。

ステップＳＴ１４に続いて、計測部２４は顔領域内に目が検出されるか否かを判定し（ステップＳＴ７１）、ステップＳＴ７１が否定されると第１の実施形態のステップＳＴ１５の処理に進む。ステップＳＴ７１が肯定されると、目の対応点付けを行う設定がなされているか否かを判定し（ステップＳＴ７２）、ステップＳＴ７２が否定されると、目の領域を除いて基準画像Ｂ１と参照画像Ｒ１との対応点付けを行い（ステップＳＴ７３）、顔の３次元形状を算出する（ステップＳＴ７４）。

ここで、目の領域の対応点付けを行わないと、顔の３次元形状の目の部分が無い箇所が含まれることとなる。このため、ステップＳＴ７４に続いて、目の領域をあらかじめ用意されているモデルと置換する設定がなされているか否かを判定し（ステップＳＴ７５）、ステップＳＴ７５が肯定されると目の領域をあらかじめ用意されているモデルと置換し（ステップＳＴ７６）、次いで算出結果である距離画像をモニタ６に表示し（ステップＳＴ７７）、処理を終了する。

一方、ステップＳＴ７５が否定されると、目の周囲の領域を用いて補間する設定がなされているか否かを判定し（ステップＳＴ７８）、ステップＳＴ７８が肯定されると、目の領域の３次元形状をその周囲の３次元形状により補間し（ステップＳＴ７９）、ステップＳＴ７７に進む。ステップＳＴ７８が否定されると、ステップＳＴ７７に進み、目の部分にデータがない距離画像をモニタ６に表示して処理を終了する。

また、ステップＳＴ７２が肯定されると、顔領域にメガネが含まれるか否かを判定する（ステップＳＴ８０）。メガネが含まれるか否かの判定は、例えば検出した目の周辺にメガネのフレームまたは画像歪みを検出した場合にメガネが含まれると判定する手法を用いればよい。ステップＳＴ８０が否定されると、第１の実施形態のステップＳＴ１５の処理に進む。ステップＳＴ８０が肯定されると、メガネによる画像歪みを補正する設定がなされているか否かを判定し（ステップＳＴ８１）、ステップＳＴ８１が否定されると第１の実施形態のステップＳＴ１５の処理に進む。ステップＳＴ８１が肯定されると、メガネによる画像歪みを補正し（ステップＳＴ８２）、第１の実施形態のステップＳＴ１５の処理に進む。

ここで、図１５（ａ）に示すように近眼用メガネをかけた人の顔画像においては、図１５（ｂ）に示すように、メガネの部分において顔の輪郭が目頭の方向に歪むものとなる。したがって、実際にあるべき顔の輪郭部分Ｅ１とメガネ内の顔の輪郭部分Ｅ２との位置の相違を歪み量として算出し、この歪み量を補償するようにメガネ内の画像の歪みを補正すればよい。また、パターン光を照射した場合、図１６に示すようにメガネ内の領域においては、パターン光は本来あるべき格子点の位置に照射されないこととなる。このため、メガネ内の領域においてパターン光の位置を検出し、検出した位置と本来あるべき格子点の位置との相違を歪み量として算出してもよい。

このように、第７の実施形態においては、顔領域内における目以外の領域において画素の対応点付けを行うことにより、瞬きによる被写体のブレおよび目の部分における光の反射の影響等をなくすることができるため、被写体の特定部分の３次元形状を高精度に計測することができる。

また、顔領域内におけるメガネに対応するメガネ領域を検出し、基準画像および参照画像におけるメガネ領域の歪みを補正することにより、メガネによる画像の歪みの影響をなくすることができるため、顔の３次元形状を高精度に計測することができる。

なお、上記各実施形態においては、参照カメラ３を１台のみ使用しているが、複数台の参照カメラ３を使用し、複数の参照画像を用いて顔の３次元形状を計測してもよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の顔検出部２１、撮影制御部２２、照射制御部２３および計測部２４に対応する手段として機能させ、図４〜７，９，１１，１２，１４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元形状計測装置の外観斜視図 演算部の構成を示す概略ブロック図 パターン光の照射を説明するための図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 第２の実施形態において行われる処理を示すフローチャート 第３の実施形態において行われる処理を示すフローチャート 第４の実施形態の原理を説明するための図 第４の実施形態において行われる処理を示すフローチャート 第４の実施形態において計測した３次元形状の絶対的な大きさが未知であることを説明するための図 第５の実施形態において行われる処理を示すフローチャート 第６の実施形態において行われる処理を示すフローチャート 格子点が目の部分に位置する状態を示す図 第７の実施形態において行われる処理を示すフローチャート メガネの部分の歪みを説明するための図（その１） メガネの部分の歪みを説明するための図（その２） 対応点付けを説明するための図

符号の説明

１ ３次元形状計測装置
２ 基準カメラ
３ 参照カメラ
４ プロジェクタ
５ 演算部
６ モニタ
７ 入力部
８ 基台
２１ 顔検出部
２２ 撮影制御部
２３ 照射制御部
２４ 計測部
２５ 全体制御部

Claims (13)

1. 被写体を異なる複数の視点から撮影することにより取得した複数の画像に基づいて、前記被写体の３次元形状を計測する３次元形状計測装置において、
   前記被写体を撮影することにより該被写体の基準画像を取得する第１の撮影手段と、
   前記第１の撮影手段と異なる位置から前記被写体を撮影することにより該被写体の参照画像を取得する少なくとも１つの第２の撮影手段と、
   前記第１および前記第２の撮影手段の駆動を制御する撮影制御手段と、
   前記被写体にパターン光を照射する照射手段と、
   前記パターン光の照射前に前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記少なくとも１つの参照画像のいずれかから、前記被写体の特定部分を表す特定領域を検出する特定領域検出手段と、
   前記被写体の前記特定部分に、前記特定領域に応じた所定のパターン光を照射するよう前記照射手段の駆動を制御する照射制御手段と、
   前記パターン光が照射された前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記参照画像における前記特定領域上の画素の対応付けを行って、前記特定部分の３次元形状を計測する計測手段とを備えたことを特徴とする３次元形状計測装置。
2. 前記照射制御手段は、前記パターン光を複数のスポット光からなるものとし、前記特定領域に応じて、前記スポット光の数、大きさおよび照射位置を決定する手段であることを特徴とする請求項１記載の３次元形状計測装置。
3. 前記照射手段の照射方向および高さを調整する照射位置調整手段をさらに備えたことを特徴とする請求項１または２記載の３次元形状計測装置。
4. 前記第１および前記第２の撮影手段がズーム機構を備えてなる場合、前記計測手段は、前記３次元形状を計測する際に参照する前記第１および前記第２の撮影手段の内部パラメータを各種ズーム倍率に応じて複数用意してなり、前記第１および前記第２の撮影手段のズーム倍率に応じた前記内部パラメータを参照して前記特定部分の３次元形状を計測する手段であることを特徴とする請求項１から３のいずれか１項記載の３次元形状計測装置。
5. 前記特定領域の前記基準画像および／または前記参照画像上における位置が該基準画像および／または該参照画像の略中央に位置するように、前記第１および／または前記第２の撮影手段の撮影方向および高さを調整する撮影位置調整手段をさらに備えたことを特徴とする請求項１から３のいずれか１項記載の３次元形状計測装置。
6. 前記計測手段は、前記第１および／または前記第２の撮影手段の位置および／または撮影方向が変更された場合、前記第１および前記第２の撮影手段の位置関係を表すパラメータを算出し、該算出したパラメータに基づいて前記特定部分の３次元形状を計測する手段であることを特徴とする請求項５記載の３次元形状計測装置。
7. 前記計測手段は、前記特定領域内に存在する２点間の距離をも参照して、前記特定部分の３次元形状を計測する手段であることを特徴とする請求項６記載の３次元形状計測装置。
8. 前記特定部分が顔である場合において、前記照射制御手段は、前記特定領域内における目の部分に照射される前記パターン光の輝度を、該目以外の他の部分に照射される前記パターン光の輝度とは異なるものとなるように変更する手段であることを特徴とする請求項１から７のいずれか１項記載の３次元形状計測装置。
9. 前記照射制御手段は、前記特定領域の色を検出し、該色の補色となる色の前記パターン光を前記特定部分に照射するよう前記照射手段を制御する手段であることを特徴とする請求項１から８のいずれか１項記載の３次元形状計測装置。
10. 前記特定部分が顔である場合において、前記計測手段は、前記特定領域内における目以外の領域において前記画素の対応付けを行って、前記３次元形状を計測する手段であることを特徴とする請求項１から９のいずれか１項記載の３次元形状計測装置。
11. 前記特定部分が顔である場合において、前記計測手段は、前記特定領域内におけるメガネに対応するメガネ領域を検出し、前記基準画像および前記参照画像における前記メガネ領域の歪みを補正して前記３次元形状を計測する手段であることを特徴とする請求項１から１０のいずれか１項記載の３次元形状計測装置。
12. 被写体を異なる複数の視点から撮影することにより取得した複数の画像に基づいて、前記被写体の３次元形状を計測する３次元形状計測装置であって、前記被写体を撮影することにより該被写体の基準画像を取得する第１の撮影手段と、
    前記第１の撮影手段と異なる位置から前記被写体を撮影することにより該被写体の参照画像を取得する少なくとも１つの第２の撮影手段と、
    前記被写体にパターン光を照射する照射手段とを備えた３次元形状計測装置における３次元形状計測方法において、
    前記パターン光の照射前に前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記少なくとも１つの参照画像のいずれかから、前記被写体の特定部分を表す特定領域を検出し、
    前記被写体の前記特定部分に、前記特定領域に応じた所定のパターン光を照射するよう前記照射手段の駆動を制御し、
    前記パターン光が照射された前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記参照画像における前記特定領域上の画素の対応付けを行って、前記特定部分の３次元形状を計測することを特徴とする３次元形状計測方法。
13. 被写体を異なる複数の視点から撮影することにより取得した複数の画像に基づいて、前記被写体の３次元形状を計測する３次元形状計測装置であって、前記被写体を撮影することにより該被写体の基準画像を取得する第１の撮影手段と、
    前記第１の撮影手段と異なる位置から前記被写体を撮影することにより該被写体の参照画像を取得する少なくとも１つの第２の撮影手段と、
    前記被写体にパターン光を照射する照射手段とを備えた３次元形状計測装置における３次元形状計測方法をコンピュータに実行させるためのプログラムにおいて、
    前記パターン光の照射前に前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記少なくとも１つの参照画像のいずれかから、前記被写体の特定部分を表す特定領域を検出する手順と、
    前記被写体の前記特定部分に、前記特定領域に応じた所定のパターン光を照射するよう前記照射手段の駆動を制御する手順と、
    前記パターン光が照射された前記被写体を撮影することにより前記第１および前記第２の撮影手段が取得した前記基準画像および前記参照画像における前記特定領域上の画素の対応付けを行って、前記特定部分の３次元形状を計測する手順とを有することを特徴とするプログラム。

Images