JP2014182115A - 三次元計測装置、制御方法、プログラム、及び記憶媒体 - Google Patents

Abstract

【課題】計測対象の範囲において三次元データを適切に生成することが可能な三次元計測装置を提供する。
【解決手段】三次元計測装置の撮影画像解析部の顔検出部は、撮影画像から顔を検出したか否か判定するＳ１０１。顔を検出した場合、方向検出部は、当該顔の正面の向きを示す検出方向Ｄｄｅｔを算出するＳ１０２。次に、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否か判定するＳ１０３。検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致する場合、光源に光パターンを照射させ、三次元形状計算部は、各光パターンが照射された第１撮影画像に基づき、三次元形状情報を生成するＳ１０５。そして、色情報決定部は、パターン光が照射されていない第２撮影画像に基づき、三次元形状情報に色情報を付加して三次元データを生成するＳ１０６。
【選択図】図５

Description

本発明は、三次元計測技術に関する。

従来から、カメラで撮影した画像に基づき、被写体である物体の三次元計測を行う技術が知られている。例えば、特許文献１及び非特許文献１には、計測物体に複数の光パターンを照射させ、これらの光パターンが照射された計測物体を撮影した画像に基づき、計測物体の三次元位置を計測する技術が開示されている。また、非特許文献２には、画像から顔を検出するための技術が開示されている。さらに、非特許文献３には、カメラで取得した画像に基づき、顔の向きを認識する技術が開示されている。その他、本発明に関連する技術が特許文献２乃至６にそれぞれ開示されている。

特開２００８−１７０２８２号公報 特開２００８−２３２７７６号公報 特開平８−１４９５１６号公報 特開２００５−２８４７７５号公報 特開２００５−１０６４９１号公報 特開２００３−２０８６０１号公報

吉澤徹編著「最新 光三次元計測」朝倉書店、２００６年１１月２０日、ｐ．４５−５２ ＯｐｅｎＣＶ２ プログラミングブック制作チーム著「ＯｐｅｎＣＶ２プログラミングブック」マイナビ、２０１１年１２月２７日 Ｅｒｉｋ Ｍｕｒｐｈｙ−Ｃｈｕｔｏｒｉａｎ ｅｔ ａｌ．，「Ｈｅａｄ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ：Ａ Ｓｕｒｖｅｙ」，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ２００９．

人間の顔などを光パターンの照射により三次元計測する場合、計測の対象となる範囲の向きが光源に対して適切な向きではないときには、光パターンが計測対象の範囲に適切に照射されないため、当該範囲において三次元データを取得できない部分が生じる。

本発明は、上記のような課題を解決するためになされたものであり、計測対象の範囲において三次元データを適切に生成することが可能な三次元計測装置を提供することを主な目的とする。

請求項１に記載の発明は、三次元計測装置であって、三次元形状を計測する光を光源から照射させる照射手段と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段と、を備える。

また、請求項９に記載の発明は、情報処理装置が実行する制御方法であって、三次元形状を計測する光を光源から照射させる照射工程と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測工程と、を有する。

また、請求項１０に記載の発明は、情報処理装置が実行するプログラムであって、三次元形状を計測する光を光源から照射させる照射手段と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段として前記情報処理装置を機能させることを特徴とする。

第１実施例に係る三次元計測システムの概略構成図である。 三次元計測装置の機能ブロックを示す。 撮影対象者の顔が撮影された画像の例を示す。 ヨー角及びピッチ角を説明するための図である。 第１実施例の処理手順を示すフローチャートである。 第２実施例に係る三次元計測システムの概略構成図である。 撮影対象者の顔が撮影された画像の例を示す。 ロール角を説明するための図である。 変形例に係る三次元計測システムの概略構成図である。 変形例に係る三次元計測システムの概略構成図である。

本発明の１つの好適な実施形態では、三次元計測装置は、三次元形状を計測する光を光源から照射させる照射手段と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段と、を備える。

上記の三次元計測装置は、照射手段と、計測手段とを有する。照射手段は、三次元形状を計測する光を光源から照射させる。そして、計測手段は、光に照射された対象体の三次元計測を行う計測部位の向きが、光の照射方向に適切な撮影画像に基づき、計測部位の三次元形状を計測する。この態様により、三次元計測装置は、光源と計測部位の向きが適当であるときに三次元計測を行うことができ、対象体の計測部位の三次元データを好適に取得することができる。

上記三次元計測装置の一態様では、前記計測手段は、前記計測部位が前記光の照射範囲に含まれ、かつ、前記計測部位が前記光の照射方向を向いている撮影画像に基づき、前記計測部位の三次元形状を計測する。この態様により、三次元計測装置は、対象体の計測部位の三次元データを好適に取得することができる。

上記三次元計測装置の一態様では、前記計測手段は、前記光源が複数存在する場合、前記計測部位の左右方向に対して両端に存在する光源の前記光の照射方向がなす角を水平面において二分する方向、かつ、前記計測部位の上下方向において両端に存在する光源の前記光の照射方向がなす角を前記水平面と垂直な面において二分する方向に、前記計測部位が向いている撮影画像に基づき、前記計測部位の三次元形状を計測する。この態様により、三次元計測装置は、光源が複数存在する場合に、対象体の計測部位に対してより広範囲に光を照射させて、対象体の計測部位の三次元データを好適に取得することができる。

上記三次元計測装置の他の一態様では、前記計測部位が前記光の照射範囲に含まれない場合に、前記計測部位が前記照射範囲に含まれるように誘導する誘導手段をさらに有するをさらに有する。これにより、三次元計測装置は、対象体の計測部位を所定の方向に向かせて三次元計測を好適に実行することができる。

上記三次元計測装置の他の一態様では、三次元計測装置は、前記計測部位が前記光の照射範囲に含まれない場合に、前記計測部位が前記照射範囲に含まれるように前記光源を移動させる移動手段をさらに有する。この態様により、三次元計測装置は、対象体の計測部位に光を照射させて三次元データを好適に取得することができる。

上記三次元計測装置の他の一態様では、前記計測手段は、前記計測部位のヨー角又はピッチ角が、所定範囲に含まれる場合、前記撮影画像に基づき、前記計測部位の三次元形状を計測する。これにより、三次元計測装置は、対象体の計測部位に対して適切に光を照射し、対象体の計測部位の三次元データを好適に取得することができる。

上記三次元計測装置の他の一態様では、前記計測手段は、前記計測部位のロール角が、所定範囲に含まれる場合、前記撮影画像に基づき、前記計測部位の三次元形状を計測する。これにより、三次元計測装置は、対象体の計測部位が左右に傾いてないときに光を照射し、対象体の計測部位の三次元データを好適に取得することができる。

上記三次元計測装置の他の一態様では、照射されていない前記計測部位の撮影画像に基づき、前記三次元形状が示す位置における色情報を決定する色情報決定手段をさらに有する。これにより、三次元計測装置は、色情報を含む対象体の計測部位の三次元データを好適に取得することができる。

本発明の他の好適な実施形態では、情報処理装置が実行する制御方法であって、三次元形状を計測する光を光源から照射させる照射工程と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測工程と、を備える。情報処理装置は、この制御方法を実行することで、対象体の計測部位の三次元データを好適に取得することができる。

本発明のさらに別の実施形態では、情報処理装置が実行するプログラムであって、三次元形状を計測する光を光源から照射させる照射手段と、前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段として前記情報処理装置を機能させる。情報処理装置は、このプログラムを実行することで対象体の計測部位の三次元データを好適に取得することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な各実施例について説明する。

＜第１実施例＞
［三次元計測システムの構成］
図１は、第１実施例に係る三次元計測システムの概略構成図である。図１に示すように、三次元計測システムは、撮影対象者５の顔の三次元情報を生成するシステムであり、三次元計測装置１と、光源２と、カメラ３とを有する。

光源２は、例えばプロジェクタであり、顔の位置に向けて三次元計測用の複数の光パターンをそれぞれ照射する。光パターンは、例えば縞状などであり、三次元計測のパターン照射方式で用いられる種々のパターンであってもよい。例えば空間コード化法により顔の三次元計測を行う場合、光源２は、例えば明暗幅を２倍ずつ変化させた縞状の光パターンを順番に照射する。光源２は、三次元計測装置１から送信される光源制御信号「Ｓｐ」に基づき光パターンの照射の有無が制御される。

カメラ３は、三次元計測装置１と電気的に接続し、撮影した画像（「撮影画像Ｉｍ」とも呼ぶ。）を三次元計測装置１に送信する。カメラ３は、光源２から出射された光パターンが照射される顔全体を撮影範囲に含む位置に設置される。

三次元計測装置１は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有し、カメラ３から取得した撮影画像Ｉｍに基づき、撮影対象者５の顔の三次元データを算出する。ここで、三次元データは、撮影された顔の形状を示す三次元座標情報（「三次元形状情報Ｉｓ」とも呼ぶ。）と、当該三次元顔形状情報が示す各位置における色情報とを含む情報を指す。そして、三次元計測装置１のＣＰＵなどは、本発明における「照射手段」及び「計測手段」として機能する。

以後では、一例として、三次元計測装置１は、顔の中心である鼻部から左右上下均等な範囲の顔の三次元データを取得する処理を行うものとする。

［三次元計測装置の制御］
次に、三次元計測装置１が実行する処理について説明する。概略的には、三次元計測装置１は、撮影対象者５の顔の正面が光源２の方向を向いている場合に、光源２に光パターンを出射させる。これにより、三次元計測装置１は、三次元データの算出対象となる顔の正面を好適に光パターンにより照射させて三次元データを算出する。

図２は、三次元計測装置１の機能ブロックを示す。図２に示すように、三次元計測装置１は、撮影画像解析部１１と、光源制御部１２と、三次元計測判定部１３と、三次元形状計算部１４と、色情報決定部１５とを備える。

（１）光源の制御
まず、撮影画像解析部１１及び光源制御部１２が実行する光源２の制御方法について具体的に説明する。

撮影画像解析部１１は、カメラ３から送信される撮影画像Ｉｍの画像処理を行い、撮影対象者５の顔の向きを判定する。撮影画像解析部１１は、顔検出部１１１と、方向検出部１１２と、方向判定部１１３とを備える。顔検出部１１１は、撮影画像Ｉｍにおいて顔が撮影されているか否かを判定し、撮影画像Ｉｍにおいて顔が撮影されている場合には、撮影画像Ｉｍにおける顔の表示領域を認識する。

方向検出部１１２は、顔検出部１１１が検出した顔の正面の向き（「検出方向Ｄｄｅｔ」とも呼ぶ。）を検出する。具体的には、方向検出部１１２は、検出方向Ｄｄｅｔとして、撮影対象者５の鼻部を中心とした顔の正面方向を認識する。これについて、図３を参照して説明する。図３は、撮影対象者５の頭部５０が表示された撮影画像Ｉｍの一例を示す。図３の矢印Ｎ１は、撮影対象者５の鼻部を中心とした顔の正面方向を示す。この場合、方向検出部１１２は、周知の画像認識技術に基づき、顔の表示領域を解析することで、矢印Ｎ１が示す検出方向Ｄｄｅｔを認識する。ここでは、方向検出部１１２は、撮影画像Ｉｍの長手（水平）方向をＸ軸、撮影画像Ｉｍの短手（垂直）方向をＹ軸、Ｘ軸及びＹ軸に垂直な方向をＺ軸とするカメラ座標系での矢印Ｎ１が示すベクトルを、検出方向Ｄｄｅｔとして算出する。

再び図２を参照して方向判定部１１３について説明する。方向判定部１１３は、方向検出部１１２が算出した検出方向Ｄｄｅｔと、予め定めた検出方向Ｄｄｅｔの目標方向（「目標方向Ｄｔａｇ」とも呼ぶ。）とが一致するか否か判定する。目標方向Ｄｔａｇは、撮影対象者５の顔の正面が光源２の方向を向いたときの検出方向Ｄｄｅｔであり、三次元計測装置１のメモリに予め記憶される。検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否かの判定方法については、［方向判定処理］のセクションで詳しく説明する。

ここで、目標方向Ｄｔａｇの算出方法について補足説明する。例えば、方向検出部１１２は、撮影対象者５の３次元計測を行う前に、任意の者の顔の正面を光源２に向かせた状態で撮影した撮影画像Ｉｍに基づき検出方向Ｄｄｅｔを算出し、目標方向Ｄｔａｇとしてメモリに記憶する。他の例では、方向判定部１１３は、撮影対象者５の顔の位置と、光源２の位置及び向きと、カメラ３の位置及び向きとに基づき、カメラ座標系における撮影対象者５の顔の位置から光源２の位置へ向かう方向を算出し、目標方向Ｄｔａｇとしてメモリに記憶する。この場合、方向判定部１１３は、撮影対象者５の顔の位置、光源２の位置及び向き、カメラ３の位置及び向きの各情報を、予めメモリに記憶してもよく、各対象物の位置等を検出するセンサ等に基づき検出してもよい。

そして、方向判定部１１３は、検出方向Ｄｄｅｔが目標方向Ｄｔａｇと一致すると判定した場合、所定の制御信号（「判定信号Ｓｊ」とも呼ぶ。）を、光源制御部１２に送信する。

光源制御部１２は、方向判定部１１３から判定信号Ｓｊを受信した場合、光源２に光パターンを出射させる。そして、光源制御部１２は、光パターンを光源２に照射させる場合、光源２から光パターンを出射させる旨を通知する信号（「照射通知信号Ｓｒ」とも呼ぶ。）を三次元計測判定部１３に送信する。

（２）三次元データの生成
次に、三次元計測判定部１３、三次元形状計算部１４、及び色情報決定部１５が実行する三次元データの生成処理について具体的に説明する。

三次元計測判定部１３は、光源制御部１２から送信される照射通知信号Ｓｒに基づき、カメラ３から送信される撮影画像Ｉｍが、光パターンが照射された顔が表示された撮影画像Ｉｍ（「第１撮影画像Ｉｍ１」とも呼ぶ。）であるか否か判定する。そして、三次元計測判定部１３は、撮影画像Ｉｍが第１撮影画像Ｉｍ１であると判断した場合、当該第１撮影画像Ｉｍ１を三次元形状計算部１４に送信する。また、三次元計測判定部１３は、光パターンが照射されていない顔が表示された撮影画像Ｉｍ（「第２撮影画像Ｉｍ２」とも呼ぶ。）を認識し、認識した第２撮影画像Ｉｍ２を色情報決定部１５に送信する。例えば、三次元計測判定部１３は、光源制御部１２から照射通知信号Ｓｒを受信していないときにカメラ３から送信される撮影画像Ｉｍであって、第１撮影画像Ｉｍ１の直後に送信された撮影画像Ｉｍを、第２撮影画像Ｉｍ２として認識する。

三次元形状計算部１４は、各光パターンが顔に照射表示された第１撮影画像Ｉｍ１に基づき、撮影対象者５の顔の三次元位置を計測し、三次元形状情報Ｉｓを生成する。例えば空間コード化法を用いた場合、明暗幅が２倍ずつ変化させた縞状の光パターンが順番に光源２から照射され、ｎ個の光パターンを用意した場合、計測領域は光パターンの照射方向に基づき２のｎ乗個に分割される。この場合、三次元形状計算部１４は、各光パターンの有無に対応して一意に与えられたｎビットの空間コード値について、光パターンを照射する光源２の向き及び位置と、カメラ３の向き、位置、及び第１撮影画像Ｉｍ１上での画素位置との関係から、三角測量の原理に基づき、全ての画素について距離情報を求める。このとき、三次元形状計算部１４は、例えば図示しないメモリを参照することで、光源２及びカメラ３の位置及び向きを示すパラメータを取得する。そして、三次元形状計算部１４は、算出した各画素の距離情報から三次元形状情報Ｉｓを算出し、当該三次元形状情報Ｉｓを色情報決定部１５に送信する。

次に、色情報決定部１５が実行する処理について説明する。色情報決定部１５は、第２撮影画像Ｉｍ２に基づき、三次元形状情報Ｉｓの各位置における色情報を決定する。具体的には、色情報決定部１５は、まず、三次元形状情報Ｉｓが示す各位置が第２撮影画像Ｉｍ２のいずれの画素に該当するか判定する。そして、色情報決定部１５は、三次元形状情報Ｉｓの各位置に対応する第２撮影画像Ｉｍ２の画素が示す画素値を、当該各位置における色情報として決定することで三次元データを生成する。

［方向判定処理］
次に、方向判定部１１３が実行する検出方向Ｄｄｅｔと目標方向Ｄｔａｇとの一致判定処理について説明する。概略的には、方向判定部１１３は、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとがカメラ座標系のＸＺ平面でなす角が所定角度以内であって、かつ、カメラ座標系のＹＺ平面でなす角が所定角度以内である場合に、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致したと判断する。そして、この場合、方向判定部１１３は、撮影対象者５の顔が、光パターンの照射範囲に含まれると判断する。

ここで、まず、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否かを判定するのに用いるヨー角及びピッチ角について説明する。検出方向Ｄｄｅｔのカメラ座標系のＸＺ平面での所定の方向（ここではＺ軸とする）を基準としたときの角度は、検出時の顔のヨー角に相当し、目標方向Ｄｔａｇのカメラ座標系のＸＺ平面での角度は、目標とする方向を向いているときの顔のヨー角に相当する。また、検出方向Ｄｄｅｔのカメラ座標系のＹＺ平面でのＺ軸を基準としたときの角度は、検出時の顔のピッチ角に相当し、目標方向Ｄｔａｇのカメラ座標系のＹＺ平面での角度は、目標とする方向を向いているときの顔のピッチ角に相当する。これについて、図４を参照して説明する。

図４（Ａ）は、カメラ座標系において、頭部５０をＸＺ平面上でＺ軸負方向を向いた状態から角度Ｄｙだけ回転させた状態を示す。この場合、顔の正面方向を示す矢印Ｎ１は、ＸＺ平面上でＺ軸と角度Ｄｙを形成する。そして、図４（Ａ）に示す状態は、顔の正面がＹ軸を中心としてＺ軸負方向から左に角度Ｄｙだけ回転した状態に等しい。この場合、方向判定部１１３は、矢印Ｎ１が示すヨー角は角度Ｄｙであると認識する。

図４（Ｂ）は、カメラ座標系において、頭部５０をＹＺ平面上でＺ軸負方向を向いた状態から角度Ｄｐだけ回転させた状態を示す。この場合、顔の正面方向を示す矢印Ｎ１は、ＹＺ平面上でＺ軸と角度Ｄｐを形成する。そして、図４（Ｂ）に示す状態は、Ｘ軸を中心として頭部５０を角度Ｄｐだけ回転した状態に等しい。この場合、方向判定部１１３は、矢印Ｎ１が示すピッチ角は角度Ｄｐであると認識する。

次に、ヨー角及びピッチ角に基づき、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否かを判定する方法について具体的に説明する。

まず、方向判定部１１３は、検出方向Ｄｄｅｔ及び目標方向Ｄｔａｇのカメラ座標系のＸＺ平面でのＺ軸に対する角度を、各方向が示すヨー角として認識すると共に、検出方向Ｄｄｅｔ及び目標方向Ｄｔａｇのカメラ座標系のＹＺ平面でのＺ軸に対する角度を、各方向が示すピッチ角として認識する。そして、方向判定部１１３は、認識した各ヨー角の差及び各ピッチ角の差が所定の閾値以下であるか否か判定する。これらの閾値は、同一値であってもよく、ヨー角及びピッチ角ごとにそれぞれ異なっていてもよい。

そして、方向判定部１１３は、認識した各ヨー角の差、及び、各ピッチ角の差がいずれも閾値以下の場合、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致していると判定する。そして、この場合、方向判定部１１３は、判定信号Ｓｊを光源制御部１２に送信して三次元データの生成処理を開始させる。これにより、三次元形状計算部１４は、撮影対象者５の顔の正面に対して、鼻部を中心として左右均等に光パターンを照射した状態の第１撮影画像Ｉｍ１を取得することができ、顔の正面の三次元形状情報Ｉｓを好適に算出することができる。

一方、検出方向Ｄｄｅｔが示すヨー角と目標方向Ｄｔａｇが示すヨー角との差が閾値を超える場合、即ち、撮影対象者５の顔の正面の方向が光源２の方向に対して左右にずれている場合、顔の右部分又は左部分にパターン光が照射されない。従って、この場合に光源２に光パターンを照射させて三次元計測処理を行った場合であっても、三次元計測装置１は、照射されない顔の右部分又は左部分の三次元データを取得することができない。従って、この場合、方向判定部１１３は、判定信号Ｓｊを光源制御部１２及び三次元計測判定部１３に送信しない。

同様に、検出方向Ｄｄｅｔが示すピッチ角と目標方向Ｄｔａｇが示すピッチ角との差が閾値を超える場合、即ち、撮影対象者５の顔の正面の方向が光源２の方向に対して上下にずれている場合、髪の周辺部分又は顎の周辺部分にパターン光が照射されない。従って、この場合に光源２に光パターンを照射させて三次元計測処理を行った場合であっても、三次元計測装置１は、照射されない髪の周辺部分又は顎の周辺の三次元データを取得することができない。従って、この場合、方向判定部１１３は、判定信号Ｓｊを光源制御部１２及び三次元計測判定部１３に送信しない。

［処理フロー］
次に、三次元計測装置１が実行する処理手順について図５を参照して説明する。図５は、本実施例の処理手順を示すフローチャートの一例である。三次元計測装置１は、図５に示すフローチャートの処理を、例えば所定の指示信号を受信した場合に実行する。

まず、三次元計測装置１の撮影画像解析部１１の顔検出部１１１は、カメラ３が生成した撮影画像Ｉｍから顔を検出したか否か判定する（ステップＳ１０１）。そして、撮影画像解析部１１の顔検出部１１１が撮影画像Ｉｍから顔を検出した場合（ステップＳ１０１：Ｙｅｓ）、撮影画像解析部１１の方向検出部１１２は、当該顔の正面の向きを示す検出方向Ｄｄｅｔを算出する（ステップＳ１０２）。この場合、方向検出部１１２は、例えば、カメラ３から取得した撮影画像Ｉｍに基づき、周知の画像認識技術を用いて検出方向Ｄｄｅｔを算出する。

次に、撮影画像解析部１１の方向判定部１１３は、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否か判定する（ステップＳ１０３）。この場合、方向判定部１１３は、上述したように、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが示すピッチ角の差及びヨー角の差がそれぞれ所定の閾値以下であるか否か判定する。

そして、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致する場合（ステップＳ１０３；Ｙｅｓ）、光源制御部１２は、光源２に各光パターンを照射させる（ステップＳ１０４）。具体的には、この場合、方向判定部１１３は、光源制御部１２に検出方向Ｄｄｅｔが目標方向Ｄｔａｇと一致する旨の判定信号Ｓｊを光源制御部１２に送信し、光源制御部１２は、判定信号Ｓｊに基づき、光源２に光パターンを照射させる。そして、三次元形状計算部１４は、各光パターンが照射された第１撮影画像Ｉｍ１に基づき、三次元形状情報Ｉｓを生成する（ステップＳ１０５）。そして、色情報決定部１５は、パターン光が照射されていない第２撮影画像Ｉｍ２に基づき、三次元形状情報Ｉｓに色情報を付加して三次元データを生成する（ステップＳ１０６）。一方、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致しない場合（ステップＳ１０３；Ｎｏ）、三次元計測装置１は、再びステップＳ１０１へ処理を戻す。

このように、三次元計測装置１は、撮影対象者５の顔が所定の方向を向いているときに限り、即ち、撮影対象者５の顔への照射範囲が適切となる場合に限り、パターン光を照射して三次元データを生成することで、鼻部を中心として左右上下均等な範囲の三次元データを好適に生成することができる。

＜第２実施例＞
第２実施例では、光源２が複数存在する場合について説明する。

［光源が２つの場合］
図６（Ａ）は、第２実施例に係る三次元計測システムの平面図を示し、図６（Ｂ）は、当該三次元計測システムの側面図を示す。図６（Ａ）、（Ｂ）に示すように、第２実施例に係る三次元計測システムは、複数の光源２Ａ、２Ｂ及びカメラ３Ａ、３Ｂを有する点で、第１実施例に係る三次元計測システムと異なる。

この構成では、三次元計測装置１の方向判定部１１３は、光源２Ａの向きを示す線８１と、光源２Ｂの向きを示す線８２とがなす角度を二分する方向、即ち矢印Ｎｔａｇが示す方向を、目標方向Ｄｔａｇに定める。ここで、矢印Ｎｔａｇは、図６（Ａ）に示すように、線８１、８２が水平面（即ちカメラ座標系のＸＺ平面）においてなす角を二分し、かつ、図６（Ｂ）に示すように、線８１、８２が鉛直面（即ちカメラ座標系のＹＺ平面）においてなす角を二分する方向を指す。この場合、まず、方向判定部１１３は、予めメモリに記憶された光源２Ａ、２Ｂの位置及び向きの情報に基づき、線８１、８２が示す各方向を認識する。その後、方向判定部１１３は、これらがなす角を水平面及び鉛直面において二分する矢印Ｎｔａｇが示す方向を、目標方向Ｄｔａｇとして算出する。なお、仮に光源２Ａ、２Ｂの向きが平行である場合には、方向判定部１１３は、光源２Ａ、２Ｂの向きと平行な向きを目標方向Ｄｔａｇに定める。

そして、三次元計測装置１は、上述のようにして算出した目標方向Ｄｔａｇを用いて、第１実施例と同様、図５に示すフローチャートを実行することで、三次元データを生成する。これにより、三次元計測装置１は、撮影対象者５の顔の正面の三次元データを左右上下均等な範囲で欠損部分を最小限にして取得することができる。

ここで、第２実施例における図５のフローチャートの処理について補足説明する。まず、ステップＳ１０１において、顔検出部１１１がカメラ３Ａ、３Ｂの少なくともいずれか一方の撮影画像に基づき顔を検出した場合、方向検出部１１２は、ステップＳ１０２でカメラ３Ａ、３Ｂの少なくともいずれか一方のカメラ座標系における検出方向Ｄｄｅｔを算出する。そして、ステップＳ１０３で、方向判定部１１３は、算出した検出方向Ｄｄｅｔと、当該検出方向Ｄｄｅｔと同一のカメラ座標系で表された目標方向Ｄｔａｇとが一致するか否か判定する。そして、検出方向Ｄｄｅｔと同一のカメラ座標系で表された目標方向Ｄｔａｇとが一致する場合、三次元計測装置１は、ステップＳ１０４乃至ステップＳ１０６を実行して三次元データを生成する。

［光源が３つ以上の場合］
次に、光源２が３つ以上存在する場合について説明する。この場合、方向判定部１１３は、目標方向Ｄｔａｇを、撮影対象者５の左右方向（即ちカメラ座標系のＸ軸）及び上下方向（即ちカメラ座標系のＹ軸）のそれぞれで端に位置する光源２の位置及び向きに基づき決定する。

具体的には、まず、方向判定部１１３は、メモリに記憶された各光源２の位置情報又は／及び向きの情報に基づき、撮影対象者５の左右方向において、最も左端及び右端に位置する２つの光源２をそれぞれ認識する。そして、方向判定部１１３は、認識した各光源２の向きがなす角を水平面において二分する方向を、目標方向Ｄｔａｇの水平面における向きとして認識する。同様に、方向判定部１１３は、メモリに記憶された各光源２の位置情報又は／及び向きの情報に基づき、撮影対象者５の上下方向において、最も上端及び下端に位置する２つの光源２をそれぞれ認識する。そして、方向判定部１１３は、認識した各光源２の向きがなす角を鉛直面において二分する方向を、目標方向Ｄｔａｇの鉛直面における向きとして認識する。

そして、三次元計測装置１は、上述のようにして算出した目標方向Ｄｔａｇを用いて、光源２が２つの場合と同様に、図５に示すフローチャートを実行することで、三次元データを生成する。これにより、三次元計測装置１は、撮影対象者５の顔の正面の三次元データを左右上下均等な範囲で欠損部分を最小限にして取得することができる。

＜変形例＞
以下、上述の第１及び第２実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の各実施例に適用してもよい。

（変形例１）
第１及び第２実施例では、方向検出部１１２は、顔の正面方向（図３の矢印Ｎ１参照）を検出方向Ｄｄｅｔとして認識した。これに代えて、方向検出部１１２は、三次元計測装置１が顔の正面以外の範囲の三次元データを取得することを目的とする場合、当該範囲の方向を検出方向Ｄｄｅｔとして検出してもよい。これについて、図７を参照して詳しく説明する。図７は、撮影画像Ｉｍに表示された頭部５０を示す。

例えば、三次元計測装置１が耳部５２を中心とした頭部５０の左側面の三次元データを取得することを目的とする場合、方向検出部１１２は、図７の矢印Ｎ３が示す方向を、検出方向Ｄｄｅｔとして認識する。即ち、この場合、方向検出部１１２は、頭部５０の左側面方向を、検出方向Ｄｄｅｔとして認識する。

他の例では、三次元計測装置１が頭部５０の髪部５３を中心とした範囲の三次元データを取得することを目的とする場合、方向検出部１１２は、図７の矢印Ｎ４が示す方向を、検出方向Ｄｄｅｔとして認識する。即ち、この場合、方向検出部１１２は、頭部５０の上面方向を、検出方向Ｄｄｅｔとして認識する。

そして、これらの例の場合であっても、三次元計測装置１は、第１実施例と同様、図５に示すフローチャートに基づき、検出方向Ｄｄｅｔが目標方向Ｄｔａｇと一致する場合に、光パターンを光源２から出射して三次元データを生成する。これにより、三次元計測装置１は、顔の正面以外の範囲の三次元データについても、好適に取得することができる。

（変形例２）
方向判定部１１３は、ピッチ角及びヨー角に加えて、カメラ座標系のＸＹ平面における顔の傾き角であるロール角を、判定信号Ｓｊの送信の有無を判定するための判断要素に加えてもよい。

図８は、カメラ座標系において撮影対象者５の頭部５０の位置を模式的に示した図である。図８の例では、頭部５０のＸＹ平面における中心軸は線８６であり、この場合のＹ軸正方向を基準とする頭部５０のロール角は、線８６及びＹ軸に平行な線８５とがなす角である角度Ｄｒに相当する。

この場合、方向判定部１１３は、角度Ｄｒの大きさが所定の閾値以上の場合には、検出方向Ｄｄｅｔが目標方向Ｄｔａｇと一致している場合であっても、判定信号Ｓｊを光源制御部１２及び三次元計測判定部１３に送信しない。上述の閾値は、後述するように、三次元データの生成後の後処理で種々の不都合が生じない値に実験等に基づき予め設定される。

一般に、図８に示すように頭部５０がＹ軸に対して傾いている場合であっても、撮影対象者５の顔に照射される光パターンの範囲は変化しないため、三次元計測装置１は、目標となる範囲での三次元データを取得することができる。しかし、頭部５０がＹ軸に対して傾くロール角が大きい場合に算出された三次元データは、後処理を行う場合に種々の不都合が生じることが知られている。なお、後処理は、例えば、カメラ３とは異なる視点方向において、特定の軸に対して伸縮するスケーリング処理などが該当する。

以上を勘案し、方向判定部１１３は、顔検出部１１１が検出した顔の表示領域に基づき頭部５０のＸＹ平面でのＹ軸に対するロール角である角度Ｄｒを算出し、当該角度Ｄｒの大きさが所定の閾値を超える場合、判定信号Ｓｊを光源制御部１２に送信しない。なお、この場合、例えば、方向判定部１１３は、顔検出部１１１が検出した顔の表示領域を楕円と見なし、その長径方向とＹ軸とのＸＹ平面における角度差を角度Ｄｒとして算出する。

（変形例３）
三次元計測システムは、撮影対象者５の顔の向きを誘導してもよい。図９は、本変形例に係る三次元計測システムの構成を示す。図９に示すように、変形例に係る三次元計測システムは、音声又は／及び画像を出力する出力装置４を有する。そして、この構成では、三次元計測装置１の方向判定部１１３は、図５のフローチャートのステップＳ１０３で検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致しないと判断した場合に、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとのずれ幅が小さくなるように顔の正面の向きを指示する音声又は画像を、出力装置４に出力させる。これにより、三次元計測装置１は、撮影対象者５の顔の正面の向きを、三次元計測に適した方向に好適に向かせて三次元計測を速やかに開始することができる。この場合、方向判定部１１３及び出力装置４は、本発明における「誘導手段」の一例である。

（変形例４）
光源２は、三次元計測装置１の制御に基づき移動自在であり、三次元計測装置１の方向判定部１１３は、図５のフローチャートのステップＳ１０３で検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致しないと判断した場合に、光源２を移動させてもよい。この場合、方向判定部１１３は、例えば、光源２が移動可能な位置と、当該位置の各々に適した目標方向Ｄｔａｇとのマップを予め記憶しておき、当該マップを参照して、算出した検出方向Ｄｄｅｔに最も近い目標方向Ｄｔａｇに対応する位置に光源２を移動させる。これにより、三次元計測装置１は、目標方向Ｄｔａｇを検出方向Ｄｄｅｔに好適に近づけ、三次元計測を好適に開始することができる。この場合、方向判定部１１３は、本発明における「光源移動手段」の一例である。

（変形例５）
三次元計測装置１が三次元計測する対象は人に限定されない。これに代えて、三次元計測装置１は、人以外の物体又は当該物体の一部を対象にして三次元計測を行ってもよい。この場合であっても、三次元計測装置１は、撮影画像Ｉｍより三次元計測の対象となる物体又は当該物体の一部を検出した場合に、当該物体又はその一部の向きを示す検出方向Ｄｄｅｔを算出し、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致した場合に、三次元計測を行う。これにより、三次元計測装置１は、任意の物体又はその一部を対象にした場合であっても、好適にその三次元データを生成することができる。

（変形例６）
光源２は、赤外線などの可視光以外の波長を有する光による光パターンを照射する光源であり、かつ、カメラ３は、赤外線カメラなどの対象の光を撮影可能なカメラであってもよい。この場合、三次元計測装置１は、上述のカメラから送信される撮影画像Ｉｍに基づき、上述した第１又は第２実施例と同様の処理を行う。

（変形例７）
方向検出部１１２は、撮影画像Ｉｍに基づき検出方向Ｄｄｅｔを算出する代わりに、撮影対象者５の顔の向きを検出するセンサの出力に基づき、検出方向Ｄｄｅｔを決定してもよい。この場合、三次元計測装置１は、撮影対象者５の頭部に付けられたセンサと電気的に接続し、当該センサから送信された検出信号に応じて検出方向Ｄｄｅｔを定める。

他の例では、方向検出部１１２は、検出方向Ｄｄｅｔを定める場合、光源２に撮影対象者５の顔の鼻部を通るライン光を照射させ、当該ライン光が照射された時に撮影した撮影画像Ｉｍに基づき、検出方向Ｄｄｅｔを算出してもよい。一般に、ライン光の照射状態に応じて鼻部の向きを認識することが可能であり、かつ、顔の向きと鼻部の向きとは略一致する。従って、この態様によっても、方向検出部１１２は、検出方向Ｄｄｅｔを好適に算出することができる。

（変形例８）
方向判定部１１３は、過去に取得された撮影画像Ｉｍでの検出方向Ｄｄｅｔの時系列での変化を認識することで、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否かを判定してもよい。例えば、方向判定部１１３は、上述の時系列の変化が、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとのずれが小さくなる方向への変化である場合に、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとのピッチ角の差及びヨー角の差がそれぞれ閾値以下になると推測される時刻に、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致したと判定する。このように、方向判定部１１３は、過去に取得された撮影画像Ｉｍを用いることによっても、好適に、撮影対象者１の顔が望ましい方向に向いたか否か判定することができる。

（変形例９）
三次元計測装置１は、撮影対象者５の顔の計測時において、顔の位置が遷移したか否かさらに判定し、顔の位置が遷移したと判断した場合には、計測処理を停止してもよい。この場合、例えば、撮影画像解析部１１は、撮影画像Ｉｍ中の時系列における顔の表示領域の遷移を検知し、計測開始から顔表示領域が所定画素分以上遷移した場合に、計測処理を停止する。他の例では、撮影対象者５の頭部に位置を検知するためのセンサが取り付けられ、三次元計測装置１は、当該センサの移動量を検知することで、顔の位置が所定の移動量以上移動した場合に、計測処理を停止する。そして、この場合、三次元計測装置１は、例えば、撮影対象者５の顔が所定時間以上静止したと判断したときに、再び計測処理を開始する。

（変形例１０）
三次元計測システムは、照明をさらに有し、計測環境の明るさを制御してもよい。図１０は、本変形例に係る三次元計測システムの構成を示す。図１０に示すように、三次元計測システムは、撮影対象者５の顔を照らす照明６を有する。そして、三次元計測装置１は、照明６の光量を制御する照明制御部１６を有する。そして、照明制御部１６は、例えば、光パターンを照射する第１撮影画像Ｉｍ１の撮影時には、照明６をオフにすることで、顔の計測環境を暗くする。一方、照明制御部１６は、第２撮影画像Ｉｍ２の撮影時には、照明６をオンにすることで、顔の計測環境を明るくする。このように、照明制御部１６は、第１撮影画像Ｉｍ１の撮影時には、第２撮影画像Ｉｍ２の撮影時よりも、第１撮影画像における顔の輝度が小さくなるように照明６を制御する。これにより、照明制御部１６は、光パターンの照射の有無に基づく輝度差を大きくすると共に、三次元形状情報Ｉｓが示す各位置における色情報を高精度に取得することができる。

（変形例１１）
図５のフローチャートの説明では、ステップＳ１０３で検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致する場合のみ、光源制御部１２は、ステップＳ１０４で光源２に各光パターンを照射させた。しかし、本発明が適用可能な方法は、これに限定されない。

これに代えて、光源制御部１２は、ステップＳ１０３で検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致するか否かに関わらず、光源２に各光パターンを照射させてもよい。そして、この場合、三次元形状計算部１４は、検出方向Ｄｄｅｔと目標方向Ｄｔａｇとが一致する場合のみ、各光パターンが照射された第１撮影画像Ｉｍ１に基づき、三次元形状情報Ｉｓを生成する。これによっても、三次元計測装置１は、撮影対象者５の顔が所定の方向を向いているときに限り、三次元データを生成し、鼻部を中心として左右上下均等な範囲の三次元データを好適に生成することができる。

１ 三次元計測装置
２ 光源
３ カメラ
４ 出力装置
５ 撮影対象者
６ 照明

Claims (11)

1. 三次元形状を計測する光を光源から照射させる照射手段と、
   前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段と、
   を備える三次元計測装置。
2. 前記計測手段は、前記計測部位が前記光の照射範囲に含まれ、かつ、前記計測部位が前記光の照射方向を向いている撮影画像に基づき、前記計測部位の三次元形状を計測することを特徴とする請求項１に記載の三次元計測装置。
3. 前記計測手段は、前記光源が複数存在する場合、前記計測部位の左右方向に対して両端に存在する光源の前記光の照射方向がなす角を水平面において二分する方向、かつ、前記計測部位の上下方向において両端に存在する光源の前記光の照射方向がなす角を前記水平面と垂直な面において二分する方向に、前記計測部位が向いている撮影画像に基づき、前記計測部位の三次元形状を計測することを特徴とする請求項２に記載の三次元計測装置。
4. 前記計測部位が前記光の照射範囲に含まれない場合に、前記計測部位が前記照射範囲に含まれるように誘導する誘導手段をさらに有することを特徴とする請求項２又は３に記載の三次元計測装置。
5. 前記計測部位が前記光の照射範囲に含まれない場合に、前記計測部位が前記照射範囲に含まれるように前記光源を移動させる移動手段をさらに有することを特徴とする請求項２乃至４のいずれか一項に記載の三次元計測装置。
6. 前記計測手段は、前記計測部位のヨー角又はピッチ角が、所定範囲に含まれる場合、前記撮影画像に基づき、前記計測部位の三次元形状を計測することを特徴とする請求項２乃至５のいずれか一項に記載の三次元計測装置。
7. 前記計測手段は、前記計測部位のロール角が、所定範囲に含まれる場合、前記撮影画像に基づき、前記計測部位の三次元形状を計測することを特徴とする請求項６に記載の三次元計測装置。
8. 照射されていない前記計測部位の撮影画像に基づき、前記三次元形状が示す位置における色情報を決定する色情報決定手段をさらに有することを特徴とする請求項１乃至７のいずれか一項に記載の三次元計測装置。
9. 情報処理装置が実行する制御方法であって、
   三次元形状を計測する光を光源から照射させる照射工程と、
   前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測工程と、
   を有することを特徴とする制御方法。
10. 情報処理装置が実行するプログラムであって、
    三次元形状を計測する光を光源から照射させる照射手段と、
    前記光に照射された対象体の三次元計測を行う計測部位の向きが、前記光の照射方向に適切な撮影画像に基づき、前記計測部位の三次元形状を計測する計測手段
    として前記情報処理装置を機能させることを特徴とするプログラム。
11. 請求項１０に記載のプログラムを記憶したことを特徴とする記憶媒体。

Images