JP2003057017A - 三次元物体の測定装置 - Google Patents

Abstract

(57)【要約】 【課題】 人や動物等の三次元形状が動的に変化する被
測定三次元物体の色情報と三次元情報と表面形状の変位
量情報とを検出する。可視光によって顔の肌色等の表面
の色情報を測定できるとともに、動いている顔の形状変
化を測定し、所望の画像処理を施す。 【解決手段】 動きのある人や動物等の三次元形状の変
化とともにその表面の色情報を同時に捉えるように、可
視光の撮影手段により表面の色情報を捉え、任意波長の
光を用いる撮影手段および撮影タイミングの制御手段に
よって、三次元形状を測定するとともに、動きによる表
面形状の変位量を測定する。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、人や動物等の動き
を伴う被測定物体の三次元形状の測定を行う技術に関す
る。本発明は、人や動物等、物体形状が動的に変化する
三次元物体の形状変化を時間連続に捉え、同時に表面色
および動きの変位量も計測し、それらに対してコンピュ
ータグラフィクス（以下ＣＧという）技術を適用して仮
想的な動画像を作成するシミュレーション装置に利用さ
れる。本発明は、メイクシミュレーション装置に利用す
るために開発されたものであるが、映画やゲームのキャ
ラクター等、捉えられた物体像に種々の画像処理を施し
て動きのある仮想の合成画像を作成する画像処理技術に
適用できる。

【０００２】

【従来の技術】出願人は、被験者の顔画像を撮影し、こ
の撮影した顔画像に、被験者が希望するタイプの化粧デ
ータを合成した顔画像を作成する化粧アドバイスシステ
ムを開発して特許出願した。

【０００３】この技術は、被験者をカメラにより撮影
し、この撮影された被験者の顔画像に対して希望するタ
イプの化粧による顔の変化をあらわす化粧データを被験
者の顔画像に適合するように変形して合成し、被験者の
化粧した場合の顔の様子を表示し、適切な化粧方法をア
ドバイスするものである。

【０００４】この出願人の先願は、被験者の静止した画
像に対して行うものであり、いわば一枚の画像に対して
化粧のシミュレーションを行うものであった。

【０００５】ところで、人間の表情は、微妙な動きの中
で現れるものであり、単に静止画像として表されてもそ
れは動きのうちの一部を切り取ったものであるから、化
粧の仕上がり具合を評価または判断するメイクシミュレ
ーションも動画像として表すことが望まれる。

【０００６】また、ＣＧ技術において、表される人体や
動物等の三次元形状をパッチの集合として表し、これに
レンダリングによってテクスチャ等の表面色情報を付与
することにより、所望の三次元の物体を仮想的に構築す
る技術が知られている。

【０００７】

【発明が解決しようとする課題】静止した人体等の三次
元物体の表面凹凸を非接触式の三次元形状測定装置によ
り、その三次元形状のデータを得る技術は知られてい
る。例えば、顔に関する研究ではレーザ光を用いて顔の
三次元情報を得ることは知られている。しかし、レーザ
光照射による三次元形状測定は一回の計測に時間がかか
るため、静止物体や、一時的に静止状態にある物体の三
次元形状しか計測することができない。

【０００８】このため、より高速かつ連続に人の顔の三
次元形状を測定するものとして、スリットやメッシュ等
のパターン光を人の顔に投影し、そのパターン光が投影
された人物を異なる位置に配置した複数のビデオカメラ
で撮影し、撮影した複数の顔画像およびビデオカメラ位
置等の情報から、顔の三次元情報を復元する技術が開発
されている。例えば、特開平１１−１０８６３０号公報
には、スリット光の投影により顔の三次元形状を測定す
る技術が開示されている。この測定方法において１回の
計測時間は撮影するビデオカメラのシャッタースピード
に依存し、通常ビデオレート（３０フレーム／秒）を指
す。１０００フレーム／秒の高速度カメラ等も使用する
ことができる。

【０００９】しかし、このようなパターン光を投影して
表情の変化を伴う顔の三次元形状を時間連続に測定しよ
うとしても、パターン光を撮影して撮影したフレーム毎
の顔の三次元形状を捉えることはできるが、連続時間で
計測した複数の三次元形状の同一部位の三次元座標を追
跡して捉えることはできない。

【００１０】本発明は、このような問題を解決するもの
で、人や動物等の三次元形状が時間連続に変化する被測
定三次元物体の三次元形状情報と表面色情報と表面形状
の変位量情報を同時に計測することができる三次元物体
の測定装置を提供することを目的とする。本発明は、動
きを検出するマーカを人や動物等の物体表面に付与し
て、マーカの計測を、肌や皮膚等の表面の色情報、およ
び、物体の三次元形状情報の計測と独立に行えるよう
に、それぞれの測定の撮影光周波数あるいは時間タイミ
ングをかえて、人や動物等の動きを検出しながら、物体
表面の色および三次元形状の測定を実現することを目的
とする。本発明は、可視光によって顔の肌色等表面の色
情報を測定できるとともに、時間連続に変化している顔
の形状変化を測定し、顔の形状および動きに関する三次
元情報を色情報である二次元画像に同一の画角で投影し
ＣＧ合成可能な情報に変換することにより、三次元形状
に色情報をマッピングするなど所望の画像処理を施すこ
とができるメイクシミュレーション装置を提供すること
を目的とする。

【００１１】

【課題を解決するための手段】本発明では、人や動物等
の肌や皮膚（以下、生体）の三次元形状の時間連続な変
化とともにその表面の色情報を同時に捉えるように、人
の目と同じ感度領域である可視光の撮影手段により表面
の色情報を捉え、撮影光として生体に無害な可視光以外
の光を用いる撮影手段により、三次元形状を測定すると
ともに、動きによる表面形状の変位を測定する。すなわ
ち、３つの撮影手段の光波長領域を分けるように用いる
ことで、時間連続に変化する生体の三次元情報および表
面色情報を測定する。

【００１２】あるいは、表面の色情報を可視光の撮影手
段により捉え、それと同じタイミングで生体に無害な可
視光外の撮影光を用いて、三次元形状あるいは表面形状
の変位を測定し、色情報の測定タイミング以外の時間
で、生体に無害な任意の波長の撮影光を用いて残り１つ
の情報を測定する。すなわち、可視光による表面色情報
測定に対して時分割および周波数分割により三次元形状
情報と表面形状の変位量情報を測定する。

【００１３】本発明では、生体の無害な撮影光として赤
外光および紫外光を用いた。生体の負担を考慮して、赤
外光や紫外光はある距離から短時間照射し、その照射量
を調整した。

【００１４】また、赤外光、紫外光ともに光の直進性が
可視光と同程度であるため、生体表面に鮮明なパターン
光を投影することができ、濃淡のはっきりした画像を撮
影することができる。

【００１５】具体的には、表面の色情報の測定は可視光
で行い、マーカを用いる動きの測定は、例えば、紫外光
を反射して可視光および赤外光を反射しないマーカを生
体に付与してビデオカメラで撮影して動きを検出する。
三次元形状の測定は、例えば、マーカの動きおよび表面
の色情報の測定と同期して行うようにするか、あるい
は、パターン光やスリット光を赤外光の領域で投影して
マーカの動きおよび表面の色情報の測定と交互に時分割
で測定する。あるいは、可視光領域でのパターン光投影
による三次元形状測定を、マーカの動きの測定および表
面の色情報の測定と時分割により行う。

【００１６】すなわち、本発明は、人または動物を含
み、時間連続に変形する被測定物体の三次元形状の測定
装置であって、本発明の特徴とするところは、被測定物
体をビデオカメラで撮影して二次元のカラー画像として
表面の色情報を時間連続に計測する表面色計測手段と、
被測定物体を複数のビデオカメラで同時に撮影してその
撮影された複数の画像からフレーム毎の被測定物体の三
次元形状を復元する形状計測手段と、被測定物体表面に
設けられたマーカをビデオカメラで撮影してマーカ位置
をフレーム間で追跡することにより被測定物体の表面形
状の経時変位量を計測する動き計測手段と、前記表面色
計測手段と前記形状計測手段と前記動き計測手段を時分
割あるいは周波数分割する制御手段と、前記形状計測手
段および前記動き計測手段で得られた三次元形状および
表面形状の経時変位量を前記表面色計測手段で得られた
画像に同一の画角で投影する手段とを備えたところにあ
る。

【００１７】前記表面色計測手段の撮影光を可視光と
し、前記三次元形状計測手段の撮影光および前記動き計
測手段の撮影光を赤外光あるいは紫外光とし、前記マー
カは、それぞれ、紫外光は反射するが可視光および赤外
光は反射しない材料、赤外光は反射するが可視光および
紫外光は反射しない材料を用いることにより、前記表面
色計測手段および前記形状計測手段および前記動き計測
手段のそれぞれの計測手段による計測を同期して行うこ
とができる。

【００１８】あるいは、前記表面色計測手段および前記
動き計測の撮影光は可視光とし、前記形状計測手段の撮
影光は赤外光とし、前記マーカとして生体に安全な特定
周波数の光に対して可視光を発光する材料を用い、前記
表面色計測手段および前記動き計測の撮影を時分割で行
う手段を備えることによって前記表面色計測手段および
前記形状計測手段および前記動き計測手段のそれぞれの
計測手段による計測をほぼ同時に並行して行うことがで
きる。

【００１９】

【発明の実施の形態】本発明実施例の三次元物体の測定
装置およびメイクシミュレーション装置を図１〜図６を
参照して説明する。図１は本発明第一実施例の三次元物
体の測定装置の構成図である。図２は本発明実施例のマ
ーカを説明するための図である。図３は被測定物体に投
影されたメッシュパターンを示す図である。図４は本発
明第二実施例の三次元物体の測定装置の構成図である。
図５は本発明第三実施例のメイクシミュレーション装置
の全体構成図である。図６は本発明第三実施例のメイク
シミュレーション装置の処理の流れを示す図である。

【００２０】（第一実施例）本発明第一実施例の三次元
物体の測定装置を図１ないし図３を参照して説明する。
本発明は、時間的に連続して変形する被測定物体１０の
測定装置であって、本発明の特徴とするところは、図１
に示すように、被測定物体１０を撮影して表面の色情報
を計測する表面色計測装置１と、被測定物体１０を複数
の撮影装置で同時に撮影してその撮影された複数の画像
から被測定物体１０の三次元形状を復元する形状計測装
置２と、図２に示すように、被測定物体１０の表面に設
けられたマーカ２０を撮影して被測定物体１０の表面形
状の経時変位量を計測する動き計測装置３と、形状計測
装置２と動き計測装置３とで測定された被測定物体１０
の三次元情報を表面色計測装置１で測定された被測定物
体１０の画像に同一の画角で投影する画像合成装置４
と、表面色計測装置１および形状計測装置２および動き
計測装置３を同期させるための信号を発生する同期信号
発生器６を備えたところにある。

【００２１】本発明の三次元物体の測定装置では、表面
色計測装置１の撮影光を可視光とし、形状計測装置２の
撮影光を赤外光とし、動き計測装置３の撮影光を紫外光
とし、それぞれの計測装置に用いた撮影装置は、任意の
波長を透過するバンドパスフィルタと任意の波長に高感
度なＣＣＤカメラを用いる。マーカ２０は紫外光は反射
するが、可視光および赤外光は反射しない材料を用い
る。また、三次元形状の計測のために図３に示すよう
に、被測定物体１０に赤外光のメッシュパターンを投影
する。

【００２２】これにより、表面色の測定には可視光を用
いることにより、人の目の感覚に近い表面色の測定を行
うことができる。さらに、形状計測および動き計測に
は、それぞれ赤外光および紫外光を用いることにより、
三種類の測定を同時に行っても互いに干渉することがな
く、人体にも害なく測定できる。なお、マーカ２０の材
質としては、パール顔料を用いた。

【００２３】（第二実施例）本発明第二実施例の三次元
形状の測定装置を図４を参照して説明する。第二実施例
では、図４に示すように、表面色計測装置１と動き計測
装置３との撮影光を可視光とし、形状計測装置２の撮影
光を赤外光とし、マーカ２０として紫外光を照射すると
可視光領域で発光する材料を用い、表面色計測装置１と
動き計測装置３との撮影を時分割に交互に行うよう制御
する時分割制御装置５と、表面色計測装置１および形状
計測装置２および動き計測装置３を同期させるための信
号を発生する同期信号発生器６を備える。第二実施例で
は、被測定物体１０に投影するメッシュパターンは赤外
光とする。また、計測の時間分解能は第一実施例の半分
になるが、感度領域の異なる二種類のバンドパスフィル
タとＣＣＤカメラを用いることで表現できる。

【００２４】第一および第二実施例では、図示はしてい
ないが光源として可視光、赤外光、紫外光の３種類の光
源が必要となる。また第二実施例では、紫外光の照射は
形状計測装置２の撮影タイミングのみ行うよう時分割制
御装置５で制御する。

【００２５】また、第一および第二実施例で説明した三
次元物体の測定装置における被測定物体１０は、人や動
物等の生体を想定している。

【００２６】（第三実施例）本発明第三実施例を図５お
よび図６を参照して説明する。第三実施例は、第一およ
び第二実施例で説明した本発明の三次元物体の測定装置
を応用したメイクシミュレーション装置である。

【００２７】すなわち、本実施例は、メイクシミュレー
ション装置であって、本実施例の特徴とするところは、
図１〜図４に示す被測定物体１０が被験者の顔であり、
表面色計測装置１により、化粧を施す前の被験者の顔画
像を可視光で撮影して被験者の顔の色情報を計測し、形
状計測装置２により被験者の顔を複数の位置から同時に
撮影してこの複数の撮影された画像から被験者の顔の三
次元形状情報を復元し、動き計測装置３により、被験者
の顔を撮影して被験者の顔形状の経時変位量を計測し、
画像合成装置４により表面色計測装置１および形状計測
装置２および動き計測装置３から計測された被験者の顔
に関する各種情報と化粧データから所望の化粧を施した
合成画像を作成し、動き計測装置３は被験者の顔に付与
したマーカ２０を撮影して被験者の顔表面形状の経時変
位量を計測し、時分割制御装置５は動き計測装置３によ
るマーカ２０の動きを検出するための撮影と表面色計測
装置１による顔の色情報を抽出するための撮影とを時分
割で制御し、同期信号発生器６は表面色計測装置１およ
び形状計測装置２および動き計測装置３の同期をとるた
めの信号を発生し、マーカ２０は紫外光を照射すると可
視光領域で発光する材料を用いたところにある。制御部
３１は各部の動作を制御する。

【００２８】第三実施例のメイクシミュレーション装置
の動作を図６および図７を参照して説明する。被験者の
顔を本発明の三次元物体の測定装置３０である表面色計
測装置１および形状計測装置２および動き計測装置３に
より撮影する（Ｓ１）。

【００２９】表面色計測装置１では、被験者の化粧を施
す前の顔を可視光で撮影することにより、素肌の色およ
び化粧品の塗布領域等表面特性に関する情報を計測す
る。形状計測装置２では、被験者の顔の表面凹凸等立体
形状に関する情報を計測する。動き計測装置３では、被
験者の顔に付与したマーカ２０を追尾することにより顔
表面形状の経時変位量を計測する。これら三種類の計測
はほぼ同時に並行して行われる（Ｓ２）。

【００３０】次に、メモリ３２に蓄積された多数の化粧
データの中から所望する化粧データを入力装置３５の操
作により選択し（Ｓ３）、この化粧データを形状測定装
置２により計測された三次元形状情報に基づいて被験者
の素顔顔画像に合致するように加工する（Ｓ４）。化粧
データとは、口紅やファンデーションなどの色に関する
データである。

【００３１】この被験者の素顔画像に合致するように加
工された化粧データは、化粧顔画像合成装置３３により
合成され（Ｓ５）、表示部３４に表示される（Ｓ６）。

【００３２】これにより、被験者の顔画像の動きに応じ
て合成された化粧顔画像も動くことが可能となり、様々
な顔の向きや表情の変化における所望の化粧の効果をシ
ミュレーションにより確認することができる。

【００３３】

【発明の効果】以上説明したように、本発明によれば、
撮影を時分割あるいは周波数分割で行うことにより、人
や動物等、時間連続に変形する被測定三次元物体の表面
色情報および三次元形状情報および表面形状の経時変位
量とを同時に計測することができる。可視光によって顔
の肌色等の表面色情報を測定できるとともに、任意波長
の撮影光により、動いている顔の形状変化を測定するこ
とで、顔に対する所望の画像処理を施すことができるよ
うになる。

【図面の簡単な説明】

【図１】本発明第一実施例の三次元物体の測定装置の構
成図。

【図２】本発明実施例のマーカを説明するための図。

【図３】被測定物体に投影されるメッシュを示す図。

【図４】本発明第二実施例の三次元物体の測定装置の構
成図。

【図５】本発明第三実施例のメイクシミュレーション装
置の全体構成図。

【図６】本発明第三実施例のメイクシミュレーション装
置の処理の流れを示す図。

【符号の説明】

１ 表面色計測装置 ２ 形状計測装置 ３ 動き計測装置 ４ 画像合成装置 ５ 時分割制御装置 ６ 同期信号発生器 １０ 被測定物体 ２０ マーカ ３０ 測定装置 ３１ 制御部 ３２ メモリ ３３ 化粧顔画像合成装置 ３４ 表示部 ３５ 入力装置

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１３年８月３１日（２００１．８．３
１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００２８

【補正方法】変更

【補正内容】

【００２８】第三実施例のメイクシミュレーション装置
の動作を図５および図６を参照して説明する。被験者の
顔を本発明の三次元物体の測定装置３０である表面色計
測装置１および形状計測装置２および動き計測装置３に
より撮影する（Ｓ１）。

Claims (3)

【特許請求の範囲】
1. 【請求項１】 人または動物を含み、時間的に連続して
   変形する被測定物体の三次元形状を時間連続で測定する
   装置であって、 被測定物体を撮影して被測定物体表面の色情報を計測す
   る表面色計測手段と、 被測定物体を複数の撮影装置で同時に撮影してその撮影
   された複数の画像から被測定物体の三次元形状を復元す
   る形状計測手段と、 被測定物体表面に設けられたマーカを撮影して被測定物
   体の表面形状の経時変位量を計測する動き計測手段と、 前記表面色計測に対して前記形状計測と前記動き計測の
   タイミングを時分割あるいは計測に使用する撮影光を周
   波数分割する制御手段と、 前記形状計測と前記動き計測で得られた三次元情報を前
   記表面色計測で得られた画像に同一の画角で投影する手
   段とを備えた三次元物体の測定装置。
2. 【請求項２】 前記表面色計測手段の撮影光を可視光と
   し、前記三次元形状計測手段の撮影光を赤外光とし、前
   記動き計測手段の撮影光を紫外光とし、 前記マーカは紫外光は反射するが、可視光および赤外光
   は反射しない材料を用いる請求項１記載の三次元物体の
   測定装置。
3. 【請求項３】 被験者の顔画像を可視光で撮影して被験
   者の顔の色情報を計測する第一の顔画像測定手段と、 被験者の顔を複数の撮影装置で同時に撮影して被験者の
   顔の三次元形状情報を抽出する第二の顔画像測定手段
   と、 被験者の顔を撮影して被験者の顔形状の経時変位量を抽
   出する第三の顔画像測定手段とを備え、 前記第二の顔画像測定手段は、撮影された複数の画像か
   ら被験者の顔の三次元形状を復元する手段を含み、 前記第三の顔画像測定手段は、被験者の顔に付与したマ
   ーカを撮影して被験者の顔形状の経時変位量を検出する
   手段を含み、 前記第一および第二の顔画像測定手段は、顔の表面色情
   報の撮影と、顔の三次元形状を復元するための撮影とを
   周波数分割で行う手段を備え、 前記第一および第三の顔画像測定手段は、顔の表面色情
   報の撮影と、前記マーカの動きを検出するための撮影と
   を時分割で行う手段を備え、 前記マーカは可視光は透過あるいは吸収するが、特定周
   波数領域の光に対して可視光を反射する材料を用いた請
   求項１記載の三次元物体の測定装置。