JP2003187230A - 撮影画像処理装置および化粧シミュレーション装置 - Google Patents

Abstract

(57)【要約】 【課題】 撮影画像から外光の影響を除去する。照明光
の変調および撮影タイミングの制御が簡単な構成を提供
する。非定常的な外光のある環境でも再現性のよい化粧
シミュレーションを行って被験者に提供する。顧客であ
る被験者の拘束時間を短くする。 【解決手段】 対象物体を撮影する際の照明光を明およ
び暗の双方の状態を含むように変調し、前記照明光の明
および暗状態で複数の画像をそれぞれ撮影する。この撮
影された複数の画像を解析することにより、そこに含ま
れる外光の変動周期を計算し、この計算結果に基づき前
記照明光の明および暗状態の双方の画像の中から前記外
光の撮影条件が同一となる画像を選択する。この選択さ
れた二つの画像の差分をとる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人や物体などを撮
影したときに外光の影響を取り除く技術に関する。本発
明は顧客の顔画像を撮影して化粧シミュレーションを行
ってアドバイスを行うシステムのために開発されたもの
であるが、撮影時の外光の影響を取り除いて撮影物体の
正確な表面色、特に人の皮膚、肌色などを正確に再現す
ることができる技術に利用する。

【０００２】

【従来の技術】出願人は被験者の顔画像を撮影し、この
撮影した顔画像に化粧を施すシミュレーションを行って
その結果を出力して、化粧のアドバイスを行うメイクア
ドバイスシステムを実用化している。

【０００３】このようなメイクシミュレーションシステ
ムでは、被験者の顔画像を正確に再現するために照明光
についても考慮が必要である。従来のシステムでは、外
光の影響を小さくするために規定の照明光のみを用いて
撮影した画像を用いるようにしている。

【０００４】というのは、撮影時に外光が係わってくる
と、その外光の影響により撮影時の被験者の顔画像の肌
色などが正確に再現できないからである。光照度が一定
で波長分布が既知の照明光だけで撮影すれば取り込む画
像は均一になるが、外光は照度、色（波長）などが変動
するものであるため、外光の影響により取り込む画像は
一定のものとならず、正確に肌色を再現できないおそれ
がある。

【０００５】このような撮影対象物体を撮影するときの
外光の変動の影響を除く技術として特開平１０−２２２
２８５号に記載された技術がある。この技術は、外光の
変動を検出する手段を設けて、検出した外光の変動に応
じて照明光をオンオフして対象物体を撮影し、外光の変
動に対応する時点での照明時の画像と非照明時の画像と
の差分をとって、外光の影響を取り除く技術である。

【０００６】

【発明が解決しようとする課題】この技術は、外光が蛍
光灯や白熱電灯のようにその変動が周期的に行われるも
のを対象にしており、その外光の変動周期を外光検出手
段で検出し、検出した外光の変動周期に基づいて、照明
光のオンオフを行って差分処理を行うために適する画像
を撮影している。このため、この特開平１０−２２２２
８５号に記載の技術では、撮影タイミングそのものを検
出した外光の周期に対応するように制御する必要があ
り、この照明光と撮影タイミング制御の構成が複雑にな
る。また、外光の変動は外光検出手段により検出でき、
撮影のオンオフを制御できる定常的な周期の外光、例え
ば商用電源による蛍光灯や白熱電球による外光によるも
のに限られてしまう問題がある。

【０００７】外光は必ずしもその変動周期が簡単に検出
できるものではない。例えば、自然光であれば空の状態
によりその変動は非定常的になる。また、イベント会場
で撮影する場合を考えてみると、パルス的に種々雑多な
光が放射される状況にあるので、その外光の変動は非定
常的であり、そのような会場での外光は変動周期をもつ
定常的な光ではない。

【０００８】このため、検出した外光の変動に合わせて
撮影タイミングを制御するのでは外光の影響を取り除く
には十分ではない。

【０００９】本発明は、このような背景に行われたもの
であって、外光の変動が定常的なものである場合に、撮
影タイミングを制御するのではなく、撮影された複数の
画像から外光そのものの変動周期を検出して、適当な画
像を選択してその間での処理により外光の影響を除去す
ることを目的とする。照明光の変調および撮影タイミン
グの制御が簡単な構成を提供することを目的とする。非
定常的に変動する外光についてもその影響を除去するこ
とを目的とする。また、本発明は、外光の影響を除き、
非定常的な外光のある環境でも正確に被験者の顔画像を
撮影でき、再現性のよい化粧シミュレーションを行って
被験者に提供できる化粧シミュレーション装置を提供す
ることを目的とする。さらに、本発明は、顧客である被
験者の拘束時間を短くすることができる化粧シミュレー
ション装置を提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明の撮影画像処理装
置は、対象物体を撮影する際の照明光を明および暗の双
方の状態を含むように変調し、前記照明光の明および暗
状態で複数の画像をそれぞれ撮影する。この撮影された
複数の画像を解析することにより、そこに含まれる外光
の変動周期を計算し、この計算結果に基づき前記照明光
の明および暗状態の双方の画像の中から前記外光の撮影
条件が同一となる画像を選択する。そして、この選択さ
れた二つの画像の差分をとれば、前記外光の撮影条件は
同一であるので前記外光の成分は除去され、前記照明光
については一方が明状態であり他方が暗状態であること
から、この明暗の差分の前記照明光が残存する。したが
って、最終画像としては、前記外光が除去され、前記照
明光が照射された対象物体の画像を得ることができる。

【００１１】すなわち、本発明の第一の観点は、対象物
体に照明光を照射する撮影光照射手段と、前記対象物体
を撮影する撮像手段と、この撮像手段で撮影した前記対
象物体の画像から前記照明光による撮像画像を生成する
演算処理手段とを備えた撮影画像処理装置である。

【００１２】ここで、本発明の特徴とするところは、前
記撮影光照射手段から照射される前記照明光を明および
暗の双方の状態を含むように変調し、前記撮像手段によ
り前記照明光が明および暗状態で前記対象物体の複数の
画像をそれぞれ撮影する手段が設けられ、前記演算処理
手段は、前記撮影した複数の画像を蓄積するメモリ手段
と、このメモリ手段に蓄積された前記照明光が明および
または暗状態の複数の撮影画像を時系列的に波形解析を
行って外光の変動周期を求める手段と、この求める手段
により求めた前記外光の変動周期に基づいて前記外光の
変動周期に一致する前記照明光の明および暗状態の撮影
画像をそれぞれ選択して両者の差分処理を行って前記照
明光による画像を出力する手段とを含むところにある。

【００１３】これによれば、外光の変動周期は撮影後に
計算するので、撮影の際には撮影タイミングを外光の変
動周期に合わせて制御する必要がなく、撮影制御手順を
簡単化できる利点がある。また、これにより、撮影の所
要時間を短くすることができるため、対象物体が人であ
る場合には、撮影の待ち時間などの対象物体となる人の
負担を軽減させることができる。

【００１４】前記画像を出力する手段は、少なくとも一
方の照明状態での複数の画像から前記外光の変動周期に
一致する時点の画像を生成する手段と、この生成する手
段により生成された前記一方の照明状態での画像に対応
して差分処理を行うべき他方の照明状態での前記外光の
変動周期に一致する時点の画像が得られないときには、
当該時点の前後に撮影された画像に基づく補間処理によ
り他方の照明状態での前記外光の変動周期に一致する時
点の画像を生成する手段とを含むことが望ましい。

【００１５】すなわち、外光の変動周期が未知の状態で
あらかじめ撮影を行うため、撮影周期と外光の変動周期
とがちょうど一致するケースは稀であり、一方の照明状
態での画像に対応する他方の照明状態での画像が得られ
ない場合が多く発生することが考えられる。このような
場合には、照明光明状態の複数の画像または照明光暗状
態の複数の画像について、差分処理を行うタイミングの
画像を時間幅に応じた補間処理などにより作成し、作成
した二つの画像の差分処理を行うこともできる。

【００１６】あるいは、本発明の撮影画像処理装置の特
徴として、前記撮影光照射手段から照射される前記照明
光を明および暗の双方の状態を含むように変調し、前記
撮像手段により明および暗状態で前記対象物体の複数の
画像をそれぞれ撮影する手段が設けられ、前記演算処理
手段は、前記撮影した複数の画像を蓄積するメモリ手段
と、このメモリ手段に蓄積された前記照明光が明および
暗状態の複数画像について各画素単位の周波数成分をそ
れぞれ抽出する手段と、この抽出した周波数成分から直
流成分以外の成分を除去する手段と、照明光が明状態の
画素の直流成分と暗状態の画素の直流成分との差分を求
めて当該差分からなる前記照明光による画像を出力する
手段とを含むこともできる。

【００１７】このように、不規則に変動する外光に対し
ては、不規則に変動する外光の周波数成分をノイズ成分
として除去し、この後に、外光の直流成分について外光
除去を行うことにより対応する。

【００１８】これにより、外光の変動が定常的なもので
ある場合に、撮影タイミングを制御するのではなく、撮
影された複数の画像から外光そのものの変動周期を検出
して、適当な画像を選択してその間での処理により外光
の影響を除去することができる。また、照明光の変調お
よび撮影タイミングの制御が簡単な構成を実現すること
ができる。また、非定常的に変動する外光についてもそ
の影響を除去することができる。

【００１９】本発明の第二の観点は、被験者の顔画像を
撮影する顔画像撮影手段と、この顔画像撮影手段により
撮影された被験者の顔画像に対して化粧シミュレーショ
ンを施して所望の化粧後の顔画像を生成する化粧シミュ
レーション手段とを備えた化粧シミュレーション装置で
ある。

【００２０】ここで、本発明の特徴とするところは、前
記顔画像撮影手段は、前記照明光の明および暗状態で前
記被験者の複数の顔画像をそれぞれ撮影する手段を含
み、前記化粧シミュレーション手段は、前記照明光の明
および暗状態での複数の顔画像から画素単位の周波数成
分をそれぞれ求める手段と、この求めた画素単位の周波
数成分から直流以外の成分を除去する手段と、照明光が
明状態の画素の直流成分と暗状態の画素の直流成分との
差分をとって当該差分からなる顔画像を生成する手段
と、生成した顔画像に化粧シミュレーションを施す手段
とを含むところにある。

【００２１】あるいは、前記顔画像撮影手段は、照明光
の明および暗状態で複数の顔画像を撮影する手段を含
み、前記化粧シミュレーション手段は、前記照明光の明
および暗状態での複数の顔画像から外光の変動周期波形
を求める手段と、この求める手段により求めた外光の変
動周期に一致する照明光の明および暗状態の画像をそれ
ぞれ選択する手段と、この選択する手段により選択され
た画像の差分を行った顔画像を生成する手段と、この生
成する手段により生成した顔画像に化粧シミュレーショ
ンを施す手段とを含むところにある。

【００２２】このように、本発明の撮影画像処理装置に
より画像処理を施して外光の影響を除去した被験者の顔
画像に化粧シミュレーションを施こす化粧シミュレーシ
ョン装置を提供できる。これにより外光の影響を除去し
た顔画像を用いることができるため、再現性のよい品質
にばらつきのない化粧後の画像を提供できる。

【００２３】なお、前述した特開平１０−２２２２８５
号に記載された技術では、撮影に先立って外光の変動周
期を計算する。仮に、この技術を化粧シミュレーション
装置に用いたとすれば、撮影に要する時間に加えて外光
の変動周期を計算する時間までも顧客である被験者を拘
束しておくことが必要になり、顧客に対するサービス品
質の観点からみた場合に望ましくない。これに対し、本
発明の撮影画像処理装置を化粧シミュレーション装置に
用いることにより、外光の変動周期の解析は撮影後に行
うことができるため、顧客である被験者を拘束しておく
時間は、実際に撮影に要する僅かな時間だけで済み、顧
客に対するサービス品質の観点からみて望ましい。これ
により、顧客である被験者の拘束時間を短くすることが
できる化粧シミュレーション装置を実現することができ
る。

【００２４】本発明の第三の観点はプログラムであっ
て、本発明の特徴とするところは、情報処理装置にイン
ストールすることにより、その情報処理装置に、本発明
の撮影画像処理装置に相応する機能として、前記撮影光
照射手段から照射される前記照明光を明および暗の双方
の状態を含むように変調し、前記撮像手段により前記照
明光が明および暗状態で前記対象物体の複数の画像をそ
れぞれ撮影する撮影制御機能と、前記撮影した複数の画
像を蓄積するメモリ機能と、このメモリ機能に蓄積され
た前記照明光が明およびまたは暗状態の複数の撮影画像
を時系列的に波形解析を行って外光の変動周期を求める
機能と、この求める機能により求めた前記外光の変動周
期に基づいて前記外光の変動周期に一致する前記照明光
の明および暗状態の撮影画像をそれぞれ選択して両者の
差分処理を行って前記照明光による画像を出力する機能
とを実現させるところにある。

【００２５】さらに、前記画像を抽出する機能として、
少なくとも一方の照明状態での複数の画像から前記外光
の変動周期に一致する時点の画像を生成する機能と、こ
の生成する機能により生成された前記一方の照明状態で
の画像に対応して差分処理を行うべき他方の照明状態で
の前記外光の変動周期に一致する時点の画像が得られな
いときには、当該時点の前後に撮影された画像に基づく
補間処理により他方の照明状態での前記外光の変動周期
に一致する時点の画像を生成する機能とを実現させるこ
とが望ましい。

【００２６】あるいは、本発明のプログラムの特徴とす
るところは、情報処理装置にインストールすることによ
り、その情報処理装置に、本発明の撮影画像処理装置に
相応する機能として、前記撮影光照射手段から照射され
る前記照明光を明および暗の双方の状態を含むように変
調し、前記撮像手段により明および暗状態で前記対象物
体の複数の画像をそれぞれ撮影する撮影制御機能と、前
記撮影した複数の画像を蓄積するメモリ機能と、このメ
モリ機能に蓄積された前記照明光が明および暗状態の複
数画像について各画素単位の周波数成分をそれぞれ抽出
する機能と、この抽出した周波数成分から直流成分以外
の成分を除去する機能と、前記照明光が明状態の画素の
直流成分と暗状態の画素の直流成分との差分を求めて当
該差分からなる前記照明光による画像を出力する機能と
を実現させるところにある。

【００２７】あるいは、本発明のプログラムの特徴とす
るところは、情報処理装置にインストールすることによ
り、その情報処理装置に、本発明の化粧シミュレーショ
ン装置に相応する機能として、照明光の明および暗状態
で複数の顔画像をそれぞれ撮影する撮影制御機能と、前
記照明光の明および暗状態での複数の顔画像から画素単
位の周波数成分をそれぞれ求める機能と、この求めた画
素単位の周波数成分から直流以外の成分を除去する機能
と、前記照明光が明状態の画素の直流成分と暗状態の画
素の直流成分との差分をとって当該差分からなる顔画像
を生成する機能と、生成した顔画像に化粧シミュレーシ
ョンを施す機能とを実現させるところにある。

【００２８】あるいは、本発明のプログラムの特徴とす
るところは、情報処理装置にインストールすることによ
り、その情報処理装置に、本発明の化粧シミュレーショ
ン装置に相応する機能として、照明光の明および暗状態
で複数の顔画像をそれぞれ撮影する撮影制御機能と、前
記照明光の明およびまたは暗状態での複数の顔画像から
外光の変動周期波形を求める機能と、この求める機能に
より求めた外光の変動周期に一致する前記照明光の明お
よび暗状態の画像をそれぞれ選択する機能と、この選択
する機能により選択された画像の差分を行った顔画像を
生成する機能と、この生成する機能により生成した顔画
像に化粧シミュレーションを施す機能とを実現させると
ころにある。

【００２９】本発明のプログラムは記録媒体に記録され
ることにより、前記情報処理装置は、この記録媒体を用
いて本発明のプログラムをインストールすることができ
る。あるいは、本発明のプログラムを保持するサーバか
らネットワークを介して直接前記情報処理装置に本発明
のプログラムをインストールすることもできる。

【００３０】これにより、コンピュータ装置等の情報処
理装置により、外光の変動が定常的なものである場合
に、撮影タイミングを制御するのではなく、撮影された
複数の画像から外光そのものの変動周期を検出して、適
当な画像を選択してその間での処理により外光の影響を
除去することができる。また、照明光の変調および撮影
タイミングの制御が簡単な構成を実現することができ
る。また、非定常的に変動する外光についてもその影響
を除去することができる。また、本発明は、外光の影響
を除き、非定常的な外光のある環境でも正確に被験者の
顔画像を撮影でき、再現性のよい化粧シミュレーション
を行って被験者に提供できる化粧シミュレーション装置
を実現することができる。さらに、本発明は、顧客であ
る被験者の拘束時間を短くすることができる化粧シミュ
レーション装置を実現することができる。

【００３１】

【発明の実施の形態】（第一実施例）本発明第一実施例
の撮影画像処理装置を図１ないし図５を参照して説明す
る。図１は第一実施例の撮影画像処理装置のブロック構
成図である。図２は第一実施例の撮影画像処理装置にお
ける撮影画像の例を示す図である。図３および図４は第
一実施例の撮影画像処理装置における外光除去手法を説
明するための図である。図５は第一実施例の撮影画像処
理装置における外光除去手順を示すフローチャートであ
る。

【００３２】第一実施例は、外光が周期Ｔ毎に規則正し
く対象物体である被写体に照射されている場合の外光除
去の実施例である。周期Ｔ毎に規則正しく被写体に照射
される外光としては、例えば、５０Ｈｚまたは６０Ｈｚ
の商用電源を用いた照明器具による照射光が挙げられ
る。

【００３３】第一実施例は、図１に示すように、被写体
に照明光を照射する投光器１と、被写体を撮影するカメ
ラ装置２と、このカメラ装置２で撮影した被写体の画像
から前記照明光による撮像画像を生成する演算処理部１
０とを備えた撮影画像処理装置である。

【００３４】ここで、第一実施例の特徴とするところ
は、投光器１から照射される前記照明光を明および暗の
双方の状態を含むように変調し、カメラ装置２により前
記照明光が明および暗状態で複数の撮影画像をそれぞれ
撮影する撮影制御部３を備え、演算処理部１０は、前記
撮影した複数の撮影画像を蓄積する画像メモリ４と、こ
の画像メモリ４に蓄積された前記照明光が明およびまた
は暗状態の複数の撮影画像を時系列的に波形解析を行っ
て外光の変動周期を求める解析部５と、この解析部５に
より求めた外光の変動周期に基づいて外光の変動周期に
一致する前記照明光の明および暗状態の撮影画像をそれ
ぞれ選択し、両者の差分処理を行って照明光による最終
画像を抽出する外光除去部６とを含むところにある。

【００３５】本実施例では、明および暗の双方の状態を
含む前記照明光の変調形態として、最もわかりやすい例
である前記照明光のオン（ＯＮ）およびオフ（ＯＦＦ）
状態を用いて説明する。なお、これ以外にも明および暗
の双方の状態を含むあらゆる変調形態についても同様に
説明することができる。

【００３６】次に、第一実施例の撮影画像処理装置の外
光除去手法およびその処理手順を説明する。第一実施例
の撮影画像処理装置では、図５に示すように、Ｓｔｅｐ
１として照明ＯＦＦ状態での連続撮影を行う。続いて、
Ｓｔｅｐ２として照明ＯＮ状態での連続撮影を行う。こ
のような撮影は、撮影制御部３が投光器１およびカメラ
装置２を制御することによって行われる。

【００３７】図２には照明ＯＦＦ状態およびＯＮ状態で
連続撮影された画像の一例を示す。図２の右上がりおよ
び水平のハッチング（破線）は外光が照射された画像を
表し、右下がりのハッチング（実線）は照明光が照射さ
れた画像を表す。図２の例では、＃２、＃４および＃
７、＃９の画像に周期Ｔ毎に外光が最も強くなる外光の
ピーク状態が写し込まれている様子がわかる。また、＃
１、＃３、＃５、＃６、＃８、＃１０の画像に周期Ｔ毎
に外光が最も弱くなる状態が写し込まれている様子がわ
かる。撮影画像は画像メモリ４に一時蓄積される。

【００３８】Ｓｔｅｐ３として解析部５では、所定画素
での時系列サンプリングが行われる。すなわち、図２に
示す照明ＯＦＦ状態またはＯＮ状態における＃１〜＃１
０の各画像について、所定画素での時系列サンプリング
が行われる。さらに、Ｓｔｅｐ４として波形解析が行わ
れる。この波形解析はフーリエ変換を用いて行われる。
その結果、＃２、＃４および＃７、＃９の画像に周期Ｔ
毎に外光のピーク状態が写し込まれていることがわか
る。また、＃１、＃３、＃５、＃６、＃８、＃１０の画
像に周期Ｔ毎に外光が最も弱くなる状態が写し込まれて
いる様子がわかる。この解析結果に基づき、Ｓｔｅｐ５
として最終画像を抽出するための画像の指定が行われ
る。Ｓｔｅｐ６としてこの指定された画像を用いて外光
除去が行われる。すなわち、照明ＯＮ状態における外光
が最も弱い状態が写し込まれている画像＃６と、照明Ｏ
ＦＦ状態における外光が最も弱い状態が写し込まれてい
る画像＃１とを指定すれば、図３に示すように、その差
分をとることにより、外光の影響を受けていない最終画
像が得られる。あるいは、照明ＯＮ状態における外光の
ピック状態が写し込まれている画像＃７と、照明ＯＦＦ
状態における外光のピーク状態が写し込まれている画像
＃２とを指定すれば、図４に示すように、その差分をと
ることにより、外光の影響を受けていない最終画像が得
られる。なお、図５のＳｔｅｐ１とＳｔｅｐ２とが入れ
替わってもよい。また、外光除去部６は、少なくとも一
方の照明状態での複数の画像から外光の変動周期に一致
する時点の画像を生成し、この生成された前記一方の照
明状態での画像に対応して差分処理を行うべき他方の照
明状態での前記外光の変動周期に一致する時点の画像が
得られないときには、当該時点の前後に撮影された画像
に基づく補間処理により他方の照明状態での前記外光の
変動周期に一致する時点のか画像を生成する。

【００３９】すなわち、図２の例では、画像の撮影周期
と外光の変動周期Ｔすなわち外光が最も強い状態あるい
は最も弱い状態となる周期Ｔとが一致しており、外光除
去に用いる画像の指定が理想的に行える例を示した。し
かし、実際には、撮影開始時点では、外光の変動周期Ｔ
は判明しておらず、画像の撮影周期と外光の変動周期Ｔ
とが一致することは稀である。例えば、照明ＯＦＦ状態
で、図２の画像＃２または＃４のような外光のピークが
写し込まれた画像が得られたとしても、照明ＯＮ状態で
これらの画像に対応する画像＃７または＃９のような外
光のピークが写し込まれた画像が得られないケースが多
い。すなわち、照明ＯＦＦ状態の画像＃２に対応する照
明ＯＮ状態の画像が画像＃７と画像＃８との中間の時点
に位置するような場合が多く発生する。このような場合
には、画像＃７および＃８からその中間に位置する画像
を時間幅に応じた補間処理により推定することで対応す
る。補間処理の詳細については既知の技術であり説明を
省略する。

【００４０】（第二実施例）本発明第二実施例の撮影画
像処理装置を図６ないし図９を参照して説明する。図６
は第二実施例の撮影画像処理装置の撮影画像の例を示す
図である。図７は第二実施例の撮影画像処理装置の直流
成分以外の外光成分が除去された画像の例を示す図であ
る。図８は第二実施例の撮影画像処理装置の外光除去手
法を説明するための図である。図９は第二実施例の撮影
画像処理装置の外光除去手順を示すフローチャートであ
る。なお、第二実施例の撮影画像処理装置のブロック構
成は、第一実施例と同様である。

【００４１】第二実施例は、外光が不規則に被写体に照
射されている場合の外光除去の実施例である。不規則に
被写体に照射される外光としては、例えば、流れる雲に
遮られる太陽光や走行中の自動車のヘッドライトの照射
光が挙げられる。

【００４２】第二実施例の撮影画像処理装置では、投光
器１から照射される照明光をＯＮおよびＯＦＦ状態と
し、カメラ装置２によりＯＮおよびＯＦＦ状態で被写体
の複数の画像をそれぞれ撮影する撮影制御部３が設けら
れ、演算処理部１０の解析部５は、画像メモリ４に蓄積
された前記照明光がＯＮおよびＯＦＦ状態の複数画像に
ついて各画素単位の周波数成分をそれぞれ抽出し、この
抽出した周波数成分から直流成分以外の成分を除去し、
外光除去部６は、前記照明光がＯＮ状態の画素の直流成
分とＯＦＦ状態の画素の直流成分との差分を求めて当該
差分からなる前記照明光による画像を出力する。

【００４３】すなわち、図９に示すように、撮影制御部
３は、Ｓｔｅｐ１として照明ＯＦＦ状態での連続撮影を
行い、Ｓｔｅｐ２として照明ＯＮ状態での連続撮影を行
う。これにより画像メモリ４には図６に示すような画像
が蓄積される。図６のように、照明ＯＦＦ状態で連続撮
影を行うと、外光は不規則に変動するので、画像＃２、
＃３、＃５に外光が強く写り込む。なお、図６では、右
上がりのハッチングおよび水平のハッチングが外光を表
す。さらに、水平のハッチングは外光成分の直流成分を
表す。また、照明ＯＮ状態で連続撮影を行うと、外光は
不規則に変動するので、画像＃６、＃９に外光が強く写
り込む。なお、図６では右下がりのハッチングは投光器
１による照明光を表す。Ｓｔｅｐ３として解析部５は、
所定画素での時系列サンプリングを行うことにより、Ｓ
ｔｅｐ４として直流成分以外の外光成分を除去する。こ
のようにして図７に示すような外光成分の直流成分以外
が除去された画像が得られる。この時点で、不規則に変
化する外光成分はノイズとして除去される。Ｓｔｅｐ５
として画像の指定が行われる。図７の例では、不規則に
変化する外光成分はノイズとして除去されており、照明
ＯＦＦ状態の画像＃１〜＃５に対応する画像として照明
ＯＮ状態の画像＃６〜＃１０のいずれを指定してもよ
い。外光除去部６は、Ｓｔｅｐ６として図８に示すよう
に、残存していた外光成分の直流成分も除去し、投光器
１の照明光のみによる最終画像を得ることができる。

【００４４】（第三実施例）本発明第三実施例の撮影画
像処理装置を説明する。第一および第二実施例では、照
明ＯＦＦ状態およびＯＮ状態で連続撮影を行い、図２ま
たは図６に示すような画像を得る。すなわち、撮影順序
を時系列的に並べると（ＯＦＦ状態）＃１→＃２→＃３
→＃４→＃５→（ＯＮ状態）＃６→＃７→＃８→＃９→
＃１０となる。

【００４５】第三実施例では、撮影順序を（ＯＦＦ状
態）＃１→（ＯＮ状態）＃６→（ＯＦＦ状態）＃２→
（ＯＮ状態）＃７→（ＯＦＦ状態）＃３→（ＯＮ状態）
＃８→（ＯＦＦ状態）＃４→（ＯＮ状態）＃９→（ＯＦ
Ｆ状態）＃５→（ＯＮ状態）＃１０とする。これによ
り、二つの画像の差分をとり、最終画像を得る場合に、
撮影時刻が直近の画像を指定することが可能となる。第
三実施例の利点としては、被写体が完全に固定されてい
ない場合に、差分をとる二つの画像間での画像のブレを
少なくすることができる。

【００４６】（第四実施例）本発明第四実施例の化粧シ
ミュレーション装置を図１０および図１１を参照して説
明する。図１０は第四実施例の化粧シミュレーション装
置のブロック構成図であり、演算処理部１０は、第一お
よび第二実施例で説明したとおりである。図１１は化粧
シミュレーションを説明するための図である。

【００４７】第四実施例は、図１０に示すように、被写
体である被験者に対して顔画像を撮影する投光器１、カ
メラ装置２、演算処理部１０と、この撮影された被験者
の顔画像に対して化粧シミュレーションを施して所望の
化粧後の顔画像を生成する化粧シミュレーション部２０
とを備えた化粧シミュレーション装置である。

【００４８】ここで、第四実施例の特徴とするところ
は、演算処理部１０の撮影制御部３は、照明光のＯＮお
よびＯＦＦ状態で複数の顔画像をそれぞれ撮影し、解析
部５は、前記照明光のＯＮおよびＯＦＦ状態での複数の
顔画像から画素単位の周波数成分をそれぞれ求め、この
求めた画素単位の周波数成分から直流以外の成分を除去
し、外光除去部６は、照明光がＯＮ状態の画素の直流成
分とＯＦＦ状態の画素の直流成分との差分をとって当該
差分からなる顔画像を生成し、化粧シミュレーション部
２０は、生成した顔画像に化粧シミュレーションを施す
ところにある。

【００４９】あるいは、演算処理部１０の解析部５は、
照明光のＯＮおよびまたはＯＦＦ状態での複数の顔画像
から外光の変動周期波形を求め、この求めた外光の変動
周期に一致する照明光のＯＮおよびＯＦＦ状態の画像を
それぞれ選択し、外光除去部６は、選択された画像の差
分を行った顔画像を生成し、化粧シミュレーション部２
０は、生成した顔画像に化粧シミュレーションを施すと
ころにある。

【００５０】化粧シミュレーション装置とは、図１１に
示すように、被験者の化粧前の顔画像を撮影し、被験者
が所望する化粧データ画像を被験者の顔画像と合致する
ように変形を加えた上で、被験者の化粧前の顔画像に合
成することにより、被験者の化粧顔画像を生成する装置
である。なお、この技術は特開２０００−１９４８３５
号公報に開示されている。

【００５１】第四実施例では、図１１における被験者の
化粧前の顔画像の撮影に、第一〜第三実施例で説明した
撮影画像処理装置を用いることを特徴とする。化粧シミ
ュレーション装置は、百貨店の化粧品売場やイベント会
場等で用いられることが多く、このような場所では、投
光器１の照明光の他に外光が多数存在することから、こ
れら外光を除去した最終画像を得ることができる本実施
例の撮影画像処理装置を用いることにより、化粧シミュ
レーションの際の再現性を向上させることができるた
め、化粧シミュレーション装置にとってきわめて有効で
ある。

【００５２】なお、第四実施例で説明した化粧シミュレ
ーション装置は、被写体が人間であり、撮影時にはブレ
の発生が無いように配慮する必要がある。第一および第
二実施例で説明した撮影画像処理装置を用いる場合に
は、撮影周期を例えば１／３０秒以下とすることによ
り、実用上支障のあるブレを無くすことができる。ある
いは、第三実施例で説明したような撮影手法によりブレ
の発生を低減させることができる。

【００５３】（第五実施例）本発明実施例の撮影画像処
理装置または化粧シミュレーション装置は、情報処理装
置としてのコンピュータ装置を用いて実現することがで
きる。すなわち、コンピュータ装置にインストールする
ことにより、そのコンピュータ装置に、本実施例の撮影
画像処理装置に相応する機能として、投光器１から照射
される照明光をＯＮおよびＯＦＦ状態とし、カメラ装置
２によりＯＮおよびＯＦＦ状態で被写体の複数の撮影画
像をそれぞれ撮影する撮影制御部３に相応する機能と、
前記撮影した複数の撮影画像を蓄積する画像メモリ４に
相応する機能と、この蓄積された前記照明光がＯＮおよ
びまたはＯＦＦ状態の複数の撮影画像を時系列的に波形
解析を行って外光の変動周期を求める解析部５に相応す
る機能と、求めた外光の変動周期に基づいて外光の変動
周期に一致する前記照明光のＯＮおよびＯＦＦ状態の撮
影画像をそれぞれ選択し、両者の差分処理を行って照明
光による画像を抽出する外光除去部６に相応する機能と
を実現させるプログラムをコンピュータ装置にインスト
ールすることによりそのコンピュータ装置を本実施例の
撮影画像処理装置に相応する装置とすることができる。

【００５４】さらに、外光除去部６に相応する機能とし
て、少なくとも一方の照明状態での複数の画像から外光
の変動周期に一致する時点の画像を生成する機能と、こ
の生成する機能により生成された前記一方の照明状態で
の画像に対応して差分処理を行うべき他方の照明状態で
の前記外光の変動周期に一致する時点の画像が得られな
いときには、当該時点の前後に撮影された画像に基づく
補間処理により他方の照明状態での前記外光の変動周期
に一致する時点の画像を生成する機能とを実現させるこ
とができる。

【００５５】あるいは、本実施例の撮影画像処理装置に
相応する機能として、投光器１から照射される照明光を
ＯＮおよびＯＦＦ状態とし、カメラ装置２によりＯＮお
よびＯＦＦ状態で被写体の複数の撮影画像をそれぞれ撮
影する撮影制御部３に相応する機能と、前記撮影した複
数の撮影画像を蓄積する画像メモリ４に相応する機能
と、この画像メモリ４に相応する機能に蓄積された前記
照明光がＯＮおよびＯＦＦ状態の複数画像について各画
素単位の周波数成分をそれぞれ抽出する機能と、この抽
出した周波数成分から直流成分以外の成分を除去する機
能と、前記照明光がＯＮ状態の画素の直流成分とＯＦＦ
状態の画素の直流成分との差分を求め、当該差分からな
る前記照明光による画像を出力する機能とを実現させる
プログラムをコンピュータ装置にインストールすること
によりそのコンピュータ装置を本実施例の撮影画像処理
装置に相応する装置とすることができる。

【００５６】あるいは、コンピュータ装置にインストー
ルすることにより、そのコンピュータ装置に、本実施例
の化粧シミュレーション装置に相応する機能として、照
明光のＯＮおよびＯＦＦ状態で複数の顔画像をそれぞれ
撮影する撮影制御部３に相応する機能と、前記照明光の
ＯＮおよびＯＦＦ状態での複数の顔画像から画素単位の
周波数成分をそれぞれ求める解析部５に相応する機能
と、この求めた画素単位の周波数成分から直流以外の成
分を除去し、前記照明光がＯＮ状態の画素の直流成分と
ＯＦＦ状態の画素の直流成分との差分をとって当該差分
からなる顔画像を生成する外光除去部６に相応する機能
と、生成した顔画像に化粧シミュレーションを施す化粧
シミュレーション部２０に相応する機能とを実現させる
プログラムをコンピュータ装置にインストールすること
によりそのコンピュータ装置を本実施例の化粧シミュレ
ーション装置に相応する装置とすることができる。

【００５７】あるいは、コンピュータ装置にインストー
ルすることにより、そのコンピュータ装置に、本実施例
の化粧シミュレーション装置に相応する機能として、照
明光のＯＮおよびＯＦＦ状態で複数の顔画像をそれぞれ
撮影する撮影制御部３に相応する機能を実現させ、前記
照明光のＯＮおよびまたはＯＦＦ状態での複数の顔画像
から外光の変動周期波形を求める解析部５に相応する機
能と、この求めた外光の変動周期に一致する照明光のＯ
ＮおよびＯＦＦ状態の画像をそれぞれ選択し、選択され
た画像の差分を行った顔画像を生成する外光除去部６に
相応する機能と、生成した顔画像に化粧シミュレーショ
ンを施す化粧シミュレーション部２０に相応する機能と
を実現させるプログラムをコンピュータ装置にインスト
ールすることによりそのコンピュータ装置を本実施例の
化粧シミュレーション装置に相応する装置とすることが
できる。

【００５８】本実施例のプログラムは記録媒体に記録さ
れることにより、コンピュータ装置は、この記録媒体を
用いて本実施例のプログラムをインストールすることが
できる。あるいは、本実施例のプログラムを保持するサ
ーバからネットワークを介して直接コンピュータ装置に
本実施例のプログラムをインストールすることもでき
る。

【００５９】これにより、コンピュータ装置により、外
光の変動が定常的なものである場合に、撮影タイミング
を制御するのではなく、撮影された複数の画像から外光
そのものの変動周期を検出して、適当な画像を選択して
その間での処理により外光の影響を除去することができ
撮影画像処理装置を実現することができる。また、照明
光のオンオフおよび撮影タイミングの制御が簡単な構成
を実現することができる。また、非定常的に変動する外
光についてもその影響を除去することができる撮影画像
処理装置を実現することができる。また、外光の影響を
除き、非定常的な外光のある環境でも正確に被験者の顔
画像を撮影でき、再現性のよい化粧シミュレーションを
行って被験者に提供できる化粧シミュレーション装置を
実現することができる。さらに、顧客である被験者の拘
束時間を短くすることができる化粧シミュレーション装
置を実現することができる。

【００６０】

【発明の効果】以上説明したように、本発明によれば、
外光の変動が定常的なものである場合に、撮影タイミン
グを制御するのではなく、撮影された複数の画像から外
光そのものの変動周期を検出して、適当な画像を選択し
てその間での処理により外光の影響を除去することがで
きる。また、照明光の変調および撮影タイミングの制御
が簡単な構成を実現することができる。また、非定常的
に変動する外光についてもその影響を除去することがで
きる。また、本発明は、外光の影響を除き、非定常的な
外光のある環境でも正確に被験者の顔画像を撮影でき、
再現性のよい化粧シミュレーションを行って被験者に提
供できる化粧シミュレーション装置を実現することがで
きる。さらに、本発明は、顧客である被験者の拘束時間
を短くすることができる化粧シミュレーション装置を実
現することができる。

【図面の簡単な説明】

【図１】本発明第一実施例の撮影画像処理装置のブロッ
ク構成図。

【図２】本発明第一実施例の撮影画像処理装置の撮影画
像の例を示す図。

【図３】本発明第一実施例の撮影画像処理装置の外光除
去手法を説明するための図。

【図４】本発明第一実施例の撮影画像処理装置の外光除
去手法を説明するための図。

【図５】本発明第一実施例の撮影画像処理装置の外光除
去手順を示すフローチャート。

【図６】本発明第二実施例の撮影画像処理装置の撮影画
像の例を示す図。

【図７】本発明第二実施例の撮影画像処理装置の外光除
去手法を説明するための図。

【図８】本発明第二実施例の撮影画像処理装置の外光除
去手法を説明するための図。

【図９】本発明第二実施例の撮影画像処理装置の外光除
去手順を示すフローチャート。

【図１０】本発明第四実施例の化粧シミュレーション装
置のブロック構成図。

【図１１】化粧シミュレーションを説明するための図。

【符号の説明】

１ 投光器 ２ カメラ装置 ３ 撮影制御部 ４ 画像メモリ ５ 解析部 ６ 外光除去部 １０ 演算処理部 ２０ 化粧シミュレーション部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 三宅 洋一 千葉県千葉市稲毛区弥生町１−33 千葉大 学工学部情報画像工学科内 Ｆターム(参考） 5B047 AA07 BA02 BB06 CA19 CA21 5B057 AA20 BA02 BA30 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE11 CE17 DA17 DB02 DB06 DB09 DC22 DC32 DC36

Claims (5)

【特許請求の範囲】
1. 【請求項１】 対象物体に照明光を照射する撮影光照射
   手段と、 前記対象物体を撮影する撮像手段と、 この撮像手段で撮影した前記対象物体の画像から前記照
   明光による撮像画像を生成する演算処理手段とを備えた
   撮影画像処理装置において、 前記撮影光照射手段から照射される前記照明光を明およ
   び暗の双方の状態を含むように変調し、前記撮像手段に
   より前記照明光が明および暗状態で前記対象物体の複数
   の画像をそれぞれ撮影する手段が設けられ、 前記演算処理手段は、 前記撮影した複数の画像を蓄積するメモリ手段と、 このメモリ手段に蓄積された前記照明光が明または暗状
   態の複数の撮影画像を時系列的に波形解析を行って外光
   の変動周期を求める手段と、 この求める手段により求めた前記外光の変動周期に基づ
   いて前記外光の変動周期に一致する前記照明光の明およ
   び暗状態の撮影画像を選択して両者の差分処理を行って
   前記照明光による画像を出力する手段とを備えたことを
   特徴とする撮影画像処理装置。
2. 【請求項２】 前記画像を出力する手段は、 少なくとも一方の照明状態での複数の画像から前記外光
   の変動周期に一致する時点の画像を生成する手段と、 この生成する手段により生成された前記一方の照明状態
   での画像に対応して差分処理を行うべき他方の照明状態
   での前記外光の変動周期に一致する時点の画像が得られ
   ないときには、当該時点の前後に撮影された画像に基づ
   く補間処理により他方の照明状態での前記外光の変動周
   期に一致する時点の画像を生成する手段とを備えた請求
   項１記載の撮影画像処理装置。
3. 【請求項３】 対象物体に照明光を照射する撮影光照射
   手段と、 前記対象物体を撮影する撮像手段と、 この撮像手段で撮影した前記対象物体の画像から前記照
   明光による撮像画像を抽出する演算処理手段とを備えた
   撮影画像処理装置において、 前記撮影光照射手段から照射される前記照明光を明およ
   び暗の双方の状態を含むように変調し、前記撮像手段に
   より明および暗状態で前記対象物体の複数の画像をそれ
   ぞれ撮影する手段が設けられ、 前記演算処理手段は、 前記撮影した複数の画像を蓄積するメモリ手段と、 このメモリ手段に蓄積された照明光が明および暗状態の
   複数画像について各画素単位の周波数成分をそれぞれ抽
   出する手段と、 この抽出した周波数成分から直流成分以外の成分を除去
   する手段と、 前記照明光が明状態の画素の直流成分と暗状態の画素の
   直流成分との差分を求めて当該差分からなる前記照明光
   による画像を出力する手段とを備えたことを特徴とする
   撮影画像処理装置。
4. 【請求項４】 被験者の顔画像を撮影する顔画像撮影手
   段と、 この顔画像撮影手段により撮影された被験者の顔画像に
   対して化粧シミュレーションを施して所望の化粧後の顔
   画像を生成する化粧シミュレーション手段とを備えた化
   粧シミュレーション装置において、 前記顔画像撮影手段は、照明光の明および暗状態で前記
   被験者の複数の顔画像をそれぞれ撮影する手段を含み、 前記化粧シミュレーション手段は、 前記照明光の明および暗状態での複数の顔画像から画素
   単位の周波数成分をそれぞれ求める手段と、 この求めた画素単位の周波数成分から直流以外の成分を
   除去する手段と、 前記照明光が明状態の画素の直流成分と暗状態の画素の
   直流成分との差分をとって当該差分からなる顔画像を生
   成する手段と、 生成した顔画像に化粧シミュレーションを施す手段とを
   含むことを特徴とする化粧シミュレーション装置。
5. 【請求項５】 被験者の顔画像を撮影する顔画像撮影手
   段と、 この撮影された被験者の顔画像に対して化粧シミュレー
   ションを施して所望の化粧後の顔画像を生成する化粧シ
   ミュレーション手段とを備えた化粧シミュレーション装
   置において、 前記顔画像撮影手段は、照明光の明および暗状態で前記
   被験者の複数の顔画像をそれぞれ撮影する手段を含み、 前記化粧シミュレーション手段は、 前記照明光の明または暗状態での複数の顔画像から外光
   の変動周期波形を求める手段と、 この求める手段により求めた外光の変動周期に一致する
   前記照明光の明および暗状態の画像をそれぞれ選択する
   手段と、 この選択する手段により選択された画像の差分を行った
   顔画像を生成する手段と、 この生成する手段により生成した顔画像に化粧シミュレ
   ーションを施す手段とを含むことを特徴とする化粧シミ
   ュレーション装置。