JP2016139382A - 画像処理装置、スタイラス、および画像処理方法 - Google Patents

Abstract

【課題】化粧動作によりバーチャル化粧を行う事ができる画像処理装置を提供する。
【解決手段】画像処理装置１００は、映像を撮影する撮影部１２０と、撮影された映像を画面に表示する表示部１６０と、映像から、映像に含まれる顔の位置を取得する顔位置取得部１３０と、映像に所定の色の部分が含まれるとき、映像から、当該部分をスタイラスとして検出するスタイラス検出部１４０と、スタイラスが検出された事を条件として、映像の顔の部分に対し、所定の色に予め対応付けられた化粧画像を重畳する化粧画像重畳部１５０とを有する。
【選択図】図４

Description

本発明は、画像処理装置、スタイラス、および画像処理方法に係り、特に、顔の撮影映像に化粧画像を重畳させる画像処理装置、スタイラス、および画像処理方法に関する。

従来、顔を撮影した画像に口紅やチーク等の画像を重畳して仮想的に化粧を行う、いわゆるバーチャル化粧の技術が存在する（例えば特許文献１参照）。

特許文献１に記載の技術（以下「従来技術」という）は、顔の撮影画像と、化粧内容の指定を受け付けるための操作領域とを、タッチパネル画面に表示する。そして、従来技術は、画面に対するタッチペン操作に基づいて、顔の撮影画像に化粧画像を重畳する。このような従来技術によれば、化粧を行ったときの顔の状態をシミュレーションして表示する事ができる。

特開２００５−９２５８８号公報 国際公開第２０１３／１４０７７６号

ところで、子供が大人の真似をして化粧遊びをする事は、よく知られている。子供によっては、化粧が施された顔を得る事だけでなく、口紅を唇で滑らせるといった大人の化粧動作を真似する事にも、大きな喜びを感じる。そこで、口紅を引く真似をしたときに顔画像に口紅の化粧画像が重畳されるというように、化粧動作（ジェスチャ）によってバーチャル化粧を実現できる事が望まれる。

しかしながら、従来技術は、化粧動作ではなく、画面へのタッチパネル操作によってバーチャル化粧を実現するものである。

本発明の目的は、化粧動作によりバーチャル化粧を行う事ができる画像処理装置、スタイラス、および画像処理方法を提供することである。

本開示の画像処理装置は、映像を撮影する撮影部と、撮影された前記映像を画面に表示する表示部と、前記映像から、前記映像に含まれる顔の位置を取得する顔位置取得部と、前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するスタイラス検出部と、前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳する化粧画像重畳部と、を有する。

本開示のスタイラスは、上記画像処理装置に使用されるスタイラスであって、棒状部材であり、前記棒状部材の先端部を含む領域に、前記所定のマーカ色が施されている。

本開示の画像処理方法は、映像を撮影するステップと、撮影された前記映像を画面に表示するステップと、前記映像から、前記映像に含まれる顔の位置を取得するステップと、前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するステップと、前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳するステップと、を有する。

本開示によれば、化粧動作によりバーチャル化粧を行う事ができる。

本実施の形態に係る画像処理装置の概要の一例を示す図 本実施の形態における画像の変化の一例を示す図 本実施の形態に係るスタイラスの外観の第１の例を示す図 本実施の形態に係る画像処理装置の構成の一例を示すブロック図 本実施の形態における化粧画像テーブルの内容の一例を示す図 本実施の形態に係る画像処理装置の動作の一例を示すフローチャート 本実施の形態における各種バーチャル化粧の例を示す図 本実施の形態の変形例１に係るスタイラスの外観の一例を示す図 本実施の形態の変形例１における化粧画像テーブルの内容の一例を示す図 本実施の形態の変形例２に係るスタイラスの外観の一例を示す図 本実施の形態の変形例２に係る画像処理装置の動作の一例を示すフローチャート 本実施の形態の変形例２における各種バーチャル化粧の例を示す図 本実施の形態におけるスタイラス登録画面の一例を示す図 本実施の形態におけるジェスチャの定義を説明するための図

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

＜装置の概要＞
まず、本実施の形態に係る画像処理装置の概要について説明する。

図１は、本実施の形態に係る画像処理装置の概要の一例を示す図である。

図１に示すように、画像処理装置１００は、例えば、折り畳み型のコンパクトミラーを模した外形を有する。画像処理装置１００は、コンパクトミラーの鏡に相当する部分に、液晶ディスプレイ１０１を備え、更に、当該液晶ディスプレイ１０１の近傍に、小型のデジタルカメラ１０２を備えている。なお、液晶ディスプレイ１０１は、タッチパネル付きであってもよい。また、デジタルカメラ１０２は、ステレオ撮影が可能なステレオカメラであってもよい。

画像処理装置１００は、スタイラス２００とセットで使用される。画像処理装置１００およびスタイラス２００を使用するユーザ３００は、例えば、小学生の女の子である。画像処理装置１００は、デジタルカメラ１０２で撮影された映像を左右反転させて、液晶ディスプレイ１０１に表示する。ユーザ３００は、液晶ディスプレイ１０１に映し出された自分の顔を見ながら、スタイラス２００を口紅やアイシャドウのチップ等の化粧道具に見立てて、大人の化粧を模倣した動作を行う。

画像処理装置１００は、ユーザ３００が化粧動作を行ったとき、表示する映像のうち、化粧動作の対象となった領域に、化粧画像を重畳する。

図２は、液晶ディスプレイ１０１に映し出される画像の変化の一例を示す図である。

図２Ａに示すように、液晶ディスプレイ１０１に映し出される画像４１０には、ユーザの顔４１１が含まれる。図２Ｂに示すように、ユーザ３００が、スタイラス２００の先で唇をなぞる動作をしたとする。すると、図２Ｃに示すように、画像処理装置１００は、唇に化粧画像４１２を重畳した画像４１０を生成して表示する。これにより、画像処理装置１００は、ユーザ３００に対して、本当の化粧を行ったような感覚を与える事ができる。

ところが、このような動作を実現するためには、画像処理装置１００は、ユーザ３００が化粧動作を行ったときに、これを検出する必要がある。

そこで、画像処理装置１００は、デジタルカメラ１０２により撮影された映像から顔の位置を取得すると共に、かかる映像に所定のマーカ色の部分が含まれるとき、映像から、当該部分をスタイラス２００として検出する。これにより、スタイラス２００に所定のマーカ色を施しておけば、画像処理装置１００は、ユーザ３００がスタイラス２００を顔に近接させたとき、つまり、化粧動作を行ったときに、これを検出する事ができる。

図３は、スタイラス２００の外観の一例を示す図である。

図３に示すように、スタイラス２００は、例えば、ペン状の外形を有する棒状部材である。スタイラス２００のうち、その先端部を含む領域２１０には、赤等の所定のマーカ色が施されている。なお、マーカ色は、撮影映像からより検出し易いように、スタイラス２００の軸を中心として３６０度の方向の表面に施されている事が望ましい。マーカ色の領域２１０は、例えば、棒状部材に塗布された塗料、棒状部材に貼り付けられたシール、あるいは、棒状部材を構成する色付き部材とする事ができる。

画像処理装置１００は、所定の単色をマーカ色として検出してもよいし、所定の複数色のそれぞれを異なるマーカ色として検出してもよい。本実施の形態において、画像処理装置１００は、所定の複数色のそれぞれを異なるマーカ色として検出するものとする。

＜装置の構成＞
次に、画像処理装置１００の構成について説明する。

図４は、画像処理装置１００の構成の一例を示すブロック図である。

図４において、画像処理装置１００は、情報格納部１１０、撮影部１２０、顔位置取得部１３０、スタイラス検出部１４０、化粧画像重畳部１５０、および表示部１６０を有する。

情報格納部１１０は、画像から画像に含まれる人の顔や顔部品を検出するための顔特徴情報と、化粧画像を生成して映像の顔の部分に重畳するための化粧画像テーブルとを、予め格納している。

顔特徴情報は、例えば、多数の顔画像サンプルに基づく学習により生成された、目や唇といった顔部品の形状等の画像特徴や、顔部品の配置や顔の色ヒストグラムといった顔全体の画像特徴を示す情報である。顔部品のそれぞれには、目尻や口角といった、顔特徴点が含まれる。

化粧画像テーブルは、複数の所定のマーカ色について、所定のマーカ色毎に、化粧画像の内容（以下「化粧画像データ」という）を予め記述したテーブルである。なお、本実施の形態において、化粧画像は、唇領域、瞼領域、および頬骨領域等の、化粧の塗布の対象となる連続した領域（以下「対象領域」という）を単位として、生成されるものとする。

図５は、化粧画像テーブルの内容の一例を示す図である。

図５に示すように、化粧画像テーブル５１０は、マーカ色５１１に対応付けて、化粧領域５１２、化粧色５１３、および化粧濃さ５１４を記述している。化粧領域５１２、化粧色５１３、および化粧濃さ５１４は、対象領域毎の化粧画像データを構成する。

マーカ色５１１は、画像処理装置１００がスタイラスを示す色として検出の対象とする色を、同一の種別のスタイラスとして認識する色毎に記述したものである。なお、マーカ色５１１は、ここでは色の名称で表されているが、実際には、ＲＧＢ（Red, Green, Blue）といった所定の色空間における座標値の範囲等である。すなわち、マーカ色５１１は、ある程度の幅を有する色範囲である。

化粧領域５１２は、例えば、口角等の顔特徴点の位置を基準として定義される、化粧画像の領域（つまり、化粧の塗布領域）である。なお、化粧領域５１２は、ここでは顔の領域の名称で表されているが、実際には、顔特徴点の位置を基準とする空間における座標値や関数等である。

化粧色５１３は、化粧画像の色である。なお、化粧色５１３は、ここでは色の名称で表されているが、実際には、ＲＧＢ（Red, Green, Blue）、ＨＳＶ（Hue, Saturation, Value）といった所定の色空間における座標値等である。化粧色５１３は、必ずしも、マーカ色５１１と同一でなくてもよいが、マーカ色５１１に近似した色である事が望ましい。これにより、ユーザ３００は、所望の色に近い色でのバーチャル化粧を、直感的に行うことができる。

化粧濃さ５１４は、撮影画像に重畳する際の化粧画像の色の濃度（透明度）である。なお、化粧濃さ５１４は、ここでは透明度で表されているが、実際には、撮影画像に化粧画像をαブレンド等によって重畳する際の、画素値に対する合成率等の係数である。

すなわち、化粧画像テーブル５１０に記述された化粧画像データが示す化粧画像は、顔特徴点を基準として予め定められた領域（対象領域）に化粧が塗布されたときの、化粧の状態を表す画像である。また、化粧領域５１２は、化粧の塗布の対象となる対象領域である。

図４の撮影部１２０は、例えば、上述のデジタルカメラ１０２を有し、ユーザ３００の顔の映像を撮影する（図１参照）。そして、撮影部１２０は、撮影した映像を、左右方向に反転させて、顔位置取得部１３０、スタイラス検出部１４０、および化粧画像重畳部１５０へ出力する。

顔位置取得部１３０は、入力された映像から、逐次、映像に含まれる顔の位置を取得する。より具体的には、顔位置取得部１３０は、顔特徴情報に基づき、顔あるいは顔部品の画像特徴のパターンマッチングを、映像を構成する画像フレームの各部分に対して行う。これにより、顔位置取得部１３０は、各画像フレームから、画像フレームに含まれる各顔特徴点の位置を抽出する。そして、顔位置取得部１３０は、抽出された顔特徴点の位置を示す情報を、スタイラス検出部１４０および化粧画像重畳部１５０へ出力する。

スタイラス検出部１４０は、入力された映像に、化粧画像テーブル５１０に記述されたマーカ色５１１（図５参照）のいずれかが含まれるとき、映像から、当該部分をスタイラスとして検出する。マーカ色の部分の検出手法としては、例えば、特許文献２に記載の、色ヒストグラム情報に基づく検出手法を採用する事ができる。

スタイラス検出部１４０は、化粧画像テーブル５１０の化粧領域５１２（図５参照）を参照して、スタイラスをいずれかの対象領域に近接させる化粧動作（図２参照）が行われたか否かを判定する。かかる判定は、入力された情報が示す顔特徴点の位置と、検出されたスタイラスの位置とに基づいて行われる。そして、スタイラス検出部１４０は、かかる化粧動作が行われた事を条件として、検出されたマーカ色を示す情報を、化粧画像重畳部１５０へ出力する。

なお、顔部品の位置およびスタイラスの位置とは、それぞれ、映像の２次元空間における位置、実世界の３次元空間における位置、および映像の２次元空間に顔表面との距離方向の空間軸を組み合わせた３次元空間における位置のうち、いずれでもよい。

例えば、デジタルカメラ１０２がステレオカメラである場合、顔位置取得部１３０およびスタイラス検出部１４０は、ステレオ画像間の視差を算出する事により、顔部品あるいはスタイラスの３次元位置を取得する事ができる。また、映像における顔の大きさの平均値およびスタイラスの大きさの平均値が予め取得されているとする。この場合、顔位置取得部１３０およびスタイラス検出部１４０は、映像における実際の顔の大きさおよびスタイラスの大きさを検出する事により、顔部品あるいはスタイラスの３次元位置を取得する事ができる。

化粧画像重畳部１５０は、スタイラスが検出された事を条件として、入力された映像の顔の部分に対し、検出されたマーカ色に予め対応付けられた化粧画像を重畳する。より具体的には、化粧画像重畳部１５０は、マーカ色を示す情報が入力されたとき、化粧画像テーブル５１０（図５参照）を参照し、当該マーカ色に対応する化粧画像データを取得する。化粧画像重畳部１５０は、取得した化粧画像データに基づいて化粧画像を生成し、生成された化粧画像を、入力された映像に重畳する。そして、化粧画像重畳部１５０は、化粧画像が適宜重畳された映像を、表示部１６０へ出力する。

表示部１６０は、例えば、上記液晶ディスプレイ１０１（図１参照）を有し、入力された、化粧画像が適宜重畳された映像（以下「バーチャル化粧映像」という）を、当該液晶ディスプレイの画面に表示する。

画像処理装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行する事により実現される。

このような構成を有する画像処理装置１００は、ユーザ３００がスタイラス２００を顔に近接させたとき、つまり、化粧動作を行ったとき、これを検出して、対応する化粧画像が重畳されたユーザ３００の顔の映像を表示する事ができる。

＜装置の動作＞
次に、画像処理装置１００の動作について説明する。

図６は、画像処理装置１００の動作の一例を示すフローチャートである。

ステップＳ１１００において、撮影部１２０は、映像の撮影を開始する。かかる映像には、ユーザ３００の顔やスタイラス２００が含まれ得る。なお、画像処理装置１００は、以降の各処理を、映像を構成する画像フレーム毎に、順次行う。

ステップＳ１２００において、顔位置取得部１３０は、画像に顔が含まれる場合、当該画像から、顔特徴点の位置を検出する。

ステップＳ１３００において、スタイラス検出部１４０は、画像からマーカ色の検出を行い、画像にマーカ色の部分が存在するか否かを判定する。スタイラス検出部１４０は、画像にマーカ色の部分が存在する場合（Ｓ１３００：ＹＥＳ）、処理をステップＳ１４００へ進める。また、スタイラス検出部１４０は、画像にマーカ色の部分が存在しない場合（Ｓ１３００：ＮＯ）、処理を後述のステップＳ１７００へ進める。

ステップＳ１４００において、スタイラス検出部１４０は、検出されたマーカ色に対応付けられた対象領域（化粧領域５１２、図５参照）への化粧動作が行われたか否かを判定する。すなわち、スタイラス検出部１４０は、検出されたマーカ色の部分（スタイラス２００）が、対応する対象領域に近接しているか否かを判定する。なお、近接しているとは、例えば、スタイラス２００の位置と、顔特徴点の位置により定まる対象領域との距離が、所定の値以下である事である。

スタイラス検出部１４０は、化粧動作が行われた場合（Ｓ１４００：ＹＥＳ）、処理をステップＳ１５００へ進める。また、スタイラス検出部１４０は、化粧動作が行われていない場合（Ｓ１４００：ＮＯ）、処理をステップ後述のＳ１７００へ進める。

なお、スタイラス検出部１４０は、化粧画像テーブル５１０（図５参照）に基づき、対象領域毎に、検出の対象となるマーカ色を限定してもよい。この場合、ステップＳ１３００、Ｓ１４００は、１つの処理とする事ができる。また、スタイラス検出部１４０は、顔位置取得部１３０が顔領域を検出する場合、検出された顔領域に限定して、各マーカ色の検出を行ってもよい。

また、ユーザ３００は、化粧動作を行うつもりがないにもかかわらず、誤ってスタイラス２００を対象領域に近接させてしまう場合もある。したがって、スタイラス検出部１４０は、スタイラス２００が対象領域に近接した状態が、１秒等の所定の時間以上持続したことを条件として、化粧動作が行われたと判定してもよい。

ステップＳ１５００において、化粧画像重畳部１５０は、検出されたマーカ色に対応付けられた化粧画像が重畳済みか否かを判定する。なお、当該化粧画像は、検出されたマーカ色に対応する化粧画像データ（５１２〜５１４、図５参照）により生成される画像である。化粧画像重畳部１５０は、化粧画像が重畳済みではない場合（Ｓ１５００：ＮＯ）、処理をステップＳ１６００へ進める。また、化粧画像重畳部１５０は、化粧画像が重畳済みである場合（Ｓ１５００：ＹＥＳ）、処理を後述のステップＳ１７００へ進める。

ステップＳ１６００において、化粧画像重畳部１５０は、検出されたマーカ色に対応付けられた化粧画像を生成し、撮影画像への重畳を開始する。すなわち、化粧画像重畳部１５０は、以降の映像において、化粧画像の重畳を継続する。かかる化粧画像の重畳の継続は、例えば、顔特徴点の最新の位置に基づいて化粧画像を再生成したり、生成された化粧画像を顔特徴点の最新の位置に合わせ込む形で変形する事により行われる。

なお、ユーザ３００がスタイラス２００の使用を開始してから所望の化粧動作を完了するまでには数秒程度の時間が掛かる。したがって、化粧画像重畳部１５０は、所定のマーカ色が検出されてから対応する化粧画像の重畳を開始するまでに、数秒程度の時間差を設ける事が望ましい。

ステップＳ１７００において、表示部１６０は、生成されたバーチャル化粧映像を表示する。なお、バーチャル化粧映像は、化粧画像が重畳されている映像だけではなく、化粧画像が重畳されていない映像をも含む。

ステップＳ１８００において、化粧画像重畳部１５０は、ユーザ操作等によりバーチャル化粧映像を生成して表示する処理の終了を指示されたか否かを判定する。化粧画像重畳部１５０は、処理の終了を指示されていない場合（Ｓ１８００：ＮＯ）、処理をステップＳ１２００へ戻し、次の画像フレーム、あるいは、最新の画像フレームに対する処理に移る。また、化粧画像重畳部１５０は、処理の終了を指示された場合（Ｓ１８００：ＹＥＳ）、一連の処理を終了する。

このような動作により、画像処理装置１００は、ユーザ３００がスタイラス２００を唇等の対象領域に近接させる化粧動作を行ったとき、当該領域に化粧画像が重畳されたバーチャル化粧映像を、生成して表示する事ができる。

なお、マーカ色の違い（つまりスタイラス２００の違い）は、バーチャル化粧映像において、化粧画像の領域や色の違いとなって現れる。

図７は、スタイラス２００によるバーチャル化粧映像の違いの例を示す図であり、図２Ｃに対応するものである。図２Ｃと対応する部分には同一符号を付し、これについての説明を省略する。

図７Ａは、マーカ色が赤のスタイラスを使用した場合の例である。図７Ｂは、マーカ色がピンクのスタイラスを使用した場合の例である。図７Ｃは、マーカ色が水色のスタイラスを使用した場合の例である。図７Ａ〜図７Ｃに示すスタイラス２００_１〜２００_３のマーカ色は、順に、赤、ピンク、水色である。

図７Ａに示すように、赤のスタイラス２００_１が用いられた場合、画像処理装置１００は、化粧画像テーブル５１０（図５参照）に基づき、唇部分に赤の化粧画像４１２_１を重畳させる。同様に、画像処理装置１００は、図７Ｂに示すように、ピンクのスタイラス２００_２が用いられた場合、唇部分にコーラルピンクの化粧画像４１２_２を重畳させる。また、画像処理装置１００は、図７Ｃに示すように、水色のスタイラス２００_３が用いられた場合、唇部分にブルーグレーの化粧画像４１２_３を重畳させる。

このように、画像処理装置１００は、スタイラス２００のマーカ色に応じて、異なる化粧画像をユーザの顔の映像に重畳させる。

＜本実施の形態の効果＞
以上のように、本実施の形態に係る画像処理装置１００は、撮影された映像から、映像に含まれる顔の位置を取得し、映像に所定のマーカ色の部分が含まれるとき、更に当該部分をスタイラスとして検出する。そして、本実施の形態に係る画像処理装置１００は、撮影された映像を表示するが、その際に、スタイラスが検出された事を条件として、映像の顔の部分に対し、所定のマーカ色に予め対応付けられた化粧画像を重畳する。これにより、画像処理装置１００は、化粧動作によりバーチャル化粧を行う事を可能にする。

また、画像処理装置１００は、図５の化粧画像テーブル５１０に示すように、マーカ色毎に化粧の対象領域を限定している。これにより、画像処理装置１００は、スタイラス２００毎に定められた対象領域以外の部分にスタイラス２００が近接したとしても、かかる部分に対する化粧画像の重畳を行わない。これにより、画像処理装置１００は、例えば、バーチャル化粧映像において口紅が誤って瞼に塗布されるといった事態を回避する事ができる。

＜変形例１：スタイラス識別手法の他の例＞
なお、スタイラス２００の識別手法は、上述の例に限定されない。例えば、画像処理装置１００は、所定の複数色から成る所定の色配置パターンの部分が含まれるとき、映像から、当該部分を上述のマーカ色として検出してもよい。この場合、色配置パターンをスタイラス２００の識別コードとして用いる事ができ、スタイラス２００の検出精度の向上が可能になるとともに、識別されるスタイラス２００の数を増大させる事ができる。

図８は、色配置パターンを施したスタイラスの外観の一例を示す図であり、図３に対応するものである。

図８に示すように、スタイラス２００ａには、先端から連続する第１〜第４の領域２１０_１〜２１０_４のそれぞれに、色が施されている。第１〜第４の領域２１０_１〜２１０_４の間で、施される色は同一であってもよいし異なっていてもよい。但し、第１〜第４の領域２１０_１〜２１０_４のうち少なくとも隣り合う領域２１０の間では、色が異なっている事が望ましい。また、第１〜第４の領域２１０_１〜２１０_４の少なくとも１つには、これらの色配置パターンに対応付けられた化粧色に近似する色が、塗布されている事が望ましい。

第１〜第４の領域２１０_１〜２１０_４に施された色の組み合わせおよび順序は、スタイラス２００ａに施された色配置パターンを構成する。なお、色配置パターンを構成する領域の数は、４つに限定されるものではない。

図９は、色配置パターンをマーカ色として用いる場合の、化粧画像テーブルの内容の一例を示す図であり、図５に対応するものである。図５と対応する部分には同一符号を付し、これについての説明を省略する。

図９に示すように、化粧画像テーブル５１０ａは、化粧領域５１２、化粧色５１３、および化粧濃さ５１４を、色配置パターンであるマーカ色５１１ａに対応付けて記述している。なお、マーカ色５１１ａは、ここでは色配置パターンの絵で表されているが、実際には、所定の色空間における座標値の範囲を、配置順序に沿って記述した情報である。

例えば、スタイラス検出部１４０は、まず、画像から、第１の領域２１０_１（図８参照）に対応する色の領域を探索し、当該領域が検出された場合、その領域の周辺で、第２の領域２１０_２に対応する色の領域を探索する。第２の領域２１０_２に対応する色の領域が検出された場合、スタイラス検出部１４０は、更に、その検出された方向の周辺領域で、第３の領域２１０_３、第４の領域２１０_４と順に探索する。

スタイラス検出部１４０が、Ｎ種類の色を区別して検出可能である場合、図３に示す単色から成るマーカ色のスタイラス２００では、Ｎ本のスタイラス２００を識別可能であり、Ｎ種類の化粧画像を使用する事ができる。

これに対し、図８に示すような４つの領域の色配置パターンをマーカ色とするスタイラス２００ａでは、例えば、Ｎ^４本のスタイラス２００を識別可能となり、Ｎ^４種類の化粧画像を使用する事ができる。すなわち、マーカ色として複数色の色配置パターンを採用する事により、画像処理装置１００は、種類の豊富な化粧画像を重畳し、バーチャル化粧のバリエーションを広げる事ができる。

更に、マーカ色が複数色の色配置パターンである場合、マーカ色が単色である場に比べて、スタイラス２００以外の部分がスタイラス２００と誤検出される可能性を低減する事ができる。一方で、マーカ色が複数色の色配置パターンである場合、その一部が手指で隠れる等して、検出漏れとなる可能性が高くなる。

そこで、スタイラス検出部１４０は、ある画像フレームで検出されたスタイラス２００ａを、後続の映像において追跡する事が望ましい。かかる追跡は、例えば、スタイラス２００ａの先端の色や形状等の画像特徴部分を、映像に対する公知のターゲット追跡技術を用いて追跡する事により行われる。この場合、スタラス２００ａの先端の領域（第１の領域２１０_１、図８参照）の色は、所定の１色である事が望ましい。

＜変形例２：色決定手法の他の例＞
また、化粧画像の色（化粧色）の決定手法は、上述の例に限定されない。画像処理装置１００は、例えば、マーカ色とは別にスタイラスに塗布された色に基づいて、化粧画像の色を決定してもよい。

図１０は、マーカ色以外の色を施したスタイラスの外観の一例を示す図であり、図３および図８に対応するものである。

図１０に示すように、スタイラス２００ｂには、先端から連続する第５および第６の領域２１０_５、２１０_６のそれぞれに、色が施されている。第６の領域２１０_６の色は、１つまたは複数の所定のマーカ色から選択された色である。

第５の領域２１０_５に施される色は、上記所定のマーカ色以外の色である事が望ましい。なお、第５の領域２１０_５は、例えば、棒状部材に塗布された塗料、棒状部材に貼り付けられたシール、あるいは、棒状部材を構成する色付き部材とする事ができる。また、マーカ色は、緑色等、化粧にあまり用いられず、かつ、顔の色と異なる色である事が望ましい。

このようなスタイラス２００ｂを用いる場合、スタイラス検出部１４０は、映像のうち、検出された所定のマーカ色の部分の周辺領域から、当該周辺領域に含まれる顔の色以外の色を、塗布指定色として検出する。すなわち、スタイラス検出部１４０は、第５の領域２１０_５の色を、塗布指定色として検出する。そして、化粧画像重畳部１５０は、検出された塗布指定色に近似する色で、化粧画像を生成する。

なお、化粧画像テーブル５１０（図５参照）は、化粧色５１３については記述する必要がない。更に、マーカ色を１色とし、対象領域をスタイラス２００ｂ毎に限定しない場合、マーカ色毎に化粧画像の内容を予め記述した化粧画像テーブルは、必ずしも必要ない。また、画像処理装置１００は、かかるテーブルに代えて、マーカ色と、対象領域毎に化粧色以外の化粧画像データとを記述した、化粧画像テーブルを用いてもよい。

図１１は、マーカ色および塗布指定色を塗布したスタイラス２００ｂを用いる場合の、画像処理装置１００の動作の一例を示すフローチャートであり、図６に対応するものである。図６と同一部分には同一符号を付し、これについての説明を省略する。

スタイラス検出部１４０は、画像にマーカ色の部分が存在すると判定されると（Ｓ１３００：ＹＥＳ）、処理をステップＳ１３１０ｂへ進める。

ステップＳ１３１０ｂにおいて、スタイラス検出部１４０は、マーカ色の部分の周辺領域で、顔の色以外の色の検出を行い、顔の色以外の色の部分が存在するか否かを判定する。より具体的には、スタイラス検出部１４０は、例えば、顔位置取得部１３０が顔領域を検出する場合、検出された顔領域の色ヒストグラム情報に基づいて、肌、唇、目、睫毛、および眉毛部分を含む顔の各部の色を推定する。そして、スタイラス検出部１４０は、推定された色と異なり、かつ、所定の面積を有する部分の色を、顔の色以外の色として検出する。

例えば、画像に図１０に示すスタイラス２００ｂの第５および第６の領域２１０_５、２１０_６が含まれる場合、第６の領域２１０_６がマーカ色であるため、スタイラス検出部１４０は、第５の領域２１０_５の色を検出する。

スタイラス検出部１４０は、マーカ色の部分の周辺領域に顔の色以外の色の部分が存在する場合（Ｓ１３１０ｂ：ＹＥＳ）、処理をステップＳ１３２０ｂへ進める。また、スタイラス検出部１４０は、マーカ色の部分の周辺領域に顔の色以外の色の部分が存在しない場合（Ｓ１３１０ｂ：ＮＯ）、処理を後述のステップＳ１４１０ｂへ進める。

ステップＳ１３２０ｂにおいて、スタイラス検出部１４０は、ステップＳ１３１０ｂで検出された色を、塗布指定色として取得する。

なお、スタイラス検出部１４０は、映像においてマーカ色の部分を追跡し、マーカ色と同じ動きをする色を、上述の顔の色以外の色であると判定してもよい。

ステップＳ１４１０ｂにおいて、スタイラス検出部１４０は、塗布指定色を取得済みであり、かつ、いずれかの対象領域への化粧動作が行われたか否かを判定する。すなわち、スタイラス検出部１４０は、検出されたマーカ色の部分（スタイラス２００ｂ）が、予め定められた対象領域のいずれかに近接しているか否かを判定する。

スタイラス検出部１４０は、塗布指定色を取得済みであり、かつ、対象領域への化粧動作が行われた場合（Ｓ１４１０ｂ：ＹＥＳ）、処理をステップＳ１５１０ｂへ進める。この際、スタイラス検出部１４０は、塗布指定色および化粧動作の対象となった対象領域を示す情報を、上述のマーカ色を示す情報に代えて、化粧画像重畳部１５０へ出力する。また、スタイラス検出部１４０は、塗布指定色を取得されていない場合、あるいは、対象領域への化粧動作が行われていない場合（Ｓ１４１０ｂ：ＮＯ）、処理をステップＳ１７００へ進める。

ステップＳ１５１０ｂにおいて、化粧画像重畳部１５０は、入力された情報に基づき、塗布指定色に近似する色の化粧画像が、対象領域に既に重畳されているか否かを判定する。化粧画像重畳部１５０は、塗布指定色に近似する色の化粧画像が対象領域に重畳されている場合（Ｓ１５１０ｂ：ＹＥＳ）、処理をステップＳ１７００へ進める。また、化粧画像重畳部１５０は、塗布指定色に近似する色の化粧画像が対象領域に重畳されていない場合（Ｓ１５１０ｂ：ＮＯ）、処理をステップＳ１６１０ｂへ進める。

ステップＳ１６１０ｂにおいて、化粧画像重畳部１５０は、塗布指定色に近似する色の化粧画像を生成し、撮影画像への重畳を開始して、処理をステップＳ１７００へ進める。

より具体的には、化粧画像重畳部１５０は、例えば、情報格納部１１０に予め格納された、色空間を分割した複数の分割色空間と、各分割色空間における平均色等の代表色とを示す情報を参照する。そして、化粧画像重畳部１５０は、塗布指定色が属する分割色空間を特定し、特定された分割色空間の代表色を、化粧画像の化粧色に決定する。

なお、化粧画像重畳部１５０は、取得された塗布指定色をそのまま化粧色として採用してもよいし、取得された塗布指定色に対して、所定の色変換を行って得られる色を、化粧色として採用してもよい。更に、化粧画像重畳部１５０は、照明状態等の周囲の環境情報を取得し、取得された情報に基づいて、色変換の内容を決定してもよい。

図１２は、スタイラス２００ｂの塗布指定色によるバーチャル化粧映像の違いの例を示す図であり、図２Ｃおよび図７に対応するものである。図２Ｃおよび図７と対応する部分には同一符号を付し、これについての説明を省略する。

図１２Ａ〜図１２Ｃに示すように、それぞれ異なる塗布指定色が施されたスタイラス２００ｂ_１〜２００ｂ_３のそれぞれを用いて、唇に対して化粧動作が行われたとする。この場合、画像処理装置１００は、各スタイラス２００ｂの塗布指定色に近似する色の化粧画像４１２ｂ_１〜４１２ｂ_３を、化粧動作の対象となった唇領域に重畳させる。

マーカ色に基づいて化粧色を決定する場合、識別可能なマーカ色（色配置パターン）の数に応じて化粧画像の種類が制限されるとともに、マーカ色と化粧色との対応関係を予め登録しておく必要がある。

これに対し、マーカ色に基づいて図１０に示すようなスタイラス２００ｂを検出し、検出されたスタイラス２００ｂから塗布指定色を取得する場合、上述の制限はなく、マーカ色と化粧色との対応関係を予め設定しておく必要もない。すなわち、マーカ色と塗布指定色との組み合わせを採用する事により、画像処理装置１００は、色の柔軟性に富んだ化粧画像を生成することができ、バーチャル化粧のバリエーションを広げる事ができる。

＜その他の変形例＞
また、画像処理装置１００が行うマーカ色（色配置パターン）と化粧画像との対応付けは、上述の例に限定されない。例えば、化粧領域５１２および化粧濃さ５１４は、必ずしも、マーカ色毎に限定されていなくてもよい。これにより、ユーザ３００は、１つのスタイラス２００で、複数あるいは全ての対象領域へのバーチャル化粧を行う事ができる。

また、画像処理装置１００に使用されるスタイラス２００の形状、スタイラス２００におけるマーカ色および塗布指定色の配置、および、色配置パターンの構成は、上述の例に限定されない。例えば、スタイラス２００は、各種化粧品により近い形状や素材であってもよく、例えば、平刷毛状の形状および素材であってもよい。

また、画像処理装置１００は、ユーザ３００からマーカ色の入力を受け付けてもよい。この場合、スタイラス検出部１４０は、例えば、バーチャル化粧の実施に先立って、撮影映像からスタイラス２００の部分を取得するためのスタイラス登録画面を、液晶ディスプレイ１０１に表示する。そして、スタイラス検出部１４０は、スタイラス登録画面を介して取得されたスタイラス２００の部分の色を、スタイラス２００に付されたマーカ色として取得する。

図１３は、スタイラス登録画面の一例を示す図である。

図１３に示すように、スタイラス登録画面６１０は、例えば、デジタルカメラ１０２の撮影映像６１１におけるスタイラス２００の位置を指定する位置指定画像６１２を含む。また、スタイラス登録画面６１０は、撮影映像６１１において、スタイラス２００の位置が位置指定画像６１２に合うように、スタイラス２００を持つことをユーザ３００に指示するメッセージ６１３を含む。

スタイラス検出部１４０は、予め登録された、スタイラス２００の外形やスタイラス２００に付されるコードパターンを撮影映像６１１から検出することにより、位置指定画像６１２にスタイラス２００が合わせられたか否かを判定する。そして、スタイラス検出部１４０は、位置指定画像６１２にスタイラス２００が合わせられたとき、マーカ色が付される部分（例えばスタイラス２００の先端部分）の色を撮影映像６１１から取得し、取得された色をマーカ色として取得する。

なお、化粧画像重畳部１５０は、取得された色をそのまま化粧色としてもよいし、取得された色に予め対応付けられた色を化粧色としてもよい。

また、画像処理装置１００のスタイラス２００の識別には、色情報以外の情報を併用してもよい。例えば、スタイラス検出部１４０は、スタイラス２００にＲＦＩＤ（Radio Frequency Identification）タグが搭載されている場合、ＲＦＩＤタグからの無線信号が示す情報と、スタイラス２００の色情報との組み合わせに基づいて、スタイラス２００を識別してもよい。

また、画像処理装置１００が行う化粧画像の重畳は、上述の対象領域に制限しなくてもよい。すなわち、画像処理装置１００は、顔の全体の各部を、化粧動作の対象として認識してもよい。

この場合において、より実際の化粧に近い感覚をユーザ３００に与えたい場合、スタイラス検出部１４０は、ユーザ３００がスタイラス２００を顔の表面に接触させたか否かを検出し、スタイラス２００が接触した部分を、化粧領域として決定することが望ましい。かかる検出は、例えば、顔の表面の各部の３次元位置と、スタイラス２００の先端の３次元位置とを、それぞれ高精度に検出したり、スタイラス２００の先端に搭載された押圧センサのセンサ情報を無線で受信する事により、行うことができる。

あるいは、スタイラス検出部１４０は、更に、対象領域付近におけるスタイラス２００（マーカ色の領域）の動きや、対象領域とスタイラス２００との更に細かい位置関係を解析して、かかる対象領域に対する化粧動作が行われたか否かを判定してもよい。具体的には、例えば、スタイラス検出部１４０は、対象領域毎に、所定のスタイラス２００の動きのパターン（ジェスチャ）を予め化粧動作として登録しておき、かかるジェスチャを検出することにより、化粧動作の判定を行う。

ジェスチャは、例えば、顔に設定された複数の基準点を用いて定義することができる。

図１４は、ジェスチャの定義を説明するための図である。

図１４に示すように、顔６２０には、複数の基準点（６２１）Ａ〜Ｆ、Ｘ〜Ｚが定義されている。基準点の位置は、顔特徴点を基準として定められる。また、化粧の対象領域のそれぞれに、１つまたは複数の基準点が定義されている。

例えば、情報格納部１１０には、対象領域毎に、１つまたは複数の基準点とスタイラス２００との相対位置関係の時間変化を、当該対象領域に対する化粧動作として記述したジェスチャテーブルが、予め格納されている。

例えば、上唇の化粧動作は、基準点Ａ、基準点Ｂ（または基準点Ｂと基準点Ｄとの中点）、基準点Ｃの順序、あるいはこの逆の順序で、スタイラス２００がこれらの基準点に近接するようなスタイラス２００の動き（ユーザ３００のジェスチャ）である。また、下唇の化粧動作は、基準点Ａ、基準点Ｆ（または基準点Ｆと基準点Ｅとの中点）、基準点Ｃの順序、あるいはこの逆の順序で、スタイラス２００がこれらの基準点に近接するようなスタイラス２００の動きである。

また、右頬の化粧動作は、基準点Ｚの周辺でスタイラス２００が数回回転するような、スタイラス２００の動きである。また顔全体に対するファンデーションの化粧動作は、基準点Ｘ、基準点Ｙ、基準点Ｚの順序、あるいはこの逆の順序で、スタイラス２００がこれらの基準点に近接するようなスタイラス２００の動きである。

化粧画像重畳部１５０は、映像から検出されるスタイラス２００の位置の時間変化を、ジェスチャテーブルに記述された各化粧動作の内容と比較することにより、各対象領域に対する化粧動作が行われたか否かを判定する。

逆に、画像処理装置１００は、単にスタイラス２００が顔に近付いた事、あるいは、単にスタイラス２００が映像から検出された事を条件として、スタイラス２００の種別に予め対応付けられた化粧画像の撮影映像への重畳を開始してもよい。

また、画像処理装置１００が、スタイラス２００の別により変化させる化粧画像の内容は、上述の例に限定されない。すなわち、化粧画像テーブル５１０（図５参照）が記述する化粧画像の内容は、マーカ色（色配置パターン）毎に、化粧の光沢等の画像効果や、化粧剤の持ちに相当する化粧画像の持続時間等が異なるものであってもよい。

また、情報格納部１１０は、インターネット上の所定のサーバ等にアクセスして、化粧画像テーブル５１０（図５参照）の内容を取得あるいは更新してもよい。情報格納部１１０は、かかるテーブルの取得あるいは更新を、定期的に、あるいは、ユーザまたはサーバからの指示を受けたタイミングで行う。これにより、画像処理装置１００は、スタイラス２００の増加や変更に柔軟に対応する事ができるとともに、メイクの流行を反映したバーチャル化粧を、ユーザ３００に提供する事ができる。

また、スタイラス検出部１４０は、化粧を拭き取るための色として予め定められた色が映像に含まれるとき、かかる色の部分を、消しゴムスタイラスとして検出してもよい。そして、スタイラス検出部１４０は、消しゴムスタイラスを化粧画像が重畳された部分に近接させる動作が行われた事を条件として、当該化粧画像の重畳を終了させてもよい。

また、画像処理装置１００が対象とする化粧の概念には、顔全体へのファンデーションの塗布、顔への描画、眼鏡の装着、カラーコンタクトの装着、眉毛や髪の毛への毛染め等を含めてもよい。いずれの場合において、スタイラスは、眼鏡型のプレートやブラシ型の道具等、対応する動作に用いられる道具を模したものである事が望ましい。

また、画像処理装置１００が適用される装置は、上述の例に限定されない。画像処理装置１００は、例えば、スマートフォン、タブレット型端末、パーソナルコンピュータ、あるいはデジタルカメラ等に適用されてもよい。

また、画像処理装置１００の構成の一部は、ネットワーク上のサーバ等に配置される等して、画像処理装置１００の構成の他の部分と離隔していてもよい。この場合、これら部分のそれぞれは、互いに通信を行うための通信部を備える必要がある。

＜本開示のまとめ＞
本開示の画像処理装置は、映像を撮影する撮影部と、撮影された前記映像を画面に表示する表示部と、前記映像から、前記映像に含まれる顔の位置を取得する顔位置取得部と、前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するスタイラス検出部と、前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳する化粧画像重畳部と、を有する。

なお、上記画像処理装置において、前記スタイラス検出部は、前記スタイラスの位置を取得し、取得された前記顔の位置および前記スタイラスの位置に基づいて、ユーザが前記スタイラスを前記顔に近接させる化粧動作を行ったか否かを判定し、前記化粧画像重畳部は、前記化粧動作が行われた事を条件として、前記化粧画像を重畳してもよい。

また、上記画像処理装置において、前記化粧画像は、顔特徴点を基準として予め定められた領域に化粧が塗布されたときの前記化粧の状態を表す画像であり、前記顔位置取得部は、前記顔の顔特徴点の位置を取得し、前記化粧画像重畳部は、取得された前記顔特徴点の位置および前記スタイラスの位置に基づき、前記スタイラスを前記領域に近接させる化粧動作が行われた事を条件として、前記化粧画像を重畳してもよい。

また、上記画像処理装置において、前記スタイラス検出部は、前記映像から前記所定のマーカ色の部分を検出し、検出された部分に基づいて前記スタイラスの位置を検出し、検出された前記スタイラスの位置を前記映像において追跡してもよい。

また、上記画像処理装置において、前記スタイラス検出部は、前記映像のうち、検出された前記所定のマーカ色の部分の周辺領域から、当該周辺領域に含まれる前記顔の色以外の色を、塗布指定色として検出し、前記化粧画像重畳部は、検出された前記塗布指定色に近似する色で、前記化粧画像を生成してもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、複数の前記所定のマーカ色について、前記所定のマーカ色毎に前記化粧画像の内容を予め記述した化粧情報テーブルを参照して、重畳する前記化粧画像を決定し、前記化粧テーブルが記述する前記化粧画像の内容は、前記所定のマーカ色毎に、前記化粧画像の色、濃さ、および領域の少なくとも１つが異なってもよい。

また、上記画像処理装置において、前記所定のマーカ色は、所定の複数色から成る所定の色配置パターンであってもよい。

本開示のスタイラスは、上記画像処理装置に使用されるスタイラスであって、棒状部材であり、前記棒状部材の先端部を含む領域に前記所定のマーカ色が施されている。

本開示の画像処理方法は、映像を撮影するステップと、撮影された前記映像を画面に表示するステップと、前記映像から、前記映像に含まれる顔の位置を取得するステップと、前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するステップと、前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳するステップと、を有する。

本発明は、化粧動作によりバーチャル化粧を行う事ができる画像処理装置、スタイラス、および画像処理方法として有用である。

１００ 画像処理装置
１０１ 液晶ディスプレイ
１０２ デジタルカメラ
１１０ 情報格納部
１２０ 撮影部
１３０ 顔位置取得部
１４０ スタイラス検出部
１５０ 化粧画像重畳部
１６０ 表示部
２００、２００ａ、２００ｂ スタイラス

Claims (9)

1. 映像を撮影する撮影部と、
   撮影された前記映像を画面に表示する表示部と、
   前記映像から、前記映像に含まれる顔の位置を取得する顔位置取得部と、
   前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するスタイラス検出部と、
   前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳する化粧画像重畳部と、を有する、
   画像処理装置。
2. 前記スタイラス検出部は、
   前記スタイラスの位置を取得し、取得された前記顔の位置および前記スタイラスの位置に基づいて、ユーザが前記スタイラスを前記顔に近接させる化粧動作を行ったか否かを判定し、
   前記化粧画像重畳部は、
   前記化粧動作が行われた事を条件として、前記化粧画像を重畳する、
   請求項１に記載の画像処理装置。
3. 前記化粧画像は、顔特徴点を基準として予め定められた領域に化粧が塗布されたときの前記化粧の状態を表す画像であり、
   前記顔位置取得部は、
   前記顔の顔特徴点の位置を取得し、
   前記化粧画像重畳部は、
   取得された前記顔特徴点の位置および前記スタイラスの位置に基づき、前記スタイラスを前記領域に近接させる化粧動作が行われた事を条件として、前記化粧画像を重畳する、
   請求項１に記載の画像処理装置。
4. 前記スタイラス検出部は、
   前記映像から前記所定のマーカ色の部分を検出し、検出された部分に基づいて前記スタイラスの位置を検出し、検出された前記スタイラスの位置を前記映像において追跡する、
   請求項１に記載の画像処理装置。
5. 前記スタイラス検出部は、
   前記映像のうち、検出された前記所定のマーカ色の部分の周辺領域から、当該周辺領域に含まれる前記顔の色以外の色を、塗布指定色として検出し、
   前記化粧画像重畳部は、
   検出された前記塗布指定色に近似する色で、前記化粧画像を生成する、
   請求項１に記載の画像処理装置。
6. 前記化粧画像重畳部は、
   複数の前記所定のマーカ色について、前記所定のマーカ色毎に前記化粧画像の内容を予め記述した化粧情報テーブルを参照して、重畳する前記化粧画像を決定し、
   前記化粧テーブルが記述する前記化粧画像の内容は、前記所定のマーカ色毎に、前記化粧画像の色、濃さ、および領域の少なくとも１つが異なる、
   請求項１に記載の画像処理装置。
7. 前記所定のマーカ色は、所定の複数色から成る所定の色配置パターンである、
   請求項１に記載の画像処理装置。
8. 請求項１に記載の画像処理装置に使用されるスタイラスであって、
   棒状部材であり、前記棒状部材の先端部を含む領域に前記所定のマーカ色が施された、
   スタイラス。
9. 映像を撮影するステップと、
   撮影された前記映像を画面に表示するステップと、
   前記映像から、前記映像に含まれる顔の位置を取得するステップと、
   前記映像に所定のマーカ色の部分が含まれるとき、前記映像から、当該部分をスタイラスとして検出するステップと、
   前記スタイラスが検出された事を条件として、前記映像の前記顔の部分に対し、前記所定のマーカ色に予め対応付けられた化粧画像を重畳するステップと、を有する、
   画像処理方法。

Images