JP2016139381A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】自分撮りをしながらのバーチャル化粧操作を可能にする画像処理装置を提供すること。【解決手段】画像処理装置１００は、映像を撮影する撮影部１１０と、撮影された映像を画面に表示する表示部１６０と、映像に含まれる顔の画面における位置を取得する顔位置取得部１４０と、画面に対するタッチ操作を受け付ける操作受付部１２０と、映像の顔の部分に対して化粧画像を重畳する化粧画像重畳部１５０と、を有し、化粧画像重畳部１５０は、顔の位置に向かう方向にスワイプ操作が行われたことを条件として、化粧画像の重畳の状態を変更する。【選択図】図２

Description

本発明は、画像処理装置および画像処理方法に係り、特に、顔の撮影映像に化粧画像を重畳する画像処理装置および画像処理方法に関する。

従来、顔を撮影した画像に頬紅等の化粧画像を重畳して仮想的に化粧を行うバーチャル化粧の技術が存在する。かかる技術により、実際に顔に化粧を施すことなく、化粧を施したときの顔の画像を生成して表示することができる。

ところで、近年、スマートフォン等を用いてユーザが自らを被写体として撮影する行為（自分撮り）が流行している。自分撮り画像の多くは、ソーシャルメディアで友人等の閲覧に供する目的で撮影される。撮影された自分撮り画像に対して、自分の顔を美しく見せる美顔処理を施すユーザも多い。その美顔処理の一つとして、バーチャル化粧があり、化粧効果を与えることが可能である。

画像の中から画像処理の対象となる顔領域を簡単に決定する技術は、例えば、特許文献１に記載されている。特許文献１に記載の技術（以下「従来技術」という）は、画像を画面に表示するとともに、画像に対して顔認識処理を行い、画面における顔領域を取得する。そして、従来技術は、画面に対するタッチ操作を受け付け、タッチ操作が行われた位置が取得された顔領域に含まれるとき、当該顔領域を画像処理の対象とする。

このような従来技術を採用することにより、ユーザは、バーチャル化粧を施す対象を簡単に選択することができる。

特開２００６−３５０９６７号公報

ところが、撮影後に、撮影された多数の自分撮り画像の中からバーチャル化粧の対象となる画像を探し出して選択するという作業は、時間と手間が掛かる。そこで、撮影中に、撮影映像に映し出されている顔に対してバーチャル化粧を施すことが考えられる。

しかしながら、自分撮りは、通常、顔の見栄えを画面の映像で確認しながら行われるため、従来技術を用いて顔を選択しようとする場合、指が邪魔となる。したがって、自分撮りをしながらのバーチャル化粧操作を可能にする技術が望まれる。

本発明の目的は、自分撮りをしながらのバーチャル化粧操作を可能にする画像処理装置および画像処理方法を提供することである。

本開示の画像処理装置は、映像を撮影する撮影部と、撮影された前記映像を画面に表示する表示部と、前記映像に含まれる顔の前記画面における位置を取得する顔位置取得部と、前記画面に対するタッチ操作を受け付ける操作受付部と、前記映像の前記顔の部分に対して化粧画像を重畳する化粧画像重畳部と、を有し、前記化粧画像重畳部は、前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記化粧画像の重畳の状態を変更する。

本開示の画像処理方法は、映像を撮影するステップと、撮影された前記映像を画面に表示するステップと、前記映像に含まれる顔の前記画面における位置を取得するステップと、前記画面に対するタッチ操作を受け付けるステップと、前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記映像の前記顔の部分に対して化粧画像を重畳させるステップと、を有する。

本開示によれば、自分撮りをしながらのバーチャル化粧操作を可能にする。

本実施の形態に係る画像処理装置の使用の様子の一例を示す図 本実施の形態に係る画像処理装置の構成の一例を示すブロック図 本実施の形態における化粧画像情報の内容の一例を示す図 本実施の形態における状態記録テーブルの内容の一例を示す図 本実施の形態における化粧画像の重畳状態の変更の様子の一例を説明するための図 本実施の形態におけるタッチ操作の対象となる顔を決定する様子の一例を説明するための図 本実施の形態におけるタッチ操作の対象となる顔部品を決定する様子の一例を説明するための図 本実施の形態における化粧設定の維持の判断の様子の一例を説明するための図 本実施の形態に係る画像処理装置の動作の一例を示すフローチャート 本実施の形態における相対位置解析処理の一例を示すフローチャート

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

＜装置の使用の様子＞
まず、本実施の形態に係る画像処理装置の使用の様子について説明する。

図１は、本実施の形態に係る画像処理装置の使用の様子の一例を示す図である。

図１に示すように、画像処理装置１００は、例えば、スマートフォンである。画像処理装置１００は、タッチパネル付き液晶ディスプレイと、当該ディスプレイと同じ側の面に配置された内側カメラおよび撮影ボタンを備えている（いずれも図示せず）。なお、撮影ボタンは、ディスプレイに表示されたボタン画像であってもよい。

画像処理装置１００は、内側カメラで撮影した映像を左右方向に反転させて、ほぼリアルタイムでディスプレイに表示する。そして、画像処理装置１００は、撮影ボタンが押下されたタイミングで、表示中の映像から静止画像を切り出して記録したり、映像の記録を開始したりする。

ユーザ２００は、例えば、内側カメラを自分の顔に向け、ディスプレイに映し出された映像で自分の顔の見栄えを確認しながら、所望のタイミングで撮影ボタンを押下する。これが、いわゆる自分撮りと呼ばれる行為である。

画像処理装置１００は、更に、ユーザのタッチパネルに対するタッチ操作に応じて、画像処理により、映像の顔の部分に対して化粧画像を重畳する。このとき、上述の通り、ディスプレイに映し出されているユーザ２００の顔の視認性が、指によって阻害されることは好ましくない。

そこで、画像処理装置１００は、ディスプレイに映し出され映像の画面における顔の位置を取得する。そして、画像処理装置１００は、顔の位置に向かう方向にスワイプ操作が行われたことを条件として、化粧画像の重畳を行ったり、重畳されている化粧画像の内容を変更する等、化粧画像の重畳の状態を変更する。

ここで、スワイプ操作とは、指やスタイラス等の先の部分を、画面に接触したまま滑らせる操作である。また、顔の位置に向かう方向とは、例えば、その延長上に顔の領域が存在する方向や、指先の接触領域の代表位置（例えば重心位置）から顔の代表位置（例えば重心位置）までの距離が小さくなるようなスワイプ操作の方向である。

すなわち、画像処理装置１００は、ユーザ２００が、顔が映し出されている領域を指で遮蔽せずに、化粧画像の重畳の状態を変更する操作を行うことを可能にする。

＜装置の構成＞
次に、画像処理装置１００の構成について説明する。

図２は、画像処理装置１００の構成の一例を示すブロック図である。

図２において、画像処理装置１００は、撮影部１１０、操作受付部１２０、情報格納部１３０、顔位置取得部１４０、化粧画像重畳部１５０、および表示部１６０を有する。

撮影部１１０は、例えば、上述の内側カメラ（デジタルカメラ）を有し、映像を撮影する。なお、撮影部１１０は、自分撮りが行われる場合、ユーザ、あるいは、ユーザを含む複数の人の顔の映像を撮影する。そして、撮影部１１０は、撮影した映像を、左右方向に反転させて、顔位置取得部１４０および化粧画像重畳部１５０へ出力する。

操作受付部１２０は、例えば、上述のタッチパネルを有し、後述の表示部１６０が有する液晶ディスプレイの画面に対するタッチ操作を受け付ける。そして、操作受付部１２０は、所定の周期で、画面のどの部分に指が接触しているかを検出し、検出結果を示す座標情報を、化粧画像重畳部１５０へ出力する。座標情報の時系列データは、つまり、どのような内容のタッチ操作が行われたかを示す操作情報である。

情報格納部１３０は、画像から画像に含まれる人の顔や顔部品を検出するための顔特徴情報、および、化粧画像を生成して映像の顔の部分に重畳するための化粧画像情報を、予め格納している。また情報格納部１３０は、映像から検出された各顔の状態を管理するための状態記録テーブルを格納する。

顔特徴情報は、例えば、多数の顔画像サンプルに基づく学習により生成された、目や唇といった顔部品の形状等の画像特徴や、顔部品の配置や顔の色ヒストグラムといった顔全体の画像特徴を示す情報である。顔部品のそれぞれには、目尻や口角といった、顔特徴点が含まれる。

化粧画像情報は、複数の化粧のパターンと化粧の濃さとの組み合わせ毎に、顔に重畳すべき化粧画像の内容（以下「化粧画像データ」という）を記述した情報である。

図３は、化粧画像情報の内容の一例を示す図である。

図３に示すように、化粧画像情報３１０は、複数の化粧パターン３１１および複数の化粧濃さ３１２について、化粧パターン３１１と化粧濃さ３１２との組み合わせ毎に、化粧画像データ３１３を記述している。

化粧画像データ３１３は、例えば、口角等の顔特徴点の位置を基準として、化粧画像が示す化粧の塗布領域、化粧の色、および化粧の色の濃度（化粧画像の透明度）を規定する。化粧の塗布領域は、例えば、顔特徴点の位置を基準とする空間における座標値や関数によって定義される。化粧の色は、例えば、ＲＧＢ（Red, Green, Blue）、ＨＳＶ（Hue, Saturation, Value）といった所定の色空間における座標値によって定義される。化粧の濃さは、例えば、撮影画像に化粧画像をαブレンドによって重畳する際の、画素値に対する係数によって定義される。

なお、ここでは、化粧画像を重畳しない状態を、第０の化粧パターンとしている。また、第１〜第３の化粧パターンは、化粧の塗布領域、化粧の色、および化粧の色の濃度のうち少なくとも１つにおいて異なる。化粧パターンは、例えば、可愛い印象を与える化粧パターンや、ゴージャスな印象を与える化粧パターンを含む。第１〜第３の化粧濃さ３１２は、この順に、化粧画像の色の濃度がより濃く（化粧画像の透明度が高く）なっている。

なお、化粧の塗布領域の違いは、頬紅の塗布領域が大きいか小さいかといった違いであってもよいし、口紅や頬紅といった複数のパーツのうちどのパーツに対する化粧塗布であるかという違いであってもよい。また、化粧の色の濃度の変化は、パーツ毎に異なっていてもよい。

状態記録テーブルは、後述の顔位置取得部１４０および化粧画像重畳部１５０により適宜生成および更新されるテーブルであり、顔位置取得部１４０により追跡される顔の状態を記録するテーブルである。

図４は、状態記録テーブルの内容の一例を示す図である。

図４に示すように、状態記録テーブル３２０は、追跡識別子３２１毎に、化粧設定３２２、現在位置３２３、スワイプ開始時位置３２４、相対位置３２５、および追跡状態３２６を記述する。

追跡識別子３２１は、後述の顔位置取得部１４０により同一の顔として追跡される対象識別子である。化粧設定３２２は、追跡識別子３２１が示す顔に現在設定されている化粧画像データである。現在位置３２３は、追跡識別子３２１が示す顔の、現在の画面における位置である。画面における位置は、例えば、画面に予め設定されたＸＹ座標系の座標値により表される。

スワイプ開始時位置３２４は、直近にスワイプ操作が開始されたときの、追跡識別子３２１が示す顔の画面における位置である。相対位置３２５は、他の顔に対する相対位置である。追跡状態３２６は、顔の位置の追跡が継続中であるか、終了したか、あるいは開始した直後か、を示す情報である。

なお、相対位置３２５は、少なくとも鉛直方向を含む、実世界における所定の方向を基準とする相対位置関係であることが望ましい。この場合、画像処理装置１００は、加速度センサを備える必要がある。なお、相対位置３２５は、必ずしも実世界における方向を取得しなくてもよく、追跡が継続されている顔の複数の顔部品の画面における配置を基準として、当該顔に対する他の顔の相対位置を判定してもよい。

図２の顔位置取得部１４０は、入力された映像から、逐次、映像に含まれる画面における顔の位置、および顔内における顔部品の位置（顔特徴点の位置）の情報を取得する。

より具体的には、顔位置取得部１４０は、まず、入力映像に対して顔検出を実施して、画像フレーム中の顔の位置情報を得る。次に、顔位置取得部１４０は、得られた顔の位置情報を元に顔部品位置の検出を実施し、顔部品の位置情報を得る。顔検出および顔部品の検出については、公知の技術を採用することができる。そして、顔位置取得部１４０は、抽出された顔の映像における位置を、予め定められた、映像と映像を映し出す画面との位置関係に基づいて、画面における位置に変換する。

また、顔位置取得部１４０は、映像において、顔毎に位置を追跡する。例えば、顔位置取得部１４０は、映像を構成する時系列の複数の画像フレームのうち、時間的に連続する複数の画像フレームのそれぞれで検出された顔が、位置の差異が所定の範囲内である場合、当該の顔を同一の顔と判定する。顔位置取得部１４０は、かかる判定を映像の時間軸に沿って連続して行うことにより、顔の位置を追跡する。

そして、顔位置取得部１４０は、状態記録テーブル３２０において、顔の追跡が開始される毎に、追跡識別子３２１を追加し、顔の追跡が開始されると、追跡状態３２６を更新し、顔の追跡が行われている間、現在位置３２３を更新する。なお、顔の追跡とは、直前の画像フレームで検出された顔を、最新の画像フレームのうち直前の画像フレームで検出された位置の周辺においても検出することである。更に、顔位置取得部１４０は、状態記録テーブル３２０において、顔の追跡が終了する毎に、追跡状態３２６を更新する（図４参照）。

また、顔位置取得部１４０は、各画面に複数の顔が含まれるとき、画面における、各顔の他の顔に対する相対位置を取得し、相対位置が取得される毎に、取得された相対位置で、状態記録テーブル３２０の相対位置３２５を更新する。なお、追跡が終了した顔の相対位置３２５については、そのままとする。

また、顔位置取得部１４０は、取得された画面における顔の位置および顔部品の位置（以下、適宜「顔位置」という）を示す顔位置情報を、化粧画像重畳部１５０へ出力する。

化粧画像重畳部１５０は、入力された操作情報（タッチ操作行われた領域の座標情報の時系列データ）および顔位置情報に基づいて、入力された映像の顔の部分に対して化粧画像を重畳する。より具体的には、化粧画像重畳部１５０は、操作情報に基づいて、顔の位置に向かう方向にスワイプ操作が行われたか否かを判定し、当該スワイプ操作が行われたことを条件として、化粧画像の重畳の状態を変更する。また、このとき、化粧画像重畳部１５０は、状態記録テーブル３２０において、スワイプ開始時位置３２４を更新する。なお、化粧画像重畳部１５０は、αブレンド等の公知の画像合成技術を用いて、画像の重畳を行う。そして、化粧画像重畳部１５０は、化粧画像が適宜重畳された映像を、表示部１６０へ出力する。

なお、化粧画像重畳部１５０は、初期状態において、顔の部分に対して化粧画像を重畳していない。化粧画像重畳部１５０は、化粧画像が重畳されていない顔の位置に向かう方向へのスワイプ操作（以下「顔方向スワイプ操作」という）が行われたことを条件として、化粧画像の重畳を開始させる。なお、化粧画像重畳部１５０は、開始位置が、顔の領域、あるいは、顔の領域を一回り大きくした領域に含まれるスワイプ操作については、顔方向スワイプ操作ではないと判定してもよい。

また、化粧画像重畳部１５０は、化粧画像が重畳されている顔に対して、上下方向以外の方向（第１の方向）で顔方向スワイプ操作が行われたことを条件として、重畳されている化粧画像が示す化粧の濃さを変更する。また、化粧画像重畳部１５０は、化粧画像が重畳されている顔に対して、上下方向（第２の方向）でスワイプ操作が行われたことを条件として、重畳されている化粧画像が示す化粧のパターンを変更する。

また、化粧画像重畳部１５０は、タッチ操作が開始されたときの顔の位置を基準として、タッチ操作の対象を決定する。

また、化粧画像重畳部１５０は、画面に複数の顔が含まれるとき、当該複数の顔の相対位置関係を取得し、位置の追跡が継続しているか否か、および、相対位置関係が維持されているか否か、に基づいて、顔毎に、化粧設定を維持するか否かを判断する。

これらの、化粧画像の重畳状態の変更、タッチ操作の対象の決定、および、化粧設定の維持の判断についての詳細は、後述する。

表示部１６０は、例えば、上記液晶ディスプレイを有し、入力された、化粧画像が適宜重畳された映像（以下「バーチャル化粧映像」という）を、当該液晶ディスプレイの画面に表示する。

なお、画像処理装置１００は、図示しないが、更に、上述の撮影ボタン、および、情報記録部を有する。情報記録部は、撮影ボタンが押下されたとタイミングで、バーチャル化粧映像から静止画像を切り出して記録したり、バーチャル化粧映像の記録を開始したりする。

画像処理装置１００は、図示しないが、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、およびＲＡＭ（Random Access Memory）等の作業用メモリを有する。この場合、上記した各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。

このような構成を有する画像処理装置１００は、画面において顔方向スワイプ操作が行われたことを条件として、映像に含まれる顔への化粧画像の重畳の状態を変更することができる。

＜化粧画像の重畳状態の変更＞
ここで、化粧画像重畳部１５０が行う、化粧画像の重畳状態の変更の様子について説明する。

図５は、化粧画像の重畳状態の変更の様子の一例を説明するための図である。

図５の第１の画面状態４１１に示すように、顔４０１に化粧画像が重畳されていない状態（初期状態）にある画面に対して、ユーザの指４０２により、顔方向スワイプ操作が行われる。

すると、化粧画像重畳部１５０は、図５の第２の画面状態４１２に示すように、顔４０１に、化粧画像４０３を重畳する。これは、適用する化粧画像データ３１３を、第０の化粧パターンの化粧画像データ３１３（化粧画像なし）から、第１の化粧パターンと第１の化粧濃さ３１２と組み合わせの化粧画像データ３１３へと変更することに相当する（図３参照）。

そして、図５の第３の画面状態４１３に示すように、化粧画像４０３が重畳された顔４０１に対して、更に、上下方向以外の方向で、顔方向スワイプ操作が行われる。

すると、化粧画像重畳部１５０は、図５の第４の画面状態４１４に示すように、重畳されている化粧画像４０３を、当該化粧画像４０３よりも濃い化粧画像４０４に切り替える。これは、適用する化粧画像データ３１３を、状態記録テーブル３２０の化粧設定３２２を用いて、第１〜第３の化粧濃さ３１２の間で順次切り替えていくことに相当する（図３参照）。

あるいは、図５の第５の画面状態４１５に示すように、化粧画像４０３が重畳された顔４０１に対して、更に、上方向および下方向のうち少なくとも１つの方向で、スワイプ操作が行われる。

すると、化粧画像重畳部１５０は、重畳されている化粧画像４０３を、当該化粧画像４０３とは異なる化粧パターンの化粧画像４０５に切り替える。これは、適用する化粧画像データ３１３を、状態記録テーブル３２０の化粧設定３２２を用いて、第０〜第３の化粧パターン３１１の間で順次切り替えていくことに相当する（図３参照）。

このように、化粧画像重畳部１５０は、画面に対するタッチ操作に応じて、化粧画像の重畳状態を変更する。

＜タッチ操作の対象の決定＞
次に、化粧画像重畳部１５０が行う、タッチ操作の対象の決定の様子について説明する。

図６は、タッチ操作の対象となる顔を決定する様子の一例を説明するための図である。

図６の第１の画面状態４２１に示すように、第１の顔４０１_１と第２の顔４０１_２とが含まれる画面において、ユーザの指４０２により、第１の顔４０１_１へと向かう方向でスワイプ操作が開始される。

ところが、図６の第２の画面状態４２２に示すように、スワイプ操作中に画像処理装置１００の向きがぶれる等して、画面における、第１および第２の顔４０１_１、４０１_２の位置が変化する。そして、その結果、図６の第３の画面状態４２３に示すように、スワイプ操作のスワイプ方向に、第１の顔４０１_１ではなく、第２の顔４０１_２が位置するようになる。

画面の変化が速い場合、かかる変化に合わせてスワイプ方向を途中で的確に変更することは難しい。そこで、化粧画像重畳部１５０は、スワイプ操作が開始されたときの顔４０１の位置を基準として、いずれの顔４０１の位置に向かう方向にスワイプ操作が行われたか否かを判定する。スワイプ操作が開始されたときの顔４０１の位置は、つまり、第１の画面状態４２１における、第１および第２の顔４０１_１、４０１_２の位置である。この例では、化粧画像重畳部１５０は、第１の顔４０１_１を、スワイプ操作の対象と判定する。

図７は、タッチ操作の対象となる顔部品を決定する様子の一例を説明するための図である。

ここでは、化粧画像重畳部１５０が、顔部品に対してフリック操作が行われたことを条件として、フリック方向に応じて、該顔部品に対する化粧画像の色、形状、濃さ等を変更する場合を例示して説明する。フリック操作とは、指やスタイラス等の先の部分を、画面の一カ所で長めに接触した直後に、画面に接触したまま素早く滑らせる操作である。

図７の第１の画面状態４３１に示すように、ユーザの指４０２が、顔４０１の右目４０６に対してフリック操作を開始する。ところが、図７の第２の画面状態４３２に示すように、フリック操作中に画像処理装置１００の向きがぶれる等して、画面における、顔４０１の位置が変化する。そして、その結果、図７の第３の画面状態４３３に示すように、フリック操作が行われている位置に、右目４０６ではなく、左目４０７が位置することになる。

画面の変化が速い場合、かかる変化に合わせてフリック位置を途中で的確に変更することは難しい。そこで、化粧画像重畳部１５０は、フリック操作が開始されたときの顔４０１の位置、つまり、第１の画面状態４３１における顔４０１を基準として、フリック操作の対象を決定する。この例では、化粧画像重畳部１５０は、左目４０７ではなく、右目４０６を、フリック操作の対象と判定する。

このように、化粧画像重畳部１５０は、画面に対するタッチ操作が開始されたときの顔（顔部品）の位置を基準として、スワイプ操作やフリック操作等のタッチ操作の対象を決定する。

＜化粧設定の維持の判断＞
次に、化粧画像重畳部１５０が行う、化粧設定の維持の判断の様子について説明する。

図８は、化粧設定の維持の判断の様子の一例を説明するための図である。

図８の第１の画面状態４４１に示すように、第１の顔４０１_１と第２の顔４０１_２とが、画面に含まれている。

ところが、図８の第２の画面状態４４２に示すように、タッチ操作中に画像処理装置１００の向きがぶれる等して、第２の顔４０１_２が画面から外れる。そして、図８の第３の画面状態４４３および第４の画面状態４４４に示すように、ユーザにより画像処理装置１００の向きが修正される等して、第３の顔４０１_３が画面内に戻る。

第３の顔４０１_３は、第２の顔４０１_２と同一人物の顔であるため、第２の顔４０１_２の化粧設定を、そのまま第３の顔４０１_３に適用すべきである。ところが、顔の識別処理を行って、第３の顔４０１_３が第２の顔４０１_２と同一であるか否かを判定すると、処理負荷が高くなる。

そこで、化粧画像重畳部１５０は、まず、第１の顔４０１_１の位置の追跡が継続していることを確認する。そして、化粧画像重畳部１５０は、位置の追跡が継続している第１の顔４０１_１を基準として、第１の顔４０１_１に対する第２の顔４０１_２の相対位置４０８_１に、第１の顔４０１_１に対する第３の顔４０１_３の相対位置４０８_２が同一であるか否かを判定する。そして、化粧画像重畳部１５０は、相対位置４０８_１、４０８_２が同一である場合、第２の顔４０１_２の化粧設定を、第３の顔４０１_３に適用する。

なお、ここでいう相対位置の同一とは、相対位置が異なっていても、その差異が所定の範囲内にある場合を含む。

このように、化粧画像重畳部１５０は、画面に含まれる顔の数が変化したとき、位置の追跡が継続している顔を基準とした顔の相対位置関係が維持されているか否かに基づいて、画面から消えた顔の化粧設定を、画面に現れた顔に適用するか否かを判断する。

＜装置の動作＞
次に、画像処理装置１００の動作について説明する。

図９は、画像処理装置１００の動作の一例を示すフローチャートである。なお、ここでは、スワイプ操作に関する動作に着目して説明を行う。

ステップＳ１１００において、撮影部１１０は、映像の撮影を開始する。かかる映像には、特に自分撮りが行われている場合、１つあるいは複数の顔の画像が含まれ得る。

ステップＳ１２００において、顔位置取得部１４０は、顔を検出し、画面上の顔位置を取得するとともに、各顔の現在位置３２３を状態記録テーブル３２０に記録する（図４参照）。また、顔位置取得部１４０は、同一の顔が継続して画面に含まれている間、当該顔の位置を追跡するとともに、位置の追跡が開始、継続、あるいは終了する毎に、状態記録テーブル３２０の追跡状態３２６にその旨を記録する（図４参照）。

ステップＳ１３００において、化粧画像重畳部１５０は、画面に含まれる顔が複数であるか否かを判定する。化粧画像重畳部１５０は、顔が複数である場合（Ｓ１３００：ＹＥＳ）、処理をステップＳ１４００へ進める。また、化粧画像重畳部１５０は、顔が複数ではない場合（Ｓ１３００：ＮＯ）、処理を後述のステップＳ１５００へ進める。

ステップＳ１４００において、化粧画像重畳部１５０は、相対位置解析処理を行う。相対位置解析処理は、複数の顔の相対位置を解析して、適宜、化粧設定の再適用を行う処理である。相対位置解析処理の詳細については、後述する。

ステップＳ１５００において、化粧画像重畳部１５０は、スワイプ操作か否かを判定する。スワイプ操作が開始されたか否かは、例えば、接触位置が１つであり、接触が開始されてから接触位置が連続的に移動したという条件が満たされるか否かに基づいて判定される。

化粧画像重畳部１５０は、スワイプ操作が開始された場合（Ｓ１５００：ＹＥＳ）、処理をステップＳ１６００へ進める。また、化粧画像重畳部１５０は、スワイプ操作が開始されていない場合（Ｓ１５００：ＮＯ）、処理を後述のステップＳ１７００へ進める。

ステップＳ１６００において、化粧画像重畳部１５０は、スワイプ操作が開始された位置（以下「スワイプ開始位置」という）を取得する。また、化粧画像重畳部１５０は、各顔の顔位置を、スワイプ開始時位置３２４として状態記録テーブル３２０に記録する（図４参照）。

ステップＳ１７００において、化粧画像重畳部１５０は、いずれかの顔の位置の付近で、上下方向のスワイプ操作（以下「上下スワイプ」という）が行われたか否かを判定する。かかる操作は、図５の第５の画面状態４１５で説明した操作に相当する。

化粧画像重畳部１５０は、顔位置付近で上下スワイプが行われている場合（Ｓ１７００：ＹＥＳ）、処理を後述のステップＳ２０００へ進める。化粧画像重畳部１５０は、顔位置付近で上下スワイプが行われていない場合（Ｓ１７００：ＮＯ）、処理をステップＳ１８００へ進める。

ステップＳ１８００において、化粧画像重畳部１５０は、化粧画像重畳部１５０は、スワイプ開始位置と、スワイプ方向と、各顔のスワイプ開始時位置３２４（図４参照）とに基づいて、スワイプ方向はいずれかの顔の位置に向かっているか否かを判定する。すなわち、化粧画像重畳部１５０は、行われたスワイプ操作が、顔方向スワイプ操作であるか否かを判定する。かかる操作は、図５の第１の画面状態４１１で説明した操作、図５の第３の画面状態４１３で説明した操作、あるいは、図６の第１の画面状態４２１で説明した操作に相当する。

化粧画像重畳部１５０は、スワイプ方向が顔位置に向かっている場合（Ｓ１８００：ＹＥＳ）、処理をステップＳ１９００へ進める。また、化粧画像重畳部１５０は、スワイプ方向が顔位置に向かっていない場合（Ｓ１８００：ＮＯ）、処理を後続のステップＳ２１００へ進める。

ステップＳ１９００において、化粧画像重畳部１５０は、スワイプ方向が向いている顔について、化粧の有無あるいは濃さを変更し、変更後の化粧設定３２２を状態記録テーブル３２０に記録する（図４参照）。かかる化粧の有無あるいは濃さの変更は、図５の第２の画面状態４１２、あるいは、図５の第４の画面状態４１４で説明した重畳画像の変更に相当する。

一方、ステップＳ２０００において、化粧画像重畳部１５０は、スワイプ開始位置に最も近い顔について、化粧のパターンを変更し、変更後の化粧設定３２２を状態記録テーブル３２０に記録する（図４参照）。かかる化粧のパターンの変更は、図５の第６の画面状態４１６で説明した重畳画像の変更に相当する。

ステップＳ２１００において、化粧画像重畳部１５０は、スワイプ操作が終了したか否かを判定する。スワイプ操作が終了したか否かは、例えば、接触が検出されなくなったか否かに基づいて判定される。

化粧画像重畳部１５０は、スワイプ操作が終了した場合（Ｓ２１００：ＹＥＳ）、処理をステップＳ２２００へ進める。また、化粧画像重畳部１５０は、スワイプ操作が終了していない場合（Ｓ２１００：ＮＯ）、処理を後述のステップＳ２３００へ進める。

ステップＳ２２００において、化粧画像重畳部１５０は、取得したスワイプ開始位置を破棄し、各顔のスワイプ開始時位置３２４の記録を状態記録テーブル３２０から削除する（図４参照）。なお、化粧画像重畳部１５０は、スワイプ操作が終了したか否かによらず、スワイプ操作が開始されてから所定の時間が経過したとき、対応するスワイプ開始位置を破棄し、スワイプ開始時位置３２４の記録を削除してもよい。

ステップＳ２３００において、化粧画像重畳部１５０は、適宜化粧画像を生成して映像に重畳し、バーチャル化粧映像を生成する。表示部１６０は、生成されたバーチャル化粧映像を表示する。なお、バーチャル化粧映像は、化粧画像が重畳されている映像だけではなく、化粧画像が重畳されていない映像をも含む。

ステップＳ２４００において、化粧画像重畳部１５０は、ユーザ操作等によりバーチャル化粧映像を生成して表示する処理の終了を指示されたか否かを判定する。化粧画像重畳部１５０は、処理の終了を指示されていない場合（Ｓ２４００：ＮＯ）、処理をステップＳ１２００へ戻す。また、化粧画像重畳部１５０は、処理の終了を指示された場合（Ｓ２４００：ＹＥＳ）、一連の処理を終了する。

図１０は、相対位置解析処理（図９のステップＳ１４００）の一例を示すフローチャートである。

ステップＳ１４１０において、化粧画像重畳部１５０は、画面に含まれる複数の顔の相対位置関係を取得し、状態記録テーブル３２０の相対位置３２５に記録する。かかる相対位置関係の取得は、図８において説明した、相対位置４０８_１、４０８_２の取得に相当する。

ステップＳ１４２０において、化粧画像重畳部１５０は、状態記録テーブル３２０の追跡状態３２６を参照して、新たに追跡が開始された顔が存在するか否かを判定する。化粧画像重畳部１５０は、追跡が開始された顔が存在する場合（Ｓ１４２０：ＹＥＳ）、処理をステップＳ１４３０へ進める。また、化粧画像重畳部１５０は、追跡が開始された顔が存在しない場合（Ｓ１４２０：ＮＯ）、処理を上述の図９のステップＳ１５００へ進める。

ステップＳ１４３０において、化粧画像重畳部１５０は、状態記録テーブル３２０の追跡状態３２６（図４参照）を参照して、過去に、追跡が終了した顔が存在するか否かを判定する。化粧画像重畳部１５０は、追跡が終了した顔が存在する場合（Ｓ１４３０：ＹＥＳ）、処理をステップＳ１４４０へ進める。また、化粧画像重畳部１５０は、追跡が終了した顔が存在しない場合（Ｓ１４３０：ＮＯ）、処理を上述の図９のステップＳ１５００へ進める。

ステップＳ１４４０において、化粧画像重畳部１５０は、状態記録テーブル３２０の相対位置３２５（図４参照）を参照して、追跡が継続している顔に対する、過去に追跡が終了した顔の相対位置を取得する。そして、化粧画像重畳部１５０は、追跡が継続している顔に対する、追跡が開始された顔の相対位置が、取得された相対位置と同一であるか否かを判定する。かかる相対位置の判定は、図８において説明した、相対位置４０８_１と、相対位置４０８_２との比較に相当する。

化粧画像重畳部１５０は、相対位置と同一である場合（Ｓ１４４０：ＹＥＳ）、処理をステップＳ１４５０へ進める。また、化粧画像重畳部１５０は、相対位置と同一ではない場合（Ｓ１４４０：ＮＯ）、処理を上述の図９のステップＳ１５００へ進める。

ステップＳ１４５０において、化粧画像重畳部１５０は、追跡が開始された顔に、過去に追跡が終了した顔の化粧設定を適用し、記録する。すなわち、化粧画像重畳部１５０は、状態記録テーブル３２０において、過去に追跡が終了した顔の化粧設定３２２を、追跡が開始された顔の化粧設定３２２に記述する。そして、化粧画像重畳部１５０は、処理を上述の図９のステップＳ１５００へ進める。

このような動作により、画像処理装置１００は、顔領域を指で遮蔽せず、画面における顔位置のぶれに影響されず、かつ、複数の顔のうちの１つが一時的に画面から外れてしまっても化粧設定が維持されるようなバーチャル化粧操作を、実現することができる。

＜本実施の形態の効果＞
以上説明したように、本実施の形態に係る画像処理装置１００は、画面において顔方向スワイプ操作が行われたことを条件として、映像に含まれる顔への化粧画像の重畳の状態を変更することができる。すなわち、画像処理装置１００を用いることにより、ユーザは、顔が映し出されている領域を指で遮蔽せずに、化粧画像の重畳の状態を変更する操作を行うことができ、顔の見栄えを画面の映像で確認しながら自分撮りを行うことができる。したがって、画像処理装置１００は、自分撮りをしながらのバーチャル化粧操作を可能にする。

また、本実施の形態に係る画像処理装置１００は、スワイプ操作を含むタッチ操作が開始されたときの顔の位置を基準として、タッチ操作の対象を決定する。これにより、画像処理装置１００は、被写体あるいは画像処理装置１００の動きに起因する画面上の顔の位置のぶれに影響されずに、ユーザが望む操作を実現することができる。

また、本実施の形態に係る画像処理装置１００は、画面に複数の顔が含まれるときその相対位置関係を取得し、位置の追跡が継続しているか否か、および、相対位置関係が維持されているか否か、に基づいて、顔毎に、化粧設定を維持するか否かを判断する。これにより、画像処理装置１００は、画像処理装置１００の動きに起因して、複数の顔のいずれかが一時的に画面から外れてしまった場合でも、ユーザが設定した化粧画像をその顔に継続して重畳することができる。

すなわち、本実施の形態に係る画像処理装置１００によれば、従来技術に比べて、よりシンプルかつ直感的なバーチャル化粧操作インタフェースを実現することができる。

＜本実施の形態の変形例＞
なお、スワイプ操作の対象となる顔の決定手法は、上述の例に限定されない。化粧画像重畳部１５０は、例えば、顔の位置に向かう方向のスワイプ操作が行われた位置と、顔の位置との間の画面における距離が、所定の閾値以下であることを条件として、化粧画像の重畳の状態を変更してもよい。

また、化粧画像重畳部１５０は、例えば、画面に含まれる複数の顔の位置に向かう方向にスワイプ操作が行われたとき、当該複数の顔のうち、当該スワイプ操作が行われた位置との画面における距離が最も短い顔を、化粧画像の重畳の状態を変更する対象としてもよい。

また、化粧画像重畳部１５０は、例えば、スワイプ操作の顔位置との方向差と、スワイプ操作の顔位置との距離とに基づいて、顔を化粧画像の重畳の状態を変更する対象とするか否かを決定してもよい。より具体的には、化粧画像重畳部１５０は、例えば、方向差に第１の係数を乗じた値と距離に第２の係数を乗じた値とを加算して得られる値が、所定の閾値以下であることを、化粧画像の重畳の状態を変更する対象となる顔の条件とする。ここで、方向差とは、画面における、スワイプ操作のスワイプ方向と、スワイプ操作が行われた位置に対する顔の方向との間の方向差である。また、距離とは、スワイプ操作が行われた位置と顔の位置との間の距離である。なお、スワイプ操作が行われた位置とは、スワイプ操作の開始位置、終了位置、あるいはスワイプ操作全体の接触領域の重心位置等である。

また、化粧画像の重畳の状態の変更の仕方は、上述の例に限定されない。化粧画像重畳部１５０は、例えば、化粧画像が重畳されている顔の位置に向かう方向にスワイプ操作が行われたとき、化粧パターンを変更してもよい。

また、化粧画像データの数および内容は、上述の例に限定されない。化粧画像情報３１０は、例えば、４つ以上の化粧パターンおよび４つ以上の化粧濃さの組み合わせについて、化粧画像データを記述していてもよい。また、化粧画像情報３１０は、例えば、化粧パターンおよび化粧濃さのうち少なくとも１つについて、１種類のみの化粧画像データを記述していてもよい。更に、化粧画像情報３１０は、男性用メイクと女性用メイクというように、化粧の対象に応じて異なる化粧画像データを記述していてもよい。この場合、化粧画像重畳部１５０は、化粧の対象を切り替える操作を認識する必要がある。

また、スワイプ操作以外で受け付けるタッチ操作は、上述の例に限定されない。化粧画像重畳部１５０は、例えば、化粧画像が重畳されている顔に対して、顔に丸印を付けるタッチ操作が行われたとき、化粧パターンや化粧濃さを変更してもよい。

また、タッチ操作が開始されたときの顔の位置を基準としてタッチ操作の対象を決定する手法は、スワイプ操作以外の各種タッチ操作に適用してもよい。

また、タッチ操作が開始されたときの顔の位置を基準としてタッチ操作の対象を決定するための手法は、上述の例に限定されない。化粧画像重畳部１５０は、例えば、タッチ操作が開始されてからタッチ操作が完了するまでの間、映像と、顔位置および顔部品位置を示す情報の入力（更新）を停止してもよい。また、かかる情報の入力の停止は、撮影部１１０および顔位置取得部１４０が、操作情報を取得して行ってもよい。

また、画面から外れた顔に対する化粧設定の維持の手法は、上述の例に限定されない。化粧画像重畳部１５０は、例えば、画面からいずれかの顔が外れた場合、追跡が継続している顔の位置を基準として、最後に画面に映し出されていたときの当該顔の相対位置を、所定のタイムアウト時間が経過するまで保持していてもよい。この場合、タイムアウト時間が経過する前に、画面から外れた顔が画面内に戻ってきたとき、当該顔の追跡が継続されることになる。

あるいは、化粧画像重畳部１５０は、複数の顔の間の相対位置関係によらず、位置の追跡が開始された顔に対して、過去の所定の時間内（例えば３秒以内）に位置の追跡が終了した顔の化粧設定を適用してもよい。例えば、映像に映り込む顔が１つしかない等、一時に映像から外れる顔が１つのみである場合、化粧設定を適切に保持することができる。

また、化粧画像重畳部１５０は、化粧パターンや化粧濃さの変更を行ったとき、当該変更が行われたことを、ユーザに通知してもよい。当該通知はユーザが認識し易いものであることが望ましく、例えば、化粧画像の点滅や色変化、点滅する星画像等の効果画像の表示、あるいは星がきらめくような音等の効果音の出力といった、各種エフェクト処理により行うことができる。

また、画像処理装置１００が適用される装置は、上述の例に限定されない。画像処理装置１００は、例えば、タブレット型端末、パーソナルコンピュータ、あるいはデジタルカメラ等に適用されてもよい。

また、画像処理装置１００の構成の一部は、ネットワーク上のサーバ等に配置される等して、画像処理装置１００の構成の他の部分と離隔していてもよい。この場合、これら部分のそれぞれは、互いに通信を行うための通信部を備える必要がある。

＜本開示のまとめ＞
本開示の画像処理装置は、映像を撮影する撮影部と、撮影された前記映像を画面に表示する表示部と、前記映像に含まれる顔の前記画面における位置を取得する顔位置取得部と、前記画面に対するタッチ操作を受け付ける操作受付部と、前記映像の前記顔の部分に対して化粧画像を重畳する化粧画像重畳部と、を有し、前記化粧画像重畳部は、前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記化粧画像の重畳の状態を変更する。

なお、上記画像処理装置において、前記化粧画像重畳部は、前記顔の位置に向かう方向のスワイプ操作が行われた位置と前記顔の位置との間の前記画面における距離が、所定の閾値以下であることを条件として、前記化粧画像の重畳の状態を変更してもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、前記画面に複数の顔が含まれている状態で、前記複数の顔の位置に向かう方向にスワイプ操作が行われたとき、当該複数の顔のうち、当該スワイプ操作が行われた位置との前記画面における距離が最も短い前記顔を、前記化粧画像の重畳の状態を変更する対象としてもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、前記画面における、スワイプ操作のスワイプ方向と前記スワイプ操作が行われた位置に対する前記顔の方向との間の方向差と、前記スワイプ操作が行われた位置と前記顔の位置との間の距離と、に基づいて、前記顔を前記化粧画像の重畳の状態を変更する対象とするか否かを決定してもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、初期状態において、前記顔の部分に対して前記化粧画像を重畳せず、前記化粧画像が重畳されていない前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記化粧画像の重畳を開始させ、前記化粧画像が重畳されている前記顔の位置に向かう方向のうち第１の方向にスワイプ操作が行われたことを条件として、重畳されている前記化粧画像を、当該前記化粧画像とは異なる第１の化粧画像に変更し、第２の方向にスワイプ操作が行われたことを条件として、重畳されている前記化粧画像を、当該前記化粧画像とは異なる第２の化粧画像に変更してもよい。

また、上記画像処理装置において、前記第１の化粧画像は、重畳されている前記化粧画像とは化粧の濃さが異なり、前記第２の化粧画像は、重畳されている前記化粧画像とは化粧のパターンが異なってもよい。

また、上記画像処理装置において、前記第２の方向は、上方向および下方向のうち少なくとも１つであってもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、タッチ操作が開始されたときの前記顔の位置を基準として、前記タッチ操作の対象を決定してもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、スワイプ操作が開始されたときの前記顔の位置を基準として、前記顔の位置に向かう方向にスワイプ操作が行われたか否かを判定してもよい。

また、上記画像処理装置において、前記顔位置取得部は、前記映像において、前記顔毎に前記位置を追跡し、前記化粧画像重畳部は、前記位置の追跡が開始された顔に対して、過去に前記位置の追跡が終了した顔の化粧設定を適用してもよい。

また、上記画像処理装置において、前記顔位置取得部は、前記映像において、前記顔毎に前記位置を追跡し、前記化粧画像重畳部は、前記画面に複数の顔が含まれるとき、当該複数の顔の相対位置関係を取得し、前記位置の追跡が継続しているか否か、および、前記相対位置関係が維持されているか否か、に基づいて、前記顔毎に、当該顔の化粧設定を維持するか否かを判断してもよい。

また、上記画像処理装置において、前記化粧画像重畳部は、前記位置の追跡が継続している第１の顔と、前記位置の追跡が終了した第２の顔と、前記第２の顔の追跡が終了した後に前記位置の追跡が開始された第３の顔と、が存在し、前記第１の顔に対する前記第２の顔の相対位置と、前記第１の顔に対する前記第３の顔の相対位置と、が同一であることを条件として、前記第２の顔の前記化粧設定を、前記第３の顔に適用してもよい。

また、上記画像処理装置において、前記相対位置関係は、鉛直方向を基準とする相対位置関係であってもよい。

本開示の画像処理方法は、映像を撮影するステップと、撮影された前記映像を画面に表示するステップと、前記映像に含まれる顔の前記画面における位置を取得するステップと、前記画面に対するタッチ操作を受け付けるステップと、前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記映像の前記顔の部分に対して化粧画像を重畳させるステップと、を有する。

本発明は、自分撮りをしながらのバーチャル化粧操作を可能にする画像処理装置および画像処理方法として有用である。

１００ 画像処理装置
１１０ 撮影部
１２０ 操作受付部
１３０ 情報格納部
１４０ 顔位置取得部
１５０ 化粧画像重畳部
１６０ 表示部

Claims (14)

1. 映像を撮影する撮影部と、
   撮影された前記映像を画面に表示する表示部と、
   前記映像に含まれる顔の前記画面における位置を取得する顔位置取得部と、
   前記画面に対するタッチ操作を受け付ける操作受付部と、
   前記映像の前記顔の部分に対して化粧画像を重畳する化粧画像重畳部と、を有し、
   前記化粧画像重畳部は、
   前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記化粧画像の重畳の状態を変更する、
   画像処理装置。
2. 前記化粧画像重畳部は、
   前記顔の位置に向かう方向のスワイプ操作が行われた位置と前記顔の位置との間の前記画面における距離が、所定の閾値以下であることを条件として、前記化粧画像の重畳の状態を変更する、
   請求項１に記載の画像処理装置。
3. 前記化粧画像重畳部は、
   前記画面に複数の顔が含まれている状態で、前記複数の顔の位置に向かう方向にスワイプ操作が行われたとき、当該複数の顔のうち、当該スワイプ操作が行われた位置との前記画面における距離が最も短い前記顔を、前記化粧画像の重畳の状態を変更する対象とする、
   請求項１に記載の画像処理装置。
4. 前記化粧画像重畳部は、
   前記画面における、スワイプ操作のスワイプ方向と前記スワイプ操作が行われた位置に対する前記顔の方向との間の方向差と、前記スワイプ操作が行われた位置と前記顔の位置との間の距離と、に基づいて、前記顔を前記化粧画像の重畳の状態を変更する対象とするか否かを決定する、
   請求項１に記載の画像処理装置。
5. 前記化粧画像重畳部は、
   初期状態において、前記顔の部分に対して前記化粧画像を重畳せず、前記化粧画像が重畳されていない前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記化粧画像の重畳を開始させ、前記化粧画像が重畳されている前記顔の位置に向かう方向のうち第１の方向にスワイプ操作が行われたことを条件として、重畳されている前記化粧画像を、当該前記化粧画像とは異なる第１の化粧画像に変更し、第２の方向にスワイプ操作が行われたことを条件として、重畳されている前記化粧画像を、当該前記化粧画像とは異なる第２の化粧画像に変更する、
   請求項１に記載の画像処理装置。
6. 前記第１の化粧画像は、重畳されている前記化粧画像とは化粧の濃さが異なり、前記第２の化粧画像は、重畳されている前記化粧画像とは化粧のパターンが異なる、
   請求項５に記載の画像処理装置。
7. 前記第２の方向は、上方向および下方向のうち少なくとも１つである、
   請求項６に記載の画像処理装置。
8. 前記化粧画像重畳部は、
   タッチ操作が開始されたときの前記顔の位置を基準として、前記タッチ操作の対象を決定する、
   請求項１に記載の画像処理装置。
9. 前記化粧画像重畳部は、
   スワイプ操作が開始されたときの前記顔の位置を基準として、前記顔の位置に向かう方向にスワイプ操作が行われたか否かを判定する、
   請求項７に記載の画像処理装置。
10. 前記顔位置取得部は、
    前記映像において、前記顔毎に前記位置を追跡し、
    前記化粧画像重畳部は、
    前記位置の追跡が開始された顔に対して、過去に前記位置の追跡が終了した顔の化粧設定を適用する、
    請求項１に記載の画像処理装置。
11. 前記顔位置取得部は、
    前記映像において、前記顔毎に前記位置を追跡し、
    前記化粧画像重畳部は、
    前記画面に複数の顔が含まれるとき、当該複数の顔の相対位置関係を取得し、前記位置の追跡が継続しているか否か、および、前記相対位置関係が維持されているか否か、に基づいて、前記顔毎に、当該顔の化粧設定を維持するか否かを判断する、
    請求項１に記載の画像処理装置。
12. 前記化粧画像重畳部は、
    前記位置の追跡が継続している第１の顔と、前記位置の追跡が終了した第２の顔と、前記第２の顔の追跡が終了した後に前記位置の追跡が開始された第３の顔と、が存在し、前記第１の顔に対する前記第２の顔の相対位置と、前記第１の顔に対する前記第３の顔の相対位置と、が同一であることを条件として、前記第２の顔の前記化粧設定を、前記第３の顔に適用する、
    請求項１１に記載の画像処理装置。
13. 前記相対位置関係は、鉛直方向を基準とする相対位置関係である、
    請求項１１に記載の画像処理装置。
14. 映像を撮影するステップと、
    撮影された前記映像を画面に表示するステップと、
    前記映像に含まれる顔の前記画面における位置を取得するステップと、
    前記画面に対するタッチ操作を受け付けるステップと、
    前記顔の位置に向かう方向にスワイプ操作が行われたことを条件として、前記映像の前記顔の部分に対して化粧画像を重畳させるステップと、を有する、
    画像処理方法。