JP2016192151A

JP2016192151A - 画像処理装置およびプログラム

Info

Publication number: JP2016192151A
Application number: JP2015072806A
Authority: JP
Inventors: 香鶴田; Kaori Tsuruta
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2016-11-10

Abstract

【課題】画像に含まれる顔に対して仮想メイクアップを施した顔の画像データに加工するメイクアップシミュレータを、直感的に使用でき、また言語が異なる地域で共通に使用できるようにする。
【解決手段】画像処理装置１０は、身体へのジェスチャーを検出し、ジェスチャーが行われた身体の部位を検出するジェスチャー検出部１７と、身体を含む画像のうち、ジェスチャーが行われた身体の部位に対応する画像に含まれる身体の部位に、ジェスチャーに応じた画像処理を行う画像処理部１１ｄとを備える。
【選択図】図２

Description

本発明は、画像処理装置およびプログラムに関する。

ビデオカメラで撮影した人物の顔の画像から、その人物が口紅、アイシャドウなどと発声したときの口唇領域の動きのパターン（時間的変化）を検出し、検出したパターンに対応する仮想化粧の加工を画像に施す技術が知られている（特許文献１参照）。

特開２００６−２６０１９８号公報

従来技術では、発声する言語が異なる場合に口唇領域の動きが異なるので、世界で共通に使うことが困難である。

第１の態様によると、画像処理装置は、身体へのジェスチャーを検出し、ジェスチャーが行われた身体の部位を検出する検出部と、身体を含む画像のうち、ジェスチャーが行われた身体の部位に対応する画像に含まれる身体の部位に画像処理を行う画像処理部と、を備える。
第２の態様によると、画像処理装置は、身に着けている物または保持している物へのジェスチャーを検出する検出部と、身に着けている物または保持している物を含む画像のうち、ジェスチャーが行われた身に着けている物または保持している物に対応する、画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理部と、を備える。
第３の態様によると、プログラムは、身体へのジェスチャーを検出し、ジェスチャーが行われた身体の部位を検出する検出処理と、身体を含む画像のうち、ジェスチャーが行われた身体の部位に対応する画像に含まれる身体の部位への画像処理と、をコンピュータに実行させる。
第４の態様によると、プログラムは、身に着けている物または保持している物へのジェスチャーを検出する検出処理と、身に着けている物または保持している物を含む画像のうち、ジェスチャーが行われた身に着けている物または保持している物に対応する、画像に含まれる身に着けている物または保持している物への画像処理と、をコンピュータに実行させる。

第1実施形態による画像処理装置の使用場面を例示する図である。図１の画像処理装置およびカメラの要部構成を説明するブロック図である。基準パターンとメイクアップの動作と仮想メイクアップの画像処理との関連付けを説明する図である。画像処理前の顔画像を例示する図である。唇部分の色を変える画像処理を行った顔画像を例示する図である。頬部分の色を変える画像処理を行った顔画像を例示する図である。まつげ部分の色を変える画像処理を行った顔画像を例示する図である。まつげのきわ部分の色を変える画像処理を行った顔画像を例示する図である。まぶた部分の色を変える画像処理を行った顔画像を例示する図である。額部分の明るさを下げる画像処理を行った顔画像を例示する図である。顔の所定部分の明るさを上げる画像処理を行った顔画像を例示する図である。仮想メイクアップ処理を行う画像処理の流れを説明するフローチャートである。プログラムの供給方法を説明する図である。第２実施形態における画像処理装置の要部構成を示すブロック図である。第３実施形態におけるカメラと画像処理装置と表示装置とを例示するブロック図である。図１６(a)〜図１６(d)は、画像処理された顔画像の表示態様を例示する図である。

（第１実施形態）
図１は、第１実施形態による画像処理装置の使用場面を例示する図である。第１実施形態において、画像処理装置１０は、例えばパーソナルコンピュータによって構成される。画像処理装置１０は、パーソナルコンピュータに画像処理プログラムを実行させる。画像処理プログラムは、画像に含まれる人物の顔に化粧をしたような画像処理を行う。以降、顔に化粧をしたような画像処理を仮想メイクアップ処理と呼ぶ。画像処理装置１０は、仮想メイクアップ処理の対象とする人物の顔が含まれる画像である顔画像２１を表示部１６に表示するとともに、カメラ１５による撮影動作を制御する。カメラ１５の撮影対象は、画像処理装置１０を操作する人物３０の頭部（顔）である。

図２は、図１の画像処理装置１０の要部構成を説明するブロック図である。画像処理装置１０は、制御部１１と、操作部１２と、記録部１３と、画像入力部１４と、カメラ１５と、表示部１６と、ジェスチャー検出部１７とを有する。

制御部１１は、画像解析部１１ａと、判定部１１ｂと、選択部１１ｃと、画像処理部１１ｄとを有する。これらは、制御部１１が記録部１３に格納されているプログラムを実行することにより、ソフトウェア的に実現されるが、これらをＡＳＩＣ等により構成しても構わない。制御部１１は、記録部１３に格納されているプログラムに基づいて画像処理装置１０の各部を制御する。

操作部１２は、キーボードやポインティングデバイス等の操作部材によって構成され、各操作に対応する操作信号を制御部１１へ出力する。操作部１２は、表示部１６の表示面に設けられたタッチ操作部を含んでもよい。人物３０は、操作部１２を介して画像処理装置１０を操作する。

記録部１３は、ストレージ装置や不揮発性メモリなどによって構成される。記録部１３は、画像処理装置１０を制御するためのプログラムや画像データなどを記録する。また、記録部１３は、制御部１１からの制御に基づいてプログラムや画像データを出力する。

画像入力部１４には、外部機器（例えばカメラ、メモリカード、外付けハードディスク等の記録媒体）から画像が入力される。画像入力部１４に入力された画像データは、制御部１１に出力される。

カメラ１５は、撮像光学系（図示しない）と、撮像素子（図示しない）とを有する。撮像光学系は、撮像素子の撮像面上に被写体像（本例では人物３０の顔）を結像させる。撮像素子は、被写体像を撮像して画像信号を出力する。カメラ１５は、撮像素子から出力された画像信号を画像データとして制御部１１へ出力する。制御部１１は、画像データに所定の画像処理（例えば、輪郭強調やホワイトバランス調整など）を行う。カメラ１５の各部は、制御部１１によって制御される。

表示部１６は、記録部１３や画像入力部１４から読みだされたテキストデータや画像データに基づく画像などを表示する。また、表示部１６は、画像処理部１１ｄが画像処理を行った画像を表示する。表示部１６はタッチパネルであってもよく、この場合の表示部１６は操作部１２も兼ねる。表示部１６は、スルー画像などのカメラ１５で撮影された画像を表示してもよい。

ジェスチャー検出部１７は、カメラ１５と制御部１１の一部（画像解析部１１ａ）とを有する。なお、ジェスチャー検出部１７は、人物３０の動作を検出する構成であればよく、これに限定されない。ジェスチャー検出部は、人物３０の動作を検出するために、人物３０が身に着けたセンサであってもよい。

＜仮想メイクアップ処理の説明＞
表示部１６に表示させる顔画像２１の画像データは、画像処理装置１０内の記録部１３に記録されている。
なお、カメラ１５により撮影された人物３０の顔を顔画像２１として表示部１６に表示させてもよく、外部機器から入力された画像データに基づく顔画像２１を表示部１６に表示させてもよい。人物３０の顔を表示部１６に表示させる場合、仮想メイクアップ処理の対象は表示されている人物３０の顔画像２１であり、外部機器から入力された画像の顔を表示部１６に表示させる場合、仮想メイクアップ処理の対象は外部機器から入力された顔画像２１である。顔画像２１の画像データが外部機器から入力される場合、画像データは画像入力部１４から入力される。記録部１３に記録された顔画像２１、または外部機器から入力される顔画像２１は、人物３０の顔画像に限らない。顔画像２１は、人物３０以外の人物の顔画像であってもよく、人物３０は、自分以外の顔画像２１を仮想メイクアップ処理の対象にする。

カメラ１５は、表示部１６を観察する人物３０を所定のフレームレート（例えば６０ｆｐｓ）で撮影し、撮影した人物３０の画像の画像データを制御部１１へ出力する。制御部１１は、入力された画像データを画像解析部１１ａにより解析し、画像解析部１１ａの解析に基づいて人物３０によるジェスチャーを検出する。ジェスチャー検出部１７は、人物３０によるジェスチャーが、人物３０の顔のどの部分（額、眉、まつ毛、目、頬、唇、鼻など）に行われたか、どのようなジェスチャーが行われたかを検出する。ジェスチャー検出部１７は、所定の動作をジェスチャーとして検出する。ジェスチャー検出部１７がジェスチャーとして検出する所定の動作は、実際に人物３０が自身の顔に化粧をするときの動作である。例えば、頬紅を塗る、口紅を塗る、マスカラをつける、アイラインを引く、アイシャドウを塗る、ファンデーションを塗る、額のてかりを取るといった化粧品を顔に塗るまたはつけるときの動作である。

画像処理部１１ｄは、検出したジェスチャーに基づいて、表示部１６に表示されている顔画像２１に対して仮想メイクアップ処理を行う。例えば、画像処理部１１ｄは、仮想メイクアップ処理として顔画像２１に対して色を変える処理、明るさを変える処理、諧調処理、平滑化処理、鮮鋭度に関する画像処理などを行う。

画像処理部１１ｄは、顔画像２１のうち、ジェスチャーが行われた顔の部位に対応する顔画像２１に含まれる顔の部位に画像処理を行う。画像処理部１１ｄが行う画像処理は、ジェスチャーと予め対応付けられており、顔のどの部分にどのようなジェスチャーが行われたかで顔画像２１に行われる画像処理が異なる。画像処理は、ジェスチャーが行われた顔の部位とジェスチャーとして検出する動作とによって処理内容が異なる。制御部１１は、画像処理が行われた顔画像２１を表示部１６に表示させる。

例えば、人物３０が、あたかも「頬紅を塗る」かのように自身の顔の右頬を手で叩くと、制御部１１は、表示部１６に向かって右側の頬に色をつける画像処理を行った顔画像２１を表示部１６に表示させる。本実施形態では、ジェスチャー検出部１７が、顔へのメイクアップの所定の動作（上記例では「頬紅を塗る」）として頬を手で叩く動作をジェスチャーとして検出する。画像処理部１１ｄは、検出したジェスチャーに基づいて、顔画像２１に対し、上記メイクアップ（頬紅を塗る）を実際に人物３０が自身の顔にしたときと同じになるような画像処理（頬紅をのせたように顔画像２１に含まれる頬２２の色を変える）を行う。なお、人物３０が自身の顔の右頬を手で叩いたら、制御部１１は、表示部１６に向かって左側の頬に色をつける画像処理を行った顔画像２１を表示部１６に表示させてもよい。

人物３０が、あたかも「口紅を塗る」かのように自身の唇を指でなぞると、制御部１１は唇に色をつける画像処理を行った顔画像２１を表示部１６に表示させる。本実施形態では、ジェスチャー検出部１７が、顔へのメイクアップの所定の動作（上記例では「口紅を塗る」）として唇を指でなぞる動作をジェスチャーとして検出する。画像処理装置１０は、上記メイクアップ（口紅を塗る）を実際に人物３０が自身の顔にしたときと同じになるような画像処理（口紅を塗ったように顔画像２１に含まれる唇の色を変える）を行う。
マスカラをつける、アイラインを引く、アイシャドウを塗る、ファンデーションを塗るなどの仮想メイクアップ処理についても同様である。

人物３０が、あたかも「額のてかりを取る」かのように自身の額を指や手で撫でると、制御部１１は額部分の明るさ（輝度値）を下げる画像処理を行った顔画像２１を表示部１６に表示させる。本実施形態では、ジェスチャー検出部１７が、顔へのメイクアップの所定の動作（上記例では「額のてかりを取る」）として額を指や手で撫でる動作をジェスチャーとして検出する。画像処理装置１０は、上記メイクアップ（額のてかりを取る）を実際に人物３０が自身の顔にしたときと同じになるような画像処理（額のてかりが取れたように顔画像２１に含まれる額部分を暗くする）を行う。
なお、額部分に行う画像処理は、顔画像２１の階調に関する処理、平滑化処理、鮮鋭度に関する処理であってもよい。

人物３０が、自身の顔の左側から自身の顔へ向けて手を開く動作をすると、制御部１１は、表示部１６に向かって左側の顔の部分の明るさ（輝度値）を上げる画像処理を行った顔画像２１を表示部１６に表示させる。本実施形態では、ジェスチャー検出部１７が、顔への所定の動作として顔へ向けて手を開く動作をジェスチャーとして検出する。画像処理装置１０は、実際に人物３０の左側から照明を当てたときと同じになるような画像処理（左側から照明が当てられているかのように顔画像２１の所定部分を明るくする）を行う。
なお、人物３０が、自身の顔の左側から自身の顔へ向けて手を開く動作をすると、制御部１１は、表示部１６に向かって右側の顔の部分の明るさ（輝度値）を上げる画像処理を行った顔画像２１を表示部１６に表示させてもよい。顔へ向けて行う動作は、指を開く動作であってもよい。顔へ向けて行う動作は、手や指を閉じる、または手や指を顔に近づける動作であってもよい。顔画像２１の所定部分に行う画像処理は、顔画像２１の階調に関する処理、平滑化処理、鮮鋭度に関する処理であってもよい。

ジェスチャー検出部１７は、カメラ１５によって撮影された時系列の画像データに基づいて、公知のジェスチャー認識技術を用いて人物３０の動作を検出する。具体的には、上記時系列の画像データから、顔に対する腕、手や指の動きを示すパターンＤを検出し、検出した動きのパターンＤを基準パターンＳ１〜Ｓ７と比較する。なお、ジェスチャー検出部は、時系列の画像データから、顔に対する腕、手や指の位置の時間経過に伴う変化をパターンＤとして検出し、検出した位置変化のパターンＤを基準パターンＳ１〜Ｓ７と比較してもよい。

図３は、基準パターンとメイクアップの動作と仮想メイクアップ処理との関連付けを例示する図である。７つの基準パターンＳ１〜Ｓ７は、それぞれ一般的なメイクアップの動作Ｃ１〜Ｃ７の実演を撮影した画像データに基づいてあらかじめ作成され、記録部１３に記録されている。７つの基準パターンＳ１〜Ｓ７は、所定の動作として記録部１３に記録されている。具体的には、メイクアップの動作Ｃ１〜Ｃ７の実演を撮影した画像データから検出された、顔に対する腕、手や指の動きを示すパターンである。

なお、本説明では、７つのメイクアップの動作に対応させた７つの基準パターンを例示するが、上記７つ以外の他のメイクアップの動作に対する基準パターンを記録部１３に記録しても構わない。例えば、皺、しみ、にきびにコンシーラーを塗る動作や、歯をホワイトニングする動作に対して基準パターンを追加する。このようなメイクアップの動作に対する基準パターンの追加、削除等は、適宜行えるようにして構わない。

基準パターンＳ１は、唇に口紅を塗るメイクアップの動作Ｃ１に基づいて作成されたものである。
基準パターンＳ２は、頬紅を塗るメイクアップの動作Ｃ２に基づいて作成されたものである。
基準パターンＳ３は、マスカラをつけるメイクアップの動作Ｃ３に基づいて作成されたものである。
基準パターンＳ４は、アイラインを引くメイクアップの動作Ｃ４に基づいて作成されたものである。
基準パターンＳ５は、アイシャドウを塗るメイクアップの動作Ｃ５に基づいて作成されたものである。
基準パターンＳ６は、額のてかりを抑えるメイクアップの動作Ｃ６に基づいて作成されたものである。
基準パターンＳ７は、所定の方向から顔に向けて手を開く動作Ｃ７に基づいて作成されたものである。

判定部１１ｂは、カメラ１５によって撮影された画像データに基づいて検出したパターンＤが、上記基準パターンＳ１〜Ｓ７のうちいずれかの基準パターンとの間で所定値以上の類似度を有する場合に、顔へのメイクアップの動作と判断する。

パターンＤと上記基準パターンＳ１〜Ｓ７との間の比較において類似度が高くなるジェスチャーの例は、以下の通りである。
基準パターンＳ１との間で類似度が高くなるのは、唇を指でなぞるジェスチャーである。
基準パターンＳ２との間で類似度が高くなるのは、頬を手で叩くジェスチャーである。
基準パターンＳ３との間で類似度が高くなるのは、まつげを指でさわるジェスチャーである。
基準パターンＳ４との間で類似度が高くなるのは、まつげのラインを指でなぞるジェスチャーである。
基準パターンＳ５との間で類似度が高くなるのは、まぶたの上を指で触るジェスチャーである。
基準パターンＳ６との間で類似度が高くなるのは、額を手で叩くジェスチャーである。
基準パターンＳ７との間で類似度が高くなるのは、顔に向けて所定の方向からで手を開くジェスチャーである。

選択部１１ｃは、ジェスチャー検出部１７によって検出した動作に対応する画像処理（仮想メイクアップ処理）を以下のように選択する。本実施の形態では、図３に例示したように、基準パターンＳ１〜Ｓ７と、メイクアップの動作Ｃ１〜Ｃ７と、仮想メイクアップ処理とが関連付けられている。言い換えれば、所定の動作である基準パターンＳ１〜Ｓ７と、メイクアップのジェスチャーＣ１〜Ｃ７と、顔画像２１への画像処理とが予め関連付けられている。

なお、所定の動作は、頬を手で叩く、唇を指でなぞる、手や指を開くに限らない。所定の動作は、人物３０の身体に触わる、または身体に接近するまたは近接する動作、または身体の部位をなぞるまたは撫でるまたは捻るまたは掴むまたは挟むまたは叩く等の動作である。所定の動作は、人物３０の身体に触れてなくともよい。人物３０が、身体のどの部位にジェスチャーを行ったかをジェスチャー検出部１７が検出できればよい。

図３において、処理Ｗ１は、唇部分の色を変える画像処理であり、基準パターンＳ１に対応する。
処理Ｗ２は、頬部分の色を変える画像処理であり、基準パターンＳ２に対応する。
処理Ｗ３は、まつげ部分の色を変える画像処理であり、基準パターンＳ３に対応する。
処理Ｗ４は、まつげのきわ部分の色を変える画像処理であり、基準パターンＳ４に対応する。
処理Ｗ５は、まぶた部分の色を変える画像処理であり、基準パターンＳ５に対応する。
処理Ｗ６は、額部分の明るさを下げる画像処理であり、基準パターンＳ６に対応する。
処理Ｗ７は、顔の所定部分の明るさを上げる画像処であり、基準パターンＳ７に対応する。

選択部１１ｃは、判定部１１ｂによってパターンＤとの間で類似度が高いと判定された基準パターンＳ１〜Ｓ７に対応する画像処理を、処理Ｗ１〜Ｗ７から選択する。パターンＤとの間で大きい類似度を有する基準パターンＳ１〜Ｓ７を特定すれば、図３に基づき、対応するメイクアップの動作Ｃ１〜Ｃ７、および対応する仮想メイクアップ処理Ｗ１〜Ｗ７を特定することができる。

画像処理部１１ｄは、表示部１６に表示中の顔画像２１に対し、選択部１１ｃによって選択された画像処理を行う。図４は、処理前の顔画像２１を例示する図である。図５は、図４の顔画像２１に対して唇部分の色を変える画像処理（処理Ｗ１）を行った顔画像２１を例示する図である。図６は、図４の顔画像２１に対して頬部分（本例では右頬）の色を変える画像処理（処理Ｗ２）を行った顔画像２１を例示する図である。

図７は、図４の顔画像２１に対してまつげ部分の色を変える画像処理（処理Ｗ３）を行った顔画像２１を例示する図である。図８は、図４の顔画像２１に対してまつげのきわ部分の色を変える画像処理（処理Ｗ４）を行った顔画像２１を例示する図である。図９は、図４の顔画像２１に対してまぶた部分の色を変える画像処理（処理Ｗ５）を行った顔画像２１を例示する図である。

図１０は、図４の顔画像２１に対して額部分の明るさを下げる画像処理（処理Ｗ６）を行った顔画像２１を例示する図である。図１１は、図４の顔画像２１に対して顔の所定（本例では左下）部分の明るさを上げる（処理Ｗ７）を行った顔画像２１を例示する図である。

制御部１１は、ジェスチャーに基づいて仮想メイクアップ処理された顔画像２１を表示部１６に表示させる。図１６(a)〜図１６(d)は、画像処理された顔画像２１の表示態様を例示する図である。表示部１６は、図１６(a)〜図１６(d)のように、画像処理された顔画像２１を様々な表示態様で表示する。

例えば、図１６(a)は、表示部１６の表示画面に画像処理された顔画像２１を表示する表示態様である。図１６(b)は、表示部１６の表示画面を２つの表示領域に分けて、２つの画像を表示する表示態様である。表示部１６は、例えば画像処理前の顔画像２１を表示画面の左側に表示させるとともに、画像処理後の顔画像２１を表示画面の右側に表示させる。

図１６(c)は、表示部１６の表示画面を複数の表示領域に分けて、表示部１６に複数の顔画像２１を表示する表示態様である。表示部１６は、例えば１〜１６の顔画像２１を、複数に分割された表示領域にそれぞれ表示する。図１６(d)は、複数の顔画像２１を表示する表示態様において、画像処理が行われた順を識別し得るように表示した表示態様の一例である。人物３０は、図１６(b)〜図１６(d)の表示態様で表示させることにより、画像処理前の顔画像２１と画像処理後の顔画像２１とを比較することができる。

＜フローチャートの説明＞
図１２は、仮想メイクアップ処理を行う画像処理の流れを説明するフローチャートである。制御部１１は、仮想メイクアッププログラムの実行操作が行われると、図１２に示す処理を実行するプログラムを起動させる。図１２のステップＳ１０において、制御部１１は、カメラ１５に撮影を開始させてステップＳ２０へ進む。

ステップＳ２０において、制御部１１は、カメラ１５によって時系列に取得された画像データを取得してステップＳ３０へ進む。ステップＳ３０において、制御部１１は、画像データに基づいて人物３０のジェスチャー（顔に対する腕、手や指の動きのパターンＤ）を検出してステップＳ４０へ進む。ステップＳ４０において、制御部１１は、上記パターンＤを基準パターンＳ１〜Ｓ７と比較してステップＳ５０へ進む。

ステップＳ５０において、制御部１１は、人物３０のジェスチャーが、顔に対するメイクアップの動作と類似しているか否かを判定する。制御部１１は、パターンＤが基準パターンＳ１〜Ｓ７のいずれかとの間で所定値以上の類似度を有する場合に、ステップＳ５０を肯定判定してステップＳ６０へ進む。制御部１１は、パターンＤが基準パターンＳ１〜Ｓ７との間で所定値以上の類似度を有していない場合に、ステップＳ５０を否定判定してステップＳ９０へ進む。

ステップＳ６０において、制御部１１は、検出したジェスチャー（所定値以上の類似度を有する動作）に対応する処理Ｗ１〜Ｗ７を、表示部１６に表示する画像（本例では、記録部１３から読み出した画像データによる画像）に行ってステップＳ７０へ進む。ステップＳ７０において、制御部１１は、処理後の顔画像２１を表示部１６に表示させてステップＳ８０へ進む。

ステップＳ９０において、制御部１１は未処理の顔画像２１（本例では、記録部１３から読み出した画像データによる画像）をそのまま表示部１６に表示させてステップＳ８０へ進む。

ステップＳ８０において、制御部１１は、終了操作が行われたか否かを判断する。制御部１１は、終了操作が行われた場合にステップＳ８０を肯定判定して図１２による処理を終了する。制御部１１は、終了操作が行われない場合には、ステップＳ８０を否定判定してステップＳ２０へ戻る。ステップＳ２０へ戻った場合、制御部１１は、上述した処理を繰り返す。

上述した第１実施形態によれば、次の作用効果が得られる。
（１）画像処理装置１０は、例えば、顔へのジェスチャーを検出し、ジェスチャーが行われた顔の部位を検出するジェスチャー検出部１７と、顔を含む画像のうち、ジェスチャーが行われた顔の部位に対応する画像に含まれる顔の部位に画像処理を行う画像処理部１１と、を備えるようにした。実際の動作をジェスチャーとして検出するので、直感的に使用できる。また、言語が異なる地域で共通に使用できる。

（２）ジェスチャー検出部１７は、顔へのメイクアップのジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる顔に対し、実際の顔にメイクアップをしたような仮想メイクアップ処理を施すので、使いやすいメイクアップシミュレータを実現できる。実際に化粧をしなくとも、化粧をしたような画像を得ることができるから、実際に化粧をしたときの容姿を確認できる。実際に化粧をする必要がなくなり、メイクアップの中止、修正、やり直しが簡単にできる。

（３）ジェスチャー検出部１７は、唇を指でなぞるジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる唇に対し、実際の唇に口紅を塗ったような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（４）ジェスチャー検出部１７は、頬を手でたたくジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる頬に対し、実際の頬に頬紅をつけたような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（５）ジェスチャー検出部１７は、まつげを指で触るジェスチャーを検出し、画像処理部１１ｄは、画像に含まれるまつげに対し、実際のまつげにマスカラをつけたような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（６）ジェスチャー検出部１７は、まつげのラインを指でなぞるジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる目の周辺に対し、実際の目の周辺にアイラインを引いたような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（７）ジェスチャー検出部１７は、まぶたの上を指で触るジェスチャーを検出し、画像処理部１１ｄは、画像に含まれるまぶたに対し、実際のまぶたにアイシャドウを塗ったような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（８）ジェスチャー検出部１７は、額を手でたたくジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる額の顔に対し、額のてかりを抑えたような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（９）ジェスチャー検出部１７は、顔に向けて所定の方向から手を開くジェスチャーを検出し、画像処理部１１ｄは、画像に含まれる所定部分に対し、所定の方向から光を当てたような画像処理を行うので、直感的で使いやすいメイクアップシミュレータを実現できる。

（第２実施形態）
第１実施形態の説明では、カメラ１５を有する画像処理装置１０（パーソナルコンピュータ）を例に説明したが、背面液晶モニタのような表示部を備えるカメラや、スマートフォンのようにカメラ機能と表示機能とを備えた高機能携帯電話機２５０（図１３）、またはタブレット端末などのモバイル機器によって構成することもできる。

図１４は、第２実施形態における画像処理装置２０の要部構成を示すブロック図である。第２実施形態において、画像処理装置２０は、例えばカメラによって構成される。画像処理装置２０は、第１カメラ２５ａと第２カメラ２５ｂとを有する点で、第１実施形態における画像処理装置１０と異なる。

第１カメラ２５ａは、人物３１（被写体）を撮影するための第１の撮影部である。第２カメラ２５ｂは、画像処理装置２０を操作する人物３０（撮影者）を撮影するための第２の撮影部である。第２カメラ２５ｂは、第１実施形態におけるカメラ１５に相当する。その他の構成は、第１実施形態の画像処理装置１０と同様なので説明を省略する。なお、画像入力部２４はなくてもよい。表示部２６に表示される画像は、スルー画像などの第１カメラ２５ａで撮影された画像、記録部２３または画像入力部２４から読みだされたテキストデータや画像データに基づく画像などである。

画像処理装置２０は、第１カメラ１５ａで撮影した人物３１の顔画像２１を表示部２６に表示する。ジェスチャー検出部２７は、人物３０の所定の動作をジェスチャーとして検出する。画像処理部２８ｄは、検出したジェスチャーに基づいて、表示部２６に表示されている顔画像２１に対して仮想メイクアップ処理を行う。制御部２８は、仮想メイクアップ処理を行った顔画像２１を表示部２６に表示させる。なお、表示部２６における画像の表示態様は、第１実施形態の表示部１６の表示態様（図１６）と同様である。

上述した第２実施形態によれば、第１実施形態と同様の作用効果が得られる。すなわち、画像処理装置２０は、例えば、撮影者による撮影者の顔へのジェスチャーを検出し、ジェスチャーが行われた顔の部位を検出するジェスチャー検出部２７と、被写体の顔を含む画像のうち、ジェスチャーが行われた撮影者の顔の部位に対応する、画像に含まれる被写体の顔の部位に画像処理を行う画像処理部２８ｄを備えるようにした。これにより、実際の化粧の動作をジェスチャーとして検出するので、直感的に使用することができる。また、画像処理のための操作が少なくなることで煩雑な操作がなくなり、操作性が良くなる。

（第３実施形態）
第１実施形態および第２実施形態の説明では、パーソナルコンピュータとカメラとを例に説明したが、カメラと画像処理装置と表示装置と組み合わせて構成することもできる。図１５は、第３実施形態における、カメラ４５と画像処理装置４０と表示装置４６とを例示するブロック図である。
なお、カメラ４５、画像処理装置４０、表示装置４６のうちいずれか２つの組み合わせが１つの装置で構成されていてもよい。その他の構成は、第１実施形態の画像処理装置１０と同様なので説明を省略する。なお、記録部４３はなくてもよい。

カメラ４５は、表示装置４６を観察する人物３０を所定のフレームレートで撮影し、撮影した人物３０の画像の画像データを画像処理装置４０へ出力する。画像処理装置４０は、カメラ４５から入力した画像データに基づく顔画像２１を表示装置４６に表示させる。なお、表示部４６には、記録部４３から読みだされたテキストデータや画像データに基づく画像などを表示させてもよい。

ジェスチャー検出部４７は、人物３０の所定の動作をジェスチャーとして検出する。ジェスチャー検出部４７は、カメラ４５から入力した画像データに基づいて人物３０によるジェスチャーを検出する。なお、ジェスチャー検出部４７は、カメラ４５と画像解析部４８ａとを有する場合を例示したが、これに限定されない。例えば、画像処理装置４０にカメラ４５とは異なるカメラを備え、このカメラをジェスチャー検出部として用いる構成にしてもよい。ジェスチャー検出部は、人物３０のジェスチャーを検出できればよく、人物３０の動作を検出するセンサであってもよい。

画像処理部４８ｄは、検出したジェスチャーに基づいて、表示装置４６に表示されている顔画像２１に対して仮想メイクアップ処理を行う。制御部４８は、仮想メイクアップ処理を行った顔画像２１を表示部４６に表示させる。なお、表示部２６における画像の表示態様は、第１実施形態の表示部１６の表示態様（図１６）と同様である。

上述した第３実施形態によれば、第１実施形態と同様の作用効果が得られる。すなわち、画像処理装置４０は、例えば、人物３０による人物３０の顔へのジェスチャーを検出し、ジェスチャーが行われた顔の部位を検出するジェスチャー検出部４７と、人物３０の顔を含む画像のうち、ジェスチャーが行われた人物３０の顔の部位に対応する、画像に含まれる人物３０の顔の部位に画像処理を行う画像処理部４８ｄを備えるようにした。これにより、実際の化粧の動作をジェスチャーとして検出するので、直感的に使用することができる。また、実際に化粧をしなくとも、化粧をしたような画像を得ることができる。化粧をした画像を撮影するために、実際に化粧をする必要がなくなる。

第３実施形態におけるカメラ４５と画像処理装置４０と表示装置４６とは、店頭やスタジオなどで使用されてもよい。従来、化粧をしたときの容姿を確認することは困難であった。実際に化粧をした場合には、化粧を中止または修正するときに化粧を落とす手間と時間を要してしまっていた。しかしながら、第３実施形態によれば、人物３０が自身で実際に化粧をしなくても、あるいは店員やスタイリストが人物３０に実際に化粧をしなくとも、化粧をしたような画像を観察することができ、実際に化粧をしたときの容姿を確認できる。実際に化粧をする必要がなくなるため、メイクアップの中止、修正、やり直しが簡単にできる。

次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
（変形例１）
以上の説明では、画像に含まれる人物の顔に化粧をしたような画像処理を行うことを説明したが、画像処理の対象は人物の顔に限定されない。また、画像処理は顔に化粧をしたような画像処理（仮想メイクアップ処理）に限定されない。画像処理の対象は、画像に含まれる人体の部位、例えば、頭髪、腕、手、首、胸、腹、脚、足、背中等であってもよい。画像処理は、画像に含まれる人体の部位に色を変える処理、明るさを変える処理、諧調処理、輪郭強調処理、鮮鋭度に関する処理などであってもよい。

画像処理は、所定の動作が行われた身体の部位に対応する画像に含まれる身体の部位に、実際の身体そのものに所定の動作を行ったときに身体に現れる変化を表す画像処理であってもよい。身体への所定の動作は、普段の生活で行われる身体へのしぐさや行為である。普段の生活で行われる身体へのしぐさや行為は、化粧をするときの動作の他、身体への動作（髪をかき上げる、髪形を作る、身体の部位を手または足で払う、身体の部位を手または足でなでる、身体の部位を手または足でかく等の動作）を含む。

例えば、仮想メイクアップシミュレータの代わりに、仮想髪型シミュレータを構成してもよい。従来、髪型または髪の色を変えたいとき、髪型または髪の色を変えたときの容姿を確認することは困難であった。実際に髪を切るなどして髪型を変えるか、髪の色を実際に変えることをしなければならないが、髪を切った後または髪の色を変えた後から中止、修正をすることは困難であった。

変形例１において、画像処理装置１０は、人物３０によるジェスチャーを検出することによって、表示部１６に表示されている画像に対して仮想処理を行う。例えば人物３０が、あたかも「髪を切る」かのように自身の手指を使って模したハサミで髪を挟むと、画像処理装置１０は、髪の長さを短くする画像処理を行った顔画像２１を表示部１６に表示させる。反対に、人物３０が、「髪を伸ばそうとする」かのように自身の手指で髪を挟んで手指を下に動かすと、画像処理装置１０は、髪の長さを長くする画像処理を行った顔画像２１を表示部１６に表示させる。

変形例１では、髪に対するカットの動作、または髪を伸ばそうとする動作をそれぞれジェスチャーとして検出する。画像処理装置１０は、実際に髪をカットしたかのような画像となるよう顔画像２１に画像処理（ショートヘアスタイルにする）を行う。画像処理装置１０は、実際に髪が伸びたかのような画像となるよう顔画像２１に画像処理（ロングヘアスタイルにする）を行う。髪の長さは、例えば、ロング、ミディアム、ショートの３段階に切り替えてもよい。

また、髪をカットする部位をジェスチャーに対応させて異ならせてもよい。例えば、人物３０が前髪を手指で挟んだ場合と、人物３０が後ろ髪を手指で挟んだ場合とで、髪の長さを変化させる部位を異ならせる。

さらにまた、髪を分ける部位をジェスチャーに対応させて異ならせてもよい。例えば、人物３０が髪の分け目をずらすかのように手櫛を入れると、画像処理装置１０は、髪の分け目の位置を移動させる画像処理を行った顔画像２１を表示部１６に表示させる。

そしてさらに、画像処理装置１０は、髪にパーマをかける動作（例えば、指に髪を巻き付ける）をジェスチャーとして検出し、実際に髪にパーマをかけたかのような画像となるよう画像処理（パーマヘアスタイルにする）を行った顔画像２１を表示部１６に表示させてもよい。画像処理におけるパーマの強さは、例えば、髪を指に巻き付ける回数（例えば１回〜３回）により、３段階に切り替えてもよい。

髪の色を変えるようにしてもよい。例えば、画像処理装置１０は、頭を振る、髪を撫でるなどの動作をジェスチャーとして検出し、実際に髪の色を変えたかのような画像となるよう画像処理（髪の色を変える）を行った顔画像２１を表示部１６に表示させてもよい。

以上説明したように変形例１によれば、髪型または髪の色を実際に変えなくても、髪型または髪の色を変えたような画像を観察することができる。また、実際に髪型または髪の色を変えたときの容姿が確認できる。髪型または髪の色を実際に変える必要がなくなるため、髪型変更や髪の色の変更の中止、修正、やり直しが簡単にできる。

（変形例２）
ジェスチャーの対象は、身体そのもの（頭髪、頭、顔、腕、手、首、胸、腹、脚、足、背中など）だけでなく、人が身に着ける物や人が保持する物であってもよい。ここで、人が身に着ける物は、帽子、ヘルメット、髪止め、衣服、マフラー、靴下、手袋、ベルト、靴等の履物、時計、メガネ、指輪や腕輪やネックレスやその他アクセサリー等の装飾品、包帯や絆創膏やマスク等の医療品、ウェアラブル機器等である。また、人が保持する物は、鞄やリュックサック、杖、スキー板やスノーボードやバットやクラブやラケット等のスポーツ器具などである。

人が身に着ける物や保持する物へのジェスチャーも同様である。人が身に着ける物や保持する物へのジェスチャーは、人が身に着ける物や保持する物への所定の動作である。人が身に着ける物や保持する物への所定の動作は、人が身に着ける物や保持する物への普段の生活で行われるしぐさや行為である。普段の生活で行われるしぐさや行為は、例えば、人が身に着ける物または保持する物を指示する、衣服を着るまたは被るまたは脱ぐ、靴を履くまたは脱ぐ、装飾品を着けるまたははずす、物を貼るまたは剥がす等の動作である。

例えば、仮想メイクアップシミュレータや仮想髪型シミュレータの代わりに、衣類の着せ替えシミュレータにおいて、上着（コート、ジャケット等）のボタンをかける、ボタンをはずす処理を仮想的に行うようにしてもよい。従来、衣服を試着した容姿を確認したいときや、鞄や装飾品を合わせた容姿を確認したいときは、実際に衣服を着る、鞄を持つ、装飾品をつける作業が必要であった。衣服や装飾品の着脱や、鞄を持ち替える作業は面倒であった。

変形例２において、画像処理装置１０は、人物３０によるジェスチャーを検出することによって、表示部１６に表示されている画像（変形例２の場合は、衣類をまとった全身像）に対して仮想処理を行う。人物３０が、あたかも「手でボタンをかける」かのように前開きの上着のボタンをボタンホールの位置へ近づけると、画像処理装置１０は、上着の前合わせを閉じるとともにボタンをかけた画像処理を行った画像を表示部１６に表示させる。

反対に、人物３０が、あたかも「手でボタンをはずす」かのように前開きの上着のボタンホールからのぞくボタンの位置へ手を近づけると、画像処理装置１０は、上着のボタンをはずして前合わせを開いた画像処理を行った画像を表示部１６に表示させる。

変形例２では、前開きの上着に対するボタンかけの動作（ボタンをボタンホールの位置に近づける、またはボタンホールからのぞくボタンの位置へ手を近づける）をジェスチャーとして検出する。画像処理装置１０は、実際の上着のボタンをかけた、または実際に上着のボタンをはずしたかのような画像となるよう画像に画像処理（上着の前合わせを閉じた画像処理、上着の前合わせを開いた画像処理）を行う。

ボタンかけの他にも、上着のファスナーを閉じる／ファスナーを開く所作についても、同様に画像処理を行うことができる。
さらに、帽子をかぶる動作／帽子をとる動作、眼鏡をかける動作／眼鏡をはずす動作、装飾品をつける動作／装飾品をはずす動作についても、同様に画像処理を行うことができる。その他の、人が身に着ける物や保持する物に対する動作についても同様に画像処理を行うことができる。

以上説明したように変形例２によれば、衣服を実際に着たり脱いだりしなくても、衣服を変えたような画像を観察することができる。また、実際に衣服を変えたときの容姿が確認できる。衣服を実際に変える必要がなくなるため、衣装変更の中止、修正、やり直しが簡単にできる。

（変形例３）
上記実施形態では、顔へのジェスチャーを検出し、画像に含まれる顔の部位に画像処理を行うことを説明したが、ジェスチャー検出の対象と画像処理の対象とは顔に限定されない。ジェスチャー検出の対象と画像処理の対象とは、身体の一部だけでなく身体全体であってもよい。

例えば、着せ替えシミュレータの代わりに、体型シミュレータを構成してもよい。従来、体型が変わったときの容姿を確認することは困難であった。変形例３において、画像処理装置１０は、人物３０によるジェスチャーを検出することによって、表示部１６に表示されている画像（変形例３の場合は全身像）に対して仮想処理を行う。人物３０が、自身の身体のラインより大きいラインを手でなぞると、画像処理装置１０は、身体を一回り大きくなる画像処理を行った画像を表示部１６に表示させる。例えば、バストラインより大きなラインを手でなぞった場合は、画像のバストの部位を大きくする画像処理を行う。

反対に、人物３０が、自身の身体のラインより小さいラインを手でなぞると、画像処理装置１０は、身体を一回り小さくなる画像処理を行った画像を表示部１６に表示させる。例えば、ウエストラインより小さく手でなぞった場合は、画像のウエストの部位を細くする画像処理を行う。

また、人物３０が背伸びをすると、画像処理装置１０は、身長を高くする画像処理を行った画像を表示部１６に表示させる。反対に、人物３０が膝を曲げると、画像処理装置１０は、身長を低くする画像処理を行った画像を表示部１６に表示させる。

さらに、人物３０が首を手で上方へ引っ張るようにすると、画像処理装置１０は、画像の首の部位を長くする画像処理を行った画像を表示部１６に表示させる。
さらにまた、人物３０が、顎の左右を挟んだ手指を広げると、画像処理装置１０は、画像の顎の部位をゆるやかにする画像処理を行った（とんがりを抑える）画像を表示部１６に表示させる。

以上説明したように変形例３によれば、体型が変わったような画像を観察することができるため、実際に体型が変わった時の容姿が確認できる。なお、ジェスチャーは、身体、または人が身に着ける物または保持する物に直に触らなくともよい。ジェスチャーは、身体、または人が身に着ける物または保持する物に、触る、近接する、接近する、なぞる等の動作であればよい。ジェスチャーは、物や道具を介して、身体、または人が身に着ける物または保持する物に、触る、近接する、接近する、なぞる等の動作であってもよい。例えば、人が手に手袋を装着した状態で、身体、または人が身に着ける物または保持する物に、手袋を介してジェスチャーを行ってもよい。例えば、人が手に化粧道具を持った状態で、身体（顔）に化粧道具を介して化粧のジェスチャーを行ってもよい。

なお、カメラ１５が撮影する人物は、画像処理装置１０を操作する人物３０のみに限らない。複数人が画像処理装置１０を操作するようにしてもよい。表示部１６を観察する人物は、人物３０に限らず、人物３０の周りにいる他の人物であってもよい。人物３０の周りにいる人物が、人物３０の顔を用いて顔画像２１に仮想メイクアップ処理を行ってもよい。

カメラ１５は、表示部１６を観察する人物を撮影し、撮影した人物の画像の画像データを制御部１１へ出力する。ジェスチャー検出部１７は、入力された画像データに基づいて表示部１６を観察する人物による人物３０へのジェスチャーを検出する。人物３０だけでなく、周りの他の人物も、画像処理装置１０を用いて表示部１６に表示されている人物３０の顔画像２１に仮想メイクアップ処理を行うようにしてもよい。

なお、画像に複数の顔が含まれている場合、人物３０または表示部１６を観察する人物が仮想メイクアップ処理の対象としたい顔を選択するようにしてもよい。画像に複数の顔が含まれている場合、人物３０が自分の顔を用いて、画像に含まれている複数の顔画像にそれぞれ仮想メイクアップ処理を行うようにしてもよい。

また、人物３０の周りにいる人物が、自分の顔を用いて、画像に含まれている複数の顔画像にそれぞれ仮想メイクアップ処理を行うようにしてもよい。例えば、店員、美容師、スタイリストなどが、画像処理装置１０を用いて人物３０に仮想メイクアップを行うことができる。人物３０を含む複数の人物が、画像処理装置１０を用いて複数の顔が含まれる画像に仮想メイクアップ処理を行うことができる。上述した第２実施形態、第３実施形態および変形例についても同様である。

（変形例４）
上述した画像処理装置１０（パーソナルコンピュータ）に対するプログラムの供給は、例えば図１３に例示するように、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４を画像処理装置１０にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法で画像処理装置１０（パーソナルコンピュータ）へローディングしてもよい。通信回線２０１を経由する場合は、当該通信回線に接続されたサーバー２０２のストレージ装置２０３などにプログラムを格納しておく。

また、画像処理装置２０（カメラ、スマートフォン、タブレット）、画像処理装置４０についても同様に、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体２０４を画像処理装置にセットして行ってもよい。

変形例１のカメラ、高機能携帯電話機２５０、またはタブレット端末などのモバイル機器へのプログラムの供給は、図１３に例示するように、プログラムを格納した画像処理装置１０（パーソナルコンピュータ）から赤外線通信や近距離無線通信によってモバイル機器へ送信することができる。

また、通信回線２０１に接続された無線ＬＡＮのアクセスポイント（不図示）を経由して、モバイル機器へプログラムを直接送信することもできる。さらに、プログラムを格納したメモリカードなどの記録媒体２０４Ｂをモバイル機器にセットしてもよい。このように、プログラムは記録媒体や通信回線を介する提供など、種々の形態のコンピュータプログラム製品として供給できる。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１０、２０、４０…画像処理装置
１１、２８、４８…制御部
１４、２４…画像入力部
１７、２７、４７…ジェスチャー検出部
１１ｂ、２８ｂ、４８ｂ…判定部
１１ｃ、２８ｃ、４８ｃ…選択部
１１ｄ、２８ｄ、４８ｄ…画像処理部
１５、２５ａ、２５ｂ、４５…カメラ
１６、２６…表示部
２１…顔画像
３０…人物
４６…表示装置

Claims

身体へのジェスチャーを検出し、前記ジェスチャーが行われた身体の部位を検出する検出部と、
身体を含む画像のうち、前記ジェスチャーが行われた身体の部位に対応する前記画像に含まれる身体の部位に画像処理を行う画像処理部と、
を備える画像処理装置。
請求項１に記載の画像処理装置において、
画像を表示する表示部を備え、
前記表示部は、前記画像処理部により画像処理が行われた前記画像を表示する画像処理装置。
請求項１または２に記載の画像処理装置において、
前記画像の画像信号が入力される画像入力部を備え、
前記画像処理部は、前記身体のうち前記ジェスチャーが行われた部位に対応する、前記画像入力部から入力された画像に含まれる身体の部位に画像処理を行う画像処理装置。
請求項３に記載の画像処理装置において、
前記検出部は、前記画像処理装置の操作者の身体へのジェスチャーを検出し、
前記画像処理部は、前記操作者の身体のうち前記ジェスチャーが行われた部位に対応する、前記画像入力部から入力された画像に含まれる身体の部位に画像処理を行う画像処理装置。
請求項３または４に記載の画像処理装置において、
前記検出部は、カメラを有し、前記カメラで撮影された画像から前記ジェスチャーを検出し、
前記表示部は、前記画像入力部から入力された画像を表示するとともに、前記画像処理部により画像処理が行われた前記画像を表示する画像処理装置。
請求項１または２に記載の画像処理装置において、
撮影者の操作により撮影を行う撮影部を備え、
前記検出部は、前記撮影者の身体へのジェスチャーを検出し、
前記画像処理部は、前記撮影者の身体のうち前記ジェスチャーが行われた部位に対応する、前記撮影部で撮影された画像に含まれる身体の部位に画像処理を行う画像処理装置。
請求項６に記載の画像処理装置において、
前記検出部は、前記撮影部とは異なる第２撮影部を有し、前記第２撮影部で撮影された前記撮影者の画像から前記ジェスチャーを検出し、
前記表示部は、前記撮影部で撮影された画像または前記第２撮影部で撮影された画像を表示するとともに、前記画像処理部により画像処理が行われた画像を表示する画像処理装置。
請求項１から７のいずれか一項に記載の画像処理装置において、
前記検出部は、身体に対して所定の動作を行うことをジェスチャーとして検出し、
前記画像処理部は、前記所定の動作が行われた部位に対応する前記画像に含まれる身体の部位に、前記所定の動作と予め対応づけられた画像処理を行う画像処理装置。
請求項８に記載の画像処理装置において、
前記所定の動作は、前記身体の部位に触わるまたは接近するまたは近接する動作、または前記身体の部位をなぞるまたは撫でるまたは捻るまたは掴むまたは挟むまたは叩く動作であり、
前記画像処理部は、前記所定の動作が行われた部位に対応する前記画像に含まれる身体の部位に画像処理を行う画像処理装置。
請求項８または９に記載の画像処理装置において、
前記画像処理部は、前記所定の動作が行われた前記身体の部位に対応する前記画像に含まれる身体の部位に、実際の身体そのものに前記所定の動作を行ったときに身体に現れる変化を表す画像処理を行う画像処理装置。
請求項８から１０のいずれか一項に記載の画像処理装置において、
前記画像処理部は、前記所定の動作が行われた前記身体の部位に対応する前記画像に含まれる身体の部位の色または明るさまたは形または長さを変える画像処理を行う画像処理装置。
請求項１から１１のいずれか一項に記載の画像処理装置において、
前記検出部は、化粧をするジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる顔に、前記化粧をしたような画像処理を行う画像処理装置。
請求項１２に記載の画像処理装置において、
前記検出部は、唇を指でなぞるジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる唇に口紅を塗ったような画像処理を行う、
画像処理装置。
請求項１２または１３に記載の画像処理装置において、
前記検出部は、頬を手でたたくジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる頬に頬紅をつけたような画像処理を行う、
画像処理装置。
請求項１２から１４のいずれか一項に記載の画像処理装置において、
前記検出部は、まつげを指で触るジェスチャーを検出し、
前記画像処理部は、前記画像に含まれるまつげにマスカラをつけたような画像処理を行う、
画像処理装置。
請求項１２から１５のいずれか一項に記載の画像処理装置において、
前記検出部は、まつげのラインを指でなぞるジェスチャーを検出し、
前記画像処理部は、前記画像に含まれるまつげのラインにアイラインを引いたような画像処理を行う、
画像処理装置。
請求項１２から１６のいずれか一項に記載の画像処理装置において、
前記検出部は、まぶたの上を指で触るジェスチャーを検出し、
前記画像処理部は、前記画像に含まれるまぶたの上にアイシャドウを塗ったような画像処理を行う、
画像処理装置。
請求項１２から１７のいずれか一項に記載の画像処理装置において、
前記検出部は、額を手でたたくジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる額に額のてかりを抑えたような画像処理を行う、
画像処理装置。
請求項１から８のいずれか一項に記載の画像処理装置において、
前記検出部は、顔に対して所定の方向から手を開くジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる顔に前記所定の方向から光を当てたような画像処理を行う、
画像処理装置。
請求項１から１９のいずれか一項に記載の画像処理装置において、
前記検出部は、頭部または頭髪へのジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる頭部または頭髪に、前記頭部または頭髪へのジェスチャーと予め対応づけられた画像処理を行う画像処理装置。
請求項２０に記載の画像処理装置において、
前記画像処理部は、前記画像に含まれる頭部または頭髪の形または色または長さ、または前記画像に含まれる髪型を変える画像処理を行う画像処理装置。
身に着けている物または保持している物へのジェスチャーを検出する検出部と、
身に着けている物または保持している物を含む画像のうち、前記ジェスチャーが行われた身に着けている物または保持している物に対応する、前記画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理部と、
を備える画像処理装置。
請求項２２に記載の画像処理装置において、
画像を表示する表示部を備え、
前記表示部は、前記画像処理部により画像処理が行われた前記画像を表示する画像処理装置。
請求項２２または２３に記載の画像処理装置において、
前記画像の画像信号が入力される画像入力部を備え、
前記画像処理部は、前記身に着けている物または保持している物のうち前記ジェスチャーが行われた物に対応する、前記画像入力部から入力された画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理装置。
請求項２４に記載の画像処理装置において、
前記検出部は、前記画像処理装置の操作者が身に着けている物または保持している物へのジェスチャーを検出し、
前記画像処理部は、前記操作者が身に着けている物または保持している物のうち前記ジェスチャーが行われた物に対応する、前記画像入力部から入力された画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理装置。
請求項２４または２５に記載の画像処理装置において、
前記検出部は、カメラを有し、前記カメラで撮影された画像から前記ジェスチャーを検出し、
前記表示部は、前記画像入力部から入力された画像を表示するとともに、前記画像処理部により画像処理が行われた前記画像を表示する画像処理装置。
請求項２２または２３に記載の画像処理装置において、
撮影者の操作により撮影を行う撮影部を備え、
前記検出部は、前記撮影者が身に着けている物または保持している物へのジェスチャーを検出し、
前記画像処理部は、前記撮影者が身に着けている物または保持している物のうち前記ジェスチャーが行われた物に対応する、前記撮影部で撮影された画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理装置。
請求項２７に記載の画像処理装置において、
前記検出部は、前記撮影部とは異なる第２撮影部を有し、前記第２撮影部で撮影された前記撮影者の画像から前記ジェスチャーを検出し、
前記表示部は、前記撮影部で撮影された画像または前記第２撮影部で撮影された画像を表示するとともに、前記画像処理部により画像処理が行われた画像を表示する画像処理装置。
請求項２２から２８のいずれか一項に記載の画像処理装置において、
前記検出部は、身に着けている物または保持している物に対して所定の動作を行うことをジェスチャーとして検出し、
前記画像処理部は、前記所定の動作が行われた物に対応する前記画像に含まれる身に着けている物または保持している物に、前記所定の動作と予め対応づけられた画像処理を行う画像処理装置。
請求項２９に記載の画像処理装置において、
前記所定の動作は、前記身に着けている物または保持している物に触わるまたは接近するまたは近接する動作、または前記身に着けている物または保持している物をなぞるまたは撫でるまたは掴むまたは挟む動作であり、
前記画像処理部は、前記所定の動作が行われた物に対応する前記画像に含まれる身に着けている物または保持している物に画像処理を行う画像処理装置。
請求項２９または３０に記載の画像処理装置において、
前記画像処理部は、前記所定の動作が行われた物に対応する前記画像に含まれる身に着けている物または保持している物に、実際の物そのものに前記所定の動作を行ったときに物に現れる変化を表す画像処理を行う画像処理装置。
請求項２４から２６のいずれか一項に記載の画像処理装置において、
前記画像入力部は、衣服または靴または装飾品のうち少なくとも１つが含まれた画像の画像信号を入力し、
前記画像処理部は、前記衣服または靴または装飾品のうち前記ジェスチャーが行われた衣服または靴または装飾品に対応する、前記画像入力部から入力された画像に含まれる衣服または靴または装飾品に画像処理を行う画像処理装置。
請求項３２に記載の画像処理装置において、
前記検出部は、前記画像処理装置の操作者の衣服または靴または装飾品へのジェスチャーを検出し、
前記画像処理部は、前記操作者の操作者の衣服または靴または装飾品のうち前記ジェスチャーが行われた衣服または靴または装飾品に対応する、前記画像入力部から入力された画像に含まれる衣服または靴または装飾品に画像処理を行う画像処理装置。
請求項２７または２８に記載の画像処理装置において、
前記検出部は、前記撮影者の衣服または靴または装飾品へのジェスチャーを検出し、
前記画像処理部は、前記撮影者の衣服または靴または装飾品のうち前記ジェスチャーが行われた衣服または靴または装飾品に対応する、前記撮影部で撮影された画像に含まれる衣服または靴または装飾品に画像処理を行う画像処理装置。
請求項３２から３４に記載の画像処理装置において、
前記画像処理部は、前記ジェスチャーが行われた衣服または靴または装飾品に対応する、前記画像に含まれる衣服または靴または装飾品に、前記ジェスチャーと予め対応づけられた所定の画像処理を行う画像処理装置。
請求項３５に記載の画像処理装置において、
前記所定の動作は、前記衣服または前記靴または前記装飾品に触わるまたは接近するまたは近接する動作であり、
前記画像処理部は、前記所定の動作が行われた衣服または靴または装飾品に対応する、前記画像に含まれる衣服または靴または装飾品に画像処理を行う画像処理装置。
請求項３２から３６のいずれか一項に記載の画像処理装置において、
前記検出部は、前記衣服または靴または装飾品に対するジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる衣服または靴または装飾品の色または大きさまたは形状を変更する画像処理を行う画像処理装置。
請求項３２から３７のいずれか一項に記載の画像処理装置において、
前記検出部は、前記衣服または靴または装飾品に対する着脱のジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる衣服または靴または装飾品を着脱したような画像処理を行う画像処理装置。
請求項３２または３８に記載の画像処理装置において、
前記検出部は、前記衣服または靴または装飾品をなぞるまたは撫でるまたは掴むジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる衣服または靴または装飾品をなぞったまたは撫でたまたは掴んだような画像処理を行う画像処理装置。
請求項３２または３９に記載の画像処理装置において、
前記検出部は、前記衣服または靴または装飾品をめくるまたはまくるジェスチャーを検出し、
前記画像処理部は、前記画像に含まれる衣服または靴または装飾品をめくったまたはまくったような画像処理を行う画像処理装置。
身体へのジェスチャーを検出し、前記ジェスチャーが行われた身体の部位を検出する検出処理と、
身体を含む画像のうち、前記ジェスチャーが行われた身体の部位に対応する前記画像に含まれる身体の部位への画像処理と、
をコンピュータに実行させるプログラム。
身に着けている物または保持している物へのジェスチャーを検出する検出処理と、
身に着けている物または保持している物を含む画像のうち、前記ジェスチャーが行われた身に着けている物または保持している物に対応する、前記画像に含まれる身に着けている物または保持している物への画像処理と、
をコンピュータに実行させるプログラム。