JP2017108462A - 画像処理装置及び画像処理方法並びにプログラム - Google Patents

Abstract

【課題】撮影者を撮影した撮影画像の表示内容をその撮影者自身が確認しながら化粧を施したり、身だしなみを整えたりするような場合に利便性の高い表示を実現できるようにする。
【解決手段】制御部１は、撮像部５により撮影された人物の撮影画像が表示されている状態において、この撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得した後、この撮影画像及び比較対象画像内の人物の特定部位（例えば、目、口、耳など）の位置や大きさをそれぞれ認識し、撮影画像と比較対象画像とを重ね合わせ表示する際に、認識した特定部位の位置及び大きさ同士を表示合わせの基準として重ね合わせてタッチ表示部６に表示する。
【選択図】 図１

Description

本発明は、撮影された人物の画像を表示する画像処理装置及び画像処理方法並びにプログラムに関する。

一般に、鏡を見る人は、「他人からどのように見えるのか」を意識しながら化粧を施したり、身だしなみを整えたりするようにしているが、通常、鏡は、他人から見える姿を左右に反転した像として見る道具であり、左右反転した姿だけを見て化粧を施したり、身だしなみを整えたりすると、カメラ撮影された画像を見たときに、「左右反転していない姿」を見ることになって、バランスが悪く感じたり、自分の意図したイメージと異なって感じたりすることがある。ところで、人の顔は、左右対称に近いほど美しいとされるため、左右の顔が対称に見えるように化粧を施したいという要望があり、また、左右に反転していない「他人から見える姿」を見たいという要望があり、更には、目や口といった部分を拡大して見たいという要望もある。また、従来では、電子カメラを鏡として利用できるようにした技術、例えば、撮影画像の中から撮影者が任意に指定した領域内の画像を鏡のように左右に反転した後に、その反転画像を拡大表示するようにした技術が提案されている（特許文献１参照）。

特開２００５−５７９１号公報

しかしながら、上述した技術にあっては、撮影者の口などを拡大表示するものであり、顔内の異なる部位のバランスを確認しながら化粧をしたり、身だしなみを整えたりする要望に対して十分に満足できるものとはいえなかった。

本発明の課題は、撮影者を撮影した撮影画像の表示内容をその撮影者自身が確認しながら化粧を施したり、身だしなみを整えたりするような場合に利便性の高い表示を実現できるようにすることである。

上述した課題を解決するために本発明の画像処理装置は、
撮像手段により撮影された人物の撮影画像を表示する画像処理装置であって、
前記撮影画像内の人物の特定部位を認識する認識手段と、
前記認識手段により認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する取得手段と、
前記取得手段により取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する表示制御手段と、
を備え、
前記認識手段は、前記比較対象画像内の人物の特定部位を、更に認識し、
前記表示制御手段は、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識手段によりそれぞれ認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
ようにしたことを特徴とする画像処理装置である。

上述した課題を解決するために本発明の画像処理方法は、
撮像手段により撮影された人物の撮影画像を表示する画像処理装置における画像処理方法であって、
前記撮影画像内の人物の特定部位を認識する処理と、
前記認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する処理と、
前記取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する処理と、
を含み、
前記認識する処理において、前記比較対象画像内の人物の特定部位を、更に認識し、
前記表示する処理において、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
ようにしたことを特徴とする画像処理方法である。

上述した課題を解決するために本発明のプログラムは、
撮像手段により撮影された人物の撮影画像を表示する画像処理装置を制御するコンピュータに対して、
前記撮影画像内の人物の特定部位を認識する機能と、
前記認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する機能と、
前記取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する機能と、
を実現させ、
前記認識する機能において、前記比較対象画像内の人物の特定部位を、更に認識し、
前記表示する機能において、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
ようにしたことを特徴とするプログラムである。

本発明によれば、撮影者を撮影した撮影画像の表示内容をその撮影者自身が確認しながら化粧を施したり、身だしなみを整えたりするような場合に利便性の高い表示を実現することができ、実用性の高いものとなる。

画像処理装置として適用した撮像装置（デジタルカメラ）の基本的な構成を示したブロック図。 デジタルカメラの外観斜視図。 （１）〜（４）は、通常表示モード、反転表示モード（全反転表示モード、左反転表示モード、右反転表示モード）を説明するための図。 右反転表示モードにおいて人物の両手を被写体として撮影した場合の表示状態を示した図。 （１）、（２）は、サンプル参照表示モードを説明するための図。 （１）、（２）は、ライブビュー画像の中心がタッチ表示部６の画面の中心線上にない場合にその画像が画面の中心線上に位置するようにセンタ調整する場合を説明するための図。 （１）、（２）は、重ね合わせられる二つの画像の透過率を変えて重ね合わせ表示させる場合の表示状態を説明するための図。 （１）〜（４）は、薄暗い場所や照明の色温度の違いにより元の画像の一部を反転して重ね合わせた際にその画像全体の明るさや色合いが異なってしまう場合に行われるホワイトバランス調整を説明するための図。 鏡表示モードに切り換えられた際に実行開始される鏡表示処理を示したフローチャート。 顔／両手鏡表示処理（図９のステップＡ８）を詳述するためのフローチャート。 図１０の動作に続くフローチャート。 第１実施形態の応用例を説明するための図。 第２実施形態の表示例を示した図。 第２実施形態において他の表示例を示した図。 第２実施形態において、鏡表示モードに切り換えられた際に実行開始される鏡表示処理を示したフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（実施形態１）
先ず、図１〜図１１を参照して本発明の第１実施形態を説明する。
図１は、画像処理装置として適用した撮像装置（デジタルカメラ）の基本的な構成を示したブロック図である。
撮像装置（デジタルカメラ）は、静止画像のほかに動画像の撮影も可能なコンパクトカメラであり、撮像機能、計時機能などの基本的な機能のほか、このカメラを鏡として使用可能とする鏡表示機能（後述する）を備えている。制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこのカメラの全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。

記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図９〜図１１に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリＭ１と、このカメラが動作するために必要となる各種の情報（例えば、フラグなど）を一時的に記憶するワークメモリＭ２、後述する各種のサンプル画像を記憶する画像メモリＭ３などを有している。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。

操作部４は、図示省略したが、撮影可能な状態とする撮影モード、撮影済み画像（保存画像を再生する再生モード、カメラを鏡として使用する鏡表示モードなどの各種の動作モードを切り換えるモード変更キー、撮影開始を指示するレリーズキーのほかに、露出やシャッタスピードなどの撮影条件の設定操作などを行う各種のキーを備えたもので、制御部１は、この操作部４からの入力操作信号に応じた処理として、例えば、モード変更処理、撮影処理、撮影条件の設定処理などを行う。

撮像部５は、図示省略したが、光学レンズからの被写体像が撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮影可能なカメラ部を構成するもので、撮影レンズ、撮像素子、ストロボ、各種のセンサ、アナログ処理部、デジタル処理部を有している。そして、撮像部５は、静止画像のほかに動画像の撮影も可能なもので、光電変換された画像信号（アナログ値の信号）は、色分離やＲＧＢの色成分毎のゲイン調整などが行われた後、デジタル値のデータに変換される。デジタル変換された画像データは、色補間処理（デモザイク処理）が施されてタッチ表示部６にフルカラー表示される。また、本実施形態においては、オートフォーカス処理（ＡＦ処理）、露出調整処理（ＡＥ処理）、オートホワイトバランス調整処理（ＡＷＢ）、画像圧縮処理、画像復元処理なども実行可能となっている。

タッチ表示部６は、表示パネル６ａにタッチパネル６ｂを積層配設した構成で、表示パネル６ａは、例えば、縦横比（横４：縦３）の異なる画面を有した高精細液晶ディスプレイあるいは有機ＥＬ（Electro Luminescence）ディスプレイで、撮影画像（ライブビュー画像）を表示するモニタ画面となったり、撮影済み画像を再生する再生画面となったりする。タッチパネル６ｂは、撮影者の指などでタッチ操作された位置を検知してその座標データを入力するタッチスクリーンを構成するもので、例えば、静電容量方式あるいは抵抗皮膜方式を採用しているが、その他の方式であってもよい。

図２は、デジタルカメラの外観斜視図である。
撮像装置（デジタルカメラ）は、本体筐体１１と表示筐体１２、カメラ筐体１３を有し、本体筐体１１は、その全体形状が略Ｕ字型を成し、そのＵ字内に表示筐体１２及びカメラ筐体１３を収めるようにしている。この場合、Ｕ字を構成する両側直線の端部には、表示筐体１２付のカメラ筐体１３が回転可能に軸支されている。表示筐体１２は、その全体が矩形（直方体）を成し、その一方の表面部には、タッチ表示部６が配設されている。また、表示筐体１２の一方の短辺部は、カメラ筐体１３の一端部（本体筐体１１との軸支部に対してその反対側の端部）に１８０°回転可能に取り付けられている。

このように表示筐体１２がカメラ筐体１３に１８０°回転可能に取り付けられていることによりカメラ筐体１３の表面側に配設されている撮影レンズ部５ａに対して、タッチ表示部６の表示面を同じ方向に向けたり、逆の方向に向けたりすることが可能となっている。ここで、撮影者は、カメラを鏡として使用する鏡表示モードに切り換えた状態において、撮影レンズ部５ａとタッチ表示部６とが同じ方向に向くようにカメラ筐体１３に対して表示筐体１２を回し、更に、本体筐体１１と表示筐体１２とが二本の足となってカメラ全体が立つ状態（スタンディング・スタイル）となるように、本体筐体１１に対して表示筐体１２付のカメラ筐体１３を僅かに開くようにしている。

このようにカメラ全体を立てた状態において、撮影者は、カメラの前に位置して撮影者自身を撮影する撮影動作を開始する場合に、タッチ表示部６にモニタ表示されている自己の撮影画像（ライブビュー画像）を目視確認しながら撮影者の位置などを調整するようにしているが、その際、顔に化粧を行うときには、自己の顔が大きく映るように自身の撮影位置などを調整し、身だしなみ整えるときには、全身が映るように撮影者の位置などを調整し、両手の爪にマニュキュアを塗る場合には、両手が大きく映るように自身の撮影位置などを調整するようにしている。

このようにカメラを鏡として使用する鏡表示モードにおいて、制御部１は、撮像部５によって撮影された撮影者自身の撮影画像（ライブビュー画像）を解析することにより人物の顔が映っているのか、人物の両手が映っているのか、人物の全身が映っているのかを認識し、その認識結果（人物の顔、両手、略全身）に応じて鏡表示処理を行う。この場合、その認識結果が人物の顔であれば、顔を化粧する場合、両手であれば、爪にマニュキュアを塗る場合、略全身であれば、身だしなみを整える場合であると判断する。

また、上述の鏡表示モードにおいては、更に、後で詳述するが、通常表示モード、反転表示モード（全反転表示モード、左反転表示モード、右反転表示モード）、サンプル参照表示モードの中から任意の表示モードをユーザ操作により任意に選択可能となっている。この場合、上述の通常表示モードを除く他の表示モード、つまり、反転表示モード（全反転表示モード、左反転表示モード、右反転表示モード）、サンプル参照表示モードに切り換えられた際に、制御部１は、次のような鏡表示処理（上述した鏡表示機能）を実行するようにしている。

すなわち、制御部１は、撮像部５により撮影された人物の撮影画像（ライブビュー画像）が表示されている状態において、この撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得した後、このライブビュー画像及び比較対象画像内の人物の特定部位（例えば、目、口、耳など）の位置、大きさをそれぞれ認識すると共にライブビュー画像と比較対象画像の明るさや色合いをそれぞれ認識する。そして、認識した特定部位の位置、大きさ、各画像の明るさや色合い同士を表示合わせの基準として、その基準どおりにライブビュー画像と比較対象画像とを重ね合わせて表示すると共に、ライブビュー画像と比較対象画像との透過率を変えて重ね合わせて表示する鏡表示処理を行うようにしている。

図３は、通常表示モード、反転表示モード（全反転表示モード、左反転表示モード、右反転表示モード）を説明するための図である。
すなわち、図３は、撮影レンズ部５ａに対してタッチ表示部６が同じ方向に向くように表示筐体１２を回転させることによりカメラを鏡として使用する鏡表示モードにおいて、ユーザ操作により通常表示モード、全反転表示モード、左反転表示モード、右反転表示モードに切り換えられた場合に、その各表示モード下でのタッチ表示部６の表示状態を示した図である。

図３（１）は、撮像部５に対面している撮影者自身のライブビュー画像がタッチ表示部６上に表示されている表示モード（通常の鏡と同様の通常表示モード）を示した図である。図示の例では、人物（撮影者）の顔を中心として撮影された画像、つまり、頭部の左側にリボンを結んだ女性の顔を中心に撮影されたライブビュー画像の表示状態を示している。このように図３（１）の場合、通常の鏡と同様の表示内容となるために普段から見慣れている画像を見たいときには、この通常表示モードを選択して切り換えるようにすればよい。

図３（２）は、撮影者に対面する他人からライブビュー画像（撮影者の撮影画像）を見た場合の表示状態を示した図である。この場合、図３（１）に示した鏡表示の画像全体を左右方向に１８０°反転してその反転画像を比較対象画像として取得し、この比較対象画像（反転画像）を元の画像（ライブビュー画像）に重ね合わせた場合の表示状態を示している（全反転表示モード）。図中、実線で示した画像は、元の画像（ライブビュー画像）を示し、また、破線で示した画像は、元の画像を反転表示された反転画像（比較対象画像）を示している（以下、同様）。

ここで、上述のようにライブビュー画像とその反転画像とを重ね合わせた状態において、反転画像を示す破線部分（左右の体の歪みによって生じたズレ部分）が実線から外れて見えてしまうということは、顔の左右においてバランスが崩れていることを示している。なお、上述の全反転表示モードにおいては、元の画像（ライブビュー画像）にその反転画像を重ね合わせて表示するようにしているが、元の画像（ライブビュー画像）を表示せずにその反転画像のみを表示するようにしてもよい。このように図３（２）の場合、ライブビュー画像全体が反転されて重ね合わせ表示されるために、撮影者自身が他人からどのように見えているかを確認したいときには、この全反転表示モードを選択して切り換えるようにすればよい。

図３（３）は、図３（１）で示した鏡表示のライブビュー画像が表示されている状態において、更に、人物（撮影者）の顔をその中心線で二等分し、その右半分の画像部分を取得した後、その右半分の画像部分を左右方向に１８０°に反転してその反転画像を比較対象画像として取得し、この比較対象画像（反転画像）をその左半分の画像部分（元の画像）に重ね合わせた場合の表示状態を示している（右反転表示モード）。このように図３（３）の場合、右半分の画像部分が反転されて重ね合わせ表示されるため、顔の右側の化粧に左側の顔を合わせたいときには、この右反転表示モードを選択して切り換えるようにすればよい。

同様に、図３（４）は、図３（１）で示した鏡表示のライブビュー画像が表示されている状態において、人物（撮影者）の顔の左半分の画像部分を取得した後、その左半分の画像部分を左右方向に１８０°に反転してその反転した画像を比較対象画像として取得し、この比較対象画像（反転画像）をその右半分の画像部分（元の画像）に重ね合わせた場合の表示状態（左反転表示モード）を示した図である。このように図３（４）の場合、左半分の画像部分が反転されて重ね合わせ表示されるため、顔の左側の化粧に右側の顔を合わせたいときには、この左反転表示モードを選択して切り換えるようにすればよい。

図４は、右反転表示モードにおいて人物の両手を被写体として撮影した場合の表示状態を示した図である。
撮影者は、自身の両手を開いてその爪側を撮像部５に向けて撮影を開始させると、撮影された両手のライブビュー画像（撮影画像）がタッチ表示部６上に表示される。図４は、両手が表示されている状態において、その右手の画像部分を左右方向に１８０°反転し、その反転画像を元の画像（左手の画像部分）に重ね合わせた場合の表示状態を示した図である。この場合、右手の各指に塗られているマニュキュアを左手の各指にも施すようなときに、この右反転表示モードを選択して切り換えるようにすればよい。なお、図中、＊は、右手の各指に塗られたマニュキュアによるペイント部分（星形の図形）を例示している（以下、同様）。

図５は、サンプル参照表示モードを説明するための図である。
撮像部５により撮影された撮影者自身のライブビュー画像がタッチ表示部６上に表示されている状態において、上述の右反転モードや左反転モードでは、ライブビュー画像の一部を取得して比較対象画像として反転し、その反転画像をライブビュー画像に重ね合わせるようにしたが、このサンプル参照表示モードでは、ライブビュー画像以外の画像（例えば、過去の自分自身の顔画像、他人（例えば、有名人）の顔画像など）をサンプル画像（比較対象画像）として画像メモリＭ３から読み出し取得し、このサンプル画像をライブビュー画像に重ね合わせて表示するようにした表示モードである。

すなわち、図５（１）は、画像メモリＭ３に記憶されている各種の画像の中から任意に選択したサンプル画像を読み出し取得して表示させた場合を例示した図である。図５（２）は、撮影者の顔を中心として撮影したライブビュー画像にサンプル画像を重ね合わせた場合の表示状態を示した図である。この場合、ライブビュー画像とサンプル画像とは、その画像サイズや顔の大きさが異なるためにサンプル画像をライブビュー画像に合わせた大きさに変更（拡大／縮小）する処理を行ってから両方の画像を重ね合わせるようにしている。その際、上述した場合と同様に、ライブビュー画像及びサンプル画像（比較対象画像）内の人物の特定部位をそれぞれ認識し、その特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせ表示すると共にライブビュー画像とサンプル画像との透過率を変えて重ね合わせ表示するようにしている。

図６は、ライブビュー画像の中心線がタッチ表示部６の画面の中心線上にない場合にその画像が画面の中心線上に位置するようにセンタ調整する場合を説明するための図である。
図６（１）は、ライブビュー画像（顔画像）が画面の中心線上にない場合を示した図で、図示の例において、人物の顔の鼻筋を通る仮想線を顔の中心線とすると、画面の中心線ＣＬ１に対してライブビュー画像（顔画像）の中心線ＣＬ２は、図中左側に大きくずれている場合の表示状態を示した図である。図６（２）は、画像解析によりライブビュー画像（顔画像）の中心線ＣＬ２のその位置を検出して、そのライブビュー画像（顔画像）の中心線ＣＬ２の位置が画面の中心線ＣＬ１に一致するようにセンタ調整した場合の表示状態を示した図である。

図７は、重ね合わせられる二つの画像の透過率を変えて重ね合わせ表示させる場合の表示状態を説明するための図である。
図７（１）は、図３（４）に示した左反転表示モードにおいて、その左反転画像の透過率を“０％”とした場合である。図７（２）は、図３（４）に示した左反転表示モードにおいて、その左反転画像の透過率を“５０％”とした場合の表示状態を示している。本実施形態においては、画像の透過率をユーザ操作により任意に設定可能（調整可能）としている。

図８は、薄暗い場所や照明の色温度の違いにより元の画像の一部を反転して重ね合わせた際にその画像全体の明るさや色合いが異なってしまう場合に行われるホワイトバランス調整を説明するための図である。
図８（１）は、図３（４）に示した左反転表示モードにおいて、元の画像（ライブビュー画像）はやや明るいが、例えば、色温度の違う照明下で左反転の画像を重ね合わせると、重ね合わせ部分が濃くなり、全体画像の色味が変わった場合の表示状態を示した図である。

この場合、ライブビュー画像及び比較対象画像の明るさをそれぞれ認識し、その明るさや色合いを表示合わせの基準としてその基準どおりにライブビュー画像及び比較対象画像の明るさや色合いをホワイトバランス調整して重ね合わせ表示するようにしている。図８（２）は、左右どちらの明るさや色合いも不自然とならないように規定値に合わせてホワイトバランス調整を行った場合の表示状態を示した図である。図８（３）は、明るい方に合わせてホワイトバランス調整を行った場合の表示状態を示した図である。図８（４）は、暗い方に合わせてホワイトバランス調整を行った場合の表示状態を示した図である。

次に、第１実施形態におけるカメラの動作概念を図９〜図１１に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図９は、カメラの全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図９のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図９は、鏡表示モードに切り換えられた際に実行開始される鏡表示処理を示したフローチャートである。
先ず、撮影者は、図２に示すように撮影レンズ部５ａとタッチ表示部６とが同じ方向に向くように表示筐体１２を回し、更に、本体筐体１１と表示筐体１２とが二本の足となってカメラ全体が立つように本体筐体１１に対して表示筐体１２を開いて机などに載置する。そして、撮影可能な撮影モードにおいて鏡表示モードに切り換えると、制御部１は、撮像部５から撮影画像（ライブビュー画像）を取得する動作を開始すると共に（ステップＡ１）、このライブビュー画像をタッチ表示部６に表示させる表示動作を開始し（ステップＡ２）、更に、このライブビュー画像を解析して被写体（人物）を認識する動作を開始する（ステップＡ３）。

そして、重ね合わせ表示時の透過率を変更する場合にはその設定を受け付ける（ステップＡ４）。ここで、ライブビュー画像に重ね合わせ表示される比較対象画像（上述の反転画像あるいはサンプル画像）に対してその透過率として、例えば、６０％、５０％、３０％などを設定するが、どのような値を設定するかは任意である。なお、本実施形態においては、ライブビュー画像の透過率を０％としているが、比較対象画像のほかにライブビュー画像の透過率も任意に設定可能としてもよい。次に、重ね合わせ表示時の画像全体の明るさや色合い（色味）を変更する場合にはその設定を受け付ける（ステップＡ５）。ここで、図８（２）に示すように左右どちらの明るさや色合いも不自然とならないように規定値に合わせる場合、図８（３）に示すように明るい方に合わせる場合、図８（４）に示すように暗い方に合わせる場合の中から任意の方法を選択して設定する。

この状態において、上述の被写体（人物）認識の結果、顔あるいは両手を認識したかを調べたり（ステップＡ６）、全身を認識したかを調べたりする（ステップＡ７）。ここで、顔／両手、全身のいずれでもなければ（ステップＡ７でＮＯ）、上述のステップＡ６に戻るが、顔あるいは両手を認識したときには（ステップＡ６でＹＥＳ）、後述する顔／両手鏡表示処理の実行に移る（ステップＡ８）。また、全身を認識したときには（ステップＡ７でＹＥＳ）、後述する全身鏡表示処理の実行に移る（ステップＡ９）。その後、鏡表示モードが解除されたかを調べ（ステップＡ１０）、鏡表示モードが解除されなければ（ステップＡ１０でＮＯ）、上述のステップＡ６に戻るが、鏡表示モードが解除されたときには（ステップＡ１０でＹＥＳ）、この図９のフローから抜ける。

図１０及び図１１は、顔／両手鏡表示処理（図９のステップＡ８）を詳述するためのフローチャートである。
先ず、制御部１は、ユーザ操作により表示モードの変更が指示されたかを調べる（図１０のステップＢ１）。すなわち、通常表示モード、反転表示モード（全反転表示モード、左反転表示モード、右反転表示モード）、サンプル参照表示モードのうち、現在設定されている表示モードから他の表示モードへ変更すべきことが指示されたかを調べ、その変更が指示されたときには、ユーザ操作により任意の表示モードを選択設定する処理を行う（ステップＢ２）。

そして、現在の表示モードは、全反転表示モードであるかを調べたり（ステップＢ３）、左反転表示モードあるいは右反転表示モードであるかを調べたり（ステップＢ５）、サンプル参照表示モードであるかを調べたりする（図１１のステップＢ１３）。いま、いずれの表示モードでなければ（ステップＢ１３でＮＯ）、通常表示モードに設定されている場合であるからそのまま図１０及び図１１のフローから抜ける。この場合、撮像部５から取得した撮影画像（ライブビュー画像）がタッチ表示部６に表示されているので、この通常表示モードにおいては、通常の鏡と同様の表示内容となっている。

現在の表示モードが全反転表示モードであれば（ステップＢ３でＹＥＳ）、ライブビュー画像の全体を左右方向に１８０°反転してその全反転画像を比較対象画像として取得する（ステップＢ４）。そして、ライブビュー画像及び比較対象画像内においてその人物の特定部位（例えば、目、口、耳など）の位置をそれぞれ認識する画像認識処理を行うと共に（ステップＢ８）、ライブビュー画像及び比較対象画像をそれぞれ認識することによりその明るさや色合いを検出する（ステップＢ９）。更に、ライブビュー画像を認識することによりその中心線（センタ）の検出を行う（ステップＢ１０）。この場合、例えば、ライブビュー画像が図３に示すように顔を中心とした顔画像であれば、鼻筋を通る線をライブビュー画像（顔画像）の中心線として検出するが、図４に示すように両手の画像であれば、その両手の間の中心を通る線を中心線として検出する。これによって認識した特定部位の位置、各画像の明るさや色合い、センタ位置を表示合わせの基準として決定する（ステップＢ１１）。

そして、この比較対象画像（全反転画像）をライブビュー画像に重ね合わせ表示させるが、その際に、表示合わせの基準のどおりに重ね合わせると共に、ライブビュー画像と比較対象画像との透過率や色味を変えてタッチ表示部６のセンタ位置に重ね合わせ表示させる（ステップＢ１２）。この場合、各画像同士の特定部位の位置が一致するように位置調整を行うと共に、上述の設定透過率及び色味に応じてライブビュー画像及び反転画像に対して透過率調整及びホワイトバランス調整を行い、更に、各画像の中心線が画面の中心線に一致するように各画像の表示位置を移動させることによりセンタ位置への調整を行う。このような各種の調整を行いながら各画像を重ね合わせ表示を行った後は、図１０及び図１１のフローから抜け、以下、全反転表示モード下では上述の表示処理を繰り返す。

現在の表示モードが左反転表示モードあるいは右反転表示モードであれば（ステップＢ５でＹＥＳ）、ライブビュー画像から指定画像部分、つまり、左反転表示モードであれば、左半分の画像部分、右反転表示モードであれば、右半分の画像部分をライブビュー画像から比較対象画像として取得する（ステップＢ６）。そして、この比較対象画像（左半分の画像部分あるいは右半分の画像部分）を左右方向に１８０°反転する（ステップＢ７）。以下、上述の場合と同様に、ライブビュー画像及び比較対象画像内の人物の特定部位（例えば、目、口、耳など）の位置をそれぞれ検出すると共に（ステップＢ８）、ライブビュー画像及び比較対象画像の明るさや色合いを検出する（ステップＢ９）。更に、ライブビュー画像の中心線（センタ）を検出する（ステップＢ１０）。

これによって検出した特定部位の位置、各画像の明るさや色合い、センタ位置を表示合わせの基準として決定（ステップＢ１１）した後、比較対象画像（反転画像：左半分の画像部分あるいは右半分の画像部分）をライブビュー画像に重ね合わせ表示させる（ステップＢ１２）。この場合、各画像同士の特定部位の位置が一致するように位置調整を行うと共に、上述の設定透過率及び色味に応じてライブビュー画像及び反転画像に対して透過率調整及びホワイトバランス調整を行い、更に、各画像の中心線が画面の中心線に一致するように各画像の表示位置を移動させることによりセンタ位置への調整を行う。このような各種の調整を行いながら重ね合わせ表示を行った後は、図１０及び図１１のフローから抜け、以下、左反転表示モードあるいは右反転表示モード下では上述の表示処理を繰り返す。

一方、現在の表示モードがサンプル参照表示モードであれば（図１１のステップＢ１３でＹＥＳ）、サンプル画像を取得済みであるかを調べるが（ステップＢ１４）、最初は取得していないので（ステップＢ１４でＮＯ）、画像メモリＭ３から各種のサンプル画像を読み出し取得してそのサンプル画像の一覧を表示させる（ステップＢ１５）。この場合、サンプル画像としては過去の自分自身の顔画像や他人の顔画像などであり、その中から任意のサンプル画像をユーザ操作により選択されると（ステップＢ１６）、その選択されたサンプル画像を比較対象画像として取得する（ステップＢ１７）。

次に、ライブビュー画像及び比較対象画像（サンプル画像）内の人物の特定部位（例えば、目、口、耳など）の位置及び大きさをそれぞれ認識する画像認識処理を行うと共に（ステップＢ１８）、ライブビュー画像及び比較対象画像（サンプル画像）の明るさや色合いを検出する（ステップＢ１９）。更に、ライブビュー画像の中心線（センタ）の検出を行う（ステップＢ２０）。これによって検出した特定部位の位置、各画像の明るさや色合い、センタ位置を表示合わせの基準として決定（ステップＢ２１）した後、比較対象画像（サンプル画像）をライブビュー画像に重ね合わせ表示させる（ステップＢ２２）。

この場合、各画像同士の特定部位の位置が一致するように位置調整を行うと共に、上述の設定透過率及び色味に応じてライブビュー画像及び反転画像に対して透過率調整及びホワイトバランス調整を行い、更に、各画像の中心線が画面の中心線に一致するように各画像の表示位置を移動させることによりセンタ位置への調整を行う。このような各種の調整を行いながら重ね合わせ表示を行った後は、図１０及び図１１のフローから抜け、以下、サンプル参照表示モード下では上述の表示処理を繰り返す。

なお、全身鏡表示処理（図９のステップＡ９）においても基本的には、図１０及び図１１のフローチャートと同様であるため、以下、全身鏡表示処理の説明については省略するものとするが、全身鏡表示処理では、左反転／右反転表示モードを省略し、通常表示モード、全反転表示モード、サンプル表示モードの切り換えを可能とするようにしてもよい。また、全身鏡表示処理において人物の画像の中心線とは、鼻筋や背筋を通る線を中心線とし、また、特定部位としては、目、鼻などのほか、頭、肩などであってもよい。

以上のように、第１実施形態において制御部１は、撮像部５により撮影された人物の撮影画像がタッチ表示部６に表示されている状態において、この撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得した後、この撮影画像及び比較対象画像内の人物の特定部位をそれぞれ認識し、撮影画像と比較対象画像とを重ね合わせ表示する際に、認識した特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせ表示すると共に撮影画像と比較対象画像との透過率を変えて重ね合わせ表示するようにしたので、撮影者にあっては、自己の撮影画像を目視確認しながら化粧やマニュキュアを施したり、身だしなみを整えたりするような場合に、比較対象画像を参照してそのとおりに化粧やマニュキュアを施したり、身だしなみを整えたりすることができ、利便性の高い表示を実現することができ、実用性の高いものとなる。

撮影画像及び比較対象画像内の人物の特定部位の位置や大きさをそれぞれ認識し、その特定部位の位置や大きさを表示合わせの基準として重ね合わせ表示するようにしたので、両者の特定部位同士を一致させることによって各画像の対応関係が明瞭となる重ね合わせ表示が可能となる。

人物の撮影画像は、ライブビュー画像であるので、撮影者にあっては自己の現在の状態をリアルタイムに目視確認しながら化粧やマニュキュアを施したり、身だしなみを整えたりすることができる。

撮影画像の左右を反転した画像を比較対象画像としてその撮影画像に重ね合わせるようにしたので、左右で同じような化粧やマニュキュアを施したり、全身の左右のバランスを整えたりする場合に便利なものとなる。

撮影画像からその一部の画像部分を取得すると共に、その一部の画像部分の左右を反転した画像を比較対象画像としてその撮影画像に重ね合わせるようにしたので、左右で同じような化粧やマニュキュアを施したり、全身の左右のバランスを整えたりする場合に、その目的とする部分が明瞭となると共に、表示全体が見やすいものとなる。

撮影画像からその一部の画像部分を取得すると共に、その一部の画像部分の左右を反転した画像を比較対象画像としてその撮影画像に重ね合わせる場合に、人物の顔を撮影した撮影画像から右半分の顔画像を取得したときには、その右半分の顔画像の左右を反転した比較対象画像を、撮影画像内の左半分の顔画像部分に重ね合わせ表示し、また、左半分の顔画像を取得したときには、その左半分の顔画像の左右を反転した比較対象画像を、撮影画像内の右半分の顔画像部分に重ね合わせ表示するようにしたので、顔の右側（左側）に施した化粧を左側（右側）の顔にも同様に施したいときなどに便利なものとなる。

撮影画像からその一部の画像部分を取得すると共に、その一部の画像部分の左右を反転した画像を比較対象画像としてその撮影画像に重ね合わせる場合に、撮影画像から右手の画像部分を取得したときには、その右手の画像の左右を反転した比較対象画像を、撮影画像内の左手の画像部分に重ね合わせ表示し、撮影画像から左手の画像部分を取得したときには、その左手の画像の左右を反転した比較対象画像を、撮影画像内の右手の画像部分に重ね合わせて表示するようにしたので、右手（左手）の爪に施したマニュキュアを左手（右手）の爪にも同様に施したいときなどに便利なものとなる。

人物を撮影した撮影画像とは異なる他の画像（サンプル画像）を比較対象画像として取得するようにしたので、撮影画像とサンプル画像との重ね合わせ表示により自己を撮影した画像に他人（例えば、有名人など）の画像を重ね合わせることができ、有名人などの化粧、マニュキュア、服装などを真似したり、参照したりする際に便利なものとなる。

サンプル画像を自己の過去の画像とするようにしたので、過去の自分の化粧、マニュキュア、服装などに合わせたり、参照したりする際に便利なものとなる。

撮影画像及び比較対象画像の明るさや色合いをそれぞれ認識し、その明るさや色合いを表示合わせの基準としてその基準どおりに撮影画像及び比較対象画像の明るさや色合いを調整して重ね合わせ表示するようにしたので、例えば、図８（２）に示すように左右どちらの明るさや色合いも不自然とならないように規定値に合わせたり、図８（３）に示すように明るい方に合わせたり、図８（４）に示すように暗い方に合わせたりすることができる。

撮影画像の中心線（例えば、顔の鼻筋を通る仮想線）の位置を認識し、撮影画像と比較対象画像とを重ね合わせ表示する場合に、撮影画像の中心線に応じて撮影画像の表示位置を調整するようにしたので、カメラに対して撮影者の位置がずれていても、画面の中心に画像を配置表示させることができ、化粧を施したり身だしなみを整えたりする場合に便利なものとなる。

撮影画像と比較対象画像とを重ね合わせて表示させる場合の透過率を設定可能とし、その設定透過率に応じて撮影画像と比較対象画像との透過率を変えて重ね合わせ表示するようにしたので、撮影者にとって見易い重ね合わせ表示が可能となる。この場合、撮影画像と比較対象画像との透過率をそれぞれ個別に設定するようにすれば、例えば、撮影画像の透過率を略８０％とし、比較対象画像を略２０％とすれば、比較対象画像を明瞭に確認することができる。

なお、上述した第１実施形態においては、撮影画像の中心線の位置に応じて撮影画像の表示位置を調整するようにしたが、撮影画像の中心線の位置に限らず、その中心線の傾き角度を検出し、この傾き角度に応じて撮影画像の表示向きを調整するようにしてもよい。図１２は、図３（１）に示した鏡表示の撮影画像が表示されている状態において、撮影画像（顔画像）の中心線ＣＬ２は、画面の中心線ＣＬ１に対して角度αだけ傾いている場合の表示状態を示した図である。

このように画像が傾いている場合には重ね合わせ表示時に、その傾き角度αが“０°”となるように、つまり、撮影画像（顔画像）の中心線ＣＬ２が画面の中心線ＣＬ１に一致するように撮影画像の表示向きを調整するようにしてもよい。なお、傾き角度αを自動調整する場合に限らず、ユーザ操作により任意に調整可能としてもよい。このように自動調整あるいは手動調整により傾き角度αを調整するようにすれば、例えば、カメラを水平に置けない場合や撮影者が画角内に水平に入ることができない場合などの事情でも撮影者にとって見易い重ね合わせ表示が可能となる。なお、意図があって画像を傾けて映している場合もあるので、画像が傾いていることを検出した際にメッセージを表示させ、撮影者に角度調整処理を行うか否かを問い合わせ、その実行が指示された際に、角度調整処理を行うようにしてもよい。

一方、傾き角度αの調整（補正）に限らず、撮影者の希望する表示向きとなるように撮影画像を回転表示させるようにしてもよい。すなわち、撮影画像に比較対象画像を重ね合わせて表示させる場合の傾き角度αをユーザ操作により任意に設定可能とし、その設定傾き角度に応じて撮影画像の表示向きを調整して重ね合わせ表示するようにしてもよい。これによって撮影者の希望に合った重ね合わせ表示が可能となる。

また、撮影画像に比較対象画像を重ね合わせて表示させる場合の倍率をユーザ操作に応じて任意に設定可能とし、その設定倍率に応じた大きさで撮影画像と比較対象画像とを重ね合わせ表示するようにしてもよい。この場合、デジタルズームと呼ばれる画像拡大処理によって撮影画像、比較対象画像の倍率を設定するようにしてもよい。このように撮影画像に比較対象画像を重ね合わせて表示させる場合の倍率を設定可能とすれば、撮影者の希望に合った重ね合わせ表示が可能となる。

上述した第１実施形態においては、撮影画像に比較対象画像を重ね合わせ表示するに先立って、重ね合わせ表示時の透過率を設定したり、重ね合わせ表示時の色味を設定するようにしたが、重ね合わせ表示中に透過率を任意に変更したり、色味を任意に変更したり、倍率を任意に変更したりするようにしてもよい。なお、重ね合わせ表示中に透過率を変更することにより、撮影画像、比較対象画のいずれかを非表示にすることができる。例えば、撮影画像の透過率を略１００％とし、比較対象画像の透過率を略０％とすれば、比較対象画像だけを鮮明に表示させることができ、逆に、撮影画像の透過率を略０％とし、比較対象画像の透過率を略１００％とすれば、撮影画像だけを明瞭に確認することができる。このように透過率を変更することにより一方の画像を略非表示の状態とすることができ、利便性が更に向上する。

上述した第１実施形態においては、顔画像の左半分あるいは右半分の画像部分を比較対象画像としたが、左半分あるいは右半分に限らず、撮影画像の一部の画像部分として、例えば、右目の画像部分あるいは左目の画像部分を比較対象画像とするようにしてもよい。

上述した第１実施形態においては、撮影画像及び比較対象画像内の人物の特定部位の位置や大きさをそれぞれ認識するようにしたが、そのほかに特定部位の形状や傾き角度などを認識するようにしてもよい。
上述した第１実施形態においては、被写体（人物）を認識することによりその顔あるいは両手を認識したかを調べたり、全身を認識したかを調べたりするようにしたが、このような表示処理対象の認識は行わず、ユーザが表示処理対象を予め指定するようにしてもよい。

（第２実施形態）
以下、この発明の第２実施形態について図１３〜図１５を参照して説明する。
なお、上述した第１実施形態においては、撮影画像と比較対象画像とを重ね合わせて表示するようにしたが、この第２実施形態においては、人物を撮影した撮影画像の任意の部位が指定されると、その指定部位と左右対称関係にある他の部位を抽出して拡大表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図１３は、第２実施形態の表示例を示した図である。
図１３（１）は、人物を撮影した撮影画像（ライブビュー画像）の任意の部位がタッチ指定された場合の様子を示した図である。すなわち、図３（１）で示した通常表示モードにおいて、その人物（撮影者）の右目がタッチ指定された場合の例示した図である。制御部１は、図１３（１）に示したように人物（撮影者）の任意の部位がタッチされると、そのタッチ位置に応じてライブビュー画像から指定部位（右目部分）の画像部分を抽出すると共に、この指定部位と左右対称関係にある部位（左目部分）を特定し、この特定部位（対称部位）の画像部分をライブビュー画像から抽出するようにしている。

図１３（２）は、ライブビュー画像から抽出した指定部位（右目部分）の画像部分と対称部位（左目部分）の画像部分とを所定のサイズに拡大して横並びに並列表示された状態を示している。なお、図示の例においては、右目の方が左目に比べて細いので、左目に合わせるようにアイラインを太く描くと良いことが分かる。なお、図１３においては、ライブビュー画像から指定部位の画像部分を抽出するほかに、対称部位の画像部分を抽出した場合を例示したが、ライブビュー画像以外の他の画像（サンプル画像）が抽出対象として選択されていれば、対称部位の画像部分は、このサンプル画像から抽出される。

図１４は、第２実施形態において他の表示例を示した図である。
図１４（１）は、両手を撮影した撮影画像の任意の部位がタッチ指定された場合の様子を示した図である。この撮影画像は、撮影後にレビュー表示された画像であり、制御部１は、この撮影画像内の任意の部位（右手の人差し指）がタッチされると、そのタッチ位置に応じて撮影画像から指定部位（右手の人差し指）の画像部分を抽出すると共に、この指定部位と左右対称関係にある部位（左手の人差し指）を特定し、この特定部位（対称部位）の画像部分を撮影画像から抽出するようにしている。図１４（２）は、撮影画像から抽出した指定部位（右手の人差し指）の画像部分と対称部位（左手の人差し指）の画像部分とを所定のサイズに拡大して横並びに並列表示された状態を示している。なお、図示の例は、右手人差し指の爪に施したマニュキュアを左手人差し指の爪にも同様に施す場合である。なお、この場合においても撮影画像以外の他の画像（サンプル画像）が抽出対象として選択されていれば、対称部位の画像部分は、このサンプル画像から抽出される。

図１５は、第２実施形態において、鏡表示モードに切り換えられた際に実行開始される鏡表示処理を示したフローチャートである。
先ず、制御部１は、撮像部５から撮影画像（ライブビュー画像）を取得する動作を開始すると共に（ステップＣ１）、このライブビュー画像をタッチ表示部６に表示させる表示動作を開始する（ステップＣ２）。更に、このライブビュー画像を解析して被写体（人物）を認識する動作を開始する（ステップＣ３）。そして、ライブビュー画像から対称部位を抽出するのか、他の画像（サンプル画像）から対称部位を抽出するのかを問い合わせるメッセージを表示させ、それに応じて抽出対象を選択する操作が行われると（ステップＣ４）、選択された抽出対象は、他の画像（サンプル画像）であるかを判別する（ステップＣ５）。

いま、ライブビュー画像が選択されたときには（ステップＣ５でＮＯ）、次のステップＣ９に移り、タッチ表示部６へのタッチ有無を判別するが、他の画像（サンプル画像）が選択されたときには（ステップＣ５でＹＥＳ）、サンプル画像の一覧を表示させる（ステップＣ６）。この場合、サンプル画像としては過去の自分自身の顔画像や他人の顔画像などであり、その中から任意のサンプル画像をユーザ操作により選択されると（ステップＣ７）、その選択されたサンプル画像を取得（ステップＣ８）した後、次のステップＣ９に移り、タッチ表示部６へのタッチ有無を判別する。

タッチ表示部６へのタッチ操作が行われなければ（ステップＣ９でＮＯ）、タッチ操作が行われるまで待ち状態となるが、タッチ操作が行われたときには（ステップＣ９でＹＥＳ）、そのタッチ位置は人物のどの部位であるか、つまり、顔の部分あるいは手の部分であるかを調べる（ステップＣ１０）。ここで、顔あるいは手以外の部分へのタッチ操作であれば（ステップＣ１０でＮＯ）、そのタッチ操作を無効とするために上述のステップＣ９に戻るが、顔あるいは手へのタッチ操作であれば（ステップＣ１０でＹＥＳ）、タッチされた位置の部位を指定部位として特定すると共に（ステップＣ１１）、上述の抽出対象（ライブビュー画像／サンプル画像）を参照して、この指定部位と左右対称関係にある対称部位を特定する（ステップＣ１２）。

ここで、顔を撮影した場合には鼻筋を通る中心線、両手を撮影した場合には両手の間の中心線を基準として、この中心線と指定部位との距離を求めると共に、この距離に基づいて左右対称となる位置を求め、この位置にある部位を対称部位として特定するようにしているが、このような場合に限らず、例えば、図１３（１）に示すように右目がタッチ指定された場合には、画像解析により左目を対称部位として特定してその左目の画像部分を抽出したり、図１４（１）に示すように右手の人差し指がタッチ指定された場合には、画像解析により左手の人差し指を対称部位として特定してその左手の人差し指の画像部分を抽出したりするようにしてもよい

そして、タッチ表示部６に表示されているライブビュー画像を消去する（ステップＣ１３）。この状態において、ライブビュー画像から指定部位の画像部分を抽出すると共に上述の抽出対象（ライブビュー画像／サンプル画像）から対称部位の画像部分を抽出し、この指定部位の画像部分と対称部位の画像部分を所定の大きさ（例えば、３倍の大きさ）にそれぞれ拡大する処理を行う（ステップＣ１４）。そして、拡大した指定部位の画像部分と対称部位の画像部分とを横並びに並列表示させる（ステップＣ１５）。以下、鏡表示モードが解除されたかを調べ（ステップＣ１６）、鏡表示モードが解除されなければ（ステップＣ１６でＮＯ）、指定部位の画像部分と対称部位の画像部分を抽出拡大して並列表示させる処理が繰り返される（ステップＣ１４、Ｃ１５）。なお、鏡表示モードが解除されたときには（ステップＣ１６でＹＥＳ）、この図１５のフローから抜ける。

以上のように、第２実施形態において制御部１は、撮像部５により撮影された人物の撮影画像が表示されている状態において、この撮影画像内の人物の任意の部位が指定されると、その指定部位に対して左右対称の関係にある対称部位の画像部分を取得し、指定部位の画像部分と対称部位の画像部分をそれぞれ拡大して並列して表示するようにしたので、撮影者（ユーザ）にあっては、左右で同じような化粧やマニュキュアを施す場合に目的とする部分だけが明瞭となり、化粧やマニュキュアへの集中に役立つなど、利便性の高い表示を実現することができ、実用性の高いものとなる。

撮像部５により撮影された人物の撮影画像がタッチ表示部６に表示されている状態において、この撮影画像内の人物の任意の部位をタッチ指定するようにしたので、目的の部位を的確に指定することができる。

人物の撮影画像は、ライブビュー画像であり、このライブビュー画像から指定部位に対して左右対称の関係にある対称部位の画像部分を取得するようにしたので、例えば、右手（左手）の爪に施したマニュキュアを左手（右手）の爪にも同様に施したいときなどに便利なものとなる。

撮影画像とは異なる他の画像（サンプル画像）から対称部位の画像部分を取得するようにしたので、例えば、有名人の化粧、マニュキュアなどを真似する際に便利なものとなる。

サンプル画像を自己の過去の画像とするようにしたので、過去の自分の化粧、マニュキュアなどを真似する際などに便利なものとなる。

なお、上述した第２実施形態においては、指定部位の画像部分と対称部位の画像部分を所定の大きさ（例えば、３倍の大きさ）にそれぞれ拡大するようにしたが、指定部位の画像部分と対称部位の画像部分に対応してその倍率をそれぞれ任意に設定可能とし、この設定倍率に応じて対応する指定部位及び対称部位の画像部分をそれぞれ拡大するようにしてもよい。この場合、デジタルズームと呼ばれる画像拡大処理によって指定部位及び対称部位の画像部分の倍率を設定するようにしてもよい。このように指定部位及び対称部位の画像部分の倍率を設定可能とすれば、指定部位と対称部位との拡大サイズをユーザの意向に応じて異なるように設定することもでき、利便性を更に高めることが期待できる。

上述した第２実施形態においては、人物の任意の部位をタッチ指定する場合に顔あるいは手以外の部分へのタッチ操作を無効としたが、その他の部位として例えば、左肩、右足などがタッチ指定された場合にそのタッチ操作を有効としてもよい。この場合、左肩が指定された場合には右手、右足が指定された場合には左足が対称部位として特定される。

上述した第２実施形態においては、指定部位の画像部分と対称部位の画像部分の並列表示中での画像の調整については言及しなかったが、例えば、その並列表示中に指定部位、対称部位に対応してその倍率をユーザ操作により任意に変更したり、表示位置、色合いなどを任意に変更したりするようにしてもよい。

また、上述した第２実施形態においては、指定部位の画像部分と対称部位の画像部分を横並びに並列表示するようにしたが、縦並びに並列表示するようにしてもよい。また、横並びに、縦並びなどの並列表示の形態をユーザ操作で任意に設定可能としてもよい。また、第１実施形態と同様に、指定部位の画像部分と対称部位の画像部分の透過率を変えて重ね合わせ表示するようにしてもよい。更に、撮影画像（ライブビュー画像）を消去せずに、そのまま表示するようにしてもよい。この場合、指定部位と対称部位の拡大画像と、撮影画像（ライブビュー画像）とを並列表示したり、重ね合わせ表示したりするようにしてもよい。

上述した各実施形態においては、人物の撮影画像としてライブビュー画像を例示したかが、所定のタイミング（例えば、１秒）毎に撮影した静止画像を撮影画像としてもよい。

上述した各実施形態においては、他の画像（サンプル画像）を画像メモリＭ３から読み出し取得するようにしたが、無線通信部（図示省略）を設け、公衆通信網（無線通信網、インターネット）を介してコンテンツ配信管理装置（図示省略）に接続してサンプル画像を受信取得するようにしてもよい。

また、上述した各実施形態においては、画像処理装置として撮像装置（デジタルカメラ）に適用した場合を示したが、カメラに限らず、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・音楽プレイヤー、タブレット端末装置、携帯電話機、電子ゲームなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像手段により撮影された人物の撮影画像を表示する画像処理装置であって、
前記撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得する取得手段と、
前記撮影画像及び前記比較対象画像内の人物の特定部位をそれぞれ認識する認識手段と、
前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識手段によりそれぞれ認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する表示制御手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記認識手段は、前記撮影画像及び前記比較対象画像内の人物の特定部位を認識する場合に、その特定部位の位置・大きさ・形状・傾き角度のうち、少なくともそのいずれかをそれぞれ認識し、
前記表示制御手段は、前記認識手段により認識された特定部位の位置・大きさ・形状・傾き角度のうち、少なくともそのいずれかを表示合わせの基準としてその基準どおりに重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項３）
請求項３に記載の発明は、請求項１あるいは請求項２に記載の画像処理装置において、 前記撮像手段により撮影された人物の撮影画像は、ライブビュー画像である、
ことを特徴とする画像処理装置である。
（請求項４）
請求項４に記載の発明は、請求項１〜請求項３のいずれかに記載の画像処理装置において、
前記取得手段は、前記撮影画像の左右を反転した画像を比較対象画像として取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項５）
請求項５に記載の発明は、請求項１〜請求項４のいずれかに記載の画像処理装置において、
前記取得手段は、前記撮影画像からその一部の画像部分を取得すると共に、その画像部分の左右を反転した画像を比較対象画像として取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項６）
請求項６に記載の発明は、請求項５記載の画像処理装置において、
前記取得手段は、前記人物の撮影画像からその顔の左右のいずれか略半分の顔画像を取得すると共にその略半分の顔画像の左右を反転した画像を比較対象画像として取得し、
前記表示制御手段は、前記撮影画像と前記比較対象画像とを重ね合わせ表示する場合に、前記撮影画像から取得した画像が略右半分の顔画像であれば、その略右半分の顔画像の左右を反転した比較対象画像を、前記撮影画像内の略左半分の顔画像部分に重ね合わせ表示し、前記撮影画像から取得した画像が略左半分の顔画像であれば、その略左半分の顔画像の左右を反転した比較対象画像を、前記撮影画像内の略右半分の顔画像部分に重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項７）
請求項７に記載の発明は、請求項５に記載の画像処理装置において、
前記取得手段は、前記人物の撮影画像からその左右のいずれか一方の手の画像を取得すると共に、その一方の手の画像の左右を反転した画像を比較対象画像として取得し、
前記表示制御手段は、前記撮影画像と前記比較対象画像とを重ね合わせ表示する場合に、前記撮影画像から取得した一方の手の画像が右手の画像であれば、その右手の画像の左右を反転した比較対象画像を、前記撮影画像内の左手の画像部分に重ね合わせ表示し、前記撮影画像から取得した画像が左手の画像であれば、その左手の画像の左右を反転した比較対象画像を、前記撮影画像内の右手の画像部分に重ね合わせて表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項８）
請求項８に記載の発明は、請求項１〜請求項７のいずれかに記載の画像処理装置において、
前記取得手段は、前記人物を撮影した撮影画像とは異なる他の画像を比較対象画像として取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項９）
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記取得手段は、前記撮影画像とは異なる他の画像を比較対象画像として取得する場合に、過去に撮影された同一人物の画像を取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項１０）
請求項１０に記載の発明は、請求項８あるいは請求項９に記載の画像処理装置において、
前記認識手段は、更に前記撮影画像及び前記比較対象画像の明るさ又は色合いをそれぞれ認識し、 前記表示制御手段は、前記認識手段により認識された明るさ又は色合いを表示合わせの基準としてその基準どおりに前記撮影画像及び前記比較対象画像の明るさ又は色合いを調整して重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１１）
請求項１１に記載の発明は、請求項１〜請求項１０のいずれかに記載の画像処理装置において、
前記認識手段は、更に前記撮影画像の中心線を認識し、
前記表示制御手段は、前記認識手段により認識された中心線に応じて撮影画像の表示位置を調整して重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１２）
請求項１２に記載の発明は、請求項１〜請求項１１のいずれかに記載の画像処理装置において、
前記撮影画像と前記比較対象画像とを重ね合わせて表示させる場合の透過率を設定する透過率設定手段を更に備え、
前記表示制御手段は、前記透過率設定手段により設定された透過率に応じて前記撮影画像と前記比較対象画像との透過率を変えて重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１３）
請求項１３に記載の発明は、請求項１〜請求項１２のいずれかに記載の画像処理装置において、
前記認識手段は、更に前記撮影画像の画面に対する傾き角度を認識し、
前記表示制御手段は、前記認識手段により認識された傾き角度を表示合わせの基準としてその基準どおりに前記撮影画像の傾き角度を調整して重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１４）
請求項１４に記載の発明は、請求項１〜請求項１２のいずれかに記載の画像処理装置において、
前記撮影画像に前記比較対象画像を重ね合わせて表示させる場合の傾き角度を任意に設定する角度設定手段を更に備え、
前記表示制御手段は、前記角度設定手段により設定された傾き角度に応じて前記撮影画像の表示向きを調整して重ね合わせ表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１５）
請求項１５に記載の発明は、請求項１〜１４のいずれかに記載の画像処理装置において、
前記撮影画像と前記比較対象画像とを重ね合わせて表示させる場合の倍率を任意に設定する倍率設定手段を更に備え、
前記表示制御手段は、前記倍率設定手段により設定された倍率に応じた大きさとなるように前記撮影画像と前記比較対象画像とを重ね合わせて表示する、
ようにしたことを特徴とする画像処理装置である。
（請求項１６）
請求項１６に記載の発明は、
撮像手段により撮影された人物の画像を撮影画像として表示する画像処理装置であって、
前記撮影画像内の人物の任意の部位を指定する指定手段と、
前記指定手段によって指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得する取得手段と、
前記指定手段により指定された指定部位の画像部分と前記取得手段により取得された対称部位の画像部分をそれぞれ拡大する拡大手段と、
前記拡大手段により拡大された各部位の画像部分を並列して表示する表示制御手段と、
を備えることを特徴とする画像処理装置である。
（請求項１７）
請求項１７に記載の発明は、請求項１６に記載の画像処理装置において、
表示部とタッチ部とを備えたタッチ表示手段を更に備え、
前記指定手段は、前記タッチ表示手段に表示されている撮影画像の任意の位置をタッチすることにより人物の任意の部位を指定する、
ようにしたことを特徴とする画像処理装置である。
（請求項１８）
請求項１８に記載の発明は、請求項１６あるいは請求項１７に記載の画像処理装置において、
前記撮像手段により撮影された人物の撮影画像は、ライブビュー画像であり、
前記取得手段は、前記ライブビュー画像から前記指定部位に対して左右対称の関係にある対称部位の画像部分を取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項１９）
請求項１９に記載の発明は、請求項１６あるいは請求項１７に記載の画像処理装置において、
前記取得手段は、前記撮影画像とは異なる他の画像から前記対称部位の画像部分を取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項２０）
請求項２０に記載の発明は、請求項１９に記載の画像処理装置において、
前記取得手段は、前記撮影画像とは異なる他の画像から前記対称部位の画像部分を取得する場合に、過去に撮影された同一人物の画像を取得する、
ようにしたことを特徴とする画像処理装置である。
（請求項２１）
請求項２１に記載の発明は、請求項１６〜請求項２０のいずれかに記載の画像処理装置において、
前記指定手段により指定された指定部位の画像部分と前記取得手段により取得された対称部位の画像部分に対応してその倍率をそれぞれ任意に設定する倍率設定手段を更に備え、
前記拡大手段は、前記倍率設定手段により設定された倍率に応じて対応する前記指定部位の画像部分及び前記対称部位の画像部分を拡大する、
ようにしたことを特徴とする画像処理装置である。
（請求項２２）
請求項２２に記載の発明は、
撮像手段により撮影された人物の撮影画像との比較用として、該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得するステップと、
前記撮影画像及び前記比較対象画像内の人物の特定部位をそれぞれ認識するステップと、
前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示するステップと、
を含むことを特徴とする画像処理方法である。
（請求項２３）
請求項２３に記載の発明は、
撮像手段により撮影された撮影画像内の人物の任意の部位を指定するステップと、
前記指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得するステップと、
前記指定された指定部位の画像部分と前記取得された対称部位の画像部分をそれぞれ拡大するステップと、
前記拡大された各部位の画像部分を並列して表示するステップと、
を含むことを特徴とする画像処理方法である。
（請求項２４）
請求項２４に記載の発明は、
コンピュータに対して、
撮像手段により撮影された人物の撮影画像との比較用として、該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得する機能と、
前記撮影画像及び前記比較対象画像内の人物の特定部位をそれぞれ認識する機能と、
前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する機能と、
を実現させるためのプログラムである。
（請求項２５）
請求項２５に記載の発明は、
コンピュータに対して、
撮像手段により撮影された撮影画像内の人物の任意の部位を指定する機能と、
前記指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得する機能と、
前記指定された指定部位の画像部分と前記取得された対称部位の画像部分をそれぞれ拡大する機能と、
前記拡大された各部位の画像部分を並列して表示する機能と、
を実現させるためのプログラムである。

１ 制御部
３ 記憶部
４ 操作部
５ 撮像部
５ａ 撮影レンズ部
６ タッチ表示部
Ｍ１ プログラムメモリ
Ｍ３ 画像メモリ
１１ 本体筐体
１２ 表示筐体
１３ カメラ筐体

上述した課題を解決するために本発明の画像処理装置は、
撮像手段により撮影された人物の画像を撮影画像として表示する画像処理装置であって、
前記撮影画像内の人物の任意の部位を指定する指定手段と、
前記指定手段により指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得する取得手段と、
前記指定手段により指定された指定部位の画像部分と前記取得手段により取得された対称部位の画像部分とを並列して表示する表示制御手段と、
を備えることを特徴とする画像処理装置である。

上述した課題を解決するために本発明の画像処理方法は、
撮像手段により撮影された撮影画像内の人物の任意の部位を指定する処理と、
前記指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得する処理と、
前記指定された指定部位の画像部分と前記取得された対称部位の画像部分とを並列して表示する処理と、
を含むことを特徴とする画像処理方法である。

上述した課題を解決するために本発明のプログラムは、
コンピュータに対して、
撮像手段により撮影された撮影画像内の人物の任意の部位を指定する機能と、
前記指定された指定部位に対して左右対称の関係にある対称部位の画像部分を取得する機能と、
前記指定された指定部位の画像部分と前記取得された対称部位の画像部分とを並列して表示する機能と、
を実現させるためのプログラムである。

Claims (12)

1. 撮像手段により撮影された人物の撮影画像を表示する画像処理装置であって、
   前記撮影画像内の人物の特定部位を認識する認識手段と、
   前記認識手段により認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する取得手段と、
   前記取得手段により取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する表示制御手段と、
   を備え、
   前記認識手段は、前記比較対象画像内の人物の特定部位を、更に認識し、
   前記表示制御手段は、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識手段によりそれぞれ認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
   ようにしたことを特徴とする画像処理装置。
2. 前記認識手段は、前記撮影画像及び前記比較対象画像内の人物の特定部位を認識する場合に、その特定部位の位置・大きさ・形状・傾き角度のうち、少なくともそのいずれかをそれぞれ認識し、
   前記表示制御手段は、前記認識手段により認識された特定部位の位置・大きさ・形状・傾き角度のうち、少なくともそのいずれかを表示合わせの基準としてその基準どおりに重ね合わせ表示する、
   ようにしたことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像手段により撮影された人物の撮影画像は、ライブビュー画像である、
   ことを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記認識手段は、更に前記撮影画像の中心線を認識し、
   前記表示制御手段は、前記認識手段により認識された中心線に応じて撮影画像の表示位置を調整して重ね合わせ表示する、
   ようにしたことを特徴とする請求項１〜請求項３のいずれかに記載の画像処理装置。
5. 前記撮影画像と前記比較対象画像とを重ね合わせて表示させる場合の透過率を設定する透過率設定手段を更に備え、
   前記表示制御手段は、前記透過率設定手段により設定された透過率に応じて前記撮影画像と前記比較対象画像との透過率を変えて重ね合わせ表示する、
   ようにしたことを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
6. 前記認識手段は、更に前記撮影画像の画面に対する傾き角度を認識し、
   前記表示制御手段は、前記認識手段により認識された傾き角度を表示合わせの基準としてその基準どおりに前記撮影画像の傾き角度を調整して重ね合わせ表示する、
   ようにしたことを特徴とする請求項１〜請求項５のいずれかに記載の画像処理装置。
7. 前記撮影画像に前記比較対象画像を重ね合わせて表示させる場合の傾き角度を任意に設定する角度設定手段を更に備え、
   前記表示制御手段は、前記角度設定手段により設定された傾き角度に応じて前記撮影画像の表示向きを調整して重ね合わせ表示する、
   ようにしたことを特徴とする請求項１〜請求項６のいずれかに記載の画像処理装置。
8. 前記撮影画像と前記比較対象画像とを重ね合わせて表示させる場合の倍率を任意に設定する倍率設定手段を更に備え、
   前記表示制御手段は、前記倍率設定手段により設定された倍率に応じた大きさとなるように前記撮影画像と前記比較対象画像とを重ね合わせて表示する、
   ようにしたことを特徴とする請求項１〜７のいずれかに記載の画像処理装置。
9. 撮像手段により撮影された人物の撮影画像を表示する画像処理装置であって、
   前記撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得する取得手段と、
   前記撮影画像及び前記比較対象画像内の人物の特定部位をそれぞれ認識する認識手段と、
   前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識手段によりそれぞれ認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する表示制御手段と、
   を備え、
   前記取得手段は、前記人物の撮影画像からその左右のいずれか一方の手の画像を取得すると共に、その一方の手の画像の左右を反転した画像を比較対象画像として取得し、
   前記表示制御手段は、前記撮影画像と前記比較対象画像とを重ね合わせ表示する場合に
   、前記撮影画像から取得した一方の手の画像が右手の画像であれば、その右手の画像の左
   右を反転した比較対象画像を、前記撮影画像内の左手の画像部分に重ね合わせ表示し、前記撮影画像から取得した画像が左手の画像であれば、その左手の画像の左右を反転した比較対象画像を、前記撮影画像内の右手の画像部分に重ね合わせて表示する、
   ようにしたことを特徴とする画像処理装置。
10. 撮像手段により撮影された人物の撮影画像を表示する画像処理装置であって、
    前記撮影画像との比較用として該撮影画像に重ね合わせ表示される人物の画像を比較対象画像として取得する取得手段と、
    前記撮影画像及び前記比較対象画像内の人物の特定部位をそれぞれ認識する認識手段と、
    前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識手段によりそれぞれ認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する表示制御手段と、
    を備え、
    前記取得手段は、前記人物を撮像した撮影画像とは異なる他の画像を比較対象画像として取得し、
    前記認識手段は、更に前記撮影画像及び前記比較対象画像の明るさ又は色合いをそれぞれ認識し、
    前記表示制御手段は、前記認識手段により認識された明るさ又は色合いを表示合わせの基準としてその基準どおりに前記撮影画像及び前記比較対象画像の明るさ又は色合いを調整して重ね合わせ表示する、
    ようにしたことを特徴とする画像処理装置。
11. 撮像手段により撮影された人物の撮影画像を表示する画像処理装置における画像処理方法であって、
    前記撮影画像内の人物の特定部位を認識する処理と、
    前記認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する処理と、
    前記取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する処理と、
    を含み、
    前記認識する処理において、前記比較対象画像内の人物の特定部位を、更に認識し、
    前記表示する処理において、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
    ようにしたことを特徴とする画像処理方法。
12. 撮像手段により撮影された人物の撮影画像を表示する画像処理装置を制御するコンピュータに対して、
    前記撮影画像内の人物の特定部位を認識する機能と、
    前記認識された人物の特定部位内の左右半分のいずれか一方の画像部分を左右反転した画像を、比較対象画像として取得する機能と、
    前記取得された前記比較対象画像を、左右半分のいずれか他方となる前記撮影画像内の位置に、透過して重ね合わせて表示する機能と、
    を実現させ、
    前記認識する機能において、前記比較対象画像内の人物の特定部位を、更に認識し、
    前記表示する機能において、前記撮影画像と前記比較対象画像とを重ね合わせ表示する際に、前記認識された人物の特定部位同士を表示合わせの基準としてその基準どおりに重ね合わせて表示する、
    ようにしたことを特徴とするプログラム。

Images