JP2015211338A - 画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】人物の周囲が装飾された合成画像を作成する画像処理装置を提供する。【解決手段】画像処理装置を備える撮像装置１０は、画像に含まれる人物を表す領域である人物領域を特定する人物判定部２ａと、人物領域を装飾するための装飾画像を記録する装飾用画像ＤＢ３ａと、装飾画像の所定の第１の部分が人物領域と重なるときには装飾画像を表さず人物領域と重ならないときには装飾画像を表すように、装飾画像の第１の部分とは異なる所定の第２の部分は人物領域に装飾画像と合成して合成画像を作成する合成部２ｄとを具備する。【選択図】図２

Description

本発明は、画像処理装置、それを備える撮像装置、画像処理方法及び画像処理プログラムに関する。

画像に特殊効果を施したり、画像の雰囲気を変えたりすることができる画像処理装置を備える撮像装置が知られている。ユーザは、この撮像装置を使用して撮影した画像に変化をつけて楽しむことができる。例えば、特許文献１では、画像に施したい特殊効果をユーザに容易に選択させることが可能な映像記録装置が提案されている。
また、特許文献２には、撮影した画像について主要部領域（被写体）と背景領域とを切り分けることができる電子カメラについて開示されている。この電子カメラでは、ストロボの発光を伴う撮影により得られた画像と、ストロボの発光を伴わない撮影により得られた画像とを比較して、輝度差が大きいと判定された領域を主要部領域（被写体）と判定し、輝度差が小さいと判定された領域を背景領域と判定する。主要部領域を分割することができるので、特定の被写体にのみ特殊効果を施す装置が提供される。

特開２００５−３４７８８６号公報 特開２００２−０４４５１６号公報

被写体が目立つような特殊効果を施すことができれば、特殊効果による楽しみ方が広がる可能性がある。
本発明は、このような事情に鑑みてなされたものであり、人物の周囲が装飾された合成画像を作成する画像処理装置、当該画像処理装置を備える撮像装置、画像処理方法及び画像処理プログラムを提供する。

本発明の一態様の画像処理装置は、画像に含まれる人物を表す領域である人物領域を特定する人物判定部と、前記人物領域を装飾するための装飾画像を記録する記録部と、前記装飾画像の所定の第１の部分は前記人物領域と重なるときには前記装飾画像を表さず前記人物領域と重ならないときには前記装飾画像を表すように、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域の有無に関わらず前記装飾画像を表すように前記画像と前記装飾画像とを合成して合成画像を作成する画像合成部とを具備する。
本発明の一態様の撮像装置は、前記画像処理装置と、撮像によって前記画像を取得する撮像部とを具備する。
本発明の一態様の画像処理方法は、画像に含まれる人物を表す領域である人物領域を特定することと、予め記録された前記人物領域を装飾するための装飾画像を読み出すことと、前記装飾画像の所定の第１の部分は前記人物領域と重なるときは前記装飾画像を表さず、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域の有無に関わらず前記装飾画像を表すように前記画像と前記装飾画像とを合成して合成画像を作成することとを含む。
本発明の一態様の画像処理プログラムは、画像に含まれる人物を表す領域である人物領域を特定することと、予め記録された前記人物領域を装飾するための装飾画像を読み出すことと、前記装飾画像の所定の第１の部分は前記人物領域と重なるときは前記装飾画像を表さず、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域の有無に関わらず前記装飾画像を表すように前記画像と前記装飾画像とを合成して合成画像を作成することとをコンピュータに実行させる。

本発明により、人物の周囲が装飾された合成画像を作成する画像処理装置、当該画像処理装置を備える撮像装置、画像処理方法及び画像処理プログラムを提供できる。

図１は、本発明により取得可能な合成画像データの例を説明するための図である。 図２は、本発明の第１実施形態に係る画像処理装置を備える撮像装置の構成例を示す機能構成ブロック図である。 図３は、主画像から人物、地面及び背景を判定する方法の一例を説明するための図である。 図４は、本発明の第１実施形態に係る画像処理装置を備える撮像装置の動作例を示すフローチャートである。 図５は、合成処理の動作例を示す図である。 図６は、装飾部の大きさの調整例を示す図である。 図７は、表示部に表示される変更ボタンと決定ボタンとの一例を示す図である。 図８は、第２実施形態に係る画像処理装置を備える撮像装置の合成処理に係る動作例を示すフローチャートである。 図９は、主画像のレイヤ分割について説明するための図ある。 図１０は、顔及び体の領域の判定例について説明するための図である。 図１１は、複数人を装飾部で装飾する例を示す図である。 図１２は、装飾部の構成例を示す図である。 図１３は、画像合成の方法を説明するための図である。 図１４は、第３実施形態に係る画像処理装置を備える撮像装置の動作例を示すフローチャートである。 図１５は、音に対応する装飾部の例を示す図である。

以下、本発明の画像処理装置の実施例として、画像処理装置を含む撮像装置に係る実施形態を説明する。

［第１実施形態］
以下、本発明の第１実施形態に係る撮像装置について図１乃至図７を使用して説明する。本発明に係る撮像装置による画像処理の一例を図１を参照して説明する。本発明に係る撮像装置は、人物を含む被写体の撮影に用いられる。撮像装置が撮像した被写体の画像データを、主画像データと称し、主画像データが表す画像を主画像と称することにする。図１（ａ）に示す主画像Ｉ１には、人物Ａ１が写っている。本発明に係る撮像装置は、主画像Ｉ１に装飾部Ｐ１を合成する処理を行うことによって、図１（ｂ）に示すような合成画像Ｌ１を取得する。ここで、装飾部Ｐ１は、人物Ａ１に巻き付く帯状の装飾部である。また、合成画像Ｌ１は、動画として再生されると、装飾部Ｐ１が人物Ａ１の周りを回転するような表示がなされる。この撮像装置により、ユーザは、人物Ａ１が装飾部Ｐ１で装飾された画像を楽しむことができる。なお、この装飾部Ｐ１は、本実施形態にて説明する形状に限らず、別の形状であっても良い。

図２に上記のような合成処理を実現できる本実施形態に係る撮像装置１０の構成例を示す。この撮像装置１０は、撮像部１と、制御部２と、記録部３と、表示部４と、タッチパネル４ａと、操作判定部５と、音声取得部６と、時計７と、場所検出部８と、通信部９と、姿勢検出部１１と、スピーカー１２とを有している。

撮像部１は、レンズ１ａと、撮像素子１ｂとを有している。レンズ１ａは、図示しない被写体像を撮像素子１ｂの図示しない受光面に結像させる。撮像素子１ｂは、この被写体像を電気信号（画像データ）に変換する。また、撮像部１は、対象物との距離を検出する機構を有する。例えば、撮像素子１ｂは位相差検出画素を有している。距離検出には、位相差検出画素に限らず、例えばオートフォーカスに用いられる種々の技術が用いられ得る。

記録部３は、例えば、不揮発性のメモリであって、装飾用画像データベース（ＤＢ）３ａと、画像データベース（ＤＢ）３ｂと、音データベース（ＤＢ）３ｃとを有している。

装飾用画像ＤＢ３ａは、図１で説明した装飾部Ｐ１のような装飾用の画像を表す画像データを有している。例えば装飾部Ｐ１となる画像データを装飾用画像データと呼称する。装飾用画像ＤＢ３ａは、種類が異なる複数の装飾用画像データを格納している。また、装飾用画像ＤＢ３ａは、装飾部Ｐ１が回転しているような表示を実現させるための画像データを含む。すなわち、それぞれの装飾用画像データは、回転して角度が異なる状態を表す複数の画像データを格納している。

画像ＤＢ３ｂは、撮像装置１０によって得られた画像ファイルを格納している。各画像ファイルは、撮像により得られた画像データ（主画像データ）と、当該主画像データの装飾に用いられることを選択された装飾用画像データと、当該装飾画像に対応する回転用画像データと、主画像のサムネイル画像と、タグとを含む。このタグは、主画像データと、装飾用画像データと、回転用画像データと、サムネイル画像とを関連付けるデータである。このタグは、合成画像Ｌ１の再生に用いられる。音ＤＢ３ｃは、撮像時に撮像装置１０が集音して取得した音声のデータを格納している。

音声取得部６は、例えばマイクロフォンであって、音を検出してその音を電気信号（音データ）に変換する。音声取得部６で生成された音データは、制御部２へと伝達される。スピーカー１２は、音ＤＢ３ｃに記録されている音データを再生する際に、音声を出力する。

表示部４は、例えば、有機ＥＬディスプレイや液晶ディスプレイなどであって、制御部２の制御下で画像を表示する。タッチパネル４ａは、表示部４上に設けられた一般的なタッチパネルである。タッチパネル４ａは、ユーザによってタッチされたことを検出して、タッチ位置に関する信号を出力する。この信号は、制御部２へと伝達される。

操作判定部５は、レリーズスイッチを含む各種操作スイッチ等を含む。レリーズスイッチは、浅い押圧（半押し）と、深い押圧（全押し）とをそれぞれ検出して、押圧の深さに応じた信号を出力する。出力された信号は、制御部２へと伝達される。操作判定部５は、レリーズスイッチの他に、モード選択ダイヤルや、十字キー等を含む。

制御部２は、撮像装置１０の各部を制御する制御装置として機能したり、画像処理を行う画像処理装置として機能したりする。制御部２は、例えばＣＰＵ又はＡＳＩＣや、それらの組み合わせによって実現され得る。また、制御部２には、メモリ等、一般的な情報処理に必要な各種構成要素が含まれる。制御部２は、人物判定部２ａと、背景地面判定部２ｃと、合成部２ｄと、表示制御部２ｅと、音解析部２ｆと、通信制御部２ｈとを有している。

人物判定部２ａは、顔判定部２ａａと、人体判定部２ａｂとを有する。顔判定部２ａａは、主画像に含まれる目、鼻、口などのパターンを探索して、主画像に含まれる人物の顔部を検出する。また、顔判定部２ａａは、顔の領域を判定する。例えば、顔判定部２ａａは、顔の特徴を含む肌色の領域を検出して、この領域を顔の領域と判定する。

人体判定部２ａｂは、主画像Ｉ１に含まれる体の領域を検出する。人体判定部２ａｂは、次のように体の領域を決定する。すなわち、人体判定部２ａｂは、主画像Ｉ１において、検出された顔の下方向にある領域を体の領域の候補とする。また、人体判定部２ａｂは、実空間における撮像装置１０からの距離が検出された顔までの距離と同じである領域を体の領域の候補とする。人体判定部２ａｂは、以上の２つの条件を同時に満たす主画像Ｉ１中の領域を体の領域として決定する。顔判定部２ａａ及び人体判定部２ａｂにより、主画像Ｉ１上の人物領域が判定される。撮像装置から人物までの距離を取得せずに、画像のみに基づいて人物領域が判定されてもよい。なお、画像においてどちらの方向が下方向であるかは、撮影時における後述する姿勢検出部１１の出力に基づいて決定され得る。

背景地面判定部２ｃは、主画像Ｉ１上の背景と地面とを判定する。背景地面判定部２ｃの処理の一例を図３を参照して説明する。図３（ａ）は、撮像装置１０に含まれるレンズ１ａ及び撮像素子１ｂと、被写体である人物Ａ１との実空間における位置関係の概略を表す。また、図３（ｂ）は、撮像素子１ｂによって撮像される画像の概略を示す。また、図３（ｃ）は、図３（ｂ）に示す画像上のＹ軸に沿って、Ｙ座標と実空間における撮像装置１０から被写体までの距離Ｄの逆数である１／Ｄとの関係を示す。図３（ａ）に示すように、撮像装置１０から人物Ａ１までの距離を距離Ｄｆとする。背景地面判定部２ｃは、実空間において人物Ａ１よりも撮像装置１０に近い主画像Ｉ１上の領域を地面Ｂと判定する。また、背景地面判定部２ｃは、実空間において人物Ａ１よりも撮像装置１０から遠い主画像Ｉ１上の領域を背景Ｃと判定する。

合成部２ｄは、２つの画像データの対応する画素値を演算処理して、１つの合成画像データを出力する。具体的には、合成部２ｄは、主画像Ｉ１と装飾部Ｐ１を表す画像とを合成する。合成部２ｄは、装飾部Ｐ１を表す画像の幅又は高さを変更する。また、合成部２ｄは、主画像Ｉ１と装飾部Ｐ１を表す画像とに、例えば、ぼかし処理といった特殊効果を施すことができる。

表示制御部２ｅは、記録部３に圧縮されて記録されている画像データを読み出して、その画像データに基づく画像を表示部４に表示させる。また、表示制御部２ｅは、例えば撮像装置１０の操作に係る情報といった各種情報を表示部４に表示させる。

音解析部２ｆは、撮像時に取得された音声のデータを解析し、この音声の特徴を特定する。例えば、音解析部２ｆは、取得された音声がロック調である、クラシック調である、子供向けである、などと判定する。音解析部２ｆは、特定した音声の特徴に基づいて、装飾用画像ＤＢ３ａに記憶されている複数の装飾用画像の中から適当な装飾用画像を選択するために必要な情報を出力する。

通信制御部２ｈは、通信部９を介した撮像装置１０と外部デバイスとの通信を制御する。通信制御部２ｈは、例えば、後述のネットワーク２１を介してサーバ２４と行う通信を制御する。

時計７は、画像データに付加するために用いられる時刻情報を出力する。場所検出部８は、例えば、ＧＰＳなどを利用して、緯度情報及び経度情報を取得する。姿勢検出部１１は、例えば、加速度センサを含む。姿勢検出部１１は、撮像装置１０の姿勢を検出する。

また、撮像装置１０は、ネットワーク２１を介して、サーバ２４から装飾用画像データを受信できるように構成されても良い。サーバ２４は、要求された装飾用画像データをサーバ２４内から検索して、検索により得られた装飾用画像データを撮像装置１０に送信することができる。この場合、サーバ２４は、装飾画像辞書部２４ａと、記録部２４ｂと、アクセス判定部２４ｃと、検索部２４ｄとを有している。

装飾画像辞書部２４ａは、装飾用画像データを格納している。記録部２４ｂは、サーバ２４を稼働させるためのプログラムを格納している。アクセス判定部２４ｃは、撮像装置１０からサーバ２４へのアクセスを承認するための判定を行う。検索部２４ｄは、例えば撮像装置１０からの要求に対応する装飾用画像データを装飾画像辞書部２４ａから検索する。

第１実施形態に係る撮像装置１０の動作例を図４に示すフローチャートを参照して説明する。例えば撮像装置１０の電源が入れられるなどしたときに、図４に示す動作が開始する。まず、制御部２は、撮影モードが選択されているか否かを判定する（ステップＳ１０１）。制御部２は、撮影モードが選択されていると判定したとき（ステップＳ１０１でＹＥＳのとき）、撮像動作を開始させる。すなわち、制御部２は、撮像部１に撮像動作を行わせて画像信号を生成させる。制御部２は、得られた画像信号に基づいてスルー画を作成し、このスルー画を表示部４に表示させる（ステップＳ１０２）。上述のとおり、撮像部１により撮像された画像を主画像Ｉ１とする。ステップＳ１０２の後、制御部２は、撮像により得られた主画像Ｉ１に含まれる顔領域を検出する（ステップＳ１０３）。

ステップＳ１０３の後、制御部２は、撮像装置１０から被写体までの距離を計測し、計測された距離の主画像Ｉ１における分布を決定する（ステップＳ１０４）。ステップＳ１０４の後、制御部２は、主画像Ｉ１と装飾部Ｐ１とを合成する合成処理を行う（ステップＳ１４０）。

この合成処理の動作例を図５を参照して説明する。制御部２は、主画像Ｉ１に含まれる人物が１人であるか否かを判定する。すなわち、制御部２は、ステップＳ１０３において検出された顔が１つであるか否かを判定する（ステップＳ１４１）。主画像Ｉ１に写っている人物が１人ではないと判定されたとき（ステップＳ１４１でＮＯのとき）、合成処理は終了し、処理は図４を参照して説明している処理に戻る。一方、主画像Ｉ１に写っている人物が１人であると判定されたとき（ステップＳ１４１でＹＥＳのとき）、制御部２は、主画像Ｉ１における顔の下の領域に、実空間において顔と同じ距離となっている領域が含まれているか否かを判定する（ステップＳ１４２）。主画像Ｉ１における顔の下に顔と同じ距離の領域が含まれていないと判定されたとき（ステップＳ１４２でＮＯのとき）、合成処理は終了し、処理は図４を参照して説明している処理に戻る。一方、主画像Ｉ１における顔の下に顔と同じ距離の領域があると判定されたとき（ステップＳ１４２でＹＥＳのとき）、制御部２は、主画像Ｉ１における顔の斜め下方向の領域は背景Ｃであるか否かを判定する（ステップＳ１４３）。顔の斜め下方向の領域が背景Ｃでないと判定されたとき（ステップＳ１４３でＮＯのとき）合成処理は終了し、処理は図４を参照して説明している処理に戻る。顔の斜め下方向に背景領域がないとき、すなわち、主画像Ｉ１において例えば人物Ａ１が大写しになっているとき、装飾部Ｐ１が付加されるのは適当でないため、主画像Ｉ１への装飾部Ｐ１の合成が行われない。

制御部２は、顔の斜め下方向の領域が背景Ｃであると判定したとき（ステップＳ１４３でＹＥＳのとき）、装飾用画像データの読み出しを行う（ステップＳ１４４）。最初に読み出される装飾用画像データは、複数種類ある装飾用画像データのうち、予め決められている１つの装飾用画像データである。なお、後述のステップＳ１４９において装飾画像の再選択が行われたときは、選択された装飾用画像データが読み出される。

装飾用画像データについて図６（ａ）及び図６（ｂ）を参照して説明する。図６（ａ）に示すように、人物Ａ１に帯状の装飾部Ｐ１が巻き付くような画像を作成するため、図６（ｂ）に示すように装飾部Ｐ１は分割されている。すなわち、人物Ａ１が装飾部Ｐ１よりも手前側にあるように表示される部分Ｐ１２において装飾部Ｐ１は断絶しており、装飾部Ｐ１の方が人物Ａ１よりも手前側にあるように表示される部分において装飾部Ｐ１は連続している。

ステップＳ１４４の後、制御部２は、装飾用画像データのサイズ変更を行う（ステップＳ１４５）。装飾用画像データのサイズ変更について図６（ｃ）乃至図６（ｅ）を参照して説明する。制御部２は、図６（ｃ）に示すように、人物Ａ１の位置に応じて装飾部Ｐ１の位置を調整する。次に、制御部２は、図６（ｄ）に示すように、人物Ａ１の顔と装飾部Ｐ１とが重ならないように、装飾部Ｐ１の断絶部の幅を調整する。さらに、制御部２は、図６（ｅ）に示すように、装飾部Ｐ１が主画像Ｉ１に納まるように、装飾部Ｐ１の高さを調整する。ここで、地面Ｂ上に装飾部Ｐ１が合成されると、人物Ａ１と地面との関係が不自然になるので、装飾部Ｐ１の下端は地面Ｂよりも上の位置となるように、装飾部Ｐ１の高さは調整される。ここで、装飾部Ｐ１の高さを調整するのではなく、地面Ｂと重なる部分の装飾部Ｐ１を削除するように構成されてもよい。つまり、このような工夫によって、人物の肝心な部位を隠すことなく、デザインや図柄の連続性を生かした、立体的な装飾が出来る。つまり、顔は隠さず、胴体や手足の背面を回って、前記画像合成部は、前記画像の背景領域の上に前記背面装飾用画像を重畳し（人体部分には装飾を表さない）、さらに前記人物領域を重畳し、さらに前記前面装飾用画像を前記背面装飾用画像が繋がるようにして合成や重畳をすることによって（前面装飾用画像は、人体上に表してもよい）、主被写体たる人物を取り囲むような、自然に流れるような装飾が可能となる。人物画像の大きさや位置を考慮し、反映させた装飾が可能となる。また、地面など背景に不自然さを及ぼすことがない。こうした装飾は、親しみやすいため、多くの人が自分でも簡単に施してみたくなるような効果となっている。なお、装飾を画像に合成する時、装飾を合成しないことを「装飾画像を表さず」という表現で書いてあることを注記しておく。このように背面と前面で装飾画像を分けて使い分け、なおかつ、順次合成したことによって、前面、背面の前後が逆になったりしない。

ステップＳ１４５の後、制御部２は、主画像データと背面装飾用画像データとを合成し、合成画像Ｌ１を作成する（ステップＳ１４６）。このように、合成画像の作成において、装飾部のうち人物の後ろ側にあるように表示される領域を第１の部分とする。第１の部分では、装飾画像と人物とが重ならないように調整される。すなわち、合成画像の第１の部分では、人物と重なるときには装飾画像は表されずに人物が表され、人物と重ならないときには装飾画像が表される。また、装飾部のうち人物の手前側にあるように表示される領域を第２の部分とする。合成画像の第２の部分では、人物の有無に関わらず装飾画像が表される。なお、装飾部Ｐ１において装飾部Ｐ１が断絶している部分Ｐ１２は、装飾画像において第１の部分に含まれる透明領域に相当する。

なお、図６では、人物Ａ１と装飾部Ｐ１との境界が明瞭に表されているが、この境界部分で主画像及び装飾画像の少なくとも何れか一方にぼかし処理が施され、人物Ａ１と装飾部Ｐ１との境界が自然にぼかされてもよい。

ステップＳ１４６の後、制御部２は、作成された合成画像Ｌ１を表示部４に表示させる（ステップＳ１４７）。装飾用画像は複数種類用意されており、ユーザは、表示部４に表示されている合成画像を見ながら、現在用いられている装飾用画像でよいか、それとも用いる装飾用画像を変更したいかを判断する。表示部４には、図７に示すように、ユーザが装飾用画像を変更したい旨を入力するための変更ボタンＳ１と、ユーザが現在適用されている装飾用画像で良い旨を入力するための決定ボタンＳ２とが、合成画像上に重畳表示される。

ステップＳ１４７の後、制御部２は、図７に示す変更ボタンＳ１がタッチされたか否かを判定する（ステップＳ１４８）。制御部２は、変更ボタンＳ１がタッチされたと判定したとき（ステップＳ１１４でＹＥＳのとき）、装飾用画像ＤＢ３ａから別の装飾用画像データを選択する（ステップＳ１４９）。ステップＳ１４９の後、合成処理は終了し、処理は図４を参照して説明している処理に戻る。その結果、次の合成処理において、ステップＳ１４９で選択された装飾画像データに基づいて、合成画像Ｌ１が作成される。

一方、制御部２は、ステップＳ１４８の判定において変更ボタンＳ１がタッチされなかったと判定したとき（ステップＳ１４８でＮＯのとき）、図７に示す決定ボタンＳ２がタッチされたか否かを判定する（ステップＳ１５０）。決定ボタンＳ２がタッチされなかったと判定されたとき（ステップＳ１５０でＮＯのとき）、合成処理は終了し、処理は図４を参照して説明している処理に戻る。その結果、次の合成処理においても引き続き同じ装飾画像に基づいて、合成画像が作成される。

一方、制御部２は、ステップＳ１５０の判定において決定ボタンＳ２がタッチされたと判定したとき（ステップＳ１１５でＹＥＳのとき）、現在用いている装飾画像を用いるべき装飾画像として確定する（ステップＳ１５１）。その後、合成処理は終了し、処理は図４を参照して説明している処理に戻る。その結果、その後の合成処理において、現在選択されている装飾画像データに基づいて、合成画像Ｌ１が作成される。

図４に戻って説明を続ける。ステップＳ１４０の後、制御部２は、撮影操作が行われたか否かを判定する（ステップＳ１１７）。撮影操作が行われていないと判定されたとき（ステップＳ１１７でＮＯのとき）、処理はステップＳ１２０に進む。一方、制御部２は、撮影操作が行われたと判定したとき（ステップＳ１１７でＹＥＳのとき）、撮像部１に撮影動作を行わせ、得られた画像について画像処理を行い、主画像データを取得する。（ステップＳ１１８）。ステップＳ１１８の後、制御部２は、合成画像データを構成する主画像データ、装飾用画像データ、回転用画像データ、サムネイル画像及びタグを画像ファイルに格納して、この画像ファイルを画像ＤＢ３ａに格納する（ステップＳ１１９）。ここで、主画像データは、撮像によって得られた主画像のデータである。装飾用画像データは、ステップＳ１５１で確定した装飾用画像データある。回転用画像データは、装飾用画像ＤＢ３ａに含まれる回転用画像データであり、確定された装飾用画像データに対応した回転用画像データである。サムネイル画像は、合成画像の縮小画像である。タグは、主画像データ、装飾用画像データ、回転用画像データ及びサムネイル画像を関連付けるタグである。

ステップＳ１１９の後、制御部２は、電源ＯＦＦが選択されたか否かを判定する（ステップＳ１２０）。電源ＯＦＦが選択されたと判定されたとき（ステップＳ１２０でＹＥＳのとき）、処理は終了する。一方、電源ＯＦＦが選択されなかったと判定されたとき（ステップＳ１２０でＮＯのとき）、処理はステップ１０１に戻る。

ステップＳ１０１の判定において、撮影モードが選択されなかったと判定されたとき（ステップＳ１０１でＮＯのとき）、制御部２は、再生モードが選択されているか否かを判定する（ステップＳ１２１）。再生モードが選択されていないと判定されたとき（ステップＳ１２１でＮＯのとき）、処理はステップＳ１２０に進む。一方、再生モードが選択されていると判定されたとき（ステップＳ１２１でＹＥＳのとき）、制御部２は、画像ＤＢ３ｂに記録されている画像ファイルからサムネイル画像を読み出して、このサムネイル画像を表示部４に一覧表示する（ステップＳ１２２）。その後、制御部２は、任意のサムネイル画像が選択されたか否かを判定する（ステップＳ１２３）。制御部２は、サムネイル画像が選択されなかったと判定したとき（ステップＳ１２３でＮＯのとき）、再生モードを終了させるか否かを判定する（ステップＳ１２４）。再生モードを終了させると判定されたとき（ステップＳ１２４でＹＥＳのとき）、処理はステップＳ１０１に戻る。一方、再生モードを終了しないと判定されたとき（ステップＳ１２４でＮＯのとき）、処理はステップＳ１２２に進む。

ステップＳ１２３の判定において、任意のサムネイル画像が選択されたと判定されたとき（ステップＳ１２３でＹＥＳのとき）、制御部２は、選択された画像が合成画像であるか否かを判定する（ステップＳ１３１）。制御部２は、選択された画像は合成画像データであると判定したとき（ステップＳ１３１でＹＥＳのとき）、合成画像を表示部４に表示させる。このとき、表示部４には、主画像データと回転用画像データとに基づいて、主画像に含まれる人物Ａ１の周囲を装飾部が回転する動画が再生される。さらに、制御部２は、合成画像に応じて音楽をスピーカー１２から出力させてもよい。ここで出力する音楽は、音ＤＢ３ｃに記憶された音楽データに基づく。音楽データは、複数用意されており、それぞれ装飾画像と関連付けられている。したがって、合成画像に用いられた装飾画像に応じて、出力される音楽が変更される。ステップＳ１３２の処理の後、処理はステップＳ１３４に進む。

ステップＳ１３１の判定において、選択された画像は合成画像ではないと判定されたとき（ステップＳ１３１でＮＯのとき）、制御部２は、サムネイル画像に対応する画像データに基づく画像を、表示部４に表示させる（ステップＳ１３３）。その後、処理はステップＳ１３４に進む。制御部２は、画像の表示を終了するか否かを判定する（ステップＳ１３４）。制御部２は、画像の表示を終了すると判定したとき（ステップＳ１３４でＹＥＳのとき）、処理はステップＳ１２０に進む。一方、画像の表示を終了しないと判定されたとき（ステップＳ１３４でＮＯのとき）、処理はステップＳ１３１に戻る。

以上、本発明の第１実施形態の撮像装置１０は、図１（ｂ）に示すように、撮像により得られた主画像Ｉ１に含まれる人物Ａ１に装飾部Ｐ１が巻き付いているような合成画像Ｌ１を作成することができる。ユーザは、このような合成画像の作成によって、人物Ａ１を目立たせて楽しむことができる。

なお、本実施形態では、装飾用画像データが装飾用画像ＤＢ３ａに記憶されている例を示した。しかしながらこれに限らず、装飾用画像データは、撮像装置１０の外部に記憶されていてもよい。例えば、サーバ２４に記憶されていてもよい。この場合、撮像装置１０は、通信部９を用いて、ネットワーク２１を介してサーバ２４に接続する。撮像装置１０は、被写体や撮影状況などを表す情報をサーバ２４に送信する。この情報は検索条件となる。この検索条件を受け取ったサーバ２４の検索部２４ｄは、装飾画像辞書部２４ａから撮像装置１０にとって適切な装飾用画像データを検索する。サーバ２４は、検索によって発見された装飾用画像データを撮像装置１０に送信する。撮像装置１０は、サーバ２４から取得した装飾用画像データを用いて合成画像を作成する。

［第２実施形態］
次に、本発明の第２実施形態に係る撮像装置を図８乃至図１３を使用して説明する。ここでは、第１実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本実施形態では、主画像及び装飾部の合成方法が第１実施形態と異なる。簡単に説明すると、本実施形態の合成処理では、主画像に含まれる人物を基準として、当該人物を含み当該人物よりも撮像装置側に位置する被写体の像と、当該人物よりも遠い側に位置する被写体の像とを分割する。

また、第１実施形態の合成処理では、主画像Ｉ１に人物が１人だけ写っているときに、装飾部の合成が行われるのに対して、本実施形態では人物の数や位置関係に応じて装飾部が調整される。さらに、第２実施形態における装飾部は、円環状の装飾部である。

本実施形態では、図４に示した処理のうち図５を参照して説明したステップＳ１４０の合成処理が第１実施形態と異なる。第２実施形態に係る合成処理について図８に示すフローチャートを参照して説明する。また、ここでは、撮像装置１０により取得された主画像Ｉ２は、図９（ａ）に示す画像であるものとして説明する。

制御部２は、図９（ｂ）に示すように、主画像Ｉ２に含まれる顔を検出する（ステップＳ２０１）。制御部２は、顔の領域の大きさを判定する。制御部２は、顔の領域の大きさに対応する体を判定して人物領域を特定する（ステップＳ２０２）。

ここで、第２実施形態における人物領域の特定方法の一例について、図１０を参照して説明する。顔判定部２ａａは、目の幅ＭＨを算出する。さらに、顔判定部２ａａは、この目の幅ＭＨを基準として、例えば、顔の中心軸から目の幅ＭＨだけ離れた位置の集合を顔の幅ＫＨと判定する。すなわち、顔の幅ＫＨは、目の幅ＭＨの２倍の大きさである。人体判定部２ａｂは、顔の幅の２倍の大きさを体の幅ＢＨと判定する。例えば、目の幅ＭＨが１０ｃｍであるとき、顔の幅ＫＨが２０ｃｍとなり、体の幅ＢＨが４０ｃｍとなる。このようにして、制御部２は、人物Ａ２ａ及び人物Ａ２ｂの人物領域を判定する
ステップＳ２０２の後、制御部２は、撮像装置１０により取得された主画像を２つの領域に分割する（ステップＳ２０３）。上述したように、ステップＳ１０４において、撮像装置１０は、撮像時に各被写体までの距離を取得している。ここでは、主画像Ｉ２に表示されている人物Ａ２ａ及び人物Ａ２ｂは、撮像装置１０から見てほぼ等距離に位置しているものとして説明する。主画像Ｉ２が撮像された状況の概要を図９（ｃ）に図示する。撮像装置１０から人物Ａ２ａ又は人物Ａ２ｂまでの距離を距離Ｄとする。制御部２は、図９（ａ）に示す主画像Ｉ２のうち、撮像装置１０までの距離が距離Ｄ以下である被写体が写っている領域を、図９（ｄ）に示すように人物領域Ｉ２ａとして抽出する。また、制御部２は、図９（ａ）に示す主画像Ｉ２のうち、撮像装置１０までの距離が距離Ｄよりも大きい被写体が写っている領域を、図９（ｅ）に示すように背景領域Ｉ２ｂとして抽出する。

ステップＳ２０３の後、制御部２は、主画像Ｉ２に写っている人物の数を特定する（ステップＳ２０４）。例えば図９（ａ）に示す例では人物の数は２となる。ステップＳ２０４の後、制御部２は、主画像Ｉ２内にいる人物は複数人であるか否かを判定する（ステップＳ２０５）。主画像Ｉ２内にいる人物は複数人ではない、すなわち、１人であると判定されたとき（ステップＳ２０５でＮＯのとき）、処理はステップＳ２１１に進む。一方、主画像Ｉ２内にいる人物は複数人であると判定されたとき（ステップＳ２０５でＹＥＳのとき）、制御部２は、主画像Ｉ２上の隣り合う人物と人物との間の距離を特定する（ステップＳ２０６）。その後、制御部２は、隣り合う人物と別の人物との間の距離が、人物の顔を３つ並べた幅より広いか否かを判定する（ステップＳ２０７）。制御部２は、隣り合う人物と別の人物との間の幅が人物の顔を３つ並べた幅より広くなかったと判定したとき（ステップＳ２０７でＮＯのとき）、第１の装飾部Ｐ２を有する装飾用画像データを装飾用画像ＤＢ３ａから読み出す（ステップＳ２０８）。第１の装飾部Ｐ２は、例えば図１１（ａ）に示すように、１つの輪で複数人を囲むための装飾部を含む。

ステップＳ２０８の後、制御部２は、主画像Ｉ２に含まれる２人の人物の大きさの差Ｈが所定の値以上であるか否かを判定する（ステップＳ２０９）。２人の人物の大きさの差Ｈが所定の値以上ではなかったと判定されたとき（ステップＳ２０９でＮＯのとき）、処理はステップＳ２１２に進む。一方、２人の人物の大きさの差Ｈが、所定の値以上であったと判定されたとき（ステップＳ２０９でＹＥＳのとき）、制御部２は、図１１（ｂ）に示すような画像が得られるように、２人の人物の大きさの差Ｈに応じて、大きい方の人物側が高くなるように装飾部Ｐ２を傾ける（ステップＳ２１０）。ステップＳ２１０の後、処理はステップＳ２１２に進む。

ステップＳ２０７の判定において、制御部２は、隣り合う人物と別の人物との間の幅が人物の顔を３つ並べた幅より広いと判定したとき（ステップＳ２０７でＹＥＳのとき）、第２の装飾部Ｐ３を有する装飾用画像データを装飾用画像ＤＢ３ａから読み出す（ステップＳ２１１）。第２の装飾部Ｐ３は、例えば図１１（ｃ）に示すように、各人物をそれぞれ１つの輪で囲むための装飾部を含む。その後、処理はステップＳ２１２に進む。

制御部２は、装飾部を、背面装飾部と前面装飾部とに分割する（ステップＳ２１２）。ここで、背面装飾部は、装飾部のうち合成画像において人物Ａ２ａ及び人物Ａ２ｂよりも後側位置するような部分であり、前面装飾部は、装飾部のうち合成画像において人物Ａ２ａ及び人物Ａ２ｂよりも前側位置するような部分である。例えば図１１（ａ）に示した第１の装飾部Ｐ１の場合、背面装飾部Ｑ２は、図１２（ａ）に示すようになり、前面装飾部Ｒ２は、図１２（ｂ）に示すようになる。

ステップＳ２１２の後、制御部２は、人物を囲む装飾用画像データの幅が自然な幅になるように装飾部Ｐ２を伸縮させる（ステップＳ２１３）。ステップＳ２１３の後、制御部２は、主画像Ｉ２と装飾部Ｐ２との画像の合成を行う（ステップＳ２１４）。ここで行われる画像合成について図１３を参照して説明する。まず、図１３（ａ）に示すような背景領域Ｉ２ｂを含むレイヤに、図１３（ｂ）に示すように背面装飾部Ｑ２を含むレイヤを重ねる。続いて、図１３（ｃ）に示すように人物領域Ｉ２ａを含むレイヤを重ねる。さらに、図１３（ｄ）に示すように前面装飾部Ｒ２を含むレイヤ重ねる。このような合成により、制御部２は、図１３（ｄ）に示すような合成画像Ｌ２ａを作成する。ステップＳ２１２の後、合成処理は終了する。

本実施形態では、ステップＳ２０５乃至ステップＳ２１１の処理によって、選択される装飾部Ｐ１が主画像に応じて異なるので、主画像に応じて異なる合成画像が作成される。人物同士が近くにいてこれら人物の背が同程度であれば、図１１（ａ）のような合成画像Ｌ２ａが得られるし、人物同士が近くにいてこれら人物の背に差があれば、図１１（ｂ）のような合成画像Ｌ２ｂが得られるし、人物同士が離れていれば、図１１（ｃ）のような合成画像Ｌ２ｃが得られる。

本実施形態によっても、撮像装置１０は、撮像により得られた主画像Ｉ２に含まれる人物に装飾部Ｐ２が巻き付いているような合成画像を作成することができる。ユーザは、このような合成画像の作成によって、人物を目立たせて楽しむことができる。

［第３実施形態］
次に、本発明の第３実施形態を図１４及び図１５を参照して説明する。なお、第１実施形態または第２実施形態と同一の構成及び動作の説明を省略する。

第３実施形態に係る装飾用画像ＤＢ３ｂは、図１１（ａ）に示すような譜面と音符が描かれた輪状の装飾部を有する装飾用画像データを格納している。装飾用画像ＤＢ３ｂは、音符の数、譜面状の音符の音階が異なる多種の装飾用画像データを格納している。第３実施形態に係る撮像装置１０は、撮影中に周囲の音を取得し、取得した音の種類に対応する装飾部を有している装飾用画像データを用いて合成画像の作成を行う。

第３実施形態に係る撮像装置１０の動作例を図１４のフローチャートを参照して説明する。制御部２は、撮像を開始して、画像データ（図９（ａ）に示す主画像Ｉ２に相当）を取得する（ステップＳ３０１）。その後、制御部２は、主画像Ｉ２に含まれている被写体を判定する（ステップＳ３０２）。例えば顔検出を行うことで、主画像Ｉ２に人物が含まれているか否かに係る情報を取得することができる。

その後、制御部２は、主画像Ｉ２内の被写体に人物が含まれるか否かを判定する（ステップＳ３０３）。主画像Ｉ２内の被写体に人物が含まれていないと判定されたとき（ステップＳ３０３でＮＯのとき）、処理はステップＳ３１０に進む。一方。主画像Ｉ２内の被写体に人物が含まれていると判定されたとき（ステップＳ３０３でＹＥＳのとき）、制御部２は、人物の表情と、顔の領域とを判定する（ステップＳ３０４）。

ステップＳ３０４の後、制御部２は、音声取得部６に周囲の音を音データとして取得させ、得られた音データを音ＤＢ３ｃに記録する。また、制御部２は、得られた音データを解析し、どのような種類の音が含まれているか分析する（ステップＳ３０５）。ステップＳ３０５の後、制御部２は、音データの内容が音楽又は声であるか否かを判定する（ステップＳ３０６）。音データの内容が音楽又は声でないと判定されたとき（ステップＳ３０６でＮＯのとき）、処理はステップＳ３１０に進む。一方、制御部２は、音データの内容が音楽又は声であると判定したとき（ステップＳ３０６でＹＥＳのとき）、主画像Ｉ２に含まれる人物の数を特定する（ステップＳ３０７）。ステップＳ３０７の後、制御部２は、ステップＳ３０５で解析された音データの内容に対応した装飾用画像データの種類を選択する（ステップＳ３０８）。

ここで、音データの内容に対応する装飾用画像データの種類の判定例を、図１５を参照しながら説明する。音解析部２ｆは、例えば、音データの内容が「一定間隔で低音の大きな音がする」又は「テンポが速い」と判定したとき、音データは「ロック調」であると判定する。このとき音解析部２ｆは、「ロック調」に対応した装飾部を有する装飾用画像データを選択する。この「ロック調」に対応した装飾部は、例えば、譜面上に付された音符の密度が高く、かつ、音階の変化が大きいという特徴を有する。一方、音解析部２ｆは、例えば、音データの内容が「長く続く高音がある」、「テンポが遅い」又は「静かである」と判定したとき、音データは「クラシック調」又は「ヒーリング調」であると判定する。このとき音解析部２ｆは、「クラシック調」又は「ヒーリング調」に対応する装飾部を有する装飾用画像データを選択する。この「クラシック調」又は「ヒーリング系」に対応した装飾部は、例えば、譜面上の音符の密度が小さく、かつ、音階の変化が小さいという特徴を有する。

ステップＳ３０８の後、制御部２は、主画像データと装飾用画像データとの合成処理を行う（ステップＳ３０９）。ここで、ステップＳ３０９の合成処理は第２実施形態の動作例と同一の処理であるものとして、この合成処理の説明を省略する。ただし、この合成処理で主画像Ｉ２に合成される装飾画像は、音楽などが検出されたときはステップＳ３０８で選択された装飾画像であり、音楽などが検出されなかったときは所定の装飾画像である。

ステップＳ３０９の後、制御部２は、ステップＳ３０９の合成処理で取得した合成画像データを表示部４に表示させる（ステップＳ３１０）。その後、制御部２は、画像ＤＢ３ｂ内の装飾部の移動若しくは削除の判定に係る操作の受信を開始する（ステップＳ３１１）。例えばユーザが表示部４に表示された合成画像上で装飾部を擦ったとき、表示部４上のタッチパネル４ａはユーザの入力を検出し、制御部２は、この入力に応じて合成画像における装飾部の位置を変更させる。また、例えばユーザが表示部４に表示された削除アイコンをタッチしたとき、表示部４上のタッチパネル４ａはユーザの入力を検出し、制御部２は、この入力に応じて合成画像における装飾部を削除する。

ステップＳ３１１の後、制御部２は、合成画像データを再表示する（ステップＳ３１２）。その後、制御部２は、ファーストレリーズ信号を検出したか否かを判定する（ステップＳ３１３）。このファーストレリーズ信号は、操作判定部５が半押しされたとき出力される信号である。ファーストレリーズ信号を検出していないと判定されたとき（ステップＳ３１３でＮＯのとき）、処理はステップＳ３１６に進む。制御部２は、ファーストレリーズ信号を検出したとき（ステップＳ３１３でＹＥＳのとき）、測光処理を行う（ステップＳ３１４）。すなわち、撮像部１は、撮像素子１ｂが受光している光量に応じて、露出の制御を行う。ステップＳ３１４の後、制御部２は、オートフォーカスを開始する（ステップＳ３１５）。すなわち、制御部２は、一般的に用いられている種々のオートフォーカス方式の何れかを用いて、レンズ１ａの合焦制御を行う。ステップＳ３１５の後、処理はステップＳ３１６に進む。制御部２は、セカンドレリーズ信号を検出したか否かを判定する（ステップＳ３１６）。セカンドレリーズ信号は、操作判定部５が全押しされたとき出力される信号である。セカンドレリーズ信号を検出していないと判定されたとき（ステップＳ３１６でＮＯのとき）、処理はステップＳ３１８に進む。一方、制御部２は、セカンドレリーズ信号を検出したと判定したとき（ステップＳ３１６でＹＥＳのとき）、合成画像データを画像ＤＢ３ａに記録する（ステップＳ３１７）。その後、処理はステップＳ３１８に進む。制御部２は、撮影を終了させるか否かを判定する（ステップＳ３１８）。撮影を終了させないと判定されたとき（ステップＳ３１８でＮＯのとき）、処理はステップＳ３０１に戻る。一方、制御部２は、撮影を終了させると判定したとき、動作を終了する。

以上、本発明の第３実施形態に係る撮像装置１０は、音声取得部６を用いて取得した音データを記録する。この撮像装置１０は、この音データに基づいて、装飾用画像データの種類を選択する。ユーザは、例えば、ロックのライブコンサートで歌手が歌っている状況、又は、子供が歌って遊んでいる状況において、歌手や子供を撮影しながら、音楽や歌に応じた装飾部で歌手や子供を装飾して楽しむことができる。本実施形態によれば、撮影時に録音された音声に応じて装飾部が適切に変更されるので、状況にあった装飾部で装飾された合成画像が作成される。

上述した実施形態における撮像装置による各処理は、プログラムを用いて実現され得る。これらのプログラムは種々の媒体に記憶され得る。これらのプログラムは、例えばメモリカード（ＲＯＭカード、ＲＡＭカード等）、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の外部記憶装置の記憶媒体に記憶され得る。撮像装置１０は、これらの媒体から当該プログラムを読み込み、処理を行う。また、これらのプログラムは、インターネット等を介して撮像装置１０に提供されてもよい。

１…撮像部、 １ａ…レンズ、 １ｂ…撮像素子、 ２…制御部、 ２ａ…人物判定部、 ２ａａ…顔判定部、 ２ａｂ…人体判定部、 ２ｃ…背景地面判定部、 ２ｄ…合成部、 ２ｅ…表示制御部、 ２ｆ…音解析部、 ２ｈ…通信制御部、 ３…記録部、 ３ａ…装飾用画像ＤＢ、 ３ｂ…画像ＤＢ、 ３ｃ…音ＤＢ、 ４…表示部、 ４ａ…タッチパネル、 ５…操作判定部、 ６…音声取得部、 ７…時計、 ８…場所検出部、 ９…通信部、 １０…撮像装置、 １１…姿勢検出部、 １２…スピーカー、 ２１…ネットワーク、 ２４…サーバ、 ２４ａ…装飾画像辞書部、 ２４ｂ…記録部、 ２４ｃ…アクセス判定部、 ２４ｄ…検索部。

Claims (8)

1. 画像に含まれる人物を表す領域である人物領域を特定する人物判定部と、
   前記人物領域を装飾するための装飾画像を記録する記録部と、
   前記装飾画像の所定の第１の部分が前記人物領域と重なるときには前記装飾画像を表さず、前記人物領域と重ならないときには前記装飾画像を表すように合成し、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域に前記装飾画像と合成して合成画像を作成する画像合成部と、
   を具備する画像処理装置。
2. 前記装飾画像において前記第１の部分は透明な透明領域を含み、
   前記画像合成部は、前記透明領域と前記人物領域とが重なるように前記装飾画像の大きさを調整して前記合成画像を作成する、
   請求項１に記載の画像処理装置。
3. 前記画像合成部は、前記透明な第１の部分と前記人物領域のうち前記人物の顔を表す領域とが重なるように前記合成画像を作成する、請求項２に記載の画像処理装置。
4. 前記画像のうち、前記人物よりも奥側の被写体を表す背景領域と、前記背景領域以外の領域を表す人物領域とを特定する背景判定部をさらに具備し、
   前記装飾画像は、前記人物よりも奥側を表す背面装飾用画像と前記人物よりも手前側を表す前面装飾用画像とを含み、
   前記画像合成部は、前記画像の背景領域の上に前記背面装飾用画像を重畳し、さらに前記人物領域を重畳し、さらに前記前面装飾用画像を重畳して、前記合成画像を生成する、
   請求項１に記載の画像処理装置。
5. 前記記録部は、前記音声に応じた複数種類の前記装飾画像を記憶しており、
   前記画像の撮影時に取得された周囲の音声に応じて、前記複数種類の前記装飾画像のうち１つの前記装飾画像を選択する音解析部をさらに具備し、
   前記画像合成部は、前記音解析部が選択した前記装飾画像を用いて前記合成画像を作成する、
   請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記請求項１乃至５のうち何れか１項に記載の画像処理装置と、
   撮像によって前記画像を取得する撮像部と
   を具備する撮像装置。
7. 画像に含まれる人物を表す領域である人物領域を特定することと、
   予め記録された前記人物領域を装飾するための装飾画像を読み出すことと、
   前記装飾画像の所定の第１の部分が前記人物領域と重なるときは前記装飾画像を表さず、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域に前記装飾画像と合成して合成画像を作成することと
   を含む画像処理方法。
8. 画像に含まれる人物を表す領域である人物領域を特定することと、
   予め記録された前記人物領域を装飾するための装飾画像を読み出すことと、
   前記装飾画像の所定の第１の部分が前記人物領域と重なるときは前記装飾画像を表さず、前記装飾画像の前記第１の部分とは異なる所定の第２の部分は前記人物領域に前記装飾画像を合成して合成画像を作成することと
   をコンピュータに実行させるための画像処理プログラム。

Images