JP2016118992A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】データ量を少なく多彩なキャラクターの表情が表現されるキャラクター画像を生成すること。【解決手段】撮像装置１は、元画像取得部５１と、顔画像生成部５２と、テーマ決定部５３と、顔パーツ置換部５４と、キャラクター画像生成部５５と、を備える。元画像取得部５１は、処理対象となる元画像を取得する。顔画像生成部５２は、元画像の特徴領域に基づいて、顔画像を生成する。テーマ決定部５３は、テーマを決定する。顔画像生成部５２は、テーマに基づいて、顔画像を変更する。キャラクター画像生成部５５は、テーマに基づいて、顔画像に対応するポーズ画像を生成する。また、キャラクター画像生成部５５は、顔パーツ置換部５４によって変更された顔画像と、キャラクター画像生成部５５によって生成されたポーズ画像とを合成してキャラクター画像を生成する。【選択図】図４

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

従来より、顔写真からキャラクター画像を作成する技術がある。例えば、特許文献１に記載の技術では、顔を構成する複数のパーツのそれぞれを変更して顔の表情を変更する技術が記載されている。

特開２００５−０９２６５７号公報

しかしながら、上述した特許文献１に記載の技術では、パーツのそれぞれを変更して顔の表情を変更するために、データ量が多くなるため、スマートフォンのアプリ等での利用に適していないという問題があった。

本発明は、このような状況に鑑みてなされたものであり、データ量を少なく多彩なキャラクターの表情が表現されるキャラクター画像を生成することを目的とする。

上記目的を達成するため、本発明の一態様の画像生成装置は、
顔画像を取得する取得手段と、
前記取得手段により取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成手段と、
生成すべき画像の主題を決定する決定手段と、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断手段と、
前記判断手段によって変更すると判断された場合に、前記主題に対応する画像に変更する変更手段と、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択手段と、
前記変更手段によって変更された前記第１の画像と、前記選択手段によって選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
を備えることを特徴とする。

本発明によれば、データ量を少なく多彩なキャラクターの表情が表現されるキャラクター画像を生成することができる。

本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。 本実施形態におけるキャラクター画像の生成手法を説明するための図である。 異なる人で作成した場合のキャラクター画像の比較例を示す図である。 図１の撮像装置の機能的構成のうち、キャラクター画像生成処理を実行するための機能的構成を示す機能ブロック図である。 テーマテーブル記憶部に記憶されるテーマテーブルを説明するための模式図である。 図２の機能的構成を有する図１の撮像装置が実行するキャラクター画像生成処理の流れを説明するフローチャートである。

以下、本発明の実施形態について、図面を用いて説明する。

図１は、本発明の一実施形態に係る撮像装置のハードウェアの構成を示すブロック図である。
撮像装置１は、例えばデジタルカメラとして構成される。

撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。

光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。

イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。

入力部１７は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１８は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部１９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２１によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア３１は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

このように構成される撮像装置１においては、人の顔を撮影した画像から、実写をキャラクター化したキャラクター画像を生成することができる機能を有する。また、撮像装置１において生成されるキャラクター画像は、感情等のテーマに対応したものが生成される。即ち、人の顔を撮影した画像に基づいて、キャラクターを生成すると共に、さらに、感情等のテーマを加味して、キャラクター画像を生成する。本実施形態において、テーマは、キャラクター画像全体の印象を決定するものであって、例えば、「嬉しい」，「笑い」，「怒り」，「泣き」，「驚き」，「平常心」，「お願い」，「悲しい」等の感情等を表すものである。

図２は、本実施形態におけるキャラクター画像の生成手法を説明するための図である。
本実施形態においてキャラクター画像は、図２に示すように、まず、人の顔を含む実写の画像から、基本形となる顔画像を生成する。
そして、テーマを決定し、決定したテーマに対応するように基本形の顔画像における顔のパーツ領域を、顔パーツを含む画像（以下、「顔パーツ画像」という。）と置き換える。即ち、生成された顔画像は、表情が１種類であるため、例えば喜怒哀楽を表しているポーズ画像にそのまま合成すると、身体の表現と顔の表情が合わないキャラクター画像が生成されることになるため、テーマに対応した顔パーツを置き換える。
さらに、テーマに対応するポーズ画像を選択する。
なお、本実施形態においては、顔パーツ画像と、ポーズ画像は、共通の画像を用いる。即ち、異なる対象においてキャラクター画像を生成する場合でも、同一の顔パーツ画像と、ポーズ画像を用いる。
その後、決定したテーマに顔パーツを置き換えた顔画像と、選択されたポーズ画像と、を合成して、キャラクター画像を生成する。
具体的には、＜お願い＞のテーマが決定された場合には、顔画像を＜テーマ：お願い＞に対応する顔パーツである目をウインクした目に変更して、対応するポーズ画像と合成することで、お願いポーズのキャラクター画像が生成される。
また、＜悲しい＞のテーマが決定された場合には、顔画像を＜テーマ：悲しい＞に対応する顔パーツである両目と口を変更して、対応するポーズ画像と合成することで、＜テーマ：悲しい＞のキャラクター画像が生成される。

図３は、人物Ａとは異なる人物Ｂで作成した場合のキャラクター画像の比較例を示す図である。
上述した手法で、人物Ａとは異なる人物Ｂの別人の画像からキャラクター画像を生成すると、図３に示すように、仮に同一のポーズであっても、全体の印象が異なり、別のキャラクター画像となる効果を有する。
実際には、テーマが共通であり、共通に顔パーツ（＜お願い＞のテーマではウインク、＜悲しい＞のテーマでは悲しい目と口）を置き換えたに過ぎないが、髪型や目・口・眉毛等の形状が異なるため別人であると識別される。即ち、置き換えた顔パーツが別人性に影響を与えていない。即ち、どちらのキャラクター画像も同じウインク、悲しい目、悲しい口と、まったく同じ画像で置き換えているが、あたかも基本形の顔画像がそれぞれの表情に変わっているような印象を与える。置き換える顔のパーツであるがイラスト的に、笑ったときの目の形は上向きの円弧状のイラスト、泣いたときの目の形は下向きの円弧状のイラストで表現でき、笑ったときの口は大きく開けている口のイラスト、悲しいときの口は上向きの円弧（への字口）のイラストで表現できるため、元の顔のイラストのパーツに関係なく、笑い、ウインク、泣きでそれぞれ１種類ずつ置き換えパーツを用意しておけば、それに置き換えるだけで表情を変えることができる。
また、置き換えたパーツは、各人に対応しているわけではなく同じ顔パーツであるため、特別に顔パーツを用意しておく必要がない。

したがって、撮像装置１では、顔パーツを置き換えるだけで、簡単にテーマに対応したキャラクター画像を生成することができる。また、置き換え対象として、顔のパーツ単位であり、さらに、対象に関わらず共通の顔パーツ画像や、ポーズ画像を用いるため、生成にかかるデータ量を少なくすることができる。
また、撮像装置１では、顔パーツ以外の顔の部分は、実写の画像から生成するために、顔パーツ画像とポーズ画像が同様でも、異なるキャラクター画像であることを識別することができるキャラクター画像となる。

図４は、このような撮像装置１の機能的構成のうち、キャラクター画像生成処理を実行するための機能的構成を示す機能ブロック図である。
キャラクター画像生成処理とは、元画像から生成した顔画像をテーマに対応した顔パーツに置き換えて、テーマに対応したポーズ画像と合成して、キャラクター画像を生成する一連の処理をいう。

キャラクター画像生成処理を実行する場合には、図４に示すように、ＣＰＵ１１において、元画像取得部５１と、顔画像生成部５２と、テーマ決定部５３と、顔パーツ置換部５４と、キャラクター画像生成部５５と、が機能する。

また、記憶部１９の一領域には、元画像記憶部７１と、テーマテーブル記憶部７２と、パーツ画像記憶部７３と、キャラクター画像記憶部７４と、が設定される。

元画像記憶部７１には、撮像部１６やインターネットを介して外部から取得した画像（処理対象となる元画像）のデータが記憶される。本実施形態においては、人の顔を撮影した実写の画像のデータが記憶される。

テーマテーブル記憶部７２には、テーマと顔パーツが対応付けられたテーマテーブルが記憶される。
図５は、テーマテーブル記憶部７２に記憶されるテーマテーブルを説明するための模式図である。
テーマテーブルは、図５に示すように、ポーズの内容に対応するテーマ番号（［テーマＮＯ．］）と、各顔パーツ（目の状態を示す［目パーツ］・ウインクの有無を示す［ウインク］・口の状態を示す［口パーツ］）における状態及び各顔パーツの画像データを対応付けているテーブルである。［目パーツ：笑い／泣き］は、顔パーツのうち目のパーツ：笑い／泣きの顔パーツ画像を選択することを意味し、［ウインク：ウインク］は、顔パーツのうち目においてウインク有りでありウインクの顔パーツ画像を選択することを意味し、［口パーツ：笑い／泣き］は、顔パーツのうち口のパーツ：笑い／泣きの顔パーツ画像を選択することを意味する。

パーツ画像記憶部７３には、顔パーツ画像と、テーマに対応したポーズ画像等のキャラクター画像の生成に用いる各種パーツ画像のデータが記憶される。
ここで、「顔パーツ画像」は、例えば、図２及び３に示すような、両目、口、片目（ウインク）等の顔の部位に対応した画像であり、対象となる顔画像に関わらず共通の画像である。
また、「ポーズ画像」は、本実施形態においては、図２及び３に示すように、顔以外の身体を含み、さらに、テーマに対応した背景イメージを含む。

キャラクター画像記憶部７４には、生成されたキャラクター画像のデータが記憶される。

元画像取得部５１は、ユーザによる入力部１７を介した画像の選択操作に基づいて、元画像記憶部７１に記憶される顔画像の生成対象となる元画像を取得する。

顔画像生成部５２は、元画像取得部５１によって取得された元画像の顔領域に基づいて、顔画像を生成する。元画像から生成される顔画像は、顔パーツの置き換えを行っていないため、基本形の顔画像となる。

テーマ決定部５３は、ユーザによる入力部１７を介したテーマ決定操作に基づいて、テーマを決定する。テーマ決定部５３により決定されるテーマは、本実施形態においては、「嬉しい」、「笑い」、「怒り」、「泣き」、「驚き」、「平常心」、「お願い」等の人の感情を表現したポーズである。

顔パーツ置換部５４は、テーマ決定部５３により決定したテーマに基づいて、テーマテーブル記憶部７２に記憶されるテーマテーブルを参照して、パーツ画像記憶部７３に記憶される対応する顔パーツ画像と、顔画像の顔パーツを置き換える。顔パーツ置換部５４による顔画像の顔パーツの置き換えの結果、テーマに対応した顔画像（以下、「テーマ対応の顔画像」という。）が生成されることになる。

キャラクター画像生成部５５は、顔画像生成部５２及び顔パーツ置換部５４によって生成されたテーマ対応の顔画像と、パーツ画像記憶部７３に記憶されたテーマに対応するポーズ画像とを合成して、キャラクター画像を生成する。
パーツ画像記憶部７３は、生成したキャラクター画像をキャラクター画像記憶部７４に記憶させたり、出力部１８に表示出力させたりする。

図３は、図２の機能的構成を有する図１の撮像装置１が実行するキャラクター画像生成処理の流れを説明するフローチャートである。
キャラクター画像生成処理は、ユーザによる入力部１７へのキャラクター画像生成処理開始の操作により開始される。

ステップＳ１１において、元画像取得部５１は、ユーザによる入力部１７を介した画像の選択操作に基づいて、顔画像の生成対象となる元画像を元画像記憶部７１から取得する。

ステップＳ１２において、顔画像生成部５２は、元画像取得部５１によって取得された元画像の顔領域に基づいて、顔画像（基本形の顔画像）を生成する。

ステップＳ１３おいて、テーマ決定部５３は、ユーザによる入力部１７を介したテーマ決定操作に基づいて、テーマを決定する。具体的には、テーマ決定部５３は、「笑い」、「怒り」、「泣き」、「驚き」、「平常心」のポーズの中から１つのポーズを決定する。具体的には、テーマ決定部５３は、「笑い」、「怒り」、「泣き」、「驚き」、「平常心」のテーマの中から、「笑い」のテーマを決定する。

ステップＳ１４において、顔パーツ置換部５４は、テーマ決定部５３によって決定されたテーマに対応するテーマテーブルをテーマテーブル記憶部７２から読み込む。具体的には、顔パーツ置換部５４は、「笑い」のポーズに対応するパーツテーブルをテーマテーブル記憶部７２から読み込む。

ステップＳ１５において、顔パーツ置換部５４は、読み込んだテーマテーブルに基づいて、目を変更するか否かを判定する。
目を変更しない場合には、ステップＳ１５においてＮＯと判定されて処理はステップＳ１７に進む。ステップＳ１７以降の処理は後述する。
目を変更する場合には、ステップＳ１５においてＹＥＳと判定されて処理はステップＳ１６に進む。

ステップＳ１６において、顔パーツ置換部５４は、テーマテーブルに基づいて、顔画像のうち目のパーツをパーツ画像記憶部７３に記憶される目のパーツ画像と置き換える。

ステップＳ１７において、顔パーツ置換部５４は、ウインクに変更するか否かを判定する。
ウインクに変更しない場合には、ステップＳ１７においてＮＯと判定されて処理はステップＳ１９に進む。
ウインクに変更しない場合には、ステップＳ１８においてＹＥＳと判定されて処理はステップＳ１８に進む。

ステップＳ１８において、顔パーツ置換部５４は、テーマテーブルに基づいて、顔画像のうちウインクに対応する目のパーツをパーツ画像記憶部７３に記憶される目のパーツ画像と置き換える。

ステップＳ１９において、顔パーツ置換部５４は、口を変更するか否かを判定する。
口を変更しない場合には、ステップＳ１９においてＮＯと判定されて処理はステップＳ２１に進む。
口を変更しない場合には、ステップＳ１９においてＹＥＳと判定されて処理はステップＳ２０に進む。

ステップＳ２０において、顔パーツ置換部５４は、テーマテーブルに基づいて、顔画像のうち口のパーツをパーツ画像記憶部７３に記憶される口の顔パーツ画像と置き換える。テーマテーブルに基づいて、全ての顔のパーツが置き換えられた結果、ポーズ対応の顔画像が生成される。

ステップＳ２１において、キャラクター画像生成部５５は、テーマ決定部５３によって決定されたテーマに対応するポーズ画像と、顔画像生成部５２及び顔パーツ置換部５４によって生成されたポーズ対応の顔画像とを合成してキャラクター画像を生成する。

ステップＳ２２において、キャラクター画像生成部５５は、生成したキャラクター画像をキャラクター画像記憶部７４に記憶させたり、出力部１８に表示出力させたりする。その後、キャラクター画像生成処理は終了する。

したがって、テーマ毎にポーズ画像と変更する顔パーツ画像とが対応するテーマテーブルを用意し、テーマに応じて、テーマを表現する喜怒哀楽に合った顔パーツを置き換えることにより、ポーズ画像の喜怒哀楽と顔の喜怒哀楽を合わせる。目の顔パーツは閉じた状態で、上向きの円弧と下向きの円弧のものを用意し、口の顔パーツは開いたときとへの字口のものを用意し、それぞれを組み合わせて元の顔パーツから置き換えることにより、さまざまな表情に変えることができる。このため、顔パーツを置き換えた顔画像とさまざまなポーズとの合成が可能になり、バラエティに富んだキャラクター画像を生成することができる。目の顔パーツ、口の顔パーツと最低限の置き換え用のパーツを、どんな顔画像にも適用できるようにしたので、顔パーツ画像を記憶する容量を圧迫せずに済む。

以上のように構成される撮像装置１は、元画像取得部５１と、顔画像生成部５２と、テーマ決定部５３と、顔パーツ置換部５４と、キャラクター画像生成部５５と、を備える。
元画像取得部５１は、元画像である顔画像を取得する。
顔画像生成部５２は、元画像取得部５１により取得された元画像である顔画像の顔領域に基づいて、第１の画像である顔画像を生成する。
テーマ決定部５３は、生成すべき画像の主題であるテーマを決定する。
顔パーツ置換部５４は、テーマ決定部５３によって決定された生成する画像の主題であるテーマに基づいて、第１の画像である顔画像の部分領域の画像を変更するか否かを判断し、変更すると判断された場合に、主題に対応する画像に変更する。
キャラクター画像生成部５５は、テーマ決定部５３によって決定された生成する画像の主題であるテーマに基づいて、第１の画像である顔画像に対応する対応画像であるポーズ画像を選択する。
キャラクター画像生成部５５は、顔パーツ置換部５４によって変更された第１の画像である顔画像と、選択された対応画像であるポーズ画像とを合成して第２の画像であるキャラクター画像を生成する。
これにより、撮像装置１においては、データ量を少なく多彩なキャラクターの表情が表現されるキャラクター画像を生成することができる。

顔パーツ置換部５４は、第１の画像である顔画像のうち、顔を構成する部分領域の画像を変更する。
これにより、撮像装置１においては、より多彩なキャラクター画像を生成することができる。

また、撮像装置１は、生成すべき画像の主題であるテーマに対応した顔を構成する各部位の画像である顔パーツ画像（部位画像）を記憶するパーツ画像記憶部７３を備える。
顔パーツ置換部５４は、パーツ画像記憶部７３に記憶されている部位画像である顔パーツ画像を選択して顔の部分領域の画像を変更する。
これにより、撮像装置１においては、予め記憶したテーマに対応したポーズ画像を用いることで顔パーツ画像の生成の手間が少なく、かつ、生成にかかるデータ量も少なくすることができる。

顔パーツ置換部５４は、テーマ決定部５３により決定された主題に対応する顔に対応する身体を含む画像を対応画像であるポーズ画像として生成する。
これにより、撮像装置１においては、顔以外の部分についても生成されるために、より多彩な表現となるキャラクター画像を生成することができる。

パーツ画像記憶部７３は、生成すべき画像の主題であるテーマに対応した対応画像であるポーズ画像を記憶する。
顔パーツ置換部５４は、生成すべき画像の主題であるテーマに対応した対応画像であるポーズ画像をパーツ画像記憶部７３に記憶されている対応画像の中から選択する。
これにより、撮像装置１においては、予め記憶したテーマに対応したポーズ画像を用いることでポーズ画像の生成の手間が少なく、かつ、生成にかかるデータ量も少なくすることができる。

生成すべき画像の主題であるテーマとは、人の感情を表現するものである。
これにより、撮像装置１においては、より多彩な表現となるキャラクター画像を生成することができる。

なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

上述の実施形態では、ポーズ画像は、顔以外の身体と、背景イメージを含むように構成したが、顔画像と共にテーマを表現するものであればよく、例えば、顔以外の身体や上半身のみや背景イメージを加えたモノ等であってもよい。

また、上述の実施形態では、テーマの決定を、ユーザによって行っていたが、例えば、元画像の顔の表情の判定結果を利用して、テーマの決定を行うように構成してもよい。また、主題であるテーマは人の感情を表現するものに限らず、人の仕草、姿勢、行動等であってもよい。

また、上述の実施形態では、本発明が適用される撮像装置１は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、キャラクター画像生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図４の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図４の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ），Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１９に含まれるハードディスク等で構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。

以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
顔画像を取得する取得手段と、
前記取得手段により取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成手段と、
生成すべき画像の主題を決定する決定手段と、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断手段と、
前記判断手段によって変更すると判断された場合に、前記主題に対応する画像に変更する変更手段と、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択手段と、
前記変更手段によって変更された前記第１の画像と、前記選択手段によって選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
を備えることを特徴とする画像生成装置。
［付記２］
前記変更手段は、前記第１の画像のうち、前記顔を構成する部位を単位として部分領域の画像を変更する、
ことを特徴とする付記１に記載の画像生成装置。
［付記３］
前記生成すべき画像の主題に対応した顔を構成する各部位の画像である部位画像を記憶する第１の画像記憶手段を備え、
前記変更手段は、前記第１の画像記憶手段に記憶されている前記部位画像の中から、前記主題に対応する部位画像を選択して前記顔の部分領域の画像を変更する、
ことを特徴とする付記１又は２に記載の画像生成装置。
［付記４］
前記選択手段は、前記決定手段によって決定された前記主題に対応する身体を含む画像を前記対応画像として選択する、
ことを特徴とする付記１乃至３の何れか１つに記載の画像生成装置。
［付記５］
前記対応画像は、人物の姿勢や行動を表現した画像である、
ことを特徴とする付記１乃至４の何れか１つに記載の画像生成装置。
［付記６］
前記生成すべき画像の主題に対応した前記対応画像を記憶する対応画像記憶手段を備え、
前記選択手段は、前記決定手段によって決定された前記主題に基づいて、対応する前記対応画像を前記対応画像記憶手段に記憶されている対応画像の中から選択する、
ことを特徴とする付記５に記載の画像生成装置。
［付記７］
前記生成すべき画像の主題とは、人の感情、仕草、姿勢、行動の少なくとも１つを表現するものである、
ことを特徴とする付記１乃至６の何れか１つに記載の画像生成装置。
［付記８］
顔画像を取得する取得ステップと、
前記取得ステップにより取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成ステップと、
生成すべき画像の主題を決定する決定ステップと、
前記決定ステップによって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断ステップと、
前記判断ステップによって変更すると判断された場合に、前記主題に対応する画像に変更する変更ステップと、
前記決定ステップによって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択ステップと、
前記変更ステップによって変更された前記第１の画像と、前記選択ステップによって選択された前記対応画像とを合成して第２の画像を生成する第２の生成ステップと、
を含むことを特徴とする画像生成方法。
［付記９］
コンピュータを、
顔画像を取得する取得手段、
前記取得手段により取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成手段、
生成すべき画像の主題を決定する決定手段、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断手段、
前記判断手段によって変更すると判断された場合に、前記主題に対応する画像に変更する変更手段、
前記決定手段によって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択手段、
前記変更手段によって変更された前記第１の画像と、前記選択手段によって選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段、
として機能させることを特徴とするプログラム。

１・・・撮像装置，１１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・入力部，１８・・・出力部，１９・・・記憶部，２０・・・通信部，２１・・・ドライブ，３１・・・リムーバブルメディア，５１・・・元画像取得部，５２・・・顔画像生成部，５３・・・テーマ決定部，５４・・・顔パーツ置換部，５５・・・キャラクター画像生成部，７１・・・元画像記憶部，７２・・・テーマテーブル記憶部，７３・・・パーツ画像記憶部，７４・・・キャラクター画像記憶部

Claims (9)

1. 顔画像を取得する取得手段と、
   前記取得手段により取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成手段と、
   生成すべき画像の主題を決定する決定手段と、
   前記決定手段によって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断手段と、
   前記判断手段によって変更すると判断された場合に、前記主題に対応する画像に変更する変更手段と、
   前記決定手段によって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択手段と、
   前記変更手段によって変更された前記第１の画像と、前記選択手段によって選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段と、
   を備えることを特徴とする画像生成装置。
2. 前記変更手段は、前記第１の画像のうち、前記顔を構成する部位を単位として部分領域の画像を変更する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記生成すべき画像の主題に対応した顔を構成する各部位の画像である部位画像を記憶する第１の画像記憶手段を備え、
   前記変更手段は、前記第１の画像記憶手段に記憶されている前記部位画像の中から、前記主題に対応する部位画像を選択して前記顔の部分領域の画像を変更する、
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記選択手段は、前記決定手段によって決定された前記主題に対応する身体を含む画像を前記対応画像として選択する、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像生成装置。
5. 前記対応画像は、人物の姿勢や行動を表現した画像である、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像生成装置。
6. 前記生成すべき画像の主題に対応した前記対応画像を記憶する対応画像記憶手段を備え、
   前記選択手段は、前記決定手段によって決定された前記主題に基づいて、対応する前記対応画像を前記対応画像記憶手段に記憶されている対応画像の中から選択する、
   ことを特徴とする請求項５に記載の画像生成装置。
7. 前記生成すべき画像の主題とは、人の感情、仕草、姿勢、行動の少なくとも１つを表現するものである、
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像生成装置。
8. 顔画像を取得する取得ステップと、
   前記取得ステップにより取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成ステップと、
   生成すべき画像の主題を決定する決定ステップと、
   前記決定ステップによって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断ステップと、
   前記判断ステップによって変更すると判断された場合に、前記主題に対応する画像に変更する変更ステップと、
   前記決定ステップによって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択ステップと、
   前記変更ステップによって変更された前記第１の画像と、前記選択ステップによって選択された前記対応画像とを合成して第２の画像を生成する第２の生成ステップと、
   を含むことを特徴とする画像生成方法。
9. コンピュータを、
   顔画像を取得する取得手段、
   前記取得手段により取得された前記顔画像の顔領域に基づいて、第１の画像を生成する第１の生成手段、
   生成すべき画像の主題を決定する決定手段、
   前記決定手段によって決定された前記主題に基づいて、前記第１の画像の部分領域の画像を変更するか否かを判断する判断手段、
   前記判断手段によって変更すると判断された場合に、前記主題に対応する画像に変更する変更手段、
   前記決定手段によって決定された前記主題に基づいて、前記第１の画像に対応する対応画像を選択する選択手段、
   前記変更手段によって変更された前記第１の画像と、前記選択手段によって選択された前記対応画像とを合成して第２の画像を生成する第２の生成手段、
   として機能させることを特徴とするプログラム。

Images