JP2010160826A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することにより、ユーザからの画像変形処理に対する細かな要求に応えることを可能とする。
【解決手段】画像を撮像するカメラ部１７と、撮像される画像のプレビュー画像が表示される表示部１９と、複数の輪郭線を有する撮影テンプレートを記憶するデータフォルダ部１４と、撮影テンプレートをプレビュー画像に重ねて表示部１９に表示し、撮像画像中の前記輪郭線で囲まれていたエリアのうち、少なくともいずれか１つのエリアについての画像変形処理を行う主制御部１１とを備える。
【選択図】図１

Description

本発明は、撮像装置および画像処理方法に関する。

従来、画像変形処理技術の一つとして、コンピュータグラフィックスのアニメーション生成などに用いられるモーフィング技術が知られている。モーフィング技術では、一つの静止画Ａと異なるもう一つの静止画Ｂとを関連付けし、静止画Ａと静止画Ｂとでそれぞれ特徴点を抽出する。そして、静止画Ａの特徴点から静止画Ｂの特徴点までをある時間で遷移していく様を予想し、この遷移経路中の座標や色データを特定する。これにより、アニメーションの動画データを生成したり、遷移の途中経過を一つの静止画像として抽出し、この画像を原画像からの変形画像としたりすることができる。

上記したモーフィング技術を例えばデジタルカメラに適用し、一般ユーザが撮影した撮像画像をモーフィング処理して変形画像を得ることがなされている。このデジタルカメラでは、撮影者が撮影時に被写体を確認するための液晶パネルに、被写体とともにマーキングを表示している。これにより、例えば人の上半身の輪郭をマーキングとして表示し、撮影者が被写体となる人をマーキングに合わせた状態で撮影すれば、モーフィング処理の原画像となる被写体画像からモーフィング処理を行う際の特徴点を容易に検出することが可能となる。

また、近年、デジタルカメラを内蔵した携帯電話機が普及しており、携帯電話機で人の顔を撮影したりして手軽に写真撮影を楽しむことができるようになっている（例えば、特許文献１参照）。

特開２００２−３００４５４号公報

しかし、上述した従来のマーキングを用いたモーフィング処理では、ユーザからのモーフィング処理に対する細かな要求に応えることができないという問題が生じている。例えば、人の顔を撮影してモーフィング処理するにしても、目だけ、口だけ、鼻だけといった特定の一部分だけをモーフィング処理させたいという要求や、目と口だけといった特定の複数部分だけをモーフィング処理させたいという要求がある。このように、被写体を部分的にモーフィング処理するにも多様な要求があり、従来の技術ではこれらの要求には十分に応えることができない。

本発明は、このような事情を考慮してなされたもので、その目的は、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することにより、ユーザからの画像変形処理に対する細かな要求に応えることができる撮像装置および画像処理方法を提供することにある。

上記の課題を解決するために、本発明は、以下の手段を採用した。

本発明に係る撮像装置は、撮像手段と、操作手段と、前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示する表示手段と、前記撮像手段により撮影した顔画像に対し、目、鼻、口のいずれか前記操作手段により指定された部位の変形を行う制御手段と、を備え、前記制御手段は、前記操作手段により目、鼻、口のいずれかの部位の変形が指示されたときに部位ごとの変形を施す対象領域をそれぞれ特定する複数の撮影補助線を、前記撮像手段による撮像を行う際にプレビュー画像に重畳して前記表示手段に表示することを特徴とする。

また、前記制御手段は、前記複数の撮影補助線として、目、鼻、口のそれぞれの形状の撮影補助線を、顔の形状に配してプレビュー画像に重畳することを特徴とする。

また、前記制御手段は、前記目、鼻、口のそれぞれに、複数の異なる画像変形処理手法を有することを特徴とする。

本発明に係る撮像装置は、撮像手段と、操作手段と、前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔位置を特定するための撮影補助手段を重ねて表示する表示手段と、前記撮像手段により撮影した顔画像に対し、当該顔画像に関する変形方法を選択させる選択肢を前記表示手段に表示させる制御手段と、を備え、前記制御手段は、前記操作手段により、前記選択肢のうち、第１の変形を指示する選択肢が選ばれた場合には、前記顔画像に対して顔を構成する部位のいずれかの変形処理を行った後、変形後の画像を前記表示手段に表示させ、第２の変形を指示する選択肢が選択された場合には、前記顔画像に対して総合的な変形処理を行った後、変形後の画像を前記表示手段に表示させることを特徴とする。

また、前記制御手段は、前記撮影補助手段として、目、鼻、口の少なくとも２つの部位の形状を模した撮影補助線を、顔の形状に配してプレビュー画像に重畳することを特徴とする。

また、前記制御手段は、前記第１の変形を指示する選択肢が選ばれた場合には、前記撮像手段で前記顔画像を撮影したときに、当該顔画像のうち、前記撮影補助線のうちのいずれかの部位が重畳されていた領域についての変形処理を行うことを特徴とする。

また、前記制御手段は、前記第２の変形を指示する選択肢が選択された場合には、前記表示手段に複数のキャラクター画像を表示させ、当該複数のキャラクター画像のうち、前記操作手段により選択されたキャラクター画像に対応する変形処理を行うことを特徴とする。

本発明に係る撮像装置は、撮像手段と、操作手段と、前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔位置を特定するための撮影補助手段を重ねて表示する表示手段と、複数のキャラクター画像を記憶する記憶手段と、前記撮像手段により撮影した顔画像に対する変形処理の候補として、前記複数のキャラクター画像を前記表示手段に表示させ、前記操作手段により選択されたキャラクター画像を合成する変形処理を、前記顔画像のうち撮影時に前記撮影補助手段によって顔として特定された領域に対して行い、変形処理後の画像を前記表示手段に表示させる制御手段と、を備えることを特徴とする。

また、前記複数の合成対象画像には、人間以外の画像を含むことを特徴とする。

また、前記制御手段は、変形処理としてモーフィング処理を行い、変形処理後の画像を前記表示手段に表示させる際には原画像から変形画像に遷移する経過を動画で表示することを特徴とする。

本発明に係る画像処理方法は、撮像手段と表示手段とを備える撮像装置における画像処理方法であって、撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するプレビュー表示ステップと、前記撮像手段により撮影した顔画像に対し、目、鼻、口のいずれかの変形処理を指定する指定ステップと、前記顔画像に対し、前記指定ステップにより指定された部位の変形処理を行う変形処理ステップと、を備え、前記プレビュー表示ステップは、目、鼻、口のいずれか指定された部位の変形が指示されたときに部位ごとの変形を施す対象領域をそれぞれ特定する複数の撮影補助線を、プレビュー画像に重畳して前記表示手段に表示することを特徴とする。

本発明に係る画像処理方法は、撮像手段と表示手段とを備える撮像装置における画像処理方法であって、撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔の位置を特定するための撮影補助手段を重ねて表示するプレビュー表示ステップと、前記撮像手段により撮影した顔画像に対し、当該顔画像に関する変形処理を行う変形処理ステップと、前記変形処理における変形方法を選択するための選択肢を前記表示手段に表示して、いずれかの変形方法を選択させる選択ステップと、を備え、前記変形処理ステップは、前記選択ステップにおいて、第１の変形を指示する選択肢が選ばれた場合には、前記顔画像に対して顔を構成する部位のいずれかの変形処理を行った後、変形後の画像を前記表示手段に表示し、第２の変形を指示する選択肢が選択された場合には、前記顔画像に対して顔全体の総合的な変形処理を行った後、変形後の画像を前記表示手段に表示することを特徴とする。

本発明に係る画像処理方法は、撮像手段と表示手段と記憶手段とを備える撮像装置における画像処理方法であって、撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔の位置を特定するための撮影補助手段を重ねて表示するプレビュー表示ステップと、前記撮像手段により撮影した顔画像に対する変形処理の候補として、前記記憶手段に記憶される複数のキャラクター画像を前記表示手段に表示して、いずれかのキャラクター画像を選択させる選択ステップと、前記選択ステップにおいて選択されたキャラクター画像を合成する変形処理を、前記顔画像のうち撮影時に前記撮影補助手段によって顔として特定された領域に対して行い、変形処理後の画像を前記表示手段に表示させる変形処理ステップと、を備えることを特徴とする。

本発明によれば、撮像画像を画像変形処理する撮像装置において、画像変形対象となりうる撮像エリアを撮影者に分かりやすく明示することができる。これにより、ユーザからの画像変形処理に対する細かな要求に応えることが可能となる。

本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。 図１に示す携帯電話機１の外観図である。 図１に示す携帯電話機１の外観図である。 撮影テンプレートの一例を示す表示画面の構成例である。 第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。 撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。 第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。 第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。 第１の実施形態に係る変形画像の一例である。 図９の変形画像に係るモーフィング処理の原画像となった撮像画像１２１である。 第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。 キャラクター選択メニュー画面Ｐ２−４の一例である。 第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。 第２の実施形態に係る変形画像の一例である。

以下、図面を参照し、本発明の一実施形態について説明する。
本実施形態においては、撮像装置の具体的な例として、デジタルカメラを内蔵した携帯電話機を挙げて説明する。
図１は、本発明の一実施形態に係る携帯電話機１の構成を示すブロック図である。
図１において、主制御部１１は携帯電話機１の主な制御機能を有し、各部を制御する。
電源制御部１２は電源に係る制御機能を有する。
メモリ１３は、主制御部１１で使用されるデータ等を記憶する。
データフォルダ部１４は、カメラ部１７により撮像された撮像画像データなどの記録データを保持する記憶手段であり、例えば書き込み可能な不揮発性メモリから構成される。

キー入力部１５は、電話番号等の入力用のテンキー、各種ファンクションキー、ソフトキー等を有する。
無線通信部１６は、アンテナを介して無線信号を送受信し、音声通話又はデータ通信を行う。
カメラ部１７は、レンズ、ＣＣＤ（撮像素子）、ＣＣＤによる画像信号からデジタル画像データを生成する信号処理回路等を有する。
画面制御部１８は、表示部１９で表示する画面を制御する。
表示部１９は、表示パネル、例えば液晶表示パネルを有する。
音声入出力部２０は、マイク、スピーカ、音声信号とデジタル音声データの相互変換を行う信号処理回路等を有する。

図２、図３は、図１に示す携帯電話機１の外観図である。
携帯電話機１は、携帯電話機の構造の一例として折り畳みタイプの構造を有しており、図２は折り畳みの対向面側の平面図、図３は折り畳みの外面側の平面図である。
図２において、第１の筐体１ａの対向面側には第１の表示パネル１９ａおよびスピーカ２０ａが設けられている。
第２の筐体１ｂの対向面側にはキー入力部１５およびマイク２０ｂが設けられている。キー入力部１５はソフトキー１５ａ，１５ｂ，１５ｃを有する。ソフトキーとは、キーに割付けられる機能がソフトウェアの設定により場面ごとに変更可能なキーである。そして、場面ごとに現在の割付け機能が表示パネル１９ａに表示される。これにより、ユーザはソフトキー１５ａ，１５ｂ，１５ｃの現在の機能を把握して操作することができる。

図３において、第１の筐体１ａの外面側には第２の表示パネル１９ｂおよびカメラ部１７のレンズ１７ａとＣＣＤ１７ｂが設けられている。第２の筐体１ｂの外面側にはアンテナ１６ａが設けられている。

上記した携帯電話機１を用いて撮影する際には、カメラ部１７により撮像される画像のプレビュー画像が表示パネル１９ａ又は１９ｂに表示される。ユーザはそのプレビュー画像により被写体を確認し、キー入力部１５を操作して撮影を指示する。この撮影指示により当該指示時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。

上記した主制御部１１は、画像変形処理の一つであるモーフィング処理を行う。このモーフィング処理では、カメラ部１７で撮像された撮像画像を原画像として使用する。また、主制御部１１は、ユーザ操作によりモーフィング処理を行うための撮影モードが選択されると、プレビュー画像に重ねて撮影テンプレートを表示させる。
撮影テンプレートは、モーフィング処理の処理対象となりうる複数の撮像エリアを明示するためのものである。撮影テンプレートデータは、データフォルダ部１４に記憶されている。

図４は、撮影テンプレートの一例を示す表示画面の構成例である。図４の例では、人の顔を撮影するための撮影テンプレート１００が表示パネル１９ａに表示されている。
撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されている。
これら輪郭線１０１〜１０５は、人の顔の形状に表示される。輪郭線１０１〜１０５の個々の座標データは、撮影テンプレート１００の撮影テンプレートデータとしてデータフォルダ部１４に記憶されている。座標データは、表示画面上の位置を示す。

上記撮影テンプレート１００は、複数の輪郭線１０１〜１０５を有するが、輪郭線１０１〜１０５で囲まれる一つ一つのエリアがそれぞれモーフィング処理の処理対象となりうる撮像エリアである。
主制御部１１は、撮像画像中のそれら輪郭線１０１〜１０５で囲まれていたエリアのうち、少なくともいずれか１つのエリアについてのモーフィング処理を行う。主制御部１１は、各輪郭線１０１〜１０５の座標データに基づいて、撮像画像中のエリアと各輪郭線１０１〜１０５で囲まれていたエリアとの対応付けを行う。例えば、撮像画像中のエリアのうち、右目の輪郭線１０２の座標データに対応するエリアが、輪郭線１０２で囲まれていたエリアであると判断する。

撮影時には、ユーザは、図２の表示パネル１９ａに表示されるプレビュー画像により被写体を確認し、被写体となる人の顔を表示画面上で撮影テンプレート１００に重ね合わせて撮影する。これにより、撮影時点のプレビュー画像が撮像画像としてデータフォルダ部１４に記録される。この撮像画像には、表示画面上で撮影テンプレート１００と重なり合った被写体の顔の画像が含まれている。

そして、被写体の顔のうち、例えば目の部分だけをモーフィング処理する場合、撮像画像中の輪郭線１０２および１０３に対応するエリアの画像をモーフィング処理の第１の原画像とする。目の部分のモーフィング処理に使用する第２の原画像には、目の変形候補データを使用する。目の変形候補データは、目の輪郭線の座標データである。
また、丸目、細目、つり目、垂れ目などの様々な目の形に変形可能なように、複数の目の形の輪郭線の変形候補データがデータフォルダ部１４に記憶されている。主制御部１１は、第１の原画像から目の輪郭線を抽出し、この輪郭線を第２の原画像の輪郭線に遷移させるモーフィング処理を行い、変形画像を生成する。例えば、第１の原画像の目の輪郭線を丸目の輪郭線に遷移させるモーフィング処理を行う。
そして、丸目に遷移する動画データを生成したり、遷移の途中経過を一つの静止画像として抽出する。なお、片方の目、例えば右目だけをモーフィング処理することも可能である。

なお、撮影テンプレート１００の変形候補データとしては、上記した目に関するデータの他、顔全体の輪郭線の変形候補データ、鼻の輪郭線の変形候補データおよび口の輪郭線の変形候補データが、データフォルダ部１４にそれぞれ複数記憶されている。

次に、上記したモーフィング処理に係る動作手順を説明する。
図５、図７、図８は、第１の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。
先ず、図５において、ユーザは、キー入力部１５を操作してメニュー選択画面Ｐ１−１を表示させる。
次いで、ユーザがメニュー選択画面Ｐ１−１から撮影モード設定を選択すると、主制御部１１は、撮影モード設定画面Ｐ１−２を表示する。
次いで、ユーザがメニュー選択画面Ｐ１−２から顔変形を選択すると、主制御部１１は、顔変形用の撮影テンプレート１００のデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ１−３に表示する。撮影プレビュー画面Ｐ１−３には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレート１００が表示される。

図６は、撮影プレビュー画面Ｐ１−３上に表示される画像の一例である。図６に示されるように、プレビュー画像１１０に重ねて撮影テンプレート１００が表示されている。
撮影テンプレート１００は、顔全体の輪郭線１０１、右目の輪郭線１０２、左目の輪郭線１０３、鼻の輪郭線１０４および口の輪郭線１０５から構成されており、各輪郭線１０１〜１０５は人の顔の形状に配置される。図６では、ユーザによって、被写体の人の顔が撮影テンプレート１００に重なり合うように、さらに、右目、左目、鼻、口が輪郭線１０２，１０３，１０４，１０５に重なり合うように、カメラアングル等が調節されている。

次いで、ユーザが撮影キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、押下時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ１−４に表示する。ユーザは撮像画像確認画面Ｐ１−４により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。

なお、ユーザは、撮像画像確認画面Ｐ１−４で撮像画像が気に入らなければ、戻るキー（ソフトキー１５ａ）を押下することにより、撮影プレビュー画面Ｐ１−３に戻ることができる。この場合、主制御部１１は、データフォルダ部１４に記録した撮像画像を破棄する。

次いで、撮像画像確認画面Ｐ１−４でＯＫキー（ソフトキー１５ｂ）が押下されると、図７において、主制御部１１は、顔変形メニュー画面Ｐ１−５を表示する。次いで、ユーザが顔変形メニュー画面Ｐ１−５からパーツ変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、パーツ変形メニュー画面Ｐ１−６を表示する。
パーツ変形メニュー画面Ｐ１−６には、モーフィング処理の処理対象に成り得る顔の構成要素名（目、鼻、口、輪郭）がメニュー項目として表示される。このパーツ変形メニュー画面Ｐ１−６により、ユーザは、顔の構成要素（目、鼻、口、顔全体の輪郭）のいずれをモーフィング処理の処理対象にするのかを任意に選択することができる。

次いで、ユーザがパーツ変形メニュー画面Ｐ１−６から目を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補メニュー画面Ｐ１−７を表示する。目の変形候補メニュー画面Ｐ１−７には、目の変形名（丸目、細目、つり目、垂れ目）がメニュー項目として表示される。目の変形候補メニュー画面Ｐ１−７により、ユーザは、目をどのような形（丸目、細目、つり目、垂れ目）に変形するのかを任意に選択することができる。
例えば垂れ目を選択し、ＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、目の変形候補として「垂れ目」を設定する。そして、画面表示をパーツ変形メニュー画面Ｐ１−６に戻す。なお、目の変形候補メニュ画面Ｐ１−７からＯＦＦを選択することにより、目の変形を中止することができる。

また、ユーザはパーツ変形メニュー画面Ｐ１−６で複数の顔の構成要素をモーフィング処理の処理対象に選択することができる。例えば、目と口をモーフィング処理したい場合、パーツ変形メニュー画面Ｐ１−６から目を選択した後、目の変形候補メニュー画面Ｐ１−７から目の変形候補を選択し、再度、パーツ変形メニュー画面Ｐ１−６から今度は口を選択した後、口の変形候補メニュー画面から目の変形候補を選択すればよい。

次いで、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の選択が終了したら、ユーザはパーツ変形メニュー画面Ｐ１−６で変形キー（ソフトキー１５ｃ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図８に示される変形中画面Ｐ１−８を表示する。
主制御部１１は、モーフィング処理の処理対象にする顔の構成要素およびその変形候補の各座標データをデータフォルダ部１４から読み出し、これら座標データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。なお、モーフィング処理の実行中には、変形中画面Ｐ１−８上にアニメーション等の画像を表示してもよい。これにより、たとえ処理に時間がかかったとしてもユーザに与える不安を軽減できる。

次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ１−９を表示する。変形後画像確認画面Ｐ１−９には、モーフィング処理した結果の変形画像を表示する。

図９は、第１の実施形態に係る変形画像の一例である。図９の変形画像１２０は、被写体の人の目の部分のみをモーフィング処理し、垂れ目に変形した場合の画像である。なお、図１０は、モーフィング処理の原画像となった撮像画像１２１である。

次いで、ユーザが変形後画像確認画面Ｐ１−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。

一方、ユーザが変形後画像確認画面Ｐ１−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ１−１０を表示する。モーフィングプレビュー画面Ｐ１−１０では、原画像から変形画像に遷移するまでの動画データを再生する。次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ１−１１を表示する。

次いで、保存画面Ｐ１−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ１−３を表示し、撮影可能状態に戻る。

上述した第１の実施形態によれば、モーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される複数の輪郭線によって明示することができる。これにより、ユーザはモーフィング処理させたい被写体部分を複数の輪郭線のいずれかに重ね合わせて撮像すれば、撮像画像を基に被写体の変形希望部分を変形処理させた画像を容易に得ることができる。
このように本実施形態によれば、被写体を部分的に変形処理させたいというユーザ要求に応えることができる。

また、人の顔の撮影テンプレートを用いることにより、人の顔を撮像して部分的に変形させることが容易となる。
なお、人以外の動物、犬や猫などの顔の撮影テンプレートを備えるようにしてもよい。これにより、愛犬などのペットの顔画像を簡単に変形させることが可能となる。

また、撮像後に、モーフィング処理させる被写体部分を選択することができる。これにより、ユーザの利便性が向上する。

また、一つの変形処理対象エリアに対して複数の画像変形パターンを提供することができる。これにより、ユーザの変形自由度が向上する。例えば、目を変形する場合に、丸目、細目、つり目、垂れ目などの多様な目の形の中から、ユーザが任意に変形させる先の形を選択することができる。

次に、第２の実施形態を説明する。
図１１、図１３は、第２の実施形態に係るモーフィング処理に係る動作手順を説明するための表示パネル１９ａの表示画面の構成例である。第２の実施形態に係る撮像装置は、上記した携帯電話機１と同様の構成である。
第２の実施形態では、上記第１の実施形態と同様に、主制御部１１は画像変形処理の一つであるモーフィング処理を行う。但し、モーフィング処理に使用する第１の原画像には上記第１の実施形態と同様にカメラ部１７で撮像された撮像画像を使用するが、第２の原画像には合成対象画像を使用する。合成対象画像は、撮像画像を変形する先の画像であり、予め撮像または作製されている。例えば、電車の正面の画像や、アニメーションのキャラクターの画像、犬等の動物の顔の画像などである。合成対象画像データおよび当該合成対象画像の座標データは、データフォルダ部１４に記憶されている。

また、合成対象画像用の撮影テンプレートとして、合成対象画像ごとに専用の撮影テンプレートを備える。合成対象画像は様々な形や大きさのものがあるので、同じ撮影テンプレートを用いて撮影したのでは、モーフィング処理における特徴点抽出時の精度が劣化するおそれがある。このため、合成対象画像ごとに適した撮影テンプレートを準備する。それぞれの合成対象画像用の撮影テンプレートデータ（座標データ）は、データフォルダ部１４に記憶されている。

先ず、図１１において、ユーザは、キー入力部１５を操作して、メニュー選択画面Ｐ２−１から撮影モード設定を選択し、さらに撮影モード設定画面Ｐ２−２から顔変形を選択する。これにより、主制御部１１は、顔変形メニュー画面Ｐ２−３を表示する。次いで、ユーザが顔変形メニュー画面Ｐ２−３からキャラクター変形を選択し、選択キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、キャラクター選択メニュー画面Ｐ２−４を表示する。
キャラクター選択メニュー画面Ｐ２−４には、モーフィング処理の原画像に成り得る合成対象画像がメニュー項目として表示される。このキャラクター選択メニュー画面Ｐ２−４により、ユーザは、撮像画像中の被写体部分をいずれの合成対象画像に合成するのかを任意に選択することができる。

図１２は、キャラクター選択メニュー画面Ｐ２−４の一例である。図１２の例では、犬や猫等の動物の顔画像、アニメーションのキャラクターの顔画像、電車の正面の画像などが合成対象画像の候補として表示されている。

次いで、ユーザがいずれかの合成対象画像を選択してＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、該選択された合成対象画像の画像データをデータフォルダ部１４から読み出して選択画像再生画面Ｐ２−５に表示する。ユーザは選択画像再生画面Ｐ２−５で合成対象画像を確認し、ＯＫキー（ソフトキー１５ｂ）を押下する。
なお、気に入らなければ、戻るキー（ソフトキー１５ａ）を押下してキャラクター選択メニュー画面Ｐ２−４に戻り、所望の合成対象画像を選択しなおすことができる。

次いで、選択画像再生画面Ｐ２−５でＯＫキー（ソフトキー１５ｂ）が押下されると、主制御部１１は、選択された合成対象画像用の撮影テンプレートのデータをデータフォルダ部１４から読み出して撮影プレビュー画面Ｐ２−６に表示する。
撮影プレビュー画面Ｐ２−６には、プレビュー画像が表示されると共に、そのプレビュー画像に重ねて撮影テンプレートが表示される。

次いで、ユーザが被写体を撮影テンプレートに重ね合わせて撮影すると、主制御部１１は、撮影時点のプレビュー画像を撮像画像としてデータフォルダ部１４に記録する。そして、この撮像画像を撮像画像確認画面Ｐ２−７に表示する。ユーザは撮像画像確認画面Ｐ２−７により被写体を確認し、問題なければＯＫキー（ソフトキー１５ｂ）を押下する。これにより、主制御部１１は、モーフィング処理を開始し、図１３に示される変形中画面Ｐ２−８を表示する。主制御部１１は、モーフィング処理の処理対象にする合成対象画像のデータをデータフォルダ部１４から読み出し、この合成対象画像データとデータフォルダ部１４に記録した撮像画像とを使用してモーフィング処理を行う。

次いで、モーフィング処理が終了すると、主制御部１１は、変形後画像確認画面Ｐ２−９を表示する。変形後画像確認画面Ｐ２−９には、モーフィング処理した結果の変形画像を表示する。

図１４は、第２の実施形態に係る変形画像の一例である。図１４の変形画像２００は、上記図１０の撮像画像１２１の被写体の人の顔を、図１２の合成対象画像２１０を基に変形するようにモーフィング処理した場合の画像である。

次いで、ユーザが変形後画像確認画面Ｐ２−９で保存キー（ソフトキー１５ｃ）を押下すると、主制御部１１は、その変形画像をデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。

一方、ユーザが変形後画像確認画面Ｐ２−９でＯＫキー（ソフトキー１５ｂ）を押下すると、主制御部１１は、モーフィングプレビュー画面Ｐ２−１０を表示する。モーフィングプレビュー画面Ｐ２−１０では、原画像から変形画像に遷移するまでの動画データを再生する。
次いで、ユーザが保存キー（ソフトキー１５ｂ）を押下すると、主制御部１１は、その動画データをデータフォルダ部１４に保存する。そして、保存画面Ｐ２−１１を表示する。

次いで、保存画面Ｐ２−１１が表示されたまま一定期間過ぎると（例えば３秒）、主制御部１１は、撮影プレビュー画面Ｐ２−６を表示し、撮影可能状態に戻る。

上述した第２の実施形態によれば、合成対象画像を使用したモーフィング処理の処理対象となりうる撮像エリアを、プレビュー画面に重ねて表示される輪郭線によって明示することができる。これにより、合成対象画像に合致したモーフィング処理をさせたい被写体部分を輪郭線に重ね合わせて撮像すれば、撮像画像中の被写体の変形希望部分と合成対象画像とを基にモーフィング処理させた画像を容易に得ることができる。

また、モーフィング処理に使用可能な合成対象画像を複数持つと共に、各合成対象画像に対応する撮影テンプレートを用いてモーフィング処理対象となる被写体の画像を撮像することができる。これにより、合成対象画像に合致した被写体画像を得て最適な合成画像を得ることが可能となる。

なお、上記した第２の実施形態において、無線通信回線を介して合成対象画像および当該合成対象画像用の撮影テンプレートの各データを供給元のサーバからダウンロードし、データフォルダ部１４に保存するようにしてもよい。これにより、合成対象画像および撮影テンプレートを通信により簡単に補充することができる。
なお、供給元サーバで具備されている合成対象画像の一覧（例えば画像一覧）を携帯電話機１で表示し、その一覧からユーザが任意の画像を選択してダウンロードするようにすることが好ましい。

以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
例えば、撮影テンプレートは、顔用のテンプレートに限定されない。例えば、人や動物の全身を撮影するための輪郭線からなるものであってもよい。

なお、本発明の撮像装置は、上記した実施形態に係るデジタルカメラ内蔵型の携帯電話機に限定されない。例えば、デジタルカメラ内蔵型の携帯情報端末や、デジタルカメラ内蔵型のパーソナルコンピュータ等であってもよい。或いは、単体のデジタルカメラであってもよい。

１…携帯電話機、 １１…主制御部、 １２…電源制御部、 １３…メモリ、 １４…データフォルダ部、 １５…キー入力部、 １５ａ，１５ｂ，１５ｃ…ソフトキー、 １６…無線通信部、 １７…カメラ部、 １８…画面制御部、 １９…表示部、 １９ａ，１９ｂ…表示パネル、 ２０…音声入出力部、 １００…撮影テンプレート（撮影補助手段）、 １０１〜１０５…輪郭線

Claims (13)

1. 撮像手段と、
   操作手段と、
   前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示する表示手段と、
   前記撮像手段により撮影した顔画像に対し、目、鼻、口のいずれか前記操作手段により指定された部位の変形を行う制御手段と、を備え、
   前記制御手段は、
   前記操作手段により目、鼻、口のいずれかの部位の変形が指示されたときに部位ごとの変形を施す対象領域をそれぞれ特定する複数の撮影補助線を、前記撮像手段による撮像を行う際にプレビュー画像に重畳して前記表示手段に表示する
   ことを特徴とする撮像装置。
2. 前記制御手段は、前記複数の撮影補助線として、目、鼻、口のそれぞれの形状の撮影補助線を、顔の形状に配してプレビュー画像に重畳する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記目、鼻、口のそれぞれに、複数の異なる画像変形処理手法を有する
   ことを特徴とする請求項１または２に記載の撮像装置。
4. 撮像手段と、
   操作手段と、
   前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔位置を特定するための撮影補助手段を重ねて表示する表示手段と、
   前記撮像手段により撮影した顔画像に対し、当該顔画像に関する変形方法を選択させる選択肢を前記表示手段に表示させる制御手段と、を備え、
   前記制御手段は、
   前記操作手段により、前記選択肢のうち、
   第１の変形を指示する選択肢が選ばれた場合には、前記顔画像に対して顔を構成する部位のいずれかの変形処理を行った後、変形後の画像を前記表示手段に表示させ、
   第２の変形を指示する選択肢が選択された場合には、前記顔画像に対して総合的な変形処理を行った後、変形後の画像を前記表示手段に表示させる
   ことを特徴とする撮像装置。
5. 前記制御手段は、前記撮影補助手段として、目、鼻、口の少なくとも２つの部位の形状を模した撮影補助線を、顔の形状に配してプレビュー画像に重畳する
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記制御手段は、前記第１の変形を指示する選択肢が選ばれた場合には、前記撮像手段で前記顔画像を撮影したときに、当該顔画像のうち、前記撮影補助線のうちのいずれかの部位が重畳されていた領域についての変形処理を行う
   ことを特徴とする請求項５に記載の撮像装置。
7. 前記制御手段は、前記第２の変形を指示する選択肢が選択された場合には、前記表示手段に複数のキャラクター画像を表示させ、当該複数のキャラクター画像のうち、前記操作手段により選択されたキャラクター画像に対応する変形処理を行う
   ことを特徴とする請求項５または６に記載の撮像装置。
8. 撮像手段と、
   操作手段と、
   前記撮像手段による撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔位置を特定するための撮影補助手段を重ねて表示する表示手段と、
   複数のキャラクター画像を記憶する記憶手段と、
   前記撮像手段により撮影した顔画像に対する変形処理の候補として、前記複数のキャラクター画像を前記表示手段に表示させ、前記操作手段により選択されたキャラクター画像を合成する変形処理を、前記顔画像のうち撮影時に前記撮影補助手段によって顔として特定された領域に対して行い、変形処理後の画像を前記表示手段に表示させる制御手段と、を備える
   ことを特徴とする撮像装置。
9. 前記複数の合成対象画像には、人間以外の画像を含む
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記制御手段は、変形処理としてモーフィング処理を行い、変形処理後の画像を前記表示手段に表示させる際には原画像から変形画像に遷移する経過を動画で表示する
    ことを特徴とする請求項１から９のいずれか一項に記載の撮像装置。
11. 撮像手段と表示手段とを備える撮像装置における画像処理方法であって、
    撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するプレビュー表示ステップと、
    前記撮像手段により撮影した顔画像に対し、目、鼻、口のいずれかの変形処理を指定する指定ステップと、
    前記顔画像に対し、前記指定ステップにより指定された部位の変形処理を行う変形処理ステップと、を備え、
    前記プレビュー表示ステップは、目、鼻、口のいずれか指定された部位の変形が指示されたときに部位ごとの変形を施す対象領域をそれぞれ特定する複数の撮影補助線を、プレビュー画像に重畳して前記表示手段に表示する
    ことを特徴とする画像処理方法。
12. 撮像手段と表示手段とを備える撮像装置における画像処理方法であって、
    撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔の位置を特定するための撮影補助手段を重ねて表示するプレビュー表示ステップと、
    前記撮像手段により撮影した顔画像に対し、当該顔画像に関する変形処理を行う変形処理ステップと、
    前記変形処理における変形方法を選択するための選択肢を前記表示手段に表示して、いずれかの変形方法を選択させる選択ステップと、を備え、
    前記変形処理ステップは、
    前記選択ステップにおいて、
    第１の変形を指示する選択肢が選ばれた場合には、前記顔画像に対して顔を構成する部位のいずれかの変形処理を行った後、変形後の画像を前記表示手段に表示し、
    第２の変形を指示する選択肢が選択された場合には、前記顔画像に対して顔全体の総合的な変形処理を行った後、変形後の画像を前記表示手段に表示する
    ことを特徴とする画像処理方法。
13. 撮像手段と表示手段と記憶手段とを備える撮像装置における画像処理方法であって、
    撮影の際に、前記撮像手段により取り込まれる画像をプレビュー画像として表示するとともに、当該プレビュー画像に対し、被写体の顔の位置を特定するための撮影補助手段を重ねて表示するプレビュー表示ステップと、
    前記撮像手段により撮影した顔画像に対する変形処理の候補として、前記記憶手段に記憶される複数のキャラクター画像を前記表示手段に表示して、いずれかのキャラクター画像を選択させる選択ステップと、
    前記選択ステップにおいて選択されたキャラクター画像を合成する変形処理を、前記顔画像のうち撮影時に前記撮影補助手段によって顔として特定された領域に対して行い、変形処理後の画像を前記表示手段に表示させる変形処理ステップと、を備える
    ことを特徴とする画像処理方法。

Images