JP2014110469A - 電子機器、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】動画生成を高速にできるようにする。
【解決手段】実施形態によれば、電子機器は、分析手段と、画像選択手段と、エフェクト選択手段と、生成手段とを具備する。分析手段は、複数の画像のそれぞれについて属性を分析する。画像選択手段は、前記属性に基づいて、前記複数の画像から注目対象を含む第１画像と前記注目対象を含まない第２画像とを選択する。エフェクト選択手段は、前記第１画像に対して前記注目対象を用いた第１エフェクトを選択し、前記第２画像に対して第２エフェクトを選択する。生成手段は、前記第１画像に前記第１エフェクトを施した第３画像と、前記第２画像に対して前記第２エフェクトを施した第４画像とを合成して動画を生成する。
【選択図】図３

Description

本発明の実施形態は、画像を表示する電子機器、画像処理方法、及びプログラムに関する。

近年、パーソナルコンピュータ、デジタルカメラ、スマートフォン、携帯電話機、電子ブックリーダのような様々な電子機器が普及している。このような電子機器は、例えば写真のような静止画像を管理する機能を有している。画像管理方法としては、例えば、写真に付加された日時データに基づいて、写真を複数のグループに分類する方法が知られている。

また、最近では、写真のような静止画像群を用いて動画像（例えば、フォトムービー、スライドショー等）を作成する動画作成技術が注目されている。動画作成技術としては、例えば、静止画像群を複数の撮影日時に対応する複数のディレクトリに分類して格納し、ユーザによって指定されたディレクトリ内の静止画像群を用いて動画を作成する技術が知られている。

特開２０１２−００４７４５号公報

従来技術では、予め用意された複数のエフェクトが配列されたシナリオに対して、各エフェクトを適用可能な画像素材を抽出する。このため、静止画像群に含まれる画像数が多い場合やエフェクトに適用可能な画像が少ない場合には、画像素材を抽出するための処理負荷が増大し、処理に要する時間が長くなる。

本発明が解決しようとする課題は、動画生成を高速にすることができる電子機器、画像処理方法、及びプログラムを提供することである。

実施形態によれば、電子機器は、分析手段と、画像選択手段と、エフェクト選択手段と、生成手段とを具備する。分析手段は、複数の画像のそれぞれについて属性を分析する。画像選択手段は、前記属性に基づいて、前記複数の画像から注目対象を含む第１画像と前記注目対象を含まない第２画像とを選択する。エフェクト選択手段は、前記第１画像に対して前記注目対象を用いた第１エフェクトを選択し、前記第２画像に対して第２エフェクトを選択する。生成手段は、前記第１画像に前記第１エフェクトを施した第３画像と、前記第２画像に対して前記第２エフェクトを施した第４画像とを合成して動画を生成する。

実施形態の電子機器の外観を示す斜視図。 実施形態の電子機器のシステム構成を示す図。 実施形態の合成動画生成プログラムにより実現される機能構成を示すブロック図。 実施形態の素材データベースに記録される分析情報の一例を示す図。 実施形態におけるスタイル選択画面の一例を示す図。 実施形態におけるスタイルに応じた画像素材の特徴を示す素材情報の一例を示す図。 実施形態における各スタイルに対して用意されるシナリオを示す図。 実施形態における１つのシナリオの一例を示す図。 実施形態における合成動画生成プログラムによる合成動画生成処理を示すフローチャート。 実施形態における素材データベースに記録される分析情報の一例を示す図。 実施形態における素材選択モジュールによる選択結果を示す図。 実施形態におけるエフェクト選択モジュールによるエフェクトの選択を説明するための図。 実施形態におけるエフェクト選択モジュールによるエフェクトの選択結果を示す図。 実施形態における合成動画生成モジュールに通知される合成動画情報の一例を示す図。 実施形態における合成された動画の一場面を示す図。 実施形態における合成された動画の一場面を示す図。

以下、図面を参照して、実施形態について説明する。
図１は、本発明の実施形態に係る電子機器１０の外観を示す斜視図である。電子機器１０は、例えばスマートフォンとして構成されている。なお、電子機器１０は、スマートフォンに限らず、ノートブック型やタブレット型のパーソナルコンピュータ、テレビ装置、カーナビゲーション装置、デジタルカメラ、携帯電話機、電子ブックリーダなどの他の機器であっても良い。

電子機器１０は、薄い箱形の筐体を有しており、その上面にタッチスクリーンパネルが設けられている。タッチスクリーンパネルは、タッチパネル１２とＬＣＤ（Liquid Crystal Display）１３とが一体化されたデバイスである。また、電子機器１０の筐体上面には、スピーカ１５とマイク１６が設けられている。また、電子機器１０の筐体には、上面部あるいは側面部に、特定の機能が割り当てられた複数のボタンが設けられている。なお、図示していなが、電子機器１０の筐体下面には、画像を撮影するカメラユニットが設けられている。

図２は、電子機器１０のシステム構成を示す図である。
電子機器１０は、図２に示されているように、プロセッサ２０に、タッチパネルコントローラ２２、ディスプレイコントローラ２３、メモリ２４、チューナ２５、近距離通信ユニット２６、無線通信ユニット２７、カメラユニット２８、入力端子２９、外部メモリ３０、スピーカ１５、マイク１６が接続される。

プロセッサ２０は、各ユニットを制御する基本プログラムの他、各種アプリケーションプログラムを実行する。プロセッサ２０は、予め登録されたアプリケーションプログラムの他、無線通信ユニット２７、入力端子２９、外部メモリ３０等を通じて入力されたアプリケーションプログラムを実行することができる。プロセッサ２０は、例えばメモリ２４に記録されたアプリケーションプログラム、例えば合成動画生成プログラム２４ａを実行する。プロセッサ２０は、合成動画生成プログラム２４ａを実行することにより、メモリ２４や外部メモリ３０に記録された画像、あるいは近距離通信ユニット２６や入力端子２９を通じて外部の機器から受信される画像をもとに動画を生成する機能を実現する。合成動画生成プログラム２４ａにより生成される動画は、ＬＣＤ１３において表示させたり、動画ファイルとして記録したりすることができる。

タッチパネルコントローラ２２は、タッチパネル１２に対する入力を制御する。ディスプレイコントローラ２３は、ＬＣＤの表示を制御する。タッチパネル１２とＬＣＤ１３とが一体化されることによりタッチスクリーンパネルが構成される。

メモリ２４は、各種プログラムやデータを記録する。メモリ２４には、例えば合成動画生成プログラム２４ａと、合成動画生成プログラム２４ａによる処理に用いられる素材データベース２４ｂ、エフェクトデータベース２４ｃ、画像素材データ２４ｄ等のデータとが記録される。画像素材データ２４ｄは、合成動画生成プログラム２４ａによる動画生成の素材となる複数の画像（静止画像、動画像）を含むデータである。素材データベース２４ｂは、画像素材データ２４ｄに含まれる画像に対して属性（画像特徴など）を分析した結果（分析情報）を示すデータである。エフェクトデータベース２４ｃは、素材データベース２４ｂに含まれる画像に対して、動画生成のために施す画像エフェクト処理を示すデータである。エフェクトデータベース２４ｃには、例えば画像の特徴を分類する複数のスタイルのそれぞれについて、複数のシナリオが用意されているものとする。シナリオには、複数のエフェクト（単数エフェクトまたはエフェクト列）が、画像エフェクト処理に使用する所定の順番で定義されている。さらに、実施形態のエフェクトデータベース２４ｃには、注目対象（例えば、ユーザが指定した画像）が含まれる画像に使用するシナリオ（注目対象用シナリオ）と、注目対象が含まれない画像に使用するシナリオ（一般シナリオ）が含まれるものとする。

チューナ２５は、アンテナ３１を通じて、テレビ放送用の放送信号を受信する。近距離通信ユニット２６は、無線ＬＡＮ（Local Area Network）等による通信を制御するユニットであり、アンテナ３２を通じて近距離通信用の信号を送受信する。

無線通信ユニット２７は、公衆回線網と接続するためのユニットであり、アンテナ３３を通じて公衆回線網に収容された基地局との間で通信信号を送受信する。

カメラユニット２８は、静止画像や動画像を撮影するためのユニットである。カメラユニット２８により撮影された静止画像は、合成動画生成プログラム２４ａによる動画生成の画像素材データ２４ｄとしてメモリ２４に記録することができる。

入力端子２９は、外部電子機器とケーブル等を介して接続するため端子である。電子機器１０は、入力端子２９を通じて他の電子機器から画像データ等を入力することができる。入力端子２９から入力される画像データは、合成動画生成プログラム２４ａによる動画生成の画像素材データ２４ｄとしてメモリ２４に記録することができる。

外部メモリ３０は、例えば電子機器１０に設けられたスロット（図示せず）に着脱可能な記録媒体である。電子機器１０は、外部メモリ３０に記録された画像を読み出して、合成動画生成プログラム２４ａによる動画生成の画像素材データ２４ｄとしてメモリ２４に記録することができる。

次に、実施形態における合成動画生成プログラム２４ａにより実現される機能構成について、図３を参照しながら説明する。
合成動画生成プログラム２４ａは、プロセッサ２０により実行されることにより、素材供給モジュール４１、素材分析モジュール４２、素材選択モジュール４４、エフェクト選択モジュール４５、合成動画生成モジュール４７、及び合成動画出力モジュール４８の機能を実現することができる。

素材供給モジュール４１は、動画生成のための画像素材（画像データ）を入力して、メモリ２４に画像素材データ２４ｄとして記録する。素材供給モジュール４１は、例えばカメラユニット２８により撮影された画像、外部メモリ３０から読み出される画像、入力端子２９を通じて外部機器から入力される画像を画像素材として入力することができる。

素材分析モジュール４２は、素材供給モジュール４１により供給される画像のそれぞれについて属性を分析し、分析した結果（分析情報）を素材データベース２４ｂに格納する。素材分析モジュール４２による分析の詳細については後述する（図４参照）。

素材選択モジュール４４は、素材データベース２４ｂに格納された画像素材の分析情報（画像の属性）を用いて、合成動画に使用する画像を選択して、選択結果をエフェクト選択モジュール４５に通知する。素材選択モジュール４４は、各画像の分析情報に基づいて、例えばユーザによって指定される注目対象を含む画像と、注目対象を含まない画像とを区分して選択する。また、素材選択モジュール４４は、注目対象と関連する画像を画像素材データ２４ｄから抽出し、この抽出した複数の画像を所定の順番で配列し、注目対象を含む画像を少なくとも１つ含むグループ（注目対象画像素材グループ）の区間と、注目対象を含まない画像を少なくとも１つ含むグループ（一般画像素材グループ）の区間とに区分する。

エフェクト選択モジュール４５は、素材選択モジュール４４により通知される選択結果が示す画像に対する、画像エフェクト処理に使用するエフェクトを、エフェクトデータベース２４ｃから選択して合成動画生成モジュール４７に通知する。例えば、エフェクト選択モジュール４５は、注目対象画像素材グループに対して注目対象用シナリオを選択し、一般画像素材グループに対して一般シナリオを選択する。

合成動画生成モジュール４７は、エフェクト選択モジュール４５からの通知に応じて、動画生成に使用する全ての画像の情報を素材データベース２４ｂから取り出し、エフェクト選択モジュール４５から通知されたエフェクトにより画像エフェクト処理を施すことにより動画を生成して、合成動画出力モジュール４８に出力する。合成動画生成モジュール４７により生成される合成動画は、例えばフォトムービーやスライドショーと称される。また、合成動画生成モジュール４７は、楽曲の再生と並行して動画を生成することができ、楽曲の再生時間に合わせた動画を生成する。

合成動画出力モジュール４８は、合成動画生成モジュール４７により生成された合成動画を、ＬＣＤ１３において表示させたり、動画ファイルとして出力したりする。

次に、実施形態の合成動画生成プログラム２４ａにより実行される画像処理方法について説明する。
まず、素材分析モジュール４２による画像の分析について説明する。
素材供給モジュール４１は、カメラユニット２８、外部メモリ３０、入力端子２９を通じて接続された外部機器から画像（静止画像、動画）が入力されると、画像素材データ２４ｄとしてメモリ２４に記録する。

素材分析モジュール４２は、素材供給モジュール４１により新規に入力される画像に対して、画像の特徴を表す属性について分析をする。素材分析モジュール４２は、素材供給モジュール４１により画像が新規に入力される毎に分析しても良いし、予め決められたタイミング、あるいはユーザにより指定されたタイミングで画像を分析することができる。

素材分析モジュール４２は、例えば画像中から人物の顔画像領域を認識する顔認識機能を有している。素材分析モジュール４２は、顔認識機能により、例えば、予め用意された顔画像特徴サンプルと類似する特徴を有する顔画像領域を探索することができる。顔画像特徴サンプルは、多数の人物それぞれの顔画像特徴を統計的に処理することによって得られた特徴データである。顔認識機能により、画像に含まれる顔画像領域の位置（座標）及びサイズを記録する。
さらに、素材分析モジュール４２は、顔認識機能により、顔画像領域の画像特徴を分析する。素材分析モジュール４２は、例えば、検出した顔画像の笑顔度、鮮明度、正面度等を算出する。笑顔度は、検出した顔画像が笑顔である度合いを示す指標である。鮮明度は、検出した顔画像が鮮明である度合いを示す指標である。また、正面度は、検出した顔画像が正面を向いている度合いを示す指標である。素材分析モジュール４２は、顔画像を人物毎に分類して、人物毎に識別情報（人物ＩＤ）を付与する。

また、素材分析モジュール４２は、例えば画像中から風景（人物以外の画像）を認識する風景認識機能を有している。風景認識機能は、前述した顔認識機能と同様にして、風景画像の特徴サンプルと類似する特徴を分析することにより、風景の種類や、風景に含まれるオブジェクト（自然物、構造物など）を認識することができる。また、画像の色調や構図等により風景画像の特徴を識別することもできる。素材分析モジュール４２は、風景認識機能により識別される画像特徴を示す指標を、画像の属性として検出することができる。

また、素材分析モジュール４２は、画像に付加された情報を対象として、画像の属性を分析することができる。例えば、素材分析モジュール４２は、画像の生成日時（撮影日時）、生成場所を識別する。さらに、素材分析モジュール４２は、画像の生成日時（撮影日時）と生成場所を示すデータをもとに、例えば所定の期間内（例えば、１日）に生成された他の静止画像と同一のイベントに分類し、分類毎にイベントの識別情報（イベントＩＤ）を付与する。

図４は、実施形態における素材分析モジュール４２により素材データベース２４ｂに記録される分析情報の一例を示す図である。
図４に示すように、分析情報には、複数の画像にそれぞれ対応する複数のエントリを含む。各エントリは、例えば、画像ＩＤ、生成日時（撮影日時）、生成場所（撮影場所）、イベントＩＤ、笑顔度、人数、顔画像情報を含む。笑顔度は、画像に含まれる顔画像の笑顔度を総合して決定された情報を示す。人数は、画像に含まれる顔画像の数の合計を示す。

顔画像情報は、画像に含まれる顔画像の認識結果情報である。顔画像情報は、例えば、顔画像（例えば、顔画像の格納場所を示すパス（画像素材ＵＲＬ））、人物ＩＤ、位置、サイズ、笑顔度、鮮明度、及び正面度を含む。なお、１つの画像に複数の顔画像が含まれるときは、複数の顔画像の各々に対応する顔画像情報（顔画像情報（１）（２）…）を含む。

風景情報は、画像に含まれる風景画像の認識結果情報である。風景情報は、例えば風景画像（例えば、風景画像の格納場所を示すパス（画像素材ＵＲＬ））、風景の種類（風景ＩＤ）や、風景に含まれるオブジェクト（自然物、構造物など）を示す情報を示す。なお、１つの画像に複数種の風景画像が含まれるときは、複数の風景画像の各々に対応する風景画像情報（風景情報（１）（２）…）を含む。

次に、実施形態におけるエフェクトデータベース２４ｃに記録されるエフェクト情報について説明する。
エフェクトデータベース２４ｃには、例えば画像の特徴を分類する複数のスタイルのそれぞれについて、複数のシナリオが用意されている。

図５は、実施形態におけるスタイル選択画面の一例を示している。電子機器１０は、合成動画生成プログラム２４ａにより動画生成をする際に、図５に示すスタイル選択画面を表示して、動画の特徴をユーザに指定させることができる。エフェクトデータベース２４ｃには、スタイル選択画面において選択可能な複数のスタイルのそれぞれに対応するシナリオが用意されている。

図５に示す例では、例えば８種類のスタイル（Happy，Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）のそれぞれに対応する複数のボタン５０Ｂ〜５０Ｉが表示されている。なお、「おまかせ」ボタン５０Ａは、特定のスタイルを指定しないことを示すボタンである。

図６は、各スタイルに応じた画像素材の特徴を示す素材情報の一例を示している。
例えば、スタイル「Happy」に対しては、幸せな印象や元気な印象を想起させる動画が生成されるように、「笑顔度が高い」「人数が多い」という属性を有する画像に適用できるエフェクトが用意される。また、スタイル「Party」に対しては、「生成日が同じ」「人数が多い」という属性を有する画像に適用できるエフェクトが用意され、スタイル「Travel」に対しては、「生成日が連続」「生成場所が異なる」という属性を有する画像に適用できるエフェクトが用意される。

図７は、実施形態における各スタイルに対して用意されるシナリオを示す図である。
図７に示すように、各スタイルに対して、注目対象が含まれる画像に使用する注目対象用シナリオと、注目対象が含まれない画像に使用する一般シナリオが設けられている。また、１つのスタイルに対応する注目対象用シナリオと一般シナリオには、それぞれ複数のシナリオが用意されている。例えば、スタイル（Happy）の注目対象用シナリオには、シナリオＡ１−１，Ａ１−２，…を含み、一般シナリオには、シナリオＢ１−１，Ｂ１−２，…を含んでいる。

注目対象用シナリオには、注目対象に着目した画像エフェクト処理が可能なエフェクト（注目対象エフェクト）を定義することができる。また、一般シナリオには、注目対象などの画像素材の詳細に注目しない、画像全体を対象とした視覚効果の高い画像エフェクト処理が可能なエフェクト（一般エフェクト）を定義することができる。注目対象が含まれる画像に使用する注目対象用シナリオと、注目対象が含まれない画像に使用する一般シナリオとを設けて、動画の合成に使用される複数の画像に対して使い分けることで、それぞれの素材画像に適した画像エフェクト処理を違和感なく施すことができる。これにより、注目対象に着目したエフェクトを含む、動画全体で効果的なエフェクトが施された違和感のない動画を生成することができる。

図８は、実施形態における１つのシナリオの一例を示す図である。図８に示すシナリオは、例えばスタイル（Happy）の注目対象用シナリオの例を示している。
図８に示すように、シナリオには、複数のエフェクト（Effect＃１，Effect＃２，…）が、画像エフェクト処理に使用する所定の順番で定義されている。１つのエフェクトには、１種類のエフェクト、または複数のエフェクトが組み合わされたエフェクト列が定義されている。また、各エフェクトには、それぞれの画像エフェクト処理を適用できる画像属性が設定されている。

例えば、図８に示すエフェクト（Effect＃１）についての画像属性としては、注目対象用シナリオであるため注目対象を含み、またスタイル（Happy）に対応するように、画像中に含まれる顔画像の笑顔度が高い画像が設定されている。素材選択モジュール４４は、エフェクトに対して設定された画像属性を参照して、動画の生成に使用する画像に対して、シナリオ中のエフェクトが適用可能であるか判別することができる。

なお、エフェクトに対する画像属性として、多くの属性を設定しなければ、多くの素材画像に対する画像エフェクト処理に適用することができる。

同様にして、他のスタイルに対応するシナリオのエフェクトには、例えばスタイル「Ceremonial」では、人数が多く、笑顔度が低い画像を示す画像属性が設定され、スタイル「Fantastic」では、人数が少なく、笑顔度が高い画像を示す画像属性が設定される。

次に、実施形態における合成動画生成プログラム２４ａによる合成動画生成処理について、図９に示すフローチャートを参照しながら説明する。
まず、電子機器１０は、ユーザ操作によって合成動画生成プログラム２４ａを起動されるとメイン画面を表示させる。メイン画面では、例えば、「スタイル」、「楽曲」、「主人公」（注目対象）等をユーザ操作によって設定することができる。

例えば、メイン画面中に表示される「スタイル」ボタンが選択されると、プロセッサ２０は、図５に示すような、スタイル選択画面を表示させる。スタイル表示画面には、「おまかせ」ボタン５０Ａの他、前述した８種類のスタイル（Happy，Fantastic, Ceremonial, Cool, Travel, Party, Gallery, Biography）のそれぞれに対応する複数のボタン５０Ｂ〜５０Ｉが含まれる。ユーザは、希望するボタンを選択することにより、スタイルを指定することができる。なお、「おまかせ」ボタン５０Ａを指定することにより、画像の表示に用いられる複数の画像の特徴に応じたスタイルが自動的に選択される。

また、メイン画面中に表示される「楽曲」ボタンが選択されると、プロセッサ２０は、楽曲のリスト（楽曲選択画面）を表示させる。楽曲選択画面では、動画の再生と並行して出力される楽曲をユーザ操作によって選択することができる。

また、メイン画面中に表示される「主人公」ボタンが選択されると、プロセッサ２０は、キー顔画像（注目対象）を選択するための顔画像選択画面を表示させる。顔画像選択画面では、注目対象として指定可能な顔画像のリストを表示する。顔画像のリストには、例えば素材分析モジュール４２による分析結果をもとに判別された、画像素材データ２４ｄに含まれる複数の画像に出現する回数が設定値より多い人物の顔画像を表示する。ユーザは、顔画像選択画面を用いて、顔画像のリストから注目する人物の顔画像（注目対象）を選択する。なお、選択される顔画像は複数であってもよい。また、ユーザが顔画像を選択しない場合には、顔画像のリストから所定の条件に応じて、自動的に選択するようにしても良い。なお、キー画像（注目対象）は、顔画像のリストから選択するだけでなく、表示中の画像中からユーザが指定することも可能である。

こうして、「スタイル」、「楽曲」、「主人公」（注目対象）等がユーザ操作によって設定され、動画生成が例えば「スタート」ボタンの操作によって指示されると、プロセッサ２０は、合成動画生成プログラム２４ａによる動画を生成を開始する。

まず、素材選択モジュール４４は、キー画像（注目対象）を含む画像素材と、キー画像と関連する画像素材とを、素材データベース２４ｂに記録された画像特徴などを示す分析情報をもとに、動画の生成に使用する合成動画用素材として選択する。

キー画像と関連する画像素材としては、例えば撮影日時（生成日時）、人物、場所等について関連を示す属性を有すものとする。キー画像と関連する画像素材には、必ずしもキー画像は含まれない。
例えば撮影日時（生成日時）の関連については、キー画像を含む画像の生成日時と同一の期間内（例えば、日、月、時期、季節、年等で指定される期間内）に生成された他の画像がキー画像と関連があるものとする。また、キー画像の生成日時とは別の期間内の同じ日、同じ週、同じ月等（例えば、１年前の同じ日や２年後の同じ月等）に生成された画像がキー画像と関連があるものとしても良い。

また、人物の関連については、例えば、キー顔画像と同じ人物の顔画像を含む画像、キー顔画像と同じ画像に含まれる別の人物の顔画像を含む画像がキー画像と関連があるものとする。また、場所については、キー画像を含む画像の生成場所に関連する場所で生成された画像がキー画像と関連があるものとする。

図１０は、素材データベース２４ｂに記録される分析情報の一例を示す図である。図１０では、分析情報のうち、例えば画像素材ＩＤ、画像素材ＵＲＬ、被写体（人物ＩＤ、風景ＩＤ）、撮影日時を示している。

図１１は、図１０に示す分析情報をもとにして、素材選択モジュール４４による選択結果を示す図である。図１１に示す例では、複数の風景の画像と、キー画像（注目対象）とする「人物１」を含む画像が、合成動画用素材として選択されたことを示している。

次に、エフェクト選択モジュール４５は、素材選択モジュール４４により選択された合成動画用素材に含まれる複数の画像を所定の順番で配列する（ステップＡ２）。例えば、図１１に示すように、エフェクト選択モジュール４５は、撮影日時の順番で複数の画像を配列する。なお、他の属性をもとにして、合成動画用素材に含まれる複数の画像を配列しても良い。

次に、エフェクト選択モジュール４５は、所定の順番で配列された複数の画像に対して、注目対象を含む注目対象画像素材グループと、注目対象を含まない一般画像素材グループとに区分する（ステップＡ３）。

例えば、図１１に示す例では、注目対象画像素材グループとして画像素材ＩＤ１５，ＩＤ１６をグループとして区分し、一般画像素材グループとして画像素材ＩＤ６，ＩＤ７，ＩＤ１０，ＩＤ１１と画像素材ＩＤ１７とをそれぞれグループとして区分する。

次に、エフェクト選択モジュール４５は、ユーザにより選択されたスタイルに応じて、合成動画用素材に対する画像エフェクト処理のための一般シナリオと注目対象用シナリオとを、エフェクトデータベース２４ｃから選択する（ステップＡ４）。なお、エフェクト選択モジュール４５は、１つの一般シナリオと注目対象用シナリオとをそれぞれ選択するだけでなく、複数の一般シナリオと注目対象用シナリオとをそれぞれ選択しても良い。

そして、エフェクト選択モジュール４５は、合成動画用素材に含まれる複数の画像から配列順に画像素材を選択し（ステップＡ５）、一般シナリオと注目対象用シナリオの何れかに含まれるエフェクトを選択する。すなわち、エフェクト選択モジュール４５は、画像素材が注目対象画像素材グループに含まれる場合には（ステップＡ６、Ｙｅｓ）、注目対象用シナリオから注目対象エフェクトを選択する。また、エフェクト選択モジュール４５は、画像素材が注目対象画像素材グループに含まれない場合には（ステップＡ６、Ｎｏ）、一般シナリオから一般エフェクトを選択する。

なお、エフェクト選択モジュール４５は、合成動画用素材に含まれる複数の画像から画像素材を選択する際、１つの画像素材毎に選択するだけでなく、複数の連続する画像素材を選択することもできる。

図１２は、エフェクト選択モジュール４５によるエフェクトの選択を説明するための図である。
図１２に示すように、一般グループに含まれる素材画像に対しては、一般シナリオに含まれる一般エフェクトを選択する。基本的には、シナリオ中に配列された順番でエフェクトを選択するが、画像素材の属性とエフェクトの画像属性とを参照し、画像素材に対して適していないと判別されるエフェクトについては選択せず、配列順の次のエフェクトを選択する。エフェクトの画像属性として多くの属性を設定しなければ、画像素材に適したエフェクトを短時間で選択することができる。

同様にして、注目対象用グループに含まれる素材画像に対しては、注目対象用シナリオに含まれる注目対象般エフェクトを選択する。

また、一般エフェクトと注目対象エフェクトの何れについても、１つの画像素材に適用するだけでなく、複数の画像素材に適用し、複数の画像素材を組み合わせた視覚効果の高い効果的なエフェクトを実現することができる。

図１３は、エフェクト選択モジュール４５によるエフェクトの選択結果を示す図である。
図１３に示す例では、一般画像素材グループ（画像素材ＩＤ６，ＩＤ７，ＩＤ１０，ＩＤ１１、画像素材ＩＤ１７）に対しては、画像素材ＩＤ６，ＩＤ７には一般エフェクト１、画像素材ＩＤ１０，ＩＤ１１には一般エフェクト２、画像素材ＩＤ１７には一般エフェクト３を選択することを示している。

また、注目対象画像素材グループに対しては、画像素材ＩＤ１５，ＩＤ１６に注目対象エフェクト１を選択することを示している。

エフェクト選択モジュール４５は、画像素材に適用したエフェクトを示す合成動画情報を合成動画生成モジュール４７に通知する。

図１４は、エフェクト選択モジュール４５から合成動画生成モジュール４７に通知される合成動画情報の一例を示す図である。
図１４に示すように、例えば画像素材ＩＤ６，ＩＤ７には一般エフェクト１、画像素材ＩＤ１０，ＩＤ１１には一般エフェクト２を適用することを示す合成動画情報を出力する。

合成動画生成モジュール４７は、エフェクト選択モジュール４５から合成動画情報を受け付けると、動画の合成で使用する画像素材の情報を素材データベース２４ｂから取り出し、合成動画を生成して合成動画出力モジュール４８に送る（ステップＡ９）。すなわち、合成動画生成モジュール４７は、一般画像素材グループに含まれる画像素材に対しては一般エフェクトを施した画像を生成し、注目対象画像素材グループに含まれる画像素材に対しては注目対象エフェクトを施した画像を生成し、それぞれを合成することにより動画を生成する。

合成動画出力モジュール４８は、合成動画生成モジュール４７により生成された合成動画を出力する（ステップＡ１０）。例えば、合成動画出力モジュール４８は、ＬＣＤ１３において合成動画を表示させる。

プロセッサ２０は、合成動画用素材に含まれる全ての画像素材をもとにした合成動画の出力を完了していなければ（ステップＡ１１、Ｎｏ）、前述と同様の処理を繰り返して実行する（ステップＡ５〜Ａ１１）。

図１５及び図１６は、合成された動画の一場面を示す図である。
図１５に示す画像６０には、注目対象（キー画像）として指定された人物の顔画像６０Ａが含まれている。このため、注目対象エフェクトがエフェクト選択モジュール４５により選択され、顔画像６０Ａに注目したエフェクト６０Ｂが施されている。

図１６に示す画像６２には、注目対象（キー画像）として指定された人物の顔画像が含まれておらず、複数の人物の顔画像が含まれている。このため、複数の人物が含まれる画像用の一般エフェクトがエフェクト選択モジュール４５により選択され、複数の人物の全ての顔画像６２Ａ，６２Ｂ，６２Ｃ，６２Ｄを用いた視覚効果の高い画像エフェクト処理が施されている。

なお、合成動画の表示と並行して楽曲の出力が指定されている場合には、プロセッサ２０は、再生対象とする楽曲の長さ（再生時間）に応じて動画の生成を継続する。プロセッサ２０は、合成動画用素材に含まれる全ての画像素材を用いて動画生成が完了した時点で、楽曲の再生が終了しない場合には、例えば同じ合成動画用素材に含まれる複数の素材画像を繰り返して使用して動画を生成する。また、繰り返して素材画像を使用する際に、配列を所定の条件に従って変更（シャッフル）することにより、動画生成に使用される素材画像の順番を変更して、出力される動画の内容を変化させることができる。

また、合成動画用素材を繰り返して使用する毎に、一般シナリオと注目対象用シナリオのそれぞれから異なるシナリオを選択することで、同じ画像素材を用いたとしてもエフェクトが異なる動画を生成することが可能である。

なお、図９に示すフローチャートでは、合成動画用素材に含まれる複数の画像素材を配列順に選択しながら動画を生成しているが、合成動画用素材に含まれる複数の画像素材の全てに対してエフェクトを選択した後、一括して動画を生成するようにしても良い。例えば、ユーザによって動画の生成が指示された時、直ちに動画の出力（表示）が必要ない場合には、複数の画像素材の全てに対してエフェクトを選択した後に一括して動画を生成する。

このようにして、本実施形態における電子機器１０では、注目対象を含む画像素材と、注目対象を含まない画像素材とを、それぞれ注目対象画像素材グループと一般画像素材グループとに区分して、各々のグループに適したエフェクトの候補の中から、実際に適用するエフェクトを選択することにより、エフェクト選択処理を簡素化することができ、エフェクト選択処理の高速化が期待できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

また、前述した実施の形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。コンピュータは、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。

２０…プロセッサ、２４ａ…合成動画生成プログラム、２４ｂ…素材データベース、２４ｃ…エフェクトデータベース、２４ｄ…画像素材データ、４１…素材供給モジュール、４２…素材分析モジュール、４４…素材選択モジュール、４５…エフェクト選択モジュール、４７…合成動画生成モジュール、４８…合成動画出力モジュール。

Claims (7)

1. 複数の画像のそれぞれについて属性を分析する分析手段と、
   前記属性に基づいて、前記複数の画像から注目対象を含む第１画像と前記注目対象を含まない第２画像とを選択する画像選択手段と、
   前記第１画像に対して前記注目対象を用いた第１エフェクトを選択し、前記第２画像に対して第２エフェクトを選択するエフェクト選択手段と、
   前記第１画像に前記第１エフェクトを施した第３画像と、前記第２画像に対して前記第２エフェクトを施した第４画像とを合成して動画を生成する生成手段と
   を具備する電子機器。
2. 前記複数の画像を、前記第１画像を少なくとも１つ含む第１グループと、前記第２画像を少なくとも１つ含む第２グループに区分する区分手段をさらに具備し、
   前記生成手段は、前記第１グループに含まれる前記第１画像に前記第１エフェクトを施して前記第３画像を生成し、前記第２グループに含まれる前記第２画像に前記第２エフェクトを施して前記第４画像を生成する請求項１記載の電子機器。
3. 複数の前記第１エフェクトが定義された第１シナリオと、複数の前記第２エフェクトが定義された第２シナリオとを記録する記録手段をさらに具備し、
   前記エフェクト選択手段は、前記第１グループに対して前記第１シナリオから前記第１エフェクトを選択し、前記第２グループに対して前記第２シナリオから前記第２エフェクトを選択する請求項２記載の電子機器。
4. スタイルを選択する選択手段をさらに具備し、
   前記記録手段は、複数のスタイルにそれぞれ対応する複数の前記第１シナリオと、複数の前記スタイルにそれぞれ対応する複数の前記第２シナリオとを記録し、
   前記エフェクト選択手段は、前記選択手段により選択されたスタイルに対応する前記第１及び第２シナリオから前記第１エフェクトと前記第２エフェクトを選択する請求項３記載の電子機器。
5. 前記画像選択手段は、前記複数の画像を所定の順番に配列して、前記第１画像と前記第２画像とを前記配列の順番に選択し、
   前記第１画像と前記第２画像とを選択した後、前記配列を変更する請求項１記載の電子機器。
6. 複数の画像のそれぞれについて属性を分析し、
   前記属性に基づいて、前記複数の画像から注目対象を含む第１画像と前記注目対象を含まない第２画像とを選択し、
   前記第１画像に対して前記注目対象を用いた第１エフェクトを選択し、前記第２画像に対して第２エフェクトを選択し、
   前記第１画像に前記第１エフェクトを施した第３画像と、前記第２画像に対して前記第２エフェクトを施した第４画像とを合成して動画を生成する画像処理方法。
7. コンピュータを、
   複数の画像のそれぞれについて属性を分析する分析手段と、
   前記属性に基づいて、前記複数の画像から注目対象を含む第１画像と前記注目対象を含まない第２画像とを選択する画像選択手段と、
   前記第１画像に対して前記注目対象を用いた第１エフェクトを選択し、前記第２画像に対して第２エフェクトを選択するエフェクト選択手段と、
   前記第１画像に前記第１エフェクトを施した第３画像と、前記第２画像に対して前記第２エフェクトを施した第４画像とを合成して動画を生成する生成手段として機能させるためのプログラム。

Images