JP2011193117A - 画像処理装置及びプログラム - Google Patents

Abstract

【課題】現実味のある滑らかな合成動画を作成する。
【解決手段】データ処理部１３は、第１のフレームレートを有する背景動画と、第２のフレームレートを有する前景動画を合成し、合成動画を生成する。挿入フレーム生成部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから挿入フレームを生成する。フレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、挿入フレーム生成部６３により生成された挿入フレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景と前景が合成された正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
【選択図】図２

Description

本発明は、画像処理装置及びプログラムに関し、特に、より現実味のある合成動画を作成することを可能にする技術に関する。

従来より、フレームレートを共通にして撮像領域を分割して別個に動画撮影し、その後分割された各領域を合わせることにより、本来の撮像領域で撮像されたかのような合成動画を生成する技術が存在する（例えば特許文献１参照）。

特開２００５−２４４７９９号公報

しかしながら、特許文献１に記載の技術では、単に撮像領域を分割しただけなので、背景画像の内容（画角や明るさ）が互いに異なっていた場合、合成しても現実味が不足するという課題があった。

本発明は、このような状況に鑑みてなされたものであり、現実味のある滑らかな合成動画を作成することを可能とする。

本発明の第１の観点によると、
第１のフレームレートを有する第１の動画の画像データと、主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから前記主要被写体像領域を含む挿入フレームを生成する挿入フレーム生成手段と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、低いフレームレートの方の動画の動画データに、前記挿入フレーム生成手段により生成された挿入フレームを挿入して、他方の動画の動画データとフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備え、
前記合成手段は、前記挿入フレーム生成手段によって生成された各挿入フレームを、前記第２の動画のフレーム間における前記主要被写体像領域の移動を補間するように前記第１の動画の各フレームに挿入して、合成することを特徴とする、
画像処理装置を提供する。

本発明の第２の観点によると、
前記第２のフレームレートを有する第２の動画の画像データが補間合成に適しているか否かを判断する判断手段を備え、
前記挿入フレーム生成手段は、前記判断手段によって補間合成に適していると判断された場合に当該各フレーム間の差分に基づいて被写体領域の移動を補間するように挿入フレームを生成する、
画像処理装置を提供する。

本発明の第３の観点によると、
前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の移動量が所定量以上ある場合に、補間合成に適していると判断する、
画像処理装置を提供する。

本発明の第４の観点によると、
前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の移動方向が略一定である場合に、補間合成に適していると判断する、
画像処理装置を提供する。

本発明の第５の観点によると、
前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の重なり量が所定量以下である場合に、補間合成に適していると判断する、
画像処理装置を提供する。

本発明の第６の観点によると、
前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の大きさが所定量以上変化した場合に、補間合成に適していると判断する、
画像処理装置を提供する。

本発明の第７の観点によると、
前記挿入フレーム生成手段は、前後フレームにおける前記主要被写体像領域のそれぞれの位置の中間位置に位置する主要被写体像領域を有するように前記挿入フレームを生成する、
画像処理装置を提供する。

本発明の第８の観点によると、
前記挿入フレーム生成手段は、前後フレームにおける前記主要被写体像領域のそれぞれの大きさの中間の大きさの前記主要被写体像領域を有するように前記挿入フレームを生成する、
画像処理装置を提供する。

本発明の第９の観点によると、
前記第２のフレームレートを有する第２の動画の画像データが補間合成に適しているか否かを判断する判断手段を備え、
前記挿入フレーム生成手段は、前記判断手段によって補間合成に適していないと判断された場合に当該各フレームを複製することで挿入フレームを生成する、
画像処理装置を提供する。

本発明の第１０の観点によると、
第１のフレームレートを有する第１の動画の画像データと、主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから前記主要被写体像領域を含む挿入フレームを生成する挿入フレーム生成機能と、
再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、低いフレームレートの方の動画の動画データに、前記挿入フレーム生成機能により生成された挿入フレームを挿入して、他方の動画の動画データとフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能であって、
前記挿入フレーム生成機能によって生成された各挿入フレームを、前記第２の動画のフレーム間における前記主要被写体像領域の移動を補間するように前記第１の動画の各フレームに挿入して、合成する合成機能と、
前記合成機能によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録機能と、を実現させるためのプログラムを提供する。

本発明によれば、現実味のある滑らかな合成動画を作成することができる。

本発明の画像処理装置の一実施形態に係るデジタルカメラのハードウェアの構成を示すブロック図である。 図１のデジタルカメラのデータ処理部の機能的構成を示す機能ブロック図である。 図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。 図２のデータ処理部が実行する合成動画生成処理の流れの一例を示すフローチャートである。 図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。 図３及び図４の合成動画生成処理中に表示される各種表示画像の具体例を示している。 補間合成に向いている画像と向いていない画像の具体例を示している。 図２のデータ処理部が実行する挿入フレーム生成処理の流れの一例を示すフローチャートである。 図８の挿入フレーム生成処理中に表示される各種表示画像の具体例を示している。 図２のデータ処理部による挿入フレームの生成と合成に関する処理内容情報のデータ構造の一例を示している。 図１０の処理内容情報に従ってフレームの複製をする場合のスケジューリングの具体例を示している。 図１０の処理内容情報に従ってフレームの複製又は挿入フレームの生成をする場合のスケジューリングの具体例であって、図１１とは異なる例を示している。 挿入フレームの生成をする場合のスケジューリングの具体例であって、図１１及び図１２とは異なる例を示している。 本発明の画像処理装置の変形例に係る携帯電話の外観図であり、（ａ）は開状態正面図、（ｂ）は閉状態背面図である。 図１４の携帯電話のハードウェアの構成を示すブロック図である。

以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の画像処理装置の一実施形態に係るデジタルカメラ１のハードウェアの構成を示す図である。

デジタルカメラ１は、撮像部１１と、音声入力部１２と、データ処理部１３と、ユーザインタフェース部１４と、を備える。

撮像部１１は、光学レンズ部２１と、イメージセンサ２２と、を備える。

光学レンズ部２１は、規定された画角（以下、「正規の画角」と呼ぶ）に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ２２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部２１にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。

イメージセンサ２２は、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）などから構成される。光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子などから構成される。光電変換素子には、光学レンズ部２１からシャッタ部（図示せず）を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ２２の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ２２からは画像データが出力されて、データ処理部１３に供給される。

音声入力部１２は、マイクロフォンや音声データ化部などで構成される。マイクロフォンは、撮像部１１による撮影時などに音声を入力し、アナログの音声信号として出力する。音声データ化部は、マイクロフォンから出力されたアナログの音声信号に対して、Ａ／Ｄ変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、音声入力部１２の出力信号として出力される。なお、以下、音声信号のディジタル信号を、「音声データ」と呼ぶ。このように呼称すると、音声入力部１２からは音声データが出力されて、データ処理部１３に供給される。

データ処理部１３は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、メモリ３４と、出力制御部３５と、画像処理部３６と、を備えている。

ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラムに従って各種の処理を実行する。ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

本実施の形態では、後述する図２の画像取得部６１乃至ファイル化部６６の各機能を実現するプログラムが、ＲＯＭ３２に記憶されている。従って、ＣＰＵ３１が、このプログラムに従った処理を実行することで、画像取得部６１乃至ファイル化部６６の各機能を実現することができる。

メモリ３４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などで構成され、イメージセンサ２２から出力された画像データや、音声入力部１２から出力された音声データを一時記憶する。また、メモリ３４は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値なども記憶する。また、メモリ３４には、画像表示用の画像データ（以下、「表示画像データ」と呼ぶ）の保存と読み出しを行うための表示メモリ領域も含まれている。

出力制御部３５は、メモリ３４の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像（以下、「表示画像」と呼ぶ）を、ユーザインタフェース部１４の表示部４２に表示させる。例えば、出力制御部３５は、当該表示画像データに基づいてＲＧＢ信号を生成し、当該ＲＧＢ信号を表示部４２に供給することにより、表示画像を表示部４２に表示させる。なお、出力制御部３５により生成されたＲＧＢ信号は、ユーザインタフェース部１４の通信部４４によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。

出力制御部３５はまた、メモリ３４に記憶された音声データを読み出し、Ｄ／Ａ変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部４１に供給することにより、当該音声信号により表現される音声を音声出力部４１から出力させる。

画像処理部３６は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などで構成され、メモリ３４に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６が実行する各種画像処理のうち少なくとも一部が、画像処理部３６において実行され、残りの一部がＣＰＵ３１において実行される。即ち、本実施形態では、後述する図２の画像取得部６１乃至ファイル化部６６は、ＣＰＵ３１及び画像処理部３６というハードウェアと、ＲＯＭ３２に記憶されたプログラム（ソフトウェア）との組み合わせとして構成されている。

ユーザインタフェース部１４は、スピーカなどで構成される音声出力部４１と、液晶ディスプレイなどで構成される表示部４２と、ユーザの指示操作を受け付ける操作部４３と、外部機器との間での通信を制御する通信部４４と、リムーバブル記録媒体５１に対するデータの読み書きを行うドライブ４５と、を備えている。

このような構成を有するデジタルカメラ１の処理対象となる動画のうち、上記の正規の画角を有し第１のフレームレートを有する動画を、以下、「背景動画」と呼ぶ。また、上記の正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を、以下、「前景動画」と呼ぶ。デジタルカメラ１は、このような背景動画の画像データと前景動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成することができる。なお、このようなデジタルカメラ１の処理を、以下、「合成動画生成処理」と呼ぶ。前景動画の画像データは、透過度情報（以下、「アルファ値」と呼ぶ）を保存するデータ領域（以下、「アルファチャネル」と呼ぶ）を有する。アルファ値は不透明度を表す。透過度が低い領域には高いアルファ値が設定され、透過領域にはアルファ値がゼロとして設定される。主要被写体像領域と当該主要被写体像領域を除く領域を透過情報領域とは、このアルファ値によって判別される。

図２は、このような合成動画生成処理を実行するためのデータ処理部１３の機能的構成を示す機能ブロック図である。

データ処理部１３は、画像取得部６１と、合成条件決定部６２と、挿入フレーム生成部６３と、フレーム合成部６４と、音声付加部６５と、ファイル化部６６と、を備えている。

また、データ処理部１３のＲＯＭ３２、ＲＡＭ３３、又はメモリ３４（図１）内には、インデックス記憶部７１と、前景動画記憶部７２と、処理内容記憶部７３と、背景動画記憶部７４と、合成動画記憶部７５と、が設けられている。

画像取得部６１は、撮像部１１により撮像された動画の画像データを取得する。例えば、画像取得部６１は、第１のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から順次供給される、正規の画角を有する複数の画像の画像データを取得する。即ち、本実施形態では、このようにして画像取得部６１により取得された複数の画像の画像データが、正規の画角を有し第１のフレームレートを有する背景動画の画像データとして取得される。なお、このように動画を構成する複数の画像の各々を、以下、「フレーム」と称する。即ち、１つの動画は、複数のフレームから構成される。

画像取得部６１は、このようにして取得した背景動画の画像データを、ファイル化して背景動画記憶部７４に記憶させる。即ち、背景動画の画像データを含む画像ファイルが生成され、背景動画記憶部７４に記憶される。画像取得部６１は、さらに、背景動画に関するメタ情報として、例えば、第１のフレームレートなどを特定する情報を生成し、当該画像ファイルに含めて背景動画記憶部７４に記憶させる。なお、所定のフレームレートを特定する情報を、以下、「フレームレート情報」と呼ぶ。即ち、背景動画記憶部７４に記憶される動画ファイルには、背景動画の画像データが、第１のフレームレートを特定するフレームレート情報などのメタ情報と共に含まれている。これにより、ユーザが撮影した動画を、背景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある滑らかな動画になる。

また、画像取得部６１は、当該背景動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを背景動画記憶部７４に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。

なお、本実施形態では、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画、即ち前景動画については、予め与えられているものとする。換言すると、本実施形態では、当該前景動画の画像データは、所定の画像ファイルに含められて前景動画記憶部７２に予め記憶されているものとする。また、当該所定の画像ファイルには、メタ情報として、第２のフレームレートを特定するフレームレート情報や、透過情報領域に関する透過情報なども含まれているものとする。また、当該前景動画のインデックス画像データは、透過情報などと対応付けて、前景動画記憶部７２に記憶される各動画ファイルと対応付けるようにインデックス記憶部７１に記憶させる。

画像取得部６１は、第２のフレームレートに基づいて撮像部１１を連続駆動させることによって、撮像部１１から供給される動画の画像データを、前景動画の画像データとして取得するようにしてもよい。この場合、ユーザが撮影した動画を、前景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある滑らかな動画になる。

合成条件決定部６２は、合成動画を生成するための各種合成条件を決定する。合成条件としては、例えば、複数の背景動画のうちの何れの動画を合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を合成対象とするのかという条件、合成画像に用いる挿入フレームを生成する処理の条件などが存在する。

本実施形態では、合成条件の多くはユーザによる設定が可能になっており、このようなユーザによる設定を支援すべく、インデックス記憶部７１には複数のインデックス画像データが記憶されている。そこで、合成条件決定部６２は、所定のインデックス画像データをインデックス記憶部７１から読み出して、出力制御部３５に供給する。すると、出力制御部３５は、当該インデックス画像データにより表現される画像を、表示部４２に表示させる。ユーザは、このインデックス画像データの画像を見ながら操作部４３を操作することで、所定の合成条件に対する指示操作を行うことができる。合成条件決定部６２は、当該指示操作に従って、当該所定の合成条件を決定する。なお、インデックス画像データの具体例や、合成条件の決定手法の具体例については、図３以降の図面を参照して後述する。

なお、合成条件決定部６２は、前景動画記憶部７２に記憶されている前景動画の画像データや、背景動画記憶部７４に記憶されている背景動画の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス記憶部７１は省略してもよい。

このようにして、合成条件決定部６２により、合成条件として少なくとも、合成対象の背景動画及び前景動画が決定される。この場合、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが一致しているならば、当該背景動画及び当該前景動画をそのまま合成しても、適切な合成動画を生成することができる。

しかしながら、合成対象の背景動画の第１のフレームレートと、合成対象の前景動画の第２のフレームレートとが不一致の場合、当該背景動画及び当該前景動画をそのまま合成してしまうと、適切な合成動画を作成することができない。例えばフレームレートの高い方の再生速度にあわせて再生すると、フレームレートの低い方の動画の被写体像が素早く動いて再生されてしまうような合成動画が生成されてしまう。このため、適切な合成動画を生成するためには、当該背景動画及び当該前景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画のフレーム数を増加させる必要がある。

この場合のフレーム数の増加手法は、特に限定されず、例えば、既存のフレーム間に挿入フレームや新たに創造したフレームを挿入する手法などを採用することができる。本実施形態では、既存のフレーム間に、何れか一方から生成した挿入フレームを挿入するという手法が採用されている。このため、データ処理部１３には、挿入フレーム生成部６３が設けられている。

即ち、挿入フレーム生成部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから挿入フレームを生成する。なお、後述するが、挿入フレーム生成部６３が実行する挿入フレームを生成する処理内容については、合成条件決定部６２が決定する。合成条件決定部６２は判断手段を構成する。

ここで、処理内容記憶部７３には、第１のフレームレートと第２のフレームレートとの対応関係と、挿入フレーム生成部６３の処理内容又は後述するフレーム合成部６４の処理内容の少なくとも一方と、を対応付けた情報（以下、「処理内容情報」と呼ぶ）が記憶されている。そこで、挿入フレーム生成部６３は、この処理内容情報を適宜参照して、上述したフレームの画像データから挿入データを生成する処理を実行する。このように、処理内容情報を予め保持しておくことで、挿入フレーム生成部６３の処理内容又は後述するフレーム合成部６４の処理内容を決定するために要する時間を短縮することが可能になり、ひいては、合成動画生成処理の処理時間を短縮することが可能になる。なお、処理内容情報の具体例については、図１０乃至図１３を参照して後述する。

なお、以下の説明では、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとする。即ち、図２においては、実線の矢印に沿って、データが流れるものとする。従って、挿入フレーム生成部６３は、前景動画に含まれる各フレームの画像データから挿入フレームを生成する。これにより、既存の各フレーム間に、生成した挿入フレームを挿入した動画の画像データが合成対象として得られ、フレーム合成部６４に供給される。一方、背景動画の画像データは、背景動画記憶部７４からフレーム合成部６４に供給される。

フレーム合成部６４は、再生時の再生速度が互いに適合するように、挿入フレーム生成部６３により生成された挿入フレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。この場合、フレーム合成部６４は、処理内容記憶部７３に記憶された処理内容情報を適宜参照して、フレームの画像データを合成する処理を実行する。これにより、背景動画と前景動画が合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。フレーム合成部６４は合成手段を構成する。

なお、ここでは、説明の便宜上、背景動画の第１のフレームレートの方が、前景動画の第２のフレームレートよりも高いものとしているが、当然ながら、第１のフレームレートの方が第２のフレームレートよりも低い場合もあり得る。このような場合に対しても、挿入フレーム生成部６３及びフレーム合成部６４は、上述した処理を同様に実行することで、合成動画の画像データを生成することができる。このような処理も可能であることを示すために、図２においては、背景動画記憶部７４から挿入フレーム生成部６３までの間と、前景動画記憶部７２からフレーム合成部６４までの間とのそれぞれに対して、点線の矢印が引かれている。

ところで、前景動画又は背景動画の少なくとも一方に音声が記録されている場合もある。このような場合、音声付加部６５は、フレーム合成部６４により生成された合成動画の画像データに対して、前景動画又は背景動画に記録された音声の音声データを付加する。これにより、合成動画の再生時に、対応する音声も出力されるので、より一段と現実味のある滑らかな合成動画を作成することが可能となる。

ファイル化部６６は、フレーム合成部６４により生成された合成動画の画像データと、音声付加部６５により必要に応じて付加された音声の音声データと、各種メタデータとを含むファイル（以下、「合成画像ファイル」と呼ぶ）を生成し、合成動画記憶部７５に記憶させる。合成動画記憶部７５は、記録手段を構成する。

合成動画の再生時には、合成動画記憶部７５に記憶された合成画像ファイルに含まれる合成動画の画像データのうち、表示対象のフレームの画像データが、メモリ３４の表示メモリ領域に表示画像データとして格納される。すると、出力制御部３５は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、表示対象のフレームを表示部４２に表示させる。出力制御部３５は、このような処理を、再生速度にあわせて、合成動画を構成する各フレーム毎に実行することで、合成動画を再生することができる。さらに、合成画像ファイルに音声データが含まれている場合には、出力制御部３５は、当該音声データにより表現される音声を、音声出力部４１から出力させる。

次に、図３及び図４のフローチャートを参照して、このような機能的構成を有するデータ処理部１３が実行する合成動画生成処理について説明する。その際、合成動画生成処理の理解を容易なものとすべく、図５又は図６に示す表示画像を適宜参照する。

図３及び図４は、合成動画生成処理の流れの一例を示すフローチャートである。図５及び図６は、合成動画生成処理中に表示部４２に表示される各種表示画像の具体例を示している。

図３のステップＳ１において、データ処理部１３の合成条件決定部６２は、背景選択のモードの選択操作が検出されたか否かを判定する。

背景選択のモードが選択されていない場合、ステップＳ１においてＮＯであると判定されて、図４に示すように、合成動画生成処理は終了となる。

これに対して、例えば、図５に示すように、モニタ画像１０１などが表示部４２に表示されている状態で、操作部４３のうちの「ＭＥＮＹＵ釦（図示せず）」が押下され、ＰＬＡＹメニュー画像１０２が表示され、さらに、操作部４３のうちの「ＳＥＴ釦（図示せず）」により、「合成画像作成」という項目１２０が選択されると、合成条件決定部６２は、背景選択のモードの選択操作を検出する。これにより、図３のステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ３において、合成条件決定部６２は、出力制御部３５を制御することによって、複数の画像ファイル（背景動画ファイル含む）に対応するインデックス画像データの画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ４において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。

例えば、ステップＳ３の処理で、図５に示すように、所定の背景動画を示すインデックス画像データの画像１２１を含む選択画像１０４が、表示部４２に表示される。ユーザは、この選択画像１０４が表示されている状態で、操作部４３のうちの「左釦（図示せず）」又は「右釦（図示せず）」を押下することにより、選択画像１０４内の表示状態を、画像１２１から、別の背景動画又は背景静止画を示すインデックス画像データの画像に切り替えることができる。このようなユーザによる「左釦（図示せず）」、「右釦（図示せず）」の他、後述する「上釦（図示せず）」、「下釦（図示せず）」の押下操作による指示を、合成条件決定部６２からみた場合には「外部からの方向指示」と呼び、そのための上述した押下操作を「外部からの方向指示操作」と呼ぶ。ユーザは、外部からの方向指示操作を何度か繰り返すことにより、所望のインデックス画像データの画像を選択画像１０４内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望のインデックス画像データの画像により示される背景動画又は背景静止画を選択することができる。

「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ４においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ３，Ｓ４ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０４内に表示されていたインデックス画像データの画像が示す背景動画又は背景静止画を、合成対象の背景画として決定する。例えば選択画像１０４が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、インデックス画像データの画像１２１により示される背景動画が、合成対象の背景動画として決定される。

ステップＳ６において、合成条件決定部６２は、インデックス記憶部７１を参照する。ステップＳ７において、合成条件決定部６２は、出力制御部３５を制御することによって、透過情報を含む複数の画像ファイル（前景動画ファイル含む）に対応するインデックス画像データに基づく画像をインデックス記憶部７１から読み出して表示部４２に表示させる。そして、ステップＳ８において、合成条件決定部６２は、選択の指示操作が検出されたか否かを判定する。

例えば、ステップＳ７の処理で、図５に示すように、所定の前景動画を示すインデックス画像データの画像１２２を含む選択画像１０５が、表示部４２に表示される。ユーザは、この選択画像１０５が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０５内の表示状態を、画像１２２から、別の前景動画又は前景静止画を示すインデックス画像データの画像に切り替えることができる。

なお、本実施形態では、複数のキャラクターを主要被写体像として含む前景動画又は前景静止画の画像データが前景動画記憶部７２に予め記憶されている。このため、前景動画又は前景静止画の選択をユーザに促すために、図５に示すように、「使用する前景を選択してください」というメッセージが選択画像１０５内に表示される。例えば、インデックス画像データの画像１２２は、箒に乗った魔女が空を飛ぶように移動する前景動画を示している。

ユーザは、外部からの方向指示操作を何度か繰り返して、所望のインデックス画像データの画像を選択画像１０５内に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の画像により示される前景動画又は前景静止画を選択することができる。

従って、「ＳＥＴ釦（図示せず）」が押下されない場合、選択の指示操作が合成条件決定部６２において検出されないため、ステップＳ８においてＮＯであると判定されて、処理はステップＳ７に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ７，Ｓ８ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、選択の指示操作が合成条件決定部６２において検出されるため、ステップＳ８においてＹＥＳであると判定されて、処理はステップＳ９に進む。

ステップＳ９において、合成条件決定部６２は、出力制御部３５を制御することによって、インデックス画像データの画像同士を合成表示すると共に、合成可能な期間を差別化してタイムバーとして表示する。即ち、合成条件決定部６２は、合成条件の１つとして、選択の指示操作が検出された時点に選択画像１０５内に表示されていたインデックス画像データの画像が示す前景動画又は前景静止画を、合成対象の前景画として決定する。合成条件決定部６２は、当該合成対象の前景画と、先に合成対象として決定した背景動画とを合成した合成画像、及び、タイムバーを含む選択画像の画像データを生成する。そして、合成条件決定部６２は、出力制御部３５を制御することによって、当該選択画像を表示部４２に表示させる。

例えば選択画像１０５が図５の表示状態のときに「ＳＥＴ釦（図示せず）」が押下されると、合成条件の１つとして、画像１２２により示される前景動画が、合成対象の前景動画として決定される。このため、図６に示すように、合成対象の前景動画（魔女が移動する動画）を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、タイムバー１２３とを含む選択画像１０６が、表示部４２に表示される。

この選択画像１０６に表示されているタイムバー１２３は、前景動画と背景動画のうち再生時間が長い方の動画、本実施形態では背景動画の再生時間帯を示している。タイムバー１２３内のポインタ１２４は、前景動画と背景動画のうち再生時間が短い方の動画、本実施形態では前景動画の再生開始タイミングを示している。

ユーザは、この選択画像１０６が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０６内のポインタ１２４の表示位置を、タイムバー１２３内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、ポインタ１２４をタイムバー１２３内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、当該所望の位置により示される背景動画の再生位置から、前景動画の合成（再生）を開始させる設定をすることができる。換言すると、前景動画と背景動画との合成を、前景動画を背景動画に埋め込むと把握するならば、ユーザは、上述の操作を行うことによって、前景動画の埋め込み開始タイミングを設定することができる。この場合、フレーム合成部６４は、前景動画の埋め込み開始タイミングから、当該前景動画の再生時間に相当するフレーム数について合成することになる。これにより、合成処理は、必要最低限の時間帯に対して実行されるので、処理時間の短縮を図ることが可能になり、場合によっては、生成される合成動画の画像データの容量を削減することも可能になる。なお、図示はしないが、ユーザの利便性のため、タイムバー１２３内に、さらに、前景動画の再生時間帯、いわゆる埋め込み時間帯に対応する長さのバーを表示させてもよい。

このようにして、ステップＳ９の処理で選択画像１０６を表示させた後、ステップＳ１０において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果をタイムバー１２３の表示位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の埋め込み開始タイミングの変更指示であり、当該変更指示の結果の検出結果に応じて、ポインタ１２４の表示位置がタイムバー１２３内で変化する。

ステップＳ１１において、合成条件決定部６２は、前景動画の埋め込み開始タイミングの決定の指示操作が検出されたか否かを判定する。

「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の埋め込み開始タイミングの決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１１においてＮＯであると判定されて、処理はステップＳ１０に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１０，Ｓ１１ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１１においてＹＥＳであると判定される。

これにより、合成条件の１つとして、前景動画の埋め込み開始タイミングが決定される。次に、合成条件決定部６２は、合成条件の別の１つとして、前景動画の主要被写体像（図５や図６の例では箒に乗った魔女のキャラクター）の、背景動画内の合成位置を決定する必要がある。このため、図６に示すように、前景動画を示す画像１２２及び合成対象の背景動画を示す画像１２１が合成された合成画像と、前景動画の主要被写体像を囲む枠１２５とを含む選択画像１０７が、表示部４２に表示される。

ユーザは、この選択画像１０７が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像１０７内の枠１２５の表示位置を、背景動画内、より正確には当該背景動画を示す画像１２１の範囲内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、枠１２５内の前景動画の主要被写体像を背景画像内の所望の位置に表示させ、その後、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下することで、前景動画の主要被写体像の、背景動画内の合成位置を決定することができる。さらに、ユーザは、操作部４３のうち「ＳＥＴ釦（図示せず）」を押下するまでの間は、操作部４３のうち「ズーム釦（図示せず）」を押下することで、合成条件のさらに別の１つである、前景動画の主要被写体像の合成サイズを変更することもできる。

即ち、ステップＳ１１の処理でＹＥＳであると判定して選択画像１０７を表示させた後、ステップＳ１２において、合成条件決定部６２は、出力制御部３５を制御することによって、外部からの方向指示検出結果を、前景動画の主要被写体像の合成位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の主要被写体像の合成位置の変更指示であり、当該変更指示の結果の検出結果に応じて、枠１２５及び前景動画の主要被写体像の表示位置が背景動画内で変化する。このような処理中に、前景動画及び背景動画を共にプレビュー再生させると、それぞれの主要被写体像が動くことになるので、ユーザにとっては完成後の合成動画をイメージしながら、前景動画の主要被写体像の合成位置を設定することが可能になる。

ステップＳ１３において、合成条件決定部６２は、前景動画の主要被写体像の合成位置の決定の指示操作が検出されたか否かを判定する。

「ＳＥＴ釦（図示せず）」が押下されない場合、前景動画の主要被写体像の合成位置の決定の指示操作が合成条件決定部６２において検出されないため、ステップＳ１３においてＮＯであると判定されて、処理はステップＳ１２に戻され、それ以降の処理が繰り返される。即ち、「ＳＥＴ釦（図示せず）」が押下されない限り、ステップＳ１２，Ｓ１３ＮＯのループ処理が繰り返される。その後、「ＳＥＴ釦（図示せず）」が押下されると、決定の指示操作が合成条件決定部６２において検出されるため、ステップＳ１３においてＹＥＳであると判定される。

このようにして、合成条件の１つとして、前景動画の主要被写体像の合成位置が決定され、必要に応じて合成条件の別の１つとして、前景動画の主要被写体像の合成サイズも決定される。これにより、本実施形態では、合成条件の全てが決定されたことになるので、処理は、図４のステップＳ１４に進む。

ステップＳ１４において、挿入フレーム生成部６３は、合成対象の２つの画像ファイルに記憶されているフレームレート情報を、前景動画記憶部７２又は背景動画記憶部７４から読み出す。

ステップＳ１５において、挿入フレーム生成部６３は、処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームの画像データから挿入フレームを生成する処理を実行する。即ち、本実施形態では、挿入フレーム生成部６３は、フレームレート情報から第１のフレームレート及び第２のフレームレートを認識し、処理内容情報に従って、高いフレームレートの背景動画の再生速度に合わせて、低いフレームレートの前景動画に含まれる各フレームの画像データから挿入フレームを生成する。
このようなステップＳ１５の処理を、以下、「挿入フレーム生成処理」と呼ぶ。挿入フレーム生成処理の詳細については、図７乃至図９を用いて後述する。

ステップＳ１６において、フレーム合成部６４は、処理内容記憶部７３に記憶されている処理内容情報を参照して、フレームを合成する合成処理を実行する。即ち、本実施形態では、処理内容情報に従って、再生時の再生速度が互いに適合するように、挿入フレーム生成部６３により生成された挿入フレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。

なお、ステップＳ１５及びＳ１６の具体例については、図１０乃至図１３を参照して後述する。

ステップＳ１７において、音声付加部６５は、合成対象の前景動画又は背景動画に音声が記録されていたか否かを判定する。

合成対象の前景動画及び背景動画の何れにも音声が記録されていない場合、ステップＳ１７においてＮＯであると判定されて、ステップＳ１８の処理は実行されずに、処理はステップＳ１９に進む。

これに対して、合成対象の前景動画又は背景動画の少なくとも一方に音声が記録されている場合、ステップＳ１７においてＹＥＳであると判定されて、処理はステップＳ１８に進む。ステップＳ１８において、音声付加部６５は、合成部分に対応する音声データを切り取り、合成動画の画像データに関連付ける。なお、本実施形態では、合成対象の前景動画及び背景動画の両者に音声が記録されている場合、背景動画の音声の音声データが優先的に切り取られて、合成動画の画像データに関連付けられるとする。

ステップＳ１９において、ファイル化部６６は、合成動画の各データをファイル化し、出力制御部３５を制御して、合成動画のプレビュー表示を行う。即ち、ファイル化部６６は、ステップＳ１６の処理で生成された合成動画の画像データと、ステップＳ１８の処理が実行された場合にはその処理で関連付けられた音声の音声データと、各種メタデータとを含む合成画像ファイルを生成し、合成動画記憶部７５に記憶させる。この間、表示部４２には、例えば図６に示すような画像１０８が表示されており、合成画像ファイルが合成動画記憶部７５に記憶されると、表示部４２の表示画像が、合成動画１２６のプレビュー表示を行う画像１０９に切り替わる。これにより、合成動画生成処理が終了になる。

さらに、以下、図７乃至図９を参照して、挿入フレーム生成処理について説明する。図７は、後述する補間合成に向いている動画の例と不向きな動画の例を示す図である。図８は、挿入フレーム生成処理の一例を示すフローチャートである。図９は、挿入フレーム生成処理中に表示部４２に表示される各種表示画像の一例を示す図である。

本実施の形態で、挿入フレーム生成部６３は、挿入フレームを生成する画像データの条件が適当であれば、補間する対象となる画像データの前後のフレームから、当該画像データのフレームの画像データ間の差分に基づいて挿入フレームを生成する。このようにして生成されたフレームを以下、「補間フレーム」と呼ぶ。

例えば、補間する対象となる画像データの前後のフレームにおいて主要被写体像の領域が移動している場合、基本的に、挿入フレーム生成部６３は、前後のフレームにおける主要被写体像の領域の位置の中間に位置する主要被写体像の領域を有するように補間フレームを生成する。また、前後のフレームにおいて主要被写体像の領域の大きさが変化している場合、基本的に、挿入フレーム生成部６３は、前後のフレームの主要被写体像の領域の中間の大きさの主要被写体像の領域を有する補間フレームを生成する。フレーム合成部６４はこのようにして生成された補間フレームを用いて合成処理を実行する。このように、補間フレームを用いて合成画像を生成する処理を、以下、「補間合成」処理と呼ぶ。

挿入フレームを生成することが適当である画像データの条件として、例えば主要被写体の領域の移動量が所定量以上であり、かつ、主要被写体の領域の移動方向が略一定であることが考えられる。このような場合、主要被写体は略一定の方向に所定量以上の移動をしているので、当該動画データの隣り合うフレームの差分に基づいて補間フレームを生成することができ、かつ生成した補間フレームを用いて動画データを補間しても、続くフレームとの間に一定の連続性は保たれるので不自然さは生じない。

しかし、主要被写体の領域の移動量が所定量を下回る場合は、当該動画データの隣り合うフレームの差分に基づいて補間フレームを生成できなくなる。又、主要被写体の領域の移動方向が略一定でない場合は、生成した補間フレームを用いて動画データを補間しても、補間フレームが続くフレームを正しく予測しているとは限らなくなるので、画像が不自然となる可能性がある。

図７（１）は、挿入フレームを生成することが適当である画像の一例である。ソリに乗っている被写体は一定の方向に素早く移動をしている。移動ベクトル２０２Ａ、２０３Ａ、２０４Ａ、２０５Ａの各々の方向は略一定であり、大きさも補間フレームを生成可能な程度に大きい。このような場合、画像２０１と画像２０２の間、画像２０２と画像２０３の間、画像２０３と画像２０４の間、画像２０４と画像２０５の間で補間フレームを生成しても、続くフレームとの間に一定の連続性は保たれるので不自然さは生じない。

図７（２）は、挿入フレームを生成することが不向きである画像の一例である。被写体は手を使ってジェスチャをしている。動きベクトル２１２Ａ、２１３Ａ、２１４Ａ、２１５Ａの各々の方向はバラバラであり、大きさも小さい。このような場合、画像２１１と画像２１２の間、画像２１２と画像２１３の間、画像２１３と画像２１４の間、画像２１４と画像２１５の間で仮に動きベクトルの大きさが十分に大きく、補間フレームを生成できたとしても、生成した補間フレームが続くフレームを正しく予測しているとは限らなくなるので、不自然さが生じる可能性がある。

従って、本実施の形態では、主要被写体の領域の移動量が所定量以上であり、かつ、主要被写体の領域の移動方向が略一定である場合に、挿入フレームを生成して、補間合成を実行する。

補間フレームは、例えば、補間する対象となる画像データの隣り合うフレームの間の動きベクトルから補間画像の前後の撮像画像間での動きベクトルを予測し、求めた予測動きベクトルを用いて補間画像の各画素の値を求め、撮像画像の露光時間とシャッタ閉時間の比に応じた重みをつけて、撮像画像と補間画像を積分して生成することができる。

主要被写体の領域の移動量が所定量を下回る、又は、主要被写体の領域の移動方向が略一定ではない場合、挿入フレーム生成部６３は、挿入フレームを、当該画像データのフレームの画像データを複製して生成する。このようにして生成されたフレームを以下、「複製フレーム」と呼ぶ。さらに、複製フレームを用いて合成画像を生成する処理を、以下、「単純合成」処理と呼ぶ。

挿入フレーム生成部６３が挿入フレームとして補間フレームを生成するか、又は複製フレームを生成するか、という挿入フレーム生成部６３が実行する処理内容については、合成条件決定部６２が決定する。

図４のフローチャートのステップＳ１４において、選択画像１０５を操作するユーザによって前景動画又は前景静止画が選択されると、挿入フレーム生成処理が開始する。

図８は挿入フレーム生成処理の流れの一例を示すフローチャートである。
ステップＳ１０１において、合成条件決定部６２は、前景動画記憶部７２に記憶されている前景動画の画像データから１フレーム分を読み込む。

ステップＳ１０２において、合成条件決定部６２は、前景動画の画像データから主要被写体像の領域を抽出する。図６の例では、主要被写体像の領域は、箒に乗った魔女のキャラクターであるので、以下、「キャラクター」として説明を続ける。この場合、前景動画の画像データが対象となるので、キャラクターの画像データは、背景動画の画像データに含まれる透過情報、具体的には、アルファチャネルに保存されたアルファ値を参照して抽出することができる。即ち、アルファ値としてゼロでない値が設定されている領域を主要被写体像領域、即ち、キャラクターの領域として、アルファ値としてゼロが設定されている領域を当該主要被写体像領域を除く領域、即ち、キャラクターのない透過情報領域として抽出処理を行う。抽出したキャラクターの画像データは、メモリ３４に一時的に記憶する。

ステップＳ１０３において、合成条件決定部６２は、前のキャラクターが存在するか否かを判定する。
具体的には、合成条件決定部６２は、メモリ３４を参照して、既に抽出されたキャラクターの画像データが記憶されているか否かを判定する。

前のキャラクターが存在しない、即ち、メモリ３４に他のキャラクターの画像データが記憶されていない場合は、前のキャラクターが存在しないとして、ＮＯと判定されて、処理はステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１０３迄の処理が繰り返される。一方で、メモリ３４に他のキャラクターの画像データが記憶されている場合は、前のキャラクターが存在するとして、ＹＥＳと判定されて、処理はステップＳ１０４に進む。

ステップＳ１０４において、合成条件決定部６２は、前のキャラクターの画像データに基づいてステップＳ１０２で取得したキャラクターの画像データの動きベクトルを取得する。

ステップＳ１０５において、合成条件決定部６２は、ステップＳ１０４で取得した動きベクトルの動き量が所定の閾値以上であるか否かを判定する。動きベクトルの動き量が所定の閾値以上の場合は、ＹＥＳと判定されて、処理はステップＳ１０６に進む。一方で、ステップＳ１０４で取得した動きベクトルの動き量が所定の閾値を下回る場合は、ＮＯと判定されて、処理はステップＳ１１０に進む。

ステップＳ１０６において、合成条件決定部６２は、ステップＳ１０４で取得した動きベクトルの動き方向が同一であるか否かを判定する。動きベクトルの動き方向が同一である場合は、ＹＥＳと判定されて、処理はステップＳ１０７に進む。一方で、ステップＳ１０４で取得した動きベクトルの動きベクトルの動き方向が同一でない場合は、ＮＯと判定されて、処理はステップＳ１１０に進む。

ステップＳ１０７において、合成条件決定部６２は、補間合成に向いていると判断する。処理は、ステップＳ１０８に進み、挿入フレーム生成部６３は挿入フレームを生成する。

即ち、挿入フレーム生成部６３は、処理内容記憶部７３に記憶された処理内容に基づいて、前景動画の画像データから挿入データを生成し、処理はステップＳ１０９に進む。

ステップＳ１０９において、合成条件決定部６２は、次のキャラクターが存在するか否かを判定する。具体的には、前景動画記憶部７２を参照して、読み込んでいない前景動画の画像データが存在するか否かを判定する。

読み込んでいない前景動画の画像データが存在しない場合は、次のキャラクターが存在しないとして、ＮＯと判定されて、挿入フレーム生成処理は終了となる。一方で、読み込んでいない前景動画の画像データが存在する場合は、次のキャラクターが存在するとして、ＹＥＳと判定されて、処理はステップＳ１０１に戻る。
その後、図４のフローチャートのステップＳ１６に進む。

一方で、ステップＳ１０５又はステップＳ１０６においてＮＯと判定された場合は、ステップＳ１１０に進み、合成条件決定部６２は、補間合成に向いていないと判断する。処理はステップＳ１１１に進み、出力制御部３５は、表示部４２又は音声出力部４１を介して、補間合成に向いていないという旨のメッセージをユーザに通知する。

ステップＳ１１２において、ユーザの操作部４３からの操作により、合成条件決定部６２は、単純合成でよいという指示操作が検出されたか否かを判定する。単純合成でよいという指示操作が検出された場合は、ＹＥＳと判定されて、ステップＳ１１３に進む。

ステップＳ１１３において、挿入フレーム生成部６３は、フレームを複製して挿入フレームを生成する。

即ち、挿入フレーム生成部６３は、処理内容記憶部７３に記憶された処理内容に基づいて、前景動画の画像データを複製して挿入データを生成する。これにより，挿入フレーム生成処理は終了となる。その後、処理は、図４のフローチャートのステップＳ１６に戻る。

一方で、ステップＳ１１２において、単純合成でよいという指示操作が検出されなかった場合は、ＮＯと判定されて、図３のフローチャートのステップＳ６に戻り、新たな前景動画を選択するようにユーザは促される。これにより，挿入フレーム生成処理は終了となる。

本実施の形態では、ステップＳ１１０で補間合成に不向きと判断された場合には、ステップＳ１１１で、補間合成に向いていないという旨のメッセージをユーザに通知し、ステップＳ１１２において、単純合成でよいという指示操作が検出された場合に、単純合成処理を実行するとしたが、本発明はこれに限定されない。ステップＳ１１０で補間合成に不向きと判断された場合には、例えば、メッセージを通知せずに、単純合成処理を実行することも可能である。あるいは、挿入フレーム生成処理を実行する際に、ユーザに合成方法を選択する旨の通知をしてもよい。

その時に表示部４２によって表示される表示画像の一例を図９に示す。

画像１１０は、表示部４２に表示される、ユーザに合成方法を選択する旨の通知をする合成画像作成メニュー画像の一例である。図４のフローチャートのステップＳ１４において選択画像１０５を操作するユーザによって前景動画又は前景静止画が選択された後、表示部４２に画像１１０を表示して、ユーザに合成方法の選択を通知してもよい。

画像１１１は、表示部４２に表示される、補間合成が困難なことを通知する通知画像の一例である。図８のステップＳ１１０でユーザに補間合成に不向きであると判定された後に、表示部に画像１１１を表示して、補間合成に不向きであることを通知してもよい。ここで、ユーザが単純合成を望まないと判断して「キャンセル」を選択した場合は、ステップＳ５に進み、前景動画を再び選択するように促してもよい。

さらに、以下、図１０乃至図１３を参照して、合成動画生成処理のうち、処理内容情報を参照して実行される、ステップＳ１５及びＳ１６の処理について具体的に説明する。

図１０は、処理内容情報のデータ構造の一例を示している。図１１乃至図１３の各々は、図１０の処理内容情報に従ってフレームを複製する場合のスケジューリングの具体例を示している。

本実施形態において、処理内容情報は行列構造を有しているため、以下、図１０中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、背景動画の第１のフレームレートの１つが対応付けられている。所定の列には、前景動画の第２のフレームレートの１つが対応付けられている。即ち、ｉ行ｊ列（ｉは１又は２の値であり、ｊは１乃至４のうちの何れかの値である）の項目には、ｉ行に対応付けられた第１のフレームレートと、ｊ行に対応付けられた第２のフレームレートとの組み合わせの場合における、挿入フレーム生成部６３の処理内容（挿入フレームの生成手法）及びフレーム合成部６４の処理内容（フレームの合成手法）が格納されている。

例えば図１０において、背景動画の第１のフレームレートが１行目の２４（ＦＰＳ）であり、前景動画の第２のフレームレートが２列目の５（ＦＰＳ）である場合、１行２列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５回複製し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントしているものを連続６回生成）」という処理内容が、挿入フレーム生成部６３及びフレーム合成部６４の各々により処理内容記憶部７３から読み出される。すると、挿入フレーム生成部６３は、図１１に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部６４は、図１１に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（複製されたフレーム含む）とを合成していく。

なお、図１１において、背景動画フレーム番号とは、背景動画を構成する各フレームの各々に対して再生順に付された番号であって、図１０における「背景動画のフレームＮｏ．」のことをいう。また、前景動画フレーム番号とは、前景動画を構成する各フレームの各々に対して再生順に付された番号であって、図１０における「前景動画のフレームＮｏ．」のことをいう。即ち、図１１において、同一の前景動画フレーム番号が６つ存在することは、当該前景動画フレーム番号の元のフレームの後に、当該元のフレームが５回複製されたものが順次挿入されて、背景動画の対応するフレームと合成されることを意味している。この段落の記載事項は、図１２についても同様に当てはまる。

また例えば図１０において、背景動画の第１のフレームレートが２行目の３０（ＦＰＳ）であり、前景動画の第２のフレームレートが４列目の２０（ＦＰＳ）である場合、２行４列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて５フレームおきに１回挿入フレームを生成し、背景動画１フレームにつき前景動画１フレームを合成（このとき前景動画のフレームＮｏ．が同じもので背景動画のフレームＮｏ．が順次インクリメントして生成）」という処理内容が、挿入フレーム生成部６３及びフレーム合成部６４の各々により処理内容記憶部７３から読み出される。すると、挿入フレーム生成部６３は、図１２に示すスケジューリングに沿って前景動画の各フレームから挿入フレームを生成し、フレーム合成部６４は、図１２に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム（生成された挿入フレーム含む）とを合成していく。ここで挿入フレームとは、既に説明した通り、対象とする前景動画フレームが補間合成に向いていると判断されて補間合成処理が行われた場合は補間フレームであり、補間合成に不向きであると判定されて、単純合成処理が行われた場合は複製フレームとなる。図１２において、下線の引かれた前景動画フレーム番号は、当該前景動画フレームが補間フレームであることを示す。

以上説明したように、本実施形態に係るデジタルカメラ１は、正規の画角を有し第１のフレームレートを有する動画を背景動画とし、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する動画を前景動画として、背景動画の画像データと前景動画の画像データとを合成し、正規の画角を有した合成動画の画像データを生成する。この場合、デジタルカメラ１の挿入フレーム生成部６３は、第１のフレームレートと第２のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから挿入フレームを生成する。デジタルカメラ１のフレーム合成部６４は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、挿入フレーム生成部６３により生成された挿入フレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。フレーム合成部６４は、挿入フレーム生成部６３によって生成された各挿入フレームを、第２の動画のフレーム間における主要被写体像領域の移動を補間するように第１の動画の各フレームに挿入して、合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。

このようにして、本実施形態に係るデジタルカメラ１は、現実味のある滑らかな合成動画を作成することができる。

なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。

例えば、上述した実施形態では、挿入フレーム生成部６３の処理は、処理内容記憶部７３に記憶されている処理内容情報に従って実行されたが、特にこれに限定されない。例えば、前景動画１フレームあたりの表示時間を「Ｔｃ」と表記すると、５ＦＰＣであればＴｃ＝０．２（ｓ）となり、１０ＦＰＣであればＴｃ＝０．１（ｓ）となり、２０ＦＰＣであればＴｃ＝０．０５（ｓ）となる。一方、背景動画１フレームあたりの表示時間を「Ｔｂ」と表記すると、２４ＦＰＣであればＴｃ＝０．０４１６（ｓ）となり、３０ＦＰＣであればＴｃ＝０．０３３３（ｓ）となる。従って、図示はしないが、図２の機能ブロックに対してさらに演算部を設け、当該演算部が、（Ｔｃ／Ｔｂ）を演算することによって、前景動画１フレームあたり、何倍の長さで表示したらよいのか、即ち、複製するフレームの数はこの倍数に相当する数であることを求めることができる。そこで、挿入フレーム生成部６３は、１フレーム毎に（若しくは交互に）、この倍数に相当する分だけ、前景動画のフレームの画像データを複製すればよい。これにより、処理内容情報などを予め保持しておく必要が無くなり、また、任意の第１のフレームレートや任意の第２のフレームレートについても、適切なフレームの複製が可能になる。

また、合成画像の作成は、図１０に示した場合に限定されない。例えば、前景動画の第１のフレームレートが背景動画の第２のフレームレートの略２倍である場合で、かつ、前景動画画像の画像データが補間合成に向いていると判断された場合、図１３に示すように、前景動画の画像データの各々のフレームから補間フレームを生成して、補間合成をしてもよい。

また、本実施の形態では、補間合成に適当である画像データの条件を、主要被写体の領域の移動量が所定量以上であり、かつ、主要被写体の領域の移動方向が略一定として説明したが、これに限定されず何れか一方の条件だけで判断してもよい。またこの他にも、例えば、前後のフレームから抽出した主要被写体像の領域の重なり量に応じて判定することもできる。主要被写体像の領域の重なり量が大きい場合は、主要被写体の動きが少ないことを意味する。このため、補間合成に適当である画像データの条件を、例えば、前後のフレームから抽出した主要被写体像の領域の重なり量を算出して、この重なり量が所定の閾値以下であるとしてもよい。

さらに、主要被写体が、撮像部１１に近づく、あるいは、撮像部１１から離れる方向に移動する場合もある。即ち、主要被写体の領域の大きさが所定量以上に変化した場合も、撮像部１１に近づく方向に、あるいは、撮像部１１から離れる方向に、所定量以上の移動をしていると考えられる。このため、補間合成に適当である画像データの条件を、主要被写体像の領域の大きさを算出して、前後のフレームで主要被写体像の領域の大きさに所定量以上の変化が認められた時としてもよい。

さらに、上述の動きベクトルにかかわる数値は、撮影時の連写間隔が短い程動きの量は少なく算出される。このため、上述の閾値は撮影時の連写間隔を考慮して、必要な場合は適宜変更することが好ましい。

＜変形例＞
上記実施形態では、本願発明をデジタルカメラに適用させた場合について詳述したが、これに限らず、カメラ付き携帯電話など、撮像機能とメール送信機能やネットワークサーバへのアップロード機能を備えた無線通信機器に適用させてもよい。

以下、そのような機器に適用させた場合について説明する。なお、上記実施形態と動作や機能を同じくする構成については同一符号を付すことで説明を省略する。

図１４は、本変形例におけるカメラ付き携帯電話１１１の外観図を示すものであり、（ａ）は開状態の正面図、（ｂ）は閉状態の背面図を示す。

カメラ付き携帯電話１１１は、表示部４２を備える第１の筐体と、操作部４３を備える第２の筐体とからなり、第１の筐体と第２の筐体とは二軸の方向に回動するヒンジ部により、図１４（ａ）に示す開状態と、図１４（ｂ）に示す閉状態とを取ることができる。なお、同図において、符号４６は通話用スピーカを示す。

この場合、背景画像や前景画像を撮像することにより取得する場合は、図１４（ａ）、（ｂ）の両形態で行う。また上記合成動画生成処理は図１４（ａ）の形態でのみ行う。

図１５は、上記カメラ付き携帯電話１１１のハードウェアの構成を示す図である。

カメラ付き携帯電話１１１は、上記デジタルカメラ１と比較し、大まかな点では、音声出力部として上記通話用スピーカ４６が追加され、通信部４４に代りＣＤＭＡなどの無線通信方式に対応する信号処理部を有する通信部４４０、アンテナ４４１が設けられている点で異なるが、この他、ＣＰＵ３１は画像処理以外に通信処理、電子メール作成処理、データアップロード、データダウンロード処理も行う。なお、当然のことながら、ＲＯＭ３２にはこれらの処理を実行するプログラムがさらに格納されている。

また、図２におけるインデックス記憶部７１、前景動画記憶部７２、背景動画記憶部７４に記憶させるべき画像データ、動画ファイルは、画像取得部６１にて取得する他、無線通信ネットワーク（図示せず）を介して、アンテナ４４１、通信部４４０にて受信したものを記憶させることができる。

また上記合成動画生成処理にて作成された合成動画ファイルは、電子メールへの添付処理、若しくは、直接的なネットワークサーバへのアップロード処理により、カメラ付き携帯電話１１１外部に出力することができる。

このように変形例によれば、単に装置内部で現実味のある滑らか合成動画を生成できるだけでなく、合成に必要な前景動画、背景動画を無線通信ネットワークを介して簡単に入手できるだけでなく、生成された合成動画を外部に送信することも可能である。

このように、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。

このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ３２や、図示せぬハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

１・・・デジタルカメラ、１１・・・撮像部、１２・・・音声入力部、１３・・・データ処理部、１４・・・ユーザインタフェース部、２１・・・光学レンズ部、２２・・・イメージセンサ、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・メモリ、３５・・・出力制御部、３６・・・画像処理部、６１・・・画像取得部、６２・・・合成条件決定部（判断手段）、６３・・・挿入フレーム生成部、６４・・・フレーム合成部、６５・・・音声付加部、６６・・・ファイル化部、７１・・・インデックス記憶部、７２・・・前景動画記憶部、７３・・・処理内容記憶部、７４・・・背景動画記憶部、７５・・・合成動画記憶部、１１１・・・カメラ付き携帯電話

Claims (10)

1. 第１のフレームレートを有する第１の動画の画像データと、主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
   前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから前記主要被写体像領域を含む挿入フレームを生成する挿入フレーム生成手段と、
   再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、低いフレームレートの方の動画の動画データに、前記挿入フレーム生成手段により生成された挿入フレームを挿入して、他方の動画の動画データとフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
   前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
   を備え、
   前記合成手段は、前記挿入フレーム生成手段によって生成された各挿入フレームを、前記第２の動画のフレーム間における前記主要被写体像領域の移動を補間するように前記第１の動画の各フレームに挿入して、合成することを特徴とする、
   画像処理装置。
2. 前記第２のフレームレートを有する第２の動画の画像データが補間合成に適しているか否かを判断する判断手段を備え、
   前記挿入フレーム生成手段は、前記判断手段によって補間合成に適していると判断された場合に当該各フレーム間の差分に基づいて被写体領域の移動を補間するように挿入フレームを生成する、
   請求項１に記載の画像処理装置。
3. 前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の移動量が所定量以上ある場合に、補間合成に適していると判断する、
   請求項２に記載の画像処理装置。
4. 前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の移動方向が略一定である場合に、補間合成に適していると判断する、
   請求項２又は３の何れかに記載の画像処理装置。
5. 前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の重なり量が所定量以下である場合に、補間合成に適していると判断する、
   請求項２乃至４の何れかに記載の画像処理装置。
6. 前記判断手段は、前記第２の動画における各フレーム間の前記主要被写体像領域の大きさが所定量以上変化した場合に、補間合成に適していると判断する、
   請求項２乃至５の何れかに記載の画像処理装置。
7. 前記挿入フレーム生成手段は、前後フレームにおける前記主要被写体像領域のそれぞれの位置の中間に位置する主要被写体像領域を有するように前記挿入フレームを生成する、
   請求項１乃至５の何れかに記載の画像処理装置。
8. 前記挿入フレーム生成手段は、前後フレームにおける前記主要被写体像領域のそれぞれの大きさの中間の大きさの主要被写体像領域を有するように挿入フレームを生成する、
   請求項６記載の画像処理装置。
9. 前記第２のフレームレートを有する第２の動画の画像データが補間合成に適しているか否かを判断する判断手段を備え、
   前記挿入フレーム生成手段は、前記判断手段によって補間合成に適していないと判断された場合に当該各フレームを複製することで挿入フレームを生成する、
   請求項２に記載の画像処理装置。
10. 第１のフレームレートを有する第１の動画の画像データと、主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第２のフレームレートを有する第２の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
    前記第１のフレームレートと前記第２のフレームレートとを比較し、前記第１の動画及び前記第２の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データから前記主要被写体像領域を含む挿入フレームを生成する挿入フレーム生成機能と、
    再生時の再生速度が互いに適合するように、前記第１の動画及び前記第２の動画のうち、低いフレームレートの方の動画の動画データに、前記挿入フレーム生成機能により生成された挿入フレームを挿入して、他方の動画の動画データとフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能であって、
    前記挿入フレーム生成機能によって生成された各挿入フレームを、前記第２の動画のフレーム間における前記主要被写体像領域の移動を補間するように前記第１の動画の各フレームに挿入して、合成する合成機能と、
    前記合成機能によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録機能と、を実現させるためのプログラム。

Images