JP2011139300A - Image processing apparatus and program - Google Patents
Image processing apparatus and program Download PDFInfo
- Publication number
- JP2011139300A JP2011139300A JP2009297942A JP2009297942A JP2011139300A JP 2011139300 A JP2011139300 A JP 2011139300A JP 2009297942 A JP2009297942 A JP 2009297942A JP 2009297942 A JP2009297942 A JP 2009297942A JP 2011139300 A JP2011139300 A JP 2011139300A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- frame rate
- image data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、画像処理装置及びプログラムに関し、特に、より現実味のある合成動画を作成することを可能にする技術に関する。 The present invention relates to an image processing apparatus and a program, and more particularly to a technique that makes it possible to create a more realistic synthetic moving image.
従来より、フレームレートを共通にして撮像領域を分割して別個に動画撮影し、その後分割された各領域を合わせることにより、本来の撮像領域で撮像されたかのような合成動画を生成する技術が存在する(例えば特許文献1参照)。 Conventionally, there is a technology to generate a composite movie as if it was captured in the original imaging area by dividing the imaging area with the same frame rate and shooting the movie separately, and then combining the divided areas (For example, refer to Patent Document 1).
しかしながら、特許文献1に記載の技術では、単に撮像領域を分割しただけなので、背景画像の内容(画角や明るさ)が互いに異なっていた場合、合成しても現実味が不足するという課題があった。
However, since the technique described in
本発明は、このような状況に鑑みてなされたものであり、より現実味のある合成動画を作成することを可能とする。 The present invention has been made in view of such a situation, and makes it possible to create a more realistic synthetic moving image.
本発明の第1の観点によると、
正規の画角を有し第1のフレームレートを有する第1の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第2のフレームレートを有する第2の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置において、
前記第1のフレームレートと前記第2のフレームレートとを比較し、前記第1の動画及び前記第2の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第1の動画及び前記第2の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置を提供する。
According to a first aspect of the invention,
Image data of a first moving image having a normal angle of view and a first frame rate, and a main subject image area within the normal angle of view and an area excluding the main subject image area as a transmission information area In the image processing device that generates the image data of the synthesized moving image having the normal angle of view by combining the image data of the second moving image having the second frame rate,
The first frame rate and the second frame rate are compared, and a lower frame rate is selected in accordance with the playback speed of the higher frame rate video of the first video and the second video. A copying means for copying the image data of each frame included in the other video,
Image data of a moving image composed of a plurality of frames including the frame duplicated by the duplicating means of the first moving image and the second moving image so that the reproduction speeds at the time of reproduction match each other. Synthesizer that generates image data of the synthesized moving image by sequentially synthesizing the image data of the other moving image in units of frames;
Recording means for recording image data of the synthesized moving image generated by the synthesizing means as image data of a new moving image;
An image processing apparatus is provided.
本発明の第2の観点によると、
前記合成手段は、前記第2の動画の再生時間に相当するフレーム数について合成することによって、当該フレーム数のフレームからなる前記合成動画の画像データを生成する、
画像処理装置を提供する。
According to a second aspect of the invention,
The synthesizing unit generates image data of the synthesized moving image including frames of the number of frames by synthesizing the number of frames corresponding to the reproduction time of the second moving image.
An image processing apparatus is provided.
本発明の第3の観点によると、
前記第1のフレームレートと前記第2のフレームレートとの対応関係と、前記複製手段の処理内容又は前記合成手段の処理内容の少なくとも一方と、を対応付けた情報である処理内容情報を記憶する処理内容記憶手段をさらに備え、
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第1の動画の前記第1のフレームレートと合成対象の前記第2の動画の前記第2のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
画像処理装置を提供する。
According to a third aspect of the present invention,
Stores processing content information that is information in which the correspondence between the first frame rate and the second frame rate is associated with at least one of the processing content of the duplicating unit or the processing content of the combining unit. Further comprising processing content storage means;
At least one of the duplicating unit or the synthesizing unit is configured to correspond to the correspondence between the first frame rate of the first moving image to be combined and the second frame rate of the second moving image to be combined. The associated processing content is read from the processing content information stored in the processing content storage means, and the processing according to the read processing content is executed.
An image processing apparatus is provided.
本発明の第4の観点によると、
前記第1のフレームレートと前記第2のフレームレートとから、前記複製手段によって複製されるフレームの数を演算する演算手段を、
さらに備える画像処理装置を提供する。
According to a fourth aspect of the invention,
Computing means for computing the number of frames duplicated by the duplicating means from the first frame rate and the second frame rate,
An image processing apparatus further provided is provided.
本発明の第5の観点によると、
前記正規の画角の範囲内で撮像する撮像手段と、
前記第1のフレームレート又は前記第2のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第1の動画又は前記第2の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える画像処理装置を提供する。
According to a fifth aspect of the present invention,
Imaging means for imaging within the range of the normal angle of view;
The image capturing unit is continuously driven based on the first frame rate or the second frame rate to acquire image data of a plurality of images, and each of the acquired plurality of images is included as a frame. An image acquisition unit that generates image data of the first moving image or the second moving image, and adds to the image data, as additional information, information specifying a frame rate when the imaging unit is continuously driven;
An image processing apparatus is further provided.
本発明の第6の観点によると、
前記第1の動画又は前記第2の動画の少なくとも一方には音声データが記録されており、
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
画像処理装置を提供する。
According to a sixth aspect of the present invention,
Audio data is recorded in at least one of the first moving image or the second moving image,
The recording means further adds the audio data to the image data of the new moving image for recording;
An image processing apparatus is provided.
本発明の第7の観点によると、
正規の画角を有し第1のフレームレートを有する第1の動画の画像データと、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第2のフレームレートを有する第2の動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成する画像処理装置を制御するコンピュータに、
前記第1のフレームレートと前記第2のフレームレートとを比較し、前記第1の動画及び前記第2の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第1の動画及び前記第2の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラムを提供する。
According to a seventh aspect of the present invention,
Image data of a first moving image having a normal angle of view and a first frame rate, and a main subject image area within the normal angle of view and an area excluding the main subject image area as a transmission information area A computer that controls an image processing apparatus that generates image data of a combined moving image having a normal angle of view by combining the image data of the second moving image having the second frame rate;
The first frame rate and the second frame rate are compared, and a lower frame rate is selected in accordance with the playback speed of the higher frame rate video of the first video and the second video. A replication function that replicates the image data of each frame included in the other video,
The image of the moving image composed of a plurality of frames including the frame duplicated by the realization of the duplication function of the first moving image and the second moving image so that the reproduction speeds at the time of reproduction match each other. A synthesis function for generating image data of the synthesized video by sequentially synthesizing data and image data of the other video in units of frames;
A recording control function for recording the image data of the combined moving image generated by the realization of the combining function as image data of a new moving image;
A program for realizing the above is provided.
本発明によれば、現実味のある合成動画を作成することができる。 According to the present invention, a realistic synthesized moving image can be created.
以下、本発明の一実施形態を図面に基づいて説明する。
図1は、本発明の画像処理装置の一実施形態に係るデジタルカメラ1のハードウェアの構成を示す図である。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram showing a hardware configuration of a
デジタルカメラ1は、撮像部11と、音声入力部12と、データ処理部13と、ユーザインタフェース部14と、を備える。
The
撮像部11は、光学レンズ部21と、イメージセンサ22と、を備える。
The
光学レンズ部21は、規定された画角(以下、「正規の画角」と呼ぶ)に含まれる被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、イメージセンサ22の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部21にはまた、必要に応じて、焦点、露出、ホワイトバランスなどの設定パラメータを調整する周辺回路が設けられる。
The
イメージセンサ22は、光電変換素子や、AFE(Analog Front End)などから構成される。光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子などから構成される。光電変換素子には、光学レンズ部21からシャッタ部(図示せず)を介して被写体像が入射される。そこで、光電変換素子は、一定時間毎に被写体像を光電変換(撮影)して画像信号を蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、イメージセンサ22の出力信号として出力される。なお、以下、画像信号のディジタル信号を、「画像データ」と呼ぶ。このように呼称すると、イメージセンサ22からは画像データが出力されて、データ処理部13に供給される。
The
音声入力部12は、マイクロフォンや音声データ化部などで構成される。マイクロフォンは、撮像部11による撮影時などに音声を入力し、アナログの音声信号として出力する。音声データ化部は、マイクロフォンから出力されたアナログの音声信号に対して、A/D変換処理などの各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、音声入力部12の出力信号として出力される。なお、以下、音声信号のディジタル信号を、「音声データ」と呼ぶ。このように呼称すると、音声入力部12からは音声データが出力されて、データ処理部13に供給される。
The
データ処理部13は、CPU(Central Processing Unit)31と、ROM(Read Only Memory)32と、RAM(Random Access Memory)33と、メモリ34と、出力制御部35と、画像処理部36と、を備えている。
The
CPU31は、ROM32に記録されているプログラムに従って各種の処理を実行する。RAM33には、CPU31が各種の処理を実行する上において必要なデータなどが適宜記憶される。
The
本実施の形態では、後述する図2の画像取得部61乃至ファイル化部66の各機能を実現するプログラムが、ROM32に記憶されている。従って、CPU31が、このプログラムに従った処理を実行することで、画像取得部61乃至ファイル化部66の各機能を実現することができる。
In the present embodiment, programs for realizing the functions of the
メモリ34は、DRAM(Dynamic Random Access Memory)などで構成され、イメージセンサ22から出力された画像データや、音声入力部12から出力された音声データを一時記憶する。また、メモリ34は、各種画像処理や音声処理に必要な各種データ、例えば、画像データ、各種フラグの値、閾値なども記憶する。また、メモリ34には、画像表示用の画像データ(以下、「表示画像データ」と呼ぶ)の保存と読み出しを行うための表示メモリ領域も含まれている。
The
出力制御部35は、メモリ34の表示メモリ領域に格納された表示画像データを読み出し、その表示画像データにより表現される画像(以下、「表示画像」と呼ぶ)を、ユーザインタフェース部14の表示部42に表示させる。例えば、出力制御部35は、当該表示画像データに基づいてRGB信号を生成し、当該RGB信号を表示部42に供給することにより、表示画像を表示部42に表示させる。なお、出力制御部35により生成されたRGB信号は、ユーザインタフェース部14の通信部44によって、図示せぬ外部機器に出力させることもできる。これにより、外部機器、例えば、テレビジョン受像機、パーソナルコンピュータ、プロジェクタなどでも、表示画像の表示が可能になる。
The
出力制御部35はまた、メモリ34に記憶された音声データを読み出し、D/A変換などの信号処理を実行してアナログの音声信号を生成し、当該アナログの音声信号を音声出力部41に供給することにより、当該音声信号により表現される音声を音声出力部41から出力させる。
The
画像処理部36は、DSP(Digital Signal Processor)などで構成され、メモリ34に記憶された画像データに対して、ホワイトバランス補正処理やγ補正処理などの各種画像処理を実行する。本実施形態では、後述する図2の画像取得部61乃至ファイル化部66が実行する各種画像処理のうち少なくとも一部が、画像処理部36において実行され、残りの一部がCPU31において実行される。即ち、本実施形態では、後述する図2の画像取得部61乃至ファイル化部66は、CPU31及び画像処理部36というハードウェアと、ROM32に記憶されたプログラム(ソフトウェア)との組み合わせとして構成されている。
The
ユーザインタフェース部14は、スピーカなどで構成される音声出力部41と、液晶ディスプレイなどで構成される表示部42と、ユーザの指示操作を受け付ける操作部43と、外部機器との間での通信を制御する通信部44と、リムーバブル記録媒体51に対するデータの読み書きを行うドライブ45と、を備えている。
The
このような構成を有するデジタルカメラ1の処理対象となる動画のうち、上記の正規の画角を有し第1のフレームレートを有する動画を、以下、「背景動画」と呼ぶ。また、上記の正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第2のフレームレートを有する動画を、以下、「前景動画」と呼ぶ。デジタルカメラ1は、このような背景動画の画像データと前景動画の画像データとを合成することによって、正規の画角を有した合成動画の画像データを生成することができる。なお、このようなデジタルカメラ1の処理を、以下、「合成動画生成処理」と呼ぶ。
Among the moving images to be processed by the
図2は、このような合成動画生成処理を実行するためのデータ処理部13の機能的構成を示す機能ブロック図である。
FIG. 2 is a functional block diagram showing a functional configuration of the
データ処理部13は、画像取得部61と、合成条件決定部62と、フレーム複製部63と、フレーム合成部64と、音声付加部65と、ファイル化部66と、を備えている。
The
また、データ処理部13のROM32、RAM33、又はメモリ34(図1)内には、インデックス記憶部71と、前景動画記憶部72と、複製処理内容記憶部73と、背景動画記憶部74と、合成動画記憶部75と、が設けられている。
Further, in the
画像取得部61は、撮像部11により撮像された動画の画像データを取得する。例えば、画像取得部61は、第1のフレームレートに基づいて撮像部11を連続駆動させることによって、撮像部11から順次供給される、正規の画角を有する複数の画像の画像データを取得する。即ち、本実施形態では、このようにして画像取得部61により取得された複数の画像の画像データが、正規の画角を有し第1のフレームレートを有する背景動画の画像データとして取得される。なお、このように動画を構成する複数の画像の各々を、以下、「フレーム」と称する。即ち、1つの動画は、複数のフレームから構成される。
The
画像取得部61は、このようにして取得した背景動画の画像データを、ファイル化して背景動画記憶部74に記憶させる。即ち、背景動画の画像データを含む画像ファイルが生成され、背景動画記憶部74に記憶される。画像取得部61は、さらに、背景動画に関するメタ情報として、例えば、第1のフレームレートなどを特定する情報を生成し、当該画像ファイルに含めて背景動画記憶部74に記憶させる。なお、所定のフレームレートを特定する情報を、以下、「フレームレート情報」と呼ぶ。即ち、背景動画記憶部74に記憶される動画ファイルには、背景動画の画像データが、第1のフレームレートを特定するフレームレート情報などのメタ情報と共に含まれている。これにより、ユーザが撮影した動画を、背景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
The
また、画像取得部61は、当該背景動画の画像データに対して、サムネイル化処理、縮小処理、間引き処理などを適宜実行することで、後述する合成条件の決定の際にユーザに提示するインデックス画像データを生成し、これを背景動画記憶部74に記憶される各動画ファイルと対応付けるようにインデックス記憶部71に記憶させる。
In addition, the
なお、本実施形態では、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第2のフレームレートを有する動画、即ち前景動画については、予め与えられているものとする。換言すると、本実施形態では、当該前景動画の画像データは、所定の画像ファイルに含められて前景動画記憶部72に予め記憶されているものとする。また、当該所定の画像ファイルには、メタ情報として、第2のフレームレートを特定するフレームレート情報や、透過情報領域に関する透過情報なども含まれているものとする。また、当該前景動画のインデックス画像データは、透過情報などと対応付けて、前景動画記憶部72に記憶される各動画ファイルと対応付けるようにインデックス記憶部71に記憶させる。
In the present embodiment, a moving image having a second frame rate, that is, a foreground moving image including a main subject image region within a normal angle of view and including a region excluding the main subject image region as a transmission information region, It shall be given in advance. In other words, in this embodiment, it is assumed that the image data of the foreground moving image is included in a predetermined image file and stored in the foreground moving
画像取得部61は、第2のフレームレートに基づいて撮像部11を連続駆動させることによって、撮像部11から供給される動画の画像データを、前景動画の画像データとして取得するようにしてもよい。この場合、ユーザが撮影した動画を、前景動画として合成動画を作成することが容易に可能になり、このようにして作成された合成動画はより現実味のある動画になる。
The
合成条件決定部62は、合成動画を生成するための各種合成条件を決定する。合成条件としては、例えば、複数の背景動画のうちの何れの動画を合成対象とするのかという条件や、複数の前景動画のうちの何れの動画を合成対象とするのかという条件などが存在する。
The synthesis
本実施形態では、合成条件の多くはユーザによる設定が可能になっており、このようなユーザによる設定を支援すべく、インデックス記憶部71には複数のインデックス画像データが記憶されている。そこで、合成条件決定部62は、所定のインデックス画像データをインデックス記憶部71から読み出して、出力制御部35に供給する。すると、出力制御部35は、当該インデックス画像データにより表現される画像を、表示部42に表示させる。ユーザは、このインデックス画像データの画像を見ながら操作部43を操作することで、所定の合成条件に対する指示操作を行うことができる。合成条件決定部62は、当該指示操作に従って、当該所定の合成条件を決定する。なお、インデックス画像データの具体例や、合成条件の決定手法の具体例については、図3以降の図面を参照して後述する。
In the present embodiment, many of the synthesis conditions can be set by the user, and a plurality of index image data is stored in the
なお、合成条件決定部62は、前景動画記憶部72に記憶されている前景動画の画像データや、背景動画記憶部74に記憶されている背景動画の画像データから直接、インデックス画像データを生成してもよい。この場合には、インデックス記憶部71は省略してもよい。
The synthesis
このようにして、合成条件決定部62により、合成条件として少なくとも、合成対象の背景動画及び前景動画が決定される。この場合、合成対象の背景動画の第1のフレームレートと、合成対象の前景動画の第2のフレームレートとが一致しているならば、当該背景動画及び当該前景動画をそのまま合成しても、適切な合成動画を生成することができる。
In this way, at least the background moving image and the foreground moving image to be combined are determined by the combining
しかしながら、合成対象の背景動画の第1のフレームレートと、合成対象の前景動画の第2のフレームレートとが不一致の場合、当該背景動画及び当該前景動画をそのまま合成してしまうと、適切な合成動画を作成することができない。例えばフレームレートの高い方の再生速度にあわせて再生すると、フレームレートの低い方の動画の被写体像が素早く動いて再生されてしまうような合成動画が生成されてしまう。このため、適切な合成動画を生成するためには、当該背景動画及び当該前景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画のフレーム数を増加させる必要がある。 However, if the first frame rate of the background moving image to be combined and the second frame rate of the foreground moving image to be combined do not match, if the background moving image and the foreground moving image are combined as they are, appropriate combining I can't create a video. For example, when playback is performed in accordance with the playback speed of the higher frame rate, a composite video is generated in which the subject image of the video with the lower frame rate is quickly moved and played back. Therefore, in order to generate an appropriate synthesized video, the number of frames of the lower frame rate video is increased in accordance with the playback speed of the higher frame rate video of the background video and the foreground video. It is necessary to let
この場合のフレーム数の増加手法は、特に限定されず、例えば、既存のフレーム間に補間フレームや新たに創造したフレームを挿入する手法などを採用することができる。本実施形態では、既存のフレーム間に、何れか一方から複製したフレームを挿入するという手法が採用されている。このため、データ処理部13には、フレーム複製部63が設けられている。
The method of increasing the number of frames in this case is not particularly limited, and for example, a method of inserting an interpolated frame or a newly created frame between existing frames can be employed. In the present embodiment, a method of inserting a duplicated frame from either one between existing frames is employed. For this reason, the
即ち、フレーム複製部63は、第1のフレームレートと第2のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。
That is, the
ここで、複製処理内容記憶部73には、第1のフレームレートと第2のフレームレートとの対応関係と、フレーム複製部63の処理内容又は後述するフレーム合成部64の処理内容の少なくとも一方と、を対応付けた情報(以下、「処理内容情報」と呼ぶ)が記憶されている。そこで、フレーム複製部63は、この処理内容情報を適宜参照して、上述したフレームの画像データを複製する処理を実行する。このように、処理内容情報を予め保持しておくことで、フレーム複製部63の処理内容又は後述するフレーム合成部64の処理内容を決定するために要する時間を短縮することが可能になり、ひいては、合成動画生成処理の処理時間を短縮することが可能になる。なお、処理内容情報の具体例については、図7乃至図9を参照して後述する。
Here, the duplication processing
なお、以下の説明では、説明の便宜上、背景動画の第1のフレームレートの方が、前景動画の第2のフレームレートよりも高いものとする。即ち、図2においては、実線の矢印に沿って、データが流れるものとする。従って、フレーム複製部63は、前景動画に含まれる各フレームの画像データを複製する。これにより、既存の各フレーム間に、複製したフレームを挿入した動画の画像データが合成対象として得られ、フレーム合成部64に供給される。一方、背景動画の画像データは、背景動画記憶部74からフレーム合成部64に供給される。
In the following description, for convenience of explanation, it is assumed that the first frame rate of the background moving image is higher than the second frame rate of the foreground moving image. That is, in FIG. 2, it is assumed that data flows along a solid arrow. Therefore, the
フレーム合成部64は、再生時の再生速度が互いに適合するように、フレーム複製部63により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。この場合、フレーム合成部64は、複製処理内容記憶部73に記憶された処理内容情報を適宜参照して、フレームの画像データを合成する処理を実行する。これにより、背景動画と前景動画が合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
The
なお、ここでは、説明の便宜上、背景動画の第1のフレームレートの方が、前景動画の第2のフレームレートよりも高いものとしているが、当然ながら、第1のフレームレートの方が第2のフレームレートよりも低い場合もあり得る。このような場合に対しても、フレーム複製部63及びフレーム合成部64は、上述した処理を同様に実行することで、合成動画の画像データを生成することができる。このような処理も可能であることを示すために、図2においては、背景動画記憶部74からフレーム複製部63までの間と、前景動画記憶部72からフレーム合成部64までの間とのそれぞれに対して、点線の矢印が引かれている。
Here, for convenience of explanation, it is assumed that the first frame rate of the background moving image is higher than the second frame rate of the foreground moving image, but of course, the first frame rate is the second frame rate. It may be lower than the frame rate. Even in such a case, the
ところで、前景動画又は背景動画の少なくとも一方に音声が記録されている場合もある。このような場合、音声付加部65は、フレーム合成部64により生成された合成動画の画像データに対して、前景動画又は背景動画に記録された音声の音声データを付加する。これにより、合成動画の再生時に、対応する音声も出力されるので、より一段と現実味のある合成動画を作成することが可能となる。
By the way, audio may be recorded in at least one of the foreground moving image and the background moving image. In such a case, the
ファイル化部66は、フレーム合成部64により生成された合成動画の画像データと、音声付加部65により必要に応じて付加された音声の音声データと、各種メタデータとを含むファイル(以下、「合成画像ファイル」と呼ぶ)を生成し、合成動画記憶部75に記憶させる。
The
合成動画の再生時には、合成動画記憶部75に記憶された合成画像ファイルに含まれる合成動画の画像データのうち、表示対象のフレームの画像データが、メモリ34の表示メモリ領域に表示画像データとして格納される。すると、出力制御部35は、当該表示画像データを読み出し、その表示画像データにより表現される画像、即ち、表示対象のフレームを表示部42に表示させる。出力制御部35は、このような処理を、再生速度にあわせて、合成動画を構成する各フレーム毎に実行することで、合成動画を再生することができる。さらに、合成画像ファイルに音声データが含まれている場合には、出力制御部35は、当該音声データにより表現される音声を、音声出力部41から出力させる。
At the time of playback of the composite video, among the video data of the composite video included in the composite image file stored in the composite
次に、図3及び図4のフローチャートを参照して、このような機能的構成を有するデータ処理部13が実行する合成動画生成処理について説明する。その際、合成動画生成処理の理解を容易なものとすべく、図5又は図6に示す表示画像を適宜参照する。
Next, with reference to the flowcharts of FIGS. 3 and 4, a synthetic moving image generation process executed by the
図3及び図4は、合成動画生成処理の流れの一例を示すフローチャートである。図5及び図6は、合成動画生成処理中に表示部42に表示される各種表示画像の具体例を示している。
3 and 4 are flowcharts illustrating an example of the flow of the synthetic moving image generation process. 5 and 6 show specific examples of various display images displayed on the
図3のステップS1において、データ処理部13の合成条件決定部62は、背景選択のモードの選択操作が検出されたか否かを判定する。
In step S <b> 1 of FIG. 3, the composition
背景選択のモードが選択されていない場合、ステップS1においてNOであると判定されて、図4に示すように、合成動画生成処理は終了となる。 If the background selection mode is not selected, it is determined as NO in step S1, and the combined moving image generation process ends as shown in FIG.
これに対して、例えば、図5に示すように、モニタ画像101などが表示部42に表示されている状態で、操作部43のうちの「MENYU釦(図示せず)」が押下され、PLAYメニュー画像102が表示され、さらに、操作部43のうちの「SET釦(図示せず)」により、「合成画像作成」という項目120が選択されると、合成条件決定部62は、背景選択のモードの選択操作を検出する。これにより、図3のステップS1においてYESであると判定されて、処理はステップS2に進む。
On the other hand, for example, as shown in FIG. 5, in a state where the
ステップS2において、合成条件決定部62は、インデックス記憶部71を参照する。ステップS3において、合成条件決定部62は、出力制御部35を制御することによって、複数の画像ファイル(背景動画ファイル含む)に対応するインデックス画像データの画像をインデックス記憶部71から読み出して表示部42に表示させる。そして、ステップS4において、合成条件決定部62は、選択の指示操作が検出されたか否かを判定する。
In step S <b> 2, the synthesis
例えば、ステップS3の処理で、図5に示すように、所定の背景動画を示すインデックス画像データの画像121を含む選択画像104が、表示部42に表示される。ユーザは、この選択画像104が表示されている状態で、操作部43のうちの「左釦(図示せず)」又は「右釦(図示せず)」を押下することにより、選択画像104内の表示状態を、画像121から、別の背景動画又は背景静止画を示すインデックス画像データの画像に切り替えることができる。このようなユーザによる「左釦(図示せず)」、「右釦(図示せず)」の他、後述する「上釦(図示せず)」、「下釦(図示せず)」の押下操作による指示を、合成条件決定部62からみた場合には「外部からの方向指示」と呼び、そのための上述した押下操作を「外部からの方向指示操作」と呼ぶ。ユーザは、外部からの方向指示操作を何度か繰り返すことにより、所望のインデックス画像データの画像を選択画像104内に表示させ、その後、操作部43のうち「SET釦(図示せず)」を押下することで、当該所望のインデックス画像データの画像により示される背景動画又は背景静止画を選択することができる。
For example, as shown in FIG. 5, the
「SET釦(図示せず)」が押下されない場合、選択の指示操作が合成条件決定部62において検出されないため、ステップS4においてNOであると判定されて、処理はステップS3に戻され、それ以降の処理が繰り返される。即ち、「SET釦(図示せず)」が押下されない限り、ステップS3,S4NOのループ処理が繰り返される。その後、「SET釦(図示せず)」が押下されると、選択の指示操作が合成条件決定部62において検出されるため、ステップS4においてYESであると判定されて、処理はステップS5に進む。
When the “SET button (not shown)” is not pressed, since the selection instruction operation is not detected by the synthesis
ステップS5において、合成条件決定部62は、合成条件の1つとして、選択の指示操作が検出された時点に選択画像104内に表示されていたインデックス画像データの画像が示す背景動画又は背景静止画を、合成対象の背景画として決定する。例えば選択画像104が図5の表示状態のときに「SET釦(図示せず)」が押下されると、インデックス画像データの画像121により示される背景動画が、合成対象の背景動画として決定される。
In step S5, the synthesis
ステップS6において、合成条件決定部62は、インデックス記憶部71を参照する。ステップS7において、合成条件決定部62は、出力制御部35を制御することによって、透過情報を含む複数の画像ファイル(前景動画ファイル含む)に対応するインデックス画像データに基づく画像をインデックス記憶部71から読み出して表示部42に表示させる。そして、ステップS8において、合成条件決定部62は、選択の指示操作が検出されたか否かを判定する。
In step S <b> 6, the synthesis
例えば、ステップS7の処理で、図5に示すように、所定の前景動画を示すインデックス画像データの画像122を含む選択画像105が、表示部42に表示される。ユーザは、この選択画像105が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像105内の表示状態を、画像122から、別の前景動画又は前景静止画を示すインデックス画像データの画像に切り替えることができる。
For example, as shown in FIG. 5, the
なお、本実施形態では、複数のキャラクターを主要被写体像として含む前景動画又は前景静止画の画像データが前景動画記憶部72に予め記憶されている。このため、前景動画又は前景静止画の選択をユーザに促すために、図5に示すように、「使用する前景を選択してください」というメッセージが選択画像105内に表示される。例えば、インデックス画像データの画像122は、箒に乗った魔女が空を飛ぶように移動する前景動画を示している。
In the present embodiment, foreground moving image or foreground still image data including a plurality of characters as main subject images is stored in the foreground moving
ユーザは、外部からの方向指示操作を何度か繰り返して、所望のインデックス画像データの画像を選択画像105内に表示させ、その後、操作部43のうち「SET釦(図示せず)」を押下することで、当該所望の画像により示される前景動画又は前景静止画を選択することができる。
The user repeats the direction instruction operation from the outside several times to display the image of the desired index image data in the selected
従って、「SET釦(図示せず)」が押下されない場合、選択の指示操作が合成条件決定部62において検出されないため、ステップS8においてNOであると判定されて、処理はステップS7に戻され、それ以降の処理が繰り返される。即ち、「SET釦(図示せず)」が押下されない限り、ステップS7,S8NOのループ処理が繰り返される。その後、「SET釦(図示せず)」が押下されると、選択の指示操作が合成条件決定部62において検出されるため、ステップS8においてYESであると判定されて、処理はステップS9に進む。
Therefore, if the “SET button (not shown)” is not pressed, the selection instruction operation is not detected by the synthesis
ステップS9において、合成条件決定部62は、出力制御部35を制御することによって、インデックス画像データの画像同士を合成表示すると共に、合成可能な期間を差別化してタイムバーとして表示する。即ち、合成条件決定部62は、合成条件の1つとして、選択の指示操作が検出された時点に選択画像105内に表示されていたインデックス画像データの画像が示す前景動画又は前景静止画を、合成対象の前景画として決定する。合成条件決定部62は、当該合成対象の前景画と、先に合成対象として決定した背景動画とを合成した合成画像、及び、タイムバーを含む選択画像の画像データを生成する。そして、合成条件決定部62は、出力制御部35を制御することによって、当該選択画像を表示部42に表示させる。
In step S <b> 9, the composition
例えば選択画像105が図5の表示状態のときに「SET釦(図示せず)」が押下されると、合成条件の1つとして、画像122により示される前景動画が、合成対象の前景動画として決定される。このため、図6に示すように、合成対象の前景動画(魔女が移動する動画)を示す画像122及び合成対象の背景動画を示す画像121が合成された合成画像と、タイムバー123とを含む選択画像106が、表示部42に表示される。
For example, when the “SET button (not shown)” is pressed when the selected
この選択画像106に表示されているタイムバー123は、前景動画と背景動画のうち再生時間が長い方の動画、本実施形態では背景動画の再生時間帯を示している。タイムバー123内のポインタ124は、前景動画と背景動画のうち再生時間が短い方の動画、本実施形態では前景動画の再生開始タイミングを示している。
A
ユーザは、この選択画像106が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像106内のポインタ124の表示位置を、タイムバー123内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、ポインタ124をタイムバー123内の所望の位置に表示させ、その後、操作部43のうち「SET釦(図示せず)」を押下することで、当該所望の位置により示される背景動画の再生位置から、前景動画の合成(再生)を開始させる設定をすることができる。換言すると、前景動画と背景動画との合成を、前景動画を背景動画に埋め込むと把握するならば、ユーザは、上述の操作を行うことによって、前景動画の埋め込み開始タイミングを設定することができる。この場合、フレーム合成部64は、前景動画の埋め込み開始タイミングから、当該前景動画の再生時間に相当するフレーム数について合成することになる。これにより、合成処理は、必要最低現の時間帯に対して実行されるので、処理時間の短縮を図ることが可能になり、場合によっては、生成される合成動画の画像データの容量を削減することも可能になる。なお、図示はしないが、ユーザの利便性のため、タイムバー123内に、さらに、前景動画の再生時間帯、いわゆる埋め込み時間帯に対応する長さのバーを表示させてもよい。
The user can freely move the display position of the
このようにして、ステップS9の処理で選択画像106を表示させた後、ステップS10において、合成条件決定部62は、出力制御部35を制御することによって、外部からの方向指示検出結果をタイムバー123の表示位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の埋め込み開始タイミングの変更指示であり、当該変更指示の結果の検出結果に応じて、ポインタ124の表示位置がタイムバー123内で変化する。
In this way, after the selected
ステップS11において、合成条件決定部62は、前景動画の埋め込み開始タイミングの決定の指示操作が検出されたか否かを判定する。
In step S11, the composition
「SET釦(図示せず)」が押下されない場合、前景動画の埋め込み開始タイミングの決定の指示操作が合成条件決定部62において検出されないため、ステップS11においてNOであると判定されて、処理はステップS10に戻され、それ以降の処理が繰り返される。即ち、「SET釦(図示せず)」が押下されない限り、ステップS10,S11NOのループ処理が繰り返される。その後、「SET釦(図示せず)」が押下されると、決定の指示操作が合成条件決定部62において検出されるため、ステップS11においてYESであると判定される。
If the “SET button (not shown)” is not pressed, the compositing
これにより、合成条件の1つとして、前景動画の埋め込み開始タイミングが決定される。次に、合成条件決定部62は、合成条件の別の1つとして、前景動画の主要被写体像(図5や図6の例では箒に乗った魔女のキャラクター)の、背景動画内の合成位置を決定する必要がある。このため、図6に示すように、前景動画を示す画像122及び合成対象の背景動画を示す画像121が合成された合成画像と、前景動画の主要被写体像を囲む枠125とを含む選択画像107が、表示部42に表示される。
Thereby, the embedding start timing of the foreground moving image is determined as one of the synthesis conditions. Next, the synthesizing
ユーザは、この選択画像107が表示されている状態で、外部からの方向指示操作を行うことにより、選択画像107内の枠125の表示位置を、背景動画内、より正確には当該背景動画を示す画像121の範囲内で自在に移動させることができる。ユーザは、外部からの方向指示操作を何度か繰り返すことで、枠125内の前景動画の主要被写体像を背景画像内の所望の位置に表示させ、その後、操作部43のうち「SET釦(図示せず)」を押下することで、前景動画の主要被写体像の、背景動画内の合成位置を決定することができる。さらに、ユーザは、操作部43のうち「SET釦(図示せず)」を押下するまでの間は、操作部43のうち「ズーム釦(図示せず)」を押下することで、合成条件のさらに別の1つである、前景動画の主要被写体像の合成サイズを変更することもできる。
In a state where the selected
即ち、ステップS11の処理でYESであると判定して選択画像107を表示させた後、ステップS12において、合成条件決定部62は、出力制御部35を制御することによって、外部からの方向指示検出結果を、前景動画の主要被写体像の合成位置に反映させる。換言すると、外部からの方向指示とは、上述の如く、前景動画の主要被写体像の合成位置の変更指示であり、当該変更指示の結果の検出結果に応じて、枠125及び前景動画の主要被写体像の表示位置が背景動画内で変化する。このような処理中に、前景動画及び背景動画を共にプレビュー再生させると、それぞれの主要被写体像が動くことになるので、ユーザにとっては完成後の合成動画をイメージしながら、前景動画の主要被写体像の合成位置を設定することが可能になる。
That is, after it is determined as YES in the process of step S11 and the selected
ステップS13において、合成条件決定部62は、前景動画の主要被写体像の合成位置の決定の指示操作が検出されたか否かを判定する。
In step S13, the composition
「SET釦(図示せず)」が押下されない場合、前景動画の主要被写体像の合成位置の決定の指示操作が合成条件決定部62において検出されないため、ステップS13においてNOであると判定されて、処理はステップS12に戻され、それ以降の処理が繰り返される。即ち、「SET釦(図示せず)」が押下されない限り、ステップS12,S13NOのループ処理が繰り返される。その後、「SET釦(図示せず)」が押下されると、決定の指示操作が合成条件決定部62において検出されるため、ステップS13においてYESであると判定される。
If the “SET button (not shown)” is not pressed, the composition
このようにして、合成条件の1つとして、前景動画の主要被写体像の合成位置が決定され、必要に応じて合成条件の別の1つとして、前景動画の主要被写体像の合成サイズも決定される。これにより、本実施形態では、合成条件の全てが決定されたことになるので、処理は、図4のステップS14に進む。 In this way, the synthesis position of the main subject image of the foreground video is determined as one of the synthesis conditions, and the synthesis size of the main subject image of the foreground video is also determined as another synthesis condition as necessary. The Thereby, in this embodiment, since all the synthetic | combination conditions were determined, a process progresses to step S14 of FIG.
ステップS14において、フレーム複製部63は、合成対象の2つの画像ファイルに記憶されているフレームレート情報を、前景動画記憶部72又は背景動画記憶部74から読み出す。
In step S <b> 14, the
ステップS15において、フレーム複製部63は、複製処理内容記憶部73に記憶されている処理内容情報を参照して、フレームの画像データを複製する処理を実行する。即ち、本実施形態では、フレーム複製部63は、フレームレート情報から第1のフレームレート及び第2のフレームレートを認識し、処理内容情報に従って、高いフレームレートの背景動画の再生速度に合わせて、低いフレームレートの前景動画に含まれる各フレームの画像データを複製する。
In step S <b> 15, the
ステップS16において、フレーム合成部64は、複製処理内容記憶部73に記憶されている処理内容情報を参照して、フレームを合成する合成処理を実行する。即ち、本実施形態では、処理内容情報に従って、再生時の再生速度が互いに適合するように、フレーム複製部63により複製されたフレームを含む複数のフレームから構成される前景動画の画像データと、背景動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。
In step S <b> 16, the
なお、ステップS15及びS16の具体例については、図7乃至図9を参照して後述する。 A specific example of steps S15 and S16 will be described later with reference to FIGS.
ステップS17において、音声付加部65は、合成対象の前景動画又は背景動画に音声が記録されていたか否かを判定する。
In step S <b> 17, the
合成対象の前景動画及び背景動画の何れにも音声が記録されていない場合、ステップS17においてNOであると判定されて、ステップS18の処理は実行されずに、処理はステップS19に進む。 If no sound is recorded in either the foreground moving image or the background moving image to be synthesized, it is determined as NO in Step S17, and the process proceeds to Step S19 without performing the process in Step S18.
これに対して、合成対象の前景動画又は背景動画の少なくとも一方に音声が記録されている場合、ステップS17においてYESであると判定されて、処理はステップS18に進む。ステップS18において、音声付加部65は、合成部分に対応する音声データを切り取り、合成動画の画像データに関連付ける。なお、本実施形態では、合成対象の前景動画及び背景動画の両者に音声が記録されている場合、背景動画の音声の音声データが優先的に切り取られて、合成動画の画像データに関連付けられるとする。
On the other hand, when the sound is recorded in at least one of the foreground moving image and the background moving image to be synthesized, it is determined as YES in Step S17, and the process proceeds to Step S18. In step S18, the
ステップS19において、ファイル化部66は、合成動画の各データをファイル化し、出力制御部35を制御して、合成動画のプレビュー表示を行う。即ち、ファイル化部66は、ステップS16の処理で生成された合成動画の画像データと、ステップS18の処理が実行された場合にはその処理で関連付けられた音声の音声データと、各種メタデータとを含む合成画像ファイルを生成し、合成動画記憶部75に記憶させる。この間、表示部42には、例えば図6に示すような画像108が表示されており、合成画像ファイルが合成動画記憶部75に記憶されると、表示部42の表示画像が、合成動画126のプレビュー表示を行う画像109に切り替わる。これにより、合成動画生成処理が終了になる。
In step S19, the
さらに、以下、図7乃至図9を参照して、合成動画生成処理のうち、処理内容情報を参照して実行される、ステップS15及びS16の処理について具体的に説明する。 Furthermore, with reference to FIG. 7 to FIG. 9, the processes of steps S15 and S16 executed with reference to the processing content information in the synthetic moving image generation process will be specifically described below.
図7は、処理内容情報のデータ構造の一例を示している。図8及び図9の各々は、図7の処理内容情報に従ってフレームを複製する場合のスケジューリングの具体例を示している。 FIG. 7 shows an example of the data structure of the processing content information. Each of FIGS. 8 and 9 shows a specific example of scheduling when a frame is duplicated according to the processing content information of FIG.
本実施形態において、処理内容情報は行列構造を有しているため、以下、図7中横方向の項目の集合体を「行」と称し、同図中縦方向の項目の集合体を「列」と称する。所定の行には、背景動画の第1のフレームレートの1つが対応付けられている。所定の列には、前景動画の第2のフレームレートの1つが対応付けられている。即ち、i行j列(iは1又は2の値であり、jは1乃至4のうちの何れかの値である)の項目には、i行に対応付けられた第1のフレームレートと、j行に対応付けられた第2のフレームレートとの組み合わせの場合における、フレーム複製部63の処理内容(フレームの複製手法)及びフレーム合成部64の処理内容(フレームの合成手法)が格納されている。 In the present embodiment, since the processing content information has a matrix structure, the collection of items in the horizontal direction in FIG. 7 is hereinafter referred to as “row”, and the collection of items in the vertical direction in FIG. ". One of the first frame rates of the background moving image is associated with the predetermined row. One of the second frame rates of the foreground moving image is associated with the predetermined column. That is, the item of i rows and j columns (i is a value of 1 or 2 and j is any value from 1 to 4) includes the first frame rate associated with the i row. , The processing contents of the frame duplicating unit 63 (frame duplicating technique) and the processing contents of the frame synthesizing part 64 (frame synthesizing technique) in the case of a combination with the second frame rate associated with the j-th row are stored. ing.
例えば図7において、背景動画の第1のフレームレートが1行目の24(FPS)であり、前景動画の第2のフレームレートが2列目の5(FPS)である場合、1行2列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて5回複製し、背景動画1フレームにつき前景動画1フレームを合成(このとき前景動画のフレームNo.が同じもので背景動画のフレームNo.が順次インクリメントしているものを連続6回生成)」という処理内容が、フレーム複製部63及びフレーム合成部64の各々により複製処理内容記憶部73から読み出される。すると、フレーム複製部63は、図8に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部64は、図8に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム(複製されたフレーム含む)とを合成していく。
For example, in FIG. 7, when the first frame rate of the background moving image is 24 (FPS) in the first row and the second frame rate of the foreground moving image is 5 (FPS) in the second column, 1 row and 2 columns. The contents of the processing stored in the item of “Foreground video are duplicated 5 times and one foreground video is synthesized for each background video (the frame number of the foreground video is the same and the background video is the same). The process contents of “the frame No. of the frame number sequentially incremented six times” is read from the duplication process
なお、図8において、背景動画フレーム番号とは、背景動画を構成する各フレームの各々に対して再生順に付された番号であって、図7における「背景動画のフレームNo.」のことをいう。また、前景動画フレーム番号とは、前景動画を構成する各フレームの各々に対して再生順に付された番号であって、図7における「前景動画のフレームNo.」のことをいう。即ち、図8において、同一の前景動画フレーム番号が6つ存在することは、当該前景動画フレーム番号の元のフレームの後に、当該元のフレームが5回複製されたものが順次挿入されて、背景動画の対応するフレームと合成されることを意味している。この段落の記載事項は、図9についても同様に当てはまる。 In FIG. 8, the background moving image frame number is a number assigned to each of the frames constituting the background moving image in the order of reproduction, and means “frame number of background moving image” in FIG. . The foreground moving image frame number is a number assigned to each of the frames constituting the foreground moving image in the order of reproduction, and refers to “frame number of foreground moving image” in FIG. That is, in FIG. 8, the presence of six identical foreground video frame numbers means that after the original frame of the foreground video frame number, a copy of the original frame five times is inserted sequentially. It means to be combined with the corresponding frame of the video. The items described in this paragraph also apply to FIG.
また例えば図7において、背景動画の第1のフレームレートが2行目の30(FPS)であり、前景動画の第2のフレームレートが4列目の20(FPS)である場合、2行4列の項目に格納されている処理内容、即ち、「前景動画の各フレームについて5フレームおきに1回複製し、背景動画1フレームにつき前景動画1フレームを合成(このとき前景動画のフレームNo.が同じもので背景動画のフレームNo.が順次インクリメントして生成)」という処理内容が、フレーム複製部63及びフレーム合成部64の各々により複製処理内容記憶部73から読み出される。すると、フレーム複製部63は、図9に示すスケジューリングに沿って前景動画の各フレームを複製し、フレーム合成部64は、図9に示すスケジューリングに沿って、背景動画の各フレームと、前景動画の各フレーム(複製されたフレーム含む)とを合成していく。
For example, in FIG. 7, when the first frame rate of the background moving image is 30 (FPS) in the second row and the second frame rate of the foreground moving image is 20 (FPS) in the fourth column, 2
以上説明したように、本実施形態に係るデジタルカメラ1は、正規の画角を有し第1のフレームレートを有する動画を背景動画とし、正規の画角内に主要被写体像領域を含むと共に当該主要被写体像領域を除く領域を透過情報領域として含む、第2のフレームレートを有する動画を前景動画として、背景動画の画像データと前景動画の画像データとを合成し、正規の画角を有した合成動画の画像データを生成する。この場合、デジタルカメラ1のフレーム複製部63は、第1のフレームレートと第2のフレームレートとを比較し、前景動画及び背景動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する。デジタルカメラ1のフレーム合成部64は、再生時の再生速度が互いに適合するように、前景動画及び背景動画のうち、フレーム複製部63により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成する。これにより、背景動画と前景動画とが合成された合成動画であって、正規の画角を有する複数のフレームから構成される合成動画の画像データが生成される。そこで、デジタルカメラ1のファイル化部66は、フレーム合成部64により生成された合成動画の画像データを、新たな動画の画像データとして、合成画像ファイルに含めて合成動画記憶部75に記憶させる。
As described above, the
このようにして、本実施形態に係るデジタルカメラ1は、現実味のある合成動画を作成することができる。
In this way, the
なお、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。 It should be noted that the present invention is not limited to the above-described embodiment, and modifications, improvements and the like within a scope that can achieve the object of the present invention are included in the present invention.
例えば、上述した実施形態では、フレーム複製部63の処理は、複製処理内容記憶部73に記憶されている処理内容情報に従って実行されたが、特にこれに限定されない。例えば、前景動画1フレームあたりの表示時間を「Tc」と表記すると、5FPCであればTc=0.2(s)となり、10FPCであればTc=0.1(s)となり、20FPCであればTc=0.05(s)となる。一方、背景動画1フレームあたりの表示時間を「Tb」と表記すると、24FPCであればTc=0.0416(s)となり、30FPCであればTc=0.0333(s)となる。従って、図示はしないが、図2の機能ブロックに対してさらに演算部を設け、当該演算部が、(Tc/Tb)を演算することによって、前景動画1フレームあたり、何倍の長さで表示したらよいのか、即ち、複製するフレームの数はこの倍数に相当する数であることを求めることができる。そこで、フレーム複製部63は、1フレーム毎に(若しくは交互に)、この倍数に相当する分だけ、前景動画のフレームの画像データを複製すればよい。これにより、処理内容情報などを予め保持しておく必要が無くなり、また、任意の第1のフレームレートや任意の第2のフレームレートについても、適切なフレームの複製が可能になる。
For example, in the above-described embodiment, the processing of the
<変形例>
上記実施形態では、本願発明をデジタルカメラに適用させた場合について詳述したが、これに限らず、カメラ付き携帯電話など、撮像機能とメール送信機能やネットワークサーバへのアップロード機能を備えた無線通信機器に適用させてもよい。
<Modification>
In the above embodiment, the case where the present invention is applied to a digital camera has been described in detail. However, the present invention is not limited to this, and wireless communication having an imaging function, a mail transmission function, and a network server upload function, such as a camera-equipped mobile phone. You may make it apply to an apparatus.
以下、そのような機器に適用させた場合について説明する。なお、上記実施形態と動作や機能を同じくする構成については同一符号を付すことで説明を省略する。 Hereinafter, the case where it is applied to such a device will be described. In addition, about the structure which has the same operation | movement and a function as the said embodiment, the description is abbreviate | omitted by attaching | subjecting the same code | symbol.
図10は、本変形例におけるカメラ付き携帯電話111の外観図を示すものであり、(a)は開状態の正面図、(b)は閉状態の背面図を示す。
FIGS. 10A and 10B are external views of the camera-equipped
カメラ付き携帯電話111は、表示部42を備える第1の筐体と、操作部43を備える第2の筐体とからなり、第1の筐体と第2の筐体とは二軸の方向に回動するヒンジ部により、図10(a)に示す開状態と、図10(b)に示す閉状態とを取ることができる。なお、同図において、符号46は通話用スピーカを示す。
The camera-equipped
この場合、背景画像や前景画像を撮像することにより取得する場合は、図10(a)、(b)の両形態で行う。また上記合成動画生成処理は図10(a)の形態でのみ行う。 In this case, when acquiring by capturing a background image or a foreground image, it is performed in both forms of FIGS. 10 (a) and 10 (b). Further, the synthetic moving image generation process is performed only in the form of FIG.
図11は、上記カメラ付き携帯電話111のハードウェアの構成を示す図である。
FIG. 11 is a diagram showing a hardware configuration of the camera-equipped
カメラ付き携帯電話111は、上記デジタルカメラ1と比較し、大まかな点では、音声出力部として上記通話用スピーカ46が追加され、通信部44に代りCDMAなどの無線通信方式に対応する信号処理部を有する通信部440、アンテナ441が設けられている点で異なるが、この他、CPU31は画像処理以外に通信処理、電子メール作成処理、データアップロード、データダウンロード処理も行う。なお、当然のことながら、ROM32にはこれらの処理を実行するプログラムがさらに格納されている。
Compared with the
また、図2におけるインデックス記憶部71、前景動画記憶部72、背景動画記憶部74に記憶させるべき画像データ、動画ファイルは、画像取得部61にて取得する他、無線通信ネットワーク(図示せず)を介して、アンテナ441、通信部440にて受信したものを記憶させることができる。
Further, the image data and the moving image file to be stored in the
また上記合成動画生成処理にて作成された合成動画ファイルは、電子メールへの添付処理、若しくは、直接的なネットワークサーバへのアップロード処理により、カメラ付き携帯電話111外部に出力することができる。
The composite video file created by the composite video generation process can be output to the outside of the camera-equipped
このように変形例によれば、単に装置内部で現実味のある合成動画を生成できるだけでなく、合成に必要な前景動画、背景動画を無線通信ネットワークを介して簡単に入手できるだけでなく、生成された合成動画を外部に送信することも可能である。 In this way, according to the modification, not only can a realistic synthesized video be generated inside the apparatus, but also the foreground video and background video required for synthesis can be easily obtained via a wireless communication network. It is also possible to send a composite video to the outside.
このように、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。 Thus, the present invention is not particularly limited to a digital camera, and can be applied to electronic devices in general. Specifically, for example, the present invention is applicable to a video camera, a portable navigation device, a portable game machine, and the like.
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。 The series of processes described above can be executed by hardware or can be executed by software.
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。 When a series of processing is executed by software, a program constituting the software is installed on a computer or the like from a network or a recording medium. The computer may be a computer incorporated in dedicated hardware. The computer may be a computer capable of executing various functions by installing various programs, for example, a general-purpose personal computer.
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)などにより構成される。光磁気ディスクは、MD(Mini−Disk)などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図1のROM32や、図示せぬハードディスクなどで構成される。
Although not shown, the recording medium including such a program is not only constituted by a removable medium distributed separately from the apparatus main body in order to provide a program to the user, but also in a state of being incorporated in the apparatus main body in advance. It consists of a recording medium provided to the user. The removable medium is composed of, for example, a magnetic disk (including a floppy disk), an optical disk, a magneto-optical disk, or the like. The optical disk is composed of, for example, a CD-ROM (Compact Disk-Read Only Memory), a DVD (Digital Versatile Disk), or the like. The magneto-optical disk is configured by an MD (Mini-Disk) or the like. In addition, the recording medium provided to the user in a state of being preinstalled in the apparatus main body is configured by, for example, the
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in time series along the order, but is not necessarily performed in time series, either in parallel or individually. The process to be executed is also included.
1・・・デジタルカメラ、11・・・撮像部、12・・・音声入力部、13・・・データ処理部、14・・・ユーザインタフェース部、21・・・光学レンズ部、22・・・イメージセンサ、31・・・CPU、32・・・ROM、33・・・RAM、34・・・メモリ、35・・・出力制御部、36・・・画像処理部、61・・・画像取得部、62・・・合成条件決定部、63・・・フレーム複製部、64・・・フレーム合成部、65・・・音声付加部、66・・・ファイル化部、71・・・インデックス記憶部、72・・・前景動画記憶部、73・・・複製処理内容記憶部、74・・・背景動画記憶部、75・・・合成動画記憶部、111・・・カメラ付き携帯電話
DESCRIPTION OF
Claims (7)
前記第1のフレームレートと前記第2のフレームレートとを比較し、前記第1の動画及び前記第2の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製手段と、
再生時の再生速度が互いに適合するように、前記第1の動画及び前記第2の動画のうち、前記複製手段により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成手段と、
前記合成手段によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録手段と、
を備える画像処理装置。 Image data of a first moving image having a normal angle of view and a first frame rate, and a main subject image area within the normal angle of view and an area excluding the main subject image area as a transmission information area In the image processing device that generates the image data of the synthesized moving image having the normal angle of view by combining the image data of the second moving image having the second frame rate,
The first frame rate and the second frame rate are compared, and a lower frame rate is selected in accordance with the playback speed of the higher frame rate video of the first video and the second video. A copying means for copying the image data of each frame included in the other video,
Image data of a moving image composed of a plurality of frames including the frame duplicated by the duplicating means of the first moving image and the second moving image so that the reproduction speeds at the time of reproduction match each other. Synthesizer that generates image data of the synthesized moving image by sequentially synthesizing the image data of the other moving image in units of frames;
Recording means for recording image data of the synthesized moving image generated by the synthesizing means as image data of a new moving image;
An image processing apparatus comprising:
請求項1に記載の画像処理装置。 The synthesizing unit generates image data of the synthesized moving image including frames of the number of frames by combining the number of frames corresponding to the reproduction time of the second moving image.
The image processing apparatus according to claim 1.
前記複製手段又は前記合成手段の少なくとも一方は、合成対象の前記第1の動画の前記第1のフレームレートと合成対象の前記第2の動画の前記第2のフレームレートとの対応関係に対して対応づけられた処理内容を、前記処理内容記憶手段に記憶された前記処理内容情報から読み出して、読み出した前記処理内容に従った処理を実行する、
請求項1又は2に記載の画像処理装置。 Stores processing content information that is information in which the correspondence between the first frame rate and the second frame rate is associated with at least one of the processing content of the duplicating unit or the processing content of the combining unit. Further comprising processing content storage means;
At least one of the duplicating unit or the synthesizing unit is configured to correspond to the correspondence between the first frame rate of the first moving image to be combined and the second frame rate of the second moving image to be combined. The associated processing content is read from the processing content information stored in the processing content storage means, and the processing according to the read processing content is executed.
The image processing apparatus according to claim 1.
さらに備える請求項1又は2に記載の画像処理装置。 Computing means for computing the number of frames duplicated by the duplicating means from the first frame rate and the second frame rate,
The image processing apparatus according to claim 1, further comprising:
前記第1のフレームレート又は前記第2のフレームレートに基づいて前記撮像手段を連続駆動させることによって、複数の画像の画像データを取得し、取得した前記複数の画像の各々をフレームとして含む前記第1の動画又は前記第2の動画の画像データを生成すると共に、前記撮像手段が連続駆動したときのフレームレートを特定する情報を付加情報として、前記画像データに付与する画像取得手段と、
をさらに備える請求項1乃至4の何れか1項に記載の画像処理装置。 Imaging means for imaging within the range of the normal angle of view;
The image capturing unit is continuously driven based on the first frame rate or the second frame rate to acquire image data of a plurality of images, and each of the acquired plurality of images is included as a frame. An image acquisition unit that generates image data of the first moving image or the second moving image, and adds to the image data, as additional information, information specifying a frame rate when the imaging unit is continuously driven;
The image processing apparatus according to claim 1, further comprising:
前記記録手段は、さらに、前記新たな動画の画像データに対して、前記音声データを付与して記録する、
請求項1乃至5の何れか1項に記載の画像処理装置。 Audio data is recorded in at least one of the first moving image or the second moving image,
The recording means further adds the audio data to the image data of the new moving image for recording;
The image processing apparatus according to any one of claims 1 to 5.
前記第1のフレームレートと前記第2のフレームレートとを比較し、前記第1の動画及び前記第2の動画のうち、高いフレームレートの方の動画の再生速度に合わせて、低いフレームレートの方の動画に含まれる各フレームの画像データを複製する複製機能と、
再生時の再生速度が互いに適合するように、前記第1の動画及び前記第2の動画のうち、前記複製機能の実現により複製されたフレームを含む複数のフレームから構成される方の動画の画像データと、他方の動画の画像データとをフレーム単位で順次合成することによって、前記合成動画の画像データを生成する合成機能と、
前記合成機能の実現によって生成された前記合成動画の画像データを、新たな動画の画像データとして記録する記録制御機能と、
を実現させるためのプログラム。 Image data of a first moving image having a normal angle of view and a first frame rate, and a main subject image area within the normal angle of view and an area excluding the main subject image area as a transmission information area A computer that controls an image processing apparatus that generates image data of a combined moving image having a normal angle of view by combining the image data of the second moving image having the second frame rate;
The first frame rate and the second frame rate are compared, and a lower frame rate is selected in accordance with the playback speed of the higher frame rate video of the first video and the second video. A replication function that replicates the image data of each frame included in the other video,
The image of the moving image composed of a plurality of frames including the frame duplicated by the realization of the duplication function of the first moving image and the second moving image so that the reproduction speeds at the time of reproduction match each other. A synthesis function for generating image data of the synthesized video by sequentially synthesizing data and image data of the other video in units of frames;
A recording control function for recording the image data of the combined moving image generated by the realization of the combining function as image data of a new moving image;
A program to realize
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297942A JP2011139300A (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297942A JP2011139300A (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011139300A true JP2011139300A (en) | 2011-07-14 |
Family
ID=44350273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009297942A Pending JP2011139300A (en) | 2009-12-28 | 2009-12-28 | Image processing apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011139300A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2487456A (en) * | 2011-01-11 | 2012-07-25 | Samsung Electronics Co Ltd | High speed video capture using different frame rates |
CN114827480A (en) * | 2022-06-29 | 2022-07-29 | 武汉中仪物联技术股份有限公司 | Pipeline inner wall panoramic expansion map acquisition method and device and electronic equipment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11177922A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Time varying image data edit method and system |
JP2006203334A (en) * | 2005-01-18 | 2006-08-03 | Canon Inc | Image recording apparatus, control method thereof and program |
-
2009
- 2009-12-28 JP JP2009297942A patent/JP2011139300A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11177922A (en) * | 1997-12-08 | 1999-07-02 | Hitachi Ltd | Time varying image data edit method and system |
JP2006203334A (en) * | 2005-01-18 | 2006-08-03 | Canon Inc | Image recording apparatus, control method thereof and program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2487456A (en) * | 2011-01-11 | 2012-07-25 | Samsung Electronics Co Ltd | High speed video capture using different frame rates |
GB2487456B (en) * | 2011-01-11 | 2016-07-20 | Samsung Electronics Co Ltd | Method and apparatus for capturing moving picture |
CN114827480A (en) * | 2022-06-29 | 2022-07-29 | 武汉中仪物联技术股份有限公司 | Pipeline inner wall panoramic expansion map acquisition method and device and electronic equipment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007328755A (en) | Image processor, image processing method and program | |
US9554112B2 (en) | Replay control apparatus for simultaneously replaying moving image data | |
JP2012015830A (en) | Camera | |
KR20120081516A (en) | Digital photographing apparatus and control method thereof | |
JP5393237B2 (en) | Image display apparatus, control method therefor, program, and storage medium | |
KR102172114B1 (en) | Moving image selection apparatus for selecting moving image to be combined, moving image selection method, and storage medium | |
KR101737086B1 (en) | Digital photographing apparatus and control method thereof | |
JP5604916B2 (en) | Image processing apparatus and program | |
KR20130031176A (en) | Display apparatus and method | |
JP2011139300A (en) | Image processing apparatus and program | |
JP2009071857A (en) | Image processing apparatus, image processing method and program | |
KR101285382B1 (en) | A device having function editting of image and Method thereof | |
JP2008021110A (en) | Image processor, image processing procedure, and program | |
JP2007267309A (en) | Electronic camera | |
JP2018074523A (en) | Imaging device, control method thereof, program, and recording medium | |
US11030716B2 (en) | Image processing apparatus | |
JP2006165770A (en) | Digital camera | |
JP2009246775A (en) | Image reproducing device | |
JP4915978B2 (en) | Movie playback apparatus and program thereof | |
JP4552631B2 (en) | Digital camera | |
JP2014086869A (en) | Digital camera | |
KR101946574B1 (en) | Apparatus and method for reproducing image and computer-readable storage medium | |
JP5593652B2 (en) | Camera and movie playback program | |
JP6643081B2 (en) | Album moving image generating apparatus, album moving image generating method, and program | |
JP2006165767A (en) | Digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140507 |