JP2005260749A - 電子カメラ、及び電子カメラの制御プログラム - Google Patents

電子カメラ、及び電子カメラの制御プログラム Download PDF

Info

Publication number
JP2005260749A
JP2005260749A JP2004071576A JP2004071576A JP2005260749A JP 2005260749 A JP2005260749 A JP 2005260749A JP 2004071576 A JP2004071576 A JP 2004071576A JP 2004071576 A JP2004071576 A JP 2004071576A JP 2005260749 A JP2005260749 A JP 2005260749A
Authority
JP
Japan
Prior art keywords
moving image
editing
unit
image
reproduction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004071576A
Other languages
English (en)
Inventor
Keiichi Imamura
圭一 今村
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004071576A priority Critical patent/JP2005260749A/ja
Publication of JP2005260749A publication Critical patent/JP2005260749A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】撮影された動画像について、負担の大きい編集操作入力なしに各種の編集が施されたダイジェスト再生をさせることを可能にする。
【解決手段】携帯カメラ本体部2は、ズーム撮像部4により動画像を撮影して、例えば圧縮符号化/復号部24により動画像データを符号化して静止画像/動画像/音声データメモリ28に記録する。編集/再生制御部26は、乱数を発生させて、この乱数に応じて動画像に対して例えばシーン単位で編集を施す。編集/再生制御部26は、動画像に対する編集内容を表すプレイリスト(再生制御情報)を生成してプレイリストメモリ30に記録する。
【選択図】 図1

Description

本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の電子カメラ、及び電子カメラの制御プログラムに関する。
近年では、ビデオカメラ等が普及し、一般家庭でも手軽に動画撮影や記録ができるようになった。また、小型デジタルカメラでも、動画撮影や録音機能もできるようになっている。デジタルビデオカメラでは、撮影時にタイトルを作成したり、各種の特殊効果を含む撮影ができる機種も多いが、一旦撮影記録した映像を編集や加工するには、専用の映像編集装置やパーソナルコンピュータ上で実行させる映像編集用のプログラムが必要となっている。
一般に、撮影された動画像は、不要な部分をカットして全体の再生時間を短くするといった編集処理を施さないと、後で鑑賞することが困難となってしまうことが多かった。
これに対して、従来では、撮影された動画像に対して編集を施して短くする、いわゆるダイジェスト再生が可能な装置が考えられている。
例えば、ビデオ撮影と銀塩撮影とを同時に行うことができる画像撮影装置によって撮影を行ない、銀塩フィルムとビデオテープに同時撮影情報を記録しておき、銀塩フィルムに記録された同時撮影情報をもとに、その銀塩撮影をした付近のビデオ画像のみを探して再生するものがある(例えば、特許文献1)。
また、ビデオカメラなどでの撮影時に、撮影時に行われたカメラのボタン操作に応じて重要度合いを示す優先度を記録しておき、この優先度の情報に応じて再生画像を選択してダイジェスト再生するものである(例えば、特許文献2)。
特開平10−224727号公報 特開平6−165009号公報
このように従来では、特許文献1,2に記載されているように、カメラによって撮影された動画像についダイジェスト再生することができる。しかしながら、特許文献1に記載された技術では、動画像の撮影と共に銀塩撮影を同時にする必要があった。すなわち、ビデオ撮影と銀塩撮影とを同時に行うことができる画像撮影装置でしか実施できず、ビデオ撮影のみを単独で実行する機器においては適用できなかった。また、動画像の撮影時にダイジェスト再生を意識して銀塩撮影する必要があった。つまり、銀塩撮影をビデオ撮影と同時に行わなければダイジェスト再生することができなかった。
また特許文献2に記載された技術では、ビデオ撮影時にボタン操作をすることで、ダイジェスト再生で選択される画像を指定する必要があるため作業負担が大きかった。つまり、ビデオ撮影と同時にダイジェスト再生のための編集作業を同時に行う必要があった。
また、特許文献1,2の何れにおいても、動画像(ビデオ)中から一部を選択して全体の長さを短くし、記録順に再生する編集をするだけであり、単調なダイジェスト再生しかできなかった。
本発明の課題は、撮影された動画像について、負担の大きい編集操作入力なしに各種の編集が施されたダイジェスト再生をさせることが可能な電子カメラ、及び電子カメラの制御プログラムを提供することにある。
請求項1記載の発明は、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、乱数を発生させる乱数発生手段と、前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段に記録された動画像を編集する編集手段とを具備したことを特徴とする。
請求項2記載の発明は、請求項1記載の発明において、前記編集手段は、前記乱数発生手段によって発生される乱数に応じて、所定単位毎の動画像の再生順序を変更する再生順序編集手段と、前記乱数発生手段によって発生される乱数に応じて、前記所定単位毎の動画像に対する特殊効果を付加する特殊効果付加編集手段の少なくとも何れか一方を含むことを特徴とする。
請求項3記載の発明は、請求項1または請求項2記載の発明において、前記動画像記録手段により記録された動画像中の所定範囲を選択する範囲選択手段を具備し、前記編集手段は、前記範囲選択手段によって選択された所定範囲を除いた動画像を対象として編集することを特徴とする。
請求項4記載の発明は、請求項1または請求項2記載の発明において、前記動画像記録手段により記録された動画像中の所定範囲を選択する範囲選択手段を具備し、前記編集手段は、前記範囲選択手段によって選択された所定範囲を含む動画像を対象として編集することを特徴とする。
請求項5記載の発明は、請求項1乃至請求項4記載の何れかに記載の発明において、前記編集手段は、前記動画像記録手段により記録された動画像から時間経過順で一部を選択して結合することを特徴とする。
請求項6記載の発明は、請求項1乃至請求項5記載の発明において、前記編集手段により編集された後の動画像を動画ファイルの形態で記録する編集後動画像記録手段と、前記編集後動画像記録手段により記録された動画像ファイルを再生出力する再生出力手段とをさらに具備したことを特徴とする。
請求項7記載の発明は、請求項1乃至請求項5の何れか記載の発明において、前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段によって記録された動画像の再生制御情報を生成する再生制御情報生成手段と、前記再生制御情報生成手段により生成された再生制御情報を、前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段とを具備し、前記編集手段は、再生制御情報記録手段により記録された再生制御情報に基づいて前記動画像記録手段に記録された動画像を編集するたことを特徴とする。
請求項8記載の発明は、請求項7記載の発明において、前記編集手段によって編集された動画像を再生出力する再生出力手段をさらに具備したことを特徴とする。
請求項9記載の発明は、請求項7または請求項8の何れか記載の発明において、前記再生制御情報を編集する制御情報編集手段をさらに具備したことを特徴とする。
請求項10記載の発明は、電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、コンピュータを、動画像を撮影する動画像撮影手段と、前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、乱数を発生させる乱数発生手段と、前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段に記録された動画像を編集する編集手段として機能させる。
請求項1記載の発明によれば、動画像を撮影して記録する電子カメラにおいて、撮影された動画像に対して、乱数発生手段によって発生された乱数に応じて動画像を編集することで、ユーザからの編集操作を入力することなく、自動的にランダムな各種の編集を施して動画像をダイジェスト再生させることができる。
請求項2記載の発明によれば、請求項1の発明の効果に加えて、所定単位毎の動画像の再生順序を変更する編集と所定単位毎の動画像に対する特殊効果を付加する編集とを自動的に施して動画像をダイジェスト再生させることができる。
請求項3記載の発明によれば、請求項1または請求項2記載の発明の効果に加えて、動画像中の所定範囲、例えばシーン、チャプタ、画像などを選択し、この選択された所定範囲を除いた動画像を対象として編集をすることで、再生不要な範囲の動画像を除いたダイジェスト再生をさせることができる。
請求項4記載の発明によれば、請求項1または請求項2の発明の効果に加えて、動画像中の所定範囲、例えばシーン、チャプタ、画像などを選択し、この選択された所定範囲を含む動画像を対象として編集をすることで、所定範囲の動画像を優先させたダイジェスト再生をさせることができる。
請求項5記載の発明によれば、請求項1乃至請求項4の何れかの発明の効果に加えて、動画像から時間経過順で一部を選択して結合することで、再生時間をランダムに変更してダイジェスト再生させることができる。
請求項6記載の発明によれば、請求項1乃至請求項5の何れかの発明の効果に加えて、動画像に対して編集加工を施して記録するので、この記録された動画像データをそのまま再生することで、各種編集が施された動画像を出力することができる。
請求項7記載の発明によれば、請求項1乃至請求項5の何れかの発明の効果に加えて、編集内容を表す再生制御情報(プレイリスト)を生成して動画像と関連付けて記録しておくことで、動画像に対する実際の編集処理を実行しなくても良いため、電子カメラに搭載されたハードウェアの性能が十分でない場合、例えばCPU性能が低い、メモリ容量が少ないといった場合であっても、各種編集の内容を記録しておくことができる。動画像と関連付けて再生制御情報を記録しておくことで、別途、自電子カメラにおいて、あるいは他の装置において、再生制御情報をもとにした動画像の再生出力が可能となる。
請求項8記載の発明によれば、請求項1の発明の効果に加えて、再生制御情報を参照して、該再生制御情報が表す編集内容に応じた編集を施しながら再生出力するので、何度でも同じダイジェスト再生をさせることができる。
請求項9記載の発明によれば、請求項7または請求項8の発明の効果に加えて、再生制御情報を編集できるようにすることで、動画像に対して異なる編集を施すことなく、動画像制御情報に対する編集により、新たな編集が施されたダイジェスト再生をさせることができる。
請求項10記載の発明によれば、動画像を撮影して記録する電子カメラにおいて、撮影された動画像に対して、乱数発生手段によって発生された乱数に応じて動画像を編集することで、ユーザからの編集操作を入力することなく、自動的にランダムな編集を施して動画像をダイジェスト再生させることができる。
以下、図面を参照して本発明の実施の形態について説明する。
図1は、本発明の実施の形態における電子カメラの回路システム構成を示すブロック図である。本発明は、動画像を記録再生可能な機能が搭載された電子スチルカメラ、ビデオカメラ、カメラ付携帯電話、カメラ付情報通信端末等の携帯型の電子カメラに適用することが可能である。
本実施形態における電子カメラは、静止画像の他に動画像を撮影することができ、撮影記録後の動画像データに対するトリミングやカット編集、特殊効果の付加など各種の編集を施した動画像の再生を、内蔵の低速CPUや小容量メモリを用いて実行できるようにする動画像の編集再生機能が設けられている。また、撮影された動画像に対して、負担の大きい編集操作をすることなく、意味のある内容をランダムに再生するダイジェスト再生機能が設けられている。
電子カメラは、携帯カメラ本体部2及びズーム撮像部4により構成される。ズーム撮像部4は、携帯カメラ本体部2に対して例えば回動可能となるようにコネクタ部6により結合されている。ズーム撮像部4を回動可能とすることで、携帯カメラ本体部2の状態を維持したまま、ズーム撮像部4による撮影方向を任意に設定することができる。
携帯カメラ本体部2は、充電/PC転送用クレードル部7に装着可能となっている。携帯カメラ本体部2は、充電/PC転送用クレードル部7を介して、電力の供給を受けて充電することができる。また、携帯カメラ本体部2は、充電/PC転送用クレードル部7を介して、パーソナルコンピュータ等の他の情報機器と接続することができ、他の情報機器との間で静止画像や動画像などの各種データの送受信、あるいはプログラムなどの受信が可能である。
充電/PC転送用クレードル部7は、携帯カメラ本体部2に対して電力を供給すると共に、携帯カメラ本体部2と他の情報機器との間の各種データなどの送受信を仲介する。充電/PC転送用クレードル部7は、ACアダプタ部8と接続されてDC(直流)入力する。
ACアダプタ部8は、AC電源に接続され、AC電源をDC出力に変換して充電/PC転送用クレードル部7に供給する。
まず、携帯カメラ本体部2の構成の詳細について説明する。
携帯カメラ本体部2には、カメラ全体を制御する制御回路10が設けられている。制御回路10は、CPUと、後述する各種処理を実現するためのプログラムや各動作モード時に画面に表示する画像データ等を固定的に記憶したROM、及びワークメモリとして使用されるRAM等により構成される。本実施形態の電子カメラは、ズーム撮像部4により撮像された動画像のデータを符号化して記録すると共に、動画像に対する編集操作を受付て再生制御情報(後述するプレイリスト)を作成し、動画再生時に再生制御情報を参照しながら符号化されたデータをもとに再生出力することができる。
制御回路10は、入力回路12を通じて各種入力デバイスから入力される指示に応じて、各種機能の制御や設定等を実行する。入力回路12は、例えば静止画撮影半押し/シャッタボタン13、動画撮影開始/停止ボタン14、その他の操作入力部15等からの入力を制御回路10に通知する。操作入力部15には、例えば、電源のオンオフを切り替えるための電源ON/OFFスイッチ、動作モード(例えば撮影モード(動画像、静止画像)、再生モード、編集モード等)を切り替えるためのモードスイッチ、ズーム操作をするためのズーム操作レバー、メニューを表示させるためのメニューキー、上下左右方向の指示を入力するためのカーソルキー、選択実行を指示するためのセットキー、表示画面の切り替えや選択対象の変更を指示するためのディスプレイボタン等が含まれる。
制御回路10は、コネクタ部6を介してズーム撮像部4に設けられた制御部70(後述する)を制御することにより画像(静止画像、動画像)の撮影を実行する。
制御回路10には、表示メモリ17、表示駆動部18、画像バッファメモリ20、画像信号処理部22、圧縮符号化/復号部24、編集/再生制御部26、静止画像/動画像/音声データメモリ28、プレイリストメモリ30、音声復号化部31、外部メモリインタフェース36、音声符号化部40、電源制御部44、電源制御部44、外部I/Oインタフェース48などが接続される。
表示メモリ17は、ズーム撮像部4により撮影された画像の画像データ、あるいは各種メニューの画像データなど、表示部19において表示させる画像のデータが記録される。
表示駆動部18は、表示メモリ17に記録された画像データをもとに表示部19に画像を表示させる。例えば撮影モードでは、ズーム撮像部4により撮影された画像が表示メモリ17においてスルー表示され、電子カメラのファインダとして機能する。表示部19は、例えば液晶ディスプレイなどにより構成されている。電子カメラが携帯型に構成されている場合、筐体サイズの制限などから比較的、表示画面のサイズが小さくなっている。
画像バッファメモリ20は、ズーム撮像部4(A/D回路76)から入力される画像データを一時記憶する。
画像信号処理部22は、画像バッファメモリ20に記録されたズーム撮像部4からの画像データに対して画像処理を施すもので、圧縮符号化/復号部24によってデータ圧縮等の処理を施して静止画像/動画像/音声データメモリ28(あるいは外部メモリインタフェース36を介して外部メモリ37)に撮影画像として記録する。
圧縮符号化/復号部24は、ズーム撮像部4から入力される画像データ(動画像、静止画像)に対する符号化処理、及び符号化されたデータの復号処理を実行する。本実施形態では、MPEG(Moving Picture Experts Group)方式により画像の符号化/復号を実行するものとして説明する。
編集/再生制御部26は、本実施形態における電子カメラの特徴的な機能を実現するもので、ズーム撮像部4を通じて撮影された動画像に対する編集操作に応じて、動画像データを編集後の動画像データに変換して記録しないで(符号化された動画像の元データを残したまま)、所定単位毎(例えば時間毎、シーン毎、GOP毎、チャプタ毎)に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして生成編集してプレイリストメモリ30に記録する。また、編集/再生制御部26は、編集操作入力によらないで、乱数を発生させて、この乱数に応じて動画像に対する編集内容(再生順序変更や遷移画面効果など)を設定し、この編集内容を表すプレイリストを生成編集してプレイリストメモリ30に記録することもできる。編集/再生制御部26は、動画像データを再生する際には、プレイリストメモリ30に記録したプレイリストの再生制御情報を参照しながら、符号化された動画像データに対して編集や特殊処理を施した動画像データを生成して出力させる。
静止画像/動画像/音声データメモリ28は、静止画像データ、動画像データ、音声データが各データファイルとして記録される。動画像データについては、符号化されてMPEGファイルとして記録される。また圧縮符号化/復号部24により符号化された画像データ(静止画像データ、動画像データ)と音声符号化部40により符号化された音声データとが多重化された多重符号化データのファイルとして記録される。
プレイリストメモリ30は、編集/再生制御部26によって作成される再生制御情報を含むプレイリストが記録される。プレイリストの詳細については後述する(図20、図21、図22、図23)。
音声復号化部31は、符号化された音声データを復号化する。音声復号化部31により復号化された音声データは、A/D変換部32により音声信号に変換され、増幅部33により増幅されてスピーカ34から音声出力される。
外部メモリインタフェース36は、図示せぬスロットに装着される外部メモリ37とのインタフェースであり、制御回路10の制御のもとで、外部メモリ37に対する各種データの記録あるいは読み出しを実行する。
音声符号化部40は、A/D変換部部41から出力される音声データを符号化する。A/D変換部部41は、マイク43から入力され、増幅部42により増幅された音声信号を入力して、A/D変換して音声データを出力する。
電源制御部44は、携帯カメラ本体部2の電源制御を行うもので、電池46から各部に対して電力を供給し、またコネクタ50を介して接続される充電/PC転送用クレードル部7から電力供給を受けて電池46を充電する。
外部I/Oインタフェース48は、コネクタ50を介して接続される外部機器、例えば充電/PC転送用クレードル部7とのインタフェースであり、制御回路10の制御のもとで、外部機器との間のデータ入出力等を制御する。
コネクタ50は、充電/PC転送用クレードル部7に設けられたコネクタ92と接続されるインタフェースであり、携帯カメラ本体部2が充電/PC転送用クレードル部7に設けられるホルダに載置されることで、電源ライン、データライン、制御ラインなどを接続する。
次に、ズーム撮像部4の詳細な構成について説明する。
ズーム撮像部4では、複数のレンズからなるレンズ光学系52、絞り53、ハーフミラー54、シャッタ55を通じて受光される被写体の光がCCD(Charge Coupled Device)等の撮像素子60に導入され光電変換される。レンズ光学系52は、レンズ駆動部58により焦点制御のためにレンズ位置が変更され、レンズ駆動部59によりズーム制御のために位置が変更される。測光/測距センサ62は、レンズ光学系52aを介して入力される光をもとにして測光/測距を行う。
ズーム撮像部4は、携帯カメラ本体部2の制御回路10のもとで動作する制御部70によって撮影動作を制御する。制御部70には、焦点制御部71、ズーム制御部72、絞り制御部73、シャッタ制御部74、CDS/AGC75、A/D回路76、タイミング制御駆動部77、露出制御部78、測距制御部79、フラッシュ制御部80を有している。
焦点制御部71は、レンズ駆動部58を通じてレンズ位置を駆動制御することで焦点調整をする。
ズーム制御部72は、レンズ駆動部59を通じてレンズ位置を駆動制御することでズーム調整をする。
絞り制御部73は、レンズ光学系52に設けられた絞り53を制御する。
シャッタ制御部74は、シャッタ55を開閉駆動を制御するもので、携帯カメラ本体部2の静止画撮影半押し/シャッタボタン13あるいは動画撮影開始/停止ボタン14の操作に応じて制御回路10からの指示に応じてシャッタ55を開放して、レンズ光学系52を通じて入力される光を撮像素子60に導入する。
タイミング制御駆動部77は、撮像素子60に対する走査駆動制御を実行し、撮像素子60によって光電変換された信号を、CDS/AGC75、A/D回路76を通じてデジタルデータ化して制御回路10に出力させる。
露出制御部78及び測距制御部79は、レンズ光学系52(レンズ光学系52a)、ハーフミラー54を介して入力される光をもとにした測光/測距センサ62による測光、測距に応じた測距制御、露出制御をそれぞれ実行する。
フラッシュ制御部80は、制御回路10の制御により、静止画撮影半押し/シャッタボタン13に対するシャッタ操作に応じて、フラッシュ駆動部82によりフラッシュ83を閃光駆動させる。フラッシュ駆動部82は、ストロボ駆動が設定されている場合に、電源制御部44を介して電池46からの電力を図示せぬフラッシュ用大容量コンデンサに充電させた上でフラッシュ83を閃光駆動する。
また、測光/測距センサ62により測光して露出条件や絞りの開閉量や、シャッタ速度、ホワイトバランスや撮像感度などを自動調整したり、PSD(Position Sensitive Detector)センサなど測距センサにより被写体との距離に合わせてレンズ位置を自動的に駆動制御するオートフォーカス機構や、多焦点のズームレンズ駆動機構を実現することができる。
次に、充電/PC転送用クレードル部7の詳細な構成について説明する。
充電/PC転送用クレードル部7には、全体を制御する制御回路90が設けられており、携帯カメラ本体部2(コネクタ50)とコネクタ92を介して接続される。
制御回路90には、充電制御部94、電源/充電/転送インジケータ96、無線LANインタフェース(I/F)98、LAN通信インタフェース(I/F)104、USB通信インタフェース(I/F)106が接続されている。
充電制御部94は、ACアダプタ部8からの電力を、コネクタ92を介して携帯カメラ本体部2に供給して、携帯カメラ本体部2の電池46を充電するための制御を行う。
電源/充電/転送インジケータ96は、充電/PC転送用クレードル部7の動作状態をユーザに通知するためのインジケータであり、電源との接続の有無、携帯カメラ本体部2への電力供給(充電)の有無、外部の情報機器との間のデータ転送の有無などを点灯あるいは点滅によって通知する。
無線LANI/F98は、符号/復号部99、変調/復調部100、及び送信/受信部101を介して、外部の情報機器との間における無線通信を制御するためのインタフェースである。
LAN通信I/F104は、LANコネクタ110を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。
USB通信I/F106は、USBコネクタ108を介して、ケーブルにより接続される他の情報機器との間の通信を制御するインタフェースである。
制御回路90は、携帯カメラ本体部2の制御回路10からの要求に応じて、無線LANI/F98、LAN通信I/F104、あるいはUSB通信I/F106を介して接続される他の情報機器、例えばパーソナルコンピュータ(PC)、プリンタ機器、他の電子カメラとの間で、画像データの転送などの通信を実行することができる。
ACアダプタ部8は、安定化回路120、平滑回路122、整流回路124、ヒューズ126が設けられている。ACアダプタ部8は、AC電源を、安定化回路120、平滑回路122、及び整流回路124によってDC出力に変換し、DC入力コネクタ112を介して充電/PC転送用クレードル部7(充電制御部94)に供給する。
次に、本実施形態における動画像(静止画像、音声等を含む)に対する編集操作に応じて再生制御情報(プレイリスト)を作成する再生編集制御部130、及び再生制御情報を参照して動画像を再生出力する復号再生制御部140の各機能について説明する。
本実施形態の電子カメラは、撮影した動画像に対する編集については、動画像データを編集して編集後の動画像に置き換えて記録する代りに、MPEG等で符号化して圧縮記録した動画像の元データを残したまま、所定単位毎(例えばGOP単位毎、時間毎、シーン毎)の再生順序の変更(ジャンプ)やスキップ、シーン切替わり時の遷移画面効果(トランジションエフェクト)など、編集内容を表す再生制御情報を再生制御用プログラム(プレイリスト)として設定して記録する。
また、動画像データを再生出力する際には、プレイリストを呼び出して、その再生制御情報を参照しながら、再生順序を自動的に切替えたり、特殊処理を付加した動画像を生成して再生出力する。
図2は、再生編集制御部130の機能構成を示すブロック図、図3は、復号再生制御部140の機能構成を示すブロック図である。再生編集制御部130と復号再生制御部140は、制御回路10、圧縮符号化/復号部24、及び編集/再生制御部26によって実現される。メモリ媒体/通信路136,142は、静止画像/動画像/音声データメモリ28とプレイリストメモリ30、さらには例えば外部I/Oインタフェース48を介して接続される通信路(外部機器)に相当する。
図2に示すように、再生編集制御部130は、再生方法編集部130a、多重分離復号部130b、各種復号部130c、フレーム内画像復号部130d、縮小インデックス画像作成部130e、音声インデックス作成部130f、プレイリスト作成部130g、シーン切替識別部130h、乱数生成部130k、ダイジェスト再生用プレイリスト作成部130mが設けられている。
再生方法編集部130aは、符号化された動画像データ(MPEGファイル132)に対するユーザからの編集操作を入力し、この編集操作に応じて、動画像への編集内容を表す再生制御情報を含むプレイリストを編集する。例えば、再生編集制御部130は、編集モードの画面中に、インデックス画像作成部130eにより編集対象とする単位(例えばGOP)毎のインデックス画像(例えばIピクチャ)の列と共に、例えばスキップ、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトルの付加、BGM、アフレコ音、効果音付加などの編集アイコンを表示させる。再生方法編集部130aは、編集モードの画面中において、ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力する。ユーザは、動画像に対する編集操作として、インデックス画像と編集アイコンとを選択するだけで良いため、例えば楽譜に音符や伴奏をつけるような感覚で、プレイリストを自動生成させることができる。また、再生方法編集部130aは、ダイジェスト再生(詳細については後述する)の実行が指示された場合、乱数生成部130kにより乱数を生成させることで、この生成された乱数に応じた再生制御情報、すなわち動画像に対する編集内容を表すプレイリストをダイジェスト再生用プレイリスト作成部130mによって作成させる。
多重分離復号部130bは、MPEGファイル132の多重符号化されたデータ(多重符号化データ)から、符号化された動画像データと音声データとを分離する。
各種復号部130cは、動画像の編集用に用意された画像・音声ファイル134の符号化された画像データあるいは音声データを復号する。編集用の音声ファイルには、例えばBGM、アフレコ音、効果音などの動画像に付加して再生するための音声データが含まれる。
フレーム内画像復号部130dは、多重分離復号部130bあるいは各種復号部130cにより分離された画像データに対し、フレーム内復号して画像データを生成する。
縮小インデックス画像作成部130eは、フレーム内画像復号部130dにより生成された画像データをもとに、編集処理の単位毎、例えばGOP単位毎、シーン単位毎、所定の時間単位毎、ユーザが設定したチャプタ毎などのインデックス画像を生成し、編集モードの表示部19において一覧表示させる。インデックス画像作成部130eは、シーン単位毎のインデックス画像を表示する場合、インデックス画像作成部130eにより識別される動画像中のシーンの切替位置に応じて、インデックス画像を作成する。なお、再生編集制御部130は、編集モードの画面中に、編集対象とする単位毎にインデックス画像作成部130eにより生成されるインデックス画像を表示させるだけでなく、動画像データを復号しながら生成した縮小動画像のクリップを表示させるようにしても良い。
音声インデックス作成部130fは、各種復号部130cにより復号された音声データをもとに、編集処理の単位毎の音声インデックスを作成して、表示部19において一覧表示させる。
プレイリスト作成部130gは、再生方法編集部130aにより編集された動画像に対する編集内容を表す再生制御情報を含むプレイリストを作成して、プレイリストファイル136bとしてプレイリストメモリ30に記録する。なお、プレイリストは、例えば表形式のデータファイル、あるいは編集コードと該当GOP等の対応付けが識別できるものなら、XML(Extensible Markup Language)形式など簡易なプログラム、CSV(Comma Separated Value:コンマ区切り)ファイルやテキストファイルなどでも構わない。プレイリストの詳細な構成例については後述する。
シーン切替識別部130hは、例えばフレーム内画像復号部130dによって復号される画像(例えばIピクチャ)をもとにした画像間の相関度、あるいは動画像撮影時にユーザから入力された指示に応じて動画像と関連付けて記録されたデータに応じてシーンの区切り位置を識別する。
乱数生成部130kは、ダイジェスト再生の実行が指示された場合に、編集操作入力によらず再生制御情報(プレイリスト)を生成するために乱数を生成する。
ダイジェスト再生用プレイリスト作成部130mは、乱数生成部130kによって生成された乱数に応じて、編集対象となっている動画像に対して所定単位毎(例えばGOP単位毎、時間毎、シーン毎)に再生順序変更や遷移画面効果などを設定し、その編集内容を表す再生制御情報を含むプレイリストを作成して、プレイリストファイル136bとしてプレイリストメモリ30に記録する。
なお、再生編集制御部130による再生方法の編集処理では、動画像に対する編集操作、あるいは乱数生成によりプレイリストファイル136bを作成するが、動画像データ自体には編集を施さないため、MPEGファイル136aと追加画像・音声ファイル136cは元データのままである。
次に、復号再生制御部140は、図3に示すように、再生順序制御部140a、フレーム間復号部140b、フレーム内復号部140c、特殊効果合成部140d、フレーム内復号部140e、フレーム間復号部140f、効果音合成部140g、及び音声復号部140hが設けられている。
再生順序制御部140aは、再生編集制御部130によって作成されたプレイリストファイル142a(136b)を参照して、MPEGファイル142bの動画像データ、追加画像ファイル142cの画像データ、及び追加音声ファイル142dの音声データの再生順序を制御する。再生順序制御部140aは、フレーム間復号部140b,140f及びフレーム内復号部140c,140eによる復号、フレーム内復号部140eによる特殊効果の合成(画像生成)、効果音合成部140gと音声復号部140hによる音声の生成の順番を制御する。
フレーム間復号部140b,140fは、符号化された動画像データに対して、フレーム間復号により画像データを生成する。
フレーム内復号部140c,140eは、符号化された動画像データに対して、フレーム内復号により画像データを生成する。
特殊効果合成部140dは、プレイリストにおいて設定された、動画像に対して付加する特殊効果の画像を、例えばフレーム内復号部140c,140eのそれぞれにより復号された2枚の画像(例えば遷移元画像、遷移先画像)を用いて合成する。ここでは、例えば特殊効果に応じて、複数枚の画像からなる遷移画面の連続画像を合成する。
効果音合成部140gは、プレイリストに設定された動画像に付加する効果音を、追加音声ファイル142dの音声データをもとに合成する。
音声復号部140hは、プレイリストに設定された動画像に付加する音声(BGM、アフレコ音など)を、追加音声ファイル142dの音声データをもとに合成する。
再生出力制御部140kは、プレイリストファイル142aのプレイリスト(再生制御情報)に応じて、フレーム間復号部140b,140fにより復号された画像、フレーム内復号部140c,140eにより復号された画像、特殊効果合成部140dにより合成された画像、効果音合成部140gにより合成される音声、及び音声復号部140hにより復号された音声を出力することで、プレイリストが表す編集が施された動画像(画像、音声)を出力させる。
次に、圧縮符号化/復号部24による符号化により生成されるMPEG動画像データの階層構造と符号/復号フレーム順序の概略について説明する。
図4には、MPEGで用いられるピクチャの構造を示している。
MPEGでは、画像の3つのタイプ、Iピクチャ(Intra符号化画像)、Pピクチャ(Predictive符号化画像)、Bピクチャ(Bidirectionally predictive符号化画像)が規定されている。
図4(a)に示すIピクチャは、GOPの独立性を保つために設けられ、その情報だけからフレーム内符号化された画面であり、フレーム間予測を使わずに生成される。図4(c)に示すPピクチャは、IピクチャまたはPピクチャからの予測を行うことによって生成される画面であり、フレーム内予測画面と順方向フレーム間予測画面とを含んでいる。図4(b)に示すBピクチャは、順方向予測と逆方向予測によって生成される画面であり、フレーム内予測符号化、順方向と逆方向のフレーム間予測符号化により生成される。
図5には、MPEG動画像データの階層構造を示している。
図5に示すように、MPEG動画像データは、シーケンス層、GOP(Group Of Pictures)層、ピクチャ層、スライス層、マクロブロック層、ブロック層の6層の階層構造からなっている。
図5(A)に示すシーケンス層は、一連の同じ属性をもつ画面グループからなり、GOP層を含んでいる。GOP層は、ランダムアクセスの単位となる画面グループの最小単位である。ピクチャ層は1枚の画面に共通な属性(例えば画面符号化モード(I,P,Bのピクチャタイプ))、スライス層は、1枚の画面を任意の長さに分割した小画面に共通の情報、マクロブロック層は、スライス層をさらに分割した画素ブロックに共通の情報、ブロック層は、変数係数そのものを表している。
図6には、符号化/復号化時のフレーム画像の順序を示している。
図6(a)に示すように、元画像(入力画像)が入力される場合、Bピクチャをスキップして次のI,Pピクチャを先に符号化し、その後に、間にあるBピクチャを符号化するため、符号化画像(記録媒体内)では、図6(b)に示すようBピクチャがIピクチャとPピクチャとの間に挿入される。
図6(b)に示す符号化画像を復号化(出力)する場合、Bピクチャについては直ちに復号して表示し、I,Pピクチャについては復号した後に、間に入るBピクチャを復号化して表示した後に表示する。
本実施形態の電子カメラでは、動画像に対する編集操作を入力する際、例えばGOP単位でフレーム内復号してIピクチャをインデックス画像として、編集モードの画面中に表示させる。編集操作の入力は、インデックス画像に対する指定により行われるため、動画像データを符号化したままでGOP単位での編集(プレイリストの作成)を容易かつ迅速にすることができる。
次に、本実施形態における電子カメラの動作について説明する。
図7は、電子カメラの全体の制御の流れを説明するためのフローチャートである。
まず、操作入力部15のモードスイッチが撮影モードに切り替えられると、制御回路10は、入力回路12を通じて動作モードの切り替えが指示され、これにより撮影モードに移行する(ステップA1、Yes)。撮影モードに入ると、制御回路10は、撮影条件の設定を行ない(ステップA2)、測距制御部79を制御して測光/測距センサ62により測光処理を実行し(ステップA3)、またズーム制御部72を制御してズーム処理を実行し(ステップA4)、さらに焦点制御部71を制御してオートフォーカス処理を実行する(ステップA5)。
制御回路10は、ズーム撮像部4により撮影される画像を表示部19においてスルー表示して、ファインダとして機能させる(ステップA6)。
ここで、静止画撮影半押し/シャッタボタン13に対する操作によって静止画像の撮影実行が指示されると(ステップA7)、制御回路10は、測光処理を実行させ(ステップA8)、ズーム撮像部4により撮影条件と測光値に従って静止画像を撮影させる(ステップA9)。制御回路10は、ズーム撮像部4により撮像された静止画像のデータを、画像バッファメモリ20に一時記録し、圧縮符号化/復号部24により符号化して静止画像/動画像/音声データメモリ28あるいは、外部メモリインタフェース36を通じて外部メモリ37に記録する(ステップA10)。また、制御回路10は、撮像された静止画像データを表示メモリ17に記憶させ、表示駆動部18により表示部19において表示させる(ステップA11)。
一方、動画撮影開始/停止ボタン14に対する操作によって動画像の撮影の実行が指示されると(ステップA14、Yes)、制御回路10は、測光処理を実行させ(ステップA15)、ズーム撮像部4により撮影条件と測光値に従い動画像を撮影させる(ステップA16)。制御回路10は、ズーム撮像部4により撮影される動画像データを画像バッファメモリ20に順次記録していき、圧縮符号化/復号部24により符号化して静止画像/動画像/音声データメモリ28あるいは、外部メモリインタフェース36を通じて外部メモリ37に記録する(ステップA17)。
図8(a)には、動画像を撮影する動画撮影モードにおける表示部19に表示される画面の一例を示している。
ここで、その他のキー操作があった場合には、制御回路10は、入力されたキー操作に応じた表示処理等を実行する(ステップA12,A13)。
ところで、操作入力部15のモードスイッチの操作により再生モードに切り替えられると、制御回路10は、編集/再生制御部26を起動して再生モードに移行する(ステップA22、Yes)。
再生モードに移行すると、制御回路10は、例えば図8(b)に示すように、1ファイル毎に動画像を再生する再生モードの表示画面を表示する。ここで、例えばズーム操作レバーを(W)側にする操作により、インデックス表示の実行が指示されると(ステップA23。Yes)、制御回路10は、静止画像/動画像/音声データメモリ28に記録されている画像データをもとにインデックス画像を生成し、インデックス画像の一覧を表示部19において表示させる(ステップA24)。
図8(c)には、インデックス表示した再生モードの表示画面の一例を示している。インデックス画像の一覧では、例えばカーソルキーの操作によって、再生対象とする動画像を任意に指定することができる。また、インデックス画像の一覧表示では、例えばズーム操作レバーを(T)側にする操作により、図8(b)に示す1ファイル毎に動画像を再生する再生モードの表示画面を表示させることができる。
なお、図8(b)に示す再生モードの画面では、チャプタ登録用のボタンが設けられており、例えばカーソルキーの下方向キーの操作により、動画像に対してチャプタを設定することができる。制御回路10は、ユーザからのチャプタ指定に応じて、動画像データと関連付けてチャプタに関するデータを記録しておく。
制御回路10は、操作入力部15のメニューキーに対する操作によってメニュー表示が要求されると、例えば図9(a)(b)に示すようなメニューを表示部19に表示させる。
例えば、図9(a)に示すような再生に関係する複数の項目が設けられた再生メニュー、図9(b)に示す動画編集に関係する複数の項目が設けられた編集メニュー、各種設定に関係する設定メニュー(図示せず)が用意されている。制御回路10は、例えばカーソルキーの左右キーの操作に応じてメニュー表示を切り替える。また、制御回路10は、各メニューにおいて、上下キーの操作に応じて、選択対象とするメニュー項目を切り替える。
再生メニューでは、動画像あるいは静止画像の再生などの実行を指示することができる。例えば、図9(a)に示すように、「プレイリスト再生」の項目を選択することで、後述する動画像のプレイリストに応じた編集を施しながらの動画再生の実行を指示することができる。同様にして、「ダイジェスト再生」の項目を選択することで、後述するダイジェスト再生の実行を指示することができる。また、編集メニューでは、図9(b)に示すように、「プレイリスト編集・エフェクト」の項目を選択することで、後述する動画像に対する編集(プレイリストの作成)の実行を指示することができる。
再生メニューからプレイリストによる再生が指示されると(ステップA26、Yes)、制御回路10は、編集/再生制御部26及び圧縮符号化/復号部24により、プレイリストメモリ30に記憶されたプレイリストを用いた再生処理を実行させる(ステップA27)。プレイリストによる再生処理の詳細については後述する(図24参照)。
また、再生メニューからダイジェスト再生の実行が指示されると(ステップA28、Yes)、制御回路10は、編集/再生制御部26及び圧縮符号化/復号部24により、ダイジェスト再生処理を実行させる。すなわち、記録済みの動画像に対して自動的に再生順序変更や画面効果付加する編集を施した動画像の再生を実行させる。ダイジェスト再生処理の詳細については後述する(図28、図29)。
また、再生モード(図8(b)に示す1ファイル毎)において通常の動画再生が指示されると(ステップA28、No)、制御回路10は、静止画像/動画像/音声データメモリ28に記録された複数の動画像データから、インデックス画像の一覧表示から再生対象として選択された動画像データを読み出して、圧縮符号化/復号部24により復号し(ステップA30)、この復号された動画像データを表示メモリ17に記憶させて表示部19により再生表示させる(ステップA31)。制御回路10は、再生対象とする動画像データの全てについて処理が完了するまで再生出力を継続する(ステップA32)。
なお、再生メニューなどから静止画の再生が指示されると(ステップA33、Yes)、制御回路10は、静止画像/動画像/音声データメモリ28に記録された複数の静止画像から再生対象として選択された静止画像データを読み出して圧縮符号化/復号部24により復号し(ステップA34)、この復号した画像データを表示メモリ17に記録することで表示部19において表示させる(ステップA35)。
一方、操作入力部15のモードスイッチの操作、あるいは編集メニューから編集モードの実行が指示されると(ステップA18、Yes)、制御回路10は、通常の動画像あるいは静止画像に対する編集を実行する編集処理、あるいは編集操作入力に応じてプレイリストを作成する再生方法の編集処理を実行するための編集モードに移行する(ステップA19)。なお、再生方法の編集処理の詳細については後述する(図10参照)。
なお、その他のキー操作があった場合には、制御回路10は、入力されたキー操作に応じた表示処理等を実行する(ステップA20,A21)。
次に、図7のステップA19に示す再生方法の編集処理(プレイリストの作成)について、図10に示すフローチャートを参照しながら説明する(図2に示す再生編集制御部130参照)。
本実施形態における再生方法の編集処理では、動画像に対する編集や特殊効果などの再生方法の設定(プレでリストの編集)を、例えばGOP単位でフレーム内復号したIピクチャからインデックス画像を作成して一覧表示し(あるいは動画像データを復号しながら生成した縮小動画像のクリップでも良い)、この一覧画面上でインデックス画像に対してカーソルキー等で再生順序を指定することができる。また、例えば、インデックス画像の列の下に、スキップや、ジャンプ、ワイプ、ディゾルブ、フェードイン、フェードアウト、タイトル、BGM、アフレコ音、効果音付加などの複数の編集アイコンを設け、カーソルキーで編集アイコンを選択することで、インデックス画像に対応する所定単位の動画像に対する編集内容を入力することができる。ユーザにより編集対象とするインデックス画像と編集アイコンとを選択させることで編集操作を入力し、この操作内容をプレイリストとして編集して記録する。
まず、編集メニューを通じてユーザから「プレイリスト編集」の実行が指示されると(ステップB1、Yes)、静止画像/動画像/音声データメモリ28に記録された複数の動画像データ(MPEGファイル132)から編集対象とする動画像データをユーザからの指示に応じて選択する(ステップB2)。
再生編集制御部130は、多重分離復号部130bにより分離された動画像データについて圧縮符号化/復号部24により復号し、所定単位毎のインデックス画像を生成して、編集モード用の画面として表示部19において一覧表示させる。ここでは、所定単位のインデックス画像として、例えば時間毎、シーン毎、チャプタ毎、GOP毎のインデックス画像をそれぞれ生成して一覧表示できるものとする。
図11(a)(b)(c)には、編集モードの表示画面においてインデックス画像の一覧が表示されている例を示している。インデックス画像の一覧画面では、「時間毎」、「シーン」、「チャプタ」、「GOP」のそれぞれに対応するタグが設けられており、例えばディスプレイボタンによりタグの選択状態に切り替え、カーソルキーの上下キーにより任意にタグを選択することができる。
ここで、「時間毎」のタグが選択され、時間毎のインデックス表示が指示された場合(ステップB28、Yes)、予め設定されている設定時間間隔のデータを読み込む(ステップB29)。設定時間間隔は、動画像中のインデックス画像を表示する間隔を示すもので、予め固定的に設定されていても良いし、設定モードにおいてユーザからの時間指定を受け付けて設定できるようにしても良い。
そして、該当動画像のデータをGOP単位で復号し、タイムコードが設定時間毎に該当するGOPのIピクチャを順に取り出し(ステップB30)、各該当GOPのIピクチャから縮小画像を作成して一覧表示させる(ステップB31)。
図11(a)は、「時間毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。ここでは、例えば5分毎のインデックス画像が生成されて一覧表示されている。
なお、インデックス画像の一覧表示画面では、タイムライン(時間軸目盛)を表示して動画像全体の長さと表すと共に、現在、インデックス画像の一覧表示の対象となっている動画像の範囲を表している。一覧表示画面では、上下左右のカーソルキーにより、インデックス画像を一覧表示させる範囲を切り替え、またセットキーにより選択対象とするインデックス画像(例えば、左上の位置にあるインデックス画像)に対応する範囲の動画像を再生させることができる。また、インデックス画像単位での再生順序の変更と特殊効果の付加による編集の実行する指定するための「編集」の項目が設けられている。例えば、ディスプレイボタンに対する操作によって、編集操作の実行を指示することができる。
また、「シーン」のタグが選択され、シーン毎のインデックス表示が指示された場合(ステップB21、Yes)、シーンまたはシーンの切り替え位置を自動で識別するシーンの識別処理を実行する(ステップB22)(図2、シーン切替識別部130h)。なお、動画像データからシーンの切り替え位置を識別するシーン識別処理の詳細については後述する(図17、図18)。
そして、シーンの識別処理によって識別された各シーンのシーン番号と各シーン最初のGOPとを対応付けて記録し(ステップB23)、各シーン最初のGOPのIピクチャから縮小画像を作成して一覧表示させる(ステップB24)。
図11(b)は、「GOP毎」のタグが指定された場合のインデックス画像の一覧表示例を示している。なお、インデックス画像の一覧表示以外の部分は、図11(a)と同じであるので説明を省略する。
また、「GOP」のタグが選択され、GOP毎のインデックス表示が指示された場合(ステップB3、Yes)、該当動画像のデータをGOP単位で復号し、Iピクチャを順に取り出し(ステップB4)、各該当GOPのIピクチャから縮小画像を作成して一覧表示させる(ステップB5)。
図11(c)は、「GOP」のタグが指定された場合のインデックス画像の一覧表示例を示している。なお、インデックス画像の一覧表示以外の部分は、図11(a)と同じであるので説明を省略する。
また、「チャプタ」のタグが選択され、チャプタ毎のインデックス表示が指示された場合(ステップB25、Yes)、該当動画像のデータのチャプタ登録されたGOP単位で復号し、Iピクチャを順に取り出し(ステップB26)、各チャプタに該当するGOPのIピクチャから縮小画像を作成して、チャプタ毎に一覧表示させる(ステップB27)。なお、チャプタ登録は、後述する編集モードにおける操作によって実行される(ステップB16〜B18)。
こうして、インデックス画像が一覧表示されている状態で、例えばディスプレイボタンの操作により編集操作の実行が指示された場合には、インデックス画像単位で再生順序を設定するための編集モード画面が表示される。
図12(a)には、再生順序の設定中の画面の一例を示している。図12(a)に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部にはインデックス画像を表示する撮影画像エリアが設けられている。
この画面では、例えば左右方向のカーソルキーの操作により、一覧表示されるインデックス画像を変更させることができ、さらにセットキーによって再生対象とするインデックス画像(例えば左端にあるインデックス画像)を指定することができる。セットキーの操作により再生対象として選択されたインデックス画像は、画面上部の再生順序エリアに表示される。従って、複数のインデックス画像から再生順序に従って、順次、インデックス画像を選択していくことにより、所定単位での再生順序を指定することがてきる。また、再生対象として選択しないことで、カット(削除)することもできる。
また、図12(a)に示す再生順序の設定中の画面において、例えば上下方向のカーソルキーの操作により、特殊効果(トランジションエフェクト、デジタルエフェクト)を付加するための編集モード画面が表示される。
図12(b)(c)には、特殊効果の付加の設定中の画面の一例を示している。図12(b)(c)に示すように、画面上部には再生順が指定されたインデックス画像を表示するための再生順序エリアが設けられ、画面下部には編集(特殊効果)内容を表す編集アイコンを表示する編集アイコンエリアが設けられている。
編集アイコンエリアには、「トランジション」「デジタルエフェクト」「効果音」のタグが設けられており、例えば左右方向のカーソルキーの操作によって任意のタグを選択することができる。
例えば、「トランジション」のタグが選択された場合には、図12(b)に示すように、遷移画面効果を施す編集を付加するための複数の編集アイコンを表示させる。また、「デジタルエフェクト」のタグが選択された場合には、図12(c)に示すように、デジタルエフェクトを施す編集を付加するための複数の編集アイコンを表示させる。
なお、図12(b)(c)に示す編集アイコンが表示された編集モード画面では、キー操作などによって、再生順序エリアにおいて設定されたインデックス画像から、編集アイコンを付加する対象とするものを任意に指定することができるものとする。
遷移画面効果(トランジションエフェクト)による編集は、例えば図13(a)に示すように、2つのインデックス画像のそれぞれに対応する動画像、クリップ#1,#2がある場合に、遷移元のクリップ#1に対応するインデックス画像に対してトランジションの編集アイコンを付加することで、クリップ#1の最後のGOPのIピクチャを復号した画像Aと、遷移後のクリップ#2の最初のGOPのIピクチャを復号した画像Bとから、画像の遷移を表現する各種の画面効果による連続画像を合成して、図13(b)に示すようにクリップ#1,#2の間に合成する。
図14には、トランジションエフェクトに関係する編集アイコン(図14(a)〜(h))と、それぞれに対応する画面遷移の例を示している。例えば、画面Aを拭き取るように画面Bに切り変わるワイプ(図14(a))、画面Aと画面Bとがオーバーラップして溶け込むように変わるディゾルブ(図14(b))など単純なものから、画面Aのドアを開けると画面Bに遷移するドア・オープン(図14(d))、画面Aのページをめくって画面Bに変わるページ・ピール(図14(e))、立方体が回転しながら画面が切り替わるキューブ・スピン(図14(f))など画像の縮小や変形モディファイ処理を要する複雑な遷移画面効果を施すものまで用意されている。
また、デジタルエフェクトによる編集は、例えば図15(a)に示すように、インデックス画像に対応する動画像、例えばクリップ#1がある場合に、クリップ#1に対応するインデックス画像に対してデジタルエフェクトの編集アイコンを付加することで、図15(b)に示すよう、該当するクリップ#1に対して編集アイコンが示すデジタルエフェクトを施す。
図16には、デジタルエフェクトに関係する編集アイコン(図16(a)〜(l))と、それぞれに対応するデジタル効果の例を示している。例えば、セピア、モノクローム、モザイク、ズーム・イン/アウト、ネガ、回転、ミラー(鏡像)、スリム/ストレッチ、フレーム/マーク、はめ込み合成、ストロボムービー、スチル(静止画再生)などの各種のデジタルエフェクトを施すものが用意されている。
なお、図示していないが、「効果音」のタグが選択された場合には、効果音、あるいはBGMを表す複数の編集アイコン(例えば図12(b)に示す音符記号を用いている)を表示させる。
図12(b)(c)に示すように、編集アイコンエリアにおいて編集アイコンが選択されると、再生順序エリアに設定されたインデックス画像の下部に、選択された編集アイコンが付加される。これにより、編集操作の内容を視認できるようになっている。
以上のようにして、編集モード画面を通じて、インデックス画像に対する再生順序の編集と、再生対象として選択されたインデックス画像に対する編集アイコンの付加による編集操作入力が行われる(ステップB6、B7、B8)。ここでの編集操作入力は、インデックス画像の指定と編集アイコンの選択だけで良いため、広い表示画面を必要とせず、またキーやボタンなどを用いた簡単な操作のみで実行可能である。
こうして、編集操作入力が行われると、再生編集制御部130(再生方法編集部130a)は、インデックス画像に付加された編集アイコンに応じて、編集再生用プレイリストを仮作成する(ステップB9)。
ここで、編集結果のプレビュー表示の実行が指示された場合(ステップB10、Yes)、仮プレイリストを動画像の再生に参照するプレイリストとして指定し(ステップB11)、このプレイリストを用いた動画像の再生処理を実行する(ステップB12)。なお、プレイリストによる再生処理の詳細については後述する。
以下、同様にして、インデックス画像の一覧表示から任意にインデックス画像を選択し、また編集アイコンを付加する編集操作をすることで、それぞれの編集操作に応じた仮プレイリストが作成される。
こうして、編集操作入力が行われた後、編集終了の指示が入力されると(ステップB13、Yes)、再生編集制御部130は、編集結果をプレイリストとして記録するか否かを、例えば表示部19にメッセージを表示するなどしてユーザに問い合わせる(ステップB14)。ここで、プレイリストとしての記録が指示された場合、仮プレイリストが示す編集結果をもとに、編集再生用プレイリストを本作成してプレイリストメモリ30に記録する(ステップB15)。
なお、インデックス画像が一覧表示された編集モード画面では、インデックス画像を指定してチャプタ登録することができる。例えば、一覧表示中からインデックス画像が選択され、所定のボタン操作によってチャプタ登録の実行が指示されると、次に登録するチャプタNo.を読み込み(登録済みのチャプタNo.に+1する)(ステップB17)、選択されたインデックス画像のGOPをチャプタNo.と対応付けてチャプタメモリ(図示せず)に登録する(ステップB18)。こうして、インデックス画像のGOPとチャプタNo.とを対応付けて登録しておくことで、チャプタ単位での画像の表示が可能となる(例えば、前述したチャプタ毎のインデックス画像の一覧表示(ステップB25〜B27)。
以上の編集操作によってプレイリストが生成され、プレイリストメモリ30に記録される。
ここで、前述したインデックス画像の一覧表示の際に、シーン毎のインデックス画像を生成するために実行されるシーンの識別処理について説明する(図2、フレーム内画像復号部130d、シーン切替識別部130h)。図17と図18は、それぞれシーンの識別処理(第1、第2)を説明するためのフローチャートである。本実施形態の電子カメラでは、図17または図18のフローチャートに示すシーンの識別処理の何れかが用いられるものとする。
まず、図17に示す第1のシーン識別処理について説明する。
編集対象とする動画像データの最初のGOPを読み込み(ステップC1)、GOP内のIピクチャをフレーム内復号し、前回メモリに一時記憶する(ステップC2)。
次のGOPを読み込み、GOP内のIピクチャをフレーム内復号し、今回メモリに一時記憶する(ステップC3)。
そして、今回メモリに記憶したIピクチャと前回メモリに記憶したIピクチャについて、空間パターン情報を用いた相関度Rを算出する(ステップC4)。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。
例えば、ピアソンの積率相関係数(R)は、m×nの画像やパターンでは、次式、R=(画像fと画像tの共分散)/{(画像fの標準偏差)・(画像tの標準偏差)}によって計算できる。
すなわち、積率相関係数(R)は、以下の式(1)によって算出する。
Figure 2005260749
ただし、f[x,y]は、入力画像f(前回メモリ)のx,y座標の濃度値、t[x,y]は、参照画像t(今回メモリ)のx,y座標の濃度値、fAVは入力画像fの濃度値の平均値、tAVは参照画像tの濃度値の平均値である。
相関度Rが所定値以上の場合は(ステップC5、Yes)、前のGOPと連続するシーンと見なし、相関度が所定値より低い場合は(ステップC5、No)、GOPを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたGOPで始まる画像に、新しいシーンNo.を割り当てて記憶する(ステップC6)。
次のGOPの処理のために、今回メモリ内容を前回メモリに移し(書き換え)(ステップC7)、最後のGOPまでの処理が終了する、あるいはシーケンスコード(SEC)を検出するまで、前述したように、各GOPを対象としてシーンに識別を行う(ステップC8)。
次に、図13に示す第2のシーン識別処理について説明する。
第1のシーン識別処理では、フレーム内復号したIピクチャの画像データの空間パターン情報をもとにシーンの切り替え位置を識別しているが、第2のシーン識別処理では、Iピクチャの輝度または色差のDCT係数のDC(直流)成分をもとにシーンの切り替え位置を識別する。
まず、編集対象とする動画像データの最初のGOPを読み込み(ステップD1)、GOP内のIピクチャの(輝度または色差データの)DCT係数のDC成分を前回メモリに一時記憶する(ステップD2)。
次のGOPを読み込み、GOP内のIピクチャの(輝度または色差データの)DCT係数のDC成分を今回メモリに一時記憶する(ステップD3)。
そして、今回メモリに記憶したDC成分と前回メモリに記憶したDC成分の相関度R、すなわち輝度情報(Y)または色差情報(Cr、Cb)のDCT係数のDC(直流)成分を用いた相関度Rを算出する(ステップD4)。例えば、相関度は、統計処理等で一般に用いる相関係数や、共分散と標準偏差等を用いて算出することができる。
例えば、ピアソンの積率相関係数(R)は、m×nの画像やパターンでは、次式、R=(DC成分aとDC成分bの共分散)/{(DC成分aの標準偏差)・(DC成分bの標準偏差)}によって計算できる。
すなわち、積率相関係数(R)は、前述した式(1)によって算出する。
ただし、f[x,y]は、入力画像f(前回メモリ)のx,y座標のDC成分、t[x,y]は、参照画像t(今回メモリ)のx,y座標のDC成分、fAVは入力画像fのDC成分の平均値、tAVは参照画像tのDC成分の平均値である。
相関度Rが所定値以上の場合は(ステップD5、Yes)、前のGOPと連続するシーンと見なし、相関度が所定値より低い場合は(ステップD5、No)、GOPを新しいシーンヘの切り替り位置として識別する。そして、新しいシーンと識別されたGOPで始まる画像に、新しいシーンNo.を割り当てて記憶する(ステップD6)。
次のGOPの処理のために、今回メモリ内容を前回メモリに移し(書き換え)(ステップC17)、最後のGOPまでの処理が終了する、あるいはシーケンスコード(SEC)を検出するまで、前述したように、各GOPを対象としてシーンに識別を行う(ステップD8)。
なお、図17及び図18のフローチャートに示すシーンの識別処理では、GOP間のIピクチャの相関度をもとにして、シーンの切り替え位置を識別しているが、その他の方法によってシーン切り替え位置を識別するようにしても良い。
例えば、動画像の撮影時に入力される操作に応じて、シーンの区切り位置を示すデータを動画像データと関連付けて記録しておく。例えば、撮影開始/停止スイッチの操作イベント(少なくとも何れか一方)を、タイムコードやGOPに対応付けて動画像データと共に記録しておく。
そして、撮影開始操作が記録された時刻やGOPから、撮影停止操作が記録された時刻やGOPまでを、一つのシーンとして識別してインデックス画像を生成する。
なお、撮影開始/停止スイッチの操作だけでなく、撮影動作中にその他の入力操作、例えばユーザから意図的な切り替え位置を指示する入力操作を受け付け、この入力操作に応じて動画像データと関連付けて切り替え位置を示すデータを記録するようにしても良い。この場合、切り替え位置を示すデータをもとに動画像を区分し、それぞれの区分に対応するインデックス画像(例えば先頭画像)を生成すれば良い。
次に、前述した編集モードにおける編集操作入力に応じた再生方法の編集処理(プレイリストの作成)について説明する。
図19には、動画像に対する編集の一例を示している。図19(a)は必要なパートだけをつなぐトリミング編集、図19(b)は複数クリップの再生順序を変更するカット編集、図19(c)はオープニングやエンディングの画像にタイトルの文字や画像を合成するタイトル編集(効果音やBGMの付加を含む)の例をそれぞれ示している。
図20には、トリミング編集(図19(a))におけるプレイリスト作成/再生制御の例を示している。なお、以下の説明では、編集モードのインデックス画像の一覧位置画面において、GOP単位のインデックス画像に対して入力操作が行われるものとする。
トリミング編集では、編集モードの入力操作画面(図11,12)において、再生対象とするパートに対応するインデックス画像のみが、先頭方向から再生順に順次選択される。図20(a)では、パート1に該当するGOP5〜10が、それぞれに対応するインデックス画像の選択により指定される。同様にして、パート2に該当するGOP13〜21、パート3に対応するGOP27〜32が指定される。
再生編集制御部130(再生方法編集部130a)は、インデックス画像(GOP)を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。
図20(b)には、図20(a)に示す入力操作に応じて作成されるプレイリストの具体例を示している。図20(b)に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元GOP(アウト)」「タイムコード」「該当先GOP(イン)」「タイムコード」についてのデータがそれぞれ対応付けて記録される。
例えば「編集コード」にはスタートコード(「start」)が設定され、先頭のGOP5が「該当先GOP」として記録される。また、GOP5の動画像先頭からの時間を示す「タイムコード」が記録される。また、「編集コード」として、再生しないGOPを読み飛ばすことを示すジャンプコード(「Jump1」「Jump2」)が設定され、それぞれジャンプ元のGOP(GOP10,GOP21)が「該当元GOP」として設定され、ジャンプ先のGOP(GOP13,GOP27)が「該当先GOP」として設定される(それぞれのGOPのタイムコードも設定される)。
図20(b)に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図20(c)に示すように、「編集コード」にスタートコード「start」が設定されているGOP5から再生が開始される。そして、GOP5〜10まで再生された後、ジャンプコード「Jump1」に従ってGOP9からGOP13にジャンプして、その間のGOPをカットし、同様にして、パート2に該当するGOP13〜20を再生出力した後、ジャンプコード「Jump2」に従ってGOP20からGOP27にジャンプして、その間のGOPをカットするように再生出力される。すなわち、プレイリストを参照した再生出力によって、再生対象として選択されたパートに該当するGOPのみが再生出力され、不要な部分がカットされた、トリミング編集された動画像を再生することができる。
図21には、カット編集(図19(b))におけるプレイリスト作成/再生制御の例を示している(GOP単位のインデックス画像に対して入力操作が行われるものとする)。
カット編集では、編集モードの入力操作画面(図11,12)において、再生対象とするパートに対応するインデックス画像が再生順に任意に選択される。図21(a)では、クリップ#3に該当するGOP27〜32が、それぞれに対応するインデックス画像の選択により指定される。次に、クリップ#2に該当するGOP13〜21、クリップ#1に対応するGOP5〜10の順番で、それぞれ同様にして指定される。
再生編集制御部130(再生方法編集部130a)は、インデックス画像(GOP)を選択する編集操作に応じて、再生制御情報を編集してプレイリストに記録する。
図21(b1)には、図21(a)に示す入力操作に応じて作成されるプレイリストの具体例を示している。図21(b1)に示すように、プレイリストは、再生制御情報として、「再生順序」「該当先GOP」「タイムコード」「先頭先からの換算タイム」「該当元GOP」「タイムコード」などについてのデータがそれぞれ対応付けて記録される。
例えば「再生順序」にはカットインコード「Cut In 0」が設定され、クリップ#3の先頭のGOP27が「該当先GOP」として記録される。また、GOP27の動画像先頭からの時間を示すタイムコードと、当該GOPを再生出力するまでの「先頭からの換算タイム」(当初は0)が記録される。また、「該当元GOP」には、次のクリップへのジャンプ元となるGOP32(クリップ#3の最終GOP)が設定される。クリップ#2については、「該当先GOP」としてGOP13が設定され、「該当元GOP」としてクリップ#2の最終GOP21が設定される(図示せず)。また、クリップ#3の再生時間(各GOPのタイムコードの合計)をGOP27に対応する「先頭からの換算タイム」に加算し、この求めた時間をカットインコード「Cut In 1」に対応する「先頭からの換算タイム」として設定する。同様にして、#1についても、「再生順序」「該当先GOP」「タイムコード」「先頭先からの換算タイム」「該当元GOP」「タイムコード」を設定する。
なお、図21(b1)に示す形式のプレイリストではなく、図21(b2)に示すような形式、すなわちトリミング編集で説明した図20(b)に準じた形式としても良い。図21(b2)では、図20(b)の形式に、それぞれの「編集コード」に対応する「先頭からの換算タイム」のデータが付加されている。
図20(b1)に示すように、プレイリストが生成された場合、後述するプレイリストによる再生処理では、「再生順序」にカットインコード「Cut In 0」が設定されているGOP27から再生を開始して、「該当元GOP」のGOP32まで再生する。次に、カットインコード「Cut In 1」が設定されているGOP13から再生を開始して「該当元GOP」のGOP21まで再生し、同様にして、カットインコード「Cut In 2」が設定されているGOP5から再生を開始して「該当元GOP」に設定されているGOP10まで再生する。こうして、カット編集された編集操作に応じた再生出力を、プレイリストを参照しながら実行できるようにする。
図22には、タイトル編集におけるプレイリスト作成/再生制御の例を示している。
タイトル編集では、任意のインデックス画像に対してタイトルを表す画像(及び音声)が付加される。図22(a)では、パート2、パート1、パート3の順番で再生出力されるようにカット編集がされている。カット編集の詳細な説明については省略する(図21参照)。さらに、最初のパート2のGOP61〜75に対して、タイトル1とBGM1を合成する編集が付加され、パート2の最終GOP77にワイプアウトが付加されている。また、パート1の先頭GOP5にはワイプイン、最終GOP56にはフェードアウト56が付加されている。また、パート3の先頭GOP81にはフェードイン、GOP82〜100に対してタイトル2を合成する編集が付加されている。
再生編集制御部130(再生方法編集部130a)は、インデックス画像(GOP)を選択する編集操作(編集の付加)に応じて、再生制御情報を編集してプレイリストに記録する。
図22(b)には、図22(a)に示す編集の付加に応じて作成されるプレイリストの具体例を示している。図22(b)に示すように、プレイリストは、再生制御情報として、「編集コード」「該当元GOP(アウト)」「タイムコード」「先頭からの換算タイム」「該当先GOP(イン)」「タイムコード」「ファイル」についてのデータがそれぞれ対応付けて記録される。
なお、図20(b)、図21(b2)と共通する部分については説明を省略する。「編集コード」にはGOPに対して付加された編集の内容を表すコード、例えばタイトルコード「Title 1」「Title 2」、BGMコード「BGM 1」、ワイプコード「Wipe 1」、フェードコード「Fade 1」などが設定されている。また、タイトルコード、BGMコードに対応して、画像あるいは音声などのファイル名(「プリセットA」「音声ファイルB」「ファイルC」など)が「ファイル」として設定される。
図22(b)に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図22(c)に示すように、「編集コード」にスタートコード「start」が設定されているGOP60から再生が開始される。そして、タイトルコードとBGMコードが設定されているGOP61〜75に対して、「プリセットA」(画像)のファイルのデータを用いてタイトル1を合成し、また「音声ファイルB」(音声)のファイルのデータを用いてBGM1を再生して、GOP77まで再生出力する。パート2の最終GOP77からパート1の先頭GOP5は、ワイプ1により画面を遷移させ、GOP5〜56まで再生出力する。パート1の最終GOP56と、パート3の先頭GOP81は、フェード1により画面を遷移させ、GOP82〜100に対して、「ファイルC」のファイルのデータを用いてタイトル2を合成し、GOP101まで再生出力する。すなわち、編集モードにおいて、インデックス画像に対して付加された編集アイコンに応じた編集を付加して動画像を再生することができる。
また、図23には、トランジションエフェクトなど遷移画面効果を挿入する場合のプレイリスト作成/再生制御の例を示している。
遷移画面効果を挿入する場合、図22においても説明したように、任意のインデックス画像に対して、編集内容を表す編集アイコンが付加される。図23(a)では、クリップ#1の最終GOP21にワイプが付加された場合を示している。この場合、GOP21にはワイプアウト、クリップ#2の先頭GOP25にワイプインが付加される。
図23(b)に示すように、プレイリストには、ワイプを示す編集コード「Wipe 1」に対応して、「該当元GOP」としてGOP22、「該当先GOP」としてGOP15が記録される。その他の詳細については、図20〜22の説明に代えて省略する。
図23(b)に示すプレイリストが生成された場合、後述するプレイリストによる再生処理では、図23(c)に示すように、「該当元GOP」のGOP22のIピクチャを抽出して復号し(遷移元画像A)、また「該当先GOP」のGOP15のIピクチャを抽出して復号する(遷移先画像)。そして、遷移元画像Aと遷移先画像Bを用いて、特殊効果(ここではワイプ)を表す連続画像を合成する。
そして、図23(d)に示すように、クリップ#1からクリップ#2の間に画面効果の遷移画像が挿入されて出力される。なお、遷移画像の合成の詳細については後述する(図25〜図27)。
次に、図7のステップA27、図10のステップB12に示すプレイリストによる再生処理について、図24に示すフローチャートを参照しながら説明する(図3に示す復号再生制御部140参照)。
まず、再生順序制御部140a(圧縮符号化/復号部24)は、再生対象とする動画像に対応するプレイリストファイル142aをプレイリストメモリ30(メモリ媒体/通信路142)から読み出す(ステップE1)。
再生順序制御部140aは、スタートが設定されたGOPから順に圧縮符号化/復号部24(フレーム間復号部140b,140f、フレーム内復号部140c,140e)により復号して再生させる(ステップE2)。
ここで、プレイリストにトランジションエフェクト/タイトル等の編集が設定されている場合(ステップE3、Yes)、フレーム内復号部140c,140eにより遷移前後のGOPのIピクチャ画像(遷移元画像、遷移先画像)を圧縮符号化/復号部24により復号して生成し(ステップE5)、この遷移前後のIピクチャより画面効果の連続画像を合成する(ステップE5)。なお、具体的な画面効果の連続画像の合成については後述する(図25、図26、図27)。
そして、再生出力制御部140kは、合成されたトランジションエフェクト等の連続画像を再生表示させる(ステップE6)。
再生順序制御部140aは、プレイリストに記録された遷移先の先頭GOP(該当先GOP)に移り、同様にして順に復号再生させる(ステップE7)。
また、プレイリストにデジタルエフェクトの編集が設定されている場合(ステップE13、Yes)、該当GOPのIピクチャまたは続く画像を復号し(ステップC14)、該当Iピクチャまたは続く画像にズームイン、モノクロ化、セピアカラー、モザイク等、該当特殊効果を加える(ステップE15)。
そして、再生出力制御部140kは、デジタルエフェクト処理された連続画像を再生表示させる(ステップE16)。
また、プレイリストにジャンプまたはカットの編集が設定されている場合(ステップE17、Yes)、ジャンプ元の最後GOPからジャンプ先の先頭GOPに移り、順に復号再生する(ステップE18)。
また、何れの編集も付加がされていない場合(ステップE17、No)、プレイリストに設定された再生順序に従い、順に復号再生する(ステップE19)。
なお、プレイリストに効果音/BGMを付加する設定がされている場合(ステップE8)、該当効果音または音楽等の音声ファイル(追加音声ファイル142d)を静止画像/動画像/音声データメモリ28から読み込み(ステップE9)、該当画像を復号再生させると共に、該当音声ファイルを効果音合成部140gまたは音声復号部140hにより復号再生させる(ステップE10)。
ここで、プレイリストの最後まで再生処理が完了していなければ(ステップE11、No)、前述と同様にして、プレイリストに記録された再生制御情報に従って復号生成を実行する。
プレイリストの最後まで再生処理が完了すると(ステップE12、Yes)、再生編集処理を終了して、元の処理に戻る。
次に、図24のステップC5に示すトランジションエフェクト画面の合成処理の具体例について、ドアオープン/クローズの編集が設定されている場合を例にして説明する。
ドアオープン/クローズのトランジションエフェクト画面では、図25に示すように、ドアオープンの状態からドアクローズの状態、あるいはその逆に画像を順次遷移させていく。図26には、トランジションエフェクト画面が合成される様子を説明するための図、図27には、遷移画面の合成処理を説明するためのフローチャートを示している。
まず、遷移前のクリップ#1の最後のGOPのIピクチャをフレーム内復号して、A画像(遷移元画像)として記録する(ステップE51)(図26(a))。
また、遷移後のクリップ#2の最初のGOPのIピクチャをフレーム内復号して、B画像(遷移先画像)として記録する(ステップE52)(図26(b))。
次に、ドアオープン効果など、遷移効果の切出しマスクの所定枚数kの連続画像M1〜Mkを作成する(ステップE53)(図26(c))。
次に、画像Aを変形処理(画像変換等)し、マスク画像M1〜Mkのマスク部分の形状に合わせて貼り付ける。あるいは、マスク部分と重なった部分のみを残し、重なっていない部分を切り抜く(ステップE54)(図26(d))。
画像Bを所定枚数kだけコピーし、各画像Bをマスク画像M1〜Mnと重ね、重なった部分を切り抜き、残りの部分を残す処理をする(ステップE55)(図26(e))。すなわち、マスク画像M1〜Mkの各マスク部分データを全て0、残りを全て1とし、B画像と各マスク画像とをAND処理する。
次に、マスク処理して切り抜いた各A画像と対応するB画像とを結合(OR)し、所定枚数の連続画像を作成する(ステップE56)(図26(f))。
以上の処理によって、トランジションエフェクト画面の合成をすることができる。
このようにして、本実施形態の電子カメラでは、ズーム撮像部4を通じて撮影された動画像に対して編集を施す場合に、動画像データを編集後の動画像データに変換して記録する代りに、MPEG圧縮動画像の元データを残したまま、クリップやシーン毎に再生順序変更や遷移画面効果などを表す再生制御情報をプレイリストとして編集して記録することができる。そして、動画像を再生出力する際には、プレイリストの再生制御情報を参照しながら編集や特殊処理を施した動画像を生成して再生出力するようにしたので、例えば次のような効果を得ることができる。
(1)プレイリストの編集情報を変更するだけで、色々な編集を何度でも施すことができる。従って、記録した動画像データ自体に変更や加工をしないので、何度編集しても画質が劣化しない。
(2)複雑な復号や再符号化、ストリームの連続性やバッファ量の制御等が不要なので、構成が簡単で処理量が少なく、小型携帯型に構成された電子カメラ等の低速CPUや処理回路でも、再生しながら特殊効果等を簡単に生成して再生出力できる。
(3)プレイリストを新たに別ファイルとして記録するだけなので、メモリの所要量も少なく、メモリ容量が少ない携帯型の電子カメラ等でも実現できる。
(4)編集操作は、従来のようにタイムライン上にクリップ画像をドラッグ&ドロップしたり、画像トラックと画像トラックの間のトラックに画面効果のオブジェクト等を並べたりする代りに、インデックス画像を再生順に選択し、また画面効果やタイトルや効果音付加等を表す編集アイコンを選択してインデックス画像に付加する操作だけで良い。このため、表示サイズが小さい(多数のトラックなどを設けた編集画面を同時表示できない)表示部19や、限られたボタンやキーによる簡易な操作入力部15でも容易に編集操作入力が可能でありハードウェアの制限により操作性を損なうことがない。
なお、前述した本実施形態では、再生制御情報をプレイリストとして編集して記録し、動画像を再生する場合には、プレイリストの再生制御情報を参照しながら、編集や特殊処理を施した動画像を生成して再生するようにしたが、プレイリストの再生制御情報を参照して、編集を施した後の動画像データを新規の動画像データとして追加記録できるようにしても良い。あるいは、再生編集(プレイリストの作成)だけでなく、前述した編集操作入力によって、例えばGOP単位で簡易に動画像データに対して編集処理(編集記録)を行う編集機能や編集モードを設けても良い。また、再生編集とするか、さらに編集記録とするかをユーザからの指定入力によって選択できるようにしでもよい。
なお、遷移画面効果やタイトルや効果音、BGMなどの付加の編集例を示したが、その他の遷移画面効果や音声効果、あるいは遷移画面以外の画像の変形やモデファイ、デフォルメ加工や、画像の色相や彩度、明度などを変化させたり、白黒画像やモザイク画像、解像度や階調度を変えた画像など、その他のデジタルエフェクトを付加したり、その他の楽器音や擬音、声音等を合成して付加できるようにしてもよい。
また、タイムライン上での編集操作は小型機器では難しいが、一覧性や時系列順序は分かりやすいので、編集前後の一覧表示として、タイムラインや時間軸上のインデックス画像表示等を合せて表示できるようにしてもよい。
次に、図7のステップA29に示すダイジェスト再生処理について説明する。図28と図29は、それぞれダイジェスト再生処理(第1、第2)を説明するためのフローチャートである。本実施形態の電子カメラでは、少なくとも何れか一方のダイジェスト再生処理が用いられるものとする。
本実施形態の電子カメラでは、ダイジェスト再生によって、前述した編集操作をすることなく、撮影された動画像に対して自動的に編集を施して出力させることができる。例えば、ユーザが指定した単数または複数の動画像データの中から、ランダムに再生する動画像のパートをランダムな順序でランダムな再生時間づつ選択し、また、遷移画面効果など特殊効果やBGMなどをランダムに付加する。この際、所定時間のダイジェストの動画像を再生するための再生制御情報を記述したプレイリストを自動的に作成する。また、プレイリストに従って動画像に対する再生制御を行うことにより、ダイジェスト再生を簡単にできるようにしている。
まず、図28に示す第1のダイジェスト再生処理について説明する。
はじめに、ダイジェスト再生させる時間を表す合計再生時間(設定合計時間)、動画像中の体勢対象とする部分や動画挿入付加する特殊効果などをランダムに設定するために用いる乱数関数の初期値と種等を初期設定する(ステップF1)。例えば、これらの数値に関するデータは、予め設定されているものとする。また、合計再生時間についてはユーザによって予め指定させるようにしても良い。
次に、再生する動画像データが記録された動画像ファイルを1〜複数選択する(ステップF2)。ここで、複数の動画像ファイルがある場合には、再生対象とする動画像ファイルを、例えばユーザによって指定させるか、予め決められた条件に従って選択する。予め決められた条件としては、選択ファイル数、動画像ファイルのサイズ、撮影順序(撮影時期が最近の方の動画像を優先させる)などを1つ、あるいは複数を組み合わせて設定できるものとする。
次に、動画像に付加する音楽(音声、効果音などを含む)について、例えばBGMのジャンル名、曲目、あるいは音声ファイルを選択する(ステップF3)。ここでは、ユーザからの指示に応じて選択しても良いし、予め決められた条件に従って選択することができる。
次に、再生対象とする動画像中でユーザがダイジェスト再生に入れたい、あるいは入れたくない部分の指定を所定単位毎に受け付ける。例えば、所定単位としてはシーン、チャプタ、GOP、画像などがある。以下の説明では、シーンを対象として説明する。ダイジェスト再生に入れる/入れないシーンの指定は、例えば前述した編集モードと同様にして、シーン毎のインデックス画像の一覧を表示し、この一覧表示画面を通じて選択させるものとする。
ダイジェスト再生に特に入れるシーンが指定された場合には(ステップF4、Yes)、この指定されたインデックス画像に対応するシーンを再生対象として設定しておく(ステップF5)。
また、ダイジェスト再生に特に入れないシーンが指定された場合には(ステップF6、Yes)、この指定されたインデックス画像に対応するシーンを再生対象外として設定しておく(ステップF7)。
次に、動画像中の再生対象とする部分と動画像に付加する特殊効果などをランダムに選択するための乱数を、編集/再生制御部26(乱数生成部130k)により生成する。ここでは、乱数の組、例えば再生順序、動画像に対して付加する特殊効果、動画像と共に再生する音声など、それぞれを選択するために用いる複数の乱数を発生させる(ステップF8)。
次に、動画像中から再生対象としてランダムに選択したシーン(チャプタなど)を、進行順に再生する設定がされているかを判別する。例えば、動画像がイベントの発生順序に意味あったり、ストーリがあるような場合には、ユーザにとって、時間順にダイジェスト再生した方が内容を把握し易い。進行順に再生する設定については、例えば、前述したダイジェスト再生に入れる(あるいは入れない)シーンの設定と共に設定しておく。
ここで、進行順に再生する設定されている場合には(ステップF9、Yes)、先に生成された乱数に応じて、次に再生するファイルと再生対象部分とするシーンを進行中にランダムに選択する(ステップF10)。なお、進行順の再生の設定がされていない場合には(ステップF9、No)、先に生成された乱数に応じて、次に再生するファイルと再生対象部分とするシーンを進行中にランダムに選択する(ステップF11)。
ここで、再生対象として選択されたシーンが、先にユーザからの指定によってダイジェスト再生に入れたい部分として設定されているシーン、あるいは指定されたシーンの近くにあるシーンであるかを判別する。ここで、入れたいシーンに該当する、あるいは近くにあるシーンである場合(ステップF12、Yes)、入れたいシーンを含むように、このシーンに該当する動画像データの開始GOPと再生時間を設定する(ステップF13)。一方、入れたい部分として設定されているシーン、あるいは指定されたシーンの近くにあるシーンでない場合(ステップF12、No)、再生対象として選択されたシーンに該当する動画像データの開始GOPと再生時間を設定する(ステップF14)。
ここで、再生対象として設定したシーンに、先にユーザからの指定によってダイジェスト再生に入れたくない部分として設定されているシーンが含まれているかを判別する。ここで、該当するシーンを含む場合には(ステップF15、No)、それまでの設定を破棄し、改めて乱数を発生させて再生対象とするシーンの設定を行う(ステップF8〜F15)。
一方、入れたくない部分として設定されているシーンが含まれない場合には(ステップF15、Yes)、ダイジェスト再生する動画像に付加する遷移画面効果、特殊効果、効果音などを、先に生成された乱数に応じてランダムに設定する(ステップF16)。
そして、再生対象として設定されたシーンな該当する開始GOPからGOP単位で画像を復号し(ステップF17)、このGOPの動画像に対して特殊効果を付加する設定されている場合には(ステップF18、Yes)、この復号された動画像データに対して該当する特殊効果を施す。そして、特殊効果が施された動画像を所定の再生時間分だけ再生表示する(ステップF19)。
一方、特殊効果を付加する設定されていない場合には(ステップF18、No)、復号された動画像を所定の時間分(例えば数秒)だけ再生表示する(ステップF20)。
同様にして、動画像に対してBGM(音楽)を付加する設定されている場合には(ステップF21、Yes)、先に選択されたジャンルまたは曲目の中から設定した音声ファイルを再生出力し、動画像の再生出力と共に音楽等を再生出力する。
ここで、これまでの再生時間を合計し(ステップF23)、この再生時間合計が予め設定された設定合計時間を超えていなければ、前述と同様にして、乱数を生成し(ステップF8)、この乱数に応じて再生対象とする部分を設定し、特殊効果などを施して再生出力を繰り返し実行する(ステップF8〜F23)。
こうして、ランダムに再生出力した動画像の再生時間の合計が、設定合計時間に到達した時点で(ステップF24、Yes)、ダイジェスト再生を終了する(ステップF25)。
なお、第1のダイジェスト再生処理では、ダイジェスト再生された動画像データ、すなわちランダムに編集(再生順序変更や遷移画面効果など)された動画像のデータをファイルとして記録しておく。例えば、ダイジェスト再生された動画像がユーザ所望する内容であった場合に、この記録されたダイジェスト再生用の動画像ファイルを再生することで、同じダイジェスト再生を出力させることができる。
このように、第1のダイジェスト再生処理では、ユーザがダイジェスト再生に入れたい、あるいは、逆に入れたくない部分を、チャプタ単位、シーン単位、時間単位、あるいはGOP単位などの所定単位で指定することで、ユーザが所望するシーンや画像を優先して挿入したり、逆に間引きして再生できるように制御することができる。従って、基本的には再生対象がランダムに選択されるダイジェスト再生においても、ユーザが所望するシーンを含み、不要とするシーンを含まない、ユーザの希望に近いダイジェスト再生が実現できる。
なお、前述した第1のダイジェスト再生処理の説明では、再生対象とする動画像ファイルを選択し、またBGMのジャンルや曲名、ダイジェスト再生したい/したくないシーンを設定しているが、より簡単にダイジェスト再生に対する条件を設定することもできる。
例えば、「クール」「ポップ」「ほんわか」「しっとり」「ダイナミック」「トリッキー」「スピード」…等、映像作成のジャンルやイメージを表す表現項目を複数用意しておき、これらの中からユーザが希望する項目を任意に選択させる(複数選択も可能)。各表現項目に対しては、カット割りのテンポや付加できる特殊効果の種類、BGM音楽のジャンルや曲目、演奏する楽器パート、テンポの選択範囲などの編集内容とを対応づけて設定しておく。ここでは、表現項目と編集内容とを1対1で対応付ける必要はない。ダイジェスト再生する場合、ユーザによって選択された表現項目に応じて、条件や制約を加える編集内容を設定することで、ユーザが所望するジャンルやイメージに近いダイジェスト再生を出力させることができる。
次に、図29に示す第2のダイジェスト再生処理について説明する。
はじめに、ダイジェスト再生させる時間を表す合計再生時間(設定合計時間)、動画像中の体勢対象とする部分や動画挿入付加する特殊効果などをランダムに設定するために用いる乱数関数の初期値と種等を初期設定する(ステップG1)。次に、再生する動画像データが記録された動画像ファイルを1〜複数選択する(ステップG2)。次に、動画像に付加する音楽(音声、効果音などを含む)について、例えばBGMのジャンル名、曲目、あるいは音声ファイルを選択する(ステップF3)。なお、以上の設定については、第1のダイジェスト再生処理と同様にして実行できるものとして詳細な説明を省略する。
次に、動画像中の再生対象とする部分と動画像に付加する特殊効果などをランダムに選択するための乱数を、編集/再生制御部26(乱数生成部130k)により生成する。ここでは、乱数の組、例えば開始GOPと再生時間、再生順序、動画像に対して付加する特殊効果、動画像と共に再生する音声など、それぞれを選択するために用いる複数の乱数を発生させる(ステップG4)。
次に、動画像中から再生対象としてランダムに選択したシーン(チャプタなど)を、進行順に再生する設定がされているかを判別する。例えば、動画像がイベントの発生順序に意味あったり、ストーリがあるような場合には、ユーザにとって、時間順にダイジェスト再生した方が内容を把握し易い。進行順に再生する設定については、例えば、前述したダイジェスト再生に入れる(あるいは入れない)シーンの設定と共に設定しておく。
ここで、進行順に再生する設定されている場合には(ステップG5、Yes)、先に生成された乱数に応じて、次に再生するファイルと再生対象部分とするシーンを進行中にランダムに選択する(ステップG6)。なお、進行順の再生の設定がされていない場合には(ステップG5、No)、先に生成された乱数に応じて、次に再生するファイルと再生対象部分とするシーンを進行中にランダムに選択する(ステップG7)。
そして、先に生成された乱数に応じて、再生対象として設定されたシーンについて、開始GOPと再生時間を設定する(ステップG8)。ここでは、乱数に応じて開始GOPと再生時間を設定するので、例えば同じシーンが再生対象として設定されたとしても、再生部分や再生時間がダイジェスト再生毎に異なってくる。
次に、ダイジェスト再生する動画像に付加する遷移画面効果、特殊効果、効果音などを、先に生成された乱数に応じてランダムに設定する(ステップG9)。
そして、再生対象として選択されたファイル/シーン/GOPと、ランダムに設定された特殊効果などを表す再生制御情報を、再生順に従ってダイジェスト再生用プレイリストに付加していく(ステップG10)。ダイジェスト再生用プレイリストの詳細については、再生方法の編集処理などにおいて説明したプレイリストと同じであるものとして説明を省略する。すなわち、再生方法の編集処理においてプレイリストを生成する場合に入力していたユーザから編集操作に代えて、乱数に応じて設定された編集内容を入力してダイジェスト再生用プレイリストを作成する。
ここで、これまでの再生時間を合計し(ステップG11)、この再生時間合計が予め設定された設定合計時間を超えていなければ、前述と同様にして、乱数を生成し(ステップG4)、この乱数に応じて再生対象とする部分や特殊効果などを設定してダイジェスト再生用プレイリストを作成する(ステップG4〜G11)。
こうして、ランダムに再生対象として設定された動画像の再生時間の合計が、設定合計時間に到達した時点で(ステップG124、Yes)、ダイジェスト再生用プレイリストを完成して記録する(ステップG13)。そして、このダイジェスト再生用プレイリストによる再生処理を実行する(ステップG14)。なお、ダイジェスト再生用プレイリストによる再生処理は、図24に示すフローチャート(プレイリストによる再生処理)と同様にして実行されるものとして詳細な説明を省略する。
このように、第2のダイジェスト再生処理では、ダイジェスト再生のシーンの再生順序を、全くランダムな順序だけでなく、シーンやチャプタ順などの時間進行順で、かつ、ランダムな箇所を選んで再生するように、ダイジェスト再生用プレイリストを作成することができるので、イベントの発生順序やストーリの展開や時間経過が逆転しないようなダイジェスト再生が可能になる。
なお、第2のダイジェスト再生処理では、乱数に応じて動画像に対して施される編集内容をダイジェスト再生用プレイリストとして記録し、このプレイリストを用いて動画像の再生処理を実行しているが、第1のダイジェスト再生処理においても同様にしてプレイリストを作成し、プレイリストを用いてダイジェスト再生することもできる。また、第2のダイジェスト再生処理において、第1のダイジェスト再生処理と同様にして、プレイリストを作成しないでダイジェスト再生するようにしても良い。また、第1のダイジェスト再生処理と第2のダイジェスト再生処理とを別の処理として説明しているが、両方を組み合わせて実施することも可能である。
本実施形態におけるダイジェスト再生では、次のような効果が得られる。
(1)本実施形態のダイジェスト再生では、ユーザによる編集操作をしなくても、簡単な指定のみで、ユーザの希望に合わせてランダムなシーン等をランダムな順序で選択し、特殊効果等をランダムに付加したダイジェスト再生用プレイリストを自動的に生成し、このプレイリストによる再生制御により、ダイジェスト再生ができるようにしている。このため、撮影記録した長時間の動画像データも短く短縮したダイジェストで、意味のある内容や要約を短時間で再生して見ることができる。
(2)プレイリスト作成によるダイジェスト再生が可能なので、ダイジェスト再生のための自動編集に要する処理能力やメモリ容量を少なくできる。また、ダイジェスト再生後も、該当プレイリストを読出して、繰り返し再生したり、ダイジェスト再生の修正や編集を行ったり、それを元に新たなプレイリストの編集ができる。例えば、自動生成したダイジェスト再生で気に入った映像があれば、そのプレイリストを元に細かく編集した映像や業務用のダイジェスト映像の作成や編集が容易にできる。
(3)ランダムに短縮したダイジェスト動画像でも、ユーザが入れたい特定あシーンや画像、あるいは逆に入れたくないシーンや画像を指定して、所望のシーンや画像を優先して挿入あるいは間引きできるようにしたので、ユーザが所望する内容に近いダイジェスト再生ができる。また、図29に示す第2のダイジェスト再生処理では、時間進行順のダイジェスト再生も指定できるようにしたので、時間進行に逆転の無いストーリーの展開が自然なダイジュスト再生ができる。従って、見る側でも映像の内容やストーリ展開を理解しやすいダイジェスト再生を実現できる。
また、前述した各実施形態では、携帯カメラ本体部2及びズーム撮像部4によって撮影された動画像を対象にして説明しているが、例えば充電/PC転送用クレードル部7を介して、USB、LAN、あるいは無線通信などにより他のパーソナルコンピュータなどの情報機器から受信された動画像データに対して同様の処理を実行して、動画像データに対して符号化して記録するとともにプレイリストを作成し、携帯カメラ本体部2において再生できるようにしても良い。また、他の情報機器から符号化された動画像データと共に、この動画像データに対するプレイリストのデータを受信し、携帯カメラ本体部2において、プレイリストをもとに動画像を再生出力することもできる。
また、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。電子カメラに搭載されるコンピュータの機能は、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
また、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組み合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも1つが解決でき、発明の効果の欄で述べられている効果の少なくとも1つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
また、前述した各実施形態において記載した処理は、コンピュータに実行させることのできるプログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。電子カメラに搭載されるコンピュータの機能は、記録媒体に記録されたプログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
本発明の実施の形態における電子カメラの回路システム構成を示すブロック図。 本実施形態における再生編集制御部130の機能構成を示すブロック図。 本実施形態における復号再生制御部140の機能構成を示すブロック図。 MPEGで用いられるピクチャの構造を示す図。 MPEG動画像データの階層構造を示す図。 符号化/復号化時のフレーム画像の順序を示す図。 本実施形態における電子カメラの全体の制御の流れを説明するためのフローチャート。 本実施形態における動画像を撮影する動画撮影モードにおける表示部19に表示される画面の一例を示す図。 本実施形態における再生メニューと編集メニューの一例を示す図。 本実施形態における再生方法の編集処理(プレイリストの作成)について説明するためのフローチャート。 本実施形態における編集モードの表示画面においてインデックス画像の一覧が表示されている例を示す図。 本実施形態における特殊効果の付加の設定中の画面の一例を示す図。 遷移画面効果(トランジションエフェクト)による編集を説明するための図。 本実施形態におけるトランジションエフェクトに関係する編集アイコンとそれぞれに対応する画面遷移の例を示す図。 デジタルエフェクトによる編集を説明するための図。 本実施形態におけるデジタルエフェクトに関係する編集アイコンとそれぞれに対応するデジタル効果の例を示す図。 本実施形態における第1のシーン識別処理について説明するためのフローチャート。 本実施形態における第2のシーン識別処理について説明するためのフローチャート。 動画像に対する編集(トリミング編集、カット編集、タイトル編集)の一例を説明するための図。 本実施形態におけるトリミング編集のプレイリスト作成/再生制御の例を示す図。 本実施形態におけるカット編集のプレイリスト作成/再生制御の例を示す図。 本実施形態におけるタイトル編集におけるプレイリスト作成/再生制御の例を示す図。 本実施形態におけるトランジションエフェクトなど遷移画面効果を挿入する場合のプレイリスト作成/再生制御の例を示す図。 本実施形態におけるプレイリストによる再生処理について説明するためのフローチャート。 本実施形態におけるドアオープン/クローズのトランジションエフェクト画面を説明するための図。 本実施形態におけるトランジションエフェクト画面が合成される様子を説明するための図。 本実施形態における遷移画面の合成処理を説明するためのフローチャート。 本実施形態における第1のダイジェスト再生処理を説明するためのフローチャート。 本実施形態における第2のダイジェスト再生処理を説明するためのフローチャート。
符号の説明
2…携帯カメラ本体部、4…ズーム撮像部、6…コネクタ部、7…充電/PC転送用クレードル部、10…制御回路、12…入力回路、13…静止画撮影半押し/シャッタボタン、14…動画撮影開始/停止ボタン、15…操作入力部、17…表示メモリ、18…表示駆動部、19…表示部、20…画像バッファメモリ、22…画像信号処理部、24…圧縮符号化/復号部、26…編集/再生制御部、28…静止画像/動画像/音声データメモリ、30…プレイリストメモリ、31…音声復号化部、32…A/D変換部、33…増幅部、34…スピーカ、36…外部メモリインタフェース、37…外部メモリ、40…音声符号化部、41…A/D変換部部、42…増幅部、43…マイク、44…電源制御部、46…電池、48…外部I/Oインタフェース、50,92…コネクタ、52…レンズ光学系、53…絞り、54…ハーフミラー、55…シャッタ、58,59…レンズ駆動部、60…撮像素子、62…測光/測距センサ、70…制御部、71…焦点制御部、72…ズーム制御部、73…絞り制御部、74…シャッタ制御部、75…CDS/AGC、76…A/D回路、77…タイミング制御駆動部、78…露出制御部、79…測距制御部、80…フラッシュ制御部、82…フラッシュ駆動部、83…フラッシュ、90…制御回路、94…充電制御部、96…電源/充電/転送インジケータ、97…操作部、98…無線LANI/F、99…符号/復号部、100…変調/復調部、101…送信/受信部、104…LAN通信I/F、106…USB通信I/F、108…USBコネクタ、110…LANコネクタ、120…安定化回路、122…平滑回路、124…整流回路、126…ヒューズ、130…再生編集制御部、130a…再生方法編集部、130b…多重分離復号部、130c…各種復号部、130d…フレーム内画像復号部、130e…インデックス画像作成部、130f…音声インデックス再生部、130g…プレイリスト作成部、130h…シーン切替識別部、130k…乱数生成部、130m…だと再生用プレイリスト作成部、132,136a,142b…MPEGファイル、134…画像・音声ファイル、136,142…メモリ媒体/通信路、136b,142a…プレイリストファイル、136c…追加画像・音声ファイル、140a…再生順序制御部、140b…フレーム間復号部、140c…フレーム内復号部、140d…特殊効果合成部、140e…フレーム内復号部、140f…フレーム間復号部、140g…効果音合成部、140h…音声復号部、140k…再生出力制御部、142c…追加画像ファイル、142d…追加音声ファイル。

Claims (10)

  1. 動画像を撮影する動画像撮影手段と、
    前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、
    乱数を発生させる乱数発生手段と、
    前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段に記録された動画像を編集する編集手段と
    を具備したことを特徴とする電子カメラ。
  2. 前記編集手段は、
    前記乱数発生手段によって発生される乱数に応じて、所定単位毎の動画像の再生順序を変更する再生順序編集手段と、
    前記乱数発生手段によって発生される乱数に応じて、前記所定単位毎の動画像に対する特殊効果を付加する特殊効果付加編集手段の少なくとも何れか一方を含むことを特徴とする請求項1記載の電子カメラ。
  3. 前記動画像記録手段により記録された動画像中の所定範囲を選択する範囲選択手段を具備し、
    前記編集手段は、前記範囲選択手段によって選択された所定範囲を除いた動画像を対象として編集することを特徴とする請求項1または請求項2記載の電子カメラ。
  4. 前記動画像記録手段により記録された動画像中の所定範囲を選択する範囲選択手段を具備し、
    前記編集手段は、前記範囲選択手段によって選択された所定範囲を含む動画像を対象として編集することを特徴とする請求項1または請求項2記載の電子カメラ。
  5. 前記編集手段は、
    前記動画像記録手段により記録された動画像から時間経過順で一部を選択して結合することを特徴とする請求項1乃至請求項4の何れかに記載の電子カメラ。
  6. 前記編集手段により編集された後の動画像を動画ファイルの形態で記録する編集後動画像記録手段と、
    前記編集後動画像記録手段により記録された動画像ファイルを再生出力する再生出力手段と
    をさらに具備したことを特徴とする請求項1乃至請求項5の何れかに記載の電子カメラ。
  7. 前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段によって記録された動画像の再生制御情報を生成する再生制御情報生成手段と、
    前記再生制御情報生成手段により生成された再生制御情報を、前記動画像記録手段によって記録された動画像に関連付けて記録する再生制御情報記録手段と
    を具備し、前記編集手段は、再生制御情報記録手段により記録された再生制御情報に基づいて前記動画像記録手段に記録された動画像を編集するたことを特徴とする請求項1乃至請求項5の何れかに記載の電子カメラ。
  8. 前記編集手段によって編集された動画像を再生出力する再生出力手段をさらに具備したことを特徴とする請求項7記載の電子カメラ。
  9. 前記再生制御情報を編集する制御情報編集手段をさらに具備したことを特徴とする請求項7または請求項8の何れかに記載の電子カメラ。
  10. 電子カメラに内蔵されたコンピュータが実行する制御プログラムであって、
    コンピュータを、
    動画像を撮影する動画像撮影手段と、
    前記動画像撮影手段によって撮影された動画像を記録する動画像記録手段と、
    乱数を発生させる乱数発生手段と、
    前記乱数発生手段によって発生される乱数に応じて、前記動画像記録手段に記録された動画像を編集する編集手段として機能させるための電子カメラの制御プログラム。
JP2004071576A 2004-03-12 2004-03-12 電子カメラ、及び電子カメラの制御プログラム Pending JP2005260749A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004071576A JP2005260749A (ja) 2004-03-12 2004-03-12 電子カメラ、及び電子カメラの制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004071576A JP2005260749A (ja) 2004-03-12 2004-03-12 電子カメラ、及び電子カメラの制御プログラム

Publications (1)

Publication Number Publication Date
JP2005260749A true JP2005260749A (ja) 2005-09-22

Family

ID=35086026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004071576A Pending JP2005260749A (ja) 2004-03-12 2004-03-12 電子カメラ、及び電子カメラの制御プログラム

Country Status (1)

Country Link
JP (1) JP2005260749A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172073A (ja) * 2005-12-19 2007-07-05 Seiko Epson Corp 画像一覧表示におけるユーザの利便性向上
JP2008228135A (ja) * 2007-03-15 2008-09-25 Sony Corp 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
EP1990803A1 (en) * 2007-05-07 2008-11-12 Samsung Electronics Co., Ltd. Method of high speed video playback and video playback apparatus using the same
JP2009017453A (ja) * 2007-07-09 2009-01-22 Hitachi Ltd プレイリスト生成装置およびプレイリスト再生装置
JP2009055593A (ja) * 2007-07-31 2009-03-12 Olympus Imaging Corp 画像再生装置、画像再生方法および画像再生用プログラム
JP2009131319A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、及び画像処理システム
WO2010055627A1 (ja) 2008-11-14 2010-05-20 パナソニック株式会社 撮像装置及びダイジェスト再生方法
JP2011525732A (ja) * 2008-06-12 2011-09-22 アルカテル−ルーセント ビデオソースの間で切り換えを行うための方法およびシステム
JP2013533669A (ja) * 2010-05-25 2013-08-22 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー ビデオサマリ指示メタデータ格納
JP2021036701A (ja) * 2020-11-04 2021-03-04 株式会社ユピテル システム及びプログラム
JP2023501390A (ja) * 2019-11-08 2023-01-18 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172073A (ja) * 2005-12-19 2007-07-05 Seiko Epson Corp 画像一覧表示におけるユーザの利便性向上
JP4626509B2 (ja) * 2005-12-19 2011-02-09 セイコーエプソン株式会社 画像一覧表示におけるユーザの利便性向上
JP2008228135A (ja) * 2007-03-15 2008-09-25 Sony Corp 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム
US8260090B2 (en) 2007-03-15 2012-09-04 Sony Corporation Information processing apparatus, imaging apparatus, image display control method and computer program
EP1990803A1 (en) * 2007-05-07 2008-11-12 Samsung Electronics Co., Ltd. Method of high speed video playback and video playback apparatus using the same
JP2009017453A (ja) * 2007-07-09 2009-01-22 Hitachi Ltd プレイリスト生成装置およびプレイリスト再生装置
JP2009055593A (ja) * 2007-07-31 2009-03-12 Olympus Imaging Corp 画像再生装置、画像再生方法および画像再生用プログラム
JP2009131319A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、及び画像処理システム
JP2011525732A (ja) * 2008-06-12 2011-09-22 アルカテル−ルーセント ビデオソースの間で切り換えを行うための方法およびシステム
WO2010055627A1 (ja) 2008-11-14 2010-05-20 パナソニック株式会社 撮像装置及びダイジェスト再生方法
JP5411874B2 (ja) * 2008-11-14 2014-02-12 パナソニック株式会社 撮像装置及びダイジェスト再生方法
JP2013533669A (ja) * 2010-05-25 2013-08-22 インテレクチュアル ベンチャーズ ファンド 83 エルエルシー ビデオサマリ指示メタデータ格納
US9124860B2 (en) 2010-05-25 2015-09-01 Intellectual Ventures Fund 83 Llc Storing a video summary as metadata
JP2023501390A (ja) * 2019-11-08 2023-01-18 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体
JP7375191B2 (ja) 2019-11-08 2023-11-07 北京字節跳動網絡技術有限公司 マルチメディア情報処理方法、装置、電子デバイス及び媒体
JP2021036701A (ja) * 2020-11-04 2021-03-04 株式会社ユピテル システム及びプログラム
JP7097631B2 (ja) 2020-11-04 2022-07-08 株式会社ユピテル システム及びプログラム

Similar Documents

Publication Publication Date Title
TWI495333B (zh) 資訊處理裝置、成像裝置、影像顯示控制方法以及電腦程式
US8938150B2 (en) Recording apparatus
JP3988079B2 (ja) 情報処理装置および方法、並びにプログラム
WO2006028172A1 (ja) 記録装置および方法、再生装置および方法、並びにプログラム
JP4923517B2 (ja) 撮像装置、撮像方法、および半導体装置
JP4986886B2 (ja) 撮像装置、画像再生装置、撮影制御方法及び画像再生方法
US20190014257A1 (en) Display control apparatus and method for controlling the same
KR100813978B1 (ko) 멀티미디어 데이터를 기록 및 재생하는 방법 및 장치
JP2005260749A (ja) 電子カメラ、及び電子カメラの制御プログラム
JP4773817B2 (ja) 画像再生装置及びプログラム
JP2009225361A (ja) 記録装置および記録方法、ならびに、編集装置および編集方法
JP3870123B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
JP4698961B2 (ja) 電子カメラ、及び電子カメラの制御プログラム
JP2009055618A (ja) 電子カメラ、及び電子カメラの制御プログラム
JP2014096766A (ja) 記録装置及び記録方法
US8379109B2 (en) Image processing apparatus
JP5836578B2 (ja) 撮像装置、撮像装置の制御方法及びプログラム
JP2007174278A (ja) 画像表示装置、画像表示方法
JP2006287828A (ja) 動画撮像装置及びそのプログラム
JP5645096B2 (ja) 動画処理装置、動画再生方法、動画録画方法、及びプログラム
JP6463967B2 (ja) 撮像装置及びその制御方法
JP4451620B2 (ja) ガイダンス機能付き撮影装置及び編集装置
JP2006165679A (ja) 動画再生装置及びそのプログラム
JP6643081B2 (ja) アルバム動画生成装置、アルバム動画生成方法及びプログラム
JP2005117370A (ja) デジタルカメラ