JP2007336281A - 画像記録装置、画像再生装置、画像記録方法及び画像再生方法 - Google Patents

Abstract

【課題】本発明は、動画像データの再生処理時の処理負荷を低減する。
【解決手段】本発明は、動画像データＭＤを構成するフレーム画像データＦに対し、フレーム画像表示管理時刻を付加して、動画撮影中にスチル撮影されると、フレーム画像表示管理時刻を静止画像表示管理時刻Ｔ１として用いて第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを生成し、これらを動画像ストリームＭＳと共に時分割多重化してプログラムストリームＰＳ２を生成して記録するようにしたことにより、プログラムストリームＰＳ２を再生するとき、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離したときにのみ、静止画像存在通知処理を実行することができ、かくして、プログラムストリームＰＳ２の再生処理時の処理負荷を低減することができる。
【選択図】 図４

Description

本発明は画像記録装置、画像再生装置、画像記録方法及び画像再生方法に関し、例えば被写体を静止画撮影（すなわちスチル撮影）する機能を有するカメラ一体型ビデオレコーダ（以下、これをビデオカメラと呼ぶ）に適用して好適なものである。

従来のビデオカメラは、被写体の動画撮影時、被写体を動画撮影して動画像データの生成を開始した時点から内部のクロック信号に基づいて計時すると共に、当該計時した時刻を、動画像データを構成する時間的に連続したフレーム画像データに付加していた。またビデオカメラは、動画撮影時に被写体をスチル撮影して静止画像データを生成したときには、内部のクロック信号に基づいてそのときに計時した時刻（以下、これをスチル撮影時刻と呼ぶ）を、動画像データのヘッダに付加していた。そしてビデオカメラは、動画像データの再生処理時、動画像データのヘッダに付加していたスチル撮影時刻よりも５秒前の時刻と、当該動画像データを構成するフレーム画像データに付加していた時刻とが一致したとき、動画撮影時に被写体をスチル撮影して生成した静止画像データが存在することを通知していた（例えば特許文献１参照）。
特開２００４-３０４４２５公報

ところがかかる構成のビデオカメラは、動画像データの再生処理時、動画像データに対する再生処理の開始時点から、かかる再生処理と同時並行に、動画撮影時に被写体をスチル撮影して生成した静止画像データが存在することを通知する処理として、動画像データを構成するフレーム画像データに付加していた時刻とスチル撮影時刻よりも５秒前の時刻とを比較している。このためビデオカメラでは、被写体の動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影で生成した静止画像データと共に記録していた動画像データを再生処理するとき、処理負荷が大きいという問題があった。

本発明は以上の点を考慮してなされたもので、動画撮影中にスチル撮影を行うことで、その結果得られた静止画像データと共に記録していた動画像データの再生処理時の処理負荷を低減し得る画像記録装置、画像再生装置、画像記録方法及び画像再生方法を実現する。

かかる課題を解決するため本発明においては、動画撮影により生成される動画像データと、スチル撮影により生成される静止画像データとを記録する画像記録装置において、動画撮影により生成される動画像データを構成する時間的に連続した複数のフレーム画像データに対し、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻を付加する管理時刻付加部と、動画撮影中にスチル撮影されると、当該スチル撮影されたときに生成されたフレーム画像データに付加されたフレーム画像表示管理時刻を、当該スチル撮影により生成された静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として検出する管理時刻検出部と、静止画像表示管理時刻を用いて、動画撮影中にスチル撮影により生成された静止画像データが存在することを示す存在通知データを生成する存在通知データ生成部と、動画撮影のみが実行されている間は、フレーム画像データにフレーム画像表示管理時刻が付加された動画像データを所定単位毎に順次取り込み記録データとして出力し、動画撮影中にスチル撮影が実行されたときには、存在通知データを所定単位毎に順次取り込むと共に、動画像データを所定単位毎に順次取り込みながら、所定単位毎の存在通知データと所定単位毎の動画像データとを時分割多重化して記録データとして出力する多重化部と、記録データを記録媒体に記録する記録部とを設けるようにした。

従って本発明では、動画撮影のみが実行されている間は、当該動画撮影により生成された時間的に連続する複数のフレーム画像データに、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻が付加されて構成された動画像データを順次所定単位毎に記録データとして記録し、動画撮影中にスチル撮影されると、当該スチル撮影されたときに生成されたフレーム画像データに付加されたフレーム画像表示管理時刻を、当該スチル撮影により生成された静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として用いて生成した、動画撮影中にスチル撮影により生成された静止画像データが存在することを示す存在通知データと動画像データとを所定単位毎に順次時分割多重化して記録データとして記録媒体に記録するようにしたことにより、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影により生成した静止画像データと共に記録していた記録データを再生するとき、当該記録データから存在通知データを分離したときにのみ、当該存在通知データに基づいて、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影により生成した静止画像データが存在することを通知する通知処理を実行することができる。

本発明によれば、動画撮影のみが実行されている間は、当該動画撮影により生成された時間的に連続する複数のフレーム画像データに、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻が付加されて構成された動画像データを順次所定単位毎に記録データとして記録し、動画撮影中にスチル撮影されると、当該スチル撮影されたときに生成されたフレーム画像データに付加されたフレーム画像表示管理時刻を、当該スチル撮影により生成された静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として用いて生成した、動画撮影中にスチル撮影により生成された静止画像データが存在することを示す存在通知データと動画像データとを所定単位毎に順次時分割多重化して記録データとして記録媒体に記録するようにしたことにより、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影により生成した静止画像データと共に記録していた記録データを再生するとき、当該記録データから存在通知データを分離したときにのみ、当該存在通知データに基づいて、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影により生成した静止画像データが存在することを通知する通知処理を実行することができ、かくして、動画撮影中にスチル撮影を行うことで、その結果得られた静止画像データと共に記録していた動画像データの再生処理時の処理負荷を低減し得る画像記録装置、画像再生装置、画像記録方法及び画像再生方法を実現することができる。

以下図面について、本発明の一実施の形態を詳述する。

図１において、１は全体として本発明を適用したビデオカメラを示しており、例えば略直方体形状の装置筐体２を有している。かかる装置筐体２の装置前面には、レンズ２Ａが設けられていると共に、上面後側などの所定位置にはシャッタボタン２Ｂや動画撮影開始／停止ボタン２Ｃを含む各種操作ボタンが設けられている。これによりビデオカメラ１は、装置筐体２のシャッタボタン２Ｂが押下されると、レンズ２Ａを介して被写体をスチル撮影する。またビデオカメラ１は、装置筐体２の動画撮影開始／停止ボタン２Ｃが押下されると被写体の動画撮影を開始し、再び動画撮影開始／停止ボタン２Ｃが押下されると被写体の動画撮影を停止する。そしてビデオカメラ１は、被写体のスチル撮影と動画撮影を別々に行うこともできるし、動画撮影中にスチル撮影を同時に行うこともできるようになされている。さらにビデオカメラ１には、図示しない表示部が設けられており、その表示部に対し、スチル撮影により生成した静止画像データに基づく静止画像や動画撮影により生成した動画像データに基づく動画像を表示し得るようになされている。

次いで図２を用いてビデオカメラ１の回路構成を説明する。かかるビデオカメラ１は、中央処理ユニット（Central Processing Unit）３が図示しないメモリに予め記憶している各種プログラムを読み出して実行することにより、ビデオカメラ１全体を統括的に制御して各種処理を実行する。また中央処理ユニット３には、ＳＤ−ＲＡＭ（Synchronous Dynamic - Random Access Memory）等でなるＲＡＭ６を介して、静止画像エンコーダ７、静止画像デコーダ９、動画像エンコーダ１１、動画像デコーダ１４及び記録再生部８が接続されており、中央処理ユニット３、静止画像エンコーダ７、静止画像デコーダ９、動画像エンコーダ１１、動画像デコーダ１４及び記録再生部８は、ＲＡＭ６をワークエリアとして使用している。

これにより中央処理ユニット３は、被写体をスチル撮影して静止画像データを記録する静止画像記録処理時、例えば上述した各種ボタンを有する操作部４のシャッタボタン２Ｂが押下されることで、その操作部４から被写体をスチル撮影するスチル撮影命令が入力されると、上述したレンズ２Ａを有するカメラ部５で被写体をスチル撮影して生成された静止画像データを取り込んで静止画像エンコーダ７に送出する。例えば、静止画像データに基づく静止画像は、被写体を動画撮影して生成される動画像データに基づく動画像よりも高い解像度を有している。静止画像エンコーダ７は、静止画像データを例えばＪＰＥＧ（Joint Photographic Experts Group）と呼ばれる圧縮符号化方式で圧縮符号化することで静止画像符号化データを生成し、当該生成した静止画符号化データを中央処理ユニット３に送出する。中央処理ユニット３は、例えばＥＸＩＦ(Exchangeable Image File Format)に準じて静止画符号化データにファイル名を付加して記録再生部８に送出する。そして記録再生部８は、装置筐体２に装填されている図示しない光ディスクに対し、静止画像符号化データをファイル化して記録する。中央処理ユニット３は、図３に示すように、光ディスクにファイル化して記録された静止画像符号化データを、ＥＸＩＦに準じて階層的なディレクトリ構造で管理する。因みに中央処理ユニット３は、ＥＸＩＦに準じて静止画像符号化データに対し、ＤＳＣ００００１．ＪＰＧ、ＤＳＣ００００２．ＪＰＧ、ＤＳＣ００００３．ＪＰＧ・・・のようなファイル名を付加している。

一方、中央処理ユニット３は、静止画像データを再生処理する静止画像再生処理時、例えば操作キーに対する操作に応じて操作部４から静止画像データを再生処理する静止画像再生命令が入力されると、記録再生部８により光ディスクから静止画像符号化データを読み出して静止画像デコーダ９に送出する。静止画像デコーダ９は、静止画像符号化データを復号して静止画像データを生成し、当該生成した静止画像データを中央処理ユニット３に送出する。これにより中央処理ユニット３は、静止画像データを表示部１０に送出して静止画像データに基づく静止画像を表示させる。

ついで中央処理ユニット３は、被写体を動画撮影して動画像データを記録する動画像記録処理時、例えば操作部４の動画撮影開始／停止ボタン２Ｃが押下されることで、その操作部４から被写体を動画撮影して動画像データの記録を開始する動画撮影開始命令が入力されると、カメラ部５により被写体を動画撮影して生成した動画像データＭＤの取り込みを開始する。この場合、動画像データＭＤは、時間的に連続する（例えば６０ＦＰＳ（Frame Per Second））複数のフレーム画像データＦで構成されている。そして中央処理ユニット３は、ＳＣＲ（System Clock Reference）等の基準クロックを基に、例えば９０ｋＨｚで計時して、動画像データＭＤを構成する複数のフレーム画像データＦに基づくフレーム画像の表示管理用のＰＴＳ（Presentation Time Stamp）と呼ばれる表示管理時刻（以下、これをフレーム画像表示管理時刻と呼ぶ）を生成すると共に、当該生成したフレーム画像表示管理時刻をその時点で取り込んでいる動画像データＭＤのフレーム画像データＦに付加する。中央処理ユニット３は、このようにして順次フレーム画像表示管理時刻を付加した動画像データＭＤを動画像エンコーダ１１に送出する。動画エンコーダ１１は、動画像データＭＤを例えばＭＰＥＧ２（Moving Picture Experts Group phase 2）と呼ばれる圧縮符号化方式で所定単位毎に圧縮符号化することでパケットデータを生成し、かかるパケットデータのデータ列を動画像ストリームＭＳとして中央処理ユニット３に送出する。

また中央処理ユニット３は、動画像記録処理時、カメラ部５からの動画像データＭＤの取り込みと並行して、マイク部１２により被写体の周囲の音声を集音して得られる音声信号をＡ/Ｄ（Analog to Digital）変換回路１３でアナログデジタル変換して音声データＶＤとして取り込むと共に、その音声データＶＤを動画像エンコーダ１１に送出する。動画像エンコーダ１１は、音声データＶＤもＭＰＥＧ２に従い所定単位毎に圧縮符号化することでパケットデータを生成し、かかるパケットデータのデータ列を音声ストリームＶＳとして中央処理ユニット３に送出する。因みに中央処理ユニット３は、動画像記録処理時、マイク部１２で音声信号を生成する代わりに、外部からＢＧＭ（Back Ground Music）のような音声信号をＡ/Ｄ変換回路１３を介して音声データＶＤとして取り込み、その音声データＶＤを動画像エンコーダ１１で圧縮符号化することもできる。

そして中央処理ユニット３は、動画像エンコーダ１１からパケットデータ単位で送られてくる動画像ストリームＭＳと音声ストリームＶＳとを時分割多重化して記録データ（以下、これをプログラムストリームと呼ぶ）ＰＳ１を生成すると共に、生成したプログラムストリームＰＳ１を記録再生部８に送出する。記録再生部８は、光ディスクに対してプログラムストリームＰＳ１を記録する。このようにして中央処理ユニット３は、操作部４の動画撮影開始／停止ボタン２Ｃが再び押下されることで被写体の動画撮影を停止する動画撮影停止命令が入力されるまでの間は、その動画撮影により生成される動画像データＭＤ及び音声データＶＤをプログラムストリームＰＳ１として記録する。そして中央処理ユニット３は、操作部４から動画撮影停止命令が入力されるとカメラ部５による被写体の動画撮影を停止させ、これに応じて記録再生部８に対し、光ディスクへのプログラムストリームＰＳ１の記録を終了させる。

一方、中央処理ユニット３は、動画像データを再生処理する動画像再生処理時、例えば操作キーに対する操作に応じて操作部４から動画像データを再生処理する動画像再生命令が入力されると、記録再生部８により、光ディスクからプログラムストリームＰＳ１を読み出す。中央処理ユニット３は、プログラムストリームＰＳ１から動画像ストリームＭＳと音声ストリームＶＳとを分離する。そして中央処理ユニット３は、動画像ストリームＭＳと音声ストリームＶＳとを動画像デコーダ１４に送出する。動画像デコーダ１４は、動画像ストリームＭＳをパケットデータ毎に復号して動画像データＭＤを生成し、当該生成した動画像データＭＤを中央処理ユニット３に送出する。また動画像デコーダ１４は、音声ストリームＶＳもパケットデータ毎に復号して音声データＶＤを生成し、当該生成した音声データＶＤを中央処理ユニット３に送出する。中央処理ユニット３は、動画像データＭＤを表示部１０に送出して動画像データＭＤに基づく動画像を表示させる。また中央処理ユニット３は、音声データＶＤをＤ／Ａ（Digital to Analog）変換回路１５でデジタルアナログ変換してスピーカ部１６に送出することにより、表示部１０における動画像の表示と同期するようにしてスピーカ部１６から音声データＶＤに基づく音声を出力させる。因みに中央処理ユニット３は、音声データＶＤをスピーカ部１６の代わりにＡ／Ｄ変換回路１５から外部のヘッドホン等に送出することにより、スピーカ部１６で音声を出力する代わりに、外部のヘッドホン等から音声を出力させることもできる。

これに加えて中央処理ユニット３は、被写体の動画撮影中に、スチル撮影命令が入力されると、上述した動画像記録処理を継続しつつ上述した静止画像記録処理を並行して行う画像並行記録処理を開始する。

中央処理ユニット３は、画像並行記録処理時、上述した静止画像記録処理時と同様にして、被写体をスチル撮影して生成された静止画像データを取り込んで、静止画像エンコーダ７で符号化することにより静止画像符号化データを生成し、当該生成した静止画像符号化データを記録再生部８に送出して光ディスクに記録する。ところで中央処理ユニット３は、例えば被写体を動画撮影して生成した動画像データＭＤのフレーム画像データＦをカメラ部５から取り込んだ時点から当該フレーム画像データＦにフレーム画像表示管理時刻を付加するまでの時間を計時して内部遅延として記憶している。従って中央処理ユニット３は、動画像データＭＤのフレーム画像Ｆに付加しているフレーム画像表示管理時刻のうち、カメラ部５から静止画像データを取り込んだ時点から内部遅延が経過した時点にフレーム画像Ｆに付加したフレーム画像表示管理時刻を、スチル撮影の時刻に相当し、静止画像データに基づく静止画像の表示管理用の表示管理時刻（以下、これを静止画像表示管理時刻と呼ぶ）Ｔ１として検出する。また中央処理ユニット３は、静止画像データ（すなわち静止画像符号化データ）のファイル名や記録場所を示すパス等のような静止画像データを識別可能な情報（以下、これを識別情報と呼ぶ）を生成する。そして中央処理ユニット３は、図４及び図５に示すように、静止画像表示管理時刻Ｔ１と識別情報とを含み、被写体の動画撮影中にスチル撮影により生成された静止画像データが存在することを示す第１の存在通知データＣＤを生成する。

また中央処理ユニット３は、静止画像表示管理時刻Ｔ１を、被写体の動画撮影中にスチル撮影によって生成された静止画像データが存在することを実際にユーザに対して通知し始める通知開始時刻とする。さらに中央処理ユニット３は、動画像データＭＤのフレーム画像データＦに付加しているフレーム画像表示管理時刻のうち、例えば静止画像表示管理時刻Ｔ１の略５秒後の時刻のように、静止画像表示管理時刻Ｔ１から所定時間経過したフレーム画像表示管理時刻を、かかる通知を終了させる通知終了時刻Ｔ２として検出する。さらにまた中央処理ユニット３は、例えば「Ｐｈｏｔｏ」という文字列のような、一見するだけで動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを直感的に判別させるような（すなわち、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知できるような）所定の画像データ（以下、これを通知画像データと呼ぶ）を図示しないメモリから読み出す。そして中央処理ユニット３は、通知開始時刻（すなわち静止画像表示管理時刻Ｔ１）、通知終了時刻Ｔ２及び通知画像データを含み、被写体の動画撮影中にスチル撮影により生成された静止画像データが存在することを示す第２の存在通知データＮＤを生成する。

このようにして中央処理ユニット３は、静止画像表示管理時刻Ｔ１によりスチル撮影されたときに生成された動画像データの１つのフレーム画像データＦと、静止画像データとを対応付けると共に、そのフレーム画像データＦに対して第１の存在通知データＣＤ及び第２の存在通知データＮＤをも対応付けている。因みに中央処理ユニット３は、スチル撮影がユーザにより任意に行われるため、動画撮影の終了間際にスチル撮影されたことで、例えば静止画像表示管理時刻Ｔ１から所定時間経過したフレーム画像表示管理時刻を付加したフレーム画像データＦが存在しない場合（すなわち、静止画像表示管理時刻Ｔ１から所定時間経過する前に動画撮影と共に動画像データＭＤの生成が終了していた場合）フレーム画像データＦに付加したフレーム画像表示管理時刻のうち、終端のフレーム画像データＦに付加したフレーム画像表示管理時刻を通知終了時刻Ｔ２として検出する。このようにして中央処理ユニット３は、フレーム画像表示管理時刻を破綻せずに用意し得るようになされている。

次いで中央処理ユニット３は、第１の存在通知データＣＤと第２の存在通知データＮＤとを動画像エンコーダ１１に送出する。動画像エンコーダ１１は、第１の存在通知データＣＤや第２の存在通知データＮＤに基づき、ＭＰＥＧ２において利用可能なように規定されているプライベートストリームを生成する。すなわち動画像エンコーダ１１は、ＭＰＥＧ２に従い第１の存在通知データＣＤを所定単位毎に順次圧縮符号化することでパケットデータを生成し、かかるパケットデータのデータ列をプライベートストリーム（以下、これを第１の存在通知プライベートストリームＣＳと呼ぶ）として中央処理ユニット３に送出する。また動画像エンコーダ１１は、ＭＰＥＧ２に従い第２の存在通知データＮＤを所定単位毎に順次圧縮符号化することでパケットデータを生成し、かかるパケットデータのデータ列をプライベートストリーム（以下、これを第２の存在通知プライベートストリームＮＳと呼ぶ）として中央処理ユニット３に送出する。

そして中央処理ユニット３は、図６に示すように、画像並行記録処理時、上述した動画像記録処理時と同様にして、被写体の動画撮影に応じて動画像ストリームＭＳ及び音声ストリームＶＳをパケット単位で時分割多重化しつつ、その動画撮影中にスチル撮影したときには動画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳもパケット単位で時分割多重化することでプログラムストリームＰＳ２を生成する。これにより中央処理ユニット３は、動画撮影のみを実行していたときに生成したプログラムストリームＰＳ１に引き続き、その動画撮影中のスチル撮影に応じたプログラムストリームＰＳ２も記録再生部８に送出する。そして記録再生部８は、光ディスクに対してプログラムストリームＰＳ２を記録する。

このようにして中央処理ユニット３は、動画撮影中にスチル撮影が実行されると、その都度、動画撮影のみに応じたプログラムストリームＰＳ１に引き続き、スチル撮影に応じたプログラムストリームＰＳ２を生成して記録する。そして中央処理ユニット３は、この後、動画撮影停止命令が入力されると、カメラ部５による被写体の動画撮影を停止すると共に、記録再生部８に対し、光ディスクに対するプログラムストリームＰＳ１及びプログラムストリームＰＳ２の記録を終了させる。

ここでビデオカメラ１は、被写体を動画撮影して動画像データＭＤを生成している途中に、スチル撮影命令が入力されると、上述した動画像記録処理を継続しつつ上述した静止画像記録処理を並行して行う図７に示すような画像並行記録処理手順ＲＴ１を開始する。中央処理ユニット３は、かかる画像並行記録処理手順ＲＴ１を開始すると、ステップＳＰ１において、カメラ部５により被写体をスチル撮影することで生成した静止画像データを取り込んで静止画像エンコーダ７に送出することにより、当該静止画像エンコーダ７により静止画像データを圧縮符号化して静止画像符号化データを生成し、次のステップＳＰ２に移る。

ステップＳＰ２において中央処理ユニット３は、静止画像データ（すなわち静止画像符号化データ）の識別情報を生成して、その静止画像符号化データを記録再生部８に送出することにより、当該記録再生部８により光ディスクに対して静止画像符号化データをファイル化して記録し、次のステップＳＰ３に移る。

ステップＳＰ３において中央処理ユニット３は、カメラ部５から現時点で取り込んでいる動画像データＭＤのフレーム画像データＦにフレーム画像表示管理時刻を付加すると共に、当該フレーム画像表示管理時刻を付加した動画像データＭＤを動画像エンコーダ１１に送出することにより、その動画エンコーダ１１により、動画像データＭＤをＭＰＥＧ２に従い所定単位毎に圧縮符号化して動画像ストリームＭＳを生成し、次のステップＳＰ４に移る。

ステップＳＰ４において中央処理ユニット３は、被写体の動画撮影中にスチル撮影したときに生成されたフレーム画像データＦに付加しているフレーム画像表示管理時刻を静止画像表示管理時刻Ｔ１として検出し、次のステップＳＰ５に移る。

ステップＳＰ５において中央処理ユニット３は、静止画像表示管理時刻Ｔ１と識別情報とを含む第１の存在通知データＣＤを生成して動画像エンコーダ１１に送出する。これにより、当該動画像エンコーダ１１により、ＭＰＥＧ-２に従い第１の存在通知データＣＤを所定単位毎に順次圧縮符号化することで第１の存在通知プライベートストリームＣＳを生成し、次のステップＳＰ６に移る。

ステップＳＰ６において中央処理ユニット３は、静止画像表示管理時刻Ｔ１を通知開始時刻とすると共に、静止画像表示管理時刻Ｔ１から所定時間経過したフレーム画像表示管理時刻を通知終了時刻Ｔ２として検出する。また中央処理ユニット３は、通知開始時刻、通知終了時刻Ｔ２及び通知画像データを含む第２の存在通知データＮＤを生成して動画像エンコーダ１１に送出することにより、当該動画像エンコーダ１１により、ＭＰＥＧ２に従い第２の存在通知データＮＤを所定単位毎に順次圧縮符号化して第２の存在通知プライベートストリームＮＳを生成し、次のステップＳＰ７に移る。

ステップＳＰ７において中央処理ユニット３は、動画像エンコーダ１１からパケットデータ単位で与えられる動画像ストリームＭＳ及び音声ストリームＶＳと第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳとをパケットデータ単位で時分割多重化することでプログラムストリームＰＳ２を生成し、次のステップＳＰ８に移る。

ステップＳＰ８において中央処理ユニット３は、プログラムストリームＰＳ２を記録再生部８に送出することにより、当該記録再生部８により、光ディスクに対してプログラムストリームＰＳ２を記録し、次のステップＳＰ９に移り、かかる画像並行記録処理手順ＲＴ１を終了する。因みに中央処理ユニット３は、かかる画像並行記録処理手順ＲＴ１を終了すると、引き続き上述した動画像記録処理を実行し、動画撮影停止命令が入力されるまでの間は、その動画撮影中にスチル撮影する毎に画像並行記録処理手順ＲＴ１を実行する。

一方、中央処理ユニット３は、動画像再生命令の入力に応じて被写体の動画撮影中にスチル撮影も同時に行うことで、動画撮影のみを実行して記録したプログラムストリームＰＳ１と、当該動画撮影中に、そのスチル撮影で生成した静止画像データと共に記録していたプログラムストリームＰＳ２とを再生処理するときには、上述した動画像再生処理時と同様にして、記録再生部８により、光ディスクからプログラムストリームＰＳ１及びＰＳ２を読み出す。中央処理ユニット３は、まず図８（Ａ）に示すように、プログラムストリームＰＳ１から動画像ストリームＭＳと音声ストリームＶＳとをパケットデータ単位で順次分離して、動画像デコーダ１４で復号して動画像データＭＤと音声データＶＤとを生成すると、動画像データＭＤに基づくフレーム画像２０を順次フレーム画像単位で表示部１０に表示させると共に、表示部１０におけるフレーム画像２０の表示と同期させてスピーカ部１６から音声データＶＤに基づく音声を出力させる。

そして中央処理ユニット３は、光ディスクからプログラムストリームＰＳ２を読み出して、当該プログラムストリームＰＳ２から動画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離したときには、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知する静止画像存在通知処理を開始する。

中央処理ユニット３は、静止画像存在通知処理時、動画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを動画像デコーダ１４に送出する。動画像デコーダ１４は、このとき、上述した動画像再生処理時と同様に、動画像ストリームＭＳ及び音声ストリームＶＳから動画像データＭＤ及び音声データＶＤを生成して中央処理ユニット３へ送出する。また、動画像デコーダ１４は、第１の存在通知プライベートストリームＣＳをパケットデータ毎に復号して第１の存在通知データＣＤを生成し、当該生成した第１の存在通知データＣＤを中央処理ユニット３に送出する。さらに動画像デコーダ１４は、第２の存在通知プライベートストリームＮＳをパケットデータ毎に復号して第２の存在通知データＮＤを生成し、当該生成した第２の存在通知データＮＤを中央処理ユニット３に送出する。そして中央処理ユニット３は、このとき再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、第１の存在通知データＣＤに含まれる静止画像表示管理時刻Ｔ１とを比較する。

その結果、中央処理ユニット３は、動画像データＭＤの複数のフレーム画像データＦに付加していたフレーム画像表示管理時刻の中で、静止画像表示管理時刻Ｔ１と一致するフレーム画像表示管理時刻を検出すると、当該検出したフレーム画像表示管理時刻を付加していたフレーム画像データＦ以降のフレーム画像データＦと、静止画像表示管理時刻Ｔ１により第１の存在通知データＣＤと対応付けている第２の存在通知データＮＤに含まれる通知画像データとを合成して合成データを生成すると共に、その合成データを元のフレーム画像データＦに付加していたフレーム画像表示管理時刻に従い、表示部１０に送出する。これにより中央処理ユニット３は、図８（Ｂ）に示すように、表示部１０に対し、合成データに基づき、フレーム画像データＦに基づくフレーム画像２０を表示すると共に、そのフレーム画像２０に、通知画像データに基づく通知画像２１を重ねて表示する。これにより中央処理ユニット３は、ユーザに対し、フレーム画像２０上の通知画像２１により、動画撮影中に同一の撮影方向及び略同一のカメラアングルでスチル撮影されて生成された静止画像データが存在することを通知すると共に、当該動画撮影中のどの時点でスチル撮影されたかも合わせて通知する。

また中央処理ユニット３は、このとき再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、第２の存在通知データＮＤに含まれる通知終了時刻Ｔ２とを比較する。その結果、中央処理ユニット３は、かかるフレーム画像表示管理時刻と通知終了時刻Ｔ２とが一致するまでの間は、順次表示を切り替えるフレーム画像２０に通知画像２１を重ねて表示する。そして中央処理ユニット３は、このとき再生処理している動画像データＭＤの複数のフレーム画像データＦに付加していたフレーム画像表示管理時刻と通知終了時刻Ｔ２とが一致すると、当該通知終了時刻Ｔ２と一致したフレーム画像表示管理時刻を付加していたフレーム画像データＦに対する通知画像データの合成を一連の合成の最後として、当該フレーム画像表示管理時刻よりも後のフレーム画像表示管理時刻を付加していたフレーム画像データＦへの通知画像データの合成を行わないようにする。これにより中央処理ユニット３は、図８（Ｃ）に示すように、フレーム画像表示管理時刻と通知終了時刻Ｔ２とが一致した後には、フレーム画像データだけをフレーム画像表示管理時刻に従い表示部１０に順次送出することで、当該表示部１０に対し、フレーム画像データＦに基づくフレーム画像２０のみを表示する。このようにして中央処理ユニット３は、動画撮像中に被写体をスチル撮影して生成した静止画像データが存在することの通知を終了する。

ところで中央処理ユニット３は、静止画像存在通知処理時（すなわち、通知画像の表示により動画撮像中に被写体をスチル撮影して生成した静止画像データが存在することを通知しているとき）、静止画像再生命令が入力されると、記録再生部８による光ディスクからのプログラムストリームＰＳ２の読み出しを一時停止することで、表示部１０に対するフレーム画像２０及び通知画像２１の表示を停止する。そして中央処理ユニット３は、第１の存在通知データＣＤに含まれる識別情報を用いて、記録再生部８により光ディスクからその識別情報に対応する静止画像符号化データを読み出して静止画像デコーダ９に送出する。従って静止画像デコーダ９は、静止画像符号化データを復号して静止画像データを生成し、当該生成した静止画像データを中央処理ユニット３に送出する。これにより中央処理ユニット３は、静止画像データを表示部１０に送出して静止画像データに基づく静止画像を表示させる。すなわち中央処理ユニット３は、動画像データの再生処理の途中において、動画撮影していた一場面を、その動画撮影と同一の撮影方向及び略同一のカメラアングルでスチル撮影して生成した高解像度な静止画像として見せることができる。

そして中央処理ユニット３は、例えば操作キーに対する操作に応じて操作部４からフレーム画像２０の表示を再開する動画像再生再開命令が入力されると、表示部１０に対する静止画像の表示を終了すると共に、一時停止していたプログラムストリームＰＳ２の読み出しを再開することで、フレーム画像２０の表示を停止していた時点から再開する。

ここでビデオカメラ１は、動画像再生処理時、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影で生成した静止画像データと共に記録していたプログラムストリームＰＳ２から第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離すると、図９に示す静止画像存在通知処理手順ＲＴ２を開始する。

中央処理ユニット３は、かかる静止画像存在通知処理手順ＲＴ２を開始すると、ステップＳＰ１１において、プログラムストリームＰＳ２から分離した画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを動画像デコーダ１４に送出する。そして当該動画像デコーダ１４により画像ストリームＭＳ及び音声ストリームＶＳを複合すると共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを復号して動画像データＭＤ及び音声データＶＤと第１の存在通知データＣＤ及び第２の存在通知データＮＤとを生成し、次のステップＳＰ１２に移る。

ステップＳＰ１２において中央処理ユニット３は、このとき再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、第１の存在通知データＣＤに含まれる静止画像表示管理時刻Ｔ１を比較して、いずれかのフレーム画像データＦに付加していたフレーム画像表示管理時刻と、静止画像表示管理時刻Ｔ１とが一致すると、次のステップＳＰ１３に移る。

ステップＳＰ１３において中央処理ユニット３は、静止画像表示管理時刻Ｔ１と一致したフレーム画像表示管理時刻を付加していたフレーム画像データＦ以降の当該フレーム画像データＦと、第２の存在通知データＮＤに含まれる通知画像データとを合成して合成データの生成を開始する。そして中央処理ユニット３は、合成データをフレーム画像表示管理時刻に従い表示部１０に送出することにより、フレーム画像２０に通知画像２１を重ねて表示し、その結果、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知する。また中央処理ユニット３は、このとき再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、第２の存在通知データＮＤに含まれる通知終了時刻Ｔ２との比較を開始して、次のステップＳＰ１４に移る。

ステップＳＰ１４において中央処理ユニット３は、静止画像再生命令が入力されたか否かを判別する。このステップＳＰ１４において否定結果が得られると、このことは、ユーザにより動画撮影中に被写体をスチル撮影して生成した静止画像を表示するようには要求されておらず、その動画撮影によって生成した動画像を継続して表示するように要求されていることを表している。従って中央処理ユニット３は、このときステップＳＰ１５に移る。

ステップＳＰ１５において中央処理ユニット３は、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することの通知を終了するか否かを判別する。このステップＳＰ１５において否定結果が得られると、このことは、未だ通知終了時刻Ｔ２と一致する静止画像表示管理時刻Ｔ１を付加していたフレーム画像データＦに基づくフレーム画像２０の表示に到達してはいないことを表している。従ってこのとき中央処理ユニット３は、ステップＳＰ１４に戻る。これにより中央処理ユニット３は、このステップＳＰ１４又はステップＳＰ１５において肯定結果が得られるまでの間は、ステップＳＰ１４及びステップＳＰ１５の処理を繰り返し実行することで、動画撮影中にスチル撮影により生成された静止画像データが存在することをユーザに通知し続ける。そしてステップＳＰ１５において肯定結果が得られると、このことは、通知終了時刻Ｔ２と、再生処理中のフレーム画像データＦに付加していたフレーム画像表示管理時刻とが一致したことで、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することの通知を終了することを表しており、このとき中央処理ユニット３は、次のステップＳＰ１６に移り、かかる静止画像存在通知処理手順ＲＴ２を終了する。

これに対し、ステップＳＰ１４で肯定結果が得られると、このことは、動画撮影中にスチル撮影により生成された静止画像データに基づく静止画像の表示が要求されたことを表している。従って中央処理ユニット３は、このときステップＳＰ１７に移る。

ステップＳＰ１７において中央処理ユニット３は、記録再生部８による光ディスクからのプログラムストリームＰＳ２の読み出しを一時停止することで、表示部１０に対するフレーム画像２０及び通知画像２１の表示を停止し、次のステップＳＰ１８に移る。

ステップＳＰ１８において中央処理ユニット３は、第１の存在通知データＣＤに含まれる識別情報に応じて、記録再生部８により光ディスクから該当する静止画像符号化データを読み出して静止画像デコーダ９に送出することにより、当該静止画像デコーダ９により、静止画像符号化データを復号して静止画像データを生成し、次のステップＳＰ１９に移る。

ステップＳＰ１９において中央処理ユニット３は、静止画像データを表示部１０に送出して、当該静止画像データに基づく静止画像を表示し、次のステップＳＰ２０に移る。

ステップＳＰ２０において中央処理ユニット３は、表示部１０に対する静止画像の表示の終了が要求されることを待ち受け、かかる表示の終了が要求されると、これに応じて表示部１０に対する静止画像の表示を終了すると共に、一時停止していたプログラムストリームＰＳ２の読み出しを再開することで、フレーム画像２０の表示を再開してステップＳＰ１６に移り、かかる静止画像存在通知処理手順ＲＴ２を終了する。

以上の構成においてビデオカメラ１は、動画撮影中にスチル撮影されると、そのスチル撮影により生成された静止画像データを圧縮符号化して静止画像符号化データを生成し、当該生成した静止画像符号化データを記録再生部８により光ディスクに記録する。このときビデオカメラ１は、かかる動画撮影により生成されている動画像データＭＤを取り込みながら、フレーム画像データＦにフレーム画像表示管理時刻を付加するようにして、スチル撮影されたときに生成されたフレーム画像データＦに付加したフレーム画像表示管理時刻を静止画像表示管理時刻Ｔ１として検出すると共に、静止画像符号化データを識別する識別情報を生成し、これら静止画像表示管理時刻Ｔ１と識別情報とを含む第１の存在通知データＣＤを生成する。またビデオカメラ１は、静止画像表示管理時刻Ｔ１を通知開始時刻とすると共に、動画像データＭＤのフレーム画像データＦに付加しているフレーム画像表示管理時刻のうち、静止画像表示管理時刻Ｔ１から所定時間経過したフレーム画像表示管理時刻を通知終了時刻Ｔ２として検出し、これら通知開始時刻及び通知終了時刻Ｔ２と通知画像データとを共に含む第２の存在通知データＮＤを生成する。

そしてビデオカメラ１は、第１の存在通知データＣＤを所定単位毎に順次圧縮符号化することで第１の存在通知プライベートストリームＣＳを生成すると共に、第２の存在通知データＮＤも所定単位毎に順次圧縮符号化することで第２の存在通知プライベートストリームＮＳを生成する。そしてビデオカメラ１は、被写体の動画撮影に応じて生成した動画像ストリームＭＳ及び音声ストリームＶＳをパケット単位で時分割多重化しつつ、その動画撮影中にスチル撮影したときには、動画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳをパケット単位で時分割多重化することでプログラムストリームＰＳ１及びＰＳ２を生成し、これを光ディスクに記録する。

一方ビデオカメラ１は、動画撮影中にスチル撮影していたことに応じて光ディスクに記録していたプログラムストリームＰＳ１及びＰＳ２を当該光ディスクから読み出した場合、プログラムストリームＰＳ１及びＰＳ２から動画像ストリームＭＳ及び音声ストリームＶＳのみを分離しているときには、これら動画像ストリームＭＳ及び音声ストリームＶＳを復号することで動画像及び音声を出力してユーザに視聴させる。これに対してビデオカメラ１は、プログラムストリームＰＳ１及びＰＳ２から動画像ストリームＭＳ及び音声ストリームＶＳと共に、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離したときには、動画像ストリームＭＳを復号して得られる動画像データＭＤの複数のフレーム画像データＦに付加されたフレーム画像表示管理時刻と、第１の存在通知プライベートストリームＣＳを復号して生成される第１の存在通知データＣＤに含まれる静止画像表示管理時刻Ｔ１とを比較するようにして、いずれかのフレーム画像データＦに付加されたフレーム画像表示管理時刻と静止画像表示管理時刻Ｔ１とが一致したとき、当該静止画像表示管理時刻Ｔ１と一致したフレーム画像表示管理時刻を付加していたフレーム画像データＦに対し、第２の存在通知プライベートストリームＮＳを復号して得られる第２の存在通知データＮＤに含まれる通知画像データを合成して表示部１０に送出する。このようにしてビデオカメラ１は、表示部１０に対し、フレーム画像２０と共に通知画像２１を表示して、ユーザに動画撮影中にスチル撮影により生成された静止画像データが存在することを通知する。

従ってビデオカメラ１は、動画撮影中にスチル撮影され、これに応じて記録していたプログラムストリームＰＳ１及びＰＳ２を再生処理する場合、プログラムストリームＰＳ１から動画像ストリームＭＳ及び音声ストリームＶＳのみを分離している間は、静止画像存在通知処理を何ら実行せず、プログラムストリームＰＳ２から第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離したときにのみ、これら第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳに基づき、静止画像存在通知処理を実行することができる。

以上の構成によればビデオカメラ１は、動画撮影により生成された動画像データＭＤを構成する複数のフレーム画像データＦに対し、フレーム画像表示管理時刻を付加するようにして、その動画像データＭＤを圧縮符号化してプログラムストリームＰＳ１を生成し、かかる動画撮影のみを実行している間は、そのプログラムストリームＰＳ１を記録し、当該動画撮影中にスチル撮影されると、スチル撮影されたときに生成されたフレーム画像データＦに付加したフレーム画像表示管理時刻を、静止画像表示管理時刻Ｔ１として検出すると共に、当該検出した静止画像表示管理時刻Ｔ１を用いて第１の存在通知データＣＤ及び第２の存在通知データＮＤを生成して圧縮符号化することにより、第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを生成し、これら第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを動画像ストリームＭＳと共にパケットデータ単位で時分割多重化してプログラムストリームＰＳ２を生成し、記録媒体に記録するようにした。これによりビデオカメラ１は、動画撮影中にスチル撮影も同時に行うことで、そのスチル撮影により生成した静止画像データと共に記録していたプログラムストリームＰＳ２を再生するとき、当該プログラムストリームＰＳ２から第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳを分離したときにのみ、当該第１の存在通知プライベートストリームＣＳ及び第２の存在通知プライベートストリームＮＳに基づいて、静止画像存在通知処理を実行することができ、かくして、動画撮影中にスチル撮影を行うことで、その結果得られた静止画像データと共に記録していたプログラムストリームＰＳ２の再生処理時の処理負荷を低減することができる。

またビデオカメラ１は、動画撮影中にスチル撮影されると、当該スチル撮影されたときに生成されたフレーム画像データＦに付加されたフレーム画像表示管理時刻を、静止画像表示管理時刻Ｔ１として検出し、その静止画像表示管理時刻Ｔ１に基づき、通知終了時刻Ｔ２を検出すると共に、静止画像表示管理時刻Ｔ１でなる通知開始時刻及び通知終了時刻Ｔ２と共に通知画像データを含む第２の存在通知プライベートストリームＮＳを生成するようにした。これによりビデオカメラ１は、動画撮影中にスチル撮影により生成した静止画像データと共に記録していたプログラムストリームＰＳ２を再生するとき、当該プログラムストリームＰＳ２から第２の存在通知プライベートストリームＮＳを分離したときにのみ、当該第２の存在通知プライベートストリームＮＳを用いてフレーム画像２０に通知画像２１を重ねて表示するようにして、動画撮影中にスチル撮影により生成された静止画像データが存在することを通知することができると共に、当該動画撮影中のおおよそどの時点にスチル撮影が実行されたかも通知することができる。

さらにビデオカメラ１は、動画撮影中にスチル撮影されると、当該スチル撮影されたときに生成されたフレーム画像データＦに付加したフレーム画像表示管理時刻を、静止画像表示管理時刻Ｔ１とすると共に、その静止画像表示管理時刻Ｔ１と、静止画像データを識別する識別情報とを含む第１の存在通知プライベートストリームＣＳを生成するようにした。これによりビデオカメラ１は、動画撮影中にスチル撮影により生成した静止画像データと共に記録していたプログラムストリームＰＳ２を再生するとき、当該プログラムストリームＰＳ２から第１の存在通知プライベートストリームＣＳを分離したときにのみ、当該第１の存在通知プライベートストリームＣＳを用いて、動画撮影中のスチル撮影により生成した静止画像データを識別して光ディスクから読み出すことができる。

なお上述した実施の形態においては、静止画像データをＪＰＥＧに従って圧縮符号化する場合について述べたが、本発明はこれに限らず、静止画像データをＧＩＦ（Graphic Interchange Format）と呼ばれる圧縮符号化方式で圧縮符号化するようにしても良いし、静止画像データを圧縮符号化せずに記録するようにしても良い。

また上述した実施の形態においては、動画像データＭＤ、音声データＶＤ、第１の存在通知データＣＤ及び第２の存在通知データＮＤを所定単位毎にＭＰＥＧ２に従って圧縮符号化するようにした場合について述べたが、本発明はこれに限らず、ＭＰＥＧ１やＭＰＥＧ４等のように、この他種々の汎用的な圧縮符号化方法に従って圧縮符号化するようにしても良い。この場合、動画像データＭＤ、音声データＶＤ、第１の存在通知データＣＤ及び第２の存在通知データＮＤをそれぞれ所定単位毎に圧縮符号化して生成した各ストリームをパケットデータ単位で時分割多重化して生成したプログラムストリームＰＳ１及びＰＳ２は、汎用的な圧縮符号化方法に従って圧縮符号化されていることにより、他の多くの民生機器で再生することができる。因みに、これら動画像データＭＤ、音声データＶＤ、第１の存在通知データＣＤ及び第２の存在通知データＮＤについては、特に圧縮符号化せずに所定単位毎に時分割多重化するようにしても良い。

さらに上述した実施の形態においては、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知するために通知画像データを用いるようにした場合について述べたが、本発明はこれに限らず、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知することができれば、光ディスクに記録している静止画像データに応じたサムネイル画像や、音声を出力させる通知音声データ、ＬＥＤを発光させるＬＥＤ発光データ等、この他種々の通知データを用いるようにしても良い。

さらに上述した実施の形態においては、静止画像存在通知処理時、表示部１０に静止画像を表示しているときに、動画像再生再開命令が入力されると、表示部１０に対する静止画像の表示を終了すると共に、フレーム画像２０の表示を再開するようにした場合について述べたが、本発明はこれに限らず、動画像再生再開命令が入力されなくても、静止画像の表示開始時点から所定の時間が経過した時点に、自動で表示部１０に対する静止画像の表示を終了すると共に、フレーム画像２０の表示を再開するようにしても良い。因みにフレーム画像２０の表示を再開するときには、フレーム画像２０を最初から表示させるようにしても良いし、所定の時間だけ巻き戻した時点から表示させるようにしても良い。

さらに上述した実施の形態においては、静止画像存在通知処理時、再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、静止画像表示管理時刻Ｔ１とが一致したとき、表示部１０においてフレーム画像２０に通知画像２１を重ねて表示して、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知する場合について述べたが、本発明はこれに限らず、動画像データＭＤの再生処理中にフレーム画像表示管理時刻と静止画像表示管理時刻Ｔ１とが一致する毎に、表示部１０に対しフレーム画像２０に替えて静止画像を自動的に表示しても良い。因みに、静止画像の表示時間を予め設定しておき、動画像データＭＤの再生処理中に、フレーム画像２０から静止画像への表示の切り替えと、当該静止画像からフレーム画像２０への表示の戻しとを自動で行うようにしても良い。また、このようなフレーム画像から静止画像への表示の切り替えは、再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、静止画像表示管理時刻Ｔ１との一致を起点としてワイプやディゾルブ等のエフェクト処理を開始するようにし、そのエフェクト処理を介在させた表示の切り替えとしても良い。

さらに上述した実施の形態においては、静止画像表示管理時刻Ｔ１及び識別情報を含む第１の存在通知データＣＤを生成すると共に、静止画像表示管理時刻Ｔ１、通知終了時刻Ｔ２及び通知画像データを含む第２の存在通知データＮＤを生成するようにした場合について述べたが、本発明はこれに限らず、静止画像表示管理時刻Ｔ１、通知終了時刻Ｔ２、識別情報及び通知画像データをまとめた一つの存在通知データを生成するようにしても良い。

さらに上述した実施の形態においては、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することの通知を開始する通知開始時刻を、静止画像表示管理時刻Ｔ１とするようにした場合について述べたが、本発明はこれに限らず、通知開始時刻を静止画像表示管理時刻Ｔ１よりも所定時間だけ前に設定しても良い。そして通知開始時刻を静止画像表示管理時刻Ｔ１よりも前にした場合は、静止画像存在通知処理の際、再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と静止画像表示管理時刻Ｔ１とを比較するのではなく、再生処理している動画像データＭＤを構成するフレーム画像データＦに付加していたフレーム画像表示管理時刻と、静止画像表示管理時刻Ｔ１より前の通知開始時刻とを比較することにより、動画像データＭＤの再生処理に合わせて、動画撮影中に被写体をスチル撮影して生成した静止画像データが存在することを通知開始時刻から遅れることなく通知できる。

さらに上述した実施の形態においては、本発明による画像記録装置を、図１乃至図９について上述したビデオカメラ１に適用するようにした場合について述べたが、本発明はこれに限らず、カメラ付携帯電話機やデジタルスチルカメラ、カメラ付パーソナルコンピュータ、カメラ部と分離可能な画像記録装置等のように、この他種々の画像記録装置に広く適用することができる。

さらに上述した実施の形態においては、本発明による画像再生装置を、図１乃至図９について上述したビデオカメラ１に適用するようにした場合について述べたが、本発明はこれに限らず、カメラ付携帯電話機やデジタルスチルカメラ、カメラ付パーソナルコンピュータ、カメラ部と分離可能な画像記録装置、ＤＶＤレコーダ、パーソナルコンピュータ等のように、この他種々の画像再生装置に広く適用することができる。

さらに上述した実施の形態においては、動画撮影中に生成される動画像データを構成する時間的に連続した複数のフレーム画像データに対し、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻を付加する管理時刻付加部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、動画撮影中に生成される動画像データを構成する時間的に連続した複数のフレーム画像データに対し、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻を付加するハードウェア構成の管理時刻付加回路等のように、この他種々の管理時刻付加部を広く適用することができる。

さらに上述した実施の形態においては、動画撮影中に静止画撮影されると、当該静止画撮影されたときに生成されたフレーム画像データに付加されたフレーム画像表示管理時刻を、当該静止画撮影により生成された静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として検出する管理時刻検出部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、動画撮影中に静止画撮影されると、当該静止画撮影されたときに生成されたフレーム画像データに付加されたフレーム画像表示管理時刻を、当該静止画撮影により生成された静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として検出するハードウェア構成の管理時刻検出回路等のように、この他種々の管理時刻検出部を広く適用することができる。

さらに上述した実施の形態においては、静止画像表管理時刻を用いて、動画撮影中に静止画撮影により生成された静止画像データが存在することを示す存在通知データを生成する存在通知データ生成部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、静止画像表管理時刻を用いて、動画撮影中に静止画撮影により生成された静止画像データが存在することを示す存在通知データを生成するハードウェア構成の存在通知データ生成回路等のように、この他種々の存在通知データ生成部を広く適用することができる。

さらに上述した実施の形態においては、動画撮影のみが実行されている間は、フレーム画像データにフレーム画像表示管理時刻が付加された動画像データを所定単位毎に順次取り込み記録データとして出力し、動画撮影中に静止画撮影が実行されたときには、存在通知データを所定単位毎に順次取り込むと共に、動画像データを所定単位毎に順次取り込みながら、所定単位毎の存在通知データと所定単位毎の動画像データとを時分割多重化して記録データとして出力する多重化部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、動画撮影のみが実行されている間は、フレーム画像データにフレーム画像表示管理時刻が付加された動画像データを所定単位毎に順次取り込み記録データとして出力し、動画撮影中に静止画撮影が実行されたときには、存在通知データを所定単位毎に順次取り込むと共に、動画像データを所定単位毎に順次取り込みながら、所定単位毎の存在通知データと所定単位毎の動画像データとを時分割多重化して記録データとして出力するハードウェア構成の多重化回路等のように、この他種々の多重化部を広く適用することができる。

さらに上述した実施の形態においては、記録データを記録する記録媒体として、図１乃至図９について上述した光ディスクを適用するようにした場合について述べたが、本発明はこれに限らず、記録データを記録できるのであれば、ＣＤ（Compact Disc）等の他の光ディスクやビデオテープ、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＦＤ(floppy Disc)等の種々の記憶媒体を広く適用することができる。

さらに上述した実施の形態においては、記録媒体から記録データを読み出す読出部として、図１乃至図９について上述した記録再生部８を適用するようにした場合について述べたが、本発明はこれに限らず、記録媒体から記録データを読み出せるのであれば、外部記録装置であっても良い。

さらに上述した実施の形態においては、読み出された記録データを所定単位毎の動画像データと、所定単位毎の存在通知データとに分離する分離部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、読み出された記録データを所定単位毎の動画像データと、所定単位毎の存在通知データとに分離するハードウェア構成の分離回路等のように、この他種々の分離部を広く適用することができる。

さらに上述した実施の形態においては、記録データから存在通知データが分離されたとき、当該分離された存在通知データに基づき、動画撮影中に静止画撮影により生成された静止画像データが存在することを通知する存在通知処理を実行する通知処理部として、図１乃至図９について上述した中央処理ユニット３を適用するようにした場合について述べたが、本発明はこれに限らず、記録データから存在通知データが分離されたとき、当該分離された存在通知データに基づき、動画撮影中に静止画撮影により生成された静止画像データが存在することを通知する存在通知処理を実行するハードウェア構成の通知処理回路等のように、この他種々の通知処理部を広く適用することができる。

さらに上述した実施の形態においては、静止画像データの存在の通知を管理する通知管理時刻として、図１乃至図９について上述した静止画像表示管理時刻Ｔ１でなる通知開始時刻と、静止画像表示管理時刻Ｔ１よりも後の通知終了時刻Ｔ２とを適用する場合について述べたが、本発明はこれに限らず、通知開始時刻のみを適用するようにしても良い。そして通知開始時刻のみを適用した場合には、タイマーで通知終了時刻を計時する等しても良い。

本発明は、動画撮影中にスチル撮影されると、そのスチル撮影により生成された静止画像データと共に動画像データを記録するビデオカメラ等の画像記録装置や、このように動画撮影中にスチル撮影されて生成された静止画像データと共に記録された動画像データを再生するビデオカメラなどの画像再生装置に利用することができる。

本発明によるビデオカメラの外観構成を示す略線的斜視図である。 ビデオカメラの回路構成を示すブロック図である。 静止画像符号化データの記録の説明に供する略線図である。 各データとフレーム画像表示管理時刻との関係の説明に供する略線図である。 第１の存在通知データの説明に供する略線図である。 ストリームの時分割多重化の説明に供する略線図である。 画像並行記録処理手順を示すフローチャートである。 通知画像の表示の説明に供する略線図である。 静止画像存在通知処理手順を示すフローチャートである。

符号の説明

１……ビデオカメラ、３……中央処理ユニット、８……記録再生部、２０……フレーム画像、２１……通知画像、ＣＤ……対応情報データ、ＣＳ……対応情報プライベートストリーム、Ｆ……フレーム画像データ、ＭＤ……動画像データ、ＭＳ……動画像ストリーム、ＮＤ……通知データ、ＮＳ……通知プライベートストリーム、ＲＴ１……画像並行記録処理手順、ＲＴ２……静止画像存在通知処理手順。

Claims (9)

1. 動画撮影により生成される動画像データと、静止画撮影により生成される静止画像データとを記録する画像記録装置であって、
   上記動画撮影により生成される上記動画像データを構成する時間的に連続した複数のフレーム画像データに対し、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻を付加する管理時刻付加部と、
   上記動画撮影中に上記静止画撮影されると、当該静止画撮影されたときに生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、当該静止画撮影により生成された上記静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として検出する管理時刻検出部と、
   上記静止画像表示管理時刻を用いて、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを示す存在通知データを生成する存在通知データ生成部と、
   上記動画撮影のみが実行されている間は、上記フレーム画像データに上記フレーム画像表示管理時刻が付加された上記動画像データを所定単位毎に順次取り込み記録データとして出力し、上記動画撮影中に上記静止画撮影が実行されたときには、上記存在通知データを所定単位毎に順次取り込むと共に、上記動画像データを上記所定単位毎に順次取り込みながら、上記所定単位毎の上記存在通知データと上記所定単位毎の上記動画像データとを時分割多重化して上記記録データとして出力する多重化部と
   上記記録データを記録媒体に記録する記録部と
   を具えることを特徴とする画像記録装置。
2. 上記存在通知データ生成部は、
   上記静止画像表示管理時刻と共に、上記動画撮影中の上記静止画撮影により生成された上記静止画像データを識別する識別情報を含む上記存在通知データを生成する
   ことを特徴とする請求項１に記載の画像記録装置。
3. 上記管理時刻検出部は、
   上記静止画像表示管理時刻に基づき、上記静止画撮影された際に生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、上記動画撮影中に上記静止画撮影により生成された上記静止画像データの存在の通知を管理する通知管理時刻として検出し、
   上記存在通知データ生成部は、
   上記通知管理時刻と共に、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを通知するための通知情報を含む上記存在通知データを生成する
   ことを特徴とする請求項１に記載の画像記録装置。
4. 上記記録媒体から上記記録データを読み出す読出部と、
   上記読み出された上記記録データを上記所定単位毎の上記動画像データと、上記所定単位毎の上記存在通知データとに分離する分離部と
   上記記録データから上記存在通知データが分離されたとき、当該分離された上記存在通知データに基づき、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを通知する存在通知処理を実行する通知処理部と
   を具えることを特徴とする請求項１に記載の画像記録装置。
5. 動画撮影により生成されて記録された動画像データと、静止画撮影により生成されて記録された静止画像データとを再生する画像再生装置であって、
   上記動画撮影のみが実行されていた間は、当該動画撮影により生成された時間的に連続する複数のフレーム画像データに、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻が付加されて構成された動画像データが順次所定単位毎に記録データとして記録され、上記動画撮影中に上記静止画撮影されると、当該静止画撮影されたときに生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、当該静止画撮影により生成された上記静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として用いて生成された、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを示す存在通知データと上記動画像データとを所定単位毎に順次時分割多重化して上記記録データとして記録された記録媒体から当該記録データを読み出す読出部と、
   上記読み出された上記記録データを上記所定単位毎の上記動画像データと、上記所定単位毎の上記存在通知データとに分離する分離部と、
   上記記録データから上記存在通知データが分離されたとき、当該分離された上記存在通知データに基づき、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを通知する存在通知処理を実行する通知処理部と
   を具えることを特徴とする画像再生装置。
6. 上記読出部は、
   上記静止画像表示管理時刻と共に上記静止画像データを識別する識別情報を含む上記存在通知データと上記動画像データとを所定単位毎に順次時分割多重化して上記記録データとして記録された記録媒体から当該記録データを読み出し、
   上記通知処理部は、
   上記記録データから上記存在通知データが分離されたとき、当該分離された上記存在通知データに基づき上記存在通知処理として、当該存在通知データに含まれる上記識別情報に対応する上記静止画像データを再生すると共に、上記静止画像表示管理時刻としての上記フレーム画像表示管理時刻が付加された上記フレーム画像データに替えて上記静止画像データを表示用に出力する
   ことを特徴とする請求項５に記載の画像再生装置。
7. 上記読出部は、
   上記静止画像表示管理時刻を用いて検出された、上記静止画撮影された際に生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、上記動画撮影中に上記静止画撮影により生成された上記静止画像データの存在の通知を管理する通知管理時刻として含むと共に、当該静止画像データが存在することを通知するための通知情報を含む上記存在通知データと上記動画像データとを所定単位毎に順次時分割多重化して上記記録データとして記録された記録媒体から当該記録データを読み出し、
   上記通知処理部は、
   上記記録データから上記存在通知データが分離されたとき、当該分離された上記存在通知データに基づき上記存在通知処理として、当該存在通知データに含まれる通知管理時刻に従い上記通知情報を利用して、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを通知する
   ことを特徴とする請求項５に記載の画像再生装置。
8. 動画撮影により生成される動画像データと、静止画撮影により生成される静止画像データとを記録する画像記録方法であって、
   上記動画撮影により生成される上記動画像データを構成する時間的に連続した複数のフレーム画像データに対し、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻を付加する管理時刻付加ステップと、
   上記動画撮影中に上記静止画撮影されると、当該静止画撮影されたときに生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、当該静止画撮影により生成された上記静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として検出する管理時刻検出ステップと、
   上記静止画像表示管理時刻を用いて、上記動画撮影中の上記静止画撮影により生成された上記静止画像データが存在することを示す存在通知データを生成する存在通知データ生成ステップと、
   上記動画撮影のみが実行されている間は、上記フレーム画像データに上記フレーム画像表示管理時刻が付加された上記動画像データを所定単位毎に順次取り込み記録データとして記録媒体に記録し、上記動画撮影中に上記静止画撮影が実行されたときには、上記存在通知データを所定単位毎に順次取り込むと共に、上記動画像データを上記所定単位毎に順次取り込みながら、上記所定単位毎の上記存在通知データと上記所定単位毎の上記動画像データとを時分割多重化して上記記録データとして上記記録媒体に記録する多重化記録ステップと
   を具えることを特徴とする画像記録方法。
9. 動画撮影により生成されて記録された動画像データと、静止画撮影により生成されて記録された静止画像データとを再生する画像再生方法であって、
   上記動画撮影のみが実行されていた間は、当該動画撮影により生成された時間的に連続する複数のフレーム画像データに、当該フレーム画像データに基づくフレーム画像の表示管理用のフレーム画像表示管理時刻が付加されて構成された動画像データが順次所定単位毎に記録データとして記録され、上記動画撮影中に上記静止画撮影されると、当該静止画撮影されたときに生成された上記フレーム画像データに付加された上記フレーム画像表示管理時刻を、当該静止画撮影により生成された上記静止画像データに基づく静止画像の表示管理用の静止画像表示管理時刻として用いて生成された、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを示す存在通知データと上記動画像データとを所定単位毎に順次時分割多重化して上記記録データとして記録された記録媒体から当該記録データを読み出す読出ステップと、
   上記読み出された上記記録データを上記所定単位毎の上記動画像データと、上記所定単位毎の上記存在通知データとに分離する分離ステップと、
   上記記録データから上記存在通知データが分離されたとき、当該分離された上記存在通知データに基づき、上記動画撮影中に上記静止画撮影により生成された上記静止画像データが存在することを通知する存在通知処理を実行する通知処理ステップと
   を具えることを特徴とする画像再生方法。

Images