JP2008072718A - 符号化記録装置 - Google Patents

Abstract

【課題】一時停止の前後においてもビデオバッファが破綻せず、かつ、連続的に再生できるように記録することができる符号化記録装置を提供する。
【解決手段】映像信号を符号化してビデオデータを生成するビデオデータ生成手段、音声信号を符号化してオーディオデータを生成するオーディオデータ生成手段、ビデオデータとオーディオデータとを多重化してシステムストリームを生成し記録する多重記録手段、記録動作中に一時停止の指示を受付けた場合に生成しているシステムストリームを完結させ記録するように制御する一時停止制御手段、一時停止中に一時停止解除の指示を受付けた場合に新たなシステムストリームの生成を開始するように制御する一時停止解除制御手段を備え、ビデオデータ生成手段は画像間の時間相関特性を用いて符号化してビデオデータを生成し一時停止制御手段の制御を受けて個々の画像間の参照関係を完結させて一時停止する。
【選択図】図１１

Description

本発明は、動画像データに時間相関特性を用いた圧縮符号化を施し、音声データと多重して記録することができる符号化記録装置及び符号化記録方法に関し、特に、一時停止機能を充実させる技術に関する。

近年、情報のデジタル化が進んでいる。デジタル化された情報は時間とともに劣化することがなく、また比較的取り扱い易いので、特に音声（ｓｏｕｎｄ ａｎｄ ｖｏｉｃｅ）や画像（ｐｉｃｔｕｒｅ）のデジタル化が著しく進んでいる（以下、デジタル化された音声と画像とを「ＡＶデータ（ａｕｄｉｏ‐ｖｉｓｕａｌ）データ」と記す）。
ＡＶデータを、効率的に記録するためのデータ圧縮方法の１つにＭＰＥＧ（この明細書中ではＭＰＥＧ及びＭＰＥＧ２を含むのもとする）と呼ばれる国際標準規格がある。

ＭＰＥＧは、画像データ圧縮において、従来から一般的であった空間周波数特性を用いたデータ圧縮方法（Discrete Cosine Transform、略してＤＣＴ）に加え、さらに画像間の時間相関特性を用いたデータ圧縮方法を取り入れている。
ＭＰＥＧにおける画像間の時間相関特性を用いたデータ圧縮方法は、所定の１画像を過去及び未来に再生する類似する画像との差分で表すことで高い圧縮率を得ることができるという利点がある。しかしながら、再生順序とデコード順序が異なってしまうので、記録側においては、参照される画像データ（ＭＰＥＧでは「Ｉピクチャ（フレーム内符号化画像）」及び「Ｐピクチャ（フレーム間順方向予想符号化画像）」という）を、参照する画像データ（ＭＰＥＧでは「Ｂピクチャ（双方向予想符号化画像）」という）より先に記録しなければならず、また再生側では、参照される画像データを、参照する画像データより先にデコードして保持しなければならないという難点がある。

動画像データは、単位時間毎の静止画像データ（以下「ビデオフレーム」という）の集合なので、類似する画像が多数存在する場合が多い。ＭＰＥＧは類似する画像が多い程圧縮効率が良くなるので、動画像データの圧縮に適している。
またＭＰＥＧでは、画像単位で圧縮率を変え符号量の割り当てを変えることができるので、ＭＰＥＧエンコーダは、画像の複雑さに応じて動的に符号量を割り当てることにより効率的なデータ圧縮を可能にしている。

ここで、音声データは動画像データに比べてデータ量が小さいので、通常動画像データとは異なる圧縮方法が用いられる。
例えばＭＰＥＧを使用してＡＶデータをＤＶＤ−ＲＡＭに記録するＤＶＤ録画装置では、音声データを、ＭＰＥＧオーディオ、及び、ドルビーディジタル（AC-3）の何れかにより圧縮するか、あるいは圧縮しない（ＬＰＣＭ）かを使用者が選択することができ、選択された圧縮方法に基づいて音声データを符号化し、動画像データをＭＰＥＧにより圧縮符号化して、ＭＰＥＧシステムと呼ばれる方式でそれらを多重して、一本のＭＰＥＧシステムストリームを生成して記録する。

ＭＰＥＧシステムでは、圧縮符号化された動画像データ（以下、「ビデオデータ」と記す）及び符号化された音声データ（以下、「オーディオデータ」と記す）は、所定のサイズのパケットにそれぞれ分割されて、時分割多重される。ＭＰＥＧシステムは階層構造を備え、１個以上のパケットを１パックとする階層を持つ。例えばＤＶＤ−ＲＡＭでは、１個のパックは１個のパケットから構成されている。ここでは説明の簡略化のため、ＤＶＤ−ＲＡＭの場合に準じて、１個のパックは１個のパケットから構成されるものとして説明する。

図１は、ＭＰＥＧシステムにおけるパック及びパケットの構成を示す図である。ここでパケットのサイズは２ＫＢである。
各パケットは、パックヘッダ１１、パケットヘッダ１２、ペイロード１３を備える。
パックヘッダ１１は、デコーダのビデオバッファ又はオーデイオバッファに、そのパックを保持させる時刻を示すＳＣＲ（System Clock Reference）を含む。

パケットヘッダ１２は、ペイロード１３の内容を識別するためのストリームＩＤ（stream ID）、デコード時刻を示すＤＴＳ（Decording Time Stamp）、再生時刻を示すＰＴＳ（Presentation Time Stamp）を含む。なお、オーディオデータではデコードと再生がほぼ同時に行われるので、ＤＴＳは省略されている。
ペイロード１３は、ＡＶデータそのものである。

ここで、オーディオデータでは、通常１個のオーディオフレーム分のデータが１個のパケットに収められるので、ＭＰＥＧデコーダは容量の大きなオーディオバッファを必要としない。しかしながら、ビデオデータでは、ビデオフレーム毎のデータ量のばらつきが極端に大きく、１個のビデオフレーム分のデータが複数のパケットにまたがる場合もあるので、ＭＰＥＧデコーダは少なくとも最長のビデオフレーム分のデータの容量を持つビデオバッファを備えなければならない。

また、ＭＰＥＧシステムストリームでは、パケットがＳＣＲの早いものから順に並べられる。
図２は、ＭＰＥＧの標準デコーダモデルの概略を示す図である。
図２に示すＭＰＥＧデコーダは、規準時刻を計時するＳＴＣ（System Time Clock）２１、多重化を解いてオーディオデータのパケットとビデオデータのパケットとをストリームＩＤに基づいて振り分けるデマルチプレクサ２２、ビデオデータを一時的に蓄積するビデオバッファ２３、ビデオデータをデコードするビデオデコーダ２４、参照される画像データを一時的に格納するリオーダバッファ２５、画像データの出力順を調整するスイッチ２６、オーディオデータを一時的に蓄積するオーディオバッファ２７、及び、オーディオデータをデコードするオーディオデコーダ２８を備える。

以下に、従来のＭＰＥＧデコーダがＭＰＥＧシステムストリームをデコードする動作を説明する。
ＳＣＲがＳＴＣ２１が計時する規準時刻と一致するパックがＭＰＥＧシステムストリームから順次抽出されてデマルチプレクサ２２に送られる。デマルチプレクサ２２はストリームＩＤに基づいてパケット内のペイロードがビデオデータであるかオーディオデータであるかを判断して、それぞれのパケットを振り分ける。ビデオバッファ２３はデマルチプレクサ２２が振り分けたビデオデータのパケット中のペイロードを蓄積し、対応するＤＴＳ、ＰＴＳを管理する。ビデオデコーダ２４は、ＤＴＳが規準時刻と一致するビデオデータの１ビデオフレーム分を読み出してデコードする。ここで参照されるビデオデータ（Ｉピクチャ及びＰピクチャ）はデコード後にはリオーダバッファ２５に一時的に格納されて、ＰＴＳに応じてスイッチ２６が切り替わって出力される。参照するビデオデータ（Ｂピクチャ）はデコードされてすぐに出力される。

オーディオバッファ２７はデマルチプレクサ２２が振り分けたオーディオデータのパケット中のペイロードを蓄積し、ＰＴＳを管理する（オーディオデータではＤＴＳは省略されているので無い）。オーディオデコーダ２８は、ＰＴＳが規準時刻と一致するオーディオデータの１オーディオフレーム分を読み出してデコードする。
ＭＰＥＧデコーダは、一旦再生を開始すると、画像を遅滞なく出力しなければならないので、スタート時においては、一旦ビデオバッファ２３を満杯にした時点から画像のデコードを開始するように規格で定められている。従って、ビデオバッファ２３にパケットの蓄積を始めてから、実際にデコードが始まるまでにタイムラグが生じる（このタイムラグをＭＰＥＧの規格では「ｖｂｖ＿ｄｅｌａｙ」という）。また、規格では、ビデオバッファの容量は２２４ＫＢと定められ、さらに、ビデオバッファに２２４ＫＢ以上のデータを記憶させてはならず、且つ、個々のデータを１秒以上保持させてはならないと定められている。

そこでＭＰＥＧエンコーダが、ビデオバッファの蓄積量の遷移をＭＰＥＧの規格通りに制御するために、録画時にＳＣＲとＤＴＳとを計画的に定めているのである。
以上のように、ビデオデータは再生される時刻よりも幾分早い時刻にビデオバッファに保持させなければならない。これに対して、オーディオデータは、再生される時刻の少し前にオーディオバッファに保持させればよい。従って、同じ時刻に再生されるビデオデータとオーディオデータでは、ビデオデータが先行している状態で多重化される。
特開平９−２０５６１８号公報

ここで、番組録画においてＣＭをカットする場合やデジタルビデオカメラで飛び飛びに録画する場合等のように、時間的に連続しない画像を録画する際に、録画処理を完全に終了してから新たに録画処理を開始すると、新たに録画処理を開始した箇所で、再生時においてｖｂｖ＿ｄｅｌａｙが発生し、連続的に再生できないという問題がある。
かといって、新たに録画処理を開始した時にｖｂｖ＿ｄｅｌａｙを発生させないように、時間的に連続しないビデオデータのパケットを不用意につなぎ合わせると、デコーダのビデオバッファの規格を守れず再生時にビデオバッファが破綻してエラーとなる恐れがある。

図３（ａ）は時間的に連続するビデオデータを再生する際のデコーダのビデオバッファの蓄積量の遷移を示す図である。
図３（ｂ）は、時間的に連続しないパケットが不用意につなぎ合わされたビデオデータを再生する際のビデオバッファの蓄積量の遷移を示す図である。
図３（ｂ）では、図３（ａ）に示す時刻ｔ１〜ｔ２間を廃棄して、時間的に連続しない時刻ｔ１以前のパケットと時刻ｔ２以後のパケットとを不用意につなぎ合せてあるので、図３（ｂ）に示す時刻ｔ３でビデオバッファがオーバーフローしている。

また、画像と音声を時間的に一致させる為にオーディオデータのパケットはビデオデータのパケットよりもｖｂｖ＿ｄｅｌａｙ分だけ遅れて多重されているので、ＭＰＥＧシステムストリームにおいて一定範囲のオーディオデータ及びビデオデータのパケットを廃棄して不用意につなぎ合わせると、つなぎ目の直前の画像に対応する音声が廃棄され、代りに廃棄した画像に対応する音声が残ってしまう。

また、オーディオフレームとビデオフレームとは、一般にフレーム発生周期が異なっているので、フレーム単位で一定範囲のオーディオフレームとビデオフレームとを削除すれば、削除部分の後で映像と音声とがずれる、いわゆる「リップシンクのずれ」が発生する恐れがある。例えばＤＶＤ−ＲＡＭでオーディオデータをドルビーディジタル（AC-3）により圧縮する場合は、オーディオフレームのフレーム発生周期は32msecであり、ビデオフレームのフレーム発生周期は33.3667msecであるので、フレーム単位で一定範囲のオーディオフレームとビデオフレームとを削除すれば、ほぼ確実にリップシンクのずれが発生する。

また、削除前後のオーディオフレーム間には類似性が全くない場合が多く、一定範囲のオーディオフレームが削除されることによって、類似性のないオーディオフレームが続けてオーディオデコーダに入力され、「ポツ音」と呼ばれる耳障りな雑音が発生する。
以上のように、ＭＰＥＧにおいては、パケットやフレームを不用意に削除してつなぎ合わせることはできない。

そこで、本発明はかかる問題点に鑑みてなされたものであり、時間的に連続しないＡＶデータを、前記ビデオバッファが破綻しないように連続的に記録することができる符号化記録装置、符号化記録方法、及び、符号化記録方法をコンピュータに実行させるプログラムを記録する記録媒体を提供することを第１の目的とする。
また、時間的に連続しないＡＶデータを、再生時において、音声のずれ、リップシンクのずれ、及び、ポツ音等の、音声に関するトラブルが発生しないように記録することができる符号化記録装置、符号化記録方法、及び、符号化記録方法をコンピュータに実行させるプログラムを記録する記録媒体を提供することを第２の目的とする。

上記第１の目的を達成するために、本発明に係る符号化記録装置は、入力される映像信号と音声信号とにそれぞれ符号化を施し前記符号化された映像信号と前記符号化された音声信号とを多重化してシステムストリームを生成し記録媒体に記録する符号化記録装置であって、前記映像信号を入手し当該手段が符号化する前期映像信号がデコードされる際のデコーダバッファの占有量を予測し前記デコーダバッファのオーバーフローとアンダーフローとを避けるように入手した映像信号に符号化を施してビデオデータを生成すると共にここで予測したデコーダバッファの占有量の遷移をバッファ遷移情報として更新し記憶するビデオデータ生成手段と、前記音声信号を入手して一定量毎に符号化を施してオーディオデータを生成するオーディオデータ生成手段と、生成されたビデオデータとオーディオデータとを前記記録媒体に多重して記録する多重記録手段と、動作中にユーザから一時停止の指示を受付けた場合に一時停止タイミングを決定し前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を一時停止させるよう制御する一時停止制御手段と、一時停止中にユーザから一時停止解除の指示を受付けた場合に一時停止解除タイミングを決定し前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を一時停止解除させるよう制御する一時停止解除制御手段とを備え、前記ビデオデータ生成手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミングで映像信号の入手を一時停止すると共に記憶している前記バッファ遷移情報をリセットすることなく保持しておき、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミングから前記映像信号の入手を再開しリセットすることなく保持している前記バッファ遷移情報を用いて前記映像信号の符号化を再開し、前記オーディオデータ生成手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミングで音声信号の入手を一時停止し、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミングから前記音声信号の入手及び符号化を再開し、前記多重化記録手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミング以後の所定期間が経過したタイミングで多重及び記録を一時停止し、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミング以後の所定のタイミングから多重及び記録を再開することを特徴とする。

これによって、ユーザは録画時に一時停止機能を使用して、時間的に連続しないＡＶデータを、再生時に途切れなく滑らかに再生できるように（シームレスに）録画することができ、且つ、一時停止の後でも前記ビデオバッファが破綻しない。
また、上記第２の目的を達成するために、前記符号化記録装置は、さらに、少なくとも動作中及び一時停止中に基準時刻情報を生成するタイマを備え、前記ビデオデータ生成手段は前記基準時刻情報に基づく第１の所定期間毎に１画像分の映像信号を入手し、前記一時停止制御手段は動作中にユーザから一時停止の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止タイミングを決定し、前記一時停止解除手段は一時停止中にユーザから一時停止解除の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止解除タイミングを決定することを特徴とすることもできる。

これによって、１画像分の映像信号を入手するタイミングに同期させて、映像信号及び音声信号の入手を一時停止させることができるので、画像単位で一時停止ができ、また再生時に一時停止の後でも映像と音声とがずれない。
また、上記第２の目的を達成するために、前記オーディオデータ生成手段は、前記音声信号の入手を一時停止する前に入手する音声信号の強度を下げ、前記音声信号の入手を再開した後に入手する音声信号の強度を戻す消音手段を含むことを特徴とすることもできる。

これによって、一時停止の箇所でポツ音等の耳障りな雑音が発生しない。

本発明に係る符号化記録装置は、入力される映像信号と音声信号とにそれぞれ符号化を施し前記符号化された映像信号と前記符号化された音声信号とを多重化してシステムストリームを生成し記録媒体に記録する符号化記録装置であって、前記映像信号を入手し当該手段が符号化する前期映像信号がデコードされる際のデコーダバッファの占有量を予測し前記デコーダバッファのオーバーフローとアンダーフローとを避けるように入手した映像信号に符号化を施してビデオデータを生成すると共にここで予測したデコーダバッファの占有量の遷移をバッファ遷移情報として更新し記憶するビデオデータ生成手段と、前記音声信号を入手して一定量毎に符号化を施してオーディオデータを生成するオーディオデータ生成手段と、生成されたビデオデータとオーディオデータとを前記記録媒体に多重して記録する多重記録手段と、動作中にユーザから一時停止の指示を受付けた場合に一時停止タイミングを決定し前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を一時停止させるよう制御する一時停止制御手段と、一時停止中にユーザから一時停止解除の指示を受付けた場合に一時停止解除タイミングを決定し前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を一時停止解除させるよう制御する一時停止解除制御手段とを備え、前記ビデオデータ生成手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミングで映像信号の入手を一時停止すると共に記憶している前記バッファ遷移情報をリセットすることなく保持しておき、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミングから前記映像信号の入手を再開しリセットすることなく保持している前記バッファ遷移情報を用いて前記映像信号の符号化を再開し、前記オーディオデータ生成手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミングで音声信号の入手を一時停止し、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミングから前記音声信号の入手及び符号化を再開し、前記多重化記録手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミング以後の所定期間が経過したタイミングで多重及び記録を一時停止し、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミング以後の所定のタイミングから多重及び記録を再開することを特徴とする。

これによって、ユーザは録画時に一時停止機能を使用して、時間的に連続しないＡＶデータを、再生時に途切れなく滑らかに再生できるように（シームレスに）録画することができ、且つ、一時停止の後でも前記ビデオバッファが破綻しない。
また、本発明に係る符号化記録装置において、前記ビデオデータ生成手段は入手した映像信号をＭＰＥＧ方式で符号化することを特徴とすることもできる。

これによって、ビデオデータ生成手段は、ＭＰＥＧデコーダバッファの占有量を予測して、ＭＰＥＧデコーダバッファのオーバーフローとアンダーフローとを避けるように、入手した映像信号にＭＰＥＧ方式で符号化を施すことができる。
また、本発明に係る符号化記録装置において、当該符号化記録装置は、さらに、少なくとも動作中及び一時停止中に基準時刻情報を生成するタイマを備え、前記ビデオデータ生成手段は前記基準時刻情報に基づく第１の所定期間毎に１画像分の映像信号を入手し、前記一時停止制御手段は動作中にユーザから一時停止の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止タイミングを決定し、前記一時停止解除手段は一時停止中にユーザから一時停止解除の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止解除タイミングを決定することを特徴とすることもできる。

これによって、１画像分の映像信号を入手するタイミングに同期させて、映像信号及び音声信号の入手を一時停止させることができるので、画像単位で一時停止ができ、また再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録装置において、前記多重化記録手段は、前記一時停止制御手段の制御を受けて前記一時停止タイミングより第２の所定期間後に多重及び記録を一時停止しこの時点で多重及び記録していないビデオデータとオーディオデータとを保持しておき、前記一時停止解除制御手段の制御を受けて前記一時停止解除タイミングより前記第２の所定期間後に保持しておいたビデオデータとオーディオデータとを対象に多重及び記録を再開することを特徴とすることもできる。

これによって、多重化記録手段が、一時停止タイミングより第２の所定期間後に多重及び記録を一時停止し、多重及び記録していないビデオデータとオーディオデータとを保持しておくので、一時停止の後でも正しく多重化して記録できる。
また、本発明に係る符号化記録装置において、前記ビデオデータ生成手段は前記一時停止タイミングより第３の所定期間後に一時停止までに入手した全ての映像信号の符号化を完了し、前記多重化記録手段における前記第２の所定期間は前記第１の所定期間と前記第３の所定期間との合計であることを特徴とすることもできる。

これによって、ビデオデータの生成が終了してから１画像分の映像信号を入手する時間後に、多重化記録手段が多重及び記録を一時停止し、ビデオデータの生成を再開してから１画像分の映像信号を入手する時間後に、多重化記録手段が多重及び記録を再開するので、多重化記録手段が多重及び記録を一時停止している期間を、映像信号及び音声信号の入手を一時停止している期間とをだいたい同じにすることができる。

また、本発明に係る符号化記録装置において、当該符号化記録装置は、さらに、動作中にユーザから停止の指示を受付けた場合に停止タイミングを決定し、前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を停止させるよう制御する第１停止制御手段を備え、前記ビデオデータ生成手段は前記第１停止制御手段の制御を受けて前記停止タイミングで映像信号の入手を停止しそれまでに入手した全ての映像信号に符号化を施し、前記オーディオデータ生成手段は前記第１停止制御手段の制御を受けて前記停止タイミングで音声信号の入手を停止しそれまでに入手した音声信号のうちの最後の前記一定量分まで符号化を施し前記一定量分に満たない音声信号は破棄し、前記多重化記録手段は前記第１停止制御手段の制御を受けてここで生成されるビデオデータとオーディオデータとを全て多重及び記憶することを特徴 とすることもできる。

これによって、動作中に停止することができる。
また、本発明に係る符号化記録装置において、当該符号化記録装置は、さらに、一時停止中にユーザから停止の指示を受付けた場合に停止タイミングを決定し、前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を停止させるよう制御する第２停止制御手段を備え、前記ビデオデータ生成手段は前記第２停止制御手段の制御を受けて一時停止以前に入手した全ての映像信号に符号化を施し、前記オーディオデータ生成手段は前記第２停止制御手段の制御を受けて一時停止以前に入手した音声信号のうちの最後の前記一定量分まで符号化を施し前記一定量分に満たない音声信号は破棄し、前記多重化記録手段は前記第２停止制御手段の制御を受けて保持しておいたビデオデータとオーディオデータ、及び、ここで生成されるビデオデータとオーディオデータを全て多重及び記憶することを特徴とすることもできる。

これによって、一時停止中に、適切に停止することができる。
また、本発明に係る符号化記録装置において、前記オーディオデータ生成手段は、音声信号を入手してサンプリングし前記第１の所定期間とは異なる第４の所定期間毎に１サンプリング周期分のサンプリングデータを出力する音声信号サンプリング手段と、第４の所定期間毎に音声信号サンプリング手段から前記サンプリングデータを入手して符号化を施し１サンプリング周期分のオーディオデータを生成する符号化手段と、前記音声信号サンプリング手段が前記一時停止タイミングで音声信号の入手を一時停止する際に第４の所定期間分に満たないサンプリングデータを保持する端数保持手段とを含み、前記音声信号サンプリング手段は、前記一時停止解除タイミングから音声信号の入手を再開する際に前記端数保持手段に保持しているサンプリングデータと新たに音声信号を入手してサンプリングしたサンプリングデータとを結合して１サンプリング周期分となった時点でサンプリングデータを出力し、以後、第４の所定期間毎に１サンプリング周期分のサンプリングデータを出力することを特徴とすることもできる。

これによって、オーディオデータの端数を保持することができるので、再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録装置において、前記多重化記録手段は前記一時停止制御手段の制御を受けて前記ビデオデータ生成手段により生成されるビデオデータを全て多重及び記録した後で一時停止することを特徴とすることもできる。

これによって、ビデオデータを全て記録してから一時停止することができるので、一時停止の後でも正しく多重化して記録できる。
また、本発明に係る符号化記録装置において、前記多重化記録手段は一時停止する際にこの時点で多重及び記録していないオーディオデータを保持しておき前記一時停止解除制御手段の制御を受けて新たに生成されるビデオデータと保持しておいたオーディオデータとを対象に多重及び記録を再開することを特徴とすることもできる。

これによって、一時停止のときに、多重化の順序が後のオーディオデータを保持しておき、一時停止解除のときに、一時停止後に生成されたビデオデータの後に多重化するので、再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録装置において、当該符号化記録装置は、さらに、動作中にユーザから停止の指示を受付けた場合に停止タイミングを決定し、前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を停止させるよう制御する第１停止制御手段を備え、前記ビデオデータ生成手段は前記第１停止制御手段の制御を受けて前記停止タイミングで映像信号の入手を停止しそれまでに入手した全ての映像信号に符号化を施し、前記オーディオデータ生成手段は前記第１停止制御手段の制御を受けて前記停止タイミングで音声信号の入手を停止しそれまでに入手した音声信号のうちの最後の前記一定量分まで符号化を施し前記一定量分に満たない音声信号は破棄し、前記多重化記録手段は前記第１停止制御手段の制御を受けてここで生成されるビデオデータとオーディオデータとを全て多重及び記憶することを特徴とすることもできる。

これによって、動作中に停止することができる。
また、本発明に係る符号化記録装置において、当該符号化記録装置は、さらに、一時停止中にユーザから停止の指示を受付けた場合に停止タイミングを決定し前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を停止させるよう制御する第２停止制御手段を備え、前記オーディオデータ生成手段は前記一定量分に満たない音声信号を破棄し、前記多重化記録手段は前記第２停止制御手段の制御を受けて保持しておいたオーディオデータを全て多重及び記憶することを特徴とすることもできる。

これによって、一時停止中に、適切に停止することができる。
また、本発明に係る符号化記録装置において、前記オーディオデータ生成手段は、音声信号を入手してサンプリングし前記第１の所定期間とは異なる第４の所定期間毎に１サンプリング周期分のサンプリングデータを出力する音声信号サンプリング手段と、第４の所定期間毎に音声信号サンプリング手段から前記サンプリングデータを入手して符号化を施し１サンプリング周期分のオーディオデータを生成する符号化手段と、前記音声信号サンプリング手段が前記一時停止タイミングで音声信号の入手を一時停止する際に第４の所定期間分に満たないサンプリングデータを保持する端数保持手段とを含み、前記音声信号サンプリング手段は、前記一時停止解除タイミングから音声信号の入手を再開する際に前記端数保持手段に保持しているサンプリングデータと新たに音声信号を入手してサンプリングしたサンプリングデータとを結合して１サンプリング周期分となった時点でサンプリングデータを出力し、以後、第４の所定期間毎に１サンプリング周期分のサンプリングデータを出力することを特徴とすることもできる。

これによって、オーディオデータの端数を保持することができるので、再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録装置において、前記オーディオデータ生成手段は、前記音声信号の入手を一時停止する前に入手する音声信号の強度を下げ、前記音声信号の入手を再開した後に入手する音声信号の強度を戻す消音手段を含むことを特徴とすることもできる。

これによって、一時停止の箇所でポツ音等の耳障りな雑音が発生しない。
また、本発明に係る符号化記録装置において、前記ビデオデータ生成手段は、画像間の時間相関特性を用いて符号化を施して、複数の画像のビデオデータからなり個々の画像の参照関係が完結しているＧＯＰを複数生成し、前記ビデオデータ生成手段は前記映像信号の入手を一時停止する際に前記ＧＯＰを完結させることを特徴とすることもできる。

これによって、一時停止の箇所でＧＯＰを完結させることができるので、ＭＰＥＧシステムストリームの再生時において、早送り再生、巻き戻し再生、及び、途中からの再生などのランダムアクセスを実現することができる。
また、本発明に係る符号化記録装置において、前記多重記録手段は、１つ以上の前記ＧＯＰからなるビデオデータと当該ビデオデータに対応するオーディオデータとからなり所定の再生時間以下に相当するＶＯＢＵを、複数含むシステムストリームを生成し、前記多重記録手段は、前記記録を一時停止する際に前記一時停止タイミング以前に前記ビデオデータ生成手段により入手された映像信号に基づいて生成されたビデオデータと当該ビデオデータよりも前にデコードが開始されるべきオーディオデータとでＶＯＢＵを完結させ、前記記録を再開する際に前記一時停止解除タイミング以後に前記ビデオデータ生成手段により入手された映像信号に基づいて生成されたビデオデータを次のＶＯＢＵ内で最初に現れるビデオデータとすることを特徴とすることもできる。

これによって、一時停止の箇所でＶＯＢＵを完結させることができるので、ＤＶＤレコーダにおいて再生時の利便性が高い。
また、本発明に係る符号化記録装置において、前記多重記録手段は、複数の前記ＶＯＢＵからなり録画開始時刻を記入すべき領域を有するＶＯＢを生成し、前記多重記録手段は、前記記録を一時停止する際にＶＯＢを完結させ、前記記録を再開する際に最初に生成されるＶＯＢＵを新たなＶＯＢに含ませ当該新たなＶＯＢが有する録画開始時刻を記入すべき領域に一時停止を解除した後に録画を再開した時刻を前記録画開始時刻として記入することを特徴とすることもできる。

これによって、一時停止の箇所でＶＯＢを完結させることができるので、一時停止の後の録画開始時刻を正しく記録できる。
また、本発明に係る符号化記録装置において、前記ビデオデータ生成手段は前記映像信号の入手を一時停止する際に複数の画像のビデオデータからなるビデオストリームの終端を示すシーケンスエンドコードを一時停止前の最終画像のビデオデータの後ろに付加することを特徴とすることもできる。

これによって、ビデオデータ生成手段によりシーケンスエンドコードを、一時停止前の最終画像のビデオデータの後ろに付加することができるので、ＤＶＤ−ＲＡＭの規格に適合させることができる。
また、本発明に係る符号化記録装置において、前記多重記録手段は前記記録を一時停止する際に複数の画像のビデオデータからなるビデオストリームの終端を示すシーケンスエンドコードを前記一時停止タイミング以前に前記ビデオデータ生成手段により入手された映像信号に基づいて生成されたビデオデータの後ろに付加することを特徴とすることもできる。

これによって、多重記録手段によりシーケンスエンドコードを、一時停止前の最終画像のビデオデータの後ろに付加することができるので、ＤＶＤ−ＲＡＭの規格に適合させることができる。
本発明に係る符号化記録方法は、入力される映像信号と音声信号とにそれぞれ符号化を施し前記符号化された映像信号と前記符号化された音声信号とを多重化してシステムストリームを生成し記録媒体に記録する符号化記録方法であって、前記映像信号を入手し当該ステップにより符号化する前期映像信号がデコードされる際のデコーダバッファの占有量を予測し前記デコーダバッファのオーバーフローとアンダーフローとを避けるように入手した映像信号に符号化を施してビデオデータを生成すると共にここで予測したデコーダバッファの占有量の遷移をバッファ遷移情報として更新し記憶するビデオデータ生成ステップと、前記音声信号を入手して一定量毎に符号化を施してオーディオデータを生成するオーディオデータ生成ステップと、生成されたビデオデータとオーディオデータとを前記記録媒体に多重して記録する多重記録ステップと、動作中にユーザから一時停止の指示を受付けた場合に一時停止タイミングを決定し、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を一時停止させるよう制御する一時停止制御ステップと、一時停止中にユーザから一時停止解除の指示を受付けた場合に一時停止解除タイミングを決定し、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を一時停止解除させるよう制御する一時停止解除制御ステップとを備え、前記ビデオデータ生成ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミングで映像信号の入手を一時停止すると共に記憶している前記バッファ遷移情報をリセットすることなく保持しておき、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミングから前記映像信号の入手を再開しリセットすることなく保持している前記バッファ遷移情報を用いて前記映像信号の符号化を再開し、前記オーディオデータ生成ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミングで音声信号の入手を一時停止し、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミングから前記音声信号の入手及び符号化を再開し、前記多重化記録ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミング以後の所定期間が経過したタイミングで多重及び記録を一時停止し、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミング以後の所定のタイミングから多重及び記録を再開することを特徴とする。

これによって、ユーザは録画時に一時停止機能を使用して、時間的に連続しないＡＶデータを、再生時に途切れなく滑らかに再生できるように（シームレスに）録画することができ、且つ、一時停止の後でも前記ビデオバッファが破綻しない。
また、本発明に係る符号化記録方法において、当該符号化記録方法は、さらに、少なくとも動作中及び一時停止中に基準時刻情報を生成するタイマステップを備え、前記ビデオデータ生成ステップは前記基準時刻情報に基づく第１の所定期間毎に１画像分の映像信号を入手し、前記一時停止制御ステップは動作中にユーザから一時停止の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止タイミングを決定し、前記一時停止解除ステップは一時停止中にユーザから一時停止解除の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止解除タイミングを決定することを特徴とすることもできる。

これによって、１画像分の映像信号を入手するタイミングに同期させて、映像信号及び音声信号の入手を一時停止させることができるので、画像単位で一時停止ができ、また再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録方法において、前記オーディオデータ生成ステップは前記音声信号の入手を一時停止する前に入手する音声信号の強度を下げ前記音声信号の入手を再開した後に入手する音声信号の強度を戻す消音サブステップを含むことを特徴とすることもできる。

これによって、一時停止の箇所でポツ音等の耳障りな雑音が発生しない。
本発明に係る符号化記録プログラムを記録したコンピュータ読み取り可能な記録媒体は、入力される映像信号と音声信号とにそれぞれ符号化を施し前記符号化された映像信号と前記符号化された音声信号とを多重化してシステムストリームを生成し記録媒体に記録する符号化記録プログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータに、前記映像信号を入手し当該ステップにより符号化する前期映像信号がデコードされる際のデコーダバッファの占有量を予測し前記デコーダバッファのオーバーフローとアンダーフローとを避けるように入手した映像信号に符号化を施してビデオデータを生成すると共にここで予測したデコーダバッファの占有量の遷移をバッファ遷移情報として更新し記憶するビデオデータ生成ステップと、前記音声信号を入手して一定量毎に符号化を施してオーディオデータを生成するオーディオデータ生成ステップと、生成されたビデオデータとオーディオデータとを前記記録媒体に多重して記録する多重記録ステップと、動作中にユーザから一時停止の指示を受付けた場合に一時停止タイミングを決定し、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を一時停止させるよう制御する一時停止制御ステップと、一時停止中にユーザから一時停止解除の指示を受付けた場合に一時停止解除タイミングを決定し、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を一時停止解除させるよう制御する一時停止解除制御ステップとを実行させ、前記ビデオデータ生成ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミングで映像信号の入手を一時停止すると共に記憶している前記バッファ遷移情報をリセットすることなく保持しておき、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミングから前記映像信号の入手を再開しリセットすることなく保持している前記バッファ遷移情報を用いて前記映像信号の符号化を再開し、前記オーディオデータ生成ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミングで音声信号の入手を一時停止し、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミングから前記音声信号の入手及び符号化を再開し、前記多重化記録ステップにおいて、前記一時停止制御ステップによる制御を受けた場合には前記一時停止タイミング以後の所定期間が経過したタイミングで多重及び記録を一時停止し、前記一時停止解除制御ステップによる制御を受けた場合には前記一時停止解除タイミング以後の所定のタイミングから多重及び記録を再開することを特徴とする符号化記録プログラムを記録する。

これによって、ユーザは録画時に一時停止機能を使用して、時間的に連続しないＡＶデータを、再生時に途切れなく滑らかに再生できるように（シームレスに）録画することができ、且つ、一時停止の後でも前記ビデオバッファが破綻しない。
また、本発明に係る符号化記録プログラムを記録したコンピュータ読み取り可能な記録媒体において、前記符号化記録プログラムは、さらに、コンピュータに、少なくとも動作中及び一時停止中に基準時刻情報を生成するタイマステップを実行させ、前記ビデオデータ生成ステップは前記基準時刻情報に基づく第１の所定期間毎に１画像分の映像信号を入手し、前記一時停止制御ステップは動作中にユーザから一時停止の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止タイミングを決定し、前記一時停止解除ステップは一時停止中にユーザから一時停止解除の指示を受付けた場合に前記基準時刻情報に基づく第１の所定期間の切れ目に同期させて前記一時停止解除タイミングを決定することを特徴とする符号化記録プログラムを記録することもできる。

これによって、１画像分の映像信号を入手するタイミングに同期させて、映像信号及び音声信号の入手を一時停止させることができるので、画像単位で一時停止ができ、また再生時に一時停止の後でも映像と音声とがずれない。
また、本発明に係る符号化記録プログラムを記録したコンピュータ読み取り可能な記録媒体において、前記オーディオデータ生成ステップは前記音声信号の入手を一時停止する前に入手する音声信号の強度を下げ前記音声信号の入手を再開した後に入手する音声信号の強度を戻す消音サブステップを含むことを特徴とする符号化記録プログラムを記録することもできる。

これによって、一時停止の箇所でポツ音等の耳障りな雑音が発生しない。

１．概要
本実施の形態は、録画中にユーザからポーズ指示を受付けた場合に、動画像データの圧縮符号化と音声信号のサンプリングとを、動画像データのフレーム発生周期に合わせて同時に一時停止することで、音声のずれ及びリップシンクのずれが発生せず、ビデオバッファが破綻せず、且つ、連続的に再生されるように記録する符号化記録装置である。

２．全体構成
図４は、本実施の形態に係るＤＶＤレコーダの構成を示す図である。
図４に示すＤＶＤレコーダは、ユーザインターフェース部１０１、システム制御部１０２、入力部１０３、エンコーダ部１０４、出力部１０５、デコーダ部１０６、トラックバッファ部１０７、及びドライブ１０８から構成される。

ユーザインターフェース部１０１は、例えばパネルスイッチやリモコンであり、ユーザへ情報を提示し、ユーザによる指示を受け付けてシステム制御部１０２に伝える。
システム制御部１０２は、例えばマイクロコンピュータと制御ソフトを記録した記録媒体であり、ユーザインターフェース部１０１から伝えられたユーザによる指示を解釈して各部を制御する。

入力部１０３は、例えばマイク付きのデジタルビデオカメラ、又は、テレビチューナであり、エンコーダ部１０４へビデオフレームと音声信号とを出力する。
エンコーダ部１０４は、入手したビデオフレームをエンコードしてビデオデータを生成するビデオエンコーダ、入手した音声信号をサンプリングしてオーディオフレームを生成し、オーディオフレームをエンコードしてオーディオデータを生成するオーディオエンコーダ、及び、これらを多重化してＭＰＥＧシステムストリームを生成するシステムエンコーダを含む。

出力部１０５は、例えばデジタルテレビであり、生成されたビデオフレームから映像を、生成されたオーディオフレームから音声を出力する。
デコーダ部１０６は、ＭＰＥＧシステムストリーム中のパケットを振り分けるシステムデコーダ、振り分けられたオーディオデータをデコードして音声信号を生成するオーディオデコーダ、及び、振り分けられたビデオデータをデコードして映像信号を生成するビデオデコーダを含む。

トラックバッファ部１０７は、エンコーダ部１０４とドライブ１０８間、及びデコーダ部１０６とドライブ１０８間における、入出力タイミングのずれを吸収するバッファであり、ＭＰＥＧシステムストリームを蓄積する。
ドライブ１０８は、ＤＶＤ−ＲＡＭディスクを制御するディスクドライバであり、ＤＶＤ−ＲＡＭディスクにＭＰＥＧシステムストリームを読み書きさせる。

ここで、図４に示すＤＶＤレコーダにおける録画動作について説明する。
ユーザインターフェース部１０１がユーザから録画開始の指示を受けると、その指示はシステム制御部１０２に伝えられる。
システム制御部１０２がユーザからの録画開始の指示を解釈して、エンコーダ部１０４にエンコードの開始を指示する。

エンコードの開始の指示を受けたエンコーダ部１０４は、入力部１０３からビデオフレームと音声信号との受け取りを開始し、ＭＰＥＧシステムストリームを生成し、トラックバッファ部１０７に渡す。
トラックバッファ部１０７に一定量のＭＰＥＧシステムストリームが蓄積されると、システム制御部１０２がドライブ１０８を制御して、ＭＰＥＧシステムストリームをＤＶＤ−ＲＡＭディスクに記録させる。

ここで、ユーザインターフェース部１０１がユーザから録画終了の指示を受けると、その指示はシステム制御部１０２に伝えられる。
システム制御部１０２がユーザからの録画終了の指示を解釈して、エンコーダ部１０４にエンコードの終了を指示する。
エンコードの終了の指示を受けたエンコーダ部１０４は、動画像データのフレーム発生周期に合わせてビデオフレームと音声信号とを受け取るのを止め、受け取った音声信号のうちの最後のオーディオフレームまでＭＰＥＧシステムストリームを生成し、トラックバッファ部１０７に渡した後で、システム制御部１０２に処理終了を伝える。

処理終了を伝えられたシステム制御部１０２が、ドライブ１０８を制御して、トラックバッファ部１０７に蓄積されているＭＰＥＧシステムストリームを全てＤＶＤ−ＲＡＭディスクに記録させ、さらにＶＯＢＩ（ＶＯＢ情報）、ＣｅｌｌＩ（Ｃｅｌｌ情報）などの管理情報を作成して記録させる。
ユーザインターフェース部１０１が、録画中にポーズの指示を受けると、その指示はシステム制御部１０２に伝えられる。

システム制御部１０２がユーザからのポーズの指示を解釈して、エンコーダ部１０４にエンコードを一時停止するように指示する。
エンコードを一時停止するように指示を受けたエンコーダ部１０４は、当該指示を受けた時にサンプリングしている映像信号の１ビデオフレームを受け取り、当該１ビデオフレームのサンプリングの終了まで、音声信号をサンプリングして、ＭＰＥＧシステムストリームを生成し、この時点でＧＯＰ（Group of Pictures）を完結させ、システム制御部１０２に処理終了を伝える。

ここでＧＯＰとは、互いに参照関係がある全てのピクチャの集合であり、ＭＰＥＧビデオストリームの再生時において、早送り再生、巻き戻し再生、及び、途中からの再生などのランダムアクセスを実現するために定義されたものである。個々のＧＯＰ内では参照関係が完結しているので、ＧＯＰ単位でランダムアクセスが実現できる。
処理終了を伝えられたシステム制御部１０２が、ドライブ１０８を制御して、トラックバッファ部１０７に蓄積されているＭＰＥＧシステムストリームの記録を停止させる。

ユーザインターフェース部１０１が、ポーズ中にポーズ解除の指示を受けると、その指示はシステム制御部１０２に伝えられる。
システム制御部１０２がユーザからのポーズ解除の指示を解釈して、エンコーダ部１０４にポーズ解除するように指示する。
ポーズ解除するように指示を受けたエンコーダ部１０４は、当該指示を受けた以後にビデオフレームの受け取りを再開し、最初に入力されるビデオフレームと同じタイミングで音声信号のサンプリング再開し、システム制御部１０２に処理再開を伝える。

処理再開を伝えられたシステム制御部１０２が、ドライブ１０８を制御して、トラックバッファ部１０７に蓄積されているＭＰＥＧシステムストリームの記録を再開させる。
ここで、図４に示すＤＶＤレコーダにおける再生動作については、本発明の主旨ではないので説明を省略する。
図５は、エンコーダ部１０４の詳細な構成を示す図である。

図５に示すエンコーダ部１０４は、制御インターフェース部２０１、ビデオエンコーダ部２０２、ビデオバッファ部２０３、オーディオミュート部２０４、サンプル部２０５、オーディオエンコーダ部２０６、オーディオバッファ部２０７、システムエンコーダ部２０８、エンドコード生成要求部２０９、ビデオエンコーダポーズ部２１０、サンプルポーズ部２１１、オーディオエンコーダポーズ部２１２及びシステムエンコーダポーズ部２１３を含む。

制御インターフェース部２０１は、システム制御部１０２との各種制御情報のやりとり、及び、エンコーダ部１０４内の各構成要素の制御を行う。
ビデオエンコーダ部２０２は、ＭＰＥＧ規格における仮想デコーダバッファモデルの想定遷移量（ＶＢＶ遷移モデル）を算出し、ＶＢＶバッファ遷移情報として記憶しており、ビデオフレームを入手してエンコードして、ビデオデータを生成し、このＶＢＶバッファ遷移情報を更新する。

ビデオバッファ部２０３は、生成されたビデオデータを蓄積する。
オーディオミュート部２０４は、ポーズの指示によりサンプル部２０５が音声信号のサンプリングを停止するよりも前に、サンプル部２０５への入力音声の強度を０レベル付近まで下げてミュートをかけ、ポーズ解除時に音声信号のサンプリングを再開した後に入力音声の強度を元の設定に戻してミュートを外す。

サンプル部２０５は、入手した音声信号をサンプリングしてオーディオフレームのフレーム発生周期毎に、１サンプリング周期分のオーディオフレームを出力する。
オーディオエンコーダ部２０６は、サンプル部２０５が出力するオーディオフレームをエンコードして、オーディオデータを生成する。
オーディオバッファ部２０７は、生成されたオーディオデータを蓄積する。

システムエンコーダ部２０８は、ビデオエンコーダ部２０２から通知される各ビデオフレームのピクチャ量の情報を元に、ビデオバッファ部２０３からパック生成に必要な量のビデオデータを取り出し、ビデオパックを生成する。また、オーディオフレームの再生時刻情報を元にオーディオバッファ部２０７からパック生成に必要な量のオーディオデータを取り出し、オーディオパックを生成する。それからＶＢＶバッファ遷移情報に基づいて、ビデオバッファをＭＰＥＧの規格通りに制御できるようにＳＣＲとＤＴＳとを計画的に定め、これらのパックを適切な順序で多重化し、パックヘッダに多重化の時刻情報であるＳＣＲを打ち込みながら、ＭＰＥＧシステムストリームを生成する。

エンドコード生成要求部２０９はポーズする際に、ビデオエンコーダ部２０２へＧＯＰの末尾にシーケンスエンドコードを生成するよう要求する。
ビデオエンコーダポーズ部２１０はポーズする際に、ビデオエンコーダ部２０２にビデオデータの生成を一時停止させる。この時、指示を受けた時にサンプリングしている映像信号の１ビデオフレームを最終フレームとして、現在生成中のＧＯＰをビデオエンコーダ部２０２に完結させる。またポーズを解除する際には、ポーズ解除の指示を受けた以後の最初のビデオフレームから、ビデオエンコーダ部２０２にビデオデータの生成を再開させる。ポーズ解除後は新たなＧＯＰの生成を開始させるので、最初のピクチャはＩピクチャとなる。

サンプルポーズ部２１１は、ポーズする際に、前記ビデオの最終フレームに相当する時刻でサンプル部２０５に音声信号のサンプリングを一時停止させる。またポーズを解除する際には、ビデオエンコーダ部２０２がポーズを解除した時、最初に入手されるビデオフレームのサンプリングの始めからサンプル部２０５に音声信号のサンプリングを再開させる。

オーディオエンコーダポーズ部２１２はポーズする際に、オーディオエンコーダ部２０６にオーディオデータの生成を一時停止させる。またポーズを解除する際には、オーディオエンコーダ部２０６にオーディオデータの生成を再開させる。
システムエンコーダポーズ部２１３はポーズする際に、システムエンコーダ部２０８にビデオパックとオーディオパックの生成を停止させ、ＭＰＥＧシステムストリームの生成を停止させる。またポーズを解除する際には、ビデオパックとオーディオパックの生成を再開させ、ＭＰＥＧシステムストリームの生成を再開させる。

図６は、録画中にポーズ又は停止が指示され、ポーズ中にポーズ解除又は停止が指示される時のエンコーダ部１０４の動作を示す図である。
以下に図５、６を用いて、録画中のエンコーダ部１０４の動作を説明する。
（１）録画中に、制御インターフェース部２０１が、ユーザからの指示を待つ（ステップＳ１：Ｎｏ）。
（２）録画中にユーザからの指示があった場合（ステップＳ１：Ｙｅｓ）は、制御インターフェース部２０１がユーザからの指示がポーズの指示であるか、停止の指示であるかを判断する（ステップＳ２）。
（３）ユーザからの指示がポーズの指示である場合は（ステップＳ２：ポーズ）は、制御インターフェース部２０１が、ポーズの指示を受けた時にサンプリングしている映像信号の１ビデオフレームのサンプリングが終了するまで待つ（ステップＳ３：Ｎｏ）。
（４）１ビデオフレームのサンプリングが終了すると（ステップＳ３：Ｙｅｓ）、制御インターフェース部２０１が、ビデオエンコーダポーズ部２１０、サンプルポーズ部２１１、オーディオエンコーダポーズ部２１２及びシステムエンコーダポーズ部２１３に、それぞれビデオデータの生成、音声信号のサンプリング、オーディオデータの生成及びビデオパックとオーディオパックの生成を一時停止させるように指示する（ステップＳ４）。
（５）ビデオエンコーダポーズ部２１０がビデオエンコーダ部２０２に以後ビデオフレームの入手を一時停止させ、１ビデオフレームのサンプリングが終了する時刻に、サンプルポーズ部２１１がサンプル部２０５に音声信号のサンプリングを一時停止させる。ここで、サンプル部２０５は１オーディオフレームに満たない音声データを保持しておく（ステップＳ５）。
（６）オーディオエンコーダポーズ部２１２が、オーディオエンコーダ部２０６にオーディオデータの生成を一時停止させる。また、ビデオエンコーダ部２０２が最後の１ビデオフレームを入手してエンコードし、現在生成中のＧＯＰを完結させる。ここでエンドコード生成要求部２０９が、ビデオエンコーダ部２０２へＧＯＰの末尾にシーケンスエンドコードを生成するよう要求し、ビデオエンコーダ部２０２がＧＯＰの末尾にシーケンスエンドコードを生成する（ステップＳ６）。
（７）システムエンコーダポーズ部２１３が、システムエンコーダ部２０８にビデオパックとオーディオパックの生成を一時停止させ、ＭＰＥＧシステムストリームの生成を一時停止させる（ステップＳ７）。
（８）ポーズ中に、制御インターフェース部２０１が、ユーザからの指示を待つ（ステップＳ８：Ｎｏ）。
（９）ポーズ中にユーザからの指示があった場合（ステップＳ８：Ｙｅｓ）は、制御インターフェース部２０１がユーザからの指示がポーズ解除の指示であるか、停止の指示であるかを判断する（ステップＳ９）。
（１０）ユーザからの指示がポーズ解除の指示である場合は（ステップＳ９：ポーズ解除）は、制御インターフェース部２０１が、ポーズ解除の指示を受けた時刻以降に、ビデオフレームのサンプリングが開始される時刻まで待つ（ステップＳ１０：Ｎｏ）。
（１１）ビデオフレームのサンプリングが開始される時刻になると（ステップＳ１０：Ｙｅｓ）、その時刻に制御インターフェース部２０１が、ビデオエンコーダポーズ部２１０、サンプルポーズ部２１１、オーディオエンコーダポーズ部２１２及びシステムエンコーダポーズ部２１３に、それぞれビデオデータの生成、音声信号のサンプリング、オーディオデータの生成及びビデオパックとオーディオパックの生成を再開させるように指示する（ステップＳ１１）。
（１２）ビデオフレームのサンプリングが開始される時刻に、サンプルポーズ部２１１がサンプル部２０５に音声信号のサンプリングを再開させる。ここで、サンプル部２０５は、サンプリングした音声データを、一時停止した時に保持しておいた１オーディオフレームに満たない音声データと結合して、オーディオフレームのフレーム発生周期分となった時点で、１サンプリング周期分のオーディオフレームとして出力し、以後、フレーム発生周期毎に、１サンプリング周期分のオーディオフレームを出力する。また、オーディオエンコーダポーズ部２１２が、オーディオエンコーダ部２０６にオーディオデータの生成を再開させる。また、ビデオエンコーダポーズ部２１０がビデオエンコーダ部２０２にビデオフレームの入手及びビデオデータの生成を再開させる（ステップＳ１２）。
（１３）ポーズ解除後の最初のビデオデータが生成される時刻に、システムエンコーダポーズ部２１３が、システムエンコーダ部２０８にビデオパックとオーディオパックの生成を再開させ、ＭＰＥＧシステムストリームの生成を再開させ、録画中のユーザからの指示待ち（ステップＳ１）に戻る（ステップＳ１３）。
（１４）ステップＳ２及びステップＳ９において、ユーザからの指示が停止の指示である場合は、以下のような停止処理を行なう。

制御インターフェース部２０１が、ビデオエンコーダ部２０２にこの時点までに入手したビデオフレームを最後にエンコードを終了させて、オーディオエンコーダ部２０６にこの時点までに入手したオーディオフレームを最後にエンコードを終了させ、サンプル部２０５がサンプリング途中で保持している音声データを破棄させる。
ビデオエンコーダ部２０２及びオーディオエンコーダ部２０６は最後のエンコードが終了すると制御インターフェース部２０１へその旨を通知し、通知を受けた制御インターフェース部２０１はシステムエンコーダ部２０８へ、ＭＰＥＧシステムストリームを完成させるよう指示する。

システムエンコーダ部２０８は、ビデオバッファ部２０３内のビデオデータ及びオーディオバッファ部２０７内のオーディオデータを全て使い切ってＭＰＥＧシステムストリームを完成させる。
図７は、録画中にポーズし、ポーズ中にポーズ解除した場合の、ビデオデータ及びオーディオデータの入出力タイミングを模式的に示す図である。

図７に示すように、時刻ｔａにユーザからポーズの指示を受けると、ポーズの指示があった時にサンプリングしている映像信号のサンプリング終了の時刻ｔｐにおいて、映像信号のサンプリングを一時停止し、同時に音声信号のサンプリングを一時停止する。
また図７に示すように、時刻ｔｂにユーザからポーズ解除の指示を受けると、ポーズ解除の指示後の最初のビデオフレームのサンプリング周期である時刻ｔｒにおいて、映像信号のサンプリングを再開し、同時に音声信号のサンプリングを再開する。従って、時刻ｔｐから時刻ｔｒまでの間がＡＶデータ入力のポーズ期間となっている。

ここでビデオエンコーダ部２０２は、ビデオデータの生成を、映像信号のサンプリングを一時停止する前に入手したビデオフレームに対するエンコードを終了した時点で一時停止し、ＡＶデータ入力のポーズ期間と同じ長さ経過後に、ポーズ後に入手されるビデオフレームに対するエンコードを再開した時点で再開している。ここで、ビデオエンコーダ部２０２は、一時停止状態においてＶＢＶバッファ遷移情報をそのまま保持しておき、エンコードを再開した際には、保持しておいたＶＢＶバッファ遷移情報を引き続き使用する。

ここでオーディオエンコーダ部２０６は、オーディオデータの生成を、音声信号のサンプリングを一時停止する前に入手した完全なオーディオフレームに対するエンコードを終了した時点で一時停止し、ＡＶデータ入力のポーズ期間と同じ長さ経過後に、ポーズ後に入手されるオーディオフレームに対するエンコードから再開している。
なお、オーディオエンコーダにおいては、オーディオフレーム１個分の音声データがサンプリングされてから、対応するオーディオデータが生成されるまでの時間が一定である。従って、音声データのサンプリングのポーズ期間の長さは、オーディオエンコーダ部２０６におけるポーズによるオーディオデータ生成タイミングのずれと同じ長さとなる。

以下に、ポーズ期間中のビデオデータ及びオーディオデータの取り扱い方法について記す。
図８は、ポーズ時における、既に生成されたビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。
図８に示すように、時刻ｔｐ１にＭＰＥＧシステムストリームの生成を一時停止している。

ここでシステムエンコーダ部２０８は、ＭＰＥＧシステムストリームの生成を、ビデオエンコーダ部２０２が一時停止状態になった後も引き続き続行し、ビデオバッファ部２０３に蓄積されているビデオデータを全て多重化し終わってから一時停止している。ここで、オーディオバッファ部２０７に蓄積されているオーディオデータは、多重化されずにそのまま保持される。

図９は、ポーズ前後における、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。
図９に示すように、ＭＰＥＧシステムストリームは、ＡＶデータ入力のポーズ期間に相当する分だけが排除されるので、排除部分の後で映像と音声とがずれない。
なお、ＭＰＥＧシステムストリームの生成を一時停止するタイミングは、上記のような場合に限られない。例えば、ビデオエンコーダ部２０２が一時停止状態になったタイミングで一時停止してもよいし、ビデオエンコーダ部２０２が一時停止状態となってから、ビデオバッファ部２０３に蓄積されているビデオデータを全て多重化し終るまでの間に一時停止してもよい。

また、オーディオデータの生成を一時停止するタイミングも、上記のような場合に限られない。例えば、ビデオエンコーダ部２０２が一時停止状態になったタイミングで一時停止してもよいし、ビデオエンコーダ部２０２が一時停止状態となってから、音声信号のサンプリングを一時停止する前に入手した完全なオーディオフレームに対するエンコードを全て終了するまでの間に一時停止してもよい。

図１０は、ポーズ時における、既に生成されたビデオデータ及びオーディオデータの取り扱い方法の別の一例を示す図である。
図１０に示すように、時刻ｔｐ２にＭＰＥＧシステムストリームの生成を一時停止している。
時刻ｔｐ２は、ビデオデータの生成を一時停止した時刻からΔｔ秒後とする。ここでΔｔは個別の規格で予め定めた時間であり、図９中では“Δｔ＝ビデオフレーム発生周期”である。

ここでシステムエンコーダ部２０８は、ＭＰＥＧシステムストリームの生成を、ビデオエンコーダ部２０２が一時停止状態になった後も引き続き続行し、ビデオバッファ部２０３に蓄積されているビデオデータを全て多重化し終わる前の時刻ｔｐ２に一時停止している。ここで、ビデオバッファ部２０３に蓄積されているビデオデータと、オーディオバッファ部２０７に蓄積されているオーディオデータとは、多重化されずにそのまま保持される。

ここでオーディオエンコーダ部２０６は、オーディオデータの生成を、ポーズ前に入手したオーディオフレームに対するエンコードを全て終了する前に一時停止している。
以下に、ポーズ解除後のビデオデータ及びオーディオデータの取り扱い方法について記す。
図１１は、ポーズ前後における、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。

図１１に示すように、映像信号と音声信号とは、サンプリングが一時停止される期間が同じであり、かつ、一時停止以前と以後にサンプリングした各信号は全てエンコードされ多重されてＭＰＥＧシステムストリームが生成されるので、このＭＰＥＧシステムストリームを再生した時には、録画時に一時停止した部分で映像と音声とがずれることはない。また、ＭＰＥＧシステムストリームの生成を、ビデオデータの生成を一時停止してからほぼ１ビデオフレーム発生周期後に一時停止し、ビデオデータの生成を再開してからほぼ１ビデオフレーム発生周期後に再開するので、ＡＶデータ入力のポーズ期間とＭＰＥＧシステムストリームの生成のポーズ期間とがほぼ同じ長さとなる。

図１２は、録画中に停止した場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。
図１２に示すように、時刻ｔｃにユーザから停止の指示を受けると、停止の指示があった時にサンプリングしている映像信号のサンプリング終了の時刻ｔｓにおいて、映像信号のサンプリングを停止している。

ここでビデオエンコーダ部２０２は、ビデオデータの生成を、サンプリングの停止前に入手したビデオフレームに対するエンコードを終了した時点で停止している。
ここでシステムエンコーダ部２０８は、ＭＰＥＧシステムストリームの生成を、ビデオエンコーダ部２０２が停止した後も引き続き続行し、ビデオバッファ部２０３に蓄積されているビデオデータを全て多重化し終わってから停止している。ここで、オーディオバッファ部２０７に蓄積されているオーディオデータのうち、時刻ｔｓ以前にサンプリングされたオーディオデータは全て、ＭＰＥＧシステムストリームの最後の部分に多重化し、多重化が完了する。

従って、ＭＰＥＧシステムストリームは、通常の停止処理を行うと最後の部分にオーディオパックが連続する。
ここで多重化が完了した時点でサンプル部２０５における音声信号のサンプリングを停止している。
ここでオーディオエンコーダ部２０６は、オーディオデータの生成を、多重化が完了した時点で停止し、時刻ｔｓ以後にサンプリングされたフレームは、不要なので全て破棄している。

図１３は、図８に示したようなポーズ中に停止する場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。
ここで、ユーザから停止の指示を時刻ｔｄに受けると、システムエンコーダ部２０８が停止コマンドを受け取った時刻ｔｓ１以後に、オーディオバッファ部２０７に蓄積されているオーディオデータを全て、ＭＰＥＧシステムストリームの最後の部分に多重化し、多重化が完了する。

図１４は、図１０に示したようなポーズ中に停止する場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である[。]
ここで、ユーザから停止の指示を時刻ｔｅに受けると、システムエンコーダ部２０８が停止コマンドを受け取った時刻ｔｓ２以後に、ビデオバッファ部２０３に蓄積されたまま保持されていたビデオデータと、オーディオバッファ部２０７に蓄積されたまま保持されていたオーディオデータの多重化を再開する。

また、オーディオエンコーダ部２０６は、オーディオデータの生成を再開し、ポーズ前に入手したオーディオフレームから生成されたオーディオデータは全て、システムエンコーダ部２０８がＭＰＥＧシステムストリームの最後の部分に多重化し、多重化が完了する。
なお、ポーズ解除箇所の映像は、番組の始めであったりシーンの変わり目であったりと、再生時にその位置を検索する場合が多い。ＤＶＤ−ＲＡＭでは、ＶＯＢ内でのアドレス検索にＶＯＢＵタイムマップ情報（ＴＭＡＰＩ）を用いる。

従ってＤＶＤレコーダにおいては、再生時の利便性を考えた場合には、ポーズ解除の直後に最初に生成されてくるＧＯＰの先頭データを含むパックを、ＶＯＢＵ内で最初に現れるビデオパックにするのが望ましい。
そこで、図５に示すシステムエンコーダ部２０８は、パックの生成を一時停止する際に、一時停止以前に入手された映像信号に基づいてビデオエンコーダ部２０２により生成されたビデオデータと、当該ビデオデータよりも前に多重されるオーディオデータとでＶＯＢＵを完結させ、パックの生成を再開する際に、一時停止解除以後に入手された映像信号に基づいて、ビデオエンコーダ部２０２により生成されたビデオデータの先頭データを含むパックを、次のＶＯＢＵの先頭のビデオパックにする。

ここでＶＯＢとはＭＰＥＧシステムストリームであり、複数のＶＯＢＵの集合体である。ＶＯＢＵは、１組以上のＧＯＰと複数のオーディオパックとが、ＭＰＥＧシステムストリームとして多重化された構造を持つデータの１単位である。
また、一時停止前後でＶＯＢＵを分離したとしてもＤＶＤ−ＲＡＭ規格において問題点が残る。ＶＯＢ情報（ＶＯＢＩ）には先頭部分に録画開始時刻を記入するVOB#REC#Timeという項目がある。この項目は１つのＶＯＢについて１つだけ存在するので、仮に一時停止後に録画されたストリームを、一時停止前に録画されたストリームに続けて同一のＶＯＢに入れると、一時停止解除後の映像に対するVOB#REC#Timeが一時停止前と同じ値になる。一時停止により録画された映像の時間的な連続性がなくなっている点を鑑みると、一時停止後のVOB#REC#Timeが一時停止前のVOB#REC#Timeと同じ値なのは好ましくない。

そこで、図５に示すシステムエンコーダ部２０８は、パックの生成を一時停止する際にＶＯＢを完結させ、一時停止を解除してパックの生成を再開する際に、最初に生成されるＶＯＢＵを新たなＶＯＢに含ませ、先頭部分に、一時停止を解除した時刻をVOB#REC#Timeとして新たに登録する。
また、一時停止の前後でＶＯＢを分離する場合においては、ＤＶＤ−ＲＡＭの規格上、一時停止前の最終ＧＯＰデータの後ろにＭＰＥＧビデオのシーケンスエンドコード（１６進数で0x000001B7)を入れる必要がある。

シーケンスエンドコードはＭＰＥＧビデオストリームの終端を示すコードであり、一般に市場で流通しているビデオエンコーダは、シーケンスエンドコードを生成する機能を備えている。
そこで、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを入れるために、図５に示すエンドコード生成要求部２０９は、一時停止する際に、ビデオエンコーダ部２０２へシーケンスエンドコードを生成するよう要求し、この要求を受けたビデオエンコーダ部２０２が、一時停止前の最終ＧＯＰデータの後ろに、シーケンスエンドコードを生成して入れる。

図１５は、ビデオエンコーダ部２０２が、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを入れた状態を示す図である。
図１５に示すように、この場合はビデオエンコーダ部２０２はシーケンスエンドコードを、最終ＧＯＰデータの一部とみなしてビット発生量をカウントするので、シーケンスエンドコードがビデオデータの一部とみなされ、システムエンコーダ側でシーケンスエンドコードのビット数(32bit)を考慮しなくてもよくなる。

なお、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを生成して入れるのは、必ずしもビデオエンコーダ部２０２でなくてもよく、例えば、図５に示すシステムエンコーダ部２０８であってもよい。
図１６は、システムエンコーダ部２０８が、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを入れた状態を示す図である。

図１６に示すように、この場合はエンドコード生成要求部２０９は不要であり、その代りにシステムエンコーダ部２０８におけるパックの生成において、シーケンスエンドコードのビット数(32bit)の増加分をシステムエンコーダ側で考慮しなければならない。場合によってはシーケンスエンドコード挿入のために別途新たなパックを生成する必要がある。

以上のように、本発明に係る圧縮記録装置は、毎フレーム発生時に必ず、ＭＰＥＧデコーダが備えるビデオバッファの蓄積量の遷移を意識しながら、ビデオデータを生成するビデオエンコーダを、ポーズ時にビデオのフレーム発生周期に合わせて一時停止させ、ポーズ解除時に当該ビデオエンコーダの動作を再開させることで、ビデオバッファが破綻せず、且つ、連続的に再生されるように映像データを記録することができる。

また、本発明に係る符号化記録装置は、さらに、ビデオエンコーダを一時停止させるのと同時に音声信号のサンプリングを一時停止させ、ビデオエンコーダの動作を再開させるのと同時に音声信号のサンプリングを再開させるので、音声のずれ及びリップシンクのずれが発生しないように音声データを記録することができる。
また、コンピュータに本実施の形態のような動作を実行させることができるプログラムが、コンピュータ読み取り可能な記録媒体に記録され、この記録媒体が流通し、取り引きの対象となりうる。

ここでコンピュータ読み取り可能な記録媒体とは、例えば、フロッピーディスク、ＣＤ、ＭＯ、ＤＶＤ、メモリカード等の着脱可能な記録媒体、及び、ハードディスク、半導体メモリ等の固定記録媒体等であり、特に限定されるものではない。

本発明は、ＭＰＥＧ等の画像間の時間相関特性を用いたデータ圧縮方法を取り入れている符号化記録装置の技術分野に広く適用することができる。
本発明によって、時間的に連続しないＡＶデータを、前記ビデオバッファが破綻しないように連続的に記録することができ、また、時間的に連続しないＡＶデータを、再生時において、音声のずれ、リップシンクのずれ、及び、ポツ音等の、音声に関するトラブルが発生しないように記録することができるので、その産業的利用価値は極めて高い。

ＭＰＥＧシステムにおけるパック及びパケットの構成を示す図である。ここでパケットのサイズは２ＫＢである。 ＭＰＥＧの標準デコーダモデルの概略を示す図である。 （ａ）は時間的に連続するビデオデータを再生する際のデコーダのビデオバッファの蓄積量の遷移を示す図である。 （ｂ）は、時間的に連続しないパケットが不用意につなぎ合わされたビデオデータを再生する際のビデオバッファの蓄積量の遷移を示す図である。 本実施の形態に係るＤＶＤレコーダの構成を示す図である。 エンコーダ部１０４の詳細な構成を示す図である。 録画中にポーズ又は停止が指示され、ポーズ中にポーズ解除又は停止が指示される時のエンコーダ部１０４の動作を示す図である。 録画中にポーズし、ポーズ中にポーズ解除した場合の、ビデオデータ及びオーディオデータの入出力タイミングを模式的に示す図である。 ポーズ時における、既に生成されたビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 ポーズ前後における、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 ポーズ時における、既に生成されたビデオデータ及びオーディオデータの取り扱い方法の別の一例を示す図である。 ポーズ前後における、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 録画中に停止した場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 、図８に示したようなポーズ中に停止する場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 、図１０に示したようなポーズ中に停止する場合の、ビデオデータ及びオーディオデータの取り扱い方法の一例を示す図である。 ビデオエンコーダ部２０２が、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを入れた状態を示す図である。 システムエンコーダ部２０８が、一時停止前の最終ＧＯＰデータの後ろにシーケンスエンドコードを入れた状態を示す図である。

符号の説明

１０１ ユーザインターフェース部
１０２ システム制御部
１０３ 入力部
１０４ エンコーダ部
１０５ 出力部
１０６ デコーダ部
１０７ トラックバッファ部
１０８ ドライブ
２０１ 制御インターフェース部
２０２ ビデオエンコーダ部
２０３ ビデオバッファ部
２０４ オーディオミュート部
２０５ サンプル部
２０６ オーディオエンコーダ部
２０７ オーディオバッファ部
２０８ システムエンコーダ部
２０９ エンドコード生成要求部
２１０ ビデオエンコーダポーズ部
２１１ サンプルポーズ部
２１２ オーディオエンコーダポーズ部
２１３ システムエンコーダポーズ部

Claims (18)

1. 符号化記録装置であって、
   映像信号を符号化してビデオデータを生成するビデオデータ生成手段と、
   音声信号を符号化して、オーディオデータを生成するオーディオデータ生成手段と、
   前記ビデオデータと前記オーディオデータとを多重化してシステムストリームを生成し、所定の記録媒体に記録する多重記録手段と、
   記録動作中に一時停止の指示を受付けた場合に、生成しているシステムストリームを完結させ記録するように、前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を制御する一時停止制御手段と、
   一時停止中に一時停止解除の指示を受付けた場合に、新たなシステムストリームの生成を開始するように、前記ビデオデータ生成手段、前記オーディオデータ生成手段、及び、前記多重記録手段を一時停止解除させるよう制御する一時停止解除制御手段とを備え、
   前記ビデオデータ生成手段は、画像間の時間相関特性を用いて符号化し、画像の集合であるビデオデータを生成し、前記一時停止制御手段の制御を受けて、個々の画像間の参照関係を完結させて一時停止すること
   を特徴とする符号化記録装置。
2. 前記ビデオデータ生成手段は、前記映像信号をＭＰＥＧ方式で符号化すること
   を特徴とする請求項１に記載の符号化記録装置。
3. 前記ビデオデータ生成手段は、
   画像の集合であるビデオデータをＧＯＰとして生成し、前記一時停止制御手段の制御を受けて、一時停止直前に生成しているＧＯＰの後ろにシーケンスエンドコードデータを入れて、当該ＧＯＰを完結させること
   を特徴とする請求項２に記載の符号化記録装置。
4. 前記ビデオデータ生成手段は、ビデオバッファの占有量を予測し、当該占有量の遷移を示すバッファ遷移情報を生成し、オーバーフロー及びアンダーフローの少なくとも一方を避けるように、映像信号を符号化してビデオデータを生成し、前記一時停止制御手段の制御を受けて、前記バッファ遷移情報を保持し、前記一時停止解除制御手段の制御を受けて、一時停止時に保持した前記バッファ遷移情報を用いて前記ビデオバッファの占有量を予測し、前記映像信号の符号化を再開すること
   を特徴とする請求項１に記載の符号化記録装置。
5. 前記ビデオデータ生成手段は、第１の所定単位毎に、１画像分の映像信号を入手し、
   前記一時停止制御手段は、記録動作中に一時停止の指示を受付けた場合に、前記第１の所定単位の切れ目に同期させて、一時停止タイミングを決定し、
   前記一時停止解除手段は、一時停止中に、ユーザから一時停止解除の指示を受付けた場合に、前記第１の所定単位の切れ目に同期させて、一時停止解除タイミングを決定し、
   前記ビデオデータ生成手段は、前記一時停止タイミングで一時停止し、前記一時停止解除タイミングで再開し、
   前記オーディオデータ生成手段は、前記一時停止タイミングで一時停止し、前記一時停止解除タイミングで再開すること
   を特徴とする請求項１に記載の符号化記録装置。
6. 前記多重化記録手段は、前記一時停止制御手段の制御を受けて、前記一時停止タイミングより第２の所定単位の処理後に、多重及び記録を一時停止し、前記一時停止解除制御手段の制御を受けて、前記一時停止解除タイミングより前記第２の所定単位の処理後に、多重及び記録を再開すること
   を特徴とする請求項５に記載の符号化記録装置。
7. 前記ビデオデータ生成手段は、前記一時停止タイミングより第３の所定単位の処理後に、一時停止までに入手した全ての映像信号の符号化を完了し、
   前記多重化記録手段における前記第２の所定単位は、前記第１の所定単位と前記第３の所定単位との合計であること
   を特徴とする請求項６に記載の符号化記録装置。
8. 前記多重化記録手段は、前記一時停止制御手段の制御を受けて、前記ビデオデータ生成手段により生成されるビデオデータを全て、多重及び記録した後で、一時停止すること
   を特徴とする請求項５に記載の符号化記録装置。
9. 前記多重化記録手段は、一時停止する際に、この時点で多重及び記録していないオーディオデータを保持しておき、前記一時停止解除制御手段の制御を受けて、新に生成されるビデオデータと、保持しておいたオーディオデータとを対象に多重及び記録を再開すること
   を特徴とする請求項８に記載の符号化記録装置。
10. 符号化記録方法であって、
    ビデオバッファの占有量を予測し、当該占有量の遷移を示すバッファ遷移情報生成し、オーバーフロー及びアンダーフローの少なくとも一方を避けるように、映像信号を符号化してビデオデータを生成するビデオデータ生成ステップと、
    音声信号を符号化して、オーディオデータを生成するオーディオデータ生成ステップと、
    前記ビデオデータと、オーディオデータとを多重化してシステムストリームを生成し、所定の記録媒体に記録する多重記録ステップと、
    記録動作中に一時停止の指示を受付けた場合に、生成しているシステムストリームを完結させ記録するように、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を制御する一時停止制御ステップと、
    一時停止中に一時停止解除の指示を受付けた場合に、新たなシステムストリームの生成を開始するように、前記ビデオデータ生成ステップ、前記オーディオデータ生成ステップ、及び、前記多重記録ステップによる処理を一時停止解除させるよう制御する一時停止解除制御ステップとを含み、
    前記ビデオデータ生成ステップにおいて、画像間の時間相関特性を用いて符号化し、画像の集合であるビデオデータを生成し、前記一時停止制御ステップによる制御を受けて、個々の画像間の参照関係を完結させて一時停止すること
    を特徴とする符号化記録方法。
11. 前記ビデオデータ生成ステップは、前記映像信号をＭＰＥＧ方式で符号化すること
    を特徴とする請求項１０に記載の符号化記録方法。
12. 前記ビデオデータ生成ステップは、
    画像の集合であるビデオデータをＧＯＰとして生成し、前記一時停止制御ステップによる制御を受けて、一時停止直前に生成しているＧＯＰの後ろにシーケンスエンドコードデータを入れて、当該ＧＯＰを完結させること
    を特徴とする請求項１１に記載の符号化記録方法。
13. 前記ビデオデータ生成ステップは、ビデオバッファの占有量を予測し、当該占有量の遷移を示すバッファ遷移情報を生成し、オーバーフロー及びアンダーフローの少なくとも一方を避けるように、映像信号を符号化してビデオデータを生成し、前記一時停止制御ステップによる制御を受けて、前記バッファ遷移情報を保持し、前記一時停止解除制御ステップによる制御を受けて、一時停止時に保持した前記バッファ遷移情報を用いて前記ビデオバッファの占有量を予測し、前記映像信号の符号化を再開すること
    を特徴とする請求項１０に記載の符号化記録方法。
14. 前記ビデオデータ生成ステップは、第１の所定期間毎に、１画像分の映像信号を入手し、
    前記一時停止制御ステップは、記録動作中に一時停止の指示を受付けた場合に、前記第１の所定単位の切れ目に同期させて、一一時停止タイミングを決定し、
    前記一時停止解除ステップは、一時停止中に、ユーザから一時停止解除の指示を受付けた場合に、前記第１の所定単位の切れ目に同期させて、一時停止解除タイミングを決定し、
    前記ビデオデータ生成ステップは、前記一時停止タイミングで一時停止し、前記一時停止解除タイミングで再開し、
    前記オーディオデータ生成ステップは、前記一時停止タイミングで一時停止し、前記一時停止解除タイミングで再開することを特徴とする請求項１４に記載の符号化記録方法。
15. 前記多重化記録ステップは、前記一時停止制御ステップによる制御を受けて、前記一時停止タイミングより第２の所定単位の処理後に、多重及び記録を一時停止し、前記一時停止解除制御ステップによる制御を受けて、前記一時停止解除タイミングより前記第２の所定単位の処理後に、多重及び記録を再開することを特徴とする請求項１４に記載の符号化記録方法。
16. 前記ビデオデータ生成ステップは、前記一時停止タイミングより第３の所定単位の処理後に、一時停止までに入手した全ての映像信号の符号化を完了し、
    前記多重化記録ステップにおける前記第２の所定単位は、前記第１の所定単位と前記第３の所定単位との合計であることを特徴とする請求項１５に記載の符号化記録方法。
17. 前記多重化記録ステップは、前記一時停止制御手段の制御を受けて、前記ビデオデータ生成ステップにより生成されるビデオデータを全て、多重及び記録した後で、一時停止することを特徴とする請求項１５に記載の符号化記録方法。
18. 前記多重化記録ステップは、一時停止する際に、この時点で多重及び記録していないオーディオデータを保持しておき、前記一時停止解除制御ステップによる制御を受けて、新に生成されるビデオデータと、保持しておいたオーディオデータとを対象に多重及び記録を再開することを特徴とする請求項１７に記載の符号化記録方法。

Images