JP2010061803A - オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム - Google Patents

オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム Download PDF

Info

Publication number
JP2010061803A
JP2010061803A JP2009282710A JP2009282710A JP2010061803A JP 2010061803 A JP2010061803 A JP 2010061803A JP 2009282710 A JP2009282710 A JP 2009282710A JP 2009282710 A JP2009282710 A JP 2009282710A JP 2010061803 A JP2010061803 A JP 2010061803A
Authority
JP
Japan
Prior art keywords
audio
video
recording
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009282710A
Other languages
English (en)
Inventor
Norihiko Fuchigami
徳彦 渕上
Seiji Higure
誠司 日暮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2009282710A priority Critical patent/JP2010061803A/ja
Publication of JP2010061803A publication Critical patent/JP2010061803A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Abstract

【課題】光ディスク等の記録媒体に記録された２つの異なるオーディオデータとビデオデータの組を、ノイズなくシームレスに接続して再生すること。
【解決手段】再生時にビデオ接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間（Ａ＿ｏｖｅｒｌａｐ）を計算し、更に、このオーバーラップ時間に基づいてオフセット時間を算出する（ステップＳ１２）。算出したオフセット時間を用いてオーディオデータを再生することにより（ステップＳ１４）、接続点付近で、オーディオフレームのギャップを無くして再生することができる。接続点付近では、エンコーダ側及びデコーダ側において、オーディオデータの窓掛け処理を行うことにより、接続元と接続先のオーディオサンプル同士を滑らかに足し合わせる。
【選択図】図１２

Description

本発明はオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムに係り、特に光ディスク等の記録媒体に同期して記録したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録でき、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生するオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムに関する。
オーディオデータとビデオデータを記録媒体に記録する方法には種々あり、ビデオテープに対するアナログ記録やデジタル記録、ディスク媒体に対するアナログ記録やデジタル記録があるが、近年、その高品位とアクセス性などからディスク媒体に対するデジタル記録が主流となりつつある。この代表例がＤＶＤ（Digital Versatile Disc）であり、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭなどの記録型メディアに、高品位なビデオデータ及びオーディオデータをシームレスになるように記録／再生することが行われている（例えば、再公表特許ＷＯ９７／１３３６４号公報（図４７、図６１）参照）。
ここで、ビデオデータの符号化方式としては、一般的にＭＰＥＧ（Moving Picture Experts Group）ビデオが用いられる。ＭＰＥＧビデオ（主にＭＰＥＧ−２ビデオ）では、ビデオデータの各フレーム（またはフィールド）をＩピクチャ、Ｐピクチャ、Ｂピクチャの種別を持って符号化する。Ｉピクチャとは、独立して復号化可能なピクチャであり、ＩはIntraの略である。Ｐピクチャとは、Ｉピクチャまたは他のＰピクチャからの前方予測を用いて符号化されるピクチャであり、ＰはPredictionの略である。Ｂピクチャとは、ＩピクチャまたはＰピクチャからの前方／後方予測を用いて符号化されるピクチャであり、ＢはBi-directional-predictionの略である。なお、ＮＴＳＣ方式でのビデオフレーム周期は、約１／３０秒（正確には１／２９.９７秒）であり、ＰＡＬ方式の場合は１／２５秒である。
一方、オーディオデータの符号化方式としては、大別するとリニアＰＣＭ方式と、圧縮符号化方式の２種類が存在する。圧縮符号化方式の中では、ドルビーデジタル（ＡＣ−３）やＤＴＳ（Digital Theater Systems）、ＭＰＥＧオーディオなどがよく用いられる。
リニアＰＣＭ方式では、サンプリング及び量子化後のデジタルデータを伝送する。伝送ビット数は１６、２０、２４等が用いられる。サンプリング周波数には４８ｋＨｚなどが用いられる。オーディオフレーム周期の設定は任意である。例えば、１／６００秒（４８ｋＨｚ時に８０サンプル分）などが用いられる。
圧縮符号化方式では、リニアＰＣＭデータを直交変換や聴覚心理モデルを用いて圧縮する。オーディオフレーム周期は、２のべき乗のサンプル数（または更にその整数倍）を適用する場合が多く、例えば４８ｋＨｚ時に１０２４サンプルであれば、オーディオフレーム周期は約２１ｍｓｅｃ（＝１０２４／４８０００）となる。圧縮符号化方式でオーディオフレームに２のべき乗のサンプル数を使用する理由は、リニアＰＣＭサンプルデータをスペクトルに変換する直交変換が、２のべき乗のサンプルを入出力とするのに適しているからである。
ところで、音声付ビデオ信号を符号化し、ＤＶＤ等の記録媒体に記録する場合、ビデオデータとオーディオデータは上記のような符号化方式で符号化され、さらにＭＰＥＧシステムによって多重化され、例えばＭＰＥＧプログラムストリームとして記録媒体上に記録される。以下、このような多重化ストリームデータをビデオオブジェクト（ＶＯＢ）と呼ぶことにする。
このとき、ＶＯＢ内のビデオデータとオーディオデータは同期しているが、ビデオフレーム周期とオーディオフレーム周期は一致していることはまずなく、別々の周期で記録されている。というのも、ビデオフレーム周期はＴＶシステムに依存して一意に決定され、オーディオフレーム周期は、例えば圧縮符号化の効率化を考えた最適な長さを別途設定されるからである。この様子を図１に示す。
図１に示すように、ビデオフレーム周期（ＴV）とオーディオフレーム周期（ＴA）が異なる。一連のビデオデータとオーディオデータが同期して記録される例であり、データ先頭部分ではビデオデータとオーディオデータのフレーム先頭が一致している、典型例である。データの途中では、基本的にビデオフレーム境界とオーディオフレーム境界は一致しない（ビデオフレーム周期とオーディオフレーム周期の最小公倍数の位置を除く）。
ここで、別々に記録された２つのＶＯＢの全部又は一部分ずつを接続編集し、連続して再生する用途が考えられる。図２はこの一例を示す。同図は、ＶＯＢ（ｉ）の時刻ＸからＶＯＢ（ｊ）の時刻Ｙへ接続する例を示す。ビデオフレームに添えられたＩ、Ｐ、Ｂの文字は、既に説明したピクチャのタイプを示す。なお、図中ビデオフレームもオーディオフレームも再生時の順序で表示されていることに注意されたい。実際のＶＯＢ中では、Ｉｉ１、Ｐｉ１、Ｂｉ１、Ｂｉ２という順序で記録し、Ｂｉ１やＢｉ２の復号化がＩｉ１とＰｉ１を使って実行できるようにする必要がある。
ここで、再生時にＶＯＢ（ｉ）の時刻Ａから時刻Ｘまでの各ピクチャを再生し、引き続きＶＯＢ（ｊ）の時刻Ｙから時刻Ｂまでの各ピクチャを再生するためには、この再生パスのなかに含まれる時刻Ｘおよび時刻Ｙ付近でのピクチャタイプに注意が必要である。つまり、ＶＯＢ（ｉ）のＢｉ３とＢｉ４の復号化にはＰｉ２が必要であるが、Ｐｉ２はこの再生パスの中に存在しない。従って、例えばＢｉ４をＰピクチャタイプＰｉ４'に変換し、Ｂｉ３をＢｉ３'に変換する必要がある（Ｂｉ３'はＰｉ１とＰｉ４'から符号化）。
同様に、ＶＯＢ（ｊ）のＰｊ１の復号化にはＩｊ１が必要であるが、Ｉｊ１はこの再生パスの中に存在しない。従って、例えばＰｊ１をＩピクチャタイプＩｊ１'に変換する必要がある。こうすることにより、Ｐｉ１→Ｂｉ３'→Ｐｉ４'→Ｉｊ１'→Ｂｊ３→Ｂｊ４というパスでデータを再生することが可能になる。便宜上、接続後の接続点をＺとする。
なお、上記の説明はビデオ符号化方式がＭＰＥＧのようなフレーム間予測を用いたものである場合の一例であり、例えばＤＶ方式のように符号化が各フレームで完結している場合には、このようなピクチャの変換処理は必要ない。また、ＭＰＥＧ等の場合でも、例えば、接続元がＩピクチャの直前のＢピクチャで終り、接続先がＩピクチャで始まるような接続点を選ぶ場合などにも、ピクチャ変換処理は必要ない。
次に、接続点Ｚでのビデオフレームの再生について考える。上記の例では、基本的にはＰｉ４'のフレームを１ビデオフレーム周期再生した直後にＩｊ１'フレームを再生すること、つまり、ビデオフレーム画像をＺ点で止めることのないシームレスな再生が要求される。シームレス再生を行うためには、一般に次のような条件を満足している必要がある。
（１） Ａ→Ｚ→Ｂのパスを復号化するのに必要なビデオフレームのデータが、このパスの中に含まれていること（上記の説明）。
（２） システムに規定のバッファが、Ａ→Ｚ→Ｂのパスのデータ読み込みでバッファアンダーフローを起こさないように、記録データが配置されていること。この目的のため、Ｚ付近のデータ、または、Ａ→Ｚ→Ｂのパスのデータの全部または一部が接続編集前の位置とは異なる位置に再記録される場合がある。
（３） 接続点Ｚの前後で、システムタイムクロック（ＳＴＣ）をリセットする処理を行うこと。これは、一般にＶＯＢ（ｉ）中の時間軸と、ＶＯＢ（ｊ）中の時間軸とが異なり、従って時刻ＸでのＳＴＣ値と、時刻ＹでのＳＴＣ値は異なる値を持つためである。
ここで、同じ図２を用いて、接続編集でのオーディオフレームの扱いについて考える。
上記で説明したようにビデオフレーム間をシームレス接続するようにデータを構成する場合、基本的に接続点でオーディオフレームはシームレスに接続できない。これは、オーディオフレーム周期がビデオフレーム周期と異なるからであり、任意の接続点で、接続元の最終オーディオフレームの再生終了時刻と、接続先の先頭オーディオフレームの再生開始時刻が一致することが期待できないからである。このため、図２にＧで示したように、従来はオーディオフレーム間にギャップの存在を許容することになる。
図３は、図２のような接続編集を考慮した場合の従来の再生装置の一例のブロック図を示す。
同図において、記録媒体１０１から図示しない再生機構により読み出された、図２にＡ→Ｚ→Ｂで示したパスのデータは、トラックバッファ１０２を経由してデマルチプレクサ１０３へ入力される。デマルチプレクサ１０３ではビデオストリームとオーディオストリーム（またはその他のストリーム、図示しない）の多重化を解き、ビデオストリームはビデオバッファ１０４を経由してビデオデコーダ１０５に入力し、オーディオストリームはオーディオバッファ１０６を経由してオーディオデコーダ１０７へ入力する。
ビデオデコーダ１０５とオーディオデコーダ１０７では、それぞれビデオとオーディオの復号化を行う。ビデオ符号化方式がＭＰＥＧ等の場合は、ビデオデコーダ１０５の出力側に、ピクチャ順序を再生順序に並べ替えるリオーダーバッファ１０９が装備される。ここで、ＳＴＣ回路１０８は、デマルチプレクサ１０３からのＶＯＢデータから抽出したシステムクロックリファレンス（ＳＣＲ）などの基準時刻信号を基にＳＴＣをカウントする回路である。接続点ＺではＳＴＣのリセットも行う。また、図２にＧで示したようなオーディオ再生のギャップが発生する位置で、これを示す制御信号（ここではミュート信号と呼ぶ）を発生し、オーディオデコーダ１０７をギャップの期間ミュートすることも受け持つ。
次に、図４に示すように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致する例を考える。この場合も、ＶＯＢ（ｉ）のＢｉ３とＢｉ４の復号化にはＰｉ２が必要であるが、Ｐｉ２はこの再生パスの中に存在しない。従って、例えばＢｉ４をＰピクチャタイプＰｉ４'に変換し、Ｂｉ３をＢｉ３'に変換する必要がある（Ｂｉ３'はＰｉ１とＰｉ４'から符号化）。
同様に、ＶＯＢ（ｊ）のＰｊ１の復号化にはＩｊ１が必要であるが、Ｉｊ１はこの再生パスの中に存在しない。従って、例えばＰｊ１をＩピクチャタイプＩｊ１'に変換する必要がある。こうすることにより、Ｐｉ１→Ｂｉ３'→Ｐｉ４'→Ｉｊ１'→Ｂｊ３→Ｂｊ４というパスでデータを再生することが可能になる。
一方、オーディオデータに関しては、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致するため、図４に示すように、接続元のオーディオフレームと接続先のオーディオフレーム間にはギャップが生じない。
再公表特許ＷＯ９７／１３３６４号公報（図４７、図６１）
しかるに、以上説明した従来のオーディオ／ビデオ記録再生方法及び装置では、任意のＶＯＢ同士の接続編集において、接続点でのオーディオの再生に問題がある。すなわち、ビデオフレームをシームレス接続することを基準とする場合、図２に示したようにＡ→Ｚ→Ｂのパスでビデオフレームをシームレス再生する場合、接続元と接続先のオーディオフレーム間にギャップＧが生じ、オーディオ再生はＺ点付近のギャップ点で一瞬ミュートし、シームレスには再生されないという問題がある。
また、図４に示したように、接続編集点で接続元の最終オーディオフレームの再生終了時刻Ｘと、接続先の先頭オーディオフレームの再生開始時刻Ｙが一致する場合であっても、接続元の最後のオーディオサンプル値と、接続先の最初のオーディオサンプル値は一般に不連続であるため、図５に示すように、復号した接続元オーディオ波形ａと復号した接続先オーディオ波形ｂとの接続点Ｚでノイズが発生する。このようなオーディオサンプルの不連続は、リニアＰＣＭやＭＰＥＧオーディオレイヤＩ、IIなど、基本的にオーディオ信号を直交変換することなく時間波形として符号化する全ての方式で、本来不連続なオーディオフレーム同士を接続した場合に見受けられる問題である。
本発明は以上の点に鑑みなされたもので、光ディスク等の記録媒体に記録された２つの異なるオーディオデータとビデオデータの組を、ノイズなくシームレスに接続して再生するオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラムを提供することを目的とする。
上記の目的を達成するため、第１の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、編集点を記録媒体に登録情報として記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録するようにしたため、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
また、上記の目的を達成するため、第２の発明は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、編集点を管理情報として記録媒体に記録する第４のステップと、を含むことを特徴とする。この発明は、第１の発明と同様に、記録時にオーバーラップ時間やオフセット時間を計算しなくて済む。
また、上記の目的を達成するため、第３の発明のオーディオ／ビデオ再生装置は、第１の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
また、上記の目的を達成するため、第４の発明のオーディオ／ビデオ再生方法は、第２の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップと、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップと、第２のステップで算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップと、記録媒体から再生したオーディオフレームを第４のステップでオフセットしたＰＴＳに応じて再生すると共に、第３のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップと、第６のステップにより再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、を含むことを特徴する。
この発明では、第３の発明と同様に、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
また、上記の目的を達成するため、第６の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、オーディオデータとビデオデータとを多重化してビデオオブジェクトを生成する多重化手段と、多重化手段による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるように、多重化手段を制御すると共に、そのオーディオ多重化状態を示すフラグを作成する制御手段と、制御手段により制御された多重化手段から出力されるビデオオブジェクトを、制御手段で作成されたオーディオ多重化状態を示すフラグと共に記録媒体に記録する記録手段と、を有することを特徴とする。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第７の発明のオーディオ／ビデオ記録装置は、第６の発明に加えて、更に接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段と、編集点を記録媒体に登録情報として記録する第２の記録手段と、を有することを特徴とする。
また、上記の目的を達成するため、第８の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップと、第２のステップの制御によるオーディオ多重化状態を示すフラグを、第２のステップの制御の下に多重化して得られたビデオオブジェクトと共に記録媒体に記録する第３のステップと、を含むことを特徴とする。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録するようにしたため、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第９の発明のオーディオ／ビデオ記録方法は、上記の第８の発明に加えて更に、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第４のステップと、接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第５のステップと、編集点を管理情報として記録媒体に記録する第６のステップと、を含むことを特徴とする。
また、上記の目的を達成するため、第１０の発明のオーディオ／ビデオ再生装置は、第７の発明の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生管理情報内の編集点に関して、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、編集点が再生シーケンス内の２つ目以降の接続点であった場合は、計算したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、上記の目的を達成するため、第１１の発明のオーディオ／ビデオ再生装置は、第３の発明または第１０の発明のオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第１２の発明のオーディオ／ビデオ再生方法は、第９の発明の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、第４の発明と同様の第１乃至第７のステップにより再生を行う。これにより、再生管理情報から得た編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算すると共に、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間とを計算するようにしたため、記録媒体から再生したオーディオフレームをオフセットしたＰＴＳに応じて再生することができる。
また、上記の目的を達成するため、第１３の発明のオーディオ／ビデオ再生方法は、第４の発明又は第１２の発明の第２のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第５の発明又は第１４の発明のオーディオ／ビデオ再生プログラムは、第２の発明の記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させることを特徴とする。
また、上記の目的を達成するため、第１５の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、少なくともオーバーラップ時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
また、上記の目的を達成するため、第１６の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第４のステップと、少なくともオーバーラップ時間を管理情報として記録媒体に記録する第５のステップと、を含むことを特徴とする。
この発明では、第１５の発明と同様に、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を算出して管理情報として記録媒体に記録するようにしたため、再生時にオーバーラップ時間を計算しなくて済む。
また、上記の目的を達成するため、第１７の発明は、第１５の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、記録媒体からオーバーラップ時間を再生するオーバーラップ時間再生手段と、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段と、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生すると共に、オーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段と、オーディオフレーム再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生時に記録媒体から読み出したオーバーラップ時間に基づいて、記録媒体から読み出した接続点が再生シーケンス内の最初の接続点であるのか、２つ目以降の接続点であるのかに応じて、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において所定値のオーディオドロップフラグを出力し、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第１８の発明のオーディオ／ビデオ再生装置は、第１７の発明におけるオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段としたことを特徴とする。
この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第１９の発明のオーディオ／ビデオ再生方法は、第１６の発明によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビオ再生方法であって、記録媒体からオーバーラップ時間を再生する第１のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、記録媒体から再生したオーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、記録媒体から再生したオーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップと、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップと、算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップと、記録媒体から再生したオーディオデータを第４のステップでオフセットしたＰＴＳに応じて再生すると共に、第３のステップで出力したオーディオドロップフラグが所定値であるときは、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップと、第６のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、を含むことを特徴する。
この発明は、第１７の発明と同様に、記録媒体から読み出したオーバーラップ時間に基づいて、現接続点でのオーディオＰＴＳオフセット時間として算出し、その算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第２０の発明のオーディオ／ビデオ再生方法は、第１６の発明の第２のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力することを特徴とする。
更に、上記の目的を達成するため、第２１の発明のオーディオ／ビデオ再生プログラムを、第１３の発明のオーディオ／ビデオ記録方法によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、該再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法をコンピュータに実行させるオーディオ／ビデオ再生プログラムとしたものである。
また、上記の目的を達成するため、第２２の発明のオーディオ／ビデオ記録装置は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録装置であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力するオーディオ符号化手段と、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更するビデオデータ変更手段と、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する編集点決定手段と、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段と、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出するオフセット時間算出手段と、少なくともオーディオＰＴＳオフセット時間を管理情報として記録媒体に記録する記録手段と、を有する構成としたものである。
この発明では、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するに際し、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定し、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出して管理情報として記録媒体に記録するようにしたため、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第２３の発明のオーディオ／ビデオ記録装置は、第１９の発明のオフセット時間算出手段を、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する手段とし、記録手段は、オーディオＰＴＳオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明では、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第２４の発明のオーディオ／ビデオ記録方法は、同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体に記録するに際し、複数のビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように記録媒体に記録するオーディオ／ビデオ記録方法であって、記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行ってオーディオデータを出力する第１のステップと、接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるようにビデオデータを必要に応じて変更する第２のステップと、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定する第３のステップと、接続点を含んで、最後に再生すべきオーディオフレームと、最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第４のステップと、接続点が再生シーケンス内の最初の接続点であった場合は、オーバーラップ時間を接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、接続点が再生シーケンス内の２つ目以降の接続点であった場合は、オーバーラップ時間と一つ前の接続点でのオーディオＰＴＳオフセット時間を加算した値を、現接続点でのオーディオＰＴＳオフセット時間として算出する第５のステップと、少なくともオーディオＰＴＳオフセット時間を管理情報として記録媒体に記録する第６のステップと、を含むことを特徴とする。この発明では、第２２の発明のオーディオ／ビデオ記録装置と同様に、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第２５の発明のオーディオ／ビデオ記録方法は、第２１の発明の第５のステップを、算出した接続点でのオーディオＰＴＳオフセット時間が、オーディオフレーム期間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、オーディオＰＴＳオフセット時間からオーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するステップとし、第６のステップは、オーディオＰＴＳオフセット時間とオーディオドロップフラグを管理情報として記録媒体に記録することを特徴とする。この発明は、第２３の発明のオーディオ／ビデオ記録装置と同様に、接続点以降のオーディオフレームとビデオフレームとの同期ずれは、１オーディオフレーム期間以内又は±０.５オーディオフレーム期間以内の、基本的にリップシンクずれとして検知できない量とすることができる。
また、上記の目的を達成するため、第２６の発明のオーディオ／ビデオ再生装置は、第２２又は第２３の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段と、記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段と、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段と、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生するオーディオデータ再生手段と、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するドロップ処理手段と、オーディオデータ再生手段により再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段と、を有する構成としたものである。
この発明では、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
また、上記の目的を達成するため、第２７の発明のオーディオ／ビデオ再生方法は、第２２又は第２３の発明の記録装置によりビデオオブジェクト及び再生シーケンスを記録した記録媒体から、再生シーケンスに基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、再生シーケンスに含まれるビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第１のステップと、記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットする第２のステップと、記録媒体から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第３のステップと、記録媒体から再生したオーディオデータをオフセットしたＰＴＳに応じて再生する第４のステップと、記録媒体から再生したオーディオドロップフラグが所定値であるときは、当該ビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第５のステップと、第４のステップにより再生されたオーディオデータに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第６のステップと、を含むことを特徴する。
この発明では、第２６の発明のオーディオ／ビデオ再生装置と同様に、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするようにしたため、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にできる。
また、本発明の第２８の発明のオーディオ／ビデオ記録プログラムは、コンピュータにより第２４の発明のオーディオ／ビデオ記録方法を実行させ、本発明の第２９の発明のオーディオ／ビデオ再生プログラムは、第２７の発明のオーディオ／ビデオ再生方法をコンピュータにより実行させることを特徴とする。
図１は、ビデオフレームとオーディオフレームの関係の一例を示す図である。 図２は、従来の接続編集とビデオ／オーディオ再生の概念図である。 図３は、従来の再生装置の一例のブロック図である。 図４は、従来の接続編集とビデオ／オーディオ再生の別の概念図である。 図５は、従来における、接続点でのオーディオ波形の一例である。 図６は、本発明における接続編集とビデオ／オーディオ再生の概念図である。 図７は、本発明の要部のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図及び窓関数の一例を示す図である。 図８は、本発明の第１の実施の形態の接続編集とビデオ／オーディオ再生の概念図である。 図９は、本発明のオーディオ／ビデオ記録装置の実施の形態Ｉのブロック図である。 図１０は、本発明のオーディオ／ビデオ記録方法の実施の形態Ｉのフローチャートである。 図１１は、本発明のオーディオ／ビデオ再生装置の実施の形態Ｉのブロック図である。 図１２は、本発明のオーディオ／ビデオ再生方法の実施の形態Ｉのフローチャートである。 図１３は、オーディオバッファ占有量を考慮した場合の、本発明の記録方法の一実施の形態のフローチャートである。 図１４は、オーディオバッファ占有量を考慮した場合の、本発明の編集方法の一実施の形態のフローチャートである。 図１５は、本発明の第２の実施の形態の接続編集とビデオ／オーディオ再生の概念図である。 図１６は、本発明のオーディオ／ビデオ記録装置の実施の形態IIのブロック図である。 図１７は、本発明のオーディオ／ビデオ記録方法の実施の形態IIのフローチャートである。 図１８は、本発明のオーディオ／ビデオ再生装置の実施の形態IIのブロック図である。 図１９は、本発明のオーディオ／ビデオ再生方法の実施の形態IIのフローチャートである。 図２０は、本発明のオーディオ／ビデオ記録装置の実施の形態IIIのブロック図である。 図２１は、本発明のオーディオ／ビデオ記録方法の実施の形態IIIのフローチャートである。 図２２は、本発明のオーディオ／ビデオ再生装置の実施の形態IIIのブロック図である。 図２３は、本発明のオーディオ／ビデオ再生方法の実施の形態IIIのフローチャートである。
以下、図面を参照して本発明の実施の形態について説明する。
図６は本発明になるオーディオ／ビデオ記録装置、記録方法、再生装置、再生方法及び再生プログラムの一実施の形態における接続編集とビデオ／オーディオ再生の例を示す。同図中、図２と同一部分には同一符号を付し、その説明を省略する。図６の実施の形態は図２の従来例と同様に、ＶＯＢ（ｉ）の時刻ＸからＶＯＢ（ｊ）の時刻Ｙへ接続する例であるが、本実施の形態では、以下の２つの点が従来例と異なる。
（１） 接続編集後にＶＯＢ（ｉ）で有効な最後のオーディオフレームは、時刻Ｘを含むオーディオフレームである（オーディオフレームの再生終了時刻が時刻Ｘと等しい場合（＊１）を含む。）。同様に、接続編集後にＶＯＢ（ｊ）で有効な最初のオーディオフレームは、時刻Ｙを含むオーディオフレームである（オーディオフレームの再生開始時刻が時刻Ｙと等しい場合（＊２）を含む）。つまり、接続後のＺ点において、ＶＯＢ（ｉ）の最後のオーディオフレームとＶＯＢ（ｊ）の最初のオーディオフレームがオーバーラップする。図６にＯＬで示すオーバーラップ部分を、本明細書ではオーディオオーバーラップ（Ａ＿ｏｖｅｒｌａｐ）と呼ぶものとする。なお、上記の＊１と＊２が同時に満足される場合には、Ａ＿ｏｖｅｒｌａｐはゼロとなる。
（２） ＶＯＢ（ｊ）のオーディオ再生においては、上記Ａ＿ｏｖｅｒｌａｐをキャンセルする分だけオーディオフレームの再生時刻（ＰＴＳ：Presentation Time Stamp）をオフセットして再生する。このオフセット量を、本明細書ではオーディオＰＴＳオフセット（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ）と呼ぶものとする。
このように本実施の形態では、後続のＶＯＢのオーディオフレームをオフセットし、接続点付近で、オーディオフレームのギャップを無くして接続することができ、上記問題点の１つが解決される。
更に、接続点での不連続ノイズを生じさせないため、本実施の形態では、オーディオ符号化方式の選択に工夫を行う。
図７の（Ａ）は本発明になるオーディオ／ビデオ記録装置及び再生装置のオーディオエンコードブロック及びオーディオデコードブロックの一実施の形態のブロック図を示す。
図７の（Ａ）に示すように、オーディオエンコードブロックでは、入力オーディオ信号は、窓掛け部１１において窓関数との乗算による窓掛け処理された後、直交変換部１２に供給されて直交変換され、更に量子化／符号化部１３に供給されて所定サンプリング周波数に基づいて量子化された後、所定の方式の圧縮符号化が行われる。これにより得られた圧縮符号化オーディオデータは、図示しないビデオデータ記録系で圧縮符号化されたビデオデータと共に、図示しない多重化部でＭＰＥＧシステムの多重化により、例えばＭＰＥＧプログラムストリームとして記録媒体１４上に公知の記録手段により記録される。
一方、記録媒体１４から公知の再生手段により再生された多重化ストリームは、図示しない分離化部によりオーディオデータとビデオデータに分離された後、ビデオデータは図示しないビデオデータ再生系へ出力され、オーディオデータはオーディオデコードブロック内の復号化／逆量子化部１５に供給されて復号化される。復号化及び逆量子化されたオーディオデータは、直交逆変換部１６により直交逆変換された後、窓掛け部１７に供給されて所定の窓関数との乗算による窓掛け処理が行われた後オーディオ信号に復元される。
次に、窓掛け部１１及び１７で使用される窓関数について、図７の（Ｂ）〜（Ｄ）と共に説明する。各オーディオフレームの窓関数は、図７の（Ｃ）に示すように、左肩をｆ（ｘ）、右肩をｇ（ｘ）とした左右対称形をしている。ここで、中央のフラット部分はあっても無くてもよい。図７の（Ｂ）に模式的に示す隣り合ったオーディオフレーム（ｉ）と（ｉ＋１）の間で、オーディオフレーム（ｉ）の窓関数ｇ（ｘ）部分と、オーディオフレーム（ｉ＋１）の窓関数ｆ（ｘ）部分がオーバーラップする。
ここで、実際にオーディオフレーム（ｉ）で符号化するオーディオサンプルは、図７の（Ｂ）に示す（ｉ）レンジで示した部分であることに注意されたい。エンコード側の窓掛け部１１とデコード側の窓掛け部１７で都合２回の窓掛けを行うことを考慮すると、上記のオーディオフレーム（ｉ）と（ｉ＋１）のオーバーラップ部分で、
ｆ（ｘ）2＋ｇ（ｘ）2＝１.０ ・・・ ［式１］
を満たす必要がある。このような窓関数の一例としては、
ｆ（ｘ）＝ｓｉｎ（ｘ） ・・・ ［式２］
ｇ（ｘ）＝ｃｏｓ（ｘ） ・・・ ［式３］
があるが、［式１］を満足するのであれば、どのような関数でもよい。
このような窓関数を使用したオーディオ符号化方式を用いる場合、本来不連続なオーディオフレーム同士を接続した場合でも、図７の（Ｄ）に示すように、２回の窓掛けによるｆ（ｘ）２とｇ（ｘ）２の窓関数により、オーディオサンプル同士が滑らかに足し合わせられるので、接続点で不連続ノイズを生じることは無い。従って、２つ目の問題点が解決される。つまり、以上により計２つの問題点が解決され、オーディオフレーム同士のシームレス接続が実現する。
＜第１の実施の形態の接続編集とビデオ／オーディオ再生＞
次に、図と関連する数式を用いて、第１の実施の形態について詳細に説明する。図８はＶＯＢ１、ＶＯＢ２、ＶＯＢ３のそれぞれの一部をこの順序で接続編集する場合のビデオ／オーディオ記録方法及び再生方法の第１の実施の形態を示す（なお、ここでは接続前のＶＯＢ１、ＶＯＢ２、ＶＯＢ３の図は省略してある。また、便宜上、図８の各ＶＯＢに含まれるビデオ／オーディオフレーム数は少ないが、現実には数十秒から数時間程度に相当するフレーム群が各ＶＯＢに含まれ得ることに注意されたい。）。なお、図８及び後述する図１５において、ＴVは既に説明したビデオフレーム周期である。
図８において、点線矩形で示すオーディオフレーム群は、接続前の状態であり、実線矩形で示すオーディオフレーム群が、接続後の状態である。他方、ビデオフレーム群は全て接続後の状態で表示されている。以下、図８およびこれ以降の図と共に、本実施の形態で使用する変数類についてまとめて説明する。なお、以下のｋは正の整数であり、図８の例では１、２、３のいずれかが入る。
図８において、ＳＴＣｋは、ＶＯＢｋ再生中に使用するＳＴＣ値のカウントアップを示す模式表現である。ＳＴＣ＿ｄｅｌｔａｋはＳＴＣ（ｋ−１）とＳＴＣｋの差分であり、次式で表される。
ＳＴＣ＿ｄｅｌｔａk＝ＳＴＣ（ｋ−１）−ＳＴＣｋ ・・・［式４］
また、ＴAは、既に説明したように、オーディオフレーム周期である。Ａ＿ｏｖｅｒｌａｐkは、既に説明したように、ＶＯＢｋとＶＯＢ（ｋ−１）の間のオーディオフレーム同士のオーバーラップ時間である。なお、この例では、ＶＯＢ１は先頭なので、Ａ＿ｏｖｅｒｌａｐ1＝０である。
また、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkは、既に説明したように、ＶＯＢｋ再生時のオーディオＰＴＳに対する必要なオフセット時間である。なお、この例では、ＶＯＢ１は先頭なので、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ1＝０である。ＰＴＳｋａｕｄｉｏ＿ｅｎｄは、ＶＯＢｋの、最後のオーディオフレームの再生開始時刻（ＰＴＳ値）である。なお、これは接続編集前の値である。
ＰＴＳkａｕｄｉｏ＿ｓｔａｒｔは、ＶＯＢｋの、最初のオーディオフレームの再生開始時刻（ＰＴＳ値）である。なお、これは接続編集前の値である。このとき、Ａ＿ｏｖｅｒｌａｐkは次のように計算できる。
Ａ＿ｏｖｅｒｌａｐk＝（ＰＴＳk-1ａｕｄｉｏ＿ｅｎｄ＋ＴA）
−（ＰＴＳkａｕｄｉｏ＿ｓｔａｒｔ＋ＳＴＣ＿ｄｅｌｔａk）
・・・［式５］
なお、［式５］の右辺第二項は、ＳＴＣｋ上の時刻をＳＴＣ（ｋ−１）上に写像するために、ＳＴＣ＿ｄｅｌｔａkを足し合わせている。
次に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkは、基本的にはＡ＿ｏｖｅｒｌａｐkをゼロにするように後続のＶＯＢのオーディオフレーム群をオフセットする量であるので、図８のｋ＝２については、
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2＝Ａ＿ｏｖｅｒｌａｐ2 ・・・［式６］
が成り立つ。さらに、図８のｋ＝３については、ｋ＝２において、既にＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2の量だけＶＯＢ２のオーディオフレーム群はオフセットされているので、本来のＡ＿ｏｖｅｒｌａｐ3に加えて、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2の分オーバーラップ量が加算される。これをゼロにするため、ｋ＝３については
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3
＝Ａ＿ｏｖｅｒｌａｐ3＋Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2 ・・・［式７］
が基本的に要求される。従って、一般式としては、
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk
＝Ａ＿ｏｖｅｒｌａｐk ＋ Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk-1
・・・［式８］
が成り立つ。
但し、ここで、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkがオーディオフレーム周期ＴAよりも大きくなる場合には、ＶＯＢ（ｋ−１）の最後のオーディオフレームを再生から落とすことにより、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔkの量を減らすことができる。図８では、×印で示したフレームを脱落させる。この条件式を下に示す。ここで、ＡＦ＿ｄｒｏｐk-1は、ＶＯＢ（ｋ−１）の最後のオーディオフレームを脱落させる場合に値１を持つ（脱落させない場合は０）、オーディオドロップフラグである。図８の例の場合、ＡＦ＿ｄｒｏｐ2＝１となる。
Ｉｆ（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＞＝ＴA）｛
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＝Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk−ＴA；
ＡＦ＿ｄｒｏｐk-1＝１；
｝ｅｌｓｅ ＡＦ＿ｄｒｏｐk-1＝０； ・・・ ［式９］
このような脱落処理を行えば、ＶＯＢの接続回数が増えた場合にもＡ＿ＰＴＳ＿ｏｆｆｓｅｔの値が累積して過剰に大きくなるのを防ぐことができる。
本発明では、接続後のＶＯＢｋでオーディオフレームを本来のビデオフレームとの同期関係からＡ＿ＰＴＳ＿ｏｆｆｓｅｔ分だけずらして再生する。一般には、このズレはリップシンクに影響を及ぼし、ズレが１〜２ビデオフレーム周期より大きくなると、リップシンクの劣化が検知できるといわれている。従って、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ値は過剰に大きくならない方がよい。例えば、オーディオフレーム周期ＴAがビデオフレーム周期ＴV以下であれば、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔをオーディオフレーム周期ＴA以内に抑えるのは有効である。
＜オーディオ／ビデオ記録装置の実施の形態Ｉ＞
次に、本発明になるオーディオ／ビデオ記録装置の実施の形態Ｉについて説明する。図９は、本発明になるオーディオ／ビデオ記録装置の実施の形態Ｉのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
図９において、ユーザーインタフェース部２５、管理情報制御部２６及びオブジェクト制御部２７は、ＭＰＵブロック２２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部２５を通じてユーザーから与えられる。管理情報制御部２６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、まず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部２７、ビデオ／オーディオエンコードブロック２４、媒体記録制御部２３を通じて行われ、記録媒体２１に書き込まれる。
＜オーディオ／ビデオ記録方法の実施の形態Ｉ＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態Ｉのオーディオシームレス接続のための計算と記録について、図１０のフローチャートを併せ参照して説明する。
まず、管理情報制御部２６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ２）。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。最後に、編集後のＶＯＢ（接続点付近のデータ）が、オブジェクト制御部２７及び媒体記録制御部２３を通して記録媒体２１に書き込まれる（ステップＳ４）。このとき、上記の編集点の情報も管理情報として記録媒体２１に書き込まれる。なお、ビデオ／オーディオエンコードブロック２４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
なお、図１０で説明した記録方法は、図９で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
＜オーディオ／ビデオ再生装置の実施の形態Ｉ＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態Ｉについて説明する。図１１は本発明になるオーディオ／ビデオ再生装置の実施の形態Ｉのブロック図を示す。
図１１において、記録媒体３１には図９に示した記録装置により編集記録された編集後のＶＯＢが記録されている。また、ユーザーインタフェース部３６、管理情報制御部３７、Ａ＿ｏｖｅｒｌａｐ計算部３８、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９及びオブジェクト制御部４０は、ＭＰＵブロック４１を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部３６を介して管理情報制御部３７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部３７で判定され、オブジェクト制御部４０及び媒体再生制御部３２を介してＶＯＢデータが記録媒体３１から読み出される。なお、編集点等の管理情報は、既に記録媒体３１から媒体再生制御部３２を介して読み出され、ＭＰＵブロック４０内のメモリ（図示しない）に常時保存されているとする。
読み出されたＶＯＢデータは、媒体再生制御部３２よりデマルチプレクサ３３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック３４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック３５に供給され、ビデオデータはそのビデオデータに付随したビデオＰＴＳに応じてデコードされてビデオフレームとなり、またオーディオデータはオフセットしたＰＴＳに応じてデコードされる。なお、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームは再生されない。
この際、ＳＣＲなどのクロック情報はデマルチプレクサ３３で解読され、必要に応じてＭＰＵブロック４０へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック４０から、デマルチプレクサ３３、ビデオデコードブロック３４及びオーディオデコードブロック３５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体３１には前述した接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間Ａ＿ｏｖｅｒｌａｐと、Ａ＿ｏｖｅｒｌａｐをゼロにするように後続のＶＯＢのオーディオフレーム群をオフセットして再生するためのオフセット量を示すＡ＿ＰＴＳ＿ｏｆｆｓｅｔとが、記録媒体３１に記録されていないので、再生側で計算して用いる。
すなわち、Ａ＿ｏｖｅｒｌａｐ計算部３８は、管理情報制御部３７に入力された再生シーケンスの情報から得た編集点での情報を、前述した［式５］に代入して、オーバーラップ時間Ａ＿ｏｖｅｒｌａｐを計算する。また、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９は、Ａ＿ｏｖｅｒｌａｐ計算部３８により計算された接続点でのＡ＿ｏｖｅｒｌａｐが管理情報制御部３７を介して入力されてＡ＿ＰＴＳ＿ｏｆｆｓｅｔを計算する。
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９は、入力されたＡ＿ｏｖｅｒｌａｐに基づいて、［式８］の演算式によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔを算出し、更に［式９］の条件式に基づいてＡＦ＿ｄｒｏｐを算出し、これらを管理情報制御部３７に供給する。管理情報制御部３７は入力されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ及びＡＦ＿ｄｒｏｐをオーディオデコードブロック３５へ供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
＜オーディオ／ビデオ再生方法の実施の形態Ｉ＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態Ｉについて、図１２のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ１１）。続いて、ＶＯＢ接続点毎に、Ａ＿ｏｖｅｒｌａｐ計算部３８により接続点でのＡ＿ｏｖｅｒｌａｐを計算し、更にこのＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算する（ステップＳ１２）。
続いて、ＶＯＢの再生開始と同時または直前に、シームレス接続を可能にするように、ＳＴＣがリセットされると共に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部３９により計算されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）が、オーディオデコードブロック３５へセットされる（ステップＳ１３）。
その後ＶＯＢデータが実際に記録媒体３１から読み出され、媒体再生制御部３２及びデマルチプレクサ３３を経てビデオデータはビデオデコードブロック３４に供給され、オーディオデータはオーディオデコードブロック３５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ１４）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ１５）。
このようにして再生されたオーディオフレームは、オーディオデコードブロック３５内の図７の（Ａ）に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ１６）、最後のＶＯＢであれば、再生を終了する（ステップＳ１７）。
なお、図１２で説明した再生方法は、図１１で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
次に、図１１の再生装置に関し、オーディオデコードブロック３５に含まれるオーディオバッファ（図示しない）について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第１の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大１オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むＶＯＢの記録時に、オーディオバッファサイズ上限から１オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が（オーディオバッファサイズ上限−１オーディオフレーム分のデータ量）を超えないで多重化されたことを示すフラグ（ここでは、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグとする）をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
図１３は、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを考慮してＶＯＢを記録する場合の、本発明のオーディオ／ビデオ記録方法の一実施の形態のフローチャートを示す。ここでは、オーディオバッファサイズ占有量が（オーディオバッファサイズ上限−１オーディオフレームのデータ量）以下であるように多重化された場合、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓ＝１とし、そうでない場合０と定義する。
以下、上記の記録方法について図１３及び図９を併せ参照して説明する。まず、ＭＰＵブロック２２内の管理情報制御部２６が、このオーディオバッファ条件（所定のオーディオ多重化状態）を満足するように多重化するかどうかを決定する（図１３のステップＳ２１）。このとき、必要に応じてユーザーインタフェース部２５を解してユーザーの指示を受ける。
上記の条件を満足させる場合、管理情報制御部２６から条件満足の通知を受けたオブジェクト制御部２７からの指示により、ビデオ／オーディオエンコードブロック２４はオーディオバッファ占有量が規定のオーディオバッファ上限から１オーディオフレームのデータ量を減じた値以下であるように、オーディオデータをビデオデータと多重化し、その多重化して得られたＶＯＢを媒体記録制御部２３を介して記録媒体２１に記録する（図１３のステップＳ２２）。また、管理情報制御部２６はオーディオ多重化状態を示すａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを１とし、他の管理情報と共に媒体記録制御部２３を介して記録媒体２１に記録する（図１３のステップＳ２３）。
他方、ステップＳ２１でオーディオバッファ条件を満足させない（または条件を満足することを保障しない）と管理情報制御部２６が判断した場合、管理情報制御部２６から条件満足の否定通知を受けたオブジェクト制御部２７からの指示により、ビデオ／オーディオエンコードブロック２４で通常のオーディオバッファ条件により得られたＶＯＢが媒体記録制御部２３を介して記録媒体２１に記録される（図１３のステップＳ２４）。また、管理情報制御部２６により他の管理情報と共に作成された、値が０に設定された上記のａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグが、媒体記録制御部２３を介して記録媒体２１に記録される（図１３のステップＳ２５）。
図１４は、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグを考慮してＶＯＢを編集する場合の、本発明のオーディオ／ビデオ編集方法の一実施の形態のフローチャートを示す。図１０と同様に、図９の管理情報制御部２６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（図１４のステップＳ３１）。続いて、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（図１４のステップＳ３２）。
次に、ビデオ接続点が決定された後、図９の媒体記録制御部２３を介して記録媒体２１から読み出した管理情報内の接続対象のＶＯＢに関連するａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が１であるか否かを管理情報制御部２６が確認する（図１４のステップＳ３３）。ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が１の場合、本発明に従ってオーディオオーバーラップとなるようにオーディオフレーム編集点を決定する（図１４のステップＳ３４）。ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグの値が０の場合、従来技術に従ってオーディオギャップとなるようにオーディオフレーム編集点を決定する（図１４のステップＳ３５）。
ステップＳ３４又はＳ３５の処理後に、編集後のＶＯＢ（接続点付近のデータ）が、オブジェクト制御部２７及び媒体記録制御部２３を通して記録媒体２１に書き込まれると共に、編集点の情報も管理情報として記録媒体２１に書き込まれる（図１４のステップＳ３６）。
なお、上記第１の実施の形態において、編集後のデータ（ビデオデータ、オーディオデータ）の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオＰＴＳオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
＜第２の実施の形態の接続編集とビデオ／オーディオ再生＞
次に、本発明の第２の実施の形態について、第１の実施の形態との相違点を中心に説明する。図８に接続編集とビデオ／オーディオ再生の概念を示した第１の実施の形態では、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値が常にゼロ以上（時間遅れ）になる。これに対し、図１５に示す第２の実施の形態では、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値が負になること（時間進み）も許容する。言い換えると、第１の実施の形態では、基本的に０≦Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＜ＴAとなるようにしたが、第２の実施の形態では、基本的に−０.５×ＴA＜Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ≦０.５×ＴA（又は−０.５×ＴA≦Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＜０.５×ＴA）となる場合の例である。
第２の実施の形態も、［式４］〜［式８］はそのまま適用できるが、［式９］は上述のように、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔの値域を規定するため、以下の式と置き換えられる。
Ｉｆ（Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＞０.５×ＴA）｛
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk＝Ａ＿ＰＴＳ＿ｏｆｆｓｅｔk−ＴA；
ＡＦ＿ｄｒｏｐk-1＝１；
｝ｅｌｓｅ ＡＦ＿ｄｒｏｐk-1＝０ ・・・ ［式１０］
ここで、図１５における計算を更に説明する。図１５の第一の接続点では、まず［式６］により、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2＝Ａ＿ｏｖｅｒｌａｐ2となるが、この例ではＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2が０.５×ＴAよりも大きいので、［式１０］のＩｆ文が真になり、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ2は負の値になる（オフセットが時間進みになる）。同時に、ＡＦ＿ｄｒｏｐ1＝１となる。つまり、ＶＯＢ１の最後のオーディオフレームが再生から脱落される。図１５には脱落済みの状態が図示されている。
次に、図１５の第二の接続点では、［式７］によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、Ａ＿ｏｖｅｒｌａｐ3とＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2の和として計算される。この例ではＡ＿ＰＴＳ＿ｏｆｆｓｅｔ2が負の値であるので、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、Ａ＿ｏｖｅｒｌａｐ3よりも小さな値となる。なお、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は、０.５×ＴAよりも小さいので、［式１０］のＩｆ文が偽になり、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ3は正の値になる（オフセットが時間遅れになる）。同時に、ＡＦ＿ｄｒｏｐ2＝０となる。
第２の実施の形態の上記以外の構成は、第１の実施の形態と同じである。つまり、図９、図１０、図１１、図１２で示した、記録／編集装置及び方法、再生装置及び再生方法のように、再生時にＶＯＢ接続点毎にＡ＿ｏｖｅｒｌａｐを計算し、更にこのＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算し、計算したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック３５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
このようにして、本実施の形態も第１の実施の形態と同様に、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。また、本実施の形態も、第１の実施の形態と同様に、編集方法や再生方法がコンピュータ上のプログラムとしても実施できる。
次に、図１１の再生装置に関し、オーディオデコードブロック３５に含まれるオーディオバッファ（図示しない）について説明する。一般に、必要となるオーディオバッファの量は、オーディオ符号化方式の種類と、運用するときのビットレートなどによって決定される。本発明の第１の実施の形態では、オーディオバッファからオーディオデコーダへのデータ転送が、最大１オーディオフレーム周期分遅れる。従って、本発明に必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。
一方、第２の実施の形態の場合も、最大０.５オーディオフレーム周期遅れを考慮すると、必要なオーディオバッファの量は、本発明を適用しない「Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ＝０」の場合のオーディオバッファ量に、１オーディオフレーム分のデータ量を加えた量になる。さらに、第２の実施の形態の場合は、最大０.５オーディオフレーム周期早くオーディオバッファからオーディオデコーダへのデータ転送が行われることを考慮すると、ＶＯＢの作成時に、再生時のオーディオバッファ占有量が常に１オーディオフレームデータ量以上になるような多重化を行う必要がある。
従って、オーディオバッファサイズに上限を設ける場合においては、オーディオストリームを含むＶＯＢの記録時に、オーディオバッファサイズ上限から１オーディオフレーム分のデータ量を減じたバッファ占有量を上限として、オーディオデータを多重化しておけば、再生時に最大０.５オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。この場合、オーディオバッファ占有量が（オーディオバッファサイズ上限−１オーディオフレーム分のデータ量）を超えないで、多重化されたことを示すフラグ（ここでは、ａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグとする）をディスク上に記録しておけば、本発明のオーディオシームレス接続を構成する場合の指標となり得る。
更に、第２の実施の形態の場合には、オーディオバッファ占有量が常に１オーディオフレームのデータ量以上になるように多重化されていることを示すフラグを準備すれば、この実施の形態に応じてオーディオシームレス接続を構成する場合の指標となり得る。このフラグと先のａｕｄｉｏ＿ｍｕｘ＿ｓｔａｔｕｓフラグは、別のフラグでもよいし、同一のフラグで兼ねてもよい。第２の実施の形態の場合にも、オーディオバッファ条件に、オーディオバッファ占有量が常に１オーディオフレームのデータ量以上になるという条件が加わることを除いて、図１３と図１４と同じ処理ステップで記録と編集が可能である。
なお、編集後のデータ（ビデオデータ、オーディオデータ）の記録場所については、使用する記録メディアや前提とする再生装置に依存するシーク条件などを考慮した場合に、シームレス再生が保障できる限りにおいて、特に本発明として限定しない。つまり、データの記録場所の如何にかかわらず、実質的にオーディオオーバーラップを持って編集データが構成され、オーディオＰＴＳオフセットを持って再生可能な場合には、本発明の趣旨を満足する。
＜オーディオ／ビデオ記録／再生の他の実施の形態＞
次に、先に説明した本発明になるオーディオ／ビデオ記録装置／方法及び再生装置／方法のその他の実施形態について説明する。
＜オーディオ／ビデオ記録装置の実施の形態II＞
図１６は本発明になるオーディオ／ビデオ記録装置の実施の形態IIのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
図１６において、ユーザーインタフェース部４５、管理情報制御部４６、Ａ＿ｏｖｅｒｌａｐ計算部４７、及びオブジェクト制御部４８は、ＭＰＵブロック４２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部４５を通じてユーザーから与えられる。管理情報制御部４６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部４８、ビデオ／オーディオエンコードブロック４４、媒体記録制御部４３を通じて行われ、記録媒体４１に書き込まれる。
＜オーディオ／ビデオ記録方法の実施の形態II＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態IIのオーディオシームレス接続のための計算と記録について、図１７のフローチャートを併せ参照して説明する。
まず、管理情報制御部４６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ４１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ４２）。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ４３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
続いて、Ａ＿ｏｖｅｒｌａｐ計算部４７において、前述したＡ＿ｏｖｅｒｌａｐの計算が行われる（ステップＳ４４）。最後に、編集後のＶＯＢ（接続点付近のデータ）、計算されたＡ＿ｏｖｅｒｌａｐと再生シーケンス等の管理情報が、オブジェクト制御部４８及び媒体記録制御部４３を通して記録媒体４１に書き込まれる（ステップＳ４５）。再生シーケンスには、再生すべきＶＯＢの情報、接続点の情報などが含まれる。なお、ビデオ／オーディオエンコードブロック４４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
なお、図１７で説明した記録方法は、図１６で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
＜オーディオ／ビデオ再生装置の実施の形態II＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態IIについて説明する。図
１８は本発明になるオーディオ／ビデオ再生装置の実施の形態IIのブロック図を示す。
図１８において、記録媒体５１には図１６に示した記録装置により編集記録された編集後のＶＯＢや管理情報が記録されている。また、ユーザーインタフェース部５６、管理情報制御部５７、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８及びオブジェクト制御部５９は、ＭＰＵブロック６０を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部５６を介して管理情報制御部５７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部５７で判定され、オブジェクト制御部５９及び媒体再生制御部５２を介してＶＯＢデータが記録媒体５１から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体５１から媒体再生制御部５２を介して読み出され、ＭＰＵブロック６０内のメモリ（図示しない）に常時保存されているとする。
読み出されたＶＯＢデータは、媒体再生制御部５２よりデマルチプレクサ５３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック５４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック５５に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、ＳＣＲなどのクロック情報はデマルチプレクサ５３で解読され、必要に応じてＭＰＵブロック６０へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック６０から、デマルチプレクサ５３、ビデオデコードブロック５４及びオーディオデコードブロック５５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体５１には接続点でのＡ＿ｏｖｅｒｌａｐを含む管理情報が記録されているので、媒体再生制御部５２により記録媒体５１から読み出された管理情報は、オブジェクト制御部５９を介して管理情報制御部５７に供給され、ここで管理情報から接続点でのＡ＿ｏｖｅｒｌａｐが取り出されてＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８に供給される。
Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８は、入力されたＡ＿ｏｖｅｒｌａｐに基づいて、［式８］の演算式によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔを算出し、更に［式９］の条件式に基づいてＡＦ＿ｄｒｏｐを算出し、これらを管理情報制御部５７に供給する。管理情報制御部５７は入力されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ及びＡＦ＿ｄｒｏｐをオーディオデコードブロック５５へ供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
＜オーディオ／ビデオ再生方法の実施の形態II＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態IIについて、図１９のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ５１）。続いて、ＶＯＢ接続点毎に、再生されたＡ＿ｏｖｅｒｌａｐに基づきＡ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８によりＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を計算する（ステップＳ５２）。
続いて、ＶＯＢの再生開始と同時または直前に、ＳＴＣはシームレス接続を可能にするようにリセットされると共に、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部５８により計算されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）が、オーディオデコードブロック５５へセットされる（ステップＳ５３）。
その後ＶＯＢデータが実際に記録媒体５１から読み出され、媒体再生制御部５２及びデマルチプレクサ５３を経てビデオデータはビデオデコードブロック５４に供給され、オーディオデータはオーディオデコードブロック５５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ５４）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ５５）。
このようにして再生されたオーディオフレームは、図７の（Ａ）に示したデコーダにより窓掛け処理と直交逆変換処理を含む符号化がされてオーディオ信号として出力される。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ５６）、最後のＶＯＢであれば、再生を終了する（ステップＳ５７）。
なお、図１９で説明した再生方法は、図１８で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
＜オーディオ／ビデオ記録装置の実施の形態III＞
次に、本発明になるオーディオ／ビデオ記録装置の実施の形態IIIについて説明する。図２０は本発明になるオーディオ／ビデオ記録装置の実施の形態IIIのブロック図を示す。ここでは、複数のＶＯＢの記録は終了しているものとし、それらの接続編集動作について説明する。
図２０において、ユーザーインタフェース部６５、管理情報制御部６６、Ａ＿ｏｖｅｒｌａｐ計算部６７、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部６８及びオブジェクト制御部６９は、ＭＰＵブロック６２を構成しており、ＭＰＵ（Micro Processing Unit）のソフトウェア処理により実現される。
まず、編集指示はユーザーインタフェース部６５を通じてユーザーから与えられる。管理情報制御部６６では、接続編集点を対応する管理情報を用いて確認する。このとき、オーディオフレームの編集点は、先ず、既に説明したように、接続点でオーディオフレームのオーバーラップが存在するように決められる。次に、ビデオフレームについては必要に応じてピクチャタイプの変換処理が行われる。これは、オブジェクト制御部６９、ビデオ／オーディオエンコードブロック６４、媒体記録制御部６３を通じて行われ、記録媒体６１に書き込まれる。
＜オーディオ／ビデオ記録方法の実施の形態III＞
次に、オーディオシームレス接続のための計算と記録が行われる。本発明のオーディオ／ビデオ記録方法の実施の形態IIIのオーディオシームレス接続のための計算と記録について、図２１のフローチャートを併せ参照して説明する。
まず、管理情報制御部６６において、接続対象ＶＯＢが決定され、かつ、ビデオ接続点（接続元のＶＯＢの最後に再生すべきビデオフレームと、接続先のＶＯＢの最初に再生すべきビデオフレームとの接続点）が決定される（ステップＳ６１）。次に、ビデオ接続点に対応して、ビデオピクチャタイプの変更処理の要不要が判定され、必要な場合は変更の具体的準備が行われる（ステップＳ６２）。
次に、ビデオ接続点に対応して、オーディオフレーム編集点が決められる（ステップＳ６３）。すなわち、接続元のＶＯＢの最後に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むように、かつ、接続先のＶＯＢの最初に再生すべきオーディオフレームの再生期間が、ビデオ接続点の時刻を含むようにオーディオフレーム編集点が決められる。
続いて、Ａ＿ｏｖｅｒｌａｐ計算部６７において、前述したＡ＿ｏｖｅｒｌａｐの計算が行われ（ステップＳ６４）、Ａ＿ＰＴＳ＿ｏｆｆｓｅｔ計算部６８において前述したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）の計算が行われる（ステップＳ６５）。
最後に、編集後のＶＯＢ（接続点付近のデータ）、少なくともＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）と再生シーケンス等の管理情報が、オブジェクト制御部６９及び媒体記録制御部６３を通して記録媒体６１に書き込まれる（ステップＳ６６）。このとき、Ａ＿ｏｖｅｒｌａｐも記録媒体に書き込むかどうかは任意である。再生シーケンスには、再生すべきＶＯＢの情報、接続点の情報などが含まれる。なお、ビデオ／オーディオエンコードブロック６４中のオーディオエンコードブロックは、図７の（Ａ）のエンコード側の構成を有している。
なお、図２１で説明した記録方法は、図２０で説明したような専用装置で実施可能である一方、当該記録媒体の記録機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
＜オーディオ／ビデオ再生装置の実施の形態III＞
次に、本発明になるオーディオ／ビデオ再生装置の実施の形態IIIについて説明する。図２２は本発明になるオーディオ／ビデオ再生装置の実施の形態IIIのブロック図を示す。
図２２において、記録媒体７１には図２０に示した記録装置により編集記録された編集後のＶＯＢや管理情報が記録されている。また、ユーザーインタフェース部７６、管理情報制御部７７及びオブジェクト制御部７８は、ＭＰＵブロック７９を構成している。
この再生装置では、まず、再生指示がユーザーインタフェース部７６を介して管理情報制御部７７に受け取られる。再生指示では、一般にどの再生シーケンスを再生すべきかが指定される。再生シーケンスには、複数のＶＯＢを接続して再生する情報が登録されているとする。以下、ＶＯＢデータ再生の基本的な手続きを示す。
再生シーケンスに登録されているＶＯＢの再生関連情報は、管理情報制御部７７で判定され、オブジェクト制御部７８及び媒体再生制御部７２を介してＶＯＢデータが記録媒体７１から読み出される。なお、再生シーケンス等の管理情報は、既に記録媒体７１から媒体再生制御部７２を介して読み出され、ＭＰＵブロック７９内のメモリ（図示しない）に常時保存されているとする。
読み出されたＶＯＢデータは、媒体再生制御部７２よりデマルチプレクサ７３に供給され、ここでビデオデータとオーディオデータに分離され、ビデオデータはビデオデコードブロック７４に供給され、オーディオデータは図７の（Ａ）のデコード側として示した構成を有するオーディオデコードブロック７５に供給され、それぞれデコードされ、デコード後のビデオフレーム、オーディオフレームが出力される。この際、ＳＣＲなどのクロック情報はデマルチプレクサ７３で解読され、必要に応じてＭＰＵブロック７９へ渡される。また、ＳＴＣなどのクロック情報は、ＭＰＵブロック７９から、デマルチプレクサ７３、ビデオデコードブロック７４及びオーディオデコードブロック７５へ渡され、ＳＴＣに準拠して再生タイミングが制御される。
次に、オーディオの再生について以下に詳細に説明する。本実施の形態では、記録媒体７１には接続点でのＡ＿ＰＴＳ＿ｏｆｆｓｅｔが記録されているので、接続点でのＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を管理情報から読み出す。得られたＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）は、オーディオデコードブロック７５へ供給され、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生する。また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する。
＜オーディオ／ビデオ再生方法の実施の形態III＞
次に、本発明のオーディオ／ビデオ再生方法の実施の形態IIIについて、図２３のフローチャートと共に説明する。
まず、再生すべきシーケンスが決定され、そのシーケンスに含まれるＶＯＢの情報が確認される（ステップＳ７１）。続いて、ＶＯＢの再生開始と同時または直前に、ＳＴＣはシームレス接続を可能にするようにリセットされると共に、記録媒体７１から再生されたＡ＿ＰＴＳ＿ｏｆｆｓｅｔが、オーディオデコードブロック７５へセットされる（ステップＳ７２）。
その後ＶＯＢデータが実際に記録媒体７１から読み出され、媒体再生制御部７２及びデマルチプレクサ７３を経てビデオデータはビデオデコードブロック７４に供給され、オーディオデータはオーディオデコードブロック７５に供給され、それぞれデコードされ、ビデオフレーム及びオーディオフレームが再生される（ステップＳ７３）。ＡＦ＿ｄｒｏｐ＝１の場合、ＶＯＢの最後のオーディオフレームは再生されないように処理される（ステップＳ７４）。続いて、再生シーケンス中の全ＶＯＢに対して上記の処理が実施されたかどうか判定し（ステップＳ７５）、最後のＶＯＢであれば、再生を終了する（ステップＳ７６）。
なお、図２３で説明した再生方法は、図２２で説明したような再生装置で実施可能である一方、当該記録媒体の再生機能を有するコンピュータ上のプログラムとしても実施可能であることに注意されたい。
このようにして、本実施の形態によれば、ビデオフレームのシームレス接続に加えて、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
なお、先に説明した本発明の第２の実施の形態において、第１の実施の形態と同じ部分のうち、図４、図５、図６、図７で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態Ｉの部分）の代わりに、図１６、図１７、図１８、図１９で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態IIのように、接続点でのＡ＿ｏｖｅｒｌａｐを記録時に算出し、このＡ＿ｏｖｅｒｌａｐを記録媒体に記録し、再生時に記録媒体から読み出したＡ＿ｏｖｅｒｌａｐからＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を算出し、そのＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック５５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する）、あるいは、図２０、図２１、図２２、図２３で示した、記録／編集装置及び方法、再生装置及び再生方法（つまり、実施形態IIIのように、接続点でのＡ＿ｏｖｅｒｌａｐとＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を記録時に算出し、少なくともＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）を記録媒体に記録し、再生時に記録媒体から読み出したＡ＿ＰＴＳ＿ｏｆｆｓｅｔ（及びＡＦ＿ｄｒｏｐ）をオーディオデコードブロック７５に供給し、オーディオフレームの再生タイミングをＡ＿ＰＴＳ＿ｏｆｆｓｅｔの分だけオフセットして再生するように制御し、また、ＡＦ＿ｄｒｏｐ＝１の場合には、そのＶＯＢの最後のオーディオフレームを再生しないように制御する）、を採用しても良い。
本発明によれば、ビデオフレームのシームレス接続のためのビデオデータの変更処理に加えて、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの接続点の時刻を含み、かつ、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、接続点の時刻を含むように、オーディオフレームの編集点を決定して、接続点以降のオーディオフレームとビデオフレームとの同期ずれを、基本的にリップシンクずれとして検知できない量とするオフセット処理を行うようにしたため、オーディオフレームも接続点での不連続ノイズを発生させること無くシームレスに接続することができる。
また、本発明によれば、オーディオフレームの編集点を決定し、その編集点を管理情報として記録媒体に記録し、再生側において管理情報に基づいて接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間と、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットするためのオーディオＰＴＳオフセット時間を計算させることで、記録側では上記のオーバーラップ時間とオーディオＰＴＳオフセット時間を計算しないようにしたため、記録側の負担を最小にできる。
また、本発明によれば、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるようにオーディオデータをビデオデータに多重化して記録された記録媒体からビデオデータ及びオーディオデータを再生するに際し、再生時に最大１オーディオフレーム周期分遅れて再生した場合でも、オーディオバッファのオーバーフローを生じさせないで済む。
また、本発明によれば、再生時に記録媒体から読み出したオーバーラップ時間に基づいて算出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間を算出するために用いるオーバーラップ時間の計算を不要としたため、再生側のシームレス再生時の負担を軽減することができる。
更にまた、本発明によれば、再生時に記録媒体から読み出したオーディオＰＴＳオフセット時間に応じて、記録媒体から読み出したオーディオフレームのＰＴＳをオフセットすることにより、再生側でのオーディオデータのシームレス再生のためのオーディオＰＴＳオフセット時間の算出を不要にしたため、再生側のシームレス再生時の負担を最小とすることができる。
１１，１７ 窓掛け部
１２ 直交変換部
１３ 量子化／符号化部
１４ 記録媒体
１５ 復号化／逆量子化部
１６ 逆直交変換部
１７ 逆直交変換部

Claims (11)

  1. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録装置であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
    接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段（２７，２４，２３）と、
    前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレーム内の情報の変更を伴うことなしに、前記オーディオフレームの編集点を決定する編集点決定手段（２６）と、
    前記編集点を記録媒体（２１）に管理情報として記録する記録手段（２３）と、
    を有することを特徴とするオーディオ／ビデオ記録装置。
  2. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
    接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第２のステップ（Ｓ２）と、
    前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームの再生期間が、ビデオフレームの前記接続点の時刻を含み、かつ、前記接続先のビデオオブジェクトの最初に再生すべきオーディオフレームの再生期間が、前記接続点の時刻を含むように、前記オーディオフレーム内の情報の変更を伴うことなしに、前記オーディオフレームの編集点を決定する第３のステップ（Ｓ３）と、
    前記編集点を管理情報として前記記録媒体（２１）に記録する第４のステップ（Ｓ４）と、
    を含むことを特徴とするオーディオ／ビデオ記録方法。
  3. 請求項１記載の記録装置によりビデオオブジェクト及び管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生装置であって、
    前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算するオーバーラップ時間計算手段（３８）と、
    前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力するオフセット時間算出手段（３９）と、
    前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットするリセット手段（３７）と、
    算出した前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットするオフセット手段（３７，３５）と、
    前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生するビデオデータ再生手段（３４）と、
    前記記録媒体（３１）から再生したオーディオフレームを前記オフセットしたＰＴＳに応じて再生すると共に、前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御するオーディオフレーム再生手段（３５）と、
    前記オーディオフレーム再生手段（３５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力するオーディオ復号化手段（３５（１５，１６，１７））と、
    を有することを特徴とするオーディオ／ビデオ再生装置。
  4. 請求項２記載の記録方法によりビデオオブジェクト及び管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生するオーディオ／ビデオ再生方法であって、
    前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップ（Ｓ１２）と、
    前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップ（Ｓ１２）と、
    前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップ（Ｓ１３）と、
    前記第２のステップ（Ｓ１２）で算出した前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップ（Ｓ１３）と、
    前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップ（Ｓ１４）と、
    前記記録媒体（３１）から再生したオーディオフレームを前記第４のステップ（Ｓ１３）でオフセットしたＰＴＳに応じて再生すると共に、前記第３のステップ（Ｓ１３）で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップ（Ｓ１４，Ｓ１５）と、
    前記第６のステップ（Ｓ１４，Ｓ１５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、
    を含むことを特徴とするオーディオ／ビデオ再生方法。
  5. 請求項２記載の記録方法によりビデオオブジェクト及びオーディオフレームの編集点を含む管理情報を記録した記録媒体（３１）から、再生管理情報に基づいてビデオデータ及びオーディオデータを再生する再生方法をコンピュータに実行させるオーディオ／ビデオ再生プログラムであって、
    前記コンピュータに、
    前記再生管理情報から得た前記編集点を含んで、接続元のビデオオブジェクトの最後に再生すべきオーディオフレームと、接続先のビデオオブジェクトの最初に再生すべきオーディオフレームのオーバーラップ時間を計算する第１のステップ（Ｓ１２）と、
    前記編集点が指定された再生シーケンス内の最初の接続点であった場合は、計算した前記オーバーラップ時間を前記接続先のビデオオブジェクトのオーディオフレームを再生する際のオーディオＰＴＳオフセット時間とし、前記編集点が前記再生シーケンス内の２つ目以降の接続点であった場合は、計算した前記オーバーラップ時間と一つ前の前記接続点でのオーディオＰＴＳオフセット時間を加算した値を、現編集点でのオーディオＰＴＳオフセット時間として算出すると共に、所定の条件において前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要が無いことを示す所定値のオーディオドロップフラグを出力する第２のステップ（Ｓ１２）と、
    前記再生シーケンスに含まれる前記ビデオオブジェクトの各接続点で接続対象のビデオフレーム同士をシームレスに接続するように、装置のシステムタイムクロック（ＳＴＣ）をリセットする第３のステップ（Ｓ１３）と、
    算出された前記オーディオＰＴＳオフセット時間に応じて、前記記録媒体（３１）から読み出したオーディオフレームのＰＴＳをオフセットする第４のステップ（Ｓ１３）と、
    前記記録媒体（３１）から再生したビデオデータをそのビデオデータに付随したビデオＰＴＳに応じて再生する第５のステップ（Ｓ１４）と、
    前記記録媒体（３１）から再生したオーディオデータを前記第４のステップ（Ｓ１３）でオフセットしたＰＴＳに応じて再生すると共に、前記第３のステップ（Ｓ１３）で出力した前記オーディオドロップフラグが前記所定値であるときは、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームを再生しないように制御する第６のステップ（Ｓ１４，Ｓ１５）と、
    前記第６のステップ（Ｓ１４，Ｓ１５）により再生された前記オーディオフレームに対し、窓掛け処理と直交逆変換処理を含む復号化を行ってオーディオ信号を出力する第７のステップと、
    を実行させることを特徴とするオーディオ／ビデオ再生プログラム。
  6. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体に記録するオーディオ／ビデオ記録装置であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
    前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段（２４）と、
    前記多重化手段（２４）による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段（２４）を制御すると共に、前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のオーディオデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを作成する制御手段（２４，２６）と、
    前記制御手段（２４，２６）により制御された前記多重化手段（２４）から出力される前記ビデオオブジェクトを記録媒体（２１）に記録すると共に、前記制御手段（２４、２６）で作成された前記オーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録する記録手段（２３）と、
    を有することを特徴とするオーディオ／ビデオ記録装置。
  7. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録装置であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力するオーディオ符号化手段（２４（１１，１２，１３））と、
    前記オーディオデータと前記ビデオデータとを多重化して前記ビデオオブジェクトを生成する多重化手段（２４）と、
    前記多重化手段（２４）による多重化の際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように、前記多重化手段（２４）を制御すると共に、前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のオーディオデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを作成する制御手段（２４，２６）と、
    前記制御手段（２４，２６）により制御された前記多重化手段（２４）から出力される前記ビデオオブジェクトを記録媒体（２１）に記録すると共に、前記制御手段（２４、２６）で作成された前記オーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録する第１の記録手段（２３）と、
    接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更するビデオデータ変更手段（２７，２４，２３）と、
    前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する手段（２６）と、
    前記編集点を記録媒体（２１）に管理情報として記録する第２の記録手段（２３）と、
    を有することを特徴とするオーディオ／ビデオ記録装置。
  8. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
    前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップ（Ｓ２２）と、
    前記第２のステップ（Ｓ２２）の制御による前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録すると共に、前記第２のステップ（Ｓ２２）の制御の下に多重化して得られた前記ビデオオブジェクトを記録媒体（２１）に記録する第３のステップ（Ｓ２３）と、
    を含むことを特徴とするオーディオ／ビデオ記録方法。
  9. 同期したビデオデータとオーディオデータの組をビデオオブジェクトとして記録媒体（２１）に記録するに際し、複数の前記ビデオオブジェクトのそれぞれ一部または全部を接続して再生する再生シーケンスを指定可能なように前記記録媒体（２１）に記録するオーディオ／ビデオ記録方法であって、
    記録すべきオーディオ信号に対し、窓掛け処理と直交変換処理を含む符号化を行って前記オーディオデータを出力する第１のステップと、
    前記オーディオデータをビデオデータと多重化する際に、オーディオバッファ占有量が規定のオーディオバッファサイズ上限から、再生装置側におけるオーディオバッファからオーディオデコーダへのオーディオデータ転送の遅延量の最大値である１オーディオフレームのデータ量を減じた値以下であるように制御する第２のステップと（Ｓ２２）、
    前記第２のステップ（Ｓ２２）の制御による前記オーディオバッファ占有量が前記オーディオバッファサイズ上限から前記１オーディオフレーム分のデータ量を減した値を超えないで多重化されたオーディオの多重化状態であるオーディオ多重化状態を示すフラグを管理情報として記録媒体（２１）に記録すると共に、前記第２のステップ（Ｓ２２）の制御の下に多重化して得られた前記ビデオオブジェクトを記録媒体（２１）に記録する第３のステップ（Ｓ２３）と、
    接続元のビデオオブジェクトの最後に再生すべきビデオフレームと、接続先のビデオオブジェクトの最初に再生すべきビデオフレームが接続点でシームレスに再生されるように前記ビデオデータを必要に応じて変更する第４のステップ（Ｓ２）と、
    前記接続点の前後に、接続元のビデオオブジェクトのオーディオフレームの再生期間と、接続先のビデオオブジェクトのオーディオフレームの再生期間とが一部オーバーラップを生じるように、オーディオフレームの編集点を決定し、オーディオフレームを編集する第５のステップ（Ｓ３）と、
    前記編集点を管理情報として前記記録媒体（２１）に記録する第６のステップ（Ｓ４）と、
    を含むことを特徴とするオーディオ／ビデオ記録方法。
  10. 前記オフセット時間算出手段（３９）は、算出した前記接続点での前記オーディオＰＴＳオフセット時間が、オーディオフレーム時間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力する手段であることを特徴とする請求項３記載のオーディオ／ビデオ再生装置。
  11. 前記第２のステップ（Ｓ１２）は、算出した前記接続点での前記オーディオＰＴＳオフセット時間が、オーディオフレーム時間のｎ倍（ただし、ｎは１又は１／２）の期間よりも大きい場合には、該オーディオＰＴＳオフセット時間から前記オーディオフレーム期間を減じた値を最終のオーディオＰＴＳオフセット時間として算出すると共に、前記接続元のビデオオブジェクトの最後に再生すべきオーディオフレームが、接続時に再生する必要がないことを示す所定値のオーディオドロップフラグを出力することを特徴とする請求項４記載のオーディオ／ビデオ再生方法。
JP2009282710A 2003-04-04 2009-12-14 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム Pending JP2010061803A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009282710A JP2010061803A (ja) 2003-04-04 2009-12-14 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2003101237 2003-04-04
JP2003101238 2003-04-04
JP2003101236 2003-04-04
JP2003417551 2003-12-16
JP2009282710A JP2010061803A (ja) 2003-04-04 2009-12-14 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005505271A Division JP4906344B2 (ja) 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法

Publications (1)

Publication Number Publication Date
JP2010061803A true JP2010061803A (ja) 2010-03-18

Family

ID=33163087

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2005505271A Expired - Fee Related JP4906344B2 (ja) 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法
JP2009282710A Pending JP2010061803A (ja) 2003-04-04 2009-12-14 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2005505271A Expired - Fee Related JP4906344B2 (ja) 2003-04-04 2004-04-02 オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法

Country Status (5)

Country Link
US (1) US7941030B2 (ja)
EP (1) EP1613075A4 (ja)
JP (2) JP4906344B2 (ja)
CN (2) CN100479511C (ja)
WO (1) WO2004091204A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7471337B2 (en) * 2004-06-09 2008-12-30 Lsi Corporation Method of audio-video synchronization
US7624021B2 (en) 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
WO2006082150A2 (en) * 2005-02-07 2006-08-10 Thomson Licensing METHOD AND APPARATUS FOR REPLAYING A VIDEO SIGNAL AND ONE OR MORE AUDIO SIGNALS RELATED TO AUDIO/VIDEO DATA THAT ARE BASED ON A 24Hz FRAME FREQUENCY VIDEO SIGNAL
US20070006238A1 (en) * 2005-07-01 2007-01-04 Microsoft Corporation Managing application states in an interactive media environment
JP2009111608A (ja) * 2007-10-29 2009-05-21 Panasonic Corp 再生装置および再生方法
EP2104103A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip assembling
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
US8913189B1 (en) * 2013-03-08 2014-12-16 Amazon Technologies, Inc. Audio and video processing associated with visual events
US10224055B2 (en) * 2015-02-10 2019-03-05 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image processing method, and program
US11183202B2 (en) 2015-07-28 2021-11-23 Dolby Laboratories Licensing Corporation Audio discontinuity detection and correction
BR112020024621A2 (pt) * 2018-08-01 2021-03-02 Beijing Microlive Vision Technology Co., Ltd. método e dispositivo de gravação de vídeo
US11005909B2 (en) * 2019-08-30 2021-05-11 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US10986378B2 (en) 2019-08-30 2021-04-20 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
US11184648B2 (en) 2019-08-30 2021-11-23 Rovi Guides, Inc. Systems and methods for providing content during reduced streaming quality
CN113194528B (zh) * 2021-03-18 2023-01-31 深圳市汇顶科技股份有限公司 同步控制方法、芯片、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200858A (ja) * 1997-01-08 1998-07-31 Sony Corp 映像信号および音声信号の符号化装置、符号化方法、復号装置および復号方法並びに記録媒体
JPH10336641A (ja) * 1997-06-02 1998-12-18 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
JP2001359051A (ja) * 2000-06-14 2001-12-26 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体
JP2002158974A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2003045126A (ja) * 1998-01-21 2003-02-14 Toshiba Corp 情報記録媒体・情報記録方法及び装置及び再生装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3186412B2 (ja) * 1994-04-01 2001-07-11 ソニー株式会社 情報符号化方法、情報復号化方法、及び情報伝送方法
TW436777B (en) 1995-09-29 2001-05-28 Matsushita Electric Ind Co Ltd A method and an apparatus for reproducing bitstream having non-sequential system clock data seamlessly therebetween
JP3890655B2 (ja) * 1997-03-19 2007-03-07 ソニー株式会社 ディジタル信号再生方法及び装置
JPH1175157A (ja) 1997-08-29 1999-03-16 Sony Corp 映像信号及び音声信号の記録装置
DE69812258T2 (de) * 1997-09-17 2003-09-25 Matsushita Electric Ind Co Ltd Videodatenschnittgerät, optische Platte zur Verwendung als Aufzeichnungsmedium dafür und rechnerlesbares Aufzeichnungsmedium
JP3224371B2 (ja) 1998-11-30 2001-10-29 松下電器産業株式会社 符号化ａｖ信号の同期方法
JP3918332B2 (ja) * 1998-12-04 2007-05-23 ソニー株式会社 多重化装置、多重化方法及び記録媒体
TW579506B (en) * 2001-03-05 2004-03-11 Matsushita Electric Ind Co Ltd A recording device and a recording method
JP3748243B2 (ja) 2001-05-30 2006-02-22 日本ビクター株式会社 Ｍｐｅｇデータ記録装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10200858A (ja) * 1997-01-08 1998-07-31 Sony Corp 映像信号および音声信号の符号化装置、符号化方法、復号装置および復号方法並びに記録媒体
JPH10336641A (ja) * 1997-06-02 1998-12-18 Sony Corp 画像符号化方法及び装置並びに記録媒体並びに画像伝送方法
JP2003045126A (ja) * 1998-01-21 2003-02-14 Toshiba Corp 情報記録媒体・情報記録方法及び装置及び再生装置
JP2002158974A (ja) * 2000-04-21 2002-05-31 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに記録媒体
JP2001359051A (ja) * 2000-06-14 2001-12-26 Sony Corp 情報処理装置および情報処理方法、並びに記録媒体

Also Published As

Publication number Publication date
US20060140575A1 (en) 2006-06-29
EP1613075A1 (en) 2006-01-04
CN1768529A (zh) 2006-05-03
CN100479511C (zh) 2009-04-15
JPWO2004091204A1 (ja) 2006-07-06
WO2004091204A1 (ja) 2004-10-21
CN101404171B (zh) 2011-08-31
JP4906344B2 (ja) 2012-03-28
CN101404171A (zh) 2009-04-08
US7941030B2 (en) 2011-05-10
EP1613075A4 (en) 2011-12-21

Similar Documents

Publication Publication Date Title
JP2010061803A (ja) オーディオ／ビデオ記録装置、記録方法、再生装置、再生方法、再生プログラム及び記録プログラム
KR100724651B1 (ko) 정보 처리 장치 및 방법, 및 기록 매체
CN101854507B (zh) 信息记录装置和信息转换方法
US20050013593A1 (en) Method and apparatus for guaranteeing seamless reproduction of a plurality of data streams
JPWO2005015907A1 (ja) データ処理装置
CN101594508B (zh) 记录可以高速转换的流的信息记录装置和记录方法
JP4902935B2 (ja) 情報処理装置、情報処理方法、プログラム、及び記録媒体
WO2005041583A1 (ja) 符号化制御装置および符号化システム
JP4013800B2 (ja) データ作成方法及びデータ記録装置
CN101707705B (zh) 记录可以高速转换的流的信息记录介质,及其记录装置和记录方法
JP2007158461A (ja) 情報再生装置及び情報再生方法
JP4062832B2 (ja) データ記録再生装置及びデータ記録再生方法
JP4114137B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム
WO2006088090A1 (ja) エンコード装置、エンコード方法およびエンコードを行うためのコンピュータプログラム
JP2007243414A (ja) 記録装置
JP2004362747A (ja) 信号処理装置
JP5517194B2 (ja) ノンリニア編集装置
JP2007259029A (ja) 映像信号記録装置、記録媒体、及び映像信号再生装置
JP2005101836A (ja) 記録装置
JP2003174622A (ja) 音声／映像情報記録再生装置および方法、および音声／映像情報記録再生装置および方法を用いて情報が記録された記録媒体
KR20050044351A (ko) 음성/영상 정보 기록 재생 장치 및 방법, 및 음성/영상정보 기록 재생 장치 및 방법을 이용하여 정보가 기록된기록 매체
JP2006155783A (ja) 情報記録再生装置および情報記録再生方法
JP2008301275A (ja) 映像出力装置及び映像出力方法
JP2005159610A (ja) 映像音声符号化方法、フォーマット変換方法及び装置
JP2005236693A (ja) 映像データ再生装置、映像データ再生装置の制御方法、映像データ再生装置の制御プログラム、および映像データ再生装置の制御プログラムが格納された記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110906

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20111012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120110

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120508