JP2001352521A - 情報記録装置 - Google Patents

Abstract

(57)【要約】 【課題】ＭＰＥＧシステムストリームに関して、ビデオ
ストリームのビデオパックに対するオーディオストリー
ムのオーディオパック位置はまちまちであるため、シー
ムレス再生、部分削除、編集を容易には行えなかった。 【解決手段】本発明は、1VOBU内にビデオデータを１Ｇ
ＯＰ、オーディオデータをビデオデータに相当する時間
を含めて常に多重化することにより、容易かつ高速に部
分削除、編集およびシームレス再生可能なシステムスト
リームを生成する画像音声圧縮装置を実現するものであ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、符号化された動画
像と音声とを記録媒体に記録する装置に関わり、特に動
画像と音声とを同期を取って記録媒体に記録する画像音
声圧縮装置に関するものである。

【０００２】

【従来の技術】MPEG方式で圧縮された動画像と音声とを
多重化する方法としてISO/IEC 13818-1 MPEG-2 SYSTEMS
がある。以下、これを公知例１とする。公知例１では、
タイムスタンプを使い、動画像と音声との同期をとる。

【０００３】動画像と音声とを同期を取って記録媒体、
例えばＤＶＤ−ＲＡＭに記憶する方法として特開平１１
−１５５１３１がある。以下、これを公知例２とする。
公知例２のシステムストリームの構成を図３を用いて説
明する。

【０００４】３０１から３０３はＶＯＢ(Video Object)
と呼ぶ。ここで、３０１のＶＯＢ＃１を例にとって説明
する。ＶＯＢは記録開始から記録終了までの一連のシス
テムストリームである。３０１のＶＯＢは３０４から３
０６のＶＯＢＵ（Video Object Unit）から構成されて
いる。ＶＯＢＵとは、その再生時間が約0.4秒〜1.0秒と
なるピクチャデータからなる少なくとも１つ以上のGOP
（Group of Pictures）と、このピクチャデータと共に
多重化されるオーディオデータを含む単位である。３０
４のＶＯＢＵは、３０７から３１０のV_PCK（Video Pac
k）とA_PCKとから構成されている。V_PCK（Video Pac
k）、A_PCKともに2048バイト固定長である。

【０００５】公知例２のpp16に記載されているようにＭ
ＰＥＧ規格では、バッファ内にデータを蓄積できる時間
の上限が規定されており、全てのデータはバッファに入
力されてから1秒以内にバッファから取り出されなけれ
ばならないという制約の１秒ルールがある。（ＭＰＥＧ
規格の再生バッファモデルの詳細は発明の実施の形態を
参照）

【０００６】

【発明が解決しようとする課題】公知例２には、ＶＯＢ
をｎ個のＶＯＢＵにすることやその利点について記載さ
れているが、映像信号と音声信号の多重化については記
載されていない。

【０００７】また、上記に記載した１秒ルールのため
に、システムストリームでのビデオデータとオーディオ
データは極端に離れて多重化されるということはない。
ＭＰＥＧ−２で圧縮されるシステムストリームのビット
レートでは、通常６Ｍｂｐｓ程度で圧縮される。高画質
で圧縮される場合には１０Ｍｂｐｓを越えて圧縮される
場合もある。そのため、ビデオストリームとオーディオ
ストリームとが１秒離れて多重化されていた場合にはそ
のストリームを再生するのに多大なバッファを必要とす
る。

【０００８】また、仮に公知例２のように１ＶＯＢＵ毎
に時間を区切った上で、単純に映像信号や音声信号を多
重化した場合、１ＶＯＢＵ内のビデオストリームのビデ
オパックに対するオーディオストリームのオーディオパ
ック位置はまちまちとなってしまうため、シームレス再
生、部分削除、編集作業等を簡単に行うことは困難であ
る。

【０００９】本発明では、ＶＯＢのような一続きのスト
リームをＶＯＢＵのような複数のストリームに分割した
上でビデオデータとオーディオデータを多重化できるよ
うにすることや、編集を容易にできるようにすることを
その目的とする。

【００１０】

【課題を解決するための手段】本発明では、1ＶＯＢＵ
内で、１ＧＯＰ分のビデオデータに、１ＡＡＵ分のオー
ディオデータを、１ＧＯＰ分の時間とほぼ同じ時間に相
当する数だけ多重化するようにする。このようにするこ
とで、容易かつ高速に部分削除、編集およびシームレス
再生可能なシステムストリームを生成する画像音声圧縮
装置を実現するものである。

【００１１】

【発明の実施の形態】以下、本発明の実施例を図面を用
いて説明する。まず、本発明の実施例の動作について説
明する。図２は、本発明の一実施例のシステムブロック
図である。レンズ２０１は、光を集光する。撮像素子２
０２は、レンズ２０１で集光された光を結像し、撮像信
号（電気信号）に変換する撮像素子である。カメラ処理
部２０３は、撮像素子２０２より得られる撮像信号をテ
レビジョン等で写す為の映像信号に変換する。ビデオ処
理部２０４は、カメラ信号処理部２０３の映像信号を圧
縮しビデオビットストリームを生成する。マイク２０５
は、音を集音する。Ａ／Ｄ変換部２０６は、マイク２０
５で集められた音声をデジタル信号に変換する。オーデ
ィオ処理部２０７は、Ａ／Ｄ変換部２０６でデジタルに
変換されたオーディオデータを圧縮してオーディオビッ
トストリームを生成する。多重化部２０８は、ビデオ処
理部２０４で生成されたビデオストリームとオーディオ
処理部２０７で生成されたオーディオストリームとを同
期を取りシステムストリームを生成する。マイコン２０
９は、オーディオ処理部２０７と多重化部２０８とで構
成される。記録媒体２１０には、映像と音声のシステム
ストリームが記録される。ボタン２１１は記録開始と記
録停止のボタンである。これらの構成要素により、ビデ
オデータとオーディオデータを取り込み、圧縮し、シス
テムストリームを生成して、記録媒体２１０としてのＤ
ＶＤ−ＲＡＭに記録するＤＶＤカメラ２１１を構成す
る。

【００１２】映像はレンズ２０１で集光され、撮像素子
２０２により撮像信号に変換され、カメラ信号処理２０
３で映像信号に変換され、ビデオ処理部２０４でＭＰＥ
Ｇ-２に準拠したビデオストリームに圧縮される。一方
音声は、マイク２０５で集音されＡ／Ｄ変換部２０６で
デジタルに変換されオーディオ処理部２０７でＭＰＥＧ
ＡｕｄｉｏもしくはＡＣ−３に圧縮される。多重化部
２０８でビデオ処理部２０４が生成したビデオストリー
ムとオーディオ処理部２０７が生成したオーディオスト
リームとを同期をとりＭＰＥＧシステムストリームに準
拠した形式でＤＶＤ−ＲＡＭ等の記録媒体２１０に記録
する。

【００１３】次に、図２の多重化部２０８が生成するの
システムストリームについて図１、図３、図１０、図１
１、図１２及び図１７を用いて説明する。本発明のＶＯ
Ｂ、ＶＯＢＵの構成は上記公知例２と同じである。

【００１４】まず、多重化部２０８の構成を図１を用い
て説明する。１０１は処理要求判定部、１０２から１０
４はスイッチ、１０５はヘッダ検索部、１０６はＡＡＵ
カウンタ、１０７から１１３はスイッチ、１４は通常処
理部、１１５はＶＯＢ先頭処理部、１１６はＶＯＢ最後
処理部、１１７はＶＯＢＵ先頭処理部、１１８はＶＯＢ
Ｕ最後処理部、１１９はＶＯＢＵカウンタ部、１２０は
多重化処理部である。

【００１５】次に、多重化部２０８の処理手順を図１７
のフローチャートを用いて説明する。ビデオ処理部２０
４またはオーディオ処理部２０７では、圧縮されたビデ
オストリームまたは圧縮されたオーディオストリームが
一定量を越えると多重化部２０８に対し処理要求を発行
する（ステップＳ１０１）。

【００１６】次に、処理要求判定部１０１は、ビデオ処
理部２０４からの処理要求かオーディオ処理部２０７か
らの処理要求かを判定し（ステップＳ１０２）、ビデオ
処理要求の場合には、ヘッダ検索部１０５にヘッダ検索
を実行させる（ステップＳ１０３）。一方、オーディオ
処理要求の場合には、ＡＡＵカウンタ部１０４にＡＡＵ
のカウントを実行させる（ステップＳ１０４）。

【００１７】なお、処理要求判定部１０１は、ボタン２
１１が押された場合には記録処理要求が発行されたと判
定し、記録処理を実行していない状態で記録処理要求が
発行された場合には記録開始処理要求と判定し、記録中
に記録処理要求が発行された場合には記録停止処理要求
と判定する。

【００１８】まず、ビデオ処理要求の場合を説明する。
ヘッダ検索部１０５ではピクチャヘッダ、シーケンスヘ
ッダまたはＧＯＰヘッダを検索する。そして、ステップ
Ｓ１０５にて、ヘッダ検索部１０５が、ＶＯＢの先頭か
否かをチェックする。処理要求判定部１０１が記録開始
処理要求と判定した場合には、ＶＯＢの先頭処理部１１
５にてＶＯＢ先頭処理を実行する（ステップＳ１０
６）。ＶＯＢの先頭でない場合には、ステップＳ１０７
にて、ヘッダ検索部１０５が、ＶＯＢの最後か否かをチ
ェックする。ここでは処理要求判定１０２が記録停止処
理要求と判定した場合に、ＶＯＢ最後処理部１１１がＶ
ＯＢ最後処理を実行する（ステップＳ１０８）。ＶＯＢ
の最後でない場合にはステップＳ１０９にて、ヘッダ検
索部１０５が、ＶＯＢＵの先頭か否かをチェックする
（ステップＳ１０９）。

【００１９】記録動作中にヘッダ検索部１０５でシーケ
ンスヘッダまたはＧＯＰヘッダを見つけた場合、その検
索したヘッダ位置が読み出そうとしているビデオストリ
ームの先頭にある場合には、ＶＯＢＵ先頭処理部１１２
にＶＯＢＵ先頭処理を実行させる（ステップＳ１１
０）。一方、先頭でない場合には、ステップＳ１１１に
移行し、ヘッダ検索部１０５が、ＶＯＢＵの最後か否か
をチェックする。そして記録動作中にヘッダ検索部１０
５でシーケンスヘッダまたはＧＯＰヘッダを見つけた場
合であって、見つけたヘッダ位置が読み出そうとしてい
るビデオストリームの先頭にない場合には、ＶＯＢＵ最
後処理部１１８が、ＶＯＢＵ最後処理を実行する（ステ
ップＳ１１２）。さらに、ビデオ処理要求のＶＯＢＵカ
ウンタ１１９でＶＯＢＵカウンタ処理を行い、カウンタ
をインクリメントする（ステップＳ１１３）。上記のど
の条件にも当てはまらない場合には、通常処理１１４を
実行して終了となる（ステップＳ１１５）。

【００２０】次にオーディオ処理要求の場合について説
明する。処理要求がオーディオ処理要求であると処理要
求判定部１０１が判断した場合には、ＡＡＵカウンタ部
１０６が、ＡＡＵカウンタ処理を実行する（ステップＳ
１０４）。ＡＡＵカウンタ部１０６は、ＶＯＢＵ毎にク
リアするカウンタ（ＶＯＢＵ内ＡＡＵカウンタ）とＶＯ
Ｂの先頭からカウントして記録停止でクリアするカウン
タ（ＶＯＢ内ＡＡＵカウンタ）の２つのカウンタで構成
される。

【００２１】ステップＳ１０５にて、ＡＡＵカウンタ部
１０６がＶＯＢ内ＡＡＵカウンタをチェックして、カウ
ンタ値が零の場合には、ＶＯＢ先頭処理部１１５がＶＯ
Ｂ先頭処理を実行する（ステップＳ１０６）。ＶＯＢの
先頭ではない場合には、ステップＳ１０７に移行し、Ａ
ＡＵカウンタ部１０６がＶＯＢの最後か否かをチェック
する。ここでは処理要求判定１０２が記録停止処理要求
と判定した場合にＶＯＢ最後処理１０８を実行する。

【００２２】ステップＳ１０９では、ＶＯＢ内ＡＡＵカ
ウンタが零でない場合であってＶＯＢＵ内ＡＡＵカウン
タが零の場合に、ＶＯＢＵ先頭処理部１１２がＶＯＢＵ
先頭処理を実行する（ステップＳ１１０）。ＶＯＢ内Ａ
ＡＵカウンタとＶＯＢＵ内ＡＡＵカウンタがともに零で
ない場合には、ステップＳ１１１に移行し、ＶＯＢＵ内
ＡＡＵカウンタが２１をカウントした場合には、ＶＯＢ
Ｕ最後処理部１１８が、ＶＯＢＵ最後処理を実行する
（ステップＳ１１２）。さらに、オーディオ処理要求の
ＶＯＢＵカウンタ１１３でカウンタをインクリメントす
る（ステップＳ１１３）。上記のどの条件にも当てはま
らない場合には、通常処理１１４を実行して終了となる
（ステップＳ１１５）。

【００２３】次に、通常処理部１１４、ＶＯＢ先頭処理
部１１５、ＶＯＢ最後処理部１１６、ＶＯＢＵ先頭処理
部１１７、ＶＯＢＵ最後処理部１１８における処理内容
について説明する。

【００２４】まず、通常処理部１１４が生成するシステ
ムストリームについて図１３を用いて説明する。一実施
例として、ビデオストリームはＮＴＳＣ方式、ＭＰＥＧ
−２としビットレートを６Ｍｂｐｓとする。オーディオ
ストリームはＭＰＥＧ Ａｕｄｉｏとしビットレートを
３８４ｋｂｐｓ、サンプリング周波数４８ｋＨｚ、圧縮
モードはＬａｙｅｒ２とする。

【００２５】１ＶＯＢＵの大きさは０．４秒から１．０
秒であることが好ましい。そこで、本発明では、１ＶＯ
ＢＵの長さは０．５秒とした。ビデオストリームは、１
ＶＯＢＵ＝１ＧＯＰ＝１５フレームとして１ＶＯＢＵに
多重化するためである。シームレス、編集、再生、特殊
再生をより簡単に行うため、本発明では１ＶＯＢＵ内に
同じ時間のビデオストリームとオーディオストリーム多
重化する。オーディオストリームは、１ＶＯＢＵ内では
ＡＡＵで完結しなければいけない。上記仕様で圧縮した
オーディオストリームの１ＡＡＵ（Audio Access Uni
t）は０．０２４秒である。しかし、ＡＡＵの倍数
（０．０２４秒の倍数）でしか１ＶＯＢＵに多重化する
ことができないため、オーディオストリームは２０ＡＡ
Ｕ（０．０２４×２０＝０．４８秒）または２１ＡＡＵ
（０．０２４×２１＝０．５０４秒）のどちらかを選択
しなければならない。そこで、２１ＡＡＵを５ＶＯＢＵ
と２０ＡＡＵを１ＶＯＢＵとして６ＶＯＢＵ周期の構成
とした。つまり、（０．０２４×２１×１）＋（０．０
２４×２０×５）＝３．００秒分のオーディオストリー
ムを多重化する。

【００２６】ここで、新たな問題が生じる。ＮＴＳＣ方
式ではビデオフレームレートが29.97Hzであるため１Ｖ
ＯＢＵ＝０．５秒とはならない。１ＶＯＢＵでは１／２
９．９７×１５＝０．５００５００…と端数が出てしま
うため長時間記録した場合にはどんどん端数が積み重な
ってビデオストリームとオーディオストリームとが離れ
てしまう。

【００２７】ここで、どれくらいずれるのかを算出す
る。 ６ＶＯＢＵでのずれは、１／２９．９７×１５×６ ＝
３．００３００３００… １２ＶＯＢＵでのずれは、１／２９．９７×１５×１２
＝６．００６００６００… ２４ＶＯＢＵでのずれは、１／２９．９７×１５×２４
＝１２．０１２０１２０… ４８ＶＯＢＵでのずれは、１／２９．９７×１５×４８
＝２４．０２４０２４０… となり４８ＶＯＢＵ（２４秒分）でオーディオ１ＡＡＵ
分以上となる。

【００２８】そのため、４８ＶＯＢＵ毎に１ＡＡＵを増
やしてビデオストリームとオーディオストリームとのず
れを吸収する。しかし、４８ＶＯＢＵ毎に１ＡＡＵ増や
してもまだ端数が生じているため、更に４８０００ＶＯ
ＢＵ（２４０００秒＝４００分＝約６．７時間）に一回
１ＡＡＵを増やすことにより長時間記録の場合にも、ビ
デオデータとオーディオデータの端数を吸収するためビ
デオとオーディオが離れることはない。

【００２９】次に、オーディオストリームがＡＣ−３の
場合について説明する。ＡＣ−３の場合でサンプリング
周波数が４８ｋＨｚの場合には１ＡＡＵは０．０３２秒
である。そのため、上記と同様の演算を行うと、 ６ＶＯＢＵでのずれは、１／２９．９７×１５×６ ＝
３．００３００３００… １６ＶＯＢＵでのずれは、１／２９．９７×１５×１６
＝８．００８００８００… ３２ＶＯＢＵでのずれは、１／２９．９７×１５×３２
＝８．０１６０１６０１… ６４ＶＯＢＵでのずれは、１／２９．９７×１５×１６
＝８．０３２０３２０３… となり６４ＶＯＢＵ（３２秒分）でオーディオ１ＡＡＵ
分以上となる。

【００３０】そのため、６４ＶＯＢＵ毎に１ＡＡＵを増
やしてビデオストリームとオーディオストリームとのず
れを吸収する。しかし、６４ＶＯＢＵ毎に１ＡＡＵ増や
してもまだ端数が生じているため、更に６４０００ＶＯ
ＢＵ（３２０００秒＝約５３３分＝約８．９時間）に一
回１ＡＡＵを増やすことにより長時間記録の場合にもビ
デオデータとオーディオデータの端数を吸収するためビ
デオとオーディオが離れることはない。

【００３１】ここで、オーディオの圧縮方式がＭＰＥＧ
Ａｕｄｉｏの場合についてさらに詳しく説明する。 上
記のように６ＶＯＢＵ毎の周期でビデオストリームは１
ＶＯＢＵ＝１ＧＯＰ、オーディオストリームは５ＶＯＢ
Ｕ＝２１ＡＡＵ、１ＶＯＢＵ＝２０ＡＡＵとなるように
構成する。ビデオパックとオーディオパックとの間隔は
ＶＯＢＵの先頭付近と最後付近を除いて等間隔で配置す
る。まず、この等間隔で配置する間隔の算出の方法につ
いて説明する。

【００３２】まず、オーディオが２１ＡＡＵの場合ビデ
オとオーディオの間隔について図１３を用いて説明す
る。

【００３３】ビデオストリームのビットレートを６Ｍｂ
ｐｓ、オーディオストリームのビットレートを３８４ｋ
ｂｐｓとすると６Ｍｂｐｓ／３８４ｋｂｐｓ＝１５．６
２５となる。したがって、ビデオパックを１５個連続し
た後にオーディオパックを１つとなるような構成とす
る。図１３において、Ｖ１３０１からＶ１３０２が１５
パック連続した後にＡ１３０３が多重化され続いてＶ１
３０４からＶ１３０５が１５パック連続した後にＡ１３
０６が多重化される。

【００３４】ビデオパックとオーディオパックの詳細を
図４、図５、図６、図７、図８、図１４を用いて説明す
る。

【００３５】まず、ビデオパックについて図４、図５を
用いて説明する。

【００３６】図４にビデオパックとオーディオパックの
基本構成を示した。４０１はPack_Start_code、４０２
はＳＣＲ、４０３はProgram_Mux_rate、４０４はPack_s
tuffing_lengthとから構成されるPack_header（１４バ
イト）とビデオパケットまたはオーディオパケットとか
ら構成される。１パックは２０４８Ｂの固定長である。

【００３７】図５にビデオパックの様子を示した。５０
１の上図はＶＯＢＵの先頭でのビデオパックを示してあ
り、下図はそれ以外のビデオパックを示してある。５０
１はPack_Header、５０２はSystem header、５０３のPa
ck headerと５０４のvideo dataでV_PKT(Video Packet)
を構成している。ＶＯＢＵの先頭以外では５０２のSyst
em headerがない構成である。つまり、５０５のPack_He
ader、５０６のPacketheader、５０７のVideo dataとか
ら構成される。

【００３８】次に、図６、図７、図８を用いてオーディ
オパックについて説明する。

【００３９】図６は、オーディオの圧縮にＭＰＥＧ Ａ
ｕｄｉｏ方式の場合でのオーディオパックの様子が示し
てある。６０１はPack_Header、６０２はPacket heade
r、６０３はAudio dataである。

【００４０】図７は、オーディオの圧縮にＡＣ−３方式
の場合のオーディオパックの様子が示してある。７０１
はPack_Header、７０２はPacket header、７０３はSub_
stream_id、７０４はAudio_frame_information、７０５
はAudio dataである。

【００４１】図８は、オーディオを非圧縮するLinear P
CMの場合のオーディオパックの様子が示してある。８０
１はPack_Header、８０２はPacket header、８０３はSu
b_stream_id、８０４はAudio_frame_information、８０
５はAudio_data_information、８０６はAudio dataであ
る。

【００４２】ここでＭＰＥＧ規格での再生バッファモデ
ルについて図９を用いて説明する。

【００４３】図９において、９０１はＳＴＣ（System T
ime Clock）、９０２はＤＥＭＵＸ（分離部）、９０３
はVideo Buffer、９０４はVideo decoder、９０５はAud
io Buffer、９０６はAudio decoder、９０７は、再生バ
ッファモデル、９０８はVideo出力、９０９はAudio出力
である。Video BufferサイズはＭＰＥＧ−２で232kB、
ＭＰＥＧ−１で46kB、Audio Bufferサイズは4kBであ
る。

【００４４】ビデオとオーディオの同期にはシステムス
トリーム内のパックヘッダに含まれるＳＣＲ（System C
lock Reference）、パケットヘッダに含まれるデコード
時刻を示すＤＴＳ(Decoding Time Stamp)とデコードさ
れたビデオストリームとオーディオストリームを何時出
力するかを指示するＰＴＳ(Presentation Time Stamp)
とから同期とる。

【００４５】ＭＰＥＧ規格での再生バッファモデルは、
ＳＣＲを用いて時刻基準となるＳＴＣの値を多重化側で
意図した値にセットされ、システムストリームのビット
レートでＤＥＭＵＸ９０２に読み込まれる。ＳＣＲはＭ
ＰＥＧ−２では６バイト（実データ４２ビット）、ＭＰ
ＥＧ−１では５バイト（実データ３３ビット）である。
ＤＥＭＵＸ９０２でビデオストリームおよびオーディオ
ストリームに分離されVideo Buffer９０３とAudio buff
er９０５に転送される。ＤＴＳとＳＴＣが一致した時刻
にビデオストリームはVideo decoder９０４、オーディ
オストリームはAudio decoder９０６に転送され伸長さ
れる。最後に、ＰＴＳとＳＴＣが一致した時刻に伸長さ
れたビデオデータはVideo出力９０８に出力され、伸長
されたオーディオデータはAudio出力９０９に出力され
る。

【００４６】本発明でのビデオパックとオーディオパッ
ク（ＭＰＥＧ Ａｕｄｉｏ）のＶＯＢＵの先頭、ＰＴ
Ｓ，ＤＴＳあり、ＰＴＳのみ、ＰＴＳ，ＤＴＳなし、Ｖ
ＯＢＵの最後において、Pack_headerのバイト数、Syste
m headerバイト数、packet headerのバイト数、stuffin
gのバイト数、padding packetのバイト数、およびVideo
dataとAudio dataのバイト数を図１４に示した。オーデ
ィオに関してはＰＴＳとＤＴＳが同じ値のためＰＴＳの
みをつける。また、パックには必ずＡＡＵヘッダが含ま
れるため、図１４にはＶＯＢＵの先頭とＰＴＳのみを示
してある。特長は、４バイト境界でのアクセスが可能と
なるようにStuffingでバイト数を調整している。これに
より、メモリアクセスが４バイト境界になるため高速な
多重化が実現できる。

【００４７】次に、ＶＯＢＵ先頭処理部１１７とＶＯＢ
Ｕ最後処理部１１８での多重化方法について図１１を用
いて説明する。

【００４８】図１１において、ＶＯＢＵの切れ目はＶ１
１０６とＶ１１０９との間とする。Ｖ１１０１からＶ１
１０６が前のＶＯＢＵであり、Ｖ１１０９以降が次のＶ
ＯＢＵである。

【００４９】まず、ＶＯＢＵ先頭処理部１１７での処理
について説明する。

【００５０】ＶＯＢＵの先頭では、ビデオパックＶ１１
０９を配置する。次にＡ１１１０を配置する。その後に
Ｖ１１１１からＶ１１１２のビデオを配置する。上記具
体例の場合には、ビデオパックとオーディオパックとの
間隔は１５パックとなるためＶ１１１１からＶ１１１２
は１５パックのビデオパックである。ＶＯＢＵの先頭に
ビデオパックおよびオーディオパックを配置した理由
は、ＶＯＢＵの先頭に含まれるビデオパックとオーディ
オパックには伸長に必要な情報が含まれており、特殊再
生やシームレス再生の場合にはその情報を基にビデオ処
理部やオーディオ処理部を設定する必要がある。例え
ば、ＶＯＢＵの先頭のビデオパックに含まれるシーケン
スヘッダには画像の横の画素数、画像の縦のライン数、
アスペクト比等であり、オーディオパックにはレイヤ、
エラーチェック（ＣＲＣ）、ビットレート、サンプリン
グ周波数等である。そのため、素早く伸長情報を得るた
めにＶＯＢＵの先頭に配置した。また、特殊再生やシー
ムレス再生の場合でＶＯＢＵのつなぎ目でビデオやオー
ディオの圧縮モードが変わる場合も考えられる。ＶＯＢ
Ｕの先頭をビデオパックとし次をオーディオパックと固
定することにより、伸長モード設定のためにＶＯＢＵの
先頭付近での先頭ビデオパックと先頭オーディオパック
を検索する時間も短縮することができる。

【００５１】次に、ＶＯＢＵ最後処理部１１８での処理
について説明する。公知例３では、ビデオストリームも
オーディオストリームもＶＯＢＵ内で完結しなければな
らない。そのため、ＶＯＢＵの最後のＡ１１０２ではＡ
＿ＰＣＴ１１０３とＰ＿ＰＣＴ１１０４の１パック２パ
ケット構成とする。ビデオストリームに関しても同様で
ＶＯＢＵの最後のビデオパック１１０６ではＶ＿ＰＣＴ
１１０７とＰ＿ＰＣＴ１１０８の１パック２パケット構
成とする。

【００５２】ここで、１ＶＯＢＵ内にビデオパックとオ
ーディオパックがいくつ含まれるかについて算出する。
１パックあたりの平均データ数を２０２０バイトとして
算出すると ビデオパック数：６Ｍｂｐｓ／８×０．５秒／２０２０
＝１８５．６４…となるためビデオパック数は１８６パ
ック、オーディオパック数は１ＶＯＢＵに２１ＡＡＵま
たは２０ＡＡＵ多重化されるため、ビットレート３８４
ｋｂｐｓの場合には１ＡＡＵ＝１１５２バイトであるの
で ２１ＡＡＵの場合：２１×１１５２／２０２０＝１１．
９７… ２０ＡＡＵの場合：２０×１１５２／２０２０＝１１．
４０… となるため２１ＡＡＵの場合も２０ＡＡＵの場合でも１
ＶＯＢＵに多重化されるオーディオパック数は１２パッ
クである。

【００５３】１ＶＯＢＵでのビデオパックとオーディオ
パックの合計は１８６＋１２＝１９８パックとなる。

【００５４】オーディオパックは１２パックなので１９
８−（１５＋１）×１２＝６パック。ＶＯＢＵの先頭は
ビデオパックなので１パック減らすと、ＶＯＢＵの最後
のビデオパックＶ１１０５からＶ１１０６のパック数は
５パックとなる。

【００５５】次に、ＶＯＢ先頭処理部１１５が生成する
システムストリームについて図９、図１０を用いて説明
する。

【００５６】ＶＯＢの先頭のオーディオパックのＰＴＳ
（ＤＴＳ）はビデオストリームの先頭のＢピクチャと一
致する。ビデオストリーム先頭のＩピクチャのＤＴＳを
ＤＴＳi、ビデオストリーム先頭のＢピクチャのＤＴＳ
をＤＴＳbとする。図９のＤＴＳのクロックは９０ｋＨ
ｚ、Video buffer９０３は２３２ｋＢである。

【００５７】ここで、Ｂピクチャの先頭のＤＴＳbを算
出する。ビデオフレームレートが29.97Hzの場合にはＤ
ＴＳb＝ＤＴＳiとなるので ＤＴＳb＝２３２×１０２４×８×９０ｋ／６Ｍ＋３０
０３＝３１５１１．１６ したがって、 ＤＴＳa＝ＤＴＳb―（０．０２４×９０ｋ×４）＝２２
８７１ ＳＣＲのクロックは２７ＭＨｚなのでＳＣＲに換算する
と ２２８７１×２７Ｍ／９０ｋ＝６８６１３００ ここで１パック当たりのＳＣＲの増分を算出する。本実
施例では演算量を削減するため、毎パックＳＣＲを算出
するのではなくＶＯＢＵ毎に算出する。ＶＯＢＵでのＳ
ＣＲ増加量は一定である。１ＶＯＢＵに含まれるオーデ
ィオＡＡＵが２１ＡＡＵと２０ＡＡＵの場合があるため
それぞれについて算出する。

【００５８】１ＶＯＢＵ当たりのＳＣＲの増分は、ＳＣ
Ｒの増分＝ＡＡＵ数×１ＡＡＵ当たりのＰＴＳの増分×
２７ＭＨｚ／９０ｋＨｚである。

【００５９】１ＡＡＵ当たりのＰＴＳの増分は、１ＡＡ
Ｕ＝０．０２４Ｓから、 ０．０２４[S]×９０k[Hz]＝２１６０ したがって１パック当たりの増分は、 ２１ＡＡＵの場合： ＳＣＲの増分＝２１×２１６０／１９８×２７ＭＨｚ／９０ｋＨｚ ＝６８７２７ ２０ＡＡＵの場合： ＳＣＲの増分＝２０×２１６０／１９８×２７ＭＨｚ／９０ｋＨｚ ＝６５４５５ となる。

【００６０】次に、VOBの先頭でのオーディオの出現位
置と出現するまでのSCRvの増分を求める。ビデオのみの
パックでのSCRvの増分は、 SCRvの増分＝２０４８×８×２７M／６M ＝７３７２８ また、出現位置は、 ６８６１３００／７３７２８＝９３．０６ となるためVOBの先頭から９４番目に最初のオーディオ
パックを配置する。

【００６１】最初のVOBU内での残りビデオパックは１８
６−９３＝９３となる。ビデオとオーディオの間隔は１
５パックなので９３／１５＝６．２であるので最初のVO
BのVOBUにはオーディオパックを６パック配置する。６
パックに含まれるAAUの数を算出すると１パック当たり
２０２０バイトとして、 ６×２０２０／１１５２＝１０．５２ となるため１０AAU分のオーディオストリーム含める。

【００６２】この構成は２０AAUの後半と全く等しい構
成となるため、SCRの増分は２０AAUの場合と同じくとす
ればよい。

【００６３】最後にVOB最後処理部１１６の生成方法
を、図１２を用いて説明する。

【００６４】VOBの最後のVOBUも通常のVOBUの最後と同
様にビデオストリームはGOPの切れ目、オーディオスト
リームはAAUの切れ目で完結しなければならない。

【００６５】図１２において１２０４はVOB最後のビデ
オパックを示しており１２０４はビデオパケットV_PCT
１２０５とパディングパケットP_PCT１２０６とから構
成される。１２０７から１２０８は連続したオーディオ
パックである。１２０８はオーディオパケットA_PCT１
２０９とパディングパケット１２１０とから構成され
る。

【００６６】本実施例では１VOBU内に含まれるビデオス
トリームとオーディオストリームとは時間的に常にオー
ディオが少々遅れて多重化されている。上記したVOBの
先頭の分だけ遅れているので、本実施例では１２０７か
ら１２０８のオーディオパック数は１０パックとなる。

【００６７】シームレス再生に関しても、ＶＯＢの先頭
のＶＯＢＵではオーディオパックが１０パック遅れてい
るがＶＯＢの最後のＶＯＢＵでは１０パック多く多重化
されているため、ＶＯＢ毎のシームレス再生もスムーズ
に実現することができる。

【００６８】上記では、ビデオのビットレートを固定し
た例を説明したが可変レートに関しても適応できること
は明らかである。

【００６９】次に、本発明で生成したシステムストリー
ムを用いたシームレス再生と編集について説明する。

【００７０】シームレス再生および編集の場合には、図
９に示したVideo buffer９０３とAudio buffer９０５の
２つのバッファに対してオーバーフロー、アンダーフロ
ーが起きないようにしなければならない。通常はＶＯＢ
の切れ目やＶＯＢＵの切れ目でのビデオストリームとオ
ーディオストリームはまちまちであるため、オーバーフ
ローやアンダーフローを起こさずにシームレス再生を実
現するには繋ぎ目でオーバーフローやアンダーフローを
起こさないようにバッファに送り込まなければいけな
い。また、場合によっては編集のときには再多重化、再
エンコードする必要が生じる。本発明で生成するシステ
ムストリームは常にビデオストリームとオーディオスト
リームの位置関係が一定であるために容易に実行でき
る。

【００７１】まず、部分削除について図１５を用いて説
明する。

【００７２】図１５において、（１）図は部分削除する
前のＶＯＢの様子であり、（２）図は部分削除した後の
ＶＯＢの様子を示している。

【００７３】（１）図において太線で囲んだ１５０３と
１５０４の２つのＶＯＢＵを削除する場合について説明
する。本発明で生成したシステムストリームではどの部
分のＶＯＢＵでもビデオストリームに対するオーディオ
ストリームの時間間隔が常に一定である。そのため、ビ
デオビットレート６Ｍｂｐｓでオーディオビットレート
３８４ｋｂｐｓの場合には、上記したようにビデオスト
リームに対してオーディオストリームは１０パケット分
遅れている。（１）図において、削除されるＶＯＢＵ１
５０３にはＶＯＢＵ１５０２のビデオストリームに対す
るオーディオストリームが１０パック含まれている。一
方、ＶＯＢＵ１５０５には削除されるＶＯＢＵ１５０４
のビデオストリームに対するオーディオデータが同様に
１０パック含まれている。したがって、ＶＯＢＵ１５０
３に含まれているオーディオ１０パックをそのまま１５
０５に移せば（２）図に示す編集後のシステムストリー
ムが完成することになる。

【００７４】次にＶＯＢの編集について図１１、図１６
を用いて説明する。

【００７５】図１６において（１）図は編集前の前半の
ＶＯＢ、（２）図は編集前の後半のＶＯＢ、（３）図は
編集後のＶＯＢを示している。（３）図において番号が
（１）図および（２）図と同じ場合には同じパックを示
している。

【００７６】上記でも説明したとおり、本発明で生成し
たシステムストリームではどの部分のＶＯＢＵでもビデ
オストリームとオーディオストリームとの時間間隔が常
に一定である。そのため、ビデオビットレート６Ｍｂｐ
ｓでオーディオビットレート３８４ｋｂｐｓの場合に
は、上記したようにＶＯＢの最後（（１）図での１６０
５から１６０６）はオーディオが１０パック連続する。
ビデオストリームの繋ぎ目は（３）図での１６０４と１
６０７である。この繋ぎ目をＶＯＢＵの切れ目とする。
ＶＯＢＵの切れ目以降では図１１で説明したとおり先頭
に１６０７を配置し、次にオーディオ１６０５を配置す
ることにより実現する。

【００７７】

【発明の効果】本発明では、1VOBU内にビデオデータを
１ＧＯＰ、オーディオデータをビデオデータに相当する
時間を常に多重化することにより、容易に編集およびシ
ームレス再生可能なビデオデータとオーディオデータと
の間隔が一定となるシステムストリームを生成する画像
音声圧縮装置を提供するものである。

【図面の簡単な説明】

【図１】多重化部の一実施例を示す図である。

【図２】画像音声圧縮装置の一実施例を示す図である。

【図３】システムストリームの構成を説明するための図
である。

【図４】パックの構成を説明する図である。

【図５】ビデオパックの構成を説明する図である。

【図６】オーディオパックの構成を説明する図である。

【図７】オーディオパックの構成を説明する図である。

【図８】オーディオパックの構成を説明する図である。

【図９】ＭＰＥＧ規格での再生バッファモデルを説明す
る図である。

【図１０】ＶＯＢ先頭処理部の生成するシステムストリ
ームを説明する図である。

【図１１】ＶＯＢＵ先頭処理部とＶＯＢＵ最後処理部の
生成するシステムストリームを説明する図である。

【図１２】ＶＯＢ最後処理部の生成するシステムストリ
ームを説明する図である。

【図１３】通常処理部の生成するシステムストリームを
説明する図である。

【図１４】ビデオパックとオーディオパックの構成を説
明する図である。

【図１５】システムストリームの部分削除を説明する図
である。

【図１６】システムストリームの編集を説明する図であ
る。

【図１７】多重化部の処理手順を示す図である。

【符号の説明】

１０１…処理要求判定部、１０５…ヘッダ検索部、１０
６…ＡＡＵカウンタ、１１４…通常処理部、１１５…Ｖ
ＯＢ先頭処理部、１１６…ＶＯＢ最後処理部、１１７…
ＶＯＢＵ先頭処理部、１１８…ＶＯＢＵ最後処理部、１
１９…ＶＯＢＵカウンタ部、１２０…多重化部。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１１Ｂ 27/034 Ｈ０４Ｎ 5/781 ５１０Ｈ Ｈ０４Ｎ 5/765 ５１０Ｚ 5/781 5/91 Ｌ 5/91 Ｎ 5/92 Ｃ 7/24 5/92 Ｈ 7/13 Ｚ Ｇ１１Ｂ 27/02 Ｋ (72)発明者 垂水 浩幸 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立画像情報システム内 Ｆターム(参考） 5C053 FA25 FA30 GB06 GB11 GB38 JA07 KA25 LA01 LA20 5C059 KK00 KK21 LA01 MA00 MA23 RB02 RC04 RC32 RC40 SS13 SS30 5D044 AB05 AB07 BC02 CC04 DE03 DE12 DE14 DE25 EF03 FG10 FG21 GK03 GK08 HL14 5D045 DA20 5D110 AA14 AA27 AA29 BB20 CA05 CA06 CA42 CK26

Claims (10)

【特許請求の範囲】
1. 【請求項１】レンズにより集光された光を結像し電気信
   号に変換する撮像素子と、該電気信号を映像信号に変換
   するカメラ信号処理部と、該映像信号を圧縮しビデオビ
   ットストリームを生成するビデオ処理部と、集音手段で
   集められた音声をデジタル信号に変換するＡ／Ｄ変換部
   と、デジタル信号に変換されたオーディオデータを圧縮
   してオーディオビットストリームを生成するオーディオ
   処理部と、上記ビデオ処理部で生成されたビデオストリ
   ームと上記オーディオ処理部で生成されたオーディオス
   トリームとを同期を取りシステムストリームを生成する
   多重化部と、該システムストリームを情報記録媒体に記
   録する記録手段とを備えていることを特徴とする画像音
   声圧縮装置。
2. 【請求項２】請求項１に記載されている多重化部は、処
   理要求判定部、スイッチ、ヘッダ検索部、ＡＡＵカウン
   タ、通常処理部、ＶＯＢ先頭処理部、ＶＯＢ最後処理
   部、ＶＯＢＵ先頭処理部、ＶＯＢＵ最後処理部、ＶＯＢ
   Ｕカウンタ部とから構成することを特徴とする画像音声
   圧縮装置。
3. 【請求項３】請求項２に記載されている多重化部が生成
   するシステムストリームは１ＶＯＢＵ内に１ＧＯＰのビ
   デオストリームを多重化し、多重化したビデオストリー
   ムと同時間のオーディオストリームを多重化することを
   特徴とする画像音声圧縮装置。
4. 【請求項４】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、ＶＯＢＵ内でのビデ
   オパックとオーディオパックの間隔はビデオのビットレ
   ートとオーディオのビットレートから算出し、常に等間
   隔で多重化することを特徴とする画像音声圧縮装置。
5. 【請求項５】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、オーディオストリー
   ムは２１ＡＡＵを５ＶＯＢＵと２０ＡＡＵを１ＶＯＢＵ
   の６ＶＯＢＵ周期で多重化することを特徴とする画像音
   声圧縮装置。
6. 【請求項６】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、オーディオストリー
   ムがＭＰＥＧ Ａｕｄｉｏ方式で圧縮されている場合に
   は４８ＶＯＢＵ毎に１ＡＡＵ増やして多重化することを
   特徴とする画像音声圧縮装置。
7. 【請求項７】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、オーディオストリー
   ムがＭＰＥＧ Ａｕｄｉｏ方式で圧縮されている場合に
   は４８０００ＶＯＢＵ毎に１ＡＡＵ増やして多重化する
   ことを特徴とする画像音声圧縮装置。
8. 【請求項８】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、オーディオストリー
   ムがＡＣ−３方式で圧縮されている場合には６４ＶＯＢ
   Ｕ毎に１ＡＡＵ増やして多重化することを特徴とする画
   像音声圧縮装置。
9. 【請求項９】請求項２に記載されている多重化部が生成
   するシステムストリームにおいて、オーディオストリー
   ムがＡＣ−３方式で圧縮されている場合には６４０００
   ＶＯＢＵ毎に１ＡＡＵ増やして多重化することを特徴と
   する画像音声圧縮装置。
10. 【請求項１０】請求項２に記載されている多重化部が生
    成するシステムストリームにおいて、ＶＯＢＵの先頭は
    必ずビデオパックを配置し、次にオーディオパックを配
    置することを特徴とする画像音声圧縮装置。