JP2004248199A

JP2004248199A - システム多重化装置

Info

Publication number: JP2004248199A
Application number: JP2003038467A
Authority: JP
Inventors: Yoshinori Matsuura; 慶典松浦; Hiroshi Segawa; 浩瀬川
Original assignee: Renesas Technology Corp
Current assignee: Renesas Technology Corp
Priority date: 2003-02-17
Filing date: 2003-02-17
Publication date: 2004-09-02
Also published as: US7873263B2; US20090052869A1; US20040170387A1; US7457525B2

Abstract

【課題】オーディオバッファにおけるオーバフローを防止しつつ、多重化ロスを軽減することが可能なシステム多重化装置を提供すること。
【解決手段】タイムゾーン開始時刻算出部１１は、オーディオのビットレートに応じて、ＶＯＢＵ内に設定するタイムゾーンを算出する。タイムゾーン比較部１２は、オーディオパックを多重する時刻と、タイムゾーン開始時刻算出部１１によって算出されたタイムゾーンとを比較する。そして、フラグ設定部１３は、タイムゾーン比較部１２による比較結果に応じて、オーディオパックをコンプリートするか否かを設定する。したがって、ＶＯＢＵ境界よりも前にコンプリート処理が行なわれ、ＶＯＢＵ境界の直後にコンプリートＰＣＫが生成されなくなり、バッファオーバフローが発生するのを防止することが可能となる。
【選択図】図１４

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル圧縮された画像と音声とのデータを１つのストリームにするシステム多重化方式に関し、特に、オーディオデコーダのバッファにおけるオーバフローを防止したシステム多重化装置に関する。
【０００２】
【従来の技術】
近年、半導体の性能向上に伴い、画像および音声をデジタル圧縮する方式が盛んに研究されるようになり、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）など、画像・音声のデジタル圧縮の国際標準方式が定められた。それに伴い、デジタル圧縮を応用したデジタルＴＶ放送やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）などの映像記録再生装置が普及しつつある。
【０００３】
動画と音声とを同時に扱う場合、デジタル圧縮された画像と音声とのデータを１つのストリームにするシステム多重化という処理が必要になる。このシステム多重化処理は、画像データと音声データとを小さな単位に分け、データ量と表示再生時刻とを考慮しながら、それぞれのデータを順番に並べて１つのストリームにまとめ上げる処理である。
【０００４】
これに関連する技術として、特開平８−９８１６０号公報に開示された技術がある。この特開平８−９８１６０号公報に開示されたデータ多重化装置は、入力されるデジタル音声や動画像を符号化して符号化ストリームとして出力する複数の符号化器を備え、その複数の符号化ストリームを同時再生できるように多重化するものであり、各符号化ストリーム毎に仮想復号化バッファシミュレーションを行なってそのバッファ内のデータ占有量に基づいて多重化要求信号を出力する制御手段と、多重化要求信号に基づいて各符号化ストリームを多重化する多重化手段とを備えるものである。
【０００５】
【特許文献１】
特開平８−９８１６０号公報
【０００６】
【発明が解決しようとする課題】
上述した特開平８−９８１６０号公報に開示されたデータ多重化装置においては、各符号化ストリーム毎に仮想復号化バッファシミュレーションを行ない、そのバッファ内のデータ占有量に基づいて多重化を行なうものである。しかし、後述するように、ＶＯＢＵ（ＶｉｄｅｏＯＢｊｅｃｔＵｎｉｔ）境界のオーディオコンプリートを行なうと、オーディオデコーダのバッファにおいてオーバフローが発生するといった問題点があった。
【０００７】
本発明は、上記問題点を解決するためになされたものであり、その目的は、オーディオバッファにおけるオーバフローを防止しつつ、多重化ロスを軽減することが可能なシステム多重化装置を提供することである。
【０００８】
【課題を解決するための手段】
本発明のシステム多重化装置は、ビデオパックとオーディオパックとを多重して出力するシステム多重化装置であって、オーディオのビットレートに応じて、ビデオオブジェクトユニット内に設定するタイムゾーンを算出するための算出手段と、オーディオパックを多重する時刻と、算出手段によって算出されたタイムゾーンとを比較するための比較手段と、比較手段による比較結果に応じて、オーディオパックをコンプリートするか否かを設定するための設定手段とを含む。
【０００９】
【発明の実施の形態】
図１は、システム多重化装置（以下、システム多重部とも呼ぶ。）を含んだ録画機（エンコーダ）および再生機（デコーダ）の概略構成を示すブロック図である。
【００１０】
録画機は、画像データを符号化するビデオエンコーダ１と、音声データを符号化するオーディオエンコーダ２と、ビデオエンコーダ１から出力されたＶ−ＥＳ（Ｖｉｄｅｏ−ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）を一時的に蓄積するビデオバッファ３と、オーディオエンコーダ２から出力されたＡ−ＥＳ（Ａｕｄｉｏ−ＥｌｅｍｅｎｔａｒｙＳｔｒｅａｍ）を一時的に蓄積するオーディオバッファ４と、ビデオバッファ３およびオーディオバッファ４から出力されたＶ−ＥＳおよびＡ−ＥＳを多重化し、ＰＳ（ＰｒｏｇｒａｍＳｔｒｅａｍ）として出力するシステム多重部５とを含む。
【００１１】
また、再生機は、ＰＳをＶ−ＥＳおよびＡ−ＥＳに分離するシステム分離部６と、システム分離部６によって分離されたＶ−ＥＳを一時的に蓄積するビデオバッファ７と、システム分離部６によって分離されたＡ−ＥＳを一時的に蓄積するオーディオバッファ８と、ビデオバッファ７から出力されたＶ−ＥＳをデコードするビデオデコーダ９と、オーディオバッファ８から出力されたＡ−ＥＳをデコードするオーディオデコーダ１０とを含む。
【００１２】
図２は、ＰＳの構成の一例を示す図である。ＰＳは、ＶＯＢＵによって構成される。ＶＯＢＵは、Ａｕｄｉｏ、ＶｉｄｅｏおよびＲＤＩ（ＲｅａｌｔｉｍｅＤａｔａＩｎｆｏｒｍａｔｉｏｎ）のＰＣＫによって構成され、ＲＤＩ＿ＰＣＫから始まり、コンプリートされたＶ＿ＰＣＫ（Ｖｃ）およびＡ＿ＰＣＫ（Ａｃ）で終わる。
【００１３】
ＤＶＤ−ＶｉｄｅｏＲｅｃｏｒｄｉｎｇ規格（以下、ＤＶＤ規格と呼ぶ。）においては、ＶＯＢＵ（ＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）：１５枚程度の画像の単位）毎に画像および音声をフレームの単位で完結させるコンプリート処理が必要である。このコンプリート処理は、２ＫＢ（２０４８ｂｙｔｅ）のＰＣＫに対し、ＥＳが不足する部分をスタッフまたはパディングにより補填する処理である。
【００１４】
図３は、ＤＶＤ規格におけるＰＣＫ構成を示す図である。図３（ａ）は、通常のＰＣＫの構成を示しており、１４バイトのＰａｃｋＨｅａｄｅｒと、１４バイトのＰａｃｋｅｔＨｅａｄｅｒと、２０２０バイトのＥＳとを含む。
【００１５】
また、図３（ｂ）は、スタッフが挿入されたＶＯＢＵコンプリートＰＣＫの構成を示しており、１４バイトのＰａｃｋＨｅａｄｅｒと、１４バイトのＰａｃｋｅｔＨｅａｄｅｒと、１〜７バイトのＳｔｕｆｆと、任意の長さのＥＳとを含む。
【００１６】
また、図３（ｃ）は、パディングが挿入されたＶＯＢＵコンプリートＰＣＫの構成を示しており、１４バイトのＰａｃｋＨｅａｄｅｒと、１４バイトのＰａｃｋｅｔＨｅａｄｅｒと、任意の長さのＥＳと、８バイト以上のＰａｄｄｉｎｇＰａｃｋｅｔとを含む。
【００１７】
ＤＶＤ規格のように、ＶＢＲ（ＶａｒｉａｂｌｅＢｉｔＲａｔｅ）制御を行なうビデオ符号化においては、１ピクチャの符号量が一定ではなく、ＶＯＢＵ境界はビデオの符号量に依存して、任意の時刻になるという特徴がある。
【００１８】
また、再生専用のＤＶＤ−Ｖｉｄｅｏと録画再生用のＤＶＤ−ＶＲとの規格が異なるように、各アプリケーションによってシステム多重化の条件が規格化されている。ＤＶＤ規格においては、デコーダのオーディオバッファ８のサイズとして、４ＫＢが規定されている。
【００１９】
図４は、デコーダのオーディオバッファの蓄積量の推移を示す図である。システム分離部６からのＰＣＫ出力によって、オーディオバッファ８にデータが入力され（蓄積量が上昇）、フレーム周期毎のデコード時刻にデータがオーディオデコーダ１０へ出力される（蓄積量が下降）。４ＫＢのオーディオバッファ８に対して、２ＫＢのＰＣＫをオーディオバッファ８に入力してオーバフロー／アンダーフローを起こさないように制御（オーディオバッファ制御）するために、２ＫＢを中心に蓄積量を推移させる。
【００２０】
このため、図４に示すように、オーディオバッファ８から一定レートでデータを引き抜くと仮定して仮想バッファ残量を計算し、仮想バッファ残量が１ＫＢになったときに次のＰＣＫをシステム分離部６から出力させる。以下、この方式を仮想バッファ制御方式と呼ぶ。
【００２１】
図５は、システム多重部５の処理手順を説明するためのフローチャートである。システム多重部５は、１ＰＣＫを構成するに足るＶ−ＥＳがビデオバッファ３にあるか否かをチェックする（Ｓ１１）。ビデオバッファ３にＶ−ＥＳが十分にある場合、システム多重部５は、ＰＣＫ構成を図３のいずれにするかを決定する（Ｓ１２）。
【００２２】
次に、システム多重部５は、ビデオＰＡＣＫ構成において、ＶＯＢＵ境界が認識されてコンプリートＰＣＫを構成したか、オーディオＰＣＫもコンプリートすべきか否かを判定する（Ｓ１３）。この処理の詳細は後述する。
【００２３】
次に、システム多重部５は、Ｖ−ＥＳと同様に、１ＰＣＫを構成するに足るＡ−ＥＳがオーディオバッファ４にあるか否かをチェックする（Ｓ１４）。オーディオバッファ４にＡ−ＥＳが十分にある場合、システム多重部５は、ＰＣＫ構成を図３のいずれにするかを決定する（Ｓ１５）。
【００２４】
次に、システム多重部５は、ビデオＰＣＫおよびオーディオＰＣＫのいずれを出力するかを判定する（Ｓ１６）。最後に、システム多重部５は、選択されたビデオＰＣＫまたはオーディオＰＣＫを出力する（Ｓ１７）。
【００２５】
図６は、図５のステップＳ１３の処理の詳細を説明するためのフローチャートである。まず、システム多重部５は、ビデオＰＡＫ構成がコンプリートＰＣＫであるか否かを判定する（Ｓ２１）。ビデオＰＣＫがコンプリートＰＣＫであれば（Ｓ２１，Ｙｅｓ）、次のオーディオＰＣＫをコンプリートＰＣＫと判定して、オーディオコンプリートフラグに１を設定する（Ｓ２２）。また、ビデオＰＣＫがコンプリートＰＣＫでなければ（Ｓ２１，Ｎｏ）、次のオーディオＰＣＫをコンプリートＰＣＫでないと判定して、オーディオコンプリートフラグに０を設定する（Ｓ２３）。以下、この方式をＶＯＢＵ境界強制コンプリート方式と呼ぶ。
【００２６】
図７は、ＡＣ−３における録画モード、音声記録モード、ビットレート、フレーム長およびＰＣＫ周期の関係を示す図である。たとえば、録画モードが高画質であり、音声記録モードが１１の場合、ビットレートが３８４ｋｂｐｓとなり、フレーム長が１５３６ｂｙｔｅとなり、ＰＣＫ周期が３７８８ＳＣＲとなる。
【００２７】
図８は、仮想バッファ制御方式を、オーディオの１フレームが長いモード、たとえば図７の高画質モード（ビットレートが３８４ｋｂｐｓ、フレーム長が１５３６ｂｙｔｅ）に適用した場合におけるバッファ推移を示す図である。デコーダは、バッファ蓄積量２ＫＢを中心にして蓄積量の制御を行なうが、上下の振れ幅が大きくなり、オーディオバッファ８の上限、下限に対するマージンが小さくなってしまう。
【００２８】
このような仮想バッファ制御方式において、オーディオフレームレングスが長い場合、いつ起こるかわからないＶＯＢＵ境界によるコンプリート処理が、バッファ蓄積量が多いときに発生すると、バッファオーバフローが発生することがある。
【００２９】
図９は、オーディオバッファにおいてオーバフローが発生する場合を説明するための図である。図９（ａ）は、ピクチャ周期が３００３ＳＣＲのＶ−ＥＳを示している。図９（ｂ）は、オーディオフレームレングスが１５３６ｂｙｔｅ、フレーム周期が２８８０ＳＣＲのＡ−ＥＳを示している。図９（ｃ）は、オーディオＰＣＫ周期が３８４０ＳＣＲのＰＳを示している。図９（ｄ）は、デコーダのオーディオバッファ８のバッファ推移を示している。
【００３０】
図９（ｃ）に示すように、ＶＯＢＵ境界が発生するときにコンプリートＰＣＫが生成される。そのため、オーディオバッファ蓄積量が多いときにＶＯＢＵ境界が発生すると、バッファオーバフローが起こることがある。
【００３１】
図１０は、図９を用いて説明した問題点を解決するための一例を示す図である。図１０に示すように、全てのオーディオＰＣＫをコンプリートすれば、ＶＯＢＵ境界が発生した場合に、新たなコンプリートＰＣＫを生成する必要がなくなるため、バッファオーバフローを防止することができる。しかし、コンプリートＰＣＫに挿入されるスタッフやパディングは意味のないデータであるため、多重化効率が低下するといった問題点がある。
【００３２】
また、多重化効率を低下させずにバッファオーバフローを防止する方法として、オーディオコンプリート判定処理においてＶＯＢＵ境界を事前に認識する方法がある。図１１は、ＶＯＢＵ境界を事前に認識する処理を説明するためのフローチャートである。この処理は、図５のステップＳ１３に相当する。また、図１２は、ビデオコンプリート時刻の算出例を説明するための図である。以下、図１２を参照しながら、図１１に示すＶＯＢＵ境界を事前に認識する処理について説明する。
【００３３】
まず、システム多重部５は、ＶＯＢＵ最終ピクチャの２フレーム手前のピクチャ（ピクチャ（ｎ−２））のＶｉｄｅｏ−ＥＳの符号量から、いくつのＶ＿ＰＣＫによって構成されるかを算出し、そのピクチャ（ｎ−２）の最終Ｖ＿ＰＣＫ時刻を算出する（Ｓ３１）。
【００３４】
次に、同様にしてピクチャ（ｎ−１）の最終Ｖ＿ＰＣＫ時刻を算出し（Ｓ３２）、ピクチャ（ｎ）の最終Ｖ＿ＰＣＫ時刻を算出する（Ｓ３３）。そして、システム多重部５は、ピクチャ（ｎ）の最終Ｖ＿ＰＣＫ時刻を暫定的にビデオコンプリート時刻とする（Ｓ３４）。
【００３５】
図１２（ａ）に示すように、ピクチャ（ｎ）のビデオコンプリート時刻がピクチャ（ｎ）最終時刻（ピクチャ周期時間）よりも手前の場合には、ピクチャ（ｎ）最終時刻をビデオコンプリート時刻とする。また、図１２（ｂ）に示すように、ピクチャ（ｎ）のビデオコンプリート時刻がピクチャ（ｎ）最終時刻を越える場合には、その時刻をビデオコンプリート時刻とする。
【００３６】
図１２（ａ）および図１２（ｂ）においては、ピクチャ（ｎ−２）およびピクチャ（ｎ−１）の最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超える場合であった。しかし、１ピクチャのビデオの符号量（ＰＣＫ数）が１ピクチャ時間に伝送可能なＰＣＫ数よりも少ない場合は、ピクチャ周期時間をピクチャの最終Ｖ＿ＰＣＫ時刻とし、１ピクチャのＰＣＫ数が１ピクチャ時間に伝送可能なＰＣＫ数よりも多い場合は、ＰＣＫ数から求めた時刻をピクチャの最終Ｖ＿ＰＣＫ時刻とする必要がある。
【００３７】
このとき、最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超えた分の時間が、次のピクチャの開始時刻となる。そのため、ピクチャ（Ｎ−３）、（ｎ−２）、（ｎ−１）の符号量により、各ピクチャの最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超えるか否かによって８ケースのバリエーションが存在することになる。
【００３８】
図１３は、各ピクチャの最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超えるか否かによって発生する８ケースのバリエーションを説明するための図である。たとえば、図１３（ａ）は、ピクチャ（ｎ−２）、（ｎ−１）および（ｎ）の最終Ｖ＿ＰＣＫ時刻が、それぞれピクチャ周期時間を超える場合を示している。また、図１３（ｃ）は、ピクチャ（ｎ−２）の最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超え、ピクチャ（ｎ−１）の最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間以内であり、ピクチャ（ｎ）の最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超える場合を示している。
【００３９】
このように、ビデオコンプリート時刻を算出する場合には、多くの状態を考慮しなければならず、ＶＯＢＵ境界を事前に認識するためには複雑な処理が必要になる。
【００４０】
以下、オーディオコンプリート処理に要する時間の増加を抑えながら、多重化効率を向上させるシステム多重化装置について説明する。
【００４１】
（第１の実施の形態）
本発明の第１の実施の形態におけるシステム多重化装置を含んだエンコーダおよびデコーダの概略構成は、図１に示すものと同様である。したがって、重複する構成および機能の説明は繰返さない。
【００４２】
図１４は、本発明の第１の実施の形態におけるシステム多重化装置の機能的構成を示す図である。このシステム多重化装置は、コンプリートの可能性があるタイムゾーンの開始時刻（以下、コンプリートゾーンとも呼ぶ。）を算出するタイムゾーン開始時刻算出部１１と、オーディオＰＣＫを多重すべき時刻とタイムゾーン開始時刻算出部１１によって算出されたタイムゾーン開始時刻とを比較するタイムゾーン比較部１２と、タイムゾーン比較部１２による比較結果に応じてオーディオコンプリートフラグを設定するフラグ設定部１３とを含む。なお、図１４に示す機能的構成は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）が所定のプログラムを実行することによって実現されてもよいし、ハードウェアによって実現されてもよい。
【００４３】
図１５は、本発明の第１の実施の形態におけるシステム多重化装置の処理手順を説明するためのフローチャートである。本実施の形態におけるシステム多重化装置は、Ａ＿ＰＣＫの１周期内に必ず１回はＡ＿ＰＣＫが出力されることに着目したものである。
【００４４】
まず、タイムゾーン開始時刻算出部１１は、オーディオのビットレートを参照して導出されるＰＣＫ周期から、コンプリートゾーンを算出する（Ｓ４１）。次に、タイムゾーン比較部１２は、オーディオＰＣＫを多重すべき時刻（以下、ＳＣＲ時刻と呼ぶ。）とタイムゾーン開始時刻とを比較し、オーディオＰＣＫを多重すべき時刻がタイムゾーン内にあるか否かを判定する（Ｓ４２）。
【００４５】
オーディオＰＣＫを多重すべき時刻がタイムゾーン内にあれば（Ｓ４２，Ｙｅｓ）、フラグ設定部１３はオーディオコンプリートフラグに１を設定し、コンプリートＰＣＫを生成する（Ｓ４３）。また、オーディオＰＣＫを多重すべき時刻がタイムゾーン内になければ（Ｓ４２，Ｎｏ）、フラグ設定部１３はオーディオコンプリートフラグに０を設定し、通常のＡ＿ＰＣＫを生成する（Ｓ４４）。なお、コンプリートゾーンの基点は、ＧＯＰ境界時刻とする。
【００４６】
オーディオのビットレートは、たとえば、ユーザが録画（録音）モードを設定することによって決定される。ＤＶＤレコーダの製品仕様にも依存するが、図７に示す音声録画モードそのものを設定する場合や、高画質（短時間）／標準／長時間モードの切替えによって音声記録モードを選択する場合もある。
【００４７】
コンプリートゾーン開始時刻の算出は、ＧＯＰ境界時刻からさかのぼり、確実に１つ以上のＡ＿ＰＣＫが存在するタイムゾーン、すなわちオーディオＰＣＫ周期を用いて行なう。１ｂｙｔｅ当たりのＳＣＲ時刻は、次式のようになる。
【００４８】
１ｂｙｔｅ当たりのＳＣＲ時刻＝（８ｂｉｔ／ｂｉｔｒａｔｅ×９０ＫＨｚ）…（１）
たとえば、ビットレートが３８４ｋｂｐｓの場合、１ｂｙｔｅ当たりのＳＣＲ時刻は、ＳＣＲ時刻換算において以下のようになる。
【００４９】
１ｂｙｔｅ当たりのＳＣＲ時刻＝８ｂｉｔ／３８４ｋｂｐｓ×９０ＫＨｚ＝７２０／３８４ＳＣＲ＝１．８７５ＳＣＲ …（２）
１ＰＣＫ内のＥＳ量を、ＰＣＫ長２０４８ｂｙｔｅからＰＳヘッダおよびＰＥＳヘッダを除いた値とする。仮に、ＥＳ量を図３（ａ）に示すように２０２０ｂｙｔｅとすると、１ＰＣＫの周期は、以下のようになる。
【００５０】

このため、コンプリートゾーンを切り上げて３７８８ＳＣＲとする。
【００５１】
図１６は、本発明の第１実施の形態におけるシステム多重化装置において適用されたコンプリートゾーンを説明するための図である。図１６（ａ）および図１６（ｂ）は、図９（ａ）および図９（ｂ）と同様であるので詳細な説明は繰返さない。図１６（ｃ）に示すように、ＧＯＰ境界時刻から１Ａ＿ＰＣＫ周期だけ前の時刻から、ＶＯＢＵ境界時刻までをコンプリートゾーンとしている。図１６（ｃ）においては、コンプリートＡ＿ＰＣＫが２つ生成されている。
【００５２】
図１６（ｄ）は、オーディオバッファの蓄積量の推移を示している。図１６（ｄ）に示すように、ＶＯＢＵ境界よりも前にコンプリート処理が行なわれるため、ＶＯＢＵ境界の直後にコンプリートＡ＿ＰＣＫが生成されず、バッファオーバフローが発生するのを防止することができる。
【００５３】
図１７は、本発明の第１の実施の形態におけるシステム多重化装置によって適用されるコンプリートゾーンを模式的に説明するための図である。コンプリートゾーン内に２つのコンプリートＰＣＫが生成されることを示している。
【００５４】
以上説明したように、本実施の形態におけるシステム多重化装置によれば、ＧＯＰ境界時刻を基点としたコンプリートゾーンを算出し、オーディオＰＣＫを多重すべき時刻がコンプリートゾーン内にあれば、そのオーディオＰＣＫをコンプリートするようにしたので、オーディオバッファのオーバフローを防止しつつ、パディングやスタッフの挿入による多重化ロスを軽減して多重化効率を向上させることが可能となった。
【００５５】
（第２の実施の形態）
本発明の第１の実施の形態においては、全てのビットレートに対してコンプリートゾーンを設け、オーディオＰＣＫを多重すべき時刻がコンプリートゾーン内であるか否かによってＡ＿ＰＣＫをコンプリートしていた。しかし、仮想バッファ制御方式のみで、オーディオバッファのオーバフローが発生しない程符号長が短い場合には、逆に多重化効率を低下させることが考えられる。
【００５６】
本発明の第２の実施の形態においては、オーディオのフレームレングスに応じて、第１の実施の形態において説明したタイムゾーンコンプリート方式を適用するか否かを判定する。なお、本実施の形態におけるシステム多重化装置を含んだエンコーダの構成およびシステム多重化装置の機能的構成は、図１に示す第１の実施の形態におけるエンコーダの構成および図１４に示すシステム多重化装置の機能的構成と同様である。したがって、重複する構成および機能の説明は繰返さない。
【００５７】
オーディオのフレームレングスがしきい値以上の場合には、上述したタイムゾーンコンプリート方式を用いてコンプリート処理を行なう。また、オーディオのフレームレングスがしきい値よりも短い場合には、ＶＯＢＵ境界強制コンプリート方式を用いてコンプリート処理を行なう。
【００５８】
ＤＶＤ規格のシステム多重化装置のように、４Ｋｂｙｔｅのオーディオバッファを有し、２Ｋｂｙｔｅを中心にバッファ残量を制御する場合、オーディオのフレームレングス１０２４ｂｙｔｅをしきい値とする。
【００５９】
図１８は、上述したしきい値の算出方法を説明するための図である。４Ｋｂｙｔｅのオーディオバッファの蓄積量の中心に２ＫｂｙｔｅのＰＣＫをおき、その上部とオーディオバッファの上限との差（１０２４ｂｙｔｅ）をしきい値としている。これは、オーディオバッファの蓄積量が２Ｋｂｙｔｅを中心として推移するため、２ＫｂｙｔｅのＡ＿ＰＣＫが出力された直後にＶＯＢＵ境界が発生してコンプリート処理が行なわれても、オーディオのフレームレングスに相当するデータがオーディオバッファに蓄積されるに過ぎないことによるものである。
【００６０】
図１９は、オーディオバッファの容量が４．２Ｋｂｙｔｅであり、Ａ＿ＰＣＫに含まれるＡ−ＥＳが１．８Ｋｂｙｔｅの場合のしきい値の算出方法を説明するための図である。４．２Ｋｂｙｔｅのオーディオバッファの蓄積量の中心（２．１Ｋｂｙｔｅ）に１．８ＫｂｙｔｅのＰＣＫをおき、その上部とオーディオバッファの上限との差（１．２Ｋｂｙｔｅ）をしきい値としている。
【００６１】
以上説明したように、本実施の形態におけるシステム多重化装置によれば、オーディオのフレームレングスがしきい値以上であるか否かによって、タイムゾーンコンプリート方式とＶＯＢＵ境界強制コンプリート方式とを切替えるようにしたので、オーディオのフレームレングスが短いときに発生する多重化効率の低下を防止することが可能となった。
【００６２】
（第３の実施の形態）
第１の実施の形態においてはビットレートに応じてコンプリートゾーンを算出するための処理が必要であり、第２の実施の形態においてはオーディオのフレームレングスとしきい値とを比較して方式を切替える処理が必要であるため、処理時間が長くなる。
【００６３】
本発明の第３の実施の形態においては、製品に採用される最悪（最長）のコンプリートタイムゾーンを予め設定することによって、処理速度を向上させるものである。なお、本実施の形態におけるシステム多重化装置を含んだエンコーダの構成およびシステム多重化装置の機能的構成は、図１に示す第１の実施の形態におけるエンコーダの構成および図１４に示すシステム多重化装置の機能的構成と同様である。したがって、重複する構成および機能の説明は繰返さない。
【００６４】
たとえば、製品のビットレートとして１９２Ｋｂｐｓまでサポートされる場合、タイムゾーン開始時刻はＧＯＰ境界から７５７５ＳＣＲだけ手前となる。この値をシステム多重化装置に予め設定しておき、ビットレートにかかわらずこの値を用いてコンプリート処理を行なう。なお、図７においては、ＡＣ−３のみについて記載されているが、ＭＰＥＧ−１ＡｕｄｉｏなどのＡｕｄｉｏ種別においても本発明を適用することが可能である。
【００６５】
以上説明したように、本実施の形態におけるシステム多重化装置によれば、予め設定されたタイムゾーン開始時刻を用いてコンプリート処理を行なうようにしたので、システム多重化装置の処理速度の向上を図ることが可能となった。
【００６６】
（第４の実施の形態）
第１の実施の形態においては、時刻がコンプリートタイムゾーン内のとき、実バッファ蓄積量が少なく、コンプリート処理の必要がない場合であっても、コンプリート処理が行なわれて多重化ロスが発生する場合がある。本実施の形態においては、このコンプリート処理の必要があるか否かを判定して、多重化ロスの軽減を図るものである。なお、本実施の形態におけるシステム多重化装置を含んだエンコーダの構成は、図１に示す第１の実施の形態におけるエンコーダの構成と同様である。また、本実施の形態におけるシステム多重化装置の機能的構成は、図１４に示すシステム多重化装置の機能的構成と比較して、フラグ設定部にオーディオバッファの残量を計算する機能が追加された点のみが異なる。したがって、重複する構成および機能の説明は繰返さない。なお、本実施の形態におけるフラグ設定部の参照符号を１３’として説明する。
【００６７】
図２０は、本発明の第１の実施の形態におけるシステム多重化装置のオーディオバッファの推移およびＡ＿ＰＣＫの構成を説明するための図である。図２０に示すように、オーディオＰＣＫを多重すべき時刻がコンプリートタイムゾーン内にある４つのＡ＿ＰＣＫがコンプリートされることになる。
【００６８】
図２１は、本発明の第１の実施の形態におけるシステム多重化装置の多重化ロスを軽減した場合のオーディオバッファの推移およびＡ＿ＰＣＫの構成を説明するための図である。図２１に示すように、コンプリートタイムゾーン内にある最初の２つのＡ＿ＰＣＫをコンプリートしなくても、オーディオバッファにおけるオーバフローは発生しない。
【００６９】
本発明の第４の実施に形態におけるシステム多重化装置においては、フラグ設定部１３’が、多重開始から出力されたＰＣＫ内のＥＳによるバッファ蓄積量の増加と、ＰＴＳ（デコード時刻）においてオーディオバッファから引抜かれるデータ量とを計算することによって、オーディオバッファの蓄積量を算出する。
【００７０】
タイムゾーン比較部１２によってＳＣＲ時刻がタイムゾーン内とあると判定されると、フラグ設定部１３’はオーディオバッファの実バッファ残量を参照して、コンプリートしていない通常のＰＣＫを出力した後、連続してコンプリートＰＣＫを出力してもバッファオーバフローが発生しないかを判定する。オーバフローが発生しないと判定した場合には、フラグ設定部１３’は、オーディオコンプリートフラグに０を設定して、通常のＡ＿ＰＣＫを出力する。
【００７１】
また、オーバフローが発生すると判定した場合には、フラグ設定部１３’はオーディオコンプリートフラグに１を設定して、コンプリートＡ＿ＰＣＫを出力する。
【００７２】
図２２は、通常ＰＣＫが出力された直後に、強制的にＶＯＢＵコンプリート処理が行なわれた場合のオーディオのバッファ推移を示す図である。実バッファの残量を計算してＡ＿ＰＣＫをコンプリートするか否かを判定しているので、通常のＰＣＫが出力された直後に、強制的にＢＯＶＵコンプリート処理が行なわれたとしても、オーディオバッファにおいてオーバフローが発生することはない。
【００７３】
以上説明したように、本実施の形態におけるシステム多重化装置によれば、オーディオバッファの残量計算を行なってＡ＿ＰＣＫをコンプリートするか否かを判定するようにしたので、不要なコンプリートＰＣＫの生成を防止することができ、多重化効率の改善を図ることが可能となった。
【００７４】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【００７５】
【発明の効果】
本発明のシステム多重化装置によれば、比較手段が、オーディオパックを多重する時刻と算出手段によって算出されたタイムゾーンとを比較し、設定手段が比較手段による比較結果に応じて、オーディオパックをコンプリートするか否かを設定するようにしたので、ＶＯＢＵ境界よりも前にコンプリート処理が行なわれ、ＶＯＢＵ境界の直後にコンプリートＰＣＫが生成されなくなり、バッファオーバフローが発生するのを防止することが可能となった。
【図面の簡単な説明】
【図１】システム多重化装置を含んだ録画機および再生機の概略構成を示すブロック図である。
【図２】ＰＳの構成の一例を示す図である。
【図３】ＤＶＤ規格におけるＰＣＫ構成を示す図である。
【図４】デコーダのオーディオバッファの蓄積量の推移を示す図である。
【図５】システム多重部５の処理手順を説明するためのフローチャートである。
【図６】図５のステップＳ１３の処理の詳細を説明するためのフローチャートである。
【図７】録画モード、音声記録モード、ビットレート、フレーム長およびＰＣＫ周期の関係を示す図である。
【図８】仮想バッファ制御方式を、オーディオの１フレームが長いモードに適用した場合におけるバッファ推移を示す図である。
【図９】オーディオバッファにおいてオーバフローが発生する場合を説明するための図である。
【図１０】図９を用いて説明した問題点を解決するための一例を示す図である。
【図１１】ＶＯＢＵ境界を事前に認識する処理を説明するためのフローチャートである。
【図１２】ビデオコンプリート時刻の算出例を説明するための図である。
【図１３】各ピクチャの最終Ｖ＿ＰＣＫ時刻がピクチャ周期時間を超えるか否かによって発生する８ケースのバリエーションを説明するための図である。
【図１４】本発明の第１の実施の形態におけるシステム多重化装置の機能的構成を示す図である。
【図１５】本発明の実施の形態１におけるシステム多重化装置の処理手順を説明するためのフローチャートである。
【図１６】本発明の第１の実施の形態におけるシステム多重化装置において適用されたコンプリートゾーンを説明するための図である。
【図１７】本発明の第１の実施の形態におけるシステム多重化装置によって適用されるコンプリートゾーンを模式的に説明するための図である。
【図１８】しきい値の算出方法を説明するための図である。
【図１９】オーディオバッファの容量が４．２Ｋｂｙｔｅであり、Ａ＿ＰＣＫに含まれるＡ−ＥＳが１．８Ｋｂｙｔｅの場合のしきい値の算出方法を説明するための図である。
【図２０】本発明の第１の実施の形態におけるシステム多重化装置のオーディオバッファの推移およびＡ＿ＰＣＫの構成を説明するための図である。
【図２１】本発明の第１の実施の形態におけるシステム多重化装置の多重化ロスを軽減した場合のオーディオバッファの推移およびＡ＿ＰＣＫの構成を説明するための図である。
【図２２】通常ＰＣＫが出力された直後に、強制的にＶＯＢＵコンプリート処理が行なわれた場合のオーディオのバッファ推移を示す図である。
【符号の説明】
１ビデオエンコーダ、２オーディオエンコーダ、３，７ビデオバッファ、４，８オーディオバッファ、５システム多重部、６システム分離部、９ビデオデコーダ、１０オーディオデコーダ、１１タイムゾーン開始時刻算出部、１２タイムゾーン比較部、１３フラグ設定部。

Claims

ビデオパックとオーディオパックとを多重して出力するシステム多重化装置であって、
オーディオのビットレートに応じて、ビデオオブジェクトユニット内に設定するタイムゾーンを算出するための算出手段と、
オーディオパックを多重する時刻と、前記算出手段によって算出されたタイムゾーンとを比較するための比較手段と、
前記比較手段による比較結果に応じて、オーディオパックをコンプリートするか否かを設定するための設定手段とを含む、システム多重化装置。
前記算出手段は、グループオブピクチャ境界時刻よりもオーディオパック周期だけ前の時刻から、前記ビデオオブジェクトユニット境界時刻までをタイムゾーンとする、請求項１記載のシステム多重化装置。
前記設定手段は、オーディオフレームレングスが所定値以上の場合には、前記比較手段による比較結果に応じて、オーディオパックをコンプリートするか否かを設定し、
前記オーディオフレームレングスが前記所定値より小さい場合には、前記ビデオオブジェクトユニット境界時刻直後に強制的にオーディオパックをコンプリートするよう設定する、請求項１または２記載のシステム多重化装置。
ビデオパックとオーディオパックとを多重して出力するシステム多重化装置であって、
オーディオパックを多重する時刻と、ビデオオブジェクトユニット内に予め設定されたタイムゾーンとを比較するための比較手段と、
前記比較手段による比較結果に応じて、オーディオパックをコンプリートするか否かを設定するための設定手段とを含む、システム多重化装置。
前記設定手段は、オーディオのバッファ残量を計算し、コンプリートされていないオーディオパックを出力した場合にバッファオーバフローが発生するか否かを判定して、オーディオパックをコンプリートするか否かを設定する、請求項１〜４のいずれかに記載のシステム多重化装置。