【０００１】
【発明の属する技術分野】
本発明は、ＤＶＤ等の映像ソースから取り込んだ複数のＭＰＥＧ２ビデオコンテンツを編集して、送出または蓄積媒体への記録を目的として、１つのトランスポートストリームに多重化する映像多重化方法において、伝送帯域または蓄積媒体の容量を効率的に利用するための最適なビットレートを算出して多重化する映像多重化方法に関する。
【０００２】
【従来の技術】
ＤＶＤ−Ｖｉｄｅｏ規格に基づくオーサリングシステムでは、デジタル化した映像を情報圧縮し、シーンに応じた適切なビットレートで記録することで、限られたディスク容量を最大限に利用し、高画質なコンテンツを制作することを可能にしている。これを可能にした映像圧縮技術は、ビットストリーム及び復号化方法を規定したＭＰＥＧ２のビデオ規格（ＩＳＯ／ＩＥＣ１３８１８−２）である。
【０００３】
ＭＰＥＧ２の映像符号化（以下、エンコードと記述する）では、各ピクチャに異なった符号量を割り当てることで、オリジナルの映像に比べて多くのビットレートを削減しながら、高画質を実現している。このピクチャ単位で異なるレートを一定にして、ビデオエレメンタリーストリーム（Ｖｉｄｅｏ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ 、以下ビデオＥＳ）と呼ばれる固定レートの出力ビットストリームを得るために、出力時にバッファを用いている。このバッファは、ＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）と呼ばれ、デコーダでビットストリームの復号をする際の検証モデルとなる。ＶＢＶバッファでバッファ占有度の遷移を計算することを、ＶＢＶバッファシミュレーションと呼ぶ。
【０００４】
図１１にＶＢＶバッファシミュレーションを説明するブロック図を示す。ビデオエンコーダ２００は、入力映像２１０をＭＰＥＧ２でエンコードするエンコード部２２０と、出力バッファ２３０から成っている。エンコードが終了すると、出力としてビデオＥＳ２４０が得られる。次にこのビデオＥＳを再生する場合には、入力されるビデオＥＳ２４０をバッファリングするデコーダバッファ２６０と、バッファから映像をデコードするデコード部２７０から成るビデオデコーダ２５０を用いて、出力デコード映像２９０を得ることができる。
【０００５】
バッファ２６０が破綻せず、正常な連続した出力デコード映像２９０を得るには、ビデオＥＳ２４０は、デコーダバッファの占有度を前もって検証されたストリームでなくてはならない。そこでエンコーダのバッファ２３０でＶＢＶバッファシミュレーション３００を行い、デコーダバッファが破綻しないことを保証することが必要となる。
【０００６】
図１２にＶＢＶバッファシミュレーションの動作を説明する図を示す。横軸に時間３２０、縦軸にバッファ占有度３１０を取る。ＶＢＶバッファサイズ３１１がバッファの容量（単位：ビット）を表す。ストリームは一定レートでデコーダに入力されるため、一定の傾き３１３がビットレートＢを表す。まず、最初にＶＢＶバッファ初期値３１２まで、バッファにデータが蓄積される。ピクチャデータの蓄積が開始されてから、１番目のピクチャのｖｂｖ＿ｄｅｌａｙ値、ｖｂｖ＿ｄｅｌａｙ（１）３２３の時間が経過すると、ピクチャのデコード時刻になり、１番目のピクチャがデコードされ、バッファからデータが抜き取られる。ｎ番目のピクチャのデコード時刻ｔ（ｎ）３２１が到着すると、ｎ番目のピクチャがデコードされ、ピクチャ符号量Ｄ（ｎ）３１４がバッファから抜き取られる。また、ピクチャｎがデコードされてから、次のピクチャｎ＋１がデコードされるまでの時間間隔を、ピクチャのデコード間隔Ｔ（ｎ）３２２とする。
【０００７】
デコーダバッファの破綻は、２つの種類がある。バッファサイズ３１１を超えてデータが入力された場合は、オーバーフロー３３０が起こる。逆にバッファからピクチャデータを抜き取る際、バッファに全てのピクチャデータが存在しない場合は、アンダーフロー３３１が発生する。図１１のＶＢＶバッファシミュレーション３００をエンコーダ側で行うことで、このバッファの破綻が起こらないようなビデオＥＳを生成するようにエンコード部２２０を制御する。これをレート制御という。
【０００８】
オーバーフローとアンダーフローの両方を許容せず、オーバーフローをスタッフィングで回避するバッファモデルは、ＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ ）と呼ばれる。オーバーフローを許容し、アンダーフローは許容しないバッファモデルは、ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ ）と呼ばれる。
【０００９】
放送では、固定の帯域幅において、常にデータが一定レートでデコーダに入力されてくるため、ＣＢＲ（Ｃｏｎｓｔａｎｔ Ｂｉｔ Ｒａｔｅ ）の符号化モデルを使う方が帯域を有効に利用できる。一方、ＤＶＤーＶｉｄｅｏ等の蓄積媒体では、間欠転送により可変レート入力が実現可能なことと、記憶容量を有効に利用する目的から、ＶＢＲ（Ｖａｒｉａｂｌｅ Ｂｉｔ Ｒａｔｅ ）の符号化モデルを使うことが多い。
【００１０】
主にディジタルＴＶ放送などの送出用に用いられる形式であるトランスポートストリームは、ＭＰＥＧ２のシステム規格（ＩＳＯ／ＩＥＣ１３８１８−１）で規定される。多重化では、映像・音声やデータの入力から、それらをパケット化し、一定の伝送速度であるトランスポートレートで伝送できるよう、一本のトランスポートストリームに多重化する。
【００１１】
トランスポートストリームは、送出用として多く用いられてきたが、ＴＶ放送を家庭のセットトップボックス（ＳＴＢ）等の受信端末で記録するといったニーズや、タイムスタンプとパケットの位置関係が線形であるため扱い易いといった利点のため、蓄積媒体で利用する機器も増えてきている。また、近年のコンピュータの性能の向上によりコンピュータ上で映像が扱えるようになり、多様な映像コンテンツやフォーマットが流通してきている。そういった背景の中で、トランスポートストリームの効率的な生成や編集を行えるシステムが望まれている。
【００１２】
トランスポートストリームの利用効率を向上するという観点では、従来、特開平１１−１７７５１５のように無効データを利用するものなどがあった。また、トランスポートストリームの編集という観点では、特開平１１−２２０６５５号公報や特開平１１−８３６９１２号公報のように、放送におけるスプライシングまたはトランスコーディングという技術があった。
【００１３】
【発明が解決しようとする課題】
ＤＶＤ−ＶｉｄｅｏなどＭＰＥＧ２のＶＢＲで符号化された複数のビデオコンテンツを編集して１本のトランスポートストリームに多重化する際に、ヘッダに記述された最高ビットレートと実際のビットレートとが大きく異なる場合がある。しかし、ヘッダのビットレートを読み取ったり外部から固定のレートを与えたりする従来の多重化方法では、トランスポートストリームに多くの無効なデータが多重化され、ストリームを送出する際の帯域や蓄積媒体に記録する際の記憶容量を効率的に利用できていなかった。
【００１４】
本発明は上記従来の問題点を解決するもので、複数のビデオエレメンタリーストリームを編集して接続し、一つのトランスポートストリームに多重化する映像多重化方法において、ビデオエレメンタリーストリームを正常に多重化しつつもレートを最小にした最適なビットレートを算出し、得られた最適なビットレートに基づいて最適なトランスポートを算出してトランスポートストリームに多重化する、効率的な多重化方法を得ることを目的とする。
【００１５】
【課題を解決するための手段】
上記目的を達成するために、本発明の映像多重化方法は、映像及び音声をトランスポートストリームに多重化する前のビデオエレメンタリーストリームに対し、ビットレートの初期値算出処理と、ビットレートを変化させて設定する処理と、全シーケンスに対してビットレートに基づいたバッファシミュレーションを行うＶＢＶバッファシミュレーション処理と、バッファ破綻の状況により繰り返し処理を行うための判定処理と、最適なビットレートを算出する処理を行うことで、ビデオエレメンタリーストリームに対する最適なビットレートを算出し、最適なトランスポートレートを算出するものである。
【００１６】
また、複数のビデオエレメンタリーストリームを接続し、一つのトランスポートストリームに多重化する場合には、それら複数のビデオエレメンタリーストリームの無効フレームを除去して直列に接続し、接続された１個のビデオエレメンタリーストリームに対して最適なビットレートを算出することで、最適なトランスポートレートを算出するものである。
【００１７】
【発明の実施の形態】
本発明の第１の発明は、少なくとも１個のビデオエレメンタリーストリームをトランスポートストリームに多重化する映像多重化方法であって、トランスポートストリーム多重化ステップの前段で行われるビデオエレメンタリーストリームの最適ビットレート算出ステップは、ビットレートの初期値算出ステップと、ビットレートを変化させて設定するステップと、全シーケンスに対してビットレートに基づいたバッファシミュレーションを行うＶＢＶバッファシミュレーションステップと、バッファ破綻の状況により繰り返し処理を行うための判定ステップと、最適なビットレートを算出するステップとを有することを特徴とする映像多重化方法であり、ビデオエレメンタリーストリームに対する最適なビットレートを算出し、最適なトランスポートレートを算出することで、トランスポートストリームを送出する際の帯域または蓄積媒体に記録する際の記憶容量を効率的に利用することを可能とする。
【００１８】
本発明の第２の発明は、Ｍ個（Ｍ＞１、Ｍは整数）のビデオエレメンタリーストリームを直列に接続してトランスポートストリームに多重化する映像多重化方法であって、Ｍ個のビデオエレメンタリーストリームを直列に接続する複数個のビデオエレメンタリーストリームの接続ステップと、接続されたビデオエレメンタリーストリームに対して第１の発明におけるビデオエレメンタリーストリームの最適ビットレート算出ステップを行うステップとを有することを特徴とする映像多重化方法であり、複数個のビデオエレメンタリーストリームを接続する際に対する最適なビットレートを算出し、最適なトランスポートレートを算出することで、トランスポートストリームを送出する際の帯域または蓄積媒体に記録する際の記憶容量を効率的に利用することを可能とする。
【００１９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
（実施の形態１）
本実施の形態では、少なくとも１個のビデオＥＳをトランスポートストリームに多重化する映像多重化方法であって、トランスポートストリーム多重化処理の前段で行われる映像解析処理において、ビットレートの初期値を算出し、ビットレートを変化させて設定し、全シーケンスに対してビットレートに基づいたＶＢＶバッファシミュレーション処理を行い、バッファ破綻の状況により繰り返し処理を行うための判定処理を行い、最適なビットレートを算出する処理を行うことを特徴とする映像多重化方法を説明する。
【００２１】
実施の形態１における映像多重化方法は、ハードウェア上に搭載されたソフトウェアの形式、例えば図２に示したようなコンピュータ４００上で動作するプログラムとして実現することができる。図２において、４１０はデータを移動させるための通信路であるバス、４１１はデータに対して演算処理を行うためのＣＰＵ、４１２はデータの記憶を行うためのメモリ、４１３はデータを外部と通信するための通信インターフェース、４２１はデータをユーザに表示するための表示デバイス、４２２はユーザからデータの入力を受けるための入力デバイス、４２３はデータを２次記憶するためのハードディスクドライブ、４２４は光ディスクメディアにデータを読み書きするための光ディスクドライブである。
【００２２】
コンピュータ４００にて、映像多重化を実現する方法について説明する。まず、本発明による映像多重化を行うためのプログラムを、ハードディスク４２３に蓄積しておく。次に、通信インターフェース４１３又は光ディスクドライブ４２４を通して、ビデオＥＳ及び必要に応じてそれに付随したオーディオＥＳやデータを読み込み、ハードディスクドライブ４２３に蓄積する。ここで、通信インターフェース４１３や光ディスクドライブ４２４から読込むストリームは、エレメンタリーストリームに限らず、トランスポートストリームやＭＰＥＧプログラムストリームなどのビデオＥＳをシステム化したストリームであっても良い。この場合は、ハードディスクドライブ４２３に、対応するストリームをデコードするプログラムを格納しておくか、デコーダデバイスをコンピュータに接続しておけば、ビデオＥＳを得ることができる。
【００２３】
次に、映像多重化を行うためのプログラムを起動する。プログラムは起動されると、ハードディスクドライブ４２３からメモリ４１２上にロードされ、表示デバイス４２１を通して、例えば図３のようなグラフィカルユーザインターフェースの画面が表示される。図３において、ボックス４３１と４３２に、ビデオＥＳ名とオーディオＥＳ名を入力する。次にボックス４３３にトランスポートストリーム名を入力する。これらのストリーム名は、ハードディスクドライブ４２３や光ディスクドライブ４２４におけるファイル名で指定される。必要であればＰＩＤ等のストリーム付加情報をボックス４３４、４３５、４３６に入力する。開始ボタン４３７を押すと、映像多重化の本体のプログラムが実行される。
【００２４】
実施の形態１における映像多重化方法は、図４に示した映像多重化処理において、ビデオＥＳの最適ビットレート算出処理１００として図１に示すフローチャートを用いるものである。
【００２５】
図１において、１１０はビットレートの初期値算出ステップ、１１１は平均ビットレート算出ステップ、１１２はピクチャ符号量等のＶＢＶ情報を記憶するステップ、１２０はビットレートの初期値代入ステップ、１２１はビットレートの初期値に対するＶＢＶバッファシミュレーションステップ、１２２はバッファ破綻の判定ステップ、１３０はビットレートを変化させて設定するステップ、１３１は全シーケンスに対してビットレートに基づいたバッファシミュレーションを行うＶＢＶバッファシミュレーションステップ、１３２はバッファ破綻の判定ステップ、１３３はバッファ破綻の状況により繰り返し処理を行うための判定ステップ、１４０は最適なビットレートを算出するステップである。
【００２６】
以上のように構成されたビデオＥＳの最適ビットレート算出処理について、以下その動作について説明する。
【００２７】
まずビデオＥＳの総ビット量Ｖｓに対して、実際の平均ビットレートＡｖｇ（Ｖｓ）を算出するステップ１１１を行う。これは、ビデオＥＳのヘッダから読み取ったフレームレート（ピクチャレート）をｆ（Ｈｚ）、ビデオＥＳに含まれる総ピクチャ数をＮとすると、（数１）で計算される。
【００２８】
【数１】
【００２９】
ここで、ＶｓやＮには、後の多重化ステップ５１０において多重化されない無効フレームの値は含まれないものとする。
【００３０】
次にステップ１２０にて、算出された値Ａｖｇ（Ｖｓ）をビットレートＢの初期値として代入し、ステップ１２１にて、ビットレートＢに対するＶＢＶバッファシミュレーションを行う。ＶＢＶバッファシミュレーションの動作は、図１５を用いて説明した通りである。バッファシミュレーションの方法はＣＢＲとＶＢＲの２種類があるが、本発明では、ＣＢＲとＶＢＲの両方に適用できるＶＢＲを利用する。但しＶＢＶバッファ初期値３１２は、ＣＢＲの場合はビデオＥＳから読み取ったｖｂｖ＿ｄｅｌａｙ値、ＶＢＲの場合はＶＢＶバッファサイズ値にする。まず、最初のピクチャから最後のピクチャまで順にバッファ占有度を追跡する。アンダーフローが起きた場合は、変数ａ＝＋１とし、起きなかった場合は、変数ａ＝−１とする。この変数ａは、今後ビットレートを増加させるか減少させるかを意味している。ここで、少なくとも得られたピクチャ符号量Ｄ（ｎ）（ｎ＝１，２，．．，Ｎ）の列とｔｏｐ＿ｆｉｅｌｄ＿ｆｉｒｓｔフラグ、ｒｅｐｅａｔ＿ｆｉｒｓｔ＿ｆｉｅｌｄフラグの列を含むＶＢＶ情報を、図２におけるメモリ４１２等に記憶する。以上でビットレートの初期値算出ステップ１１０を終了する。
【００３１】
次にビットレートＢを変化させて最適なビットレートを探す繰り返し処理を行う。まずビットレートを変化させて設定するステップ１３０において、ビットレートＢをＢ＋ａ×ΔＢに更新する。ここでΔＢは固定のステップ幅であり、例えばΔＢ＝０．１（Ｍｂｐｓ）と定義することができる。また、今回のａの値をａ＿ｐｒｅに保存する。ステップ１３１で更新されたビットレートＢに対するＶＢＶバッファシミュレーションを行う。この際、ステップ１１２にて記憶されたＶＢＶ情報を利用することで、ビデオＥＳを再び解析するための不要な計算量を削減できる。ステップ１３２でバッファ破綻が起こったかどうかが判定され、前回の破綻状況と変化がない場合つまりａ＝ａ＿ｐｒｅなら、再びステップ１３０に戻ってやり直す。破綻状況に変化があった場合は、そのビットレートＢの近辺が最適ビットレートとなるため、ステップ１４０に進む。ステップ１４０では、最適ビットレートＢｐを（数２）で与える。
【００３２】
【数２】
【００３３】
この式は、今回初めて破綻した場合つまりａ＝＋１の場合は、前回のビットレートＢｐ＝Ｂ＋ΔＢが最適値となり、今回初めて破綻しなかった場合つまりａ＝−１の場合は、今回のビットレートＢｐ＝Ｂが最適値となることを意味している。以上のようにして、ビデオＥＳのバッファを保証できかつ最小のレートである最適ビットレートＢｐが算出され、ステップ１９０でビデオＥＳの最適ビットレート算出処理１００を終了する。
【００３４】
次にトランスポートストリーム多重化処理５１０を行う。ここでは、算出されたビデオＥＳの最適ビットレートに基づいて、最適なトランスポートレートを算出し、それに基づいて多重化処理を行う。
【００３５】
図５に最適なトランスポートレートの算出の過程を説明する図を示す。ビデオやオーディオのＥＳは、規定されたデータ単位毎にＰＥＳヘッダを加算され、ＰＥＳパケットにされる。次に、ＰＥＳパケットを区切り、ＴＳヘッダを付けてトランスポートパケットにする。ビデオの場合では、１個のＰＥＳパケットにされるＥＳのデータはピクチャ１個分と規定されている。あるピクチャｎのデータバイト数をＤ↓Ｖ（ｎ）バイト、ビデオＥＳからＴＳパケットにする際に増加する総ヘッダバイト数をＡ↓Ｖ（ｎ）、ある１ＰＥＳパケット分のオーディオユニットｎのデータバイト数をＤ↓Ａ（ｎ）バイト、オーディオＥＳからＴＳパケットにする際に増加する総ヘッダバイト数をＡ↓Ａ（ｎ）、オーディオのビットレートをＢ↓Ａ、ＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ ）のパケットレートをＢ↓ＰＡＴ、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ ）のパケットレートをＢ↓ＰＭＴ、それ以外のＰＩＤを持つパケットのレートをＢ↓Ｏｔｈｅｒとすると、最適トランスポートレートＢ↓ＴＳは、（数３）で与えられる。
【００３６】
【数３】
【００３７】
ΣはＥＳの全てのデータをｎについて加算することを示している。また（数３）では全てのデータに対してΣ計算を行っているが、系列の代表値や経験値を用いることもできる。
【００３８】
（数３）に用いられる全ての変数は、ＥＳ、ＰＥＳヘッダのシンタックス、ＴＳヘッダのシンタックス、ＰＡＴの多重化頻度、ＰＭＴの多重化頻度、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ ）をビデオ上に挿入するか又は独立パケットとするか、ＰＣＲの多重化頻度、若干の余裕を持たせるためのＮＵＬＬパケットのレート等のパラメータを決定することで値が算出でき、最適なトランスポートレートＢ↓ＴＳを算出することができる。
【００３９】
なお、以上の説明では、最適ビットレート算出処理において、ビットレートの平均値を初期値として処理を行う例を示したが、ビットレートを変化させてバッファの破綻の状況を調べる方法であれば、その他の方法も可能であることは言うまでもない。また、本実施の形態のプログラムを実行するためのハードウェアの例としてコンピュータを示したが、少なくともビデオエレメンタリーストリームの任意の部分を任意の時間にアクセスできる状態にすることができ、オーディオエレメンタリーストリームやその他の多重化情報を取得してソフトウェア又はハードウェアによりトランスポートストリームへと多重化が行えるハードウェアであれば、これに限定するものではない。
【００４０】
本実施の形態の利点は、１つのビデオＥＳに対する最適なビットレートを算出し、最適なトランスポートレートを算出することで、トランスポートストリームを送出する際の帯域または蓄積媒体に記録する際の記憶容量を効率的に利用することを可能とする。
【００４１】
（実施の形態２）
本実施の形態では、Ｍ個（Ｍ＞１、Ｍは整数）のビデオエレメンタリーストリームを直列に接続してトランスポートストリームに多重化する映像多重化方法であって、Ｍ個のビデオエレメンタリーストリームを直列に接続し、接続されたビデオエレメンタリーストリームに対して実施の形態１におけるビデオエレメンタリーストリームの最適ビットレート算出処理を行うことを特徴とする映像多重化方法を説明する。
【００４２】
実施の形態２における映像多重化方法は、例えば図２に示したようなコンピュータ４００上で動作するプログラムとして実現することができる。図２での本発明の実現方法は、実施の形態１において説明した通りである。
【００４３】
実施の形態２における映像多重化方法は、図６に示した映像多重化処理において、複数個のビデオＥＳの接続処理５２０として図７に示すフローチャートを、接続されたビデオＥＳの最適ビットレート算出処理１０１として、図８に示すフローチャートを用いるものである。
【００４４】
図７において、５３１は繰り返し回数ｋを初期化するステップ、５４０はｋ番目のビデオＥＳの無効フレームを除去するステップ、５３２は繰り返し回数ｋを１増加させるステップ、５３３は繰り返しするかどうかを判定するステップ、５５０はＭ個のビデオＥＳを直列に接続するステップ、１９０は終了である。
【００４５】
以上のように構成されたＭ個（Ｍ＞１、Ｍは整数）のビデオＥＳの接続処理について、以下その動作について説明する。
【００４６】
まずステップ５３１にて、ビデオＥＳのインデックスを示す繰り返し回数ｋを０に初期化する。次にステップ５４０にて、ｋ番目のビデオＥＳの無効フレームを除去する処理を行う。図９に無効フレームを説明する図を示す。ビデオＥＳのデータがオリジナルのビデオＥＳから切り出された際にＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）単位で切り出されていない場合は、ビデオＥＳの先頭や末尾に、参照フレームがストリーム中に存在しない無効なフレームが存在する。無効フレームが存在すると、ストリームを直列に接続する際に誤ったフレーム参照により正しくないストリームを生成してしまう。この現象を防止するため、ステップ５４０にて無効フレームを除去する。
【００４７】
次にステップ５３２にてｋを１増加させる。ステップ５３３において、ｋがＭに達したかどうかを判定し、ｋ＜Ｍなら、ステップ５４０に戻る。ｋ＝Ｍなら、ステップ５５０にて、Ｍ個のビデオＥＳを直列に接続し、ステップ５２９で終了する。ここで、Ｍ個のビデオＥＳを直列に接続することの意味を、図１０にて説明する。図１０のように、ビデオＥＳ＃０からビデオＥＳ＃Ｍ−１までのＭ個のＥＳを直列に接続すると、接続点におけるバッファ占有度を合致させることになる。但し、この時点ではビットレートも決定していない上、バッファが破綻しないかどうかも保証されない。
【００４８】
Ｍ個のビデオＥＳが１つに接続されると、図８の接続されたビデオＥＳの最適ビットレート算出処理１０１を行う。まず、実施の形態１の図１で示した処理である、ビデオＥＳの最適ビットレート算出処理１００を行う。この算出処理１００では、接続されたビデオＥＳの全てのフレームに対して図１のフローチャートによる１回の処理を行うことになる。この処理を行うと、全てのバッファが正常であることを保証する最適ビットレートが算出される。次に、接続されたビデオＥＳのビットレート値書換え処理１５０を行う。接続されたビデオＥＳは、接続前の部分により異なるビットレート値が書き込まれている可能性がある。そのため、最適ビットレートを全てのヘッダ（シーケンスヘッダとシーケンスエクステンション）に書き込む処理を行う。
【００４９】
以上のようにして複数個のビデオＥＳを接続して最適ビットレートを算出すると、最後にトランスポートストリーム多重化処理５１０を行う。この処理は、実施の形態１にて説明したのと同様である。
【００５０】
本実施の形態の利点は、複数個のビデオエレメンタリーストリームに対する最適なビットレートを算出し、最適なトランスポートレートを算出することで、トランスポートストリームを送出する際の帯域または蓄積媒体に記録する際の記憶容量を効率的に利用することを可能とする。
【００５１】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画質の保証された１つ又は複数のビデオエレメンタリーストリームを用いて、オフラインでトランスポートストリーム形式のコンテンツを制作するための映像多重化方法において、最適なビットレートのトランスポートストリームを得ることができ、送出時の帯域または蓄積媒体に記録時の記憶容量を効率的に利用することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるビデオエレメンタリーストリームの最適ビットレート算出処理を示すフローチャート
【図２】同プログラムを実行するためのハードウェアの一例であるコンピュータを示す図
【図３】同プログラムの画面の一例を示す図
【図４】同映像多重化処理を示すフローチャート
【図５】同最適なトランスポートレートの算出の過程を説明する図
【図６】本発明の実施の形態２における映像多重化処理を示すフローチャート
【図７】同複数個のビデオエレメンタリーストリームの最適ビットレート算出処理を示すフローチャート
【図８】同接続されたビデオエレメンタリーストリームの最適ビットレート算出処理を示すフローチャート
【図９】同ビデオエレメンタリーストリームを接続する際の無効フレームを説明する図
【図１０】同ビデオエレメンタリーストリームを接続する際のバッファを説明する図
【図１１】ＶＢＶバッファシミュレーションの位置付けを示すブロック図
【図１２】ＶＢＶバッファシミュレーションを説明する図
【符号の説明】
１００ ビデオエレメンタリーストリームの最適ビットレート算出処理
１０１ 接続されたビデオエレメンタリーストリームの最適ビットレート算出処理
１１０ ビットレートの初期値算出ステップ
１１１ 平均ビットレート算出ステップ
１１２ ＶＢＶ情報を記憶するステップ
１２０ ビットレートの初期値代入ステップ
１２１ 初期値に対するＶＢＶバッファシミュレーションステップ
１２２ バッファ破綻の判定ステップ
１３０ ビットレートを変化させて設定するステップ
１３１ ＶＢＶバッファシミュレーションステップ
１３２ バッファ破綻の判定ステップ
１３３ 繰り返し処理を行うための判定ステップ
１４０ 最適ビットレートを算出するステップ
４００ コンピュータ
４１０ バス
４１１ ＣＰＵ
４１２ メモリ
４１３ 通信インターフェース
４２１ 表示デバイス
４２２ 入力デバイス
４２３ ハードディスクドライブ
４２４ 光ディスクドライブ
５００ 映像多重化処理
５０１ 映像多重化処理
５１０ トランスポートストリーム多重化処理
５２０ 複数個のビデオエレメンタリーストリームの接続処理[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video multiplexing method for editing a plurality of MPEG2 video contents fetched from a video source such as a DVD and multiplexing them into one transport stream for transmission or recording on a storage medium. Alternatively, the present invention relates to a video multiplexing method for calculating and multiplexing an optimum bit rate for efficiently using the capacity of a storage medium.
[0002]
[Prior art]
In an authoring system based on the DVD-Video standard, digitized video is information-compressed and recorded at an appropriate bit rate according to a scene, thereby maximizing the use of the limited disk capacity and providing high-quality content. Making it possible to produce. A video compression technique that makes this possible is the MPEG2 video standard (ISO / IEC13818-2) that defines a bit stream and a decoding method.
[0003]
In MPEG2 video encoding (hereinafter, referred to as encoding), high picture quality is realized by allocating different code amounts to each picture, thereby reducing many bit rates compared to the original video. A buffer is used at the time of output in order to obtain a fixed-rate output bit stream called a video elementary stream (hereinafter, referred to as a video elementary stream) with a different rate being constant for each picture. This buffer is called a VBV (Video Buffering Verifyer), and serves as a verification model when a decoder decodes a bit stream. Calculating the transition of the buffer occupancy with the VBV buffer is called VBV buffer simulation.
[0004]
FIG. 11 is a block diagram illustrating a VBV buffer simulation. The video encoder 200 includes an encoding unit 220 that encodes an input video 210 by MPEG2, and an output buffer 230. When the encoding is completed, a video ES 240 is obtained as an output. Next, when the video ES is reproduced, an output decoded video 290 is obtained using a decoder buffer 260 for buffering the input video ES 240 and a video decoder 250 including a decoding unit 270 for decoding video from the buffer. be able to.
[0005]
The video ES 240 must be a stream whose decoder buffer occupancy has been previously verified in order for the buffer 260 to fail and obtain a normal continuous output decoded video 290. Therefore, it is necessary to perform a VBV buffer simulation 300 in the encoder buffer 230 to ensure that the decoder buffer does not fail.
[0006]
FIG. 12 is a diagram for explaining the operation of the VBV buffer simulation. Time 320 is plotted on the horizontal axis and buffer occupancy 310 is plotted on the vertical axis. The VBV buffer size 311 indicates the capacity (unit: bit) of the buffer. Since the stream is input to the decoder at a constant rate, the constant slope 313 indicates the bit rate B. First, data is accumulated in the buffer up to the VBV buffer initial value 312 first. When the vbv_delay value of the first picture and the time of vbv_delay (1) 323 elapse from the start of the accumulation of the picture data, the decoding time of the picture is reached, the first picture is decoded, and the data is extracted from the buffer. . When the decoding time t (n) 321 of the n-th picture arrives, the n-th picture is decoded, and the picture code amount D (n) 314 is extracted from the buffer. Further, a time interval between the decoding of the picture n and the decoding of the next picture n + 1 is defined as a picture decoding interval T (n) 322.
[0007]
There are two types of decoder buffer failures. When data is input beyond the buffer size 311, an overflow 330 occurs. Conversely, when extracting picture data from the buffer, if all the picture data does not exist in the buffer, an underflow 331 occurs. By performing the VBV buffer simulation 300 in FIG. 11 on the encoder side, the encoder 220 is controlled so as to generate a video ES that does not cause the buffer to fail. This is called rate control.
[0008]
A buffer model that does not allow both overflow and underflow and avoids overflow by stuffing is called CBR (Constant Bit Rate). A buffer model that allows overflow and does not allow underflow is called VBR (Variable Bit Rate).
[0009]
In broadcasting, data is always input to a decoder at a fixed rate in a fixed bandwidth. Therefore, using a CBR (Constant Bit Rate) coding model makes it possible to use the bandwidth more effectively. On the other hand, in a storage medium such as a DVD-Video, an encoding model of VBR (Variable Bit Rate) is often used in order to realize a variable rate input by intermittent transfer and to effectively use a storage capacity.
[0010]
A transport stream, which is a format mainly used for transmitting digital TV broadcasts and the like, is specified by the MPEG2 system standard (ISO / IEC13818-1). In multiplexing, video, audio, and data are input and packetized, and multiplexed into one transport stream so that the data can be transmitted at a transport rate that is a fixed transmission rate.
[0011]
Transport streams have been widely used for transmission. However, the need to record TV broadcasts at a receiving terminal such as a home set-top box (STB) and the linear relationship between time stamps and packets are treated. Due to the advantage of being easy to use, devices used as storage media are increasing. In addition, recent improvements in computer performance have made it possible to handle images on the computer, and various image contents and formats have been distributed. Under such a background, a system that can efficiently generate and edit a transport stream is desired.
[0012]
From the viewpoint of improving the use efficiency of the transport stream, there has conventionally been one that uses invalid data as in JP-A-11-177515. Further, from the viewpoint of editing a transport stream, there has been a technique called splicing or transcoding in broadcasting, as disclosed in JP-A-11-220655 and JP-A-11-826912.
[0013]
[Problems to be solved by the invention]
When editing a plurality of video contents encoded by MPEG2 VBR such as DVD-Video and multiplexing them into one transport stream, the maximum bit rate described in the header and the actual bit rate are significantly different. There are cases. However, according to the conventional multiplexing method of reading the bit rate of the header or giving a fixed rate from the outside, a large amount of invalid data is multiplexed into the transport stream, so that the bandwidth and the storage medium used when transmitting the stream are reduced. The storage capacity at the time of recording could not be used efficiently.
[0014]
The present invention solves the above-mentioned conventional problems. In a video multiplexing method for editing and connecting a plurality of video elementary streams and multiplexing them into one transport stream, the video elementary streams are normally multiplexed. To obtain an efficient multiplexing method that calculates an optimal bit rate that minimizes the rate while calculating, and calculates an optimal transport based on the obtained optimal bit rate and multiplexes it into a transport stream. The purpose is to:
[0015]
[Means for Solving the Problems]
In order to achieve the above object, the video multiplexing method of the present invention provides a video elementary stream before multiplexing video and audio into a transport stream, a process of calculating an initial value of a bit rate, and changing a bit rate. A process of setting and setting, a VBV buffer simulation process of performing a buffer simulation based on a bit rate for all sequences, a determination process of performing a repetition process according to a buffer failure situation, and a process of calculating an optimal bit rate Is performed, the optimum bit rate for the video elementary stream is calculated, and the optimum transport rate is calculated.
[0016]
When a plurality of video elementary streams are connected and multiplexed into one transport stream, invalid frames of the plurality of video elementary streams are removed, connected in series, and one connected video elementary stream is connected. The optimum transport rate is calculated by calculating the optimum bit rate for the video elementary stream.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
According to a first aspect of the present invention, there is provided a video multiplexing method for multiplexing at least one video elementary stream into a transport stream, the video multiplexing method comprising: optimizing a video elementary stream performed before a transport stream multiplexing step. The bit rate calculation step includes a step of calculating an initial value of the bit rate, a step of changing and setting the bit rate, a VBV buffer simulation step of performing a buffer simulation based on the bit rate for all the sequences, and a state of buffer failure. A video multiplexing method characterized by comprising a determination step for performing repetitive processing according to (1) and a step of calculating an optimal bit rate, wherein an optimal bit rate for a video elementary stream is calculated and an optimal bit rate is calculated. By calculating the Sport rate, it makes it possible to use the storage capacity for recording the bandwidth or storage medium when transmitting the transport stream efficiently.
[0018]
A second invention of the present invention is a video multiplexing method for multiplexing M (M> 1, M is an integer) video elementary streams in series and multiplexing them into a transport stream, wherein M video Connecting a plurality of video elementary streams connecting the elementary streams in series, and performing an optimal bit rate calculation step of the video elementary stream in the first invention on the connected video elementary streams. A video multiplexing method characterized in that the transport stream is transmitted by calculating an optimal bit rate for connecting a plurality of video elementary streams and calculating an optimal transport rate. Efficient storage capacity when recording to storage bandwidth or storage media It makes it possible to use.
[0019]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0020]
(Embodiment 1)
The present embodiment relates to a video multiplexing method for multiplexing at least one video ES into a transport stream, wherein an initial value of a bit rate is set in a video analysis process performed before a transport stream multiplexing process. Calculate, set the bit rate by changing it, perform VBV buffer simulation processing based on the bit rate for all sequences, perform determination processing for performing repetition processing depending on the state of buffer failure, and determine the optimal bit rate. A video multiplexing method characterized by performing a calculation process will be described.
[0021]
The video multiplexing method according to the first embodiment can be realized in the form of software mounted on hardware, for example, a program operating on a computer 400 as shown in FIG. In FIG. 2, reference numeral 410 denotes a bus as a communication path for moving data, 411 denotes a CPU for performing arithmetic processing on data, 412 denotes a memory for storing data, and 413 denotes data for communicating with the outside. 421, a display device for displaying data to the user; 422, an input device for receiving data input from the user; 423, a hard disk drive for secondary storage of data; It is an optical disk drive for reading and writing data to the optical disk.
[0022]
A method for realizing video multiplexing in the computer 400 will be described. First, a program for performing video multiplexing according to the present invention is stored in the hard disk 423. Next, the video ES and, if necessary, the audio ES and data accompanying the video ES are read through the communication interface 413 or the optical disk drive 424, and are stored in the hard disk drive 423. Here, the stream read from the communication interface 413 or the optical disk drive 424 is not limited to the elementary stream, but may be a stream in which the video ES is systemized such as a transport stream or an MPEG program stream. In this case, the video ES can be obtained by storing a program for decoding the corresponding stream in the hard disk drive 423 or by connecting a decoder device to a computer.
[0023]
Next, a program for performing video multiplexing is started. When the program is started, the program is loaded from the hard disk drive 423 onto the memory 412, and a screen of a graphical user interface as shown in FIG. 3 is displayed through the display device 421. In FIG. 3, a video ES name and an audio ES name are input in boxes 431 and 432, respectively. Next, a transport stream name is input in a box 433. These stream names are specified by file names in the hard disk drive 423 and the optical disk drive 424. If necessary, stream additional information such as PID is input to boxes 434, 435 and 436. When the start button 437 is pressed, the main program of the video multiplexing is executed.
[0024]
The video multiplexing method according to the first embodiment uses the flowchart shown in FIG. 1 as the video ES optimum bit rate calculation processing 100 in the video multiplexing processing shown in FIG.
[0025]
In FIG. 1, 110 is a bit rate initial value calculating step, 111 is an average bit rate calculating step, 112 is a step for storing VBV information such as a picture code amount, 120 is a bit rate initial value substituting step, and 121 is a bit rate. Buffer simulation step for the initial value of の, 122 is a buffer failure determination step, 130 is a step of changing and setting the bit rate, 131 is a VBV buffer simulation step of performing a buffer simulation based on the bit rate for all sequences, Reference numeral 132 denotes a buffer failure determination step, reference numeral 133 denotes a determination step for performing repetitive processing depending on the buffer failure situation, and reference numeral 140 denotes a step of calculating an optimum bit rate.
[0026]
The operation of the video ES optimum bit rate calculation processing configured as described above will be described below.
[0027]
First, step 111 for calculating the actual average bit rate Avg (Vs) is performed on the total bit amount Vs of the video ES. This is calculated by (Equation 1), where f (Hz) is the frame rate (picture rate) read from the header of the video ES, and N is the total number of pictures included in the video ES.
[0028]
(Equation 1)
[0029]
Here, it is assumed that Vs and N do not include the value of an invalid frame that is not multiplexed in the subsequent multiplexing step 510.
[0030]
Next, in step 120, the calculated value Avg (Vs) is substituted as an initial value of the bit rate B, and in step 121, a VBV buffer simulation for the bit rate B is performed. The operation of the VBV buffer simulation is as described with reference to FIG. There are two types of buffer simulation methods, CBR and VBR. In the present invention, VBR that can be applied to both CBR and VBR is used. However, the VBV buffer initial value 312 is a vbv_delay value read from the video ES in the case of CBR, and a VBV buffer size value in the case of VBR. First, the buffer occupancy is tracked in order from the first picture to the last picture. If an underflow has occurred, the variable a is set to +1; otherwise, the variable a is set to -1. This variable a indicates whether the bit rate will be increased or decreased in the future. Here, VBV information including at least a column of the obtained picture code amount D (n) (n = 1, 2,..., N) and a column of a top_field_first flag and a repeat_first_field flag is stored in the memory 412 or the like in FIG. I do. This completes the bit rate initial value calculation step 110.
[0031]
Next, a repetition process for searching for an optimum bit rate by changing the bit rate B is performed. First, in step 130 for changing and setting the bit rate, the bit rate B is updated to B + a × ΔB. Here, ΔB is a fixed step width, and can be defined as ΔB = 0.1 (Mbps), for example. Also, the value of a at this time is stored in a_pre. At step 131, a VBV buffer simulation is performed for the updated bit rate B. At this time, by using the VBV information stored in step 112, it is possible to reduce an unnecessary calculation amount for re-analyzing the video ES. At step 132, it is determined whether or not a buffer failure has occurred. If there is no change from the previous failure situation, that is, if a = a_pre, the process returns to step 130 and starts over again. If there is a change in the failure status, the process proceeds to step 140 because the vicinity of the bit rate B becomes the optimum bit rate. In step 140, the optimum bit rate Bp is given by (Equation 2).
[0032]
(Equation 2)
[0033]
This equation shows that the previous bit rate Bp = B + ΔB is the optimal value when the first failure this time, that is, when a = + 1, and when the first failure this time, that is, when a = −1, the current bit rate Bp = B means the optimum value. As described above, the optimum bit rate Bp that can guarantee the buffer of the video ES and is the minimum rate is calculated, and in step 190, the optimum bit rate calculation processing 100 of the video ES ends.
[0034]
Next, a transport stream multiplexing process 510 is performed. Here, an optimum transport rate is calculated based on the calculated optimum bit rate of the video ES, and a multiplexing process is performed based on the calculated transport rate.
[0035]
FIG. 5 is a diagram for explaining the process of calculating the optimum transport rate. A video or audio ES is added to a PES header for each specified data unit, and is converted into a PES packet. Next, the PES packet is separated and a TS header is added to make a transport packet. In the case of video, the data of the ES made into one PES packet is defined as one picture. The number of data bytes of a certain picture n is D ↓ V (n) bytes, the total number of header bytes to be increased when converting from video ES to TS packets is A ↓ V (n), and the number of data bytes of audio unit n for one PES packet The number of packets is D ↓ A (n) bytes, the total number of header bytes that increases when converting from audio ES to TS packets is A ↓ A (n), the audio bit rate is B ↓ A, and the packet is a PAT (Program Association Table) packet. If the rate is B ↓ PAT, the packet rate of the PMT (Program Map Table) is B ↓ PMT, and the rate of packets having other PIDs is B ↓ Other, the optimal transport rate B ↓ TS is Given.
[0036]
[Equation 3]
[0037]
Σ indicates that all data of ES is added for n. Further, in (Equation 3), Σ calculation is performed for all data, but a representative value or an empirical value of a series may be used.
[0038]
All variables used in (Equation 3) include ES, PES header syntax, TS header syntax, PAT multiplexing frequency, PMT multiplexing frequency, and PCR (Program Clock Reference) on the video. The value can be calculated by deciding parameters such as the frequency of multiplexing of PCR, the rate of NULL packets to allow some margin, and the like, as an independent packet or an independent packet, and the optimum transport rate B ↓ TS is calculated. be able to.
[0039]
In the above description, in the optimum bit rate calculation processing, an example in which the processing is performed using the average value of the bit rates as an initial value has been described. It goes without saying that other methods are also possible. Although a computer has been described as an example of hardware for executing the program of the present embodiment, at least any part of the video elementary stream can be accessed at any time, and the audio elementary stream can be accessed. The hardware is not limited to this, as long as the hardware can acquire a stream and other multiplexed information and multiplex the stream into a transport stream by software or hardware.
[0040]
The advantage of this embodiment is that the optimum bit rate for one video ES is calculated, and the optimum transport rate is calculated, so that the transport stream can be transmitted or stored in a storage medium. The capacity can be used efficiently.
[0041]
(Embodiment 2)
In the present embodiment, a video multiplexing method for connecting M video elementary streams (M> 1, M is an integer) in series and multiplexing them in a transport stream, comprising: M video elementary streams Are connected in series, and a video multiplexing method characterized by performing the optimal bit rate calculation processing of the video elementary stream in the first embodiment on the connected video elementary stream will be described.
[0042]
The video multiplexing method according to the second embodiment can be realized, for example, as a program operating on a computer 400 as shown in FIG. The method for realizing the present invention in FIG. 2 is as described in the first embodiment.
[0043]
In the video multiplexing method according to the second embodiment, in the video multiplexing process shown in FIG. 6, the flowchart shown in FIG. 7 is used as the connection process 520 for a plurality of video ESs, and the optimal bit rate calculation process for the connected video ESs is performed. As 101, the flowchart shown in FIG. 8 is used.
[0044]
In FIG. 7, 531 is a step of initializing the number of repetitions k, 540 is a step of removing invalid frames of the k-th video ES, 532 is a step of increasing the number of repetitions k by 1, and 533 is whether to repeat. Step 550 is a step of connecting M video ESs in series, and 190 is the end.
[0045]
The operation of connection processing of the M video ESs configured as described above (M> 1, M is an integer) will be described below.
[0046]
First, in step 531, the number of repetitions k indicating the index of the video ES is initialized to zero. Next, in step 540, a process of removing invalid frames of the k-th video ES is performed. FIG. 9 is a diagram illustrating an invalid frame. When the data of the video ES is cut out from the original video ES and is not cut out in units of GOPs (Group Of Pictures), an invalid frame in which the reference frame does not exist in the stream is placed at the beginning or end of the video ES. Exists. When an invalid frame exists, an incorrect stream is generated due to an incorrect frame reference when connecting the streams in series. In order to prevent this phenomenon, an invalid frame is removed in step 540.
[0047]
Next, at step 532, k is increased by one. In step 533, it is determined whether or not k has reached M. If k <M, the process returns to step 540. If k = M, at step 550, M video ESs are connected in series, and the process ends at step 529. Here, the meaning of connecting M video ESs in series will be described with reference to FIG. As shown in FIG. 10, when M ESs from video ES # 0 to video ES # M-1 are connected in series, the buffer occupancy at the connection point is matched. However, at this time, the bit rate is not determined, and it is not guaranteed whether the buffer will not fail.
[0048]
When the M video ESs are connected to one, an optimum bit rate calculation process 101 of the connected video ESs in FIG. 8 is performed. First, a video ES optimum bit rate calculation process 100, which is the process shown in FIG. 1 of the first embodiment, is performed. In the calculation process 100, one process according to the flowchart of FIG. 1 is performed on all frames of the connected video ES. When this process is performed, an optimum bit rate that guarantees that all buffers are normal is calculated. Next, a bit rate value rewriting process 150 of the connected video ES is performed. In the connected video ES, a different bit rate value may be written depending on a part before the connection. Therefore, a process of writing the optimum bit rate to all headers (sequence header and sequence extension) is performed.
[0049]
When the optimum bit rate is calculated by connecting a plurality of video ESs as described above, the transport stream multiplexing processing 510 is finally performed. This processing is the same as that described in the first embodiment.
[0050]
The advantage of this embodiment is that the optimum bit rate for a plurality of video elementary streams is calculated, and the optimum transport rate is calculated, so that the transport stream is recorded on a band or a storage medium when the stream is transmitted. It is possible to efficiently use the storage capacity at the time.
[0051]
【The invention's effect】
As is apparent from the above description, according to the present invention, a video multiplexing method for producing a content in a transport stream format offline using one or a plurality of video elementary streams whose image quality is guaranteed. In this case, it is possible to obtain a transport stream having an optimum bit rate, and it is possible to efficiently use the bandwidth at the time of transmission or the storage capacity at the time of recording on a storage medium.
[Brief description of the drawings]
FIG. 1 is a flowchart showing an optimal bit rate calculation process for a video elementary stream according to Embodiment 1 of the present invention.
FIG. 2 is a diagram showing a computer which is an example of hardware for executing the program.
FIG. 3 is a diagram showing an example of a screen of the program.
FIG. 4 is a flowchart showing the video multiplexing process;
FIG. 5 is a view for explaining a process of calculating the optimum transport rate.
FIG. 6 is a flowchart showing video multiplexing processing according to Embodiment 2 of the present invention;
FIG. 7 is a flowchart showing an optimum bit rate calculation process for the plurality of video elementary streams.
FIG. 8 is a flowchart showing an optimal bit rate calculation process for the connected video elementary stream.
FIG. 9 is a view for explaining invalid frames when connecting the video elementary streams.
FIG. 10 is a view for explaining a buffer when the video elementary stream is connected.
FIG. 11 is a block diagram showing the positioning of a VBV buffer simulation.
FIG. 12 illustrates a VBV buffer simulation.
[Explanation of symbols]
100 Optimal bit rate calculation processing for video elementary stream
101 Optimum bit rate calculation processing of connected video elementary stream
110 Bit rate initial value calculation step
111 Average bit rate calculation step
112 Step of storing VBV information
120 bit rate initial value substitution step
121 VBV buffer simulation step for initial value
122 Buffer Failure Judgment Step
130 Step of changing and setting bit rate
131 VBV buffer simulation step
132 Buffer Failure Judgment Step
133 Judgment Steps for Performing Repetitive Processing
140 Step of Calculating Optimal Bit Rate
400 computer
410 bus
411 CPU
412 memory
413 Communication interface
421 Display device
422 input device
423 Hard Disk Drive
424 Optical Disk Drive
500 video multiplexing processing
501 Video multiplexing processing
510 Transport stream multiplexing processing
520 Connection processing of multiple video elementary streams
