JP2004320707A - ビデオ情報複数同時符号化装置 - Google Patents
ビデオ情報複数同時符号化装置 Download PDFInfo
- Publication number
- JP2004320707A JP2004320707A JP2003206482A JP2003206482A JP2004320707A JP 2004320707 A JP2004320707 A JP 2004320707A JP 2003206482 A JP2003206482 A JP 2003206482A JP 2003206482 A JP2003206482 A JP 2003206482A JP 2004320707 A JP2004320707 A JP 2004320707A
- Authority
- JP
- Japan
- Prior art keywords
- rate
- video information
- rate control
- encoding
- encoding device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供する。
【解決手段】高ビットレートの量子化器Ｑをレート制御するレート制御部１は、通常の手順、すなわちステップ１〜３の処理を行う。一方、低ビットレートの量子化器Ｑ’をレート制御するレート制御部２は、前記レート制御部１で得られた符号化パラメータを利用して、符号化パラメータを求める。該レート制御部２は、レート制御部１おける映像のＶＢＶバッファ占有量が、レート制御部２における符号化時のＶＢＶバッファ占有量と相関するようにレート制御することにより、レート制御処理を軽減する。
【選択図】 図１
【解決手段】高ビットレートの量子化器Ｑをレート制御するレート制御部１は、通常の手順、すなわちステップ１〜３の処理を行う。一方、低ビットレートの量子化器Ｑ’をレート制御するレート制御部２は、前記レート制御部１で得られた符号化パラメータを利用して、符号化パラメータを求める。該レート制御部２は、レート制御部１おける映像のＶＢＶバッファ占有量が、レート制御部２における符号化時のＶＢＶバッファ占有量と相関するようにレート制御することにより、レート制御処理を軽減する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明はビデオ情報複数同時符号化装置に関し、特に、様々なネットワークや再生環境への映像配信を行う場合に必要となる複数ストリームの同時符号化を、従来の方法より高速かつ画質劣化を抑えて行うことができるビデオ情報複数同時符号化装置に関する。
【０００２】
【従来の技術】
映像コンテンツを生成する場合、各種ネットワークや再生環境に応じたビットレートの異なる複数のコンテンツを生成する必要があるが、ビデオ情報を個々に符号化したのでは多くの時間や手間がかかる。そこで、同時に複数のストリームを高速に生成するトランスコード方式がいくつか考案されている。
【０００３】
その一例を、図２０のブロック図を参照して簡単に説明する。図は、周知のＭＰＥＧ２をベースとするビデオ情報複数同時符号化装置であるので、詳細な動作説明は省略し、要点のみを説明する。この従来装置は、低ビットレートと高ビットレートの２種類のストリームを生成して出力するものであり、低および高ビットレートそれぞれのループ、すなわちＤＣＴ−量子化部（Ｑ）−逆量子化部（ＩＱ）−逆ＤＣＴ（ＩＤＣＴ）−フレームメモリ−動き補償部（ＭＣ）からなるループを有し、かつ前記量子化部Ｑ，Ｑ’をレート制御する２つのレート制御部１１，１２を有している。この従来装置では、動き探索処理部４を共通化することにより、処理を軽減している。
【０００４】
また、他の従来装置としては、例えば、情報研報、ＡＶＭ３３−５（２００１）の「マルチレート出力機能実現のためのＭＰＥＧ２トランスコーダ量子化制御方式の検討」に記されているような、量子化処理を部分的に共通化する方式がある。
【０００５】
【発明が解決しようとする課題】
上記の従来技術は、それぞれ、低および高ビットレートにおける動きベクトルの探索を共通化する方式、量子化処理を部分的に共通化する方式により処理量を軽減して高速化を図るものであるが、各ビットレートのストリームを符号化する際に必要となるレート制御処理はレート制御部１１，１２により独立に行っていた。そして、該レート制御処理の処理量を軽減する配慮は何らなされていなかった。
【０００６】
本発明は前記従来技術に鑑みてなされたものであり、その目的は、レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、該レート制御部は、高又は低ビットレートで符号化された符号化パラメータを利用して、他のビットレートの映像を符号化するようにした点に第１の特徴がある。
【０００８】
この特徴によれば、前記他のビットレートのレート制御に対しては、通常のレート制御のステップ１〜３を行わなくて済むので、レート制御の処理量を大きく低減することができ、符号化処理を高速化できる。
【０００９】
また、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、該レート制御部は、通常のレート制御処理におけるアクティビティの計算を共通化して、前記複数の量子化器のための符号化パラメータを求めるようにした点に第２の特徴がある。
【００１０】
この特徴によれば、アクティビティの計算の処理量を低減でき、全体としての符号化に要する処理量を低減できる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、通常のレート制御（ＭＰＥＧ−２ ＩＳＯ／ＩＥＣ１３３９６−２ Ｔｅｓｔ Ｍｏｄｅｌ ５）処理を説明する。該通常のレート制御では、下記のステップ１〜ステップ３の処理が行われる。
（ステップ １）
【００１２】
まず、各フレームの符号化に先立ち、次式で定義したＩ、Ｐ、Ｂピクチャの復雑さ指標Ｘｉ、Ｘｐ、Ｘｂを更新する。Ｓｉ、Ｓｐ、Ｓｂを発生ビット数、Ｑｉ（ａｖｅ）、Ｑｐ（ａｖｅ）、Ｑｂ（ａｖｅ）を平均的な量子化パラメータ（以下ＱＰ）（１フレーム中のすべてのＭＢのｍｑｕａｎｔの平均値、ただし１〜３１の範囲に正規化されている）とする。この復雑さ指標は、符号化情報量が多く発生するような画像に対して大きくなり、高い圧縮率が得られる画像に対しては小さくなる。該指標は、これから符号化しようとする画像のタイプによってどの程度情報量が必要かを、ある数値で規格化して、相対的に見積もったものである。
【００１３】
Ｘｉ＝ＳｉＱｉ（ａｖｅ） 、 Ｘｐ＝ＳｐＱｐ（ａｖｅ） 、 Ｘｂ＝ＳｂＱｂ（ａｖｅ）
初期値Ｘｉ（ｉｎｉｔ）、Ｘｐ（ｉｎｉｔ）、Ｘｂ（ｉｎｉｔ）は、次のように与えられる。
Ｘｉ（ｉｎｉｔ） ＝ １６０×Ｂｉｔ−ｒａｔｅ ／１１５
Ｘｐ（ｉｎｉｔ） ＝ ６０×Ｂｉｔ−ｒａｔｅ ／１１５
Ｘｂ（ｉｎｉｔ） ＝ ４２×Ｂｉｔ−ｒａｔｅ ／１１５
ここに、Ｂｉｔ−ｒａｔｅはビットレート（ビット／秒）である。
【００１４】
ＧＯＰの中の次の画面の目標ビット数Ｔｉ、Ｔｐ、Ｔｂは、次のようにＧＯＰの残りのビット数を、Ｉ、Ｐ、Ｂの残りの枚数の自分のピクチャタイプに換算したもので割ることで得られる。これはＧＯＰ中のまだ符号化していない画像のすべてが、これから符号化しようとする画像タイプであるとみなしたとき、１フレームあたり何ビット与えることができるかの目安を与えるものである。
【００１５】
Ｔｉ ＝ Ｒ／（１＋ＮｐＸｐ／（ＸｉＫｐ）＋ＮｂＸｂ／（ＸｉＫｂ））
Ｔｐ ＝ Ｒ／（Ｎｐ＋ＮｂＫｐＸｂ／（ＫｂＸｐ））
Ｔｂ ＝ Ｒ／（Ｎｂ＋ＮｐＫｂＸｐ／（ＫｐＸｂ））
Ｋｐ、Ｋｂは量子化マトリクスに依存する恒常な定数であり、Ｋｐ＝１．０、Ｋｂ＝１．４である。Ｎｐ、ＮｂはＧＯＰの中の符号化順でＰ、Ｂピクチャの残った枚数、ＲはＧＯＰに与えられた残りのビット数であり、画像の符号化の後では、Ｒ ＝ Ｒ−Ｓｉ あるいは Ｒ ＝ Ｒ−Ｓｐ あるいは Ｒ ＝ Ｒ−Ｓｂである。
【００１６】
ＧＯＰの最初の画面では、次のように設定する。
Ｒ ＝ Ｇ ＋ Ｒ
Ｇ ＝ Ｂｉｔ−ｒａｔｅ × Ｎ ／Ｐｉｃｔｕｒｅ−ｒａｔｅ
Ｎ：ＧＯＰの中のピクチャの数
（ステップ２）
【００１７】
各フレームに含まれるＭＢを順次符号化しながら、量子化ステップを求める段階である。符号化しようとしているフレームに対する割り当て情報量と実際に発生した情報量の差をＭＢごとにフィードバックする。実際の発生情報量が、計画量より大きいと、発生情報量を減らすために量子化ステップは大きくなり、逆の場合には量子化ステップが小さくなる。
【００１８】
まず、ｊ番目のＭＢの符号化の前にＩ、Ｐ、Ｂフレームに対する仮想的なバッファ（このバッファは量子化ステップの計算だけに用いるもので、後述する仮想バッファ検証器とは異なる）の充満度を計算する。初期バッファ状態をｄｉ（０）、ｄｐ（０）、ｄｂ（０）とする。
ｄｉ（ｊ） ＝ ｄｉ（０） ＋ Ｂ（ｊ−１）−Ｔｉ×（ｊ−１）／ＭＢ−ｃｎｔ
ｄｐ（ｊ） ＝ ｄｐ（０） ＋ Ｂ（ｊ−１）−Ｔｐ×（ｊ−１）／ＭＢ−ｃｎｔ
ｄｂ（ｊ） ＝ ｄｂ（０） ＋ Ｂ（ｊ−１）−Ｔｂ×（ｊ−１）／ＭＢ−ｃｎｔ
Ｂ（ｊ）はｊを含んでそれまでのすべてのＭＢの符号化発生ビット数、ＭＢ−ｃｎｔはピクチャ内のＭＢ数である。ピクチャ内の最後の充満度は次の同タイプのピクチャのｄｉ（０）、ｄｐ（０）、ｄｂ（０）とみなされる。マクロブロックｊの仮の量子化ステップＱ（ｊ）は次のように与えられる。
【００１９】
Ｑ（ｊ） ＝ ｄ（ｊ）×３１ ／ ｒ
ｒ ＝ ２×Ｂｉｔ−ｒａｔｅ ／Ｐｉｃｔｕｒｅ−ｒａｔｅ
初期値は、次の通りである。
ｄｉ（０） ＝ １０×ｒ／３１
ｄｐ（０） ＝ Ｋｐ×ｄｉ（０）
ｄｂ（０） ＝ Ｋｂ×ｄｉ（０）
（ステップＳ３）
【００２０】
ＱＰの平均値を、ＭＢごとのアクティビティによって変化させる。マクロブロックｊの空間的アクティビティ測定ａｃｔ（ｊ）として、入力画像の輝度ブロック（ＭＢ中に４個含まれる）の画素値を使って次式を計算する。ｓｂｌｋは輝度ブロックの番号を示す。
【数１】
ここで
【数２】
【００２１】
（Ｐｋ：８×８ブロックの画素値）
アクティビティａｃｔ（ｊ）を、平均的なアクティビティの値からの偏りによって［２，１／２］の範囲に正規化した係数Ｎ−ａｃｔ（ｊ）を計算する。
Ｎ−ａｃｔ（ｊ）＝（２×ａｃｔ（ｊ）＋ａｖｇ−ａｃｔ）／（ａｃｔ（ｊ）＋２×ａｖｇ−ａｃｔ）・・・（２）
ａｖｇ−ａｃｔは前の時刻の画像のａｃｔ（ｊ）の平均値、初期値は４００である。この正規化した係数を用いて変調した量子化ステップは次式で得られる。
Ｍｑ（ｊ）＝Ｑ（ｊ）×Ｎ−ａｃｔ（ｊ）
Ｍｑ（ｊ）は［１，３１］の範囲の整数にクリップされる。この変調により、視覚特性上ノイズに敏感なアクティビティの低い部分には細かな量子化ステップが割り当てされる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。
このように、通常のレート制御は、大きな処理量を必要とする。
【００２２】
次に、本発明の原理を説明する。本発明者は、ビットレートを制御するには、量子化処理における量子化パラメータ（以下、ＱＰ値）の設定と、その値により変動するＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファの占有量の大きさが重要になることに着目し、次のような予備実験を行った。なお、前記ＶＢＶバッファは、仮想的なバッファ検証器を意味する。符号化により生成されるビットストリームは、該ＶＢＶが要求する条件を満たすことが義務付けられており、一定レートで符号化されたビットストリームは、ＶＢＶによって課せられた拘束条件に合っていなければならないという決まりがあるが、これは周知であるので説明を省略する。
【００２３】
さて、前記予備実験として、ＭＰＥＧ−４エンコーダで通常のレート制御（例えば、ＴＭ５符号化方式）を行ったとき、各フレーム毎のＶＢＶバッファ占有量の推移と、フレーム単位での平均ＱＰ値の推移と、マクロブロック（以下、ＭＢ）単位でのＱＰ値の推移が、各ビットレート（例えば、４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）においてどのようになっているかを検証した。実験に使用した入力および出力シーケンスの符号化条件を、図４（ａ）および（ｂ）に示す。
【００２４】
また、前記実験により得た結果であるＶＢＶバッファの占有量のフレーム数による推移を図５に、フレーム単位での平均ＱＰ値の推移の結果を図６に示す。また、第０フレームのＩピクチャでのＭＢ単位のＱＰ値の推移を図７に、第１フレームのＰピクチャでのＭＢ単位のＱＰ値の推移を図８に示す。
【００２５】
図５を見ると、各ビットレート（４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）におけるＶＢＶバッファの推移特性が類似している、すなわち相関があることがわかる。また、図６を見ると、各ビットレートにおけるフレーム単位での平均ＱＰ値が類似していることがわかる。また、図７、図８を見ると、各ビットレートにおけるＭＢ単位でのＱＰ値の推移特性も類似していることがわかる。
【００２６】
つまり、この実験により、本発明者は、サイマルエンコーダを構築する際に、最高ビットレート（例えば、４Ｍｂｐｓ）のＱＰ値を低ビットレート（例えば、３Ｍｂｐｓ，２Ｍｂｐｓ）のＱＰ値の算出に利用することにより、ビデオ情報複数同時符号化装置のレート制御のＱＰ値の算出処理を削減し、処理の高速化を図ることができることを着想した。
【００２７】
本発明の原理は、最高ビットレートでのコンテンツ符号化には通常のエンコード処理、すなわち前記ステップ１〜３の処理を行い、低ビットレートのコンテンツには該最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、低ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をすることにある。なお、後述するように、上記の文中の「最高ビットレート」を「最低ビットレート」と、また「低ビットレート」を「高ビットレート」と置き換えても良いので、以降では、これらを総称するために、場合によっては、通常のエンコード処理を行うビットレートを「マスタレート」、該マスタレートのＶＢＶバッファ推移を参照してエンコード処理を行うビットレートを「派生レート」と呼ぶことにする。
【００２８】
以下に、本発明の一実施形態を詳細に説明する。まず、マスタレートである高ビットレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率を、ｎ枚目の画像のデコード時刻ｔｎを用いて、ｂｈｒ（ｔｎ）とする。しかし、高ビットレートと派生レートである低ビットレートでは、バッファサイズ指定やビットレート指定の違いにより、バッファ占有量を同一とすることはできない。このため、低ビットレートのシーケンスは、高ビットレートのバッファ推移を低ビットレートの理想推移に修正することで得るものとする。
【００２９】
この理想推移の修正法を以下に説明する。イントラ符号化ＶＯＰ（以下、Ｉ−ＶＯＰ）符号化時のＶＢＶバッファ占有率の変動幅は、各エンコードビットレート、初期バッファ占有量、バッファサイズにより異なる。低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）に該ｂｈｒ（ｔｎ）をそのまま利用すると、この変動を考慮していないため、制御時の誤差量が定期的に増大する。そこで、Ｉ−ＶＯＰの出現位置に応じた、下記の式（３）による理想バッファ占有率の生成を行った。
【００３０】
ｂｈｒ’（ｔｎ）＝ｂｈｒ（ｔｎ）＋ｒＩ×（ｔ−ｉｎ−ｇｏｐ／ｔ−ｇｏｐ）×ｐ１ ・・・（３）
ただし、ｒＩは、高ビットレートと低ビットレートでのＩ−ＶＯＰでの使用ビット量のＶＢＶバッファに対する占有比率であり、事前実験により取得した。該ｒＩとしては、例えばｒＩ＝１とすることができる。また、ｔ−ｉｎ−ｇｏｐは、直前のＩ−ＶＯＰの出現後の経過時間、ｔ−ｇｏｐは、１ＧＯＰ占有時間であり、ｐ１は、ＶＢＶバッファ占有率の変動幅の調整パラメータである。
【００３１】
ここで、前記ｐ１は、下記のような予備実験を行うことにより決定した。すなわち、出力シーケンスのビットレートを同一にし、通常符号化した時のバッファ占有率ｎｍｌ（ｔｎ）と、高ビットレートのｂｈｒ（ｔｎ）から上記式（３）により得られるｂｈｒ’（ｔｎ）との差分値の平均値と標準偏差から、最適なｐ１を決定した。なお、該ｐ１の最適値は、前記平均値と標準偏差のうち標準偏差に重点をおいた方が良いことが分かったので、特に標準偏差を用いた。この予備実験の入力、出力の符号化条件を、図９（ａ）、（ｂ）に示す。
【００３２】
該予備実験の結果を、図１０、図１１、図１２および図１３に示す。図１０、図１１は、使用シーケンス“ｂｕｓ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。また、図１２、図１３は、使用シーケンス“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。図１０〜図１３において、縦軸は｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝値、横軸はｐ１を示す。
【００３３】
ＶＢＶバッファ占有率の変動幅は小さい方が良いから、図１０〜図１３の標準偏差が最小になるｐ１を最適値とする。この結果、高ビットレートを３Ｍｂｐｓにしたときの各レートにおける最適なｐ１の値は図１４のようになり、シーケンスに依存しない値となることがわかった。本実施形態では、ｐ１の値として図１４のもの、すなわち１．５Ｍｂｐｓではｐ１＝０．０２５、２．５Ｍｂｐｓではｐ１＝０を使用する。
【００３４】
次に、マスタレートである最高ビットレートで通常のエンコード処理した際の量子化値ＱＰを参照値Ｑとし、派生レートである低ビットレートコンテンツ生成に利用するＱＰをｑとすると、該ｑはｑ＝Ｑ×ｒで求めるものとし、このｒの値により低ビットレートの発生ビット量を制御する。このｒは量子化パラメータの重み付け係数であり、フレーム単位で動的に変化させるものとし、以下のようにして決定する。
【００３５】
低ビットレートのバッファ占有率ｂｌｒ（ｔｎ）がｂｈｒ’（ｔｎ）となるように、ｒの初期値ｒ０を下記の式（４）により求め、下記の式（５）により、フレーム単位でｒの更新を行う。
ここに、ｐ２は、ｒの変動量のパラメータであり、｛（ｂｈｒ’（ｔｎ）−ｂｌｒ（ｔｎ））／ｂｌｒ（ｔｎ）｝の平均値と標準偏差値による評価により決定される。一例として、ｐ２＝０．１とすることができる。
【００３６】
実際のｑの算出に際して、ＭＰＥＧ−４規格での隣接ＭＢ間の変動制限±２以内を付加する。そして、前記（４）、（５）式で求められるｒを用いて、低ビットレートを、ｑ＝Ｑ×ｒでエンコードする。この時、ｑが小数の時は、小数第１位で四捨五入し、必ず整数になるようにする。
【００３７】
図１に、本発明の一実施形態の符号化器の概略の構成を示す。
本実施形態は、図示されているように、マスタレート用、例えば高ビットレート用のレート制御部１と、派生レート用、例えば低ビットレート用のレート制御部２を設け、該レート制御部１は前記ステップ１〜３の通常の処理を行い、レート制御部２は該レート制御部の処理結果を利用して、低処理負荷のレート制御を行うようにした点に特徴がある。なお、高ビットレートの量子化器Ｑは前記レート制御部１により、低ビットレートの量子化器Ｑ’は前記レート制御部２により制御される。本実施形態によれば、後述の説明から分かるように、レート制御の処理量を大きく低減することができる。前記仮想的なバッファ検証器であるＶＢＶバッファは、該レート制御部１、２内に存在すると想定できる。
【００３８】
次に、該レート制御部２の動作を、図２を参照して説明する。ステップＳ１では、マスタレートである高ビットレートのコンテンツを前記した通常の方法で符号化する。ステップＳ２では、ステップＳ１の符号化結果から、派生レートである低ビットレートのコンテンツ用に、量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３は、前記式（３）よりｂｈｒ’（ｔｎ）を算出する。ステップＳ４では、最初のフレームか、またはＧＯＰの最初のフレームか否かの判断がなされ、この判断が肯定の場合にはステップＳ５に進んで前記式（４）によりｒ０を算出する。次にステップＳ６において、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒ０）でエンコードする。次いでステップＳ７に進んでｎ枚目の画像のデコード時刻ｔｎを更新する。そして、ステップＳ２に戻って、ステップＳ１の符号化結果から、デコード時刻ｔｎの量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３では、前記と同様に、式（３）よりｂｈｒ’（ｔｎ）を算出する。
【００３９】
次に、ステップＳ４の判断が否定になると、ステップＳ８に進み、前記式（５）より、ｒｔｎ（＝ｒｎ）を算出する。ステップＳ９では、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒｔｎ）でエンコードする。ステップＳ１０では、入力映像が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ７に進んでｔｎが更新され、前記した処理が続行される。一方、ステップＳ１０が肯定になると、低ビットレートの符号化処理は終了する。
【００４０】
次に、前記実施形態を用いた実験結果の一例を、図１５〜図１９に示す。図１５はＶＢＶバッファの推移を、図１６はＶＢＶバッファ占有率の推移を、図１７はＶＢＶバッファ占有率の平均絶対誤差を、図１８はフレーム単位でのＰＳＮＲの推移を、さらに図１９は処理時間を示す。また、図中のｎｏｒｍａｌは通常の符号化を示し、ｐｒｏｐｏｓａｌは本実施形態による符号化を示す。
【００４１】
図１５からは、２．５ＭｂｐｓのＶＢＶバッファの推移（ｐｒｏｐｏｓａｌ）が、ｎｏｒｍａｌのそれとほぼ同じであることが分かる。また、図１６、図１７から、低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）がｎｏｒｍａｌのバッファ占有率ｎｍｌ（ｔｎ）と近似し、また｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜が小さいことが分かる。また、図１８から、本実施形態により符号化した場合の平均ＰＳＮＲが、通常の符号化による場合の平均ＰＳＮＲより向上していることが分かる。さらに、図１９から、本実施形態を用いると、レート制御処理時間が３．７５ｍ秒となり、本実施形態を用いない場合の１３８．８８９ｍ秒に比べて、大きく短縮できることが分かる。
【００４２】
なお、前記実施形態では、最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照したが、本発明はこれに限定されず、最低ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、高ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をするようにしてもよい。
【００４３】
次に、本発明の第２実施形態を説明する。この実施形態は、前記第１実施形態では、符号化ストリームにおいて、量子化パラメータの重み付け係数の初期値ｒ０を、前記（４）式のように、マスタレートと派生レートの単純な比から求めたのに対して、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めるようにした点にある。
【００４４】
まず、本発明者は図９に示したのと同じ条件で、平均ＱＰ値の比の推移を測定した。その測定結果を、図２１、図２２及び図２３に示す。これらの図において、横軸はフレーム番号、縦軸はマスタレートの平均ＱＰと派生レートの平均ｑｐの比を示す。
【００４５】
図２１は、マスタレートを２Ｍｂｐｓ、派生レートを１Ｍｂｐｓとした場合の測定結果であり、この測定結果により、（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）はフレーム番号に関係なくほぼ一定（全フレームの平均値：１．６７）であることを本発明者は発見した。また、図２２はマスタレートを３Ｍｂｐｓ、派生レートを１．５Ｍｂｐｓとした場合、図２３はマスタレートを４Ｍｂｐｓ、派生レートを２Ｍｂｐｓとした場合の、図２１と同様の測定結果であり、いずれの測定結果からも、（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）はフレーム番号に関係なくほぼ一定であることを発見した。なお、図２２及び図２３の全フレームの平均値は、それぞれ１．８１，１．９３となった。
【００４６】
これらの実験結果から、量子化パラメータの重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めることができ、また、（４）式の初期値ｒ０を改善できることを見い出した。
【００４７】
この初期値ｒ０と（５）式で求められるｒを用いてシミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも改善された。また、この初期値ｒ０と（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【００４８】
次に、本発明の第３実施形態を説明する。この実施形態は、下記の実験により得られた測定結果から、量子化パラメータの重み付け係数の初期値ｒ０をマスタレート値と派生レート値の比率を変数とする関数から求めるようにした点にある。
この実験では、図２４に示されているように、マスタレートと派生レートを設定した。例えば、実験１では、マスタレート２Ｍｂｐｓ、派生レート１．５Ｍｂｐｓ、１Ｍｂｐｓ、５００Ｋｂｐｓと設定した。
【００４９】
図２５、図２６および図２７は、それぞれマスタレートを２Ｍｂｐｓ、３Ｍｂｐｓ、４Ｍｂｐｓとした時の図２４の実験１，２および３に対応する測定結果を示し、横軸はレート比（マスタレート／派生レート）、縦軸は平均ＱＰ比、すなわち（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）を示す。
【００５０】
図２５、図２６および図２７のグラフから、平均ＱＰ比は、レート比を変数とする直線またはそれに近い曲線に近似できることが分かった。
【００５１】
そこで、本実施形態では、前記（４）式に代えて、レート比を変数とする下記（６）式を使用する。
ｒ０＝ｆ（レート比） ・・・（６）
上記のｆは関数を表す。
【００５２】
さらに、前述の説明から明らかなように、該初期値ｒ０は変数レート比の１次関数に近似できるので、下記の（７）式が好適であることが分かったが、本発明はこれに限定されるものではない。
ｒ０＝Ａ×（レート比）＋Ｂ ・・・（７）
（７）式のＡとＢは定数であり、一例として、Ａ＝０．８、Ｂ＝０．２とすることができる。
【００５３】
（７）式を用いて、シミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも、改善された。すなわち、派生レートのバッファ占有率ｂｌｒ（ｔｎ）は、通常符号化時のバッファ占有率ｎｍｌ（ｔｎ）により近似し、｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜は、０．０１１になった。特に、エンコード前半部のバッファ占有率の追随精度が向上した。
【００５４】
また、処理時間の改善は、図１９と同程度であるが、図１８に相当する画質の改善度（ＰＳＮＲ）は、第１実施例のものに比べて、０．１ｄＢ 程度向上した。
【００５５】
次に、本発明の第４実施形態を図３を参照して説明する。この実施形態は、高ビットレート用のレート制御部１と低ビットレート用のレート制御部３のアクティビティ計算処理を共通化した点に特徴がある。
【００５６】
該制御部１と３は、前記した通常のレート制御におけるステップ１〜３の処理を行うが、前記ステップ３中のアクティビティの計算（式１と式２）を共通化する。該アクティビティの計算は、符号化ビットレートに依らない計算処理であるため、共通化することができる。該アクティビティの計算は処理負荷の高い処理であるが、本実施形態のように共通化することにより、処理負荷の低減が可能になる。
【００５７】
また、本発明の第１〜４実施形態では、図１、図３に示されているように、前記動き探索処理部４を共通化しているので、前記レート制御による処理量の低減に、該動き探索処理による処理量低減が加えられるので、符号化処理の低減を大きくすることができる。
【００５８】
【発明の効果】
以上の説明から明らかなように、請求項１〜１０の発明によれば、マスタレートの符号化に対しては通常のレート制御を行い、派生レートでの映像の符号化に対しては、前記マスタレートの符号化で得られた符号化パラメータを利用してレート制御するようにしているので、該レート制御に要する処理量を低減でき、ひいては複数同時符号化装置の処理を高速化することができるようになる。
【００５９】
また、請求項７〜１０の発明によれば、これらの請求項で求められた初期値ｒ０と前記（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【００６０】
また、請求項１１の発明によれば、高ビットレートおよび他のビットレートのレート制御におけるアクティビティの計算処理を共通化しているので、該レート制御の処理量を低減できる。
【００６１】
さらに、請求項１２の発明によれば、前記レート制御における処理量の低減に、映像の動き検出処理の処理量の低減が加わるので、複数同時符号化装置の処理を大きく高速化することができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】本実施形態の要部の動作を示すフローチャートである。
【図３】本発明の第４実施形態の構成を示すブロック図である。
【図４】予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図５】高ビットレートと低ビットレートのＶＢＶバッファ占有量の推移を示す図である。
【図６】高ビットレートと低ビットレートのフレーム単位における平均ＱＰ値の推移を示す図である。
【図７】ＩピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図８】ＰピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図９】（３）式のｒＩとｐ１を求める場合の予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図１０】ｂｕｓにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１１】ｂｕｓにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１２】ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１３】ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１４】各レートにおける最適なｐ１を示す図である。
【図１５】実験結果であるＶＢＶバッファの推移を示す図である。
【図１６】実験結果であるＶＢＶバッファ占有率の推移を示す図である。
【図１７】ＶＢＶバッファ占有率の平均絶対誤差を示す図である。
【図１８】実験結果であるフレーム単位でのＰＳＮＲの推移を示す図である。
【図１９】処理時間の低減を示す図である。
【図２０】従来技術の一例の構成を示すブロック図である。
【図２１】マスタレート２Ｍｂｐｓ ，派生レート１Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２２】マスタレート３Ｍｂｐｓ ，派生レート１．５Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２３】マスタレート４Ｍｂｐｓ ，派生レート２Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２４】第３実施形態のマスタレートと派生レートの設定の説明図である。
【図２５】レート比と平均ＱＰ値の比（実験１）の関係を示す図である。
【図２６】レート比と平均ＱＰ値の比（実験２）の関係を示す図である。
【図２７】レート比と平均ＱＰ値の比（実験３）の関係を示す図である。
【符号の説明】
１・・・レート制御部、２・・・低処理負荷レート制御部、３・・・レート制御部、４・・・動き探索処理部。
【発明の属する技術分野】
本発明はビデオ情報複数同時符号化装置に関し、特に、様々なネットワークや再生環境への映像配信を行う場合に必要となる複数ストリームの同時符号化を、従来の方法より高速かつ画質劣化を抑えて行うことができるビデオ情報複数同時符号化装置に関する。
【０００２】
【従来の技術】
映像コンテンツを生成する場合、各種ネットワークや再生環境に応じたビットレートの異なる複数のコンテンツを生成する必要があるが、ビデオ情報を個々に符号化したのでは多くの時間や手間がかかる。そこで、同時に複数のストリームを高速に生成するトランスコード方式がいくつか考案されている。
【０００３】
その一例を、図２０のブロック図を参照して簡単に説明する。図は、周知のＭＰＥＧ２をベースとするビデオ情報複数同時符号化装置であるので、詳細な動作説明は省略し、要点のみを説明する。この従来装置は、低ビットレートと高ビットレートの２種類のストリームを生成して出力するものであり、低および高ビットレートそれぞれのループ、すなわちＤＣＴ−量子化部（Ｑ）−逆量子化部（ＩＱ）−逆ＤＣＴ（ＩＤＣＴ）−フレームメモリ−動き補償部（ＭＣ）からなるループを有し、かつ前記量子化部Ｑ，Ｑ’をレート制御する２つのレート制御部１１，１２を有している。この従来装置では、動き探索処理部４を共通化することにより、処理を軽減している。
【０００４】
また、他の従来装置としては、例えば、情報研報、ＡＶＭ３３−５（２００１）の「マルチレート出力機能実現のためのＭＰＥＧ２トランスコーダ量子化制御方式の検討」に記されているような、量子化処理を部分的に共通化する方式がある。
【０００５】
【発明が解決しようとする課題】
上記の従来技術は、それぞれ、低および高ビットレートにおける動きベクトルの探索を共通化する方式、量子化処理を部分的に共通化する方式により処理量を軽減して高速化を図るものであるが、各ビットレートのストリームを符号化する際に必要となるレート制御処理はレート制御部１１，１２により独立に行っていた。そして、該レート制御処理の処理量を軽減する配慮は何らなされていなかった。
【０００６】
本発明は前記従来技術に鑑みてなされたものであり、その目的は、レート制御の処理量を軽減して、高速かつ画質劣化を抑えて符号化処理を行うことができるビデオ情報複数同時符号化装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、該レート制御部は、高又は低ビットレートで符号化された符号化パラメータを利用して、他のビットレートの映像を符号化するようにした点に第１の特徴がある。
【０００８】
この特徴によれば、前記他のビットレートのレート制御に対しては、通常のレート制御のステップ１〜３を行わなくて済むので、レート制御の処理量を大きく低減することができ、符号化処理を高速化できる。
【０００９】
また、本発明は、ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、複数の異なるビットレートで量子化する複数の量子化器と、該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、該レート制御部は、通常のレート制御処理におけるアクティビティの計算を共通化して、前記複数の量子化器のための符号化パラメータを求めるようにした点に第２の特徴がある。
【００１０】
この特徴によれば、アクティビティの計算の処理量を低減でき、全体としての符号化に要する処理量を低減できる。
【００１１】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。まず、通常のレート制御（ＭＰＥＧ−２ ＩＳＯ／ＩＥＣ１３３９６−２ Ｔｅｓｔ Ｍｏｄｅｌ ５）処理を説明する。該通常のレート制御では、下記のステップ１〜ステップ３の処理が行われる。
（ステップ １）
【００１２】
まず、各フレームの符号化に先立ち、次式で定義したＩ、Ｐ、Ｂピクチャの復雑さ指標Ｘｉ、Ｘｐ、Ｘｂを更新する。Ｓｉ、Ｓｐ、Ｓｂを発生ビット数、Ｑｉ（ａｖｅ）、Ｑｐ（ａｖｅ）、Ｑｂ（ａｖｅ）を平均的な量子化パラメータ（以下ＱＰ）（１フレーム中のすべてのＭＢのｍｑｕａｎｔの平均値、ただし１〜３１の範囲に正規化されている）とする。この復雑さ指標は、符号化情報量が多く発生するような画像に対して大きくなり、高い圧縮率が得られる画像に対しては小さくなる。該指標は、これから符号化しようとする画像のタイプによってどの程度情報量が必要かを、ある数値で規格化して、相対的に見積もったものである。
【００１３】
Ｘｉ＝ＳｉＱｉ（ａｖｅ） 、 Ｘｐ＝ＳｐＱｐ（ａｖｅ） 、 Ｘｂ＝ＳｂＱｂ（ａｖｅ）
初期値Ｘｉ（ｉｎｉｔ）、Ｘｐ（ｉｎｉｔ）、Ｘｂ（ｉｎｉｔ）は、次のように与えられる。
Ｘｉ（ｉｎｉｔ） ＝ １６０×Ｂｉｔ−ｒａｔｅ ／１１５
Ｘｐ（ｉｎｉｔ） ＝ ６０×Ｂｉｔ−ｒａｔｅ ／１１５
Ｘｂ（ｉｎｉｔ） ＝ ４２×Ｂｉｔ−ｒａｔｅ ／１１５
ここに、Ｂｉｔ−ｒａｔｅはビットレート（ビット／秒）である。
【００１４】
ＧＯＰの中の次の画面の目標ビット数Ｔｉ、Ｔｐ、Ｔｂは、次のようにＧＯＰの残りのビット数を、Ｉ、Ｐ、Ｂの残りの枚数の自分のピクチャタイプに換算したもので割ることで得られる。これはＧＯＰ中のまだ符号化していない画像のすべてが、これから符号化しようとする画像タイプであるとみなしたとき、１フレームあたり何ビット与えることができるかの目安を与えるものである。
【００１５】
Ｔｉ ＝ Ｒ／（１＋ＮｐＸｐ／（ＸｉＫｐ）＋ＮｂＸｂ／（ＸｉＫｂ））
Ｔｐ ＝ Ｒ／（Ｎｐ＋ＮｂＫｐＸｂ／（ＫｂＸｐ））
Ｔｂ ＝ Ｒ／（Ｎｂ＋ＮｐＫｂＸｐ／（ＫｐＸｂ））
Ｋｐ、Ｋｂは量子化マトリクスに依存する恒常な定数であり、Ｋｐ＝１．０、Ｋｂ＝１．４である。Ｎｐ、ＮｂはＧＯＰの中の符号化順でＰ、Ｂピクチャの残った枚数、ＲはＧＯＰに与えられた残りのビット数であり、画像の符号化の後では、Ｒ ＝ Ｒ−Ｓｉ あるいは Ｒ ＝ Ｒ−Ｓｐ あるいは Ｒ ＝ Ｒ−Ｓｂである。
【００１６】
ＧＯＰの最初の画面では、次のように設定する。
Ｒ ＝ Ｇ ＋ Ｒ
Ｇ ＝ Ｂｉｔ−ｒａｔｅ × Ｎ ／Ｐｉｃｔｕｒｅ−ｒａｔｅ
Ｎ：ＧＯＰの中のピクチャの数
（ステップ２）
【００１７】
各フレームに含まれるＭＢを順次符号化しながら、量子化ステップを求める段階である。符号化しようとしているフレームに対する割り当て情報量と実際に発生した情報量の差をＭＢごとにフィードバックする。実際の発生情報量が、計画量より大きいと、発生情報量を減らすために量子化ステップは大きくなり、逆の場合には量子化ステップが小さくなる。
【００１８】
まず、ｊ番目のＭＢの符号化の前にＩ、Ｐ、Ｂフレームに対する仮想的なバッファ（このバッファは量子化ステップの計算だけに用いるもので、後述する仮想バッファ検証器とは異なる）の充満度を計算する。初期バッファ状態をｄｉ（０）、ｄｐ（０）、ｄｂ（０）とする。
ｄｉ（ｊ） ＝ ｄｉ（０） ＋ Ｂ（ｊ−１）−Ｔｉ×（ｊ−１）／ＭＢ−ｃｎｔ
ｄｐ（ｊ） ＝ ｄｐ（０） ＋ Ｂ（ｊ−１）−Ｔｐ×（ｊ−１）／ＭＢ−ｃｎｔ
ｄｂ（ｊ） ＝ ｄｂ（０） ＋ Ｂ（ｊ−１）−Ｔｂ×（ｊ−１）／ＭＢ−ｃｎｔ
Ｂ（ｊ）はｊを含んでそれまでのすべてのＭＢの符号化発生ビット数、ＭＢ−ｃｎｔはピクチャ内のＭＢ数である。ピクチャ内の最後の充満度は次の同タイプのピクチャのｄｉ（０）、ｄｐ（０）、ｄｂ（０）とみなされる。マクロブロックｊの仮の量子化ステップＱ（ｊ）は次のように与えられる。
【００１９】
Ｑ（ｊ） ＝ ｄ（ｊ）×３１ ／ ｒ
ｒ ＝ ２×Ｂｉｔ−ｒａｔｅ ／Ｐｉｃｔｕｒｅ−ｒａｔｅ
初期値は、次の通りである。
ｄｉ（０） ＝ １０×ｒ／３１
ｄｐ（０） ＝ Ｋｐ×ｄｉ（０）
ｄｂ（０） ＝ Ｋｂ×ｄｉ（０）
（ステップＳ３）
【００２０】
ＱＰの平均値を、ＭＢごとのアクティビティによって変化させる。マクロブロックｊの空間的アクティビティ測定ａｃｔ（ｊ）として、入力画像の輝度ブロック（ＭＢ中に４個含まれる）の画素値を使って次式を計算する。ｓｂｌｋは輝度ブロックの番号を示す。
【数１】
【数２】
（Ｐｋ：８×８ブロックの画素値）
アクティビティａｃｔ（ｊ）を、平均的なアクティビティの値からの偏りによって［２，１／２］の範囲に正規化した係数Ｎ−ａｃｔ（ｊ）を計算する。
Ｎ−ａｃｔ（ｊ）＝（２×ａｃｔ（ｊ）＋ａｖｇ−ａｃｔ）／（ａｃｔ（ｊ）＋２×ａｖｇ−ａｃｔ）・・・（２）
ａｖｇ−ａｃｔは前の時刻の画像のａｃｔ（ｊ）の平均値、初期値は４００である。この正規化した係数を用いて変調した量子化ステップは次式で得られる。
Ｍｑ（ｊ）＝Ｑ（ｊ）×Ｎ−ａｃｔ（ｊ）
Ｍｑ（ｊ）は［１，３１］の範囲の整数にクリップされる。この変調により、視覚特性上ノイズに敏感なアクティビティの低い部分には細かな量子化ステップが割り当てされる。逆に、ノイズの目立ちにくい、変化の激しい部分には粗い量子化ステップが割り当てられる。
このように、通常のレート制御は、大きな処理量を必要とする。
【００２２】
次に、本発明の原理を説明する。本発明者は、ビットレートを制御するには、量子化処理における量子化パラメータ（以下、ＱＰ値）の設定と、その値により変動するＶＢＶ（Ｖｉｄｅｏ Ｂｕｆｆｅｒｉｎｇ Ｖｅｒｉｆｉｅｒ）バッファの占有量の大きさが重要になることに着目し、次のような予備実験を行った。なお、前記ＶＢＶバッファは、仮想的なバッファ検証器を意味する。符号化により生成されるビットストリームは、該ＶＢＶが要求する条件を満たすことが義務付けられており、一定レートで符号化されたビットストリームは、ＶＢＶによって課せられた拘束条件に合っていなければならないという決まりがあるが、これは周知であるので説明を省略する。
【００２３】
さて、前記予備実験として、ＭＰＥＧ−４エンコーダで通常のレート制御（例えば、ＴＭ５符号化方式）を行ったとき、各フレーム毎のＶＢＶバッファ占有量の推移と、フレーム単位での平均ＱＰ値の推移と、マクロブロック（以下、ＭＢ）単位でのＱＰ値の推移が、各ビットレート（例えば、４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）においてどのようになっているかを検証した。実験に使用した入力および出力シーケンスの符号化条件を、図４（ａ）および（ｂ）に示す。
【００２４】
また、前記実験により得た結果であるＶＢＶバッファの占有量のフレーム数による推移を図５に、フレーム単位での平均ＱＰ値の推移の結果を図６に示す。また、第０フレームのＩピクチャでのＭＢ単位のＱＰ値の推移を図７に、第１フレームのＰピクチャでのＭＢ単位のＱＰ値の推移を図８に示す。
【００２５】
図５を見ると、各ビットレート（４Ｍｂｐｓ，３Ｍｂｐｓおよび２Ｍｂｐｓ）におけるＶＢＶバッファの推移特性が類似している、すなわち相関があることがわかる。また、図６を見ると、各ビットレートにおけるフレーム単位での平均ＱＰ値が類似していることがわかる。また、図７、図８を見ると、各ビットレートにおけるＭＢ単位でのＱＰ値の推移特性も類似していることがわかる。
【００２６】
つまり、この実験により、本発明者は、サイマルエンコーダを構築する際に、最高ビットレート（例えば、４Ｍｂｐｓ）のＱＰ値を低ビットレート（例えば、３Ｍｂｐｓ，２Ｍｂｐｓ）のＱＰ値の算出に利用することにより、ビデオ情報複数同時符号化装置のレート制御のＱＰ値の算出処理を削減し、処理の高速化を図ることができることを着想した。
【００２７】
本発明の原理は、最高ビットレートでのコンテンツ符号化には通常のエンコード処理、すなわち前記ステップ１〜３の処理を行い、低ビットレートのコンテンツには該最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、低ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をすることにある。なお、後述するように、上記の文中の「最高ビットレート」を「最低ビットレート」と、また「低ビットレート」を「高ビットレート」と置き換えても良いので、以降では、これらを総称するために、場合によっては、通常のエンコード処理を行うビットレートを「マスタレート」、該マスタレートのＶＢＶバッファ推移を参照してエンコード処理を行うビットレートを「派生レート」と呼ぶことにする。
【００２８】
以下に、本発明の一実施形態を詳細に説明する。まず、マスタレートである高ビットレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率を、ｎ枚目の画像のデコード時刻ｔｎを用いて、ｂｈｒ（ｔｎ）とする。しかし、高ビットレートと派生レートである低ビットレートでは、バッファサイズ指定やビットレート指定の違いにより、バッファ占有量を同一とすることはできない。このため、低ビットレートのシーケンスは、高ビットレートのバッファ推移を低ビットレートの理想推移に修正することで得るものとする。
【００２９】
この理想推移の修正法を以下に説明する。イントラ符号化ＶＯＰ（以下、Ｉ−ＶＯＰ）符号化時のＶＢＶバッファ占有率の変動幅は、各エンコードビットレート、初期バッファ占有量、バッファサイズにより異なる。低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）に該ｂｈｒ（ｔｎ）をそのまま利用すると、この変動を考慮していないため、制御時の誤差量が定期的に増大する。そこで、Ｉ−ＶＯＰの出現位置に応じた、下記の式（３）による理想バッファ占有率の生成を行った。
【００３０】
ｂｈｒ’（ｔｎ）＝ｂｈｒ（ｔｎ）＋ｒＩ×（ｔ−ｉｎ−ｇｏｐ／ｔ−ｇｏｐ）×ｐ１ ・・・（３）
ただし、ｒＩは、高ビットレートと低ビットレートでのＩ−ＶＯＰでの使用ビット量のＶＢＶバッファに対する占有比率であり、事前実験により取得した。該ｒＩとしては、例えばｒＩ＝１とすることができる。また、ｔ−ｉｎ−ｇｏｐは、直前のＩ−ＶＯＰの出現後の経過時間、ｔ−ｇｏｐは、１ＧＯＰ占有時間であり、ｐ１は、ＶＢＶバッファ占有率の変動幅の調整パラメータである。
【００３１】
ここで、前記ｐ１は、下記のような予備実験を行うことにより決定した。すなわち、出力シーケンスのビットレートを同一にし、通常符号化した時のバッファ占有率ｎｍｌ（ｔｎ）と、高ビットレートのｂｈｒ（ｔｎ）から上記式（３）により得られるｂｈｒ’（ｔｎ）との差分値の平均値と標準偏差から、最適なｐ１を決定した。なお、該ｐ１の最適値は、前記平均値と標準偏差のうち標準偏差に重点をおいた方が良いことが分かったので、特に標準偏差を用いた。この予備実験の入力、出力の符号化条件を、図９（ａ）、（ｂ）に示す。
【００３２】
該予備実験の結果を、図１０、図１１、図１２および図１３に示す。図１０、図１１は、使用シーケンス“ｂｕｓ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。また、図１２、図１３は、使用シーケンス“ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒ”についての、１．５Ｍｂｐｓ、２．５Ｍｂｐｓの｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝の平均値と標準偏差の特性を示す。図１０〜図１３において、縦軸は｛ｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）｝値、横軸はｐ１を示す。
【００３３】
ＶＢＶバッファ占有率の変動幅は小さい方が良いから、図１０〜図１３の標準偏差が最小になるｐ１を最適値とする。この結果、高ビットレートを３Ｍｂｐｓにしたときの各レートにおける最適なｐ１の値は図１４のようになり、シーケンスに依存しない値となることがわかった。本実施形態では、ｐ１の値として図１４のもの、すなわち１．５Ｍｂｐｓではｐ１＝０．０２５、２．５Ｍｂｐｓではｐ１＝０を使用する。
【００３４】
次に、マスタレートである最高ビットレートで通常のエンコード処理した際の量子化値ＱＰを参照値Ｑとし、派生レートである低ビットレートコンテンツ生成に利用するＱＰをｑとすると、該ｑはｑ＝Ｑ×ｒで求めるものとし、このｒの値により低ビットレートの発生ビット量を制御する。このｒは量子化パラメータの重み付け係数であり、フレーム単位で動的に変化させるものとし、以下のようにして決定する。
【００３５】
低ビットレートのバッファ占有率ｂｌｒ（ｔｎ）がｂｈｒ’（ｔｎ）となるように、ｒの初期値ｒ０を下記の式（４）により求め、下記の式（５）により、フレーム単位でｒの更新を行う。
【００３６】
実際のｑの算出に際して、ＭＰＥＧ−４規格での隣接ＭＢ間の変動制限±２以内を付加する。そして、前記（４）、（５）式で求められるｒを用いて、低ビットレートを、ｑ＝Ｑ×ｒでエンコードする。この時、ｑが小数の時は、小数第１位で四捨五入し、必ず整数になるようにする。
【００３７】
図１に、本発明の一実施形態の符号化器の概略の構成を示す。
本実施形態は、図示されているように、マスタレート用、例えば高ビットレート用のレート制御部１と、派生レート用、例えば低ビットレート用のレート制御部２を設け、該レート制御部１は前記ステップ１〜３の通常の処理を行い、レート制御部２は該レート制御部の処理結果を利用して、低処理負荷のレート制御を行うようにした点に特徴がある。なお、高ビットレートの量子化器Ｑは前記レート制御部１により、低ビットレートの量子化器Ｑ’は前記レート制御部２により制御される。本実施形態によれば、後述の説明から分かるように、レート制御の処理量を大きく低減することができる。前記仮想的なバッファ検証器であるＶＢＶバッファは、該レート制御部１、２内に存在すると想定できる。
【００３８】
次に、該レート制御部２の動作を、図２を参照して説明する。ステップＳ１では、マスタレートである高ビットレートのコンテンツを前記した通常の方法で符号化する。ステップＳ２では、ステップＳ１の符号化結果から、派生レートである低ビットレートのコンテンツ用に、量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３は、前記式（３）よりｂｈｒ’（ｔｎ）を算出する。ステップＳ４では、最初のフレームか、またはＧＯＰの最初のフレームか否かの判断がなされ、この判断が肯定の場合にはステップＳ５に進んで前記式（４）によりｒ０を算出する。次にステップＳ６において、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒ０）でエンコードする。次いでステップＳ７に進んでｎ枚目の画像のデコード時刻ｔｎを更新する。そして、ステップＳ２に戻って、ステップＳ１の符号化結果から、デコード時刻ｔｎの量子化パラメータＱＰ（Ｑ）とバッファ占有率ｂｈｒ（ｔｎ）とを取得する。ステップＳ３では、前記と同様に、式（３）よりｂｈｒ’（ｔｎ）を算出する。
【００３９】
次に、ステップＳ４の判断が否定になると、ステップＳ８に進み、前記式（５）より、ｒｔｎ（＝ｒｎ）を算出する。ステップＳ９では、低ビットレートの量子化器Ｑ’を量子化パラメータｑ（＝Ｑ×ｒｔｎ）でエンコードする。ステップＳ１０では、入力映像が終了したか否かの判断がなされ、この判断が否定の時にはステップＳ７に進んでｔｎが更新され、前記した処理が続行される。一方、ステップＳ１０が肯定になると、低ビットレートの符号化処理は終了する。
【００４０】
次に、前記実施形態を用いた実験結果の一例を、図１５〜図１９に示す。図１５はＶＢＶバッファの推移を、図１６はＶＢＶバッファ占有率の推移を、図１７はＶＢＶバッファ占有率の平均絶対誤差を、図１８はフレーム単位でのＰＳＮＲの推移を、さらに図１９は処理時間を示す。また、図中のｎｏｒｍａｌは通常の符号化を示し、ｐｒｏｐｏｓａｌは本実施形態による符号化を示す。
【００４１】
図１５からは、２．５ＭｂｐｓのＶＢＶバッファの推移（ｐｒｏｐｏｓａｌ）が、ｎｏｒｍａｌのそれとほぼ同じであることが分かる。また、図１６、図１７から、低ビットレート用理想バッファ占有率ｂｈｒ’（ｔｎ）がｎｏｒｍａｌのバッファ占有率ｎｍｌ（ｔｎ）と近似し、また｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜が小さいことが分かる。また、図１８から、本実施形態により符号化した場合の平均ＰＳＮＲが、通常の符号化による場合の平均ＰＳＮＲより向上していることが分かる。さらに、図１９から、本実施形態を用いると、レート制御処理時間が３．７５ｍ秒となり、本実施形態を用いない場合の１３８．８８９ｍ秒に比べて、大きく短縮できることが分かる。
【００４２】
なお、前記実施形態では、最高ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照したが、本発明はこれに限定されず、最低ビットレートでのエンコード処理結果のＶＢＶバッファ推移を参照して、高ビットレートのＶＢＶバッファ推移をこの推移に追随させる制御をするようにしてもよい。
【００４３】
次に、本発明の第２実施形態を説明する。この実施形態は、前記第１実施形態では、符号化ストリームにおいて、量子化パラメータの重み付け係数の初期値ｒ０を、前記（４）式のように、マスタレートと派生レートの単純な比から求めたのに対して、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めるようにした点にある。
【００４４】
まず、本発明者は図９に示したのと同じ条件で、平均ＱＰ値の比の推移を測定した。その測定結果を、図２１、図２２及び図２３に示す。これらの図において、横軸はフレーム番号、縦軸はマスタレートの平均ＱＰと派生レートの平均ｑｐの比を示す。
【００４５】
図２１は、マスタレートを２Ｍｂｐｓ、派生レートを１Ｍｂｐｓとした場合の測定結果であり、この測定結果により、（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）はフレーム番号に関係なくほぼ一定（全フレームの平均値：１．６７）であることを本発明者は発見した。また、図２２はマスタレートを３Ｍｂｐｓ、派生レートを１．５Ｍｂｐｓとした場合、図２３はマスタレートを４Ｍｂｐｓ、派生レートを２Ｍｂｐｓとした場合の、図２１と同様の測定結果であり、いずれの測定結果からも、（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）はフレーム番号に関係なくほぼ一定であることを発見した。なお、図２２及び図２３の全フレームの平均値は、それぞれ１．８１，１．９３となった。
【００４６】
これらの実験結果から、量子化パラメータの重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値の比率、または該比率の全フレームにおける平均値から求めることができ、また、（４）式の初期値ｒ０を改善できることを見い出した。
【００４７】
この初期値ｒ０と（５）式で求められるｒを用いてシミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも改善された。また、この初期値ｒ０と（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【００４８】
次に、本発明の第３実施形態を説明する。この実施形態は、下記の実験により得られた測定結果から、量子化パラメータの重み付け係数の初期値ｒ０をマスタレート値と派生レート値の比率を変数とする関数から求めるようにした点にある。
この実験では、図２４に示されているように、マスタレートと派生レートを設定した。例えば、実験１では、マスタレート２Ｍｂｐｓ、派生レート１．５Ｍｂｐｓ、１Ｍｂｐｓ、５００Ｋｂｐｓと設定した。
【００４９】
図２５、図２６および図２７は、それぞれマスタレートを２Ｍｂｐｓ、３Ｍｂｐｓ、４Ｍｂｐｓとした時の図２４の実験１，２および３に対応する測定結果を示し、横軸はレート比（マスタレート／派生レート）、縦軸は平均ＱＰ比、すなわち（派生レートの平均ｑｐ）／（マスタレートの平均ＱＰ）を示す。
【００５０】
図２５、図２６および図２７のグラフから、平均ＱＰ比は、レート比を変数とする直線またはそれに近い曲線に近似できることが分かった。
【００５１】
そこで、本実施形態では、前記（４）式に代えて、レート比を変数とする下記（６）式を使用する。
ｒ０＝ｆ（レート比） ・・・（６）
上記のｆは関数を表す。
【００５２】
さらに、前述の説明から明らかなように、該初期値ｒ０は変数レート比の１次関数に近似できるので、下記の（７）式が好適であることが分かったが、本発明はこれに限定されるものではない。
ｒ０＝Ａ×（レート比）＋Ｂ ・・・（７）
（７）式のＡとＢは定数であり、一例として、Ａ＝０．８、Ｂ＝０．２とすることができる。
【００５３】
（７）式を用いて、シミュレーション実験を行ったところ、図１６に相当するＶＢＶバッファ占有率の推移は、第１実施例の場合よりも、改善された。すなわち、派生レートのバッファ占有率ｂｌｒ（ｔｎ）は、通常符号化時のバッファ占有率ｎｍｌ（ｔｎ）により近似し、｜ｎｍｌ（ｔｎ）−ｂｌｒ（ｔｎ）｜は、０．０１１になった。特に、エンコード前半部のバッファ占有率の追随精度が向上した。
【００５４】
また、処理時間の改善は、図１９と同程度であるが、図１８に相当する画質の改善度（ＰＳＮＲ）は、第１実施例のものに比べて、０．１ｄＢ 程度向上した。
【００５５】
次に、本発明の第４実施形態を図３を参照して説明する。この実施形態は、高ビットレート用のレート制御部１と低ビットレート用のレート制御部３のアクティビティ計算処理を共通化した点に特徴がある。
【００５６】
該制御部１と３は、前記した通常のレート制御におけるステップ１〜３の処理を行うが、前記ステップ３中のアクティビティの計算（式１と式２）を共通化する。該アクティビティの計算は、符号化ビットレートに依らない計算処理であるため、共通化することができる。該アクティビティの計算は処理負荷の高い処理であるが、本実施形態のように共通化することにより、処理負荷の低減が可能になる。
【００５７】
また、本発明の第１〜４実施形態では、図１、図３に示されているように、前記動き探索処理部４を共通化しているので、前記レート制御による処理量の低減に、該動き探索処理による処理量低減が加えられるので、符号化処理の低減を大きくすることができる。
【００５８】
【発明の効果】
以上の説明から明らかなように、請求項１〜１０の発明によれば、マスタレートの符号化に対しては通常のレート制御を行い、派生レートでの映像の符号化に対しては、前記マスタレートの符号化で得られた符号化パラメータを利用してレート制御するようにしているので、該レート制御に要する処理量を低減でき、ひいては複数同時符号化装置の処理を高速化することができるようになる。
【００５９】
また、請求項７〜１０の発明によれば、これらの請求項で求められた初期値ｒ０と前記（５）式で求められるｒを用いて、派生レートを、ｑ＝Ｑ×ｒでエンコードすると、最初のフレームから量子化パラメータｑが良好になり、また、後続するフレームの目標ビットレートへの追随性が向上した。
【００６０】
また、請求項１１の発明によれば、高ビットレートおよび他のビットレートのレート制御におけるアクティビティの計算処理を共通化しているので、該レート制御の処理量を低減できる。
【００６１】
さらに、請求項１２の発明によれば、前記レート制御における処理量の低減に、映像の動き検出処理の処理量の低減が加わるので、複数同時符号化装置の処理を大きく高速化することができるようになる。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】本実施形態の要部の動作を示すフローチャートである。
【図３】本発明の第４実施形態の構成を示すブロック図である。
【図４】予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図５】高ビットレートと低ビットレートのＶＢＶバッファ占有量の推移を示す図である。
【図６】高ビットレートと低ビットレートのフレーム単位における平均ＱＰ値の推移を示す図である。
【図７】ＩピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図８】ＰピクチャのＭＢ単位のＱＰ値の推移を示す図である。
【図９】（３）式のｒＩとｐ１を求める場合の予備実験の入力シーケンス条件と出力シーケンス条件とを示す図である。
【図１０】ｂｕｓにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１１】ｂｕｓにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１２】ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（１．５Ｍｂｐｓ）を示す図である。
【図１３】ｍｏｂｉｌｅ＆ｃａｌｅｎｄａｒにおけるｎｍｌ（ｔｎ）−ｂｈｒ’（ｔｎ）の各種特性（２．５Ｍｂｐｓ）を示す図である。
【図１４】各レートにおける最適なｐ１を示す図である。
【図１５】実験結果であるＶＢＶバッファの推移を示す図である。
【図１６】実験結果であるＶＢＶバッファ占有率の推移を示す図である。
【図１７】ＶＢＶバッファ占有率の平均絶対誤差を示す図である。
【図１８】実験結果であるフレーム単位でのＰＳＮＲの推移を示す図である。
【図１９】処理時間の低減を示す図である。
【図２０】従来技術の一例の構成を示すブロック図である。
【図２１】マスタレート２Ｍｂｐｓ ，派生レート１Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２２】マスタレート３Ｍｂｐｓ ，派生レート１．５Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２３】マスタレート４Ｍｂｐｓ ，派生レート２Ｍｂｐｓにおける平均ＱＰ値の推移を示す図である。
【図２４】第３実施形態のマスタレートと派生レートの設定の説明図である。
【図２５】レート比と平均ＱＰ値の比（実験１）の関係を示す図である。
【図２６】レート比と平均ＱＰ値の比（実験２）の関係を示す図である。
【図２７】レート比と平均ＱＰ値の比（実験３）の関係を示す図である。
【符号の説明】
１・・・レート制御部、２・・・低処理負荷レート制御部、３・・・レート制御部、４・・・動き探索処理部。
Claims (12)
- ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、
複数の異なるビットレートで量子化する複数の量子化器と、
該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、
該レート制御部は、マスタレートで符号化された符号化パラメータを利用して、派生レートの映像を符号化することを特徴とするビデオ情報複数同時符号化装置。 - 請求項１に記載のビデオ情報複数同時符号化装置において、
前記レート制御部は、マスタレートで符号化された映像のＶＢＶバッファ占有量が、派生レートでの符号化時のＶＢＶバッファ占有量と相関するようにレート制御することにより、レート制御処理を軽減することを特徴とするビデオ情報複数同時符号化装置。 - 請求項１または２に記載のビデオ情報複数同時符号化装置において、
前記レート制御部は、マスタレートで符号化された映像のＶＢＶバッファ占有量を初期バッファ占有量で正規化したバッファ占有率と、派生レートでの符号化時のバッファ占有率とが等しくなるようにレート制御処理を行うことを特徴とするビデオ情報複数同時符号化装置。 - 請求項３に記載のビデオ情報複数同時符号化装置において、
マスタレートのＶＢＶバッファ占有量を初期バッファ占有量で正規化した参照バッファ占有率をｂｈｒ（ｔｎ）とする時（ここに、ｔｎはｎ枚目の画像のデコード時刻）、派生レート用バッファ占有率ｂｈｒ’（ｔｎ）を下記の式により算出することを特徴とするビデオ情報複数同時符号化装置。
ｂｈｒ’（ｔｎ）＝ｂｈｒ（ｔｎ）＋ｒＩ×（ｔ−ｉｎ−ｇｏｐ／ｔ−ｇｏｐ）×ｐ１
ただし、ｒＩは、マスタレートと派生レートでのＩ−ＶＯＰでの使用ビット量のＶＢＶバッファに対する占有比率、ｔ−ｉｎ−ｇｏｐは直前のＩ−ＶＯＰの出現後の経過時間、ｔ−ｇｏｐは１ＧＯＰ占有時間、ｐ１はＶＢＶバッファ占有率の変動幅の調整パラメータである。 - 請求項３または４のいずれかに記載のビデオ情報複数同時符号化装置において、
前記レート制御に用いる量子化パラメータは、マスタレート符号化時の量子化パラメータＱと、前記バッファ占有率を基に算出された重み付け係数ｒとの積で求められることを特徴とするビデオ情報複数同時符号化装置。 - 請求項５に記載のビデオ情報複数同時符号化装置において、前記重み付け係数ｒ（初期値ｒ０）は、下記の式により求められることを特徴とするビデオ情報複数同時符号化装置。
ｒ０＝ｈｉｇｈ−ｂｉｔｒａｔｅ（ｂｐｓ）／ｌｏｗ−ｂｉｔｒａｔｅ（ｂｐｓ）
ｒｎ＋１＝ｒｎ×［１＋｛（ｂｈｒ’（ｔｎ）−ｂｌｒ（ｔｎ））／ｂｌｒ（ｔｎ）｝×ｐ２］ （ｎ≧０の整数）
ここに、ｐ２は、ｒの変動量のパラメータである。 - 請求項６に記載のビデオ情報複数同時符号化装置において、
前記重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値との比率に設定することを特徴とするビデオ情報複数同時符号化装置。 - 請求項６または７に記載のビデオ情報複数同時符号化装置において、
前記重み付け係数の初期値ｒ０を、マスタレートで符号化した際のフレーム内平均ＱＰ値と、派生レートで符号化した際のフレーム内平均ｑｐ値との比率の全フレームにおける平均値に設定することを特徴とするビデオ情報複数同時符号化装置。 - 請求項６に記載のビデオ情報複数同時符号化装置において、
前記重み付け係数の初期値ｒ０を、マスタレートと派生レートの比率を変数とする関数で求めるようにしたことを特徴とするビデオ情報複数同時符号化装置。 - 請求項６または９に記載のビデオ情報複数同時符号化装置において、
前記重み付け係数の初期値ｒ０を、マスタレートと派生レートの比率（以下、レート比）を変数とする、下記の式で求めるようにしたことを特徴とするビデオ情報複数同時符号化装置。
ｒ０＝Ａ×（レート比）＋Ｂ
ここで、ＡとＢは定数である。 - ビデオ情報を複数同時に符号化するビデオ情報複数同時符号化装置において、
複数の異なるビットレートで量子化する複数の量子化器と、
該複数の量子化器の符号化パラメータを求めるレート制御部とを具備し、
該レート制御部は、通常のレート制御処理におけるアクティビティの計算を共通化して、前記複数の量子化器のための符号化パラメータを求めるようにしたことを特徴とするビデオ情報複数同時符号化装置。 - 請求項１ないし１１のいずれかに記載のビデオ情報複数同時符号化装置において、
さらに、映像の動き検出処理手段を具備し、該動き検出処理を、前記マスタレートで符号化された映像の動きベクトルを派生ビットレートでの符号化時の動きベクトルとして使用することにより、
前記レート制御処理と該動き検出処理との両方で、処理を軽減することを特徴とするビデオ情報複数同時符号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003206482A JP4104066B2 (ja) | 2003-02-26 | 2003-08-07 | ビデオ情報複数同時符号化装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003049752 | 2003-02-26 | ||
| JP2003206482A JP4104066B2 (ja) | 2003-02-26 | 2003-08-07 | ビデオ情報複数同時符号化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004320707A true JP2004320707A (ja) | 2004-11-11 |
| JP4104066B2 JP4104066B2 (ja) | 2008-06-18 |
Family
ID=33478039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003206482A Expired - Fee Related JP4104066B2 (ja) | 2003-02-26 | 2003-08-07 | ビデオ情報複数同時符号化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4104066B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009017314A (ja) * | 2007-07-05 | 2009-01-22 | Mega Chips Corp | トランスコーダ |
| WO2012042701A1 (ja) * | 2010-09-28 | 2012-04-05 | パナソニック株式会社 | マルチストリーム符号化制御装置及びカメラシステム |
| JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー， インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
| US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
| US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| WO2019053932A1 (ja) * | 2017-09-13 | 2019-03-21 | 株式会社Ｊｖｃケンウッド | トランスコード装置、トランスコード方法及びトランスコードプログラム |
| US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
-
2003
- 2003-08-07 JP JP2003206482A patent/JP4104066B2/ja not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009017314A (ja) * | 2007-07-05 | 2009-01-22 | Mega Chips Corp | トランスコーダ |
| WO2012042701A1 (ja) * | 2010-09-28 | 2012-04-05 | パナソニック株式会社 | マルチストリーム符号化制御装置及びカメラシステム |
| US11611785B2 (en) | 2011-08-30 | 2023-03-21 | Divx, Llc | Systems and methods for encoding and streaming video encoded using a plurality of maximum bitrate levels |
| US11025902B2 (en) | 2012-05-31 | 2021-06-01 | Nld Holdings I, Llc | Systems and methods for the reuse of encoding information in encoding alternative streams of video data |
| US10728564B2 (en) | 2013-02-28 | 2020-07-28 | Sonic Ip, Llc | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| US10178399B2 (en) | 2013-02-28 | 2019-01-08 | Sonic Ip, Inc. | Systems and methods of encoding multiple video streams for adaptive bitrate streaming |
| JP2016526336A (ja) * | 2013-05-24 | 2016-09-01 | ソニック アイピー， インコーポレイテッド | 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法 |
| US10148989B2 (en) | 2016-06-15 | 2018-12-04 | Divx, Llc | Systems and methods for encoding video content |
| US10595070B2 (en) | 2016-06-15 | 2020-03-17 | Divx, Llc | Systems and methods for encoding video content |
| US11483609B2 (en) | 2016-06-15 | 2022-10-25 | Divx, Llc | Systems and methods for encoding video content |
| US11729451B2 (en) | 2016-06-15 | 2023-08-15 | Divx, Llc | Systems and methods for encoding video content |
| JP2019054335A (ja) * | 2017-09-13 | 2019-04-04 | 株式会社Ｊｖｃケンウッド | トランスコード装置、トランスコード方法及びトランスコードプログラム |
| WO2019053932A1 (ja) * | 2017-09-13 | 2019-03-21 | 株式会社Ｊｖｃケンウッド | トランスコード装置、トランスコード方法及びトランスコードプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4104066B2 (ja) | 2008-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3756346B2 (ja) | ビデオ・フレームの多重ストリームを処理する方法及びシステム | |
| WO2009121234A1 (zh) | 一种视频压缩码率控制方法 | |
| MXPA05002511A (es) | Un metodo y un aparato para controlar la velocidad de una secuencia de video; un dispositivo que codifica un video. | |
| WO1999063760A1 (en) | Sequence adaptive bit allocation for pictures encoding | |
| CN102316313B (zh) | 嵌入式实时视频压缩系统中的低复杂度的比特率控制方法 | |
| JP2000197049A (ja) | 動画像可変ビットレート符号化装置および方法 | |
| JP4104066B2 (ja) | ビデオ情報複数同時符号化装置 | |
| CN105187832B (zh) | 基于2.5g无线网络移动视频码率控制方法 | |
| CN100448295C (zh) | 一种低复杂度的积分码率控制方法 | |
| Lei et al. | Accurate bit allocation and rate control for DCT domain video transcoding | |
| Yi et al. | Improved H. 264 rate control by enhanced MAD-based frame complexity prediction | |
| JP2001028753A (ja) | 動画像符号化装置及びその方法 | |
| JP4249672B2 (ja) | ビデオ情報複数同時符号化装置 | |
| US20090213929A1 (en) | Transcoder | |
| US9426474B2 (en) | Transcoder | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
| Wang et al. | MPEG motion picture coding with long-term constraint on distortion variation | |
| KR101069254B1 (ko) | Ｈ.264를 위한 프레임 단위 비트율 제어 방법 | |
| JP2005033599A (ja) | 符号化装置、および、符号化方法、並びに、プログラム | |
| Sun et al. | New bufferless rate control for high efficiency video coding | |
| Sun et al. | Scene adaptive parameters selection for MPEG syntax based HDTV coding | |
| Cai et al. | A high-performance and low-complexity video transcoding scheme for video streaming over wireless links | |
| WO2000040032A1 (en) | Adaptive buffer and quantizer regulation scheme for bandwidth scalability of video data | |
| Sun et al. | Low delay rate-control in video transcoding | |
| Kwon et al. | Improved initial QP prediction method in H. 264/AVC |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050831 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071226 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080319 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080321 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |