JP2005515732A

JP2005515732A - 計算量制約データ圧縮における動的制御

Info

Publication number: JP2005515732A
Application number: JP2003561254A
Authority: JP
Inventors: チェン，インウェイ; ジョン，ジュン
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-12-27
Filing date: 2002-12-10
Publication date: 2005-05-26
Also published as: CN1608381A; US20030123540A1; AU2002367067A1; EP1461960A1; WO2003061298A1; KR20040075039A

Abstract

映像処理システムにおいてMPEG符号器の計算負荷を調整する方法及びシステムを設ける。データ・ブロックのストリームが受信され、後に符号化モード中に取り出すよう一時的にバッファされる。バッファされたデータ・ブロックは更に、従来の符号化方法によって符号化処理を行うようバッファから取り出される。一方では、バッファの占有度が後の符号化処理に対する適切な符号化計算量を判定するよう監視される。この目的で、所定の閾値範囲が、後続する符号化処理が改良バッファ効率で行い得るよう、占有度と比較される。

Description

本発明は、着信映像情報の映像処理、特に、リアル・タイムのMPEG（動画像符号化専門家グループ）符号器の計算負荷を動的に制御する方法及びデバイスに関する。

映像情報は一般に、記憶空間を節減するよう圧縮され、表示するビット・ストリームにおいて復元される。したがって、比較的安定した映像品質を最小ビット数で可変ビット・レート（VBR）又は不変ビット・レート（CBR）のチャネルによって配信するよう、映像情報を速くかつ効率的に符号化することが大いに望まれる。映像情報を圧縮及び復元するのに広く用いられるようになった１つの圧縮標準に映像の符号化及び復号化に関するMPEG標準がある（該標準を規定するものについては、非特許文献１参照。）。
International Standard ISO/IEC 11172-1, "Information Technology-Coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbits/s", Parts 1,2 and 3, First edition 1993-08-01

技術者にとって、多くの映像システムの目的は、コンテンツ・オーサリング又はリアル・タイムのハードウェア映像符号化のような特定のアプリケーションにおける映像圧縮ベースのシステムを設計する場合に、速くかつ効率的に映像情報を符号化することにある。コンテンツ・オーサリングの場合においては、圧縮はオフラインで行われるので、符号器が符号化を終了するのにどれくらい長くかかるかについては（あまり）関係があるものでない。MPEG２符号化の計算負荷特性が不規則であることが理由で、フレームのピーク計算負荷はプロセッサの最大負荷を超え、それによってフレーム落ち又は予期しない結果をもたらすことがある。リアル・タイムのハードウェア符号器の場合、ハードウェア構成部分は各映像圧縮標準が許容する最悪のシナリオに備えて過剰に設計しておかなければならない。このような実施形態は不経済であり、望ましくないピーク計算負荷はそれ程頻繁に発生しないので、リソースを浪費してしまうことになる。同様に、技術者がプロセッサ上でMPEG2符号化を実施する場合、技術者は、ピーク計算負荷が発生する場合に、円滑な動作を得るよう、平均復号化計算負荷を４０−５０％上回るパフォーマンス・マージンを有するプロセッサを選択する必要がある。この過剰に設計することの贅沢さは計算リソースが他の機能と共有化されている汎用ソフトウェア符号器ではもはや、容易に得ることができない。

本発明は、MPEGディジタル映像符号器システムの符号化効率を、最適な性能を得るよう計算負荷を動的に調整することによって、最大化しながら、リアル・タイムの符号化を実現する方法及びシステムに関する。

本発明の一特徴によれば、スケーラブル符号器を用いてデータ・ブロックのストリームを符号化する方法は：データ・ブロックのストリームを受信する工程；受信データ・ブロックをバッファに記憶する工程；第１符号化データ・ブロックを生成するよう、バッファからの記憶データ・ブロックの第１シーケンスを符号化する工程；所定の閾値範囲と比較するようバッファの占有度を監視する工程；及び該比較結果に基づいて符号器の計算量を調整する工程；を有する。該比較結果に基づいて符号器の計算量を調整する工程は：バッファの占有度が閾値の高領域を超える場合に、符号器の計算量を低減する工程；第２符号化ブロックを生成するよう、低減計算量で第２データ・ブロックを符号化する工程；バッファの占有度が所定の閾値範囲に収まる場合に、符号器の計算量を維持する工程；バッファの占有度が所定閾値範囲の低レベルを下回る場合、符号器の計算量を増加する工程；及び第２符号化データ・ブロックを生成するよう増加計算量で第２データ・ブロックを符号化する工程；を有し、符号器の計算量を増加する工程及び低減する工程は所定の符号化構成テーブルによって行われる。該方法は更に、後に取り出すよう、メモリ媒体に第１符号化データ・ブロックを記憶する工程を有する。本発明においては、データ・ブロックのストリームは映像フレームのストリームを有する。

本発明の別の実施例によれば、スケーラブル符号器を用いてデータ・ブロックのストリームを符号化する方法は：バッファにデータ・ブロックのストリームを一時的に記憶する工程；バッファから記憶データ・ブロックの第１シーケンスを取り出す工程；第１符号化データ・ブロックを生成するようバッファからの記憶データ・ブロックの第１シーケンスを符号化する工程；バッファの占有度を監視する工程；バッファの占有度を所定の閾値範囲と比較する工程；；バッファの占有度が所定の閾値範囲の低レベルを下回る場合、符号器の計算量を増加する工程；及びバッファの占有度が所定の閾値範囲の高レベルを下回る場合、符号器の計算量を低減する工程；を有し、符号器の計算量を増加する工程及び低減する工程は所定の符号化構成テーブルによって行われる。該方法は更に、第２符号化データ・ブロックを生成するよう増加計算量で第２データ・ブロックを符号化する工程、及び第２符号化データ・ブロックを生成するよう低減計算量で第２データ・ブロックを符号化する工程を含む。バッファの占有度はデータ・ブロックのストリームの入力レート及び第１符号化データ・ブロックを生成した後の符号器からのフィードバック情報を処理することに基づいて判定される。

本発明の別の特徴によれば、データ・ブロックのストリームを符号化する符号化システムは：複数のソースからのアナログ信号をディジタル信号に変換するアナログ・ディジタル変換器；所定のレートで変換ディジタル信号を受信するバッファ；所定の符号化構成テーブルを記憶するメモリ；バッファに記憶されたデータ・ブロックのストリームを符号化する符号器；及び、バッファ、符号器、及びメモリに動作するよう結合された管理モジュール；を有し、管理モジュールは：(a)データ・ブロックのストリームを受信し；(b)バッファに受信データ・ブロックを記憶し；(c)第１符号化データ・ブロックを生成するよう、バッファからの記憶データ・ブロックの第１シーケンスを符号化させ；(d)所定の閾値範囲と比較するようバッファの占有度を監視し；（e）該比較結果及び所定の符号化テーブルに基づいて符号器の計算量を調整させ；(f)第２符号化データ・ブロックを生成するよう調整計算量で第２データ・ブロックを符号化させる；よう動作可能である。管理モジュールは更に：バッファの占有度が閾値の高領域を超える場合、符号器の計算量を低減し；バッファの占有度が所定の閾値範囲の低レベルを下回る場合、符号器の計算量を増加し；かつ、バッファの占有度が所定の閾値範囲に収まる場合、符号器の計算量を維持する；よう動作可能である。

本発明の方法及び装置の理解は、以下の詳細説明、更には、添付図面、を参照することによって完全なものにし得る。

以下においては、限定するものではなく説明する目的で、本発明の徹底的な理解を設けるよう、特定のアーキテクチャ、インタフェース、手法など、のような特定の詳細内容を説明する。しかしながら、本発明は、これらの特定の詳細内容から逸脱する他の実施例において実施し得ることが当業者にはわかるものである。簡潔性及び明瞭性の目的で、不必要な詳細によって本発明の説明をわかりにくくすることのないよう、周知のデバイス、回路、及び方法の詳細説明は割愛することとする。

本発明の理解を容易にするよう、MPEG標準によって映像データを圧縮する従来の方法を以下において簡単に説明する。

MPEG標準によって規定される映像情報のフレームには3つの種類；フレーム内（Iフレーム）；前方予測フレーム（Pフレーム）；及び双方向予測フレーム（Bフレーム）；がある。Iフレーム、すなわち実際の映像基準フレーム、は周期的に、すなわち、15フレーム毎に１基準フレームに、符号化される。予測は特定フレーム数分前方で次の基準フレームの前にある、映像フレーム、Pフレーム、の配置について行われる。BフレームはIフレームと予測Pフレームとの間で、又は、過去の基準ブロックにおけるマクロ・ブロックと将来の基準ブロックにおけるマクロ・ブロックとを補間する（平均する）ことによって予測される。動きベクトルは更に、符号化され、現行のフレーム内のマクロ・ブロックに対する、基準フレーム内のマクロ・ブロックの相対位置を規定する。現行のフレームは先行フレーム及び後続フレームに基づいて符号化し得る。そういうものとして、1つのフレームがMPEG符号化規則に基づいて符号化される必要があり、更に、そのフレームに関係する他のフレームがそのフレームからの差異に基づいて符号化される。

図１は本発明の例示的実施例によって映像信号を符号化することができる符号化回路１０の概略図を表す。図１に表すように、復号化処理をスケールする本発明による符号化回路１０は：アナログ・ディジタル（A/D）変換器１２；バッファ１４；符号器１６；管理モジュール１８；及びメモリ２０；を有する。A/D変換器１２によって受信される入力信号はカムコーダ、DVDプレイヤ、VCR（ビデオ・カセット・レコーダ）、テレビ・チューナ及び/又はディジタル情報を受信する如何なる他のデバイスからの信号でもあり得る。バッファ１４は従来の先入先出（FIFO）バッファであり得る。管理モジュール１８はパソコン、ワークステーション、携帯情報端末（PDA）、ハンドヘルド・コンピュータの中央処理装置、及び/又は、マイクロプロセッサ、ディジタル信号プロセッサ、マイクロ・コントローラ、マイクロ・コンピュータ及び/又はプログラミング命令に基づいてディジタル情報を操作する他のいかなるデバイスのような集積回路であり得る。符号器１６は管理モジュール１８に組み入れ得ることを特筆する。メモリ２０はハード・ドライブ・メモリ、ランダム・アクセス・メモリ、読み取り専用メモリ、外部メモリ及び/又はディジタル情報を記憶する如何なる他のデバイスでもあり得る。

動作上、映像情報のストリームがA/D変換器１２によってアナログ信号からディジタル信号に変換される。変換ディジタル信号は更に、バッファ１４に設けられる。符号器１６の入力でのバッファ１４の役目は短期の計算量変動を取り除くことにある。その後、符号器１６は、管理モジュール１８の制御の下で、バッファ１４に記憶されたデータを、該データが局所メモリ媒体において記憶された小量の圧縮データによって、表すよう、符号化する。データを圧縮することによって、処理エンティティは効果的に、特定の時間内に多くのデータを効率的に処理し得る。MPEG標準に従って符号器１５によって行われる符号化は上記のように当業者に周知のものである。符号化モード中には、管理モジュール１８はバッファ１４の占有度を、バッファ使用を、オーバフローなく、符号器１６の計算量を調整することによって、最大化し得るよう、監視する。

本発明においては、計算量制約はバッファ全体の平均計算量を表す。例えば、バッファ１４が２つのフレーム入力バッファを有し、計算量制約がフレーム毎に1000万命令で、第１フレームが1500万命令を有する場合、符号化回路１０はなお、第２フレームが５百万命令まで要しない限り、該計算量制約下のままである。計算量制約を超えないよう、管理モジュール１８は、バッファ１４の占有度に基づいて、符号器１６を１つのコンフィグレーション・ポイントから別のコンフィグレーション・ポイントに切り替える動的制御を設け、計算量が制約内に収まることを徹底する。すなわち、監視処理が特定の閾値に対する計算ピーク値を表すと、符号器１６は計算量の低いコンフィグレーション・ポイントに切り替える。この目的で、図２に表すように、所定のルック・アップ・テーブルがメモリ２０に記憶される。したがって、バッファ１４の占有度に基づいて、管理モジュール１８が符号器１６の計算量の増加又は低減の何れかを行う。

図３によれば、バッファ１４の占有度は管理モジュール１８によって映像ストリームの入力レート及び符号器１６から受信されたフィードバック情報に基づいて判定し得る。図に表すように、所定の間隔、例えば、毎秒30フレームのレート、でのデータ・フレームのストリームがバッファ１４において受信される。符号化モード中のバッファの状態は以下の式：
現行＿時間＝フレーム開始＿時間＋フレーム処理＿時間；及び
新規＿到着＝（現行＿時間―直前到着＿時間）/フレーム間隔；
によって得ることが可能であり、「現行＿時間」はフレームに符号化処理を行った後に符号器１６から受信されたフィードバック情報を示し、「新規＿到着」は符号化処理中にバッファ１４に到着するフレームの数を示す。例えば、現行＿時間₁では、（１で表される）第１フレーム群は符号器１６によって符号化され、更に、管理モジュール１８に通知される。一方では、（２で表される）第２フレーム群は一時的にバッファ１４にバッファされる。この時点で、バッファ１４に記憶されたフレームの数は：新規＿到着₁＝（現行＿時間₁―直前到着＿時間₁）/フレーム間隔；として得ることが可能である。その後、直前到着＿時間₁が、符号器１６からの次のフィードバック情報に対するバッファの特性を判定するよう、更新される（直前到着＿時間₂＝直前到着＿時間₂＋新規＿到着₁＊/フレーム間隔）。バッファにおいては待ちフレームがあるので、符号器は第１フレームの終了直後にバッファからのフレームを開始する。したがって、フレーム＿開始＿時間₂＝現行＿時間₁となる。符号器が第１フレームを終了するまでにバッファにフレームがない場合、符号器は直ちに次のフレームを符号化し得ないことを特筆する。その代わりに、次のフレームの到着まで遊休状態のままでいなければならない。この場合、フレーム＿開始＿時間２＝直前＿到着＿時間＋フレーム＿間隔＿時間となる。現行＿時間₂（＝フレーム＿開始＿時間２＋フレーム＿処理＿時間２）では、（２によって表される）第２フレーム群は符号器１６によって符号化され、管理モジュール１８に通知される一方、（３で表される）第３フレーム群はバッファ１４に一時的にバッファされる。ここで、バッファ１４に到着するフレームの数は：新規＿到着₂＝（現行＿時間₂―直前到着＿時間₂）/フレーム間隔；として得ることが可能である。そういうものとして、管理モジュール１８はバッファ１４の占有度を監視し続けるようこれらの工程を繰り返し得る。別の実施例においては、受信データ・ストリームがバッファ１４の入力に記憶されるので、バッファは直接、管理モジュール１８に時間間隔に及んで占有度信号を送信し得る。

上記のようにバッファの占有度が得られると、管理モジュール１８はメモリ２０に記憶されたルック・アップ・テーブルによって符号器１６の計算量を増加するか低減するかを判定し得る。したがって、バッファ占有度は本発明によって計算量をいつ、更には、どれぐらい、変更するかを判定するパラメータとして用いられる。１つのアプローチにおいては、管理モジュール１８は、バッファ占有度があらかじめ設定された閾値よりも低い場合、バッファ１４を利用して符号器を高計算量に切り替えてビット・レートを低減し、バッファ占有度があらかじめ設定された閾値よりも高い場合、符号器を低計算量に切り替える。このアプローチの欠点は頻繁な切り替えがシステムのオーバヘッドとビット・レートにおける変動との両方を結果としてもたらし得ることを特筆する。この問題に対処するよう、切り替えの数は閾値の範囲を設定することによって、閾値の所定範囲から逸脱するバッファ・レベルのみが切り替わる必要があるよう、低減し得る。例えば、所望のバッファ占有度が７５％の場合、６５％から８５％までの範囲は許容できる範囲として規定し得る。バッファ占有度が許容できる範囲内に収まる場合、管理モジュール１８によって行われる動作はない。切り替えはバッファ占有度が８５％を上回るか６５％を下回る場合のみ行われる。

次に、本発明による動的符号化処理をサポートする計算負荷の予測を設けることを詳細に説明する。以下の図３の流れ図は管理モジュール１８のソフトウェア実施例の動作を表す。この流れ図は一般に、ハードウェア実施例にも形成し得る。

図４はデータ・ブロックのストリームを符号化する方法の論理図である。該処理は工程１００に始まり、該工程では符号器１６は最初に、特定のモードでデータ・ブロックの着信ストリームを符号化するようあらかじめ設定される。ここでは、データ・ブロックのストリームは映像キャプチャ・デバイスから設けられた映像フレームのストリームを有する。次に、工程１１０では、符号化処理がバッファ１４に第１シーケンスのデータ・ブロックの第１群を記憶することによって開始する。バッファ１４に第１群を記憶させると、データ・ブロックの１つが取り出され、更に、リレーショナル・データの符号化規則に基づいて符号化される。フレームを符号化した後、工程１１５の最後のフレームであるかが判定される。肯定の場合、該処理は停止する；さもなければ、該処理は工程120に進む。

工程１２０では、バッファ１４の占有度が図３によって説明された符号化処理中に管理モジュール１８によって監視される。その後、工程１３０で、バッファ・レベルの占有度が所定の高閾値領域及び低閾値領域に収まっているかを判定する。肯定の場合、計算量の切り替えは行われず、工程１１０に戻る。さもなければ、工程１４０で、占有度バッファ・レベルが高閾値を超える場合、符号器１６の計算量は工程１５０で特定量だけ低減されるか、占有度バッファ・レベルが工程１６０で低閾値よりも低い場合、符号器１６の計算量が工程１７０で特定量だけ増加する。符号器１６の構成部分のCPU(中央処理装置)の負荷をスケールする量は操作者によって設定された所定のルック・アップ・テーブル及び符号器１６の利用可能な処理能力によって変えることが可能であることを特筆する。その結果、フレーム落ち又は符号器１６の最大CPU負荷を超えることに関連する予期しない結果を回避し得る。

本発明の好適実施例を示して説明した一方、本発明の真の範囲から逸脱することなく、種々の変更及び修正を設け得、同等物をその構成部分と置換し得ることが、当業者にはわかるものである。したがって、本発明を実施するのに考案された最善モードとして開示された特定の実施例に限定されるものでなく、本発明が本特許請求の範囲におさまる全ての実施例を有することが企図されている。

映像情報の圧縮における計算負荷を調整するプロセッサの一実施例を表す図である。符号器の計算負荷を調整するのに用いられる例示的ルック・アップ・テーブルを表す図である。本発明によるバッファの占有度の監視を表す図である。本発明による符号器の計算負荷を調整する処理を示す流れ図である。

Claims

スケーラブル符号器を用いてデータ・ブロックのストリームを符号化する方法であって：
データ・ブロックのストリームを受信する工程；
該受信データ・ブロックをバッファに記憶する工程；
第１符号化データ・ブロックを生成するよう該バッファからの該記憶データ・ブロックの第１シーケンスを符号化する工程；
所定の閾値範囲と比較するよう該バッファの占有度を監視する工程；及び
該比較結果に基づいて該符号器の計算量を調整する工程；
を有することを特徴とする方法。
請求項１記載の方法であって、前記比較結果に基づいて前記符号器の前記計算量を調整する前記工程は：
前記バッファの前記占有度が前記閾値の高領域を超える場合、該符号器の該計算量を低減し；かつ
第２符号化データ・ブロックを生成するよう該低減計算量で第２データ・ブロックを符号化する工程；
を有することを特徴とする方法。
請求項１記載の方法であって、前記比較結果に基づいて前記符号器の前記計算量を調整する前記工程は：
前記バッファの前記占有度が前記所定の閾値範囲の低レベルを下回る場合、該符号器の該計算量を増加し；かつ
第２符号化データ・ブロックを生成するよう該増加計算量で第２データ・ブロックを符号化する工程；
を有することを特徴とする方法。
請求項２又は３何れか記載の方法であって、前記符号器の前記計算量を低減又は増加する工程は所定の符号化構成テーブルによって行われることを特徴とする方法。
請求項１記載の方法であって、前記比較結果に基づいて前記符号器の前記計算量を調整する工程は、前記バッファの前記占有度が前記所定の閾値範囲に収まる場合：
該符号器の該計算量を維持する工程；
を有することを特徴とする方法。
請求項１記載の方法であって、更に：
後に取り出すよう、メモリ媒体に、前記第１符号化データ・ブロックを記憶する工程；
を有することを特徴とする方法。
請求項１記載の方法であって、前記データ・ブロックのストリームが映像フレームのストリームを有することを特徴とする方法。
スケーラブル符号器を用いてデータ・ブロックのストリームを符号化する方法であって：
該データ・ブロックの該ストリームをバッファに一時的に記憶する工程；
該バッファから該記憶データ・ブロックの第１シーケンスを取り出す工程；
第１符号化データ・ブロックを生成するよう該バッファからの該記憶データ・ブロックの該第１シーケンスを符号化する工程；
該バッファの占有度を監視する工程；
該バッファの該占有度を所定の閾値範囲と比較する工程；
該バッファの該占有度が該所定の閾値範囲の低レベルを下回っている場合、該符号器の計算量を増加する工程；及び
該バッファの該占有度が該所定の閾値範囲の高レベルを下回っている場合、該符号器の該計算量を低減する工程；
を有することを特徴とする方法。
請求項８記載の方法であって、更に：
第２符号化データ・ブロックを生成するよう前記増加計算量で第２データ・ブロックを符号化する工程；
を有することを特徴とする方法。
請求項８記載の方法であって、前記符号器の前記計算量を、増加する前記工程及び低減する前記工程、は所定の符号化構成テーブルによって行われることを特徴とする方法。
請求項８記載の方法であって、更に：
第２符号化データ・ブロックを生成するよう前記低減計算量で第２データ・ブロックを符号化する工程；
を有することを特徴とする方法。
請求項８記載の方法であって、更に、前記バッファの前記占有度が前記所定の閾値範囲内に収まる場合：
前記符号器の前記計算量を維持する工程；
を有することを特徴とする方法。
請求項８記載の方法であって、更に：
後に取り出すよう、メモリ媒体に、前記第１符号化データ・ブロックを記憶する工程；
を有することを特徴とする方法。
請求項８記載の方法であって、前記データ・ブロックのストリームが映像フレームのストリームを有することを特徴とする方法。
請求項８記載の方法であって、前記バッファの前記占有度が前記データ・ブロックの前記ストリームの入力レート及び前記第１符号化データ・ブロックを生成した後に前記符号器からのフィードバック情報を処理することに基づいて判定されることを特徴とする方法。
データ・ブロックのストリームを符号化する符号化システムであって：
複数のソースからのアナログ信号をディジタル信号に変換するアナログ・ディジタル変換器；
所定のレートで該変換ディジタル信号を受信するバッファ；
所定の符号化構成テーブルを記憶するメモリ；
該バッファに記憶されたデータ・ブロックの前記ストリームを符号化する符号器；及び
該バッファ、該符号器、及び該メモリに動作するよう結合された管理モジュール；
を有し、該管理モジュールが、
前記データ・ブロックの前記ストリームを受信し；
該受信データ・ブロックを該バッファに記憶し；
第１符号化データ・ブロックを生成するよう、該バッファからの該記憶データ・ブロックの第１シーケンスを符号化させ；
所定の閾値範囲と比較するよう該バッファの占有度を監視し；
該比較結果及び該所定の符号化構成テーブルに基づいて前記符号器の計算量を調整させ；かつ
第２符号化データ・ブロックを生成するよう、該調整計算量で第２データ・ブロックを符号化させる；
よう動作可能であることを特徴とする符号化システム。
請求項１６記載のシステムであって、前記管理モジュールは更に、前記バッファの前記占有度が前記閾値の高領域を超える場合、前記符号器の前記計算量を低減するよう動作可能であることを特徴とするシステム。
請求項１６記載のシステムであって、前記管理モジュールは更に、前記バッファの前記占有度が前記所定の閾値範囲の低レベルを下回る場合、前記符号器の前記計算量を増加するよう動作可能であることを特徴とするシステム。
請求項１６記載のシステムであって、前記管理モジュールは更に、前記バッファの前記占有度が前記所定の閾値範囲内に収まる場合、前記符号器の前記計算量を維持するよう動作可能であることを特徴とするシステム。
請求項１６記載のシステムであって、前記データ・ブロックのストリームが映像フレームのストリームを有することを特徴とするシステム。