JP2005516499A - 圧縮されたビデオ情報の計算 - Google Patents

Abstract

画像圧縮時、選択的なビデオ圧縮技法は、圧縮のためにどの程度の計算資源が利用可能であると検出されるか該程度の制御下で選択される。資源のより多くの部分が利用可能である場合、それぞれの程度に合わせて、より少ない資源が集約される圧縮技法又はより多くの資源が集約される圧縮技法が用いられる。ビデオ情報からのフレームのシーケンスからフレームの少なくとも一部が、近傍のフレームに対する変化情報による第１のプロセス、又は上記シーケンスにおけるいかなる近傍のフレームからも独立した第２のプロセスを選択的に用いて符号化され、こうした選択は、どの程度の資源が利用可能であるかに依存して行われる。

Description

本発明は、ビデオ情報を圧縮するための装置に関し、更に、このような装置を動作させる方法に関する。

米国特許第５，５０８，７４３号明細書から、圧縮装置が知られている。ビデオ（動画像）情報の圧縮については、さまざまな技法が知られている。これらの技法は、圧縮されたビデオ情報を伝送する又は記憶するのに必要とされる帯域幅の量を低減し、圧縮されたビデオ情報を復号化する時に得られる画質を最大にすることを目的とする。

ＭＰＥＧは、圧縮されたビデオ情報を表すためのよく知られる一連の規格である。厳密に言えば、ＭＰＥＧは復号化技法のみを規定するものだが、もちろん、許容可能な復号化技法は、符号化及び圧縮についても影響を及ぼす。各々のＭＰＥＧ復号化規格は、ビデオ情報の圧縮のさまざまな形式をサポートする。例えば、ビデオ情報を構成するフレームのシーケンスにおけるフレームの一部（いわゆるＰフレーム及びＢフレーム）は、シーケンスにおいて近傍のフレームに対する変化に関して符号化され得る。フレームの一部のみ（いわゆるＩフレーム）が、他のフレームから独立して符号化されなければならない。ＭＰＥＧによってサポートされる他の圧縮技法は、フレームを矩形ブロックに分割し、各ブロックについて、ブロック内の情報のデジタルコサイン変換を計算し、更に、最小限の可視アーチファクトが復号化された画像に生じるように、変換された情報の種々の異なる要素の量子化レベルを選択的に設定する技法である。

制限された量の帯域幅をもつ圧縮された画像の画質を最適化するために、さまざまな圧縮技法は開発されている。このような圧縮された画像は、復号化のための制限された量の計算資源によって（例えば５０又は６０フレーム／秒のようなビデオ情報が表示されなければならないレートにおいて）リアルタイムに復号化されることができる。米国特許第５，５０８，７４３号明細書は、例えば、フレーム間の変化を符号化することと、近傍のフレームとは関係なく種々の異なるブロックについて異なるように符号化することとの間において圧縮の切り替えのレートを選択する。米国特許第５，５０８，７４３号明細書は、信号のために必要とされる帯域幅を減少させるように、突然の画像変化の後、このレートが適応化され得ることを説明している。

この種類の技法は、復号化（伸長）が、復号化専用の装置であることが多い特定された復号化装置によって、リアルタイムに実施され得ることを確実にする。他方、圧縮に必要とされる計算処理は、原則として、いかなる計算装置によっても実施されることが可能である。これは、リアルタイム圧縮処理（ビデオ情報が到達するレート（例えば５０又は６０フレーム／秒）での圧縮）が必要とされる場合に変化する。この場合、圧縮装置は、圧縮を実施するために十分な量の計算パワーをもって設計されなければならない。

ビデオ信号を符号化するためだけではなく、幾つかのタスクについて並行して使われることができるプログラム可能なコンピュータによりビデオ信号圧縮を実施することが望ましい。この場合、十分な量の計算資源が、リアルタイム圧縮のタスク用に確保されなければならず、残りのタスクはもっぱら資源の残りの部分を得るか、又はビデオ情報のコンテントのためにより少ない資源が圧縮のために一時的に必要とされるときに残されるいかなる資源も得る。このことは、非常に強力な、従って、高価なコンピュータが、リアルタイム圧縮のために必要とされることを意味する。

とりわけ、本発明の目的は、それほど強力でないコンピュータを必要とし、及び／又はリアルタイム圧縮と並行して他のタスクを実施する余地をより多く残す、リアルタイム圧縮技法を提供することにある。

本発明は、圧縮されたビデオ情報を計算装置により計算する方法であって、この方法は、計算装置において圧縮のために、どの程度の計算資源が利用可能であると検出されるか該程度の制御下で、上記の計算装置によって用いられる圧縮技法を自動的に選択することを含み、上記程度がスレッショルドを下回る場合、より少ない資源が集約される圧縮技法が選択され、又は上記程度がスレッショルドを上回る場合、より多くの資源が集約される圧縮技法が選択される方法を提供する。

従って、圧縮レートは、利用可能な計算資源に依存して制御される。好ましくは、計算資源のより少ない部分が利用可能である場合、より高い帯域幅を犠牲にして、圧縮された画像の画質は実質的に一定に保持される。このことは、帯域幅の制限（帯域幅は計算資源ではない）によって圧縮技法を適応化させることをその目的とする従来の技法から区別されるべきである。後者の従来の技法においては、利用可能な帯域幅の制限に到達する場合、情報のより多くの圧縮又は情報の完全な抑制さえもが、通常、用いられる。対照的に、本発明によれば、計算資源の制限に到達する場合、より少ない圧縮が用いられる。

好ましくは、この方法は、上記程度に依存して、ビデオ情報からのフレームのシーケンスからフレームの少なくとも一部を、近傍のフレームに対する変化情報による第１のプロセスを用いて符号化するか、又はシーケンスにおけるいかなる近傍のフレームからも独立した第２のプロセスを用いて符号化するかを選択することを含み、上記程度がスレッショルドを下回る場合、第１のプロセスが選択され、又は上記程度がスレッショルドを上回る場合、第２のプロセスが選択される方法である。従って、ＭＰＥＧ符号化プロセスでは、符号化のためにわずかな資源しか利用可能でない場合、より多くのＩフレームが使われ、より多くの資源が利用可能である場合、より多くのＰフレーム又はＢフレームが使われる。もちろん、ＭＰＥＧの推奨によって必要とされる利用可能な資源とは無関係に、最小限の数のＩフレームが含まれていてもよい。

独立したコード化と、変化のコード化との間において選択を行うことは、符号化のために使われる資源の適応化を実現するために、簡単且つ効果的なやり方である。この理由は、変化のコード化のほうが、独立したコード化よりも多くの計算資源を必要とするけれども、独立したコード化よりも高い圧縮レートにつながるからである。もちろん、圧縮されるフレームの解像度の適応化のような適応化の他のやり方が使われることもできる。

この方法は、好ましくは、マルチタスキングコンピュータにおいて用いられることも可能であり、この場合、圧縮のレートは、プロセッサによって実行される他のタスクによって残された資源に依存して選択される。

本発明による装置及び方法のこれら及び他の有利な態様並びに利点は、以下の図面を使用して説明されるであろう。

図１は、ビデオ情報を受け取るための入力部１０と、入力メモリ１１と、プロセッサ１２と、作業メモリ１４と、転送媒体１６と、伸長(decompression)装置１８とを備えるシステムを示す。入力部１０は、入力メモリ１１に結合されている。プロセッサ１２は、入力メモリ１１と、作業メモリ１４と、上記媒体１６とに結合されている。伸長装置１８は、上記媒体１６に結合されている。

動作中、フレームのシーケンス（二次元の画像）を記述するビデオ情報を有するビデオ信号は、入力部１０に到達する。このビデオ情報は、入力メモリ１１に記憶される。プロセッサ１２は、入力メモリ１１から上記ビデオ情報を読み取り、このビデオ情報を（中間情報については作業メモリ１４を用いて）圧縮し、この圧縮された情報を媒体１６に送リ出す。媒体１６は、例えば（ハードディスク、光ディスク、磁気テープなどのような）メモリ装置、又はデータバス若しくは放送チャネルのような伝送チャネルである。伸長装置１８は、媒体１６から圧縮されたビデオ情報を読み取り、この情報を伸長し、表示画面（図示略）に該情報を表示し、又は該情報を他の処理にかける。

圧縮は、例えばＭＰＥＧ規格によって圧縮された信号を得るために、プロセッサ１２によって実施される。ＭＰＥＧ規格による圧縮されたビデオ信号の規定の範囲内において、幾つかのタイプの圧縮が知られている。こうした圧縮の１つは、直接的又は間接的に近傍のフレームのコンテントからのフレームのコンテントの予測を用いる圧縮である。この種類の予測の例は、（先行のフレーム又は後続のフレームから、順方向又は逆方向の）一方向の予測、及び双方向におけるフレーム間の補間である。

図２は、ＭＰＥＧ規格による種々の異なるフレーム間の関係を示す。表示時間は水平方向に進む。ビデオ信号から複数の連続したフレーム（又はピクチャ）が、Ｉ、Ｂ及びＰとラベル表示され、順次、示されている。Ｉフレーム（又はＩピクチャ）は、他のフレームから独立して復号化されることができるフレームである。Ｐフレームは、先行のフレーム又は後続のフレーム、通常は先行のフレームを参照すること（そのフレームからの外挿）により復号化されるフレームである。図２において、この種類の参照は、復号化中にＰフレームが導き出されるフレームを指す矢印によって示される。Ｂフレームは、順方向に隣接するフレームと、逆方向に隣接するフレームとの間における補間によって復号化されるフレームである。図２では、Ｂフレームが補間されるフレームは、Ｂフレームからの矢印によって示される。

Ｐフレーム又はＢフレームと、これらのフレームが参照するフレームとの間の関係は、例えば、変位ベクトルによって表現されてもよい。この裏にある考えは、フレームのコンテントが、フレームごとにそれほど変わらず、変わる場合であったとしても、主として、あるフレームのある位置から、他の（近傍の）フレームの他の位置への領域の変位（例えば移動オブジェクト）によって変わるだけであるということである。その結果、上記の他のフレームのコンテントは、フレーム内の種々の異なる領域の変位と、オプションとして、このような予測の不正確さを修正するための何らかの修正情報とを表すベクトルによって表現されることができる（この変位ベクトルは、上記の不正確さを最小化するように注意深く選択されている）。

Ｂフレーム又はＰフレームが用いられる場合、プロセッサ１２は、Ｂ又はＰフレームの補間又は予測の不正確さを最小化する変位ベクトルの値を探さなければならない。このことは、例えば、あるフレームからの各領域と、他のフレームからの複数の領域との間の相関係数の計算を伴う大量の計算の作業を必要とする。Ｐフレームの場合のように１つの近傍のフレームからの領域の代わりに、Ｂフレームの場合には２つの近傍のフレームからの領域が比較される必要があるので、Ｂフレームを十分に利用するためには、Ｐフレームの場合よりも多くの作業が必要とされる。

プロセッサ１２は、好ましくは、１つ又は複数の他のタスクを圧縮タスクと並行して実行することが可能なマルチタスキングプロセッサである。すなわち、このようなプロセッサは、オペレーティングシステムの制御下で走る。このオペレーティングシステムは、プロセッサの計算資源のどれくらいの量が、さまざまなタスクによって使用中であるのかを計算し、未使用の計算資源をタスクに対して利用可能にする。それゆえ、種々の異なるタスクが、プロセッサ１２のさまざまな計算資源を共用する。計算資源を共用する一実施例において、複数のタスクはプロセッサ１２において交互に走ることが可能であり、各々のタスクが処理時間の一部を取る。他の実施例では、各々のタスクは、ある種のコプロセッサなどを用いるために、作業メモリ１４（又はローカルプロセッサ１２のメモリ）のうち該タスクの持分のみを使用することが許容され得る。

原則として、圧縮にとって十分な資源の固定量が、圧縮タスクのために確保され得る。しかし、圧縮タスクがこのような固定量に制限されたならば、（使われた計算の作業の量に伴って増大する）圧縮の量が制限される必要があるか、又はわずかな計算資源しか他のタスクのために残されないであろう。

本発明によれば、このことは、他のタスクによって残される計算資源の量に従って圧縮の量を適応化することによって回避される。特定の実施形態において、一方では１つのフレームをＩフレームとして符号化するか、他方ではＢフレーム又はＰフレームとして符号化するかの選択が、計算資源のこの量を表す信号の制御下で行われる。

好ましくは、圧縮は、入力ビデオ情報のフレームを符号化するために、Ｉフレーム、Ｐフレーム又はＢフレームのいずれを用いるのかを選択するコンピュータプログラムの制御下でプロセッサ１２によって実行される。このプログラムは、例えば、大量のミリ秒ごとに独立してコード化されたフレームを有する必要があることのようなＭＰＥＧ符号化の要求に基づいて、Ｉフレームとして符号化されるべきであるフレームの基本的な選択を行う。このプログラムは、資源の最小限の量を下回る量が利用可能であるか、又は資源の最小限の量を上回る量が利用可能であるかに依存して、１つ又は複数の残りのフレームを、Ｉフレームとして符号化するか、又はＢフレーム若しくはＰフレームとして符号化するかを選択する。他の実施形態では、利用可能な資源に依存して、Ｂフレーム又はＰフレームのどちらとしてフレームを符号化するかの選択が行われる。Ｐフレーム（一方向の予測）は、かなり少ない資源が利用可能である場合に選択される。

従って、より高い圧縮レートは、他のタスクがより多くの資源を空けて残す場合に実現され、より低い圧縮レートは、他のタスクがより少ない資源を空けて残す場合に実現される。原則として、他のタスクは、プロセッサ１２によって実行され得るいかなる種類の他のタスクであってもよく、可能性として他の画像圧縮タスクを含むこともできる。ある実施形態では、他のタスクが存在する必要さえなく、残される資源の量は、圧縮されるビデオ信号の性質に依存して、圧縮タスク自体によって残される資源である。

従って、圧縮された画像の画質は、計算資源の可変量を用いることによってほぼ一定に保持されることができ、これは、媒体１６における帯域幅の変動する使用を犠牲にして成されるものである。

本発明は、圧縮タスクを実行することが可能な任意の種類のプロセッサ１２に対して適用され得ることを理解されたい。好ましくは、プロセッサ１２は、ＭＩＰＳプロセッサ又はＶＬＩＷプロセッサのような汎用プロセッサ１２であるが、本発明は、信号プロセッサのような一層特化されたプロセッサに対しても同様に適用され得る。

本発明は、資源の利用可能性（availability；アベイラビリティ）を表す信号の制御下で、他のフレームから独立してフレームを符号化するべきか否かの選択に関して、又は１つ又は複数の近傍のフレームに対する変化に関して説明されているけれども、利用可能な資源の適応化は、更に、圧縮の他の見地に対しても応用され得ることを理解されたい。例えば、ビデオ情報が符号化される解像度の適応化についても応用され得る。

ビデオ情報を処理するためのシステムを示す図である。 ビデオ情報の符号化されたフレーム間の関係を示す図である。

Claims (6)

1. 圧縮されたビデオ情報を計算装置により計算する方法であって、前記方法は、前記計算装置において圧縮のためにどの程度の計算資源が利用可能であると検出されるか該程度の制御下で、前記計算装置によって用いられる圧縮技法を自動的に選択することを含み、前記程度がスレッショルドを下回る場合、より少ない資源が集約される圧縮技法が選択され、前記程度がスレッショルドを上回る場合、より多くの資源が集約される圧縮技法が選択される方法。
2. 前記方法は、前記程度に依存して、前記ビデオ情報からのフレームのシーケンスからフレームの少なくとも一部を、近傍のフレームに対する変化情報による第１のプロセスを用いて符号化するか、又は前記シーケンスにおけるいかなる近傍のフレームからも独立した第２のプロセスを用いて符号化するかの選択を行うことを含み、前記程度が前記スレッショルドを下回る場合、前記第１のプロセスが選択され、前記程度が前記スレッショルドを上回る場合、前記第２のプロセスが選択される、請求項１に記載の方法。
3. ビデオ情報を圧縮するように構成される計算装置であって、前記計算装置は、前記計算装置において圧縮のためにどの程度の計算資源が利用可能であると検出されるか該程度の制御下で、圧縮技法を適応化するように構成され、前記程度がスレッショルドを下回る場合、より少ない資源が集約される圧縮技法が選択され、前記程度がスレッショルドを上回る場合、より多くの資源が集約される圧縮技法が選択される計算装置。
4. 前記計算装置は、複数のタスクを並行して実行するように構成され、各々のタスクが、前記計算装置の前記計算資源の一部を使用し、前記タスクが、前記ビデオ情報の前記圧縮及び１つ又は複数の残りのタスクを含み、前記１つ又は複数の残りのタスクによって使用されない前記計算資源の残りの部分のサイズに依存して、前記圧縮技法を選択するように構成される、請求項３に記載の計算装置。
5. 前記計算装置は、前記ビデオ情報からのフレームのシーケンスからフレームの少なくとも一部を、前記シーケンスにおける近傍のフレームに対する変化情報による第１のプロセスを用いて符号化するか、又は前記シーケンスにおけるいかなる近傍のフレームからも独立した第２のプロセスを用いて符号化するかの選択を行うように構成され、前記計算装置は、前記程度を表す信号の制御下で、前記第１のプロセスと前記第２のプロセスとの間の選択を行う手段を有し、前記程度が前記スレッショルドのレベルを下回る場合、前記第１のプロセスが選択され、前記程度が前記スレッショルドのレベルを上回る場合、前記第２のプロセスが選択される、請求項３に記載の計算装置。
6. 計算装置にビデオ情報を圧縮させるように構成されるコンピュータプログラムであって、前記ビデオ情報の圧縮は、前記計算装置において圧縮のためにどの程度の計算資源が利用可能であると検出されるか該程度の制御下で、圧縮技法を適応化するように構成され、前記程度がスレッショルドを下回る場合、より少ない資源が集約される圧縮技法が選択され、前記程度がスレッショルドを上回る場合、より多くの資源が集約される圧縮技法が選択されるコンピュータプログラム。
   
   

Images