JP2005535180A

JP2005535180A - ディジタル画像の符号化

Info

Publication number: JP2005535180A
Application number: JP2004524221A
Authority: JP
Inventors: ゴビンダスワミー、センシル; ファッジ、ブライアン・ティー; アービン、アン・シー; スヤガラジャン、カダヤム・エス
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2002-07-29
Filing date: 2003-07-29
Publication date: 2005-11-17
Anticipated expiration: 2023-07-29
Also published as: HK1079886A1; US7856149B2; KR101233236B1; US20040156550A1; EP1546994A4; JP4800615B2; TWI323613B; KR20110028401A; EP1546994A2; KR101150576B1; WO2004012136A2; CN100504915C; KR20120044390A; AU2003257045A1; KR20050026964A; US8194987B2; CN1672166A; TW200423738A; WO2004012136A3; US20070286278A1

Abstract

圧縮データのビットレートを制限する装置および方法が開示される。装置および方法は、異なるパラメータを使用することによって生成されたデータビットレートに基づいて、ディジタル画像データを符号化するパラメータを生成することができる。１つの実施形態では、異なるパラメータを判断するために統計的解析を行う。パラメータを使用すると、逆圧縮中に復号器がストールするのを防ぐ一方で、品質に影響を与えることなく、符号化器が圧縮できるビットレートになる。したがって、より効率的な符号化および復号を実現することができる。

Description

本発明は、概ね、データ圧縮に関し、とくに、ディジタル画像のデータ圧縮のための符号化パラメータの生成に関する。

圧縮は、マルチメディアの配信または提示、あるいはこの両者の主要な要素である。効果的なディジタル圧縮は、コストを低減し、さらに加えて、ディジタル通信システムにおいて提示される逆圧縮画像情報の品質を向上することができる。ディジタル圧縮技術の１つの応用は、映画産業、とくに“ディジタル映画”システムにある。

一般に、ディジタル映画は、記憶、伝送、および表示のためにディジタル電子表示に変換された高品質フィルムの電子配信および表示を指す。データ量のために、ディジタル電子表示のフィルムは、再生のために圧縮され、配信される。高品質の電子画像の記憶または伝送、あるいはこの両者のために、ビットレートを低減する種々のアルゴリズムがあるが、最も効率的な圧縮であっても、画像フレーム内のディテール量およびディテールの割付けのような要素のために、一部は高ビットレートの圧縮画像部分になる。

しかしながら、高ビットレートでは、フィルムの再生がもとで、場合によっては、復号器をストールまたは停止、あるいはこの両者をすることがある。したがって、高ビットレートの圧縮画像部分が、復号器をストールまたは停止、あるいはこの両者をすることがあり、圧縮データのビットレートを監視して、制御する必要がある。

ここに開示されている実施形態は、データ処理システムにおける安全保護の方法を与えることによって、上述の必要に対処している。実施形態は、ディジタル画像情報を符号化するパラメータの組を生成することができる。フィルムの再生中に、復号器が停止しないように、圧縮データのビットレートが、選択された閾値よりも低くなるように、パラメータを決めることができる。したがって、パラメータに基づいて、圧縮データのビットレートを制御し、制限することができる。

１つの実施形態において、装置は、画像情報をディジタル画像情報へ変換するように構成された源生成器を含む。符号化器は、源生成器に接続されていて、源生成器からディジタル画像情報を受信するように構成され、第１の画像圧縮器に接続されたパラメータ生成器を含む。パラメータ生成器は、少なくとも第１の組のパラメータを出力し、第１の画像圧縮器は、第１の組のパラメータを使用して、ディジタル画像情報を圧縮する。

パラメータ生成器は、プロセッサに接続された第２の画像圧縮器を含む。プロセッサは、第２の組のパラメータを出力し、第２の画像圧縮器は、第２の組のパラメータを使用して、ディジタル情報を圧縮する。プロセッサは、第２の組のパラメータを使用して、選択されたデータビットレートになるときは、第２の組のパラメータを調整して、第２の組のパラメータを第３の組パラメータとして出力し、さもなければ、第２の組のパラメータを第１の組のパラメータとして出力する。その代りに、パラメータ生成器は、第１の組のパラメータを出力するためのプロセッサを含んでもよい。プロセッサは、第１の組のパラメータを使用して、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力する。

別の実施形態において、ディジタル画像情報を符号化する方法は、少なくとも第１の組のパラメータを生成して出力し、第１の組のパラメータを使用して、ディジタル画像情報を圧縮し、第１の組のパラメータを使用して、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力する。ここで、第１の組のパラメータは、統計的解析に基づいて、調整することができる。

別の実施形態において、ディジタル画像情報を符号化する装置は、少なくとも第１の組のパラメータを出力する手段と、第１の組のパラメータを使用して、ディジタル画像情報を圧縮する第１の手段とを含む。ここで、少なくとも第１の組のパラメータを出力する手段は、第２の組のパラメータを使用してディジタル情報を圧縮する第２の手段と、第２の組のパラメータを出力する手段と、第２の組のパラメータを調整して、第３の組のパラメータを生成する手段と、第２の組のパラメータを使用して、選択されたデータビットレートになるときは、第３の組のパラメータを第２の組のパラメータとして出力し、さもなければ、第２の組のパラメータを第１の組のパラメータとして出力する手段とを含む。その代りに、少なくとも第１の組のパラメータを出力する手段は、第１の組のパラメータを使用して、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成する手段と、第２の組のパラメータを第１の組のパラメータとして出力する手段とを含んでもよい。

種々の実施形態は、図面を参照して詳細に記載され、ここで、同じ参照符号が同じ要素を示す。

記載されている実施形態では、通常、データを符号化するための最後のパラメータを生成することができる。１つの実施形態では、パラメータを使用することによって生成されたデータビットレートに基づいて、パラメータを生成または設定する。とくに、パラメータを使用することによって生成されたデータビットレートが、選択された、または目標のデータビットレートを越えないように、最後のパラメータを生成する。選択されたデータビットレートは、実施形態の異なる実行に依存する。例えば、選択された閾値は、限られたバンド幅によって許される最大ビットレートである。いくつかの実行では、緩衝を利用して、ある特定の期間の間は、最大ビットレートを越えるビットレートを許す。したがって、いくつかの実施形態では、ある特定の期間の間は、選択された閾値が平均ビットレートである。

１つの応用では、ディジタル画像情報を符号化するパラメータを生成することができる。したがって、この実施形態をディジタル映画において実行して、ディジタル画像情報を符号化するパラメータを生成してもよい。
ディジタル映画は、シアターシステム、シアター、シアターコンプレックス、および／または上映システムにおける、映画のような、オーディオ／ビジュアルプログラミングの電子生成、圧縮、暗号化、および記憶を含む。したがって、本発明は、シアターまたはシアターコンプレックス、野外アンフィシアター、ドライブインコンプレックス、市民会館、学校、および専門レストランのような種々の場所における、映像および音声情報の提示に応用することができる。説明のために、本発明は、シアターまたはシアターコンプレックスに関連付けて記載する。しかしながら、当業者は、本発明が、他のタイプの場所、システム、および分野に応用できることが容易に分かるであろう。

さらに加えて、ここに開示されているように、“プログラム”という用語は、映画、テレビジョン、および／または他の上映システムおよび／または場所において表示するための１つ以上のフィルムを指す。“フィルム”という用語は、動画、ビデオクリップ、コマーシャル、ドラマ、またはこれらの組み合わせの全てまたは一部を含むが、これらに制限されない。フィルムの画像部分は、単一フレーム（すなわち、静止画像）、単一フレームの静止画像系列、短期間または長期間の動画系列から成る。“記憶媒体”という用語は、緩衝器、ディジタル多用途ディスク（digital versatile disk, DVD）のような大容量データ記憶装置、または取外し可能ハードドライブ（removable hard drive, RHD）を含む１つ以上の記憶手段を指す。“暗号化”という用語は、秘密鍵値を知らなければ、元のデータ系列を復元するのが非常に困難であるように、秘密ディジタル値（“鍵”）を使用して生成された系列を使用して、種々の源のディジタルデータストリームをスクランブル、カバー、または直接に暗号化する多数の暗号化技術の何れかを使用して、前記ディジタルストリームを処理する手段を指す。

ディジタル映画システム100の１つの実施形態は、図１に示されている。ディジタル映画システム100は、２つの主要なシステム、すなわち、少なくとも１つの中央機構またはハブ102と、少なくとも1つの上映またはシアターサブシステム104とを含む。ハブ102およびシアターシステム104は、2000年5月3日に出願された現在審査中の米国特許出願第09/564,174号および第09/563,880号のものに類似した設計によって実行され、両文献は、本発明の譲受け人に譲渡され、ここでは、参考文献として取り上げている。

概して、ハブ102は、源生成器110を含み、プログラム材料を受信して、ディジタル形式のプログラムに変換する。符号化器120は、予め選択されたフォーマットまたはプロセスを使用して、ディジタル情報を圧縮し、ハブ記憶モジュール130は、記憶媒体に記憶する。ここで、プログラム材料は、画像情報および音声情報の一方または両方を含む。したがって、ディジタル情報は、ディジタル画像情報および音声情報の一方または両方を含む。ネットワークマネージャ140は、制御情報を監視して、源生成器110、符号化器120、およびハブ記憶モジュール130へ送る。また、ディジタル情報は、符号化器120によって暗号化される。このような場合に、ハブ102は、オプションで、特定の電子キーイング情報を与えるための、条件付きアクセスマネージャ150を含んでもよく、その結果、特定の場所（例えば、シアター）のみが、特定のプログラムを上映する権利を与えられる。

図１に示されているように、源生成器110および符号化器120は、ハブ102の一部であるが、源生成器110および符号化器120の一方または両方は、フィルムまたはテレビジョン製作スタジオのような、別々の施設に位置できることに注意すべきである。さらに加えて、一部のデータは、源生成器110による変換を必要としない。例えば、ディジタル情報は、ディジタルカメラまたは他のディジタル情報生成器を介して符号化器120へ与えられる。

シアターサブシステム104は、１つ以上のオーディトリアムモジュール170を制御するシアターマネージャ160を含み、各オーディトリアムモジュール170は復号器175を含む。シアターマネージャ160の制御のもとで、ハブ102から圧縮ディジタル情報を受信し、復号器175が復号し、オーディトリアムモジュール170が（必要であれば）暗号解読し、再生する。圧縮情報は、記憶媒体を経由して受信されても、実時間で伝送されてもよい。さらに加えて、圧縮情報は、復号前に、選択された系列、サイズ、およびデータレートへ処理される。

一般に、符号化器120へ入力されるデータストリームは、画像フレームから成る。画像フレームは、一般に、スライスに分割され、スライスは、データブロックに分割され、データブロックは、画像の最小単位であるピクセルに分割される。各画像フレームは、整数のスライスを含み、各画像スライスは、１６本の連続する走査線の組の画像情報を表現する。このような場合に、各データブロックは、フレームの画像における１６×１６のピクセルブロックに対応する。さらに加えて、フレームを偶数および奇数のスライスに分割して、偶数の半フレームおよび奇数の半フレームを形成してもよい。１つの実施形態では、半フレームは、復号器によって処理される圧縮データ情報の基礎パケットである。さらに加えて、画像ピクセルは、一般に、赤、緑、および青（Red, Green, and Blue, RGB）の色成分システムで表わすことができる。しかしながら、人間の眼は、ルミネセンスの変化に、より敏感であり、クロミナンスの変化に、より鈍感であるので、一般に、ＹＣｂＣｒの色空間をビデオ圧縮に使用して、画像ピクセルを表現する。ＹＣｂＣｒの色空間は、ＲＧＢ成分の線形変換であり、ここで、Ｙはクロミナンス成分であり、ＣｂおよびＣｒは色成分である。フレームを偶数／奇数のフレームに分割すると、成分Ｙ、Ｃｂ、およびＣｒに対応する３つの偶数の半フレームおよび３つの奇数の半フレームになる。

上述では、スライスは、１６本の連続走査線以外の１組の連続走査線を表わすことができる。さらに加えて、同じ色成分数または異なる色成分数の異なる色空間を使用して、画像ピクセルを表現してもよい。
図２は、画像圧縮器205、音声圧縮器215、後置プロセッサ230、パラメータ生成器250を含む符号化器200の１つの実施形態を示している。符号化器200がディジタル情報を受信すると、パラメータ生成器250は、少なくとも１つのディジタル画像データ圧縮の最後の符号化パラメータを生成し、出力する。画像圧縮器205は、パラメータ生成器250からの最後の符号化パラメータを使用して、ディジタル画像情報を圧縮する。

画像圧縮装置205は、領域ごとにディジタル画像データを圧縮する。ここでは、領域は、画像フレームの一部、１つの画像フレーム、または複数の画像フレームである。符号化器200は、緩衝器のような記憶媒体（図示されていない）を含み、記憶媒体により、ディジタル画像データを領域ごとに圧縮することができる。さらに加えて、画像圧縮器205は、多数の圧縮技術を使用して、ディジタル画像情報を圧縮する。圧縮技術に依存して、パラメータ生成器250は、１つ以上のタイプの符号化パラメータを生成し、出力する。以下では、これをパラメータの組と呼ぶ。最後の組のパラメータを生成するために、パラメータ生成器250は、第２の画像圧縮器252とプロセッサ254とを含み、プロセッサ254は、圧縮器205および252に接続されている。

ディジタル画像情報は、最初に、第１の組のパラメータを使用して、第２の画像圧縮器252によって圧縮される。画像圧縮器252は、画像圧縮器205の圧縮処理に類似した処理で、ディジタル画像情報を圧縮する。また、第１の組のパラメータは、システムに記憶されたデフォルトのパラメータの組であっても、または符号化処理中にシステムユーザが手操作で選択してもよい。圧縮後に、プロセッサ254は、圧縮データのために生成されるビットレートを解析する。

１つの実施形態では、プロセッサ254は、第１の組のパラメータを使用すると、選択されたデータビットレートの圧縮データの領域内になるかどうかを判断する。例えば、プロセッサ254は、生成されたデータビットレートが、選択された閾値よりも高いかどうかを判断する条件を設定する。システムに依存して、選択された閾値は、ある特定の期間において、限られたバンド幅によって許される最大ビットレートまたは平均ビットレート、あるいはこの両者に設定される。

ある領域において条件が満たされないときは、プロセッサ254は、パラメータの1つ以上を自動的に変更または調整して、第２の組のパラメータを生成する。第２の組のパラメータは、第１の組のパラメータとして出力され、条件を満たしていない領域は、新しい第１の組のパラメータを使用して、画像圧縮器252によって再び圧縮される。データビットレートが設定条件を満たすと、プロセッサ254は、生成されたパラメータの組を、最後のパラメータの組として出力し、画像圧縮器205は、プロセッサ254からの最後のパラメータの組を使用して、ディジタル画像情報を圧縮する。

別の実施形態では、プロセッサ254は、選択されたデータビットレートの圧縮データの領域をシステムユーザに自動的に表示する。例えば、選択された閾値よりも高いデータビットレートの領域が表示される。表示に基づいて、システムユーザは、パラメータの1つ以上を調整し、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力する。このような領域は、新しい第１の組のパラメータを使用して、画像圧縮器252によって再び圧縮される。選択されたデータビットレートの領域がないときは、プロセッサ254は、生成された第１の組のパラメータを、最後の組のパラメータとして、圧縮器205へ出力する。

ディジタル情報の音声部分は、通常、音声圧縮器215へ送られて、圧縮される。また、音声圧縮器215は、任意の数の圧縮技術を使用して、ディジタル音声画像情報を圧縮してもよい。圧縮ディジタル情報は、後置プロセッサ230によって受信されて、処理される。例えば、圧縮された画像および音声の情報は、多数の既知の暗号化技術の１つを使用して暗号化してもよい。圧縮情報を、同期情報と共に多重化して、パケット化してもよい。ここで、同期情報により、画像および音声のストリーム情報を、シアターサブシステム104において時間調整して再生することができる。別の実施形態では、画像および音声情報を多重化するのではなく、個々に処理して、個々にパケット化してもよい。処理された画像および音声情報をハブ記憶媒体130へ送り、記憶媒体上に記憶してもよい。

上述の実施形態において、ディジタルの画像および音声情報を、圧縮前に、フレーム緩衝器（図示されていない）内に記憶してもよい。さらに加えて、画像圧縮器205、音声圧縮器215、後置プロセッサ230、およびパラメータ生成器250の１つ以上を、1つ以上の特定用途向け集積回路（Application-Specific Integrated Circuits, ASIC）または回路カードアセンブリ上で実行してもよい。さらに加えて、画像圧縮器205、音声圧縮器215、後置プロセッサ230、およびパラメータ生成器250の1つ以上を、ソフトウエア、ファームウエア、またはソフトウエア、ファームウエア、およびハードウエアの組合せによって実行してもよい。１つの実施形態では、第１のＡＳＩＣにおいてパラメータ生成器250を実行し、第２のＡＳＩＣにおいて画像圧縮器205を実行する。２つのＡＳＩＣは、フレーム時間がずれていて、一方のＡＳＩＣが、第２のＡＳＩＣがデータを圧縮するのに使用する符号化パラメータを与える。

図３は、画像圧縮器310、音声圧縮器320、後置プロセッサ330、およびパラメータ生成器350を含む符号化器300の別の実施形態を示す。符号化器200と同様に、符号化器300がディジタル情報を受信すると、パラメータ生成器350は、少なくともディジタル画像データの圧縮のための１組のパラメータを出力する。画像圧縮器310は、パラメータ生成器350からパラメータの組を使用して、ディジタル画像情報を圧縮する。

符号化器200のように、符号化器300の画像圧縮器310は、ディジタル画像データを領域ごとに圧縮する。符号化器300は、ディジタル画像データを領域ごとに圧縮できるように、緩衝器のような記憶媒体（図示されていない）を含んでもよい。さらに加えて、圧縮技術に依存して、パラメータ生成器350は、１つ以上のタイプの符号化パラメータを出力する。

しかしながら、符号化器300において、個々の画像圧縮器は、最後のパラメータの組を生成するために実行されない。ディジタル画像データは、パラメータ生成器350によって出力された１組のパラメータを使用して、画像圧縮器310によって、必要であれば、反復的に圧縮される。パラメータ生成器350は、第１の組のパラメータを出力するプロセッサ354を含む。ディジタル画像情報は、第１の組のパラメータを使用して、画像圧縮器310によって出力される。プロセッサ354は、圧縮データのために生成されたビットレートを解析する。解析に基づいて、パラメータ生成器350は、第１の組のパラメータを調整して、第１の組のパラメータを、最後の組のパラメータであると判断する。

符号化器300の1つの実施形態において、プロセッサ354は、第１のパラメータを使用すると、選択されたデータビットレートの圧縮データの領域内になるかどうかを判断する。例えば、プロセッサ354は、ビットレートが選択された閾値よりも高いかどうかを判断する条件を設定する。ここでも、選択された閾値は、ある特定の時間期間において、限られたバンド幅によって許される最大ビットレートか、または平均ビットレートか、あるいはこの両者に設定される。領域において条件が満たされないときは、プロセッサ354は、１つ以上のパラメータを自動的に変更または調整して、第２の組のパラメータを生成する。第２の組のパラメータは、第１の組のパラメータとして出力され、条件を満たしていない領域は、画像圧縮器310によって、第1の組のパラメータを使用して再び圧縮される。データビットレートが設定条件を満たすと、プロセッサ354は、生成された第１の組のパラメータを、最後の組のパラメータとして出力し、ディジタル画像情報は、最後の組のパラメータを使用して、画像圧縮器310によって圧縮される。その代りに、データビットレートが設定状態を満たすと、プロセッサ354は、生成された第１の組のパラメータを、最後の組のパラメータであると判断し、領域の圧縮を止める。

符号化器300の別の実施形態では、プロセッサ354は、選択されたデータビットレートの圧縮データ領域を、システムユーザに自動的に表示する。例えば、選択された閾値よりも大きいデータビットレートの領域が表示される。表示に基づいて、システムユーザは、パラメータの１つ以上を調整して、第２の組のパラメータを生成し、第１の組のパラメータとして出力する。このような領域は、画像圧縮器310によって、新しい第１の組のパラメータを使用して、再び圧縮される。選択されたデータビットレートの領域がないときは、プロセッサ354は、生成された第１の組のパラメータを、最後のパラメータの組として圧縮器310へ出力して、圧縮するか、または単に圧縮を終了する。

符号化器200のように、ディジタル情報の音声部分を、音声圧縮器320へ送って、圧縮し、後置プロセッサ330は、圧縮情報を処理する。
上述の実施形態では、符号化器200のように、第１の組のパラメータは、デフォルトのパラメータの組であっても、または手操作で選択してもよい。また、ディジタルの画像および音声情報を、圧縮前に、フレーム緩衝器（図示されていない）内に記憶してもよい。さらに加えて、符号化器200と同様に、画像圧縮器310、音声圧縮器320、後置プロセッサ330、およびパラメータ生成器350の１つ以上を、１つ以上のＡＳＩＣまたは回路カードアセンブリ、あるいはこの両者上で実行してもよい。画像圧縮器310、音声圧縮器320、後置プロセッサ330、およびパラメータ生成器350の１つ以上を、ソフトウエア、ファームウエア、あるいはソフトウエア、ファームウエア、またはハードウエアの組合せによって実行してもよい。

図４は、画像データ圧縮のための１組のパラメータを生成する方法の１つの実施形態を示す。画像データは、受信されると、第１の組のパラメータを使用して圧縮される（ブロック410）。既に記載したように、画像データは、領域ごとに圧縮することができる。その後で、圧縮により生成されたデータビットレートは、選択された閾値Ｔと比較される（ブロック420）。ここで、データビットレートは、システムによって自動的に解析し、比較してもよく、またはシステムユーザによって手操作で解析し、比較してもよい。さらに加えて、閾値Ｔは、復号器175が復号中に停止するビットレートに基づいて判断される。システムに依存して、選択された閾値Ｔは、限られたバンド幅によって許される最大ビットレート、または平均ビットレート、あるいはこの両者に設定される。

領域のデータビットレートが閾値よりも高いときは、第１の組のパラメータは、その領域のために第２の組のパラメータを生成するように調整される（ブロック430）。第２の組のパラメータは、第１の組のパラメータとして出力され（ブロック440）、この領域に対応するディジタル画像データは、新しい第１の組のパラメータを使用して再び圧縮される（ブロック410）。結果のデータビットレートは、選択された閾値と再び比較される（ブロック420）。パラメータの組が、閾値以下の画像のデータビットレートになると、パラメータの組は、画像情報を圧縮するための最後のパラメータとして判断される（ブロック450）。

パラメータを調整するときは、１つ以上のパラメータを調整してもよい。また、１組のパラメータの中のパラメータのタイプは、圧縮技術に依存する。図５は、画像圧縮器500の１つの実施形態を示している。
画像圧縮器500は、変換モジュール510、量子化モジュール520、および可変長符号化（variable length coding, VLC）モジュール530を含む。変換モジュール510は、ディジタル画像情報を空間領域から周波数領域へ変換し、変換係数を生成する。量子化モジュール520は、量子化ステップ（qualitization step, Qステップ）を使用して、変換係数を量子化し、ＶＬＣ530は、可変長符号化技術を使用して、量子化された変換係数を圧縮する。

１つの実施形態では、変換モジュール510は、離散コサイン変換（discrete cosine transform, DCT）モジュールであってもよく、ＤＣＴモジュールは、時間サンプル信号を、同じ信号の周波数表示へ変換する。例えば、画像圧縮器500は、米国特許第5,021,891号、第5,107,345号、および第5,452,104号に記載されている適応サイズＤＣＴ(adaptive size DCT, ABDCT)技術を使用して、ディジタル画像信号を処理する。

ルミナンス成分およびクロミナンス成分の各々は、ブロックインターリーバ（図示されていない）へ送られる。１６×１６のブロックは、ブロックインターリーバへ与えられ、ブロックインターリーバは、１６×１６のブロック内の画像サンプルを順序付けて、ＤＣＴ解析のためにデータのブロックおよび複合サブブロックを生成する。１つの実施形態では、１個の１６×１６のＤＣＴを、１番目に適用し、４個の８×８のＤＣＴを、２番目に適用し、１６個の４×４のＤＣＴを、３番目に適用し、６４個の２×２のＤＣＴを、４番目に適用する。ＤＣＴの動作は、画像の源に固有の空間の冗長を低減する。ＤＣＴを行った後では、画像信号エネルギーのほとんどが、いくつかのＤＣＴ係数に集中する傾向がある。

１６×１６のブロックおよび各サブブロックにおいて、変換された係数を解析して、ブロックまたはサブブロックを符号化するための必要ビット数を判断する。その後で、符号化する必要のあるビット数が最少であるブロックまたはサブブロックの組合せを選択して、画像セグメントを表現する。例えば、２個の８×８のサブブロック、６個の４×４のサブブロック、および８個の２×２のサブブロックを選択して、画像セグメントを表現する。選択されたブロックまたはサブブロックの組合せは、適切に順番に割り当てられる。ＤＣＴ係数値を別の処理にかけてもよく、別の処理には、図５に示されているような、量子化および可変長符号化があるが、これらに制限されない。

さらに加えて、１つの実施形態において、人間の眼のために最適化された周波数重みマスク（frequency weight mask, FWM）のような重み関数を使用して、ＤＣＴ係数を量子化することができる。ＡＢＳＤＣＴと組合せて使用すると、各ブロックのサイズ（１６×１６、８×８、４×４、および２×２）ごとに、ＦＷＭテーブルは異なる。また、各成分Ｙ、Ｃｂ、およびＣｒに１つずつ、少なくとも３つの異なる組のＦＷＭテーブルがある。

また、１つの実施形態において、ＶＬＣ430は、ゼロのランレングスとともに、ゼロ以外のＡＣ係数値をハフマン符号化するためのハフマンエンジンを含んでもよい。すなわち、ハフマン符号は、ゼロ以外のＡＣ係数の前のゼロの数、およびそのゼロ以外のＡＣ係数のサイズ（表示に必要な最少ビット数）を表現する。したがって、ＤＣＴ係数は、ゼロのランレングスの異なる対および次のゼロ以外のＡＣ係数の対応するサイズを生成するためにランレングス符号化される。ここで、ジグザグ走査または他の走査パターンを使用して、一連のゼロを増すことができる。次に、表を使用して、符号が現れる確率に基づいて、異なるランレングス符号化された対に符号を割り当てる。短いコードを、現れる頻度がより多い対に割り当て、より長いコードを、現れる頻度がより少ない対に割り当てる。ハフマン符号を、ＡＣ係数の実効値に追加して、伝送する。

符号化および復号化のために、ハフマン符号表を符号化器120および復号器175の両者にそれぞれ記憶してもよい。さらに加えて、１つ以上のハフマン符号表を使用してもよい。例えば、ＹＣｂＣｒの色空間を使用するとき、少なくとも３つの異なるハフマン符号表を、各色成分Ｙ、Ｃｂ、およびＣｒに１つずつ使用することができる。

既に記載したように、ディジタル画像データは、多くの異なる技術の１つ以上の組合せを使用して圧縮することができる。その技術は、ＡＢＳＤＣＴ、量子化、ＦＷＭの量子化、ハフマン符号化を含むが、これらに制限されない。パラメータの組は、圧縮技術に依存し、ビットレートに影響を与えるように調整することができる。例えば、Ｑステップを増やすことによって、データビットレートは低減する。ここでは、Ｑステップを調整する増分を一定にするか、または手操作でサイズを変更することができる。さらに加えて、画像フレームの部分ごとに、不均一のＱステップの組を生成してもよい。

ＡＢＳＤＣＴが実行されるとき、パラメータの組は、画像フレームを異なるブロックまたはサブブロック、あるいはこの両者へどのように分割するかを制御する閾値（以下では、ＡＢＳＤＣＴ閾値と呼ぶ）を含む。例えば、ＡＢＳＣＴ閾値を２×２のサブブロック、４×４のサブブロック、および／または８×８のサブブロックの数に制限してもよい。このような場合に、ＡＢＳＤＣＴの閾値を高くすると、画像品質を向上するが、ビットレートも高くなる。ＡＢＳＤＣＴの閾値を下げると、画像品質に影響を与えるが、ビットレートを下げる。

ＦＷＭ表を量子化に使用すると、パラメータの組はＦＷＭ表を含む。さらに加えて、ハフマン符号化を使用すると、パラメータの組はハフマン符号表を含む。異なるＦＷＭ表または異なるハフマン符号表、あるいはこの両者を使用すると、ビットレートに影響を与え、これを下げることができる。

したがって、いくつかの実施形態において、パラメータの組は、Ｑステップ、ＡＢＳＤＣＴ閾値、ＦＷＭ表、およびハフマン符号表の１つ以上の組合せを含む。したがって、１組のパラメータから生成されたデータビットレートが、選択された閾値よりも高いときは、上述のパラメータの１つ以上を調整することができる。例えば、Ｑステップを増やすこと、ＡＢＳＣＴ閾値を高めること、異なるＦＷＭ表を適用すること、または異なるハフマン符号表を使用すること、またはこの両者ができる。

少なくとも２つのパラメータを含むパラメータの組を調整するとき、一度に１つのパラメータを調整して、パラメータの組を見付けてもよい。その代りに、一度に２つ以上のパラメータを調整して、パラメータの組を見付けてもよい。また、パラメータの調整において、統計的解析を使用してもよい。このような場合に、パラメータ生成器250および350において統計生成器（図示されていない）を実行して、統計的解析を生成してもよい。その代りに、プロセッサ254または354によって統計的解析を生成してもよい。統計的解析に基づいて、システムまたはシステムユーザは、１つ以上のパラメータを調整して、ビットレートを低減することができる。

統計的解析の１つの実施形態は、画像のピクセル当りのビットを解析することを含んでもよい。選択されたビットレートの閾値をＴと仮定すると、図６は、１画像フレームにおけるピクセル当りのビットの解析を示す。図示されているように、ピクセルｎないしｍは、ビットレート閾値Ｔよりも高い。したがって、１つ以上のパラメータを調整し、画像フレームを再圧縮する。さらに加えて、図７は、領域ごとに圧縮された画像のビットレート解析を示している。ここで、１つの領域は、１つ以上の１６×１６のブロック、１つ以上のスライス、１つ以上の半フレーム、または１つ以上の画像フレームである。図示されているように、領域２および３は閾値を越えている。したがって、領域２および３における１つ以上のパラメータを調整し、再圧縮し、ビットレートを下げることができる。

符号化パラメータの有効度を判断するために、別の解析を行ってもよい。ＡＢＳＤＣＴにおいて、例えば、画像フレームが、１６×１６のデータブロックと、８×８、４×４、および２×２のサイズのサブブロックとをもつと仮定する。画像フレームの統計では、１６×１６のブロックが２５％、８×８のブロックが５％、４×４のブロックが２０％、および２×２のブロックが５０％である。ここでは、２×２のブロックを５０％未満にして、画像フレームを分割するのが望ましい。このような場合に、２×２のサブブロックの数をＡＢＳＤＣＴの閾値によって制限し、ビットレートを下げることができる。また、ハフマン符号化中のハフマン符号表に使用されている符号の割合は、ハフマン符号表の有効度も示すことができる。例えば、符号の５％のみが使用されるときは、異なるハフマン符号表を使用すると、ビットレートは下がる。

したがって、実施形態では、選択されたビットレートになるように、ディジタル画像情報の圧縮を監視し、制御することができる。とくに、何れの画像部分も、復号中に復号器を潜在的に停止する高ビットレートにならないように、圧縮データのビットレートを制限することができる。

圧縮情報は、ハブ102からシアターサブシステム104へ送られる。圧縮情報を、ハブ記憶モジュール130に記憶し、物理的に移送してもよい。また、圧縮情報またはその一部を、ワイヤレス、またはワイヤード、あるいはこの両者の伝送方法を使用して、シアターサブシステム104へ伝送してもよい。圧縮情報のワイヤレス、またはワイヤード、あるいはこの両者の伝送により、実時間の伝送およびフィルムの再生ができる。

プログラムを見て、プログラム情報を検索して、シアターマネージャ160を経由してオーディトリアムモジュール170へ移送してもよい。各オーディトリアムモジュール170は、同じシアターサブシステム104内の他のオーディトリアムモジュール170から異なるプログラムを処理して表示するか、または１つ以上のオーディトリアムモジュール170が、同じプログラムを同時に処理して表示してもよい。

オーディトリアム170において、圧縮情報を解読し、必要であれば、符号化器120において使用されている圧縮アルゴリズムの逆の逆圧縮アルゴリズムを使用して、逆圧縮する。例えば、画像圧縮がＡＢＳＤＣＴアルゴリズムに基づくとき、逆圧縮処理は、可変長復号、ＩＤＣＴ、およびＤＣＴブロック合成器のデインターリービングを含んでもよい。その後で、逆圧縮画像情報は、表示するための標準ビデオフォーマット（アナログフォーマットでも、ディジタルフォーマットでもよい）へ変換され、画像が表示される。音声情報も逆圧縮され、画像プログラムと共に再生される。

上述の実施形態では、符号化器によって圧縮されたデータのビットレートを監視し、制御し、制限することができる。その結果、高データレートのために復号器がストールする確率を、相当に下げることができる。また、統計的解析に基づいてデータビットレートを制御することによって、画像品質への影響を最小化する。したがって、ディジタルデータのより効率的な復号および再生が可能になる。

上述の実施形態は、単に例示的であって、本発明を制限しないと解釈されることに注意すべきである。本発明の記述は、例示的であって、特許請求項の技術的範囲に制限されないことを意図されている。したがって、提示された教示は、他のタイプの装置に直ちに適用することができ、当業者には、多くの代案、変更、および変形が明らかである。

ディジタル映画システムの１つの実施形態を示す図。符号化器の１つの実施形態を示す図。符号化器の別の実施形態を示す図。１組の符号化パラメータを生成する１つの実施形態のブロック図。画像圧縮器の１つの実施形態を示す図。画像フレームの統計的解析を示す図。領域ごとの圧縮画像データの統計的解析を示す図。

符号の説明

100・・・ディジタル映画システム、200,300・・・符号化器、250・・・パラメータ生成器。

Claims

画像情報をディジタル画像情報へ変換するように構成された源生成器、および、
源生成器に接続されていて、源生成器からディジタル画像情報を受信するように構成された符号化器であって、
少なくとも第１の組のパラメータを出力するパラメータ生成器と、
パラメータ生成器に接続されていて、第１の組のパラメータを使用して、ディジタル画像情報を圧縮する第１の画像圧縮器とを含む符号化器を含む装置。
パラメータ生成器が、
第２の組のパラメータを使用して、ディジタル情報を圧縮する第２の画像圧縮器と、
第１および第２の画像圧縮器に接続されていて、第２の組のパラメータを出力するプロセッサであって、第２の組のパラメータを使用して、選択されたデータビットレートになるときは、第２の組のパラメータを調整して、第３の組のパラメータを第２の組のパラメータとして出力し、さもなければ、第２の組のパラメータを第１の組のパラメータとして出力するプロセッサとを含む請求項１記載の装置。
パラメータ生成器が、
プロセッサに接続されていて、統計的解析を生成するように構成された統計生成器をさらに含み、
プロセッサが、統計的解析に基づいて、第２の組のパラメータを調整する請求項２記載の装置。
パラメータ生成器が、
第１の組のパラメータを出力するプロセッサであって、第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力するプロセッサを含む請求項１記載の装置。
パラメータ生成器が、
プロセッサに接続されていて、統計的解析を生成するように構成された統計生成器をさらに含み、
プロセッサが、統計的解析に基づいて、第１の組のパラメータを調整する請求項４記載の装置。
統計的解析が、画像のピクセル当りのビットを解析することを含むか、または第１組のパラメータの有効度を判断する請求項５記載の装置。
第１の組のパラメータが、Ｑステップを含み、第１の画像圧縮器が、
空間領域から周波数領域へディジタル画像情報を変換し、変換係数を生成する変換モジュールと、
Ｑステップを使用して、変換係数を量子化する量子化モジュールと、
量子化された変換係数を圧縮する可変長符号化モジュールとを含む請求項
１ないし６の何れか１項記載の装置。
第１の組のパラメータが、周波数重みマスク（frequency weight mask, FWM）表と、ＦＷＭ表およびＱステップを使用して、変換係数を量子化する量子化モジュールとを含む請求項７記載の装置。
第１の組のパラメータが、ハフマン符号表をさらに含み、可変長符号化モジュールが、ハフマン符号表を使用して、量子化された変換係数を圧縮するハフマンエンジンを含む請求項７、または請求項７に従属する請求項８記載の装置。
第１の組のパラメータが、適応ブロックサイズ離散変換（adaptive block size discrete transform, ABSDCT）閾値をさらに含み、変換モジュールが、ＡＢＳＤＣＴモジュールを含み、ＡＢＳＤＣＴを使用して、ＡＢＳＤＣＴ閾値にしたがって、空間領域から周波数領域へディジタル画像情報を変換する請求項７、あるいは請求項７に従属する請求項８または９の何れか１項記載の装置。
ディジタル画像情報が、フィルムの少なくとも一部である請求項１ないし１０の何れか１項記載の装置。
ディジタル画像情報を符号化する方法であって、
少なくとも第１の組のパラメータを生成して、出力することと、
第１の組のパラメータを使用して、ディジタル画像情報を圧縮することと、
第１の組のパラメータを使用して、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力することとを含む方法。
ディジタル画像情報を圧縮することが、
ディジタル画像情報を空間領域から周波数領域へ変換して、変換係数を生成することと、
第１のＱステップを使用して、変換係数を量子化することと、
量子化された変換係数を可変長符号化することとを含む請求項１２記載の方法。
第１の組のパラメータが、第１のＱステップを含み、第１の組のパラメータを調整することが、
第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１のＱステップを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力することを含む請求項１３記載の方法。
変換係数を量子化することが、第１のＱステップおよび第１の周波数重みマスク（ＦＷＭ）表を使用して、変換係数を量子化することを含む請求項１３、または請求項１３に従属する請求項１４記載の方法。
第１の組のパラメータが、第１のＱステップおよびＦＷＭ表を含み、第１の組のパラメータを調整することが、
第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１のＱステップおよび第１のＦＷＭ表の一方または両方を調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力することを含む請求項１５記載の方法。
ディジタル画像情報を変換することが、ＡＢＳＤＣＴを使用して、第１のＡＢＳＤＣＴ閾値に基づいて、ディジタル画像情報を変換することを含む請求項１３、または請求項１３に従属する請求項１４ないし１６の何れか１項記載の方法。
第１の組のパラメータが、第１のＱステップおよび第１のＡＢＳＤＣＴ閾値を含み、第１の組のパラメータを調整することが、
第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１のＱステップおよび第１のＡＢＳＤＣＴ閾値の一方または両方を調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力することを含む請求項１７記載の方法。
可変長符号化が、第１のハフマン符号表を使用して、量子化された変換係数をハフマン符号化することを含む請求項１８記載の方法。
第１の組のパラメータが、第１のＱステップおよび第１のハフマン符号表を含み、第１の組のパラメータを調整することが、
第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１のＱステップおよび第１のハフマン符号表の一方または両方を調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力することを含む請求項１９記載の方法。
第１の組のパラメータを調整することが、統計的解析に基づいて第１の組のパラメータを調整して、第２の組のパラメータを生成することを含む請求項１２、または請求項１２に従属する請求項１３ないし２０の何れか１項記載の方法。
第１の組のパラメータを調整することが、第１の組のパラメータを使用すると、選択されたデータビットレートになるかどうかを判断するために、ピクセル当りのビットの解析に基づいて、第１の組のパラメータを調整することを含む請求項２１記載の方法。
選択されたビットレートが、ある特定の時間期間において、限られたバンド幅に許された最大ビットレートか、または平均ビットレートの何れか一方に依存する請求項１２、または請求項１２に従属する請求項１３ないし２２の何れか１項記載の方法。
ディジタル画像情報を符号化する装置であって、
少なくとも第１の組のパラメータを出力する手段と、
第１の組のパラメータを使用して、ディジタル画像情報を圧縮するための第１の手段とを含む装置。
少なくとも第１の組のパラメータを出力する手段が、
第２の組のパラメータを使用してディジタル情報を圧縮する第２の手段と、
第２の組のパラメータを出力する手段と、
第２の組のパラメータを調整して、第３の組のパラメータを生成する手段と、
第２の組のパラメータを使用すると、選択されたデータビットレートになるときは、第３の組のパラメータを第２の組のパラメータとして出力し、さもなければ、第２の組のパラメータを第１の組のパラメータとして出力する手段とを含む請求項２４記載の装置。
少なくとも第１の組のパラメータを出力する手段が、
第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成する手段と、
第２の組のパラメータを、第１の組のパラメータとして出力する手段とを含む請求項２４記載の装置。
ディジタル画像情報を符号化する装置であって、
少なくとも第１の組のパラメータを出力するパラメータ生成器と、
パラメータ生成器に接続されていて、第１の組のパラメータを使用して、ディジタル画像情報を圧縮する第１の画像圧縮器とを含む装置。
パラメータ生成器が、
第２の組のパラメータを使用して、ディジタル情報を圧縮するための第２の画像圧縮器と、
第１および第２の画像圧縮器に接続されていて、第２の組のパラメータを出力するプロセッサであって、第２の組のパラメータを使用して、選択されたデータビットレートになるときは、第２の組のパラメータを調整して、第３の組のパラメータを第２の組のパラメータとして出力し、さもなければ、第２の組のパラメータを第１の組のパラメータとして出力するプロセッサとを含む請求項２７記載の装置。
パラメータ生成器が、
第１の組のパラメータを出力するプロセッサであって、第１の組のパラメータを使用すると、選択されたデータビットレートになるときは、第１の組のパラメータを調整して、第２の組のパラメータを生成し、第２の組のパラメータを第１の組のパラメータとして出力するプロセッサを含む請求項２７記載の装置。