JP2010521083A - クロマ・サンプル位置決め情報のシグナリングおよび使用 - Google Patents

クロマ・サンプル位置決め情報のシグナリングおよび使用 Download PDF

Info

Publication number
JP2010521083A
JP2010521083A JP2009550996A JP2009550996A JP2010521083A JP 2010521083 A JP2010521083 A JP 2010521083A JP 2009550996 A JP2009550996 A JP 2009550996A JP 2009550996 A JP2009550996 A JP 2009550996A JP 2010521083 A JP2010521083 A JP 2010521083A
Authority
JP
Japan
Prior art keywords
information
chroma
phase
dimension
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009550996A
Other languages
English (en)
Other versions
JP5149310B2 (ja
Inventor
サリバン,ゲーリー・ジェイ
スリニバサン,スリダー
ツ,チェンジー
レグナサン,シャンカー
Original Assignee
マイクロソフト コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US89103007P priority Critical
Priority to US60/891,030 priority
Priority to US11/772,070 priority
Priority to US11/772,070 priority patent/US8054886B2/en
Application filed by マイクロソフト コーポレーション filed Critical マイクロソフト コーポレーション
Priority to PCT/US2008/054481 priority patent/WO2008103774A2/en
Publication of JP2010521083A publication Critical patent/JP2010521083A/ja
Application granted granted Critical
Publication of JP5149310B2 publication Critical patent/JP5149310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

クロマ位置のシグナリングおよび解釈のためのルールについて記載する。1つのルールは、ショート・ルールと呼ばれ、15の離散クロマ中心位置、および対応する4ビット・シンタックス・エレメントを定める。別のルールは、拡張ルールと呼ばれ、81の離散クロマ中心位置、および対応する7ビット・シンタックス・エレメントを定める。記載する方法は、ディジタル・メディア・エンコーダーにおいてディジタル・メディア・データを受信するステップと、受信したディジタル・メディア・データについてクロマ位置情報を決定するステップと、エンコード・ビットストリームにおける1つ以上のシンタックス・エレメントでクロマ位置情報を表すステップとを含む。1つ以上のシンタックス・エレメントは、クロマ位置情報をディジタル・メディア・デコーダーに伝達するように動作可能である。クロマ位置情報は、画像の回転または反転を容易にする。
【選択図】図1

Description

要約すると、詳細な説明は、ディジタル・メディア・データをエンコードおよびデコードする形態、特にディジタル・メディア・エンコーダーおよびデコーダーにおいてディジタル・メディア・データをエンコードおよびデコードする形態を対象とする。

例えば、クロマ位置のシグナリング(signaling)および解釈に関するルールについて記載する。1つのルールは、ショート・ルール(short rule)と呼ばれ、15の離散クロマ中心位置、および対応する4ビット・シンタックス・エレメントを定める。別のルールは、拡張ルール(extended rule)と呼ばれ、81の離散クロマ中心位置、および対応する7ビット・シンタックス・エレメントを定める。これらのルールおよびその他の形態についての変形についても記載する。

一形態では、方法は、ディジタル・メディア・エンコーダーにおいてディジタル・メディア・データを受信するステップと、受信したディジタル・メディア・データについてクロマ位置情報を決定するステップと、エンコード・ビットマップにおける1つ以上のシンタックス・エレメントでクロマ位置情報を表すステップであって、シンタックス・エレメントが、クロマ位置情報をディジタル・メディア・デコーダーに伝達するように動作可能であり、クロマ位置情報が画像の回転または反転を容易にする、ステップと、エンコード・ビットストリームを出力するステップと、を備えている。別の形態では、クロマ一情報をデコードする。

この摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で導入するために設けられている。この摘要は、特許請求する主題の鍵となる特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を限定するために用いられることを意図するのでもない。

前述のおよびその他の目的、特徴、および利点は、添付図面を参照しながら進められる、以下の詳細な説明から一層明白となろう。

図1は、1つ以上の記載する実現例におけるクロマ位置情報のシグナリングおよび使用のための技法およびツールを実現するのに適した計算環境のブロック図である。 図2は、クロマ・サンプル位置ルールの第1の例を示す図である。 図3は、クロマ・サンプル位置ルールの第2の例を示す図である。 図4は、インターレース・データのクロマ・ダウンサンプリングを示す図である。 図5は、ブロック変換型コデックのブロック図である。 図6は、代表的なエンコーダーの流れ図である。 図7は、代表的なデコーダーの流れ図である。

本願は、ディジタル・メディア・データの効率的な圧縮および伸張のための技法およびツールに冠する。記載する種々の実施形態では、静止画像エンコーダーおよび/またはデコーダーが、画像データを圧縮および/または伸張する技法を組み込む。

本明細書に記載する実現例に対する様々な代替物も可能である。例えば、フローチャート図を参照して説明する技法は、フローチャートに示す段階の順序を変えること、ある段階を繰り返すまたは省略すること等によって、変更することができる。別の一例として、具体的なディジタル・メディア・フォーマットを参照していくつかの実施形態について説明するが、他のフォーマットも用いることができる。

種々の技法およびツールは、組み合わせてまたは独立して用いることができる。異なる実施形態は、記載する技法およびツールの1つ以上を実現する。本明細書に記載する技法およびツールの中には、静止画像エンコーダーまたはデコーダーに用いたり、静止画像のエンコードまたはデコード処理に特定的に制限されない他の何らかのシステムにおいても使用できるものもある。
1.計算環境
図1は、様々な記載する実施形態を実現することができる、適した計算環境100の例を一般化して示す。本技法およびツールは多種多様の汎用計算環境または特殊目的計算環境において実現することができるので、計算環境100は、使用範囲や機能に関して何の限定をも示唆することを意図するのではない。

図1を参照すると、計算環境100は、少なくとも1つの処理ユニット110とメモリー120とを含む。図1において、この最も基本的な構成130は破線内に含まれている。処理ユニット110は、コンピューター実行可能命令を実行し、実在のプロセッサーまたは仮想プロセッサーでもよい。マルチ処理システムでは、複数の処理ユニットがコンピューター実行可能命令を実行して、処理パワーを高める。メモリー120は、揮発性メモリー(例えば、レジスタ、キャッシュ、RAM)、不揮発性メモリー(例えば、ROM、EEPROM、フラッシュ・メモリー等)、またはこれら2つの何らかの組み合わせとすることができる。メモリー120は、ディジタル・メディア・エンコーダーまたはデコーダーを、記載する技術およびツールの1つ以上によって実現するソフトウェア180を格納する。

計算環境は、追加の機構を有することもできる。例えば、計算環境100は、ストレージ140、1つ以上の入力デバイス150、1つ以上の出力デバイス160、および1つ以上の通信接続170を含む。バス、コントローラ、またはネットワークのような相互接続メカニズム(図示せず)が、計算環境100のコンポーネントを相互接続する。通例、オペレーティング・システム・ソフトウェア(図示せず)が、計算環境100において実行するその他のソフトウェアに動作環境を提供し、計算環境100のコンポーネントの活動を調整する。

ストレージ140は、リムーバブルまたは非リムーバブルでもよく、磁気ディスク、磁気テープまたはカセット、CD−ROM、DVD(高品位DVDを含む)、あるいは情報を格納することができ計算環境100内においてアクセスすることができるその他の任意の媒体を含む。ストレージ140は、ディジタル・メディア・エンコーダーまたはデコーダーを実現するソフトウェア180の命令を格納する。

入力デバイス(群)150は、キーボード、マウス、ペン、またはトラックボールのような接触入力デバイス、音声入力デバイス、走査デバイス、静止画像取り込みデバイス(例えば、ディジタル・カメラ)、または計算環境100に入力を提供するその他のデバイスとすることができる。オーディオまたはビデオ・エンコード処理では、入力デバイス150は、サウンド・カード、ビデオ・カード、TVチューナ・カード、あるいアナログまたはディジタル形態のオーディオ入力またはビデオ入力を受け入れる同様のデバイス、あるいはオーディオまたはビデオサンプルを計算環境100に読み込むCD−ROMまたはCD−RWとすることができる。出力デバイス(群)160は、ディスプレイ、プリンター、スピーカー、CD−またはDVD−ライター、あるいは計算環境100からの出力を提供するその他のデバイスとすることができる。

通信接続170は、通信媒体を通じた別の計算実体への通信を可能にする。通信媒体は、コンピューター実行可能命令、ディジタル・メディア入力または出力、あるいは変調データ信号におけるその他のデータを伝達する。変調データ信号とは、当該信号内に情報をエンコードするようにその特性の1つ以上を設定したまたは変化させた信号のことである。限定ではない一例として、通信媒体は、電気、光学、RF、赤外線、音響、またはその他のキャリアによって実現される有線またはワイヤレス技法を含む。

前述の技法およびツールは、コンピューター読み取り可能媒体という一般的なコンテキストで記述することができる。コンピューター読み取り可能媒体は、計算環境内においてアクセスすることができる任意の入手可能な媒体である。限定ではない一例として、計算環境100では、コンピューター読み取り可能媒体は、メモリー120、ストレージ140、通信媒体、および以上の任意の組み合わせを含む。

本技法およびツールは、ターゲットの実体または仮想プロセッサー上の計算環境において実行するプログラム・モジュールに含まれるような、コンピューター実行可能命令という一般的なコンテキストで記述することができる。一般に、プログラム・モジュールは、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等を含み、特定のタスクを実行するかまたは特定の抽象的データ・タイプを実装する。プログラム・モジュールの機能は、種々の実施形態において所望通りに、プログラム・モジュール間で組み合わせたりまたは分割することもできる。プログラム・モジュールのコンピューター実行可能命令は、ローカル計算環境または分散計算環境において実行することもできる。

紹介の目的のために、詳細な説明では、計算環境におけるコンピューター動作を記述するために「選択する」および「受信する」というような用語を用いる。これらの用語は、コンピューターによって実行する動作の上位抽象化であり、人が実行する行為と混同してはならない。これらの用語に対応する実際のコンピューター動作は、実現例に応じて様々な形を取る。
II.クロマ・サンプル位置情報のシグナリングおよび使用
記載する実施形態は、高度静止画像コデック・ビットストリーム機構を提供し、完全デコードや再エンコードせずに、画像上において基軸回転(cardinal rotation)および鏡面反転(mirror flip)を実行する能力を含む。この特徴は、複数の設計技術によってサポートすることができ、その設計技術は次を含む。
1.重複双直交変換(LBT)−
a.LBTの基本的機能の対称性により、奇数対称変換係数の符号を単に負にするだけで、変換ブロック内における空間データの鏡面反転が可能になる。これは、空間方位XおよびY双方にあてはまる。

b.LBTの基本機能の等方性により、単に変換係数を転置することにより、変換ブロック内にある空間データを転置することができる。基軸回転は、転置および鏡面反転の組み合わせとして実現することができる。
2.ブロック、マクロブロック、およびタイル空間階層
a.データのマクロブロック内において鏡面反転を実現するためには、横方向反転シーケンスで(要件に応じてXおよび/またはY方向)修正変換ブロックを走査する。同様に、タイル内では、横方向逆順序で修正マクロブロックを走査し、画像内では、横方向逆順序で修正タイルを走査する。

b.転置を実現するためには、修正ブロック、マクロブロック、およびタイルを転置する。基軸回転は、転置および鏡面反転の組み合わせとして実施することができる。
3.拡張クロップ・エリア(extended crop area)内における記入エリアのシグナリング−これは、非マクロブロック整合画像を自由に鏡面反転または回転させることができ、更にマクロブロック格子からの画像の非ゼロ・オフセットを、単に右および下だけでなく、任意の方向に可能にする。
4.クロマ・サンプルの位置のシグナリング−これは、クロマ・サンプルの位置の独立した指定を許可することによって、YUV:4:2:0およびYUV4:2:2のようなクロマ・サブサンプル・カラー・フォーマットを回転させることができる。また、これは、ルーマ/クロマ・サンプル位置の相対的整合をデコーダーに伝達することができるので、しかるべきフェーズを有するアップサンプリング・フィルタを選択することが可能になる。

クロマ・サンプルの位置のシグナリングについては、以下で詳細に網羅する(cover)。記載するシグナリング技法によって、情報を失うことなく、更に圧縮サイズに著しい変化を生ずることなく、圧縮ドメインにおいて画像を回転させることが可能になる。これは、望ましいビット・ストリーム機構であり、複雑さの恩恵を有する。
A.クロマ・センタリング
画像は、複数のデータ平面で構成されている。主要空間では、画像は、通例、赤、緑、および青(R、G、およびB)チャネルにそれぞれ対応する3つのカラー平面で構成されている。殆どの一般的なコデックに用いられる内部カラー空間では、画像は、多くの場合Y、U、およびVと呼ばれる3つの変換カラー平面で構成されている。Y成分は、ルミナンスまたはルーマ平面と呼ばれ、大まかに画像の中間調レンダリングに対応する。UおよびV成分は、クロマ、クロミナンス、または色差平面と呼ばれている。本明細書では、名称Y、U、Vを包括的な意味で用いており、記載する技法およびツールは、YCbCr、YCoCg等のような種々の「YUV型」カラー・フォーマットに適用可能であることは言うまでもない。YUV4:4:4と呼ばれるカラー・フォーマットは、Yサンプル毎に1つのUサンプルおよび1つのVサンプルを有する。

人の目は、ルミナンス・チャネルの強度変動および分解能には非常に敏感である。相対的に、クロマに対する感度は低い。このため、クロマ(UおよびV)成分をサブサンプリングするまたはその分解能を落とすことによって、データにおけるピクセル数を削減する単純な手段が可能となる。

2つのクロマ・サブサンプリング技法が広く知られている。
1.YUV4:2:2−ここでは、X方向のUおよびVの空間分解能が1/2に減少する(通常何らかのアンチ・エリアシング・フィルタを用いる)。

2.YUV4:2:0−ここでは、XおよびY方向双方におけるUおよびVの空間分解能が1/2に減少する。
YUV4:2:2の場合、各クロマ・サンプルは2つのルーマ・サンプルに対応する。同様に、YUV4:2:0の場合、各クロマ・サンプルは4つのルーマ・サンプルに対応する。クロマ・サブサンプリングは、通常、アンチ・エリアシング・フィルタによってサンプルをフィルタ処理した後に行われる。

このフィルタの位相は、クロマおよびルーマ・サンプルの相対的な位置を決定する。
表示または印刷の目的でこれらのフォーマットのいずれかから逆にYUV4:4:4に変換する場合、適正なアップサンプリング・フィルタを用いることができるように、相対的なサンプル位置の知識が入手できなければならない。

この問題に対する1つの手法では、用いるべき正確なアップサンプリング・フィルタを指示(mandate)または通知する。しかしながら、この手法では、システムに余分な要件が強いられ、業界の残りの部分との互換性がない場合もある。

サブサンプル・バージョンから最大分解能データをどのようにして再現するかを示す、より簡単でより柔軟性の高い解決策は、ルーマおよびクロマ・サンプルの整合に関する「位置」情報を通知することによる。この手法により、デコーダーは、位相が位置情報に一致するのであれば、任意のアップサンプリング・フィルタを用いることが可能になる。

この手法は一意の再現規則(即ち、一意のアップサンプリング・フィルタ)を指定しないが、十分に優れた性能を有し、広範な容認性を有する。
サブサンプリングしたデータ点の「位置」は、最大分解能格子内におけるその値の場所(location)または位相である。位置情報は、位相制約に合ったアップサンプリング・フィルタ間で選抜するために用いられる。位置情報は、一般に二次元であり、水平方向および垂直方向双方に、シフトを指定する。図2および図3は、YUV4:2:0に用いられる2つの共通クロマ位置ルールの例を示す。図2においては位相=(0、0)であり、図3においては、ルーマピクセル単位で、位相=(0.5、0.5)である。
B.画像回転/反転によるクロマ・センタリング
図2および図3に示す2つの例は、クロマのYUV4:2:0サブサンプリングでは、最も一般的な事例である。これらの2つのセンタリング・ルール(centering rule)は、通常ビデオ・データには十分であるが、画像データには通常不十分である。ビデオと画像との間の相違は、ビデオは殆ど回転または鏡面反転させないのに対して、画像は非常に頻繁に回転および/または鏡面反転させることである。

2つのセンタリング・ルールが通常画像データには不十分である理由を調べるために、次の事例を考察する。
事例1:センタリング例1について、水平方向に沿った鏡面反転を考える。ここでは、クロマ・サンプルは、左上ルーマ・サンプルとではなく、右上ルーマ・サンプルと同じ位置にある。クロマの対応する位相は、ルーマピクセル単位で(1、0)である。これは、図2および図3に示したルールによって定められたのではない。
事例2:同様に、例1に示すクロマ位置で、垂直方向に沿って画像を鏡面反転させると、ルーマピクセル単位で(0、1)位相のクロマ位置となる。これは、図2および図3に示したルールによって定められたのではない。

以上の事例は、画像が基軸回転および鏡面反転という基本的動作を受けるときに正しい再現のプロセスを補助するために、ビットストリームへの副情報として追加のクロマ・センタリング・ルールを定める有用性を示す。
C.インターレース・データによるクロマ・センタリング
インターレースしたビデオによって、別の厄介な問題が生ずる。インターレース・ビデオのフレームは2つのフィールド、即ち、上位フィールドおよび下位フィールドを含む。ビデオ・フィールドは、クロマ・ダウンサンプリングをせずに、その最大分解能で格納することができる。更に慣例的には、これはYUV4:2:2のようなクロマ・ダウンサンプル形態で搬送され、クロマはX方向に1/2にダウンサンプリングされ、Y方向のルーマ分解能と一致する。しかしながら、近年のビデオ・コデックでは、インターレース・ビデオのフィールドがYUV4:2:0空間に定められているので、そのクロマはXおよびY方向双方で1/2にダウンサンプリングされる。

この動作の結果、上位フィールド・データかまたは下位フィールド・データかに応じて、垂直方向に0.25または0.75の位相シフト(ルーマピクセル単位)によって、クロマ・センタリングを得る場合が多い。このようなセンタリングは、以下のことを確保するために用いることができる。
1.フレームにおける交互のクロマ・ラインが交互のフィールドによって生成される。

クロマ・センタリングは、連続するフレームのラインに跨って均一である。
インターレース・データのクロマ・ダウンサンプリングを図4に示す。X軸ダウンサンプリングは、任意の位相を有することができ、この論述には関連がない。したがって、この図は、Y軸センタリングおよび変位のみを示す。
D.クロマ位置
以上のことを念頭に置いて、クロマ位置に対して2つのルールを定める。第1ルールは、ショート・ルールと呼び、15のクロマ・センタリング位相を定める。このルールは、画像ビットストリーム内において4ビット・ワードを用いて通知する。表1は、一実現例におけるシンタックス・エレメントCHROMA_CENTERING_SHORTの値および対応する位相を列挙する。表1に示す例では、CHROMA_CENTERING_SHORTは0および15の間の値を取ることができるが、値14は予約されており用いられない。

CHROMA_CENTERING_SHORTは、例えば、画像ヘッダまたは画像平面ヘッダにおいて通知することができる。

第2の、より総合的なクロマ・センタリング・ルールは、拡張ルールと呼ばれ、これについても説明する。このルールには、データの損失なく、任意のピクセル数だけ、画像を変換できるという利点がある。これは、回転および鏡面反転とは別である。

一実現例では、拡張ルールは、画像ビットストリーム内における7ビット・ワード(CHROMA_CENTERING_LONG)によって通知され、シンタックス・エレメントCHROMA_CENTERING_LONGに対応する位相の一覧は、次の通りである。CHROMA_CENTERING_LONG=CHROMA_CENTERING_X+CHROMA_CENTERING_Y*9、ここで、CHROMA_CENTERING_XおよびCHROMA_CENTERING_Yは、以下の表2に示すように、xおよびy方向における位相を定めるシンタックス・エレメントである。CHROMA_CENTERING_XおよびCHROMA_CENTERING_Yは、0と8との間の値を取ることができる。したがって、CHROMA_CENTERING_LONG は、0と80との間の値を取ることができる。この範囲の外側にある値は、予約されている。CHROMA_CENTERING_LONG、CHROMA_CENTERING_X、および/またはCHROMA_CENTERING_Yは、例えば、画像ヘッダまたは画像平面ヘッダ内において通知することができる。

表1および表2の代わりに、別のマッピングを用いることも可能である。また、可変長コードのような、CHROMA_CENTERINGエレメントの別のエンコード処理を用いることも可能である。
III.ブロック変換に基づくコード化
変換コード化は、多くのディジタル・メディア(例えば、オーディオ、画像、およびビデオ)圧縮システムにおいて用いられている圧縮技法である。未圧縮画像およびビデオは、通例、二次元(2D)格子に配列された画像またはビデオ・フレーム内の位置におけるピクセルまたはカラーのサンプルとして表されるか、または取り込まれる。これは、画像またはビデオの空間ドメイン表現と呼ばれている。例えば、画像の典型的なフォーマットは、格子状に配列された24ビット・カラーピクセルサンプルのストリームで構成される。各サンプルは、とりわけ、RGBまたはYIQのような、カラー空間内の格子におけるピクセル位置でのカラー成分を表す数値である。種々の画像およびビデオ・システムの中には、種々の異なるカラー、サンプリングの空間および時間分解能を用いるものもある。同様に、ディジタル・オーディオは、通例、時間サンプリングしたオーディオ信号ストリームとして表される。例えば、典型的なオーディオ・フォーマットは、規則的な時間間隔で取り込んだオーディオ信号の16ビット振幅サンプルのストリームで構成されている。

未圧縮ディジタル・オーディオ、画像、およびビデオ信号は、多大な記憶および送信容量を消費する可能性がある。変換コード化は、信号の空間ドメイン表現を周波数ドメイン(またはその他の同様の変換ドメイン)表現に変換し、次いで変換ドメイン表現の内、一般的に認知でき難いある種の周波数成分の分解能を低減することによって、ディジタル・オーディオ、画像、およびビデオのサイズを縮小する。これによって、カラー、あるいは空間ドメインにおける画像またはビデオ、あるいは時間ドメインのオーディオの空間分解能を低下させる場合と比較して、全体的に、ディジタル信号の劣化は遥かに認知でき難くなる。

更に具体的には、図5に示す、典型的なブロック変換に基づくエンコーダー/デコーダー・システム500(「コデック」とも呼ぶ)は、未圧縮ディジタル画像のピクセルを、固定サイズの2次元ブロック(X,...X)に分割し、各ブロックは他のブロックと重複する可能性がある。エンコーダー510において、空間−周波数分析である線形変換520〜521を各ブロックに適用し、ブロック内にある離間サンプルを、1組の周波数(または変換)係数に変換する。これらは、総合的に、ブロック間隔における対応する周波数帯域内のディジタル信号の強度を表す。圧縮のために、変換係数を選択的に量子化し(530)(即ち、係数値の最下位ビットを欠落させるまたはそれ以外の方法でより高い分解能数値集合における値をより低い分解能にマッピングする等によって、分解能を低下させる)、更にエントロピーまたは可変長コード化して圧縮データ・ストリームを得る(530)。デコード処理において、変換係数を逆変換して(570〜571)、元のカラー/空間サンプル画像/ビデオ信号(再現ブロック


)をほぼ再現する。

ブロック変換520〜521は、サイズNのベクトルxに対する数学的演算として定めることができる。殆どの場合、この演算は線形乗算であり、変換ドメイン出力y=Mxを生成する。Mは、変換行列である。入力データが任意の長さである場合、これをサイズNのベクトルに区分し、ブロック変換を各セグメントに摘要する。データ圧縮の目的上、可逆ブロック変換を選択する。言い換えると、行列Mは反転可能である。多次元(例えば、画像およびビデオについて)では、ブロック変換は、通例、分離可能な演算として実施する。行列乗算を、別個に、データの各次元(即ち、行および列双方)に沿って適用する。

圧縮のために、変換係数(ベクトルyの成分)を選択的に量子化し(即ち、係数値の最下位ビットを欠落させるまたはそれ以外の方法でより高い分解能数値集合における値をより低い分解能にマッピングする等によって、分解能を低下させる)、更にエントロピーまたは可変長コード化して、圧縮データ・ストリームを得る。

デコーダー550におけるデコード処理において、図5に示すように、これらの演算の逆(逆量子化/エントロピー・デコード処理560および逆ブロック変換570〜571)をデコーダー側550で適用する。データを再現する間、逆行列M−1(逆変換570〜571)を乗数として変換ドメイン・データに適用する。変換ドメイン・データに適用すると、逆変換により元の時間ドメインまたは空間ドメイン・ディジタル・メディアがほぼ再現される。

多くのブロック変換に基づくコード化の用途では、変換は、量子化係数に応じて、損失のある圧縮および損失のない圧縮双方をサポートするために、可逆性であることが望ましい。例えば、量子化を行わない場合(量子化係数が1であるとして表す)、可逆変換を利用するコデックは、デコード処理において正確に入力データを再現することができる。しかしながら、これらの用途における可逆性の要件が、コデックを設計することができる変換の選択の制約となる。

とりわけMPEGおよびWindows Mediaのような多くの画像およびビデオ圧縮システムは、離散余弦変換(DCT)に基づく変換を利用する。DCTは、好ましいエネルギ圧密性状(energy compaction properties)を有し、ほぼ最適なデータ圧縮が得られることが知られている。これらの圧縮システムでは、個々の画像ブロックを再現するために、圧縮システムのエンコーダーおよびデコーダー双方において、逆DCT(IDCT)を再現ループに採用する。
IV.エンコーダー/デコーダーの例示の実現例
図6および図7は、代表的な二次元(2D)データ・エンコーダー600およびデコーダー700に採用されるプロセスを一般化した図である。これらの図は、記載する技法およびツールを実現するために用いることができる圧縮/伸張システムの一般化した図または簡略化した図を提案する。代替圧縮/伸張システム、この代表的なエンコーダーおよびデコーダーに示されるプロセスよりも多いプロセスまたは少ないプロセスも、2Dデータ圧縮に用いることができる。例えば、エンコーダー/デコーダーによっては、カラー変換、カラー・フォーマット、スケーラブル・コード化、無損失コード化、マクロブロック・モードなども含むことができる場合もある。圧縮システム(エンコーダーおよびデコーダー)は、無損失から有損失までの多様な量子化パラメータに基づく可能性がある量子化に応じて、2Dデータの無損失圧縮および/または有損失圧縮双方に備えることができる。

2Dデータ・エンコーダー600は、圧縮ビットストリーム620を生成する。圧縮ビットストリーム620は、エンコーダーへの入力として呈示された2Dデータ610を(典型的な入力に対して)一層コンパクトな表現にしたものである。例えば、2Dデータ入力は、画像、ビデオ・シーケンスのフレーム、または二次元を有するその他のデータとすることができる。2Dデータ・エンコーダーは、入力データのフレームをブロック群(図6では全体的に区画化630として示す)に分割する。これらは、図示の実現例では、重複しない4×4ピクセルブロックであり、フレームの平面全体に規則的なパターンを形成する。これらのブロックを、マクロブロックと呼ぶクラスタにグループ化する。マクロブロックとは、この代表的なエンコーダーでは、サイズが16×16ピクセルである。一方、マクロブロックをグループ化して、タイルと呼ばれる規則的な構造にする。また、タイルは画像全体に規則的なパターンを形成し、水平行におけるタイルの高さが均一で位置合わせされており、垂直列におけるタイルが均一な幅で位置合わせされるようになっている。代表的なエンコーダーでは、タイルは、水平方向および/または垂直方向に16の倍数となるのであれば、いずれの任意のサイズとすることもできる。代わりのエンコーダーの実現例では、画像をブロック、マクロブロック、タイル、またはその他のサイズおよび構造のその他の単位に分割することができる。

「順方向重複」演算子640を、ブロック間の各エッジに適用し、その後、ブロック変換650を用いて、各4×4ブロックを変換する。このブロック変換650は可逆スケール・フリー(scale-free)2D変換であり、"Reversible Transform For Lossy AND Lossless 2-D Data Compression"(有損失および無損失2−Dデータ圧縮のための可逆変換)と題し2004年12月17日に出願されたSrinivasanの米国特許出願第11/015,707号に記載されている。重複演算子640は、可逆重複演算子であり、2004年12月17日に出願され"Reversible Overlap Operator for Efficient Lossless Data Compression"(効率的な無損失データ圧縮のための可逆重複演算子)と題するTu et al.の米国特許出願第11/015,148号、および2005年1月14日に出願され"Reversible 2-Dimensional Pre/Post-Filtering For Lapped Biorthogonal Transform"(重複双直交変換用可逆二次元事前/事後フィルタリング)と題するTu et al.の米国特許出願第11/035,991号に記載されている。あるいは、離散余弦変換またはその他のブロック変換および重複演算子も用いることができる。変換に続いて、各4×4変換ブロックのDC係数660が、同様の処理連鎖(変換タイリング、順方向重複、その後に続く4×4ブロック)を受ける。その結果得られたDC変換係数およびAC変換係数662を量子化し(670)、エントロピー・コード化し(680)、パケット化する(690)。

デコーダーは、逆のプロセスを実行する。デコーダー側では、変換係数ビットを、それらのそれぞれのパケットから抽出し(710)、係数自体をデコードし(720)、逆量子化する(730)。逆変換を適用することによって、DC係数740を再発生し、適したスムージング演算子を用い、DCブロック・エッジを跨いで適用することによって、DC係数の平面を「逆重複」(inverse overlap)させる。続いて、4×4逆変換750をDC係数に適用することによって、データ全体を再生し、AC係数742をビットストリームからデコードする。最後に、得られた画像平面におけるブロック・エッジを逆重複フィルタ処理する(inverse overlap filtered)(760)。これによって、再現した2Dデータ出力790を生成する。

例示の実現例では、エンコーダー600(図6)は入力画像を圧縮して、圧縮ビットストリーム620(例えば、ファイル)とし、デコーダー700(図7)は無損失または有損失コード化のどちらが採用されているのかに基づいて、元の入力またはその近似を再現する。エンコード処理のプロセスには、以下で論ずる順方向重複変換(LT:lapped transform)の適用を伴い、可逆二次元プレ/ポスト・フィルタリングによって実現する。これについても、以下で更に詳しく説明する。デコード処理プロセスには、可逆二次元プレ/ポスト・フィルタリングを用いた逆重複変換(ILT)の適用を伴う。

図示したLTおよびILTは、正しい意味では、互いの逆であり、したがって纏めて可逆重複変換と呼ぶことができる。可逆変換として、LT/ILT対は無損失画像圧縮に用いることができる。

図示したエンコーダー600/デコーダー700によって圧縮された入力データ610は、種々のカラー・フォーマット(例えば、RGB/YUV4:4:4、YUV4:2:2、またはYUV4:2:0カラー画像フォーマット)の画像とすることができる。通例、入力画像は常にルミナンス(Y)成分を有する。これがRGB/YUV4:4:4、YUV4:2:2、またはYUV4:2:0画像である場合、画像はU成分およびV成分のような、クロミナンス成分も有する。別個のカラー平面または画像成分は、異なる空間分解能を有することができる。例えば、YUV4:2:0カラー・フォーマットにおける入力画像の場合、UおよびV成分は、Y成分の半分の幅および高さを有する。

先に論じたように、エンコーダー600は、入力画像またはピクチャをマクロブロックに並べる。例示の実現例では、エンコーダー600は、Yチャネル(カラー・フォーマットによって、UおよびVチャネルにおいて16×16、16×8、または8×8のエリアとなる場合がある)において、入力画像を16×16ピクセル・エリア(「マクロブロック」と呼ぶ)に並べる。各マクロブロック・カラー平面を、4×4ピクセル領域またはブロックに並べる。したがって、このエンコーダーの実現例では、以下のようにして、種々のカラー・フォーマットに合わせてマクロブロックを構成する。

・中間調画像では、各マクロブロックは16個の4×4ルミナンス(Y)ブロックを収容する。
・YUV4:2:0フォーマットのカラー画像では、各マクロブロックは16個の4×4Yブロックと、4つの各4×4クロミナンス(UおよびV)ブロックとを収容する。

・YUV4:2:2フォーマットのカラー画像では、各マクロブロックは16個の4×4Yブロックと、8つの各4×4クロミナンス(UおよびV)ブロックとを収容する。
・RGBまたはYUV4:4:4カラー画像では、各マクロブロックはY、U、およびVチャネル毎に16小のブロックを収容する。

したがって、変換後には、この代表的なエンコーダー600/デコーダー700におけるマクロブロックは、3つの周波数サブバンド、即ち、DCサブバンド(DCマクロブロック)、ロー・パス・サブバンド(ロー・パス・マクロブロック)、およびハイ・パス・サブバンド(ハイ・パス・マクロブロック)を有する。この代表的なシステムでは、ロー・パスおよび/またはハイ・パス・サブバンドは、ビットストリームでは任意であり、これらのサブバンドを完全に欠落させてもよい。

更に、圧縮データを2つの順序、空間順序および周波数順序の内の1つで、ビットストリームにパックすることができる。空間順序では、タイル内にある同じマクロブロックの異なるサブバンドを一緒に整列し、その結果各タイルで得られたビットストリームを1つのパケットに書き込む。周波数順序では、タイル内にある異なるマクロブロックからの同じサブバンドを一緒にグループ化し、こうしてタイルのビットストリームを3つのパケット、即ち、DCタイル・パケット、ロー・パス・タイル・パケット、およびハイ・パス・タイル・パケットに書き込む。加えて、他のデータ・レイヤがあってもよい。

このように、代表的なシステムでは、以下の「次元」に画像を編成する。
・空間次元:フレーム−>タイル−>マクロブロック。
・周波数次元:DC|ロー・パス|ハイ・パス。

・チャネル次元:ルミナンス|クロミナンス_0|クロミナンス_1...(例えば、Y|U|Vのように)。
以上で、矢印は階層を示し、一方縦線は区画化を表す。

代表的なシステムは圧縮ディジタル・メディア・データを空間、周波数、およびチャネルの次元で編成するが、本明細書に記載する柔軟な量子化手法は、これらの次元よりも少ない次元、多い次元、別の次元に沿ってそのデータを編成する代替エンコーダー/デコーダー・システムにも適用することができる。例えば、柔軟な量子化手法は、より多くの数の周波数帯域、カラー・チャネルの別のフォーマット(例えば、YIQ、RGB等)、追加の画像チャネル(例えば、ステレオ・ビジョンまたはその他の複数のカメラ・アレイ)を用いるコード化に適用することができる。

以上、種々の実施形態を参照しながら本発明の原理について説明し図示したが、種々の実施形態は、このような原理から逸脱することなく、構成および詳細を変更可能であることは認められよう。尚、本明細書に記載したプログラム、プロセス、または方法は、特に指示がない限り、いずれの特定的な形式の計算環境に関係せず、それに限定されないことは言うまでもない。本明細書に記載した教示による動作と共に、種々の形式の汎用計算環境または特殊計算環境を用いることもでき、あるいはこれらの汎用計算環境または特殊計算環境がその動作を実行することもできる。ソフトウェアで示した実施形態の要素をハードウェアで実現すること、およびその逆も可能である。

開示した発明の原理を適用することができる実施形態は多数あり得ることに鑑み、図示した実施形態は本発明の好ましい例に過ぎず、本発明の範囲を限定するように捕らえてはならないことは認められてしかるべきである。逆に、本発明の範囲は、以下の請求項によって定めることとする。したがって、これらの請求項の範囲および主旨に該当する全てを、本出願人の発明として主張することとする。

Claims (24)

  1. 画像についてディジタル画像データを受信するステップであって、前記ディジタル画像データがダウンサンプル・クロマ情報を含む、ステップと、
    クロマ位置情報をX次元における位相情報とY次元における位相情報とにマッピングするクロマ位置ルールにしたがって、前記ダウンサンプル・クロマ情報について、前記クロマ位置情報を決定するステップであって、前記クロマ位置ルールは、前記画像の水平方向または垂直方向の反転または回転を容易にする、ステップと、
    前記クロマ位置情報を、エンコード・ビットストリームにおける1つ以上のシンタックス・エレメントで表すステップと、
    前記エンコード・ビットストリームを出力するステップと、
    を備えた、方法。
  2. 請求項1記載の方法において、前記クロマ情報を、1つ以上の次元において1/2にダウンサンプリングする、方法。
  3. 請求項1記載の方法において、前記X次元における位相情報は、半ピクセル単位の位相情報を含む、方法。
  4. 請求項1記載の方法において、前記Y次元またはX次元における位相情報は、1/4ピクセル単位の位相情報を含む、方法。
  5. 請求項1記載の方法において、前記クロマ位置ルールは、前記クロマ位置情報を、X位相位置0、0.5および1、ならびにY位相位置0、0.25、0.5、0.75、および1を含むクロマ・センタリング位相にマッピングし、前記位相位置はピクセル単位である、方法。
  6. 請求項1記載の方法において、前記1つ以上のシンタックス・エレメントは、前記X次元における位相情報と前記Y次元における位相情報との双方を表す1つのシンタックス・エレメントを含む、方法。
  7. 請求項1記載の方法において、前記1つ以上のシンタックス・エレメントは、前記X次元における位相情報を表す第1シンタックス・エレメントと、前記Y次元における位相情報を表す第2シンタックス・エレメントとを含む、方法。
  8. 請求項1記載の方法において、前記ディジタル画像データは、インターレース・ディジタル画像データを含む、方法。
  9. 請求項1記載の方法において、前記クロマ位置ルールは、前記クロマ位置情報を、位相位置−0.5、−0.25、0、0.25、0.5、0.75、1、1.25、および1.5を含むクロマ・センタリング位相にマッピングし、前記位相位置はピクセル単位である、方法。
  10. 請求項9記載の方法において、前記クロマ位置ルールは、前記画像の整数個のピクセルだけの変換も容易にする、方法。
  11. 請求項1記載の方法であって、更に、前記ダウンサンプル・クロマ情報をアップサンプリングするために前記クロマ位置情報を用いるステップを含む、方法。
  12. 画像についてのエンコード・ディジタル画像を受信するステップであって、前記エンコード・ディジタル画像データがクロマ情報を含む、ステップと、
    ダウンサンプル・クロマ情報についてクロマ位置情報をデコードするステップであって、前記画像の水平方向および垂直方向の反転または回転を容易にするために、前記クロマ位置情報をX次元における位相情報とY次元における位相情報とにマッピングするクロマ位置ルールにしたがって、前記クロマ位置情報を決定するステップと、
    デコード・ビットストリームを出力するステップと、
    を備えた、方法。
  13. 請求項12記載の方法において、前記クロマ情報を1つ以上の次元において1/2にダウンサンプリングする、方法。
  14. 請求項12記載の方法において、前記X次元における位相情報は、半ピクセル単位の位相情報を含む、方法。
  15. 請求項12記載の方法において、前記Y次元または前記X次元における位相情報は、1/4ピクセル単位の位相情報を含む、方法。
  16. 請求項12記載の方法において、前記クロマ位置情報をデコードするステップは、1つ以上のシンタックス・エレメントをデコードするステップを含み、前記1つ以上のシンタックス・エレメントは、前記X次元における位相情報と前記Y次元における位相情報との双方を表す1つのシンタックス・エレメントを含む、方法。
  17. 請求項12記載の方法において、前記クロマ位置情報をデコードするステップは、1つ以上のシンタックス・エレメントをデコードするステップを含み、前記1つ以上のシンタックス・エレメントは、前記X次元における位相情報を表す第1シンタックス・エレメントと、前記Y次元における位相情報を表す第2シンタックス・エレメントとを含む、方法。
  18. 請求項12記載の方法であって、更に、前記ダウンサンプル・クロマ情報をアップサンプリングするために、前記クロマ位置情報を用いるステップを含む、方法。
  19. 圧縮画像についての圧縮ディジタル画像データを受信するステップであって、前記圧縮ディジタル画像データが、ダウンサンプル画像チャネル情報を含む、ステップと、
    複数の利用可能な位置ルールの内、第1位置ルールにしたがって前記ダウンサンプル画像チャネル情報についての画像チャネル位置情報を決定するステップであって、前記複数の利用可能な位置ルールの各々は、前記画像の水平方向および垂直方向の反転または回転を容易にするために前記画像チャネル位置情報をX次元における位相情報とY次元における位相情報とにマッピングする、ステップと、
    前記圧縮画像の水平反転、垂直反転、または回転を実行するために、前記画像チャネル位置情報を用いる、ステップと、
    を備えた、方法。
  20. 請求項19記載の方法において、前記ダウンサンプル画像チャネル情報は、ダウンサンプル・クロマ情報を備えており、前記画像チャネル位置情報は、クロマ位置情報を含む、方法。
  21. 画像についてのエンコード・ディジタル画像を受信するステップであって、前記エンコード・ディジタル画像データがクロマ情報を含む、ステップと、
    ダウンサンプル・クロマ情報についてのクロマ位置情報をデコードするステップと、
    変換に基づいて、前記受信したディジタル画像データの少なくとも一部を再エンコードするステップであって、前記変換が水平方向の反転、垂直方向の反転、回転、または切り取りである、ステップと、
    を備えており、前記再エンコードするステップは、前記変換を反映するために前記クロマ位置情報を修正することを含む、方法。
  22. 請求項21記載の方法において、前記再エンコードするステップは、無損失エンコード処理を含む、方法。
  23. 請求項21記載の方法において、前記再エンコードするステップは、有損失エンコード処理を含む、方法。
  24. 請求項21記載の方法において、前記再エンコードするステップは、変換ドメイン・エンコード処理を含む、方法。
JP2009550996A 2007-02-21 2008-02-20 クロマ・サンプル位置決め情報のシグナリングおよび使用 Active JP5149310B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US89103007P true 2007-02-21 2007-02-21
US60/891,030 2007-02-21
US11/772,070 2007-06-29
US11/772,070 US8054886B2 (en) 2007-02-21 2007-06-29 Signaling and use of chroma sample positioning information
PCT/US2008/054481 WO2008103774A2 (en) 2007-02-21 2008-02-20 Signaling and use of chroma sample positioning information

Publications (2)

Publication Number Publication Date
JP2010521083A true JP2010521083A (ja) 2010-06-17
JP5149310B2 JP5149310B2 (ja) 2013-02-20

Family

ID=39706639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009550996A Active JP5149310B2 (ja) 2007-02-21 2008-02-20 クロマ・サンプル位置決め情報のシグナリングおよび使用

Country Status (11)

Country Link
US (1) US8054886B2 (ja)
EP (1) EP2123057B1 (ja)
JP (1) JP5149310B2 (ja)
KR (1) KR101465817B1 (ja)
CN (1) CN101617540B (ja)
BR (1) BRPI0807189B1 (ja)
HK (1) HK1140342A1 (ja)
IL (1) IL199957A (ja)
RU (1) RU2518406C2 (ja)
TW (1) TWI454154B (ja)
WO (1) WO2008103774A2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013074315A (ja) * 2011-09-26 2013-04-22 Toshiba Corp 画像処理装置及び画像処理システム
JP2018110412A (ja) * 2012-09-04 2018-07-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media
US8369638B2 (en) 2008-05-27 2013-02-05 Microsoft Corporation Reducing DC leakage in HD photo transform
US8447591B2 (en) * 2008-05-30 2013-05-21 Microsoft Corporation Factorization of overlapping tranforms into two block transforms
US8275209B2 (en) 2008-10-10 2012-09-25 Microsoft Corporation Reduced DC gain mismatch and DC leakage in overlap transform processing
US8194977B2 (en) * 2008-12-09 2012-06-05 Microsoft Corporation Remote desktop protocol compression acceleration using single instruction, multiple dispatch instructions
CN105357533B (zh) * 2009-01-29 2018-10-19 杜比实验室特许公司 视频编码方法及视频装置
WO2010092740A1 (ja) * 2009-02-10 2010-08-19 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび集積回路
US20100226437A1 (en) * 2009-03-06 2010-09-09 Sony Corporation, A Japanese Corporation Reduced-resolution decoding of avc bit streams for transcoding or display at lower resolution
KR101066117B1 (ko) * 2009-11-12 2011-09-20 전자부품연구원 스케일러블 영상 코딩 방법 및 장치
US9712847B2 (en) 2011-09-20 2017-07-18 Microsoft Technology Licensing, Llc Low-complexity remote presentation session encoder using subsampling in color conversion space
FR2989856B1 (fr) * 2012-04-23 2014-11-28 Assistance Tech Et Etude De Materiels Electroniques PROGRESSIVE COMPRESSION / DECOMPRESSION OF VIDEO DIGITAL STREAM COMPRISING AT LEAST ONE INTERLACED IMAGE
US9979960B2 (en) 2012-10-01 2018-05-22 Microsoft Technology Licensing, Llc Frame packing and unpacking between frames of chroma sampling formats with different chroma resolutions
US9661340B2 (en) 2012-10-22 2017-05-23 Microsoft Technology Licensing, Llc Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US20140198855A1 (en) * 2013-01-14 2014-07-17 Qualcomm Incorporated Square block prediction
KR20160132857A (ko) * 2014-03-14 2016-11-21 삼성전자주식회사 스케일러블 비디오 부호화/복호화 방법 및 장치
CA2919328A1 (en) * 2014-06-12 2015-12-17 Spinella Ip Holdings, Inc. Transmission and restoration of decimated image data
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
WO2016081939A1 (en) * 2014-11-21 2016-05-26 Vid Scale, Inc. One-dimensional transform modes and coefficient scan order
US9854201B2 (en) 2015-01-16 2017-12-26 Microsoft Technology Licensing, Llc Dynamically updating quality to higher chroma sampling rate
US9749646B2 (en) 2015-01-16 2017-08-29 Microsoft Technology Licensing, Llc Encoding/decoding of high chroma resolution details
KR20160107013A (ko) 2015-03-03 2016-09-13 삼성전자주식회사 이미지 처리 정보에 따라 크기와 방향을 갖는 초기 위상을 계산할 수 있는 이미지 처리 장치들
US10368080B2 (en) 2016-10-21 2019-07-30 Microsoft Technology Licensing, Llc Selective upsampling or refresh of chroma sample values

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163562A (ja) * 1994-12-06 1996-06-21 Matsushita Electric Ind Co Ltd 映像信号処理装置
US20040008790A1 (en) * 2002-07-15 2004-01-15 Rodriguez Arturo A. Chroma conversion optimization
US20070036225A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6242296B2 (ja) * 1980-10-31 1987-09-08 Hitachi Seisakusho Kk
US4626825A (en) * 1985-07-02 1986-12-02 Vlsi Technology, Inc. Logarithmic conversion apparatus
USRE35910E (en) 1989-05-11 1998-09-29 Matsushita Electric Industrial Co., Ltd. Moving image signal encoding apparatus and decoding apparatus
JP3191935B2 (ja) 1990-11-30 2001-07-23 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
JP3303869B2 (ja) 1990-11-30 2002-07-22 株式会社日立製作所 画像符号化方法、画像符号化装置、画像復号化方法
US5611038A (en) 1991-04-17 1997-03-11 Shaw; Venson M. Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information
US5414469A (en) 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5257215A (en) * 1992-03-31 1993-10-26 Intel Corporation Floating point and integer number conversions in a floating point adder
GB9224952D0 (en) 1992-11-28 1993-01-20 Ibm Improvements in image processing
US5467134A (en) * 1992-12-22 1995-11-14 Microsoft Corporation Method and system for compressing video data
US5544286A (en) * 1993-01-29 1996-08-06 Microsoft Corporation Digital video data compression technique
KR970000683B1 (ko) 1993-05-31 1997-01-16 삼성전자 주식회사 해상도 가변 적응적 화상압축/복원방법 및 장치
US5465118A (en) * 1993-12-17 1995-11-07 International Business Machines Corporation Luminance transition coding method for software motion video compression/decompression
JP2933487B2 (ja) * 1994-07-15 1999-08-16 松下電器産業株式会社 クロマフォーマット変換の方法
US5828421A (en) 1994-10-11 1998-10-27 Hitachi America, Ltd. Implementation efficient digital picture-in-picture decoding methods and apparatus
US5821986A (en) 1994-11-03 1998-10-13 Picturetel Corporation Method and apparatus for visual communications in a scalable network environment
US5864637A (en) 1995-04-18 1999-01-26 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selective reduction of spatial resolution
US6002801A (en) 1995-04-18 1999-12-14 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression by selection of IDCT method based on image characteristics
US5699124A (en) * 1995-06-28 1997-12-16 General Instrument Corporation Of Delaware Bandwidth efficient communication of user data in digital television data stream
US5959673A (en) 1995-10-05 1999-09-28 Microsoft Corporation Transform coding of dense motion vector fields for frame and object based video coding applications
US6957350B1 (en) 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5737023A (en) * 1996-02-05 1998-04-07 International Business Machines Corporation Hierarchical motion estimation for interlaced video
US6246787B1 (en) * 1996-05-31 2001-06-12 Texas Instruments Incorporated System and method for knowledgebase generation and management
JP3466032B2 (ja) 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
US5801975A (en) * 1996-12-02 1998-09-01 Compaq Computer Corporation And Advanced Micro Devices, Inc. Computer modified to perform inverse discrete cosine transform operations on a one-dimensional matrix of numbers within a minimal number of instruction cycles
US6256347B1 (en) * 1996-12-17 2001-07-03 Thomson Licensing S.A. Pixel block compression apparatus in an image processing system
US6259810B1 (en) * 1997-04-15 2001-07-10 Microsoft Corporation Method and system of decoding compressed image data
KR19980082906A (ko) * 1997-05-09 1998-12-05 김영환 부동 소수점 숫자의 정수형으로의 변환 방법
SE509582C2 (sv) * 1997-06-05 1999-02-08 Telia Ab Systems at telecommunication networks
JPH11122624A (ja) * 1997-10-16 1999-04-30 Matsushita Electric Ind Co Ltd ビデオデコーダ処理量を低減する方法および装置
US6061782A (en) * 1997-11-29 2000-05-09 Ip First Llc Mechanism for floating point to integer conversion with RGB bias multiply
EP0957638A4 (en) 1997-12-01 2008-06-04 Matsushita Electric Ind Co Ltd Image data processor and variable length coder and decoder
US6560285B1 (en) * 1998-03-30 2003-05-06 Sarnoff Corporation Region-based information compaction as for digital images
US6519288B1 (en) * 1998-03-06 2003-02-11 Mitsubishi Electric Research Laboratories, Inc. Three-layer scaleable decoder and method of decoding
US6239815B1 (en) * 1998-04-03 2001-05-29 Avid Technology, Inc. Video data storage and transmission formats and apparatus and methods for processing video data in such formats
US5995122A (en) * 1998-04-30 1999-11-30 Intel Corporation Method and apparatus for parallel conversion of color values from a single precision floating point format to an integer format
JP4471495B2 (ja) 1998-05-14 2010-06-02 インターバル・リサーチ・コーポレーションInterval Research Corporation 記憶容量の低減と色回転と複合信号と境界フィルタ処理とをともなったビデオ圧縮
US6418166B1 (en) 1998-11-30 2002-07-09 Microsoft Corporation Motion estimation and block matching pattern
US6983018B1 (en) 1998-11-30 2006-01-03 Microsoft Corporation Efficient motion vector coding for video compression
US6563953B2 (en) * 1998-11-30 2003-05-13 Microsoft Corporation Predictive image compression using a single variable length code for both the luminance and chrominance blocks for each macroblock
US6259741B1 (en) * 1999-02-18 2001-07-10 General Instrument Corporation Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US6115031A (en) * 1999-04-23 2000-09-05 Lexmark International, Inc. Method of converting color values
US6396422B1 (en) * 1999-06-09 2002-05-28 Creoscitex Corporation Ltd. Methods for quantizing and compressing digital image data
US20020145610A1 (en) 1999-07-16 2002-10-10 Steve Barilovits Video processing engine overlay filter scaler
EP1145563A1 (en) * 1999-10-28 2001-10-17 Philips Electronics N.V. Color video encoding method based on a wavelet decomposition
WO2001042907A2 (en) * 1999-12-10 2001-06-14 Broadcom Corporation Apparatus and method for reducing precision of data
JP3474173B2 (ja) * 2000-02-25 2003-12-08 株式会社ソニー・コンピュータエンタテインメント 画像出力装置に応じた画像データを作成する情報処理装置およびそのための記録媒体
JP3593944B2 (ja) * 2000-03-08 2004-11-24 日本電気株式会社 画像データ処理装置及びそれに用いる動き補償処理方法
US6510177B1 (en) 2000-03-24 2003-01-21 Microsoft Corporation System and method for layered video coding enhancement
US6647061B1 (en) 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
US6438168B2 (en) * 2000-06-27 2002-08-20 Bamboo Media Casting, Inc. Bandwidth scaling of a compressed video stream
US6961063B1 (en) * 2000-06-30 2005-11-01 Intel Corporation Method and apparatus for improved memory management of video images
KR100370076B1 (ko) 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US6937291B1 (en) 2000-08-31 2005-08-30 Intel Corporation Adaptive video scaler
DE10048735A1 (de) 2000-09-29 2002-04-11 Bosch Gmbh Robert Verfahren zur Codierung und Decodierung von Bildsequenzen sowie Einrichtungen hierzu
US6606418B2 (en) 2001-01-16 2003-08-12 International Business Machines Corporation Enhanced compression of documents
US6898323B2 (en) * 2001-02-15 2005-05-24 Ricoh Company, Ltd. Memory usage scheme for performing wavelet processing
US8374237B2 (en) * 2001-03-02 2013-02-12 Dolby Laboratories Licensing Corporation High precision encoding and decoding of video images
US6850571B2 (en) * 2001-04-23 2005-02-01 Webtv Networks, Inc. Systems and methods for MPEG subsample decoding
US7206453B2 (en) 2001-05-03 2007-04-17 Microsoft Corporation Dynamic filtering for lossy compression
WO2002101646A2 (en) * 2001-06-08 2002-12-19 University Of Southern California High dynamic range image editing
US7242717B2 (en) * 2001-06-08 2007-07-10 Sharp Laboratories Of America, Inc. Wavelet domain motion compensation system
US8526751B2 (en) * 2001-08-24 2013-09-03 International Business Machines Corporation Managing image storage size
DE60135559D1 (de) * 2001-11-19 2008-10-09 St Microelectronics Srl Verfahren zur Mischung von digitalen Bildern zur Erzeugung eines digitalen Bildes mit erweitertem Dynamikbereich
US7006699B2 (en) * 2002-03-27 2006-02-28 Microsoft Corporation System and method for progressively transforming and coding digital data
US6909459B2 (en) * 2002-08-21 2005-06-21 Alpha Innotech Corporation Method of and apparatus for extending signal ranges of digital images
US7072394B2 (en) 2002-08-27 2006-07-04 National Chiao Tung University Architecture and method for fine granularity scalable video coding
US7379496B2 (en) 2002-09-04 2008-05-27 Microsoft Corporation Multi-resolution video coding and decoding
SE0300286D0 (sv) * 2003-02-05 2003-02-05 Axis Ab Method and apparatus for combining video signals into one comprehensive video signal
US7187811B2 (en) * 2003-03-18 2007-03-06 Advanced & Wise Technology Corp. Method for image resolution enhancement
US20040190771A1 (en) * 2003-03-27 2004-09-30 Michel Eid Integer format for efficient image data processing
US6879731B2 (en) * 2003-04-29 2005-04-12 Microsoft Corporation System and process for generating high dynamic range video
US7502415B2 (en) * 2003-07-18 2009-03-10 Microsoft Corporation Range reduction
JP4617644B2 (ja) * 2003-07-18 2011-01-26 ソニー株式会社 符号化装置及び方法
US7876974B2 (en) * 2003-08-29 2011-01-25 Vladimir Brajovic Method for improving digital images and an image sensor for sensing the same
US8014450B2 (en) * 2003-09-07 2011-09-06 Microsoft Corporation Flexible range reduction
US7519274B2 (en) * 2003-12-08 2009-04-14 Divx, Inc. File format for multiple track digital data
US7649539B2 (en) * 2004-03-10 2010-01-19 Microsoft Corporation Image formats for video capture, processing and display
US20050243176A1 (en) * 2004-04-30 2005-11-03 James Wu Method of HDR image processing and manipulation
JP4609155B2 (ja) 2005-03-30 2011-01-12 セイコーエプソン株式会社 画像圧縮方法、画像圧縮装置、画像圧縮プログラム及び画像読み取り装置
KR20060109247A (ko) * 2005-04-13 2006-10-19 엘지전자 주식회사 베이스 레이어 픽처를 이용하는 영상신호의 엔코딩/디코딩방법 및 장치
US20070160134A1 (en) * 2006-01-10 2007-07-12 Segall Christopher A Methods and Systems for Filter Characterization
US8880571B2 (en) * 2006-05-05 2014-11-04 Microsoft Corporation High dynamic range data format conversions for digital media

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08163562A (ja) * 1994-12-06 1996-06-21 Matsushita Electric Ind Co Ltd 映像信号処理装置
US20040008790A1 (en) * 2002-07-15 2004-01-15 Rodriguez Arturo A. Chroma conversion optimization
US20070036225A1 (en) * 2005-08-12 2007-02-15 Microsoft Corporation SIMD lapped transform-based digital media encoding/decoding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013074315A (ja) * 2011-09-26 2013-04-22 Toshiba Corp 画像処理装置及び画像処理システム
JP2018110412A (ja) * 2012-09-04 2018-07-12 クゥアルコム・インコーポレイテッドQualcomm Incorporated スケーラブルビデオコード化におけるダウンサンプリング位相情報の信号伝達
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding

Also Published As

Publication number Publication date
WO2008103774A2 (en) 2008-08-28
RU2009131597A (ru) 2011-02-27
HK1140342A1 (en) 2010-10-08
US20080198936A1 (en) 2008-08-21
BRPI0807189B1 (pt) 2020-05-26
JP5149310B2 (ja) 2013-02-20
EP2123057B1 (en) 2016-08-03
EP2123057A2 (en) 2009-11-25
IL199957A (en) 2013-07-31
TWI454154B (zh) 2014-09-21
BRPI0807189A2 (pt) 2014-05-27
CN101617540B (zh) 2012-09-05
US8054886B2 (en) 2011-11-08
KR20090123861A (ko) 2009-12-02
TW200847801A (en) 2008-12-01
CN101617540A (zh) 2009-12-30
IL199957D0 (en) 2010-04-15
KR101465817B1 (ko) 2014-12-11
EP2123057A4 (en) 2011-11-16
RU2518406C2 (ru) 2014-06-10
WO2008103774A3 (en) 2008-10-16

Similar Documents

Publication Publication Date Title
JP6503492B2 (ja) データ符号化及び復号化
US9736384B2 (en) Compression and decoding of single sensor color image data
US10477204B2 (en) Harmonized palette coding
JP5506903B2 (ja) 圧縮画像クロマ情報を改良するための方法およびシステム
Richardson The H. 264 advanced video compression standard
CN104041036B (zh) 视频编码方法、视频解码方法、编码器、解码器以及系统
US10602146B2 (en) Flexible Quantization
Furht et al. Motion estimation algorithms for video compression
Thyagarajan Still image and video compression with MATLAB
JP4707681B2 (ja) タイル型ウェーブレット状変換及び希薄データコード化に基づく多解像度像データ管理システム及び方法
US9661340B2 (en) Band separation filtering / inverse filtering for frame packing / unpacking higher resolution chroma sampling formats
US5048111A (en) Hybrid subband-based hierarchical storage and display method for high resolution digital images in a multiuse environment
JP5280003B2 (ja) 映像コーデックにおけるスライス層
EP0455794B1 (en) A hybrid residual-based hierarchical storage and display method for high resolution digital images in a multiuse environment
Rao et al. Video coding standards
CN101243685B (zh) 数字媒体数据的编码方法、处理方法及处理装置
US7330596B2 (en) Image decoding technique for suppressing tile boundary distortion
US7469011B2 (en) Escape mode code resizing for fields and slices
DE69907798T2 (de) Umwandlungen von komprimierten Bildern
KR101122861B1 (ko) 이미지 및 비디오의 예측 무손실 코딩
US7158679B2 (en) Image compression with tile alignment
JP3743384B2 (ja) 画像符号化装置及び方法、並びに画像復号装置及び方法
US7305139B2 (en) Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform
JP4148462B2 (ja) 画像処理装置、電子カメラ装置及び画像処理方法
RU2321063C2 (ru) Система и способ последовательного преобразования и кодирования цифровых данных

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120409

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120709

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120717

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20120904

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20120911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121031

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121129

R150 Certificate of patent or registration of utility model

Ref document number: 5149310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250