JP2008527827A - 垂線流れに動的に基づいた量子化ステップ・サイズを用いてビデオ信号を処理する方法 - Google Patents

Abstract

対応する処理出力データ（40、200）を生成するようデータ・プロセッサ(20)においてビデオ入力信号（50）を処理する方法を記載している。上記方法は、(a)データ・プロセッサ(20)においてビデオ入力信号（50）を受信する工程であって、入力信号（50）が画像（100）の系列を含んでおり、上記画像（100）がそれぞれ、画素によって表される工程と、（b）画素をグループ化して、画像毎にいくつかの画素群を生成する工程と、(c)対応する代表的な変換パラメータに群を変換する工程と、(d)群の変換パラメータを符号化して、対応する量子化変換データを生成する工程と、(e)入力信号を表す処理出力データ（40、200）を生成するよう量子化変換データを処理する工程とを含む。上記方法は、画像（100）の系列において伝達される空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを用いて、工程(d)において変換パラメータを符号化する工程が関係する。上記方法は、出力データ（40、200）から再生される画像における画像品質を向上させる。

Description

本発明は、対応する処理出力データを生成するよう入力データを処理する方法に関する。更に、本発明は、入力データの表現を再生するよう、処理出力データを処理する更なる方法にも関する。更に、本発明は、前述の方法を実現するよう動作可能な装置にも関し、前述の装置を含むシステムにも関する。更に、本発明は、ハードウェアによって、又は、あるいは、計算ハードウェア上で実行可能なソフトウェアによって実施することができる。本発明は、電子装置（例えば、移動体電話機（携帯電話機）、ビデオ・レコーダ、コンピュータ、光ディスク・プレイヤや電子カメラ（これらに限定されるものでない））に適切である。

現代の電子装置及び電子システムでは、アナログ画像信号と比較してより優れたピクチャ品質を、前述のピクチャがディジタル化画像データから得られる場合、視聴者に向けて提示することが可能であることが明らかになった。前述の利点は、放送画像コンテンツ（例えば、衛星TV）のみならず、例えば最近ではDVDから提供される記録済画像コンテンツにも関する。画像系列がディジタル化されると比較的大量のデータを作成することができるために、種々の画像データ圧縮手法が開発されている。前述の手法の一部によって、一連のMPEG標準などの確立された国際標準が生まれている。MPEGは、動画像専門家グループの略である。

MPEG２圧縮では、ディジタル化画像データを圧縮してMPEG圧縮画像データを生成することが可能である。前述の圧縮は、40:1乃至60:1の範囲のデータ・サイズ削減をもたらすことができる。MPEG符号器は、画像系列をイントラ（Ｉ）フレーム、予測（Ｐ）フレーム及び双方向（Ｂ）フレームに分類するよう動作可能である。Ｉフレームの利用は、ピクチャ群（ＧＯＰ）構造が符号器において用いられる理由で生じる。例えば、ＧＯＰ構造は、Ｉフレームの最良の品質、Pフレームのより低い品質を達成しようとするフレーム系列IPPB BBPPBBBを備えることが可能である。Bフレームは、「過去及び将来」のフレームからの情報（すなわち、双方向情報）を用いるよう構成される。GOP構造はMPEG符号化に先行して判定され、用いられるグループ化は、ビデオ・コンテンツ情報と無関係である。GOP内の連続画像は多くの場合、単に変動を（例えば、流れベクトルによって）表すことによってかなりのデータ圧縮を達成することが可能であるようにより段階的に変動する。そうした圧縮は、前述のPフレーム及びBフレームを用いることによって達成される。MPEG２データ圧縮中に、系列内の画像はマクロブロックに分割される。各マクロブロックは好都合には、16×16画素の2次元フィールドを備える。前述のマクロブロック生成には、画像を２つのフィールドにインタレース形式で分割することが関係する。各フィールドは、対応するフレームの画素行数の半分、及び対応するフレームの画素列の同数を含む。よって、16×16フレームのマクロブロックは、対応するフィールドにおける8x16のマクロブロックになる。前述の流れベクトルを用いて、系列内の特定の先行画像のマクロブロックからその後続画像のマクロブロックへの変遷を表す。

MPEG圧縮データの生成において、変換を用いて、選択されたマクロブロックの画素の輝度及び色の情報を圧縮データの対応するパラメータに変換する。MPEG標準によれば、離散コサイン変換（DCT）を有益に用いてパラメータを生成する。パラメータは、対応するマクロブロック画素のディジタル化輝度情報及びディジタル化色情報の変換を表すディジタル値である。更に、パラメータは従来、1乃至31（すなわち、MPEG圧縮データに含まれるヘッダの5つの2値ビットによって表される）の範囲にくるよう量子化され、クリッピングされている。更に、テーブル・ルックアップ手法が、パラメータを生成するようDCT係数を量子化するために好都合に利用される。

画像系列に対応する画像データのMPEG符号化によって、MPEG符号化された管理可能な出力データ・レートがもたらされることを確実にしようとするために、例えば、米国特許第6463100号明細書に開示されているように、複雑度算出器を利用することが慣用である。複雑度算出器は、メモリに記憶された画像の空間複雑度を算出するように動作可能である。更に、複雑度算出器は、許容可能な限度内に符号化出力データ・レートを維持するよう量子化レートを制御するビット・レート・コントローラに結合される。ビット・レート・コントローラは、複雑度算出器によって計算される空間複雑度の関数として量子化レートを制御するよう動作可能である。特に、出力データの生成に使用される量子化は、高い空間複雑度が複雑度算出器によって識別される場合、より粗くされ、低い空間複雑度の場合、より粗くなくされる。よって、空間複雑度を用いて、量子化のビット・レート制御を制御するために用いる。更に、規定されたビット・レートが、転送ビット・レートに従って画像群（GOP）に割り当てられる。ビットは、Iフレームか、Pフレームか、又はBフレームかによって各ピクチャの複雑度に従って各画像に割り当てられる。

米国特許第6463100号明細書に開示されたデータ圧縮手法は更なるデータ圧縮をもたらすことができるが、実際には、前述の圧縮は、望ましくないアーチファクトを（特に、シーンの急速な変動が生じ、瞬間的に、潜在的に高いデータ・レートをもたらす場合に）もたらし得る。本願発明者は、本発明を考え出すうえで、高い度合いのデータ圧縮が用いられる場合、望ましくないアーチファクトというこの課題を解決しようとし、それによって、後続画像データ復元後、より許容可能な画像品質がもたらされている。

本発明の目的は、画像系列を表す対応する処理出力データを生成するよう、データ・プロセッサにおいて画像系列を備えるビデオ入力信号を処理する改良された方法を提供することである。

本発明の第１の局面によれば、対応する処理出力データを生成するよう、データ・プロセッサにおいてビデオ入力信号を処理する方法を提供する。上記方法は、
(a)データ・プロセッサにおいてビデオ入力信号を受信する工程であって、ビデオ入力信号が画像の系列を含み、画像がそれぞれ、画素によって表される工程と、
(b)画像毎に少なくとも１つの画素群を生成するよう画素をグループ化する工程と、
(c)対応する代表的な変換パラメータに少なくとも１つの群を変換する工程と、
(d)少なくとも1つの群の変換パラメータを符号化して、対応する量子化変換データを生成する工程と、
(e)ビデオ入力信号を表す処理出力データを生成するよう量子化変換データを処理する工程とを含み、
工程(d)における変換パラメータの符号化は、画像系列において伝達される空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを用いて実現する。

本発明は、特定のデータ量の場合に、ビデオ入力信号のより許容可能な表現である処理出力データを生成することができるという点で効果的である。

任意的には、上記方法では、少なくとも1つの群は、少なくとも１つの画素ブロックに対応する。画素ブロックを用いることによって、上記方法が、ブロック表現に基づく従来の画像処理方法の改良に適用可能になる。

任意的には、上記方法では、特定の群に用いられる量子化ステップ・サイズは、画像系列においてそれに対して局所である空間時間的情報の関数として求められる。処理出力データに存在するデータ・ビットを、より適切に入力ビデオ信号を表すためにより効果的に割り当てることが、ビットの前述の割り当てを行ううえでひどく大きな計算リソースを必要としない一方で可能であるという点で、空間的時間情報及び局所時間情報を用いることはかなり有利である。

任意的には、上記方法では、量子化ステップ・サイズは、画像系列において伝達される空間時間的情報の統計解析の関数として求められる。前述の統計解析は、より高い精度で処理されることを必要とする入力ビデオ信号の画像の一部を求めるうえでより適切な指標である統計パラメータをもたらすことができる。

任意的には、上記方法では、量子化ステップ・サイズは、画像系列の各群内で発生する垂線流れの関数として求められる。垂線流れは、群に関連した画像速度の局所成分である。より任意的には、上記方法では、垂線流れは、群と関連する画像輝度データ及び画像色データの少なくとも一方から群毎に局所的に計算される。適切な量子化ステップを求めるためのパラメータとして垂線流れを用いることによって、実際に、他の現代の高度な画像圧縮手法と比較して、後続復元においてより良好なデータ圧縮結果がもたらされることが明らかになった。

任意的には、上記方法では、垂線流れの統計解析には、群毎の垂線流れの平均及び分散の大きさの計算が関係する。実際には、垂線流れの分散は、画像系列圧縮の場合に最も効率的にどこでビットを割り当てるべきかを判定するのに特に有用である。

任意的には、上記方法では、特定の群の量子化ステップ・サイズの調節は、関係
q_sc_m =((δ.q_sc）±（λ.Γ(x)）)
に従って実質的に線形的に実現される。

ここで
Γ(x)=x.e^−(x−1)（すなわち、非線形変調をもたらすシフトされたガンマ関数又はアーラン関数）であり、
x=垂線流れの大きさの分散、
λ=乗算係数、
δ=乗算係数であり、
q_sc=量子化スケールである。

前述の関係は、画像系列を圧縮する場合、ビットのより効率的な割り当てをなお更にももたらすことができる。

任意的には、上記方法は、工程(c)の離散コサイン変換（DCT）を使用し、MPEG標準に従って画素群を生成するよう適合させる。上記方法を現代のMPEG標準に適合させることによって、必要な変更が比較的わずかで既存のシステム及び機器とともに実施可能な方法をレンダリングすることができる。

本発明の第２の局面によれば、本発明の第１の局面による方法に従って生成される処理ビデオ・データを提供する。上記データは、上記処理ビデオ・データによって表される画像系列にある空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを使用して処理される。

任意的には、処理ビデオ・データは、データ担体上（例えば、ＤＶＤ上）に記憶される。

本発明の第3の局面によれば、ビデオ入力信号を受信し、対応する処理出力データを生成するプロセッサを提供する。プロセッサは、処理出力データの生成において本発明の第１の局面による方法を適用するよう動作可能である。

本発明の第4の局面によれば、画像系列に対応する復号化ビデオ出力データを生成するよう、データ・プロセッサの処理入力データを復号化する方法を提供する。上記方法は、
(a)データ・プロセッサにおいて処理入力データを受信する工程と、
(b)対応する量子化変換データを生成するよう処理入力データを処理する工程と、
(c)画像系列の少なくとも１つの画素群の変換パラメータを生成するよう量子化変換データを処理する工程と、
(d)変換パラメータを対応する画素群に復号化する工程と、
(e)復号化ビデオ出力データに含めるための対応する画像系列を生成するよう画素群を処理する工程とを含み、
画像系列において伝達される空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを用いて復号化するよう工程(d)において動作可能である。

任意的には、上記方法では、少なくとも１つの画素群は、少なくとも１つの画素ブロックに対応する。

任意的には、上記方法では、特定の群に使用される量子化ステップ・サイズを、画像系列の特定の群に対して局所である空間時間的情報に依存させる。より任意的には、上記方法では、量子化ステップ・サイズは、画像系列において伝達される空間時間的情報の統計解析の関数として求められる。

任意的には、上記方法では、量子化ステップ・サイズは、画像系列の各群内で発生している垂線流れの関数として求められ、垂線流れは、群に関連した画像速度の局所成分である。

任意的には、上記方法では、垂線流れは、群と関連する画像輝度データ及び画像色データの少なくとも一方から群毎に局所的に計算される。

任意的には、上記方法では、垂線流れの統計解析は、マクロブロック毎の垂線流れの平均及び分散の大きさの計算を含む。

任意的には、上記方法では、特定群の量子化ステップ・サイズの調節は、
q_ sc_ m =（（δ.q_ sc）±（δ.Γ（x）））
によって実質的に線形的に実現される。
ここで、
Γ（x）= x.e^−(x−1)（すなわち、非線形変調をもたらすシフトされたガンマ関数又はアーラン関数）であり、
x=垂線流れの大きさの分散、
λ=乗算係数、
δ=乗算係数であり、
q_ sc=量子化スケールである。

任意的には、上記方法は、工程（d）で離散コサイン変換（DCT）を使用し、MPEG標準に従って画素群を処理するよう適合させる。

本発明の第5の局面によれば、処理入力データをその中で復号化して、画像系列に対応するビデオ出力データを生成するプロセッサを提供し、上記プロセッサは、ビデオ出力データを生成するために本発明の第4の局面による方法を使用するよう動作可能である。

本発明の第6の局面によれば、画像系列に対応するビデオ・データを処理する装置を提供し、上記装置は、本発明の第3の局面によるプロセッサ及び本発明の第5の局面によるプロセッサの少なくとも一方を含む。任意的には、上記装置は、携帯電話機、テレビジョン受像機、ビデオ・レコーダ、コンピュータ、ポータブル・ラップトップ型コンピュータ、ポータブルＤＶＤプレーヤ、写真撮影用カメラのうちの少なくとも１つとして実現される。

本発明の第7の局面によれば、ビデオ・データを配信するシステムを提供する。上記システムは、
(a)画像系列に対応するビデオ入力を受信し、対応する処理出力データを生成する、本発明の第3の局面による第１のプロセッサと、
(b)処理出力データをその中で復号化して、画像系列に対応するビデオ・データを生成する、本発明の第5の局面による第2のプロセッサと、
(c)符号化データを第１のプロセッサから第2のプロセッサに伝達するデータ伝達装置とを含む。

任意的には、上記システムでは、上記データ伝達装置は、データ記憶媒体及びデータ配信ネットワークの少なくとも一方を含む。例えば、上記システムは、インターネットを介して又は移動体電話（携帯電話）ネットワークを介して実現可能である。

本発明の第8の局面によれば、本発明の第１の局面による方法を実現する計算ハードウェアにおいて実行するソフトウェアを提供する。

本発明の第9の局面によれば、第4の本発明の局面による方法を実現する計算ハードウェアにおいて実行するソフトウェアを提供する。

本発明の特徴は、本発明の範囲から逸脱しない限り、いかなる組み合わせにおいても組み合わせることができる。

本発明の実施例は次に、単に例を挙げて、かつ添付図面を参照して説明する。

図1を参照すれば、本発明によるシステムを示す。システムは全体を10によって示す。
システム10は、第1のプロセッサ20と、第2のプロセッサ30と、第1のプロセッサ20から第2のプロセッサ30にデータ40を伝達する装置とを備える。更に、第1のプロセッサ20は、時間的画像系列を含む入力ビデオ信号を供給するデータ源にその入力50において結合される。更に、第2のプロセッサ30は、システム10のユーザ90に画像モニタ80を介して表示するための画像を生成することができる復元画像出力データを提供するための出力60を含む。復元画像出力データは、入力ビデオ信号に含まれる画像の表現である。画像モニタ80は、いかなるタイプの汎用ディスプレイ（例えば、液晶装置（ＬＣＤ）、プラズマ・ディスプレイ、陰極線管（CRT）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイやエレクトロルミネセント・ディスプレイ）でもあり得る。第1のプロセッサ20から第2のプロセッサ30にデータ40を伝達する装置は、いくつかの別々のやり方（例えば、
(a)データ通信ネットワーク（例えば、インターネット）経由、
(b)地上無線ブロードキャスト・ネットワーク経由（例えば、無線ローカル・エリア・ネットワーク（WAN）経由、衛星伝送経由、又は極超短波伝送経由）、及び
(c)磁気ハード・ディスク、DVDなどの光ディスク、データ・メモリ・カードやモジュールなどのソリッドステート・メモリ装置などのデータ担体経由
のうちの少なくとも１つ）で実現することができる。

第１のプロセッサ20及び第２のプロセッサ30は、カスタムのハードウェア（例えば、特定用途向集積回路（ASIC））を用いるか、適切なソフトウェアを実行するよう動作可能な計算ハードウェアにおいてか、又は、前述のハードウェア及び計算ハードウェアと、関連したソフトウェアとの何れかの混成物において実現することができる。

図2を参照すれば、第1のプロセッサ20内で実行される、MPEGに似た画像処理の概要を示す。時間軸102を参照して系列100を示す。系列内の左側画像は右側画像に先行する。更に、相互に直交する空間軸104、106を設ける。系列100内の各画像は、ペルとしても知られる画素エレメント・アレイを備える。系列100は、ピクチャ群（GOP）の当初Iフレーム(I)の形成に適したピクチャを判定するようプロセッサ20において、矢印110によって表されるように処理される。前述のIフレームから予測することができる他のピクチャは、前述のように、Bフレーム又はPフレームとして表す。例えば、系列100のIフレームが識別される場合、Iフレームはマクロブロック（例えば、16×16ペルを含むマクロブロック130）に区分される。例えば、ペル140、150は、はす向かいの位置関係にある、画素マクロブロック130のペルである。マクロブロック130には空間的に隣接したマクロブロック（例えば、マクロブロック134、136）及び時間的に隣接したマクロブロック（例えば、マクロブロック132、138）が隣接する。空間的に隣接したマクロブロック及び時間的に隣接したマクロブロックは、本明細書及び特許請求の範囲において、空間的に局所のマクロブロック、時間的に局所のマクロブロックとも表す。マクロブロックそれぞれは次いで、p₁乃至p_n（nは、各変換マクロブロックを表すのに要求される変換パラメータ数に対応する整数である）を含む対応するパラメータ170の系列を生成するよう、矢印160によって表す変換（例えば、離散コサイン変換（DCT）、又は波形変換などの代替策）によって処理される。パラメータ170それぞれは、最上位ビット184及び最下位ビット182を含む。パラメータp₁乃至p_nの下位ビットは、190によって示されるパラメータp₁乃至p_nの上位ビットの系列をもたらすために180によって表される量子化によって除外される。上位ビット190の系列は、200によって表される圧縮出力データを生成するために、画像100の系列に関する他のデータ195（例えば、ヘッダ・データ）と結合される。前述の圧縮は、例えば、現在知られているエントロピ符号化を用いる。出力データ200は、次いで、前述のデータ40としての記憶又は伝送のためにプロセッサ20から出力される。
本発明に関連することには、対応する量子化パラメータ190（すなわち、示される領域180において表されるデータ・ビット数）を生成するためにパラメータ170に施される量子化ステップのサイズがある。

前述したように、画像フレーム単位でパラメータp₁乃至p_nに施される量子化ステップを異ならせることが知られている。更に、量子化ステップ・サイズを、各フレーム内に含まれる空間情報（例えば、空間複雑度）の関数にすることが知られている。第1のプロセッサ20は、量子化ステップ・サイズがマクロブロック・フレーム内又はマクロブロック群内で異なっている（各群は１つ又は複数のマクロブロックを含む）という点で、前述の既知の手法と区別される。更に、量子化ステップ・サイズは、各群の周りの空間複雑度及び各群の周りの時間活動の関数である。

例えば、プロセッサ20では、マクロブロック130は、表したようにパラメータ170をもたらす。前述のパラメータ170は、180によって表す量子化ステップ・サイズを使用してその後量子化される。ステップ・サイズ180は、とりわけ、空間的に隣接したマクロブロック134、136から得られる空間複雑度情報、及び時間的に隣接したマクロブロック132、138から得られる時間情報の関数である。

マクロブロック単位で量子化ステップ・サイズを異ならせることによって、特定の出力データ200のボリュームの場合に、視聴者に最も認識可能であり、それによって、画像品質を向上させる画像特徴に関する、出力データ200における詳細を含めることが可能である。よって、プロセッサ20は、第2のプロセッサ30における再生画像品質を向上させるために、これまで可能だったよりも最適に出力データ200においてビットを使用することができる。

要約すれば、本願発明者は、系列100の画像内で生じる垂線流れが前述の量子化ステップ・サイズの制御に有用なパラメータであることを認識している。垂線流れは、物体形状、物体テクスチャの微細な特徴、及びその見かけの動きに関する情報を考慮する。任意的には、本願発明者によって、垂線流れの大きさの分散が、画像フレーム内のマクロブロック群の何れかの特定のマクロブロックを処理する場合に、使用する最適量子化ステップ・サイズを求めるのに特に有用な尺度であることが明らかになった。例えば、量子化スケール、及び、よって、量子化ステップ・サイズq_sc_mは有益には、等式1.1（式1.1）に規定されるように、実質的に、垂線流れの大きさの分散の関数である。

q_ sc_ m =（（δ.q_ sc）±（λ.Γ（x））） 式1.1
ここで、
Γ（x）=xe^−(x−1)（すなわち、非線形変調をもたらすシフトされたガンマ関数又はアーラン関数）であり、
x=垂線流れの大きさの分散、
λ=乗算係数、
δ =乗算係数であり、
q_sc =量子化スケールである。

更に、本願発明者によって、マクロブロック又はマクロブロック群それぞれを処理するために量子化ステップの適切な値を直接得るパラメータとして理想的でないようにかなり分散vが異なることが実験から明らかになった。前述の分散は使用が表面的に理想的であるように見えないが、量子化ステップ・サイズを得ることが可能な適切な数を生成するよう分散vを処理することが可能であるように分散の確率分布（例えば、確率分布の末尾）を考慮に入れることが有益であることを本願発明者は認識している。

本発明は、特に空間テクスチャ量が高い場合及び局所の細部も時間変動する場合、画像内で局所的に画像品質を改善することができる点で有益である。本発明による適応的量子化が、より複雑な画像の系列（例えば、ビデオ）の場合に用いられない場合、視覚アーチファクト（例えば、濃淡のむらを含む）が生じる。従来、本発明と対照的に、特定の画像のマクロブロック全てに使用する一様な量子化スケールは、必要であるより多くの空間テクスチャ及び時間テクスチャを潜在的に含んでいる対応するマクロブロックをもたらすか、又は、細部全てを適切に表すのに適切な数のビットが与えられない。よって、本発明による適応的量子化手法は、目立つ濃淡のむらがみられる確率を削減することができる。前述の削減は、空間テクスチャ、時間テクスチャ、及び画像の動きに基づいてフレーム（すなわち、フレーム・マクロブロック）毎にビットのより適切な配分によって達成される。

本発明の実施例は次に、更に詳細に説明する。

前述の垂線流れは、局所画像速度又はオプティカル・フローの垂線成分（すなわち、空間画像勾配に平行である）として定義される。垂線画像速度は、図3にて示すように、画像100の系列の各画素において垂線成分及び接線成分に分解可能である。前述の2つの成分は、明確に画定された画像境界において、又は表されるように特定の目標画素220を輪郭が通過する場合に認識することが特に簡単である。例えば、点Aから点Bまで境界線に沿って進む場合、点Aにおける画素220と関連する垂線画像速度及び接線画像速度は、点Bにおいて前述の空間的向きを変える。点Aにおける垂線速度及び接線速度はV_A,n、V_A,tそれぞれによって表される一方、点Bにおける垂線速度及び接線速度はV_B,n、V_B,tそれぞれによって表される。

図3にて示したように、垂線流れ及び接線流れは常に互いに90度で直交している。垂線流れの重要な特性は、比較的直接計算可能である唯一の画像速度成分であることである。接線成分は、合理的に計算することが可能でない。垂線流れの計算を次に、更に明らかにする。

画像輝度は、点Pの場合、I(x,y)によって表す。この輝度は、導き出す目的で、点Pが時間tにおける第１の位置（x、y）から時間t’=t+Δtにおける第２の位置(x’,y’)に移動するにつれて一定である。位置Pの空間座標は、したがって、等式1.2（式1.2）に従って表すことが可能である。

ここで、

は、第１の位置から第２の位置への移動に関する速度ベクトルである。このベクトルは、図３に示す、対応するベクトル成分v_x及びv_yを含む。

ΔTが比較的小さい場合の近似には、等式1.3（式1.3）が関係する。

x'=x+（v_x.Δt） 式1.3
y'=y+（v_y.Δt）
t’=t+Δt
テイラー展開を次いで、第１の位置及び第２の位置において輝度をほぼ等しくするよう施すことが可能である。すなわち、等式1.4（式1.4）においてI（x’,y’,t’）≒I（x,y,t）である。ここで、I（x’,y’,t’）のテイラー展開は、Δtにおいて一次まで示しており、高次展開項は無視している。

I（x’,y’,t’）≒I（x,y,t）であるため、等式1.4から、対応する等式1.5（式1.5）を得ることが可能である。

ここで、

である。

は等式1.5においてベクトル

及びベクトル

のスカラ積を表す。

図3をみると、点A及び点Bへの参照を無視すれば、

である。
ベクトル

は、前述の画像輝度勾配

に垂直の画素等輝度行（すなわち、エッジ）に対する、ベクトル

の垂線成分である。ベクトル

は、ベクトル

の垂線成分であり、垂線成分

及び

に垂直である。等式1.7（式1.7）は、等式1.8(式1.8)

をもたらすよう約分可能である。これから、垂線流れベクトル

の大きさを等式1.9(式1.9)

によって計算可能であり、垂線流れベクトル

の単位ベクトル方向を等式1.10（式1.10）によって計算可能である。

画像速度に関する、等式1.9及び1.10において規定する垂線流れは、局所画像輝度勾配の向きの尺度としての役目も担う。等式1.10によって規定される垂線流れベクトルの方向におけるばらつきも、画像の単位領域毎の画像空間テクスチャの量の暗黙的な尺度である。この尺度は、本発明を実現する場合に使用するのに適切な量子化ステップ・サイズを求めるために利用可能である。

プロセッサ20では、等式1.9及び1.10では、I(x,y,z)をI[i][j][k]で近似することによって離散的に計算される（i,j,kは指数である）。前述の離散的手法を採用することによって、図4に全体を250によって示す画像輝度立方体表現を用いて空間微分及び時間微分の近似を計算することが実現可能である。輝度立方体表現は、立方体の頂点毎に規定された輝度値を有する。プロセッサ20では、後に更に詳細に説明するように垂線流れの統計が計算される。

図2にて図示したように、画像120の系列において、2つの連続した画像フレームI₁及びI₂が存在していると仮定すれば、垂線流れの大きさの分散は、ステップが表1の概要に表されているアルゴリズムを用いてプロセッサ20において算出可能である。

工程3において計算される平均は、μ_Bによって好都合に表される。同様に、工程2において計算される分散は、σ_Bによって好都合に表される。N×Nのペル群のμ_B及びσ_Bの値（すなわち、サイズがN×Nペルの画像ブロック）は、等式2.1及び2.2（式2.1及び2.2）を用いてプロセッサ20において計算可能である。

任意的には、プロセッサ20において画像処理を実行する場合、ペル群は、ペル・ブロック（例えば、8×8ペル又は16×16ペルのブロック）になるよう選択される。前述のブロックを用いることによって、画像が方形ブロックに細分される。ピクチャの残りは何れも、細分されない状態に留まる。ペル・ブロックの生成は符号器20によって処理される。しかし、入力ビデオは有益には、関連したペルが生じないように適切な画像寸法を有する。より任意的には、残りの非細分画像領域を削減するために、矩形細分を用い、垂線流れの分散を使用することが可能である。しかし、矩形グループ化を用いる前述の手法は、場合によっては、MPEG8×8（DCT）やMPEG16×16（MC）などの標準に関するアライメントの課題をもたらし得る。

プロセッサ20における処理の実行において、各群（例えば、ブロック）内の特徴値の計算は、
(a)所定の閾値Tよりも｜∇I(x,y,t)｜が大きいペル（すなわち、画素）それぞれにおいて、又は、
(b)所定の閾値T_GΓよりも｜∇I(x,y,t)｜が大きい特徴点において
実現される。

有益には、閾値T及びT_GΓは、T<T_GΓであるように設定される。

前述の本発明の実施例は、更なる精緻化を含むことができる。第1の任意の特徴は、画像登録である。更に、第2の任意の特徴は、垂線流れの大きさの分散の後処理としての平滑化である。

プロセッサ20によって実行される処理機能に画像登録を含めることには、カメラの速い動き（例えば、パニング動作やズーム動作）によって生じる作用を考慮に入れることができる。この特徴は、ペル群毎（例えば、マクロブロック毎）の速度補償のかたちで、表1に概説された工程に加えられる。前述の補償を含めることを必要とする理由は、等式1.9及び1.10（式1.9及び1.10）が近似（すなわち、低位乃至中位の画像速度値の場合にのみ、相当に正確であるΔtの一次テイラー展開）であることによって生じる。連続する画像を、それらの大局画像速度に関して登録することによって、連続する画像の代わりに、特定の画像及びその登録対画像の前述の垂線流れを計算することが可能である。前述の動き補償によって、前述した近似を使用するのが適切になる。画像が登録されると（例えば、カメラの動きを補償するために）、垂線流れが計算される残差動きは、テイラー展開を使用する近似の制約を満たすには十分に小さい。好都合には、運動補償を実現する場合に、速度推定の3DRS手法がマクロブロック毎に使用される。3DRS手法は、フィリップス社によって開発されており、マクロブロック・ブロック・ベースの動き推定は何れも登録に適しているという特性を利用する。

垂線流れの大きさの分散の後処理として平滑化を含めることは好ましくは、図5に示すように、一次近傍情報を用いることによってプロセッサ20において実現される。前述の平滑化を実行する場合、特定のペル群（例えば、特定のm×nペルのブロック（m,n））について計算される垂線流れの大きさの分散は有益には、近傍群（例えば、ブロック（m、n−1）（m、n+1）（m、n+1）（m−1、n）及び（m+1、n））の関数として平均化される。直接隣接する前述のブロックは、一次近傍として知られている。特定群のこの分散の前述の平滑化を施すことによって、結果として生じる平滑化された分散値が、微妙なばらつきに影響を受けることが少なくなる。

前述したように、プロセッサ20において画像処理を実行する場合、標準的なMPEG画像グリッドと整合する8×8画素として実現されるペル群の使用が好都合である。前述の群は、IフレームのDCT/IDCT計算に対応し、空間詳細情報を表す。あるいは、プロセッサ20において前述の画像処理を実行する場合、MPEG／H.26xビデオ標準に準拠したブロック・ベースの動き推定において動き補償（MC）を行うようPフレーム及びBフレームのマクロブロックを処理する場合にMPEG画像グリッドと整合する16×16画素として実現されるペル群を利用することも好都合である。前述の実現は、空間時間的情報を表すことを可能にする。

前述において、量子化ステップ・サイズが、垂線流れ、任意的には垂線流れの大きさ又はその統計の分散（平均や分散など）の関数として変えられる。量子化ステップ・サイズは同様に、垂線流れ分散の関数として適応的に修正されるq_scによって表す量子化スケールによって求められる。実験から、本願発明者によって、垂線流れの大きさの分散σ_Vn（例えば、等式2.2（式2.2）から計算される）が、ガンマ型関数（前述の関数はアーラン関数としても知られている）に対する比較的厳密にプロファイルが合っているヒストグラムを有することが本願発明者によって認識されている。本願発明者は、低い空間テクスチャを有する画像領域において比較的低い値を垂線流れの大きさの分散が有することも実験から明らかにした。前述の低い分散値は、図5の黒いヒストグラム・バーによって表される。特定のマクロブロックが可変速度で移動する場合、比較的高い分散値が、図5の白いヒストグラム・バーによって表されるものとして生成される。
特定のマクロブロックが可変速度で移動すると、比較的高い分散値が、図5の白いヒストグラム・バーによって表されるものとして生成される。好都合には、ペル群（例えば、マクロブロック）毎に用いられる量子化スケールのマルチ分割モデルは、2つ以上の分割を含む。任意的には、出力データ40を生成する場合に、等式3.1乃至3.3（式3.1乃至3.3）
q_m_low =（（δ_low.q）+（λ_low.Γ(x)）） 式3.1
q_m_mid =（（δ_mid.q）−（λ_mid.Γ(x)）） 式3.2
q_m_high =（（δ_high.q）−（λ_high.Γ(x)）） 式3.3
に規定されたように用いられる３つの別々のスケール係数を備えた３分割モデルが利用される。ここで、q_m及びqは、変調量子化スケール及び非変調量子化スケールそれぞれを表すパラメータである。更に、ガンマ関数を表すよう数式Γ(x)=x.exp（−（x−1））が含められる。パラメータδ及びλは調節可能なパラメータである。更に、等式3.1の加算「+」は、垂線流れの大きさの分散の低い大きさに対応する画像領域をモデル化するために含まれている。更に、等式3.2及び3.3の減算「−」は、画像のきめのある領域に最もうまく対処するために含まれている。「低」「中」及び「高」の語は、低量子化スケール係数、中量子化スケール係数及び高量子化スケール係数それぞれを表すために含まれている。

マルチ分割を用いることは、潜在的量子化スケール係数の連続範囲として、出力データ200におけるより好適なデータ圧縮を得るうえで効果的である。よって、量子化ステップ・サイズは、プロセッサ20によってサポートされなくてよい。例えば、３分割の場合に、ペル群毎に選択される変調量子化スケール係数は、スケール係数を例えば、5ビット・スケールに従った、より大きな分解能である分割に適合させたにもかかわらず、出力データ200における２つのデータ・ビットによって表すことが可能である。任意的には、マルチ分割の数は、スケーリング係数に可能な実際の分解能の少なくとも5分の１以下である。

本発明は、DVD+RW手段で使用される場合に、DVD+RW記録の視覚品質を向上させることができる。更に、本発明は、特に、新しいタイプのディジタル表示アーチファクトがみられるディジタル表示装置の更なる使用に鑑みて、適切なデインタレース、及び提示される画像鮮鋭度の改善が現代の技術的課題である高性能テレビジョン受像機にも関する。更に、本発明は、画像をユーザに向けて提示することができる移動体電話機（携帯電話機）、携帯情報端末（ＰＤＡ）、電子ゲームや同様な個人向電子装置にも関連する。前述の装置には現代では多くの場合、記憶（例えば、小型ハード・ディスク・ドライブ上、光ディスク・ドライブ上や、前述の装置のソリッドステート・メモリ内の）に先行して出力信号がデータ圧縮を受ける電子画素アレイ・カメラが備えられている。本発明は、前述の装置に例えば無線によって通信される画像データにも関する。

システム10では、第2のプロセッサ30は圧縮データ40を受け入れ、ディスプレイ上の、ユーザ90に向けた表示のためのデータ60を生成するためにデータ40において表す各画像フレーム内の可変量子化ステップ・サイズを、必要に応じて施して、これを復元するよう設計されている。ペル群（例えば、マクロブロック）を再生する場合、画像100の系列の表現を再編成するために、ペル群（例えば、マクロブロック）を再生するための逆変換（例えば、逆離散コサイン変換（IDCT））を受けるパラメータの再生において可変量子化ステップ・サイズを施す。逆離散コサイン変換（IDCT）は好都合には、ルックアップ・テーブルによって実現される。プロセッサ30は、よって、使用する量子化ステップ・サイズを示す更なるパラメータをデータ40に含めることを認識するよう設計される。任意的には、前述のパラメータは、前述の等式3.1乃至3.3に関して概説したような予め宣言された量子化スケール係数の分割を示すことが可能である。

関数を表２に記載する、プロセッサ30において実行される処理動作は、図７に略示する。しかし、前述の動作の他の実現形態も実現可能である。表２に表す関数500乃至550は、図7の矢印によって示す順序で実行される。

関数を表３に記載する、プロセッサ２０において（例えば、表1に表す工程1乃至5を実現するために）実行される処理動作は図８に示す。しかし、前述の動作の他の実現形態も実現可能である。表３に表す関数600乃至640は、図8において矢印によって示す順序で実行される。

前述の通り、プロセッサ20、30は好都合には、適切なソフトウェアを実行するよう動作可能な計算ハードウェアによって実現される。しかし、他の実現形態（例えば、専用のカスタムのディジタル・ハードウェア）が可能である。

前述の本発明の実施例は、特許請求の範囲記載の本発明の範囲から逸脱しない限り、修正することができる。

特許請求の範囲では、括弧内に含まれる数字やその他の記号は請求項の理解を支援するために含まれており、いかなるやり方においても請求項の範囲を限定することを意図するものでない。

「comprise」、「include」、「incorporate」、「contain」、「is」及び「have」などの表現は、本明細書及び特許請求の範囲を解釈する場合に非排他的に解される（すなわち、明示されていない他の項目又は構成部分も存在することを可能にするよう解される）ものとする。単数形への参照は、複数形への参照としても解されるものとし、逆も同様である。

方法を使用するよう動作可能であることは、方法工程を（例えば、ASICのようなプロセッサ上又はハードウェア上で実行するソフトウェアとして）行うよう構成された、又は構成可能な手段が（例えば、工程毎に１つ）存在していることを意味する。

対応する圧縮処理出力データを生成するようビデオ入力信号を処理する第1のプロセッサと、ビデオ入力信号の表現を生成するよう処理出力データを処理する第2のプロセッサとを備える、本発明によるシステムの概略図である。 図1のシステムの第1のプロセッサ内で実行されるデータ圧縮の概略図である 一様な速度

で移動する輪郭の2点における垂線流れ及び接線流れの概略図である。
図1における第1のプロセッサにおける流れを求めるために利用する2つの2×2×2の画像輝度立方体表現の概略図である。 垂線流れの分散を平滑化するために使用する一次近傍を示す図である。 垂線流れの大きさの分散のヒストグラム例である。 図１におけるシステムの第１のプロセッサ内で実行される関数の概略図である。 図１のシステムの第２のプロセッサ内で実行される関数の概略図である。

Claims (28)

1. 対応する処理出力データを生成するようデータ・プロセッサにおいてビデオ入力信号を処理する方法であって、
   (a)前記データ・プロセッサにおいて前記ビデオ入力信号を受信する工程であって、前記ビデオ入力信号が画像の系列を含んでおり、前記画像がそれぞれ、画素によって表される工程と、
   (b)前記画素をグループ化して、画像毎に少なくとも１つの画素群を生成する工程と、
   (c)対応する代表的な変換パラメータに前記少なくとも１つの群を変換する工程と、
   (d)前記少なくとも１つの群の前記変換パラメータを符号化して、対応する量子化変換データを生成する工程と、
   (e)前記ビデオ入力信号を表す前記処理出力データを生成するよう前記量子化変換データを処理する工程とを含み、
   工程(d)において前記変換パラメータを符号化する工程は、前記画像の系列において伝達される空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを用いて実現される方法。
2. 請求項１記載の方法であって、前記少なくとも１つの群が少なくとも１つの画素ブロックに対応する方法。
3. 請求項１記載の方法であって、特定の群に使用される前記量子化ステップ・サイズは、前記画像の系列においてそれに対して局所である空間時間的情報の関数として求められる方法。
4. 請求項１記載の方法であって、前記量子化ステップ・サイズは、前記画像の系列において伝達される空間時間的情報の統計解析の関数として求められる方法。
5. 請求項４記載の方法であって、前記量子化ステップ・サイズは、前記画像の系列における各群内に生じる垂線流れの関数として求められ、前記垂線流れは、前記群に関連した画像速度の局所成分である方法。
6. 請求項５記載の方法であって、前記垂線流れは、前記群と関連する画像輝度データ及び画像色データの少なくとも一方から群毎に局所的に計算される方法。
7. 請求項５記載の方法であって、前記垂線流れの前記統計解析は、群毎に前記垂線流れの平均及び分散の大きさを計算する工程を含む方法。
8. 請求項５記載の方法であって、特定の群の前記量子化ステップ・サイズの調節は、関係
   q_ sc_ m =（（δ.q_ sc）±（λ.Γ（x）））
   に従って実質的に線形的に実現され、
   ここで、
   Γ(x)=xe^−(x−1)（すなわち、非線形変調をもたらすシフトされたガンマ関数又はアーラン関数）であり、
   x=垂線流れの大きさの分散、
   λ=乗算係数、
   δ =乗算係数であり、
   q_sc=量子化スケールである方法。
9. 請求項１記載の方法であって、工程(c)における離散コサイン変換（DCT）を使用し、MPEG標準に従って画素群を生成するよう適合させた方法。
10. 請求項１記載の方法によって生成される処理ビデオ・データであって、前記データは、前記処理ビデオ・データによって表される画像の系列において存在している空間時間的情報の関数として動的に可変である量子化ステップ・サイズを使用して処理される処理ビデオ・データ。
11. データ担体上例えばＤＶＤ上に記憶された請求項10記載の処理ビデオ・データ。
12. ビデオ入力信号を受信し、対応する処理出力データを生成するプロセッサであって、前記処理出力データの生成において請求項１記載の方法を施すよう動作可能なプロセッサ。
13. 処理入力データをデータ・プロセッサにおいて復号化して、画像の系列に対応する復号化ビデオ出力データを生成する方法であって、
    (a)前記データ・プロセッサにおいて前記処理入力データを受信する工程と、
    (b)対応する量子化変換データを生成するよう前記処理入力データを処理する工程と、
    (c)前記画像の系列の画素の少なくとも１つの群の変換パラメータを生成するよう前記量子化変換データを処理する工程であって、前記変換データの前記処理は、量子化ステップ・サイズを有する量子化を利用する工程と、
    (d)対応する画素群に前記変換パラメータを復号化する工程と、
    (e)前記復号化ビデオ出力データに含めるために前記対応する画像の系列を生成するよう前記画素群を処理する工程とを備えており、
    前記データ・プロセッサは、前記画像の系列において伝達される空間時間的情報の関数として、動的に可変である量子化ステップ・サイズを用いて復号化するよう工程(d)において動作可能である方法。
14. 請求項13記載の方法であって、前記少なくとも１つの画素群が、少なくとも１つの画素ブロックに対応する方法。
15. 請求項13記載の方法であって、特定の群に使用される前記量子化ステップ・サイズを、前記画像の系列における前記特定の群に対して局所である空間時間的情報に依存させる方法。
16. 請求項13記載の方法であって、前記量子化ステップ・サイズが、前記画像の系列において伝達される空間時間的情報の統計解析の関数として求められる方法。
17. 請求項16記載の方法であって、前記量子化ステップ・サイズは、前記画像の系列における各群内に生じる垂線流れの関数として求められ、前記垂線流れは、前記群に関連した画像速度の局所成分である方法。
18. 請求項15記載の方法であって、前記垂線流れは、前記群と関連する画像輝度データ及び画像色データの少なくとも一方から群毎に局所的に計算される方法。
19. 請求項17記載の方法であって、前記垂線流れの前記統計解析は、マクロブロック毎に前記垂線流れの平均及び分散の大きさを計算する工程を含む方法。
20. 請求項17記載の方法であって、特定の群の前記量子化ステップ・サイズの調節は、
    q_ sc_ m =（（δ.q_ sc）±（λ.Γ（x）））
    に従って実質的に線形的に実現され、
    ここで、
    Γ(x)=xe^−(x−1)（すなわち、非線形変調をもたらすシフトされたガンマ関数又はアーラン関数）であり、
    x=垂線流れの大きさの分散であり、
    λ=乗算係数、
    δ=乗算係数であり、
    q_sc=量子化スケールである方法。
21. 請求項13記載の方法であって、工程(d)において離散コサイン変換（DCT）を使用し、MPEG標準に従って画素群を処理するよう適合させた方法。
22. 処理入力データをその中で復号化して、画像の系列に対応するビデオ出力データを生成するプロセッサであって、前記ビデオ出力データを生成するために、請求項13記載の方法を使用するように動作可能なプロセッサ。
23. 画像の系列に対応するビデオ・データを処理する装置であって、請求項13記載のプロセッサ及び請求項22記載のプロセッサの少なくとも一方を含む装置。
24. 請求項23記載の装置であって、携帯電話機、テレビジョン受像機、ビデオ・レコーダ、コンピュータ、ポータブル・ラップトップ型コンピュータ、ポータブルＤＶＤプレーヤ、写真撮影用カメラのうちの少なくとも１つとして実現される装置。
25. ビデオ・データを配信するシステムであって、
    (a)画像系列に対応するビデオ入力信号を受信し、対応する処理出力データを生成する請求項12記載の第1のプロセッサと、
    (b)前記処理出力データをその中で復号化して、前記画像系列に対応するビデオ・データを生成する請求項22記載の第2のプロセッサと、
    (c)前記第1のプロセッサから前記第2のプロセッサに符号化データを伝達するデータ伝達装置とを含むシステム。
26. 請求項25記載のシステムであって、前記データ伝達装置がデータ記憶媒体及びデータ配信ネットワークの少なくとも一方を含むシステム。
27. 請求項１記載の方法を実現するために計算ハードウェアにおいて実行するソフトウェア。
28. 請求項13記載の方法を実現するために計算ハードウェアにおいて実行するソフトウェア。

Images