JP2006340345A - ビデオから抽出された画像を強調する方法 - Google Patents

Abstract

【課題】 非可逆圧縮方法によって導入されたアーティファクトによる画質の大幅な低減を防ぐ。
【解決手段】 本発明にかかる方法は、圧縮ビデオシーケンス（３６）から抽出された静止デジタル画像（３８）を強調する方法であって、圧縮ビデオ画像シーケンス（３６）は、少なくとも１つのＩフレームおよび少なくとも１つのＰフレームを含み、ビデオのＩフレームまたはＰフレームが抽出されたかどうかを判断することと、Ｐフレームが抽出された場合に、前のＩフレームの量子化行列を求めること（３９）と、抽出されたビデオフレームを復元することと、抽出されたフレームの現在のＩフレームがＩフレームである場合には、量子化行列に基づいて画像（３８）を強調し（４０）、Ｐフレームが抽出された場合には、前のＩフレームの量子化行列に基づいて画像（３８）を強調すること（４０）とを含む。
【選択図】図３

Description

本発明は、ビデオから抽出された画像を強調する方法に関する。

デジタルビデオは、要約すると、複数のデジタル画像またはビデオフレームを含む。
デジタルビデオによって生成された大量のデータのために、圧縮が行われることが多い。
ＭＰＥＧビデオ圧縮は普及した技法である。
ＭＰＥＧでは、各ビデオシーケンスは、１つまたは２つ以上の画像グループ（ＧＯＰ（group of pictures））に分割される。
さらに、各ＧＯＰは、Ｉフレーム、Ｐフレーム、およびＢフレームという３つの異なるタイプの１つまたは２つ以上のフレームから成る。
Ｉフレーム（イントラ符号化フレーム（intra-coded frame））は、独立に、すなわち、他のフレームを参照することなく、符号化されるかまたはそれ以外の方法で圧縮される。
Ｐフレームは、現在のフレームと時間的に先行するＩフレームまたはＰフレームとの差分を符号化することによって圧縮される。
Ｂフレームは、本明細書で説明する方法にもデバイスにも関係しない。

一般に、ＭＰＥＧ等の非可逆ビデオ圧縮方法は、個々のビデオフレームにアーティファクトを導入する。
いくつかの用途では、ビデオシーケンスから単一のフレームを抽出し、その品質を高め、そして、この単一のフレームを独立した画像として保存することが望ましい場合がある。
しかしながら、これらの非可逆圧縮方法によって導入されたアーティファクトは、画質を大幅に低減する可能性がある。

本発明にかかる方法は、上記背景からなされ、圧縮ビデオシーケンス（３６）から抽出された静止デジタル画像（３８）を強調する方法であって、前記圧縮ビデオ画像シーケンス（３６）は、少なくとも１つのＩフレームおよび少なくとも１つのＰフレームを含み、ビデオのＩフレームまたはＰフレームが抽出されたかどうかを判断することと、Ｐフレームが抽出された場合に、前のＩフレームの量子化行列を求めること（３９）と、前記抽出されたビデオフレームを復元することと、前記抽出されたフレームの現在のＩフレームがＩフレームである場合には、前記量子化行列に基づいて前記画像（３８）を強調し（４０）、Ｐフレームが抽出された場合には、前記前のＩフレームの前記量子化行列に基づいて前記画像（３８）を強調すること（４０）とを含む。

以下の説明では、同じ参照番号は、同じ要素を識別するのに使用される。
さらに、図面は、例示の実施の形態の主要な特徴を図的な方法で示すことを目的とする。
図面は、実際の実施の形態のあらゆる特徴を示すことを目的としているとは限らず、図示した要素の相対的な寸法を示すことを目的としておらず、一律の縮尺で描かれているものではない。

Ｉ．デジタルビデオ
デジタルビデオは、要約すると、複数のデジタル画像またはビデオフレームを含む。
デジタルビデオによって生成された大量のデータのために、圧縮が行われることが多い。
ＭＰＥＧビデオ圧縮は普及した技法である。
ＭＰＥＧでは、各ビデオシーケンスは、１つまたは２つ以上の画像グループ（ＧＯＰ）に分割される。
さらに、各ＧＯＰは、Ｉフレーム、Ｐフレーム、およびＢフレームという３つの異なるタイプの１つまたは２つ以上のフレームから成る。
Ｉフレーム（イントラ符号化フレーム）は、独立に、すなわち、他のフレームを参照することなく、符号化されるかまたはそれ以外の方法で圧縮される。
Ｐフレームは、現在のフレームと時間的に先行するＩフレームまたはＰフレームとの差分を符号化することによって圧縮される。
Ｂフレームは、本明細書で説明する方法にもデバイスにも関係しない。

離散コサイン変換（ＤＣＴ）が使用されて、ＩフレームおよびＰフレームの双方が符号化される。
ＤＣＴは、データブロックを空間周波数の加重和に分解する方法である。
ＤＣＴに続いて、量子化が使用されて、ＤＣＴ係数が圧縮され、また、ビットレートが制御される。
ＭＰＥＧでは、ビットレートは、線形スケール係数（linear scale factor）をデフォルトの量子化行列に適用することによって制御することができる。
ＤＣＴ係数は、非ゼロの正の整数によって当該ＤＣＴ係数を除算し、その商を四捨五入して最も近い整数にすることによって量子化される。
この非ゼロの正の整数は、量子化値と呼ばれる。
Ｉフレームの場合、高い空間周波数の係数をより低い精度で表すことが望ましい。
これは、表１の量子化行列によって示す量子化値等、より大きな量子化値を使用することによって達成することができる。

表１：デフォルトのＭＰＥＧのＩフレームの８×８量子化行列Ｑｉ［Ｉ，ｊ］

Ｐフレームの場合、量子化プロセスは、現在のフレームと前に送信されたフレームとの差分に対して操作を行う。
この差分信号は、通例、大部分は無相関化され、したがって、大部分は均一な周波数成分を含む。
したがって、フラットな量子化行列が使用されて、この差分信号は圧縮される。
Ｐフレームを圧縮するのに使用される量子化行列の一例を表２に提供する。

表２：デフォルトのＭＰＥＧのＰフレームの８×８量子化行列Ｑｐ［Ｉ，ｊ］

一般に、ＭＰＥＧ等の非可逆ビデオ圧縮方法は、個々のビデオフレームにアーティファクトを導入する。
いくつかの用途では、ビデオシーケンスから単一のフレームを抽出し、その品質を高め、そして、この単一のフレームを独立した画像として保存することが望ましい場合がある。
ビデオから静止画像を抽出することに関連したアーティファクトを低減する方法およびデバイスを本明細書で説明する。

ＩＩ．ビデオフレームの圧縮
図１は、ビデオフレーム等の原画像１０を処理して、圧縮画像１２を生成する従来技術の方法を示している。
この図示した方法によれば、フォワード変換１４が原画像１０に適用されて、一組のフォワード変換係数１６が生成される。
フォワード変換１４は、選択された領域の一組の係数に原画像１０を変換するように動作可能な変換であればどのタイプのものでもよい。
量子化器１８が、フォワード変換係数１６に個別に適用されて、一組の量子化フォワード係数２０が生成される。
量子化器１８は、フォワード変換係数の情報の一部を廃棄し、それによって、原画像１０の圧縮が可能になる。
符号化器２２は、任意のタイプの非可逆符号化技法を使用して量子化フォワード変換係数を符号化し、圧縮画像１２を生成する。

原画像１０は、２値画像（たとえば、黒および白のドットパターン）であってもよいし、多値単色画像（たとえば、グレーレベル画像）であってもよいし、多値多色画像であってもよい。
一般に、図１の画像圧縮プロセスは、ビデオシーケンスの各原ビデオフレームの各色平面に個別に適用される。

図２は、原画像１０を圧縮する、従来技術のブロック変換ベースの画像方法を示している。
この方法によれば、原画像１０が、事前に選択された色空間でまだ指定されていない場合、原画像１０は、最初に、事前に選択されたルミナンスに基づく色空間（たとえば、ＹＣｒＣｂ色空間）に変換される（ブロック２４）。
事前に選択された色空間における画像の各色平面は、次のように個別に処理される各画像（すなわち、ピクセル値の配列）に対応する。
色成分（たとえば、Ｃｒ色成分およびＣｂ色成分）は、ダウンサンプリングされる（ブロック２６）。
各色平面は、ピクセルブロック（たとえば、８×８ピクセルブロック）に分割される（ブロック２８）。
各ピクセルブロックには、ブロック変換が個別に適用される（ブロック３０）。
これらのブロックには、任意の種類のブロック変換を適用することができる。
例示のタイプのブロック変換には、コサイン変換、フーリエ変換、アダマール変換、およびウェーブレット変換が含まれる。
その結果生成された変換係数は量子化される（ブロック３２）。
量子化変換係数は、非可逆符号化技法を使用して符号化され、圧縮画像１２が生成される（ブロック３４）。

ＩＩＩ．抽出用のフレームの選択
上述したように、圧縮デジタルビデオは、通常、ＩフレームおよびＰフレームを含む。
Ｉフレーム（イントラ符号化フレーム）は独立に符号化される。
これは、Ｉフレームが他のフレームを参照せずに符号化されることを意味する。
ＭＰＥＧにおけるＩフレーム圧縮は、上述したようなＪＰＥＧ圧縮と非常に類似している。
他方、Ｐフレームは、現在のフレームと時間的に先行するＩフレームまたはＰフレームとの差分を符号化することによって圧縮される。

ビデオ圧縮の実施態様は、通常、１つのＩフレームごとに数個のＰフレームを符号化する。
たとえば、特定のＧＯＰにおいて、単一のＩフレームの後に、１０個のＰフレームが続く場合がある。
このＧＯＰのＩフレームに関連した量子化表は、ＩフレームおよびＰフレームの双方のアーティファクトを低減するための情報を提供する。

上述したように、Ｉフレーム量子化行列は、圧縮量を決定し、その結果、Ｉフレームの各ＤＣＴ係数に導入された歪みの量を決定する。
フレームの品質は各ＧＯＰ内では比較的均一であるので、ＧＯＰのＩフレームの量子化行列は、ＧＯＰの復元されたすべてのフレームについての近似量子化行列として使用される（すなわち、ＧＯＰのすべてのフレームがＩフレームであったと仮定する）。
Ｉフレームの量子化行列を使用することによって、量子化行列の入力を必要とするＪＰＥＧ強調技法を使用して、抽出されたビデオフレームを強調することが可能になる。
同様に上述したように、Ｐフレームを作成するのに使用される差分信号の符号化に使用される量子化行列はフラットであり、したがって、フレーム品質を示す良好なものを提供しない。
したがって、Ｉフレーム量子化行列が使用される。

上述したＩフレームおよびＰフレームを使用してビデオフレームを強調するための方法の一実施の形態を図３のフロー図に示す。
ブロック３５では、未圧縮のビデオ、すなわち原ビデオが圧縮される。
本明細書で説明する実施の形態では、ビデオは、ＭＰＥＧビデオ圧縮を使用して圧縮される。
圧縮ビデオ３６は、Ｉフレーム、Ｐフレーム、およびＢフレームを含む。
ブロック３７では、圧縮ビデオが、伸張、すなわち復元される。
これは、ユーザがブロック３８に示すように抽出用または強調用のビデオフレームを選択する際に行われる場合がある。
ブロック３９では、前のＩフレームの量子化行列、すなわちＱ行列が求められる。
上述したように、選択されたフレームがＩフレームである場合、Ｉフレームの量子化行列が求められる。
前のＩフレームまたは現在のＩフレームの量子化行列を使用したビデオフレームの強調は、ブロック４０に示すように行われる。
図４および次の説明は、この強調をより詳細に説明する。

ＩＶ．圧縮画像のアーティファクトの低減
以下に説明する実施の形態は、圧縮画像を作成するのに使用されるプロセスによって本来的に導入されるアーティファクトを低減するように構成される。
多くの場合、これらの実施の形態は、画像の特徴をぼかすこと等により画質を劣化させることなく、画像圧縮アーティファクトを低減する。
以下で詳細に説明するように、これらの実施の形態のいくつかの実施態様は、ブロック離散コサイン変換（ＤＣＴ）画像圧縮技法等のブロック変換ベースの画像圧縮技法によって導入されるリンギング（ringing）圧縮アーティファクトおよびブロッキング（blocking）圧縮アーティファクトを十分に低減するのに特によく適している。

図４は、図２のブロック変換ベースの画像圧縮方法によって生成された圧縮画像１２を処理して、圧縮アーティファクトが低減された出力画像４０を生成する方法の一実施態様を示している。
圧縮画像は、ＰフレームまたはＩフレームのいずれであってもよい。
この方法では、圧縮画像１２の各平面が個別に処理される。
圧縮画像データは、最初に、伸張される（ブロック４２）。

空間シフトされたフォワード変換（spatially-shifted forward transform）が、ビデオフレームの伸張画像データ６２（ブロック４４）から計算される。
このプロセスでは、フォワード変換オペレーションが、伸張画像データ６２のシフトされた複数のバージョンのそれぞれに適用されて、複数の各組のフォワード変換係数４６が生成される。
たとえば、画像１２がＭ×Ｎ個のピクセルのブロックに基づいて圧縮される実施態様では、フォワード変換オペレーションは、Ｍ×Ｎ変換において可能なＭ×Ｎ個の独立したシフトからのＫ個のシフトを含むサブセットにおける伸張画像データ６２に適用されて、Ｋ個の組のフォワード変換係数が生成される。
ここで、Ｋ、Ｍ、およびＮは、少なくとも１の整数値を有する。
一例示の実施態様では、ＭおよびＮは、共に８の値を有する。

各組のフォワード変換係数４６は、非線形変換される（ブロック４８）。
逆変換オペレーション（ブロック５０）が、非線形変換されたフォワード変換係数の組に適用されて、各中間画像が生成される。
以下で詳細に説明したように、これらの中間画像は結合されて、各色平面６４の圧縮アーティファクトが低減される（ブロック５２）。
色成分画像平面（たとえば、ＣｒおよびＣｂ）は、元の解像度にアップサンプリングされて、その結果生成された画像平面は、原画像１０の色空間（たとえば、赤・緑・青の色空間）に変換されて戻される（ブロック５４）。
画像平面は結合されて、出力画像４０が生成される。

図５は、図４の方法によって生成された圧縮画像データ６２を処理して、圧縮アーティファクトが低減された出力画像４０を生成するシステム６０の一実施態様を示している。
処理システム６０は、フォワード変換モジュール６６、非線形ノイズ除去（denoiser）モジュール６８、逆変換モジュール７０、および出力画像ジェネレータモジュール７２を含む。
一般に、システム６０のモジュール６６〜７２は、どの特定のハードウェア構成にもどの特定のソフトウェア構成にも限定されず、デジタル電子回路機構またはコンピュータハードウェア、ファームウェア、デバイスドライバ、若しくはソフトウェアを含めて、任意の計算環境または処理環境で実施することができる。
たとえば、いくつかの実施態様では、これらのモジュール６６〜７２は、デジタルカメラ、プリンタ、およびポータブル電子デバイス（たとえば、移動電話および携帯情報端末）を含めて、多種多様な電子デバイスのいずれか１つのハードウェアで実施することができる。
これに加えて、図示した実施の形態では、フルの（または完全な）入力画像が処理されるが、他の実施態様は、入力画像の一連のサブ画像部分（たとえば、スワス）を順次処理するように構成することができる。

フォワード変換モジュール６６は、復号された画像データ６２からＫ組（Ｃ_１、Ｃ_２、…、Ｃ_Ｋ）のシフトされたフォワード変換係数を計算する。
これらＫ組のシフトされた変換係数は、圧縮画像１２を基準にしたブロッキンググリッド（blocking grid）のＫ個の一意の位置に対応する。

非線形ノイズ除去モジュール６８は、フォワード変換モジュール６６によって計算された複数の組（Ｃ_１、Ｃ_２、…、Ｃ_Ｋ）のシフトされたフォワード変換係数を非線形変換する。
図６を参照して、いくつかの実施態様では、複数の組のフォワード変換係数は、各非線形しきい値変換（Ｔ_１、Ｔ_２、…、Ｔ_Ｋ）に従って変換される。
詳細には、各しきい値（ｑ_ｉｊ、ここで、ｉ、ｊは量子化要素のインデックスを指し、ｉは０からＭ−１の範囲の値を有し、ｊは０からＮ−１の範囲の値を有する）よりも小さな絶対値を有する各係数を０に設定し、各しきい値（ｑ_ｉｊ）以上の絶対値を有する各係数を変更しないことにより、フォワード変換係数は非線形変換される。
量子化行列７６（すなわち、「Ｑ行列」）は、非線形しきい値変換（Ｔ_１、Ｔ_２、…、Ｔ_Ｋ）のパラメータｑ_ｉｊを設定するのに使用される。
この実施態様では、量子化行列は、Ｐフレームが選択された状況において、ＧＯＰのＩフレームまたは前のＩフレームの画像１２を圧縮するのに当初使用されたものと同じ量子化パラメータｑ_ｉｊを含む。
これらの量子化パラメータは、ＪＰＥＧやＭＰＥＧ等の標準的な画像圧縮方式およびビデオ圧縮方式に従って圧縮画像１２に記憶することができる。

いくつかの実施の形態では、非線形ノイズ除去モジュール６８は、非線形度（nonlinearity）Ｔ_ｉを変更することによってシャープネス強調を組み込む。
詳細には、非線形ノイズ除去モジュール６８は、非線形変換パラメータ値ｑ_ｉｊに利得係数ｇ_ｉｊを乗算する。
利得係数を設定する方法には多くの方法がある。
一実施態様では、利得係数は方程式（１）によって与えられる。
ｇ_ｉｊ＝１．０＋ｓ×（ｉ＋ｊ）／１４ （１）
ここで、ｉおよびｊは、各量子化器係数を選択するインデックスである。
８×８ブロッキンググリッド用に指定された実施態様では、ｉおよびｊの値は、範囲［０〜７］にあり、０は最も低い空間周波数を表し、７は最も高い空間周波数を表す。
シャープネス係数ｓの値は、シャープ化の量を決定する。
ｓ＝０のとき、シャープ化は適用されない。
０．５と１．５との間のｓの値は、出力画像ジェネレータ方法によって引き起こされるおそれのあるわずかなぼけを補償する十分なシャープネス範囲を提供する。
ｓ＝０．５の方程式（１）から計算された例示の利得係数を含む行列を以下の表３に提供する。

表３：ｓ＝０．５の利得係数ｇ_ｉｊ

逆変換モジュール７０は、複数の組の非線形変換されたフォワード変換係数から複数の組（Ｃ'_１、Ｃ'_２、…、Ｃ'_Ｋ）の逆変換を計算する。
逆変換モジュール７０は、フォワード変換モジュール６６によって適用されるフォワード変換オペレーションの逆のものを適用する。
逆変換モジュール７０の出力は、空間領域の画像データを表す中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）である。

出力画像ジェネレータモジュール７２は、中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）を結合して、最終出力画像４０の画像平面６４を形成する。
図７は、ベース画像ジェネレータ８０およびリンギング補正画像ジェネレータ８２を含む出力画像ジェネレータモジュール７２の一実施の形態を示している。

ベース画像ジェネレータ８０は、中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）を結合したものから、元の未圧縮画像の見積もりに対応するベース画像８４を計算する。
図示した実施の形態では、ベース画像ジェネレータ８０は、中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）の対応したピクセルの平均値に対応するピクセル値を有するベース画像（Ｉ_ＡＶＥ）を計算する。

リンギング補正画像ジェネレータ８２は、中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）に基づいてリンギング補正画像（Ｉ_ＲＣ）を計算する。
いくつかの実施態様では、リンギング補正画像ジェネレータ８２は、中間画像（Ｉ_１、Ｉ_２、…、Ｉ_Ｋ）のピクセルについて計算された局所的な空間強度変動の測度に少なくとも部分的に基づいて、リンギング補正画像８６（Ｉ_ＲＣ）を計算する。
たとえば、最小分散デリンギング（minimum variance de-ringing）の実施態様では、リンギング補正画像８６の所与のピクセルの値は、リンギング補正画像８６のピクセルに対応するすべての中間画像ピクセルの空間強度変動の計算された最小の測度を有する、対応する中間画像ピクセルの値に設定される。
加重分散デリンギング（weighted variance de-ringing）手法では、リンギング補正画像８６の各ピクセル値には、リンギング補正画像８６の所与のピクセルに対応するすべての中間画像ピクセルの局所的な空間強度変動の測度の最小の百分率（たとえば、３０％の百分率）における複数の対応した中間画像の平均値に対応する値が割り当てられる。
加重分散デリンギング手法は、リンギング圧縮アーティファクトを低減すると同時に、最小分散デリンギング手法によって導入されることがあるノイズを回避することが確認されている。

図８を参照して、いくつかの実施の形態では、空間強度変動は、空間分散（σ_１ ^２、σ_２ ^２、…、σ_Ｋ ^２）によって測定される。
この空間分散は、リンギング補正画像８６の所与のピクセルＩ_ＲＣ（ｘ，ｙ）に対応する中間画像（Ｉ_１（ｘ，ｙ）、Ｉ_２（ｘ，ｙ）、…、Ｉ_Ｋ（ｘ，ｙ））のピクセルについて計算される。
空間分散の測度は、各ウィンドウ９０、９２、９４、９６によって画定された各中間画像領域に基づいて計算される。
図示した実施の形態では、ウィンドウ９０〜９６は、幅が３ピクセルで高さが３ピクセルの寸法を有する。
一例示の実施態様では、所与の中間画像ピクセルＩ_ｊ（ｘ，ｙ）の空間分散は、方程式（２）によって与えられる。

ここで、＜Ｖ＞は、所与のピクセル（すなわち、

）の近傍の平均ピクセル値であり、Ｋは、リンギング補正画像８６の所与のピクセルの近傍のピクセルの個数（たとえば、９個）である。
別の例示の実施態様では、値Ｖ_０を有する所与の中間画像ピクセルＩ_ｊ（ｘ，ｙ）の空間強度変動Λ_０ ^２は、方程式（３）によって与えられる。

図示した実施の形態では、計算された最小の分散（σ_ＭＩＮ ^２）を有する中間画像ピクセルの値（たとえば、Ｉ_ＭＩＮ（ｘ，ｙ））は、リンギング補正画像８６の対応するピクセル（Ｉ_ＲＣ（ｘ，ｙ））に割り当てられる。

ベース画像８４は、ブロッキングアーティファクト等の圧縮アーティファクトの出現を大幅に低減することを特徴とするが、場合によっては、ベース画像８４は、まだ、未解決のリンギングアーティファクトを含むことが確認されている。
また、リンギング補正画像８６（Ｉ_ＲＣ）は、ベース画像８４に比べてリンギング圧縮アーティファクトを大幅に低減することを特徴とするが、通常なら、一般に、ベース画像８４よりもぼやけることも確認されている。
これらの確認事項に基づいて、出力画像ジェネレータモジュール７２は、結果の出力画像４０の圧縮アーティファクトの出現を大幅に低減する方法で、ベース画像８４およびリンギング補正画像８６を結合するように構成される。

図７の実施の形態では、出力画像ジェネレータモジュール７２は、加重和ジェネレータ９８を含む。
この加重和ジェネレータ９８は、方程式（４）に従って、ベース画像８４（Ｉ_ＡＶＥ（ｘ，ｙ））およびリンギング補正画像８６（Ｉ_ＲＣ（ｘ，ｙ））の対応するピクセルの加重和を計算し、出力画像４０のピクセルの値を生成する。
Ｉ_ＯＵＴ（ｘ，ｙ）＝α（ｘ，ｙ）Ｉ_ＲＣ（ｘ，ｙ）＋（１−α（ｘ，ｙ））Ｉ_ＡＶＥ（ｘ，ｙ） （４）
ここで、αは、範囲［０，１］の値を有する。

重みジェネレータモジュール１００は、出力画像４０の各ピクセルのα（ｘ，ｙ）の値を計算する。
一般に、シャープな遷移から十分に離れたピクセルについては、予想されたリンギングが最小である場合に、重みジェネレータモジュール１００は

を設定する。
シャープな遷移上のピクセルについては、重みジェネレータモジュール１００は、遷移をぼやかさないために、この場合も

を設定する。
シャープな遷移上ではないが、十分に近い（たとえば、隣接した）ピクセルについては、重みジェネレータモジュール１００は、

を設定して、潜在的なリンギングを低減する。

いくつかの実施の形態では、重みジェネレータモジュール１００は、所与のピクセルを包含する空間ウィンドウの局所的領域と、その局所的領域を取り囲む空間ウィンドウのより大きな領域との間の相対的なコントラスト測度に基づいて、その所与のピクセルのα（ｘ，ｙ）を計算する。
いくつかの実施態様では、画像のコントラストは、空間ウィンドウにおいて、最大のピクセル値と最小のピクセル値との差であるピクセルレンジから計算される。
図９に示すように、これらの実施態様では、ピクセルレンジは、２つの異なるサイズのウィンドウ１０２、１０４について計算される。
第１のウィンドウ１０２のサイズは、エッジの近くの局所コントラストを正確に見積もるために小さくなっている（たとえば、３ピクセル×３ピクセル）。
いくつかの実施態様では、第２のウィンドウ１０４のサイズ（たとえば、１５ピクセル×１５ピクセル）は、所与のピクセルにおけるシフトされたブロック変換（shifted block transform）のすべてをカバーする。
ピクセルレンジの計算の結果、局所コントラスト測度ｌｃおよびブロックのコントラスト測度ｂｃが得られる。

重みジェネレータモジュール１００は、局所コントラスト測度とブロックのコントラスト測度との差分（Δ）（すなわち、Δ（ｘ，ｙ）＝ｂｃ（ｘ，ｙ）−ｌｃ（ｘ，ｙ））を関数α（Δ）に入力する。
関数α（Δ）は、参照表として記憶することができ、範囲［０，１］におけるα（Δ）の値を生成する。
３つの異なる重み関数１０６、１０８、１１０を図１０に示す。
これらの関数は、方程式（５）によって与えられる一般的な関数に対応する。

ここで、ａおよびＴは、可変パラメータである。
主観的評価および客観的ＰＳＮＲ（ピーク信号対雑音比）値を使用してテスト画像でトレーニングされた、α（Δ）の最終参照表を以下の表４に提供する。
この表は、「読み出し順序」（すなわち、左から右へ、上から下へ）で提示されている。

表４：重み参照

他の実施の形態は、特許請求の範囲の範囲内にある。

たとえば、上記圧縮アーティファクト低減の実施の形態は、ブロック変換ベースの画像圧縮方法によって圧縮された画像１２に関して説明されているが、これらの実施の形態は、ブロック変換ベースでない他の画像圧縮技法によって圧縮された画像のアーティファクトを低減するのに容易に使用することができる。

原ビデオフレームを圧縮するためのシステムのブロック図である。 原ビデオフレームを圧縮するためのブロック変換ベースの方法のフロー図である。 ビデオフレームを強調するのに使用される方法の一実施態様を示すフロー図である。 圧縮画像を処理して、低減された圧縮アーティファクトを特徴とする出力画像を生成する方法の一実施態様のフロー図である。 図４の方法の出力画像ジェネレータステップを実施するための画像処理システムの一実施態様のブロック図である。 入力された変換係数値の関数としてプロットされた図５の非線形ノイズ除去モジュールの一実施態様のしきい値出力のグラフである。 図５の出力画像ジェネレータモジュールの一実施態様のブロック図である。 一組の中間画像およびその一組の中間画像から生成されたリンギング補正画像の描画図である。 ブロックのコントラスト測度および局所コントラスト測度をベース画像のピクセル値から計算するのに使用される一対の同心ウィンドウのブロック図である。 ベース画像のピクセルについて計算された、ブロックのコントラスト測度と局所コントラスト測度とのコントラストの差分の関数としてプロットされた重み値のグラフを示す図である。

符号の説明

６４・・・出力画像平面，
６６・・・フォワード変換モジュール，
６８・・・非線形ノイズ除去モジュール，
７０・・・逆変換モジュール，
７２・・・出力画像ジェネレータモジュール，
７６・・・Ｑ行列，
８０・・・ベース画像ジェネレータ，
８２・・・リンギング補正画像ジェネレータ，
９８・・・加重和ジェネレータ，
１００・・・重みジェネレータ，

Claims (10)

1. 圧縮ビデオシーケンス（３６）から抽出された静止デジタル画像（３８）を強調する方法であって、前記圧縮ビデオ画像シーケンス（３６）は、少なくとも１つのＩフレームおよび少なくとも１つのＰフレームを含み、
   ビデオのＩフレームまたはＰフレームが抽出されたかどうかを判断することと、
   Ｐフレームが抽出された場合に、前のＩフレームの量子化行列を求めること（３９）と、
   前記抽出されたビデオフレームを復元することと、
   前記抽出されたフレームの現在のＩフレームがＩフレームである場合には、前記量子化行列に基づいて前記画像（３８）を強調し（４０）、Ｐフレームが抽出された場合には、前記前のＩフレームの前記量子化行列に基づいて前記画像（３８）を強調すること（４０）と
   を含む方法。
2. 前記強調すること（４０）は、
   前記復元されたビデオフレームに関する空間シフトされたフォワード変換を計算し（４４）、各組のフォワード変換係数を生成することと、
   各組の前記フォワード変換係数に、非線形変換を適用すること（４８）と、
   前記組の非線形変換されたフォワード変換係数の逆変換を計算し（５０）、各中間画像（６４）を生成すること（５０）と、
   前記中間画像（６４）に少なくとも部分的に基づいて、ピクセル値を有する出力画像（４０）を計算することと
   をさらに含む請求項１に記載の方法。
3. 前記計算された空間シフトされたフォワード変換は、ブロック変換である
   請求項２に記載の方法。
4. 前記ブロック変換は、２次元ブロック離散コサイン変換である
   請求項３に記載の方法。
5. 前記フォワード変換係数は、第１の値よりも小さな絶対値を有する各係数を０に設定し、少なくとも第２の値に等しい絶対値を有する各係数を変更しないことによって、非線形変換される
   請求項２に記載の方法。
6. 低い空間周波数のフォワード変換係数よりも、高い空間周波数のフォワード変換係数の方が、大きな各係数分、非線形変換パラメータを増加させることによって、前記フォワード変換係数をシャープ化すること
   をさらに含む請求項５に記載の方法。
7. 前記出力画像（４０）を計算することは、
   中間画像を結合したものからベース画像を計算すること
   を含む
   請求項２に記載の方法。
8. 前記ベース画像は、
   前記中間画像における対応するピクセルの値の各平均値に対応するピクセル値
   を有する
   請求項７に記載の方法。
9. 前記出力画像（４０）を計算することは、
   局所的な空間強度変動の計算された測度に少なくとも部分的に基づいて、リンギング補正画像を計算すること
   をさらに含む
   請求項７に記載の方法。
10. 前記リンギング補正画像における各ピクセルは、前記中間画像のそれぞれにおける対応するピクセルに関連付けられる
    請求項９に記載の方法。

Images