JP2010532628A

JP2010532628A - 画像中のアーチファクトを低減させる装置および方法

Info

Publication number: JP2010532628A
Application number: JP2010514720A
Authority: JP
Inventors: グオ，ジュ; ザン，ドン−チン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-06-29
Filing date: 2007-06-29
Publication date: 2010-10-07
Also published as: EP2171683A1; KR101350853B1; US8472709B2; CN101689295A; US20100135575A1; BRPI0721839A2; WO2009005497A1; KR20100037054A

Abstract

本開示の装置および方法は、色強度のなめらかな線形遷移をもち、画像処理においてバンド発生アーチファクトをもちやすい画像領域を検出するための自動バンド発生領域検出機能を提供する。本装置および方法は、バンド発生領域を検出するためにパラメトリック・モデル・ベースのアプローチを使う。本装置および方法は、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割し（３０４）、前記少なくとも一つの均一色領域について色強度の線形遷移を推定し（３０８）；色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類する（３１０）ことを備える。

Description

本開示は概括的にはデジタル画像処理および表示システムに関し、より詳細には画像中のアーチファクトを低減させる装置および方法であって、アーチファクトを含む画像中の領域、たとえばバンドが生じている領域がユーザー介入なしに自動的に検出されるものに関する。

デジタル画像または映画の画像シーケンスのような複数の画像の処理の際、画像アーチファクトが目につく。一般的なアーチファクト現象は、画像のもとのなめらかな線形遷移領域上にさまざまな強度および色のレベルのバンドが表示されるバンド発生（banding）である。色補正、スケーリング、色空間変換および圧縮のような処理がバンド発生効果を導入しうる。バンド発生は、画像が高周波成分をもちかつ最小限のノイズをもつ人工の画像であるアニメーション素材において最もよく見られる。限られた帯域幅でのいかなる処理も、不可避的にエイリアス（alias）、「リンギング（ringing）」またはバンド発生を引き起こす。

現状技術は、画像中のアーチファクトを軽減するためにディザリング（dithering）または誤差拡散（error diffusion）のようにノイズを加えることである。ノイズはバンド発生現象をある程度マスクするが、画像の他の部分に望ましくないノイズを導入し、圧縮のような他の処理に追加的な負担を導入する。

関連分野において、デジタル・サンプリングされた画像の高品質表現を生成するために要求されるデータ・ファイルの大きなサイズのため、知覚される画像品質に悪影響を及ぼすことなくデータ・ファイルのサイズを小さくする試みにおいて、データ・ファイルにさまざまな形の圧縮を適用することが一般的な慣行である。この必要性に対処するためにさまざまなよく知られた技術および規格が発達してきた。これらの技術の代表的なものは、画像エンコードのための統合写真専門家グループ（JPEG: Joint Photographic Experts Group）規格である。JPEGと似ているが動画シーケンスにおいて相続くフレームの類似性を利用するフレーム間エンコードを加えたものが、動画像専門家グループ（MPEG: Moving Pictures Expert Group）規格である。ウェーブレット変換に基づいて他の規格および独自システムが開発されている。

商業的な映画DVD/HD-DVDリリースのプロセスにおいて、通常のフィルムからまたはコンピュータでアニメーション化された映画からスキャンされたデジタル画像は典型的には10ビット・データをもち、ある種の応用では16ビットまでのデータをもつ。そのデータは、圧縮のために8ビットYUVフォーマットに変換されることが必要とされる。ビット深さ精度の低下のため、単数または複数の画像のなめらかな色変化のある領域においてバンド発生アーチファクトがしばしば現れる。上記したように、バンド発生アーチファクトを軽減するために、ディザリングおよび誤差拡散アルゴリズムが一般的に使われる。たいていのディザリング・アルゴリズムでは、バンド発生効果をマスクして見えなくするために、高い空間周波数をもつデジタル信号が画像に加えられる。しかしながら、DVD/HD-DVD内部での圧縮は、高い空間周波数の信号を除去する不可逆的圧縮である。したがって、圧縮前のディザリング・プロセスによってバンド発生がマスクされて見えなくされたとしても、圧縮後にはバンド発生アーチファクトが現れることが多い。

ディザリングまたは色深さ削減（color depth reduction）のための伝統的なアプローチは、ディスプレイ・アプリケーションおよび印刷サービスについてである。ディザリングは処理チェーンにおける最終ステップなので、色深さが削減されるとき、加えられる高空間周波数はよく保存され、バンド発生効果をマスクする目的を果たす。誤差拡散はもう一つの一般的なアプローチである。この場合、マスキング効果を生じるとともに全体的な画像強度を保存するように量子化誤差が近傍ピクセルに分配される。しかしながら、これらのアプローチは、高周波数信号を削減するまたは打ち切る傾向のあるMPEG1、2、4またはH.264のような不可逆的圧縮の効果を考慮していない。したがって、ディザリングおよび誤差拡散のアプローチの大半は、圧縮プロセスにおいてビットレート効率を減らすことになる。圧縮エンコーダは、加えられたディザリング・ノイズまたは量子化誤差を表すために多くのビットを使い、当該画像を表すためのビットがより少なくなるからである。一方、マスキング信号が削減されるか打ち切られるので、圧縮後にバンド発生アーチファクトが現れやすい。

さらに、アーチファクト軽減プロセスはさらに、画像中のどこにアーチファクトが現れているかを判別するためのユーザー介入を必要とすることによって複雑になる。このために、アーチファクト軽減プロセスはユーザーまたは操作者にとって時間のかかるプロセスになる。

したがって、画像中のアーチファクトを軽減する技法であって、画像処理、たとえば不可逆的圧縮工程の後でもアーチファクトが低減または抑制されたままとなるものが必要とされている。さらに、操作者の介入を減らすため、画像中でアーチファクトを含んでいる領域を自動的に検出する技術も必要とされている。

本開示の装置および方法は、色強度のなめらかな線形遷移をもち、画像処理においてバンド発生アーチファクトをもちやすい画像領域を検出するための自動バンド発生領域検出アルゴリズムまたは機能を提供する。本装置および方法は、バンド発生領域を検出するためのパラメトリック・モデル・ベースのアプローチを使う。バンド発生領域（banding region）は、なめらかな強度または色遷移をもつ領域として定義される。この型の領域は、量子化、色補正などのような画像処理後にバンドまたは偽輪郭をもつ傾向がある。この領域中のピクセルの強度をモデル化するために、線形表面モデルが使用される。この領域がその線形表面モデルによって密接に表現できれば、この領域はバンド発生領域として分類される。

本装置および方法はまず、画像を均一色領域に分割する。エッジ領域、テクスチャー領域およびなめらかな領域のような種々の型の領域が同じ画像中に存在できるので、本装置および方法は、画像を、その色またはルミナンス強度に基づいていくつかの領域にセグメント分割する。セグメント分割された領域が、大きさ、統計的色分布などのようなある種の基準を満たせば、セグメント分割された領域はバンド発生領域の候補として選択される。その領域がバンド発生領域であるかどうかを検証するために、その領域中のピクセルの強度または色が線形表面にあてはめられる（fitted）。各領域についての色線形遷移を推定するためにパラメトリック・モデルが使用される。領域は、その領域内に色強度のなめらかな線形遷移が存在すれば、バンド発生領域として分類される。

本開示のある側面によれば、画像中のバンド発生領域を検出する方法が提供される。本方法は、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割し；前記少なくとも一つの均一色領域について色強度の線形遷移を推定し；色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類することを含む。

別の側面では、画像中のバンド発生領域を検出する装置が、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割するよう構成された画像セグメント分割モジュールと；前記少なくとも一つの均一色領域について色強度の線形遷移を推定するよう構成された線形遷移推定器と；色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類するよう構成された領域検出モジュールとを含む。

本開示の別の側面によれば、画像中のバンド発生領域を検出する装置が、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割する手段と；前記少なくとも一つの均一色領域について色強度の線形遷移を推定する手段と；色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類する手段とを含む。

さらにもう一つの側面では、機械によって読み取り可能なプログラム記憶デバイスであって、画像中のバンド発生領域を検出するためのステップを実行するために前記機械によって実行可能な命令のプログラムを具体的に実現しており、前記方法は、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割し；前記少なくとも一つの均一色領域について色強度の線形遷移を推定し；色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類する段階を含む、プログラム記憶デバイスが提供される。

本開示のこれらおよびその他の側面、特徴および利点は、付属の図面との関連で読まれるべき、好ましい実施形態の以下の詳細な記述において述べられ、該記述から明白となるであろう。

図面において、同様の参照符号は図面を通じて類似の要素を表す。

本開示のある側面に基づく画像中のアーチファクトを軽減するための装置の例示的な図解である。本開示のある側面に基づく画像中の領域ベースの追跡のための例示的な方法の流れ図である。本開示のある側面に基づく画像中のバンド発生領域を検出するための例示的な方法の流れ図である。本開示のある側面に基づく画像の領域中のピクセルの強度をモデル化するための例示的な方法の流れ図である。本開示のある側面に基づく画像中のアーチファクトを軽減するための例示的な方法の流れ図である。

図面は本開示の概念を例解する目的のためであって、必ずしも本開示を例解する唯一の可能な構成ではないことは理解しておくべきである。

図面に示された要素がハードウェア、ソフトウェアまたは両者の組み合わせのさまざまな形で実装されうることを理解しておくべきである。好ましくは、これらの要素は、プロセッサ、メモリおよび入出力インターフェースを含みうる一つまたは複数の適切にプログラムされた汎用デバイス上でのハードウェアおよびソフトウェアの組み合わせにおいて実装される。

本記載は、本開示の原理を例解する。よって、当業者には、本稿に明示的に記載や図示はされていないものの、本開示の原理を具現し、その精神および範囲内に含まれるさまざまな構成を考案できるであろうことは理解されるであろう。

本稿に記載されるあらゆる例および条件付きの言辞は、本開示の原理および発明者によって当該技術を進歩させるために寄与される概念の理解において読者を助ける教育的な目的のために意図されたものであり、そのような個別的に記載される例および条件に限定することなく解釈されるものとする。

さらに、本開示の原理、側面および実施形態ならびにその個別的な例を記載する本稿におけるあらゆる陳述は、その構造的および機能的な等価物の両方を包含することが意図されている。さらに、そのような等価物は現在知られている等価物および将来開発される等価物の両方、すなわち構造にかかわりなく同じ機能を実行する任意の開発された要素を含むことが意図されている。

よって、たとえば、当業者は、本稿に呈示されるブロック図が本開示の原理を具現する例示的な回路の概念図を表すものであることを理解するであろう。同様に、フローチャート、流れ図、状態遷移図、擬似コードなどはいずれも、コンピュータ可読媒体において実質的に表現され、コンピュータまたはプロセッサによって実行されうるさまざまなプロセスを表すことが理解されるであろう。これはそのようなコンピュータまたはプロセッサが明示的に示されているかどうかにはよらない。

図面に示されるさまざまな要素の機能は、専用ハードウェアの使用を通じて提供されても、適切なソフトウェアとの関連でソフトウェアを実行することのできるハードウェアの使用を通じて提供されてもよい。プロセッサによって提供されるとき、機能は単一の専用プロセッサによって、単一の共有されるプロセッサによって、あるいは一部が共有されていてもよい複数の個別プロセッサによって提供されうる。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行することのできるハードウェアのみを指すものと解釈されるべきではなく、暗黙的に、限定なしに、デジタル信号プロセッサ（「DSP」）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（「ROM」）、ランダム・アクセス・メモリ（「RAM」）および不揮発性記憶装置を含みうる。

通常のものおよび／またはカスタムのものを含め他のハードウェアも含まれてもよい。同様に、図面に示されるスイッチがあったとしても、それは単に概念的なものである。その機能はプログラム論理の動作を通じて、専用論理を通じて、プログラム制御と専用論理の相互作用を通じて、あるいはさらに手動で実行されてもよい。特定の技法は、コンテキストからより個別に理解されるように実装者によって選択可能である。

本願の請求項では、特定の機能を実行する手段として表現されたいかなる要素も、その機能を実行するいかなる仕方をも、たとえばａ）その機能を実行する回路素子の組み合わせまたはｂ）任意の形の、したがってファームウェア、マイクロコードなどを含むソフトウェアであって、当該機能を実行するためにそのソフトウェアを実行するための適切な回路と組み合わされたソフトウェアを包含することが意図されている。そのような請求項によって定義される本開示は、前記さまざまな記載される手段によって提供される機能性が請求項が記載する仕方で組み合わされ、一緒にされるという事実にある。よって、これらの機能性を提供できる任意の手段が本稿で示されている手段と等価であると見なされる。

バンド発生現象は二つの範疇に分類できる。色ビット削減または色量子化のプロセスにおいては、低下した信号精度のためにバンド発生が現れうる。この型の誤差は、たいていの場合、誤差拡散アルゴリズムを使うことによって効果的に除去できる。しかしながら、色補正、スケーリングおよび色空間変換といった他のプロセスは、その限られた処理帯域幅のためにバンド発生アーチファクトに寄与する。この型のバンド発生は誤差拡散によっては効果的に対処できない。これらのバンド発生アーチファクトを隠蔽するためにマスキング信号が要求される。加えられるマスキング信号の量は、バンド発生アーチファクトの強度に直接関係する。

さらに、一般的には、画像のもとのなめらかな線形遷移領域上において、変動する強度および色レベルの諸バンドが表示される。バンドの効果的な除去のためにはバンド発生領域が識別される必要がある。バンド発生アーチファクトは、なめらかな線形遷移において最も現れやすいので、フレーム・ベースのアプローチは、バンド発生アーチファクトのない領域に無用のマスキング信号を導入し、よって画質を低下させることになる。本開示の装置および方法は、バンド発生を効果的に除去する、領域またはROIベースの（すなわち、関心領域に基づく）アプローチを提供する。このアプローチでは、加えられるマスキング信号の量は、可能な最良の画質を達成するために人間の操作者によって調節されることができる。本発明の装置および方法は、バンド発生領域の自動検出をも提供する。

本開示の装置および方法は、色強度のなめらかな線形遷移をもち、画像処理においてバンド発生アーチファクトをもちやすい画像領域を検出するための自動バンド発生領域検出アルゴリズムまたは機能を提供する。本装置および方法は、バンド発生領域を検出するためにパラメトリック・モデルに基づくアプローチを使う。バンド発生領域は、なめらかな強度または色遷移をもつ領域として定義される。この型の領域は、量子化、色補正などのような画像処理後にバンドまたは偽輪郭をもつ傾向がある。この領域中のピクセルの強度をモデル化するために、線形表面モデルが使用される。この領域がその線形表面モデルによって密接に表現できれば、この領域はバンド発生領域として分類される。

本装置および方法はまず、画像を均一色領域に分割する。エッジ領域、テクスチャー領域およびなめらかな領域のような種々の型の領域が同じ画像中に存在できるので、本装置および方法は、画像を、その色またはルミナンス強度に基づいていくつかの領域にセグメント分割する。セグメント分割された領域が、大きさ、統計的色分布などのようなある種の基準を満たせば、セグメント分割された領域はバンド発生領域の候補として選択される。その領域がバンド発生領域であるかどうかを検証するために、その領域中のピクセルの強度または色が線形表面にあてはめられる。各領域についての色線形遷移を推定するためにパラメトリック・モデルが使用される。領域は、その領域内に色強度のなめらかな線形遷移が存在すれば、バンド発生領域として分類される。

自動バンド発生領域検出は、領域ベースのバンド発生除去システムまたは装置中に組み込むことができる。本開示はまた、検出されたバンド発生領域中のバンド発生を除去するとともに他の処理、たとえば圧縮プロセスに対する副作用を最小限にするよう設計された、ROIベースの（関心領域に基づく）誤差拡散およびバンド・マスキング方式をも提供する。本装置がフィルム（film）／ビデオ（video）処理における実際的な応用のために効率的であるために、ROI、たとえば検出されたバンド発生領域をいくつかの後続フレームにまで追跡し、それにより人間の操作者の労力を軽減するために領域ベースの追跡（tracking）アルゴリズムが提供される。

ここで図面を参照すると、本開示のある実施形態に基づく例示的な装置コンポーネントが図１に示されている。フィルム・プリント１０４、たとえばカメラ由来のフィルム・ネガをスキャンしてデジタル・フォーマット、たとえばシネオン（Cineon）フォーマットまたはSMPTE DPXファイルにするスキャン・デバイスまたは装置１０３が設けられうる。スキャン装置１０３は、フィルムからビデオ出力を生成する、たとえばテレシネまたは任意の装置、たとえばビデオ出力をもつArri LocPro（商標）のような装置を含みうる。あるいはまた、ポストプロダクション工程またはデジタル映画１０６からのファイル（たとえばすでにコンピュータ可読形式のファイル）が直接使用されることもできる。コンピュータ可読ファイルのソースの可能性としては、AVID（商標）エディタ、DPXファイル、D5テープなどがある。

スキャンされたフィルム・プリントは、後処理装置１０２、たとえばコンピュータに入力される。コンピュータは、一つまたは複数の中央処理装置（CPU）、ランダム・アクセス・メモリ（RAM）および／または読み出し専用メモリ（ROM）といったメモリ１１０ならびにキーボード、カーソル制御装置（たとえばマウス、ジョイスティックなど）および表示装置といった入出力（I/O）ユーザー・インターフェース（単数または複数）１１２のようなハードウェアを有するさまざまな既知のコンピュータ・プラットフォームのいずれで実装されてもよい。コンピュータ・プラットフォームはまた、オペレーティング・システムおよびマイクロ命令コードをも含む。本稿に記載されるさまざまなプロセスおよび機能は、前記マイクロ命令コードの一部であっても、オペレーティング・システムを介して実行されるソフトウェア・アプリケーション・プログラムの一部であっても（あるいはそれらの組み合わせであっても）よい。ある実施形態では、ソフトウェア・アプリケーション・プログラムはプログラム記憶デバイス上に具体的に実現され、後処理装置１０２のような任意の好適な機械にアップロードされて該機械によって実行されうる。さらに、さまざまな他の周辺装置が、パラレル・ポート、シリアル・ポートまたはユニバーサル・シリアル・バス（USB）といったさまざまなインターフェースおよびバス構造によって、コンピュータ・プラットフォームに接続されていてもよい。他の周辺装置は追加的な記憶装置１２４およびプリンタ１２８を含みうる。プリンタ１２８は、前記フィルムの修正版１２６、たとえば前記フィルムの立体映像版をプリントするために用いられてもよい。

あるいはまた、すでにコンピュータ可読形式にあるファイル／フィルム・プリント１０６（たとえば、外部ハード・ドライブ１２４に記憶されていてもよいデジタル映画）がコンピュータ１０２に直接入力されてもよい。用語「フィルム（film）」は本稿ではフィルム・プリントまたはデジタル映画のいずれをも指しうることを注意しておく。

ソフトウェア・プログラムは、画像中のアーチファクトを軽減するための、メモリ１１０に記憶されている誤差拡散モジュール１１４を含む。誤差拡散モジュール１１４は、画像中のアーチファクトをマスクするための信号を生成するノイズまたは信号生成器１１６を含む。ノイズ信号は白色雑音、ガウス雑音、種々のカットオフ周波数フィルタで変調された白色雑音などでありうる。画像のブロックの量子化誤差を決定するために打ち切りモジュール１１８が設けられる。誤差拡散モジュール１１４はまた、近隣ブロックに量子化誤差を分配するよう構成された誤差分配モジュール１２０を含む。

少なくとも一つの画像におけるバンド発生領域を検出するために領域検出モジュール１１１が設けられる。領域検出モジュール１１１は、少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割するよう構成された画像セグメント分割（image segmentation）モジュール１１３を含む。線形遷移推定器（linear transition estimator）１１５が設けられ、セグメント分割された均一色領域について色強度の線形遷移を推定するよう構成される。線形遷移推定器１１５は、セグメント分割された領域の表面をモデル化するために線形パラメトリック・モデルを用いる。領域検出モジュール１１５はさらに、色強度の線形遷移が実質的になめらかであれば均一色領域をバンド発生領域として分類するよう構成される。詳細はのちに述べる。

シーンのいくつかのフレームを通じてROI、たとえば検出されたバンド発生領域を追跡するための追跡モジュール１３２も設けられる。追跡モジュール１３２は、シーンの各画像または各フレームについての二値マスクを生成するためのマスク生成器１３４を含む。二値マスクは、たとえばROIのまわりに描かれたユーザー入力されたポリゴンによって、あるいは領域検出モジュール１１１によって画像中に定義されたROIから生成される。二値マスクは、1または0のピクセル値をもつ画像である。ROI内のすべてのピクセルは1の値をもち、他のピクセルは0の値をもつ。追跡モジュール１３２はさらに、ある画像から別の画像への、たとえばシーンのフレームからフレームへのROIの追跡情報を推定するための追跡モデル１３６を含む。

出力画像をMPEG1、2、4、h.264などといった任意の既知の圧縮規格にエンコードするためのエンコーダ１２２が設けられる。

図２は、本開示のある側面に基づく、画像中の関心領域（ROI）を追跡する例示的な方法の流れ図である。最初、後処理装置１０２は少なくとも一つの二次元（2D）画像を取得する（ステップ２０２）。後処理装置１０２は少なくとも一つの2D画像を、上記したようにコンピュータ可読フォーマットのデジタル・マスター・ビデオ・ファイルを得ることによって取得する。デジタル・ビデオ・ファイルは、デジタル・ビデオ・カメラを用いてビデオ画像の時間的シーケンスを取り込むことによって取得されてもよい。あるいはまた、ビデオ・シーケンスは通常のフィルム型カメラによって取り込まれてもよい。この筋書きでは、フィルムはスキャン装置１０３を介してスキャンされる。

フィルムがスキャンされるかすでにデジタル・フォーマットであるかによらず、フィルムのデジタル・ファイルはフレームの位置についての指示または情報、たとえばフレーム番号、フィルムの先頭からの時間などを含むことになる。デジタル・ビデオ・ファイルの各フレームが一つの画像を含み、たとえばI₁,I₂,…I_nとなる。

ステップ２０４では、少なくとも一つの画像において関心領域Rが定義または検出される。ある実施形態では、操作者が、ユーザー・インターフェース１１２のような対話的なユーザー・インターフェースを使って、たとえば画像上にポリゴン領域の輪郭を描くなどして、バンド発生アーチファクトをもつ領域を定義する。別の実施形態では、領域は図３に関して述べる自動検出アルゴリズムまたは機能によって検出される。

図３を参照すると、二次元（2D）画像が取得される（ステップ３０２）。ステップ３０４では、その画像がセグメント分割モジュール１１３によって少なくとも一つの均一色領域にセグメント分割される。本開示の色セグメント分割（color segmentation）では、画像中の優勢な色を見出すために平均シフト（mean shift）・アルゴリズムまたは関数が使用される。平均シフト関数は、局所的な最大を見出すために色ヒストグラム空間において逐次反復的に使用される。局所的な最大に対応する色は優勢色（dominant color）として割り当てられ、ヒストグラムから除去される。このプロセスが反復されて次の優勢色が見出される。逐次反復プロセスは、それ以上優勢色がなくなったのちに停止する。画像はこれらの優勢色に基づいて領域にセグメント分割される。

画像セグメント分割後、バンド発生の候補として、サイズおよびその統計分布に基づいて諸領域のリストが選択される（ステップ３０６）。領域サイズ、たとえばピクセル数が所定の閾値より小さい場合、その領域は破棄される。さまざまな実施形態において、閾値は約50ピクセルから約200ピクセルに設定される。領域内でのピクセルの色分布の分散が次いで計算される。分散が所定の閾値より高ければ、その領域は破棄される。最後に、残された領域がバンド発生領域の候補として選択される。

ステップ３０８では、選択されたバンド発生領域候補について色強度の線形遷移が線形遷移推定器１１５によって推定される。線形遷移は、セグメント分割された領域内のピクセルの強度表面をモデル化することによって推定される。表面モデル化（surface modeling）は、次の線形パラメトリック・モデルを使う：
I(x,y)＝ax＋by＋c (1)
ここで、I(x,y)は位置(x,y)における予測された色強度であり、a、b、cは定数係数である。上記の式は3D空間内での2D平面を定義する。つまり、入力画像は二次元であり、残りの次元が色強度であり、こうしてx、y、Iが三次元軸を与える。

次に、線形モデルについての表面係数が図４に示されるように推定される。表面係数は、堅牢かつ逐次反復的な推定を使って推定される。通常の最小平均二乗（Least Mean Square）推定に対して堅牢な推定（robust estimation）の利点は、突出値（outliers）（たとえばフィルムにおけるよごれまたは領域中の小さな無関係なオブジェクト）に対する堅牢さである。最初、ステップ４０２において、選択されたセグメント分割された領域からの3D点が、式(1)によって定義されるモデルに入力される。堅牢推定は、通常の平均二乗推定を使っての表面係数の初期推定をもって始まる（ステップ４０４）。次いで、2D線形表面が推定された係数を使って得られる（４０６）。たとえば、各ピクセル位置(x,y)において、推定されたルミナンス強度が式(1)によって計算される。点が推定された2D表面から有意に、たとえば所定の第一の閾値だけ逸れていれば、それらの点は突出値として分類され、破棄され、係数推定の次のランに参加しないことになる（ステップ４０８）。突出値についての閾値は、全ピクセルの平均の（average）平均二乗差（mean square difference）に基づく。ステップ４１０では、推定誤差が第二の閾値より小さければ（または他の停止基準を使って）、推定および突出値除去プロセスが突出値点を排除する3D点を使って繰り返され、これが推定誤差が第二の所定の閾値より小さくなるまで続けられる。ひとたび推定誤差が第二の所定の閾値より小さくなれば、表面係数が記憶される（ステップ４１２）。

図３に戻ると、上記の係数が得られたのち、選択されたセグメント分割された領域の色強度の線形遷移が解析されて、線形遷移がなめらかかどうかが判定され、もし遷移がなめらかであればその領域はバンド発生領域として分類される（３１０）。線形遷移は、表面当てはめ誤差（surface fitting error）を決定することによって解析される。表面当てはめ誤差は、画像中の真の強度表面と推定された強度表面との間の平均二乗誤差（または他の誤差計量）として次のように定義される：

ここで、I_(x,y)は画像領域R中の座標(x,y)における実際のピクセル値であり、I(x,y)は座標(x,y)において式(1)中の推定された係数(a,b,c)をもつ表面の式を評価することにより推定されたピクセル値である。表面当てはめ誤差が閾値未満でありかつa、bの両方が0に等しいのでなければ、線形遷移はなめらかであると判定され、その領域はバンド発生領域として分類される。プロセスは次いで、ステップ３０６からのすべての選択されたセグメント分割された領域が分類されるまで繰り返される（ステップ３１２）。

ステップ３１４では、領域検出モジュール１１１は、分類されたバンド発生領域のいずれかが共通の境界を共有しているかどうかを判定する。たとえば、二つの領域が所定数のピクセルを共有していれば、領域検出モジュール１１１はその二つの領域は共通の境界を共有していると判定することになる。少なくとも二つの分類されたバンド発生領域が共通の境界を共有する場合、領域検出モジュール１１１はそれら少なくとも二つの分類されたバンド発生領域を単一のバンド発生領域にマージする。このプロセスは、バンド発生領域の間に共通の境界がなくなるまで逐次反復される。

ひとたび一つまたは複数の領域が定義または検出されたら、本方法は図２のステップ２０６に戻る。

ROIから二値マスクが生成され、ROI、たとえば検出された領域を追跡するために本装置において使用される。二値マスクは1または0のピクセル値をもつ画像である。ユーザー定義されたポリゴン内または検出された領域内のすべてのピクセルは1の値をもち、他のピクセルは0の値をもつ。二値マスクは、ROIを表現するために使用できる。次いで、ステップ２０６で、シーンの次のフレームが読み込まれる。

バンド発生アーチファクトは、なめらかなカラー階調（grading）領域に現れる。しかしながら、一般的な追跡アルゴリズムは、堅牢かつ正確な追跡のためには、前記領域に存在する何らかの明確な特徴を要求する。こうして、別の追跡領域を使う追跡方式が提供される。ステップ２０８では、ROI Rは、追跡するための領域のより顕著な特徴を取り込むためにより大きな領域に成長または変換される。いくつかの顕著な特徴をもつ前記より大きな領域は、追跡領域（tracking region）Rtと呼ばれる。領域成長アルゴリズムは、ROIの境界ピクセルをシードとして使い、領域を成長させるために「分水界（watershed）」実装を使う。

追跡情報を推定するために、6パラメータ追跡モデル１３６（たとえばアフィン動きモデル）が領域を追跡するために使用される（ステップ２１０）。追跡領域はまず16×16ブロックに分割され、各ブロックについての動きベクトルが、ルミナンス強度を使って次のフレームにおいて最良のブロック・マッチを見出すことによって、得られる。すべてのブロックの動きベクトルが、追跡モデルにおける6つのパラメータを推定するために使われる。予測されるピクセルと実際のピクセルとの間の誤差を最小にする最良のパラメータを見出すために、線形回帰手順が使用される。この6パラメータ追跡モデルを使って、ROIの二値マスクが次のフレームに投影される（ステップ２１２）。ステップ２１４では、本装置は、シーンの最後のフレームが処理されたかどうかを判定する。まだであれば、本装置は、シーンのすべてのフレームが処理されるまで、ステップ２０６に戻る。ひとたびいくつかのフレームについてROIが利用可能になると、プロセスは自動的にシーンの残りの部分に容易に適用できる。

本装置は、追跡結果に対するリアルタイム・フィードバックを提供する。ステップ２１６において操作者が結果を評価することができ、結果が満足いくものでなければROIを修正することができる（ステップ２１２）。たとえば、操作者はユーザー・インターフェース１１２のディスプレイにおいてROIを見て、ROIが適正に追跡されたかどうかを判定することができる。操作者が満足しない場合、ROIは修正されることができ、追跡プロセスは反復されることになる。ステップ２２０では、各画像またはフレームについてのROIの二値マスクは二値ファイル中に記憶され、ROIベースの誤差拡散およびバンド・マスキングのためのROIとして使用される。これについてはのちに述べる。さらに、ROIの二値マスクは二値ファイル中に記憶され、次の段階に持ち越されることができる。たとえば、次の段階がMPEG4 AVCエンコードであれば、ROIの情報はエンコーダによって、ROIのための適正なビットを割り当てるために使用されることができる。このメタデータは、記憶装置１２４内に記憶され、他のプロセスにおいて利用されうるよう諸画像と関連付けられることができる。

ROIベースの誤差拡散およびバンド・マスキング方式のフローチャートが図５に示されている。上記したように、処理されるべき少なくとも一つの画像がステップ５０２で取得される。

ステップ５０４では、ブロック・サイズが選択される。画像は任意の数のブロックに分割されることができる。ブロックとは、長方形領域に含まれるいくつかのピクセル、たとえばB_m,nであり、ここで、m,nはブロック・インデックスを表す。ブロックのすべては、たとえば2×2、3×3などといった同じサイズをもつことができる。ブロック・サイズは、局所的な画像属性に依存して変化することもできる。ブロック・サイズは、ユーザー・インターフェース１１２を介して操作者によって選択されることができ、あるいは種々の画像サイズについて一定の比が保たれるよう画像サイズによって決定されることもできる。本開示の誤差拡散方法は、のちに述べるように、ブロック・レベルで機能する。ひとたびブロック・サイズが選択されたら、そのブロック・サイズは同じ画像については同じに保たれる。

ブロック・サイズは、単一ピクセルから2×2、2×3、4×4といった任意のサイズまで多様でありうることは理解しておくべきである。異なるブロック・サイズの使用は、マスキング信号の空間周波数の装置制御を与える。これは、後続のプロセスが、高い空間周波数を除去する傾向のある不可逆的圧縮である場合に重要である。よく制御されたマスキング信号を加えることは、圧縮アーチファクトを軽減し、不可逆的圧縮後にバンド発生が再び現れることを回避する。

ひとたびブロック・サイズが選択されると、画像をなす全ブロックが、第一のブロックから始めて処理される（ステップ５０６）。最初に、本装置は、そのブロックが定義または検出された関心領域（ROI）内であるかどうかを判定する（ステップ５０８）。そのブロックがROI内でない場合には、単純な量子化方式が使用され、色ビット深さが削減される（ステップ５１６）。たとえば、そのブロックの低位ビット（the least significant bits）が消去され、量子化誤差は補償されない。ステップ５１６のあと、本装置は、画像中の次のブロックに進む（ステップ５１８）。

ステップ５１０では、ノイズ信号、たとえばマスキング信号がノイズ生成器１１６を介して画像に加えられる。ピクセルに対して、該ピクセルの領域境界までの距離、たとえば近さに基づいて、0から255までのレベルが割り当てられる。ブロック中の少なくとも一つのピクセルの前記定義された領域の境界までの距離が決定され、決定された距離に基づいて、前記少なくとも一つのピクセルに関連付けられるマスキング信号の値が割り当てられる。これらのレベルはマスキング信号の強度をスケールダウンし、それにより領域境界エリアにおけるなめらかな遷移をなすために使用される。ROIにおけるピクセル色値の平均および分散が計算される。あるピクセルの平均からの色差が分散の３倍大きければ、そのことは、バンド発生アーチファクトでありそうもない有意な特徴があることを示す。この特徴を保存するため、レベル0がこのピクセルに割り当てられる。これは、このピクセルにはノイズが加えられないということを意味する。この一例は、星がある青い空の、バンド発生アーチファクトが空に現れているシーンである。装置１００は、バンド除去処理のために青い空をROIとして選択できる。空のすべての星は、その色値がROI中のピクセルの平均値から有意に異なっているので、適正に保存される。

ステップ５１２では、そのブロックについて量子化誤差が決定される。最初に、打ち切り（truncation）モジュール１１８を介して、画像中の各ブロックに対して打ち切り関数が実行される。打ち切り関数は、ブロック中の各ピクセルについてのビット深さを、該ビット深さの値を2の冪乗である一定の量子化因子Qで割ることによって、削減するために用いられる。一般に、量子化因子Qは2^xに等しい。ここで、xは打ち切られるべきビット数である。たとえば、10ビット・データから8ビット・データへの打ち切りのためには、一定の量子化因子Qは4、すなわちQ＝2²となる。打ち切り関数は次式として定義される：

ここで、I_i,jはブロック内のピクセル値、N_i,jはノイズ生成器１１６によって打ち切りの前に加えられた信号、Qは量子化因子である。I′_i,jは打ち切られたピクセル値である。打ち切りプロセスにおいて、ピクセル値について配慮しなければならない丸めの問題がある。たとえば、I′_i,jが1.75、すなわち7（I′_i,j＋N_i,j）を4（Q）で割ったものに等しいとすると、I′_i,jは整数値によって表現される必要がある。I′_i,jは当技術分野において知られている種々の丸め方式に基づいて、2または1となることができる。

式(3)の中において、N_i,jはノイズ、たとえば白色雑音であり、構造アーチファクトを軽減する。一般に、N_i,jはランダムな信号分布をもつ。ユーザー・インターフェース１１２を介して、操作者は、N_i,jの値の範囲を手動で制御できる。デフォルトでは、N_i,jの値の範囲は0からQ−1までである。画像の選択されたブロック内の各ピクセルについて同じノイズを使うことによって、ノイズ・パターンの空間周波数はブロック内で低くなり、これは画像全体におけるノイズの全体的な空間周波数を低下させる。ノイズの空間周波数が低下するので、ノイズ、すなわちマスキング信号は圧縮プロセスを生き延び、圧縮解除の際にアーチファクトを抑制する。

次に、下記の式(4)

に示されるように、ブロック内の各ピクセルについて量子化誤差が決定され、すべての量子化誤差の総和がブロック量子化誤差E_m,nを生成する。このブロック量子化誤差が誤差拡散係数に基づいて近隣ブロックに分配される。

総ブロック量子化誤差E_m,nについて、該量子化誤差の一部eが、
e＝c(m,n)*E (5)
によって決定されるよう、近隣ブロックに分配される。ここで、c(m,n)は誤差拡散係数である。

ステップ５１４では、ブロック量子化誤差は、誤差分配モジュール１２０を介して近隣ブロックに分配される。各ブロック内での誤差分配機能は次のように定義される。

I_i,j＝I_i,j＋w_i,je I_i,j∈B_m,n (6)
w_i,j＝1/NM I_i,j∈B_m,n (7)
ここで、eはブロックB_m,nへ分配される総誤差、N、Mはブロックの寸法、w_i,jはブロックB_m,nについての重み付け係数である。ある実施形態では、重み付け係数を計算するために、式(6)に示されるような一様分配が使用される。w_i,jを計算するために、より複雑な関数が設計されることもできる。たとえば、w_i,jはI(i,j)に比例して設定されることができる。

ブロックB_m,nのサイズは、誤差拡散プロセスにおいて制御されることのできる空間周波数の量を決定するもので、アーチファクトを隠蔽する最良の効果を達成するよう選ばれる。しかしながら、大きなブロック・サイズは構造化されたアーチファクトを生成する傾向があり、これは誤差拡散プロセスにおいて望ましくはない。そのような構造化されたアーチファクトは、二つの異なるブロックにおける2つの隣り合うピクセルが異なる仕方で変換されるブロック境界アーチファクトを含む。式(1)におけるN_i,jは、ランダムなノイズを含めることによる潜在的な構造化されたアーチファクトを破壊するためにも使用される。2×2の例示的なブロック・サイズが、目に見えるブロック・アーチファクトなしで720×480ピクセル（たとえばDVD解像度）の画像を処理するのに十分であると見出された。結果的な目に見えるアーチファクトなしで他のブロック・サイズおよび画像サイズが用いられることもありうることは理解しておくべきである。

ステップ５１６において、あるいはステップ５１０ないし５１４によって量子化が実行されたのち、本装置は、画像中のすべてのブロックが処理されるまで、画像中の次のブロックに進む（ステップ５１８）。画像が誤差分配関数によって修正されたのち、画像は後処理装置のメモリに、たとえば記憶装置１２４に保存されうる。ひとたび特定のフィルムの全画像が修正されたら、画像はエンコーダ１２２により、MPEG1、2、4、h.264などのような任意の通常の圧縮規格に従ってエンコードされうる。圧縮されたフィルム１３０は記憶装置、たとえば記憶装置１２４において記憶されてもよいし、あるいはリムーバブル記憶デバイス、たとえばDVDに転送されてもよい。

本開示の教示を組み込む実施形態について図示し、本稿で詳細に記載してきたが、当業者は、数多くの他の変形された、それでいてこれらの教示を組み込む実施形態を容易に考案できる。画像中のアーチファクトを軽減する装置および方法についての好ましい諸実施形態（限定のためでなく例解のために意図されたものである）を記載してきたが、上記の教示に照らして当業者によって修正および変形がなしうることを注意しておく。したがって、開示される本開示の個別的な実施形態に、付属の請求項によって述べられる本開示の範囲および精神内である変更がなされてもよいことは理解されるものとする。こうして本開示を特許法令によって要求される詳細さおよび具体さをもって記載してきたところで、特許請求され特許状による保護が望まれることが付属の請求項において記載される。

Claims

画像中のバンド発生領域を検出する方法であって：
少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割する段階と；
前記少なくとも一つの均一色領域について色強度の線形遷移を推定する段階と；
色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類する段階とを含む、
方法。
前記推定する段階が、セグメント分割された領域中のピクセルの強度表面を線形表面モデルを使ってモデル化することを含む、請求項１記載の方法。
前記分類する段階が、推定された強度表面を、前記少なくとも一つの第一の画像中の実際の強度表面に当てはめることを含む、請求項２記載の方法。
前記推定された強度表面と、前記少なくとも一つの第一の画像中の実際の強度表面との間の表面当てはめ誤差を決定する段階と；
前記表面当てはめ誤差が所定の閾値より小さい場合に色強度の前記線形遷移が実質的になめらかであると判定する段階とをさらに含む、
請求項３記載の方法。
前記セグメント分割する段階が、前記少なくとも一つの第一の画像に対して平均シフト関数を実行することを含む、請求項１記載の方法。
前記少なくとも一つのセグメント分割された領域のピクセル数を判別する段階と；
前記ピクセル数が所定の閾値より小さい場合に前記少なくとも一つのセグメント分割された領域を破棄する段階とをさらに含む、
請求項１記載の方法。
前記少なくとも一つのセグメント分割された領域のピクセルの色分布の分散を計算する段階と；
計算された分散が所定の閾値より大きい場合に前記少なくとも一つのセグメント分割された領域を破棄する段階とをさらに含む、
請求項１記載の方法。
前記少なくとも一つの分類されたバンド発生領域のそれぞれが共通の境界を共有するかどうかを判定する段階と；
少なくとも二つの分類されたバンド発生領域が共通の境界を共有する場合に前記少なくとも二つの分類されたバンド発生領域を単一のバンド発生領域にマージする段階とをさらに含む、
請求項１記載の方法。
検出されたバンド発生領域を少なくとも一つの第二の画像まで追跡する段階と；
前記少なくとも一つの第一および第二の画像におけるバンド発生アーチファクトをマスクするよう、検出されたバンド発生領域に誤差拡散関数を適用する段階とをさらに含む、
請求項１記載の方法。
前記適用する段階がさらに：
前記少なくとも一つの画像のピクセルのブロック・サイズを選択する段階と；
少なくとも一つのブロックが検出されたバンド発生領域内にあるかどうかを判定する段階と；
前記少なくとも一つのブロックにマスキング信号を加える段階と；
前記少なくとも一つの画像中の前記少なくとも一つのブロックについて量子化誤差を決定する段階と；
前記量子化誤差を近隣ブロックに分配する段階とをさらに含む、
請求項９記載の方法。
前記追跡する段階がさらに：
前記少なくとも一つの第一の画像の検出されたバンド発生領域について二値マスクを生成する段階と；
検出されたバンド発生領域を追跡するために前記少なくとも一つの第二の画像に前記二値マスクを投影する段階とを含む、
請求項９記載の方法。
画像中のバンド発生領域を検出する装置であって：
少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割するよう構成された画像セグメント分割モジュールと；
前記少なくとも一つの均一色領域について色強度の線形遷移を推定するよう構成された線形遷移推定器と；
色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類するよう構成された領域検出モジュールとを有する、
装置。
前記線形遷移推定器がさらに、セグメント分割された領域中のピクセルの強度表面を線形表面モデルを使ってモデル化するよう構成されている、請求項１２記載の装置。
前記領域検出モジュールがさらに、推定された強度表面を、前記少なくとも一つの第一の画像中の実際の強度表面に当てはめるよう構成されている、請求項１３記載の装置。
前記領域検出モジュールがさらに、前記推定された強度表面と、前記少なくとも一つの第一の画像中の実際の強度表面との間の表面当てはめ誤差を決定するよう構成されており；前記表面当てはめ誤差が所定の閾値より小さい場合に色強度の前記線形遷移が実質的になめらかであると判定する、請求項１４記載の装置。
前記画像セグメント分割モジュールがさらに、前記少なくとも一つの第一の画像に対して平均シフト関数を実行するよう構成されている、請求項１２記載の装置。
前記領域検出モジュールがさらに、前記少なくとも一つのセグメント分割された領域のピクセル数を判別するよう構成されており；前記ピクセル数が所定の閾値より小さい場合に前記少なくとも一つのセグメント分割された領域を破棄する、請求項１２記載の装置。
前記領域検出モジュールがさらに、前記少なくとも一つのセグメント分割された領域のピクセルの色分布の分散を計算するよう構成されており；計算された分散が所定の閾値より大きい場合に前記少なくとも一つのセグメント分割された領域を破棄する、請求項１２記載の装置。
前記領域検出モジュールがさらに、前記少なくとも一つの分類されたバンド発生領域のそれぞれが共通の境界を共有するかどうかを判定するよう構成されており；少なくとも二つの分類されたバンド発生領域が共通の境界を共有する場合に前記少なくとも二つの分類されたバンド発生領域を単一のバンド発生領域にマージする、請求項１２記載の装置。
前記少なくとも一つの第一の画像中の検出されたバンド発生領域を少なくとも一つの第二の画像まで追跡するよう構成された追跡モジュールと；
前記少なくとも一つの第一および第二の画像におけるバンド発生アーチファクトをマスクするよう、検出されたバンド発生領域に誤差拡散関数を適用するよう構成された誤差拡散モジュールとをさらに有する、
請求項１２記載の装置。
前記誤差拡散モジュールがさらに、少なくとも一つの画像に適用されるべきマスキング信号を生成するよう構成された信号生成器をさらに有しており；前記誤差拡散モジュールがさらに、前記少なくとも一つの画像のピクセルのブロック・サイズを選択し；少なくとも一つのブロックが検出されたバンド発生領域内にあるかどうかを判定し；前記少なくとも一つの画像中の前記少なくとも一つのブロックについて量子化誤差を決定し；前記量子化誤差を近隣ブロックに分配するよう構成されている、請求項２０記載の装置。
画像中のバンド発生領域を検出する装置であって：
少なくとも一つの第一の画像を少なくとも一つの均一色領域にセグメント分割する手段と；
前記少なくとも一つの均一色領域について色強度の線形遷移を推定する手段と；
色強度の前記線形遷移が実質的になめらかであれば、前記少なくとも一つの均一色領域をバンド発生領域として分類する手段とを有する、
装置。
前記推定する手段がさらに、セグメント分割された領域中のピクセルの強度表面を線形表面モデルを使ってモデル化する手段を有する、請求項２２記載の装置。
前記分類する手段がさらに、推定された強度表面を、前記少なくとも一つの第一の画像中の実際の強度表面に当てはめる手段を有する、請求項２３記載の装置。
前記分類する手段がさらに、前記推定された強度表面と、前記少なくとも一つの第一の画像中の実際の強度表面との間の表面当てはめ誤差を決定する手段と；前記表面当てはめ誤差が所定の閾値より小さい場合に色強度の前記線形遷移が実質的になめらかであると判定する手段とを有する、請求項２４記載の装置。
前記セグメント分割する手段がさらに、前記少なくとも一つの第一の画像に対して平均シフト関数を実行する手段を有する、請求項２２記載の装置。
前記分類する手段がさらに、前記少なくとも一つのセグメント分割された領域のピクセル数を判別する手段と；前記ピクセル数が所定の閾値より小さい場合に前記少なくとも一つのセグメント分割された領域を破棄する手段とを有する、請求項２２記載の装置。
前記分類する手段がさらに、前記少なくとも一つのセグメント分割された領域のピクセルの色分布の分散を計算する手段と；計算された分散が所定の閾値より大きい場合に前記少なくとも一つのセグメント分割された領域を破棄する手段とをさらに有する、請求項２２記載の装置。
前記少なくとも一つの分類されたバンド発生領域のそれぞれが共通の境界を共有するかどうかを判定する手段と；少なくとも二つの分類されたバンド発生領域が共通の境界を共有する場合に前記少なくとも二つの分類されたバンド発生領域を単一のバンド発生領域にマージする手段とをさらに有する、請求項２２記載の装置。
前記少なくとも一つの第一の画像中の検出されたバンド発生領域を少なくとも一つの第二の画像まで追跡する手段と；
前記少なくとも一つの第一および第二の画像におけるバンド発生アーチファクトをマスクするよう、検出されたバンド発生領域に誤差拡散関数を適用する手段とをさらに有する、
請求項２２記載の装置。
前記分類する手段がさらに、少なくとも一つの画像に適用されるべきマスキング信号を生成する手段と；前記少なくとも一つの画像のピクセルのブロック・サイズを選択する手段と；少なくとも一つのブロックが検出されたバンド発生領域内にあるかどうかを判定する手段と；前記少なくとも一つの画像中の前記少なくとも一つのブロックについて量子化誤差を決定する手段と；前記量子化誤差を近隣ブロックに分配する手段とを有する、請求項３０記載の装置。