JP2011216083A

JP2011216083A - デジタル画像を処理する方法、デジタル入力画像を拡大する方法およびデジタル入力画像を平滑化する方法

Info

Publication number: JP2011216083A
Application number: JP2011054015A
Authority: JP
Inventors: Gupta Mithun Das; ダスグプタミスン; Jing Xiao; ザオジング
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2010-04-01
Filing date: 2011-03-11
Publication date: 2011-10-27
Also published as: US8285033B2; US20110243428A1

Abstract

【課題】バイラテラルフィルターに類似した平滑化およびエッジ保存特性を提供するが、画像値の非線形の組み合わせによりさほど制約されないフィルターを提供すること。
【解決手段】つや消し親和性の原理により機能するエッジ保存フィルターはバイラテラル級のフィルターにおける範囲フィルター項をより良く代表し、異なる用途に適合するためにアフィニティ項の定義を緩和する。出力が従来のバイラテラルフィルターに非常に類似していることが示される近似バイアフィニティーフィルターを定義する。
【選択図】図２

Description

本発明は画像処理の分野に関する。より具体的に、バイラテラルフィルタリングによる画像平滑化の分野に関する。

バイラテラルフィルターはBilateral Filtering for Gray and Color Images（「グレイおよびカラー画像用のバイラテラルフィルタリング」）、ICCV：Proceedings of the Sixth International Conference on Computer Vision、839頁、1998年、IEEE Computer Society、においてTomasi とManduchiにより最初に提案され、これは引用により全体として本明細書に組み入れられる。基本的に、バイラテラルフィルターは近傍の画像値の非線形組み合わせを手段としてエッジを保存しながら画像を平滑化する。このようなフィルタリング操作の背後にある主要な概念は空間領域からと共に特徴領域からの情報を組み合わせることである。これは次のように表すことができる。

バイラテラルフィルターは非線形フィルターで（そのため演算集約的な操作となっている）、従って多くの研究者は非線形バイラテラルフィルターを別個の一次元フィルターまたは類似したカスケード型表現に分解する手法を提案している。2Dカーネルの特異値分解はそのような手法の1つである。別の提案された手法は画像のサブサンプルコピーを離散的強度カーネルでフィルターし、線形補間を用いて結果を再度組み合わせることによるバイラテラルフィルターの近似である。

最近バイラテラルフィルターの実行時間が重大なネックとして特定され、より大きな空間要件および挙動近似があるものの、フィルタリング操作をほとんど一定の時間にするような手法がいくつか提案されている。

米国特許第７３５２９１１号明細書

バイラテラルフィルターの性能を向上させる研究は範囲領域とともに空間領域に適用されるフィルターの形に強く依存している。1つの方法は平滑化用にボックスフィルターの積の近似および多項式またはガウスカーネルの4次のテイラー級数の近似に完全に分解することができる。しかし、フィルターの形が変更されると、このような方法は約束された速度向上向けに適用することはできない。

本発明の目的はバイラテラルフィルターに類似した平滑化およびエッジ保存特性を提供するが、画像値の非線形の組み合わせによりさほど制約されないフィルターを提供することにある。

本発明のさらなる目的はバイラテラルフィルターに類似した平滑化およびエッジ保存特性を提供するが、実施の最適化が向上させるのに好適なフィルターを提供することにある。

本発明のさらなる目的はバイラテラルフィルターに類似した平滑化およびエッジ保存特性を提供するのみならず、さらに画像最適化特性を提供するフィルターを提供することにある。

また、本発明のデジタル画像を処理する方法において、前記ステップ（ａ）は、前記デジタル入力画像に対しその固有色空間において適用されることを特徴とする。

また、本発明のデジタル画像を処理する方法において、前記固有色空間はRGB 色空間であることを特徴とする。

また、本発明のデジタル画像を処理する方法において、前記ステップ（ａ）は、前記デジタル入力画像Iの詳細な線情報を生成し、
前記ステップ（ｃ）は、前記線情報を補間された、より高い解像度の画像に加えることを特徴とする。

また、本発明のデジタル画像を処理する方法において、前記ラプラシアン行列Lはフィルターカーネルの機能を果たすことを特徴とする。

また、本発明のデジタル入力画像を拡大する方法において、前記ステップ（ａ）は、前記デジタル入力画像Iの詳細な線情報を生成し、
前記ステップ（ｃ）は、前記線情報を補間された、より高い解像度の画像に加えることを特徴とする。

また、本発明のデジタル入力画像を拡大する方法において、前記ステップ（ａ）は、前記デジタル入力画像Iに対しその固有色空間において適用されることを特徴とする。

また、本発明のデジタル入力画像を拡大する方法において、前記固有色空間はRGB 色空間であることを特徴とする。

また、本発明のデジタル入力画像を平滑化する方法において、前記ステップ（ａ）は、前記デジタル入力画像に対しその固有色空間において適用されることを特徴とする。

また、本発明のデジタル入力画像を平滑化する方法において、前記固有色空間はRGB色空間であることを特徴とする。

実世界の自然なカラー画像のRGB色ヒストグラムである。本バイアフィニティーフィルターを実施するサンプル設定を示す図である。鮮明なエッジを有する元の画像を示す図である。図3．a における元の画像にバイラテラルフィルターを適用したエッジ角取り効果を示す図である。図3．a における元の画像にバイアフィニティーフィルターを適用したエッジ保存効果を示す図である。中央ピクセルC1および中央ピクセルC1を含む9個の重なり合う３×３ピクセルの窓を示す図である。中央ピクセルC1および目標近傍ピクセルN1を包含する4個のみの重なり合う窓を示す図である。 C1を中心として窓である中央ピクセルの局所窓のみを示す図である。さまざまなピクセルサイズのピクセル窓に対し正則化項εを変化させる影響を示す図である。固定した窓サイズに対する正則化項の影響を示す図であり、正則化項は0．0005、0．005、0．05、および0．5 の値を割り当てられている図である。画像の固有RGB 色空間に適用された本バイアフィニティーフィルター対画像の固有RGB 色空間と転換CIELAB 色空間双方に適用されたバイラテラルフィルターのPSNR の比較を、フィルターの固定範囲の分散およびさまざまの窓サイズについて示す図である。画像の固有RGB 色空間に適用された本バイアフィニティーフィルター対画像の固有RGB 色空間と転換CIELAB 色空間双方に適用されたバイラテラルフィルターのPSNR の比較を、フィルターの固定範囲の分散およびさまざまの窓サイズについて示す図である。本バイアフィニティーフィルターを入力画像に適用した結果とバイラテラルフィルターを固有RGB色空間のおよびCIELAB色空間に転換された後の入力画像に適用した結果を比較する図である。固有RGB 色空間およびCIELAB 色空間におけるバイアフィニティーフィルターとバイラテラルフィルターを比較した、図8に類似した実験結果のさらなるセットを示す図である。固有RGB 色空間およびCIELAB 色空間におけるバイアフィニティーフィルターとバイラテラルフィルターを比較した、図8に類似した実験結果のさらなるセットを示す。低解像度の画像を増強するために本バイアフィニティーフィルターを適用したものを示す図である。低解像度の画像を増強するために本バイアフィニティーフィルターを適用したものを示す図である。低解像度の画像を増強するために本バイアフィニティーフィルターを適用したものを示す図である。双三次補間により2xの倍率でズームインした画像を示す図である。本バイアフィニティーフィルターによりさらに増強した図12．a と同じズームインした画像を示す図である。双三次補間により2xの倍率でズームインした画像を示す図である。本バイアフィニティーフィルターによりさらに増強した図13．a と同じズームインした画像を示す図である。双三次補間により2xの倍率でズームインした画像を示す図である。本バイアフィニティーフィルターによりさらに増強した図14．a と同じズームインした画像を示す図である。画像増強の図式的モデルを示す図である。画像増強の図式的モデルを示す図である。

上記の目的は色線手法を用いて固有色空間内におけるピクセルの色親和性を判定する、入力画像を平滑化し増強する方法で満足される。
発明のより完全な理解とともに他の目的および成果は以下の説明および添付図面と併せて以下の説明およびクレームにより明らかになり理解されよう。
バイラテラルフィルターの真の力は、バイラテラルパラダイムに対し試されたカーネル群が殆どないということからまだ実現していないと現時点で提案される。

従来、研究は多チャンネルのカラー画像の統一的な扱いというバイラテラルフィルターの最も重要な欠点を見過ごしている。これは色チャンネルが従来互いに独立しており、フィルターは従って各色チャンネルを独立して処理すると仮定されていることによる。例えば、RGB色空間は3つの色チャンネル（赤、緑、および青）を有するが、3つの色チャンネルの各々にバイラテラルフィルターを別個に適用することを必要とする。このことの直接的な結果としてバイラテラルフィルターはRGB色空間における鮮明な色エッジで色アーティファクトを形成する。これはRGB 色空間が通常カラーデジタル画像、すなわちデジタル写真撮影または画像スキャン操作などのさまざまなデジタル撮像手法により得られた画像、の固有色空間であるために問題を課す。

今までに提案された1つの改善法は固有のRGB 色空間からCIELAB 色空間に転換することで、これは人間の視覚（または知覚）に近似しようとする。RGB 色空間と同様、CIELAB 色空間も3つの色チャンネルを有し、従ってバイラテラルフィルターが3つの色チャンネルの各々に独立して適用されることを必要とするが、CIELABは色アーティファクトを避けることで知られる。すなわち、この方法によると、一旦固有RGB のカラー画像がCIELAB 色空間に転換されると、チャンネル毎のバイラテラルフィルター処理はRGB 色空間における処理で明白なアーティファクトを形成しない。

本考察はさらにこの弱点を調べ、今までデジタル撮像社会内で標準的な技法であった変換領域手法（すなわち固有RGB色空間から別の色空間に転換すること）と同等で機能する新規手法を提案する。

以降「バイアフィニティーフィルター」と呼ばれるカラー画像用の新規フィルターが現時点で提案される。このフィルターは構造的にバイラテラルフィルターに類似しているが、提案されるバイアフィニティーフィルターは色線モデルに基づく。示されるように、この方法はRGB 色空間からCIELABなど知覚に基づく色空間への明白な転換を削除することを可能にする。

本バイアフィニティーフィルターはピクセルの周囲の小規模の近傍に対する色親和性を測定し、それに従いフィルター項を加重する。この方法はカラー画像用の標準的なバイラテラルフィルターと同等に機能し得ることが提案される。本バイアフィニティーフィルターのさらなる利点は入力画像の大きなエッジを保存するのみならず（バイラテラルフィルターの望ましい特徴）、入力画像の小さなエッジを保存し増強することで、これは画像増強フィルターとしてさらなる用途につながる。

上述のとおり、バイラテラルフィルターの主要な目的は空間領域からの情報を特徴領域と組み合わせることで、この特徴領域は一般的に色領域である。RGB領域におけるカラー画像のピクセル間の色親和性を判定することは、近い色のピクセルが全く異なるように見せ、著しく異なるRGB値を有するように見せる光強度の差により複雑になっている。従って一般的にRGB 色空間から光強度の差をフィルターして除去し得る別の色空間に転換し、この別の色空間においてバイラテラルフィルターを適用することが好ましい。

色を光強度から分離して2つのピクセルが同じ色を共有するか否かを判定する方法を作り出す多数の代替色空間が提案されている。これらの色空間は2つのグループ、すなわち線形と非線形、に分けることができる。線形色空間の中で最も広く用いられているのはYcrCb、YUV、およびYIQ 色空間である。線形色空間の中では2つのグループ：色を色相（すなわち色）、彩度（すなわち純度）、および値（すなわち光強度）に分離する第1サブグループ、および色を輝度と2つの色座標に分離する第2サブグループ、が普及している。サブグループはさらにHSV、HIS、HSB、HSL、等々の色空間を含むことができる。サブグループは知覚的に均一な（すなわち人間の目が色の変化を知覚する方法に近い）色空間を作り出そうと試みる、色を輝度（すなわち光強度）および2つの色座標に分離するCIELAB およびCIE‐LUV色空間である。

2つのピクセルが同じ実世界の色を有するか否かを判定するために、一般的な色モデルの色座標が用いられる。これらの色モデルは色の歪みがないか、またはすべての撮像条件に対し同一の色の歪みがあると仮定する。実際には、出所の不明な実世界の画像を扱う場合、場面表面の色は場面およびカメラの設定によって異なる画像とともに異なる画像領域において異なって歪まれるのでこれらの仮定が正しいことは稀である。

これは色線モデルの話題につながる。色線の採用はColor lines： Image Specific Color Representation（色線：画像特有の色描写）、CVPR、2004年、における Omer 他に帰するとされており、引用により全体として本明細書に組み入れられる。Omer 他はカラーの自然画像はRGB 色空間においてピクセル色のクラスターを形成すると提案した。自然画像における小規模領域の多くは2色の線形組み合わせに分解できるということからこれらピクセルのクラスターは主に管状の領域を形成するようである。これは以下に説明する2色モデルにつながる。

図1に関し、実世界における自然画像のRGB色ヒストグラムを見ると、ヒストグラムは極めて疎で構造化されていることがはっきりと観察される。色線モデルは色クラスター、または管状領域11‐15、を描写することによりRGB色ヒストグラムのこれら2つの特性を活用している。色クラスター11‐15の構造および配置は画像特有であるので、これは画像における色の歪みに対する頑強さと色の集約された色描写の2つの重要な特性を有する画像特有の色表現をもたらす。この概念は画像のつや消し（すなわち前景被写体をその周囲の背景から分離）、ベイヤーモザイク除去（すなわちベイヤー色フィルターを上乗せした画像センサーからの不完全な色サンプルからカラー画像を再構成）、および最近では画像の雑音除去およびぼやけ除去に使用されている。

A Closed Form Solution to Natural Image Matting（自然画像のつや消しに対する閉形式解）、CVPR、2006年（引用により全体として本明細書に組み入れられる）においてLevin 他が示すように、同様の論法をカラー画像に用いることができる。カラー画像について、色線特性が守られれば、小窓内で各ピクセルにおけるつや消し係数により満足される4D線形モデルは次のように書くことができる。

本明細書において第1の定理が以下のように提案される。

しかしバイアフィニティーフィルターはエッジにわたりゼロである親和性の公式のためにエッジを平滑化しない。これはエッジにおいて本質的に曲げ効果を有するバイラテラルフィルターとは全く逆である。この画像の歪みは図3．a‐3．c に見ることができる。図3．a は鮮明な画像を有する元の画像の例である。図3．b はバイラテラルフィルタリングを適用した結果を示す。図示されるように、バイラテラルフィルタリングはエッジを丸めることになる。逆に図3．cに示すようにバイアフィニティーフィルタリングの適用はエッジの鮮明さを維持する。

例えば図 4．a は中央ピクセルC1 および中央ピクセルC1を含む9個の重なり合う3×3 のピクセル窓21‐29 を示す。近傍ピクセルN1‐N8も記載される。本例の場合、中央ピクセルC1 と目標近傍ピクセルN1 との間の色親和性が望ましい。
全体的な複雑さは可能な窓のより少数のセットにわたり色親和性を評価することにより削減することができる。例えば図4．bにおいて、中央ピクセルC1および目標近傍ピクセルN1双方を包含する4つの重なり合う窓、22、23、24、および29のみを評価することができる。

図7．a および14．bに関し、画像の固有RGB色空間において適用された本バイアフィニティーフィルターに対し画像の固有RGB色空間および転換CIELAB色空間双方に適用されたバイラテラルフィルターの比較が図示される。従来のバイラテラルフィルターに対する量的比較のために、図7．a において0．1の固定範囲のフィルター分散および図7．b において1．0の固定範囲のフィルター分散に対し窓のサイズを変化させた。

方程式23に関して上述のように、近似バイアフィニティーフィルターは1つの中心の局所窓で評価されるが、従来のバイラテラルフィルターに非常に近い。以下の実験的結果は本近似バイアフィニティーフィルターを従来のバイラテラルフィルターと比較している。これらの結果は図8に図示される。

図8に関し、左上の隅の画像はバイラテラルフィルターおよび本近似バイアフィニティーフィルターが適用される元の入力画像を示す。入力画像の固有RGB色空間においてバイラテラルフィルターを適用した結果（バイラテラルフィルターを赤色チャンネル、緑色チャンネル、および青色チャンネルの各々に別個に適用して）が右上の隅に示される。図示されるように、結果の和らげられた画像は鮮明な色のエッジにおいて画像解像度の損失と考えられる色のアーティファクトに悩まされる。

しかし、入力画像を先にRGB色空間からCIELAB色空間に転換し、次にバイラテラルフィルターを3つのCIELAB 色チャンネルの各々に別個に適用すると、結果の和らげられた画像は図8の左下の隅に示されるようによりはっきりと定義される。

バイアフィニティーフィルターを固有RGB色空間およびCIELAB色空間双方におけるバイラテラルフィルターと比較した図8に類似したさらに2セットの実験結果が図9および図10に示される。

本バイアフィニティーフィルターはさらに増強画像のズーミングにおける応用を有する。方程式22における元のバイアフィニティーフィルター（すなわち1つの中心的局所窓の評価に限定されない種類）は非常に微細な詳細を保存することが示されている。言い換えると、本バイアフィニティー公式は画像の支配的エッジのみを保存する従来のバイラテラルフィルターに比べ画像の非常に複雑な詳細を保存する。この点で、本バイアフィニティーフィルターはすべてのエッジを保存する反面バイラテラルフィルターは強いエッジのみ保存すると理解できる。このバイアフィニティーフィルターの重要な特徴は画像増強およびズーミングというバイアフィニティーフィルターの最も興味深い応用の一つにつながる。

画像増強手法は低解像度の画像を高解像度の画像に転換しようとする。要するに、画像増強手法は欠損する情報を推定することにより利用可能な低解像度のデータから高解像度のデータを生成しようとする。これは多数の公式につながり、いくつかは学習に基づき、いくつかは補間に基づく。基本的に、欠損する高解像度のデータを推測できれば、欠損する高解像度のデータを低解像度のデータ（すなわち入力画像の拡大またはズームインされたバージョン）のデータ忠実性の制約を満足する補間に加えることができる。結果は推定（すなわち生成された）高解像度の画像である。

本バイアフィニティーフィルターの増強特徴の第2例を図12．a および12．bに示す。図12．a は双三次補間により2倍にズームインされた画像を示す。図12．b は同じズームインされた画像でさらに本バイアフィニティーフィルターにより増強されたものを示す。小さな画像詳細の保存が特筆される。

本バイアフィニティーフィルターの増強特徴の第3例を図13．a および13．bに示す。図13．a は双三次補間により2倍にズームインされた画像を示す。図13．b は同じズームインされた画像でさらに本バイアフィニティーフィルターにより増強されたものを示す。

本バイアフィニティーフィルターの増強特徴の第4例を図14．a および14．bに示す。図14．a は双三次補間により2倍にズームインされた画像を示す。図14．b同じズームインされた画像でさらに本バイアフィニティーフィルターにより増強されたものを示す。

図15．a および15．bに画像増強の図式的モデルが示される。図15．aは受動的フィルタリング手法を図示し、図15．b は能動的フィルタリング手法を図示する。図15．a および15．b双方において、円は観察されたノードを表し、正方形は関数ノードを表し、三角形は推定される画されたノードを表す。

本発明の方法は受動的フィルタリング手法であり、図15．a により最も良く説明される。例えばバイラテラル、双三次、等々他の受動的フィルタリング手法と同様に本方法は低解像度の観察層（すなわち破線のグリッドパターンに沿った下側の円LC を有する層）のみを見て高解像度の場面（すなわち上側の三角形UTを有する上方層）の値を生成する。本例の場合、場面を生成するためにフィルターカーネルは観察されたノードに適用される。

これに比較してマルコフ確率場（MRF）などに基づく図15．bに示される能動的方法は近傍連続性の制約を推測される層にも課す。すなわち、場面ノードは隠れた場面場における近傍からも影響される。これは場面ノード内の相互作用の潜在力を通してなされる。現時点で本発明の原理もこのようなモデルに適用し得ると提案される。

要約すると、つや消し親和性の原理で機能する新規なエッジ保存フィルターが提案される。つや消し親和性の公式はバイラテラルフィルタークラスにおける範囲フィルター項のより良い表現を可能にする。親和性項の定義は異なる用途に適合するよう緩和することができる。

従来のバイラテラルフィルターに非常に類似した出力の近似バイアフィニティーフィルターが定義される。本手法は色空間の変更が必要でなく、従って入力画像はその元の色空間、すなわちその固有色空間において扱うことができるというさらなる利点を有する。これは本発明に近い結果を生成するためにCIELABなど固有色空間から知覚に基づく色空間への転換を必要とする従来のバイラテラルフィルターに比べ大きな利点である。

さらに、完全なバイアフィニティーフィルターは入力画像の非常に微細な詳細を保存し、増強ズーミング機能を許す画像増強用途に拡張することができる。

発明はいくつかの具体的な実施形態と併せて説明されたが、当業者であれば前述の説明に照らしさらに多数の代替、修正、および変更が明らかになることが明白であろう。従って本明細書において説明される発明は添付クレームの精神および範囲に入るそのような代替、修正、応用、および変更すべてを包含することを意図する。

１１０メモリー
１１２データ処理装置

Claims

前記ステップ（ａ）は、前記デジタル入力画像に対しその固有色空間において適用される請求項1に記載のデジタル画像を処理する方法。
前記固有色空間はRGB 色空間である請求項2に記載のデジタル画像を処理する方法。
（ｂ）前記デジタル入力画像Iをその固有解像度より高い解像度に補間するステップと、
（ｃ）前記ステップ（ａ）の結果を前記ステップ（ｂ）の補間された、より高い解像度の画像と組み合わせるステップと、をさらに含む請求項１に記載のデジタル画像を処理する方法。
前記ステップ（ａ）は、前記デジタル入力画像Iの詳細な線情報を生成し、
前記ステップ（ｃ）は、前記線情報を補間された、より高い解像度の画像に加える請求項１３に記載のデジタル画像を処理する方法。
前記ラプラシアン行列Lはフィルターカーネルの機能を果たす請求項1に記載のデジタル画像を処理する方法。
前記ステップ（ａ）は、前記デジタル入力画像Iの詳細な線情報を生成し、
前記ステップ（ｃ）は、前記線情報を補間された、より高い解像度の画像に加える請求項１６に記載のデジタル入力画像を拡大する方法。
前記ステップ（ａ）は、前記デジタル入力画像Iに対しその固有色空間において適用される、請求項16に記載のデジタル入力画像を拡大する方法。
前記固有色空間はRGB 色空間である請求項17に記載のデジタル入力画像を拡大する方法。
前記ステップ（ａ）は、前記デジタル入力画像に対しその固有色空間において適用される請求項20に記載のデジタル入力画像を平滑化する方法。
前記固有色空間はRGB色空間である請求項23に記載のデジタル入力画像を平滑化する方法。