JP2009065665A - 画像の空間拡散 - Google Patents

Abstract

【課題】本発明は、効率的な様式化技術を提供する。
【解決手段】本発明は画像の空間拡散に関する。空間拡散は小さな不連続をぼかすのに役立つ。空間拡散により、端は鮮明になる。入力画像から空間拡散画像を生成する方法が開示される。前記方法は、逆ガウスの形式をとる空間重みを持つ逆ガウス空間両フィルターを入力画像に適用する段階、を有する。逆ガウス空間両フィルターは、逆ガウス関数を空間フィルターの核として用い、広く滑らかな領域内の小さいスポットを効率的に除去する。
【選択図】図１

Description

本発明は画像の空間拡散に関する。空間拡散は、画像の再生、特にしかし排他的でなく、写真のようにリアルでない再生（ＮＰＲ）に用いられる。空間拡散は小さな不連続をぼかすのに役立つ。また、空間拡散により端が鮮明になる。

ＮＰＲは、自然な画像及び／又はビデオを絵画的様式又は漫画的様式の画像及び／又はビデオに変換する様式化技術を有する。本願明細書では、画像の語は静止画像及びビデオ・シーケンス内の画像フレームを表すのに用いられる。

主に、様式化は芸術的目的にのみ適用されていた。しかし、様式化された画像は詳細及び／又は均一な画素様式化の大領域を有さないので、効率的な視覚的通信にも用いられる。様式化された画像は、対応する自然画像より小さい高周波数部分を有する。従って、様式化された画像は圧縮しやすい。複合された様式化画像は、同一の圧縮率で圧縮された対応する自然画像より、悩ましいアーチファクトが少ない。

空間拡散の一般的な技術は、逆ガウス空間両フィルタリングである。

視覚的通信では、様式化がリアルタイムに達成されることが重要である。

本発明は、効率的な様式化技術を提供する。

上記の課題は、画像の空間拡散方法、つまり請求項１の特徴を有する方法により達成される。

当該方法は、逆ガウス空間両フィルターを入力画像に適用する段階を有する。

望ましくは、逆ガウス空間両フィルターは逆ガウスの形式をとる空間重みを有する。

逆ガウス空間両フィルターは、逆ガウス関数を空間フィルターの核として用い、従来のガウス空間両フィルターよりも効率的に、広く滑らかな領域内の小さいスポットを除去する。従来のフィルタリングでは複数回で達成可能なぼかしと端の鮮明化が、１回で達成される。

逆ガウス空間両フィルターはＮＰＲに特に適するが、写真のようにリアルな再生にも有用でありうる。

望ましくは、当該方法は、ユーザーの入力を受信する段階、及び前記ユーザーの入力に依存して逆ガウス空間両フィルターの代わりに入力画像を平均シフト変化に適用する段階、を有する。

これは、ユーザーに、計算的により効率的な空間拡散方法と美学的により魅力的な空間拡散方法との間で切り替えることを可能にする。

本発明の例である実施例が図示され、以下に詳細に説明される。

図１の例である実施例では、空間拡散は切り替え方法ＳＷＭで実現される。この切り替え方法ＳＷＭは、ユーザーに、２つの異なる空間拡散技術の間で切り替えることを可能にする。つまり、ユーザーは、彼又は彼女が効率的な計算よりも高度な美学的漫画効果を好むか、又はその逆かを決定してよい。

切り替え方法ＳＷＭは、両方の空間拡散技術を並行して実行してよい。従って、異なる用途、例えば無線機器でのストリーミングの準備及び映画館での上映の準備に共通の原画像の様式化が行われてよい。

第１の段階ＩＮＰで、入力画像及び当該入力画像に適用される空間拡散技術に関するユーザーの選択が受信される。次に、第１の決定段階１ＤＥＣで、ユーザーの選択が平均シフト変化の適用を有するか否かが決定される。当該適用を有する場合、段階ＭＳＭが実行され、平均シフト変化が実行される。次に当該方法は第２の決定段階２ＤＥＣへ進む。その他の場合に段階ＭＳＭはスキップされ、方法は第２の決定段階２ＤＥＣへ直接進む。段階２ＤＥＣで、ユーザーの選択が逆ガウス空間両フィルタリングの実行を示すか否かが決定される。当該実行を示す場合、方法は、段階ＩＧＳＢの逆ガウス空間両フィルタリングへ遷移する。次に、平均シフト変化及び／又は逆ガウス空間両フィルタリングの結果は、段階ＯＵＴで出力される。

異なる空間拡散技術が以下に詳細に説明される。

［平均シフト変化］
高度な美学的な漫画効果が要求される場合、グラフィック処理装置（ＧＰＵ）に適合した平均シフト・アルゴリズムが空間拡散に用いられる。空間成分ｘ及びｙ、及び色成分Ｌ、ＣＩＥ−Ｌａｂ色空間のａ及びｂを有する所与の中央画素ｃ_ｎ＝（ｘ_ｃ，ｙ_ｃ，Ｌ_ｃ，ａ_ｃ，ｂ_ｃ）_ｎに対し、平均シフト・ベクトルｍ_ｈ，Ｇ（ｃ）は次のように計算される。

ここで、ｓ＝（ｘ_ｓ，ｙ_ｓ，Ｌ_ｓ，ａ_ｓ，ｂ_ｓ）は、中央画素ｃ_ｎの付近の画素のセットΩに含まれる周囲の画素の１つである。ここで、画素のセットΩは、現在の中央画素の近傍にある画素のみを有し、次に示される所与の閾より低い中央画素への色空間距離を有する。

Ｔ＝２０のとき良好な結果が達成される。
ｇ_ｈ（’）は核関数Ｇ（’）の輪郭を描く。
Ｇ（ｘ）＝α＊ｇ_ｈ（｜｜ｘ｜｜^２）
ここで、正規化定数α．ｇ_ｈ（’）はパラメータｈに依存する。

核関数はソベル演算子の助けを得て決定される。

平均シフト・ベクトルの計算の後、中央画素は平均シフト・ベクトルだけ空間的に及び／又は１若しくは複数の色次元でシフトされる。計算とシフトは、平均シフト・ベクトルがゼロに等しくなるまで繰り返される。平均シフトでフィルターされた最終画像では、収束の色成分（Ｌ_ｃｏｎ，ａ_ｃｏｎ，ｂ_ｃｏｎ）は次のように最初の中央点ｃ０の位置（ｘ_ｃ０，ｙ_ｃ０）で画素ｐ_{ａｆｔｅｒ}に割り当てられる。
ｐ_{ａｆｔｅｒ}＝（ｘ_ｃ０，ｙ_ｃ０，Ｌ_ｃｏｎ，ａ_ｃｏｎ，ｂ_ｃｏｎ） （４）
実際には、平均シフト・ベクトルがシフト閾値より低くなると直ぐに、繰り返しは終了する。

このような平均シフト・フィルタリングは一部又は全ての画素に適用されてよい。

例である実施例で用いられるＧＰＵ版の平均シフト・アルゴリズムは、固定回数の繰り返しの後に、平均シフト・ベクトル値とは独立して用いられる。そうすることにより、アルゴリズムはＧＰＵで実施され、一層簡単に且つ計算効率を大幅に向上しうる。図２にワークフローが示される。中央演算処理装置（ＣＰＵ）の側で、データが構成され、再生環境が初期化される。「元のテクスチャ」は現在の入力画像フレームを格納する。グラフィック処理装置（ＧＰＵ）の側で、画素シェーダーで平均シフト・ベクトルが繰り返し更新される。「ピン・テクスチャ」及び「ポン・テクスチャ」は繰り返し再生の間に用いられる。繰り返し回数は固定される。良好な結果は、ウインドウ・サイズ１０×１０に対し５回の繰り返しで達成された。

結果は、高度に美学的であり、漫画のような効果を有するので、大きなフィルタリング・ウインドウにより計算量が増大し、及び両フィルタリングと比較して繰り返し回数が多くなる。

［逆ガウス空間両フィルタリング］
代案として、効率的な計算が美学的に好ましい場合、適応された両フィルターが用いられる。両フィルターは鮮明な端を保存するのに貢献する。

両フィルタリングによる、領域ａ’に渡る画素ｃの強度の変化ｄＩ_Ω’（ｃ）は、次の一般化された形式で導出される。

ここで、画素ｃの付近のウインドウΩ’内の近隣画素、及びＩ（’）は、ＣＩＥ−Ｌａｂの色空間の色成分の１つの画素の強度値を入力画像に戻す。Ｐ（’）は画素の位置を戻し、ｆ（’）は空間フィルタリング関数であり、ｇ（’）は強度フィルタリング関数である。

両フィルタリングは、屡々、強度変化が選択されたフィルタリング閾値より低くなるまで、又はそれらがゼロに達成するまで繰り返される。

逆ガウス空間両フィルターは、逆ガウス曲線の形式をとる以下のフィルタリング関数を空間フィルタリングするために用いられる。

ここで、Ｄ（’）はユークリッド距離のような距離の関数又は絶対距離である。良好な結果はオイラーの距離関数Ｅ（’）で達成され、２つの画素間のオイラー距離を返す。Ｃは自由に選択可能な定数である。Ｃ＝２のとき良好な結果が達成された。

逆ガウス・フィルター関数を用いることにより、フィルタリングのために広い領域が考慮される。それにより、フィルタリングされる画素を直接囲う当該領域は、あまり考慮されない。第１の色の小さいスポットが、第１の色と異なる広い領域の連続した色の中にある場合を考える。次に、スポットの近くに位置する画素は、標準ガウス・フィルター関数の場合よりスポット画素のフィルタリングへの貢献が少ない。同時に、連続する色のより遠い画素は、標準ガウス・フィルター関数の場合よりフィルタリングへの貢献が多い。従って、逆ガウス・フィルターは、連続する色を有する広い領域からのスポットの除去の向上に貢献する。

強度フィルタリングでは、次のフィルタリング関数が良好な結果を与える。

従って、例である実施例では、領域Ω’に渡る逆ガウス空間両フィルタリングの後に、画素ｃの強度Ｉ’_Ω’（ｃ）は次のように決定される。

ここで、σ_ｄはぼかし半径に関連し、ウインドウΩ’を決定する。またσ_ｒは強度フィルタリングの範囲に関連する。σ_ｒ＝４．５且つσ_ｄ＝４．５で、良好な結果が達成された。ＣＩＥ−Ｌａｂ色空間の一部の又は全ての色成分に対しフィルタリングが実行される。

空間拡散段階は、画像に渡り変化する非線形拡散関数により導かれ、小さい不連続をぼかし、各フレーム内の端を鮮明化する。

ユーザーに異なる空間拡散技術を切り替え可能にする例である空間拡散方法のフロ―チャートを示す。 例である平均シフト変化のワークフローを示す。

符号の説明

ＧＰＵ グラフィック処理装置
ＩＧＳＢ 逆ガウス空間両フィルタリング
ＳＷＭ 切り替え方法

Claims (3)

1. 入力画像から空間拡散画像を生成する方法であって、前記方法は、
   逆ガウス空間両フィルターを入力画像に適用する段階、を有する方法。
2. 逆ガウス空間両フィルターは逆ガウスの形式をとる空間重みを有する、請求項１記載の方法。
3. ユーザーの入力を受信する段階、及び
   前記ユーザーの入力に依存して逆ガウス空間両フィルターの代わりに入力画像を平均シフト変化に適用する段階、を更に有する請求項１又は２記載の方法。
   

Images