JP2012227951A - 周波数領域においてフィルムグレインのパターンをモデリングする方法及び装置 - Google Patents

Abstract

【課題】フィルムグレイン・パターンを、２次元帯域通過フィルタを規定するカット周波数を推定することによって周波数領域においてモデリングすることができる。
【解決手段】フィルムグレイン・パラメータを、復号器でフィルムグレインの再挿入が可能になる、ＳＥＩメッセージにおいて、ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ標準によって伝えることができる。
【選択図】図１

Description

本発明は、周波数領域においてフィルムグレインのパターンをモデリングする手法に関する。

映画フィルムは通常、写真フィルムの露光及び現像のプロセスから生じる、フィルムグレインとして表すことが多い、信号に依存する雑音を含む。そうした雑音は、写真乳剤の物理的な粒状度によって生じる特徴的な疑似乱数パターン又はテクスチャをもたらす。あるいは、信号に依存する雑音は、画像を後に編集した結果、生じ得る。グレインパターンは、ビデオ圧縮の目的でシミュレートすることができる。

ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣビデオ圧縮標準では、その「Ｆｉｄｅｌｉｔｙ Ｒａｎｇｅ Ｅｘｔｅｎｓｉｏｎｓ Ａｍｅｎｄｍｅｎｔ」においてフィルムグレインＳＥＩ（拡充付加情報）メッセージを含むことが受け入れられた。フィルムグレインＳＥＩメッセージは、受信器でフィルムグレインのシミュレーションを可能にする一連のパラメータを伝える。ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣビデオ圧縮標準の場合、ＳＥＩメッセージにおけるパラメータは、自己回帰モデルと周波数フィルタリング・モデルとの２つの別々のモデルによって規定することができる。何れのモデルによっても、フィルムグレインのパターン（サイズ及び形状）と、強度及び色の相関とを、種々の強度レベルについて種々のパラメータ群によって特徴付けることが可能になる。特に、周波数フィルタリング・モデルは、周波数領域における２次元帯域通過フィルタを規定するカット周波数群を規定することによってフィルムグレインのパターンを特徴付ける。なお、ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣは、カット周波数を伝送するのに必要な構文則を標準化するに過ぎないが、フィルムグレインを備えるビデオ系列についてそうしたものを計算する方法を備えるものでない。

よって、ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ圧縮標準における周波数フィルタリング・モデルによって規定される、周波数領域におけるフィルムグレイン・パターンの自動モデリングを可能にする手法に対する必要性が存在する。この手法の結果は、自動的なフィルムグレイン・モデリング・アプリケーションとして用い得るものであり、フィルムグレインによって支援されるモデリング・プロセスの初期化工程としても用い得る。

簡潔には、好ましい実施例によって、周波数領域においてフィルムグレインのパターンをモデリングする（すなわち、特徴付ける）方法を備える。方法は、（１）プロセスへの入力として受信される同質フィルムグレイン・サンプル群を周波数領域に変換して、特定のパターンを有する変換係数群をもたらす工程と、（２）変換係数によって生成されるパターンを解析する工程と、（３）乱数雑音をフィルタリングすることによって変換係数のパターンを効果的にシミュレートすることができる、２次元周波数フィルタのカット周波数を推定する工程とを備える。この方法によって設定されるカット周波数は、復号器でフィルムグレインのシミュレーション及び再挿入が可能になる、ＩＴＵ−Ｔ Ｈ．２６４｜ＭＰＥＧ−４ ＡＶＣ標準によるＳＥＩメッセージにおいて伝えることができる。

本願の原理による、フィルムグレインのパターンを特徴付ける方法の工程を示す流れ図である。 図１のフィルムグレイン特徴付け方法の変形を示す流れ図である。

［実施例］
図１は、同質フィルムグレイン・パターンを表す一連のフィルムグレイン・サンプルを受信し次第、周波数領域においてフィルムグレイン・パターンをモデリングする、本願の原理による方法の工程を流れ図形式で表す。以下に更に詳細に記載するように、本願の原理の方法は、グレインを構成する構造のサイズ及び形状を解析することによって入力サンプルのパターンをパラメータ化する。グレインはフィルム露光によって違ったふうに生じ得るので、同質フィルムグレイン・サンプルは通常、フィルム画像上で測定される同様な輝度値と関連付けられる。プロセスの入力でのフィルムグレイン・サンプルは、フィルムグレインのサイズ及び形状についての情報を保持する、何れかの近接画素群であり得る。図示した実施例では、単純にするように、フィルムグレイン・サンプルは、方形のＮｘＮ個の画素のブロックのＤＣＴに基づいた特定の変換実施形態によって方形のＮｘＮ個の画素のブロックに配置されるが、高速フーリエ変換などの他の変換も同様にうまく機能する。

本願の原理の方法は、Ｉ_{ｇｒａｉｎ}［ｘ，ｙ，ｃ］にあるフィルムグレインのモデリングが、
Ｉ _{ｇｒａｉｎ}［ｘ，ｙ，ｃ］＝Ｉ_{ｗｉｔｈｏｕｔ ｇｒａｉｎ}［ｘ，ｙ，ｃ］＋Ｇ［ｘ，ｙ，ｃ］ （１）
の関係によって行われることとし、そのとき、Ｇ［ｘ，ｙ，ｃ］は、色成分ｃの画素座標（ｘ，ｙ）でシミュレートされたグレインを表す。Ｇ［ｘ，ｙ，ｃ］は、
Ｇ［ｘ，ｙ，ｃ］＝ｐ＊ Ｑ［ｘ，ｙ，ｃ］＋ ｕ＊Ｇ［ｘ，ｙ，ｃ−１］ （２）
として計算され、そのとき、パラメータｐは、乱数雑音の標準偏差であり、パラメータｕは、種々の色成分間の相互色相関をモデリングする。特に、項Ｑ［ｃ］は、正規化されたガウス分布Ｎ（０，１）によって生成されたＮｘＭ個の乱数値のブロックｂをフィルタリングすることによって生成される２次元の乱数場を備える。特定の実施例では、ブロックｂの帯域通過フィルタリングは、以下の３つの工程によって周波数領域で行うことができる。
工程１：変換
Ｂ＝ＤＣＴ＿Ｎ×Ｍ（ｂ）
工程２：周波数フィルタリング

そのとき、ＬＯＷ＿ＨＦ及びＬＯＷ＿ＶＦは、低水平カット周波数と、低垂直カット周波数との各々であり、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦは、高水平カット周波数と、高垂直カット周波数との各々である。カット周波数は、フィルムグレイン画像が周波数領域においてマッピングされる場合に保持された係数とフィルタリングされた係数との境界を規定し、グレインのサイズを特徴付ける役目を担う。
工程３：逆変換
ｂ’＝ＩＤＣＴ＿Ｎ×Ｍ（Ｂ）
最後に、Ｑ［ｃ］は、フィルタリングされたブロックｂ’を合成画像に合成することによって形成される。ブロック遷移部の低域通過フィルタリングによって、考えられる「ブロック歪み」が削減されることになる。Ｍ及びＮは何れかの値をとり得るが、実際には、方形の、１６ｘ１６個の画素ブロック、８ｘ８個の画素ブロック又は４ｘ４個の画素ブロックが最もうまく機能する。なお、高速フーリエ変換（ＦＦＴ）などの他の変換が工程１及び３におけるＤＣＴプロセスを置き換え得る。

こうした原理によれば、フィルムグレイン・パターンをモデリングすることは、周波数領域における帯域通過フィルタを特徴付けるカット周波数ＬＯＷ＿ＨＦ、ＬＯＷ＿ＶＦ、ＨＩＧＨ＿ＨＦ及びＨＩＧＨ＿ＶＦを抽出することに同等である。

本願の原理の方法は、工程１０１が実行され次第始まり、工程１０１では、ＮｘＮ個の画素のブロック各々が、離散コサイン変換を受け、工程１０２中に、結果として生じる、ＮｘＮ個の係数のアレイが後に記憶される。工程１０３中には、記憶するための更に多くの係数を得るために、フィルムグレイン・サンプルを備える、より多くのブロックに対する必要性が存在するか否かを判定するうえでの検査が行われる。通常、入力で利用可能なフィルムグレイン・サンプル・ブロックは全て、変換を受ける。しかし、メモリ要件又は計算量負荷を削減するために、特定数のブロックが変換を受けた後、処理は停止し得る。十分な数の変換ブロックの記憶後に、工程１０４が行われ、工程１０４によって、記憶されているブロック全てからの係数の平均をとることによって平均ブロック（Ｂ_ｍｅａｎ）が計算される。記憶されているブロックの数をＫとすれば、位置［ｘ，ｙ］での係数の平均をとるプロセスは、

として公式化することができる。次に、工程１０５及び工程１０６は通常、並列に行われる。工程１０５中に、水平平均ベクトルは、

の関係によって、Ｂ_ｍｅａｎの各行のＮ個の周波数係数の平均をとることによって計算される。

特定の実施例では、

の関係によって、第１の行の平均に対するＤＣ係数の影響がないようにすることが可能である。工程１０６では、

の関係によってＢ_ｍｅａｎの各列のＮ個の周波数係数の平均をとることによって垂直平均ベクトルが計算される。特定の実施例では、

の関係によって、第１の列の平均に対するＤＣ係数の影響がないようにすることが可能である。

周波数ベクトルから、水平カット周波数及び垂直カット周波数の選択を工程１０７と工程１０８との各々の間に行ってフィルムグレイン・サイズを推定する。図１において分かるように、工程１０７及び工程１０８は通常、並列で行う。工程１０７中の水平カット周波数の選択は、以下のように行う。まず、水平平均ベクトルにおける成分が、スプリアス・ピークがないようにするよう低域通過フィルタリングを受ける。図示した実施例では、水平平均ベクトルのそうした低域通過フィルタリングは、

の関係によって、平均ベクトルを、インパルス応答ｈ［ｎ］のフィルタとたたみ込むことによって行う。例えば、係数ｗ_０、ｗ_１及びｗ_２を備える３タップの線形フィルタを、

の関係によって、各係数に施し得る。なお、平均ベクトルＢのエッジに対してフィルタリングを施すためには、ｎ＜０であり、かつ、ｎ＞Ｎ−１である場合のサンプルが規定されるように元の平均ベクトルをパッドすることが必要である。

次に、Ｂ’_Ｈの平均値は、

の関係によってその成分の平均をとることによって計算される。その後、ベクトルＢ’_Ｈ
は曲線として表し、平均値

とのその交点が計算される。単一の交点が見出される場合、Ｂ’_Ｈにおける最も近い成分の指数ｎが、水平高カット周波数の値として選ばれる。水平低カット周波数は０とみなす。２つの交点が見出される場合、最も近い成分の指数が交点毎に見出される。最低値は低水平カット周波数に相当することになる一方、最高値は高水平カット周波数に相当することになる。３つ以上の交点が見出される場合、空間相関は何ら検出されない。水平低カット周波数は０とみなし、水平高カット周波数はＮ−１とみなし、これは、元のグレインを模倣するうえで周波数フィルタリングが何ら必要でないということをフィルムグレイン・シミュレーション関数に示す。

水平カット周波数の選択について説明したものと同様な手順を、工程１０８中に行って、垂直周波数ベクトルＢ_ｖを用いて垂直カット周波数を選択する。工程１０７及び工程１０８が完了すると、図１の方法は、グレインのサイズ及び伸長を特徴付ける４つのカット周波数（ＬＯＷ＿ＨＦ，ＨＩＧＨ＿ＨＦ，ＬＯＷ＿ＶＦ，ＨＩＧＨ＿ＶＦ）をもたらす。グレインの伸長は、ＬＯＷ＿ＨＦ≠ＬＯＷ＿ＶＦ及び／又はＨＩＧＨ＿ＨＦ≠ＨＩＧＨ＿ＶＦである場合に起こる。

図２は、グレインを円形状に制限することが可能な別のグレイン・モデリング方法を示す。このことは、水平カット周波数と垂直カット周波数が同じ状態に留まるということを示唆する。図２の方法は、図１の方法と共通である多くの工程を含む。したがって、同じ参照数字を図２及び図１に用いて、同じ工程を説明している。図２の工程１０９中に、垂直周波数ベクトル及び水平周波数ベクトル（Ｂ_Ｈ及びＢ_Ｖ）の平均をとって、単一の周波数ベクトル（Ｂ）を生成するという点で図２の方法は図１のものとは異なる。更に、同じ手順を図２における工程１０７及び工程１０８の間に行って、図１の工程１０７及び工程１０８の間に行うように低カット周波数及び高カット周波数を推定する。

上記は、周波数領域においてフィルムグレイン・パターンをモデリングする手法を記載する。

１０１ 工程
１０２ 工程
１０３ 工程
１０４ 工程
１０５ 工程
１０６ 工程
１０７ 工程
１０８ 工程

Claims (11)

1. ディジタル画像内のフィルムグレインをモデリングする方法であって、
   フィルムグレイン・サンプル群を周波数領域に変換する工程と、
   該変換から生じる係数群各々を記憶する工程と、
   変換係数を解析する工程と、
   フィルタのカット周波数を推定する工程と
   を備え、前記フィルタは、前記変換係数の分布をシミュレートすることができることを特徴とする方法。
2. 請求項１記載の方法であって、フィルムグレイン・サンプルは、フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近傍画素群を備えることを特徴とする方法。
3. 請求項１記載の方法であって、少なくとも１つのカット周波数を補助情報として伝送する工程を更に備えることを特徴とする方法。
4. 請求項１記載の方法であって、前記カット周波数が、周波数領域において乱数雑音をフィルタリングすることによって推定されることを特徴とする方法。
5. 請求項１記載の方法であって、フィルムグレイン・サンプルは、ＮｘＮ個の画素のブロック単位で処理されることを特徴とする方法。
6. 請求項５記載の方法であって、前記変換係数によって形成されるパターンを解析する工程が更に、
   ＮｘＮ個の画素ブロック各々の変換に続いて、記憶されているブロック全てからの前記変換係数の平均をとることによってＮｘＮ個の変換係数の平均ブロックを計算する工程と、
   行及び列各々に沿って前記ＮｘＮ個の係数の平均ブロックの平均をとることによって、Ｎ個の成分の水平平均ベクトル及び垂直平均ベクトルを規定する工程と、
   前記水平平均ベクトル及び前記垂直平均ベクトルを別個の曲線として表す工程と、
   前記水平平均ベクトル及び前記垂直平均ベクトル各々によって表す前記曲線から水平カット周波数及び垂直カット周波数を設定する工程とを備えることを特徴とする方法。
7. 請求項６記載の方法であって、少なくとも１つの平均ベクトルを低域通過フィルタリングする工程を更に備えることを特徴とする方法。
8. 請求項５記載の方法であって、前記変換係数によって形成されるパターンを解析する工程が更に、
   各画素ブロックの変換に続いて、記憶されているブロック全てからの前記変換係数の平均をとることによってＮｘＮ個の変換係数の平均ブロックを計算する工程と、
   行及び列それぞれに沿って前記ＮｘＮ個の係数の平均ブロックの平均をとることによってＮ個の成分それぞれの水平平均ベクトル及び垂直平均ベクトルを規定する工程と、
   単一の平均ベクトルに、前記水平平均ベクトル及び前記垂直平均ベクトルを平均化させる工程と、
   前記単一の平均ベクトルを曲線として表す工程と、
   前記単一の平均ベクトルによって表す前記曲線から水平カット周波数及び垂直カット周波数を設定する工程とを備えることを特徴とする方法。
9. 請求項６記載の方法であって、平均ベクトルを低域通過フィルタリングする工程を更に備えることを特徴とする方法。
10. 請求項８記載の方法であって、低い水平カット周波数及び高い水平カット周波数、並びに、低い垂直カット周波数及び高い垂直カット周波数の、それぞれが、水平平均ベクトル及び垂直平均ベクトルそれぞれについて計算される平均値を有する前記水平平均ベクトル及び前記垂直平均ベクトルによって表される曲線における第１の交点及び第２の交点から設定されることを特徴とする方法。
11. ディジタル画像内のフィルムグレイン・パターンをモデリングする方法であって、
    フィルムグレイン・サンプル群を受信する工程と、
    フィルムグレインの形状及びサイズについての情報を保持する少なくとも１つの近接画素群から成る前記フィルムグレイン・サンプル群に対する、周波数領域への変換を行う工程と、
    該変換から生じる係数群それぞれを記憶する工程であって、係数がパターンを形成する工程と、
    変換係数によって形成される前記パターンを解析する工程と、
    ２次元帯域通過フィルタのカット周波数を推定する工程とを備え、前記２次元帯域通過フィルタは、周波数領域で乱数雑音をフィルタリングすることによって変換係数の前記パターンをシミュレートすることができることを特徴とする方法。

Images