JP2012209974A - フィルムグレインの生成及び付加 - Google Patents

Abstract

【課題】 デジタルビデオ信号のための従来の「フィルムグレイン」に見掛け上似ている高周波ノイズが生成される。
【解決手段】 比較的少ない量のフィルムグレインノイズを加えることによって、その映像を、人間が見るときに、より自然に、且つより感じよくすることができる。デジタルフィルムグレイン生成を用いて、圧縮された映像の場合の「ブロック歪み」及び「偽輪郭」のようなデジタル映像内の不自然な滑らかなアーティファクトを隠すことができ、且つ／又は任意のデジタルビデオストリームに対して視覚的な改善又は特殊な効果を与えることができる。デジタルフィルムグレイン発生器は、加えられるべきグレインサイズ及びフィルムグレインの量を制御することができる。
【選択図】 図１

Description

本発明は包括的には画像及び映像の処理に関し、より詳細には、画像信号におけるフィルムグレイン生成に関する。

圧縮されていない９０分の動画長編フィルム（すなわち映画）を格納するために必要とされるメモリの量は、約９０ギガバイトになることもしばしばである。しかしながら、ＤＶＤ媒体の記憶容量は典型的には、４．７ギガバイトである。したがって、一本の映画をただ１枚のＤＶＤ上に格納するには、概ね２０：１の圧縮比を必要とする。同じ記憶媒体上に音声を収容するために、そのデータはさらに圧縮される。たとえば、ＭＰＥＧ２圧縮標準規格を用いることによって、比較的高い圧縮比を達成することができる。しかしながら、その映画が復号化され、再生されるときに、「ブロック歪み」及び「モスキート雑音」のような圧縮アーティファクトが視認される場合もある。

本発明及びその改良点の妥当な理解は、図面の簡単な説明の項に概説される添付の図面、本発明の例示的な実施形態に関する以下に記載される詳細な説明、及び添付の特許請求の範囲を参照することによって得ることができる。

本発明の例示的な実施形態に関する以下に記載される詳細な説明では、添付の図面が参照される。図面は、本明細書の一部を構成し、一例として、本発明を実施することができる具体的で、例示的な実施形態を示す。これらの実施形態は、当業者が本発明を実施できるようにするために、十分に細かく説明されるが、本発明の精神又は範囲から逸脱することなく、他の実施形態を利用してもよいこと、及び他の変更を行ってもよいことは理解されたい。それゆえ、以下に記載される詳細な説明は、限定的な意味で解釈されるべきではなく、本発明の範囲は添付の特許請求の範囲によってのみ規定される。

明細書及び特許請求の範囲の全体を通して、文脈によって他に明確に指示されない限り、以下の用語は、ここで明白に関連付けられる意味をとる。「１つの（a、an）」及び「その（the）」の意味は複数の参照物を含み、「〜の中に（in）」の意味は、「〜の中に（in）」及び「〜の上に（on）」を含む。用語「接続される」は、いかなる介在デバイスも用いることなく、接続される要素間の直接的な電気的接続を意味する。用語「結合される」は、接続される要素間の直接的な電気的接続、又は、１つ又は複数の受動的又は能動的な介在デバイスを通しての間接的な接続のいずれかを意味する。用語「回路」は、所望の機能を与えるために互いに結合される、能動的及び／又は受動的な単一の構成要素又は多数の構成要素のいずれかを意味する。用語「信号」は、少なくとも１つの電流、電圧又はデータ信号を意味する。図面を参照するとき、図面全体を通して、類似の番号が類似の部品を指示する。本発明は、２００５年１２月７日に出願された「Color Management Unit」というタイトルの米国特許出願第１１／２９６，１８５号に記述されるようなシステムにおいて具現することができ、その特許出願は参照により本明細書に援用される。

本発明は、デジタルビデオ信号のための従来の「フィルムグレイン」に見掛け上似ている高周波雑音を生成することに向けられる。比較的少ない量のフィルムグレイン雑音を加えることによって、その映像を、人間が見るときに、より自然に、且つより感じよくすることができる。デジタルフィルムグレイン生成を用いて、圧縮された映像の場合の「ブロック歪み」及び「偽輪郭」のようなデジタル映像内の不自然な滑らかなアーティファクトを隠すことができ、且つ／又は任意のデジタルビデオストリームに対して視覚的な改善又は特殊な効果を与えることができる。デジタルフィルムグレイン発生器は、加えられるべきグレインサイズ及びフィルムグレインの量を制御することができる。

様々な映画撮影技師が、非常に解像度の高いデジタルセンサが用いられるときであっても、デジタル映像よりもフィルムの方が、美的に感じがよく見えるという意見を述べている。この「フィルムのように見えること」は、デジタル映像がより「ざらざらして」見えるのに比べて、より「なめらかでやわらかい」とも表現されている。フィルムのこのような美的に感じがよい特性は（少なくとも或る程度は）、（デジタルセンサの一定のピクセル格子に比べて）ランダムに発生し、連続的に動く高周波数のフィルムグレインに起因する。したがって、「フィルムグレイン」の視覚的な特性を有する高周波雑音を生成することを用いて、圧縮された映像の場合の「ブロック歪み」及び「偽輪郭」のような、不自然で滑らかなアーティファクトを隠すことができる。さらに、フィルムグレインのような高周波雑音を単に加えるだけで、あらゆるデジタルビデオストリームに対して、視覚的な改善又は特殊な効果を与えることができる。

或る特定のループ内アルゴリズム及び後処理アルゴリズムを用いて、「ブロック歪み」及び「モスキート雑音」を低減することができる。圧縮、圧縮解除及びアーティファクトの除去の過程において、ビデオ信号は多くの場合に、自然に見えなくなり、代わりに「まだらに」見えるようになる可能性がある。比較的少ない量のフィルムグレイン雑音を加えることによって、その映像を、人間が見るときに、より自然に、且つより感じよくすることができる。また、フィルムグレイン雑音を加えることによって、その画像のまだらに見えるエリアを、わずかにきめのある見え方にすることができる。

図１は、例示的なフィルムグレイン生成システムのブロック図である。フィルムグレイン生成システム１００は、デジタル映像源１１０と、オプションのＭＰＥＧブロック歪み及びモスキート雑音減衰器（reducer）１２０と、オプションのマルチプレクサ１３０と、フィルムグレイン発生器１４０と、最終ディスプレイデバイス１５０とを備える。デジタル映像源は、ＤＶＤ上のＭＰＥＧ符号化されたデータを復号化するためのＭＰＥＧ復号器とすることができる。復号化されたストリーム（デジタル形式）は、ＭＰＥＧブロック歪み及びモスキート雑音減衰器１２０に供給される。ＭＰＥＧ雑音減衰器は、復号化されたストリーム内に存在するブロック歪みアーティファクト及びモスキート雑音アーティファクトを低減するために設けられる。その後、雑音を低減したデータが、フィルムグレイン発生器１４０に供給される。迂回経路は、フィルムグレインデータをＭＰＥＧ復号化されたデータに直に加えることもできることを示す。迂回動作モードでも、フィルムグレインデータを復号化されたストリームに加えることができ、それでも、ブロック歪みアーティファクトを隠す効果を生み出すように作用する。

一実施形態では、フィルムグレイン雑音はルミナンスデータ経路に加えられ、その場合、ＭＰＥＧ雑音減衰処理も、ルミナンスデータ経路上で行われている。加えられる処理遅延を補償するために、それに応じて、クロミナンスデータ経路の遅延を釣り合わせることができる（たとえば、クロマ情報及びルマ情報の同期を維持するため）。別の実施形態では、フィルムグレイン生成は、クロミナンス経路にも加えることができる。したがって、図に示されるように、フィルムグレイン発生器１４０への入力は、ルミナンス情報及び／又はクロミナンス情報を含むことができる。

（たとえば、任意の所与のデジタルビデオストリームの美的な品質を最適化するために）フィルムグレイン生成の程度を制御するのを助けるために、フィルムグレインの属性（加えられる必要があるグレインサイズ及びフィルムグレインの量等）を制御することができる。

図２は、入力されるＹデータ（たとえば、ルミナンスデータ）に対してフィルムグレインデータを加えるための例示的なフィルムグレイン発生器及び例示的な加算器のブロック図である。フィルムグレイン発生器２００は、アドレス発生器２１０と、メモリ２２０と、スケーラ２３０と、丸めロジック２４０と、加算ノード２５０と、飽和ロジック２６０とを備える。種々の実施形態において、フィルムグレイン加算モジュールに入力されるデータは、ＭＰＥＧ雑音減衰器ブロック１２０から、又は同じシステム内に組み込まれるか、又は離れて配置されるＭＰＥＧ復号器からのような直接的な入力１１０からもたらすことができる。フィルムグレインデータは最初に、ホストプロセッサによってメモリ２２０に書き込むことができる。（フィルムグレインデータの生成は図３に関して後に説明される）。メモリ２２０は、オンチップスタティックＲＡＭとすることができ、顧客が、ユーザ指定のフィルムグレインエントリを供給することができ、後の時点でそのエントリを自由に変更することができる。

アドレス発生器２１０はメモリ２２０にアクセスして、スタティックＲＡＭに格納されるフィルムグレインデータを与える。フィルムグレインデータは、サイズ３２×３２の２Ｄ（２次元）データマスクを用いて導出することができる。メモリ内の２Ｄマスクデータは、それぞれ入力されるピクセルマップをメモリ内の固有アドレスにマッピングし、水平カウンタ及び垂直カウンタを動作させることによってアドレスを計算することにより、１Ｄ（１次元）形式で格納することができる。それらのカウンタは、制御信号（ｈｄｅ及びｖｄｅ）に応答して循環することができる。メモリ２２０をアドレス指定するための式が、以下のような式（１）によって与えられる。
ｓｒａｍ＿ａｄｄｒｅｓｓ＝３２×（ｖｃｏｕｎｔ ｍｏｄｕｌｏ３２）＋（ｈｃｏｕｎｔ ｍｏｄｕｌｏ３２） （１）

ピクセル位置に応じて、メモリから対応するエントリが選択され、スケーラ２３０によって適当にスケーリングされた後に、入力ピクセル値に（加算ノード２５０において）加算される。スタティックＲＡＭ内のフィルムグレインエントリは正又は負のいずれかであることができ、−１２７〜１２７の範囲を有することができる。

メモリからのフィルムグレインデータ（それは、フィルムグレインサイズについての情報を与える）とは別に、どの位の量のフィルムグレイン雑音が加えられる必要があるかを制御するために、１つの仕組みが用いられる。これを果たすために、フィルムグレインデータの第１の入力と、スケールファクタの第２の入力とを有し、レジスタを介してプログラミングすることができる乗算器（たとえば、スケーラ２３０）が用いられる。スケールファクタのビット精度は、（たとえば）「１．７」であり、そのスケールファクタは１つの整数ビットと７つの端数ビットとを含むようになる。フィルムグレインデータをスケーリングした後に、乗算器出力は９．７ビット形式になる。９．７ビット形式は、丸めロジック２４０による丸め演算によって、８．０ビット形式に変換される。

スケーリングされ、丸められたエントリは、加算ノード２５０において、入力されるピクセルに加えられる。制御されたフィルムグレイン雑音（それは正又は負の両方の値を有することができる）を入力されるＹデータ（その例では８ビットの精度を有する）に加える場合、データのオーバーフロー及びアンダーフローが生じないように注意が払われる。飽和（又はクリッピング−クランピング）ロジック２６０を用いて、望ましくないデータオーバーフロー及びアンダーフローの問題を最小限に抑えることができる。

フィルムグレインデータ又はマスク生成は典型的にはオフライン過程である。その生成は、「Ｍａｔｌａｂ」のような市販されている数学プログラムを用いて果たすことができる。２次元ハイパスフィルタ（ｈｐｆ）フィルタ係数を設計するために、その例では、数学プログラムＭａｔｌａｂにおいて利用することができる特定の関数が用いられた。

図３は、マスクデータ生成のための例示的な処理ステップを示す流れ図である。ステップ３１０では、周波数仕様から１次元フィルタが設計された。１次元フィルタは、「ｆｔｒａｎｓ２」と呼ばれる関数を用いて、２次元の１組の係数に変換される。例示的なハイパスフィルタを設計するために用いられる仕様は、表１において以下に与えられる。ユーザは、異なるサイズのフィルムグレインを達成するために、通過帯域周波数仕様を変更することができる。その例では、空間サンプリング周波数が小さい場合には、フィルムグレインサイズは大きいであろう（そして、空間サンプリング周波数が大きい場合には、小さいであろう）。

表１に列挙される周波数仕様の場合、１次元フィルタは６次であり、全部で７つの係数を有する。（Ｍａｔｌａｂ）関数「ｆｔｒａｎｓ２」を用いて、１次元フィルタが２次元の円対称フィルタに変換される。２次元円対称フィルタのための１組の係数が表２において以下に列挙される。

ステップ３２０では、擬似ランダム（又は「ランダム」）データの５１２ワード×５１２ワード２次元行列が生成される。ステップ３３０では、そのデータが、２次元フィルタ（ステップ３１０において指定される）に適用される。図４において以下に説明されるように、２次元フィルタは、入力されるデータにハイパス整形関数を適用する。

図４は、例示的なハイパスフィルタの周波数応答（振幅応答）を示すグラフである。プロット４００は、原点に対して円対称であり、且つ入力されるデータに対してハイパス整形関数を与えるフィルタを例示する。それゆえ、ハイパスフィルタ伝達関数に従って、平坦な周波数スペクトルを有する擬似ランダムデータが変更される。

再び図３を参照すると、ステップ３４０において、データエントリの３２ワード×３２ワードマスクが、５１２ワード×５１２ワードのフィルタリングされたデータセットの中央から選択される。フィルタリングされたデータ内の境界誤差を最小限に抑えるために、そのセットの中央が選択される。ステップ３５０では、選択されたフィルムグレインデータマスクが、たとえば、１０２４×８ビットスタティックＲＡＭに格納され、そのスタティックＲＡＭに格納されるフィルムグレインデータを、画像データストリームと組み合わせるために後の時点で検索できるようにする。

図５は、集積回路内に実装される例示的な映像処理回路の中にあるフィルムグレイン発生器を示す簡略化されたブロック図である。簡単にするために、図面のモジュールは、単一のモジュール内に２つ以上の機能を有するものとして示される（種々の実施形態において、複数の機能を単一のモジュールを用いて実施することができるか、又はいくつかのモジュールに分散させることもできる）。さらに、図中の種々のモジュールは、迂回機能を有し、１つのモジュール内の複数の機能を迂回することができ、或る応用形態にとって望ましくない処理を迂回することができるようにする。

モジュール５１０によって、たとえば、標準的な解像度の映像（ＮＴＳＣ又はＰＡＬ）又は高解像度の映像の中からビデオデータストリームを選択できるようになる。モジュール５２０は、色空間変換を実施し、ビデオ入力ストリームをダウンサンプリングすることができる。またモジュール５２０はオプションでは、ＭＰＥＧ雑音減衰を提供することができる。モジュール５３０を用いて、３次元ガウス雑音減衰を提供することができ、さらに、画像フレームをデインターレースすることができる。モジュール５４０を用いて、ビデオ信号内の画像フレームをスケーリングし、フレームレート変換を提供することができる。モジュール５５０を用いて、アップサンプリングの機能を果たしながら、ビデオ信号においてエッジ強調を実行することができる。

フィルグレイン生成は、フィルムグレインが、処理されているビデオ信号のルミナンス部分に加えられるように、モジュール５６０において実行することができる。モジュール５７０は、色強調及び保存のような色処理機能を提供する。モジュール５８０を用いて、たとえば、出力ビデオデータよりも解像度が低いディスプレイのために出力ビデオデータをディザリング（及びダウンサンプリング）することができる。モジュール５９０を用いて、所望により、出力ビデオデータに関連するフレームをインターレースすることができる。

本発明の精神及び範囲から逸脱することなく、本発明の種々の実施形態を実現することができる。上記の仕様、例及びデータは、本発明の構成物の製造及び使用に関するひととおりの説明を提供する。たとえば、そのアーキテクチャは、ハードウエア、ソフトウエア、又はその両方の組み合わせを用いて実装することができる。本発明の精神及び範囲から逸脱することなく、本発明の数多くの実施形態を実施することができるので、本発明は特許請求の範囲内にある。

例示的なフィルムグレイン生成システムを示すブロック図である。 例示的なフィルムグレイン発生器、及び入力される映像データに対してフィルムグレインデータを加えるための機構を示すブロック図である。 フィルムグレイン発生器のためのマスクデータを生成するための例示的な処理ステップを示す流れ図である。 フィルムグレインを生成するために擬似ランダムデータをフィルタリングするための例示的なハイパスフィルタの周波数応答を示すグラフである。 集積回路内に実装される例示的な映像処理回路内のフィルムグレイン発生器を示す簡略化されたブロック図である。

Claims (20)

1. デジタル画像フレームにフィルムグレインを与える方法であって、
   前記デジタル画像フレームに関連する入力ビデオデータストリームのピクセルを受け取ること、
   画像フレーム内の前記ピクセルの位置に関連するアドレスを求めること、
   フィルムグレインを表すノイズ値のマスクを生成すること、
   前記求められたアドレスに応じて前記ノイズ値のマスクからエントリを選択すること、及び
   前記選択されたエントリを前記受け取ったピクセルと合成することであって、それによって、前記デジタル画像フレームにフィルムグレインが付加されて、グレインの入ったデジタル画像フレームが生成される、合成すること
   を含む、デジタル画像フレームにフィルムグレインを与える方法。
2. 前記選択されたエントリは、前記受け取ったピクセルに関連するルミナンス信号と合成される、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
3. 前記入力ビデオデータストリームは、圧縮解除された画像情報を含む、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
4. 前記ノイズ値のマスクは２次元フィルタを用いて生成される、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
5. フィルムグレインサイズが、前記２次元フィルタの係数を変更することによって制御される、請求項４に記載のデジタル画像フレームにフィルムグレインを与える方法。
6. 合成すべきフィルムグレインの量がスケーリングファクタに応じて選択される、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
7. 前記合成された選択されたエントリ及び受け取ったピクセルは、最小閾値及び最大閾値によって制限される値を含む、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
8. 前記ピクセルの位置に関連する前記アドレスを求めるためにカウンタが用いられる、請求項１に記載のデジタル画像フレームにフィルムグレインを与える方法。
9. デジタル画像フレームにフィルムグレインを与えるシステムであって、
   前記デジタル画像フレームに関連する入力ビデオデータストリームのピクセルを受け取るように構成される入力部と、
   画像フレーム内の前記ピクセルの位置に関連するアドレスを計算するように構成されるアドレス発生器と、
   それに応じて、フィルムグレインを表すノイズ値のマスクを与えるように構成されるマスクメモリと、
   前記計算されたアドレスに応じて前記マスクメモリからエントリを選択すること、及び
   前記選択されたエントリを前記受け取ったピクセルと合成することであって、それによって、前記デジタル画像フレームにフィルムグレインが付加されて、グレインの入ったデジタル画像フレームが生成される、合成すること
   を備える、デジタル画像フレームにフィルムグレインを与えるシステム。
10. 前記選択されたエントリは、前記受け取ったピクセルに関連するルミナンス信号と合成される、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
11. 前記入力ビデオデータストリームは、圧縮解除された画像情報を含む、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
12. 前記ノイズ値のマスクは２次元フィルタを用いて生成される、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
13. フィルムグレインサイズが、前記２次元フィルタの係数を変更することによって制御される、請求項１２に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
14. 合成すべきフィルムグレインの量がスケーリングファクタに応じて選択される、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
15. 前記合成された選択されたエントリ及び受け取ったピクセルは、最小閾値及び最大閾値によって制限される値を含む、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
16. 前記ピクセルの位置に関連する前記アドレスを求めるためにカウンタが用いられる、請求項９に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
17. デジタル画像フレームにフィルムグレインを与えるシステムであって、
    前記デジタル画像フレームに関連する入力ビデオデータストリームのピクセルを受け取る手段と、
    画像フレーム内の前記ピクセルの位置に関連するアドレスを求める手段と、
    フィルムグレインを表すノイズ値のマスクを生成する手段と、
    前記求められたアドレスに応じて前記ノイズ値のマスクからエントリを選択する手段と、
    前記選択されたエントリを前記受け取ったピクセルと合成する手段であって、それによって、前記デジタル画像フレームにフィルムグレインが付加されて、グレインの入ったデジタル画像フレームが生成される、合成する手段と
    を備える、デジタル画像フレームにフィルムグレインを与えるシステム。
18. 前記選択されたエントリは、前記受け取ったピクセルに関連するルミナンス信号と合成される、請求項１７に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
19. 前記入力ビデオデータストリームは、圧縮解除された画像情報を含む、請求項１７に記載のデジタル画像フレームにフィルムグレインを与えるシステム。
20. 前記ノイズ値のマスクは２次元フィルタを用いて生成される、請求項１７に記載のデジタル画像フレームにフィルムグレインを与えるシステム。

Images