JP2011071998A - １つ又は複数のパラメータによって画像粒状性を表す方法及び装置 - Google Patents

Abstract

【課題】フィルム粒子を特徴付けるよう、フィルム粒子特徴付け器（２３）は、入力情報ストリーム（１２）と、フィルム粒子が除去された、フィルタリングされた情報ストリーム（２４）とを受信する。
【解決手段】これらのストリームから、フィルム粒子特徴付け器（２３）は、粒子をシミュレートするモデルの識別情報と、識別されたモデルによって用いられる、相関パラメータと、強度に依存しないパラメータと、強度に依存するパラメータとを含むいくつかのパラメータの群のうちの少なくとも１つとを含むメッセージを出力する。符号器（２６，１３）は、後に送信するよう、フィルム粒子情報を符号化する。
【選択図】図１

Description

本発明は、フィルム粒子をシミュレートする手法に関する。

動画フィルムは、フィルム基材上の薄層においてコーティングされた、乳剤において分散したハロゲン化銀結晶を備える。この結晶の露光及び現像によって、ディスクリートな、とても小さい銀粒子から成る写真画像が形成される。現像後に銀が化学的に除去されるカラーネガでは、銀結晶が形成される場所上でとても小さいダイブロッブが生じる。この小さな染めしみは通常、カラー・フィルムにおいて「粒子」と呼ばれる。粒子は、元の乳剤上の銀結晶の無作為の形成のために結果として生じる画像上に無作為に分散したように見える。一様に露光された領域内では、結晶には露光後に形成されるものもある一方、他のものは形成されない。

粒子は大きさ及び形状において異なる。フィルム速度が高いほど、形成される銀塊及び生成されるダイブロッブは、大きくなり、無作為のパターンにおいて集まる傾向が強まる。粒子パターンは通常、「粒状性」として知られている。裸眼では、０．０００２ｍｍから約０．００２ｍｍまで及ぶ個々の粒子を区別することができない。実際に、眼によって、ブロッブとして表す粒子群が解像される。観測者はこのブロッブ群をフィルム粒子として識別する。画像の分解能が大きくなるにつれ、フィルム粒子の認知力は高くなる。フィルム粒子は映画の画像上や高品位画像上で明らかに目立つようになる一方、フィルム粒子はＳＤＴＶにおいて重要性を徐々に失い、より小さな形式では感知できないようになる。

動画フィルムは通常、写真フィルムの露光及び現像の物理的な処理又は後の画像編集から生じる、画像に依存した雑音を含む。写真フィルムは、写真乳剤の物理的な粒状性から生じる、特徴的な擬似乱数のパターンすなわちテクスチャを持っている。あるいは、同様なパターンをコンピュータ生成画像にわたってシミュレートしてそれを写真フィルムとブレンディングすることができる。いずれの場合も、この、画像に依存した雑音は粒子として表す。非常に多くの場合、中くらいの粒子テクスチャは、動画における所望の特徴を表す。一部の場合には、フィルム粒子は、２次元ピクチャの正常な知覚を容易にする視覚キューを備える。多くの場合、フィルムグレードを単一のフィルム内で変えて、時間基準、視点等についての種々の手がかりを備える。映画産業において粒子テクスチャを制御するうえで多くの他の技術的な用途及び芸術系な用途が存在する。したがって、画像処理及び配信の連鎖を通して画像の粒状の外観を維持することは、映画産業における要件となっている。

市場で入手可能なプロダクトのいくつかは、多くの場合、コンピュータ生成オブジェクトを自然のシーンにブレンディングする、フィルム粒子をシミュレートする機能を有する。粒子シミュレーションを実施する最初のディジタル・フィルム・アプリケーションのうちの１つである、イーストマン・コダック社（ニューヨーク州ロチェスタ）によるシネオン（登録商標）は、多くの粒子タイプについて非常に現実的な成果をもたらす。しかし、シネオン（登録商標）は、高粒子サイズ設定の場合にアプリケーションがもたらす、目立つ斜め縞が理由で多くの高速フィルムの場合に良好な性能をもたらさない。更に、シネオン（登録商標）・アプリケーションは、例えば、画像が複製されるかディジタル処理される場合などの、先行処理に画像がかけられる場合に十分な忠実度で粒子をシミュレートできない。

フィルム粒子をシミュレートする別の商用プロダクトとして、アドビ（登録商標）アフターエフェクツ（登録商標）のプラグインとして用いられる、ビジュアル・インフィニティ社によるグレインサージェリー（商標）がある。グレインサージェリー（商標）のプロダクトは、乱数群をフィルタリングすることによって合成粒子を生成するように思われる。この手法は計算量が多いことに短所を来している。

これらの従来の手法は何れも、圧縮ビデオ復元においてフィルム粒子を復元するという課題を解決するものでない。フィルム粒子は、ビデオ系列における冗長度を利用する従来の空間的手法及び時間的手法を用いた圧縮を通常受けることができない高周波擬似乱数現象を構成する。ＭＰＥＧ−２圧縮手法やＩＴＵ−Ｔ／ＩＳＯ Ｈ．２６４圧縮手法を用いてフィルムに端を発する画像を処理しようとすると通常、圧縮度が受け入れられないほど低くなってしまうか、粒子テクスチャが完全になくなってしまう。

よって、１つ又は複数のパラメータ群によってフィルム粒子特性を表す手法に対する必要性が存在する。

簡潔に言えば、本願の原理の好ましい実施例によって、フィルム粒子をシミュレートする手法を備える。この方法は、画像情報システム内のフィルム粒子を示す情報を備えるよう、例えば、フィルム画像を含むビデオ・ストリームなどの画像情報ストリームにおいて特徴付けることによって開始する。フィルム粒子情報は、画像ストリームにおけるフィルム粒子の種々の属性を規定する、考えられるパラメータ群のうちの少なくとも１つのパラメータを含む。フィルム粒子情報は更に、後に送信するよう符号化される。

本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第１の実施例を示す構成図である。 本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第２の実施例を示す構成図である。 本願の原理によってフィルム粒子をシミュレートする、本願の原理によるシステムの第３の実施例を示す構成図である。

〔実施例〕
図１は、本願の原理によってフィルム粒子シミュレーションを行う、本願の原理によるシステム１０の第１の実施例の構成略図を表す。システム１０は、入力ビデオ・ストリーム１２からフィルム粒子を除去してビデオ符号器１３で受信されるフィルタリングされたビデオ・ストリーム２４をもたらす役目を担うフィルム粒子除去器２２を含む。フィルム粒子除去は、雑音信号が画像信号と相関があるように見える、雑音フィルタリングの特定のケースを構成する。よって、フィルム粒子除去器２２は伝統的な画像フィルタの形態をとり得るが、そうしたフィルタは最適な性能を必ずしも備えるものでない。ビデオ符号器１３は、フィルタリングされたビデオ・ストリーム２４を符号化して、ビデオ復号器１５で受信される符号化ビデオ・ストリーム１４をもたらし、ビデオ復号器１５は、符号化ストリームを復号化して復号化ビデオ・ストリーム１６をもたらす。ビデオ符号器１３及びビデオ復号器１５は、当該技術分野において周知である同じビデオ符号化手法を利用する。例えば、ビデオ符号化手法は、ＩＴＵ−Ｔ Ｈ．２６４ビデオ符号化標準、又は別のタイプのブロック・ベースの符号化を備え得る。ＭＰＥＧ−２標準やＩＴＵ−Ｔ Ｈ．２６４標準を利用する符号器及び復号器は周知である。

システム１０は、入力ビデオ・ストリーム１２と、フィルタリングされたビデオ・ストリーム２４とを受信するフィルム粒子特徴付け器２３も含む。これらのビデオ・ストリームから、フィルム粒子特徴付け器２３は、粒子をシミュレートするモデルの識別情報と、識別されたモデルによって用いられる、相関パラメータと、強度に依存しないパラメータと、強度に依存するパラメータとを含むいくつかのパラメータ群のうちの少なくとも１つとを含む、以降粒子メッセージとして表すメッセージを出力する。以下に詳細に記載するように、フィルム粒子メッセージにおけるパラメータによって、識別されたモデルを用いた、元画像に依存する雑音のシミュレーションが可能になる。パラメータが何もない場合、デフォールト値がその欠落パラメータに割り当てられる。（実際に、モデルが何ら識別されない場合、フィルム粒子のデフォールト・モデルを呈する。）一実施例では、フィルム粒子特徴付け器２３は、パラメータが、写真フィルムの露光及び現像の物理的な処理に基づいたモデルによって生成されるか、後の画像編集中に追加される処理によって生成される。

粒子メッセージの生成後、フィルム粒子特徴付け情報符号器２６は、フィルム粒子特徴付け情報復号器２８にバンド内又はバンド外で送信するよう、ビデオ符号器１３によってビデオ復号器１５に送信される符号化ビデオ・ストリーム１４からの上記メッセージを符号化する。ビデオ符号器１３もフィルム粒子特徴付け情報符号器２６も同じ符号化手法を用いる。よって、例えば、符号器２６が、符号化するうえでＩＴＵ−Ｔ Ｈ．２６４ビデオ符号化標準を利用する場合、符号化フィルム粒子特徴付け情報ストリーム２７は、ＩＴＵ−Ｔ Ｈ．２６４ビデオ符号化標準に規定されるフィルム粒子補足拡張情報（ＳＥＩ）メッセージの形式をとり得る。

フィルム粒子特徴付け情報復号器２８は、フィルム粒子復元プロセッサ３０に入力するよう、符号化フィルム粒子メッセージ２７を復号化して、復号化フィルム粒子特徴付け情報ストリーム２９をもたらす。以下に更に詳細に説明するように、プロセッサ３０は、メッセージ内のパラメータを用いて粒子メッセージにおいて識別されたモデルによってフィルム粒子をシミュレートすることになる。モデルの識別がない場合には、プロセッサ３０はデフォールト・モードを呈することになる。同様に、特定のパラメータの特定値がない場合には、プロセッサ３０はそのパラメータのデフォールト値を呈することになる。

好ましい実施例では、図１の粒子メッセージ２５は通常、空間的相関、アスペクト比、色相関及び時間的相関を規定する１つ又は複数の相関パラメータを含むことになる。これらのパラメータの各々は以下に記載する。

空間的相関
例示的実施例では、空間領域における、フィルム粒子の、画像に依存した相関は、少なくとも、空間的相関の一パラメータによってモデル化することができる。測定される空間的相関はブロッブのサイズを定める。空間的相関についての２次自己回帰モデル及び畳み込みモデルを以下に説明する。

アスペクト比
理想的には、フィルム粒子は、Ｘ方向とのＹ方向との特性が同一である等方性を有するように見えるものである。しかし、実際は、一方向に伸びているように見え得るものであり、それは多くの場合、異方倍率光学系や非正方形検出器の幾何学的形状などの、フィルム記録に関する係数から生じる。その理由で、フィルム粒子をモデル化する場合には、アスペクト比係数を表す、強度に依存しないパラメータが、空間的相関の尺度を補完することになる。粒子ブロッブのアスペクト比は、少なくとも１つのパラメータによって規定される。

色相関
本願の原理によれば、カラー画像におけるフィルム粒子の層依存性は、色相関を用いて表される。測定色相関は粒子の、認識された色濃淡を定める。色相関が弱いことは、種々の色層において生成される粒子ブロッブが無作為に、お互いに重なるということを示唆する。よって、観察者は粒子をカラーとして認識することになる。色相関が高いことは、１つの色成分上の粒子ブロッブが他の色成分によって変わってくるということを示唆する。この場合には、観察者は粒子をモノクロとして認識することになる。

時間的相関
系列における粒子の時間的相関は、少なくとも１つのパラメータによって表される。粒子自体はフレーム間の時間的相関を何ら表すことができないが、時間的相関を表すパラメータを導入することによって、フィルムの編集がもたらす他の観察作用をシミュレートするのに役立ち得る。

雑音の強度
フィルム粒子のフィルム画像との依存を表す前述のパラメータとともに、フィルム粒子を発生させるランダム・プロセスから生じる雑音の強度を表す必要性が存在する。雑音の強度は、色成分毎に変わり得るものであり、フィルム画像によって変わってくることになる。粒子の強度は、雑音が画像において認識されるレベルを判定する。粒子強度レベルが小さいことによって、元の画像におけるわずかな変動がもたらされ、ほとんど目立たないように見える。強度レベルが高いことは、画像においてスーパーインポーズされるピークとして明らかに目に見えるようになる。

他のパラメータ
上記パラメータに加えて、粒子メッセージは、フィルム粒子を加える色空間と、粒子をビデオ信号とブレンディングするのに用いるブレンディング・モードとを識別するパラメータも含み得る。なお、別のパラメータ群を、色成分毎に送信することができ、フィルム画像の種々の強度レベル毎に送信することができる。例えば、フィルム粒子が画像の局所強度によって変わってくるものであり、種々の色成分が、フィルムストックのタイプに応じて別々の粒子を有し得る。

図１のフィルム粒子特徴付け器２３は、画像の強度レベルによって種々のパラメータ群を生成することができる。所望の場合、フィルム粒子復号器２８は、パラメータ群を種々の強度レベルに補間して、フィルム粒子特性の平滑的な遷移を導き出すことができる。

パラメータ群を解釈するために、フィルム粒子復号器２８は、パラメータを生成するモデルの規定を有していなければならない。そうしたモデルを規定することができる方法を理解するために、以下の数学的な関係が有用であることが分かることになる。まず、画像位置（ｘ，ｙ）、色チャネルｃ及びフレーム番号ｔでの復号化画像画素値は、Ｉ（ｘ，ｙ．ｃ，ｔ）によって表す。便宜上、画素値は１の最大値を有するようスケーリングされる。更に、ＲＧＢ画像表現（ｃ＝１、２又は３）を前提とするが、このモデルはモノクロ画像に向けることができ、明らかな修正によって、ＹＵＶ表現に向けることができる。

加算粒子モデルでは、粒子シミュレーションは各画素値をＪ（ｘ，ｙ，ｃ，ｔ）に変更し、そのとき、Ｊ（ｘ，ｙ，ｃ，ｔ）は、
（１） Ｊ（ｘ，ｙ，ｃ，ｔ）＝Ｉ（ｘ，ｙ，ｃ，ｔ）＋Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ））
の関係によって表され、そのとき、Ｌ（ｘ，ｙ，ｔ）は画像における局所強度の尺度であり、Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ））は粒子値を規定する。１つの考えられる実施形態は、Ｌをルミナンス、又は色チャネル全てにわたる強度Ｉ（ｘ，ｙ，ｃ，ｔ）の加重和として規定するというものである。

式（１）によって表す加算モデルは対数強度スケールが用いられる場合に適切である。線形スケールの場合、式（１）のモデルは、
（１ａ） Ｊ（ｘ，ｙ，ｃ，ｔ）＝Ｉ（ｘ，ｙ，ｃ，ｔ）＊（１＋Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ（ｘ，ｙ，ｔ）））
の乗算モードによって置き換えることができる。加算粒子モデルが実施されるか乗算粒子モデルが実施されるかは、復号化画像の形式によって変わってくることになる。一般的に、粒子は、最大画素値の小さな割合を備えるものである。

次に、本発明によってパラメータ群を抽出する種々の種類のモデルの例の一部を説明する。

Ｉ．フィルム粒子パターンの自己回帰シミュレーション
例示的実施例では、２次自己回帰手法を用いて空間的相関をモデル化することができ、１次回帰手法を用いてクロス色相関及びクロス時間的相関をモデル化することができる。相関係数は全て、復号化画像の強度によって変わってくる。水平方向の空間的相関係数と垂直方向の空間的相関係数は、一定のアスペクト比係数によって関連している。そのような状況下で、
（２） Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ）＝ｐ（ｃ，Ｌ）＊Ｎ＋
ｑ（ｃ，Ｌ）＊（Ｇ（ｘ−１，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ｇ（ｘ，ｙ−１，ｃ，ｔ，Ｌ））＋
ｒ（ｃ，Ｌ）＊Ａ＊（Ｇ（ｘ−１，ｙ−１，ｃ，ｔ，Ｌ）＋Ｇ（ｘ＋１，ｙ−１，ｃ，ｔ，Ｌ））＋
ｓ（ｃ，Ｌ）＊（Ｇ（ｘ−２，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ａ＊Ｇ（ｘ，ｙ−２，ｃ，ｔ，Ｌ））＋ｕ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ−１，ｔ，Ｌ）＋
ｖ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ，ｔ−１，Ｌ）
の式が、シミュレートされた粒子値をもたらすことになり、そのとき、Ｎは正規化ガウス分布を備える乱数値であり、Ａは一定の画素アスペクト比であり、ｐ、ｑ、ｒ、ｓ、ｕ及びｖは相関パラメータである。パラメータｕは第１の色チャネルの場合、常にゼロであり、粒子値Ｇは、何れかの指数が範囲外である場合にゼロとみなされる。

式（２）の構造から分かり得るように、特定の色チャネルにおける特定の画素の粒子値が先行算出粒子値を用いて再帰的に算出される。特に、フレームはフレーム番号の昇順（すなわち、ｔの昇順）で算出される。各フレーム内で、色チャネル処理が、色チャネル番号の昇順（すなわち、ｃの昇順）で行われる。各色チャネル内で、ｘ及びｙの昇順に、画素が水平方向にラスタ化され、次に垂直方向にラスタ化される。この順序に従う場合、式（２）によって必要な粒子値は全て、予め自動的に算出される。

特定の状況下では、垂直方向のラスタ化はより実用的であることが分かっている、すなわち、画素処理はまず列から行われる。そうした場合には、式（２）は、先行算出値のみを用いるというわずかな修正を必要とすることになる。

（２ａ） Ｇ（ｘ，ｙ，ｃ，ｔ，Ｌ）＝ｐ（ｃ，Ｌ）＊Ｎ＋
ｑ（ｃ，Ｌ）＊（Ｇ（ｘ−１，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ｇ（ｘ，ｙ−１，ｃ，ｔ，Ｌ））＋
ｒ（ｃ，Ｌ）＊Ａ＊（Ｇ（ｘ−１，ｙ−１，ｃ，ｔ，Ｌ）＋Ｇ（ｘ−１，ｙ＋１，ｃ，ｔ，Ｌ））＋
ｓ（ｃ，Ｌ）＊（Ｇ（ｘ−２，ｙ，ｃ，ｔ，Ｌ）＋Ａ＊Ａ＊Ｇ（ｘ，ｙ−２，ｃ，ｔ，Ｌ））＋
ｕ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ−１，ｔ，Ｌ）＋
ｖ（ｃ，Ｌ）＊Ｇ（ｘ，ｙ，ｃ，ｔ−１，Ｌ）
式（２）又は式（２ａ）を実施することは、特定の最小の復号器機能を必要とする。第１に、フィルム粒子情報復号器２８は、全ての算出をリアルタイムで行わなければならない。第２に、フィルム粒子情報復号器２８は、いくつかの先行算出粒子値をメモリに保持する必要がある。特に、時間的相関（すなわち、式（２）及び式（２ａ）における最終項）を実施するよう、フィルム粒子情報復号器２８は、先行フレーム全てについて粒子値を保持する必要がある。この観点から、式（２）のモデルによって、ある程度の忠実度の低下を伴って要件を徐々に低減させることが可能になるということが重要である。

システムの忠実度がわずかに低いと、式（２）における最終の（時間的な）項を無視し得る。そうすることによって、先行フレームからの粒子値を保持するよう更なるフレーム・バッファを有する必要性がなくなることになる。更なる費用節減が、ｓ（ｃ，Ｌ）によって変わってくる、式（２）におけるこの項を無視することによってもたらされることになる。そうすることによって、前の前の行をメモリに記憶する必要性がなくなり、算出数が削減される。ｒ（Ｃ，Ｌ）などを備える項によって表される斜め相関を無視することによって、更なる計算量削減が達成されることになる。最低品質粒子シミュレータは、白色雑音項のみ用いるものである。

項が、低減されたシステムにおいて無視される都度、式（２）によって実施されるモデルのフルスケール実施形態における場合と同様に、実質的な１次相関が同じ状態に留まり、もっと重要なこととして、自己相関（雑音電力）が同じ状態に留まるように残りのパラメータをフィルム粒子情報復号器２８が調節する場合に便益が生まれる。同じ調節が、先行粒子値の全てが利用可能でない場合に各フレームの第１の行及び列について行われるものである。

式（２）において実施されるモデルの柔軟性は、第１の色チャネルを除く全てについてパラメータｐ，ｑ，ｒ及びｓをゼロに設定し、ｃ＞１の場合に、色相関ｕ（ｃ，Ｌ）を１に設定することによって更に明らかになる。そうした状況下では、粒子は完全にモノクロになる。このパラメータ値群は、色空間の先行ＹＵＶ４：２：０変換によって色変動が洗い流されるケースを表し得る。

３色群の場合、式（２）のモデルは、ルミナンス・レベル毎の１７個のパラメータの群と、ルミナンスに依存しないアスペクト比とによって粒子パターンを表す。ルミナンス依存パラメータは、いくつかの固定ルミナンス・レベルについて符号化することができる。復号器は、中間ルミナンス・レベルについてパラメータ値を補間することになる。

粒子パラメータは、厳密に式（２）の形式で表さなくてもよい。例えば、何れかの、パラメータの１対１の変換を用い得る。更に、種々の参照強度レベル群を、別々のパラメータについて用い得るものであり、種々の補間手法を用い得る、などである。

２． フィルム粒子パターンをシミュレートするよう空間領域において畳み込みを行う工程
別の例示的な実施例では、フィルム粒子パターンを、
（３） ｈ＝（ｈ_０，ｈ_１，ｈ_２，ｈ_３，…，ｈ_ｎ）
の形式で規定する線形の、時間不変ディジタル・フィルタｈによって乱数群ｘを畳み込むことによってシミュレートすることができる。

これは、フィルム粒子ｙ（ｎ）をシミュレートするフィルタ出力が、入力ｘ（ｎ）と、フィルタのインパルス応答ｈ（ｎ）との畳み込みであるということを表す。すなわち、

である。

式（４）は一次元におけるシミュレーションをもたらすが、２次元のパターンを、１次元における垂直方向の畳み込みと水平方向の畳み込みとを連結することによって得ることができる。そうした状況下では、フィルタの係数をアスペクト比係数とともに送信するものである。

機能が限定的なフィルム粒子情報復号器２８は畳み込みカーネルの空間的なサイズを制限することができ、それによって、メモリ及び処理能力の要件が緩和されることになる。

３． フィルム粒子パターンをシミュレートするよう変換領域においてフィルタリングを行う工程
前述したように、フィルタｈのインパルス応答と、乱数群ｘとを畳み込むことによってフィルム粒子パターンを特徴付けることができる。これと同じ処理は、インパルス応答Ｈのフーリエ変換と乱数群Ｘのフーリエ変換とによる周波数領域における乗算によっても表すことができる。

（５） Ｙ（ｕ）＝Ｘ（ｕ）・Ｈ（ｕ）
画像のフーリエ変換が、例えば、フィルタリング処理又は圧縮処理の一部として利用可能な場合に計算が速くなるため、周波数領域におけるフィルタリングは効果をもたらす。

以下のパラメータ群は、本願の原理によって画像依存粒子を表すうえで申し分のない結果をもたらした。これらのパラメータは、粒子をシミュレートする自己回帰手法を前提とする。他の手法のパラメータは類似した表によって表されることになる。

色空間：対数ＲＧＢ
ブレンディング・モード：加算
アスペクト比：１
強度レベルの数：３
Ｒ成分のパラメータ：

Ｇ成分のパラメータ：

Ｂ成分のパラメータ：

この表に示していない相関パラメータは０に設定される。色空間と、ブレンディング・モードと、アスペクト比と、種々のパラメータが規定される強度レベルの数を規定した後、各色成分上のフィルム粒子が符号化される。なお、ある程度のレベル（強度）情報に加えてイタリック字のデータしか送信しなくてよい。

図２は、本願の原理によってフィルム粒子をシミュレートするシステムの第２の実施例１０’を表す。システム１０’は図１のシステム１０と同じ構成要素の多くを共有し、同じ参照数字は同じ構成要素を表す。実際に、図２のシステム１０’は、図１のフィルム粒子特徴付け情報符号器２６及びフィルム粒子特徴付け情報復号器２８がないことのみが異なる。図２のシステム１０’は、ビデオ符号器１３とビデオ復号器１５とを用いて、フィルム粒子特徴付け器２３のフィルム粒子特徴付け情報２５の出力の符号化と復号化との各々を行う。図２のシステム１０’は、送信フィルム粒子特徴付け情報を並列拡張情報としてサポートするビデオ符号化標準を用いることを必要とする。

図３は、本願の原理によってフィルム粒子をシミュレートするシステムの第３の実施例１０’’を表す。システム１０’’は図２のシステム１０’と同じ構成要素の多くを共有し、同じ参照数字は同じ構成要素を表す。実際に、図３のシステム１０’’は、図２のフィルム粒子除去器２２がないことのみが異なる。図３のシステム１０’’は、ビデオ符号器１３で利用可能な再構築画像を用いて、フィルム粒子の除去の結果をシミュレートする。図３のシステム１０’’は、図１のシステム１０及び図２のシステム１０’と比べて２つの効果をもたらす。図３のシステム１０’’は、第１に、フィルム粒子除去に関する計算量を削減し、第２に、フィルム粒子特性を、ビデオ符号器１３によって抑制されるフィルム粒子量に適合させる。図３のフィルム粒子特徴付け器が、フィルム粒子を備える入力ビデオ１２も、ビデオ符号器１３から生じる再構築ビデオ２４も処理すると、観察フィルム粒子を特徴付けるタスクを達成することができる。

上記では、ビデオ信号におけるフィルム粒子をシミュレートする手法を説明している。フィルム粒子シミュレーション手法をビデオ信号の符号化及び復号化に関して説明したが、この手法は、例えば、例えば映画フィルムのポストプロダクションなどの他の目的に同様に適用可能である。この点で、元の画像が、圧縮ビデオ信号以外の形式での画像情報として存在し得るものであり、フィルム粒子情報が、ＳＥＩメッセージなどのメッセージ以外の形式で存在し得る。例えば、画像情報は、当該技術分野において存在する種々の別々の形式のうちの１つにおいて存在し得る。

１２ 入力情報ストリーム
１３ 符号器
２３ フィルム粒子特徴付け器
２４ フィルタリングされた情報ストリーム
２６ 符号器

Claims (26)

1. フィルム粒子情報を備える方法であって、
   符号化前に画像情報ストリームの特徴付けを行って、前記画像ストリーム内のフィルム粒子を示す情報を備える工程であって、
   前記フィルム粒子情報は、前記画像ストリーム内の前記フィルム粒子の種々の属性を規定する、前記フィルム粒子情報内の考えられるパラメータの組のうちの少なくとも１つのパラメータに応じてフィルム粒子をどのようにしてシミュレートするかを規定する工程と、
   後に併せて伝送するために前記画像情報の符号化とは別個に前記フィルム粒子情報を符号化して、復号化において前記フィルム粒子情報を使用する復号化において前記画像ストリーム内のフィルム粒子のシミュレーションを可能にする工程とを備えることを特徴とする方法。
2. 請求項１記載の方法であって、
   前記パラメータの組が、複数の相関パラメータ及び強度に依存しない複数のパラメータを含むことを特徴とする方法。
3. 請求項２記載の方法であって、
   少なくとも１つの相関パラメータが、認識されるフィルム粒子パターンにおける空間的相関を規定することを特徴とする方法。
4. 請求項２記載の方法であって、
   少なくとも１つの相関パラメータが、色層間の相関を規定することを特徴とする方法。
5. 請求項２記載の方法であって、
   少なくとも１つの相関パラメータが、画像系列の先行処理から生じる時間的相関を規定することを特徴とする方法。
6. 請求項２記載の方法であって、
   強度に依存しない少なくとも１つのパラメータが、前記フィルム粒子のアスペクト比を規定することを特徴とする方法。
7. 請求項１記載の方法であって、
   少なくとも１つのパラメータが、前記フィルム粒子の無作為の成分の強度を規定することを特徴とする方法。
8. 請求項２記載の方法であって、
   前記強度に依存しないパラメータのうちの少なくとも１つが、色空間と、前記シミュレートされたフィルム粒子を前記画像とブレンディングするのに用いるブレンディング・モード処理とを規定することを特徴とする方法。
9. 請求項１記載の方法であって、
   画像を表す情報の送信に対してバンド外で送信される前記フィルム粒子情報を送信する工程を更に備えることを特徴とする方法。
10. 請求項１記載の方法であって、
    画像を表す情報の送信に対してバンド内で送信される前記フィルム粒子情報を送信する工程を更に備えることを特徴とする方法。
11. 請求項２記載の方法であって、
    前記パラメータの組が、空間的相関の２次自己回帰表現と、クロス色相関及びクロス時間的相関の１次回帰表現とによって計算されることを特徴とする方法。
12. 請求項３記載の方法であって、
    前記粒子の前記空間的相関を表す前記少なくとも１つのパラメータが、空間的畳み込みモデルによって定められることを特徴とする方法。
13. 請求項３記載の方法であって、
    前記粒子の前記空間的相関を表す前記少なくとも１つのパラメータが、フーリエ領域におけるフィルタのカット周波数から得られることを特徴とする方法。
14. 請求項１記載の方法であって、
    前記符号化工程は、ＩＴＵ−Ｔ Ｈ．２６４ビデオ符号化標準によって前記フィルム粒子情報を符号化する工程を備えることを特徴とする方法。
15. フィルム粒子を備える装置であって、
    符号化前に画像情報ストリームの特徴付けを行って、前記画像ストリーム内のフィルム粒子の情報を備える第１の手段であって、前記情報は、前記画像ストリーム内の前記フィルム粒子の種々の属性を規定する、前記フィルム粒子情報内の考えられるパラメータの組のうちの少なくとも１つのパラメータに応じてフィルム粒子をどのようにしてシミュレートするかを規定する第１の手段と、
    後に併せて伝送するために前記画像情報の符号化とは別個に前記フィルム粒子情報を符号化して、復号化において前記フィルム粒子情報を使用する復号化において前記画像ストリーム内のフィルム粒子のシミュレーションを可能にする第２の手段とを備えることを特徴とする装置。
16. 請求項１５記載の装置であって、
    前記パラメータの組が、複数の相関パラメータ、及び強度に依存しない複数のパラメータを含むことを特徴とする装置。
17. 請求項１６記載の装置であって、
    少なくとも１つの相関パラメータが、認識されるフィルム粒子パターンにおける空間的相関を規定することを特徴とする装置。
18. 請求項１６記載の装置であって、
    少なくとも１つの相関パラメータが、色層間の相関を規定することを特徴とする装置。
19. 請求項１６記載の装置であって、
    少なくとも１つの相関パラメータが、画像系列の先行処理から生じる時間的相関を規定することを特徴とする装置。
20. 請求項１６記載の装置であって、
    強度に依存しない少なくとも１つのパラメータが、前記フィルム粒子のアスペクト比を規定することを特徴とする装置。
21. 請求項１５記載の装置であって、
    少なくとも１つのパラメータが、前記フィルム粒子の無作為の成分の強度を規定することを特徴とする装置。
22. 請求項１６記載の装置であって、
    前記強度に依存しないパラメータのうちの少なくとも１つが、色空間と、前記シミュレートされたフィルム粒子を前記画像とマージするのに用いるブレンディング・モード処理とを規定することを特徴とする装置。
23. 請求項１６記載の装置であって、
    前記第１の手段が、前記パラメータの組を、空間的相関の２次自己回帰表現と、クロス色相関及びクロス時間的相関の１次回帰表現とによって計算することを特徴とする装置。
24. 請求項１７記載の装置であって、
    前記粒子の空間的相関を表す前記少なくとも１つのパラメータが、空間的畳み込みモデルによって定められることを特徴とする装置。
25. 請求項１７記載の装置であって、
    前記粒子の空間的相関を表す前記少なくとも１つのパラメータが、フーリエ領域におけるフィルタのカット周波数から得られることを特徴とする装置。
26. 請求項１５記載の装置であって、
    第２の手段は、ＩＴＵ−Ｔ Ｈ．２６４ビデオ符号化標準によって前記フィルム粒子情報を符号化することを特徴とする装置。

Images