JP2007521680A - 画像の雑音（ノイズ）を減じる装置と方法 - Google Patents

Abstract

画像プロセッサは、雑音を除去するために、画像データを処理するＬｅｅフィルタを具える。Ｌｅｅフィルタは平滑化制御信号を含んでいる。画像データの濾波の間、平滑化制御信号はモノクロム（白黒）ビデオ信号に変換され、濾波済み画像データの代りに、または濾波済み画像データに加えて、ディスプレイに供給される。平滑化制御信号の表示により投写される画像は、濾波済み画像におけるエッジ・アクティビティを強調する。このエッジ・アクティビティの表示により、画像データ内で雑音の多い部分を見つけ出し、濾波量を微調整するのが容易となり、画像データ内に存在する雑音を更に減じ、しかも所定の画像の細部（ディテール）はそのまま残される。

Description

本発明は、一般に、圧縮に関し、特に、圧縮に先立ち画像データを前処理してビデオにおける静止画像または一連の画像内に存在する雑音（ノイズ）を減じる装置と方法に関する。

ビデオ（動画）を表す画像データはサイズ（情報量）が大きくなる。従って、当技術分野で知られているように、画像データの送信または蓄積に先立ち、画像データを圧縮することが好ましい。画像データを圧縮して元の画像データに対しかなりの忠実度が得られる技術が多数存在する。

しかしながら、画像データを圧縮する際、一般に、圧縮アリゴリズムは、画像内の好ましい細部（ディテール）と雑音（ノイズ）を見分けることができないので、画像データ内に含まれている雑音が圧縮効率に悪影響を及ぼす。換言すれば、圧縮される画像データのサイズは、画像データ内に雑音が存在するため、必要以上に大きくなる。例えば、もし画像が最初にビデオ・カセット・レコーダ（ＶＣＲ）に記録されると、記録された画像データには、再生時に、雑音が含まれる。その結果、インターネットでストリーミングする画像データ源としてＶＣＲを使用すると、圧縮しても、画像データ内に雑音が存在しない場合よりも多くの帯域幅を必要とする。

画像データに雑音が含まれると、画像データを圧縮する前に、画像データを濾波（フィルタ）して、雑音を除去または低減することが知られている。既に知られている幾つかのフィルタ技術のうち１つが画像データに使用され、濾波済み画像データはプレビュー（ｐｒｅｖｉｅｗ）され、画像の忠実度への影響が調べられる。フィルタの設定は、濾波済み画像を見て、フィルタのコントロールを調節し、低減された雑音と画像細部のぼけとの妥協点を見い出す。濾波（フィルタリング）が多すぎると画像がぼやけ、濾波が少なすぎると、画像データ内の雑音を十分に除去できず、圧縮効率が改善されない。あいにく、低レベルの雑音の除去は特に困難である。低レベルの雑音を画像内で見るのは困難で、または不可能であり、しかも圧縮効率を低下させ、画像データが絶えず変化しているビデオ（動画）の場合一層困難となる。

（発明の概要）
上述のように、画像データを濾波する際、濾波済み（ｆｉｌｔｅｒｅｄ）画像を見て、画像データから低レベルの雑音を除去するためにフィルタを調節することは困難である。しかしながら、本発明の原理により、濾波済み画像データを表示せずに、または濾波済み画像を表示することに加えて、雑音を除去するために画像データに濾波が実行される場合にそれを表示することにより、フィルタのパラメータを素早く設定する能力が改善され、画像データから低レベルの雑音の除去を増大できることが実感される。

本発明の実施例において、画像プロセッサは、画像データから雑音を除去するために画像データを処理するＬｅｅ（リー）の局所統計フィルタを具える。Ｌｅｅフィルタは、平滑化制御信号を含んでいる。画像データの濾波の間、平滑化制御信号はモノクロム（白黒）ビデオ信号に変換され、このモノクロム・ビデオ信号は、濾波済み画像データの代りに、または濾波済み画像データに加えて、ディスプレイに供給される。平滑化制御信号を表す表示画像は、濾波済み画像のエッジ・アクティビティを強調する。このエッジ・アクティビティの表示により、画像データ内で雑音の多い部分を見い出し、濾波量の微調整が容易となり、画像データ内に存在する雑音を更に減じ、しかも望まれる画像の細部はそのまま残される。特に、Ｌｅｅフィルタの平滑化制御信号は、明るい部分と暗い部分を表示する。暗い部分は、Ｌｅｅフィルタが比較的多量の濾波を画像データに実行していることを示し、明るい部分はＬｅｅフィルタが比較的少量の濾波を画像データに実行していることを示す。

本発明の別の実施例で、サーバは、インターネットでストリーミング・コンテンツ（例えば、ビデオ）を提供するためにＬｅｅフィルタと圧縮器を具える。サーバは、ビデオを表す画像データを濾波する際、Ｌｅｅフィルタの平滑化制御信号を視覚的に表示する。その結果表示される、濾波済み画像データのエッジ・アクティビティを使用して、Ｌｅｅフィルタのパラメータを設定する、すなわち、ビデオに関連するフィルタ・テンプレートを創出する。フィルタ・テンプレートはその後、検索され、ビデオをリアルタイムで濾波し、インターネットでストリーミング・ビデオを提供する。

本発明の別の実施例において、サーバは、インターネットでストリーミング・コンテンツ（例えば、ビデオ）を提供するために、Ｌｅｅフィルタと圧縮器を具える。Ｌｅｅフィルタの平滑化制御信号はモノクロム・ビデオ信号に変換される。モノクロム・ビデオ信号に変換された平滑化制御信号の平均輝度レベルは、画像またはビデオに対し設定される。この設定された輝度レベルを使用して、画像またはビデオに望まれる濾波レベルが表される。画像またはビデオを濾波する際、モノクロム・ビデオ信号に変換された平滑化制御信号が設定された平均輝度レベルにマッチするまで、Ｌｅｅフィルタのパラメータが調節される。

本発明の別の実施例において、サーバは、プロセッサと、ディスプレイと、コンピュータ・プログラムを記憶するメモリを具える。プロセッサは、画像データを濾波するためにメモリ内に記憶されたコンピュータ・プログラムを実行し、コンピュータ・プログラムは、プロセッサで実行されると、プレビュー・モードを提供し、画像データに濾波が実行されている場合それをディスプレイ上に表示する。

発明的コンセプト以外の、図面に示す要素はよく知られており、詳細には説明しない。また、画像処理とコンテンツ配信についてはよく知られていると思われるので、本文中では詳細に記述しない。発明的コンセプトの他に、マイクロプロセッサ、メモリ、アナログ／ディジタル画像フォーマット、コンテンツのストリーミング、メディア・プレーヤ、圧縮などはよく知られており、詳細に記述しない。また、発明的コンセプトは、従来のプログラミング技術（本文中に記述しない）を使用して実施される。最後に、図面上で同じような番号は同様な要素を表す。また、「信号」という用語には、ハードウェアの形態（例えば、電気的な）およびソフトウェア（例えば、変数）が含まれる。また、「メモリ」という用語には、マシンで読み出される蓄積メディア、例えば、ハードディスク・ドライブ、フロッピー（登録商標）ディスク、ＣＤ‐ＲＯＭ（書込み可能ＣＤ‐ＲＯＭを含む）、ＤＶＤなどが含まれる。

図１に、本発明の原理によるコンテンツ配信システムの実施例を示す。画像ソース１５は、信号経路１６を介し画像データを画像サーバ２０に供給し、画像サーバ２０は受信した画像データを処理し、圧縮した画像データを信号経路２１を介し供給し、インターネット５０により終点３０に配信する。インターネット５０は、パケットを送信できる任意のネットワークを表し、これには、スイッチ式および非スイッチ式設備（有線または無線）が含まれ、始発点と終点間にパケットを伝達するためのルータおよびスイッチのような他の構成部品（図示せず）も含まれる。画像ソース１５は、静止画またはビデオ（動画）を表す画像データを供給できる任意の源を表す。画像ソース１５は、画像サーバ２０に結合されるハードディスク・ドライブのようなファイル・ソースであり、画像データは画像をディジタル形式で表す、あるいは画像ソース１５は、ビデオをアナログ形式で表す画像データを提供するＶＣＲである。画像ソース１５は、インターネット５０に接続されない別個の構成部品として図示されるが、インターネット５０を通してイメージ・サーバ２０に画像データを供給する。終点３０は、任意の目的地、例えば、消費者のビデオ装置（Ｗｉｎｄｏｗｓ（登録商標）Ｍｅｄｉａ Ｐｌａｙｅｒ）を動かすコンピュータ、またはディスプレイに結合されるセットトップ・ボックス）、あるいは、受信した圧縮画像データを加入者に配信するコンテンツとしてリパッケージするコンテンツ・プロバイダ（ケーブル会社など）のサーバを表す。画像サーバ２０は、コンテンツ・プロバイダのサーバともなる。

前述のように、画像データを濾波する際、濾波済み画像データをプレビューするだけで画像データから雑音を除去する濾波のパラメータを調節することは困難である。これは特に、低レベル雑音が画像データ内に存在する場合にいえる。圧縮以前に画像データ内に残存する雑音が生じる圧縮された画像データは、画像データから雑音が低減または除去される場合よりも、サイズが大きくなり、且つ蓄積用スペースまたは送信に一層多くの帯域幅を必要とする。従って、本発明の原理に従い、画像サーバ２０は、濾波済み画像データを表示する代りに、または濾波済み画像データを表示することに加えて、濾波が画像データに実行される場合それを表示する。これにより、フィルタのパラメータを素早く設定でき、画像データから低レベルの雑音の除去を増大し、圧縮されたデータのサイズを更に縮小し、蓄積用スペースまたは送信に要する帯域幅を減じる。

図２に、本発明の原理に従う、画像サーバ２０のブロック図を示す。画像サーバ２０は蓄積プログラム制御に基づくプロセッサ・アーキテクチャであり、１つまたは複数のプロセッサ２０５と、画像サーバ２０の諸要素を結合させる１つまたは複数の通信経路を表すバス２０６と、以下に述べる方法を実行するためにプログラム命令およびデータを記憶するメモリ２１０（揮発性または不揮発性、ハードディスク、ＣＤ‐ＲＯＭ、ＤＶＤ、ランダムアクセス・メモリＲＡＭなど）と、プレビュー要素２２５（以下に説明する）を含む画像データを処理するビデオ処理要素２２０と、濾波済み画像データを表示し画像データに濾波が実行される場合それを表示するディスプレイ２３０と、通信インタフェース２１５で表される少なくとも１つの受信機と、を具え、信号経路１６を介しビデオ・ソース１５に結合して画像データを受信し、インターネット５０に結合して圧縮画像データを信号経路２１を介し送信する。本発明の他の実施例では、画像データは他の経路、例えば、メモリ２１０からも供給される、メモリ２１０は本発明の原理により、ビデオ源１５となる。同様に、信号経路１６は、インターネット５０への通信リンクとなる。画像データは最初に圧縮され、フィルタ・プレビュー要素２２５に供給される前に復元を必要とする。

図３に、画像サーバ２０に使用する本発明の原理に従うフローチャートを例示する。ステップ３０５で、画像サーバ２０は画像データを受信する。画像データは、単一の画像、複数の画像またはビデオ（動画）である。ステップ３１０で、画像サーバ２０は受信した画像データを濾波し、圧縮に先立ち雑音を更に除去する。画像サーバ２０は当技術分野で知られるＬｅｅフィルタを使用し、受信した画像データを濾波する。ステップ３１５で、画像サーバ２０はプレビュー画像をディスプレイ２３０に供給する。このプレビュー画像は、受信した画像データにＬｅｅフィルタが作用していることを視覚的に表示する。ステップ３２０で、付加的雑音を除去するために、Ｌｅｅフィルタのフィルタ・パラメータを更に調節すべきかどうか判断がなされる。本例では、ディスプレイ２３０上でプレビユー画像を見ている操作員は、フィルタのパラメータを調節する決定をなし、プレビュー画像の明暗部分を見ることにより「知覚される」輝度レベルを達成する。以下に更に述べるように、画像サーバ２０は、フィルタ・パラメータを自動的に調節するようにプログラムされる。ステップ３２５で、フィルタ・パラメータが調節され、ステップ３１０で、受信した画像データは、新しいフィルタ・パラメータで再び濾波される。もしフィルタ・パラメータの更なる調節がなければ、ステップ３３０で、濾波済み画像は当技術分野で知られる適当な圧縮技術で圧縮される。圧縮された画像は、インターネット５０で送信され、または後で検索するために記憶される。

ステップ３１５に関し上述したように、プレビュー表示能力が、雑音低減フィルタに追加される。図４に、プレビュー表示能力を有する雑音低減フィルタの実施例を示す。フィルタ・プレビュー要素２２５には、フィルタ４８０と、ビデオ変換器４８５と、マルチプレクサ（ＭＵＸ）４９０が含まれる。フィルタ４８０はＬｅｅフィルタを雑音低減フィルタとして実施し、画像データ４０１から雑音を更に除去する。フィルタ４８０は、供給された画像データ４０１に作用して、濾波済み画像データ４８１をＭＵＸ４９０に供給する。本発明の態様に従い、また、フィルタ４８０は、少なくとも１つのフィルタ制御信号４２１を供給する。フィルタ制御信号４２１は、ビデオ変換器４８５でビデオ信号に変換され、ＭＵＸ４９０に供給される。プレビュー・モード信号４２４は更に、ＭＵＸ４９０の動作を制御し、少なくとも２つの動作モード間で選択を行う。本例で、プレビュー・モード信号４２４は二進法の信号形態を表し、論理レベル‘１’は「プレビュー・フィルタの動作モード」に対応し、論理レベル‘０’は「プレビュー濾波済み画像モード」に対応する。表示用信号のこの区分けおよびモードの数は発明的コンセプトに必要とされない。濾波済み画像データとフィルタ制御信号は同時にディスプレイ２３０の２つのウインドウで別々に見られる。複数の表示モードもある。本例で、もしプレビュー・モード信号４２４がプレビュー濾波済み画像モードを表すなら、ＭＵＸ４９０は濾波済み画像データ４８１を信号４２６としてディスプレイ２３０に供給する。もしプレビュー・モード信号４２４がプレビュー・フィルタの動作モードを表すならＭＵＸ４９０はビデオ形態のフィルタ制御信号４２１（すなわち、信号５１１）を信号４２６としてディスプレイ２３０に供給する。

Ｌｅｅフィルタは、画像データ４０１の小部分のエッジ・アクティビティを測定することにより、各画素ごとに濾波プロセスをダイナミックに変更する。すなわち、Ｌｅｅフィルタは、画像の小さい矩形部分（ウインドウ）における信号のアクティビティ（エッジ・ディテール）の量を調べて、各ウインドウの中心画素に平滑化するアルゴリズムを適用する。平滑化アルゴリズムは、中心画素の濾波（フィルタリング）の量を、ウインドウ内でのエッジ・アクティビティ（ｅｄｇｅ ａｃｔｉｖｉｔｙ）の関数として変える。フィルタ制御信号４２１は、特定の画素グループの或る時点におけるエッジ・アクティビティの量を表す。フィルタ４８０が画像データ４０１に雑音濾波を実行している場合、フィルタ制御信号４２１から発生される画像はエッジ・アクティビティを示す。それゆえ、フィルタ制御信号４２１を表す画像を見ることにより画像内で雑音の多い場所を見つけ出し濾波量を微調整するのが容易となり、雑音は低減され、望まれる画像の詳細（ディテール）はそのまま残される。図５に、エッジ・アクティビティ表示の例を示す。画像７１と７２は何れも、同じ画像データ４０１に作用する本発明の原理に従うフィルタ制御信号のモノクロム（白黒）画像である。画像７１と７２は、フィルタ制御信号をグレースケールで表し、暗い部分は比較的多量の濾波がフィルタ４８０で実行されていることを示し、明るい部分は比較的少量の濾波がフィルタ４８０で実行されていることを示す。発明的コンセプトの一例において、プレビュー・フィルタ動作モードの間、ユーザはディスプレイ２３０上でフィルタ制御信号の画像を観察して、フィルタ制御信号４７９（図４）を調節し、フィルタ４８０で実行される濾波量を変え、エッジ・アクティビティ（画像７１と７２の明るい部分）の画像を見て、所定の平均輝度レベルがフィルタ制御信号の画像上で達成されようにする。画像７１では明るい部分が少なく、エッジ・アクティビティが少ない。フィルタ４８０は、明るい部分が多い（エッジ・アクティビティが多い）画像７２に関連する濾波済み画像（図示せず）と比較してそれほど鮮鋭でない濾波済み画像（図示せず）を発生する。利用者は、ユーザ・インタフェース（テキスト・ボックスなど）を実施することにより、濾波量を調節できる。図５に、濾波量を制御するためのユーザ・インタフェースをスライダ・ウインドウ（ｓｌｉｄｅｒ ｗｉｎｄｏｗ）８５として示す。スライダ８６がスライダ・コントロール８７の一端から他端へと移動すると、それに比例してフィルタ制御信号４７９が変えられ、濾波量（図５の画像７１と７２で表す）が変えられる。

図６と図７に、フィルタ・プレビュー要素２２５の別の実施例を示す。画像データ４０１は、ビデオの輝度（Ｙ）とクロマ（Ｃｒ、Ｃｂ）成分の多重ストリームであり、これはフィルタ・プレビュー要素２２５で処理される。当技術分野で知られるように、Ｙは輝度（ルミナンス）を表し、ＣｒとＣｂは色情報（Ｃｒは赤マイナス輝度信号に対応し、Ｃｂは青マイナス輝度信号に対応する）。以下の記述で、「画素」という用語は処理の説明を簡略化するために使用されるが、フィルタは実際にはＹ、Ｃｒ、Ｃｂ成分を別々に処理する。

フィルタ・プレビュー要素２２５（図２）は、要素４０５、要素４１０、要素４１５、要素４２０、およびミクサ４２５（図６）を含んでいる。一般的に言えば、Ｌｅｅフィルタは、ＭｘＬグループの画素に作用する。説明のため、Ｍ＝Ｌ＝７と仮定する。従って、各画素グループは７行の画素を有し、各行に７画素が含まれる。要素４０５は６個のライン遅延メモリ／バッファ（図示せず）を含み、特定の画素グループのために画素の行を連続的に供給する（信号４０６で表す）。要素４０５は、当技術分野で知られる、ラスタ・タイミング号４０３を発生する。各画素グループの３行目は中心画素を含んでいる。この中心画素は信号４０６−１（図６）として示される。

本発明の態様に従い、Ｌｅｅフィルタを使用して画像データ（静止画またはビデオ）を適応的に濾波する。Ｌｅｅフィルタは、画像データに適応し、鋭いエッジ（すなわち、エッジ・ディテールの多い画像部分）に達するとバック・オフ（後退）する。要素４１５において、Ｌｅｅフィルタは最初に、各画素グループ（ウインドウ）の局所平均（ｌｏｃａｌｍｅａｎ）を以下の等式に従って計算する。

ここで、Ｎはフィルタ・ウインドウ内の画素数、ｘ_ｉはその画素グループ（ウインドウ）内の各画素を表す。この場合、Ｎ＝４９、すなわち、各画素グループ内に４９個の画素がある。要素４１５は信号４１６を発生し、これは１つの画素グループの局所平均を表す。局所平均信号４１６はミクサ４２５と要素４１０に供給される。

或る特定の画素グループの局所平均が決定された後、要素４１０は同じ４９画素のグループに関する局所分散（ｌｏｃａｌ ｖａｒｉａｎｃｅ）を以下の等式に従って計算する。

要素４１０は信号４１１（特定の画素グループの局所分散を表す）を要素４２０に供給し要素４２０はブレンド（ｂｌｅｎｄ）係数β（平滑化制御信号）を次の等式で決定する。

ここで、

は雑音分散の推定値であり、濾波の程度を制御するため利用者が調節できるパラメータである（例えば、図４の信号４７９）。要素４２０は信号４２１（決定した混合係数βを表す）をミクサ４２５に供給する。ミクサ４２５は、プレビュー濾波済み画像モードにおいてＬｅｅフィルタにより実行された濾波量を次の等式で決定する。

ここで、ｘ_ｃは特定の画素グループの中心画素である。等式（４ａ）は以下のように書き替えられる。

特に、βがゼロのとき（局所分散が推定値以下または推定値に等しいとき）、ミクサ４２５は画像データ４０１の濾波を最大とする（局所平均の１００％がフィルタ出力信号としてミクサ４２５より供給される）。逆に言えば、βの値が１に向かって増加する（局所分散が推定値以上に増加する）につれ、ミクサ４２５は画像データ４０１の濾波を少なくする。

換言すれば、Ｌｅｅフィルタの局所分散値は、局所平均（すなわち、濾波済み中心画素）と未濾波（ｕｎｆｉｌｔｅｒｅｄ）中心画素の混合を制御する制御信号として使用される。濾波の総量は

の値を調節することによって制御される。局所分散が増加する（エッジ・ディテールが増加する）につれ、フィルタの出力信号として供給される未濾波中心画素が増加するよう混合が変えられる。局所分散が減少する（画像領域がフラットになる）につれ、混合は局所平均を支持する方向に移動する、すなわち、フィルタの出力信号として供給される濾波済み中心画素が増加する。

は幾つかの方法で、例えば、上述したスライダ・ウインドウ８５（図５）で、調節することができる。

本発明の原理に従い、ミクサ制御信号はモノクロム・ビデオ信号に変換される。ミクサ４２５は、プレビュー・モード信号４２４に応答しプレビュー・フィルタ動作モードを提供する。その結果生じるプレビュー画像（図５）は、局所分散が低い場合（最多の濾波が実行される場合）に暗く、局所分散が高い場合（実行される濾波が最少の場合）に明るい。

図７に、ミクサ４２５の実施例を示す。ミクサ４２５は輝度変換器５０５、マルチプレクサ（ＭＵＸ）５１０、５１５、５２０、タイミングおよびコントロール要素５２５、および組合せ要素５３０を具える。タイミングおよびコントロール要素５２５は、ラスタ・タイミング信号４０３に応答し、ディスプレイ２３０上に画像を表示するためビデオ信号のタイミングを制御する。組合せ要素５３０は、上記の等式（４ｂ）を実行する。輝度変換器５０５とＭＵＸ５１０はフィルタ制御信号４２１（β）をモノクロム・ビデオ信号５１１に変換する。特にこの実施例では、プレビュー・フィルタ動作モードはＹサンプルに実行される濾波を示す。輝度変換器５０５はフィルタ制御信号４２１（β）を輝度信号に変換し、ＭＵＸ５１０はこの信号を、（タイミングおよびコントロール要素５２５の制御下で）ＣｒおよびＣｂ値の代りに、固定黒クロマ値ｃ（信号５０９）と多重し、モノクロム・ビデオ信号５１１を発生する。ＭＵＸ５１５は、濾波済み画像データ４８１またはビデオ形態のフィルタ制御信号４２１（すなわち、信号５１１）を、選択されたモード（プレビュー・モード信号４２４で表す）の関数として選択する。ＭＵＸ５２０も、タイミングおよびコントロール要素５２５の制御下にあり、各ビデオ・ラインの画像期間のＭＵＸ５１５の出力信号または水平／垂直帰線期間の中心画素（信号４０６−１）の何れかを選択し、同期信号と帰線消去信号（これは信号４８１または信号５１１の中に存在しない）を維持する。注目すべきことにこの発明的コンセプトは、ＣｒとＣｂの濾波をプレビューするために容易に拡張される。

上述のフィルタは、種々のアナログ／ディジタル・ビデオ・ソースでテストされた。一般に最良の画像改善は、雑音分散推定値

が低い値に設定されると起こり、プレビュー表示面積の約７０％が明るい灰色または白色になる。

の値を大きくすると、濾波が全体的に増大し、プレビュー表示に暗い灰色部分と黒い部分が多くなる。このため、画像データの濾波が増大するので、濾波済み画像にぼやけた部分が多く発生する。

本発明の原理により、１つのフィルタに対し少なくとも１つの制御信号がビデオ信号に変換され、濾波済み画像に代り、または濾波済み画像と共に、表示される。フィルタ制御信号の画像の平均輝度レベルを調節することにより、フィルタの設定（例えば、雑音分散推定値

）を素早く調節し、画像をぼやかさずに、画像データ内の雑音を減少させ、その後の濾波済み画像データの圧縮を改善する。この発明的コンセプトはリアルタイムに適用されるが、フィルタの設定、またはフィルタのテンプレート（本発明のコンセプトに従い決定される）もメモリ２１０に記憶される。フィルタ・テンプレートは、特定の画像データにアプリオリ（ａ ｐｒｉｏｒｉ）に関連し、画像データを濾波する際将来の参考に利用できる。従って、ストリーミングするために、特定の画像データがビデオ源１５からあとで検索されるとき、関連するフィルタ・テンプレートがプロセッサ２０５によってメモリ２１０から再生され、アプリオリで決定された濾波量でストリーミング画像を発生する。画像データがリアルタイムで濾波されるにしても、または後の検索用にフィルタ・テンプレートが作成されるにしても、画像データに対するフィルタの設定を調節することによって、幾つかの方法で実行できる。例えば、「プレビュー・フィルタ動作モード」でビデオ全体を見ることができる。上述した雑音分散推定値

を達成する設定は、リアルタイムで実行でき、あるいはリアルタイムで記録でき、後の検索用に関連するフィルタ・テンプレートを作成する。あるいは、ビデオは、１つまたは複数の異なるビデオ・フレームにおいてサンプリングすることができ、サンプリングされた各ビデオ・フレームは、ビデオの他の部分に対して使用される関連するフィルタ設定を有する。

上述のように、フィルタの設定を調節する１つの方法は、ユーザがフィルタ制御信号の画像を見て、雑音分散推定値を調節し、特定の平均輝度レベルを達成する。本発明の別の態様に従い、フィルタ制御信号の画像の目標平均輝度レベルは、アプリオリに設定することができる。ひとたびこの目標レベルが設定されると、図３のフローチャートは修正される。特にステップ３１５、３２０、３２５はそれぞれ、ステップ８１５、８２０、８２５（図８）で置き換えられる。ステップ８１５で、フィルタ制御信号の画像の実際の平均輝度レベルが決定される。ステップ８２０で、この実際の輝度レベルはフィルタ制御信号の画像の目標輝度レベルと比較される。実際の輝度レベルが実質的に目標輝度レベルと等しくなければ、ステップ８２５で、フィルタが調節される。これに関して、ステップ８２５は以前の調節の結果を記憶し、フィルタの設定をどの方向に調節するかを決定し、フィルタ制御信号の画像の総合輝度を目標輝度レベルにドライブする。フィルタ制御信号の画像の実際の平均輝度レベルが目標輝度レベルに実質的に等しい（例えば、１％以内にある）ならば、上述のように、ステップ３３０（図３）が実行される。

注目すべきは、この発明的コンセプトはハードウェアとソフトウェアを任意に組み合わせて実施できることである。例えば、画像サーバ２０は、メモリ２１０に記憶したコンピュータ・プログラムを実行することができ、上述した「プレビュー・フィルタ動作モード」または「プレビュー濾波済み画像モード」選択のためのユーザ・インタフェースを提供する。これを図９に示す。図９はメニュー式ユーザ・インタフェースであり、メニュー項目を選択し、特定のモードを選択できる。例えば、「Ｅｄｉｔ Ｍｅｎｕ：編集メニュー」５１コマンドを選択すると、メニュー項目のリストが更に表示され、追加的選択に利用できる。これらの追加的メニュー項目として、コマンド５２（必ずしも、発明的コンセプトに関連していない）、プレビュー・フィルタ動作モード５３、およびプレビュー濾波済み画像モード５４などがある。例えば、メニュー項目のプレビュー・フィルタ動作モード５３を選択すると、信号４２４が該当する値に設定され、濾波が画像データ４０１に実行されている場合それをディスプレイ２３０に表示するプレビュー・モードが得られる。

上記の事項は単に本発明の原理を説明したものであり、従って、本発明の原理を具現化し、且つその技術思想と範囲内にある多数の代替構成（本文中に明記されていないが）を当業者は創案できることが理解されるであろう。例えば、これらの機能的要素は、別個の機能的要素として図示されているが、１つまたは複数の集積回路（ＩＣ）上で具現化され、且つ１つまたは複数の蓄積プログラム制御プロセッサ（例えば、マイクロプロセッサまたはディジタル信号プロセッサＤＳＰ）内で具現化される。Ｌｅｅフィルタに関して説明されているが、他の形態または組合せの濾波も使用される。画像サーバに関しても説明されているが、その発明的コンセプトは、単一の物理的装置（ラップトップ・コンピュータのような）または複数の装置間に配分される、蓄積プログラム制御に基づくシステムに適用される。濾波はコンピュータをベースとする１つの端末で実行されるが、少なくとも１つの制御信号が別の装置（コンピュータをベースとするしないによらず）で表示するために送信される。従って、本文中に示す実施例に多数の変更がなされ、且つ特許請求の範囲に記載の本発明の技術思想と範囲から離脱することなく他の構成も創案できることが理解されるべきである。

本発明の原理を具現化するコンテンツ配信システムを例示する。 本発明の原理に従う画像サーバを例示する。 本発明の原理に従うフローチャートを例示する。 本発明の原理に従うフィルタ・プレビュー要素を例示する。 ユーザ・インタフェースと共に、本発明の原理に従う２つのプレビュー・フィルタ操作画像を例示する。 本発明の原理に従う別のフィルタ・プレビュー要素を例示する。 本発明の原理に従う別のフィルタ・プレビュー要素を例示する。 本発明の原理に従うフローチャート（図３の続き）を例示する。 本発明の原理に従うメニュー式ユーザ・インタフェースを例示する。

Claims (25)

1. 画像データから雑音（ノイズ）を除去する方法であって、
   画像を表す画像データを受信するステップと、
   受信した画像データを濾波（フィルタ）して、画像データから雑音を除去し、濾波済み（ｆｉｌｔｅｒｅｄ）画像データを供給するステップと、
   受信した画像データに濾波（フィルタリング）が実行されていることを表示するステップと、から成る、前記方法。
2. 濾波済み画像データを表示するステップを更に含む、請求項１記載の方法。
3. 濾波済み画像データを圧縮して、圧縮された濾波済み画像データを供給するステップを更に含む、請求項１記載の方法。
4. 前記圧縮された濾波済み画像データを終点に送信するステップを更に含む、請求項３記載の方法。
5. 前記表示するステップに応答し、前記濾波するステップに使用するフィルタ・パラメータを調節するステップを更に含む、請求項１記載の方法。
6. 画像データを濾波する際、将来の参考に前記調節したフィルタ・パラメータを記憶するステップを更に含む、請求項５記載の方法。
7. 濾波がＬｅｅフィルタに従い実行される、請求項１記載の方法。
8. 画像データを濾波して、濾波済み画像データを供給するステップと、
   濾波に使用する制御信号をビデオ信号に変換するステップと、
   ビデオ信号を表す画像を表示するステップと、から成り、
   前記表示画像が、画像データが濾波されていることを示す、前記方法。
9. 濾波がＬｅｅフィルタに従い実行される、請求項８記載の方法。
10. 制御信号が、Ｌｅｅフィルタの平滑化（ｓｍｏｏｔｈｉｎｇ）制御信号である、請求項９記載の方法。
11. 前記変換するステップで、制御信号をモノクロム（白黒）ビデオ信号に変換する、請求項１０記載の方法。
12. 前記変換するステップで、制御信号をモノクロム・ビデオ信号に変換する、請求項８記載の方法。
13. 濾波済み画像データにおけるエッジ・アクティビティ（ｅｄｇｅ ａｃｔｉｖｉｔｙ）を画像が白黒で表す、請求項８記載の方法。
14. 制御信号が統計的関数を表す、請求項８記載の方法。
15. 統計的関数が画像データの少なくとも一部の局所分散（ｌｏｃａｌ ｖａｒｉａｎｃｅ）である、請求項８記載の方法。
16. 前記一部が前記画像データの画素グループである、請求項１５記載の方法。
17. 画像データの処理に使用する方法であって、
    画像データを濾波し、少なくとも１つのフィルタ制御信号の少なくとも１つの値に従い濾波済み画像データを供給するステップと、
    前記少なくとも１つのフィルタ制御信号をビデオ信号に変換するステップと、
    ビデオ信号を表す画像を表示するステップと、
    前記表示画像に応答し、少なくとも１つのフィルタ制御信号の少なくとも１つの値を調節するステップと、から成る、前記方法。
18. 前記調節するステップで、前記表示画像の平均輝度レベルと所定の平均輝度レベルを比較する、請求項１７記載の方法。
19. 画像データを処理するサーバ（ｓｅｒｖｅｒ）であって、
    画像データを濾波し、濾波済み画像データを供給するフィルタと、
    フィルタの少なくとも１つの制御信号をビデオ信号に変換するビデオ変換器と、
    ビデオ信号を表す画像を表示するディスプレイと、から成る、前記サーバ。
20. 前記ディスプレイが、濾波済み画像データも表示する、請求項１９記載のサーバ。
21. 画像データを受信する受信機と、
    受信した画像データを濾波し画像データから雑音を除去するビデオ処理要素において、該ビデオ処理要素はフィルタ・プレビュー要素を含み、該ビデオ処理要素内で制御信号を表すビデオ信号を供給する、前記ビデオ処理要素と、
    ビデオ信号を表す画像を表示するディスプレイにおいて、雑音が画像データから除去されているのを前記画像が視覚的に表示する、前記ディスプレイと、から成る、ビデオ・プロセッサ。
22. 画像データを濾波して、濾波済み画像データおよびフィルタ制御信号を供給するためのフィルタと、
    フィルタ制御信号をビデオ信号に変換するビデオ変換器と、
    前記ビデオ信号を表す画像を表示するディスプレイと、から成る、装置
23. 前記フィルタとビデオ変換器とディスプレイに結合されて、モード制御信号に応答し、濾波済み画像データまたはビデオ信号を前記ディスプレイに結合させるマルチプレクサを更に具える、請求項２２記載の装置。
24. 前記フィルタがＬｅｅフィルタであり、前記制御信号が前記画像データの少なくとも一部の局所分散の尺度となる、請求項２２記載の装置。
25. プロセッサをベースとするシステムのためにコンピュータで実行できる命令を有する、コンピュータで読み出される媒体（メディア）であって、前記システムは、ユーザ・インタフェースを提供するために、
    画像データの処理に使用する複数の表示モードのうち１つの選択を可能にするステップにおいて、前記複数の表示モードの少なくとも１つは画像データ内で雑音の濾波が行われていることを表示する、前記選択を可能にするステップと、
    画像データ内で雑音の濾波に使用する少なくとも１つのフィルタ制御信号の調節を可能にするステップと、から成る方法を実行する、前記コンピュータで読み出される媒体。

Images