JP2008527861A - 散在カラー・ディジタル画像のノイズ除去 - Google Patents
散在カラー・ディジタル画像のノイズ除去 Download PDFInfo
- Publication number
- JP2008527861A JP2008527861A JP2007550504A JP2007550504A JP2008527861A JP 2008527861 A JP2008527861 A JP 2008527861A JP 2007550504 A JP2007550504 A JP 2007550504A JP 2007550504 A JP2007550504 A JP 2007550504A JP 2008527861 A JP2008527861 A JP 2008527861A
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital
- digital image
- noise
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 206010047571 Visual impairment Diseases 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
散在カラー・ディジタル原画像からノイズを除去する方法は、散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;散在カラー・ディジタル原画像から、解像度が輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;輝度ディジタル画像とそれぞれのクロミナンス・ディジタル画像のノイズを除去するステップと;ノイズが除去された輝度ディジタル画像と、ノイズが除去されたクロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含んでいる。
Description
本発明は、全体としてディジタル画像処理に関するものであり、特に、散在カラー・ディジタル画像のノイズ軽減に関する。
ディジタル・カメラは、一般に、画素と呼ばれる個別の光検出ユニットが二次元アレイになった単一のセンサーを用いて画像データを取得する。画素は、情景に関するフル-カラー情報を記録するために3つまたは4つの異なるグループに分割されていて、それぞれのグループは、原色セットの中の特定の1つのカラー・フィルタで覆われている。このような場合に現在使用される最も一般的な原色セットは、おそらく、赤-緑-青(RGB)である。センサー上でそれに対応するRGBカラー・フィルタの最も一般的な配置は、いわゆるベイヤー・パターン(図9)である。このパターンがセンサーの全表面に碁盤目状に配置され、すべての画素が、赤画素、緑画素、青画素のいずれかになる。
このようなカラー・フィルタ・アレイ(CFA)を用いる結果として、センサーから受け取る生データは、センサーの画素アレイの最大解像度よりも低い解像度でサンプリングされる3つの独立したカラー・チャネルまたはカラー・プレーンで構成されることになる。その後に実施される一連の画像処理操作の課題は、通常、十分に処理された最大解像度の3つのカラー・チャネルからなる画像を生成させることである。画像処理における1つの操作は、ノイズ除去またはノイズ軽減である。
3チャネルのフル-カラー画像が生のセンサー原画像データから生成されると、その画像データに対して任意の数の既存のノイズ軽減法を適用することができる。画像のフル-カラー表示はよく知られており、画像処理の分野でよく研究されている。しかし単一面の生CFAセンサー画像データはディジタル・カメラに独自の表示であり、同様に確立されている知識体系はない。
CFA画像データのノイズを除去する多数の方法が知られている。これらの方法はすべて、センサーによって生成される生RGB画像データの直接クリーニングの範疇に入る。Gindeleらは、アメリカ合衆国特許第6,625,325号において、近傍にある1つの画素内の画像の詳細に反応する異方性ノイズ軽減カーネルを用いたCFA画像データのノイズ除去法を提示している。Acharyaらは、アメリカ合衆国特許第6,229,578号の中で、近傍にある1つの画素のエッジに反応する方向性低域通過(ぼかし)カーネルを用いたCFA画像データのノイズ除去法について記載している。Kalevoらは、アメリカ合衆国特許公開2003/0091232の中で、やはり近傍にある1つの画素のエッジに反応する方向性ぼかしカーネルを用いたCFA画像データのノイズ除去法を明らかにしている。Acharyaらは、方向性のある処理を行なうのに異なる色のCFA画素値を混合していないのに対し、Kalevoらは、異なるCFAカラーの隣接した画素間に違いがあることを方向性のある処理の指針にしている。
RGB色空間ではなく、輝度-クロミナンス色空間において画像のノイズ除去を実施するほうが明らかに有利であることはよく知られている。この別の画像表示法により、空間的に重要な輝度画像情報と色彩的に重要なクロミナンス画像情報を別々に処理することが可能になる。例えば輝度-クロミナンス表示では、輝度チャネルに含まれる重要な高周波エッジと詳細なテクスチャに影響を与えることなくクロミナンス・チャネルに対して強力なノイズ除去を実施することができる。残念なことに、CFA画像データは、それぞれのカラー・チャネルに関する最高解像度のデータを含んでいないため、センサーで検出した生のRGBデータから輝度-クロミナンス・データに直接変換することはできない。そのためCFA画像データに対する輝度-クロミナンス・ノイズ除去法の利点を直接利用することはできない。
本発明の目的は、散在カラー・ディジタル画像のノイズ除去法を提供することである。
この目的は、散在カラー・ディジタル原画像からノイズを除去する方法であって、
(a)上記散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;
(b)上記散在カラー・ディジタル原画像から、解像度が上記輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;
(c)上記輝度ディジタル画像とそれぞれの上記クロミナンス・ディジタル画像のノイズを除去するステップと;
(d)ノイズが除去された上記輝度ディジタル画像と、ノイズが除去された上記クロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含む方法によって達成される。
(a)上記散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;
(b)上記散在カラー・ディジタル原画像から、解像度が上記輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;
(c)上記輝度ディジタル画像とそれぞれの上記クロミナンス・ディジタル画像のノイズを除去するステップと;
(d)ノイズが除去された上記輝度ディジタル画像と、ノイズが除去された上記クロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含む方法によって達成される。
本発明の1つの特徴は、散在カラー・ディジタル画像の輝度成分とクロミナンス成分のノイズを減らすための計算効率のよい方法が提供されることである。
散在カラー・ディジタル原画像を輝度画像とクロミナンス画像に分解した後、そのそれぞれのノイズを減らすことにより、ノイズを著しく軽減できることが見いだされた。
本発明の別の特徴は、CFA画像データのノイズ除去に関し、輝度-クロミナンス空間におけるノイズ除去と同じ利点と結果を持つ方法が提供されることである。
以下の説明では、通常はソフトウエア・プログラムとして実現されるであろう本発明の好ましい一実施態様について説明する。当業者であれば、このようなソフトウエアの等価物をハードウエアの中に構成できることも容易に理解できよう。画像を処理するアルゴリズムとシステムはよく知られているため、ここでは、特に、本発明のシステムと方法の一部を構成するアルゴリズムとシステム、または本発明のシステムと方法とより直接的に協働するアルゴリズムとシステムを説明することにする。このようなアルゴリズムとシステムの別の側面と、それに関係する画像信号の生成または処理のためのハードウエアおよび/またはソフトウエアは、この明細書に特に提示も説明もしていないが、従来技術で知られているシステム、アルゴリズム、部品、素子の中から選択することができる。以下に説明する本発明のシステムが与えられた場合に本発明の実現に役立つソフトウエアは、この明細書に特に提示も、示唆も、説明もしていないが、従来からある一般的なものであり、当業者の知識の範囲内である。
さらに、この明細書では、コンピュータ・プログラムは、コンピュータ可読記憶媒体の中に記憶させることができる。コンピュータ可読記憶媒体としては、例えば、磁気ディスク(ハード・ドライブやフロッピー(登録商標)・ディスクなど)や磁気テープなどの磁気記憶媒体;光学的記憶媒体(例えば光ディスク、光テープ、機械で読むことのできるバー・コード);固体電子記憶装置(例えばランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM));コンピュータ・プログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。
本発明を説明する前に、好ましいことによく知られた任意のコンピュータ・システム(例えばパーソナル・コンピュータ)で本発明を利用できることに注目すると、本発明の理解が容易になることに注意されたい。したがってこの明細書では、コンピュータ・システムについては詳細に説明しない。画像は(例えばディジタル・カメラによって)コンピュータ・システムに直接入力されるか、(例えばハロゲン化銀フィルムなどの原版を走査することによって)ディジタル化した後にコンピュータ・システムに入力されることに注目することも有益である。
図1を参照すると、本発明を実現するためのコンピュータ・システム110が示してある。コンピュータ・システム110は好ましい一実施態様を説明するために示してあるが、本発明が図示したコンピュータ・システム110に限定されることはなく、ホーム・コンピュータ、キオスク、小売や卸の写真仕上げ店などに見られる電子式処理システムや、ディジタル画像を処理するための他の任意のシステムで使用できる。コンピュータ・システム110は、ソフトウエア・プログラムを収容していて、そのソフトウエア・プログラムによる処理を行なうとともに、他の処理機能も実行するマイクロプロセッサをベースとしたユニット112を備えている。ディスプレイ114がマイクロプロセッサをベースとしたユニット112に電気的に接続されていて、例えばグラフィカル・ユーザー・インターフェイスによってそのソフトウエアに関係したユーザー関連情報を表示する。キーボード116もマイクロプロセッサをベースとしたユニット112に接続されていて、ユーザーがソフトウエアに情報を入力することができる。従来技術でよく知られているように、入力にキーボード116を使用する代わりにマウス118を用いてディスプレイ114上のセレクタ120を移動させ、そのセレクタ120を重ね合わせたアイテムを選択することもできる。
コンパクト・ディスク-読み出し専用メモリ(CD-ROM)124(一般にその中にソフトウエア・プログラムが収容されている)をマイクロプロセッサをベースとしたユニット112に挿入し、そのソフトウエア・プログラムを入力する手段とそれ以外の情報とをマイクロプロセッサをベースとしたユニット112に供給する。さらに、フロッピー(登録商標)・ディスク126にソフトウエア・プログラムを収容することもでき、その場合にはフロッピー(登録商標)・ディスクをマイクロプロセッサをベースとしたユニット112に挿入してソフトウエア・プログラムを入力する。CD-ROM124またはフロッピー(登録商標)・ディスク126は、マイクロプロセッサをベースとしたユニット112に接続された外付けディスク・ドライブ・ユニット122に挿入することもできる。さらに、従来技術でよく知られているようにマイクロプロセッサをベースとしたユニット112にプログラムして内部にソフトウエア・プログラムを記憶させることもできる。マイクロプロセッサをベースとしたユニット112は、外部ネットワーク(例えばローカル・エリア・ネットワークやインターネット)へのネットワーク接続線127(例えば電話線)も備えることができる。プリンタ128をマイクロプロセッサをベースとしたユニット112に接続してコンピュータ・システム110からの出力のハードコピーをプリントすることもできる。
画像は、電子的な形態のディジタル化画像を収容しているパーソナル・コンピュータ・カード(PCカード)130(例えば以前から知られている(パーソナル・コンピュータ・メモリ・カード国際協会の仕様に基づく)PCMCIAカード)を通じてディスプレイ114に表示することもできる。PCカード130は最終的にマイクロプロセッサをベースとしたユニット112に挿入され、ディスプレイ114上に画像を表示することができる。あるいはPCカード130は、マイクロプロセッサをベースとしたユニット112に接続された外付けPCカード読み取り機132に挿入することもできる。画像は、CD-ROM124、またはフロッピー(登録商標)・ディスク126、またはネットワーク接続線127を通じて入力することもできる。PCカード130、フロッピー(登録商標)・ディスク126、CD-ROM124のいずれかに記憶されたあらゆる画像、またはネットワーク接続線127を通じて入力されるあらゆる画像は、さまざまな供給源(例えばディジタル・カメラ(図示せず)やスキャナー(図示せず))から取得しておくことができる。画像は、マイクロプロセッサをベースとしたユニット112に接続されたカメラ・ドッキング・ポート136を通じてディジタル・カメラ134から直接入力すること、または接続ケーブル138を通じてディジタル・カメラ134からマイクロプロセッサをベースとしたユニット112に直接入力すること、または無線接続140を通じてマイクロプロセッサをベースとしたユニット112に入力することもできる。
本発明によれば、アルゴリズムをこれまでに挙げた任意の記憶装置に記憶させて画像に適用し、画像のノイズを減らすことができる。
図2を参照すると、ブロック10は、カラー・フィルタ・アレイ(CFA)原画像を表わしている。好ましい実施態様では、この画像のデータは、図9のCFAパターン(いわゆるベイヤー・パターン)に配列されていると仮定する。しかし当業者にとって、本発明を他のRGB CFAパターンで利用できることは明らかなはずである。第1の操作は、CFA画像の緑画素に対してメディアン・フィルタ操作を実施すること12(図2)である。図3に、このメディアン・フィルタ操作に使用する近傍画素を示してある。図3で斜線をかけた各画素は緑画素であり、斜線をかけた中央の画素が、フィルタ操作の対象となる画素である。中央値は、図3に矢印で示してあるように、4通りの3×1個の近傍画素に関して計算される。中央の緑画素の画素値は、この中央の緑画素の元の画素値に最も近い中央値で置き換えられる。
再び図2に戻ると、次の操作は、緑チャネルを内挿すること14である。この操作により、欠けている緑画素値の推定値を生成させる。図4に、この内挿操作で使用される互いに隣接した2つの画素の近傍画素が示してある。図4で斜線をかけた各画素は、緑画素である。(斜線をかけていない)非緑画素の緑画素値は最初はゼロに設定してあると仮定する。緑チャネル全体が以下の畳み込みカーネルを用いて畳み込まれる。
図4の画素Aを中心とした近傍画素の場合、この操作により、画素Aに存在している緑画素値のノイズが除去される。図4の画素Bを中心とした近傍画素の場合、この操作により、画素Bに欠けている緑画素値の推定値が提供される。
再び図2に戻ると、次の操作は、内挿された緑チャネルに対してメディアン・フィルタ操作を行なうこと16である。図5に、このフィルタ操作に用いる近傍画素を示してある。この時点では、図5の全画素が緑画素値を持っている。ブロック12の操作と同様、緑画素値の中央値は、図5に矢印で示してあるように、4通りの3×1個の近傍画素に関して計算される。中央の画素の緑画素値は、この中央の画素の元の画素値に最も近い中央値で置き換えられる。
再び図2に戻ると、次の操作は、CFA画像をRGB色計量からGCrCb色計量に変換することである18。それぞれの赤画素値は、以下の式:
Cr = (R - G)/2
によってCr値に変換される。ただしRは赤画素値であり、Gは、所定の赤画素の位置での緑画素値である。それぞれの青画素値は、以下の式:
Cb = (B - G)/2
によってCb値に変換される。ただしBは青画素値であり、Gは、所定の青画素の位置での緑画素値である。
Cr = (R - G)/2
によってCr値に変換される。ただしRは赤画素値であり、Gは、所定の赤画素の位置での緑画素値である。それぞれの青画素値は、以下の式:
Cb = (B - G)/2
によってCb値に変換される。ただしBは青画素値であり、Gは、所定の青画素の位置での緑画素値である。
ブロック18が終了すると、得られたCr値とCb値をぼかす20。図7に、ブロック20の詳細なダイヤグラムが示してある。CrチャネルとCbチャネルを分解し(ブロック30)、6つの基本画像と5つの残像からなる標準的なラプラシアン・ピラミッド表示にする。このようなピラミッド分解法の詳細な説明に関しては、Adamsらによって「ピラミッド分解を利用したカラー・ディジタル画像のノイズ軽減」という名称で2003年12月17日に出願されて譲受人に譲渡されたアメリカ合衆国特許出願シリアル番号第10/738,658号を参照のこと(その開示内容は、参考としてこの明細書に組み込まれているものとする)。次に、ピラミッド画像成分に対してノイズ除去を行なう32。図8に、ブロック32の詳細なダイヤグラムを示してある。残像と最低解像度の基本画像に対し、まず最初に、図2のブロック16で用いたのと同様の方法によりメディアン・フィルタ操作を実施する(ブロック36)。次に、解像度が最大の3つの残像に対して方向性のあるぼかし操作を実施する38。図6に、ブロック38で用いる近傍画素を示してある。ぼかしたCr値とCb値は、図6に矢印で示した4通りの7×1個の近傍画素に関して計算される。(図6には、緑画素と青画素の位置を除去したCrプレーン、または緑画素と赤画素の位置を除去したCbプレーンが示してある。)この操作で用いるぼかしカーネルは、
(1/64)×(5 8 12 14 12 8 5)
である。さらに、以下のカーネル:
(1/64)×(-5 -8 -12 50 -12 -8 -5)
を用いて分類値をそれぞれの7×1個の近傍画素に関して計算する。図6の近傍画素の中心におけるCr値とCb値は、分類値の絶対値が最小である近傍画素に対応するぼかした7×1個の値で置き換えられる。
(1/64)×(5 8 12 14 12 8 5)
である。さらに、以下のカーネル:
(1/64)×(-5 -8 -12 50 -12 -8 -5)
を用いて分類値をそれぞれの7×1個の近傍画素に関して計算する。図6の近傍画素の中心におけるCr値とCb値は、分類値の絶対値が最小である近傍画素に対応するぼかした7×1個の値で置き換えられる。
再び図7に戻ると、ノイズが除去されたピラミッド成分を用い、ぼかしたCrCb値を持つ最大解像度の画像を再構成する34。これは、標準的なラプラシアン・ピラミッドの再構成法である。この方法の詳細な説明に関しては、上に引用したアメリカ合衆国特許出願シリアル番号第10/738,658号を参照のこと。
再び図2に戻ると、ここで緑チャネルをシャープにする22。これは、緑チャネルを以下のカーネルを用いて畳み込むことによって実現される。
このシャープ化操作の後に、GCrCb値を変換してRGBに戻す操作が続く24。それぞれのCr値は、以下の式:
R = 2Cr + G
を用いて変換され、それぞれのCb値は、以下の式:
B = 2Cb + G
を用いて変換される。
R = 2Cr + G
を用いて変換され、それぞれのCb値は、以下の式:
B = 2Cb + G
を用いて変換される。
最終ステップは、ベイヤー・デシメーションを利用して画像ブロックをCFA画像形式に変換すること26である。これは、内挿した緑画素値を捨て、画像内に得られる各画素が緑画素値、赤画素値、青画素値のいずれかからなるようにすることによって実現される。すでに説明したように、得られる画像データは、図9に示したように表示されることになろう。この方法による結果は、ノイズが除去されたCFA画像28である(図2)。
本発明の好ましい実施態様に開示したノイズ軽減アルゴリズムは、ユーザーのさまざまな文脈と環境で利用することができる。文脈と環境の例として、卸ディジタル写真仕上げ操作(フィルム導入、ディジタル処理、プリント出力といった処理ステップまたは処理段階が含まれる)、小売ディジタル写真仕上げ操作(フィルム導入、ディジタル処理、プリント出力)、自宅でのプリント操作(自宅で走査したフィルムまたはディジタル画像、ディジタル処理、プリント出力)、デスクトップ・ソフトウエア(アルゴリズムをディジタル印刷に適用してそのディジタル印刷をよりよくしたり、変更しさえするソフトウエア)、ディジタル処理(媒体またはウェブ上のディジタル画像の取り込み、ディジタル処理、媒体またはウェブへのディジタル形態での画像出力、またはハード-コピー印刷)、キオスク(ディジタル入力または走査したものの入力、ディジタル処理、ディジタル出力または走査したものの出力)、携帯装置(例えば、処理ユニット、ディスプレイ・ユニット、処理の指示を与えるユニットとして使用できるPDAや携帯電話)、ワールド・ワイド・ウェブを通じて提供されるサービスなどがある。
それぞれの場合に、このアルゴリズムは、単独で使用すること、またはより大きなシステム・ソリューションの要素にすることができる。さらに、アルゴリズムとのいろいろなインターフェイス(例えば走査または入力、ディジタル処理、ユーザーに対する表示(必要な場合)、ユーザーの要求または処理命令の入力(必要な場合)、出力)は、それぞれ、同じ装置および物理的位置にあっても、異なった装置および物理的位置にあってもよく、装置間および位置間の通信は、公的または私的なネットワーク接続線を通じて、またはメディアをベースとした通信を通じて行なうことができる。本発明に関する上記の開示内容と整合性が取れているのであれば、アルゴリズムそのものを完全に自動化すること、またはアルゴリズムそのものにユーザーが(完全に手作業で、または一部手作業で)入力すること、またはユーザーまたはオペレータが見て結果を受け入れる/拒絶すること、またはアルゴリズムそのものがメタデータからのアシストを受けること(メタデータは、ユーザーが供給すること、または(例えばカメラの中にある)測定装置が供給すること、または別のアルゴリズムによって決定することができる)ができる。さらに、アルゴリズムは、多彩なワークフロー・ユーザー・インターフェイス・スキームとのインターフェイスになることが可能である。
この明細書に開示した本発明のアルゴリズムは、さまざまなデータ検出法とデータ軽減法(例えば顔検出、目検出、皮膚検出、フラッシュ検出)を利用した内部コンポーネントを備えることができる。
コンピュータ・プログラム製品は、1つ以上の記憶媒体を備えることができる。記憶媒体としては、例えば、磁気記憶媒体(磁気ディスク(フロッピー(登録商標)・ディスクなど)、磁気テープなど);光学的記憶媒体(光ディスク、光テープ、機械で読むことのできるバー・コードなど);固体電子記憶装置(ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)など);本発明の方法を実施する1つ以上のコンピュータを制御するための命令を含むコンピュータ・プログラムの記憶に用いられる他の任意の物理的な装置または媒体などがある。
10 CFA画像
12 緑CFA画素に対するメディアン・フィルタ操作
14 緑チャネルを内挿する操作
16 内挿された緑プレーンに対するメディアン・フィルタ操作
18 GCrCbに変換する操作
20 CrCbをぼかす操作
22 緑チャネルをシャープにする操作
24 RGBに変換する操作
26 緑チャネルに対してベイヤー・デシメーションを実施する操作
28 ノイズが除去されたCFA画像
30 ピラミッド分解する操作
32 ピラミッド成分のノイズを除去する操作
34 ピラミッドを再構成する操作
36 ピラミッド成分に対するメディアン・フィルタ操作
38 ピラミッド成分に対する方向性のあるぼかし操作
110 コンピュータ・システム
112 マイクロプロセッサをベースとしたユニット
114 ディスプレイ
116 キーボード
118 マウス
120 ディスプレイ上のセレクタ
122 ディスク・ドライブ・ユニット
124 コンパクト・ディスク-読み出し専用メモリ(CD-ROM)
126 フロッピー(登録商標)・ディスク
127 ネットワーク接続線
128 プリンタ
130 パーソナル・コンピュータ・カード(PCカード)
132 PCカード読み取り機
134 ディジタル・カメラ
136 カメラ・ドッキング・ポート
138 接続ケーブル
140 無線接続
12 緑CFA画素に対するメディアン・フィルタ操作
14 緑チャネルを内挿する操作
16 内挿された緑プレーンに対するメディアン・フィルタ操作
18 GCrCbに変換する操作
20 CrCbをぼかす操作
22 緑チャネルをシャープにする操作
24 RGBに変換する操作
26 緑チャネルに対してベイヤー・デシメーションを実施する操作
28 ノイズが除去されたCFA画像
30 ピラミッド分解する操作
32 ピラミッド成分のノイズを除去する操作
34 ピラミッドを再構成する操作
36 ピラミッド成分に対するメディアン・フィルタ操作
38 ピラミッド成分に対する方向性のあるぼかし操作
110 コンピュータ・システム
112 マイクロプロセッサをベースとしたユニット
114 ディスプレイ
116 キーボード
118 マウス
120 ディスプレイ上のセレクタ
122 ディスク・ドライブ・ユニット
124 コンパクト・ディスク-読み出し専用メモリ(CD-ROM)
126 フロッピー(登録商標)・ディスク
127 ネットワーク接続線
128 プリンタ
130 パーソナル・コンピュータ・カード(PCカード)
132 PCカード読み取り機
134 ディジタル・カメラ
136 カメラ・ドッキング・ポート
138 接続ケーブル
140 無線接続
Claims (10)
- 散在カラー・ディジタル原画像からノイズを除去する方法であって、
(a)上記散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;
(b)上記散在カラー・ディジタル原画像から、解像度が上記輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;
(c)上記輝度ディジタル画像とそれぞれの上記クロミナンス・ディジタル画像のノイズを除去するステップと;
(d)ノイズが除去された上記輝度ディジタル画像と、ノイズが除去された上記クロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含む方法。 - 上記クロミナンス・ディジタル画像を、上記輝度ディジタル画像と上記散在カラー・ディジタル原画像の色の差から生成させる、請求項1に記載の方法。
- 上記輝度ディジタル画像のノイズを除去する上記ステップに、方向性メディアン・フィルタを利用する操作が含まれる、請求項1に記載の方法。
- 上記クロミナンス・ディジタル画像のノイズを除去する上記ステップに、方向性ぼかしカーネルを利用する操作が含まれる、請求項1に記載の方法。
- カラー画素を有するディジタル・カメラのカラー・フィルタ・アレイから提供される散在カラー・ディジタル原画像を処理してノイズが除去された散在カラー・ディジタル画像を生成させる方法であって、
(a)上記散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;
(b)上記散在カラー・ディジタル原画像から、解像度が上記輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;
(c)少なくとも1つのクロミナンス・ディジタル画像のノイズを除去するステップと;
(d)上記輝度ディジタル画像と、ノイズが除去された上記クロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含む方法。 - 上記クロミナンス・ディジタル画像を、上記輝度ディジタル画像と上記散在カラー・ディジタル原画像の色の差から生成させる、請求項5に記載の方法。
- 上記クロミナンス・ディジタル画像のノイズを除去する上記ステップに、方向性ぼかしカーネルを利用する操作が含まれる、請求項5に記載の方法。
- カラー画素を有するディジタル・カメラのカラー・フィルタ・アレイから提供される散在カラー・ディジタル原画像を処理してノイズが除去された散在カラー・ディジタル画像を生成させる方法であって、
(a)上記散在カラー・ディジタル原画像から輝度ディジタル画像を生成させるステップと;
(b)上記散在カラー・ディジタル原画像から、解像度が上記輝度ディジタル画像よりも低い少なくとも1つの散在クロミナンス・ディジタル画像を生成させるステップと;
(c)上記輝度ディジタル画像のノイズを除去するステップと;
(d)ノイズが除去された上記輝度ディジタル画像と、上記クロミナンス・ディジタル画像とから、ノイズが除去された散在カラー・ディジタル画像を生成させるステップを含む方法。 - 上記クロミナンス・ディジタル画像を、上記輝度ディジタル画像と上記散在カラー・ディジタル原画像の色の差から生成させる、請求項8に記載の方法。
- 上記輝度ディジタル画像のノイズを除去する上記ステップに、方向性メディアン・フィルタを利用する操作が含まれる、請求項8に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/032,903 US20060152596A1 (en) | 2005-01-11 | 2005-01-11 | Noise cleaning sparsely populated color digital images |
PCT/US2006/000487 WO2006076227A1 (en) | 2005-01-11 | 2006-01-06 | Noise cleaning sparsely populated color digital images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008527861A true JP2008527861A (ja) | 2008-07-24 |
Family
ID=36571937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007550504A Pending JP2008527861A (ja) | 2005-01-11 | 2006-01-06 | 散在カラー・ディジタル画像のノイズ除去 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20060152596A1 (ja) |
EP (1) | EP1836679A1 (ja) |
JP (1) | JP2008527861A (ja) |
CN (1) | CN101103374A (ja) |
WO (1) | WO2006076227A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4395789B2 (ja) * | 2006-10-30 | 2010-01-13 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
US7844127B2 (en) * | 2007-03-30 | 2010-11-30 | Eastman Kodak Company | Edge mapping using panchromatic pixels |
US8594451B2 (en) * | 2007-03-30 | 2013-11-26 | Omnivision Technologies, Inc. | Edge mapping incorporating panchromatic pixels |
US20090244301A1 (en) * | 2008-04-01 | 2009-10-01 | Border John N | Controlling multiple-image capture |
US8130278B2 (en) * | 2008-08-01 | 2012-03-06 | Omnivision Technologies, Inc. | Method for forming an improved image using images with different resolutions |
US20100104178A1 (en) * | 2008-10-23 | 2010-04-29 | Daniel Tamburrino | Methods and Systems for Demosaicing |
US8345130B2 (en) | 2010-01-29 | 2013-01-01 | Eastman Kodak Company | Denoising CFA images using weighted pixel differences |
US8295631B2 (en) * | 2010-01-29 | 2012-10-23 | Eastman Kodak Company | Iteratively denoising color filter array images |
US8558913B2 (en) * | 2010-02-08 | 2013-10-15 | Apple Inc. | Capture condition selection from brightness and motion |
EP2579570B1 (en) * | 2010-06-07 | 2017-01-04 | Olympus Corporation | Signal processing device and still image generation method |
CN101895769B (zh) * | 2010-06-21 | 2011-11-30 | 清华大学 | 基于稀疏表示的视频差错隐藏方法和装置 |
JP5882576B2 (ja) | 2010-12-01 | 2016-03-09 | キヤノン株式会社 | 画像処理装置及び画像処理装置の制御方法、並びにプログラム |
CN102156964B (zh) * | 2011-03-31 | 2013-10-30 | 杭州海康威视数字技术股份有限公司 | 彩色图像去噪声的方法及其系统 |
US9251572B2 (en) * | 2013-07-26 | 2016-02-02 | Qualcomm Incorporated | System and method of correcting image artifacts |
DE102015109979B4 (de) | 2015-06-22 | 2017-04-06 | Jenoptik Optical Systems Gmbh | Verfahren zur Schachbrettinterpolation fehlender Farbinformationen von Bildelementen |
US12108168B1 (en) | 2021-12-09 | 2024-10-01 | Amazon Technologies, Inc. | Color filter array interpolation for RGB-IR image sensors |
US12035054B1 (en) * | 2021-12-09 | 2024-07-09 | Amazon Technologies, Inc. | Color filter array interpolation for RGB-IR image sensors |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE69329670T2 (de) * | 1992-09-14 | 2001-03-15 | Thomson Multimedia, Boulogne | Verfahren und Gerät zur Rauschminderung |
US6229578B1 (en) * | 1997-12-08 | 2001-05-08 | Intel Corporation | Edge-detection based noise removal algorithm |
US6625325B2 (en) * | 1998-12-16 | 2003-09-23 | Eastman Kodak Company | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel |
US6795586B1 (en) * | 1998-12-16 | 2004-09-21 | Eastman Kodak Company | Noise cleaning and interpolating sparsely populated color digital image |
JP3726653B2 (ja) * | 2000-07-27 | 2005-12-14 | ノーリツ鋼機株式会社 | 画像処理方法、画像処理装置および画像処理方法を実行するプログラムを記録した記録媒体 |
US6904169B2 (en) * | 2001-11-13 | 2005-06-07 | Nokia Corporation | Method and system for improving color images |
US7130485B2 (en) * | 2002-10-02 | 2006-10-31 | Eastman Kodak Company | Enhancing the tonal and color characteristics of digital images using expansive and compressive tone scale functions |
US7430334B2 (en) * | 2003-07-31 | 2008-09-30 | Hewlett Packard Development Company, L.P. | Digital imaging systems, articles of manufacture, and digital image processing methods |
US7257271B2 (en) * | 2003-12-17 | 2007-08-14 | Eastman Kodak Company | Noise reduction in color digital images using pyramid decomposition |
-
2005
- 2005-01-11 US US11/032,903 patent/US20060152596A1/en not_active Abandoned
-
2006
- 2006-01-06 CN CNA2006800020954A patent/CN101103374A/zh active Pending
- 2006-01-06 JP JP2007550504A patent/JP2008527861A/ja active Pending
- 2006-01-06 WO PCT/US2006/000487 patent/WO2006076227A1/en active Application Filing
- 2006-01-06 EP EP06717660A patent/EP1836679A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN101103374A (zh) | 2008-01-09 |
EP1836679A1 (en) | 2007-09-26 |
US20060152596A1 (en) | 2006-07-13 |
WO2006076227A1 (en) | 2006-07-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008527861A (ja) | 散在カラー・ディジタル画像のノイズ除去 | |
JP5260635B2 (ja) | パンクロマチック画像を用いたノイズ低減されたカラーの画像 | |
JP5156022B2 (ja) | パンクロマチックおよびカラーの画像のノイズ低減 | |
TWI430202B (zh) | 使用全色像素之銳化方法 | |
US7844127B2 (en) | Edge mapping using panchromatic pixels | |
JP5123212B2 (ja) | パンクロマチック画素及びカラー画素の補間 | |
US8594451B2 (en) | Edge mapping incorporating panchromatic pixels | |
EP1395041B1 (en) | Colour correction of images | |
US7257271B2 (en) | Noise reduction in color digital images using pyramid decomposition | |
US20080123997A1 (en) | Providing a desired resolution color image | |
JP2010537228A (ja) | パンクロ画素を使用する画素アスペクト比の補正 | |
US7430334B2 (en) | Digital imaging systems, articles of manufacture, and digital image processing methods | |
EP1083737A2 (en) | Removing color moire patterns from digital images having known chromaticities | |
Saito et al. | Demosaicing method using the extended color total-variation regularization |