JP2005303802A - 撮像装置および画像処理プログラム - Google Patents
撮像装置および画像処理プログラム Download PDFInfo
- Publication number
- JP2005303802A JP2005303802A JP2004119051A JP2004119051A JP2005303802A JP 2005303802 A JP2005303802 A JP 2005303802A JP 2004119051 A JP2004119051 A JP 2004119051A JP 2004119051 A JP2004119051 A JP 2004119051A JP 2005303802 A JP2005303802 A JP 2005303802A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- unit
- signal
- amount
- procedure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
【課題】 信号レベルのみならず動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置の提供。
【解決手段】 撮影された映像信号は前処理部103へ転送され、サンプリング、ゲイン増幅、A/D変換されて画像バッファ104へ転送される。画像バッファ104内の映像信号は、ノイズ推定部106へ転送される。ノイズ推定部106は、上記撮影条件、映像信号と基準ノイズモデルに基づき、ISO感度ごと、色信号ごとにノイズ量を算出する。算出されたノイズ量は、ノイズ低減部105へ転送される。ノイズ低減部105は、ノイズ推定部106で推定されたノイズ量に基づき、画像バッファ104内の映像信号に対してノイズ低減処理を行い、ノイズ低減処理後の映像信号を信号処理部108へ転送する。
【選択図】 図1
【解決手段】 撮影された映像信号は前処理部103へ転送され、サンプリング、ゲイン増幅、A/D変換されて画像バッファ104へ転送される。画像バッファ104内の映像信号は、ノイズ推定部106へ転送される。ノイズ推定部106は、上記撮影条件、映像信号と基準ノイズモデルに基づき、ISO感度ごと、色信号ごとにノイズ量を算出する。算出されたノイズ量は、ノイズ低減部105へ転送される。ノイズ低減部105は、ノイズ推定部106で推定されたノイズ量に基づき、画像バッファ104内の映像信号に対してノイズ低減処理を行い、ノイズ低減処理後の映像信号を信号処理部108へ転送する。
【選択図】 図1
Description
本発明は、撮像素子系に起因するランダムノイズ量を信号値レベル、ISO感度及び色信号など動的に変化する要因に基づいて推定することでノイズ成分のみを高精度に低減する撮像装置および画像処理プログラムに関するものである。
撮像素子とそれに付随するアナログ回路、およびA/Dコンバータから得られるデジタル化された信号中に含まれるノイズ成分は、固定パターンノイズとランダムノイズに大別できる。固定パターンノイズは、欠陥画素などに代表される主に撮像素子に起因するノイズである。一方、ランダムノイズは撮像素子およびアナログ回路で発生するものであり、ホワイトノイズ特性に近い特性を有する。
ランダムノイズに関しては、例えば特許文献1に示されるように、ノイズ量を信号レベルに対して関数化し、この関数から信号レベルに対するノイズ量を推定し、ノイズ量に基づきフィルタリングの周波数特性を制御する手法が開示されている。これにより、信号レベルに対して適応的なノイズ低減処理が行われることになる。
特許文献1では、ノイズ量をN、濃度値に変換した信号レベルをDとした場合にN=abcDで関数化していた。ここで、a,b,cは定数項であり、静的に与えられる。しかしながら、ノイズ量は撮影時の温度,露光時間,ゲインなどの要因により動的に変化する。すなわち、撮影時のノイズ量に合わせた関数化に対応することができず、ノイズ量の推定精度が劣るという問題があった。
本発明は、従来技術のこのような問題点に鑑みてなされたものであり、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置および画像処理プログラムを提供することを目的とする。また、ノイズ量を正確に推定するために、信号値レベル、ISO感度、及び色信号などの要素を取り込むと高精度の部品が必要となり、ハードウェア化に際してコストが嵩むことになる。本発明は、ノイズモデル簡略化処理を用いることで、ノイズ量の推定精度を保ちながらハードウェアの負担の軽減に対応する撮像装置および画像処理プログラムの提供を目的とする。
(1).上記目的を達成するために、本発明にかかる撮像装置は、撮像素子からのデジタル化された信号を処理する撮像装置において、
上記信号中のノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき画像処理を行う画像処理手段を有することを特徴とする。(1)の発明は、図1〜図16に示される第1、第2と第3の実施形態例が対応している。ノイズ推定手段は、図1及び図2に示されるノイズ推定部106、図3及び図4に示されるノイズ推定部1006、図5及び図6に示されるノイズ推定部5006が該当する。画像処理手段は、図1及び図2に示されるノイズ低減部105、図3〜図6に示されるノイズ低減部1005が該当する。
上記信号中のノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき画像処理を行う画像処理手段を有することを特徴とする。(1)の発明は、図1〜図16に示される第1、第2と第3の実施形態例が対応している。ノイズ推定手段は、図1及び図2に示されるノイズ推定部106、図3及び図4に示されるノイズ推定部1006、図5及び図6に示されるノイズ推定部5006が該当する。画像処理手段は、図1及び図2に示されるノイズ低減部105、図3〜図6に示されるノイズ低減部1005が該当する。
(1)の発明の好ましい適用例は、第1の実施形態例の図1に示されるノイズ推定部106、第2の実施形態例の図3に示されるノイズ推定部1006、及び第3の実施形態例の図5に示されるノイズ推定部5006によりノイズ量を推定し、推定されたノイズ量に基づき画像処理を行う撮像装置である。(1)の発明によれば、ノイズ量を正確に推定し、それに基づき画像処理を行う。このため、ノイズ量を正確に推定することで、高品位な画像を生成する画像処理を行うことができる。
(2).前記(1)のノイズ推定手段は、カラー撮像素子に対応する一つ以上の基準ノイズモデル及び補正係数に基づきISO感度および色信号ごとのノイズ量を算出する算出手段を有することを特徴とする。(2)の発明は、図1、図2、図5、図7、図10、図12〜図14に示される第1の実施形態例が対応している。カラー撮像素子に対応する算出手段は、図2に示されるブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ROM206、ノイズ乗算部205、制御部107が該当する。
(2)の発明の好ましい適用例は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ROM206、ノイズ乗算部205、制御部107からの情報に基づき、ノイズ量を算出するカラー撮像素子に対応する撮像装置である。(2)の発明は、カラー撮像素子に対応するISO感度及び色信号ごとにノイズ量を計算している。このため、ISO感度及び色信号ごとにノイズ量を計算することで、ノイズ量を正確に推定することが可能となる。
(3).前記(1)のノイズ推定手段は、白黒撮像素子に対応する基準ノイズモデル及び補正係数に基づきISO感度ごとのノイズ量を算出する算出手段を有することを特徴とする。(3)の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。白黒撮像素子に対応するノイズ量の算出手段は、第2の実施形態例の図4に示すブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ROM部2005、ノイズ乗算部2004、制御部1007が該当する。また、第3の実施形態例の図6に示すブロック信号抽出部2000、平均算出部2001、区間探索部6002、ノイズ補間部6003、ROM部6005、ノイズ乗算部6004、制御部5007が該当する。
(3)の発明の好ましい適用例は、第2の実施形態例において、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ROM部2005、ノイズ乗算部2004、制御部1007からの情報に基づきノイズ量を算出する白黒撮像素子に対応する撮像装置である。また、第3の実施形態例において、ブロック信号抽出部2000、平均算出部2001、区間探索部6002、ノイズ補間部6003、ROM部6005、ノイズ乗算部6004、制御部5007からの情報に基づきノイズ量を算出する白黒撮像素子に対応する撮像装置である。(3)の発明は、白黒撮像素子に対応するISO感度ごとにノイズ量を計算している。このように、ISO感度ごとにノイズ量を計算することで、ノイズ量を正確に推定することが可能となる。
(4).前記(1)の画像処理手段は、算出したノイズ量に対応しノイズ低減処理を行うノイズ低減手段を有することを特徴とする。(4)の発明は、図1〜図16に示される第1〜第3の実施形態例が対応している。ノイズ低減手段は、図1と図2のノイズ低減部105、図3と図4のノイズ低減部1005、及び図5と図6のノイズ低減部1005が該当する。
(4)の発明の好ましい適用例は、第1の実施形態例の図7のフィルタリング部300、第2の実施形態例の図8のフィルタリング部3000、及び第1の実施形態例の図9のフィルタリング部3000にてフィルタリング処理を行う撮像装置である。(4)の発明は、フィルタリング処理によりノイズ低減処理を行うものである。このため、ノイズ成分のみが除去され、それ以上の信号を原信号として保存される。また、ノイズのみが低減された高品位な画像が得られる。
(5).前記(1)の画像処理手段は、ノイズ低減した信号に対してエッジ強調を行うエッジ強調手段を有することを特徴とする。(5)の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。エッジ強調手段は、図3、図5のエッジ強調部1008が該当する。(5)の発明の好ましい適用例は、第2の実施形態例の図15のフィルタリング部7002及びエッジ制御部7003にてエッジ抽出及びエッジ強調処理を行う撮像装置である。(5)の発明は、エッジ抽出処理及びエッジ強調処理によりエッジの強調を行う。このため、エッジの部分が強調され、高品位な画像が得られる。
(6).前記(1)のノイズ推定手段は、異なる撮像素子に対応するための一つ基準ノイズモデル及び複数変換補正係数に基づきノイズ量を算出する算出手段を有することを特徴とする。(6)の発明は、図3、図4、図8、図11〜図13、図15〜図16に示される第2の実施形態例が対応している。異なる撮像素子に対応する基準ノイズモデルと変換補正係数を有することは、図5のCCD1002、撮像素子認識部1011及び図6のROM6005が該当する。
(6)の発明の好ましい適用例は、図5のCCD1002、撮像素子認識部1011及び図6のROM6005により異なる撮像素子に対応する基準ノイズモデルと変換補正係数を有する撮像装置である。(6)の発明は、異なる撮像素子に対応して基準ノイズモデル及び変換補正係数によりノイズ量を計算する。このように、異なる撮像素子に対応するための基準ノイズモデル及び変換補正係数を有することで、ノイズ量の算出精度を確保しながらハードウェアの負担を軽減することができる。
(7).前記(2)の補正係数は、基準ノイズモデルに基づき、他のISO感度及び色信号ごとにノイズ量を算出するための数値パラメータからなることを特徴とする。(7)の発明は、図1、図2、図7、図10、図12〜図14に示される第1の実施形態例が対応している。数値パラメータは、図2のROM206が該当する。(7)の発明の好ましい適用例は、図2のROM206に、他のISO感度及び色信号ごとにノイズ量を算出するための補正係数が保存されている撮像装置である。(7)の発明は、他のISO感度及び色信号ごとのノイズ量は補正係数から算出される。このように、他のISO感度及び色信号ごとのノイズ量は補正係数から算出されることにより、ハードウェアの負担が軽減できる。
(8).前記(2)の算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号を色フィルタごとに分離する分離手段と、上記分離された色フィルタごとに信号値レベルの平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする。
(8)の発明は、図1、図2、図7、図10、図12〜図14に示される第1の実施形態例が対応している。抽出手段は図2のブロック信号抽出部200が、分離手段は図2の色信号分離部201が、平均算出手段は図2の平均算出部202が、探索手段は図2の区間探索部203が、補間手段は、図2のノイズ補間部204が、算出手段は、図2のノイズ乗算部205がそれぞれ該当する。
(8)の発明の好ましい適用例は、図2の撮像装置である。この撮像装置は、ブロック信号抽出部200にてブロック信号を抽出し、色信号分離部201にて色信号を分離し、平均算出部202にて信号レベルの平均値を算出し、区間探索部203にて平均値が関数化された基準ノイズモデルのどの信号レベル(座標)にあるかを探索し、ノイズ補間部204にてノイズ量を算出し、ノイズ乗算部205にて所望ISO感度の色信号レベルごとのノイズ量を算出する
(8)の発明は、画像信号をブロック信号の抽出、色信号の分離、平均値の算出、平均値の信号レベル(座標)の探索、ノイズの補間及びノイズの補間結果と補正係数の乗算などの過程を通してノイズ量を算出する。このように、色信号ごと、ISO感度ごとにノイズ量を算出することで、ノイズ量の推定精度が高くなる。また、基準ノイズモデルに基づきノイズ量を算出することで、ハードの負担を軽減することができる。
(9).前記(3)の補正係数は、基準ノイズモデルに基づき、他のISO感度ごとにノイズ量を算出するための数値パラメータからなることを特徴とする。(9)の発明は、図3〜図6、図8、図9、図11〜図13、図15〜図16に示される第2と第3の実施形態例例が対応している。数値パラメータは、図4のROM部2005及び図6のROM部6005が該当する。
(9)の発明の好ましい適用例は、第2の実施形態例の図4のROM部2005及び第3の実施形態例の図6のROM部6005に、他のISO感度にノイズ量を算出するための補正係数が保存されている撮像装置である。(9)の発明は、他のISO感度ごとのノイズ量は補正係数から算出されるものである。このように、他のISO感度ごとのノイズ量は補正係数から算出されることで、ハードウェアの負担を軽減することができる。
(10).前記(3)の算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号の平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする。
(10)の発明は、図3〜図6、図8、図9図、図11〜図13、図15〜図16に示される第2と第3の実施形態例が対応している。信号ブロックの抽出手段は、図4と図6のブロック信号抽出部2000が、算出手段は、図4と図6の平均算出部2001が、探索手段は、図4の区間探索部2002と図6の区間探索部6002が、補間手段は、図4のノイズ補間部2003と図6のノイズ補間部6003が、所望のノイズ量算出手段は、図4のノイズ乗算部2004と図6のノイズ乗算部6004が該当する。
(10)の発明の好ましい適用例は、第2の実施形態例において、図4のブロック信号抽出部2000にてブロック信号を抽出し、平均算出部2001にて信号レベルの平均値を算出し、区間探索部2002にて平均値が関数化された基準ノイズモデルのどの位置(座標)にあるかを探索し、ノイズ補間部2003にてノイズ量を算出し、ノイズ乗算部2004にて所望ISO感度ごとのノイズ量を算出する撮像装置である。また、第3実施形態例において、図6のブロック信号抽出部2000にてブロック信号を抽出し、平均算出部2001にて信号レベルの平均値を算出し、区間探索部6002にて平均値が関数化された基準ノイズモデルのどの信号レベル(座標)にあるかを探索しノイズ補間部6003にてノイズ量を算出し、ノイズ乗算部6004にて所望ISO感度ごとのノイズ量を算出する撮像装置である。
(10)の発明は、画像信号をブロック信号の抽出、平均値の算出、平均値の位置(座標)の探索、ノイズの補間及びノイズの補間結果と補正係数の乗算などの過程を通してノイズ量を算出する。このように、ISO感度ごとにノイズ量を算出することで、ノイズ量の推定精度が高くなる。また、基準ノイズモデルに基づきノイズ量を算出することで、ハードの負担を軽減することができる。
(11).前記(2)または(3)の基準ノイズモデルは、信号値レベルに対するノイズ量を関数化した数値パラメータからなることを特徴とする。(11)の発明は、図1〜図14に示される第1〜第3の実施形態例が対応している。数値パラメータは、図2のROM206、図4のROM2005及び図6のROM6005が該当する。
(11)の発明の好ましい適用例は、第1の実施形態例における図2のROM部206、第2の実施形態例における図4のROM部2005、及び第3の実施形態例における図6のROM6005に基準ノイズモデルに対応する関数化した数値パラメータが保存されている撮像装置である。(11)の発明は、基準ノイズモデルに対応する信号値レベル対ノイズ量の関数化した数値パラメータがハードウェアに保存されている。このように、関数化した数値パラメータに対応している基準ノイズモデルを用いる事によって、ノイズ量を系統的で正確に推定することが可能となる。
(12).前記(11)の数値パラメータは少なくとも2点以上の代表点における信号値レベルとノイズ量の座標データおよび傾斜データからなることを特徴とする。(12)の発明は、図1〜図16に示される第1〜第3の実施形態例が対応している。代表点の座標データ及び傾斜データは、図2のROM206、図4のROM部2005及び図6図のROM6005が該当する。
(12)の発明の好ましい適用例は、第1の実施形態例における図2のROM部206、第2の実施形態例における図4のROM2005、及び第3の実施形態例における図6のROM6005に、数値パラメータとする代表点の座標データと傾斜データが保存されている撮像装置である。(12)の発明は、基準ノイズモデルに対応する数値パラメータが信号値レベル対ノイズ量の代表点の座標データと傾斜データから構成される。このように、信号値レベル対ノイズ量の代表点の座標データと傾斜データ少ないデータが基準ノイズモデルに対応できることで、ハードウェアの負担を軽減することができる。
(13).前記(2)または(3)の基準ノイズモデルは基準ノイズモデルが最高ISO感度に対応することを特徴とする。(13)の発明は、図1〜図16に示される第1〜第3の実施形態例に対応している。最高ISO感度に対応する基準ノイズモデルは、図2のROM206、図4のROM2005及び図6のROM6005が該当する。(13)の発明の好ましい適用例は、第1の実施形態例の図2のROM部206、第2の実施形態例の図4のROM2005及び第3の実施形態例の図6のROM6005に保存されている基準ノイズモデルが、最高ISO感度に対応する撮像装置である。(13)の発明は、基準ノイズモデルが最高ISO感度に対応する。このように、基準ノイズモデルが最高ISO感度に対応することで、高精度なノイズ量の推定が可能となる
(14).前記(2)または(3)の算出手段は、異なる撮像素子に対応した基準ノイズモデルと補正係数を複数有することを特徴とする。(14)の発明は、図3、図5、図9、図11〜図13、図16に示される第3の実施形態例が対応している。複数の基準ノイズモデルと補正係数を有することは、図6のROM6005が該当する。
(14)の発明の好ましい適用例は、図6のROM6005により対応する基準ノイズモデルと補正係数が決まるという異なる撮像素子に対応するために基準ノイズモデル及び補正係数を複数もつ撮像装置である。(14)の発明は、異なる撮像素子に対応して基準ノイズモデル及び補正係数が複数存在する。このように、異なる撮像素子に対応する基準ノイズモデル及び補正係数を複数有することで、異なる撮像素子のノイズ量の算出精度が確保できる。
(15).本発明の画像処理プログラムは、コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、色信号ごとに信号を読み出す手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の色信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、すべての色信号への操作が完了したかを判断する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる。
(15)の発明は、図14のフローチャートに対応する。(15)の発明によれば、カラー画像信号に対するノイズ低減処理をソフトウェアにより行うことができる。
(16).本発明の画像処理プログラムは、コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる。
(16)の発明は、図16のフローチャートに対応する。(16)の発明によれば、白黒画像信号に対するノイズ低減処理をソフトウェアにより行うことができる。
本発明においては、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置を提供することができる。また、ノイズモデル簡略化処理を用いることで、ノイズ量の推定精度を保ちながらハードウェアの負担を軽減することができる。
以下、本発明の実施形態例について図を参照して説明する。図1は第1の実施形態例の構成図、図2は第1の実施形態例におけるノイズ推定部の構成図、図7は第1の実施形態例におけるノイズ低減処理部の構成図、図10は信号レベル対ノイズ量の特性図、図12は信号レベル対ノイズ量を折れ線で近似した特性図、図13はノイズ量の補間処理を示す特性図、図14はノイズ低減処理のフローチャートである。
図1において、レンズ系100、ローパスフィルタ101、カラーフィルタ111を有するカラー用CCD102を介して撮影された映像は、前処理部103においてサンプリング、ゲイン増幅、A/D変換等の前処理が施さた後、画像バッファ104を介してノイズ低減部105へ転送される。ノイズ低減部105からの信号は、信号処理部108を経由してメモリカードなどの出力部109に送出されている。
また、画像バッファ104はノイズ推定部106へ接続されており、ノイズ推定部106はノイズ低減部105に接続されている。制御部107は、前処理部103、ノイズ推定部106、ノイズ低減部105、信号処理部108、出力部109に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部110も、制御部107に双方向に接続されている。
図1において、信号の流れを説明する。外部I/F部110を介してISO感度などの撮像条件を設定した後、シャッターを押すことで撮像する。レンズ系100、ローパスフィルタ101、カラーフィルタ111、CCD102を介して、撮影された映像信号は前処理部103へ転送される。前処理部103で、映像信号は前記のようにサンプリングされる。サンプリングされた映像信号は、さらにゲイン増幅され、A/D変換されて画像バッファ104へ転送される。
画像バッファ104内の映像信号は、ノイズ推定部106へ転送される。ノイズ推定部106へは、制御部107を介して外部I/F部110によるISO感度などの撮影条件も合わせて転送される。ノイズ推定部106は、上記撮影条件、映像信号と基準ノイズモデルに基づき、ISO感度ごと、色信号ごとにノイズ量を算出する。算出されたノイズ量は、ノイズ低減部105へ転送される。
ノイズ推定部106におけるノイズ量の算出は、制御部107の制御に基づきノイズ低減部105の処理と同期して行われる。ノイズ低減部105は、ノイズ推定部106で推定されたノイズ量に基づき、画像バッファ104内の映像信号に対してノイズ低減処理を行い、ノイズ低減処理後の映像信号を信号処理部108へ転送する。信号処理部108は、制御部107の制御に基づきノイズ低減後の映像信号に対して、公知の圧縮処理や強調処理などを行い、出力部109へ転送する。出力部109は、メモリカードなどの記録媒体へ信号を記録保存する。
図2は、ノイズ推定部106の構成の一例を示すものである。ノイズ推定部106は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ノイズ乗算部205、ROM206から構成される。画像バッファ104は、ブロック信号抽出部200に接続されている。制御部107は、ブロック信号抽出部200、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204、ノイズ乗算部205に双方向に接続されている。ブロック信号抽出部200は、色信号分離部201、平均算出部202、区間探索部203、ノイズ補間部204を介してノイズ乗算部205へ接続されている。また、ROM206は、区間探索部203、ノイズ補間部204、ノイズ乗算部205に接続されている。
ブロック信号抽出部200は、画像バッファ104から転送された映像信号からブロック信号を抽出し、色信号分離部201へ転送する。色信号分離部201は、ブロック信号抽出部200から転送されたブロック信号を色信号ごとに分離して、平均算出部202へ転送する。平均算出部202は、色信号分離部201から転送された分離映像信号を色信号ごとに平均値を算出して区間探索部203へ転送する。本発明においては、CCD102のノイズ特性に対応した基準ノイズモデルを具備している。
図10は、基準ノイズモデルの信号値レベル対ノイズ量の関連を示す特性図である。また、第12図は折れ線近似の形状で、基準ノイズモデルにおける信号値レベル対ノイズ量の関連を示している。基準ノイズモデルを代表する、信号値レベル対ノイズ量の代表点はROM206に保存されている。本例においては、基準ノイズモデルの信号値レベル(Level)対ノイズ量(Noise)の代表点、及び各代表点と代表点間の区間の向きを表す傾斜点(Slope)が、ROM206に保存されている。例えば、8点の代表点と7点の傾斜点の例を式(1)〜式(3)
Noise[8] = [N1, N2, N3, N4, N5, N6, N7, N8] (1)
Level[8] = [L1, L2, L3,L4, L5,L6,L7,L8] (2)
Slope[7] = [S1, S2, S3, S4, S5, S6, S7] (3)
に示す。
Noise[8] = [N1, N2, N3, N4, N5, N6, N7, N8] (1)
Level[8] = [L1, L2, L3,L4, L5,L6,L7,L8] (2)
Slope[7] = [S1, S2, S3, S4, S5, S6, S7] (3)
に示す。
ROM206には、また、ISO感度及び色信号ごとのノイズ量を計算するための補正係数(K)も保存されている。例えば、ISO感度が4種類、色信号がR、Gr、Gb、Bの4種類の例を式(4)
K[4][4] = [Kr1, Kgr1, Kgb1, Kb1 ISO = 100
Kr2, Kgr2, Kgb2, Kb2 ISO = 200
Kr3, Kgr3, Kgb3, Kb3 ISO = 300
Kr4, Kgr4, Kgb4, Kb4 ] ISO = 400 (4)
に示す。
K[4][4] = [Kr1, Kgr1, Kgb1, Kb1 ISO = 100
Kr2, Kgr2, Kgb2, Kb2 ISO = 200
Kr3, Kgr3, Kgb3, Kb3 ISO = 300
Kr4, Kgr4, Kgb4, Kb4 ] ISO = 400 (4)
に示す。
図2において、区間探索部203は、平均算出部202から転送された平均値をROM206中に保存されている代表点の信号値レベルと比較して、どの信号値レベル(座標)の間に属するかを探索する。ノイズ補間部204は、区間探索部203に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。図13は、ノイズ補間部204により、ある区間における線形補間処理を例示したものである。ノイズ乗算部205は、ノイズ補間部204からの補間結果とROM206に保存されている補正係数を用いて、制御部107から得られたあるISO感度における色信号ごとのノイズ量(NR)を式(5)
NR = K[ISO][color] * N (5)
(注:Nは図13中のNに対応している)
により算出する。算出されたノイズ量の結果はノイズ低減部105へ転送される。
NR = K[ISO][color] * N (5)
(注:Nは図13中のNに対応している)
により算出する。算出されたノイズ量の結果はノイズ低減部105へ転送される。
図7は、ノイズ低減部105の構成の一例を示すもので、フィルタリング部300、バッファ部301から構成される。画像バッファ104は、フィルタリング部300を介してバッファ部301へ接続されており、ノイズ推定部106は、フィルタリング部300に接続されている。制御部107は、フィルタリング300とバッファ部301に双方向に接続されている。バッファ部301は信号処理部108に接続されている。
フィルタリング部300は、画像バッファ104における映像信号に対して、ノイズ推定部106から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。
ノイズ低減処理は、ある位置の信号レベル(Rx)に対し、ノイズ量(NR)と平均値(Rav)を用いて、例えば式(6)
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav ― NR/2) → Rx' = Rx + NR/2 (6)
に示す演算を行う。ノイズ低減処理された映像信号Rx'はバッファ301へ保存される。
ノイズ低減処理は、ある位置の信号レベル(Rx)に対し、ノイズ量(NR)と平均値(Rav)を用いて、例えば式(6)
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav ― NR/2) → Rx' = Rx + NR/2 (6)
に示す演算を行う。ノイズ低減処理された映像信号Rx'はバッファ301へ保存される。
上記構成により、カラー撮像素子に対応して、信号値レベル、ISO感度、色信号などの動的に変化する要因に対応したノイズ量の推定が可能となる。これらの推定に基づき、ISO感度、色信号ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線近似または直線近似及び基準モデルから他のモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。本実施形態例により、カラー撮像素子に対応して、高精度なノイズ低減処理及びハードウェアの負担を軽減するノイズ低減処理が同時に実現可能となる。
なお、本実施形態例に対する好ましい一変形例として、ROM206内に基準モデルをRGB成分ごとに持つ方式が考えられる。この変形例では、ROM206内の補正係数はISO感度の違いに応じて用意される。ノイズ乗算部205では、各色成分ごとに別々の基準モデルから算出されたノイズ量にISO感度に応じた補正係数を乗じて、最終的なノイズ量を算出する。色成分ごとのノイズモデルが、単一の基準モデルと補正係数の組み合わせで近似できない場合でも、この方式であればより高精度にノイズ量を推定できる。
また、本実施形態例におけるノイズ低減処理は、ハードウェアにより実現しているが、同様の処理をソフトウェアにより行うことも可能である。図14は、ノイズ低減処理のソフトウェア処理に関するフローチャートである。Step1にて、撮像条件及び映像信号などの情報を読み込む。Step2にて注目画素を中心として所定のサイズ、例えば6x6画素単位を抽出する。Step3にて色信号ごとに信号を読み出し、Step4にて、指定した信号レベルの平均値を求める。Step5にて、ROMに保存しているノイズ量の補正係数、ノイズ量対信号レベルの代表点を抽出し、Step6にて基準ノイズモデルのどの位置に属するかを探索する。
Step7にて、基準ノイズモデルに基づき線形補間でノイズ量の補間を行い、Step8にて、ROMに保存されている補正係数を用いてあるISO感度のある色信号のノイズ量を算出する。Step9にて、フィルタリングでノイズ低減処理を行う。Step10にて、平滑化された信号をバッファに保存する。Step11にて、すべての色信号への操作が完了したかを判断し、完了していない場合はStep3へ、完了した場合はStep12へ移行する。Step12にて、全画素に対する処理が完了したかを判断し、完了していない場合はStep2へ、完了した場合は終了となる。
次に、第2の実施形態例について説明する。図3は第2の実施形態例の構成図、図4は第2の実施形態例におけるノイズ推定部の構成図、図8は第2の実施形態例のノイズ低減処理部の構成図、図11は複数の撮像素子に対応する信号レベル対ノイズ量を示す特性図、図13はノイズ量の補間処理を示す特性図、図15はエッジ強調部の構成図、図16はノイズ低減処理のフローチャートである。
図3において、レンズ系1000、ローパスフィルタ1001を有する白黒用CCD1002を介して撮影された映像は、前処理部1003によりサンプリング、ゲイン増幅、A/D変換等の前処理が施される。その後、画像バッファ1004を介してノイズ低減部1005へ転送される。ノイズ低減部1005からの信号は、エッジ強調部1008を経由してメモリカードなどの出力部1009に送出される。
また、画像バッファ1004はノイズ推定部1006へ接続されており、ノイズ推定部1006は、ノイズ低減部1005に接続されている。撮像素子認識部1011はCCD1002に接続されている。制御部1007は、前処理部1003、ノイズ推定部1006、ノイズ低減部1005、エッジ強調部1008、出力部1009、撮像素子認識部1011に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部1010も制御部1007に双方向に接続されている。
図3において、信号の流れを説明する。外部I/F部1010を介してISO感度などの撮像条件を設定した後、シャッターを押すことで撮像する。レンズ系1000、ローパスフィルタ1001、白黒用CCD1002を介して撮影された映像信号は、前処理部1003へ転送される。撮像素子認識部1011では、CCD1002を認識して撮像素子の情報を記録する。また、前処理部1003では、転送された映像信号はサンプリング処理される。サンプリング処理後に、ゲイン増幅され、A/D変換されて画像バッファ1004へ転送される。
画像バッファ1004内の映像信号は、ノイズ推定部1006へ転送される。ノイズ推定部1006へは、制御部1007を介して外部I/F部1010によるISO感度及び撮像素子認識部1011による撮像素子の情報などの撮影条件も合わせて転送される。ノイズ推定部1006は、上記撮像条件、映像信号と基準ノイズモデルに基づきISO感度ごとにノイズ量を算出する。算出されたノイズ量はノイズ低減部1005へ転送される。
ノイズ推定部1006におけるノイズ量の算出は、制御部1007の制御に基づきノイズ低減部1005の処理と同期して行われる。ノイズ低減部1005は、ノイズ推定部1006におけるノイズ量に基づき、画像バッファ1004内の映像信号に対してノイズ低減処理を行い、処理後の映像信号をエッジ強調部1008へ転送する。エッジ強調部1008は、制御部1007の制御に基づきノイズ低減後の映像信号に対して、エッジ強調を行い、出力部1009へ転送する。出力部1009は、メモリカードなどの記録媒体へ信号を記録保存する。
図4は、ノイズ推定部1006の構成の一例を示すものである。ノイズ推定部1006は、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004、ROM2005から構成される。画像バッファ1004は、ブロック信号抽出部2000に接続されている。制御部1007は、ブロック信号抽出部2000、平均算出部2001、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004に双方向に接続されている。
ブロック信号抽出部2000は、平均算出部2001、区間探索部2002、ノイズ補間部2003を介してノイズ乗算部2004へ接続されている。ROM2005は、区間探索部2002、ノイズ補間部2003、ノイズ乗算部2004に接続されている。ブロック信号抽出部2000は、画像バッファ1004から転送された映像信号からブロック信号を抽出し、平均算出部2001へ転送する。平均算出部2001は、ブロック信号抽出部2000から転送された映像信号の平均値を算出して区間探索部2002へ転送する。
本実施の形態例においては、第1の実施形態例と同じく基準ノイズモデルはひとつであるが、異なる撮像素子に対応するための補正係数が設けられている。そして、図3の撮像素子認識部1011により、使用されているCCD1002の撮像素子の種類を検出し、制御部1007を介して図4のROM2005内の補正係数(M)の中から撮像素子に対応するものを抽出する。例えば、3種類の素子に対応する補正係数の例を式(7)
M[3] = [M1, 撮像素子1
M2, 撮像素子2
M3 ] 撮像素子3 (7)
に示す。
M[3] = [M1, 撮像素子1
M2, 撮像素子2
M3 ] 撮像素子3 (7)
に示す。
基準ノイズモデルは、第1の実施の形態例と同様に、折れ線近似されたデータがROM2005に保存されている。具体的なデータ形式は、式(1)〜式(3)に示したように、信号値レベル対ノイズ量の代表点8点、及び各代表点と代表点間の区間の向きを表す傾斜点7点である。区間探索部2002は、平均算出部2001から転送された平均値を、ROM2005中に保存されている代表点の信号値レベルと比較して、どの信号値レベル(座標)に属するかを探索する。ノイズ補間部2003は、区間探索部2002における探索結果に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。
図13は、ある区間における線形補間処理の様子を例示したものである。また、ROM2005にはISO感度ごとのノイズ量を計算するための補正係数(K)も保存されている。例えば、4種類のISO感度に対応する補正係数の例を式(8)
K[4] = [K1, ISO = 100
K2, ISO = 200
K3, ISO = 300
K4 ] ISO = 400 (8)
に示す。
K[4] = [K1, ISO = 100
K2, ISO = 200
K3, ISO = 300
K4 ] ISO = 400 (8)
に示す。
ノイズ乗算部2004は、ノイズ補間部2003からの補間結果と、ROM2005に保存されている、CCD1002に対応した補正係数とISO感度ごとに対応した補正係数を用いて、制御部1007から得られた、ISO感度における信号ごとのノイズ量(NR)を式(9)
NR = M[撮像素子] * K[ISO] * N (9)
(注:Nは図13中のNに対応している)
に基づき算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
NR = M[撮像素子] * K[ISO] * N (9)
(注:Nは図13中のNに対応している)
に基づき算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
図8はノイズ低減部1005の構成の一例を示すものである。ノイズ低減部1005は、フィルタリング部3000、バッファ部3001から構成される。画像バッファ1004は、フィルタリング部3000を介してバッファ部3001へ接続しており、ノイズ推定部1006は、フィルタリング部3000に接続している。制御部1007は、フィルタリング3000とバッファ部3001に双方向に接続されている。バッファ部3001はエッジ強調部1008に接続されている。
フィルタリング部3000は、画像バッファ1004における映像信号に対して、ノイズ推定部1006から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。ノイズ低減処理は、ある位置の信号レベル(Rx)に対し、ノイズ量(NR)と平均値(Rav)を用いて式(10)
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav - NR/2) →Rx' = Rx + NR/2 (10)
に示した演算を行う。そして、ノイズ低減処理された映像信号Rx'をバッファ3001へ保存する。
If (Rx > Rav + NR/2) →Rx' = Rx - NR/2
If (Rav + NR/2 > Rx > Rav - NR/2) → Rx' = Rx
If (Rx < Rav - NR/2) →Rx' = Rx + NR/2 (10)
に示した演算を行う。そして、ノイズ低減処理された映像信号Rx'をバッファ3001へ保存する。
図15は、エッジ強調部1008の構成の一例を示すものである。エッジ強調部1008は、バッファー7001、フィルタリング部7002、エッジ制御部7003、ROM部7004から構成される。ノイズ低減部1005は、バッファー7001、フィルタリング部7002、エッジ制御部7003を介して出力部1009に接続されており、ROM7004は、フィルタリング部7002、エッジ制御部7003に接続されている。制御部1007は、バッファー7001、フィルタリング部7002、エッジ制御部7003に双方向に接続されている。
フィルタリング部7002は、制御部1007に基づき、バッファー7001における映像信号に対し、ROM7004からエッジ抽出処理に要するフィルタ係数を読み出させて公知のエッジ抽出処理を行う。エッジ制御部7003は、制御部1007に基づき、フィルタリング部7002から転送されてきた映像信号を用いて、ROM7004からエッジ強調用のフィルタ係数を読み出し、映像信号のエッジ部に対して公知のエッジ強調処理を行う。
上記構成により、種々のノイズ特性の異なる白黒撮像素子に対応し、さらに信号値レベル、ISO感度などの動的に変化する要因にも対応したノイズ量の推定が可能となる。これらの推定に基づき、撮像素子ごと、ISO感度ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線、線形などの簡略化処理及び基準モデルから撮像素子ごと、ISO感度ごとのモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。すなわち、本実施形態例により、異なる白黒撮像素子に対応して高精度なノイズ低減処理、及びハードウェアの負担を軽減する処理が同時に実現可能となる。
また、本実施形態例におけるノイズ低減処理は、ハードウェアにより実現しているが、同様の処理をソフトウェアにより行うことも可能である。図16は、ノイズ低減処理のソフトウェア処理に関するフローチャートである。Step21にて、撮像条件及び映像信号などの情報を読み込む。Step22にて注目画素を中心として所定のサイズ、例えば6x6画素単位を抽出する。Step23にて、指定した信号レベルの平均値を求める。Step24にて、ROMに保存しているノイズ量の補正係数、ノイズ量対信号レベルの代表点を抽出し、Step25にて基準ノイズモデルのどの位置に属するかを探索する。
Step26にて、基準ノイズモデルに基づき線形補間でノイズ量の補間を行い、Step27にて、ROMに保存されている補正係数を用いてあるISO感度の色信号のノイズ量を算出する。Step28にて、フィルタリングでノイズ低減処理を行う。Step29にて、平滑化された信号をバッファに保存する。Step30にて、全画素に対する処理が完了したかを判断し、完了していない場合はStep22へ、完了した場合は終了となる。
次に、本発明に係る第3の実施形態例について説明する。図5は第3の実施形態例の構成図、図6は第3の実施形態例ノイズ推定部の構成図、図9は第3の実施形態例に係るノイズ低減処理部の構成図である。第3の実施形態例は、第2の実施形態例とは、ノイズ推定部5006及び制御部5007を除いて同一の構成と作用を有している。そこで、ここでは両者で相違のあるノイズ推定部5006及び制御部5007においての信号の流れを説明する。なお、以下の説明中、第2の実施形態例と同一の番号を付したものは、本実施形態例においても第2の実施の形態例における場合と同一の作用を持つ。
図5は、本実施形態例の構成図である。レンズ系1000、ローパスフィルタ1001を有する白黒用CCD1002を介して撮影された映像は、前処理部1003によりサンプリング処理される。サンプリング処理された信号は、ゲイン増幅、A/D変換等の前処理が施さた後、画像バッファ1004を介してノイズ低減部1005へ転送される。ノイズ低減部1005からの信号は、エッジ強調部1008を経由してメモリカードなどの出力部1009に送出される。また、画像バッファ1004はノイズ推定部5006へ接続されており、ノイズ推定部5006はノイズ低減部1005に接続されている。
像素子認識部1011はCCD1002に接続されている。制御部5007は、前処理部1003、ノイズ推定部5006、ノイズ低減部1005、エッジ強調部1008、出力部1009、撮像素子認識部1011に双方向に接続されている。さらに、電源スイッチ、シャッターボタン、撮像時の各種モードの切り替えを行うためのインターフェースを備えた外部I/F部1010も、制御部5007に双方向に接続されている。
本実施形態例においても第2の実施形態例と同様に、種々の撮像素子に対応したノイズ低減が可能であるが、図11に示すように、異なる撮像素子に対応する基準ノイズモデルがあらかじめROM6005内に複数用意されている点が異なる。そして、図5の撮像素子認識部1011により、使用されているCCD1002の撮像素子を検出し、制御部5007を介して図6のROM6005からCCD1002に対応する基準ノイズモデルを抽出する。ノイズモデルのデータ形式は、式(1)、式(2)、式(3)に示したものと同様である。
区間探索部6002は、平均算出部2001から転送された平均値を制御部5007により抽出されたノイズモデルの代表点の信号値レベルと比較して、どの信号値レベルに属するかを探索する。ノイズ補間部6003は、区間探索部6002における探索結果に基づき、区間内で線形補間を行うことにより平均値に対するノイズ量を算出する。この線形補間は、前記のように図13に示されたある区間における線形補間処理を適用するものである。
ノイズ乗算部6004は、ノイズ補間部6003からの補間結果とROM6005に保存されている、CCD1002に対応した基準ノイズモデルに対応するISO感度ごとの補正係数を用いて、制御部5007から得られたISO感度に対する信号ごとのノイズ量(NR)を式(11)
NR = K[撮像素子][ISO] * N (11)
(注:Nは図13中のNに対応している)
により算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
NR = K[撮像素子][ISO] * N (11)
(注:Nは図13中のNに対応している)
により算出する。そして、算出されたノイズ量の結果をノイズ低減部1005へ転送する。
図9はノイズ低減部1005の構成の一例を示すものである。ノイズ低減部1005は、フィルタリング部3000、バッファ部3001から構成される。画像バッファ1004は、フィルタリング部3000を介してバッファ部3001へ接続されており、ノイズ推定部5006は、フィルタリング部3000に接続されている。制御部5007は、フィルタリング3000とバッファ部3001に双方向に接続されている。
バッファ部3001はエッジ強調部1008に接続されている。フィルタリング部3000は、画像バッファ1004における映像信号に対して、ノイズ推定部1006から転送されたノイズ量と平均値を用いて、ノイズ低減処理を行う。ノイズ低減処理とエッジ強調処理は第2の実施形態例の処理と同じである。
上記構成により、種々のノイズ特性の異なる白黒撮像素子に対応し、さらに信号値レベル、ISO感度などの動的に変化する要因にも対応したノイズ量の推定が可能となる。これらの推定に基づき、撮像素子ごと、ISO感度ごとにノイズ低減処理を行うため、高精度なノイズ低減処理が可能となる。そして、基準ノイズモデルの折れ線、線形などの簡略化処理及び基準モデルから撮像素子ごと、ISO感度ごとのモデルを導出する処理を用いて、ハードウェアの負担を軽減することが可能となる。すなわち、本実施形態例により、異なる白黒撮像素子に対応して高精度なノイズ低減処理、及びハードウェアの負担を軽減する処理が同時に実現可能となる。
前記図14に示したカラー画像に対する画像処理プログラムと、図16に示した白黒画像に対する画像処理プログラムを記録媒体に記録させることができる。この記録媒体をコンピュータにインストールすることにより、コンピュータが動作する環境であれば場所や時間に制約されることなくカラー画像および白黒画像に対する高精度なノイズ低減処理を行うことができる。
以上説明したように、本発明によれば、信号レベルのみならずランダムノイズに関連のある信号値レベル、ISO感度、及び色信号などの動的に変化する要因に対応したノイズ量のモデルを用いて、ノイズ量を正確に推定できる撮像装置を提供することができる。また、画像信号のノイズ量を正確に推定できる画像プログラムを提供することができる。
100・・・レンズ系、101・・・ローパスフィルタ、102・・・カラー用CCD、104・・・画像用バッファ、105・・・ノイズ低減部、106・・・ノイズ推定部、107・・・制御部、108・・・信号処理部、109・・・出力部、200・・・ブロック信号抽出部、201・・・色信号分離部、202・・・平均算出部、203・・・区間探索部、204・・・ノイズ補間部、205・・・ノイズ乗算部、206・・・ROM、1002・・・白黒用CCD、1006・・・ノイズ推定部、1008・・・エッジ強調部
Claims (16)
- 撮像素子からのデジタル化された信号を処理する撮像装置において、
上記信号中のノイズ量を推定するノイズ推定手段と、上記ノイズ量に基づき画像処理を行う画像処理手段を有することを特徴とする撮像装置。 - 前記ノイズ推定手段は、カラー撮像素子に対応する一つ以上の基準ノイズモデル及び補正係数に基づきISO感度および色信号ごとのノイズ量を算出する算出手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記ノイズ推定手段は、白黒撮像素子に対応する基準ノイズモデル及び補正係数に基づきISO感度ごとのノイズ量を算出する算出手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記画像処理手段は、算出したノイズ量に対応しノイズ低減処理を行うノイズ低減手段を有することを特徴とする請求項1に記載の撮像装置
- 前記画像処理手段は、ノイズ低減した信号に対してエッジ強調を行うエッジ強調手段を有することを特徴とする請求項1に記載の撮像装置
- 前記ノイズ推定手段は、異なる撮像素子に対応するための一つ基準ノイズモデル及び複数変換補正係数に基づきのノイズ量を算出する算出手段を有することを特徴とする請求項1に記載の撮像装置。
- 前記補正係数は、基準ノイズモデルに基づき、他のISO感度及び色信号ごとにノイズ量を算出するための数値パラメータからなることを特徴とする請求項2に記載の撮像装置。
- 前記算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号を色フィルタごとに分離する分離手段と、上記分離された色フィルタごとに信号値レベルの平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする請求項2に記載の撮像装置。
- 前記補正係数は、基準ノイズモデルに基づき、他のISO感度ごとにノイズ量を算出するための数値パラメータからなることを特徴とする請求項3に記載の撮像装置。
- 前記算出手段は、ブロック信号を抽出する抽出手段と、上記抽出された信号の平均値を算出する平均値算出手段と、上記の平均値が関数化された基準ノイズモデルのどの信号値レベルにあるかを探索する探索手段と、基準ノイズモデルに基づき区間の線形補間処理を行いノイズ量を算出するノイズ算出手段と、所望のノイズモデルのノイズ量を算出する算出手段を有することを特徴とする請求項3に記載の撮像装置。
- 前記基準ノイズモデルは信号値レベルに対するノイズ量を関数化した数値パラメータからなることを特徴とする請求項2または請求項3に記載の撮像装置。
- 前記数値パラメータは少なくとも2点以上の代表点における信号値レベルとノイズ量の座標データおよび傾斜データからなることを特徴とする請求項11に記載の撮像装置。
- 前記基準ノイズモデルは基準ノイズモデルが最高ISO感度に対応することを特徴とする請求項2または請求項3に記載の撮像装置。
- 前記算出手段は、異なる撮像素子に対応した基準ノイズモデルと補正係数を複数有することを特徴とする請求項2または請求項3に記載の撮像装置。
- コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、色信号ごとに信号を読み出す手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度のある色信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、すべての色信号への操作が完了したかを判断する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる画像処理プログラム。
- コンピュータに、撮像条件及び映像信号などの情報を読み込む手順と、注目画素を中心として所定のサイズの画素単位を抽出する手順と、指定した信号レベルの平均値を求める手順と、記録媒体に保存しているノイズ量の補正係数とノイズ量対信号レベルの代表点を抽出する手順と、基準ノイズモデルのどの位置に属するかを探索する手順と、基準ノイズモデルに基づき線形補間でノイズ量の補間を行う手順と、記録媒体に保存されている補正係数を用いてあるISO感度の信号のノイズ量を算出する手順と、フィルタリングでノイズ低減処理を行う手順と、平滑化された信号をバッファに保存する手順と、全画素に対する処理が完了したかを判断する手順、を実行させる画像処理プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004119051A JP2005303802A (ja) | 2004-04-14 | 2004-04-14 | 撮像装置および画像処理プログラム |
PCT/JP2005/007489 WO2005099355A2 (ja) | 2004-04-14 | 2005-04-13 | 撮像装置および画像処理プログラム |
US11/578,468 US20070206885A1 (en) | 2004-04-14 | 2005-04-13 | Imaging System And Image Processing Program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004119051A JP2005303802A (ja) | 2004-04-14 | 2004-04-14 | 撮像装置および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005303802A true JP2005303802A (ja) | 2005-10-27 |
Family
ID=35150402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004119051A Pending JP2005303802A (ja) | 2004-04-14 | 2004-04-14 | 撮像装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20070206885A1 (ja) |
JP (1) | JP2005303802A (ja) |
WO (1) | WO2005099355A2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008205829A (ja) * | 2007-02-20 | 2008-09-04 | Fujitsu Ltd | ノイズ特性測定装置及びノイズ特性測定方法 |
JP2008211426A (ja) * | 2007-02-26 | 2008-09-11 | Nikon Corp | 画像処理装置及びディジタルカメラ |
WO2008111180A1 (ja) * | 2007-03-13 | 2008-09-18 | Olympus Corporation | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 |
WO2010095625A1 (ja) | 2009-02-18 | 2010-08-26 | オリンパス株式会社 | 画像処理装置及び方法並びにプログラム |
US8144218B2 (en) | 2006-11-09 | 2012-03-27 | Olympus Corporation | Image signal processing apparatus, image signal processing program, and image signal processing method |
US8248491B2 (en) | 2007-12-17 | 2012-08-21 | Olympus Corporation | Moving image noise reduction processing apparatus, computer-readable recording medium on which moving image noise reduction processing program is recorded, and moving image noise reduction processing method |
US8289421B2 (en) | 2007-06-05 | 2012-10-16 | Olympus Corporation | Image-signal processing device and image signal processing program |
US8471928B2 (en) | 2009-10-23 | 2013-06-25 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high ISO image |
US8711250B2 (en) | 2011-02-09 | 2014-04-29 | Olympus Corporation | Image signal processing apparatus and image signal processing method |
KR20150069342A (ko) * | 2013-12-13 | 2015-06-23 | 삼성테크윈 주식회사 | 렌즈 조리개 제어를 이용한 노이즈 제거 방법 및 시스템 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9819849B1 (en) * | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
CN107408196B (zh) | 2014-12-19 | 2021-03-19 | 顶级公司 | 从图像中提取特征的方法 |
JP6559011B2 (ja) * | 2015-08-20 | 2019-08-14 | キヤノン株式会社 | 画像処理装置、および画像処理方法 |
CN105681672B (zh) * | 2016-02-29 | 2018-12-04 | 广东欧珀移动通信有限公司 | 控制方法、控制装置及电子装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7065255B2 (en) * | 2002-05-06 | 2006-06-20 | Eastman Kodak Company | Method and apparatus for enhancing digital images utilizing non-image data |
JP3934506B2 (ja) * | 2002-08-06 | 2007-06-20 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP3762725B2 (ja) * | 2002-08-22 | 2006-04-05 | オリンパス株式会社 | 撮像システムおよび画像処理プログラム |
JP2004096500A (ja) * | 2002-08-30 | 2004-03-25 | Konica Minolta Holdings Inc | 撮像装置、画像処理装置及び画像記録装置 |
-
2004
- 2004-04-14 JP JP2004119051A patent/JP2005303802A/ja active Pending
-
2005
- 2005-04-13 US US11/578,468 patent/US20070206885A1/en not_active Abandoned
- 2005-04-13 WO PCT/JP2005/007489 patent/WO2005099355A2/ja active Application Filing
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8144218B2 (en) | 2006-11-09 | 2012-03-27 | Olympus Corporation | Image signal processing apparatus, image signal processing program, and image signal processing method |
JP2008205829A (ja) * | 2007-02-20 | 2008-09-04 | Fujitsu Ltd | ノイズ特性測定装置及びノイズ特性測定方法 |
US8035703B2 (en) | 2007-02-20 | 2011-10-11 | Fujitsu Semiconductor Limited | Device and method for measuring noise characteristics |
JP2008211426A (ja) * | 2007-02-26 | 2008-09-11 | Nikon Corp | 画像処理装置及びディジタルカメラ |
US8655098B2 (en) | 2007-03-13 | 2014-02-18 | Olympus Corporation | Image signal processing apparatus and computer-readable recording medium recording image signal processing program |
WO2008111180A1 (ja) * | 2007-03-13 | 2008-09-18 | Olympus Corporation | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 |
JPWO2008111180A1 (ja) * | 2007-03-13 | 2010-06-24 | オリンパス株式会社 | 画像信号処理装置、画像信号処理プログラム |
JP4850281B2 (ja) * | 2007-03-13 | 2012-01-11 | オリンパス株式会社 | 画像信号処理装置、画像信号処理プログラム |
US8289421B2 (en) | 2007-06-05 | 2012-10-16 | Olympus Corporation | Image-signal processing device and image signal processing program |
US8248491B2 (en) | 2007-12-17 | 2012-08-21 | Olympus Corporation | Moving image noise reduction processing apparatus, computer-readable recording medium on which moving image noise reduction processing program is recorded, and moving image noise reduction processing method |
WO2010095625A1 (ja) | 2009-02-18 | 2010-08-26 | オリンパス株式会社 | 画像処理装置及び方法並びにプログラム |
US8896727B2 (en) | 2009-02-18 | 2014-11-25 | Olympus Corporation | Image processing apparatus, method, and computer-readable recording medium having image processing program recorded thereon |
US8471928B2 (en) | 2009-10-23 | 2013-06-25 | Samsung Electronics Co., Ltd. | Apparatus and method for generating high ISO image |
US8711250B2 (en) | 2011-02-09 | 2014-04-29 | Olympus Corporation | Image signal processing apparatus and image signal processing method |
KR20150069342A (ko) * | 2013-12-13 | 2015-06-23 | 삼성테크윈 주식회사 | 렌즈 조리개 제어를 이용한 노이즈 제거 방법 및 시스템 |
KR102149270B1 (ko) * | 2013-12-13 | 2020-08-28 | 한화테크윈 주식회사 | 렌즈 조리개 제어를 이용한 노이즈 제거 방법 및 시스템 |
Also Published As
Publication number | Publication date |
---|---|
WO2005099355A3 (ja) | 2005-12-15 |
US20070206885A1 (en) | 2007-09-06 |
WO2005099355A2 (ja) | 2005-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4547223B2 (ja) | 撮像システム、ノイズ低減処理装置及び撮像処理プログラム | |
WO2005099355A2 (ja) | 撮像装置および画像処理プログラム | |
JP3762725B2 (ja) | 撮像システムおよび画像処理プログラム | |
JP4054184B2 (ja) | 欠陥画素補正装置 | |
JP4979595B2 (ja) | 撮像システム、画像処理方法、画像処理プログラム | |
US7916187B2 (en) | Image processing apparatus, image processing method, and program | |
JP2007201541A (ja) | 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム | |
WO2006004151A1 (ja) | 信号処理システム及び信号処理プログラム | |
JPWO2007049418A1 (ja) | 画像処理システム、画像処理プログラム | |
WO2008129926A1 (ja) | 映像処理装置、映像処理プログラム及び映像処理方法 | |
JP5259616B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP5197423B2 (ja) | 画像処理装置 | |
JP4831941B2 (ja) | 撮像処理システム、プログラム及び記憶媒体 | |
JP5423663B2 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP5115297B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP5111317B2 (ja) | デジタルカメラ | |
JP2007158997A (ja) | 画像処理プログラム、およびカメラ | |
JP4074323B2 (ja) | 再生システムおよび再生プログラム | |
JP4720339B2 (ja) | 画像処理装置、画像処理プログラム、および電子カメラ | |
JP6314281B1 (ja) | 画像処理方法及び前景領域取得方法 | |
JP2004159087A (ja) | スキャナシステム、画像処理プログラム | |
JP5290734B2 (ja) | ノイズ低減装置及びノイズ低減方法 | |
JP2007067704A (ja) | 画像処理システム及びその制御方法、記憶媒体、画像処理装置、及び外部装置 | |
JP2008310666A (ja) | 画像処理装置およびこれを備えた撮像システム | |
JP2008271101A (ja) | 映像処理装置及び映像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090513 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090916 |