JP2004229032A

JP2004229032A - Noise correction device for photographing appliance provided with solid-state imaging device

Info

Publication number: JP2004229032A
Application number: JP2003015537A
Authority: JP
Inventors: Hidetoshi Umeda; 英敏梅田
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2003-01-24
Filing date: 2003-01-24
Publication date: 2004-08-12

Abstract

<P>PROBLEM TO BE SOLVED: To provide a digital camera which resolves the complicated preliminary photographing for noise correction performed just before actual photographing when performing actual photographing in a long-time exposure. <P>SOLUTION: A digital camera is provided with an arithmetic part 15. The arithmetic part 15 repeats photographing in a dark exposure while varying a long-time shutter speed and a camera sensitivity and a plurality of dark image data d1 to d6 are stored in a memory before shipping the digital camera. At the time of actual photographing, the arithmetic part 15 reads the dark image data corresponding to the shutter speed and the camera sensitivity from the memory 17 to generate noise image data and subtracts noise correction data from photographed image data to perform noise removal. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、固体撮像素子を備えるデジタルカメラなどの撮影機によって長時間露光撮影を行なうことにより生ずるノイズ画像を取り除くためのノイズ補正装置に関する。
【０００２】
【従来の技術】
被写体像光を固体撮像素子によって光電変換し、その出力画像信号を信号処理し、画像デ−タとして記憶媒体に記憶させる構成の撮影機としてデジタルカメラが広く知られている。
【０００３】
このようなデジタルカメラは、長時間露光で撮影した場合、星のようなスポットノイズ画像が撮影画面に散乱するという現象が現われる。
ノイズ画像は、固定撮像素子が長時間露光によって熱をもつことによって発生するもので、撮影を繰返すことにより固体撮像素子が熱をもてばもつほど多くなる。
【０００４】
このように長時間露光撮影において発生するノイズ画像においては次のようにして取り除くノイズリダクション手段を備えたデジタルカメラが多い。
電子ビュ−ファインダ−を備えたデジタルカメラでは、ファインダ−画像デ−タからノイズ成分を抽出しておき、そのノイズ成分を撮影画像デ−タから差し引きノイズを除去する演算手段を備えている。
【０００５】
また、一眼レフデジタルカメラのように電子ビュ−ファインダ−を備えないカメラでは、長時間露光の本撮影を行なう直前に、いわゆるダ−ク露光撮影を行なってノイズ成分だけを記録しておき、本撮影の画像デ−タからそのノイズ成分を差し引いてノイズ除去する演算手段を備えている。
【０００６】
【発明が解決しようとする課題】
上記したように、一眼レフデジタルカメラは長時間露光の撮影を行なう際に、前処理としてダ−ク露光撮影を伴うため、撮影準備に時間がかかりシャッタチャンスを逃してしまう等の問題がある。
【０００７】
また、シャッタを閉じて撮影したり、レンズキャップを被せて撮影する等の方法でダ−ク露光撮影を行なった後に本撮影することになるため、長時間露光の撮影操作が煩雑化する他、ダ−ク露光撮影によって抽出するノイズ成分は、ノイズ成分の閾値により全てのノイズ成分を細かく抽出することができない。
【０００８】
本発明は上記した実情にかんがみ、長時間露光撮影によって発生するノイズ画像を長時間露光撮影以外の通常撮影と同様の操作下に高精度に除去することができる撮影機のノイズ補正装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記した目的を達成するため、本発明では、固体撮像素子を備える撮影機のノイズ補正装置において、長時間となるシャッタ速度と撮影機感度とを変えて暗黒撮影を繰返して得た複数のダ−ク画像デ−タを予め記憶させるメモリと、実撮影のシャッタ速度及び撮影機感度に対応する前記ダ−ク画像デ−タに基づきノイズ補正デ−タを作成するノイズ補正デ−タ作成手段と、実撮影時に撮影画像デ−タから前記ノイズ補正デ−タを減算してノイズ成分を取り除く演算手段とより構成したことを特徴とする固体撮像素子を備える撮影機のノイズ補正装置を提案する。
【００１０】
この発明のノイズ補正装置は、撮影機を市場に出荷する前にダ−ク画像デ−タをメモリに保存する。
このダ−ク画像デ−タの保存は、長時間となるシャッタ速度と撮影機感度を変えて暗黒撮影（ダ−ク露光撮影）を繰返して複数のダ−ク画像デ−タを得てメモリに記憶させて保存する。
【００１１】
そして、実際に長時間露光の実撮影時には、その実撮影時のシャッタ速度と撮影機感度に対応するノイズ画像デ−タがメモリより読み出され、このノイズ画像デ−タに基づいてノイズ補正デ−タが作成される。
このように作成されたノイズ補正デ−タが、実撮影の撮影画像デ−タから減算されノイズ画像が除去される。
【００１２】
また、本発明は、実際に被写体撮影した撮影画像の輝度レベルにしたがって、輝度レベルが高い画像部分のノイズ補正量を小さく、輝度レベルの低い画像部分のノイズ補正量を大きくする補正調整手段を備えることができる。
【００１３】
さらに、本発明では、実撮影の撮影画像の輝度レベルにしたがって、輝度レベルの高い画像部分のグレ−画像レベルを高く、輝度レベルの低い画像部分のグレ−画像レベルを低くする調整手段を備えることができる。
このような補正調整手段を備えることにより一層高精細にノイズ画像の補正を行なうことができる。
【００１４】
【発明の実施の形態】
次に、本発明の一実施形態について図面に沿って説明する。
図１はデジタルカメラに備えるノイズ補正装置の構成例を示すブロック図である。
【００１５】
この図において、１１は撮影レンズ１２を通って入射する被写体像光を光電変換して撮影画像信号を出力する固体撮像素子、１３は撮影画像信号の信号処理部１４とノイズ除去を行なう演算部１５とを含む主回路部、１６は被写体撮影（以下、実撮影という）の撮影画像デ−タを記憶させるメモリ、１７はダ−ク露光撮影したダ−ク画像デ−タを記憶させるメモリ、１８は撮影画像デ−タの輝度レベル部分にしたがってノイズ補正量を調整する補正調整部、１９はグレ−画像デ−タの調整部を各々示す。
【００１６】
このノイズ補正装置は、長時間露光の実撮影時に固体撮像素子１１から出力する撮影画像信号を信号処理する段階でノイズ補正し、ノイズ補正した画像デ−タをメモリ１６に記憶させる。
【００１７】
ノイズ補正は、演算部１５で行なわれる。
すなわち、実撮影したとき、そのシャッタ速度とカメラ感度、ダ−ク画像デ−タにしたがってノイズ補正デ−タを作成し、このノイズ補正デ−タを固定撮像素子１１が出力する撮影画像信号のＲＡＷデ−タから減算してノイズを除去する。
【００１８】
一方、ダ−ク画像デ−タは、デジタルカメラを市場に出荷する前に、ダ−ク露光撮影を行なってメモリ１７に記憶させる。
すなわち、長時間露光のシャッタ速度とカメラ感度とを変えてダ−ク露光撮影を繰り返し、そのダ−ク露光撮影によって得られたダ−ク画像デ−タをメモリ１７に記憶させる。
なお、ダ−ク露光撮影はいろいろの仕方があるが、例えば、レンズキャップを被せて撮影して行なうことができる。
【００１９】
具体的には、本実施形態では、次のシャッタ速度Ｓ１、Ｓ２とカメラ感度Ｌ、Ｍ、Ｈにしたがってダ−ク露光撮影を行なう。
シャッタ低速：Ｓ２（長時間露光Ｓ０未満のシャッタ速度値）
シャッタ高速：Ｓ１（長時間露光Ｓ０以上のシャッタ速度値）
ＩＳＯ（カメラ感度）：Ｌ（Ｉ０未満のカメラ感度値）
ＩＳＯ（カメラ感度）：Ｍ（Ｉ０以上Ｉ１未満のカメラ感度値）
ＩＳＯ（カメラ感度）：Ｈ（Ｉ１以上のカメラ感度値）
なお、Ｓ０は長時間露光の基準値として定めたシャッタ速度値である。
例えば、Ｓ０は４秒或いは８秒のシャッタ速度値に定める。
【００２０】
この撮影条件の組み合わせによってダ−ク露光撮影を行ない、次の６種類のダ−ク画像デ−タｄ１〜ｄ６をメモリ１７に読み出し可能に記憶させる。
ダ−ク画像デ−タＩＳＯシャッタ速度
ｄ１ＬＳ２
ｄ２ＬＳ１
ｄ３ＭＳ２
ｄ４ＭＳ１
ｄ５ＨＳ２
ｄ６ＨＳ１
【００２１】
また、上記した演算部１５は、シャッタ速度Ｓ１、Ｓ２に対応するダ−ク画像デ−タと実撮影のシャッタ速度（以下、実シャッタ速度という）とによってノイズ補正デ−タを算出する算出回路と、実撮影のカメラ感度にしたがってダ−ク画像デ−タを切換えるゲイン切換回路とを備えている。
【００２２】
図２は、シャッタ速度Ｓ１、Ｓ２、フイルム感度Ｌの条件でダ−ク露光撮影したときのダ−ク画像デ−タｄ１、ｄ２を示した説明図である。
図示するように、ダ−ク画像デ−タｄ１ではダ−ク画像レベルがＡ２、ダ−ク画像デ−タｄ２ではダ−ク画像レベルがＡ１となる。
なお、基準となるシャッタ速度Ｓ０でのダ−ク画像デ−タＰを実験によって求め、そのダ−ク画像レベルＡ０を固定的なデ−タとしてメモリ１７に記憶させてある。
【００２３】
また、ダ−ク画像デ−タｄ１、ｄ２は、各画素が画素番地にしたがって配列されてメモリ１７に記憶されているから、実際には、ダ−ク画像レベルがＡ１（ｍ、ｎ）、Ａ２（ｍ、ｎ）となる。なお、ｍ、ｎは各画素のアドレスである。
なお、ダ−ク画像レベルＡ０も同様にＡ０（ｍ、ｎ）として定めてある。
【００２４】
本実施形態では、上記したダ−ク画像デ−タｄ１、ｄ２のダ−ク画像レベルＡ１、Ａ２と、固定的に定めたダ−ク画像デ−タＰのダ−ク画像レベルＡ０とをメモリ１７から読み出し、デ−タｄ１とＰを通る直線の一次式とデ−タｄ２とＰを通る直線の一次式とによってノイズ補正デ−タＤ１、Ｄ２を算出する。
【００２５】
すなわち、実撮影を行なったとき、演算部１５が上記した各デ−タをメモリ１７から読み出し、算出回路が下記の算出を行なう。
実撮影のシャッタ速度がＳ０より低速であるときは、
Ｄ１＝Ａ０＋｛（Ａ２−Ａ０）／（Ｓ２−Ｓ０）｝×（実シャッタ速度−Ｓ０）
実際にはこの算出が各画素毎に順次行なわれるから、
Ｄ１（ｍ、ｎ）＝Ａ０（ｍ、ｎ）＋｛（Ａ２（ｍ、ｎ）−Ａ０（ｍ、ｎ））／（Ｓ２−Ｓ０）｝×（実シャッタ速度−Ｓ０）………（１）
としてノイズ補正デ−タＤ１が算出される。
【００２６】
実撮影のシャッタ速度がＳ０より高速であるときは、
Ｄ２＝（Ａ１／Ｓ１）×実シャッタ速度
したがって、
Ｄ２（ｍ、ｎ）＝（Ａ１（ｍ、ｎ）／Ｓ１）×実シャッタ速度………（２）
としてノイズ補正デ−タＤ２が算出される。
【００２７】
このように長時間露光の実撮影では、その時のシャッタ速度に対応するノイズ補正デ−タＤ１又はＤ２が算出され、その後、演算部１５の減算部によって、（ＲＡＷデ−タ）−（ノイズ補正デ−タＤ１又はＤ２）の減算が行なわれてノイズが除去される。
なお、この減算は、ＲＡＷデ−タの画素番地とノイズ補正デ−タの画素番地とを対応させて行ない、各画素のノイズが順次除去される。
【００２８】
そして、ノイズを除去したＲＡＷデ−タは信号処理部１４に送り、ノイズ補正した撮影画像デ−タとしてメモリ１６に記憶される。
【００２９】
他方、本実施形態では、ゲイン切換回路によって実撮影のカメラ感度ＩＳＯにしたがってダ−ク画像デ−タｄ１〜ｄ６が切換えられる。
図３（ａ）、（ｂ）、（ｃ）は実撮影を行なったときのカメラ感度ＩＳＯにしたがって切換えられるダ−ク画像デ−タの説明図である。
【００３０】
図示するように、予め定めたカメラ感度値ＩＳＯ＝Ｉ０、ＩＳＯ＝Ｉ１を基準にして、低感度値Ｌを含むＩＳＯ＜Ｉ０と、中感度値Ｍを含むＩ０≦ＩＳＯ＜Ｉ１と、高感度値Ｈを含むＩ１≦ＩＳＯの領域に別けて切換える構成としてある。
【００３１】
したがって、ＩＳＯ＜Ｉ０となるカメラ感度で実撮影が行なわれれば、図３（ａ）に示すように、ダ−ク画像デ−タｄ１、ｄ２がメモリ１７より読み出され、既に述べたように、（１）、（２）式にしたがってノイズ補正デ−タＤ１、Ｄ２が算出される。
【００３２】
また、Ｉ０≦ＩＳＯ＜Ｉ１となるカメラ感度で実撮影が行なわれたときは、図３（ｂ）に示したように、ダ−ク画像デ−タｄ３、ｄ４がメモリ１７より読み出される。
したがって、図３（ｂ）に示したようにゲイン切換えされたダ−ク画像レベルＡ０、Ａ１、Ａ２を使用して上記（１）、（２）式の計算が行なわれ、ノイズ補正デ−タＤ３、Ｄ４が算出される。
【００３３】
Ｉ１≦ＩＳＯとなるカメラ感度で実撮影が行なわれたときは、メモリ１７よりダ−ク画像デ−タｄ５、ｄ６が読み出され、図３（ｃ）に示すようにゲイン切換されたダ−ク画像レベルＡ０、Ａ１、Ａ２を使用して上記（１）、（２）式の計算が行なわれ、ノイズ補正デ−タＤ５、Ｄ６が算出される。
【００３４】
この結果、上記のように実撮影のカメラ感度にしたがって切換えたダ−ク画像デ−タに基づいてノイズ補正デ−タが算出され、算出されたノイズ補正デ−タを上記同様にＲＡＷデ−タより減算してノイズを除去する。
【００３５】
次に、上記したノイズ補正装置の動作について図４に示すフロ−チャ−トを参照して説明する。
先ず、実撮影を行なうと、デジタルカメラに設定されたシャッタ速度から長時間露光撮影であるか否かが判断され、長時間露光撮影でなければ通常処理モ−ドとなり、長時間露光撮影であるときはノイズ補正処理モ−ドとなる。（ステップＳＴ１００、ＳＴ１０１、ＳＴ１０２）
【００３６】
ノイズ補正処理モ−ドでは、固体撮像素子１１から出力される撮影画像のＲＡＷデ−タが演算部１５に送られると共に、メモリ１７からのノイズ画像デ−タの読み出しが行なわれる。（ステップＳＴ１０３、ＳＴ１０４）
【００３７】
このとき、実撮影のシャッタ速度がＳ０秒未満であるかＳ０秒以上であるかが判断された後、カメラ感度がＩＳＯ＜Ｉ０となるか否かが判断される。（ステップＳＴ１０５、ＳＴ１０６）
【００３８】
シャッタ速度がＳ０秒未満であり、かつ、カメラ感度がＩＳＯ＜Ｉ０の実撮影のときは、既に述べたようにノイズ画像デ−タｄ１に基づいてノイズ補正デ−タＤ１が算出される。（ステップＳＴ１０６、ＳＴ１０７）
【００３９】
また、ステップＳＴ１０６において、ＩＳＯ≧Ｉ０の判断となるときは、ステップＳＴ１０８に進み、カメラ感度がＩ０≦ＩＳＯ＜Ｉ１であるときはノイズ画像デ−タｄ３に基づいてノイズ補正デ−タＤ３が算出される。
また、Ｉ１≦ＩＳＯとなるときはノイズ画像デ−タｄ５に基づいてノイズ補正デ−タＤ５が算出される。（ステップＳＴ１０８、ＳＴ１０９、ＳＴ１１０）
【００４０】
また、実撮影のシャッタ速度を判断するステップＳＴ１０５において、シャッタ速度がＳ０秒以上となるときは、ＩＳＯ＜Ｉ０の実撮影の場合にノイズ画像デ−タｄ２に基づいてノイズ補正デ−タＤ２が算出され、ＩＳＯ≧Ｉ０であるときは、カメラ感度がＩ０≦ＩＳＯ＜Ｉ１の範囲にあるか否かが判断される。（ステップＳＴ１１１、ＳＴ１１２、ＳＴ１１３）
【００４１】
このとき、カメラ感度がＩ０〜Ｉ１の範囲内である場合はノイズ画像デ−タｄ４に基づいてノイズ補正デ−タＤ４が算出され、その範囲外、つまり、Ｉ１≦ＩＳＯとなるときはノイズ画像デ−タｄ６に基づいてノイズ補正デ−タＤ６が算出される。（ステップＳＴ１１４、ＳＴ１１５）
【００４２】
上記のように、演算部１５では実撮影において設定されたシャッタ速度とカメラ感度にしたがってノイズ補正デ−タを算出し、算出したノイズ補正デ−タをＲＡＷデ−タより減算してノイズを除去する。
なお、ノイズを除去して補正したＲＡＷデ−タは信号処理部１４により信号処理した後にメモリ１６に記憶される。
【００４３】
上記のようにしてノイズ画像を除去することができるが、本実施形態ではさらにノイズ除去精度を高めるために、撮影画像デ−タの輝度部分に応じてノイズ補正量を調整する補正調整部１８が設けてある。
【００４４】
この補正調整部１８は、実撮影した撮影画像の輝度を検出し、輝度レベルの高い画像デ−タ部分についてはノイズ補正量を小さく、輝度レベルの低い画像デ−タ部分についてはノイズ補正量を大きくするように調整する。
【００４５】
この調整によって高い輝度レベル部分の補正のしすぎが防止され、また、上記したところのノイズ補正では低い輝度レベル部分について補正不足となることがあるため、ノイズ補正量を大きくする。
なお、補正調整量の算出は上記（１）式、（２）式に準じて行なうことができる。
【００４６】
また、このように高い輝度レベル部分と低い輝度レベル部分とでノイズ補正量を調整する場合には、グレ−画像調整部１９によってグレ−画像デ−タをノイズ補正要素に加えることができる。
図５は補正するグレ−画像の特性を示した図で、Ｇ１、Ｇ２はメモリ１７に記憶させるグレ−画像デ−タ、Ｙ１、Ｙ２は撮影画像の輝度レベル、Ｂ１、Ｂ２はグレ−画像レベルを各々示す。
なお、グレ−画像デ−タＧ１、Ｇ２は実験的に定めたものである。また、基準となる輝度レベルＹ０に対応するグレ−画像デ−タＱを固定的に定めてある。
【００４７】
グレ−補正量は、輝度レベルＹ０を基準としてそのレベルより高い場合と低い場合とによって次の一次式によって算出する。
すなわち、Ｙｍａｘ〜Ｙ０の間（輝度レベルがＹ０より高い部分）のグレ−補正量ＤＬｂ（ｍ、ｎ）は、
ＤＬｂ（ｍ、ｎ）＝（Ｂ１（ｍ、ｎ）／Ｙ１）×実輝度レベル ………（３）
なお、ｍ、ｎは画素アドレスである。
【００４８】
このＤＬｂ（ｍ、ｎ）を撮影画像デ−タから減算するが、Ｂ０（ｍ、ｎ）をグレ−画像レベルの”０”とすることから、実際にはＤＬｂ（ｍ、ｎ）を加えることになる。
すなわち、実撮影の撮影画像デ−タＲＡＷ、ダ−ク画像の補正量（Ｄ１〜Ｄ６）をＤＬ（ｍ、ｎ）とすると、
ＲＡＷ（ｍ、ｎ）−ＤＬ（ｍ、ｎ）＋ＤＬｂ（ｍ、ｎ）＝補正後の撮影画像デ−タ
【００４９】
また、Ｙ０〜Ｙ２の間（輝度レベルがＹ０より低い部分）のグレ−補正量ＤＬｂ（ｍ、ｎ）は、
ＤＬｂ（ｍ、ｎ）＝Ｂ０＋（Ｂ２（ｍ、ｎ）−Ｂ０（ｍ、ｎ））／（Ｙ２−Ｙ０）×（実輝度レベル−Ｙ０）
このＤＬｂ（ｍ、ｎ）を撮影画像デ−タから減算する。
ＲＡＷ（ｍ、ｎ）−ＤＬ（ｍ、ｎ）−ＤＬｂ（ｍ、ｎ）＝補正後の撮影画像デ−タ
【００５０】
以上、一実施形態について説明したが、本発明はデジタルカメラに限らず、固体撮像素子を備えるその他の撮影機、例えば、携帯電話機に組み込まれたカメラ、監視カメラ、車載カメラなどの各種のカメラについても同様に実施することができる。
【００５１】
【発明の効果】
上記した通り、本発明に係るノイズ補正装置は、実撮影をするだけで、長時間露光によって生ずるノイズ画像が除去されるので、シャッタチャンスを逃すようなことがなく、また、長時間露光の撮影操作が簡単化される撮影機を提供することができる。
【００５２】
また、撮影画像デ−タの高い輝度レベル部分と低い輝度レベル部分とでノイズ補正量やグレ−画像レベルを調整することにより、一層高い精度のノイズ補正装置となる。
【図面の簡単な説明】
【図１】本発明に係るノイズ補正装置の構成例を示すブロック図である。
【図２】ノイズ補正デ−タの算出を説明するための説明図である。
【図３】図３（ａ）、（ｂ）、（ｃ）はノイズ補正デ−タをカメラ感度にしたがって切換える動作を説明するための説明図である。
【図４】上記したノイズ補正装置の動作を示すフロ−チャ−トである。
【図５】ダ−ク画像の他にグレ−画像の補正量を説明するための説明図である。
【符号の説明】
１１固体撮像素子
１２撮影レンズ
１３主回路
１４信号処理部
１５演算部
１６メモリ
１７メモリ
１８補正調整部
１９グレ−画像調整部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a noise correction device for removing a noise image generated by performing long-time exposure shooting using a camera such as a digital camera having a solid-state imaging device.
[0002]
[Prior art]
2. Description of the Related Art A digital camera is widely known as a photographing apparatus having a configuration in which a subject image light is photoelectrically converted by a solid-state imaging device, an output image signal thereof is subjected to signal processing, and stored in a storage medium as image data.
[0003]
In such a digital camera, a phenomenon in which a spot noise image such as a star is scattered on a photographing screen appears when photographing is performed for a long time.
The noise image is generated when the fixed image pickup device has heat due to long-time exposure, and the noise image increases as the solid-state image pickup device has more heat by repeating photographing.
[0004]
As described above, many digital cameras are provided with a noise reduction unit that removes a noise image generated in long-time exposure shooting as follows.
A digital camera equipped with an electronic viewfinder is provided with a calculating means for extracting a noise component from finder image data, subtracting the noise component from the photographed image data, and removing noise.
[0005]
On the other hand, in a camera such as a single-lens reflex digital camera that does not have an electronic viewfinder, so-called dark exposure photographing is performed immediately before the actual photographing for a long time exposure to record only the noise component. An arithmetic unit is provided for subtracting the noise component from photographed image data to remove noise.
[0006]
[Problems to be solved by the invention]
As described above, a single-lens reflex digital camera involves dark exposure photography as pre-processing when performing long-time exposure photography, so that it takes a long time to prepare for photography and misses a photo opportunity.
[0007]
Further, since the main exposure is performed after the dark exposure is performed by a method such as closing the shutter or taking a picture with the lens cap covered, the shooting operation for the long exposure becomes complicated. All noise components extracted by dark exposure photography cannot be finely extracted due to the threshold of the noise components.
[0008]
The present invention has been made in view of the above circumstances, and provides a noise correction device for a photographing machine that can remove a noise image generated by long-time exposure shooting with high accuracy under the same operation as normal shooting other than long-time exposure shooting. The purpose is to:
[0009]
[Means for Solving the Problems]
In order to achieve the above object, according to the present invention, in a noise correction device for a photographing machine having a solid-state imaging device, a plurality of dark images obtained by repeatedly performing dark photographing while changing a long-time shutter speed and a photographing machine sensitivity. A memory for previously storing dark image data, and noise correction data creating means for creating noise correction data based on the dark image data corresponding to the shutter speed and the sensitivity of the photographing machine for actual photographing. A noise correction device for a photographing machine equipped with a solid-state image pickup device, comprising: arithmetic means for subtracting the noise correction data from photographed image data during actual photographing to remove noise components.
[0010]
The noise correction apparatus according to the present invention stores dark image data in a memory before shipping a photographing machine to a market.
This dark image data is stored by repeating dark shooting (dark exposure shooting) by changing the shutter speed and photographing device sensitivity, which is a long time, to obtain a plurality of dark image data and storing the dark image data in a memory. And save it.
[0011]
Then, at the time of actual photographing of the long exposure, noise image data corresponding to the shutter speed and the photographing machine sensitivity at the actual photographing is read out from the memory, and the noise correction data is obtained based on the noise image data. Data is created.
The noise correction data created in this way is subtracted from the photographed image data of the actual photographing to remove the noise image.
[0012]
In addition, the present invention includes a correction adjusting unit that reduces a noise correction amount of an image portion having a high luminance level and increases a noise correction amount of an image portion having a low luminance level in accordance with the luminance level of a captured image actually captured by a subject. be able to.
[0013]
Further, according to the present invention, there is provided an adjusting means for increasing a gray image level of an image portion having a high luminance level and lowering a gray image level of an image portion having a low luminance level in accordance with the luminance level of an actually photographed image. Can be.
By providing such a correction adjusting means, a noise image can be corrected with higher definition.
[0014]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram illustrating a configuration example of a noise correction device provided in a digital camera.
[0015]
In FIG. 1, reference numeral 11 denotes a solid-state imaging device that photoelectrically converts subject image light incident through a photographing lens 12 and outputs a photographed image signal. 13 denotes a signal processing unit 14 for a photographed image signal and an arithmetic unit 15 that removes noise. A memory 16 for storing photographed image data of subject photographing (hereinafter referred to as actual photographing); a memory 17 for storing dark image data photographed by dark exposure; Denotes a correction adjustment unit for adjusting the amount of noise correction according to the luminance level portion of the captured image data, and 19 denotes an adjustment unit for gray image data.
[0016]
This noise correction device performs noise correction at the stage of performing signal processing on a photographed image signal output from the solid-state imaging device 11 during actual photographing during long-time exposure, and causes the memory 16 to store the noise-corrected image data.
[0017]
The noise correction is performed by the calculation unit 15.
That is, when actual photographing is performed, noise correction data is created in accordance with the shutter speed, camera sensitivity, and dark image data. The noise is removed by subtracting from the RAW data.
[0018]
On the other hand, the dark image data is subjected to dark exposure photographing and stored in the memory 17 before the digital camera is shipped to the market.
That is, dark exposure photography is repeated by changing the shutter speed and camera sensitivity for long exposure, and dark image data obtained by the dark exposure photography is stored in the memory 17.
There are various methods of dark exposure photographing. For example, the dark exposure photographing can be performed by covering with a lens cap.
[0019]
Specifically, in the present embodiment, dark exposure photography is performed according to the next shutter speeds S1, S2 and camera sensitivities L, M, H.
Shutter low speed: S2 (shutter speed value less than long-time exposure S0)
Shutter speed: S1 (Shutter speed value over long exposure S0)
ISO (camera sensitivity): L (camera sensitivity value less than I0)
ISO (camera sensitivity): M (camera sensitivity value not less than I0 and less than I1)
ISO (camera sensitivity): H (camera sensitivity value of I1 or higher)
S0 is a shutter speed value determined as a reference value for long-time exposure.
For example, S0 is set to a shutter speed value of 4 seconds or 8 seconds.
[0020]
Dark exposure photographing is performed according to this combination of photographing conditions, and the following six types of dark image data d1 to d6 are stored in the memory 17 in a readable manner.
Dark image data ISO Shutter speed d1 L S2
d2 L S1
d3 MS2
d4 MS1
d5 H S2
d6 H S1
[0021]
The calculating unit 15 calculates noise correction data based on the dark image data corresponding to the shutter speeds S1 and S2 and the shutter speed for actual photographing (hereinafter referred to as the actual shutter speed). And a gain switching circuit for switching dark image data in accordance with the camera sensitivity of actual photographing.
[0022]
FIG. 2 is an explanatory diagram showing dark image data d1 and d2 when dark exposure photographing is performed under the conditions of shutter speeds S1 and S2 and film sensitivity L.
As shown in the figure, the dark image level is A2 for the dark image data d1, and the dark image level is A1 for the dark image data d2.
The dark image data P at the reference shutter speed S0 is obtained by experiment, and the dark image level A0 is stored in the memory 17 as fixed data.
[0023]
Further, since the dark image data d1 and d2 are stored in the memory 17 in which each pixel is arranged according to the pixel address, the dark image level is actually A1 (m, n), A2 (m, n). Note that m and n are addresses of each pixel.
The dark image level A0 is similarly defined as A0 (m, n).
[0024]
In the present embodiment, the dark image levels A1 and A2 of the dark image data d1 and d2 and the dark image level A0 of the fixed dark image data P are determined. The noise correction data D1 and D2 are read out from the memory 17 and calculated by a linear expression that passes through the data d1 and P and a linear expression that passes through the data d2 and P.
[0025]
That is, when actual photographing is performed, the arithmetic unit 15 reads each data described above from the memory 17, and the calculating circuit performs the following calculation.
When the shutter speed for actual shooting is lower than S0,
D1 = A0 + {(A2-A0) / (S2-S0)} × (actual shutter speed−S0)
Actually, since this calculation is performed sequentially for each pixel,
D1 (m, n) = A0 (m, n) + {(A2 (m, n) -A0 (m, n)) / (S2-S0)} × (actual shutter speed-S0) (1) )
Is calculated as noise correction data D1.
[0026]
When the shutter speed for actual shooting is higher than S0,
D2 = (A1 / S1) × actual shutter speed
D2 (m, n) = (A1 (m, n) / S1) × actual shutter speed (2)
, Noise correction data D2 is calculated.
[0027]
As described above, in the actual photographing of the long exposure, the noise correction data D1 or D2 corresponding to the shutter speed at that time is calculated, and then (RAW data)-(noise correction) Data D1 or D2) is subtracted to remove noise.
This subtraction is performed by associating the pixel address of the RAW data with the pixel address of the noise correction data, and the noise of each pixel is sequentially removed.
[0028]
Then, the RAW data from which the noise has been removed is sent to the signal processing unit 14 and stored in the memory 16 as noise-corrected photographed image data.
[0029]
On the other hand, in the present embodiment, the dark image data d1 to d6 are switched by the gain switching circuit according to the camera sensitivity ISO of the actual photographing.
3 (a), 3 (b) and 3 (c) are illustrations of dark image data which is switched according to the camera sensitivity ISO when actual photographing is performed.
[0030]
As shown in the drawing, based on predetermined camera sensitivity values ISO = I0 and ISO = I1, ISO <I0 including a low sensitivity value L, I0 ≦ ISO <I1 including a middle sensitivity value M, and a high sensitivity value The switching is performed separately in a region of I1 ≦ ISO including H.
[0031]
Therefore, if actual photographing is performed with the camera sensitivity satisfying ISO <I0, as shown in FIG. 3A, the dark image data d1 and d2 are read from the memory 17, and as described above, The noise correction data D1 and D2 are calculated according to the equations (1) and (2).
[0032]
When actual photographing is performed at a camera sensitivity satisfying I0.ltoreq.ISO <I1, dark image data d3 and d4 are read from the memory 17 as shown in FIG.
Therefore, the equations (1) and (2) are calculated using the dark image levels A0, A1, and A2 whose gains have been switched as shown in FIG. 3B, and the noise correction data is obtained. D3 and D4 are calculated.
[0033]
When actual photographing is performed with a camera sensitivity satisfying I1.ltoreq.ISO, dark image data d5 and d6 are read from the memory 17 and the gain is switched as shown in FIG. Using the image levels A0, A1, and A2, the equations (1) and (2) are calculated, and the noise correction data D5 and D6 are calculated.
[0034]
As a result, noise correction data is calculated based on the dark image data switched according to the camera sensitivity of the actual photographing as described above, and the calculated noise correction data is converted to the RAW data in the same manner as described above. To remove noise.
[0035]
Next, the operation of the above-described noise correction device will be described with reference to a flowchart shown in FIG.
First, when actual photographing is performed, it is determined from the shutter speed set in the digital camera whether or not long-time exposure photographing is performed. If not long-time exposure photographing, the normal processing mode is set, and long-time exposure photographing is performed. In this case, the noise correction processing mode is set. (Steps ST100, ST101, ST102)
[0036]
In the noise correction processing mode, the RAW data of the captured image output from the solid-state imaging device 11 is sent to the arithmetic unit 15, and the noise image data is read from the memory 17. (Steps ST103 and ST104)
[0037]
At this time, after it is determined whether the shutter speed of the actual shooting is less than S0 seconds or more than S0 seconds, it is determined whether the camera sensitivity satisfies ISO <I0. (Steps ST105 and ST106)
[0038]
When the shutter speed is less than S0 seconds and the camera sensitivity is actual photographing with ISO <I0, the noise correction data D1 is calculated based on the noise image data d1 as described above. (Steps ST106 and ST107)
[0039]
If it is determined in step ST106 that ISO ≧ I0, the process proceeds to step ST108. If the camera sensitivity is I0 ≦ ISO <I1, the noise correction data D3 is calculated based on the noise image data d3. Is done.
When I1.ltoreq.ISO, the noise correction data D5 is calculated based on the noise image data d5. (Steps ST108, ST109, ST110)
[0040]
If the shutter speed is equal to or longer than S0 seconds in step ST105 for determining the shutter speed of the actual shooting, the noise correction data D2 is determined based on the noise image data d2 in the case of the actual shooting of ISO <I0. If ISO ≧ I0 is calculated, it is determined whether or not the camera sensitivity is in the range of I0 ≦ ISO <I1. (Steps ST111, ST112, ST113)
[0041]
At this time, when the camera sensitivity is within the range of I0 to I1, noise correction data D4 is calculated based on the noise image data d4. When the camera sensitivity is outside the range, that is, when I1 ≦ ISO, the noise image data is calculated. The noise correction data D6 is calculated based on the data d6. (Steps ST114 and ST115)
[0042]
As described above, the calculation unit 15 calculates noise correction data in accordance with the shutter speed and camera sensitivity set in actual photographing, and subtracts the calculated noise correction data from the RAW data to remove noise. I do.
The raw data corrected by removing the noise is stored in the memory 16 after the signal processing by the signal processing unit 14.
[0043]
Although the noise image can be removed as described above, in the present embodiment, in order to further increase the noise removal accuracy, the correction adjustment unit 18 that adjusts the noise correction amount according to the luminance portion of the captured image data is provided. It is provided.
[0044]
The correction adjusting unit 18 detects the luminance of the actually photographed image, and reduces the noise correction amount for the image data portion having a high luminance level, and reduces the noise correction amount for the image data portion having a low luminance level. Adjust to be larger.
[0045]
This adjustment prevents excessive correction of the high luminance level portion, and the noise correction described above may result in insufficient correction of the low luminance level portion, so the noise correction amount is increased.
The calculation of the correction adjustment amount can be performed according to the above equations (1) and (2).
[0046]
When the noise correction amount is adjusted between the high luminance level portion and the low luminance level portion, the gray image adjusting section 19 can add the gray image data to the noise correction element.
FIG. 5 is a diagram showing characteristics of a gray image to be corrected. G1 and G2 are gray image data to be stored in the memory 17, Y1 and Y2 are luminance levels of a photographed image, and B1 and B2 are gray image levels. Are respectively shown.
The gray image data G1 and G2 are experimentally determined. The gray image data Q corresponding to the reference luminance level Y0 is fixedly set.
[0047]
The gray correction amount is calculated based on the luminance level Y0 according to the following linear equation depending on whether the luminance level is higher or lower.
That is, the gray correction amount DLb (m, n) between Ymax and Y0 (the portion where the luminance level is higher than Y0) is
DLb (m, n) = (B1 (m, n) / Y1) × actual luminance level (3)
Note that m and n are pixel addresses.
[0048]
This DLb (m, n) is subtracted from the photographed image data. However, since B0 (m, n) is set to the gray image level "0", DLb (m, n) is actually added. become.
That is, if the photographed image data RAW of the actual photographing and the correction amount (D1 to D6) of the dark image are DL (m, n),
RAW (m, n) −DL (m, n) + DLb (m, n) = corrected captured image data
Also, the gray correction amount DLb (m, n) between Y0 and Y2 (the portion where the luminance level is lower than Y0) is
DLb (m, n) = B0 + (B2 (m, n) -B0 (m, n)) / (Y2-Y0) * (actual luminance level-Y0)
This DLb (m, n) is subtracted from the photographed image data.
RAW (m, n) -DL (m, n) -DLb (m, n) = photographed image data after correction
Although an embodiment has been described above, the present invention is not limited to a digital camera, but may be applied to various other types of camera including a solid-state image sensor, such as a camera incorporated in a mobile phone, a surveillance camera, and a vehicle-mounted camera. Can be similarly implemented.
[0051]
【The invention's effect】
As described above, the noise correction device according to the present invention removes a noise image caused by long-time exposure only by performing actual shooting, so that a shutter chance is not missed, and long-time exposure shooting is performed. It is possible to provide a camera whose operation is simplified.
[0052]
Further, by adjusting the noise correction amount and the gray image level between the high luminance level portion and the low luminance level portion of the captured image data, a noise correction device with higher accuracy can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration example of a noise correction device according to the present invention.
FIG. 2 is an explanatory diagram for explaining calculation of noise correction data.
FIGS. 3A, 3B, and 3C are explanatory diagrams for explaining an operation of switching noise correction data according to camera sensitivity.
FIG. 4 is a flowchart showing the operation of the noise correction device described above.
FIG. 5 is an explanatory diagram for explaining a correction amount of a gray image in addition to a dark image.
[Explanation of symbols]
Reference Signs List 11 solid-state imaging device 12 photographing lens 13 main circuit 14 signal processing unit 15 calculation unit 16 memory 17 memory 18 correction adjustment unit 19 gray image adjustment unit

Claims

In a noise correction device of a photographing machine including a solid-state imaging device
A memory for storing in advance a plurality of dark image data obtained by repeatedly performing dark photographing while changing the shutter speed and the photographing device sensitivity, which are a long time,
Noise correction data generating means for generating noise correction data based on the dark image data corresponding to the shutter speed and the photographing machine sensitivity of actual photographing;
A noise correction device for a photographing machine equipped with a solid-state imaging device, comprising: arithmetic means for subtracting said noise correction data from photographed image data during actual photographing to remove noise components.

The noise correction device according to claim 1,
A solid-state imaging device comprising: a correction adjusting unit that reduces a noise correction amount of an image portion having a high luminance level and increases a noise correction amount of an image portion having a low luminance level in accordance with the luminance level of a captured image of an actual photographed image. A noise correction device for a photographing machine including an element.

The noise correction device according to claim 1,
A solid-state device comprising an adjusting means for increasing a gray image level of an image portion having a high luminance level and decreasing a gray image level of an image portion having a low luminance level in accordance with the luminance level of a photographed image of actual photographing; A noise correction device for a photographing machine including an image sensor.