JP2007081704A - 画像処理装置およびその画像処理装置を実現するプログラム - Google Patents

Abstract

【課題】画像情報からその画像情報に重畳されたノイズを除去する画像処理装置およびプログラムに関し、画像に含まれる微小な輝点を自動的にノイズ除去の対象から除外する。
【解決手段】画像情報に画像処理を施す画像処理装置において、前記画像情報が生成される撮影の条件と、前記画像情報で示される画像のシーンとの双方または何れか一方に基づいて、前記画像に画素のサイズ程度の輝点が含まれる可能性を識別し、前記画像処理の過程で前記輝点がノイズとして除去されない形態に前記画像処理の形態を設定する制御手段を備えて構成される。
【選択図】図２

Description

本発明は、画像情報に重畳されたノイズをその画像情報から除去する画像処理装置およびプログラムに関する。

電子カメラその他の撮像系で発生するノイズには、その撮像系に備えられた増幅器で発生するランダムノイズと、撮像面に配置された画素毎の暗電流に起因して発生する固定ノイズとがある。ランダムノイズは、一般に、露光時間には依存せず、かつ発生し得る画素がランダムに変化する。さらに、ランダムノイズは、撮像素子の感度に大きく依存し、特に、高感度撮影時に大幅に増加する。また、固定ノイズは、露光時間や温度だけではなく、個々の画素を構成するフォトダイオードの性能にも依存しており、画素毎に固有のノイズとして発生する。

これらのノイズは画像の品質が劣化する要因であるため、上述した電子カメラその他の多くの装置の画像処理系には、ランダムノイズや固定ノイズを除去する機能が備えられる。このような装置では、ランダムノイズは、例えば、図３に示すように、撮像面上における個々の画素について、輝度Ｐ0 と、その画素の周りに位置する複数（例えば、「８」）の画素Ｐ1〜Ｐ8（以下、「近隣画素」という。）の輝度の平均値Ｐave とが比較され、その平均値Ｐave に対する誤差（＝｜Ｐave−Ｐ0｜）が既定の閾値ΔＤを超えた場合に、この平均値Ｐave で該当する画素の輝度Ｐ0 が置換されることによって除去が図られる。なお、閾値ΔＤは、一般に、露光時の感度やシャッター速度等に応じて最適な値に設定される。

また、固定ノイズは、一般に、所望の被写体の撮影時と同じ露光時間その他の撮影条件で撮影されたダークフレーム（暗画像）との差分がとられることによって、除去される。なお、このダークフレームの撮影が行われる露光時間は、所望の被写体の撮影が長秒露光で行われる場合には、同様に長秒となる。固定ノイズのレベルが露光時間に応じて増加する割合が既知の場合は、標準的な露光時間（ある単位露光時間）で撮影されたダークフレームとの積として、上記の長秒撮影時に相当するダークフレームを推定することができ、その場合、撮影時間が無用に長くなることを回避できる。このようにしてダークフレームを撮影する機能は、電子カメラ等の機種によっては、自動的に有効となるもの、あるいは操作者がメニュー画面において有効としたり無効とすることが可能なものがある。しかし、このような機能が備えられない電子カメラの撮影者は、例えば、手動によりレンズキャップを装着した状態でダークフレームを撮影し、かつパソコン等によって実行される画像処理ソフトウエアを利用することによって、上記の差分をとっていた。
特開２００４−４０２３５号公報 特開２００４−２２２１４３号公報

ところで、上述した従来例では、被写体の如何にかかわらず撮影感度や露光時間に応じて既述の閾値ΔＤや近隣画素の数や範囲が設定されていたために、被写体の「質感」や「微小なざらつき」のような画像の微細な構造が壊れる可能性があった。特に、上述した近隣画素との差分が閾値ΔＤを超える輝点が含まれる画像は、その輝点がノイズとみなされて除去されるために、被写体の再現性が損なわれる可能性が高かった。

例えば、夜空に瞬く星、夜景や遠景に含まれるイルミネーション、水面に発生している波面のきらめき、ダイヤモンドダストや粉雪が降りしきる情景の撮影によって得られた画像では、その画像に点在する輝点は、除去されてはならない重要な要素である。しかし、このような輝点は、撮像素子で発生するランダムノイズや固定ノイズとの峻別が図られないために、特に、ノイズ除去や撮影感度の調整が自動的に行われる電子カメラ等では、これらのノイズと共に除去されていた。

本発明は、画像に含まれる微小な輝点を自動的にノイズ除去の対象から除外できる画像処理装置およびプログラムを提供することを目的とする。

本発明では、画像情報に画像処理を施す画像処理装置において、制御手段は、前記画像情報が生成される撮影の条件と、前記画像情報で示される画像のシーンとの双方または何れか一方に基づいて、前記画像に画素のサイズ程度の輝点が含まれる可能性を識別し、前記画像処理の過程で前記輝点がノイズとして除去されない形態に前記画像処理の形態を設定する。

上述したように本発明によれば、従来例に比べて、多様な被写体の像が高い品質で得られ、光学機器や画像処理装置の性能および付加価値が高められる。

以下、図面に基づいて本発明の実施形態について詳細に説明する。
図１は、本発明の第一ないし第三の実施形態を示す図である。図において、撮像部１０は光学系１１および撮像素子１２から構成され、その撮像素子１２の出力は画像信号処理２０の初段に配置されたアナログプロセス部２１の入力に接続される。画像信号処理部２０には、上述したアナログプロセス部２１に縦続接続されたＡ／Ｄ変換部２２およびディジタルプロセス部２３が備えられる。ディジタルプロセス部２３の特定のポートには記憶媒体３０が接続され、そのディジタルプロセス部２３のバス端子はプロセッサ４０のバス端子に接続される。なお、記憶媒体３０は、例えば、コンパクトフラッシュ（登録商標）メモリやスマートメディアのような着脱可能なメモリとして構成される。

図２は、本発明の第一ないし第三の実施形態におけるプロセッサの動作フローチャートである。図３は、本発明の第一の実施形態の動作を説明する図である。
［第一の実施形態］
以下、図１〜図３を参照して本発明の第一の実施形態の動作を説明する。本実施形態の特徴は、後述するようにプロセッサ４０およびディジタルプロセス部２３が連係して行う処理の手順にある。

撮像部１０（撮像素子１２）によって出力され、例えば、星が瞬く夜空の像を示すアナログ信号は、アナログプロセス部２１によってＲＧＢのゲイン補正その他の補正処理が施された後に、Ａ／Ｄ変換部２２に引き渡される。Ａ／Ｄ変換部２２は、そのアナログ信号をＡ／Ｄ変換することによって、上述した像を示す画像情報に変換する。ディジタルプロセス部２３は、その画像情報を図示されないメモリの特定の領域に蓄積し、かつ既述のランダムノイズや固定ノイズの除去を行うことなく、プロセッサ４０に引き渡す。

一方、プロセッサ４０は、このようにして引き渡された画像情報に応じて、以下の「シーン判定」（図２ステップＳ１）および「撮影条件判定」（図２ステップＳ２）の処理（図４(1))を行う。
（シーン判定）
画像情報で示される画像の輝度が全般的に低く、その画像の大部分が平滑な空と見なされ得るか否かの判定
（撮影条件判定）
露光時間がバルブまたは長秒に設定され、かつ撮影時刻（電子カメラに内蔵された時計によって与えられる。）が夜間の時間帯に該当するとの条件（以下、「主要撮影条件」という。）が成立し、さらに、識別が可能である場合には、ピントが無限大に設定され、画角が広角よりに設定され、絞りが開放されると共に、撮影モードが「天体撮影モード」または「夜景撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
なお、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立する場合には、一般に、図３の上部に示すように、被写体の主要部が星が瞬く夜空である可能性が高い。プロセッサ４０は、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立するか否かを示す二値情報を含んだ「制御情報」をディジタルプロセス部２３に引き渡す（図２ステップＳ３）。ここに、この二値情報の論理値については、以下では、「シーン判定処理」および「撮影条件判定処理」の全ての条件が成立する場合に限って「１」に設定されると仮定する。

ディジタルプロセス部２３は、上述した「制御情報」に含まれる二値情報の論理値を識別し、その論理値が「０」である場合には、先行して蓄積された画像情報に、従来例と同様に固定ノイズおよびランダムノイズの除去を実現する処理を施す。しかし、この二値情報の論理値が「１」である場合には、ディジタルプロセス部２３は、まず、固定ノイズの除去を行う。さらに、ディジタルプロセス部２３は、画像上における画素および輝点の輝度や色彩の分布に応じて、下記の第一ないし第三の方針の内、星に該当する輝点がノイズと最も見なされ難い方針に基づいてランダムノイズを除去する。
（第一の方針）
既述の閾値ΔＤを通常値より大きめの値に設定することによって元画像の輝度分布を成る可く忠実に残す。
（第二の方針）
近隣画素の数が図３に点線枠で示すように通常値（例えば、「８」）より大きめの値（例えば、「２４」）に設定することによって、「近隣画素」の輝度の平均値の精度を高める。
（第三の方針）
閾値ΔＤより小さい輝度の画素の輝度を「近隣画素」の輝度の平均値で置換する。

なお、ディジタルプロセス部２３は、既述の二値情報の論理値の如何にかかわらず、ランダムノイズや固定ノイズの除去に併せて、補間、色補正、ガンマ補正、輪郭強調その他のデジタル画像処理を上述した画像情報に施す。さらに、このようなディジタル画像処理の結果として生成された情報は、記憶媒体３０に順次格納される。
すなわち、上述したシーン判定および撮影条件判定に基づいて、被写体の主要部が夜空とその夜空に瞬く星とであることが自動的に推測され、かつ画像情報に微小な輝点として含まれる星がランダムノイズとして除去されることなく残される。したがって、本実施形態によれば、電子カメラ等の操作が煩雑となることなく、被写体の再現性が高められる。

なお、本実施形態では、「シーン判定」および「撮影条件判定」が図４(2) および下記に示されるように行われる場合には、図５(a) に示すように、夜景や遠景に含まれるイルミネーションがランダムノイズとして除去されることも回避可能である。
（シーン判定）
画像情報で示される画像の輝度が全般的に低く、その画像の上部が平滑な空と見なされ得るか否かの判定
（撮影条件判定）
露光時間が数秒レベルに設定され、撮影時刻が夜間の時間帯に該当し、かつ画角が広角に設定されているとの条件（以下、「主要撮影条件」という。）が成立し、さらに、識別が可能である場合には、ピントが無限大に設定され、絞りが「８」程度から「開放」に設定されると共に、撮影モードが「夜景撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
［第二の実施形態］
以下、図１、図２および図４を参照して本発明の第二の実施形態の動作を説明する。

本実施形態の特徴は、プロセッサ４０によって行われる「シーン判定」および「撮影条件判定」の処理と、そのプロセッサ４０と連係してディジタルプロセス部２３が行う処理との手順にある。
プロセッサ４０は、ディジタルプロセス部２３によって引き渡された画像情報に応じて、以下の「シーン判定」（図２ステップＳ１）および「撮影条件判定」（図２ステップＳ２）の処理（図４(3))を行う。
（シーン判定）
画像情報で示される画像の輝度が全般的に高く、その画像の上部が空色であって比較的平滑であると共に、この画像の下部が青色ないし緑色であって高い周波数成分を多く含むか否かの判定
（撮影条件判定）
撮影時刻が朝方ないし夕方の時間帯に該当し、かつ撮影モードが「風景撮影モード」または「ビーチ撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
なお、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立する場合には、一般に、図５(b) に示すように、被写体の下部は水面であってその水面に発生している波面のきらめきを含む可能性が高い。プロセッサ４０は、既述の第一の実施形態と同様に、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立するか否かを示す二値情報を含む「制御情報」をディジタルプロセス部２３に引き渡す（図２ステップＳ３）。

この「制御情報」に含まれる二値情報の論理値が「０」である場合にディジタルプロセス部２３によって行われる処理については、既述の第一の実施形態と同じであるので、ここではその説明を省略する。しかし、この二値情報の論理値が「１」である場合には、ディジタルプロセス部２３は、まず、固定ノイズの除去を行う。さらに、ディジタルプロセス部２３は、画像上における画素および輝点の輝度や色彩の分布に応じて、既述の第一ないし第三の方針の内、波面のきらめきに該当する輝点がノイズとして最も見なされ難い方針に基づいてランダムノイズを除去する。

すなわち、上述したシーン判定および撮影条件判定に基づいて、被写体の下部に水面とその水面に発生している波面のきらめきとがあることが自動的に推測され、かつ画像情報に微小な輝点として含まれるその波面のきらめきがランダムノイズとして除去されることなく残される。したがって、本実施形態によれば、電子カメラ等の操作が煩雑となることなく、被写体の再現性が高められる。

なお、本実施形態では、「シーン判定」および「撮影条件判定」が図４(4) および下記に示されるように行われることによって、図５(c) に示すように、撮影された情景に含まれる粉雪やダイヤモンドダストがランダムノイズとして除去されることも回避可能である。
（シーン判定）
画像情報で示される画像の輝度および色温度が全般的に高く、その画像のコントラストおよび彩度が全般的に低いか否かの判定
（撮影条件判定）
撮影時期が冬季に該当し、かつ気温（電子カメラに内蔵された温度計によって与えられる。）が低く、撮影モードが「風景撮影モード」や「スノー撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
また、本実施形態では、「シーン判定」および「撮影条件判定」が図４(5) および下記に示されるように行われることによって、撮影された雪面のきらめきがランダムノイズとして除去されることも回避可能である。
（シーン判定）
画像情報で示される画像の輝度および色温度が全般的に高く、その画像の下部では輝度が高く、かつ彩度が低いか否かの判定
（撮影条件判定）
撮影時期が冬季に該当し、かつ気温が低温であって、撮影モードが「風景撮影モード」や「スノー撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
なお、本実施形態では、既述の「シーン判定」は色温度が参照されることなく行われてもよい。

また、上述した第一および第二の実施形態では、ディジタルプロセス部２３は、二値情報の論理値が「１」であるときに、固定ノイズの除去に先行して特別な処理を行っていない。しかし、このような固定ノイズの除去は、例えば、画像処理の領域で実効的な撮影感度がディジタルプロセス部２３によって自動的に低め（あるいは高め）に変更された状態で行われてもよい。

さらに、上述した固定ノイズの除去は、画像情報で示される１コマ目の画像が全般的に暗い（あるいは明るい）場合における連写撮影の過程では、２コマ目以降の撮影感度が自動的に高め（あるいは低め）に更新されることが規制されつつ行われてもよい。
［第三の実施形態］
以下、図１、図２および図４を参照して本発明の第三の実施形態の動作を説明する。

本実施形態の特徴は、プロセッサ４０によって行われる「シーン判定」および「撮影条件判定」の処理と、そのプロセッサ４０と連係してディジタルプロセス部２３が行う処理との手順にある。
プロセッサ４０は、ディジタルプロセス部２３によって引き渡された画像情報に応じて、以下の「シーン判定」（図２ステップＳ１）および「撮影条件判定」（図２ステップＳ２）の処理（図４(7))を行う。
（シーン判定）
画像情報で示される画像の下部が緑色ないし黄緑色であって高い周波数成分を多く含むか否かの判定
（撮影条件判定）
撮影時刻が昼間の時間帯に該当し、かつ撮影モードが「風景撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
なお、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立する場合には、一般に、被写体の下部が草原または芝生である可能性が高い。プロセッサ４０は、既述の第一の実施形態と同様に、これらの「シーン判定」および「撮影条件判定」の全ての条件が成立するか否かを示す二値情報を含む「制御情報」をディジタルプロセス部２３に引き渡す（図２ステップＳ３）。

この「制御情報」に含まれる二値情報の論理値が「０」である場合にディジタルプロセス部２３によって行われる処理については、既述の第一の実施形態と同じであるので、ここではその説明を省略する。しかし、この二値情報の論理値が「１」である場合には、ディジタルプロセス部２３は、まず、撮影感度の自動的な更新を規制することなく、固定ノイズの除去を行う。さらに、ディジタルプロセス部２３は、画像上における画素および輝点の輝度や色彩の分布に応じて、既述の第一ないし第三の方針の内、所謂平滑化の処理であるランダムノイズ除去によって草原や芝生の微細な構造が破壊され、質感が損なわれないために最善な方針に基づいてランダムノイズを除去する。

すなわち、上述したシーン判定および撮影条件判定に基づいて、被写体の下部が草原や芝生であることが自動的に推測され、かつ画像情報に微小な輝点として含まれる草原や芝生の輪郭や模様がランダムノイズとして除去されることなく残される。したがって、本実施形態によれば、電子カメラ等の操作が煩雑となることなく、被写体の再現性が高められる。

なお、本実施形態では、「シーン判定」および「撮影条件判定」が図４(6) および下記のように行われることによって、撮影された砂浜や砂漠の一部に微小な輝点として含まれるきらめき等がランダムノイズとして除去されることも回避可能である。
（シーン判定）
画像情報で示される画像の輝度が全般的に高く、その画像の下部が白色ないし薄茶色であって高い周波数成分を多く含むか否かの判定
（撮影条件判定）
撮影時刻が昼間の時間帯に該当し、かつ撮影モードが「風景撮影モード」に設定されているとの条件（以下、「付加撮影条件」という。）が成立するか否かの判定
また、上述した各実施形態では、撮影条件判定は、既述の「主要撮影条件」のみが成立するか否かの判定として行われ、「付加撮影条件」が成立するか否かの判定が行われなくてもよい。さらに、このような「付加撮影条件」にかかわる判定は、プロセッサ４０による実現が可能であっても、そのプロセッサ４０の処理量の削減や応答性の確保が優先される場合には、省略されてもよい。また、上述した各実施形態では、「シーン判定」および「撮影条件判定」の基準は、ランダムノイズや固定ノイズの除去の過程で損なわれる被写体の忠実性が緩和され、あるいは回避されるために行われるノイズ除去の形態に適するならば、如何なる基準であってもよい。

さらに、上述した各実施形態では、撮像素子１２およびその撮像素子１２の走査の方式は、既述の画像処理（ランダムノイズや固定ノイズの除去を含む。）が画素単位に行われるならば、如何なるものであってもよい。また、上述した各実施形態では、「シーン判定」および「撮影条件判定」は、プロセッサ４０によって実行される新規のソフトウエアとして実現されている。しかし、これらの「シーン判定」および「撮影条件判定」は、例えば、露出補正やホワイトバンランスのために行われる色温度判定その他の既存の画像処理の結果、または色判定のような既存のシーン判定の結果が積極的に活用されることによって効率化され、かつ処理量の削減が図られてもよい。さらに、上述した各実施形態では、「撮影条件判定」に際して参照される情報は、電子カメラに備えられたセンサや操作部によって与えられる如何なる情報であってもよい。例えば、ＧＰＳ(Global Positioning System) 受信機その他の測位系が搭載された機器では、得られた位置情報と既知の地理情報とに基づいて撮影対象の特定の精度が高められてもよい。このような撮影対象の特定の精度は、例えば、水平面に対する撮像系の傾きや方位角に基づいて高めることも可能である。

また、上述した各実施形態では、ランダムノイズの除去の方針は、既述の第一ないし第三の方針に限定されず、「シーン判定」および「撮影条件判定」の結果に基づいて被写体の忠実性が高められるならば、どのような方針であってもよい。さらに、上述した各実施形態では、プロセッサ４０およびディジタルプロセス部２３が連係することによって行われる既述の処理は、これらの処理の全てもしくは一部が専用のハードウエアによって実現され、または、如何なる形態の機能分散や負荷分散に基づいて実現されてもよい。また、上述した各実施形態では、電子カメラに本発明が適用されている。しかし、本発明は、例えば、ディジタルビデオ装置、複写機、スキャナその他の多様な光学機器にも適用可能である。

さらに、本発明は、上述した電子カメラや画像処理装置によって生成された画像情報だけではなく、予め収録され、あるいは通信回線を介して配信された画像情報の画像処理の過程であっても、既述の「シーン判定」や「撮影条件判定」に際して参照される情報が確実に与えられるならば、同様に適用可能である。また、本発明は、上述した実施形態に限定されるものではなく、本発明の範囲において多様な実施形態が可能であり、かつ構成装置の全てまたは一部に如何なる改良が施されてもよい。

本発明の第一ないし第三の実施形態を示す図である。 本発明の第一ないし第三の実施形態におけるプロセッサの動作フローチャートである。 本発明の第一の実施形態の動作を説明する図である。 本発明の第一ないし第三の実施形態におけるシーン判定および撮影条件判定の基準を示す図である。 ノイズとして除去されることが回避されるべき輝点を含む画像を示す図である。

符号の説明

２０…画像信号処理部， ２１…アナログプロセス部， ２２…Ａ／Ｄ変換部， ２３…ディジタルプロセス部， ４０…プロセッサ

Claims (10)

1. 画像情報に画像処理を施す画像処理装置において、
   前記画像情報が生成される撮影の条件と、前記画像情報で示される画像のシーンとの双方または何れか一方に基づいて、前記画像に画素のサイズ程度の輝点が含まれる可能性を識別し、前記画像処理の過程で前記輝点がノイズとして除去されない形態に前記画像処理の形態を設定する制御手段を備えた
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記条件は、
   バルブまたは長秒の露光時間および夜間の時間帯であり、
   前記シーンは、
   前記画像の大部分が空と見なし得る
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記条件は、
   数秒レベルの露光時間および夜間の時間帯であり、
   前記シーンは、
   前記画像の上部が空と見なし得る
   ことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記シーンは、
   前記画像が空と見なし得る第一の領域と、その第一の領域に隣接し、かつ高い周波数成分を多く含み、青から緑にかけての色域をもつ第二の領域とから構成されると共に、大部分の領域の輝度が高い
   ことを特徴とする画像処理装置。
5. 請求項１に記載の画像処理装置において、
   前記シーンは、
   コントラストおよび彩度が低く、かつ大部分の領域の輝度が高い
   ことを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記シーンは、
   前記画像の特定の領域の輝度が高く、かつ彩度が低いと共に、大部分の領域の輝度が高い
   ことを特徴とする画像処理装置。
7. 請求項１に記載の画像処理装置において、
   前記シーンは、
   前記画像の特定の領域が高い周波数成分を多く含み、かつ白色ないし薄茶色の色域であり、かつ大部分の領域の輝度が高い
   ことを特徴とする画像処理装置。
8. 請求項１に記載の画像処理装置において、
   前記シーンは、
   前記画像の縁部の何れかを含まない特定の領域が高い周波数成分を多く含む緑色ないし黄緑色の色域である
   ことを特徴とする画像処理装置。
9. 請求項２ないし請求項８の何れか１項に記載の画像処理装置において、
   前記条件には、
   前記輝点で示される被写体の撮影に適した撮影モードが含まれる
   ことを特徴とする画像処理装置。
10. 請求項１ないし請求項９の何れか１項に記載された画像処理装置としてコンピュータを機能させるためのプログラム。
    

Images