JP2004166010A - Method for reducing image noise and image processor - Google Patents

Method for reducing image noise and image processor Download PDF

Info

Publication number
JP2004166010A
JP2004166010A JP2002330149A JP2002330149A JP2004166010A JP 2004166010 A JP2004166010 A JP 2004166010A JP 2002330149 A JP2002330149 A JP 2002330149A JP 2002330149 A JP2002330149 A JP 2002330149A JP 2004166010 A JP2004166010 A JP 2004166010A
Authority
JP
Japan
Prior art keywords
pixel
image
value
noise reduction
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002330149A
Other languages
Japanese (ja)
Inventor
Kazunori Sumitani
一徳 隅谷
Manabu Yada
学 矢田
Taro Hizume
太郎 樋爪
Toshiyuki Sano
俊幸 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2002330149A priority Critical patent/JP2004166010A/en
Publication of JP2004166010A publication Critical patent/JP2004166010A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method for reducing image noise and an image processor which realize noise reduction without losing information on an image edge with simple constitution. <P>SOLUTION: The image processor has a rearranging part 113 for rearranging a pixel under consideration and its surrounding pixels in the order of pixel values, a subtracter 114 for calculating the difference between the maximum value and the minimum value of the rearranged pixel values, and a selector 116 for replacing the value of the pixel under consideration with the median of the rearranged pixels when the difference is smaller than a threshold. When the difference between the maximum value and the minimum value of the image is larger than the threshold, the image processor judges that the part of an image as an edge part to output the original value of the pixel under consideration and judges that the part as a non-edge part to output the median when the difference is smaller than than the threshold. Thus, the influence of image noise is reduced without losing the information on the image edge with a simple constitution. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、ディジタル画像処理において、特にノイズ低減を実現する画像ノイズ低減方法及び画像処理装置に関するものである。
【0002】
【従来の技術】
画像信号処理において、ノイズの低減は画質改善のために非常に重要である。特に、被写体が暗い場合などでは、低レベルのノイズがゲイン増幅により増大されるため、ノイズが目立ってしまい画質劣化の大きな要因となっている。
【0003】
従来、ノイズの低減やインパルスノイズの除去を行うためには、画像にメディアンフィルタをかける方法が知られている。しかし、画像全体にメディアンフィルタをかけた場合、細い線がぼけて画像の解像度が悪くなってしまうという問題があった。
それに対応するため、図13に示すように、画像エッジの検出結果を用いてノイズフィルタをオン、オフ制御することにより、上記のような細線がぼける問題を回避するようにした従来の画像雑音除去回路が開示されている(例えば、特許文献1参照)。
【0004】
【特許文献1】
特開平09−200579号公報(段落番号7〜8、図1)
【0005】
図13に示す従来例の画像雑音除去回路は、メディアンフィルタ8、9と共に、水平、垂直エッジ検出回路3、2と、信号選択スイッチ11、12、13とを有して構成される。このような構成において、この画像雑音除去回路は水平、垂直エッジ検出回路3、2の出力を元に、メディアンフィルタ8、9のかかった信号と、かかっていない信号とを切替えて出力することにより、画像のエッジ部分では、メディアンフィルタのかかっていない信号を出力して細線がぼける問題を回避しつつ、ノイズ低減を実現しようとするものである。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来の画像雑音除去回路のように、エッジ検出回路等他の機能ブロックの出力を用いて信号を切り替える方法では、機能ブロック間における同期が必要なため、タイミング制御が複雑になり、回路規模が増大するという問題があった。
【0007】
本発明は、上記従来の問題を解決するためになされたもので、簡単な構成で画像のエッジ情報を失うことなく、ノイズ低減を実現する画像ノイズ低減方法及び画像処理装置を提供するものである。
【0008】
【課題を解決するための手段】
本発明における画像ノイズ低減方法は、注目画素と前記注目画素の周囲画素を画素値の順に並べ替えるステップと、並べ替えた前記画素値の最大値と最小値との差分を求めるステップと、前記差分がしきい値より小さい場合には前記注目画素の画素値を並べ替えた画素のメディアンに置き換えるステップとを有するという構成を有している。この構成により、画像の最大値と最小値の差がしきい値より大きい時はエッジ部分と判定して元の注目画素の値を出力し、小さい時は非エッジ部と判定してメディアン(中央値)を出力することで、簡単な構成により画像のエッジ情報を失うことなく、ノイズの影響を低減することが出来る。
【0009】
本発明における画像ノイズ低減方法は、注目画素と前記注目画素の周囲画素を画素値の順に並べ替えるステップと、並べ替えた前記画素値の最大値からm(mは2以上の整数)番目の値と最小値からn(nは2以上の整数)番目の値との差分を求めるステップと、前記差分がしきい値より小さい場合には前記注目画素の画素値を並べ替えた画素のメディアンに置き換えるステップとを有するという構成を有している。この構成により、簡単な構成で画像のエッジ情報を失うことなく、画像に生じる信号レベルの低いノイズの影響とインパルスノイズの影響を低減することが出来る。
【0010】
本発明における画像ノイズ低減方法は、前記注目画素と前記周囲画素とを画素値の順に並べ替えるステップが、並べ替えた画素の画素値と列番号とを記録するステップと、前記注目画素に隣接する隣接画素の処理を行う際に、前記注目画素で並べ替えられた画素値の集合から前記注目画素のみの周囲にある画素のみを削除し、前記隣接画素のみの周囲にある画素の画素値を加えて並べ直すステップとを有するという構成を有している。この構成により、画素を画素値の順に並べ替える際の処理負担を軽減することが出来る。
【0011】
本発明における撮像装置は、請求項1ないし3のいずれかに記載の画像ノイズ低減方法を実行するノイズ低減部を有するという構成を有している。この構成により、画像のエッジ情報を失うことなく、簡単な構成によりノイズの影響を低減した画像を得ることが出来る撮像装置を実現することが出来る。
【0012】
本発明における画像処理装置は、請求項1ないし3のいずれかに記載の画像ノイズ低減方法を実行するノイズ低減部を有するという構成を有している。この構成により、画像のエッジ情報を失うことなく、簡単な構成によりノイズの影響を低減した画像を得ることが出来る画像処理装置を実現することが出来る。
【0013】
本発明における撮像装置は、画素は映像信号を増幅して変換され、前記画素値の増幅量に応じ画像の微妙な変化をノイズとせず、画像の大きな変化をエッジとなるノイズにしない値に前記しきい値を制御するしきい値制御手段を有するという構成を有している。この構成により、撮像環境、特に被写体の明るさに合わせた良好なノイズ低減処理を施した画像が得られる撮像装置を実現することが出来る。
【0014】
本発明における画像処理装置は、画像の撮像状況記録および統計情報を用いて前記しきい値を調整するしきい値制御手段を有するという構成を有している。この構成により、撮像時の状況特に被写体の明るさに合わせた良好なノイズ低減処理を施した画像が得られる画像処理装置を実現することが出来る。
【0015】
本発明におけるプログラムは、請求項1ないし3のいずれかに記載の各ステップをコンピュータに実行させるという構成を有している。この構成により、請求項1ないし3のいずれかに記載の各ステップを他のコンピュータで実行させることが可能となる。
【0016】
本発明におけるコンピュータ読み取り可能な記録媒体は、請求項8に記載のプログラムを記録したという構成を有している。この構成により、請求項8に記載のプログラムを記録した記録媒体を他のコンピュータで読み取り、実行させることが可能となる。
【0017】
【発明の実施の形態】
以下、添付図面に基づき、本発明の第1ないし第8の実施の形態を詳細に説明する。
(第1の実施の形態)
まず、図1および図2を参照して、本発明の第1の実施の形態における画像ノイズ低減方法を実現する画像処理装置の構成を説明する。
以下、本実施の形態においては、図2に示すような、注目画素221とその周囲画素(3*3)222を用いて処理を行う例を用いて説明する。以下の説明では3*3画素を用いるが、本発明の実施にあたり、3*3画素に限定するものではない。
【0018】
図1に示す画像処理装置は、入力した画像信号を1ライン分遅延して、注目画素221の上下のラインの画素データ(画素値)が得られるラインメモリ111と、画像信号を1画素分遅延して、注目画素221の左右の画素データ(画素値)が得られる遅延回路112と、ラインメモリ111および遅延回路112から入力した画素値の大小を比較して並べ替えを行い、その最大値、メディアン、最小値を出力する並べ替え部113と、並べ替え部113の出力の最大値と最小値の差分を求める減算器114と、その差分をしきい値と比較する比較器115と、比較結果により元の注目画素221の値かメディアンの値のどちらかを選択する選択器116とを有する(選択の仕方は後述する)。また、並べ替え部113と、減算器114と、比較器115と、選択器116とにより、メディアンフィルタとしての機能を実現する。なお、並べ替え部113は画素を画素値の順に並べ替える処理を行うものであり、メディアン(中央値)を求める際に必ず必要になるものである。
【0019】
次に、図1および図2を参照して、本発明の第1の実施の形態における画像ノイズ低減方法を実現する画像処理装置の動作を説明する。
画像処理装置に入力した画像信号をラインメモリ111により1ライン分遅延して得られた注目画素221の上下のラインの画素データと、画像信号を1画素分遅延して得られた注目画素221の左右の画素データと、画像中の注目画素221とが並べ替え部113に入力される。メディアンフィルタとしての機能の一部を有する並べ替え部113では、入力された値の大小関係を比較して並べ替えを行い、その最大値、メディアン、最小値を出力する。減算器114により並べ替え部113の出力の最大値と最小値の差分を求め、比較器115によってその差分としきい値との大小を判定する。その比較結果に従って、選択器116により元の注目画素221の値かメディアンのどちらを出力するかを選択する。
【0020】
次に、図3を参照して、注目画素221とその周囲画素222の値の関係をグラフにより説明する。図3において、横軸が画素値で右へ行くほど輝度が高く、縦軸は画素数である。図3Aは非エッジ部分のイメージであり、最大値333と最小値331の差が小さく、画像のこの部分は画像のほぼ均一な部分つまり非エッジ部分であると考えることが出来る。逆に図3Bでは最大値336と最小値334の差が大きく、エッジ部分と考えることが出来る。
具体的には、最大値と最小値の差分がしきい値以上の場合は、注目画素221の周囲は画像のエッジ部分と考えてフィルタのかからない元の注目画素221の値を出力する。しきい値以下の場合は注目画素221の周囲は画像の非エッジと判定し、メディアンフィルタのかかった値を出力することにより、ノイズの影響を低減することができる。
【0021】
このような構成とすることにより、メディアンを求めるために必要な並べ替え部113の出力を用いて画像のエッジ部分か非エッジ部分かの判定を行うことができ、従来のように別にエッジ検出ブロックを設け、その結果を用いて制御を行う必要が無く、簡単な構成でノイズ低減処理を実現することが出来る。
注目画素221と周囲の画素222の値を用いて処理を行うことは画像信号処理においては一般的な処理であり、他の処理ブロックにラインメモリ111と遅延回路112が実装されているならば、それを使用することにより、図1に示す画像処理装置からラインメモリ111と遅延回路112とを削除することも出来る。
【0022】
(第2の実施の形態)
次に、図4を参照して、本発明の第2の実施の形態における画像ノイズ低減方法を実現する画像処理装置について説明する。
図4に示す本実施の形態における画像処理装置の構成は図1に示すものと同様であるが、図4に示す並べ替え部443からは、最大値に代わり最大値からm番目の値を出力し、最小値に代わり最小値からn番目の値を出力ことが第1の実施の形態のものと異なる点である。
【0023】
次に、図4を参照して、本発明の第2の実施の形態における画像ノイズ低減方法を実現する画像処理装置の動作を説明する。
まず、第1の実施の形態における場合と同様に、ラインメモリ441と遅延回路442を使用して注目画素221とその周囲画素222の値を並べ替え部443に入力する。並べ替え部443では、入力した注目画素221とその周囲画素222の値の大小関係を比較して並べ替えを行い、そのメディアンと、最大値からm番目の値と、最小値からn番目の値を出力する(m、nは2以上の整数)。
減算器444により最大値からm番目の値と最小値からn番目の値の差分を求め、比較器445によりその差分としきい値との大小を判定する。その判定結果に従い、選択器446により元の注目画素221の値か、メディアンの値のどちらを出力するかを制御する。比較器445において差分がしきい値以上の場合は注目画素221の周囲画素222はエッジ部分と考えて元の注目画素221の値を、そうでなければメディアンを出力する。
【0024】
撮像素子がCCDやCMOSといった固体撮像素子である場合、欠陥画素や温度キズによって画素の値が極端に大きい画素や極端に小さい画素が存在する場合がある。製造過程の検査において、大きく繋がった画素が欠陥である場合や、あまりに多くの画素が欠陥の場合は不良品とされるが、ある程度以下の場合は良品とされるため、画像の中に極端に大きな値や小さな値の、ごま塩ノイズやインパルスノイズと呼ばれるノイズが散在することがある。
このような場合、注目画素221とその周囲画素222の値をグラフ化すると、図3Cのようになる。キズの画素310は他の値から極端に外れて大きな(または小さな)値となるが、最大値からm番目の値339と、最小値からn番目の値337の差はしきい値を超えないので、インパルスノイズがあっても、非エッジ部分と判定することが出来る。
【0025】
画像のエッジ部分の場合には図3Dのように、(図3Dは図3Bと全く同じグラフである)値が大きい部分と小さい部分それぞれに分布することが期待でき、最大値からm番目の値313と、最小値からn番目の値311の差はしきい値を超えるのでエッジ部分と判定することが出来る。ただし、エッジ部分か非エッジ部分かの判定能力は第1の実施の形態のものと比較すると悪くなるので、画像のインパルスノイズが目立つ時に本実施の形態を用いるのが好ましい。
なお、m、nは処理の用いる周囲画素の数にもよるが、2または3程度が好ましい。
【0026】
(第3の実施の形態)
次に、図5および図6と、図7のフローチャートとを参照して、本発明の第3の実施の形態における画像ノイズ低減方法を実現する画像処理装置について説明する。
メディアンフィルタを実現するには、データを値の順に並べ替える必要があるが、並べ替えるデータ数が多くなるほど並べ換え処理は複雑となり、データ数nに対してO(n*n)やO(nlog n)といったオーダで処理量は増加する(ここで、Oはオーダを意味する)。
ところで、画像処理は各ライン毎に左から右に1画素ずつ行っていくのが一般的である。すると、図5に示すように、N列目の処理に使用する画素551とN+1列目の処理に使用する画素552は重なっており、この重なっている部分553の並べ替えはN列目の処理で既に行われているので、これを利用して、N列目の並べ替え結果から一番左の画素の値を削除し、新たに右の列の画素を追加することにより処理量を削減することが出来る。すなわち、この並べ替え処理は、リスト構造(図6)と挿入ソート(アルゴリズム)とを使用することにより上記のように実現することができる。
【0027】
図6Aは並べ替えに用いるリストと呼ばれるデータ構造を示している。1つデータの単位であるレコードは“画素の値661”、“画素の列番号662”、“次レコードへのポインタ663”から成る。“次レコードへのポインタ663”は次のレコードの位置を指し示し、レコードが順々に繋がってリスト構造を構成する。
【0028】
次に、図7を参照して、本発明の第3の実施の形態における画像ノイズ低減方法を実現する画像処理装置の動作を説明する。
まず、図7Aを参照して、挿入ソートの動作を説明する。まずは、ステップS771(以下、ステップの文字は省略する)において、リストから古い列のデータを削除する。この削除処理を処理に用いる周囲画素の行数だけ繰り返すことにより、古い列のデータを全て削除することが出来る(S772)。その後、新しい列のデータを行数の分だけ挿入する(S773)(S774)。
【0029】
次に、図7Bを参照して、リストからレコードを削除する処理動作を説明する。まず、ポインタを先頭レコードに合わせる(S775)。レコードの画素の列番号が古い列であるかどうかを判定し(S776)、そうでなければポインタの値を“次レコードへのポインタ”の値に変更し(S777)、判定処理(S776)に戻る。古い列のデータと判断された場合は、一つ前のレコードの“次レコードへのポインタ”を現在のレコードの“次レコードへのポインタ”に変更することにより、現在のレコードをリストから外す(S778)。リストからレコードを削除するイメージを図6Bに示す。
【0030】
次に、図7Cを参照して、リストにレコードを追加する処理動作を説明する。まず、ポインタを先頭レコードに合わせる(S779)。追加したい値と“画素の値”を比較して(S780)小さい場合はポインタの値を“次レコードへのポインタ”の値に変更または設定して(S781)比較処理(S780)に戻る。大きい場合は、一つ前のレコードの“次レコードへのポインタ”を追加レコードへのポインタに設定し(S782)、追加レコードの“次レコードへのポインタ”を前レコードの“次レコードへのポインタ”に変更することで、現在のレコードをリストに追加する(S783)。リストにレコードを追加するイメージは図6Cに示す通りである。
【0031】
挿入ソートのオーダはO(n*n)であるが、以上のような方式を用いることにより、ソート済みのデータを再利用することで処理量を削減することが出来る。なお、本実施の形態においては、リストの先頭レコードや最終レコードの削除および追加についての例外的な処理が発生することについて説明を行わなかったが、先頭と最終にダミーレコードを用意する等の方法で例外的な処理を回避することが出来る。
【0032】
(第4の実施の形態)
次に、図8を参照して、本発明の第4の実施の形態におけるノイズ低減手段を構成要素とする撮像装置について説明する。
図8に示す本実施の形態における撮像装置は、映像信号をアナログ信号に光電変換する撮像素子881と、アナログ信号を増幅するアナログゲイン手段882と、増幅されたアナログ信号をディジタル画像信号に変換するAD変換手段883と、ディジタル画像信号を画像処理する画像信号処理手段884とを有し、画像信号処理手段884は、画像全体の輝度平均や分布を計測する画素値計測手段885と、画素値計測手段885の計測結果からアナログゲイン手段882およびディジタルゲイン手段887のゲイン量を算出するゲイン量制御手段886と、ディジタル画像信号を増幅するディジタルゲイン手段887と、本発明によりディジタル画像ノイズを低減するノイズ低減手段888と、その他様々な画像処理を行う画像処理手段889とを備える。
【0033】
次に、図8を参照して、本発明の第4の実施の形態におけるノイズ低減手段を構成要素とする撮像装置の動作を説明する。
まず、撮像素子881で光電変換されたアナログ信号はアナログゲイン手段882において増幅され、AD変換手段883でディジタル化され、画像信号処理手段884で画像処理される。画素値計測手段885は画像処理された画像全体の輝度平均や分布を計測し、ゲイン量制御手段886はその計測結果を用いて、アナログゲイン手段882やディジタルゲイン手段887のゲイン量を算出する。ノイズ低減手段888は、ディジタルゲイン手段887で増幅されたディジタル画像信号に対し、第1ないし第3の実施の形態のいずれか、またはそれらの組み合わせによるノイズ低減処理を実行して、ノイズの影響を低減する。この後、その他様々な画像処理手段889による処理が行われて、画像信号を出力することにより、ノイズが低減された良好な画像を得ることが出来る。
なお、図8から分かるように、ノイズ低減手段888は独立した1つの機能ブロックであり、従来のようにエッジ検出回路の出力を必要としない。
【0034】
(第5の実施の形態)
次に、図9を参照して、本発明の第5の実施の形態におけるノイズ低減手段を構成要素とするディジタル画像処理装置について説明する。
ディジタル化された画像入力信号991は、画像情報収集手段992で画像全体の輝度平均や分布、色の平均や分布等が計測され、調整量算出手段993では、その計測結果に基づき、輝度やコントラスト、色合い等の調整量を算出し、輝度、コントラスト調整手段994は、算出した調整量により画像入力信号991を調整する。その後、ノイズ低減手段995では、調整された画像信号に対し、第1ないし第3の実施の形態のいずれか、またはそれらの組み合わせによるノイズ低減処理を実行して、ノイズの影響を低減する。この後、その他様々な各種画像処理手段996による処理が行われて、画像信号を出力することにより、ノイズが低減された良好な画像を得ることが出来る。
【0035】
(第6の実施の形態)
次に、図10を参照して、本発明の第6の実施の形態におけるノイズ低減手段を構成要素とする撮像装置について説明する。
図8に示す本実施の形態における撮像装置は、映像信号をアナログ信号に光電変換する撮像素子101と、アナログ信号を増幅するアナログゲイン手段102と、増幅されたアナログ信号をディジタル画像信号に変換するAD変換手段103と、ディジタル画像信号を画像処理する画像信号処理手段104とを有し、画像信号処理手段104は、画像全体の輝度平均や分布を計測する画素値計測手段105と、画素値計測手段105の計測結果からアナログゲイン手段102およびディジタルゲイン手段108のゲイン量を算出するゲイン量制御手段106と、ゲイン量制御手段106で求めたゲイン量に従ってしきい値を制御するしきい値制御手段107と、ディジタル画像信号を増幅するディジタルゲイン手段108と、しきい値制御手段107で算出したしきい値を用いて画像のエッジ部分と非エッジ部分を判定してノイズ低減を行うノイズ低減手段109と、ノイズ低減された画像信号に対しその他様々な画像処理を実行する各種画像処理手段1010とを備える。
【0036】
次に、図10を参照して、本発明の第6の実施の形態におけるノイズ低減手段を構成要素とする撮像装置の動作を説明する。
まず、撮像素子101で光電変換されたアナログ信号はアナログゲイン手段102において増幅され、AD変換手段103でディジタル化され、画像信号処理手段104において画像処理される。画素値計測手段105では画像全体の輝度平均や分布が計測され、ゲイン量制御手段106は、その結果を用いてアナログゲイン手段102およびディジタルゲイン手段108のゲイン量を算出する。
しきい値制御手段107は、ゲイン量制御手段106で求めたゲイン量に従ってしきい値を制御し、ノイズ低減手段109はしきい値制御手段107で算出したしきい値を用いてディジタルゲイン手段108で増幅されたディジタル画像信号に対し、画像のエッジ部分および非エッジ部分の判定を行うことによりノイズ低減を行う。この後、その他様々な画像処理を各種画像処理手段1010で行い、画像信号を出力することにより、ノイズが低減された良好な画像を得ることが出来る。
【0037】
ノイズ低減手段109で用いられるしきい値は、画像の輝度に変化があったときに、それがノイズなのか画像なのかを判断するためのものである。しきい値が大きいと、画像の微妙な変化をノイズとしてフィルタ処理をかけてしまい。画質劣化の原因となる。逆にしきい値が小さいと、大きなノイズをエッジと誤判定してしまい、ノイズを除去することができない。故に、しきい値の決定は非常に大きくノイズ低減の効果を左右する。きい値はノイズレベル上限程度に設定されることが望ましい。
ノイズは撮像素子の暗電流、アナログノイズやディジタルノイズが映像信号に乗ることから発生するが、アナログゲインやディジタルゲインによってノイズも増幅されてしまう。被写体が暗くゲイン量が大きい時にはノイズも大きくなるのでしきい値を大きく、逆に被写体が明るくゲイン量が小さい時には、しきい値を小さくすることにより良好なノイズ低減効果を得ることが出来る。
【0038】
(第7の実施の形態)
次に、図11を参照して、本発明の第7の実施の形態におけるノイズ低減手段を構成要素とするディジタル画像処理装置について説明する。
ディジタル化された画像入力信号1110は画像情報収集手段1120で画像全体の輝度平均や分布、色の平均や分布等が計測される。近年の撮像装置には撮像時の絞りやシャッタ速度、ゲイン量等の撮影状況を画像情報と共に撮影状況記録1130として出力することが出来る。調整量算出手段1140では、画像情報収集手段1120の出力と撮影状況記録1130の情報を用いて輝度やコントラスト、色合い等の調整量を算出し、輝度、コントラスト調整手段1160にて画像入力信号1110の調整を行う。しきい値算出手段1150では調整量算出手段1140の輝度調整量情報からしきい値を算出する。ノイズ低減手段1170では、しきい値算出手段1150で求めたしきい値を用いてエッジ判定を行い、ノイズ低減処理を実行する。この後、その他様々な各種画像処理手段1180において画像処理を行い、画像信号を出力する。
このように、入力画像から得られた情報と、撮影状況の記録から得られたゲイン状態とからしきい値を制御することにより、良好なノイズ低減効果を得ることが出来る。
【0039】
(第8の実施の形態)
次に、図12のフローチャートを参照して、本発明の第8の実施の形態におけるノイズ低減処理方法の手順を説明する。
まず、この処理を注目画素(図2の221)の周囲3*3画素を用いて行う場合、注目画素221のY座標を1にセットし(S121)、X座標を1にセット(S122)する。注目画素221とその周囲3*3画素(図2の222)の輝度値をメモリやレジスタから取得し(S123)、第3の実施の形態で説明したような並べ替え処理(S124)を行う。並べ替え後の最大値と最小値の差がしきい値より大きいか否か判定し(S125)、大きければエッジ部分と判定して注目画素221の値を出力し(S126)、小さければ非エッジ部分と判定してメディアンを出力する(S127)。ノイズ低減処理は画像の左上から右上に行い、次に1行下がって左から右へと、画像右下まで順に処理を行ってゆく(S128)(S129)。
【0040】
このようなノイズ低減処理を行うノイズ低減機能アルゴリズムを実行するプログラムを、MPU、DSP等のコンピュータで実行することにより、画像入力信号のノイズ低減処理を実現することができる。
なお、前記ノイズ低減機能アルゴリズムを実現するプログラムは,磁気ディスク、光磁気ディスク,ROM等の記録媒体に記録することができる。この記録媒体をコンピュータで読み取ってMPU、DSP等で実行することにより画像のノイズ低減処理を実現することができる。
【0041】
【発明の効果】
本発明における画像ノイズ低減方法及び画像処理装置は、上記のように構成され、特に、注目画素とその周囲画素の画素値による並べ替えを行い、その最大値と最小値の差により、エッジ部分か非エッジ部分かを判定して、出力を注目画素の画素値とメディアンとで切り替えることにより、他にエッジ検出回路を必要とすることなく、簡単な構成で、画像のエッジ情報を減失せずに、ノイズ低減処理を実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態における画像ノイズ低減方法を実現する画像処理装置の構成を示すブロック図、
【図2】本発明の第1の実施の形態における画像ノイズ低減方法に用いる画素のイメージ図、
【図3】本発明の第1、第3の実施の形態における画像ノイズ低減方法に用いる注目画素とその周囲画素の画素値を示すグラフ、
【図4】本発明の第2の実施の形態における画像ノイズ低減方法を実現する画像処理装置の構成を示すブロック図、
【図5】本発明の第3の実施の形態における画像ノイズ低減方法に用いる画素のイメージ図、
【図6】本発明の第3の実施の形態における画像ノイズ低減方法に用いるリスト構造の例を示す図、
【図7】本発明の第3の実施の形態における画像ノイズ低減方法に用いるリスト構造を制御するフローチャート、
【図8】本発明の第4の実施の形態におけるノイズ低減手段を用いた撮像装置の構成を示すブロック図、
【図9】本発明の第5の実施の形態におけるノイズ低減手段を用いたディジタル画像処理装置の構成を示すブロック図、
【図10】本発明の第6の実施の形態におけるノイズ低減手段を用いた撮像装置の構成を示すブロック図、
【図11】本発明の第7の実施の形態におけるノイズ低減手段を用いたディジタル画像処理装置の構成を示すブロック図、
【図12】本発明の第8の実施の形態におけるノイズ低減処理方法の処理手順を示すフローチャート、
【図13】従来の画像雑音除去回路のブロック図。
【符号の説明】
111、441 ラインメモリ
112、442 遅延回路
113、443 並べ替え部
114、444 減算器
115、445 比較器
116、446 選択器
221 注目画素
222 周囲画素
331、334 最小値
332、335、338、312 メディアン
333、336 最大値
337、311 最小値からn番目の値
339、313 最大値からm番目の値
310 キズ画素の値
551 N列目の処理に使用する画素
552 N+1列目の処理に使用する画素
553 両方の処理で共通して使用する画素
661 画素の値
662 列番号
663 次のレコードへのポインタ
S771 レコード削除
S772 周囲画像の行数だけループ
S773 レコード追加
S774 周囲画像の行数だけループ
S775 ポインタを先頭レコードに合わせる
S776 古い列のレコードか判定
S777 ポインタを移動
S778 一つ前のレコードと次のレコードをつなぐ
S779 ポインタを先頭レコードに合わせる
S780 画素値の大小判定
S781 ポインタを移動
S782 一つ前のレコードと追加レコードをつなぐ
S783 追加レコードと次のレコードをつなぐ
881、101 撮像素子
882、102 アナログゲイン手段
883、103 AD変換手段
884、104 画像信号処理手段
885、105 画素値計測手段
886、106 ゲイン量制御手段
887、108 ディジタルゲイン手段
888、995、109、1170 ノイズ低減手段
889、996、1010、1180 各種画像処理手段
991、1110 画像入力信号
992、1120 画像情報収集手段
993、1140 調整量算出手段
994、1160 輝度、コントラスト調整手段
107 しきい値制御手段
1130 撮像情報記録手段
1150 しきい値算出手段
S121 Y座標初期化
S122 X座標初期化
S123 注目画素と周囲画素の値を取得
S124 並べ替え処理
S125 注目画素がエッジかどうか判定
S126 注目画素の値を出力
S127 メディアン値を出力
S128 X座標最後まで繰り返し
S129 Y座標最後まで繰り返し
1 入力端子
2 垂直エッジ検出回路
3 水平エッジ検出回路
4 判定回路
5、6、7、10 遅延回路
8、3ラインメディアンフィルタ
9、9画素メディアンフィルタ
11、12、13 信号選択スイッチ
14 出力端子
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image noise reduction method and an image processing apparatus for implementing noise reduction in digital image processing.
[0002]
[Prior art]
In image signal processing, noise reduction is very important for improving image quality. In particular, when the subject is dark, low-level noise is increased by gain amplification, so that the noise is conspicuous and is a major factor in image quality deterioration.
[0003]
Conventionally, a method of applying a median filter to an image to reduce noise and remove impulse noise is known. However, when a median filter is applied to the entire image, there is a problem that thin lines are blurred and the resolution of the image is deteriorated.
In order to cope with this, as shown in FIG. 13, a conventional image noise elimination device that avoids the above-described problem of thin lines by controlling the ON / OFF of a noise filter using a detection result of an image edge. A circuit is disclosed (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP-A-09-200579 (paragraphs 7 to 8, FIG. 1)
[0005]
The conventional image noise elimination circuit shown in FIG. 13 includes median filters 8 and 9, horizontal and vertical edge detection circuits 3 and 2, and signal selection switches 11, 12 and 13. In such a configuration, the image noise elimination circuit switches and outputs the signals subjected to the median filters 8 and 9 and the signals not applied based on the outputs of the horizontal and vertical edge detection circuits 3 and 2. At the edge portion of an image, a signal not subjected to a median filter is output to avoid a problem in which a fine line is blurred, and to reduce noise.
[0006]
[Problems to be solved by the invention]
However, in the method of switching a signal using the output of another function block such as an edge detection circuit as in the above-described conventional image noise elimination circuit, synchronization between the function blocks is necessary, so that timing control becomes complicated, and the circuit There was a problem that the scale increased.
[0007]
SUMMARY OF THE INVENTION The present invention has been made to solve the above-described conventional problem, and provides an image noise reduction method and an image processing apparatus which realize noise reduction with a simple configuration without losing edge information of an image. .
[0008]
[Means for Solving the Problems]
The image noise reduction method according to the present invention includes a step of rearranging a target pixel and pixels surrounding the target pixel in the order of pixel values; a step of obtaining a difference between a maximum value and a minimum value of the rearranged pixel values; Is smaller than the threshold value, the pixel value of the target pixel is replaced with the median of the rearranged pixel. With this configuration, when the difference between the maximum value and the minimum value of the image is larger than the threshold value, the image is determined to be an edge portion, and the value of the original pixel of interest is output. By outputting (value), the influence of noise can be reduced with a simple configuration without losing edge information of the image.
[0009]
In the image noise reduction method according to the present invention, a pixel of interest and pixels surrounding the pixel of interest are rearranged in the order of pixel values, and the m-th (m is an integer of 2 or more) value from the maximum value of the rearranged pixel values And calculating a difference between the nth value (n is an integer of 2 or more) from the minimum value and, if the difference is smaller than a threshold value, replacing the pixel value of the pixel of interest with the median of the reordered pixels And a step. With this configuration, it is possible to reduce the influence of noise having a low signal level and the influence of impulse noise occurring in an image with a simple configuration without losing edge information of the image.
[0010]
In the image noise reduction method according to the present invention, the step of rearranging the pixel of interest and the surrounding pixels in the order of pixel values includes a step of recording a pixel value and a column number of the rearranged pixel, and a step of adjoining the pixel of interest. When performing processing on adjacent pixels, only pixels around the pixel of interest are removed from the set of pixel values sorted by the pixel of interest, and pixel values of pixels around only the adjacent pixel are added. And rearranging the images. With this configuration, it is possible to reduce the processing load when the pixels are rearranged in the order of the pixel values.
[0011]
The imaging apparatus according to the present invention has a configuration including a noise reduction unit that executes the image noise reduction method according to any one of claims 1 to 3. With this configuration, it is possible to realize an imaging device that can obtain an image with reduced influence of noise with a simple configuration without losing edge information of the image.
[0012]
An image processing apparatus according to the present invention has a configuration including a noise reduction unit that executes the image noise reduction method according to any one of claims 1 to 3. With this configuration, it is possible to realize an image processing apparatus that can obtain an image with reduced influence of noise with a simple configuration without losing edge information of the image.
[0013]
In the image pickup apparatus according to the present invention, the pixel is converted by amplifying the video signal, and does not make a subtle change in the image into noise according to the amount of amplification of the pixel value, and a value that does not make a large change in the image into noise that becomes an edge. It has a configuration of having a threshold control means for controlling a threshold. With this configuration, it is possible to realize an imaging apparatus that can obtain an image on which favorable noise reduction processing is performed in accordance with an imaging environment, particularly, the brightness of a subject.
[0014]
The image processing apparatus according to the present invention has a configuration including a threshold value control unit that adjusts the threshold value using the recording of the imaging state of the image and the statistical information. With this configuration, it is possible to realize an image processing apparatus that can obtain an image on which favorable noise reduction processing has been performed in accordance with the situation at the time of imaging, particularly the brightness of the subject.
[0015]
A program according to the present invention has a configuration that causes a computer to execute each step described in any one of claims 1 to 3. With this configuration, each step described in any one of claims 1 to 3 can be executed by another computer.
[0016]
A computer-readable recording medium according to the present invention has a configuration in which the program according to claim 8 is recorded. With this configuration, it is possible to read and execute the recording medium on which the program described in claim 8 is recorded by another computer.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, first to eighth embodiments of the present invention will be described in detail with reference to the accompanying drawings.
(First Embodiment)
First, a configuration of an image processing apparatus that realizes the image noise reduction method according to the first embodiment of the present invention will be described with reference to FIGS.
Hereinafter, the present embodiment will be described using an example in which processing is performed using the pixel of interest 221 and its surrounding pixels (3 * 3) 222 as shown in FIG. In the following description, 3 * 3 pixels are used, but the present invention is not limited to 3 * 3 pixels.
[0018]
The image processing apparatus shown in FIG. 1 delays an input image signal by one line to obtain pixel data (pixel values) of lines above and below the pixel of interest 221, and delays the image signal by one pixel Then, the delay circuit 112 that obtains the pixel data (pixel values) on the left and right of the target pixel 221 is compared with the pixel values input from the line memory 111 and the delay circuit 112, and rearranged. A reordering unit 113 that outputs a median and a minimum value; a subtractor 114 that calculates a difference between a maximum value and a minimum value of an output of the reordering unit 113; a comparator 115 that compares the difference with a threshold value; And a selector 116 for selecting either the value of the original pixel of interest 221 or the value of the median (the manner of selection will be described later). The reordering unit 113, the subtractor 114, the comparator 115, and the selector 116 implement a function as a median filter. The reordering unit 113 performs a process of reordering the pixels in the order of the pixel values, and is always necessary when obtaining the median (median value).
[0019]
Next, an operation of the image processing apparatus for realizing the image noise reduction method according to the first embodiment of the present invention will be described with reference to FIGS.
The pixel data of lines above and below the target pixel 221 obtained by delaying the image signal input to the image processing apparatus by one line by the line memory 111 and the pixel data of the target pixel 221 obtained by delaying the image signal by one pixel The left and right pixel data and the target pixel 221 in the image are input to the reordering unit 113. The reordering unit 113 having a part of the function as the median filter compares the magnitudes of the input values to perform reordering, and outputs the maximum value, the median, and the minimum value. The difference between the maximum value and the minimum value of the output of the reordering unit 113 is obtained by the subtractor 114, and the comparator 115 determines the difference between the difference and the threshold value. According to the comparison result, the selector 116 selects whether to output the original value of the target pixel 221 or the median.
[0020]
Next, with reference to FIG. 3, the relationship between the value of the target pixel 221 and the values of the surrounding pixels 222 will be described using a graph. In FIG. 3, the brightness increases as the horizontal axis moves to the right in pixel values, and the vertical axis indicates the number of pixels. FIG. 3A is an image of a non-edge portion, where the difference between the maximum value 333 and the minimum value 331 is small, and this portion of the image can be considered to be a substantially uniform portion of the image, that is, a non-edge portion. Conversely, in FIG. 3B, the difference between the maximum value 336 and the minimum value 334 is large, and can be considered as an edge portion.
Specifically, when the difference between the maximum value and the minimum value is equal to or greater than the threshold value, the surroundings of the target pixel 221 are regarded as an edge portion of the image, and the original value of the target pixel 221 that is not filtered is output. If the value is equal to or smaller than the threshold value, it is determined that the periphery of the pixel of interest 221 is a non-edge of the image, and the value subjected to the median filter is output.
[0021]
With such a configuration, it is possible to determine whether an image is an edge portion or a non-edge portion by using the output of the rearranging section 113 necessary for obtaining a median. It is not necessary to perform control using the result, and noise reduction processing can be realized with a simple configuration.
Performing processing using the value of the target pixel 221 and the surrounding pixels 222 is a general processing in image signal processing. If the line memory 111 and the delay circuit 112 are mounted in other processing blocks, By using it, the line memory 111 and the delay circuit 112 can be deleted from the image processing apparatus shown in FIG.
[0022]
(Second embodiment)
Next, an image processing apparatus that realizes the image noise reduction method according to the second embodiment of the present invention will be described with reference to FIG.
The configuration of the image processing apparatus according to the present embodiment shown in FIG. 4 is the same as that shown in FIG. 1, but the rearrangement section 443 shown in FIG. 4 outputs the m-th value from the maximum value instead of the maximum value. The difference from the first embodiment is that the nth value from the minimum value is output instead of the minimum value.
[0023]
Next, an operation of the image processing apparatus for realizing the image noise reduction method according to the second embodiment of the present invention will be described with reference to FIG.
First, as in the case of the first embodiment, the values of the target pixel 221 and the surrounding pixels 222 are input to the reordering unit 443 using the line memory 441 and the delay circuit 442. The sorting unit 443 performs sorting by comparing the magnitude relationship between the value of the input target pixel 221 and the values of the surrounding pixels 222, and the median, the m-th value from the maximum value, and the n-th value from the minimum value. (M and n are integers of 2 or more).
The difference between the m-th value from the maximum value and the n-th value from the minimum value is obtained by the subtractor 444, and the comparator 445 determines the difference between the difference and the threshold value. According to the determination result, the selector 446 controls whether to output the original value of the target pixel 221 or the median value. When the difference is equal to or larger than the threshold value in the comparator 445, the surrounding pixels 222 of the target pixel 221 are regarded as an edge portion, and the original value of the target pixel 221 is output.
[0024]
When the imaging device is a solid-state imaging device such as a CCD or a CMOS, there may be a pixel having an extremely large pixel value or an extremely small pixel value due to a defective pixel or a temperature flaw. In the inspection in the manufacturing process, if a pixel that is greatly connected is defective or if too many pixels are defective, it is regarded as defective, but if it is less than a certain level, it is regarded as good, and extremely Noises such as salt and pepper noise and impulse noise having large and small values may be scattered.
In such a case, a graph of the value of the pixel of interest 221 and its surrounding pixels 222 is as shown in FIG. 3C. The pixel 310 of the defect has a large (or small) value extremely deviating from the other values, but the difference between the m-th value 339 from the maximum value and the n-th value 337 from the minimum value does not exceed the threshold value. Therefore, even if there is an impulse noise, it can be determined that it is a non-edge portion.
[0025]
In the case of the edge portion of the image, as shown in FIG. 3D, it can be expected that the values are distributed to a large portion and a small portion (FIG. 3D is the same graph as FIG. 3B), and the m-th value from the maximum value Since the difference between 313 and the n-th value 311 from the minimum value exceeds the threshold value, it can be determined to be an edge portion. However, since the ability to determine whether an image is an edge portion or a non-edge portion is worse than that of the first embodiment, the present embodiment is preferably used when impulse noise of an image is conspicuous.
Although m and n depend on the number of surrounding pixels used in the processing, it is preferably about 2 or 3.
[0026]
(Third embodiment)
Next, an image processing apparatus that implements the image noise reduction method according to the third embodiment of the present invention will be described with reference to FIGS. 5 and 6 and the flowchart of FIG.
To implement a median filter, it is necessary to rearrange the data in the order of the values. However, as the number of data to be rearranged increases, the rearrangement process becomes more complicated, and O (n * n) or O (nlog n ), The processing amount increases (here, O means the order).
By the way, image processing is generally performed one pixel at a time from left to right for each line. Then, as shown in FIG. 5, the pixel 551 used for the processing of the N-th column and the pixel 552 used for the processing of the (N + 1) -th column are overlapped. Is used, the value of the leftmost pixel is deleted from the rearrangement result of the Nth column, and the processing amount is reduced by newly adding the pixel of the right column. I can do it. That is, the rearrangement process can be realized as described above by using the list structure (FIG. 6) and the insertion sort (algorithm).
[0027]
FIG. 6A shows a data structure called a list used for sorting. A record, which is one data unit, includes “pixel value 661”, “pixel column number 662”, and “pointer 663 to next record”. The “pointer 663 to the next record” points to the position of the next record, and the records are sequentially connected to form a list structure.
[0028]
Next, with reference to FIG. 7, an operation of the image processing apparatus that realizes the image noise reduction method according to the third embodiment of the present invention will be described.
First, the operation of the insertion sort will be described with reference to FIG. 7A. First, in step S771 (hereinafter, step characters are omitted), data in an old column is deleted from the list. By repeating this deletion process for the number of rows of surrounding pixels used for the process, all data in the old column can be deleted (S772). Thereafter, data of a new column is inserted by the number of rows (S773) (S774).
[0029]
Next, a processing operation for deleting a record from the list will be described with reference to FIG. 7B. First, the pointer is set to the first record (S775). It is determined whether the column number of the pixel of the record is an old column (S776). If not, the value of the pointer is changed to the value of "pointer to next record" (S777), and the determination process (S776) is performed. Return. If it is determined that the data is in the old column, the current record is removed from the list by changing the “pointer to the next record” of the previous record to the “pointer to the next record” of the current record ( S778). FIG. 6B shows an image of deleting a record from the list.
[0030]
Next, a processing operation for adding a record to the list will be described with reference to FIG. 7C. First, the pointer is set to the first record (S779). The value to be added is compared with the "pixel value" (S780), and if smaller, the value of the pointer is changed or set to the value of "pointer to next record" (S781), and the process returns to the comparison process (S780). If it is larger, the "pointer to the next record" of the previous record is set as the pointer to the additional record (S782), and the "pointer to the next record" of the additional record is set to the "pointer to the next record" of the previous record. ", The current record is added to the list (S783). The image of adding a record to the list is as shown in FIG. 6C.
[0031]
Although the order of the insertion sort is O (n * n), the amount of processing can be reduced by reusing the sorted data by using the above method. In the present embodiment, no description has been given of the occurrence of exceptional processing for deletion and addition of the first record and the last record of the list, but a method of preparing dummy records at the beginning and end of the list, etc. Can avoid exceptional processing.
[0032]
(Fourth embodiment)
Next, with reference to FIG. 8, an image pickup apparatus including a noise reduction unit according to a fourth embodiment of the present invention will be described.
The imaging device according to the present embodiment illustrated in FIG. 8 includes an imaging element 881 that photoelectrically converts a video signal into an analog signal, an analog gain unit 882 that amplifies an analog signal, and converts an amplified analog signal into a digital image signal. The image signal processing unit 884 includes an AD conversion unit 883 and an image signal processing unit 884 that performs image processing on a digital image signal. The image signal processing unit 884 includes a pixel value measurement unit 885 that measures the average brightness and distribution of the entire image. Gain control means 886 for calculating the gains of the analog gain means 882 and the digital gain means 887 from the measurement result of the means 885, digital gain means 887 for amplifying the digital image signal, and noise for reducing digital image noise according to the present invention. Reduction means 888 and image processing means for performing various other image processing And a 89.
[0033]
Next, with reference to FIG. 8, an operation of the imaging apparatus including the noise reduction unit according to the fourth embodiment of the present invention will be described.
First, an analog signal photoelectrically converted by the image pickup device 881 is amplified by an analog gain unit 882, digitized by an AD conversion unit 883, and subjected to image processing by an image signal processing unit 884. The pixel value measurement unit 885 measures the average brightness and distribution of the entire image that has been subjected to the image processing, and the gain amount control unit 886 calculates the gain amount of the analog gain unit 882 and the digital gain unit 887 using the measurement result. The noise reduction unit 888 performs noise reduction processing on the digital image signal amplified by the digital gain unit 887 by any one of the first to third embodiments or a combination thereof to reduce the influence of noise. Reduce. Thereafter, various other processes by the image processing means 889 are performed, and by outputting an image signal, a good image with reduced noise can be obtained.
As can be seen from FIG. 8, the noise reduction unit 888 is an independent function block, and does not require the output of the edge detection circuit as in the related art.
[0034]
(Fifth embodiment)
Next, with reference to FIG. 9, a description will be given of a digital image processing apparatus including a noise reduction unit according to a fifth embodiment of the present invention.
The digitized image input signal 991 is measured by the image information collecting means 992 to measure the average brightness and distribution of the entire image, the average and distribution of colors, etc., and the adjustment amount calculating means 993 calculates the brightness and contrast based on the measurement results. , The amount of adjustment such as hue is calculated, and the luminance / contrast adjusting means 994 adjusts the image input signal 991 according to the calculated amount of adjustment. After that, the noise reduction unit 995 performs a noise reduction process on any of the adjusted image signals according to any one of the first to third embodiments or a combination thereof to reduce the influence of noise. After that, various other image processing means 996 performs the processing and outputs an image signal, whereby a good image with reduced noise can be obtained.
[0035]
(Sixth embodiment)
Next, with reference to FIG. 10, an image pickup apparatus including a noise reduction unit according to a sixth embodiment of the present invention will be described.
The imaging device according to the present embodiment shown in FIG. 8 includes an imaging device 101 that photoelectrically converts a video signal into an analog signal, an analog gain unit 102 that amplifies an analog signal, and converts the amplified analog signal into a digital image signal. It has an A / D conversion means 103 and an image signal processing means 104 for performing image processing on a digital image signal. The image signal processing means 104 includes a pixel value measurement means 105 for measuring the average brightness and distribution of the entire image, and a pixel value measurement means. Gain amount control means 106 for calculating the gain amounts of the analog gain means 102 and digital gain means 108 from the measurement result of the means 105, and threshold value control means for controlling the threshold value according to the gain amount obtained by the gain amount control means 106 107, a digital gain means 108 for amplifying the digital image signal, and a threshold control means. A noise reduction unit 109 that determines an edge portion and a non-edge portion of the image by using the threshold value calculated in 107 to reduce noise, and various other types of images that perform various other image processing on the noise-reduced image signal And processing means 1010.
[0036]
Next, with reference to FIG. 10, an operation of the imaging apparatus including the noise reduction unit according to the sixth embodiment of the present invention will be described.
First, an analog signal photoelectrically converted by the image sensor 101 is amplified by an analog gain unit 102, digitized by an AD conversion unit 103, and subjected to image processing by an image signal processing unit 104. The pixel value measurement unit 105 measures the average brightness and distribution of the entire image, and the gain amount control unit 106 calculates the gain amounts of the analog gain unit 102 and the digital gain unit 108 using the results.
The threshold value control means 107 controls the threshold value according to the gain amount obtained by the gain amount control means 106, and the noise reduction means 109 uses the threshold value calculated by the threshold value control means 107 to control the digital gain means 108. The noise is reduced by determining the edge portion and the non-edge portion of the image with respect to the digital image signal amplified in step (1). After that, various other image processing is performed by the various image processing means 1010 and an image signal is output, so that a good image with reduced noise can be obtained.
[0037]
The threshold value used in the noise reduction unit 109 is for determining whether the brightness of an image is a noise or an image when the brightness is changed. If the threshold value is large, subtle changes in the image will be filtered as noise. It causes image quality degradation. Conversely, if the threshold value is small, large noise is erroneously determined as an edge, and noise cannot be removed. Therefore, the determination of the threshold value greatly affects the effect of noise reduction. It is desirable that the threshold value is set to about the noise level upper limit.
Noise is generated by the dark current of the image sensor, analog noise, or digital noise on the video signal, but the noise is also amplified by the analog gain or digital gain. When the subject is dark and the gain amount is large, the noise is large, so the threshold value is large. Conversely, when the subject is bright and the gain amount is small, the threshold value is small, so that a good noise reduction effect can be obtained.
[0038]
(Seventh embodiment)
Next, with reference to FIG. 11, a description will be given of a digital image processing apparatus including a noise reduction unit according to a seventh embodiment of the present invention.
From the digitized image input signal 1110, the image information collecting means 1120 measures the average brightness and distribution of the entire image, the average and distribution of colors, and the like. A recent imaging apparatus can output a shooting state such as an aperture, a shutter speed, and a gain amount at the time of shooting as a shooting state record 1130 together with image information. The adjustment amount calculation unit 1140 calculates an adjustment amount such as brightness, contrast, or hue using the output of the image information collection unit 1120 and the information of the shooting status record 1130, and the brightness / contrast adjustment unit 1160 calculates the image input signal 1110. Make adjustments. The threshold value calculation means 1150 calculates a threshold value from the brightness adjustment amount information of the adjustment amount calculation means 1140. The noise reduction unit 1170 performs an edge determination using the threshold value obtained by the threshold value calculation unit 1150, and executes a noise reduction process. After that, various other image processing means 1180 perform image processing and output image signals.
As described above, by controlling the threshold value based on the information obtained from the input image and the gain state obtained from the recording of the shooting state, a good noise reduction effect can be obtained.
[0039]
(Eighth embodiment)
Next, the procedure of a noise reduction processing method according to the eighth embodiment of the present invention will be described with reference to the flowchart in FIG.
First, when this process is performed using 3 * 3 pixels around the target pixel (221 in FIG. 2), the Y coordinate of the target pixel 221 is set to 1 (S121), and the X coordinate is set to 1 (S122). . The luminance values of the pixel of interest 221 and its surrounding 3 * 3 pixels (222 in FIG. 2) are obtained from a memory or a register (S123), and the rearrangement process (S124) described in the third embodiment is performed. It is determined whether the difference between the rearranged maximum value and the minimum value is larger than a threshold value (S125). If the difference is larger, it is determined that the pixel is an edge portion, and the value of the pixel of interest 221 is output (S126). The median is determined as a part and output (S127). The noise reduction processing is performed from the upper left to the upper right of the image, and then the processing is performed one line down from left to right to the lower right of the image in order (S128) (S129).
[0040]
By executing a program for executing a noise reduction function algorithm for performing such a noise reduction process on a computer such as an MPU or a DSP, the noise reduction process for an image input signal can be realized.
The program for realizing the noise reduction function algorithm can be recorded on a recording medium such as a magnetic disk, a magneto-optical disk, and a ROM. By reading this recording medium with a computer and executing it with an MPU, DSP, or the like, image noise reduction processing can be realized.
[0041]
【The invention's effect】
The image noise reduction method and the image processing device according to the present invention are configured as described above, and in particular, perform rearrangement according to the pixel values of the target pixel and its surrounding pixels, and determine whether the edge portion is determined by the difference between the maximum value and the minimum value. By judging the non-edge portion and switching the output between the pixel value of the pixel of interest and the median, there is no need for an additional edge detection circuit, with a simple configuration, without losing the edge information of the image. , Noise reduction processing can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus that realizes an image noise reduction method according to a first embodiment of the present invention;
FIG. 2 is an image diagram of pixels used in an image noise reduction method according to the first embodiment of the present invention;
FIG. 3 is a graph showing a pixel value of a pixel of interest and its surrounding pixels used in an image noise reduction method according to the first and third embodiments of the present invention;
FIG. 4 is a block diagram illustrating a configuration of an image processing apparatus that implements an image noise reduction method according to a second embodiment of the present invention;
FIG. 5 is an image diagram of pixels used in an image noise reduction method according to a third embodiment of the present invention;
FIG. 6 is a diagram showing an example of a list structure used in an image noise reduction method according to a third embodiment of the present invention;
FIG. 7 is a flowchart for controlling a list structure used in an image noise reduction method according to the third embodiment of the present invention;
FIG. 8 is a block diagram illustrating a configuration of an imaging apparatus using a noise reduction unit according to a fourth embodiment of the present invention;
FIG. 9 is a block diagram showing a configuration of a digital image processing device using a noise reduction unit according to a fifth embodiment of the present invention;
FIG. 10 is a block diagram illustrating a configuration of an imaging apparatus using a noise reduction unit according to a sixth embodiment of the present invention;
FIG. 11 is a block diagram illustrating a configuration of a digital image processing apparatus using a noise reduction unit according to a seventh embodiment of the present invention;
FIG. 12 is a flowchart showing a processing procedure of a noise reduction processing method according to an eighth embodiment of the present invention;
FIG. 13 is a block diagram of a conventional image noise elimination circuit.
[Explanation of symbols]
111, 441 line memory
112,442 delay circuit
113,443 Sorting unit
114,444 subtractor
115,445 comparator
116, 446 Selector
221 pixel of interest
222 surrounding pixels
331,334 Minimum value
332, 335, 338, 312 median
333, 336 maximum value
337, 311 nth value from minimum
339, 313 m-th value from maximum
310 flaw pixel value
551 Pixels used for Nth column processing
552 pixels used in the processing of the (N + 1) th column
553 Pixels commonly used in both processes
661 pixel values
662 column number
663 Pointer to next record
S771 Delete record
S772 Loop by the number of lines in the surrounding image
S773 Add record
S774 Loop by the number of lines in the surrounding image
S775 Set pointer to first record
S776 Determine whether the record is in the old column
S777 Move pointer
S778 Connects the previous record and the next record
S779 Move the pointer to the first record
S780 Pixel value determination
S781 Move pointer
S782 Connect previous record and additional record
S783 Connecting additional record to next record
881, 101 image sensor
882, 102 Analog gain means
883, 103 AD conversion means
884,104 Image signal processing means
885, 105 Pixel value measuring means
886, 106 Gain control means
887,108 Digital gain means
888,995,109,1170 Noise reduction means
889, 996, 1010, 1180 Various image processing means
991, 1110 Image input signal
992, 1120 Image information collecting means
993, 1140 Adjustment amount calculation means
994, 1160 Brightness and contrast adjusting means
107 threshold control means
1130 Imaging information recording means
1150 Threshold value calculation means
S121 Y coordinate initialization
S122 X coordinate initialization
S123: Obtain values of target pixel and surrounding pixels
S124 Rearrangement processing
S125: Determine whether the target pixel is an edge
S126 Output value of target pixel
S127 Output median value
S128 Repeat until X coordinate end
S129 Repeat until the end of Y coordinate
1 input terminal
2 Vertical edge detection circuit
3 Horizontal edge detection circuit
4 Judgment circuit
5, 6, 7, 10 delay circuit
8, 3-line median filter
9,9 pixel median filter
11, 12, 13 signal selection switch
14 Output terminal

Claims (9)

注目画素と前記注目画素の周囲画素を画素値の順に並べ替えるステップと、並べ替えた前記画素値の最大値と最小値との差分を求めるステップと、前記差分がしきい値より小さい場合には前記注目画素の画素値を並べ替えた画素のメディアンに置き換えるステップとを有することを特徴とする画像ノイズ低減方法。Rearranging the pixel of interest and surrounding pixels of the pixel of interest in order of pixel value; obtaining a difference between a maximum value and a minimum value of the rearranged pixel values; if the difference is smaller than a threshold value, Replacing the pixel value of the pixel of interest with the median of the reordered pixels. 注目画素と前記注目画素の周囲画素を画素値の順に並べ替えるステップと、並べ替えた前記画素値の最大値からm(mは2以上の整数)番目の値と最小値からn(nは2以上の整数)番目の値との差分を求めるステップと、前記差分がしきい値より小さい場合には前記注目画素の画素値を並べ替えた画素のメディアンに置き換えるステップとを有することを特徴とする画像ノイズ低減方法。Rearranging the pixel of interest and the surrounding pixels of the pixel of interest in the order of pixel values, and n (n is 2) from the m-th (m is an integer of 2 or more) value and the minimum value of the rearranged pixel values. A step of obtaining a difference from the above (integer) -th value; and, if the difference is smaller than a threshold value, a step of replacing the pixel value of the pixel of interest with a median of rearranged pixels. Image noise reduction method. 前記注目画素と前記周囲画素とを画素値の順に並べ替えるステップは、並べ替えた画素の画素値と列番号とを記録するステップと、前記注目画素に隣接する隣接画素の処理を行う際に、前記注目画素で並べ替えられた画素値の集合から前記注目画素のみの周囲にある画素のみを削除し、前記隣接画素のみの周囲にある画素の画素値を加えて並べ直すステップとを有することを特徴とする請求項1または2記載の画像ノイズ低減方法。The step of rearranging the pixel of interest and the surrounding pixels in the order of pixel values is a step of recording a pixel value and a column number of the rearranged pixel, and performing processing of an adjacent pixel adjacent to the pixel of interest. Removing only the pixels surrounding the pixel of interest only from the set of pixel values rearranged by the pixel of interest, adding the pixel values of the pixels surrounding only the adjacent pixel, and rearranging the pixels. 3. The image noise reduction method according to claim 1, wherein: 請求項1ないし3のいずれかに記載の画像ノイズ低減方法を実行するノイズ低減部を有することを特徴とする撮像装置。An imaging apparatus comprising a noise reduction unit that executes the image noise reduction method according to claim 1. 請求項1ないし3のいずれかに記載の画像ノイズ低減方法を実行するノイズ低減部を有することを特徴とする画像処理装置。An image processing apparatus comprising a noise reduction unit that executes the image noise reduction method according to claim 1. 画素は映像信号を増幅して変換され、前記画素値の増幅量に応じ画像の微妙な変化をノイズとせず、画像の大きな変化をエッジとなるノイズにしない値に前記しきい値を制御するしきい値制御手段を有することを特徴とする請求項4記載の撮像装置。The pixel is converted by amplifying the video signal, and the threshold value is controlled to a value that does not make a subtle change in the image into noise and does not make a large change in the image into noise that becomes an edge according to the amplification amount of the pixel value. The imaging apparatus according to claim 4, further comprising a threshold control unit. 画像の撮像状況記録および統計情報を用いて前記しきい値を調整するしきい値制御手段を有することを特徴とする請求項5記載の画像処理装置。6. The image processing apparatus according to claim 5, further comprising a threshold value control unit that adjusts the threshold value using recording of an image capturing state and statistical information. 請求項1ないし3のいずれかに記載の各ステップをコンピュータに実行させるためのプログラム。A program for causing a computer to execute each step according to claim 1. 請求項8に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the program according to claim 8 is recorded.
JP2002330149A 2002-11-14 2002-11-14 Method for reducing image noise and image processor Pending JP2004166010A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002330149A JP2004166010A (en) 2002-11-14 2002-11-14 Method for reducing image noise and image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002330149A JP2004166010A (en) 2002-11-14 2002-11-14 Method for reducing image noise and image processor

Publications (1)

Publication Number Publication Date
JP2004166010A true JP2004166010A (en) 2004-06-10

Family

ID=32807907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002330149A Pending JP2004166010A (en) 2002-11-14 2002-11-14 Method for reducing image noise and image processor

Country Status (1)

Country Link
JP (1) JP2004166010A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324804A (en) * 2005-05-17 2006-11-30 Matsushita Electric Works Ltd Contour emphasizing circuit
WO2007020930A1 (en) * 2005-08-15 2007-02-22 Sony Corporation Imaging device, noise reduction device, noise reduction method, and program
JP2008107742A (en) * 2006-10-27 2008-05-08 Pentax Corp Focus detecting method and focus detecting device
JP2008252558A (en) * 2007-03-30 2008-10-16 Toshiba Corp Imaging apparatus
JP2010166349A (en) * 2009-01-16 2010-07-29 Nippon Hoso Kyokai <Nhk> Noise reduction apparatus and program therefor
US7945110B2 (en) 2006-02-15 2011-05-17 Realtek Semiconductor Corp. Methods and apparatuses for enhancing image quality
JP2011223235A (en) * 2010-04-08 2011-11-04 Victor Co Of Japan Ltd Noise reduction device and noise reduction method
US8090213B2 (en) 2006-02-14 2012-01-03 Realtek Semiconductor Corp. Image processing device and method
US8094237B2 (en) 2005-10-13 2012-01-10 Realtek Semiconductor Corp. Signal separation apparatus applied in image transmission system and related method
WO2019156140A1 (en) * 2018-02-08 2019-08-15 興和株式会社 Image processing device, image processing method, and image processing program
JP7039215B2 (en) 2017-08-30 2022-03-22 キヤノン株式会社 Image processing equipment, image processing methods, and programs

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006324804A (en) * 2005-05-17 2006-11-30 Matsushita Electric Works Ltd Contour emphasizing circuit
JP4626393B2 (en) * 2005-05-17 2011-02-09 パナソニック電工株式会社 Outline enhancement circuit
WO2007020930A1 (en) * 2005-08-15 2007-02-22 Sony Corporation Imaging device, noise reduction device, noise reduction method, and program
JP4872911B2 (en) * 2005-08-15 2012-02-08 ソニー株式会社 Imaging device, noise reduction device, noise reduction method, and program
US7834917B2 (en) 2005-08-15 2010-11-16 Sony Corporation Imaging apparatus, noise reduction apparatus, noise reduction method, and noise reduction program
US8094237B2 (en) 2005-10-13 2012-01-10 Realtek Semiconductor Corp. Signal separation apparatus applied in image transmission system and related method
US8090213B2 (en) 2006-02-14 2012-01-03 Realtek Semiconductor Corp. Image processing device and method
US7945110B2 (en) 2006-02-15 2011-05-17 Realtek Semiconductor Corp. Methods and apparatuses for enhancing image quality
JP2008107742A (en) * 2006-10-27 2008-05-08 Pentax Corp Focus detecting method and focus detecting device
JP2008252558A (en) * 2007-03-30 2008-10-16 Toshiba Corp Imaging apparatus
JP4686496B2 (en) * 2007-03-30 2011-05-25 株式会社東芝 Imaging device
JP2010166349A (en) * 2009-01-16 2010-07-29 Nippon Hoso Kyokai <Nhk> Noise reduction apparatus and program therefor
JP2011223235A (en) * 2010-04-08 2011-11-04 Victor Co Of Japan Ltd Noise reduction device and noise reduction method
JP7039215B2 (en) 2017-08-30 2022-03-22 キヤノン株式会社 Image processing equipment, image processing methods, and programs
WO2019156140A1 (en) * 2018-02-08 2019-08-15 興和株式会社 Image processing device, image processing method, and image processing program

Similar Documents

Publication Publication Date Title
JP4284628B2 (en) IMAGING DEVICE, IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM FOR IMAGE PROCESSING METHOD, AND RECORDING MEDIUM CONTAINING PROGRAM FOR IMAGE PROCESSING METHOD
JP4683994B2 (en) Image processing apparatus, image processing method, electronic camera, scanner
JP4470901B2 (en) Imaging apparatus, high-frequency component detection circuit, high-frequency component detection method, and computer program
KR100670883B1 (en) Image signal processing apparatus
US8280162B2 (en) Image processing apparatus and recording medium recording image processing program
EP0430982A4 (en) Wide dynamic range camera
TWI390467B (en) Dynamic noise filter and sigma filtering method
JP2009124552A (en) Noise reduction system, noise reduction program and imaging system
JP2004166010A (en) Method for reducing image noise and image processor
JP3544304B2 (en) Pixel defect correction device and pixel defect correction method
JP5291788B2 (en) Imaging device
JP4403671B2 (en) Defect correction apparatus and defect correction method for solid-state image sensor
JP2000307963A (en) Device and method for image processing
JP4224996B2 (en) Imaging device
JPH1141491A (en) Two-dimensional noise reducing circuit
JP2007266956A (en) Imaging apparatus, impulse component detecting circuit, impulse component removing circuit, impulse component detecting method, impulse component removing method, and computer program
US8040437B2 (en) Method and system for analog video noise detection
JP4297651B2 (en) Image signal processing device
JP2003348429A (en) Electronic camera, and image processing program
KR100831970B1 (en) Method of detecting Defect Pixel and Apparatus used in the same
JP4255553B2 (en) Imaging device
JP3633728B2 (en) Image defect correction circuit
JPH04373361A (en) Picture signal processor
JP6705054B2 (en) Imaging device
JP3803231B2 (en) Tone correction device