JP2005184307A

JP2005184307A - 傷画素補正回路及び傷画素補正方法

Info

Publication number: JP2005184307A
Application number: JP2003420646A
Authority: JP
Inventors: Jun Kajiwara; 準梶原; Yoshinori Okura; 良則大倉
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-12-18
Filing date: 2003-12-18
Publication date: 2005-07-07

Abstract

【課題】従来の傷画素補正回路には、傷画素位置を記憶保持しておくためのメモリーが必要であり、傷画素を傷画素の周辺画素の平均値等で置換することで傷画素の補正を行う場合、傷画素が連続的に存在すると、傷データで置換してしまうため、傷画素補正の効果が上がらないという課題があった。
【解決手段】本発明によると、複数画素を１単位として処理する画素ブロック処理回路において、傷画素を検出する傷画素検出回路と、傷画素周辺部より、画像の相関関係を算出する差分回路と、傷画素の周辺に他の傷画素があった場合、その傷画素を除いた他の周辺画素から画像データの相関関係を考慮した画素で傷画素を置換することにより、傷画素の位置を記憶するためのメモリーを必要とせず、かつ傷画素を別の傷画素で置換することがないため、より違和感のない補正を行うことが可能となる。
【選択図】図１

Description

本発明は、傷画素補正回路に関する発明であり、より詳細には、固体撮像素子を用いた際に生じる画素欠陥補正、特に白傷と呼ばれる暗時における画素欠陥の補正を行う回路に関する発明である。

従来の傷画素（白傷）補正方法として次のような方法がある（特許文献１参照）。固体撮像装置において、電源投入時などの露光前にまず、固体撮像素子に入射することで遮光データを得る。得られた遮光データと所定のデータとを減算処理することで、特異なレベルの信号を出力する傷画素の位置データをメモリに記憶しておく。そして通常動作時に、メモリに記憶された位置データに該当する画素に対応する信号だけを、その前後に位置する画素に対応する信号で置換することにより、傷画素の補正を行う。

このような傷画素補正回路は、傷画素の平面的な位置を正確に把握することができるため、他の傷画素検出のアルゴリズムを全く必要としないうえに、補正の効果が大きいという利点を持つ。しかし、固体撮像素子の個数に応じた位置データを記憶するためのメモリが必要となり、固体撮像素子が多くなるにつれて必要なメモリ量も大きくなるという欠点を持つ。逆に、メモリを位置データを記憶するためのメモリを用いない場合、傷画素の平面的な位置を正確に把握することが困難である。さらに、傷画素が連続して発生する場合には、上記の傷画素補正回路は、傷画素であると判断された画素の前後の画素で注目画素を置換するため、傷画素を別の傷画素で置換してしまうという欠点がある。

また、傷画素補正の例として、傷画素の位置データを記憶するメモリを必要とせずに、水平方向の平均値を輝度値とする画素で傷画素を置換する補正回路がある（特許文献２参照）。

このような傷画素補正回路は、傷画素の位置データを記憶するためのメモリを必要としない利点を持つ反面、単純な差分計算としきい値処理によって、注目画素が傷画素であるかどうかを判断するため、傷画素でない画素を誤って傷画素であると判断する場合が多いという欠点を持つ。さらに、傷画素が連続して発生する場合には、傷画素を別の傷画素で置換してしまうという欠点を持つ。
特開平３−２２７１８５号公報特開昭５７−５４８６号公報

上記のように従来法の問題点としては、傷画素を検出する際に、傷画素ではない画素を傷画素であると誤って判断してしまう点、傷画素の位置データを記憶するために必要なメモリが大きくなってしまう点、さらに傷画素を補正する際に、傷画素を別の傷画素で置換してしまうために、傷画素が消えずに残るという点が挙げられる。従来法による傷画素補正回路は、これらの問題点を同時に解決することができず、傷画素の位置データを獲得するためのメモリを必要とせずに、傷画素を安定して検出・補正することができない。

本発明による傷画素補正回路は、傷画素を検出するために特別なメモリを持つ必要がなく、安定して傷画素を検出することができ、さらに傷画素を別の傷画素で置換してしまうことなく、精度の高い傷画素補正を可能とする。

上記の課題を解決するために、本願の発明は、複数画素を１ブロックとして処理する傷画素補正回路であって、入力された画素を注目画素Ａとして、注目画素Ａが傷画素であるかどうかを判断する傷画素検出回路部と、前記傷画素検出回路部において傷画素であると判断された注目画素Ａの周辺画素の輝度値と少なくとも１つのしきい値との比較演算を行う比較回路部と、傷画素を、前記比較回路部における比較演算によって少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する画素のいずれか１つの画素に、置換する置換回路部と、からなることを特徴とする傷画素補正回路を用いて傷画素の補正を行う。

また他の発明は、複数画素を１ブロックとして処理する傷画素補正回路であって、入力された画素を注目画素Ａとして、注目画素Ａが傷画素であるかどうかを判断する傷画素検出回路部と、前記傷画素検出回路部によって傷画素であると判断された注目画素Ａの輝度値と注目画素Ａの周辺画素の輝度値との差分値が、１つのしきい値よりも小さい前記周辺画素に対しては、傷画素であると判断して最大の輝度値を割り当て、前記周辺画素が互いに任意の方向に隣接する２画素の輝度値に対して順次に差分計算を行い、前記周辺２画素の輝度値の差分値が最小となる周辺画素を決定する比較回路部と、前記比較回路部において決定された前記周辺画素で、傷画素の置換を行う置換回路部と、からなることを特徴とする傷画素補正回路を用いて傷画素の補正を行う。

また他の発明は、複数画素を１ブロックとして処理する傷画素補正回路であって、入力された画素を注目画素Ａとして、注目画素Ａが傷画素であるかどうかを判断する傷画素検出回路部と、前記傷画素検出回路部によって傷画素であると判断された注目画素Ａの周辺画素のうち、互いに任意の方向に隣接する２画素の輝度値に対して差分計算を行い、前記周辺２画素のペアの輝度値の差分値と１つのしきい値との比較演算を行う比較回路部と、前記比較回路部における比較演算によって、少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する前記周辺２画素のペアで、傷画素を置換する置換回路部と、からなることを特徴とする傷画素補正回路を用いて傷画素の補正を行う。

本発明により、傷画素の位置データを獲得するために新たに特別なメモリを必要とせず、傷画素を別の傷画素で置換する可能性が低く、かつ補正後の画像データが違和感のないものとなるように、傷画素の補正を行うことが可能になる。

以下、本発明の実施の形態について説明する。ここで、説明に用いられる図中の画素はすべて白黒画像を構成する画素であり、単純な輝度値のみを持つものとする。白傷と呼ばれる傷画素と傷画素でない画素を比較した場合、傷画素は遥かに傷画素でない画素よりも輝度値が大きいため、輝度値を考慮した傷画素補正回路が最も傷補正の効果が高くなる。ただし、輝度値以外の色相、色差値、あるいはＲＧＢ表色系を構成するＲ，Ｇ，Ｂ値など、どのような画素値を持つ画素に対しても、本発明の傷画素補正回路は適用可能である。

（実施の形態１）
まず、本発明の実施の形態１について説明する。図１に示される傷画素補正回路１０１は、注目画素Ａと注目画素Ａを中心とする周辺８画素の９画素を１ブロックとして処理する回路であり、２次元状にフォトダイオードが配置された固体撮像素子からの画像信号を入力信号とする。傷画素補正回路１０１は、傷画素検出回路１０２と比較回路１０３と画素置換回路１０４とによって構成され、置換後の注目画素Ａに対応する画像信号を出力信号とする。傷画素検出回路１０２は、入力信号から注目画素Ａが傷画素であるかどうかを判断する回路であり、注目画素Ａが傷画素であれば入力信号を比較回路１０３に送り、傷画素で無ければ置換処理を行う必要は無いので、注目画素Ａに対応する画像信号をそのまま出力信号とする。そして比較回路１０３は、傷画素検出回路１０２から送られる入力信号をもとに、傷画素である注目画素Ａの複数の周辺画素の輝度値と１つのしきい値１ａとの比較を行い、周辺画素の相関関係を示す信号と補正候補の画素に対応する画像信号を画素置換回路１０４に送る。さらに画素置換回路１０４は、比較回路１０３から送られる信号に基づいて、置換後の傷画素に対応する画像信号を出力することで、傷画素を置換する回路である。ここで、周辺画素の相関関係は、傷画素の水平・垂直及び斜め方向の周辺画素において、しきい値１ａより大きい画素数と小さい画素数との個数比較によって算出される。しきい値１ａの具体的な決定法として、入力信号が８ビット（０〜２５５）の輝度値を持つ信号である場合、中心である１２８をしきい値１ａとする方法が考えられる。他の決定法として、注目画素Ａの付近の画素や全画素の分布を調べて、１２８以外の値をしきい値１ａとする手法も考えられる。具体的にこの手法は、輝度値が小さい画素が非常に多い場合には、しきい値１ａの値も小さくするというような方法である。

次に図２を用いて、本発明の傷画素補正回路を用いた傷画素補正効果を例示する。しきい値が１つの場合、注目画素Ａの周辺画素の輝度値が、しきい値１ａより大きい場合にはその周辺画素を白系グループに属する画素と判定し、輝度値がしきい値１ａより小さい場合にはその周辺画素を黒系グループに属する画素と判定する。黒系グループと判定された画素数が白系グループと判定された画素数よりも多い場合は、黒系グループの画素で注目画素Ａを置換する。本例では図２（b）に示されるように、傷画素の周辺８画素は、黒系グループの画素５個、白系グループの画素３個と判定されるため、図２（c）のように、黒系グループの画素で注目画素Ａを置換することとなる。本発明の傷画素補正回路は、図２のように画像のエッジ部（白系グループと黒系グループの画素の境界部）に傷画素が存在した場合でも、黒系グループに属する画素が白系グループに属する画素よりも多いため、誤って逆側（白系グループ）の画素で置換することがない。したがって、補間後の画像データは違和感のないものとなる。

さらに、図１の傷画素補正回路ブロック図中の比較回路１０３と画素置換回路１０４について、詳細な回路図（図３）を開示し、傷画素補正の説明を行う。図３の回路図の入力信号は、しきい値１ａと全周辺８画素の輝度値に対応する画像信号であり、出力信号に対応する輝度値を持つ画素で傷画素を置換することとなる。

図３中の比較回路１０３において、注目画素Ａのそれぞれの周辺画素の輝度値としきい値１ａとの比較がコンパレータ３０１で行われる。コンパレータ３０１は、周辺画素の輝度値がしきい値よりも大きい場合、すなわちその周辺画素を白系の画素と判定した場合、Ｈ信号を出力する。反対に、コンパレータ３０１は、周辺画素の輝度値がしきい値よりも小さい場合、すなわち周辺画素を黒系の画素と判定した場合、Ｌ信号を出力する。

図３中の画素置換回路１０４のセレクタ３０２は、コンパレータ３０１から出力される信号を受け取り、周辺画素が白系の画素と判定された場合に、周辺画素の輝度値を白系輝度値決定回路３０５に送る。周辺画素が黒系の画素と判定された場合には、セレクタ３０２は前もって定められた最小値を白系輝度値決定回路３０５に送る。セレクタ３０３は、セレクタ３０２と同様にコンパレータ３０１から送られる信号を受け取り、周辺画素が黒系の画素と判定された場合に、周辺画素の輝度値を黒系輝度値決定回路３０６に送る。そして同様の処理を全周辺８画素に対して行なう。

白系輝度値決定回路３０５は、周辺８画素による入力中、最大値を出力してセレクタ３０７に送る。すなわち、白系輝度値決定回路３０５において、傷画素を白系の画素で置換すべきだと判断された場合、具体的な置換後の輝度値が決定される。黒系輝度値決定回路３０６も同様に８入力中最小値を出力してセレクタ３０７に送る。ここで、白系黒系判定回路３０４は、全周辺８画素からの判別情報によって、注目画素Ａを白系黒系のいずれのグループの画素に置換するのかを判定する回路であり、コンパレータ３０１から送られる信号を受け取り、周辺８画素による入力中、Ｈ信号が４つ以上ならばＨ信号を出力し、Ｈ信号が３つ以下ならばＬ信号を出力してセレクタ３０７に送る。

最後にセレクタ３０７は、傷画素を白系画素で置換すべきだと白系黒系判定回路３０４が判定した場合に、白系輝度値決定回路３０５から送られた信号を出力し、逆に、傷画素を黒系画素で置換すべきだと白系黒系判定回路３０４が判定した場合に、黒系輝度値決定回路３０６から送られた信号を出力する。

このような回路によって構成される傷画素補正回路を用いることで、傷画素の平面的な位置データを記憶するためのメモリを必要とせずに、傷画素の補正を行うことが可能である。また、傷画素の周辺画素から相関関係を算出し、その結果に基づいて画素置換を行うため、補正後の画像データは違和感のないものとなる。

上記のような、白系輝度値決定回路３０５、黒系輝度値決定回路３０６による、グループを代表する輝度値の決定法は複数の手法が存在しており、ここでは以下の３つの方法を開示する。
（ａ）最も画素数が多いグループに属する全画素のうち、いずれか１つの画素で傷画素を置換する。なお、図３に示される画素置換回路１０４を持つ傷画素補正回路は、黒系グループに属する画素の中で最も小さい輝度値を持つ画素、又は、白系グループに属する画素の中で最も大きい輝度値を持つ画素で、傷画素を置換している。この方法を用いた傷画素補正回路は、周辺画素のいずれかの画素で置換されるため、周辺８画素中に存在しない輝度値を用いた画素で傷画素を置換することはない。そのため、違和感の少ない画素補正を行うことができる。
（ｂ）最も画素数が多いグループに属する全画素の平均値を算出し、その平均値を輝度値として持つ画素で傷画素を置換する。この方法は、周辺画素がどのような輝度の分布を持っていた場合においても、安定して違和感の少ない画素補正を行うことができる。
（ｃ）グループごとに前もって定められた輝度値を決めておき、最も画素数が多いグループに対して前もって定められた輝度値を持つ１つの画素で、傷画素を置換する。

この方法は、妥当だと経験的に思われる輝度値を前もって用意しておくことで、違和感の少ない画素補正を高速に行うことができる。

（実施の形態２）
次に本発明の実施の形態２について説明する。図４に示される傷画素補正回路４０１は、実施の形態１における傷画素補正回路と同様に、複数画素を１ブロックとして処理する回路であり、固体撮像素子からの画像信号を入力信号とする。傷画素補正回路４０１は、傷画素検出回路１０２と比較回路１０３と画素置換回路１０４とによって構成され、置換後の注目画素Ａに対応する画像信号を出力信号とする。実施の形態１と異なる点は、比較回路１０３で、傷画素検出回路１０２において傷画素であると判断された注目画素Ａの複数の周辺画素の輝度値としきい値との比較を行う際に、しきい値が１つではなく、４ａ〜４ｃのように複数個ある点である。さらに画素置換回路１０４は、比較回路１０３において算出される周辺画素の相関関係に基づいて、傷画素検出回路１０２にて検出された傷画素を置換する回路である。また周辺画素の相関関係は、傷画素の水平・垂直及び斜め方向の周辺画素において、複数のしきい値４ａ〜４ｃによって分類される複数のグループにおける多数決による個数比較によって決定される。

しきい値４ａ〜４ｃの具体的な決定法については、実施の形態１におけるしきい値１ａの決定法と同様に、入力信号が８ビット（０〜２５５）の輝度値を持つ信号である場合、それぞれのグループが持つしきい値の幅が均等となるように、しきい値４ａ、４ｂ、４ｃをそれぞれ、１９２、１２８、６４のように割り当てる方法がある。

図５は、本実施の形態における傷画素補正図であり、全周辺８画素を３つのしきい値４ａ〜４ｃによって４つのグループに分類し、４つのグループのうち、グループに含まれる画素数の最も多いグループ４の画素で、傷画素の置換をするものとする。

このように、比較回路１０３において周辺画素と比較するしきい値が複数個あるため、実施の形態１の傷画素補正回路１０１と比べると、本実施の形態の傷画素補正回路４０１は、周辺画素からより詳細な相関関係を得る事が可能となる。その結果、置換を行うためにより適した画素を選択できるようになるため、補正後の画像データはより違和感のないものとなる。

（実施の形態３）
次に本発明の実施の形態３について説明する。本発明の実施の形態３で用いられる傷画素補正回路は、実施の形態２における傷画素補正回路と同様に、複数画素を１ブロックとして処理する回路であり、固体撮像素子からの画像信号を入力信号とする。傷画素補正回路は、傷画素検出回路１０２と比較回路１０３と画素置換回路１０４とによって構成され、置換後の注目画素Ａに対応する画像信号を出力信号とする。

実施の形態２で用いられる傷画素補正回路と異なる点は、入力される信号をもとに、複数個のしきい値４ａ〜４ｃを切り替える手段を有するという点である。具体的な切り替え方法について、図６を用いて説明する。ここで、画素が持つ輝度値は０〜２５５の８ビットで表されるものとする。同図のようにしきい値４ａの候補、しきい値４ｃの候補をそれぞれ３つずつ用意する。そして全てのしきい値に対して適当な輝度値を割り当てる（ここでは、しきい値間の間隔が均等になるように、しきい値４ａ（１）〜４ａ（３）をそれぞれ２２４，１９２，１６０と、しきい値４ｃ（１）〜４ｃ（３）をそれぞれ９６，６４，３２と割り当てており、しきい値４ｂを１２８とする）。しきい値４ａ決定スイッチ６０１は、注目画素Ａの周辺８画素の輝度値の平均値に対応する信号をもとに、しきい値４ａ（１）〜４ａ（３）に対応する３信号のうち、いずれかの信号をスイッチによって選択する回路である。

しきい値４ａの決定法は以下の通りである。注目画素Ａの周辺８画素の平均値がしきい値４ａ（１）の値である２２４より大きい場合、しきい値４ａ（１）に対応する信号が通過するスイッチだけを閉じる。上記条件以外で、周辺８画素の平均値がしきい値４ａ（２）の値である１９２より大きい場合、しきい値４ａ（２）に対応する信号が通過するスイッチだけを閉じる。上記条件以外の場合には、しきい値４ａ（３）に対応する信号が通過するスイッチだけを閉じる。このように３つのスイッチのうち、１つのスイッチだけを閉じることによって、しきい値４ａが決定され比較回路１０３に送られる。また、しきい値４ｃ決定スイッチ６０２におけるしきい値４ｃについても同様の選択法を用いる。周辺８画素の平均値がしきい値４ｃ（３）の値である３２よりも小さい場合、しきい値４ｃ（３）に対応するスイッチだけを閉じる。上記条件以外で、周辺8画素の平均値がしきい値４ｃ（２）の値である６４より小さい場合、しきい値４ｃ（２）に対応する信号が通過するスイッチだけを閉じる。上記以外の場合には、しきい値４ｃ（１）に対応する信号が通過するスイッチだけを閉じる。

一般に平均値付近の輝度値を持つ画素は多いため、平均値付近では細かなしきい値処理によるグループの分類が必要とされている。したがって、周辺画素の平均値を用いることで、詳細なグループの分類が可能となり、傷画素の置換を行うためにより適した画素を選択することができる。なお、上記の説明では、しきい値４ａ、４ｃの候補をそれぞれ３つずつ用意しているが、さらに多数のしきい値の候補を用意することで、より入力信号に適応したしきい値を決定することが可能である。

（実施の形態４）
次に、本発明の実施の形態４について図７を用いて説明する。本発明の実施の形態で用いられる傷画素補正回路７０１は、上記の実施の形態１〜３に用いられる回路と同様に、複数画素を１ブロックとして処理する回路であり、固体撮像素子からの画像信号を入力信号とする。傷画素補正回路７０１は、傷画素検出回路１０２、比較回路１０３、画素置換回路１０４により構成され、置換後の注目画素Ａに対応する画像信号を出力信号とする。ただし、本実施の形態における傷画素検出回路１０２は、図８(a)のように注目画素Ａの持つ輝度値と任意の１つのしきい値７ａとを比較し、図８(b)のように、注目画素Ａの輝度値が任意のしきい値７ａよりも大きな値である場合、注目画素Ａを傷画素と判断する。ここでしきい値７ａは、傷画素（白傷）であるかどうかを判断する目的にのみ用いられる。したがって、経験的に極めて大きな輝度値がしきい値７ａとして定められる。

これにより、傷画素の平面的な位置データを記憶するための特別なメモリを必要とせず、かつ傷画素の周辺画素から相関関係を算出し、その結果に基づいて画素置換を行うため、補正後の画像データは違和感のないものとなる。

（実施の形態５）
次に、本発明の実施の形態５について図９を用いて説明する。本発明の実施の形態で用いられる傷画素補正回路は、上記の実施の形態に用いられる回路（図７）と同様に、複数画素を１ブロックとして処理する回路であり、固体撮像素子からの画像信号を入力信号とする。傷画素補正回路は、傷画素検出回路１０２、比較回路１０３、画素置換回路１０４により構成され、置換後の注目画素Ａに対応する画像信号を出力信号とする。ただし、実施の形態４に用いられる図７中の傷画素検出回路１０２は、注目画素Ａの輝度値としきい値７ａとの比較が行われている。これに対して実施の形態５に用いられる傷画素検出回路は、図９中の注目画素Ａと注目画素Ａの周辺８画素Ｂ１〜Ｂ８の差分計算を行い、求められた差分値ｄ１〜ｄ８の平均値と１つのしきい値９ａとの比較により、注目画素Ａが傷画素であるかどうかを判断することを特徴とする回路である。平均値がしきい値９ａよりも大きければ、注目画素Ａと注目画素Ａの周辺画素との輝度値の差も大きい。ところで、経験的に周辺８画素中に含まれる傷画素の数は少ないため、それら周辺８画素の平均画素も傷画素とは全く異なることが予想される。したがってこのような場合、周辺８画素の平均が素と大きく異なる輝度値を持つ注目画素Ａは傷画素であると判断される。ここで、注目画素Ａの周辺画素とは、図９に示すように注目画素Ａに対して平面的上下・左右・斜めに位置する８画素である。

従って本実施の形態に用いられる傷画素検出回路を用いた傷画素補正回路は、実施の形態１〜４と同様に傷画素の平面的な位置データを記憶するための特別なメモリを必要としない。さらに、本実施の形態による傷画素補正回路は、注目する傷画素の周辺画素平均から相関関係を算出し、その結果に基づいて画素置換を行うため、補正後の画像データは実施の形態４による傷画素補正回路と比べて違和感のないものとなる。

（実施の形態６）
次に、本発明の実施の形態６を説明する。傷画素補正回路は、実施の形態１〜５と同様に、傷画素検出回路１０２、比較回路１０３、画素置換回路１０４により構成され、注目画素Ａと注目画素Ａの周辺８画素に対応する画像信号を入力信号とし、置換後の注目画素Ａに対応する画像信号を出力信号とする。

本発明の実施の形態で用いられる傷画素検出回路１０２は、図１０に示されるように注目画素Ａを中心とする任意の直線方向に連続した３画素（例：周辺画素Ｂ６・注目画素Ａ・周辺画素Ｂ２と並ぶ３画素）の中で、図１１（ｂ）のように注目画素Ａの輝度値が最大又は最小であり（すなわち、周辺画素Ｂ６の注目画素Ａに対する差分値と注目画素Ａの周辺画素Ｂ２に対する差分値の、２つの差分値の符号が異なる部分）、かつ、隣り合う２つの画素の差分値が１つのしきい値１１ａより大きい値である場合、注目画素Ａを傷画素と判断する。

この発明により、上記の実施の形態の効果と同様に、傷画素補正回路は傷画素の平面的な位置データを記憶するための特別なメモリを必要とせず、かつ傷画素の周辺画素から相関関係を算出し、その結果に基づいて画素置換を行うため、補正後の画像データは違和感のないものとなる。

（実施の形態７）
次に、本発明の実施の形態７について、図１２を用いて説明する。注目画素Ａが傷画素であると判断された後、注目画素Ａの輝度値と注目画素Ａの周辺画素の輝度値との差分値が、前もって定められている１つのしきい値１２ａよりも小さい場合、その周辺画素も傷画素であると判断され、Ｍａｘ値が差分値の代わりに割り当てられる。図１２中の例では、周辺画素Ｂ３、Ｂ５が傷画素に該当する。さらに、図１２のようにトーナメント方式で順次に周辺２画素に対する比較を行い、最終的に差分値が最小となる周辺画素を抽出する。図１２の例では、トーナメント方式での順次比較により、周辺画素Ｂ６で傷画素の置換を行うことが決定される。また、周辺画素Ｂ３、Ｂ５はＭａｘ値を持っているため、順次比較において傷画素を置換する画素として選出されることはない。

さらに、本実施の形態による傷画素補正の置換画素の決定回路（図１３）について説明する。図１３の回路において、本実施の形態による傷画素補正回路中の、比較回路１０３、画素置換回路１０４により構成される回路が示されている。

比較回路１０３は、差分器１３０１、変換器１３０２、コンパレータ１３０３の組み合わせによって構成され、注目画素Ａと注目画素Ａの周辺画素に対応する画像信号が入力される。まず差分器１３０１は、入力された信号から注目画素Ａの輝度値と周辺８画素の輝度値との差分値をそれぞれ計算して、変換器１３０２は、差分値の絶対値に対応する信号をコンパレータ１３０３に送る。コンパレータ１３０３は、変換器１３０２からの差分値の絶対値と前もって定められたしきい値１２ａとの比較を行ない、差分値の絶対値がしきい値１２ａより大きい場合、Ｌ信号を画素置換回路１０４に送り、差分値がしきい値１２ａより小さい場合、その周辺画素も注目画素Ａと同様に傷画素であると判断して、Ｈ信号を画素置換回路１０４に送る。また、差分値の絶対値に対応する信号もまた画素置換回路１０４に送られる。

画素置換回路１０４は、セレクタ１３０４と差分最小値選出回路１３０５と差分器１３０８の組み合わせにより構成される。

セレクタ１３０４は、前もって定められたＭａｘ値に対応する信号、比較回路１０３から送られる周辺画素が傷画素であるかどうかを示すＨ信号又はＬ信号、注目画素Ａの輝度値と周辺画素の輝度値の差分値との絶対値に対応する信号、の３つの信号を受け取る。セレクタ１３０４は、周辺画素が傷画素であると判断された場合、Ｍａｘ値に対応する信号を差分最小値選出回路１３０５に送り、周辺画素が傷画素でないと判断された場合、注目画素Ａの輝度値と周辺画素の輝度値との差分値の絶対値を差分最小値選出回路１３０５に送る。

差分最小値選出回路１３０５は、コンパレータ１３０６とセレクタ１３０７を図１３のようにトーナメント型になるように組み合わせることで構成される。以下、１組のコンパレータ１３０６、セレクタ１３０７に注目して説明を行う。コンパレータ１３０６は、セレクタ１３０４から送られる２つの信号Ｓ１とＳ２を入力信号として、Ｈ信号又はＬ信号をセレクタ１３０７に送る。ただし、信号Ｓ１は周辺画素Ｂ１の輝度値と注目画素Ａの輝度値との差分値の絶対値に対応する信号であり、信号Ｓ２は周辺画素Ｂ２の輝度値と注目画素Ａの輝度値との差分値の絶対値に対応する信号である。セレクタ１３０７は、セレクタ１３０４から送られる２つの信号Ｓ１とＳ２と、コンパレータ１３０６から送られるＨ信号又はＬ信号を入力信号として、セレクタ１３０４から送られる２つの信号のうち、１つの信号だけを出力する。信号Ｓ１に対応する輝度値が信号Ｓ２に対応する輝度値よりも大きい場合は、コンパレータ１３０６はＨ信号をセレクタ１３０７に送る。セレクタ１３０７は、Ｈ信号が送られているため、信号Ｓ２を選択して出力する。すなわち、この場合、周辺画素Ｂ２は周辺画素Ｂ１よりも、傷画素を置換するのにふさわしい画素であると判断される。このように、１組のコンパレータ１３０６とセレクタ１３０７とをトーナメント型に組み合わせることによって、最終的に最も傷画素を置換するのにふさわしい画素を選択することが可能となる。

差分器１３０８は、傷画素である注目画素Ａに対応する画像信号から、差分最小値選出回路１３０５から出力される画像信号を差分することにより、傷画素を置換する周辺画素に対応する画像信号を得て、その画像信号を出力する。出力された信号は、本実施の形態による傷画素補正回路の出力信号であり、この信号を傷画素である注目画素Ａに対応する入力信号の代わりに出力することによって、傷画素の補正を行うことができる。

本発明の傷画素補正回路は、傷画素の平面的な位置データを記憶するためのメモリを必要とせず、かつ傷画素の周辺画素から既に傷画素であることが判明している画素は排除されるため、傷画素を他の傷画素データで置換されてしまうことを防ぐことができる。そのため、補正後の画像データは結果として違和感のないものとなる。

（実施の形態８）
次に本発明の実施の形態８について図１４を用いて説明する。本実施の形態における傷画素補正回路は、実施の形態１で示した傷画素補正回路１０１に、図１４中の周辺傷画素を考慮した画素置換回路１４０１を付加された回路である。

図１４中の、周辺傷画素を考慮した画素置換回路１４０１において、コンパレータ１４０２は、注目画素Ａの周辺８画素の輝度値を入力として、しきい値１４ａと比較を行ない、輝度値がしきい値１４ａよりも大きい場合にはＬ信号を出力して、輝度値がしきい値１４ａよりも小さい場合にはＨ信号を出力する。同様の処理を全周辺８画素に対して行う。周辺傷画素判定回路１４０３は、コンパレータ１４０２から送られる信号が入力され、８つの入力信号が全てＨ信号である場合には、置換に用いる周辺画素に傷画素が１つも含まれていないと判定してＨ信号を出力する。セレクタ１４０４は、周辺傷画素判定回路１４０３からＨ信号が送られてきたとき、画素置換回路１０４から出力される信号をそのまま出力する。逆に、周辺傷画素判定回路１４０３からＬ信号が送られてきたとき、セレクタ１４０４は、実施の形態７のトーナメント形式により決定された周辺画素に対応する画像信号を出力する。ただし、セレクタ１４０４のＬ端子に入力される信号は、実施の形態７の出力信号の他にも、傷画素でないと判定された任意の周辺画素に対応する画像信号や、前もって定めておいた輝度値に対応する信号などを用いる手段も考えられる。

このように、周辺傷画素を考慮した画素置換回路１４０１を付加することにより、周辺画素に傷画素が含まれていた場合に生じる、傷画素を別の傷画素で置換してしまうことがほぼ無くなる。

（実施の形態９）
次に、本発明の実施の形態９について説明する。本発明の実施の形態９による傷画素補正回路は、傷画素検出回路によって傷画素であると判断された注目画素Ａの周辺画素のうち、互いに任意の方向に隣接する２画素の輝度値に対して差分計算を行い、周辺２画素のペアの輝度値の差分値と１つのしきい値との比較演算を行う比較回路１０３と、比較回路１０３における比較演算によって、少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する周辺２画素のペアによって、傷画素の置換を行う画素置換回路１０４により構成される。

さらに本発明の具体的な傷画素補正例を図１５〜図１７を用いて説明する。まず、注目画素Ａ（傷画素と判断された画素）の周辺８画素が傷画素であるかどうかの判断が行われる。そして、ａ）傷画素である周辺画素が全く存在しない場合、と、ｂ）傷画素である周辺画素が１つ以上存在する場合、とに場合分けされる。

ａ）注目画素Ａ（傷画素と判断された画素）の周辺８画素が傷画素でないと判断された場合、図１５のように注目画素Ａの周辺８画素のそれぞれの画素に対して、比較回路１０３は隣接画素との輝度値比較（差分値算出）を行い、隣接画素差分値ｄ１〜ｄ１２の大小関係より、撮像画像の輝度レベルの相関関係を算出し、最適置換画素を選出する。隣接画素差分値ｄ１〜ｄ１２の大小関係、しきい値１５ａよりも大きい隣接画素差分値としきい値１５ａよりも小さい隣接画素差分値とに分類することによって具体的に評価される。図１６の例１）では、隣接画素差分値ｄ１〜ｄ１２のうち、しきい値１５ａよりも大きな隣接画素のペアはｄ１、ｄ３、ｄ５、ｄ６に対応する画素のペアであり、これらのペアを通過するような直線を仮定する。このような図１６中の直線を輝度変化ラインと呼ぶ。画素置換回路１０４は、この輝度変化ラインによって分類されるグループ中で最も画素数が多く存在しているグループに属するペアのうち、傷画素の補正をした後に最も違和感を少なくするために、（１）差分値が最小であるペアを構成する２画素のいずれか又は平均値を輝度値とする画素、あるいは（２）全画素の平均値を輝度値とする画素で、傷画素を置換する。

図１６の例２〜例６に、様々な輝度変化ラインを用いた傷画素補正例を示す。ここで用いられる輝度変化ラインは、前もってパターン登録されているため、周辺画素のグループの分類処理を即座に行うことが可能である。また、輝度変化ラインが現れない場合に画素置換回路は、周辺８画素のどの画素で傷画素を置換しても、傷画素補正効果が変わらないとみなして、傷画素を周辺８画素のいずれかの画素の輝度値、あるいは周辺８画素の平均値を輝度値として持つ画素に置換する。

ｂ）次に、注目画素Ａの周辺８画素のうち１個以上傷画素が存在する場合について、図１７を用いて説明を行う。図１７中の×印をつけている画素が傷画素であると判断された周辺画素である。ここで、傷画素であると判断された周辺画素とその周辺画素に隣接する画素とのペアに対応する、隣接画素差分値（ｄ４、ｄ５、ｄ６、ｄ７、ｄ９）を算出しない。残りのｄ１〜３、ｄ８、ｄ１０〜ｄ１２を算出し、輝度変化ラインを仮定する。そして、ａ）の場合と同様に傷画素補正処理を行う。

本発明の傷画素補正回路は、デジタルカメラ、撮影機能付携帯電話等のデジタル画像処理LSIとして有用である。

実施の形態１による本発明の傷画素補正回路ブロック図実施の形態１による本発明の傷画素補正効果を示す図実施の形態１による本発明の傷画素補正例を示す回路図実施の形態２による本発明の傷画素補正回路ブロック図実施の形態２による本発明の傷画素補正効果を示す図実施の形態３による本発明のしきい値４ａの切り替え方法を示す図実施の形態４による本発明の傷画素補正回路ブロック図実施の形態４による本発明の傷画素検出回路による傷画素検出方法を示す図実施の形態５による本発明の傷画素検出回路による傷画素検出に使用する注目画素Ａと周辺画素との関係を示す図実施の形態６による本発明の傷画素検出回路による傷画素検出に使用する注目画素Ａと周辺画素との関係を示す図実施の形態６による本発明の傷画素検出回路による傷画素検出方法を示す図実施の形態７による本発明の傷画素補正における置換画素の決定方法を示す図実施の形態７による本発明の傷画素検出における置換画素の決定回路図実施の形態８による本発明の傷画素補正例を示す回路図実施の形態９による本発明の傷画素を置換するための画素選択説明図実施の形態９による本発明の輝度変化ラインを用いた傷画素補正例を示す図実施の形態９による本発明の傷画素を置換するための画素選択説明図

符号の説明

１０１傷画素補正回路
１０２傷画素検出回路
１０３比較回路
１０４画素置換回路
３０１コンパレータ
３０２，３０３，３０７セレクタ
３０４白系黒系判定回路
３０５白系輝度値決定回路
３０６黒系輝度値決定回路
４０１傷画素補正回路
６０１しきい値４ａ決定スイッチ
６０２しきい値４ｃ決定スイッチ
７０１傷画素補正回路
１３０１，１３０８差分器
１３０２変換器
１３０３，１３０６コンパレータ
１３０４，１３０７セレクタ
１３０５差分最小値画素選出回路
１４０１周辺傷画素を考慮した画素置換回路
１４０２コンパレータ
１４０３周辺傷画素判定回路
１４０４セレクタ

Claims

入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断するステップと、
傷画素であると判断された注目画素の複数の周辺画素の画素値と少なくとも１つのしきい値との比較演算を行うステップと、
比較演算によって少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する画素を用いて傷画素を置換するステップと
からなることを特徴とする傷画素補正方法。
複数画素を１ブロックとして処理する傷画素補正回路であって、
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断する傷画素検出回路部と、
前記傷画素検出回路部において傷画素であると判断された注目画素の複数の周辺画素の画素値と少なくとも１つのしきい値との比較演算を行う比較回路部と、
前記比較回路部における比較演算によって少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する画素のいずれか１つの画素で、傷画素を置換する画素置換回路部と、
からなることを特徴とする傷画素補正回路。
複数画素を１ブロックとして処理する傷画素補正回路であって、
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断する傷画素検出回路部と、
前記傷画素検出回路部において傷画素であると判断された注目画素の複数の周辺画素の画素値と少なくとも１つのしきい値との比較演算を行う比較回路部と、
前記比較回路部における比較演算によって少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する全画素の平均画素値を持つ画素で、傷画素を置換する画素置換回路部と、
からなることを特徴とする傷画素補正回路。
複数画素を１ブロックとして処理する傷画素補正回路であって、
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断する傷画素検出回路部と、
前記傷画素検出回路部において傷画素であると判断された注目画素の複数の周辺画素の画素値と少なくとも１つのしきい値との比較演算を行う比較回路部と、
前記比較回路部における比較演算によって少なくとも２つに分類されたグループのうち、最も画素数が多いグループに対して前もって定められた１つの画素値を持つ画素で、傷画素を置換する画素置換回路部と、
からなることを特徴とする傷画素補正回路。
請求項２又は請求項３又は請求項４記載の傷画素補正回路であって、
前記比較回路部は、
前記傷画素検出回路部において傷画素であると判断された注目画素の複数の周辺画素の画素値と複数のしきい値との比較演算を行うことを特徴とする傷画素補正回路。
請求項２又は請求項３又は請求項４又は請求項５記載の傷画素補正回路であって、
前記比較回路部は、
前記傷画素検出回路部において傷画素であると判断された注目画素の複数の周辺画素の画素値と任意に値を変動させることが可能な前記複数のしきい値との比較演算を行うことを特徴とする傷画素補正回路。
請求項２〜６いずれか記載の傷画素補正回路であって、
前記傷画素検出回路部は、
注目画素の画素値と１つのしきい値との比較演算を行うことによって、注目画素が傷画素であるかどうかを判断することを特徴とする傷画素補正回路。
請求項２〜６いずれか記載の傷画素補正回路であって、
前記傷画素検出回路部は、
注目画素の画素値と注目画素の複数の周辺画素の平均画素値との差分値と、
１つのしきい値との比較演算を行うことによって、注目画素が傷画素であるかどうかを判断することを特徴とする傷画素補正回路。
請求項２〜６いずれか記載の傷画素補正回路であって、
前記傷画素検出回路部は、
注目画素を中心として任意の直線方向に連続する３画素において、注目画素の画素値が最大又は最小であり、かつ、隣り合う２つの画素の差分値が１つのしきい値以上である画素を傷画素と判断することを特徴とする傷画素補正回路。
複数画素を１ブロックとして処理する傷画素補正回路であって、
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断する傷画素検出回路部と、
前記傷画素検出回路部によって傷画素であると判断された注目画素の画素値と注目画素の複数の周辺画素の画素値との差分値と、１つのしきい値との比較演算を行う比較回路部と、
前記比較回路部によって前記１つのしきい値よりも小さな画素値を持つ周辺画素を、傷画素であると判断して最大の画素値を割り当て、複数の周辺画素のうち、互いに任意の方向に隣接する周辺２画素の画素値に対して順次に比較し、前記差分値が最小となる周辺画素で傷画素を置換する画素置換回路部と、
からなることを特徴とする傷画素補正回路。
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断するステップと、
傷画素であると判断された注目画素の画素値と注目画素の複数の周辺画素の画素値との差分値と、１つのしきい値との比較演算を行うステップと、
前記１つのしきい値よりも小さな画素値を持つ周辺画素を、傷画素であると判断して最大の画素値を割り当て、複数の周辺画素のうち、互いに任意の方向に隣接する周辺2画素の画素値に対して順次に比較し、前記差分値が最小となる周辺画素で傷画素を置換するステップと、
からなることを特徴とする傷画素補正方法。
請求項２〜６いずれか記載の傷画素補正回路であって、
前記傷画素検出回路部と、前記比較回路部と、前記画素置換回路部と、
注目画素の周辺画素が傷画素であるかどうかを判断し、注目画素の周辺画素が傷画素でない場合にのみ、前記画素置換回路部によって決定された画素で傷画素の補正を行うという手段を有する、周辺画素を考慮した画素置換回路部と、
からなることを特徴とする傷画素補正回路。
複数画素を１ブロックとして処理する傷画素補正回路であって、
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断する傷画素検出回路部と、
前記傷画素検出回路部によって傷画素であると判断された注目画素の複数の周辺画素のうち、互いに任意の方向に隣接する２画素の画素値に対して差分計算を行い、周辺２画素のペアの画素値の差分値と１つのしきい値との比較演算を行う比較回路部と、
前記比較回路部における比較演算によって、少なくとも２つに分類されたグループのうち、
最も画素数が多いグループに属する周辺２画素のペアを構成するいずれかの画素、又は最も画素数が多いグループに属する全画素の平均画素値を持つ画素で、傷画素を置換する画素置換回路部と、
からなることを特徴とする傷画素補正回路。
入力された画素を注目画素として、注目画素が傷画素であるかどうかを判断するステップと、
傷画素であると判断された注目画素の複数の周辺画素のうち、互いに任意の方向に隣接する２画素の画素値に対して差分計算を行い、周辺２画素のペアの画素値の差分値と１つのしきい値との比較演算を行うステップと、
比較演算によって、少なくとも２つに分類されたグループのうち、最も画素数が多いグループに属する周辺２画素のペアを構成するいずれかの画素、又は最も画素数が多いグループに属する全画素の平均画素値を持つ画素で、傷画素を置換するステップと、
からなることを特徴とする傷画素補正方法。