JP2008113163A

JP2008113163A - 欠陥画素補正回路、それを用いた画像処理システムおよび欠陥画素補正方法

Info

Publication number: JP2008113163A
Application number: JP2006294268A
Authority: JP
Inventors: Takeshi Ishi; 武志石; Yuji Watarai; 祐司渡会
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-10-30
Filing date: 2006-10-30
Publication date: 2008-05-15
Anticipated expiration: 2026-10-30
Also published as: US8085322B2; US20080100727A1; JP4916275B2

Abstract

【課題】一方向に連なる欠陥を有するイメージセンサの欠陥の判定および補正画素への置き換えを容易に行なうことができる欠陥画素補正回路を提供すること。
【解決手段】欠陥画素補正回路１は、注目画素ｏｏを中心とし、一方向に並び注目画素ｏｏを除く参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏを参照して注目画素ｏｏが欠陥画素であるか否かの判定を行なう欠陥画素判定部１０と、注目画素ｏｏが欠陥画素である場合には、参照画素ｍｏ，ｑｏに基づき補正画素値を生成し、注目画素ｏｏの画素値である注目画素値を前記補正画素値に置き換える欠陥画素補正部２０と、を備えている。
【選択図】図１

Description

本発明は、ＣＣＤ／ＣＭＯＳセンサなどのイメージセンサの欠陥をデジタル的に補正する欠陥画素補正回路およびそれを用いた画像処理システム、並びに欠陥画素補正方法に関するものである。

一般にＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）やＣＭＯＳセンサなどのイメージセンサにおいては、半導体基板の局部的な結晶欠陥等により、欠陥画素が生じることが知られている。

このようなイメージセンサの欠陥画素の判定および補正を行う際には、ｎ×ｎのサブマトリクス（ｎ≧２、一般的には３程度）を用いて、周辺の参照画素から注目画素が欠陥しているか否かが判定される。注目画素が欠陥画素である場合には、注目画素は、周辺の参照画素を用いて生成された補正画素へと置き換えられる。

このようなイメージセンサの欠陥画素補正に関する技術として、特許文献１乃至特許文献３に開示されるものがある。
特開２０００−１０１９２４号公報特開２００４−２３５９８０号公報特開２００２−２２３３９１号公報

しかしながら、近年のイメージセンサでは一方向に（例えば縦方向）に連なる欠陥を持つものがあり、従来技術のｎ×ｎのサブマトリクスを用いる欠陥画素補正に関する技術では、参照画素中にも多数の欠陥画素が含まれることになる。このため、従来技術において、このような一方向に連なる欠陥をもつイメージセンサの欠陥を判定および補正画素への適切な置き換えは困難であり問題である。

本発明は前記背景技術に鑑みなされたものであり、一方向に連なる欠陥を有するイメージセンサの欠陥の判定および補正画素への置き換えを容易に行なうことができる欠陥画素補正回路を提供することを目的とする。

その解決手段は、注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部と、前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成し、前記注目画素の画素値である注目画素値を前記補正画素値に置き換える欠陥画素補正部と、を備えることを特徴とする欠陥画素補正回路である。

また、他の解決手段は、注目画素を中心とし、一方向に並ぶ参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なうステップと、前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成するステップと、前記注目画素の画素値である注目画素値を前記補正画素値に置き換えるステップと、を備えることを特徴とする欠陥画素補正方法である。

本発明の欠陥画素補正回路および欠陥画素補正方法によれば、注目画素および参照画素群の並ぶ方向と、欠陥画素の並ぶ方向が交差する場合には、参照画素に欠陥画素が含まれる可能性が小さくなる。これにより注目画素が欠陥画素である場合に、適切に、その画素値を補正画素値に置き換えることができる。

また、他の解決手段は、イメージセンサの出力から露出値を評価し、ＩＳＯ感度を設定する露出評価部と、注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部であり、前記参照画素のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、前記参照画素群のうちから最大値を取り出す第２最大値取得部と、前記参照画素群のうちから最小値を取り出す第２最小値取得部と、前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちから最大値を取り出す第３最大値取得部と、前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちから最小値を取り出す第３最小値取得部と、前記ＩＳＯ感度に応じて、前記第１最大値取得部の結果、前記第２最大値取得部の結果および前記第３最大値取得部の結果を切り換える最大値選択部と、前記ＩＳＯ感度に応じて、前記第１最小値取得部の結果、前記第２最小値取得部の結果および前記第３最小値取得部の結果を切り換える最小値選択部と、前記最大値選択部の結果に第１閾値を加える最大閾値生成部と、前記最小値選択部の結果から第２閾値を減じる最小閾値生成部と、前記注目画素値が前記最大閾値生成部の結果から前記最小閾値生成部の結果の間にあるか否かを判定する欠陥判定部と、を含む欠陥画素判定部と、を備えることを特徴とする画像処理システムである。

本発明によれば、検知したＩＳＯ感度に応じて、欠陥画素補正部の補正値選択部の設定が行われるため、ＩＳＯ感度が高く荒れた画像に対しても、ＩＳＯ感度が低くなめらかな画像に対しても、適切な欠陥画素の補正を行うことができる。

本発明によれば、一方向に連なる欠陥を有するイメージセンサの欠陥の判定および補正画素への置き換えを容易に行なうことができる欠陥画素補正回路およびそれを用いた画像処理システム並びに欠陥画素補正方法を提供することが可能となる。

以下、本発明の欠陥画素補正回路および画像処理システムについて具体化した実施形態を図１〜図６に基づき図面を参照しつつ詳細に説明する。

（第１実施形態）
図１は第１実施形態にかかる欠陥画素補正回路１の構成を示す機能ブロック図である。欠陥画素補正回路１では、ＣＣＤ／ＣＭＯＳセンサからのベイヤ配列の画素の画素値がバッファ部３０にシリアルに入力され、周辺の同色の参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏが参照されて、バッファ部３０の中央にある注目画素ｏｏが欠陥画素であるか否かが判別される。判別の結果、注目画素ｏｏが欠陥画素である場合には、近隣の同色の参照画素ｍｏ，ｑｏの画素値に基づき生成される補正画素値に、注目画素ｏｏの画素値が置き換えられる。

ここで、欠陥画素とは、半導体基板上に形成されたイメージセンサにおいて、半導体基板上の局所的な結晶欠陥等により生じた画素であり、その画素値は、周囲の参照画素群の画素値に比して、異常に大きい、または、小さいものとなる。なお、後述する異常値であるか否かを検知するための閾値（第１閾値ＤＥＲＴＨＭ、第２閾値ＤＥＲＴＨＰ）の幅を狭める方向に設定することにより、第１実施形態にかかる欠陥画素補正回路１はノイズフィルタとしても機能させることも可能である。

欠陥画素補正回路１は、注目画素ｏｏが欠陥画素であるか否かを判定する欠陥画素判定部１０と、注目画素ｏｏが欠陥画素である場合に、注目画素ｏｏの画素値を補正する欠陥画素補正部２０と、ＣＣＤ／ＣＭＯＳセンサ２から順次送られてくる画素値を保持するバッファ部３０と、ＣＰＵ３により設定される各種パラメータを保持するレジスタ部４０とを備えている。

このうち欠陥画素判定部１０では、バッファ部３０から参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの値が入力され、レジスタ部４０から、判別モードＤＥＲＭＤ、第１閾値ＤＥＲＴＨＭおよび第２閾値ＤＥＲＴＨＰが入力される。さらに、欠陥画素判定部１０では、欠陥画素補正部２０に対し、判定信号ｈｉｇｈ，ｍｉｄ，ｌｏｗが出力される。

欠陥画素判定部１０に入力される判別モードＤＥＲＭＤは０，１，２の３通りのモードを有している。判別モードＤＥＲＭＤ＝１の場合には、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏのうちから最小値および最大値が選択され、最小値からは第１閾値ＤＥＲＴＨＭが減算され、最大値には第２閾値ＤＥＲＴＨＰが加算される。注目画素ｏｏが、最小値から第１閾値ＤＥＲＴＨＭが減算された結果以上であり、且つ最大値に第２閾値ＤＥＲＴＨＰが加算された結果以下の場合には、注目画素ｏｏが欠陥画素ではないと判断される。また、両端の値は含んでも含まなくともよい。

判別モードＤＥＲＭＤ＝２の場合には、参照画素ｋｏ，ｍｏを結ぶ直線および参照画素ｑｏ，ｓｏを結ぶ直線により、注目画素ｏｏの画素値の推測値がそれぞれ推測され、さらに、それぞれの推測値のうちから最小値および最大値が選択される。またさらに、最小値からは第１閾値ＤＥＲＴＨＭが減算され、最大値には第２閾値ＤＥＲＴＨＰが加算される。注目画素ｏｏが、最小値から第１閾値ＤＥＲＴＨＭが減算された結果から、最大値に第２閾値ＤＥＲＴＨＰが加算された結果の間に含まれる場合には、注目画素ｏｏが欠陥画素ではないと判断される。

判別モードＤＥＲＭＤ＝０の場合には、参照画素ｋｏ，ｍｏを結ぶ直線および参照画素ｑｏ，ｓｏを結ぶ直線により、注目画素ｏｏの画素値をそれぞれ推測し、さらに、それぞれの推測値および参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏのうちから最小値および最大値が選択される。またさらに、最小値からは第１閾値ＤＥＲＴＨＭが減算され、最大値には第２閾値ＤＥＲＴＨＰが加算される。注目画素ｏｏが、最小値から第１閾値ＤＥＲＴＨＭが減算された結果から、最大値に第２閾値ＤＥＲＴＨＰが加算された結果の間に含まれる場合には、注目画素ｏｏが欠陥画素ではないと判断される。

なお、判別モードＤＥＲＭＤ＝０および２の場合において、注目画素ｏｏの参照画素ｋｏ，ｍｏから推測される左側推測値ＳＬおよび参照画素ｑｏ，ｓｏから推測される右側推測値ＳＲは、以下の式を用いて算出される。
左側推測値ＳＬ＝ｋｏ＋２×（ｍｏ−ｋｏ）・・・（式１）
右側推測値ＳＲ＝ｓｏ＋２×（ｑｏ−ｓｏ）・・・（式２）

図２は、欠陥画素判定部１０の構成を示す機能ブロック図である。欠陥画素判定部１０は、第１推測画素生成部１０１と、第２推測画素生成部１０２と、第１最小値取得部１０３と、第１最大値取得部１０４と、第２最小値取得部１０５と、第２最大値取得部１０６と、第３最小値取得部１０７と、第３最大値取得部１０８と、最小値選択部１０９と、最大値選択部１１０と、第１閾値減算部１１１と、第２閾値加算部１１２と、欠陥判定部１１３とを備えている。

第１推測画素生成部１０１は、減算器と、乗算器と、加算器とを含んでいる。第１推測画素生成部１０１では、（式１）に基づき左側推測値ＳＬが生成される。

第２推測画素生成部１０２は、減算器と、乗算器と、加算器とを含んでいる。第２推測画素生成部１０２では、（式２）に基づき右側推測値ＳＲが生成される。

第１最小値取得部１０３では、左側推測値ＳＬおよび右側推測値ＳＲの値の大きさが比較され、そのうちから最小値が出力される。

第１最大値取得部１０４では、左側推測値ＳＬおよび右側推測値ＳＲの値の大きさが比較され、そのうちから最大値が出力される。

第２最小値取得部１０５では、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの値の大きさが比較され、そのうちから最小値が出力される。

第２最大値取得部１０６では、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの値の大きさが比較され、そのうちから最大値が出力される。

第３最小値取得部１０７では、第１最小値取得部１０３の出力および第２最小値取得部１０５の出力の値の大きさが比較され、そのうちから最小値が出力される。

第３最大値取得部１０８では、第１最大値取得部１０４の出力および第２最大値取得部１０６の出力の値の大きさが比較され、そのうちから最大値が出力される。

最小値選択部１０９では、判別モードＤＥＲＭＤに応じて、出力が選択される。具体的には、判別モードＤＥＲＭＤ＝２の場合には、第３最小値取得部１０７の出力が選択され、判別モードＤＥＲＭＤ＝０の場合には、第１最小値取得部１０３の出力が選択され、判別モードＤＥＲＭＤ＝１の場合には、第２最小値取得部１０５の出力が選択される。

最大値選択部１１０では、判別モードＤＥＲＭＤに応じて、出力が選択される。具体的には、判別モードＤＥＲＭＤ＝２の場合には、第３最大値取得部１０８の出力が選択され、判別モードＤＥＲＭＤ＝０の場合には、第１最大値取得部１０４の出力が選択され、判別モードＤＥＲＭＤ＝１の場合には、第２最大値取得部１０６の出力が選択される。

第１閾値減算部１１１では、最小値選択部１０９の出力値から第１閾値ＤＥＲＴＨＭが減算される。このとき、結果が負になった場合には、０が強制的に出力される。

第２閾値加算部１１２では、最大値選択部１１０の出力値に第２閾値ＤＥＲＴＨＰが加算される。このとき、結果が画素の最大値（本例では４０９５）を越える場合には、画素の最大値（本例では４０９５）が強制的に出力される。

欠陥判定部１１３では、注目画素ｏｏの画素値が、第１閾値減算部１１１の出力から、第２閾値加算部１１２の出力の範囲に含まれるか否かが判定される。注目画素ｏｏの画素値が、第１閾値減算部１１１の出力から第２閾値加算部１１２の出力の範囲以内である場合には判定信号ｍｉｄが活性化される。また、注目画素ｏｏの画素値が、第１閾値減算部１１１の出力値より小さい場合には、判定信号ｌｏｗが活性化される。さらに、注目画素ｏｏの画素値が、第２閾値加算部１１２の出力値より大きい場合には、判定信号ｈｉｇｈが活性化される。
また、注目画素ｏｏの画素値が、第１閾値減算部１１１の出力より大きく、且つ第２閾値加算部１１２の出力より小さい場合に判定信号ｍｉｄが活性化されてもよい。この場合は、注目画素ｏｏの画素値が、第１閾値減算部１１１の出力値以下の場合に判定信号ｌｏｗが活性化される。さらに、注目画素ｏｏの画素値が、第２閾値加算部１１２の出力値以上の場合に判定信号ｈｉｇｈが活性化される。

図１に戻り、欠陥画素補正部２０について説明する。欠陥画素補正部２０では、欠陥画素判定部１０からの判定信号ｈｉｇｈ，ｍｉｄ，ｌｏｗと、レジスタ部４０からの補正モードＤＥＲＭＮと、ベイヤデータにおいて注目画素ｏｏと同色の隣り合う参照画素ｍｏ，ｑｏと、注目画素ｏｏとが入力されている。

欠陥画素補正部２０に入力される補正モードＤＥＲＭＮは０、１の２通りのモードを有している。補正モードＤＥＲＭＮ＝０の場合であって、判定信号ｌｏｗが活性化している場合には、ベイヤデータにおいて同色の隣り合う参照画素ｍｏ，ｑｏのうちから最小値が注目画素ｏｏの補正値として出力され、判定信号ｈｉｇｈが活性化している場合には、ベイヤデータにおいて同色の隣り合う参照画素ｍｏ，ｑｏのうちから最大値が注目画素ｏｏの補正値として出力される。また、補正モードＤＥＲＭＮ＝１の場合には、ベイヤデータにおいて注目画素ｏｏと同色の隣り合う参照画素ｍｏ，ｑｏの平均値が、注目画素ｏｏの補正値として出力される。

図３は、欠陥画素補正部２０の構成を示す機能ブロック図である。欠陥画素補正部２０は、平均値演算部２０１と、最小値取得部２０２と、最大値取得部２０３と、補正値選択部２０４と、出力部２０５とを備えている。

平均値演算部２０１は、加算器および除算器を含んでいる。平均値演算部２０１では、ベイヤデータにおいて注目画素ｏｏと同色の隣り合う参照画素ｍｏ，ｑｏの平均値が演算されて出力される。

最小値取得部２０２では、ベイヤデータにおいて注目画素ｏｏと同色の隣り合う参照画素ｍｏ，ｑｏのうちから最小値が選択されて出力される。

最大値取得部２０３では、ベイヤデータにおいて注目画素ｏｏと同色の隣り合う参照画素ｍｏ，ｑｏのうちから最大値が選択されて出力される。

補正値選択部２０４では、補正モードＤＥＲＭＮ＝０の場合であって、判定信号ｌｏｗが活性化されている場合には、最小値取得部２０２の出力値が選択され、判定信号ｈｉｇｈが活性化されている場合には、最大値取得部２０３の出力値が選択される。また、補正モードＤＥＲＭＮ＝１の場合には、平均値演算部２０１の出力値が選択される。

出力部２０５では、判定信号ｍｉｄが活性化されている場合には、注目画素ｏｏの値が出力され、判定信号ｍｉｄが非活性化されている場合には、補正値選択部２０４の出力値が出力される。

図１に戻り、バッファ部３０について説明する。バッファ部３０では、フリップフロップ３０１〜３０９が順にシフトレジスタ構成で接続されている。そのうち、フリップフロップ３０１の出力が参照画素ｋｏの画素値として取り出され、フリップフロップ３０３の出力が参照画素ｍｏの画素値として取り出され、フリップフロップ３０５の出力が注目画素ｏｏの画素値として取り出され、フリップフロップ３０７の出力が参照画素ｑｏの画素値として取り出され、フリップフロップ３０９の出力が参照画素ｓｏの画素値として取り出されている。

レジスタ部４０では、補正モードＤＥＲＭＮ、判別モードＤＥＲＭＤ、第１閾値ＤＥＲＴＨＭおよび第２閾値ＤＥＲＴＨＰの各値が保持されている。各値に対するアクセスは、ＣＰＵ３からアドレスバスおよびデータバスを介して行なわれる。

次いで、第１実施形態にかかる欠陥画素補正方法について、図４および図５を参照して説明する。図４は第１実施形態にかかる欠陥画素補正方法の処理手順を示すフローチャート１であり、欠陥画素補正回路１における欠陥画素判定部１０に相当する部分である。図５は第１実施形態にかかる欠陥画素補正方法の処理手順を示すフローチャート２であり、欠陥画素補正回路１における欠陥画素補正部２０に相当する部分である。

ステップＳ１において、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏより最小値が選択され、変数ｖｍｉｎに代入される。フローチャートに示されるｍｉｎ関数は、引数のうちから最小値を選択する関数である。この処理は欠陥画素判定部１０における第２最小値取得部１０５に相当する部分である。

ステップＳ２において、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏより最大値が選択され、変数ｖｍａｘに代入される。フローチャートに示されるｍａｘ関数は、引数のうちから最大値を選択する関数である。この処理は欠陥画素判定部１０における第２最大値取得部１０６に相当する部分である。

ステップＳ３において、(式１)に基づき、左側推測値ＳＬが演算される。この処理は欠陥画素判定部１０における第１推測画素生成部１０１に相当する部分である。

ステップＳ４において、（式２）に基づき、右側推測値ＳＲが演算される。この処理は欠陥画素判定部１０における第２推測画素生成部１０２に相当する部分である。

ステップＳ５において、左側推測値ＳＬおよび右側推測値ＳＲより最小値が選択され、変数ｓｍｉｎに代入される。この処理は欠陥画素判定部１０における第１最小値取得部１０３に相当する部分である。

ステップＳ６において、左側推測値ＳＬおよび右側推測値ＳＲより最大値が選択され、変数ｓｍａｘに代入される。この処理は欠陥画素判定部１０における第１最大値取得部１０４に相当する部分である。

ステップＳ７において、判別モードＤＥＲＭＤの値が判別される。判別モードＤＥＲＭＤ＝０の場合はステップＳ１０に移動し、判別モードＤＥＲＭＤ＝１の場合はステップＳ１２に移動し、判別モードＤＥＲＭＤ＝２の場合はステップＳ８に移動する。

ステップＳ８において、変数ｓｍｉｎおよび変数ｖｍｉｎより最小値が選択され、変数ｘｍｉｎに代入される。
ステップＳ９において、変数ｓｍａｘおよび変数ｖｍａｘより最大値が選択され、変数ｘｍａｘに代入される。その後、ステップＳ１４に移動する。

ステップＳ１０において、変数ｓｍｉｎが変数ｘｍｉｎに代入される。
ステップＳ１１において、変数ｓｍａｘが変数ｘｍａｘに代入される。その後、ステップＳ１４に移動する。

ステップＳ１２において、変数ｖｍｉｎが変数ｘｍｉｎに代入される。
ステップＳ１３において、変数ｖｍａｘが変数ｘｍａｘに代入される。その後、ステップＳ１４に移動する。

なお、上記のステップＳ７〜Ｓ１３の処理において、ステップＳ７、ステップＳ８、ステップＳ１０およびステップＳ１２は、欠陥画素判定部１０における最小値選択部１０９に相当する部分であり、ステップＳ７、ステップＳ９、ステップＳ１１およびステップＳ１３は、欠陥画素判定部１０における最大値選択部１１０に相当する部分である。

ステップＳ１４において、変数ｘｍｉｎから第１閾値ＤＥＲＴＨＭが減算された結果および０のうちから最大値が選択され、変数ｔｌに代入される。すなわち、変数ｘｍｉｎから第１閾値ＤＥＲＴＨＭが減算された結果が負になったとしても、変数ｔｌに代入される値は０にクリップされることとなる。この処理は欠陥画素判定部１０における第１閾値減算部１１１に相当する部分である。

ステップＳ１５において、変数ｘｍａｘに第２閾値ＤＥＲＴＨＰが加算された結果および画素の最大値（本例では４０９５）のうちから最小値が選択され、変数ｔｈに代入される。すなわち、変数ｘｍａｘに第２閾値ＤＥＲＴＨＰが加算された結果が画素の最大値（本例では４０９５）を越えたとしても、変数ｔｈに代入される値は画素の最大値（本例では４０９５）にクリップされることとなる。この処理は欠陥画素判定部１０における第２閾値加算部１１２に相当する部分である。

ステップＳ１６において、注目画素ｏｏ、変数ｔｌおよび変数ｔｈが比較される。比較の結果、注目画素ｏｏ＞変数ｔｈの場合にはステップＳ１７に進み、変数ｔｌ≦注目画素ｏｏ≦変数ｔｈの場合にはステップＳ１８に進み、注目画素ｏｏ＜変数ｔｌの場合にはステップＳ１９に進む。

ステップＳ１７において、判定信号ｈｉｇｈが１に活性化される。その後、ステップＳ２０に移動する。

ステップＳ１８において、判定信号ｍｉｄが１に活性化される。その後、ステップＳ２０に移動する。

ステップＳ１９において、判定信号ｌｏｗが１に活性化される。その後、ステップＳ２０に移動する。

なお、上記ステップＳ１６〜Ｓ１９の処理は、欠陥画素判定部１０における欠陥判定部１１３に相当する部分である。

図５に移り、ステップＳ２０において、参照画素ｍｏ，ｑｏの平均値が演算され、変数ａｖに代入される。この処理は欠陥画素補正部２０における平均値演算部２０１に相当する部分である。

ステップＳ２１において、参照画素ｍｏ，ｑｏのうちから最小値が選択され、変数ｍｉｎｖに代入される。この処理は欠陥画素補正部２０における最小値取得部２０２に相当する部分である。

ステップＳ２２において、参照画素ｍｏ，ｑｏのうちから最大値が選択され、変数ｍａｘｖに代入される。この処理は欠陥画素補正部２０における最大値取得部２０３に相当する部分である。

ステップＳ２３において、補正モードＤＥＲＭＮ＝１であるかが判定される。補正モードＤＥＲＭＮ＝１である場合には、ステップＳ２７に移動し、そうでない場合にはステップＳ２４に移動する。

ステップＳ２４において、判定信号ｈｉｇｈ＝１または判定信号ｌｏｗ＝１かが判定される。判定信号ｌｏｗ＝１の場合にはステップＳ２５に移動し、判定信号ｈｉｇｈ＝１の場合にはステップＳ２６に移動する。

ステップＳ２５において、変数ｃｗに変数ｍｉｎｖが代入される。その後、ステップＳ２８に移動する。

ステップＳ２６において、変数ｃｗに変数ｍａｘｖが代入される。その後、ステップＳ２８に移動する。

ステップＳ２７において、変数ｃｗに変数ａｖが代入される。その後、ステップＳ２８に移動する。

なお、上記のステップＳ２４〜Ｓ２７の処理は欠陥画素補正部２０における補正値選択部２０４に相当する部分である。

ステップＳ２８において、判定信号ｍｉｄ＝１であるか否かを判定する。判定信号ｍｉｄ＝１である場合にはステップＳ３０に移動し、そうで無い場合にはステップＳ２９に移動する。

ステップＳ２９において、出力注目画素ｏｏ’の画素値に変数ｃｗを代入する。その後、欠陥画素補正の処理を終了する。

ステップＳ３０において、出力注目画素ｏｏ’の画素値に注目画素ｏｏの画素値を代入する。その後、欠陥画素補正の処理を終了する。

なお、上記ステップＳ２８〜Ｓ３０の処理は欠陥画素補正部２０における出力部２０５に相当する部分である。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、注目画素ｏｏおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの並ぶ方向と、欠陥画素の並ぶ方向が交差する場合には、注目画素ｏｏに欠陥画素が含まれる可能性が小さくなる。これにより注目画素ｏｏが欠陥画素である場合に、適切に、その画素値を補正画素値に置き換えることができる。

第１実施形態にかかる欠陥画素補正回路１では、注目画素ｏｏおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの並ぶ方向がイメージセンサの走査方向である。イメージセンサからは走査方向にデータが順次送られて来る。これにより、注目画素ｏｏおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏが並ぶ方向が走査方向に交差する方向の場合には、注目画素ｏｏおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏを格納するために、一度に取り扱う水平画素数×参照するライン数だけのバッファが必要となる。これに対して、注目画素ｏｏおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏの並ぶ方向が、イメージセンサ走査方向と同一の場合には、画素ｋｏ〜ｓｏを格納できるだけのバッファで済ますことができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、欠陥画素判定部１０は、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏのうち少なくとも２つの画素値から、直線近似で注目画素ｏｏの画素値の推測画素値を推測する第１推測画素生成部１０１および第２推測画素生成部１０２を含んでいる。これにより、ノイズの少ないなめらかな画像において、精度よく欠陥画素であるか否かを判定することができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、判別モードＤＥＲＭＤ＝０のとき、第１推測画素生成部１０１および第２推測画素生成部１０２から生成される左側推測値ＳＬおよび右側推測値ＳＲを用いて、注目画素が欠陥画素であるか否かが判定されている。これにより、ノイズの少ないなめらかな画像において、最小２乗法などで生成された近似直線を使用することができるため、精度よく注目画素ｏｏが欠陥画素であるか否かを判定することができる。
さらに、第１参照画素群および第２参照画素群のうちそれぞれ２つの画素値のみを用いて第１推測画素値および第２推測画素値を推測しており、２点で直線の方程式を算出できるため、簡易な回路で構成することができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、判別モードＤＥＲＭＤ＝１のとき、参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏのうちから画素最大値および画素最小値が取り出されて、それらを用いて、注目画素が欠陥画素であるか否かが判定されている。これにより、ノイズの多い荒れた画像であっても欠陥画素であるか否かを判定する回路を構成することができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、判別モードＤＥＲＭＤ＝２のとき、左側推測値ＳＬ、右側推測値ＳＲおよび参照画素ｋｏ，ｍｏ，ｑｏ，ｓｏのうちから画素最大値および画素最小値が取り出されて、それらを用いて、注目画素が欠陥画素であるか否かが判定されている。これにより、ノイズの少ないなめらかな画像においては精度よく注目画素が欠陥画素であるか否かの判定を行なうことができ、ノイズの多い荒れた画像でも適切に注目画素が欠陥画素であるか否かの判定を行なうことができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、画素最大値に第２閾値ＤＥＲＴＨＰが加えられ、画素最小値から第１閾値ＤＥＲＴＨＭが減じられ、注目画素ｏｏの画素値が最小値から第１閾値ＤＥＲＴＨＭが減算された結果以上であり、且つ最大値に第２閾値ＤＥＲＴＨＰが加算された結果以下の場合には、注目画素ｏｏが欠陥画素ではないと判断される。また、両端の値は含んでも含まなくともよい。これにより、より確実に注目画素ｏｏが欠陥画素であるか否かを判定することができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、補正モードＤＥＲＭＮ＝１のとき、参照画素ｍｏ，ｑｏの平均値が演算され、補正画素が生成されている。参照画素ｍｏ，ｑｏの平均値を取ることでノイズの多い荒れた画像であっても適切に欠陥画素を補正することができる。

第１実施形態にかかる欠陥画素補正回路１および欠陥画素補正方法では、補正モードＤＥＲＭＮ＝０のとき、参照画素ｍｏ，ｑｏから最大値および最小値が抽出され、欠陥画素判定部１０の判定結果に応じて、最大値または最小値で補完されている。これにより、ノイズの少ないなめらかな画像であっても適切に欠陥画素を補正することができる。

（第２実施形態）
図６は画像処理システム６の構成を示す機能ブロック図である。画像処理システム６は、欠陥画素補正回路１と、ＣＭＯＳセンサ２と、ＣＰＵ３と、露出評価部４と、画像処理部５とを備えている。
このうち欠陥画素補正回路１と、ＣＭＯＳセンサ２と、ＣＰＵ３とは第１実施形態と同様のものであるため、その説明を簡略化または省略して説明する。

露出評価部４では、欠陥補正前のベイヤ配列画素のデータが入力され、ベイヤ配列画素のデータの明るさに応じて露出の評価が行なわれる。露出の評価が行なわれた後、撮像に適したＩＳＯ感度が出力される。

ＣＰＵ３では、露出評価部４で決定されたＩＳＯ感度に応じて、判別モードＤＥＲＭＤ、第１閾値ＤＥＲＴＨＭ、第２閾値ＤＥＲＴＨＰおよび補正モードＤＥＲＭＮが設定される。

高いＩＳＯ感度が設定された場合（画像が暗い場合）、得られる画像は高感度ノイズが多く含まれるものとなる。ノイズが多い画像では参照画素の画素値に対する勾配からの画素値推定が困難となるため、判別モードＤＥＲＭＤ＝１の方式は不適切となる。このような場合には、参照画素群の最大値・最小値で判別する判別モードＤＥＲＭＤ＝２の方式が適切となる。さらに高いＩＳＯ感度が必要とされる画像に対しては、最も欠陥画素と判定されにくい判別モードＤＥＲＭＤ＝０の方式が適切となる。また、第１閾値ＤＥＲＴＨＭおよび第２閾値ＤＥＲＴＨＰも高いＩＳＯ感度ほど高く設定する。これはノイズの多い画素が欠陥画素と誤判定されて画素補正が行われるのを防止するためである。さらに、欠陥画素補正演算については、ＩＳＯ感度が高い場合には平均値を用いる補正モードＤＥＲＭＮ＝１が設定され、ＩＳＯ感度が低い場合には最小値・最大値を用いる補正モードＤＥＲＭＮ＝０が設定される。

ＩＳＯ感度に応じた、判別モードＤＥＲＭＤ、第１閾値ＤＥＲＴＨＭ、第２閾値ＤＥＲＴＨＰおよび補正モードＤＥＲＭＮの設定の一例として以下に示す。
ＩＳＯ感度が４００未満の場合には、判別モードＤＥＲＭＤ＝１、第１閾値ＤＥＲＴＨＭ＝４００、第２閾値ＤＥＲＴＨＰ＝４００、補正モードＤＥＲＭＮ＝０が設定される。
ＩＳＯ感度が４００以上８００未満の場合には、判別モードＤＥＲＭＤ＝２、第１閾値ＤＥＲＴＨＭ＝６００、第２閾値ＤＥＲＴＨＰ＝６００、補正モードＤＥＲＭＮ＝１が設定される。
ＩＳＯ感度が８００以上の場合には、判別モードＤＥＲＭＤ＝０、第１閾値ＤＥＲＴＨＭ＝８００、第２閾値ＤＥＲＴＨＰ＝８００、補正モードＤＥＲＭＮ＝１が設定される。

画像処理部５では、欠陥画素が取り除かれたベイヤ配列の画素データに対して、ＲＧＢ／ＪＰＥＧへの変換処理やフィルタリング処理が行われる。

第２実施形態にかかる画像処理システムでは、検知したＩＳＯ感度に応じて、欠陥画素判定部１０の判別モードＤＥＲＭＤ、第１閾値ＤＥＲＴＨＭおよび第２閾値ＤＥＲＴＨＰの設定が行われるため、ＩＳＯ感度が高く荒れた画像に対しても、ＩＳＯ感度が低くなめらかな画像に対しても、適切な欠陥画素の補正を行うことができる。

第２実施形態にかかる画像処理システムでは、検知したＩＳＯ感度に応じて、欠陥画素補正部２０の補正値選択部２０４の設定（補正モードＤＥＲＭＮ）が行われるため、ＩＳＯ感度が高く荒れた画像に対しても、ＩＳＯ感度が低くなめらかな画像に対しても、適切な欠陥画素の補正を行うことができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、本実施形態においては、イメージセンサから入力される画像データがベイヤデータの場合について説明したが、本発明はこれに限定されるものではなく、ＲＧＢデータなどベイヤデータ以外の場合にも同様に適用することができることは言うまでもない。

ここで、本発明の技術思想により、背景技術における課題を解決するための手段を以下に列記する。
（付記１）注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部と、前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成し、前記注目画素の画素値である注目画素値を前記補正画素値に置き換える欠陥画素補正部と、を備えることを特徴とする欠陥画素補正回路。
（付記２）付記１に記載の欠陥画素補正回路であって、前記注目画素および前記参照画素群の並ぶ方向はイメージセンサの走査方向であることを特徴とする欠陥画素補正回路。
（付記３）付記１に記載の欠陥画素補正回路であって、前記欠陥画素判定部は、前記参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である推測画素値を推測する推測画素値生成部を含むことを特徴とする欠陥画素補正回路。
（付記４）付記３に記載の欠陥画素補正回路であって、前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記推測画素値生成部は、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、前記第１推測画素値および前記第２推測画素値のうちの最大値である画素最大値を取り出す最大値取得部と、前記第１推測画素値および前記第２推測画素値のうちの最小値である画素最小値を取り出す最小値取得部と、を含み、前記欠陥画素判定部は、前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定する判定部を含むことを特徴とする欠陥画素補正回路。
（付記５）付記４に記載の欠陥画素補正回路であって、前記第１推測画素生成部は、前記第１参照画素群のうち最寄りの２つの画素値から直線を近似して、前記第１推測画素値を推測し、前記第２推測画素生成部は、前記第２参照画素群のうち最寄りの２つの画素値から直線を近似して、前記第２推測画素値を推測することを特徴とする欠陥画素補正回路。
（付記６）付記１に記載の欠陥画素補正回路であって、前記欠陥画素判定部は、前記参照画素群のうちの最大値である画素最大値を取り出す最大値取得部と、前記参照画素群のうちの最小値である画素最小値を取り出す最小値取得部と、前記画素最大値から、前記画素最小値の間に、前記注目画素値があるか否かを判定する判定部と、を含むことを特徴とする欠陥画素補正回路。
（付記７）付記１に記載の欠陥画素補正回路であって、前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記注目画素値の推測値である推測画素値を推測する推測画素値生成部は、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、前記参照画素群のうちから最大値を取り出す第２最大値取得部と、前記参照画素群のうちから最小値を取り出す第２最小値取得部と、前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちの最大値である画素最大値を取り出す第３最大値取得部と、前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちの最小値である画素最小値を取り出す第３最小値取得部と、を含み、前記欠陥画素判定部は、前記画素最小値から、前記画素最大値の間に前記注目画素値が含まれるか否かを判定する判定部を含むことを特徴とする欠陥画素補正回路。
（付記８）付記１に記載の欠陥画素補正回路であって、前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記注目画素値の推測値である推測画素値を推測する推測画素値生成部は、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、前記参照画素群のうちから最大値を取り出す第２最大値取得部と、前記参照画素群のうちから最小値を取り出す第２最小値取得部と、前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちから最大値を取り出す第３最大値取得部と、前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちから最小値を取り出す第３最小値取得部と、取り扱う画像の状態に応じて、前記第１最大値取得部の結果、前記第２最大値取得部の結果および前記第３最大値取得部の結果を画素最大値として選択する最大値選択部と、取り扱う画像の状態に応じて、前記第１最小値取得部の結果、前記第２最小値取得部の結果および前記第３最小値取得部の結果を画素最小値として選択する最小値選択部と、を含み、前記欠陥画素判定部は、前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定する判定部を含むことを特徴とする欠陥画素補正回路。
（付記９）付記４乃至付記８に記載の欠陥画素補正回路であって、前記判定部は、前記画素最大値に第１閾値を加える最大閾値生成部と、前記画素最小値から第２閾値を減じる最小閾値生成部と、前記最大閾値生成部の結果から前記最小閾値生成部の結果の間に、前記注目画素値が含まれるか否かを判定する閾値判定部と、を含むことを特徴とする欠陥画素補正回路。
（付記１０）付記１に記載の欠陥画素補正回路であって、前記欠陥画素補正部は、前記参照画素群の平均値を演算し、前記補正画素値とする平均値演算部を含むことを特徴とする欠陥画素補正回路。
（付記１１）付記１に記載の欠陥画素補正回路であって、前記欠陥画素補正部は、前記参照画素群から最大値を取得する最大値取得部と、前記参照画素群から最小値を取得する最小値取得部と、前記注目画素値が前記欠陥画素判定部における判定の最大値を上回る場合には前記参照画素群の最大値を前記補正画素値として選択し、前記注目画素値が前記欠陥画素判定部における判定の最小値を下回る場合には前記参照画素群の最小値を前記補正画素値として選択する補正値選択部と、を含むことを特徴とする欠陥画素補正回路。
（付記１２）付記１に記載の欠陥画素補正回路であって、前記欠陥画素補正部は、前記参照画素群の平均値を演算する平均値演算部と、前記参照画素群から最大値を取得する最大値取得部と、前記参照画素群から最小値を取得する最小値取得部と、前記注目画素値が前記欠陥画素判定部における判定の最大値を上回る場合には前記参照画素群の最大値を選択し、前記注目画素値が前記欠陥画素判定部における判定の最小値を下回る場合には前記参照画素群の最小値を選択する選択部と、取り扱う画像に応じて、前記平均値演算部の結果および前記選択部の結果を前記補正画素値として選択する補正値選択部と、を含むことを特徴とする欠陥画素補正回路。
（付記１３）イメージセンサの出力から露出値を評価し、ＩＳＯ感度を設定する露出評価部と、注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部であり、前記参照画素のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、前記参照画素群のうちから最大値を取り出す第２最大値取得部と、前記参照画素群のうちから最小値を取り出す第２最小値取得部と、前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちから最大値を取り出す第３最大値取得部と、前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちから最小値を取り出す第３最小値取得部と、前記ＩＳＯ感度に応じて、前記第１最大値取得部の結果、前記第２最大値取得部の結果および前記第３最大値取得部の結果を切り換える最大値選択部と、前記ＩＳＯ感度に応じて、前記第１最小値取得部の結果、前記第２最小値取得部の結果および前記第３最小値取得部の結果を切り換える最小値選択部と、前記最大値選択部の結果に第１閾値を加える最大閾値生成部と、前記最小値選択部の結果から第２閾値を減じる最小閾値生成部と、前記注目画素値が前記最大閾値生成部の結果から前記最小閾値生成部の結果の間にあるか否かを判定する欠陥判定部と、を含む欠陥画素判定部と、を備えることを特徴とする画像処理システム。
（付記１４）イメージセンサの出力から露出値を評価し、ＩＳＯ感度を設定する露出評価部と、前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成し、前記注目画素の位置の画素値を前記補正画素値に置き換える欠陥画素補正部であり、前記参照画素群の平均値を演算する平均値演算部と、前記参照画素群の最大値を取得する最大値取得部と、前記参照画素群の最小値を取得する最小値取得部と、前記注目画素値が前記欠陥画素判定部における判定の最大値を上回る場合には前記参照画素群の最大値を選択し、前記注目画素値が前記欠陥画素判定部における判定の最小値を下回る場合には前記参照画素群の最小値を選択する選択部と、前記ＩＳＯ感度に応じて、前記平均値演算部の結果および前記選択部の結果を前記補正画素値として選択する補正値選択部と、を含む欠陥画素補正部と、を備えることを特徴とする画像処理システム。
（付記１５）注目画素を中心とし、一方向に並ぶ参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なうステップと、前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成するステップと、前記注目画素の画素値である注目画素値を前記補正画素値に置き換えるステップと、を備えることを特徴とする欠陥画素補正方法。
（付記１６）付記１５の欠陥画素補正方法であって、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップは、前記参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である推測画素値を推測するステップを含むことを特徴とする欠陥画素補正方法。
（付記１７）付記１６の欠陥画素補正方法であって、前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップは、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測値を推測するステップと、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測値を推測するステップと、前記第１推測値および前記第２推測値のうちから最大値を取り出すステップと、前記第１推測値および前記第２推測値のうちから最小値を取り出すステップと、を含み、前記注目画素が欠陥画素であるか否かの判定を行なうステップは、前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定するステップを含むことを特徴とする欠陥画素補正方法。
（付記１８）付記１５に記載の欠陥画素補正方法であって、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップは、前記参照画素群のうちから最大値を取り出すステップと、前記参照画素群のうちから最小値を取り出すステップと、を含み、前記注目画素が欠陥画素であるか否かの判定を行なうステップは、前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定するステップを含むことを特徴とする欠陥画素補正方法。
（付記１９）付記１５に記載の欠陥画素補正方法であって、前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップは、前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測値を推測するステップと、前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測値を推測するステップと、前記第１推測値および前記第２推測値のうちの最大値である第１最大値を取り出すステップと、前記第１推測値および前記第２推測値のうちの最小値である第１最小値を取り出すステップと、前記参照画素群のうちの最大値である第２最大値を取り出すステップと、前記参照画素群のうちの最小値である第２最小値を取り出すステップと、前記第１最大値および前記第２最大値のうちの最大値である第３最大値を取り出すステップと、前記第１最小値および前記第２最小値のうちの最小値である第３最小値を取り出すステップと、を含み、前記注目画素が欠陥画素であるか否かの判定を行なうステップは、前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定するステップを含むことを特徴とする欠陥画素補正方法。
（付記２０）付記１５の欠陥画素補正方法であって、前記注目画素値を前記補正画素値に置き換えるステップは、前記参照画素群の平均値を演算するステップを含むことを特徴とする欠陥画素補正方法。
（付記２１）付記１５の欠陥画素補正方法であって、前記注目画素値を前記補正画素値に置き換えるステップは、前記参照画素群の最大値を取得するステップと、前記参照画素群の最小値を取得するステップと、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップにおける判定の最大値を上回る場合には前記参照画素群の最大値を前記補正画素値として選択するステップと、前記注目画素が前記欠陥画素であるか否かの判定を行なうステップにおける判定の最小値を下回る場合には前記参照画素群の最小値を前記補正画素値として選択するステップと、を含むことを特徴とする欠陥画素補正方法。

第１実施形態にかかる欠陥画素補正回路の構成を示す機能ブロック図である。欠陥画素判定部の構成を示す機能ブロック図である。欠陥画素補正部の構成を示す機能ブロック図である。第１実施形態にかかる欠陥画素補正方法の処理手順を示すフローチャート１である。第１実施形態にかかる欠陥画素補正方法の処理手順を示すフローチャート２である。第２実施形態にかかる画像処理システムの構成を示す機能ブロック図である。

符号の説明

１欠陥画素補正回路
２ＣＭＯＳセンサ
３ＣＰＵ
４露出評価部
５画像処理部
６画像処理システム
１０欠陥画素判定部
２０欠陥画素補正部
３０バッファ部
４０レジスタ部
１０１第１推測画素生成部
１０２第２推測画素生成部
１０３第１最小値取得部
１０４第１最大値取得部
１０５第２最小値取得部
１０６第２最大値取得部
１０７第３最小値取得部
１０８第３最大値取得部
１０９最小値選択部
１１０最大値選択部
１１１第１閾値減算部
１１２第２閾値加算部
１１３欠陥判定部
２０１平均値演算部
２０２最小値取得部
２０３最大値取得部
２０４補正値選択部

Claims

注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部と、
前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成し、前記注目画素の画素値である注目画素値を前記補正画素値に置き換える欠陥画素補正部と、
を備えることを特徴とする欠陥画素補正回路。
請求項１に記載の欠陥画素補正回路であって、
前記欠陥画素判定部は、
前記参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である推測画素値を推測する推測画素値生成部
を含む
ことを特徴とする欠陥画素補正回路。
請求項２に記載の欠陥画素補正回路であって、
前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、
前記推測画素値生成部は、
前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、
前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、
前記第１推測画素値および前記第２推測画素値のうちの最大値である画素最大値を取り出す最大値取得部と、
前記第１推測画素値および前記第２推測画素値のうちの最小値である画素最小値を取り出す最小値取得部と、
を含み、
前記欠陥画素判定部は、
前記画素最大値から前記画素最小値の間に前記注目画素が含まれるか否かを判定する判定部を含む
ことを特徴とする欠陥画素補正回路。
請求項１に記載の欠陥画素補正回路であって、
前記欠陥画素判定部は、
前記参照画素群のうちの最大値である画素最大値を取り出す最大値取得部と、
前記参照画素群のうちの最小値である画素最小値を取り出す最小値取得部と、
前記画素最大値から、前記画素最小値の間に、前記注目画素値があるか否かを判定する判定部と、
を含む
ことを特徴とする欠陥画素補正回路。
請求項１に記載の欠陥画素補正回路であって、
前記参照画素群のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、
前記注目画素値の推測値である推測画素値を推測する推測画素値生成部は、
前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、
前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、
前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、
前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、
前記参照画素群のうちから最大値を取り出す第２最大値取得部と、
前記参照画素群のうちから最小値を取り出す第２最小値取得部と、
前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちの最大値である画素最大値を取り出す第３最大値取得部と、
前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちの最小値である画素最小値を取り出す第３最小値取得部と、
を含み、
前記欠陥画素判定部は、
前記画素最小値から、前記画素最大値の間に前記注目画素値が含まれるか否かを判定する判定部を含む
ことを特徴とする欠陥画素補正回路。
請求項３乃至請求項５に記載の欠陥画素補正回路であって、
前記判定部は、
前記画素最大値に第１閾値を加える最大閾値生成部と、
前記画素最小値から第２閾値を減じる最小閾値生成部と、
前記最大閾値生成部の結果から前記最小閾値生成部の結果の間に、前記注目画素値が含まれるか否かを判定する閾値判定部と、
を含む
ことを特徴とする欠陥画素補正回路。
請求項１に記載の欠陥画素補正回路であって、
前記欠陥画素補正部は、
前記参照画素群の平均値を演算し、前記補正画素値とする平均値演算部を含む
ことを特徴とする欠陥画素補正回路。
請求項１に記載の欠陥画素補正回路であって、
前記欠陥画素補正部は、
前記参照画素群から最大値を取得する最大値取得部と、
前記参照画素群から最小値を取得する最小値取得部と、
前記注目画素値が前記欠陥画素判定部における判定の最大値を上回る場合には前記参照画素群の最大値を前記補正画素値として選択し、前記注目画素値が前記欠陥画素判定部における判定の最小値を下回る場合には前記参照画素群の最小値を前記補正画素値として選択する補正値選択部と、
を含む
ことを特徴とする欠陥画素補正回路。
イメージセンサの出力から露出値を評価し、ＩＳＯ感度を設定する露出評価部と、
注目画素を中心とし、一方向に並び前記注目画素を除く参照画素群を参照して注目画素が欠陥画素であるか否かの判定を行なう欠陥画素判定部であり、前記参照画素のうち、注目画素を挟んで、一方を第１参照画素群、他方を第２参照画素群とするとき、
前記第１参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第１推測画素値を推測する第１推測画素値生成部と、
前記第２参照画素群のうち少なくとも２つの画素値から、直線近似で前記注目画素値の推測値である第２推測画素値を推測する第２推測画素値生成部と、
前記第１推測画素値および前記第２推測画素値のうちから最大値を取り出す第１最大値取得部と、
前記第１推測画素値および前記第２推測画素値のうちから最小値を取り出す第１最小値取得部と、
前記参照画素群のうちから最大値を取り出す第２最大値取得部と、
前記参照画素群のうちから最小値を取り出す第２最小値取得部と、
前記第１最大値取得部の結果および前記第２最大値取得部の結果のうちから最大値を取り出す第３最大値取得部と、
前記第１最小値取得部の結果および前記第２最小値取得部の結果のうちから最小値を取り出す第３最小値取得部と、
前記ＩＳＯ感度に応じて、前記第１最大値取得部の結果、前記第２最大値取得部の結果および前記第３最大値取得部の結果を切り換える最大値選択部と、
前記ＩＳＯ感度に応じて、前記第１最小値取得部の結果、前記第２最小値取得部の結果および前記第３最小値取得部の結果を切り換える最小値選択部と、
前記最大値選択部の結果に第１閾値を加える最大閾値生成部と、
前記最小値選択部の結果から第２閾値を減じる最小閾値生成部と、
前記注目画素値が前記最大閾値生成部の結果から前記最小閾値生成部の結果の間にあるか否かを判定する欠陥判定部と、
を含む欠陥画素判定部と、
を備えることを特徴とする画像処理システム。
注目画素を中心とし、一方向に並ぶ参照画素群を参照して前記注目画素が欠陥画素であるか否かの判定を行なうステップと、
前記注目画素が欠陥画素である場合には、前記参照画素群に基づき補正画素値を生成するステップと、
前記注目画素の画素値である注目画素値を前記補正画素値に置き換えるステップと、
を備えることを特徴とする欠陥画素補正方法。