JP2020191506A - 欠陥画素検出装置および撮像装置、並びに欠陥画素検出方法 - Google Patents

Abstract

【課題】精度よく欠陥検出をおこなう欠陥画素検出装置および撮像装置、並びに欠陥画素検出方法を提供する。【解決手段】本発明の一態様に係る欠陥画素検出装置（欠陥画素検出部５０）は、周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度が入力される、ローパスフィルタ特性を有するＩＩＲフィルタ（３）を備えている。【選択図】図１

Description

本発明は、固体撮像素子における欠陥画素を検出するための欠陥画素検出装置および撮像装置、並びに欠陥画素検出方法に関する。

一般に、デジタルスチルカメラやデジタルビデオカメラなどに搭載されて被写体を撮像するための撮像素子では、多数の画素のうちの一部に欠陥が生じることがある。欠陥が生じた画素は、異常なレベルの信号を出力する。例えば、欠陥画素の出力レベルが本来の出力レベルより高い場合は白欠陥と呼ばれ、低い場合は黒欠陥と呼ばれる。このような欠陥画素を有する撮像素子の出力信号を基に画面表示すると、欠陥画素の情報は本来被写体に存在しない誤った情報であるため、不自然な画像が表示されてしまう。そこで、画像処理において、固体撮像素子上の欠陥画素を検出した上、画像補正処理を行う技術がある。具体的には、欠陥画素の位置を検出してその出力信号を補正する。

ところで、撮像素子の欠陥は、一般に、温度や光の蓄積時間などの影響により変化することがあるため、製品出荷時までに欠陥とされなかった画素も、使用環境の変化により欠陥が生じ、その画素が出力画面に現れてしまうことがある。なお、製品出荷後に生じた欠陥を、後発欠陥と呼称する。

このような後発欠陥に対処するために、注目画素とそれに隣接する画素の各出力信号を比較することにより、欠陥が生じているか否かを例えば撮像時などにリアルタイムに判断し、欠陥画素の出力を補正する技術が知られている。

例えば特許文献１の段落００３７に、一般的な欠陥画素検出方法の一つの方法が記載されている。特許文献１に記載の欠陥画素検出の評価値は、第１出力値（検出画素の出力値）と第２出力値（検出画素に近接した画素の出力値から決定されるメディアン値または平均値）との差分の絶対値を第２出力値で除算することで算出される。

また、別の特許文献２は、複数の撮像データを使用することによって、後発欠陥の画素を検出する欠陥画素検出方法を開示している。具体的には、例えば、６０ｆｐｓなどのフレームレートで撮像した通常のスルー画像である複数の撮像データにおいて、領域抽出部は、各画像領域の画素値の平均値及び標準偏差の値が閾値α（所定値）以下である画像領域を低コントラストの画像領域と判定し、欠陥画素検出のための対象領域として抽出する。そして、欠陥画素検出部は、時系列の方向（撮像回数の方向）に平行に連続して平均値から所定の閾値β（所定値）以上かけ離れ、隣接する画素と孤立した画素値を出力する画素を欠陥画素として検出する。

特開２０１７−１５８０１８号公報（２０１７年９月７日公開） 特開２０１３−０７０３２２号公報（２０１３年４月１８日公開）

しかしながら、特許文献１の技術では、空間周波数の高い撮像データの場合に、欠陥画素と誤検出する場合がある。また、特許文献２の技術では、欠陥画素の検出が困難な場合がある。

例えば、時系列の方向に平行に連続して症状が現れない場合には、当該技術での検出は難しい。温度や光量、露光時間などに依存して、ある時は正常な画素のように振る舞う一方、他のある時は異常な輝度を出力するなどの非定常的な振る舞いを行う点滅欠陥画素は、時系列の方向に平行に連続して症状が現れないことがある。

また、特許文献２の技術では、似たような画像が連続して撮像されることが前提となっている技術のため、一般的な撮像データへの適用が難しい場合がある。

また、特許文献２の技術では、低コントラストの画像領域を判定し、欠陥画素検出のための対象領域として抽出する。そのため、空間周波数の高い撮像データの場合、欠陥画素検出のための対象領域を小さくした結果、適切な領域での欠陥画素の検知が難しい場合がある。

本発明の一態様は、固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質を向上させることが可能な欠陥画素検出装置および撮像装置、並びに欠陥画素検出方法を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る欠陥画素検出装置は、周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度が入力される、ローパスフィルタ特性を有するＩＩＲフィルタと、上記ＩＩＲフィルタの出力値であるフィルタ後正規化突出度を用いて上記注目画素に欠陥が生じているか否かを判定する比較部とを備えていることを特徴としている。

また上記の課題を解決するために、本発明の一態様に係る撮像装置は、上記欠陥画素検出装置と、上記注目画素と上記周辺画素とを有する固体撮像素子と、上記欠陥画素検出装置によって欠陥画素と検出された注目画素の画像信号を補正する欠陥画素補正装置と、を備えていることを特徴としている。

また上記の課題を解決するために、本発明の一態様に係る欠陥画素検出方法は、周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度を、ローパスフィルタ特性を有するＩＩＲフィルタに通すフィルタ工程と、上記フィルタ工程によって出力されたフィルタ後正規化突出度を用いて、上記注目画素に欠陥が生じているか否かを判定する比較工程とを含むことを特徴としている。

本発明の一態様によれば、固体撮像素子の欠陥画素を撮像時などにリアルタイムに検出することができ、かつ、その誤検出をより少なくして、撮像画像の画質を向上させることができる。

図３に示す画像処理回路１２５に具備される欠陥画素検出部５０の内部構成を示すブロック図である。 図３に示す画像処理回路１２５の要部構成例を示すブロック図である。 本発明の実施形態に係る撮像装置１の構成例を示すブロック図である。 本発明の実施形態に係る撮像装置に具備される欠陥画素検出部の構成を示すブロック図である。 ＬＰＦの周波数特性を示すグラフの図である。 本発明の実施形態に係る撮像装置に具備される欠陥画素検出部に設けられたＩＩＲフィルタの入出力の突出度の時系列変化を示すグラフの図である。 本発明の実施形態に係る撮像装置１の欠陥画素検出部５０による実証結果に関し、画像データそれぞれの２箇所の画素位置におけるフィルタ前正規化突出度をプロットしてグラフ化した図である。 図７において用いている画像データのうちの一つの画像データについて説明する図である。 図７において用いている画像データのうちの別の画像データについて説明する図である。 図７において用いている画像データを累計した枚数と、各画像データについて算出したフィルタ後正規化突出度の累積値との関係を示すグラフの図である。 本発明の実施形態に係る撮像装置に具備される欠陥画素検出部によっておこなわれる欠陥画素検出方法の処理ステップを示すフローチャートの図である。 図１１に示すフローチャートの一つのステップに関する詳細な処理ステップを示すフローチャートの図である。 撮像素子の画素上に配置されるベイヤー配列のカラーフィルタとディベイヤー処理を表す図である。

以下、本発明の例示的な実施形態を、図面に基づいて詳細に説明する。以下の実施形態では、本発明に係る欠陥画素検出装置を欠陥画素検出部（回路）として画像処理回路に組み込み、当該画像処理回路をデジタルカメラ等の撮像装置に適用した例を説明するが、以下の画像処理を実行する情報処理装置や電子機器等に幅広く適用可能である。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

図３は本発明の実施形態に係る撮像装置１の構成例を示すブロック図である。本発明の実施形態に係る撮像装置１の構成例は、特許文献１の撮像装置の概略構成図と同じである。このことは、画像処理回路１２５における信号処理が特許文献１とは異なるが、本明細書に記載の技術は一般的な撮像装置に適用可能であることを意味している。

（１）撮像装置
撮像装置１は、撮像光学系１００（結像光学系）と、アクチュエータ系１１０と、被写体照明用の電子フラッシュ１１５と、ＡＦ（オートフォーカス）補助光源１１６と、制御部１２０と、表示部１３１と、操作部１３２と、フラッシュメモリ１３３とを備えている。

撮像光学系１００は、第１レンズ群１０１と、絞り兼用シャッタ１０２と、第２レンズ群１０３と、第３レンズ群１０５と、光学的ローパスフィルタ１０６と、撮像素子１０７とを有する。撮像光学系１００の先端に配置された第１レンズ群１０１は、レンズ鏡筒にて光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、その開口径を調節することで撮影時の光量調節を行う他、静止画撮影時には露光秒時調節用シャッタとしての機能をもつ。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１の進退動作との連動により、変倍作用（ズーム機能）を有する。第３レンズ群１０５は、光軸方向の進退により焦点調節を行うフォーカスレンズである。光学的ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７は、例えば２次元ＣＭＯＳ（相補型金属酸化膜半導体）フォトセンサと周辺回路からなる固体撮像素子であり、撮像光学系１００の結像面に配置される。

アクチュエータ系１１０は、ズームアクチュエータ１１１と、絞りシャッタアクチュエータ１１２と、フォーカスアクチュエータ１１４とを有する。ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１および第２レンズ群１０３を光軸方向に移動させて変倍動作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１４は、第３レンズ群１０５を光軸方向に移動させて焦点調節動作を行う。

電子フラッシュ１１５は、撮影時に使用し、キセノン管を用いた閃光照明装置または連続発光するＬＥＤ（発光ダイオード）を備えた照明装置が用いられる。

ＡＦ補助光源１１６は、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影する。これにより、低輝度の被写体または低コントラストの被写体に対する焦点検出能力が向上する。

制御部１２０には、中央演算処理装置であるＣＰＵ１２１のほか、以下で説明する各種回路が具備される。

ＣＰＵ１２１は、種々の制御を司る制御中枢機能をもつ。ＣＰＵ１２１は、演算部、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）、Ａ（アナログ）／Ｄ（デジタル）コンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１はＲＯＭに記憶された所定のプログラムに従って、撮像装置１内の各種回路を駆動し、ＡＦ制御、撮像処理、画像処理、記録処理等の一連の動作を実行する。ＣＰＵ１２１は本実施形態の欠陥画素検出、欠陥画素補正の制御を行う。

電子フラッシュ制御回路１２２は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮影動作に同期して電子フラッシュ１１５を点灯制御する。

補助光源駆動回路１２３は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、焦点検出動作に同期してＡＦ補助光源１１６を点灯制御する。

撮像素子駆動回路１２４は、制御部１２０に具備され、撮像素子１０７の撮像動作を制御するとともに、撮像素子１０７から取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。

画像処理回路１２５（欠陥画素検出装置）は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮像素子１０７により取得した画像のガンマ補正、拡大縮小、ＪＰＥＧ（Joint Photographic Experts Group）圧縮等の処理を行う。画像処理回路１２５は、撮像素子１０７により取得した撮像画像の生成処理を行う。撮像画像の画像信号は記録処理や表示処理が行われる。この画像処理回路１２５において、後述する欠陥画素検出の処理がおこなわれる。

フォーカス駆動回路１２６は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、焦点検出結果に基づいてフォーカスアクチュエータ１１４を駆動し、第３レンズ群１０５を光軸方向に移動させて焦点調節を行う。

絞りシャッタ駆動回路１２８は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、絞りシャッタアクチュエータ１１２を駆動し、絞り兼用シャッタ１０２の開口径を制御する。

ズーム駆動回路１２９は、制御部１２０に具備され、ＣＰＵ１２１の制御指令に従い、撮影者のズーム操作指示に応じてズームアクチュエータ１１１を駆動する。

以上が、本実施形態における制御部１２０の構成である。

表示部１３１は、ＬＣＤ（液晶表示装置）等の表示デバイスを有し、撮像装置１の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。

操作部１３２は、操作スイッチとして、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等を備え、操作指示信号をＣＰＵ１２１に出力する。

フラッシュメモリ１３３は、撮像装置１に着脱可能な記録媒体であり、撮影済み画像データ等を記録する。

（２）画像処理回路１２５
図２は、図３に示す画像処理回路１２５の要部構成例を示すブロック図である。

画像処理回路１２５は、図２に示すように、入力データ変換部４８と、オプティカルブラッククランプ部４９と、欠陥画素検出部５０（欠陥画素検出装置）と、欠陥画素補正部５１（欠陥画素補正装置）と、ホワイトバランス補正部５２と、シェーディング補正部５３と、ディベイヤー処理部５４と、ガンマ補正部５５と、拡大縮小／圧縮処理部５６と、出力データ変換部５７とを有する。

図１３に示すようなベイヤー配列で赤（Ｒ）緑（Ｇ）青（Ｂ）のカラーフィルタが撮像素子１０７の画素上に配置されることがある（図１３中の１０００）。なお、図１３は４ｘ４の１６画素の部分を切り出した図であり、このパターンが水平、垂直方向に繰り返して配置される。赤（Ｒ）緑（Ｇ）青（Ｂ）のカラーフィルタを透過した光は、画素部のフォトダイオードで受光され、光電変換される。光電変換された信号は撮像素子１０７に搭載される増幅回路およびＡＤＣなどを介してデジタル信号に変換される。デジタル信号に変換された各カラーに対応する輝度信号情報は、後段の画像処理回路１２５に送付される。

撮像素子１０７には、例えば水平方向のライン毎に２個のＡＤＣが配置されおり、奇数ラインの１つのＡＤＣからは赤（Ｒ）の画素の輝度情報が出力され、もう一方のＡＤＣからは緑（Ｇ）の画素の輝度情報が出力される。水平方向に複数の同色のカラーフィルタが配置された画素が配置されているが、例えば左側の画素から順番に輝度情報が送付される構成にしても良い。

一方、偶数ラインの１つのＡＤＣからは緑（Ｇ）の画素の輝度情報が出力され、もう一方のＡＤＣからは青（Ｂ）の画素の輝度情報が出力される。この場合も同様に水平方向に複数の同色のカラーフィルタが配置された画素が配置されているが、例えば左側の画素から順番に輝度情報が送付される構成にしても良い。なお上記構成は一例であり、その他の構成であっても良い。

入力データ変換部４８は、撮像素子１０７から送付されるデータフォーマットを後段の信号処理に適したデータフォーマットに変換する。オプティカルブラッククランプ部４９は、撮像信号の黒レベルが所定のレベルに変換されるように信号レベルを調整した後、後段の欠陥画素検出部５０にデータを送付する。欠陥画素検出部５０および欠陥画素補正部５１では、後述する欠陥画素検出および欠陥画素補正処理が行われる。欠陥画素補正処理が行われた後、ホワイトバランス補正部５２にデータは送付され、ユーザの指示、または、撮影状況などに応じて自動的にパラメータ調整が行われ、適切な色に補正される。一般的にレンズを通して結像した画像は中央部よりも周辺部の方が暗くなるために、シェーディング補正部５３で信号レベルが調整される。

図１３の示すようなベイヤー配列でカラーフィルタが配置される場合は、各画素には１色分のデータしかないために、ディベイヤー処理部５４でディベイヤー処理を行い、全画素の赤（Ｒ）緑（Ｇ）青（Ｂ）のデータを生成する（図１３中の１００１）。ディベイヤー処理が行われた撮像データは、ガンマ補正部５５に送付される。ここでは、例えば表示時に、より適切な画に見えるようにディスプレイなどのガンマ特性を考慮（ディスプレイなどのガンマ特性の逆関数を乗算）したレベル調整が行われる。ガンマ補正が行われた撮像データは、拡大縮小／圧縮処理部５６にて、必要に応じて拡大、縮小、圧縮などの信号処理が行われる。その後、出力データ変換部５７にて、後段の入力フォーマットに応じたデータフォーマットに変換する。

（２−１）欠陥画素検出部５０
欠陥画素検出部５０は、撮像素子１０７（図３）上の画素の欠陥を検出する回路である。

欠陥画素検出部５０は、撮像素子１０７（図３）上の注目画素を中心とする一定範囲に存在する画素の出力レベルの代表値を基に、注目画素と一定範囲に存在する画素との相関をとり、注目画素が欠陥画素であるか否かを検出する。本実施形態においては、注目画素を中心とする一定範囲に存在する画素として、注目画素の周辺に位置して、注目画素と同色のカラーフィルタに対応する画素を周辺画素と呼称することにする。なお、周辺画素数を２のべき乗とした場合は、後述の欠陥画素検出部における乗算部の演算をビットシフトのみで実現できるので、回路の簡易化を図ることができる。

具体的には、まず、注目画素の出力レベルと周辺画素の出力レベルの代表値との差分値を、周辺画素の出力レベルの代表値を基に正規化することで、周辺画素に対する注目画素の出力レベルの突出度合いを求める。突出度合いは、周辺画素の出力レベルの代表値に応じて変化する。これにより、上記の差分値が同じ値の場合でも、周辺画素の出力レベルの代表値が大きいときは突出度合いが小さくなり、代表値が小さいときは突出度合いが大きくなる。このように正規化された突出度合いを基に、注目画素に対する欠陥画素の判定を行うため、結果的に欠陥判定の正確性が高められる。なお、欠陥画素の判定は、撮像時において撮像素子からの出力信号を基に順次演算することで行うことができる。なお、上記の代表値とは、平均値、メディアン値等を用いても良く、代表値の設定方法については任意である。

なお、平均値の算出には、周辺画素の全て出力レベルの総和を周辺画素数で除算する必要があるが、周辺画素数で除算せずに、注目画素の出力レベルを周辺画素数の値を乗算し、注目画素の出力レベルの周辺画素数倍した値と周辺画素の周辺画素の総和の値の差分値を、周辺画素の出力レベルの総和値を基に正規化する構成にしても良い。

ところで、欠陥画素起因の突出度合いは、撮像データの被写体に応じて異なる場合がある。例えば、撮像データの画素値が全体的に低いときに突出しやすい欠陥画素がある一方、撮像データの画素値が全体的に高いときに突出しやすい欠陥画素がある。このように、欠陥画素が突出する条件は、欠陥画素ごとに異なる。

また、ある撮像データのみの突出度合いを用いて欠陥画素検出を試みる場合、欠陥画素以外にも（空間周波数の高い画像を撮像している）高周波画素を検出する場合がある。そのため、高周波画素であるにもかかわらず、欠陥画素と検出（判断）する恐れがある。

そこで、本実施形態における欠陥画素検出部５０では、注目画素の突出度合いを算出したのち、空間周波数が高い画像での誤検知を抑圧するためにローパスフィルタ（ＬＰＦ）特性を持つＩＩＲフィルタに算出した突出度合いを入力し、高周波成分が抑圧された突出度を求める。空間周波数が高い画像が同一の画素位置に撮像される頻度は一般的には低いので、ＬＰＦ出力のフィルタ後正規化突出度を用いることで空間周波数が高い画像での誤検知を抑圧することが可能である。

すなわち、欠陥画素検出部５０は、図１に示すように、突出度算出部２と、ＩＩＲフィルタ３と、比較器４（比較部）と、ＩＩＲ特性設定部３０（設定部）とを有する。

なお、以下において欠陥画素検出部５０を、図４を用いて詳述する。以下において、欠陥画素検出部５０内を説明する際に「突出度」という文言を用いるが、ＩＩＲフィルタ３から出力される突出度を「フィルタ後正規化突出度」と呼称し、ＩＩＲフィルタ３に入力される突出度を「フィルタ前正規化突出度」と呼称することで両者を区別する。また、ＩＩＲフィルタ３に入力される「フィルタ前正規化突出度」は、突出度算出部２の簡易補正部２５に入力された突出度が簡易補正されて出力されたものであるため、簡易補正部２５に入力される突出度を「正規化前突出度」と呼称することにより、他の突出度と区別する。

図４は、欠陥画素検出部５０の詳細な構成を示すブロック図である。

突出度算出部２は、乗算部２１と、周辺画素用加算部２２と、加算部２３と、絶対値化部２４と、簡易補正部２５とを有する。

乗算部２１は、図３に示す撮像素子駆動回路１２４によって撮像信号がＡ／Ｄ変換された注目画素の画像信号を取得し、当該注目画素の画像信号の出力値に、周辺画素数を乗算する回路である。すなわち、周辺画素数を８個とすると、乗算部２１は、注目画素の画像信号の出力値に８を乗算する。なお、周辺画素数を２のべき乗とした場合は、乗算部の演算をビットシフトのみで実現できるので、回路の簡易化を図ることができる。

周辺画素用加算部２２は、注目画素に隣接した周辺画素の画像信号を読み出し、周辺画素それぞれの画像信号の出力値を加算する回路である。

加算部２３は、乗算部２１から読み出された出力値と、周辺画素用加算部２２から読み出された出力値との差分を求める回路である。

絶対値化部２４では、加算部２３において求められた差分について、その絶対値（Ｔｒ）を求める回路である。周辺画素数を８個とすると、絶対値化部２４では、次のような演算がおこなわれる。

ここで、式中のＸｔは注目画素、Ｘｉは周辺画素を示す。

なお、階調の最大値を２５５とする場合、絶対値化部２４において求められる絶対値（Ｔｒ）は２０４０〜０の範囲の値をとりうる。

ところで、絶対値化部２４において求められた絶対値（Ｔｒ）（つまり、正規化前突出度）を、周辺画素に対する注目画素の出力レベルの突出度合いとみなすこともできるが、これを検出基準としてしまうと次のような問題が生じる。例（１）として、注目画素のレベルが１６（周辺画素の２．６７倍程度）、全周辺画素レベルが６の場合を仮定すると、絶対値化部２４において求められる絶対値（Ｔｒ）は８０となる。例（２）として、注目画素のレベルが２１６（周辺画素の１．０５倍程度）、全周辺画素レベルが２０６の場合を仮定すると、絶対値化部２４において求められる絶対値（Ｔｒ）は８０となる。このように、例（１）および例（２）においては、注目画素と周辺画素レベルとの相関関係は２．６７倍程度と１．０５倍程度とで異なっているものの、絶対値化部２４において求められる絶対値（Ｔｒ）は互いに同じ値になってしまう。

そこで、欠陥画素検出部５０には、絶対値化部２４において求められる絶対値（Ｔｒ）（正規化前突出度）を、周辺画素用加算部２２から読み出された出力値の総和で除算する簡易補正部２５が設けられている。

簡易補正部２５は、絶対値化部２４から読み出された絶対値（Ｔｒ）（正規化前突出度）を、周辺画素用加算部２２から読み出された出力値の総和で除算する回路である。これにより、周辺画素に対する注目画素の出力レベルの突出度合い（Ｔｒ）が補正される。この補正された突出度を、フィルタ前正規化突出度（Ｔｃ）とする。

なお、２の補数表現を用いる場合、絶対値化部２４は、最上位ビットが１（負の数）の時は、簡易化のためにビット反転とする構成でも良い。

ＩＩＲフィルタ３は、ＬＰＦ特性を持ち、先述のように空間周波数が高い画像での誤検知を抑圧するべく、フィルタ前正規化突出度（Ｔｃ）をＬＰＦに通す回路である。

空間周波数が高い画像が同一の画素位置に撮像される頻度は一般的には低いので、ＬＰＦ出力のフィルタ後正規化突出度を用いることで空間周波数が高い画像での誤検知を抑圧することが可能である。

なお、撮像画像があまり変化しない定点カメラなどの場合には、撮影光学系と撮像素子との相対位置を変更して、同一の被写体像に関する画像を当該撮像素子の異なる領域で撮影するなどして、空間周波数が高い画像が同一の画素位置に撮像される頻度を下げる方法も考えられる。

具体的には、ＩＩＲフィルタ３は、ある時刻（ある時点）に取得された“フィルタ前正規化突出度の値をある係数（ａ）倍した値”を算出する第１算出部３１と、“ある時刻（ある時点）の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値をある係数((１−ａ))倍した値”を算出する第２算出部３２と、第１算出部３１から取得したある時刻に取得された“フィルタ前正規化突出度の値をある係数（ａ）倍した値”と、第２算出部３２から取得した“ある時刻の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値をある係数(１−ａ)倍した値”とを加算する加算部３３とを備える。ＩＩＲフィルタ３は、第２算出部３２に、ある時刻の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値を取得させるための遅延回路である遅延部３４も備えている。

ＩＩＲフィルタ３は、設定可能なａの値に応じたＬＰＦの周波数特性に従って、ＬＰＦ出力のフィルタ後正規化突出度を出力する回路である。ＬＰＦ出力のフィルタ後正規化突出度は、後述するように撮像データの累計が反映されている。

ここで、上述の「ＬＰＦの周波数特性」について詳細に説明する。

まず、電圧などの入力信号を、ＡＤＣを用いてサンプリングして得たデジタルデータをデジタルフィルタ（ＦＩＲフィルタやＩＩＲフィルタ）を用いて信号処理をする場合を例にとって、サンプリング周波数と正規化周波数について説明する。

ＡＤＣは入力信号を一定の時間間隔（例えば１μｓ毎）でサンプリングする。ＡＤＣでサンプリングされたデジタルデータは、後段のデジタルフィルタ（ＦＩＲフィルタやＩＩＲフィルタ）に一定の時間間隔（例えば１μｓ毎）で入力される。上記一定の時間間隔の逆数は、一般的にはサンプリング周波数（Ｆｓ）と呼ばれている。一定の時間間隔が１μｓの場合、サンプリング周波数は１ＭＨｚ（＝１／１μｓ）となる。

なお、上記デジタルフィルタの周波数特性を議論する際に、信号周波数（Ｆｒｅｑ）を上記サンプリング周波数で除算した値の正規化周波数（＝Ｆｒｅｑ／Ｆｓ）を用いることがある。信号周波数（Ｆｒｅｑ）が０．１ＭＨｚでサンプリング周波数（Ｆｓ）が１ＭＨｚの場合、正規化周波数は０．１となる。デジタルフィルタ（ＦＩＲフィルタやＩＩＲフィルタ）の周波数特性として、横軸を正規化周波数とし、縦軸を利得（＝フィルタ出力レベル／フィルタ入力レベル）で表現されることがある。

上記は電圧などの入力信号をＡＤＣを用いてサンプリングした場合を例にとって説明したが、本実施形態においては、撮像データごとに得られる各画素のフィルタ前正規化突出度の値を画素毎に並べて、時系列データのように解釈する。実際には一定の時間間隔で取得されていない撮像データも一定の時間間隔で取得されたデータとして解釈する。例えば、フィルタ前正規化突出度の値がどの撮像データでも変わらず一定の場合、正規化周波数０（ＤＣ成分のみ）のみの信号と解釈する。一方で、撮影のたびにフィルタ前正規化突出度の値が１００，０，１００，０…という周期的な変化をする場合、正規化周波数０．５の周波数成分を持つ信号と解釈する。

上記のように解釈した場合、撮影のたびに値が変わるような（正規化周波数が高い成分を持つ）フィルタ前正規化突出度の場合、ＬＰＦの周波数特性を持つＩＩＲフィルタ３の出力では抑圧される。一方で、撮影のたびに値が変わらないような（正規化周波数が低い成分を持つ）フィルタ前正規化突出度の場合、抑圧されずに出力される。

ＬＰＦの周波数特性は、図１および図４に示すＩＩＲ特性設定部３０にて設定される。なお、ＩＩＲ特性設定の機能を、先述のＣＰＵ１２１（図３）に設けてもよい。

図５は、ＬＰＦの周波数特性を示すグラフである。例えば、ＬＰＦの周波数特性の設定値ａを低めの周波数成分を通すように設定することは、正規化周波数の高い信号に比較的追随させないことを意味している（グラフ中の例えばａ＝０．０６２５や０．１２５）。一方で、ＬＰＦの周波数特性の設定値ａを高めの周波数成分を通すように設定することは、正規化周波数の高い信号にも比較的追随させることを意味している（グラフ中の例えばａ＝０．７５、０．８７５、０．９３７５）。

ＩＩＲ特性設定部３０は、設定値ａとして出荷前に行われる事前評価によって決定される初期値（例えばａ＝０．１２５）が予め設定されている。しかしながら、これに限定されるものではなく、実施の状況に応じて、出力結果をフィードバックしても良い。換言すると、出力したフィルタ後正規化突出度に基づいて、ＩＩＲ特性設定部３０におけるＬＰＦの周波数特性を設定し直しても良い。例えば、欠陥画素と判断される画素数が多い場合や欠陥画素と判断される画素位置が頻繁に変わる場合などは、通過帯域をより低く設定する。一方、欠陥画素と判断される画素数が（実際の欠陥画素数と比較して）少なすぎる場合は、通過帯域をより高く設定する。これにより、誤検出を抑制して、精度の良い欠陥検出に寄与することができる。

また、欠陥画素と判断する閾値設定（閾値Ａ、閾値Ｂ）を、出力したフィルタ後正規化突出度に基づいて再調整しても良い。

上記の構成から、より好適に欠陥画素の検出を行うことができる。

上述したように、ＩＩＲフィルタ３から出力されるフィルタ後正規化突出度は複数の撮像データを参照して算出されるため、ある時刻の１つの撮像データのみで判断されることが無い。そのため、空間周波数の高い撮像データの場合において、フィルタ前正規化突出度が閾値を超えるような高い場合でもフィルタ後正規化突出度が閾値を超えない限り、欠陥画素として判断されない。

図６のグラフは、ＬＰＦの周波数特性の設定値ａをａ＝０．１２５とした場合のＩＩＲフィルタ３の入出力の突出度の（時系列）変化を示している。グラフの縦軸はＩＩＲフィルタ３の入出力の突出度を示し、横軸は、フィルタ前正規化突出度のデータに対しては、画像データの画像番号を、フィルタ後正規化突出度のデータに対しては累計撮像データ数を示している。図６のグラフでは、或る画素（画素１）におけるＩＩＲフィルタ３の入出力の突出度と、別の画素（画素２）におけるＩＩＲフィルタ３の入出力の突出度とについて示している。なお、突出度が画像に依らず同程度で変化が小さい場合は、低周波数成分が支配的と解釈でき、画像ごとに突出度の変化が大きい場合は、高い周波数成分が支配的と解釈できる。

なお、ＬＰＦの周波数特性の設定値ａを１／（２^ｎ）、または、１−１／（２^ｎ）（ｎは正整数）とした場合、第１算出部３１は、ビットシフト、または、ビットシフトおよび加算器で実現することができる。同じく第２算出部３２についても、ビットシフト、または、ビットシフトおよび加算器で実現することができる。これにより、回路の簡易化を図ることができる。

比較器４は、フィルタ後正規化突出度を参照することによって欠陥画素判断を行う回路である。フィルタ後正規化突出度が、設定可能な閾値Ａ以上の場合に、欠陥画素と判断する。なお、参照する画像数(累計画像数)が一定数以上になってからフィルタ後正規化突出度を参照する構成としても良い。

また、比較器４は、フィルタ前正規化突出度とフィルタ後正規化突出度の２つ値を参照する構成としても良い。例えば、フィルタ後正規化突出度の値が高くても、フィルタ前正規化突出度の値が低い場合、その画像では突出していないので補正しないという動作をさせる場合は、この構成を採用する。なお、比較器４は、フィルタ前正規化突出度の値にも基づいて欠陥画素の判定を行う場合、フィルタ前正規化突出度が、設定可能な閾値Ｂ以上で、且つ、フィルタ後正規化突出度が、設定可能な閾値Ａ以上の場合に、欠陥画素と判断する。

上記をまとめると、比較器４は、次の２つの動作モードに従って欠陥画素か否かを判断する。

動作モードＡ:下記条件ａを満たすときに欠陥と判断
動作モードＢ:下記条件ａｂの両方を満たすときに欠陥と判断
条件ａ．フィルタ後正規化突出度＞＝閾値Ａ
条件ｂ．フィルタ前正規化突出度＞＝閾値Ｂ（閾値Ａと同じでも良い）
具体的には、例えば図６のグラフにおいては、閾値Ａ＝閾値Ｂ＝１２８とすることができる。図６のグラフにおいて７枚目の撮像データをみると、或る画素（画素１）におけるフィルタ前正規化突出度は２２３程度であるがフィルタ後正規化突出度は１０１程度である。この画素１の場合、動作モードＡ、動作モードＢともに欠陥画素と判断しない。一方、この７枚目の撮像データの別の画素（画素２）では、フィルタ前正規化突出度は３４程度であるがフィルタ後正規化突出度は１５４程度である。この場合、動作モードＡの動作では欠陥画素と判断し、動作モードＢの動作では欠陥画素と判断しない。このとき動作モードＢを選択していれば、欠陥画素とは結論付けない。動作モードＡを選択するか、動作モードＢを選択するかは、設計者や使用者の思想により決定されればよい。

例えば、動作モードＡを選択した時と動作モードＢを選択した時とで、挙動(欠陥画素判定)が変わるのは、次の場合である。

フィルタ後正規化突出度＞＝閾値Ａ
フィルタ前正規化突出度＜閾値Ｂ
ここで、フィルタ前正規化突出度＜閾値Ｂということは、その画像では突出度が低く、注目画素は周辺画素と似た傾向になっていることを意味している。このとき、たとえ欠陥画素であっても、注目画素が似た傾向であれば、補正する必要はないと設計者や使用者が考える場合は、動作モードＢを選択すればよい。反対に、たとえ注目画素が周辺画素と似た傾向であっても、欠陥画素である可能性が高い画素と判断出来るので、この画素の出力レベルは信用せずに周辺画素を基に補正すべきと設計者や使用者が考える場合は、動作モードＡを選択すればよい。

なお、上記の閾値Ａ、閾値Ｂや、フィルタ後正規化突出度を参照するまでの累計画像数などを設定可能な構成とすることにより、冗長度の高い欠陥画素検知システムの構築が可能となり（製造プロセスの違いなどに起因する欠陥画素割合の異なる）撮像素子の違いや撮像条件の違い（前撮像データとの類似性：動画撮影は比較的類似性が高く、静止画撮影は比較的類似性が低いなど）があっても、欠陥画素検知が可能となる。

上記の構成から、複数の撮像データを用いて、精度の良い欠陥画素の検出を行うことができる。

なお、上述のＩＩＲフィルタ３に関し、ＬＰＦの周波数特性を決める設定値ａを１／（２^ｎ）、または、１−１／（２^ｎ）（ｎは正整数）とすることで、（×ａ倍、×（１−ａ）倍）の処理を行う第１算出部３１および第２算出部３２をビットシフト、または、ビットシフトおよび加算器で実現してもよい。これにより、回路の簡易化を図ることができる。

（３）検証
以下に、本実施形態における撮像装置１の画像処理回路１２５（欠陥画素検出部５０）によっておこなわれる欠陥画素の検出に関して、実画像を使って検証する。検証では、利得×２設定として撮像対象の異なる１３枚の画像データを使用する。

図７、図８、図９および図１０は検証結果に関する図である。図７は、グラフの縦軸をＩＩＲフィルタ３に入力されるフィルタ前正規化突出度とし、横軸を１３枚の画像データの画像番号（Ｎｏ．１〜１３）として、１３枚の画像データそれぞれのある画素位置（ａｄｄｒｅｓｓ１）（ｘ＝１８１、ｙ＝２８２）におけるフィルタ前正規化突出度をプロットするとともに、これら１３枚の画像データそれぞれの別の画素位置（ａｄｄｒｅｓｓ２）（ｘ＝２２６、ｙ＝１０１２）におけるフィルタ前正規化突出度をプロットしているグラフである。

図８は、先述の１３枚の画像データのうちの１枚の画像データ（画像Ｎｏ．３）であり、欠陥画素をｘ＝１８１、ｙ＝２８２の位置に有する画像Ｎｏ．３のベイヤー配列画像（図８中の（ａ））と、このベイヤー配列画像から同色フィルタ画素のみを抽出（最大階調４０９５）したグラフ（図８中の（ｂ））と、遮光画像として利得×６４設定として処理した画像Ｎｏ．３の画像（図８中の（ｃ））である。

図９は、１３枚の画像データのうちの別の１枚の画像データ（画像Ｎｏ．６）であり、空間周波数の高い画像であり、ｘ＝２２６、ｙ＝１０１２の位置に高い値のフィルタ前正規化突出度を示す画像Ｎｏ．６のベイヤー配列画像（図９中の（ａ））と、このベイヤー配列画像から同色フィルタ画素のみを抽出（最大階調４０９５）したグラフ（図９中の（ｂ））と、遮光画像として利得×６４設定として処理した画像Ｎｏ．６の画像（図９中の（ｃ））である。

図１０は、グラフの横軸を先述の１３枚の画像データを累計した枚数をとり、縦軸にＩＩＲフィルタ３から出力されるフィルタ後正規化突出度をとって、先述のａｄｄｒｅｓｓ１の画素位置におけるフィルタ後正規化突出度の累積値と、先述のａｄｄｒｅｓｓ２の画素位置におけるフィルタ後正規化突出度の累積値とをとったグラフである。

図７、図８および図９に示す通り、フィルタ前正規化突出度の値において、欠陥画素による突出度は高めの値が観測されることが多い傾向となる。一方、正常画素（ａｄｄｒｅｓｓ２の画素位置の画素）による突出度は、空間周波数の高い特定の撮像データにおいてのみ高めの値が観測される傾向がある。

上記を踏まえて、ＩＩＲフィルタ３から出力されたフィルタ後正規化突出度の値においては、高周波成分が抑圧されて低周波成分が残る。そのため、図１０に示すように、高めの突出度が観測されることが多い傾向の欠陥画素（ａｄｄｒｅｓｓ１の画素位置の画素）のフィルタ後正規化突出度の値は高めの値となる傾向となる。一方で、低めのフィルタ前正規化突出度が観測されることが多く、（空間周波数の高い画像起因の）高めのフィルタ前正規化突出度が観測されることが少ない傾向の正常画素（ａｄｄｒｅｓｓ２の画素位置の画素）でのフィルタ後正規化突出度の値は低い傾向となる。

つまり、（被写体が異なる）撮像データの数が多くなればなるほど（一定数でも可）、欠陥画素によるフィルタ後正規化突出度と、高周波画素によるフィルタ後正規化突出度の傾向の差異が顕著になる。

以上のように本実施形態の構成によれば、より好適に欠陥画素を検出することができる。

欠陥が生じていると検出された画素については、欠陥画素補正部５１において補正処理がおこなわれる。

（４）欠陥画素補正部５１（欠陥画素補正装置）
図１に示す欠陥画素補正部５１では、欠陥画素検出部５０の検出結果（注目画素に欠陥が生じているという検出結果）と、注目画素周辺の画像信号とが入力されると、当該注目画素（欠陥画素）の画素信号が補正される。例えば、欠陥が生じていると検出された注目画素に対し、周辺画素の画素信号を用いて、バイリニア法やバイキュービック法等を用いて補正をおこなうことができる。欠陥画素を適切に検出して補正することにより、高画質な画像を提供することができる。

（５）欠陥画素検出方法
以下に、図１１に示すフローチャートに基づいて、図１および図４に示す欠陥画素検出部５０を用いた欠陥画素検出方法を説明する。

まず、突出度算出部２によって、注目画素の画像信号と、各周辺画素の画像信号とが取得され、欠陥画素検出処理が開始される（ステップＳ１）。

続いて、突出度算出部２によって、フィルタ前正規化突出度が算出される（ステップＳ２）。算出されたフィルタ前正規化突出度は、ＩＩＲフィルタ３および比較器４に入力される。

続いて、ＩＩＲフィルタ３によって、取得したフィルタ前正規化突出度をＬＰＦに通す（ステップＳ３、フィルタ工程）。

続いて、ＩＩＲフィルタ３において、累計撮像データが一定数を超えたか判定する（ステップＳ４、フィルタ工程）。

そして、累計撮像データが一定数を超えた場合、ステップＳ３における演算結果であるフィルタ後正規化突出度が比較器４によって取得される（ステップＳ５、フィルタ工程）。一方、累計撮像データが一定数を満たさない場合、ステップＳ１の処理に戻る。

比較器４は、ステップＳ２において取得されるフィルタ前正規化突出度と、ステップＳ５において取得されるフィルタ後正規化突出度とを取得し、先述の動作モードＡ、動作モードＢに何れかの動作モードに従い、欠陥画素の判定を行う（ステップＳ６、比較工程）。

ステップＳ６において、欠陥画素であると判定される（ステップＳ７、比較工程）か、正常画素であると判定される（ステップＳ８、比較工程）と、再びステップＳ１に戻って、次の画素データが取得される。

以下に、上述のステップＳ３について、図１２を用いてより詳細なステップを説明する。

フィルタ前正規化突出度がＩＩＲフィルタ３によって入力されると、ＩＩＲフィルタ３の第１算出部３１によって、ＩＩＲ特性設定部３０にて設定される設定値ａを取得し、フィルタ前正規化突出度の値をａ倍（係数ａ倍）した値が算出される第１算出処理がおこなわれる（ステップＳ３１）。

続いて、遅延部３４によって、ある時刻の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値が出力され、第２算出部３２に、ある時刻の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値が取得されると、第２算出部３２によって、ＩＩＲ特性設定部３０にて設定される設定値ａを取得し、ある時刻の直前のＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度の値をある係数((１−ａ))倍した値が算出される第２算出処理がおこなわれる（ステップＳ３２）。

続いて、第１算出部３１と第２算出部３２とからそれぞれ算出された値が加算部３３によって取得され、加算される加算処理がおこなわれる（ステップＳ３３）。このステップＳ３が、累計撮像データが一定数を超えるまで繰り返される。累計撮像データが一定数を超えたか否かの判定は（ステップＳ４）は、例えば、第１算出部３１に入力されたデータ数（累計画像数）をカウンタでカウントし、カウント数が一定数を超えたかで判定することが出来る。

続いて、累計撮像データが一定数を超えた場合、ステップＳ３３における演算結果であるフィルタ後正規化突出度が取得されてＩＩＲフィルタ３から出力され、比較器４によって取得される（ステップＳ５）。一方、累計撮像データが一定数に満たない場合、ステップＳ１の処理に戻り、累計撮像データが一定数を超えるまで繰り返される。

上述のステップＳ７において欠陥画素であると判定された画素については、当該画素（注目画素）の周辺画素信号および検出結果が、欠陥画素補正部５１に出力され、欠陥画素補正部５１によって欠陥画素補正処理がおこなわれる。

以上のように、本実施形態における画像処理回路１２５（欠陥画素検出装置）を組み込んだ撮像装置１によれば、ＬＰＦ出力のフィルタ後正規化突出度を用いることで空間周波数が高い画像での誤検知を抑圧することが可能である。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

上述の実施形態１では、図４に示すように欠陥画素検出部５０の突出度算出部２に乗算部２１が設けられているが、本発明はこれに限定されるものではない。

すなわち、フィルタ前正規化突出度を算出する際に、乗算部２１に代えて、２のべき乗の係数を乗算（ビットシフト）する。これにより、乗算部２１を設けた突出度算出部２を具備する実施形態１の態様に比べ、フィルタ前正規化突出度の算出に係る演算量を削減することができる。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

上述の実施形態１では、図４に示すように欠陥画素検出部５０の突出度算出部２に設けられている簡易補正部２５は、注目画素の出力値に周辺画素の群の画素数を乗算した値と、周辺画素の群の出力値の総和との差分の絶対値を周辺画素の群の出力値の総和で除算する態様である。しかしながら、本発明はこれに限定されるものではなく、以下に説明する本実施形態３の態様であってもよい。

具体的には、周辺画素の群の出力値の総和に応じて、突出度（補正前突出部）に２のべき乗の係数を乗算する簡易補正をおこなうことにより補正する。

具体的な計算例を以下となる。

本実施形態３に具備された簡易補正部２５により、先述の例（１）の絶対値（Ｔｒ）は、補正されて２５６０になり、例（２）の絶対値（Ｔｒ）は、補正されて８０になる。

〔まとめ〕
本発明の態様１に係る欠陥画素検出装置（欠陥画素検出部５０）は、周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度が入力される、ローパスフィルタ特性を有するＩＩＲフィルタ３と、上記ＩＩＲフィルタ３の出力値であるフィルタ後正規化突出度を用いて上記注目画素に欠陥が生じているか否かを判定する比較部（比較器４）とを備えている。

上記の構成によれば、高周波画素を欠陥画素と誤検出するのを抑制することができるとともに、欠陥画素の検出漏れを抑制することができ、従来技術よりも良好に欠陥画素を検出することができる。

具体的には、本態様１の欠陥画素検出装置（欠陥画素検出部５０）によれば、フィルタ前正規化突出度を、ローパスフィルタ処理するＩＩＲフィルタを用いることから、空間周波数が高い画像での誤検知を抑圧することができる。空間周波数が高い画像が同一の画素位置に撮像される頻度は一般的には低いので、ＬＰＦ出力のフィルタ後正規化突出度を用いることによって空間周波数が高い画像での誤検知を抑圧することが可能である。

また、従来技術では、時系列の方向に平行に連続して欠陥の症状が現れない場合には、その検出が困難である。しかしながら、上述の構成を具備する本態様の欠陥画素検出装置（欠陥画素検出部５０）によれば、そのように連続して欠陥の症状が現れるか否かに関わらず、欠陥画素を検出することができる。

また、本態様１の構成によれば、従来技術のように低コントラストの画像領域を判定して欠陥画素検出のための対象領域として抽出することもないため、空間周波数の高い撮像データであっても、適切に欠陥画素を検出することができる。

本発明の態様２に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１において、上記ＩＩＲフィルタ３は、複数の時点において取得された画像データを参照して上記フィルタ後正規化突出度を算出する構成となっていてもよい。

上記の構成によれば、ある時点の１つの撮像データのみで欠陥の有無が判断されることが無く、精度の良い欠陥画素検出をおこなうことができる。例えば、空間周波数の高い撮像データの場合において、ある時点の撮像データに基づいて算出されたフィルタ前正規化突出度が閾値を超えるような高い場合でも、当該ある時点の直前までの撮像データに基づいて算出されたフィルタ後正規化突出度とある時点の撮像データに基づいて算出されたフィルタ前正規化突出度を元に計算されるある時点のフィルタ後正規化突出度が閾値を超えない限り、欠陥画素として判断されない。このように、本態様によれば、正確な欠陥画素の検出が可能である。

本発明の態様３に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１または２において、上記比較部は、上記ＩＩＲフィルタ３によって一定数以上の画像データが参照されて算出された上記フィルタ後正規化突出度を用いて、上記注目画素に欠陥が生じているか否かを判定する構成となっていてもよい。

上記の構成によれば、一定数以上の画像データが参照されて算出されたフィルタ後正規化突出度を用いて検出することにより、ある時点の１つの撮像データのみで欠陥の有無が判断されることが無いため、精度の良い欠陥画素検出をおこなうことができる。

本発明の態様４に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１から３において、上記ローパスフィルタ特性を、設定可能な値ａに基づいて設定する設定部（ＩＩＲ特性設定部３０）を、更に備えており、上記ＩＩＲフィルタ３は、ある時点における上記フィルタ前正規化突出度の値に係数（ａ）を乗算した値と、当該ある時点の直前における上記フィルタ前正規化突出度を当該ＩＩＲフィルタ３に入力して得られる出力値である上記フィルタ後正規化突出度に係数（１−ａ）を乗算した値とを加算することにより、当該ある時点における上記フィルタ後正規化突出度を出力する構成となっていてもよい。

上記の構成によれば、ある時点の１つの撮像データのみでなく、複数の撮像データの累計が反映された結果に基づいた検出が可能であり、精度の良い欠陥画素検出をおこなうことができる。

本発明の態様５に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１から３において、上記ＩＩＲフィルタ３は、（ｉ）ある時点における上記フィルタ前正規化突出度を、ビットシフトするか、ビットシフトおよび加算器を用いる処理をおこなうとともに、（ｉｉ）上記ある時点の直前における上記フィルタ前正規化突出度を当該ＩＩＲフィルタ３に入力して得られる出力値である上記フィルタ後正規化突出度を、ビットシフトするか、ビットシフトおよび加算器を用いる処理をおこない、上記（ｉ）において得られる突出度と、上記（ｉｉ）において得られる突出度とを加算することによって、上記ある時点における上記フィルタ後正規化突出度を得る構成となっていてもよい。

上記の構成によれば、簡易な構成によって、フィルタ後正規化突出度を得ることが可能である。

本発明の態様６に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１から５において、上記フィルタ前正規化突出度を算出する突出度算出部２を、更に備えており、上記突出度算出部２は、（ｉ）上記周辺画素の群の画素数を上記注目画素の出力値に乗算した値、または（ｉｉ）２のべき乗の係数を上記注目画素の出力値に乗算（ビットシフト）した値と、上記周辺画素の群の出力値の総和との差分の絶対値を当該出力値の総和によって除算して上記フィルタ前正規化突出度を算出する構成となっていてもよい。

本発明の態様７に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１から５において、上記フィルタ前正規化突出度を算出する突出度算出部２を、更に備えており、上記突出度算出部２は、（ｉ）上記周辺画素の群の画素数を上記注目画素の出力値に乗算した値、または（ｉｉ）２のべき乗の係数を上記注目画素の出力値に乗算（ビットシフト）した値と、上記周辺画素の群の出力値の総和との差分の絶対値に、上記周辺画素の群の出力値の総和に応じた２のべき乗の係数を乗算（ビットシフト）して上記フィルタ前正規化突出度を算出する構成となっていてもよい。

上記の構成によれば、態様７における突出度算出部の構成に比べ、簡易な構成によってフィルタ前正規化突出度を算出することができる。

本発明の態様８に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様４において、上記設定部（ＩＩＲ特性設定部３０）が、上記ＩＩＲフィルタ３から出力される上記フィルタ後正規化突出度に基づいて、値ａを設定する構成となっていてもよい。

上記の構成によれば、ローパス特性が適切に設定され、精度の良い欠陥検出に寄与することができる。

本発明の態様９に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様１から８において、上記比較部（比較器４）は、以下の（Ａ）または（Ｂ）；
（Ａ）上記フィルタ後正規化突出度が閾値Ａ以上である
（Ｂ）上記フィルタ後正規化突出度が閾値Ａ以上であり、かつ上記フィルタ前正規化突出度が閾値Ｂ以上である
を満たす場合に、上記注目画素に欠陥があると判定することができる。

本発明の態様１０に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様９において、上記閾値Ａおよび上記閾値Ｂは、上記ＩＩＲフィルタ３から出力される上記フィルタ後正規化突出度に基づいて調整される構成となっている。

上記の構成によれば、冗長度の高い欠陥画素検出システムの構築が可能となり、撮像素子の違いや撮像条件の違いがあっても、欠陥画素の検出が可能となる。

本発明の態様１１に係る欠陥画素検出装置（欠陥画素検出部５０）は、上記態様３において、上記一定数は、上記ＩＩＲフィルタ３から出力される上記フィルタ後正規化突出度に基づいて設定可能である構成となっている。

上記の構成によれば、冗長度の高い欠陥画素検出システムの構築が可能となり、撮像素子の違いや撮像条件の違いがあっても、欠陥画素の検出が可能となる。

本発明の態様１２に係る撮像装置１は、上記態様１から１１における欠陥画素検出装置と、上記注目画素と上記周辺画素とを有する固体撮像素子と、上記欠陥画素検出装置によって欠陥画素と検出された上記注目画素の画像信号を補正する欠陥画素補正装置と、を備えている。

上記の構成によれば、固体撮像素子上の欠陥画素を精度よく検出して画像信号を補正することができ、高い撮像画質の撮像データを提供することができる。

本発明の態様１３に係る欠陥画素検出方法は、周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度を、ローパスフィルタ特性を有するＩＩＲフィルタに通すフィルタ工程と、上記フィルタ工程によって出力されたフィルタ後正規化突出度を用いて、上記注目画素に欠陥が生じているか否かを判定する比較工程とを含む。

上記の構成によれば、高周波画素を欠陥画素と誤検出するのを抑制することができるとともに、欠陥画素の検出漏れを抑制することができ、従来技術よりも良好に欠陥画素を検出することができる。

具体的には、本態様１３の欠陥画素検出方法によれば、フィルタ前正規化突出度を、ローパスフィルタ処理するＩＩＲフィルタを用いることから、空間周波数が高い画像での誤検知を抑圧することができる。空間周波数が高い画像が同一の画素位置に撮像される頻度は一般的には低いので、ＬＰＦ出力のフィルタ後正規化突出度を用いることによって空間周波数が高い画像での誤検知を抑圧することが可能である。

また、従来技術では、時系列の方向に平行に連続して欠陥の症状が現れない場合には、その検出が困難である。しかしながら、上述の構成を具備する本態様の欠陥画素検出方法によれば、そのように連続して欠陥の症状が現れるか否かに関わらず、欠陥画素を検出することができる。

また、本態様１３の構成によれば、従来技術のように低コントラストの画像領域を判定して欠陥画素検出のための対象領域として抽出することもないため、空間周波数の高い撮像データであっても、適切に欠陥画素を検出することができる。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ 撮像装置
２ 突出度算出部
３ ＩＩＲフィルタ
４ 比較器（比較部）
２１ 乗算部
２２ 周辺画素用加算部
２３ 加算部
２４ 絶対値化部
２５ 簡易補正部
３０ ＩＩＲ特性設定部（設定部）
３１ 第１算出部
３２ 第２算出部
３３ 加算部
３４ 遅延部
５０ 欠陥画素検出部（欠陥画素検出装置）
５１ 欠陥画素補正部（欠陥画素補正装置）
１００ 撮像光学系
１０７ 撮像素子
１２０ 制御部
１２１ ＣＰＵ
１２４ 撮像素子駆動回路
１２５ 画像処理回路

Claims (13)

1. 周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度が入力される、ローパスフィルタ特性を有するＩＩＲフィルタと、
   上記ＩＩＲフィルタの出力値であるフィルタ後正規化突出度を用いて上記注目画素に欠陥が生じているか否かを判定する比較部とを備えていることを特徴とする欠陥画素検出装置。
2. 上記ＩＩＲフィルタは、複数の時点において取得された画像データを参照して上記フィルタ後正規化突出度を算出することを特徴とする請求項１に記載の欠陥画素検出装置。
3. 上記比較部は、上記ＩＩＲフィルタによって一定数以上の画像データが参照されて算出された上記フィルタ後正規化突出度を用いて、上記注目画素に欠陥が生じているか否かを判定することを特徴とする請求項１または２に記載の欠陥画素検出装置。
4. 上記ローパスフィルタ特性を、設定可能な値ａに基づいて設定する設定部を、更に備えており、
   上記ＩＩＲフィルタは、ある時点における上記フィルタ前正規化突出度の値に係数（ａ）を乗算した値と、当該ある時点の直前における上記フィルタ前正規化突出度を当該ＩＩＲフィルタに入力して得られる出力値である上記フィルタ後正規化突出度に係数（１−ａ）を乗算した値とを加算することにより、当該ある時点における上記フィルタ後正規化突出度を出力することを特徴とする請求項１から３までの何れか１項に記載の欠陥画素検出装置。
5. 上記ＩＩＲフィルタは、
   （ｉ）ある時点における上記フィルタ前正規化突出度を、ビットシフトするか、ビットシフトおよび加算器を用いる処理、及び、
   （ｉｉ）上記ある時点の直前における上記フィルタ前正規化突出度を当該ＩＩＲフィルタに入力して得られる出力値である上記フィルタ後正規化突出度を、ビットシフトするか、ビットシフトおよび加算器を用いる処理、
   をおこない、
   上記（ｉ）の処理をおこなうことにより得られる突出度と、上記（ｉｉ）の処理をおこなうことにより得られる突出度とを加算することによって、上記ある時点における上記フィルタ後正規化突出度を得ることを特徴とする請求項１から３までの何れか１項に記載の欠陥画素検出装置。
6. 上記フィルタ前正規化突出度を算出する突出度算出部を、更に備えており、
   上記突出度算出部は、
   （ｉ）上記周辺画素の群の画素数を上記注目画素の出力値に乗算した値、または
   （ｉｉ）２のべき乗の係数を上記注目画素の出力値に乗算した値
   と、上記周辺画素の群の出力値の総和との差分の絶対値を当該出力値の総和によって除算して上記フィルタ前正規化突出度を算出することを特徴とする請求項１から５までの何れか１項に記載の欠陥画素検出装置。
7. 上記フィルタ前正規化突出度を算出する突出度算出部を、更に備えており、
   上記突出度算出部は、
   （ｉ）上記周辺画素の群の画素数を上記注目画素の出力値に乗算した値、または
   （ｉｉ）２のべき乗の係数を上記注目画素の出力値に乗算した値
   と、上記周辺画素の群の出力値の総和との差分の絶対値に、上記周辺画素の群の出力値の総和に応じた２のべき乗の係数を乗算して上記フィルタ前正規化突出度を算出することを特徴とする請求項１から５までの何れか１項に記載の欠陥画素検出装置。
8. 上記設定部は、上記ＩＩＲフィルタから出力される上記フィルタ後正規化突出度に基づいて、値ａを設定することを特徴とする請求項４に記載の欠陥画素検出装置。
9. 上記比較部は、以下の（Ａ）または（Ｂ）；
   （Ａ）上記フィルタ後正規化突出度が閾値Ａ以上である
   （Ｂ）上記フィルタ後正規化突出度が閾値Ａ以上であり、かつ上記フィルタ前正規化突出度が閾値Ｂ以上である
   を満たす場合に、上記注目画素に欠陥があると判定することを特徴とする請求項１から８までの何れか１項に記載の欠陥画素検出装置。
10. 上記閾値Ａおよび上記閾値Ｂは、上記ＩＩＲフィルタから出力される上記フィルタ後正規化突出度に基づいて調整されることを特徴とする請求項９に記載の欠陥画素検出装置。
11. 上記一定数は、上記ＩＩＲフィルタから出力される上記フィルタ後正規化突出度に基づいて設定可能であることを特徴とする請求項３に記載の欠陥画素検出装置。
12. 請求項１から１１までの何れか１項に記載の欠陥画素検出装置と、
    上記注目画素と上記周辺画素とを有する固体撮像素子と、
    上記欠陥画素検出装置によって欠陥画素と検出された注目画素の画像信号を補正する欠陥画素補正装置とを備えていることを特徴とする撮像装置。
13. 周辺画素に対する注目画素の出力レベルの突出度合いに基づいて算出されるフィルタ前正規化突出度を、ローパスフィルタ特性を有するＩＩＲフィルタに通すフィルタ工程と、
    上記フィルタ工程によって出力されたフィルタ後正規化突出度を用いて、上記注目画素に欠陥が生じているか否かを判定する比較工程とを含むことを特徴とする欠陥画素検出方法。