JP2008131161A - 欠陥画素検出装置、電子機器、及び欠陥画素検出プログラム - Google Patents

Abstract

【課題】注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる欠陥画素検出装置を提供する。
【解決手段】ベイヤー配列の画像データの注目画素が赤（青）色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する（ステップＳ１０参照）第１判定部と、ベイヤー配列の画像データの注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する（ステップＳ４０参照）認識部とを備える欠陥画素検出装置。
【選択図】図２

Description

本発明は、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置及びそれを備える電子機器並びにベイヤー配列の画像データの欠陥画素を検出するようにコンピュータを機能させるための欠陥画素検出プログラムに関するものである。

ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出方法に関する従来技術の一例を以下に説明する。

注目画素が赤色成分画素で有る場合、図４に示す注目画素Ｒ33を中心とする５×５画素の画素ブロックを用いて欠陥画素検出を行う。注目画素Ｒ33の信号レベルが注目画素Ｒ33の最も近くに存在する上下左右の四つの赤色成分画素Ｒ31，Ｒ35，Ｒ13，Ｒ53の信号レベル全てに対して極端に高い場合又は注目画素Ｒ33の最も近くに存在する上下左右の四つの画素Ｒ31，Ｒ35，Ｒ13，Ｒ53の信号レベル全てに対して極端に低い場合に、注目画素Ｒ33は欠陥画素として検出される。注目画素が青色成分画素で有る場合も同様の方法すなわち注目画素の最も近くに存在する上下左右の四つの青色成分画素を参照して欠陥画素を検出する。

注目画素が緑色成分画素で有る場合、図５に示す注目画素Ｇ33を中心とする５×５画素の画素ブロックを用いて欠陥画素検出を行う。注目画素Ｇ33の信号レベルが注目画素Ｇ33の最も近くに存在する左斜め上、左斜め下、右斜め上、右斜め下の四つの緑色成分画素Ｇ22，Ｇ24，Ｇ42，Ｇ44の信号レベル全てに対して極端に高い場合又は注目画素Ｇ33の最も近くに存在する左斜め上、左斜め下、右斜め上、右斜め下の四つの緑色成分画素Ｇ22，Ｇ24，Ｇ42，Ｇ44の信号レベル全てに対して極端に低い場合に、注目画素Ｇ33は欠陥画素として検出される。
特開２００５−１２３９４６号公報

しかしながら、上記欠陥画素検出方法では、注目画素が赤色成分画素又は青色成分画素で有って、注目画素を通過する１ドット単位の斜めの直線（一例として、図６に注目画素Ｒ33を通過する周囲より暗い１ドット単位の右下がりの斜線を示す。）が存在する場合、注目画素が実際には欠陥画素でなくても欠陥画素として検出され、注目画素が緑色成分画素で有って、注目画素を通過する１ドット単位の上下又は左右の直線（一例として、図７に注目画素Ｇ33を通過する周囲より暗い１ドット単位の左右の直線を示す。）が存在する場合、注目画素が実際には欠陥画素でなくても欠陥画素として誤検出される。このように欠陥画素が誤検出されると、後段の補正回路での欠陥画素の信号レベルの補正によって、１ドット単位の直線が消去されてしまう。

また、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出方法に関する従来技術の他の例として、特許文献１に開示されている欠陥画素検出方法がある。特許文献１に開示されている欠陥画素検出方法は、注目画素と同色成分の周辺画素の信号レベルの分散値を用いることで、欠陥画素検出の誤検出を少なくしているが、注目画素と同色成分の周辺画素８個のうち注目画素を通過する１ドット単位の直線に含まれる画素は２個しかないため、注目画素を通過する１ドット単位の直線が存在する場合に上記分散値が低い値になり、注目画素が実際には欠陥画素でなくても欠陥画素として検出されるおそれがあった。

本発明は、上記の状況に鑑み、注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる欠陥画素検出装置及びそれを備える電子機器並びに欠陥画素検出プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る欠陥画素検出装置は、ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置であって、注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定部と、注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、前記第１判定部又は前記第２判定部によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識部とを備える構成としている。

このような構成によると、注目画素が１ドット単位の直線上に存在する場合に注目画素を正常な画素として認識するので、注目画素が１ドット単位の直線上に存在する場合に注目画素が実際には欠陥画素でなくても欠陥画素として誤検出されることを抑えることができる。

また、上記目的を達成するために、本発明に係る電子機器は、上記構成の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備える構成としている。本発明に係る電子機器の例としては、カメラ付き携帯電話装置、デジタルスチールカメラ、デジタルビデオカメラ等が挙げられる。

また、上記目的を達成するために、本発明に係る欠陥画素検出プログラムは、ベイヤー配列の画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、コンピュータを、注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定手段、注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定手段、及び前記第１判定手段又は前記第２判定手段によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識手段として機能させるようにする。

本発明によると、注目画素が１ドット単位の直線上に存在する場合に注目画素を正常な画素として認識するので、注目画素を通過する１ドット単位の直線が存在する場合における欠陥画素の誤検出を抑えることができる。

本発明の実施形態について図面を参照して以下に説明する。本発明に係る電子機器として、ここではカメラ付き携帯電話装置を例に挙げて説明する。

本発明に係るカメラ付き携帯電話装置の概略構成例を図１に示す。光学レンズ系１と、ベイヤー配列のカラーフィルタを有するＣＣＤ等の固体撮像素子２と、固体撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部３とによって構成されるカメラモジュール４は、ベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを半導体集積回路装置である画像処理装置５に出力する。

画像処理装置５においては、カメラモジュール４から出力されたＲＡＷ形式の画像データをフレームメモリ６が一時的に保存し、欠陥画素検出装置７がＲＡＷ形式の画像データの欠陥画素を検出し、欠陥画素の画素データを欠陥画素の最も近くに存在する画素であって欠陥画素と同色成分の画素の画素データを演算処理して得られるデータに置換する等の補正処理によって補正部８が欠陥画素の画素データを補正し、画像処理部９が欠陥画素の画素データが補正されたＲＡＷ形式の画像データに色補間等の各種画像処理を施してＲＧＢ画像データを作成する。

ＣＰＵ１１によってプレビューモードに設定されている場合、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データを液晶ディスプレイ等の表示装置１２に出力する。これにより、カメラモジュール４によって撮像された画像が表示装置１２に表示される。また、ＣＰＵ１１によって画像記録が指示されると、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データをデータ圧縮部１０での圧縮処理により圧縮画像データに変換した後、メモリカード等の外部記憶媒体が着脱可能に装着される記憶媒体インターフェース１３にその圧縮画像データを出力し、その圧縮画像データを外部記憶媒体に書き込む。これにより、カメラモジュール４によって撮像された画像の圧縮データが外部記憶媒体に記録される。

また、図１に示す本発明に係るカメラ付き携帯電話装置は、アンテナ１４と、アンテナ１４を介して基地局と送受信する無線部１５と、着信を音や振動によって報知する報知部１６と、キー入力部１７と、音声通話時に操作者が発する音声を入力して電気信号に変換する音声入力部１８と、音声通話時に相手方の音声に応じた電気信号を音声に変換して出力する音声出力部１９とを備えている。なお、表示装置１２は、ＣＰＵ１１の制御によって電話番号等の表示も行う。

次に、欠陥画素検出装置７の動作について詳細に説明する。注目画素が赤色成分画素で有る場合、欠陥画素検出装置７は、図４に示す注目画素Ｒ33を中心とする５×５画素の画素ブロックを用いて図２に示すフローチャートの手順に従って欠陥画素検出を行う。

ステップＳ１０において、欠陥画素検出装置７は、注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在するか否かを判定する。かかる判定の一具体例としては、画素Ｒ11の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であり、且つ画素Ｒ55の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であれば、注目画素Ｒ33を通過する１ドット単位の斜めの直線（右下がりの斜線）が存在すると判定し、画素Ｒ51の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であり、且つ画素Ｒ15の信号レベルと注目画素Ｒ33の信号レベルとの差分が所定値以下であれば、注目画素Ｒ33を通過する１ドット単位の斜めの直線（右上がりの斜線）が存在すると判定し、画素Ｒ11の信号レベルと注目画素Ｒ33の信号レベルとの差分及び画素Ｒ55の信号レベルと注目画素Ｒ33の信号レベルとの差分の少なくとも一つが所定値より大きく、且つ、画素Ｒ51の信号レベルと注目画素Ｒ33の信号レベルとの差分及び画素Ｒ15の信号レベルと注目画素Ｒ33の信号レベルとの差分の少なくとも一つが所定値より大きい場合、注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在しないと判定するという手順が挙げられる。

ステップＳ１０において注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在すると判定された場合（ステップＳ１０のＹＥＳ）、後述するステップＳ４０に移行する。

一方、ステップＳ１０において注目画素Ｒ33を通過する１ドット単位の斜めの直線が存在すると判定されなかった場合（ステップＳ１０のＮＯ）、欠陥画素検出装置７は、注目画素Ｒ33が欠陥画素であるか否かを判定する。かかる判定の一具体例としては、注目画素Ｒ33の信号レベルＬ_R33と注目画素Ｒ33の最も近くに存在する四つの赤色成分画素Ｒ31，Ｒ53，Ｒ35，Ｒ13の信号レベルＬ_R31，Ｌ_R53，Ｌ_R35，Ｌ_R13との各差分Δ１〜Δ４を求め、差分Δ１〜Δ４全てが予め設定された第１の閾値（負の値）より小さければ注目画素Ｒ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ１〜Δ４全てが予め設定された第２の閾値（正の値）より大きければ注目画素Ｒ33が欠陥画素（より詳細には黒欠陥画素）であると判定するという手順が挙げられる。なお、差分Δ１〜Δ４は以下の（１）式〜（４）式によって求められる。
Δ１＝Ｌ_R31−Ｌ_R33 ・・・（１）
Δ２＝Ｌ_R53−Ｌ_R33 ・・・（２）
Δ３＝Ｌ_R35−Ｌ_R33 ・・・（３）
Δ４＝Ｌ_R13−Ｌ_R33 ・・・（４）

ステップＳ２０において注目画素Ｒ33が欠陥画素でないと判定された場合（ステップＳ２０のＹＥＳ）、後述するステップＳ４０に移行する。

一方、ステップＳ２０において注目画素Ｒ33が欠陥画素であると判定された場合（ステップＳ２０のＮＯ）、後述するステップＳ３０に移行する。

欠陥画素検出装置７は、ステップＳ３０において注目画素Ｒ33を欠陥画素として検出し、ステップＳ４０において注目画素Ｒ33を正常な画素として認識し、ステップＳ３０又はステップＳ４０の処理が終了するとフローを終了する。

注目画素が青色成分画素で有る場合には、欠陥画素検出装置７が、上述した注目画素が赤色成分画素で有る場合と同様の動作（上述した動作において赤色成分画素を青色成分画素に置換する）によって、欠陥画素検出を行うようにすればよい。

注目画素が緑色成分画素で有る場合、欠陥画素検出装置７は、図５に示す注目画素Ｇ33を中心とする５×５画素の画素ブロックを用いて図３に示すフローチャートの手順に従って欠陥画素検出を行う。

ステップＳ５０において、欠陥画素検出装置７は、注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する。かかる判定の一具体例としては、画素Ｇ31の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であり、且つ画素Ｇ35の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であれば、注目画素Ｇ33を通過する１ドット単位の上下の直線が存在すると判定し、画素Ｇ13の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であり、且つ画素Ｇ53の信号レベルと注目画素Ｇ33の信号レベルとの差分が所定値以下であれば、注目画素Ｇ33を通過する１ドット単位の左右の直線が存在すると判定し、画素Ｇ31の信号レベルと注目画素Ｇ33の信号レベルとの差分及び画素Ｇ35の信号レベルと注目画素Ｇ33の信号レベルとの差分の少なくとも一つが所定値より大きく、且つ、画素Ｇ13の信号レベルと注目画素Ｇ33の信号レベルとの差分及び画素Ｇ53の信号レベルと注目画素Ｇ33の信号レベルとの差分の少なくとも一つが所定値より大きい場合、注目画素Ｇ33を通過する１ドット単位の直線が存在しないと判定するという手順が挙げられる。

ステップＳ５０において注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在すると判定された場合（ステップＳ５０のＹＥＳ）、後述するステップＳ８０に移行する。

一方、ステップＳ５０において注目画素Ｇ33を通過する１ドット単位の上下の直線又は左右の直線が存在すると判定されなかった場合（ステップＳ５０のＮＯ）、欠陥画素検出装置７は、注目画素Ｇ33が欠陥画素であるか否かを判定する。かかる判定の一具体例としては、注目画素Ｇ33の信号レベルＬ_G33と注目画素Ｇ33の最も近くに存在する四つの緑色画素Ｇ22，Ｇ42，Ｇ24，Ｇ44の信号レベルＬ_G22，Ｌ_G42，Ｌ_G24，Ｌ_G44との各差分Δ５〜Δ８を求め、差分Δ５〜Δ８全てが予め設定された第３の閾値（負の値）より小さければ注目画素Ｇ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ５〜Δ８全てが予め設定された第４の閾値（正の値）より大きければ注目画素Ｇ33が欠陥画素（より詳細には黒欠陥画素）であると判定するという手順が挙げられる。なお、差分Δ５〜Δ８は以下の（５）式〜（８）式によって求められる。
Δ５＝Ｌ_G22−Ｌ_G33 ・・・（５）
Δ６＝Ｌ_G42−Ｌ_G33 ・・・（６）
Δ７＝Ｌ_G24−Ｌ_G33 ・・・（７）
Δ８＝Ｌ_G44−Ｌ_G33 ・・・（８）

ステップＳ６０において注目画素Ｇ33が欠陥画素でないと判定された場合（ステップＳ６０のＹＥＳ）、後述するステップＳ８０に移行する。

一方、ステップＳ６０において注目画素Ｇ33が欠陥画素であると判定された場合（ステップＳ６０のＮＯ）、後述するステップＳ７０に移行する。

欠陥画素検出装置７は、ステップＳ７０において注目画素Ｇ33を欠陥画素として検出し、ステップＳ８０において注目画素Ｇ33を正常な画素として認識し、ステップＳ７０又はステップＳ８０の処理が終了するとフローを終了する。

また、本発明の他の実施形態として、コンピュータが、デジタルスチールカメラから出力されるベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを入力し、そのコンピュータが、図１中の画像処理装置５と同様の動作を行う実施形態が挙げられる。この場合、当該コンピュータは、本発明に係る欠陥画素検出プログラムによって、図１中の欠陥画素検出装置７と同様の動作を行う。

は、本発明に係るカメラ付き携帯電話装置の概略構成例を示す図である。 は、図１に示すカメラ付き携帯電話装置が備える欠陥画素検出装置の注目画素が赤色成分画素であるときの動作例を示すフローチャートである。 は、図１に示すカメラ付き携帯電話装置が備える欠陥画素検出装置の注目画素が緑色成分画素であるときの動作例を示すフローチャートである。 は、赤色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。 は、緑色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。 は、注目画素を通過する周囲より暗い１ドット単位の右下がりの斜線が存在する場合の赤色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。 は、注目画素を通過する周囲より暗い１ドット単位の左右の直線が存在する場合の緑色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。

符号の説明

１ 光学レンズ系
２ 固体撮像素子
３ Ａ／Ｄ変換部
４ カメラモジュール
５ 画像処理装置
６ フレームメモリ
７ 欠陥画素検出装置
８ 補正部
９ 画像処理部
１０ データ圧縮部
１１ ＣＰＵ
１２ 表示装置
１３ 記憶媒体インターフェース
１４ アンテナ
１５ 無線部
１６ 報知部
１７ キー入力部
１８ 音声入力部
１９ 音声出力部

Claims (3)

1. ベイヤー配列の画像データの欠陥画素を検出する欠陥画素検出装置であって、
   注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定部と、
   注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定部と、
   前記第１判定部又は前記第２判定部によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識部とを備えることを特徴とする欠陥画素検出装置。
2. 請求項１に記載の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備えることを特徴とする電子機器。
3. ベイヤー配列の画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、
   コンピュータを、
   注目画素が赤色成分画素又は青色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の斜めの直線が存在するか否かを判定する第１判定手段、
   注目画素が緑色成分画素である場合に、所定の画素数からなり前記注目画素が含まれる画素ブロック内に前記注目画素を通過する１ドット単位の上下の直線又は左右の直線が存在するか否かを判定する第２判定手段、及び
   前記第１判定手段又は前記第２判定手段によって注目画素が１ドット単位の直線上に存在すると判定された場合、前記注目画素を正常な画素として認識する認識手段として機能させるための欠陥画素検出プログラム。