JP2008131165A

JP2008131165A - 欠陥画素検出装置、電子機器、及び欠陥画素検出プログラム

Info

Publication number: JP2008131165A
Application number: JP2006311568A
Authority: JP
Inventors: Akito Honda; 章人本田
Original assignee: Rohm Co Ltd
Current assignee: Rohm Co Ltd
Priority date: 2006-11-17
Filing date: 2006-11-17
Publication date: 2008-06-05

Abstract

【課題】欠陥画素の誤検出を抑えることができる欠陥画素検出装置を提供する。
【解決手段】画像データの欠陥画素を検出する欠陥画素検出装置であって、注目画素の信号レベルが所定の範囲内であるか否かを判定する（ステップＳ１０参照）第１判定部と、前記第１判定部によって前記注目画素の信号レベルが所定の範囲内であると判定された場合に、前記注目画素の周辺に存在する画素の画素データに基づいて前記注目画素が欠陥画素であるか否かを判定する（ステップＳ２０参照）第２判定部と、前記第１判定部によって前記注目画素の信号レベルが所定の範囲内でないと判定された場合に、前記注目画素が欠陥画素であるか否かの判定を行わずに、前記注目画素を正常な画素として認識する（ステップＳ４０参照）認識部とを備える欠陥画素検出装置。
【選択図】図２

Description

本発明は、画像データの欠陥画素を検出する欠陥画素検出装置及びそれを備える電子機器並びに画像データの欠陥画素を検出するようにコンピュータを機能させるための欠陥画素検出プログラムに関するものである。

固体撮像素子から出力される画像データに含まれる欠陥画素の位置を予め記録せずに、リアルタイムに画像データの欠陥画素を検出し、欠陥画素の画素データの補正を行うカメラシステムにおいては、注目画素の周辺に位置する画素の画素データを用いて注目画素が欠陥画素であるか否かを判定する欠陥画素検出方法が一般的に採用されている。
特開２００５−１２３９４６号公報

上記欠陥画素検出方法の一例として、特許文献１に開示されている欠陥画素検出方法が挙げられる。特許文献１に開示されている欠陥画素検出方法は、注目画素の周辺範囲に存在し、注目画素と同色成分の画素の信号レベルの分散値を用い、注目画素の信号レベルとその周辺範囲の同色成分の画素の平均信号レベルとの差分値を正規化することで、その周辺範囲における注目画素の信号レベルの突出度合いを示す突出度を算出し、その突出度の値が所定の範囲内にあるか否かにより、検出画素の検出判定を行うものである。

しかしながら、上記欠陥画素検出方法では、注目画素が実際には欠陥画素でなくても欠陥画素として誤検出される可能性があった。例えば、特許文献１に開示されている欠陥画素検出方法では、突出度に対する上限のしきい値を低く設定すると、実際には正常である画素を欠陥画素として誤検出する可能性が高くなっていた。このため、特許文献１では、注目画素の突出度だけでなく、それに隣接する他の色成分の画素の突出度も算出し、これらを比較する等の方法によって検出精度の向上を図っているが、注目画素の周辺範囲に存在する画素の信号レベルの状態によって、注目画素が実際には欠陥画素でなくても欠陥画素として誤検出される可能性が依然として残っていた。

本発明は、上記の状況に鑑み、欠陥画素の誤検出を抑えることができる欠陥画素検出装置及びそれを備える電子機器並びに欠陥画素検出プログラムを提供することを目的とする。

上記目的を達成するために、本発明に係る欠陥画素検出装置は、画像データの欠陥画素を検出する欠陥画素検出装置であって、注目画素の信号レベルが所定の範囲内であるか否かを判定する第１判定部と、前記第１判定部によって前記注目画素の信号レベルが所定の範囲内であると判定された場合に、前記注目画素の周辺に存在する画素の画素データに基づいて前記注目画素が欠陥画素であるか否かを判定する第２判定部と、前記第１判定部によって前記注目画素の信号レベルが所定の範囲内でないと判定された場合に、前記注目画素が欠陥画素であるか否かの判定を行わずに、前記注目画素を正常な画素として認識する認識部とを備える構成としている。

このような構成によると、注目画素の信号レベルが所定の範囲内でない場合は、注目画素が欠陥画素であるか否かの判定を行わずに注目画素を正常な画素として認識するので、欠陥画素の誤検出を抑えることができる。

また、上記目的を達成するために、本発明に係る電子機器は、上記構成の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備える構成としている。本発明に係る電子機器の例としては、カメラ付き携帯電話装置、デジタルスチールカメラ、デジタルビデオカメラ等が挙げられる。

また、上記目的を達成するために、本発明に係る欠陥画素検出プログラムは、画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、コンピュータを、注目画素の信号レベルが所定の範囲内であるか否かを判定する第１判定手段、前記第１判定手段によって前記注目画素の信号レベルが所定の範囲内であると判定された場合に、前記注目画素の周辺に存在する画素の画素データに基づいて前記注目画素が欠陥画素であるか否かを判定する第２判定手段、及び前記第１判定手段によって前記注目画素の信号レベルが所定の範囲内でないと判定された場合に、前記注目画素が欠陥画素であるか否かの判定を行わずに、前記注目画素を正常な画素として認識する認識手段として機能させるようにする。

本発明によると、注目画素の信号レベルが所定の範囲内でない場合は、注目画素が欠陥画素であるか否かの判定を行わずに注目画素を正常な画素として認識するので、欠陥画素の誤検出を抑えることができる。

本発明の実施形態について図面を参照して以下に説明する。本発明に係る電子機器として、ここではカメラ付き携帯電話装置を例に挙げて説明する。

本発明に係るカメラ付き携帯電話装置の概略構成例を図１に示す。光学レンズ系１と、ベイヤー配列のカラーフィルタを有するＣＣＤ等の固体撮像素子２と、固体撮像素子２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部３とによって構成されるカメラモジュール４は、ベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを半導体集積回路装置である画像処理装置５に出力する。

画像処理装置５においては、カメラモジュール４から出力されたＲＡＷ形式の画像データをフレームメモリ６が一時的に保存し、欠陥画素検出装置７がＲＡＷ形式の画像データの欠陥画素を検出し、欠陥画素の画素データを欠陥画素の最も近くに存在する画素であって欠陥画素と同色成分の画素の画素データを演算処理して得られるデータに置換する等の補正処理によって補正部８が欠陥画素の画素データを補正し、画像処理部９が欠陥画素の画素データが補正されたＲＡＷ形式の画像データに色補間等の各種画像処理を施してＲＧＢ画像データを作成する。

ＣＰＵ１１によってプレビューモードに設定されている場合、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データを液晶ディスプレイ等の表示装置１２に出力する。これにより、カメラモジュール４によって撮像された画像が表示装置１２に表示される。また、ＣＰＵ１１によって画像記録が指示されると、画像処理装置５は、画像処理部９によって作成されたＲＧＢ画像データをデータ圧縮部１０での圧縮処理により圧縮画像データに変換した後、メモリカード等の外部記憶媒体が着脱可能に装着される記憶媒体インターフェース１３にその圧縮画像データを出力し、その圧縮画像データを外部記憶媒体に書き込む。これにより、カメラモジュール４によって撮像された画像の圧縮データが外部記憶媒体に記録される。

また、図１に示す本発明に係るカメラ付き携帯電話装置は、アンテナ１４と、アンテナ１４を介して基地局と送受信する無線部１５と、着信を音や振動によって報知する報知部１６と、キー入力部１７と、音声通話時に操作者が発する音声を入力して電気信号に変換する音声入力部１８と、音声通話時に相手方の音声に応じた電気信号を音声に変換して出力する音声出力部１９とを備えている。なお、表示装置１２は、ＣＰＵ１１の制御によって電話番号等の表示も行う。

次に、欠陥画素検出装置７の動作について詳細に説明する。欠陥画素検出装置７は、図２に示すフローチャートの手順に従って欠陥画素検出を行う。

ステップＳ１０において、欠陥画素検出装置７は、注目画素の信号レベルが所定の範囲内であるか否かを判定する。例えば、注目画素の信号レベルが第１の閾値Ｂ_THより小さいか第２の閾値Ｗ_THより大きい範囲内であるか否かを判定する。注目画素の信号レベルが第１の閾値Ｂ_THより小さければ注目画素は黒欠陥画素である可能性があり、注目画素の信号レベルが第２の閾値Ｗ_THより大きければ注目画素は白欠陥画素である可能性がある。

ステップＳ１０において注目画素の信号レベルが所定の範囲内でないと判定された場合（ステップＳ１０のＮＯ）、例えば注目画素の信号レベルが第１の閾値Ｂ_TH以上第２の閾値Ｗ_TH以下の範囲にある場合、欠陥画素検出装置７は、注目画素を中心とする５×５画素の画素ブロックを用いて注目画素が欠陥画素であるか否かを判定することなく、ステップＳ４０に移行し、注目画素を正常な画素として認識する。

一方、ステップＳ１０において注目画素の信号レベルが所定の範囲内であると判定された場合（ステップＳ１０のＹＥＳ）、例えば注目画素の信号レベルが第１の閾値Ｂ_THより小さいか第２の閾値Ｗ_THより大きい範囲内である場合、欠陥画素検出装置７は、注目画素を中心とする５×５画素の画素ブロックを用いて注目画素が欠陥画素であるか否かを判定する（ステップＳ２０）。かかる判定の一具体例を以下に説明する。

注目画素が赤色成分画素で有る場合、図３に示す注目画素Ｒ33を中心とする５×５画素の画素ブロックを用い、注目画素Ｒ33の信号レベルＬ_R33と注目画素Ｒ33の最も近くに存在する四つの赤色成分画素Ｒ31，Ｒ53，Ｒ35，Ｒ13の信号レベルＬ_R31，Ｌ_R53，Ｌ_R35，Ｌ_R13との各差分Δ１〜Δ４を求め、差分Δ１〜Δ４全てが予め設定された第３の閾値（負の値）より小さければ注目画素Ｒ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ１〜Δ４全てが予め設定された第４の閾値（正の値）より大きければ注目画素Ｒ33が欠陥画素（より詳細には黒欠陥画素）であると判定する。なお、差分Δ１〜Δ４は以下の（１）式〜（４）式によって求められる。
Δ１＝Ｌ_R31−Ｌ_R33 ・・・（１）
Δ２＝Ｌ_R53−Ｌ_R33 ・・・（２）
Δ３＝Ｌ_R35−Ｌ_R33 ・・・（３）
Δ４＝Ｌ_R13−Ｌ_R33 ・・・（４）

注目画素が青色成分画素で有る場合には、上述した注目画素が赤色成分画素で有る場合と同様の動作（上述した動作において赤色成分画素を青色成分画素に置換する）によって、注目画素が欠陥画素であるか否かの判定を行うようにすればよい。

注目画素が緑色成分画素で有る場合、図４に示す注目画素Ｇ33を中心とする５×５画素の画素ブロックを用い、注目画素Ｇ33の信号レベルＬ_G33と注目画素Ｇ33の最も近くに存在する四つの緑色画素Ｇ22，Ｇ42，Ｇ24，Ｇ44の信号レベルＬ_G22，Ｌ_G42，Ｌ_G24，Ｌ_G44との各差分Δ５〜Δ８を求め、差分Δ５〜Δ８全てが予め設定された第３の閾値（負の値）より小さければ注目画素Ｇ33が欠陥画素（より詳細には白欠陥画素）であると判定し、差分Δ５〜Δ８全てが予め設定された第４の閾値（正の値）より大きければ注目画素Ｇ33が欠陥画素（より詳細には黒欠陥画素）であると判定するという手順が挙げられる。なお、差分Δ５〜Δ８は以下の（５）式〜（８）式によって求められる。
Δ５＝Ｌ_G22−Ｌ_G33 ・・・（５）
Δ６＝Ｌ_G42−Ｌ_G33 ・・・（６）
Δ７＝Ｌ_G24−Ｌ_G33 ・・・（７）
Δ８＝Ｌ_G44−Ｌ_G33 ・・・（８）

ステップＳ２０において注目画素が欠陥画素でないと判定された場合（ステップＳ２０のＮＯ）、ステップＳ４０に移行し、注目画素を正常な画素として認識する。一方、ステップＳ２０において注目画素が欠陥画素であると判定された場合（ステップＳ２０のＹＥＳ）、ステップＳ３０に移行し、注目画素を欠陥画素として検出する。ステップＳ３０又はステップＳ４０の処理が終了するとフローを終了する。

また、本発明の他の実施形態として、コンピュータが、デジタルスチールカメラから出力されるベイヤー配列のデジタル画像データであるＲＡＷ形式の画像データを入力し、そのコンピュータが、図１中の画像処理装置５と同様の動作を行う実施形態が挙げられる。この場合、当該コンピュータは、本発明に係る欠陥画素検出プログラムによって、図１中の欠陥画素検出装置７と同様の動作を行う。

なお、上述した実施形態においては、ベイヤー配列のデジタル画像データの欠陥画素を検出したが、本発明はこれに限定されることはなく、ベイヤー配列でない画像データの欠陥画素を検出する欠陥画素検出装置やベイヤー配列でない画像データの欠陥画素を検出するための欠陥画素検出プログラムにも適用可能である。

は、本発明に係るカメラ付き携帯電話装置の概略構成例を示す図である。は、図１に示すカメラ付き携帯電話装置が備える欠陥画素検出装置の動作例を示すフローチャートである。は、赤色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。は、緑色成分画素である注目画素を中心とする５×５画素の画素ブロックを示す図である。

符号の説明

１光学レンズ系
２固体撮像素子
３Ａ／Ｄ変換部
４カメラモジュール
５画像処理装置
６フレームメモリ
７欠陥画素検出装置
８補正部
９画像処理部
１０データ圧縮部
１１ＣＰＵ
１２表示装置
１３記憶媒体インターフェース
１４アンテナ
１５無線部
１６報知部
１７キー入力部
１８音声入力部
１９音声出力部

Claims

画像データの欠陥画素を検出する欠陥画素検出装置であって、
注目画素の信号レベルが所定の範囲内であるか否かを判定する第１判定部と、
前記第１判定部によって前記注目画素の信号レベルが所定の範囲内であると判定された場合に、前記注目画素の周辺に存在する画素の画素データに基づいて前記注目画素が欠陥画素であるか否かを判定する第２判定部と、
前記第１判定部によって前記注目画素の信号レベルが所定の範囲内でないと判定された場合に、前記注目画素が欠陥画素であるか否かの判定を行わずに、前記注目画素を正常な画素として認識する認識部とを備えることを特徴とする欠陥画素検出装置。
請求項１に記載の欠陥画素検出装置と、前記欠陥画素検出装置によって検出された欠陥画素の画素データを補正する補正部とを有する画像処理装置を備えることを特徴とする電子機器。
画像データの欠陥画素を検出するための欠陥画素検出プログラムであって、
コンピュータを、
注目画素の信号レベルが所定の範囲内であるか否かを判定する第１判定手段、
前記第１判定手段によって前記注目画素の信号レベルが所定の範囲内であると判定された場合に、前記注目画素の周辺に存在する画素の画素データに基づいて前記注目画素が欠陥画素であるか否かを判定する第２判定手段、及び
前記第１判定手段によって前記注目画素の信号レベルが所定の範囲内でないと判定された場合に、前記注目画素が欠陥画素であるか否かの判定を行わずに、前記注目画素を正常な画素として認識する認識手段として機能させるための欠陥画素検出プログラム。