JP2003069901A - 画像信号処理装置および欠陥画素補正方法 - Google Patents

Abstract

(57)【要約】 【課題】 欠陥画素補正がうまく行なわれない場合で
も、画質の良いデータが得られるようにして画質を損な
うことがない画像信号処理装置を提供する。 【解決手段】 欠陥画素データ部34に記憶された撮像素
子の欠陥画素位置データに基づいて、欠陥画素に対応す
る画像信号を補正回路16により補正して出力した信号16
aに対して、ノイズリダクション部42によりノイズ低減
処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像信号処理装置
および欠陥画素補正方法に関し、特に、撮像素子の欠陥
画素を補正する、たとえば、デジタルスチルカメラ等に
用いて好適なものである。

【０００２】

【従来の技術】たとえば、デジタルスチルカメラやビデ
オカメラには被写界の撮像用に固体撮像素子が搭載され
ている。固体撮像素子には、電荷結合素子（Charge Cou
pled Device ：以下、CCDという）が多く用いられてい
る。従来、CCD素子を用いたデジタルスチルカメラ等に
おいては、CCD素子の製造時または製造後に発生する、C
CD素子の各画素の内、特異なレベルの信号を出力するい
わゆる欠陥画素を補正する欠陥画素補正回路が用いられ
ている。

【０００３】この欠陥画素補正回路は、予め CCD素子の
欠陥画素の位置データやその欠陥画素に関する種々のデ
ータをROM等に記憶し、ビデオカメラの使用の際に、CCD
素子からA/Dコンバータを介して供給された画素データ
の内、欠陥画素による画素データを、ROM から読みだし
た欠陥画素の位置に対応した画素データ（欠陥画素デー
タ）の近傍の画素データで補正するものである。

【０００４】たとえば、記憶手段に記憶した欠陥画素の
位置データに基いて、位置データに対応する画素データ
に対して、この画素データの近傍の画素データの平均を
算出し、平均値を欠陥画素の画素データとする技術があ
る。

【０００５】

【発明が解決しようとする課題】上記の従来技術の場
合、欠陥の補正が完全に行なわれるとは限らない。たと
えば、被写体に黒白の縞模様がある場合、黒と白の境界
に欠陥画素があるとき、欠陥画素の画素データは、黒も
しくは白に対応するものでなければならない。しかし、
従来技術では、黒と白の平均値を欠陥画素のデータとす
るため、欠陥画素補正回路の出力は、灰色に対応する画
素データとなる。これは、ユーザから見ると画像中のノ
イズとなり、画質を損なうことになる。

【０００６】このように従来、欠陥画素のデータを補正
する場合、完全には補正しきれず、補正の結果、ノイズ
が発生することがあった。

【０００７】本発明はこのような従来技術の欠点を解消
し、欠陥画素補正がうまく行なわれない場合でも、画質
の良いデータが得られるようにして画質を損なうことが
ない画像信号処理装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】本発明は、上述の課題を
解決するために、欠陥画素情報記憶手段に記憶された撮
像素子の欠陥画素を識別するための情報に基づいて、欠
陥画素に対応する画像信号を生成もしくは補正して出力
する画像信号処理装置において、この装置は，ノイズを
低減することができるノイズ低減手段を含み、この手段
により、生成もしくは補正された画像信号を処理するこ
とを特徴とする。

【０００９】このように、欠陥画素に対して補正を行っ
た後に、ノイズリダクション処理を行なうことにより、
欠陥画素補正が不完全である場合にも、適正な画素デー
タを生成することができる。

【００１０】また、本発明の画像信号処理装置におい
て、ノイズ低減手段は、複数種類のノイズ低減処理手段
を含み、この装置は、欠陥画素を識別するための情報に
基づいて、複数のノイズ低減処理手段のうちのいずれの
手段によりノイズ低減処理を行なうかどうかを各画素に
応じて判定する判定手段を含み、ノイズ低減手段は、こ
の判定手段により判定されたノイズ低減処理手段により
ノイズ低減処理を行なうこととしてもよい。これによ
り、欠陥画素であるかどうかに応じてノイズ低減の方法
を適切に選ぶことができる。たとえば、欠陥画素に対し
てはローパスフィルタを用い、正常な画素に対しては、
輪郭のつぶれが少ないノイズ低減の方法としてメディア
ンフィルタを用いることができる。

【００１１】さらに、ノイズ低減手段は、複数種類のノ
イズ低減処理手段を含み、この装置は、欠陥画素を識別
するための情報に基づいて、複数のノイズ低減処理手段
の処理結果の重み付けを各画素に応じて判定する判定手
段を含み、ノイズ低減手段は、この判定手段により判定
された重み付けに従って、複数のノイズ低減処理手段の
処理結果の重み付けを行なうこととしてもよい。

【００１２】また本発明は、上述の課題を解決するため
に、撮像素子の欠陥画素を識別するための情報に基づい
て、欠陥画素に対応する画像信号を生成もしくは補正し
て出力する欠陥画素補正方法において、この方法は、生
成もしくは補正された画像信号に対して、ノイズを低減
することができるノイズ低減処理を行なうことを特徴と
する。

【００１３】

【発明の実施の形態】次に添付図面を参照して本発明に
よる画像信号処理装置の実施例を詳細に説明する。

【００１４】本発明の画像信号処理装置は、ノイズリダ
クションとの組み合わせで欠陥画素データの不完全性を
正すことに特徴がある。欠陥画素補正が不適切であるた
めに、ノイズが発生したときでも、その後のノイズリダ
クション処理により、ノイズを低減することができる。

【００１５】本発明を適用した実施例のデジタルスチル
カメラ10の構成を図１に示す。なお、本発明と直接関係
のない部分について図示および説明を省略する。ここ
で、信号の参照符号はその現れる接続線の参照番号で表
す。以下の実施例では静止画を例にして説明するが、本
発明は、デジタルスチルカメラ10の動画にも適用できる
ものであり、また、ビデオカメラにも適用できるもので
ある。

【００１６】図１のデジタルスチルカメラ10では、光学
レンズ系12に被写体からの入射光が入る。光学レンズ系
12は、たとえば、複数枚の光学レンズを組み合わせて構
成されている。光学レンズ系12には、図示しないが、こ
れら光学レンズの配置を調節して画面の画角を調節する
ズーム機構や被写体とカメラ10との距離に応じてピント
調節する、AF（Automatic Focus ：自動焦点）調節機構
が含まれている。光学レンズ系12には、後述する駆動信
号発生回路20からこれらの機構を動作させる駆動信号20
a が供給される。

【００１７】絞り調節機構26は、被写体の撮影において
最適な入射光の光束を撮像部30に供給するように入射光
束断面積（すなわち、絞り開口面積）を調節する機構で
ある。絞り調節機構26にも駆動信号発生回路20から駆動
信号20a が供給される。この駆動信号20a は、システム
制御部44からの制御に応じて行う撮影動作のための信号
である。システム制御部44は、撮像部30で光電変換され
A/D変換部34でデジタル信号化された信号電荷34a を基
にAE（Automatic Exposure :自動露出）処理として絞り
と露光時間を算出している。システム制御部44は、この
算出した値を信号44a として駆動信号発生回路20に送
り、信号44a に対応する駆動信号20a が、絞り調節機構
26に、駆動信号発生回路20から供給される。

【００１８】撮像部30では、光電変換する撮像素子（受
光素子）を、光学レンズ系12の光軸と直交する平面（撮
像面）を形成するように配置する。また、撮像素子の入
射光側には、色分解する色フィルタが配設される。本実
施例では単板方式の色フィルタを用いて撮像する。色フ
ィルタには種々の方式があるが、本発明は、特定の配列
の色フィルタに限られるものではなく、原色フィルタで
あるベイヤー配列、ＧストライプR/B完全市松配列、ハ
ニカム配列、補色フィルタであるフィールド色差順次配
列等の任意の配列を用いることができる。

【００１９】撮像素子には、 CCDや MOS（Metal Oxide
Semiconductor:金属酸化型半導体）タイプの固体撮像デ
バイスが適用される。撮像部30では、駆動信号発生回路
20から供給されるタイミング信号20b に応じて光電変換
によって得られた信号電荷を、所定のタイミングに従っ
て、たとえば、信号読出し期間の電子シャッタのオフの
期間にフィールドシフトにより垂直転送路に読み出す。
この垂直転送路をラインシフトした信号電荷が水平転送
路に供給される。この水平転送路を経た信号電荷が、図
示しない出力回路による電流／電圧変換によってアナロ
グ電圧信号30aにされ、前処理部32に出力される。

【００２０】前処理部32には、図示しないがCDS （Corr
elated Double Sampling: 相関二重サンプリング；以下
CDS という）部が備えられている。 CDS部は、たとえ
ば、 CCD型の撮像素子を用いて、基本的にその素子によ
り生じる各種のノイズを駆動信号発生回路20からの駆動
信号20b によりクランプするクランプ回路と、タイミン
グ信号20b により信号30a をホールドするサンプルホー
ルド回路を有する。CDS部は、ノイズ成分を除去してア
ナログ出力信号32a を A/D変換部34に送る。

【００２１】A/D変換部34は、供給されるアナログ信号3
2a の信号レベルを所定の量子化レベルにより量子化し
てデジタル信号34a に変換する A/D変換器を有する。 A
/D変換部34は、タイミング信号20b により変換したデジ
タル信号34a を遅延回路14および補正回路16に出力す
る。

【００２２】遅延回路14は、デジタル信号34a を補正す
ることなく、補正回路16の処理時間分だけ遅延した後
に、信号14a としてスイッチ18に出力する。

【００２３】補正回路16は、デジタル信号34a を補正
し、補正された信号16a をスイッチ18に出力する。補正
回路16は、欠陥画素が出力する画素データを補正する機
能を有する。本実施例における補正方法を図２により説
明する。図２は、ベイヤ型配列の原色フィルタを用いた
ときの撮像素子を示す。R, G, Bは、それぞれ三原色の
各色フィルタを表す記号である。添え字の数字は、同一
色の識別用数字である。図２においては、G6が欠陥画素
であるとする。

【００２４】補正方法は、欠陥画素を中心にして対角線
方向にある４個の画素の平均値を欠陥画素の画素データ
とするものである。図２の例では、G6が出力した画素デ
ータ34a を、G3, G4, G7, G8の画素データの平均値に置
き換えて、信号16a として出力する。補正回路16は、３
本の水平ラインにわたる画素の平均値を求めるため、水
平ライン３本分の画素データを順次蓄積できるラインメ
モリを有する。蓄積した画素データから既述の位置にあ
る４画素データを取り出して平均値を求める。

【００２５】このような平均値を用いる補正方法の場
合、次のような問題がある。図２において、被写体が黒
白の横縞模様であり、領域19が黒の領域、領域21が白の
領域の場合、この補正方法によると、G6は、白に対応し
た画素データであるべきにもかかわらず、灰色に対応し
た画素データとなる。その結果、白の領域21中に、黒に
近い色が一点だけ現れて、ノイズが発生することにな
る。本発明では、信号16aに含まれるノイズを、後続す
るノイズリダクション部42により除去する。

【００２６】スイッチ18は、入力された信号14a と信号
16a のどちらかを、判定回路28からの判定信号28a に従
って選択し、信号処理部40に信号18cとして出力する。
判定信号28a は、欠陥画素が出力する画素データについ
ては、補正回路16の出力16aを選択することを指示し、
欠陥画素以外の画素が出力する画素データについては、
遅延回路14の出力14a を選択することを指示する信号で
ある。

【００２７】判定回路28は撮影開始時に、欠陥画素デー
タ部90から欠陥画素の位置を示す情報（欠陥画素を識別
するための情報）を信号線90a を介して受け取り、画素
データを処理しているときにＨカウンタ36およびＶカウ
ンタ38から、現在処理している画素の水平位置および垂
直位置を示す信号36a、38aを受け取る。

【００２８】これらの情報から、現在処理している画素
が欠陥画素であると判定したときに、補正回路16の出力
16a を選択することを指示する判定信号28a をスイッチ
18に出力する。

【００２９】判定回路28は、また、ノイズリダクション
部42に、欠陥画素位置およびその周辺の画素、すなわち
ノイズ処理対象画素であることを示す信号28bを出力す
る。ノイズ処理対象画素は、たとえば本実施例では、欠
陥画素位置および欠陥画素の水平方向に前方５画素、後
方５画素までの画素データである。これらの画素がノイ
ズリダクショク部42において処理されるときに、信号28
b により、ノイズ処理対象画素であることがノイズリダ
クション部42に知らされる。

【００３０】上述の欠陥画素データ部90には、デジタル
スチルカメラをメーカーが出荷する際に欠陥画素の位置
データが記憶されるとともに、出荷の後には例えば欠陥
画素検出回路(図示しない)が新たに検出した欠陥画素の
位置データが記憶される。欠陥画素データ部90は、各欠
陥画素について水平方向の位置データと垂直方向の位置
データを記憶している。

【００３１】欠陥画素を識別するための情報として本実
施例では、欠陥画素の位置データを用いて、位置情報に
より欠陥画素を識別している。しかし、欠陥画素を識別
するための情報は、位置データに限られるものではな
い。たとえば、欠陥画素の出力は異常に高い場合、もし
くは異常に低い場合があるため、画素の出力レベルを示
す情報を欠陥画素を識別するための情報として用いるこ
とができる。その場合は、判定回路は、信号34aを入力
されて、画素の出力レベルに基づいて、欠陥画素である
かどうかを判定することができる。

【００３２】判定回路28が指示する信号がスイッチ18で
選択され、信号18c として信号処理部40に出力される。
信号処理部40には、図示しないが、色の補正を行うガン
マ補正回路、自動的にホワイトバランスの調整を行うAW
B (Automatic White Balance)回路等がある。各色にお
ける画面全体のプレーンデータを作成するプレーン演算
部も信号処理部40に含まれる。

【００３３】プレーン演算部は、撮像素子から得られた
RGBの各色データを用いて各色における全面のデータを
作成する。すなわち、図２のような単板のベイヤパター
ンを用いていることから、実際には撮像素子の１画素か
らは１つの色データしか直接的には供給されないので他
の２色の色データは存在しない。プレーン演算部では、
各撮像素子に対応しないそれぞれの色のデータが演算に
より生成される。

【００３４】このようにして得られた各画素位置におけ
る RGBの画素データが、それぞれ信号40a, 40b, 40c と
して、信号処理部40から出力される。信号処理部40にお
けるデータ処理においても、駆動信号発生回路20からの
タイミング信号20b に同期して処理が行なわれる。

【００３５】なお、本実施例では、信号処理部の出力は
R, G, Bデータ40a, 40b, 40cの３個であるとしたが、本
発明はこれに限られるものではなく、たとえば輝度デー
タＹと色差データCr、 Cbの３個を出力することとしても
よい。その場合は、信号処理部内にR, G, Bデータから
輝度データＹと色差データCr, Cbを生成するマトリック
ス部を設ければよい。

【００３６】R, G, Bデータ40a, 40b, 40cを入力された
ノイズリダクション部42は欠陥画素位置またはその周辺
では、ノイズ低減フィルタで処理した信号42a,42b,42c
をRGBごとに出力し、他の位置では、ノイズリダクショ
ン部42に入力された信号をそのまま信号42a,42b,42c と
して出力する。いずれを出力するかは、判定回路28から
の信号28bによる。

【００３７】ノイズ低減フィルタとしてはローパスフィ
ルタを用いる。ローパスフィルタの一例を図３に示す。
図３はR, G, Bデータ40a, 40b, 40cのうちの１つ、たと
えばRデータ40aの処理を示すものである。他のG, Bデー
タ40b, 40cについても同様に処理される。本回路は、ノ
イズ低減処理の対象となる画素の画素データとして、当
該画素の画素データx[n]と、水平方向の直前の４画素の
画素データx[n-4], x[n-3], x[n-2], x[n-1]、計５画素
の平均値y[n]を求めて出力することにより、ノイズ低減
を行なう回路である。ｎは水平方向における画素の位置
を表し、水平方向に左から右に向かってｎが大きくな
る。

【００３８】順次入力されるデータx[n-4], x[n-3], x
[n-2], x[n-1], x[n]を４個の遅延回路42で遅延しなが
ら、４個の加算器44で順次加算し、最終的に加算された
ものに1/5 を乗算器46により乗算することにより、５画
素の平均y[n]を求める。この処理によるノイズ低減効果
の概念図およびフィルタの処理方式を図４に示す。

【００３９】図4(a)は、図３のノイズ低減フィルタの入
力を示すグラフであり、図4(b)は、図３のノイズ低減フ
ィルタの出力を示すグラフである。図4(a)と図4(b)とを
比較するとわかるように、このフィルタにより、入力に
存在した小さな凹凸が出力では消えている。また図４に
示すように、フィルタの処理方式は、画素データx[n]
と、水平方向の直前の４画素の画素データx[n-4], x[n-
3], x[n-2], x[n-1]、計５画素の平均値y[n]を、加算84
と乗算86により求めて出力するものである。

【００４０】なお、水平方向の左端付近の画素について
は、直前の４画素のすべてが存在するとは限らない。こ
の場合は、ノイズ低減処理の対象となる画素の直後(右
側)の画素を計算に取り込み、合計で５画素になるよう
にする。

【００４１】本実施例では、ノイズリダクション部は、
欠陥画素位置またはその周辺では、ノイズ低減フィルタ
で処理された信号を出力し、それ以外では、元の信号を
出力することとした。

【００４２】しかし、本発明のノイズリダクション部
は、これに限られるものではなく、たとえばノイズリダ
クション部は、ノイズ低減フィルタで処理された信号
と、元の信号との重み付き加重平均を求め、重み付けを
画素位置に応じて変えることとしてもよい。すなわち欠
陥画素位置またはその周辺では、ノイズ低減フィルタで
処理された信号と元の信号との重み付けにおいて、ノイ
ズ低減フィルタで処理された信号の重み付けを重くし、
たとえば７割とし、元の信号を３割とする。それ以外の
画素においては、元の信号を７割とする。これにより、
欠陥画素位置またはその周辺では、ノイズ低減効果を出
すことができる。

【００４３】これを実施するために、図１の実施例と同
様にノイズリダクション部は、欠陥画素位置またはその
周辺であることを示す信号を判定回路28から受け取り、
この信号により、ノイズリダクション部内に設けられて
いる２種類の加重平均算出器の出力のうちのいずれを選
択するかを決定すればよい。

【００４４】さらにノイズリダクション部は、ノイズ低
減フィルタであるローパスフィルタで処理された信号
と、別のノイズ低減フィルタであるメディアンフィルタ
で処理された信号との重み付き加重平均を求め、重み付
けを画素位置に応じて変えることとしてもよい。すなわ
ち欠陥画素位置またはその周辺では、ローパスフィルタ
で処理された信号と、メディアンフィルタで処理された
信号との重み付けにおいて、ローパスフィルタで処理さ
れた信号の重み付けを重くし、たとえば７割とし、メデ
ィアンフィルタで処理された信号を３割とする。それ以
外の画素においては、メディアンフィルタで処理された
信号を７割とする。

【００４５】ローパスフィルタは、ノイズ低減効果があ
るが、画像の輪郭を弱める効果がある。一方メディアン
フィルタは、画像の輪郭を弱めることなくノイズ低減効
果がある。ただし、ランダムなノイズに対してはノイズ
低減効果が低いという特性がある。

【００４６】このノイズリダクション部により、欠陥画
素位置またはその周辺では、ノイズ低減効果を出すこと
ができるとともに、輪郭のつぶれを少なくすることがで
きる。

【００４７】これを実施するために、図１の実施例と同
様にノイズリダクション部は、欠陥画素位置またはその
周辺であることを示す信号を判定回路28から受け取り、
この信号により、ノイズリダクション部内に設けられて
いる２種類の加重平均算出器の出力のうちのいずれを選
択するかを決定すればよい。

【００４８】ノイズリダクション部42の出力は、図示し
ない画素データ記録部に送られる。また液晶モニター
（図示しない）に表示するために、液晶モニターに送ら
れる場合もある。

【００４９】Ｈカウンタ36は、現在処理されている画素
の水平方向の位置を判定回路28に出力するための回路で
ある。Ｈカウンタ36は、撮影開始時にシステム制御部44
から水平方向の画素サイズを信号線44b により入力さ
れ、その後、Ｈカウンタ36をリセットするための信号を
同じく信号線44b により入力される。撮影開始後、駆動
信号発生回路20から水平タイミング信号20c を受けて、
水平タイミング信号20cのパルス数をカウントし、カウ
ント結果を信号36aとして逐次、判定回路28に出力す
る。

【００５０】カウントの結果が水平画素サイズに達する
と、Ｈカウンタ36はリセットを行い、カウントを新たに
始める。Ｈカウンタ36は、リセットしたことをシステム
制御部44に信号線44bにより出力する。この情報は、後
述するように、一画面分の処理が終わったかどうかをシ
ステム制御部44aが判定するために用いる。

【００５１】Ｖカウンタ38は、現在処理されている画素
の垂直方向の位置を判定回路28に出力するための回路で
ある。Ｖカウンタ38は、撮影開始時にシステム制御部44
から垂直ライン数を信号線44c により入力され、その
後、Ｖカウンタ38をリセットするための信号を信号線44
c により入力される。撮影開始後、駆動信号発生回路20
から垂直タイミング信号20d を受けて、垂直タイミング
信号20d のパルス数をカウントし、カウント結果を信号
38aとして逐次、判定回路28に出力する。カウントの結
果が垂直ライン数に達すると、Ｖカウンタ38はカウント
を終了する。

【００５２】Ｖカウンタ38は、カウントが終了すると、
終了したことをシステム制御部44に信号線44cにより出
力する。システム制御部44aは、この情報と、Ｈカウン
タ36からのリセットしたとの情報とを受けたときに、一
画面分の処理が終わったと判定し、カメラ各部の動作を
終了させる。

【００５３】システム制御部44は、たとえば CPU（Cent
ral Processing Unit ：中央演算処理装置）を有する。
システム制御部44には、デジタルスチルカメラ10の動作
手順が書き込まれた ROM（Read Only Memory：読み出し
専用メモリ）がある。システム制御部44は、 ROMの情報
等を用いて各部の動作を制御する制御信号44a, 44b,44c
等を生成する。

【００５４】すなわちシステム制御部44は、信号電荷34
a を基にAE処理として絞りと露光時間を算出し、算出し
た値を信号44a として駆動信号発生回路20に送り、信号
44aに対応する駆動信号20a が、絞り調節機構26に駆動
信号発生回路20から供給される。また、システム制御部
44は、Ｈカウンタ36に水平方向の画素サイズを、信号線
44b を介して出力し、その後、Ｈカウンタ36をリセット
するための信号を信号線44b に出力する。Ｖカウンタ38
に対しては、垂直ライン数を信号線44c に出力し、その
後、Ｖカウンタ38をリセットするための信号を信号線44
c に出力する。

【００５５】なお、システム制御部44は撮影開始時に、
カメラ各部に対して処理の開始を指示する信号（図示し
ない）を出力する。

【００５６】駆動信号発生回路20は発振器を内蔵し、カ
メラ全体の動作の同期を取るための駆動信号およびタイ
ミング信号を生成する回路である。本回路はＨカウンタ
36に対しては水平タイミング信号20c を出力し、Ｖカウ
ンタに対しては垂直タイミング信号20ｄ出力する。さら
に、既述のように、光学レンズ系12や絞り調節機構26に
対しては、駆動信号20aを出力し、撮像部30、前処理部3
2、A/D変換部に対しては、タイミング信号20bを出力す
る。

【００５７】次にデジタルカメラ10における画像信号処
理の手順について説明する。撮影時にシャッタボタン
（図示しない）が半押しされたときに予備撮影を行な
い、被写体との距離、絞り、露光時間をシステム制御部
44は決定する。システム制御部44は、決定された値によ
り決まる信号を、駆動信号発生回路20を経由して、光学
レンズ系12と絞り調節機構26に供給する。その後シャッ
タボタンが全押しされたときに本撮影を行なう。

【００５８】以下では、本撮影におけるデジタルカメラ
10の欠陥画素補正およびノイズ低減処理の動作を、図5
および図6 に示すフローチャートにより説明する。本撮
影開始であるとシステム制御部が判断すると、各種の初
期設定が行われる（ステップS10 ）。すなわち、システ
ム制御部44は、Ｈカウンタ36に水平画素サイズを設定
し、Ｖカウンタ38に垂直ライン数を設定する。そして、
Ｈカウンタ36とＶカウンタ38をリセットする。同時にカ
メラ各部に処理の開始を指示する。

【００５９】処理が開始されると、駆動信号発生回路20
からの駆動信号20a に従った露光時間で撮像部30で露光
が行われる。この露光後、撮像部30で得られた信号が、
駆動信号発生回路20からの信号20b に従って内部を順次
転送されて、出力される。出力された信号30a には、前
処理部32で相関二重サンプリング処理が施された後、A/
D 変換部34によりデジタル信号34a に変換される。この
デジタル信号34a が撮像部30の受光素子に対応した画素
データである。駆動信号発生回路20は、さらに、Ｈカウ
ンタ36とＶカウンタ38に、それぞれ水平タイミング信号
20cと垂直タイミング信号20Dの出力を開始する。一方、
処理が開始されると、判定回路28は、欠陥画素データ部
90から欠陥画素の位置データを読み出す。

【００６０】Ｈカウンタ36とＶカウンタ38はそれぞれ、
カウント結果を逐次、判定回路28に信号36a、信号38aと
して出力する。判定回路28は、カウント結果と、欠陥画
素位置データとを比較して欠陥画素位置であるかどうか
を判定する（ステップＳ12）。判定の結果、欠陥画素の
場合（YES）、ステップS16に進む。欠陥画素でない場合
は（NO）、ステップS14に進む。

【００６１】ステップS16では、欠陥画素補正が行なわ
れる。欠陥画素補正は、次のように行なわれる。A/D 変
換部34が出力するデジタル信号34a は、遅延回路14と補
正回路16に並行して送られる。補正回路16では、処理対
象とする画素を中心にして対角線方向にある４個の画素
の平均値を、処理対象の画素の画素データとして出力す
る。遅延回路14では、デジタル信号34a を補正すること
なく、補正回路16の処理時間分だけ遅延した後に、信号
14a としてスイッチ18に出力する。

【００６２】判定回路28は判定信号28a をスイッチ18に
出力する。スイッチ18は、判定信号28a に従って、欠陥
画素が出力する画素データについて、補正回路16の出力
16aを選択して、信号18aとして出力する。

【００６３】ステップS14 では画素をそのまま出力す
る。すなわちスイッチ18は、判定信号28a に従って、欠
陥画素以外の画素が出力する画素データについて、遅延
回路14の出力14a を選択して、信号18aとして出力す
る。

【００６４】信号18a は信号処理部40に送られ、ガンマ
補正等が行なわれ、R, G, Bデータ40a, 40b, 40cとして
出力する。次に、判定回路28は、カウント結果と、欠陥
画素位置データとを比較して欠陥画素位置、またはその
周辺の画素であるかどうかを判定する（ステップS1
8）。判定の結果、欠陥画素またはその周辺の画素であ
る場合（YES）、ステップS20に進む。欠陥画素またはそ
の周辺の画素でない場合は（NO）、ステップS22に進
む。

【００６５】ステップS20は次のように行なわれる。R,
G, Bデータ40a, 40b, 40cを入力されたノイズリダクシ
ョン部42は欠陥画素位置またはその周辺では、判定回路
28からの信号28bに従って、ノイズ低減フィルタで処理
した信号42a, 42b, 42c をRGBごとに出力し（ステップS
20）、他の位置では、判定回路28からの信号28bに従っ
て、ノイズリダクション部42に入力された信号をそのま
ま信号42a, 42b, 42c として出力する。ノイズリダクシ
ョン部42で処理された信号は画素データ記録部に送られ
る。

【００６６】図６に示す次のステップS22, S24, S26, S
28 では、Ｈカウンタ36およびＶカウンタ38の処理を行
なう。すなわちＨカウンタ36は、次の水平タイミング信
号を受けてカウンタをインクリメントする（ステップ2
2）。Ｈカウンタ36は、カウント値を判定回路28に出力
した後、カウント値が水平画素サイズと一致するかどう
かを判断する（ステップS24）。

【００６７】一致するときは（YES）、ステップS26に進
み、一致しないときは（NO）、ステップS12に進んで処
理を繰り返す。ステップS26ではＨカウンタ36をリセッ
トし、リセットしたという情報をシステム制御部44に送
るとともに、カウントを繰り返す。

【００６８】ステップS28ではＶカウンタ38は、Ｖカウ
ンタ38のカウントが垂直ライン数と一致するかどうかを
判断する。一致しないときは（NO）、ステップＳ30に進
む。一致するときは（YES）、一画面分の画素データの
処理が終了したことを意味する。一致したという情報を
システム制御部44に送る。システム制御部44は、Ｈカウ
ンタ36からのリセット情報とＶカウンタ38からの一致情
報とを受けたときにカメラ10の動作を終了させる。

【００６９】ステップS30ではＶカウンタ38をインクリ
メントする。その後、ステップS12に進んで処理を繰り
返す。

【００７０】本実施例によれば、欠陥画素補正とノイズ
リダクションを組み合わせているため、欠陥画素補正の
みでは完全に補正できなかった画素データがノイズとし
て残った場合でも、ノイズを除去したり、低減すること
ができる。その結果、画質が向上する。

【００７１】また、欠陥画素補正のみでは完全に補正で
きずノイズが発生するために、不良品として廃棄してい
た撮像素子を合格品とすることができるため、撮像素子
の歩留りが上がり、ひいては撮像素子のコストを下げる
ことができる。

【００７２】次に、本発明に係わる画像信号処理装置の
他の実施例を図７により説明する。以下の説明では、図
１の実施例の構成要素およびステップと同一の機能を有
するものについては同一の参照符号を用いることとし、
その説明も一部省略する。

【００７３】図７の実施例は、欠陥画素位置またはその
周辺の画素に対して欠陥画素補正を行なう。さらに、欠
陥画素位置またはその周辺の画素について輪郭出力（画
素データの空間２次微分）を求め、輪郭出力が小さいと
きは、輪郭を弱くするノイズ低減フィルタ、たとえばロ
ーパスフィルタによるノイズリダクションの重み付けを
大きくする。輪郭出力が大きいときは、輪郭を保持する
ノイズ低減フィルタ、たとえばメディアンフィルタによ
るノイズリダクションの重み付けを大きくする。

【００７４】図７の実施例は、図１の実施例に、輪郭出
力46aを算出する輪郭検出部46と、輪郭出力46から混合
比（重み付け係数）を決定する混合比判定部48とを付加
し、ノイズリダクション部50が、ローパスフィルタの出
力とメディアンフィルタの出力とを混合比に応じて混合
して出力する。

【００７５】輪郭検出部46は、RGBデータ40a, 40b, 40c
を信号処理部40から入力されて、RGBデータ40a, 40b, 4
0cから各画素位置における輪郭出力46aを算出し、混合
比判定部48に出力する。輪郭検出部46の具体的構成の一
例を図８に示す。本回路は画素データの２次微分を算出
する回路である。２次微分は次式で求まる。

【００７６】

【数１】f’’(n)=f(n-1)-(f(n)+f(n-2))/2

【００７７】ここで、f’’(n)は、ｎ番目の画素の輪郭
出力46a、f(n), f(n-1), f(n-2)は、それぞれｎ番目、n
-1番目、n-2番目の画素（番号が小さいものが画面上で
左側にあるとする）の画素データである。本実施例で
は、RGBデータ40a, 40b, 40cの和を用いて輪郭を算出す
ることとする。

【００７８】図８において、RGBデータ40a, 40b, 40cの
和(f(n))を加算器52で求め、和を遅延回路54,56で１画
素分ずつ遅延する。加算器58で(f(n)+f(n-2)を求め、こ
の結果に乗算器60で1/2を乗算する。遅延回路54の出力
（f(n-1)）から、乗算器60の出力を引くと輪郭出力46a
が求まる。

【００７９】なお、輪郭検出部46は、この処理を、処理
対象画素が欠陥画素位置またはその周辺の画素であると
きに行ない、そうでないときは、この処理を行なわな
い。処理対象画素が欠陥画素位置またはその周辺の画素
であるかどうかを判断するために、判定回路28から信号
28bが輪郭検出部46に入力される。

【００８０】輪郭出力46aを入力される混合比判定部48
は、輪郭出力46aが所定の値より大きいときに、当該画
素は輪郭部分にあると判定して、メディアンフィルタの
混合比ｋとして、0.5より大きい値、たとえば0.8を信号
線48aを介してノイズリダクション部50に出力する。混
合比判定部48は、輪郭出力46aが所定の値より小さいと
きは、当該画素は輪郭部分にないと判定して、メディア
ンフィルタの混合比ｋとして、0.5より小さい値、たと
えば0.2を信号線48aを介してノイズリダクション部50に
出力する。

【００８１】ノイズリダクション部50は、RGBデータ40
a, 40b, 40cと、混合比48aと、欠陥画素位置またはその
周辺の画素であるかどうかという情報28bとを入力され
て、欠陥画素位置またはその周辺の画素について、輪郭
出力が小さいときは、ローパスフィルタによるノイズリ
ダクションの重み付けを大きくし、輪郭出力が大きいと
きは、メディアンフィルタによるノイズリダクションの
重み付けを大きくして出力する回路である。欠陥画素位
置またはその周辺の画素でないときは、ノイズ低減フィ
ルタによる処理を行なわずに、そのまま出力する。

【００８２】ノイズリダクション部50の具体的構成の一
例を図９に示す。ノイズリダクション部50は、入力され
た信号40aのノイズを低減するノイズ低減部62と、入力
された信号40aをそのまま出力する遅延回路64と、両者
の出力を選択するスイッチ66とを有する。

【００８３】ノイズ低減部62は、入力された信号40aを
２種類のノイズ低減フィルタ、すなわちローパスフィル
タである巡回フィルタ68と、メディアンフィルタである
非線形フィルタ70とにより処理し、両者の処理結果を混
合比ｋで混合して、信号62aとして出力する。具体的に
は、信号70aから信号68aを減算器72で減算し、減算器72
の出力72aに、混合比判定部48の出力である混合比ｋを
乗算器74で乗算する。乗算器74の出力74aと信号68a と
を加算器76で加算して出力62aを生成する。

【００８４】ノイズ低減部62で行なっている処理は、ノ
イズ低減部62の出力62aをＳ、巡回フィルタ68の出力68a
をS_L、非線形フィルタ70の出力70aをS_Mとすると、次式
で表される。

【００８５】

【数２】 S＝(S_M-S_L)k+S_L＝KS_M+(1-K)S_L （0≦k≦1）

【００８６】すなわち、非線形フィルタ70の出力70aに
ｋの重みを付け、巡回フィルタの出力68aに（1−k）の
重みを付けて信号62aとして出力している。

【００８７】遅延回路64は、ノイズ低減部62の処理に要
する時間だけ信号40aを遅延させて出力64aとして出力す
る。信号62aと、遅延回路の出力64aは、スイッチ66の端
子66a、66bにそれぞれ入力され、判定回路28からの信号
28bに従って選択されて、信号50aとして出力される。信
号28bは、図１の実施例と同様のものであり、処理対象
である画素が、欠陥画素もしくはその周辺にある画素で
あるかどうかを示す情報である。

【００８８】具体的には、スイッチ66は、処理対象であ
る画素が、欠陥画素もしくはその周辺にある画素である
場合は、端子66cを端子66aに接続し、そうでない場合
は、端子66cを端子66bに接続する。

【００８９】ノイズリダクション部50は以上のように構
成されており、混合比ｋは、既述のように、輪郭出力の
大きさに応じて変わり、スイッチ66の出力は、処理対象
である画素が、欠陥画素もしくはその周辺にある画素で
あるかどうかにより変わる。したがって、ノイズリダク
ション部50の出力50aは、処理対象である画素が、欠陥
画素もしくはその周辺にある画素であって、輪郭出力が
大きいときはメディアンフィルタで処理された結果の重
みを大きくしたものであり、欠陥画素もしくはその周辺
にある画素であって、輪郭出力が小さいときはローパス
フィルタで処理された結果の重みを大きくしたものであ
り、欠陥画素もしくはその周辺にある画素でないとき
は、ノイズ低減処理がされないものである。

【００９０】ノイズリダクション部は図９の構成に限ら
れるものではなく、図10のように構成することもでき
る。図10のノイズリダクション部50は、RGBデータ40a,
40b, 40cと、混合比48aと、欠陥画素位置またはその周
辺の画素であるかどうかという情報28bとを入力され
て、欠陥画素位置またはその周辺の画素について、輪郭
出力が小さいときは、フィルタによるノイズリダクショ
ンの重み付けを大きくし、輪郭出力が大きいときは、入
力信号40a, 40b, 40cの重み付けを大きくして出力する
回路である。欠陥画素位置またはその周辺の画素でない
ときは、ノイズ低減フィルタによる処理を行なわずに、
そのまま出力する。

【００９１】図10のノイズリダクション部50は、入力さ
れた信号40aのノイズを低減するノイズ低減部78と、入
力された信号40aをそのまま出力する遅延回路80と、両
者の出力を選択するスイッチ66とを有する。

【００９２】ノイズ低減部78は、入力された信号40aを
フィルタ82により処理し、その出力82aと、信号40aとを
混合比ｋで混合して、信号78aとして出力する。具体的
には、信号82aから信号40aを減算器72で減算し、減算器
72の出力72aに、混合比判定部48の出力である混合比ｋ
を乗算器74で乗算する。乗算器74の出力74aと信号40a
とを加算器76で加算して出力78aを生成する。フィルタ8
2としては、図９に示す巡回フィルタもしくは非線形フ
ィルタを用いる。

【００９３】ノイズ低減部78で行なっている処理は、信
号40aをS₁、ノイズ低減部62の出力78aをＳ、フィルタ82
の出力82aをS_Fとすると、次式で表される。

【００９４】

【数３】 S＝(S_F-S₁)k+S₁＝KS_F+(1-K)S₁ （0≦k≦1）

【００９５】すなわち、フィルタ82の出力にｋの重みを
付け、入力された信号40aに（1−k）の重みを付けて信
号78aとして出力している。

【００９６】遅延回路80は、ノイズ低減部78の処理に要
する時間だけ信号40aを遅延させて出力80aとして出力す
る。信号78aと、遅延回路の出力80aは、スイッチ66の端
子66a、66bにそれぞれ入力され、判定回路28からの信号
28bに従って選択されて、信号50aとして出力される。

【００９７】図10のノイズリダクション部50は以上のよ
うに構成されており、混合比ｋは、輪郭出力の大きさに
応じて変わり、スイッチ66の出力は、処理対象である画
素が、欠陥画素もしくはその周辺にある画素であるかど
うかにより変わる。したがって、ノイズリダクション部
50の出力50aは、処理対象である画素が、欠陥画素もし
くはその周辺にある画素であって、輪郭出力が大きいと
きはフィルタで処理された結果の重みを大きくしたもの
であり、欠陥画素もしくはその周辺にある画素であっ
て、輪郭出力が小さいときは、入力信号40aの重みを大
きくしたものであり、欠陥画素もしくはその周辺にある
画素でないときは、ノイズ低減処理がされないものであ
る。

【００９８】次に図７のデジタルカメラ10における画像
信号処理の手順について説明する。以下では、本撮影に
おけるデジタルカメラ10の欠陥画素補正およびノイズ低
減処理の動作を、図11に示すフローチャートにより説明
する。図11に示す処理に続いて図６に示す処理が行なわ
れる。図６に示す処理のすべて、および図11と図５に示
す処理で同じ処理内容であるステップ（ステップ番号が
同じもの）については説明を省略する。したがって、図
11のステップS18以降について説明する。

【００９９】ステップS18において、判定回路28は、Ｈ
カウンタ36とＶカウンタ38のカウント結果と、欠陥画素
データ部90から読み出した欠陥画素位置データとを比較
して欠陥画素位置、またはその周辺の画素であるかどう
かを判定する。判定の結果、欠陥画素またはその周辺の
画素である場合（YES）、ステップS32に進む。欠陥画素
またはその周辺の画素でない場合は（NO）、図６のステ
ップS22に進む。

【０１００】ステップS32は次のように行なわれる。輪
郭検出部46は、判定回路28の出力する信号28bを入力さ
れて、処理対象の画素が、欠陥画素またはその周辺の画
素であるときは、信号処理部40から入力されたR, G, B
データ40a, 40b, 40cから、これらのデータの和を求
め、和の２次微分（輪郭データ）を算出し、信号46aと
して混合比判定部48に出力する。

【０１０１】次に、ステップS34において、混合比判定
部48は、信号46aの大きさを閾値と比較する。輪郭デー
タが閾値より大きいときは、混合比ｋとして、0.8を設
定する。閾値より小さいときは、混合比ｋとして、0.2
を設定する。混合比ｋは信号48aとしてノイズリダクシ
ョン部50に出力される。

【０１０２】R, G, Bデータ40a, 40b, 40cおよび混合比
ｋを入力されたノイズリダクション部42は、ノイズ低減
部62において、処理対象である画素が、欠陥画素もしく
はその周辺にある画素であって、輪郭出力が大きいとき
は非線形フィルタ（メディアンフィルタ）70で処理され
た結果の重みを大きくしたものを求め（ステップS3
6）、欠陥画素もしくはその周辺にある画素であって、
輪郭出力が小さいときは巡回フィルタ（ローパスフィル
タ）68で処理された結果の重みを大きくしたものを求め
る（ステップS38）。

【０１０３】次に、欠陥画素位置またはその周辺では、
判定回路28からの信号28bに従って、ノイズ低減部62で
処理した信号をRGBごとに信号50a, 50b, 50cとして出力
し、他の位置では、判定回路28からの信号28bに従っ
て、ノイズリダクション部50に入力された信号をそのま
ま信号50a, 50b, 50cとして出力する。ノイズリダクシ
ョン部50で処理された信号は画素データ記録部に送られ
る。

【０１０４】この後、図６に示すステップS22, S24, S2
6, S28 を行なう。

【０１０５】本実施例によれば、図１の実施例と同様の
効果を達成することができるとともに、輪郭を考慮した
ノイズリダクションを行なうことができ、輪郭を弱める
ことがない。

【０１０６】

【発明の効果】このように本発明によれば、欠陥画素補
正がうまく行なわれない場合でも、画質の良いデータが
得られるようにして画質を損なうことがない画像信号処
理装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の画像信号処理装置を適用したデジタル
カメラの概略的な構成を示すブロック図である。

【図２】欠陥画素補正の問題点を示す図である。

【図３】ローパスフィルタの構成の一例を示すブロック
図である。

【図４】図３のローパスフィルタの処理結果と、処理方
式を示す図である。

【図５】図１のデジタルカメラの動作を説明するための
フローチャートである。

【図６】図１のデジタルカメラの動作を説明するための
フローチャートである。

【図７】本発明の画像信号処理装置の他の実施例を適用
したデジタルカメラの概略的な構成を示すブロック図で
ある。

【図８】輪郭検出部の構成の一例を示すブロック図であ
る。

【図９】図７のデジタルカメラで用いられるノイズリダ
クション部の構成の一例を示すブロック図である。

【図１０】図７のデジタルカメラで用いられるノイズリ
ダクション部の構成の他の例を示すブロック図である。

【図１１】図７のデジタルカメラの動作を説明するため
のフローチャートである。

【符号の説明】

10 デジタルカメラ 14 遅延回路 16 補正回路 28 判定回路 36 Ｈカウンタ 38 Ｖカウンタ 40 信号処理部 42 ノイズリダクション部 46 輪郭検出部 48 混合比判定部 68 巡回フィルタ 70 非線形フィルタ 90 欠陥画素データ部

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） // Ｈ０４Ｎ 101:00 Ｈ０４Ｎ 1/40 １０１Ｃ Ｆターム(参考） 5B047 AA07 AB04 BA03 BB04 BC30 DA06 DC20 5C022 AA13 AB37 AC42 AC69 5C024 BX01 CX26 DX04 GY01 HX05 5C077 LL04 MP01 PP02 PP06 PP10 PP46 PQ12 PQ18 SS01 TT09

Claims (13)

【特許請求の範囲】
1. 【請求項１】 欠陥画素情報記憶手段に記憶された撮像
   素子の欠陥画素を識別するための情報に基づいて、欠陥
   画素に対応する画像信号を生成もしくは補正して出力す
   る画像信号処理装置において、該装置は、 ノイズを低減することができるノイズ低減手段を含み、 該手段により、前記生成もしくは補正された画像信号を
   処理することを特徴とする画像信号処理装置。
2. 【請求項２】 請求項１に記載の画像信号処理装置にお
   いて、 前記ノイズ低減手段は、複数種類のノイズ低減処理手段
   を含み、 該装置は、前記欠陥画素を識別するための情報に基づい
   て、前記複数のノイズ低減処理手段のうちのいずれの手
   段によりノイズ低減処理を行なうか各画素に応じて判定
   する判定手段を含み、 前記ノイズ低減手段は、該判定手段により判定されたノ
   イズ低減処理手段によりノイズ低減処理を行なうことを
   特徴とする画像信号処理装置。
3. 【請求項３】 請求項１に記載の画像信号処理装置にお
   いて、 前記ノイズ低減手段は、複数種類のノイズ低減処理手段
   を含み、 該装置は、前記欠陥画素を識別するための情報に基づい
   て、前記複数のノイズ低減処理手段の処理結果の重み付
   けを各画素に応じて判定する判定手段を含み、 前記ノイズ低減手段は、該判定手段により判定された重
   み付けに従って、前記複数のノイズ低減処理手段の処理
   結果の重み付けを行なうことを特徴とする画像信号処理
   装置。
4. 【請求項４】 請求項２または３に記載の画像信号処理
   装置において、 前記複数種類のノイズ低減処理手段は、ローパスフィル
   タとメディアンフィルタであることを特徴とする画像信
   号処理装置。
5. 【請求項５】 請求項１に記載の画像信号処理装置にお
   いて、該装置は、前記欠陥画素を識別するための情報に
   基づいて、各画素に対して、前記ノイズ低減手段による
   処理を行なうかどうかを各画素に応じて判定する判定手
   段を含み、 前記ノイズ低減手段は、該判定手段によりノイズ低減処
   理を行なうと判定された画素に対してノイズ低減処理を
   行なうことを特徴とする画像信号処理装置。
6. 【請求項６】 請求項１に記載の画像信号処理装置にお
   いて、該装置は、前記欠陥画素を識別するための情報に
   基づいて、各画素に対して、前記ノイズ低減手段による
   処理結果の重み付けを各画素に対して判定する判定手段
   を含み、 前記ノイズ低減手段は、該判定手段により判定された重
   み付けに従って、前記ノイズ低減処理手段の処理結果の
   重み付けを行なうことを特徴とする画像信号処理装置。
7. 【請求項７】 請求項２から６までのいずれかに記載の
   画像信号処理装置において、前記判定手段は、画像の輪
   郭を考慮して判定を行なうことを特徴とする画像信号処
   理装置。
8. 【請求項８】 撮像素子の欠陥画素を識別するための情
   報に基づいて、欠陥画素に対応する画像信号を生成もし
   くは補正して出力する欠陥画素補正方法において、該方
   法は，前記生成もしくは補正された画像信号に対して、
   ノイズを低減することができるノイズ低減処理を行なう
   ことを特徴とする欠陥画素補正方法。
9. 【請求項９】 請求項８に記載の欠陥画素補正方法にお
   いて、 前記ノイズ低減処理として、複数種類のノイズ低減処理
   方法を含み、 前記欠陥画素を識別するための情報に基づいて、前記複
   数種類のノイズ低減処理のうちのいずれによりノイズ低
   減処理を行なうか各画素に応じて判定し、 該判定されたノイズ低減処理方法によりノイズ低減処理
   を行なうことを特徴とする欠陥画素補正方法。
10. 【請求項１０】 請求項８に記載の欠陥画素補正方法に
    おいて、 前記ノイズ低減処理として、複数種類のノイズ低減処理
    方法を含み、 前記欠陥画素を識別するための情報に基づいて、前記複
    数のノイズ低減処理手段の処理結果の重み付けを各画素
    に応じて判定し、 該判定された重み付けに従って、前記複数のノイズ低減
    処理方法による処理結果の重み付けを行なうことを特徴
    とする欠陥画素補正方法。
11. 【請求項１１】 請求項９または10に記載の欠陥画素補
    正方法において、 前記複数種類のノイズ低減処理方法は、ローパスフィル
    タによる方法とメディアンフィルタによる方法であるこ
    とを特徴とする欠陥画素補正方法。
12. 【請求項１２】 請求項８に記載の欠陥画素補正方法に
    おいて、前記欠陥画素を識別するための情報に基づい
    て、各画素に対して、前記ノイズ低減処理を行なうかど
    うかを各画素に応じて判定し、 該判定によりノイズ低減処理を行なうと判定された画素
    に対してノイズ低減処理を行なうことを特徴とする欠陥
    画素補正方法。
13. 【請求項１３】 請求項９から12までのいずれかに記載
    の欠陥画素補正方法において、前記判定は、画像の輪郭
    を考慮して判定を行なうことを特徴とする欠陥画素補正
    方法。