JP2003234958A

JP2003234958A - 白点故障補完回路及びこの白点故障補完回路を用いたイメージセンサ

Info

Publication number: JP2003234958A
Application number: JP2002031947A
Authority: JP
Inventors: Tomoo Kokubo; 朝生小久保; Jun Funakoshi; 純船越; Katsuyoshi Yamamoto; 克義山本
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-02-08
Filing date: 2002-02-08
Publication date: 2003-08-22
Anticipated expiration: 2022-02-08
Also published as: TWI226196B; TW200303687A; JP4059686B2; KR20030067567A; US7106912B2; KR100874935B1; US20030151682A1

Abstract

(57)【要約】【課題】白点故障の発生箇所を保持するための記憶装
置を用いずに白点故障補完を行なう。【解決手段】画素部２００を構成する画素についての
白点故障補完処理を順次行なう。周辺画素データ保持部
１１０は、読み出し回路３００より画素データを取得
し、これを保持する。比較判定部１２０は、保持された
対象画素とその周辺画素との明度を比較し、この比較結
果に基づいて、対象画素が周辺画素と比較して予め決め
られた所定の値以上の明度を有する白点故障であるか否
かを判定する。補完演算部１３０では、比較判定部１２
０により対象画素が白点故障であると判定された場合、
周辺画素データ保持部１１０に保持されている対象画素
の画素データとその周辺の周辺画素の画素データを使用
して補完演算を行ない、補完データを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は白点故障補完回路及
びこの白点故障補完回路を用いたイメージセンサに関
し、特に固体撮像素子が配置されて成る画素部に発生し
た白点故障を補完する白点故障補完回路及びこの白点故
障補完回路を用いたイメージセンサに関する。

【０００２】

【従来の技術】現在、デジタルカメラやデジタルビデオ
カメラ等に用いられる固体撮像素子として、ＣＣＤ（Ch
arge Coupled Device）や、ＣＭＯＳ（Complementary M
etal Oxide Semiconductor）イメージセンサが用いられ
ている。

【０００３】このようなＣＣＤやＣＭＯＳイメージセン
サでは、画面上の特定位置の画素がフォトダイオードの
特性やセンサのばらつき等により一定レベル以上の出力
になることで、常に固定された色になることがある。こ
のような現象は、白点故障や白点汚れと呼ばれており、
現在の製造工程で完全に除去することは困難である。白
点故障のあるイメージセンサで暗い映像を写すと、白点
故障した箇所が明るい色のデータとして出力されるため
非常に目立つ。このため、従来は故障箇所の周辺の画素
データを用いて補完処理していた。

【０００４】従来の白点故障を補完する白点故障補完回
路について説明する。図１９は、従来の白点故障補完回
路とその周辺回路の構成図である。白点故障の発生箇所
はイメージセンサ個々に固有であるため、予め発生箇所
を白点故障箇所格納用記憶装置９１０に保持しておく。
一致比較器９２０は、画素の位置を特定する位置情報
（ＰＯＳ）と白点故障箇所格納用記憶装置９１０に保持
されている白点故障の位置とが一致するかどうかをチェ
ックし、結果を白点故障補完回路９３０に通知する。白
点故障補完回路９３０では、画素データ（ＤＡＴＡ）を
入力した画素が白点故障を発生している画素であること
が通知された場合、周辺画素の画素データを用いて白点
故障箇所の補完処理を行なう。白点故障補完処理が行な
われたデータは、ＲＧＢ変換回路９４０においてＲＧＢ
データに変換されて出力される。

【０００５】

【発明が解決しようとする課題】しかし、従来の白点故
障補完回路では、白点故障の発生箇所を保持するための
記憶装置が必要であるため、回路が冗長となるという問
題がある。また、白点故障箇所の検出のための検査が必
要となるという問題もある。

【０００６】上記の説明のように、従来の白点故障補完
回路では、予め検出しておいた白点故障の発生箇所を保
持するために、レジスタやＲＯＭ等の記憶装置を設けな
ければならなかった。このような記憶装置の記憶容量
は、白点故障箇所に対する補正の許容数分必要となる。
このため、記憶装置の容量はイメージセンサの総画素数
に応じて増大し、かつ冗長な回路となり、回路規模が大
きくなってしまうという問題がある。一方、補正の許容
数を超える白点故障箇所が発生したイメージセンサは不
良品としてはじかれるため、補正の許容数を少なくして
記憶容量を小さくしようとすると不良品が増大するとい
う問題が生じる。近年、総画素数は増加する方向にあ
り、このように記憶装置を用いて白点故障を補完する手
法は限界にきている。

【０００７】また、従来行なわれている白点補完手法
は、予め検知された白点故障発生画素について、予め決
められている係数等を用いて補完処理を施す。このよう
に、補完処理は白点故障発生箇所ごとに独立して行なわ
れるため、不自然な画像となることがある。

【０００８】また、白点故障の除去方法として冗長な記
憶装置を使用しないメディアンフィルタ等があるが、こ
れには映像の解像度が低下するという欠点がある。さら
に、白点故障の発生箇所を予め保持しておくために、イ
メージセンサのチップ毎に白点故障箇所の検出のための
検査が必要となるという問題がある。このため、製造工
程において白点故障箇所検出のための検査と発生の箇所
の登録という工程を経なければならず、製造工程も冗長
なものとなる。

【０００９】このように、従来の記憶装置を用いた冗長
な白点故障補完回路は、イメージセンサを使用したシス
テムやイメージセンサをＬＳＩとして小型化・集積化す
る際の問題となる。また、イメージセンサの解像度の低
下は、携帯電話等で使用されるような総画素数の少ない
場合に、ぼやけた映像となるという問題が生じる。

【００１０】本発明はこのような点に鑑みてなされたも
のであり、白点故障の発生箇所を保持するための記憶装
置を必要としない白点故障補完回路及びこの白点故障補
完回路を用いたイメージセンサ並びに白点故障補完方法
を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明では上記課題を解
決するために、固体撮像素子が配置されて成る画素部に
発生した白点故障を補完する白点故障補完回路におい
て、画素部を構成する所定の対象画素とその周辺の周辺
画素の画素データを保持する周辺画素データ保持部と、
前記対象画素と周辺画素との明度を比較し、比較結果に
基づいて前記対象画素が前記周辺画素と比較して予め決
められた所定の値以上の明度を有する白点故障であるか
否かを判定する比較判定部と、前記比較判定部により前
記対象画素が白点故障であると判定された場合に前記周
辺画素データ保持部に保持されている前記対象画素及び
周辺画素の画素データを用いて補完演算を行なう補完演
算部と、を具備したことを特徴とする白点故障補完回
路、が提供される。

【００１２】このような構成の白点故障補完回路では、
画素部２００を構成する画素についての白点故障補完処
理を順次行なう。周辺画素データ保持部１１０は、画素
部２００が検知した画素データを読み出し回路３００よ
り取得し、所定の対象画素とその画素の周辺にある周辺
画素についての画素データを保持する。比較判定部１２
０は、周辺画素データ保持部１１０の保持する対象画素
とその周辺画素との明度を比較し、その比較結果に基づ
いて、対象画素が周辺画素と比較して予め決められた所
定の値以上の明度を有する白点故障であるか否かを判定
する。白点故障であるか否かは、周辺画素の明度との関
係に応じて決まる。例えば、映像が明るく周辺画素の明
度も高いため対象画素との明度の差があまりない場合に
は補完の必要な白点故障と見なされないが、暗い映像で
周辺画素の明度が低い場合には白点故障と見なされるこ
とがある。補完演算部１３０では、比較判定部１２０に
より対象画素が白点故障であると判定された場合、周辺
画素データ保持部１１０に保持されている対象画素の画
素データとその周辺の周辺画素の画素データを使用して
補完演算を行ない、補完データを生成する。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は、本発明の一実施の形態で
ある白点故障補完回路を具備したイメージセンサの構成
図である。

【００１４】本発明に係るイメージセンサは、白点故障
を補完する白点故障補完回路１００、画素がマトリクス
状に配列された画素部２００、画素部２００を走査して
画素データを順次読み出す読み出し回路３００及び補完
された後の画素データをＲＧＢデータに変換するＲＧＢ
変換回路４００から構成される。

【００１５】画素部２００は、画素がマトリクス状に配
列されており、画素が取得した映像信号を出力する。読
み出し回路３００は、画素部２００を順次走査して映像
信号を読み出し、雑音成分の除去等の信号処理を行な
う。画素部２００と読み出し回路３００の詳細は、後述
する。

【００１６】白点故障補完回路１００は、読み出し回路
３００より読み出された対象の画素データをその周辺画
素データを保持する周辺画素データ保持部１１０、対象
画素と周辺画素との明度を比較し、比較結果に応じて対
象画素が白点故障かどうかを判定する比較判定部１２
０、白点故障と判定された場合に補完演算を行なう補完
演算部１３０及び補完演算に用いる補完係数を記憶する
補完係数記憶部１４０から構成される。

【００１７】周辺画素データ保持部１１０は、読み出し
回路３００から順次出力される所定の対象画素とその周
辺の周辺画素の画素データを保持する。画素データは、
対象画素と対象画素と明度を比較するための１以上の周
辺が外し、その数は特定しない。また、画素データの保
持は、フリップフロップ回路あるいは記憶装置等によっ
て行なう。

【００１８】比較判定部１２０は、周辺画素データ保持
部１１０で保持されている対象画素と周辺画素との明度
を比較し、対象画素が周辺画素より所定の値以上の高い
明度であるかどうか、すなわち白点故障であるかどうか
を判定する。白点故障であるか否かは、周辺画素の明度
との関係に応じて決まる。例えば、映像が明るく周辺画
素の明度も高いため対象画素との明度の差があまりない
場合には補完の必要な白点故障と見なされないが、暗い
映像で周辺画素の明度が低い場合には白点故障と見なさ
れることがある。判定結果、すなわち、白点故障と見な
せるかどうかは、補完演算部１３０に送られる。また、
対象画素は、周辺画素データ保持部１１０に保持されて
いるデータのうちの真ん中として順次処理してもよい。
あるいは、保持されている画素データのうち最も明度の
高いもの、すなわち白点故障の可能性が高い画素を選択
し、これを対象画素とすることもできる。さらに、周辺
画素データ保持部１１０が、複数の色成分の画素データ
を保持している場合、明度の比較は同色の画素データで
行なう。

【００１９】補完演算部１３０は、周辺画素データ保持
部１１０より対象画素と周辺画素の画素データを入力
し、比較判定部１２０より明度比較による白点故障の判
定結果を取得する。また、読み出し回路３００より明度
レベルを取得する。明度レベルは、対象画素の近傍で検
出された映像の明るさをいくつかのレベルに分類したも
のであって、例えば読み出し回路３００が画素部２００
からの出力信号を映像の明度に応じて増幅する際の増幅
率等から生成される。補完演算部１３０では、白点故障
であると見なされた対象画素を、周辺画素を用いて補完
する。白点故障と見なされた画素に対する補完は、明度
レベルに応じて周辺画素の使用比率を調整する加重平均
を行なって算出される。これらの比率を表す補完係数
は、明度レベルに応じて演算時に算出することもできる
し、予め補完係数記憶部１４０に記憶しておくこともで
きる。また、明度レベルに応じて補完を行なうか否かを
決めることもできる。例えば、明度レベルが高い明るい
画面では白点故障は目立たないため補完を行なわず、明
度レベルが低い暗い画面では白点故障が目立つため補完
を行なう。補完された補完データは、ＲＧＢ回路４００
に送られる。

【００２０】補完係数記憶部１４０は、明度レベルに応
じて決定された最適な補完係数を予め記憶しておくメモ
リ等の記憶装置である。ＲＧＢ回路４００は、白点故障
補完回路１００により白点故障が補完された後の画素デ
ータをＲＧＢデータに変換する。

【００２１】このような構成の白点故障補完回路１００
を含むイメージセンサの動作について説明する。読み出
し回路３００は、画素部２００からの出力信号から雑音
成分を除く等の処理を行い、読み出した画素データを位
置情報（ＰＯＳ）とともに順次出力する。白点故障補完
回路１００では、順次入力する画素データに対して、白
点故障の検出とその補完処理を施し、補完後の画素デー
タをＲＧＢ回路４００へ出力する。周辺画素データ保持
部１１０に、出力される画素データを一時保存してお
く。比較判定部１２０は、一時保存されている対象画素
とその周辺画素の明度を比較し、対象画素が周辺画素と
比較して所定の値以上の明度を有するか否か、すなわ
ち、白点故障であるか否かを判定する。判定結果は、補
完演算部１３０へ送られる。補完演算部１３０は、画素
データと映像の明度レベルを取得し、比較判定部１２０
の判定結果により白点故障であると見なされた場合に、
補完係数記憶部１４０に記憶された明度レベルに応じた
補完係数を用いて補完演算を行なう。白点故障と見なさ
れた画素に対する補完は、明度レベルに応じて周辺画素
の使用比率を調整する加重平均を行なって算出される。

【００２２】このように、周辺画素と明度を比較するこ
とにより、記憶装置を使用することなく白点故障を検出
して補正を行なうことが可能となる。また、回路規模は
総画素数に依存しないため、記憶装置を使用した従来の
方法と同等の機能を小さく簡易な回路構成で実現でき
る。さらに、白点故障に対して明度レベルに応じた動的
な補完制御を行なうことで、明時映像に対する解像度の
低下を緩和することができる。

【００２３】次に、本発明の白点故障補完回路及びこの
白点故障補完回路を備えたイメージセンサについて実施
例に基づいて説明する。まず、イメージセンサの画素部
２００について説明する。図２は、イメージセンサの画
素部における有効画素とその拡大図である。画素部２０
０は、固体撮像素子と固体撮像素子が検出した信号を取
り出す素子とから構成される画素がマトリクス状に配置
されている。それぞれの画素は、Ｒ（赤）、Ｇ（緑）、
Ｂ（青）の色成分を透過するフィルタを経由して入力す
る光の明度を検出し、信号として出力している。拡大さ
れた部分は、このようなフィルタを経由して経由して検
出される色の配列であり、ベイヤー配列と呼ばれる。ベ
イヤー配列は、一般的にイメージセンサのカラーフィル
タに使用されている配列である。以下、本発明の白点故
障補完回路及びこの白点故障補完回路を備えたイメージ
センサについて、図２に示した配列の場合を例に説明す
る。

【００２４】次に、読み出し回路３００について説明す
る。図３は、本発明の一実施の形態であるイメージセン
サの画素部と読み出し回路の構成図である。ＣＤＳ回路
３０１は、画素部２００から出力された信号から雑音成
分の信号を除いた信号成分を取り出す回路である。アン
プ回路３０２は、ＣＤＳ回路３０１から出力された信号
を増幅する。増幅率（ゲイン）は、ＡＧＣ制御回路３０
３によって制御される。ＡＧＣ制御回路３０３は、画素
部２００の明るさ成分に応じてアンプ回路３０２の増幅
率を計算する。ｃｌａｍｐ回路３０４は、信号成分のオ
フセットを調整する。ＡＤＣ回路３０５は、オフセット
調整された信号成分を８ビットのデジタルデータに変換
し、画素データとして次段の白点故障補完回路１００に
出力する。ＴＧ回路３０６は、ＣＤＳ回路３０１、画素
部２００上の映像信号取り出しの操作タイミングを生成
する回路である。次段の白点故障補完回路１００に対し
て画素の位置情報（ＰＯＳ）を出力する。デコード回路
３０７は、ＡＧＣ制御回路３０３で生成された増幅率を
所定の明るさレベルにデコードする回路である。

【００２５】デコード回路３０７により生成される明る
さレベルについて説明する。上記の説明のようにＡＧＣ
制御回路３０３は、画素部２００上の一部（特定ライン
や短形領域）の明るさ成分を積算し、アンプ回路３０２
の増幅率を計算してアンプ回路３０２の増幅率を制御し
ている。デコード回路３０７では、増幅率をいくつかの
レベルに分類し、それぞれのレベルに対応した信号線の
出力をオンにする。ＡＧＣ制御回路３０３では、増幅率
算出時に暗時映像ほど増幅率を上げるため、デコード回
路３０７の出力信号は、映像の明るさのレベルに対応す
る。例えば、デコード回路３０７では、明るさのレベル
を４レベルに分類し、それぞれのレベルに対応する出力
信号Ｓ１−Ｓ４を出力する。Ｓ１−Ｓ４は論理信号とし
て‘１’または‘０’の値をとり、必ずいずれかが
‘１’となり他は‘０’となるものとする。

【００２６】このように、読み出し回路３００によって
ＰＯＳ、画素データ及び明るさレベルが生成され、次段
の白点故障補完回路１００に出力される。次に、本発明
に係る白点故障補完回路１００について実施例で説明す
る。

【００２７】まず、第１の実施例として、画素部のライ
ン上の連続する５画素分の画素データに基づいて白点故
障の補完を行なう回路について説明する。図４は、第１
の実施例における白点故障補完回路の回路図である。

【００２８】第１の実施例の白点故障補完回路は、周辺
画素データを保持する周辺画素データ保持部であるフリ
ップフロップ回路５０１、５０２、５０３、５０４、５
０５、画素データの明度を比較し白点故障であるかどう
かを判定する比較判定部である判定回路５０８と判定結
果に応じて出力信号を選択するセレクタ回路５０６、及
び補完演算を行なう補完演算部である白点補完回路５０
７から構成される。

【００２９】フリップフロップ回路（以下、ＦＦとす
る）５０１、５０２、５０３、５０４、５０５は、上記
の説明の読み出し回路のＡＤＣ回路３０５から出力され
た８ビットの画素データを連続５画素分保持している。
保持される画素データの組み合わせについて図５を用い
て説明する。保持された５画素分の画素データは、
（１）Ｒ２を対象画素としたＲ成分の場合、（２）Ｇ２
を対象画素としたＧ成分の場合、（３）Ｂ２を対象画素
としたＢ成分の場合、の３通りの組み合わせがある。こ
のように、第１の実施例の場合、対象画素を中心の第３
番目の画素として、同色の周辺画素は第１番目と第５番
目に存在する。

【００３０】図４に戻って説明する。上記の説明のよう
な画素データの組み合わせが、ＦＦ５０１、５０２、５
０３、５０４、５０５に保持されている。ここで、便宜
的に、ＦＦ５０１の出力をＰ１、ＦＦ５０３の出力をＰ
３及びＦＦ５０５の出力をＰ３とする。判定回路５０８
及び白点補完回路５０７には、対象画素の画素データを
保持するＦＦ５０３、及び対象画素と同色の周辺画素の
画素データを保持するＦＦ５０１とＦＦ５０５の出力が
接続されている。

【００３１】判定回路５０８は、上記の説明のような対
象画素（Ｐ２）と、対象画素と同色の周辺画素（Ｐ１と
Ｐ３）を入力し、明度の比較を行ない、対象画素（Ｐ
２）が同色の周辺画素（Ｐ１とＰ３）に比べて予め決め
られた所定の値以上に明度が高いか否か、すなわち白点
故障であるか否かを判定する。判定結果はセレクタ５０
６に出力される。セレクタ５０６は、白点故障である場
合には、白点補完回路５０７によって補完された補完デ
ータを出力し、それ以外の場合は対象画素（Ｐ２）の画
素データをそのまま出力する。

【００３２】ここで比較条件と、比較条件に応じた判定
回路５０８の動作について説明する。以下、Ｒ成分の場
合で説明する。図６は、第１の実施例における比較条件
とその判定を示したものである。（１）条件には、２つ
の比較条件が設定されている。条件１は、「対象画素Ｒ
２のが画素データの明度が周辺画素Ｒ１とＲ３の明度の
間にあるか」である。また、条件２は、「対象画素Ｒ２
の画素データの明度が、周辺画素Ｒ１とＲ３の明度の平
均より大きいか」である。

【００３３】（２）判定は、条件１と条件２の成立／不
成立の組み合わせに応じて決定される補完処理を行なう
か否かの判定を示している。Ｒ２は、判定結果に応じた
Ｒ２の値を示している。

【００３４】条件１が成立する場合は、対象画素Ｒ２の
明度は周辺画素Ｒ１とＲ２の明度の間にあることから、
白点故障ではない。このため、セレクタ５０６は対象画
素Ｒ２の画素データをそのまま出力する（補完処理は行
なわない）。条件１が不成立の場合、対象画素Ｒ２の明
度は、周辺画素Ｒ１とＲ２の明度範囲にはないことにな
る。そこで、条件２により明度の差をチェックする。条
件２が不成立の場合、対象画素Ｒ２は、周辺画素の平均
明度より明度が低いことから白点故障ではない。このた
め、セレクタ５０６は、対象画素Ｒ２の画素データをそ
のまま出力する（補完処理は行なわない）。条件２が成
立する場合、対象画素Ｒ２は、周辺画素の平均明度より
明度が高いことから白点故障の可能性が高いと判定され
る。このため、Ｒ２には白点補完回路５０７において、
次式のように周辺画素Ｒ１、Ｒ２に基づく補完処理が施
される。ここで、ｍ、ｎは、任意の補完係数とする。

【００３５】

【数１】Ｒ２＝（ｍＲ１＋２ｎＲ２＋ｍＲ３）／（２ｍ＋２ｎ）・・（１）セレクタ５０６は、白点補完回路５０７により補完処理
が施されたＲ２を選択して出力する。

【００３６】ここでは、Ｒ成分のみについて説明した
が、Ｇ、Ｂも同様の処理を行なう。次に、白点補完回路
５０７について説明する。図７は、第１の実施例におけ
る白点補完回路の回路図である。図４と同じものには同
じ番号を付し、説明は省略する。白点補完回路は、デコ
ード回路の生成した明度レベル（Ｓ１−Ｓ４）に応じて
１／０の論理積を生成するＡＮＤ１、ＡＮＤ２、ＡＮＤ
３、ＡＮＤ４と、周辺画素（Ｐ１とＰ３）とを加算平均
するＡＤＤ１、ＡＤＤ１の出力に対象画素（Ｐ２）を加
算平均するＡＤＤ２、さらにＳＥＬ１とＳＥＬ２の出力
を加算平均するＡＤＤ３、ＡＮＤ１の出力信号に応じて
ＡＤＤ２出力またはＰ２を選択するＳＥＬ１、ＡＮＤ２
の出力信号に応じてＡＤＤ１の出力またはＰ２を選択す
るＳＥＬ２、ＡＮＤ３の出力信号に応じてＡＤＤ１の出
力またはＡＤＤ３の出力を選択するＳＥＬ３、及びＡＮ
Ｄ４の出力に応じてＰ１またはＳＥＬ３の出力を選択す
るＳＥＬ４とから構成される。

【００３７】ＡＮＤ１は、明度レベルがＳ２（Ｓ２のみ
１）の場合に１を出力し、ＳＥＬ１にＡＤＤ２の出力を
選択させる。ＡＮＤ２は、明度レベルがＳ３（Ｓ３のみ
１）の場合に１を出力し、ＳＥＬ２にＡＤＤ１の出力を
選択させる。ＡＮＤ３は、明度レベルがＳ４（Ｓ４のみ
１）の場合に１を出力し、ＳＥＬ３にＡＤＤ１の出力を
選択させる。ＡＮＤ４は、明度レベルがＳ１（Ｓ１のみ
１）の場合に１を出力し、ＳＥＬ４にＰ２を選択させ
る。

【００３８】明度レベル（Ｓ１―Ｓ３）とセレクタＳＥ
Ｌ１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４の動作について図
８で説明する。図８は、第１の実施例における明度レベ
ルとセレクタの動作及び補完係数の関係図である。セレ
クタ選択は、ＡＧＣデコード出力によってＳＥＬ１、Ｓ
ＥＬ２、ＳＥＬ３、ＳＥＬ４がどちらを選択するかを表
している。例えば、Ｓ１＝１の場合は、ＳＥＬ３が１側
を選択し、その他のセレクタは０側を選択する。また、
明度レベル（Ｓ１−Ｓ４）に応じて、補完を行なう際の
補完係数を算出するか、予め記憶部に記憶しておいた補
完係数を抽出して補完を行なう。備考は、補完係数の例
である。

【００３９】例えば明度レベルＳ１＝１の場合、論理積
回路のうちＡＮＤ３の出力のみが１となり、ＳＥＬ３が
１側、すなわちＡＤＤ１の出力を選択する。他のＳＥＬ
１はＰ２を、ＳＥＬ２はＰ２を、ＳＥＬ４はＳＥＬ３の
出力をそのまま出力する。従って、明度レベルＳ１＝１
の場合、周辺画素（Ｐ１とＰ３）を用いて補完演算を行
ない、算出された補完データをＳＥＬ４から出力する。
明度レベルＳ４＝１の場合、ＡＮＤ４が１となり、ＳＥ
Ｌ４からＰ２の値がそのまま出力される。同様に、明度
レベルＳ２＝１、Ｓ３＝１の場合も、明度レベルに応じ
た適切な補完係数により補完処理が行なわれ、ＳＥＬ４
より出力される。

【００４０】このように、明度レベルに応じて予め決め
られた最適な補完係数により補完演算を行なうことによ
り、白点故障に対する補完制御を動的に行なうことが可
能となる。

【００４１】次に、第２の実施例について説明する。第
２の実施例は、隣接する３×３画素のデータを用いて白
点故障補完を行なう回路の例である。図９は、第２の実
施例における白点故障補完回路の構成図である。さら
に、ここでは、白点補完回路をＲＧＢ変換回路に組み込
んでいる。

【００４２】第２の実施例の白点故障補完回路は、対象
画素及び周辺画素の画素データを保持する周辺画素デー
タ保持部であるフリップフロップ回路、ＦＦ７０３、Ｆ
Ｆ７０４、ＦＦ７０５、ＦＦ７０６、ＦＦ７０７、ＦＦ
７０８、ＦＦ７０９、ＦＦ７１０及びＦＦ７１１とＲＧ
Ｂ変換用ラインメモリ７１２、及び白点故障補完とＲＧ
Ｂ変換を行なう白点故障補完回路＋ＲＧＢ変換回路７１
４から構成される。

【００４３】ＲＧＢ変換用ラインメモリ７１２は、ＲＧ
Ｂ変換用の画素データを保持している。フリップフロッ
プ回路、ＦＦ７０３、ＦＦ７０４、ＦＦ７０５、ＦＦ７
０６、ＦＦ７０７、ＦＦ７０８、ＦＦ７０９、ＦＦ７１
０及びＦＦ７１１は、ＲＧＢ変換用ラインメモリ７１２
に保持されたＲＧＢ変換用の画素データ及びＡＤＣ回路
からの出力信号３×３画素分を保持する周辺画素データ
保持部を構成する。フリップフロップ回路ＦＦ７０３、
ＦＦ７０４、ＦＦ７０５は、ＡＤＣ回路から出力信号に
接続し、ＡＤＣ変換された後の画素データを順次３画素
分保持する。ＦＦ７０６、ＦＦ７０７、ＦＦ７０８、Ｆ
Ｆ７０９、ＦＦ７１０及びＦＦ７１１は、ＲＧＢ変換用
ラインメモリ７１２に保存された画素データを読み出し
て保持する。以下、便宜上、ＦＦ７０３に保持された画
素データをＰ１、ＦＦ７０４に保持された画素データを
Ｐ２、ＦＦ７０５に保持された画素データをＰ３、ＦＦ
７０６に保持された画素データをＰ４、ＦＦ７０７に保
持された画素データをＰ５、ＦＦ７０８に保持された画
素データをＰ６、ＦＦ７０９に保持された画素データを
Ｐ７、ＦＦ７１０に保持された画素データをＰ８、及び
ＦＦ７１１に保持された画素データをＰ９とする。

【００４４】このような構成の周辺画素データ保持部に
おける画素データの組み合わせについて説明する。図１
０は、第２の実施例において保持される画素データの組
み合わせである。一般的なイメージセンサで行なわれる
処理のひとつにＲＧＢ変換がある。ＲＧＢ変換では、３
×３画素以上のデータと記憶領域を最低必要とする。こ
こでは、ＲＧＢ変換のための記憶領域（ＲＧＢ変換用ラ
インメモリ７１２）に記憶された周辺画素の画素データ
を用いて白点故障の判定と白点故障の補完処理を行な
う。周辺画素の画素データが多いほど補完箇所に対する
データの精度が高くなる。しかしながら、処理のための
記憶領域は増加する。このため、ここではＲＧＢ変換用
に記憶されている画素データを使用している。３×３画
素における、各色成分ごとの組み合わせは、各色ごとに
４通りの計１２通りになる。このうち、Ｒ成分とＢ成分
については、３×３画素に含まれる同色の画素数ｈの最
大は４であるので、同一の判定回路が構成される。Ｇ成
分は、３×３画素に含まれる同色の画素数ｈの最大は５
であるので別な回路構成となる。

【００４５】それぞれの判定回路と白点補完回路につい
て説明する。図１１は、第２の実施例におけるＲ成分と
Ｂ成分の判定回路と白点補完回路の回路図である。ここ
では、簡単のため、ゲインに応じた明度レベルを３段階
とした。

【００４６】Ｒ成分とＢ成分用の判定回路及び白点補完
回路は、画素の位置情報（ＰＯＳ）をデコードするデコ
ーダ８１０、デコーダ８１０の出力信号に応じて入力信
号（Ｐ１、Ｐ２、・・・、Ｐ９）を選択するセレクタ８２
０、比較器８３１、８３２、８３３、８３４より構成さ
れる比較判定部８３０、及び加算器８４１、８４２、８
４３、８４４と、セレクタ８４５、８４６、８４７、８
４８とから構成される白点補完部８４０から成る。

【００４７】デコーダ８１０は、画素の位置情報（ＰＯ
Ｓ）をデコードし、入力信号を選択するセレクタ８２０
と、加算器８４２による加算値を選択するセレクタ８４
７に供給する。

【００４８】セレクタ８２０は、デコーダ８１０のデコ
ード出力に応じて、保持されている９画素の入力信号
（Ｐ１、Ｐ２、・・・、Ｐ９）のうち同色の画素となる入
力信号を選択する。すなわち、図１０に示したパターン
のいずれかを選択する。例えば、Ｒ成分のｈ＝４に相当
するデコード信号が入力した場合、９画素の入力信号
（Ｐ１、Ｐ２、・・・、Ｐ９）から、図１０のＲ成分のｈ
＝４に示したようなＲ１、Ｒ２、Ｒ３、Ｒ４に相当する
画素データを選択してＳＬ１、ＳＬ２、ＳＬ３、ＳＬ４
に出力する。

【００４９】比較判定部８３０は、ＳＬ１とＳＬ２を比
較して大きい方を比較器８３３へ小さいほうを加算器８
４１へ出力する比較器８３１、ＳＬ３とＳＬ４を比較し
て大きい方を比較器８３３へ小さい方を加算器８４１へ
出力する比較器８３２、比較器８３１と比較器８３２の
出力を比較して大きい方を比較器８３４へ小さいほうを
加算器８４１へ出力する比較器８３３、及び加算器８４
１によって算出される最も明度の高い画素データを除く
画素データの平均値とを比較する比較器８３４から構成
される。

【００５０】比較器８３３の出力は、セレクタ８２０に
選択された画素のうち、最も高い明度の画素の画素デー
タであり、加算器８４１の出力は、比較器８３３により
選択されなかった３画素の画素データの平均値になる。
従って、比較器８３４では、比較器８３３により選択さ
れた最も明度の高い画素と、その他の３画素の平均の明
度が比較される。

【００５１】白点補完部８４０は、比較器８３１、８３
２、８３３が選択した画素データを加算する加算器８４
１、セレクタ８２０の選択したＳＬ１、ＳＬ２、ＳＬ
３、ＳＬ４の出力信号を加算する加算器８４２、加算器
８４１の出力を１／２及び１／４の係数で乗算した値を
加算する加算器８４３、セレクタ８４５とセレクタ８４
６の出力を加算する加算器８４４、比較器８３４の出力
信号に応じて比較器８３３の出力信号あるいは０を選択
するセレクタ８４５、比較器８３４の出力信号に応じて
加算器８４１の出力信号あるいは加算器８４３の出力信
号を選択するセレクタ８４６、加算器８４２の出力に１
／４、１／２、１／１の係数を乗算した出力信号をデコ
ーダ出力信号に応じて選択するセレクタ８４８、及び比
較器８３４の出力信号に応じて加算器８４４の出力信号
あるいはセレクタ８４８の出力信号を選択するセレクタ
８４７から構成される。

【００５２】加算器８４２は、セレクタ８２０により選
択された画素データを加算し、セレクタ８４７に出力す
る。このとき、ａ端子には加算値を１／４にしたデータ
が、ｂ端子には加算値を１／２にしたデータが、ｃ端子
には加算値を１／１にしたデータが出力される。セレク
タ８４７は、デコーダ８１０の出力に応じて、ａ、ｂ、
ｃ端子のいずれかを選択し、セレクタ８４８へ出力す
る。デコーダ８１０の出力信号は、選択された画素数と
見なすことができるので、セレクタ８４７の出力は、選
択された画素データの平均値となる。

【００５３】加算器８４１、８４３、８４４及びセレク
タ８４５、８４６とから構成される部分では、画像の明
度レベル（ここではＳ１−Ｓ３）に応じた補完係数を用
いて補完演算処理を行なう。補完演算処理については、
後述する。加算器８４４は、補完演算が施された画素デ
ータをセレクタ８４８へ出力する。

【００５４】セレクタ８４８は、補完演算が行なわれた
加算器８４４の出力信号と、補完演算が施されていない
セレクタ８４７の出力信号と、を比較器８３４の出力に
応じて選択する。すなわち、比較判定部８３０により、
白点故障と見なされた場合には補完処理が行なわれた加
算器８４４の出力信号が選択され、白点故障と見なされ
なかった場合には補完処理されていないセレクタ８４７
の出力信号が選択される。

【００５５】次に、このような構成の判定回路及び白点
補完回路の動作について説明する。まず、デコーダ８１
０は、ＰＯＳ信号に応じたデコード信号を生成し、セレ
クタ８２０と加算器８４２に供給する。図１２は、第２
の実施例におけるデコーダの出力を示している。デコー
ダ８１０は、Ｘ方向及びＹ方向のＰＯＳ入力信号のＬＳ
Ｂを参照し、色成分に応じたデコード信号を出力する。
例えば、Ｙ（ＬＳＢ）が０、Ｘ（ＬＳＢ）も０の場合、
Ｒ成分のデコード出力は４、Ｇ成分のデコード出力は
４、Ｂ成分のデコード出力は１になる。デコード出力
は、３×３の画素データ保持部に存在する色成分のパタ
ーンを表している。例えば、Ｒ成分の出コート出力４
は、図１０のＲ成分のｈ＝１のパターンを示している。

【００５６】セレクタ８２０は、デコーダ８１０のデコ
ード出力に応じて、画素データの選択を行なう。図１３
は、第２の実施例におけるセレクタの制御論理を示して
いる。（１）は、Ｒ成分とＢ成分の場合のセレクタ選択
の表であり、（２）は後述するＧ成分の場合のセレクタ
選択の表である。また、（３）は、画素の配置図であ
る。ここでは、セレクタ８２０とともに、セレクタ８４
７の動作について説明する。デコード出力が１の場合、
セレクタ８２０の出力端子ＳＬ１には、Ｐ５、すなわち
（３）の配置図を参照して真中の画素データが出力され
る。これは、図１０のＲ成分のｈ＝１のパターンが選択
されたことに相当する。このとき、セレクタ８４７の出
力端子は、ｃ端子（１／１）が選択される。すなわち、
Ｐ５がそのまま出力される。また、デコード出力が２の
場合、セレクタ８２０の出力端子ＳＬ１にはＰ４、ＳＬ
２にはＰ６が出力される。これは、図１０のＲ成分のｈ
＝２の左側のパターンに相当する。セレクタ８４７は、
ｂ端子（１／２）が選択され、セレクタ８４７は、Ｐ４
とＰ６の平均値を出力する。

【００５７】比較判定部８３０は、比較器８３３におい
て、比較器８３１、８３２により選択されたＳＬ１、Ｓ
Ｌ２、ＳＬ３、ＳＬ４のうち最も明度の高い画素の画素
データを選択する。さらに、比較器８３４において、最
も明度の高い画素の画素データと、加算器８４１で算出
される最も明度の高い画素データを除くＳＬ１、ＳＬ
２、ＳＬ３、ＳＬ４の平均値とを比較する。これによ
り、最も明度の高い画素がその他の画素の平均より高い
明度を有する白点故障であるか否かを判定する。

【００５８】白点補完部８４０は、加算器８４２とセレ
クタ８４７とによって補完なしの出力信号を算出し、加
算器８４１、８４３、８４４とセレクタ８４５、８４６
によって補完処理が施された出力信号を算出する。最終
段のセレクタ８４８は、比較判定部８３０の出力信号に
応じていずれかを選択して出力する。図１４は、第２の
実施例における判定条件と補完処理を示している。条件
１は、「最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・
・、Ｇｈ））を除く画素データの平均よりも、最も明度
の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・・、Ｇｈ））の明
度の方が高い」という条件である。この条件が成立した
場合、最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・
・、Ｇｈ））は、白点故障であると見なされる。

【００５９】表は、条件１が成立した場合（白点故障と
見なされる場合）と、不成立の場合（白点故障と見なさ
れない場合）の補完処理を示している。不成立の場合
は、比較器８３４の出力は０、成立する場合は１が出力
される。Ｇの値は、このとき、算出される画素データで
ある。条件１が成立する場合、Ｇは、所定の補完係数
ｋ、ｊを用いて算出される。ｋとｊは、ＡＧＣデコード
回路の出力する映像の明度レベルに応じて決定される。
図１５は、第２の実施例におけるＡＧＣデコード出力と
選択される補完関数の一例を示している。このように、
明度レベルに応じて適切な補完係数を選択することによ
り、白点故障に対して動的な補完制御を行なうことがで
きる。

【００６０】次に、Ｇ成分の判定回路について説明す
る。図１６は、第２の実施例におけるＧ成分の判定回路
と白点補完回路の回路図である。図１１と同じものには
同じ番号を付し、説明は省略する。

【００６１】Ｇ成分用の判定回路及び白点補完回路は、
画素の位置情報（ＰＯＳ）をデコードするデコーダ８１
０、デコーダ８１０の出力信号に応じて入力信号（Ｐ
１、Ｐ２、・・・、Ｐ９）を選択するセレクタ８２０、比
較器８５１、８５２、８５３、８５４、８５５より構成
される比較判定部８５０、及び加算器８６１、８６２、
８６３、８６４と、セレクタ８６５、８６６、８６７、
８６８とから構成される白点補完部８６０から成る。

【００６２】比較判定部８５０は、ＳＬ１とＳＬ２を比
較して大きい方を比較器８５３へ小さいほうを加算器８
６１へ出力する比較器８５１、ＳＬ３とＳＬ４を比較し
て大きい方を比較器８５３へ小さいほうを加算器８６１
へ出力する比較器８５２、比較器８５１と比較器８５２
の出力を比較して大きい方を比較器８５４へ小さいほう
を加算器８６１へ出力する比較器８５３、比較器８５３
の出力とＳＬ５を比較して大きい方を比較器８５５へ小
さい方を加算器８６１出力する比較器８５４、及び比較
器８５４により得られる最も明度の高い画素の画素デー
タと加算器８６１によって算出される他の画素データの
平均値とを比較する比較器８５５から構成される。比較
器８５４の出力は、最も高い明度の画素の画素データで
あり、加算器８６１の出力は比較器８５４の出力画素を
除く４画素の平均の画素データになる。これにより、最
も明度の高い画素の明度と、他の４画素の平均の明度が
比較される。

【００６３】白点補完部８６０は、比較器８５４、８５
３、８５１、８５２が選択した画素データを加算する加
算器８６１、セレクタ８２０の選択したＳＬ１、ＳＬ
２、ＳＬ３、ＳＬ４、ＳＬ５出力を加算する加算器８６
２、加算器８６１の出力を１／２及び１／４の係数で乗
算した値を加算する加算器８６３、セレクタ８６５とセ
レクタ８６６の出力を加算する加算器８６４、比較器８
５５の出力信号に応じて比較器８５４の出力信号あるい
は０を選択するセレクタ８６５、比較器８５５の出力信
号に応じて加算器８６１の出力信号あるいは加算器８６
３の出力信号を選択するセレクタ８６６、加算器８６２
の出力に１／４、１／１の係数を乗算した出力信号をデ
コーダ出力信号に応じて選択するセレクタ８６７、及び
比較器８５５の出力信号に応じて加算器８６４の出力信
号あるいはセレクタ８６７の出力信号を選択するセレク
タ８６８から構成される。

【００６４】上記の説明のＲ成分とＢ成分の白点補完部
８６０と同様に、セレクタ８６７より補完演算が行なわ
れない出力信号が供給され、加算器８６４より補完演算
が行なわれた出力信号が供給される。セレクタ８６８
は、比較器８５５の出力信号に応じて、出力信号を選択
する。すなわち、比較判定部８５０により、白点故障と
見なされた場合には補完処理が行なわれた加算器８６４
の出力信号が選択され、白点故障と見なされなかった場
合には補完処理されていないセレクタ８６７の出力信号
が選択される。

【００６５】このように、Ｇ成分の場合は、選択される
信号が５画素データとなるだけで、Ｒ成分及びＢ成分と
同様の処理が行なわれる。上記の説明では補完に使用す
る画素を５×１と、３×３としたが、本発明では使用画
素数はこれに限定されない。また、明度レベルのレベル
数も、ゲインの調整レベルに応じて決定される。

【００６６】上記の説明の本発明に係る白点故障回路を
有するイメージセンサの構成について説明する。白点故
障回路部は、イメージセンサ内部に組み込むことも出来
るし、イメージセンサの外部に接続することもできる。

【００６７】図１７は、内蔵型の構成図である。内蔵型
は、イメージセンサの共通基板１０に、図３で示した画
素部２００と読み出し部３００とから成るイメージセン
サ共通部１１と、ＲＧＢ変換を行なうＲＧＢ変換処理部
１２ａと白点補完処理部１２ｂとを有するカラープロセ
ッサ１２とを配置する構成である。

【００６８】図１８は、外部接続の構成図である。外部
接続型は、図３で示した画素部２００と読み出し部３０
０とから成るイメージセンサ共通部２０の基板と、ＲＧ
Ｂ変換を行なうＲＧＢ変換処理部３１と白点補完処理部
３２とを有するカラープロセッサ３０の基板とを別に設
け、信号線で接続する構成である。

【００６９】

【発明の効果】以上説明したように本発明では、対象画
素とその周辺にある周辺画素との明度を比較し、対象画
素が周辺画素と比較して予め決められた所定の値以上の
明度を有する場合、この対象画素と周辺画素の画素デー
タを用いて対象画素の補完処理を行なう。

【００７０】このように、周辺画素と比較することによ
って対象画素に白点故障が発生しているか否かを検出す
るため、白点故障発生箇所を予め検出して記憶装置に保
持しておく必要がなくなる。この結果、記憶装置を使用
した場合より回路構成を小さくすることができる。ま
た、記憶装置を用いた回路とは異なり、回路規模は総画
素数に依存することはない。さらに、自動的に白点故障
を認識して補完するため、出荷試験の検査等で予め白点
故障箇所を検出しておく必要がない。

【図面の簡単な説明】

【図１】本発明の一実施の形態である白点故障補完回路
を具備したイメージセンサの構成図である。

【図２】イメージセンサの画素部における有効画素とそ
の拡大図である。

【図３】本発明の一実施の形態であるイメージセンサの
画素部と読み出し回路の構成図である。

【図４】第１の実施例における白点故障補完回路の回路
図である。

【図５】第１の実施例において保持される画素データの
組み合わせである。

【図６】第１の実施例における比較条件とその判定を示
したものである。

【図７】第１の実施例における白点補完回路の回路図で
ある。

【図８】第１の実施例における明度レベルとセレクタの
動作及び補完係数の関係図である。

【図９】第２の実施例における白点故障補完回路の構成
図である。

【図１０】第２の実施例において保持される画素データ
の組み合わせである。

【図１１】第２の実施例におけるＲ成分とＢ成分の判定
回路と白点補完回路の回路図である。

【図１２】第２の実施例におけるデコーダの出力を示し
ている。

【図１３】第２の実施例におけるセレクタの制御論理を
示している。

【図１４】第２の実施例における判定条件と補完処理を
示している。

【図１５】第２の実施例におけるＡＧＣデコード出力と
選択される補完関数の一例を示している。

【図１６】第２の実施例におけるＧ成分の判定回路と白
点補完回路の回路図である。

【図１７】内蔵型の構成図である。

【図１８】外部接続の構成図である。

【図１９】従来の白点故障補完回路とその周辺回路の構
成図である。

【符号の説明】

１００白点故障補完回路１１０周辺画素データ保持部１２０比較判定部１３０補完演算部１４０補完係数記憶部２００画素部３００読み出し回路４００ＲＧＢ回路

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年７月８日（２００２．７．８）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】白点故障補完回路及びこの白点故障補
完回路を用いたイメージセンサ

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【０００２】

【０００５】

【００１１】

【００１３】

【００２３】次に、本発明の白点故障補完回路及びこの
白点故障補完回路を備えたイメージセンサについて実施
の形態に基づいて説明する。まず、イメージセンサの画
素部２００について説明する。図２は、イメージセンサ
の画素部における有効画素とその拡大図である。画素部
２００は、固体撮像素子と固体撮像素子が検出した信号
を取り出す素子とから構成される画素がマトリクス状に
配置されている。それぞれの画素は、Ｒ（赤）、Ｇ
（緑）、Ｂ（青）の色成分を透過するフィルタを経由し
て入力する光の明度を検出し、信号として出力してい
る。拡大された部分は、このようなフィルタを経由して
経由して検出される色の配列であり、ベイヤー配列と呼
ばれる。ベイヤー配列は、一般的にイメージセンサのカ
ラーフィルタに使用されている配列である。以下、本発
明の白点故障補完回路及びこの白点故障補完回路を備え
たイメージセンサについて、図２に示した配列の場合を
例に説明する。

【００２６】このように、読み出し回路３００によって
ＰＯＳ、画素データ及び明るさレベルが生成され、次段
の白点故障補完回路１００に出力される。次に、本発明
に係る白点故障補完回路１００について具体例で説明す
る。

【００２７】まず、第１の実施の形態として、画素部の
ライン上の連続する５画素分の画素データに基づいて白
点故障の補完を行なう回路について説明する。図４は、
第１の実施の形態における白点故障補完回路の回路図で
ある。

【００２８】第１の実施の形態の白点故障補完回路は、
周辺画素データを保持する周辺画素データ保持部である
フリップフロップ回路５０１、５０２、５０３、５０
４、５０５、画素データの明度を比較し白点故障である
かどうかを判定する比較判定部である判定回路５０８と
判定結果に応じて出力信号を選択するセレクタ回路５０
６、及び補完演算を行なう補完演算部である白点補完回
路５０７から構成される。

【００２９】フリップフロップ回路（以下、ＦＦとす
る）５０１、５０２、５０３、５０４、５０５は、上記
の説明の読み出し回路のＡＤＣ回路３０５から出力され
た８ビットの画素データを連続５画素分保持している。
保持される画素データの組み合わせについて図５を用い
て説明する。保持された５画素分の画素データは、
（１）Ｒ２を対象画素としたＲ成分の場合、（２）Ｇ２
を対象画素としたＧ成分の場合、（３）Ｂ２を対象画素
としたＢ成分の場合、の３通りの組み合わせがある。こ
のように、第１の実施の形態の場合、対象画素を中心の
第３番目の画素として、同色の周辺画素は第１番目と第
５番目に存在する。

【００３２】ここで比較条件と、比較条件に応じた判定
回路５０８の動作について説明する。以下、Ｒ成分の場
合で説明する。図６は、第１の実施の形態における比較
条件とその判定を示したものである。（１）条件には、
２つの比較条件が設定されている。条件１は、「対象画
素Ｒ２のが画素データの明度が周辺画素Ｒ１とＲ３の明
度の間にあるか」である。また、条件２は、「対象画素
Ｒ２の画素データの明度が、周辺画素Ｒ１とＲ３の明度
の平均より大きいか」である。

【００３５】

【００３６】ここでは、Ｒ成分のみについて説明した
が、Ｇ、Ｂも同様の処理を行なう。次に、白点補完回路
５０７について説明する。図７は、第１の実施の形態に
おける白点補完回路の回路図である。図４と同じものに
は同じ番号を付し、説明は省略する。白点補完回路は、
デコード回路の生成した明度レベル（Ｓ１−Ｓ４）に応
じて１／０の論理積を生成するＡＮＤ１、ＡＮＤ２、Ａ
ＮＤ３、ＡＮＤ４と、周辺画素（Ｐ１とＰ３）とを加算
平均するＡＤＤ１、ＡＤＤ１の出力に対象画素（Ｐ２）
を加算平均するＡＤＤ２、さらにＳＥＬ１とＳＥＬ２の
出力を加算平均するＡＤＤ３、ＡＮＤ１の出力信号に応
じてＡＤＤ２出力またはＰ２を選択するＳＥＬ１、ＡＮ
Ｄ２の出力信号に応じてＡＤＤ１の出力またはＰ２を選
択するＳＥＬ２、ＡＮＤ３の出力信号に応じてＡＤＤ１
の出力またはＡＤＤ３の出力を選択するＳＥＬ３、及び
ＡＮＤ４の出力に応じてＰ１またはＳＥＬ３の出力を選
択するＳＥＬ４とから構成される。

【００３８】明度レベル（Ｓ１―Ｓ３）とセレクタＳＥ
Ｌ１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４の動作について図
８で説明する。図８は、第１の実施の形態における明度
レベルとセレクタの動作及び補完係数の関係図である。
セレクタ選択は、ＡＧＣデコード出力によってＳＥＬ
１、ＳＥＬ２、ＳＥＬ３、ＳＥＬ４がどちらを選択する
かを表している。例えば、Ｓ１＝１の場合は、ＳＥＬ３
が１側を選択し、その他のセレクタは０側を選択する。
また、明度レベル（Ｓ１−Ｓ４）に応じて、補完を行な
う際の補完係数を算出するか、予め記憶部に記憶してお
いた補完係数を抽出して補完を行なう。備考は、補完係
数の例である。

【００４１】次に、第２の実施の形態について説明す
る。第２の実施の形態は、隣接する３×３画素のデータ
を用いて白点故障補完を行なう回路の例である。図９
は、第２の実施の形態における白点故障補完回路の構成
図である。さらに、ここでは、白点補完回路をＲＧＢ変
換回路に組み込んでいる。

【００４２】第２の実施の形態の白点故障補完回路は、
対象画素及び周辺画素の画素データを保持する周辺画素
データ保持部であるフリップフロップ回路、ＦＦ７０
３、ＦＦ７０４、ＦＦ７０５、ＦＦ７０６、ＦＦ７０
７、ＦＦ７０８、ＦＦ７０９、ＦＦ７１０及びＦＦ７１
１とＲＧＢ変換用ラインメモリ７１２、及び白点故障補
完とＲＧＢ変換を行なう白点故障補完回路＋ＲＧＢ変換
回路７１４から構成される。

【００４４】このような構成の周辺画素データ保持部に
おける画素データの組み合わせについて説明する。図１
０は、第２の実施の形態において保持される画素データ
の組み合わせである。一般的なイメージセンサで行なわ
れる処理のひとつにＲＧＢ変換がある。ＲＧＢ変換で
は、３×３画素以上のデータと記憶領域を最低必要とす
る。ここでは、ＲＧＢ変換のための記憶領域（ＲＧＢ変
換用ラインメモリ７１２）に記憶された周辺画素の画素
データを用いて白点故障の判定と白点故障の補完処理を
行なう。周辺画素の画素データが多いほど補完箇所に対
するデータの精度が高くなる。しかしながら、処理のた
めの記憶領域は増加する。このため、ここではＲＧＢ変
換用に記憶されている画素データを使用している。３×
３画素における、各色成分ごとの組み合わせは、各色ご
とに４通りの計１２通りになる。このうち、Ｒ成分とＢ
成分については、３×３画素に含まれる同色の画素数ｈ
の最大は４であるので、同一の判定回路が構成される。
Ｇ成分は、３×３画素に含まれる同色の画素数ｈの最大
は５であるので別な回路構成となる。

【００４５】それぞれの判定回路と白点補完回路につい
て説明する。図１１は、第２の実施の形態におけるＲ成
分とＢ成分の判定回路と白点補完回路の回路図である。
ここでは、簡単のため、ゲインに応じた明度レベルを３
段階とした。

【００５５】次に、このような構成の判定回路及び白点
補完回路の動作について説明する。まず、デコーダ８１
０は、ＰＯＳ信号に応じたデコード信号を生成し、セレ
クタ８２０と加算器８４２に供給する。図１２は、第２
の実施の形態におけるデコーダの出力を示している。デ
コーダ８１０は、Ｘ方向及びＹ方向のＰＯＳ入力信号の
ＬＳＢを参照し、色成分に応じたデコード信号を出力す
る。例えば、Ｙ（ＬＳＢ）が０、Ｘ（ＬＳＢ）も０の場
合、Ｒ成分のデコード出力は４、Ｇ成分のデコード出力
は４、Ｂ成分のデコード出力は１になる。デコード出力
は、３×３の画素データ保持部に存在する色成分のパタ
ーンを表している。例えば、Ｒ成分の出コート出力４
は、図１０のＲ成分のｈ＝１のパターンを示している。

【００５６】セレクタ８２０は、デコーダ８１０のデコ
ード出力に応じて、画素データの選択を行なう。図１３
は、第２の実施の形態におけるセレクタの制御論理を示
している。（１）は、Ｒ成分とＢ成分の場合のセレクタ
選択の表であり、（２）は後述するＧ成分の場合のセレ
クタ選択の表である。また、（３）は、画素の配置図で
ある。ここでは、セレクタ８２０とともに、セレクタ８
４７の動作について説明する。デコード出力が１の場
合、セレクタ８２０の出力端子ＳＬ１には、Ｐ５、すな
わち（３）の配置図を参照して真中の画素データが出力
される。これは、図１０のＲ成分のｈ＝１のパターンが
選択されたことに相当する。このとき、セレクタ８４７
の出力端子は、ｃ端子（１／１）が選択される。すなわ
ち、Ｐ５がそのまま出力される。また、デコード出力が
２の場合、セレクタ８２０の出力端子ＳＬ１にはＰ４、
ＳＬ２にはＰ６が出力される。これは、図１０のＲ成分
のｈ＝２の左側のパターンに相当する。セレクタ８４７
は、ｂ端子（１／２）が選択され、セレクタ８４７は、
Ｐ４とＰ６の平均値を出力する。

【００５８】白点補完部８４０は、加算器８４２とセレ
クタ８４７とによって補完なしの出力信号を算出し、加
算器８４１、８４３、８４４とセレクタ８４５、８４６
によって補完処理が施された出力信号を算出する。最終
段のセレクタ８４８は、比較判定部８３０の出力信号に
応じていずれかを選択して出力する。図１４は、第２の
実施の形態における判定条件と補完処理を示している。
条件１は、「最も明度の高い画素（ｍａｘ（Ｇ１、Ｇ
２、・・・、Ｇｈ））を除く画素データの平均よりも、最
も明度の高い画素（ｍａｘ（Ｇ１、Ｇ２、・・・、Ｇ
ｈ））の明度の方が高い」という条件である。この条件
が成立した場合、最も明度の高い画素（ｍａｘ（Ｇ１、
Ｇ２、・・・、Ｇｈ））は、白点故障であると見なされ
る。

【００５９】表は、条件１が成立した場合（白点故障と
見なされる場合）と、不成立の場合（白点故障と見なさ
れない場合）の補完処理を示している。不成立の場合
は、比較器８３４の出力は０、成立する場合は１が出力
される。Ｇの値は、このとき、算出される画素データで
ある。条件１が成立する場合、Ｇは、所定の補完係数
ｋ、ｊを用いて算出される。ｋとｊは、ＡＧＣデコード
回路の出力する映像の明度レベルに応じて決定される。
図１５は、第２の実施の形態におけるＡＧＣデコード出
力と選択される補完関数の一例を示している。このよう
に、明度レベルに応じて適切な補完係数を選択すること
により、白点故障に対して動的な補完制御を行なうこと
ができる。

【００６０】次に、Ｇ成分の判定回路について説明す
る。図１６は、第２の実施の形態におけるＧ成分の判定
回路と白点補完回路の回路図である。図１１と同じもの
には同じ番号を付し、説明は省略する。

【００６９】

【図面の簡単な説明】

【図４】第１の実施の形態における白点故障補完回路の
回路図である。

【図５】第１の実施の形態において保持される画素デー
タの組み合わせである。

【図６】第１の実施の形態における比較条件とその判定
を示したものである。

【図７】第１の実施の形態における白点補完回路の回路
図である。

【図８】第１の実施の形態における明度レベルとセレク
タの動作及び補完係数の関係図である。

【図９】第２の実施の形態における白点故障補完回路の
構成図である。

【図１０】第２の実施の形態において保持される画素デ
ータの組み合わせである。

【図１１】第２の実施の形態におけるＲ成分とＢ成分の
判定回路と白点補完回路の回路図である。

【図１２】第２の実施の形態におけるデコーダの出力を
示している。

【図１３】第２の実施の形態におけるセレクタの制御論
理を示している。

【図１４】第２の実施の形態における判定条件と補完処
理を示している。

【図１５】第２の実施の形態におけるＡＧＣデコード出
力と選択される補完関数の一例を示している。

【図１６】第２の実施の形態におけるＧ成分の判定回路
と白点補完回路の回路図である。

【図１７】内蔵型の構成図である。

【図１８】外部接続の構成図である。

【符号の説明】１００白点故障補完回路１１０周辺画素データ保持部１２０比較判定部１３０補完演算部１４０補完係数記憶部２００画素部３００読み出し回路４００ＲＧＢ回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者山本克義神奈川県川崎市中原区上小田中４丁目１番１号富士通株式会社内Ｆターム(参考） 5C024 CX21 EX52 GY01 GY04 HX14 HX18 HX28 HX29 HX50 HX52 HX55

Claims

【特許請求の範囲】

【請求項１】固体撮像素子が配置されて成る画素部に
発生した白点故障を補完する白点故障補完回路におい
て、画素部を構成する所定の対象画素とその周辺の周辺画素
の画素データを保持する周辺画素データ保持部と、前記対象画素と周辺画素との明度を比較する周辺画素明
度比較部と、前記周辺画素明度比較部による比較結果に基づいて前記
対象画素が前記周辺画素と比較して予め決められた所定
の値以上の明度を有する白点故障であるか否かを判定す
る比較判定部と、前記比較判定部により前記対象画素が白点故障であると
判定された場合に前記周辺画素データ保持部に保持され
ている前記対象画素及び周辺画素の画素データを用いて
補完演算を行なう補完演算部と、を具備したことを特徴とする白点故障補完回路。
【請求項２】前記補完演算部は、前記補完演算時に前
記対象画素の近傍で検出された映像の明度レベルに応じ
て前記対象画素及び周辺画素の画素データの使用比率を
調整する重み付けを行ない、前記重み付けによる加重平
均を算出して前記対象画素の補完を行なうことを特徴と
する請求項１記載の白点故障補完回路。
【請求項３】前記白点故障回路は、さらに、前記明度
レベルごとに前記対象画素及び周辺画素の画素データに
対して所定の重み付けがなされた補完係数を記憶する補
完係数記憶部を有し、前記補完演算部は、前記明度レベルに応じた補完係数を
前記補完係数記憶部より取得し、前記補完係数を用いて
前記対象画素及び周辺画素の画素データの加重平均を算
出することを特徴とする請求項２記載の白点故障補完回
路。
【請求項４】前記補完演算部は、さらに、前記映像の
明度レベルが予め決められたレベル以上である場合に
は、前記補完演算を行なわないことを特徴とする請求項
２記載の白点故障補完回路。
【請求項５】前記映像の明度レベルは、前記画素部か
らの出力信号の信号処理を行なう際に前記画素部の所定
の領域における明度に応じて前記画素部からの出力信号
を増幅する増幅器の増幅率を調整する制御回路の設定す
る増幅率に基づいて算出することを特徴とする請求項２
記載の白点故障補完回路。
【請求項６】前記周辺画素明度比較部は、前記対象画
素の明度が前記周辺画素の明度より高いかどうかを比較
するとともに、前記対象画素の明度が前記周辺画素の平
均の明度より高いかどうかを比較し、前記比較判定部は、前記周辺画素明度比較部によって前
記対象画素の明度が前記周辺画素のうち最も明度の高い
ものよりも高く、かつ、前記周辺画素の平均の明度より
高い場合に白点故障であると判定することを特徴とする
請求項１記載の白点故障補完回路。
【請求項７】前記周辺画素データ保持部は、前記画素
部からの出力信号を入力する直列に配置されたフリップ
フロップ回路より成ることを特徴とする請求項１記載の
白点故障補完回路。
【請求項８】前記周辺画素データ保持部は、予め決め
られた所定の数の近接する画素データを保持し、前記比較判定部は、前記画素データの明度を比較して最
も明度の高い画素を対象画素とし、残りの画素を周辺画
素として明度の比較と判定を行なうことを特徴とする請
求項１記載の白点故障補完回路。
【請求項９】前記周辺画素データ保持部は、ＲＧＢ変
換用のデータ保持部であることを特徴とする請求項８記
載の白点故障補完回路。
【請求項１０】固体撮像素子が配置されて成る画素部
に発生した白点故障を補完する白点故障補完回路を有す
るイメージセンサにおいて、白点故障補完回路が、画素部を構成する所定の対象画素とその周辺の周辺画素
の画素データを保持する周辺画素データ保持部と、前記対象画素と周辺画素との明度を比較する周辺画素明
度比較部と、前記周辺画素明度比較部による比較結果に基づいて前記
対象画素が前記周辺画素と比較して予め決められた所定
の値以上の明度を有する白点故障であるか否かを判定す
る比較判定部と、前記比較判定部により前記対象画素が白点故障であると
判定された場合に前記周辺画素データ保持部に保持され
ている前記対象画素及び周辺画素の画素データを用いて
補完演算を行なう補完演算部と、を具備したことを特徴とするイメージセンサ。