JP2001054127A

JP2001054127A - 固体撮像装置および画素欠陥補償方法

Info

Publication number: JP2001054127A
Application number: JP11221945A
Authority: JP
Inventors: Masaru Osada; 勝長田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-08-05
Filing date: 1999-08-05
Publication date: 2001-02-23

Abstract

(57)【要約】【課題】各色の配置に着目しながら、画素をずらして
配した撮像でも画素欠陥に対応することのできる固体撮
像装置および画素欠陥補償方法の提供。【解決手段】ディジタルカメラ10は、システム制御部
18により信号処理部36に対する欠陥判定、補間処理の制
御を受けて、欠陥画素に対するデータ補償を行う。具体
的には輝度データ生成機能部36b でデータ補正部36a か
らの画像データを用いてエッジ境界を考慮しながら受光
素子の欠陥判定を欠陥判定部36A で行い、この判定結果
に応じて受光素子の位置における輝度データを、欠陥対
応部36B と正常な受光素子に対しては輝度データ算出部
36C とで、それぞれ求め、欠陥の受光素子の影響を抑
え、かつ破綻のない輝度データの生成を行い、輝度デー
タ補間機能部36c 、高解像度プレーン補間機能部36d お
よびマトリクス処理部36eを介して信号処理を施してい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、固体撮像装置およ
び画素欠陥補償方法に係り、特に、色フィルタのパター
ンに特徴のある、たとえば、ハニカム配置のG 正方格子
RB完全市松やG ストライプRB完全市松等の固体撮像装置
を適用したディジタルカメラ、画像入力装置等で撮像し
た際の欠陥画素のデータを補償する画素欠陥補償方法に
関する。

【０００２】

【従来の技術】現在、固体撮像素子を用いた撮像装置が
ディジタルカメラ等に適用されている。撮像装置には、
固体撮像素子を画素に対応させて、たとえば数百万個の
撮像素子が形成されている。ところで、形成した撮像素
子には、製造工程に起因するキズ等によって正常に光電
変換できない画素がいくつか含まれることがある。この
ような欠陥が素がある場合、撮像装置を適用したディジ
タルカメラにおいては、欠陥が目立たないように画素デ
ータを補償する処理が行われる。

【０００３】たとえば特開昭59-45791号公報のカラー固
体撮像装置では、映像信号の欠陥部分を除去し、欠陥を
含む同一ラインの欠陥画素に対して数画素前の同色フィ
ルタの映像信号を合成してほぼ正常な映像信号に補正
し、画質の低下を抑えている。また、特公平7-97838 号
公報の撮像装置は、メモリに全欠陥位置データを記憶さ
せ、巡回可能なレジスタに記憶した一つの欠陥位置デー
タをと撮像素子の走査位置とをコンパレータで比較し、
比較結果に応じて撮像出力を補正することから、回路規
模を小さくてもスムーズに補正している。これらの２つ
の例において欠陥の補正する位置等の情報はあらかじめ
既知である。

【０００４】ところで、撮像素子には、たとえば、静電
破壊や経時変化等によって欠陥になってしまうことがあ
る。この欠陥に対して確実に補正する固体撮像装置が特
開平6-30425 号公報にある。この装置は、画像のエッジ
成分による誤検出を回避するように２重の判定構造を用
いてリアルタイムで欠陥検出を行う。欠陥検出には、各
画素信号の空間的相関性に着目し、欠陥検出し、この欠
陥位置の近傍の単独画素または複数の周辺画素を用いて
それぞれ、画素データの置換または平均化処理により補
間を行っている。

【０００５】これらの画素欠陥の補間処理を行って撮像
画像の高画質化を進めているが、撮像画像の画質をより
一層高めるべく、現状での画素数として、200 万画素台
の固体撮像装置を搭載したディジタルカメラが市販され
ている。市場では、さらに銀塩写真の画質に対応するよ
うに高画質化が望まれている。

【０００６】

【発明が解決しようとする課題】上述した要望に応える
ように、画素ずらしした受光素子を配し、得られた信号
電荷に基づいて受光素子間の間隙位置で受光素子のな
い、いわゆる仮想受光素子の位置における画素データを
補間生成した固体撮像装置が提案されている。固体撮像
装置は、補間生成により得られる画素数を増加させると
ともに、これまで画素の増加にともなって感光領域が小
さくなることから低下を余儀なくさせられた感度も要求
に応えられるようにしている。

【０００７】ところで、この固体撮像装置においても、
前述したように撮像素子の製造工程で生じる画素欠陥な
らびにその後の静電破壊および経時変化による画素欠陥
の発生は避けられない。しかしながら、画素ずらしした
受光素子とこの受光素子に対して入射光の入射側に色フ
ィルタを配置して色パターンが形成された固体撮像装置
では、これまでの画素欠陥処理がない。このような固体
撮像装置には、そのまま従来の画素欠陥処理が適用でき
ない可能性がある。たとえば、特開平6-30425号の公報
に記載の固体撮像装置は画素欠陥において補正を一律に
行っていることから、境界付近で補正が正しく行われな
い虞れがあった。

【０００８】本発明はこのような従来技術の欠点を解消
し、各色の配置に着目しながら、画素をずらして配した
撮像でも画素欠陥に対応することのできる固体撮像装置
および画素欠陥補償方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上述の課題を解
決するために、光学系を介して被写界からの入射光を光
電変換する受光素子の位置に対応させて色分解する色分
解手段で色分解された光を受光素子の２次元配置した撮
像手段によりカラー撮像し、得られたカラー撮像信号を
ディジタル変換手段でディジタルの画像データにし、こ
の画像データに信号処理を施す信号処理手段を介してこ
の画像データを出力する固体撮像装置において、ディジ
タルの画像データに画像の色調整および階調を補正する
データ補正手段、このデータ補正手段からの画像データ
を用いて受光素子の欠陥および／または画像におけるエ
ッジ境界かの判定を行いながら、この判定結果に応じて
受光素子の位置における輝度データを求める輝度データ
生成手段、この輝度データ生成手段で得た輝度データに
基づいて受光素子の空隙位置における輝度データを求め
る輝度データ補間手段、この輝度データ補間手段と色R
画素データを用いた色R の補間、輝度データ補間手段と
色B 画素データを用いた色B の補間、色G 画素データに
よる色G の補間を行うRGB 補間手段、およびRGB 補間手
段を介して供給される画像データを基に輝度データおよ
び色差データを生成し、これらのデータに折返し歪の発
生を防ぐ処理を施すとともに、この処理した輝度データ
に輪郭強調処理を施す表示画像生成手段を含む信号処理
手段と、信号処理手段の各手段の判定、補間処理の制御
を行う制御手段とを含むことを特徴とする。

【００１０】ここで、輝度データ生成手段は、データ補
正手段からの画像データを用いて受光素子の欠陥または
エッジ境界かの判定を色R, G, B のそれぞれに対して行
う欠陥判定手段と、この欠陥判定手段の結果に応じてこ
の欠陥のある受光素子での画素データを生成して輝度デ
ータの生成を行う欠陥処理手段と、欠陥判定手段による
正常判定に伴い供給される画素データの相関方向に応じ
て輝度データの生成を行う相関対応処理手段とを含むこ
とが好ましい。

【００１１】欠陥判定手段は、受光素子を半ピッチずつ
ずらして配した撮像手段にて領域中央とする受光素子の
位置での色を色B または色R にして、この領域中央の画
素に対して正方格子状の位置に色G を配し、この色G を
最外周の範囲を表す画素データとして用いるとともに、
中央の色と異色の受光素子を最外周上の四辺形の頂点位
置に配した領域または受光素子を所定のピッチで規則的
に配した撮像手段にて領域中央とする受光素子の位置で
の色を色B または色R にして、この領域中央の画素に対
して正方格子状の位置に色G を配し、中央の色と異色の
受光素子を四辺形の頂点位置に配した領域を欠陥検出領
域とし、この欠陥検出領域での斜め方向、水平方向およ
び／または垂直方向における境界領域を考慮しながら、
この境界により分割された領域の同色の画素データをほ
ぼ同じレベルとみなす条件、この境界を表すレベル差の
値、各領域の同色の画素のずれ許容レベルならびに正常
時に色毎の受光素子が採り得る上限値および下限値を用
いて各受光素子の色毎に欠陥判定を行う同色判定手段を
含むことが望ましい。

【００１２】本発明の固体撮像装置は、制御手段で信号
処理手段における判定、補間処理の制御を行うことによ
り以下の処理を行う。すなわち、輝度データ生成手段で
データ補正手段からの画像データを用いて受光素子の欠
陥および／または画像におけるエッジ境界かの判定を行
い、この判定結果に応じて受光素子の位置における輝度
データを求めることで欠陥の受光素子からの画素データ
を用いずに相関判定を行うことから相関の方向を誤って
検出し画像の劣化を生じることにより画像に破綻を起こ
さない輝度データの生成を行う。さらに、輝度データ補
間手段で得られた輝度データに基づいて受光素子の空隙
位置における輝度データをも生成して、RGB 補間手段で
この輝度データ補間手段と各色の画素データを用いてRG
B プレーンデータを生成する。この生成により、高域周
波数成分を含むデータにすることができる。これらの画
素データを用いて輝度データおよび色差データを生成
し、表示画像生成手段でこれらのデータに折返し歪の発
生を防ぐ処理を施すとともに、この処理した輝度データ
に輪郭強調処理を施しても欠陥による撮像して得られた
画像に破綻が生じないようにすることができる。

【００１３】また、本発明は上述の課題を解決するため
に、光学系を介して被写界からの入射光を光電変換する
２次元配置した受光素子の位置に対応させて色分解した
光を受光してカラー撮像し、得られたカラー撮像信号を
ディジタルの画像データにし、該画像データに信号処理
を施すとともに、受光素子からの欠陥データを補償する
画素欠陥補償方法において、受光素子を半ピッチずつず
らして配した撮像手段にて領域中央とする受光素子の位
置での色を色B または色R にして、この領域中央の画素
に対して正方格子状の位置に色G を配し、この色G を最
外周の範囲を表す画素データとして用いるとともに、中
央の色と異色の受光素子を最外周上の四辺形の頂点位置
に配した領域または受光素子を所定のピッチで規則的に
配した撮像手段にて領域中央とする受光素子の位置での
色を色B または色R にして、この領域中央の画素に対し
て正方格子状の位置に色G を配し、中央の色と異色の受
光素子を四辺形の頂点位置に配した領域を欠陥検出領域
とし、この欠陥検出領域での斜め方向、水平方向および
／または垂直方向における境界領域を考慮しながら、こ
の境界により分割された領域の同色の画素データをほぼ
同じレベルとみなす条件、この境界を表すレベル差の
値、各領域の同色の画素のずれ許容レベルならびに正常
時に色毎の受光素子が採り得る上限値および下限値を用
いて各受光素子の色毎に欠陥判定を行う欠陥判定工程
と、この欠陥判定工程の結果により欠陥と判定された受
光素子の色を考慮して、この欠陥検出領域内の欠陥のあ
る受光素子と同色の画素データを用いて欠陥を補償する
欠陥補償工程とを含むことを特徴とする。

【００１４】本発明の画素欠陥補償方法は、所定の欠陥
検出領域で設定した条件および値との比較および判定を
行い領域内の画素欠陥を検出し、この検出結果に応じて
欠陥の色と同色の画素データを用いて欠陥の補償を行う
ことにより、撮像して得られた画像の破綻を回避する。

【００１５】さらに、本発明上述の課題を解決するため
に、光学系を介して被写界からの入射光を光電変換する
２次元配置した受光素子の位置に対応させて色分解した
光を受光してカラー撮像し、得られたカラー撮像信号を
ディジタルの画像データにし、該画像データに信号処理
を施すとともに、受光素子からの欠陥データを補償する
画素欠陥補償方法において、受光素子を半ピッチずつず
らして配した撮像手段にて領域中央とする受光素子の位
置での色を色B または色R にして、該領域中央の画素に
対して正方格子状の位置に色G を配し、この色G を最外
周の範囲を表す画素データとして用いるとともに、中央
の色と異色の受光素子を最外周上の四辺形の頂点位置に
配した領域または前記受光素子を所定のピッチで規則的
に配した撮像手段にて領域中央とする受光素子の位置で
の色を色B または色R にして、この領域中央の画素に対
して正方格子状の位置に色G を配し、中央の色と異色の
受光素子を四辺形の頂点位置に配した領域を欠陥検出領
域とし、受光素子の欠陥が四辺形を形成する色R または
色B にあり、かつ色G にもある場合、欠陥のある受光素
子からの画素データをこの欠陥のある受光素子と同色の
受光素子からの画素データの平均とし、この画素データ
を含む同色同士の４画素データの平均と生成対象の異色
の画素データとの加算平均から領域中央に位置する受光
素子の輝度データを算出することを特徴とする。

【００１６】この画素欠陥補償方法は、欠陥検出、欠陥
画素のデータを用いず、この欠陥画素でのデータ補償を
行い、欠陥がある場合に輝度データ生成対象の色の画素
データと補償した欠陥画素データを含む画素データの加
算平均とを加算して輝度データを算出することでこの輝
度データ生成対象の輝度データを生成している。

【００１７】

【発明の実施の形態】次に添付図面を参照して本発明に
よる固体撮像装置および画素欠陥補償方法の実施例を詳
細に説明する。

【００１８】本発明を適用した実施例のディジタルスチ
ルカメラ10の構成を図１に示す。図１のディジタルスチ
ルカメラ10には、光学レンズ系12、操作部14、システム
制御部18、信号発生部20、タイミング信号発生部22、ド
ライバ部24、絞り調節機構26、光学ローパスフィルタ2
8、色分解部CF、撮像部30、前処理部32、A/D 変換部3
4、信号処理部36、圧縮／伸張部38、記録再生部40、お
よびモニタ42が備えられている。これら各部を順次説明
する。光学レンズ系12は、たとえば、複数枚の光学レン
ズを組み合わせて構成されている。光学レンズ系12に
は、図示しないが、これら光学レンズの配置する位置を
調節して画面の画角を操作部14からの操作信号に応じて
調節するズーム機構や被写体とカメラ10との距離に応じ
てピント調節する、AF（Automatic Focus:自動焦点）調
節機構が含まれている。操作信号は、システムバス16を
介してシステム制御部18に供給される。システム制御部
18の制御により、後述する信号発生部20、タイミング信
号発生部22を介してドライバ部24に信号を供給し、ドラ
イバ部24は駆動信号を光学レンズ系12に供給する。

【００１９】操作部14には、図示しないシャッタスイッ
チやたとえばモニタ画面に表示される項目を選択する機
能が備えられている。特に、シャッタスイッチは、複数
の段階のそれぞれでカメラ10の操作を行うようにシステ
ムバス16を介して操作信号をシステム制御部18に出力す
る。また、本実施例において操作部14は、欠陥画素判定
を行うモードの選択などを行えるように、モニタに表示
されるポインティングデバイスの操作も行う。この場合
の操作部14の操作もシステム制御部18に操作信号として
供給される。

【００２０】システム制御部18は、たとえば CPU（Cent
ral Processing Unit:中央演算処理装置）を有する。シ
ステム制御部18には、ディジタルスチルカメラ10の動作
手順が書き込まれた ROM（Read Only Memory：読み出し
専用メモリ）がある。システム制御部18は、たとえば、
ユーザの操作に伴って操作部14から供給される情報とこ
の ROMの情報を用いて各部の動作を制御する制御信号を
生成する。システム制御部18は、生成した制御信号を信
号発生部20、あらわに制御信号の供給を示していないが
タイミング信号発生部22、前処理部32、A/D 変換部34の
他に、システムバス16を介して信号処理部36、圧縮／伸
張部38、記録再生部40およびモニタ42にも供給する。特
に、システム制御部18は、後述する信号処理部36に対し
て各種の制御を行っている。

【００２１】信号発生部20は、システム制御部18からの
制御に応じてシステムクロックを発振器により発生す
る。信号発生部20は、このシステムクロックをタイミン
グ信号発生部22および信号処理部36に供給する。また、
システムクロックは、たとえばシステムバス16を介して
システム制御部18の動作タイミングの基準としても供給
される。

【００２２】タイミング信号発生部22は、供給されるシ
ステムクロックを制御信号に基づいて各部を動作させる
タイミング信号を生成する回路を含む。タイミング信号
発生部22は、生成したタイミング信号を図１に示すよう
に各部に出力するとともに、ドライバ部24にも供給す
る。ドライバ部24は、前述した光学レンズ系12のズーム
調節機構およびAF調節機構の他、絞り調節機構26および
撮像部30にも駆動信号をそれぞれ供給する。

【００２３】絞り調節機構26は、被写体の撮影において
最適な入射光の光束を撮像部30に供給するように入射光
束断面積（すなわち、絞り開口面積）を調節する機構で
ある。絞り調節機構26にもドライバ部24から駆動信号が
供給される。この駆動信号は、前述したシステム制御部
18からの制御に応じて動作させるための信号である。こ
の場合、システム制御部18は、図示しないが、撮像部30
で光電変換した信号電荷を基にAE（Automatic Exposure
:自動露出）処理として絞り・露光時間を算出してい
る。絞り調節機構26には、この算出した値に対応する制
御信号が供給されたタイミング信号発生部22からの信号
に応じた駆動信号がドライバ部24から供給される。

【００２４】撮像部30は光電変換する撮像素子を光学レ
ンズ系12の光軸と直交する平面が形成されるように配置
する。また、撮像素子の入射光側には、個々の撮像素子
に対応して光学像の空間周波数をナイキスト周波数以下
に制限する光学ローパスフィルタ28と一体的に色分解す
る色フィルタCFが一体的に配設される。本実施例では単
板方式の色フィルタを用いて撮像する。色フィルタCFの
種類等については後段でさらに詳述する。撮像素子に
は、 CCD（Charge Coupled Device:電荷結合素子）や M
OS（Metal Oxide Semiconductor:金属酸化型半導体）タ
イプがある。撮像部30は、供給される駆動信号に応じて
光電変換によって得られた信号電荷を全画素読出しす
る。また、撮像部30はこの撮像信号の読出しに限定され
るものでなく、インターレースまたはX,Y アドレス方式
で読み出すようにしてもよい。

【００２５】前処理部32には、図示しないがCDS （Corr
elated Double Sampling: 相関二重サンプリング；以下
CDS という）部が備えられている。CDS 部は、たとえ
ば、CCD 型の撮像素子を用いて、基本的にその素子によ
り生じる各種のノイズをタイミング信号発生部22からの
タイミング信号によりクランプするクランプ回路と、タ
イミング信号により信号電荷をホールドするサンプルホ
ールド回路を有する。CDS 部は、ノイズ成分を除去して
A/D 変換部34に送る。A/D 変換部34は、供給される信号
電荷というアナログ信号の信号レベルを所定の量子化レ
ベルにより量子化してディジタル信号に変換するA/D 変
換器を有する。A/D 変換部34は、タイミング信号発生部
22から供給される変換クロック等のタイミング信号によ
り変換したディジタル信号を信号処理部36に出力する。

【００２６】信号処理部36には、データ補正部36a 、輝
度データ生成機能部36b 、輝度データ補間機能部36c 、
高解像度プレーン補間機能部36d 、およびマトリクス処
理部36e が含まれる。データ補正部36a には、図示しな
いが色の補正を行うガンマ補正回路や自動的にホワイト
バランスの調整を行うAWB (Automatic White Balance）
回路等がある。特に、ガンマ補正回路は、 ROM（Read O
nly Memory）に供給されるディジタル信号とこのディジ
タル信号に対応して出力する補正データとを組にした複
数のデータセットの集まりであるルックアップテーブル
を用いる。データ補正部36a は、この配置に限定される
ものでなく、後段に設けてもよいが、この位置に配する
ことにより、ルックアップテーブルの個数が最小で済
む。これら一連のデータ補正においてもタイミング信号
発生部22からのタイミング信号に応じて供給される。デ
ータ補正部36a は、この処理した補正データを輝度デー
タ生成機能部36b に出力する。

【００２７】輝度データ生成機能部36b には、欠陥判定
部36A 、欠陥対応部36B 、輝度データ算出部36C が備え
られている。輝度データ生成機能部36b はシステム制御
部18の制御により動作する。特に、欠陥判定部36A は、
図２に制御線等の制御に関わる信号をあらわに図示して
いないがシステム制御部18により欠陥判定を行うかどう
か制御される。欠陥判定部36A には、各色毎にR 判定部
360A、G 判定部362A,366A、B 判定部364Aが備えられて
いる。各判定部360A〜366Aは、エッジの検出に設定した
条件、正常な受光素子で取り得る上限／下限値および同
一境界域の許容範囲を用いて色の画像データを比較す
る。各判定部360A〜366Aは、それぞれで得られた比較結
果に応じて欠陥の判定を行い、判定信号を出力する。た
だし、欠陥検出領域の色フィルタ配置パターンを鑑みて
最外周に位置する色の画素データから欠陥検出領域の中
心に向かって欠陥判定を行う。すなわち、判定は色R ・
色G／色B ・色G の順に行う。また、各判定部360A〜366
Aは、判定を行うだけで欠陥補償は行わない。

【００２８】この欠陥補償は、欠陥対応部36B が担う。
欠陥対応部36B には、RG欠陥対応部360BおよびBG欠陥対
応部362Bが含まれる。RG欠陥対応部360Bは、欠陥検出領
域内の色R, Gに欠陥画素が検出された場合、最外周に位
置する色R の画素の欠陥を補償するとともに、領域内中
央の画素位置、すなわち色B における輝度データを生成
する機能を有する。また、BG欠陥対応部362Bは、RG欠陥
対応部360Bと同様の手順で輝度データを生成する機能を
有する。この機能は、欠陥検出領域内の色B, Gに欠陥画
素が検出された場合、最外周に位置する色B の画素の欠
陥を補償するとともに、領域内中央の画素位置、すなわ
ち色R の輝度データ生成を行うことになる。欠陥の補償
方法は後段で述べる。

【００２９】輝度データ算出部36C は、受光素子に欠陥
のない正常な画素データが供給される。輝度データ算出
部36C は、供給される画素データを通常時の手順に基づ
いて各画素データ間の相関性を考慮して輝度データを算
出する相関輝度の演算機能を有する。輝度データ算出部
36C は、通常時の演算かどうかを欠陥判定部36A からの
判定信号に応じて判別している。図２の輝度データ算出
部36C は、欠陥判定部36A の各部から欠陥なしの判定信
号( アクティブ「Low 」）が供給される場合、イネーブ
ル動作になる。輝度データ生成機能部36b は、このよう
に演算処理により受光素子の位置する画素での輝度デー
タY （または高域輝度データY_hで表す）を生成し、輝度
データ補間機能部36c に出力する。

【００３０】輝度データ補間機能部36c は、供給される
輝度データY の間にある仮想画素の位置における輝度デ
ータの補間生成を行う演算機能部である。この演算機能
部は、輝度データY の補間生成を演算処理する演算回路
の構成または所定の係数の積和でLPF （Low Pass Filte
r ）効果をもたらすLPF でもよい。LPF は図３に模式的
に示す関係をディジタルで構成することができる。この
補間生成の関係についても後段で説明する。輝度データ
補間機能部36c は、プレーンの輝度データY_hを生成し、
高解像度プレーン補間機能部36d に供給される。

【００３１】高解像度プレーン補間機能部36d は、プレ
ーンの輝度データY_hとデータ補正した三原色R, G, B の
画素データを入力し、これらのデータを用いてR プレー
ンデータ、G プレーンデータおよびB プレーンデータを
生成する演算機能部である。高解像度プレーン補間機能
部36d には、図４に示すように、各色に対応させてR補
間展開部360D、G 補間展開部362DおよびB 補間展開部36
4Dが備えられている。R 補間展開部360D、G 補間展開部
362DおよびB 補間展開部364Dには、高域輝度データY_hが
供給される。各色の補間展開部360D, 362D, 364Dは、高
域輝度データY_hおよびそれぞれの補間する色の画素デー
タから各色のプレーンデータを生成する。高解像度プレ
ーン補間機能部36d は、生成した三原色RGB のプレーン
データをマトリクス処理部36e に出力する。高解像度プ
レーン補間機能部36d には、あらわに図示しないがこれ
らの信号処理して得られた画像データを格納するととも
に、非破壊読出し可能なメモリをそれぞれ備えている。
プレーンな画素データの算出機能については後段で詳述
する。

【００３２】図１に戻って、マトリクス処理部36e に
は、図５に示すように、色差マトリクス部360E、アンチ
エリアシングフィルタ部362Eおよびアパーチャ調整部36
4Eが備えられている。色差マトリクス部360Eは、供給さ
れるR プレーンデータ、G プレーンデータおよびB プレ
ーンデータを用いて、画像表示に用いる形式、すなわち
輝度データY 、色差データ(R-Y), (B-Y)に変換する。こ
れらの出力形式のデータは、各色に定めた混合割合を乗
算し演算することから得られる。混合割合を決める係数
は、従来からの値を用いる。この変換した３つのデータ
がアンチエリアシングフィルタ部362Eに出力される。ア
ンチエリアシングフィルタ部362Eには、これら３つのデ
ータに対応してそれぞれローパスフィルタがある。各デ
ータの帯域は異なるが、ローパスフィルタ（LPF ）3620
E, 3622Eおよび3624E は、この帯域を含み折返し歪が生
じないカットオフ周波数が選ばれている。アンチエリア
シングフィルタ部362Eは、歪のないデータを出力する。
このうち、輝度データY がアパーチャ調整部364Eに送ら
れる。アパーチャ調整部364Eは、輝度データY の周波数
の高域を持ち上げる機能を有する輪郭補償器である。輪
郭補償器は高域でのレスポンスの低下を補うように、た
とえばトランスバーサルフィルタ等を用いて構成されて
いる。このデータの高周波域のレベルを持ち上げること
により画像の輪郭強調等の効果をもたらす。また、LPF
3622E, 3624Eには、アパーチャ調整部364Eの処理時間を
考慮して遅延素子を設けてもよい。このようにしてマト
リクス処理部36e は、輝度データY 、色差データ(R-Y),
(B-Y)を圧縮／伸張部38およびモニタ42に出力する。マ
トリクス処理部36e は、モニタ42に撮像した画像をシス
テムバス16を介して供給する。

【００３３】このように構成して信号処理部36は、受光
素子に欠陥があった際にこの受光素子の画素データを用
いて相関補正を行うことにより画素の相関方向を誤って
判定し近傍の画像に影響を与えてしまう虞れを、欠陥画
素の検出、判定および画素データの補償によって欠陥の
目立たない画像データにして、最終的に輝度データYお
よび色差データを生成して圧縮／伸張部38およびモニタ
42に出力する。

【００３４】再び図１に戻って、圧縮／伸張部38は、た
とえば、直交変換を用いたJPEG（Joint Photographic E
xperts Group）規格での圧縮を施す回路と、この圧縮し
た画像を再び元のデータに伸張する回路とを有する。圧
縮／伸張部38は、システム制御部18の制御により記録時
には圧縮したデータをシステムバス16を介して記録再生
部40に供給する。また、圧縮／伸張部38は、前述と同様
にシステム制御部18の制御により信号処理部36からのデ
ータをスルーさせ、システムバス16を介してモニタ42に
供給させてもよい。圧縮／伸張部38が伸張処理を行う場
合、逆に記録再生部40から読み出したデータをシステム
バス16を介して圧縮／伸張部38に取り込んで処理する。
ここで、処理されたデータもモニタ42に供給して表示さ
せる。

【００３５】記録再生部40は、記録媒体に記録する記録
処理部と、記録媒体から記録した画像データを読み出す
再生処理部とを含む（ともに図示せず）。記録媒体に
は、たとえば、いわゆる、スマートメディアのような半
導体メモリや磁気ディスク、光ディスク等がある。磁気
ディスク、光ディスクを用いる場合、画像データを変調
する変調部とともに、この画像データを書き込むヘッド
がある。モニタ42は、システム制御部18の制御に応じて
システムバス16を介して供給される輝度データおよび色
差データまたは三原色RGB のデータを画面の大きさを考
慮するとともに、タイミング調整して表示する機能を有
する。液晶表示のようなモニタを用いている場合、図示
していないが、高解像度プレーン補間機能部36d からの
出力を、たとえば、間引きながら表示させるようにして
もよい。

【００３６】図１に示すディジタルカメラ10は、このよ
うに構成して受光素子の欠陥が目立たないように信号処
理し、得られた画像を記録するようにしている。ところ
で、ディジタルカメラ10の動作を説明する前に、さら
に、カメラの特徴の一つである撮像部30と色フィルタCF
についてさらに説明する。図６は、撮像部30の撮像面を
示している。撮像部30は、図６に示すように、入射する
光を光電変換する受光素子PDに隣接した受光素子PDが垂
直方向および水平方向にずらされて２次元配置された受
光部30a と、この受光部30a の前面に形成された開口部
APを迂回するように配置され、かつ受光素子PDからの信
号を取り出す電極ELと、この電極ELを介して供給される
信号を受光部30a の垂直方向に順次転送する垂直転送レ
ジスタVR1〜VR4 とを備えている。

【００３７】垂直転送レジスタVR1 〜VR4 は、供給され
る垂直転送駆動信号V1〜V4に応じて信号を転送してい
る。すなわち、垂直転送レジスタは１受光部あたり４電
極構造になっている。また、１受光部領域の水平隣接領
域が２電極構造で前述した画素ずれしている。本実施例
の撮像部30に形成された開口部APは、六角形のハニカム
形状に形成する。開口形状は、一般的に正方格子である
がこの形状は、感度を向上させるとともに、垂直転送レ
ジスタの幅を同じにして転送効率を低下させないように
する条件を満たせばよい。このことから判るように形状
は、多角形でもよく、この他の例としては、正方格子を
45°回転させた開口形状として、たとえば、菱形等があ
り、さらに八角形等にしてもよい。

【００３８】開口部APは、図６に示すように各開口部AP
を覆う色フィルタCFの直下にそれぞれ対応して配置され
る受光素子PDの間隔を各方向毎の画素ピッチPPとすると
き、開口部APの配列は、一列毎に垂直方向にあるいは一
行毎に水平方向に画素ピッチPP分だけ移動させた２次元
配置になっている。四角形以上の多角形を用いる場合、
開口形状に合わせて開口部APを隙間なく、隣接する開口
部APが稠密な配置に配置にさせてもよい。このような場
合、配置する上での画素ピッチPPは半ピッチのずらしで
もよい。図６のように六角形の場合、稠密な配置は、水
平・垂直方向とも上述した画素ピッチPPの半分だけずら
した配置により形成できる。このように稠密な配置を得
るには開口部APの形状に依存する。

【００３９】ここで、撮像部30が一般的に用いられる正
方格子状の配置の場合と上述した画素ずらし、いわゆる
ハニカム配置の場合の配置関係を比較する。ハニカムの
配置は、図７(a) に示すように画素ピッチPPがそれぞれ
N(μm)の正方格子状の配置をそれぞれ45°回転させた図
７(b) に示す配置と等価である。また、ハニカム配置と
等価な色フィルタCFは、図８に示すように模式的に表す
と、受光素子のずらし配置に対応して三原色R, G, B の
原色フィルタがそれぞれずれを有するG ストライプRB完
全市松のパターンになる。このパターンをG 正方格子RB
完全市松パターンと呼ぶ。破線の正方形は受光素子のな
い仮想画素を示している。このパターンはR, Bが入れ替
わっても構わない。なお、色フィルタCFは三原色RGB の
原色フィルタに限定されるものでなく、補色フィルタで
もよい。ただし、この場合、補色から原色を求める構成
を追加する。図８においては、色フィルタR, G, B に対
応して記号R, G, B で表すとともに、記号R, G, B の添
字は、受光素子（または画素）の位置を表す。

【００４０】また、ここで、ハニカム配置は、正方格子
状の配置における水平／垂直方向の隣接画素間距離｜PP
｜= N(μm)を基準にしてN*(2)^-1/2 と隣接画素間距離｜
PP｜より短くなる（図７(b) を参照）。したがって、ハ
ニカム配置は、正方格子状の配置よりも画素が稠密に配
置されるので、原理的に水平・垂直方向の解像度を(2)
^1/2倍に向上させることができる。また、ハニカム形状
の配置から出力形態に見合う正方格子状の配置に展開す
る場合、仮想画素のデータは、隣接する画素データに基
づいて前述した輝度データ補間機能部36c および高解像
度プレーン補間機能部36d で補間処理が行われる。この
補間処理を行いながら正方格子状に展開すると、解像度
は、単に正方格子状に受光素子PDを配置したときより高
くできることがわかる。

【００４１】このような特徴を有する撮像部30を適用し
たディジタルカメラ10による画像作成の動作手順を説明
する。ディジタルカメラ10は、図９に示すメインルーチ
ンの手順に従って一枚の画像を撮影する場合、操作部14
のシャッタボタン操作によりAE, AFで得られた露光条件
を考慮したタイミングで最初に撮像を行う（ステップS1
0 ）。ディジタルカメラ10には、異なる分光感度特性を
有する、図６に示したような２次元配列された色フィル
タCF、開口部APを順次介して撮像部30の受光素子PDに入
射光が射し込む。受光素子PDでは、入射光を光電変換し
て得られた信号が電極EL、垂直転送レジスタVRを介し複
数の水平転送レジスタHR（図示しない）から読み出して
前処理部32に出力する。

【００４２】次にこの読み出された信号に対して、信号
処理における前処理を行う（ステップS12 ）。前処理と
しては、前処理部32でたとえば、CDS （相関二重サンプ
リング）処理を行って撮像部30からの信号に含まれるノ
イズ成分を除去している。

【００４３】次に、ノイズ除去等が施された信号をA/D
変換部34でディジタル信号に変換する（ステップS14
）。この変換により各受光素子PDから供給される信号
電荷を画素データに変換する。この変換より以後の信号
処理をディジタル処理で行う。図１に図示していない
が、特に、CCD イメージセンサを用いた際に非破壊タイ
プのバッファメモリを用いるとよい。この場合、バッフ
ァメモリはシステム制御部18から供給される書込み／読
出しイネーブル信号やアドレス信号等の制御信号に応じ
て各色の画素データを信号処理部36に供給する。

【００４４】次にステップS16 では、たとえば、このデ
ィジタル化した画素データに白バランスやガンマ補正を
施す。この処理は、信号処理部36のデータ補正部36a で
行う。このように補正した画素データが輝度データ生成
機能部36b に供給される。

【００４５】輝度データ生成機能部36b では、得られた
画素データに対する欠陥判定を行わずに飛ばすかの判断
を行う（ステップS18 ）。この判断は、あらかじめユー
ザがディジタルカメラ10の操作部14により設定しておい
てもよいし、または使用直前に操作部14を介して設定し
てもよい。判断に関わる制御は、システム制御部18によ
って行われる。欠陥判定を行わないと判断した場合（YE
S ）、サブルーチンSUB2に進む。また、欠陥判定を行う
と判断した場合（NO）、サブルーチンSUB1に進む。サブ
ルーチンSUB1, SUB2については後段でさらに具体的に説
明する。サブルーチンSUB1で欠陥判定を行い、欠陥画素
の位置情報（および欠陥補償した画素データの生成）を
実行した後に、サブルーチンSUB2に進む。

【００４６】サブルーチンSUB2では、通常の（欠陥のな
いまたは欠陥があってもすでにその箇所の画素データを
補償してある場合これまでと同様にそのまま）輝度デー
タの生成を行うとともに、検出した欠陥にも対応した演
算処理で輝度データ生成を行い、求めた輝度データを補
間し、各色の画素データを考慮して３色のプレーンな画
素データを生成する。この一連の処理を輝度データ算出
部36C 、輝度データ補間機能部36c 、および高解像度プ
レーン補間機能部36d で行っている（図１を参照）。後
段で述べるように欠陥の有無に応じて輝度データの作成
時に欠陥画素の補償を含めた処理により輝度データの生
成を行うようにしてもよい。

【００４７】この生成した３色の画像データは、マトリ
クス処理部36e に供給される。マトリクス処理部36d で
は、基本的に画像データ（プレーン画素データ）を輝度
データと色差データにマトリクス変換してモニタ42に出
力するとともに、圧縮／伸張部38にも出力する（サブル
ーチンSUB3）。

【００４８】このマトリクス処理後、モニタ42には撮像
した画像を一時的に表示する（ステップS20 ）。また、
生成した一枚の画像に対して圧縮／伸張部38で圧縮処理
を施す（ステップS22 ）。ここでの圧縮処理は、本実施
例で前述したように直交変換を用いたJPEG規格の圧縮を
施す。

【００４９】この圧縮後、圧縮した画像データを記録再
生部40にシステムバス16を介して供給する（ステップS2
4 ）。また、信号処理の施していない撮像データ、いわ
ゆる生データを記録する場合に図１にあらわに図示して
いないが、たとえば、単に記録するのではなく、少なく
とも信号処理のうち、欠陥判定の処理だけを行い、その
判定結果も記録するようにしてもよい。この場合、記録
再生部40には、A/D 変換後のデータおよび欠陥判定部36
A からの欠陥位置データがシステムバス16を介して供給
される。記録再生部40では、供給された画像データを記
録／再生デバイスに応じて記録を行う。半導体メモリの
場合、ディジタルデータそのものを記録し、データを変
調させて記録する、たとえば、磁気変調、光変調等の場
合、アナログ記録となる。記録時における処理を以上の
ように行って一枚の画像記録処理を終了する。

【００５０】このように動作させることにより、画素
（受光素子）の欠陥の影響を大きく受ける可能性のあ
る、特に、相関性の強い画素データ同士から画像生成を
行う相関判定を考慮した輝度データ生成の場合でも、画
像の劣化に伴う破綻発生を回避することができ、高画質
化を保つことができる。

【００５１】次に前述した個々のサブルーチンの動作に
ついて説明する．まず、サブルーチンSUB1では、欠陥判
定の処理を行う。欠陥判定には、２つの判定を用いる。
一つは、欠陥検出領域の測定対象の画素を色R, Gにして
検出を行い、画像のエッジを考慮して画素の欠陥判定を
行う方法である（サブルーチンSUB4：RG判定）。もう一
つは、欠陥検出領域の測定対象の画素を色B, Gにして検
出を行い、画像のエッジを考慮して画素の欠陥判定を行
う方法である（サブルーチンSUB5：BG判定）。欠陥検出
領域は、図11に示す２次元配置した受光素子PDの撮像面
30A を、たとえば一点鎖線30D で囲む菱形状にする。し
かも欠陥検出領域は相互に領域を重ね合わせるようにし
ている。これは、エッジを最大もらさずに検出するため
である。これにより、欠陥画素の誤り検出をなくすよう
にしている。簡易的に欠陥判定する場合、サブルーチン
SUB4またはサブルーチンSUB5のいずれか一方を用いて欠
陥判定を行うようにしてもよい。欠陥判定の精度は低い
ながら処理時間を速くできる。

【００５２】実際に欠陥判定を行う場合、サブルーチン
SUB4およびSUB5の欠陥検出領域30Dは、一般的に、それ
ぞれ図12(a) および図12(b) で表す画素配置である。す
なわち、図12(a) では色R の画素を四辺形（菱形）の頂
点に配し、色G の画素をその内側に格子状に配し、領域
中央に色B の画素を配した９画素である。また、図12
(b) では、色B の画素を四辺形（菱形）の頂点に配し、
色G の画素をその内側に格子状に配し、領域中央に色R
の画素を配した９画素である。図12において色の配置を
一般的にかつ相対的に表すため添字表示と異なる表示に
している（R1〜R4, G1〜G4, B1；B1〜B4, G1〜G4, R
1）。

【００５３】次にサブルーチンSUB4について図13を用い
て説明する。RG判定は、色R の画素データによる斜めエ
ッジ判定を行う（サブルーチンSUB6）。この判定によ
り、検出領域30D 内でのエッジの有無が明らかになり、
受光素子の欠陥があればその欠陥位置を記憶する。判定
手順は後段で述べる。

【００５４】斜め方向に対する判定の後、欠陥検出領域
30D 内に欠陥を検出したかどうかに応じて次の処理を分
ける（サブステップSS40）。欠陥検出した場合（YES
）、サブルーチンSUB8に進む。また、欠陥が未検出の
場合（NO）、サブルーチンSUB7に進む。

【００５５】サブルーチンSUB7では、色R の画素データ
による水平・垂直エッジ判定を行う。この判定において
も検出領域30D 内でのエッジの有無が明らかになり、受
光素子の欠陥があればその欠陥位置を記憶する。判定手
順は後段で述べる。水平方向・垂直方向に対する判定の
後、欠陥検出領域30D 内に欠陥を検出したかどうかに応
じて次の処理を分ける（サブステップSS42）。欠陥検出
した場合（YES ）、サブルーチンSUB8に進む。また、欠
陥が未検出の場合（NO）、この領域における色R の画素
（受光素子）には欠陥がないものとしてサブルーチンSU
B8に進む。

【００５６】次に色G の画素データによる斜めエッジ判
定を行う（サブルーチンSUB8）。この判定により、検出
領域30D 内でのエッジの有無が明らかになり、受光素子
の欠陥があればその欠陥位置を記憶する。この判定手順
も後段で述べる。

【００５７】斜め方向に対する判定の後、欠陥検出領域
30D 内に欠陥を検出したかどうかに応じて次の処理を分
ける（サブステップSS44）。欠陥検出した場合（YES
）、サブステップSS46に進む。また、欠陥が未検出の
場合（NO）、サブルーチンSUB9に進む。

【００５８】サブルーチンSUB9では、色G の画素データ
による水平・垂直エッジ判定を行う。この判定において
も検出領域30D 内でのエッジの有無が明らかになり、受
光素子の欠陥があればその欠陥位置を記憶する。判定手
順は後段で述べる。水平方向・垂直方向に対する判定の
後、欠陥検出領域30D 内に欠陥を検出したかどうかに応
じて次の処理を分ける（サブステップSS48）。欠陥検出
した場合（YES ）、サブステップSS46に進む。また、欠
陥が未検出の場合（NO）、この領域における色G の画素
（受光素子）には欠陥がないものとしてリターンに進
む。

【００５９】サブステップSS46では、欠陥検出した受光
素子の画素データを補償し、この欠陥検出領域30D の中
央に位置する受光素子に対する輝度データY_hの生成も行
う。この後、リターンに進む。リターンを介してサブル
ーチンSUB4を終了しサブルーチンSUB1に戻る。このよう
にして欠陥検出領域30D 内の色R, Gの画素の欠陥判定を
行う。

【００６０】さらにサブルーチンSUB4において用いたサ
ブルーチンSUB6〜SUB9を順次説明する。説明が理解しや
すいように図12(a) の配置を参照しながら説明する。ま
た、この欠陥検出は、検出領域内で１個の欠陥を見い出
す手順である。エッジ検出における第１の条件は、エッ
ジ境界を含む境界で隔てられた同色の画素データをほぼ
同じ値とすることにある。また、境界とみなすレベル差
をL_Dとする。同じ画素領域に属しながらばらつきの許容
レベル範囲をA_Lとする。そして、個々の色に関する受光
素子の上限（U ）／下限（D ）レベルを、それぞれ、
R_U, R_D, G_U, G_D,B_U, B_Dとする。まず、図14のサブルー
チンSUB6において、色R の欠陥判定対象を画素R4とする
（サブステップSS600 ）。検出領域30D において左斜め
方向にエッジがあるか条件式(1a)

【００６１】

【数１】 { ｜R1-R2 ｜≧L_D} ∩{ ｜R2-R3 ｜≧L_D} ・・・(1a) で判定する。条件式(1a)が真のとき（YES ）、左斜めに
エッジの可能性があるとしてサブステップSS602 に移行
する。また、偽のとき（NO）、この方向にエッジなしと
してサブステップSS604 に移行する。そして、色R の欠
陥判定対象を画素R1とする。検出領域30D において左斜
め方向にエッジがあるか条件式(1b)

【００６２】

【数２】 { ｜R3-R4 ｜≧L_D} ∩{ ｜R2-R3 ｜≧L_D} ・・・(1b) で判定する（サブステップSS602 ）。条件式(1b)が真の
とき（YES ）、左斜めにエッジの可能性がある。これ
は、条件式(1a), (1b)の両方が真のとき（YES ）に相当
し、左斜めにエッジがあるとみなしてサブステップSS60
6 に移行する。また、偽のとき（NO）、左斜め方向にエ
ッジなしとしてサブステップSS604 に移行する。

【００６３】次にこの左斜めエッジの存在を考慮しなが
ら、境界領域内の許容レベル差A_Lを満たしているか、す
なわち、正常かの判定を行う（サブステップSS606 ）。
判定は条件式(1c)

【００６４】

【数３】 { ｜R1-R3 ｜≦A_L} ∩{ ｜R2-R4 ｜≦A_L} ・・・(1c) で判定する。条件式(1c)が真のとき（YES ）、正常と判
定し、リターンに移行する。偽の場合（NO）、異常があ
るとしてサブステップSS608 に移行する。

【００６５】サブステップSS608 では、条件式(1c)の各
辺の条件が満たされているかを判定し、満たされていな
い画素を特定するためさらなる判定を行う。すなわち、
{ ｜R1-R3 ｜≦A_L} と{ ｜R2-R4 ｜≦A_L} をそれぞれ、
判定する。そして、条件を満足しない画素データに対し
ては、色R における正常範囲の上限値R_U／下限値R_Dを用
いてこの範囲内に画素データがあるかどうかを判定する
（R_U＞R1＞R_D, R_U＞R2＞R_D, R_U＞R3＞R_D, R_U＞R4＞
R_D）。この結果、４つの画素データR1〜R4がいずれも正
常範囲を満足している場合（YES ）、リターンに移行す
る。また。、これら４つの画素データのうち正常範囲を
満足しない欠陥画素が検出された場合（NO）、検出した
欠陥画素の位置をメモリ等に記憶する（サブステップSS
610 ）。この後、リターンに移行し、この欠陥検出領域
における判定を終了する。これが左斜めエッジの有りに
応じた色R の欠陥判定である。

【００６６】次に前述したように、左斜めエッジがない
場合（NO）、画素R4, R1の順に右斜め方向にエッジの検
出を行うとともに、欠陥の検出判定を行う。検出領域30
D において右斜め方向にエッジがあるか条件式(1d)

【００６７】

【数４】 { ｜R1-R3 ｜≧L_D} ∩{ ｜R2-R3 ｜≧L_D} ・・・(1d) で判定する。条件式(1d)が真のとき（YES ）、右斜めに
エッジの可能性があるとしてサブステップSS612 に移行
する。また、偽のとき（NO）、この方向にエッジなしと
してサブステップSS614 に移行する。そして、色R の欠
陥判定対象を画素R1とする。検出領域30D において右斜
め方向にエッジがあるか条件式(1e)

【００６８】

【数５】 { ｜R2-R4 ｜≧L_D} ∩{ ｜R2-R3 ｜≧L_D} ・・・(1e) で判定する（サブステップSS612 ）。条件式(1e)が真の
とき（YES ）、右斜めにエッジの可能性がある。これ
は、条件式(1d), (1e)の両方が真のとき（YES ）に相当
し、右斜めにエッジがあるとみなしてサブステップSS61
6 に移行する。また、偽のとき（NO）、右斜め方向にエ
ッジなしとしてサブステップSS614 に移行する。

【００６９】次にこの右斜めエッジの存在を考慮しなが
ら、境界領域内の許容レベル差A_Lを満たしているか、す
なわち正常かの判定を行う（サブステップSS616 ）。判
定は条件式(1f)

【００７０】

【数６】 { ｜R1-R2 ｜≦A_L} ∩{ ｜R3-R4 ｜≦A_L} ・・・(1f) で行う。条件式(1f)が真のとき（YES ）、正常と判定
し、リターンに移行する。偽の場合（NO）、異常がある
としてサブステップSS614 に移行する。

【００７１】サブステップSS614 では、条件式(1f)の各
辺の条件が満たされているかを判定し、満たされていな
い画素を特定するためさらなる判定を行う。すなわち、
{ ｜R1-R2 ｜≦A_L} と{ ｜R3-R4 ｜≦A_L} をそれぞれ、
判定する。そして、条件を満足しない画素データに対し
ては、色R における正常範囲の上限値R_U／下限値R_Dを用
いてこの範囲内に画素データがあるかどうかを判定する
（R_U＞R1＞R_D, R_U＞R2＞R_D, R_U＞R3＞R_D, R_U＞R4＞
R_D）。この結果、４つの画素データR1〜R4がいずれも正
常範囲を満足している場合（YES ）、リターンに移行す
る。また。、これら４つの画素データのうち正常範囲を
満足しない欠陥画素が検出された場合（NO）、検出した
欠陥画素の位置をメモリ等に記憶する（サブステップSS
618 ）。この後、リターンに移行し、この欠陥検出領域
における判定を終了する。これが右斜めエッジの有りに
応じた色R の欠陥判定である。

【００７２】なお、前述した一連の関係に基づいて画素
R2, R3について欠陥判定を行うならば、欠陥検出領域30
D の画素位置を90°回転させた位置関係で行うと、画素
R2,R3でも容易に欠陥判定を行うことができる。

【００７３】次に水平・垂直方向のエッジを考慮した色
R の欠陥判定を説明する（サブルーチンSUB7：図15を参
照）。この場合も欠陥検出領域30D で欠陥判定を行う。
まず、水平方向のエッジの有無に応じた欠陥判定を行う
（サブステップSS700 ）。条件式(2a)

【００７４】

【数７】 { ｜R1-R2 ｜≧L_D} ∩{ ｜R1-R4 ｜≧L_D} ∩{ ｜R1-R3 ｜≧L_D} ・・・(2a) で判定を行う。条件式(2a)が真のとき（YES ）、画素R2
-B1-R3または画素R1にエッジ境界が存在する可能性があ
る。また、条件式(2b)

【００７５】

【数８】 { ｜R2-R4 ｜≧L_D} ∩{ ｜R1-R4 ｜≧L_D} ∩{ ｜R3-R4 ｜≧L_D} ・・・(2b) での判定も行う。フローチャートにはあらわに記してい
ないが、条件式(2a), (2b)のいずれかが真のとき（YES
）、サブステップSS702 に移行する。また、偽のとき
（NO）、サブステップSS704 に進む。

【００７６】条件式(2a)により水平方向にエッジがある
として、画素R1が正常（R_U＞R1＞R_D）とし、エッジ境界
の一方の広い側の領域に含まれる画素に対して、３つの
条件式(2c)-(2e)

【００７７】

【数９】｜R2-R4 ｜≦A_L ・・・(2c) ｜R2-R3 ｜≦A_L ・・・(2d) ｜R3-R4 ｜≦A_L ・・・(2e) が３つとも成り立つ場合、色R の画素は正常（YES ）と
判定できる。この判定の後、リターンに移行する。一
方、条件式(2c)が真で条件式(2d)が偽（NO）の場合、画
素R3が欠陥と判断できる。同様に、条件式(2d)が真で条
件式(2e)が偽の場合、および条件式(2e)が真で条件式(2
c)が偽の場合、それぞれ画素の欠陥はR4, R2と判断でき
る。

【００７８】また、条件式(2b)により水平方向にエッジ
があるとして、画素R1が正常（R_U＞R4＞R_D）とし、エッ
ジ境界の一方の広い側の領域に含まれる画素に対して、
３つの条件式(2f)-(2h)

【００７９】

【数１０】｜R1-R2 ｜≦A_L ・・・(2f) ｜R2-R3 ｜≦A_L ・・・(2g) ｜R1-R3 ｜≦A_L ・・・(2h) が３つとも成り立つ場合、色R の画素は正常（YES ）と
判定できる。この判定の後、リターンに移行する。一
方、条件式(2f)が真で条件式(2g)が偽（NO）の場合、画
素R3が欠陥と判断できる。同様に、条件式(2g)が真で条
件式(2h)が偽の場合、および条件式(2h)が真で条件式(2
f)が偽の場合、それぞれ画素の欠陥はR1, R2と判断でき
る。

【００８０】さらに、検出した欠陥画素が本当に正常範
囲に収まらないのかを判定する（サブステップSS706
）。色R における正常範囲の上限値R_U／下限値R_Dを用
いてこの範囲内に画素データがあるかどうかをそれぞ
れ、判定する（R_U＞R1＞R_D, R_U＞R2＞R_D, R_U＞R3＞R_D,
R_U＞R4＞R_D）。この結果、４つの画素データR1〜R4がい
ずれも正常範囲を満足している場合（YES ）、リターン
に移行する。また、これら４つの画素データのうち正常
範囲を満足しない欠陥画素が検出された場合（NO）、検
出した欠陥画素の位置をメモリ等に記憶する（サブステ
ップSS708 ）。この後、リターンに移行し、この欠陥検
出領域における判定を終了する。

【００８１】また、水平方向にエッジがないと判定され
た場合、前述した通りサブステップSS704 に移行する。
サブステップSS704 では、垂直方向のエッジ検出を考慮
しながら、欠陥判定を行う。判定は条件式(3a)

【００８２】

【数１１】 { ｜R1-R3 ｜≧L_D} ∩{ ｜R2-R3 ｜≧L_D} ∩{ ｜R4-R3 ｜≧L_D} ・・・(3a) で行う。条件式(3a)が真のとき（YES ）、画素R1-B1-R4
または画素R3にエッジ境界が存在する可能性がある。ま
た、判定は条件式(3b)

【００８３】

【数１２】 { ｜R1-R2 ｜≧L_D} ∩{ ｜R4-R2 ｜≧L_D} ∩{ ｜R3-R2 ｜≧L_D} ・・・(3b) でも行う。フローチャートにはあらわに記していない
が、条件式(3a), (3b)のいずれかが真のとき（YES ）、
サブステップSS710 に移行する。また、偽のとき（N
O）、サブステップSS712 に進む。

【００８４】条件式(3a)により水平方向にエッジがある
として、画素R3が正常（R_U＞R3＞R_D）とし、エッジ境界
の一方の広い側の領域に含まれる画素に対して、３つの
条件式(3c)-(3e)

【００８５】

【数１３】｜R1-R4 ｜≦A_L ・・・(3c) ｜R1-R2 ｜≦A_L ・・・(3d) ｜R2-R4 ｜≦A_L ・・・(3e) が３つとも成り立つ場合、色R の画素は正常（YES ）と
判定できる。この判定の後、リターンに移行する。一
方、条件式(3c)が真で条件式(3d)が偽（NO）の場合、画
素R2が欠陥と判断できる。同様に、条件式(3d)が真で条
件式(3e)が偽の場合、および条件式(3e)が真で条件式(3
c)が偽の場合、それぞれ画素の欠陥はR4, R1と判断でき
る。

【００８６】また、条件式(3b)により水平方向にエッジ
があるとして、画素R2が正常（R_U＞R2＞R_D）とし、エッ
ジ境界の一方の広い側の領域に含まれる画素に対して、
３つの条件式(3f)-(3h)

【００８７】

【数１４】｜R1-R4 ｜≦A_L ・・・(3f) ｜R1-R3 ｜≦A_L ・・・(3g) ｜R3-R4 ｜≦A_L ・・・(3h) が３つとも成り立つ場合、色R の画素は正常（YES ）と
判定できる。この判定の後、リターンに移行する。一
方、条件式(3f)が真で条件式(3g)が偽（NO）の場合、画
素R3が欠陥と判断できる。同様に、条件式(3g)が真で条
件式(3h)が偽の場合、および条件式(3h)が真で条件式(3
f)が偽の場合、それぞれ画素の欠陥はR4, R1と判断でき
る。

【００８８】さらに、検出した欠陥画素が本当に正常範
囲に収まらないのかを判定する（サブステップSS712
）。色R における正常範囲の上限値R_U／下限値R_Dを用
いてこの範囲内に画素データがあるかどうかをそれぞ
れ、判定する（R_U＞R1＞R_D, R_U＞R2＞R_D, R_U＞R3＞R_D,
R_U＞R4＞R_D）。この結果、４つの画素データR1〜R4がい
ずれも正常範囲を満足している場合（YES ）、リターン
に移行する。また、これら４つの画素データのうち正常
範囲を満足しない欠陥画素が検出された場合（NO）、検
出した欠陥画素の位置をメモリ等に記憶する（サブステ
ップSS714 ）。この後、リターンに移行し、この欠陥検
出領域における水平・垂直方向のエッジを考慮した欠陥
判定を終了する。

【００８９】次に色G に関する斜め方向のエッジを考慮
しながら、欠陥画素の判定を行うサブルーチンSUB8につ
いて図16を用いて説明する。欠陥検出領域30D の色R に
関して先に求めた斜め方向のエッジ検出結果を考慮し
て、欠陥判定を行う（サブステップSS800 ）。この場
合、条件式(4a), (4b)

【００９０】

【数１５】｜G2-G3 ｜≦L_D ・・・(4a) ｜G1-G4 ｜≦L_D ・・・(4b) でそれぞれ判定する。検出領域30D において条件式(4a)
が真のとき（YES ）、左斜め方向にエッジがある可能性
がある。また、条件式(4b)が真のとき（YES ）、右斜め
方向にエッジがある可能性がある。この条件式(4a)に加
えて、条件式(4c), (4d)

【００９１】

【数１６】 { ｜G1-G2 ｜≦A_L} ∩{ ｜G2-G4 ｜≦A_L} ・・・(4c) { ｜G1-G3 ｜≦A_L} ∩{ ｜G3-G4 ｜≦A_L} ・・・(4d) のいずれか一方が成立する。条件式(4c)が成立すると
き、画素G2は正常と言える（サブステップSS802 :YESを
参照）。同様に、条件式(4d)が成立するとき、画素G3も
正常である（サブステップSS804 :YESを参照）。一方、
成り立たなかった方の条件式に２つ含まれる画素、すな
わち画素G2または画素G3にはエッジの画素と欠陥の画素
のいずれかの可能性がある（サブステップSS802 :NO;サ
ブステップSS804 :NO を参照）。さらに正常範囲にある
か比較判定を行う（サブステップSS806 ) 。

【００９２】また、条件式(4b)に加えて

【００９３】

【数１７】 { ｜G2-G4 ｜≦A_L} ∩{ ｜G3-G4 ｜≦A_L} ・・・(4e) { ｜G1-G3 ｜≦A_L} ∩{ ｜G1-G2 ｜≦A_L} ・・・(4f) のいずれか一方が成立する。条件式(4e)が成立すると
き、画素G4は正常と言える（サブステップSS808 :YESを
参照）。同様に、条件式(4f)が成立するとき、画素G1も
正常である（サブステップSS810 :YESを参照）。一方、
成り立たなかった方の条件式に２つ含まれる画素、すな
わち画素G4または画素G1にはエッジの画素と欠陥の画素
のいずれかの可能性がある（サブステップSS808 :NO;サ
ブステップSS810 :NO を参照）。さらに正常範囲にある
か比較判定を行う（サブステップSS806 ) 。

【００９４】サブステップSS806 では、欠陥の可能性を
有する画素に対するチェックを行う（G_U＞G1＞G_D, G_U＞
G2＞G_D, G_U＞G3＞G_D, G_U＞G4＞G_D）。この結果、４つの
画素データG1〜G4がいずれも正常範囲を満足している場
合（YES ）、リターンに移行する。また、これら４つの
画素データのうち正常範囲を満足しない欠陥画素が検出
された場合（NO）、検出した欠陥画素の位置をメモリ等
に記憶する（サブステップSS812 ）。この後、リターン
に移行し、この欠陥検出領域における水平・垂直方向の
エッジを考慮した欠陥判定を終了する。

【００９５】欠陥判定の最後に、色G の水平・垂直方向
のエッジを考慮しながら、欠陥判定するサブルーチンSU
B9を説明する。図17に示すように、垂直方向のエッジを
考慮しながら、欠陥判定を行う（サブステップSS900
）。この欠陥判定のうち、領域中央または正方格子の
垂直方向の一辺側にエッジがあるかどうか判定する場合
を例に挙げる。この場合の条件は、条件式(5a)

【００９６】

【数１８】 { ｜G1-G2 ｜≧L_D} ∩{ ｜G3-G4 ｜≧L_D} ・・・(5a) で表される。条件式(5a)条件を満足している場合（YES
）、エッジを有する可能性および画素欠陥を含む可能
性があることを意味する。この結果を受けて処理手順を
サブステップSS902 に移行する。

【００９７】条件式(5a)が満たされていないとき（N
O）、エッジがない場合とこれらの画素欠陥を含むこと
が推定される。画素欠陥の推定は後で行うことにして垂
直方向にエッジがないとして水平方向のエッジを考慮し
ながらの欠陥判定に移行する（サブステップSS904 ）。

【００９８】サブステップSS902 では、領域内の画素デ
ータのレベルが同程度であるか条件式(5b), (5c)

【００９９】

【数１９】｜G1-G3 ｜≦A_L ・・・(5b) ｜G2-G4 ｜≦A_L ・・・(5c) を用いて判定する。条件式(5b), (5c)は、それぞれサブ
ステップSS902, SS906の判定に相当している。両サブス
テップSS902, SS906の判定が真のとき、色G の４画素
（受光素子）は正常と判断してリターンに移行する。こ
こで、画素G1, G3または画素G2, G4の組の画素データが
正常範囲をともに越えて異常ながらも両者の値の差が少
ない可能性もあるがここでは無視し、サブステップSS91
4 の処理で検討する。

【０１００】条件式(5b), (5c)が条件を満たさない場
合、各値が正常範囲にあるか判定する（サブステップSS
908 ）。欠陥の可能性を有する画素に対するチェック
は、G_U＞G1＞G_D, G_U＞G2＞G_D, G_U＞G3＞G_D, G_U＞G4＞G_D
で行う。この結果、４つの画素データG1〜G4がいずれも
正常範囲を満足している場合（YES ）、リターンに移行
する。また、これら４つの画素データのうち正常範囲を
満足しない欠陥画素が検出された場合（NO）、検出した
欠陥画素の位置をメモリ等に記憶する（サブステップSS
910 ）。この後、リターンに移行し、この欠陥検出領域
における水平・垂直方向のエッジを考慮した欠陥判定を
終了する。

【０１０１】次に前述したように、垂直方向にエッジが
検出されなかった場合、水平方向のエッジを考慮しなが
ら、欠陥判定を行う（サブステップSS904 ）。この欠陥
判定のうち、領域中央または正方格子の水平方向の一辺
側にエッジがあるかどうか判定する場合を例に挙げる。
この場合の条件は、条件式(6a)

【０１０２】

【数２０】 { ｜G1-G3 ｜≧L_D} ∩{ ｜G2-G4 ｜≧L_D} ・・・(6a) で表される。条件式(6a)条件を満足している場合（YES
）、エッジを有する可能性および画素欠陥を含む可能
性があることを意味する。この結果を受けて処理手順を
サブステップSS912 に移行する。

【０１０３】条件式(6a)が満たされていないとき（N
O）、エッジがない場合とこれらの画素欠陥を含むこと
が推定される。画素欠陥の推定は後で行うことにして水
平方向にエッジがないとして個々の画素データに対する
欠陥判定処理に移行する（サブステップSS914 ）。

【０１０４】サブステップSS912 では、領域内の画素デ
ータのレベルが同程度であるか条件式(6b), (6c)

【０１０５】

【数２１】｜G1-G2 ｜≦A_L ・・・(6b) ｜G3-G4 ｜≦A_L ・・・(6c) を用いて判定する。条件式(6b), (6c)は、それぞれサブ
ステップSS912, SS916の判定に相当している。両サブス
テップSS912, SS916の判定が真のとき、色G の４画素
（受光素子）は正常と判断してリターンに移行する。こ
こで、画素G1, G3または画素G2, G4の組の画素データが
正常範囲をともに越えて異常ながらも両者の値の差が少
ない可能性もあるがここでは無視し、サブステップSS91
4 の処理で検討する。

【０１０６】条件式(6b), (6c)が条件を満たさない場
合、各値が正常範囲にあるか判定する（サブステップSS
914 ）。欠陥の可能性を有する画素に対するチェック
は、G_U＞G1＞G_D, G_U＞G2＞G_D, G_U＞G3＞G_D, G_U＞G4＞G_D
で行う。この結果、４つの画素データG1〜G4がいずれも
正常範囲を満足している場合（YES ）、リターンに移行
する。また、これら４つの画素データのうち正常範囲を
満足しない欠陥画素が検出された場合（NO）、接続子A
を介して検出した欠陥画素の位置をメモリ等に記憶する
（サブステップSS910 ）。この後、リターンに移行し、
この欠陥検出領域における水平・垂直方向のエッジを考
慮した欠陥判定を終了する。

【０１０７】このようにして、斜め・水平・垂直方向に
エッジ検出しながら、欠陥判定を行っている。この欠陥
判定の結果を受けて、欠陥画素のデータを補償する（図
13のサブステップSS46）。欠陥画素の補償は、欠陥検出
領域30D 内における同色の正常画素データを用い、その
加算平均した値を対応させる。また、ここでは、欠陥検
出領域30D 内の領域中央に位置する色B1における輝度デ
ータY_B1 も欠陥補償したデータを用いて算出する（サブ
ステップSS46: 式(7) を参照）。計算式は、式(7)

【０１０８】

【数２２】 Y_B1 ＝B1/2+(R1+R2+R3)*4/3)/8 ・・・ (7) を用いる。この演算は、図２に示したRG欠陥対応部360B
で行う。図10のサブルーチンSUB1のうち、サブルーチン
SUB5のBG判定処理はこれまで説明した関係を考慮してほ
ぼ同じ手順で進めるとよい。繰り返しになるので手順の
説明は省略する。BG判定処理で色B の画素および色G の
画素に欠陥が生じている場合、輝度データY_R1 は、式
(8)

【０１０９】

【数２３】 Y_R1 ＝R1/2+(B1+B2+B3)*4/3)/8 ・・・ (8) を用いる。この演算は、図２に示したBG欠陥対応部362B
で行う。

【０１１０】欠陥が検出されなかった場合、アクティブ
「L 」の信号が輝度データ算出部36C に供給される。こ
の信号を受けて輝度データ算出部36C はサブルーチンSU
B2に従って各種の画素生成処理（サブルーチンSUB10, S
UB11, SUB12 ）を行う。まず、画素生成処理を行うサブ
ルーチンSUB2について説明する。サブルーチンSUB2は、
図18に示すように、サブルーチンSUB10 でこの市松処理
により受光素子の位置に高域輝度データY_hを生成し、サ
ブルーチンSUB11 ではこのデータを基に仮想画素の位置
での高域輝度データY_hを補間生成し、さらにサブルーチ
ンSUB12 でRGBプレーンデータを算出する処理である。
この処理手順についてさらに各サブルーチンの動作手順
を説明する。

【０１１１】まず、モードが適応処理モードであるかど
うかの判別を行う( サブステップSS1000) 。適応処理モ
ードの場合（YES ）、図19のサブステップSS1002に進
む。また、モードが適応処理モードでなかった場合（N
O）、接続子B を介して図21のサブステップSS1004に進
む。

【０１１２】次にサブステップSS1002では、斜め相関処
理を行うかどうか選択を行う。斜め相関処理を行う場合
（YES ）、サブステップSS1006に進む。また、斜め相関
処理を行わない場合（NO）、接続子C を介してサブステ
ップSS1008に進む。サブステップSS1008では、相関処理
を行うかどうかの判定を行う。

【０１１３】ところで、上述したサブステップSS1004で
は、適応処理モードと関係なく輝度データの算出が行わ
れる。この処理を行うにあたり撮像部30のCCD イメージ
センサが本来図22に示すように２次元配列されている。
ここで、添字は、各受光素子の画素としての位置を行列
表現で表した際の位置である。また、実在する受光素子
の画素は、実線で仮想受光素子に対応する画素は、破線
で表している。基本的に輝度データY は、画素データG
と画素データR, Bを用いて（0.5*R+0.5B）で算出できる
ことが知られている。この場合も画素データG は、その
まま輝度データとみなして扱われる（画素データG=輝度
データ）。また、画素データR, Bによる輝度データは、
実在する受光素子の位置に対応する色がG でなくR/B の
場合に、たとえば、図22の画素データR₂₂ の位置に対す
る輝度データY₂₂ は、画素データR₂₂ とその周囲に位置
する画素データB の４画素、すなわち画素データB₀₂, B
₂₀, B₂₄, B₄₂を用いて

【０１１４】

【数２４】 Y₂₂=R₂₂/2+(B₀₂+B₂₀+B₂₄+B₄₂)/8 ・・・ (9) から得られる。また、画素データB₂₄ の位置に対応する
輝度データY₂₄ は、画素データB₂₄ とその周囲に位置す
る画素データR の４画素、すなわち画素データR₀₄,
R₂₂, R₂₆, R₄₄を用いて

【０１１５】

【数２５】 Y₂₄=B₂₄/2+(R₀₄+R₂₂+R₂₆+R₄₄)/8 ・・・(10) から得られる。周囲の画素を用いて補正する補正量はこ
れら４つの画素の総和を画素数を倍した数、すなわち 4
×2=8 で割った値を作成対象画素の半値に加算して求め
ている。これは、算出した平均値に係数0.5 を掛けてい
ることと同じである。各画素に対してこの演算を行って
輝度データY が求められている。このようにして得られ
た結果、図23に示す輝度データの市松状のパターンが得
られる。なお、このような演算は、後述するように斜め
方向、垂直方向および水平方向に相関がないときにも行
われる。

【０１１６】次にサブステップSS1006では、この斜め処
理を行う場合段階を踏んで行うかどうかの判定を行う。
斜め処理を複数の段階を踏まえて行うと判定したとき
（YES）、サブステップSS1010に進む。また、斜め処理
を複数の段階を経て行わないとするとき（NO）、サブス
テップSS1012に進む。

【０１１７】ここで、サブステップSS1010では、比較デ
ータの算出を行う。算出に用いる画素データには、作成
対象の画素データの色と同色の画素データを用いる。比
較データARS は、たとえば、その対象の画素データがR
₂₂ の場合、周囲の画素データR₀₀, R₄₄, R₀₄, R₄₀を用
いて、

【０１１８】

【数２６】 ARS_L= ｜R₀₀-R₄₄ ｜・・・(11) ARS_R= ｜R₀₄-R₄₀ ｜・・・(12) から得られる。添字“L ”, “R ”は、それぞれ斜め
（S ）の傾斜が左斜めと右斜めにあることを示してい
る。図22の配列を反時計方向に45°回転させた場合、水
平方向と垂直方向に対応する。算出した比較データARS_L
とARS_Rの値を用いてさらに相関値（ARS_L-ARS_R ）, （AR
S_R-ARS_L ）が算出される。

【０１１９】次にサブステップSS1014では、算出した相
関値（ARS_L-ARS_R ）と新たに設けられた所定の判定基準
値J0よりも相関値が大きいとき（YES ）、 ARS_R の値が
小さいことを示し、換言すると用いた画素データの値が
似ていることを意味する。これにより、右斜め方向に相
関があると判断してサブステップSS1016に進む。また、
上述した条件が満たされないとき（相関値（ARS_L-ARS
_R ）＜J0）（NO) 、この作成対象画素に対する右斜め相
関がないとしてサブステップSS1018に進む。サブステッ
プSS1016では、この場合、輝度データY₂₂ が

【０１２０】

【数２７】 Y₂₂=R₂₂/2+(R₀₀+R₄₄)/4 ・・・(13) から得られる。

【０１２１】サブステップSS1018では、算出した相関値
（ARS_R-ARS_L ）と所定の判定基準値J0よりも相関値が大
きいとき（YES ）、左斜め方向に相関があると判断して
サブステップSS1020に進む。また、上述した条件が満た
されないとき（相関値（ARS_R-ARS_L ）＜J0）（NO) 、こ
の作成対象画素に対する左斜め相関がないと判定してサ
ブステップSS1022に進む。サブステップSS1020では、こ
の場合、輝度データY₂₂ が

【０１２２】

【数２８】 Y₂₂=R₂₂/2+(R₀₄+R₄₀)/4 ・・・(14) から得られる。サブステップSS1016とサブステップSS10
20の輝度データ算出後は、接続子D を介して図21のサブ
ステップSS1024に進む。

【０１２３】次にサブステップSS1022では、新たな比較
データの算出を行う。ここで、算出に用いる画素データ
は、作成対象画素データの色と異なっている。たとえ
ば、色G を用いて比較データを算出する。比較データAG
S は、たとえば、その対象の画素データがR₂₂ の場合、
比較データAGS は、周囲の画素データG₁₁, G₃₃, G₁₃, G
₃₁を用いて、

【０１２４】

【数２９】 AGS_L= ｜G₁₁-G₃₃ ｜・・・(15) AGS_R= ｜G₁₃-G₃₁ ｜・・・(16) から得られる。このサブステップでは算出した比較デー
タAGS_LとAGS_Rの値を用いてさらに相関値（AGS_L-AGS
_R ）, （AGS_R-AGS_L ）も算出される。この処理後、接続
子E を介して図20のサブステップSS1026に進む。

【０１２５】次にサブステップSS1026では、算出した相
関値（AGS_L-AGS_R ）と、たとえば、新たに設けられた所
定の判定基準値J0a よりも相関値が大きいとき（YES
）、ここでもAGS_Rの値が小さいことから、用いた画素
データの値が似ていることを推定する。これにより、右
斜め方向に相関があると判断してサブステップSS1028に
進む。また、上述した条件が満たされないとき（相関値
（AGS_L-AGS_R ）＜J0a ）（NO) 、この作成対象画素に対
する右斜め相関がないと判定してサブステップSS1030に
進む。サブステップSS1028では、この場合、輝度データ
Y₂₂ が

【０１２６】

【数３０】 Y₂₂=R₂₂/2+(G₁₁+G₃₃)/4 ・・・(17) から得られる。また、輝度データY₂₂ は、式(13)から算
出してもよい。

【０１２７】サブステップSS1030では、算出した相関値
（AGS_R-AGS_L ）と所定の判定基準値J0a よりも相関値が
大きいとき（YES ）、左斜め方向に相関があると判断し
てサブステップSS1032に進む。また、上述した条件が満
たされないとき（相関値（AGS_R-AGS_L ）＜J0a ）（NO)
、この作成対象画素に対する左斜め相関がないとして
サブステップSS1008に進む。サブステップSS1032では、
この場合、輝度データY₂₂ が

【０１２８】

【数３１】 Y₂₂=R₂₂/2+(G₁₃+G₃₁)/4 ・・・(18) から得られる。また、輝度データY₂₂ は、式(14)でもよ
い。サブステップSS1028とサブステップSS1032の輝度デ
ータ算出後は、接続子D を介して図21のサブステップSS
1024に進む。

【０１２９】ところで、サブステップSS1006において簡
易的な斜め処理を選んだ場合、サブステップSS1012に進
むことはすでに述べた。このサブステップSS1012では、
比較データの算出を行う。比較データは、たとえば、適
応処理を施す対象の画素データを中心にしてその周囲の
画素データがどの方向に相関しているかの判別に用い
る。たとえば、その対象の画素データがR₂₂ の場合、比
較データAGは、周囲の画素データG₁₁, G₁₃, G₃₁, G₃₃を
用いて、

【０１３０】

【数３２】 AG= ｜G₁₁+G₃₃-(G₁₃+G₃₁) ｜・・・(19) から得られる。画素データが色R の場合について説明し
ているが、色B の場合も周囲の画素データG から算出す
る。この算出により、左右のいずれか一方に傾きを有す
る大きい方の値が比較データAGとして得られることにな
る。この演算の後、サブステップSS1034に進む。

【０１３１】サブステップSS1034では、対象の画素デー
タを挟んで斜めに位置する画素データに相関（すなわ
ち、斜め相関）があるかどうか判定を行う。この判定に
は、判定基準値として新たにJ1が設定されている。比較
データAGが判定基準値J1以上に大きいとき（YES ）、サ
ブステップSS1036に進む。また、比較データAGが判定基
準値J1よりも小さいとき（NO）、接続子C を介して図20
のサブステップSS1008に進む。

【０１３２】サブステップSS1036では、比較データAGの
算出に用いた４つの画素データG を平均して輝度データ
Y を算出する。作成対象の画素に対して複数の段階や簡
易的な斜め方向に配された画素が相関しているかという
判定により、少なくとも、図24(a) 〜(f) の６パターン
が、たとえば、画素データR=R₂₂ に対して判別されるこ
とになる。ところで、一般的に、図24(a) 〜(f) の斜線
部分と斜線のない領域の近傍には偽色が発生してしまう
虞れがある。しかしながら、境界近傍に位置する画素デ
ータR における輝度データY が、上述した演算により算
出されると、画像全体として見た際に色境界での偽色の
発生を良好に抑圧することができる。具体的な説明を省
略するが画素データB=B₂₄ に対してもサブステップSS10
14〜SS1020、SS1026〜SS1032およびSS1034からSS1036と
同様に比較データを算出し斜め相関の有無に基づいた適
応的な輝度データY を作成することができる。

【０１３３】サブステップSS1036の処理の後、接続子D
を介して図21のサブステップSS1024に進む。これによ
り、一連の斜め処理が終了する。サブステップSS1034で
斜め処理を行わない場合（NO）、接続子C を介してサブ
ステップSS1008に進む。このサブステップ以降に行われ
る処理は、作成対象画素に対する水平・垂直方向の相関
の有無に応じたデータ処理である。サブステップSS1008
では相関処理をするかどうかの判定を行う。相関処理を
受光素子（または色フィルタ）の広い範囲に関して他の
方向、すなわち水平・垂直方向の相関を行う場合の判定
である。この判定を行うとき（YES ）、サブステップSS
1038に進む。この判定をしないとき（NO）、接続子B を
介して図21のサブステップSS1004に進む。

【０１３４】サブステップSS1038では、比較データを算
出する。ここでも画素データR=R₂₂に対する一例を挙げ
て説明する。この処理では画素データR=R₂₂ に対する垂
直方向の比較データABR_Vと水平方向の比較データABR_Hを
周囲に配置されているもう一方の色の画素データ、すな
わち画素データB を用いて式(20)、式(21)

【０１３５】

【数３３】 ABR_V= ｜B₀₂-B₄₂ ｜・・・(20) ABR_H= ｜B₂₀-B₂₄ ｜・・・(21) により算出する。算出した比較データABR_V, ABR_Hの値を
用いてさらに相関値（ABR_H-ABR_V ）, （ABR_V-ABR_H ）が
算出された際に、新たに設けられた所定の判定基準値J2
に対する各方向の相関値の大きさを比較して相関の有無
を判定する手順を説明する。

【０１３６】サブステップSS1040では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ2a が設定されている。比較デー
タABR_Hと比較データABR_Vの差が判定基準値J2a 以上に大
きいとき（YES ）、垂直相関があると判定してサブステ
ップSS1042に進む。また、比較データの差(ABR_H-ABR_V)
が判定基準値J2a よりも小さいとき（NO）、垂直相関が
ないものとみなしサブステップSS1044に進む。

【０１３７】サブステップSS1042では、相関のあるとい
うことは画素データ同士の値が近いことを意味するか
ら、画素データB₀₂, B₄₂を用いて輝度データY を算出す
る。この場合、輝度データY₂₂ は、

【０１３８】

【数３４】 Y₂₂=R₂₂/2+(B₀₂+B₄₂)/4 ・・・(22) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
して図21のサブステップSS1024に進む。

【０１３９】次にサブステップSS1044では、対象の画素
データを挟んで水平に位置する画素データに相関（すな
わち、水平相関）があるかどうか判定を行う。この判定
には、判定基準値として前述したJ2b を用いる。比較デ
ータABR_Vと比較データABR_Hの差が判定基準値J2b 以上に
大きいとき（YES ）、水平相関があると判定してサブス
テップSS1046に進む。また、比較データの差(ABR_V-AB
R_H) が判定基準値J2b よりも小さいとき（NO）、水平相
関がないと判定し、サブステップSS1048に進む。

【０１４０】サブステップSS1046では、相関のあるとし
て画素データB₂₀, B₂₄を用いて輝度データY を算出す
る。この場合、輝度データY₂₂ は、

【０１４１】

【数３５】 Y₂₂=R₂₂/2+(B₂₀+B₂₄)/4 ・・・(23) により得られる。この後、この画素データにおける輝度
データY の算出を終了したものとみなして接続子D を介
してサブステップSS1024に進む。

【０１４２】次にサブステップSS1048では、たとえば、
作成対象画素である色R の画素に対する周囲の色B の画
素の相関判定を行うかどうかを選択する。色R の画素が
周囲の色B の画素の中央位置に配されているので、サブ
ステップSS1040, SS1044における画素間の距離が短い。
すなわち、たとえば、垂直方向において、画素R₂₂ -画
素B₀₂ 、画素R₂₂ - 画素B₄₂ は、画素B₀₂-画素B₄₂ の半
分の距離である。この関係は、作成対象画素と水平方向
に位置する画素においても言える。したがって、前述し
た水平・垂直方向の相関判定に比べてより受光素子（ま
たは色フィルタ）の狭い範囲に対する相関の有無判定が
以後の処理で行われることが判る。この相関判定を行う
場合（YES ）、サブステップSS1050に進む。また、この
相関判定を行わない場合（NO）、接続子B を介してサブ
ステップSS1004に進む。この場合、先の判定基準値J2と
異なる判定基準値J2a, J2bのいずれの基準を満たさなか
ったものと判定される。なお、以後の処理を行わない処
理手順にしてもよい。

【０１４３】サブステップSS1050では、再び比較データ
を算出する。この場合の比較データは、対象の画素デー
タと周囲の画素データの各相関を求め、得られた各相関
値を加算することにより垂直方向および水平方向に対す
る算出がされる。前述の場合と同様に画素データR₂₂ に
対する輝度データY の算出は、垂直方向の比較データAC
R_Vと水平方向の比較データACR_Hを周囲に配置されている
もう一方の色の画素データ、すなわち画素データG を用
いて、式(24)、式(25)

【０１４４】

【数３６】 ACR_V= ｜G₁₁-G₃₁ ｜+ ｜G₁₃-G₃₃ ｜・・・(24) ACR_H= ｜G₁₁-G₁₃ ｜+ ｜G₃₁-G₃₃ ｜・・・(25) により算出する。この処理の後、サブステップSS1012に
進む。この比較データを用いることにより、より一層画
素データの距離を作成対象の画素データと近づけて相関
値が求められることになるので、先のサブステップSS10
40〜SS1046の手順での相関判定の範囲よりも狭い範囲に
関して相関の有無を調べることができる。この算出後、
サブステップSS1052に進む。

【０１４５】サブステップSS1052では、対象の画素デー
タを挟んで垂直に位置する画素データに相関（すなわ
ち、垂直相関）があるかどうか判定を行う。この判定に
は、判定基準値としてJ3が設定されている（ここで、判
定基準値J3は、水平と垂直用にJ3a, J3bと分けてもよ
い）。比較データACR_Hと比較データACR_Vの差が判定基準
値J3以上に大きいとき（YES ）、垂直相関があると判定
してサブステップSS1054に進む。また、比較データの差
(ACR_H-ACR_V) が判定基準値J3よりも小さいとき（NO）、
垂直相関がないと判定してサブステップSS1056に進む。

【０１４６】サブステップSS1054では、前述したサブス
テップSS1042での処理と同じ処理を行う。したがって、
演算には式(22)が用いられる。また、サブステップSS10
56では、対象の画素データを挟んで水平に位置する画素
データに相関（すなわち、水平相関）があるかどうかの
判定を行う。この判定にも判定基準値J3が用いられる。

【０１４７】サブステップSS1056において、比較データ
の差(ACR_V-ACR_H) が判定基準値J3以上のとき（YES ）、
水平相関があると判定してサブステップSS1058に進む。
この場合、サブステップSS1058での輝度データY は、サ
ブステップSS1046で前述したように画素データを用い、
式(23)に基づいて算出される。この後、サブステップSS
1024に進む。また、サブステップSS1056で比較データの
差(ACR_V-ACR_H) が判定基準値J3より小さいとき（NO）、
水平相関がないと判定して接続子B を介して図21のサブ
ステップSS1004に進む。サブステップSS1004では、式
(9) により対象の画素データと周囲のもう一方の色の画
素データ（この場合、画素データB ）を加算平均し0.5
の係数を乗算して輝度データY を算出している。この算
出後、サブステップSS1024に進む。

【０１４８】サブステップSS1024では、市松状の輝度デ
ータのデータ作成が１フレーム分、完了したかどうかの
判定を行っている。この判定は、たとえば、算出した輝
度データY の個数をカウントし、このカウント値と受光
素子の数とが一致するかどうかで容易に行うことができ
る。カウント値が受光素子の数より小さい値のとき（N
O）、まだ処理が完了していないと判定する。この結
果、輝度データY の算出処理を接続子F を介して図19の
サブステップSS1000にまで戻して、これまでの一連の処
理を繰り返す。また、カウント値が受光素子の数に一致
したとき（YES ）、処理をリターンに移行させる。この
リターンを経て処理をサブルーチンSUB11 に移行させ
る。このようにして輝度データY を算出することによ
り、図23のように市松状の受光素子が実在する位置にデ
ータが作成される。

【０１４９】ところで、図24および図25に示すような色
境界を含む画像は、色境界の方向を相関の方向から推定
することができる。ただし、図26に示すように輝度デー
タの算出対象の画素R(=R₂₂) に対して周囲の画素データ
B₀₂, B₂₀, B₂₄, B₄₂から算出する場合、水平方向または
垂直方向の相関を特定することはできない。

【０１５０】次にサブルーチンSUB11 の動作を説明する
（図27を参照）。サブルーチンSUB11 の動作は、前述し
たように輝度データ補間機能部36c のディジタルフィル
タの構成に基づいて行われる。サブステップSS1100で
は、このディジタルフィルタの特徴であるローパスフィ
ルタ処理を施すとともに、仮想受光素子の位置における
画素データを生成してデータ補間を行う。この関係が簡
単に図３に示す。図３でも実在する受光素子に対応する
画素d_(-3), d_(-1), d₍₁₎, d₍₃₎は実線で示し、仮想受光
素子に対応する画素は破線で示し、実在する４つの受光
素子（既存の画素）の間に配した関係になっている。仮
想受光素子に対応する画素d_n(-4), d_n(-2), d_n(0), d
_n(2), d_n(4) には、実在する受光素子との対応を考慮す
ると、何もデータが入っていない状態と同じ関係として
扱う。すなわち、これらの画素には、ゼロが予め設定さ
れている。たとえば、図３(a) に示すように画素d_n(0)
を水平方向に補間するとき、ディジタルフィルタのタッ
プ係数をk₀, k₁, k₂, k₃, k₄,・・・,k_n として整理する
と、高域成分を含む輝度データY_h(0) が式(26)

【０１５１】

【数３７】 Y_h(0)=k₀*d_n(0)+k₁*(d₍₁₎+ d_(-1))+k₂*(d_n(-2)+d_n(2)+k₃*(d_(-3)+d₍₃₎) +k₄*(d_n(-4)+d_n(4))+・・・k_n*(d_n(-n)+d_n(n)) ・・・(26) で表されるように得られる。ただし、この場合、図３
(a) から明らかなように、ゼロのデータが交互に入るの
で、係数は２倍になる。この関係は、図３(a) における
この他の補間対象の画素d_n(-4), d_n(-2), d_n(2), d_n(4)
に対しても当てはめる。これらの補間処理が施されるこ
とにより、高域成分を含む輝度データY_h(-4), Y_h(-2),
Y_h(2), Y_h(4)が得られる（図３(b) を参照）。

【０１５２】また、垂直方向に対してもローパスフィル
タ処理を輝度データ補間機能部36cに配したディジタル
フィルタにより行う。この場合、既に水平方向の補間処
理によって仮想受光素子に対応する画素のデータが補間
されているので、画素データは密に入っている。したが
って、ローパスフィルタの係数は通常と同じにして済ま
せることができる。このようにして得られた高域成分を
含む輝度データを図23に示したように行列表現で表す
と、図28に示すように高域成分を含む輝度データY_hが作
成される。高域成分を含む輝度データY_hは、以下の記載
において高域輝度データと呼ぶ。

【０１５３】次にサブルーチンSUB12 の動作について説
明する。サブルーチンSUB12 は、図１に示すように高解
像度プレーン補間機能部36d で行われる。高解像度プレ
ーン補間機能部36d には、サブルーチンSUB11 で作成さ
れた高域輝度データY_hとこの高域輝度データY_hに対応し
た補間対象の色の画素データがそれぞれの演算処理部に
供給される。高域輝度データY_hは、図４から明らかなよ
うにR 補間展開部360D, G補間展開部362D, およびB 補
間展開部364Dに共通して供給されている。これらの供給
される画素データを用いて色毎にそれぞれの仮想受光素
子の画素における画素データを図29に示すフローチャー
トに従って補間する。この場合、画素データG の補間処
理をサブステップSS1200で最初に行う。このとき、図22
に示すように単板画素ずらし型G 正方RB完全市松のパタ
ーンを用いていることから、既存の画素データG を有す
る画素は、実線の正方格子で表す。また、画素データG
を持たない画素、すなわち、仮想受光素子の対応する画
素および既存の画素データを有していながら、色G と異
なる色の画素は、破線の正方格子で表す。この画素デー
タG を持たない画素を仮想画素と呼ぶ。補間処理には、
４つずつ既存の画素データを用いる。

【０１５４】この関係を具体的に図30に示す。図30のパ
ターンが示すように、仮想画素G₁₂,G₁₄, G₁₆, G₂₁〜 G
₂₆の一行, G₃₂, G₃₄, G₃₆ を補間する場合、補間処理は
隣接する４つずつの画素データG₁₁, G₁₃, G₃₁, G₃₃や画
素データG₁₃, G₁₅, G₃₃, G₃₅等を用いる。また、補間に
用いる画素データG に対応する図23の高域輝度データも
用いて演算する。たとえば、補間対象である仮想画素の
画素データG₂₁ の補間は、同一の列方向の２つの画素に
対応する既存データおよび高域輝度データならびに補間
対象位置の高域輝度データを用いて、式(27)

【０１５５】

【数３８】 G₂₁=(G₁₁+G₃₁)/2-(Y_h11+Y_h31)/2+Y_h21 ・・・(27) から得られる。式(27)の計算式を用いると、仮想画素G
₂₃ を補間することができる。また、仮想画素G₁₂ の補
間は、同一の行方向の２つの画素に対応する既存データ
および高域輝度データならびに補間対象位置の高域輝度
データを用いて、式(28)

【０１５６】

【数３９】 G₁₂=(G₁₁+G₁₃)/2-(Y_h11+Y_h13)/2+Y_h12 ・・・(28) から得られる。式(28)の計算式を用いると、仮想画素G
₃₂ を補間することができる。そして、４つずつの画素
データG₁₁, G₁₃, G₃₁, G₃₃の中心に位置する画素データ
G₂₂ は、これら４つの位置の画素データおよび高域輝度
データを用いて、式(29)

【０１５７】

【数４０】 G₂₂=(G₁₁+G₁₃+G₃₁+G₃₃)/4-(Y_h11+Y_h13+Y_h31+Y_h33)/4+Y_h22 ・・・(29) から得られる。式(29)の計算式を用いると、仮想画素G
₂₃ を補間することができる。画素データG₁₃, G₁₅,
G₃₃, G₃₅を４つを一組のデータとみなして補間する場
合、すでに画素データG₂₃ は算出されているので、残る
画素データG₁₄, G₃₄, G₂₅ を算出すればよい。この処理
を繰り返し行うことにより、画素データG のプレーン画
像を作成する。ただし、プレーン画像の最外縁は、この
ような関係にならないので、厳密に補間を行う場合、境
界値として設定しておくとよい。また、有効画面を考慮
すると、この周辺部のデータは有効画面の範囲外にある
ので算出しなくても構わない。

【０１５８】次に画素データR の算出をサブステップSS
1202で行う。この場合も既存データおよび演算によって
算出された画素データに対応する画素は、実線の正方格
子で表し、仮想画素は破線の正方格子で表す。画素デー
タR における既存の画素データは、図31に示すようにR
₀₀, R₀₄, R₂₂, R₂₆, R₄₀, R₄₄しかない。この場合、サ
ブステップSS1202では、補間対象の仮想画素に対して斜
めに隣接している画素データとこの位置に対応する図23
または図28の高域輝度データを用いる。たとえば、画素
データR₁₁ は、画素データR₀₀, R₂₂ならびに高域輝度デ
ータY_h00, Y_h22およびY_h11を用いて、

【０１５９】

【数４１】 R₁₁=(R₀₀+R₂₂)/2-(Y_h00+Y_h22)/2+Y_h11 ・・・(30) によって算出される。同様に、仮想画素R₁₃, R₃₁, R₃₃
は、式(37)と同じ関係にあるそれぞれ画素データR₀₄, R
₂₂、画素データR₄₀, R₂₂および画素データR₄₄ ，R₂₂ を
適用して算出する。既存の画素データR₂₆ も考慮して算
出すると、隣接斜め補間処理により仮想画素R₁₅, R₃₅も
作成することができる。この結果が図32に示されてい
る。

【０１６０】次にサブステップSS1204では、一つ前のサ
ブステップSS1202で算出された画素によって囲まれた画
素を補間対象の画素とし、補間に際して算出されたこれ
ら４つの画素データおよびその位置の高域輝度データを
用いて補間処理を行う。たとえば、画素データR₂₄ を中
心に図32から判るように、その周囲の画素データR₁₃,R
₁₅, R₃₃, R₃₅の位置のデータを用いて、式(31)

【０１６１】

【数４２】 R₂₄=(R₁₃+R₁₅+R₃₃+R₃₅)/4-(Y_h13+Y_h15+Y_h33+Y_h35)/4+Y_h24 ・・・(31) によって算出される。式(31)に用いる画素データと同等
の配置関係が周辺の画素から得られるとき、この補間を
施すことによって、図33に示すように画素データR₀₂, R
₂₀, R₄₂ が得られる。換言すると、補間対象の画素から
見れば、補間に使用する画素データはすべて斜めに位置
している。

【０１６２】次にサブステップSS1206では、これまでに
得られた画素データを用いるとともに、これらの画素の
うち、補間対象の画素に対して上下左右に位置する画素
データから補間を行う。たとえば、画素データR₁₂ を中
心に上下左右の４つの画素データおよびその位置の高域
輝度データを用いて、式(32)

【０１６３】

【数４３】 R₁₂=(R₀₂+R₁₁+R₁₃+R₂₂)/4-(Y_h02+Y_h11+Y_h13+Y_h22)/4+Y_h12 ・・・(32) によって算出される。同様の位置関係にある、たとえ
ば、画素データR₁₄, R₃₂,R₃₄ は、式(32)に用いた画素
データの位置関係に対応するデータを代入すると算出で
きる。さらに、図33の右側に画素が継続していると、画
素データR₁₆, R₃₆も算出することができる。

【０１６４】なお、図34に示すように周辺部には未補間
の仮想画素が残ってしまうので、この仮想画素に対して
周囲を囲む、たとえば３つの画素から補間するようにし
てもよい。この補間の場合も前述した補間の手法を用い
ると、仮想画素の画素データR₀₁ は、

【０１６５】

【数４４】 R₀₁=(R₀₀+R₀₂+R₁₁)/3-(Y_h00+Y_h02+Y_h11)/3+Y_h01 ・・・(33) によって算出される。このようにしてこの他、画素デー
タR₀₃, R₀₅, R₁₀, R₃₀,R₄₁, R₄₃, R₄₅ が補間される。
最終的に画素データR に関するプレーン画面全体が補間
される。

【０１６６】次に画素データB に対する補間処理がサブ
ステップSS1208, SS1210, SS1212で行われる。サブステ
ップSS1208, SS1210, SS1212は、それぞれ、画素データ
B における隣接斜め補間処理、４つの補間データによる
中央補間処理および上下左右の４画素による中央補間処
理である。これらの補間処理は、前述した画素データR
の補間処理（すなわち、サブステップSS1202, SS1204,
SS1206）に準拠している。これは、図31の画素データR
と図35の画素データB の画素配置の関係から判る。すな
わち、図35の画素データB の画素配置は、各色の添字に
表される行列表示から、図31の画素データR を水平（す
なわち、行）方向に２列ずつ全体にシフトした配置にな
っている。このことから、これまで式(30)〜式(33)まで
の式を適用して仮想画素を補間する場合、行列表示で列
の数字が２以上の右側で各画素データの添字の列の数字
に+2だけ加算した関係で算出を行うとよい。たとえば、
画素データB₁₃ や画素データB₃₃ は、式(30)の色R を色
B に置換し、画素データR₀₀, R₃₁の位置関係を画素デー
タB₀₂, B₃₃にして

【０１６７】

【数４５】 B₁₁₊₂=(B₀₀₊₂+B₂₂₊₂)/2-(Y_h00+2+Y_h22+2)/2+Y_h11+2 B₁₃=(B₀₂+B₂₄)/2-(Y_h02+Y_h24)/4+Y_h13 ・・・(34) B₃₁₊₂=(B₂₂₊₂+B₄₀₊₂)/2-(Y_h22+2+Y_h40+2)/4+Y_h31+2 B₃₃=(B₂₄+B₄₂)/2-(Y_h24+Y_h42)/4+Y_h33 ・・・(35) のように演算処理することにより算出される。また、画
素データの行列表示における列の数字が２より小さい左
側で各画素データの補間処理を行う場合には、画素デー
タR₀₄, R₂₂を用いて画素データR₁₃ を算出する関係を用
い、添字の数字から-2だけ減算させて算出するとよい。
たとえば、画素データB₁₁ は、

【０１６８】

【数４６】 B_13-2=(B_04-2+B_22-2)/2-(Y_h04-2+Y_h22-2)/2+Y_h13-2 B₁₁=(B₀₂+B₂₀)/2-(Y_h02+Y_h20)/4+Y_h11 ・・・(36) から得られる。他の式(31)〜式(33)においても同様の関
係が成立している。この関係に注意してサブステップSS
1210, SS1212で補間処理を行うと、画素データBに関す
るプレーン補間展開を行うことができる。この処理の
後、サブステップSS1214に進む。

【０１６９】サブステップSS1214では、プレーン補間展
開が各色毎にすべて終了したかどうかの判定を行う。一
連の処理がまだ終了していないとき（NO）、サブステッ
プSS1200に戻って処理を繰り返す。なお、各色毎にこの
確認処理をおこなってもよい。また、一連の処理が終了
したとき（YES ）、リターンに移行する。この移行後、
サブルーチンSUB12 の処理が終了する。このような手順
で動作させることにより、RGB それぞれにプレーンで、
かつ高解像度な画像データを生成することができる。

【０１７０】また、サブルーチンSUB10 の輝度データY
の生成においては、欠陥画素をほとんど意識することな
く動作させている。しかしながら、欠陥画素の位置があ
らかじめ正確に判明している場合、サブルーチンSUB10
の輝度データY の生成にあらわにしていないが、画素デ
ータの相関方向を判定する前に欠陥情報に基づいて輝度
データを生成する工程を加えておく。たとえば、色R の
欠陥（R1〜R4の一つ）および色G の欠陥（G1〜G4の一つ
ないし複数）に応じて輝度データを演算生成するように
してもよい。具体的には、画素R4に欠陥があり、欠陥検
出領域30D 内の領域中央に色B1が位置する場合の輝度デ
ータY_B1 生成は、欠陥画素のデータを補償することによ
り式(7) と同様に式(37)

【０１７１】

【数４７】 Y_B1 ＝B1/2+(R1+R2+R3)*4/3)/8 ・・・(37) を用いて行う。このようにどこで処理するか異なるだけ
で欠陥画素の補償結果は同じにできる。

【０１７２】なお、本実施例は、色フィルタの配置パタ
ーンが、G 正方RB完全市松パターンの場合について説明
したが、この実施例に限定されるものでなく、図36に示
すGストライプRB完全市松パターンにも適用できる。色
を表す記号R, G, B の添字は、画素の位置を行列表示さ
せたものである。画素ずらしがない分、この色フィルタ
配置では仮想画素の補間等の処理が不要になる。また、
欠陥検出領域30D は、図37に示す色フィルタ配置パター
ンの関係になる。フローチャートは、基本的に前述した
実施例の場合と同じである。その中で、たとえば、サブ
ステップSS1050で算出する、水平方向および垂直方向の
相関を検討する際の比較算出データとしてAGH, AGVを次
のように設定し、導入してもよい。AGH, AGVは、それぞ
れ式(38), 式(39)

【０１７３】

【数４８】 AGH=（｜G1-G2 ｜+ ｜G5-G6 ｜+ ｜G3-G4 ｜)*Kh ・・・(38) AGV=（｜G1-G5 ｜+ ｜G5-G3 ｜+ ｜G2-G6 ｜+ ｜G6-G4 ｜)*Kv ・・・(39) により算出する。ここで、Kh, Kvは、定数である。この
設定を導入して相関方向を判定することによりG ストラ
イプRB完全市松パターンでも図38に示すように輝度デー
タY_hを各受光素子の位置において適切に生成される。こ
れにより、これらのデータを用いて欠陥による破綻を軽
減・回避しながら、高画質な画像データを作成すること
ができる。

【０１７４】最後に、サブルーチンSUB3について説明す
る。高解像度プレーン補間機能部36d から出力されたRG
B データを用いてマトリクス処理がマトリクス処理部36
e の色差マトリクス部360Eで行われる（サブステップSS
30）。このマトリクス処理により輝度データY 、色差デ
ータ(R-Y), (B-Y)が生成される。この処理後、得られた
輝度データY 、色差データ(R-Y), (B-Y)に対して広帯域
にわたるLPF 処理を施す（サブステップSS32）。この処
理によって折り返し歪みの発生を抑制している。この処
理は、アンチエリアシングフィルタ部362Eで行う。この
処理を経て帯域の広い色差データ(R-Y)=C_r, (B-Y)=C_bが
得られる。また、輝度データY には、さらにアパーチャ
調整が施される（サブステップSS34）。アパーチャ調整
は、図５のアパーチャ調整部364Eで行われる。このよう
に処理されて高域特性の良い輝度データY が得られる。
この処理の後、リターンに進み、サブルーチンSUB2を終
了する。

【０１７５】以上のように構成し、欠陥のある画素を的
確に判定し、この判定に応じて対処することにより、画
素データの相関性を考慮して、受光素子が持たない色の
画素データまたは受光素子のない、仮想画素の位置にお
ける画素データを生成する場合に、画素（受光素子）に
欠陥があると周囲に及ぼす影響が大きく、劣化した画像
を生成する高い可能性を抑えることができる。これによ
り、高解像度の撮像装置での品質を保つことができる。

【０１７６】

【発明の効果】このように本発明の固体撮像装置によれ
ば、制御手段で信号処理手段における判定、補間処理の
制御を受け、具体的には輝度データ生成手段でデータ補
正手段からの画像データを用いてエッジ境界を考慮しな
がら受光素子の欠陥判定を行い、この判定結果に応じて
受光素子の位置における輝度データを求めることで欠陥
の受光素子からの画素データを用いずに後の相関判定処
理を行うことから相関の方向を誤って検出し画像の劣化
を生じることにより画像に破綻を起こさない輝度データ
の生成を行う。この受光素子からの画素データおよび／
または輝度データの生成を補償することにより、輝度デ
ータ補間手段で得られた輝度データに基づいて受光素子
の空隙位置における輝度データを生成し、RGB 補間手段
でこの輝度データ補間手段と各色の画素データを用いて
RGB プレーンデータを生成しても周囲の画素データに対
する影響を抑えることができる。そして生成した画素デ
ータを高域周波数成分を含むデータにし、これらの画素
データを用いて表示画像生成手段で生成した輝度データ
および色差データに欠陥の影響が現れない画像にして出
力することができる。これにより、高解像度の撮像装置
での品質を保つことができる。

【０１７７】また、本発明の画素欠陥補償方法によれ
ば、所定の欠陥検出領域で設定した条件および値との比
較および判定を行い領域内の画素欠陥を検出し、この検
出結果に応じて欠陥の色と同色の画素データを用いて欠
陥の補償を行うことにより、後に行う相関判定処理にお
ける相関の方向を誤って検出し画像を劣化させてしまう
ような画像に破綻を起こさない輝度データの生成を行
う。このように撮像して得られた画像の破綻を回避し、
たとえ受光素子などに経年変化が生じても高画質に保つ
ことができる。

【０１７８】さらに、画素欠陥補償方法は、欠陥検出、
欠陥画素でのデータ補償を行い、欠陥がある場合に輝度
データ生成対象の色の画素データと補償した欠陥画素デ
ータを含む画素データの加算平均とを加算して輝度デー
タを算出してこの輝度データ生成対象の輝度データに破
綻が生じないように回避することができる。

【図面の簡単な説明】

【図１】本発明に係る固体撮像装置を適用したディジタ
ルカメラの概略的な構成を示すブロック図である。

【図２】図１のディジタルカメラにおける輝度データ生
成機能部の概略的な構成を示すブロック図である。

【図３】図１の輝度データ補間機能部に用いるローパス
フィルタの原理を説明する模式図である。

【図４】図１の高解像度プレーン補間機能部の概略的な
構成を示すブロック図である。

【図５】図１のマトリクス処理部の概略的な構成を示す
ブロック図である。

【図６】図１の撮像部における受光素子の配置と各受光
素子に対応する色フィルタの関係を示す模式図である。

【図７】図１の撮像部において受光素子の配置を正方格
子状にした場合とハニカム配置にした場合の違いを説明
する模式図である。

【図８】図１の撮像部に適用した色フィルタ、G 正方RB
完全市松パターンを説明する模式図である。

【図９】図１のディジタルカメラの動作手順を説明する
メインフローチャートである。

【図１０】図９のサブルーチンSUB1の処理を説明するフ
ローチャートである。

【図１１】図８の撮像部の撮像面における欠陥検出領域
の関係を説明する模式図である。

【図１２】図11の欠陥検出領域において(a) RG判定と、
(b) BG判定との色フィルタ配置の関係を説明する模式図
である。

【図１３】図10におけるRG判定処理を行うサブルーチン
SUB4の動作手順を説明するフローチャートである。

【図１４】図13のR 斜めエッジ判定（サブルーチンSUB
6）の概略的な動作手順を説明するフローチャートであ
る。

【図１５】図13のR 水平・垂直エッジ判定（サブルーチ
ンSUB7）の概略的な動作手順を説明するフローチャート
である。

【図１６】図13のG 斜めエッジ判定（サブルーチンSUB
8）の概略的な動作手順を説明するフローチャートであ
る。

【図１７】図13のG 水平・垂直エッジ判定（サブルーチ
ンSUB9）の概略的な動作手順を説明するフローチャート
である。

【図１８】図９のサブルーチンSUB2で行う演算補間処理
の動作手順を説明するフローチャートである。

【図１９】図18のサブルーチンSUB10 における市松状の
データ作成を行う手順を説明するフローチャートであ
る。

【図２０】図18のサブルーチンSUB10 において図19から
の継続した動作手順を説明するフローチャートである。

【図２１】図18のサブルーチンSUB10 において図19や図
20からの継続した動作手順を説明するフローチャートで
ある。

【図２２】色フィルタを介して受光素子から得られる画
素データおよび仮想画素の位置関係を示す模式図であ
る。

【図２３】図19〜図21の処理により得られる高域輝度デ
ータの位置を示す模式図である。

【図２４】図18のサブルーチンSUB10 で行われる斜め相
関の判定が可能な色境界のパターンを示す模式図であ
る。

【図２５】図19ないし図21のサブルーチンSUB10 で行わ
れる垂直相関および水平相関の判定が可能な色境界のパ
ターンを示す模式図である。

【図２６】図19ないし図21のサブルーチンSUB10 で色境
界の判定が困難なパターンを示す模式図である。

【図２７】図18のサブルーチンSUB2におけるサブルーチ
ンSUB11 の補間処理の手順を説明するフローチャートで
ある。

【図２８】図27の補間処理により得られる高域輝度デー
タの位置を示す模式図である。

【図２９】図18のサブルーチンSUB2におけるサブルーチ
ンSUB12 のRGB プレーン補間処理の手順を説明するフロ
ーチャートである。

【図３０】図29のRGB プレーン補間処理のうち、画素デ
ータG に関する補間対象の画素と既存の画素の位置関係
を示す模式図である。

【図３１】図29のRGB プレーン補間処理のうち、画素デ
ータR に関する補間対象の画素と既存の画素の位置関係
を示す模式図である。

【図３２】図31の位置関係に隣接斜め補間処理した結果
を加えた際の位置関係を示す模式図である。

【図３３】図32の位置関係に隣接斜め補間処理により得
られた４つの画素データを用いて補間処理した結果を加
えた際の位置関係を示す模式図である。

【図３４】図33の位置関係に補間対象の画素に対して上
下左右に位置する画素データを用いて補間処理した結果
を加えた際の位置関係を示す模式図である。

【図３５】図29のRGB プレーン補間処理のうち、画素デ
ータB に関する補間対象の画素と既存の画素の位置関係
を示す模式図である。

【図３６】図１の撮像部に適用した色フィルタ、G スト
ライプRB完全市松パターンを説明する模式図である。

【図３７】図36の撮像部の撮像面における欠陥検出領域
の関係を説明する模式図である。

【図３８】図36の受光素子に対して得られる高域輝度デ
ータの位置を示す模式図である。

【図３９】図９のサブルーチンSUB3で行うマトリクス化
の動作手順を説明するフローチャートである。

【符号の説明】 10 ディジタルカメラ 14 操作部 18 システム制御部 30 撮像部 34 A/D 変換部 36 信号処理部 36a データ補正部 36b 輝度データ生成機能部 36c 輝度データ補間機能部 36d 高解像度プレーン補間機能部 36e マトリクス処理部 36A 欠陥判定部 36B 欠陥対応部 36C 輝度データ算出部

Claims

【特許請求の範囲】

【請求項１】光学系を介して被写界からの入射光を光
電変換する受光素子の位置に対応させて色分解する色分
解手段で色分解された光を前記受光素子の２次元配置し
た撮像手段によりカラー撮像し、得られたカラー撮像信
号をディジタル変換手段でディジタルの画像データに
し、該画像データに信号処理を施す信号処理手段を介し
て該画像データを出力する固体撮像装置において、該装
置は、前記ディジタルの画像データに画像の色調整および階調
を補正するデータ補正手段、該データ補正手段からの画像データを用いて前記受光素
子の欠陥および／または前記画像におけるエッジ境界か
の判定を行いながら、該判定結果に応じて前記受光素子
の位置における輝度データを求める輝度データ生成手
段、該輝度データ生成手段で得た輝度データに基づいて前記
受光素子の空隙位置における輝度データを求める輝度デ
ータ補間手段、該輝度データ補間手段と色R 画素データを用いた色R の
補間、前記輝度データ補間手段と色B 画素データを用い
た色B の補間、色G 画素データによる色G の補間を行う
RGB 補間手段、および該RGB 補間手段を介して供給され
る画像データを基に輝度データおよび色差データを生成
し、これらのデータに折返し歪の発生を防ぐ処理を施す
とともに、該処理した輝度データに輪郭強調処理を施す
表示画像生成手段を含む信号処理手段と、前記信号処理手段の各手段の判定、補間処理の制御を行
う制御手段とを含むことを特徴とする固体撮像装置。
【請求項２】請求項１に記載の装置において、前記輝
度データ生成手段は、前記データ補正手段からの画像デ
ータを用いて前記受光素子の欠陥またはエッジ境界かの
判定を色R, G, B のそれぞれに対して行う欠陥判定手段
と、該欠陥判定手段の結果に応じて該欠陥のある受光素子で
の画素データを生成して輝度データの生成を行う欠陥処
理手段と、前記欠陥判定手段による正常判定に伴い供給される画素
データの相関方向に応じて輝度データの生成を行う相関
対応処理手段とを含むことを特徴とする固体撮像装置。
【請求項３】請求項２に記載の装置において、前記欠
陥判定手段は、前記受光素子を半ピッチずつずらして配
した撮像手段にて領域中央とする受光素子の位置での色
を色B または色R にして、該領域中央の画素に対して正
方格子状の位置に色G を配し、該色G を最外周の範囲を
表す画素データとして用いるとともに、前記中央の色と
異色の受光素子を前記最外周上の四辺形の頂点位置に配
した領域または前記受光素子を所定のピッチで規則的に
配した撮像手段にて領域中央とする受光素子の位置での
色を色B または色R にして、該領域中央の画素に対して
正方格子状の位置に色G を配し、前記中央の色と異色の
受光素子を四辺形の頂点位置に配した領域を欠陥検出領
域とし、該欠陥検出領域での斜め方向、水平方向および／または
垂直方向における境界領域を考慮しながら、該境界によ
り分割された領域の同色の画素データをほぼ同じレベル
とみなす条件、該境界を表すレベル差の値、各領域の同
色の画素のずれ許容レベルならびに正常時に色毎の受光
素子が採り得る上限値および下限値を用いて各受光素子
の色毎に欠陥判定を行う同色判定手段を含むことを特徴
とする固体撮像装置。
【請求項４】光学系を介して被写界からの入射光を光
電変換する２次元配置した受光素子の位置に対応させて
色分解した光を受光してカラー撮像し、得られたカラー
撮像信号をディジタルの画像データにし、該画像データ
に信号処理を施すとともに、前記受光素子からの欠陥デ
ータを補償する画素欠陥補償方法において、該方法は、前記受光素子を半ピッチずつずらして配した撮像手段に
て領域中央とする受光素子の位置での色を色B または色
R にして、該領域中央の画素に対して正方格子状の位置
に色G を配し、該色G を最外周の範囲を表す画素データ
として用いるとともに、前記中央の色と異色の受光素子
を前記最外周上の四辺形の頂点位置に配した領域または
前記受光素子を所定のピッチで規則的に配した撮像手段
にて領域中央とする受光素子の位置での色を色B または
色R にして、該領域中央の画素に対して正方格子状の位
置に色G を配し、前記中央の色と異色の受光素子を四辺
形の頂点位置に配した領域を欠陥検出領域とし、該欠陥検出領域での斜め方向、水平方向および／または
垂直方向における境界領域を考慮しながら、該境界によ
り分割された領域の同色の画素データをほぼ同じレベル
とみなす条件、該境界を表すレベル差の値、各領域の同
色の画素のずれ許容レベルならびに正常時に色毎の受光
素子が採り得る上限値および下限値を用いて各受光素子
の色毎に欠陥判定を行う欠陥判定工程と、該欠陥判定工程の結果により欠陥と判定された受光素子
の色を考慮して、該欠陥検出領域内の欠陥のある受光素
子と同色の画素データを用いて欠陥を補償する欠陥補償
工程とを含むことを特徴とする画素欠陥補償方法。
【請求項５】光学系を介して被写界からの入射光を光
電変換する２次元配置した受光素子の位置に対応させて
色分解した光を受光してカラー撮像し、得られたカラー
撮像信号をディジタルの画像データにし、該画像データ
に信号処理を施すとともに、前記受光素子からの欠陥デ
ータを補償する画素欠陥補償方法において、該方法は、前記受光素子を半ピッチずつずらして配した撮像手段に
て領域中央とする受光素子の位置での色を色B または色
R にして、該領域中央の画素に対して正方格子状の位置
に色G を配し、該色G を最外周の範囲を表す画素データ
として用いるとともに、前記中央の色と異色の受光素子
を前記最外周上の四辺形の頂点位置に配した領域または
前記受光素子を所定のピッチで規則的に配した撮像手段
にて領域中央とする受光素子の位置での色を色B または
色R にして、該領域中央の画素に対して正方格子状の位
置に色G を配し、前記中央の色と異色の受光素子を四辺
形の頂点位置に配した領域を欠陥検出領域とし、前記受光素子の欠陥が前記四辺形を形成する色R または
色B にあり、かつ色Gにもある場合、欠陥のある受光素
子からの画素データを該欠陥のある受光素子と同色の受
光素子からの画素データの平均とし、該画素データを含む同色同士の４画素データの平均と生
成対象位置の異色の画素データとの加算平均から領域中
央に位置する受光素子の輝度データを算出することを特
徴とする画素欠陥補償方法。