JP2000308073A - 撮像素子、画像信号処理装置並びにカメラ装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の補色カメラシステムの場合、斜め方向
の解像度が低く、特に静止画像では画像の劣化として目
立ちやすい傾向にある。 【解決手段】 ＣＣＤ撮像素子１は、Ｙｅ，Ｍｇ，Ｃ
ｙ、Ｇからなる２ライン２画素の繰り返しパターンの内
の３，４ライン目の画素配置をそれぞれ逆転した計４ラ
インからなる市松パターンを単位とした色コーティング
パターンを使っている。この色コーティングパターンを
使うことにより、垂直、斜め方向で４画素Ｙｅ，Ｃｙ，
Ｍｇ，Ｇの加算ができ、この結果から適応補間処理など
を通して解像度の高い輝度信号を作れる。また、垂直、
斜めのアパーチャーコントロール信号をこれらから作り
解像度を上げることも可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、補色系のコーティ
ングが施された撮像デバイス、及びその撮像デバイスか
らの読み出し信号に対してアパーチャー処理を施す画像
信号処理装置に関する。

【０００２】

【従来の技術】従来より、例えばイエロー（Ｙｅ）、シ
アン（Ｃｙ）、マゼンタ（Ｍｇ）、グリーン（Ｇ）等の
補色系のコーティングを施してなるＣＣＤ等の撮像デバ
イスを備えた補色カメラシステムは、レッド（Ｒ）、ブ
ルー（Ｂ）、グリーン（Ｇ）の原色系のコーティングを
施してなるＣＣＤ等の撮像デバイスを備えた原色カメラ
システムに比べて、各画素の感度が高く、各画素の色成
分も多いため、解像度改善をしなくても比較的良好な画
素が得られることが特徴となっている。

【０００３】従来の補色カメラシステムでの色コーティ
ングパターン例を図２６（ａ）、（ｂ）に示す。図２６
の（ａ）において、上記色コーティングパターンは、Ｙ
ｅ，Ｃｙ，Ｍｇ，Ｇそれぞれを２画素づつ使った８画素
４ラインを単位とし、その単位内で１ライン目にＹｅと
Ｃｙを配置し、２ライン目にＭｇとＧを配置し、３ライ
ン目に１ライン目と同様ＹｅとＣｙを配置し、４ライン
目に２ライン目の配置を逆にしたＧとＭｇを配置してな
る市松パターンである。この８画素４ラインの市松パタ
ーンを単位として図２６の（ｂ）のような色コーティン
グパターンとする。

【０００４】図２７には上記色コーティングパターンが
施されたＣＣＤ撮像素子１０１とその周辺回路の具体例
を示す。ＣＣＤ撮像素子１０１からの全画素独立読み出
しされた補色画像信号は相関二重サンプリング（Correl
ation doubule sampling：以下、ＣＤＳという。）処理
部＆自動利得制御（Auto Gain Control：以下、ＡＧＣ
という）処理部１０２でノイズ除去処理及びゲイン制御
処理が施された後、Ａ／Ｄ変換器１０３でデジタル信号
に変換される。そしてこのＡ／Ｄ変換器１０３からのデ
ジタル補色画像信号は、出力端子１０４から図２８に示
す輝度信号処理部１０５に供給される。

【０００５】図２８において入力端子１０６を介して入
力された上記ディジタル補色画像信号（以下、補色画像
信号とのみ記す）は、１ラインディレイ回路（１ＨＤ
Ｌ）１０７と垂直ローパスフィルタ１１０と垂直アパー
チャーコントロール部（垂直アパコン部）１１２内部の
バンドパスフィルタ１１２ａに送られる。

【０００６】１ラインディレイ回路１０７の出力は１ラ
インディレイ回路１０８を介して更に１ラインディレイ
回路１０９に送られる。これら１ラインディレイ回路１
０７〜１０９は、それぞれ入力された補色画像信号を１
ライン分遅延し、各々の遅延出力を垂直アパコン部１１
２と垂直ローパスフィルタ１１０に送る。これにより、
垂直アパコン部１１２と垂直ローパスフィルタ１１０に
は、４ライン同時化された補色画像信号が供給されるこ
とになる。

【０００７】垂直ローパスフィルタ１１０の出力はさら
に水平ローパスフィルタ１１１に供給され、これによ
り、４ライン同時化された補色画像信号から輝度信号が
取り出される。この輝度信号は、水平アパコン部１１３
の二つのバンドパスフィルタ１１３ａ，１１３ｂと、加
算器１１９に送られる。

【０００８】垂直ローパスフィルタ１１０は、例として
タップ係数が（−１，５，５，−１）である図２９に示
す周波数特性のフィルタであり、上記４ライン同時化さ
れた補色画像信号の垂直方向の低域成分を通し、その低
域成分を水平ローパスフィルタ１１に送る。水平ローパ
スフィルタ１１も上記図２９に示す周波数特性のフィル
タであり、上記補色画像信号の水平方向の低域成分を通
す。したがって、この水平ローパスフィルタ１１１から
のフィルタ出力は輝度信号となっている。

【０００９】垂直アパコン部１１２は例としてタップ係
数が（−１，１，１，−１）であり図３０に示す様な周
波数特性のバンドパスフィルタ１１２ａを使って上記４
ライン同時化された補色画像信号から所定の高域成分を
取り出す。ここで、取り出された高域成分は空間位相を
合わせるためにタップ係数が（１，１）の水平ローパス
フィルタ１１４に送られる。この水平ローパスフィルタ
１１４の出力は乗算器１１５に送られる。

【００１０】水平アパコン部１１３は例えばタップ係数
が（−１，２，−１）であり図３１に示す様な周波数特
性のバンドパスフィルタ１１３ａと、タップ係数が（−
１，０，２，０，−１）であり図３２に示す様な周波数
特性のバンドパスフィルタ１１３ｂを使って上記輝度信
号の高周波成分を取り出している。バンドパスフィルタ
１１３ａで取り出された高周波成分は乗算器１１６に送
られる。またバンドパスフィルタ１１３ｂで取り出され
た高周波成分は乗算器１１７に送られる。

【００１１】乗算器１１５は水平ローパスフィルタ１１
４を介した垂直方向の高周波成分に所定のアパーチャー
コントロールゲインを掛け、その出力信号を加算器１１
８に送る。乗算器１１６は水平アパコン部１１３のバン
ドパスフィルタ１１３ａからの高周波成分に所定のアパ
ーチャーコントロールゲインを掛け、その出力信号を加
算器１１８に送る。乗算器１１６は水平アパコン部１１
３のバンドパスフィルタ１１３ｂからの高周波成分に所
定のアパーチャーコントロールゲインを掛け、その出力
信号を加算器１１８に送る。

【００１２】加算器１１８は乗算器１１５〜１１７の各
出力信号を加算し、アパーチャーコントロール信号とし
て出力し、加算器１１９に送る。

【００１３】加算器１１９では、上記アパーチャーコン
トロール信号を上記輝度信号に加算する。すなわち、加
算器１１９からは、高周波成分が補償（アパーチャーコ
ントロール処理）された輝度信号が出力される。この加
算器１１９から出力された輝度信号は、ガンマ（γ）補
正回路１２０に送られる。

【００１４】ガンマ補正回路１２０では、アパーチャー
コントロール処理後の輝度信号をガンマ処理し、このガ
ンマ補正後の輝度信号が出力端子１２１から出力され
る。

【００１５】なお、以上の具体例は、タップ数が偶数で
あり周波数特性が図２９〜図３２である各ディジタルフ
ィルタを用いているので、輝度信号、アパーチャー信号
の空間位相は水平、垂直共に各画素間となっている。

【００１６】

【発明が解決しようとする課題】ところで、上述した従
来の補色カメラシステムの場合、斜め方向の解像度が低
く、特に静止画像では画像の劣化として目立ちやすい傾
向にある。すなわち例えば、斜め線が階段状になる現象
が見えやすいという問題がある。また従来の色コーティ
ング処理は垂直解像度も４００数十本程度までしか取れ
ない。

【００１７】そこで、本発明は、上記実情に鑑みてなさ
れたものであり、水平、垂直方向の解像度のみならず、
斜め方向の解像度を高めることが可能な撮像素子、画像
信号処理装置、及びカメラ装置の提供を目的とする。

【００１８】

【課題を解決するための手段】本発明に係る撮像素子
は、上記課題を解決するために、補色系コーティングが
施された画素を配列してなる撮像素子において、イエロ
ーＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧからな
る２ライン２画素を垂直方向に並べた４ライン２画素の
繰り返しパターンの内の３，４ライン目の画素配置をそ
れぞれ逆転した計４ラインを単位とする市松模様画素を
配列している。

【００１９】また、本発明に係る画像信号処理装置は、
上記課題を解決するために、イエローＹｅ，シアンＣ
ｙ，マゼンタＭｇ，グリーンＧからなる２ライン２画素
を垂直方向に並べた４ライン２画素の繰り返しパターン
の内の３，４ライン目の画素配置をそれぞれ逆転した計
４ラインを単位とする市松模様画素を配列している撮像
素子からの全画素独立読み出し信号を処理する画像信号
処理装置において、上記撮像素子からの全画素独立読み
出し信号に対して、垂直方向４画素を使い水平アパーチ
ャー信号を生成し、この水平アパーチャー信号を用いて
輝度信号の水平方向高周波成分を補償する輝度信号処理
手段を備える。

【００２０】また、本発明に係る画像信号処理装置は、
上記課題を解決するために、イエローＹｅ，シアンＣ
ｙ，マゼンタＭｇ，グリーンＧからなる２ライン２画素
を垂直方向に並べた４ライン２画素の繰り返しパターン
の内の３，４ライン目の画素配置をそれぞれ逆転した計
４ラインを単位とする市松模様画素を配列している撮像
素子からの全画素独立読み出し信号を処理する画像信号
処理装置において、上記撮像素子からの全画素独立読み
出し信号に対して、斜め方向４画素を使い斜め方向アパ
ーチャー信号を生成し、この斜め方向アパーチャー信号
を用いて輝度信号の斜め方向高周波成分を補償する輝度
信号処理手段を備える。

【００２１】また、本発明に係る画像信号処理装置は、
上記課題を解決するために、イエローＹｅ，シアンＣ
ｙ，マゼンタＭｇ，グリーンＧからなる２ライン２画素
を垂直方向に並べた４ライン２画素の繰り返しパターン
の内の３，４ライン目の画素配置をそれぞれ逆転した計
４ラインを単位とする市松模様画素を配列している撮像
素子からの全画素独立読み出し信号を処理する画像信号
処理装置において、上記撮像素子からの全画素独立読み
出し信号に対して、近辺の他色画素を画素補間する補間
手段を備えることを特徴とする画像信号処理装置。

【００２２】本発明に係るカメラ装置は、上記課題を解
決するために、イエローＹｅ，シアンＣｙ，マゼンタＭ
ｇ，グリーンＧからなる２ライン２画素を垂直方向に並
べた４ライン２画素の繰り返しパターンの内の３，４ラ
イン目の画素配置をそれぞれ逆転した計４ラインを単位
とする市松模様画素を配列している撮像素子と、上記撮
像素子からの全画素独立読み出し信号に対して、垂直方
向４画素又は斜め方向４画素を使い水平アパーチャー信
号又は斜め方向アパーチャー信号を生成し、この水平ア
パーチャー信号又は斜め方向アパーチャー信号を用いて
輝度信号の水平方向高周波成分又は斜め方向高周波成分
を補償する画像信号処理手段とを備える。

【００２３】

【発明の実施の形態】以下、本発明の好ましい実施の形
態について、図面を参照しながら説明する。

【００２４】この実施の形態は、図１に示すＣＣＤ撮像
素子と、図２に示す輝度信号処理部５からなる補色カメ
ラシステムである。特に、ここでは補色カメラシステム
における、全画素読み出し時の輝度信号の高周波成分を
補償する輝度信号処理部のアパーチャーコントロール処
理について詳細に説明するが、通常は図示しない色信号
処理系を伴って補色カメラシステムが構成されている。

【００２５】図１において、ＣＣＤ撮像素子１は１ａで
示すような色コーティングパターンとされている。この
色コーティングパターン１ａは図３の（ａ）に示すよう
に、Ｙｅ，Ｍｇ，Ｃｙ、Ｇからなる２ライン２画素を垂
直方向に並べた４ライン２画素の繰り返しパターンの内
の３，４ライン目の画素配置をそれぞれ逆転した計４ラ
インからなる市松パターンを単位とし、この単位を図３
の（ｂ）のように縦横方向に繰り返して形成されてい
る。具体的には、１ライン目にＣｙとＹｅを配置し、２
ライン目にＭｇとＧを配置し、３ライン目に１ライン目
の配置を逆にしたＹｅとＣｙを配置し、４ライン目に２
ライン目の配置を逆にしたＧとＭｇを配置してなる市松
パターンを単位としている。一般化すると、図３の
（ｃ）に示すように表現できる。

【００２６】この色コーティングパターンを使うことに
より、垂直、斜め方向で４画素Ｙｅ，Ｃｙ，Ｍｇ，Ｇの
加算ができ、この結果から適応補間処理などを通して解
像度の高い輝度信号を作れる。また、垂直、斜めのアパ
ーチャーコントロール信号をこれらから作り解像度を上
げることも可能となる。

【００２７】ＣＣＤ撮像素子１からの補色画像信号は相
関二重サンプリング（Correlationdoubule sampling：
以下、ＣＤＳという。）処理部＆自動利得制御（Auto G
ainControl：以下、ＡＧＣという）処理部２でノイズ除
去処理及びゲイン制御処理が施された後、Ａ／Ｄ変換器
３でデジタル信号に変換される。そしてこのＡ／Ｄ変換
器３からのデジタル補色画像信号は、出力端子４から図
２に示す輝度信号処理部５に供給される。

【００２８】図２において入力端子６を介して入力され
た上記デジタル補色画像信号（以下、補色画像信号との
み記す）は、１ラインディレイ回路（１ＨＤＬ）７と垂
直アパーチャーコントロール部（垂直アパコン部）１９
内部のバンドパスフィルタ１９ｂ及び斜めアパコン部２
４の後述する二つのバンドパスフィルタ２４ａ，２４ｂ
に供給される。

【００２９】１ラインディレイ回路７の出力は、１ライ
ンディレイ回路８，９，１０，１１に順次送られる。こ
れら１ラインディレイ回路８〜１１は、それぞれ入力さ
れた補色画像信号を１ライン分遅延する。

【００３０】１ラインディレイ回路８の遅延出力は、１
ラインディレイ回路９と垂直ローパスフィルタ１２及び
１４と、垂直アパコン部１９の二つのバンドパスフィル
タ１９ａ及び１９ｂと、斜めアパコン部２４の二つのバ
ンドパスフィルタ２４ａ，２４ｂに供給される。

【００３１】１ラインディレイ回路９の遅延出力は１ラ
インディレイ回路１０の他、上記と同様に垂直ローパス
フィルタ１２及び１４と、垂直アパコン部１９の二つの
バンドパスフィルタ１９ａ及び１９ｂと、斜めアパコン
部２４の二つのバンドパスフィルタ２４ａ，２４ｂに供
給される。

【００３２】１ラインディレイ回路１０の遅延出力は１
ラインディレイ回路１１の他、上記と同様に垂直ローパ
スフィルタ１２及び１４と、垂直アパコン部１９の二つ
のバンドパスフィルタ１９ａ及び１９ｂと、斜めアパコ
ン部２４の二つのバンドパスフィルタ２４ａ，２４ｂに
供給される。

【００３３】１ラインディレイ回路１１の遅延出力は垂
直アパコン部１９内部のバンドパスフィルタ１９ｂ及び
斜めアパコン部２４の二つのバンドパスフィルタ２４
ａ，２４ｂに供給される。

【００３４】これにより、垂直アパコン部１９のバンド
パスフィルタ１９ｂ及び斜めアパコン部２４の二つのバ
ンドパスフィルタ２４ａ，２４ｂには６ライン同時化さ
れた補色画像信号が供給されることになる。

【００３５】また、垂直アパコン部１９のバンドパスフ
ィルタ１９ａ，垂直ローパスフィルタ１２及び１４には
４ライン同時化された補色画像信号が供給されることに
なる。

【００３６】垂直ローパスフィルタ１２は、例えば偶数
タップ数（−１，５，５，−１）の図２９に示す周波数
特性を持つフィルタであり、上記４ライン同時化された
補色画像信号の低域成分を通し、水平ローパスフィルタ
１３に供給する。水平ローパスフィルタ１３は、例えば
奇数タップ数（−１，４，１０，４，−１）で図４に示
す周波数特性を持つフィルタであり、上記垂直ローパス
フィルタ１２の出力を通して、輝度信号を生成する。こ
こで、水平方向のフィルタを奇数タップとすることによ
り、輝度信号の水平方向の各画素空間位相が各画素上に
なる。垂直方向の各画素空間位相は従来と同様に画素間
となる。

【００３７】アパーチャーコントロール信号（以下アパ
コン信号）は、上記図３に示した色コーティングパター
ンでは水平、垂直、斜めの３方向に対して掛けることが
できる。

【００３８】先ず、水平アパコン信号の生成について説
明する。垂直ローパスフィルタ１４には上記垂直４ライ
ン同時化された補色画像信号が供給される。この垂直ロ
ーパスフィルタ１４は、例えばタップ係数が（１，１，
１，１）であり図５に示す周波数特性を持つ。そこで例
えば図６に示すように垂直４ラインを加算することによ
り、輝度信号と同じＹｅ、Ｃｙ、Ｍｇ、Ｇの４画素を使
うことができる。この結果、従来のコーティングパター
ンではアパコン信号を作る際に、横の画素との加算が必
ず必要であったが本発明ではその必要が無い。この為、
従来掛かっていたタップ係数が（１，１）であり図７に
示す周波数特性の水平方向のローパスフィルタや、タッ
プ係数が（−１，５，５，−１）であり周波数特性が図
２９のようなフィルタを不要としながらも、従来に比べ
て高周波成分（ｆｓ／２）付近を持ち上げることが可能
となり、水平アパコン信号により水平方向の高解像度が
実現できる。

【００３９】なお、特に図２に示す具体例では垂直方向
のローパスフィルタ出力信号に対して、図３１及び図３
２の周波数特性を持つバンドパスフィルタと同様のバン
ドパスフィルタ１５ａ，１５ｂを通し、その結果に乗算
器１６及び１７で適当なゲインを掛け、加算器１８で加
算することにより水平アパコン信号を生成している。

【００４０】垂直アパコン信号は、垂直６ライン分の信
号を使って作る。図２例では、垂直アパコン部１９の中
の、バンドパスフィルタ１９ａ及びバンドパスフィルタ
１９ｂを通し、その結果に乗算器２１及び２２で適当な
ゲインを掛けて加算器２２で加算することにより垂直ア
パコン信号としている。垂直アパコン信号は最後に例え
ば図７の様な水平方向のローパスフィルタ２３を通して
他のアパコン信号と加算器１８で加算される。ここで、
垂直アパコン１９のバンドパスフィルタ１９ａはタップ
係数が（−１，１，１，−１）であり図３０に示す周波
数特性を備える。またバンドパスフィルタ１９ｂはタッ
プ係数が（−１，−１，２，２，−１，−１）であり図
８に示す周波数特性を備える。

【００４１】斜めアパコン信号は１ラインディレイ回路
からの垂直６ライン分を使って作る。図２の例では、斜
めアパコン部２４内部の右斜めバンドパスフィルタ２４
ａが上記垂直６ラインから右斜めアパコン信号を作り、
左斜めバンドパスフィルタ２４ｂが上記垂直６ラインか
ら左斜めアパコン信号を作る。これら右斜めアパコン信
号と左斜めアパコン信号は加算器２５で加算される。加
算器２５の加算結果を斜めアパコン信号とし、乗算器２
６でゲインを掛けてから水平ローパスフィルタ２７を通
してγ補正前に他の信号と加算器１８で加算する。

【００４２】右斜めバンドパスフィルタ２４ａでの右斜
めアパコン信号の生成の具体例を図９に示す。入力信号
に対して右斜めに４画素加算し、これに対して縦方向に
タップ係数が（−１，２，１）であり図３１に示す周波
数特性のフィルタを掛ければ右斜めアパコン信号が得ら
れる。同様に左斜めアパコン信号を作り、右斜めアパコ
ン信号と左斜めアパコン信号とを加算して斜めアパコン
信号とする。

【００４３】そして、斜めアパコン信号に乗算器２６で
ゲインを掛けた後に後段でタップ係数が（１，１）であ
り図７に示す周波数特性のフィルタを通して他のアパコ
ン信号と空間位相を合わせる。図２の例では斜め方向に
（-1,2,-1)フィルタしか掛けていないが、回路規模が許
されれば水平アパコンと同様に（-1,0,2,0,-1)の帯域を
持ち上げることも可能である。

【００４４】ただし、斜め方向は動画、例えばＮＴＳＣ
方式の3.58MHz（色信号）からのクロストークがコンポ
ジット信号で見られるので必要に応じて、ここは低減す
る信号処理を行う。

【００４５】この図２の例では、この様にして得られた
輝度信号、水平アパコン、垂直アパコン、斜めアパコン
信号を加算してγ補正を通して輝度信号として外部に出
力する。

【００４６】また、この例で輝度信号処理は従来とほぼ
同等の処理、及び解像度としている。これに対して加え
る水平、斜めのアパコン信号を高解像度側（ｆｓ／２付
近）を持ち上げて乗せることにより従来に比べ解像度感
の高い絵を得ている。

【００４７】次に、上記図２の例に対して輝度信号も含
めて解像度改善した輝度信号処理部の例を図１０に示
す。この図１０に示す輝度信号処理部の特徴は６ライン
同時化した信号から各ライン毎に画素信号を水平、垂
直、斜めの相関に応じて適応補間することにより、水
平、垂直、斜め方向で折り返りが少なく、解像度の高い
輝度信号が得られることである。画素補間以降のアパコ
ン信号は図２の例と同様である。

【００４８】この図１０の輝度信号処理部３５の入力信
号は図１のＣＣＤ撮像素子１からの全画素読み出し信号
（補色画像信号）とする。ＣＣＤ撮像素子１からの信号
は最初に１ラインディレイ回路７〜１１で６ライン分同
時化されて画素補間検出部３６に送られる。

【００４９】詳細については後述するが、画素補間検出
部３６は、解像度の高い輝度信号を得るために、６ライ
ン同時化された信号の相関を検出し、その検出結果に基
づいて上記６ライン同時化された信号の同一ライン内の
信号（Ｙｅ画素とＣｙ画素、Ｍｇ画素とＧ画素）をそれ
ぞれ補間し、４ラインの補間信号を生成する。この画素
補間検出部３６から出力された４ラインの補間信号は垂
直ローパスフィルタ１２、垂直ローパスフィルタ１４及
び垂直アパコン１９のバンドパスフィルタ１９ａに送ら
れる。

【００５０】垂直ローパスフィルタ１２は上記図２９に
示す周波数特性のフィルタであり、上記画素補間検出部
３６からの４ラインの補間信号から、垂直方向の低域成
分を抜き出すことで輝度信号を取り出す。すなわち、こ
の垂直ローパスフィルタ１２では、上記図３に示した色
コーティングパターンのうち、画素補間検出部３６にて
Ｙｅ画素にＣｙ画素を信号を補間したラインと、Ｍｇ画
素にＧ画素の信号を補間したラインの二つのラインを加
えて、Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇ＝Ｙの輝度信号を生成し、
同様に、画素補間検出部３６にてＣｙ画素にＹｅ画素の
信号を補間したラインと、Ｇ画素にＭｇ画素の信号を補
間したラインの二つのラインを加えてＹｅ＋Ｃｙ＋Ｍｇ
＋Ｇ＝Ｙの輝度信号を生成する。この輝度信号は、加算
器２８に送られる。

【００５１】垂直ローパスフィルタ１４は水平アパコン
信号を生成するために使われ、上記画素補間検出部３６
からの４ラインの補間信号を受け取る。この垂直ローパ
スフィルタ１４は、輝度信号と同じＹｅ、Ｃｙ、Ｍｇ、
Ｇの４画素を使って水平アパコン信号を作ることができ
る。特にここでは垂直方向のローパスフィルタ出力信号
に対して、水平アパコン部１５で図３１及び図３２の周
波数特性を持つバンドパスフィルタと同様のバンドパス
フィルタ１５ａ，１５ｂを通し、その結果に乗算器１６
及び１７で適当なゲインを掛け、加算器１８で加算する
ことにより水平アパコン信号としている。

【００５２】垂直アパコン部１９のバンドパスフィルタ
１９ａは垂直アパコン信号を生成するのに使われ、上記
画素補間検出部３６からの４ラインの補間信号を受け取
る。そして、バンドパスフィルタ１９ａは上記４ライン
の補間信号の所定の高域成分を抜き出し、乗算器２０に
送る。乗算器２０は上記所定の高域成分に適当なゲイン
を掛け、加算器２２に送る。加算器２２には乗算器２１
で適当なゲインが掛けられたバンドバスフィルタ１９ｂ
からの所定の周波数成分も供給されてくる。加算器２２
は上記乗算器２０及び２１からの出力を加算して垂直ア
パコン信号を生成する。垂直アパコン信号は最後に例え
ば図７の様な水平方向のローパスフィルタ２３を通して
他のアパコン信号と加算器１８で加算される。

【００５３】斜めアパコン信号の生成については上記図
２に示した輝度信号処理部５での説明と同様である。

【００５４】そして、この図１０の例でも、この様にし
て得られた輝度信号、水平アパコン、垂直アパコン、斜
めアパコン信号を加算してγ補正を通して輝度信号とし
て外部に出力する。

【００５５】特に、この輝度信号処理部３５では、画素
補間検出部３６にてＹｅ画素にＣｙ画素を信号を補間し
たラインと、Ｍｇ画素にＧ画素の信号を補間したライン
の二つのラインを垂直ローパスフィルタ１２で加えて、
Ｙｅ＋Ｃｙ＋Ｍｇ＋Ｇ＝Ｙの輝度信号を生成しているの
で、垂直ローパスフィルタ１２の後段に水平方向のロー
パスフィルタを不要としている。つまり、同一ライン内
の信号を補間して後段のフィルタでライン加算をして輝
度信号を作っている。

【００５６】また、この輝度信号処理部３５では、画素
補間検出部３６により得られた垂直４ライン分の信号を
アパコン信号の生成に使っているため、最終的に水平、
垂直、斜め方向で折り返りが少なく、解像度の高い輝度
信号を得ることができる。

【００５７】画素補間検出部３６における相関検出と補
間処理の一例について図１１を参照しながら以下に説明
する。図１１は画素補間検出部３６で扱う画素例を示す
図である。画素補間検出部３６は上記画素例のうち、Ｙ
ｅ画素とＣｙ画素からなるラインについては、Ｙｅ画素
に対してＣｙ画素を補間し、Ｃｙ画素に対してＹｅ画素
を補間する。また、Ｇ画素とＭｇ画素からなるラインに
ついては、Ｇ画素に対してＭｇ画素を補間し、Ｍｇ画素
に対してＧ画素を補間する。

【００５８】このような補間処理を行う場合において、
画素補間検出部３６では、各画素の相関を検出し、その
相関検出結果に応じた補間処理を行う。

【００５９】例えば、図１１に示すように、Ｍｇ画素に
Ｇ画素を周辺４画素から、垂直、水平、斜め方向の相関
を検出して適応補間する具体例を以下に説明する。

【００６０】先ず、相関検出のために、 ｜Ｇ１−Ｇ４｜ の計算を行った値（レベル）と、 ｜Ｇ２−Ｇ３｜ の計算を行った値（レベル）とを比べて、前者のレベル
が大きければ水平相関が大きく、後者のレベルが大きけ
れば垂直相関が大きく、ほぼ等しい場合は斜め方向の相
関が大きいと判断する。

【００６１】そして、水平方向の相関が大きければ、 （Ｇ２＋Ｇ３）／２ の計算により補間を行い、また、垂直方向の相関が大き
ければ、 （Ｇ１＋Ｇ４）／２ の計算により補間を行い、一方、斜め方向の相関が大き
ければ、 （Ｇ１＋２×Ｇ２＋２×Ｇ３＋Ｇ４）／６ の計算により補間を行う。

【００６２】なお、画素補間検出部３６においては、相
関検出時に更に細かく縦と横の相関比を計算することに
より、垂直方向、水平方向、斜め方向の３つの方向だけ
でなく、更に細かい方向の補間コントロールも可能とな
る。

【００６３】また、更に１ラインディレイ回路を２つ増
やし、８ライン同時化した信号から６ライン分の相関検
出補間をすれば回路規模は増えるが、輝度信号、水平ア
パコン信号、垂直アパコン信号の所定高周波成分だけで
なく、斜めアパコン、垂直アパコンバンドパスフィルタ
出力についても同様に最適なアパーチャーコントロール
が可能となる。

【００６４】但し、上述した相関検出に基づく補間処理
においては、Ｍｇ画素に対してＧ画素を補間する場合の
相関検出時には、上下左右の単独画素間での演算で相関
の判断を行っているため、当該画素の信号に例えばノイ
ズが乗っているような場合に誤検出する可能性が大き
い。Ｙｅ画素に対してＣｙ画素を補間する場合や、Ｇ画
素に対してＭｇ画素を補間する場合、或いはＣｙ画素に
対してＹｅ画素を補間する場合も同様である。

【００６５】そこで、画素の信号にノイズが乗っている
場合の誤検出に対処するための具体例を以下に説明す
る。

【００６６】この具体例となる輝度信号処理部は、上記
図１０に示した輝度信号処理部３５と同じ構成であるの
で図示を省略する。但し、この具体例の場合、画素補間
検出部における処理内容が異なるので、以下の説明では
画素補間検出部の指示符号として４１を、輝度信号処理
部の指示符号として４０を用いる。

【００６７】図１２及び図１３には上記輝度信号処理部
４０の画素補間検出部４１が扱う相関検出用の画素例を
示す。ここでは、Ｍｇ画素にＧ画素を補間する場合を示
すが、Ｙｅ，Ｃｙ，Ｍｇ画素についても同じ検出、補間
パターンが使える。画素補間検出部４１は、上記図１２
及び図１３に示す画素例の中の、周辺のＹｅ，Ｃｙ，Ｍ
ｇ，Ｇを加えて相関検出をする。水平方向の相関検出に
は縦のローパスフィルタ、垂直方向の相関検出には横の
ローパスフィルタが掛かった信号を使うことになる。こ
のフィルタの特性から相関検出可能な周波数特性が決ま
る。図１２及び図１３の例では水平相関を取る場合は水
平加算しないのでｆｓ／２周波数まで検出が可能だが垂
直相関を取る場合は垂直加算しているのでｆｓ／２周波
数まで検出するのが難しい。

【００６８】図１２及び図１３の形で加えて得られたＹ
ｅ，Ｃｙ，Ｍｇ，Ｇ各画素の相関検出用信号（Ｙｅ＋Ｃ
ｙ＋Ｍｇ＋Ｇ）の分光特性は一致する。したがって検出
回路での相関判断レベルがＹｅ，Ｃｙ，Ｍｇ，Ｇ全てで
同じ設定にできるので判断アルゴリズムが簡単になる。

【００６９】上記図１１のようにＹｅ，Ｃｙ，Ｍｇ，Ｇ
各画素それぞれの色で相関検出をした場合は検出データ
Ｙｅ，Ｃｙ，Ｍｇ，Ｇの分光特性がそれぞれ違うため、
水平、垂直、斜めの補間の相関判断レベルもこれに伴い
Ｙｅ，Ｃｙ，Ｇ，Ｍｇで違う設定をしなければならな
い。これに対し図１２及び図１３を用いた方法では、各
画素の判断時の検出信号分光特性を揃えることにより検
出レベル設定を楽にすることが可能となる。

【００７０】例えば、図１２及び図１３において、Ｍｇ
画素に対してＧ画素を補間する場合の処理を、水平、垂
直だけでの簡単な補間例として以下に説明する。

【００７１】Ｇ１Ｊａ＝（Ｙｅ１＋Ｃｙ１／２＋Ｃｙ２
／２＋Ｍｇ１／２＋Ｍｇ２／２＋Ｇ１）／４ Ｇ４Ｊａ＝（Ｙｅ２／２＋Ｙｅ３／２＋Ｃｙ３＋Ｍｇ３
／２＋Ｍｇ４／２＋Ｇ４）／４ Ｇ２Ｊａ＝（Ｙｅ３＋Ｇ２＋Ｃｙ２＋Ｍｇ２／２＋Ｍｇ
４／２）／４ Ｇ３Ｊａ＝（Ｙｅ２＋Ｇ３＋Ｃｙ１＋Ｍｇ１／２＋Ｍｇ
３／２）／４ Ｇ２３Ｊａ＝（Ｙｅ１＋Ｃｙ３＋Ｍｇ５＋Ｇ１／２＋Ｇ
４／２）／４ とすると、この時、例えば相関検出のために、 ｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜
／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２） を計算して、結果が正の値であったならば、 Ｇｈｏｋａｎ＝（Ｇ１＋Ｇ４）／２ の演算により垂直方向の補間とし（Ｖ補間）、一方、上
記相関検出のための計算結果の値が負の値であったなら
ば、 Ｇｈｏｋａｎ＝（Ｇ２＋Ｇ３）／２ の演算により水平方向の補間とする（Ｈ補間）。

【００７２】更に、Ｍｇ，Ｇ，Ｙｅ，Ｃｙの４つの画素
値の平均値を使って、水平、垂直だけでなく斜め方向の
補間処理を行う場合は、以下のようになされる。例え
ば、斜め方向の補間レベルを一つ、Ｊｌｅｖとして設定
し、 ｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜
／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）＜−Ｊｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ１＋Ｇ４）／２ の演算より垂直方向の補間とし（Ｖ補間）、一方で、 ｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜
／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）＞Ｊｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ２＋Ｇ３）／２ の演算より水平方向の補間とする（Ｈ補間）。

【００７３】さらに、どちらも成り立たない場合は、 Ｇｈｏｋａｎ＝（２＊（Ｇ２＋Ｇ３）＋（Ｇ１＋Ｇ
４））／６（平均） の演算により斜め方向の補間とする。

【００７４】上記画素補間検出部４１の詳細な構成例を
図１４に示す。

【００７５】この図１４において、加算器５１ではＧ２
とＧ３画素の信号を加算し、加算器５２ではＧ１とＧ４
の画素の信号を加算する。加算器５１の出力は２倍演算
器５３と１／２倍演算器５４に送られる。加算器５２の
出力は加算器５５と１／２倍演算器５６に送られる。２
倍演算器５３では加算器５１の出力を２倍し、加算器５
５に送る。１／２倍演算器５４は加算器５１の出力を１
／２倍する。１／２倍演算器５６では加算器５２の加算
出力を１／２倍する。加算器５５では２倍演算器５３と
加算器５２の出力とを加算し、その加算出力を１／６倍
演算器５７に送る。１／６演算器５７では加算器５５の
加算出力を１／６倍する。１／２倍演算器５４と、１／
６倍演算器５７と、１／２倍演算器５６の各出力は、そ
れぞれ選択器５８に水平補間信号、斜め補間信号、垂直
補間信号として送られる。

【００７６】また、Ｇ１Ｊａ，Ｇ２Ｊａ，Ｇ３Ｊａ，Ｇ
２３Ｊａ，Ｇ４Ｊａ算出部５９では、Ｇ１〜Ｇ４画素，
Ｍｇ１〜Ｍｇ５画素，Ｙｅ１〜Ｙｅ３画素，Ｃｙ１〜Ｃ
ｙ３画素を用いて、上記Ｇ１Ｊａ，Ｇ２Ｊａ，Ｇ３Ｊ
ａ，Ｇ２３Ｊａ，Ｇ４Ｊａを算出する。

【００７７】減算器６０は上記算出部５９で算出された
上記Ｇ１Ｊａと上記Ｇ４Ｊａとの差分を求めてその差分
結果を絶対値化器６１に送る。絶対値化器６１は減算器
６０からの上記差分結果の絶対値を求めその絶対値出力
を減算器６２に送る。

【００７８】また、減算器６３は上記算出部５９で算出
された上記Ｇ２Ｊａと上記Ｇ２３Ｊａとの差分を求めて
その差分結果を絶対値化器６４に送る。絶対値化器６４
は減算器６３からの上記差分結果の絶対値を求めその絶
対値出力を加算器６５に送る。また、減算器６６は上記
算出部５９で算出された上記Ｇ２３Ｊａと上記Ｇ３Ｊａ
との差分を求めてその差分結果を絶対値化器６７に送
る。絶対値化器６７は減算器６６からの上記差分結果の
絶対値を求めその絶対値出力を加算器６５に送る。

【００７９】そして、加算器６５は絶対値化器６４から
の絶対値出力と絶対値化器６７からの絶対値出力とを加
算し、加算出力を１／２倍演算器６８に送る。１／２倍
演算器６８は上記加算出力を１／２倍し、減算器６２に
送る。

【００８０】このため、減算器６２は絶対値化器６１か
らの絶対値出力｜Ｇ１Ｊａ−Ｇ４Ｊａ｜と１／２倍演算
器６８からの演算出力（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜／２
＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）との差分を求め、差
分出力｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３
Ｊａ｜／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）を比較器
６９に送る。

【００８１】比較器６９には、上記斜め方向の補間レベ
ルとして設定された値Ｊｌｅｖも送られている。比較器
６９は、上記差分出力と上記Ｊｌｅｖとを比較し、その
比較結果を選択器５８に送る。

【００８２】選択器５８では、比較器６９からの比較結
果に応じて、１／２倍演算器５４と１／６倍演算器５７
と１／２倍演算器５６の各出力のいずれかを選択し、こ
の選択出力を補間値Ｇとして出力する。

【００８３】輝度信号処理部４０では、図１４に示した
ような構成例の画素補間検出部４１を備え、水平と垂直
相関の差分とそのレベルから補間方向を選んでいるの
で、画素の信号にノイズが乗っている場合でも、小規模
な回路で誤検出を防ぐことができる。

【００８４】なお、図１２及び図１３の様にＹｅ＋Ｃｙ
＋Ｍｇ＋Ｇで相関検出をして隣同士の垂直４画素同士で
相関判断をすることにより水平方向ではｆｓ／２の周波
数相関の検出が可能となる。Ｇ画素だけ使って補間した
場合等では、検出画素が離れていて水平ｆｓ／２周波数
相関検出が難しかった。

【００８５】また、斜め方向の補間検出例として、図１
４の例の様に水平、垂直、斜めの３方向だけの補間でな
く、更に細かい段階を持たせて補間を行う為には、得ら
れた水平、垂直の相関データ比を取りその結果から垂
直、水平方向の加算割合を決定する方法等も考えられ
る。

【００８６】また、上記輝度信号処理部４０では、上記
図１に示すような色コーティングパターンの施されたＣ
ＣＤ撮像素子１からの画像信号に対し、画素補間検出部
４１で以下に示すような画素補間を行うようにすれば、
水平方向の相関検出と同様の回路構成で右斜め、左斜め
方向についてもｆｓ／２周波数相関検出が可能となる。

【００８７】図１５に右斜め相関検出例、図１６に左斜
め相関検出例を示す。上記図１２及び図１３を用いて説
明した水平方向の相関検出に加えて、左右斜め方向の相
関検出適応補間をすれば更に画質改善が可能となる例で
ある。

【００８８】なお、この場合の画素補間検出部の詳細な
他の構成例を符号７１として図１７に示す。上記図１４
に示した構成例に加えて、水平、垂直相関に入らなかっ
た場合に、斜め方向の補間として右斜め、左斜め、平均
値を選ぶ構成を取っている。斜め補間と判断された時に
右斜め相関と左斜め相関を比べてどちらの相関か判断し
て斜め補間すればよい。さらに、右斜め相関値と左斜め
相関値がほぼ等しい場合（お互いの差分が設定レベルよ
り小さいとき）は、相関無しとして周辺４画素の平均値
をとっている。

【００８９】一例として斜め補間レベルを一つＪｌｅ
ｖ、右左斜め補間レベルを一つＤｌｅｖとして以下の処
理を行う。Ｊｌｅｖ，Ｄｌｅｖでそれぞれの相関判断レ
ベルをコントロールする。

【００９０】ここでは、図１２及び図１３、図１５及び
図１６の画素例からＧ画素補間を行う。垂直６ライン同
時化された信号に対して水平方向も同時化した信号から
以下の相関検出演算を行う。

【００９１】Ｇ１Ｊａ＝（Ｙｅ１＋Ｃｙ１／２＋Ｃｙ２
／２＋Ｍｇ１／２＋Ｍｇ２／２＋Ｇ１）／４ Ｇ４Ｊａ＝（Ｙｅ２／２＋Ｙｅ３／２＋Ｃｙ３＋Ｍｇ３
／２＋Ｍｇ４／２＋Ｇ４）／４ Ｇ２Ｊａ＝（Ｙｅ３＋Ｇ２＋Ｃｙ２＋Ｍｇ２／２＋Ｍｇ
４／２）／４ Ｇ３Ｊａ＝（Ｙｅ２＋Ｇ３＋Ｃｙ１＋Ｍｇ１／２＋Ｍｇ
３／２）／４ Ｇ２３Ｊａ＝（Ｙｅ１＋Ｃｙ３＋Ｍｇ５＋Ｇ１／２＋Ｇ
４／２）／４ ＧＲ１Ｊａ＝（Ｙｅ５＋Ｇ２＋Ｃｙ３＋Ｍｇ７／２＋Ｍ
ｇ３／２）／４ ＧＲ２Ｊａ＝（Ｙｅ２＋Ｃｙ２＋Ｍｇ５＋Ｇ５／２＋Ｇ
８／２）／４ ＧＲ３Ｊａ＝（Ｙｅ１＋Ｇ３＋Ｃｙ４＋Ｍｇ２／２＋Ｍ
ｇ８／２）／４ ＧＬ１Ｊａ＝（Ｙｅ１＋Ｇ２＋Ｃｙ５＋Ｍｇ１／２＋Ｍ
ｇ９／２）／４ ＧＬ２Ｊａ＝（Ｙｅ３＋Ｃｙ１＋Ｍｇ５＋Ｇ６／２＋Ｇ
７／２）／４ ＧＬ３Ｊａ＝（Ｙｅ４＋Ｇ３＋Ｃｙ３＋Ｍｇ６／２＋Ｍ
ｇ４／２）／４ とすると、このとき、相関検出のために、 ｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜
／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）＜−Ｊｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ１＋Ｇ４）／２ の演算処理垂直方向の補間とし、一方で、 ｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ２Ｊａ−Ｇ２３Ｊａ｜
／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜／２）＞Ｊｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ２＋Ｇ３）／２ の演算より水平方向の補間とする。

【００９２】さらに、どちらも成り立たない場合は、右
斜め相関と左斜め相関演算結果から、 （｜ＧＲ１Ｊａ−ＧＲ２Ｊａ｜／２＋（｜ＧＲ３Ｊａ−
ＧＲ２Ｊａ｜／２）−（｜ＧＬ１Ｊａ−ＧＬ２Ｊａ｜／
２＋（｜ＧＬ３Ｊａ−ＧＬ２Ｊａ｜／２）＜−Ｄｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ６＋Ｇ７）／２ の演算により右斜め補間とする。

【００９３】一方、（｜ＧＲ１Ｊａ−ＧＲ２Ｊａ｜／２
＋（｜ＧＲ３Ｊａ−ＧＲ２Ｊａ｜／２）−（｜ＧＬ１Ｊ
ａ−ＧＬ２Ｊａ｜／２＋（｜ＧＬ３Ｊａ−ＧＬ２Ｊａ｜
／２）＞Ｄｌｅｖ が成り立てば、 Ｇｈｏｋａｎ＝（Ｇ５＋Ｇ８）／２ の演算により左斜め補間とする。

【００９４】どちらも成り立たなかった場合は、 Ｇｈｏｋａｎ＝（２＊（Ｇ２＋Ｇ３）＋（Ｇ１＋Ｇ
４））／６（平均） とする。

【００９５】上記画素補間検出部７１の構成例を示す図
１７において、上記図１４と同様の構成部には同じ符号
を付して説明を省略する。すなわち、選択器７６に入る
水平補間信号、斜め平均補間信号、垂直補間信号に関す
る系統と、比較器７８に入る減算器６２からの減算出力
に関する系統について構成については省略し、新たな符
号が付されている箇所についてのみ説明する。

【００９６】加算器７２はＧ５とＧ８画素の信号を加算
しその加算出力を、１／２倍演算器７３に送る。１／２
倍演算器７３は上記加算器７２の加算出力を１／２倍し
て、右斜め補間信号として選択器７６に送る。

【００９７】加算器７４はＧ６とＧ７画素の信号を加算
しその加算出力を、１／２倍演算器７５に送る。１／２
倍演算器７５は上記加算器７４の加算出力を１／２倍し
て、左斜め補間信号として選択器７６に送る。

【００９８】また、Ｇ１Ｊａ，Ｇ２Ｊａ，Ｇ３Ｊａ，Ｇ
２３Ｊａ，Ｇ４Ｊａ，ＧＲ１Ｊａ，ＧＲ２Ｊａ，ＧＲ３
Ｊａ，ＧＬ１Ｊａ，ＧＬ２Ｊａ，ＧＬ３Ｊａ算出部７７
では、Ｇ１〜Ｇ８画素，Ｍｇ１〜Ｍｇ９画素，Ｙｅ１〜
Ｙｅ５画素，Ｃｙ１〜Ｃｙ５画素を用いて、上記Ｇ１Ｊ
ａ，Ｇ２Ｊａ，Ｇ３Ｊａ，Ｇ２３Ｊａ，Ｇ４Ｊａ，ＧＲ
１Ｊａ，ＧＲ２Ｊａ，ＧＲ３Ｊａ，ＧＬ１Ｊａ，ＧＬ２
Ｊａ，ＧＬ３Ｊａを算出する。

【００９９】減算器７９は、上記算出部７７で算出され
た上記ＧＲ１Ｊａと上記ＧＲ２Ｊａとの差分を求めてそ
の差分結果を絶対値化器８０に送る。絶対値化器８０は
減算器７９からの上記差分結果の絶対値を求めその絶対
値出力を加算器８１に送る。

【０１００】また、減算器８２は上記算出部７７で算出
された上記ＧＲ２Ｊａと上記ＧＲ３Ｊａとの差分を求め
てその差分結果を絶対値化器８３に送る。絶対値化器８
３は減算器８２からの上記差分結果の絶対値を求めその
絶対値出力を加算器８１に送る。

【０１０１】そして、加算器８１は絶対値化器８０から
の絶対値出力と絶対値化器８３からの絶対値出力とを加
算し、加算出力を１／２倍演算器８４に送る。１／２倍
演算器８４は上記加算出力を１／２倍し、減算器８５に
送る。

【０１０２】また、減算器８６は、上記算出部７７で算
出された上記ＧＬ１Ｊａと上記ＧＬ２Ｊａとの差分を求
めてその差分結果を絶対値化器８７に送る。絶対値化器
８７は減算器８６からの上記差分結果の絶対値を求めそ
の絶対値出力を加算器８８に送る。

【０１０３】また、減算器８９は上記算出部７７で算出
された上記ＧＬ２Ｊａと上記ＧＬ３Ｊａとの差分を求め
てその差分結果を絶対値化器９０に送る。絶対値化器９
０は減算器８９からの上記差分結果の絶対値を求めその
絶対値出力を加算器８８に送る。

【０１０４】そして、加算器８８は絶対値化器８７から
の絶対値出力と絶対値化器９０からの絶対値出力とを加
算し、加算出力を１／２倍演算器９１に送る。１／２倍
演算器９１は上記加算出力を１／２倍し、減算器８５に
送る。

【０１０５】このため、減算器８５は１／２倍演算器８
４からの出力（｜ＧＲ１Ｊａ−ＧＲ２Ｊａ｜／２＋（｜
ＧＲ３Ｊａ−ＧＲ２Ｊａ｜／２）と、１／２倍演算器９
１からの出力（｜ＧＬ１Ｊａ−ＧＬ２Ｊａ｜／２＋（｜
ＧＬ３Ｊａ−ＧＬ２Ｊａ｜／２）との差分を求めてその
差分結果を比較器７８に送る。

【０１０６】比較器７８には、上記斜め方向の補間レベ
ルとして設定された値Ｊｌｅｖと、右左斜め補間レベル
Ｄｌｅｖも送られている。さらに比較器７８には、減算
器６２からの減算出力｜Ｇ１Ｊａ−Ｇ４Ｊａ｜−（｜Ｇ
２Ｊａ−Ｇ２３Ｊａ｜／２＋｜Ｇ３Ｊａ−Ｇ２３Ｊａ｜
／２）も送られている。このため、比較器７８は、上記
差分出力と上記Ｊｌｅｖ，Ｄｌｅｖとを比較し、その比
較結果を選択器７６に送る。

【０１０７】選択器７６では、比較器７８からの比較結
果に応じて、水平補間信号、右斜め補間信号、平均信
号、左斜め補間信号、垂直補間信号のうちのいずれかを
選択し、この選択出力を補間値Ｇとして出力する。

【０１０８】なお、斜め補間は場合により右斜め補間Ｇ
ｈｏｋａｎ＝（Ｇ６＋Ｇ７）／２でなくＧｈｏｋａｎ＝
（Ｇ６＋Ｇ７＋Ｇ２＋Ｇ３）／４、左斜め補間Ｇｈｏｋ
ａｎ＝（Ｇ５＋Ｇ８）／２でなくＧｈｏｋａｎ＝（Ｇ５
＋Ｇ８＋Ｇ２＋Ｇ３）／４としても良い。また処理の優
先順位により若干画質が変わるようにしてもよい。

【０１０９】なお、補色カメラシステムとしては、上記
図２に示した輝度信号処理部５や、上記図１０に示した
輝度信号処理部３５の他に、図１８及び図１９に示す輝
度信号処理部１８及び１９を備えても良い。

【０１１０】図１８に示す輝度信号処理部９２は、輝度
信号に対しては画素補間を行わず、水平アパコン信号及
び垂直アパコン信号に対してのみ、画素補間検出部９３
で画素補間を行っている例である。輝度信号の生成には
垂直ローパスフィルタの後段に水平ローパスフィルタ９
４が必要になる。

【０１１１】縦横斜めで補間をした場合、斜め方向が４
画素平均であったり、斜め補間画素が遠いため解像感が
損なわれる傾向になる。特に図１４の構成例の画素補間
部では斜め方向の解像感を出すのが難しい。

【０１１２】このため図１８ではアパコン信号に対して
だけ相関検出画素補間を行っている。また、図１９に示
す輝度信号処理部９５では、水平アパコン信号に対して
だけ画素補間検出部９６で相関検出画素補間を行ってい
る。これは前記の様に本発明コーティングパターンでは
垂直方向ｆｓ／２近辺での相関検出が難しい為で、垂直
アパコン信号は図２例と同様に１ラインディレイ回路か
らの信号を使って構成する。この輝度信号処理部９５で
も垂直ローパスフィルタ１２の後段に水平ローパスフィ
ルタ９４を必要としている。

【０１１３】なお、補色カメラシステムを上記輝度信号
処理部５，３５，４０，７０，９２及び９５と共に構成
するＣＣＤ撮像素子上には、上記図３に示した色コーテ
ィングパターンの他、図２０の（ａ），（ｂ），
（ｃ），（ｄ）及び（ｅ）に示す他の類似コーティング
パターンを使用しても良い。

【０１１４】図２０の（ａ）に示すパターンは、１ライ
ン目にＹｅとＣｙを配置し、２ライン目にＭｇとＧを配
置し、３ライン目に１ライン目の配置を逆にしたＣｙと
Ｙｅを配置し、４ライン目に２ライン目の配置を逆にし
たＧとＭｇを配置してなる市松パターンである。図２１
にはこの市松パターンを単位とした色コーティングパタ
ーン３１ａを施したＣＣＤ撮像素子３１とその周辺部の
構成を示す。

【０１１５】図２０の（ｂ）に示すパターンは、１ライ
ン目にＭｇとＣｙを配置し、２ライン目にＹｅとＧを配
置し、３ライン目に１ライン目の配置を逆にしたＣｙと
Ｍｇを配置し、４ライン目に２ライン目の配置を逆にし
たＧとＹｅを配置してなる市松パターンである。図２２
にはこの市松パターンを単位とした色コーティングパタ
ーン３２ａを施したＣＣＤ撮像素子３２とその周辺部の
構成を示す。

【０１１６】図２０の（ｃ）に示すパターンは、１ライ
ン目にＣｙとＭｇを配置し、２ライン目にＹｅとＧを配
置し、３ライン目に１ライン目の配置を逆にしたＭｇと
Ｃｙを配置し、４ライン目に２ライン目の配置を逆にし
たＧとＹｅを配置してなる市松パターンである。図２３
にはこの市松パターンを単位とした色コーティングパタ
ーン３３ａを施したＣＣＤ撮像素子３３とその周辺部の
構成を示す。

【０１１７】図２０の（ｄ）に示すパターンは、１ライ
ン目にＹｅとＭｇを配置し、２ライン目にＣｙとＧを配
置し、３ライン目に１ライン目の配置を逆にしたＭｇと
Ｙｅを配置し、４ライン目に２ライン目の配置を逆にし
たＧとＣｙを配置してなる市松パターンである。図２４
にはこの市松パターンを単位とした色コーティングパタ
ーン３４ａを施したＣＣＤ撮像素子３４とその周辺部の
構成を示す。

【０１１８】図２０の（ｅ）に示すパターンは、１ライ
ン目にＭｇとＹｅを配置し、２ライン目にＣｙとＧを配
置し、３ライン目に１ライン目の配置を逆にしたＹｅと
Ｍｇを配置し、４ライン目に２ライン目の配置を逆にし
たＧとＣｙを配置してなる市松パターンである。図２５
にはこの市松パターンを単位とした色コーティングパタ
ーン９７ａを施したＣＣＤ撮像素子９７とその周辺部の
構成を示す。

【０１１９】

【発明の効果】本発明によれば、輝度信号の水平、斜め
方向解像度改善が可能となる。また、垂直方向４画素を
使い水平アパーチャー信号とすることにより水平方向高
周波成分を輝度信号に乗せることが可能となる。また、
斜め方向４画素を使い斜めアパーチャー信号とすること
により斜め方向高周波成分を輝度信号に乗せることが可
能となる。

【０１２０】さらに、近辺の他色を画素補間することに
より輝度信号の解像度改善が可能となる。また、各ライ
ン毎に互いの画素を補間することにより輝度信号の解像
度改善が可能となる。また、垂直方向５画素を使い水平
方向相関を検出することによりｆｓ／２周波数までの水
平相関検出が可能となる。また、斜め方向５画素を使い
斜め方向相関を検出することによりｆｓ／２周波数まで
の斜め相関検出が可能となる。また、左斜め、右斜めの
相関検出がそれぞれ独立にｆｓ／２まで可能となる。ま
た、水平、垂直、斜め相関データを使って水平、垂直、
斜め方向の最適な補間画素演算が可能となる。

【０１２１】また、各ライン毎に互いに画素を画素補間
するときに、補間する色の情報だけでなく、Ｙｅ，Ｃ
ｙ，Ｍｇ，Ｇ全ての画素情報を用いて水平、垂直、斜め
の補間検出を行うことにより、高周波成分までのノイズ
の影響を受けず精度の良い補間検出が可能となる。ま
た、補間検出を行う場合に、水平、垂直、斜め方向の画
素レベル差分の大小関係を用いて補間方法を決定するこ
とにより少ない回路規模で精度の良い補間を可能とな
る。

【図面の簡単な説明】

【図１】本発明の撮像素子の具体例の構成を示す図であ
る。

【図２】本発明の画像信号処理装置の具体例となる輝度
信号処理部の構成を示す図である。

【図３】上記撮像素子の具体例の色コーティングパター
ンを示す図である。

【図４】上記輝度信号処理部を構成する水平ローパスフ
ィルタの周波数特性図である。

【図５】上記輝度信号処理部を構成する垂直ローパスフ
ィルタの周波数特性図である。

【図６】水平アパコン信号を作るときの上記輝度信号処
理部の動作を説明するための図である。

【図７】上記輝度信号処理部を構成する水平ローパスフ
ィルタの周波数特性図である。

【図８】上記輝度信号処理部を構成する垂直アパコン部
内のバンドパスフィルタの周波数特性図である。

【図９】上記輝度信号処理部を構成する右斜めバンドパ
スフィルタの周波数特性図である。

【図１０】輝度信号も含めて解像度改善した輝度信号処
理部の構成を示すブロック図である。

【図１１】上記図１０の輝度信号処理部を構成する画素
補間検出部が扱う画素例を示す図である。

【図１２】上記図１０に示した輝度信号処理部の変形例
を構成する画素補間検出部の動作を説明するための図で
ある。

【図１３】上記図１０に示した輝度信号処理部の変形例
を構成する画素補間検出部の動作を説明するための図で
ある。

【図１４】上記図１０に示した輝度信号処理部の変形例
を構成する画素補間検出部の詳細な構成を示す図であ
る。

【図１５】右斜め相関検出例を示す図である。

【図１６】左斜め相関検出例を示す図である。

【図１７】上記図１０に示した輝度信号処理部の他の変
形例を構成する画素補間検出部の詳細な構成を示す図で
ある。

【図１８】上記輝度信号処理部の他の具体例の構成を示
すブロック図である。

【図１９】上記輝度信号処理部のさらに他の具体例の構
成を示すブロック図である。

【図２０】本発明のＣＣＤ撮像素子に適用できる他の色
コーティングパターンの他の例を示す図である。

【図２１】上記図２０に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２２】上記図２０に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２３】上記図２０に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２４】上記図２０に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２５】上記図２０に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２６】従来の補色カメラシステムでの色コーティン
グパターン例を示す図である。

【図２７】上記図２６に示した色コーティングパターン
を施したＣＣＤ撮像素子を示す図である。

【図２８】従来の輝度信号処理部の構成を示す図であ
る。

【図２９】上記図２８に示した輝度信号処理部を構成す
る垂直ローパスフィルタ、水平ローパスフィルタの周波
数特性図である。

【図３０】上記図２８に示した輝度信号処理部を構成す
る垂直アパコン部内のバンドパスフィルタの周波数特性
図である。

【図３１】上記図２８に示した輝度信号処理部を構成す
る水平アパコン部内のバンドパスフィルタの周波数特性
図である。

【図３２】上記図２８に示した輝度信号処理部を構成す
る水平アパコン部内の他のバンドパスフィルタの周波数
特性図である。

【符号の説明】

１ ＣＣＤ、５ 輝度信号処理部、７〜１１ １ライン
ディレイ回路、１２垂直ローパスフィルタ、１３ 水平
ローパスフィルタ、１５ 水平アパコン部、１９ 垂直
アパコン部、２４ 斜めアパコン部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 補色系コーティングが施された画素を配
   列してなる撮像素子において、 イエローＹｅ，シアンＣｙ，マゼンタＭｇ，グリーンＧ
   からなる２ライン２画素を垂直方向に並べた４ライン２
   画素の繰り返しパターンの内の３，４ライン目の画素配
   置をそれぞれ逆転した計４ラインを単位とする市松模様
   画素を配列していることを特徴とする撮像素子。
2. 【請求項２】 イエローＹｅ，シアンＣｙ，マゼンタＭ
   ｇ，グリーンＧからなる２ライン２画素を垂直方向に並
   べた４ライン２画素の繰り返しパターンの内の３，４ラ
   イン目の画素配置をそれぞれ逆転した計４ラインを単位
   とする市松模様画素を配列している撮像素子からの全画
   素独立読み出し信号を処理する画像信号処理装置におい
   て、 上記撮像素子からの全画素独立読み出し信号に対して、
   垂直方向４画素を使い水平アパーチャー信号を生成し、
   この水平アパーチャー信号を用いて輝度信号の水平方向
   高周波成分を補償する輝度信号処理手段を備えることを
   特徴とする画像信号処理装置。
3. 【請求項３】 イエローＹｅ，シアンＣｙ，マゼンタＭ
   ｇ，グリーンＧからなる２ライン２画素を垂直方向に並
   べた４ライン２画素の繰り返しパターンの内の３，４ラ
   イン目の画素配置をそれぞれ逆転した計４ラインを単位
   とする市松模様画素を配列している撮像素子からの全画
   素独立読み出し信号を処理する画像信号処理装置におい
   て、 上記撮像素子からの全画素独立読み出し信号に対して、
   斜め方向４画素を使い斜め方向アパーチャー信号を生成
   し、この斜め方向アパーチャー信号を用いて輝度信号の
   斜め方向高周波成分を補償する輝度信号処理手段を備え
   ることを特徴とする画像信号処理装置。
4. 【請求項４】 イエローＹｅ，シアンＣｙ，マゼンタＭ
   ｇ，グリーンＧからなる２ライン２画素を垂直方向に並
   べた４ライン２画素の繰り返しパターンの内の３，４ラ
   イン目の画素配置をそれぞれ逆転した計４ラインを単位
   とする市松模様画素を配列している撮像素子からの全画
   素独立読み出し信号を処理する画像信号処理装置におい
   て、 上記撮像素子からの全画素独立読み出し信号に対して、
   近辺の他色画素を画素補間する補間手段を備えることを
   特徴とする画像信号処理装置。
5. 【請求項５】 上記補間手段は、上記撮像素子からの全
   画素独立読み出し信号に対して、各ライン毎に互いの画
   素を補間することを特徴とする請求項４記載の画像信号
   処理装置。
6. 【請求項６】 上記補間手段は、上記画素の水平、垂
   直、斜め相関検出データからそれぞれ最適な補間画素を
   選び補間することを特徴とする請求項４記載の画像信号
   処理装置。
7. 【請求項７】 上記補間手段は、上記撮像素子からの全
   画素独立読み出し信号に対して、ライン毎に互いの画素
   を補間するときに、補間するべき色の情報だけでなく、
   全ての画素情報を用いて水平、垂直、斜めの補間検出を
   行うことを特徴とする請求項４記載の画像信号処理装
   置。
8. 【請求項８】 上記補間手段は、上記撮像素子からの全
   画素独立読み出し信号に対して、水平、垂直、斜め方向
   の画素レベル差分の大小関係を用いて画素補間を施すこ
   とを特徴とする請求項４記載の画像信号処理装置。
9. 【請求項９】 上記補間手段からの補間出力を用いて輝
   度信号の高周波成分を補償する輝度信号処理手段を備え
   ることを特徴とする請求項４記載の画像信号処理装置。
10. 【請求項１０】 イエローＹｅ，シアンＣｙ，マゼンタ
    Ｍｇ，グリーンＧからなる２ライン２画素を垂直方向に
    並べた４ライン２画素の繰り返しパターンの内の３，４
    ライン目の画素配置をそれぞれ逆転した計４ラインを単
    位とする市松模様画素を配列している撮像素子と、 上記撮像素子からの全画素独立読み出し信号に対して、
    垂直方向４画素又は斜め方向４画素を使い水平アパーチ
    ャー信号又は斜め方向アパーチャー信号を生成し、この
    水平アパーチャー信号又は斜め方向アパーチャー信号を
    用いて輝度信号の水平方向高周波成分又は斜め方向高周
    波成分を補償する画像信号処理手段とを備えることを特
    徴とするカメラ装置。
11. 【請求項１１】 上記撮像素子からの全画素独立読み出
    し信号に対して、近辺の他色画素を画素補間する補間手
    段を備え、上記画像信号処理手段は上記補間手段の補間
    出力を用いて上記輝度信号の高周波成分を補償すること
    を特徴とする請求項１０記載のカメラ装置。