JP2001078211A - 色成分生成装置および色成分生成方法並びにこれを用いた多色画像撮像装置 - Google Patents

Abstract

(57)【要約】 【課題】 従来の多色画像撮像装置では、各画素の不足
色成分の感度信号レベルを生成する際に、その画素の受
光色の感度信号レベルを用いて補正したとしても、高彩
度の画像において白抜けや黒ずみなどの画質欠陥が発生
してしまう場合があった。 【解決手段】 高彩度の画像においては、上記画素の受
光色の感度信号レベルを用いた補正量を制限するように
したものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、受光色数よりも
少ない数の２次元固体撮像素子を用いて撮像して当該受
光色数分の色成分を有する多色画像データを出力するフ
ルカラー画像撮像装置などの多色画像撮像装置並びにそ
れに用いられる色成分生成装置および色成分生成方法に
関するものである。

【０００２】

【従来の技術】ＣＣＤセンサなどの２次元撮像素子を用
いて多色画像データを出力する多色画像撮像装置には、
受光色数分の２次元撮像素子を備えて各２次元撮像素子
が各色成分の受光感度信号を出力し、この受光色数分の
受光感度信号を各画素の色成分信号として出力するもの
と、受光色数よりも少ない数の２次元撮像素子を備えて
少なくともいずれか１つの２次元撮像素子が複数色分の
受光感度信号を出力するとともに、各画素の不足してい
る色成分の感度信号を演算処理で補間し、上記受光感度
信号とこの生成感度信号とを各画素の色成分信号として
出力するものとがある。前者の例としては、色の３原色
に相当するＲ（赤）色フィルタ、Ｇ（緑）色フィルタ及
びＢ（青）色フィルタを各々貼り付けた３枚の２次元撮
像素子を用いるとともに、１回の撮影で光学系から入射
される被写体像を分光プリズム等で分光して各原色用撮
像素子に入射させることで、１画面分のフルカラー画像
信号を得る３板式のフルカラー撮像装置を挙げることが
でき、また、後者の例としては、各画素位置毎に設けら
れた光電素子上にＲ色、Ｇ色、あるいはＢ色用のいずれ
か１種類のカラーフィルタを貼り付けた１枚の２次元撮
像素子を用いるとともに、各画素位置毎に不足する他の
２色の色成分の感度信号を演算により算出することで、
１画面分のフルカラー画像信号を得る単板式のフルカラ
ー撮像装置を挙げることができる。そして、後者の単板
式のフルカラー撮像装置は、多板式のものに比べて２次
元撮像素子などの光学部品の点数を抑えることができる
ため、小型かつ低価格に装置を構成することが可能であ
り、民生用ディジタルスチルカメラやディジタルビデオ
カメラなどにおいて主に採用されている。

【０００３】次に、このような単板式のフルカラー撮像
装置などにおいて、各画素の受光色の感度信号を用いて
各画素の不足している色成分（以下、生成色と呼ぶ）の
感度信号を生成する一般的な色補間処理方法について説
明する。なお、この色補間処理方法は一般的に線形補間
法とよばれるものである。図１２はこのような単板式２
次元撮像素子において一般的に用いられているＢａｙｅ
ｒ（ベイヤー）型配列による原色フィルタの構成を示す
説明図である。図において、１つ１つのマスが各画素
（光電素子）の位置を示し、そのマス内に記載された
「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」のそれぞれ
の記号は当該画素（光電素子）においてサンプリングさ
れる受光色を示すものである。そして、各色成分につい
て着目すると、「Ｇ（緑）」は図１３に示すような画素
位置において受光感度信号が得られ、「Ｂ（青）」は図
１４に示すような画素位置において受光感度信号が得ら
れ、「Ｒ（赤）」は図１５に示すような画素位置におい
て受光感度信号が得られることとなり、これらの図にお
いて空白となっている画素においてはそれぞれの色成分
が不足しているので演算により当該生成色の感度信号
（生成感度信号）を生成しなければならない。

【０００４】例えば「Ｇ（緑）」においては、図１３に
おいて「Ｇ」と記載された画素において受光感度信号が
得られているので、縦方向および横方向において隣接す
る上下左右の４つの画素の受光感度信号の平均値を演算
し、これを各空欄となっている画素の生成感度信号とす
る。なお、同図ではこの感度信号の参照関係を矢印で示
し、生成感度信号を「ｇ」として表記している。

【０００５】また、「Ｂ（青）」においては、図１４に
おいて「Ｂ」と記載された画素において受光感度信号が
得られているので、縦方向、横方向あるいは斜め方向に
おいて隣接する２つあるいは４つの画素の受光感度信号
の平均値を演算し、これを各空欄となっている画素の生
成感度信号とする。なお、同図ではこの感度信号の参照
関係を矢印で示し、上下の２つの画素を参照した場合の
生成感度信号を「ｂ１」、斜め方向の４つの画素を参照
した場合の生成感度信号を「ｂ２」、左右の２つの画素
を参照した場合の生成感度信号を「ｂ３」として表記し
ている。

【０００６】更に、「Ｒ（赤）」においては、図１５に
おいて「Ｒ」と記載された画素において受光感度信号が
得られているので、縦方向、横方向あるいは斜め方向に
おいて隣接する２つあるいは４つの画素の受光感度信号
の平均値を演算し、これを各空欄となっている画素の生
成感度信号とする。なお、同図ではこの感度信号の参照
関係を矢印で示し、上下の２つの画素を参照した場合の
生成感度信号を「ｒ１」、斜め方向の４つの画素を参照
した場合の生成感度信号を「ｒ２」、左右の２つの画素
を参照した場合の生成感度信号を「ｒ３」として表記し
ている。

【０００７】しかしながら、上記線形補間法に基づく色
補間処理方法では、十分な解像度を得ることができず、
信号変化が激しくなる画像のエッジ部分において本来の
被写体には存在しない偽色が発生してしまうなどの課題
があった。このような偽色が発生してしまうのは、第一
に、単板式の２次元撮像素子においては各画素上に１色
の色フィルタを配置しているがためにＲ、Ｇ、Ｂ各色と
もに画素数分だけの解像度が得られないことに起因し、
第二に、信号変化が激しくなるエッジ部分では本来相関
性が低い周辺画素を参照して補間を行ってしまうことに
起因し、その結果、各色成分毎にエッジ位置が微妙にず
れてしまうためである。

【０００８】そして、かかる問題を解決するために、本
出願人は特開平５−５６４４６号公報において局所的な
色相関性を用いて高解像度でかつ偽色を良好に抑制した
色補間処理方法を開示している。

【０００９】図１６は、２次元撮像素子にＲ、Ｇ、Ｂ３
原色からなる色フィルタをＢａｙｅｒ型配列で貼付した
カラービデオカメラに、当該特開平５−５６４４６号公
報に記載した技術を適用した場合の構成を示すブロック
図である。同図において、１は被写体からの入射光を集
光するレンズ、２はレンズ１を通して入射した光を光電
変換する上記２次元撮像素子、３はこの２次元撮像素子
２から出力されるアナログの受光感度信号をディジタル
の受光感度信号に変換するＡ／Ｄ変換器、４は１画面分
の受光感度信号を一時記憶するフレームメモリ、５はフ
レームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分
毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれ
Ｒ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際
に参照する画素に応じた複数ライン分の受光感度信号を
記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、Ｇ、
Ｂ各色成分毎に設けられ、各画素毎にローパスフィルタ
値を出力する２次元ローパスフィルタ、８は各画素につ
いてその受光色における受光感度信号と上記ローパスフ
ィルタ値との比に基づいてその他の２つの色成分のロー
パスフィルタ値を補正し、これを上記受光色の受光感度
信号とともに生成色の生成感度信号として出力する演算
回路である。

【００１０】次に動作について説明する。レンズ１から
入射した光は２次元撮像素子２に結像する。２次元撮像
素子２は入射光を光電変換し入射光量に応じたレベルの
アナログの電気信号を各画素の受光感度信号として出力
する。このアナログの電気信号はＡ／Ｄ変換器３にてデ
ィジタルの電気信号に変換されてフレームメモリ４に蓄
積される。フレームメモリ４に蓄積されたこの電気信号
は図示しない制御手段によってマルチプレクサ５に順次
送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別
々に２次元メモリ６ａ〜６ｃに書き込まれる。各色成分
の有意な電気信号が２次元メモリ６ａ〜６ｃに書き込ま
れている状態（一部）を図１７〜図１９に示す。これら
の図において、１つ１つの四角形は画素を意味し、
「Ｒ」「Ｇ」「Ｂ」と記載されている四角形が受光感度
信号が書き込まれている同色の画素である。なお、この
配列は上記色フィルタにおける「Ｒ」「Ｇ」「Ｂ」の配
列と一致する。

【００１１】そして、この２次元メモリ６ａ〜６ｃの記
憶内容に基づいて各画素の各色成分のローパスフィルタ
値が各色毎に設けた２次元ローパスフィルタ７ａ〜７ｃ
から出力される。各ローパスフィルタ７ａ〜７ｃは例え
ば注目画素を中心として所定の範囲内の受光感度信号の
平均値を出力すればよい。図２０〜図２２に各２次元ロ
ーパスフィルタ７ａ〜７ｃの出力例を示す。このように
全ての色成分の全ての画素についてローパスフィルタ値
は出力される。

【００１２】次に、演算回路８が各画素の受光色以外の
色成分の感度信号を生成する。具体的には例えば、図１
２のｍ行ｎ列の画素位置（受光色は緑）の赤色成分ｒ
（ｍ，ｎ）あるいは青色成分ｂ（ｍ，ｎ）は下記式
（１）あるいは式（２）に基づいて演算して求める。こ
れらの式において、Ｇ（ｍ，ｎ）は当該画素の受光感度
信号、Ｇ（ＬＰＦ）は当該画素の緑色成分のローパスフ
ィルタ値、Ｒ（ＬＰＦ）は当該画素の赤色成分のローパ
スフィルタ値、Ｂ（ＬＰＦ）は当該画素の青色成分のロ
ーパスフィルタ値である。

【００１３】 ｒ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（１） ｂ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｂ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（２）

【００１４】図２３はこの従来の２つの補間方法による
生成感度信号の信号レベルを比較説明するための説明図
である。同図は説明を簡略化するために一次元方向のみ
を考慮した場合を示している。図において、横軸は上記
一次元方向における各画素の位置、縦軸は信号レベル、
●印は実際に撮像素子により撮影された緑色成分の信号
レベル、２点鎖線で示す曲線はこの緑色成分の信号変化
曲線、○は実際に撮像素子により撮影された赤色成分の
信号レベル、実線で示す曲線は上記緑色成分の信号変化
曲線と相似して変化する信号変化曲線、二重線上の●印
は線形補間法を用いて補間した場合補間されるＲ色信号
の信号レベル、☆印は特開平５−５６４４６号公報の補
間によるＲ色信号の信号レベルである。なお、ＣＣＤセ
ンサなどの撮像素子においては上記信号レベルが高くな
ればなるほどその色成分の色は白色に近い色となり、低
ければ低いほど黒色に近い色となり、例えば「ＲＧＢ＝
（２５５，２５５，２５５）」では白色、「ＲＧＢ＝
（０，０，０）」では黒色となる。プリンタは逆の色傾
向になる。

【００１５】そして、同図に示すように、特開平５−５
６４４６号公報の補間によるＲ色信号の信号レベルは、
緑色成分の信号変化曲線と相似して変化する信号変化曲
線上に乗る。従って、線形補間法を用いて補間した場合
の信号レベルに比べて、画像の局所的な領域では輝度信
号の変化に比べて色信号の変化が少ない、言い換えれば
局所領域では色相関性が高いという撮影画像の一般的な
特徴に則った赤色成分の信号レベルを生成することがで
き、画像のエッジを構成する信号レベル変化の急峻な領
域においても色間の信号変化に偏りが生ずること無く、
エッジを十分に再現することができ、高解像度かつ偽色
の少ない高画質なものとすることができる。

【００１６】なお、上記式（１）あるいは式（２）は下
記式（３）のように一般化することができる。同式にお
いて、ｋ（ｍ，ｎ）は生成色の感度信号、Ｊ（ｍ，ｎ）
は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィ
ルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、
（ｍ，ｎ）はフレームメモリ上の当該画素の座標位置で
ある。

【００１７】 ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ） ・・・（３）

【００１８】

【発明が解決しようとする課題】しかしながら、このよ
うに局所的な色の相関関係を利用した補間方法であった
としても特有の画質劣化を生じる場合があった。

【００１９】図２４は特開平５−５６４４６号公報の補
間方法における画質劣化を説明するための説明図であ
る。各表記は図２３に準じている。そして、同図に示す
ように、受光色の感度信号レベルが低いレベル範囲にお
いて微妙に変化するとともに、生成色のローパスフィル
タ値が高くなるような場合には、つまりこれら色成分の
値の差が大きくて高彩度の有彩色となる場合には、参照
する受光色における微妙な変化に比例的に反応する形で
生成色の感度信号レベルが上記ローパスフィルタ値のレ
ベルから大きく外れてしまうこととなり、当該画素にお
いて本来画像中にない黒ずみや白抜けが発生してしまう
ことがある。

【００２０】例えば、ＲＧＢ各色成分の感度信号が１０
ビット（０〜１０２３の範囲、０：暗、１０２３：明）
である撮像装置において、一次元の局所的な信号レベル
としてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ
（２）＝Ｒ（４）＝１０２３となる画像が撮像された場
合、各ローパスフィルタ値を単純平均で算出すると、下
記式（４）〜式（６）の演算によりｒ（３）の感度信号
レベルが得られることとなり、これは同色の周辺画素の
信号レベルと比べて極端に低い値となってしまい、黒ず
みとなってしまう。

【００２１】 Ｇ（ＬＰＦ）＝（４＋１＋４）／３＝３ ・・・（４） Ｒ（ＬＰＦ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（５） ｒ（３）＝Ｇ（３）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ＝１×１０２３／３＝３４１ ・・・（６）

【００２２】以上のように、特開平５−５６４４６号に
開示した補間方法は、単板式の２次元撮像素子を用いた
多色画像撮像装置において一般的には高解像度でかつ偽
色の少ない色成分信号を得ることができるものである
が、撮影した絵柄によっては固有の画質劣化を引き起こ
してしまうなどの課題があった。

【００２３】この発明は上記のような課題を解決するた
めになされたもので、黒ずみや白抜けを生ずること無
く、高解像度でかつ偽色の少ない色成分信号を得ること
ができる多色画像撮像装置ならびにそれに用いられる色
成分生成装置および色成分生成方法を得ることを目的と
する。

【００２４】

【課題を解決するための手段】この発明に係る色成分生
成装置は、各画素の色情報として不足している色成分の
信号レベルを生成する色成分生成装置において、上記画
素の周囲の画素における上記不足色成分の信号レベルに
基づいて当該画素のローパスフィルタ値を生成するロー
パスフィルタ手段と、当該画素の既知の色成分における
当該画素の信号レベルと、当該既知の色成分における周
囲の画素の信号レベルのローパスフィルタ値との比に応
じた増幅値を演算する増幅値演算手段と、上記既知の色
成分の信号レベルと上記不足色成分の信号レベルとの信
号レベル差が大きければ大きいほど上記増幅値による上
記不足色成分のローパスフィルタ値の補正量が小さくな
るように当該増幅値と当該ローパスフィルタ値とを乗算
する乗算手段と、当該乗算値を上記不足色成分の信号レ
ベルとして出力する不足色成分出力手段とを備えるもの
である。

【００２５】この発明に係る色成分生成装置は、乗算手
段が、既知の色成分の信号レベルと不足色成分の信号レ
ベルとの信号レベル差の大きさをこれら２つの色成分の
ローパスフィルタ値同士の差で判定するとともに、この
判定に応じた補間強度係数を増幅値に乗算し、しかも、
当該補間強度係数は上記差が大きければ大きいほど当該
増幅値の逆数に近い値となり且つ上記差が小さければ小
さいほど「１」に近い値となるものである。

【００２６】この発明に係る色成分生成装置は、乗算手
段が、既知の色成分の信号レベルと不足色成分の信号レ
ベルとの信号レベル差の大きさをこれら２つの色成分の
ローパスフィルタ値同士の差で判定するとともに、この
判定に応じた１以下の値の重み付け係数を増幅値に乗算
し、且つ、当該増幅値に乗算される重み付け係数は上記
差が大きければ大きいほど「０」に近い値となるもので
ある。

【００２７】この発明に係る色成分生成装置は、乗算手
段において重み付け加算される演算項の個数を２とする
とともに、増幅値が乗算される演算項の重み付け係数
と、もう一つの演算項の重み付け係数との和は常に
「１」となるものである。

【００２８】この発明に係る色成分生成装置は、ローパ
スフィルタ手段が、不足色成分の生成に係る画素を中心
とする所定の範囲内の複数の画素における不足色成分の
信号レベルの平均値若しくは重み付け加算平均値、また
は、上記所定の範囲内の画素の中から信号レベル分布に
基づいて選択された複数の画素における不足色成分の信
号レベルの平均値若しくは重み付け加算平均値をローパ
スフィルタ値として生成するものである。

【００２９】この発明に係る色成分生成装置は、ローパ
スフィルタ手段が、不足色成分の生成に係る画素を中心
とする所定の範囲内の画素における不足色成分の信号レ
ベルの平均値を演算するとともにその平均値を閾値とし
て当該範囲内の複数の画素の二値化処理を行い、更にこ
の二値分布に応じて選択された複数の画素の平均値若し
くは重み付け加算平均値をローパスフィルタ値として生
成し、乗算手段が、増幅値が乗算される演算項における
不足色成分のローパスフィルタ値として上記所定の範囲
内の画素の平均値を使用し、もう一つの演算項における
不足色成分のローパスフィルタ値として上記選択された
複数の画素の平均値若しくは重み付け加算平均値を使用
するものである。

【００３０】この発明に係る色成分生成装置は、乗算手
段が、当該画素の受光信号レベルが当該受光色における
周囲の画素の信号レベルのローパスフィルタ値よりも小
さい場合のみ、既知の色成分の信号レベルと不足色成分
の信号レベルとの信号レベル差に応じた補正量制御を実
施するものである。

【００３１】この発明に係る色成分生成方法は、各画素
の色情報として不足している色成分の信号レベルを生成
する色成分生成方法において、上記画素の周囲の画素に
おける上記不足色成分の信号レベルに基づいて当該画素
のローパスフィルタ値を生成するローパスフィルタステ
ップと、当該画素の既知の色成分における当該画素の信
号レベルと、当該既知の色成分における周囲の画素の信
号レベルのローパスフィルタ値との比に応じた増幅値を
演算する増幅値演算ステップと、上記既知の色成分の信
号レベルと上記不足色成分の信号レベルとの信号レベル
差が大きければ大きいほど上記増幅値による上記不足色
成分のローパスフィルタ値の補正量が小さくなるように
当該増幅値と当該ローパスフィルタ値とを乗算する乗算
ステップと、当該乗算値を上記不足色成分の信号レベル
として出力する不足色成分出力ステップとを備えるもの
である。

【００３２】この発明に係る多色画像撮像装置は、各画
素の色情報として複数の色成分の信号レベルを出力する
多色画像撮像装置において、上記画素と１対１に対応づ
けられた受光素子毎に上記複数の色成分うちから選択さ
れた１つの色のフィルタが設けられ、上記画素数分の受
光信号レベルを出力する撮像素子と、上記撮像素子から
出力される各画素の受光信号レベルの色を既知の色成分
として、各画素の不足している色成分の信号レベルを生
成する請求項１記載の色成分生成装置と、上記各画素の
色情報として、上記撮像素子から出力される受光信号レ
ベルと、当該色成分生成装置から出力される残りの色成
分の信号レベルとを出力する出力手段とを備えるもので
ある。

【００３３】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１によるデ
ジタルスチルカメラなどのフルカラー画像撮像装置の構
成を示すブロック図である。図において、１は被写体か
らの入射光を集光するレンズ（撮像素子）、２はＲ、
Ｇ、Ｂの３原色の色フィルタがＢａｙｅｒ型に配列さ
れ、レンズ１を通して入射した光を光電変換する上記２
次元撮像素子（撮像素子）、３はこの２次元撮像素子２
から出力されるアナログの受光感度信号をディジタル１
０ビットの受光感度信号に変換するＡ／Ｄ変換器（撮像
素子）、４は１画面分の受光感度信号を一時記憶するフ
レームメモリ、５はフレームメモリ４上の受光感度信号
をＲ、Ｇ、Ｂ各色成分毎に分配するマルチプレクサ、６
ａ〜６ｃはそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、
生成色を生成する際に参照する画素に応じた複数ライン
分の受光感度信号を記憶する２次元メモリ、７ａ〜７ｃ
はそれぞれＲ、Ｇ、Ｂ各色成分毎に設けられ、各画素毎
にローパスフィルタ値を出力する２次元ローパスフィル
タ（ローパスフィルタ手段）である。

【００３４】また、９は色成分の差異値Ｄｉｆ（ｉ）と
それに対応するループ制御変数ｉとを対応づけたテーブ
ルを保持する係数メモリ（乗算手段）、１０は各生成色
についてその生成色のローパスフィルタ値Ｋ（ＬＰＦ）
と受光色のローパスフィルタ値Ｊ（ＬＰＦ）との値の差
（差異値Ｄｉｆ（ｉ））に応じたループ制御変数ｉを選
択するとともに、このループ制御変数ｉを用いて補間強
度係数Ｃｄを生成する係数選択回路（乗算手段）、１１
はこの補間強度係数Ｃｄと上記ローパスフィルタ値など
を用いて各生成色の感度信号ｋ（ｍ，ｎ）を生成し、更
にこの生成感度信号ｋ（ｍ，ｎ）と受光感度信号Ｊ
（ｍ，ｎ）とを合わせて各画素のＲＧＢ各１０ビットの
色成分信号として出力する演算回路（増幅値演算手段、
乗算手段、不足色生々出力手段、出力手段）である。

【００３５】次に動作について説明する。レンズ１から
入射した光は２次元撮像素子２に結像する。２次元撮像
素子２は入射光を光電変換し入射光量に応じたレベルの
アナログの電気信号を各画素の受光感度信号として出力
する。このアナログの電気信号はＡ／Ｄ変換器３にてデ
ィジタルの電気信号に変換されてフレームメモリ４に蓄
積される。フレームメモリ４に蓄積されたこの電気信号
は図示しない制御手段によってマルチプレクサ５に順次
送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別
々に２次元メモリ６ａ〜６ｃに書き込まれる。そして、
この２次元メモリ６ａ〜６ｃの記憶内容に基づいて各画
素の各色成分のローパスフィルタ値が各色毎に設けた２
次元ローパスフィルタ７ａ〜７ｃから出力される。各ロ
ーパスフィルタ値としては例えば注目画素を中心として
その周囲の所定の範囲内の受光感度信号の平均値（Ａ
Ｖ）がある。

【００３６】このようにＲＧＢの各色成分のローパスフ
ィルタ値が出力されると、これに基づいて係数選択回路
１０においてループ制御変数ｉの選択処理が実施され、
演算回路１１においてこの選択されたループ制御変数ｉ
を用いて各生成色の生成感度信号ｋ（ｍ，ｎ）が生成さ
れる。具体的には、生成色のローパスフィルタ値Ｋ（Ｌ
ＰＦ）と受光色のローパスフィルタ値Ｊ（ＬＰＦ）とを
比較し、それらの差分値の大きさが大きいほど大きな値
のループ制御変数ｉが選択され、このループ制御変数ｉ
を用いて補間強度係数Ｃｄが生成され、この補間強度係
数Ｃｄなどを用いて各生成感度信号ｋ（ｍ，ｎ）が生成
される。下記式（７）は補間強度係数Ｃｄなどを用いて
生成感度信号ｋ（ｍ，ｎ）を演算するための式である。
同式において、ｋ（ｍ，ｎ）は生成感度信号、Ｊ（ｍ，
ｎ）は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパス
フィルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ
値、Ｃｄは補間強度係数である。

【００３７】 ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×｛Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ）｝×Ｃｄ ・・・（７）

【００３８】図２は係数選択回路１０において実行され
る補間強度係数生成処理を示すフローチャートである。
なお、この処理は各生成色毎に実施されるものである。
同図において、ＳＴ１は受光感度信号Ｊ（ｍ，ｎ）が受
光光のローパスフィルタ値Ｊ（ＬＰＦ）以下であるか否
かを判断する凹凸判断ステップ、ＳＴ２は当該判断にお
いて正しいと判断された場合に実行されるステップであ
って、予め決められた補間強度の段階数Ｄｎｕｍなどを
用いて補間強度のステップ幅Ｄ（＝（Ｊ（ＬＰＦ）／Ｊ
（ｍ，ｎ）−１）／Ｄｎｕｍ）を演算するステップ幅演
算ステップ、ＳＴ３はループ制御変数ｉに初期値「０」
を代入する初期化ステップ、ＳＴ４は生成色のローパス
フィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィルタ値
Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに基づいて
係数テーブルから選択された差分値Ｄｉｆ（ｉ）以下で
あるか否かを判断することによって、注目画素における
色味及び彩度の算出を行う差分量判断ステップ、ＳＴ５
はこの差分量判断ステップＳＴ４において否と判断され
た場合に実行されるステップであって、ループ制御変数
ｉに「１」を加算するループ制御変数更新ステップ、Ｓ
Ｔ６はこのループ制御変数ｉに基づいて補間強度の分割
数Ｄｎｕｍ分のループ処理が行われたか否かを判断する
ループ終了ステップであり、このループ終了ステップＳ
Ｔ６において正しいあるいは上記差分量判断ステップＳ
Ｔ４で正しいと判断された場合にループ処理を終了す
る。そして、そのループ処理を終了した時点のループ制
御変数ｉを用いて補間強度係数Ｃｄ（＝１＋Ｄ×（ｉ＋
１））が演算される（補間強度係数演算ステップ、ＳＴ
７）。

【００３９】また、ＳＴ８は凹凸判断ステップＳＴ１に
おいて正しくないと判断された場合に実行されるステッ
プであって、補間強度のステップ幅Ｄ（＝（１−Ｊ（Ｌ
ＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ）を演算するステッ
プ幅演算ステップ、ＳＴ９はループ制御変数ｉに初期値
「０」を代入する初期化ステップ、ＳＴ１０は生成色の
ローパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフ
ィルタ値Ｊ（ＬＰＦ）との差の大きさがループ変数ｉに
基づいて係数テーブルから選択された差分値Ｄｉｆ
（ｉ）以下であるか否かを判断する差分量判断ステッ
プ、ＳＴ１１はこの差分量判断ステップＳＴ１０におい
て否と判断された場合に実行されるステップであって、
ループ制御変数ｉに「１」を加算するループ制御変数更
新ステップ、ＳＴ１２はこのループ制御変数ｉに基づい
て補間強度の分割数Ｄｎｕｍ分のループ処理が行われた
か否かを判断するループ終了ステップであり、このルー
プ終了ステップＳＴ１２において正しいあるいは上記差
分量判断ステップＳＴ１０で正しいと判断された場合に
ループ処理を終了する。そして、そのループ処理を終了
した時点のループ制御変数ｉを用いて補間強度係数Ｃｄ
（＝１−Ｄ×（ｉ＋１））が演算される（補間強度演算
ステップ、ＳＴ１３）。

【００４０】ところで、上記式（７）は下記式（８）の
ように変形することができ、しかも、上記補間強度変数
Ｃｄは「ｉ＝Ｄｎｕｍ−１」のときに「Ｊ（ＬＰＦ）／
Ｊ（ｍ，ｎ）」、「ｉ＝０」のときに「１＋（Ｊ（ＬＰ
Ｆ）／Ｊ（ｍ，ｎ）−１）／Ｄｎｕｍ」あるいは「１−
（１−Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ））／Ｄｎｕｍ」とな
るので、生成色のローパスフィルタ値Ｋ（ＬＰＦ）と受
光色のローパスフィルタ値Ｊ（ＬＰＦ）との差分値が大
きければ大きいほど（つまりＤが大きければ大きいほ
ど）下記式（８）は「Ｋ（ＬＰＦ）」に近い値をとり、
逆に、当該差分値が小さければ小さいほど（つまりＤが
小さければ小さいほど）下記式（８）は「Ｋ（ＬＰＦ）
×Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）」に近い値をとることに
なる。別な言い方をすれば、補間強度係数Ｃｄが取りう
る範囲は「１」と「Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）」との
間の値である。特に、Ｃｄ＝１の場合には注目画素周辺
が低彩度の場合であり式（８）は式（３）と同等とな
り、Ｃｄ＝Ｊ（ＬＰＦ）／Ｊ（ｍ，ｎ）の場合には注目
画素周辺が高彩度の場合であり「ｋ（ｍ，ｎ）＝Ｋ（Ｌ
ＰＦ）」となるため線形補間法と同等になる。図３はこ
のような各種のパラメータの相関関係を示す説明図であ
る。同図（ａ）はＪ（ｍ，ｎ）≦Ｊ（ＬＰＦ）の場合、
同図（ｂ）はＪ（ｍ，ｎ）≧Ｊ（ＬＰＦ）の場合であ
る。

【００４１】 ｋ（ｍ，ｎ）＝Ｋ（ＬＰＦ）×｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）×Ｃｄ｝ ・・・（８）

【００４２】なお、図４はこのような補間強度係数Ｃｄ
の演算処理において参照される係数メモリ９の内容の一
例を示した模式図である。図において、左列はループ制
御変数ｉ、右列は差分値Ｄｉｆ（ｉ）であり、上記フロ
ーでは同図の上側から順番に参照されることになる。

【００４３】ここで、具体例を示す。従来例で示した局
所的な１０ビットの信号レベルとしてＧ（１）＝４、Ｇ
（３）＝１、Ｇ（５）＝４、Ｒ（２）＝Ｒ（４）＝１０
２３であり、かつ各ローパスフィルタ７ａ〜７ｃは単純
平均で算出するものと仮定し、図２及び式（８）に従っ
て注目画素におけるＲ信号値ｒ（３）を算出した場合、
以下の式（９）〜式（１６）の演算を行うことになる。
そして、生成感度信号ｒ（３）は同色の周辺画素信号レ
ベルと同等の値になるため、高彩度かつ有彩色の領域で
極端に黒ずみや白抜け等の画質劣化を発生することはな
い。特に、ディジタルスチルカメラ等の多色画像撮像装
置で撮影した画像はコンピュータグラフィックスで作成
した画像とは異なり、画像中のエッジ近傍は低彩度の影
（明暗）になる場合が多いが、この実施の形態１のよう
に補間処理をすることによって、解像度に寄与するエッ
ジ近傍は従来法の特長を十分に発揮しながら、高彩度の
ベタ面については黒ずみ等の画質劣化を排除した高画質
のフルカラー画像を得ることが可能になる。

【００４４】 Ｇ（ＬＰＦ）＝（４＋１＋４）／３＝３ ・・・（９） Ｒ（ＬＰＦ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（１０） Ｄｎｕｍ＝５ ・・・（１１） Ｄ＝（Ｇ（ＬＰＦ）／Ｇ（３）−１）／Ｄｎｕｍ ＝（３／１−１）／５＝０．４ ・・・（１２） ｉ＝Ｄｎｕｍ−１＝４ ・・・（１３） Ｄｉｆ［ｉ］＝１０００ ・・・（１４） Ｃｄ＝１＋０．４×（４＋１）＝３ ・・・（１５） ｒ（３）＝Ｒ（ＬＰＦ）×｛（Ｇ（３）／Ｇ（ＬＰＦ））×Ｃｄ｝ ＝１×｛（１０２３／３）×３｝＝１０２３ ・・・（１６）

【００４５】なお、この実施の形態１では、図２のフロ
ーチャートにおいて補間強度差分値Ｄを演算により算出
していたが、Ｄｎｕｍを撮像系に対して固定値として設
定することで、受光感度信号Ｊ（ｍ，ｎ）やローパスフ
ィルタ値Ｊ（ＬＰＦ）をインデックスとして当該補間強
度差分値Ｄを選択する２次元ＬＵＴ（Ｌｏｏｋ ＵｐＴ
ａｂｌｅ）を予め係数メモリ９などに格納させることが
できる。この場合、実際に補間強度差分値Ｄを求める際
にはメモリ参照処理のみで足りるので、処理を高速化す
ることができる。また、補間強度差分値Ｄ及び彩度判定
値（ｉ）をインデックスとして補間強度係数Ｃｄを選択
する２次元ＬＵＴ（Ｌｏｏｋ ＵｐＴａｂｌｅ）を予め
係数メモリ９などに格納させることで更に処理を高速化
することができる。

【００４６】また、この実施の形態１では、生成色のロ
ーパスフィルタ値Ｋ（ＬＰＦ）と受光色のローパスフィ
ルタ値Ｊ（ＬＰＦ）との差分値に基づいて簡易的に彩度
及び色味を判定しているが、入力されるＲＧＢ３原色の
ローパスフィルタ値をＨＶＣ（Ｈｕｅ Ｖａｌｕｅ Ｃ
ｈｒｏｍａ）あるいはＨＳＬ（Ｈｕｅ Ｓａｔｕｒａｔ
ｉｏｎ Ｌｉｇｈｔｎｅｓｓ）等の色相、彩度、明度を
３原色とした色空間に変換し、これに基づいて厳密に彩
度及び明度値を判定するようにしてもよい。この場合、
彩度が高い場合でも明度値が大きければ該当領域は白色
に近い色合いとなり、逆に明度値が小さい場合には該当
領域は黒色に近い色合いとなって、補間強度係数は大き
くても画質上問題が生じてしまうことはないので、中間
明度における彩度値を補間係数に反映させて黒済み等を
除去することができる。

【００４７】以上のように、この実施の形態１によれ
ば、各画素の色情報として不足している色成分の感度値
を生成する色成分生成装置において、上記画素の周囲の
画素における上記不足色成分の感度値に基づいて当該画
素のローパスフィルタ値Ｋ（ＬＰＦ）を生成する２次元
ローパスフィルタ７ａ〜７ｃと、上記既知の色成分の感
度信号レベルと上記不足色成分の感度信号レベルとのレ
ベル差に応じた補間強度係数Ｃｄを出力する係数選択回
路１０と、当該画素の既知の色成分における当該画素の
感度値Ｊ（ｍ，ｎ）と当該既知の色成分における周囲の
画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）との比
に応じた増幅値｛Ｊ（ｍ，ｎ）／Ｊ（ＬＰＦ）｝を演算
するとともに、上記補間強度係数Ｃｄとこの増幅値を上
記ローパスフィルタ値Ｋ（ＬＰＦ）に乗算して出力する
演算回路１１とを備えるので、上記既知の色成分の感度
信号レベルと上記不足色成分の感度信号レベルとのレベ
ル差が小さい場合には、画像の局所的な領域では輝度信
号の変化に比べて色信号の変化が少ない、言い換えれば
局所領域では色相関性が高いという撮影画像の一般的な
特徴に則った補正をおこなって、線形補間法を用いて補
間した場合に比べて、画像のエッジを構成する信号レベ
ル変化の急峻な領域においても色間の信号変化に偏りが
生じないようにすることができる。従って、エッジを十
分に再現することができ、高解像度かつ偽色の少ない高
画質なものとすることができる効果がある。

【００４８】これと同時に、上記既知の色成分の感度信
号レベルと上記不足色成分の感度信号レベルとのレベル
差が大きい場合には、つまりこれら色成分の値の差が大
きくて高彩度の有彩色となる場合には、既知の色成分の
感度信号レベルと不足色成分の感度信号レベルとのレベ
ル差に応じた補正量制御を実施するので、参照する受光
色における微妙な変化に比例的に反応する形で生成色の
感度値ｋ（ｍ，ｎ）が上記ローパスフィルタ値Ｋ（ＬＰ
Ｆ）のレベルから大きく外れてしまうことはなく、当該
画素において本来画像中にない黒ずみや白抜けが発生し
てしまうことを効果的に抑制することができる効果があ
る。

【００４９】つまり、画像中の高彩度の領域では相似比
による色補間の影響を低減し黒ずみ等の画質劣化を抑制
しつつ高解像度に色補間を行うことが可能であると同時
に、低彩度の領域では相似比による色補間結果を優先す
ることで高解像度で偽色の少ない色補間を行うことがで
きる効果がある。従って、画像の種類によらず安定感の
ある多色画像を撮像することができる効果がある。

【００５０】以上のように、この実施の形態１によれ
ば、係数選択回路１０が、既知の色成分の感度信号レベ
ルと不足色成分の感度信号レベルとのレベル差の大きさ
をこれら２つの色成分のローパスフィルタ値同士（Ｋ
（ＬＰＦ）−Ｊ（ＬＰＦ））の差で判定するとともに、
演算回路１１がこの判定に応じた補間強度係数Ｃｄを増
幅値に乗算し、しかも、当該補間強度係数Ｃｄは上記差
が大きければ大きいほど当該増幅値の逆数｛Ｊ（ＬＰ
Ｆ）／Ｊ（ｍ，ｎ）｝に近い値となり且つ上記差が小さ
ければ小さいほど「１」に近い値となるので、上記既知
の色成分の感度信号レベルと上記不足色成分の感度信号
レベルとのレベル差が小さい場合には上記差も小さくな
って、補正値そのままに生成色の感度値ｋ（ｍ，ｎ）を
補正することができ、しかも、上記既知の色成分の感度
信号レベルと上記不足色成分の感度信号レベルとのレベ
ル差が大きい場合には上記差も大きくなって、当該補正
値による補正量を制限することができる。従って、黒ず
み等の画質劣化を抑制しつつ高解像度で偽色の少ない色
補間を行うことができる効果がある。

【００５１】なお、この実施の形態１では上記２次元ロ
ーパスフィルタ７ａ〜７ｃは、不足色成分の生成に係る
画素を中心とする所定の範囲内の複数の画素における不
足色成分の感度値の重み付け加算平均値Ｋ（ＬＰＦ）を
ローパスフィルタ値として生成しているが、ほかにも、
不足色成分の生成に係る画素を中心とする所定の範囲内
の複数の画素における不足色成分の感度値の平均値Ｋ
（ＡＶ）などをローパスフィルタ値として生成しても同
様の効果がある。

【００５２】実施の形態２．図５はこの発明の実施の形
態２の係数演算回路において実施される補間強度係数生
成処理を示すフローチャートである。図において、ＳＴ
１４は凹凸判断ステップＳＴ１において正しくないと判
断された場合に実行されるステップであって、補間強度
係数Ｃｄとして「１」を出力する補間強度演算ステップ
である。これ以外の構成および動作は実施の形態１と同
様であり説明を省略する。

【００５３】そして、このように受光色が微妙に凸状の
変化を有している場合には、それを用いた生成色の感度
信号もその相似比に応じた変化が生じてしまうが、デジ
タルスチルカメラなどの多色画像撮像装置では、その周
囲の画素における当該生成色と同色の色成分の感度信号
は既に十分に高いレベルにあるためその色の差異が視認
され難くなり、結果的に白抜けなどの画質劣化にはなり
にくく、この実施の形態２のように簡略化した処理にて
高速化を図ったとしても、黒ずみや白抜けなどの画質劣
化が顕著に発生してしまうことはない。

【００５４】以上のように、この実施の形態２によれ
ば、演算回路１１が、当該画素の受光感度値Ｊ（ｍ，
ｎ）が当該受光色における周囲の画素の感度値のローパ
スフィルタ値Ｊ（ＬＰＦ）よりも小さい場合のみ、既知
の色成分の感度信号レベルと不足色成分の感度信号レベ
ルとのレベル差に応じた補正量制御を実施するので、当
該画素の受光感度値Ｊ（ｍ，ｎ）が当該受光色における
周囲の画素の感度値のローパスフィルタ値Ｊ（ＬＰＦ）
よりも大きい場合の演算処理を簡略化することができ
る。そして、このように画素の受光感度値Ｊ（ｍ，ｎ）
が当該受光色における周囲の画素の感度値のローパスフ
ィルタ値Ｊ（ＬＰＦ）よりも大きい場合の演算処理を省
略して、ローパスフィルタ値Ｋ（ＬＰＦ）に「Ｊ（ｍ，
ｎ）／Ｊ（ＬＰＦ）」を乗算した値をそのまま感度値ｋ
（ｍ，ｎ）として出力したとしても、その周囲を含めて
全体の感度が高いため、これに基づいて生成された表示
画像などにおいては再生装置の再生能力の限界値で制限
されることとなり、画質欠陥として認識されにくい効果
がある。

【００５５】実施の形態３．図６はこの発明の実施の形
態３によるデジタルスチルカメラなどのフルカラー画像
撮像装置の構成を示すブロック図である。図において、
１６はＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕ
ｔ）メモリ等で構成され、フレームメモリ４上の１画面
分の受光感度データのうち複数ライン分の受光感度デー
タを保持するラインバッファ（ローパスフィルタ手
段）、１７はラインバッファ１６に保持される複数ライ
ン分の受光感度データからパターンマッチング法により
線分ベクトルの検出を行い、この線分ベクトルに基づい
て複数の画素を選択し、更に、この選択された複数の画
素の感度に基づいて各画素の各色成分のローパスフィル
タ値を出力するパターンマッチング手段（ローパスフィ
ルタ手段）、１８はこのパターンマッチング手段１７に
おけるパターンマッチング処理の際に参照する複数の感
度分布パターンとそれに応じた参照画素とを対応づけて
記憶するパターンメモリ（ローパスフィルタ手段）であ
る。なお、上記感度分布パターンは線分ベクトルのパタ
ーンに基づいて設定されている。

【００５６】また、１９は生成色の平均値Ｋ（ＡＶ）と
受光色の平均値Ｊ（ＡＶ）との差異度に応じたループ制
御変数ｉを演算する係数選択回路（乗算手段）、２０は
このループ制御変数ｉなどを利用して各画素の各色成分
の感度信号を生成する演算回路（増幅値演算手段、乗算
手段、不足色生々出力手段、出力手段）である。これ以
外の構成は実施の形態１と同様であり説明を省略する。

【００５７】次に動作について説明する。フレームメモ
リ４に撮影後のディジタルの受光感度信号が記憶される
と、図示しないメモリコントローラが常に７ライン分の
データがラインバッファ１６に保持されるようにデータ
を出力する。パターンマッチング手段１７は、画素入力
クロックに同期して、色補間しようとする注目画素を中
心とした７×７画素からなる参照ウィンドウをこのライ
ンバッファ１６から抽出し、これとパターンメモリ１８
に記憶された線分ベクトルのパターンとを比較し、各画
素の各色成分のパターンマッチングに基づくローパスフ
ィルタ値を出力する。

【００５８】図７はこのようなパターンマッチングに基
づくローパスフィルタ値を出力する際に、パターンマッ
チング手段１７で使用される参照ウィンドウの一例を示
す説明図である。図において、各マスは画素に対応し、
網掛けされたマスは当該不足色成分の受光感度信号が得
られている画素を示している。また、この中心に位置す
るマスが注目画素であり、パターンマッチング手段１７
は当該画素の各色成分のローパスフィルタ値を生成して
出力する。更に、同図においてこの注目画素から周囲に
のびている各矢印はそれぞれ同図に示すような受光色の
分布パターンにおいて検出可能な上記線分ベクトルであ
る。そして、この実施の形態３においてはこのような受
光色の分布パターンとなるのは緑色成分である。

【００５９】次に線分ベクトルの検出方法について説明
する。まず、下記式（１７）を用いて参照ウィンドウ内
の各色成分毎の受光感度の平均値Ｋ（ＡＶ）を求める。
同式では、当該参照ウィンドウ内の当該色成分の受光画
素数をｎとしている。

【００６０】

【数１】

【００６１】次に、この平均値Ｋ（ＡＶ）を閾値として
当該ｎ個の画素の受光感度を「０」「１」に分類し（二
値化処理し）、これをパターンメモリ１８内に記憶され
た各分布パターンと比較し、一致する分布パターンに対
応づけられた画素の受光感度に基づいて注目画素の当該
色成分のローパスフィルタ値Ｋ（ＰＡＴ）を生成する。
例えば、図８に示すような二値分布パターンとなった場
合には同図に示す位置にエッジ（線分ベクトル）が存在
すると考えられるので、注目画素を含む側の近隣画素
（細かいハッチング側の画素）の感度信号を用いて、例
えば線分ベクトルの稜線方向に存在する複数の画素の感
度信号を重み付け加重平均して上記ローパスフィルタ値
Ｋ（ＰＡＴ）を生成する。

【００６２】なお、注目画素における他の色成分におい
ても同様の方法でパターンマッチングに基づくローパス
フィルタ値を生成することができる。この場合、２次元
撮像素子におけるフィルタの色分布が緑色成分と異なる
ため、受光分布パターンも緑色成分とは異なるものとな
る。図９に、この実施の形態３における参照ウィンドウ
内における赤色成分の４つの受光分布パターンおよび青
色成分の４つの受光分布パターンを示す。

【００６３】そして、係数選択回路１９はこの各色成分
の平均値Ｋ（ＡＶ），Ｊ（ＡＶ）を用いてループ制御係
数ｉを選択し、演算回路２０はパターンマッチングに基
づくローパスフィルタ値Ｋ（ＰＡＴ）などを用いて下記
式（１８）にて各生成色の生成感度信号ｋ（ｍ，ｎ）を
生成して出力する。同式において、Ｋ（ＡＶ）は上記参
照ウィンドウにおける平均値、Ｋ（ＰＡＴ）はパターン
マッチングに基づくローパスフィルタ値である。

【００６４】

【数２】

【００６５】図１０はこの実施の形態３の係数選択回路
１９の動作を示すフローチャートである。図において、
ＳＴ１５はループ制御変数ｉに初期値「０」を代入する
初期化ステップ、ＳＴ１６は生成色の平均値Ｋ（ＡＶ）
と受光色の平均値Ｊ（ＡＶ）との差の大きさがループ変
数ｉに基づいて係数テーブルから選択された差分値Ｄｉ
ｆ（ｉ）以下であるか否かを判断することによって、注
目画素における色味及び彩度の算出を行う差分量判断ス
テップ、ＳＴ１７はこの差分量判断ステップＳＴ１６に
おいて否と判断された場合に実行されるステップであっ
て、ループ制御変数ｉに「１」を加算するループ制御変
数更新ステップ、ＳＴ１８はこのループ制御変数ｉに基
づいて補間強度の分割数Ｄｎｕｍ分のループ処理が行わ
れたか否かを判断するループ終了ステップであり、この
ループ終了ステップＳＴ１８において正しいあるいは上
記差分量判断ステップＳＴ１６で正しいと判断された場
合にループ処理を終了する。そして、演算回路２０はこ
のループ処理を終了した時点のループ制御変数ｉを上記
式（１８）に代入して重み付け演算を実施する。

【００６６】そして、このような演算処理であっても、
実施の形態１と同様に、画像中の高彩度の領域では相似
比による色補間の影響を低減し黒ずみ等の画質劣化を抑
制しつつ高解像度に色補間を行うことが可能である。ま
た、低彩度の領域では相似比による色補間結果を優先す
ることで高解像度で偽色の少ない色補間を行うことがで
きる。

【００６７】また、パターンマッチング手段１７におい
てパターンマッチング処理のために算出したウィンドウ
内平均値Ｋ（ＡＶ）を後段においても利用するようにし
ているので、実施の形態１で使用した色補間専用の２次
元メモリ６ａ〜６ｃや２次元ローパスフィルタ回路７ａ
〜７ｃが不要となり、回路規模を抑制しながら実施の形
態１よりも更に画像の高画質化を図ることができる。

【００６８】なお、この実施の形態３においては、パタ
ーンメモリ１８を設けてパターンマッチング手段１７か
らパターンを参照していたが、予め参照パターンを論理
回路として構成しておきその論理演算結果（ＡＮＤまた
はＯＲ）に基づいて２値信号群のマッチング判定を行う
ようにしてもよい。この場合、装置を構成するメモリ量
を低減することができるので低コスト化を図ることがで
きる。

【００６９】また、この実施の形態３では、ＲＧＢ全て
のパターンマッチングを行い各色毎に線分方向検出を行
っていたがこの限りでなく、例えばサンプリング周波数
が比較的高く解像度信号を多く含んでいるＧ信号に対し
てのみ線分方向検出を行い、Ｇ信号の線分ベクトルをそ
の他の色成分の線分ベクトルとして代用してもよい。

【００７０】以上のように、この実施の形態３によれ
ば、係数選択回路１９が、既知の色成分の感度信号レベ
ルと不足色成分の感度信号レベルとのレベル差の大きさ
をこれら２つの色成分のローパスフィルタ値同士の差
（Ｋ（ＡＶ）−Ｊ（ＡＶ））で判定するとともに、演算
回路２０がこの判定に応じた１以下の値の重み付け係数
（１−（ｉ＋１）／Ｄｎｕｍ）を増幅値（Ｊ（ｍ，ｎ）
／Ｊ（ＡＶ））に乗算し、且つ、当該増幅値に乗算され
る重み付け係数は上記差が大きければ大きいほど「０」
に近い値となるので、上記既知の色成分の感度信号レベ
ルと上記不足色成分の感度信号レベルとのレベル差が小
さい場合には上記差も小さくなって、補正値そのままに
生成色の感度値ｋ（ｍ，ｎ）を補正することができ、し
かも、上記既知の色成分の感度信号レベルと上記不足色
成分の感度信号レベルとのレベル差が大きい場合には上
記差も大きくなって、当該補正値による補正量を制限す
ることができる。従って、黒ずみ等の画質劣化を抑制し
つつ高解像度で偽色の少ない色補間を行うことができる
効果がある。

【００７１】この実施の形態３によれば、式（１８）に
示すように演算回路２０において重み付け加算される演
算項の個数を２とするとともに、増幅値が乗算される演
算項（式（１８）の右辺第１項）の重み付け係数と、も
う一つの演算項（式（１８）の右辺第２項）の重み付け
係数との和は常に「１」となるので、不足色の感度値と
して、不足色のローパスフィルタ値Ｋ（ＰＡＴ）と、そ
れに補正値を乗算した値（Ｋ（ＡＶ）×Ｊ（ｍ，ｎ）／
Ｊ（ＡＶ））との間の値を得ることができる効果があ
る。

【００７２】この実施の形態３によれば、パターンマッ
チング手段１７が、不足色成分の生成に係る画素を中心
とする所定の範囲内の画素における不足色成分の感度値
の平均値Ｋ（ＡＶ）を演算するとともにその平均値Ｋ
（ＡＶ）を閾値として当該範囲内の複数の画素の二値化
処理を行い、更にこの二値分布に応じて選択された複数
の画素の平均値若しくは重み付け加算平均値をローパス
フィルタ値Ｋ（ＰＡＴ）として生成し、演算回路２０
が、増幅値が乗算される演算項（式（１８）の第１項）
における不足色成分のローパスフィルタ値として上記所
定の範囲内の画素の平均値Ｋ（ＡＶ）を使用し、もう一
つの演算項における不足色成分のローパスフィルタ値と
して上記選択された複数の画素の平均値若しくは重み付
け加算平均値Ｋ（ＰＡＴ）を使用するので、画像中のエ
ッジ位置においては相関の高い画素のみに基づいてロー
パスフィルタ値を生成して更に偽色の発生を抑制しつ
つ、画像中の高彩度の領域では黒ずみ等の画質劣化を抑
制することができる効果がある。

【００７３】実施の形態４．この実施の形態４に係るフ
ルカラー画像撮像装置は、演算回路１１が下記式１９に
基づいて各生成感度信号ｋ（ｍ，ｎ）を生成するととも
に、係数選択回路１０が図１１に示すフローチャートを
実施する以外は実施の形態１と同様の構成および動作で
ある。なお、式（１９）の右辺第１項は受光色の相似比
を元に色補間を行うアルゴリズムに基づく演算項であ
り、第２項は線形補間アルゴリズムに基づく演算項であ
り、同式はこれら２種類のアルゴリズムを、彩度に対応
づけられたループ制御変数ｉに基づいて重み付け加算す
るものである。

【００７４】

【数３】

【００７５】また、図１１において、ＳＴ１９はループ
制御変数ｉに初期値「０」を代入する初期化ステップ、
ＳＴ２０は生成色のローパスフィルタ値Ｋ（ＬＰＦ）と
受光色のローパスフィルタ値Ｊ（ＬＰＦ）との差の大き
さがループ変数ｉに基づいて係数テーブルから選択され
た差分値Ｄｉｆ（ｉ）以下であるか否かを判断すること
によって、注目画素における色味及び彩度の算出を行う
差分量判断ステップ、ＳＴ２１はこの差分量判断ステッ
プＳＴ２０において否と判断された場合に実行されるス
テップであって、ループ制御変数ｉに「１」を加算する
ループ制御変数更新ステップ、ＳＴ２２はこのループ制
御変数ｉに基づいて補間強度の分割数Ｄｎｕｍ分のルー
プ処理が行われたか否かを判断するループ終了ステップ
であり、このループ終了ステップＳＴ２２において正し
いあるいは上記差分量判断ステップＳＴ２０で正しいと
判断された場合にループ処理を終了する。そして、演算
回路１１はこのループ処理を終了した時点のループ制御
変数ｉを上記式（１９）に代入して重み付け演算を実施
する。

【００７６】そして、このような構成であれば実施の形
態１と同様に、黒ずみ等の発生しない高画質な色補間を
実現することができる。

【００７７】また、係数選択回路１０における演算を簡
易化することによりメモリアクセスを伴う低速の係数選
択処理を高速化することが可能になり、フレームメモリ
４の出力から演算回路１１の演算出力までの各段階にお
ける処理時間をより均一な状態に近付ける事が可能とな
るので、これらの間におけるタイミング調整用のラッチ
などの付加回路を削減することができ、しかも、画素ク
ロックに同期したパイプライン処理が実現可能になる。

【００７８】なお、この実施の形態３及び実施の形態４
においては、演算回路１１において色の相似比から算出
するアルゴリズムに基づく演算項と周辺画素の平均値と
しての線形補間アルゴリズムに基づく演算項とを、注目
画素近傍の感度信号レベルに応じて重み付け加算演算し
ているが、上記式（１８）あるいは式（１９）において
ループ制御変数ｉに基づいた加算演算の種類は高々有限
個の組合せであるので、予め全組合せについての演算結
果を係数メモリ９などに記憶させておき、ｉ及びＤｎｕ
ｍをインデックスとして選択するようにしてもよい。こ
れにより、回路規模の縮小効果や演算速度の向上効果を
期待することができる。

【００７９】また、以上の実施の形態においては、撮像
後の画像処理として色補間処理用のブロックのみを説明
したものとなっているが、オートホワイトバランス処理
（白色補正）、γ補正処理（階調特性の補正）、フィル
タ処理（輪郭強調やノイズ除去）、ＪＰＥＧ圧縮処理
（画像データ圧縮保存）などの処理と組合せても同様の
効果が得られることは言うまでもない。更に、ＬＣＤイ
ンタフェース（画像表示確認用液晶インタフェース）、
フラッシュメモリインタフェース（撮影画像保存媒体イ
ンタフェース）等の入出力インタフェースが付加された
装置であっても同等の効果が得られることも言うまでも
ない。

【００８０】そして、以上の全ての実施の形態では、多
色画像撮像装置の内部で色補間処理を実行可能な構成例
を示したがこの限りでなく、パーソナルコンピュータや
カラープリンタ等、撮像装置に直接あるいは記憶媒体を
間接的に経由して接続可能で単板式センサを使用して入
力した画像を扱ういずれの機器上で構成してもよい。ま
た、２次元撮像素子２としてＲＧＢの色フィルタがＢａ
ｙｅｒ型に配列された場合を例として示したがこの限り
でなく、原色系あるいは補色系の複数の色フィルタが配
置され色補間処理を行うことによりフルカラー画像を得
るように構成される撮像素子から入力される画像であれ
ば同等の効果を得ることができる。更に、２次元撮像素
子２において光電変換された画像データをＡ／Ｄ変換回
路３でディジタル化した後一旦フレームメモリ４に１画
面分保持する構成を示したがこの限りでなく、撮影時の
データストリームに同期して画素あるいは複数ライン毎
に色補間を含む画像処理を実施するように構成すること
も可能である。

【００８１】

【発明の効果】以上のように、この発明によれば、各画
素の色情報として不足している色成分の信号レベルを生
成する色成分生成装置において、上記画素の周囲の画素
における上記不足色成分の信号レベルに基づいて当該画
素のローパスフィルタ値を生成するローパスフィルタ手
段と、当該画素の既知の色成分における当該画素の信号
レベルと、当該既知の色成分における周囲の画素の信号
レベルのローパスフィルタ値との比に応じた増幅値を演
算する増幅値演算手段と、上記既知の色成分の信号レベ
ルと上記不足色成分の信号レベルとの信号レベル差が大
きければ大きいほど上記増幅値による上記不足色成分の
ローパスフィルタ値の補正量が小さくなるように当該増
幅値と当該ローパスフィルタ値とを乗算する乗算手段
と、当該乗算値を上記不足色成分の信号レベルとして出
力する不足色成分出力手段とを備えるので、上記既知の
色成分の信号レベルと上記不足色成分の信号レベルとの
信号レベル差が小さい場合には、画像の局所的な領域で
は輝度信号の変化に比べて色信号の変化が少ない、言い
換えれば局所領域では色相関性が高いという撮影画像の
一般的な特徴に則った補正をおこなって、線形補間法を
用いて補間した場合に比べて、画像のエッジを構成する
信号レベル変化の急峻な領域においても色間の信号変化
に偏りが生じないようにすることができる。従って、エ
ッジを十分に再現することができ、高解像度かつ偽色の
少ない高画質なものとすることができる効果がある。

【００８２】これと同時に、上記既知の色成分の信号レ
ベルと上記不足色成分の信号レベルとの信号レベル差が
大きい場合には、つまりこれら色成分の値の差が大きく
て高信号レベルの有彩色となる場合には、既知の色成分
の信号レベルと不足色成分の信号レベルとの信号レベル
差に応じた補正量制御を実施するので、参照する受光色
における微妙な変化に比例的に反応する形で生成色の信
号レベルが上記ローパスフィルタ値のレベルから大きく
外れてしまうことはなく、当該画素において本来画像中
にない黒ずみや白抜けが発生してしまうことを効果的に
抑制することができる効果がある。

【００８３】つまり、画像中の高信号レベルの領域では
相似比による色補間の影響を低減し黒ずみ等の画質劣化
を抑制しつつ高解像度に色補間を行うことが可能である
と同時に、低信号レベルの領域では相似比による色補間
結果を優先することで高解像度で偽色の少ない色補間を
行うことができる効果がある。

【００８４】この発明によれば、乗算手段が、既知の色
成分の信号レベルと不足色成分の信号レベルとの信号レ
ベル差の大きさをこれら２つの色成分のローパスフィル
タ値同士の差で判定するとともに、この判定に応じた補
間強度係数を増幅値に乗算し、しかも、当該補間強度係
数は上記差が大きければ大きいほど当該増幅値の逆数に
近い値となり且つ上記差が小さければ小さいほど「１」
に近い値となるので、上記既知の色成分の信号レベルと
上記不足色成分の信号レベルとの信号レベル差が小さい
場合には上記差も小さくなって、補正値そのままに生成
色の信号レベルを補正することができ、しかも、上記既
知の色成分の信号レベルと上記不足色成分の信号レベル
との信号レベル差が大きい場合には上記差も大きくなっ
て、当該補正値による補正量を制限することができる。
従って、黒ずみ等の画質劣化を抑制しつつ高解像度で偽
色の少ない色補間を行うことができる効果がある。

【００８５】この発明によれば、乗算手段が、既知の色
成分の信号レベルと不足色成分の信号レベルとの信号レ
ベル差の大きさをこれら２つの色成分のローパスフィル
タ値同士の差で判定するとともに、この判定に応じた１
以下の値の重み付け係数を増幅値に乗算し、且つ、当該
増幅値に乗算される重み付け係数は上記差が大きければ
大きいほど「０」に近い値となるので、上記既知の色成
分の信号レベルと上記不足色成分の信号レベルとの信号
レベル差が小さい場合には上記差も小さくなって、補正
値そのままに生成色の信号レベルを補正することがで
き、しかも、上記既知の色成分の信号レベルと上記不足
色成分の信号レベルとの信号レベル差が大きい場合には
上記差も大きくなって、当該補正値による補正量を制限
することができる。従って、黒ずみ等の画質劣化を抑制
しつつ高解像度で偽色の少ない色補間を行うことができ
る効果がある。

【００８６】この発明によれば、乗算手段において重み
付け加算される演算項の個数を２とするとともに、増幅
値が乗算される演算項の重み付け係数と、もう一つの演
算項の重み付け係数との和は常に「１」となるので、不
足色の信号レベルとして、不足色のローパスフィルタ値
と、それに補正値を乗算した値との間の値を得ることが
できる効果がある。

【００８７】なお、このような発明において上記ローパ
スフィルタ手段は、例えば、不足色成分の生成に係る画
素を中心とする所定の範囲内の複数の画素における不足
色成分の信号レベルの平均値若しくは重み付け加算平均
値、または、上記所定の範囲内の画素の中から信号レベ
ル分布に基づいて選択された複数の画素における不足色
成分の信号レベルの平均値若しくは重み付け加算平均値
をローパスフィルタ値として生成すればよい。

【００８８】この発明によれば、ローパスフィルタ手段
が、不足色成分の生成に係る画素を中心とする所定の範
囲内の画素における不足色成分の信号レベルの平均値を
演算するとともにその平均値を閾値として当該範囲内の
複数の画素の二値化処理を行い、更にこの二値分布に応
じて選択された複数の画素の平均値若しくは重み付け加
算平均値をローパスフィルタ値として生成し、乗算手段
が、増幅値が乗算される演算項における不足色成分のロ
ーパスフィルタ値として上記所定の範囲内の画素の平均
値を使用し、もう一つの演算項における不足色成分のロ
ーパスフィルタ値として上記選択された複数の画素の平
均値若しくは重み付け加算平均値を使用するので、画像
中のエッジ位置においては相関の高い画素のみに基づい
てローパスフィルタ値を生成して更に偽色の発生を抑制
しつつ、画像中の高信号レベルの領域では黒ずみ等の画
質劣化を抑制することができる効果がある。

【００８９】この発明によれば、乗算手段が、当該画素
の受光信号レベルが当該受光色における周囲の画素の信
号レベルのローパスフィルタ値よりも小さい場合のみ、
既知の色成分の信号レベルと不足色成分の信号レベルと
の信号レベル差に応じた補正量制御を実施するので、当
該画素の受光信号レベルが当該受光色における周囲の画
素の信号レベルのローパスフィルタ値よりも大きい場合
の演算処理を簡略化することができる。そして、このよ
うに画素の受光信号レベルが当該受光色における周囲の
画素の信号レベルのローパスフィルタ値よりも大きい場
合の演算処理を省略して、ローパスフィルタ値に補正値
を乗算した値をそのまま信号レベルとして出力したとし
ても、その周囲を含めて全体の感度が高いため、これに
基づいて生成された表示画像などにおいては再生装置の
再生能力の限界値で制限されることとなり、画質欠陥と
して認識されにくい効果がある。

【００９０】この発明によれば、各画素の色情報として
不足している色成分の信号レベルを生成する色成分生成
方法において、上記画素の周囲の画素における上記不足
色成分の信号レベルに基づいて当該画素のローパスフィ
ルタ値を生成するローパスフィルタステップと、当該画
素の既知の色成分における当該画素の信号レベルと、当
該既知の色成分における周囲の画素の信号レベルのロー
パスフィルタ値との比に応じた増幅値を演算する増幅値
演算ステップと、上記既知の色成分の信号レベルと上記
不足色成分の信号レベルとの信号レベル差が大きければ
大きいほど上記増幅値による上記不足色成分のローパス
フィルタ値の補正量が小さくなるように当該増幅値と当
該ローパスフィルタ値とを乗算する乗算ステップと、当
該乗算値を上記不足色成分の信号レベルとして出力する
不足色成分出力ステップとを備えるので、上記既知の色
成分の信号レベルと上記不足色成分の信号レベルとの信
号レベル差が小さい場合には、画像の局所的な領域では
輝度信号の変化に比べて色信号の変化が少ない、言い換
えれば局所領域では色相関性が高いという撮影画像の一
般的な特徴に則った補正をおこなって、線形補間法を用
いて補間した場合に比べて、画像のエッジを構成する信
号レベル変化の急峻な領域においても色間の信号変化に
偏りが生じないようにすることができる。従って、エッ
ジを十分に再現することができ、高解像度かつ偽色の少
ない高画質なものとすることができる効果がある。

【００９１】これと同時に、上記既知の色成分の信号レ
ベルと上記不足色成分の信号レベルとの信号レベル差が
大きい場合には、つまりこれら色成分の値の差が大きく
て高信号レベルの有彩色となる場合には、既知の色成分
の信号レベルと不足色成分の信号レベルとの信号レベル
差に応じた補正量制御を実施するので、参照する受光色
における微妙な変化に比例的に反応する形で生成色の信
号レベルが上記ローパスフィルタ値のレベルから大きく
外れてしまうことはなく、当該画素において本来画像中
にない黒ずみや白抜けが発生してしまうことを効果的に
抑制することができる効果がある。

【００９２】つまり、画像中の高信号レベルの領域では
相似比による色補間の影響を低減し黒ずみ等の画質劣化
を抑制しつつ高解像度に色補間を行うことが可能である
と同時に、低信号レベルの領域では相似比による色補間
結果を優先することで高解像度で偽色の少ない色補間を
行うことができる効果がある。

【００９３】この発明によれば、各画素の色情報として
複数の色成分の信号レベルを出力する多色画像撮像装置
において、上記画素と１対１に対応づけられた受光素子
毎に上記複数の色成分うちから選択された１つの色のフ
ィルタが設けられ、上記画素数分の受光信号レベルを出
力する撮像素子と、上記撮像素子から出力される各画素
の受光信号レベルの色を既知の色成分として、各画素の
不足している色成分の信号レベルを生成する上記色成分
生成装置と、上記各画素の色情報として、上記撮像素子
から出力される受光信号レベルと、当該色成分生成装置
から出力される残りの色成分の信号レベルとを出力する
出力手段とを備えるので、画像中の高信号レベルの領域
では相似比による色補間の影響を低減し黒ずみ等の画質
劣化を抑制しつつ高解像度に色補間を行うことが可能で
あると同時に、低信号レベルの領域では相似比による色
補間結果を優先することで高解像度で偽色の少ない色補
間を行って、高解像度で偽色が発生しにくくしかも黒ず
みが発生しない画像を得ることができる。従って、画像
の種類によらず安定感のある多色画像を撮像することが
できる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１によるデジタルスチ
ルカメラなどのフルカラー画像撮像装置の構成を示すブ
ロック図である。

【図２】 この発明の実施の形態１の係数選択回路にお
いて実行される補間強度係数生成処理を示すフローチャ
ートである。

【図３】 この発明の実施の形態１における各種のパラ
メータの相関関係を示す説明図である。

【図４】 この発明の実施の形態１の補間強度係数の演
算処理において参照される係数メモリの内容の一例を示
した模式図である。

【図５】 この発明の実施の形態２の係数演算回路にお
いて実施される補間強度係数生成処理を示すフローチャ
ートである。

【図６】 この発明の実施の形態３によるデジタルスチ
ルカメラなどのフルカラー画像撮像装置の構成を示すブ
ロック図である。

【図７】 この発明の実施の形態３においてパターンマ
ッチングに基づくローパスフィルタ値を出力する際に、
パターンマッチング手段で使用される参照ウィンドウの
一例を示す説明図である。

【図８】 この発明の実施の形態３における二値分布パ
ターンの一例を示す説明図である。

【図９】 この実施の形態３における参照ウィンドウ内
における赤色成分の４つの受光分布パターンおよび青色
成分の４つの受光分布パターンを示す。

【図１０】 この実施の形態３の係数選択回路の動作を
示すフローチャートである。

【図１１】 この発明の実施の形態４の係数選択回路の
動作を示すフローチャートである。

【図１２】 単板式２次元撮像素子において一般的に用
いられているＢａｙｅｒ（ベイヤー）型配列による原色
フィルタの構成を示す説明図である。

【図１３】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる緑色成分の受光感度分
布の説明図である。

【図１４】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる青色成分の受光感度分
布の説明図である。

【図１５】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる赤色成分の受光感度分
布の説明図である。

【図１６】 ２次元撮像素子にＲ、Ｇ、Ｂ３原色からな
る色フィルタをＢａｙｅｒ型配列で貼付したカラービデ
オカメラに、当該特開平５−５６４４６号公報に記載し
た技術を適用した場合の構成を示すブロック図である。

【図１７】 図１６の２次元メモリ（赤用）内の書き込
み状態（一部）を示す説明図である。

【図１８】 図１６の２次元メモリ（緑用）内の書き込
み状態（一部）を示す説明図である。

【図１９】 図１６の２次元メモリ（青用）内の書き込
み状態（一部）を示す説明図である。

【図２０】 図１６の２次元ローパスフィルタ（赤用）
の出力例を示す説明図である。

【図２１】 図１６の２次元ローパスフィルタ（緑用）
の出力例を示す説明図である。

【図２２】 図１６の２次元ローパスフィルタ（青用）
の出力例を示す説明図である。

【図２３】 この従来の２つの補間方法による生成感度
信号の信号レベルを比較説明するための説明図である。

【図２４】 特開平５−５６４４６号公報の補間方法に
おける画質劣化を説明するための説明図である。

【符号の説明】

１ レンズ（撮像素子）、２ ２次元撮像素子（撮像素
子）、３ Ａ／Ｄ変換器（撮像素子）、６ａ〜６ｃ ２
次元メモリ、７ａ〜７ｃ ２次元ローパスフィルタ（ロ
ーパスフィルタ手段）、９ 係数メモリ（乗算手段）、
１０，１９ 係数選択回路（乗算手段）、１１，２０
演算回路（増幅値演算手段、乗算手段、不足色生々出力
手段、出力手段）、１６ ラインバッファ（ローパスフ
ィルタ手段）、１７ パターンマッチング手段（ローパ
スフィルタ手段）、１８ パターンメモリ（ローパスフ
ィルタ手段）。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 杉浦 博明 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 久野 徹也 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5C065 BB30 CC01 DD02 EE05 EE06 GG03 GG05 GG18 GG30

Claims (9)

【特許請求の範囲】
1. 【請求項１】 各画素の色情報として不足している色成
   分の信号レベルを生成する色成分生成装置において、 上記画素の周囲の画素における上記不足色成分の信号レ
   ベルに基づいて当該画素のローパスフィルタ値を生成す
   るローパスフィルタ手段と、 当該画素の既知の色成分における当該画素の信号レベル
   と、当該既知の色成分における周囲の画素の信号レベル
   のローパスフィルタ値との比に応じた増幅値を演算する
   増幅値演算手段と、 上記既知の色成分の信号レベルと上記不足色成分の信号
   レベルとの信号レベル差が大きければ大きいほど上記増
   幅値による上記不足色成分のローパスフィルタ値の補正
   量が小さくなるように当該増幅値と当該ローパスフィル
   タ値とを乗算する乗算手段と、 当該乗算値を上記不足色成分の信号レベルとして出力す
   る不足色成分出力手段とを備えることを特徴とする色成
   分生成装置。
2. 【請求項２】 乗算手段は、既知の色成分の信号レベル
   と不足色成分の信号レベルとの信号レベル差の大きさを
   これら２つの色成分のローパスフィルタ値同士の差で判
   定するとともに、この判定に応じた補間強度係数を増幅
   値に乗算し、しかも、当該補間強度係数は上記差が大き
   ければ大きいほど当該増幅値の逆数に近い値となり且つ
   上記差が小さければ小さいほど「１」に近い値となるこ
   とを特徴とする請求項１記載の色成分生成装置。
3. 【請求項３】 乗算手段は、既知の色成分の信号レベル
   と不足色成分の信号レベルとの信号レベル差の大きさを
   これら２つの色成分のローパスフィルタ値同士の差で判
   定するとともに、この判定に応じた１以下の値の重み付
   け係数を増幅値に乗算し、且つ、当該増幅値に乗算され
   る重み付け係数は上記差が大きければ大きいほど「０」
   に近い値となることを特徴とする請求項１記載の色成分
   生成装置。
4. 【請求項４】 乗算手段において重み付け加算される演
   算項の個数を２とするとともに、増幅値が乗算される演
   算項の重み付け係数と、もう一つの演算項の重み付け係
   数との和は常に「１」となることを特徴とする請求項３
   記載の色成分生成装置。
5. 【請求項５】 ローパスフィルタ手段は、不足色成分の
   生成に係る画素を中心とする所定の範囲内の複数の画素
   における不足色成分の信号レベルの平均値若しくは重み
   付け加算平均値、または、上記所定の範囲内の画素の中
   から信号レベル分布に基づいて選択された複数の画素に
   おける不足色成分の信号レベルの平均値若しくは重み付
   け加算平均値をローパスフィルタ値として生成すること
   を特徴とする請求項１から請求項４のうちのいずれか１
   項記載の色成分生成装置。
6. 【請求項６】 ローパスフィルタ手段は、不足色成分の
   生成に係る画素を中心とする所定の範囲内の画素におけ
   る不足色成分の信号レベルの平均値を演算するとともに
   その平均値を閾値として当該範囲内の複数の画素の二値
   化処理を行い、更にこの二値分布に応じて選択された複
   数の画素の平均値若しくは重み付け加算平均値をローパ
   スフィルタ値として生成し、 乗算手段は、増幅値が乗算される演算項における不足色
   成分のローパスフィルタ値として上記所定の範囲内の画
   素の平均値を使用し、もう一つの演算項における不足色
   成分のローパスフィルタ値として上記選択された複数の
   画素の平均値若しくは重み付け加算平均値を使用するこ
   とを特徴とする請求項４記載の色成分生成装置。
7. 【請求項７】 乗算手段は、当該画素の受光信号レベル
   が当該受光色における周囲の画素の信号レベルのローパ
   スフィルタ値よりも小さい場合のみ、既知の色成分の信
   号レベルと不足色成分の信号レベルとの信号レベル差に
   応じた補正量制御を実施することを特徴とする請求項１
   記載の多色画像撮像装置。
8. 【請求項８】 各画素の色情報として不足している色成
   分の信号レベルを生成する色成分生成方法において、 上記画素の周囲の画素における上記不足色成分の信号レ
   ベルに基づいて当該画素のローパスフィルタ値を生成す
   るローパスフィルタステップと、 当該画素の既知の色成分における当該画素の信号レベル
   と、当該既知の色成分における周囲の画素の信号レベル
   のローパスフィルタ値との比に応じた増幅値を演算する
   増幅値演算ステップと、 上記既知の色成分の信号レベルと上記不足色成分の信号
   レベルとの信号レベル差が大きければ大きいほど上記増
   幅値による上記不足色成分のローパスフィルタ値の補正
   量が小さくなるように当該増幅値と当該ローパスフィル
   タ値とを乗算する乗算ステップと、 当該乗算値を上記不足色成分の信号レベルとして出力す
   る不足色成分出力ステップとを備えることを特徴とする
   色成分生成方法。
9. 【請求項９】 各画素の色情報として複数の色成分の信
   号レベルを出力する多色画像撮像装置において、 上記画素と１対１に対応づけられた受光素子毎に上記複
   数の色成分うちから選択された１つの色のフィルタが設
   けられ、上記画素数分の受光信号レベルを出力する撮像
   素子と、 上記撮像素子から出力される各画素の受光信号レベルの
   色を既知の色成分として、各画素の不足している色成分
   の信号レベルを生成する請求項１記載の色成分生成装置
   と、 上記各画素の色情報として、上記撮像素子から出力され
   る受光信号レベルと、当該色成分生成装置から出力され
   る残りの色成分の信号レベルとを出力する出力手段とを
   備えることを特徴とする多色画像撮像装置。