JP2001197512A - 色成分生成装置およびこれを用いた多色画像撮像装置、並びに色成分生成方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来の多色画像撮像装置では、各画素の不足
色成分の感度値を生成する際に、その画素の受光色の感
度値を用いて補正したとしても、高彩度の画像において
白抜けや黒ずみ等の画質欠陥が発生してしまう場合があ
った。 【解決手段】 参照する色毎の局所的な輝度分布に基づ
いて各画素の輝度を平均輝度レベル（Ｒ（１Ｈ），Ｒ
（２Ｈ），Ｒ（３Ｈ），Ｒ（４Ｈ），Ｇ（１Ｈ），Ｇ
（２Ｈ），Ｇ（３Ｈ），Ｇ（４Ｈ））に置き換え、これ
に基づいて想定される色毎の幾何学的図形（五面体）の
線分相似比に基づいて補間する不足色の感度レベルＧ
（Ｒ）を演算するものである。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は受光色数よりも少
ない数の２次元固体撮像素子を用いて撮像して当該受光
色数分の色成分を有する多色画像データを出力するフル
カラー画像撮像装置などの多色画像撮像装置並びにそれ
に用いられる色成分生成装置および色成分生成方法に関
するものである。

【０００２】

【従来の技術】ＣＣＤセンサ等の２次元撮像素子を用い
て多色画像データを生成する多色画像生成装置には、受
光色数分の２次元撮像素子を備えて各２次元撮像素子が
各色成分の受光感度信号を出力し、この受光色数分の受
光感度信号を各画素の色成分信号として出力するもの
と、受光色数よりも少ない数の２次元撮像素子を備えて
少なくともいずれか１つの２次元撮像素子が複数色分の
受光感度信号を出力するとともに、各画素の不足してい
る色成分の感度信号を演算処理で補間し、上記受光感度
信号とこの生成感度信号とを各画素の色成分信号として
出力するものとがある。

【０００３】前者の例としては、色の３原色に相当する
Ｒ（赤）色フィルタ、Ｇ（緑）色フィルタ及びＢ（青）
色フィルタを各々貼り付けた３枚の２次元撮像素子を用
いるとともに、１回の撮影で光学系から入射される被写
体像を分光プリズム等で分光して各原色用撮像素子に入
射させることで、１画面分のフルカラー画像信号を得る
３板式のフルカラー撮像装置を挙げることができ、ま
た、後者の例としては、各画素位置毎に設けられた光電
素子上にＲ色、Ｇ色、あるいはＢ色用のいずれか１種類
のカラーフィルタを貼り付けた１枚の２次元撮像素子を
用いるとともに、各画素位置毎に不足する他の２色の色
成分の感度信号を演算により算出することで、１画面分
のフルカラー画像信号を得る単板式のフルカラー撮像装
置を挙げることができる。そして、後者の単板式のフル
カラー撮像装置は、多板式のものに比べて２次元撮像素
子などの光学部品の点数を抑えることができるため、小
型かつ低価格に装置を構成することが可能であり、民生
用ディジタルスチルカメラやディジタルビデオカメラな
どにおいて主に採用されている。

【０００４】次に、このような単板式のフルカラー撮像
装置などにおいて、各画素の受光色の感度信号を用いて
各画素の不足している色成分（以下、生成色と呼ぶ）の
感度信号を生成する一般的な色補間処理方法について説
明する。なお、この色補間処理方法は一般的に線形補間
法とよばれるものである。図１６はこのような単板式２
次元撮像素子において一般的に用いられているＢａｙｅ
ｒ（ベイヤー）型配列による原色フィルタの構成を示す
説明図である。図において、１つ１つのマスが各画素
（光電素子）の位置を示し、そのマス内に記載された
「Ｒ（赤）」、「Ｇ（緑）」、「Ｂ（青）」のそれぞれ
の記号は当該画素（光電素子）においてサンプリングさ
れる受光色を示すものである。そして、各色成分につい
て着目すると、「Ｇ（緑）」は図１７に示すような画素
位置において受光感度信号が得られ、「Ｂ（青）」は図
１８に示すような画素位置において受光感度信号が得ら
れ、「Ｒ（赤）」は図１９に示すような画素位置におい
て受光感度信号が得られることとなり、これらの図にお
いて空白となっている画素においてはそれぞれの色成分
が不足しているので演算により当該生成色の感度信号
（生成感度信号）を生成しなければならない。

【０００５】例えば「Ｇ（緑）」においては、図１７に
おいて「Ｇ」と記載された画素において受光感度信号が
得られているので、縦方向および横方向において隣接す
る上下左右の４つの画素の受光感度信号の平均値を演算
し、これを各空欄となっている画素の生成感度信号とす
る。なお、同図ではこの感度信号の参照関係を矢印で示
し、生成感度信号を「ｇ」として表記している。

【０００６】また、「Ｂ（青）」においては、図１８に
おいて「Ｂ」と記載された画素において受光感度信号が
得られているので、縦方向、横方向あるいは斜め方向に
おいて隣接する２つあるいは４つの画素の受光感度信号
の平均値を演算し、これを各空欄となっている画素の生
成感度信号とする。なお、同図ではこの感度信号の参照
関係を矢印で示し、上下の２つの画素を参照した場合の
生成感度信号を「ｂ１」、斜め方向の４つの画素を参照
した場合の生成感度信号を「ｂ２」、左右の２つの画素
を参照した場合の生成感度信号を「ｂ３」として表記し
ている。

【０００７】更に、「Ｒ（赤）」においては、図１９に
おいて「Ｒ」と記載された画素において受光感度信号が
得られているので、縦方向、横方向あるいは斜め方向に
おいて隣接する２つあるいは４つの画素の受光感度信号
の平均値を演算し、これを各空欄となっている画素の生
成感度信号とする。なお、同図ではこの感度信号の参照
関係を矢印で示し、上下の２つの画素を参照した場合の
生成感度信号を「ｒ１」、斜め方向の４つの画素を参照
した場合の生成感度信号を「ｒ２」、左右の２つの画素
を参照した場合の生成感度信号を「ｒ３」として表記し
ている。

【０００８】しかしながら、上記線形補間法に基づく色
補間処理方法では、十分な解像度を得ることができず、
信号変化が激しくなる画像のエッジ部分において本来の
被写体には存在しない偽色が発生してしまうなどの課題
があった。このような偽色が発生してしまうのは、第一
に、単板式の２次元撮像素子においては各画素上に１色
の色フィルタを配置しているがためにＲ、Ｇ、Ｂ各色と
もに画素数分だけの解像度が得られないことに起因し、
第二に、信号変化が激しくなるエッジ部分では本来相関
性が低い周辺画素を参照して補間を行ってしまうことに
起因し、その結果、各色成分毎にエッジ位置が微妙にず
れてしまうためである。

【０００９】そして、かかる問題を解決するために、本
出願人は特開平５−５６４４６号公報において局所的な
色相関性を用いて高解像度でかつ偽色を良好に抑制した
色補間処理方法を開示している。

【００１０】図２０は、２次元撮像素子にＲ、Ｇ、Ｂ３
原色からなる色フィルタをＢａｙｅｒ型配列で貼付した
カラービデオカメラに、当該特開平５−５６４４６号公
報に記載した技術を適用した場合の構成を示すブロック
図である。同図において、１は被写体からの入射光を集
光するレンズ、２はレンズ１を通して入射した光を光電
変換する上記２次元撮像素子、３はこの２次元撮像素子
２から出力されるアナログの受光感度信号をディジタル
の受光感度信号に変換するＡ／Ｄ変換器、４は１画面分
の受光感度信号を一時記憶するフレームメモリ、５はフ
レームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分
毎に分配するマルチプレクサ、６ａ〜６ｃはそれぞれ
Ｒ、Ｇ、Ｂ各色成分毎に設けられ、生成色を生成する際
に参照する画素に応じた複数ライン分の受光感度信号を
記憶する２次元メモリ、１２ａ〜１２ｃはそれぞれＲ、
Ｇ、Ｂ各色成分毎に設けられ、各画素毎にローパスフィ
ルタ値を出力する２次元ローパスフィルタ、１３は各画
素についてその受光色における受光感度信号と上記ロー
パスフィルタ値との比に基づいてその他の２つの色成分
のローパスフィルタ値を補正し、これを上記受光色の受
光感度信号とともに生成色の生成感度信号として出力す
る演算回路である。

【００１１】次に動作について説明する。レンズ１から
入射した光は２次元撮像素子２に結像する。２次元撮像
素子２は入射光を光電変換し入射光量に応じたレベルの
アナログの電気信号を各画素の受光感度信号として出力
する。このアナログの電気信号はＡ／Ｄ変換器３にてデ
ィジタルの電気信号に変換されてフレームメモリ４に蓄
積される。フレームメモリ４に蓄積されたこの電気信号
は図示しない制御手段によってマルチプレクサ５に順次
送信されＲ、Ｇ、Ｂの複数ライン分の信号がそれぞれ別
々に２次元メモリ６ａ〜６ｃに書き込まれる。各色成分
の有意な電気信号が２次元メモリ６ａ〜６ｃに書き込ま
れている状態（一部）を図２１〜図２３に示す。これら
の図において、１つ１つの四角形は画素を意味し、
「Ｒ」「Ｇ」「Ｂ」と記載されている四角形が受光感度
信号が書き込まれている同色の画素である。なお、この
配列は上記色フィルタにおける「Ｒ」「Ｇ」「Ｂ」の配
列と一致する。

【００１２】そして、この２次元メモリ６ａ〜６ｃの記
憶内容に基づいて各画素の各色成分のローパスフィルタ
値が各色毎に設けた２次元ローパスフィルタ１２ａ〜１
２ｃから出力される。各ローパスフィルタ１２ａ〜１２
ｃは例えば注目画素を中心として所定の範囲内の受光感
度信号の平均値を出力すればよい。図２４〜図２６に各
２次元ローパスフィルタ１２ａ〜１２ｃの出力例を示
す。このように全ての画素について全ての色成分のロー
パスフィルタ値が出力される。

【００１３】次に、演算回路１３が各画素の受光色以外
の色成分の感度信号を生成する。具体的には例えば、図
１６のｍ行ｎ列の画素位置（受光色は緑）の赤色成分ｒ
（ｍ，ｎ）あるいは青色成分ｂ（ｍ，ｎ）は下記式
（１）あるいは式（２）に基づいて演算して求める。こ
れらの式において、Ｇ（ｍ，ｎ）は当該画素の受光感度
信号、Ｇ（ＬＰＦ）は当該画素の緑色成分のローパスフ
ィルタ値、Ｒ（ＬＰＦ）は当該画素の赤色成分のローパ
スフィルタ値、Ｂ（ＬＰＦ）は当該画素の青色成分のロ
ーパスフィルタ値である。

【００１４】 ｒ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（１） ｂ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｂ（ＬＰＦ）／Ｇ（ＬＰＦ） ・・・（２）

【００１５】図２７はこの従来の２つの補間方法による
生成感度信号の感度レベルを比較説明するための説明図
である。同図は説明を簡略化するために一次元方向のみ
を考慮した場合を示している。図において、横軸は上記
一次元方向における各画素の位置、縦軸は感度レベル、
●印は実際に撮像素子により撮影された緑色成分の感度
レベル、２点鎖線で示す曲線はこの緑色成分の信号変化
曲線、○は実際に撮像素子により撮影された赤色成分の
感度レベル、実線で示す曲線は上記緑色成分の信号変化
曲線と相似して変化する信号変化曲線、二重線上の●印
は線形補間法を用いて補間した場合補間されるＲ色信号
の感度レベル、☆印は特開平５−５６４４６号公報の補
間によるＲ色信号の感度レベルである。なお、ＣＣＤセ
ンサなどの撮像素子においては上記感度レベルが高くな
ればなるほどその色成分の色は白色に近い色となり、低
ければ低いほど黒色に近い色となり、例えば「ＲＧＢ＝
（２５５，２５５，２５５）」では白色、「ＲＧＢ＝
（０，０，０）」では黒色となる。プリンタは逆の色傾
向になる。

【００１６】そして、同図に示すように、特開平５−５
６４４６号公報の補間によるＲ色信号の感度レベルは、
緑色成分の信号変化曲線と相似して変化する信号変化曲
線上に乗る。従って、線形補間法を用いて補間した場合
の感度レベルに比べて、画像の局所的な領域では輝度信
号の変化に比べて色信号の変化が少ない、言い換えれば
局所領域では色相関性が高いという撮影画像の一般的な
特徴に則った赤色成分の感度レベルを生成することがで
き、画像のエッジを構成する感度レベル変化の急峻な領
域においても色間の信号変化に偏りが生ずること無く、
エッジを十分に再現することができ、高解像度かつ偽色
の少ない高画質なものとすることができる。

【００１７】なお、上記式（１）あるいは式（２）は下
記式（３）のように一般化することができる。同式にお
いて、ｋ（ｍ，ｎ）は生成色の感度信号、Ｊ（ｍ，ｎ）
は受光感度信号、Ｋ（ＬＰＦ）は生成色のローパスフィ
ルタ値、Ｊ（ＬＰＦ）は受光色のローパスフィルタ値、
（ｍ，ｎ）はフレームメモリ上の当該画素の座標位置で
ある。

【００１８】 ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×Ｋ（ＬＰＦ）／Ｊ（ＬＰＦ） ・・・（３）

【００１９】

【発明が解決しようとする課題】しかしながら、このよ
うに局所的な色の相関関係を利用した補間方法であった
としても特有の画質劣化を生じる場合があった。

【００２０】図２８は特開平５−５６４４６号公報の補
間方法における画質劣化を説明するための説明図であ
る。各表記は図２７に準じている。そして、同図に示す
ように、受光色の感度レベルが低いレベル範囲において
微妙に変化するとともに、生成色のローパスフィルタ値
が高くなるような場合には、つまりこれら色成分の値の
差が大きくて高彩度の有彩色となる場合には、参照する
受光色における微妙な変化に比例的に反応する形で生成
色の感度レベルが上記ローパスフィルタ値のレベルから
大きく外れてしまうこととなり、当該画素において本来
画像中にない黒ずみや白抜けが発生してしまうことがあ
る。

【００２１】例えば、ＲＧＢ各色成分の感度信号が１０
ビット（０〜１０２３の範囲、０：暗、１０２３：明）
である撮像装置において、一次元の局所的な感度レベル
としてＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ
（２）＝Ｒ（４）＝１０２３となる画像が撮像された場
合、各ローパスフィルタ値を単純平均で算出すると、下
記式（４）〜式（６）の演算によりｒ（３）の感度レベ
ルが得られることとなり、これは同色の周辺画素の感度
レベルと比べて極端に低い値となってしまい、黒ずみと
なってしまう。

【００２２】 Ｇ（ＬＰＦ）＝（４＋１＋４）／３＝３ ・・・（４） Ｒ（ＬＰＦ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（５） ｒ（３）＝Ｇ（３）×Ｒ（ＬＰＦ）／Ｇ（ＬＰＦ） ＝１×１０２３／３＝３４１ ・・・（６）

【００２３】以上のように、特開平５−５６４４６号に
開示した補間方法は、単板式の２次元撮像素子を用いた
多色画像撮像装置において一般的には高解像度でかつ偽
色の少ない色成分信号を得ることができるものである
が、撮影した絵柄によっては固有の画質劣化を引き起こ
してしまうなどの課題があった。

【００２４】また、特開平５−５６４４６号公報は上記
式（３）に基づく演算処理を撮像素子の全画素に対して
補間の必要な色の数だけ繰返して行う必要があり、総演
算量はとても大きくなってしまう。その結果、この全て
をソフトウェア処理しようとしたら莫大な演算時間が必
要であり、ハードウェア処理しようとしたら莫大な回路
規模となってしまうという課題もあった。特に、近年の
高画質化の要求に応じて画素数を増加させるにつれて当
該演算時間や回路規模は飛躍的に増加する。

【００２５】この発明は上記のような課題を解決するた
めになされたもので、黒ずみや白抜けを生ずること無
く、高解像度でかつ偽色の少ない色成分信号を得ること
ができる多色画像撮像装置ならびにそれに用いられる色
成分生成装置および色成分生成方法を得ることを目的と
する。

【００２６】また、ひいては各画素毎の不足色の感度レ
ベルを得るために必要な繰り返し処理の負荷を軽減し、
これにより線形補間法や局所的な色の相関関係を利用し
た場合よりも高速にあるいは小さい回路規模において撮
像素子の全画素に対して全ての色成分を容易に得ること
ができる多色画像撮像装置ならびにそれに用いられる色
成分生成装置および色成分生成方法を得ることを目的と
する。

【００２７】

【課題を解決するための手段】この発明に係る色成分生
成装置は、注目画素の不足色成分の感度レベルを生成す
る色成分生成装置において、上記注目画素の近傍に位置
する画素であって且つ上記注目画素において既知である
色と同じ色成分を有する複数の画素を既知色参照画素と
して選択し、当該複数の画素の既知色感度レベルの平均
値を既知色平均値として演算する既知色平均レベル演算
手段と、上記注目画素を基準とする画素の２次元配列に
おいて上記複数の既知色参照画素の相対配置関係と相似
の相対配置関係となる、上記既知色参照画素と同数の不
足色参照画素を選択し、当該複数の画素の不足色感度レ
ベルの平均値を不足色平均値として演算する不足色平均
レベル演算手段と、画素の２次元配列をＸ−Ｙ平面とす
るとともに感度レベルをＺ軸として得られる直交座標系
において、上記既知色参照画素の全ての既知色感度レベ
ルを上記既知色平均値で置き換えた場合に当該複数の既
知色参照画素の感度レベルと上記注目画素の既知色感度
レベルとを結んで得られる既知色幾何学図形、および、
上記不足色参照画素の全ての感度レベルを上記不足色平
均値で置き換えた場合に当該不足色参照画素の全ての不
足色感度レベルと上記注目画素の不足色感度レベルとを
結んで得られる不足色幾何学図形を想定し、当該既知色
幾何学図形と不足色幾何学図形とが相似形状となるよう
に当該注目画素の不足色の感度レベルを決定する不足色
成分決定手段とを備えるものである。

【００２８】この発明に係る色成分生成装置は、不足色
成分決定手段が、注目画素の既知色の感度レベル値から
既知色平均値を減算したものに既知色幾何学図形に対す
る不足色幾何学図形の線分相似比を乗算し、この乗算値
と不足色平均値とを加算したものを当該注目画素の不足
色の感度レベルとするものである。

【００２９】この発明に係る色成分生成装置は、不足色
平均レベル演算手段が、各不足色参照画素と注目画素と
の距離が対応する各既知色参照画素と注目画素との距離
の１／２^ｎ（ｎは整数）となるように、既知色参照画素
と同数の不足色参照画素を選択し、不足色成分決定手段
が、注目画素の既知色感度レベルの二進数値から既知色
平均値の二進数値を減算し、更にこれをｎビットだけ右
シフト演算することで乗算値を得るものである。

【００３０】この発明に係る色成分生成装置は、既知色
平均レベル演算手段および不足色平均レベル演算手段
が、既知色幾何学図形および不足色幾何学図形が５面体
あるいは３角形となるように画素を選択するものであ
る。

【００３１】この発明に係る色成分生成装置は、既知色
平均レベル演算手段が、複数の画素の中から最も相関性
が高い複数の画素を既知色参照画素として選択し、不足
色平均レベル演算手段が、当該選択された各画素と同方
向にある画素を不足色参照画素として選択するものであ
る。

【００３２】この発明に係る色成分生成装置は、既知色
平均レベル演算手段が、注目画素上を通る複数の直線を
想定し、注目画素の両側において各直線が通過する画素
を各直線毎に複数個ずつ選択し、各直線毎に当該複数の
画素の間での既知色の感度レベルの相関を判定し、更
に、最も相関が高い組となる複数の画素を既知色参照画
素として選択し、不足色平均レベル演算手段が、当該既
知色参照画素として選択された画素の直線が通過する位
置にある複数の画素を不足色参照画素として選択するも
のである。

【００３３】この発明に係る色成分生成装置は、既知色
平均レベル演算手段が、各直線毎に２つの画素を選択
し、これらの既知色の感度レベル差が最も小さいものを
最も相関が高い組として判定するものである。

【００３４】この発明に係る色成分生成方法は、注目画
素の不足色成分の感度レベルを生成する色成分生成方法
において、上記注目画素の近傍に位置する画素であって
且つ上記注目画素において既知である色と同じ色成分を
有する複数の画素を既知色参照画素として選択し、当該
複数の画素の既知色感度レベルの平均値を既知色平均値
として演算する既知色平均レベル演算ステップと、上記
注目画素を基準とする画素の２次元配列において上記複
数の既知色参照画素の相対配置関係と相似の相対配置関
係となる、上記既知色参照画素と同数の不足色参照画素
を選択し、当該複数の画素の不足色感度レベルの平均値
を不足色平均値として演算する不足色平均レベル演算ス
テップと、画素の２次元配列をＸ−Ｙ平面とするととも
に感度レベルをＺ軸として得られる直交座標系におい
て、上記既知色参照画素の全ての既知色感度レベルを上
記既知色平均値で置き換えた場合に当該複数の既知色参
照画素の感度レベルと上記注目画素の既知色感度レベル
とを結んで得られる既知色幾何学図形、および、上記不
足色参照画素の全ての感度レベルを上記不足色平均値で
置き換えた場合に当該不足色参照画素の全ての不足色感
度レベルと上記注目画素の不足色感度レベルとを結んで
得られる不足色幾何学図形を想定し、当該既知色幾何学
図形と不足色幾何学図形とが相似形状となるように当該
注目画素の不足色の感度レベルを決定する不足色成分決
定ステップとを備えるものである。

【００３５】この発明に係る多色画像撮像装置は、各画
素の色情報として複数の色成分の感度レベルを出力する
多色画像撮像装置において、上記画素と１対１に対応づ
けられた受光素子毎に上記複数の色成分のうちから選択
された１つの色のフィルタが設けられ、上記画素数分の
受光感度レベルを出力する撮像素子と、上記各色成分毎
に設けられ、上記撮像素子から出力される各画素の受光
感度レベルの色を既知の色成分として、各画素の不足し
ている色成分の感度レベルを生成する上記色成分生成装
置と、上記各画素の色情報として、上記撮像素子から出
力される受光感度レベルと、当該色成分生成装置から出
力される残りの色成分の感度レベルとを出力する出力手
段とを備えるものである。

【００３６】この発明に係る多色画像撮像装置は、撮像
素子が３つ以上の色成分の受光感度レベルを出力し、１
つの色成分生成装置が当該撮像素子から出力される受光
感度レベルのみを用いて各画素の不足している色成分の
感度レベルを生成し、その他の色成分生成装置が上記１
つの色成分生成装置で生成した色成分を各画素の既知の
色成分として選択して各画素の不足している色成分の感
度レベルを生成するものである。

【００３７】この発明に係る多色画像撮像装置は、その
他の色成分生成装置では、既知色参照画素として選択さ
れる複数の画素と不足色参照画素として選択される複数
の画素とが同一であるものである。

【００３８】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１は、この発明の実施の形態１による
ディジタルスチルカメラなどのフルカラー画像撮像装置
の構成を示すブロック図である。図において、１は被写
体からの入射光を集光するレンズ（撮像素子）、２はＲ
（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３原
色の色フィルタがＢａｙｅｒ型に配列され、レンズ１を
通して入射した光を光電変換する２次元撮像素子（撮像
素子）、３はこの２次元撮像素子２から各画素毎に出力
されるアナログの受光感度レベルの信号をそのレベルに
応じたディジタル１０ビットの値（二進数）を有する受
光感度信号に変換するＡ／Ｄ変換器（撮像素子）、４は
受光感度信号を一時記憶するフレームメモリ、５はフレ
ームメモリ４上の受光感度信号をＲ、Ｇ、Ｂ各色成分毎
に分配するマルチプレクサ、６ａ〜６ｃはそれぞれＲ、
Ｇ、Ｂ各色成分毎に設けられ、マルチプレクサにより各
色成分毎に分配された画素ライン複数本分の受光感度信
号を記憶する２次元メモリ、７ａ〜７ｃはそれぞれＲ、
Ｇ、Ｂ各色成分毎に設けられ、注目画素の不足色成分を
補間演算するための各種の係数を演算する係数算出回路
（既知色平均レベル演算手段、不足色平均レベル演算手
段）、８はこの係数や上記２次元メモリ６ａ〜６ｃに記
憶された受光感度信号などを用いて注目画素の不足色の
感度を演算し、更に不足色成分の生成感度信号と２次元
メモリに記憶された受光感度信号とを合わせて各画素の
ＲＧＢ各１０ビットの色成分信号として出力する演算回
路（不足色成分決定手段、出力手段）である。

【００３９】次に動作について説明する。レンズ１から
入射した光は２次元撮像素子２に結像する。２次元撮像
素子２は入射光を光電変換し入射光量に応じた感度レベ
ルのアナログの電気信号を各画素毎に出力する。このア
ナログの電気信号はＡ／Ｄ変換器３にて二進数ディジタ
ル値を有する電気信号に変換されてフレームメモリ４に
蓄積される。フレームメモリ４に蓄積されたこの電気信
号は図示しない制御手段によってマルチプレクサ５に順
次送信され、複数ライン分の信号がそれぞれ色成分毎に
別々の２次元メモリ６ａ〜６ｃに書き込まれる。そし
て、この２次元メモリ６ａ〜６ｃの記憶内容に基づいて
係数算出回路７ａ〜７ｃが注目画素の不足色成分を演算
するための各種の係数を演算し、これらを用いて演算回
路８が各画素の不足色の感度を演算し、更にこの生成感
度信号と受光感度信号とを合わせて各画素のＲＧＢ各１
０ビットの色成分信号として出力する。

【００４０】次にこのような一連の動作において、係数
算出回路７ａ〜７ｃから演算回路８までで実現される各
画素の不足色の感度を得るための処理について説明す
る。ここでは注目画素として受光感度信号がＲ色である
画素を選択し、その画素の位置（以下、Ｒ画素位置と称
す）におけるＧ色の生成感度信号（生成感度レベル）を
生成する場合を例に説明する。

【００４１】図２（ａ）は上記２次元撮像素子２のＢａ
ｙｅｒ型配列におけるＲ色を受光する画素の配列を模式
的に示す２次元配列図である。図において、各マスは各
画素を意味し、その中にＲ（ｘ）が記載されたマスがＲ
色を受光する画素の位置であり、Ｒ（ｘ）自体は当該画
素のＲ色の受光感度レベルを意味している。図２（ｂ）
はＲ色の受光感度分布の一例を示す説明図である。図に
おいて、Ｘ−Ｙ平面が上記２次元撮像素子の撮像面に対
応し、同平面上の各交点が各画素に対応し、Ｚ軸が感度
レベルに対応する。そして、同図に示すように図２
（ａ）に示された５つのＲ色の受光画素は注目画素を頂
点の１つとして含む多面体を形成することになる。

【００４２】図３はこのような条件の下でＲ色用の係数
算出回路７ａが実施する係数演算処理を示すフローチャ
ートである。図において、ステップＳＴ１は上記４つの
Ｒ色の参照画素Ｒ（１），Ｒ（２），Ｒ（３），Ｒ
（４）の受光感度レベルの平均値Ｒ（ＡＶＥ）を演算す
る既知色平均値演算ステップ、ステップＳＴ２はこの既
知色平均値Ｒ（ＡＶＥ）が注目画素の受光感度レベルＲ
（Ｒ）以下であるか否かを判断する凹凸判断ステップ、
ステップＳＴ３は既知色平均値Ｒ（ＡＶＥ）が注目画素
の受光感度レベルＲ（Ｒ）以下である場合（五面体の姿
勢として凸の場合）に注目画素の受光感度レベルＲ
（Ｒ）から既知色平均値Ｒ（ＡＶＥ）を減算し、これを
既知色五面体の高さ係数Ｒ（Ｈ）として出力する凸時高
さ演算ステップ、ステップＳＴ４は既知色平均値Ｒ（Ａ
ＶＥ）が注目画素の受光感度レベルＲ（Ｒ）よりも大き
い場合（五面体の姿勢として凹の場合）に既知色平均値
Ｒ（ＡＶＥ）から注目画素の受光感度レベルＲ（Ｒ）を
減算し、これを既知色五面体の高さ係数Ｒ（Ｈ）として
出力する凹時高さ演算ステップである。これにより常に
正の値を有する既知色五面体の高さ係数Ｒ（Ｈ）や、既
知色平均値Ｒ（ＡＶＥ）や、当該画素の既知色の感度レ
ベルＲ（Ｒ）がＲ色用の係数算出回路７ａから演算回路
８へ出力される。

【００４３】図４（ａ）は上記２次元撮像素子２のＢａ
ｙｅｒ型配列におけるＧ色を受光する画素の配列を模式
的に示す２次元配列図である。図４（ｂ）はＧ色の受光
感度分布の一例を示す説明図である。同図において、白
抜きの○が生成される注目画素のＧ色の生成感度レベル
Ｇ（Ｒ）である。そして、注目画素を含む５つの画素
は、注目画素を頂点の１つとして含む多面体を形成する
ことになる。また、Ｇ色用の係数算出回路７ｂは上記４
つのＧ色参照画素Ｇ（１），Ｇ（２），Ｇ（３），Ｇ
（４）の感度レベルの平均値Ｇ（ＡＶＥ）を演算して出
力する。

【００４４】図５はこのような条件の下で注目画素のＧ
色成分Ｇ（Ｒ）を求めるために演算回路８が実施する不
足色生成処理を示すフローチャートである。図におい
て、ステップＳＴ５は既知色平均値Ｒ（ＡＶＥ）が注目
画素の受光感度レベルＲ（Ｒ）以下であるか否かを判断
する凹凸判断ステップ、ステップＳＴ６は既知色平均値
Ｒ（ＡＶＥ）が注目画素の受光感度レベルＲ（Ｒ）以下
である場合（凸の場合）に、既知色五面体の高さ係数Ｒ
（Ｈ）の値を１ビットだけ右シフトして１／２の乗算値
を求め、更に上記未知色平均値Ｇ（ＡＶＥ）にこの乗算
値を加算してＧ色の生成感度レベルＧ（Ｒ）を演算する
凸時未知色演算ステップ、ステップＳＴ７は既知色平均
値Ｒ（ＡＶＥ）が注目画素の受光感度レベルＲ（Ｒ）よ
りも大きい場合（凹の場合）に、既知色五面体の高さ係
数Ｒ（Ｈ）の値を１ビットだけ右シフトして１／２の乗
算値を求め、更に上記未知色平均値Ｇ（ＡＶＥ）からこ
の乗算値を減算してＧ色の生成感度レベルＧ（Ｒ）を演
算する凹時未知色演算ステップである。

【００４５】なお、演算回路８は更に、Ｂ色用の係数算
出回路７ｃから当該注目画素に対応するＢ色の不足色平
均値Ｂ（ＡＶＥ）が出力されると、上記ステップＳＴ５
からステップＳＴ７を同様に実施して未知色の生成輝度
信号の感度レベルＢ（Ｒ）を演算し、上記Ｒ（Ｒ）、Ｇ
（Ｒ）およびこのＢ（Ｒ）の３つを当該注目画素のＲＧ
Ｂ各１０ビットの色成分信号として出力する。

【００４６】また、この一連の処理を実施して全ての画
素についてＲＧＢ各１０ビットの色成分信号を生成する
ことでフルカラー画像を得ることができる。

【００４７】図６はこの実施の形態１において、各画素
において不足している各種の色成分を生成するために参
照する周辺の画素の配列を説明するための説明図であ
る。同図（ａ）はＢ色を受光している画素において不足
しているＧ色の感度レベルを生成する場合に参照する画
素の配列であり、同図（ｂ）はＧ色を受光している画素
において不足しているＢ色の感度レベルあるいはＲ色の
感度レベルを生成する場合に参照する画素の配列であ
り、同図（ｃ）はＲ色を受光している画素において不足
しているＢ色の感度レベルを生成する場合に参照する画
素の配列である。また、同図（ｃ）においてＲ色を受光
する画素とＢ色を受光する画素とを入れ替えることによ
って、Ｂ色を受光している画素において不足しているＲ
色の感度レベルを生成する場合に参照する画素の配列で
ある。

【００４８】図７はこの発明の実施の形態１における不
足色の補間原理を説明するための説明図である。図にお
いて、Ｒ（１Ｈ），Ｒ（２Ｈ），Ｒ（３Ｈ），Ｒ（４
Ｈ）はそれぞれＲ（１），Ｒ（２），Ｒ（３），Ｒ
（４）の画素の輝度をそれらの平均値Ｒ（Ｈ）で置き換
えたものであり、Ｇ（１Ｈ），Ｇ（２Ｈ），Ｇ（３
Ｈ），Ｇ（４Ｈ）はそれぞれＧ（１），Ｇ（２），Ｇ
（３），Ｇ（４）の画素の輝度をそれら平均値Ｇ（Ｒ）
で置き換えたものである。そして、Ｒ（１Ｈ），Ｒ（２
Ｈ），Ｒ（３Ｈ），Ｒ（４Ｈ），Ｒ（Ｒ）を頂点とする
五面体（正四角錘）は、幾何学的に明らかなように図２
（ｂ）に示される元の多面体（Ｒ（１），Ｒ（２），Ｒ
（３），Ｒ（４），Ｒ（Ｒ）を頂点とする多面体）と同
一の体積となる。同様に、Ｇ（１Ｈ），Ｇ（２Ｈ），Ｇ
（３Ｈ），Ｇ（４Ｈ），Ｇ（Ｒ）を頂点とする五面体
（正四角錘）は、幾何学的に明らかなように図４（ｂ）
に示される元の多面体（Ｇ（１），Ｇ（２），Ｇ
（３），Ｇ（４），Ｇ（Ｒ）を頂点とする多面体）と同
一の体積となる。また、画像信号（輝度信号）では、当
該ｘｙ平面領域での信号分布から求まる積分値が画像エ
ネルギーに相当するので、同一面積のｘｙ平面における
積分値が同じであればその領域における平均輝度が保存
されることになり、視覚的に違和感を生じてしまうこと
は無い。

【００４９】そして、この実施の形態１では、これら２
つの正四角錘同士が相似図形になるように補間信号値Ｇ
Ｒを決定しているので、微小領域における画像エネルギ
ーの比に応じた色補間が可能となり、局所的な画像エネ
ルギーの比に基づく高解像度の色補間を達成することが
できる。

【００５０】なお、この実施の形態において、図６
（ａ）の場合および（ｃ）の場合には上記動作において
具体的に説明した例と同一手順にて演算することができ
るが、（ｂ）の場合には、垂直あるいは水平方向のいず
れかにしか既知色を受光する画素が存在しない。そのた
め、当該画素が存在する方向において三角形の既知色幾
何学図形を想定し、それと相似な三角形の不足色幾何学
図形が得られるように不足色の感度レベルを演算するよ
うにすればよい。

【００５１】図８はこのような三角形の既知色幾何学図
形と不足色幾何学図形とに基づいて不足色の感度レベル
を生成する原理を説明するための説明図である。既知色
の二等辺三角形（Ｒ（Ｒ），Ｒ（１Ｈ），Ｒ（２Ｈ））
と、期待される補間値Ｇ（Ｈ）とＧ（ｉ）及びＧ（ｊ）
の平均値Ｇ（ＡＶＥ）からなる不足色の二等辺三角形
（Ｇ（Ｈ），Ｇ（１Ｈ），Ｇ（２Ｈ））（注、Ｇ（１
Ｈ），Ｇ（２Ｈ）の感度レベルはＧ（ＡＶＥ）に等し
い）との幾何学的な関係を示した図である。Ｒ色が形成
する感度レベルの二等辺三角形とＧ色が形成する感度レ
ベルの二等辺三角形はＲ色を受光する画素同士の距離と
Ｇ色を受光する画素同士の距離との比から線分相似比が
２対１となり、Ｒ（Ｈ）とＧ（Ｈ）との比も当然に同様
の比となる。

【００５２】ところで、この実施の形態１で示した不足
色の補間処理演算は、下記式（７）として一般化して表
記することができる。但し、Ｋ（ｍ，ｎ）は注目画素
（ｍ，ｎ）において生成する不足色の感度レベル、Ｊ
（ｍ，ｎ）は注目画素（ｍ，ｎ）での受光感度レベル、
Ｋ（ＡＶＥ）は注目画素の近傍の画素に基づいて得られ
る不足色の不足色平均値、Ｊ（ＡＶＥ）は注目画素の近
傍の画素に基づいて得られる受光色の既知色平均値、Ｃ
ｄは受光色の幾何学図形に対する生成色の幾何学図形
（実施の形態１では五面体や三角形）の線分相似比であ
る。

【００５３】 Ｋ（ｍ，ｎ）＝Ｋ（ＡＶＥ）＋｛Ｊ（ｍ，ｎ）−Ｊ（ＡＶＥ）｝ ×Ｃｄ ・・・（７）

【００５４】また、この方式で不足色を補間すれば、特
開平５−５６４４６号公報が抱える高彩度領域での黒ず
みなどの画質劣化が発生してしまうことはない。例え
ば、従来例で示した局所的な１０ビットの感度レベルと
してＧ（１）＝４、Ｇ（３）＝１、Ｇ（５）＝４、Ｒ
（２）＝Ｒ（４）＝１０２３であり、図２及び式（７）
に従って注目画素におけるＲ色信号値Ｒ（Ｒ）を算出し
た場合、以下の式（８）〜式（１０）の演算を行うこと
になる。従って、生成される補間信号値Ｒ（Ｒ）は同色
の周辺画素感度レベルと同等の値になるため、高彩度か
つ有彩色の領域で極端に黒ずみや白抜け等の画質劣化を
発生することがなくなる。

【００５５】 Ｇ（ＡＶＥ）＝（４＋４）／２＝４ ・・・（８） Ｒ（ＡＶＥ）＝（１０２３＋１０２３）／２＝１０２３ ・・・（９） Ｒ（Ｒ）＝Ｒ（ＡＶＥ）＋｛Ｇ（３）−Ｇ（ＡＶＥ）｝×Ｃｄ ＝１０２３＋（１−４）／２＝１０２１．５ ・・・（１０）

【００５６】なお、図５のフローチャートでは、図７に
おいてＲ色の正四角錘の一辺の長さがＧ色の正四角錘の
一辺の長さの半分（線分相似比では２：１）となってい
るので、１／２を乗ずる替わりに既知色補正係数Ｒ
（Ｈ）の値を１ビットだけ右シフトして乗算値を求めて
いる。このように、実施の形態１に示す補間処理演算で
は、加減算演算とビットシフト演算のみで全ての演算を
処理することができるので、従来の方法に比較してソフ
トウェアで実現する場合は高速動作が可能であり、電子
回路で実現する場合は回路規模が小さく装置の小型化及
び低コスト化に寄与することができるという効果があ
る。

【００５７】また、図５の処理フローチャートにおいて
は、説明の平易さを目的にＲ（ＡＶＥ）とＲ（Ｒ）との
大小関係の判断に基づいてステップＳＴ６またはステッ
プＳＴ７のいずれかの演算を行う構成にしたがこの限り
でない。即ち、ステップＳＴ５においてＲ（ＡＶＥ）＞
Ｒ（Ｒ）と判定した場合、ステップＳＴ６における右辺
第二項「（Ｒ（Ｒ）−Ｒ（ＡＶＥ））／２」は負値とな
り、結果的にこの値をＧ（Ｈ）から減算するステップＳ
Ｔ７と同じ演算式となる。従って、ステップＳＴ５及び
ステップＳＴ７をなくして無条件でステップＳＴ６のみ
を実行するように構成にしてもかまわない。この場合、
図３におけるステップＳＴ２の判定結果を係数算出回路
７ａ〜７ｃから演算回路８へ出力する必要もなくなる。

【００５８】実施の形態２．図９はこの発明の実施の形
態２によるディジタルスチルカメラなどのフルカラー画
像撮像装置の構成を示すブロック図である。図におい
て、９ａ〜９ｃはそれぞれ注目画素における画像の相関
方向を判断し、これにより相関が高いと判断された画素
に基づいて既知色幾何学図形の高さＪ（Ｈ）（＝Ｊ
（ｍ，ｎ）−Ｊ（ＡＶＥ））を演算する係数算出回路
（既知色平均レベル演算手段、不足色平均レベル演算手
段）である。

【００５９】具体的には、注目画素の画素位置の上下左
右あるいは斜め方向において当該注目画素と同じ色の既
知色を受光する画素を、注目画素上を通る複数の直線を
想定して当該直線毎に分類し、各直線毎に２つの画素の
間での既知色の感度レベル差を演算し、最も感度レベル
差が小さい組となる複数の画素を用いてＪ（Ｈ）を演算
する。そして、この場合には、演算回路８は当然に図７
に示すように既知色幾何学図形が三角形となるので三角
形同士の線分相似比にてＫ（ｍ，ｎ）を演算することに
なる。これ以外の構成は実施の形態１と同様であり説明
を省略する。

【００６０】次に動作について説明する。図１０はこの
発明の実施の形態２による係数算出回路９ａ〜９ｃが各
種の係数算出演算に先立って、画像の相関性を評価する
ためのフローチャートである。この実施の形態では、同
図に示すように、４つのＧ色の受光輝度信号を用いて注
目画素における縦方向及び横方向の画像の相関性を評価
する。まず、Ｇ信号の注目画素に対する上下２画素の差
分値Ｇ（Ｖ）及び左右２画素の差分値Ｇ（Ｈ）を算出す
る（ステップＳＴ８）。次に、これらの差分値Ｇ（Ｖ）
及びＧ（Ｈ）の大小関係を比較し（ステップＳＴ９）、
差分値が小さい方の２つの画素の受光感度レベルを補間
のための信号Ｇ（ｉ）及びＧ（ｊ）として演算回路８に
対して出力する（ステップＳＴ１０またはステップＳＴ
１１）。またこれと同時に何れの方向成分（水平方向あ
るいは垂直方向）が選択されたかの選択信号ＤをＲ信号
用係数算出回路９ａに対して出力する。

【００６１】また、Ｒ色用の係数算出回路９ａでは、図
１１のフローチャートに従ってＧ色の係数算出回路９ｂ
において選択信号Ｄの意味する方向Ｄにある２つの画素
を同様にしてＲ（ｉ）及びＲ（ｊ）として選択する（ス
テップＳＴ１２〜ステップＳＴ１４）。次に、このＲ
（ｉ）及びＲ（ｊ）の平均値Ｒ（ＡＶＥ）を算出し（ス
テップＳＴ１５）、以下、図３と同様に三角形（Ｒ
（Ｒ），Ｒ（ｉ），Ｒ（ｊ））を二等辺三角形で置き換
えた三角形（Ｒ（Ｒ），Ｒ（１Ｈ），Ｒ（２Ｈ））（Ｒ
（１Ｈ），Ｒ（２Ｈ）の信号値はＲ（ＡＶＥ）と等し
い）の高さＲ（Ｈ）を演算回路８に対して出力する（ス
テップＳＴ１６〜ステップＳＴ１８）。

【００６２】同様の手順を用いることで、Ｒ色を受光し
た画素におけるＢ色の感度レベルあるいはその他の色成
分を受光した画素における全ての不足色の感度レベルは
実施の形態１と同様に生成することができる。ここで、
図６（ｂ）の場合には、既知色の受光輝度信号が水平方
向あるいは垂直方向のいずれか一方のみに存在するの
で、相関方向の検出は行わずに当該いずれか一方向のみ
を無条件で使用すればよい。また、図６（ｃ）の画素配
置にある場合は、９０度交差した２つの斜め方向の相関
性を求めることで同等に処理することができる。このよ
うにして、撮影画像データを水平及び垂直方向に順次走
査し色補間処理を行うことで１画面分のフルカラー画像
が得られる。

【００６３】そして、実施の形態１では不足色を演算す
る際に参照する周辺の画素が等方的にて参照されている
ので、画像中のシャープなエッジ部分などではエッジの
稜線方向のみならず法線方向の感度レベルを加味するこ
ととなり、画質に安定感はあるもののエッジのシャープ
ネスが十分に得られない場合があったが、この実施の形
態２では、輝度差が少ないエッジの稜線方向の画素の感
度レベルのみを参照することができるので、逆にいえば
相関性の低い法線方向からの影響を排除することができ
るので、シャープな再現が可能となる。

【００６４】また、実施の形態２においては、相関方向
を検出するために、注目画素上を通る２つの直線（例え
ば水平方向の直線および垂直方向の直線）を想定し、注
目画素の両側（例えば左右あるいは上下）において各直
線が通過する画素を各直線毎に２つずつ選択し、その２
つの画素の輝度差が少ないほど相関が高いと判断するよ
うにしているが、この限りでなく、相関方向に対応した
エッジパターンを予め定めておき注目画素を中心とする
画素ウィンドウに対してパターンマッチングを行いパタ
ーンにマッチした輝度分布から相関方向を得るなどの方
法もあり、画像の相関性を評価可能な他の方法を用いる
ことでも同等以上の効果を得ることができる。この場
合、マッチング用の参照ウィンドウを５×５画素あるい
は７×７画素に定める等、ウィンドウサイズを大きくす
ることでより多くの相関方向が検出可能となるため、斜
め方向（画素の配列方向である垂直方向でも水平方向で
もない方向）のエッジをよりスムーズかつシャープなも
のとすることができる。

【００６５】実施の形態３．図１２はこの発明の実施の
形態３によるディジタルスチルカメラなどのフルカラー
画像撮像装置の構成を示すブロック図である。図におい
て、１０は生成されたＧ色の生成感度レベルを複数ライ
ン分保持するラインバッファ（色成分生成装置）、１１
はＲ，Ｇ，Ｂの受光感度レベルに基づいてＧ色の感度レ
ベルを生成し、更にＲ色およびＢ色についてはＧ色の２
次元メモリ６ｂおよび上記ラインバッファに記憶された
Ｇ色の生成感度レベルを用いて、Ｇ色を既知色として感
度レベルを演算する演算回路（不足色成分決定手段、出
力手段）である。これ以外の構成は実施の形態２と同様
である。

【００６６】次に動作について説明する。基本的な処理
については実施の形態２と同様であり説明を省略する。
係数算出回路９ａ〜９ｃでは、注目画素にて不足してい
る非撮像色を補間生成するために各色の２次元メモリ６
ａ〜６ｃの輝度データを用いると共に各係数算出回路９
ａ〜９ｃ間で通信して演算パラメータを算出し、演算回
路１１に引き渡す。演算回路１１では、これらのデータ
を元に不足している非撮像色の補間生成演算を行う。こ
れらの演算アルゴリズムは実施の形態２で説明した通り
である。

【００６７】図１３はこの発明の実施の形態３における
参照画素と補間画素の位置関係（一方向のみ）を示す説
明図である。図において、（ａ）はＲ色を受光する画素
におけるＧ色の感度レベルを演算する場合である。Ｒを
Ｂに置き換えることでＢ色を受光する画素におけるＧ色
の感度レベルを演算する場合となる。（ｂ）は（ａ）の
後に処理され、Ｂ色とＧ色とのみからなる画素列（ライ
ン）におけるＧ色を受光する画素におけるＢ色の感度レ
ベルを演算する場合である。ＢをＲに置き換えることで
Ｒ色とＧ色とのみからなる画素列（ライン）におけるＧ
色を受光する画素におけるＢ色の感度レベルを演算する
場合となる。（ｃ）は（ａ）の後に処理され、Ｒ色とＧ
色とのみからなる画素列（ライン）におけるＲ色を受光
する画素におけるＢ色の感度レベルを演算する場合であ
る。ＲをＢに置き換えることでＢ色とＧ色とのみからな
る画素列（ライン）におけるＢ色を受光する画素におけ
るＲ色の感度レベルを演算する場合となる。図中、大文
字のアルファベットは受光感度レベルを表し、小文字の
アルファベット「ｇ」の添え字を持つ信号は（ａ）で既
に補間生成された該当色画素におけるＧ信号を表してい
る。

【００６８】そして、図１３（ａ）に示すＲ色を受光す
る画素またはＢ色を受光する画素におけるＧ色の感度レ
ベル演算は実施の形態２と同様である。

【００６９】Ｇ色を受光する画素におけるＢ色の感度レ
ベル演算及びＲ色の感度レベル演算は、図１３（ｂ）の
３×３画素からなるウィンドウ内にそれぞれの色信号が
水平もしくは垂直の何れかのみに存在しているため、相
関方向の評価は行わず存在する方向成分の信号から色補
間を行う。この時、参照色として使用するＧ色の感度レ
ベルは図１３（ａ）で既に生成した感度レベルを使用す
る。従って、二等辺三角形モデルを適用する際は、既知
色（Ｇ色）の三角形の底辺の長さと生成色の三角形の底
辺の長さとが等しいので、式（７）におけるＣｄ値は１
（式（１０）では右シフトするビット数が０）として演
算を実行する。図１３（ｃ）のＲ色を受光する画素にお
けるＢ色の感度レベル演算時も同様である。

【００７０】以上の処理を水平及び垂直方向に順次走査
しながら実行し、まず補間済みのＧ色成分を出力し、次
にこのＧ色成分を必要量だけラインバッファ１０に一次
蓄積してＲ色成分およびＢ色成分の演算の際に参照する
ことを繰返すことで１画面分の撮像データに対する色補
間処理が完了する。

【００７１】以上のように、この実施の形態３では、実
施の形態１や実施の形態２とは異なり参照する周辺の画
素や注目画素における生成済みのＧ色の感度レベルを用
いるので、Ｒ色やＢ色の生成において既知色幾何学図形
と不足色幾何学図形との線分相似比が１対１になるの
で、図１３（ｂ）や（ｃ）に示すように参照画素として
必ず注目画素に隣接する画素を選択することができ、よ
り高精度の色補間を行って高画質化を図ることができ
る。

【００７２】また、Ｒ色の感度レベルやＢ色の感度レベ
ルを演算する際には必ずＧ色の感度レベルを参照するよ
うに参照色を一色に統一しているので、色毎の相関方向
の相違に起因する補間結果のばらつきがもたらす画質劣
化を最小限に抑制することができる。

【００７３】同時に、生成済み色信号を複数種類用いる
場合に比べてラインバッファ１０の容量を最小限に抑制
することができる。例えば、本実施の形態３におけるフ
レームメモリ４に蓄積されている処理対象画素を含む数
ラインの内容を図１４に示す。図において、（ｃ）のＢ
色を受光する画素におけるＲ色の感度レベルおよび
（ｂ）のＧ色を受光する画素におけるＢ色の感度レベル
を生成するためには、各図の太枠内の全ての画素におい
てＧ色成分が生成されている必要がある。従って、同図
（ｃ）や（ｂ）の処理がなされるためには、それに先立
って、同図（ａ）に示す画素の位置におけるＧ色成分が
生成されている必要がある。その結果、ラインバッファ
１０には図１５に示すだけの生成済みＧ信号ｇを蓄積す
る必要がある。この実施の形態３の場合には、約２ライ
ン分（生成する画素は１画素置きなので実際のサイズは
１ライン分＋２画素）の画素のラインバッファを付加す
ればよいことになる。

【００７４】そして、この発明においては既知色と生成
色との組み合わせおよび参照する画素の組み合わせに関
しては、注目画素を頂点として相互に相似な図形が形成
されるのであれば如何なる組み合わせであってもよい
が、生成済み信号を一切使用しない場合には参照する画
素と注目画素との間隔（サンプリング間隔が広くなって
十分な解像度を持つ画像を再生しにくいという欠点があ
る。これに対して生成済み信号を用いた場合には、特に
複数の色成分を参照する場合にはそれを一時的に蓄積す
るラインバッファの必要量が増大し装置コストが上昇し
てしまう。従って、本実施の形態３は、Ｂａｙｅｒ型の
配列において最も高密度に割り付けられる色成分（Ｇ
色）をラインバッファに蓄積し、これをその他の全ての
色において参照するようにすることで、画質と装置コス
トのトレードオフを最もバランスよく実現することがで
きる。

【００７５】なお、この実施の形態３では実施の形態２
の構成および動作を前提として説明したが、実施の形態
１の構成および動作を前提としても同様の効果を得るこ
とができる。

【００７６】以上の実施の形態においては、撮影後の画
像処理として色補間処理についてのみで構成するブロッ
ク構成を示したが、実際にはオートホワイトバランス処
理（白色補正）、γ補正処理（階調特性の補正）、フィ
ルタ処理（輪郭強調やノイズ除去）、ＪＰＥＧ圧縮処理
（画像データ圧縮保存）などの処理と組合せても同等の
効果が得られることは言うまでもない。同様に、ＬＣＤ
インタフェース（画像表示確認用液晶インタフェー
ス）、フラッシュメモリインタフェース（撮影画像保存
媒体インタフェース）等の入出力インタフェースを付加
しても同等の効果が得られることも言うまでもない。

【００７７】また、以上の全ての実施の形態において
は、撮像装置の内部にて色補間処理を実行可能な構成に
ついて例を示したがこの限りでなく、パーソナルコンピ
ュータやカラープリンタ等、撮像装置に直接あるいは記
憶媒体を間接的に経由して接続し、これらの機器上で構
成してもよい。

【００７８】次に、以上の全ての実施の形態において
は、２次元撮像素子２としてＲＧＢの色フィルタが図１
５に示すようにＢａｙｅｒ型に配列する単板カラーセン
サを使用するディジタルスチルカメラについて例を示し
たがこの限りでなく、撮像素子の表面上に複数色の色フ
ィルタが規則的に配置され、色補間処理を行うことによ
りフルカラー画像を得るように構成される単板あるいは
多板式の撮像素子を用いたディジタルビデオカメラであ
っても同等の効果を得ることができる。

【００７９】更に、以上の全ての実施の形態において
は、フレームメモリは撮影時のデータストリームに同期
して画素あるいは複数ライン毎に色補間を含む画像処理
を実施するように構成しているが、２次元撮像素子２に
おいて光電変換された画像データをＡ／Ｄ変換器３でデ
ィジタル化した後一旦フレームメモリ４に１画面分保持
し、その後これを処理するように構成しても良い。ま
た、フレームメモリ４から各色用２次元メモリ６ａ〜６
ｃに必要ライン数分の画像データをコピーし、その後色
補間処理を行う構成を示したが、係数算出回路７ａ〜７
ｃが直接フレームメモリ４内の画像データにアクセス可
能となるように構成してもよい。

【００８０】

【発明の効果】この発明によれば、注目画素の不足色成
分の感度レベルを生成する色成分生成装置において、上
記注目画素の近傍に位置する画素であって且つ上記注目
画素において既知である色と同じ色成分を有する複数の
画素を既知色参照画素として選択し、当該複数の画素の
既知色感度レベルの平均値を既知色平均値として演算す
る既知色平均レベル演算手段と、上記注目画素を基準と
する画素の２次元配列において上記複数の既知色参照画
素の相対配置関係と相似の相対配置関係となる、上記既
知色参照画素と同数の不足色参照画素を選択し、当該複
数の画素の不足色感度レベルの平均値を不足色平均値と
して演算する不足色平均レベル演算手段と、画素の２次
元配列をＸ−Ｙ平面とするとともに感度レベルをＺ軸と
して得られる直交座標系において、上記既知色参照画素
の全ての既知色感度レベルを上記既知色平均値で置き換
えた場合に当該複数の既知色参照画素の感度レベルと上
記注目画素の既知色感度レベルとを結んで得られる既知
色幾何学図形、および、上記不足色参照画素の全ての感
度レベルを上記不足色平均値で置き換えた場合に当該不
足色参照画素の全ての不足色感度レベルと上記注目画素
の不足色感度レベルとを結んで得られる不足色幾何学図
形を想定し、当該既知色幾何学図形と不足色幾何学図形
とが相似形状となるように当該注目画素の不足色の感度
レベルを決定する不足色成分決定手段とを備えるので、
幾何学的な相似演算を用いて注目画素の周囲の局所的な
画像エネルギーを再生するように注目画素の不足色の感
度レベルを決定することができる。

【００８１】従って、上記既知の色成分の感度レベルと
上記不足色成分の感度レベルとの感度レベル差が小さい
場合には、画像の局所的な領域では輝度信号の変化に比
べて色信号の変化が少なくなるように、言い換えれば局
所領域では色相関性が高いという撮影画像の一般的な特
徴に則って補正を行うことができる。その結果、従来の
局所的な色の相関関係を利用した場合と同様に線形補間
法を用いて補間した場合に比べて、画像のエッジを構成
する感度レベル変化の急峻な領域においても色間の信号
変化に偏りが生じないようにすることができ、エッジを
十分に再現することができ、高解像度かつ偽色の少ない
高画質なものとすることができる効果がある。

【００８２】これと同時に、上記既知の色成分の感度レ
ベルと上記不足色成分の感度レベルとの感度レベル差が
大きい場合には、つまりこれら色成分の値の差が大きく
て高感度レベルの有彩色となる場合には、既知の色成分
の感度レベルと不足色成分の感度レベルとの感度レベル
差が考慮されないように補正量制御を実施することがで
きる。その結果、参照する受光色における微妙な変化に
比例的に反応する形で生成色の感度レベルが上記ローパ
スフィルタ値のレベルから大きく外れてしまうことはな
く、当該画素において本来画像中にない黒ずみや白抜け
が発生してしまうことを効果的に抑制することができる
効果がある。

【００８３】つまり、既知色幾何学図形と不足色幾何学
図形との線分相似比に基づいて不足色を補間するように
したので、画像中の高感度レベルの領域では黒ずみ等の
画質劣化を抑制しつつ高解像度に色補間を行うことが可
能であると同時に、低感度レベルの領域でも高解像度で
偽色の少ない色補間を行うことができる効果がある。

【００８４】そして、このような効果を得るためには、
不足色成分決定手段は、例えば、注目画素の既知色の感
度レベル値から既知色平均値を減算したものに既知色幾
何学図形に対する不足色幾何学図形の線分相似比を乗算
し、この乗算値と不足色平均値とを加算したものを当該
注目画素の不足色の感度レベルとすればよい。

【００８５】特に、不足色平均レベル演算手段が、各不
足色参照画素と注目画素との距離が対応する各既知色参
照画素と注目画素との距離の１／２^ｎ（ｎは整数）とな
るように、既知色参照画素と同数の不足色参照画素を選
択し、不足色成分決定手段が、注目画素の既知色感度レ
ベルの二進数値から既知色平均値の二進数値を減算し、
更にこれをｎビットだけ右シフト演算することで乗算値
を得るようにすれば、線分相似比を実際に乗算して乗算
値を求める場合よりも格段に演算処理速度や回路規模を
削減することができる効果がある。

【００８６】なお、既知色幾何学図形および不足色幾何
学図形は互いに相似な形状であれば如何なる構成であっ
ても良いが、５面体あるいは３角形となるように画素を
選択すれば、各画素の感度レベルの加算処理と１ビット
あるいは２ビットの右シフト演算とを組み合わせるだけ
で、既知色平均レベル演算手段および不足色平均レベル
演算手段における平均値演算を実施することができる。
その結果、実際に除算処理を実施する場合よりも格段に
演算処理速度や回路規模を削減することができる効果が
ある。

【００８７】この発明によれば、既知色平均レベル演算
手段が、複数の画素の中から最も相関性が高い複数の画
素を既知色参照画素として選択し、不足色平均レベル演
算手段が、当該選択された各画素と同方向にある画素を
不足色参照画素として選択するので、画像中のエッジ位
置においては相関の高い画素のみに基づいて平均値を生
成して更に偽色の発生を抑制することができる効果があ
る。具体的には、既知色平均レベル演算手段が、注目画
素上を通る複数の直線を想定し、注目画素の両側におい
て各直線が通過する画素を各直線毎に複数個ずつ選択
し、各直線毎に当該複数の画素の間での既知色感度レベ
ルの相関を判定し、更に、最も相関が高い組となる複数
の画素を既知色参照画素として選択し、不足色平均レベ
ル演算手段が、当該既知色参照画素として選択された画
素の直線が通過する位置にある複数の画素を不足色参照
画素として選択するように構成すればよい。

【００８８】そして、既知色平均レベル演算手段は例え
ば、各直線毎に２つの画素を選択し、これらの既知色の
感度レベル差が最も小さいものを最も相関が高い組とし
て判定すればよい。このような簡易な相関判定であれ
ば、加算処理と１ビットの右シフト処理とで各直線毎の
相関値を得ることができ、高速な演算処理速度や小さな
回路規模にて実現することができる効果がある。

【００８９】この発明によれば、注目画素の不足色成分
の感度レベルを生成する色成分生成方法において、上記
注目画素の近傍に位置する画素であって且つ上記注目画
素において既知である色と同じ色成分を有する複数の画
素を既知色参照画素として選択し、当該複数の画素の既
知色感度レベルの平均値を既知色平均値として演算する
既知色平均レベル演算ステップと、上記注目画素を基準
とする画素の２次元配列において上記複数の既知色参照
画素の相対配置関係と相似の相対配置関係となる、上記
既知色参照画素と同数の不足色参照画素を選択し、当該
複数の画素の不足色感度レベルの平均値を不足色平均値
として演算する不足色平均レベル演算ステップと、画素
の２次元配列をＸ−Ｙ平面とするとともに感度レベルを
Ｚ軸として得られる直交座標系において、上記既知色参
照画素の全ての既知色感度レベルを上記既知色平均値で
置き換えた場合に当該複数の既知色参照画素の感度レベ
ルと上記注目画素の既知色感度レベルとを結んで得られ
る既知色幾何学図形、および、上記不足色参照画素の全
ての感度レベルを上記不足色平均値で置き換えた場合に
当該不足色参照画素の全ての不足色感度レベルと上記注
目画素の不足色感度レベルとを結んで得られる不足色幾
何学図形を想定し、当該既知色幾何学図形と不足色幾何
学図形とが相似形状となるように当該注目画素の不足色
の感度レベルを決定する不足色成分決定ステップとを備
えるので、幾何学的な相似演算を用いて注目画素の周囲
の局所的な画像エネルギーを再生するように注目画素の
不足色の感度レベルを決定することができる。

【００９０】従って、上記既知の色成分の感度レベルと
上記不足色成分の感度レベルとの感度レベル差が小さい
場合には、画像の局所的な領域では輝度信号の変化に比
べて色信号の変化が少なくなるように、言い換えれば局
所領域では色相関性が高いという撮影画像の一般的な特
徴に則って補正を行うことができる。その結果、従来の
局所的な色の相関関係を利用した場合と同様に線形補間
法を用いて補間した場合に比べて、画像のエッジを構成
する感度レベル変化の急峻な領域においても色間の信号
変化に偏りが生じないようにすることができ、エッジを
十分に再現することができ、高解像度かつ偽色の少ない
高画質なものとすることができる効果がある。

【００９１】これと同時に、上記既知の色成分の感度レ
ベルと上記不足色成分の感度レベルとの感度レベル差が
大きい場合には、つまりこれら色成分の値の差が大きく
て高感度レベルの有彩色となる場合には、既知の色成分
の感度レベルと不足色成分の感度レベルとの感度レベル
差が考慮されないように補正量制御を実施することがで
きる。その結果、参照する受光色における微妙な変化に
比例的に反応する形で生成色の感度レベルが上記ローパ
スフィルタ値のレベルから大きく外れてしまうことはな
く、当該画素において本来画像中にない黒ずみや白抜け
が発生してしまうことを効果的に抑制することができる
効果がある。

【００９２】つまり、既知色幾何学図形と不足色幾何学
図形との線分相似比に基づいて不足色を補間するように
したので、画像中の高感度レベルの領域では黒ずみ等の
画質劣化を抑制しつつ高解像度に色補間を行うことが可
能であると同時に、低感度レベルの領域でも高解像度で
偽色の少ない色補間を行うことができる効果がある。

【００９３】この発明によれば、各画素の色情報として
複数の色成分の感度レベルを出力する多色画像撮像装置
において、上記画素と１対１に対応づけられた受光素子
毎に上記複数の色成分のうちから選択された１つの色の
フィルタが設けられ、上記画素数分の受光感度レベルを
出力する撮像素子と、上記各色成分毎に設けられ、上記
撮像素子から出力される各画素の受光感度レベルの色を
既知の色成分として、各画素の不足している色成分の感
度レベルを生成する上記色成分生成装置と、上記各画素
の色情報として、上記撮像素子から出力される受光感度
レベルと、当該色成分生成装置から出力される残りの色
成分の感度レベルとを出力する出力手段とを備えるの
で、幾何学的な相似演算を用いて注目画素の周囲の局所
的な画像エネルギーを再生するように注目画素の不足色
の感度レベルを決定することができる。従って、画像中
の高感度レベルの領域では黒ずみ等の画質劣化を抑制し
つつ高解像度に色補間を行うことが可能であると同時
に、低感度レベルの領域では高解像度で偽色の少ない色
補間を行って高解像度で偽色が発生しにくくしかも黒ず
みが発生しない画像を得ることができ、画像の種類によ
らず安定感のある多色画像を撮像することができる効果
がある。

【００９４】この発明によれば、撮像素子が３つ以上の
色成分の受光感度レベルを出力し、１つの色成分生成装
置が当該撮像素子から出力される受光感度レベルのみを
用いて各画素の不足している色成分の感度レベルを生成
し、その他の色成分生成装置が上記１つの色成分生成装
置で生成した色成分を各画素の既知の色成分として選択
して各画素の不足している色成分の感度レベルを生成す
るので、色毎の相関方向の相違に起因する補間結果のば
らつきなどが生じなくなり、これらに起因する画質劣化
を最小限に抑制することができるという効果がある。ま
た、１つの色の不足色のみをバッファリングすれば他の
不足色の処理が可能となるので、この処理に必要となる
バッファサイズを格段に削減することができる効果もあ
る。

【００９５】この発明によれば、その他の色成分生成装
置では、既知色参照画素として選択される複数の画素と
不足色参照画素として選択される複数の画素とが同一で
あるので、これらの色の不足色処理においては既知色幾
何学図形と不足色幾何学図形との線分相似比が１対１に
なる。その結果、より高精度（高解像度）の色補間を行
うことができるので、より高画質な画像再生が可能にな
る。特に、注目画素の周囲の画素を利用すればその効果
は最大となる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１によるディジタルス
チルカメラなどのフルカラー画像撮像装置の構成を示す
ブロック図である。

【図２】 ２次元撮像素子のＢａｙｅｒ型配列における
各色を受光する画素の配列を模式的に示す２次元配列図
である。

【図３】 この発明の実施の形態１のＲ色用の係数算出
回路が実施する係数演算処理を示すフローチャートであ
る。

【図４】 ２次元撮像素子のＢａｙｅｒ型配列における
各色を受光する画素の配列および受光感度分布を模式的
に示す２次元配列図である。

【図５】 このような条件の下で注目画素のＧ色成分Ｇ
（Ｒ）を求めるために演算回路が実施する不足色生成処
理を示すフローチャートである。

【図６】 この実施の形態１において、各画素において
不足している各種の色成分を生成するために参照する周
辺の画素の配列を説明するための説明図である。

【図７】 この発明の実施の形態１における不足色の補
間原理を説明するための説明図である。

【図８】 このような三角形の既知色幾何学図形と不足
色幾何学図形とに基づいて不足色の感度レベルを生成す
る原理を説明するための説明図である。

【図９】 この発明の実施の形態２によるディジタルス
チルカメラなどのフルカラー画像撮像装置の構成を示す
ブロック図である。

【図１０】 この発明の実施の形態２による係数算出回
路が各種の係数算出演算に先立って、画像の相関性を評
価するためのフローチャートである。

【図１１】 この発明の実施の形態２の係数算出回路が
実施するフローチャートである。

【図１２】 この発明の実施の形態３によるディジタル
スチルカメラなどのフルカラー画像撮像装置の構成を示
すブロック図である。

【図１３】 この発明の実施の形態３における参照画素
と補間画素の位置関係（一方向のみ）を示す説明図であ
る。

【図１４】 この発明の実施の形態３におけるフレーム
メモリに蓄積されている処理対象画素を含む数ラインの
内容の説明図である。

【図１５】 この発明の実施の形態３におけるラインバ
ッファの記憶状態を説明するための説明図である。

【図１６】 単板式２次元撮像素子において一般的に用
いられているＢａｙｅｒ（ベイヤー）型配列による原色
フィルタの構成を示す説明図である。

【図１７】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる緑色成分の受光感度分
布の説明図である。

【図１８】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる青色成分の受光感度分
布の説明図である。

【図１９】 Ｂａｙｅｒ（ベイヤー）型配列による原色
フィルタを用いた場合に得られる赤色成分の受光感度分
布の説明図である。

【図２０】 ２次元撮像素子にＲ、Ｇ、Ｂ３原色からな
る色フィルタをＢａｙｅｒ型配列で貼付したカラービデ
オカメラに、当該特開平５−５６４４６号公報に記載し
た技術を適用した場合の構成を示すブロック図である。

【図２１】 図２０の２次元メモリ（赤用）内の書き込
み状態（一部）を示す説明図である。

【図２２】 図２０の２次元メモリ（緑用）内の書き込
み状態（一部）を示す説明図である。

【図２３】 図２０の２次元メモリ（青用）内の書き込
み状態（一部）を示す説明図である。

【図２４】 図２０の２次元ローパスフィルタ（赤用）
の出力例を示す説明図である。

【図２５】 図２０の２次元ローパスフィルタ（緑用）
の出力例を示す説明図である。

【図２６】 図２０の２次元ローパスフィルタ（青用）
の出力例を示す説明図である。

【図２７】 この従来の２つの補間方法による生成感度
信号の感度レベルを比較説明するための説明図である。

【図２８】 特開平５−５６４４６号公報の補間方法に
おける画質劣化を説明するための説明図である。

【符号の説明】

１ レンズ（撮像素子）、２ ２次元撮像素子（撮像素
子）、３ Ａ／Ｄ変換器（撮像素子）、７ａ〜７ｃ，９
ａ〜９ｃ 係数算出回路（既知色平均レベル演算手段、
不足色平均レベル演算手段）、８，１１ 演算回路（不
足色成分決定手段、出力手段）、１０ ラインバッファ
（色成分生成装置）。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C065 AA03 BB13 BB24 CC01 CC09 DD17 EE06 EE12 GG03 GG05 GG13 GG17 GG18 GG21 GG22 GG23 GG30 5C066 AA01 AA11 BA01 CA08 CA09 EC02 EC12 EF03 EF13 GA01 GA27 GB01 HA03 JA03 KC02 KC07 KC11 KD02 KD06 KE02 KE03 KE05 KE09 KE19 KM02 LA02

Claims (11)

【特許請求の範囲】
1. 【請求項１】 注目画素の不足色成分の感度レベルを生
   成する色成分生成装置において、 上記注目画素の近傍に位置する画素であって且つ上記注
   目画素において既知である色と同じ色成分を有する複数
   の画素を既知色参照画素として選択し、当該複数の画素
   の既知色感度レベルの平均値を既知色平均値として演算
   する既知色平均レベル演算手段と、 上記注目画素を基準とする画素の２次元配列において上
   記複数の既知色参照画素の相対配置関係と相似の相対配
   置関係となる、上記既知色参照画素と同数の不足色参照
   画素を選択し、当該複数の画素の不足色感度レベルの平
   均値を不足色平均値として演算する不足色平均レベル演
   算手段と、 画素の２次元配列をＸ−Ｙ平面とするとともに感度レベ
   ルをＺ軸として得られる直交座標系において、上記既知
   色参照画素の全ての既知色感度レベルを上記既知色平均
   値で置き換えた場合に当該複数の既知色参照画素の感度
   レベルと上記注目画素の既知色感度レベルとを結んで得
   られる既知色幾何学図形、および、上記不足色参照画素
   の全ての感度レベルを上記不足色平均値で置き換えた場
   合に当該不足色参照画素の全ての不足色感度レベルと上
   記注目画素の不足色感度レベルとを結んで得られる不足
   色幾何学図形を想定し、当該既知色幾何学図形と不足色
   幾何学図形とが相似形状となるように当該注目画素の不
   足色の感度レベルを決定する不足色成分決定手段とを備
   えることを特徴とする色成分生成装置。
2. 【請求項２】 不足色成分決定手段は、注目画素の既知
   色の感度レベル値から既知色平均値を減算したものに既
   知色幾何学図形に対する不足色幾何学図形の線分相似比
   を乗算し、この乗算値と不足色平均値とを加算したもの
   を当該注目画素の不足色の感度レベルとすることを特徴
   とする請求項１記載の色成分生成装置。
3. 【請求項３】 不足色平均レベル演算手段は、各不足色
   参照画素と注目画素との距離が、対応する各既知色参照
   画素と注目画素との距離の１／２^ｎ（ｎは整数）となる
   ように、既知色参照画素と同数の不足色参照画素を選択
   し、 不足色成分決定手段は、注目画素の既知色感度レベルの
   二進数値から既知色平均値の二進数値を減算し、更にこ
   れをｎビットだけ右シフト演算することで乗算値を得る
   ことを特徴とする請求項２記載の色成分生成装置。
4. 【請求項４】 既知色平均レベル演算手段および不足色
   平均レベル演算手段は、既知色幾何学図形および不足色
   幾何学図形が５面体あるいは３角形となるように画素を
   選択することを特徴とする請求項１記載の色成分生成装
   置。
5. 【請求項５】 既知色平均レベル演算手段は、複数の画
   素の中から最も相関性が高い複数の画素を既知色参照画
   素として選択し、 不足色平均レベル演算手段は、当該選択された各画素と
   同方向にある画素を不足色参照画素として選択すること
   を特徴とする請求項１記載の色成分生成装置。
6. 【請求項６】 既知色平均レベル演算手段は、注目画素
   上を通る複数の直線を想定し、注目画素の両側において
   各直線が通過する画素を各直線毎に複数個ずつ選択し、
   各直線毎に当該複数の画素の間での既知色の感度レベル
   の相関を判定し、更に、最も相関が高い組となる複数の
   画素を既知色参照画素として選択し、 不足色平均レベル演算手段は、当該既知色参照画素とし
   て選択された画素の直線が通過する位置にある複数の画
   素を不足色参照画素として選択することを特徴とする請
   求項１記載の色成分生成装置。
7. 【請求項７】 既知色平均レベル演算手段は、各直線毎
   に２つの画素を選択し、これらの既知色の感度レベル差
   が最も小さいものを最も相関が高い組として判定するこ
   とを特徴とする請求項６記載の色成分生成装置。
8. 【請求項８】 注目画素の不足色成分の感度レベルを生
   成する色成分生成方法において、 上記注目画素の近傍に位置する画素であって且つ上記注
   目画素において既知である色と同じ色成分を有する複数
   の画素を既知色参照画素として選択し、当該複数の画素
   の既知色感度レベルの平均値を既知色平均値として演算
   する既知色平均レベル演算ステップと、 上記注目画素を基準とする画素の２次元配列において上
   記複数の既知色参照画素の相対配置関係と相似の相対配
   置関係となる、上記既知色参照画素と同数の不足色参照
   画素を選択し、当該複数の画素の不足色感度レベルの平
   均値を不足色平均値として演算する不足色平均レベル演
   算ステップと、 画素の２次元配列をＸ−Ｙ平面とするとともに感度レベ
   ルをＺ軸として得られる直交座標系において、上記既知
   色参照画素の全ての既知色感度レベルを上記既知色平均
   値で置き換えた場合に当該複数の既知色参照画素の感度
   レベルと上記注目画素の既知色感度レベルとを結んで得
   られる既知色幾何学図形、および、上記不足色参照画素
   の全ての感度レベルを上記不足色平均値で置き換えた場
   合に当該不足色参照画素の全ての不足色感度レベルと上
   記注目画素の不足色感度レベルとを結んで得られる不足
   色幾何学図形を想定し、当該既知色幾何学図形と不足色
   幾何学図形とが相似形状となるように当該注目画素の不
   足色の感度レベルを決定する不足色成分決定ステップと
   を備えることを特徴とする色成分生成方法。
9. 【請求項９】 各画素の色情報として複数の色成分の感
   度レベルを出力する多色画像撮像装置において、 上記画素と１対１に対応づけられた受光素子毎に上記複
   数の色成分のうちから選択された１つの色のフィルタが
   設けられ、上記画素数分の受光感度レベルを出力する撮
   像素子と、 上記各色成分毎に設けられ、上記撮像素子から出力され
   る各画素の受光感度レベルの色を既知の色成分として、
   各画素の不足している色成分の感度レベルを生成する請
   求項１記載の色成分生成装置と、 上記各画素の色情報として、上記撮像素子から出力され
   る受光感度レベルと、当該色成分生成装置から出力され
   る残りの色成分の感度レベルとを出力する出力手段とを
   備えることを特徴とする多色画像撮像装置。
10. 【請求項１０】 撮像素子は３つ以上の色成分の受光感
    度レベルを出力し、１つの色成分生成装置は当該撮像素
    子から出力される受光感度レベルのみを用いて各画素の
    不足している色成分の感度レベルを生成し、その他の色
    成分生成装置は上記１つの色成分生成装置で生成した色
    成分を各画素の既知の色成分として選択して各画素の不
    足している色成分の感度レベルを生成することを特徴と
    する請求項９記載の多色画像撮像装置。
11. 【請求項１１】 その他の色成分生成装置では、既知色
    参照画素として選択される複数の画素と不足色参照画素
    として選択される複数の画素とが同一であることを特徴
    とする請求項１０記載の多色画像撮像装置。