JP2003134523A - 撮像装置及び撮像方法 - Google Patents

Abstract

(57)【要約】 【課題】 特開平５−５６４４６号公報に開示されてい
る方法を用いれば、画像中のエッジを十分に再現するこ
とができるが、局所的な色信号レベルの変化率比を用い
ているため、特有の画質劣化を生じることがある課題が
あった。 【解決手段】 信号相関方向が垂直方向である場合、垂
直方向の信号レベルによる幾何学的な相似演算によって
仮決定された補間色の非撮像色信号の信号レベルを選択
し、その信号相関方向が水平方向である場合、水平方向
の信号レベルによる幾何学的な相似演算によって仮決定
された補間色の非撮像色信号の信号レベルを選択する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、複数種類の色フ
ィルタが各素子上に１種類ずつ規則的に配列された撮像
素子を有する撮像装置及び撮像方法に関するものであ
る。

【０００２】

【従来の技術】ＣＣＤなどの２次元撮像素子を用いた画
像入力装置においては、３原色であるＲ色フィルタ、Ｇ
色フィルタ及びＢ色フィルタを別個に貼り付けた２次元
撮像素子を３枚用い、１回の撮影で光学系から入射され
る被写体の光学像を分光プリズム等で分光することによ
り、各原色用撮像素子に入射させて、１画面分のフルカ
ラー画像情報を得る３板式に代表される多板式の撮像方
法が知られている。

【０００３】一方で、撮像素子を構成する画素数分の各
光電変換素子上に、例えば、Ｒ色、Ｇ色、あるいはＢ色
用のいずれか１種類のカラーフィルタを各々貼り付けた
１枚の２次元撮像素子を用い、１回の撮影で得られた画
像情報について各光電変換素子で得られない色信号を周
辺画素信号を用いて演算により算出し、疑似的に各画素
でフルカラー画像情報を得る単板式の撮影方法がある。

【０００４】単板式は、多板式に比較して撮像素子を含
む光学部品点数が少なくて済むため、小型かつ低価格に
装置を構成することが可能であり、民生用ディジタルス
チルカメラやディジタルビデオカメラ等で主に採用され
ている。図２０は単板式２次元撮像素子として一般的な
Ｂａｙｅｒ型配列で原色フィルタを構成する例を示して
いる。図中のＲ，Ｇ，Ｂ色信号は、光電変換素子の配置
上その画素位置にてサンプリングされる撮像色信号であ
り、Ｒは赤色（Ｒ色信号）、Ｇは緑色（Ｇ色信号）、Ｂ
は青色（Ｂ色信号）を示している。

【０００５】以下、原色フィルタを貼付した単板式撮像
素子で得られた画像情報から色信号補間を行って非撮像
色信号を生成することによりフルカラー画像を得る手順
（従来の線形補間法）について説明する。図２０の撮像
素子を用いて撮影した画像を各画素にＲＧＢ全成分を持
つフルカラー画像として生成する場合、各画素のフィル
タ色（撮像色）以外の２色の非撮像色信号を生成する必
要がある。

【０００６】例えば、Ｇ色信号だけに着目すると、図２
１に示す位置にのみ、撮像によって得られたＧ色信号
（大文字“Ｇ”で表記）が存在する。従来の一般的な技
術では、上下左右の４画素の信号の平均値からＧ色信号
の存在しない画素におけるＧ色信号レベル（小文字
“ｇ”で表記）を算出して補間することにより、全画素
分のＧ色信号を得ることができる。また、Ｂ色信号に着
目すると、図２２に示すように上下のＢ色信号からｂ１
信号、上下左右のＢ色信号からｂ２信号、左右のＢ色信
号からｂ３信号を内挿して、全画面分のＢ色信号を得
る。Ｒ色信号においても、図２３に示すように、Ｂ色信
号と同様の方法にて全画素分の信号を補間することがで
きる。上記の方法によって全画素におけるＲ，Ｇ，Ｂ色
信号を得ることができる。

【０００７】しかしながら、上記方法によりフルカラー
画像を生成する従来の信号処理では、単に周辺画素信号
の平均値を該当画素における色信号としているため、十
分な解像度を得ることができず、画像の色変化の激しい
エッジ部分に本来の被写体には存在しない偽色が発生す
る問題があった。単板撮像素子における図２０の画像が
各画素上に１色の色フィルタを配置しているために、
Ｒ、Ｇ、Ｂ各色とも単板撮像素子の画素数分だけの解像
度が得られないためである。また、色変化の激しいエッ
ジでは本来相関性の低い周辺画素を参照して補間を行う
ために、色毎にエッジの位置が微妙にずれて偽色が発生
することになる。

【０００８】特開平５−５６４４６号公報においては、
かかる問題を解決するために、画像が局所的な領域では
各色信号毎の信号変化に高い相関性があることを用い
て、高解像度かつ偽色を良好に抑制した色補間を行う方
法を開示している。

【０００９】図２４は特開平５−５６４４６号公報に示
された従来の撮像装置を示す構成図であり、図におい
て、１は被写体からの入射光を集光するレンズ、２はレ
ンズ１を通して入射した光を光電変換する撮像素子、３
は撮像素子２から出力されるアナログ画像信号をディジ
タル画像信号に変換するＡ／Ｄ変換器、４は１画面分の
ディジタル画像信号を一時記憶するフレームメモリ、５
はフレームメモリ４上の画像データから画素位置に応じ
てＲ色信号，Ｇ色信号又はＢ色信号に分別するマルチプ
レクサ、６ａ〜６ｃはＲ色信号，Ｇ色信号又はＢ色信号
に対応した数ライン分からなる２次元メモリ、７ａ〜７
ｃはＲ色信号，Ｇ色信号又はＢ色信号に対応した２次元
ローパスフィルタ（以下、ＬＰＦと称する）、８は各色
のＬＰＦ出力を参照して注目画素における非撮影色信号
をＬＰＦ出力の比によって相似的に算出する演算回路で
ある。

【００１０】次に動作について説明する。レンズ１から
入射した光は撮像素子２に結像する。撮像素子２では入
射光を光電変換し、アナログ電気信号として出力する。
出力されたアナログ電気信号はＡ／Ｄ変換器３によりデ
ィジタル電気信号に変換され、フレームメモリ４へ入力
される。フレームメモリ４に蓄積された画像信号は図示
しない制御手段によってマルチプレクサ５に順次送信さ
れ、Ｒ，Ｇ，Ｂの複数ライン分の信号がそれぞれ別々に
２次元メモリ６ａ〜６ｃに書き込まれる。図２５〜図２
７は各色の有意な画像信号が２次元メモリ６ａ〜６ｃに
書き込まれている様子を示している。図２５〜図２７に
示された画像信号は２次元ＬＰＦ７ａ〜７ｃにより平滑
化され、２次元ＬＰＦ７ａ〜７ｃは注目画素を中心とし
て例えば図２５〜図２７内の画像信号の平均値として出
力する。図２８〜図３０は２次元ＬＰＦ７ａ〜７ｃの出
力値を示している。

【００１１】次に、演算回路８における演算について説
明する。図２０において、例えば、ｍ行ｎ列のＧの位置
におけるＲ、Ｂの算出は、式（１）、式（２）のように
異なる色間での信号変化割合の比を求めることで行う。
ここで、Ｒ_ＬＰＦはＲのＬＰＦ出力値、Ｇ_ＬＰＦはＧの
ＬＰＦ出力値、Ｂ_{ＬＰ Ｆ}はＢのＬＰＦ出力値を示し、Ｇ
（ｍ，ｎ）はＧ色信号の撮像位置（以下、Ｇ画素位置と
称する）において実際に撮影された撮像素子２から得ら
れる出力信号を示し、Ｒ（ｍ，ｎ）はＧ画素位置におい
て算出するＲの信号値を示している。 Ｒ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｒ_ＬＰＦ／Ｇ_ＬＰＦ （１） Ｂ（ｍ，ｎ）＝Ｇ（ｍ，ｎ）×Ｂ_ＬＰＦ／Ｇ_ＬＰＦ （２）

【００１２】また、式（１）、式（２）を一般化して、
撮影色が色フィルタＪの画素位置（ｍ，ｎ）において、
Ｋの色を補間する場合の算出方法は式（３）で表され
る。ただし、この場合の（ｍ，ｎ）はフレームメモリ４
の２次元座標値を示している。 Ｋ（ｍ，ｎ）＝Ｊ（ｍ，ｎ）×Ｋ_ＬＰＦ／Ｊ_ＬＰＦ （３）

【００１３】この方法は、画像の局所的な領域では、輝
度信号の変化に比べて色信号の変化が少ない、言い換え
れば局所領域では色相関性が高いという撮影画像の一般
的な特徴を用いている。図３１は式（３）を用いてＧ色
フィルタが存在する画素位置のＲ色を補間生成する場合
の模式図である。図は説明の簡略化のため一次元方向の
みの撮像素子を考えた場合を示している。図において、
●印で示される信号は実際に撮像素子２により撮影され
た各色の信号レベルを示し、２点鎖線で示すグラフは参
照するＧ色信号の信号変化を、実線で示すグラフはＧ画
素位置でＲ色信号が正しく補間された場合の期待される
信号変化を示している。

【００１４】従来の線形補間法を用いて補間した場合に
補間されるＲ色信号は、二重線上の●の信号レベルとし
て生成される。この場合、信号レベル変化の緩慢な領域
では問題なく妥当な信号レベル値が生成されるが、画像
のエッジを構成する信号レベル変化の急峻な領域では補
間される色信号が十分なエッジとして再現されず、色間
の信号変化に偏りが生じることで、本来存在しない偽色
として知覚されるようになる。これに対して、特開平５
−５６４４６号公報に開示されている方法を用いて色補
間を行った場合に生成される色信号は、図３１の☆に示
される信号レベルとして再現される。従って、画像中の
エッジを十分に再現することで得られるフルカラー画像
は、高解像度かつ偽色の少ない高画質なものとなる。

【００１５】

【発明が解決しようとする課題】従来の撮像装置は以上
のように構成されているので、特開平５−５６４４６号
公報に開示されている方法を用いれば、画像中のエッジ
を十分に再現することができるが、局所的な色信号レベ
ルの変化率比を用いているため、特有の画質劣化を生じ
ることがある課題があった。

【００１６】図３２は特開平５−５６４４６号公報に開
示されている方法で色補間を行った場合に生じる画質劣
化を示す模式図である。図に示すように、参照する色信
号レベルのＬＰＦ値が低く微弱な変化を伴う場合で、補
間生成する色信号レベルのＬＰＦ値が高い場合、即ち、
高彩度の有彩色領域では、参照色信号である撮像色信号
の変化割合に比例的に反応する形で補間色信号である非
撮像色信号が大きな変化を生じ、結果的に該当画素が本
来画像中に存在しない黒ずみや白抜けを生じることがあ
る。

【００１７】例えば、ＲＧＢ入力信号が各１０ビット
（０〜１０２３の範囲、０：暗、１０２３：明）である
撮像装置を想定し、図３２において局所的な信号レベル
としてＧ１＝４、Ｇ３＝１、Ｇ５＝４、Ｒ２＝Ｒ４＝１
０２３であり、かつ各ＬＰＦは単純平均で算出するもの
とした場合、式（３）は具体的には式（４）〜式（６）
の演算を行うことになる。 Ｇ_ＬＰＦ＝（４＋１＋４）／３＝３ （４） Ｒ_ＬＰＦ＝（１０２３＋１０２３）／２＝１０２３ （５） ｒ３＝Ｇ３×Ｒ_ＬＰＦ／Ｇ_ＬＰＦ ＝１×１０２３／３＝３４１ （６） 従って、生成される補間信号値ｒ３は同色の周辺画素信
号レベルに比較して極端に低下した値になる。

【００１８】これは、特開平５−５６４４６号公報に開
示されている方法が参照色Ｇの信号変化割合を補間しよ
うとする色Ｒに対して適用するためである。即ち、Ｇ
_ＬＰＦの値に対してＧ３との比率３：１が補間比率とし
てＲ_ＬＰＦにかかるためである。本来、１０２４階調の
ダイナミックレンジを有する信号では信号値４に対する
信号値１は『信号値が１／４に変化した』という見方よ
り、ノイズ等に影響されうる微小変化分として捉えるべ
き差分量である。

【００１９】以上のように、特開平５−５６４４６号に
開示されている方法の場合、撮影した絵柄によっては固
有の画質劣化を引き起こすなどの課題があった。また、
式（３）の乗除算を撮像素子２の全画素に対して補間信
号の種類の数だけ繰返し行う必要があり、演算規模が大
きくなる。即ち、ソフトウェアで実現するに際して処理
速度の低下を招き、電子回路で実現する際には回路規模
が大きくなるという課題があった。

【００２０】この発明は上記のような課題を解決するた
めになされたもので、画質劣化の発生を良好に抑制する
ことができるとともに、簡易な構成で実現可能な実用性
の高い撮像装置及び撮像方法を得ることを目的とする。

【００２１】

【課題を解決するための手段】この発明に係る撮像装置
は、検出手段により検出された信号相関方向が垂直方向
である場合、垂直方向の信号レベルによる幾何学的な相
似演算によって仮決定された補間色の非撮像色信号の信
号レベルを選択し、その信号相関方向が水平方向である
場合、水平方向の信号レベルによる幾何学的な相似演算
によって仮決定された補間色の非撮像色信号の信号レベ
ルを選択する選択手段を設けるようにしたものである。

【００２２】この発明に係る撮像装置は、検出手段によ
り検出された信号相関方向が垂直方向である場合、第１
の信号レベル決定手段が垂直方向の信号レベルによる幾
何学的な相似演算によって補間色の非撮像色信号の信号
レベルを決定し、その信号相関方向が水平方向である場
合、第２の信号レベル決定手段が水平方向の信号レベル
による幾何学的な相似演算によって補間色の非撮像色信
号の信号レベルを決定するようにしたものである。

【００２３】この発明に係る撮像装置は、補間色の非撮
像色信号の信号レベルを決定する際、色補間を行う画素
の垂直方向又は水平方向に位置する画素における撮像色
信号の信号レベルを補正し、補正後の信号レベルから幾
何学図形を形成するようにしたものである。

【００２４】この発明に係る撮像装置は、色補間を行う
画素の２次元座標を（ｍ，ｎ）、色補間を行う画素にお
ける所定色の撮像色信号の信号レベルをＪ（ｍ，ｎ）、
色補間を行う画素の垂直方向又は水平方向に位置する画
素における所定色の撮像色信号の信号レベルの平均値を
Ｊ_ＡＶＥ（ｍ，ｎ）、色補間を行う画素における補間色
の非撮像色信号の信号レベルをＫ（ｍ，ｎ）、色補間を
行う画素の垂直方向又は水平方向に位置する画素におけ
る補間色の撮像色信号の信号レベルの平均値をＫ_ＡＶＥ
（ｍ，ｎ）、所定色の撮像色信号の信号レベルに係る幾
何学図形に対する補間色の撮像色信号の信号レベルに係
る幾何学図形の線分相似比をＣｄとするとき、下記の演
算式により補間色の非撮像色信号の信号レベルＫ（ｍ，
ｎ）を算出するようにしたものである。 記 Ｋ（ｍ，ｎ）＝Ｋ_ＡＶＥ（ｍ，ｎ）−（Ｊ（ｍ，ｎ）−
Ｊ_ＡＶＥ（ｍ，ｎ））×Ｃｄ

【００２５】この発明に係る撮像装置は、線分相似比が
２分の１になるように、色補間を行う画素の垂直方向又
は水平方向に位置する画素を選択するようにしたもので
ある。

【００２６】この発明に係る撮像装置は、垂直方向に対
する信号相関値と水平方向に対する信号相関値の差が所
定の閾値より小さい場合、第１の信号レベル決定手段に
より仮決定された信号レベルと第２の信号レベル決定手
段により仮決定された信号レベルとの加重平均値を選択
するようにしたものである。

【００２７】この発明に係る撮像装置は、色補間を行う
画素の垂直方向に位置する画素における補間色の撮像色
信号の信号レベルの重み付け平均値を計算するととも
に、色補間を行う画素の水平方向に位置する画素におけ
る補間色の撮像色信号の信号レベルの重み付け平均値を
計算し、双方の重み付け平均値の大小比較により周辺領
域の信号相関方向を決定するようにしたものである。

【００２８】この発明に係る撮像装置は、検出手段によ
り検出された信号相関方向が４５度方向又は１３５度方
向である場合、第１の信号レベル決定手段により仮決定
された信号レベルと第２の信号レベル決定手段により仮
決定された信号レベルとの加重平均値を選択するように
したものである。

【００２９】この発明に係る撮像装置は、色補間を行う
画素の垂直方向及び水平方向に位置する画素における補
間色の撮像色信号の信号レベルの平均値を閾値として、
その補間色の撮像色信号の信号レベルを２値化するとと
もに、色補間を行う画素における所定色の撮像色信号の
信号レベルを２値化し、その２値化結果に基づいて色補
間を行う画素の周辺領域の信号相関方向を検出するよう
にしたものである。

【００３０】この発明に係る撮像装置は、色補間を行う
画素の周辺領域の画素における補間色の撮像色信号の信
号レベルの平均値を閾値として、その補間色の撮像色信
号の信号レベルを２値化するとともに、色補間を行う画
素における所定色の撮像色信号の信号レベルを２値化
し、その２値化結果に基づいて色補間を行う画素の周辺
領域の信号相関方向を検出するようにしたものである。

【００３１】この発明に係る撮像方法は、検出工程によ
り検出された信号相関方向が垂直方向である場合、垂直
方向の信号レベルによる幾何学的な相似演算によって仮
決定された補間色の非撮像色信号の信号レベルを選択
し、その信号相関方向が水平方向である場合、水平方向
の信号レベルによる幾何学的な相似演算によって仮決定
された補間色の非撮像色信号の信号レベルを選択する選
択工程を設けるようにしたものである。

【００３２】この発明に係る撮像方法は、検出工程によ
り検出された信号相関方向が垂直方向である場合、第１
の信号レベル決定工程において垂直方向の信号レベルに
よる幾何学的な相似演算によって補間色の非撮像色信号
の信号レベルを決定し、その信号相関方向が水平方向で
ある場合、第２の信号レベル決定工程において水平方向
の信号レベルによる幾何学的な相似演算によって補間色
の非撮像色信号の信号レベルを決定するようにしたもの
である。

【００３３】この発明に係る撮像方法は、補間色の非撮
像色信号の信号レベルを決定する際、色補間を行う画素
の垂直方向又は水平方向に位置する画素における撮像色
信号の信号レベルを補正し、補正後の信号レベルから幾
何学図形を形成するようにしたものである。

【００３４】

【発明の実施の形態】以下、この発明の実施の一形態を
説明する。 実施の形態１．図１はこの発明の実施の形態１による撮
像装置を示す構成図であり、図において、１は被写体か
らの入射光を集光するレンズ、２はレンズ１を通して入
射した光を光電変換する撮像素子、３は撮像素子２から
出力されるアナログ画像信号をディジタル画像信号に変
換するＡ／Ｄ変換器、４は１画面分のディジタル画像信
号を一時記憶するフレームメモリ、５はフレームメモリ
４上の画像データから画素位置に応じてＲ色信号，Ｇ色
信号又はＢ色信号に分別するマルチプレクサ、６ａ〜６
ｃはＲ色信号，Ｇ色信号又はＢ色信号に対応した数ライ
ン分からなる２次元メモリである。９ａ〜９ｃは色補間
に使用する各種パラメータを演算する係数算出回路（第
１の信号レベル決定手段、第２の信号レベル決定手
段）、１０は色補間を行う画素の周辺領域の信号相関方
向を検出し、その検出結果に基づいて補間色の非撮像色
信号の信号レベルを最終決定する演算回路（検出手段、
選択手段）である。

【００３５】次に動作について説明する。レンズ１から
入射した光は撮像素子２に結像する。撮像素子２では入
射光を光電変換し、アナログ電気信号として出力する。
出力されたアナログ電気信号はＡ／Ｄ変換器３によりデ
ィジタル電気信号に変換され、フレームメモリ４へ入力
される。フレームメモリ４に蓄積された画像信号は図示
しない制御手段によってマルチプレクサ５に順次送信さ
れ、Ｒ，Ｇ，Ｂの複数ライン分の信号がそれぞれ別々に
２次元メモリ６ａ〜６ｃに書き込まれる。

【００３６】係数算出回路９ａ〜９ｃでは、２次元メモ
リ６ａ〜６ｃに一次蓄積されている色補間を行う画素位
置の撮像色信号を含む同色の複数信号から後段の演算回
路１０で行う色補間演算に使用する各種係数を算出す
る。例えば、撮像色信号がＲ色である画素の位置（以
下、Ｒ画素位置と称する）の非撮像色信号のうちＧ色信
号を補間生成する場合、係数算出回路９ａではＲ色の当
該画素における信号レベル値Ｒ_Ｒ及び上下左右に２画素
分離れた座標に位置する４つのＲ色信号レベル値を用い
る。図２（ａ）はこの時のＲ色信号の位置関係を示し、
図２（ｂ）は各画素の２次元座標（ｘ、ｙ）軸及び信号
レベル値の軸を加えた３次元空間上で、これらの５点が
形成する２つの三角形の形状を示している。

【００３７】また、係数算出回路９ｂでは、当該画素に
隣接する４つのＧ色信号を用いる。図３（ａ）はこの時
のＧ色信号の位置関係を示し、図３（ｂ）は各画素の２
次元座標（ｘ、ｙ）軸及び信号レベル値の軸を加えた３
次元空間上で、これらの４点と補間すべき当該画素にお
けるＧ色信号の期待される位置が形成する２つの三角形
の形状を示している。また、図４は中心画素におけるＧ
色信号生成時に用いるｘｙ平面上での、Ｒ色信号及びＧ
色信号の位置関係を示している。

【００３８】この実施の形態１では、参照色である撮像
色信号Ｒが形成する２つの三角形と補間色である非撮像
色信号Ｇが形成する２つの三角形を相似図形にした場合
の相似比からＧ色信号の補間信号Ｇ_Ｒを算出する。図５
は図４の座標空間上で、例えば垂直方向に位置する撮像
色信号が成す三角形について、係数算出回路９ａにおけ
る基準係数の算出過程を示すフローチャートである。

【００３９】まず、係数算出回路９ａは、参照色Ｒにお
ける２点Ｒ２、Ｒ４の平均値Ｒ_{ＡＶ Ｅ}を算出する（ステ
ップＳＴ１）。次に、中心点におけるＲ色信号Ｒ_Ｒと平
均値Ｒ_ＡＶＥの差分値Ｒ_Ｈを算出する（ステップＳＴ
２）。この過程で、参照色となる垂直方向のＲ色信号に
ついて、中心画素のＲ色信号が周辺画素に位置する他の
Ｒ色信号の平均値に対してどの程度のオフセットがある
かが算出される。

【００４０】次に、同様にＧ色信号に対して垂直方向の
平均値Ｇ_ＡＶＥ＝（Ｇ４＋Ｇ２）／２を算出した後、差
分値Ｒ_Ｈを１／２倍した値を中心画素位置において推定
されるＧ色信号成分のオフセット値として加算すること
で、当該画素における仮のＧ色成分信号Ｇ_ＲＶを生成す
る（ステップＳＴ３）。同様にして、図４のｘｙ平面上
の水平方向に位置する撮像したＲ色信号（Ｒ１，Ｒ３）
及びＧ色信号（Ｇ１，Ｇ３）から図５のフローチャート
に従って当該画素における仮のＧ色成分信号Ｇ_ＲＨを生
成する。

【００４１】次に、仮の出力信号として生成された垂直
Ｇ色成分信号Ｇ_ＲＶ又は水平Ｇ色成分信号Ｇ_ＲＨのう
ち、何れか一方を選択して最終的な出力信号を決定する
方法について説明する。一般的に、画像の局所領域では
近傍に位置する同色の信号が同程度の値である場合、そ
の領域における絵柄には大きな変化がなく近傍での色信
号に相関性が高いことが知られている。この特性を用い
て、演算回路１０が図６のフローチャートにしたがって
垂直方向あるいは水平方向のいずれに相関性が高いかを
評価し、当該画素における最終的な出力値を決定する。

【００４２】まず、演算回路１０は、補間生成対象であ
るＧ色信号について、各方向毎の信号レベル値の差分値
Ｇ_Ｖ＝｜Ｇ４−Ｇ２｜，Ｇ_Ｈ＝｜Ｇ１−Ｇ３｜を算出
し、各方向における画像の相関性指標値とする（ステッ
プＳＴ１１）。次に、各相関性指標値の差をとり、所定
のしきい値Ｔｈ１との大小関係を求めることで、各方向
の相関性に有意な差があるか否かを検証する（ステップ
ＳＴ１２）。

【００４３】このとき、各方向の相関性に十分な差がな
い場合、即ち、各相関性指標値の差がしきい値Ｔｈ１よ
り小さい場合、水平Ｇ色成分信号Ｇ_ＲＨと垂直Ｇ色成分
信号Ｇ_ＲＶの平均値を算出し、その平均値を最終出力値
Ｇ_Ｒとして出力する（ステップＳＴ１３）。一方、各方
向の相関性指標値に有意な差がある場合、即ち、各相関
性指標値の差がしきい値Ｔｈ１より大きい場合、各方向
の相関性指標値を大小比較し（ステップＳＴ１４）、垂
直方向の相関性指標値Ｇ_Ｖが水平方向の相関性指標値Ｇ
_Ｈより小さい場合は、垂直方向の仮の垂直Ｇ色成分信号
Ｇ_ＲＶを最終出力値Ｇ_Ｒとし（ステップＳＴ１５）、水
平方向の相関性指標値Ｇ_Ｈが垂直方向の相関性指標値Ｇ
_Ｖより小さい場合は、水平方向の仮の水平Ｇ色成分信号
Ｇ_ＲＨを最終出力値Ｇ _Ｒとする（ステップＳＴ１６）。

【００４４】ここで、図７は図２における三角形（Ｒ_Ｒ
Ｒ_２Ｒ_４）と、図５のステップＳＴ１でＲ_２及びＲ_４を
それらの平均値Ｒ_ＡＶＥで置き換えた点Ｒ_２Ｈ及びＲ
_４Ｈを用いた三角形（Ｒ_ＲＲ_２ＨＲ_４Ｈ）と、期待され
る補間値Ｇ_ＲとＧ_２及びＧ_４の平均値Ｇ_ＡＶＥからなる
三角形（Ｇ_ＲＧ_２ＨＧ_４Ｈ）との幾何学的な関係を示し
ている。

【００４５】図７において、縦軸方向は画像信号レベル
の大きさに相当し、信号レベルＲ_{２ Ｈ}＝Ｒ_４Ｈ、Ｇ_２Ｈ
＝Ｇ_４Ｈであることから三角形（Ｒ_ＲＲ_２ＨＲ_４Ｈ）と
三角形（Ｇ_ＲＧ_２ＨＧ_４Ｈ）はいずれも二等辺三角形で
あり、本方式の色補間方法としては、これら２つの二等
辺三角形が幾何学的に相似形をなすように構成してい
る。即ち、Ｒ色信号が形成する二等辺三角形とＧ色信号
が形成する二等辺三角形は、Ｒ画素間及びＧ画素間の距
離の比から線分比が２対１であり、図７においてＲ_Ｈと
Ｇ_Ｈの比も同様になるようにしている。具体的には、図
５のフローチャートにおいてステップＳＴ３の下段の演
算式において、Ｒ_Ｈに対して２対１になるような値（Ｒ
_Ｈ／２）を加算している部分がこれに該当する。

【００４６】また、一般的にある領域の画像信号変化曲
線を想定した場合、領域内の積分値は画像エネルギーと
して定義されている。本方式で三角形を形成する２点を
それらの平均値で置き換えた二等辺三角形として定義
し、それに基づいて色補間を行うことについては、この
局所領域での画像エネルギーが保存された状態で行って
いることから、結果的に得られる補間画像の色味などの
画質については問題がないことが明らかである。以上の
ようにして、Ｒ画素位置におけるＧ色信号値Ｇ_ＲがＲ色
信号の変化に応じた値として補間出力される。

【００４７】上記の例では、Ｒ画素位置のＧ成分を色補
間する場合を示したが、任意のＪ画素位置におけるＫ色
の色補間に同様の考え方を当てはめることが可能であ
る。図８は各色画素位置における他の色成分補間を行う
際の参照色の参照画素位置と補間色の参照画素位置の関
係を示したものである。図８において、（ａ）はＢ画素
位置におけるＧ成分補間の場合を示しており、上記例の
ＲをＢに置き換えることで同一の処理手順が可能であ
る。（ｂ）はＧ画素位置におけるＲ成分及びＢ成分補間
の場合であり、この場合は垂直方向あるいは水平方向の
いずれか一方にしか補間色が存在しないため、相関性評
価は行わず、補間色が存在する方向の仮出力値をそのま
ま最終出力値とする。また、（ｃ）はＲ画素位置におけ
るＢ成分補間の場合を示しており、使用する４点の注目
画素からの相対位置が斜め方向であることのみが（ａ）
と異なるが演算その他は同等である。また、（ｃ）にお
けるＲとＢを入れ替えることによって、Ｂ画素位置にお
けるＲ成分補間が行える。

【００４８】図８の全画素の全色成分補間にこのモデル
が適用できることは、図５のステップＳＴ１〜ＳＴ３が
下式のように一般化可能であることから説明できる。 Ｋ（ｍ，ｎ） ＝Ｋ_ＡＶＥ（ｍ，ｎ） −（Ｊ（ｍ，ｎ）−Ｊ_ＡＶＥ（ｍ，ｎ））×Ｃｄ （７） ただし、Ｋ（ｍ，ｎ）は座標（ｍ，ｎ）における補間す
べき非撮像色信号の信号レベル、Ｊ（ｍ，ｎ）は座標
（ｍ，ｎ）における参照色としての撮像色信号の信号レ
ベル、Ｊ_ＡＶＥ（ｍ，ｎ）は上記撮像色信号以外の同色
撮像色信号の信号レベルの平均値、ＣｄはＪ色がなす二
等辺三角形に対するＫ色がなす二等辺三角形の線分相似
比を示している。

【００４９】このようにして、色補間対象の画素位置を
水平方向及び垂直方向に順次走査しながら各画素におけ
る全色成分補間を繰返し行うことにより、１画面分の色
補間処理を実行してＲＧＢ全色信号を持つフルカラーの
画像再生が行われる。以上のように、色補間方法として
局所的な画像エネルギーの比を幾何学的な相似演算で求
めることにより、高解像度の色補間を達成することが可
能となる。また、この方式は特開平５−５６４４６号公
報が抱える高彩度領域の黒ずみ等の画質劣化も発生する
ことがない。

【００５０】例えば、従来例で示した局所的な１０ビッ
トの信号レベルとしてＧ１＝４、Ｇ３＝１、Ｇ５＝４、
Ｒ２＝Ｒ４＝１０２３であり、図２及び式（７）に従っ
て注目画素におけるＲ色信号値を算出した場合、以下の
式（８）〜式（１１）の演算を行うことになる。 ＧＨ＝Ｇ３＝１ （８） Ｇ_ＡＶＥ＝（４＋４）／２＝４ （９） Ｒ_ＡＶＥ＝（１０２３＋１０２３）／２＝１０２３ （１０） ＲＨ＝Ｒ_ＡＶＥ＋（ＧＨ−Ｇ_ＡＶＥ）×１／２ ＝１０２３＋（１−４）／２ ≒１０２２ （１１）

【００５１】従って、生成される補間信号値Ｒは同色の
周辺画素信号レベルと同等の値になるため、高彩度かつ
有彩色の領域で極端に黒ずみや白抜け等の画質劣化を発
生することがなくなる。以上のことから、この実施の形
態１によれば、従来例が持つ高解像度かつ高画質という
特徴を維持しつつ、新たな補正処理を付加することなく
課題を解決することができる。

【００５２】また、この実施の形態１では、式（７）の
Ｃｄ値として、図４における参照色と補間色の座標関係
から常に１／２を使用する。従って式（７）は式（１
２）のように置き換えることが可能である。 Ｋ（ｍ，ｎ） ＝Ｋ_ＡＶＥ（ｍ，ｎ） −［（Ｊ（ｍ，ｎ）−Ｊ_ＡＶＥ（ｍ，ｎ））＞＞１］ （１２） ただし、演算記号“＞＞”は左項の数値を右項で示す数
だけ右側にビットシフトすることを意味する。さらに、
図５及び図６における処理フローチャートでは加減算以
外に２または４で割る除算を使用している。これらは式
（１２）における変形と同様に、２で割る除算は右に１
ビットシフトで、４で割る除算は右に２ビットシフトで
置き換えることができる。

【００５３】このように、この実施の形態１に示す色補
間方式は、加減算とビットシフトのみで全ての演算を行
うことが可能である。したがって、従来の方法に比較し
てソフトウェアで実現する場合は高速動作が可能であ
り、電子回路で実現する場合は回路規模が小さく、装置
の小型化及び低コスト化に寄与することができるという
効果がある。

【００５４】実施の形態２．この実施の形態２は、係数
算出回路９ａ〜９ｃにおけるパラメータ算出方法とパラ
メータ数が上記実施の形態１と異なる。即ち、上記実施
の形態１における相関度検出方法は、直交する２方向に
ついてそれぞれ２画素を１組とした画素群に関して相関
検出演算を行っていたが、この実施の形態２では、これ
を直交する２方向についてそれぞれ２画素を１組とした
複数組ずつの画素群に関して行うようにする。

【００５５】例えば、上記実施の形態１と同様に、Ｒ画
素位置におけるＧ色信号の補間について説明する。図９
は演算のために参照するＲ画素及びＧ画素についての相
対位置関係を模式的に示したものである。係数算出回路
９ａでは、２次元メモリ６ａに入力された数ライン分の
Ｒ色信号から参照用信号として図９の各Ｒ点の値をロー
ドする。また、補間用色信号として２次元メモリ６ｂか
ら図９の各Ｇ点を係数算出回路９ｂにロードする。係数
算出回路９ｂでは、これらのＧ色信号から例えば図１０
のフローチャートに従って注目画素における縦方向及び
横方向の画像の相関性を評価する。

【００５６】始めに、Ｇ色信号の注目画素に対する上下
方向及び左右方向の差分値から相関度を算出する（ステ
ップＳＴ２１）。この際、縦方向のＧ４及びＧ２あるい
は横方向のＧ１及びＧ３のみから相関度を算出した場
合、注目画素近傍に画像中のエッジやＧ色信号のサンプ
リング周波数近傍の画素が存在するとき、方向の相関性
を誤検出する場合があるため、この実施の形態２におい
ては、それぞれの方向に位置する複数の画素群を用いて
方向の相関度を評価する。

【００５７】ここでは、垂直方向の相関度評価のため
に、上記実施の形態１に示したＧ４及びＧ２の差分値に
加えて、その１列隣に位置するＧ５、Ｇ１、Ｇ１１を通
る線分、及びＧ６、Ｇ３、Ｇ１２を通る線分についてＧ
１及びＧ３に対する差分値を求め、それらにＧ４及びＧ
２で算出した相関度を加算する。通常、被写体として得
られるエッジ成分は１画素のみの幅からなるラインとし
て形成されることは少なく、複数ラインにまたがってい
ることが多い。従って、同一方向の複数ラインについて
相関度を評価することで、補間後の画像に相関度の孤立
点が発生することに起因する画質の違和感を抑制するこ
とができる。同様にして、水平方向の相関度について
も、注目画素上及びその前後行に存在するラインから、
この領域の平均相関度を算出する。

【００５８】次に、これらの差分値Ｇ_Ｖ及びＧ_Ｈの差を
所定のしきい値Ｔｈ２と比較し（ステップＳＴ２２）、
Ｔｈ２に比べて小さければ垂直方向及び水平方向とも大
きな相関性の差がないと判断して、上記実施の形態１と
同様に図５の方法で求めた垂直方向の仮の垂直Ｇ色成分
信号Ｇ_ＲＶと水平方向の仮の水平Ｇ色成分信号Ｇ_ＲＨの
平均値を補間された出力信号値として出力する（ステッ
プＳＴ２３）。一方、ステップＳＴ２２で垂直または水
平相関度に著しい偏りがあると判断した場合は、それら
の大小を比較して（ステップＳＴ２４）、相関度が高い
方の仮信号出力値を最終的な信号出力値として出力する
（ステップＳＴ２５，ＳＴ２６）。

【００５９】同様の手順を用いることで、Ｒ画素位置に
おけるＢ色信号あるいは他の色画素位置における全ての
補色信号は、図７及び式（７）または式（１２）から算
出することができる。ここで、図８（ｂ）の場合は参照
色が水平方向または垂直方向のいずれかにのみ存在する
ため相関方向検出は行わず、存在する１方向を無条件で
使用する。また、参照色と補間色が図８（ｃ）の画素配
置にある場合は、９０度交差した異なる２方向の相関性
を求めることで同等の効果が得られる。このようにし
て、撮影画像データを水平方向及び垂直方向に順次走査
して色補間処理を行うことで１画面分のフルカラー画像
が得られる。

【００６０】上記実施の形態１では、補間方向を決定す
る際の相関度検出を注目画素に隣接する２画素ずつ１組
のみを用いて行ったが、この実施の形態２のように、各
方向に対して注目画素近傍における複数組について相関
度を判定することにより、画像中のある領域における相
関方向に特異点が生じにくくなるため、画像の周辺領域
のエッジ特性まで考慮に入れた安定感のある相関度判定
を行うことが可能になる。

【００６１】この実施の形態２においては、ある１方向
の相関度判定を行う場合、図１０のステップＳＴ２１の
ように、絶対値記号で囲まれた各相関度値を単純加算し
て算出する例について説明したが、この限りではなく、
例えば、垂直方向に関しては注目画素上を通る線分に対
する｜Ｇ４−Ｇ２｜の項とそれ以外の隣接線分項を重み
付け加算し、水平方向についても注目画素上を通る線分
に対する｜Ｇ１−Ｇ３｜の項とそれ以外の隣接線分項を
重み付け加算する構成にしてもよい。

【００６２】実施の形態３．この実施の形態３は、係数
算出回路９ａ〜９ｃにおけるパラメータ算出方法とパラ
メータ数が上記実施の形態１と異なる。即ち、上記実施
の形態１における相関度検出方法は、直交する２方向に
ついてそれぞれ１組ずつの画素群に関して相関検出演算
を行っていたが、この実施の形態３では、これを直交す
る２方向及びそれらと４５度ずれた斜め方向の２方向に
ついて、それぞれ１組ずつの画素群に関して行うように
する。

【００６３】例えば、上記実施の形態１と同様に、Ｒ画
素位置におけるＧ色信号の補間について説明する。係数
算出回路９ａでは、２次元メモリ６ａに入力された数ラ
イン分のＲ色信号から参照用信号として図９の各Ｒ点の
値をロードする。また、補間用色信号として２次元メモ
リ６ｂから図９のＧ１、Ｇ２、Ｇ３、Ｇ４の各点を係数
算出回路９ｂにロードする。係数算出回路９ｂでは、こ
れらのＧ色信号から例えば図１１のフローチャートに従
って注目画素における各方向の画像の相関性を評価す
る。

【００６４】始めに、Ｇ色信号の注目画素に対する上下
左右方向及び斜め方向の差分値から相関度を算出する
（ステップＳＴ３１）。この際、この実施の形態３にお
いては、上記実施の形態１に示した上下左右方向に加え
て、同様にＧ１、Ｇ２、Ｇ３、Ｇ４の４画素を用いて斜
め方向の相関度を評価する。ここでは、水平軸に対して
１３５度方向の相関を評価するためにＧ_ＶＨ＝（｜Ｇ４
−Ｇ３｜＋｜Ｇ１−Ｇ２｜）／２を算出し、水平軸に対
して４５度方向の相関を評価するためにＧ_ＨＶ＝（｜Ｇ
４−Ｇ１｜＋｜Ｇ３−Ｇ２｜）／２を算出する。これら
の値を２で割っているのは、斜め方向の相関度値と垂直
及び水平の相関度値の次元を揃えるためである。

【００６５】次に、得られた各方向の相関度値の最小値
を算出する（ステップＳＴ３２）。ここで、４つの相関
値に関する最小値が複数ある場合は、後段のステップＳ
Ｔ３４の演算に進むために、ここでは便宜上斜め方向の
Ｇ_ＶＨまたはＧ_ＨＶを最小値として定義する。次に、最
小相関値が斜め方向であるか否かを判定し（ステップＳ
Ｔ３３）、斜め方向である場合は、別途図５の方法で算
出した垂直方向の仮出力信号値及び水平方向の仮出力信
号値の平均値を補間色の出力信号値として出力する（ス
テップＳＴ３４）。また、最小相関値が垂直方向または
水平方向である場合は、いずれか最小である方向を検出
し（ステップＳＴ３５）、該当する方向の仮出力信号値
を出力信号値として出力する（ステップＳＴ３６，ＳＴ
３７）。

【００６６】上記実施の形態１では、補間方向を決定す
る際の相関度検出方向を注目画素に隣接する２画素ずつ
の２方向のみを用いて行ったが、この実施の形態３のよ
うに斜め方向に対して相関度を判定することにより、例
えば、画像中を横切る斜め線を垂直方向または水平方向
のみの相関値で補間することにより発生するジャギーと
呼ばれる階段状のギザギザが生じ難くなり、より自然な
質感で補間が可能な相関度判定を行うことが可能にな
る。

【００６７】この実施の形態３においては、最小相関度
値が複数ある場合の処置を一律に、最小相関度値が斜め
方向であると判定し、垂直方向の仮信号出力値と水平方
向の仮信号出力値の平均値を最終的な信号出力値とした
が、この限りではなく、垂直方向または水平方向の何れ
か一方の相関値が最小値である場合、つまりそれと斜め
方向の相関値のいずれかまたは双方が最小値になる場
合、この垂直方向または水平方向の何れか一方の仮信号
出力値を最終的な信号出力値として出力するようにして
もよい。この場合、補間される画像は、この実施の形態
３で示した方法に比べて、より高周波成分を含むエッジ
を再現可能になる。

【００６８】実施の形態４．この実施の形態４は、係数
算出回路９ａ〜９ｃにおけるパラメータ算出方法とパラ
メータ数が上記実施の形態１と異なる。即ち、上記実施
の形態１における相関度検出方法は、直交する２方向に
ついてそれぞれ１組ずつの画素群に関して相関検出演算
を行っていたが、この実施の形態４では、これを直交す
る２方向についてそれぞれ複数組ずつの画素群に関して
行い、かつこれらと異なる２方向についてもそれぞれ複
数組ずつの画素群に対して行うようにする。

【００６９】例えば、上記実施の形態１と同様に、Ｒ画
素位置におけるＧ色信号の補間について説明する。係数
算出回路９ａでは、２次元メモリ６ａに入力された数ラ
イン分のＲ色信号から参照用信号として図９の各Ｒ点の
値をロードする。また、補間用色信号として２次元メモ
リ６ｂから図９の各Ｇ点を係数算出回路９ｂにロードす
る。係数算出回路９ｂでは、これらのＧ色信号から例え
ば図１２のフローチャートに従って注目画素における各
方向の画像の相関性を評価する。

【００７０】始めに、Ｇ色信号の注目画素に対する上下
左右方向及び斜め方向の差分値から相関度を算出する
（ステップＳＴ４１）。この際、縦方向を例にとった場
合、Ｇ４及びＧ２あるいは横方向のＧ１及びＧ３のみか
ら相関度を算出すると、注目画素近傍に画像中のエッジ
やＧ色信号のサンプリング周波数近傍の画素が存在した
とき、方向の相関性を誤検出する場合があるため、この
実施の形態４においては、それぞれの方向に位置する複
数の画素群を用いて方向の相関度を評価する。

【００７１】ここでは、垂直方向の相関度評価のため
に、上記実施の形態１に示したＧ４及びＧ２の差分値に
加えて、その１列隣に位置するＧ５、Ｇ１、Ｇ１１を通
る線分、及びＧ６、Ｇ３、Ｇ１２を通る線分についてＧ
１及びＧ３に対する差分値を求め、それらにＧ４及びＧ
２で算出した相関度を加算する。通常、被写体として得
られるエッジ成分は１画素のみの幅からなるラインとし
て形成されることは少なく、複数ラインにまたがってい
ることが多い。従って、同一方向の複数ラインについて
相関度を評価することで、補間後の画像に相関度の孤立
点が発生することに起因する画質の違和感を抑制するこ
とができる。

【００７２】同様にして、水平方向の相関度についても
注目画素上及びその前後行に存在するラインから、この
領域の平均相関度を算出する。また、斜め方向に関して
も、例えば水平軸を基準に１３５度方向に関しては、｜
Ｇ４−Ｇ３｜、｜Ｇ１−Ｇ２｜、｜Ｇ６−Ｇ８｜、｜Ｇ
９−Ｇ１１｜の４つの組の相関度を算出して加算し、水
平軸を基準に４５度方向については、｜Ｇ４−Ｇ１｜、
｜Ｇ３−Ｇ２｜、｜Ｇ５−Ｇ７｜、｜Ｇ１０−Ｇ１２｜
の４組に関して相関度を算出して加算する。

【００７３】次に、得られた各方向の相関度値の最小値
を算出する（ステップＳＴ４２）。ここで、４つの相関
値に関する最小値が複数ある場合は、後段のステップＳ
Ｔ４４の演算に進むために、ここでは便宜上斜め方向の
Ｇ_ＶＨまたはＧ_ＨＶを最小値として定義する。次に、最
小相関値が斜め方向であるか否かを判定し（ステップＳ
Ｔ４３）、斜め方向である場合は別途図５の方法で算出
した垂直方向の仮出力信号値及び水平方向の仮出力信号
値の平均値を補間色の出力信号値として出力する（ステ
ップＳＴ４４）。一方、最小相関値が垂直方向または水
平方向である場合は、いずれか最小である方向を検出し
（ステップＳＴ４５）、該当する方向の仮出力信号値を
出力信号値として出力する（ステップＳＴ４６，ＳＴ４
７）。

【００７４】以降、上記実施の形態１と同様の手順を用
いることで、Ｒ画素位置におけるＢ色信号あるいは他の
色画素位置における全ての補色信号は、図７及び式
（７）または式（１２）から算出することができる。こ
こで、図８（ｂ）の場合は参照色が水平方向または垂直
方向のいずれかにのみ存在するため、相関方向検出は行
わず存在する１方向を無条件で使用する。また、参照色
と補間色が図８（ｃ）の画素配置にある場合は、９０度
交差した異なる２方向の相関性を求めることで同等の効
果が得られる。このようにして、撮影画像データを水平
方向及び垂直方向に順次走査して色補間処理を行うこと
で１画面分のフルカラー画像が得られる。

【００７５】この実施の形態４においては、相関性評価
のために４つの方向を用い、かつそれぞれの方向におい
ては複数組のラインについて相関性評価を行うように構
成しているため、２方向のみあるいは各方向１組のみに
対して相関検出する場合に比べて、周辺領域の画像特性
を考慮した安定感のある方向検出が可能になるという効
果がある。

【００７６】この実施の形態４においては、ある１方向
の相関度判定を行う場合、図１２のステップＳＴ４１の
ように絶対値記号で囲まれた各相関度値を単純加算して
算出する例について説明したが、この限りではなく、例
えば垂直方向に関しては注目画素上を通る線分に対する
｜Ｇ４−Ｇ２｜の項とそれ以外の隣接線分項を重み付け
加算し、水平方向についても注目画素上を通る線分に対
する｜Ｇ１−Ｇ３｜の項とそれ以外の隣接線分項を重み
付け加算する構成にしてもよい。

【００７７】実施の形態５．この実施の形態５は、係数
算出回路９ａ〜９ｃにおけるパラメータ算出方法とパラ
メータ数が上記実施の形態１と異なる。即ち、上記実施
の形態１においては、注目画素を中心とした２つの方向
について複数の画素の差分値から方向の相関性を算出
し、より相関性の高い方向について補間した仮信号出力
値を最終的な信号出力値としていたが、この実施の形態
５では、方向相関性を色補間する対象画素を中心とした
３×３画素からなるウィンドウを用いてパターンマッチ
ング法を行うことにより判定する。

【００７８】以下、この実施の形態５の具体的な動作に
ついて説明する。例えば、上記実施の形態１と同様に、
Ｒ画素位置におけるＧ色信号の補間について説明する。
図１３は演算のために参照するＲ画素及びＧ画素につい
ての相対位置関係を模式的に示したものである。係数算
出回路９ａでは、２次元メモリ６ａに入力された数ライ
ン分のＲ色信号から参照用信号として図１３の各Ｒ点の
値をロードする。また、補間用色信号として２次元メモ
リ６ｂから図９の各Ｇ点を係数算出回路９ｂにロードす
る。係数算出回路９ｂでは、これらのＧ色信号から例え
ば図１４のフローチャートに従って注目画素における縦
方向及び横方向の画像の相関性を評価する。

【００７９】始めに、注目するＲ色信号位置近傍の補間
色である４つのＧ色信号Ｇ１、Ｇ２、Ｇ３、Ｇ４の平均
値を算出する（ステップＳＴ５１）。次にステップＳＴ
５１で算出した平均値をしきい値として、Ｇ１、Ｇ２、
Ｇ３、Ｇ４を０または１に２値化し、それぞれＧ１’、
Ｇ２’、Ｇ３’、Ｇ４’とする（ステップＳＴ５２）。
次にこれら２値化された４点が形成するパターンを、垂
直方向または水平方向に相関性があるパターンかそれ以
外かを判定する（ステップＳＴ５３）。

【００８０】ここで、２値化された４点が形成するパタ
ーンの種類としては、図１５に示すように１５種類あ
る。このうち、図１５の各ウィンドウに示す太枠で囲ん
だ領域は、注目画素を挟んで垂直方向あるいは水平方向
に同じ値に２値化された画素が存在するため、その方向
に相関性が高いと判断でき、ステップＳＴ５３の比較式
を用いることでウィンドウ内に太枠が存在するパターン
か否かが判定できる。

【００８１】次に、垂直方向または水平方向のいずれに
も相関性が見出せなかった場合、別途図５の方法で算出
しておいた垂直方向の仮信号出力値及び水平方向の仮信
号出力値の平均値を最終的な信号出力値として出力する
（ステップＳＴ５４）。一方で、ステップＳＴ５３から
垂直方向または水平方向に相関性があると判断した場
合、それが垂直方向の相関であるか否かを判定する（ス
テップＳＴ５５）。その結果、垂直方向に相関が高いと
判断した場合、垂直方向の仮信号出力値を最終的な信号
出力値として出力し（ステップＳＴ５６）、水平方向に
相関が高いと判断した場合は、水平方向の仮信号出力値
を最終的な信号出力値として出力する（ステップＳＴ５
７）。

【００８２】以降、上記実施の形態１と同様の手順を用
いることで、Ｒ画素位置におけるＢ色信号あるいは他の
色画素位置における全ての補色信号は、図７及び式
（７）または式（１２）から算出することができる。こ
こで、図８（ｂ）の場合は参照色が水平方向または垂直
方向のいずれかにのみ存在するため相関方向検出は行わ
ず存在する１方向を無条件で使用する。また、参照色と
補間色が図８（ｃ）の画素配置にある場合は、９０度交
差した異なる２方向の相関性を求めることで同等の効果
が得られる。このようにして、撮影画像データを水平方
向及び垂直方向に順次走査して色補間処理を行うことで
１画面分のフルカラー画像が得られる。この実施の形態
５では、図１５における太枠で示した相関方向の決定方
法を示したが、この限りではなく、画像の特性を考慮す
るなどして、図１４のステップＳＴ５３及びステップＳ
Ｔ５５のパターン判定方法を変更することにより、方向
相関の評価結果を検出されるパターン毎に定義すること
ができるという効果がある。

【００８３】なお、この実施の形態５では、非撮像画素
位置を中心とする垂直方向及び水平方向の近傍２画素
（計４画素）の撮像色信号の信号レベルの平均値を閾値
として、それらの画素の撮像色信号の信号レベルを２値
化するとともに、中心位置の撮像色信号の信号レベルを
２値化し、その２値化結果に基づいて色補間を行う画素
の周辺領域の信号相関方向を検出するものについて示し
たが、これに限るものではなく、例えば、非撮像画素位
置を中心とする５×５画素からなる参照ウインドウ内の
撮像色信号の信号レベルの平均値を閾値として、それら
の画素の撮像色信号の信号レベルを２値化するととも
に、中心位置の撮像色信号の信号レベルを２値化し、中
心位置の撮像色信号を含む同一の２値化結果が辿る方向
に相関度が高いものとして、周辺領域の信号相関方向を
検出するようにしてよい。

【００８４】実施の形態６．図１６はこの発明の実施の
形態６による撮像装置を示す構成図であり、図におい
て、図１と同一符号は同一または相当部分を示すので説
明を省略する。１１は所定画素における色補間結果を他
の色補間時に利用するため、色補間により生成されたＧ
色信号用のラインバッファである。

【００８５】次に動作について説明する。被写体の撮像
から色補間処理アルゴリズムに及ぶまで、上記実施の形
態１における二等辺三角形モデルの適用が可能である。
この実施の形態６における処理上の差異は、参照色と補
間色の画素配置である。図１７は、この実施の形態６を
実施の形態１に示す二等辺三角形モデルに適用した場合
の参照画素及び補間画素の位置関係を示している。図に
おいて、（ａ）はＲ画素位置におけるＧ色信号補間時の
補間画素Ｇと参照画素Ｒの位置関係を示したものであ
り、ＲをＢに置き換えることでＢ画素位置におけるＧ色
信号補間についても同様に説明できる。

【００８６】また、（ｂ）はＢ色信号とＧ色信号のみを
含むラインにおけるＧ画素位置のＢ色信号及びＲ色信号
補間時の補間画素Ｂ及びＲと参照画素Ｇの位置関係を示
したものであり、ＲとＢを入れ替えることでＲ色信号と
Ｇ色信号のみを含むラインにおけるＧ画素にも適用でき
る。また、（ｃ）はＲ画素位置におけるＢ色信号補間時
の補間画素Ｂと参照画素Ｇの位置関係を示したものであ
り、ＲとＢを入れ替えることにより同様に異なるライン
での適用が可能である。図中、大文字のアルファベット
は撮影信号を表し、小文字のアルファベットｇの添え字
を持つ信号は他のプロセスで既に補間生成された該当色
画素におけるＧ色信号を表している。以下に、処理の流
れについて説明する。

【００８７】係数算出回路９ａ〜９ｃでは、注目画素の
非撮像色を補間生成するために各色の２次元メモリ６ａ
〜６ｃの撮像データを用いると共に各係数算出回路間で
通信して演算パラメータを算出し、演算回路１０に引き
渡す。演算回路１０では、これらのデータを元に非撮像
色の補間生成演算を行う。これらの演算アルゴリズムは
上記実施の形態１で説明した通りである。また、図１７
（ａ）に示すＲ画素位置またはＢ画素位置におけるＧ色
信号補間は上記実施の形態１と同様である。

【００８８】Ｇ画素位置におけるＢ色信号及びＲ色信号
補間時は、図１７（ｂ）の３×３画素からなるウィンド
ウ内にそれぞれの色信号が水平方向もしくは垂直方向の
何れかのみに存在しているため、相関方向の評価は行わ
ず存在する方向成分の信号から色補間を行う。このと
き、参照色として使用するＧ色信号は図１７（ａ）のＲ
画素位置またはＢ画素位置におけるＧ色信号補間により
過去に生成済みのＧ成分を使用する。従って、二等辺三
角形モデルを適用する際は、三角形の底辺である撮像色
信号Ｒの２点間の距離及び非撮像色信号Ｇ（ここではＲ
ｇまたはＢｇ）の２点間の距離は等しく、図形の相似比
が１対１であるため式（７）におけるＣｄ値は１（式
（１２）では右シフトするビット数を０）として演算を
実行する。

【００８９】また、図１７（ｃ）のＲ画素位置における
Ｂ色信号（またはＢ画素位置におけるＲ色信号）補間時
についても、参照色をＧ色信号とし補間色信号の画素位
置における既に生成済みの信号値を用いる。この場合に
ついても、各二等辺三角形の相似比は１対１となる。以
上の処理を水平方向及び垂直方向に順次走査しながら実
行し、補間済みのＧ色信号を出力するほか、ラインバッ
ファ１１に必要量一次蓄積して再参照することを繰返す
ことで１画面分の撮像データに対する色補間処理が完了
する。

【００９０】この実施の形態６においては、上記実施の
形態１とは異なり、補間色位置における生成済みのＧ色
信号を参照信号として用いることで、各幾何学モデルの
相似比が１対１になることと、図１７の（ｂ）及び
（ｃ）に示すように、参照点が補間点に近接しているこ
とにより、より高精度の色補間を行うことができること
で、より高画質な画像再生が可能になる。また、同時に
全てのステップで参照色をＧに統一しているため、色毎
の相関方向の相違に起因する補間結果のばらつきがもた
らす画質劣化を最小限に抑制できるという効果がある。

【００９１】また、全ての参照色に生成済みのＧ色信号
を使用するために、複数の生成済み色信号を用いる場合
に比べて、ラインバッファ１１の容量を最小限に抑制す
ることができる。例えば、この実施の形態６におけるフ
レームメモリ４に蓄積されている処理対象画素を含む数
ラインの内容を図１８に示す。図において、（ｃ）のＲ
画素位置におけるＢ色信号生成及び（ｂ）のＧ画素位置
におけるＢ色信号生成を行うためには、各図太枠内のア
ンダーラインを施したＲ画素位置におけるＧ色信号Ｒｇ
が既に生成されている必要がある。従って、Ｒ画素位置
及びＢ画素位置におけるＧ色信号補間は同図（ａ）の相
対位置で行う必要があり、ラインバッファ１１には図１
９に示す生成済みＧ色信号ｇを蓄積することになる。こ
の実施の形態６の場合、約２ライン分（生成済みＧ色信
号は１画素置きであるため画素間を詰めた場合１ライン
分）のラインバッファを付加すればよいことになる。

【００９２】参照色の種類と各参照画素位置について
は、参照色の形成する図形と補間色の形成する図形が相
似であれば種々考案されるが、一切の生成済み信号を使
用しない場合、参照点のサンプリング間隔が広くなり十
分な解像度を持つ画像を再生しにくいという欠点があ
る。これに対して、この実施の形態６のように補間点に
近接した位置の生成済み信号を用いる場合でも、複数色
の参照色を使用する場合、ラインバッファの必要量が増
大し装置コストが上昇する。従って、この実施の形態６
に示す参照色の種類及び参照位置は、本発明による色補
間方法を実現する場合に、画質と装置コストのトレード
オフを最もバランスよく実現したものと言える。

【００９３】以上の全ての実施の形態においては、撮影
後の画像処理として色補間処理についてのみで構成する
ブロック構成を示したが、実際の撮像装置を構成する際
にオートホワイトバランス処理（白色補正）、γ補正処
理（階調特性の補正）、フィルタ処理（輪郭強調やノイ
ズ除去）、ＪＰＥＧ圧縮処理（画像データ圧縮保存）等
の通常撮像装置で使用する処理と組合せても同等の効果
が得られることは言うまでもない。

【００９４】また、ＬＣＤインタフェース（画像表示用
液晶ディスプレイ・インタフェース）、フラッシュメモ
リインタフェース（撮影画像保存媒体インタフェース）
などの入出力インタフェースを付加しても同等の効果が
得られることも言うまでもない。また、以上の全ての実
施の形態においては、撮像装置の内部で色補間処理を実
行可能な構成について例を示したが、この限りではな
く、パーソナルコンピュータやカラープリンタなど、撮
像装置に直接あるいは記憶媒体を間接的に経由して接続
可能で、撮像装置を使用して入力した画像を扱ういずれ
の機器上で構成してもよい。

【００９５】また、以上の全ての実施の形態において
は、撮像素子２としてＲＧＢの色フィルタが図２０に示
すようにＢａｙｅｒ型に配列する単板カラーセンサを使
用するディジタルスチルカメラについて例を示したが、
この限りではなく、撮像素子２の表面上に複数色の色フ
ィルタが規則的に配置され、色補間処理を行うことによ
りフルカラー画像を得るように構成される単板あるいは
多板式の撮像素子を用いたディジタルビデオカメラを含
む撮像装置で入力される画像であれば同等の効果を得る
ことができる。

【００９６】また、以上の全ての実施の形態において
は、撮像素子２において光電変換された画像データをＡ
／Ｄ変換器３でディジタル化した後、一旦フレームメモ
リ４に１画面分保持する構成を示したが、この限りでは
ない。即ち、撮影時のデータストリームに同期して、画
素あるいは複数ライン毎に色補間を含む画像処理を実施
するように構成することも可能である。また、全体回路
構成としてマルチプレクサ５を用いてフレームメモリ４
から各色用２次元メモリ６ａ〜６ｃに必要ライン数分の
画像データをコピーした後、色補間処理を行う構成を示
したが、これについてもこの限りではなく、係数算出回
路９ａ〜９ｃが直接フレームメモリ４内の画像データに
アクセス可能な構成にすることも可能である。

【００９７】実施の形態７．上記実施の形態１〜６で
は、先に補間色の非撮像色信号の信号レベルを仮決定し
てから、色補間を行う画素の周辺領域の信号相関方向を
検出し、その検出結果に基づいて補間色の非撮像色信号
の信号レベルを最終決定するものについて示したが、先
に色補間を行う画素の周辺領域の信号相関方向を検出
し、その検出結果に基づいて補間色の非撮像色信号の信
号レベルを算出して決定するようにしてもよい。

【００９８】

【発明の効果】以上のように、この発明によれば、検出
手段により検出された信号相関方向が垂直方向である場
合、垂直方向の信号レベルによる幾何学的な相似演算に
よって仮決定された補間色の非撮像色信号の信号レベル
を選択し、その信号相関方向が水平方向である場合、水
平方向の信号レベルによる幾何学的な相似演算によって
仮決定された補間色の非撮像色信号の信号レベルを選択
する選択手段を設けるように構成したので、画質劣化の
発生を良好に抑制することができるとともに、簡易な構
成で実現することができる効果がある。

【００９９】この発明によれば、検出手段により検出さ
れた信号相関方向が垂直方向である場合、第１の信号レ
ベル決定手段が垂直方向の信号レベルによる幾何学的な
相似演算によって補間色の非撮像色信号の信号レベルを
決定し、その信号相関方向が水平方向である場合、第２
の信号レベル決定手段が水平方向の信号レベルによる幾
何学的な相似演算によって補間色の非撮像色信号の信号
レベルを決定するように構成したので、画質劣化の発生
を良好に抑制することができるとともに、簡易な構成で
実現することができる効果がある。

【０１００】この発明によれば、補間色の非撮像色信号
の信号レベルを決定する際、色補間を行う画素の垂直方
向又は水平方向に位置する画素における撮像色信号の信
号レベルを補正し、補正後の信号レベルから幾何学図形
を形成するように構成したので、幾何学的な相似演算の
簡単化を図ることができる効果がある。

【０１０１】この発明によれば、色補間を行う画素の２
次元座標を（ｍ，ｎ）、色補間を行う画素における所定
色の撮像色信号の信号レベルをＪ（ｍ，ｎ）、色補間を
行う画素の垂直方向又は水平方向に位置する画素におけ
る所定色の撮像色信号の信号レベルの平均値をＪ_ＡＶＥ
（ｍ，ｎ）、色補間を行う画素における補間色の非撮像
色信号の信号レベルをＫ（ｍ，ｎ）、色補間を行う画素
の垂直方向又は水平方向に位置する画素における補間色
の撮像色信号の信号レベルの平均値をＫ_ＡＶＥ（ｍ，
ｎ）、所定色の撮像色信号の信号レベルに係る幾何学図
形に対する補間色の撮像色信号の信号レベルに係る幾何
学図形の線分相似比をＣｄとするとき、下記の演算式に
より補間色の非撮像色信号の信号レベルＫ（ｍ，ｎ）を
算出するように構成したので、構成の複雑化を招くこと
なく、補間色の非撮像色信号の信号レベルを算出するこ
とができる効果がある。 記 Ｋ（ｍ，ｎ）＝Ｋ_ＡＶＥ（ｍ，ｎ）−（Ｊ（ｍ，ｎ）−
Ｊ_ＡＶＥ（ｍ，ｎ））×Ｃｄ

【０１０２】この発明によれば、線分相似比が２分の１
になるように、色補間を行う画素の垂直方向又は水平方
向に位置する画素を選択するように構成したので、処理
の簡単化を図ることができる効果がある。

【０１０３】この発明によれば、垂直方向に対する信号
相関値と水平方向に対する信号相関値の差が所定の閾値
より小さい場合、第１の信号レベル決定手段により仮決
定された信号レベルと第２の信号レベル決定手段により
仮決定された信号レベルとの加重平均値を選択するよう
に構成したので、画質劣化の発生を良好に抑制すること
ができる効果がある。

【０１０４】この発明によれば、色補間を行う画素の垂
直方向に位置する画素における補間色の撮像色信号の信
号レベルの重み付け平均値を計算するとともに、色補間
を行う画素の水平方向に位置する画素における補間色の
撮像色信号の信号レベルの重み付け平均値を計算し、双
方の重み付け平均値の大小比較により周辺領域の信号相
関方向を決定するように構成したので、構成の複雑化を
招くことなく、周辺領域の信号相関方向を決定すること
ができる効果がある。

【０１０５】この発明によれば、検出手段により検出さ
れた信号相関方向が４５度方向又は１３５度方向である
場合、第１の信号レベル決定手段により仮決定された信
号レベルと第２の信号レベル決定手段により仮決定され
た信号レベルとの加重平均値を選択するように構成した
ので、画質劣化の発生を良好に抑制することができる効
果がある。

【０１０６】この発明によれば、色補間を行う画素の垂
直方向及び水平方向に位置する画素における補間色の撮
像色信号の信号レベルの平均値を閾値として、その補間
色の撮像色信号の信号レベルを２値化するとともに、色
補間を行う画素における所定色の撮像色信号の信号レベ
ルを２値化し、その２値化結果に基づいて色補間を行う
画素の周辺領域の信号相関方向を検出するように構成し
たので、周辺領域の信号相関方向の検出精度を高めるこ
とができる効果がある。

【０１０７】この発明によれば、色補間を行う画素の周
辺領域の画素における補間色の撮像色信号の信号レベル
の平均値を閾値として、その補間色の撮像色信号の信号
レベルを２値化するとともに、色補間を行う画素におけ
る所定色の撮像色信号の信号レベルを２値化し、その２
値化結果に基づいて色補間を行う画素の周辺領域の信号
相関方向を検出するように構成したので、周辺領域の信
号相関方向の検出精度を高めることができる効果があ
る。

【０１０８】この発明によれば、検出工程により検出さ
れた信号相関方向が垂直方向である場合、垂直方向の信
号レベルによる幾何学的な相似演算によって仮決定され
た補間色の非撮像色信号の信号レベルを選択し、その信
号相関方向が水平方向である場合、水平方向の信号レベ
ルによる幾何学的な相似演算によって仮決定された補間
色の非撮像色信号の信号レベルを選択する選択工程を設
けるように構成したので、画質劣化の発生を良好に抑制
することができるとともに、簡易な構成で実現すること
ができる効果がある。

【０１０９】この発明によれば、検出工程により検出さ
れた信号相関方向が垂直方向である場合、第１の信号レ
ベル決定工程において垂直方向の信号レベルによる幾何
学的な相似演算によって補間色の非撮像色信号の信号レ
ベルを決定し、その信号相関方向が水平方向である場
合、第２の信号レベル決定工程において水平方向の信号
レベルによる幾何学的な相似演算によって補間色の非撮
像色信号の信号レベルを決定するように構成したので、
画質劣化の発生を良好に抑制することができるととも
に、簡易な構成で実現することができる効果がある。

【０１１０】この発明によれば、補間色の非撮像色信号
の信号レベルを決定する際、色補間を行う画素の垂直方
向又は水平方向に位置する画素における撮像色信号の信
号レベルを補正し、補正後の信号レベルから幾何学図形
を形成するように構成したので、幾何学的な相似演算の
簡単化を図ることができる効果がある。

【図面の簡単な説明】

【図１】 この発明の実施の形態１による撮像装置を示
す構成図である。

【図２】 （ａ）はＲ色信号の位置関係を示し、（ｂ）
は各画素の２次元座標（ｘ、ｙ）軸及び信号レベル値の
軸を加えた３次元空間上で、５点により形成される２つ
の三角形を示す説明図である。

【図３】 Ｇ色信号の位置関係を示し、（ｂ）は各画素
の２次元座標（ｘ、ｙ）軸及び信号レベル値の軸を加え
た３次元空間上で、４点と補間すべき当該画素における
Ｇ色信号の期待される位置により形成される２つの三角
形を示す説明図である。

【図４】 中心画素におけるＧ色信号生成時に用いるｘ
ｙ平面上での、Ｒ色信号及びＧ色信号の位置関係を示す
説明図である。

【図５】 係数算出回路の処理内容を示すフローチャー
トである。

【図６】 演算回路の処理内容を示すフローチャートで
ある。

【図７】 三角形の幾何学的な相似関係を示す説明図で
ある。

【図８】 全画素の全色成分を示す説明図である。

【図９】 演算のために参照するＲ画素及びＧ画素につ
いての相対位置関係を模式的に示す説明図である。

【図１０】 演算回路の処理内容を示すフローチャート
である。

【図１１】 演算回路の処理内容を示すフローチャート
である。

【図１２】 演算回路の処理内容を示すフローチャート
である。

【図１３】 演算のために参照するＲ画素及びＧ画素に
ついての相対位置関係を模式的に示す説明図である。

【図１４】 演算回路の処理内容を示すフローチャート
である。

【図１５】 ２値化された４点が形成するパターンの種
類を示す説明図である。

【図１６】 この発明の実施の形態６による撮像装置を
示す構成図である。

【図１７】 参照画素及び補間画素の位置関係を示す説
明図である。

【図１８】 フレームメモリに蓄積されている処理対象
画素を含む数ラインの内容を示す説明図である。

【図１９】 生成済みのＧ色信号を示す説明図である。

【図２０】 一般的なＢａｙｅｒ型配列で構成された原
色フィルタ（単板式２次元撮像素子）を示す説明図であ
る。

【図２１】 Ｇ色信号の補間例を示す説明図である。

【図２２】 Ｂ色信号の補間例を示す説明図である。

【図２３】 Ｒ色信号の補間例を示す説明図である。

【図２４】 従来の撮像装置を示す構成図である。

【図２５】 ２次元ＬＰＦにより平滑化されたＲ色信号
を示す説明図である。

【図２６】 ２次元ＬＰＦにより平滑化されたＧ色信号
を示す説明図である。

【図２７】 ２次元ＬＰＦにより平滑化されたＢ色信号
を示す説明図である。

【図２８】 ２次元ＬＰＦの出力値を示す説明図であ
る。

【図２９】 ２次元ＬＰＦの出力値を示す説明図であ
る。

【図３０】 ２次元ＬＰＦの出力値を示す説明図であ
る。

【図３１】 Ｇ色フィルタが存在する画素位置のＲ色を
補間生成する場合の模式図である。

【図３２】 特開平５−５６４４６号公報に開示されて
いる方法で色補間を行った場合に生じる画質劣化を示す
模式図である。

【符号の説明】

１ レンズ、２ 撮像素子、３ Ａ／Ｄ変換器、４ フ
レームメモリ、５ マルチプレクサ、６ａ〜６ｃ ２次
元メモリ、９ａ〜９ｃ 係数算出回路（第１の信号レベ
ル決定手段、第２の信号レベル決定手段）、１０ 演算
回路（検出手段、選択手段）、１１ ラインバッファ。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B047 AB04 BB04 CB05 CB12 DC11 5C065 AA03 BB48 CC01 DD02 DD17 GG13 5C077 LL19 MM03 MP08 PP32 PP46 PQ08 PQ18 RR02 RR19 5C079 HB01 JA13 JA23 LA02 LA28 LA31 LA34 NA01

Claims (13)

【特許請求の範囲】
1. 【請求項１】 色補間を行う画素及び当該画素の垂直方
   向に位置する画素における所定色の撮像色信号の信号レ
   ベルから形成される幾何学図形と、色補間を行う画素に
   おける補間色の非撮像色信号の信号レベル及び当該画素
   の垂直方向に位置する画素における補間色の撮像色信号
   の信号レベルから形成される幾何学図形とが相似形を成
   すように、色補間を行う画素における補間色の非撮像色
   信号の信号レベルを仮決定する第１の信号レベル決定手
   段と、色補間を行う画素及び当該画素の水平方向に位置
   する画素における所定色の撮像色信号の信号レベルから
   形成される幾何学図形と、色補間を行う画素における補
   間色の非撮像色信号の信号レベル及び当該画素の水平方
   向に位置する画素における補間色の撮像色信号の信号レ
   ベルから形成される幾何学図形とが相似形を成すよう
   に、色補間を行う画素における補間色の非撮像色信号の
   信号レベルを仮決定する第２の信号レベル決定手段と、
   色補間を行う画素の周辺領域の信号相関方向を検出する
   検出手段と、上記検出手段により検出された信号相関方
   向が垂直方向である場合、上記第１の信号レベル決定手
   段により仮決定された信号レベルを選択し、その信号相
   関方向が水平方向である場合、上記第２の信号レベル決
   定手段により仮決定された信号レベルを選択する選択手
   段とを備えた撮像装置。
2. 【請求項２】 色補間を行う画素の周辺領域の信号相関
   方向を検出する検出手段と、上記検出手段により検出さ
   れた信号相関方向が垂直方向である場合、色補間を行う
   画素及び当該画素の垂直方向に位置する画素における所
   定色の撮像色信号の信号レベルから形成される幾何学図
   形と、色補間を行う画素における補間色の非撮像色信号
   の信号レベル及び当該画素の垂直方向に位置する画素に
   おける補間色の撮像色信号の信号レベルから形成される
   幾何学図形とが相似形を成すように、色補間を行う画素
   における補間色の非撮像色信号の信号レベルを決定する
   第１の信号レベル決定手段と、上記検出手段により検出
   された信号相関方向が水平方向である場合、色補間を行
   う画素及び当該画素の水平方向に位置する画素における
   所定色の撮像色信号の信号レベルから形成される幾何学
   図形と、色補間を行う画素における補間色の非撮像色信
   号の信号レベル及び当該画素の水平方向に位置する画素
   における補間色の撮像色信号の信号レベルから形成され
   る幾何学図形とが相似形を成すように、色補間を行う画
   素における補間色の非撮像色信号の信号レベルを決定す
   る第２の信号レベル決定手段とを備えた撮像装置。
3. 【請求項３】 第１及び第２の信号レベル決定手段は、
   補間色の非撮像色信号の信号レベルを決定する際、色補
   間を行う画素の垂直方向又は水平方向に位置する画素に
   おける撮像色信号の信号レベルを補正し、補正後の信号
   レベルから幾何学図形を形成することを特徴とする請求
   項１または請求項２記載の撮像装置。
4. 【請求項４】 第１及び第２の信号レベル決定手段は、
   色補間を行う画素の２次元座標を（ｍ，ｎ）、色補間を
   行う画素における所定色の撮像色信号の信号レベルをＪ
   （ｍ，ｎ）、色補間を行う画素の垂直方向又は水平方向
   に位置する画素における所定色の撮像色信号の信号レベ
   ルの平均値をＪ_ＡＶＥ（ｍ，ｎ）、色補間を行う画素に
   おける補間色の非撮像色信号の信号レベルをＫ（ｍ，
   ｎ）、色補間を行う画素の垂直方向又は水平方向に位置
   する画素における補間色の撮像色信号の信号レベルの平
   均値をＫ_ＡＶＥ（ｍ，ｎ）、所定色の撮像色信号の信号
   レベルに係る幾何学図形に対する補間色の撮像色信号の
   信号レベルに係る幾何学図形の線分相似比をＣｄとする
   とき、下記の演算式により補間色の非撮像色信号の信号
   レベルＫ（ｍ，ｎ）を算出することを特徴とする請求項
   ３記載の撮像装置。 記 Ｋ（ｍ，ｎ） ＝Ｋ_ＡＶＥ（ｍ，ｎ）−（Ｊ（ｍ，ｎ）
   −Ｊ_ＡＶＥ（ｍ，ｎ））×Ｃｄ
5. 【請求項５】 第１及び第２の信号レベル決定手段は、
   線分相似比が２分の１になるように、色補間を行う画素
   の垂直方向又は水平方向に位置する画素を選択すること
   を特徴とする請求項４記載の撮像装置。
6. 【請求項６】 選択手段は、垂直方向に対する信号相関
   値と水平方向に対する信号相関値の差が所定の閾値より
   小さい場合、第１の信号レベル決定手段により仮決定さ
   れた信号レベルと第２の信号レベル決定手段により仮決
   定された信号レベルとの加重平均値を選択することを特
   徴とする請求項１記載の撮像装置。
7. 【請求項７】 検出手段は、色補間を行う画素の垂直方
   向に位置する画素における補間色の撮像色信号の信号レ
   ベルの重み付け平均値を計算するとともに、色補間を行
   う画素の水平方向に位置する画素における補間色の撮像
   色信号の信号レベルの重み付け平均値を計算し、双方の
   重み付け平均値の大小比較により周辺領域の信号相関方
   向を決定することを特徴とする請求項１記載の撮像装
   置。
8. 【請求項８】 選択手段は、検出手段により検出された
   信号相関方向が４５度方向又は１３５度方向である場
   合、第１の信号レベル決定手段により仮決定された信号
   レベルと第２の信号レベル決定手段により仮決定された
   信号レベルとの加重平均値を選択することを特徴とする
   請求項１記載の撮像装置。
9. 【請求項９】 検出手段は、色補間を行う画素の垂直方
   向及び水平方向に位置する画素における補間色の撮像色
   信号の信号レベルの平均値を閾値として、その補間色の
   撮像色信号の信号レベルを２値化するとともに、色補間
   を行う画素における所定色の撮像色信号の信号レベルを
   ２値化し、その２値化結果に基づいて色補間を行う画素
   の周辺領域の信号相関方向を検出することを特徴とする
   請求項１記載の撮像装置。
10. 【請求項１０】 検出手段は、色補間を行う画素の周辺
    領域の画素における補間色の撮像色信号の信号レベルの
    平均値を閾値として、その補間色の撮像色信号の信号レ
    ベルを２値化するとともに、色補間を行う画素における
    所定色の撮像色信号の信号レベルを２値化し、その２値
    化結果に基づいて色補間を行う画素の周辺領域の信号相
    関方向を検出することを特徴とする請求項１記載の撮像
    装置。
11. 【請求項１１】 色補間を行う画素及び当該画素の垂直
    方向に位置する画素における所定色の撮像色信号の信号
    レベルから形成される幾何学図形と、色補間を行う画素
    における補間色の非撮像色信号の信号レベル及び当該画
    素の垂直方向に位置する画素における補間色の撮像色信
    号の信号レベルから形成される幾何学図形とが相似形を
    成すように、色補間を行う画素における補間色の非撮像
    色信号の信号レベルを仮決定する第１の信号レベル決定
    工程と、色補間を行う画素及び当該画素の水平方向に位
    置する画素における所定色の撮像色信号の信号レベルか
    ら形成される幾何学図形と、色補間を行う画素における
    補間色の非撮像色信号の信号レベル及び当該画素の水平
    方向に位置する画素における補間色の撮像色信号の信号
    レベルから形成される幾何学図形とが相似形を成すよう
    に、色補間を行う画素における補間色の非撮像色信号の
    信号レベルを仮決定する第２の信号レベル決定工程と、
    色補間を行う画素の周辺領域の信号相関方向を検出する
    検出工程と、上記検出工程により検出された信号相関方
    向が垂直方向である場合、上記第１の信号レベル決定工
    程により仮決定された信号レベルを選択し、その信号相
    関方向が水平方向である場合、上記第２の信号レベル決
    定工程により仮決定された信号レベルを選択する選択工
    程とを備えた撮像方法。
12. 【請求項１２】 色補間を行う画素の周辺領域の信号相
    関方向を検出する検出工程と、上記検出工程により検出
    された信号相関方向が垂直方向である場合、色補間を行
    う画素及び当該画素の垂直方向に位置する画素における
    所定色の撮像色信号の信号レベルから形成される幾何学
    図形と、色補間を行う画素における補間色の非撮像色信
    号の信号レベル及び当該画素の垂直方向に位置する画素
    における補間色の撮像色信号の信号レベルから形成され
    る幾何学図形とが相似形を成すように、色補間を行う画
    素における補間色の非撮像色信号の信号レベルを決定す
    る第１の信号レベル決定工程と、上記検出工程により検
    出された信号相関方向が水平方向である場合、色補間を
    行う画素及び当該画素の水平方向に位置する画素におけ
    る所定色の撮像色信号の信号レベルから形成される幾何
    学図形と、色補間を行う画素における補間色の非撮像色
    信号の信号レベル及び当該画素の水平方向に位置する画
    素における補間色の撮像色信号の信号レベルから形成さ
    れる幾何学図形とが相似形を成すように、色補間を行う
    画素における補間色の非撮像色信号の信号レベルを決定
    する第２の信号レベル決定工程とを備えた撮像方法。
13. 【請求項１３】 第１及び第２の信号レベル決定工程
    は、補間色の非撮像色信号の信号レベルを決定する際、
    色補間を行う画素の垂直方向又は水平方向に位置する画
    素における撮像色信号の信号レベルを補正し、補正後の
    信号レベルから幾何学図形を形成することを特徴とする
    請求項１１または請求項１２記載の撮像方法。