JP2006080897A

JP2006080897A - 信号処理装置、信号処理方法及び信号処理プログラム

Info

Publication number: JP2006080897A
Application number: JP2004262686A
Authority: JP
Inventors: Seiji Tanaka; 誠二田中
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 2004-09-09
Filing date: 2004-09-09
Publication date: 2006-03-23
Anticipated expiration: 2024-09-09
Also published as: JP4352331B2; US20060050956A1

Abstract

【課題】色信号の補間処理に伴う偽信号の発生を低減させる。また、色信号の補間処理により生成した画像の斜め方向の解像感の向上を図る。
【解決手段】本発明では、相関値算出部３００により、ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向に略直交する第２の方向に位置する複数の画素から得られる色信号の値から、第１の方向および第２の方向の相関の強さを表す相関値を算出する。次に相関値フィルタリング部３０２により、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した相関値に対して２次元フィルタリングを行い相関値を補正する。そして補間方向判別部３０４により、補正された相関値に基づいて第１の方向と第２の方向のうちの相関の高い方向を判別する。補間信号生成部３０６は、補間方向判別部３０４によって判別された方向に位置する画素から得られる色信号を補間して、ＲまたはＢ画素位置におけるＧの色信号を算出する。
【選択図】図３

Description

本発明はカラー画像信号の信号処理装置、信号処理方法及び信号処理プログラムに係り、特に色信号の補間処理装置、補間処理方法及び補間処理プログラムに関する。

撮像素子としてＣＣＤイメージセンサ等の固体撮像素子を用いたデジタルスチルカメラやデジタルビデオカメラでは、固体撮像素子の受光面前面にＲ（赤）、Ｇ（緑）、Ｂ（青）の３色を有するカラーフィルタがアレイ状に配列されたカラーフィルタが設けられているものがある。このようなデジタルスチルカメラやデジタルビデオカメラでは、Ｒ、Ｇ、Ｂの各色のカラーフィルタが、それぞれ固体撮像素子の各画素位置に対応するように設けられているため、各画素からは単一の色信号しか得られない。したがって、全ての画素位置に対してＲ、Ｇ、Ｂの３色の色信号を得るためには、各画素位置では周辺の画素から出力された色信号を補間する必要がある。

従来、このような補間を行う場合、それぞれの画素位置の周辺画素から得られた色信号から周辺画素間の相関値を算出し、算出した相関値に基づきそれぞれの画素位置に対する補間に用いる色信号を出力する画素の位置する方向を判別していた（特許文献１）。

しかしながら、撮像素子やその周辺回路等で発生するノイズの影響により、補間に用いる色信号を出力する画素の位置する方向を誤って判別してしまい、補間を行う事により偽信号が発生してしまう場合があった。

これに対し、特許文献２に記載の信号処理方法では、相関値をフィルタリングする事により、このような誤判別を低減していた。
特開２００１−３３９７３５号公報特開平１１−２０５８０８号公報

しかしながら、上記特許文献１、２に記載の信号処理方法では、ＲまたはＢ画素位置におけるＧ信号の補間を行う際に、周辺のＧ画素から得られる色信号のみを用いて、補間に用いる色信号を出力する画素の位置する方向を判別していたため、赤色と青色の色境界等で誤判別が発生してしまうという問題があった。

また、上記特許文献１、２に記載の信号処理方法では、斜め方向に位置する画素間の相関について考慮されていなかったため、補間により生成した画像の斜め方向の解像感が低いという問題があった。

本発明はこのような事情に鑑みてなされたもので、補間に伴う偽信号の発生の低減及び補間により生成する画像の斜め方向の解像感向上を図る信号処理装置、信号処理方法及び信号処理プログラムを提供することを目的とする。

前記目的を達成するために、請求項１に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、を有することを特徴としている。

請求項１の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

また前記目的を達成するために、請求項２に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、を有することを特徴としている。

請求項２の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

また前記目的を達成するために、請求項３に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する第３の相関値算出部と、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に基づいて前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する第４の相関値算出部と、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する補間方向判別部と、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する補間処理部と、を有することを特徴としている。

請求項３の発明によれば、相関値を算出する際に斜め方向の相関も考慮する事により、補間により生成した画像の斜め方向の解像感を向上させる事ができる。

前記目的を達成するために、請求項４に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、を有することを特徴としている。

請求項４の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

前記目的を達成するために、請求項５に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、を有することを特徴としている。

請求項５の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

前記目的を達成するために、請求項６に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出するステップと、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出するステップと、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出するステップと、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別するステップと、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出するステップと、を有することを特徴としている。

請求項６の発明によれば、相関値を算出する際に斜め方向の相関も考慮する事により、補間により生成した画像の斜め方向の解像感を向上させる事ができる。

前記目的を達成するために、請求項７に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、をコンピュータに実現させることを特徴としている。

請求項７の発明によれば、相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

前記目的を達成するために、請求項８に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、をコンピュータに実現させることを特徴としている。

請求項８の発明によれば、Ｒ，Ｂ，またはＧ画素位置ごとに算出した相関値を２次元フィルタリングする事により、補間方向の判別精度を向上させる事が可能となり、補間処理に伴う偽信号の発生を低減する事ができる。

前記目的を達成するために、請求項９に係る発明は、少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する機能と、ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する機能と、前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する機能と、前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する機能と、前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する機能と、をコンピュータに実現させることを特徴としている。

本発明によれば、補間に伴う偽信号の発生を低減させる事ができる。また本発明によれば、補間により生成する画像の斜め方向の解像感を向上させる事ができる。

以下添付図面に従って本発明に係る信号処理装置、信号処理方法および信号処理プログラムの好ましい実施の形態について詳説する。

（第１実施形態）
図１は本発明の第１実施形態に係る信号処理装置および信号処理方法が適用された電子カメラのブロック図である。このカメラ１０は、単板式のデジタルカメラであり、撮影レンズ１２及びメカシャッター兼用絞り機構１４を通過した光は、撮像デバイス１６の受光面の上に結像される。メカシャッターは、撮像デバイス１６から信号を読み出すときに光が撮像デバイス１６に入射してスミア等が発生するのを防止する。絞り機構は、撮像デバイス１６に入射する光の量を調節する。

本例では撮像デバイス１６としてＣＣＤを用いるが、ＣＣＤ型に限らず、ＣＭＯＳ型など他の方式によるデバイスを適用してもよい。撮像デバイス１６の受光面には多数の受光素子（フォトダイオード）が２次元的に配列されており、受光面の前面には、Ｒ，Ｇ，Ｂの３色のフィルタからなる図示しない色分解用のカラーフィルタが設けられている。本例では、図２に示すような、いわゆるベイヤ−配列のカラーフィルタが設けられている。図２に示す通り、ベイヤ−配列のカラーフィルタは、ＲまたはＢ画素位置に対して水平方向および垂直方向にＧ画素が隣接したフィルタ配列となっており、撮像デバイス１６各受光素子の位置（画素位置）に対応して、Ｒ，Ｇ，Ｂいずれか１色のフィルタが配列されている。撮像デバイス１６の受光面に結像された被写体像は、各受光素子によって入射光量に応じた量の信号電荷に変換される。こうして各受光素子に蓄積された信号電荷は、図示しない駆動回路から加えられるリードゲートパルスによってＣＣＤの転送路に読み出され、信号電荷に応じた電圧信号（画像信号）として順次出力される。

前述した通り、撮像デバイス１６の各画素位置に対応してＲ，Ｇ，Ｂいずれか１色のフィルタが配列されているため、撮像デバイスから出力される画像信号は、固体撮像素子の各画素位置に対していずれか１色の色信号しか含まれていない。

撮像デバイス１６は、図示しないタイミングジェネレータで生成したタイミング信号に基づいて駆動され、画像信号を出力する。撮像デバイス１６から出力された画像信号はアナログ信号処理部１８に送られる。アナログ信号処理部１８は、サンプリングホールド回路、色分離回路、ゲイン調整回路等を含む。このアナログ信号処理部１８に入力された画像信号は相関二重サンプリング（ＣＤＳ）処理並びにＲ，Ｇ，Ｂの各色信号に色分離処理され各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。

アナログ信号処理部１８で生成された画像信号は、Ａ／Ｄ変換器２０においてデジタル信号に変換された後、バス（カメラ内部のメインバス）２２を介して一旦メモリ２４に格納される。なお、このメモリ２４の記憶領域の一部はＣＰＵ２６の演算作業用エリアとしても利用される。

メモリ２４に格納された画像信号は、バス２２を介してデジタル信号処理部２８に送られる。デジタル信号処理部２８は、補間処理部３０、輝度・色差信号生成（ＹＣ変換）処理部３２、データ圧縮・伸張処理部３４等を有する信号処理手段であり、ＣＰＵ２６からのコマンドに従ってメモリ２４を活用しながら画像信号を処理する。

デジタル信号処理部２８に入力された画像信号は、補間、ＹＣ変換等の所定の処理が施された後、ＪＰＥＧ形式その他の所定の圧縮フォーマットに従って圧縮され、メモリカードインターフェース部３６を介して画像データとしてメモリカード３８に記録される。なお、圧縮形式はＪＰＥＧに限定されず、ＭＰＥＧその他の方式を採用してもよく、使用される圧縮形式に対応した圧縮エンジンが用いられる。

画像データを記録する手段は、メモリカード３８で代表される半導体メモリに限定されず、磁気ディスク、光ディスク、光磁気ディスクなど、種々の記録媒体を用いることができる。また、カメラ１０本体に着脱可能な記録媒体に限らず、カメラ１０に内蔵された記録媒体（内部メモリ）であってもよい。

なお、カメラ１０において、補間、ＹＣ変換、圧縮などの画像処理を施していない未加工の画像データ（ＣＣＤ−ＲＡＷデータ）をメモリカード３８に記録するモード（ＲＡＷデータ記録モード）を付加してもよい。

再生モード時には、メモリカード３８から画像データが読み出され、デジタル信号処理部２８において伸張処理された後、表示用の信号に変換され、画像表示部４０に出力される。画像表示部４０には、液晶ディスプレイや有機ＥＬディスプレイなどの表示装置を用いることができる。この画像表示部４０はユーザインターフェース用の表示画面としても利用される。

また、カメラ１０はパソコンその他の外部機器との間でデータの送受信を行うための通信接続、或いは外部オプション装置を接続するための通信／オプションインターフェース部４２を備えている。この通信／オプションインターフェース部４２には、例えば、ＵＳＢ、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈなど有線又は無線方式の各種インターフェースを適用できる。

ＣＰＵ２６は、所定のプログラムに従って本カメラシステムを統括制御する制御部であり、シャッタースイッチ４４及びその他の操作スイッチ等４６からの入力信号に基づいてカメラ１０内の各回路の動作を制御する。カメラ１０に対してユーザが各種の指示を入力するための操作スイッチには、例えば、カメラ１０の動作モードを選択するためモード選択スイッチ、メニューを表示させるメニュースイッチ、メニュー項目の選択操作（カーソル移動操作）や再生画像のコマ送り／コマ戻し等の指示を入力する十字キー、選択項目の確定（登録）や動作の実行を指示する実行キー、選択項目など所望の対象の消去や指示のキャンセルを行うためのキャンセルキー、電源スイッチ、ズームスイッチ、レリーズスイッチなどがある。

ＣＰＵ２６はシャッタースイッチ４４及び操作スイッチ等４６から入力される指示信号に応じて種々の撮影条件（露出条件、ストロボ発光有無、撮影モードなど）に従い、撮像デバイス１６を制御するとともに、自動露出（ＡＥ）制御、自動焦点調節（ＡＦ）制御、オートホワイトバランス（ＡＷＢ）制御、レンズ駆動制御、画像処理制御、メモリカード３８の読み書き制御、画像表示部４０の表示制御、外部機器との通信制御などを行う。

ＲＯＭ４８にはＣＰＵ２６が処理するプログラム及び制御に必要な各種データ（欠陥画素の位置情報やキズ判定用の閾値、調整値データなど）が格納されている。不揮発性記憶手段としてのＲＯＭ４８は、書き換え不能なものであってもよいし、ＥＥＰＲＯＭのように書き換え可能なものであってもよい。

図３に示す通り、補間処理部３０は、相関値算出部３００、相関値フィルタリング部３０２、補間方向判別部３０４、補間信号生成部３０６を含んでいる。

次に、上記の如く構成された補間処理部３０の動作について説明する。前述した通り、撮像デバイス１６から出力される画像信号は、固体撮像素子の各画素位置に対してＲ，Ｇ，Ｂいずれか１色の色信号しか得られていないため、各画素位置に対して不足している他の２色の色信号を算出するために、後述する補間処理を行った後、輝度・色差信号生成処理部３２に画像信号を出力する。ここでは、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。

相関値算出部３００は、撮像デバイス１６におけるＲまたはＢ画素の周囲に隣接するＧ画素間の相関値を算出する。例えばＢ画素を中心として垂直方向と水平方向に隣接するＧ画素間の相関値を算出する場合、ＣＰＵ２６の制御により、メモリ２４に格納されている画像データから、図４に示すＢ画素データを中心とした３行３列のデータが相関値算出部３００に入力される。図４に示す通り、この３行３列のデータは、それぞれ対応する色の画素位置から得られた色信号からなる。相関値算出部３００は、図示しないバッファメモリを備えており、入力された３行３列のデータを一旦保持する。相関値算出部３００は、以下の式に従って、バッファメモリに保持された３行３列のデータから、Ｂ画素周囲に隣接する４つのＧ画素間の相関値Ｃ_Ｂを算出する。

Ｃ_Ｂ＝｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜
色信号の差分の絶対値が小さいほど相関が強いと考えられるため、Ｃ_Ｂの値が負の場合はＧ１とＧ４が位置する方向の相関が強く、Ｃ_Ｂの値が正の場合はＧ２とＧ３が位置する方向の相関が強いと考えられる。

Ｒ画素周囲に隣接する４つのＧ画素間の相関値ＣＲを算出する場合も、上記Ｃ_Ｂの算出式と同様に、下記の式に従って相関値ＣＲを算出する。

Ｃ_Ｒ＝｜Ｇ１−Ｇ４｜−｜Ｇ２−Ｇ３｜
相関値Ｃ_Ｂ，Ｃ_Ｒは、Ｇ信号の算出を行うＲまたはＢ画素位置を中心とする所定領域、例えば図５に示す５行５列の領域内のＲまたはＢ画素位置ごとに算出され、算出された相関値Ｃ_Ｂ，Ｃ_Ｒは、順次相関値フィルタリング部３０２に送られる。図５において、相関値Ｃ_Ｂ、Ｃ_Ｒが算出されていない画素位置は、固体撮像素子のＧ画素位置に対応する。

相関値フィルタリング部３０２は、図示しないバッファメモリを備えており、相関値算出部３００から送られてきた、５行５列の領域内のＲまたはＢ画素位置ごとに算出された相関値Ｃ_Ｂ、Ｃ_Ｒを、それぞれの画素位置と対応させて一旦保持する。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。

図６に本実施形態における２次元フィルタリングに用いる２次元フィルタの概念図を示す。図６（ａ）に示した２次元フィルタは、図５に示した５行５列の領域の相関値が算出されている位置に対応して、任意の係数Ａ_１１〜Ａ_５５が２次元状に配列されている。このような２次元フィルタを用いて、図５に示した５行５列の領域に配列された相関値に対して、下式のように各相関値と対応する位置の係数の積和を算出するような２次元フィルタリングを行う事により、補正された相関値が算出される。

（補正された相関値）＝Ｃ_Ｂ１１・Ａ_１１＋Ｃ_Ｂ１３・Ａ_１３＋……＋Ｃ_Ｂ５５・Ａ_５５
図６（ｂ）に２次元フィルタに用いる係数の一例を示す。図６（ｂ）に示した２次元フィルタは、中央の係数の値が最も大きく、中央からの距離に従って係数の値が小さくなっている。このような２次元フィルタは、例えば中央の相関値を、周辺の相関値を利用して補正するような２次元フィルタリングに用いられる。２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。相関値フィルタリング部３０２によって補正された相関値は補間方向判別部３０４に送られる。

補間方向判別部３０４は相関値フィルタリング部３０２によって補正された相関値の正負を基に、相関が高い方向、すなわちＲまたはＢ画素位置におけるＧ信号の算出に用いるＧ信号を出力するＧ画素が位置する方向（補間方向）を判別し、ＲまたはＢ画素位置ごとに補間方向判別用フラグを生成する。補間方向判別用フラグの形式は特に限定されるものではなく、例えば、水平方向に位置するＧ画素からのＧ信号を補間するのであれば「０」、垂直方向に位置するＧ画素からのＧ信号を補間するのであれば「１」といったフラグを用いてもよい。生成された補間方向判別用フラグは、補間信号生成部３０６に送られる。

補間信号生成部３０６は、補間方向判別部３０４から送られてきた補間方向判別用のフラグの値に基づいて補間処理を行う。例えば図４のＢ画素位置において、フラグが「０」であれば、水平方向に位置するＧ画素からのＧ信号を補間するので、以下の式の通りＢ画素位置を中心とした水平方向に隣接する２つのＧ画素（Ｇ２とＧ３）からのＧ信号の加算平均により、Ｂ画素位置でのＧ信号Ｇ_Ｂを生成する。
Ｇ_Ｂ＝（Ｇ２＋Ｇ３）／２
また、同じ位置においてフラグが「１」であれば、垂直方向に位置するＧ画素からのＧ信号を補間するので、以下の式の通りＢ画素位置を中心とした垂直方向に隣接する２つのＧ画素（Ｇ１とＧ４）からのＧ信号の加算平均により、Ｂ画素位置でのＧ信号Ｇ_Ｂを生成する。
Ｇ_Ｂ＝（Ｇ１＋Ｇ４）／２
そして算出されたＧ信号Ｇ_ＢをＢ画素位置に補間する。なお、ここではＢ画素位置のＧ信号の補間について説明したが、Ｒ画素位置のＧ信号Ｇ_Ｒも同様の処理により実現される。

図７は本実施例の信号処理フローチャートである。図７に示した通り、まず３行３列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部３０に入力される（ステップＳ１１０）。補間処理部３０内の相関値算出部３００は、入力されたＲまたはＢ画素周囲のＧ画素間の相関値を算出する（ステップＳ１１２）。算出された相関値は順次相関値フィルタリング部３０２に送られ、所定領域内のＲおよびＢ画素位置に対する相関値の算出の終了後、相関値フィルタリング部３０２で２次元フィルタリングを行う（ステップＳ１１４）。２次元フィルタリングによって補正された相関値は補間方向判別部３０４に送られる。補間方向判別部３０４では、補正された相関値の正負を基に補間方向が水平方向であるか垂直方向であるかを判別し、補間方向判別用のフラグを生成する（ステップＳ１１６）。生成されたフラグは補間信号生成部３０６に送られる。補間信号生成部３０６では、前述した通りフラグの内容に応じてＲまたはＢ画素位置におけるＧ信号を生成する（ステップＳ１１８、ステップＳ１２０）。

ＲまたはＢ画素位置に対してＧ信号の算出が終了した後、図示しないＲおよびＢ信号補間処理部により、Ｂ画素およびＧ画素位置におけるＲ信号の算出とＲ画素およびＧ画素位置におけるＢ信号の算出が行われる。各画素位置においてＲ、Ｇ、Ｂ全ての色信号が算出された画像データは、輝度・色差信号生成処理部３２に送られ、ＹＣ変換が行われる。このＹＣ変換は画像データの所定領域ごとに行っても良い。

なお、本発明の信号処理方法はコンピュータプログラムによっても実現可能である。前述した通り、ＲＡＷデータ記録モードを備えたカメラ１０では、ＣＣＤ−ＲＡＷデータをメモリカード３８に記録する事が可能である。このようなＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。

（第２実施形態）
図８は、本発明の信号処理装置の第２実施形態に係る補間処理部６０のブロック図である。第２実施形態に係る補間処理部６０も第１実施形態にかかる補間処理部３０と同様に、相関値算出部６００、相関値フィルタリング部６０２、補間方向判別部６０４、補間信号生成部６０６から構成されているが、相関値算出部６００、相関値フィルタリング部６０２における処理内容が第1実施形態のものとは異なっている。

次に、上記の如く構成された補間処理部６０の動作について説明する。ここでは、第１実施形態と同様に、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。

相関値算出部６００は、本実施形態では、第１実施形態とは異なり、撮像デバイス１６におけるＲ、Ｇ、Ｂいずれの画素位置に対しても相関値を算出する。図９（ａ）を用いて、Ｒ画素（Ｒ３３）を中心として垂直方向と水平方向に配置された複数の画素間の相関値を算出する場合を説明する。第１実施形態と同様に、相関値算出部６００は、メモリ２４に格納されている画像データから入力された図９（ａ）に示す５行５列のデータを、バッファメモリに一旦保持する。相関値算出部６００は、以下の式に従って、Ｒ３３画素を中心として垂直方向と水平方向に配置された複数の画素間の相関値Ｃ_Ｒ３３を算出する。

Ｃ_Ｒ３３＝（｜Ｇ２３−Ｇ４３｜−｜Ｇ３２−Ｇ３４｜）＋（｜Ｒ３３−（Ｒ１３＋Ｒ５３）／２｜−｜Ｒ３３−（Ｒ３１＋Ｒ３５）／２｜）
Ｂ画素を中心として垂直方向と水平方向に配置された複数の画素間の相関値を算出する場合も、上記Ｃ_Ｒ３３の算出式と同様に、下記の式に従って相関値Ｃ_Ｂ３３を算出する。

Ｃ_Ｂ３３＝（｜Ｇ２３−Ｇ４３｜−｜Ｇ３２−Ｇ３４｜）＋（｜Ｂ３３−（Ｂ１３＋Ｂ５３）／２｜−｜Ｂ３３−（Ｂ３１＋Ｂ３５）／２｜）
前述したとおり、本実施形態ではＧ画素位置を中心として垂直方向と水平方向に配置された複数の画素間相関値も算出する。図９（ｂ）に示したＧ画素（Ｇ３３）を中心として垂直方向と水平方向に配置された複数の画素間の相関値Ｃ_Ｇ３３を算出する場合は、以下の式に従って、相関値を算出する。
Ｃ_Ｇ３３＝（｜Ｂ２３−Ｂ４３｜−｜Ｒ３２−Ｒ３４｜）＋（｜Ｇ３３−（Ｇ１３＋Ｇ５３）／２｜−｜Ｇ３３−（Ｇ３１＋Ｇ３５）／２｜）
以上のようにＲ、Ｇ、Ｂの画素位置に対して算出された相関値は、順次相関値フィルタリング部６０２に送られる。

相関値フィルタリング部６０２は、相関値算出部６００から送られてきた、５行５列の領域内のＲ、Ｇ、Ｂの画素位置に対して算出された相関値を、図１０のようにそれぞれの画素位置と対応させて一旦保持する。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。

図１１に本実施形態における２次元フィルタリングに用いる２次元フィルタの概念図を示す。本実施形態では、図１１（ａ）のように２次元フィルタのＲ，Ｇ，Ｂ全ての画素位置に対して係数Ａ_１１〜Ａ_５５が配列されており、例えば、図１１（ｂ）のような係数を用いて、第１の実施形態と同様に各相関値と対応する位置の係数の積和を算出する。このような２次元フィルタリングを行う事により、補正された相関値が算出される。

２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。相関値フィルタリング部６０２によって補正された相関値は補間方向判別部６０４に送られる。

補間方向判別部６０４と補間信号生成部６０６の動作は、第１実施形態と同様であるので説明を省略する。

図１２は本実施形態の信号処理フローチャートである。図１２に示した通り、まず５行５列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部６０に入力される（ステップＳ２１０）。補間処理部６０内の相関値算出部６００は、入力されたデータのＲ，Ｇ，Ｂ画素位置に対する相関値を算出する（ステップＳ２１２）。算出された相関値は順次相関値フィルタリング部６０２に送られ、所定領域内の相関値の算出の終了後、相関値フィルタリング部６０２で２次元フィルタリングを行う（ステップＳ２１４）。２次元フィルタリングによって補正された相関値は補間方向判別部６０４に送られる。補間方向判別部６０４および補間信号生成部６０６の処理は第1実施形態と同様であるので説明を省略する。

なお、第１実施形態と同様に、本実施形態に係る信号処理方法はコンピュータプログラムによっても実現可能である。第１実施形態と同様に、ＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。

（第３実施形態）
図１３は、本発明の信号処理装置の第３実施形態に係る補間処理部９００のブロック図である。第３実施形態に係る補間処理部９０は水平垂直方向相関値算出部９００、斜め方向相関値算出部９０２、水平垂直方向相関値フィルタリング部９０４、斜め方向相関値フィルタリング部９０６、補間方向判別部９０８、補間信号生成部９１０から構成されている。

本実施形態は、第３の方向および第４の方向の相関値算出部である斜め方向相関値算出部と、斜め方向相関値フィルタリング部を備えている点が、第１、第２実施形態とは異なっている。

次に、上記の如く構成された補間処理部９０の動作について説明する。ここでは、第１、第２実施形態と同様に、ＲまたはＢ画素位置におけるＧ信号を算出する処理について説明する。

水平垂直相関値算出部９００は、第１実施形態における相関値算出部と同様に、図１４に示す３行３列のデータから、ＲまたはＢ画素の周囲に隣接するＧ画素間の相関値の算出を行う。算出された相関値は、水平垂直相関値９０４に順次送られる。相関値の算出方法は第１実施形態と同様であるのでここでは説明を省略する。

斜め方向相関値算出部９０２は、Ｇ画素に対して斜め方向に隣接するＧ画素間の相関を算出する。斜め方向相関地算出部９０２には、図１５に示すＧ画素を中心とする３行３列のデータが入力され、図示しないバッファメモリに入力された３行３列のデータを一旦保持する。斜め方向相関値算出部９０２は、以下の式に従って、バッファメモリに保持された３行３列のデータから、中央のＧ画素（Ｇ３）に対して斜め方向に隣接する４つのＧ画素間の相関値Ｃ_Ｇ３を算出する。

Ｃ_Ｇ３＝｜Ｇ１−Ｇ５｜−｜Ｇ２−Ｇ４｜
色信号の差分の絶対値が小さいほど相関が強いと考えられるため、Ｃ_Ｇ３の値が負の場合はＧ１とＧ５が位置する方向の相関が強く、Ｃ_Ｇ３の値が正の場合はＧ２とＧ４が位置する方向の相関が強いと考えられる。

以上のようにＧ画素位置に対して算出された相関値は、順次斜め方向相関値フィルタリング部９０６に送られる。

水平垂直相関値フィルタリング部９０４は、第１実施形態と同様に、相関値算出部９００から送られてきた、所定領域内のＲおよびＢ画素位置に対して算出された相関値を、バッファメモリに一旦保持する。図１６は５行５列の領域内のＲおよびＢ画素位置に対して算出された相関値を示している。そして、保持した相関値に対して、第１実施形態の相関値フィルタリング部と同様に２次元フィルタリングを行い相関値の補正を行う。２次元フィルタリング部の動作は第１実施形態における相関値フィルタリング部と同様であるので、詳細は説明を省略する。水平垂直相関値フィルタリング部９０４で補正された相関値は、補間方向判別部９０８に送られる。

斜め方向相関値フィルタリング部９０６は、斜め方向相関値算出部９０２から送られてきた、所定領域内のＧ画素位置に対して算出された相関値を、バッファメモリに一旦保持する。図１７は５行５列の領域内のＧ画素位置に対して算出された相関値を示している。そして、保持した相関値に対して２次元フィルタリングを行い相関値の補正を行う。

図１８に本実施形態における斜め方向相関値フィルタリング部で用いる２次元フィルタの概念図を示す。本実施形態では、図１８（ａ）のようにＧ画素位置に対して係数Ａ_１２〜Ａ_５４が配列されており、例えば、図１８（ｂ）のような係数を用いて、第１実施形態と同様に各相関値と対応する位置の係数の積和を算出する。このような２次元フィルタリングを行う事により、補正された相関値が算出される。

２次元フィルタリングはこのような演算に限定されるものではなく、例えば２次元の全ての係数を等しい値とした単純な加算平均や、その他の行列演算等を用いても良い。斜め方向相関値フィルタリング部９０６によって補正された相関値は補間方向判別部９０８に送られる。

補間方向判別部９０８は、水平垂直方向相関値フィルタリング部９０４、斜め方向相関値フィルタリング部９０６から送られてきた相関値の絶対値を比較し、補間方向を判別する。そして、判別した補間方向に基づいて、補間方向判別用のフラグを生成する。

補間方向判別用フラグの形式は特に限定されるものではなく、例えば、水平方向の補間であれば「０」、垂直方向の補間であれば「１」、後述する右上がり方向の補間であれば「２」、後述する右下がり方向の補間であれば「３」といったフラグを用いてもよい。生成された補間方向判別用フラグは、補間信号生成部９１０に送られる。

補間信号生成部９１０では、補間方向判別部９０８から送られてきた補間方向判別用のフラグの値に基づいて補間処理を行う。水平方向の補間、および垂直方向の補間については第1実施形態と同様の処理であるの説明を省略する。

次に斜め方向の補間の例として、図１９のＢ５画素位置のＧ信号（Ｇ_Ｂ５）を右下がり方向の補間で算出する場合について説明する。まず、Ｂ５画素周囲の、Ｇ画素４画素から得られるＧ信号の平均値と、Ｒ画素４画素から得られるＲ信号の平均値の差を算出する。この差の値が小さいほどＧ画素とＲ画素の相関が強いと考えられるので、下式において、ａの値（ａ＝０〜１）を小さくする。

Ｇ_Ｂ５＝｛（Ｒ１＋Ｒ９）／２＋（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４−（Ｒ１＋Ｒ３＋Ｒ７＋Ｒ９）／４｝×（１−ａ）＋｛（Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８）／４｝×ａ
ａの値が小さければ、Ｇ_Ｂ５に対するＧ画素４画素から得られるＧ信号の平均値の割合が小さくなり、ａの値大きければ、Ｇ_Ｂ５に対するＧ信号の平均値の割合が大きくなる。補間信号生成部９１０は、このようにして算出されたＧ信号をＧ_Ｂ５をＢ５画素位置に補間する。これにより、斜め方向の解像感を向上させる事ができる。

右上がり方向の補間についても同様の考え方で斜め方向の補間が実現できる。なお、ここではＢ画素位置のＧ信号の補間について説明したが、Ｒ画素位置のＧ信号の補間も同様の処理により実現される。

図２０は本実施形態の信号処理フローチャートである。図２０に示した通り、まず３行３列のデータがメモリ２４からＣＰＵ２６の制御によりデジタル信号処理部２８内の補間処理部９０に入力される（ステップＳ４１０）。補間処理部９０内の水平垂直相関値算出部９００、斜め方向相関値算出部は、入力されたデータのＲ，Ｇ，Ｂ画素位置に対する相関値を算出する（ステップＳ４１２）。算出された相関値は、順次水平垂直相関値フィルタリング部９０４または斜め方向相関値算出部９０６に送られ、所定領域内の相関値の算出の終了後、水平垂直相関値フィルタリング部９０４および水平垂直相関値フィルタリング部９０６で２次元フィルタリングを行う（ステップＳ４１４）。２次元フィルタリングによって補正された相関値は補間方向判別部９０８に送られる。補間方向判別部９０８では、水平垂直方向の補間を行うか、斜め方向の補間を行うのかを判別し、判別結果に応じたフラグを生成する（ステップＳ４１６〜ステップＳ４２０）。補間信号生成部９１０はフラグの内容に応じた補間処理を行う（ステップＳ４２２〜ステップＳ４２８）。

なお、第１、第２実施形態と同様に、本実施形態に係る信号処理方法はコンピュータプログラムによっても実現可能である。第１、第２実施形態と同様に、ＣＣＤ−ＲＡＷデータを再生表示する場合は、本発明の信号処理機能を有するコンピュータプログラムをインストールしたコンピュータ装置に、ＣＣＤ−ＲＡＷデータを記録したメモリカード３８を装填し、メモリカード３８から読み取られたＣＣＤ−ＲＡＷデータをコンピュータ装置のモニタ上に再生する。本実施形態の信号処理装置、信号処理方法および信号処理プログラムを用いる事により、Ｇ信号の補間方向判別の精度を向上させる事が可能となり、補間による偽信号の発生を低減する事ができる。さらに、信号処理された画像の斜め方向の解像感を向上させることが可能となる。

以上説明した第１〜第３実施形態では、ベイヤー配列のカラーフィルタを設けた撮像デバイスから出力された色信号の補間について説明したが、本発明はこれに限定されるものではない。ベイヤ−配列を斜め４５°方向に回転させた、いわゆるハニカム配列のカラーフィルタやＧストライプＲ／Ｂ完全市松配列のカラーフィルタを備えた撮像デバイスから出力された色信号の補間にも適用できる。

本発明の実施形態に係る信号処理装置及び信号処理方法が適用された電子カメラのブロック図ベイヤー配列のカラーフィルタのフィルタ配列を示した図本発明の第１実施形態に係る補間処理部のブロック図相関値算出に用いられるデータの配列を示した図算出された相関値を画素位置に対応させて配列した図２次元フィルタの模式図本発明の第１実施形態に係る信号処理装置の処理手順を示すフローチャート本発明の第２実施形態に係る補間処理部のブロック図相関値算出に用いられるデータの配列を示した図算出された相関値を画素位置に対応させて配列した図２次元フィルタの模式図本発明の第２実施形態に係る信号処理装置の処理手順を示すフローチャート本発明の第３実施形態に係る補間処理部のブロック図相関値算出に用いられるデータの配列を示した図相関値算出に用いられるデータの配列を示した図算出された相関値を画素位置に対応させて配列した図算出された相関値を画素位置に対応させて配列した図２次元フィルタの模式図斜め方向の補間に用いるデータの配列を示した図本発明の第２実施形態に係る信号処理装置の処理手順を示すフローチャート

符号の説明

１０…カメラ、１６…撮像デバイス、２０…Ａ／Ｄ変換器、２４…メモリ、２６…ＣＰＵ、２８…デジタル信号処理部、３０…補間処理部、３８…メモリカード

Claims

少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理装置において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する第１の相関値算出部と、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する第２の相関値算出部と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する第３の相関値算出部と、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する第４の相関値算出部と、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する補間方向判別部と、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する補間処理部と、
を有することを特徴とする信号処理装置。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、
を有することを特徴とする信号処理方法。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出するステップと、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出するステップと、
を有することを特徴とする信号処理方法。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子から出力される複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理方法において、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出するステップと、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出するステップと、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出するステップと、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出するステップと、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別するステップと、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出するステップと、
を有することを特徴とする信号処理方法。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記Ｒ、ＢおよびＧ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲ、ＢまたはＧ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第２の相関値を算出する機能と、
前記第２の相関値に基づいて前記第１の方向と第２の方向のうちの相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された方向に位置する画素から得られる色信号を補間して前記ＲまたはＢ画素位置におけるＧの色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。
少なくともＲＧＢの３色を含むカラーフィルタを備えた固体撮像素子を信号出力源とする複数色の色信号に基づいて前記固体撮像素子のＲおよびＢ画素位置におけるＧの色信号を、周囲の画素の色信号を補間して求める信号処理プログラムにおいて、
前記ＲまたはＢ画素位置を中心として、第１の方向に位置する複数の画素および前記第１の方向と異なる第２の方向に位置する複数の画素から得られる色信号の値から、前記第１の方向および第２の方向の相関の強さを表す第１の相関値を算出する機能と、
前記Ｇ画素位置を中心として、前記第１、第２の方向と異なる第３の方向に位置する複数の画素および前記第３の方向と異なる第４の方向に位置する複数の画素から得られる色信号の値から、前記第３の方向および第４の方向の相関の強さを表す第２の相関値を算出する機能と、
ＲまたはＢ画素位置を中心とする所定範囲のＲまたはＢ画素位置ごとに算出した２次元範囲の前記第１の相関値に対して２次元のフィルタリング処理を行い前記第１の方向および第２の方向の相関の強さを表す第３の相関値を算出する機能と、
前記ＲまたはＢ画素位置を中心とする所定範囲のＧ画素位置ごとに算出した２次元範囲の前記第２の相関値に対して２次元のフィルタリング処理を行い前記第３の方向および第４の方向の相関の強さを表す第４の相関値を算出する機能と、
前記第３の相関値及び第４の相関値に基づいて第１、第２、第３及び第４の方向のうちの最も相関の高い方向を判別する機能と、
前記補間方向判別部によって判別された最も相関の高い方向に位置する画素から得られる色信号を補間し、又は最も相関の高い方向の画素の色信号と他の方向の画素の色信号とを重み付け補間して前記ＲまたはＢ画素位置におけるＧ画素の色信号を算出する機能と、
をコンピュータに実現させることを特徴とする信号処理プログラム。