JP2015154308A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】デモザイク処理後の画像信号におけるジッパーノイズを低減する。【解決手段】Ｇ補間部１３は、画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、くさび型である場合、緑色が割り当てられた画素である緑色画素のロー信号のみを用いて、ロー信号に対応する全ての画素の緑色の画像信号を生成し、ロー信号に対してデモザイク処理を行う画像処理装置等に適用する。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、およびプログラムに関し、特に、デモザイク処理後の画像信号におけるジッパーノイズを低減することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

高解像度と偽色低減を両立させるデモザイク処理として、DLMMSE(Directional Linear Minimum Mean Square-Error Estimation)法を用いた処理が考案されている(例えば、非特許文献１参照)。

DLMMSE法を用いたデモザイク処理では、まず、各画素の緑色の画像信号が生成される。具体的には、画像のH（横）方向とV（縦）方向のそれぞれについて、画素ごとに、周辺画素の色差の平均値を用いて自乗誤差が最小となる緑色の画像信号が生成され、H補間信号、V補間信号とされる。次に、画素ごとに、補間する緑色の画像信号のH方向とV方向の方向性が検出され、その方向性に基づいてH補間信号とV補間信号が按分されて、緑色の画像信号が生成される。そして、補間後の各画素の緑色の画像信号と仮想色差（B-G，R-G）とを用いて、各画素の青色の画像信号と赤色の画像信号が生成される。

DLMMSE法を用いたデモザイク処理では、H方向とV方向の方向性が正確に検出された場合、画像信号において、高解像度と低偽色を実現することができる。しかしながら、画像がナイキスト周波数に近い模様を有する場合、方向性が誤検出されることがある。方向性が誤検出されると、真値とは大きく異なる緑色の画像信号が生成され、画像信号において脈絡の無い偽色が発生する。

また、画像内に局所的に赤色（R）や青色（B）だけが存在する場合、色差の平均値が本来の色差より減少する色抜けと呼ばれる現象が発生する。その結果、緑色の画像信号が局所的に上昇し、ジッパーノイズと呼ばれる、白点や黒点が孤立して発生するノイズが発生する。

一方、クラス分類適応処理によるデモザイク処理では、各画素の緑色の画像信号が、その画素の周辺の画素の、その画素に割り当てられた色の信号であるデモザイク処理前のロー信号に基づいて生成される。従って、このデモザイク処理においても、画像内に局所的に赤色や青色だけが存在する場合、緑色の画像信号が局所的に上昇し、ジッパーノイズが発生する。

Lei Zhang, Xiaolin Wu,"Color Demosaicking Via Directional Linear Minimum Mean Square-Error Estimation",IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 14, NO. 12, DECEMBER 2005

以上のように、画像内に局所的に赤色や青色だけが存在する場合、デモザイク処理後の画像信号においてジッパーノイズが発生し、画質が劣化する。

本開示は、このような状況に鑑みてなされたものであり、デモザイク処理後の画像信号におけるジッパーノイズを低減することができるようにするものである。

本開示の一側面の画像処理装置は、画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間部を備える画像処理装置である。

本開示の一側面の画像処理方法およびプログラムは、本開示の一側面の画像処理装置に対応する。

本開示の一側面においては、画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号が生成される。

本開示の一側面によれば、デモザイク処理を行うことができる。また、本開示の一側面によれば、デモザイク処理後の画像信号におけるジッパーノイズを低減することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 くさび型のロー信号の例を示す図である。 図１のＧ補間部の処理を説明する図である。 図１のＧ補間部の構成例を示すブロック図である。 図４の水平方向演算部の構成例を示すブロック図である。 図５の水平方向演算部の処理を説明する図である。 図５の水平方向演算部の処理を説明する図である。 図１の画像処理装置のデモザイク処理を説明するフローチャートである。 図８の形状判定処理の詳細を説明するフローチャートである。 形状判定画素群の例を示す図である。 図９のgray_mode算出処理の詳細を説明するフローチャートである。 グレー算出画素群の例を示す図である。 補間信号ｇの生成に用いられるロー信号に対応する画素を示す図である。 補間信号ｒの生成に用いられるロー信号に対応する画素を示す図である。 補間信号ｂの生成に用いられるロー信号に対応する画素を示す図である。 図８のＧ生成処理の詳細を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 Ｇクラスタップ、Ｒクラスタップ、Ｂクラスタップ、Ｇ予測タップ、Ｒクラスタップ、およびＧクラスタップのタップ構造の例を示す図である。 図１７の画像処理装置のデモザイク処理を説明するフローチャートである。 図１９のＧ生成処理の詳細を説明するフローチャートである。 Ｇ予測係数を学習する学習装置の構成例を示すブロック図である。 図２１の学習装置のＧ予測係数学習処理を説明するフローチャートである。 ロー信号に対応する画素配列の他の例を示す図である。 ロー信号に対応する画素配列がダブルベイヤ配列である場合の形状判定処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。

以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図１６）
２．第２実施の形態：画像処理装置（図１７乃至図２２）
３．他の画素配列への適用（図２３および図２４）
４．第３実施の形態：コンピュータ（図２５）

＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。

図１の画像処理装置１０は、形状判定部１１、Ｇ補間部１２、Ｇ補間部１３、選択部１４、遅延部１５、Ｒ生成部１６、およびＢ生成部１７により構成される。画像処理装置１０は、画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号を、ロー信号に対応する全ての画素の赤色（R）、緑色（G）、青色（B）の信号を有する画像信号に変換するデモザイク処理を行う。

具体的には、画像処理装置１０の形状判定部１１には、図示せぬ単板イメージセンサにより撮像されたロー信号が入力される。なお、ここでは、単板イメージセンサの画素配列は、ベイヤ配列であるものとする。形状判定部１１は、ロー信号に基づいて、ロー信号のうちの緑色以外の色が割り当てられた画素（以下、Ｇ補間画素という）のロー信号の形状がくさび型であるかどうかを判定する。形状判定部１１は、判定結果をＧ補間部１２と選択部１４に供給する。

Ｇ補間部１２には、図示せぬ単板イメージセンサからロー信号が入力される。Ｇ補間部１２は、形状判定部１１から供給される判定結果に基づいて、ロー信号のうちの緑色が割り当てられた画素（以下、Ｇ画素という）のロー信号のみを用いて、Ｇ補間画素の緑色の画像信号を生成する。Ｇ補間部１２は、Ｇ補間画素の緑色の画像信号とＧ画素のロー信号とを、ロー信号に対応する画像の緑色の画像信号として選択部１４に供給する。

Ｇ補間部１３には、図示せぬ単板イメージセンサからロー信号が入力される。Ｇ補間部１３は、DLMMSE法により、ロー信号を用いてＧ補間画素の緑色の画像信号を補間する。Ｇ補間部１３は、Ｇ補間画素の緑色の画像信号とＧ画素のロー信号とを、ロー信号に対応する画像の緑色の画像信号として選択部１４に供給する。

選択部１４は、形状判定部１１から供給される判定結果に基づいて、Ｇ補間部１２から供給される緑色の画像信号またはＧ補間部１３から供給される緑色の画像信号を選択する。選択部１４は、選択された緑色の画像信号をＲ生成部１６とＢ生成部１７に供給するとともに、出力する。

遅延部１５には、図示せぬ単板イメージセンサからロー信号が入力される。遅延部１５は、入力されたロー信号を所定の期間だけ遅延させ、Ｒ生成部１６とＢ生成部１７に供給する。

Ｒ生成部１６は、ロー信号において赤色以外の色が割り当てられている画素（以下、Ｒ補間画素という）ごとに、遅延部１５から供給されるロー信号と選択部１４から供給される緑色の画像信号とに基づいて、仮想色差（R-G）を生成する。Ｒ生成部１６は、Ｒ補間画素ごとに、緑色の画像信号と仮想色差（R-G）とに基づいて、赤色の画像信号を生成する。Ｒ生成部１６は、Ｒ補間画素の赤色の画像信号と赤色が割り当てられた画素（以下、Ｒ画素という）のロー信号とを、ロー信号に対応する画像の赤色の画像信号として出力する。

Ｂ生成部１７は、ロー信号において青色以外の色が割り当てられている画素（以下、Ｂ補間画素という）ごとに、遅延部１５から供給されるロー信号と選択部１４から供給される緑色の画像信号とに基づいて、仮想色差（B-G）を生成する。Ｂ生成部１７は、Ｂ補間画素ごとに、緑色の画像信号と仮想色差（B-G）とに基づいて、青色の画像信号を生成する。Ｂ生成部１７は、Ｂ補間画素の青色の画像信号と青色が割り当てられた画素（以下、Ｂ画素という）のロー信号とを、ロー信号に対応する画像の青色の画像信号として出力する。

（くさび型のロー信号の例）
図２は、図１の形状判定部１１により形状がくさび型であると判定されるくさび型のロー信号の例を示す図である。

なお、図２において、Ｘ方向（横方向）の軸は、ロー信号に対応する画素のＨ方向の位置を表し、Ｙ方向（縦方向）の軸は、Ｖ方向の位置を表す。また、Ｚ方向（高さ方向）の軸は、ロー信号のレベルを表す。

図２に示すように、例えば、Ｈ方向に並ぶ画素のうちの１つの画素においてロー信号のレベルが急激に低下する場合、形状判定部１１は、ロー信号の形状がＨ方向のくさび型であると判定する。図示は省略するが、Ｖ方向についても同様に、Ｖ方向に並ぶ画素のうちの１つの画素においてロー信号のレベルが急激に低下する場合、形状判定部１１は、ロー信号の形状がＶ方向のくさび型であると判定する。

以上のように、ロー信号の形状がＨ方向またはＶ方向のくさび型であると判定される場合、即ち、Ｈ方向またはＶ方向に並ぶ画素のうちの１つの画素においてロー信号のレベルが急激に低下する場合、色抜けが発生する。即ち、ロー信号のレベルが急激に低下する画素の周辺の画素の色差の平均値は、その画素における本来の色差より減少する。従って、この画素の緑色の画像信号をDLMMSE法で補間すると、緑色の画像信号の補間値が１点だけ上昇する。よって、ジッパーノイズが発生しやすい。

従って、選択部１４は、形状判定部１１から供給される判定結果が、ロー信号の形状がＨ方向またはＶ方向のくさび型であるという判定結果である合、Ｇ補間部１３からの緑色の画像信号を選択せず、Ｇ補間部１２からの緑色の画像信号を選択する。

（Ｇ補間部１２の処理の説明）
図３は、図１のＧ補間部１２の処理を説明する図である。

図３において、２方向の斜線が付された丸は、Ｇ画素を表し、白丸は、Ｒ画素を表し、水玉が付された丸は、Ｂ画素を表す。これらのことは、後述する図１０および図２３においても同様である。

Ｇ補間画素３１のロー信号の形状がＶ方向のくさび型であると判定された場合、Ｇ補間部１２は、図３Ａに示すように、Ｇ補間画素３１とＨ方向に隣接するＧ画素３２およびＧ画素３３のロー信号を用いて、Ｇ補間画素３１の緑色の画像信号を生成する。例えば、Ｇ補間部１２は、Ｇ画素３２およびＧ画素３３のロー信号の平均値を、Ｇ補間画素３１の緑色の画像信号とする。

また、Ｇ補間画素３１のロー信号の形状がＨ方向のくさび型であると判定された場合、Ｇ補間部１２は、図３Ｂに示すように、Ｇ補間画素３１とＶ方向に隣接するＧ画素３４およびＧ画素３５のロー信号を用いて、Ｇ補間画素３１の緑色の画像信号を生成する。例えば、Ｇ補間部１２は、Ｇ画素３４およびＧ画素３５のロー信号の平均値を、Ｇ補間画素３１の緑色の画像信号とする。

以上のように、Ｇ補間部１２は、Ｇ画素のロー信号のみを用いてＧ補間画素の緑色の画像信号を生成するので、Ｇ補間画素の緑色の画像信号はＲ画素とＢ画素のロー信号の影響を受けない。従って、ジッパーノイズは発生しないが、解像度は低下する。

よって、ジッパーノイズが発生しやすいロー信号の形状がＨ方向またはＶ方向のくさび型である場合にのみ、選択部１４は、Ｇ補間部１２により生成された緑色の画像信号を選択する。これにより、画像信号におけるジッパーノイズを低減することができる。また、画像信号における解像度を向上させることができる。

（Ｇ補間部１３の構成例）
図４は、図１のＧ補間部１３の構成例を示すブロック図である。

図４のＧ補間部１３は、水平方向演算部５１、垂直方向演算部５２、α決定部５３、αブレンド部５４、および加算部５５により構成される。

Ｇ補間部１３の水平方向演算部５１は、図示せぬ単板イメージセンサから入力されるロー信号に基づいて、Ｇ補間画素のＨ方向の色差（B-G，R-G）の候補と重み係数を算出する。水平方向演算部５１は、Ｈ方向の色差（B-G，R-G）の候補をαブレンド部５４に供給し、Ｈ方向の重み係数をα決定部５３に供給する。

垂直方向演算部５２は、図示せぬ単板イメージセンサから入力されるロー信号に基づいて、Ｇ補間画素のＶ方向の色差（B-G，R-G）の候補と重み係数を算出する。垂直方向演算部５２は、Ｖ方向の色差（B-G，R-G）の候補をαブレンド部５４に供給し、Ｖ方向の重み係数をα決定部５３に供給する。

α決定部５３は、水平方向演算部５１から供給されるＨ方向の重み係数と、垂直方向演算部５２から供給されるＶ方向の重み係数とに基づいて、以下の式（１）により、αブレンド部５４におけるαブレンドのαを決定し、αブレンド部５４に供給する。

式（１）において、Ｗｈは、Ｈ方向の重み係数を表し、Ｗｖは、Ｖ方向の重み係数を表す。

αブレンド部５４は、水平方向演算部５１から供給されるＨ方向の色差（B-G，R-G）の候補と垂直方向演算部５２から供給されるＶ方向の色差（B-G，R-G）の候補を、α決定部５３から供給されるαを用いてαブレンドする。αが１であるとき、αブレンド結果は、Ｈ方向の色差（B-G，R-G）の候補であり、αが０であるとき、Ｖ方向の色差（B-G，R-G）の候補である。αブレンド部５４は、αブレンド結果を加算部５５に供給する。

加算部５５は、図示せぬ単板イメージセンサから入力されるＧ補間画素のロー信号と、αブレンド結果とを加算し、加算結果をＧ補間画素の緑色の画像信号として、図１の選択部１４に供給する。なお、図示せぬ単板イメージセンサから入力されるＧ画素のロー信号は、そのまま、そのＧ画素の緑色の画像信号として選択部１４に出力される。

（水平方向演算部の構成例）
図５は、図４の水平方向演算部５１の構成例を示すブロック図である。

図５の水平方向演算部５１は、抽出部７１、色差生成部７２、色差平滑部７３、平均部７４、分散演算部７５、分散演算部７６、α決定部７７、およびαブレンド部７８により構成される。

水平方向演算部５１の抽出部７１は、図示せぬ単板イメージセンサから入力されるロー信号から、Ｇ補間画素を中心としてＨ方向に５個ずつ並ぶ合計１１個の画素からなるＧ補間画素群のロー信号を抽出し、色差生成部７２に供給する。

色差生成部７２は、抽出部７１から供給されるＧ補間画素群のロー信号のうちの連続する３個の画素のロー信号を用いて、その３個の画素のうちの中央の画素のロー信号の色差（B-G，R-G）を端から順に補間する。具体的には、色差生成部７２は、連続する３個の画素を端から順に選択し、その３個の画素のうちの隣接する画素どうしのロー信号の色差（B-G，R-G）を求め、例えば平均化する。

色差生成部７２は、その結果得られる９個の色差を色差平滑部７３に供給する。また、色差生成部７２は、９個の色差のうちの、Ｇ補間画素を中心としてＨ方向に２個ずつ並ぶ画素に対応する５個の色差を分散演算部７５に供給する。さらに、色差生成部７２は、Ｇ補間画素に対応する色差をαブレンド部７８に供給する。

色差平滑部７３は、色差生成部７２から供給される９個の色差のうちの連続する５個の色差の平均値を端から順に求めることにより、色差の平滑化を行う。色差平滑部７３は、その結果得られる５個の色差の平滑化値を、平均部７４、分散演算部７５、および分散演算部７６に供給する。

平均部７４は、色差平滑部７３から供給される５個の色差の平滑化値の平均値を求め、分散演算部７６とαブレンド部７８に供給する。

分散演算部７５は、色差生成部７２から供給される５個の色差と色差平滑部７３から供給される５個の色差の平滑化値の分散値(高周波成分)を求める。分散演算部７５は、求められた分散値をα決定部７７に供給する。

分散演算部７６は、色差平滑部７３から供給される５個の色差の平滑化値と平均部７４から供給される平均値との分散値(低周波成分)を求める。分散演算部７５は、分散値をα決定部７７に供給するとともに、Ｈ方向の重み係数として図４のα決定部５３に供給する。

α決定部７７は、分散演算部７５から供給される分散値と分散演算部７６から供給される分散値とに基づいて、以下の式（２）により、αブレンド部７８におけるαブレンドのαを決定し、αブレンド部７８に供給する。

式（２）において、Ｖは、分散演算部７５から供給される分散値を表し、Ｖｇは、分散演算部７６から供給される分散値を表す。

αブレンド部７８は、色差生成部７２から供給されるＧ補間画素に対応する色差と平均部７４から供給される平均値を、α決定部７７から供給されるαを用いてαブレンドする。αが１であるとき、αブレンド結果は、Ｇ補間画素に対応する色差であり、αが０であるとき、平均値である。αブレンド部５４は、αブレンド結果をＧ補間画素のＨ方向の色差（B-G，R-G）の候補として図４のαブレンド部５４に供給する。

なお、図示は省略するが、垂直方向演算部５２の構成は、Ｈ方向がＶ方向に代わる点を除いて、水平方向演算部５１の構成と同様である。

（水平方向演算部の処理の説明）
図６および図７は、図５の水平方向演算部５１の処理を説明する図である。

図６および図７において、正方形は画素を表している。

図６Ａに示すように、Ｇ補間画素がＲ画素Ｒ_５５である場合、抽出部７１は、Ｒ画素Ｒ_５５を中心としてＨ方向に５個ずつ並ぶ合計１１個のＧ画素Ｇ_５０、Ｒ画素Ｒ_５１、Ｇ画素Ｇ_５２、Ｒ画素Ｒ_５３、Ｇ画素Ｇ_５４、Ｒ画素Ｒ_５５、Ｇ画素Ｇ_５６、Ｒ画素Ｒ_５７、Ｇ画素Ｇ_５８、Ｒ画素Ｒ_５９、およびＧ画素Ｇ_５ＡをＧ補間画素群８１とする。抽出部７１は、入力されたロー信号からＧ補間画素群８１のロー信号を抽出する。

また、図６Ｂに示すように、Ｇ補間画素がＢ画素Ｂ_５５である場合、抽出部７１は、Ｂ画素Ｂ_５５を中心としてＨ方向に５個ずつ並ぶ合計１１個のＧ画素Ｇ_５０，Ｂ画素Ｂ_５１，Ｇ画素Ｇ_５２、Ｂ画素Ｂ_５３、Ｇ画素Ｇ_５４、Ｂ画素Ｂ_５５、Ｇ画素Ｇ_５６、Ｂ画素Ｂ_５７、Ｇ画素Ｇ_５８、Ｂ画素Ｂ_５９、およびＧ画素Ｇ_５ＡをＧ補間画素群８２とする。抽出部７１は、入力されたロー信号からＧ補間画素群８２のロー信号を抽出する。

色差生成部７２は、Ｇ補間画素群８１のロー信号のうちの連続する３個の画素のロー信号を用いて、その３個の画素のうちの中央の画素のロー信号の色差（R-G）を端から順に補間する。

具体的には、色差生成部７２は、まず、連続する３個のＧ画素Ｇ_５０、Ｒ画素Ｒ_５１、およびＧ画素Ｇ_５２のロー信号を用いて、色差Ｃ_５１を求める。次に、色差生成部７２は、連続する３個のＲ画素Ｒ_５１、Ｇ画素Ｇ_５２、およびＲ_５３のロー信号を用いて、色差Ｃ_５２を求める。同様に、色差生成部７２は、連続する３個のＧ画素Ｇ_５２、Ｒ画素Ｒ_５３、およびＧ画素Ｇ_５４、Ｒ画素Ｒ_５３，Ｇ画素Ｇ_５４、およびＲ画素Ｒ_５５、Ｇ画素Ｇ_５４、Ｒ画素Ｒ_５５、およびＧ_５６、Ｒ画素Ｒ_５５、Ｇ画素Ｇ_５６、およびＲ画素Ｒ_５７、Ｇ画素Ｇ_５６、Ｒ画素Ｒ_５７、およびＧ画素Ｇ_５８、Ｒ画素Ｒ_５７、Ｇ画素Ｇ_５８、およびＲ画素Ｒ_５９、Ｇ画素Ｇ_５８、Ｒ画素Ｒ_５９、およびＧ画素Ｇ_５Ａを順に用いて、色差Ｃ_５３，Ｃ_５４，Ｃ_５５，Ｃ_５６，Ｃ_５７，Ｃ_５８，Ｃ_５９を求める。

色差平滑部７３は、LPF（Low Pass Filter）を用いて、色差Ｃ_５１乃至Ｃ_５９のうちの連続する５個の色差の平均値を端から順に求めることにより、色差の平滑化を行う。

具体的には、色差平滑部７３は、まず、連続する５個の色差Ｃ_５１乃至Ｃ_５５の平均値を平滑化値Ｃｇ_５３として求める。次に、色差平滑部７３は、連続する５個の色差Ｃ_５２乃至Ｃ_５６の平均値を平滑化値Ｃｇ_５４として求める。同様に、色差平滑部７３は、連続する５個の色差Ｃ_５３乃至Ｃ_５７、色差Ｃ_５４乃至Ｃ_５８、色差Ｃ_５５乃至Ｃ_５９の平均値を、順に、平滑化値Ｃｇ_５５，Ｃｇ_５６，Ｃｇ_５７として求める。

平均部７４は、５個の平滑化値Ｃｇ_５３乃至Ｃｇ_５７の平均値Ｃｇｍ_５５を求める。

分散演算部７５は、以上のようにして求められた９個の色差Ｃ_５１乃至Ｃ_５９のうちの、Ｒ画素Ｒ_５５を中心としてＨ方向に２個ずつ並ぶＲ画素Ｒ_５３、Ｇ画素Ｇ_５４、Ｒ画素Ｒ_５５、Ｇ画素Ｇ_５６、およびＲ画素Ｒ_５７に対応する５個の色差Ｃ_５３乃至Ｃ_５７と、５個の平滑化値Ｃｇ_５３乃至Ｃｇ_５７の分散値Ｖ_５５を求める。分散演算部７６は、５個の平滑化値Ｃｇ_５３乃至Ｃｇ_５７と平均値Ｃｇｍ_５５の分散値Ｖｇ_５５を求め、Ｈ方向の重み係数とする。

α決定部７７は、分散値Ｖ_５５と分散値Ｖｇ_５５に基づいてαを決定する。αブレンド部７８は、αに基づいて、Ｒ画素Ｒ_５５に対応する色差Ｃ_５５と平均値Ｃｇｍ_５５をαブレンドし、αブレンド結果をＲ画素Ｒ_５５のＨ方向の色差（R-G）の候補Ｃｈ_５５とする。

Ｇ補間画素がＢ画素Ｂ_５５である場合の水平方向演算部５１の処理は、上述したＧ補間画素がＲ画素Ｒ_５５である場合の処理と同様であるため、説明は省略する。

なお、抽出部７１により抽出される画素の数、および、色差平滑部７３により平均化される色差の数は、上述した数に限定されない。

（画像処理装置の処理の説明）
図８は、図１の画像処理装置１０のデモザイク処理を説明するフローチャートである。このデモザイク処理は、例えば、図示せぬ単板イメージセンサにより撮像されたロー信号が画像処理装置１０に入力されたとき、開始される。

図８のステップＳ１０において、画像処理装置１０のＧ補間部１２とＧ補間部１３は、入力されたロー信号のうちのＧ画素のロー信号を、Ｇ画素の緑色の画像信号として選択部１４に出力する。

ステップＳ１１乃至Ｓ１７の処理は、Ｇ補間画素ごとに行われる。ステップＳ１１において、形状判定部１１は、ロー信号に基づいて、Ｇ補間画素のロー信号の形状がくさび型であるかどうかを判定する形状判定処理を行う。この形状判定処理の詳細は、後述する図９を参照して説明する。

ステップＳ１２において、Ｇ補間部１３は、DLMMSE法で、ロー信号を用いてＧ補間画素の緑色の画像信号を生成するＧ生成処理を行う。このＧ生成処理の詳細は、後述する図１６を参照して説明する。

ステップＳ１３において、Ｇ補間部１２は、形状判定部１１から供給される判定結果を表すddr_class_gが、ロー信号の形状がくさび型であることを表す１であるかどうかを判定する。ステップＳ１３でddr_class_gが１ではないと判定された場合、処理はステップＳ１４に進む。

ステップＳ１４において、選択部１４は、Ｇ補間部１３からの緑色の画像信号を選択する。選択部１４は、選択された緑色の画像信号をＲ生成部１６とＢ生成部１７に供給するとともに出力し、処理をステップＳ１８に進める。

一方、ステップＳ１３でddr_class_gが１であると判定された場合、処理はステップＳ１５に進む。ステップＳ１５において、Ｇ補間部１２は、入力されたロー信号から、ステップＳ１１の形状判定処理で判定されたくさび型の方向（Ｈ方向またはＶ方向）と垂直の方向にＧ補間画素と隣接する２つのＧ画素のロー信号を抽出する。

ステップＳ１６において、Ｇ補間部１２は、抽出されたＧ画素のロー信号を用いて、Ｇ補間画素の緑色の画像信号を生成し、選択部１４に供給する。

ステップＳ１７において、選択部１４は、Ｇ補間部１２からの緑色の画像信号を選択する。選択部１４は、選択された緑色の画像信号をＲ生成部１６とＢ生成部１７に供給するとともに出力し、処理をステップＳ１８に進める。

ステップＳ１８において、Ｒ生成部１６は、Ｒ補間画素ごとに、選択部１４から供給される緑色の画像信号と仮想色差（R-G）とに基づいて、赤色の画像信号を生成する。この仮想色差（R-G）は、遅延部１５により遅延されたロー信号と緑色の画像信号とに基づいて、Ｒ補間画素ごとに生成される。Ｒ生成部１６は、Ｒ補間画素の赤色の画像信号とＲ画素のロー信号とを、ロー信号に対応する画像の赤色の画像信号として出力する。

ステップＳ１９において、Ｂ生成部１７は、Ｂ補間画素ごとに、選択部１４から供給される緑色の画像信号と仮想色差（B-G）とに基づいて、青色の画像信号を補間する。この仮想色差（B-G）は、遅延部１５から供給されるロー信号と緑色の画像信号とに基づいて、Ｂ補間画素ごとに生成される。Ｂ生成部１７は、Ｂ補間画素の青色の画像信号とＢ画素のロー信号とを、ロー信号に対応する画像の青色の画像信号として出力する。そして、処理は終了する。

図９は、図８のステップＳ１１の形状判定処理の詳細を説明するフローチャートである。

図９のステップＳ３１において、形状判定部１１は、入力されるロー信号に基づいて、Ｇ補間画素とその周辺の画素からなる形状判定画素群のＧ画素のロー信号のダイナミックレンジLocalGDRを算出する。

例えば、図１０に示すように、Ｇ補間画素がＲ画素ｒ２である場合、形状判定部１１は、Ｒ画素ｒ２を中心とした５×３画素、および、その５×３画素の上下の行の画素ｒ２のＨ方向の位置を中心とした３画素の合計２１個の画素を形状判定画素群として抽出する。そして、形状判定部１１は、形状判定画素群のうちの１２個のＧ画素ｇ０乃至ｇ１１のロー信号の最大値と最小値を検出し、最大値から最小値を減算した減算値をダイナミックレンジLocalGDRとして算出する。

ステップＳ３２において、形状判定部１１は、形状判定画素群の中央の３つの水平ライン（Ｈ方向のライン）および３つの垂直ライン（Ｖ方向のライン）について、１つ飛んで隣接する画素どうしのロー信号の差分の最大値を算出する。

具体的には、形状判定部１１は、形状判定画素群の中央の３つの水平ラインについて、以下の式（３）により、最大値h_ddiffmax0乃至h_ddiffmax2を算出する。

また、形状判定部１１は、形状判定画素群の中央の３つの垂直ラインについて、以下の式（４）により、最大値v_ddiffmax0乃至v_ddiffmax2を算出する。

ステップＳ３３において、形状判定部１１は、各水平ラインの最大値h_ddiffmax0乃至h_ddiffmax2の総和h_ddiffmaxと、各垂直ラインの最大値v_ddiffmax0乃至v_ddiffmax2の総和v_ddiffmaxを算出する。

ステップＳ３４において、形状判定部１１は、総和h_ddiffmaxが総和v_ddiffmax以下であるかどうかを判定する。ステップＳ３４で総和h_ddiffmaxが総和v_ddiffmax以下であると判定された場合、処理はステップＳ３５に進む。

ステップＳ３５において、形状判定部１１は、Ｇ補間画素の存在する中央の水平ラインの最大値h_ddiffmax1をDDrMinとし、その水平ラインと隣接する水平ラインの最大値h_ddiffmax0およびh_ddiffmax2のうちの小さい方をDDrMin1とする。なお、形状判定部１１は、最大値h_ddiffmax0と最大値h_ddiffmax2が同一である場合、その同一の値をDDrMin1とする。

ステップＳ３６において、形状判定部１１は、判定するくさび型の方向を表すｈｖを、Ｖ方向を表す０に設定する。このｈｖは、Ｇ補間部１２に供給され、図８のステップＳ１５でロー信号を抽出する際、Ｇ補間部１２により用いられる。

一方、ステップＳ３４で総和h_ddiffmaxが総和v_ddiffmax以下ではないと判定された場合、処理はステップＳ３７に進む。

ステップＳ３７において、形状判定部１１は、Ｇ補間画素の存在する中央の垂直ラインの最大値v_ddiffmax1をDDrMinとし、その垂直ラインと隣接する垂直ラインの最大値v_ddiffmax0およびv_ddiffmax2のうちの小さい方をDDrMin1とする。なお、形状判定部１１は、最大値v_ddiffmax0と最大値v_ddiffmax2が同一である場合、その同一の値をDDrMin1とする。

ステップＳ３８において、形状判定部１１は、判定するくさび型の方向を表すｈｖを、Ｈ方向を表す１に設定する。このｈｖは、Ｇ補間部１２に供給され、図８のステップＳ１５でロー信号を抽出する際、Ｇ補間部１２により用いられる。

ステップＳ３６またはステップＳ３８の処理後、処理はステップＳ３９に進む。ステップＳ３９において、形状判定部１１は、ロー信号が表す色がグレーであるかどうかを表すgray_modeを算出するgray_mode算出処理を行う。このgray_mode算出処理の詳細は、後述する図１１を参照して説明する。

ステップＳ４０において、形状判定部１１は、gray_mode算出処理により算出されたgray_modeが、ロー信号が表す色がグレーではないことを表す０であるかどうかを判定する。ステップＳ４０でgray_modeが０であると判定された場合、ステップＳ４１において、形状判定部１１は、DDrMinがダイナミックレンジLocalGDRのk0倍以下であるかどうかを判定する。

ステップＳ４１でDDrMinがダイナミックレンジLocalGDRのk0倍以下であると判定された場合、処理はステップＳ４２に進む。ステップＳ４２において、形状判定部１１は、DDrMin1がダイナミックレンジLocalGDRのk1倍以下であるかどうかを判定する。

ステップＳ４２でDDrMin1がダイナミックレンジLocalGDRのk1倍以下であると判定された場合、処理はステップＳ４３に進む。ステップＳ４３において、形状判定部１１は、DDrMinがk5より小さいかどうかを判定する。ステップＳ４３でDDrMinがk5より小さいと判定された場合、処理はステップＳ４４に進む。

ステップＳ４４において、形状判定部１１は、ddr_class_gをロー信号の形状がくさび型であることを判定結果として表す１に設定し、Ｇ補間部１２と選択部１４に供給する。そして、処理は図８のステップＳ１１に戻り、ステップＳ１２に進む。

一方、ステップＳ４１でDDrMinがダイナミックレンジLocalGDRのk0倍以下ではないと判定された場合、ステップＳ４２でDDrMin1がダイナミックレンジLocalGDRのk1倍以下ではないと判定された場合、または、ステップＳ４３でDDrMinがk5より小さくはないと判定された場合、処理はステップＳ４５に進む。

ステップＳ４５において、形状判定部１１は、ddr_class_gをロー信号の形状がくさび型ではないことを判定結果として表す０に設定し、Ｇ補間部１２と選択部１４に供給する。そして、処理は図８のステップＳ１１に戻り、ステップＳ１２に進む。

また、ステップＳ４０でgray_modeが０ではないと判定された場合、処理はステップＳ４６に進む。ステップＳ４６において、形状判定部１１は、DDrMinがダイナミックレンジLocalGDRのk2倍以下であるかどうかを判定する。

ステップＳ４６でDDrMinがダイナミックレンジLocalGDRのk2倍以下であると判定された場合、処理はステップＳ４７に進む。ステップＳ４７において、形状判定部１１は、DDrMin1がダイナミックレンジLocalGDRのk3倍以下であるかどうかを判定する。

ステップＳ４７でDDrMin1がダイナミックレンジLocalGDRのk3倍以下であると判定された場合、処理はステップＳ４８に進む。ステップＳ４８において、形状判定部１１は、DDrMinがk4より小さいかどうかを判定する。ステップＳ４８でDDrMinがk4より小さいと判定された場合、処理はステップＳ４４に進み、上述した処理を行う。

一方、ステップＳ４６でDDrMinがダイナミックレンジLocalGDRのk2倍以下ではないと判定された場合、ステップＳ４７でDDrMin1がダイナミックレンジLocalGDRのk3倍以下ではないと判定された場合、または、ステップＳ４８でDDrMinがk4より小さくはないと判定された場合、処理はステップＳ４９に進む。

ステップＳ４９において、形状判定部１１は、ddr_class_gを０に設定し、Ｇ補間部１２と選択部１４に供給する。そして、処理は図８のステップＳ１１に戻り、ステップＳ１２に進む。

以上のように、形状判定部１１は、gray_modeが１である場合と０である場合とで、異なる閾値を用いて、ddr_class_gを決定する。即ち、形状判定部１１は、ロー信号が表す色がグレーであるかどうかに応じた閾値を用いて、ロー信号の形状がくさび型であることを判定する。

図１１は、図９のgray_mode算出処理の詳細を説明するフローチャートである。

図１１のステップＳ６１において、形状判定部１１は、入力されたロー信号から、Ｇ補間画素とその周囲の画素からなるグレー算出画素群のロー信号を抽出する。例えば、Ｇ補間画素が図１２のＢ画素９０である場合、形状判定部１１は、Ｂ画素９０を中心とした５×５画素からなるグレー算出画素群９１のロー信号を抽出する。

なお、図１２において、Ｒが付された丸はＲ画素を表し、Ｇが付された丸はＧ画素を表し、Ｂが付された丸はＢ画素を表す。これらのことは、後述する図１３乃至図１５においても同様である。

ステップＳ６２において、形状判定部１１は、グレー算出画素群内のＲ画素とＢ画素の補間信号ｇとして、そのＲ画素とＢ画素の上下左右に隣接するＧ画素のロー信号の平均値を生成する。例えば、形状判定部１１は、図１３に示すように、Ｒ画素またはＢ画素である画素９２の補間信号ｇとして、その画素９２の上下左右に隣接するＧ画素９２ａ乃至９２ｄのロー信号の平均値を生成する。

ステップＳ６３において、形状判定部１１は、グレー算出画素群内のＧ画素のロー信号と補間信号ｇの平均値を、代表信号Ｄｇとして生成する。

ステップＳ６４において、形状判定部１１は、グレー算出画素群内のＧ画素の補間信号ｒとして、そのＧ画素の左右に隣接するＲ画素のロー信号の平均値を生成する。例えば、形状判定部１１は、図１４に示すように、Ｇ画素９３の補間信号ｒとして、Ｇ画素９３の左右に隣接するＲ画素９３ａと９３ｂのロー信号の平均値を生成する。

ステップＳ６５において、形状判定部１１は、グレー算出画素群内の補間信号ｒからＧ画素のロー信号を減算した減算値と、グレー算出画素群内のＲ画素のロー信号から補間信号ｇを減算した減算値の平均値を求める。

ステップＳ６６において、形状判定部１１は、ステップＳ６５で求められた平均値と代表信号Ｄｇを加算して、代表信号Ｄｒとする。

ステップＳ６７において、形状判定部１１は、グレー算出画素群内のＧ画素の補間信号ｂとして、そのＧ画素の上下に隣接するＢ画素のロー信号の平均値を生成する。例えば、形状判定部１１は、図１５に示すように、Ｇ画素９４の補間信号ｂとして、Ｇ画素９４の上下に隣接するＢ画素９４ａと９４ｂのロー信号の平均値を生成する。

ステップＳ６８において、形状判定部１１は、グレー算出画素群内の補間信号ｂからＧ画素のロー信号を減算した減算値と、グレー算出画素群内のＢ画素のロー信号から補間信号ｇを減算した減算値の平均値を求める。

ステップＳ６９において、形状判定部１１は、ステップＳ６８で求められた平均値と代表信号Ｄｇを加算して、代表信号Ｄｂとする。

ステップＳ７０において、形状判定部１１は、代表信号Ｄrと代表信号Ｄｇの差分Δｒｇ、および、代表信号Ｄｂと代表信号Ｄｇの差分Δｂｇを求める。ステップＳ７１において、形状判定部１１は、差分ΔｒｇとΔｂｇの大きい方の値が閾値以上であるかどうかを判定する。

ステップＳ７１で差分ΔｒｇとΔｂｇの大きい方の値が閾値以上であると判定された場合、ステップＳ７２において、形状判定部１１は、gray_modeを0に設定する。そして、処理は図９のステップＳ３９に戻り、ステップＳ４０に進む。

一方、ステップＳ７１で差分ΔｒｇとΔｂｇの大きい方の値が閾値以上ではないと判定された場合、ステップＳ７３において、形状判定部１１は、gray_modeを1に設定する。そして、処理は図９のステップＳ３９に戻り、ステップＳ４０に進む。

図１６は、図８のステップＳ１２のＧ生成処理の詳細を説明するフローチャートである。

図１６のステップＳ９１乃至Ｓ９８の処理は、図４の水平方向演算部５１と垂直方向演算部５２においてそれぞれ行われるが、垂直方向演算部５２の処理は、Ｈ方向がＶ方向に代わる点を除いて、水平方向演算部５１の処理と同様であるため、以下では、水平方向演算部５１の処理についてのみ説明する。

ステップＳ９１において、水平方向演算部５１の抽出部７１（図５）は、入力されるロー信号からＧ補間画素群のロー信号を抽出し、色差生成部７２に供給する。

ステップＳ９２において、色差生成部７２は、抽出部７１から供給されるＧ補間画素群のうちの連続する３個の画素のロー信号を用いて、ロー信号の色差（B-G，R-G）を端から順に生成する。色差生成部７２は、その結果得られる９個の色差を色差平滑部７３に供給する。また、色差生成部７２は、９個の色差のうちの、Ｇ補間画素を中心としてＨ方向に２個ずつ並ぶ画素に対応する５個の色差を分散演算部７５に供給する。さらに、色差生成部７２は、Ｇ補間画素に対応する色差をαブレンド部７８に供給する。

ステップＳ９３において、色差平滑部７３は、色差生成部７２から供給される９個の色差のうちの連続する５個の色差の平均値を端から順に求めることにより、色差を平滑化する。色差平滑部７３は、その結果得られる５個の色差の平滑化値を、平均部７４、分散演算部７５、および分散演算部７６に供給する。

ステップＳ９４において、平均部７４は、色差平滑部７３から供給される５個の色差の平滑化値の平均値を求め、分散演算部７６とαブレンド部７８に供給する。

ステップＳ９５において、分散演算部７５は、色差生成部７２から供給される５個の色差と色差平滑部７３から供給される５個の色差の平滑化値の分散値を算出し、α決定部７７に供給する。

ステップＳ９６において、分散演算部７６は、色差平滑部７３から供給される５個の色差の平滑化値と平均部７４から供給される平均値との分散値を算出する。分散演算部７５は、分散値をα決定部７７に供給するとともに、Ｈ方向の重み係数として図４のα決定部５３に供給する。

ステップＳ９７において、α決定部７７は、分散演算部７５から供給される分散値と分散演算部７６から供給される分散値とに基づいて、αブレンド部７８におけるαブレンドのαを決定し、αブレンド部７８に供給する。

ステップＳ９８において、αブレンド部７８は、α決定部７７から供給されるαに基づいて、色差生成部７２から供給されるＧ補間画素に対応する色差と平均部７４から供給される平均値とをαブレンドする。αブレンド部５４は、αブレンド結果をＧ補間画素のＨ方向の色差（B-G，R-G）の候補として図４のαブレンド部５４に供給する。

垂直方向演算部５２では、上述したステップＳ９１乃至Ｓ９８の処理と同様の処理がＶ方向について行われ、Ｖ方向の色差（B-G，R-G）の候補がαブレンド部５４に供給され、重み係数がα決定部５３に供給される。

ステップＳ９９において、α決定部５３は、水平方向演算部５１から供給されるＨ方向の重み係数とＶ方向の重み係数とに基づいて、αブレンド部５４におけるαブレンドのαを決定し、αブレンド部５４に供給する。

ステップＳ１００において、αブレンド部５４は、α決定部５３から供給されるαに基づいて、水平方向演算部５１から供給されるＨ方向の色差（B-G，R-G）の候補と垂直方向演算部５２から供給されるＶ方向の色差（B-G，R-G）の候補をαブレンドする。αブレンド部５４は、αブレンド結果を加算部５５に供給する。

ステップＳ１０１において、加算部５５は、αブレンド結果とＧ補間画素のロー信号とを加算し、Ｇ補間画素の緑色の画像信号を生成する。加算部５５は、Ｇ補間画素の緑色の画像信号を図１の選択部１４に供給する。そして、処理は図８のステップＳ１２に戻り、ステップＳ１３に進む。

以上のように、画像処理装置１０は、ロー信号の形状が、DLMMSE法を用いたデモザイク処理によってジッパーノイズが発生しやすいくさび型である場合、Ｇ画素のロー信号のみを用いて緑色の画像信号を生成する。従って、画像信号におけるジッパーノイズと呼ばれる画質劣化を低減することができる。

また、画像処理装置１０は、Ｇ補間画素のロー信号の形状がくさび型ではない場合、そのＧ補間画素の緑色の画像信号をDLMMSE法により生成する。従って、全てのＧ補間画素の緑色の画像信号がＧ画素のロー信号のみを用いて生成される場合に比べて、画像信号の解像度を向上させることができる。

＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図１７は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。

図１７の画像処理装置１００は、代表ＲＧＢ演算部１０１と形状判定形状判定部１０２を有する。画像処理装置１００は、Ｇクラスタップ抽出部１０３−１、Ｒクラスタップ抽出部１０３−２、Ｂクラスタップ抽出部１０３−３、Ｇ予測タップ抽出部１０４−１、Ｒ予測タップ抽出部１０４−２、およびＢ予測タップ抽出部１０４−３を有する。また、画像処理装置１００は、Ｇ変換部１０５−１および１０５−２、Ｒ変換部１０５−３および１０５−４、並びに、Ｂ変換部１０５−５および１０５−６を有する。

画像処理装置１００は、Ｇクラス分類部１０６−１、Ｒクラス分類部１０６−２、Ｂクラス分類部１０６−３、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３を有する。画像処理装置１００は、Ｇ積和演算部１０８−１、Ｒ積和演算部１０８−２、およびＢ積和演算部１０８−３を有する。画像処理装置１００は、図示せぬ単板イメージセンサにより撮像されたロー信号に対して、クラス分類適応処理によりデモザイク処理を行う。

具体的には、画像処理装置１００の代表ＲＧＢ演算部１０１は、デモザイク処理により生成する画像信号に対応する画像のうちの各画素を、順に、注目している画素である注目画素とする。代表ＲＧＢ演算部１０１は、図示せぬ単板イメージセンサから入力されるロー信号を用いて、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップ(詳細は後述する)の代表信号Ｄｒ，Ｄｂ、およびＤｇを演算する。具体的には、代表ＲＧＢ演算部１０１は、グレー算出画素群を、Ｇクラスタップ、Ｒクラスタップ、Ｂクラスタップに対応する画素群に代えて、図１１のステップＳ６１乃至Ｓ６９の処理を行う。

なお、Ｇクラスタップは、注目画素の緑色の画像信号の生成時のクラス分類に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号からなる。Ｒクラスタップは、注目画素の赤色の画像信号の生成時のクラス分類に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号と緑色の画像信号とからなる。Ｂクラスタップは、注目画素の青色の画像信号の生成時のクラス分類に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号と緑色の画像信号とからなる。

また、代表ＲＧＢ演算部１０１は、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップ（詳細は後述する）の代表信号Ｄｒ，Ｄｂ、およびＤｇを演算する。具体的には、代表ＲＧＢ演算部１０１は、グレー算出画素群を、Ｇ予測タップ、Ｒ予測タップ、Ｂ予測タップに対応する画素群に代えて、図１１のステップＳ６１乃至Ｓ６９の処理を行う。

なお、Ｇ予測タップは、注目画素の緑色の画像信号の生成に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号からなる。Ｒ予測タップは、注目画素の赤色の画像信号の生成に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号と緑色の画像信号とからなる。Ｂ予測タップは、注目画素の青色の画像信号の生成に用いられる信号であり、注目画素に対応する位置の周辺に位置する複数の画素のロー信号と緑色の画像信号とからなる。

代表ＲＧＢ演算部１０１は、代表信号Ｄｒ，Ｄｂ、およびＤｇを生成する際、Ｇクラスタップ、Ｒクラスタップ、Ｂクラスタップ、Ｇ予測タップ、Ｒ予測タップ、Ｇ予測タップに対応する画素群ではなく、その画素群を含む画素群の信号を用いるようにしてもよい。即ち、代表ＲＧＢ演算部１０１は、図１１のステップＳ６１乃至Ｓ６９の処理におけるグレー算出画素群を、Ｇクラスタップ、Ｒクラスタップ、Ｂクラスタップ、Ｇ予測タップ、Ｒ予測タップ、Ｇ予測タップを含む画素群に代えることにより、代表信号Ｄｒ，Ｄｂ、およびＤｇを生成するようにしてもよい。

代表ＲＧＢ演算部１０１は、Ｇクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＧ変換部１０５−１に供給し、Ｒクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＲ変換部１０５−３に供給する。また、代表ＲＧＢ演算部１０１は、Ｂクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＢ変換部１０５−５に供給する。

また、代表ＲＧＢ演算部１０１は、Ｇ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＧ変換部１０５−２に供給し、Ｒ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＲ変換部１０５−４に供給する。また、代表ＲＧＢ演算部１０１は、Ｂ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＢ変換部１０５−６に供給する。

形状判定部１０２は、図示せぬ単板イメージセンサから入力されるロー信号に基づいて、注目画素に対応する画素のロー信号の形状がくさび型であるかどうかを判定する形状判定処理を行う。この形状判定処理は、Ｇ補間画素が注目画素に対応する画素に代わる点を除いて、図９の形状判定処理と同一である。形状判定部１０２は、判定結果を表すddr_class_gをＧクラスタップ抽出部１０３−１、Ｇ予測タップ抽出部１０４−１、およびＧ係数メモリ１０７−１に供給する。

Ｇクラスタップ抽出部１０３−１は、形状判定部１０２から供給されるddr_class_gに基づいて、図示せぬ単板イメージセンサから入力されるロー信号からＧクラスタップを抽出し、Ｇ変換部１０５−１に供給する。

Ｒクラスタップ抽出部１０３−２は、図示せぬ単板イメージセンサから入力されるロー信号とＧ積和演算部１０８−１から供給される緑色の画像信号とから、Ｒクラスタップを抽出し、Ｒ変換部１０５−３に供給する。Ｂクラスタップ抽出部１０３−３は、図示せぬ単板イメージセンサから入力されるロー信号とＧ積和演算部１０８−１から供給される緑色の画像信号とから、Ｂクラスタップを抽出し、Ｂ変換部１０５−５に供給する。

Ｇ予測タップ抽出部１０４−１は、形状判定部１０２から供給されるddr_class_gに基づいて、図示せぬ単板イメージセンサから入力されるロー信号からＧ予測タップを抽出し、Ｇ変換部１０５−２に供給する。

Ｒ予測タップ抽出部１０４−２は、図示せぬ単板イメージセンサから入力されるロー信号とＧ積和演算部１０８−１から供給される緑色の画像信号とから、Ｒ予測タップを抽出し、Ｒ変換部１０５−４に供給する。Ｂ予測タップ抽出部１０４−３は、図示せぬ単板イメージセンサから入力されるロー信号とＧ積和演算部１０８−１から供給される緑色の画像信号とからＢ予測タップを抽出し、Ｂ変換部１０５−６に供給する。

Ｇ変換部１０５−１は、代表ＲＧＢ演算部１０１から供給されるＧクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇクラスタップ抽出部１０３−１から供給されるＧクラスタップに対して、以下の式（５）によりＧ変換処理を行う。

Ｇ’＝Ｇ
Ｒ’＝Ｒ−（Ｄｒ−Ｄｇ）
Ｂ’＝Ｂ−（Ｄｂ−Ｄｇ）
・・・（５）

式（５）において、Ｇは、ＧクラスタップのうちのＧ画素のロー信号を表し、Ｇ´は、Ｇ変換処理後のＧ画素のロー信号を表す。Ｒは、ＧクラスタップのうちのＲ画素のロー信号を表し、Ｒ´は、Ｇ変換処理後のＲ画素のロー信号を表す。Ｂは、ＧクラスタップのうちのＢ画素のロー信号を表し、Ｂ´は、Ｇ変換処理後のＢ画素のロー信号を表す。

このようなＧ変換処理が施されることにより、Ｇクラスタップ内のＲ画素およびＢ画素のロー信号が、Ｇ画素のロー信号を基準としてオフセットされる。これにより、Ｇクラスタップの画素間の色の違いによる変化を除去することができる。その結果、Ｇクラスタップの画素間の相関性を高めることができる。Ｇ変換部１０５−１は、Ｇ変換処理後のＧクラスタップをＧクラス分類部１０６−１に供給する。

Ｇ変換部１０５−２は、代表ＲＧＢ演算部１０１から供給されるＧ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇ予測タップ抽出部１０４−１から供給されるＧ予測タップに対して、Ｇ変換部１０５−１によるＧ変換処理と同様のＧ変換処理を行う。Ｇ変換部１０５−２は、Ｇ変換処理後のＧ予測タップをＧ積和演算部１０８−１に供給する。

Ｒ変換部１０５−３は、代表ＲＧＢ演算部１０１から供給されるＲクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｒクラスタップ抽出部１０３−２から供給されるＲクラスタップに対して、以下の式（６）によりＲ変換処理を行う。

Ｇ’＝Ｇ−（Ｄｇ−Ｄｒ）
Ｒ’＝Ｒ
Ｂ’＝Ｂ−（Ｄｂ−Ｄｒ）
・・・（６）

式（６）において、Ｇは、ＲクラスタップのうちのＧ画素のロー信号および緑色の画像信号を表し、Ｇ´は、Ｇ変換処理後のＧ画素のロー信号および緑色の画像信号を表す。Ｒは、ＲクラスタップのうちのＲ画素のロー信号および緑色の画像信号を表し、Ｒ´は、Ｇ変換処理後のＲ画素のロー信号および緑色の画像信号を表す。Ｂは、ＲクラスタップのうちのＢ画素のロー信号および緑色の画像信号を表し、Ｂ´は、Ｇ変換処理後のＢ画素のロー信号および緑色の画像信号を表す。

このようなＲ変換処理が施されることにより、Ｒクラスタップ内のＧ画素およびＢ画素のロー信号が、Ｒ画素のロー信号を基準としてオフセットされる。これにより、Ｒクラスタップの画素間の色の違いによる変化を除去することができる。その結果、Ｒクラスタップの画素間の相関性を高めることができる。Ｒ変換部１０５−３は、Ｒ変換処理後のＲクラスタップをＲクラス分類部１０６−２に供給する。

Ｒ変換部１０５−４は、代表ＲＧＢ演算部１０１から供給されるＲ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｒ予測タップ抽出部１０４−２から供給されるＲ予測タップに対して、Ｒ変換部１０５−３によるＲ変換処理と同様のＲ変換処理を行う。Ｒ変換部１０５−４は、Ｒ変換処理後のＲ予測タップをＲ積和演算部１０８−２に供給する。

Ｂ変換部１０５−５は、代表ＲＧＢ演算部１０１から供給されるＢクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｂクラスタップ抽出部１０３−３から供給されるＢクラスタップに対して、以下の式（７）によりＢ変換処理を行う。

Ｇ’＝Ｇ−（Ｄｇ−Ｄｂ）
Ｒ’＝Ｒ−（Ｄｒ−Ｄｂ）
Ｂ’＝Ｂ
・・・（７）

式（６）において、Ｇは、ＢクラスタップのうちのＧ画素のロー信号および緑色の画像信号を表し、Ｇ´は、Ｇ変換処理後のＧ画素のロー信号および緑色の画像信号を表す。Ｒは、ＢクラスタップのうちのＲ画素のロー信号および緑色の画像信号を表し、Ｒ´は、Ｇ変換処理後のＲ画素のロー信号および緑色の画像信号を表す。Ｂは、ＢクラスタップのうちのＢ画素のロー信号および緑色の画像信号を表し、Ｂ´は、Ｇ変換処理後のＢ画素のロー信号および緑色の画像信号を表す。

このようなＢ変換処理が施されることにより、Ｂクラスタップ内のＧ画素およびＲ画素のロー信号が、Ｂ画素のロー信号を基準としてオフセットされる。これにより、Ｂクラスタップの画素間の色の違いによる変化を除去することができる。その結果、Ｂクラスタップの画素間の相関性を高めることができる。Ｂ変換部１０５−５は、Ｂ変換処理後のＢクラスタップをＢクラス分類部１０６−３に供給する。

Ｂ変換部１０５−６は、代表ＲＧＢ演算部１０１から供給されるＢ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｂ予測タップ抽出部１０４−３から供給されるＢ予測タップに対して、Ｂ変換部１０５−５によるＢ変換処理と同様のＢ変換処理を行う。Ｂ変換部１０５−６は、Ｂ変換処理後のＢ予測タップをＲ積和演算部１０８−２に供給する。

Ｇクラス分類部１０６−１は、Ｇ変換部１０５−１から供給されるＧクラスタップに対してADRC(Adaptive Dynamic Range Coding)処理を行い、再量子化コードを生成する。具体的には、Ｇクラス分類部１０６−１は、ADRC処理として、以下の式（８）により、Ｇクラスタップの最大値MAXと最小値MINの間を指定されたビット数ｐで均等に分割して再量子化する処理を行う。

式（８）において、［］は、［］内の値の小数点以下を切り捨てることを意味する。また、kiは、Ｇクラスタップのi番目のロー信号を表し、qiは、Ｇクラスタップのi番目のロー信号の再量子化コードを表す。また、DRは、ダイナミックレンジであり、MAX-MIN+1である。

Ｇクラス分類部１０６−１は、再量子化コードに基づいて注目画素をクラスに分類する。具体的には、Ｇクラス分類部１０６−１は、再量子化コードを用いて、以下の式（９）により、クラスを表すクラスコードclassを算出する。

式（９）において、ｎは、Ｇクラスタップに対応する画素の数である。Ｇクラス分類部１０６−１は、クラスコードをＧ係数メモリ１０７−１に供給する。

なお、クラスコードを算出する方法としては、ADRCを用いる方法の他に、DCT(Discrete Cosine Transform)，VQ(Vector Quantization)，DPCM（differential pulse code modulation）などのデータ圧縮方式を応用し、データ圧縮した結果のデータ量をクラスコードとする方法などを用いることもできる。

Ｒクラス分類部１０６−２は、Ｒ変換部１０５−３から供給されるＲクラスタップに対して、Ｇクラス分類部１０６−１と同様にADRC処理を行い、再量子化コードを生成する。Ｒクラス分類部１０６−２は、Ｇクラス分類部１０６−１と同様に、再量子化コードに基づいて注目画素をクラスに分類する。Ｒクラス分類部１０６−２は、その結果得られるクラスコードをＲ係数メモリ１０７−２に供給する。

Ｂクラス分類部１０６−３は、Ｂ変換部１０５−５から供給されるＢクラスタップに対して、Ｇクラス分類部１０６−１と同様にADRC処理を行い、再量子化コードを生成する。Ｂクラス分類部１０６−３は、Ｇクラス分類部１０６−１と同様に、再量子化コードに基づいて注目画素をクラスに分類する。Ｂクラス分類部１０６−３は、その結果得られるクラスコードをＢ係数メモリ１０７−３に供給する。

Ｇ係数メモリ１０７−１は、クラスコードとddr_class_gとに対応付けてＧ予測係数を記憶する。このＧ予測係数は、後述するように、クラスコードとddr_class_gごとに、緑色の画像信号に対応する教師信号と、ロー信号に対応する生徒信号とを用いて、各画素の教師信号、その画素に対応する画素の生徒信号、および予測係数の関係を示す正規方程式を解くことにより予め学習された予測係数である。

Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から供給されるクラスコードと形状判定部１０２から供給されるddr_class_gとに対応づけて記憶されているＧ予測係数を読み出し、Ｇ積和演算部１０８−１に供給する。

Ｒ係数メモリ１０７−２は、クラスコードに対応付けてＲ予測係数を記憶する。このＲ予測係数は、後述するように、クラスコードごとに、赤色の画像信号に対応する教師信号と、ロー信号に対応する生徒信号とを用いて、各画素の教師信号、その画素に対応する画素の生徒信号、および予測係数の関係を示す正規方程式を解くことにより予め学習された予測係数である。Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から供給されるクラスコードに対応づけて記憶されているＲ予測係数を読み出し、Ｒ積和演算部１０８−２に供給する。

Ｂ係数メモリ１０７−３は、クラスコードに対応付けてＢ予測係数を記憶する。このＢ予測係数は、後述するように、クラスコードごとに、青色の画像信号に対応する教師信号と、ロー信号に対応する生徒信号とを用いて、各画素の教師信号、その画素に対応する画素の生徒信号、および予測係数の関係を示す正規方程式を解くことにより予め学習された予測係数である。Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から供給されるクラスコードに対応づけて記憶されているＢ予測係数を読み出し、Ｂ積和演算部１０８−３に供給する。

Ｇ積和演算部１０８−１は、Ｇ係数メモリ１０７−１から読み出されたＧ予測係数と、Ｇ変換部１０５−２から供給されるＧ予測タップとの予測演算により、注目画素の緑色の画像信号を生成する。Ｇ積和演算部１０８−１は、注目画素の緑色の画像信号をＲクラスタップ抽出部１０３−２、Ｂクラスタップ抽出部１０３−３、Ｒ予測タップ抽出部１０４−２、およびＢ予測タップ抽出部１０４−３に供給するとともに、出力する。

Ｒ積和演算部１０８−２は、Ｒ係数メモリ１０７−２から読み出されたＲ予測係数と、Ｒ変換部１０５−４から供給されるＲ予測タップとの予測演算により、注目画素の赤色の画像信号を生成し、出力する。

Ｂ積和演算部１０８−３は、Ｂ係数メモリ１０７−３から読み出されたＢ予測係数と、Ｂ変換部１０５−６から供給されるＢ予測タップとの予測演算により、注目画素の青色の画像信号を生成し、出力する。

以上のようにして、画像処理装置１００のＧクラスタップ抽出部１０３−１，Ｇ予測タップ抽出部１０４−１、Ｇ変換部１０５−１、Ｇ変換部１０５−２、Ｇクラス分類部１０６−１、Ｇ係数メモリ１０７−１、およびＧ積和演算部１０８−１は、クラス分類適応処理により緑色の画像信号を生成する緑色補間部として機能する。

また、Ｒクラスタップ抽出部１０３−２，Ｒ予測タップ抽出部１０４−２、Ｒ変換部１０５−３、Ｒ変換部１０５−４、Ｒクラス分類部１０６−２、Ｒ係数メモリ１０７−２、およびＲ積和演算部１０８−２は、クラス分類適応処理により赤色の画像信号を生成する赤色補間部として機能する。Ｂクラスタップ抽出部１０３−３，Ｂ予測タップ抽出部１０４−３、Ｂ変換部１０５−５、Ｂ変換部１０５−６、Ｂクラス分類部１０６−３、Ｂ係数メモリ１０７−３、およびＢ積和演算部１０８−３は、クラス分類適応処理により青色の画像信号を生成する青色補間部おして機能する。

（タップ構造の例）
図１８は、Ｇクラスタップ、Ｒクラスタップ、Ｂクラスタップ、Ｇ予測タップ、Ｒクラスタップ、およびＧクラスタップのタップ構造の例を示す図である。

なお、図１８において、Ｒが付された丸はＲ画素のロー信号を表し、Ｇが付された丸はＧ画素のロー信号を表し、Ｂが付された丸はＢ画素のロー信号を表す。また、ｇが付された丸は、その丸を含む丸が表す画素に対応する画素の緑色の画像信号を表す。

図１８の例では、図中色が付された丸が表すＲ画素のロー信号に対応する画素が注目画素とされている。この場合、ddr_class_gが０であるとき、ＧクラスタップおよびＧ予測タップは、図１８Ａに示すように、図中外周に太線が付された丸で表される、注目画素に対応するＲ画素を中心とした３×３画素のロー信号により構成される。即ち、ロー信号の形状がくさび型ではない場合、ＧクラスタップおよびＧ予測タップは、Ｒ画素、Ｇ画素、およびＢ画素のロー信号からなる。

一方、ddr_class_gが１であるとき、ＧクラスタップおよびＧ予測タップは、図１８Ｂに示すように、図中外周に太線が付された丸で表される、注目画素に対応するＲ画素に上下左右で最も近い４つのＧ画素のロー信号により構成される。即ち、ロー信号の形状がくさび型である場合、ＧクラスタップおよびＧ予測タップは、Ｇ画素のロー信号のみからなる。

また、図１８Ｃに示すように、ＲクラスタップおよびＲ予測タップは、図中外周に太線が付された丸で表される、注目画素に対応するＲ画素、および、そのＲ画素の右側と下側で最も近いＲ画素のロー信号を含む。また、ＲクラスタップおよびＲ予測タップは、図中外周に太線が付された丸で表される、注目画素および注目画素と上下左右に隣接する画素の緑色の画像信号を含む。即ち、ＲクラスタップおよびＲ予測タップは、３個のＲ画素のロー信号と５個の画素の緑色の画像信号とにより構成される。

また、図１８Ｄに示すように、ＢクラスタップおよびＢ予測タップは、図中外周に太線が付された丸で表される、注目画素に対応するＲ画素の右上側、右下側、および左下側で最も近いＢ画素のロー信号を含む。また、ＢクラスタップおよびＢ予測タップは、図中外周に太線が付された丸で表される、注目画素および注目画素と上下左右に隣接する画素の緑色の画像信号を含む。即ち、ＢクラスタップおよびＢ予測タップは、３個のＢ画素のロー信号と５個の画素の緑色の画像信号とにより構成される。

なお、図１８の例では、注目画素がＲ画素に対応する画素とされているが、注目画素がＧ画素に対応する画素である場合も、以下のことを除いて同様である。

注目画素がＧ画素に対応する画素である場合には、ddr_class_gが１であるとき、ＧクラスタップおよびＧ予測タップは、例えば、注目画素に対応するＧ画素と、そのＧ画素に上下左右で最も近い４つのＧ画素のロー信号により構成される。また、ＲクラスタップおよびＲ予測タップとしては、注目画素に対応するＲ画素、および、そのＲ画素の右側と下側で最も近いＲ画素のロー信号の代わりに、注目画素に対応するＧ画素に最も近いＲ画素、および、そのＲ画素の右側と下側で最も近いＲ画素のロー信号が選択される。

また、注目画素がＢ画素に対応する画素である場合には、以下のことを除いて同様である。

注目画素がＢ画素に対応する画素である場合には、ＲクラスタップおよびＲ予測タップとしては、注目画素に対応するＲ画素、および、そのＲ画素の右側と下側で最も近いＲ画素のロー信号の代わりに、注目画素に対応するＢ画素に最も近いＲ画素、および、そのＲ画素の右側と下側の最も近いＲ画素のロー信号が選択される。

また、ここでは、ＧクラスタップとＧ予測タップ、ＲクラスタップとＲ予測タップ、ＢクラスタップとＢ予測タップが、それぞれ同一の構造であるものとするが、異なってもよい。

（予測演算の説明）
次に、図１７のＧ積和演算部１０８−１における予測演算と、その予測演算に用いられるＧ予測係数の学習について説明する。

いま、予測演算として、例えば、線形１次予測演算を採用することとすると、各画素の緑色の画像信号ｙは、次の線形１次式によって求められることになる。

式（１０）において、ｘ_ｉは、画像信号ｙについてのＧ予測タップを構成するロー信号のうちのｉ番目の画素のロー信号を表し、Ｗ_ｉは、そのｉ番目の画素のロー信号と乗算されるi番目のＧ予測係数を表す。また、nは、Ｇ予測タップを構成するロー信号に対応する画素の数を表している。これらのことは、以下の式（１１）、（１２）、（１４）、および（１７）においても同様である。

また、第ｋサンプルの各画素の緑色の画像信号ｙの予測値をｙ_ｋ’と表すと、予測値ｙ_ｋ’は以下の式（１１）で表される。

式（１１）において、ｘ_ｋｉは、予測値ｙ_ｋ’の真値についてのＧ予測タップを構成するロー信号のうちのi番目の画素のロー信号を表す。このことは、後述する式（１２）、（１５）、および（１６）においても同様である。

また、予測値ｙ_ｋ’の真値をｙ_ｋと表すと、予測誤差ｅ_ｋは、以下の式（１２）で表される。

式（１２）の予測誤差ｅ_ｋを０とするＧ予測係数Ｗ_ｉが、真値ｙ_ｋを予測するのに最適なものとなるが、学習用のサンプルの数がｎより小さい場合は、Ｇ予測係数Ｗ_ｉは一意に定まらない。

そこで、Ｇ予測係数Ｗ_ｉが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なＧ予測係数Ｗ_ｉは、以下の式（１３）で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

式（１３）の自乗誤差の総和Ｅの最小値（極小値）は、以下の式（１４）に示すように、総和ＥをＧ予測係数Ｗ_ｉで偏微分したものを０とするＷ_ｉによって与えられる。

以下の式（１５）および式（１６）に示すようにＸ_ｉｊとＹ_ｉを定義すると、式（１４）は、以下の式（１７）のように行列式の形で表すことができる。

式（１７）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などの一般的な行列解法を用いることにより、Ｇ予測係数Ｗ_ｉについて解くことができる。

以上により、クラスコードおよびddr_class_gごとの最適なＧ予測係数Ｗ_ｉの学習は、式（１７）の正規方程式をクラスコードおよびddr_class_gごとにたてて解くことにより行うことができる。

なお、画像信号ｙは、式（１０）に示した線形１次式ではなく、２次以上の高次の式によって求められるようにすることも可能である。

Ｒ積和演算部１０８−２およびＢ積和演算部１０８−３における予測演算は、Ｇ予測タップが、Ｒ予測タップやＢ予測タップに代わる点、並びに、クラスコードおよびddr_class_gごとのＧ予測係数が、クラスコードごとのＲ予測係数やＢ予測係数に代わる点を除いて、Ｇ積和演算部１０８−１における予測演算と同様であるので、説明は省略する。

（画像処理装置の処理の説明）
図１９は、図１７の画像処理装置１００のデモザイク処理を説明するフローチャートである。このデモザイク処理は、例えば、図示せぬ単板イメージセンサにより撮像されたロー信号が画像処理装置１００に入力されたとき、開始される。

図１９のステップＳ１２１において、画像処理装置１００は、入力されたロー信号から緑色の画像信号を生成するＧ生成処理を行う。このＧ生成処理の詳細は、後述する図２０を参照して説明する。

ステップＳ１２２において、画像処理装置１００は、Ｇ生成処理により生成された緑色の画像信号とロー信号に基づいて、クラス分類適応処理により赤色の画像信号を生成する。即ち、画像処理装置１００の代表ＲＧＢ演算部１０１、Ｒクラスタップ抽出部１０３−２、Ｒ予測タップ抽出部１０４−２、Ｒ変換部１０５−３、Ｒ変換部１０５−４、Ｒクラス分類部１０６−２、Ｒ係数メモリ１０７−２、およびＲ積和演算部１０８−２が、クラス分類適応処理を行い、赤色の画像信号を生成する。

ステップＳ１２３において、画像処理装置１００は、Ｇ生成処理により生成された緑色の画像信号とロー信号に基づいて、クラス分類適応処理により青色の画像信号を生成する。即ち、画像処理装置１００の代表ＲＧＢ演算部１０１、Ｂクラスタップ抽出部１０３−３、Ｂ予測タップ抽出部１０４−３、Ｂ変換部１０５−５、Ｂ変換部１０５−６、Ｂクラス分類部１０６−３、Ｂ係数メモリ１０７−３、およびＢ積和演算部１０８−３が、クラス分類適応処理を行い、青色の画像信号を生成する。そして、処理は終了する。

図２０は、図１９のステップＳ１２１のＧ生成処理の詳細を説明するフローチャートである。

図２０のステップＳ１４１において、画像処理装置１００の代表ＲＧＢ演算部１０１は、デモザイク処理により生成する画像信号に対応する画像の各画素のうち、まだ注目画素に決定されていない画素を注目画素に決定する。

ステップＳ１４２において、形状判定部１０２は、注目画素に対応する画素に対して形状判定処理を行う。形状判定部１０２は、判定結果を表すddr_class_gをＧクラスタップ抽出部１０３−１、Ｇ予測タップ抽出部１０４−１、およびＧ係数メモリ１０７−１に供給する。

ステップＳ１４３において、Ｇクラスタップ抽出部１０３−１は、形状判定部１０２から供給されるddr_class_gが１であるかどうかを判定する。ステップＳ１４３でddr_class_gが１ではないと判定された場合、処理はステップＳ１４４に進む。

ステップＳ１４４において、Ｇクラスタップ抽出部１０３−１は、入力されたロー信号から注目画素に対応する画素を中心とした３×３画素のロー信号をＧクラスタップとして抽出し、Ｇ変換部１０５−１に供給する。ステップＳ１４５において、Ｇ予測タップ抽出部１０４−１は、入力されたロー信号からＧクラスタップと同一のロー信号をＧ予測タップとして抽出し、Ｇ変換部１０５−２に供給する。そして、処理はステップＳ１４８に進む。

一方、ステップＳ１４３でddr_class_gが１であると判定された場合、処理はステップＳ１４６に進む。

ステップＳ１４６において、Ｇクラスタップ抽出部１０３−１は、注目画素に対応する画素に上下左右で最も近い４つのＧ画素のロー信号をＧクラスタップとして抽出する。なお、注目画素に対応する画素がＧ画素である場合には、Ｇクラスタップ抽出部１０３−１は、例えば、注目画素に対応するＧ画素と、そのＧ画素に上下左右で最も近い４つのＧ画素のロー信号をＧクラスタップとして抽出する。Ｇクラスタップ抽出部１０３−１は、ＧクラスタップをＧ変換部１０５−１に供給する。

ステップＳ１４７において、Ｇ予測タップ抽出部１０４−１は、入力されたロー信号からＧクラスタップと同一のＧ画素のロー信号をＧ予測タップとして抽出し、Ｇ変換部１０５−２に供給する。そして、処理はステップＳ１４８に進む。

ステップＳ１４８において、代表ＲＧＢ演算部１０１は、入力されたロー信号に基づいて、注目画素に対応するＧクラスタップとＧ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを演算する。代表ＲＧＢ演算部１０１は、Ｇクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＧ変換部１０５−１に供給し、Ｇ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇをＧ変換部１０５−２に供給する。

ステップＳ１４９において、Ｇ変換部１０５−１は、代表ＲＧＢ演算部１０１から供給されるＧクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇクラスタップ抽出部１０３−１から供給されるＧクラスタップに対してＧ変換処理を行う。Ｇ変換部１０５−１は、Ｇ変換処理後のＧクラスタップをＧクラス分類部１０６−１に供給する。

ステップＳ１５０において、Ｇクラス分類部１０６−１は、Ｇ変換部１０５−１から供給されるＧ変換処理後のＧクラスタップに基づいて、注目画素をクラスに分類する。Ｇクラス分類部１０６−１は、その結果得られるクラスコードをＧ係数メモリ１０７−１に供給する。

ステップＳ１５１において、Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から供給されるクラスコードと形状判定部１０２から供給されるddr_class_gとに対応するＧ予測係数を読み出し、Ｇ積和演算部１０８−１に供給する。

ステップＳ１５２において、Ｇ変換部１０５−２は、代表ＲＧＢ演算部１０１から供給されるＧ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇ予測タップ抽出部１０４−１から供給されるＧ予測タップに対してＧ変換処理を行う。Ｇ変換部１０５−２は、Ｇ変換処理後のＧ予測タップをＧ積和演算部１０８−１に供給する。

ステップＳ１５３において、Ｇ積和演算部１０８−１は、Ｇ変換部１０５−２から供給されるＧ変換処理後のＧ予測タップとＧ係数メモリ１０７−１から読み出されたＧ予測係数との予測演算により、注目画素の緑色の画像信号を生成する。Ｇ積和演算部１０８−１は、注目画素の緑色の画像信号をＲクラスタップ抽出部１０３−２、Ｂクラスタップ抽出部１０３−３、Ｒ予測タップ抽出部１０４−２、およびＢ予測タップ抽出部１０４−３に供給するとともに、出力する。

ステップＳ１５４において、代表ＲＧＢ演算部１０１は、画像信号に対応する画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ１５４でまだ全ての画素を注目画素としていないと判定された場合、処理はステップＳ１４１に戻り、全ての画素を注目画素とするまで、ステップＳ１４１乃至Ｓ１５４の処理が繰り返される。

一方、ステップＳ１５４で全ての画素を注目画素としたと判定された場合、処理は、図１９のステップＳ１２１に戻り、ステップＳ１２２に進む。

以上のように、画像処理装置１００は、ロー信号の形状が、DLMMSE法を用いたデモザイク処理によってジッパーノイズが発生しやすいくさび型である場合、Ｇ予測タップがＧ画素のロー信号のみを用いて構成される。従って、この場合、Ｇ画素のロー信号のみを用いて緑色の画像信号が生成される。よって、画像信号におけるジッパーノイズと呼ばれる画質劣化を低減することができる。

また、画像処理装置１００は、注目画素に対応する画素のロー信号の形状がくさび型ではない場合、Ｇ画素以外の画素を含むＧ予測タップを用いて緑色の画像信号を生成する。従って、全ての画素の緑色の画像信号がＧ画素のロー信号のみを用いて生成される場合に比べて、画像信号の解像度を向上させることができる。

（学習装置の構成例）
図２１は、図１７のＧ係数メモリ１０７−１に記憶されるＧ予測係数を学習する学習装置２００の構成例を示すブロック図である。

図２１の学習装置２００は、注目画素選択部２０１、生徒信号生成部２０２、代表ＲＧＢ演算部２０３、形状判定部２０４、Ｇクラスタップ抽出部２０５、Ｇ予測タップ抽出部２０６、Ｇ変換部２０７−１、Ｇ変換部２０７−２、Ｇクラス分類部２０８、正規方程式加算部２０９、およびＧ予測係数生成部２１０により構成される。

学習装置２００には、Ｇ予測係数の学習に用いられる教師信号として、複数の学習用の画像のボケのない鮮明な緑色の画像信号が入力される。

学習装置２００の注目画素選択部２０１は、各教師信号に対応する画像のうちの各画素を、順に、注目画素とする。注目画素選択部２０１は、入力される教師信号から注目画素の教師信号を抽出し、正規方程式加算部２０９に供給する。

生徒信号生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師信号からボケの有るロー信号を生成し、生徒信号とする。生徒信号生成部２０２は、生徒信号を、代表ＲＧＢ演算部２０３、形状判定部２０４、Ｇクラスタップ抽出部２０５、およびＧ予測タップ抽出部２０６に供給する。

代表ＲＧＢ演算部２０３は、図１７の代表ＲＧＢ演算部１０１の場合と同様に、生徒信号生成部２０２から供給される生徒信号に基づいて、ＧクラスタップとＧ予測タップの代表信号Ｄｇ，Ｄｒ、およびＤｂを算出する。代表ＲＧＢ演算部２０３は、Ｇクラスタップの代表信号Ｄｇ，Ｄｒ、およびＤｂをＧ変換部２０７−１に供給する。また、代表ＲＧＢ演算部２０３は、Ｇ予測タップの代表信号Ｄｇ，Ｄｒ、およびＤｂをＧ変換部２０７−２に供給する。

形状判定部２０４は、形状判定部１０２と同様に、生徒信号生成部２０２から供給される生徒信号に基づいて、注目画素に対応する画素の生徒信号の形状がくさび型であるかどうかを判定する。形状判定部２０４は、判定結果を表すddr_class_gをＧクラスタップ抽出部２０５、Ｇ予測タップ抽出部２０６、および正規方程式加算部２０９に供給する。

Ｇクラスタップ抽出部２０５は、Ｇクラスタップ抽出部１０３−１と同様に、形状判定部２０４から供給されるddr_class_gに基づいて、生徒信号生成部２０２から供給される生徒信号からＧクラスタップを抽出し、Ｇ変換部２０７−１に供給する。

Ｇ予測タップ抽出部２０６は、Ｇ予測タップ抽出部１０４−１と同様に、形状判定部１０２から供給されるddr_class_gに基づいて、生徒信号生成部２０２から供給される生徒信号からＧ予測タップを抽出し、Ｇ変換部２０７−２に供給する。

Ｇ変換部２０７−１は、Ｇ変換部１０５−１と同様に、代表ＲＧＢ演算部２０３から供給されるＧクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇクラスタップ抽出部２０５から供給されるＧクラスタップに対してＧ変換処理を行う。Ｇ変換部２０７−１は、Ｇ変換処理後のＧクラスタップをＧクラス分類部２０８に供給する。

Ｇ変換部２０７−２は、Ｇ変換部１０５−２と同様に、代表ＲＧＢ演算部２０３から供給されるＧ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇ予測タップ抽出部２０６から供給されるＧ予測タップに対してＧ変換処理を行う。Ｇ変換部２０７−２は、Ｇ変換処理後のＧ予測タップを正規方程式加算部２０９に供給する。

Ｇクラス分類部２０８は、Ｇクラス分類部１０６−１と同様に、Ｇ変換部２０７−１から供給されるＧクラスタップに基づいて、注目画素をクラスに分類する。Ｇクラス分類部２０８は、その結果得られるクラスコードを正規方程式加算部２０９に供給する。

正規方程式加算部２０９は、Ｇクラス分類部２０８からのクラスコードと形状判定部２０４からのddr_class_g（の組み合わせ）について、注目画素選択部２０１からの注目画素の教師信号と、Ｇ変換部２０７−２からのＧ予測タップとを対象とした足し込みを行う。

具体的には、正規方程式加算部２０９は、注目画素のクラスコードとddr_class_gについて、Ｇ予測タップの各画素の生徒信号をｘ_ｋｉおよびｘ_ｋｊ（i,j=1,2,・・・,n）として、式（１０）の左辺の行列におけるｘ_ｋｉ×ｘ_ｋｊを演算し、積算する。

また、正規方程式加算部２０９は、注目画素のクラスコードとddr_class_gについて、その注目画素の教師信号をｙ_ｋとし、生徒信号をｘ_ｋｉとして、式（１０）の右辺の行列におけるｘ_ｋｉ×ｙ_ｋを演算し、積算する。

そして、正規方程式加算部２０９は、全ての教師信号の全ての画素を注目画素として足し込みを行うことにより生成された、クラスコードおよびddr_class_gごとの式（１０）の正規方程式をＧ予測係数生成部２１０に供給する。

Ｇ予測係数生成部２１０は、正規方程式加算部２０９から供給される正規方程式を解くことにより、クラスコードおよびddr_class_gごとに最適なＧ予測係数を求める。このクラスコードおよびddr_class_gごとのＧ予測係数は、図１７のＧ係数メモリ１０７に記憶される。

（学習装置の処理の説明）
図２２は、図２１の学習装置２００のＧ予測係数学習処理を説明するフローチャートである。このＧ予測係数学習処理は、例えば、学習装置２００に教師信号が入力されたとき、開始される。

図２２のステップＳ１７１において、学習装置２００の生徒信号生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、入力された教師信号からボケの有るロー信号を生成し、生徒信号とする。生徒信号生成部２０２は、生徒信号を、代表ＲＧＢ演算部２０３、形状判定部２０４、Ｇクラスタップ抽出部２０５、およびＧ予測タップ抽出部２０６に供給する。

ステップＳ１７２において、注目画素選択部２０１は、教師信号に対応する画像のうちの、まだ注目画素とされていない画素を注目画素に決定する。ステップＳ１７３において、注目画素選択部２０１は、入力された教師信号から注目画素の教師信号を抽出し、正規方程式加算部２０９に供給する。

ステップＳ１７４において、形状判定部２０４は、生徒信号生成部２０２から供給される生徒信号に基づいて、注目画素に対応する画素に対して形状判定処理を行う。形状判定部２０４は、その結果得られるddr_class_gをＧクラスタップ抽出部２０５、Ｇ予測タップ抽出部２０６、および正規方程式加算部２０９に供給する。

ステップＳ１７５において、Ｇクラスタップ抽出部２０５は、形状判定部２０４から供給されるddr_class_gが１であるかどうかを判定する。ステップＳ１７５でddr_class_gが１ではないと判定された場合、処理はステップＳ１７６に進む。

ステップＳ１７６において、Ｇクラスタップ抽出部２０５は、生徒信号生成部２０２から供給される生徒信号から、注目画素に対応する画素を中心とした３×３画素の生徒信号をＧクラスタップとして抽出し、Ｇ変換部２０７−１に供給する。

ステップＳ１７７において、Ｇ予測タップ抽出部２０６は、生徒信号生成部２０２から供給される生徒信号から、Ｇクラスタップと同一の生徒信号をＧ予測タップとして抽出し、Ｇ変換部２０７−２に供給する。そして、処理はステップＳ１８０に進む。

一方、ステップＳ１７５でddr_class_gが１であると判定された場合、処理はステップＳ１７８に進む。

ステップＳ１７８において、Ｇクラスタップ抽出部２０５は、生徒信号生成部２０２から供給される生徒信号から、注目画素に対応する画素に上下左右で最も近い４つのＧ画素の生徒信号をＧクラスタップとして抽出する。なお、注目画素に対応する画素がＧ画素である場合には、Ｇクラスタップ抽出部２０５は、例えば、注目画素に対応するＧ画素と、そのＧ画素に上下左右で最も近い４つのＧ画素の生徒信号をＧクラスタップとして抽出する。Ｇクラスタップ抽出部２０５は、ＧクラスタップをＧ変換部２０７−１に供給する。

ステップＳ１７９において、Ｇ予測タップ抽出部２０６は、生徒信号生成部２０２から供給される生徒信号から、Ｇクラスタップと同一のＧ画素の生徒信号をＧ予測タップとして抽出し、Ｇ変換部２０７−２に供給する。そして、処理はステップＳ１８０に進む。

ステップＳ１８０において、代表ＲＧＢ演算部２０３は、生徒信号生成部２０２から供給される生徒信号に基づいて、ＧクラスタップとＧ予測タップの代表信号Ｄｇ，Ｄｒ、およびＤｂを算出する。代表ＲＧＢ演算部２０３は、Ｇクラスタップの代表信号Ｄｇ，Ｄｒ、およびＤｂをＧ変換部２０７−１に供給する。また、代表ＲＧＢ演算部２０３は、Ｇ予測タップの代表信号Ｄｇ，Ｄｒ、およびＤｂをＧ変換部２０７−２に供給する。

ステップＳ１８１において、Ｇ変換部２０７−１は、代表ＲＧＢ演算部２０３から供給されるＧクラスタップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇクラスタップ抽出部２０５から供給されるＧクラスタップに対してＧ変換処理を行う。Ｇ変換部２０７−１は、Ｇ変換処理後のＧクラスタップをＧクラス分類部２０８に供給する。

ステップＳ１８２において、Ｇクラス分類部２０８は、Ｇ変換部２０７−１から供給されるＧ変換処理後のＧクラスタップに基づいて、注目画素をクラスに分類する。Ｇクラス分類部２０８は、その結果得られるクラスコードを正規方程式加算部２０９に供給する。

ステップＳ１８３において、Ｇ変換部２０７−２は、代表ＲＧＢ演算部２０３から供給されるＧ予測タップの代表信号Ｄｒ，Ｄｂ、およびＤｇを用いて、Ｇ予測タップ抽出部２０６から供給されるＧ予測タップに対してＧ変換処理を行う。Ｇ変換部２０７−２は、Ｇ変換処理後のＧ予測タップを正規方程式加算部２０９に供給する。

ステップＳ１８４において、正規方程式加算部２０９は、Ｇクラス分類部２０８からのクラスコードと形状判定部２０４からのddr_class_gについて、注目画素の教師信号とＧ変換処理後のＧ予測タップとを対象とした足し込みを行う。

ステップＳ１８５において、注目画素選択部２０１は、教師信号に対応する画像の全ての画素を注目画素としたかどうかを判定する。ステップＳ１８５でまだ全ての画素を注目画素としていないと判定された場合、処理はステップＳ１７２に戻り、全ての画素を注目画素とするまで、ステップＳ１７２乃至Ｓ１８５の処理が繰り返される。

一方、ステップＳ１８５で全ての画素を注目画素としたと判定された場合、ステップＳ１８６において、生徒信号生成部２０２は、新たな教師信号が入力されたかどうかを判定する。ステップＳ１８６で新たな教師信号が入力されたと判定された場合、処理はステップＳ１７１に戻り、新たな教師信号が入力されなくなるまで、ステップＳ１７１乃至Ｓ１８６の処理が繰り返される。

ステップＳ１８６で新たな教師信号が入力されていないと判定された場合、正規方程式加算部２０９は、全ての教師信号の全ての画素を注目画素として足し込みを行うことにより生成された、クラスコードおよびddr_class_gごとの式（１０）の正規方程式をＧ予測係数生成部２１０に供給する。

そして、ステップＳ１８７において、Ｇ予測係数生成部２１０は、正規方程式加算部２０９から供給されるクラスコードおよびddr_class_gごとの正規方程式を解くことにより、クラスコードおよびddr_class_gごとに最適なＧ予測係数を求める。このクラスコードおよびddr_class_gごとのＧ予測係数は、図１７のＧ係数メモリ１０７−１に記憶される。

以上のように、学習装置２００は、ボケのない鮮明な緑色の画像信号を教師信号とし、ボケの有るロー信号を生徒信号として、Ｇ予測係数を生成する。従って、このＧ予測係数を用いて緑色の画像信号を生成する画像処理装置１００は、ボケのない鮮明な緑色の画像信号を生成することができる。

なお、説明は省略するが、Ｒ予測係数とＧ予測係数を学習する学習装置および学習処理も、ddr_class_gに基づいてクラスタップおよび予測タップの構造が変化しない点、および、正規方程式がクラスコードごとに生成されて予測係数が求められる点を除いて、図２１の学習装置２００および図２２の学習処理と同様である。

また、第２実施の形態では、ddr_class_gが１である場合、ｈｖによらず、ＧクラスタップとＧ予測タップの構造が決定されたが、ｈｖによってＧクラスタップとＧ予測タップの構造を変更するようにしてもよい。この場合、例えば、ｈｖが１である場合、ＧクラスタップとＧ予測タップは、注目画素に対応する画素の上下で最も近い２つのＧ画素のロー信号とされる。一方、ｈｖが０である場合、ＧクラスタップとＧ予測タップは、注目画素に対応する画素の左右で最も近い２つのＧ画素のロー信号とされる。

＜他の画素配列への適用＞
（画素配列の他の例）
図２３は、ロー信号を生成する図示せぬ単板イメージセンサの画素配列の他の例を示す図である。

図２３に示すように、ロー信号を生成する図示せぬ単板イメージセンサの画素配列は、ダブルベイヤ配列（斜めベイヤ配列）にすることができる。

この場合、ロー信号からロー信号の解像度の２倍の解像度の画像信号に変換する際、ロー信号に対応する画素配列がベイヤ配列である場合と同様に、ロー信号の形状がくさび型であるときにジッパーノイズがＨ方向およびＶ方向のラインで発生しやすい。従って、この場合も、画像処理装置１０や画像処理装置１００にロー信号を入力し、デモザイク処理を行わせることにより、画像信号におけるジッパーノイズを低減することができる。

但し、この場合、形状判定処理以外の処理において、Ｈ方向とＶ方向は、Ｈ方向とＶ方向を−４５度回転させた方向に代えられる。また、形状判定処理は、以下の図２４の形状判定処理に代えられる。この形状判定処理では、生成する緑色の画像信号に対応する画素２３０に対して、その画素２３０の周辺の３×３のＧ画素ｇ２０乃至ｇ２８が形状判定画素群とされる。

（形状判定処理の説明）
図２４は、ロー信号を生成する図示せぬ単板イメージセンサの画素配列が図２３のダブルベイヤ配列である場合の形状判定部１１による形状判定処理を説明するフローチャートである。

図２４のステップＳ２０１において、形状判定部１１は、図示せぬ単板イメージセンサから入力されるロー信号に基づいて、形状判定画素群のＧ画素のロー信号のダイナミックレンジLocalGDRを算出する。例えば、形状判定画素群が図１０のＧ画素ｇ２０乃至ｇ２８である場合、形状判定部１１は、Ｇ画素ｇ２０乃至ｇ２８のロー信号の最大値と最小値を検出し、最大値から最小値を減算した減算値をダイナミックレンジLocalGDRとして算出する。

ステップＳ２０２において、形状判定部１１は、形状判定画素群の中央の水平ラインのロー信号のダイナミックレンジh_ddrと中央の垂直ラインのロー信号のダイナミックレンジv_ddrを算出する。具体的には、形状判定部１１は、Ｇ画素ｇ２３乃至ｇ２５のロー信号の最大値から最小値を減算した減算値をダイナミックレンジh_ddrとして算出する。また、形状判定部１１は、Ｇ画素ｇ２１，ｇ２４、およびｇ２７のロー信号の最大値から最小値を減算した減算値をダイナミックレンジv_ddrとして算出する。

ステップＳ２０３において、形状判定部１１は、各水平ラインおよび各垂直ラインのロー信号の平均値を算出する。具体的には、形状判定部１１は、Ｇ画素ｇ２０乃至ｇ２２のロー信号の平均値have0を算出し、Ｇ画素ｇ２３乃至ｇ２５のロー信号の平均値have１を算出し、Ｇ画素ｇ２６乃至ｇ２８のロー信号の平均値have２を算出する。

また、形状判定部１１は、Ｇ画素ｇ２０，ｇ２３、およびｇ２６のロー信号の平均値vave0を算出し、Ｇ画素ｇ２１，ｇ２４、およびｇ２７のロー信号の平均値vave１を算出し、Ｇ画素ｇ２２，ｇ２５、およびｇ２８のロー信号の平均値vave２を算出する。

ステップＳ２０４において、形状判定部１１は、ダイナミックレンジh_ddrがダイナミックレンジv_ddr以下であるかどうかを判定する。ステップＳ２０４でダイナミックレンジh_ddrがダイナミックレンジv_ddr以下であると判定された場合、処理はステップＳ２０５に進む。

ステップＳ２０５において、形状判定部１１は、ダイナミックレンジh_ddrをDDrMinに設定する。ステップＳ２０６において、形状判定部１１は、水平ラインのロー信号の平均値have0乃至have2に基づいてDDrFlagを決定する。

具体的には、平均値have2からオフセットoffsetを減算した値が平均値have1より大きく、かつ、平均値have1が平均値have0より大きい場合、形状判定部１１は、DDrFlagを０に決定する。また、平均値have0が平均値have1より大きく、かつ、平均値have1が平均値have2とオフセットoffsetを加算した値より大きい場合、形状判定部１１は、DDrFlagを０に決定する。なお、オフセットoffsetは、以下の式（１８）により定義される。

式（１８）において、paraは予め設定されたパラメータであり、例えば4にすることができる。一方、形状判定部１１は、上述した場合以外の場合、DDrFlagを１に決定する。

ステップＳ２０７において、形状判定部１１は、判定するくさび型の方向を表すｈｖを、Ｖ方向を表す０に設定する。このｈｖは、図８のステップＳ１５でロー信号を抽出する際、Ｇ補間部１２により用いられる。

上述したように、画素配列がダブルベイヤ配列である場合、形状判定処理以外の処理において、Ｈ方向とＶ方向は、Ｈ方向とＶ方向を−４５度回転させた方向に代えられる。従って、ｈｖが０である場合、ステップＳ１５では、Ｇ補間画素に対応する画素とＨ方向を−４５度回転させた方向に最も近い２つの画素のロー信号が抽出される。例えば、Ｇ補間画素が図２３の画素２３０である場合、画素２３０の位置に最も近い画素ｇ２４とＨ方向を−４５度回転させた方向に最も近い画素ｇ２０と画素ｇ２８のロー信号が抽出される。ステップＳ２０７の処理後、処理はステップＳ２１１に進む。

一方、ステップＳ２０４でダイナミックレンジh_ddrがダイナミックレンジv_ddr以下ではないと判定された場合、処理はステップＳ２０８に進む。

ステップＳ２０８において、形状判定部１１は、ダイナミックレンジv_ddrをDDrMinに設定する。ステップＳ２０９において、形状判定部１１は、水平ラインのロー信号の平均値vave0乃至vave2に基づいてDDrFlagを決定する。

具体的には、平均値vave2から式（１８）で定義されるオフセットoffsetを減算した値が平均値vave1より大きく、かつ、平均値vave1が平均値vave0より大きい場合、形状判定部１１は、DDrFlagを０に決定する。また、平均値vave0が平均値vave1より大きく、かつ、平均値vave1が平均値vave2と式（１８）で定義されるオフセットoffsetを加算した値より大きい場合、形状判定部１１は、DDrFlagを０に決定する。一方、形状判定部１１は、上述した場合以外の場合、DDrFlagを１に決定する。

ステップＳ２１０において、形状判定部１１は、ｈｖを、Ｈ方向を表す１に設定する。このｈｖは、ステップＳ１５でロー信号を抽出する際Ｇ補間部１２により用いられる。これにより、ステップＳ１５では、Ｇ補間画素に対応する画素とＶ方向を−４５度回転させた方向に最も近い２つの画素のロー信号が抽出される。例えば、Ｇ補間画素が図２３の画素２３０である場合、画素２３０の位置に最も近い画素ｇ２４とＶ方向を−４５度回転させた方向に最も近い画素ｇ２２と画素ｇ２６のロー信号が抽出される。ステップＳ２１０の処理後、処理はステップＳ２１１に進む。

ステップＳ２１１において、形状判定部１１は、DDrFlagが１であるかどうかを判定する。ステップＳ２１１でDDrFlagが１であると判定された場合、処理はステップＳ２１２に進む。ステップＳ２１２において、形状判定部１１は、図９のステップＳ３９と同様にgray_mode算出処理を行う。

ステップＳ２１３において、形状判定部１１は、gray_mode算出処理により算出されたgray_modeが０であるかどうかを判定する。ステップＳ２１３でgray_modeが０であると判定された場合、ステップＳ２１４において、形状判定部１１は、DDrMinがダイナミックレンジLocalGDRのk0倍以下であるかどうかを判定する。

ステップＳ２１４でDDrMinがダイナミックレンジLocalGDRのk0倍以下であると判定された場合、処理はステップＳ２１５に進む。ステップＳ２１５において、形状判定部１１は、DDrMinがk4より小さいかどうかを判定する。ステップＳ４３でDDrMinがk4より小さいと判定された場合、処理はステップＳ２１６に進む。

ステップＳ２１６において、形状判定部１１は、ddr_class_gを１に設定し、Ｇ補間部１２と選択部１４に供給する。そして、形状判定処理は終了する。

一方、ステップＳ２１１でDDrFragが１ではないと判定された場合、ステップＳ２１４でDDrMinがダイナミックレンジLocalGDRのk0倍以下ではないと判定された場合、または、ステップＳ２１５でDDrMinがk4より小さくはないと判定された場合、処理はステップＳ２１７に進む。

ステップＳ２１７において、形状判定部１１は、ddr_class_gを０に設定し、Ｇ補間部１２と選択部１４に供給する。そして、形状判定処理は終了する。

また、ステップＳ２１３でgray_modeが０ではないと判定された場合、処理はステップＳ２１８に進む。ステップＳ２１８において、形状判定部１１は、DDrMinがダイナミックレンジLocalGDRのk2倍以下であるかどうかを判定する。

ステップＳ２１８でDDrMinがダイナミックレンジLocalGDRのk2倍以下であると判定された場合、処理はステップＳ２１９に進む。ステップＳ２１９において、形状判定部１１は、DDrMinがk3より小さいかどうかを判定する。ステップＳ２１９でDDrMinがk3より小さいと判定された場合、処理はステップＳ２１６に進み、上述した処理を行う。

一方、ステップＳ２１８でDDrMinがダイナミックレンジLocalGDRのk2倍以下ではないと判定された場合、または、ステップＳ２１９でDDrMinがk3より小さくはないと判定された場合、処理はステップＳ２２０に進む。

ステップＳ２２０において、形状判定部１１は、ddr_class_gを０に設定し、Ｇ補間部１２と選択部１４に供給する。そして、形状判定処理は終了する。

以上のように、ロー信号に対応する画素配列がダブルベイヤ配列である場合、形状判定部１１は、Ｇ画素のロー信号に基づいて形状判定処理を行う。

＜第３実施の形態＞
（本開示を適用したコンピュータの説明）
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータ４００において、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。

バス４０４には、さらに、入出力インタフェース４０５が接続されている。入出力インタフェース４０５には、入力部４０６、出力部４０７、記憶部４０８、通信部４０９、及びドライブ４１０が接続されている。

入力部４０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記憶部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインタフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア４１１を駆動する。

以上のように構成されるコンピュータ４００では、CPU４０１が、例えば、記憶部４０８に記憶されているプログラムを、入出力インタフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ４００（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータ４００では、プログラムは、リムーバブルメディア４１１をドライブ４１０に装着することにより、入出力インタフェース４０５を介して、記憶部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記憶部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記憶部４０８に、あらかじめインストールしておくことができる。

なお、コンピュータ４００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、ジッパーノイズが発生しやすい形状であれば、くさび型以外の形状を判定し、判定結果に基づいて補間方法を変更するようにしてもよい。

また、ロー信号において各画素に割り当てられる色は、赤色、緑色、および青色以外の色であってもよい。

さらに、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本開示は、以下のような構成もとることができる。

（１）
画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間部
を備える画像処理装置。
（２）
前記緑色補間部は、クラス分類適応処理により前記緑色の画像信号を生成する
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記緑色補間部は、前記緑色の画像信号に対応する教師信号と、前記緑色画素の前記ロー信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像のうちの注目している画素である注目画素に対応する、前記緑色画素の前記ロー信号のみからなる予測タップとの演算により、前記注目画素の前記緑色の画像信号を求める
前記（２）に記載の画像処理装置。
（４）
前記緑色補間部は、前記ロー信号の形状が前記所定の形状ではない場合、前記緑色の信号に対応する教師信号と、前記ロー信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像のうちの注目している画素である注目画素に対応する前記ロー信号からなる予測タップとの演算により、前記注目画素の前記緑色の画像信号を求める
前記（２）に記載の画像処理装置。
（５）
前記ロー信号の形状が前記所定の形状であることを判定する形状判定部
をさらに備え、
前記緑色補間部は、前記形状判定部により前記ロー信号の形状が前記所定の形状であると判定された場合、前記緑色画素の前記ロー信号のみを用いて前記緑色の画像信号を生成する
ように構成された
前記（１）乃至（４）のいずれかに記載の画像処理装置。
（６）
前記形状判定部は、前記ロー信号が表す色に応じた閾値を用いて、前記ロー信号の形状が前記所定の形状であることを判定する
ように構成された
前記（５）に記載の画像処理装置。
（７）
前記形状判定部は、前記緑色画素の前記ロー信号に基づいて前記判定を行う
ように構成された
前記（５）または（６）に記載の画像処理装置。
（８）
前記所定の形状は、くさび型である
ように構成された
前記（１）乃至（７）のいずれかに記載の画像処理装置。
（９）
画像処理装置が、
画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間ステップ
を含む画像処理方法。
（１０）
コンピュータを、
画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間部
として機能させるためのプログラム。

１０ 画像処理装置， １１ 形状判定部， １２ Ｇ補間部， １００ 画像処理装置， １０２ 形状判定部， １０３−１ Ｇクラスタップ抽出部， １０３−２ Ｇ予測タップ抽出部， １０５−１，１０５−２ Ｇ変換部， １０６−１ Ｇクラス分類部， １０７−１ Ｇ係数メモリ， １０８−１ Ｇ積和演算部

Claims (10)

1. 画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間部
   を備える画像処理装置。
2. 前記緑色補間部は、クラス分類適応処理により前記緑色の画像信号を生成する
   ように構成された
   請求項１に記載の画像処理装置。
3. 前記緑色補間部は、前記緑色の画像信号に対応する教師信号と、前記緑色画素の前記ロー信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素に対応する画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像のうちの注目している画素である注目画素に対応する、前記緑色画素の前記ロー信号のみからなる予測タップとの演算により、前記注目画素の前記緑色の画像信号を求める
   請求項２に記載の画像処理装置。
4. 前記緑色補間部は、前記ロー信号の形状が前記所定の形状ではない場合、前記緑色の信号に対応する教師信号と、前記ロー信号に対応する生徒信号とを用いて、各画素の前記教師信号、その画素の前記生徒信号、および予測係数の関係を示す式を解くことにより学習された前記予測係数と、前記画像のうちの注目している画素である注目画素に対応する前記ロー信号からなる予測タップとの演算により、前記注目画素の前記緑色の画像信号を求める
   請求項２に記載の画像処理装置。
5. 前記ロー信号の形状が前記所定の形状であることを判定する形状判定部
   をさらに備え、
   前記緑色補間部は、前記形状判定部により前記ロー信号の形状が前記所定の形状であると判定された場合、前記緑色画素の前記ロー信号のみを用いて前記緑色の画像信号を生成する
   ように構成された
   請求項１に記載の画像処理装置。
6. 前記形状判定部は、前記ロー信号が表す色に応じた閾値を用いて、前記ロー信号の形状が前記所定の形状であることを判定する
   ように構成された
   請求項５に記載の画像処理装置。
7. 前記形状判定部は、前記緑色画素の前記ロー信号に基づいて前記判定を行う
   ように構成された
   請求項５に記載の画像処理装置。
8. 前記所定の形状は、くさび型である
   ように構成された
   請求項１に記載の画像処理装置。
9. 画像処理装置が、
   画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間ステップ
   を含む画像処理方法。
10. コンピュータを、
    画像の各画素の信号として、その画素に割り当てられた色の信号を有するロー信号の形状が、所定の形状である場合、緑色が割り当てられた前記画素である緑色画素の前記ロー信号のみを用いて、前記ロー信号に対応する全ての画素の緑色の画像信号を生成する緑色補間部
    として機能させるためのプログラム。

Images