JP2014200009A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】ジッパーノイズを低減することができるようにする。【解決手段】各クラスタップ選択部は、単板式画素部から出力される画像信号により構成される第１の画像から、複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、各クラス分類部は、クラスタップの特徴量に基づいて、第２の画像の注目画素をクラス分類し、各予測タップ選択部は、第１の画像から、複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、各積和演算部は、予測タップの第１の色成分に対応する画素に係る画素値を変数とし、読み出された係数を用いた積和演算により、第２の画像の画素値をそれぞれ演算する。本技術は、例えば、単板式カメラにより取得された画像信号に対する画像処理を行う画像処理装置に適用することができる。【選択図】図１６

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、ジッパーノイズを低減することができるようにした画像処理装置および方法、並びにプログラムに関する。

イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以下、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以下、３板式カメラという）とがある。

３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。

色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。

この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。

しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。

このような従来の技術としてDLMMSE法が知られている（非特許文献１参照）。

DLMMSE法では、まず、イメージセンサからの入力画像に対し、Ｇ成分の画素信号を補間し、Ｇ成分を補間した後の色差（Ｂ−Ｇ，Ｒ−Ｇ）を用いてＢ成分の画素信号とＲ成分の画素信号を補間する。また、このＧ成分を補間する際には、入力画像の垂直方向と水平方向でそれぞれ、自乗誤差が最小となる補間値を生成する。そして、垂直方向と水平方向の方向性を検出し、その検出結果に応じて垂直方向の補間値と水平方向の補間値を按分することになる。

DLMMSE algorithm from L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. on Image Processing, vol. 14, no. 12, pp. 2167-2178, 2005.

ところで、DLMMSE法を用いた場合に、局所的にＲ成分だけ存在する絵柄では、平均化した色差が本来の色差よりも減少する現象が発生する。この現象は、いわゆる色抜けと称される現象であり、色差が減少した結果、Ｇ成分のレベルが持ち上がることになる。

具体的には、図１に示すように、DLMMSE法を用いて、イメージセンサからの入力画像（図２）におけるＲ画素を中心画素としたときの左右両隣のＧ画素を含む３点で計算された色差と、左右両隣のＧ画素とＲ画素を含む５点で計算された色差とを比較すると、５点で計算された色差のほうが、３点で計算された色差よりもレベルが低くなる。つまり、Ｒ成分だけが存在する絵柄において、中心画素となるＲ画素のレベルが、左右両隣のＲ画素のレベルの平均よりも下がっていると、中心のＲ画素の色差（Ｒ−Ｇ）のレベルが低下する。その結果、Ｒ成分は固定で計算されるので、中心のＲ画素のＧ成分のレベルは上昇することになる。

このように１点だけＧ成分のレベルが持ち上がって白点や黒点が孤立して発生したノイズは、ジッパーノイズと称されている。つまり、DLMMSE法のように、ある方向に色差を平均化して解像感を増加させる方式であると、局所的に色差変化のある箇所でジッパーノイズが発生してしまう可能性がある。なお、図３には３点で計算した場合に得られる画像を示し、図４には５点で計算した場合に得られる画像を示しており、５点で計算した場合に得られる画像ではジッパーノイズが発生している。

本技術はこのような状況に鑑みてなされたものであり、イメージセンサからの入力画像に局所的に色差変化のある箇所があっても、そこで発生するジッパーノイズを低減することができるようにするものである。

本技術の一側面の画像処理装置は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部とを備え、前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される。

前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部とをさらに備え、前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する。

前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する。

前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、前記代表値演算部は、前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する。

前記色成分変換部は、前記第２の画像がＧの画素のみで構成される画像である場合、前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、前記第２の画像がＲの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、前記第２の画像がＢの画素のみで構成される画像である場合、前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする。

前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う。

前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される。

本技術の一側面の画像処理方法またはプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法またはプログラムである。

本技術の一側面の画像処理装置および方法、並びにプログラムにおいては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値が、クラスタップとして選択され、前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素が、複数のクラスのうちのいずれかのクラスに分類され、前記クラス分類の結果に基づいて、予め記憶されている係数が読み出され、前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値が、予測タップとして選択され、前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値がそれぞれ演算され、前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像が生成され、前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される。

本技術の一側面によれば、ジッパーノイズを低減することができる。

ジッパーノイズの原理を説明する図である。 入力画像を示す図である。 DLMMSE法（３点計算）により得られる画像を示す図である。 DLMMSE法（５点計算）により得られる画像を示す図である。 単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。 本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 指定エリアの例を示す図である。 補間値ｇの算出方式の例を説明する図である。 補間値ｒの算出方式の例を説明する図である。 補間値ｂの算出方式の例を説明する図である。 図６の画像処理装置に対応する学習装置の構成例を示す図である。 図６の画像処理装置、または、図１１の学習装置において取得されるクラスタップまたは予測タップの構造の例を示す図である。 図６の画像処理装置による画像処理の例を説明するフローチャートである。 代表ＲＧＢ演算処理の例を説明するフローチャートである。 図１１の学習装置による係数学習処理の例を説明するフローチャートである。 本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 図１６の画像処理装置において取得されるＧクラスタップの構造の例を示す図である。 図１６の画像処理装置において取得されるＧ予測タップの構造の例を示す図である。 図１６の画像処理装置において取得されるＲクラスタップの構造の例を示す図である。 図１６の画像処理装置において取得されるＲ予測タップの構造の例を示す図である。 図１６の画像処理装置において取得されるＢクラスタップの構造の例を示す図である。 図１６の画像処理装置において取得されるＢ予測タップの構造の例を示す図である。 図１６の画像処理装置の他の構成例を示すブロック図である。 本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。 図２４の画像処理装置による画像処理の例を説明するフローチャートである。 図１６または図２４の画像処理装置において取得されるクラスタップの別の構造の例を示す図である。 図１６または図２４の画像処理装置において取得される予測タップの別の構造の例を示す図である。 コンピュータの構成例を示すブロック図である。

以下、図面を参照しながら本技術の実施の形態について説明する。

＜画像信号の取得方式＞

図５は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。

この例では、被写体１１で反射した光が、光学ローパスフィルタ１２を通過してイメージセンサ１３により受光されるようになされている。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。

ここでは、イメージセンサ１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。

単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。

また、イメージセンサ１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ１２を通過させることにより、画像がぼけてしまうことがあった。

そこで、本技術では、イメージセンサ１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。

＜１．第１の実施の形態＞

＜画像処理装置の構成＞

図６は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。

画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図５のイメージセンサ１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

図６の画像処理装置１００は、代表ＲＧＢ演算部１０１、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。

代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（以下、指定エリアという）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。

例えば、図７の太線の枠で示されるように、指定エリアが設定されるものとする。図７では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。

指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。

なお、以下の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。

この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。

代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。

このとき、代表ＲＧＢ演算部１０１は、図８に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。

そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。

次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図９に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図１０に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

図６に戻って、Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１）乃至式（３）により演算される。

・・・（１）

・・・（２）

・・・（３）

このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図６に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１０７−１に出力される。

Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１）乃至式（３）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、出力画像となるＧ成分の画像（以下、Ｇ出力画像という）における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。

ここで、出力画像の注目画素の画素値の予測演算について説明する。

いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図５の枠１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。

但し、式（４）において、x_nは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、w_nは、ｎ番目の第１の画像の画素（の画素値）と乗算されるn番目のタップ係数を表す。なお、式（４）では、予測タップが、Ｎ個の第１の画像の画素x₁，x₂，・・・，x_Nで構成されるものとしてある。

ここで、第２の画像の画素の画素値yは、式（４）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの第２の画像の画素の画素値の真値をy_kと表すとともに、式（４）によって得られるその真値y_kの予測値をy_k’と表すと、その予測誤差e_kは、次式で表される。

いま、式（５）の予測値y_k’は、式（４）にしたがって求められるため、式（５）のy_k’を、式（４）にしたがって置き換えると、次式が得られる。

但し、式（６）において、x_n,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。

式（６）（または式（５））の予測誤差e_kを０とするタップ係数w_nが、第２の画像の画素を予測するのに最適なものとなるが、全ての第２の画像の画素について、そのようなタップ係数w_nを求めることは、一般には困難である。

そこで、タップ係数w_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数w_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（７）において、Ｋは、第２の画像の画素y_kと、その第２の画像の画素y_kについての予測タップを構成する第１の画像の画素x_1,k，x_2,k，・・・，x_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（７）の自乗誤差の総和Ｅの最小値（極小値）は、式（８）に示すように、総和Ｅをタップ係数w_nで偏微分したものを０とするw_nによって与えられる。

そこで、上述の式（６）をタップ係数w_nで偏微分すると、次式が得られる。

式（８）と（９）から、次式が得られる。

式（１０）のe_kに、式（６）を代入することにより、式（１０）は、式（１１）に示す正規方程式で表すことができる。

式（１１）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解くことができる。

式（１１）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）w_nを、クラスごとに求めることができる。例えば、このようにして求められたタップ係数w_nが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。

Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換処理は、例えば、次のようにして行われる。Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１２）乃至式（１４）により演算される。

・・・（１２）

・・・（１３）

・・・（１４）

このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＢの画素のそれぞれの画素値が、Ｒの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図６に戻って、Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲクラスタップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１０７−２に出力される。

Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、出力画像となるＲ成分の画像（以下、Ｒ出力画像という）における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。

Ｂクラスタップ選択部１０２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂクラスタップ選択部１０２−３により選択されたＢクラスタップは、Ｂ変換部１０５−３１に供給される。Ｂ変換部１０５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換処理は、例えば、次のようにして行われる。Ｂクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１５）乃至式（１７）により演算される。

・・・（１５）

・・・（１６）

・・・（１７）

このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＲの画素のそれぞれの画素値が、Ｂの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図６に戻って、Ｂ変換部１０５−３１から出力されるＢクラスタップは、Ｂクラス分類部１０６−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢクラスタップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂクラス分類部１０６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１０７−３に出力される。

Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１０８−３に供給する。なお、Ｂ係数メモリ１０７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｂ予測タップ選択部１０３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂ予測タップ選択部１０３−３により選択されたＢ予測タップは、Ｂ変換部１０５−３２に供給される。Ｂ変換部１０５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換部１０５−３２によるＢ変換処理は、Ｂ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｂ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｂ変換部１０５−３２から出力されるＢ予測タップは、Ｂ積和演算部１０８−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢ予測タップは、上述した式（１５）乃至式（１７）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂ積和演算部１０８−３は、予め設定された線形一次式において、Ｂ変換部１０５−３２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−３から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−３は、出力画像となるＢ成分の画像（以下、Ｂ出力画像という）における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。

例えば、式（４）の画素x₁，x₂，・・・，x_Nに、Ｂ変換部１０５−３２の処理を経たＢ予測タップを代入し、式（４）におけるタップ係数w_nが、Ｂ係数メモリ１０７−３から供給され、Ｂ積和演算部１０８−３で式（４）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。

＜学習装置の構成＞

次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。

図１１は、図６の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。

図１１に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、予測タップ選択部２０５、色変換部２０６−１、色変換部２０６−２、クラス分類部２０７、正規方程式加算部２０８、および係数データ生成部２０９を備えている。

学習装置２００において係数の学習を行う場合、例えば、図５の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像を教師画像として用意する。

生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。

注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、および、予測タップ選択部２０５に供給されるようになされている。

代表ＲＧＢ演算部２０３は、生徒画像の中の指定エリア内の画素について、図６の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。

クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

色変換部２０６−１は、クラスタップ選択部２０４により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

色変換部２０６−１の処理を経たクラスタップは、クラス分類部２０７に供給される。

色変換部２０６−２は、予測タップ選択部２０５により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

色変換部２０６−２の処理を経た予測タップは、正規方程式加算部２０８に供給される。

クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。

正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（４）の画素x₁，x₂，・・・，x_Nとして用いられる。

注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（１１）の正規方程式を生成する。

係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図６のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶されることになる。

このようにして、係数の学習が行われる。

＜クラスタップまたは予測タップの構造の例＞

図１２は、図６の画像処理装置１００、または、図１１の学習装置２００において取得されるクラスタップまたは予測タップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称しており、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。

図１２の例では、出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるクラスタップまたは予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、クラスタップまたは予測タップの構造の例が示されている。

図１２Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１２Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１２Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

図１２Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のクラスタップまたは予測タップの例を示す図である。

なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。

＜画像処理装置による画像処理＞

図１３は、図６の画像処理装置１００による画像処理の例を説明するフローチャートである。

ステップＳ２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ２１において、画像が入力されたと判定された場合、処理は、ステップＳ２２に進む。

なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

ステップＳ２２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。

ステップＳ２３において、代表ＲＧＢ演算部１０１は、図１４を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。

ステップＳ２４において、Ｇクラスタップ選択部１０２−１、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。

なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。

ステップＳ２５において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ２６においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。

ステップＳ２７において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ取得部１０３−１がＧ予測タップを取得する。

ステップＳ２８において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１２がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ２９において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１０７−１から、ステップＳ２６の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。

ステップＳ３０において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x₁，x₂，・・・，x_Nに、ステップＳ２８の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数w_nとして、ステップＳ２９の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。

ステップＳ３１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返し実行される。

ステップＳ３１において、次の注目画素がないと判定された場合、処理は終了する。

このようにして、画像生成処理が実行される。

＜代表ＲＧＢ演算処理＞

次に、図１４のフローチャートを参照して、図１３のステップＳ２３の代表ＲＧＢ演算処理の詳細な例について説明する。

ステップＳ４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢ成分の画素の補間値ｇを算出する。このとき、例えば、図８に示されるように、指定エリア内の中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４の入力値Ｇ１乃至入力値Ｇ４を平均することにより、中心画素の画素位置における補間されたＧ成分の値である補間値ｇを算出する。

ステップＳ４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。

ステップＳ４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図９に示されるように、この場合、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。

ステップＳ４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

ステップＳ４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｂを算出する。例えば、図８の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図１０に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。

ステップＳ４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

このようにして、代表ＲＧＢ演算処理が実行される。

＜学習装置による係数学習処理＞

次に、図１５のフローチャートを参照して、図１１の学習装置２００による係数学習処理の例について説明する。

ステップＳ６１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ６１において、教師画像が入力されたと判定された場合、処理は、ステップＳ６２に進む。

なお、上述したように、教師画像は、例えば、図５の枠１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像とされる。

ステップＳ６２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。

ステップＳ６３において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。

ステップＳ６４において、代表ＲＧＢ演算部２０３は、図１４のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。

ステップＳ６５において、クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素からクラスタップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

ステップＳ６６において、色変換部２０６−１は、ステップＳ６５の処理で取得されたクラスタップに所定の変換処理を施す。

ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

ステップＳ６７において、クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。

ステップＳ６８において、予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から予測タップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

ステップＳ６９において、色変換部２０６−２は、ステップＳ６８の処理で取得された予測タップに所定の変換処理を施す。

ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

ステップＳ７０において、正規方程式加算部２０８は、正規方程式の足し込みを行う。

上述したように、正規方程式加算部２０８は、例えば、上述した式（４）に示される線形１次式を生成し、色変換部の処理を経たクラスタップが式（４）の画素x₁，x₂，・・・，x_Nとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ６７の処理で生成されたクラスコード毎に足し込んで、式（１１）の正規方程式を生成する。

ステップＳ７１において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ６３に戻り、それ以降の処理が繰り返し実行される。

一方、ステップＳ７１において、次の注目画素がないと判定された場合、処理は、ステップＳ７２に進む。

ステップＳ７２において、係数データ生成部２０９は、係数を算出する。

このとき、上述したように、係数データ生成部２０９は、式（１１）の正規方程式を、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図６のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶され、図１３のステップＳ２９の処理で読み出されることになる。

このようにして、係数学習処理が実行される。

＜２．第２の実施の形態＞

ところで、図６を参照して上述した実施の形態では、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像が同時に生成され得るものとされていた。しかしながら、ベイヤー配列においては、単位面積あたりのＧの画素数が多いため、予測精度が高い。また、カラーフィルタの特性上、Ｇの方がＲまたはＢと比較してＳＮ比が良好となる。このため、例えば、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようにしてもよい。このようにすることで、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。

また、ジッパーノイズは、入力画像において局所的に色差変化のある箇所で発生するため、各予測タップにおいてＧ成分の画素のみを用いることで、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けないようにすることができる。このようにすることで、中心画素の周辺でＲ成分またはＢ成分の画素値に局所的な変化が発生しても、Ｇ成分の画素値の変化が少なければ、出力画像において発生するジッパーノイズを低減することが可能となる。

＜画像処理装置の構成＞

図１６は、本技術を適用した画像処理装置の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１５０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、同図に示される画像処理装置１５０では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがＧ成分の画素のみから構成されるようになされている。

図１６における代表ＲＧＢ演算部１５１は、図６の代表ＲＧＢ演算部１０１と同様に構成されるものなので詳細な説明は省略する。

Ｇクラスタップ選択部１５２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｇクラスタップ選択部１５２−１により選択されたＧクラスタップは、Ｇ変換部１５５−１１に供給される。Ｇ変換部１５５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換部１５５−１１によるＧ変換処理は、図６のＧ変換部１０５−１１によるものと同様である。すなわち、上述した式（１）乃至式（３）により、Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｇ変換部１５５−１１から出力されるＧクラスタップは、Ｇクラス分類部１５６−１に供給される。

Ｇクラス分類部１５６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｇ係数メモリ１５７−１に出力される。

Ｇ係数メモリ１５７−１は、Ｇクラス分類部１５６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１５８−１に供給する。なお、Ｇ係数メモリ１５７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１６の構成の画像処理装置１５０を用いる場合、Ｇ係数メモリ１５７−１に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像を教師画像としてＧ出力画像を生成するための学習が行われるものとする。

Ｇ予測タップ選択部１５３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｇ予測タップ選択部１５３−１により入力画像からＧ成分の画素のみが選択される。従って、いまの場合、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。

Ｇ予測タップ選択部１５３−１により選択されたＧ予測タップは、Ｇ変換部１５５−１２に供給される。Ｇ変換部１５５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。

ここでのＧ変換処理は、例えば、次のようにして行われる。

図１６においても、Ｇ予測タップ選択部１５３−１により入力画像からＧ予測タップが選択されるが、図６の場合とは異なり、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。従って、Ｇ変換部１５５−１２は、Ｇ予測タップを構成する各画素値に上述の式（１）の演算を施して変換値Ｇ´を算出する。Ｇ変換部１５５−１２から出力されるＧ予測タップは、Ｇ積和演算部１５８−１に供給される。

Ｇ積和演算部１５８−１は、図６のＧ積和演算部１０８−１と同様に構成されるものであるが、Ｇ出力画像における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。

このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。但し、ここで得られるＧ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＧ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＧクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。

このようにして得られるＧ出力画像は、Ｇ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＧクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｇ予測タップがＧ成分の画素のみから構成されるようにしても、Ｇ出力画像の解像度が低下することはない。

また、図１６の構成の場合、図６の場合とは異なり、入力画像が遅延部１６１−１を介して、Ｒクラスタップ選択部１５２−２およびＢクラスタップ選択部１５２−３に供給されるようになされている。また、図１６の構成の場合、図６の場合とは異なり、代表ＲＧＢ演算部１５１から出力されるデータが、遅延部１６１−２を介して、Ｒ変換部１５５−２１およびＲ変換部１５５−２２、並びに、Ｂ変換部１５５−３１およびＢ変換部１５５−３２に供給されるようになされている。

また、図１６の構成の場合、図６の場合とは異なり、Ｇ積和演算部１５８−１から出力されるデータが、Ｒ予測タップ選択部１５３−２およびＢ予測タップ選択部１５３−３に供給されるようになされている。

Ｒクラスタップ選択部１５２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｒクラスタップ選択部１５２−２により選択されたＲクラスタップは、Ｒ変換部１５５−２１に供給される。Ｒ変換部１５５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換部１５５−２１によるＲ変換処理は、図６のＲ変換部１０５−２１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｒ変換部１５５−２１から出力されるＲクラスタップは、Ｒクラス分類部１５６−２に供給される。

Ｒクラス分類部１５６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｒ係数メモリ１５７−２に出力される。

Ｒ係数メモリ１５７−２は、Ｒクラス分類部１５６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１５８−２に供給する。なお、Ｒ係数メモリ１５７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１６の構成の画像処理装置１５０を用いる場合、Ｒ係数メモリ１５７−２に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｒ成分に対応するイメージセンサを配置して得られたＲ成分の画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。

Ｒ予測タップ選択部１５３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップをＧ出力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。

Ｒ予測タップ選択部１５３−２により選択されたＲ予測タップは、Ｒ変換部１５５−２２に供給される。Ｒ変換部１５５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。

ここでのＲ変換処理は、例えば、次のようにして行われる。

図６の場合とは異なり、図１６の場合、Ｒ予測タップ選択部１５３−２によりＧ出力画像からＲ予測タップが選択される。従って、いまの場合、Ｒ予測タップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。

・・・（１８）

このようなＲ変換処理が施されることにより、Ｒ予測タップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＲの画素の画素値を基準としてオフセットされることになり、Ｒ予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。

Ｒ変換部１５５−２２から出力されるＲ予測タップは、Ｒ積和演算部１５８−２に供給される。なお、Ｒ変換部１５５−２１から出力されるＲ予測タップは、上述した式（１８）により演算された変換値Ｇｐ´により構成されることになる。

Ｒ積和演算部１５８−２は、図６のＲ積和演算部１０８−２と同様に構成されるものであるが、Ｒ出力画像における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。

このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。但し、ここで得られるＲ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＲ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＲクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。

このようにして得られるＲ出力画像は、Ｒ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＲクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｒ予測タップがＧ成分の画素のみから構成されるようにしても、Ｒ出力画像の解像度が低下することはない。

また、図１６の構成の場合、Ｂクラスタップ選択部１５２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。

Ｂクラスタップ選択部１５２−３により選択されたＢクラスタップは、Ｂ変換部１５５−３１に供給される。Ｂ変換部１５５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換部１５５−３１によるＢ変換処理は、図６のＢ変換部１０５−３１によるものと同様である。すなわち、上述した式（１５）乃至式（１７）により、Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｂ変換部１５５−３１から出力されるＢクラスタップは、Ｂクラス分類部１５６−３に供給される。

Ｂクラス分類部１５６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、Ｂ係数メモリ１５７−３に出力される。

Ｂ係数メモリ１５７−３は、Ｂクラス分類部１５６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１５８−３に供給する。なお、Ｂ係数メモリ１５７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図１６の構成の画像処理装置１５０を用いる場合、Ｂ係数メモリ１５７−３に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｂ成分に対応するイメージセンサを配置して得られたＢ成分の画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。

Ｂ予測タップ選択部１５３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップをＧ出力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置のＧ出力画像の画素を中心画素とし、中心画素を中心とした所定の個数の画素で構成される。なお、図６の場合とは異なり、図１６の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。

Ｂ予測タップ選択部１５３−３により選択されたＢ予測タップは、Ｂ変換部１５５−３２に供給される。Ｂ変換部１５５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。

ここでのＢ変換処理は、例えば、次のようにして行われる。

図６の場合とは異なり、図１６の場合、Ｂ予測タップ選択部１５３−３によりＧ出力画像からＢ予測タップが選択される。従って、いまの場合、Ｂ予測タップは、全てＧ成分の画素により構成されていることになる。いま、Ｇ出力画像のＧ成分の画素を予測値Ｇｐで表すことにする。

・・・（１９）

このようなＢ変換処理が施されることにより、Ｂ予測タップを構成する各画素値の相関性を高めることができる。すなわち、Ｇ出力画像の画素値が、入力画像のＢの画素の画素値を基準としてオフセットされることになり、Ｂ予測タップを構成する各画素値の色成分の違いによる変化を除去することができる。

Ｂ変換部１５５−３２から出力されるＢ予測タップは、Ｂ積和演算部１５８−３に供給される。なお、Ｂ変換部１５５−３２から出力されるＢ予測タップは、上述した式（１９）により演算された変換値Ｇｐ´により構成されることになる。

Ｂ積和演算部１５８−３は、図６のＢ積和演算部１０８−３と同様に構成されるものであるが、Ｂ出力画像における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。

このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。但し、ここで得られるＢ出力画像は、予め設定された線形一次式において、Ｇ成分のみから構成されるＢ予測タップを変数として代入し、Ｒ，Ｇ，Ｂの各成分から構成されるＢクラスタップから生成されたクラスコードに対応づけられている係数を用いて演算されたものとなる。

このようにして得られるＢ出力画像は、Ｂ予測タップにおいてＧ成分の画素のみを用いているため、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくい。また、ＢクラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、Ｂ予測タップがＧ成分の画素のみから構成されるようにしても、Ｂ出力画像の解像度が低下することはない。

＜クラスタップまたは予測タップの構造の例＞

（Ｇクラスタップの構造）
図１７は、図１６の画像処理装置１５０において取得されるＧクラスタップの構造の例を示す図である。

図１７の例では、Ｇ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした９（＝３×３）個の画素により構成されるＧクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｇクラスタップの構造の例が示されている。

図１７Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。

図１７Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。

図１７Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。

図１７Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＧクラスタップの例を示す図である。

（Ｇ予測タップの構造）
図１８は、図１６の画像処理装置１５０において取得されるＧ予測タップの構造の例を示す図である。

図１８の例では、Ｇ出力画像の注目画素に対応する入力画素の画素（中心画素）を中心とした９（＝３×３）個の画素のうち、Ｇ成分の画素のみから構成されるＧ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｇ予測タップの構造の例が示されている。

図１８Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。

図１８Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。

図１８Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。

図１８Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＧ予測タップの例を示す図である。

なお、Ｇクラスタップは、Ｒ，Ｇ，Ｂの各成分の画素から構成され、Ｇ予測タップは、Ｇ成分の画素のみから構成されるものであれば、ＧクラスタップとＧ予測タップは同じ構造としてもよいし、異なる構造としてもよい。

（Ｒクラスタップの構造）
図１９は、図１６の画像処理装置１５０において取得されるＲクラスタップの構造の例を示す図である。

図１９の例では、Ｒ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＲクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｒクラスタップの構造の例が示されている。

図１９Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。

図１９Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。

図１９Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。

図１９Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＲクラスタップの例を示す図である。

（Ｒ予測タップの構造）
図２０は、図１６の画像処理装置１５０において取得されるＲ予測タップの構造の例を示す図である。同図に示されるように、Ｒ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。

図２０の例では、Ｒ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＲ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｒ予測タップの構造の例が示されている。

図２０Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。

図２０Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。

図２０Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。

図２０Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＲ予測タップの例を示す図である。

なお、ＲクラスタップとＲ予測タップは同じ構造としてもよいし、異なる構造としてもよい。

（Ｂクラスタップの構造）
図２１は、図１６の画像処理装置１５０において取得されるＢクラスタップの構造の例を示す図である。

図２１の例では、Ｂ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＢクラスタップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｂクラスタップの構造の例が示されている。

図２１Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。

図２１Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。

図２１Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。

図２１Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＢクラスタップの例を示す図である。

（Ｂ予測タップの構造）
図２２は、図１６の画像処理装置１５０において取得されるＢ予測タップの構造の例を示す図である。同図に示されるように、Ｂ予測タップは、Ｇ出力画像から取得されるので、図中の円の中は、全てＧｐと記載されている。

図２２の例では、Ｂ出力画像の注目画素に対応する入力画像の画素（中心画素）を中心とした十字型の５個の画素により構成されるＢ予測タップが示されている。また、ここでは、４個の画素（Ｒ成分の画素１個、Ｂ成分の画素１個、Ｇ成分の画素２個）を単位として構成されるベイヤー配列の画素において、４個の単位画素のそれぞれを中心画素とする場合について、Ｂ予測タップの構造の例が示されている。

図２２Ａは、ベイヤー配列の画素におけるＲ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。

図２２Ｂは、ベイヤー配列の画素におけるＧ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。

図２２Ｃは、ベイヤー配列の画素における別のＧ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。

図２２Ｄは、ベイヤー配列の画素におけるＢ成分の画素を中心画素とする場合のＢ予測タップの例を示す図である。

なお、ＢクラスタップとＢ予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。

以上のように、図１６に示されるように画像処理装置を構成することで、例えば、図６の構成の場合と比較して、ノイズ量や解像度（周波数特性）の面でより品質の高い画像処理を行うことが可能となる。また、各予測タップにおいて、Ｇ成分の画素のみを用いることで、Ｒ成分およびＢ成分の画素値の局所的な変化の影響を受けにくくなるため、出力画像におけるジッパーノイズを低減することができる。その際に、各クラスタップにおいてはＲ，Ｇ，Ｂの各成分の画素を用いているため、Ｒ成分およびＢ成分の画素をクラスコードに対応づけることができるので、各予測タップがＧ成分の画素のみから構成されるようにしても、出力画像の解像度が低下することはない。

＜画像処理装置の他の構成＞

なお、図１６の画像処理装置１５０において、Ｒクラスタップ選択部１５２−２は、入力画像からＲクラスタップを選択すると説明したが、図２３に示すように、Ｇ出力画像からＲクラスタップを選択するようにしてもよい。この場合、Ｒクラスタップは、全てＧ成分の画素により構成されていることになるので、Ｒ変換部１５５−２１によるＲ変換処理としては、Ｇ出力画像のＧ成分の画素を予測値Ｇｐとすれば、上述した式（１８）により変換値Ｇｐ´が演算されることになる。

また、図１６の画像処理装置１５０において、Ｂクラスタップ選択部１５２−３は、入力画像からＢクラスタップを選択すると説明したが、図２３に示すように、Ｇ出力画像からＢクラスタップを選択するようにしてもよい。この場合、Ｂクラスタップは、全てＧ成分の画素により構成されていることになるので、Ｂ変換部１５５−３１によるＢ変換処理としては、Ｇ出力画像のＧ成分の画素を予測値Ｇｐとすれば、上述した式（１９）により変換値Ｇｐ´が演算されることになる。

＜３．第３の実施の形態＞

ところで、ジッパーノイズは、タップ内の画素の色差変化が大きい場合に発生する現象である。従って、各クラス分類部により生成されるクラスコードに、入力画像における色成分の変化の検出結果を含ませることで、ジッパーノイズを低減させる精度をさらに向上させることができる。

＜画像処理装置の構成＞

図２４は、本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。同図に示される画像処理装置１８０は、先にＧ出力画像を生成してから、その生成したＧ出力画像を用いてＲ出力画像とＢ出力画像を生成するようになされている。また、同図に示される画像処理装置１８０では、出力画像において発生するジッパーノイズを低減する対策として、各予測タップがＧ成分の画素のみから構成されるようになされている。さらに、図１６の場合とは異なり、図２４の場合、色変化検出部１９０が設けられており、出力画像において発生するジッパーノイズを低減する対策として、色変化検出部１９０による色成分の変化の検出結果がクラスコードに含まれるようになされている。

図２４における代表ＲＧＢ演算部１８１は、図１６の代表ＲＧＢ演算部１５１と同様に構成されるものなので詳細な説明は省略するが、代表ＲＧＢ演算部１８１により演算された代表値Ｄｒ、代表値Ｄｂおよび代表値Ｄｇのうち、Ｇ成分の代表値Ｄｇは、色変化検出部１９０にも供給される。

色変化検出部１９０は、入力画像から、Ｒ成分の色変化量およびＢ成分の色変化量を算出する。いま、Ｒ成分の色変化量をΔＲで表すことにすると、色変化検出部１９０は、式（２０）の演算を行うことで、ΔＲを算出する。

・・・（２０）

但し、式（２０）において、ＤＲはダイナミックレンジを表している。また、Ｒは画素Ｒの入力値Ｒ、ｇは補間値ｇ、Ｄｇは代表値Ｄｇをそれぞれ表している。これにより、Ｇ成分に対するＲ成分の変化量が求められる。

色変化検出部１９０は、ΔＲの値が所定の閾値を超えるか否かを判定する。色変化検出部１９０は、例えば、ΔＲの値が所定の閾値以上となる場合、Ｒ成分の色変化量が大きいと判定し、ΔＲの値が所定の閾値未満となる場合には、Ｒ成分の色変化量が小さいと判定する。

また、Ｂ成分の色変化量をΔＢで表すことにすると、色変化検出部１９０は、式（２１）の演算を行うことで、ΔＢを算出する。

・・・（２１）

但し、式（２１）において、ＤＲはダイナミックレンジを表している。また、Ｂは画素Ｂの入力値Ｂ、ｇは補間値ｇ、Ｄｇは代表値Ｄｇをそれぞれ表している。これにより、Ｇ成分に対するＢ成分の変化量が求められる。

色変化検出部１９０は、ΔＢの値が所定の閾値を超えるか否かを判定する。色変化検出部１９０は、例えば、ΔＢの値が所定の閾値以上となる場合、Ｂ成分の色変化量が大きいと判定し、ΔＢの値が所定の閾値未満となる場合には、Ｂ成分の色変化量が小さいと判定する。

このようにして求められた色変化の検出結果は、Ｇクラス分類部１８６−１、並びに、遅延部１９１−３を介して、Ｒクラス分類部１８６−２およびＢクラス分類部１８６−３に供給されるようになされている。すなわち、いまの場合、色変化の検出結果としては、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報が含まれることになる。

図２４において、Ｇ出力画像の生成に係る機能ブロックである、Ｇクラスタップ選択部１８２−１、Ｇ変換部１８５−１１、Ｇクラス分類部１８６−１、Ｇ係数メモリ１８７−１、Ｇ予測タップ選択部１８３−１、Ｇ変換部１８５−１２、およびＧ積和演算部１８８−１は、それぞれ図１６のＧクラスタップ選択部１５２−１、Ｇ変換部１５５−１１、Ｇクラス分類部１５６−１、Ｇ係数メモリ１５７−１、Ｇ予測タップ選択部１５３−１、Ｇ変換部１５５−１２、およびＧ積和演算部１５８−１と基本的に同様に構成されるものなので詳細な説明は省略する。

但し、Ｇクラス分類部１８６−１は、ＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｇ係数メモリ１８７−１には、予め学習により求められた係数であって、Ｇ積和演算部１５８−１による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図２４の構成の画像処理装置１８０を用いる場合、Ｇ係数メモリ１８７−１に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｇ成分に対応するイメージセンサを配置して得られたＧ成分の画像を教師画像としてＧ出力画像を生成するための学習が行われるものとする。

このようにして得られるＧ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。

また、図２４において、Ｒ出力画像の生成に係る機能ブロックである、Ｒクラスタップ選択部１８２−２、Ｒ変換部１８５−２１、Ｒクラス分類部１８６−２、Ｒ係数メモリ１８７−２、Ｒ予測タップ選択部１８３−２、Ｒ変換部１８５−２２、およびＲ積和演算部１８８−２は、それぞれ図１６のＲクラスタップ選択部１５２−２、Ｒ変換部１５５−２１、Ｒクラス分類部１５６−２、Ｒ係数メモリ１５７−２、Ｒ予測タップ選択部１５３−２、Ｒ変換部１５５−２２、およびＲ積和演算部１５８−２と基本的に同様に構成されるものなので詳細な説明は省略する。

但し、Ｒクラス分類部１８６−２は、ＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｒ係数メモリ１８７−２には、予め学習により求められた係数であって、Ｒ積和演算部１５８−２による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図２４の構成の画像処理装置１８０を用いる場合、Ｒ係数メモリ１８７−２に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｒ成分に対応するイメージセンサを配置して得られたＲ成分の画像を教師画像としてＲ出力画像を生成するための学習が行われるものとする。

このようにして得られるＲ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。

また、図２４において、Ｂ出力画像の生成に係る機能ブロックである、Ｂクラスタップ選択部１８２−３、Ｂ変換部１８５−３１、Ｂクラス分類部１８６−３、Ｂ係数メモリ１８７−３、Ｂ予測タップ選択部１８３−３、Ｂ変換部１８５−３２、およびＢ積和演算部１８８−３は、それぞれ図１６のＢクラスタップ選択部１５２−３、Ｂ変換部１５５−３１、Ｂクラス分類部１５６−３、Ｂ係数メモリ１５７−３、Ｂ予測タップ選択部１５３−３、Ｂ変換部１５５−３２、およびＢ積和演算部１５８−３と基本的に同様に構成されるものなので詳細な説明は省略する。

但し、Ｂクラス分類部１８６−３は、ＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成するが、このクラスコードには、色変化検出部１９０による色変化の検出結果を示すコードが含まれることになる。なお、Ｂ係数メモリ１８７−３には、予め学習により求められた係数であって、Ｂ積和演算部１５８−３による積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

なお、図２４の構成の画像処理装置１８０を用いる場合、Ｂ係数メモリ１８７−３に記憶される係数の学習の際には、例えば、図５の枠１４に、Ｂ成分に対応するイメージセンサを配置して得られたＢ成分の画像を教師画像としてＢ出力画像を生成するための学習が行われるものとする。

このようにして得られるＢ出力画像は、Ｒ成分の色変化量およびＢ成分の色変化量の大きさに応じた係数を用いた積和演算により生成されるものとなるため、ジッパーノイズを低減させる精度をさらに向上させることができる。

なお、上述の説明では、Ｒ成分の色変化量であるΔＲは、式（２０）の演算を行うことで算出されると説明したが、Ｒ成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。また、Ｂ成分の色変化量であるΔＢは、式（２１）の演算を行うことで算出されると説明したが、Ｂ成分の色変化量を算出可能な他の演算式により求めるようにしてもよい。

また、上述の説明では、Ｇクラス分類部１８６−１、Ｒクラス分類部１８６−２、およびＢクラス分類部１８６−３の全てにおいて色変化の検出結果を示すコードが含まれるクラスコードを生成すると説明したが、各クラス分類部においては必ずしもクラスコードに色変化の検出結果を示すコードを含ませる必要はない。例えば、Ｇクラス分類部１８６−１のみが、色変化の検出結果を示すコードをクラスコードに含ませてもよい。

さらに、上述の説明では、色変化の検出結果には、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報の両方を含ませると説明したが、それらの情報のうち少なくとも一方を含ませるようにすればよい。また、所定の演算式により求められるＧ成分の色変化量の大小のいずれかを示す情報が、色変化の検出結果に含まれるようにしてもよい。例えば、Ｒクラス分類部１８６−２では、色変化の検出結果として、Ｒ成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、Ｒ出力画像が得られるようにすることができる。また、Ｂクラス分類部１８６−３では、Ｂ成分の色変化量の大小のいずれかを示す情報のみを示すコードが含まれるクラスコードを生成して、Ｂ出力画像が得られるようにすることができる。

＜画像処理装置による画像処理＞

図２５は、図２４の画像処理装置１８０による画像処理の例を説明するフローチャートである。

ステップＳ８１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ８１において、画像が入力されたと判定された場合、処理は、ステップＳ８２に進む。

ステップＳ８２において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。

ステップＳ８３において、代表ＲＧＢ演算部１８１は、図１４を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、上述した代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。

ステップＳ８４において、色変化検出部１９０は、入力画像から、色成分の変化を検出する。例えば、色変化の検出結果として、Ｒ成分の色変化量の大小のいずれかを示す情報と、Ｂ成分の色変化量の大小のいずれかを示す情報が得られる。

ステップＳ８５において、Ｇクラスタップ選択部１８２−１、Ｒクラスタップ選択部１８２−２、または、Ｂクラスタップ選択部１８２−３は、それぞれＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップを取得する。

なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。但し、上述したように、Ｇクラスタップは、Ｒ，Ｇ，Ｂの各成分から構成されていることになる。

ステップＳ８６において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１８５−１１がＧ変換を行う。このとき、上述した式（１）乃至式（３）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ８７においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１８６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。ここで生成されたクラスコードには、色変化の検出結果を示すコードが含まれる。

ステップＳ８８において、予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ取得部１８３−１がＧ予測タップを取得する。但し、上述したように、Ｇ予測タップは、全てＧ成分の画素により構成されていることになる。

ステップＳ８９において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１８５−１２がＧ変換を行う。このとき、Ｇ予測タップは、全てＧ成分の画素により構成されているので、上述した式（１）により、変換値Ｇ´が演算される。

ステップＳ９０において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１８７−１から、ステップＳ８７の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。

ステップＳ９１において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（４）の画素x₁，x₂，・・・，x_Nに、ステップＳ８９の処理で色変換されたＧ予測タップを代入し、式（４）におけるタップ係数w_nとして、ステップＳ９０の処理で読み出された係数が供給され、Ｇ積和演算部１８８−１が式（４）の演算を行うことによって、出力画像の注目画像の画素値が予測される。

ステップＳ９２において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ８２に戻り、それ以降の処理が繰り返し実行される。

ステップＳ９２において、次の注目画素がないと判定された場合、処理は終了する。

このようにして、画像生成処理が実行される。

＜色フィルタアレイの配列の他の例＞

なお、上述の説明では、色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられる例を説明したが、ベイヤー配列以外の色フィルタアレイが用いられるようにしてもよい。例えば、ベイヤー配列の１水平ライン毎に画素の配置位置を１／２画素ずつシフトさせた画素配列（以下、斜めベイヤー配列という）を用いることができる。図２６および図２７には、斜めベイヤー配列を用いた場合のクラスタップおよび予測タップの構造の例を示している。

（クラスタップの構造）
図２６は、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において取得されるクラスタップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称している。

図２６の例では、斜めベイヤー配列で配された１３個の画素により構成されるクラスタップが示されている。図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において、各クラスタップは、Ｒ，Ｇ，Ｂの各成分の画素から構成されることになる。

（予測タップの構造）
図２７は、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において取得される予測タップの構造の例を示す図である。ここで、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。

図２７の例では、図２６のクラスタップに対応する１３個の画素のうち、Ｇ成分となる９個の画素のみから構成される予測タップが示されている。すなわち、図１６の画像処理装置１５０、または、図２４の画像処理装置１８０において、各予測タップは、Ｇ成分の画素のみから構成されることになる。

なお、斜めベイヤー配列を用いた場合であっても、上述のベイヤー配列と同様に、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。

＜コンピュータの構成＞

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図２８に示されるような汎用のコンピュータ９００などに、ネットワークや記録媒体からインストールされる。

図２８において、ＣＰＵ（Central Processing Unit）９０１は、ＲＯＭ（Read Only Memory）９０２に記憶されているプログラム、または記憶部９０８からＲＡＭ（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ９０３にはまた、ＣＰＵ９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。

入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部９０７、ハードディスクなどより構成される記憶部９０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア９１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図２８に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ９０２や、記憶部９０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
を備え、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
画像処理装置。
（２）
前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
をさらに備え、
前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
（１）に記載の画像処理装置。
（３）
前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
（２）に記載の画像処理装置。
（４）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
前記代表値演算部は、
前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
（２）または（３）に記載の画像処理装置。
（５）
前記色成分変換部は、
前記第２の画像がＧの画素のみで構成される画像である場合、
前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
前記第２の画像がＲの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
前記第２の画像がＢの画素のみで構成される画像である場合、
前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
（４）に記載の画像処理装置。
（６）
前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、
前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
（１）乃至（５）のいずれか一項に記載の画像処理装置。
（７）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（１）乃至（６）のいずれか一項に記載の画像処理装置。
（８）
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含む画像処理方法。
（９）
第１の画像から第２の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
ステップを含むプログラム。

１５０ 画像処理装置， １５１ 代表ＲＧＢ演算部， １５２−１ Ｇクラスタップ選択部， １５２−２， Ｒクラスタップ選択部， １５２−３ Ｂクラスタップ選択部， １５３−１ Ｇ予測タップ選択部， １５３−２， Ｒ予測タップ選択部， １５３−３ Ｂ予測タップ選択部， １５５−１１ Ｇ変換部， １５５−１２ Ｇ変換部， １５５−２１ Ｒ変換部， １５５−２２ Ｒ変換部， １５５−３１ Ｂ変換部， １５５−３２ Ｂ変換部， １５６−１ Ｇクラス分類部， １５６−２ Ｒクラス分類部， １５６−３ Ｂクラス分類部， １５７−１ Ｇ係数メモリ， １５７−２ Ｒ係数メモリ， １５７−３ Ｂ係数メモリ， １５８−１ Ｇ積和演算部， １５８−２ Ｒ積和演算部， １５８−３ Ｂ積和演算部， １８０ 画像処理装置， １８１ 代表ＲＧＢ演算部， １８２−１ Ｇクラスタップ選択部， １８２−２， Ｒクラスタップ選択部， １８２−３ Ｂクラスタップ選択部， １８３−１ Ｇ予測タップ選択部， １８３−２， Ｒ予測タップ選択部， １８３−３ Ｂ予測タップ選択部， １８５−１１ Ｇ変換部， １８５−１２ Ｇ変換部， １８５−２１ Ｒ変換部， １８５−２２ Ｒ変換部， １８５−３１ Ｂ変換部， １８５−３２ Ｂ変換部， １８６−１ Ｇクラス分類部， １８６−２ Ｒクラス分類部， １８６−３ Ｂクラス分類部， １８７−１ Ｇ係数メモリ， １８７−２ Ｒ係数メモリ， １８７−３ Ｂ係数メモリ， １８８−１ Ｇ積和演算部， １８８−２ Ｒ積和演算部， １８８−３ Ｂ積和演算部， １９０ 色変化検出部， ９００ コンピュータ， ９０１ ＣＰＵ

Claims (9)

1. 複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
   前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
   前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
   前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
   前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
   を備え、
   前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
   前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
   画像処理装置。
2. 前記第１の画像から、所定の画素数で構成される領域である指定領域を選択するとともに、前記指定領域における前記各色成分の代表値をそれぞれ演算する代表値演算部と、
   前記予測タップの前記第１の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
   をさらに備え、
   前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
   請求項１に記載の画像処理装置。
3. 前記クラスタップの前記複数の色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
   前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
   請求項２に記載の画像処理装置。
4. 前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
   前記代表値演算部は、
   前記ＲまたはＢの画素の周囲のＧの画素に基づいて、前記ＲまたはＢの画素の補間値ｇを算出し、
   前記Ｇの画素の周囲のＲの画素またはＢの画素に基づいて、それぞれ前記Ｇの画素の補間値ｒおよび補間値ｂを算出し、
   前記Ｇの画素から直接得られる入力値Ｇと前記補間値ｇとの平均値により、Ｇの代表値を演算し、
   前記補間値ｒと前記入力値Ｇとの差分、および、前記Ｒの画素から直接得られる入力値Ｒと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＲの代表値を演算し、
   前記補間値ｂと前記入力値Ｇとの差分、および、前記Ｂの画素から直接得られる入力値Ｂと前記補間値ｇとの差分、並びに前記Ｇの代表値に基づいてＢの代表値を演算する
   請求項３に記載の画像処理装置。
5. 前記色成分変換部は、
   前記第２の画像がＧの画素のみで構成される画像である場合、
   前記入力値Ｒを、前記Ｒの代表値と前記Ｇの代表値の差分によりオフセットし、
   前記入力値Ｂを、前記Ｂの代表値と前記Ｇの代表値の差分によりオフセットし、
   前記第２の画像がＲの画素のみで構成される画像である場合、
   前記入力値Ｇを、前記Ｇの代表値と前記Ｒの代表値の差分によりオフセットし、
   前記入力値Ｂを、前記Ｂの代表値と前記Ｒの代表値の差分によりオフセットし、
   前記第２の画像がＢの画素のみで構成される画像である場合、
   前記入力値Ｇを、前記Ｇの代表値と前記Ｂの代表値の差分によりオフセットし、
   前記入力値Ｒを、前記Ｒの代表値と前記Ｂの代表値の差分によりオフセットする
   請求項４に記載の画像処理装置。
6. 前記第１の画像から、色成分の変化を検出する色変化検出部をさらに備え、
   前記クラス分類部は、前記色変化検出部の検出結果に基づいて、クラス分類を行う
   請求項１に記載の画像処理装置。
7. 前記係数読み出し部により読み出される係数は、予め学習により求められ、
   前記学習では、
   前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
   前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
   前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
   請求項１に記載の画像処理装置。
8. 画像処理装置の画像処理方法において、
   前記画像処理装置が、
   複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
   前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
   前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
   前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
   前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
   前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
   前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
   ステップを含む画像処理方法。
9. 第１の画像から第２の画像を生成する画像処理をコンピュータに行わせるプログラムにおいて、
   複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される前記第１の画像から、前記複数の色成分に対応する画素に係る画素値を、クラスタップとして選択し、
   前記クラスタップの前記複数の色成分の画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である前記第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類し、
   前記クラス分類の結果に基づいて、予め記憶されている係数を読み出し、
   前記第１の画像から、前記複数の色成分のうち、第１の色成分に対応する画素に係る画素値を、予測タップとして選択し、
   前記予測タップの前記第１の色成分の画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算し、
   前記複数の色成分の画像のうち、前記第１の色成分のみで構成される第２の画像を生成し、
   前記複数の色成分の画像のうち、前記第１の色成分とは異なる第２の色成分のみで構成される第２の画像を生成する場合、前記第１の色成分のみで構成される第２の画像から、前記予測タップが取得される
   ステップを含むプログラム。

Images