JP2014200033A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】確実に偽色や雑音を低減することができるようにする。
【解決手段】参照エリア設定部は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、参照エリアの領域を変化させ、方向検出部は、参照エリア内の画素の画素値から得られる統計量を評価して、第１の画像内の注目位置の方向性を検出する。本技術は、例えば、単板式カメラにより取得された画像信号に対する画像処理を行う画像処理装置に適用することができる。
【選択図】図３

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、確実に偽色や雑音を低減することができるようにした画像処理装置および方法、並びにプログラムに関する。

イメージセンサを用いた撮像装置には、主に、１つのイメージセンサを用いた単板方式のもの（以下、単板式カメラという）と、３つのイメージセンサを用いた３板方式のもの（以下、３板式カメラという）とがある。

３板式カメラでは、例えばＲ信号用、Ｇ信号用およびＢ信号用の３つのイメージセンサを用いて、その３つのイメージセンサにより３原色信号を得る。そして、この３原色信号から生成されるカラー画像信号が記録媒体に記録される。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。色コーディングフィルタを構成する色フィルタアレイとしては、例えば、Ｒ（Red），Ｇ（Green），Ｂ（Blue）の原色フィルタアレイや、Ｙｅ（Yellow），Ｃｙ（Cyanogen），Ｍｇ（Magenta）の補色フィルタアレイが用いられている。そして、単板式カメラにおいては、イメージセンサにより１画素毎に１つの色成分の信号を得て、各画素が持っている色成分の信号以外の色信号を線形補間処理により生成して、３板式カメラにより得られる画像に近い画像を得るようしていた。ビデオカメラなどにおいて、小型化、軽量化を図る場合に、単板式が採用されている。

色コーディングフィルタを構成する色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられることが多い。ベイヤー配列では、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。

この場合、イメージセンサは、Ｒ，Ｇ，Ｂの３原色のうちの１つの色のフィルタが配置された各画素から、そのフィルタの色に対応する画像信号のみが出力される。すなわち、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は出力されるが、Ｇ成分およびＢ成分の画像信号は出力されない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが出力され、Ｒ成分およびＢ成分の画像信号は出力されず、Ｂの画素からは、Ｂ成分の画像信号のみが出力され、Ｒ成分およびＧ成分の画像信号は出力されない。

しかしながら、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。そこで、従来の技術では、ｎ×ｍ（ｎおよびｍは正の整数）個の画素で構成されるイメージセンサの出力から、ｎ×ｍ個のＲ画素の画像信号、ｎ×ｍ個のＧ画素の画像信号およびｎ×ｍ個のＢ画素の画像信号が、それぞれ補間演算により求められ、後段に出力される。

このような従来の技術としてDLMMSE法が知られている（非特許文献１参照）。図１に示すように、DLMMSE法では、まず、垂直・水平の２方向で補間により、イメージセンサからの入力画像の各画素位置の補間色差を求めて、注目している画素の位置の近傍の５画素の統計量を算出する。

具体的には、図２に示すように、イメージセンサからの入力画像における３６（＝６×６）画素の領域において、垂直補間色差ｒｖ、ｂｖと、水平補間色差ｒｈ、ｂｈが求められるので、例えば、Ｒ１４の画素に注目したときの、垂直方向の５画素（ｒｖ２、ｒｖ８、ｒｖ１４、ｒｖ２０、ｒｖ２６）を用いて垂直方向の統計量を算出する。同様に、Ｒ１４の画素に注目したときの、水平方向の５画素（ｒｈ１２、ｒｈ１３、ｒｈ１４、ｒｈ１５、ｒｈ１６）を用いて水平方向の統計量を算出する。

図１に戻って、このように算出された統計量を用いて、注目している画素の方向性（垂直方向または水平方向）を検出し、その検出結果に応じて、垂直色差と水平色差とを混合（按分）することで、色差（Ｒ−Ｇ、Ｂ−Ｇ）が求められる。なお、垂直方向の補間色差と統計量から垂直色差が求められ、水平方向の補間色差と統計量から水平色差が求められる。

DLMMSE法では、このようにして色差（Ｒ−Ｇ、Ｂ−Ｇ）が求められるので、それを用いた画像処理によって、Ｇ画素の画像信号、Ｒ画素の画像信号、およびＢ画素の画像信号がそれぞれ求められ、出力画像として生成される。

DLMMSE algorithm from L. Zhang and X. Wu, "Color demosaicking via directional linear minimum mean square-error estimation," IEEE Trans. on Image Processing, vol. 14, no. 12, pp. 2167-2178, 2005.

しかしながら、DLMMSE法を用いた場合、統計量の算出時の画素の参照エリアが垂直方向または水平方向に固定されているため、特に、ナイキスト周波数に近い高周波成分を含む入力画像に対しては、方向性を誤検出してしまう可能性がある。このように方向性を誤った場合には、その画素位置では真値とはかけ離れた値が生成され、結果として脈絡のない偽色や雑音が生じることとなる。

本技術はこのような状況に鑑みてなされたものであり、確実に偽色や雑音を低減することができるようにするものである。

本技術の一側面の画像処理装置は、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させる参照エリア設定部と、前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する方向検出部とを備える。

前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、Ｒの画素とＢの画素の位置において、垂直方向と水平方向にＧ成分の値を補間する補間部と、Ｒ成分の値またはＢ成分の値と、垂直方向の補間値または水平方向の補間値との差である補間色差を演算する補間色差演算部とをさらに備え、前記方向検出部は、前記参照エリア内の前記補間色差から得られる統計量を評価して、前記注目位置の方向性を検出する。

前記方向検出部は、前記参照エリアの領域を変化させることで得られる複数の統計量のうち、最も顕著な特徴に基づいて、前記注目位置の方向性を検出する。

前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差の分散の差または標準偏差の差のうち、その差が最も大きいものを、最も顕著な特徴とする。

前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差のダイナミックレンジのうち、最も大きいものを、最も顕著な特徴とする。

前記方向検出部は、前記参照エリア内の画素の画素値から得られる統計量を、前記参照エリアの領域の大きさに応じた重み付けをしてから評価する。

前記方向性の検出結果に応じて選択された垂直方向の補間値または水平方向の補間値に基づいて、前記複数の色成分における各色成分のみで構成される画像である第２の画像を生成する画像生成部をさらに備える。

前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、前記クラスタップの画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、予測タップとして選択する予測タップ選択部と、前記予測タップの画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部とをさらに備える。

前記クラス分類部は、前記方向性の検出結果に基づいて、クラス分類を行う。

前記第１の画像から、所定の画素数で構成される領域である指定エリアを選択するとともに、前記方向性の検出結果に応じて、前記指定エリアにおける前記各色成分の代表値をそれぞれ演算する代表値演算部と、前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部とをさらに備え、前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する。

前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する。

前記係数読み出し部により読み出される係数は、予め学習により求められ、前記学習では、前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される。

前記補間色差は、前記第１の画像におけるライン毎に求められ、注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の総和と二乗和を演算し、垂直方向の総和と二乗和を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の総和と二乗和を演算し、この演算結果を用い、注目位置毎の前記補間色差の分散の垂直方向と水平方向との差分を演算し、前記参照エリア毎に得られる前記補間色差の分散の垂直方向と水平方向との差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める。

前記補間色差は、前記第１の画像におけるライン毎に求められ、注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の最大値と最小値を演算し、垂直方向の最大値と最小値を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の最大値と最小値を演算し、この演算結果を用い、注目位置毎の前記補間色差のダイナミックレンジの差分を演算し、前記参照エリア毎に得られる前記補間色差のダイナミックレンジの差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める。

本技術の一側面の画像処理方法またはプログラムは、上述した本技術の一側面の画像処理装置に対応する画像処理方法またはプログラムである。

本技術の一側面の画像処理装置および方法、並びにプログラムにおいては、複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアが設定されるとともに、前記参照エリアの領域が変化され、前記参照エリア内の画素の画素値から得られる統計量が評価されて、前記第１の画像内の注目位置の方向性が検出される。

本技術の一側面によれば、確実に偽色や雑音を低減することができる。

DLMMSE法の原理を説明する図である。 DLMMSE法における方向性の検出を説明する図である。 本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。 補間値Ｇｖ、補間値Ｇｈの算出方式の例を説明する図である。 垂直補間色差ｒｖ、ｂｖ、水平補間色差ｒｈ、ｂｈの算出方式の例を説明する図である。 参照エリアの設定方法の例を説明する図である。 参照エリア毎に演算されるＶＤの例を説明する図である。 注目位置毎に設定される参照エリアの設定方法の例を説明する図である。 出力画像の生成の流れを説明する図である。 出力画像の算出方式の例を説明する図である。 補間値Ｇｖ、補間値Ｇｈの算出方式の例を説明する図である。 単純補間の例を説明する図である。 図３の画像処理装置による画像処理の例を説明するフローチャートである。 方向検出処理の例を説明するフローチャートである。 ナイキスト周波数のパターンを説明する図である。 斜めベイヤー配列を用いた場合の方向性の検出を説明する図である。 単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。 本技術を適用した画像処理装置の別の実施の形態に係る構成例を示すブロック図である。 指定エリアの例を示す図である。 補間値ｇの算出方式の例を説明する図である。 補間値ｒの算出方式の例を説明する図である。 補間値ｂの算出方式の例を説明する図である。 図１８の画像処理装置に対応する学習装置の構成例を示す図である。 図１８の画像処理装置、または、図２３の学習装置において取得されるクラスタップの構造の例を示す図である。 図１８の画像処理装置、または、図２３の学習装置において取得される予測タップの構造の例を示す図である。 図１８の画像処理装置による画像処理の例を説明するフローチャートである。 代表ＲＧＢ演算処理の例を説明するフローチャートである。 図２３の学習装置による係数学習処理の例を説明するフローチャートである。 分散を用いた方向性判定による方向検出処理を実行する図３の画像処理装置の回路構成を示す図である。 ダイナミックレンジを用いた方向性判定による方向検出処理を実行する図３の画像処理装置の回路構成を示す図である。 コンピュータの構成例を示すブロック図である。

以下、図面を参照しながら本技術の実施の形態について説明する。

＜１．第１の実施の形態＞

＜画像処理装置の構成＞

図３は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１０は、入力画像の注目している画素の位置（以下、注目位置という）における方向性を検出し、その方向性に基づき出力画像を生成するようになされている。

画像処理装置１０に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、イメージセンサから出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

そのため、画像処理装置１０では、イメージセンサから出力される信号から、Ｒ画素の画像信号、Ｇ画像の画像信号、およびＢ画像の画像信号がそれぞれ画像処理により求められ、出力画像として生成される。

なお、以下の説明においては、演算により算出される補間値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。

図３の画像処理装置１０は、垂直補間部１１−１、水平補間部１１−２、垂直補間色差演算部１２−１、水平補間色差演算部１２−２、垂直補間色差分散演算部１３−１、水平補間色差分散演算部１３−２、分散差分演算部１４、参照エリア設定部１５、方向検出部１６、および出力画像生成部１７により構成されている。

垂直補間部１１−１は、入力画像におけるＲの画素とＢの画素のそれぞれの画素位置における垂直方向に補間されたＧ成分の値である補間値Ｇｖを算出する。

例えば、図４に示すように、ベイヤー配列の場合、Ｒ成分の画素またはＢ成分の画素を中心画素としたとき、その中心画素の周囲（上下左右）には４つのＧの画素である画素Ｇ１乃至Ｇ４が配される。この際、中心画素の上下両隣に位置する画素Ｇ１の入力値Ｇ１と画素Ｇ４の入力値Ｇ４を用いて、式（１）を演算することにより、中心画素の画素位置における垂直方向に補間されたＧ成分の値である補間値Ｇｖを算出する。

・・・（１）

図３に戻って、水平補間部１１−２は、入力画像におけるＲの画素とＢの画素のそれぞれの画素位置における水平方向に補間されたＧ成分の値である補間値Ｇｈを算出する。

例えば、図４に示すように、中心画素の左右両隣に位置する画素Ｇ２の入力値Ｇ２と画素Ｇ３の入力値Ｇ３を用いて、式（２）を演算することにより、中心画素の画素位置における水平方向に補間されたＧ成分の値である補間値Ｇｈを算出する。

・・・（２）

図３に戻って、垂直補間部１１−１により補間された補間値Ｇｖは、垂直補間色差演算部１２−１に供給される。これにより、入力画像のＲの画素の位置では、入力値Ｒおよび補間値Ｇｖを得ることができ、入力画像のＢの画素の位置では、入力値Ｂおよび補間値Ｇｖを得ることができる。

垂直補間色差演算部１２−１は、各画素位置において、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、垂直方向の補間値Ｇｖとの差分である垂直補間色差ｒｖ、ｂｖを算出する。

ここで、垂直補間色差ｒｖ、ｂｖは、式（３）により演算される。

・・・（３）

また、水平補間部１１−２により補間された補間値Ｇｈは、水平補間色差演算部１２−２に供給される。これにより、入力画像のＲの画素の位置では、入力値Ｒおよび補間値Ｇｈを得ることができ、入力画像のＢの画素の位置では、入力値Ｂおよび補間値Ｇｈを得ることができる。

水平補間色差演算部１２−２は、各画素位置において、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、水平方向の補間値Ｇｈとの差分である水平補間色差ｒｈ、ｂｈを算出する。

ここで、水平補間色差ｒｈ、ｂｈは、式（４）により演算される。

・・・（４）

図５は、垂直補間色差ｒｖ、ｂｖと水平補間色差ｒｈ、ｂｈの算出方式の例を示している。図５では、図中の円のそれぞれが、画素を表しており、Ｒ、Ｇ、Ｂの各色成分毎に異なる模様が施されている。

図５に示すように、入力画像におけるＲの画素またはＢの画素のそれぞれの画素位置における補間値Ｇｖを求めて、各画素位置毎に、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、補間値Ｇｖとの差分を演算することで、垂直補間色差ｒｖ、ｂｖが算出される。つまり、入力画像において、Ｒの画素の画素位置ではｒｖ＝Ｒ−Ｇｖが演算され、Ｂの画素の画素位置ではｂｖ＝Ｂ−Ｇｖが演算される。

また、図５に示すように、入力画像におけるＲの画素またはＢの画素のそれぞれの画素位置における補間値Ｇｈを求めて、各画素位置毎に、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、補間値Ｇｈとの差分を演算することで、水平補間色差ｒｈ、ｂｈが算出される。つまり、入力画像において、Ｒの画素の画素位置ではｒｈ＝Ｒ−Ｇｈが演算され、Ｂの画素の画素位置ではｂｈ＝Ｂ−Ｇｈが演算される。

これにより、入力画像において、Ｒの画素の画素位置では、垂直補間色差ｒｖおよび水平補間色差ｒｈを得ることができ、Ｂの画素の画素位置では、垂直補間色差ｂｖおよび水平補間色差ｂｈを得ることができる。

図３に戻って、垂直補間色差演算部１２−１により求められた垂直補間色差ｒｖ、ｂｖは、垂直補間色差分散演算部１３−１に供給される。垂直補間色差分散演算部１３−１は、垂直補間色差ｒｖの分散であるＶ（Ｒ−Ｇｖ）と、垂直補間色差ｂｖの分散であるＶ（Ｂ−Ｇｖ）をそれぞれ算出し、分散差分演算部１４に供給する。

また、水平補間色差演算部１２−２により求められた水平補間色差ｒｈ、ｂｈは、水平補間色差分散演算部１３−２に供給される。水平補間色差分散演算部１３−２は、水平補間色差ｒｈの分散であるＶ（Ｒ−Ｇｈ）と、水平補間色差ｂｈの分散であるＶ（Ｂ−Ｇｈ）をそれぞれ算出し、分散差分演算部１４に供給する。

分散差分演算部１４は、垂直補間色差分散演算部１３−１により求められた垂直補間色差ｒｖ，ｂｖの分散と、水平補間色差分散演算部１３−２により求められた水平補間色差ｒｈ，ｂｈの分散との差分ＶＤを算出する。

ここで、差分ＶＤは、式（５）により演算される。

・・・（５）

但し、式（５）において、ｋ（ｋ＝１，２，・・・，ｋｍａｘ）は、注目位置を特定するための変数を表している。また、式（５）において、ｎ（ｎ＝１，２，・・・，ｎｍａｘ）は、注目位置を中心として任意に設定される領域である参照エリアを特定するための変数を表している。

すなわち、差分ＶＤは、垂直補間色差ｒｖ，ｂｖまたは水平補間色差ｒｈ，ｂｈにおける注目位置を中心とした参照エリア毎に求められる。この参照エリアは、参照エリア設定部１５により設定される。

例えば、図６に示すように、入力画像における３６（＝６×６）画素の領域を一例にすれば、上述したように、Ｒの画素およびのＢの画素の位置では、補間値Ｇｖおよび補間値Ｇｈが求められる。

なお、図６の例では、図中の上段の各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表しており、さらに説明に用いるために左上から順に０乃至３５の番号が付されている。また、図中の下段の点線の各円内に記されたｒｖ、ｂｖは、Ｒの画素およびＢの画素の位置の垂直補間色差を、ｒｈ、ｂｈは、Ｒの画素およびＢの画素の位置の水平補間色差をそれぞれ表しており、さらに入力画像の対応する画素と同一の番号が付されている。

従って、垂直補間色差ｒｖであるが、例えば、ｒｖ０、ｒｖ２、ｒｖ４は、Ｒ０−Ｇｖ、Ｒ２−Ｇｖ、Ｒ４−Ｇｖをそれぞれ演算することで算出される。また、垂直補間色差ｂｖであるが、例えば、ｂｖ７、ｂｖ９、ｂｖ１１は、Ｂ７−Ｇｖ、Ｂ９−Ｇｖ、Ｂ１１−Ｇｖをそれぞれ演算することで算出される。なお、繰り返しになるので説明は省略するが、他の画素の位置においても同様の演算が行われることで、垂直補間色差ｒｖ、ｂｖが求められる。

また、水平補間色差ｒｈであるが、例えば、ｒｈ０、ｒｈ２、ｒｈ４は、Ｒ０−Ｇｈ、Ｒ２−Ｇｈ、Ｒ４−Ｇｈをそれぞれ演算することで算出される。また、水平補間色差ｂｈであるが、例えば、ｂｈ７、ｂｈ９、ｂｈ１１は、Ｂ７−Ｇｈ、Ｂ９−Ｇｈ、Ｂ１１−Ｇｈをそれぞれ演算することで算出される。なお、繰り返しになるので説明は省略するが、他の画素の位置においても同様の演算が行われることで、水平補間色差ｒｈ，ｂｈが求められる。

また、図中の下段の点線の円の一部は太線で囲まれているが、Ｒ１４（ｒｖ１４、ｒｈ１４）を注目位置とし、その注目位置を中心とした９（＝３×３）画素により構成される領域が参照エリア１（ｎ＝１）とされる。また、Ｒ１４（ｒｖ１４、ｒｈ１４）を注目位置とし、その注目位置を中心とした２５（＝５×５）画素により構成される領域が参照エリア２（ｎ＝２）とされる。

すなわち、Ｒ１４の画素を注目位置（ｋ＝１）とした場合、参照エリア１の差分ＶＤ(１)(１)は、上述した式（５）により、次のように算出することができる。

ＶＤ(１)(１)＝｛Ｖ(ｒｖ１４)＋Ｖ(ｂｖ７，ｂｖ９，ｂｖ１９，ｂｖ２１)｝−｛Ｖ(ｒｈ１４)＋Ｖ(ｂｈ７，ｂｈ９，ｂｈ１９，ｂｈ２１)｝

ここで、ＶＤ(１)(１)は、参照エリア１における垂直補間色差と水平補間色差とのなめらかさの差を表している。つまり、ＶＤ(１)(１)＞０であれば、参照エリア１では水平方向がよりなめらかであることを表し、ＶＤ(１)(１)＜０であれば、参照エリア１では垂直方向がよりなめらかであることを表している。なお、ＶＤ(１)(１)＝０であれば、参照エリア１では水平方向と垂直方向は同程度のなめらかさとされる。

同様にまた、参照エリア２の差分ＶＤ(２)(１)は、上述した式（５）により、次のように算出することができる。

ＶＤ(２)(１)＝｛Ｖ(ｒｖ０，ｒｖ２，ｒｖ４，ｒｖ１２，ｒｖ１４，ｒｖ１６，ｒｖ２４，ｒｖ２６，ｒｖ２８)＋Ｖ(ｂｖ７，ｂｖ９，ｂｖ１９，ｂｖ２１)｝−｛Ｖ(ｒｈ０，ｒｈ２，ｒｈ４，ｒｈ１２，ｒｈ１４，ｒｈ１６，ｒｈ２４，ｒｈ２６，ｒｈ２８)＋Ｖ(ｂｈ７，ｂｈ９，ｂｈ１９，ｂｈ２１)｝

そして、図７に示すように、例えばｎの最大値（ｎｍａｘ）として８が設定されている場合、注目位置（ｋ＝１）を中心として参照エリア１から参照エリア８まで順に領域が拡大され、注目位置（ｋ＝１）の参照エリア毎に差分ＶＤが算出される。図７の例では、差分ＶＤ(１)(１)乃至ＶＤ(８)(１)が順次算出されることになる。

このようにして、Ｒ１４を注目位置（ｋ＝１）として、差分ＶＤ(１)(１)乃至ＶＤ(８)(１)が算出されると、次の画素を注目位置（ｋ＝２）として、差分ＶＤが求められることになる。

例えば、図８に示すように、Ｒ１４である注目位置（ｋ＝１）の次に、Ｂ２１である注目位置（ｋ＝２）と、Ｇ１５である注目位置（ｋ＝３）を順に注目する場合について考える。この場合、まず、Ｂ２１である注目位置（ｋ＝２）について、参照エリア１乃至参照エリア８が順次設定され、差分ＶＤ(１)(２)乃至ＶＤ(８)(２)が算出される。そして、Ｂ２１である注目位置（ｋ＝２）についての差分ＶＤ(１)(２)乃至ＶＤ(８)(２)が算出されると、次にＧ１５である注目位置（ｋ＝３）について、参照エリア１乃至参照エリア８が順次設定され、差分ＶＤ(１)(３)乃至ＶＤ(８)(３)が算出される。

これにより、入力画像の注目している画素の位置を順次注目位置として、その注目位置を中心とする参照エリア毎の差分ＶＤ(ｎ)(ｋ)が求められる。

図３に戻って、分散差分演算部１４により求められた差分ＶＤの値は順次、方向検出部１６に供給される。方向検出部１６は、差分ＶＤの値に基づいて、注目位置の方向性として、垂直方向または水平方向のいずれか一方の方向を検出する。

ここで、注目位置の方向性は、式（６）乃至式（８）の演算結果に従って検出される。

・・・（６）

・・・（７）

・・・（８）

但し、式（６）および式（７）において、Ａ(ｎ)は、参照エリア毎の重み付けを行うためのパラメータである。例えば、参照エリア１の領域と、参照エリア８の領域とを比較した場合、参照エリア１の領域のほうが狭いので、参照エリア１のＡ(１)に設定される重み付けを大きくするといったことが可能となる。

また、式（６）のＭａｘ()は、指定された値の中から最大値を求めるための関数であり、式（７）のＭｉｎ()は、指定された値の中から最小値を求めるための関数である。さらに、式（８）のＡＢＳ()は、指定された値の絶対値を求めるための関数である。

すなわち、式（６）および式（７）の演算を行うことで、ｋ番目の注目位置におけるｎ個の差分ＶＤの中から、最大値となるＶＤｍａｘと、最小値となるＶＤｍｉｎが求められる。そして、式（８）によって、ＶＤｍａｘの絶対値と、ＶＤｍｉｎの絶対値とを比較することで、ＶＤ(ｎ)(ｋ)のうち、絶対値が最も大きいものを、最も顕著な方向性を表す値とし、方向性を検出することになる。

具体的には、ＶＤｍｉｎの絶対値よりもＶＤｍａｘの絶対値のほうが大きいと判定された場合には、ｋ番目の注目位置における方向性を示す方向Ｄ(ｋ)として、水平方向が選択される。一方、ＶＤｍａｘの絶対値よりもＶＤｍｉｎの絶対値のほうが大きいと判定された場合、ｋ番目の注目位置における方向性を示す方向Ｄ(ｋ)として、垂直方向が選択される。

これにより、全ての注目位置において、垂直方向または水平方向のいずれか一方の方向性が検出されることになる。方向検出部１６による方向性の検出結果は、出力画像生成部１７に供給される。

出力画像生成部１７は、方向検出部１６による検出結果（方向性）に従い、出力画像となるＧ成分の画像（以下、Ｇ出力画像という）、Ｒ成分の画像（以下、Ｒ出力画像という）、および、Ｂ成分の画像（以下、Ｂ出力画像という）をそれぞれ生成する。

例えば、図９に示すように、入力画像に対する垂直補間および水平補間により補間値Ｇｖ，Ｇｈが算出され、それを用いて、垂直補間色差（Ｒ−Ｇｖ，Ｂ−Ｇｖ）および水平補間色差（Ｒ−Ｇｈ，Ｂ−Ｇｈ）を算出することで、各注目位置の方向性が検出されるのは、上述したとおりである。そして、注目位置の方向性として垂直方向が選択された場合には、垂直補間色差を選択し、注目位置の方向性として水平方向が選択された場合には、水平補間色差を選択することで、補間色差（Ｒ−Ｇ，Ｂ−Ｇ）が求められるので、それを用いて、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像を生成することになる。

より具体的には、図１０に示すように、入力画像におけるＲ成分の画素とＢ成分の画素のそれぞれの画素位置おいて、垂直方向または水平方向にＧ成分を補間することで、補間値Ｇｖおよび補間値Ｇｈが算出される。例えば、図１１に示すように、補間値Ｇｖは、中心画素の上下両隣に位置する画素Ｇ１の入力値Ｇ１と画素Ｇ４の入力値Ｇ４を用いて、上述した式（１）を演算することで求められる。また、補間値Ｇｈは、中心画素の左右両隣に位置する画素Ｇ２の入力値Ｇ２と画素Ｇ３の入力値Ｇ３を用いて、上述した式（２）を演算することで求められる。

図１０に戻って、補間値Ｇｖ、補間値Ｇｈが求められると、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、補間値Ｇｖとの差分である垂直補間色差（Ｒ−Ｇｖ，Ｂ−Ｇｖ）、および、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、補間値Ｇｈとの差分である垂直補間色差（Ｒ−Ｇｈ，Ｂ−Ｇｈ）が求められる。

そして、注目位置と参照エリアの領域を変更しながら、上述した式（５）を演算することで、各注目位置における、参照エリア毎の差分ＶＤが求められる。また、式（５）の演算結果を用いて、上述した式（６）乃至式（８）を演算することで、各注目位置において、垂直方向または水平方向のいずれか一方の方向性が検出されることになる。

図１０に示すように、注目位置の方向性として垂直方向が検出された場合には、垂直補間色差を選択し、注目位置の方向性として水平方向が検出された場合には、水平補間色差を選択することで、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）が求められる。従って、例えば、入力画像（Ｒ，Ｂ）からＧ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）を減算することで、Ｇ出力画像が生成されることになる。

また、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）を補間（以下、単純補間という）することで、補間色差（Ｒ−Ｇ）および補間色差（Ｂ−Ｇ）が求められる。例えば、図１２に示すように、Ｂ成分の画素を中心画素としたとき、その中心画素の周囲（斜め方向）には４つのＲ画素である画素Ｒ１乃至Ｒ４が配される。この際、中心画素の上斜め方向に位置する画素Ｒ１の値Ｒ１と画素Ｒ２の値Ｒ２とを用いて、式（９）を演算することにより、画素Ｒ１と画素Ｒ２の間の画素位置における補間値ｒ１が求められる。また、中心画素の左斜め方向に位置する画素Ｒ１の値Ｒ１と画素Ｒ３の値Ｒ３とを用いて、式（１０）を演算することにより、画素Ｒ１と画素Ｒ３の間の画素位置における補間値ｒ２が求められる。さらに、中心画素の周囲（斜め方向）の画素Ｒ１乃至画素Ｒ４を用いて、式（１１）を演算することにより、中心画素の画素位置における補間値ｒ３が求められる。

このように、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）に対する単純補間を行うことで、補間色差（Ｒ−Ｇ）が求められる。そして、補間色差（Ｒ−Ｇ）に対し、Ｇ出力画像（Ｇ）を加算することで、Ｒ出力画像が生成されることになる。同様に、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）に対する単純補間を行うことで、補間色差（Ｂ−Ｇ）が求められるので、これに、Ｇ出力画像（Ｇ）を加算することで、Ｂ出力画像が生成されることになる。

以上のようにして、Ｇ出力画像、Ｒ出力画像、および、Ｂ出力画像が生成され、出力される。

＜画像処理装置による画像処理＞

図１３は、図３の画像処理装置の処理を説明するフローチャートである。

ステップＳ１１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ１１において、画像が入力されたと判定された場合、処理は、ステップＳ１２に進む。

なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

ステップＳ１２において、垂直補間部１１−１乃至方向検出部１６は、図１４を参照して後述する方向検出処理を実行する。これにより、各注目位置において、垂直方向または水平方向のいずれか一方を示す方向性が検出される。

ステップＳ１３において、出力画像生成部１７は、Ｇ出力画像、Ｒ出力画像、およびＢ出力画像を生成する。すなわち、ステップＳ１２の方向検出処理によって注目位置毎に方向性が検出されると、その方向性に応じたＧ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）が求められる。従って、入力画像（Ｒ，Ｂ）からＧ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）を減算することで、Ｇ出力画像が生成される。

また、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）に対する単純補間を行うことで、補間色差（Ｒ−Ｇ）が求められるので、これに、Ｇ出力画像（Ｇ）を加算することで、Ｒ出力画像が生成される。さらに、Ｇ補間色差（Ｒ−Ｇ，Ｂ−Ｇ）に対する単純補間を行うことで、補間色差（Ｂ−Ｇ）が求められるので、これに、Ｇ出力画像（Ｇ）を加算することで、Ｂ出力画像が生成される。

ステップＳ１３において各出力画像が生成されると、処理は終了する。

このようにして、画像生成処理が行われる。

＜方向検出処理＞

次に、図１４のフローチャートを参照して、図１３のステップＳ１２の方向検出処理の詳細な例について説明する。

ステップＳ２１−１において、垂直補間部１１−１は、入力画像におけるＲの画素とＢの画素のそれぞれの画素位置に、補間値Ｇｖを生成する。

ステップＳ２２−１において、垂直補間色差演算部１２−１は、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、垂直方向の補間値Ｇｖとの差分である垂直補間色差（Ｒ−Ｇｖ，Ｂ−Ｇｖ）を求める。

ステップＳ２３−１において、垂直補間色差分散演算部１３−１は、垂直補間色差（Ｒ−Ｇｖ，Ｂ−Ｇｖ）の分散として、Ｖ（Ｒ−Ｇｖ）、Ｖ（Ｂ−Ｇｖ）をそれぞれ求める。

また、ステップＳ２１−２において、水平補間部１１−２は、入力画像におけるＲの画素とＢの画素のそれぞれの画素位置に、補間値Ｇｈを生成する。

ステップＳ２２−２において、水平補間色差演算部１２−２は、Ｒの画素の入力値ＲまたはＢの画素の入力値Ｂと、水平方向の補間値Ｇｈとの差分である水平補間色差（Ｒ−Ｇｈ，Ｂ−Ｇｈ）を求める。

ステップＳ２３−２において、水平補間色差分散演算部１３−２は、水平補間色差（Ｒ−Ｇｈ，Ｂ−Ｇｈ）の分散として、Ｖ（Ｒ−Ｇｈ）、Ｖ（Ｂ−Ｇｈ）をそれぞれ求める。

ステップＳ２４において、分散差分演算部１４は、上述した式（５）を演算することで、垂直補間色差分散演算部１３−１により求められた垂直補間色差の分散（Ｖ（Ｒ−Ｇｖ），Ｖ（Ｂ−Ｇｖ））と、水平補間色差分散演算部１３−２により求められた水平補間色差の分散（Ｖ（Ｒ−Ｇｈ），Ｖ（Ｂ−Ｇｈ））との差分ＶＤを算出する。

ステップＳ２５において、ｎが最大値（ｎｍａｘ）に達したか否かが判定される。

ステップＳ２５において、ｎが最大値に達していないと判定された場合、処理は、ステップＳ２３−１およびステップＳ２３−２に戻され、それ以降の処理が繰り返される。すなわち、このｎループ内の処理が繰り返されることで、ある注目位置を中心とした参照エリアが順次拡大され、ある注目位置における参照エリア毎の差分ＶＤが求められる。

そして、ステップＳ２５において、ｎが最大値を超えたと判定された場合、処理はステップＳ２６に進められる。

ステップＳ２６において、方向検出部１６は、上述した式（６）および式（７）の演算を行うことで、ある注目位置における参照エリア毎の差分ＶＤの中から、最大値となるＶＤｍａｘ(ｋ)と、最小値となるＶＤｍｉｎ(ｋ)をそれぞれ求める。但し、ここでは、差分ＶＤ(ｎ)(ｋ)に、予め用意された重み付けのパラメータであるＡ(ｎ)が乗算されることになる。

ステップＳ２７において、方向検出部１６は、上述した式（８）の演算を行うことで、ＶＤｍａｘの絶対値と、ＶＤｍｉｎの絶対値とを比較する。ここでは、ＶＤ(ｎ)(ｋ)のうち、絶対値が最も大きいものを、最も顕著な方向性を表す値として、注目位置における方向性を検出する。

ステップＳ２７において、ＶＤｍａｘの絶対値よりもＶＤｍｉｎの絶対値のほうが大きいと判定された場合、処理はステップＳ２８に進められる。ステップＳ２８において、方向検出部１６は、ある注目位置（ｋ番目の注目位置）における方向性Ｄ(ｋ)として、垂直方向を選択する。ここでは、例えば、方向性を１ビットで表した場合には「０」であるビットが選択される。

一方、ステップＳ２７において、ＶＤｍｉｎの絶対値よりもＶＤｍａｘの絶対値のほうが大きいと判定された場合には、処理はステップＳ２９に進められる。ステップＳ２９において、方向検出部１６は、ある注目位置（ｋ番目の注目位置）における方向性Ｄ(ｋ)として、水平方向を選択する。ここでは、例えば、方向性を１ビットで表した場合には「１」であるビットが選択される。

これにより、ある注目位置（ｋ番目の注目位置）について、垂直方向または水平方向の方向性が検出されることになる。

ステップＳ２８またはステップＳ２９の処理が終了すると、処理はステップＳ３０に進められる。ステップＳ３０において、ｋが最大値（ｋｍａｘ）に達したか否かが判定される。

ステップＳ３０において、ｋが最大値に達していないと判定された場合、処理は、ステップＳ２３−１およびステップＳ２３−２に戻され、それ以降の処理が繰り返される。すなわち、このｋループ内の処理が繰り返されることで、各注目位置毎に方向性が検出されることになる。

そして、ステップＳ３０において、ｋが最大値を超えたと判定された場合、すなわち、次の注目位置が存在しない場合、全ての注目位置において、方向性が検出されたことになるので、処理は終了する。

このようにして、方向検出処理が実行される。

以上のように、本技術によれば、注目位置の近傍の特徴をとらえて、注目位置の方向性をより高い精度で検出することができる。特に、ナイキスト周波数に近い高周波成分を含む入力画像が入力された場合でも、参照エリアを広げることで、正確な方向性を検出することができる。その結果、ナイキスト周波数に近い高周波成分を含む入力画像に対する画像処理において、確実に偽色や雑音を低減することができる。

＜ナイキスト周波数での方向性の検出＞

図１５は、ナイキスト周波数のパターンを説明する図である。なお、図中の円のそれぞれが、画素を表している。

ナイキスト周波数のパターンとしては、図１５Ａおよび図１５Ｂに示すようなパターンが想定される。図１５Ａには、行方向では黒白の円が交互に繰り返されるが、列方向は同色の円となる縦縞状のパターンが示されている。また、図１５Ｂには、列方向では黒白の円が交互に繰り返されるが、行方向は同色の円となる横縞状のパターンが示されている。

図１５Ｃは、図１５Ａのパターンに対応する入力画像を表している。また、図１５Ｄは、図１５Ｂのパターンに対応する入力画像を表している。このような縦縞状または横縞状のパターンが繰り返される場合、上述したDLMMSE法では画素の参照エリアが垂直方向または水平方向に固定されているため、注目位置の方向性を誤検出する可能性がある。

それに対して、本技術では、注目位置を中心に参照エリアを順次拡大して、その注目位置における参照エリア毎に得られた差分ＶＤを用い、より広範囲での注目位置の方向性の検出を行うことから、図１５Ａまたは図１５Ｂのパターンに対しても正確な方向性を検出することができる。

＜色フィルタアレイの配列の他の例＞

ところで、上述の説明では、色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられる例を説明したが、ベイヤー配列以外の色フィルタアレイが用いられるようにしてもよい。例えば、ベイヤー配列の１水平ライン毎に画素の配置位置を１／２画素ずつシフトさせた画素配列（以下、斜めベイヤー配列という）を用いることができる。図１６には、斜めベイヤー配列を用いた場合の方向検出処理の例を示している。

図１６Ａは、斜めベイヤー配列におけるＲ画素の位置を中心とした場合の参照エリアの領域を示している。なお、図中の円のそれぞれが、画素を表している。また、図中の太線の正方形が参照エリアを表している。

斜めベイヤー配列を用いる場合の方向検出処理は、上述したベイヤー配列を用いた場合と基本的には同様であるが、図中の点線で示すように、注目位置となるＲ画素（図中の太線の円）の位置を原点とする垂直方向および水平方向の軸が、画素の配置に応じて時計回り（または反時計回り）に４５°回転している。従って、注目位置における方向性の検出結果（垂直方向または水平方向）も、ベイヤー配列を用いた場合と比べて４５°回転したものとされる。

また、参照エリアであるが、図１６Ａの例では、注目位置となるＲ画素の位置（図中の太線の円）を原点とする垂直方向および水平方向の軸とは異なり、回転しておらず、ベイヤー配列の場合と同様に正方形の形状からなる。但し、参照エリアは、注目位置となるＲ画素の位置（図中の太線の円）を原点とする垂直方向および水平方向の軸と同様に、時計回り（または反時計回り）に４５°回転されるようにしてもよい。この場合の参照エリアの形状は、ひし形の形状とされる。

図１６Ａの例では、注目位置となるＲ画素（図中の太線の円）の位置を中心とした１３画素により構成される領域が参照エリア１とされる。また、Ｒ画素の位置（注目位置）を中心とした４１画素により構成される領域が参照エリア２とされ、Ｒ画素の位置（注目位置）を中心とした８５画素により構成される領域が参照エリア３とされる。方向検出処理の実行時には、このようにして注目位置を中心に参照エリアが順次拡大されることになる。

図１６Ｂは、斜めベイヤー配列におけるＧ画素の位置（図中の太線の円）を注目位置とした場合の参照エリアの領域を示している。また、図１６Ｃは、斜めベイヤー配列における入力画像の画素の存在しない位置（図中の太線の円）を注目位置とした場合の参照エリアの領域を示している。図１６Ｂおよび図１６Ｃにおいても、図１６Ａの場合と同様に、方向検出処理の実行時には、注目位置を中心として参照エリアが順次拡大されることになる。

このようにして、色フィルタアレイの配列として斜めベイヤー配列を用いた場合においても、図１４のフローチャートを参照して上述した方向検出処理を実行することで、各注目位置における方向性が検出されることになる。

なお、上述した説明では、方向性を検出するための統計量として分散の差を用い、それを評価するとして説明したが、統計量はそれに限定されるものではなく、例えば、垂直補間色差と水平補間色差の標準偏差の差や、垂直補間色差と水平補間色差のダイナミックレンジなどを統計量として用いるようにしてもよい。

＜２．第２の実施の形態＞

ところで、上述した方向検出処理により検出される注目画素における方向性を、入力画像から出力画像を生成する別の画像処理に適用することで、出力画像で生じる偽色や雑音を低減することができる。そこで、以下、上述した方向検出処理を、別の画像処理に適用した場合について説明する。

＜画像信号の取得方式＞

図１７は、単板式カメラのイメージセンサにおける画像信号の取得方式を説明する図である。

この例では、被写体５１１で反射した光が、光学ローパスフィルタ５１２を通過してイメージセンサ５１３により受光されるようになされている。

単板式カメラでは、１画素毎に割り当てられた色フィルタアレイからなる色コーディングフィルタが前面に設置された１つのイメージセンサを用いて、色コーディングフィルタにより色コーディングされた色成分の信号を１画素毎に得る。

ここでは、イメージセンサ５１３においてベイヤー配列の色フィルタアレイが用いられており、Ｇの色フィルタが市松状に配され、残った部分にＲとＢが一列毎に交互に配されている。すなわち、イメージセンサ５１３の中の矩形の領域内の４画素は、２つのＧの画素と、それぞれ１つのＲの画素およびＢの画素により構成されることになる。

単板式カメラでは、画像処理の後段において各画素の信号を処理する際、各画素毎にＲ成分，Ｇ成分およびＢ成分の画像信号が必要となる。このため、イメージセンサ５１３から出力される画素値に基づいて、各画素毎にＲ成分，Ｇ成分およびＢ成分の画素値を補間演算などにより求める必要がある。

また、イメージセンサ５１３においては、偽色やアーティファクトなどの影響を回避するため、イメージセンサに入射する光が光学ローパスフィルタ５１２を通過するようになされている。しかしながら、このように光学ローパスフィルタ５１２を通過させることにより、画像がぼけてしまうことがあった。

そこで、第２の実施の形態では、イメージセンサ５１３から出力される画素値に基づいて、あたかも枠（図中の点線の矩形）５１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置した場合に得られる画素値を求めることができるようにする。

＜画像処理装置の構成＞

図１８は、本技術を適用した画像処理装置の一実施の形態に係る構成例を示すブロック図である。この画像処理装置１００は、入力画像における注目画素に対応する画素およびその周辺の画素値を変数とし、予め学習により得られた係数を用いた積和演算により出力画像の注目画素の画素値を予測するようになされている。

画像処理装置１００に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、例えば、図１７のイメージセンサ５１３から出力される信号に対応する画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

図１８の画像処理装置１００は、代表ＲＧＢ演算部１０１、方向検出部１１０、並びに、それぞれ、Ｒ、Ｇ、Ｂの各色に対応した、各クラスタップ選択部、各予測タップ選択部、各色変換部、各クラス分類部、各係数メモリ、および各積和演算部により構成されている。

方向検出部１１０は、図３の垂直補間部１１−１乃至方向検出部１６を含むようにして構成され、入力画像に対し、図１４のフローチャートを参照して上述した方向検出処理を施すものとされる。これにより、入力画像における注目位置毎に、垂直方向または水平方向の方向性が検出され、その検出結果が、代表ＲＧＢ演算部１０１、各クラスタップ選択部、各予測タップ選択部、および、各クラス分類部に供給される。

代表ＲＧＢ演算部１０１は、後述するクラスタップまたは予測タップを取得するための画像の中の領域（以下、指定エリアという）における、Ｒ、Ｇ、Ｂの各色成分の画素値の基準となる代表値として、それぞれＤｒ、Ｄｂ、およびＤｇを演算する。

例えば、図１９の太線の枠で示されるように、指定エリアが設定されるものとする。図１９では、図中の円のそれぞれが、入力画像の画素を表しており、中央のハッチングされた円で示される画素が、クラスタップまたは予測タップの中心画素とされる。なお、各円内に記されたＲ、Ｇ、Ｂの文字は、各画素の色成分を表している。

指定エリアは、中心画素を中心としてクラスタップまたは予測タップを含む領域として任意に設定され得るが、クラスタップまたは予測タップを大幅に超える領域とすると、画像の領域に応じた最適な処理を施すことが困難になる。このため、指定エリアは、クラスタップまたは予測タップと同じ領域とされることが望ましい。

なお、以下の説明においては、演算により算出される平均値、補間値、代表値などが適宜参照されるが、演算前の入力画像の画素値のそれぞれは、各画素の色成分に応じて、入力値Ｇ、入力値Ｒ、および入力値Ｂと称して区別することにする。すなわち、ベイヤー配列のイメージセンサのＲの色フィルタが配置された画素から直接得られる画素値を入力値Ｒとし、ベイヤー配列のイメージセンサのＧの色フィルタが配置された画素から直接得られる画素値を入力値Ｇとし、ベイヤー配列のイメージセンサのＢの色フィルタが配置された画素から直接得られる画素値を入力値Ｂとする。

この例では、図中の太線で囲まれた領域であって、中心画素を中心とした２５（＝５×５）画素により構成される領域が指定エリアとされている。

代表ＲＧＢ演算部１０１は、最初に、Ｇ成分の代表値Ｄｇを算出する。

このとき、代表ＲＧＢ演算部１０１は、図２０に示されるように、指定エリア内のＲ成分の画素、または、Ｂ成分の画素を中心画素とし、中心画素の周囲（上下左右）の４つのＧの画素である画素Ｇ１乃至画素Ｇ４を用いて補間値ｇを算出する。

例えば、中心画素を注目位置としたときの方向性として垂直方向が検出された場合、中心画素の上下両隣に位置する画素Ｇ１の入力値Ｇ１と画素Ｇ４の入力値Ｇ４を用いて、上述した式（１）を演算することにより、中心画素の画素位置における垂直方向に補間されたＧ成分の値である補間値Ｇｖを算出する。

また、例えば、中心画素を注目位置としたときの方向性として水平方向が検出された場合、中心画素の左右両隣に位置する画素Ｇ２の入力値Ｇ２と画素Ｇ３の入力値Ｇ３を用いて、上述した式（２）を演算することにより、中心画素の画素位置における水平方向に補間されたＧ成分の値である補間値Ｇｈを算出する。

なお、以下の説明において、補間値Ｇｖと補間値Ｇｈとを、特に区別する必要がない場合には補間値ｇと総称するものとする。

これにより、入力画像ではＧ成分を有していなかったＲ成分の画素とＢ成分の画素が、補間されたＧ成分（補間値ｇ）を有することになる。そして、代表ＲＧＢ演算部１０１は、指定エリア内の全てのＧの画素（この例では１２個）の入力値Ｇと補間値ｇとの平均値を代表値Ｄｇとして算出する。

次に、代表ＲＧＢ演算部１０１は、Ｒ成分の代表値Ｄｒを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＲ成分の値である補間値ｒを算出する。例えば、図２０の画素Ｇ１または画素Ｇ４に示される位置の補間値ｒを算出する場合、図２１に示されるように、Ｇの画素の左右両隣に位置する画素Ｒ１と画素Ｒ２の平均値が補間値ｒとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

さらに、代表ＲＧＢ演算部１０１は、Ｂ成分の代表値Ｄｂを算出する。この際、代表ＲＧＢ演算部１０１は、指定エリア内のＧの画素のそれぞれの画素位置における補間されたＢ成分の値である補間値ｂを算出する。例えば、図２０の画素Ｇ１または画素Ｇ４に示される位置の補間値ｂを算出する場合、図２２に示されるように、Ｇの画素の上下両隣に位置する画素Ｂ１と画素Ｂ２の平均値が補間値ｂとされる。

これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。

そして、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

図１８に戻って、Ｇクラスタップ選択部１０２−１は、Ｇ成分の画像を生成するため必要となるクラスタップであるＧクラスタップを入力画像から選択して取得する。Ｇクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｇクラスタップ選択部１０２−１により選択されたＧクラスタップは、Ｇ変換部１０５−１１に供給される。Ｇ変換部１０５−１１は、Ｇクラスタップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換処理は、例えば、次のようにして行われる。Ｇクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（１２）乃至式（１４）により演算される。

・・・（１２）

・・・（１３）

・・・（１４）

このようなＧ変換処理が施されることにより、Ｇクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＲの画素およびＢの画素のそれぞれの画素値が、Ｇの画素の画素値を基準としてオフセットされることになり、Ｇクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図１８に戻って、Ｇ変換部１０５−１１から出力されるＧクラスタップは、Ｇクラス分類部１０６−１に供給される。なお、Ｇ変換部１０５−１１から出力されるＧクラスタップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇクラス分類部１０６−１は、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードには、方向検出部１１０による方向性の検出結果を示すコードが含まれる。これにより、精細度の高いＧ出力画像を得ることができる。クラスコードは、Ｇ係数メモリ１０７−１に出力される。

Ｇ係数メモリ１０７−１は、Ｇクラス分類部１０６−１から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＧ積和演算部１０８−１に供給する。なお、Ｇ係数メモリ１０７−１には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｇ予測タップ選択部１０３−１は、Ｇ成分の画像を生成するため必要となる予測タップであるＧ予測タップを入力画像から選択して取得する。Ｇ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｇ予測タップ選択部１０３−１により選択されたＧ予測タップは、Ｇ変換部１０５−１２に供給される。Ｇ変換部１０５−１２は、Ｇ予測タップを構成する各画素値にＧ変換処理を施すものとされる。

Ｇ変換部１０５−１２によるＧ変換処理は、Ｇ変換部１０５−１１によるものと同様である。すなわち、上述した式（１２）乃至式（１４）により、Ｇ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｇ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｇ変換部１０５−１２から出力されるＧ予測タップは、Ｇ積和演算部１０８−１に供給される。なお、Ｇ変換部１０５−１２から出力されるＧ予測タップは、上述した式（１２）乃至式（１４）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｇ積和演算部１０８−１は、予め設定された線形一次式において、Ｇ変換部１０５−１２から出力されるＧ予測タップを変数として代入し、Ｇ係数メモリ１０７−１から供給された係数を用いて予測値の演算を行う。すなわち、Ｇ積和演算部１０８−１は、Ｇ出力画像における注目画素の画素値を、Ｇ予測タップに基づいて予測演算する。

ここで、出力画像の注目画素の画素値の予測演算について説明する。

いま、例えば、ベイヤー配列の色フィルタアレイを有するイメージセンサから出力される画像データを第１の画像データとし、図１７の枠５１４に配置されたＧ成分のイメージセンサから出力される画像データを第２の画像データとする。そして、第１の画像データの画素値から第２の画像データの画素値を所定の予測演算により求めることを考える。

所定の予測演算として、例えば、線形１次予測演算を採用することとすると、第２の画像データ（以下、適宜、第２の画像の画素という）の画素の画素値yは、次の線形１次式によって求められることになる。

但し、式（１５）において、x_nは、第２の画像の画素yについての予測タップを構成する、ｎ番目の第１の画像データの画素（以下、適宜、第１の画像の画素という）の画素値を表し、w_nは、ｎ番目の第１の画像の画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１５）では、予測タップが、Ｎ個の第１の画像の画素x₁，x₂，・・・，x_Nで構成されるものとしてある。

ここで、第２の画像の画素の画素値yは、式（１５）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。

いま、第ｋサンプルの第２の画像の画素の画素値の真値をy_kと表すとともに、式（１５）によって得られるその真値y_kの予測値をy_k’と表すと、その予測誤差e_kは、次式で表される。

いま、式（１６）の予測値y_k’は、式（１５）にしたがって求められるため、式（１６）のy_k’を、式（１５）にしたがって置き換えると、次式が得られる。

但し、式（１７）において、x_n,kは、第kサンプルの第２の画像の画素についての予測タップを構成するｎ番目の第１の画像の画素を表す。

式（１７）（または式（１６））の予測誤差e_kを０とするタップ係数w_nが、第２の画像の画素を予測するのに最適なものとなるが、すべての第２の画像の画素について、そのようなタップ係数w_nを求めることは、一般には困難である。

そこで、タップ係数w_nが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数w_nは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。

但し、式（１８）において、Ｋは、第２の画像の画素y_kと、その第２の画像の画素y_kについての予測タップを構成する第１の画像の画素x_1,k，x_2,k，・・・，x_N,kとのセットのサンプル数（学習用のサンプルの数）を表す。

式（１８）の自乗誤差の総和Ｅの最小値（極小値）は、式（１９）に示すように、総和Ｅをタップ係数w_nで偏微分したものを０とするw_nによって与えられる。

そこで、上述の式（１７）をタップ係数w_nで偏微分すると、次式が得られる。

式（１９）と（２０）から、次式が得られる。

式（２１）のe_kに、式（１７）を代入することにより、式（２１）は、式（２２）に示す正規方程式で表すことができる。

式（２２）の正規方程式は、例えば、掃き出し法（Gauss−Jordanの消去法）などを用いることにより、タップ係数w_nについて解くことができる。

式（２２）の正規方程式を、クラス毎にたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）w_nを、クラス毎に求めることができる。例えば、このようにして求められたタップ係数w_nが、Ｇ係数メモリ１０７−１にＧ係数として記憶されている。なお、係数を学習によって予め求める方式の詳細については後述する。

例えば、式（１５）の画素x₁，x₂，・・・，x_Nに、Ｇ変換部１０５−１２の処理を経たＧ予測タップを代入し、式（１５）におけるタップ係数w_nが、Ｇ係数メモリ１０７−１から供給され、Ｇ積和演算部１０８−１で式（１５）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｇ出力画像を得ることができる。

Ｒクラスタップ選択部１０２−２は、Ｒ成分の画像を生成するため必要となるクラスタップであるＲクラスタップを入力画像から選択して取得する。Ｒクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｒクラスタップ選択部１０２−２により選択されたＲクラスタップは、Ｒ変換部１０５−２１に供給される。Ｒ変換部１０５−２１は、Ｒクラスタップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換処理は、例えば、次のようにして行われる。Ｒクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（２３）乃至式（２５）により演算される。

・・・（２３）

・・・（２４）

・・・（２５）

このようなＲ変換処理が施されることにより、Ｒクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＢの画素のそれぞれの画素値が、Ｒの画素の画素値を基準としてオフセットされることになり、Ｒクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図１８に戻って、Ｒ変換部１０５−２１から出力されるＲクラスタップは、Ｒクラス分類部１０６−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲクラスタップは、上述した式（２３）乃至式（２５）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒクラス分類部１０６−２は、供給されたＲクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードには、方向検出部１１０による方向性の検出結果を示すコードが含まれる。これにより、精細度の高いＲ出力画像を得ることができる。クラスコードは、Ｒ係数メモリ１０７−２に出力される。

Ｒ係数メモリ１０７−２は、Ｒクラス分類部１０６−２から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＲ積和演算部１０８−２に供給する。なお、Ｒ係数メモリ１０７−２には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｒ予測タップ選択部１０３−２は、Ｒ成分の画像を生成するため必要となる予測タップであるＲ予測タップを入力画像から選択して取得する。Ｒ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｒ予測タップ選択部１０３−２により選択されたＲ予測タップは、Ｒ変換部１０５−２２に供給される。Ｒ変換部１０５−２２は、Ｒ予測タップを構成する各画素値にＲ変換処理を施すものとされる。

Ｒ変換部１０５−２２によるＲ変換処理は、Ｒ変換部１０５−２１によるものと同様である。すなわち、上述した式（２３）乃至式（２５）により、Ｒ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｒ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｒ変換部１０５−２２から出力されるＲ予測タップは、Ｒ積和演算部１０８−２に供給される。なお、Ｒ変換部１０５−２１から出力されるＲ予測タップは、上述した式（２３）乃至式（２５）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｒ積和演算部１０８−２は、予め設定された線形一次式において、Ｒ変換部１０５−２２から出力されるＲ予測タップを変数として代入し、Ｒ係数メモリ１０７−２から供給された係数を用いて予測値の演算を行う。すなわち、Ｒ積和演算部１０８−２は、Ｒ出力画像における注目画素の画素値を、Ｒ予測タップに基づいて予測演算する。

例えば、式（１５）の画素x₁，x₂，・・・，x_Nに、Ｒ変換部１０５−２２の処理を経たＲ予測タップを代入し、式（１５）におけるタップ係数w_nが、Ｒ係数メモリ１０７−２から供給され、Ｒ積和演算部１０８−２で式（１５）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｒ出力画像を得ることができる。

Ｂクラスタップ選択部１０２−３は、Ｂ成分の画像を生成するため必要となるクラスタップであるＢクラスタップを入力画像から選択して取得する。Ｂクラスタップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｂクラスタップ選択部１０２−３により選択されたＢクラスタップは、Ｂ変換部１０５−３１に供給される。Ｂ変換部１０５−３１は、Ｂクラスタップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換処理は、例えば、次のようにして行われる。Ｂクラスタップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂクラスタップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

ここで、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´は、それぞれ式（２６）乃至式（２８）により演算される。

・・・（２６）

・・・（２７）

・・・（２８）

このようなＢ変換処理が施されることにより、Ｂクラスタップを構成する各画素値の相関性を高めることができる。すなわち、入力画像のＧの画素およびＲの画素のそれぞれの画素値が、Ｂの画素の画素値を基準としてオフセットされることになり、Ｂクラスタップを構成する各画素値の色成分の違いによる変化を除去することができる。

図１８に戻って、Ｂ変換部１０５−３１から出力されるＢクラスタップは、Ｂクラス分類部１０６−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢクラスタップは、上述した式（２６）乃至式（２８）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂクラス分類部１０６−３は、供給されたＢクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードには、方向検出部１１０による方向性の検出結果を示すコードが含まれる。これにより、精細度の高いＢ出力画像を得ることができる。クラスコードは、Ｂ係数メモリ１０７−３に出力される。

Ｂ係数メモリ１０７−３は、Ｂクラス分類部１０６−３から出力されたクラスコードに対応づけられて記憶されている係数を読み出してＢ積和演算部１０８−３に供給する。なお、Ｂ係数メモリ１０７−３には、予め学習により求められた係数であって、後述する積和演算に用いられる係数が、クラスコードに対応づけられて記憶されている。

Ｂ予測タップ選択部１０３−３は、Ｂ成分の画像を生成するため必要となる予測タップであるＢ予測タップを入力画像から選択して取得する。Ｂ予測タップは、例えば、出力画像の注目画素に対応する位置の入力画像の画素を中心画素とし、方向検出部１１０による方向性の検出結果に応じた所定の個数の画素で構成される。すなわち、例えば、中心画素を注目位置としたときの方向性が垂直方向である場合には垂直方向の画素を選択し、方向性が水平方向である場合には水平方向の画素を選択することで、偽色や雑音を低減することができる。

Ｂ予測タップ選択部１０３−３により選択されたＢ予測タップは、Ｂ変換部１０５−３２に供給される。Ｂ変換部１０５−３２は、Ｂ予測タップを構成する各画素値にＢ変換処理を施すものとされる。

Ｂ変換部１０５−３２によるＢ変換処理は、Ｂ変換部１０５−３１によるものと同様である。すなわち、上述した式（２６）乃至式（２８）により、Ｂ予測タップを構成する画素値が入力値Ｇである場合、変換値Ｇ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｒである場合、変換値Ｒ´を演算し、Ｂ予測タップを構成する画素値が入力値Ｂである場合、変換値Ｂ´を演算する。

Ｂ変換部１０５−３２から出力されるＢ予測タップは、Ｂ積和演算部１０８−３に供給される。なお、Ｂ変換部１０５−３１から出力されるＢ予測タップは、上述した式（２６）乃至式（２８）により演算された変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´により構成されることになる。

Ｂ積和演算部１０８−３は、予め設定された線形一次式において、Ｂ変換部１０５−３２から出力されるＢ予測タップを変数として代入し、Ｂ係数メモリ１０７−３から供給された係数を用いて予測値の演算を行う。すなわち、Ｂ積和演算部１０８−３は、Ｂ出力画像における注目画素の画素値を、Ｂ予測タップに基づいて予測演算する。

例えば、式（１５）の画素x₁，x₂，・・・，x_Nに、Ｂ変換部１０５−３２の処理を経たＢ予測タップを代入し、式（１５）におけるタップ係数w_nが、Ｂ係数メモリ１０７−３から供給され、Ｂ積和演算部１０８−３で式（１５）の演算が行われることによって、出力画像の注目画像の画素値が予測される。

このように、各注目画素のそれぞれについて予測することにより、Ｂ出力画像を得ることができる。

＜学習装置の構成＞

次に、Ｇ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、およびＢ係数メモリ１０７−３に記憶される係数の学習について説明する。

図２３は、図１８の画像処理装置１００に対応する学習装置の構成例を示すブロック図である。

図２３に示される学習装置２００は、注目画素選択部２０１、生徒画像生成部２０２、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、予測タップ選択部２０５、色変換部２０６−１、色変換部２０６−２、クラス分類部２０７、正規方程式加算部２０８、係数データ生成部２０９、および方向検出部２１０を備えている。

学習装置２００において係数の学習を行う場合、例えば、図１７の枠５１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像を教師画像として用意する。

生徒画像生成部２０２は、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像を生成する。このようにして生成された画像が生徒画像とされる。

注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択する。なお、注目画素として選択された画素の座標値などが、代表ＲＧＢ演算部２０３、クラスタップ選択部２０４、および、予測タップ選択部２０５に供給されるようになされている。

方向検出部２１０は、図１８の方向検出部１１０の場合と同様に、生徒画像に対し、図１４のフローチャートを参照して上述した方向検出処理を施すものとされる。これにより、生徒画像における注目位置毎に、垂直方向または水平方向の方向性が検出され、その検出結果が、代表ＲＧＢ演算部２０３、各クラスタップ選択部、各予測タップ選択部、および、各クラス分類部に供給される。

代表ＲＧＢ演算部２０３は、方向検出部２１０による方向性の検出結果に従い、生徒画像の中の指定エリア内の画素について、図１８の代表ＲＧＢ演算部１０１の場合と同様に、代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂを算出する。代表ＲＧＢ演算部２０３により算出された各代表値は、各色変換部に供給される。なお、指定エリアは、注目画素選択部２０１により選択された注目画素に対応する位置の画素を中心とした所定の領域として設定される。

クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素から、方向検出部２１０による方向性の検出結果に応じたクラスタップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から、方向検出部２１０による方向性の検出結果に応じた予測タップを選択して取得する。なお、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

色変換部２０６−１は、クラスタップ選択部２０４により取得されたクラスタップに所定の変換処理を施す。ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

色変換部２０６−１の処理を経たクラスタップは、クラス分類部２０７に供給される。

色変換部２０６−２は、予測タップ選択部２０５により取得された予測タップに所定の変換処理を施す。ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

色変換部２０６−２の処理を経た予測タップは、正規方程式加算部２０８に供給される。

クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードには、方向検出部２１０による方向性の検出結果を示すコードが含まれる。クラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。

正規方程式加算部２０８は、例えば、上述した式（１５）に示される線形１次式を生成する。このとき、色変換部の処理を経たクラスタップが式（１５）の画素x₁，x₂，・・・，x_Nとして用いられる。

注目画素選択部２０１が新たな注目画素を選択すると、上述した場合と同様にして新たに線形１次式が生成されることになる。正規方程式加算部２０８は、このように生成される線形１次式をクラスコード毎に加算し、式（２２）の正規方程式を生成する。

係数データ生成部２０９は、式（２２）の正規方程式を、例えば、掃き出し法（Gauss−Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図１８のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶されることになる。

このようにして、係数の学習が行われる。

＜クラスタップの構造の例＞

図２４は、図１８の画像処理装置１００、または、図２３の学習装置２００において取得されるクラスタップの構造の例を示す図である。ここで、クラスタップは、上述したＧクラスタップ、Ｒクラスタップ、およびＢクラスタップを総称している。

図２４の例では、出力画像の注目画素に対応する位置の入力画像の画素を中心画素し、方向性の検出結果に応じた所定の個数の画素により構成されるクラスタップが示されている。図２４の例では、クラスタップとして選択される画素の円は点線で描かれている。

図２４Ａは、ベイヤー配列の画素における、方向性として水平方向が検出された場合のクラスタップの例を示す図である。

図２４Ｂは、ベイヤー配列の画素における、方向性として垂直方向が検出された場合のクラスタップの例を示す図である。

＜予測タップの構造の例＞

図２５は、図１８の画像処理装置１００、または、図２３の学習装置２００において取得される予測タップの構造の例を示す図である。ここで、予測タップは、上述したＧ予測タップ、Ｒ予測タップ、およびＢ予測タップを総称している。

図２５の例では、出力画像の注目画素に対応する位置の入力画像の画素を中心画素し、方向性の検出結果に応じた所定の個数の画素により構成される予測タップが示されている。図２５の例では、予測タップとして選択される画素の円は点線で描かれている。

図２５Ａは、ベイヤー配列の画素における、方向性として水平方向が検出された場合の予測タップの例を示す図である。

図２５Ｂは、ベイヤー配列の画素における、方向性として垂直方向が検出された場合の予測タップの例を示す図である。

なお、クラスタップと予測タップは同じ構造としてもよいし、異なる構造としてもよい。また、クラスタップの中で、Ｇクラスタップ、Ｒクラスタップ、およびＢクラスタップの構造が同じであってもよいし、異なってもよい。同様に、予測タップの中で、Ｇ予測タップ、Ｒ予測タップ、およびＢ予測タップの構造が同じであってもよいし、異なってもよい。

＜画像処理装置による画像処理＞

図２６は、図１８の画像処理装置１００による画像処理の例を説明するフローチャートである。

ステップＳ１２１において、画像処理の対象となる画像（入力画像）が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ１２１において、画像が入力されたと判定された場合、処理は、ステップＳ１２２に進む。

なお、上述したように、入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。従って、入力画像では、Ｒの色フィルタが配置された画素からは、Ｒ成分の画像信号は得られるが、Ｇ成分およびＢ成分の画像信号は得られない。同様に、Ｇの画素からは、Ｇ成分の画像信号のみが得られ、Ｒ成分およびＢ成分の画像信号は得られず、Ｂの画素からは、Ｂ成分の画像信号のみが得られ、Ｒ成分およびＧ成分の画像信号は得られない。

ステップＳ１２２において、方向検出部１１０は、図１４のフローチャートを参照して上述した方向検出処理を実行する。これにより、入力画像における注目位置毎に、垂直方向または水平方向の方向性が検出される。

ステップＳ１２３において、注目画素が設定される。これにより、入力画像における中心画素が定まることになる。

ステップＳ１２４において、代表ＲＧＢ演算部１０１は、図２７を参照して後述する代表ＲＧＢ演算処理を実行する。これにより、方向検出部１１０による方向性の検出結果に応じた代表値Ｄｇ、代表値Ｄｒ、および代表値Ｄｂが演算される。

ステップＳ１２５において、Ｇクラスタップ選択部１０２−１、Ｒクラスタップ選択部１０２−２、または、Ｂクラスタップ選択部１０２−３は、方向検出部１１０による方向性の検出結果に応じたＧクラスタップ、Ｒクラスタップ、または、Ｂクラスタップをそれぞれ取得する。

なお、Ｇ出力画像を生成する場合は、Ｇクラスタップが取得され、Ｒ出力画像を生成する場合は、Ｒクラスタップが取得され、Ｂ出力画像を生成する場合は、Ｂクラスタップが取得される。これ以降は、説明を簡単にするため、Ｇ出力画像を生成する場合について説明する。

ステップＳ１２６において色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１１がＧ変換を行う。このとき、上述した式（１２）乃至式（１４）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ１２７においてクラス分類が行われる。例えば、Ｇ出力画像を生成する場合、Ｇクラス分類部１０６−１が、供給されたＧクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成することでクラス分類する。ここで生成されたクラスコードには、方向検出部１１０による方向性の検出結果を示すコードが含まれる。

ステップＳ１２８において、方向検出部１１０による方向性の検出結果に応じた予測タップが取得される。例えば、Ｇ出力画像を生成する場合、Ｇ予測タップ取得部１０３−１がＧ予測タップを取得する。

ステップＳ１２９において、色変換が行われる。例えば、Ｇ出力画像を生成する場合、Ｇ変換部１０５−１２がＧ変換を行う。このとき、上述した式（１２）乃至式（１４）により、変換値Ｇ´、変換値Ｒ´、および変換値Ｂ´が演算される。

ステップＳ１３０において、係数が読み出される。例えば、Ｇ出力画像を生成する場合、Ｇ係数メモリ１０７−１から、ステップＳ１２７の処理で生成されたクラスコードに対応づけられて記憶されている係数が読み出される。

ステップＳ１３１において、注目画素値が予測される。例えば、Ｇ出力画像を生成する場合、式（１５）の画素x₁，x₂，・・・，x_Nに、ステップＳ１２９の処理で色変換されたＧ予測タップを代入し、式（１５）におけるタップ係数w_nとして、ステップＳ１３０の処理で読み出された係数が供給され、Ｇ積和演算部１０８−１が式（１５）の演算を行うことによって、出力画像の注目画像の画素値が予測される。

ステップＳ１３２において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ１２３に戻り、それ以降の処理が繰り返し実行される。

ステップＳ１３２において、次の注目画素がないと判定された場合、処理は終了する。

このようにして、画像生成処理が実行される。

＜代表ＲＧＢ演算処理＞

次に、図２７のフローチャートを参照して、図２６のステップＳ１２４の代表ＲＧＢ演算処理の詳細な例について説明する。

ステップＳ１４１において、代表ＲＧＢ演算部１０１は、入力画像の中の指定エリアにおいて、Ｒ成分の画素とＢ成分の画素の補間値ｇを算出する。

ステップＳ１４２において、代表ＲＧＢ演算部１０１は、代表値Ｄｇを算出する。このとき、指定エリア内の全てのＧの画素の入力値ＧとステップＳ１４１で算出された補間値ｇとの平均値が代表値Ｄｇとして算出される。

ステップＳ１４３において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｒを算出する。これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｒを得ることができ、指定エリア内のＲの画素の画素位置では、入力値Ｒおよび補間値ｇを得ることができる。

ステップＳ１４４において、代表ＲＧＢ演算部１０１は、代表値Ｄｒを算出する。このとき、各画素位置において、（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｒ−入力値Ｇ）および（入力値Ｒ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｒが算出される。

ステップＳ１４５において、代表ＲＧＢ演算部１０１は、Ｇ成分の画素の補間値ｂを算出する。これにより、指定エリア内のＧの画素の画素位置では、入力値Ｇおよび補間値ｂを得ることができ、指定エリア内のＢの画素の画素位置では、入力値Ｂおよび補間値ｇを得ることができる。

ステップＳ１４６において、代表ＲＧＢ演算部１０１は、代表値Ｄｂを算出する。このとき、各画素位置において、（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）が算出され、算出されたそれぞれの（補間値ｂ−入力値Ｇ）および（入力値Ｂ−補間値ｇ）の平均値に、代表値Ｄｇを加算した値として代表値Ｄｂが算出される。

このようにして、代表ＲＧＢ演算処理が実行される。

＜学習装置による係数学習処理＞

次に、図２８のフローチャートを参照して、図２３の学習装置２００による係数学習処理の例について説明する。

ステップＳ１６１において、教師画像が入力されたか否かが判定され、入力されたと判定されるまで待機する。ステップＳ１６１において、教師画像が入力されたと判定された場合、処理は、ステップＳ１６２に進む。

なお、上述したように、教師画像は、例えば、図１７の枠５１４に、Ｒ成分，Ｇ成分およびＢ成分のそれぞれに対応する３つのイメージセンサを配置して得られたＧ成分の画像、Ｒ成分の画像、およびＢ成分の画像とされる。

ステップＳ１６２において、生徒画像生成部２０２は、生徒画像を生成する。このとき、例えば、光学ローパスフィルタのシミュレーションモデルを用いるなどして、教師画像を劣化させるとともに、ベイヤー配列に従って配置された画素により構成されるイメージセンサから出力される画像が生成され、生徒画像とされる。

ステップＳ１６３において、方向検出部２１０は、図１４のフローチャートを参照して上述した方向検出処理を実行する。これにより、生徒画像における注目位置毎に、垂直方向または水平方向の方向性が検出される。

ステップＳ１６４において、注目画素選択部２０１は、教師画像の中の任意の１画素を注目画素として選択（設定）する。これにより、生徒画像の中の中心画素が定まることになる。

ステップＳ１６５において、代表ＲＧＢ演算部２０３は、図２７のフローチャートを参照して上述した代表ＲＧＢ演算処理を実行する。これにより、方向検出部２１０による方向性の検出結果に応じた代表値Ｄｇ、代表値Ｄｒ、代表値Ｄｂが算出される。

ステップＳ１６６において、クラスタップ選択部２０４は、生徒画像の中の指定エリア内の画素から、方向検出部２１０による方向性の検出結果に応じたクラスタップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｇクラスタップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｒクラスタップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、クラスタップ選択部２０４は、Ｂクラスタップを選択するようになされている。

ステップＳ１６７において、色変換部２０６−１は、ステップＳ１６６の処理で取得されたクラスタップに所定の変換処理を施す。

ここで、クラスタップ選択部２０４によりＧクラスタップが取得された場合、色変換部２０６−１は、Ｇ変換処理を施すようになされている。また、クラスタップ選択部２０４によりＲクラスタップが取得された場合、色変換部２０６−１は、Ｒ変換処理を施し、クラスタップ選択部２０４によりＢクラスタップが取得された場合、色変換部２０６−１は、Ｂ変換処理を施すようになされている。

ステップＳ１６８において、クラス分類部２０７は、供給されたクラスタップをＡＤＲＣ（Adaptive Dynamic Range Coding）により符号化してクラスコードを生成する。ここで生成されたクラスコードは、クラスタップとともに、正規方程式加算部２０８に供給される。また、クラスコードには、方向検出部２１０による方向性の検出結果を示すコードが含まれる。

ステップＳ１６９において、予測タップ選択部２０５は、生徒画像の中の指定エリア内の画素から、方向検出部２１０による方向性の検出結果に応じた予測タップを選択して取得する。

ここで、注目画素選択部２０１が、教師画像の中のＧ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｇ予測タップを選択するようになされている。また、注目画素選択部２０１が、教師画像の中のＲ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｒ予測タップを選択し、注目画素選択部２０１が、教師画像の中のＢ成分の画像から注目画素を選択した場合、予測タップ選択部２０５は、Ｂ予測タップを選択するようになされている。

ステップＳ１７０において、色変換部２０６−２は、ステップＳ１６９の処理で取得された予測タップに所定の変換処理を施す。

ここで、予測タップ選択部２０５によりＧ予測タップが取得された場合、色変換部２０６−２は、Ｇ変換処理を施すようになされている。また、予測タップ選択部２０５によりＲ予測タップが取得された場合、色変換部２０６−２は、Ｒ変換処理を施し、予測タップ選択部２０５によりＢ予測タップが取得された場合、色変換部２０６−２は、Ｂ変換処理を施すようになされている。

ステップＳ１７１において、正規方程式加算部２０８は、正規方程式の足し込みを行う。

上述したように、正規方程式加算部２０８は、例えば、上述した式（１５）に示される線形１次式を生成し、色変換部の処理を経たクラスタップが式（１５）の画素x₁，x₂，・・・，x_Nとして用いられる。そして、正規方程式加算部２０８は、このようにして生成した線形１次式を、ステップＳ１６８の処理で生成されたクラスコード毎に足し込んで、式（２２）の正規方程式を生成する。

ステップＳ１７２において、次の注目画素があるか否かが判定され、次の注目画素があると判定された場合、処理は、ステップＳ１６４に戻り、それ以降の処理が繰り返し実行される。

一方、ステップＳ１７２において、次の注目画素がないと判定された場合、処理は、ステップＳ１７３に進む。

ステップＳ１７３において、係数データ生成部２０９は、係数を算出する。

このとき、上述したように、係数データ生成部２０９は、式（２２）の正規方程式を、例えば、掃き出し法（Gauss−Jordanの消去法）などを用いることにより、タップ係数w_nについて解く。そして、係数データ生成部２０９は、注目画素が設定された教師画像の種類（Ｇ成分の画像、Ｒ成分の画像、または、Ｂ成分の画像）に応じて、得られたタップ係数w_nを、Ｇ出力画像の予測演算を行うために必要となるＧ係数、Ｒ出力画像の予測演算を行うために必要となるＲ係数、または、Ｂ出力画像の予測演算を行うために必要となるＢ係数として出力する。

このようにして、得られたクラスコード毎のＧ係数、Ｒ係数、およびＢ係数が、図１８のＧ係数メモリ１０７−１、Ｒ係数メモリ１０７−２、Ｂ係数メモリ１０７−３に記憶され、図２６のステップＳ１３０の処理で読み出されることになる。

このようにして、係数学習処理が実行される。

＜３．第３の実施の形態＞

次に、図２９および図３０を参照して、図１４のフローチャートを参照して上述した方向検出処理を実行する図３の画像処理装置１０の回路構成の例を説明する。

＜画像処理装置の第１の回路構成＞

図２９は、分散を用いた方向性判定による方向検出処理を実行する図３の画像処理装置１０の回路構成を示す図である。この画像処理用の回路は、補間回路３０１、演算回路３０２、演算回路３０３−１乃至演算回路３０３−１２、遅延回路３０４−１乃至遅延回路３０４−１２、および演算回路３０５を含むようにして構成される。但し、説明を簡略化するため、図２９においては、演算回路３０３−３乃至演算回路３０３−１２および遅延回路３０４−３乃至遅延回路３０４−１２の記載を省略している。また、図中のＳＲは、シフトレジスタ（Shift Register）を表している。

図２９に示すように、単板式カメラのイメージセンサから入力画像のデータは、ライン毎に入力される。ここで、ｉ番目のラインの入力をＬｉとすれば、図２９の例では、Ｌ−２、Ｌ−１、Ｌ０、・・・、Ｌ１３、Ｌ１４の１７本のラインが設けられている。また、入力画像は、ベイヤー配列のイメージセンサから得られたデータとなるので、偶数番目のラインには、Ｒ、Ｇ、Ｒ、Ｇ、Ｒ、Ｇのように、Ｒ画素とＧ画素とが交互に入力され、奇数番目のラインには、Ｇ、Ｂ、Ｇ、Ｂ、Ｇ、Ｂのように、Ｇ画素とＢ画素とが交互に入力される。

補間回路３０１においては、偶数番目のラインに対し、そのＲ画素の位置に、垂直方向の近傍画素から補間した補間値Ｇｖを用いて、垂直補間色差Ｒ−Ｇｖ＿ｉ（Ｒ−Ｇの垂直補間）と、水平方向の近傍画素から補間した補間値Ｇｈを用いて、水平補間色差Ｒ−Ｇｈ＿ｉ（Ｒ−Ｇの水平補間）を算出し、演算回路３０２に出力する。

また、補間回路３０１においては、奇数番目のラインに対し、そのＢ画素の位置に、垂直方向の近傍画素から補間した補間値Ｇｖを用いて、垂直補間色差Ｂ−Ｇｖ＿ｉ（Ｂ−Ｇの垂直補間）と、水平方向の近傍画素から補間した補間値Ｇｈを用いて、水平補間性色差Ｂ−Ｇｈ＿ｉ（Ｂ−Ｇの水平補間）を算出し、演算回路３０２に出力する。

次に、演算回路３０２においては、複数のラインのうち、あるラインに注目し、その注目ラインを中心として、ある参照エリアにおける垂直方向の総和と二乗和を求める。

ここでは、例えば、ラインＬ０に注目しているとすれば、ラインＬ０を中心とした参照エリア２（５×５画素）により構成される領域の垂直方向の総和として、Ｒ−Ｇｈ＿ｓｕｍ２、Ｒ−Ｇｖ＿ｓｕｍ２、Ｂ−Ｇｈ＿ｓｕｍ２、Ｂ−Ｇｖ＿ｓｕｍ２が求められる。但し、それらの総和の値は、次の演算式により求められる。

Ｒ−Ｇｈ＿ｓｕｍ２＝ＳＵＭ（Ｒ−Ｇｈ＿−２，Ｒ−Ｇｈ＿０，Ｒ−Ｇｈ＿２）
Ｒ−Ｇｖ＿ｓｕｍ２＝ＳＵＭ（Ｒ−Ｇｖ＿−２，Ｒ−Ｇｖ＿０，Ｒ−Ｇｖ＿２）
Ｂ−Ｇｈ＿ｓｕｍ２＝ＳＵＭ（Ｂ−Ｇｈ＿−１，Ｂ−Ｇｈ＿１）
Ｂ−Ｇｖ＿ｓｕｍ２＝ＳＵＭ（Ｒ−Ｇｖ＿−１，Ｂ−Ｇｖ＿１）

また、垂直方向の二乗和の値として、Ｒ−Ｇｈ＿ｓｑｓｕｍ２、Ｒ−Ｇｖ＿ｓｑｓｕｍ２、Ｂ−Ｇｈ＿ｓｑｓｕｍ２、Ｂ−Ｇｖ＿ｓｑｓｕｍ２も同様に求めることができる。

同一の参照エリア２内で、注目ラインが次のラインに移動したときは、総和および二乗和から、参照エリア２の範囲外となったラインの補間色差とその二乗値を減算し、新たに参照エリア２の範囲内となったラインの補間色差とその二乗値を加算すればよい。

例えば、注目ラインがラインＬ０からラインＬ１に移動し、ラインＬ１を中心とした参照エリア２（５×５画素）により構成される領域の垂直方向の総和を求める場合、次のような演算を行う。

Ｒ−Ｇｈ＿ｓｕｍ２（ラインＬ１）＝Ｒ−Ｇｈ＿ｓｕｍ２（ラインＬ０）−Ｒ−Ｇｈ＿−２
Ｂ−Ｇｈ＿ｓｕｍ２（ラインＬ１）＝Ｂ−Ｇｈ＿ｓｕｍ２（ラインＬ０）＋Ｒ−Ｇｈ＿３

このような演算を行うことで、演算量を削減することができる。

そして、このようにして求められた垂直方向の総和と二乗和を用いて水平方向に演算を行い、ライン内のある注目位置を中心とした、ある参照エリアにおける総和と二乗和を求める。

例えば、ある注目位置を中心とした参照エリア２（５×５画素）の総和と二乗和を求めるには、上述のＲ−Ｇｈ＿ｓｕｍ２、Ｒ−Ｇｖ＿ｓｕｍ２、Ｂ−Ｇｈ＿ｓｕｍ２、Ｂ−Ｇｖ＿ｓｕｍ２、Ｒ−Ｇｈ＿ｓｑｓｕｍ２、Ｒ−Ｇｖ＿ｓｑｓｕｍ２、Ｂ−Ｇｈ＿ｓｑｓｕｍ２、Ｂ−Ｇｖ＿ｓｑｓｕｍ２を入力し、水平方向に総和と二乗和の演算を行う。

このとき、注目位置が次に移動するときは、前の注目位置において算出した総和と二乗和から、参照エリア２の範囲外となった値と値の二乗を減算し、新たに参照エリア２の範囲となった値と値の二乗を加算すればよい。このような演算を行うことで、演算量を削減することができる。

演算回路３０３においては、このようにして求められた、注目位置の、ある参照エリア内の、各補間色差（Ｒ−Ｇｖ、Ｒ−Ｇｈ、Ｂ−Ｇｖ、Ｂ−Ｇｈ）の総和と二乗和を用いて、それぞれの分散Ｖ（Ｒ−Ｇｖ）、Ｖ（Ｒ−Ｇｈ）、Ｖ（Ｂ−Ｇｖ）、Ｖ（Ｂ−Ｇｈ）が求められる。また、演算回路３０３では、分散の演算結果に基づいて、差分ＶＤ＝｛Ｖ（Ｒ−Ｇｖ）＋Ｖ（Ｂ−Ｇｖ）｝−｛Ｖ（Ｒ−Ｇｈ）＋Ｖ（Ｂ−Ｇｈ）｝が求められる。

上述の説明では、参照エリア２（ｎ＝２）を中心に述べたが、演算回路３０３−１乃至演算回路３０３−１２によって、このような演算を、参照エリアｎ（ｎ＝１、２、・・・、１２）毎に行うことで、差分ＶＤ（１）乃至ＶＤ（１２）が求められる。演算回路３０３−１乃至演算回路３０３−１２の演算結果は、遅延回路３０４−１乃至遅延回路３０４−１２を介して、演算回路３０５に入力される。

演算回路３０５においては、差分ＶＤ(１)乃至ＶＤ(１２)に、参照エリア毎の重み付けのパラメータであるＡ(ｎ)が乗じられる。そして、演算回路３０５では、ＶＤ(１)×Ａ(１)乃至ＶＤ(１２)×Ａ(１２)が比較され、それらの中から最も大きい絶対値となるＶＤ(ｎ)×Ａ(ｎ)の正負に基づき、注目位置における垂直方向または水平方向の方向性が選択されることになる。

なお、図２９においては、説明の簡略化のため、ＶＤ(ｎ)(ｋ)の変数のうち、参照エリアの変数ｎのみについて説明したが、実際には変数ｋも考慮され、入力画像における注目位置毎に方向性が求められることになる。

＜画像処理装置の第２の回路構成＞

図３０は、ダイナミックレンジを用いた方向性判定による方向検出処理を実行する図３の画像処理装置１０の回路構成を示す図である。この画像処理用の回路は、補間回路４０１、演算回路４０２、演算回路４０３−１乃至演算回路４０３−１２、遅延回路４０４−１乃至遅延回路４０４−１２、および演算回路４０５を含むようにして構成される。但し、説明を簡略化するため、図３０においては、演算回路４０３−３乃至演算回路４０３−１２および遅延回路４０４−３乃至遅延回路４０４−１２の記載を省略している。また、図中のＳＲは、シフトレジスタ（Shift Register）を表している。

図３０の回路構成においては、図２９の回路構成にて統計量として分散を用いていたところを、ダイナミックレンジに変更している。また、図３０の回路構成においては、図２９の回路構成と比べて、ライン数がＬ−２乃至Ｌ２６ラインに増加しているものの、補間回路４０１は、図２９の補間回路３０１と同様にライン毎の各補間色差を算出し、演算回路４０２に出力する。

次に、演算回路４０２においては、複数のラインのうち、あるラインに注目し、その注目ラインを中心として、ある参照エリアにおける垂直方向の最大値と最小値を求める。

ここでは、例えば、ラインＬ０に注目しているとすれば、ラインＬ０を中心とした参照エリア２（５×５画素）により構成される領域の垂直方向の最大値として、Ｒ−Ｇｈ＿ｍａｘ２、Ｒ−Ｇｖ＿ｍａｘ２、Ｂ−Ｇｈ＿ｍａｘ２、Ｂ−Ｇｖ＿ｍａｘ２が求められる。但し、それらの最大値は、次の演算式により求められる。

Ｒ−Ｇｈ＿ｍａｘ２＝ＭＡＸ（Ｒ−Ｇｈ＿−２，Ｒ−Ｇｈ＿０，Ｒ−Ｇｈ＿２）
Ｒ−Ｇｖ＿ｍａｘ２＝ＭＡＸ（Ｒ−Ｇｖ＿−２，Ｒ−Ｇｖ＿０，Ｒ−Ｇｖ＿２）
Ｂ−Ｇｈ＿ｍａｘ２＝ＭＡＸ（Ｂ−Ｇｈ＿−１，Ｂ−Ｇｈ＿１）
Ｂ−Ｇｖ＿ｍａｘ２＝ＭＡＸ（Ｒ−Ｇｖ＿−１，Ｂ−Ｇｖ＿１）

また、垂直方向の最小値として、Ｒ−Ｇｈ＿ｍｉｎ２、Ｒ−Ｇｖ＿ｍｉｎ２、Ｂ−Ｇｈ＿ｍｉｎ２、Ｂ−Ｇｖ＿ｍｉｎ２も同様に求めることができる。

そして、このようにして求められた垂直方向の最大値と最小値を用いて水平方向に比較を行い、ライン内のある注目位置を中心とした、ある参照エリアにおける最大値と最小値を求める。

演算回路４０３においては、この最大値と最小値を用いて、その絶対値であるダイナミックレンジＤＲ（Ｒ−Ｇｖ）、ＤＲ（Ｒ−Ｇｈ）、ＤＲ（Ｂ−Ｇｖ）、ＤＲ（Ｂ−Ｇｈ）が求められる。また、演算回路４０３では、それらのダイナミックレンジの演算結果に基づいて、その差分ＤＲＤ＝｛ＤＲ（Ｒ−Ｇｖ）＋ＤＲ（Ｂ−Ｇｖ）｝−｛ＤＲ（Ｒ−Ｇｈ）＋ＤＲ（Ｂ−Ｇｈ）｝が求められる。

すなわち、演算回路４０３−１乃至演算回路４０３−１２によって、このような演算を、参照エリアｎ（ｎ＝１、２、・・・、１２）毎に行うことで、差分ＤＲＤ(１)乃至差分ＤＲＤ(１２)が求められる。演算回路４０３−１乃至演算回路４０３−１２の演算結果は、遅延回路４０４−１乃至遅延回路４０４−１２を介して、演算回路４０５に入力される。

演算回路４０５においては、差分ＤＲＤ(１)乃至差分ＤＲＤ(１２)に、参照エリア毎の重み付けのパラメータであるＡ(ｎ)が乗じられる。そして、演算回路４０５では、ＤＲＤ(１)×Ａ(１)乃至ＤＲＤ(１２)×Ａ(１２)が比較され、それらの中から最も大きい絶対値となるＤＲＤ(ｎ)×Ａ(ｎ)の正負に基づき、注目位置における垂直方向または水平方向の方向性が選択されることになる。

なお、図３０においては、説明の簡略化のため、ＤＲＤ(ｎ)が求められるとしたが、実際には参照エリアの変数ｎだけでなく、注目位置の変数ｋも考慮され、入力画像における注目位置毎に方向性が求められることになる。

＜コンピュータの構成＞

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図３１に示されるような汎用のコンピュータ９００などに、ネットワークや記録媒体からインストールされる。

図３１において、ＣＰＵ（Central Processing Unit）９０１は、ＲＯＭ（Read Only Memory）９０２に記憶されているプログラム、または記憶部９０８からＲＡＭ（Random Access Memory）９０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ９０３にはまた、ＣＰＵ９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４を介して相互に接続されている。このバス９０４にはまた、入出力インタフェース９０５も接続されている。

入出力インタフェース９０５には、キーボード、マウスなどよりなる入力部９０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部９０７、ハードディスクなどより構成される記憶部９０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部９０９が接続されている。通信部９０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース９０５にはまた、必要に応じてドライブ９１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア９１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部９０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア９１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図３１に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD−ROM(Compact Disk−Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini−Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア９１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ９０２や、記憶部９０８に含まれるハードディスクなどで構成されるものも含む。

本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させる参照エリア設定部と、
前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する方向検出部と
を備える画像処理装置。
（２）
前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
Ｒの画素とＢの画素の位置において、垂直方向と水平方向にＧ成分の値を補間する補間部と、
Ｒ成分の値またはＢ成分の値と、垂直方向の補間値または水平方向の補間値との差である補間色差を演算する補間色差演算部と
をさらに備え、
前記方向検出部は、前記参照エリア内の前記補間色差から得られる統計量を評価して、前記注目位置の方向性を検出する
（１）に記載の画像処理装置。
（３）
前記方向検出部は、前記参照エリアの領域を変化させることで得られる複数の統計量のうち、最も顕著な特徴に基づいて、前記注目位置の方向性を検出する
（１）または（２）に記載の画像処理装置。
（４）
前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差の分散の差または標準偏差の差のうち、その差が最も大きいものを、最も顕著な特徴とする
（３）に記載の画像処理装置。
（５）
前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差のダイナミックレンジのうち、最も大きいものを、最も顕著な特徴とする
（３）に記載の画像処理装置。
（６）
前記方向検出部は、前記参照エリア内の画素の画素値から得られる統計量を、前記参照エリアの領域の大きさに応じた重み付けをしてから評価する
（１）乃至（５）の何れか一項に記載の画像処理装置。
（７）
前記方向性の検出結果に応じて選択された垂直方向の補間値または水平方向の補間値に基づいて、前記複数の色成分における各色成分のみで構成される画像である第２の画像を生成する画像生成部をさらに備える
（２）に記載の画像処理装置。
（８）
前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
前記クラスタップの画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
前記予測タップの画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
をさらに備える（１）乃至（７）の何れか一項に記載の画像処理装置。
（９）
前記クラス分類部は、前記方向性の検出結果に基づいて、クラス分類を行う
（８）に記載の画像処理装置。
（１０）
前記第１の画像から、所定の画素数で構成される領域である指定エリアを選択するとともに、前記方向性の検出結果に応じて、前記指定エリアにおける前記各色成分の代表値をそれぞれ演算する代表値演算部と、
前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
をさらに備え、
前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
（８）または（９）に記載の画像処理装置。
（１１）
前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
（１０）に記載の画像処理装置。
（１２）
前記係数読み出し部により読み出される係数は、予め学習により求められ、
前記学習では、
前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
（８）乃至（１１）の何れか一項に記載の画像処理装置。
（１３）
前記補間色差は、前記第１の画像におけるライン毎に求められ、
注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の総和と二乗和を演算し、
垂直方向の総和と二乗和を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の総和と二乗和を演算し、この演算結果を用い、注目位置毎の前記補間色差の分散の垂直方向と水平方向との差分を演算し、
前記参照エリア毎に得られる前記補間色差の分散の垂直方向と水平方向との差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める
（４）に記載の画像処理装置。
（１４）
前記補間色差は、前記第１の画像におけるライン毎に求められ、
注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の最大値と最小値を演算し、
垂直方向の最大値と最小値を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の最大値と最小値を演算し、この演算結果を用い、注目位置毎の前記補間色差のダイナミックレンジの差分を演算し、
前記参照エリア毎に得られる前記補間色差のダイナミックレンジの差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める
（５）に記載の画像処理装置。
（１５）
画像処理装置の画像処理方法において、
前記画像処理装置が、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させ、
前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する
ステップを含む画像処理方法。
（１６）
コンピュータを、
複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させる参照エリア設定部と、
前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する方向検出部と
して機能させるためのプログラム。

１０ 画像処理装置， １１−１ 垂直補間部， １１−２ 水平補間部， １２−１ 垂直補間色差演算部， １２−２ 水平補間色差演算部， １３−１ 垂直補間色差分散演算部， １３−２ 水平補間色差分散演算部， １４ 分散差分演算部， １５ 参照エリア設定部， １６ 方向検出部， １７ 出力画像生成部， １００ 画像処理装置， １０１ 代表ＲＧＢ演算部， １０２−１ Ｇクラスタップ選択部， １０２−２ Ｒクラスタップ選択部， １０２−３ Ｂクラスタップ選択部， １０３−１ Ｇ予測タップ選択部， １０３−２， Ｒ予測タップ選択部， １０３−３ Ｂ予測タップ選択部， １０５−１１ Ｇ変換部， １０５−１２ Ｇ変換部， １０５−２１ Ｒ変換部， １０５−２２ Ｒ変換部， １０５−３１ Ｂ変換部， １０５−３２ Ｂ変換部， １０６−１ Ｇクラス分類部， １０６−２ Ｒクラス分類部， １０６−３ Ｂクラス分類部， １０７−１ Ｇ係数メモリ， １０７−２ Ｒ係数メモリ， １０７−３ Ｂ係数メモリ， １０８−１ Ｇ積和演算部， １０８−２ Ｒ積和演算部， １０８−３ Ｂ積和演算部， １１０ 方向検出部， ９００ コンピュータ， ９０１ ＣＰＵ

Claims (16)

1. 複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させる参照エリア設定部と、
   前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する方向検出部と
   を備える画像処理装置。
2. 前記単板式画素部は、Ｒ，Ｇ，Ｂの各色成分を有するベイヤー配列の画素部であり、
   Ｒの画素とＢの画素の位置において、垂直方向と水平方向にＧ成分の値を補間する補間部と、
   Ｒ成分の値またはＢ成分の値と、垂直方向の補間値または水平方向の補間値との差である補間色差を演算する補間色差演算部と
   をさらに備え、
   前記方向検出部は、前記参照エリア内の前記補間色差から得られる統計量を評価して、前記注目位置の方向性を検出する
   請求項１に記載の画像処理装置。
3. 前記方向検出部は、前記参照エリアの領域を変化させることで得られる複数の統計量のうち、最も顕著な特徴に基づいて、前記注目位置の方向性を検出する
   請求項２に記載の画像処理装置。
4. 前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差の分散の差または標準偏差の差のうち、その差が最も大きいものを、最も顕著な特徴とする
   請求項３に記載の画像処理装置。
5. 前記方向検出部は、前記参照エリア毎の統計量として複数得られる、前記補間色差のダイナミックレンジのうち、最も大きいものを、最も顕著な特徴とする
   請求項３に記載の画像処理装置。
6. 前記方向検出部は、前記参照エリア内の画素の画素値から得られる統計量を、前記参照エリアの領域の大きさに応じた重み付けをしてから評価する
   請求項１に記載の画像処理装置。
7. 前記方向性の検出結果に応じて選択された垂直方向の補間値または水平方向の補間値に基づいて、前記複数の色成分における各色成分のみで構成される画像である第２の画像を生成する画像生成部をさらに備える
   請求項２に記載の画像処理装置。
8. 前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、クラスタップとして選択するクラスタップ選択部と、
   前記クラスタップの画素値から得られる特徴量に基づいて、前記複数の色成分における各色成分の画素のみで構成される画像である第２の画像の注目画素を、複数のクラスのうちのいずれかのクラスに分類するクラス分類部と、
   前記クラス分類の結果に基づいて、予め記憶されている係数を読み出す係数読み出し部と、
   前記第１の画像から、前記方向性の検出結果に応じた所定の画素に係る画素値を、予測タップとして選択する予測タップ選択部と、
   前記予測タップの画素値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する積和演算部と
   をさらに備える請求項１に記載の画像処理装置。
9. 前記クラス分類部は、前記方向性の検出結果に基づいて、クラス分類を行う
   請求項８に記載の画像処理装置。
10. 前記第１の画像から、所定の画素数で構成される領域である指定エリアを選択するとともに、前記方向性の検出結果に応じて、前記指定エリアにおける前記各色成分の代表値をそれぞれ演算する代表値演算部と、
    前記予測タップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第１の変換値に変換する第１の色成分変換部と
    をさらに備え、
    前記積和演算部は、前記第１の変換値を変数とし、読み出された前記係数を用いた積和演算により、前記第２の画像の画素値をそれぞれ演算する
    請求項９に記載の画像処理装置。
11. 前記クラスタップの各色成分の画素値を、前記複数の色成分のうち、１の色成分の画素値を基準とし、前記代表値を用いてオフセットすることにより得られる第２の変換値に変換する第２の色成分変換部をさらに備え、
    前記クラス分類部は、前記第２の変換値に基づいて、前記クラスタップの特徴量を決定する
    請求項１０に記載の画像処理装置。
12. 前記係数読み出し部により読み出される係数は、予め学習により求められ、
    前記学習では、
    前記単板式画素部と被写体の間に配置される光学ローパスフィルタより、前記被写体に近い位置に配置された、前記複数の色成分のそれぞれに対応する画素のみで構成された複数の画素部からそれぞれ出力される画像信号により構成される画像を教師画像とし、
    前記単板式画素部から出力される画像信号により構成される画像を生徒画像とし、
    前記生徒画像の画素と前記教師画像の画素をマッピングさせた正規方程式を解くことにより前記係数が算出される
    請求項８に記載の画像処理装置。
13. 前記補間色差は、前記第１の画像におけるライン毎に求められ、
    注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の総和と二乗和を演算し、
    垂直方向の総和と二乗和を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の総和と二乗和を演算し、この演算結果を用い、注目位置毎の前記補間色差の分散の垂直方向と水平方向との差分を演算し、
    前記参照エリア毎に得られる前記補間色差の分散の垂直方向と水平方向との差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める
    請求項４に記載の画像処理装置。
14. 前記補間色差は、前記第１の画像におけるライン毎に求められ、
    注目ラインを中心として、垂直方向の前記参照エリア内の前記補間色差のラインを選択することで、垂直方向の最大値と最小値を演算し、
    垂直方向の最大値と最小値を用いて、注目ラインの注目位置毎に、水平方向の前記参照エリア内の最大値と最小値を演算し、この演算結果を用い、注目位置毎の前記補間色差のダイナミックレンジの差分を演算し、
    前記参照エリア毎に得られる前記補間色差のダイナミックレンジの差分のうち、その差が最も大きいものを選択して、その差分の正負に応じて前記方向性を求める
    請求項５に記載の画像処理装置。
15. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させ、
    前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する
    ステップを含む画像処理方法。
16. コンピュータを、
    複数の色成分の各色成分に対応する画素を平面上に規則的に配置した単板式画素部から出力される画像信号により構成される第１の画像から、所定の画素数で構成される領域である参照エリアを設定するとともに、前記参照エリアの領域を変化させる参照エリア設定部と、
    前記参照エリア内の画素の画素値から得られる統計量を評価して、前記第１の画像内の注目位置の方向性を検出する方向検出部と
    して機能させるためのプログラム。

Images