JP2011091483A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Abstract

【課題】ＲＧＢＷ配列を持つ撮像素子による撮影信号からのＲＧＢ配列データを生成する装置および方法を提供する。
【解決手段】エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。
【選択図】図６

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特にＲＧＢＷ配列を持つ撮像素子の出力に対する信号処理を行なう画像処理装置、および画像処理方法、並びにプログラムに関する。

例えば撮像装置に用いられる撮像素子（イメージセンサ）は、素子表面に各画素単位で特定の波長成分光（Ｒ，Ｇ，Ｂ）を透過させるカラーフィルタを貼り付けた構成を持つ。例えば図１（ａ）に示すようなＲＧＢ配列を持つフィルタが利用される。撮像素子の出力信号を用いたカラー画像生成処理においては、複数個の画素の組によって必要な色成分を復元する処理が行われる。カラーフィルタの色配列には様々なタイプがあるが、図１（ａ）に示す赤（Ｒ）、緑（Ｇ）、青（Ｂ）の特定波長光のみを透過させる３種類のフィルタによって構成されたベイヤ配列が多く利用されている。

近年、撮像素子（イメージセンサ）の画素の微細化が進み、これに伴い各画素への入射光量が減少しＳ／Ｎ比が劣化するという問題が発生してきた。この問題を解決するため、図１（ｂ）に示すようにＲＧＢ等の特定波長光のみを透過させるフィルタの他に、さらに可視光域の光を広く透過するホワイト(Ｗ：Ｗｈｉｔｅ)を持つイメージセンサ（撮像素子）が提案されている。図１（ｂ）には、ＲＧＢＷ配列を持つフィルタの一例を示している。図１（ｂ）に示すＲＧＢＷ配列におけるＷ画素は可視光域の光を広く透過するフィルタである。

このような、ホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを搭載した撮像素子については、例えば特許文献１（ＵＳ公開特許２００７／００２４８７９）、特許文献２（ＵＳ公開特許２００７／００２４９３４）に記載されている。
図１（ｂ）に示すようなホワイト(Ｗ：Ｗｈｉｔｅ)画素を持つカラーフィルタを持つ撮像素子（イメージセンサ）を用いることで、フィルタの透過光率が高くなり、高感度化が実現できる。

しかし、ＲＧＢＷ型の素子の問題点として以下のような問題点がある。
図１（ａ）に示すＲＧＢ配列、あるいは図１（ｂ）に示すＲＧＢＷ配列のいずれも、Ｒ，Ｇ，Ｂ，Ｗいずれかのフィルタをモザイク状に配列した一枚の素子、すなわち単板型イメージセンサである。従ってカラー画像を生成する際には、各画素に対応するＲＧＢ画素値を生成するカラーコーディングとしてのデモザイク処理が必要となる。

図１（ｂ）に示すＲＧＢＷ配列では、図１（ａ）に示すＲＧＢ配列に比較して、Ｒ，Ｇ，Ｂ成分のサンプリングレートが低下する。この結果、カラー画像生成処理に際して、図１（ｂ）に示すＲＧＢＷ配列方の素子の取得データを用いた場合、図１（ａ）に示すＲＧＢ配列に比較して、偽色が発生しやすくなるという問題がある。また、ホワイト（Ｗ）の波長成分はＲ，Ｇ，Ｂすべての波長成分を含んでいるため、色収差の大きい光学レンズを用いると、単色成分のものと比べてＲＧＢ波長成分の集光率が落ち、解像度の低下を招くという問題もある。この問題点は画素の微細化が進むにつれて、更に顕著となる。

光学レンズの色収差に起因する解像度劣化の防止手法として、屈折率の異なるレンズを組み合わせて色収差の発生を抑えることが有効であるが、この場合、光学レンズの枚数が増えることによるコストが増大するという新たな問題が発生する。さらに、このような構成とすると、前述のＲＧＢ成分のサンプリングレート低下に起因する偽色の問題がより顕著となるという問題も発生する。

また、単板型イメージセンサの各画素は単一の色成分の情報しかもたないため離散的に取得されたＲ，Ｇ，Ｂ，Ｗ信号からカラー画像を得るために全画素対応のＲＧＢ画素値を求めるデモザイク処理が行われる。このデモザイク処理の際、局所領域においては色比率がほぼ一定に保たれることや強い色相関があることを仮定した補間処理が行われる。具体的には、ある画素の特定色の画素値を算出する際、周囲の画素値を用いて補間する方法が広く用いられる。この方法については、例えば特許文献３（特開２００９−１７５４４号公報）に記載がある。しかしながら、エッジ近傍では上記の仮定、すなわち局所領域における一定の色比率や強い色相関があるという仮定は成り立たない。この結果エッジ近傍に偽色が発生しやすくなるという問題がある。

ＵＳ公開特許２００７／００２４８７９ ＵＳ公開特許２００７／００２４９３４ 特開２００９−１７５４４号公報

本発明は、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを適用したカラー画像生成処理において、偽色の少ない高品質なカラー画像の生成を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。

本発明の第１の側面は、
輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記輝度信号の主成分となる色は白色または緑色である。

さらに、本発明の画像処理装置の一実施態様において、前記データ変換処理部は、前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部と、前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部と、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部を有する。

さらに、本発明の画像処理装置の一実施態様において、
ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出部と、
前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出部と、
ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出部と、
前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
を有する。

さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりパラメータを生成する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、前記パラメータ算出部は、前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記パラメータ算出部は、エッジ方向が縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、適用画素位置をエッジ方向に沿った画素位置に設定した補間処理により算出した補間画素値相当の複数のパラメータを生成し、前記ブレンド処理部は、縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、前記パラメータ算出部は、前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、前記ブレンド処理部は、前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する。

さらに、本発明の画像処理装置の一実施態様において、前記エッジ検出部は、前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記テクスチャ検出部は、記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する。

さらに、本発明の第２の側面は、
画像処理装置において画像信号処理を実行する画像処理方法であり、
エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップと、
を有する画像処理方法にある。

さらに、本発明の第３の側面は、
画像処理装置において画像信号処理を実行させるプログラムであり、
エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップと、
を実行させるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な画像処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、画像処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

一般的なカラーフィルタで用いられる色配列としてのベイヤ配列と、本発明において適用するＲＧＢＷ配列の例について説明する図である。 本発明の一実施例における処理であるＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理について説明する図である。 本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。 本発明のＲＧＢＷ配列からＲＧＢ配列への変換処理として行われるリモザイク処理の個別の処理について説明する図である。 本発明の画像処理装置の一実施例に係る撮像装置の構成例について説明する図である。 データ変換処理部の構成と処理について説明する図である。 図６に示すノイズ除去部２０１の実行する処理について説明する図である。 図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。 図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。 図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。 図６に示すエッジ検出部２０９の実行するエッジ検出処理について説明する図である。 図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。 図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。 図６に示すテクスチャ検出部２１０の実行するテクスチャ検出処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の実行する処理について説明する図である。 図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。 図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の実行する処理について説明する図である。 図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。 図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の実行する処理について説明する図である。 図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の実行する処理について説明する図である。 図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の実行する処理について説明する図である。 図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の実行する処理について説明する図である。 図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の実行する処理について説明する図である。 図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の実行する処理について説明する図である。 図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の実行する処理について説明する図である。 図６に示すブレンド処理部２１１の実行する処理について説明する図である。 図６に示すブレンド処理部２１１の実行する処理について説明する図である。 図６に示すブレンド処理部２１１の実行する処理について説明する図である。 図６に示すデータ変換処理部２００の実行する処理のシーケンスを説明するフローチャートを示す図である。

以下、図面を参照しながら、本発明の画像処理装置、および画像処理方法、並びにプログラムについて説明する。説明は、以下の順番で行なう。
１．本発明の処理の概要について
２．撮像装置および画像処理装置の構成例および処理例について
３．データ変換処理部の処理の詳細について
３−１．ノイズ除去部の処理について
３−２．エッジ検出部の処理について
３−３．テクスチャ検出部の処理について
３−４．画素補間パラメータ算出部の処理について
３−５．ブレンド処理部の処理について
４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス

［１．本発明の処理の概要について］
まず、図２を参照して本発明の撮像装置等の画像処理装置が実行する処理の概要について説明する。本発明の画像処理装置は、ＲＧＢ各色の波長光を選択的に透過するＲＧＢフィルタに加え、ＲＧＢ各波長光をすべて透過するホワイト(Ｗ：Ｗｈｉｔｅ)を含むＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データに対する処理を行う。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。

本発明の画像処理装置は、図２（１）に示すような、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを、図２（２）に示すＲＧＢ配列（例えばベイヤ配列）に変換する処理に適用するパラメータの算出処理を実行する。さらに、この変換処理に際して、偽色の発生を低下させるための処理を併せて実行する。

図２に示すように、ＲＧＢＷのカラー配列に設定されたＲＧＢＷの各画素の少なくとも一部を他の色（ＲＧＢのいずれか）へ変換または補正する処理を行う。具体的には、ＲＧＢＷ配列からＲＧＢベイヤ配列への変換処理において、以下の５つの変換や補正処理を実行する。
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
（ｄ）Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
（ｅ）Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）

上記の（ａ）〜（ｅ）の各変換処理は、ＲＧＢＷ配列におけるＲＧＢＷ各画素をＲＧＢ配列におけるＲＧＢ画素に変換するための画素値推定または補正処理として行われる。これらの処理を実行することで、図２（１）に示すＲＧＢＷのカラー配列から図２（２）に示すＲＧＢ配列を生成する。

以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。
以下の実施例では、ホワイト（Ｗ）を持つＲＧＢＷ型カラー配列をＲＧＢ型カラー配列（ベイヤ配列）に変換するリモザイク処理を実行し、かつ、このリモザイク処理に際して偽色の発生を低減させる処理を実行する構成について説明する。

本発明の画像処理装置における画素変換処理は、ｎ×ｎ画素の矩形画素領域を入力画素単位として変換処理を行う。すなわち、ｎ×ｎ画素の中心にある１つの画素の変換画素値を決定するためにｎ×ｎ画素の矩形画素領域の画素情報を利用する。具体的には、例えば画像の５×５画素（幅５画素高さ５画素）単位、または７×７画素（幅７画素高さ７画素）単位で処理を行う。例えば、５×５画素を処理単位とした処理を行う場合、画像処理装置は、５×５画素単位で画素情報を入力し５×５画素の画素情報を用いて中心画素の変換画素値を決定する。５×５画素の中心画素は、ＲＧＢＷいずれかの画素であり、これらのＲＧＢＷを上記（ａ）〜（ｅ）の変換パターンに従って変換する。

以下の説明では、画素変換処理の単位とするｎ×ｎ画素の矩形画素を「入力画素単位」と称して説明する。上述の（ａ）〜（ｅ）の変換パターンの１つである（ａ）の処理、すなわち、
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
この変換処理を行う場合、入力画素単位である５×５画素の画素パターンには、図３に示す４つの異なるパターン（ａ１）〜（ａ４）がある。
図３には、（ａ１）〜（ａ４）に、Ｗ画素が５×５画素の中心位置となる入力画素単位（処理単位）を示している。左側が、入力画素単位、右側が最終的な処理結果となるＲＧＢ配列データである。

５×５画素の中心位置がＷ画素となる入力には、図３に（ａ１）〜（ａ４）に示す４つの異なるパターンがある。このいずれかのパターンの５×５画素を入力した場合、
（ａ）Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
この処理を実行する。
なお、図３（ａ１）〜（ａ４）の右側は、最終的な変化結果を示すものであり、図３（ａ１）〜（ａ４）の左側に示す入力画素単位に対しては、中心画素ＷをＧ画素に変換する処理のみが実行される。その後、処理単位を１つずつずらして、変換処理（上記（ａ）〜（ｅ）のいずれかの処理）を実行して図３（ａ１）〜（ａ４）の右側に示す最終的な変化結果が得られる。

また、上述の（ａ）〜（ｅ）の変換パターンの（ｂ）〜（ｅ）の処理、すなわち、
（ｂ）Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
（ｃ）Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
（ｄ）Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
（ｅ）Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これらの変換処理を行う場合の、入力画素単位（処理単位）と変換処理の最終出力との関係は、図４（ｂ）〜（ｅ）に示す通りである。

［２．撮像装置および画像処理装置の構成例および処理例について］
図５、図６を参照して、本発明の一実施例に係る撮像装置および画像処理装置の構成例及び処理例について説明する。
図５は、本発明の一実施例に係る撮像装置１００の構成例を示す図である。撮像装置１００は、光学レンズ１０５、撮像素子（イメージセンサ）１１０、信号処理部１２０、メモリ１３０、制御部１４０を有する。なお、撮像装置は画像処理装置の一態様である。画像処理装置には、例えばＰＣなどの装置も含まれる。ＰＣ等の画像処理装置は、図３に示す撮像装置１００の光学レンズ１０５、撮像素子１１０を持たず、その他の構成要素から構成され、撮像素子１００の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置１００は、スチルカメラ、ビデオカメラなどであり、画像処理装置１００にはＰＣなど画像処理の可能な情報処理装置が含まれる。

以下では、撮像装置１００を、本発明の画像処理装置の代表例として説明する。図５に示す撮像装置１００の撮像素子（イメージセンサ）１１０は、図１（ｂ）や図２（１）を参照して説明したホワイト（Ｗ）を持つＲＧＢＷ配列１８１を持つフィルタを備えた構成である。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
撮像素子（イメージセンサ）１１０は、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
とＲＧＢのすべてを透過するホワイト(Ｗ)、
これら４種類の分光特性を持つフィルタを備えた撮像素子である。

このＲＧＢＷ配列１８１フィルタを持つ撮像素子１１０は、光学レンズ１０５を介してＲＧＢＷいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子１１０によってＲＧＢＷ４種類の分光から成るモザイク画像が得られる。

撮像素子（イメージセンサ）１１０の出力信号は信号処理部１２０のデータ変換処理部２００に入力される。
データ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
この変換／補正処理に際して、偽色を抑制するための処理を併せて実行する。

データ変換処理部２００の生成したＲＧＢ配列１８２、すなわちベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、ＲＧＢ信号処理部２５０入力される。

ＲＧＢ信号処理部２５０は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像１８３を生成する。生成したカラー画像１８３はメモリ１３０に記録される。

制御部１４０は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ１３０に格納されており、制御部１４０は、メモリ１３０から読み出したプログラムを実行して一連の処理を制御する。

データ変換処理部２００の詳細構成について図６を参照して説明する。データ変換処理部２００は、ＲＧＢＷのカラー配列からＲＧＢ配列１８２への変換処理を実行する。さらに、この処理に際して偽色を抑制するための処理を併せて実行する。

データ変換処理部２００は、図６に示すように、ノイズ除去部２０１、第１〜第５画素補間パラメータ算出部２０２〜２０８、エッジ検出部２０９、テクスチャ検出部２１０、ブレンド処理部２１１を有する。データ変換処理部２００は、処理画像であるＲＧＢＷ配列１８１から、ｎ×ｎ画素の処理単位で順次、画素値を入力して、ｎ×ｎ画素の中央の画素の変換画素値を決定して出力する。全ての画素の変換処理が完了すると、ＲＧＢ配列１８２が完成し、図５に示すＲＧＢ信号処理部２５０に提供される。

ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

エッジ検出部２０９は、Ｗ画素を用いてエッジの方向検出処理を実行する。
テクスチャ検出部２１０は、Ｗ画素を用いてテクスチャの検出処理を実行する。
ブレンド処理部２１１は、上記の各処理で出力された画素をブレンドする処理を実行する。

［３．データ変換処理部の処理の詳細について］
次に、図６に示すデータ変換処理部２００を構成する各処理部が実行する処理の詳細について説明する。
（３−１．ノイズ除去部の処理について）
まず、ノイズ除去部２０１の処理について図７を参照して説明する。ノイズ除去部２０１は、入力画素単位（５×５画素）の中心画素がＷ画素であるデータに対してノイズ除去処理を実行する。ノイズ除去は、入力画素単位の中心にあるＷ画素に対するノイズ低減画素値の算出処理として行われる。

ノイズ除去の手法としては、様々な手法が適用可能である。ここでは、バイラテラルフィルタを用いたノイズ低減処理例について図７を参照して説明する。図７は、入力画素単位が５ｘ５画素の場合を示し、中心にあるＷ画素（画素ｐ）に対してノイズ除去を適用した例を説明する図である。

図７には、
（ａ）処理対象データ
（ｂ）ノイズ低減画素値算出式
（ｃ）関数φ（ｒ）の線形近似例
これらを示している。

（ａ）処理対象データに示すように、ノイズ除去部２０１は、ＲＧＢＷ配列を持つ入力画素単位（５×５画素）の中心画素（ｐ）がＷ画素である場合に処理を行う。図に示す入力画素単位（５×５画素）のグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかである。なお、以下の説明に用いる図においてもグレー部分がＷ画素であり、その他の白い部分はＲＧＢ画素のいずれかであるものとする。

ノイズ除去部２０１は、処理対象データ３０１の中心画素（ｐ）であるＷ画素の画素値Ｉ（ｐ）と入力画素単位（５×５画素）に含まれる画素の画素値Ｉ（ｑ）を用いて、図７（２）に示すノイズ低減画素値算出式に従ってノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。すなわち、以下の式（式１）に従ってノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。

・・・（式１）

上記式において、
Ωｐは、処理対象データ３０１である入力画素単位（５×５画素）に含まれる画素の集合であり、Ｉ（ｑ）はその画素値、Ｉ（ｐ）は中心画素ｐ（＝Ｗ画素）の画素値である。
関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、図７（３）に示すように線形近似した関数としてもよい。
図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
ｒ＝０〜Ｔｈ１（２．０）→φ（ｒ）＝１．０
ｒ＝Ｔｈ１（２．０）〜Ｔｈ２（３．０）→φ（ｒ）＝１．０〜０（線形変化）
ｒ＝Ｔｈ２以上→φ（ｒ）＝０
このような設定の線形近似例である。

ノイズ除去部２０１は、このように、バイラテラルフィルタを適用して入力画素単位（５×５画素）の中心のＷ画素のノイズ低減画素値Ｉ_ＮＲ（ｐ）を上記式（式１）に従って算出する。算出したノイズ低減Ｗ画素値（Ｉ_ＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。

なお、図７を参照して説明したバイラテラルフィルタを適用した処理はノイズ除去処理の一例であり、ノイズ除去部２０１は、図７を参照して説明したバイラテラルフィルタを適用した処理に限らず、その他のノイズ除去方式を用いた構成としてもよい。

（３−２．エッジ検出部の処理について）
次に、エッジ検出部２０９の処理について説明する。エッジ検出部２０９は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）信号を検証して、画像に含まれるエッジ情報、例えばエッジ方向とエッジ強度を含むエッジ情報を生成してブレンド処理部２１１、さらに複数の画素補間パラメータ算出部に出力する。

図８以下を参照してエッジ検出部２０９の実行するＷ画素を用いたエッジ方向とエッジ強度の判定方法について説明する。

エッジ検出部２０９は、入力するＲＧＢＷ配列１８１の信号中、ホワイト（Ｗ）信号のみを利用して、エッジ方向とエッジ強度を判定する。エッジ検出部２０９は、入力データに対して７×７画素の領域単位でエッジ検出処理を実行する。エッジ検出部２０９は、７×７画素の領域を１画素ずつずらしながら順次、エッジ検出処理を実行する。１つの７×７画素領域に対する処理によって７×７画素領域の中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を取得する。各画素対応のエッジ情報は、ブレンド処理部２１１、および第１〜第５画素補間パラメータ算出部に出力される。

エッジ検出処理には様々な手法が適用可能である。図８、図９を参照してその１つの手法について説明する。以下に説明する方法では、７×７画素領域の中心近傍の４×４画素を利用する。

図８に示すように、処理対象とする７×７画素の中心画素は、
（ａ）Ｗ画素である場合と、
（ｂ）Ｗ以外の画素である場合、
これらの２通りがある。なお、図８においてグレーで示す画素がＷ画素であり、その他はＲＧＢいずれかの画素に対応する。
これら（ａ），（ｂ）２種類のケースに対して、それぞれ異なる算出式を用いてエッジ方向が、水平、垂直、右斜め上、左斜め上の４方向のいずれであり、またその強度を推定するためのエッジ判定処理を行う。

具体的な処理について図９を参照して説明する。
図９には、
（ａ）中心画素がＷ画素の場合
（ｂ）中心画素がＷ以外の画素の場合
これら（ａ），（ｂ）の場合におけるエッジ方向およびエッジ強度の判定処理に適用する算出式を示している。適用する算出式は画像の特定方向の画素値の勾配を算出する式であり、以下の各値の算出式である。
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらのｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは、それぞれ異なる方向の画素値の勾配（差分）の絶対値の平均値に相当する。以下、具体的な算出処理について説明する。

（ａ）中心画素がＷ画素の場合の処理について
まず、中心画素がＷ画素の場合の処理について図９（ａ）を参照して説明する。図９（ａ）には（ａ１）〜（ａ４）に中心画素がＷ画素の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。

中心画素がＷ画素の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式２）によって算出する。

・・・（式２）

なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図９に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。

ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。

ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。

ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ３）に示すように、４×４画素領域の中央部にある１つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。

ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ａ４）に示すように、４×４画素領域の中央部にある１つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。

水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を判定することができる。

（ｂ）中心画素がＷ画素以外の場合の処理について
次に、中心画素がＷ画素以外の場合の処理について図９（ｂ）を参照して説明する。図９（ｂ）には（ｂ１）〜（ｂ４）に中心画素がＷ画素以外の場合のｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの算出処理例を示している。
二重丸［◎］で示す位置が７×７画素における中心画素位置である。
また、丸［○］で示す位置がエッジ重心位置である。

中心画素がＷ画素以外の場合、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤは以下の算出式（式３）によって算出する。

・・・（式３）

なお、Ｗｘｙは、水平方向を（ｘ）、垂直方向を（ｙ）とし、図９に示す４×４画素の左上端画素の座標を（０，０）、右下端の画素座標を（３，３）として設定した座標系におけるｘｙ座標位置のＷ画素値を示す。

ｇｒａｄＨは、水平方向の勾配絶対値平均であり、水平方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ１）に示すように、４×４画素領域の中央部にある２つの水平ラインの水平方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＨとして算出する。

ｇｒａｄＶは、垂直方向の勾配絶対値平均であり、垂直方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ２）に示すように、４×４画素領域の中央部にある２つの垂直ラインの垂直方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＶとして算出する。

ｇｒａｄＡは、右斜め上方向の勾配絶対値平均であり、右斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ３）に示すように、４×４画素領域の中央部にある２つの右斜め上方向ラインの右斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＡとして算出する。

ｇｒａｄＤは、左斜め上方向の勾配絶対値平均であり、左斜め上方向に近接するＷ画素の差分絶対値の平均値に対応する。
図９（ｂ４）に示すように、４×４画素領域の中央部にある２つの左斜め上方向ラインの左斜め上方向に近接する２つのＷ画素の差分絶対値の平均値をｇｒａｄＤとして算出する。

水平方向の勾配絶対値平均ｇｒａｄＨの値が大きい程、垂直方向のエッジ強度が大である可能性が高い。
垂直方向の勾配絶対値平均ｇｒａｄＶの値が大きい程、水平方向のエッジ強度が大である可能性が高い。
右斜め上方向の勾配絶対値平均ｇｒａｄＡの値が大きい程、左斜め上方向のエッジ強度が大である可能性が高い。
左斜め上方向の勾配絶対値平均ｇｒａｄＤの値が大きい程、右斜め上方向のエッジ強度が大である可能性が高い。
このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値の算出値に基づいてエッジ方向とエッジ強度を推定することができる。

エッジ検出部２０９は、このように、ｇｒａｄＨ、ｇｒａｄＶ、ｇｒａｄＡ、ｇｒａｄＤの各値に基づいて各画素対応のエッジ情報（エッジ方向とエッジ強度）を取得する。取得したエッジ情報はブレンド処理部２１１に出力される。
なお、上述のエッジの方向・強度検出方法は一例であり、他のエッジ検出方法を用いた構成としてもよい。例えば、図９を参照して説明したエッジ検出方法は極めて狭い範囲の特定の画素値情報を用いており、ノイズが大きいときには誤判定を起こすことが予想される。この誤判定を防止したエッジ情報の取得処理例について、図１０を参照して説明する。

図１０に示すエッジ情報取得処理例は、図９を参照して説明した算出値である勾配絶対値平均を加重加算する処理を用いた手法である。図１０には、
（１）水平・垂直成分エッジ情報取得処理例
（２）斜め成分エッジ情報取得処理例
これらの各処理例を示している。

図１０（１）、(２)には７×７画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この７×７画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。

図１０（１）に示す水平・垂直成分エッジ情報取得処理例について説明する。図１０（１）には１６個のエッジ重心を示している。これらは、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。

図１０（１）に示す７×７画素領域に、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３０２から右下端の４×４画素領域３０４まで１６個ある。図１０（１）に示す１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示すと同様の位置のエッジ重心である。

水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（０，０）３０１は、４×４の画素領域３０２に対応するエッジ重心となる。４×４の画素領域３０２を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（０，０）３０１は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。

また、エッジ重心（３，３）３０３は、４×４の画素領域３０４に対応して設定されるエッジ重心である。４×４の画素領域３０４を図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す４×４の画素領域とした場合、エッジ重心（３，３）３０３は、図９（ａ１），（ａ２），（ｂ１），（ｂ２）に示す重心に対応する。

図１０（１）に示す７×７画素領域には、４×４の画素領域とエッジ重心の組が１６個設定される。これら１６個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値をそれぞれ１６個ずつ算出することができる。

エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
ｇｒａｄＨ_ｉ，ｊ
ｇｒａｄＶ_ｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
これらを、以下の算出式（式４）を用いて算出する。

・・・（式４）

上記式においてｗ_ｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（１）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（１）には重み係数の一例として（４／３６）〜（１／３６）の重み係数を１６個のエッジ重心に対応付けた例を示している。

次に、図１０（２）に示す斜め成分エッジ情報取得処理例について説明する。図１０（２）には２５個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。

７×７画素領域に、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４画素領域を設定する。設定可能な４×４画素領域は、図に示す左上端の４×４画素領域３１２から右下端の４×４画素領域３１４まで１６個ある。図１０（２）に示す２５個のエッジ重心中、図１０（２）に示す点線矩形枠３１５内の１６個のエッジ重心は、これら１６個の４×４画素領域に対応するエッジ重心、すなわち、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すと同様の位置のエッジ重心である。

水平軸をｉ、垂直軸をｊとして、図に示す０，１，２，３，４のスケールを設定し、エッジ重心の座標位置を（ｉ，ｊ）として表記した場合、エッジ重心（１，１）３１１は、４×４の画素領域３１２に対応するエッジ重心となる。４×４の画素領域３１２を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（１，１）３１１は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。

また、エッジ重心（４，４）３１３は、４×４の画素領域３１４に対応して設定されるエッジ重心である。４×４の画素領域３１４を図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す４×４の画素領域とした場合、エッジ重心（４，４）３１３は、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示す重心に対応する。

図１０（２）には点線矩形枠３１５の外側にもエッジ重心を示している。ｉ＝０、ｊ＝０の位置にある、
（ｉ，ｊ）＝（０，０）〜（０，４）と、（１，０）〜（４，０）
これらのエッジ重心である。
図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すように、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する最に利用する画素位置は、エッジ重心周りの８画素のみである。従って、図１０（２）に示すｉ＝０、ｊ＝０の位置にエッジ重心を設定した場合でも、ｇｒａｄＡ、ｇｒａｄＶを算出することができる。

従って、７×７画素領域を用いて、異なる位置にエッジ重心を設定した算出可能なｇｒａｄＡ、ｇｒａｄＤは図１０（２）に示す２５個のエッジ重心位置に対応する２５個のデータとなる。

図１０（２）に示す７×７画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値をそれぞれ２５個ずつ算出することができる。

エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
ｇｒａｄＡ_ｉ，ｊ
ｇｒａｄＤ_ｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらを、以下の算出式（式５）を用いて算出する。

・・・（式５）

上記式においてｗ_ｉｊは、（ｉ，ｊ）位置のエッジ重心に対応する重み係数である。重み係数は、例えば図１０（２）に示すように、中心部を大きく周辺部を小さくした係数として設定される。図１０（２）には重み係数の一例として（１６／１００）〜（１／１００）の重み係数を２５個のエッジ重心に対応付けた例を示している。

図１０を参照して説明した処理によって算出したエッジ情報、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤは、７×７画素領域に含まれる多数の画素値（Ｗ画素値）を利用して算出されたエッジ情報である。
従って、図９を参照して説明した少数の画素情報を適用して算出したエッジ情報に比較して、ノイズ等による誤った結果を発生させる可能性が低減される。
なお、上記式および図１０に示す重み係数ｗ_ｉｊの設定例は一例であり、他の平均化係数を用いることも可能である。

なお、図１０を参照して説明した例は、７×７画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理例であるが、例えば、図１１に示すように、５×５画素の領域を用いて勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する構成としてもよい。

図１１には、図１０と同様、
（１）水平・垂直成分エッジ情報取得処理例
（２）斜め成分エッジ情報取得処理例
これらの各処理例を示している。

図１１（１）、(２)には５×５画素の画像データを示している。このデータは、エッジ検出部２０９が処理対象とするデータであり、図９に示すと同様、Ｗ画素値のみが離散的に配列されたデータである。この５×５画素の中心に位置する中心画素に対応するエッジ情報（エッジ方向とエッジ強度）を求める。

図１１（１）に示す（１）水平・垂直成分エッジ情報取得処理例について説明する。図１１（１）に示す５×５画素領域には、４×４の画素領域とエッジ重心の組が４個設定される。これら４個の組に対して、図９（ａ１），（ａ２），（ｂ１），（ｂ２）を参照して説明した算出式を用いることで、
ｇｒａｄＨ：水平方向の勾配絶対値平均
ｇｒａｄＶ：垂直方向の勾配絶対値平均
これらの値をそれぞれ４個ずつ算出することができる。

エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＨ）、（ｇｒａｄＶ）を、それぞれ、
ｇｒａｄＨ_ｉ，ｊ
ｇｒａｄＶ_ｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
これらを、前述した式（式４）を用いて算出する。

次に、図１１（２）に示す斜め成分エッジ情報取得処理例について説明する。図１１（２）には９個のエッジ重心を示している。これらは、図９（ａ３），（ａ４），（ｂ３），（ｂ４）に示すエッジ重心に対応する。すなわち、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値を算出する際のエッジ重心に対応する。

図１１（２）に示す５×５画素領域から、図９（ａ３），（ａ４），（ｂ３），（ｂ４）を参照して説明した算出式を用いることで、
ｇｒａｄＡ：右斜め上方向の勾配絶対値平均
ｇｒａｄＤ：左斜め上方向の勾配絶対値平均
これらの値をそれぞれ９個ずつ算出することができる。

エッジ重心（ｉ，ｊ）に対応する４×４画素領域を用いて算出される勾配絶対値平均（ｇｒａｄＡ）、（ｇｒａｄＤ）を、それぞれ、
ｇｒａｄＡ_ｉ，ｊ
ｇｒａｄＤ_ｉ，ｊ
として示す。これらを用いて、勾配絶対値平均の加重加算値、すなわち、
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらを、前述の算出式（式５）を用いて算出する。

このように、勾配絶対値平均の加重加算値（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出する処理においては、７×７画素領域、あるいは５×５画素領域など、様々な領域を利用することが可能である。

エッジ検出部２０９は、このようにして求めたエッジ情報、すなわち、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）をブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。

（３−３．テクスチャ検出部の処理について）
次に、テクスチャ検出部２１０の処理について説明する。テクスチャ検出部２１０は、入力信号であるＲＧＢＷ配列に含まれる離散的なホワイト（Ｗ）画素を用いてテクスチャの検出処理を実行する。すなわち、各画素対応のテクスチャ情報を検出して検出情報をブレンド処理部２１１に出力する。
、
具体的には、各画素の近傍画像領域がテクスチャの多い（平坦度の低い）画像であるか、テクスチャの少ない（平坦度の高い）画像であるかを検出してこの検出情報を各画素対応のテクスチャ情報としてブレンド処理部２１１に出力する。

テクスチャ検出部２１０の処理について、図１２以下を参照して説明する。
テクスチャ検出部２１０は、まず、ＲＧＢＷ配列画像を構成する入力画素単位（５×５画素）毎にＷ画素の平均値Ｗａｖｅを算出する。

Ｗ画素平均値Ｗａｖｅの算出処理には例えば平滑化フィルタを用いる。入力画素単位の中心がＷ画素の場合は、図１２に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求め、入力画素単位の中心がＷ画素でない場合は、図１３に示すような係数を設定したフィルタでＷ画素の平均値Ｗａｖｅを求める。

図１２を参照して入力画素単位の中心がＷ画素の場合の処理について説明する。中心画素がＷ画素となる５×５画素の入力画素単位３２１のＷ画素位置を中心とする９画素中のＷ画素値に、フィルタ３２２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。この平均値Ｗａｖｅは、入力画素単位３２１の中心Ｗ画素に対する平均値Ｗａｖｅとして算出される。テクスチャ検出部２１０は、さらにこの画素対応の平均値Ｗａｖｅを用いて、中心Ｗ画素に対応するテクスチャ度合いの指標値としての平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。この算出処理については後述する。

なお、図１２に示すフィルタ３２２のフィルタ係数は、５×５画素の入力画素単位３２１の中心Ｗ画素〜周囲Ｗ画素について（４／８〜１／８）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。

次に、図１３を参照して入力画素単位の中心がＷ画素以外の場合の処理について説明する。中心画素がＷ画素以外となる５×５画素の入力画素単位３３１の中心画素位置を中心とする９画素中のＷ画素値に、フィルタ３３２の対応画素位置のフィルタ係数を乗算する。さらに各乗算結果の加算値を算出する。この加算結果をＷ信号の平均値Ｗａｖｅとする。算出された平均値Ｗａｖｅは、入力画素単位３３１の中心画素（ＲＧＢのいずれか）に対する平均値Ｗａｖｅとして算出される。

なお、図１３に示すフィルタ３３２のフィルタ係数は、５×５画素の入力画素単位３３１の中心画素周りの周囲Ｗ画素について各々（１／４）の設定としてある。このフィルタ係数は一例であり、その他の係数を利用した構成でもよく、いわゆるローパスフィルタであれば係数はこの限りではない。また、９画素より広い領域を利用した構成としてもよい。

テクスチャ検出部２１０は、このようにして、入力画素単位の中心画素がＷ画素であるかＷ画素以外のＲＧＢ画素であるかに応じて、図１２に示すフィルタ３２２、または図１３に示すフィルタ３３２を適用して入力画素単位の中心画素対応のＷ画素平均値Ｗａｖｅを算出する。

テクスチャ検出部２１０は、算出したＷ画素平均値Ｗａｖｅを用いて、中心画素ｐ＝（ｘ，ｙ）に対応するテクスチャ度：Ｗ_ＴＸ（ｐ）を以下の算出式（式６）を用いて算出する。

・・・（式６）

上記式（式６）において、
Ωｐは、処理対象データである入力画素単位（５×５画素）に含まれる画素の集合、
Ｉ（ｑ）はその画素値、
Ｉａｖｅ（ｐ）は、図１２または図１３のフィルタを適用して算出されるＷ画素平均値（Ｗａｖｅと同一値）、
φ（ｒ）は、予め規定した重み関数、
である。

なお、関数φ（ｒ）は、一般的には指数関数を用いる。しかし、演算量を抑えるために、先に説明した図７（３）に示すような線形近似した関数を利用してもよい。
図７（３）に示す線形近似は、閾値としてＴｈ１＝２．０、Ｔｈ２＝３．０を設定し、
ｒ＝０〜Ｔｈ１（２．０）→φ（ｒ）＝１．０
ｒ＝Ｔｈ１（２．０）〜Ｔｈ２（３．０）→φ（ｒ）＝１．０〜０（線形変化）
ｒ＝Ｔｈ２以上→φ（ｒ）＝０
このような設定の線形近似例である。

さらに、テクスチャ検出部２１０は、上記式に従って算出した中心画素ｐに対応するテクスチャ度：Ｗ_ＴＸ（ｐ）を適用して、以下の式（式７）に従って中心画素ｐ＝（ｘ，ｙ）に対応する平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））
・・・（式７）

上記式（式７）において、
ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。
図１４に示す線形近似関数は、閾値として０＜Ｔｈ０（ＦＬＡＴ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＦＬＡＴ＿ＬＩＭＩＴ１）＜１を設定し、
ｒ＝０〜Ｔｈ０→ｆ_ｆｌａｔ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→ｆ_ｆｌａｔ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→ｆ_ｆｌａｔ（ｒ）＝１
このような設定とした線形近似関数である。

なお、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。

テクスチャ検出部２１０は、このようにして算出した平坦度重み（ｗｅｉｇｈｔＦｌａｔ）をブレンド処理部２１１に出力する。

（３−４．画素補間パラメータ算出部の処理について）
次に、図６のデータ変換処理部２００内の第１〜第５画素補間パラメータ算出部２０２，２０４，２０５，２０７，２０８、および、第１〜第２仮画素設定部２０３，２０６の処理について説明する。これらの各部は以下の処理を実行する。

第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、Ｗ画素をＧ画素に変換する処理に適用するパラメータの算出処理を実行する。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、Ｇ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＧ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する。
第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。
第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、Ｒ画素またはＢ画素に隣接するＷ画素位置をＲ画素またはＢ画素に変換する処理の事前処理としてＲまたはＢ画素周囲のＷ画素をＲまたはＢ画素の仮画素（Ｒ'）（Ｂ'）に変換する処理を実行する
第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。
第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

（３−４−１．第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理）
まず、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理について説明する。第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列１８１のＷ画素位置に設定するＧ画素値の算出に適用する補間パラメータを算出する。

なお、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、７×７または５×５の画素領域を処理単位（入力画素単位）として処理を行う。
まず、７×７の画素領域を処理単位（入力画素単位）として処理を行う場合について図１５以下を参照して説明する。

第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、まず、処理単位の７×７画素領域におけるＷ信号の低周波成分ｍＷを求める。
図１５に示すように、７×７画素の入力画素単位４０１に対して図１５に示すフィルタ４１１を適用して、７×７画素の入力画素単位４０１に対応する低周波成分ｍＷを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力画素単位４０１の中心にある変換対象画素４０２である。図１５に示す入力画素単位４０１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１５に示すフィルタ４１１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。なお、以下の図面においてもＷ画素またはＷ画素対応位置はグレーで示し、ＲＧＢ画素位置または対応位置は白で示す。

フィルタ４１１は、変換対象画素対応位置４１２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（８／５２〜１／５２）の各係数を設定している。このフィルタ４１１を適用して、低周波成分ｍＷを算出する。７×７画素の入力画素単位４０１のＷ画素位置の画素値に、フィルタ４１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。

なお、図１５に示すフィルタ４１１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１５に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。

次に、図１６、図１７を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。Ｇ信号の低周波成分ｍＧの算出処理においては、７×７画素の入力画素単位４０１の構成およびエッジ方向に応じて異なるフィルタを適用する。

具体的には、図１６、図１７に示すように、
（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合
（ｂ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合
（ｃ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合
（ｄ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合
これらの４種類のパターンに応じて、図１６、図１７に示すフィルタ４２１，４２２，４２５，４２６を使い分ける。

これらのフィルタの適用により、７×７画素の入力信号４０１に対応する低周波成分ｍＧを算出する。ここでＧ画素に変換する対象となるＷ画素は、７×７画素の入力信号４０１の中心にある変換対象画素４０２である。

（ａ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図１６（ａ）に示すような係数設定のフィルタ４２１を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２１の中心は、変換対象画素対応位置４２３である。
（ｂ）入力画素単位４０１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図１６（ｂ）に示すような係数設定のフィルタ４２２を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２２の中心は、変換対象画素対応位置４２４である。

（ｃ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図１７（ｃ）に示すような係数設定のフィルタ４２５を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２５の中心は、変換対象画素対応位置４２７である。
（ｄ）入力画素単位４０１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図１７（ｄ）に示すような係数設定のフィルタ４２６を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４２６の中心は、変換対象画素対応位置４２８である。

適用するフィルタのいずれも、変換対象画素対応位置に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタとして設定される。係数として（１／２０〜４／２０）の各係数を設定している。これらのフィルタ４２１，４２２，４２５，４２６のいずれかを適用して、低周波成分ｍＧを算出する。７×７画素の入力画素単位４０１のＧ画素位置の画素値に、フィルタ４２１，４２２，４２５，４２６のいずれかのフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。

なお、図１６、図１７に示すフィルタ４２１，４２２，４２５，４２６のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。

第１画素補間パラメータ算出部２０２は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ７×７画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。

このようにして算出されたｍＷとｍＧの比率が画像内の局所領域において保たれると仮定する。この仮定に従うと、局所領域におけるＷとＧの画素値比率の対応関係は図１８のグラフに示す対応関係となる。図１８のグラフは横軸がＷ画素値、縦軸がＧ画素値である。画像の特定の狭い局所領域では、このＷ画素値とＧ画素値の比率は一定であるとすると、図１８に示す直線（ラインＬ１)のような比例関係にあると仮定できる。

この仮定に従うと、入力画素単位４０１の中心Ｗ画素、すなわち、変換対象画素位置のＷ信号の画素値をｗとした場合、その変換対象画素位置に設定すべきＧ信号の画素値ＧｏｎＷは、以下の式に従って算出できる。
ＧｏｎＷ＝（ｍＧ／ｍＷ）ｗ
これは、Ｗ画素値とＧ画素値の局所領域では比率が一定であることを仮定した画素値推定方法である。

なお、ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
ｍＧは、図１６、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。ｍＧは、入力画素単位４０１の構成、エッジ方向に応じて異なる値が適用される。

図１８に示す直線（ラインＬ１)は、Ｗ画素値とＧ画素値の局所領域では比率が一定であることの仮定に基づくラインである。画素値変換処理に際してコントラスト強調処理を実行する場合は、図１８に示す直線（ラインＬ２)のようなラインを適用してもよい。ｋは、コントラスト強調処理調整パラメータである。

コントラスト強調処理を適用する場合の変換対象Ｗ画素に設定するＧ画素の画素値は以下のように算出する。
変換対象画素位置のＷ信号の画素値をｗ、変換対象画素位置に設定すべきＧ信号の画素値をＧｏｎＷとする。変換後のＧ画素値ＧｏｎＷは以下の式に従って算出できる。
ＧｏｎＷ＝ｆ_{ｃｏｎｔｒａｓｔ}（ｍＧ，ｍＷ，ｗ，ｋ）
ｆ_{ｃｏｎｔｒａｓｔ}（ｍＧ，ｍＷ，ｗ，ｋ）
＝ｋ（ｍＧ／ｍＷ）（ｗ−ｍＷ）＋ｍＧ）・・・（≧０）
＝０・・・（＜０）

なお、ｋはコントラスト強調処理調整パラメータ（ｋ＝１でコントラスト強調なし）である。
ｍＷは、図１５を参照して説明した処理によって算出されるＷ信号の低周波成分ｍＷである。
ｍＧは、図１６、図１７を参照して説明した処理によって算出されるＧ信号の低周波成分ｍＧである。ｍＧは、入力画素単位４０１の構成、エッジ方向に応じて異なる値（ｍＧ＿ｈ，ｍＧ＿ｖ）が適用される。

第１画素補間パラメータ算出部２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ

なお、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用して算出する値である。
一方、
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用しないで算出する値である。
第１画素補間パラメータ算出部２０２は、これらの補間パラメータを算出してブレンド処理部２１１に出力する。
ブレンド処理部は、これらのパラメータを適用したブレンド処理を実行して、最終的なＧ画素値、すなわちＲＧＢＷ配列におけるＷ画素位置に設定するＧ画素値を決定する。このブレンド処理については後述する。

なお、第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、前述したように７×７または５×５の画素領域を処理単位（入力画素単位）として処理を行う。上述した説明は７×７の画素領域を処理単位（入力画素単位）として処理を行う場合についての説明であったが、５×５の画素領域を処理単位（入力画素単位）として処理を行う場合は、Ｗ信号の低周波成分ｍＷの算出および、Ｇ信号の低周波成分ｍＧの算出に適用するフィルタの設定が異なる、

５×５の画素領域を処理単位（入力画素単位）として処理を行う場合の、Ｗ信号の低周波成分ｍＷの算出および、Ｇ信号の低周波成分ｍＧの算出に適用するフィルタの構成例を図１９〜図２１を参照して説明する。

図１９に示すように、５×５画素の入力画素単位４３１に対して図１９に示すフィルタ４４１を適用して、５×５画素の入力画素単位４３１に対応する低周波成分ｍＷを算出する。Ｇ画素に変換する対象となるＷ画素は、５×５画素の入力画素単位４３１の中心にある変換対象画素４３２である。図１９に示す入力画素単位４３１においてグレーで示す画素がＷ画素である。その他はＲＧＢ画素である。同様に、図１９に示すフィルタ４４１においてグレーで示す画素がＷ画素対応位置である。その他はＲＧＢ画素対応位置である。

フィルタ４４１は、変換対象画素対応位置４４２のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタである。係数として（４／３２〜１／３２）の各係数を設定している。このフィルタ４４１を適用して、低周波成分ｍＷを算出する。５×５画素の入力画素単位４３１のＷ画素位置の画素値に、フィルタ４４１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。

なお、図１９に示すフィルタ４４１のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。図１９に示すフィルタ例の他、例えばローパス特性を持つ他の平滑化フィルタを用いることも可能である。

次に、図２０、図２１を参照してＧ信号の低周波成分ｍＧの算出処理について説明する。
（ａ）入力画素単位４３１の中心Ｗ画素の左にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図２０（ａ）に示すような係数設定のフィルタ４５１を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５１の中心は、変換対象画素対応位置４５３である。
（ｂ）入力画素単位４３１の中心Ｗ画素の左にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図２０（ｂ）に示すような係数設定のフィルタ４５２を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５２の中心は、変換対象画素対応位置４５４である。

（ｃ）入力画素単位４３１の中心Ｗ画素の右にＧ画素があり、エッジ方向が横（ｈ）方向の場合は、図２１（ｃ）に示すような係数設定のフィルタ４５５を適用して、Ｇ信号の低周波成分ｍＧ＿ｈを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５５の中心は、変換対象画素対応位置４５７である。
（ｄ）入力画素単位４３１の中心Ｗ画素の右にＧ画素があり、エッジ方向が縦（ｖ）方向の場合は、図２１（ｄ）に示すような係数設定のフィルタ４５６を適用して、Ｇ信号の低周波成分ｍＧ＿ｖを算出する。フィルタ係数を示す数値を示している画素がＧ画素対応位置である。フィルタ４５６の中心は、変換対象画素対応位置４５８である。

適用するフィルタのいずれも、変換対象画素対応位置に近いＧ画素対応位置のフィルタ係数が最も高く、周囲に離れるに従って係数を低く設定したフィルタとして設定される。係数として（１／８〜２／８）の各係数を設定している。これらのフィルタ４５１，４５２，４５５，４５６のいずれかを適用して、低周波成分ｍＧを算出する。５×５画素の入力画素単位４３１のＧ画素位置の画素値に、フィルタ４５１，４５２，４５５，４５６のいずれかのフィルタ係数を乗算して、各乗算結果の加算値をＧ信号の低周波成分ｍＧとして算出する。

なお、図２０、図２１に示すフィルタ４５１，４５２，４５５，４５６のフィルタ係数設定例は一例であり、この他のフィルタ係数を設定したフィルタを適用してもよい。

５×５画素領域を処理単位とした場合、第１画素補間パラメータ算出部２０２は、このように、Ｇ画素への変換対象となるＷ画素を中心画素として持つ５×５画素領域を処理単位として、Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧを算出する。

Ｗ信号とＧ信号の低周波成分ｍＷおよびｍＧ算出後の処理は、前述の７×７の処理単位とした場合と同様である。すなわち、第１画素補間パラメータ算出部２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ

（３−４−２．第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理）
次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理について説明する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図６に示す構成図から理解されるように、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の前段に設定されている。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５はいずれもＧ画素をＲまたはＢ画素に変換するためのパラメータを算出する。第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。

第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。

図２２に示すように、５×５画素の入力画素単位５０１に対して図２２に示すフィルタ５１１〜５１３を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。５×５画素の入力画素単位５０１の中心画素が変換対象画素である。この場合は、入力画素単位５０１は、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に対する入力であり、これらは、Ｇ画素をＲまたはＢ画素に変換するためのパラメータを算出する処理部であるので、入力画素単位５０１の中心画素はＧ画素である。

フィルタ５１１は係数設定部がＷ画素対応位置であり、係数として（１／１６〜２／１６）の各係数を設定している。５×５画素の入力画素単位５０１のＷ画素位置の画素値に、フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。

フィルタ５１２は係数設定部がＲ画素対応位置であり、係数として（１／４）の各係数を設定している。５×５画素の入力画素単位５０１のＲ画素位置の画素値に、フィルタ５１２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲ'として算出する。

フィルタ５１３は係数設定部がＢ画素対応位置であり、係数として（１／４）の各係数を設定している。５×５画素の入力画素単位５０１のＢ画素位置の画素値に、フィルタ５１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＢ信号の低周波成分ｍＢ'として算出する。

次に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２３に示すように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。

図２３に示すように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置は４つある。これらのＷ画素位置のＲ画素値とＢ画素値を推定する。推定処理は、先に図１８を参照して説明したように、ｍＷとｍＲ'、またはｍＷとｍＢ'の比率が画像内の局所領域において保たれるとの仮定に基づいて行う。

このような過程に基づくと、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_１２'，Ｒ_２１'，Ｒ_３２'，Ｒ_２３'）は以下のように推定することができる。
Ｒ_１２'＝（ｍＲ'／ｍＷ）ｗ_１２、
Ｒ_２１'＝（ｍＲ'／ｍＷ）ｗ_２１、
Ｒ_３２'＝（ｍＲ'／ｍＷ）ｗ_３２、
Ｒ_２３'＝（ｍＲ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

同様に、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_１２'，Ｂ_２１'，Ｂ_３２'，Ｂ_２３'）は以下のように推定することができる。
Ｂ_１２'＝（ｍＢ'／ｍＷ）ｗ_１２、
Ｂ_２１'＝（ｍＢ'／ｍＷ）ｗ_２１、
Ｂ_３２'＝（ｍＢ'／ｍＷ）ｗ_３２、
Ｂ_２３'＝（ｍＢ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

このように、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５に提供する。

（３−４−３．第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理）
次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理について説明する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。

エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理について図２４を参照して説明する。

図２４に示すように、５×５画素の入力画素単位５０１に対して図２４に示すフィルタ５２１を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷを算出する。ここでＲまたはＢ画素に変換する対象となるＧ画素は、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２である。なお、この処理は、先に図２２を参照して説明した第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理と同じ処理である。従って第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＷ信号の低周波成分ｍＷを受領する設定としてもよい。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、さらに、処理単位の５×５画素領域におけるＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。この処理においては、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出した５×５画素の入力画素単位５０１の中心の変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値の推定値が利用される。

第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＲ画素値推定値を設定したデータ５０２に対して、図２４に示すフィルタ５２２を適用して、５×５画素の入力画素単位５０１に対応するＲ信号の低周波成分ｍＲを算出する。

フィルタ５２２は、フィルタ係数として（３／１６〜１／１６）が設定されている。係数（１／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＲ画素位置に対応する。係数（３／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＷ画素位置に対応し、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３でＲ画素値を推定した位置に対応する。

同様に、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３で算出したＢ画素値推定値を設定したデータ５０３に対して、図２４に示すフィルタ５２３を適用して、５×５画素の入力画素単位５０１に対応するＢ信号の低周波成分ｍＢを算出する。

フィルタ５２２は、フィルタ係数として（３／１６〜１／１６）が設定されている。係数（１／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＢ画素位置に対応する。係数（３／１６）の設定位置は、当初の５×５画素の入力画素単位５０１におけるＷ画素位置に対応し、第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３でＢ画素値を推定した位置に対応する。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、このようにして、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、５×５画素の入力画素単位５０１のエッジ方向に応じて、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、５×５画素の入力画素単位５０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。

５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する処理について図２５を参照して説明する。

５×５画素の入力画素単位５０１のエッジ方向が横方向である場合は、
図２５（ａ）に示すように、フィルタ５３１を適用して、中央位置の変換対象画素５０２の横に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｈ）とする。

５×５画素の入力画素単位５０１のエッジ方向が縦方向である場合は、
図２５（ｂ）に示すように、フィルタ５３２を適用して、中央位置の変換対象画素５０２の縦に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｖ）とする。

５×５画素の入力画素単位５０１が平坦領域である場合は、
図２５（ｃ）に示すように、フィルタ５３３を適用して、中央位置の変換対象画素５０２の縦横に隣接する４つのＷ画素の画素値の平均を算出して、変換対象画素５０２のＷ画素値（Ｗ＿ｎ）とする。

なお、図２５の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。

次に、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。

まず、Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。

Ｇ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＢ画素に変換する際にＢ画素値を決定する処理に適用される。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、このように、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータ、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

（３−４−４．第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理）
次に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理について説明する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応のこれらのエッジ情報を入力する。

第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、変換対象とするＧ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＡとｄｉｒＤを比較して、比較結果に応じた異なる処理を実行して斜めエッジ対応のパラメータを算出する。算出するパラメータは、Ｇ画素をＲ画素、またはＢ画素に変換する補間パラメータである。

第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理は、第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４と同様の処理であり、先に図２４を参照して説明した処理と同一であるので、説明を省略する。

第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、５×５画素の入力画素単位５０１のエッジ方向に応じて、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、５×５画素の入力画素単位５０１のエッジ方向が右斜め上方向であるか左斜め上方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２は元々Ｇ画素である。

５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２のＷ画素値を推定する処理について図２６を参照して説明する。

５×５画素の入力画素単位５０１のエッジ方向が左斜め上方向である場合は、図２６（ａ）に示すように、フィルタ５４１を適用して、中央位置の変換対象画素５０２の左斜め上から右斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素５０２のＷ画素値（Ｗ＿ｄ）とする。

５×５画素の入力画素単位５０１のエッジ方向が右斜め上方向である場合は、図２６（ｂ）に示すように、フィルタ５４２を適用して、中央位置の変換対象画素５０２の右斜め上から左斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素５０２のＷ画素値（Ｗ＿ａ）とする。

なお、図２６の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。

次に、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、Ｇ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

まず、Ｇ画素をＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。

Ｇ画素をＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位５０１の中央位置にある変換対象画素５０２であるＧ画素位置をＢ画素に変換する際にＢ画素値を決定する処理に適用される。

第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、このように、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

（３−４−５．第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理）
次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理について説明する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図６に示す構成図から理解されるように、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の前段に設定されている。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８はいずれもＲまたはＢ画素を同じＲまたはＢ画素に変換（補正）するためのパラメータを算出する。第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、これらの処理に先行して、ＲＢ画素に隣接するＷ画素位置を仮のＲ画素（Ｒ'）またはＢ画素（Ｂ'）に変換する処理を実行する。

第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。

図２７に示すように、５×５画素の入力画素単位６０１に対して図２７に示すフィルタ６１１〜６１３を適用して、５×５画素の入力画素単位６０１に対応するＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分Ｒ'、Ｂ信号の低周波成分Ｂ'を求める。５×５画素の入力画素単位６０１の中心画素が変換対象画素である。この場合は、入力画素単位６０１は、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８に対する入力であり、これらは、ＲまたはＢ画素を、ＲまたはＢ画素に変換（補正）するためのパラメータを算出する処理部であるので、入力画素単位６０１の中心画素はＲまたはＢ画素である。

フィルタ６１１は係数設定部がＷ画素対応位置であり、係数として（１／１６〜２／１６）の各係数を設定している。５×５画素の入力画素単位５０１のＷ画素位置の画素値に、フィルタ５１１の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＷ信号の低周波成分ｍＷとして算出する。

フィルタ６１２は入力画素単位６０１の中心画素がＲ画素のときに適用する。係数設定部がＲ画素対応位置であり、係数として（１／８〜４／８）の各係数を設定している。５×５画素の入力画素単位６０１のＲ画素位置の画素値に、フィルタ６１２の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＲ信号の低周波成分ｍＲ'として算出する。

フィルタ６１３は入力画素単位６０１の中心画素がＲ画素のときに適用する。係数設定部がＢ画素対応位置であり、係数として（１／８〜４／８）の各係数を設定している。５×５画素の入力画素単位６０１のＢ画素位置の画素値に、フィルタ６１３の対応画素位置のフィルタ係数を乗算して、各乗算結果の加算値をＢ信号の低周波成分ｍＢ'として算出する。

次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２８に示すように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。

図２８に示すように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置は４つある。これらのＷ画素位置のＲ画素値とＢ画素値を推定する。推定処理は、先に図１８を参照して説明したように、ｍＷとｍＲ'、またはｍＷとｍＢ'の比率が画像内の局所領域において保たれるとの仮定に基づいて行う。

このような過程に基づくと、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_１２'，Ｒ_２１'，Ｒ_３２'，Ｒ_２３'）は以下のように推定することができる。
Ｒ_１２'＝（ｍＲ'／ｍＷ）ｗ_１２、
Ｒ_２１'＝（ｍＲ'／ｍＷ）ｗ_２１、
Ｒ_３２'＝（ｍＲ'／ｍＷ）ｗ_３２、
Ｒ_２３'＝（ｍＲ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。

同様に、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_１２'，Ｂ_２１'，Ｂ_３２'，Ｂ_２３'）は以下のように推定することができる。
Ｂ_１２'＝（ｍＢ'／ｍＷ）ｗ_１２、
Ｂ_２１'＝（ｍＢ'／ｍＷ）ｗ_２１、
Ｂ_３２'＝（ｍＢ'／ｍＷ）ｗ_３２、
Ｂ_２３'＝（ｍＢ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。

このように、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定して、これらを第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と、第３画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８に提供する。

（３−４−６．第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理）
次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理について説明する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータとして、縦または横エッジ対応のパラメータを算出する。

エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲまたはＢ画素対応のこれらのエッジ情報を入力する。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、変換対象とするＲ／Ｂ画素対応の４方向のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）のｄｉｒＨとｄｉｒＶを比較して、比較結果に応じて縦または横エッジ対応のパラメータを算出する。算出するパラメータは、Ｒ画素をＲ画素に、またはＢ画素をＢ画素に変換する処理に適用するパラメータである。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理について図２９を参照して説明する。

図２９に示すように、５×５画素の入力画素単位６０１に対して図２９に示すフィルタ６２１を適用して、５×５画素の入力画素単位５０１に対応するＷ信号の低周波成分ｍＷを算出する。ここでＲまたはＢ画素に変換する対象となるＲまたはＢ画素は、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２である。なお、この処理は、先に図２７を参照して説明した第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理と同じ処理である。従って第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＷ信号の低周波成分ｍＷを受領する設定としてもよい。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、さらに、処理単位の５×５画素領域におけるＲ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。この処理においては、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出した５×５画素の入力画素単位６０１の中心の変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値の推定値が利用される。

第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＲ画素値推定値を設定したデータ６１１に対して、図２９に示すフィルタ６２２を適用して、５×５画素の入力画素単位６０１に対応するＲ信号の低周波成分ｍＲを算出する。

フィルタ６２２は、フィルタ係数として（４／１６〜１／１６）が設定されている。係数（１／１６），（４／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＲ画素位置に対応する。係数（２／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＷ画素位置に対応し、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６でＲ画素値を推定した位置に対応する。

同様に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６で算出したＢ画素値推定値を設定したデータ６１２に対して、図２９に示すフィルタ６２３を適用して、５×５画素の入力画素単位６０１に対応するＢ信号の低周波成分ｍＢを算出する。

フィルタ６２２は、フィルタ係数として（４／１６〜１／１６）が設定されている。係数（１／１６），（４／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＢ画素位置に対応する。係数（２／１６）の設定位置は、当初の５×５画素の入力画素単位６０１におけるＷ画素位置に対応し、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６でＢ画素値を推定した位置に対応する。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、このようにして、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。

次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、５×５画素の入力画素単位６０１のエッジ方向に応じて、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

エッジ検出部２０９から入力するｄｉｒＨ（水平勾配情報）と、ｄｉｒＶ（垂直勾配情）の大小を比較して、５×５画素の入力画素単位６０１のエッジ方向が横方向であるか縦方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２は元々ＲまたはＢ画素である。

５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２はＲまたはＢ画素である。この処理について図３０を参照して説明する。

５×５画素の入力画素単位６０１のエッジ方向が横方向である場合は、
図３０（ａ）に示すように、フィルタ６３１を適用して、中央位置の変換対象画素６０２の横に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｈ）とする。

５×５画素の入力画素単位６０１のエッジ方向が縦方向である場合は、
図３０（ｂ）に示すように、フィルタ６３２を適用して、中央位置の変換対象画素６０２の縦に隣接する２つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｖ）とする。

５×５画素の入力画素単位６０１が平坦領域である場合は、
図３０（ｃ）に示すように、フィルタ６３３を適用して、中央位置の変換対象画素６０２の縦横に隣接する４つのＷ画素の画素値の平均を算出して、変換対象画素６０２のＷ画素値（Ｗ＿ｎ）とする。

なお、図３０の右端には、処理対象となる５×５画素の入力画素単位６０１のエッジ例を表現したイメージ図を示している。

次に、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、縦、または横エッジ対応のパラメータを算出する。

まず、Ｒ画素を補正したＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＲ画素位置をＲ画素に変換する際に補正したＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。

Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＢ画素位置をＢ画素に変換する際に補正したＢ画素値を決定する処理に適用される。

第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、このように、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、縦、または横エッジ対応のパラメータ、すなわち、
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

（３−４−７．第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理）
次に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理について説明する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

エッジ検出部２０９は、前述したように、
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を、各画素対応のエッジ情報として生成する。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、変換対象とするＲまたはＢ画素対応のこれらのエッジ情報を入力する。

第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、まず、処理単位の５×５画素領域におけるＷ信号の低周波成分ｍＷ、Ｒ信号の低周波成分ｍＲ、Ｂ信号の低周波成分ｍＢを求める。これらの算出処理は、第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７と同様の処理であり、先に図２９を参照して説明した処理と同一であるので、説明を省略する。

第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、５×５画素の入力画素単位６０１のエッジ方向に応じて、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する。エッジ方向情報は、エッジ検出部２０９から入力する。

エッジ検出部２０９から入力するｄｉｒＡ（右斜め上方向勾配情報）と、ｄｉｒＤ（左斜め上方向勾配情報）の大小を比較して、５×５画素の入力画素単位６０１のエッジ方向が右斜め上方向であるか左斜め上方向であるか、エッジ方向が特定できない平坦領域であるかを判別する。例えば予め設定した閾値を利用して判別処理を行う。なお、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２は元々ＲまたはＢ画素である。

５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２のＷ画素値を推定する処理について図３１を参照して説明する。

５×５画素の入力画素単位６０１のエッジ方向が左斜め上方向である場合は、図３１（ａ）に示すように、フィルタ６４１を適用して、中央位置の変換対象画素６０２の左斜め上から右斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素６０２のＷ画素値（Ｗ＿ｄ）とする。

５×５画素の入力画素単位６０１のエッジ方向が右斜め上方向である場合は、図３１（ｂ）に示すように、フィルタ６４２を適用して、中央位置の変換対象画素６０２の右斜め上から左斜め下方向の８つのＷ画素の画素値を適用して、変換対象画素６０２のＷ画素値（Ｗ＿ａ）とする。

なお、図３１の右端には、処理対象となる５×５画素の入力画素単位５０１のエッジ例を表現したイメージ図を示している。

次に、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、Ｒ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、斜めエッジ対応のパラメータを算出する。

まず、Ｒ画素を補正したＲ画素に変換する処理に適用するパラメータとして以下のパラメータを算出する。
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＲ画素を補正したＲ画素に変換する際にＲ画素値を決定する処理に適用される。ブレンド処理部２１１の処理については後段で説明する。

Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとしては以下のパラメータを算出する。
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータは、ブレンド処理部２１１に出力され、ブレンド処理部２１１において、エッジ状態に応じてブレンド処理が行われ、５×５画素の入力画素単位６０１の中央位置にある変換対象画素６０２であるＢ画素位置を補正したＢ画素に変換する際にＢ画素値を決定する処理に適用される。

第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

（３−５．ブレンド処理部の処理について）
次に、ブレンド処理部２１１の処理について説明する。ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。

エッジ検出部２０９から入力するエッジ情報は以下の情報である。
ｄｉｒＨ：水平勾配情報
ｄｉｒＶ：垂直勾配情報
ｄｉｒＡ：右斜め上方向勾配情報
ｄｉｒＤ：左斜め上方向勾配情報
これらのエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を入力する。

また、テクスチャ検出部２１０から入力するテクスチャ情報は、先に説明した式（式７）に従って算出する以下の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）情報である。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））・・・（式７）
なお、前述したように、上記式（式７）において、ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数を用いることができる。図１４に示す線形近似関数は、閾値として０＜Ｔｈ０＜Ｔｈ１＜１を設定し、
ｒ＝０〜Ｔｈ０→φ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→φ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→φ（ｒ）＝１
このような設定とした線形近似関数である。
平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が小さいほど、平坦度が低くテクスチャが多い画像領域であり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）の値が大きいほど、平坦度が高くテクスチャが少ない画像領域である可能性が高いことを示す。

ブレンド処理部２１１は、これらの情報を入力して、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値を決定する。
ブレンド処理部２１１の実行する処理シーケンスについて、図３２、図３３に示すフローチャートを参照して説明する。

ブレンド処理部２１１は、まず、図３２に示すステップＳ１１において、画素単位のエッジ方向属性を判定する。
ブレンド処理部２１１は、エッジ検出部２０９から入力する画素単位のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を用いて以下の判定式に従って、画素単位のエッジ方向属性を判定する。
まず、ｄｉｒＨＶを以下のように定義する。
ｄｉｒＨ≦ｄｉｒＶの場合、
ｄｉｒＨＶ＝Ｈ
ｄｉｒＨ＞ｄｉｒＶの場合、
ｄｉｒＨＶ＝Ｖ
ｄｉｒＨＶはＨ（横方向）またはＶ（縦方向）のいずれかとなる。

さらに、ｄｉｒＡＤを以下のように定義する。
ｄｉｒＡ≦ｄｉｒＤの場合、
ｄｉｒＡＤ＝Ａ
ｄｉｒＡ＞ｄｉｒＤの場合、
ｄｉｒＡＤ＝Ｄ
ｄｉｒＡＤはＡ（右斜め上方向）またはＤ（左斜め上方向）のいずれかとなる。
これら、ｄｉｒＨＶ、ｄｉｒＡＤは、各画素におけるエッジ方向を示す属性情報である。

次に、ブレンド処理部２１１は、図３２に示すステップＳ１２において、これらのｄｉｒＨＶ、ｄｉｒＡＤから、以下の式に従って、縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＨＶ）を求める。
ｄｉｒＡ≦ｄｉｒＤの場合、
ｒａｔｉｏＨＶ＝（ｄｉｒＤ＋ｏｆｆｓｅｔ）／（ｄｉｒＡ＋ｏｆｆｓｅｔ）
ｄｉｒＡ＞ｄｉｒＤの場合、
ｒａｔｉｏＨＶ＝（ｄｉｒＡ＋ｏｆｆｓｅｔ）／（ｄｉｒＤ＋ｏｆｆｓｅｔ）
なお、
上記式における（ｏｆｆｓｅｔ）は、非負の値であり、ゼロ割りの回避と検出感度の調整のためのパラメータである。

さらに、上記式で算出したエッジ方向度合い（ｒａｔｉｏＨＶ）は、例えば図３４に示す関数ｆ_{ｒａｔｉｏ}（ｒａｔｉｏＨＶ）による非線形化処理により、
縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出する。なお、閾値Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）、Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）は、非線形処理に適用する閾値としての調整用パラメータである。
図３２に示す線形近似関数ｆ_{ｒａｔｉｏ}（ｒ）は、閾値として０＜Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）＜Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）＜１を設定し、
ｒ＝０〜Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）→ｆ_{ｒａｔｉｏ}（ｒ）＝０
ｒ＝Ｔｈ０（ＨＶ＿ＬＩＭＩＴ０）〜Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）→ｆ_{ｒａｔｉｏ}（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１（ＨＶ＿ＬＩＭＩＴ１）以上→ｆ_{ｒａｔｉｏ}（ｒ）＝１
このような設定とした線形近似関数である。

なお、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。

次に、ブレンド処理部２１１は、図３３に示すステップＳ１３において、ＲＧＢＷ配列をＲＧＢ配列に変換するための最終的な変換画素値（ＲＧＢ画素値）を決定する。

本発明の画像処理装置のデータ変換処理部２００は、先に図２を参照して説明したように、ＲＧＢＷ配列１８１からＲＧＢ配列１８２への変換処理を実行する。この変換処理に際しては、前述のように、
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する＝（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する＝（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する＝（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する＝（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する＝（ＢｏｎＢ）
これら５つの変換や補正処理を実行する。
ブレンド処理部２１１は、これらの最終的な変換画素値を決定する。

Ｗ画素位置のＧ画素への変換処理において設定するＧ画素値（ＧｏｎＷ）は、以下の式（式１１）によって算出する。
ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
・・・・・・（式１１）

なお、上記式（式１１）において、
ＧｏｎＷ（ｄｉｒＨＶ）、
ＧｏｎＷｎ（ｄｉｒＨＶ）
これらは、先に説明した第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の算出した補間パラータであり、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらのいずれかの値である。

ｄｉｒＨ≦ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｈであり、
ＧｏｎＷ（ｄｉｒＨＶ）＝ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ、
ＧｏｎＷｎ（ｄｉｒＨＶ）＝ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ、
となる。
また、ｄｉｒＨ＞ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｖであり、
ＧｏｎＷ（ｄｉｒＨＶ）＝ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ、
ＧｏｎＷｎ（ｄｉｒＨＶ）＝ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
となる。
このようにして、ＲＧＢＷ配列のＷ画素位置をＧ画素へ変換する場合のＧ画素値（ＧｏｎＷ）を算出する。

なお、上記の式（式１１）に示すＧ画素値（ＧｏｎＷ）算出式は、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて、
（ＧｏｎＷ（ｄｉｒＨＶ））：コントラスト強調を適用して算出した変換Ｇ画素値
（ＧｏｎＷｎ（ｄｉｒＨＶ））：コントラスト強調を適用しないで算出した変換Ｇ画素値
これらの値のブレント比率を変更して最終的な変換Ｇ画素値を算出する式である。

変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、コントラスト強調のない変換Ｇ画素値に相当する（ＧｏｎＷｎ（ｄｉｒＨＶ））のブレント比率が高くなり、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、コントラスト強調後の変換画素値に相当する（ＧｏｎＷ（ｄｉｒＨＶ））のブレント比率が高くなる。
このように変換対象画素の平坦度に応じて、ブレンド比率を変更して最終的なＧ画素値（ＧｏｎＷ）を決定する。

次に、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する処理におけるＲ画素値（ＲｏｎＧ）の算出処理について説明する。
まず、以下の式（式２１）、（式２２）に従って縦横方向エッジ対応の変換画素値（ＲｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＲｏｎＧ＿ａｄ）を求める。
ＲｏｎＧ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＧｎ）
・・・・・・（式２１）
ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
・・・・・・（式２２）

さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
・・・・・・（式２３）
このようにして、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理を行う。

上記式について説明する。
上記式（式２１）において、
ＲｏｎＧ（ｄｉｒＨＶ）、
ＲｏｎＧｎ
これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）

ｄｉｒＨ≦ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｈであり、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）、
また、ｄｉｒＨ＞ｄｉｒＶの場合、ステップＳ１１に示すように、
ｄｉｒＨＶ＝Ｖであり、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）、
となる。

また、上記式（式２２）において、
ＲｏｎＧ（ｄｉｒＡＤ）
これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）

ｄｉｒＡ≦ｄｉｒＤの場合、ステップＳ１１に示すように、
ｄｉｒＡＤ＝Ａであり、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）、
また、ｄｉｒＡ＞ｄｉｒＤの場合、ステップＳ１１に示すように、
ｄｉｒＡＤ＝Ｄであり、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）、
となる。

式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。
変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が大きく、平坦な領域である場合は、先に説明した図２５（ｃ）に示すフィルタ５３３を適用して算出したＷ画素値（ｗ＿ｎ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
この値の重みを大きくする。

一方、変換対象画素の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）が小さく、平坦度が低くテクスチャが多い領域である場合は、先に説明した図２５（ａ），（ｂ）に示すフィルタ５３１，５３２を適用して算出したＷ画素値（ｗ＿ｈ）または(ｗ＿ｖ)を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
これらの値の重みを大きくする。

なお、ＲｏｎＧ（ｄｉｒＨＶ）の値は、
横方向エッジの場合は、ｄｉｒＨ≦ｄｉｒＶとなり、先に説明した図２５（ａ）に示すフィルタ５３１を適用して算出したＷ画素値（ｗ＿ｈ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）、
この値が適用される。
また、縦方向エッジの場合は、ｄｉｒＨ＞ｄｉｒＶとなり、先に説明した図２５（ｂ）に示すフィルタ５３２を適用して算出したＷ画素値（ｗ＿ｖ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＨＶ）＝ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）、
この値が適用される。

このように式（式２１）は、変換対象画素の縦横方向エッジ情報と、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）に応じて縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。

式（式２２）は、
ＲｏｎＧ＿ａｄ＝（ＲｏｎＧ（ｄｉｒＡＤ））
であり、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータ斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
これらを選択する式である。

ｄｉｒＡ＞ｄｉｒＤの場合、先に説明した図２６（ａ）に示すフィルタ５４１を適用して算出したＷ画素値（ｗ＿ｄ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）、
ｄｉｒＡ≦ｄｉｒＤの場合、先に説明した図２６（ｂ）に示すフィルタ５４２を適用して算出したＷ画素値（ｗ＿ａ）を利用して推定したＲ画素値、すなわち、
ＲｏｎＧ（ｄｉｒＡＤ）＝ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）、
これらを選択する。
このように式（式２２）は、変換対象画素の斜め方向のエッジ方向情報に応じて斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）を算出する算出式である。

ブレンド処理部２１１は、さらに、上記式（式２１）、（式２２）で算出した（ＲｏｎＧ＿ｈｖ）と（ＲｏｎＧ＿ａｄ）を以下の式（式２３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＧ）を算出する。
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ

上記式（式２３）は、
式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）
式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＧ）を算出する式である。

縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）は、先に説明したように、斜め方向エッジに対する縦横方向エッジの強さを示し、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きいほど、斜め方向エッジより縦横方向エッジが強く、縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さいほど、斜め方向エッジが縦横方向エッジより強いことを示す。

従って、式（式２３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式２１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式２２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）の重みが大きく設定される。

このように変換対象画素のエッジ方向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＧ）を決定する。

次に、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する処理におけるＢ画素値（ＢｏｎＧ）の算出処理について説明する。
ブレンド処理部２１１は、まず、以下の式（式３１）、（式３２）に従って縦横方向エッジ対応の変換画素値（ＢｏｎＧ＿ｈｖ）、斜め方向エッジ対応の変換画素値（ＢｏｎＧ＿ａｄ）を求める。
ＢｏｎＧ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＧｎ）
・・・・・・（式３１）
ＢｏｎＧ＿ａｄ＝（ＢｏｎＧ（ｄｉｒＡＤ））
・・・・・・（式３２）

さらに、上記式（式３１）、（式３２）で算出した（ＢｏｎＧ＿ｈｖ）と（ＢｏｎＧ＿ａｄ）を以下の式（式３３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＧ）を算出する。
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
・・・・・・（式３３）
このようにして、ＲＧＢＷ配列中のＧ画素位置をＢ画素へ変換する場合のＢ画素値（ＢｏｎＧ）の算出処理を行う。

これらの式３１〜３３は、前述の式２１〜２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＲをＢに変更した式であり、処理は、ＲをＢに変更する以外は同様の処理となる。

上記式（式３１）において、
ＢｏｎＧ（ｄｉｒＨＶ）、
ＢｏｎＧｎ
これらは、先に説明した第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の算出した補間パラータであり、縦、または横エッジ上のＧ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）

また、上記式（式３２）において、
ＢｏｎＧ（ｄｉｒＡＤ）
これは、第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の算出した補間パラータであり、斜め方向エッジ上のＧ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）

上記式（式３３）は、
式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）
式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＧ）を算出する式である。

式（式３３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式３１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式３２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ画素値（ＢｏｎＧ）を決定する。

次に、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換（補正）する処理におけるＲ画素値（ＲｏｎＲ）の算出処理について説明する。

ブレンド処理部２１１は、まず、以下の式（式４１）、（式４２）に従って縦横方向エッジ対応変換画素値（ＲｏｎＲ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＲｏｎＲ＿ａｄ）を求める。
ＲｏｎＲ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＲ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＲｏｎＲｎ）
・・・・・・（式４１）
ＲｏｎＲ＿ａｄ＝（ＲｏｎＲ（ｄｉｒＡＤ））
・・・・・・（式４２）

さらに、上記式（式４１）、（式４２）で算出した（ＲｏｎＲ＿ｈｖ）と（ＲｏｎＲ＿ａｄ）を以下の式（式４３）に従ってブレンド処理を実行して、最終的なＲ画素値（ＲｏｎＲ）を算出する。
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
・・・・・・（式４３）
このようにして、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換（補正）する場合のＲ画素値（ＲｏｎＲ）の算出処理を行う。

これらの式４１〜４３は、前述の式２１〜２３、すなわち、ＲＧＢＷ配列中のＧ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＧ）の算出処理において適用した式において、ＧをＲに変更した式であり、処理は、ＲをＲに変更する以外は同様の処理となる。

上記式（式４１）において、
ＲｏｎＲ（ｄｉｒＨＶ）、
ＲｏｎＲｎ
これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＲ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）

また、上記式（式４２）において、
ＲｏｎＲ（ｄｉｒＡＤ）
これは、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＲ画素をＲ画素に変換する処理に適用する以下のパラメータである。
ＲｏｎＲ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）

上記式（式４３）は、
式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＧ＿ｈｖ）
式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＲ画素値（ＲｏｎＲ）を算出する式である。

式（式４３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式４１で算出した縦横方向エッジに依存するＲ画素値（ＲｏｎＲ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式４２で算出した斜め方向エッジに依存するＲ画素値（ＲｏｎＲ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＲ画素値（ＲｏｎＲ）を決定する。

次に、ＲＧＢＷ配列中のＢ画素位置をＢ画素へ変換（補正）する処理におけるＢ画素値（ＢｏｎＢ）の算出処理について説明する。

ブレンド処理部２１１は、まず、以下の式（式５１）、（式５２）に従って縦横方向エッジ対応変換画素値（ＢｏｎＢ＿ｈｖ）、斜め方向エッジ対応変換画素値（ＢｏｎＢ＿ａｄ）を求める。
ＢｏｎＢ＿ｈｖ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＢ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＢｏｎＢｎ）
・・・・・・（式５１）
ＢｏｎＢ＿ａｄ＝（ＢｏｎＢ（ｄｉｒＡＤ））
・・・・・・（式５２）

さらに、上記式（式５１）、（式５２）で算出した（ＢｏｎＢ＿ｈｖ）と（ＢｏｎＢ＿ａｄ）を以下の式（式５３）に従ってブレンド処理を実行して、最終的なＢ画素値（ＢｏｎＢ）を算出する。
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ
・・・・・・（式５３）
このようにして、ＲＧＢＷ配列中のＢ画素位置をＢ画素へ変換（補正）する場合のＢ画素値（ＢｏｎＢ）の算出処理を行う。

これらの式５１〜５３は、前述の式４１〜４３、すなわち、ＲＧＢＷ配列中のＲ画素位置をＲ画素へ変換する場合のＲ画素値（ＲｏｎＲ）の算出処理において適用した式において、ＲをＢに変更した式であり、処理は、ＲをＢに変更する以外は同様の処理となる。

上記式（式５１）において、
ＢｏｎＢ（ｄｉｒＨＶ）、
ＢｏｎＢｎ
これらは、先に説明した第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の算出した補間パラータであり、縦、または横エッジ上のＢ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）

また、上記式（式５２）において、
ＢｏｎＢ（ｄｉｒＡＤ）
これは、第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の算出した補間パラータであり、斜め方向エッジ上のＢ画素をＢ画素に変換する処理に適用する以下のパラメータである。
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）

上記式（式５３）は、
式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＧ＿ｈｖ）
式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＧ＿ａｄ）
これらを、ステップＳ１２で算出した縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）に応じてブレンドして最終的なＢ画素値（ＢｏｎＢ）を算出する式である。

式（式５３）は、縦横方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が大きい場合は、
式５１で算出した縦横方向エッジに依存するＢ画素値（ＢｏｎＢ＿ｈｖ）の重みが大きく設定される。
また、斜め方向エッジが強く縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）の値が小さい場合は、
式５２で算出した斜め方向エッジに依存するＢ画素値（ＢｏｎＢ＿ａｄ）の重みが大きく設定される。
このように変換対象画素のエッジ向に応じて、ブレンド比率を変更して最終的なＢ画素値（ＢｏｎＢ）を決定する。

上述したように、ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。すなわち、ＲＧＢＷ配列からＲＧＢ配列への変換処理において以下の変換画素値を決定する。
Ｗ画素位置をＧ画素に変換（Ｇ画素値を推定）する際のＧ画素値（ＧｏｎＷ）
Ｇ画素位置をＲ画素に変換（Ｒ画素値を推定）する際のＲ画素値（ＲｏｎＧ）
Ｇ画素位置をＢ画素に変換（Ｂ画素値を推定）する際のＢ画素値（ＢｏｎＧ）
Ｒ画素位置をＲ画素に変換（Ｒ画素値を補正）する際のＲ画素値（ＲｏｎＲ）
Ｂ画素位置にＢ画素に変換（Ｂ画素値を補正）する際のＢ画素値（ＢｏｎＢ）
これら５つの変換や補正画素値を決定する。

ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。各画素値の算出式を以下にまとめて示す。

ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ

［４．画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンス］
次に、図３５に示すフローチャートを参照して、画像処理装置のデータ変換処理部が実行するリモザイク処理シーケンスについて説明する。図３５に示すフローチャートは、図５に示す画像処理装置において実行するＲＧＢＷ配列からＲＧＢ配列への変換処理、すなわちリモザイク処理の全体シーケンスを示すフローチャートである。これまで説明してきた処理全体のシーケンスである。なお、図３５に示すフローは、例えば、図５に示す画像処理装置の制御部１４０がメモリ１３０に格納されたプログラムを実行して、各処理部を制御して実行させることができる。

図３５に示すフローチャートの各ステップについて説明する。
まず、ステップＳ１０１において、ＲＧＢＷ配列に含まれるＷ画素を適用して、エッジ方向を判定する。
この処理は、図６に示すエッジ検出部２０９の実行する処理である。先に説明したように、エッジ検出部２０９は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、エッジ方向とエッジ強度を判定する。
エッジ検出部２０９は、エッジ検出処理によって、画素対応のエッジ情報（ｄｉｒＨ，ｄｉｒＶ，ｄｉｒＡ，ｄｉｒＤ）を算出して、ブレンド処理部２１１、および複数の画素補間パラメータ算出部に出力する。

次に、ステップＳ１０２において、ＲＧＢＷ配列に含まれるＷ画素を適用して、テクスチャ検出処理を行う。
この処理は、図６に示すテクスチャ検出部２１０の実行する処理である。先に説明したように、テクスチャ検出部２１０は、入力するＲＧＢＷ配列の信号中、ホワイト（Ｗ）信号を利用して、画素対応テクスチャ情報、具体的には、平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出する。
ｗｅｉｇｈｔＦｌａｔ（ｘ，ｙ）＝ｆ_ｆｌａｔ（Ｗ_ＴＸ（ｐ））
ｆ_ｆｌａｔ（ｒ）は、例えば図１４に示すような線形近似関数であり、
ｒ＝０〜Ｔｈ０→ｆ_ｆｌａｔ（ｒ）＝０
ｒ＝Ｔｈ０〜Ｔｈ１→ｆ_ｆｌａｔ（ｒ）＝０〜１．０（線形変化）
ｒ＝Ｔｈ１以上→ｆ_ｆｌａｔ（ｒ）＝１
このような設定とした平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、ブレンド処理部２１１に出力する。

次に、ステップＳ１０３において、入力画素単位の中心のＷ画素に対するノイズ除去を実行する。
この処理は、図６に示すノイズ除去部２０１の処理である。先に説明したように、ノイズ除去部２０１は、入力画素単位の中心にあるＷ画素に対してノイズ除去を実行する。

先に図７を参照して説明したように、ノイズ除去部２０１は、例えばバイラテラルフィルタを適用して入力画素単位（５×５画素）の中心にＷ画素が設定されている場合、前述の式（式１）に従って、ノイズ低減画素値Ｉ_ＮＲ（ｐ）を算出する。算出したノイズ低減Ｗ画素値（Ｉ_ＮＲ（ｐ））は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２に出力される。

次に、ステップＳ１０４において、ＲＧＢＷ配列中のＷ画素をＧ画素に変換するために適用する補間パラメータを算出する。
この処理は、図６に示す第１画素補間パラメータ算出部（ＧｏｎＷ）２０２の処理である。
第１画素補間パラメータ算出部（ＧｏｎＷ）２０２は、ＲＧＢＷ配列におけるＷ画素をＧ画素に変換するために適用する補間パラメータとして、以下のパラメータを算出する。
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ

上記式において、
ｍＧ：入力画素単位のＧ信号の低周波成分
ｍＷ：入力画素単位のＷ信号の低周波成分
ｗ：入力画素単位の中心のＷ画素の画素値
である。
なお、ｍＧについては、図１６、図１７を参照して説明したように、入力画素単位の中心Ｗ画素のＧ画素の隣接位置と、エッジ方向に応じて、異なる係数設定のフィルタを適用して、ｍＧ＿ｖ、またはｍＧ＿ｈをＧ信号の低周波成分として算出する。

上記（ａ）〜（ｄ）において、
（ａ）ＧｏｎＷ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｂ）ＧｏｎＷ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用して算出する値である。
（ｃ）ＧｏｎＷｎ（Ｈ）＝（ｍＧ＿ｈ／ｍＷ）ｗ
（ｄ）ＧｏｎＷｎ（Ｖ）＝（ｍＧ＿ｖ／ｍＷ）ｗ
これらは、コントラスト強調を適用しないで算出する値である。
ひれら（ａ）〜（ｄ）のパラメータは、ＲＧＢＷ配列中のＷ画素をＧ画素に変換するために適用する補間パラメータであり、ブレンド処理部２１１に出力される。

次に、ステップＳ１０５において、Ｒ／Ｗ，Ｂ／Ｗ相関からＧ画素隣接のＷ位置のＲ，Ｂを補間する。
この処理は、図６に示す第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３の処理である。
第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）２０３は、図２３を参照して説明したように、５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_１２'，Ｒ_２１'，Ｒ_３２'，Ｒ_２３'）は以下のように推定することができる。
Ｒ_１２'＝（ｍＲ'／ｍＷ）ｗ_１２、
Ｒ_２１'＝（ｍＲ'／ｍＷ）ｗ_２１、
Ｒ_３２'＝（ｍＲ'／ｍＷ）ｗ_３２、
Ｒ_２３'＝（ｍＲ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

同様に、図２３に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_１２'，Ｂ_２１'，Ｂ_３２'，Ｂ_２３'）は以下のように推定することができる。
Ｂ_１２'＝（ｍＢ'／ｍＷ）ｗ_１２、
Ｂ_２１'＝（ｍＢ'／ｍＷ）ｗ_２１、
Ｂ_３２'＝（ｍＢ'／ｍＷ）ｗ_３２、
Ｂ_２３'＝（ｍＢ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位５０１の中心にある変換対象画素５０２の周囲に隣接するＷ画素位置のＷ画素値である。

なお、
ｍＷ：入力画素単位のＷ信号の低周波成分
ｗ：入力画素単位の中心のＷ画素の画素値
ｍＲ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＲ画素（Ｒ'）を適用して算出したＲ信号の低周波成分
ｍＢ'：ＲＢ画素に隣接するＷ画素位置に設定した仮のＢ画素（Ｂ'）を適用して算出したＢ信号の低周波成分
である。

次に、ステップＳ１０６において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して縦横方向のＧ位置のＲ，Ｂを補間する。
この処理は、図６に示す第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４の処理である。第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、主に縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）２０４は、縦、または横エッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＧ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＧｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＧ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＧ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＧｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

なお、
ｍＲ：入力画素単位のＲ信号の低周波成分
ｍＢ：入力画素単位のＢＲ信号の低周波成分
ｍＷ：入力画素単位のＷ信号の低周波成分
（ｗ＿ｈ）、（ｗ＿ｖ）、（ｗ＿ｎ）は、図２５を参照して説明したように、エッジ方向に応じて選択されるフィルタを適用して算出する入力画素単位の中心画素位置に設定されるＷ画素値である。

次に、ステップＳ１０７において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して斜め方向のＧ位置のＲ，Ｂを補間する。
この処理は、図６に示す第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５の処理である。第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）２０５は、斜めエッジ上のＧ画素をＲ画素、またはＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＧ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＧ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＧ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＧ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

次に、ステップＳ１０８において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、Ｒ，Ｂ画素隣接のＷ位置のＲ，Ｂを補間する。
この処理は、図６に示す第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６の処理である。
次に、第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）２０６は、図２８を参照して説明したように、５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値とＢ画素値を推定する。

図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＲ画素値（Ｒ_ｘｙ'＝Ｒ_１２'，Ｒ_２１'，Ｒ_３２'，Ｒ_２３'）は以下のように推定することができる。
Ｒ_１２'＝（ｍＲ'／ｍＷ）ｗ_１２、
Ｒ_２１'＝（ｍＲ'／ｍＷ）ｗ_２１、
Ｒ_３２'＝（ｍＲ'／ｍＷ）ｗ_３２、
Ｒ_２３'＝（ｍＲ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。

同様に、図２８に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＢ画素値（Ｂ_ｘｙ'＝Ｂ_１２'，Ｂ_２１'，Ｂ_３２'，Ｂ_２３'）は以下のように推定することができる。
Ｂ_１２'＝（ｍＢ'／ｍＷ）ｗ_１２、
Ｂ_２１'＝（ｍＢ'／ｍＷ）ｗ_２１、
Ｂ_３２'＝（ｍＢ'／ｍＷ）ｗ_３２、
Ｂ_２３'＝（ｍＢ'／ｍＷ）ｗ_２３、
なお、ｗ_１２、ｗ_２１、ｗ_３２、ｗ_２３は図に示す５×５画素の入力画素単位６０１の中心にある変換対象画素６０２の周囲に隣接するＷ画素位置のＷ画素値である。

次に、ステップＳ１０９において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して、縦横方向のＲ，Ｂ位置のＲ，Ｂを補間する。この処理は、図６に示す第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７の処理である。第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）２０７は、縦、または横エッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータとして、以下のパラメータの算出処理を実行する。
ＲｏｎＲ（Ｈ）＝（ｍＲ／ｍＷ）（ｗ＿ｈ）
ＲｏｎＲ（Ｖ）＝（ｍＲ／ｍＷ）（ｗ＿ｖ）
ＲｏｎＲｎ＝（ｍＲ／ｍＷ）（ｗ＿ｎ）
ＢｏｎＢ（Ｈ）＝（ｍＢ／ｍＷ）（ｗ＿ｈ）
ＢｏｎＢ（Ｖ）＝（ｍＢ／ｍＷ）（ｗ＿ｖ）
ＢｏｎＢｎ＝（ｍＢ／ｍＷ）（ｗ＿ｎ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

次に、ステップＳ１１０において、Ｒ／Ｗ，Ｂ／Ｗ相関を利用して斜め方向のＲ，Ｂ位置のＲ，Ｂを補間する。
この処理は、図６に示す第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８の処理である。第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータの算出処理を実行する。

第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）２０８は、このように、斜めエッジ上のＲ画素を補正したＲ画素、Ｂ画素を補正したＢ画素に変換する処理に適用するパラメータ、すなわち、
ＲｏｎＲ（Ａ）＝（ｍＲ／ｍＷ）（ｗ＿ａ）
ＲｏｎＲ（Ｄ）＝（ｍＲ／ｍＷ）（ｗ＿ｄ）
ＢｏｎＢ（Ａ）＝（ｍＢ／ｍＷ）（ｗ＿ａ）
ＢｏｎＢ（Ｄ）＝（ｍＢ／ｍＷ）（ｗ＿ｄ）
これらのパラメータを算出してブレンド処理部２１１に出力する。

次に、ステップＳ１１１において、エッジ方向属性に従いブレンド処理を実行して、ＲＧＢＷ配列の変換後のＲＧＢ配列を構成するＲＧＢ画素値を決定する。この処理は、図６に示すブレンド処理部２１１の処理である。

ブレンド処理部２１１は、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータを入力し、さらにエッジ検出部２０９の検出したエッジ情報と、テクスチャ検出部２１０の検出したテクスチャ情報を入力して、最終的な変換画素値を算出する。

ブレンド処理部２１１は、変換対象画素に対応するエッジ情報、すなわちエッジ強度と、エッジ方向に応じて、第１〜第５画素補間パラメータ算出部の生成した画素補間パラメータのブレンド比率を決定して、最終的な画素値を算出する。この処理は、図３２、図３３に示すフローを参照して説明した処理である。各変換画素値の算出式を以下にまとめて示す。
ＧｏｎＷ＝（１−ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷ（ｄｉｒＨＶ））＋（ｗｅｉｇｈｔＦｌａｔ）・（ＧｏｎＷｎ（ｄｉｒＨＶ））
ＲｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＧ＿ａｄ
ＢｏｎＧ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＧ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＧ＿ａｄ
ＲｏｎＲ＝（ｗｅｉｇｈｔＨＶ）・（ＲｏｎＲ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＲｏｎＲ＿ａｄ
ＢｏｎＢ＝（ｗｅｉｇｈｔＨＶ）・（ＢｏｎＢ＿ｈｖ）＋（１−ｗｅｉｇｈｔＨＶ）ＢｏｎＢ＿ａｄ

このように、本発明の画像処理装置においては、補間パラメータ算出部各々が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。さらに、ブレンド処理部が、各補間パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、ホワイト(Ｗ：Ｗｈｉｔｅ)を含む例えばＲＧＢＷ型のカラーフィルタを持つ撮像素子（イメージセンサ）の取得データを入力して偽色の少ない高品質なカラー画像を生成するためのＲＧＢ配列データを生成することができる。具体的には、エッジ検出部がＲＧＢＷ配列の撮像素子の出力信号を解析して各画素対応のエッジ情報を取得し、テクスチャ検出部がテクスチャ情報を生成する。さらにパラメータ算出部が変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理を実行して、補間画素値に相当するパラメータを生成する。ブレンド処理部において、パラメータ算出部の生成したパラメータと、エッジ情報およびテクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定する。これらの処理により、偽色の少ない高品質なカラー画像を生成可能なＲＧＢ配列データを生成することができる。

１００ 撮像装置
１０５ 光学レンズ
１１０ 撮像素子（イメージセンサ）
１２０ 信号処理部
１３０ メモリ
１４０ 制御部
１８１ ＲＧＢＷ配列
１８２ ＲＧＢ配列
１８３ カラー画像
２００ データ変換処理部
２０１ ノイズ除去部
２０２ 第１画素補間パラメータ算出部（ＧｏｎＷ）
２０３ 第１仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＧ）
２０４ 第２画素補間パラメータ算出部（ＲＢｏｎＧｏｆＨＶ）
２０５ 第３画素補間パラメータ算出部（ＲＢｏｎＧｏｆＡＤ）
２０６ 第２仮画素設定部（ＲＢｏｎＷａｒｏｕｎｄＲＢ）
２０７ 第４画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＨＶ）
２０８ 第５画素補間パラメータ算出部（ＲＢｏｎＲＢｏｆＡＤ）
２０９ エッジ検出部
２１０ テクスチャ検出部
２１１ ブレンド処理部

Claims (14)

1. 輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された２次元画素配列信号を解析して画素変換を行うデータ変換処理部を有する画像処理装置。
2. 前記輝度信号の主成分となる色は、白色または緑色である請求項１記載の画像処理装置。
3. 前記データ変換処理部は、
   前記２次元画素配列信号を解析してエッジ情報を生成するエッジ検出部と、
   前記２次元画素配列信号を解析してテクスチャ情報を生成するテクスチャ検出部と、
   前記２次元画素配列信号を解析して画素変換処理に適用するパラメータを算出するパラメータ算出部と、
   前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
   を有する請求項１または２に記載の画像処理装置。
4. 前記データ変換処理部は、
   ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出部と、
   前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出部と、
   ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出部と、
   前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理部と、
   を有する請求項３に記載の画像処理装置。
5. 前記パラメータ算出部は、
   補間処理に適用する画素位置をエッジ方向に沿った画素位置とする補間処理によりパラメータを生成する構成である請求項４に記載の画像処理装置。
6. 前記パラメータ算出部は、
   ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりパラメータを生成する構成である請求項４または５に記載の画像処理装置。
7. 前記画像処理装置は、さらに、
   ＲＧＢＷ配列を構成するＷ画素とその他のＲＧＢ画素との局所領域での相関を利用した補間処理によりＷ画素位置に対してＲＧＢいずれかの画素の画素値を設定する仮画素設定部を有し、
   前記パラメータ算出部は、
   前記仮画素設定データを適用した補間処理によりパラメータを生成する構成である請求項４〜６いずれかに記載の画像処理装置。
8. 前記パラメータ算出部は、
   エッジ方向が縦、横、左斜め上、右斜め上の４種類のエッジ方向に応じて、適用画素位置をエッジ方向に沿った画素位置に設定した補間処理により算出した補間画素値相当の複数のパラメータを生成し、
   前記ブレンド処理部は、
   縦、横、左斜め上、右斜め上の４種類のエッジ方向の強度比較を実行して、比較結果に応じて前記複数のパラメータのブレンド比率を変更したブレンド処理を実行する請求項４〜７いずれかに記載の画像処理装置。
9. 前記ブレンド処理部は、
   変換画素対応の縦横方向エッジと斜め方向エッジのエッジ方向度合い（ｒａｔｉｏＦｌａｔ）を算出し、さらに、エッジ方向度合い（ｒａｔｉｏＦｌａｔ）に基づいて、値が大きいほど斜め方向エッジより縦横方向エッジが強く、値が小さいほど斜め方向エッジが縦横方向エッジより強いことを示す縦横方向エッジ方向重み（ｗｅｉｇｈｔＨＶ）を算出し、
   変換画素対応の縦横方向エッジが斜め方向エッジより強い場合は、エッジ方向を縦または横方向として設定して算出したパラメータのブレンド比率を高くし、
   変換画素対応の縦横方向エッジが斜め方向エッジより弱い場合は、エッジ方向を斜め方向として設定して算出したパラメータのブレンド比率を高くしたブレンド処理を実行する請求項４〜８いずれかに記載の画像処理装置。
10. 前記テクスチャ検出部は、
    前記テクスチャ情報として、テクスチャが少なく平坦度が高い画素領域については高い値を示し、テクスチャが多く平坦度が低い画素領域については低い値を示す各画素対応の平坦度重み（ｗｅｉｇｈｔＦｌａｔ）を算出し、
    前記パラメータ算出部は、
    前記補間画素値に対するコントラスト強調処理を実行したコントラスト強調処理適用パラメータと、前記補間画素値に対するコントラスト強調処理を実行しないコントラスト強調処理非適用パラメータを算出し、
    前記ブレンド処理部は、
    前記平坦度重みの大きい画素については、前記コントラスト強調処理非適用パラメータのブレンド比率を大きく設定し、
    前記平坦度重みの小さい画素については、前記コントラスト強調処理適用パラメータのブレンド比率を大きく設定したブレンド処理を実行する請求項４〜９いずれかに記載の画像処理装置。
11. 前記エッジ検出部は、
    前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のエッジ情報を生成する構成であり、
    処理対象画素近傍のＷ画素の信号値勾配を算出して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成する請求項４〜１０いずれかに記載の画像処理装置。
12. 前記テクスチャ検出部は、
    前記ＲＧＢＷ配列信号のホワイト（Ｗ）画素のみを利用した解析処理により、各画素対応のテクスチャ度合いを示すテクスチャ情報を生成する請求項４〜１１いずれかに記載の画像処理装置。
13. 画像処理装置において画像信号処理を実行する画像処理方法であり、
    エッジ検出部が、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成するエッジ検出ステップと、
    テクスチャ検出部が、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成するテクスチャ検出ステップと、
    パラメータ算出部が、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出するパラメータ算出部であり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成するパラメータ算出ステップと、
    ブレンド処理部が、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定するブレンド処理ステップと、
    を有する画像処理方法。
14. 画像処理装置において画像信号処理を実行させるプログラムであり、
    エッジ検出部に、ＲＧＢ画素とホワイト（Ｗ）画素からなるＲＧＢＷ配列信号を解析して各画素対応のエッジ方向および強度情報を含むエッジ情報を生成させるエッジ検出ステップと、
    テクスチャ検出部に、前記ＲＧＢＷ配列信号を解析して各画素対応のテクスチャ度合いを示すテクスチャ情報を生成させるテクスチャ検出ステップと、
    パラメータ算出部に、ＲＧＢＷ配列をＲＧＢ配列に変換するためのパラメータを算出させるパラメータ算出ステップであり、変換画素対応のエッジ方向に応じて適用画素位置を変更した補間処理により算出した補間画素値に相当するパラメータを生成させるパラメータ算出ステップと、
    ブレンド処理部に、前記パラメータ算出部の算出したパラメータと、前記エッジ情報および前記テクスチャ情報を入力し、変換画素対応のエッジ情報とテクスチャ情報に応じて、前記パラメータ算出部の算出したパラメータのブレンド比率を変更してブレンド処理を実行して変換画素値を決定させるブレンド処理ステップと、
    を実行させるプログラム。