JP2014110507A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】 Ｙ、Ｕ、Ｖの画像データをベイヤー配列の画像データに変換すると、再度、ベイヤー配列の画像データからＹ、Ｕ、Ｖの画像データに変換する際に、輝度信号の帯域が低下してしまう。
【解決手段】 輝度信号および色差信号からなる第１の画像データに対して、垂直および水平方向の画素数を拡大するとともに、各画素において輝度信号および色差信号を持たせ、この輝度信号および色差信号からなる画像データをＲ、Ｇ１、Ｇ２、およびＢの信号からなるベイヤー配列の画像データに変換する。そして、ベイヤー配列の画像データのうち、Ｇ１およびＧ２の信号のうちの一方、Ｒの信号、およびＢの信号を用いて輝度信号を生成する。
【選択図】 図１

Description

本発明は、画像処理装置およびその画像処理方法に関する。

デジタルカメラの生成するファイル形式には、ＲＡＷあるいはＪＰＥＧと呼ばれるものが一般によく知られている。

デジタルカメラのセンサは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の２次元配列で構成されたベイヤー配列の構成のものが多い。ＲＡＷ形式の画像データは、イメージセンサのカラーフィルタの２次元配列に応じて、それぞれの画素がいずれかのカラーフィルタに対応する色の信号を有している。このＲＡＷ形式のファイルは、それぞれのカラーフィルタに対応する色間の信号強度のバランスを調整するためのホワイトバランス処理や、それぞれの色間の結像位置のずれによる収差を調整するための倍率色収差補正を行う場合に適している。例えば、特許文献１には、ＲＡＷ形式の画像データをそれぞれ色の信号からなる画像データに分離してから、倍率色収差補正を行うことが開示されている。

このＲＡＷ形式の画像データはデータ容量が大きく、かつ、汎用的な画像表示ビューワで画像データを開くことができない。そのため、画像データの各画素にＲ、Ｇ、Ｂの全ての色の信号を持たせる補間処理を行い、補間後の画像データから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）を生成してから、Ｙ、Ｕ、ＶからなるＪＰＥＧ形式のファイルを生成することが一般的である。

そして、このＲＡＷ形式の画像データからＪＰＥＧ形式の画像データを生成する過程で、輝度信号Ｙから高周波成分を抽出してエッジ強調処理を施したり、色差信号ＵおよびＶを生成する際の補間方向を判定することで偽色抑圧処理を施したりしている。

近年は、Ｙ、Ｕ、Ｖの画像データに対して、ホワイトバランス処理や倍率色収差補正のパラメータを変更したいという要望がある。

そこで、このような場合には、Ｙ、Ｕ、Ｖの画像データをＲ、Ｇ、Ｂの画像データに変換し、所望のパラメータでホワイトバランス処理や倍率色収差補正を再度実行することが考えられる。

しかしながら、デジタルカメラは、処理の高速化のために上述した画像処理回路が専用のハードウェアを用いて構成されていることが多い。すなわち、ベイヤー配列のイメージセンサを有するカメラであれば、ベイヤー配列のイメージセンサで得られたＲＡＷ形式の画像データが入力されることを前提としたモジュールが備わっている。

例えばＪＰＥＧ形式の画像データがＹＵＶフォーマットのＹＵＶ４２２で構成されていると、その画像データは、輝度信号Ｙが各画素に対して１つ割り当てられ、かつ、色差信号ＵおよびＶのそれぞれが隣接する２画素に対して１つ割り当てられる。そのため、１画素について、Ｒ、Ｇ、Ｂのいずれかの信号が割り当てられるベイヤー配列とは構成が異なっており、ベイヤー配列用に構成されたモジュールでは、このＹＵＶ４２２のＪＰＥＧ形式の画像データを処理することができない。これはデジタルカメラに限らず、ベイヤー配列用に構成されたモジュールを備えた装置であれば、同様の課題が生じる。また、ハードウェアに限らず、ベイヤー配列用に組み込まれたソフトウェアしか有していない画像処理装置であれば、同様の理由により、このＹ、Ｕ、ＶのＪＰＥＧ形式の画像データを処理することができないという課題が生じる。

ここで、ＹＵＶ４２２の画像データから各画素におけるＲ、Ｇ、Ｂの信号を生成し、この画像データを色毎に間引くことで、ＹＵＶ４２２の画像データをベイヤー配列のＲＡＷ形式の画像データに変換することが考えられる。このＹＵＶ４２２の画像データからベイヤー配列のＲＡＷ形式の画像データを生成する方法について、図８及び図９を用いて説明する。

図８（ａ）に、ＹＵＶ４２２の画像データの構成の一例を示す。輝度信号Ｙは各画素に対して１つ割り当てられているが、色差信号ＵおよびＶはそれぞれ隣接する２画素に対して１つしか割り当てられていない。そこで、図８（ａ）に示す画像データに対して、色差信号ＵおよびＶをそれぞれ水平方向に補間することで、図８（ｂ）に示すように各画素にＹ、Ｕ、Ｖのそれぞれの信号が割り当てられた画像データを生成する。

図８（ｂ）に示す補間後のＹ、Ｕ、Ｖの画像データから、以下の式１に従って、各画素におけるＲ、Ｇ、Ｂそれぞれの信号を算出する。

Ｒ＝１．０００Ｙ＋１．４０２Ｖ
Ｇ＝１．０００Ｙ−０．３４４Ｕ−０．７１４Ｖ （式１）
Ｂ＝１．０００Ｙ＋１．７７２Ｕ

図９（ａ）に、各画素におけるＲ、Ｇ、Ｂの信号が算出された画像データを示す。この図９（ａ）に示す画像データから、ベイヤー配列に一致するように、それぞれの画素の位置におけるカラーフィルタに対応する色の信号を選択する。こうすることで、図９（ｂ）に示すベイヤー配列の画像データを生成することができる。そして、この図９（ｂ）に示すベイヤー配列の画像データを、再びベイヤー配列用に構成されたモジュールに投入することで、ホワイトバランス処理や倍率色収差補正を、パラメータを変えて実行することが可能となる。

特開２００８−０１５９４６号公報

新たなパラメータでホワイトバランス処理やエッジ強調処理を適用された画像データは、再びＹ、Ｕ、ＶからなるＪＰＥＧ形式の画像データに変換される。Ｒ、Ｇ、Ｂのベイヤー配列の画像データから、Ｙ、Ｕ、Ｖの画像データを生成する際には、同一の画素に対するＲ、Ｇ、Ｂの信号を用いて演算を行う必要がある。そのため、図９（ｂ）に示すベイヤー配列の画像データからＹ、Ｕ、Ｖの画像データを生成するために、図１０（ａ）に示すように、各画素にＲ、Ｇ、Ｂの全ての色の信号を持たせる補間処理を行う。

図１０に示す画像データのうち、Ｒ’、Ｇ’、およびＢ’で示された信号が補間処理により求められた信号である。補間処理によって求められた信号は、同色の近傍の信号の重み付け加算によって得られた値であり、近傍の信号から推測された値であるため、微小な信号レベル変化の再現性が乏しい。そのため、同じように各画素にＲ、Ｇ、Ｂの全ての色の信号を有する画像データであっても、Ｒ、Ｇ、Ｂの補間処理が行われる前の図９（ａ）に示す画像データに比べて、Ｒ、Ｇ、Ｂの補間処理が行われた後の図１０に示す画像データの帯域が低くなってしまう。つまり、Ｙ、Ｕ、Ｖの画像データを単にＲ、Ｇ、Ｂのベイヤー配列の画像データに変換し、再びＹ、Ｕ、Ｖの画像データに戻してしまうと、画像データの帯域が低下してしまうという課題が生じてしまう。

上記課題を解決するため、本発明に係る画像処理装置の一つは、輝度信号および色差信号からなる第１の画像データに対して、垂直および水平方向の画素数を増大するとともに、各画素において輝度信号および色差信号を持たせる拡大手段と、前記拡大手段で得られた輝度および色差信号を、Ｒ、Ｇ１、Ｇ２、およびＢの信号からなるベイヤー配列の画像データに変換する変換手段と、前記変換手段で変換されたベイヤー配列の画像データから輝度信号および色差信号からなる第２の画像データを生成する現像手段を有し、前記現像手段は、前記ベイヤー配列の画像データのうち、前記Ｇ１の信号および前記Ｇ２の信号のうちの一方の信号、前記Ｒの信号および前記Ｂの信号を用いて、前記輝度信号を生成することを特徴とする。

本発明によれば、Ｙ、Ｕ、Ｖの画像データをＲ、Ｇ、Ｂのベイヤー配列の画像データに変換してから、ベイヤー配列の画像データを処理するための回路を用いて画像処理を行い、再びＹ、Ｕ、Ｖの画像データに変換することができる。そして、この処理を、画像データの帯域を大きく下げることなく実現することができる。

実施形態に係る画像処理装置の概略構成を表すブロック図である。 変換部の概略構成を表すブロック図である。 輝度信号Ｙの拡大処理を説明するための図である。 ＲＧＢ変換部で生成された画像データからベイヤー配列の画像データを生成する処理を説明するための図である。 倍率色収差の補正処理を説明するための図である。 現像処理部の概略構成を示すブロック図である。 縮小処理部縮小処理を説明するための図である。 ＵＶ信号の補間処理を説明するための図である。 ベイヤー配列の画像データを生成する処理を説明するための図である。 ベイヤー配列の画像データに対する補間処理を説明するための図である。

以下、本発明を実施するための最良の形態について、添付図面を参照して説明する。

本発明の実施形態について説明する。

図１は、本発明の実施形態に係る画像処理装置の概略構成を表すブロック図である。図１に示す画像処理装置１００は、入力部１０１、変換部２００、光学補正処理部１０２、現像処理部３００、出力部１０３により構成される。

次に、上記構成の画像処理装置による画像処理内容について説明する。

まず、入力部１０１に、輝度信号Ｙ、色差信号Ｕ、および色差信号ＶからなるＹ、Ｕ、Ｖの画像データが入力される。この画像データはＹＵＶ４２２で構成されており、色差信号ＵおよびＶのそれぞれの信号は、水平方向および垂直方向のいずれかにおいて、輝度信号Ｙに対して画素数および解像度が半分であるものとする。入力部１０１に入力されたＹ、Ｕ、Ｖの画像データは、変換部２００に出力される。

変換部２００は、入力部１０１から入力されたＹ、Ｕ、Ｖの画像データを、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の信号からなるベイヤー配列の画像データに変換する。なお、Ｇの信号のうち、Ｒの信号に対応する画素の水平方向に位置する画素の信号をＧ１とし、Ｂの信号に対応する画素の水平方向に位置する画素の信号をＧ２とする。なお、詳細は後述するが、このベイヤー配列の画像データの垂直方向と水平方向の両方における画素数は、入力されたＹ、Ｕ、Ｖの画像データの輝度信号Ｙに対して２倍となる。

次に、光学補正処理部１０２は、変換部２００で変換されたＲ、Ｇ、Ｂ信号からなるベイヤー配列の画像データに対して、撮像装置の結像光学系に起因する倍率色収差や歪曲収差を補正するための光学補正処理や、ホワイトバランス処理を行う。倍率色収差の補正は、例えば特許文献１で開示されているように、ＲとＢのそれぞれの画素の信号を、Ｇ（Ｇ１、Ｇ２）信号を基準としたときに本来あるべき位置の画素の信号と置換する処理である。

光学補正処理部１０２で倍率色収差や歪曲収差等の光学補正処理が行われたベイヤー配列の画像データは、現像処理部３００に入力される。

現像処理部３００は、光学補正処理部１０２から入力されたベイヤー配列の画像データに対して、エッジ強調処理、ガンマ補正処理等の処理を行うとともに、ベイヤー配列の画像データをＹ、Ｕ、Ｖの画像データに変換する。詳細は後述するが、現像処理部３００から出力されるＹ、Ｕ、Ｖの画像データの輝度信号Ｙは、現像処理部３００に入力されるベイヤー配列の画像データに比較して、水平方向および垂直方向の画素数が半分になる。現像処理部３００で処理がなされたＹ、Ｕ、Ｖの画像データは、出力部１０３に出力される。

次に、出力部１０３では、現像処理部３００から入力されたＹ、Ｕ、Ｖの画像データに対して圧縮処理を施し、ＪＰＥＧ形式の画像データを生成する。

次に、本実施形態の特徴の一つである変換部２００について、詳細に説明を行う。図２に変換部２００の概略構成を表すブロック図を示す。

入力部１０１から、変換部２００に入力されたＹ、Ｕ、Ｖの画像データは、まずＵＶ補間処理部２０１に入力される。そして、変換部２００において、色差信号ＵおよびＶのそれぞれの水平方向および垂直方向の画素数が、Ｙ信号の水平方向および垂直方向の画素数と同じになるように画素補間処理が施される。つまり、図８（ａ）に示すＹ、Ｕ、Ｖの画像データを、図８（ｂ）に示すＹ、Ｕ、Ｖの画像データへと変換する。

例えば、図８（ｂ）に示す色差信号Ｕ’（０，１）のように、図８（ａ）に示す画像データに対応する信号が存在しない場合には、水平方向に隣接する位置に存在する画素の色差信号Ｕから補間処理によって、その信号が算出される。具体的には、図８（ａ）に示す左右に隣接する画素の色差信号Ｕ（０，０）およびＵ（０，２）から、式２によって色差信号Ｕ’（０，１）を算出する。
Ｕ’（０，１）＝（Ｕ（０，０）＋Ｕ（０，２））／２ （式２）

色差信号Ｖについても同様に水平方向に補間処理が施され、全ての画素がＹ、Ｕ、Ｖそれぞれの信号を有する画像データが生成され、拡大処理部２０２に入力される。

なお、Ｙ、Ｕ、Ｖ４２０のように、水平方向および垂直方向の両方において、色差信号ＵおよびＶのそれぞれの画素数が輝度信号Ｙに対して半分である場合には、色差信号ＵおよびＶのそれぞれの信号に対して水平方向および垂直方向の両方向に補間処理が行われる。また、式２はＵＶ補間処理部１０１で行われる補間処理の一例であり、実際には輝度信号Ｙに対する色差信号ＵおよびＶのそれぞれの重心位置を鑑みて行うことが望ましい。

次に、拡大処理部２０２では、ＵＶ補間処理部２０１から出力されるＹ、Ｕ、Ｖの画像データに対して、水平方向および垂直方向の画素数が２倍となるように拡大処理を行う。例えば、図３（ａ）に示す輝度信号Ｙが拡大処理部２０２に入力された場合、まず、水平方向に対して拡大処理が施され、図３（ｂ）に示す輝度信号Ｙが生成される。

このとき、図３（ｂ）に示す、例えばＹ’（０，０１）等の図３（ａ）に存在しない画素の輝度信号については、水平方向の隣接する位置に存在する画素信号から補間処理によって算出される。具体的には、図３（ａ）に示すＹ（０，０）、Ｙ（０，１）から、以下の式３によってＹ’（０，０１）を算出する。
Ｙ’（０，０１）＝（Ｙ（０，０）＋Ｙ（０，１））／２ （式３）

水平方向に拡大処理の施された図３（ｂ）に示す輝度信号Ｙは、次に、垂直方向に拡大処理が施され、図３（ｃ）に示す輝度信号Ｙが生成される。

このとき、図３（ｃ）に示す、例えばＹ”（０１，１）等の図３（ｂ）に存在しない画素の輝度信号については、垂直方向の隣接する位置に存在する画素信号から補間処理によって算出される。具体的には、Ｙ（０，１）、Ｙ（１，１）から以下の式４によってＹ”（０１，１）を算出する。
Ｙ”（０１，１）＝（Ｙ（０，１）＋Ｙ（１，１））／２ （式４）

そして、拡大処理部２０２は、色差信号ＵおよびＶのそれぞれに対しても、輝度信号Ｙと同様に水平方向および垂直方向の拡大処理を施し、拡大後のＹ、Ｕ、Ｖの画像データをＲＧＢ変換部２０３に出力する。

ＲＧＢ変換部２０３は、拡大処理部２０２から入力されたＹ、Ｕ、Ｖの画像データに対して、画素毎に、例えば上述した式１に示す変換式を用いて、画素毎のＲ、Ｇ、Ｂのそれぞれの信号を算出する。

図４（ａ）にＲＧＢ変換部２０３で算出されたＲ、Ｇ、Ｂそれぞれの信号を示す。図４（ａ）のうち、Ｒ’、Ｇ’、およびＢ’で示された信号は、拡大処理部２０２が水平方向に拡大処理を施した際に補間処理によって算出された輝度信号Ｙ’、色差信号Ｕ’、およびＶ’から算出された信号である。また、図４（ａ）のうち、Ｒ”、Ｇ”、およびＢ”で示された信号は、拡大処理部２０２が垂直方向に拡大処理を施した際に補間処理によって算出された輝度信号Ｙ”、色差信号Ｕ”、およびＶ”から算出された信号である。

そして、ＲＧＢ変換部１０３で変換されたＲ、Ｇ、Ｂの画像データは、ベイヤー配列変換部２０４に入力される。

ベイヤー配列変換部２０４では、ＲＧＢ変換部１０３から入力された図４（ａ）に示すＲ、Ｇ、Ｂの信号から、ベイヤー配列と一致するように画素毎にＲ、Ｇ、Ｂの信号のうちのいずれかの信号を選択する。こうすることで、図４（ｂ）に示すようにベイヤー配列の画像データを生成する。このベイヤー配列の画像データは、拡大処理部２０２において水平および垂直方向に２倍に拡大されたＹ、Ｕ、Ｖの画像データから生成されたベイヤー配列の画像データである。そのため、このベイヤー配列の画像データの垂直方向と水平方向の両方における画素数は、入力部１０１に入力されたＹ、Ｕ、Ｖの画像データの輝度信号Ｙに対して２倍となり増大することが理解できよう。なお、Ｇの信号が選択された画素に対応するＲおよびＢの信号は、その後は利用されない。同様に、Ｒの信号が選択された画素に対応するＲおよびＢの信号もその後は利用されず、Ｂの信号が選択された画素に対応するＲおよびＧの信号もその後は利用されない。

ここで、ベイヤー配列変換部２０４から出力されたＲ、Ｇ、Ｂの画像データのうち、Ｇ１の信号に対応する画素とＧ２の信号に対応する画素の一方が拡大処理部２０２の補間処理によって信号が算出された画素と一致し、他方は一致しないようにする。すなわち、Ｇ１の信号に対応する画素とＧ２の信号に対応する画素のいずれかが、拡大処理を施す前の図３（ａ）に示す画像データの画素と一致し、他方は一致しないように構成される。

拡大処理部２０２の補間処理によって算出された輝度信号は帯域が劣化してしまう。そのため、帯域が劣化した輝度信号を用いて生成されたＲ、Ｇ、Ｂの信号も帯域が劣化している。そこで、本実施形態では、Ｇ１およびＧ２の信号の一方を帯域が劣化していない輝度信号から生成されるようにすることで、Ｒ、Ｇ、Ｂの信号から再びＹ、Ｕ、Ｖの信号を生成する際に、帯域が劣化していないＧの信号を用いて輝度信号Ｙを生成できるようにしている。本実施形態では、Ｇ１の信号が、拡大処理部１０２にて補間処理がなされていない輝度信号を用いて生成された信号となる。

次に、光学補正処理部１０２は、変換部２００で変換されたＲ、Ｇ、Ｂの信号からなるベイヤー配列の画像データに対して、撮像装置の結像光学系に起因する倍率色収差や歪曲収差を補正するための光学補正処理を行う。

ここで、光学補正処理の一例として、倍率色収差について説明する。倍率色収差とは、光の波長によって屈折率に差があるために、Ｇの信号で形成された被写体像に対して、Ｂの信号で形成された被写体像、およびＲの信号で形成された被写体像の倍率が異なる現象のことを指す。すなわち、倍率色収差の補正とは、Ｒ、Ｇ、Ｂのそれぞれの信号で形成された被写体像の倍率を一致させることであり、本実施の形態では、Ｇの信号の被写体像の倍率に対して、ＲおよびＢの信号の被写体像の倍率を一致させる。

この色間の被写体像の倍率の相違は、画素の像高に対応するため、光学補正処理部１０２は、不図示の倍率色収差補正量のテーブルから、着目画素の像高に対応した補正量を取得する。この補正量は、Ｒの信号の補正量とＢの信号の補正量が別々に用意されており、Ｒの信号とＢの信号のそれぞれに対して補正が行われる。ここでは、Ｒの信号の補正を例にあげて説明を行う。

この補正量は、正しい画素位置からずれている画素数を小数単位で示したものである。この補正量が正の値であれば、Ｒの信号が光学中心に対してＧの信号よりも外側にずれていることを示し、負の値であれば、光学中心に対してＧの信号よりも内側にずれていることを示している。倍率色収差補正量のテーブルには、予め決められた区間ごとの像高に対する補正量が記憶されており、記憶されている像高と像高の間のデータについては、直線近似や二次曲線の近似などで求める。

光学補正処理部１０２は、入力されたベイヤー配列の画像データに対して、得られた補正量を元に倍率色収差の補正処理を行う。この補正量は、着目画素の位置における歪み量を水平および垂直方向の位相ズレ成分として分離した位相ズレ量である。この位相ズレを補正する概念図が図５（ａ）〜（ｃ）である。

図５（ａ）の黒画素は、着目画素Ｒｉが本来あるべき位相を示しており、グレー画素は、着目画素Ｒｉが倍率色収差の影響を受けて本来の位置からずれてしまった位置を示す仮想画素Ｒｖである。

倍率色収差を補正するには、水平方向にＨｐだけずれ、垂直方向にＶｐだけずれてしまった仮想画素Ｒｖの信号を求め、この信号を着目画素Ｒｉの信号とすればよい。

仮想画素Ｒｖは、図５（ｂ）のように、近傍に存在する実際に撮像した画素Ｒ１，Ｒ２，Ｒ３，Ｒ４を用いて、画素Ｒ１，Ｒ２，Ｒ３，Ｒ４と仮想画素Ｒｖとの画素間距離ｃ１，ｃ２，ｃ３，ｃ４で重み付け補間演算することで生成することができる。そして、図５（ｃ）のように着目画素Ｒｉの信号は、生成された仮想画素Ｒｖの信号に置き換えられ、倍率色収差が補正される。

次に、現像処理部３００について詳細に述べる。図６に現像処理部３００の概略構成を表すブロック図を示す。

まず、光学補正処理部１０２からベイヤー配列の画像データが入力される。縮小処理部６０１では、図７（ａ）に示すベイヤー配列の画像データから、このベイヤー配列の画像データに対して水平および垂直方向において画素数が半分となる、図７（ｂ）に示すＲ、Ｇ１、Ｇ２、およびＢのそれぞれの信号からなる画像データを生成する。

図７（ｂ）に示すＧ１の信号は、図７（ａ）に示されるＧ１以外の信号をすべて間引いて生成されたものである。Ｇ１の信号は、ベイヤー配列の画像データでは垂直および水平方向において１画素おきに配置されているため、再配置後の画像データの水平および垂直方向における画素数は、もとのベイヤー配列の画像データの画素数の半分となる
また、図７（ｂ）に示すＲの信号は、図７（ｂ）に示すＧ１の信号と重心を合わせるため、図７（ａ）でＧ１の信号の左右に隣接するＲの信号から補間処理によって算出される。例えば、図７（ｂ）に示す、Ｒ’（２，２）の信号は、図７（ａ）に示すＲ（２，１）およびＲ（２，３）の信号から以下の式５によって算出される。
Ｒ’（２，２）＝（Ｒ（２，１）＋Ｒ（２，３））／２ （式５）

なお、Ｇ１（０，０）のように端部に位置しており、Ｒの信号に挟まれていないＧ１の信号と重心を合わせるためには、このＧ１（０，０）に隣接するＲ（０，１）の信号をコピーして、以下の式６を用いれば良い。
Ｒ’（０，０）＝（Ｒ（０，１）＋Ｒ（０，１））／２＝Ｒ（０，１） （式６）

同様に、図７（ｂ）に示すＢの信号は、図７（ｂ）に示すＧ１の信号と重心を合わせるため、図７（ａ）でＧ１の信号の上下に隣接するＢの信号から補間処理によって算出される。例えば、図７（ｂ）に示す、Ｂ’（２，２）の信号は、図７（ａ）に示すＢ（１，２）、Ｂ（３，２）の信号から以下の式７によって算出される。
Ｂ’（２，２）＝（Ｂ（１，２）＋Ｂ（３，２））／２ （式７）

なお、Ｇ１（０，０）のように端部に位置しており、Ｂの信号に挟まれていないＧ１の信号と重心を合わせるためには、このＧ１（０，０）に隣接するＢ（１，０）の信号をコピーして、以下の式８を用いれば良い。
Ｂ’（０，０）＝（Ｂ（１，０）＋Ｂ（１，０））／２＝Ｂ（１，０） （式８）

さらに、図７（ｂ）にＧ２の信号は、図７（ｂ）に示すＧ１の信号と重心を合わせるため、図７（ａ）でＧ１の信号の斜めに隣接するＧ２の信号から補間処理によって算出される。例えば、図７（ｂ）に示す、Ｇ２’（２，２）の信号は、図７（ａ）に示すＧ（１，１）、Ｇ２（１，３）、Ｇ２（３，１）、およびＧ２（３，３）の信号から以下の式９によって算出される。
Ｇ２’（２，２）＝（Ｇ２（１，１）＋Ｇ２（１，３）＋Ｇ２（３，１）＋Ｇ２（３，３））／４ （式９）

なお、Ｇ１（０，０）のように端部に位置しており、Ｇ２の信号に挟まれていないＧ１の信号と重心を合わせるためには、このＧ１（０，０）に隣接するＧ２（１，１）の信号をコピーして、以下の式１０を用いれば良い。
Ｇ２’（０，０）＝（Ｇ２（１，１）＋Ｇ２（１，１）＋Ｇ２（１，１）＋Ｇ２（１，１））／４＝Ｇ２（１，１） （式１０）

そして、縮小処理部６０１で生成されたＲ、Ｇ１、Ｇ２、およびＢの信号は輝度信号生成処理部６０２および色信号生成処理部６０４にそれぞれ入力される。

輝度信号生成処理部６０２は、縮小処理部６０１から入力されるＲ、Ｇ１、およびＢの信号から、以下の式１１を用いて各画素毎に輝度信号Ｙを生成する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ１＋０．１１４Ｂ （式１１）

輝度信号Ｙの算出時に、補間処理によって帯域の劣化したＧ２の信号を使用せずに、Ｇ１の信号を用いている。ＲとＢの信号は補間処理が行われたものであるため、ＲとＢの信号の帯域は低くなっているが、輝度信号を生成する際に最も大きな重み付けがなされるＧ１の信号の帯域の低下を抑制しているため、輝度信号Ｙの画質の劣化を低減することができる。輝度信号生成処理部６０２で生成された輝度信号Ｙは、エッジ強調処理部６０３に入力され、エッジ強調処理が施された輝度信号Ｙが生成される。

色差信号生成処理部６０４は、縮小処理部６０１から入力されるＲ、Ｇ１、Ｇ２、およびＢの信号から色信号Ｒ−Ｇおよび色信号Ｂ−Ｇ信号を生成する。このとき、Ｒ、Ｇ１、Ｇ２、およびＢの信号それぞれで、前記変換部２００、縮小処理部６０１等で施された補間処理が異なる。そのため、それぞれの信号で帯域差があるために発生する偽色信号や、いずれかの信号が飽和していることに起因する偽色信号等の補正処理が行われる。

具体的には、色差信号生成処理部６０４は、着目画素の上側に隣接する２つの画素の信号の和と下側に隣接する２つの画素の信号の和との差分である第１の差分を求める。また、着目画素の左側に隣接する２つの画素の信号の和と右側に隣接する２つの画素の信号の和との差分である第２の差分を求める。そして、色差信号生成処理部６０４は、第１の差分が第２の差分よりも小さければ、垂直方向の相関のほうが水平方向の相関よりも高いと判断し、Ｇ２の信号をＧとして色信号Ｒ−Ｇを求め、Ｇ１の信号をＧとして色信号Ｂ−Ｇを求める。第１の差分が第２の差分よりも大きければ、水平方向の相関のほうが垂直方向の相関よりも高いと判断し、Ｇ１の信号をＧとして色信号Ｒ−Ｇを求め、Ｇ２の信号をＧとして色信号Ｂ−Ｇを求める。なお、第１の差分と第２の差分が等しければ、Ｇ１とＧ２の信号の平均値をＧとして、色信号Ｒ−Ｇおよび色信号Ｂ−Ｇを求める。

さらに、色差信号生成処理部６０４は、偽色補正処理等が行った後に、画像データが最適な色で再現されるように色マトリクス処理によって色信号Ｒ−Ｇおよび色信号Ｂ−Ｇ信号に対して色ゲイン処理を行い、色差信号Ｕおよび色差信号Ｖを生成する。

そして、現像処理部３００はエッジ強調処理部６０３で生成された輝度信号Ｙと色差信号生成処理部６０４で生成された色差信号ＵおよびＶを統合してＹ、Ｕ、Ｖの画像データとして出力する。

以上のように本実施形態によれば、Ｙ、Ｕ、Ｖの画像データに対しても、一度ベイヤー配列の画像データに変換することで、画質の劣化を低減した上で、従来のベイヤー前提のモジュールを使用することが可能となり、コストの増加を抑制することが可能である。

その際、Ｙ、Ｕ、Ｖの画像データを水平および垂直方向に２倍に拡大してから、Ｒ、Ｇ、Ｂの画像データへの変換を行い、ベイヤー配列の画像データを生成する。こうすることで、ベイヤー配列に含まれるＧ１とＧ２の信号のうち、いずれかが拡大処理部１０２にて補間処理がなされていない輝度信号を用いて生成された信号となる。そのため、この補間処理がなされていない輝度信号を用いて生成されたＧの信号を用いてＹ、Ｕ、Ｖの画像データを生成すれば、輝度信号の帯域の劣化を抑制することが可能となる。

なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読みだして実行する処理である。

１００ 画像処理装置
１０１ 入力部
１０２ 光学補正処理部
１０３ 出力部
２００ 変換部
２０１ ＵＶ補間処理部
２０２ 拡大処理部
２０３ ＲＧＢ変換部
２０４ ベイヤー配列変換部
３００ 現像処理部
６０１ 縮小処理部
６０２ 輝度信号生成処理部
６０３ エッジ強調処理部
６０４ 色差信号生成処理部

Claims (10)

1. 輝度信号および色差信号からなる第１の画像データに対して、垂直および水平方向の画素数を増大するとともに、各画素において輝度信号および色差信号を持たせる拡大手段と、
   前記拡大手段で得られた輝度および色差信号を、Ｒ、Ｇ１、Ｇ２、およびＢの信号からなるベイヤー配列の画像データに変換する変換手段と、
   前記変換手段で変換されたベイヤー配列の画像データから輝度信号および色差信号からなる第２の画像データを生成する現像手段を有し、
   前記現像手段は、前記ベイヤー配列の画像データのうち、前記Ｇ１の信号および前記Ｇ２の信号の一方の信号、前記Ｒの信号、および前記Ｂの信号を用いて、前記輝度信号を生成することを特徴とする画像処理装置。
2. 前記拡大手段は、補間処理を行うことで前記第１の画像データを拡大するものであり、
   前記変換手段は、前記Ｇ１の信号を、前記第１の画像データに含まれている輝度信号から変換し、前記Ｇ２の信号を、前記拡大手段による前記補間処理によって生成された輝度信号から変換し、
   前記現像手段は、前記Ｇ１の信号、前記Ｒの信号、および前記Ｂの信号を用いて、前記輝度信号を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記現像手段は、前記Ｒの信号と前記Ｇ１の信号の重心が一致するように前記Ｒの信号に対して補間処理を行い、前記Ｂの信号と前記Ｇ１の信号の重心が一致するように前記Ｂの信号に対して補間処理を行い、前記Ｇ１の信号、前記補間処理で得られたＲの信号、および前記補間処理で得られたＢの信号を用いて、前記輝度信号を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記拡大手段は、前記補間処理を行うことで、前記第１の画像データの水平および垂直方向における画素数を、前記第１の画像データに含まれる輝度信号の水平および垂直方向における画素数の２倍とすることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記現像手段は、前記Ｇ１の信号、前記Ｇ２の信号、前記Ｒの信号、および前記Ｂの信号を用いて、前記色差信号を生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記現像手段は、前記Ｒの信号と前記Ｇ１の信号の差分を求めるとともに、前記Ｂの信号と前記Ｇ２の信号の差分を求めるのか、あるいは、前記Ｒの信号と前記Ｇ２の信号の差分を求めるとともに、前記Ｂの信号と前記Ｇ１の信号の差分を求めるのかを選択を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記現像手段は、画素ごとに、前記選択を行うことを特徴とする請求項６に記載の画像処理装置。
8. 前記変換手段で生成されたベイヤー配列の画像データに対して、ホワイトバランス処理、倍率色収差の補正、および歪曲収差の補正の少なくともいずれかを行う補正手段を有し、
   前記現像手段は、前記補正手段から出力された前記ベイヤー配列の画像データを用いて、前記輝度信号を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 輝度信号および色差信号からなる第１の画像データに対して、垂直および水平方向の画素数を増大するとともに、各画素において輝度信号および色差信号を持たせる拡大工程と、
   前記拡大工程で得られた輝度および色差信号を、Ｒ、Ｇ１、Ｇ２、およびＢの信号からなるベイヤー配列の画像データに変換する変換工程と、
   前記変換工程で変換されたベイヤー配列の画像データから輝度信号および色差信号からなる第２の画像データを生成する現像工程を備え、
   前記現像工程では、前記ベイヤー配列の画像データのうち、前記Ｇ１の信号および前記Ｇ２の信号の一方の信号、前記Ｒの信号、および前記Ｂの信号を用いて、前記輝度信号を生成することを特徴とする画像処理方法。
10. コンピュータを、請求項１から請求項８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images