JP2009033699A - 画像処理装置、画像処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】より少ない処理負荷で、倍率色収差による色ズレや画素補間に伴う画質劣化の少ないカラー画像を色モザイク画像から生成できるようにする。
【解決手段】カラー画像の画素位置から色モザイク画像上の対応するサンプリング座標を算出する座標変換部１４２と、色モザイク画像を分解した複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部１４３と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部１４４とを備え、色プレーンによって値の異なる係数を用いて、色収差補正が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標であって色プレーン毎に異なるサンプリング座標を算出することにより、色モザイク画像からカラー画像を生成する色補間処理と倍率色収差の補正処理とを一度の補間演算によって実現することができるようにする。
【選択図】 図３

Description

本発明は画像処理装置、画像処理方法、プログラムおよび撮像装置に関し、特に、単板式のカラー撮像素子を用いて得られた色モザイク画像から、全画素に複数色の輝度情報を補間してカラー画像を生成するデモザイク処理を実行する画像処理装置、画像処理方法、プログラムおよび撮像装置に関する。

近年、消費者へのデジタルカメラの普及が着実に進んでいる。その理由の１つに、デジタルカメラのコストが下がり続け、価格が多くの消費者の手に十分届く範囲になってきていることが挙げられる。コストを抑えるために、多くのデジタルカメラでは、いわゆる単板式の撮像素子を採用している。単板式のデジタルカメラでは、カラー画像内の各画素の色情報を取り込むために、１つの撮像素子のみを使用している。

単板式の撮像素子では、各画素が単色の色情報しか持たない。ところが、カラー画像は、３つの別々の単色画像を組み合わせることにより表される。すなわち、カラー画像を表示するためには、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の値すべてが各画素で必要である。このため単板式のデジタルカメラは、各画素がＲ，Ｇ，Ｂ成分のうちの何れかのみを有する色モザイク画像をもとにして、いわゆるデモザイク処理（色補間処理とも言う）を行っている（例えば、特許文献１，２参照）。デモザイク処理は、色モザイク画像の各画素の単色情報に対してその周辺画素から集めた他の足りない色の輝度情報を用いて補間演算を行うことにより、各画素がそれぞれＲ，Ｇ，Ｂ成分の全てを有するカラー画像を生成する処理である。

ところで、デジタルカメラに用いられる結像光学系のレンズは、撮像光の波長によって屈折率が異なる。このため、ＲＧＢの各色によって像の倍率が異なってくる。これにより、撮像素子に結像する像の大きさが色成分毎に異なり、図１１に示すように、色成分毎に撮像素子上への結像ズレが発生することが知られている。これをレンズの倍率色収差（横色収差）という。倍率色収差があると、白色点光源を撮影したとき、特に画面の周辺部が虹色に色づいて放射方向に伸びるように見えてしまう。また、結像ズレに伴って、画像のエッジ部分が色ズレとして現れ、画質の品位を損なうという問題も生じる。

このような色ズレの発生を抑制するために、撮像により得られたカラー画像信号に基づいて、カラー画像内の基準位置からの距離に応じた色収差量を検出し、検出した色収差量に基づいて、カラー画像信号に色収差の補正を加えるようにした撮像装置が提供されている。また、カラー画像内における有効なエッジを検出して、エッジ位置に基づいて、基準位置からの距離に応じた色収差量を検出する撮像装置もある。

さらに、光学レンズ系からの入射像を撮像してＲ，Ｇ，Ｂの信号を出力し、当該Ｒ，Ｇ，Ｂの信号に対して光学レンズ系に固有の色収差に応じた焦点距離補正値を用いてそれぞれ色収差補正（Ｇを基準として、Ｒ，Ｂに対して画像の拡大または縮小を行う補正）を行った後、色収差補正されたＲ，Ｇ，Ｂ出力を合成して色収差補正された画像信号を出力するようにしたデジタルカメラも提案されている（例えば、特許文献３参照）。
特表２００４−５３４４２９号公報 特開２０００−２７０２９４号公報 特開平６−１１３３０９号公報

しかしながら、上記従来の技術では、カラー画像内におけるエッジ位置に基づいて色収差量を検出する際に、Ｒ，Ｇ，Ｂの相関が正しく取れず、エッジ位置を検出することができない場合がある。すなわち、倍率色収差の乗った色モザイク画像においては、図１２のように、Ｒ，Ｇ，Ｂの色成分によってサンプリング位置に対する輝度値が異なるため、各色成分のエッジ位置が一致しておらず、高い解像度が得られない。そのため、本来のエッジ位置がエッジとして認識できず、エッジ位置を利用してデモザイクを正しく補正できない場合があるという問題があった。

一方、上記特許文献３に記載されたデジタルカメラは単板式ではなく、いわゆる３板式のデジタルカメラである。３板式のデジタルカメラは、Ｒ，Ｇ，Ｂのそれぞれ用に３つの撮像素子を備え、それぞれの撮像素子から出力されるＲ，Ｇ，Ｂの信号を合成してカラー画像を得るように成されている。３板式の場合、Ｒ，Ｇ，Ｂの画素数は何れも出力画像の画素数と一致しているため、比較的単純な画像合成でカラー画像を得ることができる。すなわち、出力画像の画素数に比べてＲ，Ｇ，Ｂの画素数が何れも少ない単板式のデジタルカメラで行っているようなデモザイク処理（色補間処理）は不要である。

これに対して、単板式のデジタルカメラの場合は、色モザイク画像からカラー画像を生成する際に補間処理を行うとともに、倍率色収差を補正する際にも別の補間処理を行う必要がある。すなわち、画素補間を二重に行わなければならない。このため、処理負荷が大きくなるという問題があった。また、補間により生成した画像に対して更に別の補間を施すので、生成される画像の画質劣化が大きくなるという問題もあった。

本発明は、このような問題を解決するために成されたものであり、色モザイク画像からカラー画像を生成する際に、より少ない処理負荷で、倍率色収差による色ズレや画素補間に伴う画質劣化が少ないカラー画像を生成できるようにすることを目的とする。

上記した課題を解決するために、本発明では、色モザイク画像を同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、カラー画像の画素位置から色モザイク画像上の対応するサンプリング座標を算出する座標変換部と、複数の色プレーン毎にサンプリング座標における画素値を補間生成するサンプリング部と、各色プレーンの補間値を合成することによりカラー画像を生成する色生成部とを備え、座標変換部において、複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、カラー画像の画素位置から、色プレーン毎に異なるサンプリング座標を算出するようにしている。

本発明の他の態様では、座標変換部は、色プレーンによって値の異なる色収差係数に加えて、カラー画像に対する画像変形を表す画像変形係数、撮像装置のブレを補正するためのブレ補正係数、撮像素子に被写体の撮像光を導くための結像光学系に設定されている焦点距離および被写体距離に応じて定まる歪曲収差係数の少なくとも１つを用いて、カラー画像の画素位置から、色プレーン毎に異なるサンプリング座標を算出するようにしている。

また、本発明の他の態様では、所定の画像を撮影することによって前記色収差係数を算出する収差係数算出部を備え、この色収差係数を用いて、カラー画像の画素位置から、色プレーン毎に異なるサンプリング座標を算出するようにしている。

また、本発明の他の態様では、外部に接続された外部機器に撮影画像を出力する画像出力部と、前記外部機器から前記色収差係数を入力する係数入力手段とを備え、この入力された色収差係数を用いて、カラー画像の画素位置から、色プレーン毎に異なるサンプリング座標を算出するようにしている。

上記のように構成した本発明によれば、色モザイク画像からカラー画像を生成する前段階として、倍率色収差により生じる各色成分の結像位置ズレに応じた色プレーン毎の画素位置が、カラー画像の画素位置に対応する色モザイク画像上のサンプリング座標として算出される。その上で、当該サンプリング座標の補間値を求める色補間演算がサンプリング部により行われることにより、倍率色収差の補正されたカラー画像の各画素値が、サンプリング座標の画素値として色モザイク画像から求められることとなる。

これにより、色モザイク画像からカラー画像を生成する色補間処理（デモザイク処理）と、結像光学系の倍率色収差を補正する処理とを一度の補間演算によって実現することができる。このため、色モザイク画像から倍率色収差が補正されたカラー画像を生成する際の処理負荷を軽減することができるとともに、従来のように補間処理を二重に行うことによる画質の劣化も抑制することができる。

また、本発明の他の態様によれば、色モザイク画像からカラー画像を生成する前段階として、倍率色収差により生じる色ズレの補正に加えて、画像変形、ブレ補正、レンズステートの歪曲修正などに応じた色プレーンの画素値が、カラー画像の画素位置に対応する色モザイク画像上のサンプリング座標として算出され、当該色ズレの補正に加えて画像変形などの処理の施されたカラー画像の各画素値が、サンプリング座標の画素値として色モザイク画像から求められることとなる。

これにより、色モザイク画像からカラー画像を生成する色補間処理と、結像光学系の倍率色収差を補正する処理と、さらにカラー画像の画像変形、ブレ補正、歪曲修正などの処理とを一度の補間演算によって実現することができる。このため、倍率色収差が補正され、かつ、画像変形などが施されたカラー画像を色モザイク画像から生成する際の処理負荷を軽減することができるとともに、補間処理を何回も行うことによる画質の劣化も抑制することができる。

また、本発明の他の態様によれば、所定の画像を撮影することによって色収差係数を算出する収差係数算出部を備えているので、この算出された色収差係数を用いて、色モザイク画像からカラー画像を生成する色補間処理（デモザイク処理）と、結像光学系の倍率色収差を補正する処理とを一度の補間演算によって実現することができる。

また、本発明の他の態様によれば、外部に接続された外部機器に撮影画像を出力する画像出力部と、前記外部機器から、前記色収差係数を入力する係数入力手段とを備えているのでこの入力された色収差係数を用いて、色モザイク画像からカラー画像を生成する色補間処理（デモザイク処理）と、結像光学系の倍率色収差を補正する処理とを一度の補間演算によって実現することができる。

（第１の実施形態）
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明に係る画像処理装置を実施した第１の実施形態によるカラー撮像装置１００の構成例を示す図である。第１の実施形態のカラー撮像装置１００は、結像光学系１１０、単板カラーイメージセンサ１２０、ＡＤ変換部１３０、デモザイク部１４０、視覚補正部１５０、圧縮部１６０および記録部１７０を備えて構成されている。このうち、デモザイク部１４０が本発明の画像処理装置に相当する。

単板カラーイメージセンサ１２０は、結像光学系１１０から出力された撮像光を所定の色成分に分解するカラーフィルタアレイ１２１と、カラーフィルタアレイ１２１を通過した撮像光を光電変換して画素信号を生成する撮像素子１２２とを備えている。撮像素子１２２は、例えばＣＣＤ（Charge Coupled Device）、あるいはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等で構成される。

結像光学系１１０は、被写体の撮像光を単板カラーイメージセンサ１２０に導く役割を果たすものである。例えば、結像光学系１１０は、光学的ローパスフィルタを含め、撮影レンズや、赤外線除去フィルタ等から構成されている。なお、赤外線除去フィルタは、単板カラーイメージセンサ１２０に入射する赤外線を遮断するためのものであり、光学的ローパスフィルタの前方に配置され、１枚のガラスブロックとして構成されている。

単板カラーイメージセンサ１２０のカラーフィルタアレイ１２１は、撮像素子１２２を構成する各画素の受光面上に所定パターンで規則的に配置され、撮像光を所定の色成分にフィルタリングする役割を果たすものである。本実施形態では、色成分としてＲ，Ｇ，Ｂの３色を用いた原色ベイヤ配列のカラーフィルタアレイ１２１を使用している。

原色ベイヤ配列は、図２に示すように、Ｇ色フィルタを市松模様で配置するとともに、Ｒ色フィルタおよびＢ色フィルタを各行に交互に配置したものである。なお、Ｇ色フィルタのうち、水平方向のＲ色フィルタどうしで挟まれたものをＧｒ色フィルタ、水平方向のＢ色フィルタどうしで挟まれたものをＧｂ色フィルタと称する。

撮像素子１２２は、受光した撮像光を電気的な画素情報に光電変換して電荷量として貯え、これを電気信号としてＡＤ変換部１３０に出力する役割を果たすものである。撮像素子１２２は、所定パターンで配列された複数の画素（フォトダイオード）を有しており、この各画素の受光面上にカラーフィルタアレイ１２１が上述の原色ベイヤ配列で規則的に配置されている。

以上の構成において、撮影された被写体は、結像光学系１１０を経て単板カラーイメージセンサ１２０の撮像素子１２２上に結像する。この際、結像光学系１１０が持つ各種の収差により、結像した被写体像は劣化したものとなる。例えば、結像光学系１１０の倍率色収差により、Ｒ，Ｇ，Ｂの色成分毎に撮像素子１２２上での結像ズレ（色ズレ）が生じた画像となる。単板カラーイメージセンサ１２０は、撮像素子１２２上に結像した被写体像を色モザイク画像としてアナログ電気信号に変換する。

すなわち、カラーフィルタアレイ１２１は、図２に示すような原色ベイヤ配列であり、撮像素子１２２の各画素に対してＲ，Ｇ，Ｂの各色フィルタが並べられている。このため、被写体の撮像光は、画素毎に対応した色成分のみが透過した色モザイク画像状態の撮像光となって撮像素子１２２に達する。撮像素子１２２は、その到達光を光電変換し、色モザイク画像の電気信号としてＡＤ変換部１３０に出力する。

ＡＤ変換部１３０は、撮像素子１２２により光電変換された色モザイク画像のアナログ信号を、デジタル信号処理が行えるようにデジタル信号に変換する。なお、ＡＤ変換部１３０でＡ／Ｄ変換された直後の色モザイク画像はＲＡＷデータとも呼ばれる。デモザイク部１４０は、色モザイク画像からカラー画像への変換を行う。本実施形態では、このとき同時に倍率色収差の補正処理を行うことにより、上述した結像光学系１１０の倍率色収差による色ズレを補正する。このデモザイク部１４０による画像処理の方法は後に詳しく説明する。

視覚補正部１５０は、デモザイク部１４０により生成されたカラー画像に対して、主として画像の見栄えを良くするための処理を行う。例えば、視覚補正部１５０は、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正処理を行う。圧縮部１６０は、視覚補正部１５０で補正されたカラー画像をＪＰＥＧ（Joint Photographic Experts Group）等の方法で圧縮し、記録時のサイズを小さくする。記録部１７０は、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体（図示せず）に記録する。

なお、デモザイク部１４０から記録部１７０までの各構成は、それぞれを別体のデバイスとして構成しても良いし、単一のマイクロプロセッサで構成しても良い。後者の場合は、単一のマイクロプロセッサが、デモザイク部１４０から記録部１７０までの各構成に係る処理を実行する。

図３は、デモザイク部１４０の機能構成例を示すブロック図である。図４は、デモザイク部１４０により実行される画像処理の動作例を示すフローチャートである。図５は、デモザイク部１４０により実行される画像処理の内容を具体的に説明するためのイメージ図である。図３に示すように、デモザイク部１４０は、その機能構成として、色プレーン分解部１４１と、座標変換部１４２と、サンプリング部１４３と、色生成部１４４とを備えている。

色プレーン分解部１４１は、ＡＤ変換部１３０より出力される色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する（図４のステップＳ１）。本実施形態では、図５に示すように、Ｒ成分の画素のみを取り出したＲプレーン、Ｇ成分の画素のみを取り出したＧプレーン、Ｂ成分の画素のみを取り出したＢプレーンの３つの色プレーンに分解する。分解された各色プレーンは、サンプリング部１４３の処理に利用される。

座標変換部１４２は、色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出する（図４のステップＳ２）。本実施形態では特に、座標変換部１４２は、色プレーン分解部１４１により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数を用いて、色プレーン毎に異なるサンプリング座標を算出する。すなわち、色モザイク画像には結像光学系１１０の倍率色収差の影響があるが、カラー画像にはその影響が現れないようにするため、サンプリング座標は、異なる色光に対応する色プレーンに対して異なる値を与えるようにする。

以下に、サンプリング座標の算出手順を詳しく説明する。まずｘｙ座標系として、原点を画像中心、最大像高（原点からの最大距離）を１とし、原点から画面右方向に正のｘ座標をとり，原点から画面下方向に正のｙ座標をとるものとする。この場合、６４０×４８０の正方画素からなるカラー画像に対して、ｕｖ座標系の画素座標（ｕ_d，ｖ_d）を図２のように画面左上から右方向に（０，０）,（１，０）,（２，０）・・・、次の行を（１，０）,（１，１）,（２，１）・・・と割り振れば、ｕｖ座標系の画素座標（３１９．５，２３９．５）がｘｙ座標系の原点となる。また、画素座標系の対角長の半分の長さ４００＝（６４０^２＋４８０^２）^1/2／２がｘｙ座標系の最大像高に対応するため、画素座標（ｕ_d，ｖ_d）に対応するｘｙ座標（ｘ_d，ｙ_d）は、
ｘ_d＝（ｕ_d−３１９．５）／４００
ｙ_d＝（ｖ_d−２３９．５）／４００
の関係式で表される。

このｘｙ座標（ｘ_d，ｙ_d）に対して、結像光学系１１０の倍率色収差の補正を考慮した座標変換を以下の式のように行う。ここでは、Ｒプレーン、Ｇプレーン、Ｂプレーンの３つの色プレーン毎に座標変換を別々に行っている。
ｘ_R＝ｘ_d＊ｋ_R 、ｙ_R＝ｙ_d＊ｋ_R
ｘ_G＝ｘ_d＊１ 、ｙ_G＝ｙ_d＊１
ｘ_B＝ｘ_d＊ｋ_B 、ｙ_B＝ｙ_d＊ｋ_B
なお、｛ｋ_R，ｋ_B｝は結像光学系１１０の倍率色収差を示す係数であり、ｋ_RはＧ成分に対するＲ成分の倍率、ｋ_BはＧ成分に対するＢ成分の倍率を示している。これらの色収差係数｛ｋ_R，ｋ_B｝は光学シミュレーション等により求めることが可能である。

一方、色モザイク画像は１６００×１２００の正方画素から成るものとし、ｕｖ座標系の画素座標（ｕ_s，ｖ_s）が上述のカラー画像と同様に割り振られているとすると、ｕｖ座標系の画素座標（７９９．５，５９９．５）がｘｙ座標系の原点となり、画素座標系の対角長の半分の長さ１０００＝（１６００²＋１２００²）^1/2／２がｘｙ座標系の最大像高に対応する。このため、色収差補正されたカラー画像の各色プレーン上のｘｙ座標（ｘ_R，ｙ_R）（ｘ_G，ｙ_G）（ｘ_B，ｙ_B）に対応する色モザイク画像上の画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）は、
ｕ_sR＝１０００＊ｘ_R＋７９９．５
ｖ_sR＝１０００＊ｙ_R＋５９９．５
ｕ_sG＝１０００＊ｘ_G＋７９９．５
ｖ_sG＝１０００＊ｙ_G＋５９９．５
ｕ_sB＝１０００＊ｘ_B＋７９９．５
ｖ_sB＝１０００＊ｙ_B＋５９９．５
となる。

上述の計算の結果、画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）は何れも整数値になるとは限らず、一般には非整数となる。この色モザイク画像上の画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）が色プレーン毎のサンプリング座標である。図５では、Ｒプレーン上のサンプリング座標を符号３０１で示し、Ｇプレーン上のサンプリング座標を符号３０２で示し、Ｂプレーン上のサンプリング座標を符号３０３で示している。上述のように、サンプリング座標の値は非整数となるので、画素中心からずれた位置に各色プレーンのサンプリング座標３０１，３０２，３０３が存在している。

サンプリング部１４３は、色プレーン分解部１４１により分解された複数の色プレーン毎に、座標変換部１４２により算出された色プレーン毎のサンプリング座標３０１，３０２，３０３における画素値（サンプリング値）を、色プレーン内に含まれる同一の色光の画素値から補間生成する（図４のステップＳ３）。すなわち、サンプリング部１４３は、Ｒプレーン、ＧプレーンおよびＢプレーンのそれぞれから、サンプリング座標３０１，３０２，３０３の画素値を補間演算により算出して出力する。

上述のように、サンプリング座標３０１，３０２，３０３の値（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）は必ずしも整数値とは限らないため、当該サンプリング座標３０１，３０２，３０３を囲む４つの有値画素（各色プレーンが元々持っている同一色光の画素値）から補間を行う。この補間は、好ましくはバイリニア補間によって行う。

図５に示すように、ＲプレーンおよびＢプレーンは縦横の格子点状に有値画素を持つため、サンプリング座標３０１，３０３を囲む４つの有値画素は、当該サンプリング座標３０１，３０３を囲む一辺の長さが２の正方形の各頂点に位置する。例えば、Ｒプレーンのサンプリング座標３０１が（ｕ_sR，ｖ_sR）＝（１００．８，１０１．４）であれば、Ｒプレーンにおいてこれを囲む４つの画素（ｕ_d，ｖ_d）＝（１００，１００）,（１００，１０２）,（１０２，１００）,（１０２，１０２）がＲプレーンの有値画素となる。

当該有値画素の各画素値をＲ（１００，１００）,Ｒ（１００，１０２）,Ｒ（１０２，１００）,Ｒ（１０２，１０２）で表すとすると、図６のようなバイリニア補間によって生成されるＲプレーン上でのサンプリング座標３０１の補間画素値Ｒ（１００．８，１０１．４）は、次の式で表される。
Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）

一方、Ｇプレーンは市松状に有値画素を持つため、サンプリング座標３０２を囲む４つの有値画素は、当該サンプリング座標３０２を囲む一辺の長さが√２の４５度傾いた正方形の各頂点に位置する。この場合、Ｇプレーンにおいてサンプリング座標３０２が（ｕ_sG，ｖ_sG）＝（１０１．０，１０１．４）であれば、これを囲む４つの画素（ｕ_d，ｖ_d）＝（１００，１０１）,（１０１，１００）,（１０１，１０２）,（１０２，１０１）がＧプレーンの有値画素となる。

当該有値画素の各画素値をＧ（１００，１０１）,Ｇ（１０１，１００）,Ｇ（１０１，１０２）,Ｇ（１０２，１０１）で表すとすると、Ｇプレーン上でのサンプリング座標３０２の補間画素値Ｇ（１０１．０，１０１．４）は、次の式で表される。
Ｇ（１０１．０，１０１．４）＝０．７＊０．３＊Ｇ（１００，１０１）＋０．３＊０．３＊Ｇ（１０１，１００）＋０．７＊０．７＊Ｇ（１０１，１０２）＋０．３＊０．７＊Ｇ（１０２，１０１）

色生成部１４４は、サンプリング部１４３により補間生成された各色プレーンの補間画素値を合成することにより、各画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する（図４のステップＳ４）。さらに、色生成部１４４は、こうして求めたＲＧＢのカラー情報をＹＵＶのカラー情報に変換し（Ｙは輝度情報、Ｕ，Ｖは色情報）、Ｕ，Ｖの色情報に対して低周波フィルタを施す。なお、ＲＧＢからＹＵＶへの変換処理およびＵ，Ｖに対する低周波フィルタの処理は、公知の処理を適用することが可能である。色生成部１４４は、以上の処理をカラー画像の全ての画素（全てのサンプリング座標）について行い、その結果得られた変形カラー画像を視覚補正部１５０に出力する。視覚補正部１５０以降の処理は上述した通りである。

色生成部１４４の処理で用いるサンプリング座標３０１，３０２，３０３の補間画素値Ｒ（ｕ_sR，ｖ_sR），Ｇ（ｕ_sG，ｖ_sG），Ｂ（ｕ_sB，ｖ_sB）は倍率色収差の色ズレが考慮されており、被写体上の同一部分を示すようになっている。このため、被写体上に白黒の境界がある部分で、Ｒ，Ｇ，Ｂは同時に変化する。これにより、Ｒ，Ｇ，Ｂの各色成分を合成したカラー画像は、シャープな輝度信号を得ることができる。すなわち、倍率色収差のない結像光学系で撮影されるのと同等のカラー画像を得ることができる。

以上詳しく説明したように、第１の実施形態では、色モザイク画像からカラー画像を生成する前段階として、出力すべきカラー画像の画素位置から、当該カラー画像の画素位置に対応する色モザイク画像上の位置であって、倍率色収差を考慮して調整した位置であるサンプリング座標３０１，３０２，３０３を色プレーン毎に算出する。そして、当該サンプリング座標３０１，３０２，３０３における画素値を、色モザイク画像の画素値を用いた補間演算により生成するようにしている。

これにより、色モザイク画像からカラー画像を生成する色補間処理と当該カラー画像の倍率色収差補正処理とを一度の補間演算によって実現することができる。このため、色モザイク画像から色収差補正されたカラー画像を生成する際の処理負荷を軽減することができるとともに、従来のように補間処理を二重に行うことによる画質の劣化も抑制することができる。

また、第１の実施形態では、色モザイク画像をＲ，Ｇ，Ｂの複数の色プレーンに分解し、色プレーン毎にサンプリング座標３０１，３０２，３０３の補間画素値を求めてから、各色プレーンの補間画素値を合成して１画素に３色の輝度情報が含まれるカラー情報を生成するようにしている。このようにすることにより、色プレーン内に含まれる同一の色光の画素値から単純な線形補間によりサンプリング座標３０１，３０２，３０３の補間画素値を求めることができ、処理負荷を軽減することができる。

なお、上記第１の実施形態では、色プレーン分解部１４１は、色モザイク画像をＲプレーン、Ｇプレーン、Ｂプレーンの３つの色プレーンに分解する例について説明したが、これに限定されない。例えば、図７に示すように、互いに角を接する２種類の緑色画素Ｇｒ，Ｇｂを各々異なる色プレーンに分解するようにしても良い。すなわち、色プレーン分解部１４１は、ＡＤ変換部１３０より出力される色モザイク画像を、Ｒ成分の画素のみを取り出したＲプレーン、Ｇｒ成分の画素のみを取り出したＧｒプレーン、Ｇｂ成分の画素のみを取り出したＧｂプレーン、Ｂ成分の画素のみを取り出したＢプレーンの４つの色プレーンに分解する。

この場合に色生成部１４４は、ＧｒプレーンおよびＧｂプレーンでそれぞれサンプリング部１４３により生成されたサンプリング座標３０２の画素値（サンプリング値）を加算して、１画素内にＲ，Ｇ，Ｂの各色成分の輝度情報が含まれるカラー情報を生成する。例えば、Ｒ成分やＢ成分はサンプリング値をそのまま用い、Ｇ成分はＧｒとＧｂとの平均値を用いる。

また、Ｇ成分をＧｒプレーンとＧｂプレーンとに分解してサンプリング座標３０２の画素値を算出する場合、デモザイク部１４０は、ＧｒプレーンとＧｂプレーンの各色プレーン上でそれぞれサンプリング部１４３により生成された補間画素値の差分を算出し、当該補間画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備えるようにしても良い。

ベイヤ配列の単板カラーイメージセンサ１２０では、ナイキスト周波数近傍の白黒の縞模様に対し、赤や青の偽色が発生するという問題がある。これに対し、Ｇｒプレーン上で求めたサンプリング座標３０２の補間画素値とＧｂプレーン上で求めたサンプリング座標３０２の補間画素値との差分をとることで、縞模様上での偽色の有無を検出することができ、偽色がある場合にはこれを抑制することができる。

すなわち、ＧｒもＧｂも本来は同じＧ色フィルタなので、ＧｒプレーンおよびＧｂプレーンで求めた補間画素値は双方とも同じ値になるはずである。しかし、偽色が生じていると、ＧｒプレーンおよびＧｂプレーンで求めた補間画素値に差分が生じる。よって、補間画素値の差分を見ることにより、偽色の発生の有無を検出することができる。また、色生成部１４４は、ＲＧＢのカラー情報をＹＵＶのカラー情報に変換する際に、以下の式によって変換処理を行う。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。本発明に係る画像処理装置を実施した第２の実施形態によるカラー撮像装置の構成は、図１と同様である。また、デモザイク部１４０の機能構成は、図３と同様である。ただし、デモザイク部１４０が備える座標変換部１４２の処理内容が第１の実施形態と異なっている。以下では、第１の実施形態と異なる部分を中心に説明する。

第２の実施形態において、座標変換部１４２は、色プレーン分解部１４１により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数と、カラー画像に対する画像変形を表す画像変形係数とを用いて、カラー画像の画素位置から、色収差補正および画像変形が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標であって色プレーン毎に異なるサンプリング座標を算出する。

ここでは画像変形の例として、結像光学系１１０の歪曲収差を補正するための変形処理を例に挙げて説明する。結像光学系１１０に歪曲収差があると、結像光学系１１０を経て単板カラーイメージセンサ１２０の撮像素子１２２上に結像した被写体像は劣化したものとなる。すなわち、被写体上では直線であるものが歪曲収差により曲線となった画像となる。第２の実施形態では、倍率色収差による画質劣化に加えて、歪曲収差による画質劣化も同時に補正する。

そのために座標変換部１４２は、色モザイク画像から生成されるカラー画像の画素位置から、倍率色収差および歪曲収差の補正を考慮した色モザイク画像上のサンプリング座標を色プレーン毎に算出する。具体的には、座標変換部１４２は、ｘｙ座標（ｘ_d，ｙ_d）に対して、結像光学系１１０の倍率色収差と歪曲収差の補正を考慮した座標変換を以下の式のように行う。
ｘ_R＝ｘ_d（ｋ_R＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_１ｘ_ｄｙ_ｄ＋ｐ_２（ｒ^２＋２ｘ_ｄ ^２）
ｙ_R＝ｙ_d（ｋ_R＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_２ｘ_ｄｙ_ｄ＋ｐ_１（ｒ^２＋２ｙ_ｄ ^２）
ｘ_G＝ｘ_d（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_１ｘ_ｄｙ_ｄ＋ｐ_２（ｒ^２＋２ｘ_ｄ ^２）
ｙ_G＝ｙ_d（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_２ｘ_ｄｙ_ｄ＋ｐ_１（ｒ^２＋２ｙ_ｄ ^２）
ｘ_B＝ｘ_d（ｋ_B＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_１ｘ_ｄｙ_ｄ＋ｐ_２（ｒ^２＋２ｘ_ｄ ^２）
ｙ_B＝ｙ_d（ｋ_B＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ_２ｘ_ｄｙ_ｄ＋ｐ_１（ｒ^２＋２ｙ_ｄ ^２）
（ただし、ｒ²＝ｘ_d ²＋ｙ_d ²）
ここで、｛ｋ₁，ｋ₂｝は結像光学系１１０の歪曲収差を示す係数であり、ｋ₁は３次収差係数、ｋ₂は５次収差係数を示している。

なお、結像光学系１１０の収差により歪曲しているカラー画像を補正するために画像変形を行う場合には、色モザイク画像から生成された歪曲しているカラー画像に対して非線形の座標変換を行う。歪曲収差を含むカラー画像に対して非線形の座標変換を行う方法は既知であり、上述の歪曲収差係数｛ｋ₁，ｋ₂｝はシミュレーション等により求めることが可能である。この歪曲収差係数｛ｋ₁，ｋ₂｝が、本発明の画像変形係数に相当する。

これらのｘｙ座標（ｘ_R，ｙ_R）（ｘ_G，ｙ_G）（ｘ_B，ｙ_B）から色モザイク画像上の画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）を求める演算は、第１の実施形態においてｘｙ座標（ｘ，ｙ）から色モザイク画像上の画素座標（ｕ_s，ｖ_s）を求めた演算と同様であり、以下の式のように求められる。
ｕ_sR＝１０００＊ｘ_R＋７９９．５
ｖ_sR＝１０００＊ｙ_R＋５９９．５
ｕ_sG＝１０００＊ｘ_G＋７９９．５
ｖ_sG＝１０００＊ｙ_G＋５９９．５
ｕ_sB＝１０００＊ｘ_B＋７９９．５
ｖ_sB＝１０００＊ｙ_B＋５９９．５

次に、サンプリング部１４３は、以上のようにして座標変換部１４２により算出された色プレーン毎のサンプリング座標における画素値（サンプリング値）を、色プレーン内に含まれる同一の色光の画素値から補間生成する。また、色生成部１４４は、サンプリング部１４３により補間生成された各色プレーンの補間画素値を合成することにより、各画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する。

以上詳しく説明したように、第２の実施形態によれば、色モザイク画像からカラー画像を生成する色補間処理と、結像光学系１１０の倍率色収差を補正する処理と、さらに結像光学系１１０の歪曲収差を補正するためのカラー画像の画像変形処理とを一度の補間演算によって実現することができる。このため、倍率色収差が補正され、かつ、歪曲収差も補正された変形カラー画像を色モザイク画像から生成する際の処理負荷を軽減することができるとともに、補間処理を何回も行うことによる画質の劣化も抑制することができる。

なお、上記第２の実施形態では、画像変形の例として、結像光学系１１０の歪曲収差を補正するための変形処理を例に挙げて説明したが、これに限定されるものではない。例えば、画像変形は、デジタルズーム処理によるカラー画像の拡大または縮小、手ブレ補正処理によるカラー画像の回転などであっても良い。この場合、拡大、縮小、回転は例えばアフィン変換で表すことが可能であり、そのアフィン変換を表す係数を画像変形係数として用いる。

（第３の実施形態）
次に、本発明の第３の実施形態を図面に基づいて説明する。図８は、本発明に係る画像処理装置を実施した第３の実施形態によるカラー撮像装置１００’の構成例を示す図である。なお、図８において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図８に示すように、第３の実施形態のカラー撮像装置１００’は、結像光学系１１０’、単板カラーイメージセンサ１２０、ＡＤ変換部１３０、デモザイク部１４０’、視覚補正部１５０、圧縮部１６０、記録部１７０、ブレ検出部１８０、収差係数設定部１９０、キャリブレーション部２００および収差係数テーブル記憶部２１０を備えて構成されている。このうち、デモザイク部１４０’および収差係数設定部１９０が本発明の画像処理装置に相当する。

図８において、撮影された被写体は、結像光学系１１０’を経て単板カラーイメージセンサ１２０の撮像素子１２２上に結像する。この際、結像光学系１１０’が持つ各種の収差により、結像した被写体像は劣化したものとなる。例えば、歪曲収差により被写体上では直線であるものが曲線となり、倍率色収差により色成分毎に撮像素子１２２上での結像ズレ（色ズレ）が生じた画像となる。なお、第３の実施形態において結像光学系１１０’は、焦点距離（ズーム）や被写体距離（フォーカス）といったレンズステートを変更可能なものとする。

ブレ検出部１８０は、カラー撮像装置１００’のブレを検出し、ブレを補正するためのブレ補正係数｛ｚ,θ,ｄｘ,ｄｙ｝をデモザイク部１４０’に設定する。ブレの検出にはジャイロセンサを用いる方式や、複数枚撮影した画像間の特徴点の変化量などを測定する方式があるが、本発明はブレの検出法を限定するものではない。ここで、カラー撮像装置１００’の前後方向のブレに伴う被写体像の大きさの補正値をｚ、ロール軸のブレに伴う被写体像の回転の補正値をθ、左右方向あるいはヨーのブレに伴う被写体像の左右位置の補正値をｄｘ、上下方向あるいはピッチのブレに伴う被写体像の上下位置の補正値をｄｙとしている。なお、係数zにはデジタルズームの倍率を含めても良い。

収差係数設定部１９０は、本発明の係数設定部に相当するものである。収差係数設定部１９０は、結像光学系１１０’のレンズステートを検出し、検出したレンズステートに応じた適切な収差係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝を収差係数テーブル記憶部２１０から読み出し、デモザイク部１４０’に設定する。ここで、｛ｋ₁,ｋ₂,ｐ₁,ｐ₂｝は結像光学系１１０’の歪曲収差を示す係数であり、｛ｋ₁,ｋ₂｝は放射線方向の歪み、｛ｐ₁,ｐ₂｝は接線方向の歪みを示している。｛ｋ_R，ｋ_B｝は結像光学系１１０’の倍率色収差を示す係数であり、ｋ_RはＧ成分に対するＲ成分の倍率、ｋ_BはＧ成分に対するＢ成分の倍率を示している。

なお、レンズステートが変化する場合、収差係数設定部１９０は、変化後のレンズステートを検出し、そのレンズステートに対応する収差係数を収差係数テーブル記憶部２１０より読み込み、デモザイク部１４０’に設定する。レンズステートの検出は、例えば、レンズステートの制御を行っているカラー撮像装置１００’のコントローラ（図示せず）から、結像光学系１１０’に設定されたレンズステートの情報を受けることによって行うことが可能である。

ところで、あらゆるレンズステートに対する収差係数をテーブルに記録しておくのは非現実的である。そこで本実施形態では、収差係数テーブル記憶部２１０には限られたレンズステートに対する収差係数だけを記録しておく。例えば、焦点距離、被写体距離を各々３パターン、計９つのレンズステートとそれに対応する収差係数値とを記録しておく。この収差係数テーブルの収差係数ｋ₁に関わる部分を例示すると、図９のようになる。

図９において、例えば結像光学系１１０’に設定されているレンズステートが被写体距離２．０ｍ、焦点距離３５ｍｍであるとすると、図９の収差係数テーブルに適合する値はない。そこで、収差係数設定部１９０は、収差係数テーブルより被写体距離がＭｉｄ：１．０ｍ、焦点距離がＷｉｄｅ：２８ｍｍの収差係数０．０８と、被写体距離がＦａｒ：Ｉｎｆ、焦点距離がＷｉｄｅ：２８ｍｍの収差係数０．０５と、被写体距離がＭｉｄ：１．０ｍ、焦点距離がＭｉｄ：５０ｍｍの収差係数０．０２と、被写体距離がＦａｒ：Ｉｎｆ、焦点距離がＭｉｄ：５０ｍｍの収差係数０．００とを読み出し、これらの４つの収差係数を補間する。

ここで、焦点距離および被写体距離に関しては逆数に対して補間するのが望ましく、
ｋ₁＝((１／２．０−１／Ｉｎｆ)(１／３５−１／５０)＊０．０８＋(１／１．０−１／２．０)(１／３５−１／５０)＊０．０５＋(１／２．０−１／Ｉｎｆ)(１／２８−１／３５)＊０．０２＋(１／１．０−１／２．０)(１／２８−１／３５)＊０．００)／(１／１．０−１／Ｉｎｆ)／(１／２８−１／５０)
＝０．０４
のように計算した補間値をデモザイク部１４０’に設定する。他の収差係数｛ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝に対しても、同様に補間値を計算し、デモザイク部１４０’に設定する。

キャリブレーション部２００は、ＡＤ変換部１３０より出力されるデジタル画像信号に基づいて、収差係数テーブル記憶部２１０に記憶する収差係数テーブルの値を生成する。キャリブレーション部２００は、収差係数テーブルに記録すべき複数のレンズステートに対してそれぞれ収差係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝を求め、これらを収差係数テーブル記憶部２１０に記録する。

なお、キャリブレーション部２００はカラー撮像装置１００’の一部として内部に備えても良いが、カラー撮像装置１００’とは別体のキャリブレーション装置として構成しても良い。別体の装置とする場合、カラー撮像装置１００’は、撮影画像（ＡＤ変換部１３０より出力されるデジタル画像信号）をキャリブレーション装置に出力したり、キャリブレーション装置から収差係数を入力したりする通信手段を備える。

デモザイク部１４０’は、ブレ検出部１８０により設定されるブレ補正係数｛ｚ,θ,ｄｘ,ｄｙ｝および収差係数設定部１９０により設定される収差係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝に基づく補正を行いつつ、色モザイク画像からカラー画像への変換を行う。

図１０は、デモザイク部１４０’の機能構成例を示すブロック図である。図１０に示すように、デモザイク部１４０’は、その機能構成として、色プレーン分解部１４１’と、座標変換部１４２’と、サンプリング部１４３’と、色生成部１４４’とを備えている。

色プレーン分解部１４１’は、ＡＤ変換部１３０より出力される色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する。例えば、色プレーン分解部１４１’は、図７に示したように、Ｒ成分の画素のみを取り出したＲプレーン、Ｇｒ成分の画素のみを取り出したＧｒプレーン、Ｇｂ成分の画素のみを取り出したＧｂプレーン、Ｂ成分の画素のみを取り出したＢプレーンの４つの色プレーンに分解する。

座標変換部１４２’は、上述のブレ補正係数｛ｚ,θ,ｄｘ,ｄｙ｝および収差係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝を用いて、色モザイク画像から生成されるカラー画像の画素位置から、色収差補正、歪曲収差補正およびブレ補正が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を算出する。以下に、サンプリング座標の算出手順を詳しく説明する。

まずｘｙ座標系として、原点を画像中心、最大像高（原点からの最大距離）を１とし、原点から画面右方向に正のｘ座標をとり，原点から画面下方向に正のｙ座標をとるものとする。また、出力するカラー画像が１６００×１２００の正方画素からなるものとする。この場合、カラー画像に対して、ｕｖ座標系の画素座標（ｕ_d，ｖ_d）を図２のように画面左上から右方向に（０，０）,（１，０）,（２，０）・・・、次の行を（１，０）,（１，１）,（２，１）・・・と割り振れば、画素座標（ｕ_d，ｖ_d）に対応するｘｙ座標（ｘ_d，ｙ_d）は、以下の関係式で表される。

座標変換部１４２’は、このｘｙ座標（ｘ_d，ｙ_d）に対して、まず上述のブレ補正係数｛ｚ,θ,ｄｘ,ｄｙ｝を次式のように適用し、ブレ補正後のｘｙ座標（ｘ’，ｙ’)を得る。

さらに、座標変換部１４２’は、歪曲収差に係る係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂｝を次式のように適用し、ＧｒプレーンおよびＧｂプレーンにおけるｘｙ座標（ｘ_G，ｙ_G)を求める。
ｘ_G＝ｘ’（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ₁ｘ’ｙ’＋ｐ₂(ｒ’² ＋２ｘ’² )
ｙ_G＝ｙ’（１＋ｋ₁ｒ²＋ｋ₂ｒ⁴）＋２ｐ₂ｘ’ｙ’＋ｐ₁(ｒ’² ＋２ｙ’² )
（ただし、ｒ’²＝ｘ’²＋ｙ’²）

さらに、座標変換部１４２’は、結像光学系１１０’の倍率色収差に係る係数｛ｋ_R,ｋ_B｝を考慮した色プレーン間の座標の変換を以下の式のように行うことにより、ＲプレーンおよびＢプレーンにおけるｘｙ座標（ｘ_R，ｙ_R)
（ｘ_B，ｙ_B)をそれぞれ求める。ここで、ｄ_Rｘ，ｄ_RｙはＧプレーンを基準にした際のＲプレーンの平行ズレ量、ｄ_Bｘ，ｄ_BｙはＧプレーンを基準にした際のＢプレーンの平行ズレ量を示す係数である。

一方、色モザイク画像も１６００×１２００の正方画素とし、ｕｖ座標系の画素座標（ｕ_s，ｖ_s）が上述のカラー画像と同様に割り振られているとすると、各色プレーン上のｘｙ座標（ｘ_R，ｙ_R）（ｘ_G，ｙ_G）（ｘ_B，ｙ_B）に対応する色モザイク画像上の画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）は、次の式に示すようになる。

上述の計算の結果、これらの画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）は何れも整数値になるとは限らず、一般には非整数となる。この色モザイク画像上の画素座標（ｕ_sR，ｖ_sR）（ｕ_sG，ｖ_sG）（ｕ_sB，ｖ_sB）が色プレーン毎のサンプリング座標である。

サンプリング部１４３’は、色プレーン分解部１４１’により分解された複数の色プレーン毎に、座標変換部１４２’により算出された色プレーン毎のサンプリング座標における画素値（サンプリング値）を、色プレーン内に含まれる同一の色光の画素値から補間生成する。色生成部１４４’は、サンプリング部１４３’により補間生成された各色プレーンの補間画素値を合成することにより、各画素値がそれぞれ複数色の輝度情報を有したカラー画像を生成する。このサンプリング部１４３’および色生成部１４４’の処理内容は、第１実施形態または第２の実施形態と同様である。

以上詳しく説明したように、第３の実施形態によれば、色モザイク画像からカラー画像を生成する色補間処理、結像光学系１１０’の倍率色収差を補正する処理、結像光学系１１０’の歪曲収差を補正するためのカラー画像の変形処理、結像光学系１１０’のレンズステートに応じた収差を補正するための処理、およびカラー撮像装置１００’の手ブレを補正する処理を一度の補間演算によって実現することができる。このため、倍率色収差が補正され、かつ、歪曲収差や手ブレなども補正されたカラー画像を色モザイク画像から生成する際の処理負荷を軽減することができるとともに、補間処理を何回も行うことによる画質の劣化も抑制することができる。

なお、上記第３の実施形態では、座標変換部１４２’がサンプリング座標を算出する際に使用する係数として、ブレ補正係数｛ｚ,θ,ｄｘ,ｄｙ｝および収差係数｛ｋ₁,ｋ₂,ｐ₁,ｐ₂,ｋ_R,ｋ_B｝を用いる例について説明したが、これらを全て用いなくても良い。すなわち、色収差係数｛ｋ_R,ｋ_B｝を用いることは必須として、残りの係数は任意に組み合わせて用いることが可能である。

また、上記第３の実施形態では、キャリブレーション部２００を設けて収差係数テーブルの値を可変とする例について説明したが、これに限定されない。例えば、キャリブレーション部２００は設けずに収差係数テーブルの値を固定とするようにしても良い。

（第４の実施形態）
次に、本発明の第４の実施形態を図面に基づいて説明する。図１３は、第４の実施形態によるカラー撮像装置１００Ａの構成例を示す図である。なお、図１３において、図１に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

第４の実施形態におけるカラー撮像装置１００Ａは、所定のチャートＣＨを撮影することによって色収差係数を検出する色収差量検出装置２００を備え、色収差量検出装置２００によって検出された色収差係数が、第１、第２の実施形態における座標変換部１４２や、第３の実施形態における収差係数設定部１９０に格納され、第１〜第３の実施形態と同様に、デモザイク部１４０、１４０´において、カラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を、色プレーン毎に算出するように構成されている。なお、チャートＣＨが、本発明の請求項１２における所定の画像に相当する。

以下、色収差量検出装置２００の構成と作用を、図１３〜図１６にもとづいて説明する。図１４が同実施形態における色収差量検出の説明図であって、図１４（ａ）がチャートの形態を表す図、図１４（ｂ）が撮像素子１２２に対するチャートの配置を表す図である。

また、図１５が同実施形態における色収差量検出の説明図であって、図１５（ａ）（ｂ）が交点検出の際の説明図、図１５（ｃ）が交点毎にエッジを検出する際の説明図、図１５（ｄ）が交点に対してサンプリング画素列を設定する際の説明図、図１６が同実施形態におけるエッジ検出の説明図である。

まず、図１３に表したように、本実施形態の色収差量検出装置２００は、チャートＣＨを撮影して得られるデジタル画像信号を用いて結像光学系１１０の色収差係数を算出する。

チャートＣＨは、図１４（ａ）（ｂ）に表したように、単板カラーイメージセンサ１２０における撮像素子１２２の画素配列に対して、第一撮像模様Ｐ１と第二撮像模様Ｐ２の配列が、傾斜角αの分だけ傾斜している。また、本実施形態では、一つの撮像模様の領域が、撮像素子１２２で読み込まれる約１００ピクセル（画素）に相当する。

次に、色収差量検出装置２００は、図１３に表したように、ＡＤ変換部１３０から入力されたデジタル画像信号（所謂、画素の輝度を表す画素信号である）をＲＧＢの色毎に記憶するフィールドメモリ２２１、フィールドメモリ２２１に記憶された画素信号に基づいて第一撮像模様Ｐ１及び第二撮像模様Ｐ２の交点を複数検出する交点検出処理部２２５、交点検出処理部２２５で検出された交点周りにおいてＲＧＢ毎に第一撮像模様Ｐ１と第二撮像模様Ｐ２とのエッジ位置を検出するＲＧＢエッジ検出処理部２２６、ＲＧＢエッジ検出処理部２２６で検出されたエッジ位置を交点に対応付けて記憶するエッジ位置記憶部２２８、エッジ位置記憶部２２８に記憶されたエッジ位置から色収差係数を算出する収差係数算出部２２９、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２３０、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３１等によって構成され、ＣＰＵ２３０がＲＯＭ２３１に格納された制御用プログラムに従って、当該色収差量検出装置２００の各処理を制御する。

フィールドメモリ２１は、Ｂａｙｅｒ配列に対応付けて、赤（Ｒ）の画素信号を記憶するＲフィールドメモリ２２２と、緑（Ｇ）の画素信号を記憶するＧフィールドメモリ２２３と、青（Ｂ）の画素信号を記憶するＢフィールドメモリ２２４と、によって構成されている。

交点検出処理部２２５は、図１５（ａ）（ｂ）に表したように、注目画素を中心とした所定の範囲における画素値を用いて輝度勾配を算出し、その輝度勾配が最も大きくなる注目画素の位置を交点Ｉｎｔとして検出する。ここでは、図１５（ｂ）に表したように、注目画素を中心とした縦横５画素を設定し、画素位置に応じた重み付けを付加して交点位置を検出している。つまり、注目画素を中心とした上下左右の画素値に対して図１５（ｂ）に示す係数を乗算してその結果を集計し、集計結果の絶対値を注目画素の評価値とし、評価値が所定の閾値を超えた際の注目画素の位置を交点Ｉｎｔとし、図１５（ａ）に表したように、複数の交点Ｉｎｔをマトリクス状に検出している。また、本実施形態では、交点Ｉｎｔがマトリクス状に等間隔で表れるように、第一撮像模様Ｐ１及び第二撮像模様Ｐ２を配置している。

ＲＧＢエッジ検出処理部２２６は、図１５（ｃ）に表したように、ＲＧＢの色毎に交点Ｉｎｔを介して上下及び左右に位置する複数の画素列Ｈｓ、Ｖｓを所定のサンプリングライン長で走査して、順次、画素値を取得するとともに隣接するサンプリング位置に対して最も画素値の変化量が大きいサンプリング位置をエッジとして検出する。

詳しくは、図１６の曲線Ｉｎに表したようにサンプリング毎に各画素の輝度（画素値）を求め、曲線ＳＬに表したようにサンプリングによって求められた画素値にもとづいて画素値の変化量（勾配ＳＬ）を算出し、最も変化量（勾配ＳＬ）が大きく表れる位置ＥＰをエッジとして検出する。

また、エッジＥＰを求める際には、図１５（ｃ）に表したように、交点Ｉｎｔを介して、上下の画素範囲において、夫々、複数列のサンプリング（Ｈｓ）を行って、列毎にエッジを検出し、次いで、上部で検出されたエッジ位置の平均値と下部で検出されたエッジ位置の平均値との平均を算出し、交点Ｉｎｔにおける左右方向のエッジ位置とする。

また、交点Ｉｎｔを介して左右の画素範囲においても、夫々、複数列のサンプリング（Ｖｓ）を行って、列毎にエッジを検出し、次いで、左部で検出されたエッジ位置の平均値と右部で検出されたエッジ位置の平均値との平均を算出し、交点Ｉｎｔにおける上下方向のエッジ位置とする。

また、サンプリングは、同色の画素毎に行われ、左右方向に沿ってサンプリングＨｓを行う際には、図１４（ｂ）に表したように、左右方向のサンプリング長ＳＬ（１１）と、サンプリングの上下方向の列の数を表すサンプリング数ＳＮ（４）が、所要の検出精度に応じて予め定められている。また、上下方向に沿ってサンプリングＶｓを行う際にも、上下方向のサンプリング長とサンプリング数が予め定められている。

また、図１５（ｄ）に表したように交点Ｉｎｔを介して上方に延出するエッジの左右方向のエッジ位置を検出する際、サンプリングＨｓ１の位置が交点Ｉｎｔに近接しすぎると、エッジＥＨが傾斜しているので交点Ｉｎｔから左方に位置する撮像模様Ｐ１−２の影響を受けて、エッジ検出が困難になるため、サンプリングラインＨｓ１と交点Ｉｎｔとの間に適切な間隔Ｓをもたせることが好ましい。

間隔Ｓは、例えば図１５（ｄ）に表したように幾何学的に求めることができる。即ち、交点Ｉｎｔからの間隔Ｓは、エッジのぼやけ量Ｅ、傾斜角度α、サンプリングライン長ＳＬを既知の量として、Ｌ＝ＳＬ／２、Ｓ＝（Ｗ＋Ｌ）×ｔａｎα、の算式によって求めることができる。つまり、サンプリングＨｓ１の開始位置が、図１５（ｄ）中の撮像模様Ｐ１−２内に入ることなく、Ｐ１−２からエッジのぼやけ量Ｅだけ離間するように、間隔Ｓを求めるとよい。

次に、エッジ位置記憶部２２８は、各交点Ｉｎｔ_ｊ（ｊは各交点に付与した連番１，２…である）において、ＲＧＢエッジ検出処理部２２６で検出した色毎のエッジ位置に基づいて、Ｇ（緑）、Ｒ（赤）、Ｂ（青）のエッジ位置を、夫々左右方向（ｕ方向）及び上下方向（ｖ方向）に対応付けて、（ｕ_Ｇｊ，ｖ_Ｇｊ）、（ｕ_Ｒｊ，ｖ_Ｒｊ）、（ｕ_Ｂｊ，ｖ_Ｂｊ）として記憶する。

次に、収差係数算出部２２９は、エッジ位置記憶部２２８に記憶されたエッジ位置（ｕ_Ｇｊ，ｖ_Ｇｊ）、（ｕ_Ｒｊ，ｖ_Ｒｊ）、（ｕ_Ｂｊ，ｖ_Ｂｊ）を用いて、色収差係数ｋ_Ｒ、ｋ_Ｂを算出する。

詳しくは、まず、第１の実施形態と同じ様に、ｘｙ座標系として、原点を画像中心、最大像高（原点からの最大距離）を１とし、原点から画面右方向に正のｘ座標をとり，原点から画面下方向に正のｙ座標をとるものとする。そして、第１の実施形態と同じく、６４０×４８０の正方画素からなるカラー画像に対して、ｕｖ座標系の画素座標（ｕ_d，ｖ_d）を図２のように画面左上から右方向に（０，０）,（１，０）,（２，０）・・・、次の行を（１，０）,（１，１）,（２，１）・・・と割り振り、ｕｖ座標系の画素座標（３１９．５，２３９．５）をｘｙ座標系の原点とし、色毎に、画素座標（ｕ_d，ｖ_d）に対応するｘｙ座標（ｘ_d，ｙ_d）を算出する。

ここでは、第１の実施形態で用いたｘ_d＝（ｕ_d−３１９．５）／４００、ｙ_d＝（ｖ_d−２３９．５）／４００の演算式において、ｘ_d及びｙ_dを、ｘ_Ｇｊ及びｙ_Ｇｊ、ｘ_Ｒｊ及びｙ_Ｒｊ、ｘ_Ｂｊ及びｙ_Ｂｊに置き替えると共に、ｕ_ｄ及びｖ_ｄを、ｕ_Ｇｊ及びｖ_Ｇｊ、ｕ_Ｒｊ及びｖ_Ｒｊ、ｕ_Ｂｊ及びｖ_Ｂｊに置き替えて、次の演算式を用い、ＲＧＢ毎のｘｙ座標を算出する。
ｘ_Ｇｊ＝（ｕ_Ｇｊ−３１９．５）／４００
ｙ_Ｇｊ＝（ｖ_Ｇｊ−２３９．５）／４００
ｘ_Ｒｊ＝（ｕ_Ｒｊ−３１９．５）／４００
ｙ_Ｒｊ＝（ｖ_Ｒｊ−２３９．５）／４００
ｘ_Ｂｊ＝（ｕ_Ｂｊ−３１９．５）／４００
ｙ_Ｂｊ＝（ｖ_Ｂｊ−２３９．５）／４００

次いで、Ｒの色収差係数ｋ_Ｒを、ｋ_Ｒ＝Σ_ｊ（ｘ_Ｒｊ ^２＋ｙ_Ｒｊ ^２）／Σ_ｊ（ｘ_Ｒｊｘ_Ｇｊ＋ｙ_Ｒｊｙ_Ｇｊ）の演算式で算出し、Ｂの色収差係数ｋ_Ｂを、ｋ_Ｂ＝Σ_ｊ（ｘ_Ｂｊ ^２＋ｙ_Ｂｊ ^２）／Σ_ｊ（ｘ_Ｂｊｘ_Ｇｊ＋ｙ_Ｂｊｙ_Ｇｊ）の演算式で算出する。

次に、ここで算出された色収差係数ｋ_Ｒ及びｋ_Ｂをデモザイク部１４０、１４０´における座標変換部１４２、１４２´に格納し、以下、第１〜第３の実施形態と同様に、座標変換部１４２、１４２´において、撮像画像に対して色収差の補正を考慮したサンプリング座標を算出する。

また、次の式のように、実施形態３における（数４）に対して収差係数算出部２２９で算出したｘｙ座標及び収差係数を代入し、色収差行列を求めることができる。なお、次式において、最右辺に位置する行列は、擬似逆行列を示している。

以上のように、第４の実施形態のカラー撮像装置１００Ａによれば、マトリクス状の交点位置に対応付けて色毎のエッジ位置を検出できて、この検出された色毎のエッジ位置にもとづき色収差係数（ｋ_Ｒ、ｋ_Ｂ）を算出でき、この算出された色収差係数を用いて、色モザイク画像からカラー画像を生成する色補間処理（デモザイク処理）と、結像光学系の倍率色収差を補正する処理とを一度の補間演算によって実現することができる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様をとることができる。

例えば、上記第１〜第４の実施形態では、カラーフィルタアレイ１２１が原色ベイヤ配列の場合を例にとって説明したが、これに限定されない。例えば、補色配列のカラーフィルタアレイを用いても良い。

また、第４の実施形態では、撮像装置１００Ａに色収差量検出装置２００を備えたが、色収差量検出装置２００を撮像装置１００Ａと一体に構成することなく外部機器として備え、この外部機器に撮影画像を出力する画像出力部と、外部機器から色収差係数を入力する係数入力手段とを備え、入力した色収差係数を座標変換部１４２、１４２´又は収差係数設定部１９０に格納するように構成してもよい。

また、以上に説明した本実施形態によるデモザイク処理の手法は、ハードウェア構成、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態のデモザイク部１４０，１４０’（画像処理装置）は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明に係る画像処理装置を実施した第１の実施形態および第２の実施形態によるカラー撮像装置の構成例を示す図である。 本実施形態によるカラーフィルタアレイの原色ベイヤ配列を示す図である。 第１の実施形態および第２の実施形態によるデモザイク部の機能構成例を示すブロック図である。 第１〜第３の実施形態のデモザイク部により実行される画像処理の動作例を示すフローチャートである。 第１の実施形態および第２の実施形態のデモザイク部により実行される画像処理の一例を具体的に説明するためのイメージ図である。 本実施形態のバイリニア補間を説明するためのイメージ図である。 第１〜第３の実施形態のデモザイク部により実行される画像処理の他の例を具体的に説明するためのイメージ図である。 本発明に係る画像処理装置を実施した第３の実施形態によるカラー撮像装置の構成例を示す図である。 第３の実施形態による収差係数テーブルの一例を示す図である。 第３の実施形態によるデモザイク部の機能構成例を示すブロック図である。 レンズの倍率色収差を説明するための図である。 倍率色収差による色ズレを説明するための図である。 第４の実施形態によるカラー撮像装置１００Ａの構成例を示す図である。 第４の実施形態における色収差量検出の説明図であって、図１４（ａ）がチャートの形態を表す図、図１４（ｂ）が撮像素子に対するチャートの配置を表す図である。 第４の実施形態における色収差量検出の説明図であって、図１６（ａ）（ｂ）が交点検出の際の説明図、図１６（ｃ）が交点毎にエッジを検出する際の説明図、図１６（ｄ）が交点に対してサンプリング画素列を設定する際の説明図である。 第４の実施形態におけるエッジ検出の説明図である。

符号の説明

１００，１００’，１００Ａ 画像処理装置
１４０，１４０’ デモザイク部
１４１ 色プレーン分解部
１４２，１４２’ 座標変換部
１４３ サンプリング部
１４４ 色生成部
２００ 色収差量検出装置
２２１ フィールドメモリ
２２５ 交点検出処理部
２２６ ＲＧＢエッジ検出処理部
２２８ エッジ位置記憶部
２２９ 収差係数算出部
２３０ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
２３１ ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）

Claims (13)

1. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理装置であって、
   上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解部と、
   上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換部と、
   上記色プレーン分解部により分解された複数の色プレーン毎に、上記座標変換部により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、
   上記サンプリング部により補間生成された各色プレーンの補間値を合成することにより上記カラー画像を生成する色生成部と、
   を備えたことを特徴とする画像処理装置。
2. 上記座標変換部は、上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数と、上記カラー画像に対する画像変形を表す画像変形係数とを用いて、上記カラー画像の画素位置から、上記色収差補正および上記画像変形が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 上記座標変換部は、上記色プレーン分解部により分解された複数の色プレーン毎に、色プレーンによって値の異なる色収差係数と、上記撮像素子に被写体の撮像光を導くための結像光学系に設定されている焦点距離および被写体距離に応じて定まる歪曲収差係数とを用いて、上記カラー画像の画素位置から、上記色収差補正および歪曲収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
4. 上記結像光学系に設定されている焦点距離および被写体距離に応じて、上記座標変換部で使用する上記歪曲収差係数を設定する係数設定部を更に備えた、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 上記色モザイク画像は、上記撮像素子の各画素に対応する位置にそれぞれ赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）の何れかが配されたベイヤー配列のカラーフィルタおよび上記撮像素子によって得られる画像であり、
   上記色プレーン分解部は、互いに角を接する２種類の緑色画素Ｇｒ，Ｇｂをそれぞれ異なる色プレーンに分解する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 上記２種類の緑色画素Ｇｒ，Ｇｂ毎に分解された各色プレーン上でそれぞれ上記サンプリング部により生成された画素値の差分を算出し、当該画素値の差分に基づいて偽色の有無を判定する偽色判定部を更に備えた、
   ことを特徴とする請求項５に記載の画像処理装置。
7. 上記サンプリング部は、上記サンプリング座標における画素値を、その周辺に存在する上記色プレーン上の画素値から補間によって生成する、
   ことを特徴とする請求項１に記載の画像処理装置。
8. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する画像処理方法であって、
   上記色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
   上記色プレーン分解ステップで分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換ステップと、
   上記色プレーン分解ステップで分解された複数の色プレーン毎に、上記座標変換ステップで算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、
   上記サンプリングステップで補間生成された各色プレーンの補間値を合成することにより上記カラー画像を生成する色生成ステップと、
   を有することを特徴とする画像処理方法。
9. 異なる複数の色光を光電変換する画素を有する撮像素子によって得られた、各画素が単色の輝度情報を有した色モザイク画像を、同一の色光の画素値だけを含む複数の色プレーンに分解する色プレーン分解手段、
   上記色プレーン分解手段により分解された複数の色プレーン毎に、色プレーンによって値の異なる係数を用いて、上記色モザイク画像から生成されるカラー画像の画素位置から、色収差補正が施された場合のカラー画像の画素位置に対応する上記色モザイク画像上のサンプリング座標であって上記色プレーン毎に異なるサンプリング座標をそれぞれ算出する座標変換手段、
   上記色プレーン分解手段により分解された複数の色プレーン毎に、上記座標変換部により算出された上記サンプリング座標における画素値を、上記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング手段、および
   上記サンプリング手段により補間生成された各色プレーンの補間値を合成することにより、各画素が複数色の輝度情報を有した上記カラー画像を生成する色生成手段、
   としてコンピュータを機能させるためのプログラム。
10. 異なる複数の色光を光電変換する画素を有する単板式の撮像素子を備えた撮像装置であって、
    上記単板式の撮像素子と、
    上記撮像素子により光電変換された色モザイク画像のアナログ信号をデジタル信号に変換するＡ／Ｄ変換器と、
    上記Ａ／Ｄ変換器より上記デジタル信号として出力される、各画素が単色の輝度情報を有した色モザイク画像を用いて、各画素が複数色の輝度情報を有したカラー画像を生成する請求項１〜３の何れか１項に記載の画像処理装置と、
    を備えたことを特徴とする撮像装置。
11. 上記撮像素子に被写体の撮像光を導くための結像光学系を更に備え、
    上記請求項１〜３の何れか１項に記載の画像処理装置に代えて請求項４または５に記載の画像処理装置を備えたことを特徴とする請求項１０に記載の撮像装置。
12. 所定の画像を撮影することによって前記色収差係数を算出する収差係数算出部を備え、
    前記収差係数算出部によって算出された前記色収差係数を、前記座標変換部又は前記係数設定部に格納する、
    ことを特徴とする請求項１０又は請求項１１に記載の撮像装置。
13. 外部に接続された外部機器に撮影画像を出力する画像出力部と、
    前記外部機器から、前記色収差係数を入力する係数入力手段と、
    を備え、
    入力した前記色収差係数を前記座標計算部又は前記係数設定部に格納する、
    ことを特徴とする請求項１０又は請求項１１に記載の撮像装置。