JP2009100417A - 画像処理装置及び画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】 単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、色補間処理、ブレや歪みに応じた補正等を、解像度を損なうことなくて簡素な処理工程で実現できる画像処理装置、画像処理方法、画像処理プログラムを提供する。
【解決手段】 被写体像と撮像素子５とのブレの補正値を生成するブレ検出部４０、カラー画像の画素位置とブレの補正値とから、画像変形が施された際の、カラー画像の画素位置に対応付けられた色モザイク画像上のサンプリング座標を設定するサンプリング座標設定部２９、色プレーン分解部２１により分解された複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部３２、各色プレーンのサンプリング座標における画素値を合成して、カラー画像の画素信号を生成する色生成部３３等を備える。
【選択図】図１

Description

本発明は、電子的な撮像ユニットを介して撮像された被写体像の画像処理装置、画像処理方法、画像処理プログラムに関し、特に、単板式のカラーフィルタを有する撮像素子を介して出力されて画素毎に単一色の輝度情報のみを有するモザイク画像から、画素毎に複数色の輝度情報を有するカラー画像を生成すると共に、撮像ユニットと被写体との相対的なぶれを補正する技術に関するものである。

従来、デジタルカメラなどの撮像ユニットにおいて、レンズを介して撮像素子に被写体像を結像し、この撮像素子によって被写体像を光電変換して画像信号を生成する画像処理装置及び画像処理方法が知られている。

また、単板式の撮像素子として、マトリクス状に複数の光電変換素子が構成されると共に、その前面に光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）の各カラーフィルタが備えられ、このカラーフィルタを介して出力した単一色の画像信号に信号処理を加えてカラー画像を生成する画像処理装置及び画像処理方法がある。

つまり、単板式の撮像素子を介して出力された画像では、各画素が単一色の色情報しか持たない色モザイク画像であって、カラー画像を生成するために、各画素に赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）等の複数の色情報を備える必要がある。

このため単板式撮像素子を用いた画像処理では、各画素がＲ、Ｇ、Ｂ成分のうちの何れかのみの色情報を有する色モザイク画像にもとづいて、いわゆるデモザイク処理（色補間処理ともいう）を行っている。ここで、デモザイク処理とは、色モザイク画像の各画素において不足する他の色情報を、その画素周辺の他の画素の色情報を用いて補間演算することにより、各画素が夫々Ｒ、Ｇ、Ｂ成分の全ての色情報を有するカラー画像を生成する処理である（所謂、色補間処理である）。

例えば、単板式撮像素子におけるカラーフィルタが、マトリクス状にＲ（赤）Ｇ（緑）Ｂ（青）の３色からなるベイヤー（Ｂａｙｅｒ）配列で構成され、この撮像素子を介して出力された画像信号のＲが１画素、Ｇが２画素、Ｂが１画素からなる４画素を１単位として、これらの信号から、画素毎に複数の色成分の輝度を有するように、カラー画像の画素に対応付けた画像信号を補間生成しているものがある（例えば、特許文献１参照）。

また、デジタルカメラ等のモバイル装置では、被写体を撮影する際に、デジタルカメラがユーザの意思に反して動いてしまうことによる画像の乱れ、所謂ブレや歪みが問題となる。そこで、カメラの動きをジャイロや画像のデジタル信号処理によって検出し、レンズの光軸を光学的に動かしたり、画像信号を電子的に動かしたりする（つまり、画素位置を補正する）ことによって、ブレや歪みを補正する技術が知られている（例えば、特許文献２参照）。

また、特許文献２では画素位置の補正を２画素単位の平行移動によって行っているが、より高品位の画質を得るためには、平行移動のみならず回転やアオリといった画像変形や、サブピクセル単位での位置補正が必要となっている。そして、このようなサブピクセル単位での位置補正では、元々や画像がない位置に画素を生成するために、要求される位置の画素値を近傍画素から補間する必要がある（例えば、特許文献３参照）。
特表２００４−５３４４２９号公報 特開２００６−１５７５６８号公報 特開２０００−２９８３００号公報

しかしながら、従来の技術では、色補間処理とブレ補正のための補間処理とが別々に行われ、各々一つのカラー画素が複数画素からの補間によって生成されるので、解像度を損なう虞があると共にそれらの処理負荷が大きくなり、特に近年の高画素化に伴って、改善の余地があった。

つまり、ＲＧＢ３原色のベイヤー配列のカラーフィルタを有する単板式撮像素子を介して出力される色モザイク画像から所定のカラー画像を生成する際には、画素毎に不足する色成分を補間処理で生成した後、ブレや歪みの補正で補間処理を行うことになるので、補間処理の回数が増加して、補間処理負荷が大きくなると共に、生成される画像の画質を損なう虞があった。

そこで、本発明は、単板式撮像素子を用いて得られた色モザイク画像からカラー画像を生成する際に、画素毎に複数の色情報を生成する色補間処理、ブレや歪みに応じた補正等を、カラー画像の解像度を極力損なうことなくて簡素な処理工程で実現できる画像処理装置、画像処理方法、画像処理プログラムを提供することを目的とする。

かかる目的を達成するためになされた請求項１に記載の発明は、撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理装置であって、前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解部と、前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的な変位であるブレの補正値を生成するブレ検出部と、前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を設定するサンプリング座標設定部と、前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成部と、を備えていることを特徴とする。

請求項１に記載の画像処理装置によれば、所定の画像変形を施してカラー画像を生成する際に、色モザイク画像における各画素座標に対して、被写体と撮像ユニットとの相対的な変位であるブレの補正値を生成するブレ検出部と、カラー画像の画素位置とブレの補正値とから、画像変形が施された際の、カラー画像の画素位置に対応付けられた色モザイク画像上のサンプリング座標を設定するサンプリング座標設定部と、色プレーン分解部により分解された複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、カラー画像の画素信号を生成する色生成部とを備えていることにより、画素毎に複数の色情報を生成する色補間処理、ブレに応じた補正を行う画像変形等を、カラー画像の解像度を極力損なうことなくて簡素な処理工程で実現できる。

つまり、色モザイク画像からカラー画像を生成する際に、サンプリング座標が色補間、ブレ補正に対応付けられて設定されるので、色補間処理及び画像変形等の補間処理を別々に行うよりも、画質劣化を低減して解像度の良好なカラー画像を得ることができると共に、これらの処理を簡素化できる。

また、請求項１に記載の画像処理装置は、請求項２に記載の発明のように、前記ブレ検出部が、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、すくなくとも一つのブレに対する補正値を生成するように構成されていることにより、サンプリング座標がこれらのブレを打ち消すように設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項１または請求項２に記載の画像処理装置は、請求項３に記載の発明のように、前記サンプリング座標設定部が、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定するように構成されていることにより、サンプリング座標が所望の画像変形に対応付けられて設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項１乃至請求項３の何れか記載の画像処理装置は、請求項４に記載の発明のように、前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータであることにより、サンプリング座標がこれらの何れかの画像変形に対応付けられて設定され、簡素な処理で所望の画像変形ができて、且つ、解像度及び画像品位を向上できる。

また、請求項１乃至請求項４の何れか記載の画像処理装置は、請求項５に記載の発明のように、前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えていることにより、サンプリング座標がブレ補正と歪曲収差の補正の双方に対応付けられて設定され、簡素な処理で所望のブレ補正に加えて歪曲収差の補正もできて、且つ、解像度及び画像品位を向上できる。

次に、請求項６に記載の発明は、撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理方法であって、前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的なブレの補正値を算出するブレ検出ステップと、前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を設定するサンプリング座標設定ステップと、前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成ステップと、を用いることを特徴とする。

請求項６に記載の画像処理方法によれば、色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、色モザイク画像における各画素座標に対して、被写体像と前記撮像素子との相対的なブレの補正値を算出するブレ検出ステップと、カラー画像の画素位置とブレの補正値とから、画像変形が施された際の、カラー画像の画素位置に対応する色モザイク画像上のサンプリング座標を設定するサンプリング座標設定ステップと、色プレーン分解部により分解された複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、カラー画像の画素信号を生成する色生成ステップとを用いることにより、請求項１に記載の発明と同様に、画素毎に複数の色情報を生成する色補間処理、ブレに応じた補正を行う画像変形等を、カラー画像の解像度を極力損なうことなくて簡素な処理工程で実現できる。

また、請求項６に記載の画像処理方法は、請求項７に記載の発明のように、前記ブレ検出ステップが、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、すくなくとも一つのブレに対する補正値を生成することにより、請求項２に記載の発明と同様に、サンプリング座標がこれらのブレを打ち消すように設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項６または請求項７に記載の画像処理方法は、請求項８に記載の発明のように、前記サンプリング座標設定ステップが、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定することにより、請求項３に記載の発明と同様に、サンプリング座標が画像変形を打ち消すように設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項６乃至請求項８に記載の画像処理方法は、請求項９に記載の発明のように、前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータであることにより、請求項４に記載の発明と同様に、サンプリング座標がこれらの何れかの画像変形に対応付けられて設定され、簡素な処理で所望の画像変形ができて、且つ、解像度及び画像品位を向上できる。

また、請求項６乃至請求項９の何れか記載の画像処理方法は、請求項１０に記載の発明のように、前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えていることにより、請求項５に記載の発明と同様に、サンプリング座標がブレ補正と歪曲収差の補正の双方に対応付けられて設定され、簡素な処理で所望のブレ補正に加えて歪曲収差の補正もできて、且つ、解像度及び画像品位を向上できる。

次に、請求項１１に記載の発明は、撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成するようにコンピュータに実行させる画像処理プログラムであって、前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的なブレの補正値を算出するブレ検出ステップと、前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を設定するサンプリング座標設定ステップと、前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成ステップと、をコンピュータに実行させることを特徴とする。

請求項１１に記載の画像処理プログラムによれば、色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、色モザイク画像における各画素座標に対して、被写体像と撮像素子との相対的なブレの補正値を算出するブレ検出ステップと、カラー画像の画素位置とブレの補正値とから、画像変形が施された際の、カラー画像の画素位置に対応付けられた色モザイク画像上のサンプリング座標を設定するサンプリング座標設定ステップと、色プレーン分解部により分解された複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、カラー画像の画素信号を生成する色生成ステップと、をコンピュータに実行させることにより、請求項１に記載の発明と同様に、画素毎に複数の色情報を生成する色補間処理、ブレに応じた補正を行う画像変形等を、カラー画像の解像度を極力損なうことなくて簡素な処理工程で実現できる。

また、請求項１１に記載の画像処理プログラムは、請求項１２に記載の発明のように、前記ブレ検出ステップが、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、すくなくとも一つのブレに対する補正値を生成する、
ようにコンピュータに実行させることにより、請求項２に記載の発明と同様に、サンプリング座標がこれらのブレを打ち消すように設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項１１または請求項１２に記載の画像処理プログラムは、請求項１３に記載の発明のように、前記サンプリング座標設定ステップが、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定するようにコンピュータに実行させることにより、請求項３に記載の発明と同様に、サンプリング座標が所望の画像変形に対応付けられて設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、請求項１１乃至請求項１３の何れか記載の画像処理プログラムは、請求項１４に記載の発明のように、前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なく一つの変形補正のパラメータであることにより、請求項４に記載の発明と同様に、サンプリング座標がこれらの何れかの画像変形に対応付けられて設定され、簡素な処理で所望の画像変形ができて、且つ、カラー画像の解像度及び画像品位を向上できる。

また、請求項１１乃至請求項１４の何れか記載の画像処理プログラムは、請求項１５に記載の発明のように、前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えていることにより、請求項５に記載の発明と同様に、サンプリング座標がブレ補正と歪曲収差の補正の双方に対応付けられて設定され、簡素な処理で、所望のブレ補正に加えて歪曲収差の補正もでき、且つ、カラー画像の解像度及び画像品位を向上できる。

本発明の画像処理装置及び画像処理方法、画像処理プログラムは、所定の画像変形を施してカラー画像を生成する際に、色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解すると共に、色モザイク画像における各画素座標に対して、被写体と撮像ユニットとの相対的な変位であるブレの補正値を生成し、カラー画像の画素位置とブレの補正値とから、画像変形が施された際の、カラー画像の画素位置に対応付けられた色モザイク画像上のサンプリング座標を設定して、色プレーン分解部により分解された複数の色プレーン毎に、サンプリング座標における画素値を、色プレーン内に含まれる同一の色光の画素値から補間生成し、次いで、各色プレーンのサンプリング座標における画素値を合成して、カラー画像の画素信号を生成することにより、色補間処理及びブレに応じた補正を行う画像変形等を、簡素な画像処理でカラー画像の解像度を極力損なうことなく行うことができて、高品位なカラー画像を得ることができる。

つまり、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、色モザイク画像からカラー画像を生成する際に、サンプリング座標が色補間とブレ補正の双方を考慮して設定されるので、色補間処理及び画像変形等の補間処理を別々に行うよりも、画質劣化を低減して解像度の良好なカラー画像を得ることができると共に、これらの処理を簡素化できる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、ブレ検出によって、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、すくなくとも一つのブレに対する補正値を生成することにより、サンプリング座標がこれらのブレを打ち消すように設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、画像変形のパラメータを用いて、該画像変形を施した際のサンプリング座標を生成することにより、サンプリング座標が所望の画像変形に対応付けられて設定され、簡素な処理で、解像度が良好で高品位なカラー画像を得ることができる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータであることにより、サンプリング座標がこれらの何れかの画像変形に対応付けられて設定され、簡素な処理で所望の画像変形ができて、且つ、解像度及び画像品位を向上できる。

また、本発明の画像処理装置及び画像処理方法、画像処理プログラムは、画像変形のパラメータが、撮像ユニットに起因する歪曲収差（所謂、撮像ユニット内に組み込まれた撮像レンズに起因する歪曲収差である）の補正も兼ね備えていることにより、サンプリング座標が色補間とブレ補正と歪曲収差の補正の三者を考慮しこれらに対応付けられて設定され、簡素な処理で所望の画像変形に加えて歪曲収差の補正もできて、且つ、解像度及び画像品位を向上できる。

次に、本発明の画像処理装置及び画像処理方法、画像処理プログラムの一実施例を、図面にもとづいて説明する。

図１は、本発明の画像処理装置及び画像処理方法、画像処理プログラムが適用された一実施例の撮像装置１の構成を表したブロック図、図２は、同実施例における色プレーン分解部と色生成部の機能説明図であって、（ａ）が撮像ユニット２から出力されるベイヤー配列の色モザイク画像を表した図、（ｂ）、（ｃ）、（ｄ）、（ｅ）が、夫々、色プレーン分解部で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンの配置を表した図、（ｆ）がサンプリング座標における画素値を補間算出する際の説明図である。

また、図３は、同実施例における座標設定の説明図、図４は、同実施例の画像処理及び画像処理プログラムにおけるカラー画像生成の手順を表したフローチャートである。

撮像装置１は、例えば携帯電話などのモバイル機器に搭載されたカメラモジュールであって、図１に表したように、被写体像Ｐを撮像素子５に導いてデジタル画像信号Ｃ（モザイク状の画像信号である）として出力する撮像ユニット２と、撮像ユニット２を介して出力されたデジタル画像信号Ｃに基づいて、被写体に対する撮像ユニット２のブレ補正や所定の画像変形を行うと共に画素毎に複数の色情報を備えたカラー画像を生成する画像処理装置１００とによって構成されている。

撮像ユニット２は、被写体像Ｐを撮像素子５に導く撮像レンズ３、受光した撮像光を電気量に変換して出力する撮像素子（ＣＣＤ：Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）５、撮像素子５から出力されるアナログ画像信号をデジタル画像信号Ｃに変換して出力するＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）６、撮像素子５及びＡＦＥ６を所定の周期で制御するＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）１３、撮像レンズ３の光軸方向（Ｚ方向）のスライド駆動を行うレンズ駆動部１２、センサ１１を介して撮像レンズ３のスライド量を検出する検出部１０、被写体に対する撮像装置１のブレを検知し、そのブレ量に応じた電気信号を出力する角速度センサ１５等が備えられている。

本実施例における撮像ユニット２は、レンズ駆動部１２を介して、撮像レンズ３が光軸方向にスライド自在に構成され、撮像レンズ３の焦点距離や撮像レンズ３から被写体までの被写体距離といったレンズステートが可変可能に構成されている、所謂ピント調整機構付きのズームレンズを備えている。

撮像素子５は、単板式撮像素子であって、複数の光電変換素子がマトリクス状に配置され、その前面には光電変換素子に対応付けてＲ（赤）Ｇ（緑）Ｂ（青）３原色のベイヤー（Ｂａｙｅｒ）配列からなるカラーフィルタ５ａを備え、各色のフィルタ部を通過した単一色の光量を電気信号に変換するように構成されている。

原色ベイヤー配列は、図２（ａ）に表したように、Ｇ色のフィルタが市松模様で配置され、Ｇ色フィルタとＲ色フィルタが交互に配置された列とＧフィルタとＢフィルタが配置された列とが交互に構成されている。また、本実施例では、図２（ａ）において、Ｒに並んで一方向に配置されたＧ色をＧｒと表し、Ｂに並んで一方向に配置されたＧ色をＧｂと表す。

ＡＦＥ６は、撮像素子５を介して出力されたアナログ画像信号に対してノイズを除去する相関二重サンプリング回路（ＣＤＳ：Ｃｏｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）７、相関二重サンプリング回路７で相関二重サンプリングされた画像信号を増幅する可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）８、可変利得増幅器８を介して入力されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器９、等によって構成され、撮像素子５から出力された画像信号を、デジタル画像信号Ｃに変換して画像処理装置１００に出力する。

なお、撮像ユニット２において、撮像素子５、相関二重サンプリング回路７、可変利得増幅器８、Ａ／Ｄ変換器９等に代えて、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いてもよい。撮像素子５から出力される画素毎の信号が単一色の情報しかもたないので、撮像ユニット２から画像処理装置１００に、モザイク状の画像信号が出力される。

角速度センサ１５は、例えば公知の振動ジャイロによって構成され、当該撮像ユニット２の、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレ等に応じた電気信号（以下、ブレ信号という）を生成して画像処理装置に出力する。なお、角速度センサ１５に代えて、ピエゾ型の３軸加速度センサを用いたり、互いに直交する３軸方向に対応付けて複数の加速度センサを用いたりしてもよい。さらに、ブレを検出する際に、前述のセンサによるブレ検出の代わりに、画像処理装置１００において、所定時間内において撮影される複数の画像間の画像信号の差分を検出して、これらの差分にもとづいて前述のブレを検出してもよい。

次に、画像処理装置１００は、撮像ユニット２から出力されたモザイク画像を、Ｒ、Ｇｒ、Ｇｂ、Ｂの画素毎に分離する色プレーン分解部２１、出力するカラー画像の画素を走査してその座標を処理対象画素Ｔとして順次設定する画素走査部２５、焦点距離や被写体との距離といった撮像レンズ３のレンズステートを検出するレンズステート検出部３７、撮像レンズ３のレンズステートに対応付けて撮像ユニット２の歪曲収差を補正するための歪曲収差係数を記録した収差係数テーブル３８、レンズステート検出部３７及び収差係数テーブル３８からの情報に基づいて歪曲収差の補正パラメータを設定する収差係数設定部３９、角速度センサ１５から出力されたブレ信号に基づいて、撮像ユニット２から入力された色モザイク画像に対するブレの補正値を算出するブレ検出部４０、等を備えている。

また、画像処理装置１００は、画素走査部２５から出力された処理対象画素Ｔの位置を表す信号と、ブレ検出部４０と、収差係数設定部３９と、から出力された信号にもとづいてＲ、Ｇ、Ｂの色毎にサンプリング座標を設定するサンプリング座標設定部２９、サンプリング座標設定部２９で設定されたサンプリング座標における、Ｒ、Ｇｒ、Ｇｂ、Ｂの色プレーン毎の画素値をサンプリングするサンプリング部３２、サンプリング部３２を介して得られたＲ、Ｇｒ、Ｇｂ、Ｂの色プレーン毎の画素値を合成して画素毎に複数の色成分を備えた色データを生成する色生成部３３等を備えている。

さらに、画像処理装置１００は、色生成部３３から出力されたカラー画像信号に対して色画像の見栄えを良くするために公知のガンマ補正や彩度補正、エッジ強調等を行う視覚補正部３４、視覚補正部３４を介して出力されたカラー画像を例えばＪＰＥＧ等の方法で圧縮する圧縮部３５、圧縮部３５を介して出力されたカラー画像を例えばフラッシュメモリ等の記録媒体に記録する記録部３６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８、ＲＯＭ（Ｒｅｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１９等によって構成され、ＣＰＵ１８がＲＯＭ１９に格納された制御用プログラムに従って、当該撮像装置１及び画像処理装置１００の各処理を制御する。

色プレーン分解部２１は、ベイヤー配列に対応付けられて、Ｒの画素信号を記憶するＲフィールドメモリ２２と、Ｇｒの画素信号を記憶するＧｒフィールドメモリ２３ａと、Ｇｂの画素信号を記憶するＧｂフィールドメモリ２３ｂと、Ｂの画素信号を記憶するＢフィールドメモリ２４と、によって構成され、ＣＰＵ１８からの指令に基づき、これらの画素信号（以下、画素値という）をサンプリング部３２に出力する。

ブレ検出部４０は、角度センサ１５から出力されたブレの電気信号に基づいて、被写体に対する撮像ユニット２のブレを検出して、ブレを補正するためのブレ補正パラメータ（ｚ、ｄｘ、ｄｙ、θ、ψｙ、ψｘ等）をサンプリング座標設定部２９に出力する。

ブレ補正パラメータ（以下、ブレ補正値ともいう）において、被写体に対して、ｚが撮像ユニット２の前後方向のブレに伴う被写体像の大きさの補正値、ｄｘが左右方向あるいはヨー軸のブレに伴う被写体像の左右位置の補正値、ｄｙが上下方向あるいはピッチ軸のブレに伴う被写体像の上下位置の補正値、θが前後方向を回転軸とするブレに伴う被写体像の回転の補正値、ψｙが上下方向あるいはピッチ軸のブレに伴う被写体像の上下方向のアオリの補正値、ψｘが左右方向あるいはヨー軸のブレに伴う被写体像の左右方向のアオリの補正値である。また、ブレ補正パラメータｚには、デジタルズームのズーム倍率を含めてもよい。

次に、サンプリング座標設定部２９は、ブレ検出部４０で生成されたブレ補正値に基づき、画素走査部２５から出力されたカラー画像の処理対象画素Ｔの位置に対応する色モザイク画像上の座標を演算する。

まず、座標系として、画素位置に対応つけられた座標系をｕｖで表し、補正計算で用いる便宜上の座標系をｘｙで表す。また、添え字ｓは色モザイク画像上での座標を示し、添え字ｄは出力カラー画像上での座標を示す。

また、図３に表したように、出力カラー画像において、原点を画像中心、最大の像高さを１、画面の左右方向をｘとして画面の上下方向をｙとし、左右方向に１６００個、上下方向に１２００個の画素が等間隔で配置されているものとする。

そして、ｕｖ座標系において、画素座標（ｕ，ｖ）を左上から右方向に（０、０）、（１，０）、（２、０）、（３、０）…（１５９９、０）、次の行を左上から右方向に（０、１）、（１，１）、（２、１）、（３、１）…（１５９９、１）と割り振り、処理対象画素Ｔの座標（ｕ_ｄ，ｖ_ｄ）を、ｘｙ座標（ｘ_ｄ，ｙ_ｄ）に（式１）によって変換する。

次に、前述のブレ補正のパラメータ（ｚ、θ、ｄｘ、ｄｙ、ψｘ、ψｙ）を適用し、ブレ補正後の座標（ｘ_ｓ、ｙ_ｓ）を（式２）によって算出する。（式２）において、ｘ_ｓ＝ｗｘ_ｓ／ｗ、ｙ_ｓ＝ｗｙ_ｓ／ｗ、とする。

この際、ブレ検出部４０は、ブレ補正パラメータ（ｚ、ｄｘ、ｄｙ、θ、ψｙ、ψｘ等）をサンプリング座標設定部２９に出力する代わりに、このブレ補正パラメータを含む（式２）の行列自体を、サンプリング座標設定部２９に出力してもよい。そして、サンプリング座標設定部２９は、その行列自体をそのまま適用して、ブレ補正後の座標（ｘ_ｓ、ｙ_ｓ）を算出すればよい。

さらに、ブレ補正後の座標に対して歪曲収差補正の係数ｋ_１、ｋ_２、ｐ_１、ｐ_２を適用し、色プレーン分解部２１で生成されたＧｒプレーン及びＧｂプレーンにおけるサンプリング座標ｘ_sＧ、ｙ_sＧを、ｘ_sＧ＝ｘ´（１＋ｋ_１ｒ´^２＋ｋ_２ｒ´^４）＋２ｐ_１ｘ´ｙ´＋ｐ_２（ｒ´^２＋２ｘ´^２）、ｙ_sＧ＝ｙ´（１＋ｋ_１ｒ´^２＋ｋ_２ｒ´^４）＋２ｐ_２ｘ´ｙ´＋ｐ_１（ｒ´^２＋２ｙ´^２）の演算式で算出する。この際、ｒ´^２≡ｘ´^２＋ｙ´^２とする。

ｋ_１、ｋ_２、ｐ_１、ｐ_２は、撮像レンズ３の歪曲収差を示す係数であって、ｋ_１、ｋ_２が放射線方向の歪み、ｐ_１、ｐ_２が接線方向の歪を示している。

さらに、撮像レンズ３の色収差を考慮してＲプレーン、Ｂプレーンにおけるサンプリング座標（ｘ_ｓＲ，ｙ_ｓＲ）（ｘ_ｓＢ，ｙ_ｓＢ）を（式３）、（式４）によって算出する。

ここで、ｋ_Ｒ、ｋ_Ｂは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＲ、Ｂプレーンの倍率、ｄ_Ｒｘ、ｄ_Ｒｙは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＲプレーンの平行ズレ量、ｄ_Ｂｘ、ｄ_Ｂｙは、Ｇｒプレーン及びＧｂプレーンを基準にした際のＢプレーンの平行ズレ量である。

次に、色モザイク画像も、左右方向に１６００個、上下方向に１２００個の画素が等間隔で配置されている画素配列であって、画素番号（ｕ_ｓ，ｖ_ｓ）が出力画像（カラ−画像）と同様に割り振られているとすると、（ｘ_ｓＲ，ｙ_ｓＲ、）、（ｘ_ｓＧ、ｙ_ｓＧ）、（ｘ_ｓＢ，ｙ_ｓＢ）に対応する入力画像上のサンプリング座標（ｕ_ｓＲ，ｖ_ｓＲ）、（ｕ_ｓＧ，ｖ_ｓＧ）、（ｕ_ｓＢ，ｖ_ｓＢ）を（式５）、（式６）（式７）によって算出する。

サンプリング座標設定部２９において算出されたサンプリング座標（ｕ_ｓＲ，ｖ_ｓＲ）、（ｕ_ｓＧ，ｖ_ｓＧ）、（ｕ_ｓＢ，ｖ_ｓＢ）の値は、整数になると限らず、一般には非整数になる。

次に、図２に表したように、サンプリング部３２は、色プレーン分解部２１で生成した各色プレーン（Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーン）から、サンプリング座標設定部２９で算出したサンプリング座標におけるサンプリング値を算出して出力する。

Ｒプレーンからは（ｕ_ｓＲ，ｖ_ｓＲ）、Ｇｒプレーンからは（ｕ_ｓＧ，ｖ_ｓＧ）、Ｇｂプレーンからは（ｕ_ｓＧ，ｖ_ｓＧ）、Ｂプレーンからは（ｕ_ｓＢ，ｖ_ｓＢ）における値を出力し、出力画像（カラー画像）上の処理対象画素Ｔ（ｕ_ｄ，ｖ_ｄ）におけるサンプリング値Ｒｓ、Ｇｒｓ、Ｇｂｓ、Ｂｓを得る。

この際、前述のように、サンプリング位置（ｕ_ｓ，ｖ_ｓ）が整数座標とは限らないので、（ｕ_ｓ，ｖ_ｓ）を囲む４つの有値画素から線形補間を行ってサンプリング値を算出する。

図２に表したように、Ｒプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンのどのプレーンも、縦横の格子点状に４つの有値画素を持つため、サンプリング座標４０１、４０２、４０３、４０４を囲む４つの有値画素は、当該サンプリング座標ｕ_ｓＲが（１００．８，１０１．４）であれば、これを囲む４つの画素（ｕ，ｖ）が、（１００，１００）、（１００，１０２）、（１０２，１００）、（１０２，１０２）となる。

そして、図２（ｆ）に表したように、サンプリング座標を介して対向する有値画素間の距離の比（ここでは、ｘ方向が０．４：０．７、ｙ方向が０．７：０．３である）を求め、４つの有値画素の画素値を用いて、サンプリング位置（１０１．８，１０１．４）におけるＲの画素値を補間によって算出する。

例えば、Ｒプレーンに対して、４つの有値画素の画素値をＲ（１００，１００）、Ｒ（１００，１０２）、Ｒ（１０２，１００）、Ｒ（１０２，１０２）で表し、サンプリング位置（１００８．０，１０１．４）のＲの画素値をＲ（１０８．０，１０１．４）で表すと、Ｒプレーン上でのサンプリング座標４０１の画素値Ｇ（１００．８，１０１．４）を、Ｒ（１００．８，１０１．４）＝０．６＊０．３＊Ｒ（１００，１００）＋、０．６＊０．７＊Ｒ（１００，１０２）＋０．４＊０．３＊Ｒ（１０２，１００）＋０．４＊０．７＊Ｒ（１０２，１０２）、の演算式によって算出できる。

Ｇｒ、Ｇｂ、Ｂプレーン上でのサンプリング座標４０２、４０３、４０４の画素値も、Ｒプレーン同様にサンプリング座標を囲む４つの有値画素の画素値から補間によって算出できる。そして、サンプリング部では、出力画像における全ての画素に対して、Ｒ、Ｇｒ、Ｇｂ、Ｂのサンプリング値を算出する。

次に、色生成部３３は、サンプリング部３２で得られた色プレーン毎のサンプリング値Ｒｓ、Ｇｒｓ、Ｇｂｓ、Ｂｓから画素毎に色情報（ＲＧＢ成分）を生成して出力画像（カラー画像）を生成する。

この際、例えば、Ｒ及びＢの成分にはサンプリング値Ｒｓ、Ｂｓをそのまま用い、Ｇ成分には、ＧｒｓとＧｂｓの平均を用いてもよいが、ここではさらに偽色抑制を行う。即ち、撮像素子５によって構成されるベイヤー配列のカラーイメージセンサでは、ナイキスト周白黒の縞模様に対して赤や青の偽色が発生し易いので、ＧｒとＧｂの差分をとることでこれらの縞模様を検出することができ、偽色を抑制できる。

次に、視覚補正部３４でトーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正を行い、その後、圧縮部３５でカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録部３６で、圧縮されたデジタル画像信号を記録媒体に記憶する。

次に、図４に基づいて、撮像ユニット２を介して入力した色モザイク画像（入力画像）からブレ補正及び歪曲収差を補正してカラー画像（出力画像）を生成する際の手順を説明する。この手順は、ＣＰＵ１８がＲＯＭ１９に格納されたプログラムに基づいて、各機能部に指令信号を与えて実行する。また、図４におけるＳはステップを表している。

まず、この手順は、オペレータによって画像処理装置１００に起動信号が入力された際にスタートする。

次いで、Ｓ１１０において、撮像ユニット２を介して画像信号を画像処理装置１００に読み込み、色プレーン分解部２１で、ベイヤー配列に対応付けて、Ｒの画素信号、Ｇｒの画素信号、Ｇｂの画素信号、Ｂの画素信号毎に記憶し、その後、Ｓ１９０のサンプリングステップに移る。

一方、Ｓ１３０において、出力画素走査部２５を用いて、出力画像（カラー画像）を走査して処理対象画素を順次取得し、その後、Ｓ１８０に移る。

また、Ｓ１４０において、レンズステート検出部３７を用いて、焦点距離や被写体距離に対応付けられたレンズステートを検出し、その後、Ｓ１５０において、レンズステートに対応付けられて格納されている収差係数（ｋ_１、ｋ_２、ｐ_１…、）を収差係数テーブル３８から取得し、その後、Ｓ１８０に移る。

一方、Ｓ１６０において、角速度センサ１５及びブレ検出部４０を用いて、撮像装置１Ａのブレ量を検出し、その後、Ｓ１７０に移り、Ｓ１７０でブレ量補正のためのパラメータ（ｚ、θ、ｄｘ、ｄｙ、ψｘ、ψｙ）を取得し、その後、Ｓ１８０に移る。
とブレする。

次いで、Ｓ１８０において、Ｓ１５０で取得した収差係数、Ｓ１７０で取得したブレ補正パラメータ等を用い、Ｓ１３０で取得した出力画像（カラー画像）の処理対象画素位置に対応する入力画像（色モザイク画像）上のサンプリング座標（ｕ_ｓ，ｖ_ｓ）を算出し、その後、Ｓ１９０に移る。

次いで、Ｓ１９０において、サンプリング部３２を用いて、色プレーン分解部２１で生成された各色プレーンから、サンプリング座標設定部２９で算出したサンプリング座標（ｕ_ｓ，ｖ_ｓ）におけるＲ、Ｇｒ、Ｇｂ，Ｂ毎のサンプリング値（サンプリング位置における色毎の画素値である）を算出し、その後、Ｓ２００に移る。

次いで、Ｓ２００において、色生成部３３を用いて、サンプリング部３２で算出された各色のサンプリング値を合成することにより、処理対象画素に複数色の色情報を生成し、その後、Ｓ２１０に移る。

次いで、Ｓ２１０において、出力画像内における次の走査画素の有無を判定し、画素無し（Ｎｏ）と判定された際にはＳ２２０に移り、画素有り（Ｙｅｓ）と判定された際にはＳ１８０〜Ｓ２１０を繰り返し、Ｓ２１０で画素無し（Ｎｏ）に至った際にＳ２２０に移る。

次いで、Ｓ２２０において、視覚補正部３４を用いて、色生成部３３で生成されたカラー画像に対して、トーンカーブ（ガンマ）補正、彩度強調、エッジ強調といった画像補正を行い、その後、Ｓ２３０に移る。

次いで、Ｓ２３０において、圧縮部３５を用いて、視覚補正部３４を介して出力されたカラー画像のデジタル画像信号をＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）等の方法で圧縮し、記録時の画像データのサイズを小さくし、その後、Ｓ２４０に移る。

次いで、Ｓ２４０において、記録部３６を用いて、圧縮されたデジタル画像信号をフラッシュメモリ等の記録媒体に記憶し、その後、本画像処理プログラムを終了する。

以上のように、本実施例に記載の画像処理装置１００及び画像処理方法及び画像処理プログラムによれば、収差係数設定部３９で歪曲収差補正のための収差係数を設定すると共に、ブレ検出部４０でブレ補正のためのパラメメータを設定し、両者をデモザイク時に適用することにより、デモザイクと共にブレ補正及び歪曲収差補正をできて、それらの処理工程を別々に行うよりも、画像処理を簡素化できると共に、解像度が良好で高品位なカラー画像を得ることができる。

以上、本発明の一実施例について説明したが、本発明は、前記実施例に限定されるものでなく、種々の態様を取ることができる。例えば、撮像装置１において、撮像レンズ３、レンズ駆動部１２、検出部１０を一体のレンズユニットとして着脱交換できるように構成し、収差係数テーブル３８や収差係数設定部３９、角速度センサ１５等をレンズユニット側に備えてもよい。

本発明の画像処理装置及び画像処理方法、画像処理プログラムが適用された一実施例の撮像装置１の構成を表したブロック図である。 同実施例における色プレーン分解部と色生成部の機能説明図であって、（ａ）が撮像ユニット２から出力されるベイヤー配列の色モザイク画像を表した図、（ｂ）、（ｃ）、（ｄ）、（ｅ）が、夫々、色プレーン分解部で生成されたＲプレーン、Ｇｒプレーン、Ｇｂプレーン、Ｂプレーンの配置を表した図、（ｆ）がサンプリング座標における画素値を補間算出する際の説明図である。 同実施例における、座標設定の説明図である。 同実施例の画像処理及び画像処理プログラムにおけるカラー画像生成の手順を表したフローチャートである。

符号の説明

１…撮像装置、２…撮像ユニット、３…撮像レンズ、５…撮像素子、５ａ…ベイヤー配列のカラーフィルタ、６…ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）、７…相関二重サンプリング回路、８…可変利得増幅器（ＡＧＣ：Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）、９…Ａ／Ｄ変換器、１０…検出部、１１…センサ、１２…レンズ駆動部、１３…ＴＧ（Ｔｉｍｉｎｇ Ｇｅｎｅｒａｔｏｒ）、１５…角速度センサ、１８…ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、１９…ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、２１…色プレーン分解部、２２…Ｒフィールドメモリ、２３ａ…Ｇｒフィールドメモリ、２３ｂ…Ｇｂフィールドメモリ、２４…Ｂフィールドメモリ、２５…出力画像走査部、２９…サンプリング座標設定部、３２…サンプリング部、３３…色生成部、３４…視覚補正部、３５…圧縮部、３６…記録部、３７…レンズステート検出部、３８…収差係数テーブル、３９…収差係数設定部、４０…ブレ検出部、１００…画像処理装置。

Claims (15)

1. 撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理装置であって、
   前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解部と、
   前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的な変位であるブレの補正値を生成するブレ検出部と、
   前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、
   前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を
   設定するサンプリング座標設定部と、
   前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリング部と、
   前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成部と、
   を備えていることを特徴とする画像処理装置。
2. 前記ブレ検出部が、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、少なくとも一つのブレに対する補正値を生成する、
   ように構成されていることを特徴とする請求項1に記載の画像処理装置。
3. 前記サンプリング座標設定部が、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定する、
   ように構成されていることを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータである、
   ことを特徴とする請求項１乃至請求項３の何れか記載の画像処理装置。
5. 前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えている、
   ことを特徴とする請求項１乃至請求項４の何れか記載の画像処理装置。
6. 撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成する画像処理方法であって、
   前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
   前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的なブレの補正値を算出するブレ検出ステップと、
   前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、
   前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を
   設定するサンプリング座標設定ステップと、
   前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、
   前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成ステップと、
   を用いることを特徴とする画像処理方法。
7. 前記ブレ検出ステップが、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、少なくとも一つのブレに対する補正値を生成する、
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記サンプリング座標設定ステップが、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定する、
   ことを特徴とする請求項６または請求項７に記載の画像処理方法。
9. 前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータである、
   ことを特徴とする請求項６乃至請求項８の何れか記載の画像処理方法。
10. 前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えている、
    ことを特徴とする請求項６乃至請求項９の何れか記載の画像処理方法。
11. 撮像ユニットによって撮影され、相異なる複数の色光を光電変換する撮像素子によって得られた、各画素が単色の輝度情報を有する色モザイク画像を用いて、各画素に複数色の輝度情報を生成すると共に所定の画像変形を施してカラー画像を生成するようにコンピュータに実行させる画像処理プログラムであって、
    前記色モザイク画像を、同一の色光の輝度情報だけを含む複数の色プレーンに分解する色プレーン分解ステップと、
    前記色モザイク画像における各画素座標に対して、前記被写体と前記撮像ユニットとの相対的なブレの補正値を算出するブレ検出ステップと、
    前記カラー画像の画素位置と前記ブレの補正値とから、前記画像変形が施された際の、
    前記カラー画像の画素位置に対応付けられた前記色モザイク画像上のサンプリング座標を
    設定するサンプリング座標設定ステップと、
    前記色プレーン分解部により分解された複数の色プレーン毎に、前記サンプリング座標における画素値を、前記色プレーン内に含まれる同一の色光の画素値から補間生成するサンプリングステップと、
    前記サンプリング部により補間生成された各色プレーンのサンプリング座標における画素値を合成して、前記カラー画像の画素信号を生成する色生成ステップと、
    をコンピュータに実行させることを特徴とする画像処理プログラム。
12. 前記ブレ検出ステップが、被写体に向かって前後方向のブレ、左右方向のブレ、上下方向のブレ、前後方向を回転軸とする回転ブレ、左右方向を回転軸とする回転ブレ、上下方向を回転軸とする回転ブレのうちの、少なくとも一つのブレに対する補正値を生成する、
    ようにコンピュータに実行させることを特徴とする請求項１１に記載の画像処理プログラム。
13. 前記サンプリング座標設定ステップが、前記画像変形のパラメータを用いて、該画像変形を施した際の前記サンプリング座標を設定する、
    ようにコンピュータに実行させることを特徴とする請求項１１または請求項１２に記載の画像処理プログラム。
14. 前記画像変形のパラメータが、前記撮像素子に結像した被写体像の、平行移動、拡大縮小、回転、アオリのうちの、少なくとも一つの変形補正のパラメータである、
    ことを特徴とする請求項１１乃至請求項１３の何れか記載の画像処理プログラム。
15. 前記画像変形のパラメータが、撮像ユニットに起因する歪曲収差の補正も兼ね備えている、
    ことを特徴とする請求項１１乃至請求項１４の何れか記載の画像処理プログラム。