JP2014219764A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】低解像度画像の周波数帯域を落とさないようにして、光学特性に基づく収差を補正した高解像度画像を生成できるようにする。【解決手段】まず、低解像度画像のＧのモザイク画像に対してデモザイク処理および歪曲補正処理を行って、位置合わせ用Ｇ画像を生成し、同様の基準画像の位置合わせ用Ｇ画像と比較することにより座標変換係数を算出する。次に、低解像度画像の各色成分に対して、倍率色収差補正および歪曲収差補正による座標補正を行い、算出した座標変換係数を用いて位置合わせを行う。そして、位置合わせ後の座標に基づいて低解像度画像の画素値を挿入することにより高解像度画像を生成する。【選択図】図４

Description

本発明は、特に、複数枚の低解像度画像を用いて高解像度画像を作成するために用いて好適な画像処理装置、画像処理方法およびプログラムに関する。

複数枚の低解像度画像を用いて１枚の高解像度画像を作成する技術として、複数枚超解像が一般に知られている。この複数枚超解像の技術は、デジタルカメラにおいて電子ズームの画質を上げるための用途などに用いられる。複数枚超解像の方法としては、ベイヤー配列の色フィルタを有する撮像素子により得られた低解像度画像を用いて高解像度画像と同じ解像度を有する画像を色成分毎に作成し、複数枚超解像の処理をそれぞれ行うことにより高解像度画像を作成する。

ところが、図１６に示すように、連続して撮影した低解像度画像を用いて高解像度画像を生成する場合、領域１６０５に該当する低解像度画像の領域１６０１〜１６０４は、光軸中心からの像高が全て異なっている。そのため、複数枚の低解像度画像の画素を挿入することにより高解像度画像を生成すると、各低解像度画像の倍率色収差や歪曲収差の影響により画質が劣化する問題があった。

また、高解像度画像の各画素は、隣接された画素同士でも挿入された時の光軸中心からの像高が異なるため、高解像度画像を生成した後に倍率色収差補正や歪曲収差補正を行うのは非常に困難である。一方、低解像度画像の段階で倍率色収差補正や歪曲収差補正を行うと、バイリニア補間などのフィルタリング手段を用いるため、低解像画像の周波数帯域が落ちてしまい、高解像度画像を生成するのに好ましくない。そこで、上記の対策として、特許文献１には、倍率色収差や歪曲収差などの光学特性に基づく座標変換を行った後にデモザイキング処理を行う方法が開示されている。

特開２００９−１００４１７号公報 特開２００９−３０１１８１号公報

しかしながら、特許文献１に開示された方法で高解像度画像を生成しても、デモザイキング処理により周波数帯域を落としてしまっているので、高解像度画像を生成するには好ましくない。

本発明は前述の問題点に鑑み、低解像度画像の周波数帯域を落とさないようにして、光学特性に基づく収差を補正した高解像度画像を生成できるようにすることを目的としている。

本発明に係る画像処理装置は、複数の低解像度画像を用いて高解像度画像を生成する画像処理装置であって、前記低解像度画像のそれぞれの座標に対し、各色成分の光学特性に基づく座標変換を行う座標変換手段と、前記複数の低解像度画像の間の位置ずれ量を検出する検出手段と、前記検出手段により検出された位置ずれ量に従って、前記座標変換手段により座標変換された低解像度画像の位置合わせを行う位置合わせ手段と、前記位置合わせ手段による位置合わせの結果に基づいて、前記低解像度画像の画素値を挿入することにより前記高解像度画像を生成する挿入手段とを備えることを特徴とする。

本発明によれば、低解像度画像の周波数帯域を落とさないようにして、光学特性に基づく収差を補正した高解像度画像を生成することができる。

実施形態に係る画像処理装置の内部構成例を示すブロック図である。 画像処理部の中の超解像処理制御部の具体的な構成例を示すブロック図である。 第１の実施形態における超解像処理制御部の中の座標変換係数算出部の具体的な構成例を示すブロック図である。 超解像処理制御部の中の超解像処理部の具体的な構成例を示すブロック図である。 実施形態に係る超解像処理制御部による超解像処理手順の一例を示すフローチャートである。 ベイヤー画像をモザイク画像に分離する処理を説明するための図である。 第１の実施形態において、座標変換係数算出部による具体的な処理手順の一例を示すフローチャートである。 実施形態において、超解像処理部による具体的な処理手順の一例を示すフローチャートである。 Ｒ画像における画素挿入処理を説明するための図である。 実施形態において、画素挿入処理部による具体的な処理手順の一例を示すフローチャートである。 超解像画像Ｒにおける参照座標の位置を示す図である。 入力された低解像度画像に対し水平方向、垂直方向共にｋ倍に画素数を拡大した超解像画像の一例を示す図である。 第２の実施形態における超解像処理制御部の中の座標変換係数算出部の具体的な構成例を示すブロック図である。 第２の実施形態において、座標変換係数算出部による具体的な処理手順の一例を示すフローチャートである。 水平画素数Ｗ、垂直画素数ＨのＧのモザイク画像から間引き画像を生成する手順を説明するための図である。 連続して撮影した低解像度画像を用いて高解像度画像を生成する方法を説明するための図である。

（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。なお、本実施形態は、低解像度画像を複数枚用いて水平、垂直方向それぞれｋ倍に画素数を拡大した高解像度画像を生成し、高解像度化を実現する超解像処理について説明する。

図１は、本実施形態に係る画像処理装置１００の内部構成例を示すブロック図である。
図１において、光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッター装置を備えている。この光学系１０１は、撮像素子１０２に到達する被写体像の倍率やピント位置、あるいは、光量を調整している。撮像素子１０２は、光学系１０１を通過した被写体の光束を光電変換して電気信号に変換するＣＣＤやＣＭＯＳセンサー等の光電変換素子である。

Ａ／Ｄ変換部１０３は、入力されたアナログの映像信号をデジタル信号である画像データに変換する。画像処理部１０４は、ホワイトバランス、γ補正などの通常の信号処理を行う。さらに画像処理部１０４は超解像処理制御部１１１を備えており、入力された複数枚の画像データ（ベイヤー画像）を用いて超解像処理を行う。画像処理部１０４はＡ／Ｄ変換部１０３から出力された画像データのみでなく、記録部１０８から読み出した画像データに対しても同様の画像処理を行うことができる。システム制御部１０５は、本実施形態に係る画像処理装置１００全体の動作を制御、統括する制御機能部である。また、システム制御部１０５は、画像処理部１０４で処理された画像データから得られる輝度値や操作部１０６から送信された指示に基づいて、光学系１０１や撮像素子１０２の駆動制御も行う。

表示部１０７は、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイで構成され、撮像素子１０２で生成された画像データや、記録部１０８から読み出した画像データに係る画像を表示する。記録部１０８は、画像データを記録媒体１１０に記録する機能を有している。記録媒体１１０は、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体でもよく、さらに着脱可能であってもよい。バス１０９は、画像処理部１０４、システム制御部１０５、表示部１０７、および記録部１０８の間でデータをやり取りするために用いられる。

ここで、本実施形態の特徴部分である画像処理部１０４内の超解像処理制御部１１１の具体的な構成について説明する。図２は、超解像処理制御部１１１の具体的な構成例を示すブロック図である。
図２に示すように、本実施形態に係る超解像処理制御部１１１は、基準画像選択部２０１、ベイヤー分離部２０２、座標変換係数算出部２０３、メモリ部２０４、超解像処理部２０５、およびＹＵＶ変換部２０６を備えている。また、図３には、座標変換係数算出部２０３の具体的な構成例を示しており、図４には、超解像処理部２０５の具体的な構成例を示している。図３および図４に示す構成については後述する。以下、図２の各構成が行う処理について、図５のフローチャートを参照しながら説明する。

図５は、本実施形態に係る超解像処理制御部１１１による超解像処理手順の一例を示すフローチャートである。
まず、ステップＳ５０１において、基準画像選択部２０１は、入力されたベイヤー画像を順番に複数枚取得する。そして、ステップＳ５０２において、複数枚入力されたベイヤー画像のうち、超解像処理を行う上で基準となるベイヤー画像を選択する。本実施形態では、入力された１枚目の画像を基準となる画像として選択する。以下、前記基準となるベイヤー画像を基準画像とし、それ以外のベイヤー画像を非基準画像とする。

次に、ステップＳ５０３において、ベイヤー分離部２０２に基準画像を最初に出力し、次に複数の非基準画像を出力するように制御する。Ｎ枚の画像が入力された場合、１枚目に基準画像を出力し、次に２枚目からＮ枚目の非基準画像を出力する。

次に、ステップＳ５０４において、ベイヤー分離部２０２は、ステップＳ５０３で出力されたベイヤー画像を、Ｒ，Ｇ，Ｂの３枚のモザイク画像に分離し、それぞれ座標変換係数算出部２０３および超解像処理部２０５に出力する。ここで、図６を参照しながら、ベイヤー画像をモザイク画像に分離する処理について詳細に説明する。

図６（ａ）は、基準画像選択部２０１から出力された水平画像数Ｗ、垂直画素数Ｈのベイヤー画像の一例を示す図である。また、図６（ｂ）は、図６（ａ）に示したベイヤー画像を、Ｒ，Ｇ，Ｂの各色成分に分離した３枚のモザイク画像の一例を示す図である。前記モザイク画像は、ベイヤー画像の画素値の情報を有する非欠落画素６０１と、ベイヤー画像の画素値の情報を持たず０の値が入力された欠落画素６０２とによって構成される。

次に、ステップＳ５０５において、基準画像に対して非基準画像の位置合わせを行うために必要な座標変換係数を算出する。本実施形態では、Ｇのモザイク画像からデモザイク処理を行った画像に対して歪曲補正を行い、位置合わせ用のＧ画像を作成する。前記Ｇ画像を用いることにより、画像間の位置合わせを行うための射影変換係数を算出する。

図３は、図２の座標変換係数算出部２０３の具体的な構成例を示すブロック図である。
図３において、座標変換係数算出部２０３は、デモザイク処理部３０１、歪曲補正処理部３０２、および射影変換係数算出部３０３を備えている。以下、図３に示す各構成が行うステップＳ５０５の具体的な処理について、図７のフローチャートを参照しながら説明する。

図７は、図５のステップＳ５０５において、座標変換係数算出部２０３による具体的な処理手順の一例を示すフローチャートである。
まず、ステップＳ７０１において、デモザイク処理部３０１は、現在処理対象となっているＧのモザイク画像を取得する。そして、ステップＳ７０２において、ステップＳ７０１で取得したＧのモザイク画像に対し、デモザイク処理を行う。デモザイク処理の方法は線形補間や適応補間など公知の方法を用いる。

次に、ステップＳ７０３において、歪曲補正処理部３０２は、ステップＳ７０２でデモザイク処理を行ったＧの画像に対し、歪曲補正処理を行う。歪曲補正の方法は、レンズ情報を用いた画像変形による補正など、公知の方法を用いる。そして、ステップＳ７０４において、ステップＳ７０３で歪曲補正を行ったＧの画像が１枚目の画像か否かを判定する。この判定の結果、１枚目の画像、つまり基準画像である場合はステップＳ７０９に進み、１枚目の画像でなく非基準画像である場合はステップＳ７０５に進む。

ステップＳ７０９においては、射影変換係数算出部３０３は、ステップＳ７０３で歪曲補正を行ったＧの画像を１枚目の位置合わせ用Ｇ画像としてメモリ部２０４に保存する。一方、ステップＳ７０５においては、射影変換係数算出部３０３は、ステップＳ７０３で歪曲補正を行ったＧの画像を位置合わせ用Ｇ画像とし、前記位置合わせ用Ｇ画像とは別に１枚目の位置合わせ用Ｇ画像をメモリ部２０４から取得する。

次に、ステップＳ７０６において、射影変換係数算出部３０３は、ステップＳ７０５で揃えた２枚の位置合わせ用Ｇ画像を用いて画像間の位置ずれ量を検出する。このとき、１枚目の位置合わせ用Ｇ画像に対応する処理対象の位置合わせ用Ｇ画像の位置ずれ量を複数個所で検出する。位置ずれ量の検出方法については、パターンマッチングを用いた方法など公知の方法を用いる。そして、ステップＳ７０７において、射影変換係数算出部３０３は、ステップＳ７０６で検出した位置ずれ量から座標変換係数を算出する。本実施形態では、以下の式（１）に示す射影変換式の係数ａ₀〜ａ₇を座標変換係数として算出する。座標変換係数の算出方法については、最小二乗法などを用いた公知の方法を用いる。

次に、ステップＳ７０８において、ステップＳ７０７で算出した座標変換係数をメモリ部２０４に保存する。前記座標変換係数は後の超解像処理部２０５で使用する。

図５の説明に戻り、次にステップＳ５０６において、超解像処理部２０５は、低解像度画像を用いて高解像度画像を作成する。この処理では、ｋ倍の高解像度画像を生成するために、低解像度画像の対象となる画素が高解像度画像のどこの座標に対応しているか座標変換を行い、画素値を高解像度画像に挿入する処理を行う。本実施形態では、Ｇについては歪曲補正、画像間の位置合わせの座標変換を一度に行い、Ｒ，Ｂについては倍率色収差補正、歪曲補正、画像間の位置合わせの座標変換を一度に行う。

図４は、図２の超解像処理部２０５の具体的な構成例を示すブロック図である。
図４においては、超解像処理部２０５は、倍率色収差座標補正部４０１、歪曲座標補正部４０２、位置合わせ用座標変換部４０３、画素挿入処理部４０４、および欠落補間処理部４０５を備えている。以下、図４に示す各構成が行うステップＳ５０６の具体的な処理について、図８のフローチャートを参照しながら説明する。

図８は、図５のステップＳ５０６において、超解像処理部２０５による具体的な処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、超解像処理部２０５は、座標毎に超解像処理を行うために、Ｒ，Ｇ，Ｂそれぞれ３枚のモザイク画像の座標Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）を全て（０，０）に初期化する。

続いてステップＳ８０２において、倍率色収差座標補正部４０１は、座標Ｒ（ｘ，ｙ）、Ｂ（ｘ，ｙ）に対し、倍率色収差補正による座標補正を行う。本実施形態では、レンズ情報に基づいて座標補正を行う。ここでレンズ情報とは、光軸中心からの像高に基づいたＧに対するＲおよびＢのずれ量に関する情報であり、倍率色収差補正によってＲおよびＢのみ座標補正を行うためにシステム制御部１０５が保持している情報である。以下、倍率色収差補正による座標補正後のＲおよびＢの座標をそれぞれＲ（ｘ_r，ｙ_r）、Ｂ（ｘ_b，ｙ_b）とする。

次に、ステップＳ８０３において、歪曲座標補正部４０２は、座標Ｒ（ｘ_r，ｙ_r）、Ｇ（ｘ，ｙ）、Ｂ（ｘ_b，ｙ_b）に対し、歪曲収差補正による座標補正を行う。本実施形態では、前記座標補正は、ステップＳ８０２と同様にレンズ情報に基づいて行われる。ここで用いるレンズ情報は、光軸中心からの像高に基づいた各画素のずれ量に関する情報であり、歪曲収差補正によりＲ，Ｇ，Ｂ全ての座標補正を行うために用いられる。以下、歪曲収差補正により座標補正後のＲ，Ｇ，Ｂの座標をそれぞれＲ（ｘ_rd，ｙ_rd）、Ｇ（ｘ_d，ｙ_d）、Ｂ（ｘ_bd，ｙ_bd）とする。

次に、ステップＳ８０４において、現在処理している画像が１枚目の画像（基準画像）であるか非基準画像であるかを判定する。この判定の結果、基準画像である場合はステップＳ８０５に進み、非基準画像である場合はステップＳ８０６に進む。

ステップＳ８０５においては、位置合わせ用座標変換部４０３は、基準画像に対して座標拡大処理を行う。具体的には、座標Ｒ（ｘ_rd，ｙ_rd）、Ｇ（ｘ_d，ｙ_d）、Ｂ（ｘ_bd，ｙ_bd）に対し、以下の式（２）を用いてｘ成分、ｙ成分の座標をｋ倍に拡大する。
Ｒ（ｘ_rd，ｙ_rd）・ｋ＝Ｒ（ｘ_rd・ｋ，ｙ_rd・ｋ）
Ｇ（ｘ_d，ｙ_d）・ｋ＝Ｇ（ｘ_d・ｋ，ｙ_d・ｋ） ・・・（２）
Ｂ（ｘ_bd，ｙ_bd）・ｋ＝Ｂ（ｘ_bd・ｋ，ｙ_bd・ｋ）

ここで、ｋは高解像度画像を生成するパラメータを表し、本実施形態では低解像度画像を水平方向にｋ倍、垂直方向にｋ倍だけ画素数を拡大した高解像度画像を生成する。以下、座標拡大後のＲ，Ｇ，Ｂの座標をそれぞれＲ（ｘ´，ｙ´）、Ｇ（ｘ´，ｙ´）、Ｂ（ｘ´，ｙ´）とする。

一方、ステップＳ８０６においては、位置合わせ用座標変換部４０３は、図７のステップＳ７０７で座標変換係数算出部２０３が算出した位置合わせ用の座標変換係数ａ₀〜ａ₇をメモリ部２０４から取得し、非基準画像に対して座標変換処理を行う。本実施形態では座標変換処理で射影変換式を用いるが、水平方向にｋ倍、垂直方向にｋ倍画素数を拡大した高解像度画像を生成するので、対応点はｋ倍に座標を拡大しなければならない。したがって、射影変換式は以下の式（３）に示すものを用いる。

ここで入力される座標（ｘ，ｙ）は、ステップＳ８０３で出力した座標Ｒ（ｘ_rd，ｙ_rd）、Ｇ（ｘ_d，ｙ_d）、Ｂ（ｘ_bd，ｙ_bd）である。また、座標変換後のＲ，Ｇ，Ｂの座標をそれぞれＲ（ｘ´，ｙ´）、Ｇ（ｘ´，ｙ´）、Ｂ（ｘ´，ｙ´）とする。

次に、ステップＳ８０７において、画素挿入処理部４０４は、座標補正、座標変換処理前の座標Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）にそれぞれ対応するＲ，Ｇ，Ｂのモザイク画像の画素値Ｒ_pix、Ｇ_pix、Ｂ_pixをメモリ部２０４から取得する。そして、ステップＳ８０８において、画素挿入処理部４０４は、Ｒ，Ｇ，Ｂの座標Ｒ（ｘ´，ｙ´）、Ｇ（ｘ´，ｙ´）、Ｂ（ｘ´，ｙ´）と画素値Ｒ_pix、Ｇ_pix、Ｂ_pixとを用いてＲ，Ｇ，Ｂ毎に画素挿入処理を行う。

以下、画素挿入処理について図９を参照しながら説明する。図９は、Ｒ画像における画素挿入処理を説明するための図である。
まず、図９（ａ）に示す超解像画像に対して、水平画素数Ｗ、垂直画素数Ｈの低解像画像を複数枚用いて画素挿入処理を行い、水平方向および垂直方向へ例えば２倍に画素数を拡大した高解像度画像を生成する。ここで、超解像画像は、水平画素数２Ｗ、垂直画素数２Ｈの画像であり、高解像度画像を生成するための土台となる画像である。図９（ａ）に示す超解像画像は全ての画素値に欠落画素であることを示す０の値が入っている。

画素挿入処理とは、図９に示すように、低解像度画像の非欠落画素９０１の値を超解像画像の欠落画素９０２に挿入する処理のことを指す。画素挿入処理を複数枚の低解像度画像を用いて行うことにより図９（ｂ）に示す高解像度画像を生成することができる。本実施形態の画素挿入処理では、１枚目の基準画像から超解像画像を生成し、２枚目以降の非基準画像により前記超解像画像の欠落画素を非欠落画素に置き換える処理を行う。

次に、ステップＳ８０８の画素挿入処理の詳細について、図１０のフローチャートを参照しながら説明する。図１０は、図８のステップＳ８０８において、画素挿入処理部４０４による具体的な処理手順の一例を示すフローチャートである。以下、Ｒの画素挿入処理について説明するが、Ｇ，Ｂについても処理は同様であるため、説明は省略する。
まず、ステップＳ１００１において、座標Ｒ（ｘ´，ｙ´）に最も近い整数の座標である参照座標Ｒ₀（ｘ₀，ｙ₀）を算出する。具体的には、以下の式（４）により参照座標を算出する。

次に、ステップＳ１００２において、画素値Ｒ_pixの値が０以外の値であるか否かを判定する。この判定の結果、画素値Ｒ_pixの値が０でない場合は、画素値Ｒ_pixは非欠落画素であるため、ステップＳ１００３に進む。一方、画素値Ｒ_pixの値が０である場合は、画素値Ｒ_pixは欠落画素であるため、ステップＳ１００４に進む。

ステップＳ１００３においては、座標Ｒ（ｘ´，ｙ´）と参照座標Ｒ₀（ｘ₀，ｙ₀）との間の距離ｄ（Ｒ）を算出する。この処理で算出される距離ｄ（Ｒ）は、後のステップＳ１００８およびＳ１０１０の判定で用いられる。

ここで、図１１を参照しながら距離d（Ｒ）について説明する。図１１は、超解像画像Ｒに対する座標Ｒ（ｘ´，ｙ´）および参照座標Ｒ₀（ｘ₀，ｙ₀）の位置を示す図である。座標Ｒ（ｘ´，ｙ´）の最近傍にある参照座標Ｒ₀（ｘ₀，ｙ₀）は、超解像画像Ｒの画素の中心を示す座標であり、参照座標Ｒ₀（ｘ₀，ｙ₀）に対し、座標Ｒ（ｘ´，ｙ´）がどれだけ近いか評価する指標として距離ｄ（Ｒ）を算出する。そして、後述するが距離ｄ（Ｒ）の値を用いて画素を挿入するかしないかを判定する。また、距離ｄ（Ｒ）は、以下の式（５）により算出される。

一方、ステップＳ１００４においては、画素値Ｒ_pixが０であることから欠落画素と判断されるため、例外処理として距離ｄ（Ｒ）に表現できる最大の値を入力する。例えば８ビットまでしか距離ｄ（Ｒ）が表現できない場合は値として２５５を入力する。

次に、ステップＳ１００５において、現在処理の対象としている画像が２枚目以降の非基準画像であるか、１枚目の基準画像であるかを判定する。この判定の結果、２枚目以降の非基準画像である場合はステップＳ１００８に進み、１枚目の基準画像である場合はステップＳ１００６に進む。

ステップＳ１００６においては、距離ｄ（Ｒ）を参照座標Ｒ₀（ｘ₀，ｙ₀）の距離ｄ₀（Ｒ）としてメモリ部２０４に保存する。ここで距離ｄ₀（Ｒ）は、２枚目以降の非基準画像で算出された距離ｄ（Ｒ）の値との比較に用い、距離ｄ（Ｒ）の値に応じて、随時距離ｄ₀（Ｒ）の値を更新する。そして、ステップＳ１００７において、画素値Ｒ_pixを参照座標Ｒ₀（ｘ₀，ｙ₀）の画素値Ｒ_pix0としてメモリ部２０４に保存する。まず、１枚目である基準画像のみにより画素値Ｒ_pix0を用いて超解像画像Ｒを新規に作成し、後述するステップＳ１０１２による２枚目以降の画素挿入処理によって超解像画像Ｒを更新していく。

一方、ステップＳ１００８においては、距離ｄ（Ｒ）が、予め設定された閾値Ｔ_H（Ｒ）未満であるか否かを判定する。この判定の結果、距離ｄ（Ｒ）が閾値Ｔ_H（Ｒ）未満である場合はステップＳ１００９に進み、閾値Ｔ_H（Ｒ）以上である場合は、現在処理の対象としている座標（ｘ、ｙ）の画素挿入処理を終了する。

ステップＳ１００９においては、参照座標Ｒ₀（ｘ₀，ｙ₀）の距離として保存されている距離ｄ₀（Ｒ）をメモリ部２０４から読み出す。そして、ステップＳ１０１０において、距離ｄ（Ｒ）の値が距離ｄ₀（Ｒ）よりも小さいか否かを判定する。この判定の結果、距離ｄ₀（Ｒ）よりも小さい場合はステップＳ１０１１に進み、距離ｄ₀（Ｒ）以上である場合は、現在処理の対象としている座標（ｘ，ｙ）の画素挿入処理を終了する。

ステップＳ１０１１においては、距離ｄ₀（Ｒ）の値を距離ｄ（Ｒ）に更新してメモリ部２０４に保存する。そして、ステップＳ１０１２において、ステップＳ１０１１と同様に、距離ｄ（Ｒ）に対応する画素値Ｒ_pixを画素値Ｒ_pix0として更新して、メモリ部２０４に保存する。メモリ部２０４に保存後、現在処理している座標（ｘ，ｙ）の画素挿入処理を終了する。

図８の説明に戻り、ステップＳ８０９においては、現在処理の対象としている画像の全ての座標に対してステップＳ８０２からステップＳ８０８までの処理を行ったか否かを判定する。この判定の結果、全ての座標に対して処理を行ってない場合はステップＳ８１０に進み、全ての座標に対し処理を行っている場合はステップＳ８１１に進む。ステップＳ８１０においては、現在処理していた座標Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）を次の座標に更新してステップＳ８０２に戻る。

一方、ステップＳ８１１においては、現在処理の対象としていた画像が最後のＮ枚目の画像か否かを判定する。この判定の結果、最後のＮ枚目の画像である場合はステップＳ８１２に進み、最後のＮ枚目の画像でない場合はステップＳ８１３に進む。

ステップＳ８１２においては、欠落補間処理部４０５は、超解像画像Ｒ，Ｇ，Ｂの欠落補間処理を行う。欠落補間処理は、Ｒ，Ｇ，Ｂの超解像画像の中で未だに欠落画素であり値が０である画素に対し、周辺の非欠落画素から線形補間を行った画素値に置き換える処理である。ステップＳ８１２の処理後、Ｒ，Ｇ，Ｂの超解像画像の画素は全て非欠落画素で構成されることになる。本実施形態では欠落補間処理に線形補間を利用しているが、エッジの方向を加味した適応補間を利用してもよい。

また、欠落補間処理を行う前に、画像を占める欠落画素の割合を算出して、処理の制御を行ってもよい。図１２は、入力された低解像度画像に対し水平方向、垂直方向共にｋ倍に画素数を拡大した超解像画像の一例を示す図である。図１２において、白色で示した画素が非欠落画素であり、灰色部分が欠落画素である。図１２に示すように、非欠落画素が超解像画像の全画素数に対して５０％以上存在しないと、超解像の効果がエッジの方向を加味した適応補間が欠落画素に対して正確に処理できなくなり、超解像の効果が小さくなってしまう。そこで、以下の式（６）に示す割合を算出する。

ここで、Ｗ，Ｈは、それぞれ入力された低解像度画像の水平画素数、垂直画素数を表す。また、ｋは前記低解像度画像に対する超解像度画像の拡大率を表す。超解像画像Ｒ，Ｇ，Ｂ全てに対してこの割合を算出し、前記割合が１つでも所定値（例えば５０％）以上である場合には、エラーとして出力して超解像処理を中止するか、ステップＳ８０１まで戻ってｋ／２倍の高解像度画像を生成する処理を行ってもよい。エラーとして出力する場合は、１枚目の基準画像のＲ，Ｇ，Ｂを水平方向および垂直方向にｋ倍拡大した画像を出力してもよい。

ステップＳ８１３においては、Ｒ，Ｇ，Ｂの超解像画像をメモリ部２０４に保存して超解像処理を終了する。

図５の説明に戻り、ステップＳ５０７においては、現在処理の対象としている画像がＮ枚目である最後の画像であるか否かを判定する。この判定の結果、現在処理の対象としている画像が最後の画像である場合はステップＳ５０９に進み、最後の画像でない場合はステップＳ５０８に進む。そしてステップＳ５０８においては、次の画像に更新し、ステップＳ５０４に戻る。

一方、ステップＳ５０９においては、ＹＵＶ変換部２０６は、作成した超解像画像Ｒ，Ｇ，Ｂをメモリ部２０４から読み出し、高解像度のＹＵＶ画像を作成する。ＲＧＢ信号からＹＵＶ信号へ変換する際には、公知の手法により以下の式（７）に従って変換する。そして、高解像度のＹＵＶ画像を出力信号として超解像処理を終了する。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ ・・・（７）
Ｖ＝０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ

以上のように本実施形態によれば、光学特性に係る倍率色収差補正および歪曲収差補正を座標に対してのみ行い、位置合わせをした後に、これらの補正前の低解像度画像の画素値を高解像度画像に挿入するようにした。これにより、低解像度画像の周波数帯域を落とすことなく、倍率色収差および歪曲収差を補正した高解像度画像を生成することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照しながら説明する。本実施形態においても、座標変換係数の算出方法が異なるが、ベイヤー配列の低解像度画像を複数枚用いて、水平方向、垂直方向それぞれｋ倍に画素数を拡大した高解像度画像を生成し、高解像度化を実現する。なお、第１の実施形態の構成との差異は、図２の座標変換係数算出部２０３内の構成のみであり、その他の構成については第１の実施形態と同様である。また、全体的な処理手順は図５と同様である。以下、第１の実施形態と異なる点についてのみ説明する。

図１３は、本実施形態に係る座標変換係数算出部２０３の具体的な構成例を示すブロック図である。
図１３にいて、座標変換係数算出部２０３は、間引き処理部１３０１、歪曲補正処理部１３０２、および射影変換係数算出部１３０３を備えている。以下、図１３に示す各構成が行うステップＳ５０５の具体的な処理について、図１４のフローチャートを参照しながら説明する。

第１の実施形態では、Ｇのモザイク画像からデモザイク処理を行った画像に対し、歪曲補正を行い、位置合わせ用のＧ画像を作成した後、前記Ｇ画像を用いることにより、画像間の位置合わせを行うための座標変換係数を算出していた。これに対して本実施形態では、メモリ、処理時間を念頭に置き、デモザイク処理を行ったＧ画像よりも解像度の低いＧ画像を用いることにより、画像間の位置合わせを行うための座標変換係数を算出する。

図１４は、図５のステップＳ５０５において、座標変換係数算出部２０３による具体的な処理手順の一例を示すフローチャートである。
まず、ステップＳ１４０１において、間引き処理部１３０１は、処理の対象となるＧのモザイク画像をメモリ部２０４から取得する。そして、ステップＳ１４０２において、ステップＳ１４０１で取得したＧのモザイク画像に対し、１／２の間引き処理を行う。

ここで、図１５を参照しながら、１／２の間引き処理について説明する。図１５（ａ）は、ステップＳ１４０１で取得した水平画素数Ｗ、垂直画素数ＨのＧのモザイク画像の一例を示す図である。図１５（ａ）に示すように、Ｇ１、Ｇ２と記載された画素がＧ画素である。このモザイク画像に対し、太線で囲まれたＧ１の画素のみ取得することにより、図１５（ｂ）に示すように、水平画素数Ｗ／２、垂直画素数Ｈ／２に縮小された間引き画像が生成される。なお、Ｇ１の位置の画素を取得して間引き画像を生成してもよく、Ｇ２の位置の画素を取得して間引き画像を生成してもよい。

次に、ステップＳ１４０３において、歪曲補正処理部１３０２は、ステップＳ１４０２で間引き処理を行ったＧの画像に対し、歪曲補正処理を行う。歪曲補正の方法は、レンズ情報を用いた画像変形による補正など、公知の方法でよいが、水平画素数、垂直画素数共に１／２になっていることとステップＳ１４０１で取得したモザイク画像の画素位置を考慮しながら補正を行う。次のステップＳ１４０４およびＳ１４０５の処理は、それぞれ図７のステップＳ７０４およびＳ７０５の処理と同様である。

次のステップＳ１４０６においては、射影変換係数算出部１３０３は、ステップＳ１４０５で揃えた２枚の位置合わせ用Ｇ画像を用いて画像間の位置ずれ量を検出する。このとき、図７のステップＳ７０６と同様に１枚目の位置合わせ用Ｇ画像に対応する処理対象の位置合わせ用Ｇ画像の位置ずれ量を複数個所で検出する。位置ずれ量検出の方法は、ＳＡＤ値によるパターンマッチングを行った後に、等角直線フィッティング、またはパラボラフィッティングを用いて、位置ずれ量を小数精度まで検出する。なお、上記の方法は例えば特許文献２等に開示されている。

次に、ステップＳ１４０７において、射影変換係数算出部１３０３は、ステップＳ１４０６で検出した位置ずれ量を等倍の解像度まで動きベクトルの拡大を行う。本実施形態では、１／２に間引いた位置合わせ用Ｇ画像を用いているので、動きベクトルのｘ成分、ｙ成分を２倍に拡大する。そして、ステップＳ１４０８において、射影変換係数算出部１３０３は、ステップＳ１４０７で拡大した複数の動きベクトルを用いて位置合わせ用の座標変換係数を算出する。座標変換係数の算出方法については、図７のステップＳ７０７と同様である。なお、ステップＳ１４０９およびＳ１４１０の処理については、それぞれ図７のステップＳ７０８およびＳ７０９と同様である。

以上のように本実施形態によれば、１／２の間引き処理を行って位置合わせ用Ｇ画像を生成した場合であっても、低解像度画像の周波数帯域を落とすことなく、倍率色収差および歪曲収差を補正した高解像度画像を生成することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

４０１ 倍率色収差座標補正部
４０２ 歪曲座標補正部
４０３ 位置合わせ用座標変換部
４０４ 画像挿入処理部

Claims (11)

1. 複数の低解像度画像を用いて高解像度画像を生成する画像処理装置であって、
   前記低解像度画像のそれぞれの座標に対し、各色成分の光学特性に基づく座標変換を行う座標変換手段と、
   前記複数の低解像度画像の間の位置ずれ量を検出する検出手段と、
   前記検出手段により検出された位置ずれ量に従って、前記座標変換手段により座標変換された低解像度画像の位置合わせを行う位置合わせ手段と、
   前記位置合わせ手段による位置合わせの結果に基づいて、前記低解像度画像の画素値を挿入することにより前記高解像度画像を生成する挿入手段とを備えることを特徴とする画像処理装置。
2. 前記検出手段は、前記低解像度画像から位置合わせ用の画像を生成する生成手段をさらに備え、
   前記生成手段によって生成された位置合わせ用の画像を用いて位置ずれ量を検出することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記低解像度画像に対してデモザイク処理を行った後に、前記座標変換手段による座標変換が行われた位置合わせ用の画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成手段は、前記低解像度画像を縮小した後に、前記座標変換手段による座標変換が行われた位置合わせ用の画像を生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記座標変換手段は、歪曲収差に係る座標変換を行うことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記座標変換手段は、さらに倍率色収差に係る座標変換を行うことを特徴とする請求項５に記載の画像処理装置。
7. 前記位置合わせ手段は、射影変換を行って位置合わせを行うことを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
8. 前記挿入手段は、前記高解像度画像における前記低解像度画像の画素値が挿入されていない画素に対して周辺の画素から補間を行うことを特徴とする請求項１〜７の何れか１項に記載の画像処理装置。
9. 前記挿入手段は、前記低解像度画像の画素値の挿入された割合が所定値より小さい場合は、処理を中止するか、もしくは前記高解像度画像よりも低い解像度の画像を生成することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 複数の低解像度画像を用いて高解像度画像を生成する画像処理方法であって、
    前記低解像度画像のそれぞれの座標に対し、各色成分の光学特性に基づく座標変換を行う座標変換工程と、
    前記複数の低解像度画像の間の位置ずれ量を検出する検出工程と、
    前記検出工程において検出された位置ずれ量に従って、前記座標変換工程において座標変換された低解像度画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程における位置合わせの結果に基づいて、前記低解像度画像の画素値を挿入することにより前記高解像度画像を生成する挿入工程とを備えることを特徴とする画像処理方法。
11. 複数の低解像度画像を用いて高解像度画像を生成する画像処理装置を制御するためのプログラムであって、
    前記低解像度画像のそれぞれの座標に対し、各色成分の光学特性に基づく座標変換を行う座標変換工程と、
    前記複数の低解像度画像の間の位置ずれ量を検出する検出工程と、
    前記検出工程において検出された位置ずれ量に従って、前記座標変換工程において座標変換された低解像度画像の位置合わせを行う位置合わせ工程と、
    前記位置合わせ工程における位置合わせの結果に基づいて、前記低解像度画像の画素値を挿入することにより前記高解像度画像を生成する挿入工程とをコンピュータに実行させることを特徴とするプログラム。

Images