JP2010130069A - デジタルカメラおよび画像処理装置並びに画像処理プログラム - Google Patents

Abstract

【課題】
従来、高解像度空間画像を作成する処理は、処理負荷が重く、多大な時間が掛かるという問題があった。
【解決手段】
本発明に係る画像処理装置は、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く前記複数フレームの画像を参照画像とする基準画像選択部と、前記基準画像を複数の分割領域に分割する領域分割部と、前記分割領域毎に特徴量を抽出して画像構造を判別する画像構造判別部と、前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出部と、前記基準画像を高解像度空間に展開し、前記参照画像を前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開部と、前記解像度空間展開部が作成した高解像度空間において、前記分割領域毎に前記画像構造判別部が判別した画像構造に応じた補間方法を用いて高解像度空間画像を合成する画像合成部とを有することを特徴とする。
【選択図】 図１

Description

本発明は、高解像度画像を作成する画像処理技術に関する。

カメラで撮影された複数の画像から１枚の高解像度画像を作成する「超解像処理」が知られている。このような画像処理では、合成時に高解像度空間における画素値を推定する必要があり、推定処理を高速化する方法やエイリアス成分を推定する方法などが検討されている（例えば、特許文献１参照）。
特開２００５−０７２９３５号公報

高解像度空間における画素値の推定は、正確な推定ができれば高画質化につながる非常に重要な技術である。ところが、正確に画素値を推定するには複雑な推定演算処理を行わなければならず、高速に処理するためには高価な演算処理装置が必要であった。特にデジタルカメラなどのＣＰＵ（演算処理部）で処理するには処理負荷が重く、多大な時間が掛かるという問題があった。

本発明の目的は、高解像度空間における画素値推定の処理負荷を軽減できるデジタルカメラおよび画像処理装置並びに画像処理プログラムを提供することである。

本発明に係る画像処理装置は、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く前記複数フレームの画像を参照画像とする基準画像選択部と、前記基準画像を複数の分割領域に分割する領域分割部と、前記分割領域毎に特徴量を抽出して画像構造を判別する画像構造判別部と、前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出部と、前記基準画像を高解像度空間に展開し、前記参照画像を前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開部と、前記解像度空間展開部が作成した高解像度空間において、前記分割領域毎に前記画像構造判別部が判別した画像構造に応じた補間方法を用いて高解像度空間画像を合成する画像合成部とを有することを特徴とする。

また、より好ましくは、前記画像構造判別部は、エッジ強度および画素値の分散の少なくとも１つを用いて、前記分割領域毎に画像構造を判別することを特徴とする。

また、より好ましくは、前記画像合成部は、フィルタ領域のサイズおよび重み付け量の少なくとも１つが異なる複数の補間方法を用いて高解像度空間画像を合成することを特徴とする。

また、より好ましくは、前記画像合成部は、前記フィルタ領域内を複数のサブ領域に分けて分散を求め、最も分散が低いサブ領域内の平均値を当該フィルタ領域内の注目画素値とすることを特徴とする。

また、より好ましくは、被写体部分を抽出するオブジェクト抽出部を更に設け、前記分割領域を前記オブジェクト抽出部が抽出した被写体部分とすることを特徴とする。

本発明に係るデジタルカメラは、前記画像処理装置にレンズ光学系と撮像部とを設け、前記画像入力部は、前記レンズ光学系を介して前記撮像部で時系列上に連続して撮影される同一被写体を含む複数フレームの画像を入力することを特徴とする。

本発明に係る画像処理プログラムは、時系列上に連続して同一被写体を含む複数フレームの画像を画像入力部から入力して前記画像入力部が入力する画像より解像度の高い画像を生成する処理をコンピュータで実行する画像処理プログラムであって、前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く前記複数フレームの画像を参照画像とする基準画像選択手順と、前記基準画像を複数の分割領域に分割する領域分割手順と、前記分割領域毎に特徴量を抽出して画像構造を判別する領域判別手順と、前記基準画像に対する前記参照画像の位置ずれ量を検出する位置ずれ検出手順と、前記基準画像を高解像度空間に展開し、前記参照画像を前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開手順と、前記解像度空間展開手順が作成した高解像度空間において、前記分割領域毎に前記領域判別手順が判別した画像構造に応じた補間方法を用いて高解像度空間画像を合成する画像合成手順とを有することを特徴とする。

本発明に係るデジタルカメラおよび画像処理装置並びに画像処理プログラムは、高解像度空間における画素値推定の処理負荷を軽減できるので、高価な演算処理装置が不要で高速に処理することができる。

以下、本発明に係るデジタルカメラおよび画像処理装置並びに画像処理プログラムに関する実施形態について説明する。

図１は、本実施形態に係るデジタルカメラ１０１の構成を示すブロック図である。尚、図１のデジタルカメラ１０１は、本発明に係る画像処理装置の機能とデジタルカメラ１０１の内部で処理する画像処理プログラムとを含んでいる。また、本実施形態に係るデジタルカメラ１０１は、時間的に連続して複数枚の静止画像を撮影する連写モードを有している。さらに、撮影中または撮影後に複数枚の静止画像を用いて高解像度画像に変換する超解像度モードを有している。

図１において、デジタルカメラ１０１は、撮影光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、メモリカードＩ／Ｆ１１１と、操作部１１２とで構成される。

図１において、撮影光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、撮影光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを有している。

撮像素子１０４の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射された光量に応じて電気信号に変換し、ＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとして画像バッファ１０７に一時的に記憶する。また、画像バッファ１０７は画像処理を行う際の画像バッファや表示部１１０に画像を表示する際の表示用画像バッファとしても利用され、連写撮影時の複数枚の静止画像も一時的に画像バッファ１０７に記憶される。

制御部１０８は、画像バッファ１０７に一時的に記憶されている画像データに対して、ホワイトバランス処理，色補正処理，ガンマ変換処理およびＪＰＥＧ圧縮処理などの画像処理を実行する。そして、ＪＰＥＧ圧縮後のＪＰＥＧ形式の画像データは、メモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存される。また、本実施形態では、制御部１０８は、複数枚の静止画像から高解像度画像に変換する処理も行う。尚、制御部１０８の詳細な処理については後で詳しく説明する。

メモリ１０９は、デジタルカメラ１０１の撮影モードや再生モードの設定内容、或いは露出情報やフォーカス情報などのパラメータや設定値などを記憶する。尚、メモリカード１１１ａに保存する画像データをメモリ１０９に保存するようにしても構わない。

表示部１１０は、制御部１０８の指令に応じて、撮影画像やメニュー画面などを表示する。

操作部１１２は、電源ボタン、レリーズボタン、カーソルキーなどの操作ボタンで構成される。ユーザーは、これらの操作ボタンを操作してデジタルカメラ１０１を操作する。これらの操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１１２から入力する操作情報に応じてデジタルカメラ１０１の全体の動作を制御する。

次に、図１の制御部１０８について詳しく説明する。制御部１０８は、内部に予め記憶されているプログラムに従って動作し、デジタルカメラ１０１の各部を制御する。制御部１０８は、撮影処理部２０１と、基準画像選択部２０２と、領域分割部２０３と、特徴量抽出部２０４と、画像構造判別部２０５と、位置ずれ検出部２０６と、高解像度空間展開部２０７と、画像合成部２０８とで構成される。尚、本実施形態では説明が分かり易いように、基準画像選択部２０２，領域分割部２０３，特徴量抽出部２０４，画像構造判別部２０５，位置ずれ検出部２０６，高解像度空間展開部２０７，画像合成部２０８などは、制御部１０８に含めて描いてあるが、制御部１０８とは別に専用のハードウェア回路で構成しても構わない。

撮影処理部２０１は、撮影する画像のフォーカス制御や露出制御などを行う。例えば、フォーカス制御は、画像バッファ１０７に取り込まれた画像から焦点位置を求めて撮影光学系１０２のフォーカスレンズの位置を移動する。尚、これらの処理はプレビュー画像の撮影時に撮像素子１０４を介して画像バッファ１０７に取り込まれた画像を用いて行われるが、専用のＡＦセンサやＡＥセンサを用いてフォーカス制御や露出制御を行っても構わない。また、プレビュー画像の撮影時は、メカニカルシャッタ１０３を常に開放状態にして撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタで撮影を行う。ここで、プレビュー画像とは、撮像素子１０４で時間的に連続して撮影される動画像を表示部１１０に表示して、撮影者が撮影構図などを決めるための画像である。そして、撮影者が操作部１１２のレリーズボタンを押下すると、本撮影された画像データが画像バッファ１０７に一時的に記憶される。尚、撮影モードが連写撮影モードや高解像度モードに設定されている場合は、レリーズボタンの押下中、複数枚の静止画像を連続して画像バッファ１０７に取り込む。或いは１回のレリーズボタンの押下で所定枚数の静止画像を画像バッファ１０７に取り込む。

次に、制御部１０８の基準画像選択部２０２，領域分割部２０３，特徴量抽出部２０４，画像構造判別部２０５，位置ずれ検出部２０６，高解像度空間展開部２０７および画像合成部の動作について、図２のフローチャートを用いて詳しく説明する。図２のフローチャートは、複数枚の静止画像から１枚の高解像度の静止画像を合成する高解像度処理の手順を示している。ここで、デジタルカメラ１０１は高解像度モードに設定され、既に複数枚の静止画像が撮影され画像バッファ１０７に一時的に記憶された状態になっているものとする。或いは、メモリカード１１１ａに記憶された複数枚の静止画像を再生して、画像バッファ１０７に一時的に記憶された状態になっているものとする。尚、本実施形態では、複数枚の静止画像は同一の被写体を略同一画角で時間的に連続して撮影された画像であるものとする。以下、図２のフローチャートに従って順番に説明する。

（ステップＳ１０１）制御部１０８は、デジタルカメラ１０１が撮影時の場合は、レリーズボタンの押下によって複数枚の静止画像を時間的に連続して撮影し、画像バッファ１０７に取り込む。或いは、制御部１０８は、デジタルカメラ１０１が再生時の場合は、操作部１１２の再生操作に応じてメモリカード１１１ａに記憶された撮影済みの複数枚の静止画像を画像バッファ１０７に読み出す。尚、本実施形態では、複数枚の静止画像は同一の被写体を略同一画角で時間的に連続して撮影された画像であるものとする。

（ステップＳ１０２）制御部１０８の基準画像選択部２０２は、画像バッファ１０７に一時的に記憶されている複数枚の画像の中から１枚の画像を基準画像とし、残りの画像を参照画像とする。そして、制御部１０８は、ステップＳ１０３からＳ１０５までの処理とステップＳ１０６からＳ１０７までの処理とを並列して実行する。従って、ステップＳ１０３からＳ１０５までの処理とステップＳ１０６からＳ１０７までの処理はどちらが先に行っても構わない。

（ステップＳ１０３）制御部１０８の領域分割部２０３は、基準画像を複数の領域に分割する。ここで、分割領域は小さい程、領域単位での適切な特徴量を抽出できるが、処理負荷が大きくなってしまうため、処理を行う装置（デジタルカメラやパソコンなど）のＣＰＵの処理能力に応じて適正な分割領域のサイズを決める必要がある。例えば、本実施形態に係るデジタルカメラ１０１の場合は、図３に示すように、一画面の画像３０１を縦方向３ブロック、横方向４ブロックの１２個の分割領域（ブロック）に分割する。

（ステップＳ１０４）制御部１０８の特徴量抽出部２０４は、分割領域単位で特徴量の抽出を行う。例えば、図３の場合は、先ずブロックＸ（１，１）の分割領域内で特徴量の抽出を行い、次にブロックＸ（１，２）の分割領域内で特徴量の抽出を行う。このようにして、特徴量抽出部２０４は、ブロックＸ（１，１）からブロックＸ（３，４）までの各分割領域内で特徴量の抽出を行う。ここで、本実施形態では、特徴量抽出部２０４が抽出する特徴量は、例えばエッジ強度や分散値である。尚、エッジ強度とは、ブロック内に含まれるエッジ成分の多さや強さなどを意味し、例えば、なだらかに輝度が変化する画像はエッジ強度が小さく、輝度の変化が激しい構造物などはエッジの強度が大きくなる。

（ステップＳ１０５）制御部１０８の画像構造判別部２０５は、分割領域の画像構造が平坦であるか否かを判別する。ここで、画像構造が平坦な場合とはエッジ部分が少ない画像（輝度変化が滑らかで輝度のばらつきが小さい画像）で、画像構造が平坦でない場合とはエッジ部分が多い画像（輝度変化が激しく輝度のばらつきが大きい画像）である。本実施形態では、画像構造判別部２０５は、分割後の個々の分割領域において特徴量抽出部２０４が抽出した特徴量を用いて、各分割領域の画像構造を判別する。

（ステップＳ１０６）制御部１０８の位置ずれ検出部２０６は、基準画像と参照画像との位置合わせ（位置ずれ量の算出）を行う。

ここで、本実施形態では、基準画像と参照画像は微小な位置ずれが存在しているという前提がある。これは、例えば連写撮影する際の手振れなどの影響により、複数枚の撮影画像間で撮影位置がわずかに異なっているため、複数枚の参照画像および基準画像の画素位置は完全には一致しない。そこで、本実施形態に係るデジタルカメラ１０１では、位置ずれ検出部２０６は基準画像を基準として各参照画像との位置ずれ量を求める。

次に、位置ずれ量の求め方について説明する。通常の位置ずれ量の検出は、例えば基準画像と各参照画像とに対してエッジ抽出の画像処理によって被写体のパターン検出を行い、基準画像上のあるパターンの被写体が参照画像上のどの位置に移動したかを検出するので、位置ずれ量は基準画像や参照画像の解像度によって決まり、画素単位のずれ量しか検出できない。例えば、右方向に２画素、下方向に１画素などの位置ずれ量として検出されるだけである。これに対して、本実施形態の位置ずれ検出部２０６は、基準画像や参照画像の解像度より細かい高解像度空間次元での位置ずれ量を求める。例えば、右方向に２．２画素、下方向に１．４画素など基準画像や参照画像の解像度より細かい位置ずれ量（サブピクセルレベルの位置ずれ量）を求める。

ここで、サブピクセルレベルの位置ずれ量を求める方法として、例えばアフィン変換などの幾何変換手法を用いた高次元のパラメータ推定法を使用することができる。この場合は、例えば０．２度の回転位置などのパラメータを求めることができるので、結果としてサブピクセルレベルの位置ずれ量が求まる。尚、上記以外の方法で基準画像に対する各参照画像のサブピクセルレベルの位置ずれ量を求めても構わない。

このようにして、ステップＳ１０６では、位置ずれ検出部２０６は基準画像と参照画像との位置ずれ量の算出を行う。

（ステップＳ１０７）制御部１０８の高解像度空間展開部２０７は、１枚の基準画像と複数枚の参照画像と位置ずれ量とを用いて高解像度空間に展開する。高解像度空間展開部２０７は、先ず基準画像を高解像度空間に展開する。この基準画像の展開処理の例を図４に示す。図４は、縦４画素および横４画素の１６画素の解像度の基準画像４０１を、縦１６画素および横１６画素の２５６画素の解像度の高解像度空間画像４０２に展開する様子を示している。図４に示すように、基準画像４０１の画素Ａ１から画素Ａ１６の１６個の各画素は高解像度空間の画像４０２の中に縦横それぞれ４画素飛びに当てはめられる。この状態では、高解像度空間画像４０２の２５６個の画素の内、基準画像４０１の１６個の画素値が当てはめられていない部分の画素は画素値が存在しない空の画素である。

次に、高解像度空間展開部２０７は、複数の参照画像を先に求めた位置ずれ量に応じて高解像度空間画像４０２の空の画素に当てはめる処理を行う。この様子を図５に示す。図５は、３枚の参照画像４０３から４０５の各画素を位置ずれ量に応じて基準画像の画素が当てはめられていない空の画素に当てはめ、高解像度空間画像４０６を作成する。

ここで、基準画像４０１を高解像度空間に展開したときの画素Ａ１からＡ１６の位置と全く同じ画素位置に参照画像４０３から４０５の画素が配置される場合は、基準画像の画素値を優先して当該画素の画素値とする。或いは、基準画像と参照画像の同じ画素位置の画素値を平均化した値を当該画素の画素値としても構わないし、参照画像の画素値より基準画像の画素値に高い重み付けを行って当該画素の画素値としても構わない。

同様に、複数の参照画像を高解像度空間に展開したときの同じ画素位置に複数の参照画像の画素値が配置される場合においても、複数の参照画像の同じ画素の画素値を平均化した値を当該画素の画素値としても構わないし、いずれかの参照画像の画素値を当該画素の画素値として代表しても構わない。または、複数画像を３次元のデータとして扱うことで参照画像を全て後の処理に利用可能としてもよい。

ステップＳ１０１からステップＳ１０７までの処理で、高解像度空間に展開された基本画像をベースに、複数枚の参照画像をサブピクセルレベルで位置合わせして配置した高解像度空間画像４０６が生成される。これを仮の高解像度空間画像とする。仮の高解像度空間画像４０６は、図５に示すように、単に高解像度空間に展開された基本画像に複数枚の参照画像を位置ずれ量に応じて当てはめただけなので、仮の高解像度空間画像４０６には参照画像が当てはめられなかった空の画素が存在している。そこで、本実施形態では、次の処理ステップでこの空の画素を補間するための補間処理を行って最終的な高解像度空間画像を合成する。

（ステップＳ１０８）制御部１０８の画像合成部２０８は、注目画素（補間される画素）を中心とする所定のサイズのフィルタ領域毎に補間フィルタを用いて注目画素の画素値を求める補間処理（画素値推定処理）を行う。

例えば、図６に示すように、５画素×５画素のサイズのフィルタ領域５０１を用いる場合、中央の画素ｐ１３を注目画素として、画素ｐ１から画素ｐ２５の２５画素から補間処理によって画素値を求める。ここで、補間フィルタのフィルタ領域５０１は、例えば、仮の高解像度空間画像４０６の太線枠で囲んだ５画素×５画素の部分に相当し、図６の太線枠で囲んだフィルタ領域で求められるのは、このフィルタ領域の注目画素である画素５５１の画素値である。同様に、画素５５１の１画素上にある画素５５２の画素値を求める場合は、５画素×５画素のサイズのフィルタ領域５０１全体も１画素上に移動し、画素５５２をフィルタ領域の注目画素とする。同様に、画素５５３の画素値を求める場合は、５画素×５画素のサイズのフィルタ領域５０１全体を画素５５３がフィルタ領域の注目画素になるように移動して補間処理を行う。尚、フィルタ領域５０１のサイズは５画素×５画素でなくても構わない。

このようにして、仮の高解像度空間画像４０６の空の画素の画素値を順番に求めていく。尚、空の画素の画素値だけを求めても構わないし、基準画像や参照画像の画素値が既に当てはめられている画素についても同様の補間処理を行って新たな画素値を求めても構わない。

次に、補間処理の方法について具体的に説明する。本実施形態では、ステップＳ１０５で画像構造判別部２０５が分割領域毎に判別した画像構造に応じて異なる補間処理を行う。つまり、補間処理を行う注目画素が含まれる分割領域の画像構造が平坦である場合と平坦でない場合とに分けて補間処理を行う。

先ず、画像構造が平坦である場合の補間処理について説明する。画像構造が平坦である場合はエッジ強度が小さいので、処理の速い単純な処理で注目画素ｐ１３の画素値を求める。例えば、図６に示したようなフィルタ領域５０１の場合は、単純にフィルタ領域５０１内の全画素値（２５個の画素）の平均値を求め、これを注目画素ｐ１３の画素値とする。

或いは、注目画素ｐ１３に近い画素（ｐ７，ｐ８，ｐ９，ｐ１２，ｐ１４，ｐ１７，ｐ１８，ｐ１９）と遠い画素（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６，ｐ１０，ｐ１１，ｐ１５，ｐ１６，ｐ２０，ｐ２１，ｐ２２，ｐ２３，ｐ２４，ｐ２５）とに分けて、近い画素を重くし遠い画素を軽くする重み付けを行って、注目画素ｐ１３の画素値を求めても構わない。例えば、注目画素ｐ１３を中心にガウシアン分布の重み付けを行うことで、注目画素に近い画素を重く、遠い画素を軽く重み付けすることができる。

次に、画像構造が平坦でない場合の補間処理について説明する。画像構造が平坦でない場合は、エッジ情報が損なわれない平滑化方法で注目画素の画素値を求める。エッジ情報が損なわれない平滑化方法は、例えば図７に示すように、フィルタ領域５０１内を位置の異なる複数のサブ領域に分けてサブ領域毎に輝度の分散を求める。そして、最も輝度の分散が低いサブ領域内の画素値の平均値を求め、これをフィルタ領域５０１の注目画素ｐ１３の画素値とする。

ここで、図７のサブ領域について詳しく説明する。図７は、図６と同じ５画素×５画素のサイズのフィルタ領域５０１を用いた場合のサブ領域の分割例を示す図である。図７において、フィルタ領域５０１は９種類のサブ領域５０２から５１０（斜線部分）に分けられており、サブ領域５０２から５０９は７つの画素で構成されるサブ領域をフィルタ領域５０１内で注目画素ｐ１３を中心として４５度ずつ回転させたサブ領域で、サブ領域５１０は注目画素ｐ１３とその周辺画素（ｐ７，ｐ８，ｐ９，ｐ１２，ｐ１４，ｐ１７，ｐ１８，ｐ１９）の９つの画素で構成されるサブ領域である。

このように、画像合成部２０８は、フィルタ領域５０１内を位置の異なる複数のサブ領域に分けてサブ領域毎に輝度の分散を求める。ここで、例えば、画像合成部２０８が各サブ領域毎に求めた分散が次のような値であったとする。サブ領域５０２の分散が０．１、サブ領域５０３の分散が０．５、サブ領域５０４の分散が０．７、サブ領域５０５の分散が０．６、サブ領域５０６の分散が０．４、サブ領域５０７の分散が０．５、サブ領域５０８の分散が０．３、サブ領域５０９の分散が０．２、サブ領域５１０の分散が０．３とする。この場合、分散が一番低いサブ領域は、サブ領域５０２なのでサブ領域５０２の７つの画素の画素値の平均を注目画素ｐ１３の画素値とする。

ここで、フィルタ領域５０１内を複数のサブ領域に分けて、分散が一番低いサブ領域を選択する理由について説明する。分散が低いサブ領域は類似した輝度の画素が集まっている領域であると見なすことができ、当該サブ領域においては画像構造が平坦で変化が少ない部分であり、平均化してもエッジ成分は損なわれにくいと考えられる。逆に、分散が高い領域は画像構造が平坦でなく輝度変化が大きい領域だと見なすことができ、当該サブ領域を平均化するとエッジ成分が損なわれてぼやけてしまい画質が悪くなってしまうと考えられる。そこで、本実施形態では、画像合成部２０８は、フィルタ領域内を複数のサブ領域に分けて分散を求め、分散が一番低いサブ領域を選択して当該サブ領域内の画素の画素値を平均化して注目画素ｐ１３の画素値を求めるようになっている。

尚、図６で説明したように、空の画素がフィルタ領域５０１内のサブ領域に含まれる場合は、当該画素は無視して、空ではない画素の画素値を用いて分散を求める。

このように、画像構造が平坦でない分割領域において補間処理を行う場合、フィルタ領域内を複数のサブ領域に分けて、できるだけ輝度が平坦なサブ領域で平均化処理を行うので、フィルタ領域内の全画素の画素値の平均を注目画素の画素値とするよりもエッジ成分が損なわれないので、エッジ成分を残した補間処理を行うことができる。

（ステップＳ１０９）制御部１０８は、ステップＳ１０８で補間処理した高解像度空間画像をメモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存する。尚、図２のフローチャートで処理中の各画像データは、画像バッファ１０７上で処理され、最終的に合成された高解像度空間画像も画像バッファ１０７に一時的に記憶されている。

以上説明してきたように、本実施形態に係るデジタルカメラ１０１は、分割領域毎の画像構造を判別し、画像構造が平坦である分割領域はフィルタ領域内の全画素の平均を注目画素の画素値とする簡単な補間処理を行い、画像構造が平坦でない分割領域はフィルタ領域内を複数のサブ領域に分けてサブ領域毎の分散を求めて最も分散の低いサブ領域の画素値を用いて注目画素の画素値を求める補間処理を行うので、処理量を抑えながら且つ画像構造が平坦でない部分のエッジ情報を損なわない高解像度空間画像を合成することができる。

尚、本実施形態では、デジタルカメラ１０１において、撮影した複数枚の低解像度画像または撮影済みの複数枚の低解像度画像を合成して一枚の高解像度画像を生成する超解像度処理を行うようにしたが、複数枚の低解像度画像から一枚の高解像度画像を生成する超解像度処理を行う専用の画像処理装置であっても構わない。この場合、画像処理装置は、図２のフローチャートと同様の処理を行う制御部や専用のハードウェア回路を有する。

或いは、図２のフローチャートの処理を行うプログラムをパソコン上で走らせて超解像度処理を行うようにしても構わない。この場合は、複数枚の低解像度画像をメモリカードやＣＤなどの記憶媒体からパソコンに入力し、図２のフローチャートに従った処理を実行して高解像度画像を生成し、メモリカードやＣＤなどの記憶媒体に保存したり、或いは高精細ディスプレイへの表示や高精細プリンタでの印刷を行う。

また、本実施形態では、分かり易いように、輝度情報を用いてエッジ強度や分散を求める場合について説明したが、カラー画像の場合は、ＲＧＢ各色の色情報を用いて色の変化の強さや各色の分散を求めても構わない。また、分割領域のサイズや数およびフィルタ領域のサイズや重み付け量は、適宜デジタルカメラの設定メニュー画面で変更できるようにしても構わない。特に、分割領域のサイズとフィルタ領域のサイズは同じであっても構わないし、異なるサイズであっても構わない。いずれの場合でも、分割領域のサイズやフィルタ領域のサイズが小さいほど処理量が多くなり処理負荷が増えるが、画質は向上する。

本実施形態に係るデジタルカメラ１０１のブロック図である。 高解像度画像を生成する処理を示すフローチャートである。 領域分割の例を示す説明図である。 基本画像の高解像度空間への展開を示す説明図である。 参照画像の高解像度空間への展開を示す説明図である。 フィルタ領域の例を示す説明図である。 サブ領域の例を示す説明図である。

符号の説明

１０１・・・デジタルカメラ １０２・・・撮影光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ １０８・・・制御部
１０９・・・メモリ １１０・・・表示部
１１１・・・メモリカードＩ／Ｆ １１２・・・操作部
２０１・・・撮影処理部 ２０２・・・基準画像選択部
２０３・・・領域分割部 ２０４・・・特徴量抽出部
２０５・・・画像構造判別部 ２０６・・・位置ずれ検出部
２０７・・・高解像度空間展開部 ２０８・・・画像合成部

Claims (7)

1. 時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、
   前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く前記複数フレームの画像を参照画像とする基準画像選択部と、
   前記基準画像を複数の分割領域に分割する領域分割部と、
   前記分割領域毎に特徴量を抽出して画像構造を判別する画像構造判別部と、
   前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出部と、
   前記基準画像を高解像度空間に展開し、前記参照画像を前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開部と、
   前記解像度空間展開部が作成した高解像度空間において、前記分割領域毎に前記画像構造判別部が判別した画像構造に応じた補間方法を用いて高解像度空間画像を合成する画像合成部と
   を有することを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像構造判別部は、エッジ強度および画素値の分散の少なくとも１つを用いて、前記分割領域毎に画像構造を判別することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記画像合成部は、フィルタ領域のサイズおよび重み付け量の少なくとも１つが異なる複数の補間方法を用いて高解像度空間画像を合成することを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記画像合成部は、前記フィルタ領域内を複数のサブ領域に分けて分散を求め、最も分散が低いサブ領域内の平均値を当該フィルタ領域内の注目画素値とすることを特徴とする画像処理装置。
5. 請求項１から４のいずれか一項に記載の画像処理装置において、
   被写体部分を抽出するオブジェクト抽出部を更に設け、
   前記分割領域を前記オブジェクト抽出部が抽出した被写体部分とすることを特徴とする画像処理装置。
6. 請求項１から５のいずれか一項に記載の画像処理装置にレンズ光学系と撮像部とを設け、
   前記画像入力部は、前記レンズ光学系を介して前記撮像部で時系列上に連続して撮影される同一被写体を含む複数フレームの画像を入力することを特徴とするデジタルカメラ。
7. 時系列上に連続して同一被写体を含む複数フレームの画像を画像入力部から入力して前記画像入力部が入力する画像より解像度の高い画像を生成する処理をコンピュータで実行する画像処理プログラムであって、
   前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く前記複数フレームの画像を参照画像とする基準画像選択手順と、
   前記基準画像を複数の分割領域に分割する領域分割手順と、
   前記分割領域毎に特徴量を抽出して画像構造を判別する領域判別手順と、
   前記基準画像に対する前記参照画像の位置ずれ量を検出する位置ずれ検出手順と、
   前記基準画像を高解像度空間に展開し、前記参照画像を前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開手順と、
   前記解像度空間展開手順が作成した高解像度空間において、前記分割領域毎に前記領域判別手順が判別した画像構造に応じた補間方法を用いて高解像度空間画像を合成する画像合成手順と
   を有することを特徴とする画像処理プログラム。

Images