JP2014236244A - 画像処理装置、画像処理プログラム、およびデジタルカメラ - Google Patents

Abstract

【課題】焦点検出用画素を含む撮像素子で取得された画像から、高品位の高解像度画像を得ること。【解決手段】画像処理装置１０１は、画像信号を出力する撮像画素および撮像光学系１０２の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子１０４によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部１０７と、複数フレームの画像の中から基準画像を選択し、基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択部２０２と、基準画像に対する参照画像の位置ずれ量を求める位置ずれ検出部２０５と、基準画像を高解像度空間に展開し、参照画像を、位置ずれ量に応じて高解像度空間に配置する高解像度空間展開部２０６と、高解像度空間展開部２０６による配置後の高解像度空間において、焦点検出に用いられる信号を用いて欠落する色成分を補間して各画素位置に全ての色成分が存在する高解像度画像を生成する画像生成部２０７と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理プログラム、およびデジタルカメラに関する。

カメラで撮影された複数の画像から１枚の高解像度画像を生成する処理が知られている（特許文献１参照）。また、焦点検出用の画素を含む撮像素子が知られている（特許文献２参照）。

特開２０１０−１３００６９号公報 特開２００９−９４８８１号公報

一般に、焦点検出用画素からのデータは、高解像度画像の生成に用いられていない。しかしながら、発明者は、焦点検出用画素のデータを上記高解像度画像の生成処理に活かしたいと考えた。

本発明による画像処理装置は、画像信号を出力する撮像画素および撮像光学系の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、複数フレームの画像の中から基準画像を選択し、基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択部と、基準画像に対する参照画像の位置ずれ量を求める位置ずれ検出部と、基準画像を高解像度空間に展開し、参照画像を、位置ずれ量に応じて高解像度空間に配置する高解像度空間展開部と、高解像度空間展開部による配置後の高解像度空間において、焦点検出に用いられる信号を用いて欠落する色成分を補間し、各画素位置に全ての色成分が存在する高解像度画像を生成する画像生成部と、を備えることを特徴とする。

本発明によれば、焦点検出用画素を含む撮像素子で取得された画像から、高品位の高解像度画像が得られる。

本発明の一実施の形態によるデジタルカメラの構成を例示するブロック図である。 撮像素子の画素並びを例示する図である。 高解像モードに設定されている場合の撮影処理の流れを説明するフローチャートである。 位置ずれの概念図である。 領域分割を例示する図である。 １６画素の基準画像を６４画素の解像度の高解像度空間画像に展開する様子を説明する図である。 複数の参照画像を位置ずれ量に応じて高解像度空間画像の空の画素に当てはめる様子を説明する図である。 Ｙ面生成処理の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態に係るデジタルカメラ１０１の構成を例示するブロック図である。デジタルカメラ１０１は、時間的に連続する複数枚の画像を撮影する撮影モードを備えている。デジタルカメラ１０１はさらに、複数枚の画像を用いて高解像度画像を生成する高解像度モードを備えている。

図１において、デジタルカメラ１０１は、撮像光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）部１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、制御部１０８と、メモリ１０９と、表示部１１０と、メモリカードＩ／Ｆ１１１と、操作部１１２と、を含む。

図１において、撮像光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、撮像光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを有している。

撮像素子１０４の受光面には、二次元状に光電変換部が配置されている。各光電変換部は、カラーフィルタを通して入射された光を光量に応じた電気信号へ変換し、ＡＦＥ部１０５に出力する。カラーフィルタは、図２に例示するように、撮像素子１０４の撮像用画素の位置に配設されたＲ，Ｇ，Ｂ色のフィルタによって構成される。Ｒ色のフィルタを通して受光した画素からはＲ色成分の光に対応する光電変換信号が出力され、Ｇ色のフィルタを通して受光した画素からはＧ色成分の光に対応する光電変換信号が出力され、Ｂ色のフィルタを通して受光した画素からはＢ色成分の光に対応する光電変換信号が出力される。

撮像素子１０４の光電変換部には、カラーフィルタが設けられていないフォーカス検出用の画素（図２において符号Ｗで表示）も含まれる。フォーカス検出用の画素は、入射光の色成分にかかわらず、入射光量に応じた光電変換信号をＡＦＥ部１０５に出力する。ＡＦＥ部１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ部１０５から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとして画像バッファ１０７に一時的に記憶する。また、画像バッファ１０７は、画像処理を行う際の画像処理用画像バッファや表示部１１０に画像を表示する際の表示用画像バッファとしても利用される。さらに画像バッファ１０７は、連写撮影時に複数枚の画像を一時的に記憶する連写用画像バッファとしても用いられる。

制御部１０８は、画像バッファ１０７に一時的に記憶されている画像データに対して、ホワイトバランス処理，色補正処理，ガンマ変換処理およびＪＰＥＧ圧縮処理などの画像処理を実行する。そして、ＪＰＥＧ圧縮後のＪＰＥＧ形式の画像データは、メモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存される。また、本実施形態では、制御部１０８は、複数枚の画像を用いて高解像度画像を生成する処理も行う。なお、制御部１０８で実行する処理については、後で詳しく説明する。

メモリ１０９は、デジタルカメラ１０１の撮影モードや再生モードの設定内容、あるいは露出情報やフォーカス情報などのパラメータや設定値などを記憶する。メモリカード１１１ａに保存する画像データを、メモリ１０９に保存するようにしても構わない。

表示部１１０は、制御部１０８からの指示に応じて、撮影画像やメニュー画面などを表示する。操作部１１２は、電源ボタン、レリーズボタン、カーソルキーなどの操作部材によって構成される。ユーザーは、これらの操作部材からデジタルカメラ１０１に対する操作を行う。操作部１１２からの操作情報は制御部１０８に出力される。制御部１０８は、操作部１１２から入力される操作情報に応じてデジタルカメラ１０１の全体の動作を制御する。

次に、制御部１０８について詳しく説明する。制御部１０８は、内部にあらかじめ格納されているプログラムに従って動作し、デジタルカメラ１０１の各部を制御する。制御部１０８は、撮影処理部２０１と、基準画像選択部２０２と、領域分割部２０３と、特徴量抽出部２０４と、位置ずれ検出部２０５と、高解像度空間展開部２０６と、画像合成部２０７とで構成される。なお、本実施形態では説明を分かりやすくするために、基準画像選択部２０２，領域分割部２０３，特徴量抽出部２０４，位置ずれ検出部２０５，高解像度空間展開部２０６，画像合成部２０７などを制御部１０８に含めたが、これらを専用回路によって構成し、制御部１０８と別構成にしても構わない。

撮影処理部２０１は、フォーカス調節や露出制御などを行う。フォーカス調節は、例えばプレビュー画像に基づいて焦点調節状態を検出し、撮像光学系１０２のフォーカスレンズの位置を調節する。プレビュー画像はライブビュー画像とも呼ばれ、撮像素子１０４によって所定のフレームレートで撮影されるモニター用の画像をいう。

本実施形態では、上述したフォーカス検出用の画素（焦点検出用画素と呼ぶ）からの出力信号を用いて位相差検出演算を行うことにより、撮像光学系１０２による焦点調節状態（具体的にはデフォーカス量）を検出する。この位相差検出演算は、特開２００９−９４８８１号公報に記載されるように公知であるため、詳細な説明を省略する。

プレビュー画像の取得時は、メカニカルシャッタ１０３を開放状態にして、撮像素子１０４における蓄積時間（光電変換信号をリセットしてから読出すまでの時間）を制御することによってシャッタ速度を制御する（電子シャッタ制御）。

ユーザーによって操作部１１２のレリーズボタンが押下されると、制御部１０８は、本撮影を開始させて画像データを画像バッファ１０７に一時的に記憶させる。本実施形態では、高解像度モードに設定されている場合にレリーズボタンが押下されると、複数枚の画像を連続して画像バッファ１０７に取り込む。高解像モードの設定／解除は、操作部１１２の操作によって行われる。

＜高解像度画像の生成＞
高解像度画像を生成するために、制御部１０８の基準画像選択部２０２，領域分割部２０３，特徴量抽出部２０４，位置ずれ検出部２０５，高解像度空間展開部２０６および画像合成部２０７が行う動作について、図３のフローチャートを参照して説明する。図３のフローチャートは、高解像モードに設定されている場合の撮影処理の流れを示している。制御部１０８は、高解像モードに設定されると、図３による処理を起動させる。なお、図３の撮影処理で取得する複数枚の画像は、同一の被写体を略同一の画角で時間的に連続して撮影するものとする。

図３のステップＳ１０１において、制御部１０８は、撮影開始か否かを判定する。制御部１０８は、レリーズボタンの押下を示す操作情報が操作部１１２から入力されると、ステップＳ１０１を肯定判定してステップＳ１０２へ進む。制御部１０８は、レリーズボタンの押下を示す操作情報が操作部１１２から入力されない場合は、ステップＳ１０１を否定判定し、レリーズ操作を待つ。

ステップＳ１０２において、制御部１０８は、撮影（画像取得）を開始させてステップＳ１０３へ進む。これにより撮像素子１０４は、例えば３０ｆｐｓのフレームレートで所定枚数の静止画像を取得し、画像バッファ１０７に逐次記憶させる。本実施形態では、例えば、時間的に連続する１０枚の静止画像をバッファ１０７に記憶する。

ステップＳ１０３において、制御部１０８は、静止画像からコントラスト情報を取得してステップＳ１０４へ進む。制御部１０８は、例えば、画像バッファ１０７に記憶された１枚目の画像のデータから得られる輝度情報の偏差（注目画素とその周辺画素との間の輝度差）に基づいて、画面内におけるコントラストを算出してステップＳ１０４へ進む。なお、コントラストの算出は、撮像用画素位置および焦点検出用画素位置においてそれぞれで行う。

ステップＳ１０４において、制御部１０８は、画像バッファ１０７に記憶した静止画像が所定枚数に達したか否かを判定する。制御部１０８は、画像バッファ１０７に蓄積した静止画像が上記１０枚に達するとステップＳ１０４を肯定判定してステップＳ１０５へ進み、上記１０枚に達しない場合はステップＳ１０４を否定判定してステップＳ１０２へ戻る。

ステップＳ１０５において、制御部１０８は、撮影（画像取得）を終了させてステップＳ１０６へ進む。ステップＳ１０６において、制御部１０８は、画像バッファ１０７に記憶した複数枚の静止画像の位置合わせを行う。本実施形態では、これら複数枚の静止画像間において微小な位置ずれが存在することを前提とする。これは、例えば手振れなどの影響により、各撮影画像間で撮影位置がわずかに異なるため、各撮影画像の画素位置が完全には一致しないことに起因するものである。図４は、位置ずれの概念図である。

＜位置合わせ（位置ずれ量の算出）＞
制御部１０８の基準画像選択部２０２は、例えば、画像バッファ１０７に一時的に記憶されている１０枚の静止画像のうち１枚目の画像を基準画像とし、残りの画像（２枚目〜１０枚目）を参照画像とする。制御部１０８の領域分割部２０３は、基準画像を複数の領域に分割する。一般に、分割領域を小さくする方が、視差によるずれのあるシーンや、被写体に動きのあるシーンにおいて位置合わせ誤差を小さく抑えられる。しかしながら、分割数を多くすると、処理負荷が大きくなってしまう。そこで、本実施形態では、例えば図５に示すように、一画面の画像３０１を縦方向３ブロック、横方向４ブロックの１２個の分割領域（ブロック）に分割する場合を例示する。なお、処理負荷を軽くするため、領域分割を行わずに画面全体で位置合わせ（位置ずれ量の算出）を行うようにしても構わない。

制御部１０８の特徴量抽出部２０４は、ブロック単位で特徴量の抽出を行う。例えば、図５の場合は、先ずブロックＸ（１，１）内で特徴量の抽出を行い、次にブロックＸ（１，２）内で特徴量の抽出を行う。このようにして、特徴量抽出部２０４は、ブロックＸ（１，１）からブロックＸ（３，４）までの各ブロック内で特徴量の抽出を行う。ここで、特徴量抽出部２０４が抽出する特徴量は、例えばエッジ強度や分散値とする。なお、エッジ強度とは、ブロック内に含まれるエッジ成分の多さや強さなどを意味し、例えば、なだらかに輝度が変化する画像はエッジ強度が小さく、輝度の変化が激しい構造物などはエッジの強度が大きくなる。

制御部１０８の位置ずれ検出部２０５は、基準画像と参照画像との位置合わせ（位置ずれ量の算出）を以下のように行う。位置ずれ検出部２０５は、基準画像や参照画像の解像度より細かい高解像度空間次元で位置ずれ量を求める。例えば、右方向に２．２画素、下方向に１．４画素のように、基準画像や参照画像の解像度より細かく位置ずれ量（サブピクセルレベルの位置ずれ量）を求める。

サブピクセルレベルの位置ずれ量を求める方法としては、例えばアフィン変換などの幾何変換手法を用いた高次元のパラメータ推定法を使用することができる。この場合は、例えば０．２度の回転位置などのパラメータを求めることができるので、結果としてサブピクセルレベルの位置ずれ量が求まる。なお、上記以外の方法で基準画像に対する各参照画像のサブピクセルレベルの位置ずれ量を求めても構わない。

以上説明した基準画像と参照画像との位置ずれ量の算出は、Ｒ色成分の画像データによるＲ面、Ｇ色成分の画像データによるＧ面、Ｂ色成分の画像データによるＢ面、および焦点検出用画素からの画像データによるＷ面において、それぞれの面ごとに行う。

＜高解像度空間に展開＞
ステップＳ１０７において、制御部１０８は、上記Ｒ面、Ｇ面、Ｂ面、およびＷ面のそれぞれの面ごとに、高解像度空間に展開する。制御部１０８の高解像度空間展開部２０６は、先ず基準画像を高解像度空間に展開する。この基準画像の展開処理の例を図６に示す。

図６は、Ｒ面において、縦４画素および横４画素の１６画素の解像度の基準画像４０１を、縦８画素および横８画素の６４画素の解像度の高解像度空間画像４０２に展開する様子を例示する図である。図６に示すように、基準画像４０１の画素Ｒ１１から画素Ｒ４４の１６個の各画素は、高解像度空間の画像４０２の中に縦横それぞれ２倍の空間に当てはめられる。高解像度空間画像４０２の６４個の画素のうち、基準画像４０１の１６個の画素値が当てはめられていない部分の画素は、画素値が存在しない空の画素を表す。図６において画素番号の上に付した符号「１」は、１枚目の画像（＝基準画像）であることを示す。

次に、高解像度空間展開部２０６は、複数の参照画像をステップＳ１０６で求めた位置ずれ量に応じて高解像度空間画像４０２の空の画素に当てはめる処理を行う。この様子を図７に示す。図７において、２枚目〜４枚目の３枚の参照画像４０３〜４０５の各画素を位置ずれ量に応じて基準画像の画素が当てはめられていない空の画素に当てはめ、高解像度空間画像４０６を作成する。

ここで、基準画像４０１を高解像度空間に展開したときの画素Ｒ１１から画素Ｒ４４の位置と全く同じ画素位置に参照画像４０３〜４０５の画素が配置される場合は、基準画像の画素値を優先して当該画素の画素値とする。なお、基準画像と参照画像とで同じ画素位置の画素値を平均化した値を当該画素の画素値としてもよいし、参照画像の画素値より基準画像の画素値に高い重み付けを行って当該画素の画素値としてもよい。

同様に、複数の参照画像を高解像度空間に展開した場合の同じ画素位置に複数の参照画像の画素値が配置される場合においても、基準画像に取得時刻がより近い参照画像の画素値を優先して当該画素の画素値とする。なお、複数の参照画像の同じ画素の画素値を平均化した値を当該画素の画素値としてもよいし、最も取得時刻が遅い（すなわち最新の）参照画像の画素値を当該画素の画素値として代表しても構わない。図７において画素番号の上に付した符号「ｎ」は、ｎ枚目の画像であることを示す。５枚目〜１０枚目の参照画像４０６〜４１１（不図示）についても同様に、各画素を位置ずれ量に応じて基準画像の画素が当てはめられていない空の画素に当てはめ、高解像度空間画像を作成する。

以上説明したステップＳ１０１からステップＳ１０７までの処理で、高解像度空間に展開された基準画像をベースに、例えば１０枚の参照画像をサブピクセルレベルで位置合わせして配置した高解像度空間画像４０６が生成される。これを仮の高解像度空間画像と呼ぶ。仮の高解像度空間画像４０６は、図７に示すように、単に高解像度空間に展開された基本画像に複数枚の参照画像を位置ずれ量に応じて当てはめただけなので、仮の高解像度空間画像４０６には参照画像が当てはめられなかった空の画素が存在している。そこで、本実施形態では、以降の処理ステップでこの空の画素を補間するための補間処理を行って最終的な高解像度空間画像を生成する。

＜Ｙ面の生成＞
ステップＳ１０８において、制御部１０８の画像合成部２０７は、仮の高解像度空間画像４０６において注目画素位置をずらしながら、画素位置ごとにＹ面の画像データを求めるＹ面生成処理を行う。図８は、Ｙ面生成処理の流れを説明するフローチャートである。画像合成部２０７は、ステップＳ２０１において、注目画素位置にＲＧＢのデータが全部揃っているか否かを判定する。画像合成部２０７は、注目画素位置にＲＧＢのデータが全部揃っている場合にステップＳ２０１を肯定判定してステップＳ２０６へ進み、注目画素位置にＲＧＢのデータが全部揃っていない場合には、ステップＳ２０１を否定判定してステップＳ２０２へ進む。

ステップＳ２０６において、画像合成部２０７は、次式（１）により輝度データＹを算出して次画素の処理へ進む。
Ｙ＝a1×Ｒ＋a2×Ｇ＋a3×Ｂ …（１）
ただし、a1、a2、およびa3は所定係数、データＲ，Ｇ，Ｂはそれぞれの色成分の画素値である。

ステップＳ２０２において、画像合成部２０７は、注目画素位置に輝度情報のデータＷが存在するか否かを判定する。画像合成部２０７は、注目画素位置にデータＷが存在する場合に、ステップＳ２０２を肯定判定してステップＳ２０７へ進み、注目画素位置にデータＷが存在しない場合には、ステップＳ２０２を否定判定してステップＳ２０３へ進む。なお、注目画素位置にフォーカス検出用の画素（図２の符号Ｗ）が対応している場合には、フォーカス検出用画素から出力されたデータＷが注目画素位置に存在することになる。このため、この場合は、データＷが存在するものとして本ステップＳ２０２を肯定判定してステップＳ２０７に進むことになる。

ステップＳ２０７において、画像合成部２０７は、次式（２）により輝度データＹを算出して次画素の処理へ進む。
Ｙ＝Ｗ …（２）
ただし、データＷは、焦点検出用画素による画素値である。ところでこのデータＷは、輝度データＹを含むが、色に関する情報を含んでいない。このため次のステップＳ２１１において、注目画素（フォーカス検出用画素）の周囲のデータを用いて公知のバイリニア補間処理を行うことにより、注目画素位置に当てはめる、色に関する疑似データを生成してリターンする。ステップＳ２１１のバイリニア補間は、上記Ｒ面、Ｇ面、およびＢ面のそれぞれの面ごとに行う。

ステップＳ２０３において、画像合成部２０７は、注目画素と隣接する画素位置に輝度情報のデータＷが存在するか否かを判定する。画像合成部２０７は、注目画素と隣接する画素位置にデータＷが存在する場合に、ステップＳ２０３を肯定判定してステップＳ２０８へ進み、注目画素と隣接する画素位置にデータＷが存在しない場合には、ステップＳ２０３を否定判定してステップＳ２０４へ進む。

ステップＳ２０４において、画像合成部２０７は、仮の高解像度空間画像４０６において注目画素位置をずらしながら注目画素の周囲のデータを用いて公知のバイリニア補間処理を行うことにより、空の画素位置に当てはめる疑似データを生成してステップＳ２０５へ進む。ステップＳ２０４のバイリニア補間は、上記Ｒ面、Ｇ面、およびＢ面のそれぞれの面ごとに行う。

ステップＳ２０８において、画像合成部２０７は、注目画素におけるコントラストが所定値以上か否かを判定する。画像合成部２０７は、ステップＳ１０３（図３）で取得したコントラスト情報が所定値以上の場合にステップＳ２０８を肯定判定してステップＳ２１０へ進み、コントラスト情報が所定値未満の場合にはステップＳ２０８を否定判定してステップＳ２０９へ進む。

ステップＳ２１０において、画像合成部２０７は、仮の高解像度空間画像４０６において注目画素位置をずらしながら注目画素の周囲のデータを用いて公知のバイキュービック補間処理を行うことにより、空の画素位置に当てはめる疑似データを生成してステップＳ２０５へ進む。ステップＳ２０５のバイキュービック補間は、上記Ｒ面、Ｇ面、およびＢ面のそれぞれの面ごとに行う。

ステップＳ２０９において、画像合成部２０７は、仮の高解像度空間画像４０６において注目画素位置をずらしながら注目画素の周囲のデータを用いて公知のバイリニア補間処理を行うことにより、空の画素位置に当てはめる疑似データを生成してステップＳ２０５へ進む。ステップＳ２０９のバイリニア補間は、上記Ｒ面、Ｇ面、およびＢ面のそれぞれの面ごとに行う。

ステップＳ２０５において、画像合成部２０７は、上式（１）により輝度データＹを算出して次画素の処理へ進む。以上説明した図８による処理を行うことにより、仮の高解像度空間画像４０６において画素位置ごとに輝度データＹが算出される。

＜Ｃ面の生成＞
図３のステップＳ１０９において、制御部１０８の画像合成部２０７は、仮の高解像度空間画像４０６において注目画素位置をずらしながら、画素位置ごとに色差面の画像データを求めるＣ面生成処理を行う。

ステップＳ１０９を実行する段階では、仮の高解像度空間画像４０６において画素位置ごとにデータＲ、Ｇ、Ｂ、Ｙが得られている（フォーカス検出用画素からの焦点検出信号（Ｗデータ）しか得られていない画素位置においても、既述のステップＳ２１１にてデータＲ，Ｇ，Ｂを算出済みである）。画像合成部２０７は、次式（３）および次式（４）を用いて色差ＣｂおよびＣｒを算出して次画素の処理へ進む。
Ｃｂ＝Ｙ−a4× Ｂ …（３）
Ｃｒ＝Ｙ−a5× Ｒ …（４）
ただし、a4、a5は所定係数、データＹはステップＳ１０８で算出した値、データＢ，Ｒはそれぞれの色成分の画素値である。ステップＳ１０９では、仮の高解像度空間画像４０６における全ての画素位置において（フォーカス検出用画素に対応する画素位置においても）、上記演算を行うことにより、全ての画素位置において輝度データＹ，色差データＣｂ，Ｃｒのセットを求めることができる。

ステップＳ１１０において、制御部１０８は、上述したように処理した高解像度空間画像（輝度データＹ，色差データＣｂ，Ｃｒ）をメモリカードＩ／Ｆ１１１を介してメモリカード１１１ａに保存し、図３による処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）デジタルカメラ１０１は、画像信号を出力する撮像画素および撮像光学系１０２の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子１０４によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像バッファ１０７と、複数フレームの画像の中から基準画像を選択し、基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択部２０２と、基準画像に対する参照画像の位置ずれ量を求める位置ずれ検出部２０５と、基準画像を高解像度空間に展開し、参照画像を、位置ずれ量に応じて高解像度空間に配置する高解像度空間展開部２０６と、高解像度空間展開部２０６による配置後の高解像度空間において、焦点検出に用いられる信号を用いて欠落する色成分を補間し、各画素位置に全ての色成分が存在する高解像度画像を生成する画像合成部２０７と、を備える。これにより、焦点検出用画素を含む撮像素子１０４で取得された画像から、高品位の高解像度画像が得られる。

（２）上記（１）のデジタルカメラ１０１において、画像合成部２０７は、色成分の欠落がない位置には全ての色成分に基づいて輝度情報を求め、色成分が少なくとも１つ欠落する位置であって焦点検出に用いられる信号を有する位置には当該焦点検出用の信号から輝度情報を求め、色成分が少なくとも１つ欠落する位置であって焦点検出に用いられる信号を有していない位置には、欠落する色成分を補間後の全ての色成分に基づいて輝度情報を求めるように構成した。いずれかの色成分が欠落する位置において、焦点検出に用いられる信号を有する場合に当該焦点検出用信号から輝度情報を求めることで、焦点検出用信号を用いずに色補間後の全色成分に基づいて輝度情報を求める場合に比べて、高品位の高解像度画像を得る上で有利になる。

（３）上記（２）のデジタルカメラ１０１において、画像合成部２０７は、色成分が欠落する位置におけるコントラストの大きさに応じて欠落する色成分の補間方法を切り替えるようにした。例えば、コントラストが高ければバイキュービック補間により色成分を補間し、コントラストが低ければバイリニア補間により色成分を補間する。これにより、画像の内容に応じて適切な補間方法を適用できる。

（４）上記（２）、（３）のデジタルカメラ１０１において、画像合成部２０７はさらに、高解像度空間展開部２０６による配置後の高解像度空間において、各画素位置で輝度情報に基づいて色差情報を求めるようにした。マトリクス演算でなく色差演算を行うことで、焦点検出用信号に由来する輝度情報を有効に活用できる。

デジタルカメラ１０１は、同一被写体を狙って複数枚の画像を取得する上記実施形態の他にも、デジタルカメラ１０１でパンニング撮影することにより、視野を少しずつ（例えば画面の横方向の長さの略１／２０）ずらした複数枚（例えば４０枚）の横長画像を取得した上で、これら複数枚の横長画像を合成して高解像度のパノラマ画像を生成する場合にも適用できる。この場合、１枚の横長画像のうち略中央に位置する縦長の短冊領域（短冊の縦の長さは１枚の横長画面の縦方向の長さに相当し、短冊の横の長さは１枚の横長画面の横方向の長さの略１／１０に相当）を、約３０枚並べてパノラマ画像を構成する。各短冊領域は、それぞれ取得時刻が近い８枚から１０枚の画像に基づいて高解像度化を施して得る。

（変形例１）
上述した説明では、複数枚の画像を用いて高解像度画像を生成する処理を、画面の全域にわたって共通に行う例を説明した。この代わりに、高解像度画像を生成する処理を画面の全域にわたって共通に行うか、または画面の一部の領域に対してのみ選択的に高解像度画像を生成する処理を行うかを、デジタルカメラ１０１に設定されている撮影モードに応じて切り替えるようにしてもよい。例えば、撮影シーンが「風景」である場合は高解像度画像を生成する処理を画面の全域にわたって共通に行い、撮影シーンが「ポートレート」である場合は高解像度画像を生成する処理を人物領域に対してのみ行う。

（変形例２）
また、デジタルカメラ１０１に設定されている撮影モードに応じて、画面の一部の領域に対して高解像度画像を生成する処理に用いる画像数を多くし、他の領域については高解像度画像を生成する処理に用いる画像数を少なくするようにしてもよい。例えば、撮影シーンが「ポートレート」である場合において、人物領域においては高解像度画像を生成する処理に用いる画像数を多くし（例えば１０枚）、人物領域以外の背景領域においては高解像度画像を生成する処理に用いる画像数を少なくする（例えば３枚）。

（変形例３）
さらにまた、画面に含まれる被写体までの距離に応じて、高解像度画像を生成する処理に用いる画像を異ならせてもよい。例えば、デジタルカメラ１０１に近い近景領域においては、高解像度画像を生成する処理に用いる複数画像として、例えば３０ｆｐｓで取得した画像のうち１枚目から１０枚目までを用いる。デジタルカメラ１０１から遠い遠景領域においては、近景領域に比べて高解像度画像を生成する処理に用いる画像数を少なくする（例えば１枚目、５枚目、および１０枚目）。

一般に、被写体に動きがある場合は、デジタルカメラ１０１に近い被写体ほど画面内を速く移動するので、基準画像に取得時刻がより近い参照画像を多く用いると、各参照画像に共通の主要被写体が含まれる可能性が高まり、高解像度化に有利である。反対に、デジタルカメラ１０１から離れた被写体は画面内を遅く移動するので、近景領域のように多くの参照画像を用いる必要性が低い。なお、デジタルカメラ１０１に近い被写体か遠い被写体かの判断は、例えば基準画像の焦点検出用画素からの出力信号に基づくデフォーカス量を用いて行えばよい。

（変形例４）
上述したように、本実施形態における高解像度画像の生成処理は、複数枚の画像間において微小な位置ずれが存在することを前提とする。このため、主要被写体が移動して複数枚の画像間で大きな位置ずれが生じる場合は本実施形態における高解像度化の処理対象から外れることとなる。そこで、ステップＳ１０６で得られる位置ずれ量が所定の基準値を超える場合には、「合成否」判定を行ってステップＳ１０７以降の処理をスキップするように構成してもよい。

（変形例５）
以上の説明では、デジタルカメラ１０１において、撮影した複数枚の画像を合成して１枚の高解像度画像を生成する処理を行うようにしたが、複数枚の画像から１枚の高解像度画像を生成する専用の画像処理装置として構成しても構わない。この場合の画像処理装置は、図３、図８に例示したフローチャートと同様の処理を行う制御部、または同様の処理を行う専用の画像処理回路を備える。

（変形例６）
図３、図８に例示したフローチャートと同様の処理を行うプログラムをコンピュータやタブレット端末などに実行させて、高解像度画像を生成させるようにしても構わない。この場合は、複数枚の画像をメモリカードなどの記憶媒体からコンピュータやタブレット端末へ入力させる、あるいは図示しないネットワークを介してコンピュータやタブレット端末へ入力させた上で、図３、図８のフローチャートに従った処理を実行させることによって、高解像度画像を生成させる。
（変形例７）
図８のステップＳ２１１では、バイリニア補間処理を、Ｒ面、Ｇ面、およびＢ面のそれぞれの面ごとに行っている。しかしながら、上記実施形態では、図３のステップＳ１０９，Ｓ１１０で示すように、最終的には、Ｙ，Ｃｂ，Ｃｒのデータが得られれば良い。このためステップＳ２１１では、上記バイリニア補間処理を、Ｒ面とＢ面のみ行うようにしても良い（Ｒデータ，Ｂデータが得られれば、Ｗ（Ｙ）データ、式（３）および式（４）を用いて色差ＣｂおよびＣｒを算出できるため）。このようにＧ面の補間処理を省くことによって、演算負荷を軽減でき、演算処理の高速化につなげることができる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１０１…デジタルカメラ
１０２…撮像光学系
１０４…撮像素子
１０７…画像バッファ
１０８…制御部
１０９…メモリ
２０１…撮影処理部
２０２…基準画像選択部
２０３…領域分割部
２０４…特徴量抽出部
２０５…位置ずれ検出部
２０６…高解像度空間展開部
２０７…画像合成部

Claims (6)

1. 画像信号を出力する撮像画素および撮像光学系の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、
   前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択部と、
   前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出部と、
   前記基準画像を高解像度空間に展開し、前記参照画像を、前記位置ずれ量に応じて前記高解像度空間に配置する高解像度空間展開部と、
   前記高解像度空間展開部による前記配置後の高解像度空間において、前記焦点検出に用いられる信号を用いて欠落する色成分を補間し、各画素位置に全ての色成分が存在する高解像度画像を生成する画像生成部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記画像生成部は、前記色成分の欠落がない位置には全ての色成分に基づいて輝度情報を求め、前記色成分が少なくとも１つ欠落する位置であって前記焦点検出に用いられる信号を有する位置には当該焦点検出用の信号から輝度情報を求め、前記色成分が少なくとも１つ欠落する位置であって前記焦点検出に用いられる信号を有していない位置には、欠落する色成分を補間後の全ての色成分に基づいて輝度情報を求めることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記画像生成部は、前記色成分が欠落する位置におけるコントラストの大きさに応じて前記欠落する色成分の補間方法を切り替えることを特徴とする画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記画像生成部はさらに、前記高解像度空間展開部による前記配置後の高解像度空間において、各画素位置で前記輝度情報に基づいて色差情報を求めることを特徴とする画像処理装置。
5. 画像信号を出力する撮像画素および撮像光学系の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力処理と、
   前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択処理と、
   前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出処理と、
   前記基準画像を高解像度空間に展開し、前記参照画像を、前記位置ずれ量に応じて前記高解像度空間に配置する解像度空間展開処理と、
   前記解像度空間展開処理による前記配置後の高解像度空間において、前記焦点検出に用いられる信号を用いて欠落する色成分を補間し、各画素位置に全ての色成分が存在する高解像度画像を生成する画像生成処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
6. 画像信号を出力する撮像画素および撮像光学系の焦点検出に用いられる信号を出力する焦点検出画素を有する撮像素子と、
   前記撮像素子によって取得された複数の色成分からなる画像であって、時系列上に連続して同一被写体を含む複数フレームの画像を入力する画像入力部と、
   前記複数フレームの画像の中から基準画像を選択し、前記基準画像を除く他の複数フレームの画像を参照画像とする基準画像選択部と、
   前記基準画像に対する前記参照画像の位置ずれ量を求める位置ずれ検出部と、
   前記基準画像を高解像度空間に展開し、前記参照画像を、前記位置ずれ量に応じて前記高解像度空間に配置する高解像度空間展開部と、
   前記高解像度空間展開部による前記配置後の高解像度空間において、前記焦点検出に用いられる信号を用いて欠落する色成分を補間し、各画素位置に全ての色成分が存在する高解像度画像を生成する画像生成部と、
   を備えることを特徴とするデジタルカメラ。

Images