JP2014023121A - 画像処理装置およびプログラム - Google Patents

Abstract

【課題】合焦動作中に撮像すると、ぼけた画像がユーザに提供されてしまうこと。
【解決手段】画像処理装置は、入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する画像判断部と、入力画像データが合焦動作中に撮像された画像の画像データであると画像判断部が判断した場合に、入力画像データが合焦動作中に撮像された画像の画像データでないと画像判断部が判断した場合より大きい強度で、入力画像データに超解像処理を施す超解像処理部とを備える。
【選択図】図１

Description

本発明は、画像処理装置およびプログラムに関する。

撮像手段で同一の被写体を連続して撮影し、各撮影画像を記録媒体に記録する撮像装置と、上記記録媒体に記録された複数枚の撮影画像を用いて、超解像処理により１の画像を作成する画像処理装置とからなる画像処理システムが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−１１２００８号公報

合焦動作をしている間に撮像すると、ぼけた画像がユーザに提供されてしまう場合がある。

本発明の第１の態様においては、画像処理装置は、入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する画像判断部と、入力画像データが合焦動作中に撮像された画像の画像データであると画像判断部が判断した場合に、入力画像データが合焦動作中に撮像された画像の画像データでないと画像判断部が判断した場合より大きい強度で、入力画像データに超解像処理を施す超解像処理部とを備える。

本発明の第２の態様においては、撮像により得られた入力動画から出力動画を生成する画像処理装置であって、入力動画を構成する複数の画像のそれぞれが、合焦動作中に撮像された画像であるか、非合焦動作中に撮像された画像であるかを判断する画像判断部と、画像判断部が非合焦動作中に撮像されたと判断した画像の画像データに超解像処理を施して超解像画像データを生成し、生成した超解像画像データを、出力動画を構成する画像の画像データとして出力する超解像処理部と、超解像処理部が生成した超解像画像データを保持する画像データ保持部と、画像データ保持部に保持されている超解像画像データを、出力動画を構成する画像のうちの、画像判断部が合焦動作中に撮像されたと判断された画像に対応する画像の画像データとして出力させる出力制御部とを備える。

本発明の第３の態様においては、プログラムは、入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する画像判断ステップと、入力画像データが合焦動作中に撮像された画像の画像データであると画像判断ステップで判断された場合に、入力画像データが合焦動作中に撮像された画像の画像データでないと画像判断ステップで判断された場合より大きい強度で、入力画像データに超解像処理を施す超解像処理ステップとをコンピュータに実行させる。

本発明の第４の態様においては、撮像により得られた入力動画から出力動画を生成する画像処理装置用のプログラムであって、入力動画を構成する複数の画像のそれぞれが、合焦動作中に撮像された画像であるか、非合焦動作中に撮像された画像であるかを判断する画像判断ステップと、画像判断ステップで非合焦動作中に撮像されたと判断された画像の画像データに超解像処理を施して超解像画像データを生成し、生成した超解像画像データを、出力動画を構成する画像の画像データとして出力する超解像処理ステップと、超解像処理ステップで生成された超解像画像データを保持する画像データ保持ステップと、画像データ保持ステップに保持されている超解像画像データを、出力動画を構成する画像のうちの、画像判断ステップで合焦動作中に撮像されたと判断された画像に対応する画像の画像データとして出力させる出力制御ステップとをコンピュータに実行させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

カメラ１０のブロック構成の一例を示す。 ＡＳＩＣ１３５のブロック構成の一例を示す。 画像のぼけ量と超解像処理の強度との間の依存関係を示す。 超解像処理の強度の切り替え例を模式的に示す。 超解像処理に関する制御結果の一例を模式的に示す。 超解像処理に関する制御結果の他の一例を模式的に示す。 超解像処理に関する制御結果の更なる他の一例を模式的に示す。 カメラ１０の起動から終了までの処理フローを示す。 撮像動作における処理フローの一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、カメラ１０のブロック構成の一例を示す。本図ではレンズユニット１２０が装着された状態のカメラ１０のブロック構成を示す。カメラ１０は、撮像装置の一例としての一眼レフレックスカメラである。

レンズユニット１２０は、レンズマウント接点１２１を有するレンズマウントを備える。カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントとが係合してレンズユニット１２０とカメラ本体１３０とが一体化されると、レンズマウント接点１２１とカメラマウント接点１３１とが接続される。レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１４０と接続され、相互に通信しつつ協働してレンズユニット１２０を制御する。

レンズユニット１２０は、レンズ群１２２、レンズ駆動部１２４およびレンズＭＰＵ１２３を有する。被写体光は、レンズユニット１２０が有する光学系としてのレンズ群１２２を光軸に沿って透過して、カメラ本体１３０に入射する。メインミラー１４５は、レンズ群１２２の光軸を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。

メインミラー１４５が斜設状態にある場合、メインミラー１４５は、レンズ群１２２を通過した被写体光束の一部を反射する。具体的には、斜設状態におけるメインミラー１４５の光軸近傍領域は、ハーフミラーとして形成されている。光軸近傍領域に入射した被写体光束の一部は透過し、他の一部は反射する。メインミラー１４５により反射された被写体光束はファインダ部１４７に導かれて、ユーザに観察される。ユーザは、ファインダ部１４７を通じて構図等を確認することができる。ファインダ部１４７は、被写体光束に基づく被写体像とともに、撮像動作の設定状態を示す情報等を含む種々の情報をユーザに提示する表示デバイスを含んでよい。

メインミラー１４５の光軸近傍領域を透過した被写体光束の一部は、サブミラー１４６で反射されて、ＡＦユニット１４２へ導かれる。ＡＦユニット１４２は、被写体光束を受光する複数の光電変換素子列を有する。光電変換素子列は、合焦状態にある場合には位相が一致した信号を出力し、前ピン状態または後ピン状態にある場合には、位相ずれした信号を出力する。位相のずれ量は、焦点状態からのずれ量に対応する。ＡＦユニット１４２は、光電変換素子列の出力を相関演算することで位相差を検出して、位相差を示す位相差信号をカメラＭＰＵ１４０へ出力する。ＡＦ動作は、レリーズボタンの半押し操作に応じて行われる。

レンズ群１２２の焦点状態は、カメラＭＰＵ１４０等の制御により、ＡＦユニット１４２からの位相差信号を用いて調節される。例えば、位相差信号から検出された焦点状態に基づき、カメラＭＰＵ１４０によってレンズ群１２２が含むフォーカスレンズの目標位置が決定され、決定された目標位置に向けてレンズＭＰＵ１２３の制御によってフォーカスレンズの位置が制御される。具体的には、レンズＭＰＵ１２３は、一例としてフォーカスレンズモータを含むレンズ駆動部１２４を制御して、レンズ群１２２を構成するフォーカスレンズを移動させる。このように、メインミラー１４５がダウンして斜設状態にある場合に、位相差検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。ＡＦユニット１４２は、被写体像における複数の領域のそれぞれにおいて焦点状態を調節すべく、複数の領域にそれぞれ対応する複数の位置にそれぞれ光電変換素子列が設けられる。

測光素子１４４は、光学ファインダ部に導かれた光束の一部の光束を受光する。測光素子１４４が有する光電変換素子で検出された被写体の輝度情報は、カメラＭＰＵ１４０に出力される。カメラＭＰＵ１４０は、測光素子１４４から取得した輝度情報に基づき、ＡＥ評価値を算出して露出制御に用いる。露出制御は、レリーズスイッチの半押し操作に応じて行われる。

メインミラー１４５が被写体光束から退避すると、サブミラー１４６はメインミラー１４５に連動して被写体光束から退避する。撮像素子１３２のレンズ群１２２側には、フォーカルプレーンシャッタ１４３が設けられる。フォーカルプレーンシャッタ１４３は、一例として、メカニカルシャッタである。メインミラー１４５が退避状態にあり、フォーカルプレーンシャッタ１４３が開状態にある場合、レンズ群１２２を透過した被写体光束は、撮像素子１３２の受光面に入射する。

撮像素子１３２は、撮像部として機能する。撮像素子１３２は、レンズ群１２２を通過した被写体光束により被写体を撮像する。撮像素子１３２としては、例えばＣＣＤセンサ、ＣＭＯＳセンサ等の固体撮像素子を含む。撮像素子１３２は、被写体光束を受光する複数の光電変換素子を有しており、複数の光電変換素子でそれぞれ生じた蓄積電荷量に応じたアナログ信号をアナログ処理部１３３へ出力する。アナログ処理部１３３は、撮像素子１３２から出力されたアナログ信号に対して、ゲインコントロール、雑音除去等のアナログ処理が施して、Ａ／Ｄ変換器１３４へ出力する。Ａ／Ｄ変換器１３４は、アナログ処理部１３３から出力されたアナログ信号を、画像データを表すデジタル信号に変換して出力する。撮像素子１３２、アナログ処理部１３３およびＡ／Ｄ変換器１３４は、カメラＭＰＵ１４０からの指示を受けた駆動部１４８により駆動され、動作タイミングが制御される。

Ａ／Ｄ変換器１３４からデジタル信号で出力した画像データは、ＡＳＩＣ１３５に入力される。ＡＳＩＣ１３５は、画像処理機能に関連する回路等を一つにまとめた集積回路である。ＡＳＩＣ１３５は、揮発性メモリの一例としてのＲＡＭ１３６の少なくとも一部のメモリ領域を、画像データを一時的に記憶するバッファ領域として使用して、ＲＡＭ１３６に記憶させた画像データに対して種々の画像処理を施す。ＡＳＩＣ１３５による画像処理としては、欠陥画素補正、ホワイトバランス補正、色補間処理、色補正、ガンマ補正、輪郭強調処理、画像データの圧縮処理等を例示することができる。撮像素子１３２が連続して撮像した場合、順次に出力される画像データはバッファ領域に順次に記憶される。撮像素子１３２が連続して撮像することにより得られた複数の画像データは、連続する静止画の画像データ、または、動画を構成する各画像の画像データとして、バッファ領域に順次に記憶される。ＲＡＭ１３６は、ＡＳＩＣ１３５において動画データを処理する場合にフレームを一時的に記憶するフレームメモリとしても機能する。

ＡＳＩＣ１３５における画像処理としては、記録用の画像データを生成する処理の他、表示用の画像データを生成する処理、自動焦点調節（ＡＦ）用の画像データ処理を例示できる。また、ＡＳＩＣ１３５における画像処理としては、ＡＦ処理用のコントラスト量を検出する処理等を含む。具体的には、ＡＳＩＣ１３５は、画像データからコントラスト量を検出してカメラＭＰＵ１４０に供給する。例えば、ＡＳＩＣ１３５は、光軸方向の異なる位置にフォーカスレンズを位置させて撮像することにより得られた複数の画像データのそれぞれからコントラスト量を検出する。カメラＭＰＵ１４０は、検出されたコントラスト量とフォーカスレンズの位置とに基づいて、レンズ群１２２の焦点状態を調節する。例えば、カメラＭＰＵ１４０は、コントラスト量を増大させるようフォーカスレンズの目標位置を決定して、レンズＭＰＵ１２３に、決定された目標位置に向けてフォーカスレンズの位置を制御させる。このように、メインミラー１４５がアップして退避状態にある場合に、コントラスト検出方式でレンズ群１２２の焦点状態が検出されて焦点調節が行われる。このように、カメラＭＰＵ１４０は、ＡＳＩＣ１３５およびレンズＭＰＵ１２３と協働して、レンズ群１２２の焦点調節を行う。

ＡＳＩＣ１３５は、Ａ／Ｄ変換器１３４から出力された画像データを記録する場合、規格化された画像フォーマットの画像データに変換する。例えば、ＡＳＩＣ１３５は、静止画の画像データを、ＪＰＥＧ等の規格に準拠した符号化形式で符号化された静止画データを生成するための圧縮処理を行う。また、ＡＳＩＣ１３５は、複数のフレームを、ＱｕｉｃｋＴｉｍｅ、Ｈ．２６４、ＭＰＥＧ２、Ｍｏｔｉｏｎ ＪＰＥＧ等の規格に準拠した符号化方式で符号化された動画データを生成するための圧縮処理を行う。

ＡＳＩＣ１３５は、生成した静止画データ、動画データ等の画像データを、不揮発性の記録媒体の一例としての外部メモリ１８０へ出力して記録させる。例えば、ＡＳＩＣ１３５は、静止画ファイル、動画ファイルとして外部メモリ１８０に記録させる。外部メモリ１８０としては、フラッシュメモリ等の半導体メモリを例示することができる。具体的には、外部メモリ１８０としては、ＳＤメモリカード、ＣＦストレージカード、ＸＱＤメモリカード等の種々のメモリカードを例示することができる。ＲＡＭ１３６に記憶されている画像データは、記録媒体ＩＦ１５０を通じて外部メモリ１８０へ転送される。また、外部メモリ１８０に記録されている画像データは、記録媒体ＩＦ１５０を通じてＲＡＭ１３６へ転送され、表示等の処理に供される。記録媒体ＩＦ１５０としては、上述したメモリカードに対するアクセスを制御するカードコントローラを例示することができる。

ＡＳＩＣ１３５は、記録用の画像データの生成に並行して、表示用の画像データを生成する。例えば、ＡＳＩＣ１３５は、いわゆるライブビュー動作時に、液晶表示デバイス等の表示部１３８に表示させる表示用の画像データを生成する。また、画像の再生時においては、ＡＳＩＣ１３５は、外部メモリ１８０から読み出された画像データから表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従ってアナログの信号に変換され、表示部１３８に表示される。また、撮像により得られた画像データに基づく画像表示と共に、当該画像データに基づく画像表示をすることなく、カメラ１０の各種設定に関する様々なメニュー項目や、タッチ操作用のオブジェクトも、ＡＳＩＣ１３５および表示制御部１３７の制御により表示部１３８に表示される。

外部機器ＩＦ１５２は、外部機器との通信を担う。外部メモリ１８０に記録された画像データは、外部機器ＩＦ１５２を通じて外部機器へ転送される。また、外部機器ＩＦ１５２を通じて外部機器から通信により取得した画像データは、外部メモリ１８０に記録される。外部機器ＩＦ１５２は、ＵＳＢ通信により外部機器と通信してよい。

操作入力部１４１は、ユーザから操作を受け付ける。操作入力部１４１は、レリーズボタン、撮像モードダイヤル、再生ボタン、ライブビュースイッチ、動画ボタン、電源スイッチ等の各種操作部材等を含む。また、操作入力部１４１は、タッチパネル等として表示部１３８と一体に実装された入力部材を含んでよい。カメラＭＰＵ１４０は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１４０は、レリーズボタンが押し込まれた場合に、撮像動作を実行するようにカメラ１０の各部を制御する。また、カメラＭＰＵ１４０は、タッチパネルとして実装された入力部材が操作された場合に、表示部１３８に表示させたメニュー項目および操作内容に応じた動作をするよう、カメラ１０の各部を制御する。

カメラ１０は、上記に説明した制御を含めて、カメラＭＰＵ１４０およびＡＳＩＣ１３５により直接的または間接的に制御される。カメラ１０の動作に必要な定数、変数等のパラメータ、プログラム等は、システムメモリ１３９に格納される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ、ＥＥＰＲＯＭ等により構成される。システムメモリ１３９は、パラメータ、プログラム等を、カメラ１０の非動作時にも失われないように格納する。システムメモリ１３９に記憶されたパラメータ、プログラム等は、ＲＡＭ１３６に展開され、カメラ１０の制御に利用される。カメラ本体１３０内の、ＡＳＩＣ１３５、ＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、および、カメラＭＰＵ１４０は、バス等の接続インタフェース１４９により相互に接続され、各種のデータをやりとりする。

カメラ本体１３０の各部、レンズユニット１２０の各部および外部メモリ１８０は、カメラＭＰＵ１４０の制御により、電源回路１９２を介して電源１９０から電力供給を受ける。電源１９０は、ニッケル水素電池、リチウムイオン電池等の二次電池、非充電式の電池等であってよい。電池としての電源１９０は、カメラ本体１３０に対して着脱可能に装着される。電源１９０は、商用電源であってもよい。

図２は、ＡＳＩＣ１３５のブロック構成の一例を示す。ここでは、超解像処理に関する機能ブロックを示す。ＡＳＩＣ１３５は、前処理部２１０と、画像判断部２３０と、超解像処理部２２０と、出力判断部２４０と、出力制御部２５０と、出力部２６０と、圧縮部２７０と、ＡＦ評価値算出部２８０とを有する。

前処理部２１０は、Ａ／Ｄ変換器１３４から入力された画像データに対して前処理を行う。例えば、前処理部２１０は、輪郭補償、ガンマ補正等の画像処理を行う。また、前処理部２１０は、当該画像処理が施された画像データからホワイトバランス調整値を求めて、ホワイトバランス調整を行う。前処理部２１０により処理された画像データは、超解像処理部２２０および出力判断部２４０へ入力画像データとして出力される。また、前処理部２１０により処理された画像データは、ＡＦ評価値算出部２８０へ出力される。

ＡＦ評価値算出部２８０は、前処理部２１０から供給された画像データに基づいて、コントラスト評価値を算出する。ＡＦ評価値算出部２８０が算出したコントラスト評価値は、カメラＭＰＵ１４０に出力される。カメラＭＰＵ１４０は、レリーズボタンの半押し動作を検出した場合等、ＡＦ動作を行うべき旨を判断した場合に、被写体に対して合焦状態にすべく、レンズ群１２２の位置をコントラスト評価値に基づいて変位させる。カメラＭＰＵ１４０は、被写体に対して合焦状態になったと判断した場合、ＡＦ動作を停止する。カメラＭＰＵ１４０は、ＡＦ動作中であるか否かを示す信号を、ＡＳＩＣ１３５へ出力する。

画像判断部２３０は、入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する。具体的には、画像判断部２３０は、入力画像データが、自動焦点調節中に撮像された画像の画像データであるか否かを判断する。より具体的には、画像判断部２３０は、入力画像データが、コントラスト評価値に基づく自動焦点調節中に撮像された画像の画像データであるか否かを判断する。画像判断部２３０は、カメラＭＰＵ１４０からの信号に基づいて、合焦動作中に撮像された画像の画像データであるか否かを判断する。なお、ＡＦ動作中とは、ＡＦ動作を開始してから、ＡＦ動作を停止するまでの期間であってよい。

超解像処理部２２０は、入力画像データが合焦動作中に撮像された画像の画像データであると画像判断部２３０が判断した場合に、入力画像データが合焦動作中に撮像された画像の画像データでないと画像判断部２３０が判断した場合より大きい強度で、入力画像データに超解像処理を施す。超解像処理部２２０は、サブサンプリング処理および画像の高周波成分を強調する強調処理を含む超解像処理を、入力画像データに施す。また、超解像処理部２２０は、入力画像データから算出された画像のぼけ量がより大きい場合に、より大きい強度で入力画像データに超解像処理を施す。なお、合焦動作中に撮像された画像に対しては、アナログ処理部１３３においてゲインアップ処理を行ってよい。アナログ処理部１３３におけるゲインアップの強度は、ＡＦ評価値等に応じて予め定められていてよい。

ここで、入力画像データが、撮像により得られた入力動画を構成する複数の画像うちの第１画像の画像データであるとして、出力判断部２４０および出力制御部２５０の動作について説明する。出力判断部２４０は、入力画像データが合焦動作中に撮像された画像の画像データであると画像判断部２３０が判断した場合に、入力画像データに超解像処理を施した画像データを出力すべきか否かを判断する。出力制御部２５０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべき旨を判断した場合に、超解像処理部２２０で入力画像データに超解像処理を施した超解像画像データを、第１画像に対応する出力画像データとして出力させ、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、複数の画像のうちの第２画像の画像データに超解像処理を施した超解像画像データに基づく画像データを、第１画像に対応する出力画像データとして出力させる。第２画像は、第１画像より前に撮像された画像であってよい。例えば、第２画像は、ＡＦ動作が開始される直前に撮像された画像であってよい。また、第２画像は、第１画像より前に撮像された、ＡＦ動作中に撮像された画像であってもよい。

ＲＡＭ１３６には、超解像処理部２２０が第２画像の画像データに超解像処理を施して出力された第２超解像画像データが保持される。そして、出力制御部２５０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、ＲＡＭ１３６が保持している第２超解像画像データに基づく画像データを、第１画像に対応する出力画像データとして出力させる。例えば、出力判断部２４０は、第１画像と第２画像との間の画像の相関値が予め定められた値より小さい場合に、入力画像データに超解像処理を施した画像データを出力すべき旨を判断する。例えば、出力判断部２４０は、ＲＡＭ１３６に保持されている第２画像の画像データと、入力画像の画像データとを画素毎の差分値を算出して、その総和である差分量を、相関値の評価値として算出する。出力判断部２４０は、差分量が小さいほど相関値が低いと判断する。

超解像処理部２２０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべき旨を判断したことを条件として、入力画像データに超解像処理を施す。例えば、超解像処理部２２０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合には、入力画像データに超解像処理を施さなくてよい。このため、超解像処理を省略することができる。

なお、出力判断部２４０は、入力画像データに超解像処理を施した第１超解像画像データの評価結果に基づいて、入力画像データに超解像処理を施した画像データを出力すべきか否かを判断してもよい。例えば、出力判断部２４０は、第１超解像画像データに基づいて算出された超解像処理後の画像の画質が予め定められた基準値より高い場合に、入力画像データに超解像処理を施した画像データを出力すべき旨を判断してよい。出力判断部２４０は、画像の高周波成分の強度、エッジ量、明るさ等の評価値に基づいて、超解像処理後の画像の画質を判断してよい。

出力制御部２５０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、複数の他の画像の画像データを合成した合成画像データを、入力画像データに対応する出力画像データとして出力させてよい。例えば、第２画像が、第１画像より前に撮像された画像である場合に、出力制御部２５０は、出力判断部２４０が入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、第１画像より後に撮像されて得られた第３画像の画像データに超解像処理を施して得られた第３超解像画像データと第２超解像画像データとを合成した合成画像データを、第１画像に対応する出力画像データとして出力してよい。被写体に動きがある場合には、合成することで被写体ぶれが生じる。しかし、動画として再生した場合には、滑らかな動きとして観察者に視認される。一方、動きがない被写体については、合成しても比較的に鮮明な像を得ることができる。このため、適切な超解像処理ができなかった場合でも、その前後に撮像された画像の超解像画像データを用いて合成することで、背景のぼけが少なく、かつ、動画としての観察に適した画像データを提供できる。

出力部２６０は、出力制御部２５０の制御に従って、超解像処理部２２０から出力された超解像画像データまたは１３６０に保持されている超解像画像データを、出力画像データとして圧縮部２７０へ出力する。圧縮部２７０は、圧縮部２７０から出力される画像データを動画として圧縮する。例えば、圧縮部２７０は、Ｈ．２６０等の符号化方式で符号化する。なお、入力画像データが静止画の画像データである場合、圧縮部２７０は、ＪＰＥＧ等の静止画用の符号化方式で入力画像データを符号化する。圧縮部２７０により圧縮された動画、静止画としての画像データは、記録媒体ＩＦ１５０を介して外部メモリ１８０に記録される。

図３は、画像のぼけ量と超解像処理の強度との間の依存関係を示す。超解像処理部２２０は、入力された画像データから画像のぼけ量を算出する。超解像処理部２２０は、第１閾値以下のぼけ量が算出された場合、超解像処理の強度として第１強度を選択する。超解像処理部２２０は、第１閾値より大きく第２閾値以下のぼけ量が算出された場合、超解像処理の強度として第２強度を選択する。超解像処理部２２０は、第２閾値より大きく第３閾値以下のぼけ量が算出された場合、超解像処理の強度として第３強度を選択する。超解像処理部２２０は、第３閾値より大きいぼけ量が算出された場合、超解像処理の強度として第４強度を選択する。

このように、超解像処理部２２０は、ぼけ量に応じて段階的に超解像の強度を変化させる。なお、超解像処理部２２０は、予め定められた複数の超解像処理パラメータの中から、超解像処理に用いる超解像処理パラメータを強度に応じて選択して、選択した超解像処理パラメータを用いて、入力画像データに超解像処理を施してよい。超解像処理パラメータとしては、サブサンプリングおよび空間周波数を強調する画像フィルタを例示することができる。超解像処理部２２０は、超解像処理の強度に応じて画像フィルタを選択して、選択した画像フィルタを入力画像データに適用してよい。

図４は、超解像処理の強度の切り替え例を模式的に示す。本例において、画像データ４１０は、ＡＦ動作を行っていない場合に撮像された画像の画像データである。画像データ４２０および画像データ４３０は、ＡＦ動作を開始した後に撮像された画像の画像データである。なお、ＡＦ動作を行っていない期間を、非ＡＦ動作中と呼ぶ場合がある。また、ＡＦ動作を行っていない場合に撮像された画像を、非ＡＦ動作中の画像と呼ぶ場合がある。また、ＡＦ動作を行っている期間を、ＡＦ動作中と呼ぶ場合がある。また、ＡＦ動作を行っている場合に撮像された画像を、ＡＦ動作中の画像と呼ぶ場合がある。

超解像処理部２２０は、画像データ４１０に対する超解像処理の強度として、第１強度を選択する。非ＡＦ動作中の画像の画像データに対しては、第１強度で超解像処理を行う旨が予め定められていてよい。超解像処理部２２０は、画像データ４１０に対して第１強度で超解像処理を施して、超解像画像データ４１１を生成する。

ＡＦ動作が開始されると、超解像処理部２２０は、順次に入力される画像データ４２０および画像データ４３０から、画像のぼけ量をそれぞれ算出する。画像データ４２０から算出された画像のぼけ量が第１閾値より大きく第２閾値以下である場合、超解像処理部２２０は、画像データ４２０に対して第２強度で超解像処理を施して、超解像画像データ４２１を生成する。画像データ４３０から算出された画像のぼけ量が第２閾値より大きく第３閾値以下である場合、超解像処理部２２０は、画像データ４３０に対して第３強度で超解像処理を施して、超解像画像データ４３１を生成する。このように、画像のぼけ量に応じて超解像処理の強度を切り替えることで、複数の画像間の鮮明度の差を低減することができる。

図５は、超解像処理に関する制御結果の一例を模式的に示す。本図において、画像データ５１０は、非ＡＦ動作中の画像の画像データである。画像データ５２０、画像データ５３０および画像データ５４０は、ＡＦ動作中の画像の画像データである。

画像データ５１０が入力されると、超解像処理部２２０は、画像データ５１０に超解像処理を施して、超解像画像データ５１１を生成する。超解像処理部２２０は、画像データ５１０に対する超解像処理の強度として、第１強度を適用してよい。なお、各画像データに対する超解像処理の強度は、図３、図４等に関連して説明したように、ぼけ量等に基づいて制御される。ここでは、超解像処理の強度については説明を省略する。出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ５１１を、画像データ５１０の画像に対応する出力画像データとして出力させる。また、出力制御部２５０は、生成した超解像画像データ５１１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ５１０をＲＡＭ１３６に保持させる。

画像データ５２０が入力されると、出力判断部２４０は、画像データ５１０および画像データ５２０から、画像データ５１０が示す画像と、画像データ５２０が示す画像との間の画像の差分量を算出する。ここでは、予め定められた差分量の基準値より小さい差分量が算出されたとする。この場合、出力判断部２４０は、画像データ５２０から生成した超解像画像データを出力しない旨を判断する。出力判断部２４０は、超解像処理部２２０に超解像処理を停止させる。出力制御部２５０は、画像データ５２０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ５１１を出力部２６０から出力させる。

画像データ５３０が入力されると、出力判断部２４０は、画像データ５１０および画像データ５３０から、画像データ５１０が示す画像と、画像データ５３０が示す画像との間の画像の差分量を算出する。ここでは、予め定められた差分量の基準値以上の差分量が算出されたとする。この場合、出力判断部２４０は、画像データ５３０から生成した超解像画像データを出力する旨を判断する。出力判断部２４０は、超解像処理部２２０に、画像データ５３０に対する超解像処理を行わせる。出力制御部２５０は、画像データ５３０の画像に対応する出力画像データとして、超解像処理部２２０で生成された超解像画像データ５３１を、画像データ５３０の画像に対応する出力画像データとして出力させる。また、出力制御部２５０は、生成した超解像画像データ５３１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。これまで、ＲＡＭ１３６に最新の超解像画像データとして保持されていた超解像画像データ５１１は、消去されてよい。すなわち、ＲＡＭ１３６には、最新の超解像画像データが１つだけ保持されてよい。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ５３０をＲＡＭ１３６に保持させる。

画像データ５４０が入力されると、出力判断部２４０は、画像データ５３０および画像データ５４０から、画像データ５１０が示す画像と、画像データ５３０が示す画像との間の画像の差分量を算出する。ここでは、予め定められた差分量の基準値より小さい差分量が算出されたとする。この場合、出力判断部２４０は、画像データ５４０から生成した超解像画像データを出力しない旨を判断する。出力判断部２４０は、超解像処理部２２０に超解像処理を停止させる。出力制御部２５０は、画像データ５４０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ５３１を出力部２６０から出力させる。

本図に関連して説明したように、入力された画像データを順次に処理する場合に、超解像画像データを出力する毎にＲＡＭ１３６内の最新の超解像画像データが更新される。そして、相関が大きい画像が入力されると、ＲＡＭ１３６内に保持されている最新の超解像データを出力する。このように、カメラ１０によれば、撮像により得られた入力動画から出力動画を生成する場合に、画像判断部２３０が、入力動画を構成する複数の画像のそれぞれが、合焦動作中に撮像された画像であるか、非合焦動作中に撮像された画像であるかを判断する。そして、超解像処理部２２０は、画像判断部２３０が非合焦動作中に撮像されたと判断した画像の画像データに超解像処理を施して超解像画像データを生成し、生成した超解像画像データを、出力動画を構成する画像の画像データとして出力する。そして、超解像処理部２２０が生成した超解像画像データをＲＡＭ１３６に保持する。そして、出力制御部２５０は、ＲＡＭ１３６に保持されている超解像画像データを、出力動画を構成する画像のうちの、画像判断部２３０が合焦動作中に撮像されたと判断された画像に対応する画像の画像データとして出力させる。このため、ＡＦ動作中においても直近に超解像処理を行った画像と相関が高い画像が撮像された場合は、超解像処理を省略して速やかに出力画像データを出力することができる。

図６は、超解像処理に関する制御結果の他の一例を模式的に示す。本図において、画像データ６１０は、非ＡＦ動作中の画像の画像データである。画像データ６２０、画像データ６３０、画像データ６４０および画像データ６５０は、ＡＦ動作中の画像の画像データである。なお、各画像データに対する超解像処理の強度は、図３、図４等に関連して説明したように、ぼけ量等に基づいて制御される。ここでは、超解像処理の強度については説明を省略する。また、ここでは、各画像データ間の画像の差分量は、予め定められた差分量の基準値より大きいとする。

画像データ６１０が入力されると、超解像処理部２２０は、画像データ６１０に超解像処理を施して、超解像画像データ６１１を生成する。出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ６１１を、画像データ６１０の画像に対応する出力画像データとして出力させる。また、出力制御部２５０は、生成した超解像画像データ６１１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ６１０をＲＡＭ１３６に保持させる。

画像データ６２０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ６２０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ６２１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より低い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ６２０から生成した超解像画像データ６２１を出力しない旨を判断する。

画像データ６３０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ６３０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ６３１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より高い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ６３０から生成した超解像画像データ６３１を出力する旨を判断する。

超解像画像データ６３１から予め定められた画質の基準値より高い評価値が算出されると、出力制御部２５０は、画像データ６２０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ６１１の画像と超解像画像データ６３１の画像とを合成した合成画像の画像データを、出力部２６０から出力させる。出力部２６０は、ＲＡＭ１３６に保持されている最新の超解像画像データ６１１と超解像画像データ６３１とを合成して合成画像データ６２２を生成して、画像データ６２０の画像に対応する出力画像データとして出力する。

また、出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ６３１を、画像データ６３０の画像に対応する出力画像データとして出力させる。出力制御部２５０は、合成画像データ６２２の画像、超解像画像データ６３１の画像の順で再生されるよう、合成画像データ６２２および超解像画像データ６３１の順で出力する。そして、出力制御部２５０は、超解像画像データ６３１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ６３０をＲＡＭ１３６に保持させる。

画像データ６４０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ６４０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ６４１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より低い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ６４０から生成した超解像画像データ６４１を出力しない旨を判断する。

画像データ６５０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ６５０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ６５１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より高い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ６５０から生成した超解像画像データ６５１を出力する旨を判断する。

超解像画像データ６５１から予め定められた画質の基準値より高い評価値が算出されると、出力制御部２５０は、画像データ６４０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ６３１の画像と超解像画像データ６５１の画像とを合成した合成画像の画像データを、出力部２６０から出力させる。出力部２６０は、ＲＡＭ１３６に保持されている最新の超解像画像データ６３１と超解像画像データ６５１とを合成して合成画像データ６４２を生成して、画像データ６４０の画像に対応する出力画像データとして出力する。

また、出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ６５１を、画像データ６５０の画像に対応する出力画像データとして出力させる。出力制御部２５０は、合成画像データ６４２の画像、超解像画像データ６５１の画像の順で再生されるよう、合成画像データ６４２および超解像画像データ６５１の順で出力する。そして、出力制御部２５０は、超解像画像データ６５１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ６５０をＲＡＭ１３６に保持させる。

図７は、超解像処理に関する制御結果の更なる他の一例を模式的に示す。本図において、画像データ７１０は、非ＡＦ動作中の画像の画像データである。画像データ７２０、画像データ７３０および画像データ７４０は、ＡＦ動作中の画像の画像データである。なお、各画像データに対する超解像処理の強度は、図３、図４等に関連して説明したように、ぼけ量等に基づいて制御される。ここでは、超解像処理の強度については説明を省略する。また、ここでは、各画像データ間の画像の差分量は、予め定められた差分量の基準値より大きいとする。

画像データ７１０が入力されると、超解像処理部２２０は、画像データ７１０に超解像処理を施して、超解像画像データ７１１を生成する。出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ７１１を、画像データ７１０の画像に対応する出力画像データとして出力させる。また、出力制御部２５０は、生成した超解像画像データ７１１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ７１０をＲＡＭ１３６に保持させる。

画像データ７２０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ７２０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ７２１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より低い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ７２０から生成した超解像画像データ７２１を出力しない旨を判断する。

画像データ７３０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ７３０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ７３１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より低い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ７３０から生成した超解像画像データ７３１を出力しない旨を判断する。

ここで、出力制御部２５０は、画像データ７２０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ７１１を出力部２６０から出力させる。このように、出力制御部２５０は、連続する２つの画像の超解像画像データからそれぞれ低い評価値が算出された場合は、複数の画像のうち、少なくとも最も早いタイミングで撮像された画像に対応する超解像画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データを出力させる。

画像データ７４０が入力されると、出力判断部２４０は、超解像処理部２２０に画像データ７４０に対する超解像処理を行わせる。そして、出力判断部２４０は、超解像処理部２２０で生成された超解像画像データ７４１から、画質の評価値を算出する。ここでは、予め定められた画質の基準値より高い評価値が算出されたとする。この場合、出力判断部２４０は、画像データ７４０から生成した超解像画像データ７４１を出力する旨を判断する。

超解像画像データ７４１から予め定められた画質の基準値より高い評価値が算出されると、出力制御部２５０は、画像データ７３０の画像に対応する出力画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データ７１１の画像と超解像画像データ７４１の画像とを合成した合成画像の画像データを、出力部２６０から出力させる。出力部２６０は、ＲＡＭ１３６に保持されている最新の超解像画像データ７１１と超解像画像データ７４１とを合成して合成画像データ７３２を生成して、画像データ７４０の画像に対応する出力画像データとして出力する。

また、出力制御部２５０は、出力部２６０に、超解像処理部２２０で生成された超解像画像データ７４１を、画像データ７４０の画像に対応する出力画像データとして出力させる。出力制御部２５０は、合成画像データ７３２の画像、超解像画像データ７４１の画像の順で再生されるよう、合成画像データ７３２および超解像画像データ７４１の順で出力する。そして、出力制御部２５０は、超解像画像データ７４１を、最新の超解像画像データとしてＲＡＭ１３６に保持させる。また、出力制御部２５０は、画像相関を算出するための基準画像の画像データとして、画像データ７４０をＲＡＭ１３６に保持させる。

このように、出力制御部２５０は、連続する２つの画像の超解像画像データからそれぞれ低い評価値が算出された場合は、複数の画像のうち、少なくとも最も早いタイミングで撮像された画像に対応する超解像画像データとして、ＲＡＭ１３６に保持されている最新の超解像画像データを出力させる。なお、本例では、連続する予め定められた数として２を適用した場合を説明したが、連続する予め定められた数として２より大きい値を適用できる。

図８は、カメラ１０の起動から終了までの処理フローを示す。本フローは、例えば操作入力部１４１の一部としての電源スイッチがＯＮ位置に切り替えられた場合に、開始される。本フローは、カメラＭＰＵ１４０が主体となってカメラ１０の各部を制御することにより実行される。

ステップＳ８００において、カメラＭＰＵ１４０は、初期設定を開始する。例えば、カメラＭＰＵ１４０は、カメラ１０を制御するための各種パラメータ等を、システムメモリ１３９からＲＡＭ１３６に展開する。また、カメラＭＰＵ１４０は、例えば操作入力部１４１の一部としての撮像モードダイヤル等の状態、および、展開された各種パラメータに基づき、カメラ１０の各部の動作条件を設定する。動作条件としては、撮影モード、撮像条件、記録条件等を例示できる。撮影モードとしては、連写モードや単写モード等を例示することができる。撮像条件としては、露光時間、絞り値、撮像感度等を例示できる。記録条件としては、画像データのファイル形式、記録画素数等を例示することができる。

続いて、ステップＳ８０２において、カメラＭＰＵ１４０は、初期設定で設定された内容を表示部１３８に表示させる。例えば、カメラＭＰＵ１４０は、撮像モード、撮像条件、記録条件等の情報を、アイコン表示等の種々の形式で表示部１３８に表示させる。

続いて、ステップＳ８０４において、カメラＭＰＵ１４０は、ユーザ指示を特定する。カメラＭＰＵ１４０は、操作入力部１４１に対する操作に基づいてユーザ指示を特定する。ユーザ指示が諸設定を実行する指示である場合、指示された設定処理を行う（ステップＳ８０６）。設定処理としては、撮像モード、撮像条件、圧縮条件、記録条件を設定する処理等を例示することができる。

ステップＳ８０４において、ユーザ指示が撮像実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ８１２）。撮影実行に関する指示としては、ライブビューボタン、動画記録ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ８０４にいて、ユーザ指示が画像の再生を実行する指示であると判断された場合、再生処理を実行する（ステップＳ８２２）。再生処理としては、外部メモリ１８０に記録された静止画、動画等の画像データに基づいて画像をサムネイル表示する処理、ユーザにより選択された画像データに基づいて画像を表示する処理等を例示することができる。

ステップＳ８０４においてユーザ指示がないと判断された場合は、ステップＳ８０８に処理を進める。ステップＳ８０６、ステップＳ８１２、ステップＳ８２２の処理が完了した場合も、ステップＳ８０８に処理を進める。ステップＳ８０８においては、電源をＯＦＦするか否かを判断する。例えば、電源スイッチがＯＦＦ位置に切り換えられた場合や、カメラ１０が動作を開始してから予め定められた期間、ユーザ指示が無い状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は本フローを終了し、電源をＯＦＦしないと判断した場合はステップＳ８０４に処理を移行させる。

図９は、撮像動作における処理フローの一例を示す。本フローは、ステップＳ８１２の一部の処理に適用できる。本フローは、ライブビュー動作が指示された場合に開始される。例えば、本フローは、ライブビューボタンの押し込みを検出した場合に開始される。本フローは、カメラＭＰＵ１４０が主体となってカメラ１０の各部を制御することにより実行される。

ステップＳ９００において、カメラＭＰＵ１４０は、ライブビュー（ＬＶ）を開始するための処理を行う。具体的には、カメラＭＰＵ１４０は、メインミラー１４５を斜設状態から退避状態にして、フォーカルプレーンシャッタ１４３を開状態にする。

続いて、撮像素子１３２からの画像データの読み出しを行い（ステップＳ９０２）、読み出されたデータに対して画像処理を行う（ステップＳ９０４）。ステップＳ９０４では、アナログ処理部１３３におけるアナログ信号処理、前処理部２１０における画像処理が行われる。なお、ＡＦ動作が開始していない場合は、超解像処理部２２０における超解像処理が行われる。そして、ＡＳＩＣ１３５において表示用の画像データが生成され、表示用の画像データに基づく画像が表示部１３８に表示される。また、超解像処理が施された画像データは、ＲＡＭ１３６内に最新の超解像画像データとして保持される。また、前処理部２１０で処理された画像データが、ＲＡＭ１３６内に相関算出用の画像データとして保持される。

続いて、ステップＳ９０６において、コントラストＡＦの動作中であるか否かを判断する。例えば、レリーズボタンに対して半押し操作された場合に、カメラＭＰＵ１４０はコントラストＡＦの動作を開始する。また、ＡＦスイッチがＯＦＦからＯＮにされた場合に、カメラＭＰＵ１４０はコントラストＡＦの動作を開始する。また、コントラストＡＦの動作を行っていない場合において、焦点調節の対象となる焦点調節領域の位置が変更されたときや、予め定められた焦点調節領域の被写体に対して合焦状態にない旨が検出されたときに、コントラストＡＦの動作を開始する。カメラＭＰＵ１４０は、コントラストＡＦを行うために、レンズ群１２２に含まれるフォーカスレンズの位置を変更させる場合に、コントラストＡＦの動作中である旨を判断する。コントラストＡＦの動作中でない場合は、ステップＳ９０２に処理を移行する。

コントラストＡＦの動作中である場合は、ステップＳ９０８において、出力判断部２４０は、読み出された画像データに前処理部２１０が前処理を施したデータと、ＲＡＭ１３６内に保持されている相関算出用の画像データとに基づいて、画像の差分量を算出して、差分量が予め定められた差分量の基準値を超えるか否かを判断する。算出した差分量が予め定められた差分量の基準値を超ない場合、ステップＳ９１０において、ＲＡＭ１３６内に保持された直近の超解像画像データを連続して出力した回数である連続出力回数が、予め定められた閾値を超えたか否かを判断する。連続出力回数が予め定められた閾値を超えていない場合は、ＲＡＭ１３６に保持されている直近の超解像画像データを、出力画像データとして出力して、連続出力回数をインクリメントする（ステップＳ９１２）。なお、出力画像データは、表示部１３８への表示に使用される。また、動画データの記録を行う旨が指示されている場合は、動画データのフレームデータとして圧縮部２７０において圧縮処理に供される。ステップＳ９１２の処理が完了すると、ステップＳ９３０に処理を進める。

ステップＳ９１０の判断において、連続出力回数が閾値を超える場合、ステップＳ９１４に処理を進める。ステップＳ９０８の判断において、差分量が基準値を超える旨が判断された場合、ステップＳ９１４に処理を進める。

ステップＳ９１４においては、超解像処理部２２０が画像データに超解像処理を施す。例えば、超解像処理部２２０は、図３、４に関連して説明したように、ぼけ量に応じた強度で画像データに超解像処理を施す。続いて、ステップＳ９１６において、出力判断部２４０は、超解像処理の結果の良否を判断する。具体的には、出力判断部２４０は、超解像画像データから画質の評価値を算出して、画質の評価値が予め定められた評価値の基準値より高い場合に、超解像処理の結果について良判定する。

超解像処理の結果が良判定である場合、出力判断部２４０は、直前の画像データに対する超解像処理の結果の良否を判断する（ステップＳ９１８）。出力判断部２４０は、直前の画像データの超解像処理の結果も良判定の場合、ステップＳ９１４の超解像処理で生成された超解像画像データを出力する旨を判断し、出力制御部２５０は、当該超解像画像データを、ステップＳ９０２で撮像された現在の画像に対応する出力画像データとして出力させる（ステップＳ９２２）。

ステップＳ９１８の判断において、直前の画像データに対する超解像処理の結果が良判定でないと判断された場合、出力制御部２５０は、ステップＳ９１４の超解像処理で生成された超解像画像データと、ＲＡＭ１３６に保持されている直近の超解像画像データとを合成して、１つの合成画像データを生成し、生成した合成画像データを、直前の画像に対応する出力画像データとして出力させる（ステップＳ９２０）。続いて、出力制御部２５０は、ステップＳ９２２において、ステップＳ９１４の超解像処理で生成された超解像画像データを、ステップＳ９０２で撮像された現在の画像に対応する出力画像データとして出力する（ステップＳ９２２）。

ステップＳ９２２の処理に続いて、ＲＡＭ１３６内に保持されている最新の画像データを、現在の画像データで更新する（ステップＳ９２４）。具体的には、ステップＳ９１４の超解像処理で生成された超解像画像データが最新の超解像画像データとしてＲＡＭ１３６に保持される。また、前処理部２１０で処理された画像データが、相関算出用の画像データとしてＲＡＭ１３６内に保持される。ステップＳ９２４の処理に続いて、ステップＳ９３０の処理に進む。

ステップＳ９１６の判断において、ステップＳ９１４における超解像処理の結果が良判定でなかった場合は、出力判断部２４０は、直前の画像データに対する超解像処理の結果の良否を判断する（ステップＳ９２６）。直前の画像データの超解像処理の結果が良判定であった場合は、ステップＳ９３０に処理を進める。直前の画像データの超解像処理の結果が良判定でなかった場合は、出力制御部２５０は、ＲＡＭ１３６に記憶されている直近の超解像データを、直前の画像に対応する出力画像データとして出力させる（ステップＳ９２８）。このように、図７に関連して説明したように、超解像処理の結果について２回連続して良判定が得られなかった場合は、直前の画像に対応する出力画像データとして、直近の超解像画像データを出力する。ステップＳ９２４の処理に続いて、ステップＳ９３０の処理に進む。

ステップＳ９３０において、ライブビュー動作を終了するか否かを判断する。例えば、カメラＭＰＵ１４０は、ライブビューボタンの再度の押し込みを検出した場合に、ライブビュー動作を終了する旨を判断する。ライブビュー動作を終了しない旨が判断された場合、ステップＳ９０２に処理を移行して、次の画像データの処理に進む。ライブビュー動作を終了する旨を判断した場合、カメラＭＰＵ１４０は、ライブビュー（ＬＶ）を終了する処理を行い（ステップＳ９３２）。ステップＳ９３２では、カメラＭＰＵ１４０は、フォーカルプレーンシャッタ１４３を開状態にして、メインミラー１４５を退避状態から斜設状態にする。

本フローにおいて、ステップＳ９１２、ステップＳ９２８、ステップＳ９２０、ステップＳ９２２で出力された出力画像データは、表示部１３８の表示に供される。また、動画データの記録を行う旨が指示されている場合は、これらの出力画像データは、動画データのフレームデータとして圧縮部２７０において圧縮処理に供される。

以上に説明したカメラ１０によれば、コントラストＡＦ中等のＡＦ動作中において、デフォーカスによりぼけた画像が外部メモリ１８０に記録されたり、表示部１３８に表示されたりする可能性を低減することができる。このため、ＡＦ動作中においても、ユーザに鮮明な画像を提供することができる。

以上に説明したカメラ１０では、差分量が予め定められた基準値より大きい場合に、超解像処理を行う。また、ＲＡＭ１３６に保持されている同一の超解像画像データを連続して出力した回数が予め定められた回数を超えた場合に、超解像処理を行う。しかし、カメラ１０は、差分量の大小にかかわらず、超解像超解像をしてもよい。そして、超解像処理の結果が良判定でない場合に、ＲＡＭ１３６に保持されている超解像画像データを出力したり、上述した合成画像データを出力してもよい。

上記の説明において、カメラＭＰＵ１４０の動作として説明した処理は、カメラＭＰＵ１４０がプログラムに従ってカメラ１０が有する各ハードウェアを制御することにより実現される。また、上記の説明においてＡＳＩＣ１３５により実現される処理は、プロセッサによって実現することができる。例えば、ＡＳＩＣ１３５の動作として説明した処理は、プロセッサがプログラムに従ってカメラ１０が有する各ハードウェアを制御することにより実現される。すなわち、本実施形態のカメラ１０に関連して説明した処理は、プロセッサがプログラムに従って動作して各ハードウェアを制御することにより、プロセッサ、メモリ等を含む各ハードウェアとプログラムとが協働して動作することにより実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、ロードしたプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体から当該プログラムをロードすることができる。

また、本実施形態において、レンズユニット１２０が装着された状態のカメラ１０を、撮像装置の一例として取り上げた。しかし、撮像装置とは、レンズユニット１２０が装着されていないカメラ本体１３０を含む概念である。撮像装置としては、レンズ交換式カメラの一例である一眼レフレックスカメラの他に、レンズ非交換式カメラの一例であるコンパクトデジタルカメラ、ミラーレス式カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置等、撮像機能を有する種々の電子機器を適用の対象とすることができる。また、カメラ１０が有する画像処理機能は、撮像された画像の画像データに対して画像処理を行う種々の電子機器に適用することができる。画像処理後の画像データは、記録用の画像データだけでなく、表示用の画像データとして出力されてよい。すなわち、当該電子機器は、画像記録装置や画像表示装置として実現されてよい。例えば、当該電子機器は、パーソナルコンピュータ等のコンピュータ、携帯電話、携帯情報端末、デジタルフォトフレーム、テレビジョン装置、光ディスク記録・再生装置等の種々の機器として実現されてよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０ カメラ、１２０ レンズユニット、１２１ レンズマウント接点、１２２ レンズ群、１２３ レンズＭＰＵ、１２４ レンズ駆動部、１３０ カメラ本体、１３１ カメラマウント接点、１３２ 撮像素子、１３３ アナログ処理部、１３４ Ａ／Ｄ変換器、１３５ ＡＳＩＣ、１３６ ＲＡＭ、１３７ 表示制御部、１３８ 表示部、１３９ システムメモリ、１４０ カメラＭＰＵ、１４１ 操作入力部、１４２ ＡＦユニット、１４３ フォーカルプレーンシャッタ、１４４ 測光素子、１４５ メインミラー、１４６ サブミラー、１４７ ファインダ部、１４８ 駆動部、１４９ 接続インタフェース、１５０ 記録媒体ＩＦ、１５２ 外部機器ＩＦ、１８０ 外部メモリ、１９０ 電源、１９２ 電源回路、２１０ 前処理部、２２０ 超解像処理部、２３０ 画像判断部、２４０ 出力判断部、２５０ 出力制御部、２６０ 出力部、２７０ 圧縮部、２８０ ＡＦ評価値算出部、４１０、４２０、４３０、５１０、５２０、５３０、５４０、６１０、６２０、６３０、６４０、６５０、７１０、７２０、７３０、７４０ 画像データ、４１１、４２１、４３１、５１１、５３１、６１１、６２１、６３１、６４１、６５１、７１１、７２１、７３１、７４１ 超解像画像データ、６２２、６４２、７３２ 合成画像データ

Claims (15)

1. 入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する画像判断部と、
   前記入力画像データが合焦動作中に撮像された画像の画像データであると前記画像判断部が判断した場合に、前記入力画像データが合焦動作中に撮像された画像の画像データでないと前記画像判断部が判断した場合より大きい強度で、前記入力画像データに超解像処理を施す超解像処理部と
   を備える画像処理装置。
2. 前記入力画像データは、撮像により得られた入力動画を構成する複数の画像うちの第１画像の画像データであり、
   前記画像処理装置は、
   前記入力画像データが合焦動作中に撮像された画像の画像データであると前記画像判断部が判断した場合に、前記入力画像データに超解像処理を施した画像データを出力すべきか否かを判断する出力判断部と、
   前記出力判断部が前記入力画像データに超解像処理を施した画像データを出力すべき旨を判断した場合に、前記超解像処理部で前記入力画像データに超解像処理を施した超解像画像データを、前記第１画像に対応する出力画像データとして出力させ、前記出力判断部が前記入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、前記複数の画像のうちの第２画像の画像データに超解像処理を施した超解像画像データに基づく画像データを、前記第１画像に対応する出力画像データとして出力させる出力制御部と
   をさらに備える請求項１に記載の画像処理装置。
3. 前記超解像処理部が前記第２画像の画像データに超解像処理を施して出力された第２超解像画像データを保持する画像データ保持部
   をさらに備え、
   前記出力制御部は、前記出力判断部が前記入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、前記画像データ保持部が保持している前記第２超解像画像データに基づく画像データを、前記第１画像に対応する出力画像データとして出力させる
   請求項２に記載の画像処理装置。
4. 前記出力判断部は、前記第１画像と前記第２画像との間の画像の相関値が予め定められた値より小さい場合に、前記入力画像データに超解像処理を施した画像データを出力すべき旨を判断する
   請求項３に記載の画像処理装置。
5. 前記出力判断部は、前記入力画像データに超解像処理を施した第１超解像画像データの評価結果に基づいて、前記入力画像データに超解像処理を施した画像データを出力すべきか否かを判断する
   請求項３または４に記載の画像処理装置。
6. 前記出力判断部は、前記第１超解像画像データに基づいて算出された超解像処理後の画像の画質が予め定められた基準値より高い場合に、前記入力画像データに超解像処理を施した画像データを出力すべき旨を判断する
   請求項５に記載の画像処理装置。
7. 前記第２画像は、前記第１画像より前に撮像された画像であり、
   前記出力制御部は、前記出力判断部が前記入力画像データに超解像処理を施した画像データを出力すべきでない旨を判断した場合に、前記第１画像より後に撮像されて得られた第３画像の画像データに超解像処理を施して得られた第３超解像画像データと前記第２超解像画像データとを合成した合成画像データを、前記第１画像に対応する出力画像データとして出力する
   請求項５または６に記載の画像処理装置。
8. 前記超解像処理部は、前記出力判断部が前記入力画像データに超解像処理を施した画像データを出力すべき旨を判断したことを条件として、前記入力画像データに超解像処理を施す
   請求項２から４のいずれか一項に記載の画像処理装置。
9. 前記超解像処理部は、前記入力画像データから算出された画像のぼけ量がより大きい場合に、より大きい強度で前記入力画像データに超解像処理を施す
   請求項１から８のいずれか一項に記載の画像処理装置。
10. 前記超解像処理部は、サブサンプリング処理および画像の高周波成分を強調する強調処理を含む超解像処理を施す
    請求項１から９のいずれか一項に記載の画像処理装置。
11. 前記画像判断部は、前記入力画像データが、自動焦点調節中に撮像された画像の画像データであるか否かを判断する
    請求項１から１０のいずれか一項に記載の画像処理装置。
12. 前記画像判断部は、前記入力画像データが、コントラスト評価値に基づく自動焦点調節中に撮像された画像の画像データであるか否かを判断する
    請求項１１に記載の画像処理装置。
13. 撮像により得られた入力動画から出力動画を生成する画像処理装置であって、
    前記入力動画を構成する複数の画像のそれぞれが、合焦動作中に撮像された画像であるか、非合焦動作中に撮像された画像であるかを判断する画像判断部と、
    前記画像判断部が前記非合焦動作中に撮像されたと判断した画像の画像データに超解像処理を施して超解像画像データを生成し、生成した前記超解像画像データを、前記出力動画を構成する画像の画像データとして出力する超解像処理部と、
    前記超解像処理部が生成した前記超解像画像データを保持する画像データ保持部と、
    前記画像データ保持部に保持されている超解像画像データを、前記出力動画を構成する画像のうちの、前記画像判断部が前記合焦動作中に撮像されたと判断された画像に対応する画像の画像データとして出力させる出力制御部と
    を備える画像処理装置。
14. 入力された画像データである入力画像データが、合焦動作中に撮像された画像の画像データであるか否かを判断する画像判断ステップと、
    前記入力画像データが合焦動作中に撮像された画像の画像データであると前記画像判断ステップで判断された場合に、前記入力画像データが合焦動作中に撮像された画像の画像データでないと前記画像判断ステップで判断された場合より大きい強度で、前記入力画像データに超解像処理を施す超解像処理ステップと
    をコンピュータに実行させるためのプログラム。
15. 撮像により得られた入力動画から出力動画を生成する画像処理装置用のプログラムであって、
    前記入力動画を構成する複数の画像のそれぞれが、合焦動作中に撮像された画像であるか、非合焦動作中に撮像された画像であるかを判断する画像判断ステップと、
    前記画像判断ステップで前記非合焦動作中に撮像されたと判断された画像の画像データに超解像処理を施して超解像画像データを生成し、生成した前記超解像画像データを、前記出力動画を構成する画像の画像データとして出力する超解像処理ステップと、
    前記超解像処理ステップで生成された前記超解像画像データを保持する画像データ保持ステップと、
    前記画像データ保持ステップに保持されている超解像画像データを、前記出力動画を構成する画像のうちの、前記画像判断ステップで前記合焦動作中に撮像されたと判断された画像に対応する画像の画像データとして出力させる出力制御ステップと
    をコンピュータに実行させるためのプログラム。

Images