JP2014053857A - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Abstract

【課題】 本発明は、圧縮処理が施された動画データであっても、精度良く超解像処理を行なえる手段を提供する。
【解決手段】 画像処理装置は、選択部と、判定部と、ノイズ除去部と、超解像処理部とを備える。選択部は、圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する。判定部は、選択部が選択したフレームの情報を解析して、フレーム毎にブロックノイズを除去するか否かを判定する。ノイズ除去部は、判定部の判定結果に応じて、ブロックノイズの除去処理をフレーム毎に行なう。超解像処理部は、除去処理が施されたフレームを含む処理対象となる複数のフレームに超解像処理を施すことにより、高解像度の画像を生成する。
【選択図】 図１

Description

本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。

従来から位置ずれのある複数の低解像度の画像に基づいて、高解像度の画像を生成する超解像処理が知られている（例えば、特許文献１参照）。

超解像処理では、例えば、電子カメラで撮影された複数の低解像度の静止画像を合成することにより、１枚の高解像度の静止画像を生成することができる。

特開２００９−５５１３１号公報

しかしながら、圧縮処理が施された動画データを用いて超解像処理を行なった場合、その動画データに圧縮歪みであるブロックノイズが含まれると、例えば複数のフレームを用いて超解像処理をする際に必要となる画像の位置合わせの精度を低下させてしまうという問題がある。

そこで、本発明は、上記事情に鑑み、圧縮処理が施された動画データであっても、精度良く超解像処理を行なえる手段を提供することを目的とする。

第１の発明に係る画像処理装置は、選択部と、判定部と、ノイズ除去部と、超解像処理部とを備える。前記選択部は、圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する。前記判定部は、前記選択部が選択した前記フレームの情報を解析して、前記フレーム毎にブロックノイズを除去するか否かを判定する。前記ノイズ除去部は、前記判定部の判定結果に応じて、前記ブロックノイズの除去処理を前記フレーム毎に行なう。前記超解像処理部は、前記除去処理が施されたフレームを含む前記処理対象となる複数の前記フレームに超解像処理を施すことにより、前記フレームより高解像度の画像を生成する。

第２の発明は、第１の発明において、前記判定部は、前記フレーム毎の圧縮率と圧縮形式との少なくとも一方に基づいて、前記除去処理を行なうか否かを判定する。

第３の発明は、第１の発明において、前記ノイズ除去部は、前記ブロックノイズを除去するデブロッキングフィルタ処理を行なう。

第４の発明は、第１の発明において、前記圧縮された動画データは、フレーム間予測を用いて圧縮が施されたデータである。

第５の発明は、第４の発明において、前記判定部は、前記フレーム間予測に用いられるＩフレーム、Ｂフレーム、Ｐフレームについて、予め設定した圧縮率の閾値に応じて、前記除去処理を行なうか否かを判定する。

第６の発明は、第１の発明において、前記判定部は、前記超解像処理に不適な解像度のフレームを前記処理対象から外す。

第７の発明に係る撮像装置は、被写体像を連続して撮像して生成した動画データを圧縮する圧縮処理部と、請求項１から請求項６の何れか１項に記載の画像処理装置とを備える。

第８の発明に係る画像処理プログラムは、選択ステップと、判定ステップと、ノイズ除去ステップと、超解像処理ステップとを備える。前記選択ステップは、圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する。前記判定ステップは、前記選択ステップにより選択された前記フレームの情報を解析して、前記フレーム毎にブロックノイズを除去するか否かを判定する。前記ノイズ除去ステップは、前記判定ステップの判定結果に応じて、前記ブロックノイズの除去処理を前記フレーム毎に行なう。前記超解像処理ステップは、前記除去処理が施されたフレームを含む前記処理対象となる複数の前記フレームに超解像処理を施すことにより、前記フレームより高解像度の画像を生成する。

本発明は、圧縮処理が施された動画データであっても、精度良く超解像処理を行なえる手段を提供できる。

電子カメラ１の構成例を示すブロック図 超解像処理モードの概要を説明する図 超解像処理モード下での電子カメラ１の動作を示すフローチャート 判定処理のサブルーチンのフローチャート 超解像処理のサブルーチンのフローチャート 超解像処理モード下での電子カメラ１の動作の変形例を示すフローチャート コンピュータ１００の構成例を示すブロック図

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。第１実施形態では、本発明に係る撮像装置、画像処理装置及び画像処理プログラムに関する実施の形態について説明する。

図１は、電子カメラ１の構成例を示すブロック図である。ここで、本発明に係る撮像装置の一実施形態である電子カメラ１は、本発明に係る画像処理装置の機能と、電子カメラ１の内部で処理する本発明に係る画像処理プログラムとを備える。

また、電子カメラ１は、動画撮影機能を有し、圧縮処理が施された動画データであっても、精度良く超解像処理を行なえる超解像処理モードを有している。

電子カメラ１は、撮影光学系１０と、撮像素子１１と、信号処理部１２と、ＲＡＭ（Random Access Memory）１３と、フラッシュメモリ１4と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という。）１５と、表示インターフェース部（以下「表示Ｉ／Ｆ部」という。）１６と、表示モニタ１７と、操作部１８と、レリーズ釦１９と、動画撮影釦２０と、ＣＰＵ（Central Processing Unit）２１と、バス２２とを備える。

このうち、信号処理部１２、ＲＡＭ１３、フラッシュメモリ１4、記録Ｉ／Ｆ部１５、表示Ｉ／Ｆ部１６及びＣＰＵ２１は、バス２２を介して互いに接続されている。

撮影光学系１０は、一例として、焦点距離を調整するズームレンズと、撮像素子１１の撮像面での結像位置を調整するフォーカスレンズとを含む複数のレンズ群で構成されている。レンズ駆動部（不図示）は、撮影光学系１０内でズームレンズやフォーカスレンズのレンズ位置をＣＰＵ２１の指示に応じて光軸方向に調整する。なお、簡単のため、図１では、撮影光学系１０を１枚のレンズとして図示する。

撮像素子１１は、被写体像を撮像して、画像（アナログの画像信号）を生成する。そして、撮像素子１１が出力するアナログの画像信号は、信号処理部１２に入力される。なお、撮像素子１１の撮像面には、Ｒ（赤）、Ｇ（緑）Ｂ（青）の３種類のカラーフィルタが例えばベイヤー配列で配置されている。また、撮像素子１１の電荷蓄積時間及び画像信号の読み出しは、タイミングジェネレータ（不図示）によって制御される。撮像素子１１は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型のカラーイメージセンサである。

信号処理部１２は、アナログフロントエンド（ＡＦＥ）回路と、Ａ／Ｄ変換部と、デジタルフロントエンド（ＤＦＥ）回路とを有している。

ＡＦＥ回路は、撮像素子１１が出力する画像信号に対してアナログ信号処理を施す。Ａ／Ｄ変換部は、アナログの画像信号をデジタルの画像信号に変換する。ＤＦＥ回路は、Ａ／Ｄ変換後の画像信号にデジタル信号処理を施す。なお、撮像素子１１が出力する画像信号は、バス２２を介して、画像データとしてＲＡＭ１３に一時的に記録される。ＲＡＭ１３は、揮発性のメモリであり、画像データを一時的に記録するバッファメモリの領域を有する。

フラッシュメモリ１4は、書き換え可能な不揮発性の半導体メモリである。フラッシュメモリ１4は、電子カメラ１の制御を行なうプログラムを格納する。

記録Ｉ／Ｆ部１５には、着脱自在の記録媒体Ｍ１を接続するためのコネクタ（不図示）が形成されている。そして、記録Ｉ／Ｆ部１５は、そのコネクタに接続された記録媒体Ｍ１にアクセスして静止画データや動画データの記録処理等を行なう。この記録媒体Ｍ１は、例えば、カード型の不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体Ｍ１を示している。なお、記録媒体Ｍ１は、本発明の一実施形態の画像処理プログラムを記録しているコンピュータ可読な記録媒体として用いても良い。

表示Ｉ／Ｆ部１６は、表示モニタ１７の表示画面上に画像等を表示するためのインターフェースを提供する。表示モニタ１７は、例えば液晶表示媒体を利用した表示装置（液晶モニタ）である。そして、表示モニタ１７は、例えば静止画像、動画像又は電子カメラ１の操作メニュー等を表示する。操作部１８は、撮影者の操作（ユーザ入力）を受け付ける複数の釦を有しており、電子カメラ１を操作するための指示入力を受け付ける。

レリーズ釦１９は、半押し操作（撮影前におけるオートフォーカス（ＡＦ）や自動露出（ＡＥ）等の撮影準備の動作開始）と全押し操作（記録用の静止画像を取得するための撮影の動作開始）との指示入力とを受け付ける。

動画撮影釦２０は、押圧操作により動画撮影（動画記録）の開始の指示入力を受け付け、再度の押圧操作により動画撮影の終了の指示入力を受け付ける。

ＣＰＵ２１は、ＡＳＩＣ（画像エンジン：Application Specific Integrated Circuit）の機能を有し、各種演算及び電子カメラ１の統括的な制御を行なうマイクロプロセッサである。ＣＰＵ２１は、上記のプログラムを実行することにより、電子カメラ１の各部の制御等を行なう。また、ＣＰＵ２１は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理を施す。

また、ＣＰＵ２１は、例えば、記録媒体Ｍ１から本発明の一実施形態である画像処理プログラムをフラッシュメモリ１4に格納する。これにより、ＣＰＵ２１は、本発明に係る画像処理装置の一態様として、選択部２１ａと、判定部２１ｂと、ノイズ除去部２１ｃと、超解像処理部２１ｄとを備える。また、ＣＰＵ２１は、圧縮処理部２１ｅと、復号処理部２１ｆと、記録処理部２１ｇとを備える。

なお、本実施形態では、説明を分かりやすくするため、図１において、選択部２１ａ、判定部２１ｂ、ノイズ除去部２１ｃ及び超解像処理部２１ｄをＣＰＵ２１に含めて描いているが、ＣＰＵ２１とは別の専用のハードウエア回路で構成しても良い。さらに、本実施形態では、圧縮処理部２１ｅ、復号処理部２１ｆ及び記録処理部２１ｇについても専用のハードウエア回路に含めても良い。

また、ＣＰＵ２１は、画像処理プログラムに従って、図３〜図６に示すフローチャートの処理（以下「フローの処理」という。）を実行する。

選択部２１ａは、圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する。ここで、圧縮された動画データは、例えば、フレーム間予測を用いて圧縮が施された動画データである。フレーム間予測は、圧縮効率を高めるために、ＭＰＥＧ（Moving Picture Experts Group）形式等の符号化処理に利用される。

フレーム間予測を用いて圧縮が施された動画データでは、非圧縮の場合のＲＡＷデータと異なり、例えば、何枚かに一枚の割合で取得された動き予測の基準となるＩフレーム(Intra-coded Frame)と、時間的に過去のフレームから予測（順方向予測）して生成したＰフレーム（Predicted Frame）と、時間的に過去と未来の双方向から予測して生成したＢフレーム（Bi-directional Predicted Frame）との組み合わせにより構成される。

このフレーム間予測を用いて圧縮が施されたデータは、復号化した際に、ブロックノイズが発生しやすいので、本実施形態の超解像処理モードを適用するデータとしては好適である。なお、フレームの選択の仕方については、図２等を用いて後述する。

判定部２１ｂは、選択部２１ａが選択したフレームの情報を解析して、フレーム毎にブロックノイズを除去するか否かを判定する。具体的には、判定部２１ｂは、フレーム毎の圧縮率と圧縮形式との少なくとも一方に基づいて、ブロックノイズの除去処理を行なうか否かを判定する。例えば、判定部２１ｂは、フレーム間予測に用いられるＩフレーム、Ｂフレーム、Ｐフレームについて、予め設定した圧縮率の閾値に応じて、ブロックノイズの除去処理を行なうか否かを判定する。これにより、判定部２１ｂは、フレームの種別毎にブロックノイズの除去処理を行なうか否かを判定することができる。

ここで、例えば、ＭＰＥＧ形式の符号化処理では、画像信号に対して、所定の単位の画素ブロック毎に離散コサイン変換（Discrete Cosine Transformation）を施す。そして、この符号化処理では、離散コサイン変換を施した後、所定の量子化処理を行なうことにより情報量の圧縮を図る。

この際、この符号化処理では、量子化処理の程度に応じて圧縮率を大きくすることができるが、一部の情報を切り捨てるために、圧縮率に応じてモザイク状のブロックノイズが発生する。

すなわち、ＭＰＥＧ形式の符号化処理では、所定の単位の画素ブロック（例えば８×８画素）毎に量子化処理等を施すため、圧縮率に応じて、復号化した際にブロック境界（ブロックノイズ）が発生してしまう。他の符号化処理でも、復号化した際に圧縮率に応じて、ブロックノイズが発生する。

そこで、本実施形態では、圧縮率に閾値を設け、例えば、Ｉフレームより高圧縮なＢフレーム、Ｐフレームについて、判定部２１ｂは、ブロックノイズの除去処理を行なう判定を行なう。これにより、判定部２１ｂは、Ｉフレームより高圧縮なフレームについて、ブロックノイズの除去処理の対象とする。このような判定を行なうのは、Ｂフレーム、Ｐフレームは、Ｉフレームと比較して、復号化した際にブロックノイズが発生しやすいためである。

なお、判定部２１ｂは、フレームのファイルサイズに閾値を設定しても良い。すなわち、判定部２１ｂは、フレームのファイルサイズが閾値以下の場合、高圧縮なフレームと判定する。これにより、判定部２１ｂは、Ｉフレームより高圧縮なＢフレーム、Ｐフレームについて、ブロックノイズの除去処理を行なう判定を行なうことができる。

また、判定部２１ｂは、超解像処理に不適な解像度のフレームを処理対象から外す。このような判定を行なうのは、超解像処理に寄与しないフレームだからである。なお、超解像処理に不適な解像度のフレームとは、例えば、ボケ等に起因する低解像度のフレームや超解像処理に用いるフレームとしては圧縮率が高く、低画質のフレーム等が挙げられる。

ノイズ除去部２１ｃは、判定部２１ｂの判定結果に応じて、ブロックノイズの除去処理をフレーム毎に行なう。具体的には、ノイズ除去部２１ｃは、ブロックノイズを除去するため、ブロック境界を平滑化する公知のデブロッキングフィルタ（Deblocking Filter）処理（以下「ＤＦ処理」という。）を行なう。これにより、ノイズ除去部２１ｃは、ブロック境界（ブロックノイズ）のみを平滑化して、ブロックノイズの発生を抑制することができる。

つまり、ノイズ除去部２１ｃは、超解像処理に使用するフレームのうち、判定部２１ｂの判定結果に応じて、1枚〜全てのフレームにＤＦ処理を行なう。

ここで、ブロックノイズが発生する（歪む境界）箇所は、圧縮形式に応じて推定でき、また、ブロックノイズは、高圧縮な設定であるほど発生しやすいため、本実施形態では、ブロックノイズが発生しやすい条件で、ＤＦ処理を適用する。デブロッキングフィルタは、必要ない箇所に適用すると、画質劣化を及ぼす可能性もあるため、本実施形態では、例えば、Ｉフレームであれば、ＤＦ処理を適用しなくても良い構成とする。これにより、ノイズ除去部２１ｃは、画質劣化を抑制しつつ、ＤＦ処理を行なうことができる。

超解像処理部２１ｄは、除去処理が施されたフレームを含む処理対象となる複数のフレームに超解像処理を施して、高解像度の静止画像を生成する。なお、超解像処理の詳細については、図５等を用いて後述する。

圧縮処理部２１ｅは、静止画データ又は動画データに対して圧縮処理を施す。圧縮処理部２１ｅは、静止画データに対しては、例えばＪＰＥＧ（Joint Photographic Experts Group）形式で圧縮処理を施す。また、圧縮処理部２１ｅは、動画データに対しては、例えばＭＰＥＧ形式で圧縮処理を施す。

なお、本実施形態で採用する動画データの圧縮形式は、ＭＰＥＧ（例えばＭＰＥＧ−１〜４）形式に限られず、例えばＩＴＵ（国際電気通信連合）によって勧告された、動画データの圧縮符号化方式の一つであるＨ．２６４又はＨ．２６５であっても良い。

或いは、本実施形態で採用する動画データの圧縮形式は、Ｍｏｔｉｏｎ−ＪＰＥＧであっても良い。Ｍｏｔｉｏｎ−ＪＰＥＧの場合、フレーム間の圧縮をしない分、圧縮率は低くなるが、フレーム毎にＪＰＥＧ圧縮を行なっているので圧縮率に応じてブロックノイズが発生する可能性がある。そのため、判定部２１ｂは、例えば、全てのフレームに対して、ＤＦ処理を行なうようにしても良い。つまり、判定部２１ｂは、圧縮率と圧縮形式とに基づいて、ブロックノイズの除去処理を行なうか否かを判定することができる。したがって、本実施形態で採用する動画データの圧縮形式は、特に限定されない。なお、本実施形態では、Ｉフレーム、Ｂフレーム、Ｐフレームについても圧縮形式の一態様としても良い。

復号処理部２１ｆは、圧縮された静止画データや動画データを、伸長することにより復号化処理する。記録処理部２１ｇは、超解像処理により生成した静止画像をフラッシュメモリ１４又は記録媒体Ｍ１に記録する。

次に、電子カメラ１の動作について説明する。

図２は、超解像処理モードの概要を説明する図である。図３は、超解像処理モード下での電子カメラ１の動作を示すフローチャートである。ＣＰＵ２１は、画像処理プログラムに基づいて、図３に示すフローの処理を実行する。

図３に示すフローの処理では、圧縮処理が施された動画データを処理対象とする。この動画データは、例えば、電子カメラ１で動画撮影され、記録媒体Ｍ１に記録されていることとする。なお、本実施形態において、処理対象となる複数のフレームは、一例として、同一被写体が略同一画角で時間的に連続して撮影されたフレームから構成される動画データであることとする。

ここで、ＣＰＵ２１は、操作部１８を介して、超解像処理モードの指示入力を受け付ける。すると、ＣＰＵ２１は、超解像処理モードに移行し、操作部１８を介して、ユーザから動画再生の指示入力を受け付けることにより、記録媒体Ｍ１から動画データを読み出して、復号化した後、表示モニタ１７に動画を再生させる。

そして、ユーザは、再生された動画を見ながら、所望のワンシーンに対して超解像処理を行ないたい画像を指定することができる。この際、ＣＰＵ２１は、操作部１８を介して、ユーザからの動画再生を停止させる指示入力を受け付けることにより、所望のワンシーンで停止させる。すると、ＣＰＵ２１は、以下に示すフローの処理を開始する。

ステップＳ１０１：ＣＰＵ２１の選択部２１ａは、フレームの選択処理を行なう。具体的には、選択部２１ａは、後述するステップＳ１０５の超解像処理を行なうため、動画データを参照し、ユーザにより指定された画像の元になるフレーム、及びそのフレームの前後の複数のフレームを選択する。

図２（ａ）は、フレームの選択処理を説明する図である。図２（ａ）では、説明の便宜上、動画再生中のｎ枚目のフレームから番号付け（１〜１２）をしている。また、図中のＩ、Ｂ、Ｐは、それぞれ、該当する番号のフレームが、Ｉフレーム、Ｂフレーム、Ｐフレームの何れかを表わしている。

一例として、ユーザが指定した画像（表示モニタ１７に表示されている画像）の元になるフレームが、図２（ａ）において、フレーム３であった場合、選択部２１は、圧縮された動画データ（例えばフレーム１〜５）を記録媒体Ｍ１からＲＡＭ１３に読み出して、処理対象となるフレーム１〜５として選択する。そして、ＣＰＵ２１は、ステップＳ１０２の処理に移行する。

ステップＳ１０２：ＣＰＵ２１の判定部２１ｂは、選択部２１ｂが選択したフレームの判定処理を行なう。具体的には、判定部２１ｂは、フレームの情報を解析して、フレーム毎にブロックノイズを除去するか否かを判定する。フレームの情報としては、圧縮率と圧縮形式とを含む。ここで、判定部２１ｂは、図４に示す判定処理のサブルーチンのフローの処理を実行する。図２（ｂ）は、判定処理を説明する図である。判定処理のサブルーチンのフローの処理が終了すると、ＣＰＵ２１は、ステップＳ１０３の処理に移行する。

ステップＳ１０３：ＣＰＵ２１の復号処理部２１ｆは、フレームの復号化処理を行なう。一例として、復号処理部２１ｆは、ＲＡＭ１３に一時記録されている処理対象となるフレーム１〜５に対して、ＭＰＥＧ形式に準拠した復号化処理を行なう。そして、ＣＰＵ２１は、ステップＳ１０４の処理に移行する。

ステップＳ１０４：ＣＰＵ２１のノイズ除去部２１ｃは、必要に応じてＤＦ処理を行なう。具体的には、ノイズ除去部２１ｃは、後述するフラグを参照して、判定部２１ｂがＤＦ処理を行なう設定をしたフレームについて、ＤＦ処理を行なう。

図２（ｃ）は、ＤＦ処理を行なうフレームを例示している。上段のフレームについては、ＤＦ処理前の状態を表わしており、ブロックノイズが存在するフレームについては、象徴的にブロックノイズを四角形状で表わしている。したがって、実際には、ブロックノイズは、モザイク状に複数存在している。

また、下段のフレームについては、ＤＦ処理後の状態を表わしており、ブロックノイズが除去された状態を表わしている。

すなわち、ノイズ除去部２１ｃは、フレーム２〜５について、ＤＦ処理を行なう。そして、ＣＰＵ２１は、ステップＳ１０５の処理に移行する。

ステップＳ１０５：ＣＰＵ２１の超解像処理部２１ｄは、超解像処理を行なう。具体的には、超解像処理部２１ｄは、図５に示す超解像処理のサブルーチンのフローの処理を実行する。図２（ｄ）は、超解像処理により高解像度の静止画像が生成したことを模式的に表わしている。超解像処理のサブルーチンのフローの処理が終了すると、ＣＰＵ２１は、ステップＳ１０６の処理に移行する。

ステップＳ１０６：ＣＰＵ２１の記録処理部２1ｇは、記録処理を行なう。具体的には、超解像処理を施して生成した新たな静止画像をフラッシュメモリ１４又は記録媒体Ｍ１に記録する。そして、ＣＰＵ２１は、図３に示すフローの処理を終了させる。

次に、判定処理のサブルーチンのフローの処理について説明する。

図４は、判定処理のサブルーチンのフローチャートである。

ステップＳ２０１：判定部２１ｂは、ｎ枚目のフレームの解析処理を行なう。具体的には、判定部２１ｂは、選択部２１が選択した処理対象となるフレームを順番に読み出して、解析処理を行なう。解析結果に応じて、ＣＰＵ２１は、ステップＳ２０２、Ｓ２０３、Ｓ２０４の何れかの処理に移行する。

ここで、図２（ｂ）を例にして説明すると、判定部２１ｂは、１枚目のフレームを読み出す。この場合、１枚目は、Ｉフレームであるので、判定部２１ｂは、ＤＦ処理を行なわない判定をする。そのため、ＣＰＵ２１は、ステップＳ２０２に移行する。

ステップＳ２０２：判定部２１ｂは、ＤＦ処理のフラグをオフに設定する。ここで、フラグがオフの場合、ノイズ除去部２１ｃは、フラグがオフに設定されたフレームについては、ＤＦ処理を行なわないことを意味する。そして、ＣＰＵ２１は、ステップＳ２０５に移行する。

ステップＳ２０３：判定部２１ｂは、ＤＦ処理のフラグをオンに設定する。ここで、フラグがオンの場合、ノイズ除去部２１ｃは、フラグがオンに設定されたフレームについては、ＤＦ処理を行なうことを意味する。そして、ＣＰＵ２１は、ステップＳ２０５に移行する。

ステップＳ２０４：判定部２１ｂは、当該ｎ枚目のフレームを処理対象から外す処理を行なう。つまり、判定部２１ｂは、超解像処理に不適な解像度のフレームを処理対象から外す。そして、ＣＰＵ２１は、ステップＳ２０５に移行する。

ステップＳ２０５：判定部２１ｂは、次のフレームがあるか否かを判定する。次のフレームが無い場合（ステップＳ２０５：Ｎｏ）、ＣＰＵ２１は、図３に示すステップＳ１０３の処理に戻る。一方、次のフレームがある場合（ステップＳ２０５：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２０６の処理に移行する。

ステップＳ２０６：判定部２１ｂは、次のフレーム番号（ｎ＝ｎ＋１）を設定する。そして、ＣＰＵ２１は、ステップＳ２０１の処理に戻り、引き続き、ステップＳ２０１以下の処理を繰り返す。一例として、図２（ｂ）に示す通り、２〜４枚目は、Ｂフレームであるので、判定部２１ｂは、ＤＦ処理のフラグをオンに設定する（ステップＳ２０３参照）。また、一例として、図２（ｂ）に示す通り、５枚目は、Ｐフレームであるので、判定部２１ｂは、ＤＦ処理のフラグをオンに設定する（ステップＳ２０３参照）。

但し、図２（ｂ）の事例では、ステップＳ２０４の処理を行なわなかったが、上記の通り、超解像処理に不適な解像度のフレームの場合、ステップＳ２０４の処理に移行し、判定部２１ｂは、当該ｎ枚目のフレームを処理対象から外す。

次に、超解像処理のサブルーチンのフローの処理について説明する。

図５は、超解像処理のサブルーチンのフローチャートである。

ステップＳ３０１：超解像処理部２１ｄは、位置合わせ処理を行なう。具体的には、超解像処理部２１ｄは、ステップＳ１０４の処理が行なわれた後の複数のフレームの位置合わせ処理を行なう。この際、超解像処理部２１ｄは、位置合わせの基準となる低解像度のフレームを基準画像とする。

一例として、超解像処理部２１ｄは、図２（ｃ）に示すＤＦ処理後のフレーム３を基準画像とする。そして、超解像処理部２１ｄは、基準画像に対して、位置合わせの対象となる低解像度の画像（フレーム１、ＤＦ処理後のフレーム２、４、５）を用いて、位置合わせ処理を行なう。なお、位置合わせ処理としては、超解像処理に用いられる位置合わせであれば、特に限定されない。超解像処理部２１ｄは、位置合わせ処理として、例えば、公知の領域ベースマッチング法を適用しても良い。

ここで、基準画像や位置合わせの対象となる低解像度の画像にブロックノイズが存在すると、フレーム間でブロックノイズ同士が位置合わせの対象となり、被写体同士の位置合わせの精度が著しく落ちる。しかしながら、本実施形態では、予めブロックノイズを除去しているので、位置合わせ処理を精度良く行なうことができる。そして、ＣＰＵ２１は、ステップＳ３０２の処理に移行する。

ステップＳ３０２：超解像処理部２１ｄは、高解像度の静止画像の合成処理を行なう。具体的には、超解像処理部２１ｄは、位置合わせ処理後の低解像度の画像を合成することにより、高解像度の静止画像を生成する。なお、超解像処理部２１ｄは、特定の超解像処理に限定されず、例えば、公知のＭＬ(Maximum-likelihood)法、ＭＡＰ(Maximum A Posterior)法、又はＰＯＣＳ(Projection Onto Convex Sets)法等の方法を用いて、超解像処理を行なうことができる。そして、ＣＰＵ２１は、図３に示すステップＳ１０６の処理に戻る。

以上説明した通り、本実施形態の電子カメラ１は、ＣＰＵ２１が画像処理プログラムに従って図３〜図５に示すフローの処理を行なうことにより、超解像処理が施された高解像度の静止画像を生成することができる。

したがって、本実施形態によれば、圧縮処理が施された動画データであっても、精度良く超解像処理を行なえる手段を提供できる。

次に、第１実施形態の変形例について説明する。

図６は、超解像処理モード下での電子カメラ１の動作の変形例を示すフローチャートである。図３に示すフローチャートでは、判定部２１ｂがフレームの判定処理を行なった後（ステップＳ１０２参照）、復号処理部２１ｆがフレームの復号化を行なう構成とした（ステップＳ１０３参照）。

一方、第１実施形態の変形例では、図３に示すフローチャートの差異点として、復号処理部２１ｆがフレームの復号化を行なった後（ステップＳ４０２参照）、判定部２１ｂがフレームの判定処理を行なう構成とする（ステップＳ４０３参照）。

第１実施形態の変形例においても、ＣＰＵ２１は、操作部１８を介して、ユーザからの動画再生を停止させる指示入力を受け付けることにより、所望のワンシーンで停止させる。すると、ＣＰＵ２１は、図６に示すフローの処理を開始する。なお、図６に示すフローの処理は、図３に示すフローの処理と順序が一部異なるだけなので簡略化して説明する。

ステップＳ４０１：選択部２１ａは、フレームの選択処理を行なう。

ステップＳ４０２：復号処理部２１ｆは、フレームの復号化処理を行なう。

ステップＳ４０３：判定部２１ｂは、選択部２１ｂが選択したフレームの判定処理を行なう。この場合、既に各フレームは、復号化処理されているので、判定部２１ｂは、復号化される前のフレームの情報（Ｉ、Ｂ、Ｐフレームの何れかのフレーム）に基づいて、ＤＦ処理を行なうか否かを判定しても良い。

ステップＳ４０４：ノイズ除去部２１ｃは、必要に応じてＤＦ処理を行なう。

ステップＳ４０５：超解像処理部２１ｄは、超解像処理を行なう。

ステップＳ４０６：記録処理部２1ｇは、記録処理を行なう。具体的には、超解像処理を施して生成した新たな静止画像を記録媒体Ｍ１に記録する。そして、ＣＰＵ２１は、図６に示すフローの処理を終了させる。

以上説明した通り、第１実施形態の変形例によれば、電子カメラ１は、ＣＰＵ２１が画像処理プログラムに従って図６、図４及び図５に示すフローの処理を行なうことにより、超解像処理が施された高解像度の静止画像を生成することができる。

なお、上記の超解像処理モードでは、ユーザ入力に応じて、複数のフレームから１枚の高解像度の静止画像を生成することとした。ここで、他の超解像処理モードとしては、例えば、ＣＰＵ２１が、自動的に図３又は図６に示すフローの処理を行なって、処理対象となる複数のフレームを選択して、超解像処理を施した静止画像を生成する構成としても良い。或いは、ＣＰＵ２１が、自動的に図３又は図６に示すフローの処理を繰り返し、処理対象となる複数のフレームを選択して、超解像処理を施した静止画像を時系列に複数生成する構成としても良い。
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、本発明に係る画像処理プログラムをコンピュータに組み込んで使用する。

図７は、コンピュータ１００の構成例を示すブロック図である。コンピュータ１００は、制御部２と、記録Ｉ／Ｆ部３と、ＲＡＭ４と、記録装置５と、入出力インターフェース部（以下「入出力Ｉ／Ｆ部」という。）６と、バス７とを備える。

ここで、制御部２、記録Ｉ／Ｆ部３、ＲＡＭ４、記録装置５及び入出力Ｉ／Ｆ部６は、バス７を介して互いに接続されている。

また、記録Ｉ／Ｆ部３は、不揮発性の記憶媒体Ｍ１を着脱可能に接続できる。この記録媒体Ｍ１には、画像処理プログラムや電子カメラ１で撮影された圧縮された動画データが記録されている。

ＲＡＭ４は、プログラムの演算結果等を一時的に記録する。このＲＡＭ４は、例えば、揮発性のＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等で構成される。

記録装置５は、例えば、ハードディスクや、不揮発性の半導体メモリ等の記録媒体で構成される。この記録装置５は、本発明の一実施形態である画像処理プログラムが格納される。

また、入出力Ｉ／Ｆ部６は、入力デバイス８（キーボード、マウス等のポインティングデバイス）と表示部（液晶モニタ等）９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ部６は、入力デバイス８からの各種入力を受け付けるとともに、表示部９に対して表示用のデータを出力する。

制御部２は、コンピュータ１００の制御を行なうプロセッサである。制御部２は、記録装置５に予め格納されたＯＳ（オペレーションシステム）を実行することにより、コンピュータ１００の各部の制御等を行なう。

また、制御部２は、記録媒体Ｍ１から本発明の一実施形態である画像処理プログラムを記録装置５に格納する。この画像処理プログラムは、上記の電子カメラ１と同様、コンピュータ１００にも適用することができる。この画像処理プログラムが記録装置５に格納されることにより、制御部２は、本発明に係る画像処理装置の一態様として、選択部２ａと、判定部２ｂと、ノイズ除去部２ｃと、超解像処理部２ｄとを備える。これにより、コンピュータ１００を本発明に係る画像処理装置の一実施形態としても良い。

また、制御部２は、圧縮処理部２ｅと、復号処理部２ｆと、記録処理部２ｇとを備える。これらの各部は、第１実施形態の電子カメラ１の選択部２１ａ、判定部２１ｂ、ノイズ除去部２１ｃ、超解像処理部２１ｄ、圧縮処理部２１ｅ、復号処理部２１ｆ及び記録処理部２１ｇと各々同様の機能を有するので説明を省略する。

次に、コンピュータ１００の動作について説明する。ここで、制御部２は、入力デバイス８を介して、画像処理プログラムの起動の指示入力を受け付ける。すると、制御部２は、入力デバイス８を介して、ユーザから動画再生の指示入力を受け付けることにより、記録媒体Ｍ１から動画データを読み出して、復号化した後、表示部９に動画を再生させる。そして、第１実施形態と同様、ユーザは、再生された動画を見ながら、所望のワンシーンに対して超解像処理を行ないたい画像を指定することができる。この際、制御部２は、入力デバイス８を介して、ユーザからの動画再生を停止させる指示入力を受け付けることにより、所望のワンシーンで停止させる。すると、制御部２は、画像処理プログラムに従って、図３又は図６に示すフローの処理を開始する。そして、コンピュータ１００では、制御部２が図３〜図５又は図４〜図６に示すフローの処理を行なうことにより、圧縮処理が施された動画データであっても、精度良く超解像処理を行なうことができる。

以上説明した通り、本実施形態のコンピュータ１００は、制御部２が画像処理プログラムに従って図３〜図５又は図４〜図６に示すフローの処理を行なうことにより、超解像処理が施された高解像度の静止画像を生成することができる。

なお、本発明に係る画像処理装置は、図３〜図５又は図４〜図６に示すフローの処理と同様の処理を行なう専用のハードウエア回路として、コンピュータ１００に組み込んでも良い。

（実施形態の補足事項）
（１）上記の実施形態（第１実施形態）では、レンズ一体型のコンパクトタイプの電子カメラを例示したが、本発明の適用可能な撮像装置は、このタイプの電子カメラに限られない。すなわち、本発明の適用可能な撮像装置は、例えば、一眼レフレックスタイプの電子カメラが含まれる。また、本発明の適用可能な撮像装置は、クイックリターンミラーを必要としないレンズ交換式の電子カメラが含まれる。

また、本発明の適用可能な撮像装置は、カメラ機能を備えた携帯電話機、携帯情報端末（ＰＤＡ:Personal Digital Assistant）も含まれる。

（２）上記の実施形態における動画データには、連写撮影した画像群が含まれても良い。

（３）上記の実施形態では、ブロックノイズを除去するため、ＤＦ処理を採用したが、他のノイズリダクションフィルタを採用しても良い。

例えば、ノイズ除去部２１ｃは、平均値フィルタ（ガウシアンフィルタ等）又は、バイラテラルフィルタ（Bilateral Filter）等を用いても良い。これらのフィルタを用いても、ブロックノイズを平滑化することができる。また、ノイズ除去部２１ｃは、これらの複数のフィルタを選択的に組み合わせて採用しても良い。

（４）上記の実施形態（第１実施形態）では、判定部２１ｂがフレーム毎の圧縮率と圧縮形式との少なくとも一方に基づいて、ブロックノイズの除去処理を行なうか否かを判定する構成とした。ここで、判定部２１ｂは、さらに、ブロックノイズを検出する手段を設けて、ブロックノイズの除去処理を行なうか否かを判定するようにしても良い。ブロックノイズを検出する手段としては、公知技術を適用すれば良く、例えば、フレーム内を複数に分割したブロックの境界における画素値のレベル差からブロックノイズを検出すれば良い。そして、判定部２１ｂは、ブロックノイズを検出する手段を適用することにより、ブロックノイズを検出した箇所にＤＦ処理を施す判定する。そして、ノイズ除去部２１ｃは、ブロックノイズを検出した箇所にＤＦ処理を施す。

これにより、超解像処理部２ｄは、圧縮処理が施された動画データであっても、精度良く超解像処理を行なうことができる。なお、第２実施形態も同様にして、判定部２ｂは、さらに、ブロックノイズを検出する手段を設けて、ブロックノイズの除去処理を行なうか否かを判定するようにしても良い。

１・・・電子カメラ、２・・・制御部、２１・・・ＣＰＵ、２１ａ・・・選択部、２ｂ、２１ｂ・・・判定部、２ｃ、２１ｃ・・・ノイズ除去部、２ｄ、２１ｄ・・・超解像処理部、１００・・・コンピュータ

Claims (8)

1. 圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する選択部と、
   前記選択部が選択した前記フレームの情報を解析して、前記フレーム毎にブロックノイズを除去するか否かを判定する判定部と、
   前記判定部の判定結果に応じて、前記ブロックノイズの除去処理を前記フレーム毎に行なうノイズ除去部と、
   前記除去処理が施されたフレームを含む前記処理対象となる複数の前記フレームに超解像処理を施すことにより、前記フレームより高解像度の画像を生成する超解像処理部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記判定部は、前記フレーム毎の圧縮率と圧縮形式との少なくとも一方に基づいて、前記除去処理を行なうか否かを判定することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記ノイズ除去部は、前記ブロックノイズを除去するデブロッキングフィルタ処理を行なうことを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   前記圧縮された動画データは、フレーム間予測を用いて圧縮が施されたデータであることを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記判定部は、前記フレーム間予測に用いられるＩフレーム、Ｂフレーム、Ｐフレームについて、予め設定した圧縮率の閾値に応じて、前記除去処理を行なうか否かを判定することを特徴とする画像処理装置。
6. 請求項１に記載の画像処理装置において、
   前記判定部は、前記超解像処理に不適な解像度のフレームを前記処理対象から外すことを特徴とする画像処理装置。
7. 被写体像を連続して撮像して生成した動画データを圧縮する圧縮処理部と、
   請求項１から請求項６の何れか１項に記載の画像処理装置と、
   を備えることを特徴とする撮像装置。
8. 圧縮された動画データを読み出して、処理対象となる複数のフレームを選択する選択ステップと、
   前記選択ステップにより選択された前記フレームの情報を解析して、前記フレーム毎にブロックノイズを除去するか否かを判定する判定ステップと、
   前記判定ステップの判定結果に応じて、前記ブロックノイズの除去処理を前記フレーム毎に行なうノイズ除去ステップと、
   前記除去処理が施されたフレームを含む前記処理対象となる複数の前記フレームに超解像処理を施すことにより、前記フレームより高解像度の画像を生成する超解像処理ステップと、
   をコンピュータに実行させることを特徴とする画像処理プログラム。

Images