JP2017126889A

JP2017126889A - 画像処理装置、撮像装置、画像処理方法及びプログラム

Info

Publication number: JP2017126889A
Application number: JP2016005379A
Authority: JP
Inventors: 篤史藤田; Atsushi Fujita
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2016-01-14
Filing date: 2016-01-14
Publication date: 2017-07-20
Anticipated expiration: 2036-01-14
Also published as: JP6632385B2

Abstract

【課題】高解像度の動画像を構成するフレームから静止画を生成する場合に、ノイズ低減処理を効果的に実施して、高品質な静止画を生成可能とする。【解決手段】画像処理装置であって、動画像を構成する複数のフレームのうち第１のフレームを選択する選択手段と、前記第１のフレームの近傍のフレームから第２のフレームを選択し、前記第１のフレームと前記第２のフレームとに基づき、前記第１のフレームのノイズ低減処理を実行する処理手段とを備え、前記処理手段は、前記複数のフレームのうち、前記第１のフレームの近傍のフレームであって、該フレームの撮影条件と、前記第１のフレームの撮影条件との変化が所定の範囲内であるフレームを前記第２のフレームとして選択することを特徴とする。【選択図】図１

Description

本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに関する。

近年4K（横4000画素×縦2000画素）前後の画面解像度を有する動画撮影が可能なデジタルカメラ・デジタルビデオカメラの開発が進み、民生品においても上記解像度を有する動画撮影が可能なデジタルカメラが発表されている。上記4K動画においては、動画の１フレームとして見ても800万画素相当の解像度を有するため、動画として撮影した大量のフレームデータから、撮影後に任意の１フレームを静止画として保存し、静止画として取り扱うというユースケースの需要が高まっている。このように4K動画から静止画を抽出する機能は、特に動きの速い被写体において、ある一瞬を記録する目的で使用されることが多く、従来の静止画撮影では難しかったような決定的な瞬間を簡単かつ高解像度で撮影することが可能である。

しかしながら、撮像装置の制御としては、１フレームあたりに多くの情報量を持つフレームデータを動画記録のフレームレートで高速に処理する必要性が生じるため、撮像装置に具備されたCPUやメモリ等のハードに対する負荷が高いという問題がある。一般的に撮像装置が動画像を生成する場合は、撮像素子で受光した電荷をAD変換機や信号処理回路を通して画像信号へと変換するが、その際、画像信号の品質を上げるために、エッジ強調処理やノイズ低減処理などの画像信号処理を行って画質を向上させる処理を実施することが多い。

その一方、4K動画では大量の画像データを高速で処理する必要性から、処理に時間がかかる複雑な信号処理を施すことは難しく、解像度の低い動画を撮影する場合に比べて簡易的な信号処理を適用する可能性が考えられる。例えばノイズ低減処理においては、移動平均フィルタによるローパスフィルタによってノイズを低減する方法などが一般的であるが、ノイズ低減効果を高めるためにはフィルタのタップ数を多く確保する必要があり、タップ数を増やすと指数関数的に処理量が増加する。よって処理時間に比較的余裕がある静止画や、画素数の少ない動画像を処理する場合に比べて、4K動画においては移動平均フィルタのタップ数を抑える必要性が発生する等の問題が考えられる。

そのため4K動画から静止画を抽出する機能の懸念点として、決定的瞬間を簡単に撮影することができるというメリットがある一方で、上記信号処理に対する制約から、保存した静止画の画質が静止画撮影モードで撮影した画像に比べて悪くなる可能性が高いというデメリットが存在する。これに対して特許文献１に示す手法では、動画から静止画を生成する際にノイズ低減処理を行い、保存する静止画の画質を向上させている。特許文献１においては、メモリに保持した所定数の複数フレームを用いて時間方向に移動平均処理を行うフレーム間ノイズ低減処理と、１つのフレーム内で空間方向に移動平均処理を行うフレーム内ノイズ低減処理を被写体の動きに応じて切り替えることにより高品位な画像をユーザに提供している。

特開平４−２３５４８０号公報

上記フレーム間ノイズ低減処理の手法として、時間方向に連続する複数の画像を位置合わせしながら線形合成してノイズを低減する画像合成NR（ノイズリダクション）処理がある。当該画像合成NR処理は、合成する画像の間の特性が近いことを前提としており、合成する画像の間で特性が大きく変化しているような場合、合成後の画像に画像劣化が生じるおそれがある。

そこで、本発明は高解像度の動画像を構成するフレームから静止画を生成する場合に、ノイズ低減処理を効果的に実施して、高品質な静止画を生成可能とする。

上記課題を解決するための本発明は、画像処理装置であって、
動画像を構成する複数のフレームのうち第１のフレームを選択する選択手段と、
前記第１のフレームの近傍のフレームから第２のフレームを選択し、前記第１のフレームと前記第２のフレームとに基づき、前記第１のフレームのノイズ低減処理を実行する処理手段と
を備え、
前記処理手段は、前記複数のフレームのうち、前記第１のフレームの近傍のフレームであって、該フレームの撮影条件と、前記第１のフレームの撮影条件との変化が所定の範囲内であるフレームを前記第２のフレームとして選択することを特徴とする。

本発明によれば、効果的なノイズ低減処理により動画像から高画質な静止画を生成することができる。

発明の実施形態に対応する撮像装置の構成例を示すブロック図。発明の実施形態に対応する処理の一例を示すフローチャート。発明の実施形態に対応するユーザ・インタフェースの一例を示す図。発明の実施形態に対応する基準フレームを説明するための図。発明の実施形態に対応するＮＲ使用範囲を決定する処理の一例を示すフローチャート。発明の実施形態に対応するノイズ低減処理に必要なフレーム数の設定例を示す表。発明の実施形態に対応するＮＲ使用範囲の決定方法を説明するための図。

（実施例１）
以下、本発明の実施形態に対応する画像処理装置の動作について、添付の図面に基づいて詳細に説明する。

図１は、本実施形態に係る撮像装置の構成の一例を示すブロック図である。図１において、光学系１０１は複数のレンズ群と絞り機構からなり、フォーカスレンズ（測距用レンズ）、ズーム用レンズ及び絞り機構を含むことができる。撮像素子１０２は、ＣＣＤやＣＭＯＳ等からなり、アナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含む。表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が撮像素子１０２上で結像されると、画像データ（画像信号）が生成されメモリ１０３に記憶される。メモリ１０３は、撮像素子１０２から出力された画像信号や撮像装置１００全般の処理に必要なデータを保持する。

画像処理部１０４はメモリ１０３に保持された画像信号に対して所定の画素補間処理や色変換処理、後述のノイズ低減処理等の信号処理を行う。また画像処理部１０４においては、撮影時は撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいて順次撮影条件を決定し、システム制御部１０５に撮影条件を通知する。

システム制御部１０５は、撮影系全体を制御する。画像処理部１０４が決定した撮影条件で撮影を行うためにシャッター速度、絞り機構、フォーカスレンズ及びズームレンズの制御を統括し、それぞれ、露光量制御部１０６、フォーカスレンズ制御部１０７、焦点距離制御部１０８に対して指示を行う。露光量制御部１０６は、光学系１０１の絞り機構、撮像素子１０２の露光時間、及び撮影感度を調整し、適切な露光量制御を行う。

フォーカスレンズ制御部１０７は光学系１０１のフォーカスレンズを制御する。焦点距離制御部１０８は、光学系１０１のズーム用レンズを制御し、システム制御部１０５の指示に従って焦点距離を変更する。圧縮・伸長部１０９は、動画像を所定の圧縮アルゴリズム（例えば、Ｈ.２６４/ＡＶＣ）に従って圧縮符号化してＭＰＥＧやＭＯＶファイル等の動画像に変換し、記憶媒体１１０に記録する。また、撮影動画像を再生する場合、圧縮・伸長部１０９は、記憶媒体１１０に記録された圧縮済みの動画像を伸長し、メモリ１０３に保持し、表示部１１１がメモリ１０３に保持された当該動画像を表示する。

表示部１１１はＬＣＤ等からなり、画像処理部１０４によって生成された撮影画像を表示する。表示部１１１は、撮像装置１００の内蔵モニタであっても、外部モニタであってもよい。操作部材１１２はユーザの入力を受け付けるためのユーザ・インタフェースであって、ボタンやタッチパネル等が具備されている。タッチパネルは表示部１１１と一体として構成されても良い。操作部材１１２より受けつけたユーザ操作に従って、システム制御部１０５は撮像装置１００の動作の決定や変更を行う。ジャイロセンサ１１３は、撮像装置１００に具備された角速度センサであり、センサからの出力信号を画像処理部１０４が解析し、防振制御等に利用する。また、動画記録時のジャイロセンサ信号を動画ファイルのヘッダの一部、あるいは別ファイルとして記憶媒体１１０に保存することにより、後述の画像選択アルゴリズム等の後処理に利用することも可能である。

図１の撮像装置１００において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。また、撮像装置１００は、例えばデジタルカメラとして実施が可能である。しかし、それ以外にも例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の画像処理装置や情報処理装置として実施することができる。

次に撮像装置１００による動画像撮影時の動作の一例を説明する。撮像装置１００は電源投入直後より、光学系１０１を介した被写体像を撮像素子１０２に結像し、撮像素子１０２は具備されたA/D変換器を用いて被写体像を順次デジタル画像信号へと変換する。ここで、画像処理部１０４はデジタル画像信号を解析して、絞り値や露光時間、ピント位置等を決定し、システム制御部１０５を通じて各種撮像制御部へとフィードバックする。これにより、被写体像を常に適切な露出、ピント位置で捉え続けることが可能である。そして操作部材１１２を通じて動画記録開始が指示された場合、上記デジタル画像信号を圧縮・伸長部１０９によって圧縮符号化し、記憶媒体１１０に動画像として記録する。

この時、画像処理部１０４における画素補間処理や色変換処理、ノイズ低減処理などの各種画像処理は記録する動画のフレームレートの制約の中で実施する必要がある。よって、一般的に動画像を撮影する場合は静止画を撮影する場合に比べて画像処理を簡略化して、撮像装置１００への負荷を軽くすることが多く、更に高解像度の動画像を処理する場合により顕著である。

次に、本実施形態における記録済の動画像から静止画像を生成し、保存する処理の一例を図２のフローチャートを参照して説明する。該フローチャートに対応する処理は、例えば、画像処理部１０４として機能する１以上のプロセッサーが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

まず、Ｓ２０１において画像処理部１０４は、撮影動画像が再生されている場合に、ユーザが静止画像として保存したい任意のフレームの指定を、ユーザによる操作部材１１２に対する操作に応じて受け付ける。保存したい静止画像の指定方法は、例えば図３に示すように、表示部１１１に表示された再生画面３００上にキャプチャーボタン３０４のようなユーザ・インタフェースを表示し、これを用いても良い。表示部１１１がタッチパネルの場合、キャプチャーボタン３０４をユーザがタッチしたのに応じて、再生画面３００に表示されている画像を「静止画像として保存したいフレーム」に指定することができる。図３は、表示部１１１において動画像を再生する際の画面の表示例を示す図である。再生画面３００には、再生対象の動画像が表示されると共に、当該動画像に重畳して操作領域が表示される。操作領域内には、巻き戻し３０１、停止３０２、再生３０３、キャプチャー３０４、早送り３０５の各操作ボタンが表示されている。再生画面３００に対するタッチを利用する以外にも、例えば撮像装置１００に具備されたシャッターボタンなどの物理ボタンに対する操作を画像指定のトリガとみなしても良い。

次に、Ｓ２０２において画像処理部１０４は、Ｓ２０１でユーザから指定を受け付けたフレームを基準フレームに設定する。以下、この基準フレームをＩ（ｓ）と呼ぶ（ｓはフレーム番号）。図４（ａ）は、動画像を構成する複数のフレームにおける基準フレームＩ（ｓ）を示す図である。本実施形態では、当該基準フレームを静止画像に変換する場合に、当該基準フレームの近傍のフレームを用いてノイズ低減処理を行う。図４（ｂ）及び（ｃ）は、当該ノイズ低減処理について説明するための図である。

ノイズ低減処理では、図４（ｂ）に示すように時間方向に連続する複数の画像を位置合わせしながら線形合成してノイズを低減する画像合成NR（ノイズリダクション）処理を行う。この画像合成NR処理は、合成する画像の数が多ければ多いほどノイズ低減効果が高く、一方で、合成する画像の数が多ければ多いほど、使用する画像をメモリに保持しておかなければならず、かつ処理にかかる時間がかかる。よって、処理時間のバランスを考慮しつつ、予め決められた所定数のフレームデータをメモリに保持し、画像を位置合わせしながら順次合成処理することとなる。そして、本実施形態のように撮影した動画像から静止画像を抽出する際に画像合成NR処理を用いる場合、図４（ｃ）に示すように、静止画として出力したいフレームの前後の所定数分のフレームデータを動画ファイルから読み出して処理に使用する。

図２の説明に戻り、Ｓ２０２に続くＳ２０３において画像処理部１０４は、基準フレームＩ（ｓ）に基づき、画像合成ノイズ低減（以下、ＮＲ）処理に使用する範囲（ＮＲ使用範囲）を決定する。Ｓ２０３における処理の詳細は図５から図７を参照して後述する。

続くＳ２０４では、画像処理部１０４はＳ２０３で決定されたＮＲ使用範囲に基づき、基準フレームＩ（ｓ）を基準画像とする画像合成ＮＲ処理を実施する。画像合成ＮＲ処理のアルゴリズムについては、例えば特開２０１２−３９４０４号公報に記載されるような、基準画像と合成対象画像との間の動きベクトルからアフィン変換係数を算出し、求めたアフィン変換係数に従って画像を位置合わせしながら加算平均する画像合成ＮＲ処理を用いることができる。尚、画像合成ＮＲ処理アルゴリズムの詳細は、当該手法に限定されるものではなく、これ以外にも様々な公知の手法を用いることができる。画像合成ＮＲ処理後の基準フレームＩ（ｓ）は、図１の圧縮・伸長部１０９が静止画像（ＪＰＥＧデータ）に変換し、記憶媒体１１０に記録される。

次に、画像処理部１０４がＮＲ使用範囲を決定する図２のＳ２０３の処理の詳細につき、図５、図６、図７を参照して説明する。

まず、図５のＳ５０１において、画像処理部１０４はノイズ低減に必要なフレーム数Ｍを決定する。充分なノイズ低減効果を得るために必要なフレーム数Ｍは、基準フレームＩ（ｓ）の撮影感度やユーザが指定するノイズ低減強度（ＮＲ強度）によって適応的に決定することができる。本実施形態では、例えば図６の表のようにＩＳＯ感度とＮＲ強度との組み合わせに応じて必要なフレーム数を予めテーブル化しておいてもよい。例えば、ＩＳＯ感度が「４００」で、ＮＲ強度が「中」であった場合、Ｓ５０１においてフレーム枚数Ｍを「３」と決定することができる。尚、画像合成ＮＲに使用するフレーム数が多いほど処理に時間がかかるため、ノイズ低減効果に加えて処理時間とのバランスも考慮して決めるべき値である。

次に、Ｓ５０２において画像処理部１０４は、動画像を構成する複数のフレームにおけるフォーカス変化点（ＦｏｃｕｓＣｈｇ）に基づき、基準フレームＩ（ｓ）を中心とした第一の使用可能範囲（ＡｒｅａＦｏｃｕｓ）を決定する。ここでフォーカス変化点とは、基準フレームＩ（ｓ）のフォーカス位置に対して所定量以上フォーカス位置が変動したフレームとして定義される。一般的にオートフォーカスモードで動画像を記録する場合、フォーカス位置は被写体の距離に対して適応的に変化する。本実施形態では、動画記録時にフォーカス位置の変化の過程を予め一定間隔で記録しておき、比較対象となるフレーム間のフォーカス位置のずれ量をフォーカス変化点の検出に用いる。

図７は、発明の実施形態にかかるＮＲ使用範囲を決定するための手順を説明するための図である。図７（ａ）は、処理対象の動画像を構成するフレームのうち、基準フレームＩ（ｓ）を中心として周辺のフレームの状態を示す図である。図７では、基準フレームＩ（ｓ）より左側が時間方向でより古いフレームを表し、右側が時間方向でより新しいフレームを表している。図７（ａ）では、基準フレームＩ（ｓ）は、フォーカス変化点（ＦｏｃｕｓＣｈｇ）で挟まれている。図７（ｂ）は、フォーカス変化点（ＦｏｃｕｓＣｈｇ）で挟まれた領域を第一の使用可能範囲（ＡｒｅａＦｏｃｕｓ）として示している。当該第一の使用可能範囲を構成するフレーム枚数Ｎ１＝７である（Ｉ（ｓ―２）〜Ｉ（ｓ＋４））。これらのフレームは基準フレームＩ（ｓ）と比較してフォーカス位置の変動が小さいので、画像合成ＮＲ処理に使用する画像の候補と見なすことができる。

図７（ａ）を参照すると、第一の使用可能範囲（ＡｒｅａＦｏｃｕｓ）内には、ジャイロ変化点（ＣｙｒｏＣｈｇ）が含まれている。ここでジャイロセンサ１１３は動画像を生成する撮像装置１００が具備する角速度センサであって、ジャイロセンサ１１３からの出力信号に基づき撮像装置１００自体の動きの有無を判断することができる。つまり、ジャイロ変化点（ＧｙｒｏＣｈｇ）とはジャイロ信号の出力が大きく変化したフレームである。例えば、ジャイロ信号が各フレームについて記録されている場合、隣接フレーム間で出力の変化が所定の閾値を超えたかどうかを判定することにより、ジャイロ変化点（ＧｙｒｏＣｈｇ）を特定することができる。このジャイロ変化点に該当するフレーム及び、当該フレームよりも基準フレームから見て時間的に遠くに位置するフレームでは撮影シーンが変わっている可能性が高いため、画像合成ＮＲ処理に使用する画像の候補から除外することができる。ここで、「基準フレームから見て時間的に遠くに位置するフレーム」とは、図７（ａ）に示す例では、ジャイロ変化点であるＩ（ｓ+３）のフレームに対し、基準フレームＩ（ｓ）から時間軸に沿って離れていく方向にあるＩ（ｓ+４）及びＩ（ｓ+５）のようなフレームを言う。図７（ａ）では、時間軸の正方向（右方向）にのみそのようなフレームが存在するが、時間軸の負方向（左方向）においても上記と同様である。

そこでＳ５０３では画像処理部１０４は、ジャイロ変化点（ＧｙｒｏＣｈｇ）に基づき、更に第二の使用可能範囲（ＡｒｅａＦｏｃｕｓ＋Ｇｙｒｏ）を決定する。尚、上記ジャイロセンサ１１３からの出力信号もフォーカス位置と同様に動画記録時に予め一定間隔で記録しておくものとする。第二の使用可能範囲は第一の使用可能範囲とジャイロ変化点（ＧｙｒｏＣｈｇ）から求められ、第二の使用可能範囲に含まれるフレームの数をＮ２と定義する。図７（ｃ）の例においては、第二の使用可能範囲はＩ（ｓ―２）〜Ｉ（ｓ＋２）までの範囲であり、Ｎ２＝5（フレーム）となる。

図７（ａ）を更に参照すると、第一の使用可能範囲（ＡｒｅａＦｏｃｕｓ）内には、露出変化点（ＡＥＣｈｇ）が含まれている。ここで露出変化点（ＡＥＣｈｇ）は基準フレームＩ（ｓ）の露出設定値（絞り、露光時間、感度）に対して、所定量以上各種露出設定値が変化したフレームを露出変化点と定義する。よって、露出変化点（ＡＥＣｈｇ）とは基準フレームＩ（ｓ）と比較して露出設定値が大きく変化したフレームであり、露出変化点以後は撮影シーンが変わっている可能性が高いため、画像合成ＮＲ処理に使用する画像の候補から除外する。

このようにして、Ｓ５０４では画像処理部１０４は、露出変化点（ＡＥＣｈｇ）に基づき、更に露出変動の少ない第三の使用可能範囲（ＡｒｅａＦｏｃｕｓ＋Ｇｙｒｏ＋ＡＥ）を決定する。尚、上記露出設定情報もフォーカス位置やジャイロセンサ１１３からの出力信号と同様に、動画記録時に予め一定間隔で記録しておくものとする。第三の使用可能範囲は第二の使用可能範囲と露出変化点（ＡＥＣｈｇ）から求められ、第三の使用可能範囲に含まれるフレームの数をＮ３と定義する。図７（ｄ）の例においては、第三の使用可能範囲はＩ（ｓ―１）〜Ｉ（ｓ＋２）までの範囲であり、Ｎ３＝4（フレーム）である。

このようにして、本実施形態ではノイズ低減処理において使用する基準フレームの近傍フレームの範囲を、各フレーム生成時の撮影条件に基づいて設定することができる。また、撮影条件には、フォーカス変化点や露出変化点のように基準フレームとの比較により変化の判定が可能な性質の条件（条件１）と、ジャイロ変化点のように隣接フレーム間での比較により変化の判定が可能な性質の条件（条件２）とがある。上述の実施形態では撮影条件として、フォーカス位置、撮像装置１００の動きの有無、及び露出設定値を利用する場合を説明した。しかし、撮影条件にはこれ以外にも例えば条件１としてホワイトバランス設定、レンズ位置等を用いることができる。条件２についても、ジャイロセンサ１１３からの出力信号に限定されない。

以降のＳ５０５からＳ５１１では画像処理部１０４は、Ｓ５０１からＳ５０４までで決定したＮＲ処理に必要なフレーム数Ｍ及び第一から第三までの使用可能範囲に基づき、画像合成ＮＲ処理に使用するＮＲ使用範囲を決定する。まずＳ５０５において、第三の使用可能枚数Ｎ３とＭとを比較し、使用可能枚数Ｎ３がＭ以上の場合は、Ｓ５０６において、第三の使用可能範囲に基づきＮＲ使用範囲を決定する。図７（ｄ）の例においては、Ｍ＝３とした場合に、Ｎ３＝４であるからＮ３≧Ｍを満たす。よって、ＮＲ使用範囲は第三の使用可能範囲内で、基準フレームＩ（ｓ）からの距離が近いフレームを基準フレームＩ（ｓ）を含めてＭフレーム分選択し、Ｉ（ｓ―１）〜Ｉ（ｓ＋１）までの領域をＮＲ使用範囲と決定する。

Ｓ５０５でＮ３≧Ｍを満たさない場合、Ｓ５０７に移行し、第二の使用可能枚数Ｎ２とＭとを比較する。ここで使用可能枚数Ｎ２がＭ以上の場合、Ｓ５０８において、第二の使用可能範囲に基づきＮＲ使用範囲を決定する。第二の使用可能範囲からＮＲ使用範囲を決定するアルゴリズムについては上記Ｓ５０６での方法と同様なので省略する。また、同様に、Ｎ２≧Ｍを満たさない場合には、Ｓ５０９において、第一の使用可能枚数Ｎ１とＭとを比較する。ここで使用可能枚数Ｎ１がＭ以上の場合、Ｓ５１０において第三の使用可能範囲に基づきＮＲ使用範囲を決定する。尚、同様にＳ５１０のアルゴリズムについてはステップＳ５０６やＳ５０８と同一である。

また、Ｎ１≧Ｍを満たさない場合、Ｓ５１１において、第一の使用可能範囲をＮＲ使用範囲に設定する。この場合は必要なフレーム数Ｍに対して後段の画像合成ＮＲ処理に使用できるフレーム数が不足しているということを示している。

以上で説明したＮＲ使用範囲の決定フローは、その判定の順序を入れ替えるなど、本発明の要旨の範囲内において様々な形態をとることが可能である。また、図７では、第１の使用可能範囲＞第２の使用可能範囲＞第３の使用可能範囲という関係が成立したが、必ずしも第１の使用可能範囲が一番大きいとは限らない。よって、Ｓ５０２からＳ５０４までの処理を図５に示す順序で実行し、段階的に第１の使用可能範囲から第３の使用可能範囲を求めていかなくてもよい。例えば、各撮影条件について変化量の少ないフレーム群を基準フレームに隣接するフレームの中から特定し、当該フレーム群の間で互いに重複する範囲（論理積）のフレームを求めても良い。また、上記では、フレーム毎の撮影条件の変化に基づき、ノイズ低減処理に使用する基準フレーム近傍のフレームを選択したが、それと共に画像の位置合わせの際の基準フレームからの位置ずれ量が所定量以上となるフレームを除外してもよい。

以上に述べた構成により、高解像度動画像の任意のフレームを静止画として保存する際に、保存するフレームの近傍の画像群からノイズ低減処理に使用する画像群を撮影時の画像の撮影制御パラメータの変化に基づいて選択することができる。特に本実施形態では、動画像の生成時に得られた複数の撮影条件に基づき、基準フレームの近傍のフレームにおいて基準フレームと撮影条件が同一または類似と見なすことができるフレームを選択し、これを用いて基準フレームのノイズ低減処理を行う。よって、撮影時に得られ、かつ、撮影条件を比較するために利用可能なパラメータであれば実施形態で説明した値に限られるものではなく、広く採用することが可能である。このようにして得られた近傍フレームを用いたノイズ低減処理により、保存する静止画の画質を向上させることが可能である。

以上に本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１光学系、１０２撮像素子、１０３メモリ、１０４画像処理部、１０５システム制御部

Claims

動画像を構成する複数のフレームのうち第１のフレームを選択する選択手段と、
前記第１のフレームの近傍のフレームから第２のフレームを選択し、前記第１のフレームと前記第２のフレームとに基づき、前記第１のフレームのノイズ低減処理を実行する処理手段と
を備え、
前記処理手段は、前記複数のフレームのうち、前記第１のフレームの近傍のフレームであって、該フレームの撮影条件と、前記第１のフレームの撮影条件との変化が所定の範囲内であるフレームを前記第２のフレームとして選択する
ことを特徴とする画像処理装置。
前記処理手段は、前記第１のフレームの近傍のフレームから、複数の異なる撮影条件のそれぞれについて前記変化が所定の範囲内であるフレーム群を求め、求めたフレーム群において重複する範囲であって前記第１のフレームを含む範囲に含まれるフレームを前記第２のフレームとして選択することを特徴とする請求項１に記載の画像処理装置。
前記撮影条件には、前記第１のフレームとの比較により変化を判定する第１の条件と、隣接するフレームの間での比較により変化を判定する第２の条件とが含まれることを特徴とする請求項１または２に記載の画像処理装置。
前記処理手段は、実行するノイズ低減処理の強度に応じて決定されるフレーム枚数に基づき前記第２のフレームを選択することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
前記処理手段は、前記第１のフレームの撮影条件との変化が所定の範囲内である前記フレームの枚数が、前記実行するノイズ低減処理の強度に応じて決定されるフレーム枚数よりも少ない場合、複数の撮影条件のうちいずれか１つについての変化が所定の範囲内であるフレームを前記第２のフレームとして選択することを特徴とする請求項４に記載の画像処理装置。
前記複数の撮影条件のうちいずれか１つは、フォーカス位置の情報であることを特徴とする請求項５に記載の画像処理装置。
前記動画像は、フレームの前記撮影条件としてフォーカス位置の情報を含み、
前記処理手段は、前記第１のフレームのフォーカス位置からのフォーカス位置のずれ量が所定量より小さいフレームを前記第２のフレームとして選択することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
前記動画像は、フレームの前記撮影条件として露出設定値の情報を含み、
前記処理手段は、前記第１のフレームの露出設定値からの露出設定値の変化量が所定量より小さいフレームを前記第２のフレームとして選択することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
前記動画像は、フレームの前記撮影条件として、該動画像を生成した撮像装置が有する角速度センサからの出力信号の情報を含み、
前記処理手段は、前記第１のフレームの近傍のフレームから、隣接するフレーム間の前記出力信号の変化が所定量を超えて変化するフレーム及び当該フレームよりも前記第１のフレームから見て時間的に遠いフレームを除外することにより前記第２のフレームを選択することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
前記処理手段がノイズ低減処理を行った前記第１のフレームから静止画像を生成する手段を更に備えることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
撮像手段と、
請求項１乃至１０のいずれか１項に記載の画像処理装置と
を備えることを特徴とする撮像装置。
画像処理装置の選択手段が、動画像を構成する複数のフレームのうち第１のフレームを選択する選択工程と、
前記画像処理装置の処理手段が、前記第１のフレームの近傍のフレームから第２のフレームを選択し、前記第１のフレームと前記第２のフレームとに基づき、前記第１のフレームのノイズ低減処理を行う処理工程と
を有し、
前記処理工程では、前記複数のフレームのうち、前記第１のフレームの近傍のフレームであって、該フレームの撮影条件と、前記第１のフレームの撮影条件との変化が所定の範囲内であるフレームが前記第２のフレームとして選択される
ことを特徴とする画像処理方法。
コンピュータを請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。