JP2016174263A - 動画撮影に好適な画像処理機能とそれを有する撮像装置、画像処理装置、画像処理方法、画像処理プログラム - Google Patents

Abstract

【課題】動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化を両立する撮像装置を提供する。【解決手段】被写体の画像を撮像して電気信号に変換するための撮像素子１０３、撮像素子１０３上に被写体の画像を結像させるための撮像光学系１０１、撮像素子１０３の信号を処理するための画像処理部１０５、動体の動きを検知し画像内の動体領域を検知する動体検出部１０５ｃを有する。画像処理部１０５は、撮像光学系１０１の収差による画質劣化を撮像光学系１０１の光学伝達関数（ＯＴＦ）や収差によって空間的に広がった信号値（ＰＳＦ）に基づいて補正するための画像補正情報を有し、動体検出部１０５ｃによって特定された動体領域のみ画像処理によって収差を補正する。【選択図】図１

Description

本発明は、動体領域を特定し、画像回復フィルタを用いて補正する画像処理機能を有する撮像装置、画像処理装置、画像処理方法、画像処理プログラムに関する。

カメラのデジタル化に伴い、画像処理による収差補正手法が種々提案されている。画像のぼけ成分劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦ情報を用いて補正するものが知られている。この方法は画像回復や画像復元という言葉で呼ばれている。これらの画像回復や画像復元という手法を使用すれば、収差の影響が比較的大きい画像から、その影響を低減した画像を得ることが出来るため、高画質化が達成される。

またビデオカメラや監視カメラにおいては、動画で撮影することが求められる。特にネットワークを介して、データを転送するネットワーク監視カメラは近年需要が増えている。しかし、単に画像処理を使って全領域を高画質化すると処理速度が遅くなり、大幅なタイムラグが発生するか或いは、容量が増大しネットワーク等通信手段を介した際にデータ転送が遅くなる懸念がある。

電子的な処理によって、画像を補正する画像処理機能を有する撮像装置が、種々提案されている。特許文献１では、顔を認識してその部分のみ回復処理を行う撮像装置が提案されている。特許文献２では、被写体の動きに対応する複数のぶれ回復のＰＳＦを推定し回復処理を行う撮像装置が提案されている。特許文献３では、複数の時系列画像の差分から動体の動きベクトルを算出し、動体を検知する撮像装置が提案されている。

特開２００９−２４４９４４号公報 特開２０１１−２０５２３１号公報 特開２０１１−００８３２２号公報

しかしながら、特許文献１の撮像装置においては、単一の静止画かつ顔などの特定被写体のみに対する回復処理に関するものである。よって動画撮影した時の監視で確認すべき動体に適切に適用することはできない。

特許文献２の撮像装置においては、被写体ぶれの補正に関するものである。従って、光学的に発生する収差は残存するままであり、特にレンズの収差が大きい場合良好な画像を得ることは難しい。

特許文献３の撮像装置においては、異なる動体を検知し、モーションブラーを除去することを目的としている。動体予想による推定ＰＳＦでの回復であり、レンズの収差に基づく補正でないので、特にレンズの収差が大きい場合良好な画像を得ることは難しい。

本発明は、動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化の両立する撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の撮像装置は、被写体の画像を撮像して電気信号に変換するための撮像素子、前記撮像素子上に被写体の画像を結像させるための撮像光学系、前記撮像素子の信号を処理するための画像処理部、動体の動きを検知し画像内の動体領域を 検知する動体検出部を有し、前記画像処理部は撮像光学系の収差による画質劣化を撮像光学系のＯＴＦやＰＳＦに基づいて補正するための画像補正情報を有し、前記動体検出部によって特定された動体領域のみ画像処理によって収差を補正することを特徴とする。

本発明によれば、動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化を両立する撮像装置を提供することが出来る。

本発明の第１の実施形態にかかる撮像装置の構成図 本発明の第１の実施形態にかかる回復処理時のフローチャート 本発明の第２の実施形態にかかる撮像装置の構成図 本発明の第２の実施形態にかかる回復処理時のフローチャート 本発明の第３の実施形態にかかる撮像装置の構成図 本発明の第３の実施形態にかかる回復処理時のフローチャート 本発明の画像処理方法にかかる画像回復フィルタの説明図 本発明の画像処理方法にかかる画像回復フィルタの説明図 本発明の画像処理にかかる点像の補正状態の説明図 本発明の画像処理にかかる振幅と位相の説明図 本発明の画像処理にかかる動体領域検出の説明図 本発明の画像処理にかかる回復領域判定の説明図 本発明の画像処理にかかる撮像装置の説明図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

（第１の実施形態）
以下、本発明の第１の実施形態に係る撮像装置について説明する。図１は本実施形態の撮像装置の基本構成の一例を示している。

図１において、撮像光学系１０１によって撮像素子１０３上に結像された画像は電気信号に変換され、Ａ／Ｄコンバーター１０４でデジタル信号に変換されて画像取得工程で画像処理部１０５に入力される。

画像処理部１０５は、時系列に基づく複数の入力デジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部１０５ａを有する。また、画像処理部１０５は、この入力画像に対して画像回復処理を行う画像回復処理部１０５ｂと動体領域を検出する動体検出部１０５ｃを有する。

画像処理部１０５は、状態検知部１０７から撮像光学系１０１の状態（以下、撮像状態という）の情報を得る。撮像状態とは、例えば、撮像光学系１０１の焦点距離（ズーム位置）、絞り開口径（絞り値、Ｆナンバー）、フォーカスレンズ位置（被写体距離）である。なお、状態検知部１０７は、システムコントローラー１０８から撮像状態の情報を得てもよいし、撮像光学系１０１を制御する撮像光学系制御部１０２から得てもよい。

画像処理部１０５に入力された複数の画像は、動体検出部１０５ｃにおいて、動体領域を検出する。検出された領域の情報と撮像状態の情報を用いて、画像処理部１０５は、システムコントローラーを介して回復フィルタ記憶部１０９から回復情報を取得しても良いし、直接回復フィルタ記憶部１０９から回復フィルタ情報を取得しても良い。

画像回復処理に際して、システムコントローラー１０８は撮像光学系の状態に応じた回復フィルタを回復フィルタ記憶部１０９に指示して選択させる。この選択されたフィルタによって入力画像の動体領域に対する画像回復処理が行われる。

画像回復処理部１０５ｂにおいて回復処理が施された画像情報は、画像記録媒体１１０に送られ、記録される。或いは、伝送部１０６に画像情報が送られ、ＰＣ等の表示部１１１に伝送する。また、記録後、ＰＣ等の表示部１１１に伝送してもよい。また、表示部１１０に送り、回復処理の施された画像を確認することも可能である。

本実施形態では、光学伝達関数（ＯＴＦ）に基づいた画像回復によって光学系で発生する収差による画像劣化を低減して高画質の画像を得ている。以下に、画像回復処理について説明する。

劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、前記光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は画像上の座標を示す。

ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであるので光学伝達関数（ＯＴＦ）であり、Ｇ，Ｆはそれぞれｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮影された劣化画像からもとの画像を得るためには、以下のように両辺をＨで除算すればよい。

Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）が回復画像として得られる。

ここで、Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。

ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。画像が２次元のとき、一般的にこの画像回復フィルタも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタのタップ数（セルの数）は一般的に多いほど回復精度が向上するため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数に設定して用いる。この画像回復におけるフィルタは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは一線を隔する技術分野であることは言うまでもない。

画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。また、実際の画像にはノイズ成分があるため上記のように理想的に光学伝達関数（ＯＴＦ）の逆数をとって作成した画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。

光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。

Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については例えば、以下に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）である。この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般的に撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。或いは、別のフィルタとして、以下の式を利用してもよい。

上式は、結像光学系の瞳中心を通る光線と垂直に交わる各方向（アジムス方向と言う）間で共通なＯＴＦ（ｒＨ（u,v））を用いることで、あたかもアジムス方向間にＭＴＦ差のない結像光学系で撮影した画像を得ることが出来る。

画像回復フィルタを説明するための模式図を図７、図８に示す。画像回復フィルタは撮像光学系の収差特性や要求される回復精度に応じてタップ数を決めることができ、図６では例として１１×１１タップの２次元フィルタとしている。図６では各タップ内の値（係数）を省略しているが、この画像回復フィルタの１断面を図７に示す。画像回復フィルタの各タップのもつ値（係数値）の分布が、収差によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たしている。

フィルタの各タップが画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致する。そして画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理として知られている。

画像回復の実空間と周波数空間での特性を図９、図１０を用いて説明する。図９の（ａ）は回復前のＰＳＦ、（ｂ）は回復後のＰＳＦを示している。また、図１０の（Ｍ）の（ａ）は回復前のＭＴＦ、（Ｍ）の（ｂ）は回復後のＭＴＦを示し、図１０の（Ｐ）の（ａ）は回復前のＰＴＦ、（Ｐ）の（ｂ）は回復後のＰＴＦを示している。回復前のＰＳＦは非対称な広がりをもっており、この非対称性によりＰＴＦは周波数に対して非直線的な値をもっている。回復処理は、ＭＴＦを増幅し、ＰＴＦを零に補正するため、回復後のＰＳＦは対称で先鋭になる。

この画像回復フィルタの作成法については、撮像光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して得ることができる。本実施形態で用いる画像回復フィルタは、適宜変更可能であり、例えば前記のウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式１を逆フーリエ変換することで実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用する。以上が、画像回復処理の概要である。

図２は画像処理部１０５において画像回復する際の処理のフローチャートを示している。画像処理部１０５は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部１０５は、撮像素子１０３からの出力信号に基づいて生成された複数の時間差画像（以下、入力画像という）を取得する。

次に、ステップＳ２では、画像処理部１０５は、状態検知部１０７から撮像状態情報を取得する。撮像状態とはズーム位置、絞り開口径、及び被写体距離等である。次に、ステップＳ３では、画像処理部１０５は、複数の時系列で取得された画像の差分情報を取得する。但し、時系列画像は必ずしも時間的に連続した画像の差分を取る必要はなく、飛び飛びの画像を用いても良い。

次に、ステップＳ４では、動体検出部１０５ｃにおいて、ステップＳ３で取得された差分画像に基づき、動体部の領域を判定する。図１１はその判定の一例である。図１１の実線は入力画像全体を表し、破線は動体部分とする。画面内に動体は１つでも良いし、複数存在していても良い。なお、動体領域判定の詳細な方法に関しては、例えば、特許文献３による動体検出方法を用いればよい。

次に、ステップＳ５では、ステップＳ４で特定された動体部の領域を決定し、画像処理部１０５内で取得、保持する。次に、ステップＳ６では、ステップＳ５で特定された動体部の領域に対応した、回復フィルタを選択、生成する。次に、ステップＳ７では、ステップＳ５で特定された動体部の領域に対して、ステップＳ６で取得された回復フィルタを用いて回復処理を実行する。

但し回復処理は、取得した画像全てに対して実行する必要はなく、特定の時間内に取得された画像内の動体の速度に応じて、回復処理を実行する入力画像数を変えても良い。或いは、ユーザーが選んでも良い。次に、ステップＳ８では、回復処理がなされた画像を出力する。

また、ここで説明した処理以外にも、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正、モーションブラー補正等を上記フローの前後や中間に必要に応じて挿入することもできる。以上、本実施形態の撮像装置の基本的なフローを説明した。本実施形態の構成と処理フローにより、動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化を両立する撮像装置を提供することが出来る。

（第２の実施形態）
以下、本発明の第２の実施形態に係る撮像装置について説明する。なお、図１と名称が重複しかつ画像処理部以外の部分は同一である。構成と処理フローにおいて、第１の実施形態と重複する部分は省略する。

図３は本実施形態の撮像装置の基本構成の一例を示している。図３において、画像処理部２０５は、時系列に基づく複数の入力デジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部２０５ａを有する。また、この入力画像に対して画像回復処理を行う画像回復処理部２０５ｂと動体領域を検出する動体検出部２０５ｃと回復判定部２０５ｄを有する。

画像処理部２０５に入力された複数の画像は、動体検出部２０５ｃにおいて、動体領域を検出する。回復判定部２０５ｄで、動体検出領域の大きさに応じて回復するかしないかの判定を行う。回復を行う場合、検出された領域の情報と撮像状態の情報を用いて、画像処理部２０５は、システムコントローラーを介して回復フィルタ記憶部２０９から回復情報を取得しても良いし、直接回復フィルタ記憶部２０９から回復フィルタ情報を取得しても良い。

画像回復処理に際して、システムコントローラー２０８は撮像光学系の状態に応じた回復フィルタを回復フィルタ記憶部２０９に指示して選択させる。この選択されたフィルタによって入力画像の動体領域に対する画像回復処理が行われる。画像回復処理部２０５ｂにおいて回復処理が施された画像情報は、伝送部２０６に画像情報が送られ、ＰＣ等に伝送する。

図４は画像処理部２０５において画像回復する際の処理のフローチャートを示している。画像処理部２０５は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部２０５は、撮像素子２０３からの出力信号に基づいて生成された複数の時間差画像（以下、入力画像という）を取得する。

次に、ステップＳ２では、画像処理部２０５は、状態検知部２０７から撮像状態情報を取得する。撮像状態とはズーム位置、絞り開口径、及び被写体距離等である。次に、ステップＳ３では、画像処理部２０５は、複数の時系列で取得された画像の差分情報を取得する。次に、ステップＳ４では、動体検出部２０５ｃにおいて、ステップＳ３で取得された差分画像に基づき、動体部の領域を判定する。なお、動体領域判定の詳細な方法に関しては、例えば、特許文献３による動体検出方法を用いればよい。

次に、ステップＳ５では、ステップＳ４で特定された動体部の領域の大きさを判定し、特定の大きさの範囲に入るか入らないか判定を行う。図１２は回復判定部２０５ｄによる判定の一例である。図１２(a),(b),(c)の実線は入力画像全体を表し、破線は動体部分とする。図１２(a)の場合、動体認識として十分な大きさと判定し、処理速度低下を抑制するため、回復処理しない大きさと判定する。図１２(b)の場合、動体の大きさが小さすぎ、回復処理しても認識には不十分と判定し、回復処理しない大きさと判定する。図１２(c)の場合、動体の大きさが適度で、回復処理する大きさと判定する。

次に、ステップＳ６では、ステップＳ５で判定された動体の大きさに基づき、特定の大きさの範囲に入る場合、ステップＳ５で特定された動体部の領域を決定し、画像処理部２０５内で取得、保持する。特定の大きさの範囲に入らない場合、回復せず画像を出力し、ここで処理は終了となる。

次に、ステップＳ７では、動体部の回復フィルタの選択又は生成を行う。次に、ステップＳ８では、ステップＳ５で特定された動体部の領域に対して、ステップＳ７で取得された回復フィルタを用いて回復処理を実行する。次に、ステップＳ９では、回復処理がなされた画像を出力する。

また、ここで説明した処理以外にも、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正、モーションブラー補正等を上記フローの前後や中間に必要に応じて挿入することもできる。以上、実施形態２の撮像装置の基本的なフローを説明した。

本実施形態の構成と処理フローにより、動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化を両立する撮像装置を提供することが出来る。

（第３の実施形態３）
以下、本発明の第３の実施形態に係る撮像装置について説明する。なお、図１と名称が重複しかつ画像処理部以外の部分は同一である。構成と処理フローにおいて、第１の実施形態と重複する部分は省略する。

図５は本実施形態の撮像装置の基本構成の一例を示している。この撮像装置において、画像処理部３０５は、時系列に基づく複数の入力デジタル撮像信号に対して各種処理を行うことで、カラー入力画像を生成する画像生成部２０５ａを有する。また、この入力画像に対して画像回復処理を行う画像回復処理部３０５ｂと動体領域を検出する動体検出部３０５ｃと顔を認識する顔検出部３０５ｄを有する。

画像処理部３０５に入力された複数の画像は、動体検出部３０５ｃにおいて、動体領域を検出する。そして、顔検出部３０５ｄで、動体領域内の顔領域を検出する。動体領域内に顔領域を検出した場合、画像回復処理部３０５ｂで回復処理を行う。顔が検出された領域の情報と撮像状態の情報を用いて、画像処理部３０５は、システムコントローラーを介して回復フィルタ記憶部３０９から回復情報を取得しても良いし、直接回復フィルタ記憶部３０９から回復フィルタ情報を取得しても良い。

画像回復処理に際して、システムコントローラー３０８は撮像光学系の状態に応じた回復フィルタを回復フィルタ記憶部３０９に指示して選択させる。この選択されたフィルタによって入力画像の動体領域且つ顔領域に対する画像回復処理が行われる。画像回復処理部３０５ｂにおいて回復処理が施された画像情報は、画像記憶媒体３１０に送られる。さらに、伝送部３０６に画像情報が送られ、ＰＣ等に伝送する。

図６は画像処理部３０５において画像回復する際の処理のフローチャートを示している。画像処理部３０５は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って該処理を実行する。

ステップＳ１では、画像処理部３０５は、撮像素子３０３からの出力信号に基づいて生成された複数の時間差画像（以下、入力画像という）を取得する。

次に、ステップＳ２では、画像処理部３０５は、状態検知部３０７から撮像状態情報を取得する。撮像状態とはズーム位置、絞り開口径、及び被写体距離等である。次に、ステップＳ３では、動体検出部３０５ｃにおいて、ステップＳ２で取得された時間差画像を比較し、動体部の領域を判定する。なお、動体領域判定の詳細な方法に関しては、例えば、特許文献３による動体検出方法を用いればよい。

次に、ステップＳ４では、ステップＳ４で特定された動体部の領域において、顔の領域を検出する。顔検出の詳細な方法に関しては、例えば、特許文献１による顔検出方法を用いればよい。

次に、ステップＳ５では、ステップＳ４で判定された顔領域の検出結果に基づき、顔を検出した場合、ステップＳ５で特定された動体部かつ顔の領域を、画像処理部３０５内で取得、保持する。顔を検出しなかった場合、回復せず画像を出力し、ここで処理は終了となる。

次に、ステップＳ６では、ステップＳ５で取得された領域に基づき、回復フィルタの選択又は生成を行う。次に、ステップＳ７では、ステップＳ５で特定された動体部かつ顔の領域に対して、ステップＳ６で取得された回復フィルタを用いて回復処理を実行する。
次に、ステップＳ８では、回復処理がなされた画像を出力する。

また、ここで説明した処理以外にも、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正、モーションブラー補正等を上記フローの前後や中間に必要に応じて挿入することもできる。以上、本実施形態の撮像装置の基本的なフローを説明した。本実施形態の構成と処理フローにより、動画において、動体にのみ画像回復を施し、収差に基づく画質劣化を補正することと、高速化を両立する撮像装置を提供することが出来る。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施形態では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

以上、本発明の画像処理方法を用いた撮像装置に関する実施形態を示したが、本発明の撮像装置は、その要旨の範囲内で種々の変形及び変更が可能である。

１０１，２０１，３０１ 撮像光学系、１０２，２０２，３０２ 撮像光学系制御部、
１０３，２０３，３０３ 撮像素子、１０４，２０４，３０４ Ａ／Ｄコンバーター、
１０５，２０５，３０５ 画像処理部、１０５a，２０５a，３０５a 画像生成部、
１０５b，２０５b，３０５b 画像回復処理部、
１０５c，２０５c，３０５c 動体検知部、１０６，２０６，３０６ 伝送部、
１０７，２０７，３０７ 状態検知部、
１０８，２０８，３０８ システムコントローラー、
１０９，２０９，３０９ 回復フィルタ記憶部、１１０，３１０ 画像記録媒体、
１１１ 表示部、２０５d 回復判定部、３０５d 顔検出部

Claims (8)

1. 被写体の画像を撮像して電気信号に変換するための撮像素子と、
   前記撮像素子上に被写体の画像を結像させるための撮像光学系と、
   前記撮像素子の信号を処理するための画像処理部と、
   動体の動きを検知し画像内の動体領域を 検知する動体検出部と、
   を有し、
   前記画像処理部は前記撮像光学系の収差による画質劣化を前記撮像光学系のＯＴＦまたはＰＳＦに基づいて補正するための画像補正情報を有し、
   前記動体検出部によって特定された動体領域のみ画像処理によって収差を補正することを特徴とする撮像装置。
2. 前記動体検出部は、前記撮像素子で取得された複数の画像から算出される動きベクトルに基づいて動体領域を検出することを特徴とする請求項１に記載の撮像装置。
3. 前記動体検出部によって特定された動体領域のみ画像処理によって収差を補正する処理は、前記動体検出部で検出された領域が被写体画像内で特定の大きさのときのみ実行することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 人間の顔あるいは顔の一部を検出する顔検出部を有し、前記動体領域で特定された領域且つ前記顔検出部で特定された領域のみ、画像処理によって収差を補正することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 前記動体検出部で検出された動きベクトルの速度に応じて、特定の時間内に取得した複数の被写体画像の中で、前記動体検出部によって特定された動体領域のみ画像処理によって収差を補正する画像の割合を変えることを特徴とする請求項２に記載の撮像装置。
6. 請求項１乃至請求項５の何れか一項に記載の撮像装置における前記画像処理を少なくとも行う画像処理部を有することを特徴とする画像処理装置。
7. 請求項１乃至請求項５の何れか一項に記載の撮像装置における前記画像処理を少なくとも行うことを特徴とする画像処理方法。
8. 請求項１乃至請求項５の何れか一項に記載の撮像装置における前記画像処理を少なくとも行うことを特徴とする画像処理プログラム。