JP2009094617A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】撮像ボケに起因する画像劣化（ボケ画像）を抑制する。
【解決手段】画像処理装置は、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値、例えば移動ベクトルに応じて、撮像ボケを示すローパスフィルタの特性を変化させ、そのローパスフィルタに対して逆特性を有する逆フィルタ（周波数特性Ｕ１のフィルタ）を生成する。画像処理装置は、動画像の低周波成分、例えば周波数帯域Ｆ１の成分については、この逆フィルタ（周波数特性Ｕ１のフィルタ）を用いて補正する。一方、画像処理装置は、ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、この０点を含む所定の周波数成分、例えば周波数帯域Ｆ２等の成分については、逆フィルタを用いずに、周波数特性Ｕ４のフィルタを用いて補正する。本発明は、テレビジョンシステムに適用可能である。
【選択図】図９

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、並びにプログラムに関する。

近年、映像(動画像)を表示するための映像信号変換装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームまたはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法として、フレームレートを調整する手法（以下、フレームレート変換手法と称する）が考えられている（特許文献１参照）。
特開平7-59054号公報

しかしながら、特許文献１等の従来のフレームレート変換手法を利用してフレームレートを増やす場合には、撮影時に発生する動きボケ（以下、撮像ボケと称する）についての考慮がなされていなかった。これにより、撮像ボケに起因する画像劣化（ボケ画像）は特に改善されずにそのまま残り、その結果、鮮明な映像を表示装置に表示させることは困難になるという問題があった。

本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。

なお、本発明人により発明され、既に特開2006-081150号公報として公開されている画像処理装置等でも、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようになっている。そこで、本発明は、さらに一段と精度よく画像劣化を抑制しつつ、ノイズ強調による画像破綻もより一段と抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。

本発明の一側面の画像処理装置は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、処理対象の前記アクセスユニットについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性を変化させ、そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理を施すことで、処理対象の前記アクセスユニットを補正する補正手段を備え、前記補正手段は、前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことを禁止する。

前記補正手段は、処理対象の前記アクセスユニットについて、前記撮像ボケを示すローパスフィルタの特性を、前記検出手段により検出された１以上の前記パラメータの値に応じた特性に変換して、空間領域の信号として出力するローパスフィルタ特性変換手段と、前記ローパスフィルタ特性変換手段により空間領域の信号として生成された前記ローパスフィルタを、周波数領域の第１の信号に変換して出力する周波数変換手段と、前記周波数変換手段から出力された前記第１の信号に基づいて、前記０点を含まない第１の周波数帯域では前記逆フィルタに対応する周波数特性を有し、前記０点を含む第２の周波数帯域では所定以下の振幅となる周波数特性を有する周波数領域の第２の信号を生成する信号生成手段と、前記信号生成手段により生成された周波数領域の前記第２の信号を空間領域の第３の信号に変換し、その第３の信号をフィルタとして出力する周波数逆変換手段と、前記周波数逆変換手段から出力された前記フィルタを、処理対象の前記アクセスユニットにかけることで、処理対象の前記アクセスユニットを補正するフィルタ手段とを有する。

前記信号生成手段は、前記第１の信号に基づいて、全周波数帯域が前記逆フィルタに対応する周波数特性を有する逆信号を生成する逆信号生成手段と、前記第１の信号の二乗を周波数領域において演算し、その結果得られる信号を出力する乗算手段と、前記第１の信号から、前記乗算手段の出力信号を周波数領域において減算し、その結果得られる信号を出力する減算手段と、前記第１の信号に対して、前記減算手段の出力信号を周波数領域において加算し、その結果得られる信号を調整信号として出力する加算手段と、前記０点を含まない前記第１の周波数帯域では、前記逆信号生成手段により生成された前記逆信号の周波数特性を有し、前記０点を含む前記第２の周波数帯域では、前記加算手段から出力された前記調整信号の周波数特性を有する信号を、前記第２の信号として生成して出力する調整手段とを有する。

前記撮像ボケの特性を示すパラメータの値とは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれである。

本発明の一側面の画像処理方法およびプログラムは、上述した本発明の一側面の画像処理装置に対応する方法およびプログラムである。

本発明の一側面の画像処理装置および方法並びにプログラムにおいては、所定の撮影装置により撮影された動画像が、アクセスユニットを単位として次のように処理される。即ち、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性が変化され、そのローパスフィルタに対して逆特性を有する逆フィルタが生成され、処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理が施されることで、処理対象の前記アクセスユニットが補正される。その補正の際、前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことが禁止される。

以上のごとく、本発明によれば、撮像ボケに起因する画像劣化（ボケ画像）を抑制することができる。特に、さらに一段と撮像ボケに起因する画像劣化（ボケ画像）を抑制しつつ、ノイズ強調による画像破綻もより一段と抑制することで、フレームレート変換後の動画像をより一段と鮮明に表示させることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明の一側面の画像処理装置は、
所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
処理対象の前記アクセスユニットについて、
前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性を変化させ（例えば図４に示されるように、パラメータの値が移動速度である場合、移動速度が２，３，４［画素／フレーム］のそれぞれに応じて、曲線Ｈ２，Ｈ３，Ｈ４のように特性を変化させ）、
そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、
処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理を施すことで、
処理対象の前記アクセスユニットを補正する補正手段（例えば図５の撮像ボケ抑制処理部１３）を備え、
前記補正手段は、
前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点（例えば図４の曲線Ｈ２，Ｈ３，Ｈ４においてゲインが０となる各周波数）として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことを禁止する。

前記補正手段は、
処理対象の前記アクセスユニットについて、前記撮像ボケを示すローパスフィルタの特性を、前記検出手段により検出された１以上の前記パラメータの値に応じた特性に変換して、空間領域の信号として出力するローパスフィルタ特性変換手段（例えば図５の移動平均フィルタ特性変換部２１）と、
前記ローパスフィルタ特性変換手段により空間領域の信号として生成された前記ローパスフィルタを、周波数領域の第１の信号（例えば図８の信号Ｔ１）に変換して出力する周波数変換手段（例えば図５の逆移動平均フィルタ生成部２２のうちの、図８の周波数変換部３１）と、
前記周波数変換手段から出力された前記第１の信号に基づいて、前記０点を含まない第１の周波数帯域では前記逆フィルタに対応する周波数特性を有し、前記０点を含む第２の周波数帯域では所定以下の振幅となる周波数特性を有する周波数領域の第２の信号（例えば図８の信号Ｕ５）を生成する信号生成手段（例えば図５の逆移動平均フィルタ生成部２２のうちの、図８の調整逆関数生成部４１）と、
前記信号生成手段により生成された周波数領域の前記第２の信号を空間領域の第３の信号（例えば図８の信号Ｔ３）に変換し、その第３の信号をフィルタとして出力する周波数逆変換手段（例えば図５の逆移動平均フィルタ生成部２２のうちの、図８の周波数逆変換部３３）と、
前記周波数逆変換手段から出力された前記フィルタを、処理対象の前記アクセスユニットにかけることで、処理対象の前記アクセスユニットを補正するフィルタ手段（例えば図５の逆移動平均フィルタ部２３）と
を有する。

前記信号生成手段は、
前記第１の信号に基づいて、全周波数帯域が前記逆フィルタに対応する周波数特性を有する逆信号（例えば図９の波形の信号Ｕ１）を生成する逆信号生成手段（例えば図７の逆関数生成部５１）と、
前記第１の信号の二乗を周波数領域において演算し、その結果得られる信号（例えば図９の波形の信号Ｕ２）を出力する乗算手段（例えば図７の乗算部５２）と、
前記第１の信号から、前記乗算手段の出力信号を周波数領域において減算し、その結果得られる信号（例えば図９の波形の信号Ｕ３）を出力する減算手段（例えば図７の減算部５３）と、
前記第１の信号に対して、前記減算手段の出力信号を周波数領域において加算し、その結果得られる信号を調整信号（例えば図９の波形の信号Ｕ４）として出力する加算手段（例えば図７の加算部５４）と、
前記０点を含まない前記第１の周波数帯域（例えば図９の周波数帯域Ｆ１，Ｆ３）では、前記逆信号生成手段により生成された前記逆信号の周波数特性を有し、前記０点を含む前記第２の周波数帯域（例えば図９の周波数帯域Ｆ２，Ｆ４）では、前記加算手段から出力された前記調整信号の周波数特性を有する信号を、前記第２の信号（例えば図７の信号Ｕ５）として生成して出力する調整手段（例えば図７のクリップ部５５）と
を有する。

本発明の一側面の情報処理方法およびプログラムは、上述した本発明の一側面の画像処理方法に対応する方法およびプログラムである。詳細については後述するが、このプログラムは、例えば、図１５のリムーバブル記録媒体２１１や、記憶部２０８に含まれるハードディスク等の記録媒体に記録され、図１５の構成のコンピュータにより実行される。

その他、本発明の一側面としては、上述した本発明の一側面のプログラムを記録した記録媒体も含まれる。

以上説明した本発明の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

次に、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用される画像処理装置の機能的構成の一例を示している。

この画像処理装置１は、動画像データに対する各種画像処理をアクセスユニット単位で実行する。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各コマ（静止画像）全体またはその一部分を指す。ただし、以下、説明の簡略上、画像処理装置１は、動画像データに対する各種画像処理をフレーム単位で実行するとする。

この画像処理装置１は、図１に示されるように、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

高フレームレート変換部１１には、例えば、テレビジョン放送信号等の動画像信号が、フレーム単位の動画像データとして入力される。

なお、以下、動画像と、それに対応する動画像データとを個々に区別する必要がない場合、これらをまとめて動画像と単に称する。同様に、フレームと、それに対応するフレームデータとを個々に区別する必要がない場合、これらをまとめてフレームと単に称する。

高フレームレート変換部１１は、第１のフレームレートの動画像が入力された場合、その動画像に対して高フレームレート変換処理を施し、その結果得られる、第１のフレームレートよりも高い第２のフレームレートの動画像を撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３に供給する。

高フレームレート変換処理とは、入力時の第１のフレームレートが出力（表示）時の第２のフレームレートよりも低い場合に実行される処理であって、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを創造してそれぞれ挿入することで、第１のフレームレートをそれよりも高い第２のフレームレートに変換する処理を指す。

なお、第１のフレームレートとは、高フレームレート変換部１１に入力された時点の動画像のフレームレートを指す。従って、第１のフレームレートは、任意のフレームレートとなり得るが、ここでは例えば、図示せぬ撮影装置により動画像が撮影されたときのフレームレート、即ち、撮像フレームレートであるとする。

撮像ボケ特性検出部１２は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値を検出する。撮像ボケ特性検出部１２の検出結果、即ち、撮像ボケの特性を示すパラメータの値は、撮像ボケ抑制処理部１３に供給される。

なお、撮像ボケの特性を示すパラメータは、特に限定されず様々なパラメータの採用が可能である。ただし、撮像ボケの特性を示すパラメータの具体例については後述する。

また、１つのフレーム内での、撮像ボケの特性を示すパラメータの値の検出個数も特に限定されない。例えば、１つのフレームに対して、撮像ボケの特性を示すパラメータの値が１つのみ検出されてもよいし、そのフレームを構成する各画素毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。或いは、その１つのフレームが幾つかのブロックに分割され、分割された各ブロック毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。

撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームを構成する各画素値を補正する。即ち、撮像ボケ抑制処理部１３は、処理対象のフレームについての撮像ボケの特性（パラメータの値）に応じて、処理対象のフレームの各画素値を、その撮像ボケが抑制されるように補正する。

これにより、各フレームの各画素値が補正されることで撮像ボケが抑制された動画像であって、入力時の第１のフレームレートよりも高い第２のフレームレートに変換された動画像が、撮像ボケ抑制処理部１３から画像処理装置１の外部に出力される。

なお、図１の例では、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わせて用いられているが、当然ながら、その組単体で用いることも可能であるし、また、図示せぬ他のブロック（所定の画像処理を施す他の画像処理部）と組み合わせて用いることも可能である。

即ち、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組だけで、撮像ボケを抑制するという効果を奏することが可能になる。ただし、この効果をより顕著にするためには、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組に対して、上述したように、高フレームレート変換部１１を組み合わせると好適である。以下、この理由について説明していく。

図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。

ここでいう撮像ボケの特性は、図４等を参照して後述するように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。

ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号（撮像ボケ後の画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素(ホールド)表示装置の時にのみ発生する。

従って、周波数特性が撮像ボケのため既に落ちている撮像ボケ後の画像信号に対して、高フレームレート変換処理を施すことで、ホールドボケを抑制すること自体は可能である。しかしながら、このような高フレームレート変換処理を施したとしても、撮像ボケの劣化は変わらず、最終的に人間の網膜上におけるボケを抑制させるという効果は半減してしまう。このことを、図２を参照して説明する。

図２は、撮影装置（以下、カメラと称する）の撮影範囲内で移動速度４［画素/フレーム］で移動している実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図２において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

図２において、同図中一点鎖線で示される曲線h0は、ボケ（撮像ボケもホールドボケも含む）を改善するための処理が特に施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、図１の例では画像処理装置１に入力される動画像が、仮に画像処理装置１に入力されること無く（処理されること無く）そのまま表示装置に供給されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h0である。

これに対して、例えば高フレームレート変換処理により表示速度が倍にされると、ホールドボケのみは改善され、その結果、人間の網膜上で形成される像のボケの周波数特性は、同図中点線で示される曲線h1になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、その後、仮に撮像ボケ抑制処理部１３に入力されること無く（撮像ボケが改善されること無く）表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h1である。

また、例えば本発明が適用されて、高フレームレート変換処理により表示速度が倍にされ（ホールドボケが改善され）、かつ撮像ボケの度合いが半分に改善されると、人間の網膜上で形成される像のボケの周波数特性は、同図中実線で示される曲線h2になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、さらに、撮像ボケ抑制処理部１３により撮像ボケが抑制された上で表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h2である。

曲線h1と曲線h2とを比較するに、高フレームレート変換処理によりホールドボケのみが改善されただけでは、人間の網膜上におけるボケの特性の改善は不十分であり、さらに撮像ボケの改善も必要なことがわかる。しかしながら、上述したように、従来の手法では、撮像ボケの改善が必要なことは特に考慮されずに、高フレームレート変換処理が単に行われていた。

そこで、図１の実施の形態として実現されている本発明の画像処理装置においては、高フレームレート変換部１１の他さらに、撮像ボケの改善を目的として、即ち、人間の網膜上のけるボケの特性を図２の曲線h0から曲線h2のように改善することを目的として、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３とが設けられているのである。

即ち、撮像ボケ抑制処理部１３は、各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームの各画素値を補正することで、高フレームレート変換後のフレームについての撮像ボケに起因する画像劣化を抑制しているのである。即ち、画像処理装置１など、本発明の画像処理装置から出力された画像信号を図示せぬ表示装置に供給することで、表示装置は、その画像信号に対応する映像として、画像劣化（ボケ画像）が抑制された鮮明な映像を表示することが可能になるのである。

このように、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わされると好適である。

次に、図３のフローチャートを参照して、かかる図１の機能的構成を有する画像処理装置１の画像処理について説明する。

ステップＳ１において、高フレームレート変換部１１は、第１のフレームレートの動画像を入力する。

ステップＳ２において、高フレームレート変換部１１は、動画像のフレームレートを、第１のフレームレートよりも高い第２のフレームレートに変換する。

第１のフレームレートから第２のフレームレートに変換された動画像が、高フレームレート変換部１１から撮像ボケ検出部１２と撮像ボケ抑制処理部１３とに供給されると、処理はステップＳ３に進む。

ステップＳ３において、撮像ボケ特性検出部１２は、動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を１以上検出する。

動画像を構成する各フレームのそれぞれについての撮像ボケの特性を示すパラメータの1以上の値が、撮像ボケ特性検出部１２から撮像ボケ抑制処理部１３に供給されると、処理はステップＳ４に進む。

ステップＳ４において、撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームの各画素値を補正する。

ステップＳ５において、撮像ボケ抑制処理部１３は、各フレームの画素値が補正され、かつ、第１のフレームレートから第２のフレームレートに変更された動画像を出力する。

これにより、図３の画像処理は終了となる。

なお、上述した説明では、説明の簡略上、ステップＳ１乃至Ｓ５の各ステップの処理は、動画像が処理単位とされた。ただし、実際には、フレームが処理単位となる場合が多々ある。

図３の画像処理において、各ステップの処理単位が動画像であるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が動画像全体に対して施されるという条件になることと等価である。

これに対して、図３の画像処理において、各ステップの処理単位がフレームであるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が１つのフレーム全体に対して施されるという条件になることと等価である。換言すると、各ステップの処理単位がフレームであるとは、各フレームのそれぞれに対するステップＳ１乃至Ｓ５の連続処理が、他のフレームとは独立して（並行して）実行されることと等価である。この場合、例えば、第１のフレームに対するステップＳ３の処理が実行されているときに、それとは異なる第２のフレームに対するステップＳ２の処理が並行して実行されているようなことが起こり得る。

さらに、実際には、処理対象のフレームを構成する各画素のそれぞれが、処理の対象として注目すべき画素（以下、注目画素と称する）に順次設定されて、その注目画素に対して、少なくともステップＳ３とＳ４の処理が順次個別に施されていくことが多々ある。即ち、ステップＳ３とＳ４の処理単位は画素であることが多々ある。

そこで、以下の説明においても、ステップＳ３とＳ４の処理は画素単位であるとして説明していく。即ち、ステップＳ３の処理とは撮像ボケ特性検出部１２の処理であり、ステップＳ４の処理とは撮像ボケ抑制処理部１３の処理である。従って、以下の説明においては、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３の処理単位は画素であるとして説明していく。

次に、図１の画像処理装置１のうちの、撮像ボケ抑制処理部１３の幾つかの実施の形態例について説明していく。具体的には例えば、撮像ボケの特性を示すパラメータとして、移動ベクトルの絶対値（以下、移動速度と称する）を利用する場合の撮像ボケ抑制処理部１３の幾つかの実施の形態例について説明していく。

撮像ボケの特性を示すパラメータとして移動速度が利用される場合、撮像ボケ特性検出部１２は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、注目画素における移動ベクトルを順次検出し、それを、注目画素における撮像ボケの特性を示すパラメータの値として撮像ボケ抑制処理部１３に順次供給していくことになる。

従って、撮像ボケ抑制処理部１３は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、撮像ボケ特性検出部１２から供給された移動ベクトルのうちの注目画素における移動ベクトルの絶対値に基づいて、即ち、注目画素における移動速度に基づいて、注目画素の画素値を順次補正していくことになる。

ここで、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由について説明する。

撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。

なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。

従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。

画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、Ｋ（Ｋは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、Ｋ［画素/フレーム］になる。

この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度Ｋ［画素/フレーム］の大小に依存した形態で表すことができる。

より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図４の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。

即ち、図４は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図４において、横軸は周波数を、縦軸はゲイン（振幅）のそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

以上の内容が、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由である。

ところで、図４の周波数特性Ｈ２乃至Ｈ４の形態からわかるように、注目画素における撮像ボケの特性は空間領域で表現すると、移動平均フィルタ（ローパスフィルタ）で表すことが可能である。

即ち、この移動平均フィルタ（ローパスフィルタ）を示す伝達関数（以下、撮像ボケの伝達関数と称する）をＨと記述し、撮像ボケが仮に発生しなかった場合の理想的な画像信号（以下、撮像ボケ前の信号と称する）を周波数領域でＦと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号（以下、撮像ボケ後の信号と称する）を周波数領域でＨと記述すると、撮像ボケ後の信号Ｇは、次の式（１）のように表される。

G ＝ H×F ・・・（１）

本発明においては撮像ボケを取り除く（抑制する）ことが目的とされているので、この本発明の目的を達成するためには、既知である撮像ボケ後の信号Ｇと、既知である撮像ボケの伝達関数Ｈとから、撮像ボケ前の信号Ｆを予測演算すればよい。即ち、次の式（２）の予測演算が実行されればよい。

F ＝ inv(H)×G ・・・（２）

式（２）において、inv(H)は、撮像ボケの伝達関数Ｈの逆関数を示している。上述したように撮像ボケの伝達関数Ｈがローパスフィルタの特性を持つことから、その逆関数inv(H)も、当然ながらハイパスフィルタの特性を持つ。

また、上述したように、撮像ボケの伝達関数Ｈは、移動速度に応じてその特性が変化する。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの伝達関数Ｈの周波数特性は、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれに示されるような相異なる特性となる。

従って、撮像ボケ抑制処理部１３は、移動速度に応じて撮像ボケの伝達関数Ｈの特性を変更して、特性が変更された伝達関数Ｈの逆関数inv(H)を求め、その逆関数inv(H)を用いて上述した式（２）の演算処理を実行すれば、本発明の目的、即ち、撮像ボケを取り除く（抑制する）という目的を達成することが可能になる。

或いは、上述した式（２）の演算は周波数領域の演算であるので、本発明の目的を達成するために、撮像ボケ抑制処理部１３は、上述した式（２）の演算処理と等価な空間領域での処理を実行してもよい。具体的には例えば、撮像ボケ抑制処理部１３は、次のような第１乃至第３の処理を実行してもよい。

第１の処理とは、撮像ボケ特性検出部１２から供給された注目画素における移動速度に応じて、注目画素における撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換する処理である。具体的には例えば、複数の移動速度毎に移動平均フィルタを１つずつ予め用意しておき、複数の移動平均フィルタの中から、注目画素における移動速度に対応する１つを選択する処理が、第１の処理の一例である。

第２の処理とは、次の第２−１乃至第２−３の処理からなる処理である。

第２−１の処理とは、第１の処理により特性が変換された移動平均フィルタに対してフーリエ変換を施すことにより、その移動平均フィルタを周波数表示する処理である。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれを得る処理が第２−１の処理である。即ち、周波数領域で考えると、注目画素における撮像ボケの伝達関数Ｈを求める処理が第２−１の処理である。なお、以下、第２−１の処理を、周波数変換処理と称する。

第２−２の処理とは、周波数変換処理（第２−１の処理）により周波数表示された移動平均フィルタの逆数を算出する処理である。即ち、周波数領域で考えると、上述した式（２）に示される、撮像ボケの伝達関数Ｈの逆関数inv(H)を生成する処理が、第２−２の処理である。なお、以下、第２−２の処理を、逆関数生成処理と称する。

第２−３の処理とは、逆関数生成処理（第２−２の処理）により算出された逆関数inv(H)、即ち周波数表示された移動平均フィルタの逆数に対して逆フーリエ変換を施す処理である。即ち、逆関数inv(H)に対応するハイパスフィルタ（ウィーナーフィルタ等）を生成する処理が第２−３の処理である。移動平均フィルタの逆フィルタを生成する処理が第２−３の処理である。なお、以下、第２−３の処理により生成されるハイパスフィルタを、逆移動平均フィルタと称する。換言すると、周波数領域で表現された逆移動平均フィルタを、空間領域のフィルタに変換する処理が、第２−３の処理である。よって、以下、第２−３の処理を、第２−１の処理である周波数変換処理に対応させて、周波数逆変換処理と称する。

第３の処理とは、撮像ボケ後の周波数領域の上述した式（２）の信号Ｇに対応する空間領域の画像信号gを入力画像として入力し、その画像信号gに対して、周波数逆変換処理（第２−３の処理）により生成された逆移動平均フィルタをかける処理である。この第３の処理により、撮像ボケ前の周波数領域の上述した式（２）の信号Ｆに対応する空間領域の画像信号ｆが復元（予測演算）されることになる。具体的には例えば、処理対象のフレームのうちの注目画素を含む所定のブロックに対して逆移動平均フィルタをかけることで、注目画素の画素値を補正する処理が、第３の処理である。

かかる第１乃至第３の処理を実行可能な撮像ボケ抑制処理部１３の機能的構成の一実施例が、図５に示されている。即ち、図５は、撮像ボケ抑制処理部１３の機能的構成の一実施例を示している。

図５の例の撮像ボケ抑制処理部１３には、移動平均フィルタ特性変換部２１、逆移動平均フィルタ生成部２２、および、逆移動平均フィルタ部２３が設けられている。

移動平均フィルタ特性変換部２１は、上述した第１の処理を実行する。逆移動平均フィルタ生成部２２は、上述した第２の処理を実行する。逆移動平均フィルタ部２３は、上述した第３の処理を実行する。

即ち、逆移動平均フィルタ生成部２２は、例えば図６に示されるような機能的構成を有することができる。図６の逆移動平均フィルタ生成部２２には、周波数変換部３１、逆関数生成部３２、および、周波数逆変換部３３が設けられている。

周波数変換部３１に対して、移動平均フィルタ特性変換部２１により特性が変換された移動平均フィルタが、空間領域の信号である入力信号Ｔ０として入力される。そこで、周波数変換部３１は、その入力信号Ｔ０に対して上述した周波数変換処理を施し、その結果得られる撮像ボケの伝達関数Ｈを示す信号Ｔ１を出力する。

なお、信号Ｔ１は、予め設定されたタップ数でサンプリングされた信号である。このため、同一のタップ数が、上述した周波数逆変換処理を施す逆周波数変換部３３にも入力されている。

逆関数生成部３２は、信号Ｔ１に対して、上述した逆関数生成処理を施し、その結果得られる逆関数inv(H)に対応する信号Ｕ１を生成し、出力する。

即ち、例えば後述する図９に示される波形の信号Ｕ１が逆関数生成部３２によって生成されて、周波数逆変換部３３に提供されることになる。ただし、図４の周波数特性Ｈ２乃至Ｈ４にも示されるように、撮像ボケを示す移動平均フィルタ（その周波数特性）には、ゲインが０となる周波数が含まれている。このため、逆関数生成部３２は、撮像ボケの伝達関数Ｈの完全な逆関数inv(H)を生成することは困難である。そこで、実際には、逆関数生成部３２は、撮像ボケの伝達関数Ｈを示す信号Ｔ１に対して、オフセットα分だけ周波数特性を持ち上げた関数（以下、オフセット関数Hoffと称する）を生成し、かかるオフセット関数Hoffの逆関数inv(Hoff)を、信号Ｕ１として生成して出力している。

周波数逆変換部３３は、信号Ｕ１に対して、上述した周波数逆変換処理を施すことで、逆移動平均フィルタを示す信号Ｔ３を生成し、出力する。この信号Ｔ３に対応する逆移動平均フィルタが、図５の逆移動平均フィルタ部２３に入力されて、上述した第３の処理の実行に用いられることになる。

しかしながら、撮像ボケ抑制処理部１３の逆移動平均フィルタ生成部２２が図６のように構成された場合、次のような問題が発生してしまう。即ち、図４の周波数特性Ｈ２乃至Ｈ４にも示されるように、撮像ボケの伝達関数Ｈの周波数特性には、ゲインが０となる周波数が含まれている。このため、上述の如く、逆移動平均フィルタ生成部２２は、その伝達関数Ｈの周波数特性にオフセットαを持たせたオフセット関数Ｈoffを一旦生成し、そのオフセット関数Ｈoffの逆関数を生成し、それに対応する空間領域の逆移動平均フィルタを出力信号Ｔ３として出力している。しかしながら、かかる逆移動平均フィルタは、後述する図９に示される信号Ｕ１の波形に示されるように、撮像ボケの伝達関数Ｈにおいてゲインが０であった周波数（以下、０点と称する）付近で非常に高ゲインとなる特性を有してしまうことになる。よって、かかる０点付近の周波数帯域のノイズは強調され過ぎてしまうことになり、その結果、映像の破綻が発生してしまう場合がある、という新たな問題が発生してしまう。

そこで、かかる問題を解決すべく、本発明人は、逆関数生成部３２の代わりに、図７の構成の調整逆関数生成部４１を発明した。即ち、図８に示されるように、逆移動平均フィルタ生成部２２の構成要素として、逆関数生成部３２の代わりに、図７の構成の調整逆関数生成部４１を採用することで、上述の問題を解決することができる。換言すると、図８は、本発明が適用される撮像ボケ抑制処理部１３の逆移動平均フィルタ生成部２２の機能的構成の一例であって、図６とは異なる例を示している。

以下、図７の構成の調整逆関数生成部４１についてさらに詳しく説明する。

図７に示されるように、調整逆関数生成部４１は、逆関数生成部５１、乗算部５２、減算部５３、加算部５４、およびクリップ部５５から構成されている。なお、各機能ブロックの機能については、以下の動作の説明中に適宜説明していく。

以下、かかる構成の調整逆関数生成部４１の動作を、図９を適宜参照しつつ説明する。即ち、図９は、調整逆関数生成部４１の各構成要素の出力信号の周波数特性の一例を示している。

また、調整逆関数生成部４１の演算とは、周波数領域での演算を意味する。よって、以下、加減乗除の演算とは、各周波数の振幅（ゲイン）についての演算を意味している。

調整逆関数生成部４１への入力信号Ｔ１とは、上述したように、移動速度に応じて特性が変換された撮像ボケの伝達関数Ｈを示す信号である。具体的には例えば、図９の波形の入力信号Ｔ１が調整逆関数生成部４１に入力されたとする。この入力信号Ｔ１は、逆関数生成部５１、乗算部５２、減算部５３、および加算部５４にそれぞれ入力される。

逆関数生成部５１は、図６の逆関数生成部３２と基本的に同様の機能と構成を有している。即ち、逆関数生成部５１からは、図６の信号Ｕ１と同様の信号、即ち、図９の波形の信号Ｕ１が出力され、クリップ部５５に提供される。信号Ｕ１とは、上述したように、撮像ボケの伝達関数Ｈの逆関数inv(H)、より正確には、オフセット関数Hoffの逆関数inv(Hoff)を示す信号である。

乗算部５２は、入力信号Ｔ１の二乗を演算し、その結果得られる信号Ｕ２（＝Ｔ１×Ｔ１）を減算部５３に出力する。即ち、図９の波形の信号Ｕ２が減算部５２に入力されることになる。

減算部５３は、入力信号Ｔ１から、乗算部５２の出力信号Ｕ２を減算し、その結果得られる信号Ｕ３（＝Ｔ１−Ｕ２）を加算部５４に出力する。即ち、図９に示されるように、信号Ｔ１と信号Ｕ２の各周波数のゲイン毎の差分が、信号Ｕ３の当該各周波数のゲインとなる。

加算部５４は、入力信号Ｔ１に対して、減算部５３の出力信号Ｕ３を減算し、その結果得られる信号Ｕ４（＝Ｔ１＋Ｕ３）をクリップ部５５に出力する。即ち、図９の波形の信号Ｕ４がクリップ部５５に入力されることになる。

クリップ部５５は、逆関数生成部５１の出力信号Ｕ１と、加算部５４の出力信号Ｕ４とのうちの、振幅が低い方を周波数毎に抽出して、その結果得られる信号Ｔ３を出力する。即ち、周波数帯域Ｆ１においては信号Ｕ１の周波数特性を有し、周波数帯域Ｆ２においてはＵ４の周波数特性を有し、周波数帯域Ｆ３においては信号Ｕ１の周波数特性を有し、周波数特性Ｆ４においては信号Ｕ４の特性を有する関数（以下、調整逆関数と称する）を示す信号が、信号Ｕ５として出力される。即ち、このような周波数特性を有する信号Ｕ５に対応する逆移動平均フィルタ（空間領域の信号）が、図８の周波数変換部３３から信号Ｔ３として出力され、図５の逆移動平均フィルタ部２３における上述した第３の処理の実行に用いられることになる。

ここで、注目すべき点は、次の２点である。

即ち、第１の点とは、図９において０点を含む周波数帯域Ｆ２、Ｆ４の逆移動平均フィルタの周波数特性は、振幅が増大してしまう方向の信号Ｕ１の特性ではなく、振幅が減衰する方向の信号Ｕ４の特性が採用されている点である。よって、かかる周波数帯域Ｆ２，Ｆ４でのノイズは強調されることなく、その結果、映像の破綻を抑制することができる。即ち、上述した問題を解決することができる。

第２の点とは、低周波帯域Ｆ１の逆移動平均フィルタの周波数特性は、信号Ｕ１の特性、即ち、撮像ボケの伝達関数Ｈの逆関数inv(H)の特性となっている点である。よって、撮像ボケの抑制効果自体は、逆移動平均フィルタの全周波数帯域Ｆ１乃至Ｆ４で信号Ｕ１の特性を採用している場合（即ち、図６の逆関数生成部３２を有する逆移動平均フィルタ生成部２２を採用した場合）と比較しても遜色のないレベルを保つことができる。

以上の２点をまとめると、図５の逆移動平均フィルタ生成部２２として、図６の構成の代わりに、図８の構成を採用することで、ノイズの強調等を起因とする破綻を抑制しつつ、撮像ボケの補正を精度よく行うことができる、という効果を奏することが可能になる。

さらに言えば、結局、次のような構成を有する撮像ボケ抑制処理部１３を採用することで、上述の効果を奏することが可能となる。換言すると、図８の構成の逆移動平均フィルタ生成部２２を有する撮像ボケ抑制処理部１３とは、次のような構成を有する画像処理装置の少なくとも一部の例示にしか過ぎない。

即ち、処理対象のアクセスユニットについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、撮像ボケを示すローパスフィルタの特性を変化させ、そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、処理対象のアクセスユニットに対して逆フィルタをかける処理を施すことで、処理対象のアクセスユニットを補正す画像処理装置であって、撮像ボケを示すローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象のアクセスユニットの周波数成分のうちの、０点を含む所定の周波数成分については、逆フィルタをかける処理を施すことを禁止する画像処理装置であれば、上述の効果を奏することが可能になる。

以上、本発明が適用される図１の画像処理装置１のうちの撮像ボケ抑制処理部１３の実施の形態として、図５の機能的構成を有する撮像ボケ抑制処理部１３について説明した。

撮像ボケ抑制処理部１３は、各画素値の補正を行う際、上述した例では、移動速度（移動ベクトルの絶対値）をパラメータとして使用したが、この移動速度の他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。

具体的には例えば、撮像ボケ抑制処理部１３は、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャッタ速度を利用することができる。なぜならば、例えば図１０に示されるように、シャッタ速度が違うと同図中の時間Ts分だけ撮像ボケの度合いも異なるからである。

即ち、図１０において、上側の図は、シャッタ速度がフレーム速度と同一の1/30秒である場合の図を示しており、下側の図は、シャッタ速度がフレーム速度よりも早い（1/30-Ts）秒である場合の図を示している。図１０の両図とも、横軸は時間軸を表しており、縦軸はシャッタ開口時間の割合を表している。シャッタ開口時間の割合とは、例えば、シャッタ速度をＶ［秒］（Ｖは、０以上の任意の値）とし、シャッタが開口された第１の時刻の割合を０％とし、第１の時刻からＶ［秒］が経過してシャッタが閉じる第２の時刻の割合を１００％とし、かつ、第１の時刻から現時刻までの時間Ｔａ［秒］（Ｔａは、０以上Ｖ以下の任意の正値）とした場合に、（Ｔａ/Ｖ）×１００［％］で示される割合である。この場合、図１０の両図の縦軸において、時間軸と接する値が１００[％]になり、最大値（各直線の最上位の値）が０［％］になる。即ち、図１０の両図の縦軸においては、下方にいく程、シャッタ開口時間の割合は大きくなっていくのである。

例えばいま、カメラの１つの検出素子が、フレーム内の１つの画素に対応しているとする。この場合、図１０の上側の図に示されるように、シャッタ速度が1/30秒であるときには、カメラの１つの検出素子からは、シャッタが開口している1/30秒間に入射された光の積分値が、対応する画素の画素値として出力される。これに対して、シャッタ速度が（1/30-Ts）秒である場合には、カメラの１つの検出素子からは、シャッタが開口している（1/30-Ts）秒間に入射された光の積分値が、対応する画素の画素値として出力される。

即ち、シャッタ速度は、検出素子における光の蓄積時間に対応している。従って、例えば、実空間において所定の検出素子の前を横切って移動するオブジェクトが存在する場合、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、その検出素子には、オブジェクトに対応する光とは異なる光、例えば、背景の光が時間Ｔs［秒］分だけ多く入射されてしまうことになる。これにより、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、１つの検出素子から出力される画素値の中に、オブジェクトとは異なる背景等の光の蓄積値が混合される割合が多くなってしまう。その結果、撮像ボケの度合いが大きくなってしまう。

以上の内容をまとめると、シャッタ速度が遅くなればなるほど、撮像ボケの度合いが大きくなる。即ち、シャッタ速度は、撮像ボケの一特性を示していると言える。従って、シャッタ速度も、移動速度と同様に、撮像ボケの特性を示すパラメータとして利用することが可能である。

なお、このようなシャッタ速度が、撮像ボケの特性を示すパラメータとして利用される場合には、図１の撮像ボケ特性検出部１２は、例えば、高フレームレート変換部１１から供給された動画像（データ）に付加されているヘッダ情報などを解析することで、各フレームのシャッタ速度を検出し、それらを撮像ボケの特性を示すパラメータとして、撮像ボケ抑制処理部１３に供給することができる。撮像ボケ抑制処理部１３は、例えば、移動速度の代わりにこのシャッタ速度を利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。このシャッタ速度を利用する場合の撮像ボケ抑制処理部１３の構成は、移動速度を利用する場合のそれと基本的に同様の構成を取ることができる。即ち、上述した図５の機能的構成を有する撮像ボケ抑制処理部１３も、シャッタ速度をパラメータ値として利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。

以上、本発明が適用される画像処理装置の実施の形態として、図１に示される機能的構成を有する画像処理装置１について説明したが、本発明は、図１の例に限定されず、その他様々な実施の形態を取ることが可能である。

具体的には例えば、図１１乃至図１４のそれぞれには、本発明が適用される画像処理装置の他の実施の形態の機能ブロック図が示されている。

例えば、図１１の画像処理装置１０１は、図１の画像処理装置１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

ただし、図１１の画像処理装置１０１においては、撮像ボケ抑制処理部１３の補正処理の対象は、画像処理装置１０１の入力動画像、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像である。このため、撮像ボケ特性検出部１２も、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。

従って、図１１の画像処理装置１０１の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ３、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

また、例えば、図１２の画像処理装置１０２は、図１の画像処理装置１や図１１の画像処理装置１０１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

この図１２の画像処理装置１０２においては、撮像ボケ抑制処理部１３の補正処理の対象は、図１の画像処理装置１と同様に、入力動画像に対して高フレームレート変換処理が高フレームレート変換部１１により施された結果得られる動画像である。即ち、撮像ボケ抑制処理部１３は、高フレームレート変換処理が施された後の動画像に対して補正処理を施す。

ただし、図１２の画像処理装置１０２の撮像ボケ特性検出部１２は、入力動画像の中から、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータを検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。即ち、図１２の画像処理装置１０２の撮像ボケ抑制処理部１３は、高フレームレート変換処理が施される前の動画像の中から検出されたパラメータの値を利用して、各画素値を補正している。

以上のことから、図１２の画像処理装置１０２の画像処理も、図３の画像処理と同様の流れで実行される処理、即ち、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５のそれぞれの処理がその順番で実行される処理となる。ただし、ステップＳ３の処理は、「高フレームレート変換処理が施される前の動画像、即ち、ステップＳ１の処理で入力された動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を検出する」という処理になる。

このような図１１の画像処理装置１０１と図１２の画像処理装置１０２とに対して、図１３の画像処理装置１１２と図１４の画像処理装置１３１とは、高フレームレート変換部１１と撮像ボケ抑制処理部１３とから構成され、撮像ボケ特性検出部１２はその構成要素に含んでいない。

即ち、図１３と図１４に示されるように、撮像ボケ特性検出部１２は、他の画像処理装置１１１（以下、図面の記載にあわせて、画像信号生成装置１１１と称する）内に重畳部１２１とともに設けられている。この画像信号生成装置１１１に入力された動画像は、撮像ボケ特性検出部１２と重畳部１２１とに供給される。撮像ボケ特性検出部１２は、この動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、重畳部１２１に供給する。重畳部１２１は、この動画像に対して、撮像ボケの特性を示すパラメータの値を重畳し、その結果得られる信号を出力する。

従って、図１３の画像処理装置１１２と図１４の画像処理装置１３１には、撮像ボケの特性を示すパラメータの値が重畳された動画像（信号）が画像信号生成装置１１１から供給されてくる。

そこで、例えば、図１３の画像処理装置１１２では、撮像ボケ抑制処理部１３が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像を構成する各フレームのそれぞれについて、分離された撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正する。

次に、高フレームレート変換部１１が、撮像ボケ抑制処理部１３により補正された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換され、かつ補正がなされた動画像を出力する。

以上のことから、図１３の画像処理装置１１２の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

これに対して、例えば、図１４の画像処理装置１３１では、高フレームレート変換部１１が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換された動画像を撮像ボケ抑制処理部１３に供給する。このとき、高フレームレート変換部１１により分離された撮像ボケの特性を示すパラメータの値も、撮像ボケ抑制処理部１３に供給される。

次に、撮像ボケ抑制処理部１３が、高フレームレートに変換された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正し、その結果得られる動画像、即ち、補正がなされ、かつ高フレームレートに変換された動画像を出力する。

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。

この場合、図１の画像処理装置１全体若しくはその一部分（例えば、撮像ボケ抑制処理部１３等）、図１１の画像処理装置１０１全体若しくはその一部分、図１２の画像処理装置１０２全体若しくはその一部分、図１３の画像処理装置１１２全体若しくはその一部分、および、図１４の画像処理装置１３１全体若しくはその一部分は、例えば、図１５に示されるようなコンピュータで構成することができる。

図１５において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の画像処理装置との通信処理を行う。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１５に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

さらにまた、上述の各種実施の形態で実行される高フレームレート変換処理において、入力映像信号の第１のフレームレート（フレーム周波数）と、出力映像信号の第２のフレームレート（フレーム周波数）との組み合わせは、特に限定されず任意の組み合わせで良い。具体的には例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１２０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして２４０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして、ＰＡＬ（Phase Alternation by Line）方式に対応する５０〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１００〔Ｈｚ〕や２００〔Ｈｚ〕を採用することができる。例えば、入力映像信号の第１のフレームレートとして、テレシネに対応する４８〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとしてそれ以上の所定の周波数を採用することができる。

なお、このような既存のテレビジョン方式等に由来する入力映像信号に対して、上述の各種実施の形態における高フレームレート変換処理を施すことで、既存のコンテンツを高品位に表示することが可能になる。

本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 人間の網膜上で形成される像のボケの周波数特性を示す図である。 図１の画像処理装置が実行する画像処理を説明するフローチャートである。 移動ベクトル（移動速度）に応じた撮像ボケの周波数特性を示す図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の一例を示すブロック図である。 図５の撮像ボケ抑制処理部のうちの逆移動平均フィルタ生成部の機能的構成の一例を示すブロック図である。 図６の逆関数生成部の代わりに採用される調整逆関数生成部であって、本発明が適用される調整逆関数生成部の機能的構成の一例を示すブロック図である。 図５の撮像ボケ抑制処理部のうちの逆移動平均フィルタ生成部の機能的構成の図６とは異なる例であって、図７の調整逆関数生成部を採用した場合の例を示すブロック図である。 図７の調整逆関数生成部の構成要素の各出力信号の周波数特性の一例を示す図である。 カメラのシャッタ速度と、撮像ボケの特性とを説明する図である。 本発明が適用される画像処理装置の機能的構成の図１とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１と図１１とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図１１、および図１２とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図１１、図１２、および図１３とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 高フレームレート変換部， １２ 撮像ボケ特性検出部， １３ 撮像ボケ抑制処理部， ２１ 移動平均フィルタ特性変換部， ２２ 逆移動平均フィルタ生成部， ２３ 移動平均フィルタ部， ３１ 周波数変換部， ３３ 周波数逆変換部， ４１ 調整逆関数生成部， ５１ 逆関数生成部， ５２ 乗算部， ５３ 減算部， ５４ 加算部， ５５ クリップ部， １０１，１０２，１１２，１３１ 画像処理装置， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０８ 記憶部， ２１１ リムーバブル記録媒体

Claims (6)

1. 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
   処理対象の前記アクセスユニットについて、
   前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性を変化させ、
   そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、
   処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理を施すことで、
   処理対象の前記アクセスユニットを補正する補正手段を備え、
   前記補正手段は、
   前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことを禁止する
   画像処理装置。
2. 前記補正手段は、
   処理対象の前記アクセスユニットについて、前記撮像ボケを示すローパスフィルタの特性を、前記検出手段により検出された１以上の前記パラメータの値に応じた特性に変換して、空間領域の信号として出力するローパスフィルタ特性変換手段と、
   前記ローパスフィルタ特性変換手段により空間領域の信号として生成された前記ローパスフィルタを、周波数領域の第１の信号に変換して出力する周波数変換手段と、
   前記周波数変換手段から出力された前記第１の信号に基づいて、前記０点を含まない第１の周波数帯域では前記逆フィルタに対応する周波数特性を有し、前記０点を含む第２の周波数帯域では所定以下の振幅となる周波数特性を有する周波数領域の第２の信号を生成する信号生成手段と、
   前記信号生成手段により生成された周波数領域の前記第２の信号を空間領域の第３の信号に変換し、その第３の信号をフィルタとして出力する周波数逆変換手段と、
   前記周波数逆変換手段から出力された前記フィルタを、処理対象の前記アクセスユニットにかけることで、処理対象の前記アクセスユニットを補正するフィルタ手段と
   を有する請求項１に記載の画像処理装置。
3. 前記信号生成手段は、
   前記第１の信号に基づいて、全周波数帯域が前記逆フィルタに対応する周波数特性を有する逆信号を生成する逆信号生成手段と、
   前記第１の信号の二乗を周波数領域において演算し、その結果得られる信号を出力する乗算手段と、
   前記第１の信号から、前記乗算手段の出力信号を周波数領域において減算し、その結果得られる信号を出力する減算手段と、
   前記第１の信号に対して、前記減算手段の出力信号を周波数領域において加算し、その結果得られる信号を調整信号として出力する加算手段と、
   前記０点を含まない前記第１の周波数帯域では、前記逆信号生成手段により生成された前記逆信号の周波数特性を有し、前記０点を含む前記第２の周波数帯域では、前記加算手段から出力された前記調整信号の周波数特性を有する信号を、前記第２の信号として生成して出力する調整手段と
   を有する請求項２に記載の画像処理装置。
4. 前記撮像ボケの特性を示すパラメータの値とは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれである
   請求項１に記載の画像処理装置。
5. 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法において、
   前記画像処理装置が処理対象の前記アクセスユニットに対して実行するステップとして、
   前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性を変化させ、
   そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、
   処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理を施すことで、
   処理対象の前記アクセスユニットを補正する補正ステップを含み、
   前記補正ステップは、
   前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことを禁止するステップを含む
   画像処理方法。
6. 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置を制御するコンピュータに対して、
   処理対象の前記アクセスユニットについて、
   前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値に応じて、前記撮像ボケを示すローパスフィルタの特性を変化させ、
   そのローパスフィルタに対して逆特性を有する逆フィルタを生成し、
   処理対象の前記アクセスユニットに対して前記逆フィルタをかける処理を施すことで、
   処理対象の前記アクセスユニットを補正する補正ステップを実行させるプログラムであって、
   前記補正ステップは、
   前記撮像ボケを示す前記ローパスフィルタの周波数特性において振幅が０となる周波数を０点として、処理対象の前記アクセスユニットの周波数成分のうちの、前記０点を含む所定の周波数成分については、前記逆フィルタをかける処理を施すことを禁止するステップを含む
   プログラム。

Images