JP2006081150A - 画像処理装置および方法、記録媒体、並びにプログラム - Google Patents

Abstract

【課題】 撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにする。
【解決手段】 高フレームレート変換部１１は、入力された動画像に対して高フレームレート変換処理を施す。撮像ボケ抑制処理部１３は、動画像を構成する複数のフレームのそれぞれについて、撮像ボケ特性検出部１２により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームを構成する各画素値を補正する。これにより、入力時に比べて高フレームレート動画像であって、撮像ボケが抑制されるように各画素値が適切に補正された動画像が出力されるのである。本発明は、テレビジョンシステムに適用可能である。
【選択図】 図１

Description

本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができる画像処理装置および方法、記録媒体、並びにプログラムに関する。

近年、映像(動画像)を表示するための映像信号変換装置において、入力側のテレビジョン方式と出力側のテレビジョン方式との間でフレームまたはフィールド周波数が一定の同期関係がない場合でも、映像の品質を劣化させずに表示させる手法として、フレームレートを調整する手法（以下、フレームレート変換手法と称する）が考えられている（特許文献１参照）。
特開平7-59054号公報

しかしながら、特許文献１等の従来のフレームレート変換手法を利用してフレームレートを増やす場合には、撮影時に発生する動きボケ（以下、撮像ボケと称する）についての考慮がなされていなかった。これにより、撮像ボケに起因する画像劣化（ボケ画像）は特に改善されずにそのまま残り、その結果、鮮明な映像を表示装置に表示させることは困難になるという課題があった。

本発明は、このような状況に鑑みてなされたものであり、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の映像をより一段と鮮明に表示させることができるようにするものである。

本発明の第１の画像処理装置は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出手段と、高レート変換手段による高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出手段により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。

第１のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。

検出手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、パラメータの値として検出するようにすることができる。

検出手段は、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャッタ速度のそれぞれを、パラメータの値として検出するようにすることができる。

補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された１以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、フィルタ特性変換手段により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成手段により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリング手段とを有するようにすることができる。

補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、検出手段により検出された１以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換手段により特性が変換されたローパスフィルタをかけ、その結果得られる注目画素の補正された画素値を第１の値として出力するフィルタリング手段と、注目画素の補正前の画素値と、フィルタリング手段から出力された第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段と、減算手段から出力された第２の値を、注目画素の補正前の画素値に加算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算手段とを有するようにすることができる。

補正手段は、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、その第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延手段と、第１の遅延手段から出力された第２の画像信号が順次入力され、その第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延手段と、第１の遅延手段に入力された第１の画像信号、第１の遅延手段から出力されて第２の遅延手段に入力された第２の画像信号、および、第２の遅延手段から出力された第３の画像信号を利用して、注目画素の画素値を補正する画素値補正手段と、検出手段により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第１の遅延手段の第１の遅延時間を変更するとともに、第２の遅延手段の第２の遅延時間を変更する遅延時間変更手段とを有するようにすることができる。

第１のレートは３０Hzであり、第２のレートは１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレート１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレートは２４０Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは１００Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは２００Hzであるようにすることができる。

本発明の第１の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法であって、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

第１のレートは、撮影装置により動画像が撮影されたときのアクセスユニットのレートであるようにすることができる。

検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、パラメータの値として検出する処理を含むようにすることができる。

検出ステップは、動画像を構成する複数のアクセスユニットのそれぞれが撮影装置により撮影されたときの撮影装置のシャッタ速度のそれぞれを、パラメータの値として検出する処理を含むようにすることができる。

補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された１以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、逆フィルタ生成ステップの処理により生成された逆フィルタをかけることで、注目画素の画素値を補正するフィルタリングステップとを含むようにすることができる。

補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、検出ステップの処理により検出された１以上のパラメータの値のうちの注目画素に対応する値に応じて、撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、処理対象のアクセスユニットのうちの注目画素を含む所定のブロックに対して、フィルタ特性変換ステップの処理により特性が変換されたローパスフィルタをかけ、その結果得られる注目画素の補正された画素値を第１の値として出力するフィルタリングステップと、注目画素の補正前の画素値と、フィルタリングステップの処理結果として出力された第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算ステップと、減算ステップの処理結果として出力された第２の値を、注目画素の補正前の画素値に加算し、その結果得られる加算値を、注目画素の補正後の画素値として出力する加算ステップとを含むことを特徴とする。

補正ステップは、動画像を構成する複数のアクセスユニットのそれぞれについて、処理対象のアクセスユニットを構成する各画素のうちの処理対象として注目すべき画素を注目画素として設定し、注目画素に対するステップとして、処理対象のアクセスユニットのうちの、注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延ステップと、第１の遅延ステップの処理結果として出力された第２の画像信号が順次入力され、入力された第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延ステップと、第１の遅延ステップの処理対象として入力された第１の画像信号、第１の遅延ステップの処理結果として出力されて第２の遅延ステップの処理対象として入力された第２の画像信号、および、第２の遅延ステップの処理結果として出力された第３の画像信号を利用して、注目画素の画素値を補正する画素値補正ステップと、検出ステップの処理により検出されたパラメータの値のうちの注目画素に対応する値に応じて、第１の遅延ステップの第１の遅延時間を変更するとともに、第２の遅延ステップの第２の遅延時間を変更する遅延時間変更ステップとを含むようにすることができる。

第１のレートは３０Hzであり、第２のレートは１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレート１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレートは２４０Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは１００Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは２００Hzであるようにすることができる。

本発明の第１の記録媒体のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

本発明の第１のプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出ステップの処理により検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とするプログラム。

本発明の第１の画像処理装置および方法、第１の記録媒体、並びに、第１のプログラムにおいては、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位とする画像処理が施される。詳細には、動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理が実行される。また、動画像を構成する複数のアクセスユニットのそれぞれについて、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値が１以上検出される。そして、高レート変換処理が実行される前または後に、動画像を構成する複数のアクセスユニットのそれぞれについて、検出されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値が補正される。

本発明の第２の画像処理装置は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置であって、他の画像処理装置から供給された動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、高レート変換手段による高レート変換処理が実行される前または後に、他の画像処理装置から供給された動画像を構成する複数のアクセスユニットのそれぞれについて、他の画像処理装置から供給されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正手段とを備えることを特徴とする。

第１のレートは３０Hzであり、第２のレートは１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレート１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレートは２４０Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは１００Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは２００Hzであるようにすることができる。

本発明の第２の画像処理装置の画像処理方法は、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法であって、他の画像処理装置から供給された動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、他の画像処理装置から供給された動画像を構成する複数のアクセスユニットのそれぞれについて、他の画像処理装置から供給されたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

第１のレートは３０Hzであり、第２のレートは１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレート１２０Hzであるようにすることができる。

第１のレートは６０Hzであり、第２のレートは２４０Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは１００Hzであるようにすることができる。

第１のレートは５０Hzであり、第２のレートは２００Hzであるようにすることができる。

本発明の第２の記録媒体のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

本発明の第２のプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、与えられた動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、高レート変換ステップによる高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値を補正する補正ステップとを含むことを特徴とする。

本発明の第２の画像処理装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが与えられた場合、その動画像に対して画像処理が施される。詳細には、与えられた動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理が実行される。また、高レート変換処理が実行される前または後に、与えられた動画像を構成する複数のアクセスユニットのそれぞれについて、与えられたパラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象のアクセスユニットを構成する各画素値が補正される。

以上のごとく、本発明によれば、動画像のフレームレートを入力時よりも大きいフレームレートに変換させることができる。特に、撮像ボケに起因する画像劣化（ボケ画像）を抑制することで、フレームレート変換後の動画像をより一段と鮮明に表示させることができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。

本発明によれば、第１の画像処理装置が提供される。この第１の画像処理装置（例えば図１の画像処理装置１、図１２の画像処理装置１０１、または図１３の画像処理装置１０２）は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置であって、前記動画像におけるアクセスユニットのレート（例えば、アクセスユニットとしてフレームが採用されている場合、フレームレート）を、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段（例えば、図１、図１２、または図１３の高フレームレート変換部１１）と、前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出手段（例えば、図１、図１２、または図１３の撮像ボケ特性検出部１２）と、前記高レート変換手段による高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段（例えば、図１、図１２、または図１３の撮像ボケ抑制処理部１３）とを備えることを特徴とする。

この第１の画像処理装置において、前記補正手段（例えば、図５の撮像ボケ抑制処理部１３）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換する（例えば、パラメータの値として、移動速度２，３，４のそれぞれが検出された場合、ローパスフィルタの周波数特性を、図４の撮像ボケの周波数特性Ｈ２，Ｈ３，Ｈ４のそれぞれに変換する）フィルタ特性変換手段（例えば、図５の移動平均フィルタ（ローパスフィルタ）特性変換部２１）と、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段（例えば、図５の逆移動平均フィルタ（ハイパスフィルタ）生成部２２）と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段（例えば、図５の逆移動平均フィルタ部（ハイパスフィルタ部）２３）とを有するようにすることができる。

この第１の画像処理装置において、前記補正手段（例えば、図６の撮像ボケ抑制処理部１３）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段（例えば、図６の移動平均フィルタ（ローパスフィルタ）特性変換部３１）と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリング手段（例えば、図６の移動平均フィルタ部（ローパスフィルタ部）３２）と、前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段（例えば、図６の減算部３３）と、前記減算手段から出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段（例えば、図６の加算部３４）とを有するようにすることができる。

この第１の画像処理装置において、前記補正手段（例えば、図７または図９の撮像ボケ抑制処理部１３）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号（例えば、図８の信号a）が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間（例えば、図８の時間Ｔ）だけ遅延させ、その結果得られる第２の画像信号（例えば、図８の信号ｂ）を出力する第１の遅延手段（例えば、図７または図９の可変ＤＬ部５２）と、第１の遅延手段から出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間（例えば、図８の時間Ｔ）だけ遅延させ、その結果得られる第３の画像信号（例えば、図８の信号ｃ）を出力する第２の遅延手段（例えば、図７または図９の可変ＤＬ部５３）と、前記第１の遅延手段に入力された前記第１の画像信号、前記第１の遅延手段から出力されて前記第２の遅延手段に入力された前記第２の画像信号、および、前記第２の遅延手段から出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段（例えば、図７の補正部５４−１または図９の補正部５４−２）と、前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延手段の前記第１の遅延時間を変更するとともに、前記第２の遅延手段の前記第２の遅延時間を変更する遅延時間変更手段（例えば、図７または図９の遅延時間変更部５５）とを有するようにすることができる。

本発明によれば、第１の画像処理方法が提供される。この第１の画像処理方法は、所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置（例えば図１の画像処理装置１、図１２の画像処理装置１０１、または図１３の画像処理装置１０２）の画像処理方法であって、前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップ（例えば、図３のステップＳ２の処理）と、前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップ（例えば、図３のステップＳ３の処理）と、前記高レート変換ステップによる高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップ（例えば、図３のステップＳ４の処理。なお、図３の例では、高レート変換ステップによる高レート変換処理の例であるステップＳ２が実行された後に、補正ステップの例であるステップＳ４の処理が実行されているが、当然ながらステップＳ４の後にステップＳ２の処理を実行してもよく、このことについては後述する）とを含むことを特徴とする。

この第１の画像処理方法において、前記補正ステップ（例えば、図５の撮像ボケ抑制処理部１３の処理）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップ（例えば、図５の移動平均フィルタ（ローパスフィルタ）特性変換部２１の処理）と、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップ（例えば、図５の逆移動平均フィルタ（ハイパスフィルタ）生成部２２の処理）と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップ（例えば、図５の逆移動平均フィルタ部（ハイパスフィルタ部）２３の処理）とを含むようにすることができる。

この第１の画像処理方法において、前記補正ステップ（例えば、図６の撮像ボケ抑制処理部１３の処理）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップ（例えば、図６の移動平均フィルタ（ローパスフィルタ）特性変換部３１の処理）と、処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリングステップ（例えば、図６の移動平均フィルタ部（ローパスフィルタ部）３２の処理）と、前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算ステップ（例えば、図６の減算部３３の処理）と、前記減算ステップの処理結果として出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップ（例えば、図６の加算部３４の処理）とを含むことを特徴とする。

この第１の画像処理方法において、前記補正ステップ（例えば、６または図９の撮像ボケ抑制処理部１３の処理）は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、前記注目画素に対するステップとして、処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延ステップ（例えば、図７または図９の可変ＤＬ部５２の処理）と、第１の遅延ステップの処理結果として出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の 画像信号を出力する第２の遅延ステップ（例えば、図７または図９の可変ＤＬ部５３の処理）と、前記第１の遅延ステップの処理対象として入力された前記第１の画像信号、前記第１の遅延ステップの処理結果として出力されて前記第２の遅延ステップの処理対象として入力された前記第２の画像信号、および、前記第２の遅延ステップの処理結果として出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップ（例えば、図７の補正部５４−１または図９の補正部５４−２の処理）と、前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延ステップの前記第１の遅延時間を変更するとともに、前記第２の遅延ステップの前記第２の遅延時間を変更する遅延時間変更ステップ（例えば、図７または図９の遅延時間変更部５５の処理）とを含むようにすることができる。

本発明によれば、第１の記録媒体が提供される。この第１の記録媒体（例えば、図１６のリムーバブル記録媒体２１１や、記憶部２０８に含まれるハードディスク等）に記録されるプログラムは、所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータ（例えば、図１６の構成のコンピュータ）に実行させるプログラムであって、上述した本発明の第１の画像処理方法に対応するプログラムである。

本発明によれば、第１のプログラムが提供される。この第１のプログラムは、上述した本発明の第１の記録媒体に記録されるプログラムに対応するプログラムである。

本発明によれば、第２の画像処理装置が提供される。この第２の画像処理装置（例えば、１３の画像処理装置１１２、または図１５の画像処理装置１３１）は、所定の撮影装置により撮影された動画像と、前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが他の画像処理装置（例えば、図１４または図１５の画像信号生成装置１１１）から供給されてきた場合、その動画像に対して処理を施す画像処理装置であって、前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段（例えば、図１４または図１５の高フレームレート変換部１１）と、前記高レート変換手段による高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段（例えば、図１４または図１５の撮像ボケ抑制処理部１３）とを備えることを特徴とする。

本発明によれば、第２の画像処理方法が提供される。この第２の画像処理方法は、所定の撮影装置により撮影された動画像と、前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが他の画像処理装置（例えば、図１４または図１５の画像信号生成装置１１１）から供給されてきた場合、その動画像に対して処理を施す画像処理装置（例えば、１３の画像処理装置１１２、または図１５の画像処理装置１３１）の画像処理方法であって、前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップ（例えば、図３のステップＳ２の処理）と、前記高レート変換ステップによる高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップ（例えば、図３のステップＳ４の処理）とを含むことを特徴とする。

なお、図３の例では、高レート変換ステップによる高レート変換処理の例であるステップＳ２が実行された後に、補正ステップの例であるステップＳ４の処理が実行されているが、当然ながらステップＳ４の後にステップＳ２の処理を実行してもよく、このことについては後述する。また、第２の画像処理方法においては、図３のステップＳ３の処理は省略される。このことについても後述する。

本発明によれば、第２の記録媒体が提供される。この第２の記録媒体（例えば、図１６のリムーバブル記録媒体２１１や、記憶部２０８に含まれるハードディスク等）に記録されるプログラムは、所定の撮影装置により撮影された動画像と、動画像を構成する複数のアクセスユニットのそれぞれについての、撮影装置により動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値とが与えられた場合、その動画像に対する画像処理の制御を行うコンピュータ（例えば、図１６の構成のコンピュータ）に実行させるプログラムであって、上述した本発明の第２の画像処理方法に対応するプログラムである。

本発明によれば、第２のプログラムが提供される。この第２のプログラムは、上述した本発明の第２の記録媒体に記録されるプログラムに対応するプログラムである。

以上説明した本発明の第１および第２の画像処理装置は、例えば、テレビジョンシステム全体またはその一構成要素として利用可能である。テレビジョンシステムとは、テレビジョン放送受像機を含む１以上のＡＶ（Audio and Visual）機器からなるシステムを指す。

次に、図面を参照して、本発明の実施の形態について説明する。

図１は、本発明が適用される画像処理装置の機能的構成の一例を示している。

この画像処理装置１は、動画像データに対する各種画像処理をアクセスユニット単位で実行する。アクセスユニットとは、フレームやフィールドといった動画像の単位を指し、具体的には例えば、動画像を構成する各コマ（静止画像）全体またはその一部分を指す。ただし、以下、説明の簡略上、画像処理装置１は、動画像データに対する各種画像処理をフレーム単位で実行するとする。

この画像処理装置１は、図１に示されるように、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

高フレームレート変換部１１には、例えば、テレビジョン放送信号等の動画像信号が、フレーム単位の動画像データとして入力される。

なお、以下、動画像と、それに対応する動画像データとを個々に区別する必要がない場合、これらをまとめて動画像と単に称する。同様に、フレームと、それに対応するフレームデータとを個々に区別する必要がない場合、これらをまとめてフレームと単に称する。

高フレームレート変換部１１は、第１のフレームレートの動画像が入力された場合、その動画像に対して高フレームレート変換処理を施し、その結果得られる、第１のフレームレートよりも高い第２のフレームレートの動画像を撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３に供給する。

高フレームレート変換処理とは、入力時の第１のフレームレートが出力（表示）時の第２のフレームレートよりも低い場合に実行される処理であって、入力時の動画像を構成する各フレームのそれぞれの間に、新たなフレームを創造してそれぞれ挿入することで、第１のフレームレートをそれよりも高い第２のフレームレートに変換する処理を指す。

なお、第１のフレームレートとは、高フレームレート変換部１１に入力された時点の動画像のフレームレートを指す。従って、第１のフレームレートは、任意のフレームレートとなり得るが、ここでは例えば、図示せぬ撮影装置により動画像が撮影されたときのフレームレート、即ち、撮像フレームレートであるとする。

撮像ボケ特性検出部１２は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値を検出する。撮像ボケ特性検出部１２の検出結果、即ち、撮像ボケの特性を示すパラメータの値は、撮像ボケ抑制処理部１３に供給される。

なお、撮像ボケの特性を示すパラメータは、特に限定されず様々なパラメータの採用が可能である。ただし、撮像ボケの特性を示すパラメータの具体例については後述する。

また、１つのフレーム内での、撮像ボケの特性を示すパラメータの値の検出個数も特に限定されない。例えば、１つのフレームに対して、撮像ボケの特性を示すパラメータの値が１つのみ検出されてもよいし、そのフレームを構成する各画素毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。或いは、その１つのフレームが幾つかのブロックに分割され、分割された各ブロック毎に、撮像ボケの特性を示すパラメータの値が１つずつ個別に検出されてもよい。

撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームを構成する各画素値を補正する。即ち、撮像ボケ抑制処理部１３は、処理対象のフレームについての撮像ボケの特性（パラメータの値）に応じて、処理対象のフレームの各画素値を、その撮像ボケが抑制されるように補正する。

これにより、各フレームの各画素値が補正されることで撮像ボケが抑制された動画像であって、入力時の第１のフレームレートよりも高い第２のフレームレートに変換された動画像が、撮像ボケ抑制処理部１３から画像処理装置１の外部に出力される。

なお、図１の例では、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わせて用いられているが、当然ながら、その組単体で用いることも可能であるし、また、図示せぬ他のブロック（所定の画像処理を施す他の画像処理部）と組み合わせて用いることも可能である。

即ち、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組だけで、撮像ボケを抑制するという効果を奏することが可能になる。ただし、この効果をより顕著にするためには、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組に対して、上述したように、高フレームレート変換部１１を組み合わせると好適である。以下、この理由について説明していく。

図示せぬ表示装置に表示される動画像が人間の網膜上に像として形成される際にその人間に認識されるボケは、その人間が動画像に含まれる動物体を追従視することによるホールドボケと、その動画像の撮像時に加わる上述した撮像ボケとを組み合わせたものである。

ここでいう撮像ボケの特性は、図４等を参照して後述するように、ローパスフィルタとして表される。即ち、撮像ボケ後の画像信号とは、撮像ボケ前の画像信号（理想的な画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、撮像ボケ後の画像信号は、撮像ボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、撮像ボケ後の画像信号においては、撮像ボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。

ここでいうホールドボケの特性もまた、撮像ボケの特性と同様にローパスフィルタとして表される。即ち、ホールドボケ後の画像信号とは、ホールドボケ前の画像信号（撮像ボケ後の画像信号）に対してこのローパスフィルタがかけられた信号と等価な信号である。従って、ホールドボケ後の画像信号は、ホールドボケ前の画像信号と比較して、その周波数特性が落ちてしまう。即ち、ホールドボケ後の画像信号においては、ホールドボケ前の画像信号と比較して、高周波数になればなる程ゲインが一般的に落ちてしまう。ただし、ホールドボケは、表示装置が固定画素(ホールド)表示装置の時にのみ発生する。

従って、周波数特性が撮像ボケのため既に落ちている撮像ボケ後の画像信号に対して、高フレームレート変換処理を施すことで、ホールドボケを抑制すること自体は可能である。しかしながら、このような高フレームレート変換処理を施したとしても、撮像ボケの劣化は変わらず、最終的に人間の網膜上におけるボケを抑制させるという効果は半減してしまう。このことを、図２を参照して説明する。

図２は、撮影装置（以下、カメラと称する）の撮影範囲内で移動速度４［画素/フレーム］で移動している実物体を撮影した時における、人間の網膜上で形成される像のボケの周波数特性を示している。図２において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

図２において、同図中一点鎖線で示される曲線h0は、ボケ（撮像ボケもホールドボケも含む）を改善するための処理が特に施されていない場合における、人間の網膜上で形成される像のボケの周波数特性を示している。即ち、図１の例では画像処理装置１に入力される動画像が、仮に画像処理装置１に入力されること無く（処理されること無く）そのまま表示装置に供給されて表示された場合に、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h0である。

これに対して、例えば高フレームレート変換処理により表示速度が倍にされると、ホールドボケのみは改善され、その結果、人間の網膜上で形成される像のボケの周波数特性は、同図中点線で示される曲線h1になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、その後、仮に撮像ボケ抑制処理部１３に入力されること無く（撮像ボケが改善されること無く）表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h1である。

また、例えば本発明が適用されて、高フレームレート変換処理により表示速度が倍にされ（ホールドボケが改善され）、かつ撮像ボケの度合いが半分に改善されると、人間の網膜上で形成される像のボケの周波数特性は、同図中実線で示される曲線h2になる。即ち、図１の画像処理装置１に入力された動画像が、高フレームレート変換部１１により高フレームレート変換処理が施され、さらに、撮像ボケ抑制処理部１３により撮像ボケが抑制された上で表示装置に供給されて表示された場合、人間がその動画像を見たときに網膜上で形成される像のボケの周波数特性が、曲線h2である。

曲線h1と曲線h2とを比較するに、高フレームレート変換処理によりホールドボケのみが改善されただけでは、人間の網膜上におけるボケの特性の改善は不十分であり、さらに撮像ボケの改善も必要なことがわかる。しかしながら、上述したように、従来の手法では、撮像ボケの改善が必要なことは特に考慮されずに、高フレームレート変換処理が単に行われていた。

そこで、図１の実施例の他、後述する図１２や図１３等の実施例で示される本発明の画像処理装置においては、高フレームレート変換部１１の他さらに、撮像ボケの改善を目的として、即ち、人間の網膜上のけるボケの特性を図２の曲線h0から曲線h2のように改善することを目的として、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３とが設けられているのである。ただし、後述する図１４と図１５の実施例で示されるように、撮像ボケ特性検出部１２は、本発明の画像処理装置にとって必須な構成要素ではない。

即ち、撮像ボケ抑制処理部１３は、各フレームのそれぞれについて、撮像ボケ特性検出部１２により検出された撮像ボケの特性を示すパラメータの値のうちの処理対象のフレームに対応する値に基づいて、処理対象のフレームの各画素値を補正することで、高フレームレート変換後のフレームについての撮像ボケに起因する画像劣化を抑制しているのである。即ち、画像処理装置１など、本発明の画像処理装置から出力された画像信号を図示せぬ表示装置に供給することで、表示装置は、その画像信号に対応する映像として、画像劣化（ボケ画像）が抑制された鮮明な映像を表示することが可能になるのである。

このように、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３との組は、高フレームレート変換部１１と組み合わされると好適である。

次に、図３のフローチャートを参照して、かかる図１の機能的構成を有する画像処理装置１の画像処理について説明する。

ステップＳ１において、高フレームレート変換部１１は、第１のフレームレートの動画像を入力する。

ステップＳ２において、高フレームレート変換部１１は、動画像のフレームレートを、第１のフレームレートよりも高い第２のフレームレートに変換する。

第１のフレームレートから第２のフレームレートに変換された動画像が、高フレームレート変換部１１から撮像ボケ検出部１２と撮像ボケ抑制処理部１３とに供給されると、処理はステップＳ３に進む。

ステップＳ３において、撮像ボケ特性検出部１２は、動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を１以上検出する。

動画像を構成する各フレームのそれぞれについての撮像ボケの特性を示すパラメータの1以上の値が、撮像ボケ特性検出部１２から撮像ボケ抑制処理部１３に供給されると、処理はステップＳ４に進む。

ステップＳ４において、撮像ボケ抑制処理部１３は、高フレームレート変換部１１から供給された動画像を構成する各フレームのそれぞれについて、撮像ボケ検出部１２により検出されたパラメータの値のうちの処理対象のフレームに対応する１以上の値に基づいて、処理対象のフレームの各画素値を補正する。

ステップＳ５において、撮像ボケ抑制処理部１３は、各フレームの画素値が補正され、かつ、第１のフレームレートから第２のフレームレートに変更された動画像を出力する。

これにより、図３の画像処理は終了となる。

なお、上述した説明では、説明の簡略上、ステップＳ１乃至Ｓ５の各ステップの処理は、動画像が処理単位とされた。ただし、実際には、フレームが処理単位となる場合が多々ある。

図３の画像処理において、各ステップの処理単位が動画像であるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が動画像全体に対して施されるという条件になることと等価である。

これに対して、図３の画像処理において、各ステップの処理単位がフレームであるとは、ステップＳ１乃至Ｓ５のうちの処理対象のステップから次のステップへの移行条件が、処理対象のステップの処理が１つのフレーム全体に対して施されるという条件になることと等価である。換言すると、各ステップの処理単位がフレームであるとは、各フレームのそれぞれに対するステップＳ１乃至Ｓ５の連続処理が、他のフレームとは独立して（並行して）実行されることと等価である。この場合、例えば、第１のフレームに対するステップＳ３の処理が実行されているときに、それとは異なる第２のフレームに対するステップＳ２の処理が並行して実行されているようなことが起こり得る。

さらに、実際には、処理対象のフレームを構成する各画素のそれぞれが、処理の対象として注目すべき画素（以下、注目画素と称する）に順次設定されて、その注目画素に対して、少なくともステップＳ３とＳ４の処理が順次個別に施されていくことが多々ある。即ち、ステップＳ３とＳ４の処理単位は画素であることが多々ある。

そこで、以下の説明においても、ステップＳ３とＳ４の処理は画素単位であるとして説明していく。即ち、ステップＳ３の処理とは撮像ボケ特性検出部１２の処理であり、ステップＳ４の処理とは撮像ボケ抑制処理部１３の処理である。従って、以下の説明においては、撮像ボケ特性検出部１２と撮像ボケ抑制処理部１３の処理単位は画素であるとして説明していく。

次に、図１の画像処理装置１のうちの、撮像ボケ抑制処理部１３の幾つかの実施の形態例について説明していく。具体的には例えば、撮像ボケの特性を示すパラメータとして、移動ベクトルの絶対値（以下、移動速度と称する）を利用する場合の撮像ボケ抑制処理部１３の幾つかの実施の形態例について説明していく。

撮像ボケの特性を示すパラメータとして移動速度が利用される場合、撮像ボケ特性検出部１２は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、注目画素における移動ベクトルを順次検出し、それを、注目画素における撮像ボケの特性を示すパラメータの値として撮像ボケ抑制処理部１３に順次供給していくことになる。

従って、撮像ボケ抑制処理部１３は、例えば、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素のそれぞれを注目画素として順次設定し、撮像ボケ特性検出部１２から供給された移動ベクトルのうちの注目画素における移動ベクトルの絶対値に基づいて、即ち、注目画素における移動速度に基づいて、注目画素の画素値を順次補正していくことになる。

ここで、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由について説明する。

撮像ボケの特性は、一般的に被写体の移動速度に依存した形態で表すことが可能である。

なお、被写体の移動速度とは、実空間において被写体自体が移動してカメラが固定されている場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の移動速度を当然ながら含む。さらに、ここで言う被写体の移動速度とは、実空間において被写体が固定されてカメラが手振れ等により移動した場合、または、実空間において被写体とカメラとが共に移動した場合に、その被写体がカメラで撮影されたときの、フレーム内での被写体（画像）の相対的な移動速度も含む。

従って、撮像ボケの特性は、被写体の画像を構成する各画素における移動速度に依存した形態で表すことができる。

画素における移動速度とは、処理対象のフレーム内の画素と、それよりも前のフレーム内の対応する画素（対応点）との間の空間的な距離を指す。例えば、処理対象のフレーム内の画素と、その直前（時間的に１つ前）のフレーム内の対応する画素（対応点）との間の空間的な距離が、Ｋ（Ｋは、０以上の任意の整数値）画素分である場合、その画素における移動速度とは、Ｋ［画素/フレーム］になる。

この場合、被写体の画像を構成する各画素のうちの所定の１つが注目画素に設定されているとすると、注目画素における撮像ボケの特性は、注目画素における移動速度Ｋ［画素/フレーム］の大小に依存した形態で表すことができる。

より具体的には例えば、注目画素の移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの周波数特性のそれぞれは、図４の曲線Ｈ２乃至Ｈ４のそれぞれで表すことができる。

即ち、図４は、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合についての、注目画素における撮像ボケの周波数特性のそれぞれを示している。図４において、横軸は周波数を、縦軸はゲインのそれぞれを示している。ただし、横軸の各値は、ナイキスト周波数が１とされた場合の相対値を示している。

以上の内容が、移動速度が、撮像ボケの特性を示すパラメータとして採用可能な理由である。

ところで、図４の周波数特性Ｈ２乃至Ｈ４の形態からわかるように、注目画素における撮像ボケの特性は空間領域で表現すると、移動平均フィルタ（ローパスフィルタ）で表すことが可能である。

即ち、この移動平均フィルタ（ローパスフィルタ）を示す伝達関数（以下、撮像ボケの伝達関数と称する）をＨと記述し、撮像ボケが仮に発生しなかった場合の理想的な画像信号（以下、撮像ボケ前の信号と称する）を周波数領域でＦと記述し、かつ、カメラから出力される実際の画像信号、即ち、撮像ボケが発生した画像信号（以下、撮像ボケ後の信号と称する）を周波数領域でＨと記述すると、撮像ボケ後の信号Ｇは、次の式（１）のように表される。

G ＝ H×F ・・・（１）

本発明においては撮像ボケを取り除く（抑制する）ことが目的とされているので、この本発明の目的を達成するためには、既知である撮像ボケ後の信号Ｇと、既知である撮像ボケの伝達関数Ｈとから、撮像ボケ前の信号Ｆを予測演算すればよい。即ち、次の式（２）の予測演算が実行されればよい。

F ＝ inv(H)×G ・・・（２）

式（２）において、inv(H)は、撮像ボケの伝達関数Ｈの逆関数を示している。上述したように撮像ボケの伝達関数Ｈがローパスフィルタの特性を持つことから、その逆関数inv(H)も、当然ながらハイパスフィルタの特性を持つ。

また、上述したように、撮像ボケの伝達関数Ｈは、移動速度に応じてその特性が変化する。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、注目画素における撮像ボケの伝達関数Ｈの周波数特性は、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれに示されるような相異な特性となる。

従って、撮像ボケ抑制処理部１３は、移動速度に応じて撮像ボケの伝達関数Ｈの特性を変更して、特性が変更された伝達関数Ｈの逆関数inv(H)を求め、その逆関数inv(H)を用いて上述した式（２）の演算処理を実行すれば、本発明の目的、即ち、撮像ボケを取り除く（抑制する）という目的を達成することが可能になる。

或いは、上述した式（２）の演算は周波数領域の演算であるので、本発明の目的を達成するために、撮像ボケ抑制処理部１３は、上述した式（２）の演算処理と等価な空間領域での処理を実行してもよい。具体的には例えば、撮像ボケ抑制処理部１３は、次のような第１乃至第３の処理を実行してもよい。

第１の処理とは、撮像ボケ特性検出部１２から供給された注目画素における移動速度に応じて、注目画素における撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換する処理である。具体的には例えば、複数の移動速度毎に移動平均フィルタを１つずつ予め用意しておき、複数の移動平均フィルタの中から、注目画素における移動速度に対応する１つを選択する処理が、第１の処理の一例である。

第２の処理とは、次の第２−１乃至第２−３の処理からなる処理である。

第２−１の処理とは、第１の処理により特性が変換された移動平均フィルタに対してフーリエ変換を施すことにより、その移動平均フィルタを周波数表示する処理である。具体的には例えば、注目画素における移動速度が２，３，４［画素/フレーム］のそれぞれの場合、図４の曲線Ｈ２，曲線Ｈ３，曲線Ｈ４のそれぞれを得る処理が第２−１の処理である。即ち、周波数領域で考えると、注目画素における撮像ボケの伝達関数Ｈを求める処理が第２−１の処理である。

第２−２の処理とは、第２−１の処理により周波数表示された移動平均フィルタの逆数を算出する処理である。即ち、周波数領域で考えると、上述した式（２）に示される、撮像ボケの伝達関数Ｈの逆関数inv(H)を生成する処理が、第２−２の処理である。

第２−３の処理とは、第２−２の処理により算出された、周波数表示された移動平均フィルタの逆数に対して逆フーリエ変換を施す処理である。即ち、逆関数inv(H)に対応するハイパスフィルタ（ウィーナーフィルタ等）を生成する処理が第２−３の処理である。換言すると、移動平均フィルタの逆フィルタを生成する処理が第２−３の処理である。なお、以下、第２−３の処理により生成されるハイパスフィルタを、逆移動平均フィルタと称する。

第３の処理とは、撮像ボケ後の周波数領域の上述した式（２）の信号Ｇに対応する空間領域の画像信号gを入力画像として入力し、その画像信号gに対して、第２−３の処理により生成された逆移動平均フィルタをかける処理である。この第３の処理により、撮像ボケ前の周波数領域の上述した式（２）の信号Ｆに対応する空間領域の画像信号ｆが復元（予測演算）されることになる。具体的には例えば、処理対象のフレームのうちの注目画素を含む所定のブロックに対して逆移動平均フィルタをかけることで、注目画素の画素値を補正する処理が、第３の処理である。

かかる第１乃至第３の処理を実行可能な撮像ボケ抑制処理部１３の機能的構成の一実施例が、図５に示されている。即ち、図５は、撮像ボケ抑制処理部１３の機能的構成の一実施例を示している。

図５の例の撮像ボケ抑制処理部１３には、移動平均フィルタ（ローパスフィルタ）特性変換部２１、逆移動平均フィルタ（ハイパスフィルタ）生成部２２、および、逆移動平均フィルタ部２３（ハイパスフィルタ部２３）が設けられている。

移動平均フィルタ特性変換部２１は、上述した第１の処理を実行する。逆移動平均フィルタ生成部２２は、上述した第２の処理を実行する。逆移動平均フィルタ部２３は、上述した第３の処理を実行する。

しかしながら、撮像ボケ抑制処理部１３が図５のように構成された場合、次のような新たな課題が発生してしまう。即ち、図４の周波数特性Ｈ２乃至Ｈ４にも示されるように、撮像ボケを示す移動平均フィルタ（その周波数特性）には、ゲインが０となる周波数が含まれている。このため、逆移動平均フィルタ生成部２２は、その移動平均フィルタの完全な逆フィルタ（完全な逆移動平均フィルタ）を生成するのは困難である、という新たな課題が発生してしまう。

ところで、図５の移動平均フィルタ部２３の処理、即ち、逆移動平均フィルタ（ハイパスフィルタ）を入力画像に対してかける処理とは、入力画像の周波数特性のうちの、撮像ボケを示すローパスフィルタによりゲインが減衰してしまった周波数帯において、そのゲインを持ち上げる処理であるとも言える。

そこで、この新たな課題を解決するためには、図５の構成の撮像ボケ抑制処理部１３を採用する代わりに、ゲインが減衰してしまった周波数帯域において、そのゲインを持ち上げる機能を有する撮像ボケ抑制処理部１３を採用すればよい。具体的には例えば、図６の構成の撮像ボケ抑制処理部１３を採用すればよい。即ち、図６は、撮像ボケ抑制処理部１３の機能的構成の図５とは異なる実施例を示している。

換言すると、図６の例の撮像ボケ抑制処理部１３には、この機能を実現するために、移動平均フィルタ（ローパスフィルタ）特性変換部３１乃至加算部３４が設けられている。

移動平均フィルタ特性変換部３１は、図５の移動平均フィルタ特性変換部２１と基本的に同様の機能と構成を有している。即ち、移動平均フィルタ特性変換部３１は、撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を、処理対象のフレーム（入力画像）内の注目画素の移動速度に応じて変換する。なお、この移動速度は、図６においては、撮像ボケ特性検出部１２から供給されるパラメータ値として示されている。即ち、この移動速度は、撮像ボケ特性検出部１２から供給される。

移動平均フィルタ部３２（ローパスフィルタ部３２）は、処理対象のフレーム（入力画像）内の注目画素を含む所定のブロックに対して、移動平均フィルタ特性変換部３１により特性が変換された移動平均フィルタをかけることで、注目画素の画素値を補正する。移動平均フィルタ部３２により補正された注目画素の画素値は、減算部３３に供給される。

即ち、減算部３３には、移動平均フィルタ部３２により補正された注目画素の画素値が極性反転されて入力される。減算部３３にはまた、処理対象のフレーム（入力画像）のうちの注目画素の補正前の画素値が入力される。

そこで、減算部３３は、注目画素の補正前の画素値と、移動平均フィルタ部３２により補正された注目画素の画素値との差分を求め、その差分値を加算部３４に供給する。なお、以下、加算部３３の出力を、移動平均フィルタ前後の差分と称する。

このようにして、加算部３４には、移動平均フィルタ前後の差分が入力される。加算部３４にはまた、処理対象のフレーム（入力画像）内の注目画素の補正前の画素値が入力される。

そこで、加算部３４は、注目画素の補正前の画素値に対して、移動平均フィルタ前後の差分を補正値として加算し、その加算結果を出力画像（その一部）として出力する。即ち、出力画像とは、補正された各画素値からなるフレーム、或いは、それらの複数のフレームからなる動画像である。

以上の内容をまとめると、図６の例の撮像ボケ抑制処理部１３は、動画像を構成する各フレームのそれぞれについて、処理対象のフレームを構成する各画素値に対して、対応する移動平均フィルタ前後の差分を補正値としてそれぞれ加算することで、各画素値を補正している。

このような図６の例の撮像ボケ抑制処理部１３の空間領域での処理は、周波数領域で考えると次のようになる。

即ち、加算部３３の出力信号である移動平均フィルタ前後の差分を周波数領域で考えた場合、所定の周波数に着目すると、加算部３３の出力信号のゲインとは、次のようなゲインになる。即ち、着目された周波数において、入力画像信号のゲインと、移動平均フィルタがかけられた後の入力画像信号のゲインとの差分が、加算部３３の出力信号のゲインとなる。以下、加算部３３の出力信号のゲインを、移動平均フィルタ前後の差分ゲインと称する。

従って、図６の例の撮像ボケ抑制処理部１３（加算部３４）から出力される出力画像信号を周波数領域で考えた場合、所定の周波数に着目すると、出力画像信号のゲインは、入力画像信号のゲインに対して、移動平均フィルタ前後の差分ゲインが加算された値となっている。即ち、各周波数のそれぞれにおいて、出力画像信号のゲインは、入力画像のゲインに比較して、移動平均フィルタ前後の差分ゲイン分だけ持ち上げられている。

換言すると、図６の例の撮像ボケ抑制処理部１３全体では、ハイパスフィルタをかける処理と基本的に等価な処理を実行していることになる。

以上、撮像ボケ抑制処理部１３の実施の形態例として、ハイパスフィルタをかける処理を実行する図５の例と、ハイパスフィルタをかける処理と基本的に等価な処理を実行する図６の例とについて説明した。

ところで、画像信号に対してハイパスフィルタをかける処理とは、エッジを立たせる処理であるとも言える。即ち、撮像ボケ抑制処理部１３の処理とは、結局、いわゆる絵作りのためにエッジを立たせることを目的とするのではなく、撮像ボケにより鈍ってしまったエッジを立たせることを目的とする処理であると言える。従って、この目的を達成するため、撮像ボケ抑制処理部１３は、撮像ボケと移動速度との上述した因果関係（撮像ボケの特性は移動速度の大小に依存すると言う関係）を利用して、エッジの立たせ度合（エンハンス量）を制御していると言える。即ち、撮像ボケ抑制処理部１３は、エッジ部分（対応する画素）の移動速度に応じて、エッジの立たせ度合を可変していると言える。例えば、上述した図５と図６の例では、撮像ボケ抑制処理部１３は、移動速度に応じて、撮像ボケを示す移動平均フィルタ（ローパスフィルタ）の特性を変換することで、エッジの立たせ度合を可変しているのである。

また、エッジの立たせ度合と、各画素値に対する補正量とは対応している。

従って、本発明においては、撮像ボケ抑制処理部１３は、注目画素における移動速度に応じて補正量（エッジの立たせ度合）を可変して、注目画素の補正前の（入力時）の画素値に対してその補正量を加算する手法が単に適用されていればよいことになる。即ち、撮像ボケ抑制処理部１３の形態は上述した図５と図６の例に限定されず、様々な形態を取ることが可能である。

例えば、撮像ボケ抑制処理部１３は、次のような第１の遅延部、第２の遅延部、補正部、および、遅延時間変更部を備えるように構成することができる。

即ち、第１の遅延部は、処理対象のフレームのうちの、動きベクトルの方向に連続して並ぶ画素群（注目画素を含む画素群）に対応する第１の画像信号が順次入力されると、その第１の画像信号を第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する。なお、第１の遅延時間とは、例えば第１の画像信号のうちの、Ｎ画素（Ｎは１以上の整数値）分に対応する部分信号が第１の遅延部に入力されるのに要する時間を指す。

第２の遅延部は、第１の遅延部から出力された第２の画像信号が順次入力され、その第２の画像信号を第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する。なお、第２の遅延時間とは、例えば第２の画像信号のうちの、Ｍ画素（Ｍは、Ｎを含む１以上の整数値）分に対応する部分信号が第２の遅延部に入力されるのに要する時間を指す。

補正部は、第１の信号乃至第３の信号を利用して補正量を決定し、その補正量を、注目画素の画素値に加算することで、注目画素の画素値を補正する。

遅延時間変更部は、撮像ボケ特性検出部１２から供給された注目画素の移動速度に応じて、第１の遅延部の第１の遅延時間を変更するとともに、第２の遅延部の第２の遅延時間を変更する。

このように、注目画素の移動速度に応じて第１の遅延時間と第２の遅延時間が適切に変更されると、それに伴い、第２の信号と第３の信号の形態（波形）も変更される。従って、第１の信号乃至第３の信号を利用して決定される補正量も、注目画素の移動速度に応じて変更される。これにより、撮像ボケが発生しているエッジ部分を、撮像ボケが発生した分だけ適切に立たせることが可能になり、その結果、フレームレート変換後のフレームについての撮像ボケに起因する画像劣化（ボケ画像）を抑制することが可能になる。そして、最終的には、鮮明な映像を表示装置に表示させることが可能になるのである。

かかる第１の遅延部、第２の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部１３は、具体的には例えば、図７に示されるように構成することができる。即ち、図７は、撮像ボケ抑制処理部１３の機能的構成の図５や図６とは異なる実施例を示している。

図７の例の撮像ボケ抑制処理部１３は、入力部５１、第１の遅延部である可変ＤＬ部５２、第２の遅延部である可変ＤＬ部５３、補正部５４−１、遅延時間変更部５５、および、出力部５６から構成される。補正部５４−１は、減算部６１乃至加算部７３から構成される。

以下、図８に示される各信号を参照しつつ、図７の例の撮像ボケ抑制処理部１３の詳細な構成（各ブロックの接続形態）とその動作について併せて説明する。即ち、図８は、図７の例の撮像ボケ抑制処理部１３の各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。

図７において、入力部５１には、高フレームレート変換部１１により高フレームレート変換処理が施された入力画像の信号、例えば、図８の信号aが供給される。この入力部５１に入力された信号ａは可変ＤＬ部５２に供給される。すると、可変ＤＬ部５２からは、信号ａに対して第１の遅延時間Ｔだけ遅延された例えば図８の信号ｂが出力される。可変ＤＬ部５２の出力信号bは可変ＤＬ部５３に供給される。すると、信号ｂに対して第２の遅延時間Ｔだけ遅延された例えば図８の信号ｃ、即ち、信号ａに対して時間２Ｔだけ遅延された信号cが、可変ＤＬ部５３から出力される。

可変ＤＬ部５２の入力信号ａと可変ＤＬ部５３の出力信号ｃとが減算部６１に供給される。減算部６１は、信号ｃから信号ａを減算し、その結果得られる例えば図８の信号ｄを全波整流部６２に供給する。さらに、この信号dは、全波整流部６２を介して、正極性の信号を負極性に変換する負号化部６３に供給される。その結果、負号化部６３からは、例えば図８の信号eが出力されて、減算部７１に供給される。

また、可変ＤＬ部５２の入力信号ａと出力信号bとが減算部６４に供給される。減算部６４は、信号ｂから信号ａを減算し、その結果得られる例えば図８の信号ｆを全波整流部６５に供給する。さらに、この信号ｆは、全波整流部６５と負号化部６６を通過することにより、例えば図８の信号gに変換されて、ＭＩＮ出力部７０に供給される。

また、可変ＤＬ部５３の入力信号ｂ（可変ＤＬ部５２の出力信号b）と出力信号cとが減算部６７に供給される。減算部６７は、信号ｃから信号ｂを減算し、その結果得られる例えば図８の信号ｈを全波整流部６８に供給する。さらに、この信号ｈは、全波整流部６８と負号化部６９を通過することにより、例えば図８の信号ｉに変換されて、ＭＩＮ出力部７０に供給される。

ＭＩＮ（最小値）出力部７０は、供給された信号ｇと信号iとのうちの小さい方を取り出す。従って、ＭＩＮ出力部７０からは、例えば図８の信号jが出力され減算部７１に供給される。

減算部７１は、負号化部６３から供給された信号ｅから、ＭＩＮ出力部７０から供給された信号ｊを減算し、その結果得られる例えば図８の信号ｋをスライス部７２に供給する。

スライス部７２に供給された信号ｋは、例えば図８の信号ｌに変換されて、加算部７３に供給される。

加算部７３は、可変ＤＬ部５２の出力信号ｂに対して、スライス部７２から供給された信号ｌを補正信号として加算して、その結果得られる例えば図８の信号ｍを出力画像の信号として出力部５６を介して出力する。

換言すると、補正部５４−１においては、可変ＤＬ部５２から出力されて可変ＤＬ部５３に入力された画像信号ｂのうちの注目画素に対応する第１の部分信号、可変ＤＬ部５２に入力された画像信号ａのうちの注目画素に対応する部分信号が入力された略時点よりも第１の遅延時間Ｔだけ前に入力された第２の部分信号、および、可変ＤＬ部５３から出力された画像信号ｃのうちの注目画素に対応する部分信号が出力された略時点から第２の遅延時間Ｔだけ後に出力された第３の部分信号を利用して、第１の部分信号のレベル（注目画素の画素値）の補正量が決定される。即ち、第１の部分信号のレベル（注目画素の画素値）に対する補正量とは、スライス部７２から出力され加算部７３に入力される信号ｌのうちの注目画素に対応する第４の部分信号のレベルである。そして、加算部７３において、信号bのうちの第１の部分信号のレベル（注目画素の画素値）に対して、信号lのうちの第４の部分信号のレベル（補正量）が加算されることで、第１の部分信号のレベルが補正されるのである。

従って、可変ＤＬ部５２の第１の遅延時間Ｔと、可変ＤＬ部５３の第２の遅延時間Ｔとを、注目画素における移動速度に応じて適切に可変させることで、注目画素に対する補正量（信号lのうちの第４の部分信号のレベル）を適切に可変させることができる。

換言すると、信号aのうちの上述した第２の部分信号のレベルとは、移動ベクトルの方向または逆方向に、第１の遅延時間Ｔに対応するＮ画素分だけ注目画素から離間した第１の他の画素の画素値に相当する。同様に、信号cのうちの上述した第３の部分のレベルとは、移動ベクトルの方向または逆方向に、第２の遅延時間Ｔに対応するＭ（＝Ｎ）画素分だけ注目画素から離間した第２の他の画素の画素値に相当する。

従って、信号ｌのうちの第４の部分信号のレベルとは、注目画素の画素値、第１の他の画素の画素値、および第２の他の画素の画素値に基づいて決定された補正量であると言える。また、可変ＤＬ部５２の第１の遅延時間Ｔと可変ＤＬ部５３の第２の遅延時間Ｔとを、注目画素の移動速度に応じて可変させることとは、結局、第１の他の画素と第２の他の画素として採用する画素を、注目画素の移動速度に応じて可変させることであると言える。

以上のように、図７の例の撮像ボケ抑制処理部１３は、注目画素の移動速度に応じて第１の他の画素と第２の他の画素とを適切に可変することで、入力画像（入力信号ａ）に比較して、撮像ボケによって鈍った分だけ（必要な分だけ）エッジ部分が立った信号を出力画像（出力信号ｍ）として出力することが可能になる。これにより、各フレーム内の撮像ボケに起因する劣化部分（ボケ画像）が劣化前の状態（ボケ画像がない状態）にほぼ回復し、その結果、鮮明な映像が図示せぬ表示装置に表示されるのである。

なお、図７の例の撮像ボケ抑制処理部１３にスライス部７２が仮に設けられなかった場合には、例えば図８の信号ｎが出力画像の信号として出力部５６から出力されることになる。この場合、例えば上向きのパルスではレベルが高くなって、図示せぬ表示装置に表示される画像が不自然になる。また下向きのパルスではパルスの中央に大きな凹部が形成されて、図示せぬ表示装置に表示される画像が不自然になる。

これに対して、図７の例の撮像ボケ抑制処理部１３においては、スライス部７２が設けられているので、このような不自然な画像の形成を防止することが可能になる。

また、上述したように、図７の例の撮像ボケ抑制処理部１３の補正部５４−１は、可変ＤＬ部５２と可変ＤＬ部５３との入出力信号のうちの所定の２つの信号を減算して得られる減算信号のうちの、３つの減算信号をそれぞれ全波整流して負号化し、これらの３つの信号に対して所定の演算処理を施した後に、負極性の信号成分である信号ｌのみを取り出して、その信号ｌを、注目画素に対する補正量として利用する。これにより、プリシュート及びオーバーシュートが付加されることがない出力信号、例えば図８の出力信号mが得られる。

即ち、本発明の目的は、撮像ボケ後の画像信号を撮像ボケ前の画像信号に戻す（近づける）ことである。撮像ボケ前の画像信号のエッジ部分には、当然ながらプリシュートとオーバーシュートとは付加されていない。従って、撮像ボケ抑制処理部１３の出力信号にプリシュートまたはオーバーシュートが付加されている場合、その出力信号は、撮像ボケ前の画像信号が復元された信号であるとは言い難い。即ち、撮像ボケの抑制を目的とする補正としては過補正となっている。そこで、図７の例の撮像ボケ抑制処理部１３では、プリシュートとオーバーシュートとが付加されていない出力信号、即ち、撮像ボケ前の画像信号により近い画像信号を出力するようにしているのである。

以上、第１の遅延部、第２の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部１３として、図７の構成を有する撮像ボケ抑制処理部１３について説明したた。ただし、第１の遅延部、第２の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部１３は、当然ながら図７の例に限定されず、様々な実施の形態を取ることが可能である。

具体的には例えば、第１の遅延部、第２の遅延部、補正部、および、遅延時間変更部を備える撮像ボケ抑制処理部１３は、上述した図７の構成の他、図９に示されるように構成することもできる。即ち、図９は、撮像ボケ抑制処理部１３の機能的構成の図５、図６、および図７とは異なる実施例を示している。

なお、図９の例の撮像ボケ抑制処理部１３において、図７の例の撮像ボケ抑制処理部１３と同一の機能と構成を有するブロックについては、図７と対応する符号を付してある。

図９の例の撮像ボケ抑制処理部１３は、入力部５１、第１の遅延部である可変ＤＬ部５２、第２の遅延部である可変ＤＬ部５３、補正部５４−２、遅延時間変更部５５、および、出力部５６から構成される。補正部５４−２には、図７の補正部５４−１にも設けられている減算部６１乃至加算部７３に加えて、極性反転部７４乃至乗算部８４がさらに設けられている。

即ち、図７と図９とを比較するに、入力部５１、可変ＤＬ部５２、可変ＤＬ部５３、遅延時間変更部５５、出力部５６、および、補正部５４−２のうちの減算部６１乃至加算部７３までの構成は同一とされている。

そこで、以下、図１０に示される各信号を参照しつつ、図９の例の撮像ボケ抑制処理部１３のうちの図７の例とは異なる部分、即ち、極性反転部７４乃至乗算部８４の詳細な構成（各ブロックの接続形態）とその動作についてさらに説明する。即ち、図１０は、図９の例の撮像ボケ抑制処理部１３のうちの図７の例とは異なる各ブロックのそれぞれの出力信号の例を示すタイミングチャートである。

例えばいま、図９のスライス部７２からは、図８の信号ｌと同一の図１０の信号aaが出力されているとする。ただし、このスライス部７２の出力信号aaは、図９の例では、加算部７３に供給されずに、乗算部８４に供給されている。

なお、図１０においては、このスライス部７２の出力信号aaを含む信号aa乃至信号nnは、図８の信号lを含む信号a乃至ｎに比較して振幅が２倍にされている。図１０の信号aa乃至信号nnの時間変化を明瞭にするためである。

また、図９の減算部６４からは、例えば図８の信号ｆと同一の図１０の信号bbが出力されている。ただし、この減算部６４の出力信号bbは、全波整流部６５に供給される他さらに、ＭＡＸ出力部７５とＭＩＮ出力部７６とに供給されている。

また、図９の減算部６７の出力信号は、全波整流部６８に供給される他さらに、極性反転部７４に供給されている。極性反転部７４に供給された信号はその極性が反転されて、その結果、例えば図１０の信号ccが得られ、この信号ccがＭＡＸ出力部７７とＭＩＮ出力部７８とに供給されている。

また、ＭＡＸ出力部７５、ＭＩＮ出力部７６、ＭＡＸ出力部７７、および、ＭＩＮ出力部７８のそれぞれには、交流接地電位が供給される。

これによって、ＭＡＸ出力部７５からは、例えば図１０に示されるような、減算部６４の出力信号bbの正極性の部分である信号ddが出力されて、加算部７９に供給される。ＭＩＮ出力部７６からは、例えば図１０に示されるような、減算部６４の出力信号bbの負極性の部分である信号ggが出力されて、加算部８１に供給される。ＭＡＸ出力部７７からは、例えば図１０に示されるような、極性反転部７４の出力信号ccの正極性の部分である信号ffが出力されて、加算部８１に供給される。ＭＩＮ出力部７８からは、例えば図１０に示されるような、極性反転部７４の出力信号ccの負極性の部分である信号eeが出力されて、加算部７９に供給される。

加算部７９は、ＭＡＸ出力部７５の出力信号ddと、ＭＩＮ出力部７８の出力信号eeとを加算し、その結果得られる例えば図１０の信号hhをインバーターアンプ８０に供給する。加算部８１は、ＭＩＮ出力部７６の出力信号ggと、ＭＡＸ出力部７７の出力信号ffとを加算し、その結果得られる例えば図１０の信号jjをインバーターアンプ８２に供給する。

インバーターアンプ８０は、加算部７９の出力信号hhの極性を反転して矩形波に成形し、その結果得られる例えば図１０の信号iiを加算部８３に供給する。同様に、インバーターアンプ８２は、加算部８１の出力信号jjの極性を反転して矩形波に成形し、その結果得られる例えば図１０の信号kkを加算部８３に供給する。

加算部８３は、インバーターアンプ８０の出力信号iiと、インバーターアンプ８２の出力信号kkとを加算し、その結果得られる例えば図１０の信号llを乗算部８４に供給する。

このようにして、乗算部８４においては、加算部８３の出力信号llとスライス部７２の出力信号aaが供給されるので、それらの信号llと信号aaとが乗算され、その結果得られる例えば図１０の信号mm、即ち、スライス部７２の出力信号aaの傾きの符号が変化した部分の極性が反転された信号mmが出力される。

そしてこの乗算部８４の出力信号mmが補正信号として加算部７３に供給されて、この加算部７３において、この補正信号mmが、上述した可変ＤＬ部５２の出力信号（図８の信号bと同一の信号）に加算され、その結果得られる例えば図１０の信号nnが、出力画像の信号として出力部５６を介して出力されるのである。

以上説明したように、図９の例の撮像ボケ抑制処理部１３は、図７の例に対してさらに、減算信号bb，ccの正極性の部分と負極性の部分とを分離し、これらの信号に対して所定の演算処理を施して、その結果得られる矩形波信号llを用いて補正信号aaの極性を制御することによって、さらに出力信号の輪郭を鋭角にした（エッジを急峻にする）補正を行うことができる。

以上、本発明が適用される図１の画像処理装置１のうちの撮像ボケ抑制処理部１３の実施の形態として、図５、図６、図７、および図９の機能的構成をそれぞれ有する撮像ボケ抑制処理部１３について説明した。

これらの機能的構成を有する撮像ボケ抑制処理部１３は、各画素値の補正を行う際、上述した例では、移動速度（移動ベクトルの絶対値）をパラメータとして使用したが、この移動速度の他、撮像ボケの特性を示すパラメータであれば任意のパラメータを使用することができる。

具体的には例えば、撮像ボケ抑制処理部１３は、撮像ボケの特性を示すパラメータとして、処理対象の動画像を撮影した時点のカメラのシャッタ速度を利用することができる。なぜならば、例えば図１１に示されるように、シャッタ速度が違うと同図中の時間Ts分だけ撮像ボケの度合いも異なるからである。

即ち、図１１において、上側の図は、シャッタ速度がフレーム速度と同一の1/30秒である場合の図を示しており、下側の図は、シャッタ速度がフレーム速度よりも早い（1/30-Ts）秒である場合の図を示している。図１１の両図とも、横軸は時間軸を表しており、縦軸はシャッタ開口時間の割合を表している。シャッタ開口時間の割合とは、例えば、シャッタ速度をＶ［秒］（Ｖは、０以上の任意の値）とし、シャッタが開口された第１の時刻の割合を０％とし、第１の時刻からＶ［秒］が経過してシャッタが閉じる第２の時刻の割合を１００％とし、かつ、第１の時刻から現時刻までの時間Ｔａ［秒］（Ｔａは、０以上Ｖ以下の任意の正値）とした場合に、（Ｔａ/Ｖ）×１００［％］で示される割合である。この場合、図１１の両図の縦軸において、時間軸と接する値が１００[％]になり、最大値（各直線の最上位の値）が０［％］になる。即ち、図１１の両図の縦軸においては、下方にいく程、シャッタ開口時間の割合は大きくなっていくのである。

例えばいま、カメラの１つの検出素子が、フレーム内の１つの画素に対応しているとする。この場合、図１１の上側の図に示されるように、シャッタ速度が1/30秒であるときには、カメラの１つの検出素子からは、シャッタが開口している1/30秒間に入射された光の積分値が、対応する画素の画素値として出力される。これに対して、シャッタ速度が（1/30-Ts）秒である場合には、カメラの１つの検出素子からは、シャッタが開口している（1/30-Ts）秒間に入射された光の積分値が、対応する画素の画素値として出力される。

即ち、シャッタ速度は、検出素子における光の蓄積時間に対応している。従って、例えば、実空間において所定の検出素子の前を横切って移動するオブジェクトが存在する場合、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、その検出素子には、オブジェクトに対応する光とは異なる光、例えば、背景の光が時間Ｔs［秒］分だけ多く入射されてしまうことになる。これにより、シャッタ速度が（1/30-Ts）秒のときよりも1/30秒のときの方が、１つの検出素子から出力される画素値の中に、オブジェクトとは異なる背景等の光の蓄積値が混合される割合が多くなってしまう。その結果、撮像ボケの度合いが大きくなってしまう。

以上の内容をまとめると、シャッタ速度が遅くなればなるほど、撮像ボケの度合いが大きくなる。即ち、シャッタ速度は、撮像ボケの一特性を示していると言える。従って、シャッタ速度も、移動速度と同様に、撮像ボケの特性を示すパラメータとして利用することが可能である。

なお、このようなシャッタ速度が、撮像ボケの特性を示すパラメータとして利用される場合には、図１の撮像ボケ特性検出部１２は、例えば、高フレームレート変換部１１から供給された動画像（データ）に付加されているヘッダ情報などを解析することで、各フレームのシャッタ速度を検出し、それらを撮像ボケの特性を示すパラメータとして、撮像ボケ抑制処理部１３に供給することができる。撮像ボケ抑制処理部１３は、例えば、移動速度の代わりにこのシャッタ速度を利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。このシャッタ速度を利用する場合の撮像ボケ抑制処理部１３の構成は、移動速度を利用する場合のそれと基本的に同様の構成を取ることができる。即ち、上述した図５、図６、図７、および図９のいずれの機能的構成を有する撮像ボケ抑制処理部１３も、シャッタ速度をパラメータ値として利用して上述した一連の処理を実行することで、各画素値を適切に補正することができる。

以上、本発明が適用される画像処理装置の実施の形態として、図１に示される機能的構成を有する画像処理装置１について説明したが、本発明は、図１の例に限定されず、その他様々な実施の形態を取ることが可能である。

具体的には例えば、図１２乃至図１５のそれぞれには、本発明が適用される画像処理装置の他の実施の形態の機能ブロック図が示されている。

例えば、図１２の画像処理装置１０１は、図１の画像処理装置１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

ただし、図１２の画像処理装置１０１においては、撮像ボケ抑制処理部１３の補正処理の対象は、画像処理装置１０１の入力動画像、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像である。このため、撮像ボケ特性検出部１２も、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。

従って、図１２の画像処理装置１０１の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ３、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

また、例えば、図１３の画像処理装置１０２は、図１の画像処理装置１や図１２の画像処理装置１０１と同様に、高フレームレート変換部１１、撮像ボケ特性検出部１２、および、撮像ボケ抑制処理部１３から構成される。

この図１３の画像処理装置１０２においては、撮像ボケ抑制処理部１３の補正処理の対象は、図１の画像処理装置１と同様に、入力動画像に対して高フレームレート変換処理が高フレームレート変換部１１により施された結果得られる動画像である。即ち、撮像ボケ抑制処理部１３は、高フレームレート変換処理が施された後の動画像に対して補正処理を施す。

ただし、図１３の画像処理装置１０２の撮像ボケ特性検出部１２は、入力動画像の中から、即ち、高フレームレート変換部１１により高フレームレート変換処理が施される前の動画像の中から、撮像ボケの特性を示すパラメータを検出し、その検出結果を撮像ボケ抑制処理部１３に供給している。即ち、図１３の画像処理装置１０２の撮像ボケ抑制処理部１３は、高フレームレート変換処理が施される前の動画像の中から検出されたパラメータの値を利用して、各画素値を補正している。

以上のことから、図１３の画像処理装置１０２の画像処理も、図３の画像処理と同様の流れで実行される処理、即ち、ステップＳ１、Ｓ２、Ｓ３、Ｓ４、およびＳ５のそれぞれの処理がその順番で実行される処理となる。ただし、ステップＳ３の処理は、「高フレームレート変換処理が施される前の動画像、即ち、ステップＳ１の処理で入力された動画像を構成する各フレームのそれぞれの中から、撮像ボケの特性を示すパラメータの値を検出する」という処理になる。

このような図１２の画像処理装置１０１と図１３の画像処理装置１０２とに対して、図１４の画像処理装置１１２と図１５の画像処理装置１３１とは、高フレームレート変換部１１と撮像ボケ抑制処理部１３とから構成され、撮像ボケ特性検出部１２はその構成要素に含んでいない。

即ち、図１４と図１５に示されるように、撮像ボケ特性検出部１２は、他の画像処理装置１１１（以下、図面の記載にあわせて、画像信号生成装置１１１と称する）内に重畳部１２１とともに設けられている。この画像信号生成装置１１１に入力された動画像は、撮像ボケ特性検出部１２と重畳部１２１とに供給される。撮像ボケ特性検出部１２は、この動画像の中から、撮像ボケの特性を示すパラメータの値を検出し、重畳部１２１に供給する。重畳部１２１は、この動画像に対して、撮像ボケの特性を示すパラメータの値を重畳し、その結果得られる信号を出力する。

従って、図１４の画像処理装置１１２と図１５の画像処理装置１３１には、撮像ボケの特性を示すパラメータの値が重畳された動画像（信号）が画像信号生成装置１１１から供給されてくる。

そこで、例えば、図１４の画像処理装置１１２では、撮像ボケ抑制処理部１３が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像を構成する各フレームのそれぞれについて、分離された撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正する。

次に、高フレームレート変換部１１が、撮像ボケ抑制処理部１３により補正された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換され、かつ補正がなされた動画像を出力する。

以上のことから、図１４の画像処理装置１１２の画像処理は、図３の画像処理のうちの、ステップＳ１、Ｓ４、Ｓ２、およびＳ５のそれぞれの処理がその順番で実行される処理となる。

これに対して、例えば、図１５の画像処理装置１３１では、高フレームレート変換部１１が、撮像ボケの特性を示すパラメータの値と動画像とを分離して、分離された動画像に対して高フレームレート変換処理を施し、その結果得られる動画像、即ち、高フレームレートに変換された動画像を撮像ボケ抑制処理部１３に供給する。このとき、高フレームレート変換部１１により分離された撮像ボケの特性を示すパラメータの値も、撮像ボケ抑制処理部１３に供給される。

次に、撮像ボケ抑制処理部１３が、高フレームレートに変換された動画像を構成する各フレームのそれぞれについて、撮像ボケの特性を示すパラメータの値に基づいて各画素値を補正し、その結果得られる動画像、即ち、補正がなされ、かつ高フレームレートに変換された動画像を出力する。

ところで、上述した一連の処理（或いはそのうちの一部分の処理）は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。

この場合、図１の画像処理装置１全体若しくはその一部分（例えば、撮像ボケ抑制処理部１３等）、図１２の画像処理装置１０１全体若しくはその一部分、図１３の画像処理装置１０２全体若しくはその一部分、図１４の画像処理装置１１２全体若しくはその一部分、および、図１５の画像処理装置１３１全体若しくはその一部分は、例えば、図１６に示されるようなコンピュータで構成することができる。

図１６において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の画像処理装置との通信処理を行う。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述したように、本明細書において、システムとは、複数の処理装置や処理部により構成される装置全体を表すものである。

さらにまた、上述の各種実施の形態で実行される高フレームレート変換処理において、入力映像信号の第１のフレームレート（フレーム周波数）と、出力映像信号の第２のフレームレート（フレーム周波数）との組み合わせは、特に限定されず任意の組み合わせで良い。具体的には例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１２０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして６０（または３０）〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして２４０［Ｈｚ］を採用することができる。例えば、入力映像信号の第１のフレームレートとして、ＰＡＬ（Phase Alternation by Line）方式に対応する５０〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとして１００〔Ｈｚ〕や２００〔Ｈｚ〕を採用することができる。例えば、入力映像信号の第１のフレームレートとして、テレシネに対応する４８〔Ｈｚ〕を採用し、かつ、出力映像信号の第２のフレームレートとしてそれ以上の所定の周波数を採用することができる。

なお、このような既存のテレビジョン方式等に由来する入力映像信号に対して、上述の各種実施の形態における高フレームレート変換処理を施すことで、既存のコンテンツを高品位に表示することが可能になる。

本発明が適用される画像処理装置の機能的構成の一例を示すブロック図である。 人間の網膜上で形成される像のボケの周波数特性を示す図である。 図１の画像処理装置が実行する画像処理を説明するフローチャートである。 移動ベクトル（移動速度）に応じた撮像ボケの周波数特性を示す図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の一例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図５とは異なる例を示すブロック図である。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図５と図６とは異なる例を示すブロック図である。 図７の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。 図１の画像処理装置のうちの撮像ボケ抑制処理部の機能的構成の図５、図６、および図７とは異なる例を示すブロック図である。 図９の撮像ボケ抑制処理部の各部の出力信号の例を示すタイミングチャートである。 カメラのシャッタ速度と、撮像ボケの特性とを説明する図である。 本発明が適用される画像処理装置の機能的構成の図１とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１と図１２とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図１２、および図１３とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の機能的構成の図１、図１２、図１３、および図１４とは異なる例を示すブロック図である。 本発明が適用される画像処理装置の全部または一部分のハードウエア構成の一例を示すブロック図である。

符号の説明

１ 画像処理装置， １１ 高フレームレート変換部， １２ 撮像ボケ特性検出部， １３ 撮像ボケ抑制処理部， ２１ 移動平均フィルタ（ローパスフィルタ）特性変換部， ２２ 逆移動平均フィルタ（ハイパスフィルタ）生成部， ２３ 移動平均フィルタ部（ハイパスフィルタ部）， ３１ 移動平均フィルタ（ローパスフィルタ）特性変換部， ３２ 移動平均フィルタ部（ローパスフィルタ部）， ３３ 加算部， ３４ 加算部， ５１ 入力部， ５２ 可変ＤＬ部， ５３ 可変ＤＬ部， ５４−１，５４−２ 補正部， ５５ 遅延時間変更部， ５６ 出力部， １０１，１０２，１１２，１３１ 画像処理装置， ２０１ ＣＰＵ， ２０２ ＲＯＭ， ２０３ ＲＡＭ， ２０８ 記憶部， ２１１ リムーバブル記録媒体

Claims (40)

1. 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置において、
   前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、
   前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出手段と、
   前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出手段により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記第１のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記検出手段は、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記補正手段は、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
   前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、
   前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成手段と、
   処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成手段により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリング手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
6. 前記補正手段は、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
   前記検出手段により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換手段と、
   処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換手段により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリング手段と、
   前記注目画素の補正前の画素値と、前記フィルタリング手段から出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算手段と、
   前記減算手段から出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
7. 前記補正手段は、
   前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
   処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延手段と、
   第１の遅延手段から出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延手段と、
   前記第１の遅延手段に入力された前記第１の画像信号、前記第１の遅延手段から出力されて前記第２の遅延手段に入力された前記第２の画像信号、および、前記第２の遅延手段から出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正手段と、
   前記検出手段により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延手段の前記第１の遅延時間を変更するとともに、前記第２の遅延手段の前記第２の遅延時間を変更する遅延時間変更手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
8. 前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
   ことを特徴とする請求項１に記載の画像処理装置。
10. 前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
    ことを特徴とする請求項１に記載の画像処理装置。
11. 前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
    ことを特徴とする請求項１に記載の画像処理装置。
13. 所定の撮影装置により撮影された動画像を、アクセスユニットを単位として処理する画像処理装置の画像処理方法において、
    前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むことを特徴とする画像処理方法。
14. 前記第１のレートは、前記撮影装置により前記動画像が撮影されたときのアクセスユニットのレートである
    ことを特徴とする請求項１３に記載の画像処理方法。
15. 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する各画素のうちの少なくとも１つの画素における移動ベクトルのそれぞれを、前記パラメータの値として検出する処理を含む
    ことを特徴とする請求項１３に記載の画像処理方法。
16. 前記検出ステップは、前記動画像を構成する複数の前記アクセスユニットのそれぞれが前記撮影装置により撮影されたときの前記撮影装置のシャッタ速度のそれぞれを、前記パラメータの値として検出する処理を含む
    ことを特徴とする請求項１３記載の画像処理方法。
17. 前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
    前記注目画素に対するステップとして、
    前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、
    前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタの逆フィルタを生成する逆フィルタ生成ステップと、
    処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記逆フィルタ生成ステップの処理により生成された前記逆フィルタをかけることで、前記注目画素の画素値を補正するフィルタリングステップと
    を含むことを特徴とする請求項１３に記載の情報処理方法。
18. 前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
    前記注目画素に対するステップとして、
    前記検出ステップの処理により検出された１以上の前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記撮像ボケを示すローパスフィルタの特性を変換するフィルタ特性変換ステップと、
    処理対象の前記アクセスユニットのうちの前記注目画素を含む所定のブロックに対して、前記フィルタ特性変換ステップの処理により特性が変換された前記ローパスフィルタをかけ、その結果得られる前記注目画素の補正された画素値を第１の値として出力するフィルタリングステップと、
    前記注目画素の補正前の画素値と、前記フィルタリングステップの処理結果として出力された前記第１の値との差分を演算し、その結果得られる差分値を第２の値として出力する減算ステップと、
    前記減算ステップの処理結果として出力された前記第２の値を、前記注目画素の補正前の前記画素値に加算し、その結果得られる加算値を、前記注目画素の補正後の画素値として出力する加算ステップと
    を含むことを特徴とする請求項１３に記載の情報処理方法。
19. 前記補正ステップは、
    前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、処理対象の前記アクセスユニットを構成する前記各画素のうちの処理対象として注目すべき画素を注目画素として設定し、
    前記注目画素に対するステップとして、
    処理対象の前記アクセスユニットのうちの、前記注目画素を含む所定の方向に連続して並ぶ画素群に対応する第１の画像信号が順次入力され、入力された前記第１の画像信号を、Ｎ画素分（Ｎは１以上の整数値）に対応する第１の遅延時間だけ遅延させ、その結果得られる第２の画像信号を出力する第１の遅延ステップと、
    第１の遅延ステップの処理結果として出力された前記第２の画像信号が順次入力され、入力された前記第２の画像信号を、Ｍ画素分（Ｍは、Ｎを含む１以上の整数値）に対応する第２の遅延時間だけ遅延させ、その結果得られる第３の画像信号を出力する第２の遅延ステップと、
    前記第１の遅延ステップの処理対象として入力された前記第１の画像信号、前記第１の遅延ステップの処理結果として出力されて前記第２の遅延ステップの処理対象として入力された前記第２の画像信号、および、前記第２の遅延ステップの処理結果として出力された前記第３の画像信号を利用して、前記注目画素の画素値を補正する画素値補正ステップと、
    前記検出ステップの処理により検出された前記パラメータの値のうちの前記注目画素に対応する値に応じて、前記第１の遅延ステップの前記第１の遅延時間を変更するとともに、前記第２の遅延ステップの前記第２の遅延時間を変更する遅延時間変更ステップと
    を含むことを特徴とする請求項１３に記載の情報処理方法。
20. 前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
    ことを特徴とする請求項１３に記載の画像処理方法。
21. 前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
    ことを特徴とする請求項１３に記載の画像処理方法。
22. 前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
    ことを特徴とする請求項１３に記載の画像処理方法。
23. 前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
    ことを特徴とする請求項１３に記載の画像処理方法。
24. 前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
    ことを特徴とする請求項１３に記載の画像処理方法。
25. 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、
    前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むプログラムを記録していることを特徴とする記録媒体。
26. 所定の撮影装置により撮影された動画像に対して、アクセスユニットを単位として施す画像処理の制御を行うコンピュータに実行させるプログラムであって、
    前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記動画像を構成する複数のアクセスユニットのそれぞれについて、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示すパラメータの値を１以上検出する検出ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記検出ステップの処理により検出された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むことを特徴とするプログラム。
27. 所定の撮影装置により撮影された動画像と、
    前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
    が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置において、
    前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換手段と、
    前記高レート変換手段による前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正手段と
    を備えることを特徴とする画像処理装置。
28. 前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
    ことを特徴とする請求項２７に記載の画像処理装置。
29. 前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
    ことを特徴とする請求項２７に記載の画像処理装置。
30. 前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
    ことを特徴とする請求項２７に記載の画像処理装置。
31. 前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
    ことを特徴とする請求項２７に記載の画像処理装置。
32. 前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
    ことを特徴とする請求項２７に記載の画像処理装置。
33. 所定の撮影装置により撮影された動画像と、
    前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
    が他の画像処理装置から供給されてきた場合、その動画像に対して処理を施す画像処理装置の画像処理方法において、
    前記他の画像処理装置から供給された前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、前記他の画像処理装置から供給された前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、前記他の画像処理装置から供給された前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むことを特徴とする画像処理方法。
34. 前記第１のレートは３０Hzであり、前記第２のレートは１２０Hzである
    ことを特徴とする請求項３３に記載の画像処理方法。
35. 前記第１のレートは６０Hzであり、前記第２のレート１２０Hzである
    ことを特徴とする請求項３３に記載の画像処理方法。
36. 前記第１のレートは６０Hzであり、前記第２のレートは２４０Hzである
    ことを特徴とする請求項３３に記載の画像処理方法。
37. 前記第１のレートは５０Hzであり、前記第２のレートは１００Hzである
    ことを特徴とする請求項３３に記載の画像処理方法。
38. 前記第１のレートは５０Hzであり、前記第２のレートは２００Hzである
    ことを特徴とする請求項３３に記載の画像処理方法。
39. 所定の撮影装置により撮影された動画像と、
    前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
    が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、
    与えられた前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むプログラムを記録していることを特徴とする記録媒体。
40. 所定の撮影装置により撮影された動画像と、
    前記動画像を構成する複数のアクセスユニットのそれぞれについての、前記撮影装置により前記動画像が撮影されるときに発生する撮像ボケの特性を示す１以上のパラメータの値と
    が与えられた場合、その動画像に対する画像処理の制御を行うコンピュータに実行させるプログラムであって、
    与えられた前記動画像におけるアクセスユニットのレートを、現在の第１のレートからそれよりも高い第２のレートに変換する高レート変換処理を実行する高レート変換ステップと、
    前記高レート変換ステップによる前記高レート変換処理が実行される前または後に、与えられた前記動画像を構成する複数の前記アクセスユニットのそれぞれについて、与えられた前記パラメータの値のうちの処理対象のアクセスユニットに対応する1以上の値に基づいて、処理対象の前記アクセスユニットを構成する各画素値を補正する補正ステップと
    を含むことを特徴とするプログラム。

Images