JP2010015483A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2010015483A JP2010015483A JP2008176621A JP2008176621A JP2010015483A JP 2010015483 A JP2010015483 A JP 2010015483A JP 2008176621 A JP2008176621 A JP 2008176621A JP 2008176621 A JP2008176621 A JP 2008176621A JP 2010015483 A JP2010015483 A JP 2010015483A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- pixel
- unit
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】動画像に含まれるジャーキネス劣化を低減させる画像処理装置を提供する。
【解決手段】
記録媒体２００に記録された動画像から、動きベクトルを生成する動きベクトル生成処理部１４０と、代表的動きベクトルを求める代表的動きベクトル生成処理部１７０と、動いている画素を判定する動きピクセル判定処理部１８０と、生成された動きベクトルに応じて、動きぼけを付加する動きぼけ付加処理部１５０とを備え、動きぼけを付加する動きぼけ付加処理部１５０は、動きベクトルに近い代表的動きベクトルを基準ベクトルとしてボケを付加することにより、より自然にジャーキネス効果を低減した動画像を出力できるようにする。
【選択図】図１
【解決手段】
記録媒体２００に記録された動画像から、動きベクトルを生成する動きベクトル生成処理部１４０と、代表的動きベクトルを求める代表的動きベクトル生成処理部１７０と、動いている画素を判定する動きピクセル判定処理部１８０と、生成された動きベクトルに応じて、動きぼけを付加する動きぼけ付加処理部１５０とを備え、動きぼけを付加する動きぼけ付加処理部１５０は、動きベクトルに近い代表的動きベクトルを基準ベクトルとしてボケを付加することにより、より自然にジャーキネス効果を低減した動画像を出力できるようにする。
【選択図】図１
Description
本発明は、動画像に対して動きぼけを付加する画像処理を行う画像処理装置、画像処理方法、及びその画像処理をコンピュータ等の演算処理装置に実行させるプログラムに関する。
従来の動画像撮像装置及び動画像再生装置の構成の具体例を、図２３を用いて説明する。
動画像撮像装置５００は、動画像を撮像してＭＰＥＧ（Moving Picture Experts Group）などの規格で符号化し、この符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録するものであり、具体的には次のような構成を有している。
動画像撮像装置５００は、動画像を撮像してＭＰＥＧ（Moving Picture Experts Group）などの規格で符号化し、この符号化された画像データをＤＶＤ（Digital Versatile Disc）などの記録媒体７００に記録するものであり、具体的には次のような構成を有している。
即ち動画像撮像装置５００は、被写体像からの光を集光する撮像光学系５１０と、この撮像光学系５１０により集光された光を受光して画像信号に変換する撮像素子５２０と、この撮像素子５２０により変換された画像信号を符号化する符号化処理部５３０を有する。
また動画像撮像装置５００は、符号化処理部５３０により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部５４０と、符号化処理部５３０により符号化された画像データをＤＶＤなどの記録媒体７００に記録する記録処理部５５０を備える。
また動画像撮像装置５００は、符号化処理部５３０により符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部５４０と、符号化処理部５３０により符号化された画像データをＤＶＤなどの記録媒体７００に記録する記録処理部５５０を備える。
撮像光学系５１０は、外部から入射する被写体光の光量を調節する絞り機構５１１と、絞り機構５１１により光量を調節された被写体光を撮像素子５２０の受光面に集光させる光学レンズ系５１２とから構成される。
一方、動画像再生装置６００は、符号化された画像データを復号して、ディスプレイなどに表示出力するものであり、具体的には次のような構成を有している。
即ち動画像再生装置６００は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部６１０と、記録媒体７００から符号化された画像データを読み出す読出処理部６２０を有する。
また動画像再生装置６００は、受信処理部６１０及び読出処理部６２０から出力される符号化された画像データを復号する復号処理部６３０と、復号処理部６３０によって復号された画像信号を表示するディスプレイなどの表示出力部６４０とを備える。
即ち動画像再生装置６００は、所定の伝送路を介して伝送されてくる符号化された画像データを受信する受信処理部６１０と、記録媒体７００から符号化された画像データを読み出す読出処理部６２０を有する。
また動画像再生装置６００は、受信処理部６１０及び読出処理部６２０から出力される符号化された画像データを復号する復号処理部６３０と、復号処理部６３０によって復号された画像信号を表示するディスプレイなどの表示出力部６４０とを備える。
例えば明るい野外などで動画像を撮像するとき、このような従来の動画像撮像装置５００では、絞り機構５１１を絞ることによって撮像素子５２０に入射させる光量を制限して露光量を適切に制御している。
しかしながら、通常、絞り機構５１１を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置５００では、絞り機構５１１によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
しかしながら、通常、絞り機構５１１を絞りすぎると回折現象により像がぼやけてしまう。このため、動画像撮像装置５００では、絞り機構５１１によって光量を調節するのに加えて、シャッタ速度を短くすることで適切な露光制御を行っている。
また、絞り機構が設けられていない動画像撮像装置では、シャッタ速度を変更することで露光制御を行っている。
このようにして、従来の動画像撮像装置５００では、シャッタ速度を短くすることで、野外撮影などにおいて適切な露光制御を行うことができるが、これに伴って次のような現象が現れてくる。
すなわち、従来の動画像撮像装置５００では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
すなわち、従来の動画像撮像装置５００では、シャッタ速度を短くしすぎると、人間の視覚特性によって画像の動きに滑らかさを欠いた現象となって現れてしまう。
このような動きの不自然さによる動画像の劣化は、一般的にモーションジャーキネス（Motion Jerkiness）と呼ばれる。すなわち、動画像再生装置６００は、動画像撮像装置５００によってジャーキネス劣化を含んで撮像されると、そのままジャーキネス劣化を含んだ画像データを復号して表示出力部６４０により表示することとなる。
本件出願人が先に出願した特許文献１には、このようなジャーキネス劣化を低減するための技術が記載されている。即ち、毎秒当たり２４０フレームのフレームレートで撮像した画像から、動きぼけを付加した毎秒当たり６０フレームのフレームレートの動画像を出力する画像処理装置である。
この画像処理装置では、撮像画像から動画像の移動速度を算出して、この算出結果に応じて１フレームに対して複数のフレームを重ね合わせることにより、動画像に動きぼけを付加する処理を行っている。
この画像処理装置では、撮像画像から動画像の移動速度を算出して、この算出結果に応じて１フレームに対して複数のフレームを重ね合わせることにより、動画像に動きぼけを付加する処理を行っている。
上述したように、動画像のフレームレートに対して非常に高速のシャッタ速度で撮像された画像は、静止画像として表示したときには鮮鋭度が高いが、動画像として表示したときには画像中の動体の動きが滑らかではなく、人間の視覚特性上、不自然に見えてしまう。
また特許文献１に記載された画像処理方法では複数のフレームを重ね合わせる。このため、動きぼけ付加処理前の動画像フレームレートが動きぼけ付加処理後の動画像のフレームレートと同一であるときに、動画像に動きぼけを付加するには、特許文献１に記載された画像処理方法を適用することができない。
また特許文献１に記載された画像処理方法では複数のフレームを重ね合わせる。このため、動きぼけ付加処理前の動画像フレームレートが動きぼけ付加処理後の動画像のフレームレートと同一であるときに、動画像に動きぼけを付加するには、特許文献１に記載された画像処理方法を適用することができない。
そこで本発明は、このような実情に鑑みて提案されたものであり、撮像装置などによって取り込まれた動画像を構成する各単位画像に適切な動きぼけを付加することによりジャーキネス劣化を低減させる処理を行う画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。
本発明の画像処理装置は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎に動きベクトルを生成する動きベクトル生成手段と、上記動きベクトル生成手段により生成された動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出手段と、上記動画像データに対し、上記代表的動きベクトル生成手段により抽出された代表的動きベクトルと上記動きベクトル生成手段により生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加手段とを備える。
また上記処理対象画像と、該処理対象画像以前の処理対象画像との差分を検出することで動いている画素を判定し、動きピクセル判定情報を出力する動きピクセル判定手段をさらに備え、上記動きぼけ付加手段は、入力された動画像データに対して動きぼけを付加する処理を行う際に、上記動きピクセル情報を用いるようにする。
また上記処理対象画像と、該処理対象画像以前の処理対象画像との差分を検出することで動いている画素を判定し、動きピクセル判定情報を出力する動きピクセル判定手段をさらに備え、上記動きぼけ付加手段は、入力された動画像データに対して動きぼけを付加する処理を行う際に、上記動きピクセル情報を用いるようにする。
また、上記動きベクトル生成手段は、画素単位または画素ブロック単位で生成された動きベクトルを平滑化する動きベクトル平滑化処理部を備える。
また、上記代表的動きベクトル抽出手段は、複数の代表的動きベクトルを抽出する。
また、上記代表的動きベクトル抽出手段は、画素単位または画素ブロック単位の代表的動きベクトルを決定し、その代表的動きベクトルを平滑化する。
また、上記動きピクセル判定手段は、動いている画素であるか否かを判定する２値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する。
或いは上記動きピクセル判定手段は、動いている画素であるか否かを判定する多値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する。
また、上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を平滑化して出力する。
また、上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を、動きベクトル方向に膨張させて出力する。
また、上記代表的動きベクトル抽出手段は、複数の代表的動きベクトルを抽出する。
また、上記代表的動きベクトル抽出手段は、画素単位または画素ブロック単位の代表的動きベクトルを決定し、その代表的動きベクトルを平滑化する。
また、上記動きピクセル判定手段は、動いている画素であるか否かを判定する２値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する。
或いは上記動きピクセル判定手段は、動いている画素であるか否かを判定する多値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する。
また、上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を平滑化して出力する。
また、上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を、動きベクトル方向に膨張させて出力する。
また、上記動きぼけ付加手段は、上記動きピクセル判定手段により動いていると判定された画素に動きぼけを付加する処理を行う。
また、上記動きぼけ付加手段は、上記動画像データが撮像装置による撮像により生成された際のシャッタ速度情報に応じて上記動きベクトル生成手段により生成された動きベクトルを補正し、この補正した動きベクトルに応じて上記処理対象画像に動きぼけを付加する処理を行う。
また上記動きぼけ付加手段は、上記処理対象画像を構成する各注目画素の動きベクトル上に位置するパラメータ算出対象画素を特定して、この注目画素からパラメータ算出対象画素までの距離に応じたフィルタパラメータを算出するフィルタパラメータ算出部と、上記処理対象画像を構成する各画素の画素値に、この画素の周辺に位置する上記パラメータ算出対象画素のフィルタパラメータに応じたフィルタ処理を施す動きぼけフィルタとを有する。
また、上記動きぼけ付加手段は、上記動画像データが撮像装置による撮像により生成された際のシャッタ速度情報に応じて上記動きベクトル生成手段により生成された動きベクトルを補正し、この補正した動きベクトルに応じて上記処理対象画像に動きぼけを付加する処理を行う。
また上記動きぼけ付加手段は、上記処理対象画像を構成する各注目画素の動きベクトル上に位置するパラメータ算出対象画素を特定して、この注目画素からパラメータ算出対象画素までの距離に応じたフィルタパラメータを算出するフィルタパラメータ算出部と、上記処理対象画像を構成する各画素の画素値に、この画素の周辺に位置する上記パラメータ算出対象画素のフィルタパラメータに応じたフィルタ処理を施す動きぼけフィルタとを有する。
また、被写体を撮像して動画像を生成する撮像手段をさらに備え、上記撮像手段での撮像によって得られた動画像データが、上記動きベクトル生成手段及び上記動きぼけ付加手段に入力されるようにする。
本発明の画像処理方法は、動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎に動きベクトルを生成する動きベクトル生成ステップと、上記動きベクトル生成ステップで生成された動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出ステップと、上記動画像データに対し、上記代表的動きベクトル生成ステップで抽出された代表的動きベクトルと、上記動きベクトル生成ステップで生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加ステップとを有する。
本発明のプログラムは、このような動きベクトル生成ステップ、代表的動きベクトル抽出ステップ、動きぼけ付加ステップによる処理を演算処理装置に実行させるプログラムである。
本発明のプログラムは、このような動きベクトル生成ステップ、代表的動きベクトル抽出ステップ、動きぼけ付加ステップによる処理を演算処理装置に実行させるプログラムである。
これらの本発明では、動きベクトル生成処理により求められた画像の動きベクトルから代表的動きベクトルを求めている。そして代表的動きベクトルを基準ベクトルとして用いて動きぼけ付加処理を行う。
また処理対象画像についての動いている画素を判定して動きピクセル判定情報を得、これを動画像データに対して動きぼけを付加する処理を行う際に用いる。
また処理対象画像についての動いている画素を判定して動きピクセル判定情報を得、これを動画像データに対して動きぼけを付加する処理を行う際に用いる。
本発明によれば、処理対象画像の動きベクトルと、抽出された代表的動きベクトルに応じて、動いていると判定された画素に動きベクトルに応じて適切な動きぼけを、処理対象画像毎に付加することができる。これにより人間の視覚特性上、より自然にジャーキネス劣化が低減された動画像を出力することができる。
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。本発明が適用された動画像再生装置（第１，第２の実施の形態）及び動画像撮像装置（第３の実施の形態）は、人間の視覚特性上、不自然に見えてしまうジャーキネス劣化を含んだ動画像に対して動きぼけを付加して、このような劣化を低減するものである。
説明は次の順序で行う。
［１．第１の実施の形態］
［１−１：動画像再生装置１００の全体構成］
［１−２：動きベクトル生成処理部１４０］
［１−３：代表的動きベクトル生成処理部１７０］
［１−４：動きピクセル判定処理部１８０］
［１−５：動きぼけ補正処理部１６０］
［１−６：まとめ］
［１−７：変形例（動きピクセル情報が多値の場合）］
［２．第２の実施の形態］
［３．第３の実施の形態］
［４．プログラム］
説明は次の順序で行う。
［１．第１の実施の形態］
［１−１：動画像再生装置１００の全体構成］
［１−２：動きベクトル生成処理部１４０］
［１−３：代表的動きベクトル生成処理部１７０］
［１−４：動きピクセル判定処理部１８０］
［１−５：動きぼけ補正処理部１６０］
［１−６：まとめ］
［１−７：変形例（動きピクセル情報が多値の場合）］
［２．第２の実施の形態］
［３．第３の実施の形態］
［４．プログラム］
［１．第１の実施の形態］
［１−１：動画像再生装置１００の全体構成］
まず、第１の実施形態として、ＤＶＤなどの記録媒体２００に記録された動画像データ、又は所定の伝送路を介して伝送されてくる動画像データを取り込んで、取り込んだ動画像データに含まれているジャーキネス劣化を低減する動画像再生装置１００について説明する。
［１−１：動画像再生装置１００の全体構成］
まず、第１の実施形態として、ＤＶＤなどの記録媒体２００に記録された動画像データ、又は所定の伝送路を介して伝送されてくる動画像データを取り込んで、取り込んだ動画像データに含まれているジャーキネス劣化を低減する動画像再生装置１００について説明する。
図１に動画像再生装置１００の全体構成を示す。
この動画像再生装置１００は、図１に示すように、所定の伝送路を介して伝送されてくる符号化された動画像データを受信する受信処理部１１０と、記録媒体２００から符号化された動画像データを読み出す読出処理部１２０を備える。
また動画像再生装置１００は、符号化された動画像データを復号画像データＤＤに復号する復号処理部１３０と、復号画像データＤＤから動きベクトルＶＤを生成する動きベクトル生成処理部１４０を備える。
また動画像再生装置１００は、復号画像データＤＤに動きベクトルに応じた動きぼけを付加する動きぼけ付加処理部１５０と、動きぼけが付加されることによりジャーキネス劣化が低減された動画像データを所定の表示装置に表示させる動画像表示出力部１６０を備える。
また動画像再生装置１００は、動きベクトルＶＤから代表的動きベクトルＤＶを生成する代表的動きベクトル生成処理部１７０と、復号画像データＤＤから動きピクセル判定フラグＭＤを生成する動きピクセル判定処理部１８０を備える。
また動画像再生装置１００は、復号処理部１３０からのシャッタ速度情報ＳＳＤに基づいて切り替え動作を行うセレクタ２１０，２２０とを備えている。このセレクタ２１０，２２０は、動きぼけを付加された復号画像データＤＤを動画像表示出力部１６０に出力するか、或いは動きぼけを付加しない復号画像データＤＤを動画像表示出力部１６０に出力するかを切り替える。
この動画像再生装置１００は、図１に示すように、所定の伝送路を介して伝送されてくる符号化された動画像データを受信する受信処理部１１０と、記録媒体２００から符号化された動画像データを読み出す読出処理部１２０を備える。
また動画像再生装置１００は、符号化された動画像データを復号画像データＤＤに復号する復号処理部１３０と、復号画像データＤＤから動きベクトルＶＤを生成する動きベクトル生成処理部１４０を備える。
また動画像再生装置１００は、復号画像データＤＤに動きベクトルに応じた動きぼけを付加する動きぼけ付加処理部１５０と、動きぼけが付加されることによりジャーキネス劣化が低減された動画像データを所定の表示装置に表示させる動画像表示出力部１６０を備える。
また動画像再生装置１００は、動きベクトルＶＤから代表的動きベクトルＤＶを生成する代表的動きベクトル生成処理部１７０と、復号画像データＤＤから動きピクセル判定フラグＭＤを生成する動きピクセル判定処理部１８０を備える。
また動画像再生装置１００は、復号処理部１３０からのシャッタ速度情報ＳＳＤに基づいて切り替え動作を行うセレクタ２１０，２２０とを備えている。このセレクタ２１０，２２０は、動きぼけを付加された復号画像データＤＤを動画像表示出力部１６０に出力するか、或いは動きぼけを付加しない復号画像データＤＤを動画像表示出力部１６０に出力するかを切り替える。
以上の全体構成において、受信処理部１１０及び読出処理部１２０は、動画像取込を行う構成部位としての一例であって、それぞれＭＰＥＧ規格などで符号化された動画像データを取り込んで、この動画像データを復号処理部１３０に供給する処理部である。
なお、本実施の形態において、受信処理部１１０または読出処理部１２０によって取り込まれる動画像データには、この動画像が撮像されたときのシャッタ速度情報ＳＳＤが含まれているものとする。
ただし、シャッタ速度情報ＳＳＤは受信処理部１１０または読出処理部１２０によって取り込まれる動画像データに含まれていることを限定するものではなく、例えば図示しないユーザインターフェース等からユーザにより指定される構成としてもよい。
なお、本実施の形態において、受信処理部１１０または読出処理部１２０によって取り込まれる動画像データには、この動画像が撮像されたときのシャッタ速度情報ＳＳＤが含まれているものとする。
ただし、シャッタ速度情報ＳＳＤは受信処理部１１０または読出処理部１２０によって取り込まれる動画像データに含まれていることを限定するものではなく、例えば図示しないユーザインターフェース等からユーザにより指定される構成としてもよい。
ここで、受信処理部１１０及び読出処理部１２０によって取り込まれる動画像データは、単位時間当たり所定の画像数からなる単位画像から構成されている。本実施の形態では、動画像データがフレームレートを６０［ｆｐｓ：frame per second］のプログレッシブ形式の単位画像から構成されているものとして以下説明する。なお、プログレッシブ形式に限定されるものではなく、フィールド画像単位で処理するインタレース方式で動画像の単位画像が構成されているようにしても良い。
復号処理部１３０は、受信処理部１１０または読出処理部１２０から取り込んだ動画像データを復号する。なお、復号処理部１３０は、この復号処理時に、動画像データに含まれているシャッタ速度情報ＳＳＤも復号するものとする。
そして、復号処理部１３０は、この復号画像データＤＤを動きベクトル生成処理部１４０，動きピクセル判定処理部１８０，セレクタ２１０に供給する。また、復号処理部１３０は、そのシャッタ速度情報ＳＳＤをセレクタ２１０，２２０に供給する。
そして、復号処理部１３０は、この復号画像データＤＤを動きベクトル生成処理部１４０，動きピクセル判定処理部１８０，セレクタ２１０に供給する。また、復号処理部１３０は、そのシャッタ速度情報ＳＳＤをセレクタ２１０，２２０に供給する。
動きベクトル生成処理部１４０は、復号処理部１３０から供給される復号画像データＤＤから動きベクトルＶＤを生成する。
ここで、動きベクトルＶＤとは、フレーム画像を複数の領域に分割した画素ブロック毎に、前後のフレーム画像を比較してどの方向へどの程度動いているかを示すデータである。
本実施の形態では、現在の処理対象となるフレーム画像を処理対象フレームと呼び、この処理対象フレームに対して１フレーム前のフレーム画像を直前フレームと呼ぶ。
なお、ＭＰＥＧ規格などにより符号化された動画像データも、符号化情報として動きベクトルが含まれているが、以下では、単に「動きベクトル」といった場合には、上述した符号化するための情報として動きベクトルではなく、復号画像から動きベクトル生成処理部１４０において検出される動きベクトルを示す。
ここで、動きベクトルＶＤとは、フレーム画像を複数の領域に分割した画素ブロック毎に、前後のフレーム画像を比較してどの方向へどの程度動いているかを示すデータである。
本実施の形態では、現在の処理対象となるフレーム画像を処理対象フレームと呼び、この処理対象フレームに対して１フレーム前のフレーム画像を直前フレームと呼ぶ。
なお、ＭＰＥＧ規格などにより符号化された動画像データも、符号化情報として動きベクトルが含まれているが、以下では、単に「動きベクトル」といった場合には、上述した符号化するための情報として動きベクトルではなく、復号画像から動きベクトル生成処理部１４０において検出される動きベクトルを示す。
代表的動きベクトル生成処理部１７０は、具体的には後述する処理工程により、動きベクトル生成処理部１４０から供給される動きベクトルＶＤを元に、処理対象フレーム内の動きベクトルＶＤから代表的な動きベクトルＤＶを生成する。ここで、代表的な動きベクトルとは、動きベクトル生成処理部１４０から生成された複数の動きベクトルＶＤの中で、多くを占める動きベクトルを示すデータである。
動きピクセル判定処理部１８０は、具体的には後述する処理工程により、前後のフレーム画像を比較して画素が動いているかいないかを示す動きピクセル判定フラグＭＤを生成する。
動きぼけ付加処理部１５０は、具体的には後述する処理工程により、復号処理部１３０から供給される復号画像データＤＤに対して動きぼけを付加する。
この場合、動きぼけ付加処理部１５０は、動きベクトル生成処理部１４０から供給される動きベクトルＶＤ，代表的動きベクトル生成処理部１７０から供給される代表的動きベクトルＤＶ，動きピクセル判定処理部１８０より供給される動きピクセル判定フラグＭＤに応じて復号画像データＤＤに動きぼけを付加する処理を行う。
この場合、動きぼけ付加処理部１５０は、動きベクトル生成処理部１４０から供給される動きベクトルＶＤ，代表的動きベクトル生成処理部１７０から供給される代表的動きベクトルＤＶ，動きピクセル判定処理部１８０より供給される動きピクセル判定フラグＭＤに応じて復号画像データＤＤに動きぼけを付加する処理を行う。
動画像表示出力部１６０は、動きぼけ付加処理部１５０によって動きぼけが付加されることにより、ジャーキネス劣化が低減された動画像を、ＬＣＤなどの表示装置に動画像として出力する。
セレクタ２１０，２２０は、入力されたシャッタ速度情報ＳＳＤを元に動きぼけを付加するかしないかを判定し処理を切り替えるセレクタである。
動きぼけを付加する場合は、動きぼけ付加処理部１５０から出力された動きぼけを付加された動画像を動画像表示出力部１６０へ出力するようにし、動きぼけを付加しない場合は、復号処理部１３０から出力された動画像を動画像表示出力部１６０へ出力するように動画像データのパスを切り替える。
動きぼけを付加する場合は、動きぼけ付加処理部１５０から出力された動きぼけを付加された動画像を動画像表示出力部１６０へ出力するようにし、動きぼけを付加しない場合は、復号処理部１３０から出力された動画像を動画像表示出力部１６０へ出力するように動画像データのパスを切り替える。
［１−２：動きベクトル生成処理部１４０］
以下では、動画像再生装置１００の上記各ブロックについて詳細に説明していく。
まず図２により動きベクトル生成処理部１４０の構成と動作について説明する。
動きベクトル生成処理部１４０は、図２に示すように、動きベクトル検出部１４１と、遅延部１４２と、動きベクトル平滑化処理部１４４とを有する。
以下では、動画像再生装置１００の上記各ブロックについて詳細に説明していく。
まず図２により動きベクトル生成処理部１４０の構成と動作について説明する。
動きベクトル生成処理部１４０は、図２に示すように、動きベクトル検出部１４１と、遅延部１４２と、動きベクトル平滑化処理部１４４とを有する。
遅延部１４２は、復号処理部１３０から供給された復号画像データＤＤを１フレーム分遅延させて動きベクトル検出部１４１に出力する。
動きベクトル検出部１４１は処理対象フレームと直前フレームとから動きベクトルを検出する。即ち動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを処理対象フレームとし、遅延部１４２により１フレーム分遅延された復号画像データＤＤを直前フレームとする。そして処理対象フレームと直前フレームを比較して、処理対象フレームの動きベクトルを、処理対象フレーム内の領域毎に検出し、検出した動きベクトルを動きベクトル平滑化処理部１４３に供給する。処理対象フレーム内の領域とは、例えば画素単位、或いは複数画素による画素ブロック単位などである。
動きベクトル検出部１４１は処理対象フレームと直前フレームとから動きベクトルを検出する。即ち動きベクトル検出部１４１は、復号処理部１３０から供給された復号画像データＤＤを処理対象フレームとし、遅延部１４２により１フレーム分遅延された復号画像データＤＤを直前フレームとする。そして処理対象フレームと直前フレームを比較して、処理対象フレームの動きベクトルを、処理対象フレーム内の領域毎に検出し、検出した動きベクトルを動きベクトル平滑化処理部１４３に供給する。処理対象フレーム内の領域とは、例えば画素単位、或いは複数画素による画素ブロック単位などである。
動きベクトル平滑化処理部１４３は、処理対象画像を構成する各画素の動きベクトルに対して平滑化処理を施す。具体的に、動きベクトル平滑化処理部１４３は、平滑化処理前の注目画素の動きベクトルとその周辺画素の動きベクトルとを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）として、下記（数１）に示すようなガウス型関数により、平滑化処理後の注目画素の動きベクトルＪ（ｘ，ｙ）を出力する。
ここで、ｒは注目画素と各周辺画素との２次元空間上の距離を示し、σ2はこの距離ｒについての分散を示し、ｔ2は動きベクトルについての分散を示している。すなわち、σ2及びｔ2は、平滑化の度合いを表す値として任意に設定されるパラメータとなっている。
動きベクトル平滑化処理部１４３は、処理対象フレームを構成する全画素に対して上述した平滑化処理を施して、フレーム単位で動きベクトルＶＤを動きぼけ付加処理部１５０及び代表的動きベクトル生成処理部１７０に供給する。
このように、動きベクトル平滑化処理部１４３は、処理対象フレームを構成する画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定するので、精度良く実際の動体の動きに応じた動きベクトルＶＤを生成することができる。
このように、動きベクトル平滑化処理部１４３は、処理対象フレームを構成する画素ブロックから、有効な動きベクトルを有する画素ブロックを特定し、この有効な動きベクトルからそれ以外の動きベクトルを推定するので、精度良く実際の動体の動きに応じた動きベクトルＶＤを生成することができる。
［１−３：代表的動きベクトル生成処理部１７０］
続いて、図３〜図７を用いて、代表的動きベクトル生成処理部１７０の具体的な構成及び動作を説明する。
代表的動きベクトル生成処理部１７０は、図３に示すように、動きベクトル種別分け処理部１７１と、種別カウント処理部１７２と、種別カウントテーブル１７３と、最大カウント種別算出部１７４と、代表的動きベクトル算出部１７５とから構成される。
続いて、図３〜図７を用いて、代表的動きベクトル生成処理部１７０の具体的な構成及び動作を説明する。
代表的動きベクトル生成処理部１７０は、図３に示すように、動きベクトル種別分け処理部１７１と、種別カウント処理部１７２と、種別カウントテーブル１７３と、最大カウント種別算出部１７４と、代表的動きベクトル算出部１７５とから構成される。
動きベクトル種別分け処理部１７１は、動きベクトル生成処理部１４０から出力された動きベクトルＶＤのベクトル長とベクトル方向を求め、求められたベクトル長およびベクトル方向がどの種別に含まれるベクトルか判定する。
ここで、種別とは動きベクトルのベクトル方向についてＮ個、ベクトル長についてＭ個に分割し、Ｎ×Ｍ個にグループ分けした種別のことである。
そして動きベクトル種別分け処理部１７１は種別判定した後、動きベクトルと、判定された種別を種別カウント処理部１７２へ出力する。
ここで、種別とは動きベクトルのベクトル方向についてＮ個、ベクトル長についてＭ個に分割し、Ｎ×Ｍ個にグループ分けした種別のことである。
そして動きベクトル種別分け処理部１７１は種別判定した後、動きベクトルと、判定された種別を種別カウント処理部１７２へ出力する。
図４（ａ）に処理対象フレームを示し、図４（ｂ）には、当該処理対象フレームについて動きベクトル生成処理部１４０で検出された動きベクトルＶＤを例示している。
例えば自動車が走行している動画像についての処理対象フレームと、直前フレームを比較することで、上述した動きベクトル生成処理部１４０では、自動車の画像部分について走行方向への動きベクトルが検出されるはずである。ところが、検出される動きベクトルＶＤとしては、必ずノイズ成分が含まれる。このため、図４（ｂ）のように各画素（又は画素ブロック）単位の動きベクトルＶＤは多様性を持つ。
動きベクトル種別分け処理部１７１は、このような処理対象フレームの各動きベクトルＶＤについて、図４（ｃ）のようにベクトル長とベクトル方向を判定し、種別分けを行う。
例えば自動車が走行している動画像についての処理対象フレームと、直前フレームを比較することで、上述した動きベクトル生成処理部１４０では、自動車の画像部分について走行方向への動きベクトルが検出されるはずである。ところが、検出される動きベクトルＶＤとしては、必ずノイズ成分が含まれる。このため、図４（ｂ）のように各画素（又は画素ブロック）単位の動きベクトルＶＤは多様性を持つ。
動きベクトル種別分け処理部１７１は、このような処理対象フレームの各動きベクトルＶＤについて、図４（ｃ）のようにベクトル長とベクトル方向を判定し、種別分けを行う。
種別カウント処理部１７２は、種別毎に含まれるベクトルの数をカウントする。
即ち種別カウント処理部１７２は、動きベクトル種別分け処理部１７１から出力された、判定された種別を元に、種別カウントテーブル１７３内の種別毎のカウンタを＋１し、さらに種別毎に設けられたベクトル加算領域に、動きベクトル種別分け処理部１７１から出力された動きベクトルを加算する。
即ち種別カウント処理部１７２は、動きベクトル種別分け処理部１７１から出力された、判定された種別を元に、種別カウントテーブル１７３内の種別毎のカウンタを＋１し、さらに種別毎に設けられたベクトル加算領域に、動きベクトル種別分け処理部１７１から出力された動きベクトルを加算する。
図５に種別カウントテーブル１７３の構造例を示す。
この種別カウントテーブル１７３は、ベクトル方向について、「０°〜４５°」「４５°〜９０°」・・・「３１５°〜３６０°」にＮ個にグループ分け設定している。またベクトル長として、「０〜１０」「１０〜３０」・・・「５０以上」というようにＭ個にグループ分け設定している。
そしてこのベクトル方向とベクトル長の組み合わせとして、Ｎ×Ｍ個の「種別」が設定されている。
各種別についてはテーブル項目として、種別カウント値と、動きベクトルｘ値の累計と、動きベクトルｙ値の累計が保存される。
この種別カウントテーブル１７３は、ベクトル方向について、「０°〜４５°」「４５°〜９０°」・・・「３１５°〜３６０°」にＮ個にグループ分け設定している。またベクトル長として、「０〜１０」「１０〜３０」・・・「５０以上」というようにＭ個にグループ分け設定している。
そしてこのベクトル方向とベクトル長の組み合わせとして、Ｎ×Ｍ個の「種別」が設定されている。
各種別についてはテーブル項目として、種別カウント値と、動きベクトルｘ値の累計と、動きベクトルｙ値の累計が保存される。
なお、ここに示す種別カウントテーブル１７３の構造は、一例であり、種別カウントテーブル１７３の種別の設定数や、分割される各種別でのベクトル方向範囲、ベクトル長範囲は限定されるものではない。対象となる動画像やアプリケーションに合わせて種別の分割数や分割範囲を変更してもなんら問題はない。
種別カウント処理部１７２は、例えば図５のような種別カウントテーブル１７３に対してカウント処理を行うことになる。
例えば動きベクトル種別分け処理部１７１から、１つの動きベクトルＶＤの判定結果としての種別と動きベクトル（図４（ｃ）に示すｘ値、ｙ値としてのベクトル値）が供給されてくる毎に、種別カウント処理部１７２は、その種別の情報に応じて、種別カウント処理部１７２の該当する種別の欄のカウント値をカウントアップする。また、その動きベクトルのｘ値、ｙ値を、動きベクトルｘ値の累計、動きベクトルｙ値の累計に加算する。
例えば動きベクトル種別分け処理部１７１から、１つの動きベクトルＶＤの判定結果としての種別と動きベクトル（図４（ｃ）に示すｘ値、ｙ値としてのベクトル値）が供給されてくる毎に、種別カウント処理部１７２は、その種別の情報に応じて、種別カウント処理部１７２の該当する種別の欄のカウント値をカウントアップする。また、その動きベクトルのｘ値、ｙ値を、動きベクトルｘ値の累計、動きベクトルｙ値の累計に加算する。
従って、種別カウントテーブル１７３には、例えば図４（ｂ）に示したような、処理対象フレーム内の各動きベクトルＶＤの情報が、種別分けされて、種別数及びｘ，ｙ累計値がカウントされていくことになる。
最大カウント種別算出部１７４は、復号処理部１３０等から出力される処理対象フレームの出力終了を示す信号を受け、種別カウントテーブル１７３のテーブル項目中の種別カウント値の中から値の大きいテーブル項目を抽出する。
この時、種別カウント値が最大であるテーブル項目を１つ抽出してもよいし、種別カウント値上位Ｌ個のテーブル項目を抽出してもよい。
この時、種別カウント値が最大であるテーブル項目を１つ抽出してもよいし、種別カウント値上位Ｌ個のテーブル項目を抽出してもよい。
図６で最大カウント種別算出部１７４の処理例を説明する。
最大カウント種別算出部１７４は、エントリナンバ１〜Ｌとして、Ｌ個のテーブル項目を抽出するために、例えば図６（ａ）の作業用テーブルを用いる。この作業用テーブルは、種別カウント値の上位Ｌ個のテーブル項目について、長さ、方向、種別カウント値、動きベクトルｘ値の累計、動きベクトルｙ値の累計、動きベクトルｘ値の平均値、動きベクトルｙ値の平均値を格納するテーブルとされる。なお、長さ、方向は、種別カウントテーブル１７３の種別分けに用いた分類としての長さと方向である。
最大カウント種別算出部１７４は、エントリナンバ１〜Ｌとして、Ｌ個のテーブル項目を抽出するために、例えば図６（ａ）の作業用テーブルを用いる。この作業用テーブルは、種別カウント値の上位Ｌ個のテーブル項目について、長さ、方向、種別カウント値、動きベクトルｘ値の累計、動きベクトルｙ値の累計、動きベクトルｘ値の平均値、動きベクトルｙ値の平均値を格納するテーブルとされる。なお、長さ、方向は、種別カウントテーブル１７３の種別分けに用いた分類としての長さと方向である。
最大カウント種別算出部１７４の処理を図６（ｂ）に模式的に示す。
最大カウント種別算出部１７４は、種別カウントテーブル１７３の各テーブル項目を順次読み出す。
１つのテーブル項目を読み出した際には、そのテーブル項目の種別カウント値を、作業用テーブルにエントリされている全てのテーブル項目の種別カウント値と比較する（処理Ｓ１）。
そして、種別カウントテーブル１７３から読み出したテーブル項目の種別カウント値が、作業用テーブルにエントリされているテーブル項目のうちの少なくとも１つのテーブル項目の種別カウント値より大きければ、作業用テーブルのエントリの差し替えを行う（処理Ｓ２）。即ち、その時点で作業用テーブルにエントリされているうちで種別カウント値が最小のエントリを消去し、今回、種別カウントテーブル１７３から読み出したテーブル項目をエントリに追加する。即ち、当該テーブル項目としての長さ、方向、種別カウント値、動きベクトルｘ値の累計、動きベクトルｙ値の累計を作業用テーブルに書き込む。
なお、作業用テーブルにエントリされているテーブル項目が未だＬ個に満たない時点では、種別カウント値＝０のエントリが存在するとして扱えばよい。
最大カウント種別算出部１７４は、種別カウントテーブル１７３の各テーブル項目を順次読み出す。
１つのテーブル項目を読み出した際には、そのテーブル項目の種別カウント値を、作業用テーブルにエントリされている全てのテーブル項目の種別カウント値と比較する（処理Ｓ１）。
そして、種別カウントテーブル１７３から読み出したテーブル項目の種別カウント値が、作業用テーブルにエントリされているテーブル項目のうちの少なくとも１つのテーブル項目の種別カウント値より大きければ、作業用テーブルのエントリの差し替えを行う（処理Ｓ２）。即ち、その時点で作業用テーブルにエントリされているうちで種別カウント値が最小のエントリを消去し、今回、種別カウントテーブル１７３から読み出したテーブル項目をエントリに追加する。即ち、当該テーブル項目としての長さ、方向、種別カウント値、動きベクトルｘ値の累計、動きベクトルｙ値の累計を作業用テーブルに書き込む。
なお、作業用テーブルにエントリされているテーブル項目が未だＬ個に満たない時点では、種別カウント値＝０のエントリが存在するとして扱えばよい。
そして種別カウントテーブル１７３から読み出したテーブル項目を作業用テーブルのエントリとして追加したら、作業用テーブルのエントリを、種別カウント値が大きい順にソートする（処理Ｓ３）。
そして種別カウントテーブル１７３から次のテーブル項目を読み出して、同様に比較処理（処理Ｓ１）を行う。
そして種別カウントテーブル１７３から次のテーブル項目を読み出して、同様に比較処理（処理Ｓ１）を行う。
なお処理Ｓ１の比較の際に、種別カウントテーブル１７３から読み出した１つのテーブル項目の種別カウント値が、作業用テーブルの全てのエントリナンバの種別カウント値より小さい場合は、作業用テーブルは更新せずに、次のテーブル項目の読み出しを行う。
最大カウント種別算出部１７４、種別カウントテーブル１７３におけるＭ×Ｎ個の各テーブル項目について、これらを順に読み込んで以上の処理を行うことで、作業用テーブルには、Ｍ×Ｎ個の各テーブル項目のうちで、種別カウント値が上位となるＬ個のテーブル項目が抽出されたものとなる。
代表的動きベクトル算出部１７５は、最大カウント種別算出部１７４によって抽出されたテーブル項目のそれぞれについて、動きベクトルのｘ値、ｙ値の平滑化を行い、代表的動きベクトルＤＶを求める。
代表的動きベクトル算出部１７５の処理を図７に模式的に示す。代表的動きベクトル算出部１７５は、作業用テーブルのＬ個の各エントリのそれぞれにつき、図示するように、種別カウント値で、動きベクトルx値の累計，動きベクトルｙ値の累計を割る。これにより動きベクトルx値の平均値、動きベクトルｙ値の平均値を求め、求めた平均値を図６の作業用テーブルに記憶する。
この動きベクトルx値の平均値、動きベクトルｙ値の平均値で表されるベクトルが、代表的動きベクトルＤＶとされる。
即ちこの例の場合、Ｌ個（Ｌ＝１の場合もある）の代表的動きベクトルＤＶが求められる。
そして、各画素（画素ブロック）毎の動きベクトルＶＤを、代表的動きベクトルＤＶに差し替えて出力する。
代表的動きベクトル算出部１７５の処理を図７に模式的に示す。代表的動きベクトル算出部１７５は、作業用テーブルのＬ個の各エントリのそれぞれにつき、図示するように、種別カウント値で、動きベクトルx値の累計，動きベクトルｙ値の累計を割る。これにより動きベクトルx値の平均値、動きベクトルｙ値の平均値を求め、求めた平均値を図６の作業用テーブルに記憶する。
この動きベクトルx値の平均値、動きベクトルｙ値の平均値で表されるベクトルが、代表的動きベクトルＤＶとされる。
即ちこの例の場合、Ｌ個（Ｌ＝１の場合もある）の代表的動きベクトルＤＶが求められる。
そして、各画素（画素ブロック）毎の動きベクトルＶＤを、代表的動きベクトルＤＶに差し替えて出力する。
図８に、動きベクトルＶＤを、代表的動きベクトルＤＶに差し替えた状態を示している。即ち図８（ａ）のようにノイズを含む動きベクトルＶＤのそれぞれを、上記のようにして求められる代表的動きベクトルＤＶに差し替えることで、図８（ｂ）のようになる。
つまり、代表的動きベクトルＤＶを求めた後に、各動きベクトルＶＤを、その動きベクトルＶＤに近い代表的動きベクトルＤＶに差し替える。これにより、動きベクトルＶＤのノイズ（ばらつき）を抑えた動きベクトル情報が出力されることになる。
つまり、代表的動きベクトルＤＶを求めた後に、各動きベクトルＶＤを、その動きベクトルＶＤに近い代表的動きベクトルＤＶに差し替える。これにより、動きベクトルＶＤのノイズ（ばらつき）を抑えた動きベクトル情報が出力されることになる。
なお、このような代表的動きベクトル生成処理部１７０では、現在の処理対象フレームについて代表的動きベクトルＤＶを出力した後は、上記の種別カウントテーブル１７３及び作業用テーブルの値を、全て０に初期化し、次の処理対象フレームについての代表的動きベクトルＤＶの生成処理に移る。
［１−４：動きピクセル判定処理部１８０］
次に、動きピクセル判定処理部１８０の具体的な構成及び動作について、図９〜図１３を参照して詳細に説明する．
動きピクセル判定処理部１８０は、図９に示すように、動きピクセル検出部１８１と、動きピクセル情報平滑化処理部１８２と、動きピクセル情報膨張処理部１８３と、遅延部１８４とから構成される。
次に、動きピクセル判定処理部１８０の具体的な構成及び動作について、図９〜図１３を参照して詳細に説明する．
動きピクセル判定処理部１８０は、図９に示すように、動きピクセル検出部１８１と、動きピクセル情報平滑化処理部１８２と、動きピクセル情報膨張処理部１８３と、遅延部１８４とから構成される。
動きピクセル判定処理部１８０は、処理対象フレームと直前フレームとから動いているピクセルを検出する。
動きピクセル検出部１８１には、復号処理部１３０から復号画像データＤＤが供給される。これが処理対象フレームとなる。
また復号画像データＤＤは、遅延部１８４により１フレーム分遅延されて動きピクセル検出部１８１に供給される。これが直前フレームとなる。
動きピクセル検出部１８１には、復号処理部１３０から復号画像データＤＤが供給される。これが処理対象フレームとなる。
また復号画像データＤＤは、遅延部１８４により１フレーム分遅延されて動きピクセル検出部１８１に供給される。これが直前フレームとなる。
動きピクセル検出部１８１は、入力される処理対象フレームと直前フレームとから、処理対象フレーム内ピクセルが動いているか否かを画素単位で検出して、検出した結果を動きピクセル情報平滑化処理部１８２に供給する。
動きピクセルを検出する手法はどのような手法を使用しても構わない。一例としては、動きピクセル検出部１８１は、処理対象フレームと直前フレームを輝度値に変換し、輝度値に変換された処理対象フレームと直前フレーム間で、ピクセル単位の差の絶対値を取る。このピクセル単位の差の絶対値を、動きピクセル情報として動きピクセル情報平滑化処理部１８２に供給する構成とすることができる。
動きピクセルを検出する手法はどのような手法を使用しても構わない。一例としては、動きピクセル検出部１８１は、処理対象フレームと直前フレームを輝度値に変換し、輝度値に変換された処理対象フレームと直前フレーム間で、ピクセル単位の差の絶対値を取る。このピクセル単位の差の絶対値を、動きピクセル情報として動きピクセル情報平滑化処理部１８２に供給する構成とすることができる。
動きピクセル検出部１８１から出力される動きピクセル情報はノイズが含まれているため、一般的な平滑化手法によるノイズ除去処理が必要となる。そのため動きピクセル情報平滑化処理部１８２によるノイズ除去処理を行う。
動きピクセル情報平滑化処理部１８２によるノイズ除去処理としては、どのような手法を使用しても問題はないが、例えば一般的な二次元ローパスフィルタ処理を行い動きピクセル情報を平滑化する構成とすることができる。
動きピクセル情報平滑化処理部１８２によるノイズ除去処理としては、どのような手法を使用しても問題はないが、例えば一般的な二次元ローパスフィルタ処理を行い動きピクセル情報を平滑化する構成とすることができる。
動きピクセル平滑化処理部１８２により平滑化された動きピクセル情報は、動きピクセル情報膨張処理部１８３により動きベクトルＶＤ方向、または動きベクトルに近い代表的動きベクトルＤＶの方向へ、動きベクトル長程度膨張される。この時の膨張量及び膨張方向は厳密なものでなくても良い。
膨張処理は各種考えられるが、下記（数２）（数３）に示す一般的な2次元フィルタ処理により膨張処理を行う構成とすることが考えられる。
膨張処理は各種考えられるが、下記（数２）（数３）に示す一般的な2次元フィルタ処理により膨張処理を行う構成とすることが考えられる。
（数２）において、動きピクセル情報の画像上の位置をｘ，ｙとしたとき、入力動きピクセルをＩ（ｘ，ｙ），出力をＪ（ｘ，ｙ），フィルタ係数をＤ（ｘ，ｙ）とする。
（数３）において、Ｖｘ， Ｖｙは膨張の基準となる動きベクトルＶＤまたは代表的動きベクトルＤＶである。ｉｎｔ（）は整数化関数である。整数化関数による丸め手法はどのようなものでも良い。
（数３）において、Ｖｘ， Ｖｙは膨張の基準となる動きベクトルＶＤまたは代表的動きベクトルＤＶである。ｉｎｔ（）は整数化関数である。整数化関数による丸め手法はどのようなものでも良い。
そして、膨張処理を経て、前後のフレーム画像を比較して画素が動いているかいないかを示す動きピクセル判定フラグＭＤを出力する。
以上の動きピクセル判定処理部１８０の処理のイメージを、図１０、図１１で説明する。
図１０（ａ）（ｂ）は、動きピクセル検出部１８１に入力される、直前フレームと処理対象フレームを示している。例えば自動車が走行している画像であるとする。
動きピクセル検出部１８１は動いているピクセルを、例えばピクセル単位の輝度差の絶対値として検出して動きピクセル情報平滑化処理部１８２に出力する。この場合、図１０（ｃ）のような情報となる。図では、黒部分が動いているピクセルを、白部分で動いていないピクセルを表している。
この図１０（ｃ）のような動きピクセル情報には、通常、ノイズが含まれる。図１０（ｄ）は、図１０（ｃ）の一部を拡大して示しているが、例えば矢印Ａ部分は、ノイズ成分となる。
図１０（ａ）（ｂ）は、動きピクセル検出部１８１に入力される、直前フレームと処理対象フレームを示している。例えば自動車が走行している画像であるとする。
動きピクセル検出部１８１は動いているピクセルを、例えばピクセル単位の輝度差の絶対値として検出して動きピクセル情報平滑化処理部１８２に出力する。この場合、図１０（ｃ）のような情報となる。図では、黒部分が動いているピクセルを、白部分で動いていないピクセルを表している。
この図１０（ｃ）のような動きピクセル情報には、通常、ノイズが含まれる。図１０（ｄ）は、図１０（ｃ）の一部を拡大して示しているが、例えば矢印Ａ部分は、ノイズ成分となる。
これに対して、動きピクセル情報平滑化処理部１８２で平滑化を行うことで、ノイズを消す。即ち図１１（ａ）において矢印Ａ部分として示すように動きピクセル情報におけるノイズを除去することができる。
ところが、動いている物体のテクスチャの状態によっては、動いていても動いていないと判定される領域（誤判定領域）が発生する。例えば図１１（ａ）の矢印Ｂで示す部分である。そこで、そのような誤判定領域を、動きピクセル情報膨張処理部１８３の膨張処理で修正する。なお膨張処理とは、動きベクトルの方向に対応させて、所要のピクセルについて「動いていない」という判定結果を、「動いている」という判定結果に修正する処理といえる。
図１１（ｂ）は、図１１（ａ）の動きピクセル情報に対応する動きベクトルＶＤを示している。
動きベクトルＶＤを考えると、動きピクセル検出部１８１での誤判定領域においても、動いているところでは動きベクトルＶＤが検出されていると考えられる。
そこで、動きベクトルＶＤ方向に動きピクセル情報を膨張させることにより、誤判定領域を修正する。
また前述もしたように、実際には動きベクトルＶＤにはノイズが含まれる。そこで、動きベクトルＶＤの方向に動きピクセル情報を膨張させる際に、動きベクトルＶＤに近い代表的動きベクトルＤＶの方向に動きピクセル情報を膨張させる。図１１（ｃ）に代表的動きベクトルＤＶを示す。
この代表的動きベクトルＤＶの方向に動きピクセル情報を膨張させることで、動きベクトルＶＤのノイズにも影響されない膨張処理を行うことが可能となる。
ところが、動いている物体のテクスチャの状態によっては、動いていても動いていないと判定される領域（誤判定領域）が発生する。例えば図１１（ａ）の矢印Ｂで示す部分である。そこで、そのような誤判定領域を、動きピクセル情報膨張処理部１８３の膨張処理で修正する。なお膨張処理とは、動きベクトルの方向に対応させて、所要のピクセルについて「動いていない」という判定結果を、「動いている」という判定結果に修正する処理といえる。
図１１（ｂ）は、図１１（ａ）の動きピクセル情報に対応する動きベクトルＶＤを示している。
動きベクトルＶＤを考えると、動きピクセル検出部１８１での誤判定領域においても、動いているところでは動きベクトルＶＤが検出されていると考えられる。
そこで、動きベクトルＶＤ方向に動きピクセル情報を膨張させることにより、誤判定領域を修正する。
また前述もしたように、実際には動きベクトルＶＤにはノイズが含まれる。そこで、動きベクトルＶＤの方向に動きピクセル情報を膨張させる際に、動きベクトルＶＤに近い代表的動きベクトルＤＶの方向に動きピクセル情報を膨張させる。図１１（ｃ）に代表的動きベクトルＤＶを示す。
この代表的動きベクトルＤＶの方向に動きピクセル情報を膨張させることで、動きベクトルＶＤのノイズにも影響されない膨張処理を行うことが可能となる。
動きピクセル情報膨張処理部１８３の処理の具体例を図１２，図１３で説明する。
図１２に示すように、動きピクセル情報膨張処理部１８３には、動きピクセル情報平滑化処理部１８２で平滑化された動きピクセル情報が入力される。また、上述した動きベクトルＶＤ又は代表的動きベクトルＤＶが入力される。
まず処理Ｓ１０として、動きベクトルＶＤ又は代表的動きベクトルＤＶを用いて、上記（数３）の演算により、フィルタ係数Ｄ（ｘ，ｙ）を求める。
図１２に示すように、動きピクセル情報膨張処理部１８３には、動きピクセル情報平滑化処理部１８２で平滑化された動きピクセル情報が入力される。また、上述した動きベクトルＶＤ又は代表的動きベクトルＤＶが入力される。
まず処理Ｓ１０として、動きベクトルＶＤ又は代表的動きベクトルＤＶを用いて、上記（数３）の演算により、フィルタ係数Ｄ（ｘ，ｙ）を求める。
続いて処理Ｓ１１として、動きピクセル情報とフィルタ係数Ｄ（ｘ，ｙ）につき、上記（数２）の演算により、出力Ｊ（ｘ，ｙ）を求める。
そして図１２の処理Ｓ１２として、演算出力Ｊ（ｘ，ｙ）を所定のスレッショルド値と比較し、出力Ｊ（ｘ，ｙ）がスレッショルド値より大きければ、Ｊ（ｘ，ｙ）＝１、スレッショルド値より小さければ、Ｊ（ｘ，ｙ）＝０とする。この比較結果の値を動きピクセル判定フラグＭＤとして出力する。
そして図１２の処理Ｓ１２として、演算出力Ｊ（ｘ，ｙ）を所定のスレッショルド値と比較し、出力Ｊ（ｘ，ｙ）がスレッショルド値より大きければ、Ｊ（ｘ，ｙ）＝１、スレッショルド値より小さければ、Ｊ（ｘ，ｙ）＝０とする。この比較結果の値を動きピクセル判定フラグＭＤとして出力する。
図１３（ａ）は、代表的動きベクトルＤＶ＝（５，５）の時のフィルタ係数Ｄ（ｘ，ｙ）を示している。また図１３（ｂ）が、処理対処の動きピクセル情報（注目座標を中心とした−Ｖｘ〜＋Ｖｘ、−Ｖｙ〜＋Ｖｙの範囲）を示している。
上記（数２）に基づく乗算結果が図１３（ｃ）のようになる。
そして（数２）に基づいて加算して除算すると、９／１１≒０．８２となる。
スレッショルド値を適切に設定することにより、処理対象の動きピクセル情報を、「動いていない」から「動いている」に判定結果を変更できる。
フィルタ係数Ｄ（ｘ，ｙ）は、動きベクトルＶＤ又は代表的動きベクトルＤＶと同じ方向を持っているので、全動きピクセル情報に適用することにより、動きピクセル情報を動きベクトルＶＤ又は代表的動きベクトルＤＶ方向に膨張することができる。
その結果、動きベクトルＶＤ方向に動きピクセル情報を膨張することになるので、誤判定領域を修正できることになる。
上記（数２）に基づく乗算結果が図１３（ｃ）のようになる。
そして（数２）に基づいて加算して除算すると、９／１１≒０．８２となる。
スレッショルド値を適切に設定することにより、処理対象の動きピクセル情報を、「動いていない」から「動いている」に判定結果を変更できる。
フィルタ係数Ｄ（ｘ，ｙ）は、動きベクトルＶＤ又は代表的動きベクトルＤＶと同じ方向を持っているので、全動きピクセル情報に適用することにより、動きピクセル情報を動きベクトルＶＤ又は代表的動きベクトルＤＶ方向に膨張することができる。
その結果、動きベクトルＶＤ方向に動きピクセル情報を膨張することになるので、誤判定領域を修正できることになる。
［１−５：動きぼけ補正処理部１６０］
次に、動きぼけ付加処理部１５０について具体的な構成を示して説明する。
動きぼけ付加処理部１５０は、図１４に示すように、動きベクトルマスク処理部１５１と、適応シャッタ速度制御部１５２と、フィルタパラメータ算出部１５３と、動きぼけ付加フィルタ１５４とから構成されている。
動きベクトルマスク処理部１５１は、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する。
適応シャッタ速度制御部１５２は、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という）と、実際に動画像が撮像されたときのシャッタ速度情報とに応じて、動きベクトルを補正する。
フィルタパラメータ算出部１５３は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出する。
動きぼけ付加フィルタ１５４は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す。
次に、動きぼけ付加処理部１５０について具体的な構成を示して説明する。
動きぼけ付加処理部１５０は、図１４に示すように、動きベクトルマスク処理部１５１と、適応シャッタ速度制御部１５２と、フィルタパラメータ算出部１５３と、動きぼけ付加フィルタ１５４とから構成されている。
動きベクトルマスク処理部１５１は、動きぼけを付加する画像領域を特定する動きベクトルマスク情報を生成する。
適応シャッタ速度制御部１５２は、動きベクトルに応じて適したシャッタ速度（以下、最適シャッタ速度情報という）と、実際に動画像が撮像されたときのシャッタ速度情報とに応じて、動きベクトルを補正する。
フィルタパラメータ算出部１５３は、処理対象フレームの各画素に応じた動きぼけ付加のためのフィルタパラメータを算出する。
動きぼけ付加フィルタ１５４は、処理対象フレームの各画素の画素値に対して動きぼけフィルタ処理を施す。
まず、動きベクトルマスク処理部１５１は、処理対象フレームのうち、動きぼけを付加する画像領域を特定するため、動きベクトル生成処理部１４０から供給される動きベクトルＶＤと、代表的動きベクトル生成処理部１７０から供給された代表的動きベクトルＤＶに対して、次に示すようなマスク処理を施す。そして、マスク処理後の動きベクトルを適応シャッタ速度制御部１５２に供給する。
図１５（ａ）に動きベクトルマスク処理部１５１の動作を模式的に示している。
動きベクトルマスク処理部１５１は、処理Ｓ２０として、動きベクトル生成処理部１４０から供給される動きベクトルＶＤと代表的動きベクトル１７０から供給される代表的動きベクトルＤＶを比較する。なお、代表的動きベクトル１７０からは、図１５（ｂ）に示すようにＬ個の代表的動きベクトルＤＶが供給される。各代表的動きベクトルＤＶはベクトルを表すｘ値とｙ値の情報（ＤＶｘ、ＤＶｙ）である。
動きベクトルマスク処理部１５１は、この処理Ｓ２０として、各動きベクトルＶＤについて、全ての代表的動きベクトルＤＶと比較し、一致（ここでの一致とは、完全一致のみではなく、近いものも含む）する代表的動きベクトルＤＶを求める。
そして、一致する代表的動きベクトルＤＶが存在しない動きベクトルＶＤについては、ゼロベクトルとして出力する。
動きベクトルマスク処理部１５１は、処理Ｓ２０として、動きベクトル生成処理部１４０から供給される動きベクトルＶＤと代表的動きベクトル１７０から供給される代表的動きベクトルＤＶを比較する。なお、代表的動きベクトル１７０からは、図１５（ｂ）に示すようにＬ個の代表的動きベクトルＤＶが供給される。各代表的動きベクトルＤＶはベクトルを表すｘ値とｙ値の情報（ＤＶｘ、ＤＶｙ）である。
動きベクトルマスク処理部１５１は、この処理Ｓ２０として、各動きベクトルＶＤについて、全ての代表的動きベクトルＤＶと比較し、一致（ここでの一致とは、完全一致のみではなく、近いものも含む）する代表的動きベクトルＤＶを求める。
そして、一致する代表的動きベクトルＤＶが存在しない動きベクトルＶＤについては、ゼロベクトルとして出力する。
また、或る動きベクトルＶＤについて一致する代表的動きベクトルＤＶが存在したら、その代表的動きベクトルＤＶについて、次段の処理Ｓ２１を行う。
動きベクトルマスク処理部１５１は、処理Ｓ２１として、入力される代表的動きベクトルＤＶについての動きピクセル情報（各画素のピクセル判定フラグＭＤ）を用いた判定を行う。
ここでは、動きピクセル判定処理部１８０から出力されるピクセル判定フラグＭＤは２値の情報であるとする。即ちピクセル判定フラグＭＤは、１又は０の値により、各画素について「動き有り」「動き無し」を示す情報とされている。すなわち、動きベクトルマスク処理部１５１は、動きピクセル判定処理部１８０から供給される動きピクセル判定フラグＭＤから動いているピクセルを判定し、このフレーム内において動体となる画像領域を特定することができる。
動きベクトルマスク処理部１５１は、処理Ｓ２１として、入力される代表的動きベクトルＤＶについての動きピクセル情報（各画素のピクセル判定フラグＭＤ）を用いた判定を行う。
ここでは、動きピクセル判定処理部１８０から出力されるピクセル判定フラグＭＤは２値の情報であるとする。即ちピクセル判定フラグＭＤは、１又は０の値により、各画素について「動き有り」「動き無し」を示す情報とされている。すなわち、動きベクトルマスク処理部１５１は、動きピクセル判定処理部１８０から供給される動きピクセル判定フラグＭＤから動いているピクセルを判定し、このフレーム内において動体となる画像領域を特定することができる。
この処理Ｓ２１としては、ピクセル判定フラグＭＤの値に基づき、処理Ｓ２０で求められた代表的動きベクトルＤＶのベクトル長を増減させるマスク処理を施す。
ピクセル判定フラグＭＤが２値であり、１の場合動き有、０の場合動き無しを示す場合の具体例としては、０の場合は代表的動きベクトルＤＶをベクトル長を０に変更し、１の場合はそのままにするという処理となる。即ち、処理Ｓ２０で選択された代表的動きベクトルＤＶについて、ピクセル判定フラグＭＤが０であれば、ゼロベクトルとして出力する。またピクセル判定フラグＭＤが１であれば、そのまま代表的動きベクトルＤＶを出力する。
ピクセル判定フラグＭＤが２値であり、１の場合動き有、０の場合動き無しを示す場合の具体例としては、０の場合は代表的動きベクトルＤＶをベクトル長を０に変更し、１の場合はそのままにするという処理となる。即ち、処理Ｓ２０で選択された代表的動きベクトルＤＶについて、ピクセル判定フラグＭＤが０であれば、ゼロベクトルとして出力する。またピクセル判定フラグＭＤが１であれば、そのまま代表的動きベクトルＤＶを出力する。
動きベクトルマスク処理部１５１は、このような処理により、フレーム内の動きベクトルＤＶを、ゼロベクトルもしくは代表的動きベクトルＤＶに変換するマスク処理を行い、このマスク処理後の動きベクトルを適応シャッタ速度制御部１５２に供給する。
適応シャッタ速度制御部１５２は、次に示す処理によって算出される最適シャッタ速度と、復号処理部１３０から供給されるシャッタ速度情報ＳＳＤとに応じて、動きベクトルマスク処理部１５１から供給される動きベクトルを補正し、補正後の動きベクトルをフィルタパラメータ算出部１５３に供給する。
本例では、図１６に示すような評価指標に基づいて処理対象フレームの各画素の動きベクトルに応じた最適シャッタ速度を算出する。図１６は、被写体速度と、この被写体速度に応じた最適シャッタ速度曲線を表した図である。
ここで、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、動きぼけもジャーキネス劣化も知覚されにくいシャッタ速度である。
したがって、この最適シャッタ速度よりも短いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも長いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断することができる。
そこで、適応シャッタ速度制御部１５２は、各画素の動きベクトルを図５中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
ここで、最適シャッタ速度とは、被写体の移動速度に応じた、視覚特性上、動きぼけもジャーキネス劣化も知覚されにくいシャッタ速度である。
したがって、この最適シャッタ速度よりも短いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断できる。一方、この最適シャッタ速度よりも長いシャッタ速度で被写体を撮像すると、撮像画像には、ジャーキネス劣化が生じていると判断することができる。
そこで、適応シャッタ速度制御部１５２は、各画素の動きベクトルを図５中の被写体速度に対応させることにより、各画素の動きベクトルに応じた最適シャッタ速度を算出する。
図１６の実線で示されている最適シャッタ速度曲線ＳＳ０は、任意の被写体速度と最適なシャッタ速度との対応関係を示した一例であって、具体的には心理実験に基づいて得られた実験結果値を結んだ曲線である。
ここで、図１６に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた適切シャッタ速度を求めることも可能であるが、この場合には、所定の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に記憶することを要する。
そこで本例では、この最適シャッタ速度曲線ＳＳ０に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出する。
ここで、図１６に示す動きぼけ領域Ａ１は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが過度に含まれると判別される領域である。同様にして、ジャーキネス領域Ａ２は、最適シャッタ速度曲線ＳＳ０に基づいて、被写体の動きによる動きぼけが含まれず、視覚特性上ジャーキネス劣化が生じていると判別される領域である。
この最適シャッタ速度曲線ＳＳ０を直接用いて、動きベクトルに応じた適切シャッタ速度を求めることも可能であるが、この場合には、所定の刻み幅で動きベクトルに応じた最適シャッタ速度情報をテーブルとして記憶媒体に記憶することを要する。
そこで本例では、この最適シャッタ速度曲線ＳＳ０に近似する関数を用いることにより、動きベクトルに応じた最適シャッタ速度を算出する。
本例において、適応シャッタ速度制御部１５２は、ある画素での動きベクトルをｖとして、下記の（数４）に示す最適シャッタ速度曲線の近似関数により最適シャッタ速度ｖ’を算出する。
ここで、（数４）における速度Ａは、いかなるシャッタ速度においても動きぼけを付加させないときの被写体速度であり、速度Ｂは、この速度以上において如何なるシャッタ速度においても動きぼけを付加させる被写体速度である。
したがって（数４）を図１６に示す実測された最適シャッタ速度に一致させるには、シャッタ速度を遅くしても常に動きぼけ領域に位置する被写体速度の上限値を速度Ａとして設定するとともに、シャッタ速度を速くしてもほぼジャーキネス領域に被写体速度が位置するような値に速度Ｂとして設定すればよい。
また、（数４）における乗数γは、図１６中に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択される値を用いるようにすればよい。なお、図１６中では、この乗数γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
したがって（数４）を図１６に示す実測された最適シャッタ速度に一致させるには、シャッタ速度を遅くしても常に動きぼけ領域に位置する被写体速度の上限値を速度Ａとして設定するとともに、シャッタ速度を速くしてもほぼジャーキネス領域に被写体速度が位置するような値に速度Ｂとして設定すればよい。
また、（数４）における乗数γは、図１６中に示す最適シャッタ速度曲線の曲線形状に応じて適当な値を選択される値を用いるようにすればよい。なお、図１６中では、この乗数γを３段階に変化させたときの曲線形状ＳＳ１〜ＳＳ３を示している。
上述したようにして動きベクトルに応じた最適シャッタ速度が算出されると、適応シャッタ速度制御部１５２は、復号処理部１３０から供給される実際に撮像されたシャッタ速度情報ＳＳＤと（数４）により算出した最適シャッタ速度情報とを比較し、この比較結果に応じて動きベクトルの値を補正する。
すなわち、適応シャッタ速度制御部１５２は、シャッタ速度が最適シャッタ速度よりも長いときには、このシャッタ速度がすでに動きぼけが付加されている動きぼけ領域Ａ１に存在するものとして、この動きベクトルの値を無効にするマスク処理を施す。
また、適応シャッタ速度制御部１５２は、シャッタ速度が最適シャッタ速度よりも短いときにはこのシャッタ速度がジャーキネス領域Ａ２に存在するとして、シャッタ速度ＳＳが短くなるのに伴って増加して値が１に収束する関数ｆｓ（ＳＳ）を動きベクトルの値に乗じる処理を行う。
このようにして、適応シャッタ速度制御部１５２は、処理対象となっている動画像が実際に撮像された時のシャッタ速度情報を考慮して、不要な動きぼけ付加処理を防止することにより、視覚特性上、より自然な動画像となるように動きぼけ付加処理を行うことができる。
すなわち、適応シャッタ速度制御部１５２は、シャッタ速度が最適シャッタ速度よりも長いときには、このシャッタ速度がすでに動きぼけが付加されている動きぼけ領域Ａ１に存在するものとして、この動きベクトルの値を無効にするマスク処理を施す。
また、適応シャッタ速度制御部１５２は、シャッタ速度が最適シャッタ速度よりも短いときにはこのシャッタ速度がジャーキネス領域Ａ２に存在するとして、シャッタ速度ＳＳが短くなるのに伴って増加して値が１に収束する関数ｆｓ（ＳＳ）を動きベクトルの値に乗じる処理を行う。
このようにして、適応シャッタ速度制御部１５２は、処理対象となっている動画像が実際に撮像された時のシャッタ速度情報を考慮して、不要な動きぼけ付加処理を防止することにより、視覚特性上、より自然な動画像となるように動きぼけ付加処理を行うことができる。
なお本例では、動画像に予めシャッタ速度情報ＳＳＤが含まれていることを前提とし、上記処理を行うものとしている。もしシャッタ速度情報ＳＳＤが含まれていない動画像に対して動きぼけを付加する場合には、動きベクトルマスク処理部１５１から出力される動きベクトル情報を適応シャッタ速度制御部１５２を介さずに後段のフィルタパラメータ算出部１５３に供給するようにすればよい。
また、この適応シャッタ速度制御部１５２では、シャッタ速度に応じて動きベクトルの値を補正しているが、動画像を撮像したときに得られる絞り値Ｆに応じて動きベクトルを補正する適応絞り値制御部を用いることで、適切な動きぼけ付加処理を行うこともできる。
即ち適応シャッタ速度制御部１５２に代えて適応絞り値制御部（図示せず）を用いる。
適応絞り値制御部は、動画像の撮像時における絞り値情報に応じて、動きベクトルマスク処理部１５１から供給される動きベクトルを補正し、補正後の動きベクトルをフィルタパラメータ算出部１５３に供給する。
具体的には、適応絞り値制御部は、絞り値Ｆが所定の閾値より小さい場合には、動きベクトルの値を無効にし、絞り値Ｆが所定の閾値より大きい場合には、絞り値Ｆが大きくなるのに伴って０から増加して１に収束する関数Ｆａ（Ｆ）を動きベクトルに乗じる処理を行う。
なお、この適応絞り値制御部と適応シャッタ速度制御部１５２とを組み合わせて動きベクトルを補正して、補正後の動きベクトルをフィルタパラメータ算出部１５３に供給するようにしても良い。
即ち適応シャッタ速度制御部１５２に代えて適応絞り値制御部（図示せず）を用いる。
適応絞り値制御部は、動画像の撮像時における絞り値情報に応じて、動きベクトルマスク処理部１５１から供給される動きベクトルを補正し、補正後の動きベクトルをフィルタパラメータ算出部１５３に供給する。
具体的には、適応絞り値制御部は、絞り値Ｆが所定の閾値より小さい場合には、動きベクトルの値を無効にし、絞り値Ｆが所定の閾値より大きい場合には、絞り値Ｆが大きくなるのに伴って０から増加して１に収束する関数Ｆａ（Ｆ）を動きベクトルに乗じる処理を行う。
なお、この適応絞り値制御部と適応シャッタ速度制御部１５２とを組み合わせて動きベクトルを補正して、補正後の動きベクトルをフィルタパラメータ算出部１５３に供給するようにしても良い。
次に、フィルタパラメータ算出部１５３は、処理対象フレームを構成する各画素に対して動きぼけを付加するため、次に示すようなフィルタパラメータを画素単位で算出する。
まず、フィルタパラメータ算出部１５３は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という）を特定する。そしてフィルタパラメータ算出部１５３は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
まず、フィルタパラメータ算出部１５３は、有効な動きベクトル情報を有する画素を注目画素として、各注目画素の動きベクトル上に位置する画素（以下、パラメータ算出対象画素という）を特定する。そしてフィルタパラメータ算出部１５３は、この注目画素に対する特定されたパラメータ算出対象画素の相対位置に応じたフィルタパラメータを、次に示すようにして算出する。
すなわち、フィルタパラメータ算出部１５３は、図１７に示すように、動きベクトルの始点Ｓと終点Ｅとの中点を注目画素Ｐ０の位置としたベクトル上に位置する画素の全てをパラメータ算出対象画素として特定する。なお、図１７に示すように、絶対値ｖは注目画素の動きベクトルの絶対値である。
続いて、フィルタパラメータ算出部１５３は、動きベクトルの絶対値ｖと、注目画素Ｐ０の画素位置と上述した処理により特定したパラメータ算出対象画素Ｐ１の画素位置との間の距離ｄとに応じて、動きぼけ付加の強度σを次の（数５）により算出する。
ここで、式中の強度σを二乗した値が後段の動きぼけ付加フィルタ１５４におけるガウス型関数の分散となるように、（数５）は設定されている。
また、フィルタパラメータ算出部１５３は、注目画素Ｐ０を原点としたときの各パラメータ算出対象画素Ｐ１の直交座標平面ｘ−ｙの座標点を（ｘ１，ｙ１）として、動きぼけを付加する角度方向θを次の（数６）より算出する。
このようにしてフィルタパラメータ算出部１５３は、注目画素の動きベクトルからパラメータ算出対象画素を特定し、特定した各パラメータ算出対象画素に対してパラメータ情報（σ，θ）を設定し、処理対象フレーム単位で動きぼけ付加フィルタ１５４に供給する。
なお、ある画素に対して、複数のパラメータ情報が設定されたときには、σの大きい値の情報を、その画素のパラメータ情報として設定するものとする。
また、フィルタパラメータ算出部１５３では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ１５４から出力される動画像の画質を高めることができる。
なお、ある画素に対して、複数のパラメータ情報が設定されたときには、σの大きい値の情報を、その画素のパラメータ情報として設定するものとする。
また、フィルタパラメータ算出部１５３では、各パラメータ算出対象画素のパラメータ情報（σ，θ）に対して、ガウス関数型フィルタ処理やメディアンフィルタ処理などの平滑化処理を施すことにより、後段の動きぼけ付加フィルタ１５４から出力される動画像の画質を高めることができる。
動きぼけ付加フィルタ１５４は、フィルタパラメータ算出部１５３から供給されるパラメータ情報に応じて、復号処理部１３０から供給される復号画像データＤＤの処理対象フレームの各画素の画素値に対して、次に示すようなフィルタ処理を施す。そしてフィルタ処理により動きぼけを付加した画像を、フレーム単位で出力する。
動きぼけ付加フィルタ１５４は、動きぼけ付加フィルタ処理前の動きぼけ付加対象画素の画素値と、この画素の周辺に位置する周辺画素の画素値とを入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）とする。そして、下記（数７）に示すようなガウス型関数により、フィルタ処理後の注目画像の画素値Ｊ（ｘ，ｙ）を出力する。
なお、入力Ｉ（ｘ＋ｉ，ｙ＋ｊ）となる周辺画素は、動きベクトルを付加する角度方向に応じて設定される。また、ｒは、動きぼけ付加対象画素と周辺画素との間の距離を示す。
動きぼけ付加フィルタ１５４は、処理対象フレームを構成する全画素のうち、パラメータ情報（σ，θ）が設定されている画素毎に、上述したフィルタ処理を施して画素値を更新する。
このようにして動きぼけ付加フィルタ１５４は、ジャーキネス劣化が低減された動画像を動画像表示出力部１６０に供給することができる。
このようにして動きぼけ付加フィルタ１５４は、ジャーキネス劣化が低減された動画像を動画像表示出力部１６０に供給することができる。
［１−６：まとめ］
以上のように、この動画像再生装置１００によれば、代表的動きベクトル生成処理部１７０が、動きベクトル生成処理部１４０により求められた画像の動きベクトルＶＤから代表的動きベクトルＤＶを求める。
そして動きぼけ付加処理部１５０内の動きベクトルマスク処理部１５１において、動きベクトルＶＤに近い代表的動きベクトルＤＶを基準ベクトルとし、その基準ベクトルを基に、適応シャッタ速度制御部１５２において最適なシャッタ速度を求める構成とする。
これにより、視覚特性上、より自然な動画像となるように動きぼけを付加することができる。したがって、この動画像再生装置１００によれば、ジャーキネス劣化を含む動画像データから、人間の視覚特性上、より自然にジャーキネス効果を低減した動画像を出力することができる。
以上のように、この動画像再生装置１００によれば、代表的動きベクトル生成処理部１７０が、動きベクトル生成処理部１４０により求められた画像の動きベクトルＶＤから代表的動きベクトルＤＶを求める。
そして動きぼけ付加処理部１５０内の動きベクトルマスク処理部１５１において、動きベクトルＶＤに近い代表的動きベクトルＤＶを基準ベクトルとし、その基準ベクトルを基に、適応シャッタ速度制御部１５２において最適なシャッタ速度を求める構成とする。
これにより、視覚特性上、より自然な動画像となるように動きぼけを付加することができる。したがって、この動画像再生装置１００によれば、ジャーキネス劣化を含む動画像データから、人間の視覚特性上、より自然にジャーキネス効果を低減した動画像を出力することができる。
また、動きピクセル判定処理部１８０により動きピクセル情報を検出する。そして動きぼけ付加処理部１５０内の動きベクトルマスク処理部１５１では、基準ベクトルとした代表的動きベクトルＤＶのベクトル長を、動きピクセル情報（ピクセル判定フラグＭＤ）を用いて適正に修正する。これによっても、より適切な動きベクトル情報を適応シャッタ速度制御部１５２に供給できる。このため、より自然な動画像となる動きぼけの付加を促進できる。
また、この動画像再生装置１００によれば、適応シャッタ速度制御部１５２が動画像の撮像時のシャッタ速度情報に応じて動きベクトルを補正する。これにより、後段のフィルタパラメータ算出部１５３で算出される動きぼけ付加強度σの値を制御するので、動きぼけ付加フィルタ１５４により撮像時のシャッタ速度情報に応じて適切な動きぼけを付加することができる。即ち人間の視覚特性上、より自然にジャーキネス効果を低減した画像を出力することができる。
［１−７：変形例（動きピクセル情報が多値の場合）］
ここで、上記実施の形態の変形例として、動きピクセル情報としてのピクセル判定フラグＭＤが多値とされる場合の例を述べておく。
上記例では、動きピクセル判定処理部１８０は、各画素について「動き有り」「動き無し」を示す２値のピクセル判定フラグＭＤを出力するものとしたが、動きの大きさに応じて多値のピクセル判定フラグＭＤを出力するようにしてもよい。
例えばピクセル判定フラグＭＤを８ビット値とし、０ｘ００（０ｘは１６進を表す）は動きが完全無い場合を、０ｘＦＦは動きが最大の場合を示すものとし、２５６段階の動きの情報を示すようにしてもよい。
ここで、上記実施の形態の変形例として、動きピクセル情報としてのピクセル判定フラグＭＤが多値とされる場合の例を述べておく。
上記例では、動きピクセル判定処理部１８０は、各画素について「動き有り」「動き無し」を示す２値のピクセル判定フラグＭＤを出力するものとしたが、動きの大きさに応じて多値のピクセル判定フラグＭＤを出力するようにしてもよい。
例えばピクセル判定フラグＭＤを８ビット値とし、０ｘ００（０ｘは１６進を表す）は動きが完全無い場合を、０ｘＦＦは動きが最大の場合を示すものとし、２５６段階の動きの情報を示すようにしてもよい。
この場合の動きベクトルマスク処理部１５１の処理を図１８に模式的に示す。
処理Ｓ２０は、上記図１５の場合と同様であり、動きベクトルＶＤについて一致するとされる代表的動きベクトルＤＶが存在しなければゼロベクトルを後段の適応シャッタ速度制御部１５２に出力する。動きベクトルＶＤについて一致するとされる代表的動きベクトルＤＶが存在したら、その代表的動きベクトルＤＶについて処理Ｓ２１を行う。
処理Ｓ２１も図１５と同様であり、代表的動きベクトルＤＶと、該当画素の動きの有無を判定し、動きがなければ、ゼロベクトルを適応シャッタ速度制御部１５２に出力する。但し、動きがある場合においては、代表的動きベクトルＤＶについて処理Ｓ２２により、動きピクセル情報を用いてベクトル長の変更計算を行う。そしてベクトル長を変更した代表的動きベクトルＤＶ’を適応シャッタ速度制御部１５２に出力する。
処理Ｓ２０は、上記図１５の場合と同様であり、動きベクトルＶＤについて一致するとされる代表的動きベクトルＤＶが存在しなければゼロベクトルを後段の適応シャッタ速度制御部１５２に出力する。動きベクトルＶＤについて一致するとされる代表的動きベクトルＤＶが存在したら、その代表的動きベクトルＤＶについて処理Ｓ２１を行う。
処理Ｓ２１も図１５と同様であり、代表的動きベクトルＤＶと、該当画素の動きの有無を判定し、動きがなければ、ゼロベクトルを適応シャッタ速度制御部１５２に出力する。但し、動きがある場合においては、代表的動きベクトルＤＶについて処理Ｓ２２により、動きピクセル情報を用いてベクトル長の変更計算を行う。そしてベクトル長を変更した代表的動きベクトルＤＶ’を適応シャッタ速度制御部１５２に出力する。
この処理Ｓ２２のベクトル長変更計算の手法を図１９に示す。これはピクセル判定フラグＭＤを８ビットとした場合において、代表的動きベクトルＤＶのベクトル長を２５５／ＭＤに相当する割合で増減させる処理としている。
まず処理Ｓ２２１として、ピクセル判定フラグＭＤに対して、（２５５／ＭＤ）を求める。
また処理Ｓ２２２として、代表的動きベクトルＤＶのベクトル長lengthを求める。即ち代表的動きベクトルＤＶのｘ値、ｙ値を、ｖx、ｖyとしたとき、
ベクトル長length＝√（ｖx 2＋ｖy 2）
として求める。
また処理Ｓ２２３として、代表的動きベクトルＤＶのベクトル方向θを求める。即ち、
ベクトル方向θ＝ｔａｎ−１（ｖy／ｖx）
として求める。
まず処理Ｓ２２１として、ピクセル判定フラグＭＤに対して、（２５５／ＭＤ）を求める。
また処理Ｓ２２２として、代表的動きベクトルＤＶのベクトル長lengthを求める。即ち代表的動きベクトルＤＶのｘ値、ｙ値を、ｖx、ｖyとしたとき、
ベクトル長length＝√（ｖx 2＋ｖy 2）
として求める。
また処理Ｓ２２３として、代表的動きベクトルＤＶのベクトル方向θを求める。即ち、
ベクトル方向θ＝ｔａｎ−１（ｖy／ｖx）
として求める。
処理Ｓ２２４では、（２５５／ＭＤ）とベクトル長lengthを乗算する。即ちベクトル長lengthを、２５５／ＭＤに相当する割合で増減させる。この乗算で変更されたベクトル長を変更ベクトル長length’とする。
処理Ｓ２２５では、変更した代表的動きベクトルＤＶのｘ値（Ｖｘ’）を求める。即ち、
Ｖｘ’＝length’×ｃｏｓθ
とする。
処理Ｓ２２６では、変更した代表的動きベクトルＤＶのｙ値（Ｖｙ’）を求める。即ち、
Ｖｙ’＝length’×ｓｉｎθ
とする。
このようにして得たｘ値（Ｖｘ’）、ｙ値（Ｖｙ’）を、多値のピクセル判定フラグＭＤに基づいて変更された代表的動きベクトルＤＶ’として、適応シャッタ速度制御部１５２に出力することになる。
処理Ｓ２２５では、変更した代表的動きベクトルＤＶのｘ値（Ｖｘ’）を求める。即ち、
Ｖｘ’＝length’×ｃｏｓθ
とする。
処理Ｓ２２６では、変更した代表的動きベクトルＤＶのｙ値（Ｖｙ’）を求める。即ち、
Ｖｙ’＝length’×ｓｉｎθ
とする。
このようにして得たｘ値（Ｖｘ’）、ｙ値（Ｖｙ’）を、多値のピクセル判定フラグＭＤに基づいて変更された代表的動きベクトルＤＶ’として、適応シャッタ速度制御部１５２に出力することになる。
このような処理を行うことで、より的確なベクトル情報を適応シャッタ速度制御部１５２に出力できるようになり、上述した、より自然なジャーキネス低減のための動きぼけ付加として有効である。
［２．第２の実施の形態］
第２の実施の形態としての動画像再生装置１００Ａについて図２０，図２１で説明する。
図２０に動画像再生装置１００Ａの構成を示しているが、図１の第１の実施の形態の動画像再生装置１００と異なるのは、動きピクセル判定処理部１８０を設けていない点である。図２０において図１と同一符号を付した各ブロックの構成及び動作については、基本的には上記第１の実施の形態と同様となるため、重複説明を避ける。
第２の実施の形態としての動画像再生装置１００Ａについて図２０，図２１で説明する。
図２０に動画像再生装置１００Ａの構成を示しているが、図１の第１の実施の形態の動画像再生装置１００と異なるのは、動きピクセル判定処理部１８０を設けていない点である。図２０において図１と同一符号を付した各ブロックの構成及び動作については、基本的には上記第１の実施の形態と同様となるため、重複説明を避ける。
この動画像再生装置１００Ａの場合、動きぼけ付加処理部１５０内の構成は上記図１４と同様である。但し、動きベクトルマスク処理部１５１は、ピクセル判定フラグＭＤを用いないマスク処理を行うことになり、その処理を図２１に示す。
即ち動きベクトルマスク処理部１５１は、処理Ｓ２０として、動きベクトル生成処理部１４０からの各動きベクトルＶＤについて、全ての代表的動きベクトルＤＶと比較し、一致（近いものも含む）する代表的動きベクトルＤＶを求める。
そして、一致する代表的動きベクトルＤＶが存在しない動きベクトルＶＤについては、ゼロベクトルとして適応シャッタ速度制御部１５２に出力する。一方、一致する代表的動きベクトルＤＶが存在したら、その代表的動きベクトルＤＶを動きベクトルの情報として適応シャッタ速度制御部１５２に出力する。
即ち、上記図１５で示した処理Ｓ２１を無くした処理例となる。
即ち動きベクトルマスク処理部１５１は、処理Ｓ２０として、動きベクトル生成処理部１４０からの各動きベクトルＶＤについて、全ての代表的動きベクトルＤＶと比較し、一致（近いものも含む）する代表的動きベクトルＤＶを求める。
そして、一致する代表的動きベクトルＤＶが存在しない動きベクトルＶＤについては、ゼロベクトルとして適応シャッタ速度制御部１５２に出力する。一方、一致する代表的動きベクトルＤＶが存在したら、その代表的動きベクトルＤＶを動きベクトルの情報として適応シャッタ速度制御部１５２に出力する。
即ち、上記図１５で示した処理Ｓ２１を無くした処理例となる。
このような第２の実施の形態では、ピクセル判定フラグＭＤを用いないことで、動きベクトル情報の精度は多少低下するが、第１の実施の形態よりも簡易的な構成により、動画像について、自然なジャーキネス低減の効果を得ることができる。
［３．第３の実施の形態］
第３の実施形態として、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して出力する動画像撮像装置３００の構成について、図２２を参照して説明する。
この第３の実施の形態では、前述した第１の実施形態と同様に、動画像データがフレームレート６０ｆｐｓのプログレッシブ形式の単位画像から構成されているものとして説明する。なお、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。
第３の実施形態として、被写体を撮像して、その撮像した動画像に上述した動きぼけ付加処理を施して出力する動画像撮像装置３００の構成について、図２２を参照して説明する。
この第３の実施の形態では、前述した第１の実施形態と同様に、動画像データがフレームレート６０ｆｐｓのプログレッシブ形式の単位画像から構成されているものとして説明する。なお、プログレッシブ形式に限定されるものではなく、インタレース方式で動画像の単位画像が構成されているようにしても良い。
動画像撮像装置３００は、図２２に示すように、動画像を撮像して、撮像画像をＤＶＤなどの記録媒体４００に記録するものである。
この動画像撮像装置３００は、被写体像からの光を集光する撮像光学系３１０と、この撮像光学系３１０により集光された光を受光して画像信号に変換する撮像素子３２０を備える。
また動画像再生装置３００は、画像信号からフレーム単位で動きベクトルを生成する動きベクトル生成処理部３３０と、画像信号からフレーム単位で動きピクセル判定フラグを生成する動きピクセル判定処理部４２０を備える。
また動画像再生装置３００は、動きベクトルから代表的動きベクトルを生成する代表的動きベクトル生成処理部４１０と、画像信号に対してフレーム単位で動きぼけを付加する動きぼけ付加処理部３４０とを備える。
また動画像再生装置３００は、画像信号をＭＰＥＧなどの規格により符号化する動画像符号化処理部３５０と、画像信号をＪＰＥＧなどの規格により符号化する静止画符号化処理部３６０を備える。
また動画像再生装置３００は、符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部３７０と、符号化された画像データを記録媒体２００に記録する記録処理部３８０とを備える。
この動画像撮像装置３００は、被写体像からの光を集光する撮像光学系３１０と、この撮像光学系３１０により集光された光を受光して画像信号に変換する撮像素子３２０を備える。
また動画像再生装置３００は、画像信号からフレーム単位で動きベクトルを生成する動きベクトル生成処理部３３０と、画像信号からフレーム単位で動きピクセル判定フラグを生成する動きピクセル判定処理部４２０を備える。
また動画像再生装置３００は、動きベクトルから代表的動きベクトルを生成する代表的動きベクトル生成処理部４１０と、画像信号に対してフレーム単位で動きぼけを付加する動きぼけ付加処理部３４０とを備える。
また動画像再生装置３００は、画像信号をＭＰＥＧなどの規格により符号化する動画像符号化処理部３５０と、画像信号をＪＰＥＧなどの規格により符号化する静止画符号化処理部３６０を備える。
また動画像再生装置３００は、符号化された画像データを所定の伝送路を介して外部へ送信する送信処理部３７０と、符号化された画像データを記録媒体２００に記録する記録処理部３８０とを備える。
このような動画像再生装置３００における撮像光学系３１０は、外部から入射する被写体光の光量を調節する絞り機構５１１と、この絞り機構により光量が調節された被写体光を撮像素子３２０の受光面に集光させる光学レンズ系５１２とから構成されている。
撮像素子３２０は、撮像光学系３１０により集光された光を受光面で受光して画像信号に変換する。そして、撮像素子３２０は、この画像信号を動画像データとして動きぼけ付加処理部３４０及び動きベクトル生成処理部３３０に供給するとともに、この画像信号を静止画データとして静止画符号化処理部３６０に供給する。また、撮像素子３２０は、単位フレーム当たりに受光する時間、すなわちシャッタ速度を撮像データとして含んだ動画像データを出力する。
なお、撮像素子３２０から出力される動画像データは、例えば、露光制御するためにシャッタ速度を非常に短くしたことにより、ジャーキネス劣化が生じているものとする。
撮像素子３２０は、撮像光学系３１０により集光された光を受光面で受光して画像信号に変換する。そして、撮像素子３２０は、この画像信号を動画像データとして動きぼけ付加処理部３４０及び動きベクトル生成処理部３３０に供給するとともに、この画像信号を静止画データとして静止画符号化処理部３６０に供給する。また、撮像素子３２０は、単位フレーム当たりに受光する時間、すなわちシャッタ速度を撮像データとして含んだ動画像データを出力する。
なお、撮像素子３２０から出力される動画像データは、例えば、露光制御するためにシャッタ速度を非常に短くしたことにより、ジャーキネス劣化が生じているものとする。
動きベクトル生成処理部３３０は、撮像素子３２０から供給される動画像データから、処理対象フレーム毎に動きベクトルを生成して、動きぼけ付加処理部３４０、代表的動きベクトル生成処理部４１０、動きピクセル判定処理部４２０にそれぞれ供給する。
この動きベクトル生成処理部３３０は、前述した第１の実施の形態における動きベクトル生成処理部１４０と同様の構成（図２参照）からなり、この構成により、全ての画像領域に対して精度良く動きベクトルを生成することができる。したがって、動きベクトル生成処理部３３０の具体的な構成とその処理に関しては、その説明を省略する。
この動きベクトル生成処理部３３０は、前述した第１の実施の形態における動きベクトル生成処理部１４０と同様の構成（図２参照）からなり、この構成により、全ての画像領域に対して精度良く動きベクトルを生成することができる。したがって、動きベクトル生成処理部３３０の具体的な構成とその処理に関しては、その説明を省略する。
代表的動きベクトル生成処理部４１０は、動きベクトル生成処理部３３０から給される処理対象フレーム毎の動きベクトルから代表的動きベクトルを検出し、動きぼけ付加処理部３４０及び動きピクセル判定処理部４２０に供給する。
この代表的動きベクトル生成処理部４１０は、第１の実施の形態における代表的動きベクトル生成処理部１７０と同様の構成からなり、この構成により、処理対象フレームに対して代表的動きベクトルを生成する（図３〜図８参照）。したがって代表的動きベクトル生成処理部４１０の具体的な構成とその処理に関しては、その説明を省略する。
この代表的動きベクトル生成処理部４１０は、第１の実施の形態における代表的動きベクトル生成処理部１７０と同様の構成からなり、この構成により、処理対象フレームに対して代表的動きベクトルを生成する（図３〜図８参照）。したがって代表的動きベクトル生成処理部４１０の具体的な構成とその処理に関しては、その説明を省略する。
動きピクセル判定処理部４２０は、撮像素子３２０から給される動画像データについて、処理対象フレームと直前フレームとから、処理対象フレーム毎に動いているピクセルを検出し、動きぼけ付加処理部３４０に供給する。
この動きピクセル判定処理部４２０は、第１の実施の形態における動きピクセル判定処理部１８０と同様の構成からなり、この構成により、全ての画像領域に対して動きピクセル判定フラグを生成する（図９〜図１３参照）。したがって、動きピクセル判定処理部４２０の具体的な構成とその処理に関しては、その説明を省略する。
この動きピクセル判定処理部４２０は、第１の実施の形態における動きピクセル判定処理部１８０と同様の構成からなり、この構成により、全ての画像領域に対して動きピクセル判定フラグを生成する（図９〜図１３参照）。したがって、動きピクセル判定処理部４２０の具体的な構成とその処理に関しては、その説明を省略する。
動きぼけ付加処理部３４０は、撮像素子３２０から供給される動画像データに対して動きぼけを付加する。この場合、動画像データに含まれるシャッタ速度情報と、動きベクトル生成処理部３３０から供給される動きベクトルと、動きピクセル判定処理部４２０から供給される動きピクセル判定フラグと、代表的動きベクトル生成処理部４１０から供給される代表的動きベクトルに応じて動きぼけを付加する。
この動きぼけ付加処理部３４０は、第１の実施の形態における動きぼけ付加処理部１５０と同様の構成からなる。この構成により、動画像の撮像時のシャッタ速度情報に応じて動きぼけ付加の強度を変更するので、シャッタ速度に応じて適切な動きぼけを動画像に付加することができ、人間の視覚特性上、より自然にジャーキネス効果を低減した動画像を出力することができる（図１４〜図１７参照）。動きぼけ付加処理部３４０の具体的な構成とその処理に関しては、その説明を省略する。
この動きぼけ付加処理部３４０は、第１の実施の形態における動きぼけ付加処理部１５０と同様の構成からなる。この構成により、動画像の撮像時のシャッタ速度情報に応じて動きぼけ付加の強度を変更するので、シャッタ速度に応じて適切な動きぼけを動画像に付加することができ、人間の視覚特性上、より自然にジャーキネス効果を低減した動画像を出力することができる（図１４〜図１７参照）。動きぼけ付加処理部３４０の具体的な構成とその処理に関しては、その説明を省略する。
動画像符号化処理部３５０は、動きぼけ付加処理部３４０から供給されるジャーキネス効果が低減された動画像データをＭＰＥＧなどの規格によって符号化して、この符号化した画像データを、送信処理部３７０及び記録処理部３８０に供給する。
なお、動画像符号化処理部３５０は、動きベクトル生成処理部３３０で検出した動きベクトルを入力するようにすれば、それを符号化用の動きベクトル情報として用いることができる。又は、動きぼけ付加処理部３４０から供給される動画像データから検出した動きベクトルを用いて符号化用の動きベクトル情報を生成してもよい。
なお、動画像符号化処理部３５０は、動きベクトル生成処理部３３０で検出した動きベクトルを入力するようにすれば、それを符号化用の動きベクトル情報として用いることができる。又は、動きぼけ付加処理部３４０から供給される動画像データから検出した動きベクトルを用いて符号化用の動きベクトル情報を生成してもよい。
静止画符号化処理部３６０は、撮像素子３２０から供給される静止画データを、ＪＰＥＧなどの規格で符号化して、符号化静止画データを、送信処理部３７０及び記録処理部３８０に供給する。
送信処理部３７０は、符号化動画像データを所定の伝送路を介して外部へ送信する。
また、記録処理部３８０は、符号化動画像データを記録媒体４００に記録する。このような符号化動画像データは、上述したようにジャーキネス効果が低減された動画像データが符号化されている。
また、記録処理部３８０は、符号化動画像データを記録媒体４００に記録する。このような符号化動画像データは、上述したようにジャーキネス効果が低減された動画像データが符号化されている。
したがって、この動画像撮像装置３００によって送信された送信データ、及び記録媒体４００に記録された記録データの再生を行う再生装置は、第１の実施の形態に示したような動きぼけ付加処理を行うことなく、既存の再生処理工程を行うだけで、ジャーキネス効果が低減された動画像を表示装置に表示させることができる。
以上、本発明の画像処理装置、画像処理方法の実施の形態として、第１，第２，第３の実施の形態や変形例を説明してきたが、本発明は、上記各例に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更が可能であることは勿論である。
また上記各例の動画像再生装置１００，１００Ａや、動画像撮像装置３００の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
また上記各例の動画像再生装置１００，１００Ａや、動画像撮像装置３００の構成は、複数の処理部の論理的集合構成であり、各構成として示した処理部が同一筐体内にあるものには限らない。
［４．プログラム］
以上の実施の形態は、画像処理装置の具体例としての動画像再生装置１００，１００Ａや、動画像撮像装置３００について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置や撮像装置以外に、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
以上の実施の形態は、画像処理装置の具体例としての動画像再生装置１００，１００Ａや、動画像撮像装置３００について説明したが、本発明は画像処理を行う各種機器に適用できる。例えば画像再生装置や撮像装置以外に、通信装置、画像記録装置、ゲーム機器、ビデオ編集機、などが想定される。
さらに、汎用のパーソナルコンピュータその他の情報処理装置において、動画像再生装置１００，１００Ａや、動画像撮像装置３００を実現することも当然想定される。
即ち、上述した動画像再生装置１００，１００Ａや動画像撮像装置３００を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現されるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば図１，図２０，図２２における動きベクトル生成処理部１４０（３３０）、代表的動きベクトル生成処理部１７０（４１０）、動きピクセル判定処理部１８０（４２０）、動きぼけ付加処理部１５０（３４０）の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
即ち、上述した動画像再生装置１００，１００Ａや動画像撮像装置３００を構成する各処理部は、例えばＦＰＧＡ等によって設計されるハードウェアによって実現されるが、各処理部によって実現される画像処理をコンピュータ等の情報処理機器に実行させるようにしても良い。
例えば図１，図２０，図２２における動きベクトル生成処理部１４０（３３０）、代表的動きベクトル生成処理部１７０（４１０）、動きピクセル判定処理部１８０（４２０）、動きぼけ付加処理部１５０（３４０）の動作を演算処理装置に実行させるプログラムを画像処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像処理を実現できる。
即ち当該プログラムは以下の各ステップを演算処理装置（ＣＰＵ等）に実行させる。
まず、動きベクトル生成処理部１４０（３３０）の処理に相当する、入力された動画像データについて、該動画像データを構成する各単位画像を処理対象画像とし、処理対象画像毎の動きベクトルを生成する動きベクトル生成ステップを演算処理装置に実行させる。
また代表的動きベクトル生成処理部１７０（４１０）の処理に相当する、動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出ステップを演算処理装置に実行させる。
また動きぼけ付加処理部１５０（３４０）の処理に相当する、入力された動画像データに対し、上記代表的動きベクトル生成ステップで抽出された代表的動きベクトルと、上記動きベクトル生成ステップで生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加ステップを演算処理装置に実行させる。
まず、動きベクトル生成処理部１４０（３３０）の処理に相当する、入力された動画像データについて、該動画像データを構成する各単位画像を処理対象画像とし、処理対象画像毎の動きベクトルを生成する動きベクトル生成ステップを演算処理装置に実行させる。
また代表的動きベクトル生成処理部１７０（４１０）の処理に相当する、動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出ステップを演算処理装置に実行させる。
また動きぼけ付加処理部１５０（３４０）の処理に相当する、入力された動画像データに対し、上記代表的動きベクトル生成ステップで抽出された代表的動きベクトルと、上記動きベクトル生成ステップで生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加ステップを演算処理装置に実行させる。
なお、動きピクセル判定処理部１８０（４２０）の処理に相当するステップを、さらに演算処理装置に実行させるプログラムとしてもよい。即ち処理対象画像と、該処理対象画像以前の処理対象画像との差分を検出し、動いている画素を判定し、動きピクセル判定情報を出力するステップである。
このようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置においても同様の画像処理を実行できるようにすることができる。
なお、このようなプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
１００，１００Ａ 動画像再生装置、１１０ 受信処理部、１２０ 再生処理部、１３０ 復号処理部、１４０ 動きベクトル生成処理部、１４１ 動きベクトル検出部、１４２ 遅延部、１４３ 動きベクトル平滑化処理部、１５０ 動きぼけ付加処理部、１５１ ベクトルマスク処理部、１５２ 適応シャッタ速度制御部、１５３ フィルタパラメータ算出部、１５４ 動きぼけ付加フィルタ、１６０ 動画像表示出力部、１７０ 代表的動きベクトル生成処理部、１７１ 動きベクトル種別分け処理部、１７２ 種別カウント処理部、１７３ 種別カウントテーブル、１７４ 最大カウント種別算出部、１７５ 代表的動きベクトル算出部、１８０ 動きピクセル判定処理部、１８１ 動きピクセル検出部、１８２ 動きピクセル情報平滑化処理部、１８３ 動きピクセル情報膨張処理部、１８４ 遅延部、２００ 記録媒体、２１０ セレクタ、２２０ セレクタ、３００ 動画像撮像装置、３１０ 撮像光学系、３２０ 撮像素子、３３０ 動きベクトル生成処理部、３４０ 動きぼけ付加処理部、３５０ 動画像符号化処理部、３６０ 静止画符号化処理部、３７０ 送信処理部、３８０ 記録処理部、４００ 記録媒体、４１０ 代表的動きベクトル生成処理部、４２０ 動きピクセル判定処理部
Claims (15)
- 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎に動きベクトルを生成する動きベクトル生成手段と、
上記動きベクトル生成手段により生成された動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出手段と、
上記動画像データに対し、上記代表的動きベクトル生成手段により抽出された代表的動きベクトルと、上記動きベクトル生成手段により生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加手段と、
を備える画像処理装置。 - 上記処理対象画像と、該処理対象画像以前の処理対象画像との差分を検出することで、動いている画素を判定し、動きピクセル判定情報を出力する動きピクセル判定手段をさらに備え、
上記動きぼけ付加手段は、入力された動画像データに対して動きぼけを付加する処理を行う際に、上記動きピクセル情報を用いる請求項１に記載の画像処理装置。 - 上記動きベクトル生成手段は、画素単位または画素ブロック単位で生成された動きベクトルを平滑化する動きベクトル平滑化処理部を備える請求項１に記載の画像処理装置。
- 上記代表的動きベクトル抽出手段は、複数の代表的動きベクトルを抽出する請求項１に記載の画像処理装置。
- 上記代表的動きベクトル抽出手段は、画素単位または画素ブロック単位の代表的動きベクトルを決定し、その代表的動きベクトルを平滑化する請求項１に記載の画像処理装置。
- 上記動きピクセル判定手段は、動いている画素であるか否かを判定する２値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する請求項２に記載の画像処理装置。
- 上記動きピクセル判定手段は、動いている画素であるか否かを判定する多値の情報として、画素単位または画素ブロック単位で、動きピクセル判定情報を生成する請求項２に記載の画像処理装置。
- 上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を平滑化して出力する請求項２に記載の画像処理装置。
- 上記動きピクセル判定手段は、画素単位または画素ブロック単位で生成した動きピクセル判定情報を、動きベクトル方向に膨張させて出力する請求項２に記載の画像処理装置。
- 上記動きぼけ付加手段は、上記動きピクセル判定手段により動いていると判定された画素に動きぼけを付加する処理を行う請求項２に記載の画像処理装置。
- 上記動きぼけ付加手段は、上記動画像データが撮像装置による撮像により生成された際のシャッタ速度情報に応じて上記動きベクトル生成手段により生成された動きベクトルを補正し、この補正した動きベクトルに応じて上記処理対象画像に動きぼけを付加する処理を行う請求項１に記載の画像処理装置。
- 上記動きぼけ付加手段は、
上記処理対象画像を構成する各注目画素の動きベクトル上に位置するパラメータ算出対象画素を特定して、この注目画素からパラメータ算出対象画素までの距離に応じたフィルタパラメータを算出するフィルタパラメータ算出部と、
上記処理対象画像を構成する各画素の画素値に、この画素の周辺に位置する上記パラメータ算出対象画素のフィルタパラメータに応じたフィルタ処理を施す動きぼけフィルタと、
を有する請求項１に記載の画像処理装置。 - 被写体を撮像して動画像を生成する撮像手段をさらに備え、
上記撮像手段での撮像によって得られた動画像データが、上記動きベクトル生成手段及び上記動きぼけ付加手段に入力される請求項１に記載の画像処理装置。 - 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎に動きベクトルを生成する動きベクトル生成ステップと、
上記動きベクトル生成ステップで生成された動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出ステップと、
上記動画像データに対し、上記代表的動きベクトル生成ステップで抽出された代表的動きベクトルと、上記動きベクトル生成ステップで生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加ステップと、
を有する画像処理方法。 - 動画像データを構成する各単位画像を処理対象画像とし、各処理対象画像の領域毎に動きベクトルを生成する動きベクトル生成ステップと、
上記動きベクトル生成ステップで生成された動きベクトルから代表的動きベクトルを抽出する代表的動きベクトル抽出ステップと、
上記動画像データに対し、上記代表的動きベクトル生成ステップで抽出された代表的動きベクトルと、上記動きベクトル生成ステップで生成された動きベクトルとを用いて、動きぼけを付加する処理を行う動きぼけ付加ステップと、
を演算処理装置に実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008176621A JP2010015483A (ja) | 2008-07-07 | 2008-07-07 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008176621A JP2010015483A (ja) | 2008-07-07 | 2008-07-07 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2010015483A true JP2010015483A (ja) | 2010-01-21 |
Family
ID=41701533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008176621A Pending JP2010015483A (ja) | 2008-07-07 | 2008-07-07 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2010015483A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11398014B2 (en) | 2018-09-14 | 2022-07-26 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0414980A (ja) * | 1990-05-09 | 1992-01-20 | Oki Electric Ind Co Ltd | テレビジョン信号内挿方式 |
| JP2003250160A (ja) * | 2002-02-22 | 2003-09-05 | Nippon Hoso Kyokai <Nhk> | 映像コマ数削減装置および映像コマ数削減方法 |
| JP2007274299A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| WO2008096818A1 (ja) * | 2007-02-07 | 2008-08-14 | Sony Corporation | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
-
2008
- 2008-07-07 JP JP2008176621A patent/JP2010015483A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0414980A (ja) * | 1990-05-09 | 1992-01-20 | Oki Electric Ind Co Ltd | テレビジョン信号内挿方式 |
| JP2003250160A (ja) * | 2002-02-22 | 2003-09-05 | Nippon Hoso Kyokai <Nhk> | 映像コマ数削減装置および映像コマ数削減方法 |
| JP2007274299A (ja) * | 2006-03-31 | 2007-10-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
| WO2008096818A1 (ja) * | 2007-02-07 | 2008-08-14 | Sony Corporation | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11398014B2 (en) | 2018-09-14 | 2022-07-26 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US11972546B2 (en) | 2018-09-14 | 2024-04-30 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6081726B2 (ja) | 多重露出フュージョン基盤でゴーストブラーを除去したｈｄｒ映像生成装置及び方法 | |
| US9330446B2 (en) | Method and apparatus for processing image | |
| US9262684B2 (en) | Methods of image fusion for image stabilization | |
| JP5908174B2 (ja) | 画像処理装置及び画像処理方法 | |
| KR101426095B1 (ko) | 화상 처리 장치, 촬상 장치 및 화상 처리 방법 | |
| US8189947B2 (en) | Image edge correction apparatus and method | |
| JP2010004329A (ja) | 画像処理装置、画像処理方法、プログラム | |
| US20090046160A1 (en) | Camera shake correcting device | |
| WO2015184208A1 (en) | Constant bracketing for high dynamic range operations (chdr) | |
| EP2413586A1 (en) | Method and device for adaptive noise measurement of a video signal | |
| CN113034384A (zh) | 视频处理方法、装置、电子设备以及存储介质 | |
| JP5163429B2 (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
| US10063779B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| KR101336240B1 (ko) | 저장된 영상을 이용한 영상 처리 방법 및 장치 | |
| JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
| JP5300413B2 (ja) | 動きベクトル検出装置及び動きベクトル検出方法及び撮像装置及びプログラム | |
| JP2010183460A (ja) | 撮像装置およびその制御方法 | |
| JP6826472B2 (ja) | 画像処理装置およびその制御方法 | |
| JP2010015483A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP4915860B2 (ja) | 動画像分類装置 | |
| JP5179433B2 (ja) | ノイズリダクション装置、ノイズリダクション方法、および動画再生装置 | |
| JP5219771B2 (ja) | 映像処理装置および映像処理装置の制御方法 | |
| JP2021047710A (ja) | 画像処理装置、画像処理方法、画像処理システム及びプログラム | |
| CN112132879A (zh) | 一种图像处理的方法、装置和存储介质 | |
| JP2015076676A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110428 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120904 |