JP2004032374A - シャープネス処理方法および装置並びにプログラム - Google Patents

Abstract

【課題】動画像の特性を考慮して動画像からサンプリングされたフレームのシャープネス処理を行う。
【解決手段】動画像データＭ０をサンプリングしてフレームＦｒ１，Ｆｒ２を得、フレームＦｒ１，Ｆｒ２に基づいてフレームＦｒ１の動ベクトルＶ０を算出する。動ベクトルＶ０の大きさに基づいて、シャープネス処理の強調度ｋを変更するシャープネス係数αを決定し、シャープネス係数αにより基準強調度ａを変更して強調度ｋを設定する。そして、強調度ｋに基づいて、下記の式によりシャープネス処理済みのフレームデータＳｐｒｏｃ１を得る（ＳｕｓはフレームデータＳｏｒｇのボケデータ）。
Ｓｐｒｏｃ１＝Ｓｏｒｇ１＋ｋ（Ｓｏｒｇ−Ｓｕｓ）
【選択図】　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、動画像からサンプリングされた１のフレームに対してシャープネス処理を施すシャープネス処理方法および装置並びにシャープネス処理方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
本出願人により、非鮮鋭マスク画像データ（以下、ボケ画像データという）を用いてシャープネス処理を行って画像の鮮鋭度を向上させる種々のシャープネス処理方法が提案されている（特開昭５５−１６３４７２号公報、同５５−８７９５３号公報、特開平３−２２２５７７号公報、同１０−７５３９５号公報、同１０−７５３６４号公報、同１０−１７１９８３号公報等）。このシャープネス処理方法は、例えば元の画像データＳｏｒｇからボケ画像データＳｕｓを引いたものに強調度ｋを乗じたものを、画像データＳｏｒｇに加算することにより、画像データの所定の空間周波数成分を強調する処理を行う方法である。これを式で表すと下記の式（１）のようになる。
Ｓｐｒｏｃ＝Ｓｏｒｇ＋ｋ×（Ｓｏｒｇ−Ｓｕｓ）　　　　（１）
但し、Ｓｐｒｏｃ：処理済み画像データ
Ｓｏｒｇ：元の画像データ
Ｓｕｓ：ボケ画像データ
ｋ：強調度
【０００３】
ボケ画像データＳｕｓは、画像データＳｏｒｇに対してボケマスクを用いたフィルタリング処理を施すことにより得られる。ここで、ボケマスクとしては、３×３や５×５のように画像データＳｏｒｇに対して２次元的にフィルタリング処理を施すフィルタが用いられる。
【０００４】
一方、動画像に対してシャープネス処理を施す方法も提案されている（特開平６−６８２５２号公報）。この方法は、動画像からサンプリングされた複数のフレームに対して、空間的に上記式（１）に示すシャープネス処理を施すことにより、動画像の鮮鋭度を強調する方法である。この方法によれば、鮮鋭度が強調された高画質の動画像を再生することが可能となる。
【０００５】
【発明が解決しようとする課題】
しかしながら、動画像は静止画像とは異なり、動画像における時間軸上の各フレームに動画像に特有のボケを含むという特性を有する。例えば、動画像に含まれる移動中の被写体はその移動方向に対して移動量に応じたボケを有するものとなっている。したがって、このような動画像の特性を考慮しないでシャープネス処理を行うと、鮮鋭度を向上させる必要がある動いている領域の鮮鋭度を向上させることができなかったり、逆に鮮鋭度を向上させる必要がない静止している領域の鮮鋭度を向上させてしまうという問題がある。
【０００６】
本発明は上記事情に鑑みなされたものであり、動画像の特性を考慮して動画像に含まれる１フレームの鮮鋭度を良好に向上させることを目的とする。
【０００７】
【課題を解決するための手段】
本発明によるシャープネス処理方法は、動画像からサンプリングしたフレームに対してシャープネス処理を施すシャープネス処理方法であって、
前記フレームおよび該フレームを基準として時間的に前後する少なくとも１つの他のフレームに基づいて、前記フレームおよび前記他のフレーム間の動ベクトルを算出し、
該動ベクトルの大きさおよび／または方向に基づいて、前記シャープネス処理のパラメータを設定することを特徴とするものである。
【０００８】
なお、本発明によるシャープネス処理方法においては、前記フレームを複数の領域に分割し、
該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得、
該複数の動ベクトルの大きさおよび／または方向に基づいて、前記複数の領域毎に前記シャープネス処理のパラメータを設定するようにしてもよい。
【０００９】
また、本発明によるシャープネス処理方法においては、前記フレームを複数の領域に分割し、
該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得、
該複数の動ベクトルの大きさに基づいて、前記フレームを複数の被写体領域に分割し、
該複数の被写体領域毎に前記シャープネス処理のパラメータを設定するようにしてもよい。
【００１０】
また、本発明によるシャープネス処理方法においては、前記フレームおよび複数の前記他のフレームに基づいて、該フレームおよび該各他のフレーム間の複数の動ベクトルを算出し、
該フレームおよび該各他のフレーム間の複数の動ベクトルに基づいて、該複数の動ベクトルの信頼度を算出し、
該信頼度が所定のしきい値よりも大きい場合には、該算出された複数の動ベクトルのうちのいずれかの動ベクトルに基づいて前記パラメータを設定し、
該信頼度が所定のしきい値未満の場合には、予め定められた所定のパラメータを前記シャープネス処理のパラメータとして設定するようにしてもよい。
【００１１】
本発明によるシャープネス処理装置は、動画像からサンプリングしたフレームに対してシャープネス処理を施すシャープネス処理装置であって、
前記フレームおよび該フレームを基準として時間的に前後する少なくとも１つの他のフレームに基づいて、前記フレームおよび前記他のフレーム間の動ベクトルを算出する動ベクトル算出手段と、
該動ベクトルの大きさおよび／または方向に基づいて、前記シャープネス処理のパラメータを設定するパラメータ設定手段とを備えたことを特徴とするものである。
【００１２】
なお、本発明によるシャープネス処理装置においては、前記動ベクトル算出手段を、前記フレームを複数の領域に分割し、該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手段とし、
前記パラメータ設定手段を、該複数の動ベクトルの大きさおよび／または方向に基づいて、前記複数の領域毎に前記シャープネス処理のパラメータを設定する手段としてもよい。
【００１３】
また、本発明によるシャープネス処理装置においては、前記動ベクトル算出手段を、前記フレームを複数の領域に分割し、該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手段とし、
前記パラメータ設定手段を、該複数の動ベクトルの大きさに基づいて、前記フレームを複数の被写体領域に分割し、該複数の被写体領域毎に前記シャープネス処理のパラメータを設定する手段としてもよい。
【００１４】
また、本発明によるシャープネス処理装置においては、前記動ベクトル算出手段を、前記フレームおよび複数の前記他のフレームに基づいて、該フレームおよび該各他のフレーム間の複数の動ベクトルを算出する手段とし、
前記パラメータ設定手段を、該フレームおよび該各他のフレーム間の複数の動ベクトルに基づいて、該複数の動ベクトルの信頼度を算出し、該信頼度が所定のしきい値よりも大きい場合には、該算出された複数の動ベクトルのうちのいずれかの動ベクトルに基づいて前記パラメータを設定し、該信頼度が所定のしきい値未満の場合には、予め定められた所定のパラメータを前記シャープネス処理のパラメータとして設定する手段としてもよい。
【００１５】
なお、本発明によるシャープネス処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１６】
【発明の効果】
本発明によれば、動画像からサンプリングしたフレームおよびこれと時間的に前後する少なくとも１つの他のフレームに基づいて、フレームおよび他のフレーム間の動ベクトルが算出される。この動ベクトルの大きさはフレームに含まれる動いている領域の移動距離を、動ベクトルの方向はフレームに含まれる動いている領域の移動方向を表すものとなる。そして、動ベクトルの大きさおよび／または方向に基づいて、シャープネス処理のパラメータすなわち上記式（１）における強調度ｋの値や、シャープネス処理を施す方向が設定され、設定されたパラメータによりフレームに対してシャープネス処理が施される。このため、フレーム中に含まれる動いている領域の移動量および／または移動方向に応じて適切なシャープネス処理を施すことができ、これにより、鮮鋭度が適切に強調されたシャープネス処理済みのフレームを得ることができる。
【００１７】
また、フレームを複数の領域に分割し、分割された複数の領域のそれぞれについて動ベクトルを算出し、複数の領域毎にシャープネス処理のパラメータを設定すれば、フレーム上の各領域の移動量および／または移動方向に応じて適切なシャープネス処理を施すことができる。
【００１８】
また、フレームを複数の領域に分割し、分割された複数の領域のそれぞれについて動ベクトルを算出し、複数の動ベクトルの大きさに基づいて、フレームを複数の被写体領域に分割し、複数の被写体領域毎にシャープネス処理のパラメータを設定すれば、フレームに含まれる個々の被写体の移動量および／または移動方向に応じて適切なシャープネス処理を施すことができる。
【００１９】
また、フレームおよび複数の他のフレームに基づいて、フレームおよび複数の他のフレーム間の複数の動ベクトルを算出し、フレームおよび複数の他のフレーム間の複数の動ベクトルに基づいて、複数の動ベクトルの信頼度を算出し、信頼度の大きさに応じて算出された動ベクトルのうちのいずれかの動ベクトルに基づいてパラメータを設定するか、予め定められた所定のパラメータを設定するかを変更するようにすれば、動ベクトルの信頼度が小さいときに、その動ベクトルに基づいてシャープネス処理を行ってしまうことにより、鮮鋭度の向上が必要ないフレームまたはフレーム上の領域の鮮鋭度を向上させてしまうことを防止することができる。
【００２０】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態によるシャープネス処理装置は、動画像データＭ０から複数のフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングするサンプリング手段１と、シャープネス処理の対象となる１のフレーム（第１の実施の形態においてはフレームＦｒ１）の動ベクトルＶ０を算出する動ベクトル算出手段２と、動ベクトルＶ０に基づいて、後述するシャープネス処理の強調度ｋを変更するためのシャープネス係数αを決定する動ベクトル処理手段３と、シャープネス処理のための強調度ｋを設定する強調度設定手段４と、強調度ｋに基づいてフレームＦｒ１を表すフレームデータＳｏｒｇ１に対してシャープネス処理を施してシャープネス処理済みのフレームデータＳｐｒｏｃ１を得る処理手段５と、基準となる強調度ａを記憶する基準強調度記憶手段６とを備える。
【００２１】
サンプリング手段１は、動画像データＭ０から等しい時間間隔によりフレームＦｒ１，Ｆｒ２…Ｆｒｎをサンプリングする。なお、第１の実施形態においては、時間的に隣接する２つのフレームＦｒ１，Ｆｒ２を用いてフレームＦｒ１に対するシャープネス処理を行うものとする。
【００２２】
動ベクトル算出手段２は、第１の実施の形態においては、２つのフレームＦｒ１，Ｆｒ２に基づいて、フレームＦｒ１の動ベクトルＶ０を算出する。具体的には、図２に示すように、フレームＦｒ１をフレームＦｒ２に対して平行移動し、フレームＦｒ１，Ｆｒ２間の画素値の相関が最も高くなったときのフレームＦｒ１の移動量および移動方向を動ベクトルＶ０とする。なお、図２においては、フレームＦｒ１に含まれる被写体Ｑ０とフレームＦｒ２に含まれる被写体Ｑ０とが一致するときに、フレームＦｒ１，Ｆｒ２間の画素値の相関が最も高くなる。また、フレームＦｒ１，Ｆｒ２間の画素値の差の２乗または絶対値の累積和が最小となったときに最も相関が高いものと判断する。
【００２３】
動ベクトル処理手段３は、動ベクトル算出手段２において算出された動ベクトルＶ０の大きさ｜Ｖ０｜に応じて、後述するようにフレームデータＳｏｒｇ１に対して施すシャープネス処理の強調度ｋを設定するためのシャープネス係数αを決定する。具体的には、動ベクトル処理手段３は、図３に示す動ベクトルの大きさ｜Ｖ０｜とシャープネス係数αとの関係を表すテーブルＴＢ０を記憶しており、このテーブルＴＢ０を参照して、動ベクトルＶ０の大きさ｜Ｖ０｜に応じてシャープネス係数αを決定する。
【００２４】
なお、図３に示すテーブルＴＢ０は、動ベクトルＶ０の大きさ｜Ｖ０｜が０を越える場合に強調度を大きくするようなシャープネス係数αを求めるものとなっている。また、動ベクトルＶ０の大きさ｜Ｖ０｜が大きい場合にシャープネスが強調されすぎることを防止するために、動ベクトルＶ０の大きさ｜Ｖ０｜が一定値Ｔｈ１を越えるとシャープネス係数αの値は一定となっている。
【００２５】
強調度設定手段４は、基準強調度記憶手段６に記憶された基準強調度ａにシャープネス係数αを乗算することにより強調度ｋを算出する。なお、基準強調度ａの値としては、第１の実施形態においては例えば１．２を用いる。
【００２６】
処理手段５は、下記の式（２）に示すように強調度ｋに基づいてフレームデータＳｏｒｇ１に対してシャープネス処理を施して、シャープネス処理済みのフレームデータＳｐｒｏｃ１を得る。
Ｓｐｒｏｃ１＝Ｓｏｒｇ１＋ｋ（Ｓｏｒｇ１−Ｓｕｓ）　　　　（２）
但し、ＳｕｓはフレームデータＳｏｒｇ１のボケデータ
【００２７】
なお、フレームデータＳｏｒｇ１は、ＲＧＢそれぞれの色データであってもよく、ＲＧＢの色データから得られた輝度データおよび色差データであってもよい。また、輝度データのみであってもよい。
【００２８】
次いで、第１の実施形態の動作について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２が得られる（ステップＳ１）。そして、動ベクトル算出手段２においてフレームＦｒ１の動ベクトルＶ０が算出され（ステップＳ２）、動ベクトル処理手段３において動ベクトルＶ０の大きさ｜Ｖ０｜に基づいてシャープネス係数αが決定される（ステップＳ３）。次いで、強調度設定手段４においてシャープネス係数αに基づいて基準強調度ａが変更されて強調度ｋが設定される（ステップＳ４）。そして、処理手段５において、フレームデータＳｏｒｇ１に対して強調度ｋに基づくシャープネス処理が施されてシャープネス処理済みフレームデータＳｐｒｏｃ１が得られ（ステップＳ５）、処理を終了する。
【００２９】
このように、第１の実施形態においては、フレームＦｒ１の動ベクトルＶ０の大きさに基づいてシャープネス処理のための強調度ｋを設定しているため、フレームＦｒ１に含まれる動いている領域の移動量に応じて、フレームＦｒ１に対して適切にシャープネス処理を施して、鮮鋭度が強調されたシャープネス処理済みのフレームを得ることができる。
【００３０】
次いで、本発明の第２の実施形態について説明する。図５は本発明の第２の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図５に示すように、第２の実施形態においては、第１の実施形態における動ベクトル処理手段３、強調度設定手段４、処理手段５および基準強調度記憶手段６に代えて、動ベクトル算出手段２において算出された動ベクトルＶ０の方向に応じてシャープネス係数αを決定する動ベクトル処理手段１３、動ベクトル処理手段１３において決定されたシャープネス係数αに基づいて強調度ｋを設定する強調度設定手段１４、強調度設定手段１４において設定された強調度ｋに基づいて、フレームデータＳｏｒｇ１に対して動ベクトルＶ０の方向に応じたシャープネス処理を施す処理手段１５、および動ベクトルＶ０の方向に応じた基準強調度ａを記憶した基準強調度記憶手段１６を備えてなるものである。
【００３１】
第２の実施形態においては、基準強調度記憶手段１６には、図６に示すように、０度、４５度、９０度および１３５度の４５度間隔で向きが異なる４つの基準方向についての基準強調度ａ（０），ａ（４５），ａ（９０），ａ（１３５）が記憶されている。なお、フレームＦｒ１の画素の縦横比が異なると動ベクトルＶ０の縦横成分の大きさのスケールが異なるため、画素の縦異横比に応じて基準強調度ａ（０），ａ（４５），ａ（９０），ａ（１３５）を記憶している。ここで、図６においては縦横比が１：１および１：２の場合の基準強調度を表している。
【００３２】
動ベクトル処理手段１３は、動ベクトル算出手段２において算出された動ベクトルＶ０の方向に応じた強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）を設定するためのシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定する。具体的には、動ベクトルＶ０の方向が図７に示すように０度と４５度の基準方向の間であって４５度寄りにある場合には、フレームＦｒ１上における４５度の基準方向に鮮鋭度が最も強調されるようにシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定する。例えば、α（０）＝１／１．２，α（４５）＝１，α（９０）＝１／１．２，α（１３５）＝１／１．２のように、シャープネス係数α（０），α（４５），α（９０），α（１３５）を決定する。
【００３３】
なお、動ベクトルＶ０の方向は０度から３６０度の範囲で変化するが、動ベクトルＶ０の方向が１８０度以上の場合には、動ベクトルＶ０を１８０度回転した方向をその動ベクトルＶ０の方向とみなしてシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定する。
【００３４】
強調度設定手段１４は、下記の式（３）に示すように、動ベクトルＶ０の方向に応じた強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）を設定する。
ｋ（０）＝α（０）×ａ（０）
ｋ（４５）＝α（４５）×ａ（４５）
ｋ（９０）＝α（９０）×ａ（９０）
ｋ（１３５）＝α（１３５）×ａ（１３５）　　　　　　（３）
なお、本実施形態においては、ｋ（０）＝１、ｋ（４５）＝１．２、ｋ（９０）＝１、ｋ（１３５）＝１となる。
【００３５】
【００３６】
処理手段１５は、下記の式（４）に示すように強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）に基づいてフレームデータＳｏｒｇ１に対してシャープネス処理を施して、シャープネス処理済みのフレームデータＳｐｒｏｃ１を得る。
Ｓｐｒｏｃ１＝Ｓｏｒｇ１＋ｋ（０）（Ｓｏｒｇ１−Ｓｕｓ（０））　＋ｋ（４５）（Ｓｏｒｇ１−Ｓｕｓ（４５））　＋ｋ（９０）（Ｓｏｒｇ１−Ｓｕｓ（９０））　＋ｋ（１３５）（Ｓｏｒｇ１−Ｓｕｓ（１３５））　　　（４）
【００３７】
ここで、Ｓｕｓ（０），Ｓｕｓ（４５），Ｓｕｓ（９０），Ｓｕｓ（１３５）は、それぞれ図８（ａ）〜（ｄ）に示すボケマスクによりフレームデータＳｏｒｇ１に対してフィルタリング処理を施すことにより得られた各方向についてのボケデータである。なお、図８においてはｘ，Ｘ，ｙ，Ｙ，Ｙｘ，ＹＸ，Ｘｙ，ＸＹは重み係数を表す。
【００３８】
次いで、第２の実施の形態の動作について説明する。図９は第２の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２が得られる（ステップＳ１１）。そして、動ベクトル算出手段２においてフレームＦｒ１の動ベクトルＶ０が算出され（ステップＳ１２）、動ベクトル処理手段１３において動ベクトルＶ０の方向に基づいてシャープネス係数α（０），α（４５），α（９０），α（１３５）が決定される（ステップＳ１３）。次いで、強調度設定手段１４においてシャープネス係数α（０），α（４５），α（９０），α（１３５）に基づいて基準強調度ａ（０），ａ（４５），ａ（９０），ａ（１３５）が変更されて強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）が設定される（ステップＳ１４）。そして、処理手段１５において、フレームデータＳｏｒｇ１に対して強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）に基づくシャープネス処理が施されてシャープネス処理済みフレームデータＳｐｒｏｃ１が得られ（ステップＳ１５）、処理を終了する。
【００３９】
このように、第２の実施形態においては、フレームＦｒ１の動ベクトルＶ０の方向に基づいてシャープネス処理のための強調度ｋ（０），ｋ（４５），ｋ（９０），ｋ（１３５）を設定しているため、フレームＦｒ１に含まれる動いている領域の移動方向に応じて、フレームＦｒ１に対して適切にシャープネス処理を施して、鮮鋭度が強調されたフレームを得ることができる。
【００４０】
次いで、本発明の第３の実施形態について説明する。上記第２の実施形態においては、動ベクトルＶ０の方向が基準方向である０度、４５度、９０度および１３５度の間にある場合には、動ベクトルＶ０の方向に最も近い基準方向について強調度ｋが大きくなるようにシャープネス処理を行っているが、第３の実施形態においては、動ベクトルＶ０の方向が基準方向の間にある場合には、動ベクトルＶ０の角度を挟む２つの基準方向について強調度ｋが大きくなるようにシャープネス処理を行うものである。
【００４１】
例えば、図１０に示すように、動ベクトルＶ０の方向が、基準方向である０度および４５度の間にある場合には、フレームＦｒ１上における０度および４５度の２つの基準方向に鮮鋭度が最も強調されるようにシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定するようにしたものである。
【００４２】
具体的には、α（０）＝１，α（４５）＝１，α（９０）＝１／１．２，α（１３５）＝１／１．２のように、シャープネス係数α（０），α（４５），α（９０），α（１３５）が決定される。
【００４３】
この場合、強調度ｋ（０）＝１．２、ｋ（４５）＝１．２、ｋ（９０）＝１、ｋ（１３５）＝１となるため、第３の実施形態によれば、０度および４５度の方向に鮮鋭度が強調されたフレームを得ることができる
次いで、本発明の第４の実施形態について説明する。上記第２の実施形態においては、動ベクトルＶ０の方向が基準方向である０度、４５度、９０度および１３５度の間である場合には、動ベクトルＶ０の方向に最も近い基準方向について強調度ｋが大きくなるようにシャープネス処理を行っているが、第４の実施形態においては、動ベクトルＶ０の方向が基準方向の間にある場合には、動ベクトルＶ０を挟む２つの基準方向の方向に動ベクトルＶ０を分解して２つの分解ベクトルを得、分解ベクトルの大きさに応じて鮮鋭度を強調するようにしたものである。
【００４４】
例えば、図１１に示すように、動ベクトルＶ０の方向が基準方向である０度および４５度の間にある場合には、動ベクトルＶ０を０度方向のベクトルＶ（０）および４５度方向のベクトルＶ（４５）に分解し、分解ベクトルＶ（０），Ｖ（４５）の大きさに応じてシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定するようにしたものである。
【００４５】
具体的には、α（０）＝｜Ｖ（０）｜，α（４５）＝｜Ｖ（４５）｜，α（９０）＝１／１．２，α（１３５）＝１／１．２のように、シャープネス係数α（０），α（４５），α（９０），α（１３５）が決定される。
【００４６】
この場合、強調度ｋ（０）＝１．２｜Ｖ（０）｜、ｋ（４５）＝１．２｜Ｖ（４５）｜、ｋ（９０）＝１、ｋ（１３５）＝１となるため、第４の実施形態によれば、動ベクトルＶ０の方向に応じて精度よくフレームの鮮鋭度を強調することができる。
【００４７】
次いで、本発明の第５の実施形態について説明する。上記第２の実施形態においては、動ベクトルＶ０の方向が基準方向である０度、４５度、９０度および１３５度の間である場合には、動ベクトルＶ０の方向に最も近い基準方向の方向について強調度ｋが大きくなるようにシャープネス処理を行っているが、第５の実施形態においては、動ベクトルＶ０の方向が基準方向の間にある場合には、動ベクトルＶ０を挟む２つの基準方向からの動ベクトルＶ０の角度距離に応じて鮮鋭度を強調するようにしたものである。
【００４８】
例えば、図１２に示すように、動ベクトルＶ０の方向が、基準方向である０度および４５度の間にある場合には、０度方向を基準とした動ベクトルＶ０の角度距離Ｒ１および４５度方向を基準とした動ベクトルＶ０の角度距離Ｒ２を求め、動ベクトルＶ０の角度距離Ｒ１，Ｒ２に応じてシャープネス係数α（０），α（４５），α（９０），α（１３５）を決定するようにしたものである。
【００４９】
具体的には、角度距離が大きいほどシャープネス係数αの値が１よりも小さくなるテーブルを参照して、シャープネス係数α（０），α（４５），α（９０），α（１３５）を決定する。図１３は角度距離が大きいほどシャープネス係数αの値が１よりも小さくなるテーブルの例を示す図である。図１３に示すテーブルＴＢ１を用いた場合、α（０）＝｜ＶＲ１｜，α（４５）＝｜ＶＲ２｜，α（９０）＝１／１．２，α（１３５）＝１／１．２のように、シャープネス係数α（０），α（４５），α（９０），α（１３５）が決定される。
【００５０】
この場合、強調度ｋ（０）＝１．２｜ＶＲ１｜、ｋ（４５）＝１．２｜ＶＲ２｜、ｋ（９０）＝１、ｋ（１３５）＝１となるため、第５の実施形態によれば、動ベクトルＶ０の方向に応じて精度よくフレームの鮮鋭度を強調することができる。
【００５１】
次いで、本発明の第６の実施形態について説明する。図１４は本発明の第６の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第６の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図１４に示すように、第６の実施形態においては、第１の実施形態における動ベクトル算出手段２に代えて、フレームＦｒ１をｍ×ｎ個の複数の領域Ａ（ｍ，ｎ）に分割し、領域Ａ（ｍ，ｎ）毎に動ベクトルＶ０（ｍ，ｎ）を算出する動ベクトル算出手段１２を備えてなるものである。
【００５２】
図１５は第６の実施形態における動ベクトルＶ０（ｍ，ｎ）の算出を説明するための図である。図１５に示すように、動ベクトル算出手段１２は、フレームＦｒ１をｍ×ｎ個の複数の格子状の領域Ａ（ｍ，ｎ）に分割し、複数の領域Ａ（ｍ，ｎ）のそれぞれをフレームＦｒ２に対して平行移動し、領域Ａ（ｍ，ｎ）とフレームＦｒ２間の画素値の相関が最も高くなったときの領域Ａ（ｍ，ｎ）の移動量および移動方向を、その領域Ａ（ｍ，ｎ）についての動ベクトルＶ０（ｍ，ｎ）とするものである。なお、領域Ａ（ｍ，ｎ）とフレームＦｒ２間の画素値の差の２乗または絶対値の累積和が最小となったときに最も相関が高いものと判断する。
【００５３】
次いで、第６の実施形態の動作について説明する。図１６は第６の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２が得られる（ステップＳ２１）。そして、動ベクトル算出手段１２においてフレームＦｒ１上における複数の領域Ａ（ｍ，ｎ）毎に動ベクトルＶ０（ｍ，ｎ）が算出され（ステップＳ２２）、動ベクトルＶ０（ｍ，ｎ）の大きさ｜Ｖ０（ｍ，ｎ）｜に基づいて動ベクトル処理手段３において、複数の領域Ａ（ｍ，ｎ）毎にシャープネス係数αが決定される（ステップＳ２３）。次いで、強調度設定手段４においてシャープネス係数αに基づいて基準強調度ａが変更されて領域Ａ（ｍ，ｎ）毎の強調度ｋが設定される（ステップＳ２４）。そして、処理手段５において、領域Ａ（ｍ，ｎ）毎のフレームデータＳｏｒｇ１に対して強調度ｋに基づくシャープネス処理が施されてシャープネス処理済みフレームデータＳｐｒｏｃ１が得られ（ステップＳ２５）、処理を終了する。
【００５４】
このように、第６の実施形態においては、フレームＦｒ１を複数の領域Ａ（ｍ，ｎ）に分割し、分割された複数の領域Ａ（ｍ，ｎ）のそれぞれについて動ベクトルＶ０（ｍ，ｎ）を算出し、複数の領域Ａ（ｍ，ｎ）毎に強調度ｋを設定しているため、フレームＦｒ１上の各領域Ａ（ｍ，ｎ）の移動量に応じて適切なシャープネス処理が施されたフレームを得ることができる。
【００５５】
なお、上記第２から第５の実施形態と同様に、フレームＦｒ１上の複数の領域Ａ（ｍ，ｎ）のそれぞれについて動ベクトルＶ０（ｍ，ｎ）を算出し、動ベクトルＶ０（ｍ，ｎ）の方向に応じて複数の領域Ａ（ｍ，ｎ）毎にフレームデータＳｏｒｇ１に対してシャープネス処理を施すようにしてもよい。
【００５６】
次いで、本発明の第７の実施形態について説明する。図１７は本発明の第７の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第７の実施形態において第６の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図１７に示すように、第７の実施形態においては、第６の実施形態における動ベクトル算出手段１２において算出された複数の動ベクトルＶ０（ｍ，ｎ）の大きさを横軸に、その数を縦軸にとったヒストグラムＨ０を算出し、ヒストグラムＨ０のピークに基づいて領域Ａ（ｍ，ｎ）をその動きに応じた被写体毎にまとめてフレームＦｒ１を複数の被写体領域Ｏｎ（ｎは被写体領域数）に分割するヒストグラム処理手段７を備え、動ベクトル処理手段３において複数の被写体領域毎にシャープネス係数αを決定するようにしたものである。
【００５７】
図１８は、動ベクトル算出手段１２における領域Ａ（ｍ，ｎ）毎の動ベクトルＶ０（ｍ，ｎ）の算出を説明するための図、図１９はヒストグラム処理手段７において算出されるヒストグラムＨ０の例を示す図である。図１８（ａ）に示すように、フレームＦｒ１に含まれる人間の顔のみがフレームＦｒ２においてフレーム上左下から右上に大きく移動していたとする。この場合、動ベクトルＶ０（ｍ，ｎ）の大きさは、図１８（ｂ）に示すようにフレームＦｒ１上左下隅を原点とした場合の４つの領域Ａ（１，１）、Ａ（２，１）、Ａ（１，２）、Ａ（２，２）については大きく、その他の領域については小さくなる。
【００５８】
このため、動ベクトルＶ０（ｍ，ｎ）の大きさ｜Ｖ０（ｍ，ｎ）｜のヒストグラムＨ０を求めると、図１９に示すように、２つのピークを有するものとなる。ここで、ピークＰ１は領域Ａ（１，１）、Ａ（２，１）、Ａ（１，２）、Ａ（２，２）以外の領域の動ベクトルＶ１（ｍ，ｎ）に、ピークＰ２は領域Ａ（１，１）、Ａ（２，１）、Ａ（１，２）、Ａ（２，２）の領域の動ベクトルＶ２（ｍ，ｎ）にそれぞれ対応する。
【００５９】
したがって、複数の領域Ａ（ｍ，ｎ）は、動ベクトルＶ１（ｍ，ｎ）に近い動ベクトルを有する第１の被写体領域Ｏ１と、動ベクトルＶ２（ｍ，ｎ）に近い動ベクトルを有する第２の被写体領域Ｏ２とにまとめられることから、フレームＦｒ１は被写体領域Ｏ１，Ｏ２に分割されることとなる。そして、分割結果が動ベクトル処理手段３に入力されて、被写体領域Ｏ１，Ｏ２毎にシャープネス係数αが算出されて、各被写体領域Ｏ１，Ｏ２毎にシャープネス処理が行われることとなる。
【００６０】
次いで、第７の実施形態の動作について説明する。図２０は第７の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２が得られる（ステップＳ３１）。そして、動ベクトル算出手段１２においてフレームＦｒ１上における複数の領域Ａ（ｍ，ｎ）毎の複数の動ベクトルＶ０（ｍ，ｎ）が算出される（ステップＳ３２）。次いで、ヒストグラム処理手段７において複数の動ベクトルＶ０（ｍ，ｎ）のヒストグラムＨ０が算出され（ステップＳ３３）、ヒストグラムＨ０のピークに応じて複数の領域Ａ（ｍ，ｎ）がまとめられて、フレームＦｒ１が複数の被写体領域Ｏ１，Ｏ２に分割される（ステップＳ３４）。
【００６１】
動ベクトル処理手段３においては、動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）の大きさ｜Ｖ１（ｍ，ｎ）｜，｜Ｖ２（ｍ，ｎ）｜に基づいて、複数の被写体領域Ｏ１，Ｏ２毎にシャープネス係数αが決定される（ステップＳ３５）。次いで、強調度設定手段４においてシャープネス係数αに基づいて基準強調度ａが変更されて被写体領域Ｏ１，Ｏ２毎の強調度ｋが設定される（ステップＳ３６）。そして、処理手段５において、被写体領域Ｏ１，Ｏ２毎のフレームデータＳｏｒｇ１に対して強調度ｋに基づくシャープネス処理が施されてシャープネス処理済みフレームデータＳｐｒｏｃ１が得られ（ステップＳ３７）、処理を終了する。
【００６２】
このように、第７の実施形態においては、フレームＦｒ１を複数の被写体領域Ｏ１，Ｏ２に分割し、複数の被写体領域Ｏ１，Ｏ２のそれぞれについて動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）を算出し、動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）の大きさ｜Ｖ１（ｍ，ｎ）｜，｜Ｖ２（ｍ，ｎ）｜に応じて複数の被写体領域Ｏ１，Ｏ２毎に強調度ｋを設定しているため、フレームＦｒ１上の各被写体領域Ｏ１，Ｏ２の移動量に応じて適切なシャープネス処理が施されたフレームを得ることができる。
【００６３】
なお、上記第２から第５の実施形態と同様に、複数の被写体領域Ｏ１，Ｏ２のそれぞれについて動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）を算出し、動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）の方向に応じて複数の被写体領域Ｏ１，Ｏ２毎にフレームデータＳｏｒｇ１に対してシャープネス処理を施すようにしてもよい。
【００６４】
次いで、本発明の第８の実施形態について説明する。図２１は本発明の第８の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第８の実施形態において第７の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図２１に示すように、第８の実施形態においては、動ベクトル算出手段１２において、フレームＦｒ１，Ｆｒ２に基づいてフレームＦｒ１上の複数の領域Ａ（ｍ，ｎ）毎に動ベクトルＶ１２（ｍ，ｎ）を算出するとともに、フレームＦｒ２の次のフレームＦｒ３をも用いて、フレームＦｒ１およびＦｒ３に基づく領域Ａ（ｍ，ｎ）毎の動ベクトルＶ１３（ｍ，ｎ）を算出し、第７の実施形態におけるヒストグラム処理手段７に代えて、２種類の動ベクトルＶ１２（ｍ，ｎ），Ｖ１３（ｍ，ｎ）に基づいて、フレームＦｒ１を複数の被写体領域に分割するヒストグラム処理手段１７を備えるようにしたものである。
【００６５】
なお、フレームＦｒ１およびフレームＦｒ２の時間間隔と、フレームＦｒ２およびフレームＦｒ３の時間間隔とは同一であるものとする。
【００６６】
図２２および図２３は、動ベクトル算出手段１２における動ベクトルＶ１２（ｍ，ｎ），Ｖ１３（ｍ，ｎ）の算出およびヒストグラム処理手段１７におけるフレームＦｒ１の複数の被写体領域への分割を説明するための図である。まず、フレームＦｒ１，Ｆｒ２に基づく動ベクトルＶ１２（ｍ，ｎ）の算出およびフレームＦｒ１の被写体領域への分割について説明する。
【００６７】
図２２（ａ）に示すように、フレームＦｒ１に含まれる人間の顔のみがフレームＦｒ２においてフレーム上左下から右上に移動していたとする。この場合、動ベクトルＶ１２（ｍ，ｎ）の大きさは、図２２（ａ）に示すようフレームＦｒ１上左下隅を原点とした場合の２つの領域Ａ（１，１）、Ａ（２，１）については大きく、その他の領域については小さくなる。なお、ここでは、領域Ａ（３，１）についても動ベクトルＶ１２（ｍ，ｎ）が大きいものとする。
【００６８】
このため、動ベクトルＶ１２（ｍ，ｎ）の大きさ｜Ｖ１２（ｍ，ｎ）｜のヒストグラムを求めると、図２２（ｂ）に示すように、２つのピークを有するものとなる。ここで、ピークＰ１２１は領域Ａ（１，１）、Ａ（２，１）、Ａ（３，１）以外の領域の動ベクトルＶ１２１（ｍ，ｎ）に、ピークＰ１２２は領域Ａ（１，１）、Ａ（２，１）、Ａ（３，１）の領域の動ベクトルＶ１２２（ｍ，ｎ）に、それぞれ対応する。したがって、図２２（ｃ）に示すように、フレームＦｒ１は、動ベクトルＶ１２１（ｍ，ｎ）に近い動ベクトルを有する第１の被写体領域Ｏ１２１と、動ベクトルＶ１２２（ｍ，ｎ）に近い動ベクトルを有する第２の被写体領域Ｏ１２２とに分割される。
【００６９】
次いで、フレームＦｒ１，Ｆｒ３に基づく動ベクトルＶ１３（ｍ，ｎ）の算出および被写体領域の分割について説明する。
【００７０】
図２３（ａ）に示すように、フレームＦｒ１に含まれる人間の顔のみがフレームＦｒ３においてフレーム上左下から右上に大きく移動していたとする。この場合、動ベクトルＶ１３（ｍ，ｎ）の大きさは、図２３（ａ）に示すようフレームＦｒ１上左下隅を原点とした場合の２つの領域Ａ（１，１）、Ａ（２，１）については大きく、その他の領域については小さくなる。なお、ここでは、領域Ａ（１，２）についても動ベクトルＶ１３（ｍ，ｎ）の大きさが大きいものとする。
【００７１】
このため、動ベクトルＶ１３（ｍ，ｎ）の大きさ｜Ｖ１３（ｍ，ｎ）｜のヒストグラムを求めると、図２３（ｂ）に示すように、２つのピークを有するものとなる。ここで、ピークＰ１３１は領域Ａ（１，１）、Ａ（２，１）、Ａ（１，２）以外の領域の動ベクトルＶ１３１（ｍ，ｎ）に、ピークＰ１３２は領域Ａ（１，１）、Ａ（２，１）、Ａ（１，２）の領域の動ベクトルＶ１３２（ｍ，ｎ）に、それぞれ対応する。したがって、図２３（ｃ）に示すように、フレームＦｒ１は、動ベクトルＶ１３１（ｍ，ｎ）に近い動ベクトルを有する第１の被写体領域Ｏ１３１と、動ベクトルＶ１３２（ｍ，ｎ）に近い動ベクトルを有する第２の被写体領域Ｏ１３２とに分割される。
【００７２】
そして、動ベクトルＶ１２（ｍ，ｎ），Ｖ１３（ｍ，ｎ）が比較的大きい被写体領域Ｏ１２２，Ｏ１３２に含まれる領域Ａ（ｍ，ｎ）を比較し、図２４に示すように、双方の被写体領域Ｏ１２２，Ｏ１３２に含まれる領域Ａ（ｍ，ｎ）のみを移動する被写体が含まれる被写体領域Ｏ２とみなし、フレームＦｒ１を被写体領域Ｏ１，Ｏ２に分割する。分割結果は上記第７の実施形態と同様に、動ベクトル処理手段３に入力されて、被写体領域Ｏ１，Ｏ２毎にシャープネス係数αが算出されて、各被写体領域Ｏ１，Ｏ２毎にシャープネス処理が行われることとなる。
【００７３】
このように、第８の実施形態においては、複数のフレームＦｒ１，Ｆｒ２，Ｆｒ３に基づいて、フレームＦｒ１を複数の被写体領域に分割しているため、フレームＦｒ１に含まれる被写体の動きをより精度よく検出して、精度よくフレームＦｒ１を複数の被写体領域に分割することができる。したがって、フレームＦｒ１上の各被写体領域の移動量に応じて適切なシャープネス処理が施されたフレームを得ることができる。
【００７４】
なお、上記第２から第５の実施形態と同様に、複数の被写体領域Ｏ１，Ｏ２のそれぞれについて動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）を算出し、動ベクトルＶ１（ｍ，ｎ），Ｖ２（ｍ，ｎ）の方向に応じて複数の被写体領域Ｏ１，Ｏ２毎にフレームデータＳｏｒｇ１に対してシャープネス処理を施すようにしてもよい。
【００７５】
次いで、本発明の第９の実施形態について説明する。図２５は本発明の第９の実施形態によるシャープネス処理装置の構成を示す概略ブロック図である。なお、第９の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。図２５に示すように、第９の実施形態においては、第１の実施形態における動ベクトル算出手段２および動ベクトル処理手段３に代えて、フレームＦｒ１，Ｆｒ２に基づいて動ベクトルＶ１２を算出するとともに、フレームＦｒ１とフレームＦｒ２の次のフレームＦｒ３に基づいて動ベクトルＶ１３を算出する動ベクトル算出手段２２、および動ベクトルＶ１２，Ｖ１３に基づいて、動ベクトルＶ１２，Ｖ１３の信頼度を判定し、信頼度に応じてシャープネス係数αを決定する動ベクトル処理手段２３を備えてなるものである。
【００７６】
なお、フレームＦｒ１およびフレームＦｒ２の時間間隔と、フレームＦｒ２およびフレームＦｒ３の時間間隔とは同一であるものとする。
【００７７】
動ベクトル算出手段２２は、第１の実施形態における動ベクトル算出手段２と同様に、フレームＦｒ１をフレームＦｒ２に対して平行移動し、フレームＦｒ１，Ｆｒ２間の画素値の相関が最も高くなったときのフレームＦｒ１の移動量および移動方向を動ベクトルＶ１２として算出する。また、動ベクトル算出手段２２は、フレームＦｒ１をフレームＦｒ３に対して平行移動し、フレームＦｒ１，Ｆｒ３間の画素値の相関が最も高くなったときのフレームＦｒ１の移動量および移動方向を動ベクトルＶ１３として算出する。
【００７８】
動ベクトル処理手段２３は、動ベクトルＶ１２，Ｖ１３の信頼度を判定する。以下、信頼度の判定について説明する。動画像に含まれる被写体は、微小時間では等速で移動する。本実施形態においては、フレームＦｒ１，Ｆｒ２，Ｆｒ３のサンプリング間隔は等しいため、動画像データＭ０に含まれる被写体は、フレームＦｒ１，Ｆｒ２，Ｆｒ３上においては、図２６に示すように等速で移動しているはずである。このため、動画像データＭ０上の被写体が等速で移動していれば、動ベクトルＶ１２，Ｖ１３には、Ｖ１３＝２Ｖ１２（以下ベクトルの記号は省略する）の関係が成立する。
【００７９】
したがって、動ベクトル処理手段２３は、｜Ｖ１３−２Ｖ１２｜の絶対値が所定のしきい値Ｔｈ２未満であるか否かを判定し、｜Ｖ１３−２Ｖ１２｜の絶対値が所定のしきい値Ｔｈ２未満である場合には、動ベクトルＶ１２，Ｖ１３は信頼できるものとして、動ベクトルＶ１２またはＶ１３の大きさ｜Ｖ１２｜，｜Ｖ１３｜に応じてシャープネス係数αを決定する。一方、｜Ｖ１３−２Ｖ１２｜の絶対値が所定のしきい値Ｔｈ２以上である場合には、被写体が動いているか否かが不明であるため、動ベクトルＶ１２，Ｖ１３は信頼できないものとして、動ベクトルＶ１２，Ｖ１３の大きさを０としてシャープネス係数αを決定する。
【００８０】
次いで、第９の実施形態の動作について説明する。図２７は第９の実施形態において行われる処理を示すフローチャートである。まず、動画像データＭ０がサンプリング手段１においてサンプリングされて、フレームＦｒ１，Ｆｒ２，Ｆｒ３が得られる（ステップＳ４１）。そして、動ベクトル算出手段２２においてフレームＦｒ１，Ｆｒ２間の動ベクトルＶ１２およびフレームＦｒ１，Ｆｒ３間の動ベクトルＶ１３が算出される（ステップＳ４２）。次いで、動ベクトル処理手段２３において、動ベクトルＶ１２，Ｖ１３の大きさに基づいて動ベクトルＶ１２，Ｖ１３の信頼度が判定される（ステップＳ４３）。
【００８１】
そして、｜Ｖ１３−２Ｖ１２｜＜Ｔｈ２となりステップＳ４４が肯定された場合には、動ベクトルＶ１２，Ｖ１３は信頼できるものとして、動ベクトルＶ１２またはＶ１３の大きさ｜Ｖ１２｜，｜Ｖ１３｜に応じてシャープネス係数αが決定される（ステップＳ４５）。一方、｜Ｖ１３−２Ｖ１２｜が所定のしきい値Ｔｈ２以上となりステップＳ４４が否定された場合には、動ベクトルＶ１２，Ｖ１３は信頼できないものとして、動ベクトルＶ１２，Ｖ１３の大きさを０としてシャープネス係数αが決定される（ステップＳ４６）。
【００８２】
次いで、強調度設定手段４においてシャープネス係数αに基づいて基準強調度ａが変更されて強調度ｋが設定される（ステップＳ４７）。そして、処理手段５において、フレームデータＳｏｒｇ１に対して強調度ｋに基づくシャープネス処理が施されてシャープネス処理済みフレームデータＳｐｒｏｃ１が得られ（ステップＳ４８）、処理を終了する。
【００８３】
このように、第９の実施形態においては、複数のフレームＦｒ１，Ｆｒ２，Ｆｒ３から複数の動ベクトルＶ１２，Ｖ１３を算出し、これらの動ベクトルＶ１２およびＶ１３から算出された大きさ｜Ｖ１３−２Ｖ１２｜に基づいて、複数の動ベクトルＶ１２，Ｖ１３の信頼度を判定し、信頼度できる場合には動ベクトルの大きさ｜Ｖ１２｜，｜Ｖ１３｜に基づいてシャープネス係数αを決定し、信頼できない場合には動ベクトル｜Ｖ１２｜，｜Ｖ１３｜の大きさを０としてシャープネス係数αを決定しているため、動ベクトルＶ１２，Ｖ１３の信頼度が小さく、フレームＦｒ１，Ｆｒ２，Ｆｒ３上の被写体が動いているのか否かが分からないような場合に、算出された動ベクトルＶ１２，Ｖ１３に基づいてシャープネス処理を行ってしまうことにより、不要な領域の鮮鋭度を向上させてしまうことを防止することができる。
【００８４】
なお、フレームＦｒ１を複数の領域に分割し、領域Ａ（ｍ，ｎ）毎または領域Ａ（ｍ，ｎ）の動ベクトル基づいて求められる被写体領域毎に複数の動ベクトルＶ１２，Ｖ１３を算出し、動ベクトルＶ１２，Ｖ１３の信頼度に応じてシャープネス係数αを決定して領域Ａ（ｍ，ｎ）毎または被写体領域毎にフレームデータＳｏｒｇ１に対してシャープネス処理を施すようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図２】第１の実施形態における動ベクトルの算出を説明するための図
【図３】動ベクトルの大きさとシャープネス係数との関係を表すテーブル
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】本発明の第２の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図６】第２の実施形態における基準強調度を示す図
【図７】第２の実施形態における動ベクトルの方向の決定を説明するための図
【図８】基準方向のボケマスクを示す図
【図９】第２の実施形態において行われる処理を示すフローチャート
【図１０】第３の実施形態におけるシャープネス処理の方向の決定を説明するための図
【図１１】第４の実施形態におけるシャープネス処理の方向の決定を説明するための図
【図１２】第５の実施形態におけるシャープネス処理の方向の決定を説明するための図
【図１３】角度距離とシャープネス係数との関係を表すテーブル
【図１４】本発明の第６の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図１５】第６の実施形態における動ベクトルの算出を説明するための図
【図１６】第６の実施形態において行われる処理を示すフローチャート
【図１７】本発明の第７の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図１８】領域毎の動ベクトルの算出を説明するための図
【図１９】ヒストグラムの例を示す図
【図２０】第７の実施形態において行われる処理を示すフローチャート
【図２１】本発明の第８の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図２２】動ベクトルの算出およびフレームの被写体領域への分割を説明するための図（その１）
【図２３】動ベクトルの算出およびフレームの被写体領域への分割を説明するための図（その２）
【図２４】第８の実施形態におけるフレームの被写体領域への分割結果を示す図
【図２５】本発明の第９の実施形態によるシャープネス処理装置の構成を示す概略ブロック図
【図２６】３つのフレーム上において等速で移動する被写体を示す図
【図２７】第９の実施形態において行われる処理を示すフローチャート
【符号の説明】
１　　サンプリング手段
２，１２，２２　　動ベクトル算出手段
３，１３，２３　　動ベクトル処理手段
４，１４　　強調度設定手段
５，１５　　処理手段
６，１６　　基準強調度記憶手段
７，１７　　ヒストグラム処理手段

Claims (12)

1. 動画像からサンプリングしたフレームに対してシャープネス処理を施すシャープネス処理方法であって、
   前記フレームおよび該フレームを基準として時間的に前後する少なくとも１つの他のフレームに基づいて、前記フレームおよび前記他のフレーム間の動ベクトルを算出し、
   該動ベクトルの大きさおよび／または方向に基づいて、前記シャープネス処理のパラメータを設定することを特徴とするシャープネス処理方法。
2. 前記フレームを複数の領域に分割し、
   該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得、
   該複数の動ベクトルの大きさおよび／または方向に基づいて、前記複数の領域毎に前記シャープネス処理のパラメータを設定することを特徴とする請求項１記載のシャープネス処理方法。
3. 前記フレームを複数の領域に分割し、
   該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得、
   該複数の動ベクトルの大きさに基づいて、前記フレームを複数の被写体領域に分割し、
   該複数の被写体領域毎に前記シャープネス処理のパラメータを設定することを特徴とする請求項１記載のシャープネス処理方法。
4. 前記フレームおよび複数の前記他のフレームに基づいて、該フレームおよび該各他のフレーム間の複数の動ベクトルを算出し、
   該フレームおよび該各他のフレーム間の複数の動ベクトルに基づいて、該複数の動ベクトルの信頼度を算出し、
   該信頼度が所定のしきい値よりも大きい場合には、該算出された複数の動ベクトルのうちのいずれかの動ベクトルに基づいて前記パラメータを設定し、
   該信頼度が所定のしきい値未満の場合には、予め定められた所定のパラメータを前記シャープネス処理のパラメータとして設定することを特徴とする請求項１から３のいずれか１項記載のシャープネス処理方法。
5. 動画像からサンプリングしたフレームに対してシャープネス処理を施すシャープネス処理装置であって、
   前記フレームおよび該フレームを基準として時間的に前後する少なくとも１つの他のフレームに基づいて、前記フレームおよび前記他のフレーム間の動ベクトルを算出する動ベクトル算出手段と、
   該動ベクトルの大きさおよび／または方向に基づいて、前記シャープネス処理のパラメータを設定するパラメータ設定手段とを備えたことを特徴とするシャープネス処理装置。
6. 前記動ベクトル算出手段は、前記フレームを複数の領域に分割し、該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手段であり、
   前記パラメータ設定手段は、該複数の動ベクトルの大きさおよび／または方向に基づいて、前記複数の領域毎に前記シャープネス処理のパラメータを設定する手段であることを特徴とする請求項５記載のシャープネス処理装置。
7. 前記動ベクトル算出手段は、前記フレームを複数の領域に分割し、該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手段であり、
   前記パラメータ設定手段は、該複数の動ベクトルの大きさに基づいて、前記フレームを複数の被写体領域に分割し、該複数の被写体領域毎に前記シャープネス処理のパラメータを設定する手段であることを特徴とする請求項５記載のシャープネス処理装置。
8. 前記動ベクトル算出手段は、前記フレームおよび複数の前記他のフレームに基づいて、該フレームおよび該各他のフレーム間の複数の動ベクトルを算出する手段であり、
   前記パラメータ設定手段は、該フレームおよび該各他のフレーム間の複数の動ベクトルに基づいて、該複数の動ベクトルの信頼度を算出し、該信頼度が所定のしきい値よりも大きい場合には、該算出された複数の動ベクトルのうちのいずれかの動ベクトルに基づいて前記パラメータを設定し、該信頼度が所定のしきい値未満の場合には、予め定められた所定のパラメータを前記シャープネス処理のパラメータとして設定する手段であることを特徴とする請求項５から７のいずれか１項記載のシャープネス処理装置。
9. 動画像からサンプリングしたフレームに対してシャープネス処理を施すシャープネス処理方法をコンピュータに実行させるためのプログラムであって、
   前記フレームおよび該フレームを基準として時間的に前後する少なくとも１つの他のフレームに基づいて、前記フレームおよび前記他のフレーム間の動ベクトルを算出する手順と、
   該動ベクトルの大きさおよび／または方向に基づいて、前記シャープネス処理のパラメータを設定する手順とを有するプログラム。
10. 前記動ベクトルを算出する手順は、前記フレームを複数の領域に分割する手順と、
    該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手順とを有し、
    前記パラメータを設定する手順は、該複数の動ベクトルの大きさおよび／または方向に基づいて、前記複数の領域毎に前記シャープネス処理のパラメータを設定する手順である請求項９記載のプログラム。
11. 前記動ベクトルを算出する手順は、前記フレームを複数の領域に分割する手順と、
    該複数の領域のそれぞれについて動ベクトルを算出して複数の動ベクトルを得る手順とを有し、
    前記パラメータを設定する手順は、該複数の動ベクトルの大きさに基づいて、前記フレームを複数の被写体領域に分割する手順と、
    該複数の被写体領域毎に前記シャープネス処理のパラメータを設定する手順とを有する請求項９記載のプログラム。
12. 前記動ベクトルを算出する手順は、前記フレームおよび複数の前記他のフレームに基づいて、該フレームおよび該各他のフレーム間の複数の動ベクトルを算出する手順であり、
    前記パラメータを設定する手順は、該フレームおよび該各他のフレーム間の複数の動ベクトルに基づいて、該複数の動ベクトルの信頼度を算出する手順と、
    該信頼度が所定のしきい値よりも大きい場合には、該算出された複数の動ベクトルのうちのいずれかの動ベクトルに基づいて前記パラメータを設定する手順と、
    該信頼度が所定のしきい値未満の場合には、予め定められた所定のパラメータを前記シャープネス処理のパラメータとして設定する手順とを有する請求項９から１１のいずれか１項記載のプログラム。

Images