JP2008017040A - 映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】所定の映像区間に対する特性評価を適切に実施できる映像処理装置の提供。
【解決手段】映像処理装置１００は、フレーム画像におけるカメラワーク速度を、複数のフレーム画像について算出する。映像処理装置１００は、この複数のフレーム画像について算出したカメラワーク速度の分散に基づいて、複数のフレーム画像を含む映像区間の特性を評価する。このため、表示順序が略連続する複数のフレーム画像について算出されたカメラワーク速度の分散に基づいて、すなわち、複数のフレーム画像の特性に基づき算出される時間方向の特徴量に基づいて、映像区間全体の特性を評価するため、手ブレの大きさが異なる手ブレ区間が存在する場合、この大きさの差異を反映した特性評価を実施することができる。
【選択図】図１

Description

本発明は、撮影された映像の映像データを処理する映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体に関する。

従来、映像データを処理する構成が知られている（例えば、特許文献１および特許文献２参照）。

特許文献１に記載のものは、入力された映像の全ての映像区間を対象にして、各フレーム上の動きベクトルの平均ベクトルの大きさと、加速度ベクトルの平均ベクトルの大きさを基準に、各映像区間を分類する。そして、この各映像区間の代表画像を、その表示位置を変えて表示する構成が採られている。

特許文献２に記載のものは、元の画像と連続する画像との画像全体の類似度による全体変化量、および、局所的な類似度による局所集合変化量を元に、与えられた閾値と比較して、手ブレ、急激なカメラワーク、それ以外の安定したカメラワークを算出する。こうした各区間を元に同一ショットを分類して、同一ショット区間上で複数の区間に分割する。そして、この分割した区間から代表画像を選出して、表示する構成が採られている。

特開平１１−２６１９４６号公報 特開２０００−２６１７５７号公報

しかしながら、特許文献１および特許文献２に記載のような構成では、フレーム単位での特徴量を利用して、区間分割およびその区間の評価を実施しているため、例えば手ブレの大きさが異なる区間が存在する場合、この大きさの差異を反映した評価を実施できないおそれがあるという問題点が一例として挙げられる。

本発明の目的は、このような実情などに鑑みて、映像の所定の映像区間に対する特性評価を適切に実施可能な映像処理装置、その方法、そのプログラム、および、そのプログラムを記録した記録媒体を提供することである。

請求項１に記載の発明は、撮影装置で撮影された映像の映像データを処理する映像処理装置であって、前記映像は、表示順序で関連付けられた複数のフレーム画像で構成され、前記映像データを取得する映像データ取得手段と、この取得された映像データに基づいて、前記フレーム画像における少なくとも１つの部分が動く速度を、前記表示順序が略連続する複数のフレーム画像について検出する動き速度検出手段と、前記略連続する複数のフレーム画像について検出された前記動く速度のばらつきを検出するばらつき検出手段と、この検出されたばらつきに基づいて、前記略連続する複数のフレーム画像で構成される映像区間の特性を評価する映像評価手段と、を具備したことを特徴とした映像処理装置である。

請求項１７に記載の発明は、演算手段にて、撮影装置で撮影された映像の映像データを処理する映像処理方法であって、前記映像は、表示順序で関連付けられた複数のフレーム画像で構成され、前記演算手段は、前記映像データを取得し、この取得された映像データに基づいて、前記フレーム画像における少なくとも１つの部分が動く速度を、前記表示順序が略連続する複数のフレーム画像について検出し、前記略連続する複数のフレーム画像について検出された前記動く速度のばらつきを検出し、この検出されたばらつきに基づいて、前記略連続する複数のフレーム画像で構成される映像区間の特性を評価することを特徴とする映像処理方法である。

請求項１８に記載の発明は、請求項１７に記載の映像処理方法を演算手段に実行させることを特徴とした映像処理プログラムである。

請求項１９に記載の発明は、演算手段を請求項１ないし請求項１６のいずれかに記載の映像処理装置として機能させることを特徴とした映像処理プログラムである。

請求項２０に記載の発明は、請求項１８または請求項１９に記載の映像処理プログラムが演算手段にて読取可能に記録されたことを特徴とした映像処理プログラムを記録した記録媒体である。

以下に、本発明の一実施の形態を図面に基づいて説明する。この一実施の形態では、撮影装置で撮影された映像における所定の映像区間の特性を評価して、報知する構成を例示して説明する。
図１は、本発明の一実施の形態に係る映像処理装置の概略構成を示すブロック図である。図２は、ズームインして撮影されたフレーム画像における動きベクトルを示す模式図である。図３は、左方向へパンして撮影されたフレーム画像における動きベクトルを示す模式図である。図４は、映像を複数の映像区間に分割した状態を示す模式図である。図５は、安定な静止区間の表示結果画面の概略構成を示す模式図である。図６は、不安定な静止区間の表示結果画面の概略構成を示す模式図である。図７は、安定なズーム区間の表示結果画面の概略構成を示す模式図である。図８は、不安定なズーム区間の表示結果画面の概略構成を示す模式図である。図９は、安定なパン区間の表示結果画面の概略構成を示す模式図である。図１０は、不安定なパン区間の表示結果画面の概略構成を示す模式図である。図１１は、安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。図１２は、不安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。

［映像処理装置の構成］
図１において、１００は、映像処理装置である。この映像処理装置１００は、ストレージ１０から映像データを取得して、この映像データの映像３０（図４参照）における所定の映像区間の特性を評価する。そして、この評価結果を報知するとともに、映像データを適宜編集する。
そして、映像処理装置１００は、報知手段としての表示手段１１０と、入力手段１２０と、映像データ取得手段としても機能する動きベクトル演算手段としての動き解析手段１３０と、動き方向検出手段および撮影状態判定手段としてのカメラワーク判定手段１４０と、ばらつき検出手段としても機能する映像分割手段１５０と、動き速度検出手段としてのカメラワーク速度算出手段１６０と、ばらつき検出手段としての速度分散算出手段１７０と、映像評価手段１８０と、処理部１９０と、などを備えている。

表示手段１１０は、処理部１９０にて制御され処理部１９０からの所定の画像を表示させるための画像信号を画面表示させる。この表示手段１１０としては、例えば液晶パネルや有機ＥＬ（Electro Luminescence）パネル、ＰＤＰ（Plasma Display Panel）、ＣＲＴ（Cathode-Ray Tube）、ＦＥＤ（Field Emission Display）、電気泳動ディスプレイパネルなどが例示できる。
この表示手段１１０に表示させる画像としては、映像データに基づく映像３０や、映像区間の特性評価結果を表す評価結果画面７００（例えば図５参照）などが例示できる。

入力手段１２０は、例えばキーボードやマウスなどで、入力操作される図示しない各種操作ボタンや操作つまみなどを有している。これら操作ボタンや操作つまみなどの入力操作は、映像処理装置１００の動作内容の設定入力や、映像３０を編集するか否かの設定入力などである。
そして、入力手段１２０は、設定事項の入力操作により、設定事項に対応する入力信号を処理部１９０へ適宜出力して設定入力させる。なお、入力操作としては、操作ボタンや操作つまみなどの操作に限らず、例えば表示手段１１０に設けられたタッチパネルによる入力操作や、音声による入力操作などにより、各種設定事項を設定入力する構成としてもできる。

動き解析手段１３０は、ストレージ１０と、カメラワーク判定手段１４０と、カメラワーク速度算出手段１６０と、に接続されている。
動き解析手段１３０は、図示しない撮影装置で撮影され、ストレージ１０から映像信号として出力される映像データを取得する。そして、この映像データに基づいて、映像３０を構成する複数のフレーム画像２０（例えば、図２参照）の動きベクトル２２（例えば、図２参照）を演算する。
なお、ストレージ１０としては、ＨＤ（Hard Disc）、ＤＶＤ（Digital Versatile Disc）、光ディスク、メモリカードなどの記録媒体に読み出し可能に記憶するドライブやドライバなどが例示できる。

具体的には、動き解析手段１３０は、例えば図２および図３に示すように、フレーム画像２０を左右方向に８分割、かつ、上下方向に６分割して得られる４８個の分割領域２１について、動きベクトル２２をそれぞれ演算する。
この動きベクトル２２は、フレーム画像２０における分割領域２１に対応する部分が動く速度、および、動く方向を表している。
なお、ここでは、内容を理解しやすくするために、一部の分割領域２１および動きベクトル２２についてのみ符号を付したが、図２および図３に示された全ての矢印が動きベクトル２２に対応し、矢印を囲む四角形の領域が分割領域２１に対応する。
また、動き解析手段１３０は、各フレーム画像２０の分割領域２１および動きベクトル２２に関する動きベクトル情報を生成する。そして、この動きベクトル情報を映像データとともに、カメラワーク判定手段１４０と、カメラワーク速度算出手段１６０と、へ出力する。

カメラワーク判定手段１４０は、映像分割手段１５０に接続されている。
カメラワーク判定手段１４０は、動き解析手段１３０から映像データおよび動きベクトル情報を取得する。そして、これらに基づいて、各フレーム画像２０における撮影状態としてのカメラワークを判定して、このカメラワークに関するカメラワーク情報を生成する。

具体的には、カメラワーク判定手段１４０は、動きベクトル情報に基づいて、フレーム画像２０における分割領域２１ごとの動きベクトル２２の向きを認識する。
そして、所定数以上の動きベクトル２２の大きさが略０であることを認識すると、このフレーム画像２０の撮影時のカメラワークが、撮影方向が一定の状態で撮影された静止撮影状態としての静止であると判断する。

また、カメラワーク判定手段１４０は、所定数以上の動きベクトル２２がフレーム画像２０の周縁の方向または中央の方向に向いていることを認識すると、カメラワークが、撮影倍率が変更されながら撮影された倍率変更撮影状態としてのズームであると判断する。例えば、図２に示すように、全ての動きベクトル２２の向きが周縁の方向に向いていることを認識すると、カメラワークがイン方向へのズーム、すなわちズームインであると判断する。

さらに、カメラワーク判定手段１４０は、所定数以上の動きベクトル２２が一方向に向いていることを認識すると、このフレーム画像２０の撮影時のカメラワークが、撮影方向が動きベクトル２２の向きと反対側の方向に移動されながら撮影された一方向移動撮影状態としてのパンであると判断する。例えば、図３に示すように、全ての動きベクトル２２の向きが右方向に向いていることを認識すると、カメラワークが左方向へのパンであると判断する。

そして、カメラワーク判定手段１４０は、カメラワークを検出すると、このカメラワークの種別、および、方向に関するカメラワーク情報を生成する。例えば、カメラワークがパンの場合、種別がパンである旨およびパンの方向に関するカメラワーク情報を生成する。
さらに、カメラワーク判定手段１４０は、カメラワーク情報を映像データとともに、映像分割手段１５０へ出力する。

映像分割手段１５０は、速度分散算出手段１７０に接続されている。
映像分割手段１５０は、カメラワーク判定手段１４０から映像データおよびカメラワーク情報を取得する。そして、これらに基づいて、映像３０を所定の映像区間に分割する。

具体的には、映像分割手段１５０は、カメラワーク情報に基づいて、映像データに基づく映像３０における例えば表示順序が連続するフレーム画像２０のカメラワークの種別および方向を認識する。そして、これらのフレーム画像２０におけるカメラワークの種別および方向が同一であると判断した場合、これらを１つの映像区間として認識する。さらに、これら以降のフレーム画像２０について、同様の処理を順次実施する。そして、種別および方向のうち少なくともいずれか一方が異なると判断した場合、このフレーム画像２０の手前のフレーム画像２０までの映像区間を１つの映像区間として分割する。
例えば、図４に示すように、映像３０を、種別が静止である静止区間３１と、ズームインまたはズームアウトであるズーム区間３２と、上下左右方向のうちいずれか１つの方向へのパンであるパン区間３３と、に分割する。

さらに、映像分割手段１５０は、映像区間の長さが所定の長さよりも短い静止区間３１、ズーム区間３２、パン区間３３が複数連続していると判断した場合、これらの映像区間撮影時のカメラワークが、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態としての手ブレであると認識する。そして、これら複数の映像区間を１つの手ブレ区間３４として認識する。
また、映像分割手段１５０は、これら分割した映像区間に関する分割区間情報を生成して、速度分散算出手段１７０へ出力する。

カメラワーク速度算出手段１６０は、速度分散算出手段１７０に接続されている。
カメラワーク速度算出手段１６０は、動き解析手段１３０から映像データおよび動きベクトル情報を取得する。そして、これらに基づいて、各フレーム画像２０におけるカメラワークの速度を算出して、このカメラワーク速度に関するカメラワーク速度情報を生成する。

具体的には、カメラワーク速度算出手段１６０は、１つのフレーム画像２０に対応する全ての動きベクトル２２に基づいて、全ての分割領域２１における速度を認識する。さらに、これら認識した速度の平均値を、このフレーム画像２０におけるカメラワーク速度として算出する。そして、各フレーム画像２０についてカメラワーク速度を算出して、カメラワーク速度情報を生成し、速度分散算出手段１７０へ出力する。

速度分散算出手段１７０は、映像評価手段１８０に接続されている。
速度分散算出手段１７０は、映像分割手段１５０からカメラワーク情報を取得するとともに、カメラワーク速度算出手段１６０からカメラワーク速度情報を取得する。そして、これらに基づいて各映像区間におけるカメラワークの速度のばらつきとしての分散を算出する。

具体的には、速度分散算出手段１７０は、カメラワーク情報に基づいて、映像３０における静止区間３１、ズーム区間３２、パン区間３３、手ブレ区間３４を認識する。さらに、カメラワーク速度情報に基づいて、例えば所定のズーム区間３２に対応する全てのフレーム画像２０におけるカメラワーク速度を認識し、これらのカメラワーク速度の分散を算出する。そして、各映像区間についてカメラワーク速度の分散を算出して、これらに関する分散算出情報を映像評価手段１８０へ出力する。

映像評価手段１８０は、処理部１９０に接続されている。
映像評価手段１８０は、速度分散算出手段１７０から分散算出情報を取得して、この分散算出情報に基づいて、各映像区間の分散を認識する。さらに、この認識した分散に基づいて、各映像区間の特性を評価する。

具体的には、映像評価手段１８０は、静止区間３１、ズーム区間３２、パン区間３３、および、手ブレ区間３４のそれぞれに対応する異なる閾値、すなわちカメラワークごとに異なる閾値を用い、分散が閾値よりも大きい場合に特性が不安定であると評価し、閾値よりも小さい場合に特性が安定であると評価する。そして、この評価に関する評価情報を処理部１９０へ出力する。
ここで、静止区間３１は、動きがほとんどなく、基本的に不安定な区間ではない。このため、静止区間３１の閾値は、極めて小さい値に設定されている。
さらに、パン区間３３は、全体的に分散が小さいがあらが目立つ。このため、パン区間３３の閾値は、例えば静止区間３１よりも大きい値に設定されている。
また、ズーム区間３２は、パン区間３３とはカメラワーク速度の尺度が異なるため、パン区間３３と同一の良否判定ができない。このため、ズーム区間３２の閾値は、パン区間３３と異なる値に設定されている。
そして、手ブレ区間３４は、全体的にカメラワーク速度にばらつきがあるが、ばらつきが小さいものは静止区間３１として利用できる。このため、手ブレ区間３４の閾値は、例えば静止区間３１よりも若干大きい値に設定されている。

処理部１９０は、ストレージ１０に接続されている。
そして、処理部１９０は、表示制御手段１９１と、映像編集手段１９２と、などを備えている。

表示制御手段１９１は、映像評価手段１８０から評価情報を取得する。そして、この評価情報などに基づいて、図５〜図１２に示すような評価結果画面７００を表示手段１１０で表示させる制御をする。

ここで、評価結果画面７００は、映像３０とともに、この映像３０に対応する映像区間の特性評価結果を表す。
この評価結果画面７００は、映像３０が表示される長方形状の映像表示領域７１０を備えている。そして、この映像表示領域７１０における右下側には、表示中の映像３０の特性評価結果が表示される。

具体的には、映像表示領域７１０には、図５に示すように、安定な静止区間３１が表示されている場合、青色で描かれた丸印が静止安定マーク７２１として表示され、図６に示すように、不安定な静止区間３１が表示されている場合、赤色で描かれた丸印が静止不安定マーク７２２として表示される。
さらに、図７に示すように、安定なズーム区間３２が表示されている場合、青色で描かれた上下左右方向への矢印がズーム安定マーク７２３として表示され、図８に示すように、不安定なズーム区間３２が表示されている場合、赤色で描かれた上下左右方向への矢印がズーム不安定マーク７２４として表示される。
また、図９に示すように、安定なパン区間３３が表示されている場合、青色で描かれた右方向への矢印がパン安定マーク７２５として表示され、図１０に示すように、不安定なパン区間３３が表示されている場合、赤色で描かれた右方向への矢印がパン不安定マーク７２６として表示される。
そして、図１１に示すように、安定な手ブレ区間３４が表示されている場合、青色で描かれたばつ印が手ブレ安定マーク７２７として表示され、図１２に示すように、不安定な手ブレ区間３４が表示されている場合、赤色で描かれたばつ印が手ブレ不安定マーク７２８として表示される。

なお、静止安定マーク７２１、静止不安定マーク７２２、ズーム安定マーク７２３、ズーム不安定マーク７２４、パン安定マーク７２５、パン不安定マーク７２６、手ブレ安定マーク７２７、および、手ブレ不安定マーク７２８は、本発明の撮影状態情報および特性評価情報として機能する。

映像編集手段１９２は、利用者による設定入力に基づいて、ストレージ１０に蓄積された映像データを編集する処理をする。
具体的には、映像編集手段１９２は、入力手段１２０からの入力信号に基づいて、所定の映像区間、例えば手ブレ区間３４を削除する旨の設定入力を認識すると、ストレージ１０から対応する映像データを取得する。そして、この映像データから手ブレ区間３４に対応する部分を削除して、新たな映像データを生成し、ストレージ１０に蓄積させる。

［映像処理装置の動作］
次に、映像処理装置１００の動作として、映像区間の特性評価処理について、図面を参照して説明する。
図１３は、映像区間の特性評価処理を示すフローチャートである。

まず、映像処理装置１００は、図１３に示すように、ストレージ１０から映像データを取得して（ステップＳ１０１）、フレーム画像２０の動きベクトル２２を演算する処理、すなわち動き検出処理を実施する（ステップＳ１０２）。
この後、動きベクトル２２に基づいて、各フレーム画像２０のカメラワークを判定して（ステップＳ１０３）、映像３０を所定の映像区間に分割する（ステップＳ１０４）。さらに、映像処理装置１００は、動きベクトル２２に基づいて、カメラワーク速度を算出して（ステップＳ１０５）、各映像区間に対応するカメラワーク速度の分散を算出する（ステップＳ１０６）。
そして、所定の映像区間の分散が、対応するカメラワークの閾値より小さいか否かを判断する（ステップＳ１０７）。

このステップＳ１０７において、分散が閾値よりも小さいと判断した場合、特性が安定であると評価する（ステップＳ１０８）。一方、ステップＳ１０７において、分散が閾値よりも大きいと判断した場合、特性が不安定であると評価する（ステップＳ１０９）。
そして、評価結果画面７００を表示させる処理、すなわち評価結果を表示させる処理を実施する（ステップＳ１１０）。

［映像処理装置の作用効果］
上述したように、上記実施の形態では、映像処理装置１００は、フレーム画像２０におけるカメラワーク速度を、複数のフレーム画像２０について算出する。そして、この複数のフレーム画像２０について算出したカメラワーク速度の分散に基づいて、複数のフレーム画像２０で構成される映像区間の特性を評価する。
このため、表示順序が略連続する複数のフレーム画像２０について算出されたカメラワーク速度の分散に基づいて、すなわち、複数のフレーム画像２０の特性に基づき演算される時間方向の特徴量に基づいて、映像区間全体の特性を評価するため、手ブレの大きさが異なる手ブレ区間３４が存在する場合、この大きさの差異を反映した特性評価を実施することができる。
したがって、フレーム画像単位での特徴量に基づいて映像区間全体の特性を評価する従来の構成と比べて、所定の映像区間に対する特性評価を適切に実施できる。

そして、カメラワークの種別および方向に基づいて、映像３０を、静止区間３１、ズーム区間３２、パン区間３３、手ブレ区間３４に分割する。そして、これら分割した映像区間ごとに、特性を評価する。
このため、カメラワークに応じた映像区間ごとに特性を評価するので、このような映像区間をさらに細分化した区間ごとに特性を評価する構成と比べて、簡単な処理で適切に評価できる。

また、カメラワークごとに異なる閾値に基づいて、各映像区間の特性を評価する。
このため、全てのカメラワークについて同一の閾値を用いる構成と比べて、各映像区間の特性を適切に評価できる。

さらに、映像３０とともに、この映像３０の特性評価結果を表す評価結果画面７００を表示させる。
このため、利用者に、各映像３０の特性評価結果を認識させることにより、映像データの編集を容易に実施させることができる。

そして、評価結果画面７００に、例えば安定な静止区間３１の場合、青色で描かれた丸印を静止安定マーク７２１として表示させ、不安定な静止区間３１の場合、赤色で描かれた丸印を静止不安定マーク７２２として表示させる。すなわち、カメラワークに対応する図形を、評価に対応する表示形態で表示させる。
このため、カメラワークに対応する１つの図形を表示させるだけで、利用者に、カメラワークの種別および特性を認識させることができる。したがって、評価結果画面７００の構成を簡略にでき、表示制御処理を容易にできる。

また、カメラワークを判定する際、および、カメラワーク速度を算出する際に、動きベクトル２２を利用している。
このため、情報量が少ない動きベクトル２２を利用することにより、カメラワーク判定およびカメラワーク速度算出時における処理負荷を低減できる。

そして、カメラワーク速度のばらつきを検出する処理として、分散を算出する処理を実施している。
このため、カメラワーク速度のばらつきとしてダイナミックレンジ、すなわちカメラワーク速度の最大値と最小値との比を算出する構成と比べて、ばらつきを示す値の精度を高めることができ、より精度が高い特性の評価を実施できる。

［実施の形態の変形］
なお、本発明は、上述した実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で以下に示される変形をも含むものである。

すなわち、図１４に示すような映像処理装置３００としてもよい。
この図１４に示す映像処理装置３００は、上記実施の形態におけるカメラワーク速度算出手段１６０の代わりに、動き速度検出手段としてのカメラワーク速度算出手段３１０を備えた構成を有している。
カメラワーク速度算出手段３１０は、カメラワーク判定手段１４０と、速度分散算出手段１７０と、に接続されている。
カメラワーク速度算出手段３１０は、カメラワーク判定手段１４０からカメラワーク情報を取得して、所定のフレーム画像２０のカメラワークの方向を認識する。さらに、フレーム画像２０に対応する動きベクトル２２のうち、カメラワークの方向と同一方向の動きベクトル２２を認識する。そして、同一方向でない動きベクトルの大きさを０に変更して、カメラワーク速度を算出して、カメラワーク速度情報を速度分散算出手段１７０へ出力する。すなわち、カメラワークと同一方向の動きベクトル２２のみの速度に基づいて、カメラワーク速度を算出する。

この映像処理装置３００は、映像区間の特性評価処理として、図１５に示すように、上記実施の形態と同様のステップＳ１０１〜Ｓ１０４の処理を実施する。さらに、ステップＳ１０２で演算した動きベクトル２２がカメラワークと同一方向か否かを判断する（ステップＳ２０１）。
このステップＳ２０１において、所定の動きベクトル２２が同一方向であると判断した場合、この動きベクトル２２の大きさを変更しない。一方、ステップＳ２０１において、所定の動きベクトル２２が同一方向でないと判断した場合、この動きベクトル２２の大きさを０に変更する（ステップＳ２０２）。
この後、動きベクトル２２に基づいて、カメラワーク速度を算出して（ステップＳ２０３）、上記実施の形態と同様のステップＳ１０６〜Ｓ１１０の処理を実施する。

このような構成にすれば、カメラワークに関係ない動きベクトル２２に対応する速度をカメラワーク速度の算出対象から除外する、すなわちカメラワークと同一方向の動きベクトル２２のみに基づいてカメラワーク速度を算出するので、カメラワーク速度の精度を高めることができる。
したがって、精度が高いカメラワーク速度に基づいて、精度が高い評価を実施できる。

そして、図１６に示すような映像処理装置４００としてもよい。
この図１６に示す映像処理装置４００は、上記実施の形態における処理部１９０の代わりに、処理部４１０を備えている。また、処理部４１０は、表示制御手段１９１と、映像編集手段１９２と、映像補正手段４１１と、などを備えている。
映像補正手段４１１は、映像評価手段１８０から評価情報を取得して、この評価情報に基づいて、各映像区間の特性評価結果を認識する。さらに、ストレージ１０から映像データを取得して、所定の映像区間に対応する部分を、特性評価結果に対応させて補正する。例えば、ズーム状態がなめらかでない評価がされたズーム区間３２を、なめらかなズーム状態に補正する。
そして、新たな映像データを生成して、ストレージ１０に蓄積させる。この補正された映像データは、表示制御手段１９１の制御により、適宜表示される。

この映像処理装置４００は、映像の補正処理として、図１７に示すように、上記実施の形態と同様のステップＳ１０１〜Ｓ１０７の処理を実施する。そして、ステップＳ１０７において、所定の映像区間の分散が対応するカメラワークの閾値よりも小さいと判断した場合、特性が安定であると評価して特に処理を実施しない。一方、ステップＳ１０７において、所定の映像区間の分散が対応するカメラワークの閾値よりも大きいと判断した場合、特性が不安定であると評価して、この映像区間を補正する（ステップＳ３０１）。
この後、この映像区間を補正した映像データを出力する（ステップＳ３０２）。例えば、ストレージ１０に蓄積させたり、表示手段１１０で表示させたりする。

このような構成にすれば、特性評価結果に対応させて映像データを補正する機能を設けているので、適切に映像データを補正可能な映像処理装置４００を提供できる。

さらに、映像分割手段１５０で分割した映像区間を、さらに細分化した区間ごとに特性を評価する構成としてもよい。
このような構成にすれば、１つの映像区間について、より精度が高い特性の評価を実施できる。

そして、映像３０を、静止区間３１と、ズーム区間３２と、パン区間３３と、手ブレ区間３４と、回転しながら撮影された回転撮影状態である回転区間と、に分割する構成としてもよい。さらに、静止区間３１、ズーム区間３２、パン区間３３、手ブレ区間３４、および、回転撮影状態区間のうち少なくとも２つを組み合わせた区間に分割する構成としてもよい。
これらのような構成にすれば、さらに詳細な特性の評価を実施できる。

さらに、全てのカメラワークに対して同一の閾値、すなわち同一基準に基づいて、各映像区間の特性を評価する構成としてもよい。
このような構成にすれば、カメラワークごとに異なる閾値を認識する必要がなく、特性の評価処理を容易に実施できる。

そして、各映像区間の特性評価に同一の閾値を用いる構成において、静止、ズーム、パン、手ブレの特性を規格化し、この規格化した特性の同一の閾値で実施する構成としてもよい。
このような構成にすれば、規格化せずに同一の閾値で評価を実施する構成と比べて、より適切な特性評価処理を実施できる。

また、表示制御手段１９１を設けない構成としてもよい。
このような構成にすれば、映像処理装置１００の構成を簡略にできる。

さらに、評価結果画面７００に、カメラワークの種別および特性評価結果のうち少なくともいずれか一方を表す文字列を表示させる構成としてもよい。
このような構成にすれば、マークで表示する上記実施の形態の構成と比べて、利用者に、カメラワーク種別や特性評価結果を確実に認識させることができる。

また、動きベクトル２２の大きさのみに基づいて、すなわち速度の大きさのみに基づいて、各映像区間の特性を評価する構成としてもよい。さらに、カメラワーク速度の分散の代わりに、標準偏差を算出する構成としてもよい。

そして、カメラワークの判定およびカメラワーク速度の算出のうち少なくともいずれか一方を実施する際に、動きベクトル２２を利用せずに、例えば以下のような構成としてもよい。
すなわち、映像データを生成する撮影装置に、カメラワークの種別、方向、速度に関する情報を生成する機能を設ける。そして、この撮影装置で生成された情報に基づいて、カメラワークの判定やカメラワーク速度を算出する構成としてもよい。
このような構成にすれば、映像処理装置１００に動き解析手段１３０を設ける必要がなく、映像処理装置１００の構成をより簡略にできる。

また、カメラワーク速度のばらつきを検出する処理として、カメラワーク速度の大きさおよび向き、あるいは大きさのみのダイナミックレンジを算出する処理を実施する構成としてもよい。
このような構成にすれば、分散を算出する構成と比べて、ばらつきを算出する処理を容易にできる。

そして、パン区間３３や手ブレ区間３４の区間長が所定長さよりも長い場合に、このパン区間３３などをさらに分割した区間ごとに特性を評価する構成としてもよい。
例えば、図１８に示すように、映像３０のパン区間３３および手ブレ区間３４の区間長が所定長さよりも長い場合に、図１９に示すように、これらをさらに分割した再分割区間３３１，３４１ごとに特性を評価する構成としてもよい。ここで、再分割区間３３１，３４１の区間長を設定する手法としては、撮影状態によらず一定の区間長にする手法、撮影状態ごとに異なる区間長にする手法、１つの映像区間を等分した区間長にする手法などが例示できる。
このような構成にすれば、例えばパン区間３３の前半部分が安定で後半部分が不安定なために、パン区間３３全体として不安定と評価される場合であっても、前半部分を安定として評価し、後半部分を不安定と評価できる。したがって、より適切に映像の特性を評価できる。
なお、例えば再分割区間３３１を一部が重複する状態で設定し、重複部分については、ばらつきが大きい方について特性を評価する構成としてもよい。

上述した各機能をプログラムとして構築したが、例えば回路基板などのハードウェアあるいは１つのＩＣ（Integrated Circuit）などの素子にて構成するなどしてもよく、いずれの形態としても利用できる。なお、プログラムや別途記録媒体から演算手段としてのコンピュータで読み取らせる構成とすることにより、取扱が容易で、利用の拡大が容易に図れる。

その他、本発明の実施の際の具体的な構造および手順は、本発明の目的を達成できる範囲で他の構造などに適宜変更できる。

［実施形態の作用効果］
上述したように、上記実施の形態では、映像処理装置１００は、フレーム画像２０におけるカメラワーク速度を、複数のフレーム画像２０について算出する。そして、この複数のフレーム画像２０について算出したカメラワーク速度の分散に基づいて、複数のフレーム画像２０を含む映像区間の特性を評価する。
このため、表示順序が略連続する複数のフレーム画像２０について算出されたカメラワーク速度の分散に基づいて、すなわち、複数のフレーム画像２０の特性に基づき算出される時間方向の特徴量に基づいて、映像区間全体の特性を評価するため、手ブレの大きさが異なる手ブレ区間３４が存在する場合、この大きさの差異を反映した特性評価を実施することができる。
したがって、フレーム画像単位での特徴量に基づいて映像区間全体の特性を評価する従来の構成と比べて、所定の映像区間に対する特性評価を適切に実施できる。

本発明の一実施の形態に係る映像処理装置の概略構成を示すブロック図である。 前記一実施の形態におけるズームインして撮影されたフレーム画像における動きベクトルを示す模式図である。 前記一実施の形態における左方向へパンして撮影されたフレーム画像における動きベクトルを示す模式図である。 前記一実施の形態における映像を複数の映像区間に分割した状態を示す模式図である。 前記一実施の形態における安定な静止区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における不安定な静止区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における安定なズーム区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における不安定なズーム区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における安定なパン区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における不安定なパン区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における不安定な手ブレ区間の表示結果画面の概略構成を示す模式図である。 前記一実施の形態における映像区間の特性評価処理を示すフローチャートである。 本発明の他の実施の形態に係る映像処理装置の概略構成を示すブロック図である。 前記他の実施の形態における映像区間の特性評価処理を示すフローチャートである。 本発明のさらに他の実施の形態に係る映像処理装置の概略構成を示すブロック図である。 前記さらに他の実施の形態における映像の補正処理を示すフローチャートである。 本発明のさらに他の実施の形態に係る映像を複数の映像区間に分割した状態を示す模式図である。 前記さらに他の実施の形態における映像区間をさらに分割した状態を示す模式図である。

符号の説明

１００，３００，４００…映像処理装置
１１０…報知手段としての表示手段
１２０…入力手段
１３０…映像データ取得手段としても機能する動きベクトル演算手段としての動き解析手段
１４０…動き方向検出手段および撮影状態判定手段としてのカメラワーク判定手段
１５０…ばらつき検出手段としても機能する映像分割手段
１６０，３１０…動き速度検出手段としてのカメラワーク速度算出手段
１７０…ばらつき検出手段としての速度分散算出手段
１８０…映像評価手段
１９１…表示制御手段
１９２…映像編集手段
４１１…映像補正手段
７２１…撮影状態情報および特性評価情報としての静止安定マーク
７２２…撮影状態情報および特性評価情報としての静止不安定マーク
７２３…撮影状態情報および特性評価情報としてのズーム安定マーク
７２４…撮影状態情報および特性評価情報としてのズーム不安定マーク
７２５…撮影状態情報および特性評価情報としてのパン安定マーク
７２６…撮影状態情報および特性評価情報としてのパン不安定マーク
７２７…撮影状態情報および特性評価情報としての手ブレ安定マーク
７２８…撮影状態情報および特性評価情報としての手ブレ不安定マーク

Claims (20)

1. 撮影装置で撮影された映像の映像データを処理する映像処理装置であって、
   前記映像は、表示順序で関連付けられた複数のフレーム画像で構成され、
   前記映像データを取得する映像データ取得手段と、
   この取得された映像データに基づいて、前記フレーム画像における少なくとも１つの部分が動く速度を、前記表示順序が略連続する複数のフレーム画像について検出する動き速度検出手段と、
   前記略連続する複数のフレーム画像について検出された前記動く速度のばらつきを検出するばらつき検出手段と、
   この検出されたばらつきに基づいて、前記略連続する複数のフレーム画像で構成される映像区間の特性を評価する映像評価手段と、
   を具備したことを特徴とした映像処理装置。
2. 請求項１に記載の映像処理装置であって、
   前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記略連続する複数のフレーム画像について検出する動き方向検出手段と、
   前記略連続する複数のフレーム画像について検出された前記動く方向に基づいて、前記映像区間における撮影状態が、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか１つであることを判定する撮影状態判定手段と、
   を具備し、
   前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせのうち、少なくともいずれか１つの撮影状態の前記映像区間における前記特性の評価を、他の撮影状態の映像区間と異なる基準で実施する
   ことを特徴とした映像処理装置。
3. 請求項１に記載の映像処理装置であって、
   前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記略連続する複数のフレーム画像について検出する動き方向検出手段と、
   前記略連続する複数のフレーム画像について検出された前記動く方向に基づいて、前記映像区間における撮影状態が、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか１つであることを判定する撮影状態判定手段と、
   を具備し、
   前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせの前記映像区間における前記特性の評価を、同一基準で実施する
   ことを特徴とした映像処理装置。
4. 請求項１に記載の映像処理装置であって、
   前記映像データに基づいて、前記フレーム画像における複数の部分が動く方向を、前記略連続する複数のフレーム画像について検出する動き方向検出手段と、
   前記略連続する複数のフレーム画像について検出された前記動く方向に基づいて、静止した状態で撮影された静止撮影状態、撮影方向が一方向に移動されながら撮影された一方向移動撮影状態、撮影倍率が変更されながら撮影された倍率変更撮影状態、回転しながら撮影された回転撮影状態、および、撮影方向が不規則な方向に移動されながら撮影された方向不規則撮影状態、あるいはそれらの組み合わせのうち、いずれか１つであることを判定する撮影状態判定手段と、
   を具備し、
   前記ばらつき検出手段は、隣り合う前記映像区間の前記撮影状態が同一であることを認識すると、これら隣り合う映像区間を１つの映像区間とみなして、この１つの映像区間に対する前記動く速度のばらつきを検出する
   ことを特徴とした映像処理装置。
5. 請求項４に記載の映像処理装置であって、
   前記ばらつき検出手段は、前記１つの映像区間の区間長が所定区間長よりも長いことを認識すると、この１つの映像区間を複数区間に再分割した再分割区間ごとに対する前記動く速度のばらつきを検出する
   ことを特徴とした映像処理装置。
6. 請求項４または請求項５に記載の映像処理装置であって、
   前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせのうち、少なくともいずれか１つの撮影状態の前記映像区間における前記特性の評価を、他の撮影状態の映像区間と異なる基準で実施する
   ことを特徴とした映像処理装置。
7. 請求項４または請求項５に記載の映像処理装置であって、
   前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせの前記映像区間における前記特性の評価を、同一基準で実施する
   ことを特徴とした映像処理装置。
8. 請求項３または請求項７に記載の映像処理装置であって、
   前記映像評価手段は、前記静止撮影状態、前記一方向移動撮影状態、前記倍率変更撮影状態、前記回転撮影状態、および、前記方向不規則撮影状態、あるいはそれらの組み合わせの特性を規格化し、この規格化した特性の評価を同一基準で実施する
   ことを特徴とした映像処理装置。
9. 請求項２ないし請求項８のいずれかに記載の映像処理装置であって、
   前記動き速度検出手段は、所定の前記フレーム画像における複数の部分のうち、前記フレーム画像の前記撮影状態に対応する前記動く方向へ動いた部分のみの前記動く速度を検出する
   ことを特徴とした映像処理装置。
10. 請求項２ないし請求項９のいずれかに記載の映像処理装置であって、
    前記映像、この映像が含まれる前記映像区間の前記撮影状態を表す撮影状態情報、および、前記映像区間の前記特性の評価を表す特性評価情報を、表示手段で表示させる制御をする表示制御手段を具備した
    ことを特徴とした映像処理装置。
11. 請求項１０に記載の映像処理装置であって、
    前記表示制御手段は、前記撮影状態情報および前記特性評価情報を表示させる制御として、前記撮影状態に対応する記号または図形を前記特性の評価に対応する表示状態で表示させる制御をする
    ことを特徴とした映像処理装置。
12. 請求項２ないし請求項１１のいずれかに記載の映像処理装置であって、
    前記映像データに基づいて、前記フレーム画像の動きベクトルを演算する動きベクトル演算手段を具備し、
    前記動き方向検出手段は、前記演算された動きベクトルに基づいて前記動く方向を検出する
    ことを特徴とした映像処理装置。
13. 請求項１ないし請求項１２のいずれかに記載の映像処理装置であって、
    前記映像データに基づいて、前記フレーム画像の動きベクトルを演算する動きベクトル演算手段を具備し、
    前記動き速度検出手段は、前記演算された動きベクトルに基づいて前記動く速度を算出する処理を、前記動く速度を検出する処理として実施する
    ことを特徴とした映像処理装置。
14. 請求項１ないし請求項１３のいずれかに記載の映像処理装置であって、
    前記特性の評価に基づいて、前記映像区間の映像を補正する映像補正手段を具備した
    ことを特徴とした映像処理装置。
15. 請求項１ないし請求項１４のいずれかに記載の映像処理装置であって、
    前記ばらつき検出手段は、前記動く速度の分散または標準偏差、または、速度の大きさの分散または標準偏差を算出する処理を、前記ばらつきを検出する処理として実施する
    ことを特徴とした映像処理装置。
16. 請求項１ないし請求項１４のいずれかに記載の映像処理装置であって、
    前記ばらつき検出手段は、前記動く速度または速度の大きさのダイナミックレンジを算出する処理を、前記ばらつきを検出する処理として実施する
    ことを特徴とした映像処理装置。
17. 演算手段にて、撮影装置で撮影された映像の映像データを処理する映像処理方法であって、
    前記映像は、表示順序で関連付けられた複数のフレーム画像で構成され、
    前記演算手段は、
    前記映像データを取得し、
    この取得された映像データに基づいて、前記フレーム画像における少なくとも１つの部分が動く速度を、前記表示順序が略連続する複数のフレーム画像について検出し、
    前記略連続する複数のフレーム画像について検出された前記動く速度のばらつきを検出し、
    この検出されたばらつきに基づいて、前記略連続する複数のフレーム画像で構成される映像区間の特性を評価する
    ことを特徴とする映像処理方法。
18. 請求項１７に記載の映像処理方法を演算手段に実行させる
    ことを特徴とした映像処理プログラム。
19. 演算手段を請求項１ないし請求項１６のいずれかに記載の映像処理装置として機能させる
    ことを特徴とした映像処理プログラム。
20. 請求項１８または請求項１９に記載の映像処理プログラムが演算手段にて読取可能に記録された
    ことを特徴とした映像処理プログラムを記録した記録媒体。

Images