JP2005094493A - 意図的な移動撮像シーンの検出装置および検出方法ならびに意図的な移動撮像シーン検出プログラムを記録した記録媒体 - Google Patents

Abstract

【課題】 この発明は、意図的な移動撮像シーンをより高精度に検出することができる意図的な移動撮像シーンの検出装置を提供することを目的とする。
【解決手段】 意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１手段、第１手段によって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２手段を備えている。
【選択図】 図１

Description

この発明は、意図的な移動撮像シーンの検出装置および検出方法ならびに意図的な移動撮像シーン検出プログラムを記録した記録媒体に関する。

手ぶれ補正を行う場合、撮影シーンのフレーム間の動きが、撮影者の意図しないカメラ運動（いわゆる手ぶれ）に因るものなのか、撮影者の意図的なカメラ運動（いわゆるパンニング、チルティングなど）に因るものなのかを判別し、意図的なカメラ運動に対しては、手ぶれ補正処理を行わないように処理される。

撮影シーンのフレーム間の動きが意図的なカメラ運動であるか否かを判別する方法が、特開平０７−２３２７６号公報、および特開平０５−１４８０１号公報に記載されている。

特開平０７−２３２７６号公報に記載の発明では、画像の積分ベクトルが補正可能範囲以上であるフレームがある閾値以上連続したときまたは画像全体の動きベクトルが同一方向を向くフレームがある閾値以上連続したとき、パンニングまたはチルティングの開始と判定し、画像全体の動きベクトルがこれと反対方向を向くフレームがある閾値以上連続したときまたは画像全体の動きベクトルある閾値以下となったときに、パンニングまたはチルティングの終了と検出している。

特開平０５−１４８０１号公報に記載の発明では、フレーム間の動きから角速度を算出し、同一方向の角速度が一定時間以上生じているか否かによって、パンニングまたはチルティングの開始および終了を検出している。

従来手法では、パンニングおよびチルティングであることを確認するための基準を用いて、パンニングおよびチルティングの開始および終了フレームを決定している。しかしながら、パンニングおよびチルティングを確定するための基準としては、大きな手ぶれシーンなどをパンニングおよびチルティングと誤認識しないように、厳しい基準を設定する必要があるため、パンニングおよびチルティングの検出が遅れ、パンニングおよびチルティングシーンを手ぶれ補正することにより不自然な結果を生じることがあった。

具体的に言えば、例えば、パンニングシーンの開始フレームの検出が遅れると、本来のパンニングシーンの開始フレームから、パンニングシーンの開始フレームと検出されたフレームまでの数フレームは、本来パンニングされているフレームであっても、誤って手ぶれ補正が行われるために停止シーンとなり、パンニングシーンの開始フレームと検出されたフレームになると画面は遅れた数フレーム分のパンニングの移動を瞬時に行った後、パンニングシーンに切り替わる（以降、スティック現象と呼ぶ）。
特開平０７−２３２７６号公報 特開平０５−１４８０１号公報

この発明は、意図的な移動撮像シーンをより高精度に検出することができる意図的な移動撮像シーンの検出装置および検出方法ならびに意図的な移動撮像シーン検出プログラムを記録した記録媒体を提供することを目的とする。

請求項１に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出装置において、意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１手段、第１手段によって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２手段、第２手段によって開始フレームを検出した後に、第１手段によって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３手段、および第３手段によって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４手段を備えていることを特徴とする。

請求項２に記載の発明は、請求項１に記載の意図的な移動撮像シーンの検出装置において、第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする。

請求項３に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出方法において、意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１ステップ、第１ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２ステップ、第２ステップによって開始フレームを検出した後に、第１ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３ステップ、および第３ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４ステップを備えていることを特徴とする。

請求項４に記載の発明は、請求項３に記載の意図的な移動撮像シーンの検出方法において、第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする。

請求項５に記載の発明は、動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体において、意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１ステップ、第１ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２ステップ、第２ステップによって開始フレームを検出した後に、第１ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３ステップ、および第３ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４ステップをコンピュータに実行させるための意図的な移動撮像シーン検出プログラムを記録していることを特徴とする。

請求項６に記載の発明は、請求項５に記載の意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体において、第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする。

この発明によれば、意図的な移動撮像シーンをより高精度に検出することができるようになる。

以下、本発明の実施の形態について説明する。

〔１〕手ぶれ補正装置の説明

図１は、手ぶれ補正装置の構成を示している。

手ぶれ補正装置は、パーソナルコンピュータ１０によって実現される。パーソナルコンピュータ１０には、ディスプレイ２１、マウス２２およびキーボード２３が接続されている。パーソナルコンピュータ１０は、ＣＰＵ１１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭのようなリムーバブルディスク２０のドライブ１４を備えている。

ハードディスク１３には、ＯＳ（オペレーションシステム）等の他、手ぶれ補正処理プログラムが格納されている。手ぶれ補正処理プログラムには、意図的な移動撮像シーン検出プログラムが含まれている。手ぶれ補正処理プログラムは、それが格納されたＣＤ−ＲＯＭ等のリムーバブルディスク２０を用いて、ハードディスク１３にインストールされる。また、ハードディスク１３にはビデオカメラなどによって撮像された動画像ファイルが予め格納されているものとする。
〔２〕手ぶれ補正プログラムが起動せしめられた場合にＣＰＵによって行われる手ぶれ補正処理の説明

図２は、ＣＰＵによって行われる手ぶれ補正の全体的な処理手順を示している。

まず、各入力フレームに対して１つ前の入力フレームとの間の幾何変換行列（隣接フレーム間の幾何変換行列）を算出する（ステップ１）。つまり、入力フレーム上の座標を１つ前のフレーム上の座標に変換するための幾何変換行列を算出する。算出された幾何変換行列は、メモリ１２に保存される。幾何変換行列は、次式（１）のように３×３の要素で表すことができ、２フレーム間の世界座標変換の係数に相当する。

次に、各入力フレーム毎に得られた幾何変換行列を基に、意図的な移動撮影シーンを検出するための意図的な移動撮影シーン検出処理を行う（ステップ２）。具体的には、意図的な移動撮影シーンの開始フレームと終了フレームとを検出する。次に、意図的な移動撮影シーン以外のフレームに対して、手ぶれ補正処理を行う（ステップ３）。

隣接フレーム間の幾何変換行列は、次のようにして求められる。現入力フレームをＦ_currとし、１つ前の入力フレームをＦ_prevとする。まず、Ｆ_currの特徴点Ｐ_currを抽出する。特徴点とは、隣接画素の輝度値が急激に変化する点である。次に、フレームＦ_prev、Ｆ_curr間での特徴点Ｐ_currの動きベクトルを算出する。特徴点の動きベクトルの算出は、勾配法によるオプティカルフロー推定を用いる。Ｆ_currの全特徴点に対して動きベクトルの算出を行い、フレーム間の全特徴点の対応付け結果を得る。１組の対応点（ｘ１，ｙ１）・（ｘ１’，ｙ１’）から次式（２）のように２つの方程式が得られるので、３組以上の対応点を検出することにより６つ以上の方程式を導出する。これらの方程式から、未知数６の幾何変換行列を線形解法で算出する。

図３は、図２のステップ２の意図的な移動撮影シーン検出処理の詳細な手順を示している。

まず、第１フレームを注目フレームＦ_i とする（ステップ１１）。注目フレームＦ_i とそれより１つ前のフレームＦ_i-1 との間の移動速度（隣接フレーム間の移動速度）Ｖ_i を算出して保持する（ステップ１２）。隣接フレーム間の移動速度Ｖ_i の算出は、それぞれ水平、垂直方向の移動量成分を意味する幾何変換行列の要素ｍ₁₃，ｍ₂₃を用いて、次式（３）に基づいて行う。

上記式（３）において、Ｄ_i は、注目フレームＦ_i に対応する幾何変換行列の要素ｍ₁₃，ｍ₂₃から算出される値であり、Ｄ_i-1 は、注目フレームＦ_i より１つ前のフレームＦ_i-1 に対応する幾何変換行列の要素ｍ₁₃，ｍ₂₃から算出される値である。なお、注目フレームＦ_i が第１フレームのときには、隣接フレーム間の移動速度Ｖ_i を０とする。

次に、意図的な移動撮影シーンの終了フレームを探索中であることを記憶するフラグflagがセット（flag＝１）されているか、リセット（flag＝０）されているかを判別する（ステップ１３）。このフラグflagは、初期状態ではリセット（flag＝０）されている。

フラグflagがリセットされていれば、ステップ１４に移行する。フラグflagがセットされていれば、ステップ２４に移行する。

ステップ１４では、注目フレームＦ_i が意図的な移動撮影シーンの仮開始フレームであるか否かの判定を行う。具体的には、隣接フレーム間の移動速度Ｖが３ピクセル／フレーム以上であるフレームが、２０回以上連続した場合には、注目フレームＦ_i が意図的な移動撮影シーンの仮開始フレームであると判定する。そうでない場合には、注目フレームＦ_i は、意図的な移動撮影シーンの仮開始フレームではないと判定する。

注目フレームＦ_i が意図的な移動撮影シーンの仮開始フレームでないと判定した場合には、注目フレームＦ_i が最終フレームか否かを判定する（ステップ１５）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ１６）、ステップ１２に戻る。

上記ステップ１４において、注目フレームＦ_i が意図的な移動撮影シーンの仮開始フレームであると判定した場合には、意図的な移動撮影シーンの真の開始フレームの判定処理に移行する。

意図的な移動撮影シーンの真の開始フレームの判定処理について説明する。意図的な移動撮影シーンの真の開始フレームの判定処理では、上記ステップ１４で決定された仮開始フレームＦ_i より１つ前のフレームから、過去のフレームに遡る方向（逆方向）に、意図的な移動撮影シーンの開始フレームを探索する。上記ステップ１４で決定された仮開始フレームＦ_i から、過去のフレームに遡る方向（逆方向）に、意図的な移動撮影シーンの開始フレームを探索してもよい。探索の対象となっているフレームを探索対象フレームということにする。

まず、上記ステップ１４で決定された仮開始フレームＦ_i より１つ前のフレームを、探索対象フレームとする（ステップ１７）。探索対象フレームとそれより１つ前のフレームとの間の移動速度（上記ステップ１２で既に算出されている）が１ピクセル／フレーム以下であるか否かを判別する（ステップ１８）。探索対象フレームに対応する隣接フレーム間の移動速度が１ピクセル／フレーム以下でなければ、探索対象フレームを現探索対象フレームより１つ前のフレームに更新した後（ステップ１９）、ステップ１８に戻る。

上記ステップ１８において、探索対象フレームに対応する隣接フレーム間の移動速度が１ピクセル／フレーム以下であると判別した場合には、探索対象フレームを意図的な移動撮影シーンの真の開始フレームと決定する（ステップ２０）。また、フラグflagをセット（flag＝１）する（ステップ２１）。次に、注目フレームＦ_i が最終フレームか否かを判定する（ステップ２２）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ２３）、ステップ１２に戻る。この場合には、ステップ１２で隣接フレーム間の移動速度Ｖ_i が算出された後、ステップ１３に進むが、フラグflagがセット（flag＝１）されているので、ステップ１３からステップ２４に移行することになる。

ステップ２４では、注目フレームＦ_i が、意図的な移動撮影シーンの仮終了フレームであるか否かを判定する。この判定は、注目フレームＦ_i に対応する隣接フレーム間の移動速度Ｖ_i が３ピクセル／フレーム以下であるか否かに基づいて行われる。つまり、注目フレームＦ_i に対応する隣接フレーム間の移動速度Ｖ_i が３ピクセル／フレーム以下である場合には、注目フレームＦ_i が、意図的な移動撮影シーンの仮終了フレームであると判定する。注目フレームＦ_i に対応する隣接フレーム間の移動速度Ｖ_i が３ピクセル／フレームより大きい場合には、注目フレームＦ_i は、意図的な移動撮影シーンの仮終了フレームではないと判定する。

注目フレームＦ_i が意図的な移動撮影シーンの仮終了フレームでないと判定した場合には、注目フレームＦ_i が最終フレームか否かを判定する（ステップ２５）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ２６）、ステップ１２に戻る。この場合には、ステップ１２で隣接フレーム間の移動速度Ｖ_i が算出された後、ステップ１３に進むが、フラグflagがセット（flag＝１）されているので、ステップ１３からステップ２４に移行することになる。

上記ステップ２４において、注目フレームＦ_i が、意図的な移動撮影シーンの仮終了フレームであると判定した場合には、意図的な移動撮影シーンの真の終了フレームの判定処理に移行する。
う。

意図的な移動撮影シーンの真の終了フレームの判定処理について説明する。意図的な移動撮影シーンの真の終了フレームの判定処理では、上記ステップ２４で決定された仮終了フレームＦ_i より１つ先のフレームから、時間を進める方向（順方向）に、意図的な移動撮影シーンの終了フレームを探索する。上記ステップ２４で決定された仮終了フレームＦ_i から、時間を進める方向（順方向）に、意図的な移動撮影シーンの終了フレームを探索してもよい。探索の対象となっているフレームを探索対象フレームということにする。

まず、上記ステップ２４で決定された仮終了フレームＦ_i より１つ先のフレーム（仮終了フレームＦ_i の次のフレーム）を、探索対象フレームとする（ステップ２７）。探索対象フレームとそれより１つ前の入力フレームとの間の移動速度（フレームの移動速度）を算出する（ステップ２８）。そして、探索対象フレームに対応する隣接フレーム間の移動速度が１ピクセル／フレーム以下であるか否かを判別する（ステップ２９）。探索対象フレームに対応する隣接フレーム間の移動速度が１ピクセル／フレーム以下でなれれば、探索対象フレームを現探索対象フレームより１つ先のフレーム（仮終了フレームＦ_i の次のフレーム）に更新した後（ステップ３０）、ステップ２８に戻る。

上記ステップ２９において、探索対象フレームに対応する隣接フレーム間の移動速度が１ピクセル／フレーム以下であると判別した場合には、探索対象フレームを意図的な移動撮影シーンの真の終了フレームと決定する（ステップ３１）。また、フラグflagをリセット（flag＝０）する（ステップ３２）。次に、注目フレームＦ_i が最終フレームか否かを判定する（ステップ２２）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ２３）、ステップ１２に戻る。この場合には、ステップ１２で隣接フレーム間の移動速度Ｖ_i が算出された後、ステップ１３に進むが、フラグflagがリセット（flag＝０）されているので、ステップ１３からステップ１４に移行することになる。

図４（ａ）は、入力フレーム番号に対する、隣接フレーム間の移動速度の大きさの変化を示している。図４（ｂ）は、フレーム間の移動速度の大きさがある閾値を越えた期間を意図的な移動撮影シーンと判定した結果を示す。ここで、Ｆ_s が仮開始フレーム、Ｆ_e が仮終了フレームに相当する。図４（ｃ）は仮開始、終了フレームから、より正確な開始、終了フレームを検出した結果を示す。ここで、Ｆ_s ’が最終的な開始フレーム（真の開始フレーム）、Ｆ_e ’が最終的な終了フレーム（真の終了フレーム）に相当する。

図５は、図２のステップ３の手ぶれ補正処理の詳細な手順を示している。

まず、第１フレームを注目フレームＦ_i とする（ステップ４１）。次に、注目フレームＦ_i が意図的な移動撮影シーンであるか否かを判別する（ステップ４２）。この判別は、図２のステップ２の意図的な移動撮影シーン検出処理結果に基づいて行われる。

注目フレームＦ_i が意図的な移動撮影シーンでない場合には、手ぶれ補正を行う（ステップ４３）。手ぶれ補正は、次のようにして行われる。

第１フレームから最初の意図的な移動撮影シーンの真の開始フレームの１つの前のフレームまでのフレーム区間、意図的な移動撮影シーンの真の終了フレームの１つ先のフレームから次の意図的な移動撮影シーンの真の開始フレームの１つ前のフレームまでのフレーム区間、最後の意図的な移動撮影シーンの真の終了フレームの１つ先のフレームから最終フレームまでのフレーム区間を、それぞれ手ぶれ補正区間ということにする。

手ぶれ補正は、注目フレームが存在する手ぶれ補正区間の最初のフレーム（基準フレーム）から注目フレームまでの各隣接フレーム間の幾何変換行列を積算することによって、累積幾何変換行列（注目フレーム上の座標を基準フレーム上の座標に変換するための幾何変換行列）を算出し、注目フレームを累積幾何変換行列で幾何変換することによって行われる。

手ぶれ補正が行われると、注目フレームＦ_i が最終フレームか否かを判定する（ステップ４５）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ４６）、ステップ４２に戻る。

上記ステップ４２において、注目フレームＦ_i が意図的な移動撮影シーンであると判定した場合には、手ぶれ補正を行わないが、視線の移動開始位置をその前の手ぶれ補正区間の手ぶれ補正後のフレームに合わせるための処理（視線補正）を行う（ステップ４４）。つまり、注目フレームを、その前の手ぶれ補正区間の最終フレームに対して算出された累積幾何変換行列で幾何変換する。

視線補正が行われると、注目フレームＦ_i が最終フレームか否かを判定する（ステップ４５）。注目フレームＦ_i が最終フレームであれば、処理を終了する。最終フレームでなければ、注目フレームＦ_i をその次のフレームに更新させた後（ステップ４６）、ステップ４２に戻る。

手ぶれ補正装置の構成を示すブロック図である。 手ぶれ補正の全体的な処理手順を示すフローチャートである。 図２のステップ２の意図的な移動撮影シーン検出処理の詳細な手順を示すフローチャートである。 入力フレーム番号に対する、隣接フレーム間の移動速度の変化の一例と、フレーム間の移動速度がある閾値を越えた期間を意図的な移動撮影シーンと判定した結果と、仮開始、終了フレームから、より正確な開始、終了フレームを検出した結果とを示すグラフである。 図２のステップ３の手ぶれ補正処理の詳細な手順を示すフローチャートである。

符号の説明

１０ パーソナルコンピュータ
１１ ＣＰＵ
１２ メモリ
１３ ハードディスク
１４ リムーバブルディスク

Claims (6)

1. 動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出装置において、
   意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１手段、
   第１手段によって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２手段、
   第２手段によって開始フレームを検出した後に、第１手段によって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３手段、および
   第３手段によって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４手段、
   を備えていることを特徴とする意図的な移動撮像シーンの検出装置。
2. 第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする請求項１に記載の意図的な移動撮像シーンの検出装置。
3. 動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーンの検出方法において、
   意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１ステップ、
   第１ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２ステップ、
   第２ステップによって開始フレームを検出した後に、第１ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３ステップ、および
   第３ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４ステップ、
   を備えていることを特徴とする意図的な移動撮像シーンの検出方法。
4. 第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする請求項３に記載の意図的な移動撮像シーンの検出方法。
5. 動画像データから意図的な移動撮像シーンを検出するための意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体において、
   意図的な移動撮像シーンの開始フレームを検出するための第１条件を用いて、意図的な移動撮像シーンの仮の開始フレームを検出する第１ステップ、
   第１ステップによって仮の開始フレームが検出された場合には、意図的な移動撮像シーンの開始フレームを検出するための第２条件であって、第１条件とは異なる第２条件を用いて、上記仮の開始フレームまたは上記仮の開始フレームより時間的に１つ前のフレームから過去に遡る方向に、意図的な移動撮像シーンの開始フレームの探索を行うことにより、意図的な移動撮像シーンの開始フレームを検出する第２ステップ、
   第２ステップによって開始フレームを検出した後に、第１ステップによって検出された仮の開始フレームより時間的に先のフレームに対し、意図的な移動撮像シーンの終了フレームを検出するための第３条件を用いて、意図的な移動撮像シーンの仮の終了フレームを検出する第３ステップ、および
   第３ステップによって仮の終了フレームが検出された場合には、意図的な移動撮像シーンの終了フレームを検出するための第４条件であって、第３条件とは異なる第４条件を用いて、上記仮の終了フレームまたは上記仮の終了フレームより時間的に１つ先のフレームから時間を進める方向に、意図的な移動撮像シーンの終了フレームの探索を行うことにより、意図的な移動撮像シーンの終了フレームを検出する第４ステップ、
   をコンピュータに実行させるための意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
6. 第１条件は、隣接フレーム間の移動速度が第１閾値以上であるフレームが所定フレーム数以上連続したことという条件であり、第２条件は、隣接フレーム間の移動速度が第１閾値より小さい第２閾値以上であることという条件であり、第３条件は、隣接フレーム間の移動速度が第３閾値以下であることという条件であり、第４条件は、隣接フレーム間の移動速度が第３閾値より小さい第４閾値以下であることという条件であることを特徴とする請求項５に記載の意図的な移動撮像シーン検出プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images