JP2010258702A - 特徴区間判定装置、特徴区間判定方法、およびプログラム - Google Patents

Abstract

【課題】カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定可能な、特徴区間判定装置、特徴区間判定方法、およびプログラムを提供する。
【解決手段】画像における所定の分割領域の時系列データから画像の動き量ａを算定する動き量算定部１１１と、画像の時系列データから画像の特徴区間を判定するための判定区間Ｌａを設定する判定区間設定部１１３と、判定区間の特性に応じて、画像の特徴区間を判定するための判定基準Ｔａを適応的に設定する判定基準設定部１１５と、判定区間内における画像の動き量を判定基準と比較し、判定区間が画像の特徴区間であるかを判定する特徴区間判定部１１７と、を備える。これにより、判定区間の特性に応じて判定基準を適応的に設定し、動き量と比較して判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。
【選択図】図２

Description

本発明は、特徴区間判定装置、特徴区間判定方法、およびプログラムに関する。

従来、ビデオレコーダ、ビデオカメラ等による記録画像（映像）から、パン、チルト、ズーム等のカメラ動作に基づく画像の特徴区間を検出し、記録画像のダイジェスト再生や編集処理等に利用することが知られている。ここで、画像の特徴区間は、記録画像の分割領域（ブロック）毎の時系列データから検出される動きベクトルを用いて画像の動き量を算定し、動き量を所定の閾値と比較判定し、所定の閾値を満たすデータ区間として検出される。

ところで、画像の動き量は、カメラ動作の速度に応じて異なる場合があり、緩慢なカメラ動作時に小さく、急激なカメラ動作時に大きく算定される。また、急激なカメラ動作時には、緩慢なカメラ動作時に比べて、動き量のノイズ成分が大きくなり易い。

このため、画像の特徴区間を判定するための閾値が固定値として設定されていると、緩慢なカメラ動作時に動き量が閾値を満たさない場合に、特徴区間が誤判定されてしまう。また、急激なカメラ動作時に動き量のノイズ成分が閾値を満たす場合にも、特徴区間が誤判定されてしまう。

そこで、本発明は、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定可能な、特徴区間判定装置、特徴区間判定方法、およびプログラムを提供しようとするものである。

本発明の第１の観点によれば、画像における所定の分割領域の時系列データから画像の動き量を算定する動き量算定部と、画像の時系列データから画像の特徴区間を判定するための判定区間を設定する判定区間設定部と、判定区間の特性に応じて、画像の特徴区間を判定するための判定基準を適応的に設定する判定基準設定部と、判定区間内における画像の動き量を判定基準と比較し、判定区間が画像の特徴区間であるかを判定する特徴区間判定部と、を備える、特徴区間判定装置が提供される。

かかる構成によれば、特徴区間判定装置は、画像の特徴区間を判定するために、判定区間を設定し、判定区間の特性に応じて判定基準を適応的に設定する。そして、特徴区間判定装置は、判定区間内における画像の動き量を判定基準と比較し、判定区間が画像の特徴区間であるかを判定する。これにより、判定区間の特性に応じて判定基準を適応的に設定して動き量と比較し、判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

また、上記判定区間設定部は、画像の動き量が所定の基準を満たす区間を判定区間として設定し、上記判定基準設定部は、判定区間の区間長に応じて判定基準を適応的に設定し、上記特徴区間判定部は、判定区間内における画像の動き量の特性値を判定基準と比較し、画像の動き量の特性値が判定基準を満たす場合に、判定区間を画像の特徴区間であると判定してもよい。これにより、画像の動き量が所定の基準を満たす判定区間の区間長に応じて、判定基準を適応的に設定し、判定区間内における動き量の特性値と比較して、判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

また、上記判定基準設定部は、判定区間の区間長が相対的に長いほど、相対的に小さな絶対値の動き量を判定基準として設定してもよい。これにより、判定区間が相対的に長くなるほど、相対的に小さな絶対値の動き量を判定基準に設定し、判定区間が相対的に短くなるほど、相対的に大きな絶対値の動き量を判定基準に設定し、判定区間が特徴区間であるかを判定することができる。

また、上記判定基準設定部は、画像の動き量の絶対値の上限値および下限値を判定基準として設定してもよい。これにより、動き量の絶対値の下限値および上限値からなる判定基準により、動き量の特性値を判定することで、特徴区間を適切に判定することができる。

また、上記判定区間設定部は、判定区間内において、所定の基準よりも大きな絶対値として再設定された所定の基準を満たす区間を判定区間として再設定し、上記判定基準設定部は、再設定された判定区間の区間長に応じて判定基準を適応的に再設定し、上記特徴区間判定部は、再設定された判定区間内における画像の動き量の特性値を、再設定された判定基準と比較し、画像の動き量の特性値が再設定された判定基準を満たす場合に、再設定された判定区間を画像の特徴区間であると判定してもよい。これにより、判定区間内において判定区間を短く再設定し、再設定された判定区間の区間長に応じて判定基準を適応的に再設定して、判定区間が特徴区間であるかを判定することで、特徴区間を適切に判定することができる。

また、上記判定区間設定部は、所定の区間長を有する任意の区間を判定区間として設定し、上記判定基準設定部は、判定区間内における画像の動き量の特性値に応じて、判定基準を適応的に設定し、上記特徴区間判定部は、判定区間内における画像の動き量を判定基準と比較し、判定区間のうち画像の動き量が判定基準を満たす連続区間の区間長を所定の基準区間長と比較し、連続区間の区間長が所定の基準区間長より長い場合に、判定区間を画像の特徴区間であると判定してもよい。これにより、所定の区間長を有する判定区間内における画像の動き量の特性値に応じて、判定基準を適応的に設定し、判定区間内における動き量と比較し、判定区間のうち動き量が判定基準を満たす連続区間の区間長を所定の基準区間長と比較し、判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

また、上記特徴区間判定部は、連続する判定区間同士における画像の動き量の特性値の変動特性に応じて、判定区間が画像の特徴区間であるかをさらに判定してもよい。これにより、連続する判定区間同士における特性値の変動特性に応じて、特徴区間を適切に判定することができる。

また、上記動き量算定部は、画像における所定の分割領域の時系列データから画像の動き量を２以上のカメラ動作別に算定し、上記判定区間設定部は、画像の時系列データから画像の特徴区間をカメラ動作別に判定するための判定区間を設定し、上記判定基準設定部は、各カメラ動作の判定区間の特性に応じて、画像の特徴区間をカメラ動作別に判定するための判定基準を適応的に設定し、上記特徴区間判定部は、各カメラ動作の判定区間内における各カメラ動作の画像の動き量を各カメラ動作の判定基準と比較し、各カメラ動作の判定区間が画像の特徴区間であるかをカメラ動作別に判定してもよい。これにより、各カメラ動作の判定区間の特性に応じて、各カメラ動作の判定基準を適応的に設定して画像の動き量と比較し、各カメラ動作の判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに各カメラ動作の特徴区間を適切に判定することができる。

また、上記特徴区間判定装置は、画像における所定の分割領域の時系列データから１以上の動きベクトルを検出する動きベクトル検出部と、画像上に設定される直交座標系上における動きベクトルの位置とベクトル成分の向きとの間における所定の関係を判定する動きベクトル判定部と、をさらに備え、上記動き量算定部は、所定の関係を満たす1以上の動きベクトルから画像の動き量を算定してもよい。これにより、画像上の位置とベクトル成分の向きとの間における所定の関係を満たす１以上の動きベクトルから画像の動き量を算定するので、動き量の算定精度を向上させることができる。

また、上記特徴区間判定装置は、画像の時系列データのうちパン動作の特徴区間とチルト動作の特徴区間が時間的に重複する重複区間において、パン動作に基づく画像の動き量の特性値とチルト動作に基づく画像の動き量の特性値をベクトル合成し、合成された特性値のベクトル角から、重複区間がパン動作の特徴区間またはチルト動作の特徴区間のいずれに該当するかを判定し、該当しないカメラ動作の特徴区間から重複区間を除いて、カメラ動作の特徴区間を補正する特徴区間補正部をさらに備えてもよい。これにより、パン動作およびチルト動作の特徴区間として判定された重複区間について、パン動作およびチルト動作に基づく動き量の特性値に基づいて特徴区間が補正されるので、各カメラ動作の特徴区間の判定精度を向上させることができる。

また、本発明の第２の観点によれば、画像における所定の分割領域の時系列データから画像の動き量を算定し、画像の時系列データから画像の特徴区間を判定するための判定区間を設定し、判定区間の特性に応じて、画像の特徴区間を判定するための判定基準を適応的に設定し、判定区間内における画像の動き量を判定基準と比較し、判定区間が画像の特徴区間であるかを判定する、特徴区間判定方法が提供される。

かかる方法によれば、画像の特徴区間を判定するために、判定区間が設定され、判定区間の特性に応じて判定基準が適応的に設定される。そして、判定区間内における画像の動き量が判定基準と比較され、判定区間が画像の特徴区間であるかが判定される。これにより、判定区間の特性に応じて判定基準を適応的に設定し、動き量と比較して判定区間が特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

また、本発明の第３の観点によれば、第２の観点による特徴区間判定方法をコンピュータに実行させるためのプログラムが提供される。

以上説明したように本発明によれば、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定可能な、特徴区間判定装置、特徴区間判定方法、およびプログラムを提供することができる。

本発明の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。 本発明の実施形態に係る特徴区間判定装置の機能構成例を示すブロック図である。 第１の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。 動きベクトル判定処理の処理方法を示す図である。 動きベクトル判定処理の処理方法を示す図である。 動きベクトル判定処理の処理方法を示す図である。 動きベクトル判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。 特徴区間補正処理の処理方法を示す図である。 特徴区間補正処理の処理方法を示す図である。 第２の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。 第２の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第２の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第２の実施形態に係る特徴区間判定処理の処理方法を示す図である。 第２の実施形態に係る特徴区間判定処理の処理方法を示す図である。 従来技術に係る特徴区間判定方法を示す図である。 従来技術に係る特徴区間判定方法を示す図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［１．従来技術の課題］
まず、図１４Ａ、１４Ｂを参照しながら、本発明の前提となる従来技術の課題について説明する。図１４Ａ、１４Ｂは、従来技術に係る特徴区間判定方法を示す図である。図１４Ａ、１４Ｂには、緩慢なパン動作および急激なパン動作に基づく特徴区間を判定する場合が示されている。

図１４Ａに示すように、一定のパン動作が動作区間Ｌ１で緩慢に生ずると、動作区間Ｌ１内における画像の動き量ａｐが小さく算定される。また、動作区間Ｌ１の前後では、パン動作が緩慢であるため、パン動作に伴って小さな動き量ａｐのノイズ成分が算定される（緩慢な動作では、慎重なカメラ操作が行われることが想定される。）。このため、特徴区間を判定するための閾値Ｔａｐが動き量ａｐより大きく設定されていると、動作区間Ｌ１が特徴区間として判定されなくなってしまう。

一方、図１４Ｂに示すように、一定のパン動作が動作区間Ｌ２で急速に生ずると、動作区間Ｌ２内における画像の動き量ａｐが大きく算定される。また、動作区間Ｌ２の前後では、パン動作が急速であるため、パン動作に伴って比較的大きな動き量ａｐのノイズ成分が算定される。このため、特徴区間を判定するための閾値Ｔａｐがノイズ成分より小さく設定されていると、動作区間Ｌ２の代わりに、動作区間の前後を含む動作区間Ｌ２´が特徴区間として判定されてしまう。

［２．特徴区間判定方法の概要］
次に、図１を参照しながら、本発明の実施形態に係る特徴区間判定方法の概要について説明する。図１は、本発明の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。

図１に示すように、特徴区間判定方法では、画像における所定の分割領域の時系列データから画像の動き量ａを算定し（ステップＳ１１）、画像の時系列データから画像の特徴区間を判定するための判定区間Ｌａを設定し（Ｓ１３）、判定区間Ｌａの特性に応じて、画像の特徴区間を判定するための判定基準Ｔａを適応的に設定する（Ｓ１５）。そして、判定区間Ｌａ内における画像の動き量ａを判定基準Ｔａと比較し、判定区間Ｌａが画像の特徴区間であるかを判定する（Ｓ１７）。これにより、判定区間Ｌａの特性に応じて判定基準Ｔａを適応的に設定し、画像の動き量ａと比較して判定区間Ｌａが特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

＜第１の実施形態＞
［３−１．特徴区間判定装置の機能構成］
図２を参照しながら、本発明の実施形態に係る特徴区間判定装置の主要な機能構成について説明する。図２は、本発明の実施形態に係る特徴区間判定装置の機能構成例を示すブロック図である。

特徴区間判定装置は、記録画像（映像）のダイジェスト再生機能や編集処理機能等を有する、ビデオレコーダ１００、ビデオカメラ、テレビジョン受像機、パーソナルコンピュータ、携帯電話機等である。以下では、放送コンテンツのダイジェスト再生機能を有するビデオレコーダ１００を想定して、特徴区間判定装置の主要な機能構成について説明する。

図２に示すように、ビデオレコーダ１００は、チューナ部１０１、データ生成部１０３、特徴量抽出部１０５、動きベクトル検出部１０７、動きベクトル判定部１０９、動き量算定部１１１、判定区間設定部１１３、判定基準設定部１１５、特徴区間判定部１１７、特徴区間補正部１１９、データ記録部１２１、データ再生部１２３、出力部１２５、操作Ｉ／Ｆ部１２７、制御部１２９を含んで構成される。また、ビデオレコーダ１００は、特徴量情報保持部１３１、動きベクトル情報保持部１３３、動き量情報保持部１３５、特徴区間情報保持部１３７を含んで構成される。

チューナ部１０１は、アンテナ１３９等を通じて、所定の放送チャンネル上で放送されているコンテンツの画像・音声信号を選択的に受信し、所定の信号処理を施した上で、データ生成部１０３に供給する。

データ生成部１０３は、チューナ部１０１から供給される画像・音声信号に所定の変換処理を施し、フレーム単位の画像・音声データを生成する。なお、以下では、フレーム単位の画像データおよび音声データを、単に画像データおよび音声データとも称する。データ生成部１０３は、時間的に連続する第１、第２、…の画像データを、画像データを識別可能な画像データＩＤとともに、特徴量抽出部１０５およびデータ記録部１２１に供給する。また、データ生成部１０３は、時間的に連続する第１、第２、…の音声データを、音声データを識別可能な音声データＩＤとともに、データ記録部１２１に供給する。

特徴量抽出部１０５は、画像データを複数の分割領域に区分し、各分割領域の特徴量を抽出する。特徴量抽出部１０５は、連続する画像データについて、画像データが表す輝度、色差、テクスチャ等から各分割領域の特徴量を抽出し、画像データＩＤおよび分割領域ＩＤと併せて、特徴量情報として特徴量情報保持部１３１に供給する。

動きベクトル検出部１０７は、各分割領域の特徴量に基づいて、例えば各分割領域のマッチング処理を行うことで、各分割領域の動きベクトルｖを検出する。動きベクトル検出部１０７は、連続する画像データの間において、各分割領域の特徴量情報を特徴量情報保持部１３１から読み出し、分割領域のマッチング処理を行う。そして、動きベクトル検出部１０７は、マッチング処理結果に基づいて、各分割領域の動きベクトルｖを検出し、画像データＩＤおよび分割領域ＩＤと併せて、動きベクトル情報として動きベクトル情報保持部１３３に供給する。

動きベクトル検出部１０７は、例えば第１の画像データの各分割領域上に基準点を求め、マッチング処理により第２の画像データの各分割領域上において当該基準点を特定する。動きベクトル検出部１０７は、各分割領域の基準点の位置変化から、第１の画像データと第２の画像データとの間において、各分割領域の動きベクトルｖを検出する。

動きベクトル判定部１０９は、連続する画像データについて、画像上に設定される直交座標系上における動きベクトルｖの位置とベクトル成分の向きとの間における所定の関係を判定する。なお、動きベクトル判定処理の詳細については、後述する。

動き量算定部１１１は、動きベクトル判定部１０９による判定結果に基づいて、所定の関係を満たす１以上の動きベクトルｖから画像の動き量ａを算定する。ここで、画像の動き量ａは、連続する画像データ間における画像の大局的な動きを表している。動き量算定部１１１は、連続する画像データについて、動き量ａを算定し、画像データＩＤと併せて、動き量ａの時系列データとして動き量情報保持部１３５に供給する。動き量算定部１１１は、例えば第１の画像データと第２の画像データとの間において、１以上の分割領域の動きベクトルｖに、例えば重回帰分析等の統計処理を施して動き量ａを算定する。なお、動き量ａの算定時には、ズーム動作に基づく動き量ａ等を適切に検出するために、画像データ上における各分割領域の位置も考慮される。

画像の動き量ａは、例えば式１に示すようなアフィンモデルを用いて、パン動作、チルト動作、ズーム動作に基づくアフィン係数である、パン係数ａｐ、チルト係数ａｔ、ズーム係数ａｚとして算定される。ここで、θが十分に小さいと仮定すると、式１の最終式が得られる。なお、以下では、説明の便宜上、パン係数ａｐ、チルト係数ａｔ、ズーム係数ａｚとして算定される動き量ａを総括して画像の動き量ａとも称する。

判定区間設定部１１３は、画像の動き量ａが所定の基準Ｔｃを満たす区間を判定区間Ｌａとして設定する。判定区間設定部１１３は、動き量情報保持部１３５から動き量ａの時系列データを読出し、時系列データから動き量ａが基準Ｔｃを満たす区間Ｌを特定し、特定された区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａとして設定する。ここで、基準Ｔｃおよび基準区間長Ｌｃは、予め実験等により設定される。

判定基準設定部１１５は、判定区間Ｌａの区間長に応じて判定基準Ｔａを適応的に設定する。判定基準設定部１１５は、予め設定されている判定基準パラメータに基づいて、判定区間Ｌａの区間長に応じて判定基準Ｔａを適応的に設定する。ここで、判定基準設定部１１５は、判定区間Ｌａの区間長が相対的に長いほど、判定基準Ｔａを相対的に小さな絶対値の動き量ａとして設定する。

一般に、緩慢なカメラ動作の動作区間は、急速なカメラ動作の動作区間よりも長くなる傾向にある。そして、緩慢なカメラ動作による画像の動き量ａは、急速なカメラ動作による画像の動き量ａよりも小さくなる傾向にある。また、急速なカメラ動作の動作区間の前後では、比較的大きな動き量ａのノイズ成分が算定され易くなる。このため、判定基準Ｔａは、動作区間が相対的に長くなる緩慢なカメラ動作時に、相対的に小さな絶対値の動き量ａとして設定され、動作区間が相対的に短くなる急速なカメラ動作時に、相対的に大きな絶対値の動き量ａとして設定される。

特徴区間判定部１１７は、判定区間Ｌａ内における画像の動き量ａの特性値Ｐａを判定基準Ｔａと比較し、特性値Ｐａが判定基準Ｔａを満たす場合に、判定区間Ｌａを画像の特徴区間であると判定する。特徴区間判定部１１７は、動き量情報保持部１３５から動き量ａの時系列データを読出し、判定区間Ｌａ内の動き量ａに、例えば算術平均等の統計処理を施して動き量ａの特性値Ｐａを算定し、判定基準Ｔａと比較する。特徴区間判定部１１７は、特性値Ｐａが判定基準Ｔａを満たす場合に、判定区間Ｌａを特徴区間であると判定する。特徴区間判定部１１７は、判定区間Ｌａを特徴区間であると判定すると、特徴区間に含まれる１以上の画像データを特定可能な画像データＩＤを、特徴区間情報として特徴区間情報保持部１３７に供給する。

特徴区間補正部１１９は、特徴区間判定部１１７により判定された画像の特徴区間を必要に応じて補正する。特徴区間補正部１１９は、動き量ａの時系列データのうちパン係数ａｐの特徴区間とチルト係数ａｔの特徴区間が時間的に重複する重複区間について、パン係数ａｐまたはチルト係数ａｔの特徴区間のいずれかを補正する。なお、特徴区間補正処理の詳細については、後述する。

データ記録部１２１は、データ生成部１０３から供給される画像・音声データを画像・音声データＩＤに関連付けて記録する。

データ再生部１２３は、操作Ｉ／Ｆ部１２７を通じて入力される操作情報に応じて、コンテンツの画像・音声データを再生処理する。データ再生部１２３は、特に、特徴区間の画像・音声データをコンテンツのダイジェストとして再生処理する。データ再生部１２３は、特徴区間情報保持部１３７から特徴区間情報を読出し、特徴区間に対応する画像・音声データをデータ記録部１２１から読み出して再生処理し、再生処理結果を出力部１２５に供給する。

出力部１２５は、コンテンツの画像・音声データに対応する画像・音声情報を画像（映像）表示装置、音声出力装置等に出力する。出力部１２５は、特に、ダイジェスト再生される特徴区間の画像・音声データに対応する画像・音声情報を画像（映像）表示装置、音声出力装置等に出力する。

操作Ｉ／Ｆ部１２７は、放送チャンネルの選局処理、コンテンツの記録・再生処理等に関する操作情報をユーザから取得する。操作Ｉ／Ｆ部１２７は、ビデオレコーダ１００本体に設けられた操作ボタン・操作キー等でもよく、不図示のコントローラから操作信号を受信する操作信号受信部でもよい。また、操作Ｉ／Ｆ部１２７は、ビデオレコーダ１００の動作状態等を出力するインジケータを含んでもよい。

制御部１２９は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含み、ビデオレコーダ１００の動作に必要な処理および各構成要素の制御を行う。ＣＰＵは、特徴区間判定処理等を実行するためのプログラムをＲＯＭから読出し、ＲＡＭ上に展開して実行する。ＲＡＭは、判定基準パラメータ等、特徴区間判定処理プログラム等の実行に必要なパラメータを保持する。また、ＲＡＭは、特徴量情報保持部１３１、動きベクトル情報保持部１３３、動き量情報保持部１３５、特徴区間情報保持部１３７のうち少なくともいずれかとして機能してもよい。

なお、ビデオレコーダ１００の各構成要素は、汎用的な部材・回路により構成されてもよく、各構成要素の機能に特化したハードウェアにより構成されてもよい。また、各構成要素の機能のうち少なくとも一部は、ＣＰＵ上で実行されるプログラムにより実現されてもよい。

［３−２．特徴区間判定方法］
次に、図３〜図８を参照しながら、本発明の第１の実施形態に係る特徴区間判定方法について説明する。図３は、第１の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。図４Ａ、４Ｂおよび図５は、動きベクトル判定処理の処理方法を示す図である。図６、図７Ａ、７Ｂ、図８Ａ〜８Ｄは、第１の実施形態に係る特徴区間判定処理の処理方法を示す図である。図９および図１０は、特徴区間補正処理の処理方法を示す図である。

図３に示すように、データ生成部１０３は、チューナ部１０１から供給される画像・音声信号から画像・音声データを生成する（ステップＳ１０１）。データ生成部１０３は、連続する画像データを、画像データＩＤとともに特徴量抽出部１０５およびデータ記録部１２１に供給し、連続する音声データを、音声データＩＤとともにデータ記録部１２１に供給する。また、データ記録部１２１は、画像・音声データを画像・音声データＩＤとともに記録する。

特徴量抽出部１０５は、連続する画像データについて、画像データを複数の分割領域に区分し、各分割領域の特徴量を抽出する（Ｓ１０３）。特徴量抽出部１０５は、各分割領域の特徴量を、画像データＩＤおよび分割領域ＩＤと併せて、特徴量情報として特徴量情報保持部１３１に供給する。

動きベクトル検出部１０７は、連続する画像データの間において、分割領域の特徴量に基づいて、各分割領域の動きベクトルｖを検出する（Ｓ１０５）。動きベクトル検出部１０７は、各分割領域の動きベクトルｖを、画像データＩＤおよび分割領域ＩＤと併せて、動きベクトル情報保持部１３３に供給する。

（動きベクトル判定処理）
動きベクトル判定部１０９は、連続する画像データについて、各分割領域の動きベクトルｖについて、画像上に設定される直交座標系上の位置とベクトル成分の向きとの間における所定の関係を判定する（Ｓ１０７）。

図４Ａ、４Ｂには、直交座標系上における動きベクトルｖの位置と動きベクトルｖのＸ成分およびＹ成分の向きとの間における所定の関係が示されている。ここで、直交座標系には、右方向を正として左右方向にＸ軸が設定され、上方向を正として上下方向にＹ軸が設定される。直交座標系上において、Ｘ座標およびＹ座標が正となる領域を第１象限、Ｘ座標が負でＹ座標が正となる領域を第２象限、Ｘ座標およびＹ座標が負となる領域を第３象限、Ｘ座標が正でＹ座標が負となる領域を第４象限として設定する。画像データの各分割領域は、画像上に設定される直交座標系上の位置に応じて、第１〜第４象限のいずれかに区分されるものとする。

図４Ａに示すように、左パン動作の場合、画像が右方向に移動されるので、動きベクトルｖのＸ成分ｖｘは、第１〜第４象限のいずれでも右向きとなる。同様に、右パン動作の場合、画像が左方向に移動されるので、動きベクトルｖのＸ成分ｖｘは、第１〜第４象限のいずれでも左向きとなる。次に、ズームイン動作の場合、画像の中心を基準として放射状に画像が伸張されるので、動きベクトルｖのＸ成分ｖｘは、第１および第４象限で右向きとなり、第２および第３象限で左向きとなる。同様に、ズームアウト動作の場合、画像の中心方向に画像が収縮されるので、動きベクトルｖのＸ成分ｖｘは、第１および第４象限で左向きとなり、第２および第３象限で右向きとなる。

図４Ｂに示すように、下チルト動作の場合、画像が上方向に移動されるので、動きベクトルｖのＹ成分ｖｙは、第１〜第４象限のいずれでも上向きとなる。同様に、上チルト動作の場合、画像が下方向に移動されるので、動きベクトルｖのＹ成分ｖｙは、第１〜第４象限のいずれでも下向きとなる。次に、ズームイン動作の場合、画像の中心を基準として放射状に画像が伸張されるので、動きベクトルｖのＹ成分ｖｙは、第１および第２象限で上向きとなり、第３および第４象限で下向きとなる。同様に、ズームアウト動作の場合、画像の中心方向に画像が収縮されるので、動きベクトルｖのＹ成分ｖｙは、第１および第２象限で下向きとなり、第３および第４象限で上向きとなる。

よって、各分割領域の動きベクトルｖには、以下のような所定の関係が存在する。
・第１象限と第４象限または第２象限と第３象限では、動きベクトルｖのＸ成分ｖｘの向きが同一である。
・第１象限と第２象限または第３象限と第４象限では、動きベクトルｖのＹ成分ｖｙの向きが同一である。

図５Ａ、５Ｂには、動きベクトルｖの判定結果が示されている。図５Ａ、５Ｂでは、画像データが分割領域（ｉ、ｊ）（ｉ＝１〜８、ｊ＝１〜８）に区分されている。

図５Ａに示すように、左パン動作の場合に、分割領域（１、１）〜（８、８）の動きベクトルｖは、例外的な分割領域（３、６）〜（６、６）、（３、７）〜（６、７）の動きベクトルｖ´を除いて、右方向のベクトルとして検出されている。ここで、第１および第４象限または第２および第３象限の分割領域の動きベクトルｖには、Ｘ成分の向きが同一になるという関係が存在するはずである。そして、例外的な分割領域を除く分割領域では、これらの関係が満たされている。このため、動きベクトル判定部１０９は、例外的な分割領域の動きベクトルｖ´が画像の大局的な動きと一致していないと判定する。

ここで、各画像データにおいて、画像データに含まれる各分割領域で検出された動きベクトルｖをベクトルの方向別に集計し、最も多くの分割領域で検出された動きベクトルｖを画像の大局的な動きと一致するベクトルと判断するとよい。

同様に、図５Ｂに示すように、下チルト動作の場合に、分割領域（１、１）〜（８、８）の動きベクトルｖは、例外的な分割領域（３、６）〜（６、６）、（３、７）〜（６、７）の動きベクトルｖ´を除いて、上方向のベクトルとして検出されている。ここで、第１および第２象限または第３および第４象限の分割領域の動きベクトルｖには、Ｘ成分の向きが同一になるという関係が存在するはずである。そして、例外的な分割領域を除く分割領域では、これらの関係が満たされている。このため、動きベクトル判定部１０９は、例外的な分割領域の動きベクトルｖ´が画像の大局的な動きと一致していないと判定する。

例えば、画像データ中に、画像の移動方向と異なる方向へ移動中の物体が捉えられている場合等には、各分割領域の動きベクトルｖが所定の関係を満たさなくなってしまう。このため、各分割領域の動きベクトルｖが所定の関係を満たすかを判定し、所定の関係を満たす１以上の分割領域の動きベクトルｖに、統計処理を施して動き量ａを算定することで、画像の大局的な動きを表す動き量ａの算定精度を向上させることができる。

動き量算定部１１１は、連続する画像データ間において、所定の関係を満たす１以上の動きベクトルｖから画像の動き量ａを算定する（Ｓ１０９）。動き量ａは、パン、チルト、ズームのカメラ動作に基づく動き量ａを表すパン係数ａｐ、チルト係数ａｔ、ズーム係数ａｚのうち少なくとも１つとして算定される。なお、以下では、説明の便宜上、動き量ａがパン係数ａｐおよびチルト係数ａｔとして算定される場合を想定する。動き量算定部１１１は、パン係数ａｐ、チルト係数ａｔとして算定される動き量ａを、画像データＩＤと併せて、動き量ａの時系列データとして動き量情報保持部１３５に供給する。

（特徴区間判定処理）
判定区間設定部１１３は、画像の動き量ａが所定の基準Ｔｃを満たす区間を判定区間Ｌａとして設定する（Ｓ１１１）。判定区間設定部１１３は、動き量ａの時系列データから動き量ａが所定の基準Ｔｃを満たす区間Ｌを特定する。第１の判定基準となる所定の基準Ｔｃは、パン係数ａｐおよびチルト係数ａｔの基準ＴｃｐおよびＴｃｔとして設定される。判定区間設定部１１３は、パン係数ａｐの区間Ｌｐ、およびチルト係数ａｔの区間Ｌｔを特定する。判定区間設定部１１３は、特定された区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、区間Ｌを判定区間Ｌａとして設定する。所定の基準区間長Ｌｃは、パン係数ａｐおよびチルト係数ａｔの基準ＬｃｐおよびＬｃｔとして設定される。判定区間設定部１１３は、基準区間長Ｌｃｐ、Ｌｃｔに基づいて、区間Ｌｐ、Ｌｔを判定区間Ｌａｐ、Ｌａｔとして設定する。

判定基準設定部１１５は、判定区間Ｌａの区間長に応じて判定基準Ｔａを適応的に設定する（Ｓ１１３）。判定基準設定部１１５は、判定区間Ｌａｐ、Ｌａｔの区間長に応じた判定基準Ｔａｐ、Ｔａｔを設定する。

特徴区間判定部１１７は、判定区間Ｌａ内における画像の動き量ａの特性値Ｐａを判定基準Ｔａと比較し（Ｓ１１５）、特性値Ｐａが判定基準Ｔａを満たす場合に、判定区間Ｌａを画像の特徴区間であると判定する（Ｓ１１７〜Ｓ１２１）。特徴区間判定部１１７は、例えば判定区間Ｌａ内における動き量ａの算術平均値等として、特性値Ｐａを算定する。特徴区間判定部１１７は、判定区間Ｌａｐにおけるパン係数ａｐの特性値Ｐａｐ、および判定区間Ｌａｔにおけるチルト係数ａｔの特性値Ｐａｔを算定する。特徴区間判定部１１７は、特性値Ｐａｐ、Ｐａｔを判定基準Ｔａｐ、Ｔａｔと比較し、比較結果に応じて、判定区間Ｌａｐ、Ｌａｔを特徴区間であると判定する。特徴区間判定部１１７は、判定区間Ｌａを特徴区間であると判定すると、特徴区間情報として特徴区間情報保持部１３７に供給する。特徴区間判定部１１７は、判定結果に応じて、判定区間Ｌａｐ、Ｌａｔを、パン係数ａｐ、チルト係数ａｔの特徴区間情報として供給する。

図６〜図８には、第１の実施形態に係る特徴区間判定処理の処理方法が示されている。なお、図６〜図８では、パン係数ａｐの特徴区間を判定する場合を示すが、チルト係数ａｔまたはズーム係数ａｚ（ａｚｘまたはａｚｙ）の特徴区間を判定する場合についても同様に説明することができる。

図６には、判定区間Ｌａの区間長に応じて設定される第２の判定基準となる判定基準Ｔａの一例として、パン係数ａｐの判定基準Ｔａｐが示されている。判定基準Ｔａｐは、判定区間Ｌａｐの関数として表される。なお、関数グラフの特性を表すパラメータは、判定基準パラメータとして、パン係数ａｐおよびチルト係数ａｔ毎に設定される。また、図６には、判定基準Ｔａｐが一次関数として表されているが、高次関数として表されてもよい。

図６に示すように、判定基準Ｔａｐは、緩慢なパン動作時、つまり、判定区間Ｌａｐが相対的に長くなる場合に、相対的に小さな絶対値のパン係数ａｐとして設定され、急速なパン動作時、つまり、判定区間Ｌａｐが相対的に短くなる場合に、相対的に大きな絶対値のパン係数ａｐとして設定される。よって、緩慢なパン動作時には、相対的に小さなパン係数ａｐが検出された場合にも特徴区間として判定され、急速なパン動作時には、相対的に大きなパン係数ａｐが検出されない場合には特徴区間として判定されない。

なお、チルト係数ａｔおよびズーム係数ａｚ（ａｚｘ、ａｚｙ）の判定基準Ｔａｔ、Ｔａｚ（Ｔａｚｘ、Ｔａｚｙ）も、パン係数ａｐの判定基準Ｔａｐと同様に、判定区間Ｌａｔ、Ｌａｚ（Ｌａｚｘ、Ｌａｚｙ）の区間長に応じて適応的に設定される。

以上のように、緩慢なカメラ動作時と急激なカメラ動作時では、第１の判定基準Ｔｃにより特定される判定区間Ｌａの区間長が異なるので、判定区間Ｌａの区間長に応じて、特徴区間を判定するための第２の判定基準Ｔａを適応的に設定することができる。よって、第１の判定基準Ｔｃにより特定された判定区間Ｌａの特性値Ｐａと、判定区間Ｌａの区間長に応じて設定される第２の判定基準Ｔａとを比較し、判定区間Ｌａの特性値Ｐａが判定基準Ｔａを満たす場合に、判定区間Ｌａを特徴区間であると判定する。これにより、第１の判定基準Ｔｃおよび第２の判定基準Ｔａを用いて、特徴区間を判定することで、特徴区間の判定精度を向上させることができる。

以下では、図７および図８を参照しながら、特徴区間判定処理の具体例について説明する。図７Ａ、７Ｂには、緩慢なパン動作時および急激なパン動作時における特徴区間判定処理の処理結果例が示されている。図７Ａに示すように、動作区間Ｌ１で緩慢なパン動作が生じると、動作区間Ｌ１内における画像のパン係数ａｐが算定される。動作区間Ｌ１の前後では、緩慢なパン動作に伴って小さなパン係数ａｐのノイズ成分が算定される。

判定区間設定部１１３は、パン係数ａｐの時系列データからパン係数ａｐが基準Ｔｃｐを満たす区間Ｌｐ１を特定する。ここで、所定の基準Ｔｃｐは、緩慢なパン動作に伴って算定されるパン係数ａｐのノイズ成分に相当する動き量ａとして予め設定されている。これにより、緩慢なパン動作に伴う小さなパン係数ａｐのノイズ成分が算定された区間が区間Ｌｐ（例えばＬｐ１）として特定されずにすむ。判定区間設定部１１３は、区間Ｌｐ１の区間長が所定の基準区間長Ｌｃｐより長い場合に、区間Ｌｐ１を判定区間Ｌａｐ１として設定する。ここで、基準区間長Ｌｃｐは、急激なパン動作の特徴区間よりも短い区間長として予め設定されている。これにより、基準Ｔｃｐを満たすが、瞬間的な大きなパン係数ａｐのノイズ成分等が算定された区間が判定区間Ｌａｐ（例えばＬａｐ１）として設定されずにすむ。

判定基準設定部１１５は、判定区間Ｌａｐ１の区間長に応じて判定基準Ｔａｐ１を適応的に設定する。判定基準Ｔａｐ１は、図６に示す判定区間Ｌａｐの関数として設定される。ここで、判定基準Ｔａｐ１は、緩慢なパン動作時、つまり、相対的に長い判定区間Ｌａｐ１に応じて、相対的に小さな絶対値のパン係数ａｐとして設定されている。

特徴区間判定部１１７は、判定区間Ｌａｐ１内におけるパン係数ａｐの算術平均値として、特性値Ｐａｐ１を算定し、特性値Ｐａｐ１を判定基準Ｔａｐ１と比較する。図７Ａに示す例では、特性値Ｐａｐ１が判定基準Ｔａｐ１を満たすので、特徴区間判定部１１７は、判定区間Ｌａｐ１をパン係数ａｐの特徴区間であると判定する。

図７Ｂに示すように、動作区間Ｌ２で急激なパン動作が生じると、動作区間Ｌ２内における画像のパン係数ａｐが算定される。動作区間Ｌ２の前後では、急激なパン動作に伴って比較的大きなパン係数ａｐのノイズ成分が算定される。

判定区間設定部１１３は、パン係数ａｐの時系列データからパン係数ａｐが基準Ｔｃｐを満たす区間Ｌｐ２を特定する。これにより、小さなパン係数ａｐのノイズ成分が算定された区間が区間Ｌｐ（例えばＬｐ２）として特定されずにすむ。判定区間設定部１１３は、区間Ｌｐ２の区間長が所定の基準区間長Ｌｃｐより長い場合に、区間Ｌｐ２を判定区間Ｌａｐ２として設定する。これにより、基準Ｔｃｐを満たすが、瞬間的な大きなパン係数ａｐのノイズ成分等が算定された区間が判定区間Ｌａｐ（例えばＬａｐ２）として設定されずにすむ。

判定基準設定部１１５は、判定区間Ｌａｐ２の区間長に応じて判定基準Ｔａｐ２を適応的に設定する。ここで、判定基準Ｔａｐ２は、急激なパン動作時、つまり、相対的に短い判定区間Ｌａｐ２に応じて、相対的に大きな絶対値のパン係数ａｐとして設定されている。

特徴区間判定部１１７は、判定区間Ｌａｐ２内におけるパン係数ａｐの算術平均値として、特性値Ｐａｐ２を算定し、特性値Ｐａｐ２を判定基準Ｔａｐ２と比較する。これにより、判定基準Ｔａｐ（例えばＴａｐ２）を満たすが、瞬間的な大きなパン係数ａｐのノイズ成分等が算定された判定区間Ｌａｐ（例えばＬａｐ２）が特徴区間であるとして判定されずにすむ。図７Ｂに示す例では、特性値Ｐａｐ２が判定基準Ｔａｐ２を満たすので、特徴区間判定部１１７は、判定区間Ｌａｐ２をパン係数ａｐの特徴区間であると判定する。

図８Ａ、８Ｂには、急激なパン動作時における特徴区間判定処理の変形例が示されている。図８Ａに示すように、動作区間Ｌ３で急激なパン動作が生じると、動作区間Ｌ３内における画像のパン係数ａｐが算定される。動作区間Ｌ３の前後では、急激なパン動作に伴ってかなり大きなパン係数ａｐのノイズ成分が算定される。ここで、動作区間Ｌ３およびその前後の区間を動作区間Ｌ３´と称する。

判定区間設定部１１３は、動作区間Ｌ３´が基準Ｔｃｐを満たすので、区間Ｌｐ３として特定する。判定区間設定部１１３は、区間Ｌｐ３の区間長が所定の基準区間長Ｌｃｐより長いので、区間Ｌｐ３を判定区間Ｌａｐ３として設定する。判定基準設定部１１５は、判定区間Ｌａｐ３の区間長に応じて判定基準Ｔａｐ３を適応的に設定する。ここで、判定基準Ｔａｐ３は、相対的に長い判定区間Ｌａｐ３に応じて、相対的に小さな絶対値のパン係数ａｐとして設定されてしまう。そして、図８Ａに示す例では、特性値Ｐａｐ３が判定基準Ｔａｐ３を満たすので、特徴区間判定部１１７は、判定区間Ｌａｐ３（＝動作区間Ｌ３´）をパン係数ａｐの特徴区間であると誤って判定してしまう。ここで、判定基準Ｔａｐ（例えばＴａｐ３）は、パン係数ａｐの特性値Ｐａ（例えばＰａｐ３）の下限値を判定するものであるが、上限値を判定することができないため、上記のような誤判定が生じてしまう。

よって、図８Ｂに示すように、パン係数ａｐの上限値を判定するために、判定基準Ｔａｐを下限値Ｔａｐｌおよび上限値Ｔａｐｕとして設定する。ここで、下限値Ｔａｐｌは、判定基準Ｔａｐのパン係数ａｐに相当し、上限値Ｔａｐｕは、下限値Ｔａｐｌよりも大きな絶対値のパン係数ａｐを与える判定区間Ｌａｐの関数として表される。そして、特徴区間判定部１１７は、パン係数ａｐの特性値Ｐａｐが判定基準Ｔａｐを満たす場合（特性値Ｐａｐが下限値Ｔａｐｌと上限値Ｔａｐｕとの間にある場合）に、判定区間Ｌａｐを特徴区間であると判定する。

判定基準設定部１１５は、判定区間Ｌａｐ３の区間長に応じて判定基準Ｔａｐ３を適応的に設定する。ここで、判定基準Ｔａｐ３の下限値Ｔａｐｌ３および上限値Ｔａｐｕ３は、相対的に長い判定区間Ｌａｐ３に応じて、相対的に小さな絶対値のパン係数ａｐとして設定される。

図８Ｃに示す例では、パン係数ａｐの区間平均値である特性値Ｐａｐ３が下限値Ｔａｐｌ３を満たすが、上限値Ｔａｐｕ３を満たさないので、特徴区間判定部１１７は、判定区間Ｌａｐ３（＝動作区間Ｌ３´）をパン係数ａｐの特徴区間ではないと判定する。これにより、パン係数ａｐの特性値Ｐａｐ（例えばＰａｐ３）を下限値Ｔａｐｌおよび上限値Ｔａｐｕ（例えばＴａｐｕ３、Ｔａｐｌ３）からなる判定基準Ｔａｐ（例えばＴａｐ３）により判定することで、誤判定を防止することができる。

さらに、図８Ｄに示すように、動作区間Ｌ３を特徴区間として適切に判定することができる。判定区間設定部１１３は、基準Ｔｃｐの絶対値を所定の量ΔＴｃｐで増加させ、Ｔｃｐ＋ΔＴｃｐを基準Ｔｃｐ´として再設定する。判定区間設定部１１３は、判定区間Ｌａｐ３内において、基準Ｔｃｐ´を満たす区間Ｌｐ３´を特定し、区間Ｌｐ３よりも短い区間長を有する区間Ｌｐ３´を判定区間Ｌａｐ３´として再設定する。判定基準設定部１１５は、図８Ｂに示すように、判定区間Ｌａｐ３´の区間長に応じて、判定基準Ｔａｐ３´を適応的に再設定する。そして、図８Ｄに示す例では、判定区間Ｌａｐ３´の特性値Ｐａｐ３´が判定基準Ｔａｐ３´の上限値Ｔａｐｕ３´を満たさないので、特徴区間判定部１１７は、判定区間Ｌａｐ３´をパン係数ａｐの特徴区間ではないと判定する。

このため、判定区間設定部１１３は、基準Ｔｃｐ´の絶対値を所定の量ΔＴｃｐでさらに増加させ、Ｔｃｐ´＋ΔＴｃｐを基準Ｔｃｐ´´として再設定する。判定区間設定部１１３は、判定区間Ｌａｐ３´内において、基準Ｔｃｐ´´を満たす区間Ｌｐ３´´を特定し、区間Ｌｐ３´よりも短い区間長を有する区間Ｌｐ３´´を判定区間Ｌａｐ３´´として再設定する。ここで、区間Ｌｐ３´´は、急速なパン動作の動作区間Ｌ３に相当する。判定基準設定部１１５は、判定区間Ｌａｐ３´´の区間長に応じて、判定基準Ｔａｐ３´´を適応的に設定する。そして、図８Ｄに示す例では、判定区間Ｌａｐ３´の特性値Ｐａｐ３´´が判定基準Ｔａｐ３´´を満たすので、特徴区間判定部１１７は、判定区間Ｌａｐ３´´をパン係数ａｐの特徴区間であると判定する。これにより、判定区間Ｌａｐ内において判定区間Ｌａｐを短く再設定し、再設定された判定区間Ｌａｐの区間長に応じて判定基準Ｔａｐを適応的に再設定して、判定区間Ｌａｐが特徴区間であるかを判定することで、特徴区間を適切に判定することができる。

以上、特徴区間判定処理の変形例として、図８Ｂに示す判定基準Ｔａｐを用いて、急激なカメラ動作時における特徴区間を判定する場合について説明した。しかし、図８Ｂに示す判定基準Ｔａｐは、以下で説明するように、緩慢なカメラ動作時における特徴区間を判定する場合にも適用することができる。図８Ｂに示す判定基準Ｔａｐは、緩慢なカメラ動作時における特徴区間を判定する場合に、例えば、検出区間内で検出されるノイズの多寡に応じて、上限値Ｔａｐｕおよび下限値Ｔａｐｌを切替えて判定基準Ｔａｐを設定する場合にも適用することができる。

前述した特徴区間判定処理では、例えば、緩慢なカメラ動作時に判定基準Ｔａｐが小さく設定されるので、ノイズが少ない状態では特徴区間を適切に判定できるが、ノイズが多い状態ではノイズ区間を特徴区間として誤判定してしまう場合がある。このため、例えばパン係数ａｐ等の動き量ａの変動に応じて、上限値Ｔａｐｕおよび下限値Ｔａｐｌを切替えて判定基準Ｔａｐを適応的に設定してもよい。検出区間内に検出される動き量ａの分散値が所定の閾値を超える場合に、ノイズが多い状態であると判定し、図８Ｂに示す上限値Ｔａｐｕに基づいて判定基準Ｔａｐを設定する。一方、動き量ａの分散値が所定の閾値未満である場合に、ノイズが少ない状態であると判定し、図８Ｂに示す下限値Ｔａｐｌに基づいて判定基準Ｔａｐを設定する。これにより、例えば、緩慢なカメラ動作時にノイズが多い状態でも、特徴区間の誤判定を抑制することができる。

（特徴区間補正処理）
特徴区間補正部１１９は、特徴区間判定部１１７により判定された画像の特徴区間を必要に応じて補正する。特徴区間補正部１１９は、パン係数ａｐの時系列データのうちパン係数ａｐの特徴区間とチルト係数ａｔの特徴区間が時間的に重複する重複区間について、パン係数ａｐまたはチルト係数ａｔの特徴区間のいずれかを補正する（Ｓ１２３、Ｓ１２５）。

特徴区間補正部１１９は、特徴区間情報を特徴区間情報保持部１３７から読出す。特徴区間補正部１１９は、パン係数ａｐおよびチルト係数ａｔの特徴区間情報に基づいて、パン係数ａｐの特徴区間とチルト係数ａｔの特徴区間が重複する重複区間を特定する。

特徴区間補正部１１９は、重複区間に含まれるパン係数ａｐおよびチルト係数ａｔの時系列データを動き量情報保持部１３５から読み出す。特徴区間補正部１１９は、重複区間内のパン係数ａｐに、例えば算術平均等の統計処理を施し、パン係数ａｐの特性値Ｇａｐを算定し、重複区間内のチルト係数ａｔに、例えば算術平均等の統計処理を施し、チルト係数ａｔの特性値Ｇａｔを算定する。特徴区間補正部１１９は、重複区間におけるパン係数ａｐおよびチルト係数ａｔの特性値Ｇａｐ、Ｇａｔを、式２によりベクトル合成した特性値Ｇのベクトル角θを算定する。

特徴区間補正部１１９は、特性値Ｇのベクトル角θを所定の判定基準と比較し、パン係数ａｐまたはチルト係数ａｔの特徴区間のいずれかを補正する。特徴区間補正部１１９は、重複区間をパン係数ａｐまたはチルト係数ａｔの特徴区間と判定した場合に、チルト係数ａｔまたはパン係数ａｐの特徴区間に含まれる重複区間をチルト係数ａｔまたはパン係数ａｐの特徴区間から除く補正をする。特徴区間補正部１１９は、補正結果に基づいて、特徴区間情報を補正し、特徴区間情報保持部１３７に供給する。

図９および図１０には、特徴区間補正処理の処理方法が示されている。図９には、特性値Ｇのベクトル角θの判定基準の一例が示されている。図９に示す判定基準は、例えば、−６０°＜θ≦＋６０°、＋１２０°＜θ≦＋１８０°、−１８０°＜θ≦−１２０°となる重複区間をパン係数ａｐの特徴区間と設定し、＋６０°＜θ≦＋１２０°、−１２０°＜θ≦−６０°となる重複区間をチルト係数ａｔの特徴区間と設定している。

ここで、図９に示す判定基準は、一般的なカメラ操作では、パン操作の頻度がチルト操作の頻度よりも高く、また、カメラが正確にパン操作されずに無意識のうちにチルト操作される可能性が高いと考えて設定されている。なお、判定基準は、例えば、−４５°＜θ≦＋４５°、＋１３５°＜θ≦＋１８０°、−１８０°＜θ≦−１３５°となる重複区間をパン係数ａｐの特徴区間と設定し、＋４５°＜θ≦＋１３５°、−１３５°＜θ≦−４５°となる重複区間をチルト係数ａｔの特徴区間と設定してもよい。

図１０に示す例では、判定区間Ｌａｐ１、Ｌａｐ２がパン係数ａｐの特徴区間として判定され、判定区間Ｌａｔ１、Ｌａｔ２がチルト係数ａｔの特徴区間として判定されている。判定区間Ｌａｐ１では、パン係数ａｐの特性値Ｇｐ１として表される右パン動作が生じており、判定区間Ｌａｐ２では、パン係数ａｐの特性値Ｇｐ２として表される左パン動作が生じている。また、判定区間Ｌａｔ１では、チルト係数ａｔの特性値Ｇｔ１として表される上チルト動作が生じており、判定区間Ｌａｔ２では、チルト係数ａｔの特性値Ｇｔ２として表される下チルト動作が生じている。そして、判定区間Ｌａｐ１と判定区間Ｌａｔ１には、部分的な重複区間Ｌａｐ１´、Ｌａｔ１´が存在する。また、判定区間Ｌａｐ２と判定区間Ｌａｔ２にも、部分的な重複区間Ｌａｐ２´、Ｌａｔ２´が存在する。

図１０には、パン係数ａｐの特性値Ｇｐおよびチルト係数ａｔの特性値Ｇｔをベクトル合成した特性値Ｇのベクトル角θが示されている。重複区間Ｌａｐ１´を除く判定区間Ｌａｐ１では、右パン動作が生じているので、θａｐ１＝±０°として右パン動作が表されている。重複区間Ｌａｔ１´を除く判定区間Ｌａｔ１では、上チルト動作が生じているので、θａｔ１＝＋９０°として上チルト動作が表されている。

重複区間Ｌａ１´（＝Ｌａｐ１´、Ｌａｔ１´）では、右パン動作および上チルト動作が同時に生じており、パン係数ａｐの特性値Ｇｐ１の絶対値がチルト係数ａｔの特性値Ｇｔ１の絶対値よりも大きいので、特性値Ｇ１のベクトル角θａ１´＝＋２０°として右パン動作および上チルト動作が表されている。特徴区間補正部１１９は、−６０°＜θａ１´＝＋２０°≦＋６０°であるので、重複区間Ｌａ１´をパン係数ａｐの特徴区間と判定する。そして、特徴区間補正部１１９は、チルト係数ａｔの特徴区間であると判定された判定区間Ｌａｔ１から重複区間Ｌａｔ１´を除く補正をする。

また、重複区間Ｌａｐ２´を除く判定区間Ｌａｐ２では、左パン動作が生じているので、θａｐ２＝±１８０°として左パン動作が表されている。重複区間Ｌａｔ２´を除く判定区間Ｌａｔ２では、下チルト動作が生じているので、θａｔ２＝−９０°として下チルト動作が表されている。

重複区間Ｌａ２´（＝Ｌａｐ２´、Ｌａｔ２´）では、左パン動作および下チルト動作が同時に生じており、パン係数ａｐの特性値Ｇｐ２の絶対値がチルト係数ａｔの特性値Ｇｔ２の絶対値よりも小さいので、特性値Ｇ２のベクトル角θａ２´＝−７０°として左パン動作および下チルト動作が表されている。特徴区間補正部１１９は、−１２０°＜θａ２´＝−７０°≦−６０°であるので、重複区間Ｌａ２´をチルト係数ａｔの特徴区間と判定する。そして、特徴区間補正部１１９は、パン係数ａｐの特徴区間であると判定された判定区間Ｌａｐ２から重複区間Ｌａｐ２´を除く補正をする。

これにより、パン動作およびチルト動作の特徴区間として判定された重複区間について、動き量ａの特性値Ｇｐ、Ｇｔに基づいて特徴区間が補正される。よって、動き量ａの絶対値と併せて動き量ａの角度を用いて、判定区間Ｌａｐ、Ｌａｔが特徴区間であるかを判定するので、各カメラ動作の特徴区間の判定精度を向上させることができる。

なお、上記説明では、特徴区間補正処理を特徴区間判定処理後に行う場合について説明したが、特徴区間補正処理を特徴区間判定処理時に併せて行うようにしてもよい。

データ再生部１２３は、特徴区間判定処理および特徴区間補正処理の完了後に操作Ｉ／Ｆ部１２７を通じて入力される操作情報に応じて、特徴区間の画像・音声データをコンテンツのダイジェストとして再生する。データ再生部１２３は、特徴区間情報保持部１３７から特徴区間情報を読出し、特徴区間に対応する画像・音声データをデータ記録部１２１から読み出して再生処理し、再生処理結果を出力部１２５に供給する。データ再生部１２３は、パン係数ａｐ、チルト係数ａｔの特徴区間に対応する画像・音声データを再生処理してもよく、操作情報または設定情報に応じて選択される特定の特徴区間に対応する画像・音声データを再生処理してもよい。

以上説明したように、本発明の第１の実施形態に係る特徴区間判定方法によれば、画像の動き量ａが所定の基準Ｔｃを満たす判定区間Ｌａの区間長に応じて、判定基準Ｔａを適応的に設定し、判定区間Ｌａ内における動き量ａの特性値Ｐａと比較し、判定区間Ｌａが特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

＜第２の実施形態＞
［４−１．特徴区間判定装置の機能構成］
本発明の第２の実施形態に係る特徴区間判定装置の主要な機能構成について説明する。ここで、第２の実施形態に係る特徴区間判定装置は、判定区間設定部１１３、判定基準設定部１１５、特徴区間判定部１１７を除いて、第１の実施形態に係る特徴区間判定装置と同様な機能構成を有する。このため、以下では、特に、判定区間設定部１１３、判定基準設定部１１５、特徴区間判定部１１７の機能について説明する。

判定区間設定部１１３は、所定の区間長を有する任意の区間を判定区間Ｌａとして設定する。判定区間設定部１１３は、まず、動き量ａの時系列データのうち、例えば時系列データの始点から所定の区間長を有する区間を第１の判定区間Ｌａとして設定する。そして、第１の判定区間Ｌａについて特徴区間の判定が終了すると、第１の判定区間Ｌａに後続し、所定の区間長を有する区間を第２の判定区間Ｌａとして設定し、同様に、第３、第４、…第ｎの判定区間Ｌａを設定する。連続する判定区間Ｌａ同士は、互いに時間的に重複する重複区間を有するように設定されてもよく、重複区間を有しないように設定されてもよい。ここで、判定区間Ｌａの区間長は、予め実験等により設定されるが、例えば、画像データのフレームレートが毎秒６０フレーム程度であれば、１〜６０フレーム程度として設定される。

判定基準設定部１１５は、判定区間Ｌａ内における画像の動き量ａの特性値Ｐａに応じて、判定基準Ｔａを適応的に設定する。判定基準設定部１１５は、まず、動き量情報保持部１３５から動き量ａの時系列データを読出し、時系列データに含まれる判定区間Ｌａ内の動き量ａに、例えば算術平均等の統計処理を施して動き量ａの特性値Ｐａを算定する。次に、判定基準設定部１１５は、特性値Ｐａおよび所定のパラメータに基づいて、例えば特性値Ｐａの５０％を、判定基準Ｔａとして設定する。ここで、判定基準Ｔａの算定パラメータは、予め実験等により設定される。

特徴区間判定部１１７は、判定区間Ｌａ内における画像の動き量ａを判定基準Ｔａと比較し、判定区間Ｌａのうち画像の動き量ａが判定基準Ｔａを満たす連続区間Ｌの区間長を所定の基準区間長Ｌｃと比較し、連続区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａを画像の特徴区間であると判定する。

特徴区間判定部１１７は、まず、判定区間Ｌａ内における動き量ａの特性値Ｐａが所定の基準Ｔｃを満たすかを判定する。ここで、基準Ｔｃは、予め実験等により設定される。そして、特性値Ｐａが基準Ｔｃを満たす場合に、特徴区間判定部１１７は、動き量ａの時系列データに基づいて、判定区間Ｌａのうち動き量ａが判定基準Ｔａを満たす連続区間Ｌの区間長を特定する。次に、特徴区間判定部１１７は、連続区間Ｌの区間長を所定の基準区間長Ｌｃと比較し、連続区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａを画像の特徴区間であると判定する。特徴区間判定部１１７は、判定区間Ｌａを特徴区間であると判定すると、特徴区間に含まれる１以上の画像データを特定可能な画像データＩＤを、特徴区間情報として特徴区間情報保持部１３７に供給する。ここで、基準区間長Ｌｃは、予め実験等により設定されるが、画像データのフレームレートが毎秒６０フレーム程度であれば、５フレーム程度として設定される。

［４−２．特徴区間判定方法］
次に、図１１〜図１３を参照しながら、本発明の第２の実施形態に係る特徴区間判定方法について説明する。図１１は、第２の実施形態に係る特徴区間判定方法の処理手順を示すフロー図である。図１２Ａ、１２Ｂおよび図１３Ａ、１３Ｂは、第２の実施形態に係る特徴区間判定処理の処理方法を示す図である。第２の実施形態に係る特徴区間判定方法は、ステップＳ２１１〜Ｓ２２５の処理を除いて、第１の実施形態に係る特徴区間判定方法と同様な処理手順を有する。このため、以下では、特に、ステップＳ２１１〜Ｓ２２５の処理について説明する。

（特徴区間判定処理）
判定区間設定部１１３は、所定の区間長を有する任意の区間を判定区間Ｌａとして設定する（Ｓ２０１）。判定区間設定部１１３は、動き量ａの時系列データから、所定の区間長を有する任意の区間を判定区間Ｌａとして設定する。

判定基準設定部１１５は、判定区間Ｌａ内における画像の動き量ａの特性値Ｐａに応じて、判定基準Ｔａを適応的に設定する（Ｓ２０３）。判定基準設定部１１５は、まず、動き量ａの時系列データに基づいて、判定区間Ｌａ内の動き量ａの特性値Ｐａを算定する。判定基準設定部１１５は、パン係数ａｐ、チルト係数ａｔの時系列データに基づいて、パン係数ａｐ、チルト係数ａｔの特性値Ｐａｐ、Ｐａｔを算定する。

次に、判定基準設定部１１５は、特性値Ｐａおよび所定のパラメータに基づいて、判定基準Ｔａを設定する。判定基準設定部１１５は、パン係数ａｐの特性値Ｐａｐおよびパラメータ、チルト係数ａｔの特性値Ｐａｔおよびパラメータに基づいて、パン係数ａｐの判定基準Ｔａｐ、チルト係数ａｔの判定基準Ｔａｔを設定する。ここで、判定基準Ｔａｐ、Ｔａｔを算定するためのパラメータは、互いに異なるパラメータとして設定されてもよく、同一のパラメータとして設定されてもよい。

特徴区間判定部１１７は、判定区間Ｌａ内における画像の動き量ａを判定基準Ｔａと比較し、判定区間Ｌａのうち画像の動き量ａが判定基準Ｔａを満たす連続区間Ｌの区間長を所定の基準区間長Ｌｃと比較し、連続区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａを画像の特徴区間であると判定する（Ｓ２０５〜Ｓ２１５）。

特徴区間判定部１１７は、判定区間Ｌａ内における動き量ａの特性値Ｐａが所定の基準Ｔｃを満たすかを判定する（Ｓ２０５）。そして、特性値Ｐａが基準Ｔｃを満たす場合に、動き量ａの時系列データに基づいて、判定区間Ｌａのうち動き量ａが判定基準Ｔａを満たす連続区間Ｌの区間長を特定する（Ｓ２０７）。特徴区間判定部１１７は、パン係数ａｐが判定基準Ｔａｐを満たす連続区間Ｌｐの区間長、チルト係数ａｔが判定基準Ｔａｔを満たす連続区間Ｌｔの区間長を特定する。

次に、特徴区間判定部１１７は、連続区間Ｌの区間長を所定の基準区間長Ｌｃと比較し（Ｓ２０９）、連続区間Ｌの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａを画像の特徴区間であると判定する（Ｓ２１１〜Ｓ２１５）。特徴区間判定部１１７は、パン係数ａｐの連続区間Ｌｐの区間長に応じて、判定区間Ｌａｐを特徴区間であると判定し、チルト係数ａｔの連続区間Ｌｔの区間長に応じて、判定区間Ｌａｔを特徴区間であると判定する。ここで、パン係数ａｐおよびチルト係数ａｔの基準区間長Ｌｃは、同一の区間長として設定されてもよく、互いに異なる区間長として設定されてもよい。

特徴区間判定部１１７は、判定区間Ｌａを特徴区間であると判定すると、特徴区間に含まれる１以上の画像データを特定可能な画像データＩＤを、特徴区間情報として特徴区間情報保持部１３７に供給する。特徴区間判定部１１７は、判定結果に応じて、判定区間Ｌａｐ、Ｌａｔを、パン係数ａｐ、チルト係数ａｔの特徴区間情報として供給する。

図１２Ａ、１２Ｂおよび図１３Ａ、１３Ｂには、第２の実施形態に係る特徴区間判定処理の処理方法が示されている。図１２Ａ、１２Ｂには、図７Ａ、７Ｂと同様に、緩慢なパン動作時および急激なパン動作時における特徴区間判定処理の処理結果例が示されている。

図１２Ａに示すように、判定区間設定部１１３は、パン係数ａｐの時系列データから、例えば時系列データの始点から所定の区間長を有する区間を判定区間Ｌａｐとして設定する。判定基準設定部１１５は、まず、パン係数ａｐの時系列データに基づいて、判定区間Ｌａｐ内のパン係数ａｐの特性値Ｐａｐ、例えば平均値Ｐａｐを算定する。判定基準設定部１１５は、特性値Ｐａｐおよび所定のパラメータに基づいて、例えば０．５Ｐａｐとして判定基準Ｔａｐを設定する。

特徴区間判定部１１７は、まず、判定区間Ｌａｐにおける特性値Ｐａｐが所定の基準Ｔｃｐを満たすかを判定する。ここで、所定の基準Ｔｃｐは、緩慢なパン動作に伴って算定されるパン係数ａｐのノイズ成分に相当するパン係数ａｐとして予め設定されている。これにより、緩慢なパン動作に伴う、小さなパン係数ａｐのノイズ成分が算定された判定区間Ｌａｐは、特徴区間であると判定されない。

特徴区間判定部１１７は、判定区間Ｌａｐのうちパン係数ａｐが判定基準Ｔａｐを満たす連続区間Ｌｐの区間長を特定する。特徴区間判定部１１７は、連続区間Ｌｐの区間長を所定の基準区間長Ｌｃと比較し、連続区間Ｌｐの区間長が所定の基準区間長Ｌｃより長い場合に、判定区間Ｌａｐを画像の特徴区間であると判定する。これにより、基準Ｔｃｐを満たすが、瞬間的な大きなパン係数ａｐのノイズ成分等が算定された判定区間Ｌａｐは、特徴区間であると判定されない。

図１２Ａに示すように、動作区間Ｌ１の前後では、例えば判定区間Ｌａｐ１、Ｌａｐ１０が設定される。ここで、各判定区間Ｌａｐ１、Ｌａｐ１０では、特性値Ｐａｐ１、Ｐａｐ１０が基準Ｔｃｐを満たさない。よって、特徴区間判定部１１７は、動作区間Ｌ１の前後に相当する判定区間Ｌａｐ１、Ｌａｐ１０をパン係数ａｐの特徴区間ではないと判定する。なお、図１２および図１３では、各判定区間Ｌａｐ１〜Ｌａｐ１０に対応するように、「×」印により特性値Ｐａｐ１〜Ｐａｐ１０が示され、「○」印により判定基準Ｔａｐ１〜Ｔａｐ１０が示されている。

一方、動作区間Ｌ１内では、例えば判定区間Ｌａｐ２〜Ｌａｐ９が設定される。ここで、各判定区間Ｌａｐ２〜Ｌａｐ９では、特性値Ｐａｐ２〜Ｐａｐ９が基準Ｔｃｐを満たし、判定基準Ｔａｐ２〜Ｔａｐ９を満たす連続区間Ｌｐ２〜Ｌｐ９の各区間長が基準区間長Ｌｃを満たしている。よって、特徴区間判定部１１７は、動作区間Ｌ１に相当する判定区間Ｌａｐ２〜Ｌａｐ９をパン係数ａｐの特徴区間であると判定する。

また、図１２Ｂに示すように、動作区間Ｌ２の前後では、例えば判定区間Ｌａｐ１〜Ｌａｐ４、Ｌａｐ７〜Ｌａｐ１０が設定される。ここで、各判定区間Ｌａｐ１〜Ｌａｐ４、Ｌａｐ７〜Ｌａｐ１０では、パン係数ａｐの区間平均値である特性値Ｐａｐ１〜Ｐａｐ４、Ｐａｐ７〜Ｐａｐ１０が基準Ｔｃｐを満たしている。しかし、動作区間Ｌ２の前後では、大きな変動を伴うパン係数ａｐのノイズ成分が算定されるので、判定基準Ｔａｐ１〜Ｔａｐ４、Ｔａｐ７〜Ｔａｐ１０を満たす連続区間Ｌｐ１〜Ｌｐ４、Ｌｐ７〜Ｌｐ１０の各区間長が基準区間長Ｌｃを満たさない。よって、特徴区間判定部１１７は、動作区間Ｌ２の前後に相当する判定区間Ｌａｐ１〜Ｌａｐ４、Ｌａｐ７〜Ｌａｐ１０をパン係数ａｐの特徴区間ではないと判定する。

一方、動作区間Ｌ２内では、例えば判定区間Ｌａｐ５、Ｌａｐ６が設定される。ここで、各判定区間Ｌａｐ５、Ｌａｐ６では、特性値Ｐａｐ５、Ｐａｐ６が基準Ｔｃｐを満たし、判定基準Ｔａｐ５、Ｔａｐ６を満たす連続区間Ｌｐ５、Ｌｐ６の各区間長が基準区間長Ｌｃを満たしている。よって、特徴区間判定部１１７は、動作区間Ｌ２に相当する判定区間Ｌａｐ５、Ｌａｐ６をパン係数ａｐの特徴区間であると判定する。

図１３Ａ、１３Ｂには、図８Ａ、８Ｂと同様に、急激なパン動作時における特徴区間判定処理の変形例が示されている。図１３Ａに示すように、動作区間Ｌ３´の前後では、例えば判定区間Ｌａｐ１、Ｌａｐ１０が設定される。各判定区間Ｌａｐ１、Ｌａｐ１０では、特性値Ｐａｐ１、Ｐａｐ１０が基準Ｔｃｐを満たさない。よって、特徴区間判定部１１７は、動作区間Ｌ３´の前後に相当する判定区間Ｌａｐ１、Ｌａｐ１０をパン係数ａｐの特徴区間ではないと判定する。

一方、動作区間Ｌ３´では、Ｌａｐ２〜Ｌａｐ９が設定され、さらに動作区間Ｌ３では、判定区間Ｌａｐ５、Ｌａｐ６が設定される。ここで、各判定区間Ｌａｐ２〜Ｌａｐ９では、特性値Ｐａｐ２〜Ｐａｐ９が基準Ｔｃｐを満たしている。また、動作区間Ｌ３´のうち動作区間Ｌ３の前後では、かなり大きなパン係数ａｐのノイズ成分が算定されるので、判定基準Ｔａｐ２〜Ｔａｐ９を満たす連続区間Ｌｐ２〜Ｌｐ９の各区間長が基準区間長Ｌｃを満たしている。よって、特徴区間判定部１１７は、動作区間Ｌ３´に相当する判定区間Ｌａｐ２〜Ｌａｐ９をパン係数ａｐの特徴区間であると誤って判定してしまう。

このような場合、以下で示すように、連続する判定区間Ｌａｐ同士における特性値Ｐａｐの変動特性に応じて、特徴区間を適切に判定することができる。特徴区間判定部１１７は、連続する判定区間Ｌａｐ同士における特性値Ｐａｐの変動ΔＰａｐの絶対値が所定の基準ΔＬａｐｃより大きい場合に、特徴区間の開始区間または終了区間であると判定する。

図１３Ｂに示す例では、各判定区間Ｌａｐ３〜Ｌａｐ８に対応するように、「Δ」印により特性値Ｐａｐ２〜Ｐａｐ３の変動ΔＰａｐ３、特性値Ｐａｐ３〜Ｐａｐ４の変動ΔＰａｐ４、…、特性値Ｐａｐ８〜Ｐａｐ９の変動ΔＰａｐ９が示されている。ここで、判定区間Ｌａｐ２〜Ｌａｐ４同士では、特性値Ｐａｐ２〜Ｐａｐ４の変動ΔＰａｐ３〜ΔＰａｐ４が所定の基準ΔＰａｐｃより小さいが、判定区間Ｌａｐ４、Ｌａｐ５同士では、特性値Ｐａｐ４〜Ｐａｐ５の変動ΔＰａｐ５が増加方向であり、変動ΔＰａｐ５の絶対値が基準ΔＰａｐｃより大きくなる。また、判定区間Ｌａｐ５、Ｌａｐ６同士では、特性値Ｐａｐ５〜Ｐａｐ６の変動ΔＰａｐ６が所定の基準ΔＰａｐｃより小さい。そして、判定区間Ｌａｐ６、Ｌａｐ７同士では、特性値Ｐａｐ６〜Ｐａｐ７の変動ΔＰａｐ７が減少方向であり、変動ΔＰａｐ７の絶対値が基準ΔＰａｐｃより大きく、判定区間Ｌａｐ７〜Ｌａｐ９同士では、特性値Ｐａｐ７〜Ｐａｐ９の変動ΔＰａｐ８〜ΔＰａｐ９が基準ΔＰａｐｃより小さくなる。

このため、特徴区間判定部１１７は、判定区間Ｌａｐ５を特徴区間の開始区間であると判定し、判定区間Ｌａｐ６を特徴区間の終了区間であると判定する。これにより、連続する判定区間Ｌａｐ同士における特性値Ｐａｐの変動特性に応じて、特徴区間の開始区間および終了区間を判定することで、特徴区間を適切に判定することができる。

なお、上記説明では、動き量ａの時系列データから判定基準Ｔａを設定し、動き量ａの時系列データと判定基準Ｔａを比較して特徴区間を判定する場合について説明した。しかし、動き量ａの時系列データに、算術平均、移動平均等の統計処理を施し、統計処理後の動き量ａの時系列データに基づいて、判定基準Ｔａを設定し、特徴区間を判定してもよい。

以上説明したように、本発明の第２の実施形態に係る特徴区間判定方法によれば、所定の区間長を有する判定区間Ｌａ内における画像の動き量ａの特性値Ｐａに応じて、判定基準Ｔａを適応的に設定し、判定区間Ｌａ内における動き量ａと比較し、判定区間Ｌａのうち動き量ａが判定基準Ｔａを満たす連続区間Ｌの区間長を所定の基準区間長Ｌｃと比較し、判定区間Ｌａが特徴区間であるかを判定するので、カメラ動作の速度に依存せずに、画像の特徴区間を適切に判定することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ ビデオレコーダ
１０７ 動きベクトル検出部
１０９ 動きベクトル判定部
１１１ 動き量算定部
１１３ 判定区間設定部
１１５ 判定基準設定部
１１７ 特徴区間判定部
１１９ 特徴区間補正部

Claims (15)

1. 画像における所定の分割領域の時系列データから前記画像の動き量を算定する動き量算定部と、
   前記画像の時系列データから前記画像の特徴区間を判定するための判定区間を設定する判定区間設定部と、
   前記判定区間の特性に応じて、前記画像の特徴区間を判定するための判定基準を適応的に設定する判定基準設定部と、
   前記判定区間内における前記画像の動き量を前記判定基準と比較し、前記判定区間が前記画像の特徴区間であるかを判定する特徴区間判定部と、
   を備える、特徴区間判定装置。
2. 前記判定区間設定部は、前記画像の動き量が所定の基準を満たす区間を前記判定区間として設定し、
   前記判定基準設定部は、前記判定区間の区間長に応じて前記判定基準を適応的に設定し、
   前記特徴区間判定部は、前記判定区間内における前記画像の動き量の特性値を前記判定基準と比較し、前記画像の動き量の特性値が前記判定基準を満たす場合に、前記判定区間を前記画像の特徴区間であると判定する、請求項１に記載の特徴区間判定装置。
3. 前記判定基準設定部は、前記判定区間の区間長が相対的に長いほど、相対的に小さな絶対値の動き量を前記判定基準として設定する、請求項２に記載の特徴区間判定装置。
4. 前記判定基準設定部は、前記画像の動き量の絶対値の上限値および下限値を前記判定基準として設定する、請求項３に記載の特徴区間判定装置。
5. 前記判定区間設定部は、前記判定区間内において、前記所定の基準よりも大きな絶対値として再設定された前記所定の基準を満たす区間を前記判定区間として再設定し、
   前記判定基準設定部は、前記再設定された判定区間の区間長に応じて前記判定基準を適応的に再設定し、
   前記特徴区間判定部は、前記再設定された判定区間内における前記画像の動き量の特性値を、前記再設定された判定基準と比較し、前記画像の動き量の特性値が前記再設定された判定基準を満たす場合に、前記再設定された判定区間を前記画像の特徴区間であると判定する、請求項２に記載の特徴区間判定装置。
6. 前記判定区間設定部は、所定の区間長を有する任意の区間を判定区間として設定し、
   前記判定基準設定部は、前記判定区間内における前記画像の動き量の特性値に応じて、前記判定基準を適応的に設定し、
   前記特徴区間判定部は、前記判定区間内における前記画像の動き量を前記判定基準と比較し、前記判定区間のうち前記画像の動き量が前記判定基準を満たす連続区間の区間長を所定の基準区間長と比較し、前記連続区間の区間長が前記所定の基準区間長より長い場合に、前記判定区間を前記画像の特徴区間であると判定する、請求項１に記載の特徴区間判定装置。
7. 前記特徴区間判定部は、連続する前記判定区間同士における前記画像の動き量の特性値の変動特性に応じて、前記判定区間が前記画像の特徴区間であるかをさらに判定する、請求項６に記載の特徴区間判定装置。
8. 前記動き量算定部は、前記画像における所定の分割領域の時系列データから前記画像の動き量を２以上のカメラ動作別に算定し、
   前記判定区間設定部は、前記画像の時系列データから前記画像の特徴区間をカメラ動作別に判定するための前記判定区間を設定し、
   前記判定基準設定部は、前記各カメラ動作の判定区間の特性に応じて、前記画像の特徴区間をカメラ動作別に判定するための前記判定基準を適応的に設定し、
   前記特徴区間判定部は、前記各カメラ動作の判定区間内における前記各カメラ動作の画像の動き量を前記各カメラ動作の判定基準と比較し、前記各カメラ動作の判定区間が前記画像の特徴区間であるかをカメラ動作別に判定する、請求項１に記載の特徴区間判定装置。
9. 前記２以上のカメラ動作は、カメラのパン動作、チルト動作、ズーム動作のうちから選択される２以上のカメラ動作である、請求項８に記載の特徴区間判定装置。
10. 前記画像における所定の分割領域の時系列データから１以上の動きベクトルを検出する動きベクトル検出部と、
    前記画像上に設定される直交座標系上における前記動きベクトルの位置とベクトル成分の向きとの間における所定の関係を判定する動きベクトル判定部と、をさらに備え、
    前記動き量算定部は、前記所定の関係を満たす1以上の前記動きベクトルから前記画像の動き量を算定する、請求項１に記載の特徴区間判定装置。
11. 前記所定の関係は、前記直交座標系上の第１象限および第４象限に位置する前記動きベクトルのＸ成分の向きが同一である場合、または第２象限および第３象限に位置する前記動きベクトルのＸ成分の向きが同一である場合に満たされる、請求項１０に記載の特徴区間判定装置。
12. 所定の関係は、前記直交座標系上の第１象限および第２象限に位置する前記動きベクトルのＹ成分の向きが同一である場合、または第３象限および第４象限に位置する前記動きベクトルのＹ成分の向きが同一である場合に満たされる、請求項１０に記載の特徴区間判定装置。
13. 前記画像の時系列データのうちパン動作の特徴区間とチルト動作の特徴区間が時間的に重複する重複区間において、パン動作に基づく前記画像の動き量の特性値とチルト動作に基づく前記画像の動き量の特性値をベクトル合成し、
    前記合成された特性値のベクトル角から、前記重複区間がパン動作の特徴区間またはチルト動作の特徴区間のいずれに該当するかを判定し、
    前記該当しないカメラ動作の特徴区間から前記重複区間を除いて、前記カメラ動作の特徴区間を補正する特徴区間補正部をさらに備える、請求項８に記載の特徴区間判定装置。
14. 画像における所定の分割領域の時系列データから前記画像の動き量を算定し、
    前記画像の時系列データから前記画像の特徴区間を判定するための判定区間を設定し、
    前記判定区間の特性に応じて、前記画像の特徴区間を判定するための判定基準を適応的に設定し、
    前記判定区間内における前記画像の動き量を前記判定基準と比較し、前記判定区間が前記画像の特徴区間であるかを判定する、特徴区間判定方法。
15. 画像における所定の分割領域の時系列データから前記画像の動き量を算定し、
    前記画像の時系列データから前記画像の特徴区間を判定するための判定区間を設定し、
    前記判定区間の特性に応じて、前記画像の特徴区間を判定するための判定基準を適応的に設定し、
    前記判定区間内における前記画像の動き量を前記判定基準と比較し、前記判定区間が前記画像の特徴区間であるかを判定する、特徴区間判定方法をコンピュータに実行させるためのプログラム。

Images