JP2005175533A - 映像処理装置および代表画像設定方法 - Google Patents

Abstract

【課題】 操作者が代表画像の変更を行った映像区間と類似する類似映像区間の代表画像を容易に変更することができる映像処理装置を提供する。
【解決手段】 撮像装置では、映像データを複数の映像区間に分割し、分割された映像区間の中から、キーフレームを自動的に抽出した後、操作者によって抽出されたキーフレームが変更された場合、キーフレームが変更された映像区間におけるキーフレーム抽出方法を取得する。このキーフレームが変更された映像区間と類似する類似映像区間を抽出し、抽出された類似映像区間に対し、キーフレームが変更された映像区間におけるキーフレーム抽出方法を用いて、抽出された類似映像区間のキーフレームを変更する。
【選択図】 図３

Description

本発明は、映像データの中から、映像区間を識別するための代表画像を取得する映像処理装置および代表画像設定方法に関する。

従来、この種の映像処理装置として、記憶媒体に記録された映像データを自動的にあるまとまり（映像区間）毎に分割し、分割された各映像区間の中から少なくとも１つの静止画データを代表画像（「キーフレーム」と称する）として一覧表示するものが知られている。図５９は映像区間毎に分割された中からキーフレームが抽出される様子を示す図である。キーフレームを一覧表示することにより、操作者は、記憶された映像データの内容を素早く確認できる。また、分割された映像区間単位の編集作業を容易に行うことができる。

従来、映像データを分割する方法として、例えば、映像が時間的に急激に変化する部分をシーンの切れ目として自動的に分割する方法が知られている。また、代表画像を抽出する方法として、分割されたシーンの先頭フレーム、末尾フレームあるいは中間フレームを代表画像として抽出する方法、カメラ動作により重要と思われる代表画像を推定して自動的に抽出する方法が知られている。

しかし、このように、映像データを自動的に分割し、分割された映像区間から自動的にキーフレームを抽出する方法では、必ずしも操作者にとって最適なキーフレームになるとは限らなかった。このため、自動的に分割された映像区間毎のキーフレームを変更する操作が必要となる。例えば、キーフレームを変更する方法として、操作者が変更したいキーフレームを選択し、そのキーフレームが属するシーンのシーンチェンジの前後の映像を再生し、再生された映像の各フレーム画像の一覧表示の中からキーフレームを設定するように変更する方法が知られている（例えば、特許文献１参照）。

また従来、指紋認識技術として、指紋認識装置が知られている（例えば、特許文献２参照）。この指紋認識装置は、センサ部に押し当てられた指によって生じた影をセンサ部で指紋であると検出し、この指紋を、予め記憶されたユーザ認識データリストの指紋データと照合する。

また従来技術として、被写体の顔を認識するカメラが知られている（例えば、特許文献３参照）。このカメラでは、被写体の顔を認識するだけでなく、顔の方向（目線がカメラの方向を向いている／向いていない）、被写体の目の状態（目を閉じている／閉じていない）、顔の表情（喜びの顔、悲しみの顔、怒りの顔、驚きの顔など）、被写体の姿勢（認識された人が特定のポーズとなっているかを認識）などが認識可能である。

また同様に、被写体を認識する人物検出機能搭載装置が知られている（例えば、特許文献４参照）。この人物検出機能搭載装置では、被写体の認識および音声情報から、話者を識別することが可能である。
特開平０９−０９３５２７号公報 特開２００２−１２３８２１号公報 特開２００１−５１３３８号公報 特開２００１−６７０９８号公報

しかしながら、上記従来の映像処理装置では、以下に掲げる問題があり、その改善が要望された。即ち、キーフレームを変更する際、１度のキーフレーム変更操作は、一映像区間だけが対象となっている。したがって、自動的に設定されたフレームでは、キーフレームとして満足できない場合、操作者は、満足できない全ての映像区間のキーフレームに対し、それぞれ変更操作を行わなければならなかった。変更操作を行う映像区間の数が多いと、変更回数も多くなり、操作者にとって変更操作は面倒であった。特に、類似する映像区間が多くても、操作者は同様の変更操作を繰り返し行わなければならなかった。

そこで、本発明は、操作者が代表画像の変更を行った映像区間と類似する類似映像区間の代表画像を容易に変更することができる映像処理装置および代表画像設定方法を提供することを目的とする。

上記目的を達成するために、本発明の映像処理装置は、映像データから抽出された代表画像を変更する代表画像変更手段と、前記代表画像が変更された映像区間における代表画像抽出方法を取得する代表画像抽出方法取得手段と、前記代表画像が変更された映像区間と類似する映像区間である類似映像区間を抽出する類似映像区間抽出手段と、前記代表画像抽出方法取得手段によって取得され、前記代表画像が変更された映像区間における代表画像抽出方法を用いて、前記抽出された類似映像区間の代表画像を変更する類似映像区間代表画像変更手段とを備える。

本発明の代表画像設定方法は、映像データから抽出された代表画像を変更する代表画像変更ステップと、前記代表画像が変更された映像区間における代表画像抽出方法を取得する代表画像抽出方法取得ステップと、前記代表画像が変更された映像区間と類似する映像区間である類似映像区間を抽出する類似映像区間抽出ステップと、前記代表画像抽出方法取得ステップで取得され、前記代表画像が変更された映像区間における代表画像抽出方法を用いて、前記抽出された類似映像区間の代表画像を変更する類似映像区間代表画像変更ステップとを有する。

本発明によれば、操作者が代表画像の変更を行った映像区間と類似する類似映像区間の代表画像を容易に変更することができる。

本発明の映像処理装置および代表画像設定方法の実施の形態について、図面を参照しながら説明する。本実施形態の映像処理装置は撮像装置に適用された場合を示す。この撮像装置では、撮影された映像データは録画操作の開始・終了を基準に分割される。この分割された映像区間を「ショット」と称する。さらに、ショット内の映像データは、操作情報（ズームなどの操作情報）、撮影環境情報（パンやチルトなどの情報）などの付属情報を基に分割される。この分割された各映像区間を「サブショット」と称する。そして、サブショット毎に分割された映像区間に対し、前述した操作情報、撮影環境情報などの付属情報を基に、キーフレーム（代表画像）が自動的に抽出される。

［第１の実施形態］
図１は第１の実施形態における撮像装置の構成を示すブロック図である。この撮像装置は、被写体を結像させるズームレンズ１１、光量を調節する絞り１２、入力した光を電気信号に変換するＣＣＤからなる撮像素子１３、サンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路１４、アナログデジタル変換（Ａ／Ｄ変換）を行うＡ／Ｄ変換部１５、およびＡ／Ｄ変換された信号を処理して映像信号を生成する映像信号処理部１６を有する。

また、この撮像装置は、映像データを分割し、分割された映像区間における付属情報やキーフレームなどの情報を管理する映像管理部１７、撮影内容や各映像区間におけるキーフレームなどを表示する表示部１８、レンズの位置を検出するレンズ位置検出部１９、レンズを駆動するレンズ駆動部２０、撮像装置の水平方向の回転を検出するＸ方向回転検出部２１、撮像装置の垂直方向の回転を検出するＹ方向回転検出部２２、および撮像装置全体を制御するシステム制御部２３を有する。ここで、Ｘ方向回転検出部２１は、ジャイロセンサや加速度センサにより検出された信号に対し、バンドパスフィルタなどで信号処理を行った後、Ａ／Ｄ変換を行って出力信号とする。Ｙ方向回転検出部２２は、Ｘ方向回転検出部２１と同様の構成を有する。尚、映像の防振を目的として、回転検出部が搭載されている場合、それを兼用させてもよい。

また、この撮像装置は、ズームや録画の開始終了を操作するキー、キーフレームの変更操作を行うキーなどが配置された操作入力部２４、映像データをＭＰＥＧ形式に符号化するＭＰＥＧ＿ＣＯＤＥＣ２８、記録媒体を駆動して情報を記録するドライブなどから構成される記録部２９、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性メモリ、不揮発性メモリカードなどからなる記録媒体３０、および指紋を検出する指紋センサからなる指紋検出部３１を有する。

操作入力部２４には、ズームをワイド（広角、つまり画像縮小）方向に動作させるワイド・キー２５、テレ（望遠、つまり画像拡大）方向に移動させるテレ・キー２６、録画の開始・終了を指示するＲＥＣキー２７、キーフレームの変更やキーフレームの一覧表示を指示するメニューキー３２、キーフレームの一覧からキーフレームを変更する映像区間の選択などに使用されるカーソルキー３３などが設けられている。ここで、ワイド・キー２５およびテレ・キー２６は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押圧力により押されているかを示す出力信号をシステム制御部２３に出力する。また、ＲＥＣキー２７は、トグル型のキーであり、録画中に押下すると、録画終了を指示し、非録画中に押下すると、録画開始を指示する。

図２はシステム制御部２３の構成を示す図である。システム制御部２３は、周知のＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３、Ｉ／Ｏインターフェース４４、バス４５および割込み信号線４６を有する。ＲＯＭ４２には、ＣＰＵ４１によって実行される、後述するプログラム、テーブル値などが格納されている。

図３は映像管理部１７の構成を示すブロック図である。この映像管理部１７は、撮影された映像データを分割する映像分割部５６、分割された映像区間においてその映像区間を象徴するキーフレームを抽出するキーフレーム抽出部５７、キーフレームの変更を行った映像区間と類似する映像区間を抽出する類似映像区間抽出部５８、およびこの撮像装置で使用される付属情報を取得・記憶する付属情報管理部５９を有する。これらの各部は、映像管理部１７内の周知のＣＰＵ（図示せず）がＲＯＭ（図示せず）に記憶されたプログラムを実行することによって実現される。尚、操作入力部２４、表示部１８、指紋検出部３１、映像信号処理部１６、各検出部１９、２１、２２の各部と、映像管理部１７との間でやり取りされる信号は、システム制御部２３を介して行われるが、図３では、分かり易くするため、システム制御部２３が省略されている。

上記構成を有する撮像装置の各部の動作を示す。ズームレンズ１１を介して受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。撮像素子１３によって電気信号に変換されると、その電気信号は、サンプルホールド・ＡＧＣ部１４およびＡ／Ｄ変換部１５によりＡ／Ｄ変換された後、映像信号処理部１６に入力する。この入力信号に対し、映像信号処理部１６は、輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正、電子ズームなどの処理を施し、映像信号が生成されると、その映像信号はシステム制御部２３を介して映像管理部１７に出力される。

一方、Ｘ方向回転検出部２１およびＹ方向回転検出部２２から得られる撮像装置の回転信号を基に、システム制御部２３は、パン（カメラの水平方向の回転操作）やチルト（カメラの垂直方向の回転操作）を検出する。パンやチルト等の撮影環境情報、および操作入力部２４からの操作情報は、システム制御部２３を介して映像管理部１７に出力される。また、映像管理部１７は、入力された各種情報を付属情報管理部５９に記憶・保持し、映像分割部５６により、録画の開始操作から終了操作までの映像区間（ショット）を１つまたは複数の映像区間（サブショット）に分割する。また、付属情報管理部５９により、入力された情報にサブショットの区間情報を付加し、キーフレーム抽出部５７によりキーフレーム抽出処理を行う。

このキーフレーム抽出処理では、入力された各種情報に基づき、サブショットの各区間に対し、各区間を代表するにふさわしいフレーム画像（キーフレーム）が決定される。決定されたキーフレームの情報は、付属情報管理部５９に付加される。そして、これらの付属情報は、ＭＰＥＧ＿ＣＯＤＥＣ２８に出力される。ＭＰＥＧ＿ＣＯＤＥＣ２８では、入力された映像信号の符号化が行われる。このとき、ＭＰＥＧ＿ＣＯＤＥＣ２８は、映像管理部１７から出力される撮影環境情報、操作情報、サブショット情報などの付属情報を、符号化された映像信号と共に格納し、ＭＰＥＧ＿ＣＯＤＥＣ２８に接続された記録部２９に出力する。尚、撮影環境情報、操作情報、サブショット情報などの付属情報の格納方法については後述する。

記録部２９は、１ショット毎に記録メディア３０に１つのファイルを作成する。尚、１ショットを複数のファイルで保存しても、複数のショットを１つのファイルで保存してもよい。また、記録したデジタル情報が読み出せる限り、ファイルシステムによらない方法で記憶してもよい。

システム制御部２３は、ＲＥＣキー２７の操作に応じて録画を開始・終了する。また、システム制御部２３は、ワイド・キー２５およびテレ・キー２６の操作に応じて、レンズ駆動部２０を制御し、また映像信号処理部１６に対して電子ズームの制御を行う。このとき、押圧力が大きいほど、ズーム倍率を高速に変化させることができる。尚、レンズ光学系によって撮像される画像を拡大する機能を光学ズームといい、レンズ光学系によらず、電気的な信号処理によって画像を垂直・水平方向に拡大する機能を電子ズームという。

また、システム制御部２３は、レンズ位置検出部１９からのレンズ位置検出信号を基に、光学ズーム時におけるズーム倍率を判断する。また、システム制御部２３は、映像管理部１７における処理を制御する。また、システム制御部２３は、Ｘ方向回転検出部２１およびＹ方向回転検出部２２から出力される回転情報を基に、手ぶれ等に起因する信号成分を除去し、ユーザ操作によるパンまたはチルト情報を検出し、映像管理部１７に出力する。この他、システム制御部２３は必要に応じて撮像装置各部を制御する。

指紋検出部３１は、そのセンサ部に押し当てられた指によってできた影をセンサ部で指紋であると検出し、予め記憶された指紋データリスト（ユーザＩＤと指紋データが対になって登録されているユーザ認識データリスト）に登録された指紋データと照合する。指紋データが一致した場合、操作者を識別するユーザＩＤが取得される。一方、指紋データが一致しなかった場合、新規ユーザであるとして、指紋データとユーザＩＤがユーザ認識データリストに登録される。

つぎに、動画像とともに操作情報や撮影環境情報などの付属情報を記録する方法を示す。この記録方法として、フレーム単位の画像データ管理情報中の未使用領域などに、付属情報を格納する方法が知られている。具体的に、例えば、映像データがＭＰＥＧ−２ストリームである場合、ピクチャヘッダのユーザ領域に格納する方法がある。また、撮影終了後に演算の結果として生成された情報を、動画ファイルの末尾にフッタとして追加する方法がある。例えば、ＭＰＥＧ−２トランスポートストリームである場合、プライベートエリアに付属情報を格納したＴＳパケットをファイルの末尾に追記してもよい。また、動画と付属情報を別のファイルにする方法もある。この場合、動画と付属情報を対応付けるために、動画ファイル名と付属情報ファイル名との間で、相互にファイル名が一意に求まるように、ファイル名生成規則を設けるなど、参照情報を格納し、その参照情報へのハイパーリンクを貼るようにしてもよい。

本実施形態では、パンを検出した結果を記録しているが、この検出結果を記録する代わりに、パン検出前の加速度センサの出力信号等の生情報を量子化した情報や、パン検出までの各段で行われる信号処理の結果を量子化した情報を格納してもよい。これらの量子化した情報は、撮像装置（カムコーダ）本体の処理負荷という面で、リアルタイム処理が難しい場合、カムコーダ本体による後処理あるいは外部デバイスによる処理の際、操作情報および撮影環境情報として、パンやズーム単位の情報を生成・記録するために使用される。また、これらの量子化した情報を用いることで、将来、より精度が向上したパン検出手段によってパンの検出が可能となる場合、その拡張性が図られる。

つぎに、付属情報の詳細を示す。後述する図４〜図８、図１５〜図１７、図１９、図２１に示すデータ構造は、それぞれ１つのデータ要素を表している。複数のデータ要素がある場合、付属情報は、各データ要素にアクセス可能なリストとして構成される。また、本実施形態では、データ構造はビット列で表現されているが、システム制御部２３が解釈可能である限り、テキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等で表現するようにしてもよい。また、ＭＰＥＧ７に適した形式で格納する場合、データ構造を記述するツールであるＳｅｇｍｅｎｔ ＤＳに格納すればよい。

図４は撮影環境情報データの構造を示す図である。図５は撮影環境情報データリストの構造を示す図である。撮影環境情報データには、レンズ位置検出部１９、Ｘ方向回転検出部２１、Ｙ方向回転検出部２２などから取得されたパンやチルトなどの撮影環境情報が含まれている。図５に示すように、撮影環境情報が取得される毎に撮影環境情報データが作成され、撮影環境情報を取得したフレーム番号が変わる毎に、撮影環境情報データの先頭アドレス（ポインタ）が撮影環境情報データリストに格納される。例えば、フレーム番号１の撮影環境情報データを参照する場合、撮影環境情報データリストから１番目に格納されているフレーム１ポインタを取得し、撮影環境情報データ１を参照する。

図４には、撮影環境情報データの各要素データが示されている。要素データＴｉｍｅには、撮影環境が変化した時の動画ファイルの再生時間開始（先頭）を基準とするフレーム番号が記述される。要素データＤａｔａＴｙｐｅには、撮影環境情報のイベント種別を表すデータが記述される。撮影環境情報のイベント種別には、パンの開始、パンの継続、パンの終了、チルトの開始、チルトの継続、チルトの終了が設定される。パン、チルトの継続は、スピードや方向が変化した場合に使用される。ここでは、要素データＤａｔａＴｙｐｅが「０」でパンの開始、「１」でパンの継続、「２」でパンの終了、「４」でチルトの開始、「５」でチルトの継続、「６」でチルトの終了を表す。要素データＳｐｅｅｄは、要素データＤａｔａＴｙｐｅがパンの開始、パンの継続、チルトの開始、チルトの継続である場合に存在し、パンやチルトの回転スピードを表す。本実施形態では、最低スピードの「１」から最高スピードの「７」までの７段階で、回転スピードが記述される。要素データＤｉｒｅｃｔｉｏｎは、要素データＤａｔａＴｙｐｅがパンの開始、パンの継続、チルトの開始、チルトの継続の場合に存在し、パンやチルトの方向を表す。本実施形態では、パンの場合、「１」で右、「０」で左を表す。チルトの場合、「１」で上、「０」で下を表す。

図６は操作情報データの構造を示す図である。図７は操作情報データリストの構造を示す図である。操作情報データには、操作入力部２４、レンズ位置検出部１９、レンズ駆動部２０などから取得したズームなどの操作情報が含まれている。図７に示すように、操作情報が取得される毎に操作情報データが作成され、操作情報を取得したフレーム番号が変わる毎に、操作情報データの先頭アドレス（ポインタ）が操作情報データリストに格納される。例えば、フレーム番号１の操作情報データを参照する場合、操作情報データリストから１番目に格納されているフレーム１ポインタを取得し、操作情報データ１を参照する。

図６には、操作情報データの各要素データが示されている。要素データＴｉｍｅには、操作が発生した時の動画ファイルの再生時間開始（先頭）を基準とするフレーム番号が記述される。要素データＤａｔａＴｙｐｅには、操作情報のイベント種別を表すデータが記述される。操作情報のイベント種別には、ズームの開始、ズームの継続、ズームの終了、録画の開始、録画の終了等が設定される。ズームの継続は、スピードが変化した場合に使用される。ここでは、要素データＤａｔａＴｙｐｅが「０」でズームの開始、「１」でズームの継続、「２」でズームの終了、「３」で録画開始、「４」で録画終了を表す。要素データＳｐｅｅｄは、要素データＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在し、ズーム変化のスピードを表す。本実施形態では、最低スピードの「１」から最高スピードの「７」までの７段階で、スピードが記述される。要素データＤｉｒｅｃｔｉｏｎは、要素データＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在し、ズームの方向を表す。要素データＤｉｒｅｃｔｉｏｎが「０」でテレ側、「１」でワイド側を表す。要素データＭａｇｎｉｆｉｃａｔｉｏｎは、要素データＤａｔａＴｙｐｅがズームの開始、ズームの継続の場合に存在してズーム倍率を表し、最もテレ側を「０」、最もワイド側を「３１」の３２段階で記述される。

図８はサブショット情報データの構造を示す図である。図９はサブショット情報データリストの構造を示す図である。サブショット情報データは、映像分割部５６で分割された映像区間に関する情報である。図９（ａ）に示すように、映像がサブショット１、サブショット２、…、サブショットＭと分割される毎に、サブショット情報データは、同図（ｂ）に示すように、サブショット情報１、サブショット情報２、…、サブショット情報Ｍまで作成される。例えば、サブショット情報１は、フレーム番号１からフレーム番号６で構成される。また、サブショット情報２は、フレーム番号７からフレーム番号１１で構成される。それ以降のサブショット情報も同様である。

作成されたサブショット情報データの先頭アドレス（ポインタ）は、同図（ｂ）に示すサブショット情報データリストに格納される。サブショット情報データ１を参照する場合、サブショット情報データリストからサブショット情報データ１に格納されているポインタを取得し、サブショット情報データ１を参照する。

図８には、サブショット情報データの各要素データが示されている。要素データＳｔａｒｔＴｉｍｅは、サブショットの開始時刻を表し、動画ファイルの再生時間開始（先頭）を基準とするフレーム番号で記述される。要素データＥｎｄＴｉｍｅは、サブショットの終了時刻を表し、動画ファイルの再生時間開始を基準とするフレーム番号で記述される。要素データＣｏｎｔｅｎｔｓＤａｔａＴｙｐｅには、サブショット情報の映像区間における付属情報を基に分類された分類情報が記述される。この分類情報の詳細については後述する。

要素データＮｕｍｂｅｒＯｆＫｅｙＦｒａｍｅには、要素データＳｔａｒｔＴｉｍｅおよび要素データＥｎｄＴｉｍｅで示される映像区間に設定されているキーフレームの数が記述される。要素データＫｅｙＦｒａｍｅには、キーフレームとなるフレームの動画ファイルの再生時間開始を基準とするフレーム番号が格納される。この要素データＫｅｙＦｒａｍｅは、要素データＮｕｍｂｅｒＯｆＫｅｙＦｒａｍｅで示される数だけ記述される。

図９（ｃ）には、キーフレームが１つ設定された場合のサブショット情報が示されている。このサブショット情報で示されるサブショット区間は、図９（ａ）のサブショット１に相当する。フレーム番号１からフレーム番号６までをサブショット１とする場合、要素データＳｔａｒｔＴｉｍｅには、「１」、要素データＥｎｄＴｉｍｅには、「６」が格納される。また、分類情報には、「３」が格納されているので、このサブショットの映像区間の分類タイプは「３」となる。また、要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅには、「１」が格納されている。これにより、このサブショットの映像区間では、キーフレームが１つ設定されていることがわかる。要素データＫｅｙＦｒａｍｅには、「６」が格納されているので、フレーム番号６がキーフレームとして設定されている。

図９（ｄ）には、キーフレームが２つ設定された場合のサブショット情報が示されている。このサブショット情報で示されるサブショット区間は、図９（ａ）のサブショット２に相当する。フレーム番号７からフレーム番号１１までをサブショット２とする場合、要素データＳｔａｒｔＴｉｍｅには、「７」、要素データＥｎｄＴｉｍｅには、「１１」が格納される。また、分類情報には、「７」が格納されているので、このサブショットの映像区間の分類タイプは「７」となる。また、要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅには、「２」が格納される。これにより、このサブショットの映像区間では、キーフレームが２つ設定されていることがわかる。要素データＫｅｙｆｒａｍｅ１には、「８」が格納されているので、キーフレームとしてフレーム番号８が設定されている。また、要素データＫｅｙｆｒａｍｅ２には、「１１」が格納されているので、フレーム番号１１がキーフレームとして設定されている。

図１０は映像区間分類情報の構造を示す図である。映像区間分類情報は、映像区間における付属情報の分類に関するデータであり、分類されるタイプの数だけ存在する。この映像区間情報には、分類された映像区間におけるキーフレーム抽出方法が格納されており、キーフレーム抽出処理で参照される。

図１１は映像区間分類情報リストを示す図である。この映像区間分類情報リストには、映像区間分類情報の先頭ポインタが映像区間の分類数分（Ｌ個）格納される。したがって、映像区間の分類情報として映像区間分類情報１を参照する場合、映像区間分類情報リストの映像区間分類情報１を示すポインタを取得し、そのポインタ先を参照することで、映像区間分類情報１を取得することができる。

映像区間分類情報の要素データである分類情報は、映像区間に関する付属情報を基に分類された映像の分類タイプを表している。また、要素データである分類条件情報には、付属情報の少なくともいずれか１つもしくは組合せを基に、分類情報に格納された分類タイプであるか否かを判断するための条件情報が記述されている。

図１２は分類条件情報の構造を示す図である。分類条件情報の要素データである分類判断処理タイプ情報格納数は、分類判断処理タイプ情報の格納数を表す。分類判断処理タイプ情報は、分類情報に記述された映像区間に分類されるか否かを判断する際、取得された付属情報と比較値に記述された値とを比較する処理の識別情報（タイプ）である。

要素データである比較値は、分類判断処理タイプ情報で取得された付属情報と比較される値を示す。判定タイプ情報には、付属情報と比較値とを比較する際の判定方法のタイプが格納される。例えば、値１は「＝」を示し、分類判断処理で取得した値と比較値とが「＝」であるか、つまり等しいかを比較することを示す。値２は、「！＝」を示し、分類判断処理で取得した値と比較値とが「！＝」であるか、つまり等しくないかを比較することを示す。値３は、「＞」を示し、分類判断処理で取得した値と比較値とが「＞」であるか、つまり取得した値が比較値より大きいかを比較することを示す。値４は、「＜」を示し、分類判断処理で取得した値と比較値とが「＜」であるか、つまり取得した値が比較値より小さいかを比較することを示す。値５は、「≦」を示し、分類判断処理で取得した値と比較値とが「≦」であるか、つまり取得した値が比較値以下であるかを比較することを示す。値６は、「≧」を示し、分類判断処理で取得した値と比較値とが「≧」であるか、つまり取得した値が比較値以上であるかを比較することを示す。

また、図１０に示すキーフレーム抽出タイプ情報格納数には、分類情報で分類された映像区間におけるキーフレーム抽出方法の数が記述される。キーフレーム抽出タイプ情報には、分類情報で分類される映像区間におけるキーフレームの抽出方法が記述される。具体的に、「０」は予め操作者によって指定された、あるいは本撮像装置によって予め設定されたデフォルトのキーフレームの抽出方法で行うことを示す。「１」はサブショットの先頭フレームでキーフレームを抽出することを示す。「２」はサブショットの終了フレームでキーフレームを抽出することを示す。「３」はサブショットの中間フレームでキーフレームを抽出することを示す。「４」はサブショットのズーム開始（縮小→拡大）フレームでキーフレームを抽出することを示す。「５」はサブショットのズーム終了（縮小→拡大）フレームでキーフレームを抽出することを示す。「６」はサブショットのズーム中間（縮小→拡大）フレームでキーフレームを抽出することを示す。「７」はサブショットのズーム開始（拡大→縮小）フレームでキーフレームを抽出することを示す。「８」はサブショットのズーム終了（拡大→縮小）フレームでキーフレームを抽出することを示す。「９」はサブショットのズーム中間（拡大→縮小）フレームでキーフレームを抽出することを示す。「１０」はサブショットのチルト開始フレームでキーフレームを抽出することを示す。「１１」はサブショットのチルト終了フレームでキーフレームを抽出することを示す。「１２」はサブショットのチルト中間フレームでキーフレームを抽出することを示す。「１３」はサブショットのパン開始フレームでキーフレームを抽出することを示す。「１４」はサブショットのパン終了フレームでキーフレームを抽出することを示す。「１５」はサブショットのパン中間フレームでキーフレームを抽出することを示す。尚、キーフレーム抽出タイプ情報は、キーフレーム抽出タイプ情報格納数で指定された数だけ格納される。

図１３は映像区間分類情報を示す図である。映像区間分類情報「０」は、予め操作者によって指定された、あるいは本撮像装置によって予め設定されたデフォルトのキーフレーム抽出方法を示す。映像区間分類情報リストに存在する映像区間分類情報（デフォルトの映像区間分類情報を除く）のいずれにも該当しなかった場合、このデフォルトの映像区間分類情報に記述されたキーフレーム抽出方法が使用される。ここでは、キーフレーム抽出タイプ情報に「１」が設定されており、映像区間の開始フレームがキーフレームとなる。

映像区間分類情報「１」には、パン操作における付属情報を用いた分類条件情報が格納されている。具体的に、撮影環境情報および操作情報を参照し、開始フレームがパンの開始であるか、ズーム中であるか、ショット中のパンの回数は１度であるか、ショット中のパンの長さは「大」であるか等が判断される。

図１４は映像区間分類情報「１」における分類条件情報を示す図である。映像区間分類情報「１」の分類判断処理タイプ情報は５つあるので、分類判断処理タイプ情報格納数には、「５」が格納される。５つの各分類判断処理タイプ情報には、分類判断処理タイプ、比較値および判定タイプ情報がそれぞれ設定されている。先頭の分類判断処理タイプ情報には、開始フレームの撮影環境情報のイベント種別を取得し、比較値（パン開始）と比較される分類判断処理タイプ１が格納されている。

２番目および３番目の分類判断処理タイプ情報には、開始フレームの操作情報のイベント種別を取得して比較を行う分類判断処理タイプ２が格納されている。４番目の分類判断処理タイプ情報には、ショット中のパン回数を取得して比較を行う分類判断処理タイプ３が格納されている。５番目の分類判断処理タイプ情報には、ショット中のパンの長さを取得して比較を行う分類判断処理タイプ４が格納されている。

これらの分類判断処理の結果、比較値に示す値と全て一致した場合、分類情報は「１」となる。そして、キーフレームは、キーフレーム抽出タイプ情報に格納されているキーフレーム抽出方法の「３」に該当する、パン中央フレームに設定される。この分類情報１の映像区間に分類される映像データは、パンによって撮影者がどのような空間にいるのかを意図して撮影したものと推測される。例えば、風景や会場内全体を撮影する場合、このような撮影方法が行われる。したがって、この分類情報１に分類される映像区間では、パンの最後よりパン中の映像に意味がある場合が多いと考えられるので、パン操作区間の中央フレームがキーフレームに設定される。

つぎに、分類情報が「２」である場合の映像区間分類情報を示す。分類情報２には、ズーム操作における付属情報を用いた映像区間分類条件情報が設定されている。図１３に示したように、撮影環境情報および操作情報を参照し、開始フレームがズームの開始であるか、そのズームの方向はテレ側であるか、パン中であるか、ショット中のズームが１回であるかによって判断される。

これらの判断処理の結果、比較値に示す値と全て一致した場合、分類情報は「２」となる。キーフレームは、キーフレーム抽出タイプ情報に格納されているキーフレーム抽出方法「２」である、終了フレームに設定される。この分類情報２の映像区間に分類される映像データは、ズームが縮小から拡大され、被写体全体が表示された画面から、注目して欲しい被写体の場所を表示することを意図して撮影されたものと推測される。したがって、ズームの開始に比べてズームの終了の方が重要であると考えられ、ズーム操作（縮小→拡大）の映像区間のズーム終了フレームがキーフレームに設定される。このように、付属情報の状態を取得して判断することにより、映像区間の分類が行われる。

図１５はユーザキーフレーム抽出履歴情報を示す図である。図１６はユーザキーフレーム抽出履歴リストの構造を示す図である。ユーザキーフレーム抽出履歴情報は、撮像装置に予め設定されているキーフレーム抽出方法によるキーフレームに対し、操作者がキーフレームの設定・変更を行ったときに作成され、操作者によるキーフレーム抽出方法が登録される情報である。キーフレームを抽出する映像区間の分類情報とキーフレームの変更が行われた映像区間の分類情報とが一致した場合、キーフレーム抽出履歴情報からキーフレーム抽出タイプ情報が取得され、キーフレーム抽出タイプ情報に対応するキーフレーム抽出方法でキーフレームが抽出される。

図１６に示すように、ユーザキーフレーム抽出履歴情報リストは、ユーザキーフレーム抽出履歴情報を取得するためのリストであり、ユーザキーフレーム抽出履歴情報リストには、ユーザ毎のキーフレーム抽出履歴情報の先頭ポインタが格納されている。つまり、ユーザ２のキーフレーム抽出履歴情報を取得する場合、ユーザ２キーフレーム抽出履歴情報ポインタをユーザキーフレーム抽出履歴情報リストから取得することにより、参照することが可能である。

図１５のユーザキーフレーム抽出履歴情報の各要素データを示す。要素データ「ユーザＩＤ」は、キーフレーム抽出履歴情報を保持するユーザを識別するものである。この要素データ「ユーザＩＤ」には、指紋検出部３１により取得されたユーザＩＤが使用される。要素データ「キーフレーム抽出履歴情報格納数」は、ユーザが保持しているキーフレーム抽出履歴情報の数を示す。要素データ「キーフレーム抽出履歴情報のリンク情報」には、キーフレーム抽出履歴情報への先頭アドレスが記述される。

図１６のユーザ１キーフレーム抽出履歴情報では、ユーザＩＤに、ユーザ１の識別情報が格納されている。ユーザ１に対するキーフレーム抽出履歴情報は、Ｎ個存在し、Ｎ個のキーフレーム抽出履歴情報の先頭ポインタは、各キーフレーム抽出履歴情報の格納場所を示している。

図１７はキーフレーム抽出履歴情報の構造を示す図である。図１８はキーフレーム抽出履歴情報リストの構造を示す図である。キーフレーム抽出履歴情報は、撮像装置に予め設定されている映像区間分類情報のキーフレーム抽出方法で抽出されたキーフレームに対し、操作者がキーフレームの変更を行ったときに作成され、キーフレームの変更が行われた映像区間のキーフレーム抽出方法が登録される情報である。

図１６に示すように、キーフレーム抽出履歴情報は、ユーザキーフレーム抽出履歴情報にリンクされており、ユーザキーフレーム抽出履歴情報に格納されているポインタを参照することにより取得される。取得したキーフレーム抽出履歴情報は、図１８に示すように、必要に応じてキーフレーム抽出詳細情報にリンクされる。

キーフレーム抽出履歴情報データの各要素データを示す。要素データ「分類情報」には、操作者がキーフレームを変更した映像区間におけるサブショット情報から取得された映像区間の分類タイプ（分類情報）が記述される。要素データ「キーフレーム抽出タイプ情報格納数」には、分類情報に分類される映像区間におけるキーフレーム抽出方法の数が記述される。要素データ「キーフレーム抽出タイプ情報」には、操作者がキーフレームを設定・変更して取得された新規のキーフレームの抽出方法が記述される。具体的に、マイナスの連番が格納されている場合、キーフレーム抽出詳細情報へのリンクを行うことを意味し、キーフレーム抽出詳細情報に格納された値を使用し、キーフレーム抽出が行われる。このキーフレーム抽出タイプ情報は、映像区間分類情報のキーフレーム抽出タイプ情報と同じであり、キーフレーム抽出タイプ情報格納数で指定された数だけ存在する。

図１９はキーフレーム抽出詳細情報の構造を示す図である。図２０はキーフレーム抽出詳細情報リストの構造を示す図である。キーフレーム抽出詳細情報は、キーフレーム抽出履歴情報の分類情報で分類される映像区間のキーフレーム抽出方法を示し、キーフレームを抽出するために使用される値を格納する。このキーフレーム抽出詳細情報は、分類情報におけるキーフレーム抽出方法（キーフレーム抽出詳細情報を参照する抽出方法を除く）と異なる値を必要とする抽出方法において、操作者によりキーフレームの変更が行われた場合に作成される。

図２０に示すように、キーフレーム抽出詳細情報リストには、キーフレーム抽出詳細情報の先頭ポインタが格納されている。このキーフレーム抽出詳細情報は、図１８に示すように、キーフレーム抽出履歴情報（キーフレーム抽出タイプ情報）から参照される。例えば、キーフレーム抽出履歴情報（キーフレーム抽出タイプ情報）に「−２」が指定されていた場合、キーフレーム抽出詳細情報タイプ情報２のキーフレーム抽出詳細情報が設定されていることを表す。

キーフレーム抽出詳細情報データの各要素データを示す。要素データ「キーフレーム抽出詳細情報タイプ情報」には、キーフレーム抽出方法（キーフレーム抽出詳細情報に格納されている値を利用して抽出する方法）の種別が記述される。キーフレーム抽出詳細情報タイプ情報には、連番が格納される。この連番は、キーフレーム抽出タイプ情報に、「−１」をかけた値である。また、要素データ「キーフレーム抽出関連値格納数」は、キーフレームの抽出を行うために使用される値の格納数を示す。要素データ「キーフレーム抽出関連値」は、キーフレームの抽出を行うために使用する値である。

図２１はキーフレーム抽出方法決定情報の構造を示す図である。図２２はキーフレーム抽出方法決定情報インデックスリストの構造を示す図である。キーフレーム抽出方法決定情報は、操作者が設定されたキーフレームを変更した場合、新規に設定されたキーフレームの抽出方法を特定するための情報である。このキーフレーム抽出方法決定情報は、新規キーフレームとして設定されたフレームの付属情報、および新規キーフレームのフレーム位置情報の少なくとも１つあるいはその組合せにより、キーフレーム抽出方法を特定するためのキーフレーム抽出方法条件情報、および全てのキーフレーム抽出条件情報と一致した映像区間におけるキーフレームを設定するためのキーフレーム抽出タイプ情報を保持する。

図２２で示すように、キーフレーム抽出方法決定情報は、分類情報毎に存在する。分類情報におけるインデックス情報は、キーフレーム抽出方法決定情報インデックスリストに格納される。このインデックス情報の要素データには、分類情報（映像区間の分類情報）、インデックス格納数（分類情報に分類される映像区間のキーフレーム抽出方法決定情報の先頭ポインタ格納数）、およびインデックス（キーフレーム抽出方法決定情報の先頭ポインタ）がある。

例えば、分類情報からキーフレーム抽出方法決定情報１を取得する場合、キーフレーム抽出方法決定情報インデックスリストのインデックス情報１を参照し、分類情報のインデックス情報１を取得する。このインデックス情報１から、キーフレーム抽出方法決定情報の先頭ポインタをインデックス格納数分（Ｑ個）取得し、キーフレーム抽出方法決定情報を取得する。つまり、操作者がキーフレームの変更操作を行った場合、キーフレームが変更になった映像区間の分類情報をサブショット情報から取得し、キーフレーム抽出方法決定情報インデックスリストから取得した分類情報を持つインデックス情報を求め、キーフレーム抽出方法決定情報を取得する。取得したキーフレーム抽出方法決定情報を基に、新規に設定されたキーフレームの抽出方法を特定する。また、キーフレーム抽出方法決定情報には、必ずキーフレームが抽出されるように、デフォルトのキーフレーム抽出方法決定情報が存在しており、例えば、映像区間中のキーフレーム位置の割合を求めて特定する方法などが記述されている。

キーフレーム抽出方法決定情報の各要素データを示す。要素データ「キーフレーム抽出方法条件情報」には、キーフレーム変更操作において、新規にキーフレームとなったフレームの位置を特定するためのキーフレーム抽出方法条件情報が記述される。

図２３はキーフレーム抽出方法条件情報の構造を示す図である。要素データ「キーフレーム抽出方法判断処理タイプ情報格納数」には、キーフレーム抽出方法判断処理タイプ情報で示される判断処理数が格納される。要素データ「キーフレーム抽出方法判断処理タイプ情報」は、新規に設定されたキーフレームのフレーム番号と、キーフレーム抽出方法判断処理で取得されたフレーム番号とを比較する際の処理タイプを示す。

例えば、キーフレーム抽出方法判断処理タイプ情報が「１」である場合、「サブショットの開始フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「２」である場合、「サブショットの終了フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「３」である場合、「ズーム（縮小→拡大）開始フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「４」である場合、「ズーム（縮小→拡大）終了フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「５」である場合、「ズーム（縮小→拡大）中間フレーム番号とキーフレーム番号を比較する処理である」ことを示す。この中間フレーム番号として、中間値の割合が取得される。

また、「６」である場合、「ズーム（拡大→縮小）開始フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「７」である場合、「ズーム（拡大→縮小）終了フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「８」である場合、「ズーム（拡大→縮小）中間フレーム番号とキーフレーム番号を比較する処理である」ことを示す。この中間フレーム番号として、中間値の割合が取得される。

また、「９」である場合、「チルト開始フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「１０」である場合、「チルト終了フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「１１」である場合、「チルト中間フレーム番号とキーフレーム番号を比較する処理である」ことを示す。この中間フレーム番号として、中間値の割合が取得される。

また、「１２」である場合、「パン開始フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「１３」である場合、「パン終了フレーム番号とキーフレーム番号を比較する処理である」ことを示す。「１４」である場合、「パン中間フレーム番号とキーフレーム番号を比較する処理である」ことを示す。この中間フレーム番号として、中間値の割合が取得される。

また、要素データ「キーフレーム抽出タイプ情報」には、キーフレーム抽出方法条件情報に一致した映像区間におけるキーフレームの抽出方法が記述される。このキーフレーム抽出タイプ情報は、キーフレーム抽出履歴情報のキーフレーム抽出タイプ情報と同じ値を有するので、その説明を省略する。

また、要素データ「判定タイプ情報」には、新規キーフレーム番号とフレーム番号を判定する方法が格納される。例えば、判定タイプ情報が「１」である場合、「＝」、つまり分類判断処理で取得された値と比較値とが等しいか否かを比較することを示す。「２」である場合、「！＝」、つまり分類判断処理で取得された値と比較値とが等しくないか否かを比較することを示す。「３」である場合、「＞」、つまり分類判断処理で取得された値が比較値より大きいか否かを比較することを示す。「４」である場合、「＜」、つまり分類判断処理で取得された値が比較値より小さいか否かを比較することを示す。「５」である場合、「≦」、つまり分類判断処理で取得された値が比較値以下であるか否かを比較することを示す。「６」である場合、「≧」、つまり分類判断処理で取得された値が比較値以上であるか否かを比較することを示す。

図２４はキーフレーム抽出方法決定情報の具体例を示す図である。図１３に示す映像区間分類情報を想定した場合の、キーフレーム抽出方法決定情報を示す。図２４には、図１３の映像区間分類情報（映像区間分類情報＝１）のキーフレーム抽出方法決定情報が示されている。

分類情報１のキーフレーム抽出方法決定情報では、インデックス情報がＳ個存在し、キーフレーム抽出方法決定情報の先頭ポインタがＳ個格納されている。キーフレーム抽出方法決定情報のポインタを取得した順番に、キーフレーム抽出方法決定情報を参照し、キーフレーム抽出方法決定情報のキーフレーム抽出条件情報に記述されている判断処理タイプ情報から、付属情報に関するフレーム番号を取得する。そして、新規に設定されたキーフレームのフレーム番号に対し、判定タイプ情報で指定された判定タイプの比較を行う。

キーフレーム抽出条件情報に格納されている判断処理が全て一致した場合、キーフレーム抽出方法決定情報に記述されているキーフレーム抽出タイプ情報を取得する。例えば、図２４に示す動画区間の分類情報１は、パンが１回行われ、パン区間が長い動画区間であることを示し、その分類情報１に関連する付属情報を用いたキーフレーム抽出条件情報が格納されたキーフレーム抽出方法決定情報が記述されている。

例えば、インデックス（ポインタ）１は、新規のキーフレームがパンの開始フレームであるか否かの判断処理タイプ情報を示しており、キーフレームとして設定されたフレーム番号を取得し、そのフレーム番号によって示される撮影環境情報のイベント種別がパン開始であるか否かを比較する。イベント種別がパン開始と一致した場合、キーフレームがパン開始位置に設定されたとみなされ、キーフレーム抽出方法決定情報に記述されているキーフレーム抽出方法として、キーフレーム抽出タイプ情報の「１３」のパン開始フレームを決定する。

また例えば、インデックス（ポインタ）３には、新規キーフレームがパンの中間フレームであるか否かを判断するための判断処理タイプ情報が記述されている。キーフレームとして設定されたフレーム番号の撮影環境情報のイベント種別を参照し、イベント種別が比較値（パン継続）と等しいか否かを比較する。パン継続であった場合、そのパン中のどのフレームがキーフレームとなったのか、その位置情報を数式（１）にしたがって算出する。

位置情報＝（キーフレームとなるフレームの番号―パン開始フレーム番号）／（パン終了フレーム番号―パン開始フレーム番号） …… （１）
この算出された値は、キーフレーム抽出詳細情報（図１９参照）に格納される。パンフレームの中間にキーフレームを設定するキーフレーム抽出方法が格納されたキーフレーム抽出詳細情報のタイプ情報を、キーフレーム抽出タイプ情報から取得する。図２４では、キーフレーム抽出詳細情報のタイプ情報は、「３」＝（−３）×（−１）である。キーフレーム抽出詳細情報のタイプ情報が「３」であるキーフレーム抽出詳細情報に、数式（１）により算出された値を格納する。例えば、取得（算出）した値が「０．１」であった場合、図２０に示すように、キーフレーム抽出詳細情報のタイプ情報３の関連値１に「０．１」が格納される。

上記構成を有する撮像装置のキーフレーム設定処理動作を示す。図２５および図２６は撮像装置におけるキーフレーム設定処理手順を示すフローチャートである。この処理プログラムは、撮像装置内の記憶媒体に格納されており、撮像装置内のＣＰＵ（具体的には、システム制御部２３内のＣＰＵおよび映像管理部１７内のＣＰＵ）によって、電源ＯＮ後に実行される。

まず、初期化処理を行い（ステップＳ１）、操作入力部２４から入力を待つ（ステップＳ２）。操作入力部２４から何らかの入力があった場合、入力操作の内容を判別する。即ち、入力操作がＲＥＣボタン２７の押下による撮影開始であるか否かを判別する（ステップＳ３）。入力操作がＲＥＣボタン２７の押下であった場合、撮影処理を行う（ステップＳ６）。このとき、前述した操作情報および撮影環境情報を記録部２９に出力するとともに、ＲＡＭ４３内の撮影環境情報リストに時系列順で一時記憶する。

撮影が終了したか否かを判別し（ステップＳ７）、終了していない場合、撮影が終了するまで、ステップＳ６の処理を繰り返す。ここで、撮影の終了は、ＲＥＣボタン２７が再び押下された場合、記録メディア３０の記録容量が一杯になった場合、電源を供給できなくなりそうな場合など、いずれかの条件が満たされた時に行われる。

ステップＳ７で撮影が終了した場合、撮影された映像データをサブショット映像区間毎に分割する映像分割処理を行う（ステップＳ８）。分割された映像区間を代表するフレーム画像を設定するキーフレーム設定処理を行う（ステップＳ９）。このキーフレーム設定処理の詳細については後述する。この後、ステップＳ２の処理に戻り、次の入力操作を待つ。

一方、ステップＳ３で入力操作がＲＥＣボタン２７の押下でなかった場合、キーフレーム一覧表示の指示が行われたか否かを判別する（ステップＳ４）。このキーフレーム一覧表示の指示は、予めキーフレーム一覧表示の機能が設定された操作入力部（操作パネル）２４のボタン等が押された場合、メニューボタン３２からキーフレーム一覧表示が指定された場合などで、実行可能である。キーフレーム一覧表示の指示が行われた場合、キーフレームの一覧表示処理を行う（ステップＳ１０）。この後、ステップＳ２の処理に戻り、次の入力操作を待つ。このキーフレーム一覧表示処理では、サブショット情報リスト（図９参照）に登録されている全てのポインタからサブショット情報を取得し、そのサブショット情報（図８参照）の要素データＫｅｙＦｒａｍｅからキーフレームとなるフレーム番号を取得し、その対応する画像データを取得して表示部１８に表示する。

図４９は動画区間毎のキーフレームを一覧表示する操作画面を示す図である。この操作画面では、撮影された映像を分割した動画（映像）区間毎のキーフレームが一覧表示されている。サブショット情報も、動画区間ＡからＰに対して作成される。後述するように、動画区間Ｂにおけるキーフレームの変更操作が行われた場合、動画区間Ｂにおけるキーフレームの変更処理が開始する。

一方、ステップＳ４でキーフレーム一覧表示指示が行われていない場合、キーフレームの変更指示が行われたか否かを判別する（ステップＳ５）。このキーフレームの変更指示の有無は、予めキーフレーム変更の機能が設定された操作入力部（操作パネル）２４のメニューボタン３２によってキーフレーム変更が選択されること等で判別可能である。キーフレームの変更指示が行われた場合、キーフレームの変更処理を行う（ステップＳ１１）。このキーフレームの変更処理の詳細については後述する。この後、ステップＳ２の処理に戻り、次の入力操作を待つ。

一方、ステップＳ５でキーフレーム変更指示が行われていない場合、ユーザ認識指示が行われたか否かを判別する（ステップＳ１２）。このユーザ認識指示の有無は、指紋検出部３１のセンサ部に指が押し当てられたことにより判別可能である。ユーザ認識指示が行われた場合、ユーザ識別処理を行う（ステップＳ１３）。この後、ステップＳ２の処理に戻り、次の入力操作を待つ。このユーザ識別処理では、特許文献２に示される指紋認識技術が用いられ、指紋検出部３１に押し当てられた指によって生じた影をセンサ部で指紋であると検出し、この指紋を、予め記憶されたユーザ認識データリスト（ユーザＩＤと指紋データが対であるリスト）からの指紋データと照合する。指紋データが一致した場合、操作者を識別するユーザＩＤが取得される。一方、指紋データが一致しなかった場合、新規ユーザとして、指紋データとユーザＩＤがユーザ認識データリストに登録される。そして、現在使用されている操作者のユーザＩＤは、ＲＡＭ４３に保持される。

一方、ステップＳ１２でユーザ認識指示がなかった場合、その他の処理を行い（ステップＳ１４）、ステップＳ２の処理に戻る。また、割込み信号４６による割り込みが発生した場合、本処理を中断して必要な割り込み処理が行われる。

図２７はステップＳ８における映像分割処理手順を示すフローチャートである。本実施形態では、撮像装置で撮影された映像データは、ショット単位（録画操作の開始・終了を基準に分割された単位）に分割される。さらに、ショット内の映像データは、操作情報（ズームなどの操作情報）、撮影環境情報（パンやチルトなどの情報）などの情報を基に、サブショット単位に分割される。

まず、記憶されている撮影環境情報リストの先頭にポインタを設定する（ステップＳ２１）。ポインタで示された撮影環境情報のイベント種別情報がパンの開始であるか否かを判別する（ステップＳ２２）。パン開始であった場合、ズーム区間中であるか否かを判別する（ステップＳ２３）。この判別は、パン中にズームを開始するなど、複数の操作が同一時間内で行われた場合、最初に発生した操作に着目し、サブショットに分割するために行われる。また、撮影環境情報リスト内の現在処理されているポインタから、撮影環境情報データリストの前後の要素データを参照することで行われる。

ステップＳ２３でズーム中でなかった場合、画面上の移動量を換算する（ステップＳ２４）。同じ回転角度であっても、撮像装置がズーミングを行っている場合、画面上の移動は激しいものとなる。そこで、回転角度に、ズーム位置毎に予め決められた係数を掛けることによって換算を行う。そして、撮影環境情報リスト内の現在処理中のポインタからパン終了時までのパン全体における総移動量を算出する。

画面上の移動量が閾値を越えているか否かを判別する（ステップＳ２５）。閾値を越えている場合、前回のパン操作終了との時間差が閾値を越えているか否かを判別する（ステップＳ２６）。これは、高頻度に行われた操作を、サブショットの対象外とするためである。前回のパン操作終了との時間差が閾値を越えている場合、パン開始点を分割点とする（ステップＳ２７）。

映像の分割点が決定された場合、分割点の前に位置する映像のサブショット情報における終了点、キーフレーム数およびサブショット情報を新規に作成し、サブショット情報に追加する。一方、新規サブショット情報には、開始点が格納される。これらのサブショット情報は、操作情報および撮影環境情報と同様、記録部２９に出力される他、ＲＡＭ４３内のサブショット情報リストに時系列順で一時記憶される。

この後、ステップＳ３２の処理に移行する。また、ステップＳ２３でズーム区間中であった場合、ステップＳ２５で画面上の移動量が閾値を越えていない場合、またはステップＳ２６で前回のパン操作終了との時間差が閾値を越えていない場合、分割点を決定することなく、ステップＳ３２の処理に移行する。

一方、ステップＳ２２の判別の結果、撮影環境情報のイベント種別情報がパン開始でなかった場合、撮影環境情報のイベント種別情報がズーム開始であるか否かを判別する（ステップＳ２８）。ズーム開始であった場合、パン区間中であるか否かを判別する（ステップＳ２９）。このズーム中におけるパン区間中であるか否かの判別は、パン中におけるズーム区間中であるか否かの判別と同様の理由で行われる。

ステップＳ２９でパン区間中でなかった場合、ズーム開始は撮影者の意図したものであるか否かを判別する（ステップＳ３０）。この処理では、複数のズーム操作が行われた場合でも、撮影者は１回のズーム操作を意図していたものと推測する。例えば、初心者に特徴的な操作であって、ワイドボタン２５あるいはテレボタン２６の操作を意図したズーム倍率で止めることができず、それを補正するために逆方向に戻す操作を行ったと推測される。このことは、ズーム操作を終了してから戻し操作を始めるまでの時間が所定の範囲内であること、ズームスピードが高速であること、ズームの方向が逆になること等から、推測可能である。また、初心者の操作には、ズームを滑らかに行わず、断続的に行うという特徴がある。このような断続的な操作は、時間差とズームの方向から推測可能であり、連続したズーム区間で行われたとみなす。

ステップＳ３０の判別の結果、ズーム開始が撮影者の意図したものであると推測された場合、ズーム開始点を分割点とする（ステップＳ３１）。前述したように、映像の分割点が決定された場合、分割点の前に位置する映像のサブショット情報における終了点、キーフレーム数およびサブショット情報を新規に作成し、サブショット情報リストに追加する。また、新規のサブショット情報には、開始点が登録される。これらのサブショット情報は、操作情報および撮影環境情報と同様、記録部２９に出力される他、ＲＡＭ４３内のサブショット情報リストに時系列順で一時記憶される。撮影環境情報リストの現在のポインタにおける処理が終了すると、ステップＳ３２の処理に進む。また、ステップＳ２８でズーム開始でない場合、ステップＳ２９でパン区間中である場合、あるいはステップＳ３０でズーム開始が撮影者の意図したものでない場合、分割点を決定することなく、ステップＳ３２の処理に進む。そして、次の入力操作情報があるか否かを判別する（ステップＳ３２）。次の入力操作情報がある場合、ステップＳ２２の処理に戻り、一方、次の入力操作情報がない場合、本処理を終了する。

図２８はステップＳ９におけるキーフレーム設定処理手順を示すフローチャートである。まず、キーフレームの設定を行う操作者のユーザＩＤをＲＡＭ４３から取得する（ステップＳ４１）。ユーザＩＤが設定されていなかった場合、本撮像装置に予め指定されている共通ユーザのユーザＩＤが取得される。

キーフレーム設定処理を行うための初期化処理を行う（ステップＳ４２）。例えば、キーフレームを抽出するサブショット情報リストの先頭にポインタを移動する。そして、サブショット情報リストに示される映像区間毎のキーフレームの設定が終了であるか否かを判別し（ステップＳ４３）、キーフレーム設定終了である場合、本処理を終了する。一方、キーフレーム設定終了でない場合、ステップＳ４４の処理に移行する。

サブショット情報リストおよびサブショット情報を参照し、キーフレームを設定する映像区間の分類情報を取得する（ステップＳ４４）。この分類情報の取得処理は、サブショットの映像区間に関する付属情報（撮像環境情報および操作情報など）を参照し、映像区間分類情報に格納されている分類条件情報を基に判定して行われる。この分類情報の取得処理の詳細については後述する。ステップＳ４１で取得したユーザＩＤから操作者のキーフレーム抽出履歴情報を取得し、その中からステップＳ４４で取得した分類情報のキーフレーム抽出履歴情報を取得する（ステップＳ４５）。ステップＳ４４で取得した分類情報を基に、キーフレーム抽出タイプ情報を検索して取得する（ステップＳ４６）。ステップＳ４６で取得したキーフレーム抽出タイプ情報を用いて、キーフレームの抽出を行う（ステップＳ４７）。ステップＳ４７で抽出されたキーフレームのフレーム番号をサブショット情報の要素データＫｅｙｆｒａｍｅに格納する（ステップＳ４８）。このとき、要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅの情報は、抽出されたキーフレームに応じて加算される。映像区間分類情報にキーフレーム抽出タイプ情報が２つある場合、キーフレームを２つ取得し、取得したキーフレーム番号が同一でなかった場合、サブショット情報の要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅの情報は、「＋２」加算される。取得した２つのフレーム番号は要素データＫｅｙｆｒａｍｅに登録される。

図２９および図３０はステップＳ４４における分類情報の取得処理手順を示すフローチャートである。まず、映像区間分類情報リストの先頭にポインタＩを設定する（ステップＳ５１）。例えば、図１１に示す映像区間分類情報リストの映像区間分類情報１先頭ポインタにポインタＩを移動させる。そして、ポインタＩが映像区間分類情報リストの末尾に移動したか否かを判別する（ステップＳ５２）。つまり、全ての映像区間分類情報を参照したか否かを判断する。ステップＳ５２で、全ての映像区間分類情報を参照した場合、当てはまる分類情報が存在しなかったことを意味するので、デフォルトの分類情報を設定し（ステップＳ６７）、本処理を終了する。

一方、ステップＳ５２で全ての映像区間分類情報が参照されていない場合、ポインタＩで示される映像区間分類情報を取得する（ステップＳ５３）。図１１に示す映像区間分類情報１先頭ポインタを取得し、映像区間分類情報１を取得する。映像区間分類情報の分類条件情報に格納されている分類判断処理タイプ情報格納数を取得する（ステップＳ５４）。分類情報１（図１３参照）における分類条件情報（図１４参照）では、分類判断処理タイプ情報格納数に「５」が格納されているので、分類判断処理タイプ情報格納数として、「５」が取得される。

この後、ステップＳ５５〜Ｓ５７の処理で、分類条件情報に格納されている分類判断処理を行い、全ての分類判断処理で一致するか否かを判断する。全ての分類判断処理で一致した場合、この分類条件情報を有する分類情報に分類される。まず、分類条件情報に格納されている分類判断処理タイプ情報の分類判断処理を全て終了したか否かを判別する（ステップＳ５５）。分類判断処理を全て終了した場合、ステップＳ６５の処理に移行する。一方、ステップＳ５５で、分類判断処理を全て終了していない場合、次の分類判断処理タイプ情報の分類判断処理を行う。

分類判断処理タイプ情報の値が「１」〜「Ｌ」（Ｌは分類判断処理タイプ情報の定義数であり、分類情報１では値５）までであるか否かを判別する（ステップＳ５６）。「１」〜「Ｌ」まででない場合、映像区間分類情報リストのポインタＩを加算し（ステップＳ５６Ａ）、ステップＳ５２の処理に戻り、次の映像区間分類情報の判定に移行する。

一方、ステップＳ５６で分類判断処理タイプ情報の値が「１」〜「Ｌ」までであった場合、ステップＳ５９〜Ｓ６４で分類判断処理タイプ情報毎の分類判断処理を行う。すなわち、分類判断処理タイプ情報が「１」であるか否かを判別する（ステップＳ５９）。分類判断処理タイプ情報が「１」である場合、分類判断処理タイプ情報１の判断処理を行い（ステップＳ６０）、ステップＳ５７の処理に移行する。一方、分類判断処理タイプ情報が「１」でない場合、分類判断処理タイプ情報が「２」であるか否かを判別する（ステップＳ６１）。分類判断処理タイプ情報が「２」である場合、分類判断処理タイプ情報２の判断処理を行い（ステップＳ６２）、ステップＳ５７の処理に移行する。一方、分類判断処理タイプ情報が「２」でない場合、分類判断処理タイプ情報１、２と同様の処理を、分類判断処理タイプ情報が「Ｌ−１」まで行う。そして、分類判断処理タイプ情報が「Ｌ−１」でない場合、分類判断処理タイプ情報が「Ｌ」であるか否かを判別する（ステップＳ６３）。分類判断処理タイプ情報が「Ｌ」である場合、分類判断処理タイプ情報Ｌの判断処理を行い（ステップＳ６４）、ステップＳ５７の処理に移行する。尚、この分類判断処理の詳細については後述する。

このように、ステップＳ５９〜ステップＳ６４で分類判断処理タイプ情報毎の分類判断処理を行った後、各分類判断処理の結果が真である（一致するとみなされる）か否かを判別する（ステップＳ５７）。各分類判断処理の戻り値が真でなかった場合、ポインタＩを加算し（ステップＳ５８）、ステップＳ５２に戻り、次の映像区間分類情報に移行する。一方、ステップＳ５７で一致するとみなされた場合、ステップＳ５５に戻って次の分類判断処理タイプ情報に移行する。

ステップＳ５５で分類判断処理タイプ情報の分類判断処理を全て終了した場合、分類判断処理タイプ情報の全ての分類判断処理が一致して真となったか否かを判別する（ステップＳ６５）。分類条件情報の分類判断処理の結果が全て真となった映像区間分類情報が存在する場合、分類情報を取得し（ステップＳ６６）、本処理を終了する。一方、分類条件情報の分類判断処理が全て真とはならなかった場合、ステップＳ５２の処理に戻る。そして、ステップＳ５２で全ての映像区間分類情報を参照し終えた場合、前述したように、ステップＳ６７でデフォルトの分類情報を設定し、本処理を終了する。

例えば、図１４に示す最初の分類判断処理では、分類判断処理タイプ情報１を設定し、開始フレームの撮影環境情報のイベント種別情報を取得することが示されている。そして、取得したイベント種別情報と比較値（０：パン開始）との比較を、判定方法タイプ１（＝）で行うことが示されている。つまり、等しいか否かの比較が行われる。

図３１はステップＳ６０における分類判断処理タイプ情報１の判断処理手順を示すフローチャートである。まず、比較値（０：パン開始）および判定方法タイプ情報（１：＝）を取得する（ステップＳ７１）。サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得し、そのフレーム番号と一致する撮影環境情報を検索し、そのイベント種別情報を求める（ステップＳ７２）。

ステップＳ７１で取得した判定方法タイプを判別する（ステップＳ７３）。つまり、判定タイプが「１：＝」である場合、等しいか否かの比較を行い（ステップＳ７５）、ステップＳ７４の処理に移行する。判定タイプが「２：！＝」である場合、等しくないか否かの比較を行い（ステップＳ７６）、ステップＳ７４の処理に移行する。判定タイプが「３：＞」である場合、イベント種別情報が比較値より大きいか否かの比較を行い（ステップＳ７７）、ステップＳ７４の処理に移行する。判定タイプが「４：＜」である場合、イベント種別情報が比較値より小さいか否かの比較を行い（ステップＳ７８）、ステップＳ７４の処理に移行する。このような処理を判定タイプが「Ｔ−１」まで行った後（ここで、「Ｔ」は値５以上の数）、判定タイプが「Ｔ」である場合、「Ｔ」に対応する判定タイプでイベント種別情報と比較値の比較を行い（ステップＳ７８）、ステップＳ７４の処理に移行する。一方、ステップＳ７３で判定タイプが上記いずれの値でもなく、その他（ｅｔｃ）である場合、ステップＳ８２の処理に移行する。

ここでは、判定方法タイプが「１」、つまり「＝」であるので、ステップＳ７５において、ステップＳ７２で取得したイベント種別情報とステップＳ７１で取得した比較値（０：パン開始）とを比較する。この比較が成立して真であるか否かを判別する（ステップＳ７４）。比較の結果、成立している場合、戻り値として「１」を設定し（ステップＳ８１）、本処理を終了する。一方、比較の結果、不成立である場合、戻り値として「０」を設定し（ステップＳ８２）、本処理を終了する。

つづいて、図１４の２番目の分類判断処理を示す。図３２はステップＳ６０における分類判断処理タイプ情報２の判断処理手順を示すフローチャートである。図３１と同一のステップ処理については同一のステップ番号を付すことにする。まず、分類判断処理タイプ情報２を設定し、開始フレームの操作情報のイベント種別情報を取得する。そして、取得したイベント種別情報と比較値（１：ズーム継続）との比較を、判定方法タイプ２、つまり「！＝」で行う。

具体的に、前述したステップＳ７１で、比較値（１：ズーム継続）および判定方法タイプ情報（２：！＝）を取得する。サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得し、そのフレーム番号と一致する操作情報を検索し、そのイベント種別情報を求める（ステップＳ７２Ａ）。ステップＳ７１で取得した判定方法タイプが「２」、つまり「！＝」であるので、ステップＳ７３でステップＳ７６の処理に分岐する。ステップＳ７６では、ステップＳ７２で取得したイベント種別情報とステップＳ７１で取得した比較値（１：ズーム継続）とが等しくない（「！＝」である）か否かを比較する。そして、ステップＳ７４、Ｓ８１、Ｓ８２で比較した結果の値を戻り値として設定し、本分類判断処理タイプ２の判断処理を終了する。同様に、図１４の３番目の分類判断処理を示す。この分類判断処理手順は、比較値が異なるだけで２番目の分類判断処理と同様であるので、その説明を省略する。

図１４の４番目の分類判断処理では、分類判断処理タイプ情報３を設定し、サブショット中のパンの回数を取得することが示されている。この分類判断処理では、取得したイベント種別と比較値（１：パン継続）との比較を、判定方法タイプ１、つまり「＝」で行う。図３３はステップＳ６０における分類判断処理タイプ情報３の判断処理手順を示すフローチャートである。図３１と同一のステップ処理については同一のステップ番号を付すことにする。ステップＳ７１で、比較値（１：パン継続）および判定方法タイプ情報（１：＝）を取得する。そして、サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得し、要素データＥｎｄＴｉｍｅから終了フレーム番号を取得し、そのフレーム番号内のフレーム番号と一致する撮影環境情報を取得し、そのイベント種別が「パン開始」の数を求める（ステップＳ７２Ｂ）。ステップＳ７３では、ステップＳ７１で取得した判定方法タイプが「１」、つまり「＝」であるので、ステップＳ７５で、ステップＳ７２Ｂで取得したパン開始の数とステップＳ７１で取得した比較値（１：パン継続）とが等しい（「＝」である）かを比較する。ステップＳ７４、Ｓ８１、Ｓ８２で比較した結果の値を戻り値として設定し、本分類判断処理タイプ４の判断処理を終了する。

図１４の５番目の分類判断処理では、分類判断処理タイプ情報４を設定し、パンの長さを取得することが示されている。この分類判断処理では、取得したイベント種別と比較値（予め設定されたパンの長さが大きいことを示す閾値）との比較を、判定方法タイプ３、つまり「＞」で行う。図３４はステップＳ６０における分類判断処理タイプ情報４の判断処理手順を示すフローチャートである。図３１と同一のステップ処理については同一のステップ番号を付すことにする。ステップＳ７１で、比較値（閾値）および判定方法タイプ情報（３：＞）を取得する。サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得し、要素データＥｎｄＴｉｍｅから終了フレーム番号を取得し、パン開始からパン終了までの時間を取得する（ステップＳ７２Ｃ）。

ステップＳ７３において、ステップＳ７１で取得した判定方法タイプが「３」、つまり「＞」であるので、ステップＳ７７に分岐し、ステップＳ７７では、ステップＳ７２Ｃで取得したパン開始からパン終了までの時間がステップＳ７１で取得した比較値（閾値）より長い（「＞」である）かを比較する。そして、ステップＳ７４、Ｓ８１、Ｓ８２で比較した結果の値を戻り値として設定し、本分類判断処理タイプ４の判断処理を終了する。

図３５はステップＳ４７におけるキーフレーム抽出処理手順を示すフローチャートである。まず、キーフレーム抽出タイプ情報がマイナス値であるか否かを判別する（ステップＳ９１）。マイナス値であった場合、キーフレーム抽出詳細情報によるキーフレーム抽出を行い（ステップＳ９２）、本処理を終了する。このキーフレーム抽出詳細情報によるキーフレーム抽出処理の詳細については後述する。

一方、ステップＳ９１でキーフレーム抽出タイプ情報がマイナス値でなかった場合、ステップＳ９３からステップＳ９８までの処理によって、キーフレーム抽出タイプ情報に応じたキーフレーム抽出処理が行われる。具体的に、キーフレーム抽出タイプ情報が「１」であるか否かを判別する（ステップＳ９３）。キーフレーム抽出タイプ情報が「１」である場合、キーフレーム抽出タイプ１でサブショット映像区間の先頭フレームを取得する（ステップＳ９４）。この後、本処理を終了する。

一方、ステップＳ９３でキーフレーム抽出タイプ情報が「１」でない場合、キーフレーム抽出タイプ情報が「２」であるか否かを判別する（ステップＳ９５）。キーフレーム抽出タイプ情報が「２」である場合、キーフレーム抽出タイプ２でサブショット映像区間の終了フレームを取得する（ステップＳ９６）。この後、本処理を終了する。同様に、ステップＳ９５でキーフレーム抽出タイプ情報が「２」でない場合、キーフレーム抽出タイプ情報が「Ｖ−１」まで同様の処理を行い（「Ｖ」はキーフレーム抽出タイプ情報における値３以上の数）、キーフレーム抽出タイプ情報が「Ｖ−１」でない場合、キーフレーム抽出タイプ情報が「Ｖ」であるか否かを判別する（ステップＳ９７）。キーフレーム抽出タイプ情報が「Ｖ」である場合、キーフレーム抽出タイプ情報が「Ｖ」に対応するキーフレーム抽出処理を行う（ステップＳ９８）。この後、本処理を終了する。一方、キーフレーム抽出タイプ情報が「Ｖ」でない場合、そのまま本処理を終了する。

つぎに、キーフレーム抽出タイプ情報毎のキーフレーム抽出処理を示す。図３６は開始フレームをキーフレームとして設定するキーフレーム抽出タイプ情報１のキーフレーム抽出処理手順を示すフローチャートである。まず、サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得する（ステップＳ１０１）。サブショット情報の要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅを値１加算する（ステップＳ１０２）。サブショット情報の要素データＫｅｙｆｒａｍｅに、ステップＳ１０１で取得したフレーム番号を格納する（ステップＳ１０３）。この後、本処理を終了する。これにより、開始フレームがキーフレームとして設定される。

図３７は終了フレームをキーフレームとして設定するキーフレーム抽出タイプ情報２のキーフレーム抽出処理手順を示すフローチャートである。まず、サブショット情報の要素データＥｎｄＴｉｍｅから終了フレーム番号を取得する（ステップＳ１１１）。サブショット情報の要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅを値１加算する（ステップＳ１１２）。サブショット情報の要素データＫｅｙｆｒａｍｅに、ステップＳ１１１で取得したフレーム番号を格納する（ステップＳ１１３）。この後、本処理を終了する。これにより、終了フレームがキーフレームとして設定される。

図３８はパン中の中間フレームをキーフレームとして設定するキーフレーム抽出タイプ情報３のキーフレーム抽出処理手順を示すフローチャートである。まず、サブショット情報の要素データＳｔａｒｔＴｉｍｅから開始フレーム番号を取得する（ステップＳ１２１）。サブショット情報の要素データＥｎｄＴｉｍｅから終了フレーム番号を取得する（ステップＳ１２２）。ステップＳ１２１およびステップＳ１２２で取得したフレーム番号の範囲内における撮影環境情報を参照し、パン開始フレーム番号およびパン終了フレーム番号を取得し、数式（２）にしたがって、パン中間フレーム番号を求める（ステップＳ１２３）。

（パン終了フレーム番号−パン開始フレーム番号）／２＋パン開始フレーム番号 ……（２）
サブショット情報の要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅを値１加算する（ステップＳ１２４）。サブショット情報の要素データＫｅｙｆｒａｍｅに、ステップＳ１２３で取得したフレーム番号を格納する（ステップＳ１２５）。この後、本処理を終了する。これにより、パン中の中間フレームはキーフレームとして設定される。

図３９はステップＳ９２におけるキーフレーム抽出詳細情報を用いたキーフレーム抽出処理手順を示すフローチャートである。まず、ステップＳ４６で取得されたキーフレーム抽出タイプ情報を用いてキーフレーム抽出詳細情報を検索する（ステップＳ１３１）。キーフレーム抽出詳細情報タイプ情報を参照する場合（図１８参照）、キーフレーム抽出情報タイプ情報には、「−１」が掛けられているので、キーフレーム抽出タイプ情報の値に「ー１」を掛けて、キーフレーム抽出詳細情報タイプ情報が取得される。この取得したキーフレーム抽出詳細情報タイプ情報を用いて検索することで、キーフレーム抽出詳細情報は取得される。取得したキーフレーム抽出詳細情報に格納されているキーフレーム抽出関連値を全て順に取得する（ステップＳ１３２）。

そして、ステップＳ１３３からステップＳ１３８までの処理によって、キーフレーム抽出詳細情報タイプ情報毎に取得した関連値を使用し、キーフレーム抽出処理を行う。具体的に、キーフレーム抽出詳細情報タイプ情報が「１」であるか否かを判別する（ステップＳ１３３）。「１」である場合、キーフレーム抽出詳細情報タイプ情報１のキーフレーム抽出処理を行い（ステップＳ１３４）、本処理を終了する。一方、「１」でない場合、キーフレーム抽出詳細情報タイプ情報が「２」であるか否かを判別する（ステップＳ１３５）。「２」である場合、キーフレーム抽出詳細情報タイプ情報２のキーフレーム抽出処理を行い（ステップＳ１３６）、本処理を終了する。一方、「２」でない場合、キーフレーム抽出詳細情報タイプ情報が「Ｎ−１」となるまで同様の処理を行い（ここで、Ｎはキーフレーム抽出詳細情報タイプ情報のうち、「３」以上の数）、キーフレーム抽出詳細情報タイプ情報が「Ｎ−１」でない場合、キーフレーム抽出詳細情報タイプ情報が「Ｎ」であるか否かを判別する（ステップＳ１３７）。「Ｎ」である場合、キーフレーム抽出詳細情報タイプ情報Ｎのキーフレーム抽出処理を行い（ステップＳ１３８）、本処理を終了する。一方、「Ｎ」でない場合、そのまま本処理を終了する。

例えば、キーフレーム抽出詳細情報タイプ情報が「３」である場合、つまり、キーフレームがパン中に存在する場合、キーフレーム設定処理として、ステップＳ１３２で取得したパン中のキーフレーム抽出関連値の位置にキーフレームを設定する処理を行う。

図４０はキーフレーム抽出詳細情報タイプ情報３のキーフレーム抽出処理手順を示すフローチャートである。このキーフレーム抽出詳細情報タイプ情報３のキーフレーム抽出処理では、キーフレームは、キーフレーム抽出詳細情報３のキーフレーム抽出関連値（サブショット情報のパン開始フレーム中の割合を示す値）に従って抽出される。

まず、サブショット情報の開始フレーム番号および終了フレーム番号を取得し、その範囲内のフレーム番号の中から、撮影環境情報を参照し、イベント種別がパン開始であるものを検索し、パン開始フレーム番号を取得する（ステップＳ１４１）。同様に、サブショット情報の開始フレーム番号および終了フレーム番号の範囲内のフレーム番号の中から、撮影環境情報を参照し、イベント種別がパン終了であるものを検索し、パン終了フレーム番号を取得する（ステップＳ１４２）。この後、ステップＳ１３２で取得したキーフレーム抽出関連値（０．１）を基に、数式（３）にしたがって、キーフレーム番号を計算して取得する（ステップＳ１４３）。

（パン終了フレーム番号―パン開始フレーム番号）×０．１＋パン開始フレーム番号 …… （３）
サブショット情報の要素データＮｕｍｂｅｒＯｆＫｅｙｆｒａｍｅを値１加算し（ステップＳ１４４）、ステップＳ１４３で取得したキーフレーム番号をサブショット情報の要素データＫｅｙｆｒａｍｅに設定する（ステップＳ１４５）。この後、本処理を終了する。

図４１はステップＳ１１におけるキーフレーム変更処理手順を示すフローチャートである。まず、キーフレームを変更する動画（映像）区間を取得する（ステップＳ１５１）。この動画区間は、例えば、キーフレーム一覧表示処理（ステップＳ１０参照）によって表示部１８に表示されたキーフレームの一覧から、操作者がキーフレームを選択することで、変更される。

図５０は動画区間におけるキーフレームの変更処理を行う際の操作画面を示す図である。この操作画面の上位部分では、現在変更中のキーフレームのポイント表示が行われる。ここでは、動画区間Ｂのサムネイル画像を太枠で表示することにより、ポイント表示が行われる。一方、この操作画面の下位部分では、動画区間Ｂのフレーム画像が表示される。さらに、現在キーフレームとなっているフレーム画像および選択中のフレーム画像がポイント表示される。ここでは、フレーム画像Ｂ１が現在キーフレームとなっているフレーム画像であり、点線枠で表示される。また、フレーム画像Ｂ３は現在選択中のフレーム画像である。この操作画面で設定を行うと、キーフレームはフレーム画像Ｂ３に設定される。

このようにして新規に設定されるキーフレームの選択処理を行う（ステップＳ１５２）。尚、このキーフレームの選択処理は、特に限定されない。例えば、ステップＳ１５１で取得したサブショット情報の要素データＳｔａｒｔＴｉｍｅおよび要素データＥｎｄＴｉｍｅを用いて動画を再生し、キーフレームとして使用したい画像が表示された時点で、操作者が操作入力部２４のＳｔｏｐボタンを押下することで、キーフレームの選択が行われるようにしてもよい。また、要素データＳｔａｒｔＴｉｍｅおよび要素データＥｎｄＴｉｍｅ間のフレーム全てを、同時にもしくは階層的に表示し、そのフレームの一覧から、操作者がキーフレームを選択するようにしてもよい。選択されたキーフレームとなるフレーム番号をサブショット情報の要素データＫｅｙＦｒａｍｅに格納する（ステップＳ１５３）。

キーフレーム抽出履歴情報にキーフレームの抽出方法を登録するか否かを判別する（ステップＳ１５４）。この判別処理では、予めキーフレームの変更時、キーフレーム抽出履歴情報を作成するか否かの情報を環境ファイル等に記述しておき、その情報を取得して判別してもよいし、あるいはキーフレームの変更時、操作者がキーフレーム抽出履歴情報を作成するか否かを確認することによって判別してもよく、特に限定されない。

ステップＳ１５４で、キーフレーム抽出履歴情報に登録する場合、キーフレーム抽出履歴情報の登録処理を行い（ステップＳ１５５）、ステップＳ１５６の処理に移行する。一方、ステップＳ１５４で、キーフレーム抽出履歴情報に登録しない場合、そのままステップＳ１５６の処理に移行する。類似動画区間におけるキーフレームの変更処理を行うか否かを判別する（ステップＳ１５６）。この判別処理では、ステップＳ１５４と同様、予めキーフレーム変更時、類似動画区間におけるキーフレームの変更処理を行うか否かの情報を、保持する環境ファイル等から取得して判別してもよいし、あるいはキーフレーム変更時、操作者が変更するか否かを確認することによって判別してもよく、特に限定されない。

ステップＳ１５６で、類似動画区間のキーフレーム変更を行う場合、類似動画区間のキーフレーム変更処理を行い（ステップＳ１５７）、本キーフレーム変更処理を終了する。一方、ステップＳ１５６で、類似動画区間のキーフレーム変更を行わない場合、そのまま本キーフレーム変更処理を終了する。

図４２はステップＳ１５５におけるキーフレーム抽出履歴情報登録処理手順を示すフローチャートである。まず、キーフレームの変更を行った映像区間における分類情報を取得する（ステップＳ１６１）。この分類情報の取得処理では、キーフレームの変更を行ったサブショット情報の分類情報、あるいはＲＡＭ４３に格納されているキーフレームの変更を行った分類情報が取得される。新規に設定されたキーフレームのキーフレーム抽出方法を取得する（ステップＳ１６２）。この新規に設定されたキーフレームの抽出方法を取得する際、キーフレーム抽出詳細情報に抽出方法の関連値が格納されている場合、その関連値も取得される。ステップＳ１６２で関連値を取得した場合、キーフレーム抽出詳細情報に関連値を格納する（ステップＳ１６３）。

キーフレーム抽出履歴情報の設定を行う操作者のユーザＩＤをＲＡＭ４３から取得する（ステップＳ１６４）。ユーザキーフレーム抽出履歴情報リストから、ユーザＩＤによって示されるユーザキーフレーム抽出履歴情報の先頭ポインタを取得し、このユーザキーフレーム抽出履歴情報の中からキーフレーム抽出履歴情報リンク情報が示すキーフレーム抽出履歴情報から、ステップＳ１６１で取得した分類情報のキーフレーム抽出履歴情報を検索する（ステップＳ１６５）。

分類情報が一致するキーフレーム抽出履歴情報があったか否かを判別する（ステップＳ１６６）。分類情報が一致するキーフレーム抽出履歴情報があった場合、ステップＳ１６５で取得したキーフレーム抽出履歴情報のキーフレーム抽出タイプ情報を、ステップＳ１６２で取得したキーフレーム抽出タイプ情報に変更する（ステップＳ１６７）。この後、本処理を終了する。一方、ステップＳ１６６で、分類情報が一致するキーフレーム抽出履歴情報が存在しなかった場合、ステップＳ１６１で取得した分類情報を新規キーフレーム抽出履歴情報の分類情報に登録し、ステップＳ１６２で取得したキーフレーム抽出タイプ情報をキーフレーム抽出タイプ情報に登録し、キーフレーム抽出タイプ情報格納数に「１」を追加してキーフレーム抽出履歴情報を作成する（ステップＳ１６８）。このとき、作成された先頭アドレスを、ステップＳ１６４で取得されたユーザのキーフレーム抽出履歴情報リストに登録する。この後、本処理を終了する。

図４３はステップＳ１６２における新規設定キーフレーム抽出タイプ情報取得処理手順を示すフローチャートである。まず、新規キーフレームとして設定されたフレーム番号を取得する（ステップＳ１７１）。このフレーム番号の取得処理では、ステップＳ１５２の新規設定キーフレーム取得処理で取得された値が取得される。キーフレームの変更が行われた映像区間の分類情報を取得する（ステップＳ１７２）。ステップＳ１７１で取得した分類情報のキーフレーム抽出方法決定情報を検索する（ステップＳ１７３）。具体的に、キーフレーム抽出方法決定情報インデックスリストから、ステップＳ１７１で取得した分類情報とインデックス情報の分類情報とが一致するインデックス情報を取得する。取得したインデックス情報に格納されているキーフレーム抽出方法決定情報のポインタを取得する。

ステップＳ１７１で取得した分類情報が一致するキーフレーム抽出方法決定情報があったか否かを判別する（ステップＳ１７４）。分類情報が一致するキーフレーム抽出方法決定情報がなかった場合、デフォルトのキーフレーム抽出方法決定情報を取得し（ステップＳ１７５）、ステップＳ１７９の処理に移行する。

一方、ステップＳ１７４で分類情報が一致するキーフレーム抽出方法決定情報があった場合、インデックス情報に格納されている順にキーフレーム抽出方法決定情報のポインタを取得し、取得したポインタからキーフレーム抽出方法決定情報を取得する（ステップＳ１７６）。キーフレーム抽出方法決定情報に格納されているキーフレーム抽出方法条件情報に格納されている判断処理を基に、新規キーフレームがキーフレーム抽出方法決定情報に記述されているキーフレーム抽出方法により抽出されたものであるか否かの条件判定処理を行う（ステップＳ１７７）。この判定処理では、キーフレーム抽出方法条件情報に記述されている付属情報を取得し、キーフレームに設定されたフレーム番号等と比較することにより、キーフレーム抽出方法決定情報に格納されているキーフレーム抽出タイプ情報で抽出されるか否かが判定される。また、キーフレーム抽出方法判断処理タイプ情報により、抽出時に使用する値（関連値）を取得する。

キーフレーム抽出方法条件情報に存在する条件判定処理で全ての条件に一致するか否かを判別する（ステップＳ１７８）。全ての条件に一致していない場合、ステップＳ１７６の処理に戻り、ステップＳ１７３で取得されたインデックス情報に格納されている次のキーフレーム抽出方法決定情報を取得し、同様の処理を繰り返す。一方、ステップＳ１７８で全ての条件に一致した場合、キーフレーム抽出タイプ情報を取得する（ステップＳ１７９）。

取得したキーフレーム抽出方法決定情報のキーフレーム抽出タイプ情報がキーフレーム抽出詳細情報を参照するものであるか否かを判別する（ステップＳ１８０）。すなわち、キーフレーム抽出詳細情報を参照する場合、値がマイナス値になるので、マイナス値であるか否かを判別する。キーフレーム抽出詳細情報を参照するものであった場合、キーフレーム抽出詳細情報の先頭ポインタおよびステップＳ１７７で取得した関連値を一時バッファに保存する（ステップＳ１８１）。この後、本処理を終了する。

図４４はステップＳ１７７における条件情報判定処理手順を示すフローチャートである。まず、条件情報判定処理における初期化処理を行う（ステップＳ１９１）。この初期化処理では、例えば、ステップＳ１７６で取得したキーフレーム抽出方法決定情報に格納されているキーフレーム抽出方法判断処理タイプ情報格納数を取得し、判断処理カウンタを「０」に設定する。

そして、ステップＳ１９２〜Ｓ２０１において、キーフレーム抽出方法決定情報に格納されている判断処理を行う。これら全ての判断処理の結果、「真」と判定された場合、ステップＳ２０３で全ての判断処理で一致したとして、本処理を終了する。一方、なんらかの判断処理で「偽」と判定された場合、ステップＳ２０２で一致しなかったとして、本処理を終了する。

具体的に、判断処理カウンタの値がステップＳ１９１で取得したキーフレーム抽出方法判断処理タイプ情報格納数と同じであるか否かを判別する（ステップＳ１９２）。同じである場合、前述したように、全ての判断処理で一致したと判断し、判定結果として「真」を格納し（ステップＳ２０３）、本処理を終了する。

一方、ステップＳ１９２で、判断処理カウンタの値がステップＳ１９１で取得したキーフレーム抽出方法判断処理タイプ情報格納数と同じでなく、まだ判断処理を終了していない場合、判断処理カウンタによって示されるキーフレーム抽出方法判断処理タイプ情報を取得する（ステップＳ１９３）。取得したキーフレーム抽出方法判断処理タイプ情報が「１」〜「Ｒ」の範囲内であるか否かを判別する（ステップＳ１９４）。ここで、「Ｒ」は、予め設定されているキーフレーム抽出方法判断処理タイプ情報数である。キーフレーム抽出方法判断処理タイプ情報が「１」〜「Ｒ」の範囲内でなく、その他であった場合、判断処理で一致しなかったとみなされ、判定結果を「偽」とし（ステップＳ２０２）、本処理を終了する。

一方、ステップＳ１９４でキーフレーム抽出方法判断処理タイプ情報が「１」〜「Ｒ」の範囲内である場合、ステップＳ１９５からステップＳ２００までの処理で、キーフレーム抽出方法判断処理タイプ情報毎の判断処理を行う。具体的に、キーフレーム抽出方法判断処理タイプ情報が「１」であるか否かを判別する（ステップＳ１９５）。キーフレーム抽出方法判断処理タイプ情報が「１」であった場合、キーフレーム抽出方法判断処理タイプ情報１に対する判断処理を行う（ステップＳ１９６）。ステップＳ１９６の判断処理で「真」と判定されたか否かを判別する（ステップＳ２０１）。「真」と判別された場合、判断処理カウンタを＋１増加させ（ステップＳ２０１Ａ）、ステップＳ１９２の処理に戻る。一方、ステップＳ２０１で「偽」と判別された場合、ステップＳ２０２で判定結果を「偽」とし、本処理を終了する。

また、ステップＳ１９５でキーフレーム抽出方法判断処理タイプ情報が「１」でない場合、キーフレーム抽出方法判断処理タイプ情報が「２」であるか否かを判別する（ステップＳ１９７）。キーフレーム抽出方法判断処理タイプ情報が「２」であった場合、キーフレーム抽出方法判断処理タイプ情報２に対する判断処理を行う（ステップＳ１９８）。この後、ステップＳ２０１の処理に移行する。ステップＳ１９７でキーフレーム抽出判断処理タイプ情報が「２」でない場合、同様の処理がキーフレーム抽出方法判断処理タイプ情報が「Ｒ−１」であるまで行われ、さらにキーフレーム抽出方法判断処理タイプ情報が「Ｒ−１」でない場合、キーフレーム抽出判断処理タイプ情報が「Ｒ」であるか否かを判別する（ステップＳ１９９）。キーフレーム抽出方法判断処理タイプ情報が「Ｒ」であった場合、キーフレーム抽出方法判断処理タイプ情報Ｒに対する判断処理を行う（ステップＳ２００）。この後、ステップＳ２０１の処理に移行する。一方、キーフレーム抽出方法判断処理タイプ情報が「Ｒ」でない場合、ステップＳ２０２の処理に移行する。

ここで、ステップＳ１９６におけるキーフレーム抽出方法判断処理タイプ情報１に対する判断処理を示す。図４５はステップＳ１９６におけるキーフレーム抽出方法判断処理タイプ情報１に対する判断処理手順を示すフローチャートである。まず、キーフレームが変更になった映像区間におけるサブショット情報から開始フレーム番号を取得する（ステップＳ２１１）。判定タイプ情報を基に、新規キーフレーム番号と開始フレーム番号とが「＝」であるか、つまり同じであるか否かを比較する（ステップＳ２１２）。この比較の結果、「同じ」である場合、判定結果を「真（１）」とし（ステップＳ２１３）、本処理を終了し、元の処理に戻る。一方、ステップＳ２１２の比較の結果、「同じでない」場合、判定結果を偽（０）とし（ステップＳ２１４）、本処理を終了し、元の処理に戻る。

また、同様に、キーフレーム抽出方法判断処理タイプ情報１４に対する判断処理を示す。図４６はキーフレーム抽出方法判断処理タイプ情報１４に対する判断処理手順を示すフローチャートである。まず、キーフレームのフレーム番号に対する撮影環境情報のイベント種別を取得する（ステップＳ２２１）。取得したイベント種別が「パン継続」であるか否かを判別する（ステップＳ２２２）。「パン継続」でない場合、判定結果を「偽（０）」とし（ステップＳ２２３）、本処理を終了する。一方、ステップＳ２２２で「パン継続」である場合、判定結果を「真（１）」とする（ステップＳ２２４）。サブショット情報からパン開始フレーム番号の取得を行い（ステップＳ２２５）、パン終了フレーム番号を取得する（ステップＳ２２６）。数式（４）にしたがって、パン中のキーフレーム位置の割合を計算して取得する（ステップＳ２２７）。

割合＝（キーフレームのフレーム番号―パン開始フレーム番号）／（パン終了フレーム番号―パン開始フレーム番号） …… （４）
つぎに、類似動画区間の変更処理の概要を示す。図４７および図４８はステップＳ１５７における類似動画区間の変更処理手順を示すフローチャートである。まず、キーフレームが変更された映像区間における新規キーフレーム抽出タイプ情報およびキーフレーム抽出関連値を取得する（ステップＳ２３１）。この処理は、キーフレーム抽出履歴情報登録処理（図４２参照）におけるステップＳ１６２の処理と同一であるので、キーフレーム抽出履歴情報登録処理において、既に新規キーフレームの抽出タイプ情報およびキーフレーム抽出関連値を取得していた場合、キーフレーム抽出履歴情報登録処理で取得した値を使用する。

類似動画区間を変更するための初期化処理を行う（ステップＳ２３２）。この初期化処理では、例えば、サブショット情報リストの先頭に現在処理しているサブショット情報を示すポインタＰを移動する。また、キーフレームを変更した映像区間の分類情報を取得する。そして、ステップＳ２３３からステップＳ２３６までの処理を行い、サブショット情報からキーフレームの変更を行った映像区間の分類情報と一致するサブショット情報を取得する。

具体的に、ポインタＰがサブショット情報リストの末尾に達したか否かを判別する（ステップＳ２３３）。全てのサブショット情報における分類情報との比較が終了していないと判断された場合、サブショット情報リストのポインタＰによりサブショット情報の分類情報を取得し（ステップＳ２３４）、キーフレームを変更した映像区間の分類情報と一致するか否かを判別する（ステップＳ２３５）。一致した場合、類似動画区間としてサブショット情報のアドレスを一時バッファに保持する（ステップＳ２３６）。そして、ステップＳ２３３の処理に戻り、次のサブショット情報の比較処理を行う。一方、ステップＳ２３５で一致しなかった場合、そのまま次のサブショット情報の比較処理に移行する。

一方、ステップＳ２３３で、全てのサブショット情報における分類情報との比較が終了したと判断された場合、サブショット情報リスト中に、キーフレームを変更した映像区間と分類情報が一致するサブショット情報があったか否かを判別する（ステップＳ２３７）。分類情報が一致するサブショット情報がなかった場合、本類似動画区間のキーフレーム変更処理を終了する。

一方、ステップＳ２３７でキーフレームを変更した映像区間と分類情報が一致するサブショット情報があった場合、類似動画区間とみなされた映像区間のキーフレーム変更処理に移行する。ステップＳ２３６で取得した類似動画区間を示すサブショット情報のポインタから、サブショット情報を参照し、各サブショットの映像区間において、ステップＳ２３１で取得した映像区間のキーフレーム抽出タイプ情報およびキーフレーム抽出関連値から、新規キーフレームを取得する（ステップＳ２３８）。

類似動画区間の変更する前のキーフレームと新規キーフレームとを対で表示する（ステップＳ２３９）。ここでは、変更指示情報、つまり新規キーフレームに変更するか否かを表す情報は、「新規キーフレームに変更する」に初期設定されている。

図５１はキーフレーム変更処理における類似動画区間のキーフレーム変更処理を行う際の操作画面を示す図である。この操作画面の上位部分には、図４９と同様、分割された映像の動画区間におけるキーフレームが表示される。このとき、動画区間Ｂにおけるサムネイル画像には、図５０に示すフレーム画像Ｂ３が表示される。そして、動画区間Ｂは、キーフレームを変更した動画区間としてポイント表示される。さらに、図５１では、動画区間Ｂは色付けされて表示される。また、類似動画区間のキーフレーム変更処理（図４７、図４８参照）のステップＳ２３１からステップＳ２３７までの処理で取得した、キーフレーム変更動画区間と類似する動画区間が、図５１では太枠でポイント表示される。ここでは、動画区間Ｂの類似動画区間は、動画区間Ｈ、Ｊ、Ｐである。

この操作画面の下位部分には、類似動画区間とみなされた動画区間が一覧表示されている。この下位部分の類似動画区間には、新規キーフレームが表示され、後述する変更操作によって上位部分の類似動画区間に表示されたキーフレームと入れ替え可能である。さらに、操作者が変更した下位部分の動画区間はポイント表示されている。

このように、操作画面の上位部分には、全体映像における類似動画区間のキーフレーム画像が表示され、一方、操作画面の下位部分には、類似動画区間のキーフレーム画像がまとめて参照できるように一覧表示される。尚、操作画面では、上位部分だけあるいは下位部分だけを表示するようにしてもよい。さらに、ポイント表示は、本実施形態に限定されるものでなく、類似動画区間のグループ内で操作者が変更したキーフレームを識別できるものである限り、その態様は任意である。

そして、操作入力部２４からの入力を待つ（ステップＳ２４０）。何らかの入力があった場合、キーフレーム変更実行が指示されたか否かを判別する（ステップＳ２４１）。キーフレーム変更実行が指示された場合、キーフレーム変更処理を実行する（ステップＳ２４２）。この後、ステップＳ２４０の処理に戻る。

一方、ステップＳ２４１で、キーフレーム変更実行が指示されていない場合、類似動画区間に対するキーフレームの変更指示情報の設定指示であるか否かを判別する（ステップＳ２４３）。変更指示情報の設定指示である場合、操作者による操作入力部２４からの変更指示情報「新規キーフレームに変更する／しない」を基に、変更指示情報を変更する（ステップＳ２４４）。

図５２は変更指示の有無を設定するメニュー画面を示す図である。この操作画面上で類似動画区間におけるキーフレームの変更を行わない場合、操作者は、キーフレームを選択し、変更を行わない指示を設定する。操作者は変更を行わないキーフレームを指定すると、図５２に示したメニューが表示され、変更の指示を設定することができる。

そして、類似動画区間のキーフレームを変更し、キーフレーム一覧表示を表示した場合、更新後のキーフレームが一覧表示される。尚、図５２の操作画面は、変更指示操作の一例であり、この他、図５１の操作画面の上位部分における変更前のフレーム画像を下位部分の変更後のフレーム画像に、ドラック＆ドロップで指定し直すことも可能である。また、サムネイル画像上に変更指示ボタン等を表示しておき、これを指定することも可能である。

一方、ステップＳ２４３で類似動画区間に対するキーフレーム設定実行の指示でない場合、キャンセルの指示であるか否かを判別する（ステップＳ２４５）。キャンセルの指示であった場合、本類似動画区間に対するキーフレームの変更処理を終了する。一方、キャンセル指示でなかった場合、キーフレーム変更実行指示であるか否かを判別する（ステップＳ２４６）。キーフレーム変更実行指示であると判断された場合、変更指示情報を参照し、類似動画区間におけるサブショット情報のキーフレーム情報を変更する（ステップＳ２４７）。この後、本類似動画区間におけるキーフレーム変更処理を終了する。一方、ステップＳ２４６で、キーフレーム変更実行指示でない場合、ステップＳ２４０に戻り、入力待ちを行う。

このように、第１の実施形態の撮像装置によれば、映像データを複数の映像区間に分割し、分割された映像区間の中から、キーフレームを自動的に抽出した後、操作者によって抽出されたキーフレームが変更された場合、キーフレームが変更された映像区間におけるキーフレーム抽出方法を取得する。このキーフレームが変更された映像区間と類似する類似映像区間を抽出し、抽出された類似映像区間に対し、キーフレームが変更された映像区間におけるキーフレーム抽出方法を用いて、抽出された類似映像区間のキーフレームを変更する。したがって、操作者がキーフレームの変更を行った映像区間と類似する類似映像区間のキーフレームを容易に変更することができる。

例えば、花や人物など、ある特定の被写体を集めた映像などを撮影した場合、ズームなどの操作、パンやチルトなどの撮影環境が類似することが多く、撮影者が同じ場合、被写体に対する撮影方法が類似する可能性が高い。したがって、自動的に抽出されたキーフレームが操作者にとって最適なキーフレームでなかった場合、１度の変更操作で、自動的に類似映像区間の抽出およびこれらのキーフレーム変更を行うので、類似映像区間が多くても、変更操作を行う回数を減らすことができ、操作性を向上できる。

［第２の実施形態］
前記第１の実施形態では、撮影環境情報、操作情報、フレーム位置情報などの付属情報を主に利用してキーフレーム抽出方法を特定していたが、これらの付属情報のみならず、例えば、被写体情報や音声情報を参照してキーフレーム抽出方法を特定してもよい。従来技術として、特許文献３に記載のカメラでは、被写体の顔を認識するだけでなく、顔の方向（目線がカメラの方向を向いている／向いていない）、被写体の目の状態（目を閉じている／閉じていない）、顔の表情（喜びの顔、悲しみの顔、怒りの顔、驚きの顔など）、被写体の姿勢（認識された人が特定のポーズとなっているかを認識）などが認識可能である。また、特許文献４に記載の人物検出機能搭載装置では、被写体の認識および音声情報から、話者を識別することが可能である。第２の実施形態では、これらの技術を用いて、撮影環境情報や操作情報などと同様、フレーム毎に被写体情報（図５４参照）および話者情報（図５６参照）を取得して記録するようにする。

図５３は被写体情報データリストの構造を示す図である。図５４は被写体情報データの構造を示す図である。被写体情報データには、特許文献３に記載のカメラにより取得された被写体に関する情報が格納される。作成された被写体情報のフレーム番号が変わる度に、被写体情報の先頭ポインタが被写体情報データリストに格納される。したがって、被写体情報データリストからフレーム番号の先頭ポインタを取得することにより、被写体情報を取得することが可能となる。

図５４の被写体情報データの各要素データを示す。要素データ「フレーム番号」には、動画ファイルの先頭を基準とするフレーム番号が記述される。要素データ「被写体ＩＤ」には、フレーム番号の画像に映っている被写体の識別番号が記述される。要素データ「顔の向き情報」には、被写体の顔の向きが格納される。ここで、「０」は認識不可能を表し、「１」はカメラの方を向いていることを表し、「２」はカメラの方を向いていないことを表す。要素データ「目の状態情報」には、被写体の目の状態が格納される。ここで、「０」は認識不可能を表し、「１」は、目を閉じていることを表し、「２は」目が開いていることを表す。要素データ「顔の表情情報」には、被写体の表情が格納される。ここで、「０」は認識不可能を表し、「１」は無表情を表し、「２」は喜びを表し、「３」は悲しみを表し、「４」は怒りを表し、「５」は驚きを表す。要素データ「姿勢情報」には、被写体の姿勢の状態が格納される。ここで、「０」は認識不可能を表し、「１」は座っていることを表し、「２」は立っていることを表し、「３」は走っていることを表す。

図５５は音声情報データリストの構造を示す図である。図５６は音声情報データの構造を示す図である。音声情報データには、特許文献４に記載の人物検出機能搭載装置などによって取得された音声に関する情報が格納される。作成された音声情報のフレーム番号が変わる度に、音声情報の先頭ポインタが音声情報データリストに格納される。したがって、音声情報データリストからフレーム番号の先頭ポインタを取得することにより、音声情報を取得することが可能となる。

図５６の音声情報データの各要素データを示す。要素データ「フレーム番号」には、動画ファイルの先頭を基準とするフレーム番号が記述される。要素データ「音情報」には、音が入っているか入っていないかを示す値が格納される。ここで、「１」は「入っている」ことを表し、「０」は「入っていない」ことを表す。要素データ「被写体格納数」には、フレーム番号の画像に対する被写体ＩＤの格納数が記述される。要素データ「被写体ＩＤ」には、フレーム番号で示される画像において話声が認識される場合、その話している人物の被写体ＩＤが格納される。

これら被写体情報および音声情報の付属情報を、前述した映像区間分類情報データ、キーフレーム抽出履歴情報データ、キーフレーム抽出方法決定情報データにそれぞれ加えることで、操作者によって選択されたキーフレームのキーフレーム抽出方法の精度を向上させることが可能になる。

例えば、被写体情報および音声情報を利用したキーフレーム抽出方法としては、次の「１３」〜「１５」に示す方法が挙げられる。

１３．被写体数の一番多いフレームを抽出する。つまり、サブショット情報の開始フレーム番号から終了フレーム番号までの被写体情報を参照し、各フレーム番号の被写体ＩＤの数を取得し、一番数の多いフレームをキーフレームとして抽出する。

１４．一番多く映っている被写体が始めて登場するフレームを抽出する。つまり、サブショット情報の開始フレーム番号から終了フレーム番号までの被写体情報を参照し、被写体ＩＤ毎の格納フレーム数を取得し、一番数の多い被写体ＩＤにおいて、開始フレーム番号から検索して始めて登場するフレームをキーフレームとして抽出する。

１５．キーフレーム変更で取得されるキーフレーム抽出方法の例として、パン中間フレームにおける被写体ＩＤ（Ａ）が映っているフレームを抽出する。つまり、撮影環境情報を参照し、パン開始フレームおよびパン終了フレームを取得し、そのフレーム番号中における被写体ＩＤ（Ａ）が登場するフレームを被写体情報から取得し、キーフレームとして選択されたフレームが何番目かを取得する。

このように、第２の実施形態の撮像装置によれば、被写体情報等を格納することにより、キーフレームの抽出方法を詳細に指定することができるようになる。

［第３の実施形態］
図５７は第３の実施形態における操作画面を示す図である。この操作画面は、キーフレーム変更処理において類似動画区間のキーフレーム変更処理を行う際の操作画面である。類似動画区間のキーフレーム変更処理におけるキーフレームの表示処理（ステップＳ２３９参照）では、図５７に示す操作画面が表示される。この操作画面では、分割された映像区間のキーフレームのサムネイル画像が表示されている。動画区間Ｂでは、サムネイル画像として、フレーム画像Ｂ３（図５０参照）が表示されている。このサムネイル画像領域の左上隅には変更前のキーフレーム画像ａが表示されるとともに、その他のサムネイル画像領域には新規のキーフレーム画像が表示される。また、この動画区間Ｂは、キーフレームが変更された動画区間として、太枠でポイント表示されている。

類似動画区間のキーフレーム変更処理（ステップＳ２３３〜Ｓ２３７参照）で取得されたキーフレーム変更動画区間と類似する動画区間では、動画区間Ｂと同様、サムネイル画像領域の左上隅には変更前のキーフレーム画像が表示されるとともに、その他のサムネイル画像領域には新規のキーフレーム画像が表示される。図５７では、動画区間Ｂと類似する類似動画区間は、動画区間Ｈ、Ｊ、Ｐである。

このように、第３の実施形態の撮像装置によれば、同じサムネイル画像領域に、変更前と変更後のキーフレーム画像を表示することが可能である。また同様に、変更後のサムネイル画像に変更前のサムネイル画像を表示する方法として、例えば、切り替えボタンの押下やマウスのクリックによって切り替えることも可能である。

以上が本発明の実施の形態の説明であるが、本発明は、これら実施の形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施の形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。

例えば、上記実施形態のユーザ識別処理では、指紋センサを用いてユーザを認識していたが、ユーザを認識する処理である限り、どのような処理方法であっても構わない。図５８は表示部１８に表示された文字表を示す図である。操作者は、表示部１８に一覧表示された文字表に対し、カーソルを移動させて文字列を指定し、操作者の名前等の識別情報を入力する。そして、この識別情報の入力により自動的に付与された連番（ユーザＩＤ）をユーザ識別データリストに登録することで、ユーザの識別処理を行ってもよい。

また、上記実施形態では、撮影環境情報や操作情報などの時刻の単位として、動画ファイルの再生時刻を基準とするフレーム番号を用いたが、映像や音声と同期が取れる限り、どのような単位であってもよい。また、本実施形態では、キーフレームをフレーム番号で示したが、フレームを特定できる限り、どのような単位でキーフレームを示してもよい。また、キーフレームの画像データそのもの、あるいは縮小等の画像処理が施された画像データを別の領域に作成し、その画像データへのポインタ情報やハイパーリンクを記述するようにしてもよい。

また、上記実施形態では、映像処理装置は、単体の撮像装置で実現されたが、ＵＳＢ２．０等のシリアルインターフェース、ＩＥＥＥ１３９４、イーサネット（登録商標）、無線ＬＡＮなどの通信手段により、ネットワークに接続された複数の装置から構成され、同様の機能を実現するようにしてもよい。

さらに、サブショット分割やキーフレームの抽出処理は、録画終了時に行われることに限定されるものではなく、例えば、記録メディアの情報をパーソナルコンピュータ（ＰＣ）のような外部装置に読み込ませ、ＰＣ上で同様の処理を行って付属情報を加工してもよい。

また、本実施形態では、撮影環境情報として、撮像装置の回転を検出する回転検出部（Ｘ方向回転検出部２１、Ｙ方向回転検出部２２）からの情報を例示したが、撮影環境情報の種類によってキーフレームの選択基準が変わるような場合、これに限定されるものではなく、例えば、ＧＰＳなどの位置測定システム、温度計、高度計、方位磁石、気圧計、湿度計等の計測器の出力情報や、撮影者の体位、視線、瞳孔の大きさ、皮膚抵抗、脈、脳波などの生体情報を用いてもよい。

また、上記実施形態では、サブショットから１つのキーフレームを選択する場合を示したが、１つに限らず、複数であってもよい。また、キーフレームとして適したフレーム画像が無い場合、選択を行わなくてもよい。

また、本発明の目的は、実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、ＲＯＭ、フロッピー（登録商標）ディスク、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＲＷ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。

第１の実施形態における撮像装置の構成を示すブロック図である。 システム制御部２３の構成を示す図である。 映像管理部１７の構成を示すブロック図である。 撮影環境情報データの構造を示す図である。 撮影環境情報データリストの構造を示す図である。 操作情報データの構造を示す図である。 操作情報データリストの構造を示す図である。 サブショット情報データの構造を示す図である。 サブショット情報データリストの構造を示す図である。 映像区間分類情報の構造を示す図である。 映像区間分類情報リストを示す図である。 分類条件情報の構造を示す図である。 映像区間分類情報を示す図である。 映像区間分類情報「１」における分類条件情報を示す図である。 ユーザキーフレーム抽出履歴情報を示す図である。 ユーザキーフレーム抽出履歴リストの構造を示す図である。 キーフレーム抽出履歴情報の構造を示す図である。 キーフレーム抽出履歴情報リストの構造を示す図である。 キーフレーム抽出詳細情報の構造を示す図である。 キーフレーム抽出詳細情報リストの構造を示す図である。 キーフレーム抽出方法決定情報の構造を示す図である。 キーフレーム抽出方法決定情報インデックスリストの構造を示す図である。 キーフレーム抽出方法条件情報の構造を示す図である。 キーフレーム抽出方法決定情報の具体例を示す図である。 撮像装置におけるキーフレーム設定処理手順を示すフローチャートである。 図２５につづく撮像装置におけるキーフレーム設定処理手順を示すフローチャートである。 ステップＳ８における映像分割処理手順を示すフローチャートである。 ステップＳ９におけるキーフレーム設定処理手順を示すフローチャートである。 ステップＳ４４における分類情報の取得処理手順を示すフローチャートである。 図２９につづくステップＳ４４における分類情報の取得処理手順を示すフローチャートである。 ステップＳ６０における分類判断処理タイプ情報１の判断処理手順を示すフローチャートである。 ステップＳ６０における分類判断処理タイプ情報２の判断処理手順を示すフローチャートである。 ステップＳ６０における分類判断処理タイプ情報３の判断処理手順を示すフローチャートである。 ステップＳ６０における分類判断処理タイプ情報４の判断処理手順を示すフローチャートである。 ステップＳ４７におけるキーフレーム抽出処理手順を示すフローチャートである。 開始フレームをキーフレームとして設定するキーフレーム抽出タイプ情報１のキーフレーム抽出処理手順を示すフローチャートである。 終了フレームをキーフレームとして設定するキーフレーム抽出タイプ情報２のキーフレーム抽出処理手順を示すフローチャートである。 パン中の中間フレームをキーフレームとして設定するキーフレーム抽出タイプ情報３のキーフレーム抽出処理手順を示すフローチャートである。 ステップＳ９２におけるキーフレーム抽出詳細情報を用いたキーフレーム抽出処理手順を示すフローチャートである。 キーフレーム抽出詳細情報タイプ情報３のキーフレーム抽出処理手順を示すフローチャートである。 ステップＳ１１におけるキーフレーム変更処理手順を示すフローチャートである。 ステップＳ１５５におけるキーフレーム抽出履歴情報登録処理手順を示すフローチャートである。 ステップＳ１６２における新規設定キーフレーム抽出タイプ情報取得処理手順を示すフローチャートである。 ステップＳ１７７における条件情報判定処理手順を示すフローチャートである。 ステップＳ１９６におけるキーフレーム抽出方法判断処理タイプ情報１に対する判断処理手順を示すフローチャートである。 キーフレーム抽出方法判断処理タイプ情報１４に対する判断処理手順を示すフローチャートである。 ステップＳ１５７における類似動画区間の変更処理手順を示すフローチャートである。 図４７につづくステップＳ１５７における類似動画区間の変更処理手順を示すフローチャートである。 動画区間毎のキーフレームを一覧表示する操作画面を示す図である。 動画区間におけるキーフレームの変更処理を行う際の操作画面を示す図である。 キーフレーム変更処理における類似動画区間のキーフレーム変更処理を行う際の操作画面を示す図である。 変更指示の有無を設定するメニュー画面を示す図である。 被写体情報データリストの構造を示す図である。 被写体情報データの構造を示す図である。 音声情報データリストの構造を示す図である。 音声情報データの構造を示す図である。 第３の実施形態における操作画面を示す図である。 表示部１８に表示された文字表を示す図である。 映像区間毎に分割された中からキーフレームが抽出される様子を示す図である。

符号の説明

１７ 映像管理部
１８ 表示部
１９ レンズ位置検出部
２１ Ｘ方向回転検出部
２２ Ｙ方向回転検出部
２３ システム制御部
２４ 操作入力部
３１ 指紋検出部
４１ ＣＰＵ
４２ ＲＯＭ
５６ 映像分割部
５７ キーフレーム抽出部
５８ 類似映像区間抽出部
５９ 付属情報管理部

Claims (10)

1. 映像データから抽出された代表画像を変更する代表画像変更手段と、
   前記代表画像が変更された映像区間における代表画像抽出方法を取得する代表画像抽出方法取得手段と、
   前記代表画像が変更された映像区間と類似する映像区間である類似映像区間を抽出する類似映像区間抽出手段と、
   前記代表画像抽出方法取得手段によって取得され、前記代表画像が変更された映像区間における代表画像抽出方法を用いて、前記抽出された類似映像区間の代表画像を変更する類似映像区間代表画像変更手段とを備えた映像処理装置。
2. 前記映像区間の中から抽出された代表画像を表示する表示手段と、
   前記表示された代表画像を含む映像区間を選択する映像区間選択手段とを備え、
   前記代表画像変更手段は、前記選択された映像区間に含まれる代表画像を変更することを特徴とする請求項１記載の映像処理装置。
3. 前記代表画像抽出方法取得手段は、前記代表画像が変更された映像区間に付与されている付属情報を参照し、前記代表画像抽出方法を決定することを特徴とする請求項１記載の映像処理装置。
4. 前記代表画像抽出方法取得手段は、前記付属情報およびフレーム位置情報を用いた代表画像抽出方法条件情報と、前記代表画像抽出方法条件情報を満足する映像区間の代表画像を設定するための代表画像設定情報とからなる代表画像抽出方法決定情報を保持し、該代表画像抽出方法決定情報を用いて前記代表画像抽出方法を決定することを特徴とする請求項３記載の映像処理装置。
5. 前記映像区間に付与されている付属情報を基に分類を行って該映像区間の分類情報を取得する分類情報取得手段を備え、
   前記類似映像区間抽出手段は、前記取得された映像区間の分類情報と、前記付属情報および前記代表画像のフレーム位置情報を用いた分類条件情報とからなる映像区間分類情報を保持し、前記分類条件情報を満足する分類情報と一致する分類情報を有する映像区間を前記類似映像区間として抽出することを特徴とする請求項１記載の映像処理装置。
6. 前記類似映像区間代表画像変更手段は、
   前記代表画像抽出方法を用いて前記類似映像区間の代表画像を取得する類似映像区間代表画像取得手段と、
   前記類似映像区間代表画像取得手段によって取得された類似映像区間の代表画像と、前記代表画像抽出手段によって抽出された変更前の代表画像とを対応付けて表示する変更前後代表画像表示手段と、
   前記代表画像の変更指示を確認する確認手段と、
   前記変更指示が確認された場合、前記変更前の代表画像を、前記類似映像区間代表画像取得手段によって取得された代表画像に変更する変更手段とを備えたことを特徴とする請求項１記載の映像処理装置。
7. 前記付属情報は、撮影環境情報および操作情報を含むことを特徴とする請求項３乃至５のいずれか記載の映像処理装置。
8. 被写体情報を検出する被写体情報検出手段を備え、
   前記付属情報は、前記被写体情報を含むことを特徴とする請求項３乃至５のいずれか記載の映像処理装置。
9. 話者情報を検出する話者情報検出手段を備え、
   前記付属情報は、前記話者情報を含むことを特徴とする請求項３乃至５のいずれか記載の映像処理装置。
10. 映像データから抽出された代表画像を変更する代表画像変更ステップと、
    前記代表画像が変更された映像区間における代表画像抽出方法を取得する代表画像抽出方法取得ステップと、
    前記代表画像が変更された映像区間と類似する映像区間である類似映像区間を抽出する類似映像区間抽出ステップと、
    前記代表画像抽出方法取得ステップで取得され、前記代表画像が変更された映像区間における代表画像抽出方法を用いて、前記抽出された類似映像区間の代表画像を変更する類似映像区間代表画像変更ステップとを有する代表画像設定方法。

Images