JP2004336381A - 動画像処理方法及び装置 - Google Patents
動画像処理方法及び装置 Download PDFInfo
- Publication number
- JP2004336381A JP2004336381A JP2003129455A JP2003129455A JP2004336381A JP 2004336381 A JP2004336381 A JP 2004336381A JP 2003129455 A JP2003129455 A JP 2003129455A JP 2003129455 A JP2003129455 A JP 2003129455A JP 2004336381 A JP2004336381 A JP 2004336381A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- shot
- sub
- section
- division information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
【課題】撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけられるようにし、再生や編集作業を容易化する。
【解決手段】動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報を含むカメラ付与情報が登録された動画像データを読み出し（Ｓ１００１）、複数項目より選択された１つ又は複数の項目によって構成される「観点」を定義し、該観点に属する項目に対応する分割情報を統合して当該観点に対応したサブショットを生成する（Ｓ１００２）。複数種類の観点について生成された複数のサブショットの階層順位に従い上位階層のサブショットにおける分割位置を下位階層のサブショットの分割位置に追加して階層化する（Ｓ１００３）。こうして階層化されたサブショット情報を動画像データに対応させて記録する（Ｓ１００５）。
【選択図】 図１０
【解決手段】動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報を含むカメラ付与情報が登録された動画像データを読み出し（Ｓ１００１）、複数項目より選択された１つ又は複数の項目によって構成される「観点」を定義し、該観点に属する項目に対応する分割情報を統合して当該観点に対応したサブショットを生成する（Ｓ１００２）。複数種類の観点について生成された複数のサブショットの階層順位に従い上位階層のサブショットにおける分割位置を下位階層のサブショットの分割位置に追加して階層化する（Ｓ１００３）。こうして階層化されたサブショット情報を動画像データに対応させて記録する（Ｓ１００５）。
【選択図】 図１０
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像を撮像装置の操作や撮像装置の状態の変化点等を利用して分割する技術に関する。
【０００２】
【従来の技術】
一般に、特許文献１や特許文献２に見られるように、動画の撮像装置の操作（パン、チルト）や、撮像装置の状態の変化点（フォーカスなど）ごとに動画像の分割を行うことによって、所望の場所からの再生や、動画編集、自動的な動画像の要約を可能とし、内容の確認を容易にしている。このような方法は、特に、１つの動画中に様々な撮影対象が含まれていたり、撮影環境が変化したりした場合に有効である。
【０００３】
【特許文献１】
特開平０８−１６３４８８号公報
【特許文献２】
特許第３１９２６６３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、１つの動画が長ければ長いほど、そして、その動画に含まれる撮影対象や撮影環境の変化が多ければ多いほど、従来の手法では、動画はたくさんの区間に分割されてしまうことになる。
【０００５】
例えば、図２１は従来の技術による動画像の分割を説明する図である。（ａ）は、同じ動画に対して、撮像装置に対する操作区間や撮像装置の状態の変化点（Ｇａｉｎ、Ｗｈｉｔｅ Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎ）を項目ごとに示している。また、（ｂ）は、これらＧａｉｎ、Ｗｈｉｔｅ Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎを用いて動画像の分割を行った結果を示している。図２１に示したように、複数種類の項目による分割個所が混在することにより、動画像が多くの区間に細分化されてしまう。また、複数の種類の項目によって区間が決定されているところでは、区間が意味のある単位とならない（ここで意味のある単位とは、例えば、被写体Ａが映っている区間、というものである）。例えば、図２１のＡの区間は、Ｗｈｉｔｅ Ｂａｌａｎｃｅの変化点で始まり、Ｐａｎ操作の終了点で終わっており、意味のある単位となっていない。
【０００６】
従って、上述のような従来技術の状況では、動画中の所望の区間を探すにも、ひとつひとつの確認に時間がかかってしまう。また、動画編集などにおいて、意味のある単位で区間を取り出したい場合は、開始点と終了点を修正しなければならないなど、結局は、ユーザへ負担を強いる結果になってしまう。
【０００７】
上記のような動画像は特にアマチュアの撮影者が、撮影を行った場合に顕著に見られる傾向である。アマチュアの撮影者は、撮影に不慣れであるのと、通常は１台の撮像装置を用いて撮影を行うため、撮影対象を探しながら撮影したり、一度に多くの場所で、多くの被写体を撮影したりするの傾向があるからである。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけ、再生や編集作業を容易化することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理方法は、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理方法であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成工程と、
前記生成工程により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化工程と、
前記階層化工程で得られた統合分割情報を前記動画像データに対応させて保持する保持工程とを備える。
【００１０】
また、上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。すなわち、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理装置であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成手段と、
前記生成手段により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化手段と、
前記階層化手段で得られた統合分割情報を前記動画像データに対応させて保持する保持手段とを備える。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について添付の図面を用いて説明する。
【００１２】
〔第１実施形態〕
図１は第１実施形態による動画像処理システムの構成を示すブロック図である。図１において１０１０は撮像装置であり動画像を撮像する。１０２０は記憶媒体であり、動画像などを格納しておくのに用いられる。１０３０はブラウズ装置であり、記憶媒体１０２０に含まれた動画像を閲覧し、再生する。以下、本実施形態による撮像装置１０１０とその制御方法および記憶媒体の実施形態について説明する。
【００１３】
図２は本実施形態における撮像装置の構成を示すブロック図である。図２において、１１はレンズ部であり、被写体距離を調整するフォーカスレンズと焦点距離を調整するズームレンズとを含み、被写体を撮像素子１３上に結像させる。１２は絞りであり、撮像素子１３に到達する光量を調節する。１３は撮像素子であり、であり、入力した光を電気信号に変換するＣＣＤを含む。１４はサンプルホールド・ＡＧＣ回路であり、サンプルホールドおよびゲイン調整を行う。１５はＡ／Ｄ変換部であり、アナログデジタル変換（Ａ／Ｄ変換）を行う。１６は映像信号処理部であり、信号を処理して映像信号を生成する。１８はノイズリダクション部（ＮＲ）であり、フィールドメモリを有し、映像信号のノイズを除去する。１９はレンズ位置検出部であり、レンズの位置を検出する。２０はレンズ駆動部であり、レンズを駆動する。
【００１４】
２１はシステム制御部であり、撮像装置全体を制御する。図３はシステム制御部２１の構成を示すブロック図である。システム制御部２１は周知のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、Ｉ／Ｏインターフェース３０４、およびバス３０５を有する。ＲＯＭ３０２には、ＣＰＵ３０１によって実行される後述のプログラム、テーブル値などが格納されている。
【００１５】
２２はユーザ操作部であり、ユーザが撮像装置を操作するためのキーが配置されている。２３はズームをワイド（広角＝画像縮小）方向に動作させるワイド・キー、２４はテレ（望遠＝画像拡大）方向に移動させるテレ・キーである。ワイド・キー２３およびテレ・キー２４は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押し圧により押されているかを示す出力信号をシステム制御部２１に出力する。なお押し圧は拡大縮小のスピードを決定する。２９は録画ボタンであり、ＯＮされるとシステム制御部２１は撮像装置を録画状態にする。３０はモードダイヤルであり、ユーザはこれを操作することで各種の設定を行う。例えば、フォーカスモード（自動／手動）、露光モード（自動、ゲイン優先、シャッタ速度優先、絞り優先、手動）、Ｗｈｉｔｅ Ｂａｌａｎｃｅ Ｍｏｄｅ（以下、ＷＢ Ｍｏｄｅと表記する）（プリセット−太陽光、くもり、電球、蛍光灯）などである。
【００１６】
設定された情報はシステム制御部２１へ入力され、システム制御部２１が設定に応じて撮像装置を制御する。ノイズリダクション部（ＮＲ）１８は巡回型ノイズリダクション回路で構成される。２６は、映像データをＭＰＥＧ−２の形式に符号化するＭＰＥＧ ＣＯＤＥＣである。２７は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。２８は記録媒体であり、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性の半導体メモリ（フラッシュメモリ等）等である。などである。２５は、Ｘ方向回転速度検出であり、撮像装置を水平方向に振ったときの速度をジャイロセンサなどを用いて検出する。３１は、Ｙ方向回転速度検出であり、撮像装置を垂直方向に振ったときの速度をＸ方向回転速度検出２５と同様に、ジャイロセンサなどを用いて検出する。３２は被写体までの距離を測距検出する測距検出部である。測距検出部３２としては公知のものを適用でき、例えば、撮像装置１０１０の発光窓（図示せず）から被写体に向けて発光した赤外光が被写体に当って反射してくるのを受光窓（図示せず）から受光し、内部に設けられた受光素子、たとえばＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）で測距信号に変換する。
【００１７】
以上のような構成を備える撮像装置の動作概要を説明する。レンズ部１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換され、映像信号処理部１６に入力する。映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正などの処理が施されて映像信号が生成され、ノイズリダクション部１８へ出力する。ノイズリダクション部１８では、システム制御部２１からの制御信号により制御され、映像信号のノイズを除去する。ノイズが除去された映像信号は、ＭＰＥＧ ＣＯＤＥＣ２６に出力される。ＭＰＥＧ ＣＯＤＥＣ２６では、入力された映像信号の符号化を行う。このとき、ＭＰＥＧ ＣＯＤＥＣ２６は、システム制御部２１から入力されるカメラ付与情報（後述する）を符号化された映像信号と共にファイルとして格納し、ＭＰＥＧ ＣＯＤＥＣ２６に接続された記録装置などに出力する。
【００１８】
システム制御部２１は、撮像装置各部を制御するとともに、ズーム操作キー部２２のワイド・キー２３およびテレ・キー２４が押されていると、レンズ駆動部２０の制御または電子ズーム部１７の制御を行い、ズームをワイド方向またはテレ方向に移動させる。また、システム制御部２１は、レンズ位置検出部１９からのレンズ位置検出信号により、ズームレンズ１１がテレ端（最望遠端点）、ワイド端（最広角端点）あるいはテレ端とワイド端のどこに位置する（ズーム倍率）のかを判断する。
【００１９】
また、システム制御部２１は、ノイズリダクション部１８に出力する制御信号により、光学ズームの停止時と動作時でノイズリダクションの制御値を切り換える。これによって、ノイズリダクションの効き量、つまりノイズの除去量を可変する。このとき、切り換えられる制御値は巡回係数Ｋである。また、上記制御信号による制御値の切り換えは被写体の明るさによっても行われる。すなわち、被写体の明るさが暗くなるにつれて映像信号のＳ／Ｎが悪くなるので、それを補うためにノイズリダクションの効き量を大きくするように制御値を切り換える。また、システム制御部２１は、被写体からの光信号の量に対し、生成する映像信号のレベルを所定値に維持するため、絞り１２、サンプルホールド・ＡＧＣ部１４、電子シャッタ（図２では、電子シャッタを省略している）などを制御しており、これらの露出制御に用いる絞り値、ＡＧＣゲイン、電子シャッタスピードなどにより、被写体の明るさを総合的に判断する。
【００２０】
以上の構成において、本実施形態の撮像装置は、撮影した各フレームにカメラ付与情報を付与する。カメラ付与情報とは、撮像装置が付与可能な動画像に関連する情報のことである。これは、システム制御部２１が、映像信号処理部１６、ノイズリダクション部１８、電子ズーム部１７、レンズ駆動部２０を制御するときに使用したアパーチャ補正、ガンマ補正、ＷＢ補正に関する情報や、レンズ位置検出部１９、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１、測距検出３２などの検出手段から得た情報（被写体距離など）、ユーザ操作部２２から得たユーザによる設定に関する情報（ＷＢ Ｍｏｄｅなど）、ユーザ操作部２２から得たユーザの操作（ズーム操作など）に関する情報など、各種付帯情報を含む。なお、図２では不図示であるが、温度計・湿度計など、他のセンサを備えれば、この情報をカメラ付与情報として用いることが可能であるし、撮像装置１０１０に接続されるストロボなどのアクセサリや、計測機器など、外部機器の情報も、映像との対応関係がとれれば、カメラ付与情報として用いることが可能である。
【００２１】
次に、撮像装置１０１０の動画撮影処理の手順を図４に示したフローチャートを参照して説明する。まず、ステップＳ４０１において、ユーザが、録画ボタン２９をＯＮして、録画開始を指示したかどうかを判定する。録画開始が指示されるまで、撮像装置１０１０は待機状態となる。録画開始が指示されると、録画状態となり、ステップＳ４０２へ進む。このとき、録画開始の時刻を、システム制御部２１からＭＰＥＧ ＣＯＤＥＣ２６へ送り、ファイルのヘッダに記述する。ステップＳ４０２０において、上述したように各種センサなどの情報をもとにシステム制御部２１が、撮像装置１０１０を制御して、１フレーム分の画像を撮像する。このとき、撮像装置１０１０の制御情報はフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。制御情報の形式の一例として、以下の表１にＧａｉｎ及び被写体距離（Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）に関する設定情報を示す。
【００２２】
【表１】
【００２３】
次に、ステップＳ４０３において、ユーザがカメラ操作部２２を介してカメラの設定を行ったかどうかを判定する。カメラの設定が行われたときは、ステップＳ４０４において、システム制御部２１はカメラの設定を変更する。このとき、変更したカメラの設定情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての設定情報の形式の一例として、以下の表２に、ＷＢに関する設定情報を示す。
【００２４】
【表２】
【００２５】
次に、ステップＳ４０５において、カメラが操作されたかどうかを判定する。カメラ操作がなされたか否かは、例えば、ズーム操作であれば、ユーザ操作部２２のワイド・キー２３、テレ・キー２４が操作されたかで判定できるし、パン・チルト操作であれば、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１により検出が可能である。カメラが操作されていれば、ステップＳ４０６に進み、システム制御部２１は操作に合わせて、各種センサ情報をチェックしながら撮像装置を制御する。このとき、操作に関する情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての操作情報の形式の一例として、以下の表３に、Ｚｏｏｍ及びＰａｎに関する設定情報を示す。
【００２６】
【表３】
【００２７】
以上のステップＳ４０２、Ｓ４０４、Ｓ４０６において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報は、フレーム単位にビットフィールドで管理し、これを所定のフレーム数分保持する。次にステップＳ４０７において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報を、カメラ付与情報の項目ごとに参照し、区間単位にまとめられるものがあれば、まとめてＲＡＭ３０３に保持する。
【００２８】
以下の表４〜６に、区間単位のカメラ付与情報の項目の例を示す。区間単位にまとめるとは、例えばＧａｉｎに関して区間単位にまとめるのであれば、Ｇａｉｎの値が０であるフレーム群に対応する区間を１つの区間、０より大きいフレーム群に対応する区間を１つの区間とする。また、被写体距離に関して区間単位にまとめるのであれば、被写体距離が一定の区間と変化している区間とで、それぞれ被写体距離一定区間（Ｃｏｎｓｔａｎｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）と被写体距離変化区間（Ｃｈａｎｇｉｎｇ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）とにわけて、まとめる。なお、被写体一定区間は、被写体距離を６つのＳＴＥＰで表現する。例えば、被写体距離が０から２０ｃｍであれば、ＳＴＥＰ１とする。このＳＴＥＰは、被写体サイズの大きさが十分に変化するかどうかを基準として、分けたものである。ここで被写体サイズとは、フレーム内に占める被写体の大きさの割合のことである。つまり、被写体サイズが最大のときは、アップの映像となる。
【００２９】
被写体距離変化区間は、被写体が１ＳＴＥＰ以上変化した区間である。このとき、開始点と終了点の被写体距離を、被写体一定区間と同様の６つのＳＴＥＰで表現する。なお、変化区間の変化の方向は同一であるとする。つまり、被写体距離が大きくなり、連続して、次に小さくなるような場合は、大きくなっている間を一つの区間、小さくなっている間を一つの区間とする。
【００３０】
ＷＢであれば、同じＷＢ ｍｏｄｅであるフレーム群に対応する区間を一つの区間とする。また、Ｚｏｏｍであれば、Ｚｏｏｍ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。Ｐａｎであれば、Ｐａｎ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。なお、このとき、区間の開始点と終了点のフレーム位置を時間情報（当該ショットの撮影開始からの時間）として関連付けて記憶しておく。なお、区間の開始点と終了点はフレーム位置を特定できればよいので、時間情報の代わりにフレーム番号を用いてもよい。
【００３１】
【表４】
【００３２】
【表５】
【００３３】
【表６】
【００３４】
次に、ステップＳ４０８において、ユーザが、録画ボタン２９をＯＦＦするなどして、録画終了指示をしたかどうかを判定する。録画終了指示されていなければ、上述のステップＳ４０２からステップＳ４０７を繰り返し、録画を続ける。録画終了が指示された場合はステップＳ４０９へ進み、ＲＡＭ３０３に保持された区間単位のカメラ付与情報を格納する。すなわち、区間単位のカメラ付与情報は、全て、システム制御部２１からＭＰＥＧ ＣＯＤＥＣ２６に送られ、映像データの後半部にフッタとして付与され、記録部２７へ送られる。この方法としては、例えば、区間単位のカメラ付与情報をプライベートストリームにして、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットにしたものを末尾に追記すればよい。なお、本実施形態では、録画開始から終了までの１ショットを１ファイルとし、１つのショットに関するカメラ操作情報をそのファイルのフッタとして付与する。
【００３５】
上記区間単位のカメラ付与情報をフッタとして格納する際の形式の一例を図５に示す。図５は、記憶媒体２８の中に記録されている動画像ファイルに含まれるカメラ付与情報の格納形式を示したものである。この動画像ファイルには、動画像の情報とともに、その内容などの情報を簡潔に表現したカメラ付与情報が添付されている。すなわち、動画像ファイルはファイル内に動画像格納領域とカメラ付与情報格納領域とを保有しており、図５のカメラ付与情報の格納形式は、このカメラ付与情報格納領域の内部の構造を示したものである。カメラ付与情報の格納領域５０１は、固定長サイズのカメラ付与情報項目５０２をいくつか保有し、あまった領域を空き領域５０３とする構成を有する。
【００３６】
図６は、図５に示したカメラ付与情報項目５０２の内部構造を示した図である。図６においてカメラ付与情報項目６０１は、固定長の項目をいくつか保有している。カメラ付与情報項目６０１の内部は、大きく２つに分けられ、一つはカメラ付与情報の属性情報６０２であり、もう一つはカメラ付与情報６０５である。カメラ付与情報の属性情報６０２はさらに内部構造を持ち、カメラ付与情報の付与対象区間情報６０３、カメラ付与情報のタイプ番号６０４を含む。
【００３７】
カメラ付与情報のタイプ番号６０４は、カメラ付与情報を識別するための情報であり、撮影時のズーム情報であれば「１０」といった具合に、個々のカメラ付与情報に対して予め割り当てられた識別用の番号を格納するものである。このタイプ番号６０４を利用することで、動画処理装置は、動画像ファイル内の特定のカメラ付与情報を検索することが可能になる。また、カメラ付与情報の付与対象区間情報６０３は、このカメラ付与情報の対象とする動画像データの区間を時間情報で表現したものである。
【００３８】
次に、以上説明した撮像装置によって得られた動画像ファイルをブラウズする、本実施形態のブラウズ装置について説明する。
【００３９】
図７は、本実施形態におけるブラウズ装置の制御構成を示すブロック図である。図７において、７０１はＣＰＵであり、本実施形態のブラウズ装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００４０】
７０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ（例えばフラッシュメモリ）等の少なくとも何れかで構成される。７０７は表示器であり、ディスプレイなどで構成され、ＣＰＵ７０１の制御下で各種処理結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７１１はバスであり、上記構成を接続する。
【００４１】
図８は、本実施形態のブラウズ装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に対応する。８０２は読取部であり、記憶媒体８０１上の動画像及びカメラ付与情報を読み取る。８０３はサブショット分割部であり、動画像データのフッタ部に付加されている上述のカメラ付与情報を基に動画像を意味のある区間（サブショット）に分割する。８０８はサブショット階層化部であり、サブショット分割部８０３で決定された区間を階層化するものである。８０７は、サムネイル作成部であり、サブショット階層化部８０８で階層化された区間に対して、サムネイルを作成するものである。８０６は記録部であり、記録媒体８０１上に、サブショット分割８０３、サブショット階層化部８０８で決定された分割点及び階層、そして、サムネイル作成部８０７によって作成されたサムネイルを記録する。８０４はユーザ操作部であり、キーボード７０４・マウス７０５を含んで構成され、動画再生指示などを与えるものである。８０５は閲覧・再生部であり、ユーザ操作部８０４を介したユーザの指示に基いて、表示器７０７上での動画ファイルの閲覧、再生などを可能とするものである。
【００４２】
ここで、サブショット分割について更に説明する。図１５は、サブショット分割の概要を説明する図である。１５０１から１５０３は同じ動画像ファイル（同じショット）中の動画像データを表しており、それぞれ観点に基づいて、意味のある区間（サブショットと呼ぶ）に分割されている。なお、「分割」するという表現は、サブショット単位の分割点を決定することを意味するものであり、実際に動画像ファイルを切り離すことを意味するものではない。
【００４３】
図１５において、１５０１は撮影した際の環境の観点で動画像を分割したものであり、ここでは、屋内の蛍光灯下で撮影された区間（ａ１）、屋外の太陽光下で撮影された区間（ａ２）の２つのサブショットに分割された例を示している。１５０２は、ｂ）撮影した被写体の観点で分割しており、ここでは、被写体Ａを撮影した区間（ｂ１，ｂ３）、被写体Ｂを撮影した区間（ｂ２，ｂ４）、被写体Ｃを撮影した区間（ｂ５）の５つのサブショットに分割された例を示している。１５０３は、撮影した時の画角の観点で分割しており、ここでは、アップで撮影した区間（ｃ１，ｃ３，ｃ５）、全体を撮影した区間（ｃ２，ｃ４，ｃ６）の６つのサブショットに分割した例を挙げている。
【００４４】
図１８は、サブショットの階層化の概要を説明する図である。図１８の１８０１から１８０３は図１５の１５０１から１５０３と同じ動画像ファイルである。すなわち図１８では、図１５のサブショット分割の各観点に基いて階層化した結果が示されている。１８０１は第１階層であり撮影環境の観点の分割である。１８０２は第２階層であり被写体の観点の分割である。なお、階層の上位下位の決定については後述する。第１階層１８０１の蛍光灯下で撮影された区間（Ａ−１）に対する下の階層として、蛍光灯下で、被写体Ａを撮影した区間（Ａ−１−１）、被写体Ｂを撮影した区間（Ａ−１−２）、再び被写体Ａを撮影した区間（Ａ−１−３）が存在する。同様にＡ−２に対する下の階層としてＡ−２−１、Ａ−２−２、Ａ−２−３が存在する。１８０３は第３階層であり、被写体サイズの観点の分割である。第２階層で、蛍光灯下で被写体Ｂを撮影した区間（Ａ−１−２）に対する下の階層として、被写体Ｂを、アップで撮影した区間（Ａ−１−２−１）と全体で撮影した区間（Ａ−１−２−２）が存在する。同様にＡ−１−３に対する下の階層としてＡ−１−３−１、Ａ−１−３−２、そして、Ａ−２−１に対する下の階層としてＡ−２−１、Ａ−２−１−２、そして、Ａ−２−２に対する下の階層としてＡ−２−２−１、Ａ−２−２−２、そして、Ａ−２−３に対する下の階層としてＡ−２−３−１、Ａ−２−３−２が存在する。
【００４５】
図９は、本実施形態のブラウズ装置によるユーザインターフェースの例を示す図である。９０１は、サムネイル及び動画再生用の表示領域である。表示領域９０１は、閲覧時はショットまたはサブショットのサムネイルを表示し、動画再生時は再生された動画像を表示する。９０２はポインタであり、ショットまたはサブショットを選択し、再生指示を行うときに使用される。９０３はスクロールバーであり、表示領域９０１にサムネイルを表示する際、表示すべきサムネイルの枚数が表示の限界（図９では９枚）を超えた場合に、これを操作することで一度に表示できないサムネイルを順に表示させることができる。９０４と９０５はサブショット表示ボタンである。「次へ」ボタン９０４がＯＮされた場合は、現在選択されているショット、又は、サブショットの、一つ下の階層のサブショット一覧を表示領域９０１に表示する。「戻る」ボタン９０５がＯＮされた場合は、「次へ」ボタンとは反対に、一つ上の階層のサブショット（或いはショット）の一覧を表示領域９０１に表示する。９０７は状態表示欄であり、サブショット表示の際、現在の階層と、当該階層のサブショット分割の観点を表示するものである。９０６は終了ボタンであり、本装置に処理の終了を指示するものである。
【００４６】
図１６は、表示領域９０１におけるそれぞれの操作に応じた表示状態を示すものである。（ａ）のショット閲覧時は、各ショットに対応するサムネイルの一覧を表示する。ポインタ９０２で所望のショットを選択し（図では太枠で表現され、ショットＢが選択されていることを示している）、「次へ」ボタン９０４をＯＮすると、選択されたショット（図ではショットＢ）のサブショットを表示する（ｂ−１）。すなわち、選択されたショットの第１階層のサブショットのサムネイルの一覧が表示される。同様にポインタ９０２で所望のサブショットを選択し（図ではＢ−２）、「次へ」ボタン９０４をＯＮすることによって、選択されたサブショットの下の階層のサブショットを表示させていくことが出来る（（ｂ−２）は第２階層を、（ｂ−３）は第３階層を示す）。
【００４７】
また、「戻る」ボタン９０５をＯＮすれば、逆に、一つ上の階層のサブショットまたはショットの表示をさせることができる（（ｂ−３）から（ｂ−２）→（ｂ−１）→（ａ）など）。更に、サブショットをポインタ９０２で選択し（（ｂ−３）ではＢ−２−２−２が選択されている）、この状態でダブルクリックすると、選択したサブショットの先頭より動画像が再生され、表示領域９０１に表示される（ｃ）。なお、（ａ）におけるショット閲覧時より所望のショットを選択し、ダブルクリックして、当該ショットの先頭から動画を再生させてみることも可能であることはいうまでもない。
【００４８】
このようにユーザは動画像の所望の区間を、上の階層のサブショットから順に表示させ、探していくことができる。図１８の例であれば、「蛍光灯下で」（第１階層）、「被写体Ｂを」（第２階層）、「アップで」（第３階層）したところ、というように、観点毎に順に絞り込んでいくことができる。
【００４９】
以上のような本実施形態のブラウズ装置の動作について図１０を参照してより詳細に説明する。図１０は、本実施形態によるブラウズ装置の動作例を示したフローチャートである。
【００５０】
本装置の処理は大きく、ステップＳ１００１からステップＳ１００５までのサブショット分割・階層化処理と、ステップＳ１００６からステップＳ１０１１までのブラウジング処理とに分けられる。
【００５１】
まず、サブショット分割処理から述べる。ステップＳ１００１において、読取部８０２は記憶媒体８０１より全ての動画像ファイルを読み出し、それぞれに含まれる動画像データと複数のカメラ付与情報（以下、カメラ付与情報リストと記す）を得る。次に、ステップＳ１００２において、サブショット分割部８０３は、読み出されたカメラ付与情報リストをもとに、観点別にサブショット分割を行い、各観点毎に分割点を決定する（処理の詳細は後述する）。次に、ステップＳＳ１００３においてサブショット階層化部８０８は、図１８で説明したようなサブショットの階層化を行う。次に、ステップＳ１００４において、サムネイル作成部８０７は、当該ブラウズ装置でサブショットを一覧するために表示するサムネイル画像を作成する。サムネイル画像はサブショットの区間の先頭フレームを動画像から取得し、縮小することによって得ることが出来る。ただし、もちろん、一覧表示の形態、及びサムネイルの生成は上記に限られるものではなく、サブショットの内容をおおよそ把握できればどのような形態であっても構わない。
【００５２】
次に、ステップＳ１００５において、記録部８０６は、階層化されたサブショット分割の結果を記憶媒体８０１に記録する。なお、記憶媒体８０１への記録は必須のものではなく、例えばＲＡＭ等を介して、閲覧・再生部８０５が分割結果を参照できるようにしてもよい。しかしながら、サブショット情報を一旦記憶媒体８０１に記録しておくことにより、他の機器においても階層化されたサブショット分割の結果を利用することができるようになる。
【００５３】
ここでサブショット情報を格納する際の形式の例を説明する。図１３は、記憶媒体８０１の中に記録されている動画像ファイルのサブショット情報の格納形式を示したものである。図１３に示すように、図５において説明したカメラ付与情報格納領域の後にサブショット情報格納領域を追加し保有する。図１３に示されるサブショット情報の格納形式はこのサブショット格納領域の内部の構造を示したものである。
【００５４】
サブショット格納領域１３０１は、さらに内部で２つの領域に別れており、一つはサブショット・インデックスの格納領域１３０２であり、もう一つはサムネイル画像の格納領域１３０５である。サブショット・インデックスの格納領域１３０２は、固定長サイズのサブショット・インデックス１３０３をいくつか保有し、あまった領域を空き領域１３０４とする構成を有する。また、サムネイル画像の格納領域１３０５は、サムネイル画像１３０６をいくつか保有し、余った領域を空き領域１３０７とする構成を有する。
【００５５】
図１４は、図１３中のサブショット・インデックス１３０３の内部構造を示した図である。サブショット・インデックス１４０１は、固定長の項目をいくつか保有している。サブショットＩＤ１４０５は、個々のサブショットを識別するためのＩＤでる。サブショットの区間情報１４０２は、サブショットの区間を時間情報で表現したものであり、ショット内の１つのサブショットを指示するためのものである。なお、サブショット区間は、カメラ付与情報と同様にフレーム番号で表してもよい。観点のタイプ番号１４０３は、サブショット分割時の観点（後述する）を識別するための番号である。階層１４０６は、当該サブショットが何階層目であるかを示すものである。Ｐａｒｅｎｔ ＩＤ１４０７は、親となるサブショットのサブショットＩＤを記述するものである。もし、最も上位の階層のサブショットであれば、特別なＩＤ（０など）を付与しておく。サムネイル画像の格納位置情報１４０４は、サブショットに対応する、サムネイル画像の格納領域中のサムネイル画像の格納位置を、例えば本領域の先頭からのオフセットで表すものである。
【００５６】
次に、図１１Ａ〜Ｄを用いてステップＳ１００２のサブショット分割処理の詳細な手順を説明する。
【００５７】
まず、「撮影環境」の観点に関するサブショット分割を行う。ステップＳ１１０１において、撮影環境の観点に関するカメラ付与情報項目が存在するかをチェックする。撮影環境に関連する具体的な項目としては、フォーカス、ＩＲＩＳ、Ｇａｉｎ、ＷＢ、ＡＥ Ｍｏｄｅなど様々なものがあるが、本実施形態では説明のために、ＷＢとＧａｉｎを用いる。ＷＢは、撮影の環境に応じて設定が変更される。例えば、太陽光の下では、ユーザによりプリセットの太陽光に設定され、蛍光灯の下では、ユーザによって、プリセットの蛍光灯に設定される。そこで、ＷＢ Ｍｏｄｅが違う場合は撮影環境も変化したと推定できる。また、Ｇａｉｎは、非常に暗い環境での撮影時にプラスになり、撮像装置が画像の明るさを補正する手段として用いられる。よって、Ｇａｉｎがプラスであるかどうかで撮影環境が変化していると推定できる。
【００５８】
さて、ＷＢとＧａｉｎのどちらもカメラ付与情報項目リストの中に存在しなければ、「撮影環境」を観点とするサブショット分割はできないので、ステップＳ１１０２からＳ１１０４までをスキップし、次のステップＳ１１０５へ進む。ＷＢまたはＧａｉｎのどちらか一つが存在するならば、ステップＳ１１０２へ進み、ＷＢまたはＧａｉｎの付与対象区間をそのままサブショット区間とし、サブショットの区間情報１４０２へそのままコピーする。ＷＢとＧａｉｎの両方が存在するならば、ステップＳ１１０３へ進み、ＷＢとＧａｉｎの付与対象区間のＯＲをとり、その結果をサブショット区間としてサブショットの区間情報１４０２へそのままコピーする。次に、ステップＳ１１０４において、ステップＳ１１０２またはステップＳ１１０３で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「撮影環境」を表す１を付与し、観点タイプ番号１４０３として記録する。
【００５９】
このように、「撮影環境」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、それぞれの区間のＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となる。
【００６０】
次に、「被写体」の観点に関するサブショット分割を行う。ステップＳ１１０５において、被写体の観点に関するカメラ付与情報項目が存在するかをチェックする。被写体に関連する具体的な項目としては、Ｐａｎ、Ｔｉｌｔ、被写体距離（Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）など様々なものがあるが、本実施形態では説明のために、Ｐａｎと被写体距離を用いる。被写体Ａから被写体Ｂへと撮影中に視点を移動させるには、ユーザは撮像装置を水平方向に振り動かすＰａｎ操作を行う必要がある。よって、Ｐａｎ操作が行われる前と後では被写体が変化していると推定できる。また、被写体Ａを撮影している時に、被写体Ａと撮像装置１０１０の間に被写体Ｂが現れると、急激に被写体距離が変化する。よって、このように急激に被写体距離が変化していると被写体が変化していると推定できる。
【００６１】
さて、Ｐａｎと被写体距離のどちらもカメラ付与情報項目の中に存在しなければ、被写体の観点に関するサブショット分割（ステップＳ１１０６からＳ１１２５まで）をスキップし、次のステップＳ１１２６へ進む。
【００６２】
Ｐａｎのみが存在する場合は、ステップＳ１１０６へ進み、Ｐａｎの付与対象区間を全てサブショット区間対象リストへコピーする。サブショット区間対象リストは、テンポラリとして使用するもので、カメラ付与情報格納領域５０１と同じ形式である。次に、ステップＳ１１０７へ進み、サブショット区間対象リストに、Ｐａｎ操作中以外の区間を無操作区間として挿入する。このとき、カメラ付与情報のタイプ番号６０４（図６）には、無操作を表すために、特殊な番号、例えば０などを記録する。次に、ステップＳ１１０８０へ進み、サブショット区間対象リスト中の無操作区間の開始位置からパンの終了までをサブショット区間とし、サブショットの区間情報１４０２０へコピーしていく。ただし、例外として、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。本実施形態では無操作区間の開始位置からパンの終了までをサブショット区間とするが、これは、パン中は、被写体が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６３】
一方、ステップＳ１１０５において被写体距離のみが存在すると判定された場合は、ステップＳ１１０９へ進み、被写体距離の付与対象区間を全てサブショット区間対象リストへコピーする。次に、ステップＳ１１１０へ進み、サブショット区間対象リストより先頭から順にひとつの区間を取り出し、被写体距離変化区間（Ｃｈａｎｇｉｎｇ Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）であるか被写体距離一定区間（Ｃｏｎｓｔａｎｔ Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）であるかを判定する（表４）。被写体距離一定区間であれば、ステップＳ１１１１とＳ１１１２の処理をスキップし、ステップＳ１１１３へ進む。
【００６４】
ステップＳ１１１０において、被写体距離変化区間であれば、ステップＳ１１１１に進み、被写体距離の変化量（Ｓｔａｒｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ ＳｔｅｐとＥｎｄ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐの差の絶対値）が、所定値Ａ未満であるかを判定する。所定値Ａは特に限定されるものではないが、本実施形態では２であるとする。つまり、ステップＳ１１１１の条件を満たさない場合は、急激な被写体距離の変化があったときである。このときは、ステップＳ１１１２をスキップし、ステップＳ１１１３へ進む。一方、ステップＳ１１１１の条件を満たす時は、急激な被写体の変化がなかったときであるので、この場合はステップＳ１１１２へ進み、サブショット区間対象リスト中の一つ前の区間とマージする。被写体距離の変化が緩やかな場合は、被写体が変化したものではなく、同一の被写体との間の距離が変化したものと推定でき、このような区間はサブショット分割区間の対象にはならないためである。
【００６５】
ステップＳ１１１３は終了判定であり、サブショット区間対象リストの全ての区間について上述のステップＳ１１１０〜Ｓ１１１２の処理を行ったかを判定する。未処理の区間があればステップＳ１１１０へ戻り、上述の処理を繰り返す。全ての区間について処理が行われていれば、ステップＳ１１１４へ進み、サブショット区間対象リストの中の被写体距離一定区間の開始位置から被写体距離変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、例外として、ショットの終端が被写体距離一定区間である場合は、これをそのままサブショット区間とする（図示せず）。これは、被写体距離が急激に変化しているときは、被写体が変化している区間であるので、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６６】
また、ステップＳ１１０５において、Ｐａｎと被写体距離の両方が存在すると判定された場合は、ステップＳ１１１５へ進む。ステップＳ１１１５からステップＳ１１１７は、ステップＳ１１０６からステップＳ１１０８と、そして、ステップＳ１１１９からステップＳ１１２３は、ステップＳ１１０９からステップＳ１１１４と同じであるので、説明は省略する。ただし、ステップＳ１１１８とステップＳ１１２３において、サブショットの区間情報１４０２へ直接コピーせずに、サブショット区間対象リスト同様にテンポラリである、カメラ付与情報格納領域５０１と同じ形式の、サブショット区間候補リスト１とサブショット区間リスト２に一時的にコピーしておく。そして、次のステップＳ１１２４０において、サブショット区間候補リスト１とサブショット区間候補リスト２のＯＲをとりながら、サブショットの区間情報１４０２へコピーする。
【００６７】
次に、ステップＳ１１２５において、ステップＳ１１０８、Ｓ１１１４、Ｓ１１２４のいずれかによって決定されたサブショット区間に対して、観点のタイプ番号として「被写体」を表す２を付与する。
【００６８】
このように、「被写体」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目が、その変化量などが特定の条件をみたす区間を抽出し、それらのＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、観点に関係のある項目であっても、影響の小さい区間を取り除くことが可能となる。
【００６９】
次に、「被写体サイズ」の観点に関するサブショット分割を行う。ステップＳ１１２６において、被写体サイズの観点に関するカメラ付与情報項目が存在するかをチェックする。被写体サイズに関連する具体的な項目としては、Ｚｏｏｍ、Ｄｉｇｉｔａｌ Ｚｏｏｍ、被写体距離など様々なものがあるが、本実施形態では説明のために、Ｚｏｏｍと被写体距離を用いる。被写体サイズを調整し、例えば、被写体Ａの全体を写した後に、被写体Ａの顔をアップで撮影するためには、ユーザは被写体距離を一定に保ち、Ｚｏｏｍをテレ側に操作するか、または、Ｚｏｏｍを操作せず、被写体Ａに近づいて、被写体距離を小さくする必要がある。また、例えば、被写体Ａがユーザ（撮影者）から遠ざかっているときに被写体Ａを同じサイズで撮影するためには、ユーザはＺｏｏｍをテレ側に操作する必要がある。よって、Ｚｏｏｍと被写体距離の付帯情報を組み合わせることによって、被写体サイズが変更されているかどうか推定できる。
【００７０】
カメラ付与情報項目の中でＺｏｏｍと被写体距離のどちらか一方でもかけていれば被写体サイズの観点に関するサブショット分割は行えないので、ステップＳ１１２７からＳ１１３９までをスキップする。
【００７１】
ステップＳ１１２６において、Ｚｏｏｍと被写体距離の両方の付帯情報が存在するならば、ステップＳ１１２７へ進み、被写体距離を先頭から順にひとつの区間を取り出し、被写体距離変化区間であるか被写体距離一定区間であるかを判定する。被写体距離一定区間であれば、ステップＳ１１２８からステップＳ１１３１の処理を行う。一方、被写体距離変化区間であれば、ステップＳ１１３２からステップＳ１１３５の処理を行う。ステップＳ１１３６は終了判定であり、被写体距離の全区間について、上記の一連の処理を行ったかを判定するものである。
【００７２】
被写体距離一定区間の場合について説明する。まず、ステップＳ１１２８において、現在の区間内にＺｏｏｍが存在するかを判定する。Ｚｏｏｍが存在しなければ、ステップＳ１１３１に進み、注目している区間を被写体サイズ一定区間としてサブショット対象区間リストへコピーする。存在すればステップＳ１１２９へ進む。ステップＳ１１２９において、Ｚｏｏｍの操作量（Ｓｔａｒｔ ＭａｇｎｉｆｉｃａｔｉｏｎとＥｎｄ Ｍａｇｎｉｆｉｃａｔｉｏｎの差の絶対値）が所定値Ｂ以上であるかを判定する。このような判定を行う理由は、操作量が小さい場合は、微調整しただけであると判断出来るからである。所定値Ｂとしては、１．５倍程度が望ましいが、特に限定されるものではない。Ｚｏｏｍの操作量がこの所定値Ｂ未満のときはサブショット分割区間の対象にはならないので、次のステップＳ１１３０をスキップする。
【００７３】
一方、Ｚｏｏｍの操作量が所定値Ｂ以上の場合は、ステップＳ１１３０へ進む。このときは、被写体サイズを変更するのに十分な量であり、なおかつ、被写体距離は一定であるので、Ｚｏｏｍ区間は被写体サイズを変更している区間である。そこで、現在の被写体距離区間とＺｏｏｍ区間のＯＲを取り、サブショット対象区間リストへコピーする。例えば、現在の被写体距離区間中に一つのＺｏｏｍ区間があれば、被写体距離区間の先頭からＺｏｏｍ区間の先頭まで、Ｚｏｏｍ区間の先頭から終了まで、Ｚｏｏｍ区間の終了から被写体距離区間の終了まで、の３つの区間になり、タイプは順に被写体サイズ一定区間、被写体サイズ変化区間、被写体サイズ一定区間となる。
【００７４】
次に、ステップＳ１１２７で被写体距離が変化していると判定された場合（被写体距離変化区間の場合）について説明する。まず、ステップＳ１１３２において、現在の区間内にＺｏｏｍが存在するかを判定する。Ｚｏｏｍが存在しない場合は、次のステップ１１３５に進む。Ｚｏｏｍが操作されていないので、被写体距離が変化していれば被写体サイズが変化していると推定できる。このときは、ステップＳ１１３５に進み、現在の区間をサブショット対象区間リストへ変化区間としてコピーする。
【００７５】
一方、ステップＳ１１３２において、現在の区間内にＺｏｏｍが存在する場合は、ステップＳ１１３３に進む。このときは、Ｚｏｏｍと被写体距離が同時に変化しているので、２つの量を組み合わせなければ評価できない。評価方法には、様々なものが考えられるが、例えば、以下の式で評価することによって、被写体サイズが変化しているかどうかを推定できる。
総合変化量＝（（Ｓｔａｒｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐ−Ｅｎｄ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐ）−Ｈ×（Ｓｔａｒｔ Ｍａｇｎｉｆｉｃａｔｉｏｎ − Ｅｎｄ Ｍａｇｎｉｆｉｃａｔｉｏｎ））の絶対値
ここで、Ｈは係数であり、ズームレンズなどの特性等で決まるものである。本実施形態ではＨ＝１であるとする。
【００７６】
例えば、被写体に近づき（表４のＳＴＥＰ２からＳＴＥＰ１へ）、Ｚｏｏｍをワイド側へ操作した（３倍から２倍へ）場合、上記の式より（２−１）−（３−２）の絶対値になるので、総合変化量は０となる。これは、被写体サイズが変化しないことを示す。一方、例えば、被写体に近づき（ＳＴＥＰ２からＳＴＥＰ１へ）、Ｚｏｏｍをテレ側へ操作した（３倍から４倍へ）とき、上記の式より、（２−１）−（３−４）の絶対値なので、総合変化量は２となる。これは被写体サイズが変化することを示す。よって、総合変化量が大きければ、被写体サイズが変化していると推定できる。
【００７７】
従って、ステップＳ１１３３では、上記総合変化量が所定値Ｃ以上であれば、被写体サイズが変化していると判断する。なお、所定値Ｃは、特に限定されるものではないが、ここでは１であるとする。総合変化量が所定値Ｃ以上であればステップＳ１１３５（前述）へ進む。また、総合変化量が所定値Ｃ未満であれば、結局被写体サイズは変化していないと推定できるので、ステップＳ１１３４へ進み、現在の被写体距離の区間を一定区間としてサブショット対象区間リストへコピーする。
【００７８】
ステップＳ１１３６の終了判定により、全ての区間について上記処理を終了していると判定されれば、ステップＳ１１３７へ進む。ステップＳ１１３７では、サブショット対象区間リスト中で一定区間が連続していれば、それらをマージする。連続した区間の間では、結局、被写体サイズの変化がないためである。次に、ステップＳ１１３８へ進み、サブショット区間対象リストの中の一定区間の開始位置から変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が一定区間である場合は、例外として、これをそのままサブショット区間とする（図示せず）。これは、被写体サイズが変化している区間は、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。次に、ステップＳ１１３９において、ステップＳ１１３８で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として、「被写体サイズ」を表す３を付与する。
【００７９】
このように、「被写体サイズ」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目を組み合わせ、その区間だけでなく変化量なども考慮することで、特定の条件をみたす区間のみを抽出することによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、複数の項目の単純なＯＲでは抽出できない、観点に応じた区間を取り出すことが可能となる。
【００８０】
以上、述べたステップＳ１００２の処理によって、複数種類のカメラ付与情報から、観点毎に応じたサブショット区間を取り出すことが可能となる。
【００８１】
次に、ステップＳ１００３におけるサブショットの階層化処理の詳細な手順を図１７を参照して説明する。
【００８２】
まず、ステップＳ１７０１において、ステップＳ１００２において決定されたサブショット区間の数を観点ごとに求め、階層化順序リストに結果を格納する。階層化順序リストについて図１９を参照して説明する。図１９は階層化順序リストの例である。階層化順位リストは、観点タイプと分割数から構成されている。先頭の観点タイプから順に階層化を行う。初期値では、観点タイプは１，２，３の順になっている（図１９の（ａ））。これは、ユーザが所望の区間を探す際に、撮影環境（観点タイプ１）、被写体（観点タイプ２）、被写体サイズ（観点タイプ３）と絞り込んでいくのが最も一般的であるので、この順に階層化するのが、通常は望ましいからである。また、ステップＳ１７０１では、図１９の（ａ）に示した例のように各観点の分割数が格納されたものとして説明を続ける。
【００８３】
ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートする。図１９の（ａ）の状態であれば、ステップＳ１７０２の処理によって図１９の（ｂ）のように順番が入れ代わる。このように順番を入れ替える理由は次のとおりである。撮影された動画像によっては、被写体は変わらず、撮影環境だけが頻繁に変わっているものや、被写体サイズの変化はほとんどなく、被写体だけが頻繁に変化して多数の被写体が含まれるもの等が存在する。そのような場合、より少ない分割数の観点を上の階層とすることで、上の階層のサブショットがより多くの下の階層のサブショットを含むことが出来る。これにより、ユーザが所望の区間を探す際に、まず上の階層で大きく絞り込むことが出来るようになり、素早く所望の区間にたどり着けるようになるからである。ただし、分割数が同数のものがある場合は、初期値の状態が通常は望ましい順序であるので、初期値の順序が優先される。
【００８４】
次に、ステップＳ１７０３においてＮへ初期値として１を設定する。次に、ステップＳ１７０４において、階層化順序リストのＮ番目の分割数が０であるかどうかをチェックする。０であれば、Ｎ番目の観点では分割されてないので、ステップＳ１７０５へ進みＮをインクリメントして、再びステップＳ１７０４へ進む。０でなければ、次のステップＳ１７０６へ進み、Ｎ番目の観点タイプの先頭のサブショットのサブショット・インデックスから順にサブショットＩＤ１４０１を付与し、夫々の階層１４０３にはＮ番目の階層であることを表すＮをそのまま付与する。次にステップＳ１７０７に進み、Ｎが３より小さいかどうかを判定する。これは終了判定であり、本実施形態では、３階層目までしか存在しない例を説明しているので、Ｎ＝３となった時点で階層化の処理が終了する。
【００８５】
次に、ステップＳ１７０８において、Ｎ＋１番目の観点タイプをもつサブショット・インデックス格納領域１３０１中のサブショット・インデックスリストをサブショットリスト１へコピーする。サブショットリスト１はテンポラリとして使用されるものであり、サブショット・インデックス格納領域１３０１と同じ構成要素からなる。
【００８６】
次に、ステップＳ１７０９において、Ｘに初期値として１を、Ｙに初期値として１を設定する。次に、ステップＳ１７１０に進み、ＸがＮ番目の階層の分割数（サブショット数）以下であるかをチェックする。即ち、次のステップＳ１７１１からステップＳ１７１６までの処理をＮ番目の観点の全てのサブショットに対して行ったかどうかの終了判定である。ＸがＮ番目の分割数以下である間は、以下のステップＳ１７１１〜Ｓ１７１６の処理を実行する。
【００８７】
ステップＳ１７１１において、Ｎ番目の観点タイプのＸ番目のサブショットとサブショットリスト１のＹ番目のサブショットの区間を比較する。まず、Ｘ番目のサブショット区間がＹ番目のサブショット区間を含む場合はステップＳ１７１３へ進む。これは、図２０の（ａ）の場合に相当する。なお、図２０の（ａ）において、２００１はＸ番目のサブショット区間を、２００２はＹ番目のサブショット区間を示す。ステップＳ１７１３では、Ｙ番目のサブショットをそのままＸ番目のサブショットの下の階層のサブショットとするため、Ｙ番目のサブショットのＰａｒｅｎｔＩＤ１４０３にＸ番目のサブショットのサブショットＩＤ１４０１を付与する。そして、ステップＳ１７１４へ進み、Ｙをインクリメントした後、ステップＳ１７１１へ戻る。
【００８８】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間の開始点または終了点のいずれかがＸ番目のサブショット区間の外になった場合はステップＳ１７１２へ進む。これは、図２０の（ｂ）の場合に相当する。なお、図２０の（ｂ）において、２００３がＸ番目のサブショット区間を、２００４がＹ番目のサブショット区間を示す。ステップＳ１７１２では、Ｙ番目のサブショットの区間外となった開始点または終了点をＸ番目のサブショットの区間に合わせて分割する。図２０の（ｂ）では、区間外の終了点側の区間２００６と、Ｘ番目のサブショット区間内の２００５の部分に分割される。なお、２００５を新たなＹ番目のサブショットとして扱う。次にステップＳ１７１３からＳ１７１４の処理を行う（前述）。
【００８９】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間を含む場合はステップＳ１７１５へ進む。これは、図２０の（ｃ）に相当する。なお、図２０の（ｃ）において、２００７がＸ番目のサブショット区間を、２００８がＹ番目のサブショット区間を示す。この場合、Ｘ番目のサブショットは、その下の階層によって更に分割することができないので、ステップＳ１７１５において、Ｘ番目のサブショットの区間に対応する区間をサブショットリスト１から削除する（本実施形態の階層化の目的は、サブショットの区間を徐々に絞り込んで所望の区間にたどり着くことにあるので、上位階層の区間を分割できない下位階層を設けても無意味だからである）。２００９は残りの区間であり、Ｙ＋１番目の区間として扱う。そして、ステップＳ１７１６へ進み、Ｘをインクリメントした後、ステップＳ１７１０へ戻る。
【００９０】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間の外であった場合はそのままステップＳ１７１６へ進む。これは、図２０の（ｄ）に相当する。ここで、２０１０はＸ番目のサブショット区間を、２０１１がＹ番目のサブショット区間である。
【００９１】
次に、図１０に戻り、ステップＳ１００６からステップＳ１０１１のブラウジング処理について述べる。
【００９２】
ステップＳ１００６において、各動画像ファイル（ショット）を代表するサムネイルを表示領域９０１に表示する。ショットを代表するサムネイルとしては、例えば、先頭に登録されているサブショットのサムネイルを使用する方法が考えられる。しかし、もちろん、ショット用のサムネイルを別途作成しておくなどの方法を用いても構わない。ショットの中身を概観できる目的が達成されればよい。なお、本実施形態では、サムネイルは表示領域９０１０の中で、ファイルのヘッダに記述されている撮影開始時刻順に、一番上の行から下の行へ、行の中では、左から右へ向かって並べられるものとする。
【００９３】
次に、ステップＳ１００７において、サブショット表示指示があったかを判定する。これは、ポインタ９０２によりショット又はサブショットが指定され、サブショット表示ボタン９０４、９０５がＯＮされたかどうかによって判定できる。但し、ショット一覧表示のときに「戻る」ボタン９０５をＯＮした場合は例外であり、それより上の階層へは移行できないので表示内容に変化は生じない。ボタン９０４も９０５もＯＮされていなければステップＳ１００８をスキップし、ステップＳ１００９に進む。
【００９４】
一方、ボタン９０４、９０５のいずれかがＯＮされた場合は、ステップＳ１００８に進む。そしてＯＮされたのが「次へ」ボタン９０４の場合は、より下の階層のサブショットを、「戻る」ボタン９０５の場合は、より上の階層のサブショットを表示する。このとき、状態表示欄９０７には、現在の階層と観点を表示し、ユーザが判別可能なようにしている。
【００９５】
次に、ステップＳ１００９において、動画の再生指示が行われたかどうかを判定する。これは、ポインタ９０２を使って特定のショットまたはサブショットをダブルクリックしたかどうかで判定できる。再生指示がされていなければ、ステップＳ１０１０をスキップして、ステップＳ１０１１に進む。再生が指示されていれば、ステップＳ１０１０において、指定されたショットまたはサブショットの先頭から動画像を再生する。なお、再生後はもとのショット、または、サブショット一覧表示に戻る（図示せず）。次にステップＳ１０１１において、終了が指示されたかどうかを判定する。これは、終了ボタン９０６がＯＮされたかどうかで判定できる。終了が指示されていなければステップＳ１００７へ戻り、上記の処理を繰り返す。また、終了が指示されていれば、本処理を終了する。
【００９６】
以上のように、第１実施形態によれば、ユーザはサブショットの選択とサブショット表示を指示することにより効果的に絞り込みを行うことができ、所望の区間（サブショット）に素早くたどり着くことが可能となる。このため、再生、或いは、動画編集などに容易に利用することが可能となるのである。
【００９７】
〔第２実施形態〕
本発明における第２実施形態について、説明する。
【００９８】
第１実施形態では、撮像装置１０１０に備えられているセンサや操作部の情報、または、制御情報を、カメラ付与情報として付与した。第２実施形態では、撮像データを解析することによって、抽出が可能なカメラ付与情報を、撮影後に付与し、利用するというものである。
【００９９】
動画像処理装置の構成、及び、撮像装置１０１０の構成等は第１実施形態と同様であるので、説明を省略し、相違点のみを以下に述べる。
【０１００】
図１２は本実施形態によるブラウザ装置の機能構成を示すブロック図である。図１２において１２０１から１２０７の各構成は第１実施形態の８０１から８０７と同じものであるので説明は省略する。
【０１０１】
１２０８はカメラ付与情報抽出部であり、読取部１２０２を介して記憶媒体１２０１より読み出された映像データを解析し、撮像装置１０１０で付与していないカメラ付与情報を抽出する。ここでは、例としてパン、チルトが撮像装置１０１０によって付与されていないものとして説明する。
【０１０２】
パン・チルトを映像データから抽出する手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、パン・チルトに関する拘束式を説くなどの手法がある。パン・チルトと消失点との関係やパン・チルトを求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。このように、映像データを解析することによって、求めたカメラ付与情報を更に追加して、サブショット分割部１２０３０で活用することが可能である。
【０１０３】
以上のようにして得られたパン、チルト情報は、図５で説明したカメラ付与情報格納領域に追加され、図１４のようなサブショット情報格納領域を生成する際に用いられる。
【０１０４】
〔他の実施形態〕
上記第１、第２実施形態では、撮像装置１０１０とブラウズ装置１０３０の２つの装置を用いて構成されたが、撮像装置１０１０が十分な処理能力があれば、撮像装置１０１０にブラウズ装置１０３０の機能を包含させ、１つの装置で構成してもかまわない。この場合であっても、サブショット情報を記憶媒体１０２０に記録するようにすれば、他の機器においてサブショット分割の結果を利用することが可能となる。
【０１０５】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７とユーザ操作部８０４、閲覧・再生部８０５を一つの機器に構成したが、図１３、図１４のサブショット情報を記憶媒体１０２０（８０１）に記録するようにすれば、上記各部を別の機器として構成してももちろん構わない。
【０１０６】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７、カメラ付与情報抽出部１２０８は、ブラウズ装置１０３０上に構成したが、撮像装置１０１０が十分な処理能力があれば、これらを、撮像装置１０１０上に構成しても構わない。この場合、図１３、図１４のサブショット情報を記憶媒体１０２０（記憶媒体２８）に記録することによって、ブラウズ装置１０３０はブラウズが可能となる。
【０１０７】
また、第１、第２実施形態では、区間単位のカメラ付与情報（図５、図６）を撮影中に生成し、記憶媒体１０２０に記録したが、撮像装置１０１０に十分なメモリや処理能力がなければ、フレーム単位のカメラ付与情報を記録しておき、後で、区間ごとにまとめる処理を行ってもよい。その際、フレーム単位にカメラ付与情報を格納する方法は、画像データの管理情報中の未使用領域などに、格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。また、撮像装置１０１０に区間単位のカメラ付与情報を記録する能力があっても、フレーム単位のカメラ付与情報も同時に冗長に記録しておいても、もちろん、構わない。こうしておけば、ファイル操作が行われ、区間単位のカメラ付与情報が損なわれ、変更が必要となった場合でも、フレーム単位のカメラ付与情報から、再集計し、区間単位のカメラ付与情報を作成しなおすことが可能となる。
【０１０８】
また、第１、第２実施形態では、区間単位のカメラ付与情報、サブショット情報をバイナリ形式で格納したが、撮像装置１０１０に十分な処理能力があれば、或いは、ブラウズ装置１０３０を使用して、テキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等で表現する事ももちろんかまわない。また、ＭＰＥＧ７にしたがった形式で格納する場合は、Ｓｅｇｍｅｎｔ ＤＳに格納すれば良い。
【０１０９】
また、第１、第２実施形態では、カメラ付与情報、及び、サブショット情報を記憶媒体１０２０を介してやり取りしたが、ＩＥＥＥ１３９４などの通信手段を設け、これによってやり取りするように構成しても構わない。
【０１１０】
また、第１、第２の実施形態では、１つのショットを１つの動画像ファイルとしたが、複数のショットを１つの動画像ファイルとしても構わない。この場合は、各ショットとカメラ付与情報、サブショット情報の対応がとれるように、識別番号などを振り、関連付けしておけばよい。
【０１１１】
また、第１、第２実施形態では、サブショット分割の観点として、撮影環境、被写体、被写体サイズの３つを上げたが、これに限られるものではなく、例えば、エフェクトを付与しているかどうか、など、様々な観点が考えられる。また、分割の観点が増えれば、これに合わせて階層の数を増やしても構わない。
【０１１２】
また、第１、第２実施形態では、サブショット分割の結果を、ブラウジングに利用したが、サブショットを基本単位とし、観点種別の指定手段を設ければ、動画編集、フレーム印刷、ダイジェスト再生など、様々な方法で利用することができる。例えば、動画編集であれば、編集対象のショットを、観点別にサブショット分割すれば、その分割位置を編集のＩｎ・Ｏｕｔ点の指定に利用できる。また、フレーム印刷であれば、サブショットごとに、フレーム印刷の候補を、例えば、サブショット区間の中央のフレームを抜き出して提示することで、観点別にフレーム印刷候補を提示できる。また、ダイジェスト再生であれば、サブショットの先頭の数秒ずつを再生させることで、指定された観点別のダイジェスト再生を行うことが出来る。
【０１１３】
また、第１、第２実施形態では、図２０の（ｃ）のときは分割されないために下の階層はなしとした。例えば、注目しているサブショット（２階層目とする）の下の階層（３階層目）に相当する区間が、分割されず、注目しているサブショットと同じ区間であった場合には、３階層目を設けなかったとしている。この場合、ブラウズ時に、「次へ」ボタン９０４を押しても「下の階層はありません」と警告を表示するか、予め「次へ」ボタン９０４を押下できないようにしておくようになる。しかしながら、同じ区間でも３階層目を設けておき、ブラウズ時に、「次へ」ボタン９０４を押した場合は、同じ区間を持つサムネイルが１つだけ表示されるようにしてもよい。
【０１１４】
また、第１、第２実施形態では、図９に示したようなユーザインターフェースとしたが、これに限られるものではなく、例えば、何階層目かを直接指示できるボタンなどを設けてもよい。
【０１１５】
また、第１、２の実施形態では、ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートしたが、一般的な階層化順序のみで常に階層化するのでよければ、省略しても構わない。また、予めユーザが階層化順序を指示するようにしておいても構わない。すなわち、図１９の（ａ）の階層化順序リストにおける各観点の階層順位をユーザによって所望に設定可能としてもよい。また、ステップＳ１７０２のソート処理を実行するか否かをユーザによって指定可能としてもよい。
【０１１６】
以上説明したように本発明によれば、観点毎の単位に動画像を分割し、階層化されたサブショットを得ることが可能となり、ユーザは、サブショットの選択とサブショット表示の指示を繰り返すことで、サブショットの絞込みを行うことが可能となる。これにより、ユーザは素早く所望のサブショットを入手することができる。
【０１１７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１１８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【０１２０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
【発明の効果】
以上説明したように、本発明によれば、撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけ、再生や編集作業を容易化することができる。
【図面の簡単な説明】
【図１】実施形態における動画像処理システムの概略構成を表すブロック図である。
【図２】実施形態による撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置におけるシステム制御部の構成を示すブロック図である。
【図４】実施形態の撮像装置による動画撮像処理の手順を示すフローチャートである。
【図５】カメラ付与情報の格納形式の一例を示す図である。
【図６】図５に示すカメラ付与情報項目の内部構造の一例を示す図である。
【図７】実施形態によるブラウズ装置の制御構成を示すブロック図である。
【図８】ブラウズ装置の第１実施形態における機能構成を示すブロック図である。
【図９】ブラウズ装置のユーザインターフェースの一例を示す図である。
【図１０】ブラウズ装置の動作例を示したフローチャートである。
【図１１Ａ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｂ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｃ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｄ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１２】第２実施形態におけるブラウズ装置の機能構成を示すブロック図である。
【図１３】実施形態によるサブショット情報の格納形式の一例を示す図である。
【図１４】図１３に示すサブショット・インデックスの内部構造の一例を示す図である。
【図１５】サブショット分割の概要を説明する図である。
【図１６】図９に示したユーザインターフェースにおける表示領域の動作の一例を示す図である。
【図１７】ブラウズ装置のサブショットの階層化処理の詳細な手順を示したフローチャートである。
【図１８】階層化されたサブショットの概要を説明する図である。
【図１９】階層化順序リストの一例を示す図である。
【図２０】階層化処理におけるサブショットの区間の関係の例を説明する図である。
【図２１】一般的な動画分割を説明する図である。
【発明の属する技術分野】
本発明は、動画像を撮像装置の操作や撮像装置の状態の変化点等を利用して分割する技術に関する。
【０００２】
【従来の技術】
一般に、特許文献１や特許文献２に見られるように、動画の撮像装置の操作（パン、チルト）や、撮像装置の状態の変化点（フォーカスなど）ごとに動画像の分割を行うことによって、所望の場所からの再生や、動画編集、自動的な動画像の要約を可能とし、内容の確認を容易にしている。このような方法は、特に、１つの動画中に様々な撮影対象が含まれていたり、撮影環境が変化したりした場合に有効である。
【０００３】
【特許文献１】
特開平０８−１６３４８８号公報
【特許文献２】
特許第３１９２６６３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、１つの動画が長ければ長いほど、そして、その動画に含まれる撮影対象や撮影環境の変化が多ければ多いほど、従来の手法では、動画はたくさんの区間に分割されてしまうことになる。
【０００５】
例えば、図２１は従来の技術による動画像の分割を説明する図である。（ａ）は、同じ動画に対して、撮像装置に対する操作区間や撮像装置の状態の変化点（Ｇａｉｎ、Ｗｈｉｔｅ Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎ）を項目ごとに示している。また、（ｂ）は、これらＧａｉｎ、Ｗｈｉｔｅ Ｂａｌａｎｃｅ、被写体距離、Ｚｏｏｍ、Ｐａｎを用いて動画像の分割を行った結果を示している。図２１に示したように、複数種類の項目による分割個所が混在することにより、動画像が多くの区間に細分化されてしまう。また、複数の種類の項目によって区間が決定されているところでは、区間が意味のある単位とならない（ここで意味のある単位とは、例えば、被写体Ａが映っている区間、というものである）。例えば、図２１のＡの区間は、Ｗｈｉｔｅ Ｂａｌａｎｃｅの変化点で始まり、Ｐａｎ操作の終了点で終わっており、意味のある単位となっていない。
【０００６】
従って、上述のような従来技術の状況では、動画中の所望の区間を探すにも、ひとつひとつの確認に時間がかかってしまう。また、動画編集などにおいて、意味のある単位で区間を取り出したい場合は、開始点と終了点を修正しなければならないなど、結局は、ユーザへ負担を強いる結果になってしまう。
【０００７】
上記のような動画像は特にアマチュアの撮影者が、撮影を行った場合に顕著に見られる傾向である。アマチュアの撮影者は、撮影に不慣れであるのと、通常は１台の撮像装置を用いて撮影を行うため、撮影対象を探しながら撮影したり、一度に多くの場所で、多くの被写体を撮影したりするの傾向があるからである。
【０００８】
本発明は、上記の問題に鑑みてなされたものであり、撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけ、再生や編集作業を容易化することを目的とする。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明による動画像処理方法は、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理方法であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成工程と、
前記生成工程により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化工程と、
前記階層化工程で得られた統合分割情報を前記動画像データに対応させて保持する保持工程とを備える。
【００１０】
また、上記の目的を達成するための本発明による動画像処理装置は以下の構成を備える。すなわち、
動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理装置であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成手段と、
前記生成手段により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化手段と、
前記階層化手段で得られた統合分割情報を前記動画像データに対応させて保持する保持手段とを備える。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について添付の図面を用いて説明する。
【００１２】
〔第１実施形態〕
図１は第１実施形態による動画像処理システムの構成を示すブロック図である。図１において１０１０は撮像装置であり動画像を撮像する。１０２０は記憶媒体であり、動画像などを格納しておくのに用いられる。１０３０はブラウズ装置であり、記憶媒体１０２０に含まれた動画像を閲覧し、再生する。以下、本実施形態による撮像装置１０１０とその制御方法および記憶媒体の実施形態について説明する。
【００１３】
図２は本実施形態における撮像装置の構成を示すブロック図である。図２において、１１はレンズ部であり、被写体距離を調整するフォーカスレンズと焦点距離を調整するズームレンズとを含み、被写体を撮像素子１３上に結像させる。１２は絞りであり、撮像素子１３に到達する光量を調節する。１３は撮像素子であり、であり、入力した光を電気信号に変換するＣＣＤを含む。１４はサンプルホールド・ＡＧＣ回路であり、サンプルホールドおよびゲイン調整を行う。１５はＡ／Ｄ変換部であり、アナログデジタル変換（Ａ／Ｄ変換）を行う。１６は映像信号処理部であり、信号を処理して映像信号を生成する。１８はノイズリダクション部（ＮＲ）であり、フィールドメモリを有し、映像信号のノイズを除去する。１９はレンズ位置検出部であり、レンズの位置を検出する。２０はレンズ駆動部であり、レンズを駆動する。
【００１４】
２１はシステム制御部であり、撮像装置全体を制御する。図３はシステム制御部２１の構成を示すブロック図である。システム制御部２１は周知のＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、Ｉ／Ｏインターフェース３０４、およびバス３０５を有する。ＲＯＭ３０２には、ＣＰＵ３０１によって実行される後述のプログラム、テーブル値などが格納されている。
【００１５】
２２はユーザ操作部であり、ユーザが撮像装置を操作するためのキーが配置されている。２３はズームをワイド（広角＝画像縮小）方向に動作させるワイド・キー、２４はテレ（望遠＝画像拡大）方向に移動させるテレ・キーである。ワイド・キー２３およびテレ・キー２４は、例えばシーソー型の連動したキーであり、どちらのキーがどの程度の押し圧により押されているかを示す出力信号をシステム制御部２１に出力する。なお押し圧は拡大縮小のスピードを決定する。２９は録画ボタンであり、ＯＮされるとシステム制御部２１は撮像装置を録画状態にする。３０はモードダイヤルであり、ユーザはこれを操作することで各種の設定を行う。例えば、フォーカスモード（自動／手動）、露光モード（自動、ゲイン優先、シャッタ速度優先、絞り優先、手動）、Ｗｈｉｔｅ Ｂａｌａｎｃｅ Ｍｏｄｅ（以下、ＷＢ Ｍｏｄｅと表記する）（プリセット−太陽光、くもり、電球、蛍光灯）などである。
【００１６】
設定された情報はシステム制御部２１へ入力され、システム制御部２１が設定に応じて撮像装置を制御する。ノイズリダクション部（ＮＲ）１８は巡回型ノイズリダクション回路で構成される。２６は、映像データをＭＰＥＧ−２の形式に符号化するＭＰＥＧ ＣＯＤＥＣである。２７は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。２８は記録媒体であり、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性の半導体メモリ（フラッシュメモリ等）等である。などである。２５は、Ｘ方向回転速度検出であり、撮像装置を水平方向に振ったときの速度をジャイロセンサなどを用いて検出する。３１は、Ｙ方向回転速度検出であり、撮像装置を垂直方向に振ったときの速度をＸ方向回転速度検出２５と同様に、ジャイロセンサなどを用いて検出する。３２は被写体までの距離を測距検出する測距検出部である。測距検出部３２としては公知のものを適用でき、例えば、撮像装置１０１０の発光窓（図示せず）から被写体に向けて発光した赤外光が被写体に当って反射してくるのを受光窓（図示せず）から受光し、内部に設けられた受光素子、たとえばＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｖｉｃｅ）で測距信号に変換する。
【００１７】
以上のような構成を備える撮像装置の動作概要を説明する。レンズ部１１より受光した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５によりＡ／Ｄ変換され、映像信号処理部１６に入力する。映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正などの処理が施されて映像信号が生成され、ノイズリダクション部１８へ出力する。ノイズリダクション部１８では、システム制御部２１からの制御信号により制御され、映像信号のノイズを除去する。ノイズが除去された映像信号は、ＭＰＥＧ ＣＯＤＥＣ２６に出力される。ＭＰＥＧ ＣＯＤＥＣ２６では、入力された映像信号の符号化を行う。このとき、ＭＰＥＧ ＣＯＤＥＣ２６は、システム制御部２１から入力されるカメラ付与情報（後述する）を符号化された映像信号と共にファイルとして格納し、ＭＰＥＧ ＣＯＤＥＣ２６に接続された記録装置などに出力する。
【００１８】
システム制御部２１は、撮像装置各部を制御するとともに、ズーム操作キー部２２のワイド・キー２３およびテレ・キー２４が押されていると、レンズ駆動部２０の制御または電子ズーム部１７の制御を行い、ズームをワイド方向またはテレ方向に移動させる。また、システム制御部２１は、レンズ位置検出部１９からのレンズ位置検出信号により、ズームレンズ１１がテレ端（最望遠端点）、ワイド端（最広角端点）あるいはテレ端とワイド端のどこに位置する（ズーム倍率）のかを判断する。
【００１９】
また、システム制御部２１は、ノイズリダクション部１８に出力する制御信号により、光学ズームの停止時と動作時でノイズリダクションの制御値を切り換える。これによって、ノイズリダクションの効き量、つまりノイズの除去量を可変する。このとき、切り換えられる制御値は巡回係数Ｋである。また、上記制御信号による制御値の切り換えは被写体の明るさによっても行われる。すなわち、被写体の明るさが暗くなるにつれて映像信号のＳ／Ｎが悪くなるので、それを補うためにノイズリダクションの効き量を大きくするように制御値を切り換える。また、システム制御部２１は、被写体からの光信号の量に対し、生成する映像信号のレベルを所定値に維持するため、絞り１２、サンプルホールド・ＡＧＣ部１４、電子シャッタ（図２では、電子シャッタを省略している）などを制御しており、これらの露出制御に用いる絞り値、ＡＧＣゲイン、電子シャッタスピードなどにより、被写体の明るさを総合的に判断する。
【００２０】
以上の構成において、本実施形態の撮像装置は、撮影した各フレームにカメラ付与情報を付与する。カメラ付与情報とは、撮像装置が付与可能な動画像に関連する情報のことである。これは、システム制御部２１が、映像信号処理部１６、ノイズリダクション部１８、電子ズーム部１７、レンズ駆動部２０を制御するときに使用したアパーチャ補正、ガンマ補正、ＷＢ補正に関する情報や、レンズ位置検出部１９、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１、測距検出３２などの検出手段から得た情報（被写体距離など）、ユーザ操作部２２から得たユーザによる設定に関する情報（ＷＢ Ｍｏｄｅなど）、ユーザ操作部２２から得たユーザの操作（ズーム操作など）に関する情報など、各種付帯情報を含む。なお、図２では不図示であるが、温度計・湿度計など、他のセンサを備えれば、この情報をカメラ付与情報として用いることが可能であるし、撮像装置１０１０に接続されるストロボなどのアクセサリや、計測機器など、外部機器の情報も、映像との対応関係がとれれば、カメラ付与情報として用いることが可能である。
【００２１】
次に、撮像装置１０１０の動画撮影処理の手順を図４に示したフローチャートを参照して説明する。まず、ステップＳ４０１において、ユーザが、録画ボタン２９をＯＮして、録画開始を指示したかどうかを判定する。録画開始が指示されるまで、撮像装置１０１０は待機状態となる。録画開始が指示されると、録画状態となり、ステップＳ４０２へ進む。このとき、録画開始の時刻を、システム制御部２１からＭＰＥＧ ＣＯＤＥＣ２６へ送り、ファイルのヘッダに記述する。ステップＳ４０２０において、上述したように各種センサなどの情報をもとにシステム制御部２１が、撮像装置１０１０を制御して、１フレーム分の画像を撮像する。このとき、撮像装置１０１０の制御情報はフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。制御情報の形式の一例として、以下の表１にＧａｉｎ及び被写体距離（Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）に関する設定情報を示す。
【００２２】
【表１】
次に、ステップＳ４０３において、ユーザがカメラ操作部２２を介してカメラの設定を行ったかどうかを判定する。カメラの設定が行われたときは、ステップＳ４０４において、システム制御部２１はカメラの設定を変更する。このとき、変更したカメラの設定情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての設定情報の形式の一例として、以下の表２に、ＷＢに関する設定情報を示す。
【００２４】
【表２】
次に、ステップＳ４０５において、カメラが操作されたかどうかを判定する。カメラ操作がなされたか否かは、例えば、ズーム操作であれば、ユーザ操作部２２のワイド・キー２３、テレ・キー２４が操作されたかで判定できるし、パン・チルト操作であれば、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１により検出が可能である。カメラが操作されていれば、ステップＳ４０６に進み、システム制御部２１は操作に合わせて、各種センサ情報をチェックしながら撮像装置を制御する。このとき、操作に関する情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての操作情報の形式の一例として、以下の表３に、Ｚｏｏｍ及びＰａｎに関する設定情報を示す。
【００２６】
【表３】
以上のステップＳ４０２、Ｓ４０４、Ｓ４０６において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報は、フレーム単位にビットフィールドで管理し、これを所定のフレーム数分保持する。次にステップＳ４０７において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報を、カメラ付与情報の項目ごとに参照し、区間単位にまとめられるものがあれば、まとめてＲＡＭ３０３に保持する。
【００２８】
以下の表４〜６に、区間単位のカメラ付与情報の項目の例を示す。区間単位にまとめるとは、例えばＧａｉｎに関して区間単位にまとめるのであれば、Ｇａｉｎの値が０であるフレーム群に対応する区間を１つの区間、０より大きいフレーム群に対応する区間を１つの区間とする。また、被写体距離に関して区間単位にまとめるのであれば、被写体距離が一定の区間と変化している区間とで、それぞれ被写体距離一定区間（Ｃｏｎｓｔａｎｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）と被写体距離変化区間（Ｃｈａｎｇｉｎｇ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ）とにわけて、まとめる。なお、被写体一定区間は、被写体距離を６つのＳＴＥＰで表現する。例えば、被写体距離が０から２０ｃｍであれば、ＳＴＥＰ１とする。このＳＴＥＰは、被写体サイズの大きさが十分に変化するかどうかを基準として、分けたものである。ここで被写体サイズとは、フレーム内に占める被写体の大きさの割合のことである。つまり、被写体サイズが最大のときは、アップの映像となる。
【００２９】
被写体距離変化区間は、被写体が１ＳＴＥＰ以上変化した区間である。このとき、開始点と終了点の被写体距離を、被写体一定区間と同様の６つのＳＴＥＰで表現する。なお、変化区間の変化の方向は同一であるとする。つまり、被写体距離が大きくなり、連続して、次に小さくなるような場合は、大きくなっている間を一つの区間、小さくなっている間を一つの区間とする。
【００３０】
ＷＢであれば、同じＷＢ ｍｏｄｅであるフレーム群に対応する区間を一つの区間とする。また、Ｚｏｏｍであれば、Ｚｏｏｍ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。Ｐａｎであれば、Ｐａｎ操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。なお、このとき、区間の開始点と終了点のフレーム位置を時間情報（当該ショットの撮影開始からの時間）として関連付けて記憶しておく。なお、区間の開始点と終了点はフレーム位置を特定できればよいので、時間情報の代わりにフレーム番号を用いてもよい。
【００３１】
【表４】
【表５】
【表６】
次に、ステップＳ４０８において、ユーザが、録画ボタン２９をＯＦＦするなどして、録画終了指示をしたかどうかを判定する。録画終了指示されていなければ、上述のステップＳ４０２からステップＳ４０７を繰り返し、録画を続ける。録画終了が指示された場合はステップＳ４０９へ進み、ＲＡＭ３０３に保持された区間単位のカメラ付与情報を格納する。すなわち、区間単位のカメラ付与情報は、全て、システム制御部２１からＭＰＥＧ ＣＯＤＥＣ２６に送られ、映像データの後半部にフッタとして付与され、記録部２７へ送られる。この方法としては、例えば、区間単位のカメラ付与情報をプライベートストリームにして、ＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）パケットにしたものを末尾に追記すればよい。なお、本実施形態では、録画開始から終了までの１ショットを１ファイルとし、１つのショットに関するカメラ操作情報をそのファイルのフッタとして付与する。
【００３５】
上記区間単位のカメラ付与情報をフッタとして格納する際の形式の一例を図５に示す。図５は、記憶媒体２８の中に記録されている動画像ファイルに含まれるカメラ付与情報の格納形式を示したものである。この動画像ファイルには、動画像の情報とともに、その内容などの情報を簡潔に表現したカメラ付与情報が添付されている。すなわち、動画像ファイルはファイル内に動画像格納領域とカメラ付与情報格納領域とを保有しており、図５のカメラ付与情報の格納形式は、このカメラ付与情報格納領域の内部の構造を示したものである。カメラ付与情報の格納領域５０１は、固定長サイズのカメラ付与情報項目５０２をいくつか保有し、あまった領域を空き領域５０３とする構成を有する。
【００３６】
図６は、図５に示したカメラ付与情報項目５０２の内部構造を示した図である。図６においてカメラ付与情報項目６０１は、固定長の項目をいくつか保有している。カメラ付与情報項目６０１の内部は、大きく２つに分けられ、一つはカメラ付与情報の属性情報６０２であり、もう一つはカメラ付与情報６０５である。カメラ付与情報の属性情報６０２はさらに内部構造を持ち、カメラ付与情報の付与対象区間情報６０３、カメラ付与情報のタイプ番号６０４を含む。
【００３７】
カメラ付与情報のタイプ番号６０４は、カメラ付与情報を識別するための情報であり、撮影時のズーム情報であれば「１０」といった具合に、個々のカメラ付与情報に対して予め割り当てられた識別用の番号を格納するものである。このタイプ番号６０４を利用することで、動画処理装置は、動画像ファイル内の特定のカメラ付与情報を検索することが可能になる。また、カメラ付与情報の付与対象区間情報６０３は、このカメラ付与情報の対象とする動画像データの区間を時間情報で表現したものである。
【００３８】
次に、以上説明した撮像装置によって得られた動画像ファイルをブラウズする、本実施形態のブラウズ装置について説明する。
【００３９】
図７は、本実施形態におけるブラウズ装置の制御構成を示すブロック図である。図７において、７０１はＣＰＵであり、本実施形態のブラウズ装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００４０】
７０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ（例えばフラッシュメモリ）等の少なくとも何れかで構成される。７０７は表示器であり、ディスプレイなどで構成され、ＣＰＵ７０１の制御下で各種処理結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７１１はバスであり、上記構成を接続する。
【００４１】
図８は、本実施形態のブラウズ装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に対応する。８０２は読取部であり、記憶媒体８０１上の動画像及びカメラ付与情報を読み取る。８０３はサブショット分割部であり、動画像データのフッタ部に付加されている上述のカメラ付与情報を基に動画像を意味のある区間（サブショット）に分割する。８０８はサブショット階層化部であり、サブショット分割部８０３で決定された区間を階層化するものである。８０７は、サムネイル作成部であり、サブショット階層化部８０８で階層化された区間に対して、サムネイルを作成するものである。８０６は記録部であり、記録媒体８０１上に、サブショット分割８０３、サブショット階層化部８０８で決定された分割点及び階層、そして、サムネイル作成部８０７によって作成されたサムネイルを記録する。８０４はユーザ操作部であり、キーボード７０４・マウス７０５を含んで構成され、動画再生指示などを与えるものである。８０５は閲覧・再生部であり、ユーザ操作部８０４を介したユーザの指示に基いて、表示器７０７上での動画ファイルの閲覧、再生などを可能とするものである。
【００４２】
ここで、サブショット分割について更に説明する。図１５は、サブショット分割の概要を説明する図である。１５０１から１５０３は同じ動画像ファイル（同じショット）中の動画像データを表しており、それぞれ観点に基づいて、意味のある区間（サブショットと呼ぶ）に分割されている。なお、「分割」するという表現は、サブショット単位の分割点を決定することを意味するものであり、実際に動画像ファイルを切り離すことを意味するものではない。
【００４３】
図１５において、１５０１は撮影した際の環境の観点で動画像を分割したものであり、ここでは、屋内の蛍光灯下で撮影された区間（ａ１）、屋外の太陽光下で撮影された区間（ａ２）の２つのサブショットに分割された例を示している。１５０２は、ｂ）撮影した被写体の観点で分割しており、ここでは、被写体Ａを撮影した区間（ｂ１，ｂ３）、被写体Ｂを撮影した区間（ｂ２，ｂ４）、被写体Ｃを撮影した区間（ｂ５）の５つのサブショットに分割された例を示している。１５０３は、撮影した時の画角の観点で分割しており、ここでは、アップで撮影した区間（ｃ１，ｃ３，ｃ５）、全体を撮影した区間（ｃ２，ｃ４，ｃ６）の６つのサブショットに分割した例を挙げている。
【００４４】
図１８は、サブショットの階層化の概要を説明する図である。図１８の１８０１から１８０３は図１５の１５０１から１５０３と同じ動画像ファイルである。すなわち図１８では、図１５のサブショット分割の各観点に基いて階層化した結果が示されている。１８０１は第１階層であり撮影環境の観点の分割である。１８０２は第２階層であり被写体の観点の分割である。なお、階層の上位下位の決定については後述する。第１階層１８０１の蛍光灯下で撮影された区間（Ａ−１）に対する下の階層として、蛍光灯下で、被写体Ａを撮影した区間（Ａ−１−１）、被写体Ｂを撮影した区間（Ａ−１−２）、再び被写体Ａを撮影した区間（Ａ−１−３）が存在する。同様にＡ−２に対する下の階層としてＡ−２−１、Ａ−２−２、Ａ−２−３が存在する。１８０３は第３階層であり、被写体サイズの観点の分割である。第２階層で、蛍光灯下で被写体Ｂを撮影した区間（Ａ−１−２）に対する下の階層として、被写体Ｂを、アップで撮影した区間（Ａ−１−２−１）と全体で撮影した区間（Ａ−１−２−２）が存在する。同様にＡ−１−３に対する下の階層としてＡ−１−３−１、Ａ−１−３−２、そして、Ａ−２−１に対する下の階層としてＡ−２−１、Ａ−２−１−２、そして、Ａ−２−２に対する下の階層としてＡ−２−２−１、Ａ−２−２−２、そして、Ａ−２−３に対する下の階層としてＡ−２−３−１、Ａ−２−３−２が存在する。
【００４５】
図９は、本実施形態のブラウズ装置によるユーザインターフェースの例を示す図である。９０１は、サムネイル及び動画再生用の表示領域である。表示領域９０１は、閲覧時はショットまたはサブショットのサムネイルを表示し、動画再生時は再生された動画像を表示する。９０２はポインタであり、ショットまたはサブショットを選択し、再生指示を行うときに使用される。９０３はスクロールバーであり、表示領域９０１にサムネイルを表示する際、表示すべきサムネイルの枚数が表示の限界（図９では９枚）を超えた場合に、これを操作することで一度に表示できないサムネイルを順に表示させることができる。９０４と９０５はサブショット表示ボタンである。「次へ」ボタン９０４がＯＮされた場合は、現在選択されているショット、又は、サブショットの、一つ下の階層のサブショット一覧を表示領域９０１に表示する。「戻る」ボタン９０５がＯＮされた場合は、「次へ」ボタンとは反対に、一つ上の階層のサブショット（或いはショット）の一覧を表示領域９０１に表示する。９０７は状態表示欄であり、サブショット表示の際、現在の階層と、当該階層のサブショット分割の観点を表示するものである。９０６は終了ボタンであり、本装置に処理の終了を指示するものである。
【００４６】
図１６は、表示領域９０１におけるそれぞれの操作に応じた表示状態を示すものである。（ａ）のショット閲覧時は、各ショットに対応するサムネイルの一覧を表示する。ポインタ９０２で所望のショットを選択し（図では太枠で表現され、ショットＢが選択されていることを示している）、「次へ」ボタン９０４をＯＮすると、選択されたショット（図ではショットＢ）のサブショットを表示する（ｂ−１）。すなわち、選択されたショットの第１階層のサブショットのサムネイルの一覧が表示される。同様にポインタ９０２で所望のサブショットを選択し（図ではＢ−２）、「次へ」ボタン９０４をＯＮすることによって、選択されたサブショットの下の階層のサブショットを表示させていくことが出来る（（ｂ−２）は第２階層を、（ｂ−３）は第３階層を示す）。
【００４７】
また、「戻る」ボタン９０５をＯＮすれば、逆に、一つ上の階層のサブショットまたはショットの表示をさせることができる（（ｂ−３）から（ｂ−２）→（ｂ−１）→（ａ）など）。更に、サブショットをポインタ９０２で選択し（（ｂ−３）ではＢ−２−２−２が選択されている）、この状態でダブルクリックすると、選択したサブショットの先頭より動画像が再生され、表示領域９０１に表示される（ｃ）。なお、（ａ）におけるショット閲覧時より所望のショットを選択し、ダブルクリックして、当該ショットの先頭から動画を再生させてみることも可能であることはいうまでもない。
【００４８】
このようにユーザは動画像の所望の区間を、上の階層のサブショットから順に表示させ、探していくことができる。図１８の例であれば、「蛍光灯下で」（第１階層）、「被写体Ｂを」（第２階層）、「アップで」（第３階層）したところ、というように、観点毎に順に絞り込んでいくことができる。
【００４９】
以上のような本実施形態のブラウズ装置の動作について図１０を参照してより詳細に説明する。図１０は、本実施形態によるブラウズ装置の動作例を示したフローチャートである。
【００５０】
本装置の処理は大きく、ステップＳ１００１からステップＳ１００５までのサブショット分割・階層化処理と、ステップＳ１００６からステップＳ１０１１までのブラウジング処理とに分けられる。
【００５１】
まず、サブショット分割処理から述べる。ステップＳ１００１において、読取部８０２は記憶媒体８０１より全ての動画像ファイルを読み出し、それぞれに含まれる動画像データと複数のカメラ付与情報（以下、カメラ付与情報リストと記す）を得る。次に、ステップＳ１００２において、サブショット分割部８０３は、読み出されたカメラ付与情報リストをもとに、観点別にサブショット分割を行い、各観点毎に分割点を決定する（処理の詳細は後述する）。次に、ステップＳＳ１００３においてサブショット階層化部８０８は、図１８で説明したようなサブショットの階層化を行う。次に、ステップＳ１００４において、サムネイル作成部８０７は、当該ブラウズ装置でサブショットを一覧するために表示するサムネイル画像を作成する。サムネイル画像はサブショットの区間の先頭フレームを動画像から取得し、縮小することによって得ることが出来る。ただし、もちろん、一覧表示の形態、及びサムネイルの生成は上記に限られるものではなく、サブショットの内容をおおよそ把握できればどのような形態であっても構わない。
【００５２】
次に、ステップＳ１００５において、記録部８０６は、階層化されたサブショット分割の結果を記憶媒体８０１に記録する。なお、記憶媒体８０１への記録は必須のものではなく、例えばＲＡＭ等を介して、閲覧・再生部８０５が分割結果を参照できるようにしてもよい。しかしながら、サブショット情報を一旦記憶媒体８０１に記録しておくことにより、他の機器においても階層化されたサブショット分割の結果を利用することができるようになる。
【００５３】
ここでサブショット情報を格納する際の形式の例を説明する。図１３は、記憶媒体８０１の中に記録されている動画像ファイルのサブショット情報の格納形式を示したものである。図１３に示すように、図５において説明したカメラ付与情報格納領域の後にサブショット情報格納領域を追加し保有する。図１３に示されるサブショット情報の格納形式はこのサブショット格納領域の内部の構造を示したものである。
【００５４】
サブショット格納領域１３０１は、さらに内部で２つの領域に別れており、一つはサブショット・インデックスの格納領域１３０２であり、もう一つはサムネイル画像の格納領域１３０５である。サブショット・インデックスの格納領域１３０２は、固定長サイズのサブショット・インデックス１３０３をいくつか保有し、あまった領域を空き領域１３０４とする構成を有する。また、サムネイル画像の格納領域１３０５は、サムネイル画像１３０６をいくつか保有し、余った領域を空き領域１３０７とする構成を有する。
【００５５】
図１４は、図１３中のサブショット・インデックス１３０３の内部構造を示した図である。サブショット・インデックス１４０１は、固定長の項目をいくつか保有している。サブショットＩＤ１４０５は、個々のサブショットを識別するためのＩＤでる。サブショットの区間情報１４０２は、サブショットの区間を時間情報で表現したものであり、ショット内の１つのサブショットを指示するためのものである。なお、サブショット区間は、カメラ付与情報と同様にフレーム番号で表してもよい。観点のタイプ番号１４０３は、サブショット分割時の観点（後述する）を識別するための番号である。階層１４０６は、当該サブショットが何階層目であるかを示すものである。Ｐａｒｅｎｔ ＩＤ１４０７は、親となるサブショットのサブショットＩＤを記述するものである。もし、最も上位の階層のサブショットであれば、特別なＩＤ（０など）を付与しておく。サムネイル画像の格納位置情報１４０４は、サブショットに対応する、サムネイル画像の格納領域中のサムネイル画像の格納位置を、例えば本領域の先頭からのオフセットで表すものである。
【００５６】
次に、図１１Ａ〜Ｄを用いてステップＳ１００２のサブショット分割処理の詳細な手順を説明する。
【００５７】
まず、「撮影環境」の観点に関するサブショット分割を行う。ステップＳ１１０１において、撮影環境の観点に関するカメラ付与情報項目が存在するかをチェックする。撮影環境に関連する具体的な項目としては、フォーカス、ＩＲＩＳ、Ｇａｉｎ、ＷＢ、ＡＥ Ｍｏｄｅなど様々なものがあるが、本実施形態では説明のために、ＷＢとＧａｉｎを用いる。ＷＢは、撮影の環境に応じて設定が変更される。例えば、太陽光の下では、ユーザによりプリセットの太陽光に設定され、蛍光灯の下では、ユーザによって、プリセットの蛍光灯に設定される。そこで、ＷＢ Ｍｏｄｅが違う場合は撮影環境も変化したと推定できる。また、Ｇａｉｎは、非常に暗い環境での撮影時にプラスになり、撮像装置が画像の明るさを補正する手段として用いられる。よって、Ｇａｉｎがプラスであるかどうかで撮影環境が変化していると推定できる。
【００５８】
さて、ＷＢとＧａｉｎのどちらもカメラ付与情報項目リストの中に存在しなければ、「撮影環境」を観点とするサブショット分割はできないので、ステップＳ１１０２からＳ１１０４までをスキップし、次のステップＳ１１０５へ進む。ＷＢまたはＧａｉｎのどちらか一つが存在するならば、ステップＳ１１０２へ進み、ＷＢまたはＧａｉｎの付与対象区間をそのままサブショット区間とし、サブショットの区間情報１４０２へそのままコピーする。ＷＢとＧａｉｎの両方が存在するならば、ステップＳ１１０３へ進み、ＷＢとＧａｉｎの付与対象区間のＯＲをとり、その結果をサブショット区間としてサブショットの区間情報１４０２へそのままコピーする。次に、ステップＳ１１０４において、ステップＳ１１０２またはステップＳ１１０３で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「撮影環境」を表す１を付与し、観点タイプ番号１４０３として記録する。
【００５９】
このように、「撮影環境」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、それぞれの区間のＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となる。
【００６０】
次に、「被写体」の観点に関するサブショット分割を行う。ステップＳ１１０５において、被写体の観点に関するカメラ付与情報項目が存在するかをチェックする。被写体に関連する具体的な項目としては、Ｐａｎ、Ｔｉｌｔ、被写体距離（Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）など様々なものがあるが、本実施形態では説明のために、Ｐａｎと被写体距離を用いる。被写体Ａから被写体Ｂへと撮影中に視点を移動させるには、ユーザは撮像装置を水平方向に振り動かすＰａｎ操作を行う必要がある。よって、Ｐａｎ操作が行われる前と後では被写体が変化していると推定できる。また、被写体Ａを撮影している時に、被写体Ａと撮像装置１０１０の間に被写体Ｂが現れると、急激に被写体距離が変化する。よって、このように急激に被写体距離が変化していると被写体が変化していると推定できる。
【００６１】
さて、Ｐａｎと被写体距離のどちらもカメラ付与情報項目の中に存在しなければ、被写体の観点に関するサブショット分割（ステップＳ１１０６からＳ１１２５まで）をスキップし、次のステップＳ１１２６へ進む。
【００６２】
Ｐａｎのみが存在する場合は、ステップＳ１１０６へ進み、Ｐａｎの付与対象区間を全てサブショット区間対象リストへコピーする。サブショット区間対象リストは、テンポラリとして使用するもので、カメラ付与情報格納領域５０１と同じ形式である。次に、ステップＳ１１０７へ進み、サブショット区間対象リストに、Ｐａｎ操作中以外の区間を無操作区間として挿入する。このとき、カメラ付与情報のタイプ番号６０４（図６）には、無操作を表すために、特殊な番号、例えば０などを記録する。次に、ステップＳ１１０８０へ進み、サブショット区間対象リスト中の無操作区間の開始位置からパンの終了までをサブショット区間とし、サブショットの区間情報１４０２０へコピーしていく。ただし、例外として、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。本実施形態では無操作区間の開始位置からパンの終了までをサブショット区間とするが、これは、パン中は、被写体が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６３】
一方、ステップＳ１１０５において被写体距離のみが存在すると判定された場合は、ステップＳ１１０９へ進み、被写体距離の付与対象区間を全てサブショット区間対象リストへコピーする。次に、ステップＳ１１１０へ進み、サブショット区間対象リストより先頭から順にひとつの区間を取り出し、被写体距離変化区間（Ｃｈａｎｇｉｎｇ Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）であるか被写体距離一定区間（Ｃｏｎｓｔａｎｔ Ｓｕｂｊｅｃｔ Ｄｉｓｔａｎｃｅ）であるかを判定する（表４）。被写体距離一定区間であれば、ステップＳ１１１１とＳ１１１２の処理をスキップし、ステップＳ１１１３へ進む。
【００６４】
ステップＳ１１１０において、被写体距離変化区間であれば、ステップＳ１１１１に進み、被写体距離の変化量（Ｓｔａｒｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ ＳｔｅｐとＥｎｄ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐの差の絶対値）が、所定値Ａ未満であるかを判定する。所定値Ａは特に限定されるものではないが、本実施形態では２であるとする。つまり、ステップＳ１１１１の条件を満たさない場合は、急激な被写体距離の変化があったときである。このときは、ステップＳ１１１２をスキップし、ステップＳ１１１３へ進む。一方、ステップＳ１１１１の条件を満たす時は、急激な被写体の変化がなかったときであるので、この場合はステップＳ１１１２へ進み、サブショット区間対象リスト中の一つ前の区間とマージする。被写体距離の変化が緩やかな場合は、被写体が変化したものではなく、同一の被写体との間の距離が変化したものと推定でき、このような区間はサブショット分割区間の対象にはならないためである。
【００６５】
ステップＳ１１１３は終了判定であり、サブショット区間対象リストの全ての区間について上述のステップＳ１１１０〜Ｓ１１１２の処理を行ったかを判定する。未処理の区間があればステップＳ１１１０へ戻り、上述の処理を繰り返す。全ての区間について処理が行われていれば、ステップＳ１１１４へ進み、サブショット区間対象リストの中の被写体距離一定区間の開始位置から被写体距離変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、例外として、ショットの終端が被写体距離一定区間である場合は、これをそのままサブショット区間とする（図示せず）。これは、被写体距離が急激に変化しているときは、被写体が変化している区間であるので、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６６】
また、ステップＳ１１０５において、Ｐａｎと被写体距離の両方が存在すると判定された場合は、ステップＳ１１１５へ進む。ステップＳ１１１５からステップＳ１１１７は、ステップＳ１１０６からステップＳ１１０８と、そして、ステップＳ１１１９からステップＳ１１２３は、ステップＳ１１０９からステップＳ１１１４と同じであるので、説明は省略する。ただし、ステップＳ１１１８とステップＳ１１２３において、サブショットの区間情報１４０２へ直接コピーせずに、サブショット区間対象リスト同様にテンポラリである、カメラ付与情報格納領域５０１と同じ形式の、サブショット区間候補リスト１とサブショット区間リスト２に一時的にコピーしておく。そして、次のステップＳ１１２４０において、サブショット区間候補リスト１とサブショット区間候補リスト２のＯＲをとりながら、サブショットの区間情報１４０２へコピーする。
【００６７】
次に、ステップＳ１１２５において、ステップＳ１１０８、Ｓ１１１４、Ｓ１１２４のいずれかによって決定されたサブショット区間に対して、観点のタイプ番号として「被写体」を表す２を付与する。
【００６８】
このように、「被写体」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目が、その変化量などが特定の条件をみたす区間を抽出し、それらのＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、観点に関係のある項目であっても、影響の小さい区間を取り除くことが可能となる。
【００６９】
次に、「被写体サイズ」の観点に関するサブショット分割を行う。ステップＳ１１２６において、被写体サイズの観点に関するカメラ付与情報項目が存在するかをチェックする。被写体サイズに関連する具体的な項目としては、Ｚｏｏｍ、Ｄｉｇｉｔａｌ Ｚｏｏｍ、被写体距離など様々なものがあるが、本実施形態では説明のために、Ｚｏｏｍと被写体距離を用いる。被写体サイズを調整し、例えば、被写体Ａの全体を写した後に、被写体Ａの顔をアップで撮影するためには、ユーザは被写体距離を一定に保ち、Ｚｏｏｍをテレ側に操作するか、または、Ｚｏｏｍを操作せず、被写体Ａに近づいて、被写体距離を小さくする必要がある。また、例えば、被写体Ａがユーザ（撮影者）から遠ざかっているときに被写体Ａを同じサイズで撮影するためには、ユーザはＺｏｏｍをテレ側に操作する必要がある。よって、Ｚｏｏｍと被写体距離の付帯情報を組み合わせることによって、被写体サイズが変更されているかどうか推定できる。
【００７０】
カメラ付与情報項目の中でＺｏｏｍと被写体距離のどちらか一方でもかけていれば被写体サイズの観点に関するサブショット分割は行えないので、ステップＳ１１２７からＳ１１３９までをスキップする。
【００７１】
ステップＳ１１２６において、Ｚｏｏｍと被写体距離の両方の付帯情報が存在するならば、ステップＳ１１２７へ進み、被写体距離を先頭から順にひとつの区間を取り出し、被写体距離変化区間であるか被写体距離一定区間であるかを判定する。被写体距離一定区間であれば、ステップＳ１１２８からステップＳ１１３１の処理を行う。一方、被写体距離変化区間であれば、ステップＳ１１３２からステップＳ１１３５の処理を行う。ステップＳ１１３６は終了判定であり、被写体距離の全区間について、上記の一連の処理を行ったかを判定するものである。
【００７２】
被写体距離一定区間の場合について説明する。まず、ステップＳ１１２８において、現在の区間内にＺｏｏｍが存在するかを判定する。Ｚｏｏｍが存在しなければ、ステップＳ１１３１に進み、注目している区間を被写体サイズ一定区間としてサブショット対象区間リストへコピーする。存在すればステップＳ１１２９へ進む。ステップＳ１１２９において、Ｚｏｏｍの操作量（Ｓｔａｒｔ ＭａｇｎｉｆｉｃａｔｉｏｎとＥｎｄ Ｍａｇｎｉｆｉｃａｔｉｏｎの差の絶対値）が所定値Ｂ以上であるかを判定する。このような判定を行う理由は、操作量が小さい場合は、微調整しただけであると判断出来るからである。所定値Ｂとしては、１．５倍程度が望ましいが、特に限定されるものではない。Ｚｏｏｍの操作量がこの所定値Ｂ未満のときはサブショット分割区間の対象にはならないので、次のステップＳ１１３０をスキップする。
【００７３】
一方、Ｚｏｏｍの操作量が所定値Ｂ以上の場合は、ステップＳ１１３０へ進む。このときは、被写体サイズを変更するのに十分な量であり、なおかつ、被写体距離は一定であるので、Ｚｏｏｍ区間は被写体サイズを変更している区間である。そこで、現在の被写体距離区間とＺｏｏｍ区間のＯＲを取り、サブショット対象区間リストへコピーする。例えば、現在の被写体距離区間中に一つのＺｏｏｍ区間があれば、被写体距離区間の先頭からＺｏｏｍ区間の先頭まで、Ｚｏｏｍ区間の先頭から終了まで、Ｚｏｏｍ区間の終了から被写体距離区間の終了まで、の３つの区間になり、タイプは順に被写体サイズ一定区間、被写体サイズ変化区間、被写体サイズ一定区間となる。
【００７４】
次に、ステップＳ１１２７で被写体距離が変化していると判定された場合（被写体距離変化区間の場合）について説明する。まず、ステップＳ１１３２において、現在の区間内にＺｏｏｍが存在するかを判定する。Ｚｏｏｍが存在しない場合は、次のステップ１１３５に進む。Ｚｏｏｍが操作されていないので、被写体距離が変化していれば被写体サイズが変化していると推定できる。このときは、ステップＳ１１３５に進み、現在の区間をサブショット対象区間リストへ変化区間としてコピーする。
【００７５】
一方、ステップＳ１１３２において、現在の区間内にＺｏｏｍが存在する場合は、ステップＳ１１３３に進む。このときは、Ｚｏｏｍと被写体距離が同時に変化しているので、２つの量を組み合わせなければ評価できない。評価方法には、様々なものが考えられるが、例えば、以下の式で評価することによって、被写体サイズが変化しているかどうかを推定できる。
総合変化量＝（（Ｓｔａｒｔ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐ−Ｅｎｄ Ｓｕｂｓｔａｎｃｅ Ｄｉｓｔａｎｃｅ Ｓｔｅｐ）−Ｈ×（Ｓｔａｒｔ Ｍａｇｎｉｆｉｃａｔｉｏｎ − Ｅｎｄ Ｍａｇｎｉｆｉｃａｔｉｏｎ））の絶対値
ここで、Ｈは係数であり、ズームレンズなどの特性等で決まるものである。本実施形態ではＨ＝１であるとする。
【００７６】
例えば、被写体に近づき（表４のＳＴＥＰ２からＳＴＥＰ１へ）、Ｚｏｏｍをワイド側へ操作した（３倍から２倍へ）場合、上記の式より（２−１）−（３−２）の絶対値になるので、総合変化量は０となる。これは、被写体サイズが変化しないことを示す。一方、例えば、被写体に近づき（ＳＴＥＰ２からＳＴＥＰ１へ）、Ｚｏｏｍをテレ側へ操作した（３倍から４倍へ）とき、上記の式より、（２−１）−（３−４）の絶対値なので、総合変化量は２となる。これは被写体サイズが変化することを示す。よって、総合変化量が大きければ、被写体サイズが変化していると推定できる。
【００７７】
従って、ステップＳ１１３３では、上記総合変化量が所定値Ｃ以上であれば、被写体サイズが変化していると判断する。なお、所定値Ｃは、特に限定されるものではないが、ここでは１であるとする。総合変化量が所定値Ｃ以上であればステップＳ１１３５（前述）へ進む。また、総合変化量が所定値Ｃ未満であれば、結局被写体サイズは変化していないと推定できるので、ステップＳ１１３４へ進み、現在の被写体距離の区間を一定区間としてサブショット対象区間リストへコピーする。
【００７８】
ステップＳ１１３６の終了判定により、全ての区間について上記処理を終了していると判定されれば、ステップＳ１１３７へ進む。ステップＳ１１３７では、サブショット対象区間リスト中で一定区間が連続していれば、それらをマージする。連続した区間の間では、結局、被写体サイズの変化がないためである。次に、ステップＳ１１３８へ進み、サブショット区間対象リストの中の一定区間の開始位置から変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が一定区間である場合は、例外として、これをそのままサブショット区間とする（図示せず）。これは、被写体サイズが変化している区間は、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。次に、ステップＳ１１３９において、ステップＳ１１３８で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として、「被写体サイズ」を表す３を付与する。
【００７９】
このように、「被写体サイズ」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目を組み合わせ、その区間だけでなく変化量なども考慮することで、特定の条件をみたす区間のみを抽出することによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、複数の項目の単純なＯＲでは抽出できない、観点に応じた区間を取り出すことが可能となる。
【００８０】
以上、述べたステップＳ１００２の処理によって、複数種類のカメラ付与情報から、観点毎に応じたサブショット区間を取り出すことが可能となる。
【００８１】
次に、ステップＳ１００３におけるサブショットの階層化処理の詳細な手順を図１７を参照して説明する。
【００８２】
まず、ステップＳ１７０１において、ステップＳ１００２において決定されたサブショット区間の数を観点ごとに求め、階層化順序リストに結果を格納する。階層化順序リストについて図１９を参照して説明する。図１９は階層化順序リストの例である。階層化順位リストは、観点タイプと分割数から構成されている。先頭の観点タイプから順に階層化を行う。初期値では、観点タイプは１，２，３の順になっている（図１９の（ａ））。これは、ユーザが所望の区間を探す際に、撮影環境（観点タイプ１）、被写体（観点タイプ２）、被写体サイズ（観点タイプ３）と絞り込んでいくのが最も一般的であるので、この順に階層化するのが、通常は望ましいからである。また、ステップＳ１７０１では、図１９の（ａ）に示した例のように各観点の分割数が格納されたものとして説明を続ける。
【００８３】
ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートする。図１９の（ａ）の状態であれば、ステップＳ１７０２の処理によって図１９の（ｂ）のように順番が入れ代わる。このように順番を入れ替える理由は次のとおりである。撮影された動画像によっては、被写体は変わらず、撮影環境だけが頻繁に変わっているものや、被写体サイズの変化はほとんどなく、被写体だけが頻繁に変化して多数の被写体が含まれるもの等が存在する。そのような場合、より少ない分割数の観点を上の階層とすることで、上の階層のサブショットがより多くの下の階層のサブショットを含むことが出来る。これにより、ユーザが所望の区間を探す際に、まず上の階層で大きく絞り込むことが出来るようになり、素早く所望の区間にたどり着けるようになるからである。ただし、分割数が同数のものがある場合は、初期値の状態が通常は望ましい順序であるので、初期値の順序が優先される。
【００８４】
次に、ステップＳ１７０３においてＮへ初期値として１を設定する。次に、ステップＳ１７０４において、階層化順序リストのＮ番目の分割数が０であるかどうかをチェックする。０であれば、Ｎ番目の観点では分割されてないので、ステップＳ１７０５へ進みＮをインクリメントして、再びステップＳ１７０４へ進む。０でなければ、次のステップＳ１７０６へ進み、Ｎ番目の観点タイプの先頭のサブショットのサブショット・インデックスから順にサブショットＩＤ１４０１を付与し、夫々の階層１４０３にはＮ番目の階層であることを表すＮをそのまま付与する。次にステップＳ１７０７に進み、Ｎが３より小さいかどうかを判定する。これは終了判定であり、本実施形態では、３階層目までしか存在しない例を説明しているので、Ｎ＝３となった時点で階層化の処理が終了する。
【００８５】
次に、ステップＳ１７０８において、Ｎ＋１番目の観点タイプをもつサブショット・インデックス格納領域１３０１中のサブショット・インデックスリストをサブショットリスト１へコピーする。サブショットリスト１はテンポラリとして使用されるものであり、サブショット・インデックス格納領域１３０１と同じ構成要素からなる。
【００８６】
次に、ステップＳ１７０９において、Ｘに初期値として１を、Ｙに初期値として１を設定する。次に、ステップＳ１７１０に進み、ＸがＮ番目の階層の分割数（サブショット数）以下であるかをチェックする。即ち、次のステップＳ１７１１からステップＳ１７１６までの処理をＮ番目の観点の全てのサブショットに対して行ったかどうかの終了判定である。ＸがＮ番目の分割数以下である間は、以下のステップＳ１７１１〜Ｓ１７１６の処理を実行する。
【００８７】
ステップＳ１７１１において、Ｎ番目の観点タイプのＸ番目のサブショットとサブショットリスト１のＹ番目のサブショットの区間を比較する。まず、Ｘ番目のサブショット区間がＹ番目のサブショット区間を含む場合はステップＳ１７１３へ進む。これは、図２０の（ａ）の場合に相当する。なお、図２０の（ａ）において、２００１はＸ番目のサブショット区間を、２００２はＹ番目のサブショット区間を示す。ステップＳ１７１３では、Ｙ番目のサブショットをそのままＸ番目のサブショットの下の階層のサブショットとするため、Ｙ番目のサブショットのＰａｒｅｎｔＩＤ１４０３にＸ番目のサブショットのサブショットＩＤ１４０１を付与する。そして、ステップＳ１７１４へ進み、Ｙをインクリメントした後、ステップＳ１７１１へ戻る。
【００８８】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間の開始点または終了点のいずれかがＸ番目のサブショット区間の外になった場合はステップＳ１７１２へ進む。これは、図２０の（ｂ）の場合に相当する。なお、図２０の（ｂ）において、２００３がＸ番目のサブショット区間を、２００４がＹ番目のサブショット区間を示す。ステップＳ１７１２では、Ｙ番目のサブショットの区間外となった開始点または終了点をＸ番目のサブショットの区間に合わせて分割する。図２０の（ｂ）では、区間外の終了点側の区間２００６と、Ｘ番目のサブショット区間内の２００５の部分に分割される。なお、２００５を新たなＹ番目のサブショットとして扱う。次にステップＳ１７１３からＳ１７１４の処理を行う（前述）。
【００８９】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間を含む場合はステップＳ１７１５へ進む。これは、図２０の（ｃ）に相当する。なお、図２０の（ｃ）において、２００７がＸ番目のサブショット区間を、２００８がＹ番目のサブショット区間を示す。この場合、Ｘ番目のサブショットは、その下の階層によって更に分割することができないので、ステップＳ１７１５において、Ｘ番目のサブショットの区間に対応する区間をサブショットリスト１から削除する（本実施形態の階層化の目的は、サブショットの区間を徐々に絞り込んで所望の区間にたどり着くことにあるので、上位階層の区間を分割できない下位階層を設けても無意味だからである）。２００９は残りの区間であり、Ｙ＋１番目の区間として扱う。そして、ステップＳ１７１６へ進み、Ｘをインクリメントした後、ステップＳ１７１０へ戻る。
【００９０】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間の外であった場合はそのままステップＳ１７１６へ進む。これは、図２０の（ｄ）に相当する。ここで、２０１０はＸ番目のサブショット区間を、２０１１がＹ番目のサブショット区間である。
【００９１】
次に、図１０に戻り、ステップＳ１００６からステップＳ１０１１のブラウジング処理について述べる。
【００９２】
ステップＳ１００６において、各動画像ファイル（ショット）を代表するサムネイルを表示領域９０１に表示する。ショットを代表するサムネイルとしては、例えば、先頭に登録されているサブショットのサムネイルを使用する方法が考えられる。しかし、もちろん、ショット用のサムネイルを別途作成しておくなどの方法を用いても構わない。ショットの中身を概観できる目的が達成されればよい。なお、本実施形態では、サムネイルは表示領域９０１０の中で、ファイルのヘッダに記述されている撮影開始時刻順に、一番上の行から下の行へ、行の中では、左から右へ向かって並べられるものとする。
【００９３】
次に、ステップＳ１００７において、サブショット表示指示があったかを判定する。これは、ポインタ９０２によりショット又はサブショットが指定され、サブショット表示ボタン９０４、９０５がＯＮされたかどうかによって判定できる。但し、ショット一覧表示のときに「戻る」ボタン９０５をＯＮした場合は例外であり、それより上の階層へは移行できないので表示内容に変化は生じない。ボタン９０４も９０５もＯＮされていなければステップＳ１００８をスキップし、ステップＳ１００９に進む。
【００９４】
一方、ボタン９０４、９０５のいずれかがＯＮされた場合は、ステップＳ１００８に進む。そしてＯＮされたのが「次へ」ボタン９０４の場合は、より下の階層のサブショットを、「戻る」ボタン９０５の場合は、より上の階層のサブショットを表示する。このとき、状態表示欄９０７には、現在の階層と観点を表示し、ユーザが判別可能なようにしている。
【００９５】
次に、ステップＳ１００９において、動画の再生指示が行われたかどうかを判定する。これは、ポインタ９０２を使って特定のショットまたはサブショットをダブルクリックしたかどうかで判定できる。再生指示がされていなければ、ステップＳ１０１０をスキップして、ステップＳ１０１１に進む。再生が指示されていれば、ステップＳ１０１０において、指定されたショットまたはサブショットの先頭から動画像を再生する。なお、再生後はもとのショット、または、サブショット一覧表示に戻る（図示せず）。次にステップＳ１０１１において、終了が指示されたかどうかを判定する。これは、終了ボタン９０６がＯＮされたかどうかで判定できる。終了が指示されていなければステップＳ１００７へ戻り、上記の処理を繰り返す。また、終了が指示されていれば、本処理を終了する。
【００９６】
以上のように、第１実施形態によれば、ユーザはサブショットの選択とサブショット表示を指示することにより効果的に絞り込みを行うことができ、所望の区間（サブショット）に素早くたどり着くことが可能となる。このため、再生、或いは、動画編集などに容易に利用することが可能となるのである。
【００９７】
〔第２実施形態〕
本発明における第２実施形態について、説明する。
【００９８】
第１実施形態では、撮像装置１０１０に備えられているセンサや操作部の情報、または、制御情報を、カメラ付与情報として付与した。第２実施形態では、撮像データを解析することによって、抽出が可能なカメラ付与情報を、撮影後に付与し、利用するというものである。
【００９９】
動画像処理装置の構成、及び、撮像装置１０１０の構成等は第１実施形態と同様であるので、説明を省略し、相違点のみを以下に述べる。
【０１００】
図１２は本実施形態によるブラウザ装置の機能構成を示すブロック図である。図１２において１２０１から１２０７の各構成は第１実施形態の８０１から８０７と同じものであるので説明は省略する。
【０１０１】
１２０８はカメラ付与情報抽出部であり、読取部１２０２を介して記憶媒体１２０１より読み出された映像データを解析し、撮像装置１０１０で付与していないカメラ付与情報を抽出する。ここでは、例としてパン、チルトが撮像装置１０１０によって付与されていないものとして説明する。
【０１０２】
パン・チルトを映像データから抽出する手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、パン・チルトに関する拘束式を説くなどの手法がある。パン・チルトと消失点との関係やパン・チルトを求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。このように、映像データを解析することによって、求めたカメラ付与情報を更に追加して、サブショット分割部１２０３０で活用することが可能である。
【０１０３】
以上のようにして得られたパン、チルト情報は、図５で説明したカメラ付与情報格納領域に追加され、図１４のようなサブショット情報格納領域を生成する際に用いられる。
【０１０４】
〔他の実施形態〕
上記第１、第２実施形態では、撮像装置１０１０とブラウズ装置１０３０の２つの装置を用いて構成されたが、撮像装置１０１０が十分な処理能力があれば、撮像装置１０１０にブラウズ装置１０３０の機能を包含させ、１つの装置で構成してもかまわない。この場合であっても、サブショット情報を記憶媒体１０２０に記録するようにすれば、他の機器においてサブショット分割の結果を利用することが可能となる。
【０１０５】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７とユーザ操作部８０４、閲覧・再生部８０５を一つの機器に構成したが、図１３、図１４のサブショット情報を記憶媒体１０２０（８０１）に記録するようにすれば、上記各部を別の機器として構成してももちろん構わない。
【０１０６】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７、カメラ付与情報抽出部１２０８は、ブラウズ装置１０３０上に構成したが、撮像装置１０１０が十分な処理能力があれば、これらを、撮像装置１０１０上に構成しても構わない。この場合、図１３、図１４のサブショット情報を記憶媒体１０２０（記憶媒体２８）に記録することによって、ブラウズ装置１０３０はブラウズが可能となる。
【０１０７】
また、第１、第２実施形態では、区間単位のカメラ付与情報（図５、図６）を撮影中に生成し、記憶媒体１０２０に記録したが、撮像装置１０１０に十分なメモリや処理能力がなければ、フレーム単位のカメラ付与情報を記録しておき、後で、区間ごとにまとめる処理を行ってもよい。その際、フレーム単位にカメラ付与情報を格納する方法は、画像データの管理情報中の未使用領域などに、格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。また、撮像装置１０１０に区間単位のカメラ付与情報を記録する能力があっても、フレーム単位のカメラ付与情報も同時に冗長に記録しておいても、もちろん、構わない。こうしておけば、ファイル操作が行われ、区間単位のカメラ付与情報が損なわれ、変更が必要となった場合でも、フレーム単位のカメラ付与情報から、再集計し、区間単位のカメラ付与情報を作成しなおすことが可能となる。
【０１０８】
また、第１、第２実施形態では、区間単位のカメラ付与情報、サブショット情報をバイナリ形式で格納したが、撮像装置１０１０に十分な処理能力があれば、或いは、ブラウズ装置１０３０を使用して、テキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等で表現する事ももちろんかまわない。また、ＭＰＥＧ７にしたがった形式で格納する場合は、Ｓｅｇｍｅｎｔ ＤＳに格納すれば良い。
【０１０９】
また、第１、第２実施形態では、カメラ付与情報、及び、サブショット情報を記憶媒体１０２０を介してやり取りしたが、ＩＥＥＥ１３９４などの通信手段を設け、これによってやり取りするように構成しても構わない。
【０１１０】
また、第１、第２の実施形態では、１つのショットを１つの動画像ファイルとしたが、複数のショットを１つの動画像ファイルとしても構わない。この場合は、各ショットとカメラ付与情報、サブショット情報の対応がとれるように、識別番号などを振り、関連付けしておけばよい。
【０１１１】
また、第１、第２実施形態では、サブショット分割の観点として、撮影環境、被写体、被写体サイズの３つを上げたが、これに限られるものではなく、例えば、エフェクトを付与しているかどうか、など、様々な観点が考えられる。また、分割の観点が増えれば、これに合わせて階層の数を増やしても構わない。
【０１１２】
また、第１、第２実施形態では、サブショット分割の結果を、ブラウジングに利用したが、サブショットを基本単位とし、観点種別の指定手段を設ければ、動画編集、フレーム印刷、ダイジェスト再生など、様々な方法で利用することができる。例えば、動画編集であれば、編集対象のショットを、観点別にサブショット分割すれば、その分割位置を編集のＩｎ・Ｏｕｔ点の指定に利用できる。また、フレーム印刷であれば、サブショットごとに、フレーム印刷の候補を、例えば、サブショット区間の中央のフレームを抜き出して提示することで、観点別にフレーム印刷候補を提示できる。また、ダイジェスト再生であれば、サブショットの先頭の数秒ずつを再生させることで、指定された観点別のダイジェスト再生を行うことが出来る。
【０１１３】
また、第１、第２実施形態では、図２０の（ｃ）のときは分割されないために下の階層はなしとした。例えば、注目しているサブショット（２階層目とする）の下の階層（３階層目）に相当する区間が、分割されず、注目しているサブショットと同じ区間であった場合には、３階層目を設けなかったとしている。この場合、ブラウズ時に、「次へ」ボタン９０４を押しても「下の階層はありません」と警告を表示するか、予め「次へ」ボタン９０４を押下できないようにしておくようになる。しかしながら、同じ区間でも３階層目を設けておき、ブラウズ時に、「次へ」ボタン９０４を押した場合は、同じ区間を持つサムネイルが１つだけ表示されるようにしてもよい。
【０１１４】
また、第１、第２実施形態では、図９に示したようなユーザインターフェースとしたが、これに限られるものではなく、例えば、何階層目かを直接指示できるボタンなどを設けてもよい。
【０１１５】
また、第１、２の実施形態では、ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートしたが、一般的な階層化順序のみで常に階層化するのでよければ、省略しても構わない。また、予めユーザが階層化順序を指示するようにしておいても構わない。すなわち、図１９の（ａ）の階層化順序リストにおける各観点の階層順位をユーザによって所望に設定可能としてもよい。また、ステップＳ１７０２のソート処理を実行するか否かをユーザによって指定可能としてもよい。
【０１１６】
以上説明したように本発明によれば、観点毎の単位に動画像を分割し、階層化されたサブショットを得ることが可能となり、ユーザは、サブショットの選択とサブショット表示の指示を繰り返すことで、サブショットの絞込みを行うことが可能となる。これにより、ユーザは素早く所望のサブショットを入手することができる。
【０１１７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１１８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【０１２０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
【発明の効果】
以上説明したように、本発明によれば、撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけ、再生や編集作業を容易化することができる。
【図面の簡単な説明】
【図１】実施形態における動画像処理システムの概略構成を表すブロック図である。
【図２】実施形態による撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置におけるシステム制御部の構成を示すブロック図である。
【図４】実施形態の撮像装置による動画撮像処理の手順を示すフローチャートである。
【図５】カメラ付与情報の格納形式の一例を示す図である。
【図６】図５に示すカメラ付与情報項目の内部構造の一例を示す図である。
【図７】実施形態によるブラウズ装置の制御構成を示すブロック図である。
【図８】ブラウズ装置の第１実施形態における機能構成を示すブロック図である。
【図９】ブラウズ装置のユーザインターフェースの一例を示す図である。
【図１０】ブラウズ装置の動作例を示したフローチャートである。
【図１１Ａ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｂ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｃ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｄ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１２】第２実施形態におけるブラウズ装置の機能構成を示すブロック図である。
【図１３】実施形態によるサブショット情報の格納形式の一例を示す図である。
【図１４】図１３に示すサブショット・インデックスの内部構造の一例を示す図である。
【図１５】サブショット分割の概要を説明する図である。
【図１６】図９に示したユーザインターフェースにおける表示領域の動作の一例を示す図である。
【図１７】ブラウズ装置のサブショットの階層化処理の詳細な手順を示したフローチャートである。
【図１８】階層化されたサブショットの概要を説明する図である。
【図１９】階層化順序リストの一例を示す図である。
【図２０】階層化処理におけるサブショットの区間の関係の例を説明する図である。
【図２１】一般的な動画分割を説明する図である。
Claims (12)
- 動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理方法であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成工程と、
前記生成工程により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化工程と、
前記階層化工程で得られた統合分割情報を前記動画像データに対応させて保持する保持工程とを備えることを特徴とする動画像処理方法。 - 前記複数の統合分割情報の階層順位を、各統合分割情報の分割数に基づいて設定する設定工程を更に備えることを特徴とする請求項１に記載の動画像処理方法。
- 前記設定工程は、分割数の少ない統合分割情報の階層順位を上位とすることを特徴とする請求項２に記載の動画像処理方法。
- 前記複数の統合分割情報の階層順位は、各項目グループに関して予め設定された階層順序に従うことを特徴とする請求項１に記載の動画像処理方法。
- 前記複数の統合分割情報の階層順位を指定する指定工程を更に備えることを特徴とする請求項１に記載の動画像処理方法。
- 前記階層化工程によって得られた各階層の統合分割情報によって特定される動画像の各区間を代表する代表画像を生成し保持する保持工程と、
１つの階層の１つの区間が指定された場合に、当該階層の下位階層における当該指定された区間に含まれる区間の代表画像を表示する表示工程とを更に備えることを特徴とする請求項１に記載の動画像処理方法。 - 前記表示工程で表示された代表画像より選択された代表画像に対応する動画像の区間についての所定の処理を実行する実行工程を更に備えることを特徴とする請求項６に記載の動画像処理方法。
- 前記階層化工程で得られた統合分割情報を前記動画像データに対応させて記憶媒体に記憶する記憶工程を更に備えたことを特徴とする請求項１に記載の動画像処理方法。
- 前記項目グループとは、撮影した際の環境、撮影した被写体、撮影した際の被写体サイズ、動画像に付与した効果、のいずれかであることを特徴とする請求項１乃至８のいずれかに記載の動画像処理方法。
- 動画像の撮影時の状態を示す複数項目のデータのそれぞれに基づいて生成された、当該動画像を分割するための分割情報が、各項目毎に読み出し可能に登録された動画像データを処理する動画像処理装置であって、
前記複数項目より選択された１つ又は複数の項目によって構成される項目グループを定義し、該項目グループに属する項目に対応する分割情報を統合して当該項目グループに対応した統合分割情報を生成する生成手段と、
前記生成手段により複数種類の項目グループについて統合分割情報を生成し、生成された複数の統合分割情報の階層順位に従い上位階層の統合分割情報による分割位置を下位階層の統合分割情報の分割位置に追加する階層化手段と、
前記階層化手段で得られた統合分割情報を前記動画像データに対応させて保持する保持手段とを備えることを特徴とする動画像処理装置。 - 請求項１乃至９のいずれかに記載の動画像処理方法をコンピュータに実行させるための制御プログラムを格納したコンピュータによる読み取りが可能な記録媒体。
- 請求項１乃至９のいずれかに記載の動画像処理方法をコンピュータに実行させるための制御プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003129455A JP4218945B2 (ja) | 2003-05-07 | 2003-05-07 | 動画像処理方法、動画像処理装置、コンピュータによる読み取りが可能な記録媒体、及び制御プログラム |
| US10/829,437 US8718128B2 (en) | 2003-05-07 | 2004-04-22 | Moving image processing method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003129455A JP4218945B2 (ja) | 2003-05-07 | 2003-05-07 | 動画像処理方法、動画像処理装置、コンピュータによる読み取りが可能な記録媒体、及び制御プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004336381A true JP2004336381A (ja) | 2004-11-25 |
| JP2004336381A5 JP2004336381A5 (ja) | 2006-06-29 |
| JP4218945B2 JP4218945B2 (ja) | 2009-02-04 |
Family
ID=33505287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003129455A Expired - Fee Related JP4218945B2 (ja) | 2003-05-07 | 2003-05-07 | 動画像処理方法、動画像処理装置、コンピュータによる読み取りが可能な記録媒体、及び制御プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4218945B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013145546A1 (ja) * | 2012-03-28 | 2013-10-03 | パナソニック株式会社 | 画像処理装置、およびコンピュータプログラム |
-
2003
- 2003-05-07 JP JP2003129455A patent/JP4218945B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013145546A1 (ja) * | 2012-03-28 | 2013-10-03 | パナソニック株式会社 | 画像処理装置、およびコンピュータプログラム |
| JPWO2013145546A1 (ja) * | 2012-03-28 | 2015-12-10 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、およびコンピュータプログラム |
| US9281014B2 (en) | 2012-03-28 | 2016-03-08 | Panasonic Intellectual Property Management Co., Ltd. | Image processing apparatus and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4218945B2 (ja) | 2009-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8599316B2 (en) | Method for determining key video frames | |
| US8605221B2 (en) | Determining key video snippets using selection criteria to form a video summary | |
| US8768097B2 (en) | Image processing apparatus, moving image reproducing apparatus, and processing method and program therefor | |
| US8004594B2 (en) | Apparatus, method, and program for controlling display of moving and still images | |
| US7890556B2 (en) | Content recording apparatus, content playback apparatus, content playback system, image capturing apparatus, processing method for the content recording apparatus, the content playback apparatus, the content playback system, and the image capturing apparatus, and program | |
| WO2006129868A1 (ja) | 撮像装置、撮像結果の処理方法、画像処理装置、撮像結果の処理方法のプログラム、撮像結果の処理方法のプログラムを記録した記録媒体及び撮像結果の処理システム | |
| US8619150B2 (en) | Ranking key video frames using camera fixation | |
| JP2007110193A (ja) | 画像処理装置 | |
| US7907184B2 (en) | Picture processing apparatus, picture processing method, picture taking apparatus, and program | |
| US8525845B2 (en) | Display control apparatus, method, and program | |
| EP2180699A1 (en) | Image processor, animation reproduction apparatus, and processing method and program for the processor and apparatus | |
| US20060244847A1 (en) | Electronic camera device, image recording apparatus and image recording application software | |
| JP2008131617A (ja) | 映像処理装置 | |
| JP2007036737A (ja) | 画像表示装置 | |
| JP4154012B2 (ja) | 画像表示方法を実現するためのプログラムを記録した記録媒体及び画像合成装置 | |
| JP5064173B2 (ja) | カメラ | |
| JP4698961B2 (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
| JP4218945B2 (ja) | 動画像処理方法、動画像処理装置、コンピュータによる読み取りが可能な記録媒体、及び制御プログラム | |
| US8718128B2 (en) | Moving image processing method and apparatus | |
| JP2000209541A (ja) | 動画像再生装置、及び動画像再生プログラムが記憶された記憶媒体 | |
| JP2005184348A (ja) | 映像処理装置および代表画像設定方法 | |
| JP4217528B2 (ja) | 動画像処理方法及び装置 | |
| JP2009055618A (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
| JP5828251B2 (ja) | 画像処理装置およびデジタルカメラ | |
| JPH10313438A (ja) | 情報処理装置および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060501 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071214 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080212 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081107 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081110 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4218945 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131121 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |