JP2004172883A - 信号処理方法 - Google Patents
信号処理方法 Download PDFInfo
- Publication number
- JP2004172883A JP2004172883A JP2002335508A JP2002335508A JP2004172883A JP 2004172883 A JP2004172883 A JP 2004172883A JP 2002335508 A JP2002335508 A JP 2002335508A JP 2002335508 A JP2002335508 A JP 2002335508A JP 2004172883 A JP2004172883 A JP 2004172883A
- Authority
- JP
- Japan
- Prior art keywords
- image
- level
- representative image
- information
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
【課題】操作者がシーンの区切れ目、また、代表画像の変更を、適切且つ簡単に行うことができるようにすること。
【解決手段】動画像データを処理する信号処理方法であって、所定条件に基づいて、動画像データを階層化して各動画区間に分割する分割工程（Ｓ１０６）と、所定条件に基づいて、各動画区間の代表画像を自動的に設定する設定工程（Ｓ１０７）と、代表画像を階層毎に表示する表示工程（図９）と、前記表示工程で表示された代表画像を選択することで、分割された動画区間を更に分割する処理（図１４、図１５）と、分割された少なくとも２つの動画区間を結合する処理（図１７、図１８）と、分割された少なくとも２つの動画区間の分割位置を変更する処理（図１７、図１５）と、選択された代表画像を変更する処理（図２２、図２３）の内、少なくとも１つの処理を実行する変更工程とを有する。
【選択図】 図１４
【解決手段】動画像データを処理する信号処理方法であって、所定条件に基づいて、動画像データを階層化して各動画区間に分割する分割工程（Ｓ１０６）と、所定条件に基づいて、各動画区間の代表画像を自動的に設定する設定工程（Ｓ１０７）と、代表画像を階層毎に表示する表示工程（図９）と、前記表示工程で表示された代表画像を選択することで、分割された動画区間を更に分割する処理（図１４、図１５）と、分割された少なくとも２つの動画区間を結合する処理（図１７、図１８）と、分割された少なくとも２つの動画区間の分割位置を変更する処理（図１７、図１５）と、選択された代表画像を変更する処理（図２２、図２３）の内、少なくとも１つの処理を実行する変更工程とを有する。
【選択図】 図１４
Description
【０００１】
【発明の属する技術分野】
本発明は、記憶媒体上に記録された動画像データを自動的にあるまとまりごとに分割し、また、その分割された各動画像データについて一つ又は複数の静止画を代表画像として一覧表示する動画記録再生に関するものである。
【０００２】
【従来の技術】
記憶媒体上に記録された動画像の内容をあるまとまりごとに分割し、その分割された映像において代表する静止画像（以下、「代表画像」と呼ぶ。）を対応づけて一覧表示することが行われている。このようにすることで、記憶された動画像の内容を素早く確認することができ、また、この分割された映像単位での編集作業を容易に行うことができる。
【０００３】
従来、動画像を分割する方法としては、例えば、映像が時間的に急激に変化する部分をシーンの切れ目として自動的に分割する方法がある。そして、分割された映像の代表画像を選択するには、分割された先頭／末尾フレームもしくは中間フレームを設定したり、カメラ動作により重要と思われる代表画像を推定して自動的に設定したりする。
【０００４】
しかしながら、これら自動的に映像を分割及び代表画像の設定を行う場合、必ずしも操作者にとって最適な分割点、及び代表画像になるとは限らない。そのため、自動的に分割されたシーンの切れ目及び代表画像を容易に変更できるようにする必要がある。
【０００５】
この分割点を変更する方法として、動画像を再生し、分割するシーン又は、代表画像として設定したい映像場面が再生された時に、操作者が一時停止を行い停止された画像を代表画像として設定する方法がある（従来方法１）。また、操作者が、変更したい代表画像を選択し、その代表画像の属するシーンチェンジの前後の映像を再生し、再生された映像の各フレーム画像の一覧表示から代表画像を設定する方法がある（従来方法２）（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開平０９−０９３５２７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記示した従来方法１では、分割するシーン又は、代表画像として所望するシーンまで巻き戻し、そのシーンを見つけて再生しなければならない。そして、分割または代表画像として設定したいシーンにおいて、操作者が適切に一時停止を行わなければならない。一時停止によりシーンを停止させる操作は、映像の前後を操作者が記憶しておく必要があり、また、瞬時に一時停止の操作を行う必要がある。結局は、何回か巻き戻し、再生、一時停止の作業を繰り返す場合が多い。
【０００８】
また、上記示した従来方法２では、映像を再生しフレーム画像を抽出し一覧表示するが、再生画像が長いと抽出されるフレーム数が多くなり、代表画像とする画像を探すのが面倒になる。また、代表画像の変更を行う度に再生を行う必要があると、変更数が多いとそれだけ時間もかかり面倒である。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、操作者がシーンの区切れ目、また、代表画像の変更を、適切且つ簡単に行うことができるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、動画像データを処理する本発明の信号処理において、所定条件に基づいて、動画像データを階層化して各動画区間に分割し、所定条件に基づいて、分割された各動画区間の代表画像を自動的に設定し、設定された代表画像を階層毎に表示し、表示された代表画像を選択することで、分割された動画区間を更に分割する再分割処理と、分割された少なくとも２つの動画区間を結合する結合処理と、分割された少なくとも２つの動画区間の分割位置を変更する分割位置変更処理と、設定された代表画像を変更する代表画像変更処理の内、少なくとも１つの処理を実行することを特徴とする。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１２】
＜装置構成及び動作＞
本実施の形態では、本発明の画像処理機能を搭載した、ビデオカメラなど、動画のデジタル撮影が可能な撮像装置を例にとって説明する。図１は、本実施の形態における撮像装置の一例として、撮像部と画像（静止画又は動画）及び音声等の記録再生部及び編集部が一体化したデジタルビデオカメラ１００の構成を示すブロック図である。
【００１３】
図１において、１１はズームレンズを含む被写体を結像させるためのレンズ光学系、１２は入射光量を調節する絞り、１３は入射した光を電気信号に変換する、例えばＣＣＤやＣＭＯＳなどからなる撮像素子、１４はサンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路である。１５はアナログデジタル変換（Ａ／Ｄ変換）を行うＡ／Ｄ変換部、１６はＡ／Ｄ変換部１５からのデジタル信号を処理して映像信号を生成する映像信号処理部である。１７は撮影された動画を分割し、分割された動画の各映像を代表する静止画像である代表画像（又は、代表画像となる１フレーム。キーフレームと呼ぶ。）を選択する映像分割管理部である。なお、映像分割管理部１７は後述するように、映像を階層構造で管理する。
【００１４】
１８は、映像を再生したり、代表画像の一覧を表示するためなどに用いられる表示装置である。１９はレンズ光学系１１の各レンズの位置を検出するレンズ位置検出部、２０はレンズ光学系１１を駆動するレンズ駆動部である。２１はビデオカメラ１００の水平方向の回転検出を行うＸ方向回転検出部で、ジャイロセンサや加速度センサにより検出し、バンドパスフィルタなどの信号処理を行ったのちＡ／Ｄ変換を行い出力する。２２はビデオカメラ１００の垂直方向の回転検出を行うＹ方向回転検出部で、その構成はＸ方向回転検出部と同様である。なお、Ｘ及びＹ方向回転検出部２１，２２は、従来からビデオカメラの振動防止や手ぶれ補正を目的として搭載されている装置もあり、その場合は共用しても良い。
【００１５】
２３はビデオカメラ１００全体を制御するシステム制御部である。図２にシステム制御部２３の構成を示す。システム制御部２３は周知のＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３３、Ｉ／Ｏインターフェース２３４、バス２３５、および割込み信号線２３６を有する。ＲＯＭ２３２には、ＣＰＵ２３１によって実行される後述の動作を行う為のプログラム、テーブル値などが格納されている。
【００１６】
また、図１において、２４はズームや録画の開始終了等を操作するキーが配置されたオペレーションパネル部である。オペレーションパネル部２４には、例えば、ワイド（広角＝画像縮小）方向に動作させるワイド・キー２５、テレ（望遠＝画像拡大）方向に移動させるテレ・キー２６、録画の開始終了を指示するＲＥＣキー２７、シーン分割の変更及び代表画像の変更を指示するためのメニューキー３１、一覧表示された画像の選択カーソルを上左下右の画像に移動させるためのカーソルキー３２、３３、３４、３５、メニューの選択及び画像の選択等を行うための選択キー３６が配置される。ワイド・キー２５およびテレ・キー２６は、例えばシーソー型の連動したキーであり、どちらのキーが、どの程度の押し圧により押されているかを示す出力信号をシステム制御部２３に出力する。ＲＥＣキー２７はトルグ型で、録画中に押下すれば録画終了、非録画中に押下すれば録画開始を指示する。また、３７は動画を再生する再生キー、３８は動画を一時停止する一時停止キーである。
【００１７】
また、２８は、映像データをＭＰＥＧの形式に符号化するＭＰＥＧ ＣＯＤＥＣである。２９は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。３０は記録媒体であり、例えば、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性メモリ、不揮発性メモリカードなどが用いられる。
【００１８】
次に上記構成を有するデジタルカメラ１００の動作について説明する。
【００１９】
レンズ光学系１１を介して入射した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の受光面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５に入力してＡ／Ｄ変換され、映像信号処理部１６に入力する。
【００２０】
映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正、電子ズームなどの各種処理を施して映像信号を生成する。生成した映像信号はシステム制御部２３を経由して映像分割管理部１７に出力される。
【００２１】
また、Ｘ方向回転検出部２１及びＹ方向回転検出部２２で検出される信号から、システム制御部２３でパン（カメラの水平方向の回転操作）やチルト（カメラの垂直方向の回転操作）の情報を得ることができる。また、レンズ位置検出部１９により得られるレンズ光学系１１の各レンズの位置から、システム制御部２３でズームインやズームアウトの情報を得ることができる。これらパンやチルト、ズームイン、ズームアウト等の撮影環境情報と、オペレーションパネル２４からの操作情報は、映像分割管理部１７に出力される。
【００２２】
映像分割管理部１７では、入力された上記各情報に基づいて動画を区間に分割し（以下、「動画区間」と呼ぶ。）、動画区間の代表画像を選択し、更に後述する動画区間情報及び代表画像のサムネイル情報を付加してＭＰＥＧ ＣＯＤＥＣ２８に出力する。
【００２３】
ＭＰＥＧ ＣＯＤＥＣ２８では、入力された映像信号の符号・復号化を行う。このとき、ＭＰＥＧ ＣＯＤＥＣ２８は、映像分割管理部１７から入力される動画区間情報、サムネイル情報を符号化された映像信号と共に格納し、ＭＰＥＧ ＣＯＤＥＣ２８に接続された記録部２９に出力する。記録部２９では１ショット（ＲＥＣキー１７の押下により録画が開始されてから、次の押下により終了するまでの１回の撮影）ごとに記憶媒体３０に１つのファイルを作成する。当然のことながら、１ショットを複数のファイルとして保存しても、複数のショットを１つのファイルに保存してもよい。また、ファイルシステムによらない方法で記憶しても、記録したデジタル情報が読み出せるのであればよい。
【００２４】
システム制御部２３は、ＲＥＣキーの操作によって録画を開始、終了する。
【００２５】
また、システム制御部２３は、ワイド・キー２５およびテレ・キー２６の操作によって、レンズ駆動部２０を介してレンズ光学系１１の制御または映像信号処理部１６に対する電子ズームの制御を行う。この時、押し圧が大きいほど、ズーム倍率を高速に変化させる。ここで、レンズ光学系１１のズームレンズの位置を動かして撮像する画像を拡大する機能を光学ズームといい、レンズ光学系１１によらず電子的信号処理によって画像を垂直、水平方向に拡大する機能を電子ズームという。また、システム制御部２３は、レンズ位置検出部１９からのレンズ位置検出信号により、光学ズーム時に於けるズーム倍率を判断する。更にシステム制御部２３は、映像分割管理部１７の制御や、表示装置１８への表示処理をしたり、Ｘ方向回転検出部２１およびＹ方向回転検出部２２から出力される回転情報に基づいて、手ぶれ等に起因するノイズ信号成分を除去し、ユーザの操作によるパン及び／またはチルト情報を検出したり、更に検出したパン及び／またはチルト情報を映像分割管理処理１７へ出力する。その他、システム制御部２３は必要に応じてデジタルカメラ１００の各部を制御する。
【００２６】
次に、動画と共に動画区間情報やサムネイル情報などの付属情報を記録する方法について説明する。記録方法としては、フレーム単位の画像データ管理情報中の未使用領域などに格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザ領域に格納する。また、撮影終了後に演算の結果生成された情報は、動画ファイルの末尾にフッタとして追加する方法もある。たとえば、ＭＰＥＧ−２トランスポートストリームであれば、プライベートエリアに付属情報を格納したＴＳパケットをファイルの末尾に追記すればよい。また、動画と付属情報を別のファイルにする方法もある。この場合は、動画と付属情報を対応づける為に、動画ファイル名から付属情報ファイル名との間で相互にお互いのファイル名が一意に求まるようにファイル名生成規則を設けるなど、参照情報を格納しハイパーリンクをはればよい。
【００２７】
＜動画区間、代表画像＞
次に、本実施の形態における動画区間の概念について図３を用いて説明する。動画は階層構造に分割されることとし、具体的な分割基準及びその方法については特に規定しないが、ここでは階層構造の一例を図３に示し、具体的に説明する。
【００２８】
図３において、レベル１は、日時により分割された動画区間、レベル２は、１ショット（録画操作を開始してから終了するまで）毎に分割された動画区間を表す。レベル３は、サブショット（所定基準に従って分割された動画区間であり、図３では、パン、チルト、ズームイン、ズームアウトの開始前及び終了後を区切りとみなす）により分割された動画区間を表す。レベル４は、フレームにより分割された動画区間を表す。具体的には、レベル１の１は、１９９９年４月１２日に撮影された映像、２は１９９９年４月１３日に撮影された映像を表し、例えば動画区間１はレベル２において３ショットの動画区間１−１〜１−３に分割される。更に、例えばレベル２の１−１の動画区間は、レベル３において４つの動画区間１−１−１〜１−１−４に分割され、更に、例えばレベル３の１−１−３のパンの動画区間は、レベル４では３フレームに分割される。このように、最終レベルは１フレームにより構成された区間となる。
【００２９】
次に、本実施の形態における代表画像は、後述するように属性情報に合わせて代表画像が切り替えられるようになっており、任意の位置のフレーム画像を代表画像に設定することが可能であるが、初めに自動的に抽出される代表画像は、各動画区間の先頭フレームの画像とする。なお、本発明は先頭フレームの画像に限るものではなく、末尾フレームもしくは中間フレームの画像を代表画像として自動抽出しても構わないし、映像内容を分析し、分析結果を基に選んだフレームの画像を代表画像として抽出してもよく、初めに代表画像を選択する方法について特に規定しない。
【００３０】
＜動画区間情報の詳細構成＞
次に、動画区間情報について図４〜図７を参照して説明する。ここでは説明を分かりやすくするために、動画が上述した図３の一例で示すように日付、ショット、操作情報及び撮影環境情報などの情報で階層的に区分されているものとする。なお、各図に示したデータ構造は１つのデータ要素の構造であり、複数のデータがある場合は各要素にアクセス可能なリストを構成する。また、本実施の形態ではビット列で表現しているが、システム制御部２３が認識可能であればテキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等で表現してももちろん構わない。また、ＭＰＥＧ７に従った形式で格納する場合は、Ｓｅｇｍｅｎｔ ＤＳに格納すれば良い。
【００３１】
まず、本実施の形態における動画区間情報の構造例を図４により説明する。動画区間情報は、レベルインデックス部、インデックス部、サムネイル情報部の３つの部分により構成される。
【００３２】
レベルインデックス部は、映像を階層的に分割したときのそれぞれのレベル１から最終レベル−１までの分割個数の合計分、図５に示すＬｅｖｅｌ Ｉｎｄｅｘ情報が作成される。このＬｅｖｅｌ Ｉｎｄｅｘ情報は、階層化したときの各レベルにおけるサムネイル情報のインデックス情報を指し示しており、Ｌｅｖｅｌ Ｉｎｄｅｘ情報は、
Ｌｅｖｅｌ Ｉｎｄｅｘ（０）＝（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＩｎｄｅｘＣｏｕｎｔ＝２，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル１のインデックスへのアドレス）
Ｌｅｖｅｌ Ｉｎｄｅｘ（１）＝（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝１，ＩｎｄｅｘＣｏｕｎｔ＝３，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル２の１−１のインデックスへのアドレス）
Ｌｅｖｅｌ Ｉｎｄｅｘ（２）＝（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝２，ＩｎｄｅｘＣｏｕｎｔ＝２，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル２の２−１のインデックスへのアドレス）
【００３３】
等のようになる。Ｌｅｖｅｌ Ｉｎｄｅｘ情報は、図５に示すようにＬｅｖｅｌ、ＰａｒｅｎｔＩＤ、ＩｎｄｅｘＣｏｕｎｔ、ＩｎｄｅｘＯｆｆｓｅｔの情報から成り立つ。Ｌｅｖｅｌ情報は、階層レベルを示す。ＰａｒｅｎｔＩＤ情報は、上位レベルのどの映像区間か識別する情報をあらわす。例えば、レベル２の１−１〜１−３のＬｅｖｅｌ Ｉｎｄｅｘ情報のＰａｒｅｎｔＩＤはレベル１の１となる。ＩｎｄｅｘＣｏｕｎｔ情報は、上位レベルの動画区間におけるサムネイル情報の個数を示す。例えば、レベル１の１を構成するレベル２の動画区間は３であるため、ＩｎｄｅｘＣｏｕｎｔ情報は３になる。また、ＩｎｄｅｘＯｆｆｓｅｔ情報は、Ｌｅｖｅｌ Ｉｎｄｅｘ情報に対応付けられているサムネイル情報へのインデックスが格納されているＩｎｄｅｘ情報へのアドレスが格納されている。
図４のインデックス部は、各階層の分割個数の合計数分、図６に示すサムネイル情報へのＩｎｄｅｘ情報が格納される。例えば、Ｌｅｖｅｌ Ｉｎｄｅｘ（０）に対するＩｎｄｅｘ情報としては、レベル１の１及び２に対応する２つのＩｎｄｅｘ情報が存在し、レベル１の１とレベル１の２のサムネイル情報へのアドレスが格納されている。
【００３４】
サムネイル情報部には、分割された各動画区間の代表画像を示すサムネイル情報が格納されている。図７は、１つのサムネイル情報のデータ構造例を示す図である。Ｓｔａｒｔ ＰｏｉｎｔとＥｎｄ Ｐｏｉｎｔは、それぞれ、当該サムネイル情報が代表する動画区間の開始点と終了点である。Ｓｔａｒｔ Ｐｏｉｎｔ及びＥｎｄ Ｐｏｉｎｔは動画の区間を特定できればその形態は特に限定されるものではないが、例えば、タイムコードまたはフレームＩＤなどで記述するのが好ましい。Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤには、サムネイルの作成時の情報毎に定められたＩＤであり、例えば以下のように定義される。
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝１：区間の先頭のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝２：区間の中間のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝３：区間の終了のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝４：区間中で動きの激しいフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝５：区間中で動きの穏やかなフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝６：区間中でオブジェクトが出現したフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝７：区間中でオブジェクトが消失フレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝８：区間中で画質のよいフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝９：区間中にない画像
上記例は、サムネイルが各動画区間のどのようなフレームから作成されたか、そのタイプごとにＩＤを規定したものである。
【００３５】
また、Ｔｈｕｍｂｎａｉｌ Ｏｆｆｓｅｔには、動画像のサムネイルへのオフセットが記述される。
【００３６】
＜動画分割情報の取得＞
次に、上記構成を有する動画分割情報を取得し、格納する処理について、図８のフローチャートを用いて説明する。
【００３７】
まず、システムの電源をＯＮにするとステップＳ１０１に進み、システムの初期化を行う。初期化後ステップＳ１０２に進み、オペレーションパネルからの入力を待つ。何らかの入力があった場合、ステップＳ１０３に進み、入力がＲＥＣボタン２７の押下であった場合はステップＳ１０４に進み撮影処理を行う。そして、ステップＳ１０５にて撮影が終了したかチェックを行い、撮影が終了するまでステップＳ１０４を繰り返し行う。撮影が終了するのは、ＲＥＣボタンが押下された場合、記録メディアの容量が一杯になった場合、電源が供給できなくなりそうな場合などの所定条件の内、いずれかの条件が満たされた時である。撮影が終了するとステップＳ１０６に進み、映像分割管理部１７により上述したようにして動画区間分割処理を行う。次に、ステップＳ１０７において分割した各動画区間の代表画像抽出処理を行い、ステップＳ１０２に戻り、次の入力を待つ。
【００３８】
一方、ステップＳ１０３でＲＥＣボタン２７以外の操作を検出した場合には、ステップＳ１０８で対応する処理を行ってからステップＳ１０２に戻り、次の入力を待つ。なお、ステップＳ１０８で行う処理は、後述する代表画像変更の処理も含む。
また、割込み信号３６によって、割り込みが発生した場合には、本処理を中断し必要な割り込み処理を行う。
【００３９】
＜代表画像の表示＞
後述するシーン結合及びシーン分割処理が起動されるときに表示される代表画像の表示処理について、図９のフローチャートを用いて説明する。
【００４０】
始めに、代表画像を表示する階層レベル及び映像情報を取得する（ステップＳ２０１）。映像情報とは、同階層レベルにおける親映像を識別する情報である。レベル１においては、映像情報は０（ＴＯＰを表す）のみである。レベル２においては、映像情報は、レベル１を構成する映像分割数分存在する。ステップＳ２０２では、ステップＳ２０１で取得した階層レベルとＬｅｖｅｌ Ｉｎｄｅｘ情報のＬｅｖｅｌを比較し、一致するＬｅｖｅｌ Ｉｎｄｅｘ情報を取得する。一致したＬｅｖｅｌ Ｉｎｄｅｘ情報のＩｎｄｅｘＯｆｆｓｅｔ情報及びＩｎｄｅｘＣｏｕｎｔ情報より、ＩｎｄｅｘＣｏｕｎｔ情報に示される数のＩｎｄｅｘ情報の取得を行う。次に、ステップＳ２０３において、ステップＳ２０２で取得したＩｎｄｅｘ情報のＴｈｕｍｂｎａｉｌＩｎｄｅｘＯｆｆｓｅｔ情報より、全てのサムネイル情報の取得を行う。ステップＳ２０４では、取得したサムネイル情報のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ情報よりサムネイル画像を取得し、取得したサムネイル画像を表示装置１８に表示する。
【００４１】
図１０〜図１２を例に、代表画像を表示する処理を更に説明する。代表画像の表示処理をコールする時には、本実施の形態では初期値として表示させる階層としてレベル１、映像番号として０をセットしておく。なお、初期値は任意に設定しておくことが可能である。この場合、ステップＳ２０１では、表示する階層レベル及び映像番号としてそれぞれ１、０を取得する。そして、ステップＳ２０２で対応するＬｅｖｅｌ Ｉｎｄｅｘ情報を検索するが、Ｌｅｖｅｌ Ｉｎｄｅｘ情報におけるＬｅｖｅｌが１であり、ＰａｒｅｎｔＩＤが０であるＬｅｖｅｌ Ｉｎｄｅｘ情報を取得する。そして、取得したＬｅｖｅｌ Ｉｎｄｅｘ情報のＩｎｄｅｘＯｆｆｓｅｔ情報及びＩｎｄｅｘＣｏｕｔ情報から、図１０に示す例では、Ａ１〜Ｉ１に対応するＩｎｄｅｘ情報が取得される。続けて、ステップＳ２０３でこのＩｎｄｅｘ情報のＴｈｕｍｂｎａｉｌＩｎｄｅｘＯｆｆｓｅｔ情報から９つのサムネイル情報を取得し、ステップＳ２０４で、サムネイル情報のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ情報からサムネイル画像を取得して、サムネイル画像を図１１（ａ）又は図１１（ｂ）に示すように表示させる。
【００４２】
次に、図１１（ａ）に示すように表示されている状態から、下位レベルの代表画像を表示する場合について説明する。
【００４３】
カーソルキー３２〜３５を操作して、選択カーソル４１（または、図１１（ｂ）の選択カーソル４２）により所望の代表画像を選択する。例えば、代表画像Ｂ１が選択されたとすると、Ｂ１の動画区間を構成する下位レベルの代表画像を表示する。このとき、ステップＳ２０１では階層レベル２と映像番号Ｂ１を取得する。これにより、ステップＳ２０２でＬｅｖｅｌ Ｉｎｄｅｘ情報として、図１０に示す階層構成の場合、Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１，ＩｎｄｅｘＣｏｕｎｔ＝９，ＩｎｄｅｘＯｆｆｓｅｔ＝サムネイル情報Ｂ１−１へのインデックスへのアドレスが取得される。そして、選択画像Ｂ１−１〜Ｂ１−９のサムネイル情報を取得し（ステップＳ２０３）、サムネイル画像が図１２（ａ）に示すように表示される（ステップＳ２０４）。なお、図１２（ａ）に示す例では、下位レベルに移動したことを示すために、一覧表示枠を上位レベルの一覧表示枠より太枠で表示しているが、例えば、一覧表示枠の色を変えたり、画像表示の妨げにならない位置にレベルを表示するなど、この他の方法により示すようにしてもよい。
【００４４】
図１２（ａ）に示すように表示されている状態から、更に下位レベルの代表画像を表示する場合、操作者が例えば代表画像Ｂ１−４を選択すると、ステップＳ２０１では階層レベル３と映像番号Ｂ１−４が渡される。これにより、ステップＳ２０２でＬｅｖｅｌ Ｉｎｄｅｘ情報として、図１０に示す階層構成の場合、Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４，ＩｎｄｅｘＣｏｕｎｔ＝８，ＩｎｄｅｘＯｆｆｓｅｔ＝サムネイル情報Ｂ１−４へのＩｎｄｅｘ情報へのアドレスが取得される。そして、選択画像Ｂ１−４−１〜Ｂ１−４−８のサムネイル情報を取得し（ステップＳ２０３）、サムネイル画像が図１２（ｂ）に示すように表示される（ステップＳ２０４）。なお、図１２（ｂ）に示す例では、下位レベルに移動したことを示すために、一覧表示枠を上位レベルの一覧表示枠より更に太枠で表示しているが、例えば、一覧表示枠の色を変えたり、画像表示の妨げにならない位置にレベルを表示するなど、この他の方法により示すようにしてもよい。以下、レベルが更に下がるにつれて、枠を徐々に太くする。
【００４５】
逆に、図１２（ｂ）に示すように表示されている状態から上位レベルの代表画像を表示する場合、選択画像Ｂ１−４−１〜Ｂ１−４−８のサムネイル画像を包含する一覧表示枠を選択し、選択キー３６を押下すると、ステップＳ２０１において、１階層上のレベルである階層レベル２と、映像番号Ｂ１を取得する。以下、階層レベル２及び映像番号Ｂ１を基にした上記と同様の処理を行うことで、図１２（ａ）に示す代表画像が表示される。
【００４６】
図１２（ａ）に示す状態から更に上位レベルの代表画像を表示する場合も同様にして選択画像Ｂ１−１〜Ｂ１−９のサムネイル画像を包含する一覧表示枠を選択し、選択キー３６を押下すると、ステップＳ２０１において、１階層上のレベルである階層レベル１と、映像番号０を取得する。以下、階層レベル１及び映像情報０を基にした上記と同様の処理を行うことで、図１１（ａ）に示す代表画像が表示される。
【００４７】
以下の説明において、代表画像の表示処理は、上記説明したようにして行われる。
【００４８】
＜シーン分割＞
撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、図１３に示すように、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。この表示されたメニューにおいて、カーソルキー３２及び３４を使用することにより、メニューの中から操作内容を選択する。操作内容は、選択キー３６を操作者が押下することにより設定される。例えば、図１３においてシーン分割が選択されている状態で、選択キー３６が押下された場合、表示されている代表画像のレベルにおけるシーン分割処理が開始される。なお、本実施の形態においては、メニューを表示させることによりシーン分割処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予めシーン分割開始を行うように設定しておいても構わない。
【００４９】
以下、シーン分割処理について、図１４、図１５のフローチャートに沿って説明する。
【００５０】
図１３に示すメニューにおいて「シーン分割」が選択されると、表示されている代表画像の動画区間におけるシーン分割処理が開始される。ステップＳ３０１では、代表画像の一覧において図１１（ａ）又は図１１（ｂ）に示すように選択画像を囲む選択カーソル４１又は４２をカーソルキー３２〜３５で移動させ、代表画像を選択することにより、シーン分割を行う所望の動画区間を選択する。なお、代表画像を選択する時に、図１１（ｂ）に示すようなカーソルを用いてもよい。また、シーン分割を行う動画区間（代表画像）の選択は、メニューキーを押す前の一覧表示中に行っておいてもよい。
【００５１】
分割を行う動画区間を取得すると、ステップＳ３０２において、指定された動画区間を構成する下位レベルの代表画像を表示する。例えば、図１１（ａ）に示すように代表画像Ｂ１が選択された場合、図１０（ａ）に示すように代表画像Ｂ１はレベル１の画像であるので、対応するレベル２の代表画像Ｂ１−１〜Ｂ１−９が図１２（ａ）に示すように表示される。
【００５２】
ステップＳ３０３では、何らかの入力があるまで待ち、なんらかの入力があった場合、ステップＳ３０４において、入力が分割動画区間の代表画像（以下、「分割代表画像」と呼ぶ。）の選択であるかどうかを判断する。
【００５３】
分割代表画像の選択でない場合、ステップＳ３０６に進み、下位レベル又は上位レベルの現在表示されている代表画像と異なるレベルの代表画像の表示指示が行われたかどうかを判定する。指示された場合、ステップＳ３０７において、指示されたレベルの代表画像の表示処理を行う。例えば、図１２（ａ）に示すレベル２の代表画像の表示画面において代表画像Ｂ１−４−５が選択された場合、図１０（ａ）に示すように対応するレベル３の代表画像Ｂ１−４−１〜Ｂ１−４−８が図１２（ｂ）に示すように表示される。逆に、例えば図１２（ｂ）に示すレベル３の代表画像の表示画面において、全代表画像を含む一覧表示枠が選択された場合、図１２（ａ）に示すように表示される。
【００５４】
ステップＳ３０６で上位又は下位レベルの代表画像の表示指示ではないと判断された場合、ステップＳ３０９に進み、対応する処理を行ってステップＳ３０３に戻り、次の入力を待つ。
【００５５】
一方、ステップＳ３０４において分割代表画像の選択であると判断された場合、ステップＳ３０５に進んで動画分割処理を行う。ここで行われる動画分割処理について図１５のフローチャートを参照して詳細に説明する。
【００５６】
ステップＳ４０１において、分割される動画区間のサムネイル情報を変更する。例えば、代表画像Ｂ１に代表される動画区間をＢ１−４−１からＢ１−１−４までの動画区間と、Ｂ１−４−５からＢ−１−４−８までの動画区間とに分割する場合、図１２（ｂ）の画面においてＢ１−４−５が分割代表画像として選択される。この場合、代表画像Ｂ１（分割後、図１６のＢ１＿１）のサムネイル情報のＥｎｄＰｏｉｎｔ情報と、代表画像Ｂ１−４（分割後、図１６のＢ１−４＿１）のサムネイル情報のＥｎｄＰｏｉｎｔ情報がＢ１−４−４のサムネイル情報のＥｎｄＰｏｉｎｔ情報に変更される。
【００５７】
次に、ステップＳ４０２において、映像分割を行ったことにより追加される映像区間のサムネイル情報の追加を行う。ここでは、レベル１に追加されるサムネイル情報（図１６のＢ１＿２）（ＳｔａｒｔＰｏｉｎｔ＝Ｂ１−４−５のサムネイル情報のＳｔａｒｔＰｏｉｎｔ，ＥｎｄＰｏｉｎｔ＝Ｂ１サムネイル情報のＥｎｄＰｏｉｎｔ，Ｔｈｕｍｂｎａｉｌ ＴｙｐｅＩＤ＝１，ＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ＝Ｂ１−４−５のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ）、レベル２に追加されるサムネイル情報（図１６Ｂ１−４＿２）の（ＳｔａｒｔＰｏｉｎｔ＝Ｂ１−４−５のサムネイル情報のＳｔａｒｔＰｏｉｎｔ，ＥｎｄＰｏｉｎｔ＝Ｂ１−４のサムネイル情報のＥｎｄＰｏｉｎｔ，Ｔｈｕｍｂｎａｉｌ ＴｙｐｅＩＤ＝１，ＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ＝Ｂ１−４−５のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ）が追加される。
【００５８】
そして、ステップＳ４０３において、Ｉｎｄｅｘ情報の変更または追加を行う。具体的には、代表画像Ｂ１＿１、Ｂ１＿２、Ｂ１−４＿１、Ｂ１−４＿２のＩｎｄｅｘ情報の変更・追加が行われる。また、これらに伴いステップＳ４０４において、Ｌｅｖｅｌ Ｉｎｄｅｘ情報の変更を行う。ここではＬｅｖｅｌ Ｉｎｄｅｘ情報は以下のように変更される。
【００５９】
まず、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＬｅｖｅｌＣｏｕｎｔ＝９）のＬｅｖｅｌ Ｉｎｄｅｘ情報が、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＬｅｖｅｌＣｏｕｎｔ＝１０，ＬｅｖｅｌＯｆｆｓｅｔ＝Ａ１サムネイル情報へのインデックスのアドレス）に変更される。また、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１）のＬｅｖｅｌ Ｉｎｄｅｘ情報は、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１＿１，ＬｅｖｅｌＣｏｕｎｔ＝４）に変更される。そして、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１＿２，ＬｅｖｅｌＣｏｕｎｔ＝６，ＩｎｄｅｘＯｆｆｓｅｔ＝Ｂ１−４＿１のサムネイル情報を示すインデックスのオフセット）が追加される。また、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４）のＬｅｖｅｌ Ｉｎｄｅｘ情報は、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４＿１，ＬｅｖｅｌＣｏｕｎｔ＝４）に変更される。そして、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１＿４＿２，ＬｅｖｅｌＣｏｕｎｔ＝４，ＩｎｄｅｘＯｆｆｓｅｔ＝Ｂ１−４＿２のサムネイル情報を示すインデックスのオフセット）が追加される。
【００６０】
上記処理を終了すると図１４のステップＳ３０８に進み、分割後の代表画像の一覧表示を行う。本実施の形態においては、代表画像は、動画区間の先頭を自動的に設定するため、分割前の動画区間の先頭フレームに分割後の先頭フレームが代表画像が加わることになる。上記のように例えば、図１２（ｂ）の代表画像Ｂ１−４−５で分割すると選択された場合、レベル１の代表画像の一覧表示は、図１２（ｃ）に示すように変更される。
【００６１】
以上の動作によりシーン分割を終了する。
【００６２】
＜シーン結合・分割位置変更＞
上述したように、撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、図１３に示すように、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。ここで、カーソルキー３２及び３４を用いてシーン結合・分割位置変更を選択し、選択キー３６を操作者が押下すること、シーン結合・分割位置変更処理が開始される。なお、本実施の形態においては、メニューを表示させることによりシーン結合・分割位置変更処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予めシーン結合・分割位置変更開始を行うように設定しておいても構わない。
【００６３】
以下、シーン結合・分割位置変更処理について、図１７、図１８のフローチャートに沿って説明する。
【００６４】
図１３に示すメニューにおいて「シーン結合・分割位置変更」が選択されると、処理が開始され、例えば図１９に示すような選択カーソル４３が表示される。ステップＳ５０１では、代表画像の一覧において選択カーソル４３をカーソルキー３２〜３５で移動させ、選択キー３６を押下して代表画像を選択することにより、シーン結合・分割位置変更を行う所望の動画区間を選択する。選択には上記以外に、例えば、開始画像と終了画像を選択させて取得してもよく、また、選択をメニューキーを押す前の一覧表示中に行えるようにしてもよく、本発明は選択方法に限定されるものではない。
【００６５】
ステップＳ５０１でシーン結合又は分割位置の変更を行う動画区間が設定されると、ステップＳ５０２において、現時点でのサムネイル情報を保存する。次にステップＳ５０３に進み、指定された動画区間の結合処理を行う。
【００６６】
ここで、ステップＳ５０３で行われる結合処理について図１８を参照して説明する。
【００６７】
まず、ステップＳ６０１において、動画区間が結合される映像区間のサムネイル情報を変更する。次に、ステップＳ６０２において、映像結合を行ったことにより削除される映像区間のサムネイル情報の削除を行う。具体的には、ステップＳ６０１で図１９に示す代表画像Ａ１及びＢ１の動画区間が選択され、結合する場合、代表画像Ａ１のサムネイル情報のＥｎｄＰｏｉｎｔが代表画像Ｂ１のサムネイル情報のＥｎｄＰｏｉｎｔとなるため、ステップＳ６０２では不要となった代表画像Ｂ１のサムネイル情報を削除する。
【００６８】
そして、ステップＳ６０３において、インデックス情報の変更または削除を行う。また、これらに伴いステップＳ６０４において、Ｌｅｖｅｌ Ｉｎｄｅｘ情報の変更・削除を行う。具体的には、図１０に示す階層構成の場合、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０）は、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＩｎｄｅｘＣｏｕｎｔ＝８，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１のサムネイル情報のインデックスのアドレス）に変更される。また、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ａ１）は、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ａ１，ＩｎｄｅｘＣｏｕｎｔ＝１２，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１のサムネイル情報のインデックスのアドレス）に変更される。また、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１）は削除される。これに伴い、Ｂ１のインデックス情報は削除され、Ａ１のインデックス情報にＢ１−１〜Ｂ１−９のインデックス情報が追加され、代表画像Ａ１の動作区間を構成するレベル２の代表画像はＡ１−１〜Ｂ１−９までとなる。この結合結果、図１０（ａ）、（ｂ）に示す階層構成は、図２０に示すように変更される。
【００６９】
このようにして結合処理を終了すると、図１７の処理に戻ってステップＳ５０４に進む。
【００７０】
ステップＳ５０４では、指定された結合後の動画区間についてステップＳ５０１で表示していた一覧表示よりも下位レベルで代表画像を一覧表示する。このステップＳ５０４の処理は、Ｌｅｖｅｌ＝２、ＰａｒｅｎｔＩＤ＝Ａ１として表示を行うが、この時のＬｅｖｅｌ Ｉｎｄｅｘ情報は（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝１，ＩｎｄｅｘＣｏｕｎｔ＝１２，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１−１のサムネイルＩｎｄｅｘ情報のオフセット）である。図２０に示すように階層構成が変更されているので、この処理により、図２１（ａ）に示すように代表画像Ａ１−１〜Ｂ１−９が表示される。
【００７１】
ステップＳ５０５において、図２１（ａ）に示すような下位レベルの代表画像表示したまま、操作者からの入力を待つ。この状態でなんらかの入力がなされると、ステップＳ５０６においてシーン分割指示であるかどうかを判断する。このシーン分割指示は、メニューキー３１を押下してシーン分割メニューを表示させ、シーン分割を選択することにより行うことができる。シーン分割指示でない場合、ステップＳ５０７において、結合決定指示が行われたかどうか判断する。結合決定指示は、例えば、選択キー３６を押下することにより行うことが出きる。結合決定指示が入力された場合、ステップＳ５１２においてステップＳ５０１で表示されていたレベルでの代表画像の表示を行って（ここでは、図１９の代表画像Ｂ１が削除された表示となる）、シーン結合・分割位置変更処理を終了する。
【００７２】
一方、ステップＳ５０７において、結合決定指示でないと判断された場合、ステップＳ５０８において結合処理のキャンセル指示が行われたかどうか判断する。ステップＳ５０８においてキャンセル指示が行われた場合、ステップＳ５１１において、ステップＳ５０２で保存しておいた結合前のサムネイル情報へ戻し、ステップＳ５１２でステップＳ５０１で表示されていたレベルの代表画像の表示を図１９で示すように行い、シーン結合・分割位置変更処理を終了する。
【００７３】
また、ステップＳ５０８で結合処理のキャンセル指示でないと判断された場合、ステップＳ５１３で対応する処理を行ってステップＳ５０５に戻り、入力待ち状態に戻る。
【００７４】
一方、ステップＳ５０６においてシーン分割指示であると判断されると、ステップＳ５０９で、元の代表画像Ｂ１の動画区間を含む、結合された代表画像Ａ１の動画区間の分割を行う。ここで行われる処理は、図１４及び図１５を参照して説明した動作と基本的に同じであるが、図１４のステップＳ３０１、Ｓ３０２に対応する動作は、この時点では終了しているため、ステップＳ３０４以下に対応する処理を行うことになる。なお、ここではこの処理の説明を省略する。
【００７５】
具体的に説明すると、図２１（ａ）に示すように代表画像が表示されている状態において、例えば、図２１（ｂ）に示すように、代表画像Ｂ１−３を分割代表画像として選択した場合、図１５で説明した処理の結果、代表画像Ａ１−１〜Ｂ１−２までの動画区間と、代表画像Ｂ１−３〜Ｂ１−９までの動画区間に分割され、レベル１の代表画像として、図２１（ｃ）に示すような代表画像が表示される。このように図１７のステップＳ５０９の処理により、実質的には、代表画像Ａ１及びＢ１の動画区間の分割位置が変更されることになる。
【００７６】
＜代表画像変更＞
次に、代表画像変更処理について説明する。
【００７７】
上述したように、撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。ここで、カーソルキー３２及び３４を用いて代表画像変更を選択し、選択キー３６を操作者が押下すると、表示されている代表画像の動画区間における代表画像変更処理が開始される。なお、本実施の形態においては、メニューを表示させることにより代表画像変更処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予め代表画像変更開始を行うように設定しておいても構わない。
【００７８】
以下、代表画像変更処理について、図２２、図２３のフローチャートに沿って説明する。
【００７９】
図１３に示すメニューにおいて「代表画像変更」が選択されると、表示されている代表画像の動画区間における代表画像変更処理が開始される。ステップＳ７０１では、代表画像の一覧において図２４に示すように選択画像を囲む選択カーソル４１をカーソルキー３２〜３５で移動させ、代表画像を選択することにより、代表画像変更を行う所望の動画区間を選択する。なお、図２４は図１１（ａ）と実質的に同じであるが、後述する説明で代表画像変更処理後、代表画像が変わったことが分かるように、図１０に示す階層構造を有する場合のレベル１の代表画像に対応するレベル３の代表画像の番号を括弧内に記している。また、代表画像変更を行う動画区間（代表画像）の選択は、メニューキー３１を押す前の一覧表示中に行っておいてもよく、代表画像変更を行う動画区間は、複数の動画区間から構成されてもよい。その場合、複数の代表画像を、例えば、開始画像と終了画像を選択することにより取得してもよい。
【００８０】
ステップＳ７０１では、代表画像が選択されると、図２５に示すように、下位レベル代表画像表示または動画再生を指示するメニューが表示される。ここで下位レベル代表画像表示をカーソルキー３２〜３５及び選択キー３６で選択すると、ステップＳ７０８に進み、下位の画像が表示される。一方、メニューの動画再生が選択されるか、又は再生キー３７が押下されると、ステップＳ７０２において指定された動画区間の再生を行う。具体的には、図２４の代表画像Ｂ１が選択されている場合、代表画像Ｂ１のサムネイル情報を取得し、代表画像Ｂ１のＳｔａｒｔＰｏｉｎｔ情報及びＥｎｄＰｏｉｎｔ情報を元にして動画の再生を行う。
【００８１】
そして、ステップＳ７０３で、操作者が代表画像として設定しようとするフレームが再生された時点で一時停止キー３８を押下するか、または指定された動画区間の再生が終了すると、ステップＳ７０４に進んで再生を停止する。
【００８２】
次に、ステップＳ７０５では、停止したフレーム画像の位置を取得する。例えば、一時停止キー３８が押され、停止した時の画像が画像Ｂ１−１−５であった場合、レベル３、カレント映像情報＝Ｂ１−１−５、映像番号＝Ｂ−１を取得する。ステップＳ７０６では、取得した階層レベル、カレント映像情報及び映像番号に基づいて代表画像を一覧表示する。この一覧表示においては、表示装置の画面に、再生位置のフレームを中心として前後のフレームが表示される。停止した時の画像が画像Ｂ１−１−５であった場合、図２６（ａ）に示すように代表画像Ｂ１−１−５を中心にしてレベル３のその前後のフレーム画像が表示される。
【００８３】
なお、図２６（ａ）に示すように、再生停止した時のフレーム画像を表すために、代表画像Ｂ１−１−５が選択された状態（選択カーソルで囲まれた状態）で表示されている。また、変更前の代表画像として設定されているフレーム画像を示すために、代表画像Ｂ１−１−１に識別マーク５１が表示される。また、表示する画像数が多くて１画面に表示しきれない場合は、次画面への表示コマンド若しくはスクロールなどにより表示を行う。
【００８４】
ここで操作者は、代表画像Ｂ１に対応する動画期間の代表画像をＢ１−１−５に変更するかどうかを判断する。その結果、上位レベルを表示する指示を行った場合（ステップＳ７０７でＹＥＳ）、上位レベルの情報を取得し、ステップＳ７１０で代表画像一覧表示を行う。図２６（ａ）の例では、レベル２（＝３−１）、カレント映像情報＝Ｂ１−１、映像番号＝Ｂ１を取得し、図２６（ｂ）示すようなレベル２の代表画像が表示され、ステップＳ７０２に戻る。
【００８５】
また、更に下位レベルの画像を表示する場合（ステップＳ７０７でＮＯ、ステップＳ７０８でＹＥＳ）、下位レベルの情報を取得し、ステップＳ７１１で代表画像一覧表示を行う。この処理は、例えばステップＳ７０３で再生停止した画像のレベルが２であり、図２６（ｂ）示すようなレベル２の代表画像が表示されている場合や、先にステップＳ７１０の処理がなされている場合に可能である。
【００８６】
また、ステップＳ７０６で表示された代表画像から、カーソル４１をカーソルキー３２〜３５で移動させ、選択キー３６を押下すると、ステップＳ７０９において代表画像決定が入力されたと判断し、ステップＳ７１２に進んで、代表画像決定処理を行う。
【００８７】
ここでステップＳ７１２で行われる代表画像決定処理について、図２３のフローチャートを用いて説明する。
【００８８】
ステップＳ８０１において、代表画像決定入力が行われた表示画面における選択画像におけるサムネイル情報の取得を行う。ステップＳ８０２において、変更動画区間のサムネイル情報の変更を行う。具体的には、例えば図２６（ａ）に示すように画像Ｂ１−１−５が代表画像と決定された場合、ステップＳ８０２において、動画区間Ｂ１のサムネイル情報のＴｈｕｍｎａｉｌＯｆｆｓｅｔ情報にＢ１−１−５のサムネイル情報を代入する。ＴｈｕｍｂｎａｉｌＴｙｐｅＩＤ情報も合わせて変更する。
【００８９】
そして、ステップＳ８０３において、変更する動画区間の下位レベルのサムネイル情報に対しても連動して変更を行うか判断する。具体的には、画像Ｂ１−１−５が選択された場合、代表画像Ｂ１−１に対応する動画区間の代表画像をＢ−１−１からＢ１−１−５に変更するかどうかを判断する。連動して変更すると判断された場合、ステップＳ８０４において、新規代表画像として設定されたフレーム画像を含む動画区間を取得しそのサムネイル情報を修正する。具体的には、代表画像Ｂ１−１に対応する動画区間を取得し、代表画像Ｂ１−１のサムネイル情報のＴｈｕｍｂｎｉｌＯｆｆｓｅｔ情報にＢ１−１−５のサムネイル情報を代入する。また、ＴｈｕｍｂｎａｉＴｙｐｅＩＤ情報も合わせて変更する。
【００９０】
ステップＳ８０５において、変更された動画区間の代表画像を表示し確認する代表画像一覧表示を行う。ここでは、元の代表画像Ｂ１の動画区間に対応するレベル１の代表画像を、図２４に示す代表画像（Ｂ１−１−１）から（Ｂ１−１−５）に変更して図２６（ｃ）に示すように一覧表示する。
【００９１】
即ち、本実施の形態によれば、動画像データを処理する信号処理において、所定条件に基づいて、動画像データを階層化して各動画区間に分割し、所定条件に基づいて、分割された各動画区間の代表画像を自動的に設定し、設定された代表画像を階層毎に表示し、表示された代表画像を選択することで、分割された動画区間を更に分割する再分割処理と、分割された少なくとも２つの動画区間を結合する結合処理と、分割された少なくとも２つの動画区間の分割位置を変更する分割位置変更処理と、設定された代表画像を変更する代表画像変更処理の内、少なくとも１つの処理を実行する。
【００９２】
より具体的には、再分割処理の開始指示に対応して、分割する動画区間における下位レベルの代表画像を表示し、再分割処理では、表示された下位レベルの代表画像のうち、分割した動画区間開始となる代表画像を選択し、選択された代表画像の前後に動画区間を分割し、所定条件に基づいて、分割された各動画区間の代表画像を設定する。
【００９３】
また、結合処理の開始指示に対応して、階層の内、結合するレベルの代表画像を表示し、結合処理では、表示された代表画像の内、結合する動画区間の代表画像を選択し、選択された動画区間を結合し、所定条件に基づいて、結合された動画区間の代表画像を設定する。
【００９４】
また、分割位置変更処理の開始指示に対応して、分割位置を変更する動画区間のレベルの代表画像を表示し、分割位置変更処理では、表示された代表画像の内、分割位置を変更する動画区間の代表画像を選択し、分割位置を変更する動画区間における下位レベルの代表画像を表示し、表示された下位レベルの代表画像のうち、分割位置変更後の動画区間開始となる代表画像を選択し、選択された代表画像の前後に動画区間を分割し、所定条件に基づいて、分割位置変更された各動画区間の代表画像を設定する。
【００９５】
また、代表画像変更処理の開始指示に対応して、代表画像を変更する動画区間における下位レベルの代表画像を表示し、代表画像変更処理では、表示された下位レベルの代表画像のうちの１つを選択し、動画区間の代表画像を、選択された代表画像に置き換える。
【００９６】
【他の実施形態】
本実施の形態では、階層構造を示すために、太枠及び／又は異なる色を使用する例を説明したが、本発明はこれに限るものではなく、階層ルートを示してそのルートを選択することにより上位下位レベルの行き来を行っても構わない。その例を図２７に示す。図２７は、図１２の（ａ）及び（ｂ）を階層ルートにより示した例である。図２７（ａ）に示すように、一覧表示と共に、そのサムネイル画像の上位階層のサムネイル画像を別に表示する（図２７（ａ）では代表画像Ｂ１）。移行する階層が増えると図２７（ｂ）に示すように上位階層のサムネイル画像（図２７（ａ）では代表画像Ｂ１とＢ１−４）が表示されて行く。又は、図２８に示すように表示しても良い。
【００９７】
また、本実施の形態では、動画区間の分割の変更時において、代表画像の選択を自動的（本実施の形態では先頭フレームを設定）に行ったが、動画区間の分割変更時に代表画像の選択処理を同時に行っても構わない。
【００９８】
また、本実施の形態では、１分割された動画区間において１つの代表画像を選択する例を示したが、１つに限ったものではなく、複数であってもよく、また、代表画像として適したフレームが無い場合には、選択を行わなくても良い。
【００９９】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ビデオカメラなど）に適用してもよい。また、ＵＳＢ２．０等のシリアルインターフェース，ＩＥＥＥ１３９４，イーサネット（登録商標）、無線ＬＡＮなどの通信手段を用いて複数の装置でネットワークを構成し、同様の機能を実現しても構わない。また、動画区間分割処理や代表画像抽出処理は録画終了時に行うことを限定するものではなく、記録メディアの情報をパーソナルコンピューターのような別の装置に読み込ませ、パーソナルコンピューター上で同様な処理を行って、付属情報を加工しても良い。
【０１００】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１０１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図８、図９、及び図１４と図１５、及び／又は図１７と図１８、及び／又は図２２と図２３に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、操作者がシーンの区切れ目、また、代表画像の変更を、適切且つ簡単に行うことができるようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態におけるシステム制御部の構成を示すブロック図である。
【図３】本発明の実施の形態における動画区間の概念を示す図である。
【図４】本発明の実施の形態における動画分割情報のデータ構造の一例を示す図である。
【図５】本発明の実施の形態におけるＬｅｖｅｌ Ｉｎｄｅｘ情報のデータ形式の一例を示す図である。
【図６】本発明の実施の形態におけるＩｎｄｅｘ情報のデータ形式の一例を示す図である。
【図７】本発明の実施の形態におけるＴｈｕｍｂｎａｉｌ Ｉｎｆｏｒｍａｔｉｏｎ情報のデータ形式の一例を示す図である。
【図８】本発明の実施の形態における撮像装置で動画分割情報を取得し、格納する処理を示すフローチャートである。
【図９】本発明の実施の形態における代表画像表示処理手順を示すフローチャートである。
【図１０】本発明の実施の形態における動画区間の階層構成の一部を示す図である。
【図１１】本発明の実施の形態における代表画像表示状態の一例を示す図である。
【図１２】本発明の実施の形態における異なるレベルでの代表画像表示状態の一例を示す図である。
【図１３】本発明の実施の形態におけるシーン分割及びシーン結合・分割位置変更処理を指示するためのユーザインターフェイスの一例を示す図である。
【図１４】本発明の実施の形態におけるシーン分割処理動作を示すフローチャートである。
【図１５】本発明の実施の形態における動画分割処理動作を示すフローチャートである。
【図１６】本発明の実施の形態における映像分割後の動画区間の階層構成の一部を示す図である。
【図１７】本発明の実施の形態におけるシーン結合・分割位置変更処理動作を示すフローチャートである。
【図１８】本発明の実施の形態における動画結合処理動作を示すフローチャートである。
【図１９】本発明の実施の形態におけるシーン結合・分割位置変更に用いるユーザインターフェイスの一例を示す図である。
【図２０】本発明の実施の形態における映像結合後の動画区間の階層構成の一部を示す図である。
【図２１】本発明の実施の形態における分割位置変更に用いるユーザインターフェイスの一例を示す図である。
【図２２】本発明の実施の形態における代表画像変更処理動作を示すフローチャートである。
【図２３】本発明の実施の形態における代表画像変更動作を示すフローチャートである。
【図２４】本発明の実施の形態における代表画像変更に用いるユーザインターフェイスの一例を示す図である。
【図２５】本発明の実施の形態における代表画像変更指示後のユーザインターフェイスの一例を示す図である。
【図２６】本発明の実施の形態における代表画像変更に用いるユーザインターフェイスの一例を示す図である。
【図２７】代表画像表示におけるユーザインターフェイスの別の例を示す図である。
【図２８】代表画像表示におけるユーザインターフェイスの別の例を示す図である。
【符号の説明】
１００ デジタルビデオカメラ
１１ レンズ光学系
１２ 絞り
１３ 撮像素子
１４ サンプルホールド・ＡＧＣ回路
１５ Ａ／Ｄ変換部
１６ 映像信号処理部
１７ 映像分割管理部
１８ 表示装置
１９ レンズ位置検出部
２０ レンズ駆動部
２１ Ｘ方向回転検出部
２２ Ｙ方向回転検出部
２３ システム制御部
２４ オペレーションパネル部
２５ ワイド・キー
２６ テレ・キー
２７ ＲＥＣキー
３１ メニューキー
３２〜３５ カーソルキー
３６ 選択キー
３７ 再生キー
３８ 一時停止キー
２３１ ＣＰＵ
２３２ ＲＯＭ
２３３ ＲＡＭ
２３４ Ｉ／Ｏインターフェース
２３５ バス
【発明の属する技術分野】
本発明は、記憶媒体上に記録された動画像データを自動的にあるまとまりごとに分割し、また、その分割された各動画像データについて一つ又は複数の静止画を代表画像として一覧表示する動画記録再生に関するものである。
【０００２】
【従来の技術】
記憶媒体上に記録された動画像の内容をあるまとまりごとに分割し、その分割された映像において代表する静止画像（以下、「代表画像」と呼ぶ。）を対応づけて一覧表示することが行われている。このようにすることで、記憶された動画像の内容を素早く確認することができ、また、この分割された映像単位での編集作業を容易に行うことができる。
【０００３】
従来、動画像を分割する方法としては、例えば、映像が時間的に急激に変化する部分をシーンの切れ目として自動的に分割する方法がある。そして、分割された映像の代表画像を選択するには、分割された先頭／末尾フレームもしくは中間フレームを設定したり、カメラ動作により重要と思われる代表画像を推定して自動的に設定したりする。
【０００４】
しかしながら、これら自動的に映像を分割及び代表画像の設定を行う場合、必ずしも操作者にとって最適な分割点、及び代表画像になるとは限らない。そのため、自動的に分割されたシーンの切れ目及び代表画像を容易に変更できるようにする必要がある。
【０００５】
この分割点を変更する方法として、動画像を再生し、分割するシーン又は、代表画像として設定したい映像場面が再生された時に、操作者が一時停止を行い停止された画像を代表画像として設定する方法がある（従来方法１）。また、操作者が、変更したい代表画像を選択し、その代表画像の属するシーンチェンジの前後の映像を再生し、再生された映像の各フレーム画像の一覧表示から代表画像を設定する方法がある（従来方法２）（例えば、特許文献１参照）。
【０００６】
【特許文献１】
特開平０９−０９３５２７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、上記示した従来方法１では、分割するシーン又は、代表画像として所望するシーンまで巻き戻し、そのシーンを見つけて再生しなければならない。そして、分割または代表画像として設定したいシーンにおいて、操作者が適切に一時停止を行わなければならない。一時停止によりシーンを停止させる操作は、映像の前後を操作者が記憶しておく必要があり、また、瞬時に一時停止の操作を行う必要がある。結局は、何回か巻き戻し、再生、一時停止の作業を繰り返す場合が多い。
【０００８】
また、上記示した従来方法２では、映像を再生しフレーム画像を抽出し一覧表示するが、再生画像が長いと抽出されるフレーム数が多くなり、代表画像とする画像を探すのが面倒になる。また、代表画像の変更を行う度に再生を行う必要があると、変更数が多いとそれだけ時間もかかり面倒である。
【０００９】
本発明は上記問題点を鑑みてなされたものであり、操作者がシーンの区切れ目、また、代表画像の変更を、適切且つ簡単に行うことができるようにすることを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、動画像データを処理する本発明の信号処理において、所定条件に基づいて、動画像データを階層化して各動画区間に分割し、所定条件に基づいて、分割された各動画区間の代表画像を自動的に設定し、設定された代表画像を階層毎に表示し、表示された代表画像を選択することで、分割された動画区間を更に分割する再分割処理と、分割された少なくとも２つの動画区間を結合する結合処理と、分割された少なくとも２つの動画区間の分割位置を変更する分割位置変更処理と、設定された代表画像を変更する代表画像変更処理の内、少なくとも１つの処理を実行することを特徴とする。
【００１１】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１２】
＜装置構成及び動作＞
本実施の形態では、本発明の画像処理機能を搭載した、ビデオカメラなど、動画のデジタル撮影が可能な撮像装置を例にとって説明する。図１は、本実施の形態における撮像装置の一例として、撮像部と画像（静止画又は動画）及び音声等の記録再生部及び編集部が一体化したデジタルビデオカメラ１００の構成を示すブロック図である。
【００１３】
図１において、１１はズームレンズを含む被写体を結像させるためのレンズ光学系、１２は入射光量を調節する絞り、１３は入射した光を電気信号に変換する、例えばＣＣＤやＣＭＯＳなどからなる撮像素子、１４はサンプルホールドおよびゲイン調整を行うサンプルホールド・ＡＧＣ回路である。１５はアナログデジタル変換（Ａ／Ｄ変換）を行うＡ／Ｄ変換部、１６はＡ／Ｄ変換部１５からのデジタル信号を処理して映像信号を生成する映像信号処理部である。１７は撮影された動画を分割し、分割された動画の各映像を代表する静止画像である代表画像（又は、代表画像となる１フレーム。キーフレームと呼ぶ。）を選択する映像分割管理部である。なお、映像分割管理部１７は後述するように、映像を階層構造で管理する。
【００１４】
１８は、映像を再生したり、代表画像の一覧を表示するためなどに用いられる表示装置である。１９はレンズ光学系１１の各レンズの位置を検出するレンズ位置検出部、２０はレンズ光学系１１を駆動するレンズ駆動部である。２１はビデオカメラ１００の水平方向の回転検出を行うＸ方向回転検出部で、ジャイロセンサや加速度センサにより検出し、バンドパスフィルタなどの信号処理を行ったのちＡ／Ｄ変換を行い出力する。２２はビデオカメラ１００の垂直方向の回転検出を行うＹ方向回転検出部で、その構成はＸ方向回転検出部と同様である。なお、Ｘ及びＹ方向回転検出部２１，２２は、従来からビデオカメラの振動防止や手ぶれ補正を目的として搭載されている装置もあり、その場合は共用しても良い。
【００１５】
２３はビデオカメラ１００全体を制御するシステム制御部である。図２にシステム制御部２３の構成を示す。システム制御部２３は周知のＣＰＵ２３１、ＲＯＭ２３２、ＲＡＭ２３３、Ｉ／Ｏインターフェース２３４、バス２３５、および割込み信号線２３６を有する。ＲＯＭ２３２には、ＣＰＵ２３１によって実行される後述の動作を行う為のプログラム、テーブル値などが格納されている。
【００１６】
また、図１において、２４はズームや録画の開始終了等を操作するキーが配置されたオペレーションパネル部である。オペレーションパネル部２４には、例えば、ワイド（広角＝画像縮小）方向に動作させるワイド・キー２５、テレ（望遠＝画像拡大）方向に移動させるテレ・キー２６、録画の開始終了を指示するＲＥＣキー２７、シーン分割の変更及び代表画像の変更を指示するためのメニューキー３１、一覧表示された画像の選択カーソルを上左下右の画像に移動させるためのカーソルキー３２、３３、３４、３５、メニューの選択及び画像の選択等を行うための選択キー３６が配置される。ワイド・キー２５およびテレ・キー２６は、例えばシーソー型の連動したキーであり、どちらのキーが、どの程度の押し圧により押されているかを示す出力信号をシステム制御部２３に出力する。ＲＥＣキー２７はトルグ型で、録画中に押下すれば録画終了、非録画中に押下すれば録画開始を指示する。また、３７は動画を再生する再生キー、３８は動画を一時停止する一時停止キーである。
【００１７】
また、２８は、映像データをＭＰＥＧの形式に符号化するＭＰＥＧ ＣＯＤＥＣである。２９は記録部であり、記録媒体を駆動し、情報を記録するドライブなどで構成される。３０は記録媒体であり、例えば、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、ハードディスク、不揮発性メモリ、不揮発性メモリカードなどが用いられる。
【００１８】
次に上記構成を有するデジタルカメラ１００の動作について説明する。
【００１９】
レンズ光学系１１を介して入射した被写体からの光は、絞り１２によりその光量が調整され、撮像素子１３の受光面上に結像する。そして、撮像素子１３によって電気信号に変換された後、サンプルホールド・ＡＧＣ部１４を介してＡ／Ｄ変換部１５に入力してＡ／Ｄ変換され、映像信号処理部１６に入力する。
【００２０】
映像信号処理部１６では、入力信号に対して輝度および色成分毎にアパーチャ補正、ガンマ補正、ホワイトバランス補正、電子ズームなどの各種処理を施して映像信号を生成する。生成した映像信号はシステム制御部２３を経由して映像分割管理部１７に出力される。
【００２１】
また、Ｘ方向回転検出部２１及びＹ方向回転検出部２２で検出される信号から、システム制御部２３でパン（カメラの水平方向の回転操作）やチルト（カメラの垂直方向の回転操作）の情報を得ることができる。また、レンズ位置検出部１９により得られるレンズ光学系１１の各レンズの位置から、システム制御部２３でズームインやズームアウトの情報を得ることができる。これらパンやチルト、ズームイン、ズームアウト等の撮影環境情報と、オペレーションパネル２４からの操作情報は、映像分割管理部１７に出力される。
【００２２】
映像分割管理部１７では、入力された上記各情報に基づいて動画を区間に分割し（以下、「動画区間」と呼ぶ。）、動画区間の代表画像を選択し、更に後述する動画区間情報及び代表画像のサムネイル情報を付加してＭＰＥＧ ＣＯＤＥＣ２８に出力する。
【００２３】
ＭＰＥＧ ＣＯＤＥＣ２８では、入力された映像信号の符号・復号化を行う。このとき、ＭＰＥＧ ＣＯＤＥＣ２８は、映像分割管理部１７から入力される動画区間情報、サムネイル情報を符号化された映像信号と共に格納し、ＭＰＥＧ ＣＯＤＥＣ２８に接続された記録部２９に出力する。記録部２９では１ショット（ＲＥＣキー１７の押下により録画が開始されてから、次の押下により終了するまでの１回の撮影）ごとに記憶媒体３０に１つのファイルを作成する。当然のことながら、１ショットを複数のファイルとして保存しても、複数のショットを１つのファイルに保存してもよい。また、ファイルシステムによらない方法で記憶しても、記録したデジタル情報が読み出せるのであればよい。
【００２４】
システム制御部２３は、ＲＥＣキーの操作によって録画を開始、終了する。
【００２５】
また、システム制御部２３は、ワイド・キー２５およびテレ・キー２６の操作によって、レンズ駆動部２０を介してレンズ光学系１１の制御または映像信号処理部１６に対する電子ズームの制御を行う。この時、押し圧が大きいほど、ズーム倍率を高速に変化させる。ここで、レンズ光学系１１のズームレンズの位置を動かして撮像する画像を拡大する機能を光学ズームといい、レンズ光学系１１によらず電子的信号処理によって画像を垂直、水平方向に拡大する機能を電子ズームという。また、システム制御部２３は、レンズ位置検出部１９からのレンズ位置検出信号により、光学ズーム時に於けるズーム倍率を判断する。更にシステム制御部２３は、映像分割管理部１７の制御や、表示装置１８への表示処理をしたり、Ｘ方向回転検出部２１およびＹ方向回転検出部２２から出力される回転情報に基づいて、手ぶれ等に起因するノイズ信号成分を除去し、ユーザの操作によるパン及び／またはチルト情報を検出したり、更に検出したパン及び／またはチルト情報を映像分割管理処理１７へ出力する。その他、システム制御部２３は必要に応じてデジタルカメラ１００の各部を制御する。
【００２６】
次に、動画と共に動画区間情報やサムネイル情報などの付属情報を記録する方法について説明する。記録方法としては、フレーム単位の画像データ管理情報中の未使用領域などに格納する方法がある。具体的には、例えば、ＭＰＥＧ−２ストリームであれば、ピクチャヘッダのユーザ領域に格納する。また、撮影終了後に演算の結果生成された情報は、動画ファイルの末尾にフッタとして追加する方法もある。たとえば、ＭＰＥＧ−２トランスポートストリームであれば、プライベートエリアに付属情報を格納したＴＳパケットをファイルの末尾に追記すればよい。また、動画と付属情報を別のファイルにする方法もある。この場合は、動画と付属情報を対応づける為に、動画ファイル名から付属情報ファイル名との間で相互にお互いのファイル名が一意に求まるようにファイル名生成規則を設けるなど、参照情報を格納しハイパーリンクをはればよい。
【００２７】
＜動画区間、代表画像＞
次に、本実施の形態における動画区間の概念について図３を用いて説明する。動画は階層構造に分割されることとし、具体的な分割基準及びその方法については特に規定しないが、ここでは階層構造の一例を図３に示し、具体的に説明する。
【００２８】
図３において、レベル１は、日時により分割された動画区間、レベル２は、１ショット（録画操作を開始してから終了するまで）毎に分割された動画区間を表す。レベル３は、サブショット（所定基準に従って分割された動画区間であり、図３では、パン、チルト、ズームイン、ズームアウトの開始前及び終了後を区切りとみなす）により分割された動画区間を表す。レベル４は、フレームにより分割された動画区間を表す。具体的には、レベル１の１は、１９９９年４月１２日に撮影された映像、２は１９９９年４月１３日に撮影された映像を表し、例えば動画区間１はレベル２において３ショットの動画区間１−１〜１−３に分割される。更に、例えばレベル２の１−１の動画区間は、レベル３において４つの動画区間１−１−１〜１−１−４に分割され、更に、例えばレベル３の１−１−３のパンの動画区間は、レベル４では３フレームに分割される。このように、最終レベルは１フレームにより構成された区間となる。
【００２９】
次に、本実施の形態における代表画像は、後述するように属性情報に合わせて代表画像が切り替えられるようになっており、任意の位置のフレーム画像を代表画像に設定することが可能であるが、初めに自動的に抽出される代表画像は、各動画区間の先頭フレームの画像とする。なお、本発明は先頭フレームの画像に限るものではなく、末尾フレームもしくは中間フレームの画像を代表画像として自動抽出しても構わないし、映像内容を分析し、分析結果を基に選んだフレームの画像を代表画像として抽出してもよく、初めに代表画像を選択する方法について特に規定しない。
【００３０】
＜動画区間情報の詳細構成＞
次に、動画区間情報について図４〜図７を参照して説明する。ここでは説明を分かりやすくするために、動画が上述した図３の一例で示すように日付、ショット、操作情報及び撮影環境情報などの情報で階層的に区分されているものとする。なお、各図に示したデータ構造は１つのデータ要素の構造であり、複数のデータがある場合は各要素にアクセス可能なリストを構成する。また、本実施の形態ではビット列で表現しているが、システム制御部２３が認識可能であればテキスト形式や独自のＤＴＤ（Ｄｏｃｕｍｅｎｔ Ｔｙｐｅ Ｄｅｆｉｎｉｔｉｏｎ）を定義し、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式等で表現してももちろん構わない。また、ＭＰＥＧ７に従った形式で格納する場合は、Ｓｅｇｍｅｎｔ ＤＳに格納すれば良い。
【００３１】
まず、本実施の形態における動画区間情報の構造例を図４により説明する。動画区間情報は、レベルインデックス部、インデックス部、サムネイル情報部の３つの部分により構成される。
【００３２】
レベルインデックス部は、映像を階層的に分割したときのそれぞれのレベル１から最終レベル−１までの分割個数の合計分、図５に示すＬｅｖｅｌ Ｉｎｄｅｘ情報が作成される。このＬｅｖｅｌ Ｉｎｄｅｘ情報は、階層化したときの各レベルにおけるサムネイル情報のインデックス情報を指し示しており、Ｌｅｖｅｌ Ｉｎｄｅｘ情報は、
Ｌｅｖｅｌ Ｉｎｄｅｘ（０）＝（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＩｎｄｅｘＣｏｕｎｔ＝２，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル１のインデックスへのアドレス）
Ｌｅｖｅｌ Ｉｎｄｅｘ（１）＝（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝１，ＩｎｄｅｘＣｏｕｎｔ＝３，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル２の１−１のインデックスへのアドレス）
Ｌｅｖｅｌ Ｉｎｄｅｘ（２）＝（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝２，ＩｎｄｅｘＣｏｕｎｔ＝２，ＩｎｄｅｘＯｆｆｓｅｔ＝レベル２の２−１のインデックスへのアドレス）
【００３３】
等のようになる。Ｌｅｖｅｌ Ｉｎｄｅｘ情報は、図５に示すようにＬｅｖｅｌ、ＰａｒｅｎｔＩＤ、ＩｎｄｅｘＣｏｕｎｔ、ＩｎｄｅｘＯｆｆｓｅｔの情報から成り立つ。Ｌｅｖｅｌ情報は、階層レベルを示す。ＰａｒｅｎｔＩＤ情報は、上位レベルのどの映像区間か識別する情報をあらわす。例えば、レベル２の１−１〜１−３のＬｅｖｅｌ Ｉｎｄｅｘ情報のＰａｒｅｎｔＩＤはレベル１の１となる。ＩｎｄｅｘＣｏｕｎｔ情報は、上位レベルの動画区間におけるサムネイル情報の個数を示す。例えば、レベル１の１を構成するレベル２の動画区間は３であるため、ＩｎｄｅｘＣｏｕｎｔ情報は３になる。また、ＩｎｄｅｘＯｆｆｓｅｔ情報は、Ｌｅｖｅｌ Ｉｎｄｅｘ情報に対応付けられているサムネイル情報へのインデックスが格納されているＩｎｄｅｘ情報へのアドレスが格納されている。
図４のインデックス部は、各階層の分割個数の合計数分、図６に示すサムネイル情報へのＩｎｄｅｘ情報が格納される。例えば、Ｌｅｖｅｌ Ｉｎｄｅｘ（０）に対するＩｎｄｅｘ情報としては、レベル１の１及び２に対応する２つのＩｎｄｅｘ情報が存在し、レベル１の１とレベル１の２のサムネイル情報へのアドレスが格納されている。
【００３４】
サムネイル情報部には、分割された各動画区間の代表画像を示すサムネイル情報が格納されている。図７は、１つのサムネイル情報のデータ構造例を示す図である。Ｓｔａｒｔ ＰｏｉｎｔとＥｎｄ Ｐｏｉｎｔは、それぞれ、当該サムネイル情報が代表する動画区間の開始点と終了点である。Ｓｔａｒｔ Ｐｏｉｎｔ及びＥｎｄ Ｐｏｉｎｔは動画の区間を特定できればその形態は特に限定されるものではないが、例えば、タイムコードまたはフレームＩＤなどで記述するのが好ましい。Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤには、サムネイルの作成時の情報毎に定められたＩＤであり、例えば以下のように定義される。
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝１：区間の先頭のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝２：区間の中間のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝３：区間の終了のフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝４：区間中で動きの激しいフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝５：区間中で動きの穏やかなフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝６：区間中でオブジェクトが出現したフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝７：区間中でオブジェクトが消失フレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝８：区間中で画質のよいフレーム
Ｔｈｕｍｂｎａｉｌ Ｔｙｐｅ ＩＤ＝９：区間中にない画像
上記例は、サムネイルが各動画区間のどのようなフレームから作成されたか、そのタイプごとにＩＤを規定したものである。
【００３５】
また、Ｔｈｕｍｂｎａｉｌ Ｏｆｆｓｅｔには、動画像のサムネイルへのオフセットが記述される。
【００３６】
＜動画分割情報の取得＞
次に、上記構成を有する動画分割情報を取得し、格納する処理について、図８のフローチャートを用いて説明する。
【００３７】
まず、システムの電源をＯＮにするとステップＳ１０１に進み、システムの初期化を行う。初期化後ステップＳ１０２に進み、オペレーションパネルからの入力を待つ。何らかの入力があった場合、ステップＳ１０３に進み、入力がＲＥＣボタン２７の押下であった場合はステップＳ１０４に進み撮影処理を行う。そして、ステップＳ１０５にて撮影が終了したかチェックを行い、撮影が終了するまでステップＳ１０４を繰り返し行う。撮影が終了するのは、ＲＥＣボタンが押下された場合、記録メディアの容量が一杯になった場合、電源が供給できなくなりそうな場合などの所定条件の内、いずれかの条件が満たされた時である。撮影が終了するとステップＳ１０６に進み、映像分割管理部１７により上述したようにして動画区間分割処理を行う。次に、ステップＳ１０７において分割した各動画区間の代表画像抽出処理を行い、ステップＳ１０２に戻り、次の入力を待つ。
【００３８】
一方、ステップＳ１０３でＲＥＣボタン２７以外の操作を検出した場合には、ステップＳ１０８で対応する処理を行ってからステップＳ１０２に戻り、次の入力を待つ。なお、ステップＳ１０８で行う処理は、後述する代表画像変更の処理も含む。
また、割込み信号３６によって、割り込みが発生した場合には、本処理を中断し必要な割り込み処理を行う。
【００３９】
＜代表画像の表示＞
後述するシーン結合及びシーン分割処理が起動されるときに表示される代表画像の表示処理について、図９のフローチャートを用いて説明する。
【００４０】
始めに、代表画像を表示する階層レベル及び映像情報を取得する（ステップＳ２０１）。映像情報とは、同階層レベルにおける親映像を識別する情報である。レベル１においては、映像情報は０（ＴＯＰを表す）のみである。レベル２においては、映像情報は、レベル１を構成する映像分割数分存在する。ステップＳ２０２では、ステップＳ２０１で取得した階層レベルとＬｅｖｅｌ Ｉｎｄｅｘ情報のＬｅｖｅｌを比較し、一致するＬｅｖｅｌ Ｉｎｄｅｘ情報を取得する。一致したＬｅｖｅｌ Ｉｎｄｅｘ情報のＩｎｄｅｘＯｆｆｓｅｔ情報及びＩｎｄｅｘＣｏｕｎｔ情報より、ＩｎｄｅｘＣｏｕｎｔ情報に示される数のＩｎｄｅｘ情報の取得を行う。次に、ステップＳ２０３において、ステップＳ２０２で取得したＩｎｄｅｘ情報のＴｈｕｍｂｎａｉｌＩｎｄｅｘＯｆｆｓｅｔ情報より、全てのサムネイル情報の取得を行う。ステップＳ２０４では、取得したサムネイル情報のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ情報よりサムネイル画像を取得し、取得したサムネイル画像を表示装置１８に表示する。
【００４１】
図１０〜図１２を例に、代表画像を表示する処理を更に説明する。代表画像の表示処理をコールする時には、本実施の形態では初期値として表示させる階層としてレベル１、映像番号として０をセットしておく。なお、初期値は任意に設定しておくことが可能である。この場合、ステップＳ２０１では、表示する階層レベル及び映像番号としてそれぞれ１、０を取得する。そして、ステップＳ２０２で対応するＬｅｖｅｌ Ｉｎｄｅｘ情報を検索するが、Ｌｅｖｅｌ Ｉｎｄｅｘ情報におけるＬｅｖｅｌが１であり、ＰａｒｅｎｔＩＤが０であるＬｅｖｅｌ Ｉｎｄｅｘ情報を取得する。そして、取得したＬｅｖｅｌ Ｉｎｄｅｘ情報のＩｎｄｅｘＯｆｆｓｅｔ情報及びＩｎｄｅｘＣｏｕｔ情報から、図１０に示す例では、Ａ１〜Ｉ１に対応するＩｎｄｅｘ情報が取得される。続けて、ステップＳ２０３でこのＩｎｄｅｘ情報のＴｈｕｍｂｎａｉｌＩｎｄｅｘＯｆｆｓｅｔ情報から９つのサムネイル情報を取得し、ステップＳ２０４で、サムネイル情報のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ情報からサムネイル画像を取得して、サムネイル画像を図１１（ａ）又は図１１（ｂ）に示すように表示させる。
【００４２】
次に、図１１（ａ）に示すように表示されている状態から、下位レベルの代表画像を表示する場合について説明する。
【００４３】
カーソルキー３２〜３５を操作して、選択カーソル４１（または、図１１（ｂ）の選択カーソル４２）により所望の代表画像を選択する。例えば、代表画像Ｂ１が選択されたとすると、Ｂ１の動画区間を構成する下位レベルの代表画像を表示する。このとき、ステップＳ２０１では階層レベル２と映像番号Ｂ１を取得する。これにより、ステップＳ２０２でＬｅｖｅｌ Ｉｎｄｅｘ情報として、図１０に示す階層構成の場合、Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１，ＩｎｄｅｘＣｏｕｎｔ＝９，ＩｎｄｅｘＯｆｆｓｅｔ＝サムネイル情報Ｂ１−１へのインデックスへのアドレスが取得される。そして、選択画像Ｂ１−１〜Ｂ１−９のサムネイル情報を取得し（ステップＳ２０３）、サムネイル画像が図１２（ａ）に示すように表示される（ステップＳ２０４）。なお、図１２（ａ）に示す例では、下位レベルに移動したことを示すために、一覧表示枠を上位レベルの一覧表示枠より太枠で表示しているが、例えば、一覧表示枠の色を変えたり、画像表示の妨げにならない位置にレベルを表示するなど、この他の方法により示すようにしてもよい。
【００４４】
図１２（ａ）に示すように表示されている状態から、更に下位レベルの代表画像を表示する場合、操作者が例えば代表画像Ｂ１−４を選択すると、ステップＳ２０１では階層レベル３と映像番号Ｂ１−４が渡される。これにより、ステップＳ２０２でＬｅｖｅｌ Ｉｎｄｅｘ情報として、図１０に示す階層構成の場合、Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４，ＩｎｄｅｘＣｏｕｎｔ＝８，ＩｎｄｅｘＯｆｆｓｅｔ＝サムネイル情報Ｂ１−４へのＩｎｄｅｘ情報へのアドレスが取得される。そして、選択画像Ｂ１−４−１〜Ｂ１−４−８のサムネイル情報を取得し（ステップＳ２０３）、サムネイル画像が図１２（ｂ）に示すように表示される（ステップＳ２０４）。なお、図１２（ｂ）に示す例では、下位レベルに移動したことを示すために、一覧表示枠を上位レベルの一覧表示枠より更に太枠で表示しているが、例えば、一覧表示枠の色を変えたり、画像表示の妨げにならない位置にレベルを表示するなど、この他の方法により示すようにしてもよい。以下、レベルが更に下がるにつれて、枠を徐々に太くする。
【００４５】
逆に、図１２（ｂ）に示すように表示されている状態から上位レベルの代表画像を表示する場合、選択画像Ｂ１−４−１〜Ｂ１−４−８のサムネイル画像を包含する一覧表示枠を選択し、選択キー３６を押下すると、ステップＳ２０１において、１階層上のレベルである階層レベル２と、映像番号Ｂ１を取得する。以下、階層レベル２及び映像番号Ｂ１を基にした上記と同様の処理を行うことで、図１２（ａ）に示す代表画像が表示される。
【００４６】
図１２（ａ）に示す状態から更に上位レベルの代表画像を表示する場合も同様にして選択画像Ｂ１−１〜Ｂ１−９のサムネイル画像を包含する一覧表示枠を選択し、選択キー３６を押下すると、ステップＳ２０１において、１階層上のレベルである階層レベル１と、映像番号０を取得する。以下、階層レベル１及び映像情報０を基にした上記と同様の処理を行うことで、図１１（ａ）に示す代表画像が表示される。
【００４７】
以下の説明において、代表画像の表示処理は、上記説明したようにして行われる。
【００４８】
＜シーン分割＞
撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、図１３に示すように、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。この表示されたメニューにおいて、カーソルキー３２及び３４を使用することにより、メニューの中から操作内容を選択する。操作内容は、選択キー３６を操作者が押下することにより設定される。例えば、図１３においてシーン分割が選択されている状態で、選択キー３６が押下された場合、表示されている代表画像のレベルにおけるシーン分割処理が開始される。なお、本実施の形態においては、メニューを表示させることによりシーン分割処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予めシーン分割開始を行うように設定しておいても構わない。
【００４９】
以下、シーン分割処理について、図１４、図１５のフローチャートに沿って説明する。
【００５０】
図１３に示すメニューにおいて「シーン分割」が選択されると、表示されている代表画像の動画区間におけるシーン分割処理が開始される。ステップＳ３０１では、代表画像の一覧において図１１（ａ）又は図１１（ｂ）に示すように選択画像を囲む選択カーソル４１又は４２をカーソルキー３２〜３５で移動させ、代表画像を選択することにより、シーン分割を行う所望の動画区間を選択する。なお、代表画像を選択する時に、図１１（ｂ）に示すようなカーソルを用いてもよい。また、シーン分割を行う動画区間（代表画像）の選択は、メニューキーを押す前の一覧表示中に行っておいてもよい。
【００５１】
分割を行う動画区間を取得すると、ステップＳ３０２において、指定された動画区間を構成する下位レベルの代表画像を表示する。例えば、図１１（ａ）に示すように代表画像Ｂ１が選択された場合、図１０（ａ）に示すように代表画像Ｂ１はレベル１の画像であるので、対応するレベル２の代表画像Ｂ１−１〜Ｂ１−９が図１２（ａ）に示すように表示される。
【００５２】
ステップＳ３０３では、何らかの入力があるまで待ち、なんらかの入力があった場合、ステップＳ３０４において、入力が分割動画区間の代表画像（以下、「分割代表画像」と呼ぶ。）の選択であるかどうかを判断する。
【００５３】
分割代表画像の選択でない場合、ステップＳ３０６に進み、下位レベル又は上位レベルの現在表示されている代表画像と異なるレベルの代表画像の表示指示が行われたかどうかを判定する。指示された場合、ステップＳ３０７において、指示されたレベルの代表画像の表示処理を行う。例えば、図１２（ａ）に示すレベル２の代表画像の表示画面において代表画像Ｂ１−４−５が選択された場合、図１０（ａ）に示すように対応するレベル３の代表画像Ｂ１−４−１〜Ｂ１−４−８が図１２（ｂ）に示すように表示される。逆に、例えば図１２（ｂ）に示すレベル３の代表画像の表示画面において、全代表画像を含む一覧表示枠が選択された場合、図１２（ａ）に示すように表示される。
【００５４】
ステップＳ３０６で上位又は下位レベルの代表画像の表示指示ではないと判断された場合、ステップＳ３０９に進み、対応する処理を行ってステップＳ３０３に戻り、次の入力を待つ。
【００５５】
一方、ステップＳ３０４において分割代表画像の選択であると判断された場合、ステップＳ３０５に進んで動画分割処理を行う。ここで行われる動画分割処理について図１５のフローチャートを参照して詳細に説明する。
【００５６】
ステップＳ４０１において、分割される動画区間のサムネイル情報を変更する。例えば、代表画像Ｂ１に代表される動画区間をＢ１−４−１からＢ１−１−４までの動画区間と、Ｂ１−４−５からＢ−１−４−８までの動画区間とに分割する場合、図１２（ｂ）の画面においてＢ１−４−５が分割代表画像として選択される。この場合、代表画像Ｂ１（分割後、図１６のＢ１＿１）のサムネイル情報のＥｎｄＰｏｉｎｔ情報と、代表画像Ｂ１−４（分割後、図１６のＢ１−４＿１）のサムネイル情報のＥｎｄＰｏｉｎｔ情報がＢ１−４−４のサムネイル情報のＥｎｄＰｏｉｎｔ情報に変更される。
【００５７】
次に、ステップＳ４０２において、映像分割を行ったことにより追加される映像区間のサムネイル情報の追加を行う。ここでは、レベル１に追加されるサムネイル情報（図１６のＢ１＿２）（ＳｔａｒｔＰｏｉｎｔ＝Ｂ１−４−５のサムネイル情報のＳｔａｒｔＰｏｉｎｔ，ＥｎｄＰｏｉｎｔ＝Ｂ１サムネイル情報のＥｎｄＰｏｉｎｔ，Ｔｈｕｍｂｎａｉｌ ＴｙｐｅＩＤ＝１，ＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ＝Ｂ１−４−５のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ）、レベル２に追加されるサムネイル情報（図１６Ｂ１−４＿２）の（ＳｔａｒｔＰｏｉｎｔ＝Ｂ１−４−５のサムネイル情報のＳｔａｒｔＰｏｉｎｔ，ＥｎｄＰｏｉｎｔ＝Ｂ１−４のサムネイル情報のＥｎｄＰｏｉｎｔ，Ｔｈｕｍｂｎａｉｌ ＴｙｐｅＩＤ＝１，ＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ＝Ｂ１−４−５のＴｈｕｍｂｎａｉｌＯｆｆｓｅｔ）が追加される。
【００５８】
そして、ステップＳ４０３において、Ｉｎｄｅｘ情報の変更または追加を行う。具体的には、代表画像Ｂ１＿１、Ｂ１＿２、Ｂ１−４＿１、Ｂ１−４＿２のＩｎｄｅｘ情報の変更・追加が行われる。また、これらに伴いステップＳ４０４において、Ｌｅｖｅｌ Ｉｎｄｅｘ情報の変更を行う。ここではＬｅｖｅｌ Ｉｎｄｅｘ情報は以下のように変更される。
【００５９】
まず、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＬｅｖｅｌＣｏｕｎｔ＝９）のＬｅｖｅｌ Ｉｎｄｅｘ情報が、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＬｅｖｅｌＣｏｕｎｔ＝１０，ＬｅｖｅｌＯｆｆｓｅｔ＝Ａ１サムネイル情報へのインデックスのアドレス）に変更される。また、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１）のＬｅｖｅｌ Ｉｎｄｅｘ情報は、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１＿１，ＬｅｖｅｌＣｏｕｎｔ＝４）に変更される。そして、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１＿２，ＬｅｖｅｌＣｏｕｎｔ＝６，ＩｎｄｅｘＯｆｆｓｅｔ＝Ｂ１−４＿１のサムネイル情報を示すインデックスのオフセット）が追加される。また、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４）のＬｅｖｅｌ Ｉｎｄｅｘ情報は、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１−４＿１，ＬｅｖｅｌＣｏｕｎｔ＝４）に変更される。そして、（Ｌｅｖｅｌ＝３，ＰａｒｅｎｔＩＤ＝Ｂ１＿４＿２，ＬｅｖｅｌＣｏｕｎｔ＝４，ＩｎｄｅｘＯｆｆｓｅｔ＝Ｂ１−４＿２のサムネイル情報を示すインデックスのオフセット）が追加される。
【００６０】
上記処理を終了すると図１４のステップＳ３０８に進み、分割後の代表画像の一覧表示を行う。本実施の形態においては、代表画像は、動画区間の先頭を自動的に設定するため、分割前の動画区間の先頭フレームに分割後の先頭フレームが代表画像が加わることになる。上記のように例えば、図１２（ｂ）の代表画像Ｂ１−４−５で分割すると選択された場合、レベル１の代表画像の一覧表示は、図１２（ｃ）に示すように変更される。
【００６１】
以上の動作によりシーン分割を終了する。
【００６２】
＜シーン結合・分割位置変更＞
上述したように、撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、図１３に示すように、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。ここで、カーソルキー３２及び３４を用いてシーン結合・分割位置変更を選択し、選択キー３６を操作者が押下すること、シーン結合・分割位置変更処理が開始される。なお、本実施の形態においては、メニューを表示させることによりシーン結合・分割位置変更処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予めシーン結合・分割位置変更開始を行うように設定しておいても構わない。
【００６３】
以下、シーン結合・分割位置変更処理について、図１７、図１８のフローチャートに沿って説明する。
【００６４】
図１３に示すメニューにおいて「シーン結合・分割位置変更」が選択されると、処理が開始され、例えば図１９に示すような選択カーソル４３が表示される。ステップＳ５０１では、代表画像の一覧において選択カーソル４３をカーソルキー３２〜３５で移動させ、選択キー３６を押下して代表画像を選択することにより、シーン結合・分割位置変更を行う所望の動画区間を選択する。選択には上記以外に、例えば、開始画像と終了画像を選択させて取得してもよく、また、選択をメニューキーを押す前の一覧表示中に行えるようにしてもよく、本発明は選択方法に限定されるものではない。
【００６５】
ステップＳ５０１でシーン結合又は分割位置の変更を行う動画区間が設定されると、ステップＳ５０２において、現時点でのサムネイル情報を保存する。次にステップＳ５０３に進み、指定された動画区間の結合処理を行う。
【００６６】
ここで、ステップＳ５０３で行われる結合処理について図１８を参照して説明する。
【００６７】
まず、ステップＳ６０１において、動画区間が結合される映像区間のサムネイル情報を変更する。次に、ステップＳ６０２において、映像結合を行ったことにより削除される映像区間のサムネイル情報の削除を行う。具体的には、ステップＳ６０１で図１９に示す代表画像Ａ１及びＢ１の動画区間が選択され、結合する場合、代表画像Ａ１のサムネイル情報のＥｎｄＰｏｉｎｔが代表画像Ｂ１のサムネイル情報のＥｎｄＰｏｉｎｔとなるため、ステップＳ６０２では不要となった代表画像Ｂ１のサムネイル情報を削除する。
【００６８】
そして、ステップＳ６０３において、インデックス情報の変更または削除を行う。また、これらに伴いステップＳ６０４において、Ｌｅｖｅｌ Ｉｎｄｅｘ情報の変更・削除を行う。具体的には、図１０に示す階層構成の場合、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０）は、（Ｌｅｖｅｌ＝１，ＰａｒｅｎｔＩＤ＝０，ＩｎｄｅｘＣｏｕｎｔ＝８，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１のサムネイル情報のインデックスのアドレス）に変更される。また、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ａ１）は、（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ａ１，ＩｎｄｅｘＣｏｕｎｔ＝１２，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１のサムネイル情報のインデックスのアドレス）に変更される。また、Ｌｅｖｅｌ Ｉｎｄｅｘ情報（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝Ｂ１）は削除される。これに伴い、Ｂ１のインデックス情報は削除され、Ａ１のインデックス情報にＢ１−１〜Ｂ１−９のインデックス情報が追加され、代表画像Ａ１の動作区間を構成するレベル２の代表画像はＡ１−１〜Ｂ１−９までとなる。この結合結果、図１０（ａ）、（ｂ）に示す階層構成は、図２０に示すように変更される。
【００６９】
このようにして結合処理を終了すると、図１７の処理に戻ってステップＳ５０４に進む。
【００７０】
ステップＳ５０４では、指定された結合後の動画区間についてステップＳ５０１で表示していた一覧表示よりも下位レベルで代表画像を一覧表示する。このステップＳ５０４の処理は、Ｌｅｖｅｌ＝２、ＰａｒｅｎｔＩＤ＝Ａ１として表示を行うが、この時のＬｅｖｅｌ Ｉｎｄｅｘ情報は（Ｌｅｖｅｌ＝２，ＰａｒｅｎｔＩＤ＝１，ＩｎｄｅｘＣｏｕｎｔ＝１２，ＩｎｄｅｘＯｆｆｓｅｔ＝Ａ１−１のサムネイルＩｎｄｅｘ情報のオフセット）である。図２０に示すように階層構成が変更されているので、この処理により、図２１（ａ）に示すように代表画像Ａ１−１〜Ｂ１−９が表示される。
【００７１】
ステップＳ５０５において、図２１（ａ）に示すような下位レベルの代表画像表示したまま、操作者からの入力を待つ。この状態でなんらかの入力がなされると、ステップＳ５０６においてシーン分割指示であるかどうかを判断する。このシーン分割指示は、メニューキー３１を押下してシーン分割メニューを表示させ、シーン分割を選択することにより行うことができる。シーン分割指示でない場合、ステップＳ５０７において、結合決定指示が行われたかどうか判断する。結合決定指示は、例えば、選択キー３６を押下することにより行うことが出きる。結合決定指示が入力された場合、ステップＳ５１２においてステップＳ５０１で表示されていたレベルでの代表画像の表示を行って（ここでは、図１９の代表画像Ｂ１が削除された表示となる）、シーン結合・分割位置変更処理を終了する。
【００７２】
一方、ステップＳ５０７において、結合決定指示でないと判断された場合、ステップＳ５０８において結合処理のキャンセル指示が行われたかどうか判断する。ステップＳ５０８においてキャンセル指示が行われた場合、ステップＳ５１１において、ステップＳ５０２で保存しておいた結合前のサムネイル情報へ戻し、ステップＳ５１２でステップＳ５０１で表示されていたレベルの代表画像の表示を図１９で示すように行い、シーン結合・分割位置変更処理を終了する。
【００７３】
また、ステップＳ５０８で結合処理のキャンセル指示でないと判断された場合、ステップＳ５１３で対応する処理を行ってステップＳ５０５に戻り、入力待ち状態に戻る。
【００７４】
一方、ステップＳ５０６においてシーン分割指示であると判断されると、ステップＳ５０９で、元の代表画像Ｂ１の動画区間を含む、結合された代表画像Ａ１の動画区間の分割を行う。ここで行われる処理は、図１４及び図１５を参照して説明した動作と基本的に同じであるが、図１４のステップＳ３０１、Ｓ３０２に対応する動作は、この時点では終了しているため、ステップＳ３０４以下に対応する処理を行うことになる。なお、ここではこの処理の説明を省略する。
【００７５】
具体的に説明すると、図２１（ａ）に示すように代表画像が表示されている状態において、例えば、図２１（ｂ）に示すように、代表画像Ｂ１−３を分割代表画像として選択した場合、図１５で説明した処理の結果、代表画像Ａ１−１〜Ｂ１−２までの動画区間と、代表画像Ｂ１−３〜Ｂ１−９までの動画区間に分割され、レベル１の代表画像として、図２１（ｃ）に示すような代表画像が表示される。このように図１７のステップＳ５０９の処理により、実質的には、代表画像Ａ１及びＢ１の動画区間の分割位置が変更されることになる。
【００７６】
＜代表画像変更＞
次に、代表画像変更処理について説明する。
【００７７】
上述したように、撮影内容を示す代表画像の一覧が表示されているときに、メニューキー３１を操作者が押下すると、シーン分割、シーン結合・分割位置変更、及び代表画像変更のメニューが表示される。ここで、カーソルキー３２及び３４を用いて代表画像変更を選択し、選択キー３６を操作者が押下すると、表示されている代表画像の動画区間における代表画像変更処理が開始される。なお、本実施の形態においては、メニューを表示させることにより代表画像変更処理が行われるが、開始操作についてはこれに限るものではなく、例えば、特定キーに予め代表画像変更開始を行うように設定しておいても構わない。
【００７８】
以下、代表画像変更処理について、図２２、図２３のフローチャートに沿って説明する。
【００７９】
図１３に示すメニューにおいて「代表画像変更」が選択されると、表示されている代表画像の動画区間における代表画像変更処理が開始される。ステップＳ７０１では、代表画像の一覧において図２４に示すように選択画像を囲む選択カーソル４１をカーソルキー３２〜３５で移動させ、代表画像を選択することにより、代表画像変更を行う所望の動画区間を選択する。なお、図２４は図１１（ａ）と実質的に同じであるが、後述する説明で代表画像変更処理後、代表画像が変わったことが分かるように、図１０に示す階層構造を有する場合のレベル１の代表画像に対応するレベル３の代表画像の番号を括弧内に記している。また、代表画像変更を行う動画区間（代表画像）の選択は、メニューキー３１を押す前の一覧表示中に行っておいてもよく、代表画像変更を行う動画区間は、複数の動画区間から構成されてもよい。その場合、複数の代表画像を、例えば、開始画像と終了画像を選択することにより取得してもよい。
【００８０】
ステップＳ７０１では、代表画像が選択されると、図２５に示すように、下位レベル代表画像表示または動画再生を指示するメニューが表示される。ここで下位レベル代表画像表示をカーソルキー３２〜３５及び選択キー３６で選択すると、ステップＳ７０８に進み、下位の画像が表示される。一方、メニューの動画再生が選択されるか、又は再生キー３７が押下されると、ステップＳ７０２において指定された動画区間の再生を行う。具体的には、図２４の代表画像Ｂ１が選択されている場合、代表画像Ｂ１のサムネイル情報を取得し、代表画像Ｂ１のＳｔａｒｔＰｏｉｎｔ情報及びＥｎｄＰｏｉｎｔ情報を元にして動画の再生を行う。
【００８１】
そして、ステップＳ７０３で、操作者が代表画像として設定しようとするフレームが再生された時点で一時停止キー３８を押下するか、または指定された動画区間の再生が終了すると、ステップＳ７０４に進んで再生を停止する。
【００８２】
次に、ステップＳ７０５では、停止したフレーム画像の位置を取得する。例えば、一時停止キー３８が押され、停止した時の画像が画像Ｂ１−１−５であった場合、レベル３、カレント映像情報＝Ｂ１−１−５、映像番号＝Ｂ−１を取得する。ステップＳ７０６では、取得した階層レベル、カレント映像情報及び映像番号に基づいて代表画像を一覧表示する。この一覧表示においては、表示装置の画面に、再生位置のフレームを中心として前後のフレームが表示される。停止した時の画像が画像Ｂ１−１−５であった場合、図２６（ａ）に示すように代表画像Ｂ１−１−５を中心にしてレベル３のその前後のフレーム画像が表示される。
【００８３】
なお、図２６（ａ）に示すように、再生停止した時のフレーム画像を表すために、代表画像Ｂ１−１−５が選択された状態（選択カーソルで囲まれた状態）で表示されている。また、変更前の代表画像として設定されているフレーム画像を示すために、代表画像Ｂ１−１−１に識別マーク５１が表示される。また、表示する画像数が多くて１画面に表示しきれない場合は、次画面への表示コマンド若しくはスクロールなどにより表示を行う。
【００８４】
ここで操作者は、代表画像Ｂ１に対応する動画期間の代表画像をＢ１−１−５に変更するかどうかを判断する。その結果、上位レベルを表示する指示を行った場合（ステップＳ７０７でＹＥＳ）、上位レベルの情報を取得し、ステップＳ７１０で代表画像一覧表示を行う。図２６（ａ）の例では、レベル２（＝３−１）、カレント映像情報＝Ｂ１−１、映像番号＝Ｂ１を取得し、図２６（ｂ）示すようなレベル２の代表画像が表示され、ステップＳ７０２に戻る。
【００８５】
また、更に下位レベルの画像を表示する場合（ステップＳ７０７でＮＯ、ステップＳ７０８でＹＥＳ）、下位レベルの情報を取得し、ステップＳ７１１で代表画像一覧表示を行う。この処理は、例えばステップＳ７０３で再生停止した画像のレベルが２であり、図２６（ｂ）示すようなレベル２の代表画像が表示されている場合や、先にステップＳ７１０の処理がなされている場合に可能である。
【００８６】
また、ステップＳ７０６で表示された代表画像から、カーソル４１をカーソルキー３２〜３５で移動させ、選択キー３６を押下すると、ステップＳ７０９において代表画像決定が入力されたと判断し、ステップＳ７１２に進んで、代表画像決定処理を行う。
【００８７】
ここでステップＳ７１２で行われる代表画像決定処理について、図２３のフローチャートを用いて説明する。
【００８８】
ステップＳ８０１において、代表画像決定入力が行われた表示画面における選択画像におけるサムネイル情報の取得を行う。ステップＳ８０２において、変更動画区間のサムネイル情報の変更を行う。具体的には、例えば図２６（ａ）に示すように画像Ｂ１−１−５が代表画像と決定された場合、ステップＳ８０２において、動画区間Ｂ１のサムネイル情報のＴｈｕｍｎａｉｌＯｆｆｓｅｔ情報にＢ１−１−５のサムネイル情報を代入する。ＴｈｕｍｂｎａｉｌＴｙｐｅＩＤ情報も合わせて変更する。
【００８９】
そして、ステップＳ８０３において、変更する動画区間の下位レベルのサムネイル情報に対しても連動して変更を行うか判断する。具体的には、画像Ｂ１−１−５が選択された場合、代表画像Ｂ１−１に対応する動画区間の代表画像をＢ−１−１からＢ１−１−５に変更するかどうかを判断する。連動して変更すると判断された場合、ステップＳ８０４において、新規代表画像として設定されたフレーム画像を含む動画区間を取得しそのサムネイル情報を修正する。具体的には、代表画像Ｂ１−１に対応する動画区間を取得し、代表画像Ｂ１−１のサムネイル情報のＴｈｕｍｂｎｉｌＯｆｆｓｅｔ情報にＢ１−１−５のサムネイル情報を代入する。また、ＴｈｕｍｂｎａｉＴｙｐｅＩＤ情報も合わせて変更する。
【００９０】
ステップＳ８０５において、変更された動画区間の代表画像を表示し確認する代表画像一覧表示を行う。ここでは、元の代表画像Ｂ１の動画区間に対応するレベル１の代表画像を、図２４に示す代表画像（Ｂ１−１−１）から（Ｂ１−１−５）に変更して図２６（ｃ）に示すように一覧表示する。
【００９１】
即ち、本実施の形態によれば、動画像データを処理する信号処理において、所定条件に基づいて、動画像データを階層化して各動画区間に分割し、所定条件に基づいて、分割された各動画区間の代表画像を自動的に設定し、設定された代表画像を階層毎に表示し、表示された代表画像を選択することで、分割された動画区間を更に分割する再分割処理と、分割された少なくとも２つの動画区間を結合する結合処理と、分割された少なくとも２つの動画区間の分割位置を変更する分割位置変更処理と、設定された代表画像を変更する代表画像変更処理の内、少なくとも１つの処理を実行する。
【００９２】
より具体的には、再分割処理の開始指示に対応して、分割する動画区間における下位レベルの代表画像を表示し、再分割処理では、表示された下位レベルの代表画像のうち、分割した動画区間開始となる代表画像を選択し、選択された代表画像の前後に動画区間を分割し、所定条件に基づいて、分割された各動画区間の代表画像を設定する。
【００９３】
また、結合処理の開始指示に対応して、階層の内、結合するレベルの代表画像を表示し、結合処理では、表示された代表画像の内、結合する動画区間の代表画像を選択し、選択された動画区間を結合し、所定条件に基づいて、結合された動画区間の代表画像を設定する。
【００９４】
また、分割位置変更処理の開始指示に対応して、分割位置を変更する動画区間のレベルの代表画像を表示し、分割位置変更処理では、表示された代表画像の内、分割位置を変更する動画区間の代表画像を選択し、分割位置を変更する動画区間における下位レベルの代表画像を表示し、表示された下位レベルの代表画像のうち、分割位置変更後の動画区間開始となる代表画像を選択し、選択された代表画像の前後に動画区間を分割し、所定条件に基づいて、分割位置変更された各動画区間の代表画像を設定する。
【００９５】
また、代表画像変更処理の開始指示に対応して、代表画像を変更する動画区間における下位レベルの代表画像を表示し、代表画像変更処理では、表示された下位レベルの代表画像のうちの１つを選択し、動画区間の代表画像を、選択された代表画像に置き換える。
【００９６】
【他の実施形態】
本実施の形態では、階層構造を示すために、太枠及び／又は異なる色を使用する例を説明したが、本発明はこれに限るものではなく、階層ルートを示してそのルートを選択することにより上位下位レベルの行き来を行っても構わない。その例を図２７に示す。図２７は、図１２の（ａ）及び（ｂ）を階層ルートにより示した例である。図２７（ａ）に示すように、一覧表示と共に、そのサムネイル画像の上位階層のサムネイル画像を別に表示する（図２７（ａ）では代表画像Ｂ１）。移行する階層が増えると図２７（ｂ）に示すように上位階層のサムネイル画像（図２７（ａ）では代表画像Ｂ１とＢ１−４）が表示されて行く。又は、図２８に示すように表示しても良い。
【００９７】
また、本実施の形態では、動画区間の分割の変更時において、代表画像の選択を自動的（本実施の形態では先頭フレームを設定）に行ったが、動画区間の分割変更時に代表画像の選択処理を同時に行っても構わない。
【００９８】
また、本実施の形態では、１分割された動画区間において１つの代表画像を選択する例を示したが、１つに限ったものではなく、複数であってもよく、また、代表画像として適したフレームが無い場合には、選択を行わなくても良い。
【００９９】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、ビデオカメラなど）に適用してもよい。また、ＵＳＢ２．０等のシリアルインターフェース，ＩＥＥＥ１３９４，イーサネット（登録商標）、無線ＬＡＮなどの通信手段を用いて複数の装置でネットワークを構成し、同様の機能を実現しても構わない。また、動画区間分割処理や代表画像抽出処理は録画終了時に行うことを限定するものではなく、記録メディアの情報をパーソナルコンピューターのような別の装置に読み込ませ、パーソナルコンピューター上で同様な処理を行って、付属情報を加工しても良い。
【０１００】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１０１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図８、図９、及び図１４と図１５、及び／又は図１７と図１８、及び／又は図２２と図２３に示すフローチャートに対応するプログラムコードが格納されることになる。
【０１０３】
【発明の効果】
以上説明したように本発明によれば、操作者がシーンの区切れ目、また、代表画像の変更を、適切且つ簡単に行うことができるようにすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態におけるシステム制御部の構成を示すブロック図である。
【図３】本発明の実施の形態における動画区間の概念を示す図である。
【図４】本発明の実施の形態における動画分割情報のデータ構造の一例を示す図である。
【図５】本発明の実施の形態におけるＬｅｖｅｌ Ｉｎｄｅｘ情報のデータ形式の一例を示す図である。
【図６】本発明の実施の形態におけるＩｎｄｅｘ情報のデータ形式の一例を示す図である。
【図７】本発明の実施の形態におけるＴｈｕｍｂｎａｉｌ Ｉｎｆｏｒｍａｔｉｏｎ情報のデータ形式の一例を示す図である。
【図８】本発明の実施の形態における撮像装置で動画分割情報を取得し、格納する処理を示すフローチャートである。
【図９】本発明の実施の形態における代表画像表示処理手順を示すフローチャートである。
【図１０】本発明の実施の形態における動画区間の階層構成の一部を示す図である。
【図１１】本発明の実施の形態における代表画像表示状態の一例を示す図である。
【図１２】本発明の実施の形態における異なるレベルでの代表画像表示状態の一例を示す図である。
【図１３】本発明の実施の形態におけるシーン分割及びシーン結合・分割位置変更処理を指示するためのユーザインターフェイスの一例を示す図である。
【図１４】本発明の実施の形態におけるシーン分割処理動作を示すフローチャートである。
【図１５】本発明の実施の形態における動画分割処理動作を示すフローチャートである。
【図１６】本発明の実施の形態における映像分割後の動画区間の階層構成の一部を示す図である。
【図１７】本発明の実施の形態におけるシーン結合・分割位置変更処理動作を示すフローチャートである。
【図１８】本発明の実施の形態における動画結合処理動作を示すフローチャートである。
【図１９】本発明の実施の形態におけるシーン結合・分割位置変更に用いるユーザインターフェイスの一例を示す図である。
【図２０】本発明の実施の形態における映像結合後の動画区間の階層構成の一部を示す図である。
【図２１】本発明の実施の形態における分割位置変更に用いるユーザインターフェイスの一例を示す図である。
【図２２】本発明の実施の形態における代表画像変更処理動作を示すフローチャートである。
【図２３】本発明の実施の形態における代表画像変更動作を示すフローチャートである。
【図２４】本発明の実施の形態における代表画像変更に用いるユーザインターフェイスの一例を示す図である。
【図２５】本発明の実施の形態における代表画像変更指示後のユーザインターフェイスの一例を示す図である。
【図２６】本発明の実施の形態における代表画像変更に用いるユーザインターフェイスの一例を示す図である。
【図２７】代表画像表示におけるユーザインターフェイスの別の例を示す図である。
【図２８】代表画像表示におけるユーザインターフェイスの別の例を示す図である。
【符号の説明】
１００ デジタルビデオカメラ
１１ レンズ光学系
１２ 絞り
１３ 撮像素子
１４ サンプルホールド・ＡＧＣ回路
１５ Ａ／Ｄ変換部
１６ 映像信号処理部
１７ 映像分割管理部
１８ 表示装置
１９ レンズ位置検出部
２０ レンズ駆動部
２１ Ｘ方向回転検出部
２２ Ｙ方向回転検出部
２３ システム制御部
２４ オペレーションパネル部
２５ ワイド・キー
２６ テレ・キー
２７ ＲＥＣキー
３１ メニューキー
３２〜３５ カーソルキー
３６ 選択キー
３７ 再生キー
３８ 一時停止キー
２３１ ＣＰＵ
２３２ ＲＯＭ
２３３ ＲＡＭ
２３４ Ｉ／Ｏインターフェース
２３５ バス
Claims (1)
- 動画像データを処理する信号処理方法であって、
所定条件に基づいて、動画像データを階層化して各動画区間に分割する分割工程と、
所定条件に基づいて、前記分割工程で分割された各動画区間の代表画像を自動的に設定する設定工程と、
前記設定工程で設定された代表画像を階層毎に表示する表示工程と、
前記表示工程で表示された代表画像を選択することで、前記分割工程で分割された動画区間を更に分割する再分割処理と、前記分割工程で分割された少なくとも２つの動画区間を結合する結合処理と、前記分割工程で分割された少なくとも２つの動画区間の分割位置を変更する分割位置変更処理と、前記設定工程で設定された代表画像を変更する代表画像変更処理の内、少なくとも１つの処理を実行する変更工程と
を有することを特徴とする信号処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335508A JP2004172883A (ja) | 2002-11-19 | 2002-11-19 | 信号処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002335508A JP2004172883A (ja) | 2002-11-19 | 2002-11-19 | 信号処理方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004172883A true JP2004172883A (ja) | 2004-06-17 |
Family
ID=32699624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002335508A Withdrawn JP2004172883A (ja) | 2002-11-19 | 2002-11-19 | 信号処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004172883A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141270A (ja) * | 2006-11-30 | 2008-06-19 | Olympus Imaging Corp | カメラ、画像記録方法およびプログラム |
| JP2009094966A (ja) * | 2007-10-11 | 2009-04-30 | Toshiba Corp | 再生装置、再生方法および再生制御プログラム |
| JP2010198634A (ja) * | 2010-05-14 | 2010-09-09 | Casio Computer Co Ltd | 画像処理装置および画像処理のプログラム |
-
2002
- 2002-11-19 JP JP2002335508A patent/JP2004172883A/ja not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141270A (ja) * | 2006-11-30 | 2008-06-19 | Olympus Imaging Corp | カメラ、画像記録方法およびプログラム |
| JP2009094966A (ja) * | 2007-10-11 | 2009-04-30 | Toshiba Corp | 再生装置、再生方法および再生制御プログラム |
| JP2010198634A (ja) * | 2010-05-14 | 2010-09-09 | Casio Computer Co Ltd | 画像処理装置および画像処理のプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5092469B2 (ja) | 撮像装置、画像処理装置、および画像表示制御方法、並びにコンピュータ・プログラム | |
| US6683649B1 (en) | Method and apparatus for creating a multimedia presentation from heterogeneous media objects in a digital imaging device | |
| US7337403B2 (en) | Method and apparatus for editing heterogeneous media objects in a digital imaging device | |
| US6738075B1 (en) | Method and apparatus for creating an interactive slide show in a digital imaging device | |
| JP2006180074A (ja) | 画像編集装置、撮像装置、画像編集方法、プログラム | |
| JP5253725B2 (ja) | 動画撮影機能付き移動通信端末機及びその動作方法 | |
| CN100423550C (zh) | 具有在多图像选择屏中播放移动图像的功能的摄像装置 | |
| JP2004056397A (ja) | 画像処理装置および方法 | |
| JP3951778B2 (ja) | 映像コンテンツ編集支援システム，撮像装置，編集者端末装置，記録媒体，プログラム，映像コンテンツ編集支援方法 | |
| US20170150237A1 (en) | Image processing device, image processing method, and program | |
| JP2009225361A (ja) | 記録装置および記録方法、ならびに、編集装置および編集方法 | |
| JP2007259390A (ja) | 動画撮影可能なカメラ | |
| JP2005260749A (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
| JP5066878B2 (ja) | カメラ及び表示システム | |
| JP4698961B2 (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
| JP2004172883A (ja) | 信号処理方法 | |
| JP2009124591A (ja) | 撮像装置、情報記録装置及び情報記録方法 | |
| JP2009055618A (ja) | 電子カメラ、及び電子カメラの制御プログラム | |
| JP2017112455A (ja) | 情報処理装置 | |
| JP6463967B2 (ja) | 撮像装置及びその制御方法 | |
| JP2005339645A (ja) | 記録／再生装置、その記録／再生方法、プログラムおよび記録媒体 | |
| JP7150591B2 (ja) | 電子機器 | |
| JP4968621B2 (ja) | 画像再生システム | |
| JP5010420B2 (ja) | 画像再生装置、プログラム、および画像再生方法 | |
| JP2007019636A (ja) | 記録装置及びその制御方法、画像処理装置及びその制御方法、並びに制御プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060207 |