JP4217528B2 - Moving image processing method and apparatus - Google Patents

Description

【００２４】
次に、ステップＳ４０３において、ユーザがカメラ操作部２２を介してカメラの設定を行ったかどうかを判定する。カメラの設定が行われたときは、ステップＳ４０４において、システム制御部２１はカメラの設定を変更する。このとき、変更したカメラの設定情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての設定情報の形式の一例として、以下の表２に、ＷＢに関する設定情報を示す。
【００２５】
【表２】

【００２６】
次に、ステップＳ４０５において、カメラが操作されたかどうかを判定する。カメラ操作がなされたか否かは、例えば、ズーム操作であれば、ユーザ操作部２２のワイド・キー２３、テレ・キー２４が操作されたかで判定できるし、パン・チルト操作であれば、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１により検出が可能である。カメラが操作されていれば、ステップＳ４０６に進み、システム制御部２１は操作に合わせて、各種センサ情報をチェックしながら撮像装置を制御する。このとき、操作に関する情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての操作情報の形式の一例として、以下の表３に、Zoom及びPanに関する設定情報を示す。
【００２７】
【表３】

【００２８】
以上のステップＳ４０２、Ｓ４０４、Ｓ４０６において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報は、フレーム単位にビットフィールドで管理し、これを所定のフレーム数分保持する。次にステップＳ４０７において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報を、カメラ付与情報の項目ごとに参照し、区間単位にまとめられるものがあれば、まとめてＲＡＭ３０３に保持する。
【００２９】
以下の表４〜６に、区間単位のカメラ付与情報の項目の例を示す。区間単位にまとめるとは、例えばGainに関して区間単位にまとめるのであれば、Gainの値が０であるフレーム群に対応する区間を１つの区間、０より大きいフレーム群に対応する区間を１つの区間とする。また、ＷＢであれば、同じWB modeであるフレーム群に対応する区間を一つの区間とする。また、Zoomであれば、Zoom操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。Panであれば、Pan操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。なお、このとき、区間の開始点と終了点のフレーム位置を当該ショットの撮影開始からの時間情報として関連付けて記憶しておく。なお、区間の開始点と終了点はフレーム位置を特定できればよいので、時間情報の代わりにフレーム番号を用いてもよい。
【００３０】
【表４】

【００３１】
【表５】

【００３２】
【表６】

【００３３】
次に、ステップＳ４０８において、ユーザが、録画ボタン２９をＯＦＦするなどして、録画終了指示をしたかどうかを判定する。録画終了指示されていなければ、上述のステップＳ４０２からステップＳ４０７を繰り返し、録画を続ける。録画終了が指示された場合はステップＳ４０９へ進み、ＲＡＭ３０３に保持された区間単位のカメラ付与情報を格納する。すなわち、区間単位のカメラ付与情報は、全て、システム制御部２１からMPEG CODEC２６に送られ、映像データの後半部にフッタとして付与され、記録部２７へ送られる。この方法としては、例えば、区間単位のカメラ付与情報をプライベートストリームにして、ＴＳ（Transport Stream）パケットにしたものを末尾に追記すればよい。なお、本実施形態では、録画開始から終了までの１ショットを１ファイルとし、１つのショットに関するカメラ操作情報をそのファイルのフッタとして付与する。
【００３４】
上記区間単位のカメラ付与情報をフッタとして格納する際の形式の一例を図５に示す。図５は、記憶媒体２８の中に記録されている動画像ファイルに含まれるカメラ付与情報の格納形式を示したものである。この動画像ファイルには、動画像の情報とともに、その内容などの情報を簡潔に表現したカメラ付与情報が添付されている。すなわち、動画像ファイルはファイル内に動画像格納領域とカメラ付与情報格納領域とを保有しており、図５のカメラ付与情報の格納形式は、このカメラ付与情報格納領域の内部の構造を示したものである。カメラ付与情報の格納領域５０１は、固定長サイズのカメラ付与情報項目５０２をいくつか保有し、あまった領域を空き領域５０３とする構成を有する。
【００３５】
図６は、図５に示したカメラ付与情報項目５０２の内部構造を示した図である。図６においてカメラ付与情報項目６０１は、固定長の項目をいくつか保有している。カメラ付与情報項目６０１の内部は、大きく２つに分けられ、一つはカメラ付与情報の属性情報６０２であり、もう一つはカメラ付与情報６０５である。カメラ付与情報の属性情報６０２はさらに内部構造を持ち、カメラ付与情報の付与対象区間情報６０３、カメラ付与情報のタイプ番号６０４を含む。
【００３６】
カメラ付与情報のタイプ番号６０４は、カメラ付与情報を識別するための情報であり、撮影時のズーム情報であれば「１０」といった具合に、個々のカメラ付与情報に対して予め割り当てられた識別用の番号を格納するものである。このタイプ番号６０４を利用することで、動画処理装置は、動画像ファイル内の特定のカメラ付与情報を検索することが可能になる。また、カメラ付与情報の付与対象区間情報６０３は、このカメラ付与情報の対象とする動画像データの区間を時間情報で表現したものである。
【００３７】
次に、以上説明した撮像装置によって得られた動画像ファイルをブラウズする、本実施形態のブラウズ装置について説明する。
【００３８】
図７は、本実施形態におけるブラウズ装置の制御構成を示すブロック図である。図７において、７０１はＣＰＵであり、本実施形態のブラウズ装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００３９】
７０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ（例えばフラッシュメモリ）等の少なくとも何れかで構成される。７０７は表示器であり、ディスプレイなどで構成され、ＣＰＵ７０１の制御下で各種処理結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７１１はバスであり、上記構成を接続する。
【００４０】
図８は、本実施形態のブラウズ装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に対応する。８０２は読取部であり、記憶媒体８０１上の動画像及びカメラ付与情報を読み取る。８０３はサブショット分割部であり、動画像データのフッタ部に付加されている上述のカメラ付与情報を基に動画像を意味のある区間（サブショット）に分割する。８０７はサムネイル作成部であり、サブショット分割部８０３で決定された区間に対してサムネイルを作成する。８０６は記録部であり、サブショット分割部８０３で決定された分割点をサブショット情報として記憶媒体８０１上に記録するとともに、後述のサムネイル作成部８０７によって作成されたサムネイルを記憶媒体８０１上に記録する。８０４はユーザ操作部であり、キーボード７０４・マウス７０５を含んで構成され、動画再生指示などを与えるものである。８０５は閲覧・再生部であり、ユーザ操作部８０４を介したユーザの指示に基いて、表示器７０７上での動画ファイルの閲覧、再生などを可能とするものである。
【００４１】
ここで、サブショット分割について更に説明する。図１５は、サブショット分割の概要を説明する図である。１５０１から１５０４は同じ動画像ファイル（同じショット）中の動画像データを表しており、それぞれ観点に基づいて、意味のある区間（サブショットと呼ぶ）に分割されている。なお、「分割」するという表現は、サブショット単位の分割点を決定することを意味するものであり、実際に動画像ファイルを切り離すことを意味するものではない。
【００４２】
図１５において、１５０１は撮影した際の環境の観点で動画像を分割したものであり、ここでは、屋内の蛍光灯下で撮影された区間（ａ１）、屋外の太陽光下で撮影された区間（ａ２）の２つのサブショットに分割された例を示している。１５０２は、ｂ）撮影した被写体の観点で分割しており、ここでは、被写体Ａを撮影した区間（ｂ１，ｂ３）、被写体Ｂを撮影した区間（ｂ２，ｂ４）、被写体Ｃを撮影した区間（ｂ５）の５つのサブショットに分割された例を示している。１５０３は、撮影した時の画角の観点で分割しており、ここでは、アップで撮影した区間（ｃ１，ｃ３，ｃ５）、全体を撮影した区間（ｃ２，ｃ４，ｃ６）の６つのサブショットに分割した例を挙げている。なお、アップか全体かはZoom倍率により判断することができる（この意味で、アップした区間はズームインした区間と等価である） 。１５０４は、２つ以上の観点に基いて分割した場合の例であり、撮影した際の環境の観点（１５０１）と撮影した被写体の観点（１５０２）で分割した結果（分割を統合した結果）を示す。１５０２のｂ３の区間中に蛍光灯区間（ａ１）と太陽光区間（ａ２）が存在するので、１５０４に示される分割結果は、１５０２より１つ多い、６つのサブショットで構成される。
【００４３】
図９は、本実施形態のブラウズ装置によるユーザインターフェースの例を示す図である。９０１は、サムネイル及び動画再生用の表示領域である。表示領域９０１は、閲覧時はショットまたはサブショットのサムネイルを表示し、動画再生時は再生された動画像を表示する。９０２はポインタであり、ショットまたはサブショットを選択し、再生指示を行うときに使用される。９０３はスクロールバーであり、表示領域９０１にサムネイルを表示する際、表示すべきサムネイルの枚数が表示の限界（図９では９枚）を超えた場合に、これを操作することで一度に表示できないサムネイルを順に表示させることができる。９０４は、観点指定ボタンであり、サブショット分割の観点を指定するものである。本実施形態では、「撮影環境」、「被写体」及び「画角」の３つの観点が用意されている。９０５はＯＫボタンであり、このボタンがＯＮされた場合は、観点指定ボタン９０４で指定された観点に応じて分割されたサブショットの一覧を表示領域９０１に表示する。９０６は終了ボタンであり、本装置に処理の終了を指示するものである。
【００４４】
図１６は、図９の表示領域９０１における、それぞれの操作に応じた表示状態を示す図である。図９の（ａ）ショット閲覧時は、各ショットに対応するサムネイルの一覧を表示する。次に、ポインタ９０２で所望のサムネイル（ショット）を選択し（図１６では太枠で表現され、ショットＢが選択されていることを示している）、観点指定ボタン９０４でサブショット分割の観点を指定（図９では「被写体」が指定されている）した後、ＯＫボタン９０５をＯＮすると、選択されたショット（図ではショットＢ）のサブショット（「被写体」の観点による動画像が分割状態）を表示する（図１６では観点ｂとする）。そして、サブショットをポインタ９０２で選択し（図１６ではＢ−ｂ２が選択されている）、ダブルクリックすると、選択したサブショットの先頭より動画像が再生され、表示領域９０１に表示される（図１６の（ｃ））。なお、もちろん、（ａ）のショット閲覧時においてショットを選択し、ダブルクリックすることにより、当該ショットの先頭から動画を再生させてみることも可能である。
【００４５】
以上のような本実施形態のブラウズ装置の動作について図１０を参照してより詳細に説明する。図１０は、本実施形態によるブラウズ装置の動作例を示したフローチャートである。
【００４６】
本装置の処理は大きく、ステップＳ１００１からステップＳ１００４までのサブショット分割処理と、ステップＳ１００５からステップＳ１０１０までのブラウジング処理とに分けられる。
【００４７】
まず、サブショット分割処理から述べる。ステップＳ１００１において、読取部８０２は記憶媒体８０１より全ての動画像ファイルを読み出し、それぞれに含まれる動画像データと複数のカメラ付与情報（以下、カメラ付与情報リストと記す）を得る。次に、ステップＳ１００２において、サブショット分割部８０３は、読み出されたカメラ付与情報リストをもとに、観点別にサブショット分割を行い、各観点毎に分割点を決定する（処理の詳細は後述する）。次に、ステップＳ１００３において、サムネイル作成部８０７は、当該ブラウズ装置でサブショットを一覧するために表示するサムネイル画像を作成する。サムネイル画像はサブショットの区間の先頭フレームを動画像から取得し、縮小することによって得ることが出来る。ただし、もちろん、一覧表示の形態、及びサムネイルの生成は上記に限られるものではなく、サブショットの内容をおおよそ把握できればどのような形態であっても構わない。
【００４８】
次に、ステップＳ１００４において、記録部８０６はサブショット分割の結果をサブショット情報として記憶媒体８０１に記録する。これは、必須のものではないが、このようなサブショット情報を記憶媒体８０１に記録しておくことによって、他の機器においてもサブショット分割の結果を利用することができる。
【００４９】
ここでサブショット情報を格納する際の形式の例を説明する。図１３は、記憶媒体８０１の中に記録されている動画像ファイルのサブショット情報の格納形式を示したものである。図１３に示すように、図５において説明したカメラ付与情報格納領域の後にサブショット情報格納領域を追加し保有する。図１３に示されるサブショット情報の格納形式はこのサブショット格納領域の内部の構造を示したものである。
【００５０】
サブショット格納領域１３０１は、さらに内部で２つの領域に別れており、一つはサブショット・インデックスの格納領域１３０２であり、もう一つはサムネイル画像の格納領域１３０５である。サブショット・インデックスの格納領域１３０２は、固定長サイズのサブショット・インデックス１３０３をいくつか保有し、あまった領域を空き領域１３０４とする構成を有する。また、サムネイル画像の格納領域１３０５は、サムネイル画像１３０６をいくつか保有し、余った領域を空き領域１３０７とする構成を有する。
【００５１】
図１４は、図１３中のサブショット・インデックス１３０３の内部構造を示した図である。サブショット・インデックス１４０１は、固定長の項目をいくつか保有している。サブショットの区間情報１４０２は、サブショットの区間を時間情報で表現したものであり、ショット内の１つのサブショットを指示するためのものである。なお、サブショット区間は、カメラ付与情報と同様にフレーム番号で表してもよい。観点のタイプ番号１４０３は、サブショット分割時の観点（後述する）を識別するための番号である。サムネイル画像の格納位置情報１４０４は、サブショットに対応する、サムネイル画像の格納領域中のサムネイル画像の格納位置を、例えば本領域の先頭からのオフセットで表すものである。
【００５２】
次に、図１１Ａ、図１１Ｂを用いて、ステップＳ１００２のサブショット分割処理の詳細な手順を説明する。
【００５３】
まず、「撮影環境」の観点に関するサブショット分割を行う。ステップＳ１１０１において、撮影環境の観点に関するカメラ付与情報項目が存在するかをチェックする。撮影環境に関連する具体的な項目としては、フォーカス、IRIS、Gain、ＷＢ、AE Modeなど様々なものがあるが、本実施形態では説明のために、ＷＢとGainを用いる。ＷＢは撮影の環境に応じて設定が変更される。例えば、太陽光の下では、ユーザによりプリセットの太陽光に設定され、蛍光灯の下では、ユーザによってプリセットの蛍光灯に設定される。そこで、WB Modeが違う場合は撮影環境も変化したと判断できる。また、Gainは、非常に暗い環境での撮影時に、プラスになり、撮像装置が画像の明るさを補正する手段として用いられる。よって、Gainがプラスであるかどうかで、撮影環境が変化していると判断できる。
【００５４】
さて、ＷＢとGainのどちらもカメラ付与情報項目リストの中に存在しなければ、「撮影環境」を観点とするサブショット分割はできないので、ステップＳ１１０２からＳ１１０４までをスキップし、次のステップＳ１１０５へ進む。ＷＢまたはGainのどちらか一つが存在するならば、ステップＳ１１０２へ進み、ＷＢまたはGainの付与対象区間をそのままサブショット区間とし、サブショットの区間情報１４０２へそのままコピーする。ＷＢとGainの両方が存在するならば、ステップＳ１１０３へ進み、ＷＢとGainの付与対象区間のＯＲをとり、その結果をサブショット区間としてサブショットの区間情報１４０２へそのままコピーする。次に、ステップＳ１１０４において、ステップＳ１１０２またはステップＳ１１０３で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「撮影環境」を表す１を付与し、観点タイプ番号１４０３として記録する。
【００５５】
このように、「撮影環境」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、それぞれの区間のＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となる。
【００５６】
次に、「被写体」の観点に関するサブショット分割を行う。ステップＳ１１０５において、被写体の観点に関するカメラ付与情報項目が存在するかをチェックする。被写体の観点に関連する具体的な項目としては、Pan、Tiltなど様々なものが考えられるが、本実施形態では説明のためにPanのみを用いる。被写体Ａから被写体Ｂへと撮影中に視点を移動させるには、ユーザは撮像装置を水平方向に振り動かすPan操作を行う必要がある。よって、Pan操作が行われる前と後では、被写体が変化していると判断できる。
【００５７】
Panがカメラ付与情報項目リストの中に存在しなければ、被写体の観点に関するサブショット分割（ステップＳ１１０６からＳ１１０９まで）をスキップし、次のステップＳ１１１０へ進む。一方、カメラ付与情報項目リスト中にPanが存在するならば、ステップＳ１１０６へ進み、Panの付与対象区間を全てサブショット区間対象リストへコピーする。サブショット区間対象リストは、テンポラリとして使用するもので、カメラ付与情報格納領域５０１と同じ形式である。
【００５８】
次に、ステップＳ１１０７へ進み、サブショット区間対象リストに、Pan操作のない区間を無操作区間として挿入する。このとき、タイプ番号６０４には、無操作を表すために、特殊な番号（例えば０）などを記録する。次に、ステップＳ１１０８へ進み、サブショット区間対象リストの中の無操作区間の開始位置からパンの終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。次に、ステップＳ１１０９において、ステップＳ１１０８で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「被写体」を表す２を付与し、観点のタイプ番号１４０３に記録する。なお、本実施形態では無操作区間の開始位置からパンの終了までをサブショット区間とするが、これは、パン中は、被写体が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００５９】
次に、「画角」の観点に関するサブショット分割を行う。ステップＳ１１１０において、画角の観点に関するカメラ付与情報項目が存在するかをチェックする。画角の観点に関連する具体的な項目としては、Zoom、Digital Zoomなど様々なものがあるが、本実施形態では説明のために、Zoomであるとする。画角を調整し、例えば、被写体Ａの全体を写した後に、被写体Ａの顔をアップで撮影するためには、ユーザはZoomをテレ側に操作する必要がある。よって、Zoom操作を行った後は、画角が変更されていると判断できる。
【００６０】
さて、Zoomがカメラ付与情報項目リストの中に存在しなければ、画角の観点に関するサブショット分割（ステップＳ１１１１からＳ１１１６まで）をスキップする。Zoomが存在するならば、ステップＳ１１１１へ進み、Zoomの付与対象区間を全て上述のサブショット区間対象リストへコピーする。次に、ステップＳ１１１２において、Zoomの操作量が所定値以下であるかを判定する。このような判定を行う理由は、操作量が小さい場合は、画角を微調整しただけであると判断出来るからである。なお、操作量は開始ズーム倍率と終了ズーム倍率の差の絶対値で表すことができる。また、所定値としては、１.５倍が望ましいが、特に限定されるものではない。所定値以下のZoomがあれば、ステップＳ１１１３へ進み、サブショット分割対象リストから所定値以下のZoomを削除する。
【００６１】
次に、ステップＳ１１１４へ進み、サブショット区間対象リストに、Zoom操作の無い区間を無操作区間として挿入する。次に、ステップＳ１１１５０へ進み、サブショット区間対象リストの中の無操作区間の開始位置からZoomの終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。次に、ステップＳ１１１６において、ステップＳ１１１５で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として、「画角」を表す３を付与し、観点のタイプ番号１４０３に記録する。なお、本実施形態では無操作区間の開始位置からZoomの終了までをサブショット区間とするが、これは、Zoom中は、画角が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６２】
次に、図１０に戻り、ステップＳ１００５からステップＳ１０１０のブラウジング処理について述べる。
【００６３】
ステップＳ１００５において、各動画像ファイル（ショット）中を代表するサムネイルを、表示領域９０１に表示する。ショットを代表するサムネイルとしては、例えば、先頭に登録されているサブショットのサムネイルを使用する方法が考えられる。しかし、もちろん、ショット用のサムネイルを別途作成しておくなどの方法を用いても構わない。ショットの中身を概観できる目的が達成されればよいのである。なお、サムネイルは表示領域９０１の中で、例えばファイルのヘッダに記述されている撮影開始時刻順に、一番上の行から下の行へ、行の中では、左から右へ向かって、並べられる。
【００６４】
次に、ステップＳ１００６において、サブショット表示指示があったかを判定する。これは、図９のＯＫボタン９０５がＯＮされたかどうかによって判定できる。ＯＮされていなければ、ステップＳ１００７をスキップし、ステップＳ１０００８に進む。ＯＫボタン９０５がＯＮされた場合は、ステップＳ１００７に進み、観点指定ボタン９０４で指定された観点に応じて分割されたサブショットを表示する。例えば、撮影環境が指定されていた場合は、観点のタイプ番号１４０３に１が設定されているサブショットのみを読み出し、サムネイル画像を表示する。なお、本実施形態では、複数の観点を同時に選択することも可能であり、例えば、「撮影環境」と「被写体」が指定された場合は、観点のタイプ番号１４０３が１と２のサブショットを読み出し、図１５の１５０４に示したようにサブショット区間のＯＲを取り、その結果を表示する。
【００６５】
次に、ステップＳ１００８において、動画の再生指示が行われたかどうかを判定する。これは、ポインタ９０２を使って特定のショットまたはサブショットをダブルクリックしたかどうかで判定できる。再生指示されていなければ、ステップＳ１００９をスキップしてステップＳ１０１０に進む。一方、再生が指示されていれば、ステップＳ１００９に進み、指定されたショットまたはサブショットの先頭から動画像を再生する。なお、再生後はもとのショット、または、サブショット一覧表示に戻る（図示せず）。次にステップＳ１０１０において、終了指示されたかどうかを判定する。これは、図９の終了ボタン９０６がＯＮされたかどうかで判定できる。終了が指示されていなければ、上述のステップＳ１００６からステップＳ１００９を繰り返す。終了指示されていれば、ステップＳ１０１０より本処理を終了する。
【００６６】
以上のように上記第１実施形態によれば、撮影装置の操作や状態の変化によって動画が多くの区間に分割された場合でも、所望の観点によリ動画を分割したサブショットを得ることができ、その分割された各区間がサムネイルによって示される。このためユーザは、当該動画の所望の場所を素早く見つけることができ、再生や編集作業を容易に行える。
【００６７】
〔第２実施形態〕
次に、第２実施形態について説明する。上述の第１実施形態では、撮像装置１０１０に備えられているセンサや操作部の情報、または、制御情報を、カメラ付与情報として付与した。第２実施形態では、撮像データを解析することによって抽出が可能なカメラ付与情報を、撮影後に付与してカメラ付与情報として利用する。
【００６８】
動画像処理システムの構成、及び、撮像装置１０１０やブラウズ装置１０３０の構成等は第１実施形態とほぼ同様であるので、説明を省略し、相違点のみを以下に述べる。
【００６９】
図１２はブラウズ装置１０３０の機能構成を示すブロック図である。１２０１から１２０７までは第１の実施形態（図８）の８０１から８０７と同じ構成であるので説明は省略する。１２０８はカメラ付与情報抽出部であり、読取部１２０２を介して記憶媒体１２０１より読み出された映像データを解析し、撮像装置１０１０で付与していないカメラ付与情報を抽出する。ここでは、例としてパン、チルトが撮像装置１０１０によって付与されていないものとして説明する。
【００７０】
パン・チルトを映像データから抽出する手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、パン・チルトに関する拘束式を説くなどの手法がある。パン・チルトと消失点との関係やパン・チルトを求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。このように、映像データを解析することによって、求めたカメラ付与情報を更に追加して、サブショット分割部１２０３で活用することが可能である。
【００７１】
以上のようにして得られたパン、チルト情報は、図５で説明したカメラ付与情報格納領域に追加され、図１３のようなサブショット情報格納領域を生成する際に用いられる。
【００７２】
〔他の実施形態〕
上記第１、２の実施形態では、撮像装置１０１０とブラウズ装置１０３０の２つの装置を用いて構成されたが、撮像装置１０１０が十分な処理能力があれば、撮像装置１０１０にブラウズ装置１０３０の機能を包含させ、１つの装置で構成してもかまわない。この場合であっても、サブショット情報を記憶媒体１０２０に記録するようにすれば、他の機器においてサブショット分割の結果を利用することが可能となる。
【００７３】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７、カメラ付与情報抽出部１２０８は、ブラウズ装置１０３０上に構成したが、撮像装置１０１０に十分な処理能力があれば、これらを、撮像装置１０１０上に構成しても構わない。この場合、ブラウズ装置１０３０は、サブショット情報が記録された記憶媒体１０２０からサブショット情報を読み出すことにより上述したブラウズ処理が可能となる。
【００７４】
また、第１、第２実施形態では、撮像装置１０１０が区間単位のカメラ付与情報を撮影中に生成し、記憶媒体１０２０に記録したが、撮像装置１０１０に十分なメモリや処理能力がなければ、フレーム単位のカメラ付与情報を記録しておき、後で、区間ごとにまとめる処理を行ってもよい。その際、フレーム単位にカメラ付与情報を格納する方法は、画像データの管理情報中の未使用領域などに、格納する方法がある。具体的には、例えば、MPEG-2ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。
【００７５】
また、撮像装置１０１０に区間単位のカメラ付与情報を記録する能力があっても、フレーム単位のカメラ付与情報も記録しておくように構成してももちろん構わない。こうしておけば、記録は冗長になるが、ファイル操作が行われて区間単位のカメラ付与情報が損なわれたり、変更が必要となった場合でも、フレーム単位のカメラ付与情報から、再集計し、区間単位のカメラ付与情報を作成しなおすことが可能となる。
【００７６】
また、第１、２の実施形態では、区間単位のカメラ付与情報、サブショット情報をバイナリ形式で格納されたが、撮像装置１０１０に十分な処理能力があれば、或いは、ブラウズ装置１０３０を使用して、テキスト形式や独自のＤＴＤ（Document Type Definition）を定義し、ＸＭＬ（Extensible Markup Languae）形式等で表現する事ももちろんかまわない。また、MPEG7にしたがった形式で格納する場合は、Segment DSに格納すれば良い。
【００７７】
また、第１、２の実施形態では、カメラ付与情報、及び、サブショット情報を記憶媒体２８、８０１、１２０１を介してやり取りしたが、IEEE1394などの通信手段を設け、これによってやり取りするように構成しても構わない。
【００７８】
また、第１、第２の実施形態では、１つのショットを１つの動画像ファイルとしたが、複数のショットを１つの動画像ファイルとしても構わない。この場合は、各ショットとカメラ付与情報、サブショット情報の対応がとれるように、識別番号などを振り、関連付けしておけばよい。
【００７９】
また、第１、第２の実施形態では、サブショット分割の観点として、撮影環境、被写体、画角の３つを上げたが、これに限られるものではなく、例えば、エフェクトを付与しているかどうか、など、様々な観点が考えられる。
【００８０】
更に、第１、２の実施形態では、サブショット分割の結果をブラウジングに利用したが、サブショットを基本単位とし、観点種別の指定手段を設ければ、動画編集、フレーム印刷、ダイジェスト再生など、様々な方法で利用することができることは理解されることである。例えば、動画編集であれば、撮影対象のショットを、観点別にサブショット分割すれば、その分割位置を編集のIn・Out点の指定に利用できる。フレーム印刷であれば、サブショットごとに、フレーム印刷の候補を、例えば、サブショット区間の中央のフレームを抜き出して提示することで、観点別にフレーム印刷候補を提示できる。ダイジェスト再生であれば、サブショットの先頭の数秒ずつを再生されることで、指定された観点別のダイジェスト再生を行うことが出来る。
【００８１】
以上説明したように、上記各実施形態によれば、ユーザが着目している観点を指定することによって、指定された観点に応じたサブショットを得ることが可能となるので、ユーザは素早く所望のサブショットを入手することができる。また、サブショットの情報に観点を関連付けて、記憶媒体に記憶することによって、様々な機器での利用が可能となる。
【００８２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８３】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【００８５】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８６】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
【発明の効果】
以上説明したように、本発明によれば、撮影装置の操作や状態の変化によって、動画が多くの区間に分割されるような場合でも、所望の場所を素早く見つけ、再生や編集作業を容易に行える。
【図面の簡単な説明】
【図１】実施形態における動画像処理システムの概略構成を表すブロック図である。
【図２】実施形態による撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置におけるシステム制御部の構成を示すブロック図である。
【図４】実施形態の撮像装置による動画撮像処理の手順を示すフローチャートである。
【図５】カメラ付与情報の格納形式の一例を示す図である。
【図６】図５に示すカメラ付与情報項目の内部構造の一例を示す図である。
【図７】実施形態によるブラウズ装置の制御構成を示すブロック図である。
【図８】ブラウズ装置の第１実施形態における機能構成を示すブロック図である。
【図９】ブラウズ装置のユーザインターフェースの一例を示す図である。
【図１０】ブラウズ装置の動作例を示したフローチャートである。
【図１１Ａ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｂ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１２】第２実施形態におけるブラウズ装置の機能構成を示すブロック図である。
【図１３】実施形態によるサブショット情報の格納形式の一例を示す図である。
【図１４】図１３に示すサブショット・インデックスの内部構造の一例を示す図である。
【図１５】サブショット分割の概要を説明する図である。
【図１６】図９に示したユーザインターフェースにおける表示領域の動作の一例を示す図である。
【図１７】一般的な動画分割を説明する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for dividing a moving image using an operation of an imaging device, a change point of a state of the imaging device, or the like.
[0002]
[Prior art]
In general, as seen in Patent Document 1 and Patent Document 2, by dividing a moving image for each operation (panning, tilting) of a moving image capturing apparatus and each change point (focus, etc.) of the state of the imaging apparatus, It enables playback from a desired location, editing of moving images, automatic summarization of moving images, and easy confirmation of the contents. Such a method is particularly effective when various shooting targets are included in one moving image or the shooting environment changes.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 08-163488
[Patent Document 2]
Japanese Patent No. 3192663
[0004]
[Problems to be solved by the invention]
However, the longer a movie is and the more changes in the shooting target and shooting environment included in the movie, the more the movie is divided into more sections in the conventional method.
[0005]
For example, FIG. 17 is a diagram for explaining division of a moving image according to a conventional technique. (A) has shown the operation area with respect to an imaging device, and the change point (Gain, White Balance, subject distance, Zoom, Pan) of the state of an imaging device for every item with respect to the same moving image. Further, (b) shows the result of dividing a moving image using Gain, White Balance, subject distance, Zoom, and Pan. As shown in FIG. 17, the moving image is subdivided into many sections due to a mixture of the divided portions of a plurality of types of items. Further, where a section is determined by a plurality of types of items, the section is not a meaningful unit (here, a meaningful unit is, for example, a section in which subject A is shown). . For example, the section A in FIG. 17 starts at the change point of White Balance and ends at the end point of the Pan operation, and is not a meaningful unit.
[0006]
The above moving images tend to be noticeable particularly when an amateur photographer takes a picture. This is because amateur photographers are unfamiliar with photography and tend to shoot while looking for a subject. In such a situation, even when searching for a desired section in the moving image, it takes time to check each section, and in the end, the burden on the user cannot be reduced.
[0007]
The present invention has been made in view of the above problems, and even when a moving image is divided into many sections due to operation of the photographing apparatus or a change in state, a desired place can be quickly found and played or edited. The purpose is to facilitate the work.
[0008]
[Means for Solving the Problems]
  In order to achieve the above object, a moving image processing method according to the present invention comprises:
  A first generation step of generating division information for dividing the moving image based on each of a plurality of items of data indicating a state at the time of shooting the moving image;
  A registration step of registering in association with the moving image data so that the division information corresponding to each of the plurality of items generated in the first generation step can be read for each item;
  Selected from the multiple itemspluralA second generation step of generating integrated division information corresponding to the combination of the items by integrating the division information corresponding to the items;,
  A holding step of generating integrated division information for a combination of a plurality of items by the second generation step and holding the information in association with identification information for identifying each combination;Is provided.
[0009]
  In addition, a moving image processing method according to another aspect of the present invention for achieving the above object is as follows:
  The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing method,
  Selected from the multiple itemspluralA first generation step of defining an item group constituted by items and generating integrated division information corresponding to the item group by integrating division information corresponding to the items belonging to the item group;
  In the first generation step, integrated division information is generated for a plurality of types of item groups,The integrated division information of the plurality of types of item groups,Corresponding to the moving image dataAnd associated with identification information that identifies each item groupHolding step.
[0010]
  In order to achieve the above object, a moving image processing apparatus according to the present invention comprises the following arrangement. That is,
  First generation means for generating division information for dividing the moving image based on each of a plurality of items of data indicating a state at the time of shooting the moving image;
  Registration means for registering in association with the moving image data so that division information corresponding to each of the plurality of items generated by the first generation means can be read for each item;
  Selected from the multiple itemspluralSecond generation means for generating integrated division information corresponding to a combination of the items by integrating the division information corresponding to the items;,
  Holding means for generating integrated division information for a combination of a plurality of items by the second generation means and holding the information in association with identification information for identifying each combination;Is provided.
[0011]
  Furthermore, a moving image processing apparatus according to another aspect of the present invention for achieving the above object has the following configuration. That is,
  The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing apparatus,
  First, an item group composed of a plurality of items selected from the plurality of items is defined, and integrated division information corresponding to the item group is generated by integrating division information corresponding to items belonging to the item group. 1 generating means,
  The first generation means generates integrated division information for a plurality of types of item groups, associates the integrated division information of the plurality of types of item groups with the moving image data, and uses the identification information to identify each item group. Holding means for holding in association with each other.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the accompanying drawings.
[0013]
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a moving image processing system according to the first embodiment. In FIG. 1, reference numeral 1010 denotes an imaging device that captures a moving image. A storage medium 1020 is used to store moving images and the like. Reference numeral 1030 denotes a browsing device which browses and reproduces a moving image included in the storage medium 1020. Hereinafter, an imaging device 1010 according to the present embodiment, a control method thereof, and an embodiment of a storage medium will be described.
[0014]
FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus according to the present embodiment. In FIG. 2, reference numeral 11 denotes a lens unit that includes a focus lens that adjusts the subject distance and a zoom lens that adjusts the focal distance, and forms an image of the subject on the image sensor 13. A diaphragm 12 adjusts the amount of light reaching the image sensor 13. Reference numeral 13 denotes an image sensor, which includes a CCD that converts input light into an electrical signal. Reference numeral 14 denotes a sample hold / AGC circuit, which performs sample hold and gain adjustment. Reference numeral 15 denotes an A / D converter, which performs analog / digital conversion (A / D conversion). Reference numeral 16 denotes a video signal processing unit that processes a signal to generate a video signal. Reference numeral 18 denotes a noise reduction unit (NR) which has a field memory and removes noise from the video signal. Reference numeral 19 denotes a lens position detection unit that detects the position of the lens. Reference numeral 20 denotes a lens driving unit that drives the lens.
[0015]
A system control unit 21 controls the entire imaging apparatus. FIG. 3 is a block diagram showing a configuration of the system control unit 21. The system control unit 21 has a known CPU 301, ROM 302, RAM 303, I / O interface 304, and bus 305. The ROM 302 stores later-described programs executed by the CPU 301, table values, and the like.
[0016]
Reference numeral 22 denotes a user operation unit, on which keys for the user to operate the imaging apparatus are arranged. Reference numeral 23 denotes a wide key for moving the zoom in the wide (wide angle = image reduction) direction, and reference numeral 24 denotes a tele key for moving in the tele (telephoto = image enlargement) direction. The wide key 23 and the tele key 24 are, for example, seesaw-type interlocking keys, and output to the system control unit 21 an output signal indicating which key is being pressed with what level of pressure. The pressing pressure determines the speed of enlargement / reduction. Reference numeral 29 denotes a recording button. When the recording button 29 is turned on, the system control unit 21 puts the imaging apparatus into a recording state. Reference numeral 30 denotes a mode dial. The user operates this to perform various settings. For example, focus mode (automatic / manual), exposure mode (automatic, gain priority, shutter speed priority, aperture priority, manual), White Balance Mode (hereinafter referred to as WB Mode) (preset-sunlight, cloudy, light bulb, Fluorescent lamp).
[0017]
The set information is input to the system control unit 21, and the system control unit 21 controls the imaging device according to the setting. The noise reduction unit (NR) 18 includes a cyclic noise reduction circuit. An MPEG codec 26 encodes video data in the MPEG-2 format. Reference numeral 27 denotes a recording unit, which includes a drive that drives a recording medium and records information. A recording medium 28 is an optical disk, a magnetic disk, a magneto-optical disk, a magnetic tape, a hard disk, a nonvolatile semiconductor memory (for example, a flash memory), or the like. Reference numeral 25 denotes X-direction rotational speed detection, which detects the speed when the imaging apparatus is shaken in the horizontal direction using a gyro sensor or the like. Reference numeral 31 denotes Y-direction rotational speed detection, which detects the speed when the imaging apparatus is shaken in the vertical direction using a gyro sensor or the like, similar to the X-direction rotational speed detection 25.
[0018]
An outline of the operation of the imaging apparatus having the above configuration will be described. The light from the subject received by the lens unit 11 is adjusted in light quantity by the diaphragm 12 and imaged on the surface of the image sensor 13. Then, after being converted into an electric signal by the image pickup device 13, it is A / D converted by the A / D conversion unit 15 via the sample hold / AGC unit 14 and input to the video signal processing unit 16. In the video signal processing unit 16, processing such as aperture correction, gamma correction, and white balance correction is performed on the input signal for each luminance and color component to generate a video signal, which is output to the noise reduction unit 18. The noise reduction unit 18 is controlled by a control signal from the system control unit 21 and removes noise from the video signal. The video signal from which the noise has been removed is output to the MPEG CODEC 26. The MPEG CODEC 26 encodes the input video signal. At this time, the MPEG codec 26 stores the camera assignment information (described later) input from the system control unit 21 as a file together with the encoded video signal, and outputs the file to a recording device connected to the MPEG codec 26.
[0019]
The system control unit 21 controls each part of the imaging apparatus, and controls the lens driving unit 20 or the electronic zoom unit 17 when the wide key 23 and the tele key 24 of the zoom operation key unit 22 are pressed. And move the zoom in the wide or tele direction. Further, the system control unit 21 determines where the zoom lens 11 is located at the tele end (maximum telephoto end point), the wide end (maximum wide angle end point), or the tele end and wide end based on the lens position detection signal from the lens position detection unit 19. Judge whether it is (zoom magnification).
[0020]
Further, the system control unit 21 switches the control value of the noise reduction between when the optical zoom is stopped and when the optical zoom is stopped according to the control signal output to the noise reduction unit 18. As a result, the amount of noise reduction, that is, the amount of noise removal is varied. At this time, the control value to be switched is a cyclic coefficient K. The control value switching by the control signal is also performed according to the brightness of the subject. That is, since the S / N of the video signal becomes worse as the brightness of the subject becomes darker, the control value is switched so as to increase the effect of noise reduction in order to compensate for it. Further, the system control unit 21 maintains the level of the generated video signal at a predetermined value with respect to the amount of the optical signal from the subject, so that the diaphragm 12, the sample hold / AGC unit 14, the electronic shutter (in FIG. 2, the electronic shutter) The brightness of the subject is comprehensively determined based on the aperture value, AGC gain, electronic shutter speed, and the like used for exposure control.
[0021]
In the above configuration, the imaging apparatus according to the present embodiment provides camera addition information to each captured frame. The camera assignment information is information related to a moving image that can be assigned by the imaging apparatus. This is because information about aperture correction, gamma correction, and WB correction used when the system control unit 21 controls the video signal processing unit 16, the noise reduction unit 18, the electronic zoom unit 17, and the lens driving unit 20, and the lens position Information obtained from sensors such as the detection unit 19 and the X direction rotational speed detection 25, information about user settings obtained from the user operation unit 22 (WB Mode, etc.), and user operations (zoom operation, etc.) obtained from the user operation unit 22 ) And other incidental information. Although not shown in FIG. 2, if other sensors such as a thermometer and a hygrometer are provided, this information can be used as camera-giving information, a strobe connected to the imaging device 1010, etc. Information on external devices such as accessories and measuring devices can also be used as camera-provided information if a correspondence relationship with the video is obtained.
[0022]
Next, the procedure of the moving image shooting process of the imaging apparatus 1010 will be described with reference to the flowchart shown in FIG. First, in step S401, it is determined whether the user has turned on the recording button 29 and instructed to start recording. Until the start of recording is instructed, the imaging apparatus 1010 is in a standby state. When the start of recording is instructed, the recording state is entered, and the process proceeds to step S402. At this time, the recording start time is sent from the system control unit 21 to the MPEG CODEC 26 and described in the header of the file. In step S4020, as described above, the system control unit 21 controls the imaging device 1010 based on information on various sensors and captures an image for one frame. At this time, control information of the imaging apparatus 1010 is held in the RAM 303 as camera-giving information in units of frames. As an example of the format of the control information, Table 1 below shows setting information related to Gain.
[0023]
[Table 1]

[0024]
Next, in step S <b> 403, it is determined whether the user has set a camera via the camera operation unit 22. When the camera setting is performed, in step S404, the system control unit 21 changes the camera setting. At this time, the changed camera setting information is stored in the RAM 303 as frame-based camera provision information. As an example of the format of the setting information as the camera assignment information, the setting information related to WB is shown in Table 2 below.
[0025]
[Table 2]

[0026]
Next, in step S405, it is determined whether or not the camera has been operated. Whether or not the camera is operated can be determined based on whether the wide key 23 and the tele key 24 of the user operation unit 22 are operated, for example, in the case of a zoom operation. Detection is possible by the rotational speed detection 25 and the Y-direction rotational speed detection 31. If the camera is operated, the process proceeds to step S406, and the system control unit 21 controls the imaging apparatus while checking various sensor information in accordance with the operation. At this time, information relating to the operation is held in the RAM 303 as camera-giving information in units of frames. As an example of the format of the operation information as the camera assignment information, Table 3 below shows setting information regarding Zoom and Pan.
[0027]
[Table 3]

[0028]
In steps S402, S404, and S406 described above, the camera-attached information for each frame held in the RAM 303 is managed in a bit field for each frame, and is held for a predetermined number of frames. Next, in step S407, the camera unit-by-frame information held in the RAM 303 is referred to for each item of the camera-added information.
[0029]
Tables 4 to 6 below show examples of items of camera provision information in units of sections. For example, if the unit is grouped with respect to Gain, the unit corresponding to a frame group having a Gain value of 0 is defined as one segment, and the segment corresponding to a frame group greater than 0 is defined as one segment. To do. For WB, a section corresponding to a frame group in the same WB mode is set as one section. In the case of Zoom, a section corresponding to a frame group from the start to the end of the Zoom operation is defined as one section. In the case of Pan, the section corresponding to the frame group from the start to the end of the Pan operation is defined as one section. At this time, the frame positions of the start point and end point of the section are stored in association with each other as time information from the start of shooting of the shot. Note that the frame number may be used instead of the time information because the start point and end point of the section only need to be able to specify the frame position.
[0030]
[Table 4]

[0031]
[Table 5]

[0032]
[Table 6]

[0033]
Next, in step S408, it is determined whether or not the user gives an instruction to end recording by turning off the recording button 29 or the like. If the recording end instruction is not instructed, the above steps S402 to S407 are repeated to continue recording. When the end of recording is instructed, the process proceeds to step S409, and the section-specific camera assignment information stored in the RAM 303 is stored. That is, all the camera assignment information for each section is sent from the system control unit 21 to the MPEG CODEC 26, added as a footer to the second half of the video data, and sent to the recording unit 27. As this method, for example, the camera-giving information for each section may be a private stream and a TS (Transport Stream) packet may be added at the end. In this embodiment, one shot from the start to the end of recording is set as one file, and camera operation information related to one shot is assigned as a footer of the file.
[0034]
FIG. 5 shows an example of a format for storing the above-mentioned section-unit camera assignment information as a footer. FIG. 5 shows a storage format of the camera assignment information included in the moving image file recorded in the storage medium 28. This moving image file is accompanied by camera-attached information that briefly expresses information such as the contents of the moving image information. That is, the moving image file has a moving image storage area and a camera assignment information storage area in the file, and the storage format of the camera assignment information in FIG. 5 shows the internal structure of the camera assignment information storage area. Is. The storage area 501 for camera assignment information has a configuration in which several camera assignment information items 502 of a fixed length size are held, and the remaining area is used as a free area 503.
[0035]
FIG. 6 is a diagram showing the internal structure of the camera assignment information item 502 shown in FIG. In FIG. 6, a camera assignment information item 601 has several items of fixed length. The inside of the camera assignment information item 601 is roughly divided into two, one is the attribute information 602 of the camera assignment information, and the other is the camera assignment information 605. The camera grant information attribute information 602 further has an internal structure and includes camera grant information grant target section information 603 and camera grant information type number 604.
[0036]
The camera assignment information type number 604 is information for identifying the camera assignment information. For zoom information at the time of shooting, for example, “10”, the identification information assigned in advance to each camera assignment information. Is stored. By using this type number 604, the moving image processing apparatus can search for specific camera-assigned information in the moving image file. Further, the provision target section information 603 of the camera provision information represents a section of moving image data targeted by the camera provision information by time information.
[0037]
Next, the browsing apparatus according to the present embodiment for browsing a moving image file obtained by the imaging apparatus described above will be described.
[0038]
FIG. 7 is a block diagram showing a control configuration of the browsing apparatus in the present embodiment. In FIG. 7, reference numeral 701 denotes a CPU, which executes various controls in the browsing apparatus of this embodiment. Reference numeral 702 denotes a ROM which stores a boot program and various data executed when the apparatus is started up. A RAM 703 stores a control program for processing by the CPU 701 and provides a work area when the CPU 701 executes various controls. A keyboard 704 and a mouse 705 provide various input operation environments for the user.
[0039]
Reference numeral 706 denotes an external storage device, which includes at least one of a hard disk, a floppy (registered trademark) disk, an optical disk, a magnetic disk, a magneto-optical disk, a magnetic tape, and a nonvolatile semiconductor memory (for example, a flash memory). Reference numeral 707 denotes a display, which includes a display and displays various processing results and the like for the user under the control of the CPU 701. A network interface 708 enables communication with each device on the network. Reference numeral 711 denotes a bus, which connects the above configurations.
[0040]
  FIG. 8 is a block diagram illustrating a functional configuration of the browsing apparatus according to the present embodiment. Reference numeral 801 denotes a storage medium, which corresponds to the storage medium 28 in FIG. Reference numeral 802 denotes a reading unit that reads a moving image and camera addition information on the storage medium 801. A sub-shot division unit 803 divides a moving image into meaningful sections (sub-shots) based on the above-described camera assignment information added to the footer unit of moving image data. A thumbnail creation unit 807 creates a thumbnail for the section determined by the sub-shot division unit 803. Reference numeral 806 denotes a recording unit that records the division points determined by the sub-shot division unit 803 on the storage medium 801 as sub-shot information, and a thumbnail described later.Creation departmentThe thumbnail created in step 807 is recorded on the storage medium 801. A user operation unit 804 includes a keyboard 704 and a mouse 705, and gives a moving image reproduction instruction and the like. Reference numeral 805 denotes a browsing / playback unit that enables browsing and playback of a moving image file on the display 707 based on a user instruction via the user operation unit 804.
[0041]
Here, sub-shot division will be further described. FIG. 15 is a diagram for explaining the outline of sub-shot division. Reference numerals 1501 to 1504 denote moving image data in the same moving image file (the same shot), which are divided into meaningful sections (called sub-shots) based on the respective viewpoints. Note that the expression “divide” means to determine a division point in units of sub-shots, and does not mean to actually separate the moving image file.
[0042]
In FIG. 15, reference numeral 1501 denotes a moving image divided from the viewpoint of the environment at the time of shooting. Here, a section (a1) shot under an indoor fluorescent lamp and a section shot under outdoor sunlight. The example divided into two sub-shots of (a2) is shown. 1502 is divided from the viewpoint of the photographed subject. Here, the sections (b1, b3) where the subject A is photographed, the sections (b2, b4) where the subject B is photographed, and the sections where the subject C is photographed (b) An example of dividing into five sub-shots of b5) is shown. 1503 is divided from the viewpoint of the angle of view at the time of shooting, and here, six sub-shots of a section (c1, c3, c5) shot up and a section (c2, c4, c6) shot the whole The example divided into is given. Note that it is possible to determine whether it is up or the whole by zoom magnification (in this sense, the up section is equivalent to the zoomed-in section). 1504 is an example in the case of dividing based on two or more viewpoints, and the result of dividing the image from the viewpoint of the environment (1501) at the time of shooting and the viewpoint of the photographed subject (1502) (the result of integrating the divisions). Show. Since the fluorescent light section (a1) and the sunlight section (a2) exist in the section b3 of 1502, the division result shown in 1504 is composed of six sub-shots, one more than 1502.
[0043]
FIG. 9 is a diagram showing an example of a user interface by the browsing device of the present embodiment. Reference numeral 901 denotes a thumbnail and moving image playback display area. The display area 901 displays thumbnails of shots or sub-shots when browsing, and displayed moving images when playing back moving images. A pointer 902 is used when selecting a shot or a sub-shot and giving a reproduction instruction. Reference numeral 903 denotes a scroll bar. When displaying thumbnails in the display area 901, if the number of thumbnails to be displayed exceeds the display limit (9 in FIG. 9), it cannot be displayed at once by operating this. Thumbnails can be displayed in order. Reference numeral 904 denotes a viewpoint designation button for designating a viewpoint for sub-shot division. In this embodiment, three viewpoints of “imaging environment”, “subject”, and “angle of view” are prepared. Reference numeral 905 denotes an OK button. When this button is turned on, a list of sub-shots divided according to the viewpoint designated by the viewpoint designation button 904 is displayed in the display area 901. Reference numeral 906 denotes an end button that instructs the apparatus to end the process.
[0044]
FIG. 16 is a diagram showing a display state corresponding to each operation in the display area 901 of FIG. When (a) shot browsing in FIG. 9 is performed, a list of thumbnails corresponding to each shot is displayed. Next, a desired thumbnail (shot) is selected with the pointer 902 (in FIG. 16, it is represented by a thick frame, indicating that the shot B is selected), and the viewpoint of sub-shot division is selected with the viewpoint designation button 904. When the OK button 905 is turned on after designation ("subject" is designated in FIG. 9), a sub-shot of the selected shot (shot B in the figure) (moving image from the viewpoint of "subject" is divided) Is displayed (referred to as viewpoint b in FIG. 16). When a sub-shot is selected with the pointer 902 (B-b2 is selected in FIG. 16) and double-clicked, a moving image is reproduced from the head of the selected sub-shot and displayed in the display area 901 (see FIG. 16 (c)). Of course, it is also possible to reproduce a moving image from the head of the shot by selecting a shot and double-clicking when viewing the shot in (a).
[0045]
The operation of the browsing apparatus of the present embodiment as described above will be described in detail with reference to FIG. FIG. 10 is a flowchart showing an operation example of the browsing apparatus according to the present embodiment.
[0046]
The processing of this apparatus is largely divided into sub-shot division processing from step S1001 to step S1004 and browsing processing from step S1005 to step S1010.
[0047]
First, sub-shot division processing will be described. In step S1001, the reading unit 802 reads all moving image files from the storage medium 801, and obtains moving image data and a plurality of camera attachment information (hereinafter referred to as a camera attachment information list) included therein. In step S1002, the sub-shot division unit 803 performs sub-shot division for each viewpoint based on the read camera assignment information list, and determines a division point for each viewpoint (details of the process will be described later). To do). Next, in step S1003, the thumbnail creation unit 807 creates a thumbnail image to be displayed for listing the sub-shots with the browse device. The thumbnail image can be obtained by acquiring the first frame of the sub-shot section from the moving image and reducing it. However, of course, the form of the list display and the generation of thumbnails are not limited to the above, and any form may be used as long as the contents of the sub-shot can be roughly grasped.
[0048]
Next, in step S1004, the recording unit 806 records the result of sub-shot division on the storage medium 801 as sub-shot information. This is not essential, but by recording such sub-shot information in the storage medium 801, the result of sub-shot division can be used in other devices.
[0049]
Here, an example of a format for storing the sub-shot information will be described. FIG. 13 shows a storage format of sub-shot information of a moving image file recorded in the storage medium 801. As shown in FIG. 13, a sub-shot information storage area is added and held after the camera assignment information storage area described in FIG. The sub-shot information storage format shown in FIG. 13 shows the internal structure of the sub-shot storage area.
[0050]
The sub-shot storage area 1301 is further divided into two areas. One is a sub-shot index storage area 1302 and the other is a thumbnail image storage area 1305. The sub-shot index storage area 1302 has a structure in which several sub-shot indexes 1303 having a fixed length are held, and the remaining area is used as a free area 1304. Further, the thumbnail image storage area 1305 has a configuration in which several thumbnail images 1306 are held and the remaining area is used as a free area 1307.
[0051]
FIG. 14 is a diagram showing the internal structure of the sub-shot index 1303 in FIG. The sub-shot index 1401 has several items of fixed length. The sub-shot section information 1402 expresses a sub-shot section with time information, and is used to indicate one sub-shot in the shot. Note that the sub-shot section may be represented by a frame number in the same manner as the camera assignment information. The viewpoint type number 1403 is a number for identifying a viewpoint (described later) at the time of sub-shot division. The thumbnail image storage position information 1404 represents the storage position of the thumbnail image in the thumbnail image storage area corresponding to the sub-shot, for example, by an offset from the head of this area.
[0052]
Next, a detailed procedure of the sub-shot division process in step S1002 will be described with reference to FIGS. 11A and 11B.
[0053]
First, sub-shot division related to the viewpoint of “imaging environment” is performed. In step S1101, it is checked whether there is a camera assignment information item regarding the viewpoint of the shooting environment. Specific items related to the shooting environment include various items such as focus, IRIS, Gain, WB, and AE Mode. In this embodiment, WB and Gain are used for explanation. The setting of WB is changed according to the shooting environment. For example, under sunlight, the user sets the preset sunlight, and under the fluorescent lamp, the user sets the preset fluorescent lamp. Therefore, if the WB Mode is different, it can be determined that the shooting environment has also changed. Further, Gain becomes positive when shooting in a very dark environment, and is used as a means for the image pickup apparatus to correct the brightness of the image. Therefore, it can be determined that the shooting environment has changed depending on whether Gain is positive.
[0054]
If neither WB nor Gain is present in the camera assignment information item list, sub-shot division cannot be performed from the viewpoint of “imaging environment”, so steps S1102 to S1104 are skipped, and the next step S1105 is performed. move on. If either WB or Gain exists, the process proceeds to step S1102, where the WB or Gain grant target section is used as it is as a sub-shot section, and is copied to the sub-shot section information 1402 as it is. If both WB and Gain exist, the process proceeds to step S1103, the OR of the WB and Gain grant target sections is taken, and the result is directly copied to the sub-shot section information 1402 as a sub-shot section. Next, in step S1104, 1 representing “imaging environment” is assigned as the viewpoint type number to each of the sub-shot sections determined in step S1102 or S1103, and the viewpoint type number 1403 is recorded.
[0055]
As described above, in the example of the viewpoint of “shooting environment”, only a plurality of types of items that match the viewpoint are selected from the camera assignment information, and the sub-shot section is determined by ORing each section. is doing. Therefore, it is possible to remove sections of items that are not related to the viewpoint.
[0056]
Next, sub-shot division related to the “subject” viewpoint is performed. In step S1105, it is checked whether there is a camera assignment information item related to the viewpoint of the subject. Various items such as Pan and Tilt can be considered as specific items related to the viewpoint of the subject, but in this embodiment, only Pan is used for explanation. In order to move the viewpoint from the subject A to the subject B during shooting, the user needs to perform a Pan operation that swings the imaging device in the horizontal direction. Therefore, it can be determined that the subject has changed before and after the Pan operation.
[0057]
If Pan does not exist in the camera assignment information item list, sub-shot division (from step S1106 to step S1109) regarding the viewpoint of the subject is skipped, and the process proceeds to the next step S1110. On the other hand, if Pan exists in the camera assignment information item list, the process advances to step S1106 to copy all of the Pan assignment target sections to the sub-shot section target list. The sub-shot section target list is used as a temporary, and has the same format as the camera assignment information storage area 501.
[0058]
Next, the process proceeds to step S1107, and a section without a Pan operation is inserted as a no-operation section in the sub-shot section target list. At this time, a special number (for example, 0) or the like is recorded in the type number 604 to indicate no operation. Next, the process proceeds to step S1108, where the period from the start position of the no-operation section to the end of panning in the sub-shot section target list is set as the sub-shot section and copied to the sub-shot section information 1402. However, if the end of the shot is a no-operation section, this is used as it is as a sub-shot section (not shown). Next, in step S1109, 2 representing “subject” is assigned as the viewpoint type number to the sub-shot section determined in step S1108, and recorded in the viewpoint type number 1403. In this embodiment, the sub-shot section is from the start position of the no-operation section to the end of panning, but this is a section in which the subject is changing during panning, so part of the previous section This is because it is regarded as one sub-shot section.
[0059]
Next, sub-shot division related to the “view angle” is performed. In step S1110, it is checked whether there is a camera assignment information item related to the angle of view. Specific items related to the angle of view include various items such as Zoom and Digital Zoom. In the present embodiment, it is assumed that Zoom is used for explanation. For example, in order to take a close-up image of the face of the subject A after adjusting the angle of view and taking the entire subject A, the user needs to operate the Zoom to the tele side. Therefore, it can be determined that the angle of view has been changed after performing the Zoom operation.
[0060]
If Zoom does not exist in the camera assignment information item list, sub-shot division (from steps S1111 to S1116) regarding the view angle is skipped. If Zoom exists, the process advances to step S1111 to copy all the sections to be given with Zoom to the above-described sub-shot section target list. Next, in step S1112, it is determined whether the zoom operation amount is equal to or less than a predetermined value. The reason for making such a determination is that when the operation amount is small, it can be determined that the angle of view is only finely adjusted. The operation amount can be expressed by an absolute value of a difference between the start zoom magnification and the end zoom magnification. The predetermined value is preferably 1.5 times, but is not particularly limited. If there is a Zoom below the predetermined value, the process proceeds to step S1113, and the Zoom below the predetermined value is deleted from the sub-shot division target list.
[0061]
Next, the process proceeds to step S1114, and a section without a zoom operation is inserted as a no-operation section in the sub-shot section target list. Next, the process proceeds to step S11150, and the sub-shot section is set from the start position of the no-operation section in the sub-shot section target list to the end of Zoom, and is copied to the sub-shot section information 1402. However, if the end of the shot is a no-operation section, this is used as it is as a sub-shot section (not shown). Next, in step S1116, 3 representing “angle of view” is assigned as the viewpoint type number to each of the sub-shot sections determined in step S1115, and is recorded in the viewpoint type number 1403. In this embodiment, the sub-shot section is from the start position of the no-operation section to the end of Zoom, but this is a section in which the angle of view is changing during Zoom, so it is one of the previous sections. This is because it is regarded as a part and is taken as one sub-shot section.
[0062]
Next, returning to FIG. 10, the browsing process from step S1005 to step S1010 will be described.
[0063]
In step S1005, thumbnails representing each moving image file (shot) are displayed in the display area 901. As a thumbnail representing a shot, for example, a method of using a thumbnail of a sub-shot registered at the top can be considered. However, of course, a method of separately creating a thumbnail for shots may be used. The goal is to achieve an overview of the contents of the shot. The thumbnails are arranged in the display area 901 from the top row to the bottom row, for example, from left to right in the row, in the order of shooting start times described in the header of the file. .
[0064]
In step S1006, it is determined whether a sub-shot display instruction has been issued. This can be determined based on whether or not the OK button 905 in FIG. 9 is turned on. If it is not ON, step S1007 is skipped and the process proceeds to step S10008. If the OK button 905 is turned on, the process advances to step S1007 to display the sub-shots divided according to the viewpoint designated by the viewpoint designation button 904. For example, when the shooting environment is designated, only the sub-shots in which 1 is set in the viewpoint type number 1403 are read, and the thumbnail images are displayed. In this embodiment, it is possible to select a plurality of viewpoints simultaneously. For example, when “shooting environment” and “subject” are designated, sub-shots whose viewpoint type numbers 1403 are 1 and 2 are selected. Reading, ORing the sub-shot section as indicated by 1504 in FIG. 15, and displaying the result.
[0065]
Next, in step S1008, it is determined whether or not a moving image playback instruction has been issued. This can be determined by whether a specific shot or sub-shot is double-clicked using the pointer 902. If no playback instruction has been given, step S1009 is skipped and the process proceeds to step S1010. On the other hand, if playback is instructed, the process advances to step S1009 to play a moving image from the head of the designated shot or sub-shot. After reproduction, the display returns to the original shot or sub-shot list display (not shown). In step S1010, it is determined whether an end instruction has been issued. This can be determined based on whether or not the end button 906 in FIG. 9 is turned on. If termination is not instructed, steps S1006 to S1009 are repeated. If an end instruction is given, the process ends from step S1010.
[0066]
As described above, according to the first embodiment, even when a moving image is divided into many sections due to an operation of the photographing apparatus or a change in state, it is possible to obtain a sub-shot obtained by dividing the moving image according to a desired viewpoint. The divided sections are indicated by thumbnails. Therefore, the user can quickly find a desired location of the moving image, and can easily perform reproduction and editing work.
[0067]
[Second Embodiment]
Next, a second embodiment will be described. In the first embodiment described above, information on sensors and operation units provided in the imaging apparatus 1010 or control information is provided as camera provision information. In the second embodiment, camera assignment information that can be extracted by analyzing imaging data is provided after shooting and used as camera assignment information.
[0068]
Since the configuration of the moving image processing system and the configuration of the imaging device 1010 and the browsing device 1030 are substantially the same as those in the first embodiment, description thereof will be omitted and only the differences will be described below.
[0069]
FIG. 12 is a block diagram showing a functional configuration of the browse device 1030. Since 1201 to 1207 have the same configuration as 801 to 807 in the first embodiment (FIG. 8), description thereof is omitted. Reference numeral 1208 denotes a camera assignment information extraction unit that analyzes video data read from the storage medium 1201 via the reading unit 1202 and extracts camera assignment information that has not been assigned by the imaging apparatus 1010. Here, as an example, it is assumed that panning and tilting are not given by the imaging device 1010.
[0070]
As a method of extracting pan / tilt from video data, the vanishing point of the motion vector is obtained by using the Hough transform, and the vanishing point that obtained the maximum number of votes among the plural vanishing points is set as the vanishing point with respect to the background. There are techniques such as explaining a constraint formula related to pan / tilt. The relationship between pan / tilt and vanishing points and methods for obtaining pan / tilt are detailed in, for example, “Kenya Kenichi,“ Image Understanding ”, Morikita Publishing”. In this way, by analyzing the video data, it is possible to further add the obtained camera assignment information and use it in the sub-shot division unit 1203.
[0071]
The pan / tilt information obtained as described above is added to the camera addition information storage area described with reference to FIG. 5, and is used when generating a sub-shot information storage area as shown in FIG.
[0072]
[Other Embodiments]
In the first and second embodiments, the image capturing apparatus 1010 and the browse apparatus 1030 are used. However, if the image capturing apparatus 1010 has sufficient processing capability, the image capturing apparatus 1010 has a function of the browse apparatus 1030. It may be configured by one device. Even in this case, if the sub-shot information is recorded in the storage medium 1020, the result of the sub-shot division can be used in other devices.
[0073]
In the first and second embodiments, the sub-shot division unit 803, the thumbnail creation unit 807, and the camera assignment information extraction unit 1208 are configured on the browse device 1030. However, if the imaging device 1010 has sufficient processing capability. These may be configured on the imaging device 1010. In this case, the browsing device 1030 can perform the above-described browsing process by reading the sub-shot information from the storage medium 1020 in which the sub-shot information is recorded.
[0074]
In the first and second embodiments, the imaging device 1010 generates the camera-giving information for each section during shooting and records it in the storage medium 1020. However, if the imaging device 1010 does not have sufficient memory and processing capability, It is also possible to record the camera-attached information in units of frames and later perform a process for collecting each section. At this time, there is a method of storing the camera assignment information in units of frames, such as in an unused area in the management information of image data. Specifically, for example, in the case of an MPEG-2 stream, there is a method of storing in a user area of a picture header.
[0075]
In addition, even if the imaging apparatus 1010 has the capability of recording the camera assignment information in units of sections, it may of course be configured to record the camera assignment information in units of frames. In this way, the recording becomes redundant, but even if the file operation is performed and the section-by-section camera assignment information is lost or needs to be changed, it is re-calculated from the frame-by-frame camera assignment information, and the section It becomes possible to recreate the camera addition information for each unit.
[0076]
Further, in the first and second embodiments, the camera assignment information and sub-shot information for each section are stored in binary format. However, if the imaging device 1010 has sufficient processing capability, or the browse device 1030 is used. Of course, a text format or an original DTD (Document Type Definition) may be defined and expressed in an XML (Extensible Markup Language) format or the like. Further, when storing in a format according to MPEG7, it may be stored in Segment DS.
[0077]
In the first and second embodiments, the camera assignment information and the sub-shot information are exchanged via the storage media 28, 801, and 1201, but a communication unit such as IEEE1394 is provided and exchanged thereby. It doesn't matter.
[0078]
In the first and second embodiments, one shot is used as one moving image file, but a plurality of shots may be used as one moving image file. In this case, it is only necessary to assign an identification number or the like so that each shot can be associated with the camera assignment information and the sub-shot information.
[0079]
In the first and second embodiments, the shooting environment, the subject, and the angle of view have been increased from the viewpoint of sub-shot division. However, the present invention is not limited to this. For example, is an effect applied? Various viewpoints can be considered.
[0080]
Furthermore, in the first and second embodiments, the result of sub-shot division is used for browsing, but if the sub-shot is a basic unit and a viewpoint type designation means is provided, video editing, frame printing, digest reproduction, etc. It should be understood that it can be used in a variety of ways. For example, in the case of moving image editing, if a shot to be shot is divided into sub-shots according to viewpoints, the division position can be used to specify In / Out points for editing. In the case of frame printing, for each sub-shot, frame printing candidates can be presented for each viewpoint by extracting and presenting, for example, the center frame of the sub-shot section. In the case of digest reproduction, digest reproduction for each designated viewpoint can be performed by reproducing the first few seconds of each sub-shot.
[0081]
As described above, according to each of the above embodiments, it is possible to obtain a sub-shot according to the designated viewpoint by designating the viewpoint that the user is paying attention to. Sub-shots can be obtained. Further, by associating the viewpoint with the sub-shot information and storing it in the storage medium, it becomes possible to use it in various devices.
[0082]
An object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.
[0083]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0084]
As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile raw memory card, a ROM, or the like is used. be able to.
[0085]
Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer is actually executed based on an instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing a part or all of the process and the process is included.
[0086]
Further, after the program code read from the storage medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0087]
【The invention's effect】
As described above, according to the present invention, it is possible to quickly find a desired place and easily perform reproduction and editing work even when a moving image is divided into many sections due to operation of the photographing apparatus or a change in state. Yes.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a moving image processing system according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus according to the embodiment.
3 is a block diagram illustrating a configuration of a system control unit in the imaging apparatus of FIG. 2;
FIG. 4 is a flowchart illustrating a procedure of moving image imaging processing by the imaging apparatus of the embodiment.
FIG. 5 is a diagram illustrating an example of a storage format of camera assignment information.
6 is a diagram showing an example of an internal structure of a camera assignment information item shown in FIG. 5. FIG.
FIG. 7 is a block diagram showing a control configuration of the browsing apparatus according to the embodiment.
FIG. 8 is a block diagram showing a functional configuration of the browse device according to the first embodiment.
FIG. 9 is a diagram illustrating an example of a user interface of the browsing apparatus.
FIG. 10 is a flowchart showing an operation example of the browse device.
FIG. 11A is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 11B is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 12 is a block diagram illustrating a functional configuration of a browsing device according to the second embodiment.
FIG. 13 is a diagram illustrating an example of a storage format of sub-shot information according to the embodiment.
14 is a diagram showing an example of an internal structure of a sub-shot index shown in FIG.
FIG. 15 is a diagram illustrating an outline of sub-shot division.
16 is a diagram showing an example of an operation of a display area in the user interface shown in FIG.
FIG. 17 is a diagram for explaining general moving image division;

Claims (11)

A first generation step of generating division information for dividing the moving image based on each of a plurality of items of data indicating a state at the time of shooting the moving image;
A registration step of registering in association with the moving image data so that the division information corresponding to each of the plurality of items generated in the first generation step can be read for each item;
A second generation step of generating integrated division information corresponding to a combination of the items by integrating division information corresponding to the plurality of items selected from the plurality of items ;
A moving image processing method comprising: a step of generating integrated division information for a combination of a plurality of items by the second generation step and holding the information in association with identification information for identifying each combination . The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing method,
First, an item group composed of a plurality of items selected from the plurality of items is defined, and integrated division information corresponding to the item group is generated by integrating division information corresponding to items belonging to the item group. 1 generation process,
By the first generating step to generate an integrated split information about a plurality of types of field groups, the plurality of types of integrated division information field groups, to correspond to the moving image data Rutotomoni, identification information for identifying each item group A moving image processing method, comprising: a holding step of holding the image in association with each other. The moving image processing method according to claim 2 , further comprising a recording step of recording the integrated division information on a recording medium in association with the moving image data. For each of the plurality of types of field groups, according to claim 2, further comprising a registration step of registering representative images representing each section of the time obtained by dividing the moving image data by integration division information corresponding Video processing method. A designation step for designating one of the plurality of types of item groups;
5. The moving image processing method according to claim 4 , further comprising a display step of displaying a representative image registered corresponding to the item group specified in the specifying step. 6. The moving image according to claim 5 , further comprising an execution step of executing a predetermined process for a section of moving image data corresponding to the representative image indicated by the representative image displayed in the display step. Processing method. Wherein the item group, the environment at the time of photographing, the subject photographed, any one of claims 1 to 6, wherein the subject size when taken, giving the effect to the moving image, which is either The moving image processing method described in 1. First generation means for generating division information for dividing the moving image based on each of a plurality of items of data indicating a state at the time of shooting the moving image;
Registration means for registering in association with the moving image data so that division information corresponding to each of the plurality of items generated by the first generation means can be read for each item;
Second generation means for generating integrated division information corresponding to a combination of the items by integrating division information corresponding to the plurality of items selected from the plurality of items ;
A moving image processing apparatus comprising: holding means for generating integrated division information for a combination of a plurality of items by the second generation means and holding the information in association with identification information for identifying each combination . The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing apparatus,
First, an item group composed of a plurality of items selected from the plurality of items is defined, and integrated division information corresponding to the item group is generated by integrating division information corresponding to items belonging to the item group. 1 generating means,
The first generation means generates integrated division information for a plurality of types of item groups, A moving image processing apparatus comprising: holding means for holding integrated division information of a plurality of types of item groups in association with the moving image data and holding the information in association with identification information for identifying each item group. A computer-readable recording medium characterized by recording a control program for executing the moving image processing method according to the computer in any one of claims 1 to 7. A control program for executing the moving image processing method according to the computer in any one of claims 1 to 7.

Images