JP2003092723A - 動画データ処理装置及び方法 - Google Patents
動画データ処理装置及び方法Info
- Publication number
- JP2003092723A JP2003092723A JP2001283960A JP2001283960A JP2003092723A JP 2003092723 A JP2003092723 A JP 2003092723A JP 2001283960 A JP2001283960 A JP 2001283960A JP 2001283960 A JP2001283960 A JP 2001283960A JP 2003092723 A JP2003092723 A JP 2003092723A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- editing
- group
- result
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
- G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/835—Generation of protective data, e.g. certificates
- H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B2220/00—Record carriers by type
- G11B2220/20—Disc-shaped record carriers
- G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
- G11B2220/2537—Optical discs
- G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
Abstract
追従させ、編集者のメタデータ再編集に関する負担を軽
減する。 【解決手段】ビデオセグメント区間情報110は、動画
データを分割して得られたビデオセグメントにIDを付
与し、各ビデオセグメントの区間とIDとを対応付けた
情報である。各ビデオセグメントに対応するメタデータ
は、各ビデオセグメントに付与されたIDと関連づける
ことによって管理される。編集操作では、ビデオセグメ
ントを単位とした編集が行なわれ、ビデオセグメントI
Dの並びを操作することになる。従って、編集が行われ
ても、メタデータ情報111を参照するにおいて何等不
整合は発生せず、動画編集と同期してメタデータが更新
されたのと等価になる。
Description
法及び装置に関する。
気テープ等のテープデバイスに記憶させることが行われ
ている。このようなテープデバイスに記憶された動画デ
ータに対してはランダムアクセスが出来ないため、ビデ
オ編集においては実際に動画ストリームを作成する必要
があった。しかし、近年、動画をハードディスクのよう
なランダムアクセスできるデバイスに記憶することが可
能となり、再生する動画区間を連続して指定することに
より仮想的な編集が可能となった。
やり直し等を容易に行なうことができ、非常に便利であ
る。また、ランダムアクセスが可能なデバイスに動画を
記憶させた場合は、メタデータによる動画検索(シーン
検索)や、ダイジェスト的に動画再生を行なうサマリー
再生が可能となり、多機能な動画再生装置を提供するこ
とができる。
は、これに追従してメタデータやサマリーデータを編集
する必要がある。例えば、動画編集内容がメタデータに
反映されなかった場合は、メタデータによって編集後の
動画を検索、再生しようとしたときに、編集後の動画に
は含まれない部分が検索されてしまう可能性がある。す
なわち、動画の仮想編集とメタデータの更新を同期さ
せ、メタデータを用いてビデオセグメントの検索を行う
場合にも、仮想編集で削除されたビデオセグメントを検
索ヒット結果に出さないようにする配慮が必要である。
マリーを見て内容確認・把握を行なうが、動画編集内容
がサマリーデータに反映されていないと、サマリーを再
生したときに編集後の動画とサマリーの間に不一致が生
じることになる。例えば、仮想編集においてビデオセグ
メントの並び順序を変更したりビデオセグメントを削除
した場合に、サマリー再生によるシーンの順序が編集後
の動画と異なったり、削除されたシーンが再生されたり
して、動画を見る人に対して違和感を与えてしまう。
ータやサマリーデータを編集することは非常に煩わしい
ものであり、動画そのものの編集が容易になっても、編
集作業の手間はむしろ増加する傾向にある。
であり、動画の仮想編集にメタデータの更新を自動的に
追従させるようにし、編集者のメタデータ再編集の負担
を軽減することを目的とする。
集に追従してサマリーデータを自動的に更新可能とし、
動画の編集後においても違和感を与えないサマリー再生
を可能とすることにある。
めの本発明による動画データ処理装置は以下の構成を備
える。すなわち、動画データを複数フレームからなるグ
ループに分割してIDを付与し、各グループを管理する
グループ管理手段と、前記動画データの編集結果として
得られたIDの並びを記憶する編集結果記憶手段と、前
記編集結果記憶手段に記憶されたIDの並びに従って前
記グループを再生することで編集結果としての動画デー
タを再生する動画再生手段と、前記各グループに対応す
るメタデータを、各グループに対応するIDと関連づけ
ることによって管理するメタデータ管理手段とを備え
る。
による動画データ処理方法は以下の工程を備える。すな
わち、動画データを複数フレームからなるグループに分
割してIDを付与し、各グループを管理するグループ管
理工程と、前記動画データの編集結果として得られたI
Dの並びを記憶する編集結果記憶工程と、前記編集結果
記憶工程によって記憶されたIDの並びに従って前記グ
ループを再生することで編集結果としての動画データを
再生する動画再生工程と、前記各グループに対応するメ
タデータを、各グループに対応するIDと関連づけるこ
とによって管理するメタデータ管理工程とを備える。
明の好適な実施形態について詳細に説明する。
成を示すブロック図である。図1において、101はC
PUであり、ROM102或いはRAM103に格納さ
れた制御プログラムを実行することにより、後述のフロ
ーチャートに示される制御を含む各種制御を実行する。
102はROMであり、CPU101によって実行され
る制御プログラムや各種データが格納される。103は
RAMであり、外部記憶装置に格納された制御プログラ
ムをロードする領域や、CPU101が各種制御を実行
する際の作業領域を提供する。
示を行なう。105は操作部であり、キーボードやマウ
スを備える。106は動画再生装置であり、例えばDV
Dに記録された動画を再生する。107は外部記憶装置
であり、CPU101によって実行されるべき制御プロ
グラム115の他、ビデオセグメント区間情報110、
メタデータ情報111、部分再生区間情報112、編集
結果情報113、サマリー再生情報114を格納する。
110〜114によって示される各情報は、動画毎に生
成、保持されるが、各々の詳細については後述する。1
08は、上述の各構成を接続するシステムバスである。
装置の動作について、以下に説明する。
概要を示すフローチャートである。まず、ステップS2
01において動画データをセグメント化し、各セグメン
トにIDを付与して、各セグメントを管理する。ステッ
プS201の処理について、図9及び図10を参照して
更に詳細に説明する。
区間情報生成処理を説明するフローチャートである。図
9は本実施形態によるビデオセグメントへの分割の概念
を示す図である。また、図10は本実施形態によるビデ
オセグメント区間情報110のデータ構成例を示す図で
ある。
一連の画像フレームを、複数の画像フレームから構成さ
れるビデオセグメントに分割する。なお、ビデオセグメ
ントへの分割の方法としては、(1)表示した画面に対し
て操作部105から指示を与えて、マニュアルでビデオ
セグメントへ分割する、(2)自動的にシーンチェンジを
検出し、この検出結果に従ってビデオセグメントに分割
する、或いは(3)自動的にシーンチェンジ検出を行って
ビデオセグメント分けした後、マニュアルで修正を行う
等が挙げられる。もちろんこれ以外の方法を採用するこ
とも可能であり、ビデオセグメントへの分割方法は問わ
ない。
ビデオセグメントに対してシーケンシャルにIDを割り
付ける。そして、このIDを用いてビデオセグメントを
管理する為の、図10の如きビデオセグメント区間情報
110を生成し、外部記憶装置107に記憶する。
デオセグメント区間情報は、各ビデオセグメントの開始
点と終了点で各セグメントの区間を表現する。なお、図
10では区間情報(開始点、終了点)をタイムコードで
表現しているが、フレーム番号を用いてもよい。すなわ
ち、ビデオ区間を表現できるものであればその表現方法
は問わない。
201における処理を終えると、ステップS202へ進
み、メタデータ情報111が生成され、外部記憶装置1
07に格納される。この処理について、図4及び図11
を参照して更に詳しく説明する。図4はメタデータ情報
の生成手順を説明するフローチャートである。また、図
11は本実施形態によるメタデータ情報のデータ構成例
を示す図である。
与するビデオセグメントIDを指定する。IDの指定方
法としては、操作部105よりID番号を直接入力して
もよいし、動画再生を行なっている最中に、所望の場面
で所定操作(例えば動画再生領域をクリックする等)を
行なうことにより、当該所望の場面が含まれるビデオセ
グメントIDが特定されるようにしてもよい。
れたビデオセグメントIDに対応するメタデータフィー
ルドへマニュアルで、或いは自動的に、或いは半自動で
メタデータを記述する。なお、自動、半自動による記述
例としては次のような例が挙げられる。例えば日時など
は完全に自動付与できる。またGPSがあれば場所も自
動付与出来るし、大まかな地名だけでなく建物の名前な
どまで付与する場合にはマニュアルで付加することにな
る。さらに、例えば結婚式の様に進行イベントがとタイ
ムテーブルがハッキリしているものの場合に、時間情報
や時系列関係更にはパターンマッチングを用いて推測す
る事により、ビデオセグメントに「挙式」、「披露
宴」、更に細かくは「指輪交換」「キス」「入場」「主
賓挨拶」「乾杯」「ケーキカット」などのメタデータが
ある程度の間違いはあっても付与できる可能性がある。
本実施形態ではこれを「自動」付与と称する。また、自
動付与が間違えた場合に人間がこれを補正する、或いは
自動付与出来るものと出来ないものが混在している場合
を「半自動」付与と称する。そして、ステップS403
において、メタデータ情報111として外部記憶装置1
07に格納する。図11に示すのがメタデータスキーマ
の一例である。この例では動画毎にテーブルを作成し、
ビデオセグメントID毎にステップS402で記述され
たメタデータを管理している。
いて、サマリー再生のための部分再生区間情報112を
生成し、これを外部記憶装置107に格納する。図5
は、ステップS203における部分再生区間情報の生成
手順を説明すフローチャートである。また、図12は本
実施形態によるサマリー再生のための部分再生区間情報
のデータ構成例を示す図である。ここで言う動画サマリ
ーとは、部分動画をシーケンシャルに再生するものであ
る。なお、図12では、サマリーのための部分再生区間
は説明の簡略化のため各ビデオセグメントに1つとした
が、それは本発明の制限を示すものではなく、各ビデオ
セグメントに対して任意の数の部分再生区間を持つこと
が可能である。すなわち、各ビデオセグメントについて
登録されるサマリー再生すべき部分動画は1つでも複数
でもかまわない。
を再生するための情報を生成する処理の例を示してい
る。ステップS501でサマリー再生の対象にするビデ
オセグメントを選択し、ステップS502で部分再生開
始点および部分再生終了点を指定する。この処理は実際
に動画を目視で確認し長柄マニュアルで割り付けてもよ
いし、何らかの画像解析処理を行なって自動的に部分動
画を抽出するようにしてもよい。画像解析による自動抽
出方法としては、例えば動きの激しい区間や逆に動きの
大人しい区間を検出して、再生すべき部分動画とするこ
と等が挙げられる。もちろん他の手法によって再生すべ
き部分動画を決定してもよく、その手法は問わない。
で指定されたビデオセグメント中に更にサマリー再生す
るための部分再生区間が存在するか否かを判定(例え
ば、他の部分再生区間を設定する旨の指示があったか否
かで判定する)し、存在する場合には再びステップS5
02に戻り他の部分再生区間を指定する。こうして、同
一のビデオセグメント中に複数の部分再生区間を設定す
ることが可能となる。これ以上指定すべき部分再生区間
がない旨指示されると、ステップS503からステップ
S504へ進み、部分再生区間を設定すべき他のビデオ
セグメントがあるかどうかを判定する(例えば、部分再
生区間を設定する他のビデオセグメントが指定されたか
否かで判定する)。そして、他のビデオセグメントがあ
ればステップS501へ戻り、無ければ本処理を終了す
る。
再生区間情報112が生成され、外部記憶装置107に
格納される。部分再生区間情報112は動画サマリーを
再生するための情報であり、後述の仮想編集によって変
化しないものである。図12に示されるように、部分再
生区間情報112は、各ビデオセグメントに対して動画
サマリーとして再生すべき部分動画のリストという形態
で表現されている。また、部分動画は、ビデオセグメン
ト区間情報110と同様に開始点と終了点で表現され
る。なお、図12では部分動画の区間をタイムコードで
表現しているが、フレーム番号等を用いてもよく、ビデ
オ区間を表現できるものであればその表現を問わないこ
とはビデオセグメント区間情報110の場合と同様であ
る。
S203の処理により、ビデオセグメント区間情報11
0、メタデータ情報111、部分再生区間情報112が
生成され、外部記憶装置107に保持される。なお、ス
テップS202、S203で示した処理(メタデータ情
報111、部分再生区間情報112の生成)は、ビデオ
セグメントが形成された後(ステップS201の処理
後)であればいかなるタイミングで生成されても構わな
い。また、部分再生区間情報112の生成を先に実行し
てもよい。
以降に進み、各種操作に応じた処理が実行される。操作
部105より編集の開始を指示する操作があると、ステ
ップS204からステップS205へ進み、動画の編集
処理を行なう。以下に説明するように、ここで行なわれ
る編集処理は仮想的なものであり、編集の結果としてビ
デオセグメント編集結果情報113が生成、格納され
る。以下、ステップS205における編集処理と、その
結果生成される編集結果情報について図6及び図13を
参照して説明する。
集処理を説明するフローチャートである。また、図13
は本実施形態による編集結果情報のデータ構成例を示す
図である。
105を介した操作により、動画の編集処理を行なう。
ここで行われる編集処理とは、ビデオセグメントの移動
および削除である。本実施形態の編集操作におけるビデ
オセグメントの並び順序の指定方法は、既存の編集シス
テムの様に、各シーン(ビデオセグメント)の代表画像
フレームをアイコンとして表示させ、それらの順番を入
れ替えたり、あるいは削除することにより行うものとす
る。但し、他の編集操作方法で実現してもよく、その手
法は問わない。
動画を編集した通りにビデオセグメントを並べ替えるも
のではなく、ビデオセグメントIDを編集された並び順
序に並べ替え、並べ替えられたビデオセグメントIDの
順序でビデオセグメントを再生することで実現されも
の、すなわち仮想的な編集である。また、削除したビデ
オセグメントも実際には削除されておらず、再生されな
いだけである。
S601でなされた編集内容を反映した編集結果情報1
13を生成し、外部記憶装置107に格納する。編集結
果情報113について図13により説明する。
13の初期時に示すようにシーケンシャルである。これ
に対して、ステップS601で編集操作を行い、ステッ
プS602でその編集結果を反映した編集後のレコード
1301(編集後のビデオセグメントの並び順を示す)
が生成される。このレコード1301には、編集後のセ
グメント並び情報が格納されており、「*」付きのID
は編集操作によって削除が指示されたビデオセグメント
である。従ってこの例では、編集されたビデオを再生す
ると、0→1→3→4の順番でビデオセグメントがラン
ダムアクセス再生され終了する。もちろん、編集によっ
て、0→1→4→3のようにビデオセグメントの前後が
入れ代わるようにしてもよい。
方法に関して「*」を用いたが、削除してないビデオセ
グメントと区別が付けばその表現方法は問わない。或い
は、削除したビデオセグメントIDを別途管理する方法
も考えられる。また、初期時のセグメント並び情報は単
にシーケンシャルなので冗長であり、編集後のセグメン
ト並び情報だけを保存しておいても良い。
編集操作がなされても、編集結果情報113に格納され
るビデオセグメント並び情報が更新されるのみで、セグ
メントIDとビデオセグメントの関係は変化しない。こ
のため、メタデータとビデオセグメントの対応関係も保
証される。従って、編集が行われビデオセグメント並び
情報が更新された瞬間でも、図11に示されるスキーマ
(メタデータ情報111)を参照するにおいては何等不
整合は発生せず、動画編集と同期してメタデータが更新
されたことと等価になる。
テップS206からステップS207へ進み、指定され
た動画の再生が行なわれる。なお、動画の再生に際して
は、編集結果情報(図13)が参照され、編集後のレコ
ード1301が存在する場合は、これに従ってビデオセ
グメントを再生する。図13の例によれば、ビデオセグ
メント0→1→3→4の順に再生されることになる。
ップS208からステップS209へ進み、編集結果を
反映したサマリー再生が行なわれる。このとき、上述の
ごとく動画編集が行われていると、ビデオセグメントの
並びが変化している。従って、サマリー再生時には、そ
の並びに対応して部分動画を再生しなければ、見ている
人は動画再生時とサマリー再生時の時系列の不整合から
違和感を受ける。また、編集で削除されたビデオセグメ
ントに含まれる部分動画がサマリーとして再生されるの
は不適切であり、このような部分動画はサマリー再生時
に再生されるべきではない。
を解決するものであり、以下、図7及び図14を参照し
て説明する。図7はステップS209において実行され
るサマリー再生の手順を説明するフローチャートであ
る。また、図14は、編集結果を反映したサマリー再生
のための部分再生区間情報の一例を示す図である。
するべく指定された画像の編集結果情報を読み込む。そ
して、ステップS702で、編集結果情報のレコード1
301に示されるビデオセグメントの並び順序を保ちな
がら、削除対象のビデオセグメントを除外して、ビデオ
セグメント並び順序が保たれた有効なビデオセグメント
のリストを作成する。そして、そのリスト中の有効なビ
デオセグメントの個数を得、Nとする。そして、ステッ
プS703において、ループカウンタIを0にリセット
し、ステップS702で生成したリストの先頭のビデオ
セグメントIDを得る。
カウンタIが有効なビデオセグメントのリストの個数N
を超えたかどうかを判定し、越えない間はステップS7
05へ、越えた場合はステップS708へ処理を分岐す
る。
112(図12)を参照して、現在処理対象のビデオセ
グメントIDに対応するビデオセグメントのサマリーの
ための部分再生区間情報を得る。なお、一つのビデオセ
グメントIDに複数の部分再生区間情報がある場合は、
全ての部分再生区間情報を得る。
プS705で得た部分再生区間情報をサマリーのための
部分再生区間情報へ追記する。このとき、前回の処理で
追記された部分再生区間情報の後に、新たに得られた部
分再生区間情報を追記するようにし、ステップS702
で生成したリストの順序(すなわち編集結果情報のビデ
オセグメント順序)を保持する。
IをI=I+1によりインクリメントし、ステップS7
04に戻る。こうして、ループカウンタがI<Nとなる
までステップS705、S706の処理が繰り返され、
サマリーのための部分区間再生情報114を生成する。
情報114は、図14にその一例を示すように、図13
の編集結果情報のレコード1301に表されたビデオセ
グメントの並び順序を保存したものとなる。
ステップS708へ進み、サマリーのための部分再生区
間情報114を完成し、外部記憶装置107に記憶す
る。そして、ステップS709において、ステップS7
08で記憶した部分再生区間情報114を参照して、部
分動画を順次再生し、サマリー再生を行なう。
メントの再生順序に従って、対応する部分動画が再生さ
れるので、サマリー再生を自動的に編集結果に対応した
物とすることができる。
索指示がなされると、ステップS210からステップS
211へ進み、メタデータを用いた検索処理が実行され
る。メタデータを用いてビデオセグメントの検索を行う
場合にも、メタデータ検索で検索条件に合致したビデオ
セグメントが編集で削除されたビデオセグメントに成っ
ていないか編集結果情報を用いて確認し、削除されたビ
デオセグメントを検索ヒット結果に出さないようにす
る。
するフローチャートである。この処理では、編集によっ
て削除されたビデオセグメントは検索結果から除外され
ている。
とするメタデータ属性と検索クエリーを指定する。本実
施形態では、図11に示したように、メタデータは複数
の属性(「オブジェクト」「アノテーション」等)を含
み、それぞれに値が記録されている。ステップS801
では、検索クエリーを指定するとともに、当該検索クエ
リーと一致するデータが存在するか否かを調べるべきメ
タデータの属性を指定する。
で指定されたメタデータ属性のメタデータについて調査
し、検索クエリーに合致しているビデオセグメントID
のリストを生成する。ステップS803では、編集結果
情報の変種後のビデオセグメント並び順序(レコード1
301)を参照し、「*」マークの付いたビデオセグメ
ントID(編集で削除されたビデオセグメントのID)
をステップS802でで生成したリストから除外する。
図13の例では、ID=2、5が削除されているので、
ステップS802で生成したリストにID=2、5が存
在する場合に、これらを削除する。
クト」を選択し、手が映っているビデオセグメントを探
した場合、図11のメタデータ情報からはビデオセグメ
ントID=1と2がヒットする。しかし、編集結果情報
113においてビデオセグメントID=2は削除されて
いるため、ビデオセグメントID=1のみが検索結果と
して返されることになる。
除したデータが含まれることを防止できる。
ントを検索結果から除外する他に、検索結果を提示する
際に編集結果として得られたビデオセグメントIDの並
びを反映させる(例えば、ビデオセグメントIDの並び
の順に検索結果を提示する)ようにしてもよい。
ト区間情報110、メタデータ情報111、部分再生区
間情報112及び編集結果情報113に関し、固定のフ
ィールドに格納する様な概念図を用いたが、これに限ら
れるものではない。例えば、XMLやHTMHやSGM
L等の構造記述言語を用いれば、識別子(TAG)を用
いて属性を表すことができるので、サイズや記述位置の
制約が無くなる。また、これら110,111,11
2,113等の一連の情報をその他の構造記述言語を用
いて表現しても良い。
セグメントとしたが、ショット単位や内容理解に基づく
単位としても構わない。
てビデオセグメントの検索を行う際に、検索対象のフィ
ールドをなめて検索を行ったが、効率的な検索のための
インデックスを予め作成しておき、これを参照すること
により該当するビデオセグメントIDを効率的に得るよ
うにしてもよい。例えば、ビデオ映っている人を記述す
るメタデータフィールドがあったとする。このビデオに
登場する人物がA,B,Cの3人がいる場合、インデッ
クスとはA、B、Cそれぞれが映っているビデオセグメン
トのIDのリストを用意しておくことを意味する。Aが
映っているビデオセグメントを検索する指示があった場
合に、上記Aが映っているビデオセグメントのIDのリ
ストをそのまま検索結果として利用出来るので極めて高
速である。他方、インデックスが無い場合にはビデオに
登場する人物を記述するフィールドを全て舐めて検索す
るので処理時間が掛かる。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ(またはCPU
やMPU)が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
体としては、例えば、フロッピディスク,ハードディス
ク,光ディスク,光磁気ディスク,CD−ROM,CD
−R,磁気テープ,不揮発性のメモリカード,ROMな
どを用いることができる。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているOS(オペレ
ーティングシステム)などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
動画の仮想編集にメタデータの更新を自動的に追従させ
ることができ、編集者のメタデータ再編集の負担が軽減
されることになる。また、本発明によれば、動画の仮想
編集に追従してサマリーデータが自動的に更新されるの
で、動画の編集後においても違和感を与えないサマリー
再生が可能となる。
ロック図である。
ローチャートである。
成処理を説明するフローチャートである。
ャートである。
を説明すフローチャートである。
ローチャートである。
るフローチャートである。
ャートである。
概念を示す図である。
のデータ構成例を示す図である。
成例を示す図である。
再生区間情報のデータ構成例を示す図である。
例を示す図である。
分再生区間情報の一例を示す図である。
Claims (16)
- 【請求項1】 動画データを複数フレームからなるグル
ープに分割してIDを付与し、各グループを管理するグ
ループ管理手段と、 前記動画データの編集結果として得られたIDの並びを
記憶する編集結果記憶手段と、 前記編集結果記憶手段に記憶されたIDの並びに従って
前記グループを再生することで編集結果としての動画デ
ータを再生する動画再生手段と、 前記各グループに対応するメタデータを、各グループに
対応するIDと関連づけることによって管理するメタデ
ータ管理手段とを備えることを特徴とする動画データ処
理装置。 - 【請求項2】 前記グループ管理手段は、グループを構
成する複数フレームの前記動画データ中における区間と
IDとを対応付けることにより各グループを管理するこ
とを特徴とする請求項1に記載の動画データ処理装置。 - 【請求項3】 前記編集結果記憶手段は、編集の結果削
除されたグループのIDを示す削除情報を更に記憶する
ことを特徴とする請求項1に記載の動画データ処理装
置。 - 【請求項4】 各グループより抽出された画像部分と、
その抽出元のグループに対応するIDとを関連づけて該
画像部分を管理する画像部分管理手段と、 前記編集結果記憶手段に記憶されたIDの並びに基づい
て前記画像部分管理手段で管理されている画像部分を順
次再生するサマリー再生手段とを更に備えることを特徴
とする請求項1に記載の動画データ処理装置。 - 【請求項5】 前記メタデータを用いて画像検索を行な
う検索手段と、 前記検索手段の検索結果に前記編集結果記憶手段に格納
された内容を反映する反映手段とを更に備えることを特
徴とする請求項1に記載の動画データ処理装置。 - 【請求項6】 前記反映手段は、前記編集結果記憶手段
に記憶されている編集後のIDの並びに従って検索結果
を提示することを特徴とする請求項5に記載の動画デー
タ処理装置。 - 【請求項7】 前記編集結果記憶手段に記憶される編集
結果は編集によって削除されたIDを示す削除情報を含
み、 前記反映手段は、前記検索結果より前記削除情報で示さ
れるIDに対応する検索結果を削除することを特徴とす
る請求項5に記載の動画データ処理装置。 - 【請求項8】 動画データを複数フレームからなるグル
ープに分割してIDを付与し、各グループを管理するグ
ループ管理工程と、 前記動画データの編集結果として得られたIDの並びを
記憶する編集結果記憶工程と、 前記編集結果記憶工程によって記憶されたIDの並びに
従って前記グループを再生することで編集結果としての
動画データを再生する動画再生工程と、 前記各グループに対応するメタデータを、各グループに
対応するIDと関連づけることによって管理するメタデ
ータ管理工程とを備えることを特徴とする動画データ処
理方法。 - 【請求項9】 前記グループ管理工程は、グループを構
成する複数フレームの前記動画データ中における区間と
IDとを対応付けることにより各グループを管理するこ
とを特徴とする請求項8に記載の動画データ処理方法。 - 【請求項10】 前記編集結果記憶工程は、編集の結果
削除されたグループのIDを示す削除情報を更に記憶す
ることを特徴とする請求項8に記載の動画データ処理方
法。 - 【請求項11】 各グループより抽出された画像部分
と、その抽出元のグループに対応するIDとを関連づけ
て該画像部分を管理する画像部分管理工程と、 前記編集結果記憶工程に記憶されたIDの並びに基づい
て前記画像部分管理工程で管理されている画像部分を順
次再生するサマリー再生工程とを更に備えることを特徴
とする請求項8に記載の動画データ処理方法。 - 【請求項12】 前記メタデータを用いて画像検索を行
なう検索工程と、 前記検索工程の検索結果に前記編集結果記憶工程に格納
された内容を反映する反映工程とを更に備えることを特
徴とする請求項8に記載の動画データ処理方法。 - 【請求項13】 前記反映工程は、前記編集結果記憶工
程によって記憶された編集後のIDの並びに従って検索
結果を提示することを特徴とする請求項12に記載の動
画データ処理方法。 - 【請求項14】 前記編集結果記憶工程において記憶さ
れる編集結果は編集によって削除されたIDを示す削除
情報を含み、 前記反映工程は、前記検索結果より前記削除情報で示さ
れるIDに対応する検索結果を削除することを特徴とす
る請求項12に記載の動画データ処理方法。 - 【請求項15】 請求項8乃至14のいずれかに記載の
動画データ処理方法をコンピュータに実現させるための
制御プログラム。 - 【請求項16】 請求項8乃至14のいずれかに記載の
動画データ処理方法をコンピュータに実現させるための
制御プログラムを格納する記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001283960A JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
US10/242,618 US7257311B2 (en) | 2001-09-18 | 2002-09-13 | Moving image data processing apparatus and method |
US11/751,107 US8644683B2 (en) | 2001-09-18 | 2007-05-21 | Moving image data processing apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001283960A JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003092723A true JP2003092723A (ja) | 2003-03-28 |
JP2003092723A5 JP2003092723A5 (ja) | 2007-01-11 |
JP3943880B2 JP3943880B2 (ja) | 2007-07-11 |
Family
ID=19107368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001283960A Expired - Fee Related JP3943880B2 (ja) | 2001-09-18 | 2001-09-18 | 動画データ処理装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US7257311B2 (ja) |
JP (1) | JP3943880B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003075564A1 (en) * | 2002-03-05 | 2003-09-12 | Canon Kabushiki Kaisha | Moving image management method and apparatus |
WO2004090902A1 (ja) * | 2003-04-04 | 2004-10-21 | Sony Corporation | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2023501390A (ja) * | 2019-11-08 | 2023-01-18 | 北京字節跳動網絡技術有限公司 | マルチメディア情報処理方法、装置、電子デバイス及び媒体 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6752505B2 (en) * | 1999-02-23 | 2004-06-22 | Solid State Opto Limited | Light redirecting films and film systems |
JP3943880B2 (ja) * | 2001-09-18 | 2007-07-11 | キヤノン株式会社 | 動画データ処理装置及び方法 |
US7286749B2 (en) * | 2002-04-16 | 2007-10-23 | Canon Kabushiki Kaisha | Moving image playback apparatus, moving image playback method, and computer program thereof with determining of first voice period which represents a human utterance period and second voice period other than the first voice period |
JP2005004866A (ja) * | 2003-06-11 | 2005-01-06 | Sony Corp | 情報処理装置および方法、記録媒体、並びにプログラム |
EP1494241A1 (en) * | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt GmbH | Method of linking metadata to a data stream |
EP1494237A1 (en) * | 2003-07-01 | 2005-01-05 | Deutsche Thomson-Brandt Gmbh | Method and apparatus for editing a data stream |
EP1494238B1 (en) * | 2003-07-01 | 2009-12-23 | Thomson Licensing | Method and apparatus for editing a data stream |
JP4412159B2 (ja) * | 2004-01-29 | 2010-02-10 | セイコーエプソン株式会社 | 画像処理装置、プリンタ及びプリンタの制御方法 |
US8667401B1 (en) * | 2004-05-26 | 2014-03-04 | Adobe Systems Incorporated | System and method for archiving collaborative electronic meetings |
WO2006016605A1 (ja) * | 2004-08-10 | 2006-02-16 | Sony Corporation | 情報信号処理方法、情報信号処理装置及びコンピュータプログラム記録媒体 |
JP2006099671A (ja) * | 2004-09-30 | 2006-04-13 | Toshiba Corp | 動画像のメタデータの検索テーブル |
US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
JP4251131B2 (ja) * | 2004-11-17 | 2009-04-08 | ソニー株式会社 | データ処理装置及び方法 |
KR100739770B1 (ko) * | 2004-12-11 | 2007-07-13 | 삼성전자주식회사 | 멀티 앵글 타이틀에 적용 가능한 메타 데이터를 포함하는저장 매체, 그 재생 장치 및 방법 |
US20060271855A1 (en) * | 2005-05-27 | 2006-11-30 | Microsoft Corporation | Operating system shell management of video files |
FR2891081B1 (fr) * | 2005-09-21 | 2009-05-29 | Little Worlds Studio Soc Respo | Procede et dispositif d'elaboration d'un dvd-video; programme, support d'enregistrement et module d'instanciation pour ce procede |
US8712224B2 (en) * | 2005-11-07 | 2014-04-29 | Koninklijke Philips N.V. | Method and apparatus for editing a program on an optical disc |
US20070204238A1 (en) * | 2006-02-27 | 2007-08-30 | Microsoft Corporation | Smart Video Presentation |
JP2007281680A (ja) * | 2006-04-04 | 2007-10-25 | Sony Corp | 画像処理装置および画像表示方法 |
US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
US20080065693A1 (en) * | 2006-09-11 | 2008-03-13 | Bellsouth Intellectual Property Corporation | Presenting and linking segments of tagged media files in a media services network |
JP4918836B2 (ja) * | 2006-09-29 | 2012-04-18 | 富士ゼロックス株式会社 | 動的情報処理装置及び情報処理プログラム |
US8375302B2 (en) * | 2006-11-17 | 2013-02-12 | Microsoft Corporation | Example based video editing |
US8650489B1 (en) * | 2007-04-20 | 2014-02-11 | Adobe Systems Incorporated | Event processing in a content editor |
KR101445074B1 (ko) * | 2007-10-24 | 2014-09-29 | 삼성전자주식회사 | 미디어 플레이어에서 미디어 객체 처리 방법 및 그 장치 |
US20110296291A1 (en) * | 2007-11-15 | 2011-12-01 | Olya Melkinov | System and method for transforming documents for publishing electronically |
US8639086B2 (en) | 2009-01-06 | 2014-01-28 | Adobe Systems Incorporated | Rendering of video based on overlaying of bitmapped images |
KR101700811B1 (ko) * | 2010-09-02 | 2017-02-01 | 주식회사 케이티 | 이동형 사용자 단말 위치에 기반한 콘텐츠 연속 이용 제공 방법 및 서버 |
WO2014010501A1 (ja) * | 2012-07-10 | 2014-01-16 | シャープ株式会社 | 再生装置、再生方法、配信装置、配信方法、配信プログラム、再生プログラム、記録媒体およびメタデータ |
US10516893B2 (en) | 2015-02-14 | 2019-12-24 | Remote Geosystems, Inc. | Geospatial media referencing system |
US9936214B2 (en) * | 2015-02-14 | 2018-04-03 | Remote Geosystems, Inc. | Geospatial media recording system |
US10645468B1 (en) * | 2018-12-03 | 2020-05-05 | Gopro, Inc. | Systems and methods for providing video segments |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3377677B2 (ja) | 1996-05-30 | 2003-02-17 | 日本電信電話株式会社 | 映像編集装置 |
CN1111862C (zh) * | 1998-01-21 | 2003-06-18 | 株式会社东芝 | 视频数据记录设备和重放装置 |
JPH11238071A (ja) | 1998-02-20 | 1999-08-31 | Toshiba Corp | ダイジェスト作成装置及びダイジェスト作成方法 |
US7457415B2 (en) * | 1998-08-20 | 2008-11-25 | Akikaze Technologies, Llc | Secure information distribution system utilizing information segment scrambling |
US6192783B1 (en) * | 1998-08-28 | 2001-02-27 | Jidosha Kiki Co., Ltd. | Brake booster |
US7134074B2 (en) * | 1998-12-25 | 2006-11-07 | Matsushita Electric Industrial Co., Ltd. | Data processing method and storage medium, and program for causing computer to execute the data processing method |
US6462754B1 (en) * | 1999-02-22 | 2002-10-08 | Siemens Corporate Research, Inc. | Method and apparatus for authoring and linking video documents |
JP2001028722A (ja) * | 1999-07-13 | 2001-01-30 | Matsushita Electric Ind Co Ltd | 動画像管理装置及び動画像管理システム |
JP3943880B2 (ja) * | 2001-09-18 | 2007-07-11 | キヤノン株式会社 | 動画データ処理装置及び方法 |
-
2001
- 2001-09-18 JP JP2001283960A patent/JP3943880B2/ja not_active Expired - Fee Related
-
2002
- 2002-09-13 US US10/242,618 patent/US7257311B2/en not_active Expired - Fee Related
-
2007
- 2007-05-21 US US11/751,107 patent/US8644683B2/en not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2003075564A1 (en) * | 2002-03-05 | 2003-09-12 | Canon Kabushiki Kaisha | Moving image management method and apparatus |
US7983528B2 (en) | 2002-03-05 | 2011-07-19 | Canon Kabushiki Kaisha | Moving image management method and apparatus |
WO2004090902A1 (ja) * | 2003-04-04 | 2004-10-21 | Sony Corporation | 情報処理装置および方法、プログラム、並びに記録媒体 |
EP1612796A1 (en) * | 2003-04-04 | 2006-01-04 | Sony Corporation | Information processing device and method, program, and recording medium |
EP1612796A4 (en) * | 2003-04-04 | 2008-06-04 | Sony Corp | INFORMATION PROCESSING DEVICE AND METHOD, PROGRAM AND RECORDING MEDIUM |
US8041189B2 (en) | 2003-04-04 | 2011-10-18 | Sony Corporation | Information processing device and method, program, and recording medium |
JP2023501390A (ja) * | 2019-11-08 | 2023-01-18 | 北京字節跳動網絡技術有限公司 | マルチメディア情報処理方法、装置、電子デバイス及び媒体 |
JP7375191B2 (ja) | 2019-11-08 | 2023-11-07 | 北京字節跳動網絡技術有限公司 | マルチメディア情報処理方法、装置、電子デバイス及び媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP3943880B2 (ja) | 2007-07-11 |
US20030052910A1 (en) | 2003-03-20 |
US8644683B2 (en) | 2014-02-04 |
US7257311B2 (en) | 2007-08-14 |
US20070230807A1 (en) | 2007-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3943880B2 (ja) | 動画データ処理装置及び方法 | |
US11157154B2 (en) | Media-editing application with novel editing tools | |
JP4514928B2 (ja) | 編集装置及び方法 | |
US20090022474A1 (en) | Content Editing and Generating System | |
US20070260968A1 (en) | Editing system for audiovisual works and corresponding text for television news | |
JPH08249348A (ja) | 映像検索方法および装置 | |
US11747972B2 (en) | Media-editing application with novel editing tools | |
KR20070095431A (ko) | 멀티미디어 프리젠테이션 생성 | |
JP3574606B2 (ja) | 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体 | |
KR100319160B1 (ko) | 사건구간을기반으로하는동영상검색방법과검색데이타구성방법 | |
JPH1051733A (ja) | 動画像編集方法および動画像編集装置および動画像編集手順を有するプログラムコードを記録する記録媒体 | |
JPH1013773A (ja) | デジタル画像管理検索システム及びデジタルカメラシステム | |
JP2002142188A (ja) | 動画像編集方法及び装置 | |
JPH06309381A (ja) | 動画像処理装置 | |
JP2003303210A (ja) | 情報処理方法、情報処理装置、および記録媒体 | |
JP3690313B2 (ja) | 動画像管理装置、情報入力方法および動画像検索方法 | |
JP4021449B2 (ja) | 動画像編集方法および動画像編集装置 | |
JP2004363831A (ja) | 動画像処理装置及び動画像処理方法 | |
JP5746478B2 (ja) | データ処理装置およびデータ処理方法、プログラム | |
JP4323172B2 (ja) | 情報編集システム、情報編集装置、および情報編集プログラム | |
KR100258181B1 (ko) | 디지털 비디오 스튜디오에서 비디오 프로젝트의 버전 관리 방법 | |
US20140321833A1 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
JP2001142903A (ja) | データ検索装置およびその方法、データ検索システム、記憶媒体 | |
JP2005010950A (ja) | ファイル管理装置、ファイル管理方法、プログラム及び記録媒体 | |
JPH11175618A (ja) | 知的所有権情報管理システム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040930 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070323 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070406 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |