JP2004348553A - Method for editing metadata, device and program thereof - Google Patents

Method for editing metadata, device and program thereof Download PDF

Info

Publication number
JP2004348553A
JP2004348553A JP2003146320A JP2003146320A JP2004348553A JP 2004348553 A JP2004348553 A JP 2004348553A JP 2003146320 A JP2003146320 A JP 2003146320A JP 2003146320 A JP2003146320 A JP 2003146320A JP 2004348553 A JP2004348553 A JP 2004348553A
Authority
JP
Japan
Prior art keywords
metadata
information
content
video
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003146320A
Other languages
Japanese (ja)
Inventor
Takashi Shiozaki
貴司 塩崎
Ryoji Kataoka
良治 片岡
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003146320A priority Critical patent/JP2004348553A/en
Publication of JP2004348553A publication Critical patent/JP2004348553A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a technology for efficiently performing the secondary usage of an image and metadata, by properly editing metadata with an image-editing processing. <P>SOLUTION: A processing method in a metadata editing device for editing metadata given to contents includes a procedure for acquiring segment information for segmenting a prescribed part of the contents to be an object and all the metadata attached to the contents to be the object; and a metadata, giving procedure for performing a processing to allow attribute information in the metadata to correspond to a part superimposed on the contents to be segmented, based on segment information, with respect to each kind of metadata given to the contents to be the object. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【0001】
【発明の属する技術分野】
本発明は、映像データ管理システムに係わり、特に映像データ編集時におけるメタデータ管理方法の効率化を図ったメタデータ編集方法及び装置に関する。
【0002】
【従来の技術】
メタデータと映像データとを一元的に管理できる装置として、特許文献1に「動画像編集装置」が開示されている。この従来技術では、映像から場面の切り替わり(ショット切り替えと呼ぶ)を検出して複数のショットに分割し、各ショットの先頭画像を用いたアイコンを操作することによって映像編集が容易に行えるようにしている。また、映像の各ショットに対してメタデータを付与できるだけでなく、複数のショットをまとめて階層的にメタデータを付与することができるようにしている。
【0003】
図8を参照してこの従来技術の動作の概略について説明する。
【0004】
入力として与える映像800は、4つの場面(ショット)A,B,C、Dなどから構成されており、この例では、ショットAは3枚のフレームA1,A2,A3から構成され、ショットBは2枚のフレームB1,B2から構成され、ショットCは2枚のフレームC1,C2から構成され、ショットDは2枚のフレームD1,D2から構成されている。これらのショットA,B,C,Dの境界801,802,803,804をショット切り替えと呼ぶ。
【0005】
この従来技術では、まず最初にショット切り替え位置を検出する。画像処理を用いてショット切り替え位置を検出する方法として様々なものが開発されており、例えば、特許文献2(カット点検出方法及び装置)に示された方法を用いることで検出できる。
【0006】
次に、各ショットの先頭画像(A1,B1,C1,D1)を代表画像として映像800から抜き出し、これらを用いてメタデータ入力インタフェース805を構築する。メタデータ入力インタフェース805は素材エリア806とツリー構造表示エリア807、機能ボタンエリアの3つのエリアからなる。利用者は素材エリア805に表示されたアイコンをマウスなどのボインティングデバイスで選択し、ツリー構造表示エリア807にドラッグ&ドロップ等の操作を行うことで映像編集操作を行う。また、機能ボタンエリアのボタンを使用することで、各アイコンヘのメタデータ入力や、アイコンのツリー構造化などが行える。各機能について以下に説明する。
【0007】
まず、映像編集操作について説明する。素材エリア806には映像800の各ショットに対応するアイコン(この例では4つ)を左から順に映像の時系列に沿って表示し、各アイコンの上部には上記で抽出した代表画像をそれぞれ表示する。例としてアイコン809には最初のショットに対応する代表画像としてフレームA1が表示されている。利用者は制作したい映像のイメージに合うアイコンを選択してツリー構造表示エリアにドラッグ&ドロップ操作を行い、その結果としてツリー構造表示エリア807の最下段部分に選択したアイコンが順に表示される。この操作を繰り返すことでツリー構造表示エリア807の最下段に複数のアイコンが並ぶことになる。最終的に、左から順に表示されているアイコンに対応するショットを繋げたものが最終的に作成される映像になる。
【0008】
例えば、アイコン809、810を順にツリー構造表示エリアにドラッグ&ドロップ操作を行うと、ツリー構造表示エリア807の最下段にアイコン811、812として表示される。アイコン811、812にはそれぞれアイコン809、810に対応する代表画像A1、B1が表示され、ショット切り替え801から803までの部分の映像が一時的な編集結果としてツリー構造表示エリアに記録される。同様のマウスのドラッグ&ドロップ操作によってショットの順番を入れ替えたり、機能ボタンエリアの特定のボタン(例えば、ショット削除ボタン)を押すことで、ショットを削除することも行える。
【0009】
次にメタデータ入力方法について説明する。ツリー構造表示エリア807において特定のアイコンをクリックして選択し、機能ボタンエリア808の特定のボタン(例えば、メタデータ入力ボタン)を押すことでメタデータ入力ウィンドウ815が開き、そのショットに関する情報を表すメタデータを入力することができる。
【0010】
利用者はまず入力するメタデータの種類を表す属性名を選択し、続けて入力スペースに属性値を入力してOKボタンを押すことで入力が完了する。例えばコメントとして「登山」というメタデータを入力する場合には、まずコメントのチェック欄816をチェックし、その左にある入力ウィンドウ817に「登山」と入力する。入力が完了すればOKボタン818を押すことで入力が完了する。
【0011】
次にアイコンのツリー構造化機能について説明する。ツリー構造表示エリア807の複数のアイコンを選択し、機能ボタンエリア808の特定のボタン(例えば、ツリー構造化ボタン)を押すことで、アイコンをツリー構造化できる。例えば、アイコン811,812を選択してツリー構造化ボタンを押せば、ツリー構造化した結果として親アイコン813が生成され、アイコン811,812の上部に表示される。アイコン813はアイコン811,812に対応する2つのショットをつなげたものに対応し、その代表画像としてアイコン811と同じ画像が表示される。また、アイコン813に対してもメタデータ入力ボタンを押すことでメタデータを入力することができ、アイコン811,812の両方に共通した情報を入力することができる。以上のようなアイコンのツリー構造化機能によって、階層的なメタデータの付与が可能となり、抽象的なメタデータの管理が効率的に行える。
【0012】
最後に機能ボタンエリア808の特定のボタンを押すことで、編集結果の映像とメタデータをデータベースに登録して後の検索に利用したり、ファイルとして出力することなどができる。
【0013】
この従来技術に従えば、以上のようなメタデータ入力インタフェース805を用いることで、映像の編集操作と階層的なメタデータの入力、管理が効率的に行える。例えば、検索キーワードとして「登山」というキーワードを与えると、「登山」に関するショットが検索され、その結果を素材エリアに読み込んで映像編集に利用するといった使い方が可能になる。
【0014】
【特許文献1】
特開平11−205736号公報
【0015】
【特許文献2】
特開平11−8854号公報
【0016】
【発明が解決しようとする課題】
しかしながら、上記の従来技術には下記のような問題点がある。
【0017】
上記の従来技術の1つ目の問題点は、映像をショット単位でしか扱えない点にある。実際の映像編集現場では最終的に作成したい映像全体の長さを考慮しながら編集作業を進める場合が多く、必ずしもショット単位で映像の編集を行うとは限らない。例えば、ある20秒のショットのうち、その一部の3秒の映像だけを利用したい場合にもこの技術では20秒全体としてしか扱えず、最終的に無駄な映像を含んでしまう。また、作成したい映像全体の長さがあらかじめ決まっている場合には、使用するショットを調整して全体として目的の時間に合うように計算しながら編集作業を進める必要があり、非常に煩雑な作業を行う必要がある。事実上、この従来技術のシステムでは最終的な映像全体の長さを目的の長さに厳密に合うように編集を行うのはほぼ不可能に近い。
【0018】
また、メタデータについてもショット単位の区切りでしか入力することができないため、時間的に柔軟なメタデータの入力が行えないという問題がある。例えば、1つのショットの中にある一部の映像についての情報を該当する箇所だけに入力することはできない。
【0019】
2つ目の問題点として、映像の一部分を再利用する際に階層的メタデータの上位層の抽象的なメタデータが継承されないという点があげられる。例えば、「海水浴」というメタデータが付けられたショットAと、「花火」というメタデータがつけられたショットBに対して、ショットAとショットBの上位概念として「夏」というメタデータが付けられているとする。その上でショットAのみを別の映像の一部として再利用した場合、その新しい映像の中で元のショットAに対応するショットに「夏」というメタデータは引き継がれない。
【0020】
一般に映像制作者は他人の作品と類似したものを作成することを避ける傾向があり、使用するショットが過去にどういう使われ方をしたのかという情報に対するニーズが非常に高い。しかし上位概念のメタデータが継承されないため、他の人が映像作品の中でそのショットをどのように利用したかを知ることはできない。また、各ショット単位に付けられたメタデータのみを頼りに映像編集を行うと、ショットの内容について誤解して実際の内容と異なる使われ方をされる状況も考えられる。例えば、犯行現場を撮影したように偽造した映像について、ショットには「犯行現場」というメタデータがつけられ、その上位概念として「偽造」というメタデータが付けられていた場合に、「偽造」というメタデータが継承されなければ本物として誤解されたまま誤用される恐れがある。
【0021】
3つ目の問題点として、このシステム上で入力したメタデータを他の同様の映像データ管理システムに流用できないという点があげられる。近年、映像の流通が活発化し、例えば1本の映画作品でも、DVD,ビデオパッケージ、BS/CS放送、TV放送、インターネットでの配信など様々なメディアを通して再利用される機会が増大している。また、その過程でメディアの状況に合わせて映像の再編集を行うことも多く、最初の映像制作に使用した映像編集システムとは異なるシステムで映像の再編集を行う機会も増えつつある。
【0022】
そのような状況の中で、特定の映像編集システム上で入力したメタデータを別の映像編集システムで利用し、映像編集作業の効率化を図ることに対する需要が高まっている。しかるに、この従来技術においては、入力したメタデータを他のシステムで再利用するための方法は示されていない。
【0023】
4つ目の問題点として、編集後の映像に付随するメタデータに対してマージ処理が行われない点があげられる。このシステムにおいては編集後の映像の中で連続する複数のショットに対して属性名、属性値ともに同じ内容のメタデータが付与されている場合にもマージ処理が行われず、ショット単位で異なるメタデータとして管理されている。一般的な放送用番組映像などでは、1ショットは5秒程度の長さのものが多く、2時間程度の映像であれば、ショットの数は1000個を越す場合もある。このような状況で、ショット単位にメタデータを管理すれば、メタデータの記述データが冗長になるだけでなく、メタデータを用いた映像検索処理においても検索速度向上の妨げになる。
【0024】
本発明は、上述したような従来システムの有する欠点に鑑みてなされたもので、映像編集処理に伴うメタデータ編集処理を適切に行い、映像及びメタデータの二次利用が効率的に行える技術を提供することをその目的とする。
【0025】
【課題を解決するための手段】
上記の課題は、コンテンツに付されたメタデータを編集するメタデータ編集装置における処理の方法であって、対象とするコンテンツの所定の部分を切り出すための切り出し情報と、当該対象とするコンテンツに付された全メタデータを取得する手順と、メタデータに対応するコンテンツの部分の一部又は全部が、前記切り出し情報に基づき切り出されるコンテンツと重複する部分に当該メタデータにおける属性情報を対応付ける処理を、前記対象とするコンテンツに付された各メタデータに対して行うメタデータ付与手順とを有する方法により解決できる。
【0026】
本発明によれば、元のコンテンツにおけるメタデータのうち切り出し後のコンテンツに対応する部分のメタデータを抽出できるので、映像の2次利用の際に既存メタデータの継承が可能となり、新たにメタデータを入力する手間が省ける。また、他システムで入力されたメタデータであっても、各メタデータに時間情報が付いていれば、メタデータ編集処理を行うことができる。これにより、過去にその映像がどのような使われ方をしたかという情報を知ることができないという問題点や、本来の内容と違った目的に使用されてしまう恐れがあるといった問題点を解決する。
【0027】
上記の方法において、前記各メタデータは、コンテンツにおける当該メタデータに対応する時間区間を示す時間情報を含み、前記属性情報を対応付ける処理は、前記切り出し情報における時間情報と前記メタデータにおける時間情報とを比較することにより前記重複する部分を決定し、前記重複する部分に対応付けられるメタデータの時間情報を、前記切り出し情報に基づき切り出されるコンテンツの先頭を基準とした時間を用いた情報とする処理を含むように構成できる。
【0028】
また、切り出し情報に基づき切り出されたコンテンツを複数結合して編集コンテンツとする場合に、切り出し情報に基づき切り出された各コンテンツに前記メタデータ付与手順により付されたメタデータにおける時間情報を、当該コンテンツの前記編集コンテンツにおける順番に基づき、前記編集コンテンツの先頭からの時間を用いた情報とする手順を更に有する。
【0029】
上記の発明によれば、メタデータ入力や編集作業をコンテンツの任意の部分に対して行うことが可能となり、メタデータ入力や映像編集がショット単位でしか行えないという問題点を解決する。これによりメタデータ入力や映像編集作業を柔軟に行うことができるようになる。
【0030】
また、編集後のコンテンツと付随するメタデータの対応関係が一意的に判別がつき、あるシステムで入力したメタデータが他のシステムで流用できないという問題点を解決する。これによりメタデータを入力した映像データ管理システムとは異なるシテムにおいてもメタデータの再利用が可能となり、映像の再編集が効率的に行えるようになる。
【0031】
また、上記の課題は、コンテンツに付されたメタデータを編集するメタデータ編集装置における処理の方法であって、対象とするコンテンツに対応付けられた複数のメタデータのうち、当該コンテンツ上で時間的に重複部分を有するか連続する複数のメタデータであって、その内容が同一のものを1つのメタデータとする手順を有する方法によっても解決する。
【0032】
本発明によれば、編集後のメタデータの記述において、冗長なデータが増えてしまうという問題点を解決し、メタデータを用いたコンテンツの検索処理を効率的に行うことができる。
【0033】
なお、前記内容が同一であるとは属性名及び属性値が共に同一であることである。これにより、意味的に異なるメタデータを1つのメタデータとすることを防止できる。
【0034】
また、上記の方法において、前記各メタデータは、属性に関する情報と、前記コンテンツにおける時間区間を示すIn情報とOut情報とを含み、前記内容が同一のものを1つのメタデータとする手順は、時間的に重複部分を有するか連続する複数のメタデータの中での最小のIn情報と、最大のOut情報と、複数のメタデータ間で同一である属性に関する情報とを組にして1つのメタデータとする手順を含むように構成してもよい。
【0035】
また、本発明は、上記の各手順を実行する手段を有する装置としても構成できる。更に、本発明は、上記の各手順をコンピュータに実行させるプログラムとしても構成できる。
【0036】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【0037】
(第1の実施の形態)
図1は、本発明の第1の実施の形態における映像データ管理システムを示す。この映像データ管理システムは、利用者端末1と映像データ管理装置2とから構成されている。利用者端末1において利用者は利用者端末1を操作して、映像切り出し情報の入力や、映像データ及びメタデータの入力あるいは受信を行う。
【0038】
映像データ管理装置2は、データ受信部108、データ蓄積部109、データ検索部110、映像データ切り出し処理部111、メタデータ切り出し処理部112、データ出力部113を有している。
【0039】
データ受信部108では、映像データ101とメタデータ102を受信し、受信した各データをデータ蓄積部109に送信する。次にデータ蓄積部109において一意に識別可能な映像IDを発行し、受信した映像データ101とメタデータ102に付与しておき、映像IDをキーにして対応する映像データとメタータが検索できるようにする。
【0040】
ここでメタデータ102は属性名とその属性値、及び対応する映像データ上の対象区間を映像の先頭からの時間情報を用いて指定するIn点、Out点とからなるテキスト情報である。すなわち、図2に示す通り、データ蓄積部109において映像IDと関連づけられたテーブル(メタデータテーブル)を作成し、そこにメタデータを受信した順番に格納しておき、後で映像IDと受信した順番の情報から指定したメタデータ(属性名とその属性値,及びIn点、Out点)の情報が取得できるようにする。同様に映像データ101についても映像IDと関連づけて管理し、後で映像IDの情報から指定した映像データが取得できる状態にしておく。
【0041】
データ検索部110においては、利用者端末1から検索キーワード103を受信し、データ蓄積部109に格納されているすべてのメタデータテーブルを参照してメタデータの中に検索キーワード103を含む映像データを部分一致または完全一致で検索し、検索結果104として検索結果の映像データとそれに付随するメタデータを出力する。検索キーワードの与え方としては、属性名と属性値のセットでもよいし、あるいは属性値のみで与えてもよい。
【0042】
登録した映像データから一部分の映像データを切り出す場合には、映像データ切り出し処理部111に対して映像切り出し情報105を送信する。ここで映像切り出し情報105は、図3に示すように、対象とする映像データの映像IDと、切り出す区間を指定するIn点、Out点の情報とを含むテキスト情報である。
【0043】
映像切り出し情報105を受信した映像データ切り出し処理部111では指定された映像IDと、In点、Out点の情報から該当する映像データ中の指定された区間の映像データ106を切り出してデータ出力部113に送信し、同時に映像切り出し情報105をメタデータ切り出し処理部112に送信する。
【0044】
映像データの切り出し処理については既存技術を用いて容易に行える。例えば、KDDI研究所において開発され販売されているソフトウェア製品であるMP−Factory ver.3を用いることによって、MPEGファイルの中から任意の部分を指定してフレーム単位で切り出すことが可能である。
【0045】
メタデータ切り出し処理部112では受信した映像切り出し情報105に含まれる映像IDの情報を用いてデータ蓄積部109から当該映像IDに関連づけられたメタデータを取得し、映像切り出し情報105に基づいて適切なメタデータ切り出し処理を施した上でメタデータ107をデータ出力部113に送信する。データ出力部113においては受信した映像データ106とメタデータ107とを合わせて利用者端末1に出力する。
【0046】
次に、メタデータ切り出し処理部112で行うメタデータ切り出し処理について図4のフローチャートを用いて詳細に説明する説明する。
【0047】
まず、ステップ1において映像データ切り出し情報から映像ID、In点、Out点の値を抽出してそれぞれID、IN、OUTという変数に格納する。次に、ステップ2において上記映像IDに関連づけられたメタデータテーブル(以下、「メタデータテーブル:ID」と呼ぶ)からデータが入力されている行の数(すなわちメタデータテーブルの行数)を取得し、その数を変数Nに格納すると同時に変数Jに1を格納する。次に変数Jを1からNまで変化させながらループ1内の処理を繰り返す(ステップ3)。
【0048】
ループ1内の処理では、まず、ステップ4において変数In_tmp、Out_tmpにそれぞれメタデータテーブル:IDのIn点〔J〕、Out点〔J〕の値を格納する。次に、ステップ5においてOut_tmpとINの値、In_tmpとOUTの値をそれぞれ比較し、Out_tmp<INか、あるいはIn_tmp>OUTという条件をみたせばループ1の先頭に戻って変数Jに1を足して次の処理に移る。
【0049】
前記のいずれの条件も満たさなかった場合には次の処理に移り、ステップ6においてOut_tmpとOUTの比較を行う。Out_tmp>OUTという条件を満たした場合には、ステップ7においてOut_tmpにOUTの値を格納してから次の処理に移り、条件を満たさなかった場合には特に何もせずに次の処理に移る。
【0050】
次の処理では、ステップ8においてIn_tmpとINの値の比較を行う。In_tmp<INの条件を満たす場合には、ステップ9においてIn_tmpにINの値を格納して次の処理に移る。条件を満たさなかった場合には特に何もせず次の処理に移る。
【0051】
次に、ステップ10において変数Item_Name〔J〕、In〔J〕、Out〔J〕、Item〔J〕に、それぞれメタデータテーブル:IDの属性名〔J〕、In_tmp−IN、Out_tmp−IN、属性値〔J〕の値を格納する。次に、ステップ11において変数Jに1を足してループ1の先頭に戻り、ループ1の処理を繰りかえす。なお、変数Item_Name〔J〕、In〔J〕、Out〔J〕、Item〔J〕(J=1〜N)の各々は予め初期化(例えば0に初期化)されているものとする。
【0052】
ループ1の処理の完了後は、IDに関連づけられた全体メタデータテーブルの情報全てと、ループ1の処理結果であるメタデータ列Item_Name〔t〕、In〔t〕、Out〔t〕、Item〔t〕(tは1からJ−1まで)とをデータ出力部113に出力してメタデータ切り出し処理を完了する。
【0053】
以上の処理により、映像切り出し情報において切り出される映像の部分毎のメタデータ(属性名、映像切り出し情報により切り出される映像の先頭からの時間であるIn点とOut点、属性値)を抽出することができる。
【0054】
すなわち、映像の編集情報(映像切り出し情報)とメタデータの時間情報とを比較して編集後(切り出し後)の映像に対応する部分のメタデータのみを抽出することができる。これにより、映像の2次利用の際にショット単位でなくても既存メタデータの継承が可能となり、新たにメタデータを入力する手間が省ける。また、他システムで入力されたメタデータであっても、各メタデータに時間情報が付いていれば、本実施の形態と同様な方法で編集処理を行うことができる。
【0055】
(第2の実施の形態)
次に本発明の第2の実施の形態について説明する。
【0056】
図5は、本発明の第2の実施の形態における映像データ管理システムの構成図である。この映像データ管理システムは、利用者端末501と映像データ管理装置502から構成されている。利用者端末501において、利用者は映像データとメタデータの入力、検索キーワードの入力と検索結果の受信、映像編集情報の入力を行う。
【0057】
映像データ管理装置502はデータ受信部508、データ検索部509、データ蓄積部510、メタデータ切り出し処理部511、映像編集処理部512を有している。
【0058】
データ受信部508では、映像データ503とメタデータ504を受信し、受信した各データをデータ蓄積部510に送信する。次にデータ蓄積部510において一意に識別可能な映像IDを発行し、受信した映像データ503とメタデータ504に付与しておき、該映像IDをキーにして対応する映像データとメタデータが検索できるようにしておく。
【0059】
具体的には、メタデータを格納するテーブル領域として「メタデータテーブル:映像ID」(映像IDの部分には一意な識別IDが入る)を作成する。テーブル構成については第1の実施の形態における図2と同じものとする。データ検索部509においては、利用者端末1から検索キーワード505を受信し、データ蓄積部510に格納されているすべてのメタデータテーブルを参照してメタデータの中に検索キーワード505を含む映像データを部分一致または完全一致で検索し、検索結果506として検索結果の映像データとそれに付随するメタデータを出力する。検索キーワードの与え方としては、属性名と属性値のセット、あるいは属性値のみで与えてもよい。
【0060】
データ映像編集処理部512においては、映像編集情報507を受信し、映像編集情報507の内容に従って、映像データやメタデータの編集処理を行い、その結果としてできる映像データとメタデータを新規に作成されたデータとして、データ蓄積部510に格納する。ここで映像編集情報507とは、図6のように、映像ID、In点、Out点の3つを1行として、複数行からなるテキスト情報とする。各行によって指定される映像の一部(または全体)とメタデータの一部(または全体)を結合したものが最終的な編集結果となる。図7を用いて第2の実施の形態における映像編集処理について説明する。
【0061】
最初にステップ1において、受信した映像編集情報701から変数の初期設定を行う。
【0062】
まず新しく作成する映像データとそれに付随するメタデータに付与する、システム全体で一意なIDを生成し、変数IDに格納する。変数Nには映像編集情報701の行数を格納し、変数Tには0を格納する。Tは編集中のメタデータと最終的に出力する映像データの先頭からの時間を対応つけるために使用する変数である。具体的には映像編集情報の各行、つまり、映像切り出し情報に基づいて切り出してきた映像データの、最終的に出力する映像データにおけるIn点の時間情報を映像の先頭からの時間で表し、格納することになる。
【0063】
次にステップ2において、編集したメタデータを格納するための「メタデータテーブル:ID」をデータ蓄積部510に作成する。
【0064】
次にIを1からNまで変化させながらステップ3からステップ8までの処理を繰り返す。
【0065】
ステップ4において映像編集情報のI行目について、映像ID、In点、Out点の値をそれぞれID、IN、OUTに格納する。
【0066】
ステップ5においてはID、IN、OUTの値のセットを映像切り出し情報としてメタデータ切り出し処理部511で処理し、処理結果をMに格納する。メタデータ切り出し処理については第1の実施の形態で示したものと同じ処理とする。
【0067】
ステップ6において処理結果Mに対してIn点とOut点の全ての値にTの値を足した結果を「メタデータテーブル:ID」の最後の行に追加して格納する。なお、ループ1における最初の処理では、「メタデータテーブル:ID」の最初の行から上記の結果が加えられることになる。なお、Tを足すことにより、上記In点とOut点が、編集後の映像データの先頭からの時間情報となる。
【0068】
次にステップ7においてTの値をT+(OUT−IN)で更新する。
【0069】
ステップ8はステップ3からのループの終端を示す。
【0070】
ループ1の処理の終了後、ステップ9においてメタデータのマージ処理を行う。具体的には、「メタデータテーブル:ID」の格納されている全メタデータについて、時間情報(In点とOut点)を参照し、時間情報が連続しているか重なっているもので、かつ属性名及び属性値が一致している場合には、1つのメタデータとみなして、1つのメタデータに集約する。具体的には、対象のメタデータのうち任意のメタデータの属性名、属性値と、In点の最小値、Out点の最大値をセットにして1つのメタデータとして「メタデータテーブル:ID」に追加した後、対象のメタデータをすべて削除する。
【0071】
例えば、マージ処理前の「メタデータテーブル:ID」にメタデータ1として“属性名:撮影者、属性値:山田、時間:10−20”、メタデータ2として“属性名:撮影者、属性値:山田、時間:20−30”が格納されている場合に、マージ処理をすることにより、“属性名:撮影者、属性値:山田、時間:10−30”のメタデータが追加されて、上記のメタデータ1とメタデータ2が削除される。なお、同値性の判断は、属性名と属性値のセットで行っているので、例えば、「出演者:山田」と「監督:山田」などの意味的に異なるメタデータをマージしてしまうことは無い。
【0072】
最後にステップ1において映像編集情報701の情報に従って、映像データの編集処理を行う。処理結果はIDに関連づけてデータ蓄積部に格納する。なお、映像データの編集は、映像編集情報701における行の順番に、切り出した映像を結合するようにして行う。
【0073】
なお、上記実施の形態は映像切り出し処理機能または映像編集機能を持った映像データ管理システムについて述べたが、本発明はこれに限定されるものではない。また、上記実施の形態においては管理対象として映像データとそれに付随する複数のメタデータに限定して記述したが、本発明はこれに限定されるものではなく、例えば音声データとそれに付随する複数のメタデータに対しても本実施の形態と同じ方法を用いることで映像データとそれに付随する複数のメタデータの場合と同じ効果を得ることができる。なお、本明細書では、上記の映像もしくは音声など、処理の対象のことを“コンテンツ”と称する場合がある。
【0074】
本実施の形態における映像データ管理装置は、CPU、メモリ、ディスク装置などを備えたコンピュータにプログラムを搭載することにより実現することもできる。このプログラムは、コンピュータが読み取りできる記録媒体、例えば、フロッピー(登録商標)ディスク)や、MO、ROM、メモリカード、CD−ROM、DVD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、そのプログラムは、インターネットや電子メールなど、ネットワークを通して提供することも可能である。
【0075】
なお、本発明は、上記の実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【0076】
【発明の効果】
本発明によれば、利用者が映像の一部分だけを切り出して利用する場合や複数の映像を組み合わせて新しい映像を再構成する場合に、元の映像に付随する全てのメタデータに対して映像と同様の切り出し処理や編集処理を行うことから、編集の過程で付けられた複数のショットにまたがる抽象的なメタデータも新しい映像に継承され、過去にその映像がどのような使われ方をしたかという情報を知ることができないという問題点や、本来の内容と違った目的に使用されてしまう恐れがあるといった問題点を解決する。
【0077】
すなわち、本発明によれば、映像の編集情報(映像切り出し情報)とメタデータの時間情報とを比較して編集後(切り出し後)の映像に対応する部分のメタデータのみを抽出することができるので、映像の2次利用の際に既存メタデータの継承が可能となり、新たにメタデータを入力する手間が省ける。
【0078】
これにより新しい観点からの映像制作が可能となると共に内容の正確性が向上することから、映像制作の質が向上する効果がある。
【0079】
更に、本発明では、各メタデータと映像の該当する部分の対応付けを映像の先頭からの時間情報のみを用いて行っている。
【0080】
この構成に従えば、メタデータ入力や編集作業を映像の任意の部分に対して行うことが可能となり、メタデータ入力や映像編集がショット単位でしか行えないという問題点を解決する。これによりメタデータ入力や映像編集作業を柔軟に行うことができるようになる。
【0081】
更に、本発明では、メタデータの切り出し処理や編集処理において、編集された映像に合わせて、抽出した各メタデータと映像の対応する部分とを結び付けるための時間情報を編集された映像に合わせて修正している。
【0082】
この構成に従えば、再編集後の映像データと付随するメタデータの対応関係が一意的に判別がつき、あるシステムで入力したメタデータが他のシステムで流用できないという問題点を解決する。これによりメタデータを入力した映像データ管理システムとは異なるシステムにおいてもメタデータの再利用が可能となり、映像の再編集が効率的に行えるようになる。
【0083】
更に、本発明では、メタデータの編集処理において、編集後に時間情報が連続するか重なっている複数のメタデータで、属性名と属性値が一致する場合には1つのメタデータに結合することができる。
【0084】
この構成に従えば、編集後のメタデータの記述において、冗長なデータが増えてしまうという問題点を解決し、メタデータを用いた映像検索処理を効率的に行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態におけるシステム構成図である。
【図2】本発明の第1の実施の形態におけるメタデータテーブルを示す図である。
【図3】本発明の第1の実施の形態における映像データ切り出し情報を示す図である。
【図4】本発明の第1の実施の形態におけるメタデータ切り出し処理のフローチャートである。
【図5】本発明の第2の実施の形態におけるシステム構成図である。
【図6】本発明の第2の実施の形態における映像編集情報を示す図である。
【図7】本発明の第2の実施の形態における映像編集処理のフローチャートである。
【図8】従来技術を説明するための図である。
【符号の説明】
101、106、503 映像データ
102、107、504 メタデータ
103、505 検索キーワード
104、506 検索結果
105 映像切り出し情報
108、508 データ受信部
109、510 データ蓄積部
110、509 データ検索部
111 映像データ切り出し処理部
112、511 メタデータ切り出し処理部
113 データ出力部
507 映像編集情報
512 映像編集処理部
800 映像
801、802、803、804 ショット切り替え
805 メタデータ入力インタフェース
806 素材エリア
807 ツリー構造表示エリア
809、810、811、812、813 アイコン
815 メタデータ入力ウィンドウ
816 チェック欄
817 入力ウィンドウ
818 OKボタン
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video data management system, and more particularly, to a metadata editing method and apparatus for improving the efficiency of a metadata management method when editing video data.
[0002]
[Prior art]
Patent Document 1 discloses a “moving image editing device” as a device that can integrally manage metadata and video data. In this conventional technique, a scene change (referred to as a shot change) is detected from a video, divided into a plurality of shots, and an icon using a leading image of each shot is operated to enable easy video editing. I have. In addition, not only can metadata be added to each shot of a video, but a plurality of shots can be collectively and hierarchically provided with metadata.
[0003]
The outline of the operation of this conventional technique will be described with reference to FIG.
[0004]
The video 800 given as an input is composed of four scenes (shots) A, B, C, D, etc. In this example, the shot A is composed of three frames A1, A2, A3, and the shot B is The shot C is composed of two frames C1 and C2, and the shot D is composed of two frames D1 and D2. The boundaries 801, 802, 803 and 804 of these shots A, B, C and D are called shot switching.
[0005]
In this conventional technique, first, a shot switching position is detected. Various methods have been developed as a method of detecting a shot switching position using image processing. For example, the method can be detected by using a method disclosed in Patent Document 2 (cut point detection method and device).
[0006]
Next, the leading image (A1, B1, C1, D1) of each shot is extracted from the video 800 as a representative image, and the metadata input interface 805 is constructed using these. The metadata input interface 805 includes three areas: a material area 806, a tree structure display area 807, and a function button area. The user performs an image editing operation by selecting an icon displayed in the material area 805 with a pointing device such as a mouse and performing an operation such as drag and drop to the tree structure display area 807. In addition, by using the buttons in the function button area, metadata input to each icon, a tree structure of icons, and the like can be performed. Each function will be described below.
[0007]
First, the video editing operation will be described. In the material area 806, icons (four in this example) corresponding to each shot of the video 800 are displayed in chronological order of the video from the left, and the representative image extracted above is displayed above each icon. I do. As an example, a frame A1 is displayed on the icon 809 as a representative image corresponding to the first shot. The user selects an icon that matches the image of the video to be produced, and performs a drag-and-drop operation on the tree structure display area. As a result, the selected icons are sequentially displayed in the lowermost part of the tree structure display area 807. By repeating this operation, a plurality of icons are arranged at the bottom of the tree structure display area 807. Eventually, a series of shots corresponding to the icons displayed in order from the left is a video to be finally created.
[0008]
For example, when icons 809 and 810 are sequentially dragged and dropped to the tree structure display area, icons 811 and 812 are displayed at the bottom of the tree structure display area 807. The icons 811, 812 display representative images A1, B1 corresponding to the icons 809, 810, respectively, and the video of the portion from shot switching 801 to 803 is recorded in the tree structure display area as a temporary editing result. A shot can also be deleted by changing the order of shots by a similar mouse drag and drop operation, or by pressing a specific button (for example, a shot deletion button) in the function button area.
[0009]
Next, a metadata input method will be described. When a specific icon is clicked and selected in the tree structure display area 807 and a specific button (for example, a metadata input button) in the function button area 808 is pressed, a metadata input window 815 is opened and information about the shot is displayed. You can enter metadata.
[0010]
The user first selects an attribute name indicating the type of metadata to be input, then inputs an attribute value in the input space and presses the OK button to complete the input. For example, when metadata "climbing" is input as a comment, the user first checks the comment check box 816 and enters "climbing" in the input window 817 on the left side. When the input is completed, pressing the OK button 818 completes the input.
[0011]
Next, the tree structure function of icons will be described. By selecting a plurality of icons in the tree structure display area 807 and pressing a specific button (for example, a tree structure button) in the function button area 808, the icons can be formed into a tree structure. For example, if an icon 811 or 812 is selected and a tree structure button is pressed, a parent icon 813 is generated as a result of the tree structure and is displayed above the icons 811 and 812. The icon 813 corresponds to a combination of two shots corresponding to the icons 811 and 812, and the same image as the icon 811 is displayed as a representative image. By pressing the metadata input button for the icon 813, metadata can be input, and information common to both the icons 811 and 812 can be input. With the icon tree structuring function as described above, hierarchical metadata can be provided, and abstract metadata can be efficiently managed.
[0012]
Finally, by pressing a specific button in the function button area 808, the video and metadata of the edited result can be registered in a database and used for later searching, or output as a file.
[0013]
According to this conventional technique, the use of the above-described metadata input interface 805 enables efficient video editing operations and hierarchical metadata input and management. For example, when a keyword “climbing” is given as a search keyword, a shot relating to “climbing” is retrieved, and the result can be read into a material area and used for video editing.
[0014]
[Patent Document 1]
JP-A-11-205736
[0015]
[Patent Document 2]
JP-A-11-8854
[0016]
[Problems to be solved by the invention]
However, the above prior art has the following problems.
[0017]
The first problem of the above-described prior art is that images can be handled only in shot units. In an actual video editing site, editing is often performed while taking into consideration the length of the entire video to be finally created, and video is not necessarily edited in shot units. For example, even when it is desired to use only a part of the video of 3 seconds out of a shot of a certain 20 seconds, this technique can handle only the entirety of 20 seconds, and eventually includes useless video. Also, if the length of the entire video to be created is predetermined, it is necessary to adjust the shots to be used and perform the editing work while calculating the overall time to meet the target time. There is a need to do. In fact, with this prior art system, it is nearly impossible to edit the overall length of the final video to exactly match the desired length.
[0018]
In addition, since metadata can be input only at the unit of a shot, there is a problem that it is not possible to input metadata flexibly in terms of time. For example, it is not possible to input information on a part of video in one shot only to a corresponding portion.
[0019]
A second problem is that when a part of the video is reused, the abstract metadata of the upper layer of the hierarchical metadata is not inherited. For example, for a shot A with metadata “sea bathing” and a shot B with metadata “fireworks”, metadata “summer” is added as a superordinate concept of shots A and B. Suppose Then, if only the shot A is reused as a part of another video, the metadata “summer” is not carried over to the shot corresponding to the original shot A in the new video.
[0020]
Generally, video creators tend to avoid creating something similar to the work of others, and there is a very high need for information on how shots have been used in the past. However, because the metadata of the superordinate concept is not inherited, it is impossible to know how others used the shot in the video work. In addition, if video editing is performed by relying only on the metadata attached to each shot unit, there may be a situation where shot contents are misunderstood and used differently from actual contents. For example, for a video that is forged as if shooting a crime scene, the shot is assigned metadata of “crime scene”, and if the metadata is attached with “forgery” as a superordinate concept, it is called “forgery”. If the metadata is not inherited, it may be misused as being genuinely misunderstood.
[0021]
A third problem is that metadata input on this system cannot be used for other similar video data management systems. 2. Description of the Related Art In recent years, the distribution of video has become active. For example, the opportunity of reusing even one movie work through various media such as DVD, video package, BS / CS broadcast, TV broadcast, and distribution on the Internet is increasing. In the process, the video is often re-edited according to the state of the media, and the opportunity to re-edit the video using a system different from the video editing system used for the first video production is increasing.
[0022]
Under such circumstances, there is an increasing demand for using metadata input on a specific video editing system in another video editing system to improve the efficiency of video editing work. However, this prior art does not show a method for reusing input metadata in another system.
[0023]
A fourth problem is that merge processing is not performed on metadata accompanying the edited video. In this system, merge processing is not performed even if metadata having the same contents in both attribute names and attribute values is assigned to a plurality of consecutive shots in the edited video, and different metadata is used for each shot. Is managed as In general broadcast program video, one shot is about 5 seconds long, and if the video is about 2 hours, the number of shots may exceed 1,000. In such a situation, if the metadata is managed for each shot, not only the description data of the metadata becomes redundant, but also the search speed is hindered in the video search processing using the metadata.
[0024]
The present invention has been made in view of the above-described drawbacks of the conventional system, and has been made in view of the above-mentioned. A technique for appropriately performing metadata editing processing associated with video editing processing and efficiently performing secondary use of video and metadata is provided. Its purpose is to provide.
[0025]
[Means for Solving the Problems]
The above-mentioned problem is a processing method in a metadata editing device that edits metadata attached to a content, and includes extraction information for extracting a predetermined portion of the target content, A procedure for acquiring all the metadata, and a process of associating the attribute information in the metadata with a part or all of the part of the content corresponding to the metadata, the part overlapping with the content cut out based on the cut-out information, And a metadata attaching procedure performed on each metadata attached to the target content.
[0026]
According to the present invention, it is possible to extract the metadata of the portion corresponding to the cut-out content from the metadata of the original content, so that the existing metadata can be inherited at the time of secondary use of the video, and the new metadata can be extracted. Eliminates the need to enter data. Further, even if the metadata is input by another system, the metadata editing process can be performed as long as each metadata has time information. This solves the problem that it is not possible to know the information about how the video was used in the past, and the problem that the video might be used for a purpose different from the original content. .
[0027]
In the above method, each of the metadata includes time information indicating a time section corresponding to the metadata in the content, and the process of associating the attribute information includes the time information in the cutout information and the time information in the metadata. And determining the overlapping portion by comparing the time information of the metadata associated with the overlapping portion with the information based on the time of the beginning of the content extracted based on the extraction information. Can be included.
[0028]
Further, when a plurality of contents cut out based on the cut-out information are combined into an edited content, the time information in the metadata attached to the respective contents cut out based on the cut-out information by the metadata providing procedure is replaced with the content. And using the time from the beginning of the edited content based on the order in the edited content.
[0029]
According to the above-mentioned invention, it is possible to perform metadata input and editing work on an arbitrary portion of content, and solve the problem that metadata input and video editing can be performed only in shot units. Thereby, the metadata input and the video editing work can be performed flexibly.
[0030]
In addition, it is possible to uniquely determine the correspondence between the edited content and the accompanying metadata, and solve the problem that metadata input in one system cannot be used in another system. Thus, the metadata can be reused even in a system different from the video data management system to which the metadata has been input, and the video can be efficiently re-edited.
[0031]
Further, the above problem is a processing method in a metadata editing device that edits metadata attached to a content, and among a plurality of pieces of metadata associated with a target content, a time on the content is reduced. It is also possible to solve the problem by a method having a procedure in which a plurality of pieces of metadata that have an overlapping portion or are continuous and whose contents are the same are made into one piece of metadata.
[0032]
According to the present invention, it is possible to solve the problem that redundant data increases in the description of metadata after editing, and to efficiently perform a content search process using metadata.
[0033]
Note that the same content means that the attribute name and the attribute value are the same. This can prevent semantically different metadata from being one metadata.
[0034]
In addition, in the above method, each of the metadata includes information on an attribute, In information and Out information indicating a time section in the content, and a procedure in which the same content is defined as one metadata includes: One piece of metadata is formed by combining the minimum In information, the maximum Out information, and the information on the attribute that is the same among the plurality of pieces of metadata among a plurality of pieces of metadata having or overlapping in time. It may be configured to include a procedure for converting data.
[0035]
Further, the present invention can be configured as an apparatus having means for executing each of the above procedures. Further, the present invention can be configured as a program that causes a computer to execute the above-described procedures.
[0036]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0037]
(First Embodiment)
FIG. 1 shows a video data management system according to the first embodiment of the present invention. This video data management system includes a user terminal 1 and a video data management device 2. In the user terminal 1, the user operates the user terminal 1 to input video cutout information and input or receive video data and metadata.
[0038]
The video data management device 2 includes a data receiving unit 108, a data storage unit 109, a data search unit 110, a video data cutout processing unit 111, a metadata cutout processing unit 112, and a data output unit 113.
[0039]
The data receiving unit 108 receives the video data 101 and the metadata 102 and transmits the received data to the data storage unit 109. Next, a uniquely identifiable video ID is issued in the data storage unit 109, and is given to the received video data 101 and metadata 102 so that the corresponding video data and metadata can be searched using the video ID as a key. I do.
[0040]
Here, the metadata 102 is text information including an attribute name, an attribute value thereof, and an In point and an Out point for designating a target section on the corresponding video data using time information from the beginning of the video. That is, as shown in FIG. 2, a table (metadata table) associated with the video ID is created in the data storage unit 109, and the metadata is stored therein in the order in which it was received. Information of the specified metadata (attribute name and its attribute value, and In point and Out point) can be obtained from the order information. Similarly, the video data 101 is managed in association with the video ID, and the specified video data can be obtained from the information of the video ID later.
[0041]
The data search unit 110 receives the search keyword 103 from the user terminal 1 and refers to all the metadata tables stored in the data storage unit 109 to retrieve the video data including the search keyword 103 in the metadata. A search is performed based on a partial match or a perfect match, and video data of the search result and metadata accompanying the search result are output as the search result 104. The search keyword may be given by a set of an attribute name and an attribute value, or may be given only by an attribute value.
[0042]
When clipping a part of the video data from the registered video data, the video clipping information 105 is transmitted to the video data clipping processing unit 111. Here, the video clipping information 105 is text information including a video ID of target video data and information on an In point and an Out point that specify a section to be clipped, as shown in FIG.
[0043]
Upon receiving the video cutout information 105, the video data cutout processing unit 111 cuts out the video data 106 of the specified section in the corresponding video data from the specified video ID and the information of the In point and the Out point, and outputs the data to the data output unit 113. , And simultaneously transmits the video clipping information 105 to the metadata clipping processing unit 112.
[0044]
The clipping process of the video data can be easily performed by using the existing technology. For example, MP-Factory ver., Which is a software product developed and sold at KDDI R & D Labs. By using No. 3, it is possible to specify an arbitrary part from the MPEG file and cut out the frame unit.
[0045]
The metadata cutout processing unit 112 acquires the metadata associated with the video ID from the data storage unit 109 using the information of the video ID included in the received video cutout information 105, and obtains appropriate metadata based on the video cutout information 105. After performing the metadata extracting process, the metadata 107 is transmitted to the data output unit 113. The data output unit 113 outputs the received video data 106 and metadata 107 together to the user terminal 1.
[0046]
Next, the metadata extraction processing performed by the metadata extraction processing unit 112 will be described in detail with reference to the flowchart of FIG.
[0047]
First, in step 1, the values of the video ID, the In point, and the Out point are extracted from the video data cutout information and stored in variables ID, IN, and OUT, respectively. Next, in step 2, the number of rows to which data is input (that is, the number of rows in the metadata table) is obtained from a metadata table (hereinafter, referred to as “metadata table: ID”) associated with the video ID. Then, the number is stored in the variable N and 1 is stored in the variable J at the same time. Next, the process in the loop 1 is repeated while changing the variable J from 1 to N (step 3).
[0048]
In the processing in the loop 1, first, in step 4, the values of the In point [J] and the Out point [J] of the metadata table: ID are stored in the variables In_tmp and Out_tmp, respectively. Next, in step 5, the values of Out_tmp and IN and the values of In_tmp and OUT are compared, and if the condition of Out_tmp <IN or In_tmp> OUT is satisfied, the process returns to the beginning of loop 1 and adds 1 to variable J. To the next process.
[0049]
If none of the above conditions is satisfied, the process moves to the next process, and in Step 6, Out_tmp is compared with OUT. If the condition Out_tmp> OUT is satisfied, the value of OUT is stored in Out_tmp in step 7 and the process proceeds to the next process. If the condition is not satisfied, the process proceeds to the next process without doing anything.
[0050]
In the next process, in step S8, the value of In_tmp is compared with the value of IN. If the condition of In_tmp <IN is satisfied, the value of IN is stored in In_tmp in step 9 and the process proceeds to the next process. If the condition is not satisfied, the process proceeds to the next process without doing anything.
[0051]
Next, in step 10, the metadata table: ID attribute name [J], In_tmp-IN, Out_tmp-IN, attribute are assigned to variables Item_Name [J], In [J], Out [J], and Item [J], respectively. The value of the value [J] is stored. Next, in step 11, 1 is added to the variable J, and the process returns to the beginning of loop 1 and the processing of loop 1 is repeated. It is assumed that each of the variables Item_Name [J], In [J], Out [J], and Item [J] (J = 1 to N) has been previously initialized (for example, initialized to 0).
[0052]
After the completion of the loop 1 processing, all the information of the entire metadata table associated with the ID and the metadata string Item_Name [t], In [t], Out [t], Item [ t] (t is from 1 to J−1) to the data output unit 113 to complete the metadata extracting process.
[0053]
By the above processing, it is possible to extract metadata (attribute name, In point and Out point, which are the time from the beginning of the video clipped by the video clipping information, and attribute value) for each portion of the video clipped in the video clipping information. it can.
[0054]
That is, by comparing the video editing information (video clipping information) with the time information of the metadata, it is possible to extract only the metadata of the portion corresponding to the video after editing (after clipping). As a result, the existing metadata can be inherited even when the image is not used in units of shots in the secondary use of the video, and the trouble of newly inputting the metadata can be omitted. In addition, even if the metadata is input by another system, the editing process can be performed in the same manner as in the present embodiment as long as each metadata has time information.
[0055]
(Second embodiment)
Next, a second embodiment of the present invention will be described.
[0056]
FIG. 5 is a configuration diagram of a video data management system according to the second embodiment of the present invention. This video data management system includes a user terminal 501 and a video data management device 502. In the user terminal 501, the user inputs video data and metadata, inputs a search keyword, receives a search result, and inputs video editing information.
[0057]
The video data management device 502 includes a data receiving unit 508, a data search unit 509, a data storage unit 510, a metadata cutout processing unit 511, and a video editing processing unit 512.
[0058]
The data receiving unit 508 receives the video data 503 and the metadata 504, and transmits the received data to the data storage unit 510. Next, a uniquely identifiable video ID is issued in the data storage unit 510, and is given to the received video data 503 and the metadata 504, and the corresponding video data and metadata can be searched using the video ID as a key. So that
[0059]
Specifically, “metadata table: video ID” (a unique identification ID is entered in the video ID portion) is created as a table area for storing metadata. The table configuration is the same as in FIG. 2 in the first embodiment. The data search unit 509 receives the search keyword 505 from the user terminal 1 and refers to all the metadata tables stored in the data storage unit 510 to retrieve the video data including the search keyword 505 in the metadata. The search is performed based on a partial match or a perfect match, and video data of the search result and metadata accompanying the search result 506 are output. A search keyword may be given by a set of an attribute name and an attribute value, or only by an attribute value.
[0060]
The data video editing processing unit 512 receives the video editing information 507, edits video data and metadata according to the content of the video editing information 507, and newly creates video data and metadata resulting from the processing. The stored data is stored in the data storage unit 510. Here, the video editing information 507 is, as shown in FIG. 6, text information including a plurality of lines, with three lines of a video ID, an In point, and an Out point as one line. A combination of a part (or the whole) of the video specified by each line and a part (or the whole) of the metadata is a final editing result. A video editing process according to the second embodiment will be described with reference to FIG.
[0061]
First, in step 1, variables are initialized from the received video editing information 701.
[0062]
First, a unique ID for the entire system to be added to newly created video data and its accompanying metadata is generated and stored in a variable ID. The variable N stores the number of lines of the video editing information 701, and the variable T stores 0. T is a variable used to associate the metadata being edited with the time from the beginning of the finally output video data. Specifically, each line of the video editing information, that is, the time information of the In point in the finally output video data of the video data clipped based on the video clipping information is represented by the time from the beginning of the video and stored. Will be.
[0063]
Next, in step 2, a “metadata table: ID” for storing the edited metadata is created in the data storage unit 510.
[0064]
Next, the processing from step 3 to step 8 is repeated while changing I from 1 to N.
[0065]
In step 4, for the I-th line of the video editing information, the values of the video ID, the In point, and the Out point are stored in ID, IN, and OUT, respectively.
[0066]
In step 5, a set of ID, IN, and OUT values is processed by the metadata cutout processing unit 511 as video cutout information, and the processing result is stored in M. The metadata extraction process is the same as that described in the first embodiment.
[0067]
In step 6, a result obtained by adding the value of T to all values of the In point and the Out point with respect to the processing result M is added to the last row of the “metadata table: ID” and stored. In the first process in the loop 1, the above result is added from the first row of “metadata table: ID”. By adding T, the In point and the Out point become time information from the beginning of the edited video data.
[0068]
Next, in step 7, the value of T is updated with T + (OUT−IN).
[0069]
Step 8 indicates the end of the loop from step 3.
[0070]
After the processing of the loop 1 is completed, in step S9, the metadata is merged. Specifically, the time information (In point and Out point) is referred to for all the metadata stored in the “metadata table: ID”, and the time information is continuous or overlapped, and the attribute is If the name and the attribute value match, it is regarded as one piece of metadata, and is aggregated into one piece of metadata. Specifically, the attribute name and attribute value of arbitrary metadata among the target metadata, the minimum value of the In point, and the maximum value of the Out point are set, and “metadata table: ID” is set as one metadata. , Then delete all of the target metadata.
[0071]
For example, “metadata table: ID” before the merge processing includes “attribute name: photographer, attribute value: Yamada, time: 10-20” as metadata 1 and “attribute name: photographer, attribute value” as metadata 2 : Yamada, time: 20-30 "is stored, and metadata of" attribute name: photographer, attribute value: Yamada, time: 10-30 "is added by performing the merge processing. The above metadata 1 and metadata 2 are deleted. Since the determination of equivalence is performed using a set of an attribute name and an attribute value, for example, it is not possible to merge semantically different metadata such as “performer: Yamada” and “director: Yamada”. There is no.
[0072]
Finally, in step 1, the video data is edited according to the information of the video editing information 701. The processing result is stored in the data storage unit in association with the ID. The editing of the video data is performed in such a manner that the cut-out videos are combined in the order of the lines in the video editing information 701.
[0073]
In the above embodiment, the video data management system having the video clipping processing function or the video editing function has been described, but the present invention is not limited to this. Further, in the above-described embodiment, the description has been made by limiting the management target to video data and a plurality of metadata associated therewith. However, the present invention is not limited to this. For example, audio data and a plurality of metadata By using the same method for metadata as in the present embodiment, the same effect as in the case of video data and a plurality of metadata attached thereto can be obtained. In the present specification, an object to be processed, such as the video or audio, may be referred to as “content”.
[0074]
The video data management device according to the present embodiment can also be realized by installing a program in a computer including a CPU, a memory, a disk device, and the like. The program is recorded on a computer-readable recording medium, for example, a floppy (registered trademark) disk, an MO, a ROM, a memory card, a CD-ROM, a DVD, a removable disk, and the like, and is stored or distributed. It is possible to do. Further, the program can be provided through a network such as the Internet or e-mail.
[0075]
It should be noted that the present invention is not limited to the above-described embodiment, and various modifications and applications are possible within the scope of the claims.
[0076]
【The invention's effect】
According to the present invention, when a user cuts out and uses only a part of a video or reconstructs a new video by combining a plurality of videos, the video and the metadata are added to all the metadata attached to the original video. Because similar clipping and editing processes are performed, the abstract metadata over multiple shots attached in the editing process is also inherited by the new video, and how the video was used in the past The problem that information cannot be known and the problem that it may be used for a purpose different from the original contents are solved.
[0077]
That is, according to the present invention, it is possible to compare only the video editing information (video clipping information) with the metadata time information and extract only the metadata corresponding to the video after editing (after clipping). Therefore, the existing metadata can be inherited at the time of secondary use of the video, and the trouble of newly inputting the metadata can be omitted.
[0078]
This makes it possible to produce a video from a new point of view and improves the accuracy of the content, thereby improving the quality of the video production.
[0079]
Further, in the present invention, the association between each piece of metadata and the corresponding portion of the video is performed using only the time information from the beginning of the video.
[0080]
According to this configuration, metadata input and editing work can be performed on an arbitrary portion of video, and the problem that metadata input and video editing can be performed only in shot units can be solved. Thereby, the metadata input and the video editing work can be performed flexibly.
[0081]
Further, in the present invention, in the metadata clipping process and the editing process, the time information for connecting each extracted metadata and the corresponding portion of the video is adjusted in accordance with the edited video in accordance with the edited video. Corrected.
[0082]
According to this configuration, the correspondence between the re-edited video data and the associated metadata can be uniquely determined, and the problem that metadata input in one system cannot be used in another system is solved. As a result, the metadata can be reused even in a system different from the video data management system that has input the metadata, and the video can be efficiently re-edited.
[0083]
Further, according to the present invention, in a metadata editing process, if a plurality of pieces of metadata whose time information is continuous or overlapped after editing and their attribute names and attribute values match, the metadata can be combined into one piece of metadata. it can.
[0084]
According to this configuration, it is possible to solve the problem that redundant data increases in the description of the edited metadata, and to efficiently perform the video search processing using the metadata.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a metadata table according to the first embodiment of the present invention.
FIG. 3 is a diagram showing video data cutout information according to the first embodiment of the present invention.
FIG. 4 is a flowchart of metadata extraction processing according to the first embodiment of the present invention.
FIG. 5 is a system configuration diagram according to a second embodiment of the present invention.
FIG. 6 is a diagram showing video editing information according to the second embodiment of the present invention.
FIG. 7 is a flowchart of a video editing process according to the second embodiment of the present invention.
FIG. 8 is a diagram for explaining a conventional technique.
[Explanation of symbols]
101, 106, 503 Video data
102, 107, 504 metadata
103,505 Search keywords
104, 506 search results
105 Video clipping information
108, 508 Data receiving unit
109, 510 Data storage unit
110, 509 Data search unit
111 Video Data Extraction Processing Unit
112, 511 Metadata extraction processing unit
113 Data output section
507 Video editing information
512 Video editing processing unit
800 videos
801, 802, 803, 804 shot switching
805 Metadata input interface
806 material area
807 Tree structure display area
809, 810, 811, 812, 813 Icon
815 Metadata input window
816 Check column
817 Input window
818 OK button

Claims (19)

コンテンツに付されたメタデータを編集するメタデータ編集装置における処理の方法であって、
対象とするコンテンツの所定の部分を切り出すための切り出し情報と、当該対象とするコンテンツに付された全メタデータを取得する手順と、
メタデータに対応するコンテンツの部分の一部又は全部が、前記切り出し情報に基づき切り出されるコンテンツと重複する部分に当該メタデータにおける属性情報を対応付ける処理を、前記対象とするコンテンツに付された各メタデータに対して行うメタデータ付与手順と
を有することを特徴とする方法。
A method of processing in a metadata editing device that edits metadata attached to content,
A cutout information for cutting out a predetermined portion of the target content, and a procedure for obtaining all metadata attached to the target content;
A process of associating attribute information in the metadata with a part of the part of the content corresponding to the metadata and a part overlapping with the content cut out based on the cut-out information is performed on each of the metas attached to the target content. Providing metadata to the data.
前記各メタデータは、コンテンツにおける当該メタデータに対応する時間区間を示す時間情報を含み、
前記属性情報を対応付ける処理は、
前記切り出し情報における時間情報と前記メタデータにおける時間情報とを比較することにより前記重複する部分を決定し、前記重複する部分に対応付けられるメタデータの時間情報を、前記切り出し情報に基づき切り出されるコンテンツの先頭を基準とした時間を用いた情報とする処理を含む請求項1に記載の方法。
Each of the metadata includes time information indicating a time section corresponding to the metadata in the content,
The process of associating the attribute information includes:
The time information in the cutout information is compared with the time information in the metadata to determine the overlapping portion, and the time information of the metadata associated with the overlapping portion is cut out based on the cutout information. The method according to claim 1, further comprising a process of generating information using a time based on the beginning of the information.
切り出し情報に基づき切り出されたコンテンツを複数結合して編集コンテンツとする場合に、
切り出し情報に基づき切り出された各コンテンツに前記メタデータ付与手順により付されたメタデータにおける時間情報を、当該コンテンツの前記編集コンテンツにおける順番に基づき、前記編集コンテンツの先頭からの時間を用いた情報とする手順を更に有する請求項2に記載の方法。
When combining multiple pieces of content cut out based on the cut-out information into edited content,
The time information in the metadata attached to each content cut out based on the cut-out information by the metadata providing procedure is based on the order of the content in the edited content, and the information using the time from the beginning of the edited content and 3. The method of claim 2, further comprising the step of:
コンテンツに付されたメタデータを編集するメタデータ編集装置における処理の方法であって、
対象とするコンテンツに対応付けられた複数のメタデータのうち、当該コンテンツ上で時間的に重複部分を有するか連続する複数のメタデータであって、その内容が同一のものを1つのメタデータとする手順を有することを特徴とする方法。
A method of processing in a metadata editing device that edits metadata attached to content,
Among a plurality of metadata associated with the target content, a plurality of metadata having a temporally overlapping portion or being continuous on the content and having the same content is regarded as one metadata. A method comprising the steps of:
前記内容が同一であるとは属性名及び属性値が共に同一であることである請求項4に記載の方法。5. The method according to claim 4, wherein the same content means that the attribute name and the attribute value are the same. 前記各メタデータは、属性に関する情報と、前記コンテンツにおける時間区間を示すIn情報とOut情報とを含み、
前記内容が同一のものを1つのメタデータとする手順は、時間的に重複部分を有するか連続する複数のメタデータの中での最小のIn情報と、最大のOut情報と、複数のメタデータ間で同一である属性に関する情報とを組にして1つのメタデータとする手順を含む請求項4に記載の方法。
Each of the metadata includes information on attributes, In information and Out information indicating a time section in the content,
The procedure of using the same content as one piece of metadata includes a minimum In information, a maximum Out information, and a plurality of pieces of metadata among a plurality of pieces of metadata having a temporally overlapping portion or being continuous. 5. The method according to claim 4, further comprising a step of combining information on attributes that are the same among the attributes into one piece of metadata.
コンテンツに付されたメタデータを編集するメタデータ編集装置であって、
対象とするコンテンツの所定の部分を切り出すための切り出し情報と、当該対象とするコンテンツに付された全メタデータを取得する手段と、
メタデータに対応するコンテンツの部分の一部又は全部が、前記切り出し情報に基づき切り出されるコンテンツと重複する部分に当該メタデータにおける属性情報を対応付ける処理を、前記対象とするコンテンツに付された各メタデータに対して行うメタデータ付与手段と
を有することを特徴とするメタデータ編集装置。
A metadata editing device for editing metadata attached to content,
A cutout information for cutting out a predetermined portion of the target content, and a unit for acquiring all metadata attached to the target content;
A process of associating attribute information in the metadata with a part of the part of the content corresponding to the metadata and a part overlapping with the content cut out based on the cut-out information is performed on each of the metas attached to the target content. A metadata editing apparatus, comprising: a metadata assigning unit for performing data.
前記各メタデータは、コンテンツにおける当該メタデータに対応する時間区間を示す時間情報を含み、
前記属性情報を対応付ける処理は、
前記切り出し情報における時間情報と前記メタデータにおける時間情報とを比較することにより前記重複する部分を決定し、前記重複する部分に対応付けられるメタデータの時間情報を、前記切り出し情報に基づき切り出されるコンテンツの先頭を基準とした時間を用いた情報とする処理を含む請求項7に記載のメタデータ編集装置。
Each of the metadata includes time information indicating a time section corresponding to the metadata in the content,
The process of associating the attribute information includes:
The time information in the cutout information is compared with the time information in the metadata to determine the overlapping portion, and the time information of the metadata associated with the overlapping portion is cut out based on the cutout information. The metadata editing apparatus according to claim 7, further comprising a process of setting information using a time based on a head of the metadata.
切り出し情報に基づき切り出されたコンテンツを複数結合して編集コンテンツとする場合に、
切り出し情報に基づき切り出された各コンテンツに前記メタデータ付与手順により付されたメタデータにおける時間情報を、当該コンテンツの前記編集コンテンツにおける順番に基づき、前記編集コンテンツの先頭からの時間を用いた情報とする手段を更に有する請求項8に記載のメタデータ編集装置。
When combining multiple pieces of content cut out based on the cut-out information into edited content,
The time information in the metadata attached to each content cut out based on the cut-out information by the metadata providing procedure is based on the order of the content in the edited content, and the information using the time from the beginning of the edited content and 9. The metadata editing apparatus according to claim 8, further comprising:
コンテンツに付されたメタデータを編集するメタデータ編集装置であって、
対象とするコンテンツに対応付けられた複数のメタデータのうち、当該コンテンツ上で時間的に重複部分を有するか連続する複数のメタデータであって、その内容が同一のものを1つのメタデータとする手段を有することを特徴とするメタデータ編集装置。
A metadata editing device for editing metadata attached to content,
Among a plurality of metadata associated with the target content, a plurality of metadata having a temporally overlapping portion or being continuous on the content and having the same content is regarded as one metadata. A metadata editing apparatus comprising:
前記内容が同一であるとは属性名及び属性値が共に同一であることである請求項10に記載のメタデータ編集装置。11. The metadata editing apparatus according to claim 10, wherein the same content means that the attribute name and the attribute value are the same. 前記各メタデータは、属性に関する情報と、前記コンテンツにおける時間区間を示すIn情報とOut情報とを含み、
前記内容が同一のものを1つのメタデータとする手段は、時間的に重複部分を有するか連続する複数のメタデータの中での最小のIn情報と、最大のOut情報と、複数のメタデータ間で同一である属性に関する情報とを組にして1つのメタデータとする手順を実行する請求項10に記載のメタデータ編集装置。
Each of the metadata includes information on attributes, In information and Out information indicating a time section in the content,
The means for using the same content as one piece of metadata includes a minimum In information, a maximum Out information, and a plurality of pieces of metadata among a plurality of pieces of metadata having a temporally overlapping portion or being continuous. The metadata editing apparatus according to claim 10, wherein the metadata editing apparatus according to claim 10 executes a procedure of combining information on attributes that are the same between the two to form one piece of metadata.
コンテンツに付されたメタデータを編集する処理をコンピュータに実行させるプログラムであって、コンピュータに、
対象とするコンテンツの所定の部分を切り出すための切り出し情報と、当該対象とするコンテンツに付された全メタデータを取得する手順と、
メタデータに対応するコンテンツの部分の一部又は全部が、前記切り出し情報に基づき切り出されるコンテンツと重複する部分に当該メタデータにおける属性情報を対応付ける処理を、前記対象とするコンテンツに付された各メタデータに対して行うメタデータ付与手順と
を実行させるプログラム。
A program that causes a computer to execute processing for editing metadata attached to content,
A cutout information for cutting out a predetermined portion of the target content, and a procedure for obtaining all metadata attached to the target content;
A process of associating attribute information in the metadata with a part of the part of the content corresponding to the metadata and a part overlapping with the content cut out based on the cut-out information is performed on each of the metas attached to the target content. A program for executing a metadata adding procedure to be performed on data.
前記各メタデータは、コンテンツにおける当該メタデータに対応する時間区間を示す時間情報を含み、
前記属性情報を対応付ける処理は、
前記切り出し情報における時間情報と前記メタデータにおける時間情報とを比較することにより前記重複する部分を決定し、前記重複する部分に対応付けられるメタデータの時間情報を、前記切り出し情報に基づき切り出されるコンテンツの先頭を基準とした時間を用いた情報とする処理を含む請求項13に記載のプログラム。
Each of the metadata includes time information indicating a time section corresponding to the metadata in the content,
The process of associating the attribute information includes:
The time information in the cutout information is compared with the time information in the metadata to determine the overlapping portion, and the time information of the metadata associated with the overlapping portion is cut out based on the cutout information. 14. The program according to claim 13, further comprising a process of setting information using a time based on the head of the information.
切り出し情報に基づき切り出されたコンテンツを複数結合して編集コンテンツとする場合に、
切り出し情報に基づき切り出された各コンテンツに前記メタデータ付与手順により付されたメタデータにおける時間情報を、当該コンテンツの前記編集コンテンツにおける順番に基づき、前記編集コンテンツの先頭からの時間を用いた情報とする手順を更に実行させる請求項14に記載のプログラム。
When combining multiple pieces of content cut out based on the cut-out information into edited content,
The time information in the metadata attached to each content cut out based on the cut-out information by the metadata providing procedure is based on the order of the content in the edited content, and the information using the time from the beginning of the edited content and 15. The program according to claim 14, further comprising the step of:
コンテンツに付されたメタデータを編集する処理をコンピュータに実行させるプログラムであって、コンピュータに、
対象とするコンテンツに対応付けられた複数のメタデータのうち、当該コンテンツ上で時間的に重複部分を有するか連続する複数のメタデータであって、その内容が同一のものを1つのメタデータとする手順を実行させるプログラム。
A program that causes a computer to execute processing for editing metadata attached to content,
Among a plurality of metadata associated with the target content, a plurality of metadata having a temporally overlapping portion or being continuous on the content and having the same content is regarded as one metadata. A program that causes the steps to be performed.
前記内容が同一であるとは属性名及び属性値が共に同一であることである請求項16に記載のプログラム。17. The program according to claim 16, wherein the same content means that the attribute name and the attribute value are the same. 前記各メタデータは、属性に関する情報と、前記コンテンツにおける時間区間を示すIn情報とOut情報とを含み、
前記内容が同一のものを1つのメタデータとする手順は、時間的に重複部分を有するか連続する複数のメタデータの中での最小のIn情報と、最大のOut情報と、複数のメタデータ間で同一である属性に関する情報とを組にして1つのメタデータとする手順を含む請求項16に記載のプログラム。
Each of the metadata includes information on attributes, In information and Out information indicating a time section in the content,
The procedure of using the same content as one piece of metadata includes a minimum In information, a maximum Out information, and a plurality of pieces of metadata among a plurality of pieces of metadata having a temporally overlapping portion or being continuous. 17. The program according to claim 16, further comprising a procedure of combining information on attributes that are the same between the two to form one piece of metadata.
請求項13ないし18のうちいずれか1項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。A computer-readable recording medium on which the program according to any one of claims 13 to 18 is recorded.
JP2003146320A 2003-05-23 2003-05-23 Method for editing metadata, device and program thereof Pending JP2004348553A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003146320A JP2004348553A (en) 2003-05-23 2003-05-23 Method for editing metadata, device and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003146320A JP2004348553A (en) 2003-05-23 2003-05-23 Method for editing metadata, device and program thereof

Publications (1)

Publication Number Publication Date
JP2004348553A true JP2004348553A (en) 2004-12-09

Family

ID=33533202

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003146320A Pending JP2004348553A (en) 2003-05-23 2003-05-23 Method for editing metadata, device and program thereof

Country Status (1)

Country Link
JP (1) JP2004348553A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323792A (en) * 2005-05-20 2006-11-30 Nippon Hoso Kyokai <Nhk> Metadata integration device and program
JP2007013911A (en) * 2005-06-03 2007-01-18 Sony Corp Contents management system, management information generating apparatus, management information processing apparatus, and computer program
JP2007288279A (en) * 2006-04-12 2007-11-01 Visionere Corp Information processing system
US9224069B2 (en) 2012-01-24 2015-12-29 Fujitsu Limited Program, method and apparatus for accumulating images that have associated text information
JP2017157069A (en) * 2016-03-03 2017-09-07 三菱電機インフォメーションシステムズ株式会社 Attribute information generation device, coordination system, and attribute information generation program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323792A (en) * 2005-05-20 2006-11-30 Nippon Hoso Kyokai <Nhk> Metadata integration device and program
JP2007013911A (en) * 2005-06-03 2007-01-18 Sony Corp Contents management system, management information generating apparatus, management information processing apparatus, and computer program
JP2007288279A (en) * 2006-04-12 2007-11-01 Visionere Corp Information processing system
US9224069B2 (en) 2012-01-24 2015-12-29 Fujitsu Limited Program, method and apparatus for accumulating images that have associated text information
JP2017157069A (en) * 2016-03-03 2017-09-07 三菱電機インフォメーションシステムズ株式会社 Attribute information generation device, coordination system, and attribute information generation program

Similar Documents

Publication Publication Date Title
US7054508B2 (en) Data editing apparatus and method
JP4514928B2 (en) Editing apparatus and method
JP2006155384A (en) Video comment input/display method and device, program, and storage medium with program stored
US8068678B2 (en) Electronic apparatus and image processing method
JP4354441B2 (en) Video data management apparatus, method and program
US11243995B2 (en) Method for atomically tracking and storing video segments in multi-segment audio-video compositions
JPWO2008136466A1 (en) Movie editing device
JPWO2004034282A1 (en) Content reuse management device and content reuse support device
JP2007020195A (en) Method and device for retrieving video
KR101640317B1 (en) Apparatus and method for storing and searching image including audio and video data
CN103530311A (en) Method and apparatus for prioritizing metadata
JP5243366B2 (en) Video summarization method and video summarization program
CN104025465A (en) Logging events in media files including frame matching
JP2004348553A (en) Method for editing metadata, device and program thereof
WO2014103374A1 (en) Information management device, server and control method
JP2009022018A (en) Method and device for retrieving video
EP3252770A1 (en) Automated identification and processing of audiovisual data
JP2003224791A (en) Method and device for retrieving video
JP2004062216A (en) Method and device for data filing, storage medium, and program
JP2005148801A (en) Relevant information providing method and device, relevant information providing program and recording medium with its program
JP2016122413A (en) Image processing apparatus, control method of image processing apparatus, and program
JP6179027B2 (en) Slide show creation server, user terminal, and slide show creation method
JP7198564B2 (en) Content production system, content production device and content production method
JP2008140085A (en) Information sharing system and information sharing program
JP2022076119A (en) Information processing system, information processing apparatus, information processing method, and program