JP2006323792A - メタデータ統合装置及びメタデータ統合プログラム - Google Patents

メタデータ統合装置及びメタデータ統合プログラム Download PDF

Info

Publication number
JP2006323792A
JP2006323792A JP2005148835A JP2005148835A JP2006323792A JP 2006323792 A JP2006323792 A JP 2006323792A JP 2005148835 A JP2005148835 A JP 2005148835A JP 2005148835 A JP2005148835 A JP 2005148835A JP 2006323792 A JP2006323792 A JP 2006323792A
Authority
JP
Japan
Prior art keywords
section
metadata
integrated
integration
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005148835A
Other languages
English (en)
Other versions
JP4906274B2 (ja
Inventor
Masaki Sano
雅規 佐野
Hideki Sumiyoshi
英樹 住吉
Nobuyuki Yagi
伸行 八木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2005148835A priority Critical patent/JP4906274B2/ja
Publication of JP2006323792A publication Critical patent/JP2006323792A/ja
Application granted granted Critical
Publication of JP4906274B2 publication Critical patent/JP4906274B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 コンテンツの異なる事象に基づいて生成された複数のメタデータにおいて、その区間情報と内容情報とを所定の方法で統合でき、メタデータを編集する汎用的なツールを実装できるとともに、設定が容易なメタデータ統合装置を提供する。
【解決手段】 複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するメタデータ統合装置1であって、区間統合モジュール選択手段(モジュール選択部2a)と、区間設定手段(区間統合部2c)と、第1の統合メタデータ生成手段(統合区間情報取得部2d)と、内容統合モジュール選択手段(モジュール選択部3a)と、内容統合手段(内容統合部3b)と、第2の統合メタデータ生成手段(統合内容取得部3d)とを備えることを特徴とする。
【選択図】 図1

Description

本発明は、映像や音声等のコンテンツのメタデータを生成する技術に係り、特に、同一の部分について複数のメタデータがある場合に、これらを統合したメタデータを生成するメタデータ統合装置及びメタデータ統合プログラムに関する。
従来、映像や音声などのコンテンツについて、様々な情報を利用してメタデータを生成する技術の研究が行われている。例えば、コンテンツを内容が切り替わる時刻で分割し、分割されたセグメントごとの特徴量に基づいてクラスタリングする技術が開示されている(非特許文献1参照)。
更に、異なる情報を利用して生成された複数のメタデータを統合する技術が研究されている(非特許文献2参照)。この技術では、映像情報と音響情報とからメタデータを生成するため、映像情報に基づくメタデータの欠落部分を、音響情報に基づくメタデータによって補完することができる。
二反田直己、外2名、「映像インデキシングを目的としたMPEG Audioデータクラスタリングに関する一考察」、情報科学技術フォーラム2003、J−089、p.379−380 宮森恒、「映像と音響情報の協調による内容検索のためのテニス動作自動注釈付け」、電子情報通信学会論文誌、2003年4月、D−II、Vol.J86−D−II、No.4、p.511−524
しかしながら、非特許文献1の技術のようなメタデータを生成する技術では、それぞれが独自のシステムでメタデータを生成するため、複数の方法でメタデータを生成すると、ある区間に関連する異なる情報を有するメタデータが複数作成されてしまう。
そして、非特許文献2の技術では、独自のシステムを構築しているので、メタデータを編集する汎用的なツールを用いることができず、更に、メタデータの制作者がメタデータの統合の処理の方法や設定を容易に変更できるものではなかった。
本発明は、前記従来技術の問題を解決するために成されたもので、コンテンツの異なる事象に基づいて生成された複数のメタデータにおいて、ある区間に関連する情報を統合することができ、メタデータを編集する汎用的なツールを実装できるとともに、設定が容易なメタデータ統合装置及びメタデータ統合プログラムを提供することを目的とする。
前記課題を解決するため、請求項1に記載のメタデータ統合装置は、複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するメタデータ統合装置であって、区間統合モジュール選択手段と、区間設定手段と、第1の統合メタデータ生成手段と、内容統合モジュール選択手段と、内容統合手段と、第2の統合メタデータ生成手段とを備える構成とした。
かかる構成によれば、メタデータ統合装置は、区間統合モジュール選択手段によって、区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の区間統合モジュールを選択する。また、メタデータ統合装置は、区間設定手段によって、この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する。更に、メタデータ統合装置は、第1の統合メタデータ生成手段によって、この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する。
また、メタデータ統合装置は、内容統合モジュール選択手段によって、他の区間メタデータが、当該他の区間メタデータに含まれる区間情報によって示される区間に対応するコンテンツの一部の内容に関連する内容情報を更に含み、第1の統合メタデータの統合区間情報によって示される区間に関連付けられる区間を示す区間情報を含む他の区間メタデータに含まれる内容情報を統合する内容統合モジュールのうち、外部からの指令によって示される1つ以上の内容統合モジュールを選択する。更に、メタデータ統合装置は、内容統合手段によって、この内容統合モジュール選択手段によって選択された内容統合モジュールを動作させて、内容情報を統合する。また、メタデータ統合装置は、第2の統合メタデータ生成手段によって、この内容統合手段によって統合された統合内容情報と、第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第2の統合メタデータを生成する。
これによって、メタデータ統合装置は、区間メタデータの区間情報を基に、区間統合モジュールにより所定の区間を設定し、この区間を示す統合区間情報と、内容統合モジュールによってこの区間に関連付けられる区間に設定された内容情報を統合した統合内容情報とを含む第2の統合メタデータを生成することができる。更に、メタデータ統合装置は、複数の区間統合モジュールから選択した区間統合モジュールを動作させて区間を設定し、複数の内容統合モジュールから選択した内容統合モジュールを動作させて内容情報を統合することができる。なお、区間設定手段によって区間を設定する際に参照される区間メタデータは内容情報を更に含んでいてもよく、メタデータ統合装置が、この区間メタデータに基づいて区間を設定して、この区間メタデータの内容情報と他の区間メタデータの内容情報とを統合することとしてもよい。
また、請求項2に記載のメタデータ統合装置は、請求項1に記載のメタデータ統合装置において、リンク生成モジュール選択手段と、リンク生成手段と、第3の統合メタデータ生成手段とを備える構成とした。
かかる構成によれば、メタデータ統合装置は、他の区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、リンク生成モジュール選択手段によって、前記区間設定手段によって区間情報が参照された区間メタデータ、前記第1の統合メタデータ及び前記第2の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータに含まれる識別情報と、この関係を示す関係情報とを抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上のリンク生成モジュールを選択する。また、メタデータ統合装置は、リンク生成手段によって、このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、識別情報を抽出する。更に、メタデータ統合装置は、第3の統合メタデータ生成手段によって、このリンク生成手段によって抽出された識別情報と、前記関係を示す関係情報と、第2の統合メタデータ生成手段によって生成された第2の統合メタデータに含まれる統合区間情報及び統合内容情報とを含む第3の統合メタデータを生成する。
これによって、メタデータ統合装置は、区間設定手段によって区間情報が参照された区間メタデータ、第1の統合メタデータ及び第2の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータがある場合には、区間メタデータによって示される区間に対応する区間を設定し、この区間を示す統合区間情報と、当該他の区間メタデータを識別する識別情報と、関係情報とを含む第3の統合メタデータを生成することができる。更に、メタデータ統合装置は、複数のリンク生成モジュールから選択したリンク生成モジュールを動作させて所定の関係にある他の区間メタデータの識別情報を抽出することができる。
更に、請求項3に記載のメタデータ統合装置は、複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するメタデータ統合装置であって、区間統合モジュール選択手段と、区間設定手段と、第1の統合メタデータ生成手段と、リンク生成モジュール選択手段と、リンク生成手段と、第3の統合メタデータ生成手段とを備える構成とした。
かかる構成によれば、メタデータ統合装置は、区間統合モジュール選択手段によって、区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の区間統合モジュールを選択する。また、メタデータ統合装置は、区間設定手段によって、この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する。更に、メタデータ統合装置は、第1の統合メタデータ生成手段によって、この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する。
また、メタデータ統合装置は、リンク生成モジュール選択手段によって、他の区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、区間設定手段によって区間情報が参照された区間メタデータ、第1の統合メタデータ及び第2の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータに含まれる識別情報を抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上のリンク生成モジュールを選択する。また、メタデータ統合装置は、リンク生成手段によって、このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、識別情報を抽出する。更に、メタデータ統合装置は、第3の統合メタデータ生成手段によって、このリンク生成手段によって抽出された識別情報と、関係を示す関係情報と、第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第3の統合メタデータを生成する。
これによって、メタデータ統合装置は、区間設定手段によって区間情報が参照された区間メタデータ及び第1の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータがある場合には、区間メタデータによって示される区間に対応する区間を設定し、この区間を示す統合区間情報と、当該他の区間メタデータを識別する識別情報と、関係情報とを含む第3の統合メタデータを生成することができる。更に、メタデータ統合装置は、複数の区間統合モジュールから選択した区間統合モジュールを動作させて区間を設定し、複数のリンク生成モジュールから選択したリンク生成モジュールを動作させて所定の関係にある他の区間メタデータの識別情報を抽出することができる。
また、請求項4に記載のメタデータ統合プログラムは、複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するためにコンピュータを、区間統合モジュール選択手段、区間設定手段、第1の統合メタデータ生成手段、内容統合モジュール選択手段、内容統合手段、第2の統合メタデータ生成手段として機能させることとした。
かかる構成によれば、メタデータ統合プログラムは、区間統合モジュール選択手段によって、区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の区間統合モジュールを選択する。また、メタデータ統合プログラムは、区間設定手段によって、この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する。更に、メタデータ統合プログラムは、第1の統合メタデータ生成手段によって、この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する。
また、メタデータ統合プログラムは、内容統合モジュール選択手段によって、他の区間メタデータが、区間情報によって示される区間に対応するコンテンツの一部の内容に関連する内容情報を更に含み、第1の統合メタデータの統合区間情報によって示される区間に関連付けられる区間を示す区間情報を含む他の区間メタデータに含まれる内容情報を統合する内容統合モジュールのうち、外部からの指令によって示される1つ以上の内容統合モジュールを選択する。更に、メタデータ統合プログラムは、内容統合手段によって、この内容統合モジュール選択手段によって選択された内容統合モジュールを動作させて、内容情報を統合する。また、メタデータ統合プログラムは、第2の統合メタデータ生成手段によって、この内容統合手段によって統合された統合内容情報と、第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第2の統合メタデータを生成する。
これによって、メタデータ統合プログラムは、区間メタデータによって示される区間に対応する区間を設定し、この区間を示す統合区間情報と、内容統合モジュールによってこの区間に関連付けられる区間に設定された内容情報を統合した統合内容情報とを含む第2の統合メタデータを生成することができる。更に、メタデータ統合プログラムは、複数の区間統合モジュールから選択した区間統合モジュールを動作させて区間を設定し、複数の内容統合モジュールから選択した内容統合モジュールを動作させて内容情報を統合することができる。
更に、請求項5に記載のメタデータプログラムは、複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するためにコンピュータを、区間統合モジュール選択手段、区間設定手段、第1の統合メタデータ生成手段、リンク生成モジュール選択手段、リンク生成手段、第3の統合メタデータ生成手段として機能させることとした。
かかる構成によれば、メタデータ統合プログラムは、区間統合モジュール選択手段によって、区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の区間統合モジュールを選択する。また、メタデータ統合プログラムは、区間設定手段によって、この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する。更に、メタデータ統合プログラムは、第1の統合メタデータ生成手段によって、この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する。
また、メタデータ統合プログラムは、リンク生成モジュール選択手段によって、他の区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、区間設定手段によって区間情報が参照された区間メタデータ、第1の統合メタデータ及び第2の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータに含まれる識別情報を抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上のリンク生成モジュールを選択する。また、メタデータ統合プログラムは、リンク生成手段によって、このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、識別情報を抽出する。更に、メタデータ統合プログラムは、第3の統合メタデータ生成手段によって、このリンク生成手段によって抽出された識別情報と、関係を示す関係情報と、第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第3の統合メタデータを生成する。
これによって、メタデータ統合プログラムは、区間設定手段によって区間情報が参照された区間メタデータ及び第1の統合メタデータのいずれかと所定の関係を持つ他の区間メタデータがある場合には、区間メタデータによって示される区間に対応する区間を設定し、この区間を示す統合区間情報と、当該他の区間メタデータを識別する識別情報と、関係情報とを含む第3の統合メタデータを生成することができる。更に、メタデータ統合プログラムは、複数の区間統合モジュールから選択した区間統合モジュールを動作させて区間を設定し、複数のリンク生成モジュールから選択したリンク生成モジュールを動作させて所定の関係にある他の区間メタデータの識別情報を抽出することができる。
本発明に係るメタデータ統合装置及びメタデータ統合プログラムでは、以下のような優れた効果を奏する。
請求項1又は請求項4に記載の発明によれば、複数の区間メタデータによって示される区間とその区間に対応する内容情報を、区間統合モジュール及び内容統合モジュールの動作により統合した第2の統合メタデータを生成できる。また、区間統合モジュールを選択したり組み合わせたりして区間を設定する処理機能を設定でき、また、内容統合モジュールを選択したり組み合わせたりして内容情報を統合する処理機能を設定できるため、汎用的なツールをモジュールとして実装できるとともに、制作者が容易に処理機能を設定でき、目的のメタデータ(第2の統合メタデータ)を効率よく生成することができる。更に、モジュールは追加することが可能であるので、新たなモジュールを追加するだけで、容易に処理機能を向上させることができる。
請求項2に記載の発明によれば、区間設定手段によって区間情報が参照された区間メタデータ、第1の統合メタデータ及び第2の統合メタデータのいずれかと所定の関係にある他の区間メタデータの識別情報と、この関係を示す関係情報と、統合区間情報と、統合内容情報とを統合した第3の統合メタデータを生成できる。また、リンク生成モジュールを選択したり組み合わせたりして様々な関係の他の区間メタデータの識別情報を抽出する処理機能を設定できるため、汎用的なツールをモジュールとして実装できるとともに、制作者が目的のメタデータ(第3の統合メタデータ)を効率よく生成することができる。
請求項3又は請求項5に記載の発明によれば、区間設定手段によって区間情報が参照された区間メタデータ及び第1の統合メタデータのいずれかと所定の関係にある他の区間メタデータの識別情報と、この関係を示す関係情報と、統合区間情報とを統合した第3の統合メタデータを生成できる。また、リンク生成モジュールを選択したり組み合わせたりして様々な関係の他の区間メタデータの識別情報を抽出する処理機能を設定できるため、汎用的なツールをモジュールとして実装できるとともに、制作者が目的のメタデータ(第3の統合メタデータ)を効率よく生成することができる。更に、モジュールは追加することが可能であるので、新たなモジュールを追加するだけで、容易に処理機能を向上させることができる。
以下、本発明の実施の形態について図面を参照して説明する。なお、ここでは、本発明のメタデータ統合装置を備えるメタデータ統合システムについて説明する。
[メタデータ統合システムの構成]
まず、図1を参照して、メタデータ統合システムSの構成について説明する。図1は、本発明におけるメタデータ統合装置を備えるメタデータ統合システムの構成を示したブロック図である。
図1に示すように、メタデータ統合システムSは、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間(セグメント)と、この区間の内容や、所定の関係にある他の区間を示す複数のメタデータを統合した統合メタデータ(MB、MC)を生成するものである。ここで、メタデータ統合システムSは、メタデータ統合装置1と、モジュール蓄積装置20と、区間メタデータ蓄積装置30とを備える。
メタデータ統合装置1は、モジュール蓄積装置20に蓄積されているモジュール(区間統合モジュールZM、内容統合モジュールDM、リンク生成モジュールLM)を選択し、メタデータ統合装置1内に組み込んで動作させることで、区間メタデータ蓄積装置30に蓄積された区間メタデータA、B、C、…を統合した統合メタデータ(MB、MC)を生成するとともに、その編集を行うものである。このメタデータ統合装置1の詳細な構成については後記する。
モジュール蓄積装置20は、区間メタデータA、B、C、…によって示される区間に基づいて、当該コンテンツの一部の区間を設定するプログラム(区間統合モジュールZM(ZM1、ZM2…))と、コンテンツの一部の区間の内容を示す内容情報を含む区間メタデータA、B、C、…から、設定された区間の内容情報を統合するプログラム(内容統合モジュールDM(DM1、DM2…))と、このコンテンツの一部と所定の関係にある、当該コンテンツの他の一部分に対する区間メタデータを識別する識別情報を抽出するプログラム(リンク生成モジュールLM(LM1、LM2…))を蓄積するもので、ハードディスク等の記憶手段である。
ここで、図2を参照して、区間メタデータについて説明する。図2は、区間メタデータの構成とその意味を説明するための説明図であって、(a)は区間メタデータの構成を示す説明図、(b)は区間メタデータの例を示す説明図である。
図2(a)に示すように、区間メタデータは、識別情報と、区間情報と、内容情報とを含む、コンテンツの内容を示すデータである。ここで、識別情報は、当該区間メタデータを識別するための固有の情報であって、数値等の識別子(ID)である。また、区間情報は、コンテンツの再生時間(番組時刻)の時間軸上における区間を示す情報であって、ここでは、開始時刻(In)と終了時刻(Out)とによって示される。
また、内容情報は、区間情報によって示される区間におけるコンテンツの一部の内容を、キー(Key)と値(Value)や、タイプ(Type)に対応付けた情報である。ここで、キー(Key)は、内容の種別を示す情報である。また、値(Value)は、キー(Key)で示される種別の詳細な情報である。なお、同一の区間メタデータ内に、複数の内容情報を対応付けることも可能である。
更に、リンク情報は、その注目している区間メタデータに対し、所定の関係にある区間メタデータの情報を示すもので、タイプ(Type)とターゲット(Target)とに対応付けた情報である。ここで、タイプ(Type)は、その関係の種別を示す情報である。また、ターゲット(Target)は、所定の関係にある区間メタデータを識別する情報(識別子)である。なお、同一の区間メタデータ内に、複数のリンク情報を対応付けることも可能である。
次に、図2(b)を参照して、区間メタデータの具体例について説明する。ここでは、サッカー中継の映像のコンテンツにおいて、人物の顔の検出を行って選手の顔が検出された区間と人物の情報とを示す区間メタデータA(A1、A2)と、歓声を解析して歓声が特に大きいと判定された区間を示す区間メタデータB(B1、B2)と、グラウンド上での全選手の位置に基づいてイベントの発生を解析してイベントの発生が検出された区間とイベントの情報とを示す区間メタデータC(C1、C2)と、スロー再生の区間を示す区間メタデータD(D1)とについて説明する。
図2(b)に示すように、識別情報である識別子ID(「Kao−003」、「Noise−016」、「Slow−008」等)によって、区間メタデータA、B、C、Dが識別される。また、区間メタデータA、B、C、Dは、区間情報である開始時刻In及び終了時刻Outによって、コンテンツの再生時間(番組時刻)の時間軸上において、どの区間についてのメタデータであるかを示す。例えば、区間メタデータA1は、再生時間が「09:00:32」から「09:00:54」までの区間のメタデータであることを表している。なお、番組時刻「XX:XX:XX」は、「時:分:秒」を示している。
また、区間メタデータA、Cは、内容情報である、内容を示すキー(Key)及び値(Value)によって、区間情報によって示される区間におけるコンテンツの内容を示している。例えば、区間メタデータA1は、映像内に選手が映っていることを示す「選手」をキー(Key)とし、その選手の詳細な情報である選手名「A選手」を値(Value)として、当該区間の内容を示している。同様に、区間メタデータA2は、映像内に選手が映っていることを示す「選手」をキー(Key)とし、選手名「B選手」を値(Value)として、当該区間の内容を示している。
更に、区間メタデータC1は、イベントが発生したことを示す「イベント」をキー(Key)とし、そのイベントの詳細な情報である「フリーキック」を値(Value)とし、区間メタデータC2は、イベントが発生したことを示す「イベント」をキー(Key)とし、そのイベントの詳細な情報である「得点」を値(Value)として、各々の区間の内容を示している。
また、区間メタデータDは、内容情報である、当該区間の内容の種類を示すタイプ(Type)によって、区間情報によって示される区間におけるコンテンツの内容を示している。例えば、区間メタデータD1は、「シーン種別」をキー(Key)とし、そのシーン種別の詳細な情報であり、スロー再生映像であることを示す「スロー」を値(Value)として、各々の区間の内容を示している。
図1に戻って説明を続ける。区間統合モジュールZMは、区間メタデータA、B、C、…に含まれる区間情報に基づいて、区間を設定するための処理を行うものである。なお、区間統合モジュールZMは、後記するメタデータ統合装置1のモジュール選択部2aによって選択され、メタデータ統合装置1の区間統合部2cとして組み込まれて動作する。この区間統合モジュールZMは、例えば、動的リンクライブラリ(DLL)として生成しておくことができる。
この区間統合モジュールZMとしては、例えば、ある区間メタデータの区間情報によって示される区間(開始時刻、終了時刻)を指定された時間だけ拡張あるいは減縮するものや、複数の区間メタデータの区間情報によって示される区間を論理演算するものや、演算処理等を行わず、区間メタデータに含まれる区間情報によって示される区間をそのまま設定するもの等が挙げられる。
内容統合モジュールDMは、後記する区間統合処理手段2の区間統合部2cによって設定された区間を示す統合区間情報に基づいて、当該統合区間情報によって示される区間に関連付けられる区間に対する区間メタデータA、B、C、…に含まれる内容情報を統合する処理を行うものである。なお、内容統合モジュールDMは、後記するメタデータ統合装置1のモジュール選択部3aによって選択され、メタデータ統合装置1の内容統合部3cとして組み込まれて動作する。この内容統合モジュールDMは、区間統合モジュールZMと同様に動的リンクライブラリ(DLL)として生成しておくことができる。
この内容統合モジュールDMとしては、例えば、複数の内容情報を、カンマを挟んで接続するもの、内容情報によって示される内容を論理演算するもの、複数の内容情報によって示される内容のナレーションを生成するもの等が挙げられる。また、統合区間情報によって示される区間に関連付けられる区間とは、例えば、統合区間情報によって示される区間及びこの区間から60秒後までの区間や、統合区間情報によって示される区間より前の10秒間の区間に含まれる区間等である。
リンク生成モジュールLMは、区間統合部2cによって区間情報が参照された区間メタデータA、B、C、…と、統合メタデータMA、MBとのいずれかと所定の関係を持つ区間メタデータA、B、C、…に含まれる識別情報を抽出する処理を行うものである。なお、リンク生成モジュールLMは、後記するメタデータ統合装置1のモジュール選択部4aによって選択され、メタデータ統合装置1のリンク生成部4cとして組み込まれて動作する。このリンク生成モジュールLMは、区間統合モジュールZMや内容統合モジュールDMと同様に動的リンクライブラリ(DLL)として生成しておくことができる。
なお、所定の関係とは、区間統合部2cによって区間情報が参照された区間メタデータや、統合メタデータMA、MBの区間情報や内容情報を基に設定されるものである。そして、このリンク生成モジュールLMとしては、例えば、参照された区間メタデータや、統合メタデータMA、MBの内容情報(キーや値)に関連する内容情報を含む区間メタデータのみを選択するものや、この区間メタデータのうち、参照された区間メタデータや統合メタデータMA、MBの区間情報によって示される区間の直後の区間メタデータのみを選択するもの等が挙げられる。
区間メタデータ蓄積装置30は、区間メタデータA、B、C、…を蓄積するもので、ハードディスク等の記憶手段である。
このように、メタデータ統合装置1は、モジュール蓄積装置20から、区間統合モジュールZMを選択し、そのモジュールによってコンテンツの一部の区間を設定して、この区間を示す統合区間情報を含む統合メタデータMA(MA1、MA2、…)(第1の統合メタデータ)を生成する。そして、メタデータ統合装置1は、モジュール蓄積装置20から、内容情報を統合するモジュール(内容統合モジュールDM)を選択し、そのモジュールによって、統合メタデータMAの統合区間情報によって示される区間に関連付けられる区間に対する区間メタデータの内容情報を統合して統合内容情報とし、この統合内容情報と統合区間情報とを含む統合メタデータMB(MB1、MB2、…)(第2の統合メタデータ)を生成する。更に、メタデータ統合装置1は、モジュール蓄積装置20から、リンク情報を抽出するモジュール(リンク生成モジュールLM)を選択し、そのモジュールによって、所定の関係にある区間メタデータの識別情報及び関係情報(リンク情報)を更に付加した統合メタデータMC(MC1、MC2、…)(第3の統合メタデータ)を生成する。
次に、メタデータ統合装置1について詳細に説明する。
[メタデータ統合装置の構成]
図1に示すように、メタデータ統合装置1は、区間統合処理手段2と、内容統合処理手段3と、リンク生成処理手段4と、統合処理制御手段5と、統合メタデータ蓄積手段6と、映像表示手段7と、統合メタデータ編集手段8と、ユーザ指示入力手段9と、統合メタデータ出力手段10とを備えている。
区間統合処理手段2は、ユーザ指示入力手段9から入力されるユーザからの指示(ユーザ指示)に基づいて、区間統合モジュールZMを選択し、選択された区間統合モジュールZMを動作させることで、区間メタデータの区間情報に基づいてコンテンツの一部の区間を設定して、当該区間を示す統合区間情報を含む統合メタデータMAを生成するものである。ここでは、区間統合処理手段2は、モジュール選択部2aと、パラメータ設定部2bと、区間統合部2cと、統合区間情報取得部2dとを備えている。なお、この区間統合処理手段2は、後記する統合処理制御手段5からの指示に基づいて動作を行う。
モジュール選択部(区間統合モジュール選択手段)2aは、ユーザ指示入力手段9を介して外部から入力されたユーザ指示(外部からの指令)に基づいて、区間統合モジュールZMをモジュール蓄積装置20から選択するものである。なお、モジュール選択部2aは、複数の区間統合モジュールZMから、個々の機能を示す文字列を取得し、後記する映像表示手段7によって、この文字列を示す映像を生成して図示しない表示装置に出力することで、ユーザに対して区間統合モジュールZMを選択するための補助となる情報を提示することができる。
そして、モジュール選択部2aは、選択された区間統合モジュールZMを、図示していないメモリ等に展開し動作させる。これによって、区間統合モジュールZMを、後記する区間統合部2cとして機能させることができる。
パラメータ設定部2bは、コンテンツから区間情報を抽出するために必要となるパラメータの項目を区間統合モジュールZMから取得するとともに、ユーザ指示入力手段9を介して外部から入力されたユーザ指示に基づいて、後記する区間統合部2cにおいて、区間統合モジュールZMを動作させるために必要となるパラメータの値を設定するものである。ここで、区間統合モジュールZMを動作させるために必要となるパラメータとは、例えば、区間を拡張あるいは減縮する時間や、論理演算する対象となる区間を示す区間情報を含む区間メタデータの識別情報等である。
更に、このパラメータ設定部2bは、区間統合モジュールZMから取得したパラメータの項目を、映像表示手段7を介してユーザに提示する。このように、必要となるパラメータの項目をユーザに提示することで、モジュール蓄積装置20に異なる種類の区間統合モジュールZMが蓄積されていても、ユーザに対する操作インタフェースを統一することができる。
区間統合部(区間設定手段)2cは、モジュール選択部2aによって選択された区間統合モジュールZMを動作させて、区間メタデータA、B、C、…に含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定するものである。
ここで、区間統合部2cは、複数の区間統合モジュールZMから選択された1つの区間統合モジュールZMによって動作することとしてもよいし、選択された複数の区間統合モジュールZMを組み合わせて動作することとしてもよい。
統合区間情報取得部(第1の統合メタデータ生成手段)2dは、区間統合部2cによって設定された区間を示す統合区間情報を取得し、当該統合区間情報と、識別子(識別情報)とを含む統合メタデータMAを生成するものである。ここで生成された統合メタデータMAは、統合メタデータ蓄積手段6に蓄積される。
内容統合処理手段3は、ユーザ指示入力手段9から入力されるユーザ指示に基づいて、内容統合モジュールDMを選択するとともに、選択された内容統合モジュールDMを動作させることで、統合メタデータ蓄積手段6に蓄積された統合メタデータMAの統合区間情報によって示される区間に関連付けられる区間に対する区間メタデータA、B、C、…の内容情報を統合して統合内容情報とし、この統合内容情報と統合区間情報とを含む統合メタデータMBを生成するものである。ここでは、内容統合処理手段3は、モジュール選択部3aと、パラメータ設定部3bと、内容統合部3cと、統合内容情報取得部3dとを備えている。なお、この内容統合処理手段3は、後記する統合処理制御手段5からの指示に基づいて動作を行う。
モジュール選択部(内容統合モジュール選択手段)3aは、ユーザ指示入力手段9を介して外部から入力されたユーザ指示に基づいて、内容統合モジュールDMをモジュール蓄積装置20から選択するものである。なお、モジュール選択部3aは、複数の内容統合モジュールDMから、個々の機能を示す文字列を取得し、後記する映像表示手段7によって、この文字列を示す映像を生成して図示しない表示装置に出力することで、ユーザに対して内容統合モジュールDMを選択するための補助となる情報を提示することができる。
そして、モジュール選択部3aは、選択された内容統合モジュールDMを、図示していないメモリ等に展開し動作させる。これによって、内容統合モジュールDMを、後記する内容統合部3cとして機能させることができる。
パラメータ設定部3bは、コンテンツから内容情報を統合するために必要となるパラメータの項目を内容統合モジュールDMから取得するとともに、ユーザ指示入力手段9を介して外部から入力されたユーザ指示に基づいて、後記する内容統合部3cにおいて、内容統合モジュールDMを動作させるために必要となるパラメータの値を設定するものである。ここで、内容統合モジュールDMを動作させるために必要となるパラメータとは、例えば、統合や論理演算を行う対象となる内容情報を含む区間メタデータの識別情報等である。
更に、このパラメータ設定部3bは、内容統合モジュールDMから取得したパラメータの項目を、映像表示手段7を介してユーザに提示する。このように、必要となるパラメータの項目をユーザに提示することで、モジュール蓄積装置20に異なる種類の内容統合モジュールDMが蓄積されていても、ユーザに対する操作インタフェースを統一することができる。
内容統合部(内容統合手段)3cは、モジュール選択部3aによって選択された内容統合モジュールDMを動作させて、統合メタデータ蓄積手段6から、区間統合処理手段2の区間統合部2cによって生成された統合メタデータMAを読み出して、この統合メタデータMAの区間情報によって示される区間に関連付けられる区間に対する区間メタデータA、B、C、…の内容情報を統合するものである。
ここで、内容統合部3cは、複数の内容統合モジュールDMから選択された1つの内容統合モジュールDMによって動作することとしてもよいし、選択された複数の内容統合モジュールDMを組み合わせて動作することとしてもよい。
統合内容情報取得部(第2の統合メタデータ生成手段)3dは、内容統合部3cによって統合された統合内容情報を取得し、当該統合内容情報と、統合メタデータMAに含まれる統合区間情報とを含む統合メタデータMBを生成するものである。ここで、統合内容情報取得部3dは、取得した統合内容情報を、統合メタデータ蓄積手段6に蓄積されている統合メタデータMAの区間情報に対応付けて統合メタデータMAに追加し、統合メタデータMBとする。これによって、統合メタデータMBには、統合区間情報と、統合内容情報とが書き込まれることになる。ここで生成された統合メタデータMBは、統合メタデータ蓄積手段6に蓄積される。
リンク生成処理手段4は、ユーザ指示入力手段9から入力されるユーザ指示に基づいて、リンク生成モジュールLMを選択するとともに、選択されたリンク生成モジュールLMを動作させることで、区間統合部2cによって区間情報が参照された区間メタデータA、B、C、…と、統合メタデータMA、MBとのいずれかと所定の関係を持つ区間メタデータA、B、C、…の識別情報を抽出して、この識別情報と関係の種別とを示すリンク情報と統合内容情報と統合区間情報とを含む統合メタデータMCを生成するものである。ここでは、リンク生成処理手段4は、モジュール選択部4aと、パラメータ設定部4bと、リンク生成部4cと、統合リンク情報取得部4dとを備えている。なお、このリンク生成処理手段4は、後記する統合処理制御手段5からの指示に基づいて動作を行う。
モジュール選択部(リンク生成モジュール選択手段)4aは、ユーザ指示入力手段9を介して外部から入力されたユーザ指示に基づいて、リンク生成モジュールLMをモジュール蓄積装置20から選択するものである。なお、モジュール選択部4aは、複数のリンク生成モジュールLMから、個々の機能を示す文字列を取得し、後記する映像表示手段7によって、この文字列を示す映像を生成して図示しない表示装置に出力することで、ユーザに対してリンク生成モジュールLMを選択するための補助となる情報を提示することができる。
そして、モジュール選択部4aは、選択されたリンク生成モジュールLMを、図示していないメモリ等に展開し動作させる。これによって、リンク生成モジュールLMを、後記するリンク生成部4cとして機能させることができる。
パラメータ設定部4bは、区間統合部2cによって区間情報が参照された区間メタデータA、B、C、…と、統合メタデータMA、MBとのいずれかと所定の関係を持つ区間メタデータA、B、C、…から識別情報を抽出するために必要となるパラメータの項目をリンク生成モジュールLMから取得するとともに、ユーザ指示入力手段9を介して外部から入力されたユーザ指示に基づいて、後記するリンク生成部4cにおいて、リンク生成モジュールLMを動作させるために必要となるパラメータの値を設定するものである。ここで、リンク生成モジュールLMを動作させるために必要となるパラメータとは、例えば、抽出する区間メタデータA、B、C、…の、内容情報の種類(タイプ)等である。
更に、このパラメータ設定部4bは、リンク生成モジュールLMから取得したパラメータの項目を、映像表示手段7を介してユーザに提示する。このように、必要となるパラメータの項目をユーザに提示することで、モジュール蓄積装置20に異なる種類のリンク生成モジュールLMが蓄積されていても、ユーザに対する操作インタフェースを統一することができる。
リンク生成部(リンク生成手段)4cは、モジュール選択部4aによって選択されたリンク生成モジュールLMを動作させて、当該リンク生成モジュールLMによって定められる所定の関係にある区間メタデータA、B、C、…のリンク情報を抽出するものである。
ここで、リンク生成部4cは、複数のリンク生成モジュールLMから選択された1つのリンク生成モジュールLMによって動作することとしてもよいし、選択された複数のリンク生成モジュールLMを組み合わせて動作することとしてもよい。
統合リンク情報取得部(第3の統合メタデータ生成手段)4dは、リンク生成部4cによって抽出されたリンク情報を取得し、当該リンク情報と、統合メタデータMBに含まれる統合内容情報と、統合区間情報とを含む統合メタデータMCを生成するものである。ここで、統合リンク情報取得部4dは、取得したリンク情報を、統合メタデータ蓄積手段6に蓄積されている統合メタデータMBの区間情報に対応付けて統合メタデータMBに追加し、統合メタデータMCとする。これによって、統合メタデータMCには、統合区間情報と、統合内容情報と、リンク情報とが書き込まれることになる。ここで生成された統合メタデータMCは、統合メタデータ蓄積手段6に蓄積される。
統合処理制御手段5は、メタデータ統合装置1内の全体を制御する主制御手段である。この統合処理制御手段5は、各手段から通知される制御情報に基づいて動作を決定し、他の手段に対して指示を行う。例えば、統合処理制御手段5は、区間統合処理手段2のモジュール選択部2aから、区間統合モジュールZMの機能を示す文字列をユーザに提示する旨の指示を通知された場合、映像表示手段7に対して、図示していない表示装置に、区間統合モジュールZMを選択するための選択画面を提示する旨の指示を行う。
統合メタデータ蓄積手段6は、統合メタデータを蓄積するものであって、半導体メモリ、ハードディスク等の記憶手段である。この統合メタデータ蓄積手段6に蓄積される統合メタデータMA、MB、MCは、各々区間統合処理手段2、内容統合処理手段3及びリンク生成処理手段4によって、統合区間情報、統合内容情報及びリンク情報が書き込まれることで生成される。なお、ここで蓄積される統合メタデータMA、MB、MCの形式は、特に限定されるものではないが、例えば、MPEG−7等のXML(Extensible Markup Language)形式等である。
映像表示手段7は、ユーザからの指示を受け付ける画面の映像を生成して、図示しない表示装置に出力するものである。この映像表示手段7は、モジュール選択部2a、3a、4aの各々によって取得された、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMの個々の機能を示す文字列を表示する指示が統合処理制御手段5から入力された場合には、この文字列を示す映像を生成して、表示装置に出力する。また、映像表示手段7は、パラメータ設定部2b、3b、4bの各々によって取得された、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMのパラメータの項目を表示する指示が統合処理制御手段5から入力された場合には、この項目を示す映像を生成して、表示装置に出力する。
更に、映像表示手段7は、後記する統合メタデータ編集手段8による統合メタデータ(MB又はMC)の修正のための映像を表示する指示が統合処理制御手段5から入力された場合には、統合メタデータ蓄積手段6から統合メタデータ(MB又はMC)の内容(識別情報、統合区間情報、統合内容情報、リンク情報)読み出して、これらを示す映像を生成して、表示装置に出力する。
更に、コンテンツが映像データであり、ユーザ指示入力手段9を介して、ユーザによって統合メタデータが選択された場合には、映像表示手段7は、コンテンツを蓄積する図示しないコンテンツ蓄積装置から、選択された統合メタデータに対応するコンテンツの映像を読み出して再生し、表示装置に出力する。例えば、コンテンツ蓄積装置に蓄積されているコンテンツがMPEG符号化された映像データである場合、映像表示手段7は、MPEGデコーダとしても機能し、映像を再生することで、図示していない表示装置に映像を表示する。これによって、ユーザは、選択された統合メタデータが、正常にセグメント化されているかどうかを確認することができる。なお、これらの映像が表示される画面については、後で具体例を示して説明する。
統合メタデータ編集手段8は、ユーザ指示入力手段9から入力されたユーザ指示に基づいて、統合メタデータ蓄積手段6に蓄積された統合メタデータ(MB又はMC)を修正するものである。ここで、統合メタデータ(MB又はMC)は、統合メタデータ編集手段8によって書き換えられ、統合メタデータ蓄積手段6に蓄積される。
ユーザ指示入力手段9は、図示していないマウス、キーボート等の入力装置を介して、ユーザからの指示を受け付けるものである。ここで指示された内容は、随時統合処理制御手段5に通知され、その指示内容に沿った動作が実行される。
統合メタデータ出力手段10は、統合メタデータ(MB又はMC)を出力するためのインタフェースである。例えば、DVD−RAM等の記録媒体に対して統合メタデータ(MB又はMC)を書き込んだり、統合メタデータ(MB又はMC)を読み出したりするディスクドライブ装置等である。あるいは、通信回線を介して、統合メタデータ(MB又はMC)の送信を行う通信ボードであってもよい。
以上、メタデータ統合装置1の構成について説明したが、本発明はこれに限定されるものではない。例えば、ここでは、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMを前記の処理を行うプログラムとし、モジュール蓄積装置20に蓄積されることとしたが、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMを前記の処理を行う回路とし、メタデータ統合装置1に複数接続されることとしてもよい。
更に、メタデータ統合システムSのモジュール蓄積装置20には、内容を統合する処理を行わない、空の内容統合モジュールDMが蓄積されていてもよく、この空の内容統合モジュールDMがモジュール選択部3aによって選択された場合には、内容統合部3cは、統合内容情報を生成しない。そして、統合内容情報取得部3dが、統合メタデータMBを生成せず、リンク生成処理手段4が、統合メタデータMAに基づいて、リンク情報を生成し、統合内容情報を含まない統合メタデータMCを生成することとしてもよいし、統合内容情報取得部3dが、統合内容情報を含まない、統合メタデータMAと同一の統合メタデータMBを生成して、リンク生成処理手段4が、この統合メタデータMBに基づいて、リンク情報を生成し、統合内容情報を含まない統合メタデータMCを生成することとしてもよい。
同様に、メタデータ統合システムSのモジュール蓄積装置20には、リンク情報を抽出する処理を行わない、空のリンク生成モジュールLMが蓄積されていてもよく、この空のリンク生成モジュールLMがモジュール選択部4aによって選択された場合には、リンク生成部4cは、所定の関係を持つ区間メタデータの識別情報を抽出しない。そして、統合リンク情報取得部4dが、統合メタデータMCを生成せず、映像表示手段7が、統合メタデータMBに基づいて表示画面の映像を生成し、統合メタデータ出力手段10が、統合メタデータMBを出力することとしてもよい。また、統合内容情報取得部3dが、リンク情報を含まない、統合メタデータMBと同一の統合メタデータMCを生成して、映像表示手段7が、リンク情報を含まない統合メタデータMCに基づいて表示画面の映像を生成し、統合メタデータ出力手段10が、この統合メタデータMCを出力することとしてもよい。
更に、ここでは、メタデータ統合システムSのモジュール蓄積装置20には、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMが蓄積され、メタデータ統合装置1は、区間統合処理手段2と、内容統合処理手段3と、リンク生成処理手段4とを備えることとしたが、メタデータ統合システムSのモジュール蓄積装置20には、内容統合モジュールDMが蓄積されず、本発明のメタデータ統合装置1は、内容統合処理手段3を備えないこととしてもよい。このとき、リンク生成処理手段4が、統合メタデータMAに基づいて、リンク情報を生成し、統合内容情報を含まない統合メタデータMCを生成する。
同様に、メタデータ統合システムSのモジュール蓄積装置20には、リンク生成モジュールLMが蓄積されず、本発明のメタデータ統合装置1は、リンク生成処理手段4を備えないこととしてもよい。このとき、映像表示手段7が、統合メタデータMBに基づいて表示画面の映像を生成し、統合メタデータ出力手段10が、統合メタデータMBを出力する。
また、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMは、単純な時間操作・文字列操作を実装したものや、複雑なドメイン知識を用いた機械学習をパッケージしたもの等の様々なものを用いることができる。そして、メタデータ統合装置1は、辞書やオントロジー等のドメイン知識を蓄積する蓄積手段(図示せず)を外部に備えることとしてもよい。
更に、ここでは、メタデータ統合装置1は、区間統合モジュールZM、内容統合モジュールDM及びリンク生成モジュールLMを蓄積するモジュール蓄積装置20と、区間メタデータA、B、C、…を蓄積する区間メタデータ蓄積装置30を外部に接続することとしたが、モジュール蓄積装置20及び/又は区間メタデータ蓄積装置30を内部に備えて1台のメタデータ統合装置(図示せず)として構成することとしてもよい。
また、メタデータ統合装置1は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム(メタデータ統合プログラム)は、通信回線を介して配布することも可能であるし、CD−ROM等の記録媒体に書き込んで配布することも可能である。
[メタデータ統合装置の画面例]
次に、図3から図6を参照して、メタデータ統合装置1の画面例について説明する。
(区間統合設定用画面)
まず、図3を参照(適宜図1参照)して、区間統合モジュールZMを選択して、パラメータを設定する際の画面例について説明する。図3は、メタデータ統合装置が、区間統合モジュールを選択し、パラメータを設定する際に、ユーザに提示する画面の一例を示す模式図である。
図3に示すように、区間統合処理を設定するための設定画面W1は、区間統合モジュールZMの機能を示す文字列をリスト表示(一覧表示)し、選択された区間統合モジュールZMのパラメータの項目を表示するとともに、パラメータが設定された操作手順をリスト表示した画面となっている。
メタデータ統合装置1では、モジュール選択部2aが、区間統合モジュールZMを選択する場合、映像表示手段7によって、図示しない表示装置に設定画面W1が表示される。この設定画面W1において、モジュール選択部2aが、区間統合モジュールZMから取得した、個々の機能を示す文字列をリスト表示(一覧表示)する。ここでは、区間統合モジュールZM1から「時間指定による拡張(ZL1)」、区間統合モジュールZM2から「論理演算(AND)(ZL2)」等の文字列ZL1、ZL2、…が取得され、その文字列ZL1、ZL2、…を、区間統合モジュール表示欄ZLにリスト表示している。これによって、ユーザは、どのような機能で区間を設定するのかを選択することができる。
そして、この設定画面W1において、区間統合モジュールZMが選択されることで、映像表示手段7は、区間を設定するために必要となるパラメータの項目を表示する。メタデータ統合装置1では、パラメータ設定部2bが、区間を設定するために必要となるパラメータの項目を区間統合モジュールZMから取得し、映像表示手段7が、パラメータの項目を表示する。この設定画面W1では、区間メタデータによって示される区間を前後に所定時間拡張する区間統合モジュールZM1「時間指定による拡張(ZL1)」が選択され、パラメータ設定表示欄ZPに、パラメータの項目として、「ID(名前)(ZP1)」と、「コメント(ZP2)」と、拡張対象となる区間メタデータを示す「base(ZP3)」と、区間を前に拡張する時間を示す「前(ZP4)」と、後に拡張する時間を示す「後(ZP5)」とを表示している。これによって、ユーザは、各パラメータの値を、各パラメータの入力欄ZI1〜ZI5に入力し、追加ボタンZB1をマウスでクリックすることで、パラメータが設定されて、操作手順が追加される。
そして、この設定画面W1において、操作手順が追加されることで、映像表示手段7は、区間統合モジュールZMの機能を示す文字列と、設定されたパラメータとを表示する。この設定画面W1では、区間統合操作手順表示欄ZRに、ID(名前)が「TEMP01」で、区間統合モジュールZM1「時間指定による拡張」によって、区間メタデータA(A1、A2、…)の区間情報に示される区間を前に10秒、後に5秒拡張する操作を示す「TEMP01→時間指定による拡張(base:A、前:10、後:5)(ZR1)」と、ID(名前)が「TEMP02」で、区間統合モジュールZM2「論理演算(AND)」によって、区間メタデータA(A1、A2、…)の区間情報に示される区間と、IDが「TEMP01」の操作で拡張された区間との論理和をとる操作を示す「TEMP02→論理演算(AND)(base:A、Target:TEMP01)(ZR2)」とを表示している。これによって、ユーザは、区間統合部2cによって行う処理の内容を確認でき、OKボタンZB2をマウスでクリックすることで、区間統合部2cによって行う処理が設定される。
(内容統合設定用画面)
次に、図4を参照(適宜図1参照)して、内容統合モジュールDMを選択して、パラメータを設定する際の画面例について説明する。図4は、メタデータ統合装置が、内容統合モジュールを選択し、パラメータを設定する際にユーザに提示する画面の一例を示す模式図である。
図4に示すように、内容統合処理を設定するための設定画面W2は、内容統合モジュールDMの機能を示す文字列をリスト表示(一覧表示)し、選択された内容統合モジュールDMのパラメータの項目を表示するとともに、パラメータが設定された操作手順をリスト表示した画面となっている。
メタデータ統合装置1では、モジュール選択部3aが、内容統合モジュールDMを選択する場合、映像表示手段7によって、図示しない表示装置に設定画面W2が表示される。この設定画面W2において、モジュール選択部3aが、内容統合モジュールDMから取得した、個々の機能を示す文字列をリスト表示(一覧表示)する。ここでは、内容統合モジュールDM1から「文字列操作(カンマ接続)(DL1)」、内容統合モジュールDM2から「文字列操作(AND)(DL2)」等の文字列DL1、DL2、…が取得され、その文字列DL1、DL2、…を、内容統合モジュール表示欄DLにリスト表示している。これによって、ユーザは、どのような機能で内容情報を統合するのかを選択することができる。
そして、この設定画面W2において、内容統合モジュールDMが選択されることで、映像表示手段7は、内容情報を統合するために必要となるパラメータの項目を表示する。メタデータ統合装置1では、パラメータ設定部3bが、内容情報を統合するために必要となるパラメータの項目を内容統合モジュールDMから取得し、映像表示手段7が、パラメータの項目を表示する。この設定画面W2では、2つの区間メタデータの内容情報を、カンマを介して接続する内容統合モジュールDM1「文字列操作(カンマ接続)(DL1)」が選択され、パラメータ設定表示欄DPに、パラメータの項目として、「ID(名前)(DP1)」と、「コメント(DP2)」と、接続する対象となる区間メタデータを示す「データ1(DP3)」と「データ2(DP4)」とを表示している。これによって、ユーザは、作成するキー(Key)を入力欄DKに入力し、更に、各パラメータの値を、各パラメータの入力欄DI1〜DI4に入力して、追加ボタンDB1をマウスでクリックすることで、パラメータが設定されて操作手順が追加される。
そして、この設定画面W2において、操作手順が追加されることで、映像表示手段7は、内容統合操作手順表示欄DRに、ID(名前)とともに当該操作を示す文字列(図示せず)を表示する。そして、ユーザは、最終的に値(Value)として出力したものを、表示欄DVから選択する。ここの表示欄DVには、プルダウンによって内容統合操作手順表示欄DRに表示された操作が選択肢として表示される。そして、ユーザは、追加ボタンDB2をマウスでクリックすることで、表示欄DVから選択した操作を設定済み内容統合表示欄DR’に表示する。この設定画面W2では、設定済み内容統合表示欄DR’に、キーが、誰が何をしているかを示す「WhoWhat」で、内容統合モジュールDMによって、どの選手の顔が検出されたかを示す内容情報と、音声認識されたアナウンサーのコメントを示す内容情報とを統合する処理を示す「Key:WhoWhat→顔認識情報とアナウンサーのコメントの統合(DR’1)」を表示している。これによって、ユーザは、内容統合部3cによって行う処理の内容を確認でき、追加ボタンDB2をマウスでクリックすることで、内容統合部3cによって行う処理が設定される。
(リンク設定用画面)
次に、図5を参照(適宜図1参照)して、リンク生成モジュールLMを選択して、パラメータを設定する際の画面例について説明する。図5は、メタデータ統合装置が、リンク生成モジュールを選択し、パラメータを設定する際にユーザに提示する画面の一例を示す模式図である。
図5に示すように、リンク生成処理を設定するための設定画面W3は、リンク生成モジュールLMの機能を示す文字列をリスト表示(一覧表示)し、選択されたリンク生成モジュールLMのパラメータの項目を表示するとともに、パラメータが設定された操作手順をリスト表示した画面となっている。
メタデータ統合装置1では、モジュール選択部4aが、リンク生成モジュールLMを選択する場合、映像表示手段7によって、図示しない表示装置に設定画面W3が表示される。この設定画面W3において、モジュール選択部4aが、リンク生成モジュールLMから取得した、個々の機能を示す文字列をリスト表示(一覧表示)する。ここでは、リンク生成モジュールLM1から「スローシーンとオリジナルシーン(LL1)」、リンク生成モジュールLM2から「シュートシーン関連(LL2)」の文字列LL1、LL2、…が取得され、その文字列LL1、LL2、…を、リンク生成モジュール表示欄LLにリスト表示している。これによって、ユーザは、どのような機能でリンク情報を抽出するのかを選択することができる。
そして、この設定画面W3において、リンク生成モジュールLMが選択されることで、映像表示手段7は、リンク情報を抽出するために必要となるパラメータの項目を表示する。メタデータ統合装置1では、パラメータ設定部4bが、リンク情報を抽出するために必要となるパラメータの項目をリンク生成モジュールLMから取得し、映像表示手段7が、パラメータの項目を表示する。この設定画面W3では、パラメータ設定表示欄LPに、パラメータの項目として、「ID(名前)(LP1)」と、「コメント(LP2)」と、抽出対象となる区間メタデータを示す「データ1(LP3)」と、「データ2(LP4)」とを表示している。これによって、ユーザは、関係の種別を示すタイプ(Type)を入力欄LTに入力し、更に、各パラメータの値を、各パラメータの入力欄LI1〜LI4に入力して、追加ボタンLB1をマウスでクリックすることで、パラメータが設定されて、操作手順が追加される。
そして、この設定画面W3において、操作手順が追加されることで、映像表示手段7は、リンク生成モジュールLMに機能を示す文字列を表示する。この設定画面W3では、設定済みリンク生成表示欄LRに、Typeが「得点シーン関連」で、リンク生成モジュールLMによって、得点シーンに関連付けられたベンチの様子の映像のリンク情報を抽出する処理を示す「Type:得点シーン→得点シーンとベンチ(監督)の様子のリンク(LR1)」を表示している。これによって、ユーザは、リンク生成部4cによって行う処理の内容を確認できる。
(統合メタデータ編集画面)
次に、図6を参照(適宜図1参照)して、生成された統合メタデータを、画面上で確認・編集する画面例について説明する。図6は、統合メタデータの編集を行う編集画面の一例を示す模式図である。
図6に示すように、編集画面W4は、映像再生領域Vaと、区間提示領域Vbと、情報提示領域Vcとで主に画面を構成している。映像再生領域Vaと、区間提示領域Vbと、情報提示領域Vcとは、映像表示手段7によって表示される。なお、ここでは、区間メタデータも確認・編集できる場合について説明する。
映像再生領域Vaは、選択された統合メタデータの統合区間情報(開始時刻Inと終了時刻Out)又は区間メタデータの区間情報で示される区間の映像を、表示する領域である。メタデータ統合装置1では、統合メタデータが選択されたことを、ユーザ指示入力手段9が検出し、映像表示手段7に通知することで、映像表示手段7が、該当する時間区間の映像を再生する。
区間提示領域Vbは、コンテンツの再生時間の時間軸上における、統合メタデータの統合区間情報(開始時刻In、終了時刻Out)によって示される区間を提示する領域である。なお、ここでは、区間メタデータの区間を同時に表示することとし、統合メタデータの区間を統合区間提示領域Maに区間Mb(Mb1、Mb2、…)として提示して、区間メタデータの区間を区間提示領域Aa、Ba、Ca、Da、…に区間Ab1、Ab2、…として提示している。そして、ユーザがマウスによって、統合区間提示領域Ma及び区間提示領域Aa、Ba、Ca、Da、…内の所望の区間Mb、Ab、…を選択することで、統合メタデータ及び区間メタデータが選択される。
情報提示領域Vcは、選択された統合メタデータ又は区間メタデータの情報(識別情報、統合区間情報(区間情報)、統合内容情報(内容情報)、リンク情報)を提示する領域である。そして、統合メタデータ及び区間メタデータの編集を行う際には、ユーザがキーボード、マウス等からデータや指示を入力することで、情報の変更等を行うことができる。このように、統合メタデータ及び区間メタデータを視覚化することで、内容の編集を容易に行うことができる。
[メタデータ統合装置の動作]
次に、図7から図9を参照(適宜図1参照)して、本発明に係るメタデータ統合装置1の動作について説明する。
(統合メタデータ生成動作の概要)
まず、図7を参照して、メタデータ統合装置1による統合メタデータを生成する動作の概要について、具体例を用いて説明する。図7は、メタデータ統合装置の統合メタデータ生成動作を示すフローチャートである。なお、図7では、サッカー中継の映像のコンテンツの区間メタデータから、当該動作において生成される統合メタデータの内容についても例示している。
最初に、メタデータ統合装置1は、区間統合処理手段2によって、区間メタデータの区間情報に基づいてコンテンツの一部の区間を設定して、当該区間を示す統合区間情報を含む統合メタデータMAを生成する(ステップS11)。このステップS11では、例えば、メタデータ統合装置1は、区間を拡張する区間統合モジュールZMを選択し、図7(a)に示すように、歓声が沸いた区間を示す区間メタデータB1の区間情報で示される区間を拡張して、この区間を示す統合区間情報を含む統合メタデータMAを生成する。
続いて、メタデータ統合装置1は、ステップS11において設定された区間に関連付けられる区間についての区間メタデータA、B、C、…の内容情報を統合して統合内容情報とし、この統合内容情報と統合区間情報とを含む統合メタデータMBを生成する(ステップS12)。このステップS12では、メタデータ統合装置1は、例えば、設定された区間メタデータから内容情報を統合する内容統合モジュールDMを選択し、図7(b)に示すように、選手の位置に基づいてイベントが検出された区間を示す区間メタデータC1と、映像から選手の顔が検出された区間を示す区間メタデータA1とから内容情報を統合して統合内容情報とし、この統合内容情報を、ステップS11で生成された統合メタデータMAに付加した統合メタデータMBを生成する。
更に、メタデータ統合装置1は、所定の関係にある区間メタデータの識別情報を抽出して、このリンク情報(関係の種別と所定の関係にある区間メタデータの識別情報)と統合内容情報と統合区間情報とを含む統合メタデータMCを生成する(ステップS13)。このステップS13では、メタデータ統合装置1は、例えば、スローの映像についてのリンク情報を抽出するリンク生成モジュールLMを選択し、図7(c)に示すように、スローの映像についての区間メタデータD1からリンク情報を抽出して、このリンク情報をステップS12で生成された統合メタデータMBに付加した統合メタデータMCを生成する。
(統合メタデータの生成・出力動作)
次に、図8を参照して、メタデータ統合装置1が、区間メタデータA、B、C、…から統合メタデータ(MB、MC)を生成して出力する動作について説明する。図8は、メタデータ統合装置が統合メタデータを生成して出力する動作を示すフローチャートである。
まず、メタデータ統合装置1は、区間統合処理手段2のモジュール選択部2a及びパラメータ設定部2bの後記する区間統合処理設定動作によって、区間統合モジュールZMを選択して、区間を設定するために必要となるパラメータを設定する(ステップS21)。そして、メタデータ統合装置1は、内容統合処理手段3のモジュール選択部3a及びパラメータ設定部3bによって、後記する内容統合処理設定動作によって、内容統合モジュールDMを選択して、内容情報を統合するために必要となるパラメータを設定する(ステップS22)。
そして、メタデータ統合装置1は、統合処理制御手段5によって、ユーザ指示入力手段9にリンク情報を付加した統合メタデータMCを生成するユーザ指令が入力されているかを判断する(ステップS23)。そして、入力されていない場合(ステップS23でNo)には、そのままステップS25に進む。また、入力されている場合(ステップS23でYes)には、メタデータ統合装置1は、リンク生成処理手段4のモジュール選択部4a及びパラメータ設定部4bの後記するリンク生成処理設定動作によって、リンク生成モジュールLMを選択して、リンク情報を抽出するために必要となるパラメータを設定し(ステップS24)、ステップS25に進む。
そして、メタデータ統合装置1は、区間統合処理手段2の区間統合部2cによって、ステップS21で選択された区間統合モジュールZMを動作させて、コンテンツの一部の区間を設定する。更に、メタデータ統合装置1は、統合区間情報取得部2dによって、この区間を示す統合区間情報と、識別情報とを含む統合メタデータMAを生成し、統合メタデータ蓄積手段6に蓄積する(ステップS25)。
続いて、メタデータ統合装置1は、内容統合処理手段3の内容統合部3cによって、ステップS22で選択された内容統合モジュールDMを動作させて、ステップS25において生成された統合メタデータMAの区間情報によって示される区間に関連付けられる区間に対する区間メタデータA、B、C、…の内容情報を統合する。更に、メタデータ統合装置1は、統合内容情報取得部3dによって、この統合内容情報と、統合区間情報と、識別情報とを含む統合メタデータMBを生成し、統合メタデータ蓄積手段6に蓄積する(ステップS26)。
そして、メタデータ統合装置1は、統合処理制御手段5によって、ユーザ指示入力手段9にリンク情報を付加した統合メタデータMCを生成するユーザ指令が入力されているかを判断し(ステップS27)、入力されていない場合(ステップS27でNo)には、そのままステップS29に進む。
一方、入力されている場合(ステップS27でYes)には、メタデータ統合装置1は、リンク生成処理手段4のリンク生成部4cによって、ステップS24で選択されたリンク生成モジュールLMを動作させて、区間メタデータA、B、C、…のリンク情報を抽出する。更に、メタデータ統合装置1は、統合リンク情報取得部4dによって、このリンク情報と、統合内容情報と、統合区間情報と、識別情報とを含む統合メタデータMCを生成し、統合メタデータ蓄積手段6に蓄積して(ステップS28)、ステップS29に進む。
続いて、メタデータ統合装置1は、統合処理制御手段5によって、ユーザ指示入力手段9に統合メタデータ(MB又はMC)を確認・編集するユーザ指令が入力されているかを判断し(ステップS29)、入力されていない場合(ステップS29でNo)には、そのままステップS31に進む。
一方、入力されている場合(ステップS29でYes)には、メタデータ統合装置1は、映像表示手段7によって、統合メタデータ(MB又はMC)の内容を示す映像を生成して表示装置に出力し、統合メタデータ編集手段8によって、ユーザ指令に基づいて統合メタデータ(MB又はMC)を確認・編集する作業を行い(ステップS30)、ステップS31に進む。
そして、メタデータ統合装置1は、統合処理制御手段5によって、ユーザ指示入力手段9に統合メタデータ(MB又はMC)を1つずつ出力するユーザ指令が入力されているかを判断する(ステップS31)。
そして、入力されている場合(ステップS31でYes)には、メタデータ統合装置1は、統合メタデータ出力手段10によって、統合メタデータ(MB又はMC)を出力する(ステップS32)。なお、メタデータ統合装置1は、統合メタデータ出力手段10によって、ステップS28のリンク生成処理がされている場合にはステップS28において生成された統合メタデータMCを、リンク生成処理がされていない場合には、ステップS26において生成された統合メタデータMBを統合メタデータ蓄積手段6から読み出して出力する。
続いて、メタデータ統合装置1は、統合処理制御手段5によって、コンテンツのすべての区間メタデータについて終了したかどうかを判断し(ステップS33)、終了していない場合(ステップS33でNo)には、ステップS25に戻って、区間を設定する動作以降の動作を行う。一方、すべての区間メタデータについて終了した場合(ステップS33でYes)には、動作を終了する。
また、ユーザ指示入力手段9に統合メタデータ(MB又はMC)を1つずつ出力するユーザ指令が入力されていない場合(ステップS31でNo)には、メタデータ統合装置1は、統合処理制御手段5によって、コンテンツのすべての区間メタデータについて終了したかどうかを判断し(ステップS34)、終了していない場合(ステップS34でNo)には、ステップS25に戻って、統合区間情報を設定する動作以降の動作を行う。
一方、すべての区間メタデータについて終了した場合(ステップS34でYes)には、統合処理制御手段5によって、ユーザ指示入力手段9に全区間の統合メタデータ(MB又はMC)を確認・編集するユーザ指令が入力されているかを判断し(ステップS35)、入力されていない場合(ステップS35でNo)には、そのままステップS37に進む。
一方、入力されている場合(ステップS35でYes)には、メタデータ統合装置1は、映像表示手段7によって、統合メタデータ(MB又はMC)の内容を示す映像を生成して表示装置に出力し、統合メタデータ編集手段8によって、ユーザ指令に基づいて統合メタデータ(MB又はMC)を確認・編集する作業を行い(ステップS36)、ステップS37に進む。そして、メタデータ統合装置1は、統合メタデータ出力手段10によって、全区間の統合メタデータ(MB又はMC)を出力して(ステップS37)、動作を終了する。
以上の動作によって、メタデータ統合装置1は、区間メタデータA、B、C、…から統合メタデータ(MB又はMC)を生成して出力することができる。なお、この一連の動作は、コンテンツから区間メタデータA、B、C、…が抽出されて、当該メタデータ統合装置1に入力される場合に、リアルタイムで処理する場合にも適用することができる。
また、区間メタデータ蓄積装置30に蓄積された区間メタデータA、B、C、…から統合メタデータ(MB又はMC)を生成する場合には、区間統合処理設定動作(図8のステップS21)を行った後に、全区間の区間メタデータA、B、C、…に対して区間統合処理(図8のステップS25)の動作を行い、続いて、内容統合処理設定動作(図8のステップ22)を行った後に、全区間の区間メタデータA、B、C、…に対して内容統合処理(図8のステップS26)の動作を行い、最後にリンク生成処理設定動作(図8のステップS24)を行った後に、全区間の区間メタデータA、B、C、…に対してリンク生成処理(図8のS28)を行うこととしてもよい。
(処理設定動作)
次に、図9を参照して、メタデータ統合装置1における処理設定動作(区間統合処理設定動作(図8のステップS21)、内容統合処理設定動作(図8のステップ22)及びリンク生成処理設定動作(図8のステップS24))について説明する。図9は、メタデータ統合装置の処理設定動作を示すフローチャートである。
まず、メタデータ統合装置1は、モジュール選択部(2a、3a又は4a)によって、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)から、個々の機能を示す文字列を取得する(ステップS51)。ここでは、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)が、関数(IsSegIntegrateModule()、IsSemanticIntegrateModule()又はIsLinkModule())によって、文字列を返すこととしている。なお、図9では、例として関数IsSegIntegrateModule()のみを示している。
そして、メタデータ統合装置1は、映像表示手段7によって、ステップS51において取得された文字列を提示し、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)を選択する選択画面を提示する(ステップS52)。ここで、メタデータ統合装置1は、ユーザ指示入力手段9によって、選択画面において、ユーザによるモジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)の選択を受け付けて、モジュール選択部(2a、3a又は4a)に対して、選択されたモジュールを通知する。
そして、メタデータ統合装置1は、モジュール選択部(2a、3a又は4a)によって、ユーザ指示入力手段9から通知されたモジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)を、区間統合部2c、内容統合部3c又はリンク生成部4cに組み込む。これによって、図8のステップS25において区間統合処理を行う区間統合モジュールZM、図8のステップS26において内容統合処理を行う内容統合モジュールDMあるいは図8のステップS28においてリンク生成処理を行うリンク生成モジュールLMが選択されたことになる(ステップS53)。なお、ここでは、図9において右側のモジュールが選択されたこととして説明する。
そして、メタデータ統合装置1は、パラメータ設定部(2b、3b又は4b)によって、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)による処理のために必要となるパラメータ(パラメータ項目)を、ステップS53において選択されたモジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)から取得する(ステップS54)。ここでは、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)が、関数(GetRequiredData())によって、パラメータの項目を返すこととしている。
続いて、映像表示手段7によって、ステップS54において取得されたパラメータの値を入力する入力画面を提示する(ステップS55)。ここで、メタデータ統合装置1は、ユーザ指示入力手段9によって、入力画面において、ユーザによるパラメータの値の入力を受け付けて、パラメータ設定部(2b、3b又は4b)に対して、入力されたパラメータの値を通知する。
そして、メタデータ統合装置1は、パラメータ設定部(2b、3b又は4b)によって、パラメータの値を区間統合部2c、内容統合部3c又はリンク生成部4c(ここでは、ステップS53において選択されたモジュール)に通知(設定)する(ステップS56)。ここでは、モジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)が、関数(SetRequiredData())によって、パラメータを設定することとしている。
そして、メタデータ統合装置1は、パラメータ設定部(2b、3b又は4b)によって、ステップS53において選択されたモジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)と、ステップS56において設定されたパラメータとを処理手順に追加して(ステップS57)、ユーザ指示入力手段9によって、他のモジュールを選択するユーザ指示が入力されたかを判断する(ステップS58)。
そして、選択するユーザ指示が入力された場合(ステップS58でYes)には、ステップS53に戻って、モジュール選択部(2a、3a又は4a)がモジュール(区間統合モジュールZM、内容統合モジュールDM又はリンク生成モジュールLM)の選択を行う動作以降の動作を行う。一方、入力されない場合(ステップS58でNo)には、メタデータ統合装置1は、ユーザ指示入力手段9によって、操作手順を編集するユーザ指示が入力されたかを判断する(ステップS59)。
そして、編集するユーザ指示が入力された場合(ステップS59でYes)には、メタデータ統合装置1は、パラメータ設定部(2b、3b又は4b)によって、操作手順の編集を行い(ステップS60)、ステップS58に戻って、他のモジュールを選択するユーザ指示が入力されたかを判断する動作以降の動作を行う。一方、入力されない場合(ステップS59でNo)には、動作を終了する。
本発明におけるメタデータ統合装置を備えるメタデータ統合システムの構成を示したブロック図である。 本発明における区間メタデータの構成とその意味を説明するための説明図であって、(a)は区間メタデータの構成を示す説明図、(b)は区間メタデータの例を示す説明図である。 本発明におけるメタデータ統合装置が、区間統合モジュールを選択し、パラメータを設定する際に、ユーザに提示する画面の一例を示す模式図である。 本発明におけるメタデータ統合装置が、内容統合モジュールを選択し、パラメータを設定する際にユーザに提示する画面の一例を示す模式図である。 本発明におけるメタデータ統合装置が、リンク生成モジュールを選択し、パラメータを設定する際にユーザに提示する画面の一例を示す模式図である。 本発明におけるメタデータ統合装置によって提示される統合メタデータの編集を行う編集画面の一例を示す模式図である。 本発明におけるメタデータ統合装置の統合メタデータ生成動作を示すフローチャートである。 本発明におけるメタデータ統合装置が統合メタデータを生成して出力する動作を示すフローチャートである。 本発明におけるメタデータ統合装置の処理設定動作を示すフローチャートである。
符号の説明
S メタデータ統合システム
1 メタデータ統合装置
2 区間統合処理手段
2a モジュール選択部(区間統合モジュール選択手段)
2b パラメータ設定部
2c 区間統合部(区間設定手段)
2d 統合区間情報取得部(第1の統合メタデータ生成手段)
3 内容統合処理手段
3a モジュール選択部(内容統合モジュール選択手段)
3b パラメータ設定部
3c 内容統合部(内容統合手段)
3d 統合内容情報取得部(第2の統合メタデータ生成手段)
4 リンク生成処理手段
4a モジュール選択部(リンク生成モジュール選択手段)
4b パラメータ設定部
4c リンク生成部(リンク生成手段)
4d 統合リンク情報取得部(第3の統合メタデータ生成手段)
5 統合処理制御手段
6 統合メタデータ蓄積手段
7 映像表示手段
8 統合メタデータ編集手段
9 ユーザ指示入力手段
10 統合メタデータ出力手段
20 モジュール蓄積装置
30 区間メタデータ蓄積装置

Claims (5)

  1. 複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するメタデータ統合装置であって、
    前記区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の前記区間統合モジュールを選択する区間統合モジュール選択手段と、
    この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、前記区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する区間設定手段と、
    この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する第1の統合メタデータ生成手段と、
    他の前記区間メタデータが、当該他の区間メタデータに含まれる区間情報によって示される区間に対応する前記コンテンツの一部の内容に関連する内容情報を更に含み、前記第1の統合メタデータの統合区間情報によって示される区間に関連付けられる区間を示す区間情報を含む前記他の区間メタデータに含まれる前記内容情報を統合する内容統合モジュールのうち、外部からの指令によって示される1つ以上の前記内容統合モジュールを選択する内容統合モジュール選択手段と、
    この内容統合モジュール選択手段によって選択された内容統合モジュールを動作させて、前記内容情報を統合する内容統合手段と、
    この内容統合手段によって統合された統合内容情報と、前記第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第2の統合メタデータを生成する第2の統合メタデータ生成手段とを備えることを特徴とするメタデータ統合装置。
  2. 他の前記区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、前記区間設定手段によって区間情報が参照された区間メタデータ、前記第1の統合メタデータ及び前記第2の統合メタデータのいずれかと所定の関係を持つ前記他の区間メタデータに含まれる前記識別情報を抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上の前記リンク生成モジュールを選択するリンク生成モジュール選択手段と、
    このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、前記識別情報を抽出するリンク生成手段と、
    このリンク生成手段によって抽出された識別情報と、前記関係を示す関係情報と、前記第2の統合メタデータ生成手段によって生成された第2の統合メタデータに含まれる前記統合区間情報及び前記統合内容情報とを含む第3の統合メタデータを生成する第3の統合メタデータ生成手段とを備えることを特徴とする請求項1に記載のメタデータ統合装置。
  3. 複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するメタデータ統合装置であって、
    前記区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の前記区間統合モジュールを選択する区間統合モジュール選択手段と、
    この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、前記区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する区間設定手段と、
    この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する第1の統合メタデータ生成手段と、
    他の前記区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、前記区間設定手段によって区間情報が参照された区間メタデータ、前記第1の統合メタデータ及び前記第2の統合メタデータのいずれかと所定の関係を持つ前記他の区間メタデータに含まれる前記識別情報を抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上の前記リンク生成モジュールを選択するリンク生成モジュール選択手段と、
    このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、前記識別情報を抽出するリンク生成手段と、
    このリンク生成手段によって抽出された識別情報と、前記関係を示す関係情報と、前記第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる前記統合区間情報とを含む第3の統合メタデータを生成する第3の統合メタデータ生成手段とを備えることを特徴とするメタデータ統合装置。
  4. 複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するためにコンピュータを、
    前記区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の前記区間統合モジュールを選択する区間統合モジュール選択手段、
    この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、前記区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する区間設定手段、
    この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する第1の統合メタデータ生成手段、
    他の前記区間メタデータが、当該他の区間メタデータに含まれる区間情報によって示される区間に対応する前記コンテンツの一部の内容に関連する内容情報を更に含み、前記第1の統合メタデータの統合区間情報によって示される区間に関連付けられる区間を示す区間情報を含む前記他の区間メタデータに含まれる前記内容情報を統合する内容統合モジュールのうち、外部からの指令によって示される1つ以上の前記内容統合モジュールを選択する内容統合モジュール選択手段、
    この内容統合モジュール選択手段によって選択された内容統合モジュールを動作させて、前記内容情報を統合する内容統合手段、
    この内容統合手段によって統合された統合内容情報と、前記第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる統合区間情報とを含む第2の統合メタデータを生成する第2の統合メタデータ生成手段として機能させることを特徴とするメタデータ統合プログラム。
  5. 複数の異なる事象に基づいて抽出された、コンテンツの再生時間の時間軸上における当該コンテンツの一部の区間を示す区間情報を含む複数の区間メタデータを統合するためにコンピュータを、
    前記区間メタデータに含まれる区間情報に基づいて当該コンテンツの一部の区間を設定する区間統合モジュールのうち、外部からの指令によって示される1つ以上の前記区間統合モジュールを選択する区間統合モジュール選択手段、
    この区間統合モジュール選択手段によって選択された区間統合モジュールを動作させて、前記区間メタデータに含まれる区間情報に基づいて、当該コンテンツの一部の区間を設定する区間設定手段、
    この区間設定手段によって設定された区間を示す統合区間情報を含む第1の統合メタデータを生成する第1の統合メタデータ生成手段、
    他の前記区間メタデータが、当該他の区間メタデータを識別するための識別情報を更に含み、前記区間設定手段によって区間情報が参照された区間メタデータ、前記第1の統合メタデータ及び前記第2の統合メタデータのいずれかと所定の関係を持つ前記他の区間メタデータに含まれる前記識別情報を抽出するリンク生成モジュールのうち、外部からの指令によって示される1つ以上の前記リンク生成モジュールを選択するリンク生成モジュール選択手段、
    このリンク生成モジュール選択手段によって選択されたリンク生成モジュールを動作させて、前記識別情報を抽出するリンク生成手段、
    このリンク生成手段によって抽出された識別情報と、前記関係を示す関係情報と、前記第1の統合メタデータ生成手段によって生成された第1の統合メタデータに含まれる前記統合区間情報とを含む第3の統合メタデータを生成する第3の統合メタデータ生成手段として機能させることを特徴とするメタデータ統合プログラム。
JP2005148835A 2005-05-20 2005-05-20 メタデータ統合装置及びメタデータ統合プログラム Expired - Fee Related JP4906274B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005148835A JP4906274B2 (ja) 2005-05-20 2005-05-20 メタデータ統合装置及びメタデータ統合プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005148835A JP4906274B2 (ja) 2005-05-20 2005-05-20 メタデータ統合装置及びメタデータ統合プログラム

Publications (2)

Publication Number Publication Date
JP2006323792A true JP2006323792A (ja) 2006-11-30
JP4906274B2 JP4906274B2 (ja) 2012-03-28

Family

ID=37543402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005148835A Expired - Fee Related JP4906274B2 (ja) 2005-05-20 2005-05-20 メタデータ統合装置及びメタデータ統合プログラム

Country Status (1)

Country Link
JP (1) JP4906274B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009252A (ja) * 2008-06-25 2010-01-14 Canon Inc 情報処理装置、情報処理方法、及び、情報処理プログラム
JP2012504265A (ja) * 2008-09-30 2012-02-16 ユーロピアン エアロノティック ディフェンス アンド スペース カンパニー イーズ フランス ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーン検索の最適化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205736A (ja) * 1997-11-11 1999-07-30 Hitachi Denshi Ltd 動画像編集装置
JPH11312081A (ja) * 1998-04-28 1999-11-09 Sharp Corp データ処理装置
JP2002271741A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法
JP2004193871A (ja) * 2002-12-10 2004-07-08 Toshiba Corp メディアデータ視聴装置及びメタデータ共有システム
JP2004348553A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> メタデータ編集方法、装置、及びプログラム
JP2005027261A (ja) * 2003-06-11 2005-01-27 Matsushita Electric Ind Co Ltd 記録装置、情報記録媒体および記録方法
JP2005039354A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Ind Co Ltd メタデータ入力方法と編集システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11205736A (ja) * 1997-11-11 1999-07-30 Hitachi Denshi Ltd 動画像編集装置
JPH11312081A (ja) * 1998-04-28 1999-11-09 Sharp Corp データ処理装置
JP2002271741A (ja) * 2001-03-13 2002-09-20 Matsushita Electric Ind Co Ltd 映像音響コンテンツ編集装置および映像音響コンテンツのインデックス付与方法
JP2004193871A (ja) * 2002-12-10 2004-07-08 Toshiba Corp メディアデータ視聴装置及びメタデータ共有システム
JP2004348553A (ja) * 2003-05-23 2004-12-09 Nippon Telegr & Teleph Corp <Ntt> メタデータ編集方法、装置、及びプログラム
JP2005027261A (ja) * 2003-06-11 2005-01-27 Matsushita Electric Ind Co Ltd 記録装置、情報記録媒体および記録方法
JP2005039354A (ja) * 2003-07-16 2005-02-10 Matsushita Electric Ind Co Ltd メタデータ入力方法と編集システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010009252A (ja) * 2008-06-25 2010-01-14 Canon Inc 情報処理装置、情報処理方法、及び、情報処理プログラム
JP2012504265A (ja) * 2008-09-30 2012-02-16 ユーロピアン エアロノティック ディフェンス アンド スペース カンパニー イーズ フランス ビデオデータベース中にアーカイブ化された画像のストリームに基づくシーン検索の最適化方法

Also Published As

Publication number Publication date
JP4906274B2 (ja) 2012-03-28

Similar Documents

Publication Publication Date Title
JP3955099B2 (ja) タイムベースメディア処理システム
EP2132624B1 (en) Automatically generating audiovisual works
US7181757B1 (en) Video summary description scheme and method and system of video summary description data generation for efficient overview and browsing
US20040175159A1 (en) Searchable DVD incorporating metadata
WO2003088665A1 (fr) Dispositif d&#39;edition de metadonnees, dispositif de reproduction de metadonnees, dispositif de distribution de metadonnees, dispositif de recherche de metadonnees, dispositif d&#39;etablissement de conditions de reproduction de metadonnees, et procede de distribution de metadonnees
KR20050086942A (ko) 오디오 신호의 증대 방법 및 시스템
JP2003511801A (ja) 効率的な概観及びブラウジングのためのビデオ要約記述構造と、ビデオ要約記述データ生成の方法及びシステム
JP2007012013A (ja) 映像データ管理装置及び方法及びプログラム
JP2007336106A (ja) 映像編集支援装置
JP2013171070A (ja) 楽曲情報処理装置及び楽曲情報処理方法
JP2001306599A (ja) 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
JP2007020195A (ja) 映像の検索方法および装置
JP2007295218A (ja) ノンリニア編集装置およびそのプログラム
JP2004153764A (ja) メタデータ制作装置及び検索装置
JP4906274B2 (ja) メタデータ統合装置及びメタデータ統合プログラム
JP2002142188A (ja) 動画像編集方法及び装置
JP2009022018A (ja) 映像の検索方法および装置
JP2003224791A (ja) 映像の検索方法および装置
JP6649745B2 (ja) コンテンツデータ管理装置、プログラム、およびコンテンツデータ管理方法
JP3690313B2 (ja) 動画像管理装置、情報入力方法および動画像検索方法
JP2005148801A (ja) 関連情報提供方法、関連情報提供装置、関連情報提供プログラム、および、関連情報提供プログラムの記録媒体
JP2004348553A (ja) メタデータ編集方法、装置、及びプログラム
Nack The Future of Media Computing: From Ontology-Based Semiosis to Communal Intelligence
JP4452122B2 (ja) メタデータ生成装置及びメタデータ生成プログラム
JP4084115B2 (ja) 番組編集方法

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061227

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120110

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4906274

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees