JP2006512007A - マルチメディア文書における多モード特性に注釈を付けるためのシステムおよび方法 - Google Patents

Abstract

【課題】 マルチメディア・ファイル内で生じる多モードのイベント、オブジェクト、シーン、および音声を観察および注釈付けするための改良されたシステムおよび方法を提供すること。
【解決手段】 マルチメディア・ファイルにおける多モード特性の手動注釈付けシステム。マルチメディア・コンテンツに注釈を付けるために使用する、音声付きビデオ、音声なしビデオ、ビデオ付き音声、またはビデオなし音声の観察モードを選択するための配置構成が提供される。ビデオまたは音声機能に分離して注釈付けすると、結果としてその機能の識別に対する信頼性レベルが低くなるが、音声およびビデオの両方を同時に観察してその観察結果に注釈付けすると、結果として信頼性レベルが高くなる。

Description

本発明は、マルチメディア・ファイルのコンピュータ処理に関する。より具体的に言えば、本発明は、マルチメディア・ファイルで発生する多モードのイベント、オブジェクト、シーン、および音声に手動で注釈を付けることに関する。

マルチメディア・コンテンツは、ワールド・ワイド・ウェブおよびローカル・コンピュータの両方において、ますます一般的になりつつある。マルチメディア・コンテンツのコーパスが増加するにつれて、コンテンツ内の機能に索引付けすることもますます重要になる。音声とビデオの両方を同時に観察すること、およびその観察結果（ｏｂｓｅｒｖａｔｉｏｎｓ）に注釈を付けることにより、結果として信頼レベルが高くなる。

既存のマルチメディア・ツールは、全体としてではなく音声またはビデオのいずれかに別々に注釈を付ける機能を提供する。（ビデオ専用注釈付けツールの一例は、[http://]www.alphaworks.ibm.com/tech/videoannexから入手可能な発明者Ｊ．Ｓｍｉｔｈ等によるＩＢＭ ＭＰＥＧ７注釈付けツールである。他の従来の配置構成については、Ｐａｒｋ等による２００１年１１月北朝鮮での帰納的モデリングに関する国際会議（ＩＣＩＭ）の議事録「ｉＭＥＤＩＡ−ＣＡＴ：インテリジェント・メディア・コンテンツ注釈付けツール」、およびＭｉｎｋａ等によるＴＲ＃３４９、１９９７年、パターン認識第３０巻、５６５ページ「モデル社会を使用した対話型学習」に記載されている。）

ビデオまたは音声機能に分離して注釈付けすると、結果としてその機能の識別に対する信頼性レベルが低くなることがわかっている。
Ｐａｒｋ等による２００１年１１月北朝鮮での帰納的モデリングに関する国際会議（ＩＣＩＭ）の議事録「ｉＭＥＤＩＡ−ＣＡＴ：インテリジェント・メディア・コンテンツ注釈付けツール」 Ｍｉｎｋａ等によるＴＲ＃３４９、１９９７年、パターン認識第３０巻、５６５ページ「モデル社会を使用した対話型学習」

前述の内容を考えると、マルチメディア・ファイル内で生じる多モードのイベント、オブジェクト、シーン、および音声を観察および注釈付けするための改良されたシステムおよび方法を提供することが求められている。

本発明の現時点で好ましい少なくとも１つの実施形態に従って、ユーザがビデオ単独、音声付きビデオ、音声単独、またはビデオ付き音声を観察すること、ならびに観察された内容に注釈を付けることを可能にする、マルチメディア注釈付けシステムおよび方法が広く企図されている。

一実施形態では、１つまたは複数のマルチメディア・ファイルが作業メモリに格納されたコンピュータ・システムが提供される。多モード注釈付けプロセスでは、ユーザが選択したマルチメディア・ファイルを表示し、ファイル・コンテンツを観察するために１つまたは複数モードの選択を可能にし、観察結果に注釈付けを行い、注釈付けした内容を作業メモリに保存する（ＭＰＥＧ−７ ＸＭＬファイルなど）。

要約すると、本発明の一態様はマルチメディア・コンテンツを管理するための装置を提供し、この装置は、マルチメディア・コンテンツを供給するための配置構成と、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするための入力インターフェースと、選択されたモードの観察結果に注釈付けするための配置構成とを有する。

本発明の他の態様は、マルチメディア・コンテンツを管理する方法を提供し、この方法は、マルチメディア・コンテンツを供給するステップと、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、選択されたモードの観察結果に注釈付けするステップとを有する。

さらに本発明の他の態様は、マルチメディア・コンテンツを管理するための方法をコンピュータに実行させるためのプログラムを記録したコンピュータによる読取りが可能なプログラム記憶デバイスを提供し、この方法は、マルチメディア・コンテンツを供給するステップと、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、選択されたモードの観察結果に注釈付けするステップとを有する。

本発明ならびにその機能および利点をより良く理解するために、添付の図面と併せて以下の説明が参照され、本発明の範囲は添付の特許請求の範囲で指摘される。

図１は、本発明に従った多モード注釈付けシステムの好ましい一実施形態を示すブロック図である。マルチメディア・コンテンツおよび以前の注釈は記憶媒体１００に格納される。ユーザ１３０が注釈付けツールを介して記憶媒体１００からマルチメディア・ファイルを選択すると、これは作業メモリ１１０にロードされ、その一部が注釈付けツール１２０に表示される。ユーザ１３０はいつでも、現在の多モード・ファイルに関連付けられた以前に保存された注釈を、記憶媒体１００から作業メモリ１１０へロードするように要求することもできる。ユーザ１３０は、注釈付けツール１２０を介して要求することによってマルチメディア・データを表示する。その後ユーザ１３０は自分の観察結果に注釈を付け、注釈付けツール１２０はこれらの注釈内容を作業メモリ１１０に保存する。ユーザはいつでも、記憶媒体１００上に注釈を保存するよう注釈付けツール１２０に要求することができる。

図２は、ビデオ・シーン、オブジェクト、およびイベントに注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオ・タブ２９０が選択されている。マルチメディア・ビデオが、変更シーン検出を使用してショットにセグメント化されている。ショット・リスト・ウィンドウ２００は、マルチメディア内のショットの一部を表示する。ここでユーザ１３０は、ショット・リスト・ウィンドウ２００でハイライト表示されているショット２１０を選択した。好ましくは、ショットのフレーム内で代表的ショットであるキー・フレーム２２０が表示される。加えて、再生コントロール２４０を使用してショットのフレームをビデオ・ウィンドウ２３０に表示することもできる。ビデオは、ミュート・ボタン２５０の選択に応じて、音声付きまたは音声なしで表示することができる。ユーザ１３０は、イベント２６０、静止シーン２７０、またはキー・オブジェクト２８０のリスト・ボックス内にあるボックスをクリックすることによって、このショットに関する注釈付けを選択することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。

図３は、ビデオ付き音声に注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオ付き音声タブ３７０が選択されている。マルチメディア・ビデオが、変更シーン検出を使用してショットにセグメント化されている。ショット・リスト・ウィンドウ２００は、マルチメディア内のショットの一部を表示する。現在の音声ポジションに関連付けられたショット２１０が、ショット・リスト・ウィンドウ２００でハイライト表示される。音声データがウィンドウ３９０に表示される。音声のセグメント３４０が注釈付けのために区切られており、すなわちその後の注釈付けのために音声の限界または境界が固定されている。音声に関連付けられたビデオは２３０に表示される。ユーザ１３０が再生コントロール３６０を使用すると、音声データ表示３９０は現在の音声データを表示するように更新され、ビデオ・ウィンドウ２３０は現在のビデオ・フレームを反映するように変更される。このようにして、ユーザ１３０は音声に注釈付けをしながら、ビデオを観察すると同時に音声を聞くことができる。好ましくは、ユーザ１３０はボタン３５０を使用して音声セグメントを区切る。前景サウンド（３２０）（セグメント内で最も顕著なサウンド）および背景サウンド（３３０）（存在するが他のサウンドに対して２次的なサウンド）に応じてチェック・ボックスにチェックを入れて、音声セグメント３４０内で聞こえるサウンドを指示することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。

図４は、ビデオなし音声に注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオなし音声タブ４００が選択されている。音声データがウィンドウ３９０に表示される。音声のセグメント３４０が注釈付けのために区切られている。ユーザ１３０が再生コントロール３６０を使用すると、音声データ表示３９０は現在の音声データを表示するように更新される。このようにしてユーザ１３０は、音声に注釈を付けながら音声を聞くだけにすることができる。ユーザ１３０はボタン３５０を使用して音声セグメントを区切る。前景サウンド用３２０および背景サウンド用３３０のチェック・ボックスにチェックを入れて、音声セグメント３４０内で聞こえるサウンドを指示することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。

本発明は、現時点で好ましい少なくとも１つの実施形態に従って、マルチメディア・コンテンツを供給するための配置構成と、観察のためにマルチメディア・コンテンツに関連付けられたモードの選択を可能にするための入力インターフェースと、選択されたモードの観察結果に注釈付けするための配置構成とを含むことが理解されよう。これらの要素は、好適なソフトウェア・プログラムを実行している少なくとも１つの汎用コンピュータでまとめて実施することができる。これらは、少なくとも１つの集積回路または少なくとも１つの集積回路の一部でも実施可能である。したがって本発明は、ハードウェア、ソフトウェア、またはその両方の組合せで実施可能であることを理解されよう。

本明細書で特に記載のない限り、本明細書で言及および記載したすべての特許、特許明細書、特許出版物、および他の出版物（ウェブ・ベースの出版物を含む）は、それらの全文が本明細書に記載されているかのように、参照により本明細書に完全に組み込まれていると想定される。

以上、本明細書の例示的な実施形態について添付の図面を参照しながら説明してきたが、本発明はそれらの精密な実施形態に限定されるものではないこと、ならびに、本発明の趣旨または精神を逸脱することなく当業者によって様々な他の変更および修正が実行可能であることを理解されよう。

多モード注釈付けシステムを示すブロック図である。 ビデオ・シーン、オブジェクト、およびイベントに注釈付けするシステムを示す図である。 ビデオ付き音声に注釈付けするシステムを示す図である。 ビデオなし音声に注釈付けするシステムを示す図である。

Claims (19)

1. マルチメディア・コンテンツを供給するための配置構成と、
   観察のために前記マルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするための入力インターフェースと、
   選択されたモードの観察結果に注釈付けするための配置構成と、
   を有する、マルチメディア・コンテンツを管理するための装置。
2. 前記入力インターフェースが、観察のために前記マルチメディア・コンテンツに関連付けられたビデオを含む音声部分および音声を含むビデオ部分の両方の選択を可能にする、請求項１に記載の装置。
3. さらに前記入力インターフェースが、観察のためにマルチメディア・コンテンツのビデオ部分のみの選択を可能にする、請求項１に記載の装置。
4. さらに前記入力インターフェースが、観察のためにマルチメディア・コンテンツの音声部分のみの選択を可能にする、請求項１に記載の装置。
5. 前記マルチメディア・コンテンツを供給するための配置構成が、マルチメディア・ファイルを格納する作業メモリを有する、請求項１に記載の装置。
6. 前記入力インターフェースが、第１にマルチメディア・ファイルの選択を可能にするように、ならびに次に、ビデオと同時の音声部分および音声と同時のビデオ部分のうちの前記少なくとも１つの選択を可能にするように適合された、請求項１に記載の装置。
7. 前記選択モードの注釈が付けられた観察結果を保存するための作業メモリをさらに有する、請求項１に記載の装置。
8. 前記入力インターフェースが、観察のために前記マルチメディア・コンテンツに関連付けられた少なくとも音声を含むビデオ部分モードの選択を可能にする、請求項１に記載の装置。
9. 前記入力インターフェースが、
   観察のためにマルチメディア・コンテンツのビデオ・モードの選択を可能にするための配置構成と、
   観察のためにビデオ・モードに選択的に音声を追加するための配置構成と、
   を有する、請求項８に記載の装置。
10. マルチメディア・コンテンツを供給するステップと、
    観察のために前記マルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、
    選択されたモードの観察結果に注釈付けするステップと、
    を有する、マルチメディア・コンテンツを管理するための方法。
11. 前記選択を可能にするステップが、観察のために前記マルチメディア・コンテンツに関連付けられたビデオを含む音声部分および音声を含むビデオ部分の両方の選択を可能にするステップを有する、請求項１０に記載の方法。
12. さらに前記選択を可能にするステップが、観察のためにマルチメディア・コンテンツのビデオ部分のみの選択を可能にするステップを有する、請求項１０に記載の方法。
13. 前記選択を可能にするステップが、観察のためにマルチメディア・コンテンツの音声部分のみの選択を可能にするステップを有する、請求項１０に記載の方法。
14. 前記マルチメディア・コンテンツを供給するステップが、マルチメディア・ファイルを格納する作業メモリを提供するステップを有する、請求項１０に記載の方法。
15. 前記選択を可能にするステップが、第１にマルチメディア・ファイルの選択を可能にするステップと、次に、ビデオと同時の音声部分および音声と同時のビデオ部分のうちの前記少なくとも１つの選択を可能にするステップとを有する、請求項１０に記載の方法。
16. 前記選択モードの注釈が付けられた観察結果を保存するための作業メモリを提供するステップをさらに有する、請求項１０に記載の方法。
17. 前記選択を可能にするステップが、観察のために前記マルチメディア・コンテンツに関連付けられた少なくとも音声を含むビデオ部分モードの選択を可能にするステップを有する、請求項１０に記載の方法。
18. 前記選択を可能にするステップが、
    観察のためにマルチメディア・コンテンツのビデオ・モードの選択を可能にするステップと、
    その後、観察のためにビデオ・モードに音声を追加することを可能にするステップと、
    を有する、請求項１７に記載の方法。
19. マルチメディア・コンテンツを管理するための方法をコンピュータに実行させるためのプログラムを記録したコンピュータによる読取りが可能なプログラム記憶デバイスであって、前記方法が、
    マルチメディア・コンテンツを供給するステップと、
    観察のために前記マルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、
    選択されたモードの観察結果に注釈付けするステップと、
    を有する、プログラム記憶デバイス。

Images