JP2010525497A - スピーチ認識技術を使用して生成されるメタデータにより映像コンテンツに注釈をつける方法及び装置 - Google Patents

Abstract

スピーチ認識技術を使用して生成されるメタデータにより映像コンテンツに注釈を付ける方法及び装置が提供される。当該方法は、映像コンテンツを表示装置に表示することから始まる。スピーチセグメントをユーザから受信して、スピーチセグメントが、現在表示されている映像コンテンツの一部分に注釈を付けるようにする。スピーチセグメントをテキストセグメントに変換し、そしてテキストセグメントを表示された映像コンテンツの一部分に関連付ける。テキストセグメントを、選択的に検索可能な方法で格納して、テキストセグメントを表示された映像コンテンツの一部分に関連付ける。

Description

本発明は概して、映像コンテンツに注釈を付ける方法及び装置に関し、特に、スピーチからテキストに変換されるメタデータにより映像コンテンツに注釈を付ける方法及び装置に関する。

消費者は益々頻繁に、家族の出来事、旅行体験などを、デジタルビデオ記録技術を使用して記録するようになっている。今日の最先端ホームビデオカメラ技術によって、膨大な量のこのような「自家製（ｈｏｍｅ−ｇｒｏｗｎ）」ビデオデータ及び他のビデオデータを便利に記録し、そして格納することができる。例えば、次世代のデジタルビデオレコーダ（ＤＶＲ）は、テラバイト単位で測定される記憶容量を実現する。より大きい記憶容量を確保することができるようになると、より豊富なコンテンツをユーザが格納することができることになる。フィルムのような古いアナログビデオフォーマットを、より新しいデジタルフォーマットに変換して、デジタルビデオ素材の量をより一層増やすサービスも普通に行なわれている。市販の映像編集製品によって、ホームムービーの品質を大幅に高め、かつホームムービーの表示を大幅に改善する映像生成が可能にもなる。

残念なことに、家族向けムービー及び他のムービーを記録し、そして編集する作業が容易になっているのと同じように、これらのムービーをアーカイブし、そして取り出す作業が極めて簡単になっている訳ではない。大量の写真とは異なり、収集した家族向けムービーを容易にブラウジングして鑑賞するということができない。コンテンツの特定セグメントを探し出す作業は、特定のアイテムを識別する作業に依存し、これは、アイテムを分類する必要があることを意味する。商用ムービー及びソングの場合、今日では、詳細メタデータを付与する多数のサービスを利用することができる（例えば、ムービー用のインターネットムービーデータベースＩＭＤｂ，音楽用のＣＤＤＢ）。しかしながら、膨大な量のコンテンツを管理するための実際の使用に供するために、このメタデータは、関連するコンテンツに関連付けて保存し、そしてユーザに、首尾一貫して分かり易い一つのアイテムとして提示する必要がある。

近年、ＭＰＥＧ−７及びＴＶ−ＡｎｙＴｉｍｅのような多数の規格が開発されており、これらの規格によって、マルチメディアコンテンツの特徴を記述することができるので、ユーザが当該コンテンツを、今日のテキスト型サーチエンジンと同程度に効率的、かつ効果的に検索し、ブラウジングし、そして検索することができる。これらの規格では通常、一連のオーディオビジュアルメタデータ要素が使用される。このような所謂マルチメディアコンテンツ管理システムは既に、商用目的でコンテンツクリエータ／オーナー及びサービスプロバイダ／ブロードキャスターによって広く使用されている。例えば、ＤＶＤムービーの場合、メタデータは多くの場合、コンテンツ自体の一部として供給されるので、ユーザが映像の特定部分に、「チャプター選択（ｃｈａｐｔｅｒ ｓｅｌｅｃｔｉｏｎ）」インターフェースを介してアクセスすることができる。記録されたプログラムの特定セグメントへのアクセスには、タイトル、カテゴリー、スタート位置、及び各セグメントの期間を記述したプログラムに関するセグメント情報が必要であり、この情報は、「映像インデックス化」と呼ばれるプロセスにより生成される。特定セグメントに、プログラムのセグメント情報を用いることなくアクセスするために、視聴者はプログラムを始めから、例えば高速順送りボタンを使用することにより線形サーチする必要があり、この作業は、面倒で非常に長い時間を要するプロセスである。

別の商用目的では、ブロードキャスターのようなサードパーティサービスプロバイダは、メタデータを関連するコンテンツと一緒に付与することができる。例えば、このような一つのメタデータソースが電子番組ガイド（ＥＰＧ）であり、このガイドは、幾つかのケーブル及び衛星ＴＶプロバイダを介して利用することができる。ＥＰＧメタデータはタイトル、放送時刻、及び放送に関する簡単な説明を含む。

商用ビデオとは異なり、ホームムービーは通常、ムービーの目録を作成し、検索し、読み出すことを可能とする、ムービーコンテンツに関するメタデータをほとんど含むことがない。また、ＥＰＧにおいて利用することができるような明確に定義されるメタデータを使用することができる商用目的とは異なり、消費者は多くの場合、数の限られた記述子の使用が適さない特有の方法で、ムービーにインデックスを付け、そしてムービーを取り出したいと考える。仮に、消費者がメタデータを自分で書き込むとしても、プロセスは不便であり、かつ非常に長い時間を要する。

本発明によれば、スピーチ認識技術を使用して生成されるメタデータにより映像コンテンツに注釈を付ける方法及び装置が提供される。当該方法は、映像コンテンツを表示装置に表示することから始まる。スピーチセグメントをユーザから受信して、スピーチセグメントが、現在表示されている映像コンテンツの一部分に注釈を付けるようにする。スピーチセグメントはテキストセグメントに変換され、テキストセグメントは、表示された映像コンテンツの一部分に関連付けられる。テキストセグメントは、選択的に検索可能な方法で格納され、テキストセグメントが表示された映像コンテンツの一部分に関連付けられるようにする。

本発明の一つの態様によれば、スピーチセグメントを受信する前に操作状態を選択するユーザから信号を受信することができる。
本発明の別の態様によれば、操作状態は、注釈状態、ナレーション状態、コメント状態、分析状態、及びレビュー／編集状態から成るグループから選択することができる。

本発明の別の態様によれば、映像コンテンツはセットトップボックスにより表示することができる。
本発明の別の態様によれば、映像コンテンツはＤＶＲにより表示することができる。

本発明の別の態様によれば、セットトップボックスは映像コンテンツをビデオカメラから受信することができる。
本発明の別の態様によれば、ＤＶＲは映像コンテンツをビデオカメラから受信することができる。

本発明の別の態様によれば、スピーチリクエストを受信する必要のあるモードを定義する複数の異なるユーザ選択可能な操作状態をユーザに提示することができる。
本発明の別の態様によれば、ユーザ選択可能な操作状態はＧＵＩとして表示装置上に提示することができる。

本発明の別の態様によれば、ＧＵＩを、表示されている映像コンテンツに重ね合わせることができる。

映像情報を、デジタルビデオカメラからデジタルビデオレコーダ（ＤＶＲ）のような映像記憶装置に転送する構成を示す図である。 一連のメニュー選択を表わすグラフィカルユーザインターフェース（ＧＵＩ）が映像上に重ねられている表示装置上のスクリーンショットを示す図である。 ＤＶＲサブシステムを備える例示的なセットトップボックスを示す図である。 図３に示すメタデータ生成モジュールが用いることができるアーキテクチャの一例を示す図である。 幾つかの例において、メタデータを挿入することができる例示的なＭＰＥＧデジタルビデオトランスポートストリームまたはシーケンスを示す図である。 ユーザが選択可能なメタデータ生成モジュールの種々の動作状態の一つの特定の例を示す例示的な状態図である。

本明細書において記述されるのは、大量に収集したホームムービーをアーカイブし、かつ注釈を付与し、映像をブラウジングしまとめることを、簡単かつ楽しむことさえできる作業に変える方法及び装置である。以下に更に詳細に説明するように、ビデオカメラなどからの映像情報は、音声メタデータ生成モジュール（ｖｏｉｃｅ−ｂａｓｅｄ ｍｅｔａｄａｔａ ｇｅｎｅｒａｔｉｏｎ ｍｏｄｕｌｅ）を含む映像記憶装置に転送される。記憶装置に収めた映像が表示されているときに、エンドユーザはマイクロホンまたは他の音声入力デバイスを使用して映像に注釈を加える。スピーチに対してスピーチ−テキスト変換を行なって、ローカルに格納された映像の目録を作成し、検索し、読み出すために使用可能なメタデータソースを供給する。あるメタデータは、詳細な解説、及びコンテンツに関する詳細を含む。

一つの例示的な状況においては、ユーザは最近の家族の長期休暇の映像への検索可能なアクセスを実現したいと考える。ユーザは、映像のセグメント群を、これらのセグメントの位置、及び映像セグメント群に現われる家族構成員によって、または他の個人によって識別したいと考える。例えば、第１映像セグメントがスキー斜面上で記録され、第２部分がスキー小屋内で記録された場合、第１セグメントが再生、または表示される（ｒｅｎｄｅｒｅｄ）と同時に、ユーザは例えば、ティムとベスがスキーで滑っていることを指摘して、スキー斜面について言葉に出して説明することができる。同様に、第２映像セグメントを再生している場合、ユーザはスキー小屋について、所望であればどんな詳細にも述べることができ、小屋に居るこれらの個人を特定することができる。このようにして、ユーザは映像全体にナレーションを入れ続けることができる。

図１は、映像情報をデジタルビデオカメラ１１０から、デジタルビデオレコーダ（ＤＶＲ）１１５のような映像記憶装置に転送する構成を示している。ＤＶＲ１１５及びデジタルビデオカメラ１１０は、適切な規格（例えば、ＩＥＥＥ１３９４）に準拠するインターフェースを含み、そして当該規格に準拠するケーブル１２０を介して接続される。従って、レコーダ１１５及びビデオカメラ１１０は、互いを認識し、そして互いに通信することができる。コンピュータモニタまたはテレビのような表示装置１２５は、デジタルビデオレコーダ１１５に接続されて、レコーダ１１５に格納された映像コンテンツを表示する。

図１に更に示すのは、種々の音声入力デバイスであり、これらのデバイスは、デジタルビデオレコーダ１１５に接続され、これらのデバイスのうちの任意のデバイスをユーザが用いて映像に注釈を加えることができる。詳細には、描かれている音声入力デバイスは、マイクロホン１３０と、携帯電話機１３５と、そして内蔵マイクロホン付きリモートコントロールユニット１３５と、を含む。ビデオレコーダ１１５がデジタルビデオカメラ１１０、マイクロホン１３０、携帯電話機１３５、及びリモートコントロールユニット１３５と有線リンクを介して通信している様子が描かれているが、これらの要素は代わりに、ビデオレコーダ１１５と無線リンクを介して通信してもよいことに留意されたい。

デジタルビデオレコーダ１１５は、以下に更に詳細に説明される音声メタデータ生成モジュールを含み、この音声メタデータ生成モジュールはスピーチを、一つまたは複数の音声入力デバイスから受信する。メタデータ生成モジュールは、スピーチをテキストに変換するスピーチ認識要素を含む。結果として得られるテキストは、メタデータ生成モジュールにより使用され、映像用メタデータを生成する。

図２は、表示装置のスクリーンショットを示している。ＤＶＲ１１５に格納された映像は、映像の上に重ねられたグラフィカルユーザインターフェース（ＧＵＩ）１４５と一緒に表示される。ＧＵＩ１４５は、一連のメニュー選択を含み、これらのメニュー選択の中から、ユーザは、リモートコントロールユニットのような適切なユーザ入力デバイスを使用して選択を行なうことができる。種々のメニュー選択について、メタデータ生成モジュールの動作状態に関連付けながら以下に更に詳細に説明する。

映像がビデオカメラから転送される映像記憶装置は、図１及び２に示されるようなデジタルビデオレコーダ１１５に制限されないことに留意されたい。更に広い意味では、映像記憶装置は、ビデオ信号を受信し、記録し、再生する機能を備える非常に多くの種類の異なるデバイス、またはこれらのデバイスの組み合わせとして実装することができる。例えば、映像記憶装置は、セットトップボックス、テレビジョン、パーソナルコンピュータ、ＰＤＡなどとすることができる。例示のために、メタデータ生成モジュールを内蔵する映像記憶装置を図３に、ＤＶＲサブシステムを備えるセットトップボックスとして表わすこととする。

図３を参照すると、セットトップボックス１０は、モデムのようなデバイス、ストリーミングメディアプレーヤ、及び他のネットワーク接続サポートデバイス及び／又はソフトウェアをサポートする外部ネットワーク接続／通信インターフェース５９を含み、これらのインターフェース５９は、ローカルエリアネットワークまたはワイドエリアネットワーク（例えば、ブロードバンドネットワーク１１）を介してプログラムプロバイダ、及び広告コンテンツのような他のコンテンツのプロバイダに接続される。通信インターフェース５９は更に、図１に示すビデオカメラ１１０及び種々の入力デバイスを接続する適切な接続手段を含む。

セットトップボックス１０は更に、帯域内チューナ４３を含み、この帯域内チューナは、ユーザインターフェース５５を介して視聴者により選択されたチャネル信号１６にチューニングする。図１に関連して説明したように、ユーザインターフェース５５は、消費者が受信したいと考えるチャネルまたはプログラムを消費者が選択することができるようにする任意のタイプの公知の、または将来のデバイスまたは技術とすることができ、当該デバイスまたは技術として、例えばパーソナルビデオレコーダに関連するリモートコントロール、マウス、マイクロホン、キーボード、またはタッチスクリーンディスプレイを挙げることができる。

チャネル信号１６は、ビデオ及び／又はオーディオ成分を含む。復調器４０及び４２は帯域内チューナ４３に応答する。例えば、６４／２５６直交振幅変復調器とすることができる復調器４０は、チャネル信号１６のデジタルバージョンを受信するように応答する。復調器４０は、ケーブルモデムのような外部ネットワーク接続手段５９からのムービングピクチャエキスパートグループ（ＭＰＥＧ）トランスポートストリーム、高精細度テレビストリーム、またはメディアストリームのような一つまたは複数のデジタルソースからのデジタルデータパケットを、公知の方法及び手法を使用して識別する。例えば、ＮＴＳＣ復調器とすることができる復調器４２は、チャネル信号１６のアナログバージョンを受信し、そして信号及びマーカを公知の方法及び手法を使用して解読するように応答する。復調器４０及び４２は、映像情報２０を出力するように動作する。

映像情報２０は、所定のメディアフォーマットに従ったフォーマットで配列された生のビデオデータまたはオーディオデータを含む。映像情報２０は、ＭＰＥＧ−２メディアフォーマットのようなＭＰＥＧメディアフォーマットに従って配列されることが好ましいが、他のメディアフォーマットに従って配列されてもよく、他のメディアフォーマットとして、これらには制限されないが、他のＭＰＥＧフォーマット、ハイパーテキストマークアップ言語（ＨＴＭＬ）、仮想現実モデル化言語（ＶＲＭＬ）、拡張マークアップ言語（ＸＭＬ）、ＩＩ．２６１フォーマット，またはＩＩ．２６３フォーマットを挙げることができる。

記憶媒体６４は、とりわけ、符号化ビデオ信号２０を受信して格納するように応答する。記憶媒体６４は、現在公知であり、または後で開発され、かつデータを記録することができる任意のローカルデバイスまたはリモートデバイスとすることができ、当該デバイスとして、これらには制限されないが、ハードディスクドライブ、ビデオカセットレコーダテープ、コンパクトディスク及びデジタルビデオディスクのような全てのタイプの光記憶媒体、磁気テープ、ホームルータ、またはサーバを挙げることができる。図１のビデオカメラ１１０から転送される映像は、接続／通信インターフェース５９によって受信され、そして記憶媒体６４に格納される。

デコーダ４９は、記録された符号化ビデオ信号２０を記憶媒体６４から受信し、ユーザインターフェース５５からの命令に応答して、記録された符号化ビデオ信号２０を表示装置２５で再生するように応答する。デコーダ４９はまた、ビデオプログラミングをチューナ４３から直接受信し、通過するように応答する。デコーダ４９の内部構造は公知である。デコーダ４９は、アナログ−デジタル変換器と、一つまたは複数の記憶媒体及び／又はバッファと、汎用または特定用途向けプロセッサまたは特定用途向け集積回路とを、少なくとも２つのトランスポートストリーム、例えばビデオストリーム及びオーディオストリームを逆多重化する、及び／または同期させるデマルチプレクサーとともに含むことができる。ビデオデコーダ及びオーディオデコーダ、及び／又はアナログデコーダ及びデジタルデコーダは分離することができ、この場合、分離されたデコーダの間の通信を行なうことにより、同期、エラー補正及び制御が可能になる。

メタデータ生成モジュール３０によって、ユーザは、映像を再生しながら、発声された単語シーケンスから得られるメタデータを生成し、精査し、そして修正することができる。メタデータ生成モジュール３０は、メタデータを任意の適切なフォーマットで表わすことができる。例えば、ＴＶ−Ａｎｙｔｉｍｅフォーラムからメタデータ仕様が発行されており、メタデータ仕様は、消費者がコンテンツを探し出し、ナビゲートし、そして管理することを可能とするデータ構造を定義する。「ＴＶ−Ａｎｙｔｉｍｅ」規格は、ＴＶ−Ａｎｙｔｉｍｅフォーラムで定義される新規の規格である。ＴＶ−Ａｎｙｔｉｍｅ規格では、メタデータはＸＭＬで記述される。同様に、マルチメディアコンテンツへの効果的かつ効率的なアクセスのためのＭＰＥＧ規格（ＩＳＯ／ＩＥＣ １５９３８：Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ（情報技術）−−マルチメディアコンテンツ記述インターフェース），すなわちＭＰＥＧ−７は、メタデータ要素及びこれらの要素の構造及び関係を提示し、これらの要素、構造、及び関係を記述子の形式、及び記述形式で定義して、マルチメディアコンテンツの記述を生成する。ＭＰＥＧ−７は、種々のタイプのマルチメディア情報を記述するのに用いることが可能な標準的な一連の記述ツールを指定する。ＭＰＥＧ−７は、その目的が付加的な機能を他のＭＰＥＧ規格に提供することにあるので、旧世代のＭＰＥＧ規格を置き換えるものではない。旧世代のＭＰＥＧ規格によってコンテンツを利用することができるようになるとともに、ＭＰＥＧ−７はユーザが必要とするコンテンツを探し出すことを可能とする。

フォーマットに関係なく、メタデータを同じデータストリーム内、または同じローカル記憶媒体上に、関連する映像と共に物理的に位置するようにすることができるが、メタデータ記述は、ネットワーク上のような他の任意の場所に位置するようにすることもできる。コンテンツ及び当該コンテンツのメタデータ記述が同じ位置にない場合、これらの２つをリンクさせる、例えばコンテンツ識別子のような機構を用いる。

図３に更に示されるのは、オーディオ信号を出力するスピーカを含む表示装置２５であり、この表示装置は、チューナ４３または記憶媒体６４から受信するビデオプログラミングを表示する。表示装置２５は、アナログ信号またはデジタル信号を受信するように応答し、これらの信号として、これらには制限されないが、Ｓビデオ信号、合成オーディオ−ビデオ信号、ＳＰＤＩＦ信号、及びＤＶＩ信号を挙げることができる。

プロセッサ３９及びソフトウェア２２が機能的に説明される。プロセッサ３９及びソフトウェア２２は、復調器４０及び４２、記憶媒体６４、デコーダ４９、及びメタデータ生成モジュール３０を含む、セットトップボックス１０の種々の構成要素に応答する。プロセッサ３９のようなプロセッサへの読み込みが行なわれると、ソフトウェア２２は、符号化ビデオ信号２０の符号化、記録、及び再生を制御するように動作する。しかしながら、セットトップボックスの形態は決して、コンピュータソフトウェアまたは信号処理方法のいずれの特定の形態にも制限されることがないことを理解されたい。例えば、一緒にパッケージングされる、またはセットトップボックス１０の他の構成要素と一緒にパッケージングされる一つまたは複数のプロセッサは、プロセッサ３９の機能を種々の方法で実行することができる。また、ソフトウェア２２は、ＤＶＲシステム１０によって実現する機能を電気的に制御する一つまたは複数の部品に格納され（例えば、記憶媒体６４に、またはリードオンリーメモリまたはランダムアクセスメモリのような別の内部または外部記憶媒体に格納される）、かつファームウェアを含む任意の命令とすることができ、そしてソフトウェア２２は、一つまたは複数のプロセッサを含むセットトップボックス１０の一つまたは複数の構成要素により使用され、または実装されうることを理解されたい。

図４は、メタデータ生成モジュール３０が用いることができるアーキテクチャの一つの例を示している。メタデータ生成モジュール３０は、ユーザインターフェースコンポーネント２１０と、音声認識コンポーネント２２０と、注釈メタデータエンジン２３０と、そして再生制御ロジック２４０と、を含む。ユーザインターフェースコンポーネント２１０は、例えば図２に示すようなＧＵＩスクリーンショットに加えて、注釈のユーザ制御を可能にするために必要な他の対話型操作機能を表示する。スピーチ認識コンポーネントとも表記される音声認識コンポーネント２２０は音声認識を行なう。以下の記述では、「スピーチ認識（ｓｐｅｅｃｈ ｒｅｃｏｇｎｉｔｉｏｎ）」及び「音声認識（ｖｏｉｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）」という用語は、同じ意味に使用される。音声認識コンポーネント２２０は、スピーカ依存のスピーチ認識ユニットまたはスピーカ非依存のスピーチ認識ユニットのいずれかとすることができる。このような従来の音声認識コンポーネントはこの技術分野では公知であるので、当該コンポーネントについて詳細に説明することはしない。一般的に、スピーカ依存のスピーチ認識構造では、スピーカを識別し、そして識別されたスピーカから発声される単語または語句のみが認識される。スピーカ非依存のスピーチ認識構造では、特定の単語のみが、これらの単語を発声する人物に関係なく認識される。

注釈メタデータエンジン２３０はメタデータを、音声認識コンポーネントが供給するテキストに基づいて、前述のＴＶ−Ａｎｙｔｉｍｅ規格及びＭＰＥＧ−７規格のようないずれかの適切なフォーマットを使用して生成する。注釈メタデータエンジン２３０は更に、メタデータを、適切なデータベースレコードまたはファイルに挿入する、またはＭＰＥＧビットストリームに直接挿入する。再生制御ロジック２４０は、ビデオストリームの再生を、ユーザから受信するメタデータを付加して調整する。メタデータ生成モジュール３０は、ソフトウェアアプリケーション、ファームウェアレイヤまたはハードウェアレイヤ、或いはこれらの要素のいずれかの組み合わせとして実装することができることに留意されたい。例えば、或る場合においては、メタデータ生成モジュールは、ＡＳＩＣを関連するファームウェアと一緒に使用するハードウェアとして実装することができる。

メタデータ生成モジュール３０は、メタデータと映像との関連付けを、いずれかの数の異なる方法で設定することができる。例えば、前に述べたように、メタデータは、データベースレコードに格納することができる。別の構成として、別の例では、メタデータ生成モジュール３０は、メタデータをデジタルビットストリームに挿入する。図５は、例示的なＭＰＥＧデジタルビデオトランスポートストリームまたはシーケンスのシーケンスヘッダを示している。勿論、ＭＰＥＧストリームは、例示のためにのみ示している。ここに説明する手法はより一般的には、任意の適切な規格に準拠するデジタル符号化ビデオストリームに適用することができる。通常、このようなビデオシーケンスを含む連続フレームは便宜上、フレームグループ群またはピクチャグループ群（ｇｒｏｕｐｓ ｏｆ ｐｉｃｔｕｒｅｓ：ＧＯＰ）に分割される。ＭＰＥＧ規格では、シーケンスレイヤまたはＧＯＰレイヤが定義される。シーケンスレイヤは、シーケンスヘッダで始まり、そしてシーケンスエンドで終了する。シーケンスレイヤは一つよりも多くのＧＯＰを含む。ＧＯＰレイヤはＧＯＰヘッダで始まり、そして複数のピクチャまたはフレームを含む。第１フレームは通常、Ｉ−ピクチャと、当該Ｉ−ピクチャに続くＰ−ピクチャ及びＢ−ピクチャである。ＭＰＥＧによって、ＧＯＰの使用、サイズ、及び構成に関する柔軟性が得られるが、１２フレームＧＯＰは通常、２５フレーム／秒システムフレームレートに対応し、そして１５フレームＧＯＰは通常、３０フレーム／秒システムに対応する。図示のように、注釈メタデータエンジンはメタデータ及び関連するタイムスタンプをユーザデータビットとして、ビデオストリームに関連するヘッダに挿入する。このようにして、メタデータは、セットトップボックスに搭載されるＭＰＥＧデコーダにより利用可能であるので、メタデータを抽出し、ビデオストリームに同期させ、かつ恐らくは、スクリーンに、見出しまたは副題のいずれかとして表示させることができる。

メタデータ生成モジュール３０は、多くの異なる状態で動作することができるので、ユーザは映像に容易に、かつ簡便に注釈を加えることができる。図６は、メタデータ生成モジュール３０の種々の動作状態の一つの特定の例を示す例示的な状態図であり、これらの動作状態の中から、ユーザは選択を行なうことができる。勿論、これらの状態は例示としてのみ提示されており、決して制限的な意味に捉えられるべきではない。種々の状態の各状態は、映像記憶装置に関連するリモートコントロールユニットのような適切なユーザ入力デバイスを使用して入力することができる。ユーザが選択を行なう種々の状態は、図１に示すような表示装置上に提示することができる。

ユーザは、映像をビデオカメラから映像記憶装置に転送しながら、または転送を既に行なった後に、注釈プロセスを開始することができる。ユーザはまず、メタデータ生成モジュール３０を、注釈状態、ナレーション状態、コメント状態、分析状態、及びレビュー／編集状態を含む他の状態へのエントリポイントとして利用される作動可能な音声認識注釈状態になることにより起動、または作動可能な状態にする。

注釈状態では、ユーザは単に、表示装置に提示される所定の質問またはカテゴリーに回答する。例えば、ユーザに映像のタイトル、トピック、日付、及び場所を入力するよう求める。注釈状態をこのように使用することにより、例えば放送番組のＥＰＧから探し出すことができる情報に種類が類似する、映像についての基礎情報を提供する。ナレーション状態では、ユーザは、映像に関する更に詳細な、かつ分かり易い解説を、当該映像が表示されているときに入れることができる。この状態では、ユーザは、映像の各シーンまたはセグメント、及びすべてのシーンまたはセグメント、または選択されたシーン、或いは選択されたセグメントに、所望であればどのような細かな注釈も付けることができる。ナレーション状態では、音声認識コンポーネントは通常、映像の再生中はずっとアクティブ状態のままになっているのでユーザは、当該映像がスクリーンに表示されるときに当該映像の任意の部分について述べることができる。ユーザは映像をいずれの時点においても、早送りし、巻き戻しし、そして停止することができる。

コメント状態はナレーション状態と、デフォルト状態の音声認識コンポーネントが通常、映像の再生中はずっと非アクティブ状態であることを除いて同様である。この状態は、ユーザが主として映像を見ているが、実況解説（ｒｕｎｎｉｎｇ ｃｏｍｍｅｎｔａｒｙ）を加えることを期待しない場合に使用すると最も便利である。ユーザが解説を付加したいと考える状況では、彼または彼女は、音声認識コンポーネントをユーザインターフェースで、例えばプレストゥトークボタン（ｐｒｅｓｓ−ｔｏ−ｔａｌｋ ｂｕｔｔｏｎ）を押すことにより起動する必要がある。ここでも同じように、ユーザは、映像をいずれの時点においても、早送りし、巻き戻しし、そして停止することができる。

分析状態は、スペルチェッカーに類似する記述チェッカーとして利用される。通常、ナレーション状態が完了した後に手動で、または自動的に分析状態となる。この状態ではユーザに対して、不明瞭な単語または語句、解説のないシーンまたはセグメント、或いはユーザの会話から変換されているテキストに異常があると推測させるその他の事項のようなアイテムを強調する。ユーザが実際に、解説のいずれかを修正したいと考える場合、ユーザはレビュー／編集状態を開始してそのような修正を行なう。

いくつもの他の状態から、編集／レビュー状態となることができる。例えば、ナレーション状態中にコンテンツを改良するために編集／レビュー状態となることが可能である。コメント状態になっているときに、またはコメント状態の終わりに、編集／レビュー状態となって、解説を修正することもできる。編集／レビュー状態においては、映像の再生が停止され、新規の解説が追加される代替ラインと共に現在の解説がスクリーンに表示される。

映像にメタデータを使用して注釈を付ける便利な方法を上に提示してきたが、検索エンジンまたは他のアプリケーションを使用してメタデータを検索し、メタデータにアクセスし、そしてそれ以外に、メタデータを利用する方法は制限を受けないことに留意されたい。制限を受けるのではなく、メタデータに対するクエリーは、この技術分野の当業者が利用することができるどのような方法でも実行することができる。

Claims (16)

1. 映像コンテンツに注釈を付ける方法であって、
   映像コンテンツを表示装置に表示すること、
   スピーチセグメントをユーザから受信して、前記スピーチセグメントが、現在表示されている前記映像コンテンツの一部分に注釈を付けるようにすること、
   前記スピーチセグメントをテキストセグメントに変換すること、
   前記テキストセグメントを前記映像コンテンツの前記一部分に関連付けること、
   前記テキストセグメントを選択的に検索可能な方法で格納して、前記テキストセグメントが、表示された前記映像コンテンツの一部分に関連付けられるようにすること
   を備える方法。
2. 前記スピーチセグメントを受信する前に操作状態を選択する前記ユーザから信号を受信することを更に備える、請求項１記載の方法。
3. 前記操作状態は、注釈状態、ナレーション状態、コメント状態、分析状態、及びレビュー／編集状態から成るグループから選択される、請求項２記載の方法。
4. 前記映像コンテンツはセットトップボックスにより表示される、請求項１記載の方法。
5. 前記映像コンテンツはＤＶＲにより表示される、請求項１記載の方法。
6. 前記セットトップボックスは前記映像コンテンツをビデオカメラから受信する、請求項４記載の方法。
7. 前記ＤＶＲは前記映像コンテンツをビデオカメラから受信する、請求項５記載の方法。
8. スピーチリクエストを受信する必要のあるモードを定義する複数の異なるユーザ選択可能な操作状態を前記ユーザに提示することを更に備える、請求項１記載の方法。
9. 前記ユーザ選択可能な操作状態はＧＵＩとして前記表示装置上に提示される、請求項２記載の方法。
10. 前記ＧＵＩは、表示されている前記映像コンテンツに重ね合わされる、請求項８記載の方法。
11. ビデオプログラムを表示する装置であって、
    コンピュータ読み取り可能な記憶媒体と、
    前記コンピュータ読み取り可能な記憶媒体に応答し、かつソフトウェアプログラムに応答するプロセッサと
    を備え、前記ソフトウェアプログラムは、該ソフトウェアプログラムが前記プロセッサに読み込まれる場合に、
    映像コンテンツを表示装置に表示すること、
    スピーチセグメントをユーザから受信して、前記スピーチセグメントが、現在表示されている前記映像コンテンツの一部分に注釈を付けるようにすること、
    前記スピーチセグメントをテキストセグメントに変換すること、
    前記テキストセグメントを前記映像コンテンツの一部分に関連付けること、
    選択的に検索可能な方法で、前記テキストセグメントを格納して、前記テキストセグメントが表示された前記映像コンテンツの一部分に関連付けること
    を行うように動作する、装置。
12. プログラミングコンテンツを、ブロードバンド通信システムを介して受信する受信機／チューナと、
    前記受信機／チューナにより提供されるプログラミングコンテンツを復号化するデコーダと
    を更に備える、請求項１１記載の装置。
13. 前記プロセッサは更に、前記スピーチセグメントを受信する前に操作状態を選択するユーザから信号を受信するように構成される、請求項１１記載の装置。
14. 前記プロセッサは更に、前記映像コンテンツをビデオカメラから受信するように構成される、請求項１１記載の装置。
15. 前記プロセッサは更に、スピーチリクエストを受信する必要のあるモードを定義する複数の異なるユーザ選択可能な操作状態をユーザに提示するように構成される、請求項１１記載の装置。
16. 命令で符号化されたコンピュータ読み取り可能な媒体であって、命令をプロセッサが実行する場合に、前記命令によって一つの方法が実行され、該方法は、
    映像コンテンツを表示装置に表示すること、
    スピーチセグメントをユーザから受信して、前記スピーチセグメントが、現在表示されている前記映像コンテンツの一部分に注釈を付けるようにすること、
    前記スピーチセグメントをテキストセグメントに変換すること、
    前記テキストセグメントを前記映像コンテンツの一部分に関連付けること、
    選択的に検索可能な方法で、前記テキストセグメントを格納して、前記テキストセグメントを表示された前記映像コンテンツの一部分に関連付けること
    を含む、コンピュータ読み取り可能な媒体。

Images