JP2017500632A - 補助情報へのアクセスを提供するための方法およびシステム - Google Patents

Abstract

本発明は、ビデオおよび／またはオーディオ会議中の補助情報へのタグベースのアクセスのためのシステムおよび方法に関する。システムは、タグと補助情報の関連部分との間のマッピングを含む。方法は、ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、ビデオ会議のパーティシパントに送信することを含んでもよい。送信中、タグが、ビデオデータおよび／またはオーディオデータから抽出されてもよい。パーティシパントからの補助情報の要求が受信されるとすぐに、方法は、送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択することと、選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索することと、少なくとも１つの検索された補助情報部分を、補助情報を要求したパーティシパントに送信することと、を含んでもよい。

Description

本発明は、ビデオおよび／またはオーディオ会議における補助情報へのアクセスのための方法およびシステムに関する。

ビデオおよび／またはオーディオ会議は、異なる場所で参加しているデバイスまたはパーティシパント（例えば、デスクトップコンピュータなどのコミュニケーションデバイスおよび／またはラップトップ、スマートフォンなどのモバイルデバイスなど）が、音と視覚で、互いにコミュニケーションすることができる会議である。コミュニケーションは、例えば会議のオーガナイザ（すなわち、ビデオおよび／またはオーディオ会議システム）から、１つのパーティシパントへ（一方向性）、またはオーガナイザとパーティシパント間（双方向性）のポイントツーポイントとすることができる。コミュニケーションは、多方向コミュニケーションを可能にする複数の場所におけるいくつかの（多地点）位置も含んでもよい。各パーティシパントは、１人または複数のユーザにサービス提供してもよい。

このような会議中に、ユーザは、コミュニケーションの内容をよりよく理解するために、補助情報を必要としてもよい。例えば、専門的な会議では、ビデオまたはオーディオは、受信者（すなわち、参加しているデバイスのユーザ）にとって共通の知識ではない専門用語が含まれる可能性がある。このような場合、ビデオおよび／またはオーディオ会議システムから補助情報を受け取ることは、ユーザにとって有用となるであろう。例えば、参照として使用され得る図、会議で使用される専門用語またはキーワードの専門的定義などを受け取ることが、ユーザにとって有用となる場合がある。

本発明の目的は、オーディオおよび／またはビデオ会議の内容に対するユーザの理解を高めるための方法およびシステムを提供することである。

本発明の第１の態様によれば、この目的は、ビデオおよび／またはオーディオ会議中の補助情報へのタグベースのアクセスのための方法において実現されてもよく、ビデオおよび／またはオーディオ会議は、タグと補助情報の関連部分との間のマッピングを含むビデオおよび／またはオーディオ会議システムを含み、方法は：
− ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、ビデオ会議のパーティシパントに送信することと、
− 送信されるビデオデータおよび／またはオーディオデータからタグを抽出することと、
− パーティシパントから補助情報の要求を受信した時点で：
− 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグから少なくとも１つを選択し、
− 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索し、
− 少なくとも１つの検索された補助情報部分を、補助情報を要求したパーティシパントに送信することと
を含む。

情報が簡単に使用できるように、補助情報は、パーティシパントのレンダリングデバイス上に表示されてもよい。会議中に、タグ（すなわち、ビジュアルタグおよび／またはオーディオタグ）の使用を通してシームレスに、この補助情報へのアクセスをパーティシパント（および、それによってユーザ）に提供することによって、会議体験を著しく高めることができる。ユーザが補助情報へのアクセスを必要とした場合、システムは、オーディオおよび／またはビデオから関連タグを抽出し、マッピングに基づいて、補助情報へのアクセスを提供する。

補助情報を提供する別の方法は、各ユーザが、ユーザのコミュニケーションデバイス上でブラウザに明示的にアクセスし、インターネット上で補助情報を探すことであろう。これは、ユーザによる明示的な「プル」の面である。しかしながら、これは、かなりの努力と時間を必要とし、会議中のユーザの寄与を低減する可能性がある。補助情報を提供するための別の選択肢は、補助情報をパーティシパント、例えばそれらのユーザの周辺デバイスの全てにプッシュすることでもよい。しかしながら、情報は、各ユーザにとって有用でない可能性があり、または会議から（他の）ユーザの注意を逸らせる可能性がある。本発明の態様によれば、パーティシパントのそれぞれは、個々のパーティシパントによって具体的に要求される補助情報を提示されることもできる。

本発明の実施形態では、方法は、補助情報を要求したパーティシパントにのみ、少なくとも１つの検索された補助情報部分を送信することを含む。利点は、補助情報を要求していない、または異なる補助情報を要求している他のパーティシパントは、それらのパーティシパントに関係のない補助情報を受信することで煩わされないということである。しかしながら、他の実施形態では、方法は、この補助情報を、要求しているパーティシパントのみならず、他のパーティシパントの１つまたは複数にも送信することを含む。

さらなる実施形態では、方法は：
− パーティシパントの周辺デバイスを、ビデオおよび／またはオーディオ会議システムに登録することと、
− 少なくとも１つの検索された補助情報部分を、登録された周辺デバイスに送信することと
を含む。

パーティシパントの登録によって、ビデオおよび／またはオーディオ会議システムが、どのパーティシパントがどの補助情報を要求したかを識別することがより容易になり、各パーティシパントに、そのパーティシパントのみに適する情報を送るよう決定することができるようになる。

パーティシパントが（要求がパーティシパントから会議システムに送信された時点で）、早い段階で関連情報を提供されるように、オーディオまたはビデオデータにおける特定の項目の受け取りから、この項目についての補助情報の送信までの時間の長さは、比較的短く、例えば１０秒以下であることが好ましい。

上記のように、会議システムは、タグと補助情報の関連部分との間のマッピングを含む。このマッピングは、前処理段階で生成される。方法の前処理段階は、タグおよびそれらの関連補助情報部分を備えた少なくとも１つの構造化テキストドキュメントを受信することを含んでもよい。このようなドキュメントは、ビデオ会議を主催する人によって注釈を付けられていてもよく、また会議システムに読み込まれて、その記憶媒体に記憶されてもよい。代替的にまたは追加的に、方法は：
− ビデオおよび／またはオーディオ会議システムによって、補助情報を受信することと、
− 補助情報から１つまたは複数のタグを得るために、受信された補助情報を処理することと、
− 得られた１つまたは複数の補助情報タグを、補助情報の１つまたは複数の関連部分にマッピングすることと
を含んでもよい。

様々なパーティシパントから、かつ／または他のいずれかのソースから受信された有用と考えられる補助情報に基づき、方法は、タグの自動生成、および生成されたタグの関連情報部分とのマッピングを含んでもよい。このような他のソースの例は、以前のプレゼンテーション、社内の技術情報、ハンドブック、専門辞典、およびオンラインで使用可能な知識源である。そのため、本発明の実施形態では、補助情報の収集、タグの検索、およびタグと補助情報の関連部分との間のマッピングの生成は、自動的に行われてもよく、原則としてユーザの介入を必要としない。

本発明の一実施形態では、補助情報の処理は、補助情報にテキスト構文解析および／またはテキスト要約を適用することを含む。これらの処理動作は、タグおよびそれらの補助情報の関連テキスト部分（すなわち、タグに関連付けされるテキストの部分）をもたらしてよい。

一実施形態では、補助情報の構文解析は：
− 補助情報からテキストセグメントを得ることと、
− 各テキストセグメントに対してタグである可能性をスコアリングすることと、
− スコア付けされたテキストセグメントから１つまたは複数のタグを選択することと、
− 選択されたタグの意味を表す情報部分を決定することと
を含む。

テキストセグメントのタグである可能性をスコアリングすることは、様々なテキスト構文解析技術、例えばテキストセグメント（用語）の出現頻度および／または逆文書頻度に基づく技術に基づいてもよい。

本発明の一実施形態では、補助情報の処理は、タグを予め格納された要約と比較することによってタグを照合し、同義語および原形でタグを増補することを含む。要約は、任意のソース、例えばＷｏｒｄＮｅｔデータベースであってもよい。これらの同義語および原形は、関連情報部分にマッピングされているさらなるタグの構成要素となってもよい。他の実施形態では、タグは、原形のみである。従って、同義語または原形が会議データ（すなわち、ビデオデータおよび／またはオーディオデータ）に存在する場合、関連項目がより簡単に認識され、パーティシパントは、関連性の高い補助情報を提示されるようになる。

本発明の一実施形態では、補助情報の処理は、タグ、および補助情報部分とのマッピングを、タグインデックスに格納すること、好ましくは、タグをビデオおよび／またはオーディオ会議システム上の少なくとも１つのタグインデックスファイル内に格納することを含む。このようにして、現在および今後の会議の際、知識が簡単に入手可能となる。タグインデックスファイルは、ルックアップにおいて簡単アクセス用のレクシグラフィックテーブルを備えてよい。

配備段階、すなわち前処理段階後の段階では、送信されるオーディオデータからのタグの抽出は、オーディオデータに音声認識処理を適用して、オーディオデータからテキストセグメントを得ることと、認識されたテキストセグメントから１つまたは複数のタグを検索することを含んでよい。同様に、送信されるビデオデータからのタグの抽出は、ビデオデータにテキスト認識処理を適用して、ビデオデータからテキストセグメントを得ること、認識されたテキストセグメントから１つまたは複数のタグを検索することを含んでよい。

方法は、オーディオデータからテキストセグメントを認識することと、認識されたテキストセグメントからタグを検索することを含んでよい。この場合、テキストセグメントは、単語、単語の原形、および単語の組み合わせのうちのいずれかであってよい。

本発明の実施形態では、タグの抽出、より具体的には、音声認識およびタグの検索は、ビデオおよび／またはオーディオデータのパーティシパントへのデータ送信中に行われる。すなわち、タグの抽出は、オンザフライで行われてもよい。他の実施形態では、タグの抽出は、ビデオ／オーディオデータが申込者に送信される直前（または直後）に行われる。方法は、ユーザが、遅れることなく関連補助情報を提示されることができるように、実際のビデオ／データが生成され、かつ／またはパーティシパントに送信されると同時に、またはその数秒後に、タグをパーティシパントに提供するのが好ましい。

本発明の実施形態では、ビデオおよび／またはオーディオデータからの認識されたテキストセグメントからのタグの検索は：
− 処理されたオーディオおよび／またはビデオデータからの認識されたテキストセグメントを、マッピングのタグと比較することと、
− 認識されたテキストセグメントの１つまたは複数に対応する１つまたは複数のタグを決定することと、
− 各タグに対して、格納されたマッピングから関連補助情報の一部分または複数部分を決定することと
を含む。

これらの実施形態では、前処理段階で補助情報から引き出されたタグのみが、会議データの認識されたテキストセグメントから検索される。他の実施形態では、タグは、前処理段階で予め引き出されたタグに関係なく、会議データのテキストセグメントから検索される。次に、会議データから引き出された検索されたタグは、補助情報から引き出されたタグと比較される。次に、補助情報タグに対応する会議データタグのみが選択され、パーティシパントにプッシュされる補助情報を集めるために使用される。

本発明の実施形態では、方法は：
− ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、パーティシパントの第１のレンダリングデバイスに送信することと、
− ビデオおよび／またはオーディオ会議システムからの補助情報を、パーティシパントの第２のレンダリングデバイスに送信することと
を含む。

第１のレンダリングデバイスは、会議に参加するために、ユーザによって使用されるコンピュータデバイスであってもよい。第２のレンダリングデバイスは、周辺デバイス、例えば電話、スマートフォンまたはタブレットデバイスなどのモバイルテレコミュニケーションデバイスの一部であってもよい。これらの実施形態では、補助情報およびビデオ／オーディオデータは、ビデオ会議の実際のビデオおよび／またはオーディオ用に１つ、補助情報用に１つと、別々のディスプレイ上に提示される。例えば、２人以上のユーザが第１のレンダリングデバイスを使用する場合、別のユーザは、別の補助情報が、別の時点で時間内に提示されることを必要としてもよい。会議と補助情報のデータストリームを別々にして、ストリームを別個のディスプレイデバイスへ転送することによって、情報を要求している特定のユーザのニーズを満たすように、補助情報がカスタマイズされてもよい。しかしながら、他の実施形態では、両方のデータストリームは、１つのディスプレイデバイス上に表示される。

ユーザがユーザの周辺デバイスを通して補助情報を要求した時点で、会議システムは、送信されたビデオデータおよび／またはオーディオデータから抽出されたタグから少なくとも１つを選択することを開始する。この選択することは、補助情報の要求の受け取り前の所定時間内に抽出された１つまたは複数のタグを決定することを含んでもよい。例えば、要求メッセージが会議システムによって受信されるとすぐに、システムは、最後のｎ回フレーム（ｎは１以上の自然数）で識別されたタグを選択し、このタグセットに対して、関連補助情報部分を見つけ、周辺デバイスにこれらの部分をプッシュする。

さらなる実施形態では、送信されたビデオおよび／またはオーディオデータから抽出されたタグからの選択は、パーティシパント嗜好（すなわち、パーティシパントデバイスの嗜好および／または複数のユーザの１つまたは複数の周辺デバイスの嗜好）に基づく。例えば、ユーザは、パーティシパント嗜好において、会議の主題についての知識レベルが比較的低いことを示してもよい。この場合、比較的量の多い補助情報が、ユーザの周辺デバイスにプッシュされる。ユーザが既に、会議の主題について高い知識レベルを有していればいるほど、ユーザの気を散らさないように、周辺デバイスにプッシュされる補助情報は少なくなる。

本発明の別の態様によれば、ビデオおよび／またはオーディオ会議における補助情報へのタグベースのアクセスのためのシステムが提供され、システムは：
− 補助情報、タグ、タグと補助情報の関連部分との間のマッピングを記憶するように構成された記憶ユニットと、
− ビデオデータおよび／またはオーディオデータを、会議の１つまたは複数のパーティシパントに送信するための第１の送信器と、
− 会議の１つまたは複数のパーティシパントから、補助情報の要求を受信するための受信器と、
− ビデオデータおよび／またはオーディオデータから、タグを抽出するための抽出器と、
− 受信器によって補助情報の要求を受け取った時点で、補助情報を検索するための検索ユニットであって：
− 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択し、
− 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索するように構成される検索ユニットと、
− 検索された補助情報部分を、補助情報を要求したパーティシパントに送信するための第２の送信器と
を備える。

本発明の実施形態では、抽出器は、オーディオデータに音声認識処理を適用して、オーディオデータからテキストセグメントを得て、認識されたテキストセグメントから１つまたは複数のタグを検索するように、かつ／またはビデオデータにテキスト認識処理を適用して、ビデオデータからテキストセグメントを得て、認識されたテキストセグメントから１つまたは複数のタグを検索するように、構成される。

本発明の実施形態では、検索ユニットは、処理されたオーディオおよび／またはビデオデータからの認識されたテキストセグメントを、格納されたマッピングからのタグと比較し、１つまたは複数の認識されたテキストセグメントに対応する１つまたは複数のタグを決定し、かつ各タグに対して、記憶媒体に記憶されたマッピングから、関連補助情報の１つの部分または複数の部分を決定するように、構成される。

本発明の実施形態では、第１の送信器は、ビデオおよび／またはオーディオデータを、パーティシパントの第１のレンダリングデバイスに送信するように構成され、第２の送信器は、検索された補助情報部分を、パーティシパントの第２のレンダリングデバイスに送信するように構成される。

本発明の実施形態では、第１および第２のレンダリングデバイスは、組み合わされて１つのレンダリングデバイスとされ、かつ／または第１および第２の送信器は、組み合わされて１つの送信器とされる。本発明の実施形態では、第２のレンダリングデバイスは、周辺デバイスであり、電話、スマートフォンまたはタブレットデバイスなどのモバイルテレコミュニケーションデバイスであることがより好ましい。

本発明の実施形態では、検索ユニットは、補助情報の要求の受け取り前の予め格納された時間内に抽出された１つまたは複数のタグを決定することによって、送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択するように、さらに構成される。

本発明の実施形態では、検索ユニットは、選択されたタグを、タグと補助情報の関連部分との間のマッピングと比較し、選択されたタグに対応する１つまたは複数の補助情報部分を決定するように、構成される。

本発明の実施形態では、システムは：
− ビデオおよび／またはオーディオデータから抽出されたタグをランク付けし、
− ランク付けされたタグをパーティシパントに送信し、
− パーティシパントから、ランク付けされたタグから選択されたタグを受信し、
− 選択されたタグから、補助情報の１つの部分または複数の部分を検索するように、構成される。

本発明の実施形態では、システムは、パーティシパント嗜好に基づいて、送信されたビデオおよび／またはオーディオデータから抽出されたタグを選択するように構成される。嗜好は、パーティシパントデバイスによって、かつ／またはパーティシパント周辺デバイス（複数可）によって、会議システムに送信されてもよい。嗜好は、システムの前処理段階において格納されていてもよく、かつ／またはパーティシパントの動作によって（例えば、周辺デバイスが補助情報を要求した回数に依存して）、決定されるのが好ましい。

本発明の実施形態では、ビデオおよび／またはオーディオデータから抽出されたタグから選択されたタグの数は、受信された補助情報の要求の数および／または頻度に依存する。

本発明の実施形態では、システムは、本明細書に記載された前処理を行うための前処理ユニットを備える。前処理ユニットは、会議システムから独立していても、またはモノリシックアークテクチャの一部であってもよい。前処理ユニットは、補助情報を受信し、受信された補助情報を処理して、補助情報から１つまたは複数のタグを得て、得られた１つまたは複数の補助情報タグを、補助情報の１つまたは複数の関連部分にマッピングし、かつ補助情報、タグ、およびタグと補助情報の関連部分との間のマッピングを、記憶媒体に記憶するように、構成されてもよい。

本発明の実施形態では、前処理ユニットは：
− 補助情報にテキスト構文解析および／またはテキスト要約を適用して、タグ、およびそれらの補助情報の関連テキスト部分を得て、
− タグを予め格納された要約と比較してタグを照合し、同義語および原形によってタグを増補し、かつ／または、
− タグ、および補助情報部分とのマッピングを記憶媒体、好ましくはタグインデックスまたは少なくとも１つのタグインデックスファイル内に記憶するように
構成される。

本発明の別の態様によれば、本明細書に記載されるシステムと、１つまたは複数のテレコミュニケーションネットワークを通してシステムに接続される、または接続可能な１つまたは複数のパーティシパントとの組立体。

本発明の別の態様によれば、コンピュータプログラム製品が提供され、製品は、コンピュータなどの電子デバイス上で実行する場合、本明細書で定義される方法を行うためのコードを備える。

本発明のさらなる利点、特徴および詳細は、本発明のいくつかの実施形態の以下の説明に基づいて、明らかにされる。以下の説明では、図面を参照する。

本発明の一実施形態によるシステムの第１の実施形態の概略図である。 本発明の一実施形態によるシステムの第２の実施形態の概略図である。 本発明の一実施形態による方法のステップの図であり、前処理段階を示す。 本発明の一実施形態による方法のステップの図であり、配備段階を示す。 本発明の一実施形態による方法のステップの図であり、配備段階を示す。

本発明がより詳しく説明される前に、本発明は、記載された特定の実施形態に限定されるものではなく、なぜならそのような実施形態はもちろん多様であるからと理解されるべきである。また、本発明の範囲は、添付の特許請求の範囲によってのみ限定されることから、本明細書で使用される用語は、特定の実施形態のみを説明する目的のものであり、限定することを意図したものではないことが理解されるべきである。

別段の規定がない限り、本明細書で使用される全ての技術的および科学的用語は、本発明の属する技術分野における当業者によって通常理解されるのと同じ意味を有する。また、ある要素は、参照を明確に容易にするために以下に定義される。さらに、用語「システム」および「コンピュータベースのシステム」は、本発明の態様を実施するために使用されるハードウェア手段、ソフトウェア手段、およびデータ記憶手段（例えば、メモリ）を指す。本発明のコンピュータベースのシステムの必要最小限のハードウェアは、中央処理装置（ＣＰＵ：Ｃｅｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、入力手段、出力手段、およびデータ記憶手段（例えば、メモリ）を含む。当分野の技術者は、本発明での使用に適する多くのコンピュータベースのシステムが使用可能であることを容易に理解できる。

図１に関して、本発明の様々な態様を実装するための例示的システム１００が示される。ビデオおよびデータ会議システム１００（本明細書では、会議システムとも呼ばれる）は、処理ユニット１０２、システムメモリ１０３、およびシステムメモリを含む様々なシステム構成要素を処理ユニット１０２に接続するシステムバス１０４を含む従来のコンピュータ１０１を含む。処理ユニット１０２は、いずれかの市販またはプロプライエタリなプロセッサでもよい。また、処理ユニットは、複数のプロセッサを含むマルチプロセッサとして実装されてもよい。システムメモリ１０３は、読出専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含んでもよい。システムは、記憶機構１０７、例えばハードディスクなどの１つまたは複数の記憶媒体を備えてもよく、または記憶機構、例えばオンライン記憶機構に少なくとも接続されてもよい。オペレータは、コマンドおよび情報を、キーボード１１０、ポインティングデバイス（例えば、マウス１１１）、タッチスクリーン、および音声認識システムを含むがこれらに限定されない、１つまたは複数のユーザ入力デバイスを通して、コンピュータ１０１に入力することができる。

コンピュータ１０１は、会議の１つまたは複数のパーティシパント１２０−１２０^３への論理接続を使用して、ネットワーク化環境において動作することができる。各パーティシパントは、リモートコンピュータを備えてもよい。パーティシパント１２０は、ワークステーション、サーバコンピュータ、ルータ、ピアデバイスまたは他の共通のネットワークノードであってもよく、通常、コンピュータ１０１に関して記載された要素の多くまたは全てを含む。システムは、ローカルエリアネットワーク（ＬＡＮ：Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、広域ネットワーク（ＷＡＮ：Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、および電話網、例えばデジタルセルラネットワークなどの１つまたは複数のコミュニケーションネットワーク１２９に接続されても、またはそれを含んでもよい。本発明の実施形態では、システムは、インターネットに接続される。システム１００は、コミュニケーションネットワーク１２９上で、ビデオデータおよびオーディオデータを、会議のパーティシパント１２０−１２０^３に送信するための送信器１１７を備える。システムはまた、データ、例えば補助要求を、パーティシパントから受信するための受信器１１８を備える。

本発明の実施形態では、各パーティシパント１２０は、パーティシパントデバイス１２１−１２１^３および周辺デバイス１２２−１２２^３を備える。周辺デバイスは、パーティシパントデバイスのユーザのモバイルデバイス１３０−１３０^３、例えば（スマート）フォン、ＰＤＡまたはタブレットなどのモバイルテレコミュニケーションデバイスであってもよい。パーティシパントデバイス１２１は、ネットワーク１２９からデータを受信するための受信器１２４、およびビデオデータおよび／またはオーディオデータをレンダリングするための第１のレンダリングデバイス１２５を備える。パーティシパントデバイス１２１は、任意選択で送信器１２８も有する。レンダリングデバイスは、ビデオデータを表示するためのディスプレイ１２６、およびオーディオデータを再生するためのスピーカ１２７を備えてもよい。

それぞれのモバイルデバイス１３０は、ネットワーク１３６からデータを受信するための、またはネットワーク１３６（この場合、ネットワーク１３６は、無線ネットワーク、例えばＷｉｆｉネットワークもしくは電話網であってもよく、またはパーティシパントデバイス１２１とシステム１００との間のネットワーク１２９であってもよい）上でデータを送信するための、トランシーバ１３５を備える。モバイルデバイスは、ネットワーク１３６からのデータ、例えば補助情報を受信するための、かつネットワーク１３６上で、データ、例えば補助情報要求を送信するためのトランシーバ１２４を備える。モバイルデバイスは、補助情報をレンダリングするための第２のレンダリングデバイス１３１をさらに備える。レンダリングデバイスは、補助情報を表示するためのディスプレイ１３２、および補助情報に関連する音を再生するためのスピーカ１３３を備えてもよい。モバイルデバイス１３０は、入力手段１３４、例えばデバイスを操作して、デバイスに、補助情報要求信号を会議システム１００に送信するようにさせる、１つのキーまたは複数のキーを備える。

図２は、本発明の一実施形態を示し、ユーザの少なくとも１人の周辺デバイス１２２およびモバイルデバイス１３０は、組み合わせられてパーティシパントデバイスとされている。組み合わせられたデバイスは、オーディオ／ビデオデータおよび補助情報の両方を、同じディスプレイ上にレンダリングするためのみの１つのディスプレイと、会議システム１００とパーティシパントデバイス１２１との間でのデータコミュニケーション（ビデオ／オーディオデータおよび補助情報の両方）を提供するための１組の送信器／受信器または１つのトランシーバとを有してもよい。

前処理段階では、会議システム１００とパーティシパント１２０との間での会議の設定の前に、補助情報は、システム１００に読み込まれ、ストレージ１０７に格納される。例えば、補助情報と考えられる情報は、会議の様々なパーティシパントによって、アップロードされ格納されてもよく、または会議のプレゼンタによって格納されてもよい。代替的にまたは追加的に、有用と考えられる補助情報は、社内および／または外部の専門的知識源、例えばハンドブック、以前のプレゼンテーション、報告書などから引き出されてもよい。本発明の実施形態では、補助情報は、構造化テキストドキュメントで使用できるようにされる。構造化テキストドキュメントは、特定の専門的または非専門的項目についての補助情報を提供するテキストを含む。複数のタグは、項目と対になっているか、または関連付けられている。各タグは、補助情報の１つまたは複数の部分に関連付けられてもよい。

追加的にまたは代替的に、補助情報は、非構造化形式で使用可能であってもよい。図３を参照すると、一実施形態が示され、方法は、会議システム１００において補助情報を受信すること（２００）、かつ受信された補助情報を処理して、補助情報から複数のタグを得ること（２１０）を含む。次に、タグは、補助情報の１つまたは複数の適切な部分とマッピングされる（２４０）。マッピングは、会議システム１００の記憶機構１０７に記憶される（２５０）。タグがまだ全て処理されていない場合、マッピング動作は、補助情報から検索された全てのタグに対して繰り返される（２６０）。全てのタグが処理され、会議システム１００の記憶機構１０７に記憶されると（２７０）、会議システム１００は、配備段階の準備が整い、会議が開催されてもよい。マッピングは、マッピングインデックスとして記憶されてもよく、例えば、補助情報の１つまたは複数の適切な部分（例えば、テキストの説明的断片）に、各タグを関係付ける。

補助情報が、テキスト、任意選択で、テキストおよび画像またはビデオ（オーディオ成分有りまたは無し）の組み合わせを含む実施形態では、補助情報のテキスト部分は、複数のタグを得るように処理されてもよい。補助情報のテキスト部分を処理することは、テキスト構文解析（２２０）および／またはテキスト要約（２３０）を適用することを含んでもよい。テキスト構文解析によって、補助情報テキストは、個々のテキストセグメントに分割される。さらなるステップでは、ＴＦ（Ｔｅｒｍ−Ｆｒｅｑｕｅｎｃｙ、用語の出現頻度）またはＩＤＦ（Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ、逆文書頻度）などの測定基準に基づいて、テキストセグメントがタグである可能性に対してスコアが決定される。次に、最も高いスコアのテキストセグメントは、それらの最初の使用に基づいて、関連タグによって注釈を付けられることができる。考えられるヒューリスティクスの１つは、（専門）用語が、それらが使用される最初の時点で説明されるということである。タグを得て、得られたタグを補助情報の部分に関連付ける多くの代替的方法もまた考えられ、同様に当業者の考えうる範囲にある。

さらなる実施形態では、処理は、処理動作の信頼性を高めるために、同義語および原形によってタグを増補するように、タグを予め格納された要約と比較することによってタグを照合すること（２３５）を含む。

配備段階において、会議は、パーティシパント１２０の会議システム２０１への登録（３００）で始まる。パーティシパント１２０が、別個のパーティシパントデバイス１２１および周辺デバイス１２２で構成される実施形態では、方法は、ビデオおよび／またはオーディオ会議システムに、パーティシパントデバイスを登録すること（３１０）と、パーティシパントの周辺デバイスを登録すること（３２０）と、を含む。これによって、システム１００は、オーディオ／ビデオデータをパーティシパントデバイス１２１の第１のディスプレイに、補助情報を周辺デバイス１２２の別個の（第２の）ディスプレイデバイスに、送信することが可能となる。

会議が始まるとすぐに、ビデオデータおよびオーディオデータは、会議システム１００からパーティシパント１２０のパーティシパントデバイス１２１に送信される（３３０）。データの送信中、会議システムは、ビデオ／オーディオデータを処理して、複数のタグを抽出する（３４０）。ビデオデータにテキスト認識処理（３５０）を適用して、テキストセグメントを得ることによって、また認識されたテキストセグメントから１つまたは複数のタグを検索すること（３６０）によって、タグがビデオデータから抽出されてもよい。同様に、オーディオデータの送信中、オーディオデータに音声認識処理を適用して、オーディオデータからテキストセグメントを得ることによって、また認識されたテキストセグメントから１つまたは複数のタグを検索することによって、タグがオーディオデータから抽出されてもよい。

本発明の実施形態では、認識されたテキストセグメントからタグを検索することは、処理されたオーディオおよび／またはビデオデータからの認識されたテキストセグメントを、会議システム１００の記憶機構１０７に予め記憶されたマッピングからのタグと比較すること、次に、認識されたテキストセグメントの１つまたは複数に対応する１つまたは複数のタグを決定することを含む。

図４を参照すると、会議に耳を傾けているパーティシパントデバイス１２１のユーザが、会議の内容（すなわちビデオデータおよび／またはオーディオデータ）についてのさらなる説明を必要とする場合、ユーザは、周辺デバイス１２２のキーボード上のキー（１３４）を押してもよい。これによって、周辺デバイス１２２は、補助情報の要求を生成し、ネットワーク１３６を介して、この要求を会議システム１００に送信するようになる。周辺デバイスから要求を受信した（３７０）後、会議システム１００は、要求しているパーティシパント１２０に関連情報を提供するために、どのタグが選択される（３８０）必要があるかを決定する。１つの選択肢は、補助情報の要求の受け取り前の所定時間内に抽出された１つまたは複数のタグを決定することであろう。時間はどのように規定されてもよい。通常、会議システムは、数秒、例えば５から１０秒の時間を要する。次に、システムは、ビデオデータおよび／またはオーディオデータから、この時間内で検索されたタグを選択する。

本発明の実施形態では、方法はまた、タグをパーティシパントに送信することを含む。次に、パーティシパントは、提示されたタグから１つまたは複数のタグを選び、選択信号を会議システムに提供する。次に、会議システムは、パーティシパントによって選ばれたタグのみを選択する。さらなる実施形態では、１つまたは複数の適切なタグを選ぶことにおいてパーティシパントを補助するために、パーティシパントに送信される抽出されたタグが、ランク付けされる。これらの実施形態は、パーティシパント嗜好に基づいた選択の例である。複数のパーティシパント嗜好に基づいた選択の他の例もある。

一実施形態では、ビデオおよび／またはオーディオデータから抽出されたタグから選択された（３８０）タグの数は、特定のパーティシパントによる、会議システムによって受信された補助情報の要求の数、および／または単位時間当たりの要求の数（頻度）に依存する。例えば、受信された補助情報の要求の数が大きい、または頻度が高い場合、より多くの補助情報がパーティシパントに送信され、一方、小さな数／低い頻度の場合、システムがパーティシパントに送信する補助情報は少なくなる。同様に、ユーザは、情報の必要性の低、中または高について決定してもよい。ユーザによって必要とされる情報のレベルは、パーティシパント嗜好として会議システムに提供されてもよい。会議システムは、ユーザの情報の必要性（低、中または高）に従って、多いもしくは少ない情報、または複数のタイプの情報を提供するように構成されてもよい。

選択されたタグに対応する補助情報部分は、このタグと、前処理段階において決定された１つまたは複数の補助情報部分との間のマッピングに基づいて、ストレージ１０７から検索される（３９０）。システムは、全てのタグが処理されたか否かをチェックする（４１０）。全てのタグがまだ処理されていない場合、補助情報の検索（３９０）が繰り返される。全てのタグが処理された場合、パーティシパント、例えばパーティシパントの周辺デバイスによって受信された補助情報は、会議システムへ要求を送信したパーティシパントの周辺デバイス１２１のトランシーバ１３５に、送信器１７７によって転送される（プッシュされる）（４１０）。パーティシパントにプッシュされた補助情報は、パーティシパント１２０のレンダリングデバイス１３１上にレンダリングされ、すなわちテキスト、画像および／またはビデオは、ディスプレイデバイス１３２上に表示され、音は、スピーカ１３３で再生される。

図５では、さらなる実施形態が提示される。この実施形態では、パーティシパントは、先に受信された補助情報の内容に基づいて、会議システムにフィードバックを提供する。方法は、周辺デバイスにプッシュされた補助情報に応じて、周辺デバイスからフィードバックデータを受信すること（５００）を含む。会議システムは、補助情報の検索を変更すること（５１０）を決定してもよい。例えば、先に提供された補助情報が有用ではない旨のフィードバックをユーザが提示した場合、情報を検索して、その情報を周辺デバイスにプッシュすることを停止するよう、会議システムは決定してもよい。会議システムはまた、フィードバックで表示されたユーザ嗜好に基づいて、追加の補助情報および／またはより詳細な補助情報を、周辺デバイスに転送すること（プッシュすること）（５２０）を決めてもよい。

この実施形態では、補助情報は、実際に情報を要求したパーティシパントにのみ送信されることから、ユーザは、自分に関係する補助情報のみが提示される。

上記実施形態では、会議の補助情報ならびにビデオデータおよびオーディオデータは、ビデオ会議の実際のビデオおよび／またはオーディオ用に１つ、補助情報用に１つと、別々のディスプレイ上に表示される。他の実施形態では、会議の補助情報ならびにビデオデータおよびオーディオデータは、１つのディスプレイ（すなわち、第１および第２のレンダリングデバイス１２５、１３１が組み合わせられる）上に表示される。

本発明は、記載された特定の態様に限定されるものではなく、なぜならそのような態様は多様であるからと理解されるべきである。また、本発明の範囲は、添付の条項および特許請求の範囲によってのみ限定されることから、本明細書で使用される用語は、特定の態様のみを説明する目的のものであり、限定することを意図したものではないことが理解されるべきである。

条項１。ビデオおよび／またはオーディオ会議中の補助情報へのタグベースのアクセスのための方法であって、ビデオおよび／またはオーディオ会議は、タグと補助情報の関連部分との間のマッピングを含むビデオおよび／またはオーディオ会議システムを含み、方法は：
− ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、ビデオ会議のパーティシパントに送信することと、
− 送信されるビデオデータおよび／またはオーディオデータからタグを抽出することと、
− パーティシパントから、補助情報の要求を受信した時点で：
− 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグから少なくとも１つを選択し、
− 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索し、
− 少なくとも１つの検索された補助情報部分を、補助情報を要求したパーティシパントに送信することと
を含む。

条項２。抽出が、ビデオおよび／またはオーディオデータのデータ送信中に行われる、条項１に記載の方法。

条項３：方法が：
− パーティシパントの周辺デバイスを、ビデオおよび／またはオーディオ会議システムに登録することと、
− 少なくとも１つの検索された補助情報部分を、登録された周辺デバイスに送信することと
を含む、条項１または２に記載の方法。

条項４：送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択することが：
− 補助情報の要求の受け取り前の所定時間内に抽出された１つまたは複数のタグを決定すること
を含む、条項１から３のいずれかに記載の方法。

条項４：選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索することが：
− 選択されたタグを、タグと補助情報の関連部分との間のマッピングと比較することと、
− 選択されたタグに対応する１つまたは複数の補助情報部分を決定することと
を含む、条項１から３のいずれかに記載の方法。

条項５：送信されたビデオおよび／またはオーディオデータから抽出されたタグからの選択が、パーティシパント嗜好に基づく、条項１から４のいずれかに記載の方法。

条項６：ビデオおよび／またはオーディオデータから抽出されたタグから選択されるタグの数が、受信された補助情報の要求の数および／または頻度に依存する、条項１から５のいずれかに記載の方法。

条項７：ビデオおよび／またはオーディオデータから抽出されたタグから選択されるタグの数が、パーティシパント嗜好に依存する、条項１から６のいずれかに記載の方法。

条項８：
− パーティシパントによって補助情報要求を生成することと、
− 補助情報要求を、ビデオおよび／またはオーディオ会議システムに送信することと
を含む、条項１から７のいずれかに記載の方法。

条項９：レンダリングデバイス上に補助情報を示すことを含む、条項１から８のいずれかに記載の方法。

条項１０：ビデオおよび／またはオーディオ会議における補助情報へのタグベースのアクセスのためのシステムであって：
− 補助情報、タグ、およびタグと補助情報の関連部分との間のマッピングを記憶するように構成された記憶ユニットと、
− ビデオデータおよび／またはオーディオデータを、会議の１つまたは複数のパーティシパントに送信するための第１の送信器と、
− 会議の１つまたは複数のパーティシパントから、補助情報の要求を受信するための受信器と、
− ビデオデータおよび／またはオーディオデータからタグを抽出するための抽出器と、
− 受信器によって補助情報の要求を受け取った時点で、補助情報を検索するための検索ユニットであって、
− 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグから少なくとも１つを選択し、
− 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索するように構成された、検索ユニットと、
− 検索された補助情報部分を、補助情報を要求したパーティシパントに送信するための第２の送信器と
を備える、システム。

条項１１。システムが：
− ビデオおよび／またはオーディオデータから抽出されたタグをランク付けし、
− ランク付けされたタグを、パーティシパントに送信し、
− ランク付けされたタグから選択されたタグを、パーティシパントから受信し、
− 選択されたタグから、補助情報の１つの部分または複数の部分を検索するように構成される、条項１０に記載のシステム。

条項１２。システムが、パーティシパント嗜好に基づいて、送信されたビデオおよび／またはオーディオデータから抽出されたタグを選択するように構成され、パーティシパント嗜好が、システムに予め格納され、かつ／またはパーティシパントの動作によって決定されるのが好ましい、条項１０または１１に記載のシステム。

条項１３：ビデオおよび／またはオーディオデータから抽出されたタグから選択されるタグの数が、受信された補助情報の要求の数および／または頻度に依存する、条項１０から１２のいずれかに記載のシステム。

条項１４：システムが、補助情報を受信し、受信された補助情報を処理して、補助情報から１つまたは複数のタグを得て、得られた１つまたは複数の補助情報タグを、補助情報の１つまたは複数の関連部分にマッピングし、かつ補助情報、タグ、およびタグと補助情報の関連部分との間のマッピングを、記憶媒体に記憶するように構成された前処理ユニットを備える、条項１０から１３のいずれかに記載のシステム。

条項１５：前処理ユニットが：
− 補助情報にテキスト構文解析および／またはテキスト要約を適用して、タグおよびそれらの補助情報の関連テキスト部分を得て、かつ／または、
− タグを予め格納された要約と比較することによって、タグを照合して、同義語および原形によってタグを増補し、かつ／または、
− タグ、および補助情報部分とのマッピングを、記憶媒体、好ましくはタグインデックス内または少なくとも１つのタグインデックスファイル内に記憶するように
構成される、条項１４に記載のシステム。

条項１６：本明細書に記載されたシステムと、１つまたは複数のテレコミュニケーションネットワークを通して、システムに接続された、または接続可能な１つまたは複数のパーティシパントとの組立体。

条項１７：パーティシパントが、
− ビデオおよび／またはオーディオデータを受信するための第１の受信器と、
− ビデオおよび／またはオーディオデータをレンダリングするための第１のレンダリングデバイスと
を備える第１のユニットと、
− 補助情報要求信号？？を、システムの受信器に送信するための送信器と、
− 補助情報部分を受信するための第２の受信器と、
− 補助情報部分をレンダリングするための第２のレンダリングデバイスと
を備える第２のユニットと
を備える、条項１６の組立体。

本開示を読んだ時点で当業者には明らかであるように、本明細書に記載され、例示された個々の実施形態のそれぞれは、本発明の範囲を逸脱することなく、他のいくつかの実施形態のいずれかの特徴から容易に分けることも、またはそれと組み合わせることもできる個別の構成要素および特徴を有する。列挙されたいずれの方法も、列挙された事象の順番で、または論理的に可能な他のいずれかの順番で実行され得る。

Claims (15)

1. ビデオおよび／またはオーディオ会議中の補助情報へのタグベースのアクセスのための方法であって、ビデオおよび／またはオーディオ会議は、タグと補助情報の関連部分との間のマッピングを含むビデオおよび／またはオーディオ会議システムを含み、方法は、
   − ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、ビデオ会議のパーティシパントに送信することと、
   − 送信されるビデオデータおよび／またはオーディオデータからタグを抽出することと、
   − パーティシパントから、補助情報の要求を受信した時点で、
   − 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択し、
   − 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索し、
   − 少なくとも１つの検索された補助情報部分を、補助情報を要求したパーティシパントに送信することと
   を含む、方法。
2. 送信されるオーディオデータからタグを抽出することが、
   − オーディオデータに音声認識処理を適用して、オーディオデータからテキストセグメントを得ることと、
   − 認識されたテキストセグメントから、１つまたは複数のタグを検索することと
   を含み、
   かつ／または送信されるビデオデータからタグを抽出することが、
   − ビデオデータにテキスト認識処理を適用して、ビデオデータからテキストセグメントを得ることと、
   − 認識されたテキストセグメントから１つまたは複数のタグを検索することと
   を含む、請求項１に記載の方法。
3. マッピングが、タグと関連補助情報部分との間で格納され、認識されたテキストセグメントからタグを検索することが、
   − 処理されたオーディオおよび／またはビデオデータからの認識されたテキストセグメントを、マッピングのタグと比較することと、
   − 認識されたテキストセグメントの１つまたは複数に対応する１つまたは複数のタグを決定することと、
   − 各タグに対して、格納されたマッピングから関連補助情報の１つの部分または複数の部分を決定することと
   を含む、請求項１または２に記載の方法。
4. − ビデオおよび／またはオーディオ会議システムからのビデオデータおよび／またはオーディオデータを、パーティシパントの第１のレンダリングデバイスに送信することと、
   − ビデオおよび／またはオーディオ会議システムからの補助情報を、パーティシパントの第２のレンダリングデバイスに送信することと
   を含み、
   第２のレンダリングデバイスが、周辺デバイスであることが好ましく、電話、スマートフォンまたはタブレットデバイスなどのモバイルテレコミュニケーションデバイスであることがより好ましい、請求項１から３のいずれか一項に記載の方法。
5. 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択することが、
   − 補助情報の要求の受け取り前の所定時間内に抽出された１つまたは複数のタグを決定することを含み、
   かつ／または方法が、
   − ビデオおよび／またはオーディオデータから抽出されたタグをランク付けすることと、
   − ランク付けされたタグを、パーティシパントに送信することと、
   − パーティシパントから、ランク付けされたタグから選択されたタグを受信することと、
   − 選択されたタグから、補助情報の１つの部分または複数の部分を検索することと
   を含み、
   かつ／または方法が、
   − パーティシパントによって、補助情報要求を生成することと、
   − 補助情報要求を、ビデオおよび／またはオーディオ会議システムに送信することと、かつ／または
   レンダリングデバイス上に補助情報を示すことと
   を含む、請求項１から４のいずれか一項に記載の方法。
6. 送信されたビデオおよび／またはオーディオデータから抽出されたタグの選択が、パーティシパント嗜好に基づき、かつ／またはビデオおよび／またはオーディオデータから抽出されたタグから選択されるタグの数が、受信された補助情報の要求の数および／または頻度に依存する、請求項１から５のいずれか一項に記載の方法。
7. 前処理段階において、方法が、
   − タグおよびそれらの関連補助情報部分を備えた少なくとも１つの構造化テキストドキュメントを受信することを含み、
   かつ／または、前処理段階において、方法が、
   − ビデオおよび／またはオーディオ会議システムによって、補助情報を受信することと、
   − 受信された補助情報を処理して、補助情報から１つまたは複数のタグを得ることと、
   − 得られた１つまたは複数の補助情報タグを、補助情報の１つまたは複数の関連部分にマッピングすることと
   を含む、請求項１から６のいずれか一項に記載の方法。
8. 補助情報を処理することが、
   − 補助情報にテキスト構文解析および／またはテキスト要約を適用して、タグ、および補助情報のそれらの関連テキスト部分を得ることと、かつ／または
   − タグを予め格納された要約と比較することによってタグを照合し、同義語および原形によってタグを増補することと、かつ／または
   − タグ、および補助情報部分とのマッピングを、タグインデックス内に格納すること、好ましくは、タグをビデオおよび／またはオーディオ会議システム上の少なくとも１つのタグインデックスファイル内に格納することと
   を含む、請求項１から７のいずれか一項に記載の方法。
9. ビデオおよび／またはオーディオ会議における補助情報へのタグベースのアクセスのためのシステムであって、
   − 補助情報、タグ、およびタグと補助情報の関連部分との間のマッピングを記憶するように構成された記憶ユニットと、
   − ビデオデータおよび／またはオーディオデータを、会議の１つまたは複数のパーティシパントに送信するための第１の送信器と、
   − 会議の１つまたは複数のパーティシパントから、補助情報の要求を受信するための受信器と、
   − ビデオデータおよび／またはオーディオデータから、タグを抽出するための抽出器と、
   − 受信器によって補助情報の要求を受け取った時点で、補助情報を検索するための検索ユニットであって、
   − 送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択し、
   − 選択された少なくとも１つのタグに関連する少なくとも１つの補助情報部分を検索するように構成された、検索ユニットと、
   − 検索された補助情報部分を、補助情報を要求したパーティシパントに送信するための第２の送信器と
   を備える、システム。
10. 抽出器が、オーディオデータに音声認識処理を適用して、オーディオデータからテキストセグメントを得て、認識されたテキストセグメントから１つまたは複数のタグを検索するように構成され、かつ／または抽出器が、ビデオデータにテキスト認識処理を適用して、ビデオデータからテキストセグメントを得て、認識されたテキストセグメントから１つまたは複数のタグを検索するように構成され、かつ／または検索ユニットが、処理されたオーディオおよび／またはビデオデータからの認識されたテキストセグメントを、格納されたマッピングからのタグと比較して、１つまたは複数の認識されたテキストセグメントに対応する１つまたは複数のタグを決定し、かつ各タグに対して、記憶媒体に記憶されたマッピングから、関連補助情報の１つの部分または複数の部分を決定するように構成される、請求項９に記載のシステム。
11. 第１の送信器が、パーティシパントの第１のレンダリングデバイスに、ビデオおよび／またはオーディオデータを送信するように構成され、第２の送信器が、パーティシパントの第２のレンダリングデバイスに、検索された補助情報部分を送信するように構成され、第２のレンダリングデバイスが、周辺デバイスであることが好ましく、電話、スマートフォンまたはタブレットデバイスなどのモバイルテレコミュニケーションデバイスであることがより好ましい、請求項９または１０に記載のシステム。
12. 検索ユニットが、補助情報の要求の受け取り前の予め格納された時間内に抽出された１つまたは複数のタグを決定することによって、送信されたビデオデータおよび／またはオーディオデータから抽出されたタグの少なくとも１つを選択するようにさらに構成され、かつ／または検索ユニットが、選択されたタグを、タグと補助情報の関連部分との間のマッピングと比較し、かつ選択されたタグに対応する１つまたは複数の補助情報部分を決定するように構成される、請求項９から１１のいずれか一項に記載のシステム。
13. システムが、パーティシパント嗜好に基づき、送信されたビデオおよび／またはオーディオデータから抽出されたタグを選択するように構成され、パーティシパント嗜好が、システムに予め格納され、かつ／またはパーティシパントの挙動によって決定されるのが好ましく、かつ／またはビデオおよび／またはオーディオデータから抽出されたタグから選択されるタグの数が、受信された補助情報の要求の数および／または頻度に依存する、請求項９から１２のいずれか一項に記載のシステム。
14. システムが、補助情報を受信し、受信された補助情報を処理して、補助情報から１つまたは複数のタグを得て、得られた１つまたは複数の補助情報タグを、補助情報の１つまたは複数の関連部分にマッピングし、かつ補助情報、タグ、およびタグと補助情報の関連部分との間のマッピングを、記憶媒体に記憶するように構成された前処理ユニットを備え、
    前処理ユニットが、
    − 補助情報にテキスト構文解析および／またはテキスト要約を適用して、タグ、および補助情報のそれらの関連テキスト部分を得て、かつ／または
    − タグを、予め格納された要約と比較することによってタグを照合して、同義語および原形によってタグを増補し、かつ／または
    − タグ、および補助情報部分とのマッピングを、記憶媒体、好ましくはタグインデックス内または少なくとも１つのタグインデックスファイル内に記憶するように構成されるのが好ましい、請求項９から１３のいずれか一項に記載のシステム。
15. コンピュータなどの電子デバイス上で実行する場合、請求項１から８のいずれか一項による方法を行うためのコードを備える、コンピュータプログラム製品。

Images