JP2005515510A - キャプション・システム - Google Patents

キャプション・システム Download PDF

Info

Publication number
JP2005515510A
JP2005515510A JP2003561242A JP2003561242A JP2005515510A JP 2005515510 A JP2005515510 A JP 2005515510A JP 2003561242 A JP2003561242 A JP 2003561242A JP 2003561242 A JP2003561242 A JP 2003561242A JP 2005515510 A JP2005515510 A JP 2005515510A
Authority
JP
Japan
Prior art keywords
caption
presentation
captions
user
operable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003561242A
Other languages
English (en)
Inventor
ホスキング，イアン，マイケル
ジョーンズ，アレド，ワイネ
レイノルズ，マイケル，レイモンド
ケリー，ピーター，ジョン
エメンス，マイケル，ディヴィッド
Original Assignee
サイエンティフィック ジェネリクス リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB0130936A external-priority patent/GB0130936D0/en
Priority claimed from GB0204323A external-priority patent/GB0204323D0/en
Application filed by サイエンティフィック ジェネリクス リミテッド filed Critical サイエンティフィック ジェネリクス リミテッド
Publication of JP2005515510A publication Critical patent/JP2005515510A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/165—Centralised control of user terminal ; Registering at central

Abstract

オーディオ・プレゼンテーションおよび／またはビデオ・プレゼンテーション用のキャプションを提供するためのキャプション・システムを提供する。このキャプション・システムを使用してビデオ・プレゼンテーションのテキスト・キャプションまたはオーディオによる説明を提供することができる。キャプションを同期情報と一緒に受信するように動作可能なレシーバと、同期情報が定義する適切なタイミングでキャプションを出力するように動作可能なキャプション出力回路とを有するキャプション・システム用のユーザ装置が提供される。このユーザ装置は、携帯電話やＰＤＡなどの携帯用ハンドヘルド装置であることが好ましい。

Description

本発明は、オーディオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーションについてのキャプションを提供するためのシステム、方法、およびその部品に関する。本発明は、それだけには限定されないが、知覚障害者がオーディオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーションを楽しむのを助ける、かかるキャプション・システムを提供することに特に関連している。
難聴の人々のかなりの割合が、テレビ放送、ビデオテープ、ＤＶＤ、および映画などのビデオ画像上の（テキスト形式の）キャプションの恩恵を受けている。現在、ビデオ画像に使用可能な２つのタイプのキャプション・システム、すなわちオン・スクリーン・キャプション・システムとオフ・スクリーン・キャプション・システムがある。オン・スクリーン・キャプション・システムでは、キャプション・テキストはスクリーン上に表示され、キャプション・テキストが、画像の一部分を覆い隠してしまう。一般の視聴者がいるところでこれが行われると嫌がられるという映画特有の問題がこれによって生じる。オフ・スクリーン・キャプション・システムでは、テキストは別のスクリーン上に表示される。これによって、オン・スクリーン・キャプション・システムに関連した問題の一部が克服されるが、この解決方法では、費用および複雑さが増大し、現在では、この理由から映画ではあまり取り上げられてきてはいない。
難聴の人々のテキスト・キャプション・システムに加えて、視力障害の人々のためのオーディオ・キャプションを提供するキャプション・システムもまた存在する。このタイプのオーディオ・キャプション・システムでは、表示されているもののオーディオの説明が、難聴の場合に字幕が提供されるのと同様な方法でユーザに提供される。
ＷＯ０２／１１１２３ ＷＯ９８／３２２４８ ＷＯ０１／１００６５ ＰＣＴ／ＧＢ０１／０５３００ ＰＣＴ／ＧＢ０１／０５３０６
本発明の一目的は、難聴者のための代替的なキャプション・システム、または視力障害の人々のための代替的なキャプション・システムを提供することである。このキャプション・システムはまた、難聴または視力障害のない人々が使用することもでき、例えば、異なる言語のキャプション、または歌の歌詞を提供することができる。
一態様によれば、本発明は、それぞれが１つまたは複数のプレゼンテーションに関連しており、各組がその関連するプレゼンテーション中の異なるタイミングで再生するための少なくとも１つのキャプションを含む１組または複数組のキャプションを記憶するためのキャプション記憶部、ならびに（ｉ）そのキャプション記憶部からプレゼンテーション用の少なくとも１組のキャプションを受け取り記憶するメモリと、（ｉｉ）この受け取った１組のキャプションをユーザに出力すべき、プレゼンテーション中のタイミングを定義する同期情報を受け取るように動作可能なレシーバと、（ｉｉｉ）受け取った１組のキャプション内のキャプションをその同期情報によって定義されるタイミングで、関連するユーザに出力するように動作可能なキャプション出力回路とを有するユーザ装置を備えるキャプション・システムを提供するものである。
一実施形態では、キャプションは、ユーザに対してユーザ装置に関連するディスプレイ上に出力されるテキスト・キャプションである。別の実施形態では、キャプションは、ユーザに対してスピーカまたはイヤホンを介して音響信号として出力されるオーディオ信号である。このキャプション・システムを、例えば映画で使用して知覚障害のある人々にキャプションを提供して、例えば映画や他のマルチメディア・プレゼンテーションを理解し楽しむのを助けることができる。
ユーザ装置は、小さくて軽く、またほとんどのユーザがこれらにアクセスすることができるので、携帯電話や携帯型情報端末などの携帯用ハンドヘルド装置であることが好ましい。かかる携帯用計算機装置はまた、この装置に適切なソフトウェアを提供することによってこの装置を以上のように動作するようにすることが簡単なので好ましい。
キャプション記憶部は、リモート・サーバ内に配置することができ、この場合には、ユーザ装置とリモート・サーバの間で直接接続が可能になるので、ユーザ装置は、携帯電話（または無線接続を有するＰＤＡ）であることが好ましい。あるいは、このキャプション記憶部を、そのプレゼンテーションが行われることになっている会場のキオスクとすることもでき、この場合には、ユーザは、到着したときにキャプションおよび同期情報をダウンロードすることができる。あるいは、キャプション記憶部を単にメモリ・カードまたはスマート・カードとすることもでき、これをユーザは、自らのユーザ装置に挿入してプレゼンテーション用の１組のキャプションを同期情報と一緒に得ることができる。
別の態様によれば、本発明は、キャプション・システム内で使用するためのキャプション・データおよび同期データを記憶するコンピュータ可読媒体を製造する方法を提供しており、この方法は、コンピュータ可読媒体を提供する工程と、関連するプレゼンテーション中に異なるタイミングで再生するための複数のキャプションを含む、プレゼンテーションに関連する１組のキャプションを提供する工程と、その１組のキャプション内の各キャプションをユーザに出力すべき、プレゼンテーション中のタイミングを定義する同期情報を提供する工程と、コンピュータ可読媒体を受け取る工程と、前記１組のキャプションおよび前記同期情報を定義するコンピュータ読取り可能データを前記コンピュータ可読媒体上に記録する工程と、その記録済みのキャプション・データおよび同期データをその上に有するコンピュータ可読媒体を出力する工程とを含んでいる。
次に、本発明の例示の実施形態について添付図面を参照して説明することにする。
概要
図１は、映画館５内のスクリーン３上に示される映画についていくつかのユーザ装置（そのうちの２つが示され、１−１および１−２とラベル付けされている）上にテキスト・キャプションを提供する際に使用するためのキャプション・システムを示している。このキャプション・システムはまた、リモート・ウェブ・サーバ７を含んでおり、このリモート・ウェブ・サーバは、キャプション・データベース９に記憶されるキャプションに対するユーザ装置１からのアクセスを制御する。特に、この実施形態では、ユーザ装置１−１は携帯電話であり、セルラ通信基地局１１、交換局１３、およびインターネット１５を介してこの携帯電話をリモート・ウェブ・サーバ７に接続してキャプション・データベース９からキャプションをダウンロードすることができる。この実施形態では、第２のユーザ装置１−２は、携帯型情報端末（ＰＤＡ）であり、これはセルラ電話のトランシーバ回路を有していない。しかし、このＰＤＡ１−２は、インターネット１５に接続することができるコンピュータ１７を介してリモート・ウェブ・サーバ７に接続することができる。このコンピュータ１７は、ユーザの家庭１９に配置されたホーム・コンピュータであってもよく、一般にＰＤＡ１−２をコンピュータ１７と接続するためのドッキング・ステーション２１を含むことができる。
この実施形態では、携帯電話１−１を使用したキャプション・システムの動作は、ＰＤＡ１−２を使用したキャプション・システムの動作と少し異なっている。これらの装置を使用したキャプション・システムの動作について次に簡単な説明を行うことにする。
この実施形態では、携帯電話１−１は、映画の開始時に閲覧すべき映画のためのキャプションをダウンロードするように動作する。携帯電話は、スピーカ２３−１および２３−２によって生成される、映画の冒頭からのサウンドトラックの一部分を捕捉することによってこれを行い、これを処理してオーディオ・セグメントの特徴であるシグナチュアを生成する。次いで、携帯電話１−１は、基地局１１、交換局１３、およびインターネット１５を介してリモート・ウェブ・サーバ７にこのシグナチュアを伝送する。次いで、ウェブ・サーバ７は、このシグナチュアからちょうど始まろうとしている映画を識別し、適切なキャプション・ファイルを関連する同期ファイルと一緒に検索し、これらをインターネット１５、交換局１３、および基地局１１を経由して携帯電話１−１に対して逆に伝送する。このキャプション・ファイルおよび同期ファイルを携帯電話１−１が受信した後、基地局１１との接続が終了され、携帯電話１−１は、スクリーン３上に示される映画に同期してユーザに対して適切なキャプションを生成し表示する。この実施形態では、リモート・ウェブ・サーバ７からダウンロードされる同期ファイル内の同期データは、映画内の後続のオーディオ・セグメントの推定タイミングを定義し、携帯電話１−１は、映画のオーディオ信号を処理し、映画内の後続のこれらのオーディオ・セグメントの実際のタイミングを識別することによってキャプションの再生を同期させる。
この実施形態では、ＰＤＡ１−２のユーザは、映画が上映される前に、家庭１９にいる間に自分のパーソナル・コンピュータ１７を使用してこの映画のためのキャプションをダウンロードする。特に、この実施形態では、ユーザは、彼らが見る予定の映画の名前をパーソナル・コンピュータ１７にタイプ入力し、次いでインターネット１５を介してリモート・ウェブ・サーバ７にこの情報を送信する。それに応答して、ウェブ・サーバ７は、この映画用の適切なキャプション・ファイルおよび同期ファイルを検索し、これらをユーザのパーソナル・コンピュータ１７へとダウンロードする。次いでパーソナル・コンピュータ１７は、ドッキング・ステーション２１を介してこのキャプション・ファイルおよび同期ファイルをＰＤＡ１−２に記憶する。この実施形態では、映画の上映中にユーザに対してキャプションの表示を同期させる、ＰＤＡ１−２の後続の動作は、携帯電話１−１の動作と同じであり、したがってもう一度説明することはしない。
携帯電話
携帯電話１−１が映画用のキャプションを検索し、その後ユーザに対して再生する方法について、以上に簡単な説明を示してきた。次に、図２ａにブロック図の形式で示す携帯電話１−１の主要構成要素について、より詳細な説明を行うことにする。図に示すように、携帯電話１−１は、映画館５のスピーカ２３が生成する音響信号を検出し、対応する電気的オーディオ信号を生成するマイクロホン４１を含んでいる。次いで、マイクロホン４１からのオーディオ信号にフィルタ４３を用いてフィルタをかけ、対象とならない周波数成分を除去する。次いで、フィルタをかけたオーディオ信号をアナログ・デジタル変換器（ＡＤＣ）４５を用いてデジタル信号に変換し、次いで入力バッファ４７に記憶する。次いで、オーディオ信号を処理してバッファされたオーディオの特徴であるシグナチュアを抽出するシグナチュア抽出器４９によりこの入力バッファ４７に書き込まれたオーディオ信号を処理する。様々な処理技術をこのシグナチュア抽出器４９で使用してこのシグナチュアを抽出することができる。例えば、このシグナチュア抽出器は、Ｓｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｌｉｍｉｔｅｄの会社名で出願されたＷＯ０２／１１１２３に記載の処理を実行することができる。このシステムでは、約１５秒間のオーディオのウィンドウを処理して、オーディオを表す、オーディオ・ストリングに沿ったいくつかの「フィンガープリント」を識別する。これらのフィンガープリントは、オーディオ・ストリング内でこれらが生ずるタイミング情報と一緒に前述のシグナチュアを形成する。
図２ａに示すように、次いで、シグナチュア抽出器が生成するシグナチュアを出力バッファ５１に出力し、次いで、アンテナ５３、伝送回路５５、デジタル・アナログ変換器（ＤＡＣ）５７、およびスイッチ５９を介してこのシグナチュアをリモート・ウェブ・サーバ７に伝送する。
以下により詳細に説明するように、次いでリモート・サーバ７は、受信済みのシグナチュアを処理して上映中の映画を識別し、この映画用の適切なキャプション・ファイルおよび同期ファイルを検索する。次いで、これらは携帯電話１−１にダウンロードして戻され、アンテナ５３，受信回路６１、アナログ・デジタル変換器６３を経由してキャプション・メモリ６５に渡される。図２ｂは、リモート・ウェブ・サーバ７からダウンロードされるキャプション・ファイル６７の形式を概略的に示している。図に示すように、この実施形態では、キャプション・ファイル６７は、キャプション６９−１からキャプション６９−Ｎ（キャプション（１）からキャプション（Ｎ））の順序シーケンスを含んでいる。キャプション・ファイル６７はまた、各キャプションごとに、表示すべきテキストのフォント、カラーなどを定義するフォーマッティング情報７１−１から７１−Ｎも含んでいる。キャプション・ファイル６７はまた、各キャプションごとに、映画の開始に対して相対的なキャプションをユーザに出力すべき時刻を定義する時刻値ｔ１からｔＮも含んでいる。最後に、この実施形態では、各キャプション６９ごとに、キャプションをユーザに対して表示すべき存続時間を定義する存続時間Δｔ１からΔｔＮを含んでいる。
図２ｃは、この実施形態で携帯電話１−１がキャプションの表示を映画と同期させるために使用する同期ファイル７３内のデータを概略的に示すものである。図に示すように、この同期ファイル７３は、シグナチュアが映画のオーディオ内で生ずるべき（この場合にも映画の開始時から計算される）時刻を特定する関連する時刻値ｔ１ ＳからｔＭ Ｓをそれぞれが有するいくつかのシグナチュア７５−１から７５−Ｍを含んでいる。
この実施形態では、同期ファイル７３は、制御ユニット８１に渡され、この制御ユニットは、シグナチュア抽出ユニット４９およびスライディング相関器８３の動作を制御する。制御ユニット８１はまた、スイッチ５９の位置も制御し、その結果、キャプション・ファイルおよび同期ファイルを携帯電話１−１にダウンロードした後に、また携帯電話１−１がキャプションの出力を映画と同期させようとしているときに、シグナチュア抽出器４９が生成するシグナチュア・ストリームは、出力バッファ５１およびスイッチ５９を経由してそのスライディング相関器８３に渡される。
最初に、このキャプションがユーザに対して出力される前に、携帯電話１−１は、上映中の映画と同期をとる必要がある。これは、シグナチュア抽出器４９およびスライディング相関器８３を獲得モードで動作させることによって実現され、この獲得モードでシグナチュア抽出器はマイクロホン４１で受信されるオーディオからシグナチュアを抽出し、次いで、映画からの受信されたオーディオと同期ファイル７３内のシグナチュア７５との一致が識別されるまで、このシグナチュアを同期ファイル７３内のシグナチュア７５と比較する。この一致によって、ユーザに対して表示すべき最初のキャプションを識別するために使用される映画内の現在位置が識別される。このポイントで、携帯電話１−１は、追跡モードに入り、この追跡モードで、シグナチュア抽出器４９は、いつ携帯電話１−１が映画のオーディオ・トラック内で次のシグナチュアを検出すると予想するかに対応する、映画内の所定のタイム・スロット（またはウィンドウ）内のオーディオだけについてシグナチュアを抽出する。これを図２ｄに示しており、この図は、（映画に対する時系列を示す）時系列を、いつ携帯電話１−１が、映画のオーディオ・トラック内にシグナチュアが発生すると予想するかに対応したタイミングｔ１ ＳからｔＭ Ｓと共に示すものである。図２ｄはまた、小さなタイム・スロット、またはこれらの各時点の周囲のウィンドウｗ１からｗＭを示すものであり、このタイム・スロット中にシグナチュア抽出器４９は、オーディオ信号を処理してシグナチュア・ストリームを生成し、これを出力バッファ５１に出力する。
シグナチュア・ストリームの生成を図２ｅに示しており、この図は、時間ウィンドウｗｊのうちの１つに対応するオーディオ・トラックの一部分７７と、シグナチュア抽出器４９が生成するシグナチュア・ストリーム７９を示すものである。この実施形態では、３つのシグナチュア（シグナチュア（ｉ）、シグナチュア（ｉ＋１）、およびシグナチュア（ｉ＋２））が、各処理ウィンドウｗごとに生成される。これについては、図示の目的のためにすぎない。実際には、さらに多くの、またはさらに少ないシグナチュアを各処理ウィンドウｗごとに生成することができる。さらに、この実施形態ではシグナチュアを処理ウィンドウｗのオーバーラップしないサブウィンドウから生成しているが、シグナチュアをオーバーラップしたサブウィンドウから生成することもできる。これを実現する方法は、当業者にはよく知られており、これ以上詳細には説明しないことにする。
この実施形態では、隣接する処理ウィンドウｗ間においては、制御ユニット５１は、受信したオーディオを処理しないようにしてシグナチュア抽出器４９を制御する。このようにして、シグナチュア抽出器４９が実施する処理を最小限に維持することができる。
この追跡動作モード中、スライディング相関器８３は、出力バッファ５１内の生成済みシグナチュア・ストリームを同期ファイル７３内の次のシグナチュア７５に関連づけるように動作可能である。この相関付けにより、処理されるオーディオ・ウィンドウについての図２ｆに示すような相関プロットが生成される。図２ｄに示すように、この実施形態では、ウィンドウｗｊは、シグナチュアの予想タイミングがウィンドウの中央にくるように定義される。これは、携帯電話１−１が、スライディング相関器８３からのピーク出力が処理ウィンドウｗの中央に対応すると予想することを意味する。ピークがウィンドウ内でそれより前にまたは後で生ずる場合には、携帯電話１−１のキャプション出力タイミングを調整してピークが映画と同期するように保つ必要がある。これを図２ｆに示しており、この図は、シグナチュアの予想時刻ｔｓがウィンドウの中央に表示され、その相関ピークがこの予想時刻のδｔ秒前に生じることを示している。これは、携帯電話１−１が、映画に比べやや遅れており、映画に追いつくためには後続のキャプションの出力タイミングを前方にもってくる必要があることを意味する。これは、キャプションをユーザに対して再生する時刻を制御するタイミング信号を生成するタイミング・コントローラ８５に、相関器８３からのδｔ値を渡すことによって実現される。図に示すように、タイミング・コントローラは、そのタイミング基準を携帯電話クロック８７から受け取る。次いで、生成済みのタイミング信号をキャプション表示エンジン８９に渡し、このキャプション表示エンジンは、キャプション・ファイル６７を指し示すこのタイミング信号を使用して関連する存続時間情報Δｔおよびフォーマッティング情報７１と共に次の表示用のキャプション６９を検索し、次いでこれらを処理し、携帯電話ディスプレイ９１上で表示するためにフレーム・バッファ９３を介して出力する。キャプション６９をどのようにして生成しフォーマットするかの詳細については、当業者にはよく知られており、これ以上詳細には説明しないことにする。
図２ｇは、ディスプレイ９１上に出力されるキャプション例の形式を示すものである。図２ｇは、ディスプレイ９１の右側９５にユーザが携帯電話１−１のキーパッド９７上の適切なファンクション・キーを押すことによって活性化できるいくつかのユーザ・オプションも示している。これらオプションは、ユーザが、表示されるキャプション６９の言語を変更できる言語オプション９９を含む。キャプション・ファイル６７が様々な言語のキャプション６９を含んでいるとすれば、これは可能である。当業者には理解されるように、変更するものはすべて、適切なタイミングで表示すべきキャプション６９のテキストなので、これは、携帯電話１−１の部分上でかなりの処理を伴うものではない。したがって、同じ映画を鑑賞する異なるユーザごとにキャプションを専用化することができる。このオプションは、携帯電話１−１上で実行されるキャプション・アプリケーションをユーザが終了できるようにする終了オプション１０１も含んでいる。
携帯型情報端末
前述したように、ＰＤＡ１−２は、ウェブ・サーバ７に直接に接続するための携帯電話トランシーバ回路を含んでいない点以外は携帯電話１−１と同様にして動作する。ＰＤＡ１−２の主要構成要素は、前述の携帯電話１−１の主要構成要素と同様であり、したがって、改めては説明しないことにする。
リモート・ウェブ・サーバ
図３は、この実施形態で使用されるウェブ・サーバ７の主要構成要素を示し、キャプション・データベース９を示す概略ブロック図である。図に示すように、ウェブ・サーバ７は、インターネット１５から入力を受信し、この入力が携帯電話１−１からの入力かＰＤＡ１−２からの入力かに応じて、この入力は、スライディング相関器１２１にまたはデータベース・リーダ１２３に渡される。特に、携帯電話１−１からのシグナチュアは、スライディング相関器１２１に入力され、ここで、シグナチュア・ストリーム・データベース１２５に記憶されている、システムに知られているすべての映画のシグナチュア・ストリームと比較される。次いで、これらの相関の結果を比較してユーザが鑑賞しようとしている映画を識別する。次いで、この映画ＩＤをデータベース・リーダ１２３に渡す。映画ＩＤをスライディング相関器１２１から、または（ＰＣ１７やＰＤＡ１−２などの）ユーザ装置から直接に受け取るのに応答して、データベース・リーダ１２３は、適切なキャプション・ファイル６７および同期ファイル７３をキャプション・データベース９から読み取り、これらをダウンロード・ユニット１２７に出力する。次いで、このダウンロード・ユニット１２７は、検索済みのキャプション・ファイル６７および同期ファイル７３を要求側のユーザ装置１にインターネット１５を介してダウンロードする。
当業者なら理解されるように、ユーザに対して表示するための映画用のテキスト・キャプションを提供することについてキャプション・システムを説明してきた。このシステムは、映画館や再生システムについて何ら修正を必要とせず、適切に適合化された携帯電話１−１またはＰＤＡ装置１−２などを提供する必要があるだけである。これに関しては、携帯電話１−１またはＰＤＡ１−２内で実行される適切なソフトウェア・アプリケーションによって破線のボックス９４で囲まれた機能のすべてを実施することができるので、携帯電話またはＰＤＡに追加のハードウェアを追加することは必須ではない。この場合、適切なソフトウェア・アプリケーションは、適時、例えばユーザが映画館に入るときにロードすればよく、また携帯電話１−１の場合には、着信コールが他の視聴者を混乱させないようにするために電話の呼出しベルが鳴らないように準備しておく必要がある。したがって、上述のキャプション・システムは、いつでもどの映画についても使用することができる。さらに、映画に対して異なるキャプションをダウンロードすることができるので、このシステムは１つの映画内で内容に変化をもたせることが可能である。例えば、これによって、多言語のキャプションを用意することが容易になる。
変更形態および代替実施形態
上述の実施形態では、聴覚障害をもつユーザが、鑑賞している映画を理解できるようにするための携帯用ユーザ装置のディスプレイ上にテキスト・キャプションを提供することについて、キャプション・システムを説明した。この出願の導入部で述べたように、前述のキャプション・システムを変更してオーディオ・キャプション（例えば、視力障害の人々のために上映されている映画のオーディオによる説明）を用いて動作するようにすることができる。これは、リモート・サーバ７からダウンロードするキャプション・ファイル６７内のテキスト・キャプション６９を（標準の．ＷＡＶオーディオ・ファイルやＭＰ３オーディオ・ファイルなど）適切なオーディオ・ファイルで置き換えることによって簡単に行うことができ、次いでこのオーディオ・ファイルを適切なヘッドホンまたはイヤホンを用いてユーザに対して再生することができる。オーディオ・ファイルの再生の同期については、テキスト・キャプションの再生の同期の場合と同じにすることができる。あるいは、同期を他の方法で実現することができる。図４は、かかるオーディオ・キャプション・システムで使用することができる携帯電話の主要構成要素を示すブロック図である。図４では、図２ａに示す同じ構成要素について同じ参照番号を使用しており、これらの構成要素については、改めて説明しないことにする。
この実施形態では、携帯電話１−１’は、シグナチュア抽出器４９を含んでいない。その代わり、図５に示すように、シグナチュア抽出器１６３をリモート・ウェブ・サーバ７’に設けている。動作中は、携帯電話１−１’は、映画の冒頭で再生されるオーディオの一部を捕捉し、このオーディオをリモート・ウェブ・サーバ７’へと伝送する。次いで、このオーディオを入力バッファ１６１にバッファし、次いでシグナチュア抽出器１６３で処理してこのオーディオを表すシグナチュアを抽出する。次いで、第１の実施形態で説明したスライディング相関器１２１およびシグナチュア・ストリーム・データベース１２５と同様のファンクションを実施する相関テーブル１６５にこのシグナチュアを渡して現在上映中の映画についてのＩＤを識別する。特に、この実施形態では、スライディング相関器１２１およびシグナチュア・ストリーム・データベース１２５によって実施された可能性がある相関のすべてを、あらかじめ実行し、その結果をこの相関テーブル１６５に記憶しておく。このようにして、シグナチュア抽出器１６３が出力するシグナチュアを使用して、この相関テーブルを索引してこのキャプション・システムに知られている様々な映画に対する相関結果を生成する。次いで、この相関結果を処理して、受信済みのオーディオ・ストリームに最もよく対応する可能性のある映画を識別する。この実施形態では、このキャプション・データベース９だけが、同期ファイル７３のない、様々な映画についてのキャプション・ファイル６７を含んでいる。相関テーブル１６５から、またはユーザ、すなわちユーザ装置（図示せず）から直接に映画ＩＤを受信するのに応答して、データベース・リーダ１２３は、適切なキャプション・ファイル６７を検索し、これをダウンロード・ユニット１２７を経由してユーザ装置１にダウンロードする。
図４に戻ると、この実施形態では、携帯電話１−１’が、シグナチュア抽出器４９を含んでいないので、同期を代わりの方法で実現することができる。特にこの実施形態では、同期コードが映画のオーディオ・トラック内に埋め込まれている。したがって、キャプション・ファイル６７をキャプション・メモリ６５に記憶した後、制御回路８１は、入力バッファ４７に入力されたオーディオ信号が、オーディオ・トラックに埋め込まれる同期データを抽出するように構成されているデータ抽出器１４５に渡されるようにスイッチ１４３の位置を制御する。次いで、この抽出済みの同期データはタイミング・コントローラ８５に渡され、このタイミング・コントローラは、デジタル・アナログ変換器１４９、増幅器１５１、およびヘッドセット１５３を介してキャプション・プレーヤ１４７が個々のオーディオ・キャプションを再生するタイミングを制御する。
当業者には理解されるように、様々な技法を使用してオーディオ・トラック内に同期データを埋め込むことができる。本出願人による以前の国際出願ＷＯ９８／３２２４８、ＷＯ０１／１００６５、ＰＣＴ／ＧＢ０１／０５３００、およびＰＣＴ／ＧＢ０１／０５３０６には、音響信号内にデータを埋め込む技法、および埋め込まれたデータをその後抽出するための適切なデータ抽出器について記載されている。これらの以前の国際出願の内容については本明細書に参照によって組み込まれている。
上記のオーディオ・キャプションの実施形態では、そのオーディオに同期コードを埋め込み、携帯電話内でこれらを検出することによって同期が実現される。当業者には理解されるように、同様な技法を第１の実施形態でも使用することができる。しかし、映画のサウンドトラック内にオーディオ・コードを埋め込むことは、それが映画のオーディオ・トラックを何らかの方法で変更するものであるので好ましくない。必要とされるデータ・レートによっては、このデータは一部の視聴者にとっては聞こえることもあり、それによって映画の楽しみが損なわれることもある。したがって、第１の実施形態は、それが映画または映画館のインフラストラクチャに対するどのような変更も伴わないので好ましい。
同期データがそのオーディオ内に埋め込まれる実施形態では、使用される同期コードを同期が必要なときにいつでも繰り返される同じコードとするか、または各同期ポイントで一意的なコードとすることができる。各同期ポイントで一意的なコードがある利点は、遅れて映画を見に入るユーザ、またはある種のポイントだけでキャプションを必要とするユーザ（例えば、まれにしかキャプションを必要としないユーザ）がこの映画の中の任意のポイントでキャプションを開始できることにある。
図４および図５を参照して以前に説明した実施形態では、シグナチュア抽出動作が携帯電話内ではなくリモート・ウェブ・サーバ内で実施されている。当業者には理解されるように、図４および図５を参照して説明した他の変更を行わずに、前述の第１の実施形態に対してこの変更だけを行うこともできる。
前述の第１の実施形態では、追跡動作モードでシグナチュア抽出器は、映画の所定のウィンドウ中のオーディオ・トラックしか処理していない。当業者には理解されるように、このことは必須ではない。シグナチュア抽出器は、連続的に動作することもできる。しかし、かかる実施形態は、携帯電話が実施する必要がある処理を増大させ、それが携帯電話の電力消費を増大させる可能性があるので好ましくない。
上記実施形態では、携帯電話またはＰＤＡは、同期させる目的のために映画のオーディオ・トラックを監視していた。当業者には理解されるように、携帯電話またはＰＤＡ装置を映画スクリーン上に表示されるビデオを監視するように構成することもできる。しかし、これについては、（カメラなどの）イメージ・ピックアップ装置を携帯電話またはＰＤＡに組み込み、比較的高度な画像処理ハードウェアおよびソフトウェアでビデオ内の同期ポイントまたは同期コードを検出できるようにする必要があるので、現在のところ好ましくない。さらに、映画自体から同期コードまたは同期ポイントを検出することは、必須ではない。別の電磁波信号または圧力波信号を映画と同期して伝送して同期ポイントまたは同期コードを提供することもできる。この場合には、ユーザ装置は、電磁波信号レシーバまたは圧力波レシーバを含む必要がある。しかし、この実施形態は、既存の映画館のインフラストラクチャを変更する必要があり、映画とそれ自体同期する別の同期信号を生成する必要があるので好ましくない。
上記の実施形態では、キャプションを、また適切な場合には同期データを、リモート・サーバからユーザ装置にダウンロードする。当業者なら理解されるように、かかるリモート・サーバの使用は必須ではない。キャプション・データおよび同期データを、メモリ・カードまたはスマート・カードにあらかじめ記憶し、映画館で配布しまたは販売することもできる。この場合には、ユーザ装置は、このメモリ・カードまたはスマート・カードを受け入れる適切なスロット、ならびにキャプション・データに、また提供されるなら同期データにアクセスするための適切なリーダを有することが好ましい。このカードの製造業者では、メモリ・カードまたはスマート・カードを提供する工程と、適切なカード・ライタを使用してキャプション・データおよび同期データをメモリ・カード、またはスマート・カード上のメモリに書き込む工程を含むことになる。あるいは、さらにユーザは、彼らのユーザ装置に関連するスマート・カードまたはメモリ・カードをすでに有しており、これらを映画館のキオスクに単に挿入し、そこでキャプション、および適用可能なら同期データをカード上のメモリに書き込んでもよい。
さらなる代替形態として、キャプション・データおよび同期データを映画館内の送信機からユーザ装置に送信することもできる。この送信を、電磁波リンクまたは圧力波リンク上で行うことができる。
前述の第１の実施形態では、携帯電話には、キャプションの再生を制御するための獲得モードおよびその後の追跡モードがあった。代替実施形態では、リモート・サーバが携帯電話から受信したシグナチュアから現在のタイミングを識別することができるならば、獲得モードをなくすることができる。これは、一部の例によっては可能とすることができる。しかし、映画の導入部が反復される場合には、ウェブ・サーバが最初の同期を提供できなくなる可能性もある。
前述の第１の実施形態では、ユーザ装置は、キャプション・データおよび同期データをインターネットを介してリモート・ウェブ・サーバからダウンロードしていた。当業者には理解されるように、ファイルをインターネット上でダウンロードすることは必須ではない。ファイルを任意のワイド・エリア・ネットワークまたはローカル・エリア・ネットワーク上でダウンロードすることもできる。このキャプション・ファイルをワイド・エリア・ネットワーク上からダウンロードする機能は、より広い地理的区域に配信するためにキャプションの中央集中データベースを提供できるので好ましい。
前述の第１の実施形態では、ユーザは、リモート・ウェブ・サーバからキャプション・データおよび同期データをダウンロードしていた。説明してはいないが、セキュリティの目的のために、キャプション・ファイルおよび同期ファイルを、何らかの方法で符号化しまたは暗号化してキャプションの不正使用から保護することが好ましい。さらに、このキャプション・システムを映画館、またはこのキャプション・システムのライセンスをもつ会場でしか動作できないように準備を整えることもできる。この場合には、適切な活性化コードを会場で提供してユーザ装置上のキャプション・システムのロックをはずすことができる。この活性化を、人間が読取り可能な形式で提供し、その結果ユーザはユーザ装置にコードをキー入力する必要があることもある。あるいは、ユーザ装置中の適切なレシーバに（たぶん映画内に埋め込まれる）コードを送信するように会場の準備を整えることもできる。どちらの場合にもユーザ装置中のキャプション・システム・ソフトウェアは、活性化コードを受信するまでキャプションの出力を禁止するインヒビタ（ｉｎｈｉｂｉｔｏｒ）を有することになる。さらに、暗号化を使用する場合には、キャプションの暗号解読を行う鍵の一部として活性化コードを使用することもできる。
以上の実施形態では、映画館で使用するためのテキスト・キャプション・システムおよびオーディオ・キャプション・システムを説明してきた。当業者には理解されるように、これらのキャプション・システムを任意のラジオ・プレゼンテーション、ビデオ・プレゼンテーション、またはマルチメディア・プレゼンテーション用のキャプションを提供するために使用することができる。これらは、劇場もしくは歌劇場内で、またはユーザの家庭内で使用することもできる。
オーディオ・プレゼンテーションまたはビデオ・プレゼンテーション用のテキスト・キャプションまたはオーディオ・キャプションを提供する様々なキャプション・システムについて説明してきた。このキャプションは、映画の監督のコメント、複雑なプロットの説明、俳優名、または第三者のコメントなどそのオーディオ・プレゼンテーションまたはビデオ・プレゼンテーションについての追加の解説を含むことができる。これらのキャプションは、他の製品または他のプレゼンテーションについての宣伝を含むこともできる。さらに、このオーディオ・キャプション・システムを使用してその映画内でなにが起きているかについてのオーディオによる説明を提供することができるだけでなく、その映画用のオーディオ・トラックの翻訳を提供することもできる。このようにして、映画の各聴取者は、彼らの好みの言語でその映画を聞くことができる。このキャプション・システムを使用して、標準的なオーディオ・トラックと一緒に使用するためのカラオケ・キャプションを提供することもできる。この場合には、ユーザは、歌詞と、この歌詞をユーザに表示し強調表示すべきタイミングを定義する同期情報とをダウンロードすることになる。
以上に追加して、ビデオ・キャプションの表示を制御するように前述のキャプション・システムを提供することができる。例えば、かかるビデオ・キャプションを使用して提供されているプレゼンテーション内のオーディオに対して手話（ｓｉｇｎ ｌａｎｇｕａｇｅ）（実画像またはコンピュータ生成画像）を提供することができる。
上記の実施形態では、行うべきプレゼンテーション用のキャプションを再生のためにあらかじめダウンロードしていた。代替実施形態では、キャプションが必要なときに、ユーザ装置が、リモート・サーバからそのキャプションをダウンロードすることもできる。例えば、ユーザ装置は、次のキャプション用の次の同期コードを受信したときに次のキャプションをダウンロードすることができる。
前述のキャプション・システムでは、ユーザは、ウェブ・サーバから、あるいはオーディオ・プレゼンテーションまたはビジュアル・プレゼンテーションを行うべき会場でローカルにキャプションおよび同期情報をダウンロードまたは受け取る。当業者には理解されるように、ユーザがキャプションをダウンロードし、またはキャプションを再生するために対価を支払わなければならないアプリケーションでは、トランザクション・システムを提供して料金の徴収を容易にすることが好ましい。キャプションをウェブ・サーバからダウンロードする実施形態では、このトランザクション・システムがこのキャプションを提供するウェブ・サーバの一部を形成し、またはそのウェブ・サーバに関連づけられることが好ましい。この場合には、ユーザは、そのキャプションをダウンロードする時点で電子的な支払いまたはクレジット・カードを介した支払いなどを行うことができる。これは、行われる支払いを、ダウンロードされるキャプションおよび同期情報に関連づけることがより簡単なので好ましい。
前述の第１の実施形態では、映画のＩＤを、ユーザの携帯電話から送信されるオーディオ・シグナチュアから自動的に決定していた。あるいは、オーディオ・シグナチュアを送信する代わりに、ユーザは、リモート・サーバに送信するために映画のＩＤを直接に電話に入力することもできる。この場合には、シグナチュア・データベースの相関探索は、必須ではない。
前述の第１の実施形態では、ユーザ装置が、受信済みのオーディオを処理して視聴者が鑑賞しようとしている映画のシグナチュア特性を抽出していた。好ましい処理は、前述のＳｈａｚａｍ Ｅｎｔｅｒｔａｉｎｍｅｎｔ Ｌｔｄ社特許に記載された処理である。しかし、当業者には理解されるように、他のタイプの符号化も実施できる。携帯電話内のシグナチュア抽出ユニットの主目的は、オーディオを圧縮してそれから鑑賞しようとしている映画をリモート・サーバが識別できるオーディオを依然として表すデータを生成することである。様々な他の圧縮方式を使用することができる。例えば、他のオーディオ圧縮アルゴリズムと共にＧＳＭコーデックを使用することもできる。
テキスト・キャプションを提供する上記の実施形態では、テキスト・キャプションが、携帯用ユーザ装置のディスプレイ上にユーザに対して表示されていた。これは、キャプション・システムのいちばん簡単な展開を提供するが、他のオプションも使用可能である。例えば、ユーザには、能動タイプまたは受動タイプのヘッドアップ・ディスプレイが提供され、これを通じてユーザは映画を鑑賞することができ、またこの上で、キャプションは、表示され（能動的）、または投影されて（受動的）鑑賞中の映画に重ね合わされる。これには、ユーザが２つの別々のディスプレイを見る必要がないという利点がある。受動タイプのヘッドアップ・ディスプレイは、例えば、ビーム・スプリッタ（例えば、４５°のプリズム）の付いた眼鏡対をユーザに提供することによって実現され、ユーザは、その上で自分のひざの上に載ったユーザ装置（例えば、電話またはＰＤＡ）の映画スクリーンおよびスクリーンを見ることができる。あるいは、ヘッドアップ・ディスプレイを使用する代わりに、別の透明のスクリーンをユーザ・シートの前に立て、その上にキャプションをユーザ装置から、またはシートに取り付けられたプロジェクタから投影することができる。
前述の第１の実施形態では、キャプション・ファイルは、時刻順のキャプション・シーケンスを、関連するフォーマッティング情報およびタイミング情報と共に含んでいた。当業者には理解されるように、キャプションをこのように時刻順に並べることは必須ではない。しかし、キャプションをこのように並べることにより、表示すべき次のキャプションを識別するのに伴う処理が少なくなる。さらに、キャプションに加えてフォーマッティング情報をもつことも必須ではない。必要とされる最小限の情報は、キャプション情報である。さらに、ファイル内にプレゼンテーション用の個別の各キャプションとして提供されたものを別々にダウンロードできることも必須ではない。しかし、キャプション・ファイル用の前述のフォーマットは、簡単であり、例えばスプレッドシートを使用して簡単に作成することができるので好ましい。この簡潔さによって、様々な異なるキャプション内容を作成する可能性も提供される。
ユーザの携帯電話を使用してキャプションを提供する実施形態では、キャプション・システムを対話型にすることができ、それによって、ユーザは、リモート・サーバと対話し、例えば、映画が開始される前に広告または質問表をやりとりすることができる。この対話を、例えば、ＵＲＬを受信しウェブサイト上の他の情報にリンクする、ユーザ装置上のウェブ・ブラウザを使用して実施することもできる。
前述の第１の実施形態では、鑑賞すべき映画のオーディオについてのテキスト・キャプションを提供していた。これらのキャプションは、すべてのキャプション、対話の字幕だけ、またはプロットの主要部分における字幕を含むことができる。同様な変更をオーディオ・キャプションについても適用することができる。
本発明を実施するキャプション・システムの概略全体図である。 図１に示すキャプション・システム内で使用されるユーザ電話の主要構成要素を示す概略ブロック図である。 図１に示すリモート・ウェブ・サーバから図２ａに示す電話にダウンロードされるキャプション・ファイル内のキャプションを示すテーブルである。 図１に示すリモート・ウェブ・サーバから図２ａに示す携帯電話にダウンロードされる同期ファイルを示す図である。 同期信号のタイミングを示し、その間に携帯電話がそのマイクロホンからのオーディオ信号を処理するタイミング・ウィンドウを示すタイミング図である。 図２ａに示す電話のマイクロホンが受け取る例示のオーディオ信号、およびこの携帯電話の一部を形成するシグナチュア抽出器が生成するシグナチュア・ストリームを示す信号図である。 ユーザに対するキャプションの表示を鑑賞している映画と同期させるのに使用される、図２ａに示す携帯電話の一部を形成する相関器からの出力を示す図である。 ユーザに対して表示されるキャプション例を示す、図２ａに示す電話からのスクリーン・ショットを示す概略図である。 図１に示すキャプション・システムの一部を形成するリモート・ウェブ・サーバの主要構成要素を示す概略ブロック図である。 代替実施形態の携帯用ユーザ装置の主要構成要素を示す概略ブロック図である。 図４に示す携帯用ユーザ装置と共に使用されるリモート・サーバの主要構成要素を示す概略ブロック図である。

Claims (41)

  1. ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
    各組が１つまたは複数のプレゼンテーションに関連し、各組が、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
    ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
    ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中に前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
    ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
    ｉｖ）前記受け取った同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
    を有するユーザ装置を備えるシステム。
  2. 前記キャプションが、テキストを含む、請求項１に記載のシステム。
  3. 前記キャプションが、前記プレゼンテーション内の任意の対話についてのテキストを含む、請求項２に記載のシステム。
  4. 前記キャプション出力回路が、前記ユーザに表示するために前記ユーザ装置に関連するディスプレイ装置に前記キャプションを出力するように動作可能である、請求項２乃至３のいずれか１項に記載のシステム。
  5. 前記キャプションが、前記ディスプレイ上に表示される前記テキストのフォーマットを制御するフォーマッティング情報を含む、請求項４に記載のシステム。
  6. 各キャプションが、前記キャプションを前記ユーザに表示すべき存続時間を定義する存続時間情報を含む、請求項４乃至５のいずれか１項に記載のシステム。
  7. 前記キャプションが、前記プレゼンテーション中に前記キャプションを前記ユーザに表示すべき時刻を定義するタイミング情報を含む、請求項４乃至６のいずれか１項に記載のシステム。
  8. 前記キャプションがオーディオ・データを含み、前記キャプション出力回路が、前記オーディオ・データを対応する音響信号に変換する電気音響装置に前記オーディオ・データを出力するように動作可能である、請求項１乃至７のいずれか１項に記載のシステム。
  9. 前記プレゼンテーションが、オーディオを含む、請求項１乃至８のいずれか１項に記載のシステム。
  10. 前記プレゼンテーションが、ビデオを含む、請求項１乃至９のいずれか１項に記載のシステム。
  11. 前記プレゼンテーションが映画である、請求項１乃至１０のいずれか１項に記載のシステム。
  12. 前記キャプション記憶部が、前記ユーザ装置内に挿入可能なメモリ・カード内に形成され、前記ユーザ装置が、そこに挿入されるときに前記メモリ・カードからキャプションを読み取るためのリーダを含む、請求項１乃至１１のいずれか１項に記載のシステム。
  13. 前記キャプション記憶部が、コンピュータ・システム内に設けられ、前記ユーザ装置が、前記コンピュータ・システムと情報をやりとりするための手段を含む、請求項１乃至１１のいずれか１項に記載のシステム。
  14. 前記コンピュータ・システムが、前記ユーザ装置からリモートに配置され、前記ユーザ装置が、前記リモート・コンピュータ・システムと情報をやりとりするための関連する通信モジュールを有する、請求項１３に記載のシステム。
  15. 前記ユーザ装置が容器を含み、前記通信モジュールが前記容器内に設けられる、請求項１４に記載のシステム。
  16. 前記通信モジュールが、無線通信リンクを使用して前記リモート・コンピュータ・システムと情報をやりとりするように動作可能である、請求項１４乃至１５のいずれか１項に記載のシステム。
  17. 前記ユーザ装置が、携帯電話を含む、請求項１６に記載のシステム。
  18. 前記ユーザ装置が、携帯型情報端末などの携帯用計算機装置を含む、請求項１乃至１７のいずれか１項に記載のシステム。
  19. 前記同期情報が、前記プレゼンテーションの１つまたは複数の所定部分についての予想時点を定義する、請求項１乃至１８のいずれか１項に記載のシステム。
  20. 前記ユーザ装置が、前記プレゼンテーションを監視して前記１つまたは複数の所定部分の実際の時点を識別するように動作可能な監視回路を含み、前記タイミング・コントローラが、実際のタイミングと前記予想タイミングとの間の差に応答して前記キャプション出力回路による前記キャプションの出力を制御する、請求項１９に記載のシステム。
  21. 前記プレゼンテーションの前記所定部分が、前記プレゼンテーションのオーディオの一部分に対応しており、前記監視回路が、前記プレゼンテーションの前記オーディオを感知するマイクロホンと、前記受け取ったオーディオを前記同期情報によって定義される前記オーディオの前記予想部分と比較するコンパレータとを含む、請求項２０に記載のシステム。
  22. 前記ユーザ装置が、前記監視回路の出力を前記同期情報によって定義される前記所定のポイントと比較して前記プレゼンテーション内の現在の位置を識別する獲得動作モードと、前記監視回路の前記出力を、前記同期情報によって定義される現在の所定部分と比較する追跡動作モードとを有する、請求項２０乃至２１のいずれか１項に記載のシステム。
  23. 前記追跡動作モードで、前記監視回路が、前記現在の所定部分について前記同期情報によって定義される前記予想時点の周囲の所定の時間ウィンドウ中の前記プレゼンテーションを監視するように動作可能である、請求項２２に記載のシステム。
  24. 前記ユーザ装置中の前記レシーバが、前記同期情報を前記キャプション記憶部から受け取るように動作可能である、請求項１乃至２３のいずれか１項に記載のシステム。
  25. 前記同期情報が、前記プレゼンテーション内に埋め込まれ、前記ユーザ装置が、前記プレゼンテーションを監視し、前記同期情報をそこから抽出するように動作可能な監視回路を含む、請求項１乃至２３のいずれか１項に記載のシステム。
  26. 前記同期情報が、前記プレゼンテーションの前記オーディオ内に埋め込まれる、請求項２５に記載のシステム。
  27. 前記同期情報が、前記プレゼンテーション中の異なるタイミングで生ずる同期コードを含む、請求項２５乃至２６のいずれか１項に記載のシステム。
  28. 各同期コードが、一意的であって前記プレゼンテーション内の前記位置を一意的に定義する、請求項２７に記載のシステム。
  29. 前記キャプション記憶部が、複数の異なるプレゼンテーションのために複数の組のキャプションを含む、請求項１乃至２８のいずれか１項に記載のシステム。
  30. 前記ユーザ装置が、前記プレゼンテーションの一部分を捕捉するように動作可能であり、前記捕捉部分を前記キャプション記憶部に伝送するように動作可能であり、また前記キャプション記憶部が、前記プレゼンテーションの前記捕捉部分を使用して、行われている前記プレゼンテーションを識別し、前記識別済みのプレゼンテーションについての前記関連する１組のキャプションを前記ユーザ装置に伝送するように動作可能である、請求項２９に記載のシステム。
  31. 前記ユーザ装置が、前記プレゼンテーションの前記捕捉部分を処理して前記捕捉部分のデータ特性を抽出するように動作可能であり、前記データ特性を前記キャプション記憶部に伝送するように動作可能であり、また前記キャプション記憶部が、前記特性データを使用して、行われている前記プレゼンテーションを識別し、前記識別済みのプレゼンテーションについての前記関連する１組のキャプションを前記ユーザ装置に伝送するように動作可能である、請求項３０に記載のシステム。
  32. 前記プレゼンテーションが、会場で与えられ、前記会場が、活性化コードを提供するように動作可能であり、前記ユーザ装置が、前記活性化コードを受け取るように動作可能であり、前記ユーザ装置が前記活性化コードを受け取っていない場合には、前記ユーザ装置が、前記キャプション出力回路の前記動作を禁止するインヒビタをさらに含む、請求項１乃至３１のいずれか１項に記載のシステム。
  33. キャプション・システム内で使用するためのユーザ装置であって、
    ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
    ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
    ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
    ｉｖ）前記受け取った同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
    を備えるユーザ装置。
  34. キャプション・システム内で使用するためのコンピュータ・システムであって、
    各組が１つまたは複数のプレゼンテーションに関連し、各組が前記関連するプレゼンテーション中の異なるタイミングで再生される複数のキャプションを含み、各キャプションが、受け取った前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する関連する同期情報を有する１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部と、
    １組のキャプションを求める要求をユーザ装置から受け取るように動作可能なレシーバと、
    前記要求された１組のキャプションおよび前記同期情報を前記ユーザ装置に出力するように動作可能な出力回路と
    を備えるシステム。
  35. キャプション・システム内で使用するためのキャプション・データおよび同期データを記憶するコンピュータ可読媒体を製造する方法であって、
    コンピュータ可読媒体を提供する工程と、
    関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む前記プレゼンテーションに関連する１組のキャプションを提供する工程と、
    前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を提供する工程と、
    コンピュータ可読媒体を受け取る工程と、
    前記１組のキャプションおよび前記同期情報を定義するコンピュータ読取り可能データを前記コンピュータ可読媒体上に記録する工程と、
    前記記録済みのキャプション・データおよび同期データをその上に有するコンピュータ可読媒体を出力する工程と
    を含む方法。
  36. 汎用計算機装置を請求項１乃至３３のいずれか１項に記載の前記ユーザ装置として動作させるためのコンピュータ実行可能命令を記憶するコンピュータ可読媒体。
  37. ユーザに対してプレゼンテーション用のキャプションを提供する方法であって、
    それぞれが１つまたは複数のプレゼンテーションに関連し、それぞれが、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む１組または複数組のキャプションをキャプション記憶部に記憶する工程と、
    ユーザ装置において、
    関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶する工程と、
    前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取る工程と、
    前記受け取った組のキャプション内の前記キャプションを前記関連するユーザに出力する工程と、
    前記受け取った同期情報に応答して前記同期情報によって定義される前記タイミングで前記キャプションを前記ユーザに出力するように前記出力する工程を制御する工程と
    を含む方法。
  38. ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
    各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の再生するための１つまたは複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
    ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
    ｉｉ）前記受け取った１組のキャプション内の前記キャプションまたは各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
    ｉｉｉ）前記受け取った１組のキャプション内の前記キャプションまたは各キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と、
    ｉｖ）前記受け取った同期情報に応答し、前記キャプションまたは各キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記キャプション出力回路を制御するように動作可能なタイミング・コントローラと
    を有するユーザ装置を備えるシステム。
  39. ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
    各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶するように動作可能なキャプション記憶部を備え、さらに、
    ｉ）関連するユーザに対して行うべきプレゼンテーション用の少なくとも１組のキャプションを前記キャプション記憶部から受け取り記憶するように動作可能なメモリと、
    ｉｉ）前記受け取った１組のキャプション内の各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取るように動作可能なレシーバと、
    ｉｉｉ）前記同期情報によって定義される前記タイミングで前記受け取った１組のキャプション内の前記キャプションを前記関連するユーザに対して出力するように動作可能なキャプション出力回路と
    を有するユーザ装置を備えるシステム。
  40. ユーザに対してプレゼンテーション用のキャプションを提供するためのキャプション・システムであって、
    各組が１つまたは複数のプレゼンテーションに関連しており、前記関連するプレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含む、１組または複数組のキャプションを記憶する手段を備え、さらに、
    ｉ）前記キャプション記憶部からキャプションを受け取る手段と、
    ｉｉ）各キャプションを前記ユーザに出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期情報を受け取る手段と、
    ｉｉｉ）ユーザ装置に関連するユーザに対して前記キャプションを出力する手段と、
    ｉｖ）前記同期情報に応答し、前記キャプションが前記同期情報によって定義される前記タイミングで前記ユーザに対して出力されるように前記出力手段を制御する手段と
    を有するユーザ装置を備えるシステム。
  41. プレゼンテーションのための、前記プレゼンテーション用の１組のキャプションを定義し、前記プレゼンテーション中の異なるタイミングで再生するための複数のキャプションを含むキャプション・データと、受け取った前記１組のキャプション内の各キャプションをユーザに対して出力すべき、前記プレゼンテーション中の前記タイミングを定義する同期データとを記憶するコンピュータ可読媒体。
JP2003561242A 2001-12-24 2002-12-23 キャプション・システム Pending JP2005515510A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB0130936A GB0130936D0 (en) 2001-12-24 2001-12-24 Signalling system
GB0204323A GB0204323D0 (en) 2002-02-25 2002-02-25 Signalling system
PCT/GB2002/005908 WO2003061285A2 (en) 2001-12-24 2002-12-23 Captioning system

Publications (1)

Publication Number Publication Date
JP2005515510A true JP2005515510A (ja) 2005-05-26

Family

ID=26246904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003561242A Pending JP2005515510A (ja) 2001-12-24 2002-12-23 キャプション・システム

Country Status (7)

Country Link
US (1) US8248528B2 (ja)
EP (1) EP1464172B1 (ja)
JP (1) JP2005515510A (ja)
AU (1) AU2002363907A1 (ja)
DK (1) DK1464172T3 (ja)
ES (1) ES2420909T3 (ja)
WO (1) WO2003061285A2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068016A (ja) * 2008-09-08 2010-03-25 Q-Tec Inc 映画・字幕同期表示システム
JP2013535887A (ja) * 2010-07-21 2013-09-12 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
JP2013541894A (ja) * 2010-09-22 2013-11-14 トムソン ライセンシング マルチメディア・フローを処理する方法および対応する装置
WO2014010069A1 (ja) * 2012-07-13 2014-01-16 日立コンシューマエレクトロニクス株式会社 映像送信方法、字幕表示装置、及び映像送信装置
JP2020189100A (ja) * 2016-04-25 2020-11-26 ヤマハ株式会社 端末装置、端末装置の動作方法およびプログラム

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1218574C (zh) * 2001-10-15 2005-09-07 华为技术有限公司 交互式视频设备及其字幕叠加方法
EP2003864B1 (en) * 2002-03-27 2013-09-11 Apple Inc. Communication apparatus
US20040203610A1 (en) * 2002-04-25 2004-10-14 Douglas Deeds Creating and transmitting a text message from a terminal
US8634030B2 (en) * 2002-10-25 2014-01-21 Disney Enterprises, Inc. Streaming of digital data to a portable device
JP4550044B2 (ja) * 2003-02-21 2010-09-22 パナソニック株式会社 オーディオビジュアル再生システムとオーディオビジュアル再生方法
US20050054442A1 (en) * 2003-09-10 2005-03-10 Anderson Peter R. Gaming machine with audio synchronization feature
US20050054440A1 (en) * 2003-09-10 2005-03-10 Wms Gaming Inc. Gaming machine with audio synchronization feature
WO2005038625A2 (en) 2003-10-17 2005-04-28 Nielsen Media Research, Inc. Et Al. Portable multi-purpose audience measurement system
US20050108026A1 (en) * 2003-11-14 2005-05-19 Arnaud Brierre Personalized subtitle system
KR100541215B1 (ko) 2003-11-24 2006-01-10 (주)테일러테크놀로지 디지탈 오디오파일의 가사제공시스템
US7421477B2 (en) * 2004-03-19 2008-09-02 Media Captioning Services Real-time media captioning subscription framework for mobile devices
US8014765B2 (en) * 2004-03-19 2011-09-06 Media Captioning Services Real-time captioning framework for mobile devices
US8266313B2 (en) * 2004-03-19 2012-09-11 Media Captioning Services, Inc. Live media subscription framework for mobile devices
US7844684B2 (en) * 2004-03-19 2010-11-30 Media Captioning Services, Inc. Live media captioning subscription framework for mobile devices
AU2005292291B2 (en) * 2004-10-01 2009-06-18 Wms Gaming Inc. Audio markers in a computerized wagering game
US7738834B2 (en) 2004-10-05 2010-06-15 Guy Rischmueller Method and system for providing broadcast captions
WO2007008589A2 (en) * 2005-07-08 2007-01-18 Seiji Kashioka Total timing control system for theater
US20070106516A1 (en) * 2005-11-10 2007-05-10 International Business Machines Corporation Creating alternative audio via closed caption data
KR101488317B1 (ko) 2005-12-20 2015-02-04 아비트론 인코포레이티드 리서치 작업을 수행하는 방법 및 시스템
KR100744065B1 (ko) * 2006-01-05 2007-07-30 삼성전자주식회사 웹서비스 기술을 지원하는 ａ／ｖ 네트워크에서 컨텐츠재생시 자막 표시방법 및 그 장치
CA2947649C (en) * 2006-03-27 2020-04-14 The Nielsen Company (Us), Llc Methods and systems to meter media content presented on a wireless communication device
US20080026355A1 (en) * 2006-07-27 2008-01-31 Sony Ericsson Mobile Communications Ab Song lyrics download for karaoke applications
US20080064326A1 (en) * 2006-08-24 2008-03-13 Stephen Joseph Foster Systems and Methods for Casting Captions Associated With A Media Stream To A User
US20080204273A1 (en) * 2006-12-20 2008-08-28 Arbitron,Inc. Survey data acquisition
FR2911751A1 (fr) * 2007-01-18 2008-07-25 Tagattitude Sa Procede et installation de telecommunication pour la fourniture d'un service a l'utilisateur d'un equipement personnel, support de donnees correspondant
US8019863B2 (en) 2008-03-28 2011-09-13 Ianywhere Solutions, Inc. Synchronizing events between mobile devices and servers
US8023934B2 (en) * 2008-03-28 2011-09-20 Ianywhere Solutions, Inc. Synchronizing communications and data between mobile devices and servers
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8707381B2 (en) * 2009-09-22 2014-04-22 Caption Colorado L.L.C. Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs
US20110093619A1 (en) * 2009-10-16 2011-04-21 Ianywhere Solutions, Inc. Synchronizing Tasks between Mobile Devices and Servers
US8434097B2 (en) * 2009-12-30 2013-04-30 Sybase, Inc. Dynamic data binding for MBOs for container based application
US9615140B1 (en) 2010-05-27 2017-04-04 Edward Malinowski Method and device for delivery of subtitle synchronized with a media stream
US20110307931A1 (en) * 2010-06-11 2011-12-15 Brian Shuster Participatory television integration system
US10515523B2 (en) * 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
US9035163B1 (en) 2011-05-10 2015-05-19 Soundbound, Inc. System and method for targeting content based on identified audio and multimedia
WO2013013284A1 (en) 2011-07-28 2013-01-31 Research In Motion Limited A system and method for broadcasting captions
US20150020096A1 (en) * 2012-01-06 2015-01-15 Thomson Licensing Method and system for synchronising social messages with a content timeline
JP2013161205A (ja) * 2012-02-03 2013-08-19 Sony Corp 情報処理装置、情報処理方法、及びプログラム
JP6219858B2 (ja) 2012-03-09 2017-10-25 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 同期されたコンテンツの分散型制御
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
CN103678381A (zh) * 2012-09-17 2014-03-26 腾讯科技（深圳）有限公司 字幕处理方法、装置及系统
US9183558B2 (en) * 2012-11-05 2015-11-10 Disney Enterprises, Inc. Audio/video companion screen system and method
US8954313B2 (en) 2012-12-11 2015-02-10 Disney Enterprises, Inc. Media content presentation in a selected language
US11375347B2 (en) * 2013-02-20 2022-06-28 Disney Enterprises, Inc. System and method for delivering secondary content to movie theater patrons
JP2016526826A (ja) * 2013-06-20 2016-09-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ コンテンツの分散型再生の同期化を支援するシステム及び方法
KR102129536B1 (ko) * 2013-08-06 2020-07-03 삼성전자주식회사 모바일 단말기 및 그의 제어 방법
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
GB2525913B (en) 2014-05-08 2018-03-28 Mewt Ltd Synchronisation of audio and video playback
GB2541784B (en) 2014-05-08 2018-03-28 Mewt Ltd Synchronisation of audio and video playback
GB2525912B (en) * 2014-05-08 2018-02-28 Mewt Ltd Synchronisation of audio and video playback
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US10506295B2 (en) 2014-10-09 2019-12-10 Disney Enterprises, Inc. Systems and methods for delivering secondary content to viewers
CH711334A2 (fr) * 2015-07-15 2017-01-31 Cosson Patrick Procédé et dispositif pour aider à comprendre un message sensoriel auditif en le transformant en un message visuel.
US9609397B1 (en) 2015-12-28 2017-03-28 International Business Machines Corporation Automatic synchronization of subtitles based on audio fingerprinting
CN106993227B (zh) * 2016-01-20 2020-01-21 腾讯科技（北京）有限公司 一种进行信息展示的方法和装置
JP6866071B2 (ja) * 2016-04-25 2021-04-28 ヤマハ株式会社 端末装置、端末装置の動作方法およびプログラム
KR102452644B1 (ko) * 2017-10-31 2022-10-11 삼성전자주식회사 전자 장치, 음성 인식 방법 및 기록 매체
KR102468214B1 (ko) * 2018-02-19 2022-11-17 삼성전자주식회사 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템
EP3841754A4 (en) * 2018-09-13 2022-06-15 iChannel.io Ltd. SYSTEM AND COMPUTERIZED METHOD FOR SUBTITLE SYNCHRONIZATION OF AUDIOVISUAL CONTENT USING HUMAN VOICE DETECTION FOR SYNCHRONIZATION
US11347379B1 (en) * 2019-04-22 2022-05-31 Audible, Inc. Captions for audio content
US11463507B1 (en) 2019-04-22 2022-10-04 Audible, Inc. Systems for generating captions for audio content
US11211074B2 (en) 2019-06-06 2021-12-28 Sony Corporation Presentation of audio and visual content at live events based on user accessibility
US11694574B2 (en) * 2019-08-08 2023-07-04 Lenovo (Singapore) Pte. Ltd. Alteration of accessibility settings of device based on characteristics of users
US11270123B2 (en) * 2019-10-22 2022-03-08 Palo Alto Research Center Incorporated System and method for generating localized contextual video annotation
KR20210100368A (ko) * 2020-02-06 2021-08-17 삼성전자주식회사 전자장치 및 그 제어방법
US11032620B1 (en) * 2020-02-14 2021-06-08 Sling Media Pvt Ltd Methods, systems, and apparatuses to respond to voice requests to play desired video clips in streamed media based on matched close caption and sub-title text
EP4030771A1 (en) * 2021-01-15 2022-07-20 Subreader ApS A method and device for content presentation
US11683558B2 (en) * 2021-06-29 2023-06-20 The Nielsen Company (Us), Llc Methods and apparatus to determine the speed-up of media programs using speech recognition
US11736773B2 (en) * 2021-10-15 2023-08-22 Rovi Guides, Inc. Interactive pronunciation learning system
US11902690B2 (en) * 2021-10-27 2024-02-13 Microsoft Technology Licensing, Llc Machine learning driven teleprompter
US11785278B1 (en) * 2022-03-18 2023-10-10 Comcast Cable Communications, Llc Methods and systems for synchronization of closed captions with content output

Family Cites Families (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US657379A (en) * 1900-05-16 1900-09-04 Edward C Bakken Stock for holding cattle while dehorning.
US2660662A (en) * 1947-10-24 1953-11-24 Nielsen A C Co Search signal apparatus for determining the listening habits of wave signal receiver users
US3845391A (en) * 1969-07-08 1974-10-29 Audicom Corp Communication including submerged identification signal
US3742463A (en) * 1970-03-02 1973-06-26 Nielsen A C Co Data storage and transmission system
US3651471A (en) * 1970-03-02 1972-03-21 Nielsen A C Co Data storage and transmission system
US3732536A (en) * 1970-09-18 1973-05-08 Gte Sylvania Inc Passive object detection apparatus including ambient noise compensation
US4025851A (en) * 1975-11-28 1977-05-24 A.C. Nielsen Company Automatic monitor for programs broadcast
US4237449A (en) * 1978-06-16 1980-12-02 Zibell J Scott Signalling device for hard of hearing persons
US4425642A (en) 1982-01-08 1984-01-10 Applied Spectrum Technologies, Inc. Simultaneous transmission of two information signals within a band-limited communications channel
DE3229405C2 (de) 1982-08-06 1984-08-30 Werner 8000 München Janz Gerät zum Prüfen der Funktionsfähigkeit von Fernsteuersendern
US4514725A (en) * 1982-12-20 1985-04-30 Bristley Barbara E Window shade mounted alarm system
GB2135536A (en) 1982-12-24 1984-08-30 Wobbot International Limited Sound responsive lighting system and devices incorporating same
GB8314468D0 (en) * 1983-05-25 1983-06-29 Agb Research Plc Television monitoring
AU3290084A (en) 1983-09-16 1985-03-21 Audicom Corp. Encoding of transmitted program material
FR2568432B1 (fr) 1984-07-30 1990-06-29 Baranoff Rossine Dimitri Procede et dispositif de transmission d'informations codees par voie hertzienne en superposition a une emission traditionnelle en modulation de frequence
GB8609524D0 (en) 1986-04-18 1986-05-21 British Broadcasting Corp Video receivers & recorders
US4718106A (en) * 1986-05-12 1988-01-05 Weinblatt Lee S Survey of radio audience
US5108341A (en) * 1986-05-28 1992-04-28 View-Master Ideal Group, Inc. Toy which moves in synchronization with an audio source
GB2196167B (en) 1986-10-01 1991-01-02 Emi Plc Thorn Apparatus for marking a recorded signal
US4846693A (en) * 1987-01-08 1989-07-11 Smith Engineering Video based instructional and entertainment system using animated figure
US4750034A (en) * 1987-01-21 1988-06-07 Cloeck En Moedigh Bioscoopreclame B.V. Apparatus for monitoring the replay of audio/video information carriers
US4840602A (en) * 1987-02-06 1989-06-20 Coleco Industries, Inc. Talking doll responsive to external signal
US4807031A (en) * 1987-10-20 1989-02-21 Interactive Systems, Incorporated Interactive video method and apparatus
FR2626731B3 (fr) 1988-01-28 1990-08-03 Informatique Realite Dispositif electronique autonome destine a permettre la participation a une emission radiophonique ou televisee
US4923428A (en) * 1988-05-05 1990-05-08 Cal R & D, Inc. Interactive talking toy
US4945412A (en) * 1988-06-14 1990-07-31 Kramer Robert A Method of and system for identification and verification of broadcasting television and radio program segments
US5090936A (en) 1988-07-30 1992-02-25 Takara Co., Ltd. Movable decoration
GB8824969D0 (en) * 1988-10-25 1988-11-30 Emi Plc Thorn Identification codes
US5499265A (en) * 1989-08-07 1996-03-12 Omnipoint Data Company, Incorporated Spread spectrum correlator
US5191615A (en) * 1990-01-17 1993-03-02 The Drummer Group Interrelational audio kinetic entertainment system
US5446756A (en) 1990-03-19 1995-08-29 Celsat America, Inc. Integrated cellular communications system
JP2648527B2 (ja) * 1990-07-27 1997-09-03 パイオニア株式会社 展示物説明システム
US5136613A (en) * 1990-09-28 1992-08-04 Dumestre Iii Alex C Spread Spectrum telemetry
US5085610A (en) * 1991-05-16 1992-02-04 Mattel, Inc. Dual sound toy train set
FI88237C (fi) 1991-05-24 1993-04-13 Nokia Mobile Phones Ltd Programmering av funktionerna i en mobiltelefon
US5382970A (en) 1991-07-19 1995-01-17 Kiefl; John B. Television viewer monitoring system including portable data meter for each viewer
US5648789A (en) * 1991-10-02 1997-07-15 National Captioning Institute, Inc. Method and apparatus for closed captioning at a performance
JPH05145515A (ja) 1991-11-19 1993-06-11 Canon Inc スペクトル拡散通信装置
US5319735A (en) 1991-12-17 1994-06-07 Bolt Beranek And Newman Inc. Embedded signalling
US5475798A (en) * 1992-01-06 1995-12-12 Handlos, L.L.C. Speech-to-text translator
US5314336A (en) * 1992-02-07 1994-05-24 Mark Diamond Toy and method providing audio output representative of message optically sensed by the toy
JPH05252578A (ja) 1992-03-03 1993-09-28 Toyo Keiki Kk 通信システム
US5353352A (en) 1992-04-10 1994-10-04 Ericsson Ge Mobile Communications Inc. Multiple access coding for radio communications
US5301167A (en) 1992-08-05 1994-04-05 Northeastern University Apparatus for improved underwater acoustic telemetry utilizing phase coherent communications
JP2561232B2 (ja) * 1992-08-31 1996-12-04 双葉電子工業株式会社 スぺクトラム拡散受信装置及びこの装置を用いたスぺクトラム拡散送受信装置
JPH06133367A (ja) * 1992-09-23 1994-05-13 Walt Disney Co:The オーディオ、照明、アニメーション、および特殊効果の遠隔同期のための方法および装置
AU678806B2 (en) 1992-11-16 1997-06-12 Arbitron Inc. Method and apparatus for encoding/decoding broadcast or recorded segments and monitoring audience exposure thereto
US5570349A (en) 1994-06-07 1996-10-29 Stanford Telecommunications, Inc. Wireless direct sequence spread spectrum digital cellular telephone system
US5630203A (en) 1993-01-12 1997-05-13 Weinblatt; Lee S. Technique for surveying a radio or a television audience
US5412620A (en) * 1993-03-24 1995-05-02 Micrilor, Inc. Hydroacoustic communications system robust to multipath
US5442343A (en) 1993-06-21 1995-08-15 International Business Machines Corporation Ultrasonic shelf label method and apparatus
US5481294A (en) 1993-10-27 1996-01-02 A. C. Nielsen Company Audience measurement system utilizing ancillary codes and passive signatures
US5436941A (en) * 1993-11-01 1995-07-25 Omnipoint Corporation Spread spectrum spectral density techniques
US5574773A (en) 1994-02-22 1996-11-12 Qualcomm Incorporated Method and apparatus of providing audio feedback over a digital channel
US5457807A (en) 1994-03-21 1995-10-10 Weinblatt; Lee S. Technique for surveying a radio or a television audience
US5450490A (en) * 1994-03-31 1995-09-12 The Arbitron Company Apparatus and methods for including codes in audio signals and decoding
US5519779A (en) 1994-08-05 1996-05-21 Motorola, Inc. Method and apparatus for inserting signaling in a communication system
JPH07336460A (ja) 1994-06-03 1995-12-22 Hitachi Ltd データ通信装置
US5555258A (en) 1994-06-17 1996-09-10 P. Stuckey McIntosh Home personal communication system
CA2129925A1 (en) 1994-08-11 1996-02-12 Hendrik Adolf Eldert Zwaneveld Audio synchronization of subtitles
US5539705A (en) * 1994-10-27 1996-07-23 Martin Marietta Energy Systems, Inc. Ultrasonic speech translator and communications system
US6021432A (en) * 1994-10-31 2000-02-01 Lucent Technologies Inc. System for processing broadcast stream comprises a human-perceptible broadcast program embedded with a plurality of human-imperceptible sets of information
EP0710022A3 (en) * 1994-10-31 1998-08-26 AT&T Corp. System and method for encoding digital information in a television signal
EP0713335A2 (en) 1994-11-15 1996-05-22 AT&T Corp. System and method for wireless capture of encoded data transmitted with a television, video or audio signal and subsequent initiation of a transaction using such data
US5828956A (en) 1994-12-30 1998-10-27 Sony Electronics, Inc. Programmable cellular telephone and system
US5774452A (en) * 1995-03-14 1998-06-30 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in audio signals
US5978413A (en) 1995-08-28 1999-11-02 Bender; Paul E. Method and system for processing a plurality of multiple access transmissions
US5937000A (en) 1995-09-06 1999-08-10 Solana Technology Development Corporation Method and apparatus for embedding auxiliary data in a primary data signal
US5822360A (en) * 1995-09-06 1998-10-13 Solana Technology Development Corporation Method and apparatus for transporting auxiliary data in audio signals
CA2184949C (en) * 1995-09-28 2000-05-30 Ingemar J. Cox Secure spread spectrum watermarking for multimedia data
US5752880A (en) * 1995-11-20 1998-05-19 Creator Ltd. Interactive doll
US5719937A (en) * 1995-12-06 1998-02-17 Solana Technology Develpment Corporation Multi-media copy management system
US5687191A (en) * 1995-12-06 1997-11-11 Solana Technology Development Corporation Post-compression hidden data transport
EP0779759B1 (en) 1995-12-11 2005-10-26 Openwave Systems Inc. A method and architecture for an interactive two-way data communication network
US6035177A (en) 1996-02-26 2000-03-07 Donald W. Moses Simultaneous transmission of ancillary and audio signals by means of perceptual coding
WO1997033391A1 (de) 1996-03-07 1997-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Codierverfahren zur einbringung eines nicht hörbaren datensignals in ein audiosignal, decodierverfahren, codierer udn decodierer
US5828325A (en) * 1996-04-03 1998-10-27 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in analog signals
US5893067A (en) 1996-05-31 1999-04-06 Massachusetts Institute Of Technology Method and apparatus for echo data hiding in audio signals
EP0852441B1 (en) 1996-06-20 2010-08-25 International Business Machines Corporation Data hiding method
US5918223A (en) * 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5960398A (en) 1996-07-31 1999-09-28 Wictor Company Of Japan, Ltd. Copyright information embedding apparatus
US6061793A (en) 1996-08-30 2000-05-09 Regents Of The University Of Minnesota Method and apparatus for embedding data, including watermarks, in human perceptible sounds
US5848155A (en) 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
US7607147B1 (en) 1996-12-11 2009-10-20 The Nielsen Company (Us), Llc Interactive service device metering systems
GB9700854D0 (en) 1997-01-16 1997-03-05 Scient Generics Ltd Sub-audible acoustic data transmission mechanism
JP3690043B2 (ja) 1997-03-03 2005-08-31 ソニー株式会社 音声情報伝送装置及び方法並びに音声情報記録装置
US6209028B1 (en) * 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
CA2225060A1 (en) * 1997-04-09 1998-10-09 Peter Suilun Fong Interactive talking dolls
US6125172A (en) 1997-04-18 2000-09-26 Lucent Technologies, Inc. Apparatus and method for initiating a transaction having acoustic data receiver that filters human voice
US5940135A (en) * 1997-05-19 1999-08-17 Aris Technologies, Inc. Apparatus and method for encoding and decoding information in analog signals
GB2326572A (en) 1997-06-19 1998-12-23 Softsound Limited Low bit rate audio coder and decoder
IL121642A0 (en) * 1997-08-27 1998-02-08 Creator Ltd Interactive talking toy
US5945932A (en) 1997-10-30 1999-08-31 Audiotrack Corporation Technique for embedding a code in an audio signal and for detecting the embedded code
US6467089B1 (en) 1997-12-23 2002-10-15 Nielsen Media Research, Inc. Audience measurement system incorporating a mobile handset
JP3673664B2 (ja) 1998-01-30 2005-07-20 キヤノン株式会社 データ処理装置、データ処理方法及び記憶媒体
AUPP170298A0 (en) 1998-02-06 1998-03-05 Pracas, Victor Manuel Electronic interactive puppet
US6389055B1 (en) * 1998-03-30 2002-05-14 Lucent Technologies, Inc. Integrating digital data with perceptible signals
US5974116A (en) * 1998-07-02 1999-10-26 Ultratec, Inc. Personal interpreter
WO2000021203A1 (en) 1998-10-02 2000-04-13 Comsense Technologies, Ltd. A method to use acoustic signals for computer communications
FI982363A (fi) 1998-10-30 2000-05-01 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä radiolaitteen toiminnan rajoittamiseksi tietyllä alueella
TW484267B (en) 1998-11-05 2002-04-21 Sony Corp Additional information transmission method, additional information transmission system, information signal output apparatus, information signal processing apparatus information signal recording apparatus and information signal recording medium
JP2000152217A (ja) * 1998-11-09 2000-05-30 Toshiba Corp 映像取得制限システム、映像取得許否信号送信装置および映像取得制限装置
US6876623B1 (en) 1998-12-02 2005-04-05 Agere Systems Inc. Tuning scheme for code division multiplex broadcasting system
US6370666B1 (en) 1998-12-02 2002-04-09 Agere Systems Guardian Corp. Tuning scheme for error-corrected broadcast programs
US6512919B2 (en) * 1998-12-14 2003-01-28 Fujitsu Limited Electronic shopping system utilizing a program downloadable wireless videophone
GB9828101D0 (en) 1998-12-21 1999-02-17 Roke Manor Research Acoustic marketing device
GB2363300B (en) 1998-12-29 2003-10-01 Kent Ridge Digital Labs Digital audio watermarking using content-adaptive multiple echo hopping
US6442283B1 (en) 1999-01-11 2002-08-27 Digimarc Corporation Multimedia data embedding
JP2000207170A (ja) 1999-01-14 2000-07-28 Sony Corp 情報処理装置および情報処理方法
GB2363940B (en) 1999-01-19 2004-01-07 Koplar Interactive Systems Int Telephone handset for use in interactive tv systems
GB9902235D0 (en) 1999-02-01 1999-03-24 Emuse Corp Interactive system
JP3465616B2 (ja) 1999-02-12 2003-11-10 株式会社デンソー データ配信システム及び情報配信センタ
JP4024957B2 (ja) 1999-03-12 2007-12-19 シャープ株式会社 通信装置および通信システム
US6765950B1 (en) 1999-04-01 2004-07-20 Custom One Design, Inc. Method for spread spectrum communication of supplemental information
JP2000308130A (ja) 1999-04-16 2000-11-02 Casio Comput Co Ltd 通信システム
US6463413B1 (en) * 1999-04-20 2002-10-08 Matsushita Electrical Industrial Co., Ltd. Speech recognition training for small hardware devices
US6674993B1 (en) 1999-04-30 2004-01-06 Microvision, Inc. Method and system for identifying data locations associated with real world observations
US6298322B1 (en) 1999-05-06 2001-10-02 Eric Lindemann Encoding and synthesis of tonal audio signals using dominant sinusoids and a vector-quantized residual tonal signal
US7031271B1 (en) 1999-05-19 2006-04-18 Motorola, Inc. Method of and apparatus for activating a spread-spectrum radiotelephone
US6442518B1 (en) * 1999-07-14 2002-08-27 Compaq Information Technologies Group, L.P. Method for refining time alignments of closed captions
GB2345779B (en) 1999-10-12 2004-08-11 Roke Manor Research Apparatus for controlling a remote item
AU2881300A (en) 1999-10-27 2001-05-08 Nielsen Media Research, Inc. System and method for encoding an audio signal for use in broadcast program identification systems, by adding inaudible codes to the audio signal
US20010030710A1 (en) * 1999-12-22 2001-10-18 Werner William B. System and method for associating subtitle data with cinematic material
US6438117B1 (en) 2000-01-07 2002-08-20 Qualcomm Incorporated Base station synchronization for handover in a hybrid GSM/CDMA network
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
US7110951B1 (en) * 2000-03-03 2006-09-19 Dorothy Lemelson, legal representative System and method for enhancing speech intelligibility for the hearing impaired
US7047191B2 (en) * 2000-03-06 2006-05-16 Rochester Institute Of Technology Method and system for providing automated captioning for AV signals
US6773344B1 (en) 2000-03-16 2004-08-10 Creator Ltd. Methods and apparatus for integration of interactive toys with interactive television and cellular communication systems
US8091025B2 (en) * 2000-03-24 2012-01-03 Digimarc Corporation Systems and methods for processing content objects
CN100592788C (zh) * 2000-04-14 2010-02-24 日本电信电话株式会社 与广播信息相关的信息取得方法、系统和装置
US6708214B1 (en) 2000-04-21 2004-03-16 Openwave Systems Inc. Hypermedia identifier input mode for a mobile communication device
EP1158800A1 (en) 2000-05-18 2001-11-28 Deutsche Thomson-Brandt Gmbh Method and receiver for providing audio translation data on demand
US7058356B2 (en) * 2000-06-15 2006-06-06 Benjamin Slotznick Telephone device with enhanced audio-visual features for interacting with nearby displays and display screens
US6782253B1 (en) 2000-08-10 2004-08-24 Koninklijke Philips Electronics N.V. Mobile micro portal
US6701162B1 (en) * 2000-08-31 2004-03-02 Motorola, Inc. Portable electronic telecommunication device having capabilities for the hearing-impaired
US20020069263A1 (en) 2000-10-13 2002-06-06 Mark Sears Wireless java technology
US6892175B1 (en) 2000-11-02 2005-05-10 International Business Machines Corporation Spread spectrum signaling for speech watermarking
ATE411658T1 (de) * 2000-11-30 2008-10-15 Intrasonics Ltd Vorrichtung und system zum verwenden eines in einem akustischen signal integrierten datensignals
US20020072982A1 (en) * 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
JP2005500736A (ja) 2001-08-14 2005-01-06 セントラル リサーチ ラボラトリーズ リミティド 放送信号に関連する情報へのアクセスを提供するシステム
US6862355B2 (en) 2001-09-07 2005-03-01 Arbitron Inc. Message reconstruction from partial detection
WO2003026153A1 (en) * 2001-09-20 2003-03-27 Exo-Brain, Inc. Input-output device with universal phone port
EP1459459B1 (en) * 2001-12-05 2017-05-31 Disney Enterprises, Inc. System and method of wirelessly triggering portable devices
US7308486B2 (en) * 2001-12-06 2007-12-11 Accenture Global Services Gmbh Mobile guide communications system
JP3554825B2 (ja) 2002-03-11 2004-08-18 東北大学長 電子透かしシステム
ATE425536T1 (de) 2002-06-03 2009-03-15 Koninkl Philips Electronics Nv Wiedereinbettung von wasserzeichen in multimediasignalen
AU2003282763A1 (en) 2002-10-15 2004-05-04 Verance Corporation Media monitoring, management and information system
US6845360B2 (en) 2002-11-22 2005-01-18 Arbitron Inc. Encoding multiple messages in audio data and detecting same
EP1542227A1 (en) 2003-12-11 2005-06-15 Deutsche Thomson-Brandt Gmbh Method and apparatus for transmitting watermark data bits using a spread spectrum, and for regaining watermark data bits embedded in a spread spectrum
KR101158717B1 (ko) 2004-06-08 2012-06-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 반향 음향 신호를 코딩하는 방법
CN101115124B (zh) * 2006-07-26 2012-04-18 日电（中国）有限公司 基于音频水印识别媒体节目的方法和装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068016A (ja) * 2008-09-08 2010-03-25 Q-Tec Inc 映画・字幕同期表示システム
JP2013535887A (ja) * 2010-07-21 2013-09-12 ディー−ボックス テクノロジーズ インコーポレイテッド メディア認識及びモーション信号への同期
JP2013541894A (ja) * 2010-09-22 2013-11-14 トムソン ライセンシング マルチメディア・フローを処理する方法および対応する装置
US9609179B2 (en) 2010-09-22 2017-03-28 Thomson Licensing Methods for processing multimedia flows and corresponding devices
WO2014010069A1 (ja) * 2012-07-13 2014-01-16 日立コンシューマエレクトロニクス株式会社 映像送信方法、字幕表示装置、及び映像送信装置
JP2020189100A (ja) * 2016-04-25 2020-11-26 ヤマハ株式会社 端末装置、端末装置の動作方法およびプログラム

Also Published As

Publication number Publication date
EP1464172A2 (en) 2004-10-06
ES2420909T3 (es) 2013-08-27
EP1464172B1 (en) 2013-04-24
AU2002363907A1 (en) 2003-07-30
AU2002363907A8 (en) 2003-07-30
WO2003061285A3 (en) 2004-03-11
US8248528B2 (en) 2012-08-21
WO2003061285A2 (en) 2003-07-24
DK1464172T3 (da) 2013-06-24
US20050227614A1 (en) 2005-10-13

Similar Documents

Publication Publication Date Title
US8248528B2 (en) Captioning system
EP2628047B1 (en) Alternative audio for smartphones in a movie theater.
EP1906696B1 (en) Information providing system
CN106464953B (zh) 双声道音频系统和方法
US8943021B2 (en) System and method for assistive caption, video description, and audio distribution
US20130301392A1 (en) Methods and apparatuses for communication of audio tokens
WO2020051357A1 (en) Communicating context to a device using an imperceptible audio identifier
KR101358807B1 (ko) 디지털 워터마크를 이용한 멀티 디바이스간 프로그램 동기화 방법 및 이를 구현하기 위한 시스템
CN109074826A (zh) 实况事件音频流与视频记录的实时无线同步
CN112423081B (zh) 一种视频数据处理方法、装置、设备及可读存储介质
JP2007013925A (ja) 情報提供システム
US10943446B2 (en) Media recognition and synchronisation to a motion signal
JP4995901B2 (ja) 放送媒体を介した準独自なコードの配布
KR101609755B1 (ko) 스마트 기기를 이용한 시각 또는 청각 장애인의 영화관 상영 디지털 영상 콘텐츠 간편 시청 시스템 및 그 방법
JP2008089755A (ja) 文字データ再生装置
Fink et al. Mass personalization: social and interactive applications using sound-track identification
US20050117876A1 (en) Data recording system, data recording apparatus, data transmission apparatus, data recording method and recording medium on which a recording program is recorded
KR101619153B1 (ko) 스마트 기기를 이용한 시각 또는 청각 장애인의 디지털 영상 콘텐츠 간편 시청 시스템 및 그 방법