JP2017507560A

JP2017507560A - ２つの電子デバイスにおいて再生を同期させるための方法及び装置

Info

Publication number: JP2017507560A
Application number: JP2016546759A
Authority: JP
Inventors: スチュワート，ジョン，シドニー
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-01-31
Filing date: 2014-01-31
Publication date: 2017-03-16
Anticipated expiration: 2034-01-31
Also published as: WO2015116162A1; CN105940679B; EP3100458B1; JP6721510B2; US10250927B2; CN105940679A; KR20160114612A; KR102179321B1; US20160323612A1; EP3100458A1

Abstract

第１の電子デバイスにおけるビデオ及び関連する第１の音声を含む番組の再生を、第１の音声も受信する第２の電子デバイスにおける番組に関連する第２の音声の再生と同期させるための方法（４００）であって、第２の電子デバイス内の第１の音声デコーダにより、第１の音声を復号し、復号された第１の音声を出力するステップ（４０５）と、第２の電子デバイス内の第２の音声デコーダにより、第２の音声を復号し、第２の電子デバイスにより再生するために復号された第２の音声を出力するステップ（４１０）と、第１の電子デバイスにおけるビデオの再生と、第２の電子デバイスにおける第２の音声の再生とを同期させるためのユーザコマンドを受信するステップ（４１５）とを含み、ユーザコマンドに応答して、第２の電子デバイス内のキャプチャデバイスにより、第１の電子デバイスにおける第１の音声の再生をキャプチャするステップ（５０５）と、第２の電子デバイスにより、出力された復号された第１の音声及びキャプチャされた第１の音声の間のオフセットを決定するステップ（５１０）と、第１の電子デバイスにおける第１の音声の再生が第２の電子デバイスにおける第２の音声の再生と同期するように、オフセットに応じて復号された第２の音声の出力を調整するステップ（５１５）とをさらに含む、方法（４００）。

Description

実施形態の本原理は、一般的には２つの電子デバイスの再生を同期させるための方法及び装置に関し、より詳細には、２つの電子デバイスの一方におけるビデオ及びビデオに関連する第１の音声の再生と、他方の電子デバイスにおける第１の音声とは異なり且つビデオに関連する第２の音声の再生との同期に関する。

今日、マルチメディアストリーム又は放送番組をエンドユーザに提供するための複数の方法、たとえばブロードバンドテレビ（ＴＶ）及びモバイルＴＶが共存している。ブロードバンドＴＶでは、受信機は通常、受信デバイスに接続された、セットトップボックス（Ｓｅｔ−ＴｏｐＢｏｘ）又はＳＴＢと呼ばれる標準的なＴＶデバイスである。モバイルＴＶでは、受信機デバイスはモバイル端末、たとえば携帯電話、携帯情報端末（ＰＤＡ：ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、又はタブレットである。

ＭＰＥＧ−２ストリームでは、いくつかのコンポーネント、たとえば音声、ビデオが、適時にレンダリングされるように互いに同期される。これは、コンポーネント間同期と呼ばれる。一般的な例は唇同期（ｌｉｐｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）であり、リップシンク（ｌｉｐ−ｓｙｎｃ）として知られているが、これは人物の唇が対応するビデオ上で動くのと全く同じ時間に音声を提供するものである。そのような同期は、典型的には特定のタイムスタンプを用いて実現される。ＭＰＥＧ−２ストリームでは、プレゼンテーションタイムスタンプ（ＰｒｅｓｅｎｔａｔｉｏｎＴｉｍｅＳｔａｍｐ）すなわちＰＴＳにより、そのような同期が保証される。音声サンプルのＰＴＳは、（ＭＰＥＧ−２ストリームに同様に含まれるプログラムクロックリファレンス（ＰｒｏｇｒａｍＣｌｏｃｋＲｅｆｅｒｅｎｃｅ）すなわちＰＣＲによって設定される）内部クロックを基準としたその提示時刻を示し、同じように、ビデオサンプルのＰＴＳは、同様に同じ内部クロックを基準としたその提示時刻を示す。

しかしながら、２つの電子デバイスがそれぞれビデオストリーム及び音声ストリームを受信する場合、それぞれの再生同士の同期は簡単には実現できない。したがって、２つの異なる受信デバイスによりそれぞれ受信される音声及びビデオを同期させるための方法及び装置が必要となる。本発明は、これら及び／又は他の問題に対処する。

本発明の一態様によれば、第１の電子デバイスにおけるビデオ及び関連する第１の音声を含む番組の再生を、第１の音声も受信する第２の電子デバイスにおける番組に関連する第２の音声の再生と同期させるための方法が開示される。方法は、第２の電子デバイス内の第１の音声デコーダにより、第１の音声を復号し、復号された第１の音声を出力するステップと、第２の電子デバイス内の第２の音声デコーダにより、第２の音声を復号し、第２の電子デバイスにより再生するために復号された第２の音声を出力するステップと、第１の電子デバイスにおけるビデオの再生と、第２の電子デバイスにおける第２の音声の再生とを同期させるためのユーザコマンドを受信するステップとを含み、ユーザコマンドに応答して、第２の電子デバイス内のキャプチャデバイスにより、第１の電子デバイスにおける第１の音声の再生をキャプチャするステップと、第２の電子デバイスにより、出力された復号された第１の音声及びキャプチャされた第１の音声の間のオフセットを決定するステップと、第１の電子デバイスにおける第１の音声の再生が第２の電子デバイスにおける第２の音声の再生と同期するように、オフセットに応じて復号された第２の音声の出力を調整するステップとをさらに含む。

一実施形態では、ユーザコマンドは、ユーザが入力メカニズムを作動させることにより生成される。

一実施形態では、方法は、番組の通常の再生において番組の先頭から第１の時間間隔だけ離れた第１の位置から第２の電子デバイスにより第２の音声を再生するステップをさらに含み、第２の音声の再生が第１の位置にある場合に、第１の電子デバイスによる番組の再生が、通常の再生において番組の先頭から第２の時間間隔だけ離れた第２の位置にあり、第１の時間間隔及び第２の時間間隔の差が事前定義された間隔以内である。

一実施形態では、方法は、ユーザ信号に応答して第２の音声の再生を第１の位置に位置決めするステップをさらに含む。

他の実施形態では、方法は、オフセットを決定するステップが失敗した場合に、ユーザコマンドを再度入力するようにユーザに依頼するステップをさらに含み、キャプチャするステップ及びオフセットを決定するステップが反復される。

他の実施形態では、方法は、第１の音声デコーダにより、第１及び第２の音声デコーダの出力が同期されるように、オフセットに応じて復号された第１の音声を出力することで、出力を調整するステップをさらに含む。

他の実施形態では、方法は、第２の電子デバイスにより第２の音声を再生する前に、第１の音声及び第２の音声を第２の電子デバイスにダウンロードするステップをさらに含む。第１の電子デバイスにより受信される番組、並びに第２の電子デバイスにより受信される第１の音声及び第２の音声の両方を、第１のソースから、又は第２のソース及び第１のソースからそれぞれダウンロードすることができる。

他の実施形態では、方法は、オフセットに応じて、新たにキャプチャされる音声サンプルに対応する復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するステップと、決定されたプレゼンテーションタイムスタンプに関連付けられた復号された第２の音声内のサンプルを出力するステップを含む第２の音声の再生を調整するステップとをさらに含む。

本発明の他の態様によれば、第２の電子デバイスが開示される。第２の電子デバイスは、それぞれ、第２の電子デバイスにより受信された第１及び第２の音声を復号し、復号された第１及び第２の音声を出力するための第１及び第２の音声デコーダであって、第１及び第２の音声が、ビデオ及び第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の音声デコーダと、第１の電子デバイスにより再生される第１の音声をキャプチャするための音声キャプチャデバイスと、キャプチャされた再生第１音声及び第１の音声デコーダからの復号された第１の音声を受信する音声相関器と、第２の電子デバイスにおける第２の音声の再生を、第１の電子デバイスにおけるビデオの再生と同期させるためのユーザコマンドを受信した場合に、受信されたキャプチャされた再生第１音声と、第１の音声デコーダから出力された受信された復号された第１の音声との間のオフセットを決定するよう音声相関器に指示し、オフセットに応じて復号された第２の音声を出力するよう第２の音声デコーダに指示するように構成された、プロセッサとを備える。

一実施形態では、第２の電子デバイスは、番組の通常の再生において番組の先頭から第１の時間間隔だけ離れた第１の位置から第２の電子デバイスにより第２の音声を再生するビデオプレーヤーをさらに備え、第２の音声の再生が第１の位置にある場合に、第１の電子デバイスにおける番組の再生が、通常の再生において番組の先頭から第２の時間間隔だけ離れた第２の位置にあり、第１の時間間隔及び第２の時間間隔の差が事前定義された間隔以内である。ビデオプレーヤーは、ユーザ信号に応答して第２の音声の再生を第１の位置に位置決めすることができる。第２の電子デバイスは、ユーザがユーザコマンドを入力するための入力メカニズム（４８、４９）を含むことができる。オフセットの決定が失敗した場合に、プロセッサは、ユーザコマンドを再度入力するようユーザに依頼し、オフセットを再度決定するよう音声相関器に指示するように構成することができる。

一実施形態では、プロセッサは、第１及び第２の音声デコーダの出力が同期されるように、オフセットに応じて復号された第１の音声を出力することで、出力を調整するよう第１の音声デコーダに指示するように構成することができる。

他の実施形態では、第２の電子デバイスが第２の音声を再生する前に、第１の音声及び第２の音声が第２の電子デバイス（４）にダウンロードされ得る。

他の実施形態では、第１の電子デバイスにより受信される番組、並びに第２の電子デバイスにより受信される第１の音声及び第２の音声が、第１のソースから、又は第２のソース及び第１のソースからそれぞれダウンロードされる。

他の実施形態では、プロセッサは、オフセットに応じて、新たにキャプチャされる音声サンプルに対応する復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう音声相関器に指示し、決定されたプレゼンテーションタイムスタンプに関連する復号された第２の音声内のサンプルを出力するよう第２の音声デコーダに指示するように構成することができる。

本発明の他の態様によれば、第２の電子デバイスが開示される。第２の電子デバイスは、それぞれ、第２の電子デバイスにより受信された第１及び第２の音声を復号し、復号された第１及び第２の音声を出力するための第１及び第２の手段であって、第１及び第２の音声が、ビデオ及び第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の手段と、第１の電子デバイスにより再生される第１の音声をキャプチャするための手段と、キャプチャされた再生第１音声及び第１の手段からの復号された第１の音声を受信するための相関器手段と、第２の電子デバイスにおける第２の音声の再生を、第１の電子デバイスにおけるビデオの再生と同期させるためのユーザコマンドを受信した場合に、受信されたキャプチャされた再生第１音声と、第１の手段から出力された受信された復号された第１の音声との間のオフセットを決定するよう相関器手段に指示し、オフセットに応じて復号された第２の音声を出力するよう第２の手段に指示するように構成された、処理手段とを備える。第２の電子デバイスは、ユーザがユーザコマンドを入力するための手段を含むことができる。

一実施形態では、第２の電子デバイスは、番組の通常の再生において番組の先頭から第１の時間間隔だけ離れた第１の位置から第２の電子デバイスにより第２の音声を再生するビデオプレーヤーをさらに備え、第２の音声の再生が第１の位置にある場合に、第１の電子デバイスにおける番組の再生が、通常の再生において番組の先頭から第２の時間間隔だけ離れた第２の位置にあり、第１の時間間隔及び第２の時間間隔の差が事前定義された間隔以内である。ビデオプレーヤーは、ユーザ信号に応答して第２の音声の再生を第１の位置に位置決めすることができる。

他の実施形態では、オフセットの決定が失敗した場合に、処理手段は、ユーザコマンドを再度入力するようユーザに依頼し、オフセットを再度決定するよう相関器手段に指示するように構成することができる。

他の実施形態では、処理手段は、第１及び第２の手段の出力が同期されるように、オフセットに応じて復号された第１の音声を出力することで、出力を調整するよう第１の手段に指示するように構成することができる。

他の実施形態では、第２の電子デバイスが第２の音声を再生する前に、第１の音声及び第２の音声を第２の電子デバイスにダウンロードすることができる。

他の実施形態では、第１の電子デバイスにより受信される番組、並びに第２の電子デバイスにより受信される第１の音声及び第２の音声を、第１のソースから、又は第２のソース及び第１のソースからそれぞれダウンロードすることができる。

他の実施形態では、処理手段は、オフセットに応じて、新たにキャプチャされる音声サンプルに対応する復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう相関器手段に指示し、決定されたプレゼンテーションタイムスタンプに関連する復号された第２の音声内のサンプルを出力するよう第２の手段に指示するように構成することができる。

３つの態様全てにおいて、第１の電子デバイスは、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つとすることができる。

添付の図面と併せて本発明の実施形態の以下の説明を参照することにより、本発明の上述及び他の特徴及び利点、並びにそれらを実現する方法がより明らかとなり、本発明がより良く理解されよう。

本発明の一例示的実施形態によるシステムの図である。本発明の一例示的実施形態による図１に示されたシステムにおけるＳＴＢ２、ＴＶ３及びモバイル端末４のさらなる詳細の図である。モバイル端末４のディスプレイ４８上のビデオプレーヤーの一例示的ユーザインタフェースの図である。本発明の一例示的実施形態によるＴＶ３におけるビデオの再生とモバイル端末４における第２の音声の再生とを同期させるためにモバイル端末４において実行される一例示的処理４００の図である。本発明の一例示的実施形態によるＴＶ３におけるビデオの再生とモバイル端末４における第２の音声の再生とを同期させるためのユーザコマンドに応答して２つの再生を同期させるための一例示的処理４２０の図である。

本明細書で提示された例示は本発明の好ましい実施形態を示すものであり、そのような例示はいかなる方法でも本発明の範囲を限定するものと解釈されるべきではない。

ここで図面を、より詳細には図１を参照すると、本発明の一実施形態に準拠するシステムのブロック図が示されている。第１のストリーム８は、音声−ビデオストリーム、たとえばＭＰＥＧ−２トランスポートストリームであるが、ブロードバンドネットワークなど第１のネットワーク５上でビデオサーバ９により送信される。第１のストリーム８は、セットトップボックス（ＳＴＢ）２により受信される。第１のストリーム８は第１の音声及び関連するビデオを含む番組を搬送し、番組がＳＴＢ２により処理された後に、番組がテレビ（ＴＶ）３により再生される。当技術分野で知られているように、ＳＴＢ２は、第１のストリーム８に埋め込まれた同期信号を用いて、第１の音声をビデオと同期させる。したがって、ＴＶ３におけるビデオ及び第１の音声の再生は同期される。

本明細書で用いられる「同期」という用語は、音声及びビデオの時間差が、音声がビデオに対して進んでいる場合には２０ミリ秒（ｍｓ）を超えず、又は音声がビデオに対して遅れている場合には４０ｍｓを超えないことを意味する。

ＭＰＥＧ−２符号化形式が一例として使用されているが、デジタルビデオ放送（ＤＶＢ：ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ）、デジタルビデオ放送−ハンドヘルド（ＤＶＢ−Ｈ：ＤｉｇｉｔａｌＶｉｄｅｏＢｒｏａｄｃａｓｔｉｎｇ−Ｈａｎｄｈｅｌｄ）、高度テレビジョンシステム委員会−モバイル／ハンドヘルド（ＡＴＳＣ−Ｍ／Ｈ：ＡｄｖａｎｃｅｄＴｅｌｅｖｉｓｉｏｎＳｙｓｔｅｍｓＣｏｍｍｉｔｔｅｅ−Ｍｏｂｉｌｅ／Ｈａｎｄｈｅｌｄ）、及びＡＴＳＣＡ／５３による符号化も使用することができる。

さらに、第１のストリーム８は、放送源から衛星、地上波、又はケーブルを介して放送される放送番組とすることができる。第１のストリーム８は、ローカルドライブ、ネットワークドライブ、又はＳＴＢ２によりアクセス可能な他の記憶デバイスからのものとすることもできる。したがって、いくつかの実施形態では、第１のネットワーク５は必要ない。第１のストリーム８は、アナログテレビ信号を表すこともできる。一実施形態では、ＳＴＢ２をＴＶ３に組み込んで、ＴＶ３が両方の機能セットを実行するようにすることもできる。

第１の音声及び第２の音声を含む第２のストリーム７は、ビデオサーバ１により第２のネットワーク６を介してモバイル端末４に送信される。第２の音声は、第１のストリーム８内のビデオに関連するものであるが、第１の音声とは異なる。たとえば、第２の音声は、第１の音声とは異なる言語を搬送する。本発明の一実施形態の原理によれば、ユーザは、ＴＶ３でビデオを見てモバイル端末４で第２の音声を聞くことを、２つの再生が同期した状態で行うことができる。

第２のストリーム７は要求に応じてモバイル端末４に送信され、また、第２のストリーム７は関連するビデオを含むことができる。第１のストリーム８は、要求に応じてＳＴＢ２に放送する又はＳＴＢ２に送信することができる。

また、第２のネットワーク６は、インターネット、衛星ネットワーク、Ｗｉ−Ｆｉネットワーク、又はモバイル端末４により無線又は有線でアクセス可能な他のデータネットワークとすることもできる。

本実施形態によれば、第２のストリーム７は、ＤＶＢ−Ｈネットワーク、ＡＴＳＣ−Ｍ／Ｈネットワーク、又は他の符号化規格をサポートする他のネットワークを介して、モバイル端末４がそれらの符号化形式をサポートする限り、分散させることができる。また、第２のストリーム７は、モバイル端末４によりアクセス可能な記憶デバイス、たとえばモバイル端末４に無線又は有線、たとえばＵＳＢで接続された記憶デバイスから受信することもできる。したがって、いくつかの実施形態では、第２のネットワーク６は必要ない。モバイル端末４は、モバイル端末として示されているが、たとえばセルラー端末、タブレット、Ｗｉ−Ｆｉ受信機、ＤＶＢ−Ｔ端末、ＤＶＢ−Ｈ端末、及びＡＴＳＣ−Ｍ／Ｈ端末などのデバイスとすることができる。

ＳＴＢ２は、ビデオを提示するための１つ又は複数のディスプレイと、第１の音声の可聴信号を出力するための１つ又は複数のスピーカーとを備える公衆ホットスポットに配置することができる。エンドユーザは、公衆ホットスポットにいる場合、ホットスポットにおいて表示されたビデオに関連する音声をモバイル端末で聞く。本発明の一実施形態の原理によれば、モバイル端末４により再生される音声は、モバイル端末４に取り付けられた又は含まれるマイクロフォンを用いて、ＳＴＢ２により再生されるビデオと同期される。ホットスポット内の異なるユーザは同じビデオを見るが、たとえばそのビデオに関連する異なる言語などを搬送する異なる音声ストリームを聞く。

図２に、ＳＴＢ２、ＴＶ３、及びモバイル端末４のさらなる詳細を示す。前述のように、ＳＴＢ２の機能はＴＶ３に組み込むことができる。ＳＴＢ２は、データ逆多重化器２１、ビデオデコーダ２３、及び音声デコーダ２５を含む。ＴＶ３は、ディスプレイ３１及びラウドスピーカー（ｌｏｕｄｓｐｅａｋｅｒ）３３を含む。データ逆多重化器２１は、第１のネットワーク５から受信された第１のストリーム８から第１の音声ストリーム及びビデオストリームを分離し出力する。前述のように、第１のストリーム８はネットワークからのものとして示されているが、第１のストリーム８はローカルドライブ、ネットワークドライブ、又はＳＴＢ２によりアクセス可能な他の記憶デバイスからのものでもよい。他の実施形態では、第１のストリーム８はアナログ信号である場合があり、ビデオデコーダ２３及び音声デコーダ２５は、たとえばビデオ復調器及び音声復調器にそれぞれ置き換えられるべきである。

そして、ビデオストリームはビデオデコーダ２３により復号される。復号されたビデオ信号はＴＶ３により受信され、ディスプレイ３１に表示される。音声デコーダ２５は第１の音声ストリームを復号し、復号された第１の音声信号をＴＶ３に出力する。ＴＶ３は、復号された音声信号に応答して、スピーカー３３を介して可聴出力信号、すなわち再生第１音声信号を生成する。

本実施形態におけるモバイル端末４は、メインプロセッサ４０、音声キャプチャ４１、音声相関器４２、第１の音声デコーダ４３、データ逆多重化器４４、第２の音声デコーダ４５、スピーカー、たとえばヘッドセット又はイヤホン４６、マイクロフォン４７、ディスプレイ４８、及びキーボード４９を含む。メインプロセッサ４０は、モバイル端末４のメインコントローラである。音声キャプチャ４１、音声相関器４２、データ逆多重化器４４、及び／又は第１及び第２の音声デコーダ４３及び４５などのいくつかの要素の機能は、メインプロセッサ４０に組み込むことができる。

動作においては、データ逆多重化器４４は、第２のネットワーク６から受信された第２のストリーム７から第１の音声ストリーム及び第２の音声ストリームを分離し抽出する。データ逆多重化器４４は、第１及び第２の音声ストリームを第１の音声デコーダ４３及び第２の音声デコーダ４５にそれぞれ出力する。第１及び第２の音声デコーダ４３及び４５は、それぞれの第１及び第２の音声ストリームに応答して復号された第１及び第２の音声信号をそれぞれ生成する。ヘッドセット４６は、復号された第２の音声信号を、可聴信号、すなわち再生第２音声信号としてレンダリングする。

マイクロフォン４７は、スピーカー３３から可聴出力信号を受信する。マイクロフォン４７により受信された可聴信号は音声キャプチャ４１によりデジタル化され、音声キャプチャ４１はバッファとしても機能し、デジタル化された音声信号を音声相関器４２に送信する。デジタル化された音声及び復号された第１の音声信号の両方が第１の音声を表すが互いに同期していない場合があることに留意されたい。

音声相関器４２は、音声キャプチャ４１からのデジタル化された音声信号と、第１の音声デコーダ４３からの復号された第１の音声信号との間のオフセットを決定する。音声相関器４２は、デジタル化された音声信号の周波数範囲の少なくとも一部を、復号された第１の音声信号の周波数範囲の少なくとも一部と相関させることにより、オフセットを決定することができる。たとえば、デジタル化された音声信号を復号された第１の音声信号と相関させることは、それぞれの信号の低音成分、センターチャネル信号成分などを用いて実行することができる。

或いは、音声相関器４２は、当技術分野で知られているように復号された第１の音声信号及びデジタル化された音声信号の信号特性を解釈して、オフセットを決定することができる。たとえば、各信号の信号対雑音比を決定し相関させて、オフセット計算に関する信頼度因子（ｃｏｎｆｉｄａｎｔｓｆａｃｔｏｒ）を与えることができる。

さらに他の代替例として、音声相関器４２は、デジタル化された音声信号及び復号された第１の音声信号のピークレベル、エンベロープ及び／又は波形を解釈して、オフセットを決定することができる。

オフセットが決定されると、音声相関器４２は、オフセットに応じてスピーカー４６に対して復号された第２の音声信号を後退又は前進させるように第２の音声デコーダ４５に通知して、モバイル端末４における第２の音声の再生がＴＶ３におけるビデオの再生と同期されるようにする。したがって、第１の電子デバイスにおける第１の音声の再生と、第２の電子デバイスにおける第２の音声の再生との間のオフセットが解消される。たとえば、オフセットが２秒である、すなわちスピーカー３３からのデジタル化された音声信号が、復号された第１の音声信号より進んでいると音声相関器４２が決定した場合、第２の音声デコーダ４５はスピーカー４６への音声出力を２秒だけ前進させる。オフセットがマイナス２秒である、すなわちスピーカー３３からのデジタル化された音声信号が、復号された第１の音声信号より遅れていると音声相関器４２が決定した場合、第２の音声デコーダ４５は出力音声信号を２秒前から再出力する。本実施形態では、復号された第１の音声信号は、オフセットを計算するための基準として使用され、デジタル化された音声信号を同様に基準とすることもでき、オフセットの符号は反対になる。

第２の音声デコーダ４５にオフセットを通知する代わりに、音声相関器４２は、決定されたオフセットに応じて最も最近受信されたデジタル化された音声信号と同期された復号された第１の音声信号のプレゼンテーションタイムスタンプ（ＰＴＳ）を決定し、第２の音声デコーダ４５にＰＴＳを通知して、第２の音声デコーダ４５が復号された第２の音声信号を決定されたＰＴＳに従って出力できるようにすることができる。

音声相関器２２がオフセットを決定する時間を短縮するために、及び／又は、スピーカー３３からのデジタル化された音声信号及び復号された第１の音声信号を格納するためのバッファ（図示せず）のサイズを削減するために、デジタル化された音声信号及び復号された第１の音声信号の間の実際のオフセットは、所定の時間、たとえば１０秒未満であるべきである。また、この手法は、第１及び第２の音声デコーダ４３及び４５で使用されるバッファ（図示せず）のサイズを削減することもできる。

本発明の一実施形態の原理によれば、モバイル端末４のユーザは、ＴＶ３におけるビデオの再生の経過時間を決定しなくてはならない。この情報は、当技術分野でよく知られているようにＴＶ３のディスプレイ３１上に表示することができ、又はその情報がディスプレイ３１に表示されない場合、ユーザは番組の開始時刻を番組表などから調べ、現在時刻を用いて経過時間を計算することができる。番組がローカルドライブから再生される場合、ユーザは、現在時刻から再生開始時刻を減算することで経過時間を簡単に計算することができる。ユーザがビデオ信号の経過時間を決定すると、ユーザは、モバイル端末４における第２の音声の再生を、ＴＶ３におけるビデオの再生の決定された経過時間から所定のオフセット又は時間間隔、好ましくは１０秒以内である経過時間を有する位置に調整しなくてはならない。そしてユーザは、入力メカニズムを作動させることで、たとえば、キーボード４９の特定のキー若しくはディスプレイ４８に表示された特定の仮想キーを押下することで、又はメインプロセッサがディスプレイ４８若しくはカメラ（図示せず）を介して特定のジェスチャを検出できると仮定してディスプレイ４８の前で特定のジェスチャを行うことで、ＴＶ３における番組の再生とモバイル端末４における第２の音声の再生とを同期させるようにモバイル端末４に指示する。

ユーザは、モバイル端末４上のウェブブラウザなどから第２の音声を選択することで、第２の音声の再生を開始することができる。第２の音声が選択された後、モバイル端末４は音声／ビデオプレーヤー３００を起動し、そのユーザインタフェースはたとえば図３に示されており、第２の音声又は第２の音声及びビデオの組合せの再生を、自動で又は他のユーザ信号に応答して開始する。図３に示されるように、ステータスバー３４０は再生の状況を示す。現在の再生位置はインジケータ３３０により示され、番組の総時間はインジケータ３１０により示され、残り時間はインジケータ３２０により示される。総時間が０１：１５：００（１時間１５分）と表示されており、残り時間が３９：３３（３９分３３秒）と表示されているので、ユーザは経過時間を３５分２７秒と決定することができる。ユーザは、当技術分野でよく知られているように、インジケータ３３０を所望の位置へドラッグするか、又はステータスバー３４０内の所望の位置をクリックすることで、再生位置を調整することができる。インジケータ３１０及び３２０に基づいて、ユーザは、第２の音声又は第２の音声及びビデオの組合せの再生を、ＴＶ３におけるビデオの再生から、例示的な事前定義されたオフセットである１０秒以内となるように調整することができる。

当技術分野でよく知られているように、ユーザ入力は、キーボード４９若しくはディスプレイ４８又は両方からのものとすることができる。そして、メインプロセッサ４０は、第１及び第２の音声デコーダ４３及び４５に、所望の同期機能を実行するように指示する。

ユーザがモバイル端末４において再生位置を選択すると、ユーザはキーボード４９又はディスプレイ４８を介して他の信号を入力して、ＴＶ３におけるビデオの再生とモバイル端末４における第２のビデオの再生とを同期させるようにメインプロセッサ４０に要求することができる。メインプロセッサ４０が２つの再生を同期させるためのユーザ信号を受信すると、メインプロセッサ４０は、ＴＶ３における第１の音声の再生をキャプチャするように音声キャプチャ４１を作動させ又はこれに指示し、オフセット又は所望のＰＴＳを決定するように音声相関器４２を作動させ又はこれに指示する。メインプロセッサ４０に同期させるように要求する信号は、キーボード４９内の特別なキー、ディスプレイ４８上の特別な仮想ボタンを作動させることで、又はプロセッサ４０によりタッチ感応ディスプレイ４８若しくはカメラ（図示せず）を介して検出可能な特定のハンドジェスチャによって、生成することができる。

図４を参照すると、ＴＶ３におけるビデオの再生とモバイル端末４における第２の音声の再生とを同期させるためにモバイル端末４において実行される一例示的処理４００が示されている。処理４００は、図１〜３に示された実施形態を用いて説明される。第１の電子デバイス、例示的にはＴＶ３は、ビデオ及び関連する第１の音声を含む番組を再生する。番組に含まれるビデオ及び第１の音声は、第１のストリーム８のコンポーネントである。第１のストリーム８はアナログ形式でもよい。第１の電子デバイスにおける番組の再生中に、第１の音声及びビデオが同期していることが仮定される。これは、第１のストリーム８に埋め込まれた同期信号を用いる、当技術分野でよく知られている事例である。第１の電子デバイスは、シアタービデオ再生デバイス又はコンピュータでもよい。

第２の電子デバイス、例示的にはモバイル端末４は、番組に関連する第２の音声を再生する。第２の電子デバイスもまた、第１の音声を受信し復号する。第２の電子デバイスにより受信される第１及び第２の音声は、第２のストリーム７のコンポーネントである。第２の電子デバイスは、モバイル端末として説明されているが、第１の電子デバイスにおける第１の音声の再生を受信可能であって、好ましくは、第２の音声の再生が第１の電子デバイスからの第１の音声の再生のキャプチャに影響しないようにするためにイヤホン出力を有する、任意の電子デバイスとすることができる。

メインプロセッサ４０が音声キャプチャ４１、音声相関器４２、第１及び第２の音声デコーダ４３及び４５の機能を実行する場合、処理４００はメインプロセッサ４０により実行される。しかしながら、これらのコンポーネントは、メインプロセッサ４０の内部ではあるが、なおも存在する。

ステップ４０５において、メインプロセッサ４０は、第１の音声を復号し、復号された第１の音声を出力するよう第１の音声デコーダ４３を起動し又はこれに指示するように動作可能である又は構成される。第１の音声デコーダ４３は出力バッファを有するべきであり、出力バッファ内のどのサンプルが音声相関器４２に出力されるべきかを第１の音声デコーダ４３が選択できるようにする。

ステップ４１０において、メインプロセッサ４０は、第２の音声を復号し、第２の電子デバイスにより再生するために、復号された第２の音声を出力するよう第２の音声デコーダ４５を起動し又はこれに指示するように動作可能である又は構成される。第２の音声デコーダ４５は出力バッファを有するべきであり、出力バッファ内のどのサンプルが再生用にヘッドセット４６に出力されるべきかを第２の音声デコーダ４５が選択できるようにする。

ステップ４１５において、メインプロセッサ４０は、第１の電子デバイスにおけるビデオの再生と第２の電子デバイスにおける第２の音声の再生とを同期させるためのユーザコマンドを受信するように動作可能である又は構成される。ユーザ入力は入力メカニズムを作動させることから生成され、これは、ディスプレイ４６に表示された特定のアイコン、ディスプレイ４６の前での特定のユーザジェスチャ、又はキーボード４９上の特定のキーとすることができる。

同期させるためのユーザコマンドに応答して、ステップ４２０において他の要素と協力するメインプロセッサ４０は、２つの再生を同期させるように動作可能である又は構成される。ステップ４２０の一例示的処理フローが、図５に示されている。

ステップ５０５において、メインプロセッサ４０は、第２の電子デバイスのキャプチャデバイス、たとえばマイクロフォン４７により、第１の電子デバイスにおける第１の音声の再生をキャプチャするよう音声キャプチャ４１を起動し又はこれに指示するように動作可能である又は構成される。また、メインプロセッサ４０は、ステップ５１０において、モバイル端末４内の第１の音声デコーダ４３からの復号された第１の音声と、音声キャプチャ４１によりデジタル化されたキャプチャされた第１の音声との間のオフセットを決定するよう音声相関器４２を起動し又はこれに指示するように動作可能である又は構成される。そして、メインプロセッサ４０は、第１の電子デバイスにおける第１の音声の再生が第２の電子デバイスにおける第２の音声の再生と同期するように、復号された第２の音声の出力をオフセットに応じて調整することで第２の音声の再生を調整させるよう第２の音声デコーダ４５を起動し又はこれに指示するように動作可能である又は構成される。ＴＶ３における第１の音声及びビデオの再生が同期しており、ＴＶ３における第１の音声の再生及びモバイル端末４における第２の音声の再生が同期しているので、ＴＶ３におけるビデオの再生及びモバイル端末４における第２の音声の再生もまた同期する。

他のコンポーネント、たとえば第２の音声デコーダ４５、及びユーザインタフェースが図３のように表示され得るビデオプレーヤー（図示せず）と協力するメインプロセッサ４０が、番組の通常の再生において番組の先頭から第１の時間間隔だけ離れた第１の位置から第２の音声を再生するように動作可能であり又は構成され、第２の音声の再生が第１の位置にある場合に、第１の電子デバイスにおける番組の再生が、通常の再生において番組の先頭から第２の時間間隔だけ離れた第２の位置にあり、第１の時間間隔及び第２の時間間隔の差が事前定義された間隔以内であることに留意されたい。

事前定義された間隔は、ユーザ調整可能とすることができ、同期を素早く実現できるように１０秒以下であることが好ましい。図３に関して先に論じられたように、ユーザはユーザ信号を介して第２の音声の再生を第１の位置から開始するように調整又は位置決めすることができる。ユーザ信号に応答して、メインプロセッサ４０は、第１の位置に対応する復号された第２の音声内のサンプルを出力するなどして復号された第２の音声の出力を調整するよう第２の音声デコーダ４５に指示するように動作可能である又は構成される。

第２の音声をモバイル端末４に提供するサーバが、ＳＴＢ２に送信されるビデオの位置を知っている場合、第２の音声を提供するサーバは、送信されるビデオの現在の位置に対応する第２の音声における位置を決定し、サーバのウェブサイト上のアイコンを作動させるなどのサーバへのユーザ入力に応答して、対応する位置から第２の音声を送信することができる。したがって、第１の位置の位置決めは、モバイル端末４、又は第２の音声を送信するサーバにおいて行うことができる。

一実施形態では、第１の時間間隔及び第２の時間間隔の差が事前定義された間隔より大きい場合、メインプロセッサ４０は、２つの再生を同期させるためのユーザコマンドに応答して、第１の位置を調整するようユーザに依頼するように動作可能である又は構成される。

他の実施形態において、オフセットを決定するステップが失敗した場合、メインプロセッサ４０は、２つの再生を同期させるためのユーザコマンドを再度入力するようユーザに依頼するように動作可能であり又は構成され、キャプチャするステップ及びオフセットを決定するステップが反復される。

本発明の一実施形態の原理によれば、第２の音声デコーダ４５からヘッドセット４６に出力される復号された第２の音声が第１の位置に調整される場合、第１の音声デコーダ４３の出力は、第２の音声デコーダ４５の出力と同期するように自動的に調整されて、その結果復号された第１の音声内の出力サンプルが第１の位置に対応する。したがって、２つの音声デコーダの出力が同期する。すなわち、第２の音声デコーダ４５からの出力サンプルは、第１の音声デコーダ４３からの出力サンプルに対応する。たとえば、第１の音声デコーダ４３からの現在の出力サンプルに関連付けられたＰＴＳと、第２の音声デコーダ４５からの現在の出力サンプルに関連付けられたＰＴＳとは同一である。

したがって、メインプロセッサ４０は、第１の音声デコーダ４３に、第１及び第２の音声デコーダの出力が同期されるように、復号された第１の音声をオフセットに応じて出力することで、その出力を調整するように指示することができる。

他の実施形態では、メインプロセッサ４０は、第１の電子デバイスにおけるビデオの再生と第２の電子デバイスにおける第２の音声の再生とを同期させるためのユーザコマンドの発生の受信に応答して、第１の音声デコーダ４３に第２の音声デコーダ４５と同期するように指示することができる。

第１及び第２の音声デコーダ４３及び４５の出力を同期させる利点は、第１の電子デバイスにおけるビデオの再生と第２の電子デバイスにおける第２の音声の再生とを同期させるためのユーザコマンドをユーザがいつでも送信でき、２つの音声デコーダが本発明の本実施形態に従ってすぐに同期を実行できるということである。

他の実施形態では、モバイル端末４が第２の音声を再生する前に、第１及び第２の音声はモバイル端末４に事前にダウンロードされる。一実施形態では、第２の音声の再生は、モバイル端末４により受信されたビデオの再生を含むことができる。

一実施形態では、第１及び第２の音声は、同一のソース、たとえば番組を第１の電子デバイスに送信するサービスプロバイダの同一のウェブサイトから、第２の電子デバイスにダウンロードすることができる。他の実施形態では、第２の音声は、番組を第１の電子デバイスに送信するソースとは異なるソースからダウンロードすることができる。たとえば、ＳＴＢ２により受信される番組は、サービスプロバイダの放送源から受信され、第２の電子デバイスにより受信される第２の音声は、サービスプロバイダがスポンサーであるウェブサイトからダウンロードされる。

実際には、第２の電子デバイスにより第２の音声を受信する帯域幅が狭すぎる場合、ユーザは第２の音声を受信するために他のソースに切り替えることができる。これは、ユーザが非常に低い帯域幅を有するストリーミング源を選択し、ユーザが第２の音声の再生を第１の位置に調整できない場合に起こり得る。

他の実施形態では、メインプロセッサ４０は、オフセットに応じてＰＴＳを決定し、ＰＴＳを第２の音声デコーダ４５に提供するよう音声相関器４２に指示するように動作可能であり又は構成され、第２の音声デコーダ４５は、ＰＴＳに関連付けられた復号されたサンプルから出力しなくてはならない。他の実施形態では、メインプロセッサ４０は、同一のＰＴＳを第１の音声デコーダ４３に提供するよう音声相関器４２に指示するように動作可能であり又は構成され、その結果、第１の音声デコーダ４３は、ＰＴＳに関連付けられた復号されたサンプルから出力しなくてはならない。音声相関器４２は、オフセットを決定すると、以下のようにＰＴＳを決定することができる。すなわち、次に受信されるキャプチャされた音声サンプルに対応するはずである第１の音声デコーダ４３からの復号された音声サンプルを決定し、対応する復号された第１の音声サンプルのＰＴＳを所望のＰＴＳと決定する。

ＴＶ３のスピーカー３３からの再生音声をキャプチャするためのキャプチャデバイスの一例としてマイクロフォン４７が使用されているが、キャプチャデバイスは無線受信機、たとえばモバイル端末４におけるブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）受信機でもよく、キャプチャされる第１の音声信号は単純に、無線端末４へ無線で送信されるＳＴＢ２からの音声デコーダ２５からの復号された第１の音声信号である。

本発明は好ましい設計を有するものとして説明されているが、本発明は、本開示の趣旨及び範囲内でさらに修正することができる。したがって、本出願は、その一般的な原理を用いた本発明のいかなる変形、使用、又は適合も含むものとする。さらに、本出願は、本発明が関連する当技術分野における既知又は習慣的な行為に入るような、添付の特許請求の範囲の限定に入る、本開示からの逸脱を含むものとする。

本発明は好ましい設計を有するものとして説明されているが、本発明は、本開示の趣旨及び範囲内でさらに修正することができる。したがって、本出願は、その一般的な原理を用いた本発明のいかなる変形、使用、又は適合も含むものとする。さらに、本出願は、本発明が関連する当技術分野における既知又は習慣的な行為に入るような、添付の特許請求の範囲の限定に入る、本開示からの逸脱を含むものとする。
ここで例としていくつかの付記を記載する。
（付記１）
第１の電子デバイスにおけるビデオ及び関連する第１の音声を含む番組の再生を、前記第１の音声も受信する第２の電子デバイスにおける前記番組に関連する第２の音声の再生と同期させるための方法であって、
前記第２の電子デバイス内の第１の音声デコーダにより、前記第１の音声を復号し、前記復号された第１の音声を出力するステップと、
前記第２の電子デバイス内の第２の音声デコーダにより、前記第２の音声を復号し、前記第２の電子デバイスにより再生するために前記復号された第２の音声を出力するステップと、
前記第１の電子デバイスにおける前記ビデオの再生と、前記第２の電子デバイスにおける前記第２の音声の再生とを同期させるためのユーザコマンドを受信するステップと
を含み、
前記ユーザコマンドに応答して、
前記第２の電子デバイス内のキャプチャデバイスにより、前記第１の電子デバイスにおける前記第１の音声の再生をキャプチャするステップと、
前記第２の電子デバイスにより、前記出力された復号された第１の音声及び前記キャプチャされた第１の音声の間のオフセットを決定するステップと、
前記第１の電子デバイスにおける前記第１の音声の再生が前記第２の電子デバイスにおける前記第２の音声の再生と同期するように、前記オフセットに応じて前記復号された第２の音声の出力を調整するステップと
をさらに含む、方法。
（付記２）
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するステップをさらに含み、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスによる前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、付記１に記載の方法。
（付記３）
ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めするステップをさらに含む、付記２に記載の方法。
（付記４）
前記オフセットを決定するステップが失敗した場合に、前記ユーザコマンドを再度入力するようにユーザに依頼するステップをさらに含み、キャプチャする前記ステップ及び前記オフセットを決定する前記ステップが反復される、付記１に記載の方法。
（付記５）
前記第１の音声デコーダにより、前記第１及び第２の音声デコーダの出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するステップをさらに含む、付記１に記載の方法。
（付記６）
前記第２の電子デバイスにより前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声を前記第２の電子デバイスにダウンロードするステップをさらに含む、付記１に記載の方法。
（付記７）
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、付記６に記載の方法。
（付記８）
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、付記６に記載の方法。
（付記９）
前記ユーザコマンドが、ユーザが入力メカニズムを作動させることにより生成される、付記１に記載の方法。
（付記１０）
前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するステップと、前記決定されたプレゼンテーションタイムスタンプに関連付けられた前記復号された第２の音声内のサンプルを出力するステップを含む前記第２の音声の再生を調整するステップとをさらに含む、付記１に記載の方法。
（付記１１）
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、付記１に記載の方法。
（付記１２）
第２の電子デバイスであって、
それぞれ、前記第２の電子デバイスにより受信された第１及び第２の音声を復号し、前記復号された第１及び第２の音声を出力するための第１及び第２の音声デコーダであって、前記第１及び第２の音声が、ビデオ及び前記第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の音声デコーダと、
前記第１の電子デバイスにより再生される前記第１の音声をキャプチャするための音声キャプチャデバイスと、
前記キャプチャされた再生第１音声及び前記第１の音声デコーダからの前記復号された第１の音声を受信する音声相関器と、
前記第２の電子デバイスにおける前記第２の音声の再生を、前記第１の電子デバイスにおける前記ビデオの再生と同期させるためのユーザコマンドを受信した場合に、前記受信されたキャプチャされた再生第１音声と、前記第１の音声デコーダから出力された前記受信された復号された第１の音声との間のオフセットを決定するよう前記音声相関器に指示し、前記オフセットに応じて前記復号された第２の音声を出力するよう前記第２の音声デコーダに指示するように構成された、プロセッサと
を備える、第２の電子デバイス。
（付記１３）
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するビデオプレーヤーをさらに備え、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスにおける前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、付記１２に記載の第２の電子デバイス。
（付記１４）
前記ビデオプレーヤーが、ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めする、付記１３に記載の第２の電子デバイス。
（付記１５）
前記オフセットの決定が失敗した場合に、前記プロセッサが、前記ユーザコマンドを再度入力するようユーザに依頼し、前記オフセットを再度決定するよう前記音声相関器に指示するように構成される、付記１２に記載の第２の電子デバイス。
（付記１６）
前記プロセッサが、前記第１及び第２の音声デコーダの出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するよう前記第１の音声デコーダに指示するように構成された、付記１２に記載の第２の電子デバイス。
（付記１７）
前記第２の電子デバイスが前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声が前記第２の電子デバイスにダウンロードされる、付記１２に記載の第２の電子デバイス。
（付記１８）
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、付記１７に記載の第２の電子デバイス。
（付記１９）
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、付記１７に記載の第２の電子デバイス。
（付記２０）
ユーザが前記ユーザコマンドを入力するための入力メカニズムをさらに備える、付記１２に記載の第２の電子デバイス。
（付記２１）
前記プロセッサが、前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう前記音声相関器に指示し、前記決定されたプレゼンテーションタイムスタンプに関連する前記復号された第２の音声内のサンプルを出力するよう前記第２の音声デコーダに指示するように構成された、付記１２に記載の第２の電子デバイス。
（付記２２）
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、付記１２に記載の第２の電子デバイス。
（付記２３）
第２の電子デバイスであって、
それぞれ、前記第２の電子デバイスにより受信された第１及び第２の音声を復号し、前記復号された第１及び第２の音声を出力するための第１及び第２の手段であって、前記第１及び第２の音声が、ビデオ及び前記第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の手段と、
前記第１の電子デバイスにより再生される前記第１の音声をキャプチャするための手段と、
前記キャプチャされた再生第１音声及び前記第１の手段からの前記復号された第１の音声を受信するための相関器手段と、
前記第２の電子デバイスにおける前記第２の音声の再生を、前記第１の電子デバイスにおける前記ビデオの再生と同期させるためのユーザコマンドを受信した場合に、前記受信されたキャプチャされた再生第１音声と、前記第１の手段から出力された前記受信された復号された第１の音声との間のオフセットを決定するよう前記相関器手段に指示し、前記オフセットに応じて前記復号された第２の音声を出力するよう前記第２の手段に指示するように構成された、処理手段と
を備える、第２の電子デバイス。
（付記２４）
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するビデオプレーヤーをさらに備え、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスにおける前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、付記２３に記載の第２の電子デバイス。
（付記２５）
前記ビデオプレーヤーが、ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めする、付記２４に記載の第２の電子デバイス。
（付記２６）
前記オフセットの決定が失敗した場合に、前記処理手段が、前記ユーザコマンドを再度入力するようユーザに依頼し、前記オフセットを再度決定するよう前記相関器手段に指示するように構成される、付記２３に記載の第２の電子デバイス。
（付記２７）
前記処理手段が、前記第１及び第２の手段の出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するよう前記第１の手段に指示するように構成された、付記２３に記載の第２の電子デバイス。
（付記２８）
前記第２の電子デバイスが前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声が前記第２の電子デバイスにダウンロードされる、付記２３に記載の第２の電子デバイス。
（付記２９）
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、付記２８に記載の第２の電子デバイス。
（付記３０）
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、付記２８に記載の第２の電子デバイス。
（付記３１）
ユーザが前記ユーザコマンドを入力するための入力手段をさらに備える、付記２３に記載の第２の電子デバイス。
（付記３２）
前記処理手段が、前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう前記相関器手段に指示し、前記決定されたプレゼンテーションタイムスタンプに関連する前記復号された第２の音声内のサンプルを出力するよう前記第２の手段に指示するように構成された、付記２３に記載の第２の電子デバイス。
（付記３３）
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、付記２３に記載の第２の電子デバイス。

Claims

第１の電子デバイスにおけるビデオ及び関連する第１の音声を含む番組の再生を、前記第１の音声も受信する第２の電子デバイスにおける前記番組に関連する第２の音声の再生と同期させるための方法であって、
前記第２の電子デバイス内の第１の音声デコーダにより、前記第１の音声を復号し、前記復号された第１の音声を出力するステップと、
前記第２の電子デバイス内の第２の音声デコーダにより、前記第２の音声を復号し、前記第２の電子デバイスにより再生するために前記復号された第２の音声を出力するステップと、
前記第１の電子デバイスにおける前記ビデオの再生と、前記第２の電子デバイスにおける前記第２の音声の再生とを同期させるためのユーザコマンドを受信するステップと
を含み、
前記ユーザコマンドに応答して、
前記第２の電子デバイス内のキャプチャデバイスにより、前記第１の電子デバイスにおける前記第１の音声の再生をキャプチャするステップと、
前記第２の電子デバイスにより、前記出力された復号された第１の音声及び前記キャプチャされた第１の音声の間のオフセットを決定するステップと、
前記第１の電子デバイスにおける前記第１の音声の再生が前記第２の電子デバイスにおける前記第２の音声の再生と同期するように、前記オフセットに応じて前記復号された第２の音声の出力を調整するステップと
をさらに含む、方法。
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するステップをさらに含み、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスによる前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、請求項１に記載の方法。
ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めするステップをさらに含む、請求項２に記載の方法。
前記オフセットを決定するステップが失敗した場合に、前記ユーザコマンドを再度入力するようにユーザに依頼するステップをさらに含み、キャプチャする前記ステップ及び前記オフセットを決定する前記ステップが反復される、請求項１に記載の方法。
前記第１の音声デコーダにより、前記第１及び第２の音声デコーダの出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するステップをさらに含む、請求項１に記載の方法。
前記第２の電子デバイスにより前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声を前記第２の電子デバイスにダウンロードするステップをさらに含む、請求項１に記載の方法。
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、請求項６に記載の方法。
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、請求項６に記載の方法。
前記ユーザコマンドが、ユーザが入力メカニズムを作動させることにより生成される、請求項１に記載の方法。
前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するステップと、前記決定されたプレゼンテーションタイムスタンプに関連付けられた前記復号された第２の音声内のサンプルを出力するステップを含む前記第２の音声の再生を調整するステップとをさらに含む、請求項１に記載の方法。
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、請求項１に記載の方法。
第２の電子デバイスであって、
それぞれ、前記第２の電子デバイスにより受信された第１及び第２の音声を復号し、前記復号された第１及び第２の音声を出力するための第１及び第２の音声デコーダであって、前記第１及び第２の音声が、ビデオ及び前記第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の音声デコーダと、
前記第１の電子デバイスにより再生される前記第１の音声をキャプチャするための音声キャプチャデバイスと、
前記キャプチャされた再生第１音声及び前記第１の音声デコーダからの前記復号された第１の音声を受信する音声相関器と、
前記第２の電子デバイスにおける前記第２の音声の再生を、前記第１の電子デバイスにおける前記ビデオの再生と同期させるためのユーザコマンドを受信した場合に、前記受信されたキャプチャされた再生第１音声と、前記第１の音声デコーダから出力された前記受信された復号された第１の音声との間のオフセットを決定するよう前記音声相関器に指示し、前記オフセットに応じて前記復号された第２の音声を出力するよう前記第２の音声デコーダに指示するように構成された、プロセッサと
を備える、第２の電子デバイス。
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するビデオプレーヤーをさらに備え、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスにおける前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、請求項１２に記載の第２の電子デバイス。
前記ビデオプレーヤーが、ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めする、請求項１３に記載の第２の電子デバイス。
前記オフセットの決定が失敗した場合に、前記プロセッサが、前記ユーザコマンドを再度入力するようユーザに依頼し、前記オフセットを再度決定するよう前記音声相関器に指示するように構成される、請求項１２に記載の第２の電子デバイス。
前記プロセッサが、前記第１及び第２の音声デコーダの出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するよう前記第１の音声デコーダに指示するように構成された、請求項１２に記載の第２の電子デバイス。
前記第２の電子デバイスが前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声が前記第２の電子デバイスにダウンロードされる、請求項１２に記載の第２の電子デバイス。
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、請求項１７に記載の第２の電子デバイス。
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、請求項１７に記載の第２の電子デバイス。
ユーザが前記ユーザコマンドを入力するための入力メカニズムをさらに備える、請求項１２に記載の第２の電子デバイス。
前記プロセッサが、前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう前記音声相関器に指示し、前記決定されたプレゼンテーションタイムスタンプに関連する前記復号された第２の音声内のサンプルを出力するよう前記第２の音声デコーダに指示するように構成された、請求項１２に記載の第２の電子デバイス。
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、請求項１２に記載の第２の電子デバイス。
第２の電子デバイスであって、
それぞれ、前記第２の電子デバイスにより受信された第１及び第２の音声を復号し、前記復号された第１及び第２の音声を出力するための第１及び第２の手段であって、前記第１及び第２の音声が、ビデオ及び前記第１の音声を含む番組に関連し、第１の電子デバイスにより再生される、第１及び第２の手段と、
前記第１の電子デバイスにより再生される前記第１の音声をキャプチャするための手段と、
前記キャプチャされた再生第１音声及び前記第１の手段からの前記復号された第１の音声を受信するための相関器手段と、
前記第２の電子デバイスにおける前記第２の音声の再生を、前記第１の電子デバイスにおける前記ビデオの再生と同期させるためのユーザコマンドを受信した場合に、前記受信されたキャプチャされた再生第１音声と、前記第１の手段から出力された前記受信された復号された第１の音声との間のオフセットを決定するよう前記相関器手段に指示し、前記オフセットに応じて前記復号された第２の音声を出力するよう前記第２の手段に指示するように構成された、処理手段と
を備える、第２の電子デバイス。
前記番組の通常の再生において前記番組の先頭から第１の時間間隔だけ離れた第１の位置から前記第２の電子デバイスにより前記第２の音声を再生するビデオプレーヤーをさらに備え、前記第２の音声の再生が前記第１の位置にある場合に、前記第１の電子デバイスにおける前記番組の再生が、通常の再生において前記番組の前記先頭から第２の時間間隔だけ離れた第２の位置にあり、前記第１の時間間隔及び前記第２の時間間隔の差が事前定義された間隔以内である、請求項２３に記載の第２の電子デバイス。
前記ビデオプレーヤーが、ユーザ信号に応答して前記第２の音声の再生を前記第１の位置に位置決めする、請求項２４に記載の第２の電子デバイス。
前記オフセットの決定が失敗した場合に、前記処理手段が、前記ユーザコマンドを再度入力するようユーザに依頼し、前記オフセットを再度決定するよう前記相関器手段に指示するように構成される、請求項２３に記載の第２の電子デバイス。
前記処理手段が、前記第１及び第２の手段の出力が同期されるように、前記オフセットに応じて前記復号された第１の音声を出力することで、出力を調整するよう前記第１の手段に指示するように構成された、請求項２３に記載の第２の電子デバイス。
前記第２の電子デバイスが前記第２の音声を再生する前に、前記第１の音声及び前記第２の音声が前記第２の電子デバイスにダウンロードされる、請求項２３に記載の第２の電子デバイス。
前記第１の電子デバイスにより受信される前記番組、並びに前記第２の電子デバイスにより受信される前記第１の音声及び前記第２の音声が、第１のソースからダウンロードされる、請求項２８に記載の第２の電子デバイス。
前記第１の電子デバイスにより受信される前記番組が、前記第１及び第２の音声を前記第２の電子デバイスにダウンロードするための第１のソースとは異なる第２のソースからダウンロードされる、請求項２８に記載の第２の電子デバイス。
ユーザが前記ユーザコマンドを入力するための入力手段をさらに備える、請求項２３に記載の第２の電子デバイス。
前記処理手段が、前記オフセットに応じて、新たにキャプチャされる音声サンプルに対応する前記復号された第１の音声内のサンプルに関連付けられたプレゼンテーションタイムスタンプを決定するよう前記相関器手段に指示し、前記決定されたプレゼンテーションタイムスタンプに関連する前記復号された第２の音声内のサンプルを出力するよう前記第２の手段に指示するように構成された、請求項２３に記載の第２の電子デバイス。
前記第１の電子デバイスが、テレビ受信機、シアタービデオ再生デバイス、及びコンピュータのうちの１つである、請求項２３に記載の第２の電子デバイス。