JP2006509405A - 信号の同期 - Google Patents

信号の同期 Download PDF

Info

Publication number
JP2006509405A
JP2006509405A JP2004556650A JP2004556650A JP2006509405A JP 2006509405 A JP2006509405 A JP 2006509405A JP 2004556650 A JP2004556650 A JP 2004556650A JP 2004556650 A JP2004556650 A JP 2004556650A JP 2006509405 A JP2006509405 A JP 2006509405A
Authority
JP
Japan
Prior art keywords
signal
time
receiving
format
style
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004556650A
Other languages
English (en)
Inventor
ムラリ、マニ
リチャード、チ−テ、シェン
アラン、ピー．カバレラーノ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2006509405A publication Critical patent/JP2006509405A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Abstract

信号を同期させる方法およびシステム。第１および第２の信号を（圧縮して、または非圧縮で）ソースから受信システムの受信装置へ送信する。第１の信号は第１の様式（たとえば、オーディオ）のコンテンツを有し、第２の信号は第２の様式（たとえば、ビデオ）のコンテンツを有する。第１および第２の信号を、受信システムの表示装置で表示する。第１および第２の信号はソースにおいて時間同期している。第１および第２の信号が受信装置で受信されたときに時間同期していない場合は、第１および第２の信号を受信装置において時間同期させることができる。その操作は、手動で行うか、ソースにおいて両信号にタイムスタンプを付加し、これを受信装置にある実時間クロックと併せて用いることによって行う。

Description

本発明は、信号を同期させる方法およびシステムに関する。
送信側から受信側に送信されるオーディオ信号とビデオ信号とをほぼ同期させる実用的な技術は存在しない。そこで、送信側から受信側に送信されるオーディオ信号とビデオ信号をほぼ同期させる方法およびシステムが必要である。
本発明は、信号を同期させる方法を提供し、この方法は、
ソースで時間同期され受信システムの表示装置で表示される、第１の様式のコンテンツを有する第１の信号と第２の様式のコンテンツを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信するステップと、
前記第１および第２の信号を前記表示装置に表示するステップと、
前記第１の信号と前記第２の信号のうちの一方を表示する時間レートをユーザが手動で低減するステップと、
を備え、
前記表示された第１および第２の信号が前記ユーザにとってアクセス可能であり、前記手動で低減するステップは、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される。
本発明は、信号を同期させるシステムを提供し、このシステムは、
ソースで時間同期され受信システムの表示装置で表示される、第１の様式のコンテンツを有する第１の信号と第２の様式のコンテンツを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信する受信手段と、
前記第１および第２の信号を前記表示装置に表示する表示手段と、
前記第１の信号と前記第２の信号のうちの一方を表示する時間レートをユーザが手動で低減する手動低減手段と、
を備え、
前記表示された第１および第２の信号が前記ユーザにとってアクセス可能であり、前記手動低減手段は、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される。
本発明は、信号を同期させる方法を提供し、この方法は、
ソースで時間同期され受信システムの表示装置で同調して表示される、第１の様式のコンテンツと前記ソースで生成された第１の複数のタイムスタンプとを有する第１の信号と、第２の様式のコンテンツと前記ソースで生成され第１の複数のタイムスタンプに同期される第２の複数のタイムスタンプとを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信するステップと、
前記第１および第２の複数のタイムスタンプと実時間クロックとの関係を解析することに基づいて、前記第１および第２の信号が前記クロックに対して時間同期しているかどうかを前記受信システムの前記クロック上で複数回決定するステップと、
前記第１および第２の信号が前記クロックに対して時間同期しておらず、その結果、前記第１の信号と前記第２の信号のうちの一方が他方より時間的に進んでいると前記決定するステップが決定したときに、前記第１の信号と前記第２の信号の前記一方を表示する時間レートを低減するステップと、
を備え、
前記低減するステップは、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される。
本発明は、信号を同期させるシステムを提供し、このシステムは、
ソースで時間同期され受信システムの表示装置で同調して表示される、第１の様式のコンテンツと前記ソースで生成された第１の複数のタイムスタンプとを有する第１の信号と、第２の様式のコンテンツと前記ソースで生成され第１の複数のタイムスタンプに同期される第２の複数のタイムスタンプとを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信する受信手段と、
前記第１および第２の複数のタイムスタンプと実時間クロックとの関係を解析することに基づいて、前記第１および第２の信号が前記クロックに対して時間同期しているかどうかを前記受信システムの前記クロック上で複数回決定する決定手段と、
前記第１および第２の信号が前記クロックに対して時間同期しておらず、その結果、前記第１の信号と前記第２の信号のうちの一方が他方より時間的に進んでいると前記決定手段が決定したときに、前記第１の信号と前記第２の信号の前記一方を表示する時間レートを低減する低減手段と、
を備え、
前記低減手段は、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される。
本発明は、送信側から受信側に送信されるオーディオ信号とビデオ信号とをほぼ同期させる方法およびシステムを有利に提供する。
本発明は、ソース（すなわち、送信側）から受信側に別々のチャネルで送信された２つ以上の信号を同期させるための、手動の方法およびシステムと、自動の方法およびシステムとを開示する。信号の様式は、信号によって搬送されるコンテンツのタイプを示す。様式の例として、ビデオ様式、オーディオ様式、テキスト様式があり、これらの様式を有する信号をビデオ信号、オーディオ信号、テキスト信号と呼ぶ。これらはそれぞれビデオ・コンテンツ、オーディオ・コンテンツ、テキスト・コンテンツを搬送する。図７は、信号様式の組み合わせを、様式タイプのペアとして列挙した表であり、本発明の実施形態により、ソースから受信側へ別々のチャネルで送信される信号を、そのような様々な様式のペアによって特徴付けることができる。図７の信号様式の組み合わせには、ビデオ様式とオーディオ様式、ビデオ様式とテキスト様式、およびオーディオ様式とテキスト様式が含まれる。以下では、オーディオ信号をビデオ信号に同期させること、またはビデオ信号をオーディオ信号に同期させることの観点から本発明の実施形態を説明するが、本発明の範囲は、任意の様式の信号を同期させることを含む。先述のとおり、ソースから送信された信号は、異なる複数の様式（たとえば、ソースから送信された第１の信号がオーディオ様式を有し、ソースから送信された第２の信号がビデオ様式を有するなど）を有する場合がある。それでもなお、本発明の範囲は、ソースから送信された複数の信号が同じ様式（たとえば、ソースから送信された第１の信号がビデオ様式を有し、ソースから送信された第２の信号がビデオ様式を有する場合や、ソースから送信された第１の信号がオーディオ様式を有し、ソースから送信された第２の信号がオーディオ様式を有する場合など）を有する場合を含む。
ソースから受信側に送信される信号は、ソースにおいては、たとえば、ソースの実時間クロックまたはソースのスタジオ「ゲンロック」信号と時間同期しているものとする。前記信号は、ソースから送信されてから受信側で受信されるまでの間に、特に処理遅延に起因する伝送遅延が発生する可能性がある。たとえば、信号が多数の多重化（ブロードキャスト）ポイントを通ることによって時間遅延が発生する可能性がある。そのようなブロードキャスト・ポイントでは、信号が編集されたり、他の処理遅延（たとえば、ビデオに特殊効果を挿入するための処理）が発生したりする場合がある。したがって、伝送経路自体は、オーディオ信号とビデオ信号とのタイミングを区別をつけて変化させる。これは、オーディオ信号とビデオ信号とが異なる伝送経路を伝搬し、異なる処理工程を経るためである。結果として、オーディオ信号とビデオ信号が受信側に到達した時点で、オーディオ信号とビデオ信号とが時間同期していない可能性がある。本発明の範囲は、いかなる原因であれ、オーディオ信号とビデオ信号が受信側に到達した時点で、オーディオ信号とビデオ信号が時間同期していない場合を含む。第１の例として、受信側で第１の信号と第２の信号とが別々のチャネルで受信されるために、オーディオ信号とビデオ信号とが、受信側に到達する時点で時間同期していない場合がある。第２の例として、受信側で第１の信号と第２の信号とが相互に多重化されていない形で受信されるために、オーディオ信号とビデオ信号とが、受信側に到達する時点で時間同期していない場合がある。第３の例として、受信側で第１の信号と第２の信号が相互に多重化されていても相互に同期していない形で受信されるために、オーディオ信号とビデオ信号とが、受信側に到達する時点で時間同期していない場合がある。本発明は主に、受信側に到達したオーディオ信号とビデオ信号との同期が外れている場合に受信側でオーディオ信号とビデオ信号とを同期させることに関する。
図１および図２は、オーディオ信号とビデオ信号とを互いに同期させるための、本発明の手動の方法およびシステムに関する。図３乃至図６は、オーディオ信号とビデオ信号とを互いに同期させるための、本発明の自動化方法およびシステムに関する。ここでは、オーディオ信号とビデオ信号とが、コンテンツに関連したものであると仮定する。つまり、オーディオ信号とビデオ信号とは、共通のプログラムまたは他のプレゼンテーション（映画やテレビ番組など）の構成要素であるとする。したがって、その共通のプログラムまたは他のプレゼンテーションが再生されているときにオーディオ信号とビデオ信号との対応部分が同時に再生されるものとする。定義の上では、オーディオ信号とビデオ信号（または、同じコンテンツに対して異なる様式または同じ様式を有する任意の複数の信号）とは、時間的に同期していれば、同期していると言う。これは、再生される共通のプログラムまたは他のプレゼンテーションに合わせてオーディオ信号とビデオ信号とが再生されるときに、オーディオ信号とビデオ信号との前記対応部分が同時に再生されることを意味する。したがって、本明細書では、「同期する」と「時間同期する」（およびこれらの変形形態）は意味が同じであるとする。
図１は、本発明の実施形態による、手動で信号を同期させるシステム１０のブロック図である。システム１０は、ソース２０からオーディオ信号２１とビデオ信号２２とを受信するよう構成される。ソース２０は、オーディオ信号２１をオーディオ・チャネル３１で、ビデオ信号２２をビデオ・チャネル３２でそれぞれシステム１０に向けて送信する送信側として動作する。オーディオ信号２１とビデオ信号２２とは、ソース２０での送信時とシステム１０での受信時には、それぞれ個別に非圧縮形式または圧縮形式である。ビデオ信号２２は、ソース２０での送信時とシステム１０での受信時には、非圧縮形式または圧縮形式である。ソース１０は、オーディオ信号２１をビデオ信号２２に同期させるために使用できる実時間クロック２４を含むが、オーディオ信号２１とビデオ信号２２との間の前記同期を、他の方法（特に、ソース２０で「ゲンロック」信号を利用するなどの方法）で達成することもできる。オーディオ信号２１およびビデオ信号２２のいずれかまたは両方を圧縮形式でシステム１０に送信する場合は、オーディオ信号２１とビデオ信号２２とを同期させること２６を前記圧縮の前に実施する。
システム１０は、受信装置３０、表示装置４０、およびユーザ装置４４を含む。受信装置３０は、圧縮解除器３５、遅延補償回路３３、および遅延線３４を含む。遅延補償回路３３は遅延線３４に結合される。先述のとおり、オーディオ信号２１とビデオ信号２２とは、互いに時間同期が外れた状態で受信装置３０に到達してもよい。
制御部４２を含むことができる表示装置４０は、関係する信号を表示できることが当業者に知られているどのようなタイプの装置であってもよい。例えば、表示装置４０は、オーディオ信号２１を表示するスピーカを含むことができる。別の例として、表示装置４０は、ビデオ信号２２を表示するテレビ画面またはコンピュータ・モニタを含むことができる。表示装置４０は、受信装置３０の遅延線３４に結合される。
ユーザ装置４４は、ユーザ入力部４５を含み、さらに無線制御部４７を含むことができる。最低でも制御部４２と無線制御部４７とのいずれかが必要である。そこで、ユーザ入力部４５は、少なくとも制御部４２と無線制御部４７とのいずれかに結合される。ユーザ入力部４５は、ユーザからの入力を、制御部４２、無線制御部４７、またはその両方を介して遅延補償回路３３に転送できる。
オーディオ信号２１は、ソース２０から圧縮形式で送信された場合には、受信装置３０で受信された後に圧縮解除器３５で圧縮解除され、ビデオ信号２２は、ソース２０から圧縮形式で送信された場合には、受信装置３０で受信された後に圧縮解除器３５で圧縮解除される。次に、オーディオ信号２１とビデオ信号２２とが遅延線３４に入力され、遅延線３４では、遅延補償回路３３の制御下で、前記信号のいずれかまたは両方に遅延または低速化が施される。遅延線３４は、オーディオ信号２１とビデオ信号２２を記憶するバッファを１つまたは複数含むことができる。
表示装置４０は、オーディオ信号２１とビデオ信号２２を表示するようにされる。ユーザは、表示装置４０に表示されるオーディオ信号２１およびビデオ信号２２を利用できる。すなわち、ユーザは、表示装置４０で、オーディオ信号２１を聴き、ビデオ信号２２を見ることができる。ユーザは、オーディオ信号２１とビデオ信号２２とのうちの、一方の信号（「遅れている」信号）より先行している信号（「進んでいる」信号）を表示する時間レートを手動で低減して、表示装置４０上でのオーディオ信号２１とビデオ信号２２との表示を時間同期させることができる。この同期は、ユーザからのユーザ入力４５を、表示装置４０上の制御部４１または無線制御部４７を介して遅延補償回路３３に伝送することによって達成される。ユーザ入力４５は、ユーザから遅延補償回路３３への遅延命令を含む。制御部４１および無線制御部４７はそれぞれ、ユーザ入力４５を遅延補償回路３３に送信できる任意の入力デバイスまたは入力機構（たとえば、キーボード、マウス、つまみなど）を備える。
進んでいる信号を表示する時間レートは、遅延補償回路３３で、進んでいる信号の伝送レートや表示レートを低減することによって連続的に低減できる。たとえば、ユーザは、制御部４１または無線制御部４７のつまみを時計回りに回して前記表示する時間レートを上げたり、反時計回りに回して前記表示する時間レートを下げたりできる。あるいは、遅延補償回路３３で、進んでいる信号に時間遅延ギャップを設けることによって、進んでいる信号を表示する時間レートを不連続的に低減できる。時間遅延ギャップは、進んでいる信号の伝送を一時停止状態にする時間間隔である。たとえば、ユーザは、トグル・スイッチとして動作するボタンを押すことができる。そのボタンを１回押すと、進んでいる信号の伝送が停止し、そのボタンをもう１回押すと、進んでいる信号の伝送が再開される。進んでいる信号は、時間遅延ギャップの間、遅延線３４の１つまたは複数のバッファの中で停止している。
図２は、本発明の実施形態により、図１の手動システム１０と併せて、手動で信号を同期させる方法を説明する、ステップ５１〜５６からなるフロー・チャートである。ステップ５１では、ユーザは、オーディオ信号２１を聴き、ビデオ信号２２を見ることによって、オーディオ信号２１（Ｓ１）とビデオ信号２２（Ｓ２）とをサンプリングする。前記サンプリングが終わると、ユーザはステップ５２で、信号Ｓ１とＳ２とが同期しているかどうか（すなわち、互いに同期しているかどうか）を判断する。信号Ｓ１と信号Ｓ２とが同期している場合、ユーザは、ステップ５１を続行して信号Ｓ１と信号Ｓ２とをサンプリングする。信号Ｓ１と信号Ｓ２とが同期していないとユーザが判断した場合、ユーザはステップ５３で、一方の信号（たとえば、Ｓ１）が他方の信号（たとえば、Ｓ２）より時間的に遅れていることをつきとめる。
ステップ５４では、ユーザは、信号Ｓ１と信号Ｓ２とが同期したと確信するまで、信号Ｓ２を表示するレートを手動で（先述のように連続的または不連続的に）低減する。ステップ５５では、ユーザは、信号Ｓ１と信号Ｓ２とのサンプリングを続行するか中止するかを決定する。結果として、ユーザは、信号Ｓ１と信号Ｓ２とのサンプリングを停止するか（ステップ５６）、ステップ５１に戻って信号Ｓ１と信号Ｓ２とのサンプリングを続行することができる。
図３は、本発明の実施形態による、信号を同期させる自動システム６０のブロック図である。システム６０は、ソース７０からオーディオ信号７１とビデオ信号７２とを受信するようされる。ソース７０は、オーディオ信号７１をオーディオ・チャネル８１で、ビデオ信号７２をビデオ・チャネル８２でそれぞれシステム６０に向けて送信する送信側として動作する。オーディオ信号７１とビデオ信号７２とは、ソース７０での送信時とシステム６０での受信時には、それぞれ個別に非圧縮形式または圧縮形式である。ビデオ信号７２は、ソース７０での送信時とシステム６０での受信時には、非圧縮形式または圧縮形式である。ソース７０は、オーディオ信号７１をビデオ信号７２に同期させることができる実時間クロック７４を含むが、オーディオ信号７１とビデオ信号７２との間の前記同期を、他の方法、例えば、ソース７０で「ゲンロック」信号を利用するなどの方法で達成することもできる。オーディオ信号７１およびビデオ信号７２のいずれかまたは両方を圧縮形式でシステム６０に送信する場合は、オーディオ信号７１とビデオ信号７２とを同期させることを前記圧縮の前に実施する。
タイムスタンプ挿入器７６が、オーディオ信号７１とビデオ信号７２とのそれぞれに複数のタイムスタンプを挿入する。これらのタイムスタンプは、後で、オーディオ信号７１とビデオ信号７２とが互いに同期が外れた状態で受信装置８０に到達した場合に前記信号同士を同期させるために、受信装置８０によって利用される。所与の信号（すなわち、オーディオ信号７１またはビデオ信号７２）に挿入されるタイムスタンプの内容は、ソースから受信装置８０に送信される所与の信号が非圧縮形式か圧縮形式かによって異なる。所与の信号が非圧縮形式の場合、タイムスタンプは、所与の信号が受信装置８０に向けて送信されているときに所与の信号に挿入された時刻（たとえば、実時間クロック７４から読み取られた時刻）を含むか、あるいは、かわりに所与の信号がその後に再生されると想定された伝送レートで所与の信号が伝搬しているときの時刻（たとえば、実時間クロック７４から読み取られた時刻）を含む。タイムスタンプは、所与の非圧縮信号内の所定の場所に格納でき、後でその場所からタイムスタンプを取り出すことができる。たとえば、所与の非圧縮信号がビデオ信号の場合は、タイムスタンプを特にフレーム間のブランキング間隔に格納できる。別の例として、所与の非圧縮信号がオーディオ信号の場合は、タイムスタンプをウォターマークとしてオーディオ信号内に格納できる。ウォターマークは、可聴域外にあるオーディオ周波数および／またはオーディオ振幅を含むことができる。
所与の信号が圧縮形式の場合、タイムスタンプは、１）所与の信号を形成するために圧縮された非圧縮信号内の場所（Ｌ）に対応する時刻（たとえば、実時間クロック７４から読み取られた時刻）と、２）非圧縮信号内の前記場所（Ｌ）の識別情報を含む。圧縮信号の各ビットと、対応する非圧縮信号内の場所との間には厳密な対応関係がないので、場所（Ｌ）はタイムスタンプ内になければならない。したがって、場所（Ｌ）が、前記厳密な対応関係の欠落を補う。図３は、圧縮が必要な場合には圧縮機能を含むタイムスタンプ挿入器７６を示している。これは、圧縮が行われている間でも所与の信号にタイムスタンプを挿入できることを意味する。あるいは、初めに所与の信号を圧縮し、その後、圧縮された信号にタイムスタンプを挿入することもできる。タイムスタンプは、所与の圧縮信号内の任意の場所に格納でき、後でその場所からタイムスタンプを取り出すことができる。たとえば、圧縮信号の２つの論理的な圧縮単位の間にタイムスタンプを挿入できる。図６は、非圧縮信号形式と圧縮信号形式とに用いるタイムスタンプの内容をまとめた表である。
システム６０は、受信装置８０と表示装置９０を含む。図示していないが、システム６０は、図１に示した先述のユーザ装置と類似のユーザ装置とを含むこともできる。システム６０がそのようなユーザ装置を含む場合、システム６０は、手動機能と、後述する自動機能との両方を含む。
先述のとおり、オーディオ信号７１とビデオ信号７２とは、互いに時間同期が外れた状態で受信装置８０に到達する可能性がある。受信装置８０は、実時間クロック８６と、タイムスタンプ抽出器８５と、遅延補償制御器８３と、遅延線８４とを含む。遅延補償制御器８３は、実時間クロック８６と、遅延線８４と、タイムスタンプ抽出器８５とに結合される。タイムスタンプ抽出器８５は遅延線８４に結合される。図３に示すように、タイムスタンプ抽出器８５は、受信装置８０で受信されたオーディオ信号７１とビデオ信号７２とのうちの圧縮形式であるものを圧縮解除する圧縮解除手段も含む。
受信装置８０でオーディオ信号７１とビデオ信号７２とが非圧縮形式で受信されたか、圧縮形式で受信されたかにかかわらず、タイムスタンプ抽出器８５は、オーディオ信号７１とビデオ信号７２との内部からタイムスタンプを抽出する。タイムスタンプは、タイムスタンプ挿入器７６によってオーディオ信号７１とビデオ信号７２とに別々に挿入されており、タイムスタンプ抽出器８５によってオーディオ信号７１とビデオ信号７２とから別々に抽出される。
表示装置９０（これも、図１に示し先述した制御部４２のような制御部を含むことができる）は、関係する信号を表示できることが当業者に知られているどのようなタイプの装置であってもよい。たとえば、表示装置９０は、オーディオ信号７１を表示するスピーカを含むことができる。別の例として、表示装置９０は、ビデオ信号７２を表示するテレビ画面またはコンピュータ・モニタを含むことができる。表示装置９０は、受信装置８０の遅延線８４に結合される。
各タイムスタンプがタイムスタンプ抽出器８５によって抽出された後、オーディオ信号７１とビデオ信号７２とが遅延線８４に送られ、遅延線８４では、遅延補償制御器８３の制御下で、前記信号のいずれかまたは両方に遅延または低速化が施される。遅延線８４は、オーディオ信号７１とビデオ信号７２とを記憶するバッファを１つまたは複数含むことができる。オーディオ信号７１ビデオ信号７２とは、遅延線８４から表示装置９０に送られる。表示装置９０は、オーディオ信号７１とビデオ信号７２とを表示するように適応される。
遅延補償制御器８３は、オーディオ信号７１とビデオ信号７２とのうちの、一方の信号（「遅れている」信号）より先行している信号（「進んでいる」信号）を表示する時間レートを低減して、表示装置９０上でのオーディオ信号７１とビデオ信号７２との表示を時間同期させることができる。この同期は、図４のフロー・チャートに従うことで達成できる。このフロー・チャートは、本発明の実施形態による、タイムスタンプを用いて信号を同期させる方法を説明している。
図４のフロー・チャートは、ステップ９１〜９６からなる。先述のとおり、オーディオ信号７１とビデオ信号７２とは、オーディオ信号７１とビデオ信号７２とが受信装置８０で受信され、（圧縮形式で受信された場合は）圧縮解除された後、別々に抽出されたそれぞれのタイムスタンプを有する。簡単にするために、Ｓ１をオーディオ信号７１とし、Ｓ２をビデオ信号７２とする。ステップ９１では、遅延補償制御器８３が信号Ｓ１からタイムスタンプをサンプリングするか、信号Ｓ２からタイムスタンプをサンプリングする。信号Ｓ１からのタイムスタンプの正規化時刻を記号Ｔ１で表す。正規化時刻Ｔ１は、タイムスタンプの実際の時刻に加算定数Ｃ１を加算して、信号Ｓ１のタイムスタンプを実時間クロック８６の時間フレームに対して正規化したものである。たとえば、信号Ｓ１内に存在する第１のタイムスタンプが「１０：００ＡＭ」であり、これが遅延補償制御器８３で処理されたときに、遅延補償制御器８３が実時間クロック８６の時刻を「９：３０ＡＭ」と読み取ったとすると、正規化のために、信号Ｓ１から抽出されたすべてのタイムスタンプ値に、加算定数Ｃ１として３０分の時間が加算される。
パラメータＴ１は、前記正規化後の、信号Ｓ１に関連する時刻のタイムスタンプ値である。前記正規化により、信号Ｓ１の各タイムスタンプが実時間クロック８６との同期から外れていないかどうかを検出するために、信号Ｓ１のタイムスタンプと実時間クロック８６との間で意味のある比較を行うことが可能になる。同様に、信号Ｓ２からのタイムスタンプの正規化時刻を記号Ｔ２で表す。正規化時刻Ｔ２は、タイムスタンプの実際の時刻に加算定数Ｃ２を加算して、信号Ｓ２のタイムスタンプを実時間クロック８６の時間フレームに対して正規化したものである。加算定数Ｃ１およびＣ２は独立しており、それぞれ正、負、またはゼロの値をとりうる。
ステップ９２では、信号Ｓ１の正規化タイムスタンプ時刻Ｔ１と、クロック８６上の対応する時刻ＴＣ１とを比較する。Ｔ１がクロック８６と同期していれば、Ｔ１＝ＴＣ１である。そこで、ステップ９２ではΔＴ１＝ＴＣ１−Ｔ１を計算する。これは、Ｔ１がクロック８６との同期から外れている時間量を表す。ΔＴ１＞０であれば、信号Ｓ１は時刻Ｔ１においてクロック８６より遅れている。ΔＴ１＜０であれば、信号Ｓ１は時刻Ｔ１においてクロック８６より進んでいる。ΔＴ１＝０であれば、信号Ｓ１は時刻Ｔ１においてクロック８６と同期している。
ステップ９３では、信号Ｓ２の正規化タイムスタンプ時刻Ｔ２と、クロック８６上の対応する時刻ＴＣ２とを比較する。Ｔ２がクロック８６と同期していれば、Ｔ２＝ＴＣ２である。そこで、ステップ９３ではΔＴ２＝ＴＣ２−Ｔ２を計算する。これは、Ｔ２がクロック８６との同期から外れている時間量を表す。ΔＴ２＞０であれば、信号Ｓ２は時刻Ｔ２においてクロック８６より遅れている。ΔＴ２＜０であれば、信号Ｓ２は時刻Ｔ２においてクロック８６より進んでいる。ΔＴ２＝０であれば、信号Ｓ２は時刻Ｔ２においてクロック８６と同期している。図５は、各種パラメータＴ１、ＴＣ１、ΔＴ１、Ｔ２、ＴＣ２、ΔＴ２の定義を示す時間線である。
ステップ９４では、ΔＴ２とΔＴ１を比較して、信号Ｓ２が信号Ｓ１と同期しているかどうかを判断する。ΔＴ２＝ΔＴ１であれば、信号Ｓ２が信号Ｓ１と同期しており、処理をステップ９１に戻す。ΔＴ２＞ΔＴ１であれば、信号Ｓ２が信号Ｓ１と同期しておらず、信号Ｓ２が信号Ｓ１より遅れており、ステップ９５で、信号Ｓ１を表示するレートを遅延補償制御器８３で低減した後、ステップ９１に戻る。ΔＴ２＜ΔＴ１であれば、信号Ｓ２が信号Ｓ１と同期しておらず、信号Ｓ１が信号Ｓ２より遅れており、ステップ９６で、信号Ｓ２を表示するレートを遅延補償制御器８３で低減した後、ステップ９１に戻る。ステップ９４は、ステップ９２またはステップ９３でΔＴ１またはΔＴ２の新しい値を計算するたびに実施できる。あるいは、ステップ９４は、ΔＴ１またはΔＴ２の計算のたびには実施せず、選択的に実施することができる。ステップ９５でのＳ１の時間遅れまたはステップ９６でのＳ２の時間遅れは、Ｔ１とＴ２の比較が実時間クロック８６上の異なる時刻、すなわち、ＴＣ１ １ ＴＣ２である場合に行われる可能性があるという事実を無視すれば、それぞれΔＴ２−Δ１またはΔＴ１−ΔＴ２に等しくなる。Ｔ１に対して内挿または外挿を行い、ΔＴ１を調整してＴＣ２と異なるＴＣ１を補償するか、Ｔ２に対して内挿または外挿を行い、ΔＴ２を調整してＴＣ１と異なるＴＣ２を補償することにより、精度をより高めることができる。当業者であれば、本発明の範囲が、信号Ｓ１または信号Ｓ２に時間遅延を施す任意の数値計算方法を含むことは自明であろう。
進んでいる信号を表示する時間レートは、遅延補償制御器８３で、進んでいる信号（すなわち、オーディオ信号７１およびビデオ信号７２のうちの、先行しているほうの信号）の伝送レートや表示レートを低減することによって連続的に低減できる。あるいは、遅延補償制御器８３で、進んでいる信号に時間遅延ギャップを設け、時間遅延ギャップの間、進んでいる信号を遅延線８４の１つまたは複数のバッファの中で停止させることによって、進んでいる信号を表示する時間レートを低減できる。時間遅延ギャップは、進んでいる信号の伝送を一時停止に保たれかつさらに伝送中でない時間間隔である。
本発明は、ソースから受信側に送信した異なる複数の信号を受信側で時間同期させる状況であれば、おおむね適用可能である。一例として、本発明をビデオ・ゲームに適用できる。ビデオ・ゲームでは、ビデオ・ゲーム用のオーディオ信号とビデオ信号が（１つまたは複数のゲーム機が配置されている）受信側に到達したときにそれらの信号間の同期が外れている可能性がある。信号の同期が外れる条件は定期的に発生する可能性があるので、本発明によって開示された修正操作（すなわち、オーディオ信号またはビデオ信号を表示するレートを低減すること）を条件に合わせて適用することができる。当該ビデオ・ゲームの性質上、信号の同期が外れる条件が、当該ビデオ・ゲームに関連する何らかの特殊な状況で発生する場合には、本発明による修正操作を行わないほうが好ましい可能性がある。
本明細書では本発明の実施形態を例示目的で説明したが、当業者であれば、様々な修正や変更が可能であることは自明であろう。したがって、添付の特許請求項は、そのような修正や変更のすべてを、本発明の趣旨および範囲に収まるものとして包含することを意図している。
本発明の実施形態による、手動で信号を同期させるシステムのブロック図である。 本発明の実施形態により、図１の手動システムと併せて、手動で信号を同期させる方法を説明するフロー・チャートである。 本発明の実施形態による、タイムスタンプを用いて信号を同期させる自動システムのブロック図である。 本発明の実施形態により、図３の自動システムと併せて、タイムスタンプを用いて信号を同期させる方法を説明するフロー・チャートである。 本発明の実施形態による、図４のフロー・チャートで用いているパラメータの定義を示す図である。 本発明の実施形態により、図３および４の自動システムと併せて、非圧縮信号および圧縮信号のタイムスタンプの内容を説明する表である。 本発明の実施形態による、信号様式の組み合わせを列挙した表である。

Claims (56)

  1. 信号を同期させる方法であって、
    ソースで時間同期され受信システムの表示装置で表示される、第１の様式のコンテンツを有する第１の信号と第２の様式のコンテンツを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信するステップと、
    前記第１および第２の信号を前記表示装置に表示するステップと、
    前記第１の信号と前記第２の信号のうちの一方を表示する時間レートをユーザが手動で低減するステップと、
    を備え、
    前記表示された第１および第２の信号が前記ユーザにとってアクセス可能であり、前記手動で低減するステップは、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される方法。
  2. 前記手動で低減するステップは、
    前記受信装置の遅延補償回路に対し、前記表示する時間レートを電子的に低減するよう手動で指示するステップと、
    前記遅延補償回路によって前記時間レートを電子的に低減するステップと、
    を含む請求項１記載の方法。
  3. 前記手動で低減するステップは、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入するステップを含む請求項１記載の方法。
  4. 前記手動で低減するステップは、前記第１の信号と前記第２の信号の前記いずれかを表示する際に時間遅延ギャップを導入するステップを含まない請求項１記載の方法。
  5. 前記手動で低減するステップは、手動で制御部を操作するステップを含む請求項１記載の方法。
  6. 前記制御部が前記表示装置にある請求項５記載の方法。
  7. 前記制御部が無線装置にある請求項５記載の方法。
  8. 前記第１の様式が前記第２の様式と異なる請求項１記載の方法。
  9. 前記第１の様式がビデオ様式であり、前記第２の様式がオーディオ様式である請求項８記載の方法。
  10. 前記第１の様式がビデオ様式であり、前記第２の様式がテキスト様式である請求項８記載の方法。
  11. 前記第１の様式がオーディオ様式であり、前記第２の様式がテキスト様式である請求項８記載の方法。
  12. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とをそれぞれ別々のチャネルで受信するステップを含む請求項１記載の方法。
  13. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とを、互いに多重化されていないものとして受信するステップを含む請求項１記載の方法。
  14. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とを、互いに多重化されているが互いに時間同期していないものとして受信するステップを含む請求項１記載の方法。
  15. 信号を同期させるシステムであって、
    ソースで時間同期され受信システムの表示装置で表示される、第１の様式のコンテンツを有する第１の信号と第２の様式のコンテンツを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信する受信手段と、
    前記第１および第２の信号を前記表示装置に表示する表示手段と、
    前記第１の信号と前記第２の信号のうちの一方を表示する時間レートをユーザが手動で低減する手動低減手段と、
    を備え、
    前記表示された第１および第２の信号が前記ユーザにとってアクセス可能であり、前記手動低減手段は、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示されるシステム。
  16. 前記手動低減手段は、
    前記受信装置の遅延補償回路に対し、前記表示する時間レートを電子的に低減するよう手動で指示する指示手段と、
    前記遅延補償回路が前記時間レートを電子的に低減する電子的低減手段とを含む請求項１５記載のシステム。
  17. 前記手動低減手段は、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入することを含む請求項１５記載のシステム。
  18. 前記手動低減手段は、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入することを含まない請求項１５記載のシステム。
  19. 前記手動低減手段が制御部を含む請求項１５記載のシステム。
  20. 前記制御部が前記表示装置にある請求項１９記載のシステム。
  21. 前記制御部が無線装置にある請求項１９記載のシステム。
  22. 前記第１の様式は前記第２の様式と異なる請求項１５記載のシステム。
  23. 前記第１の様式はビデオ様式であり、前記第２の様式はオーディオ様式である請求項２２記載のシステム。
  24. 前記第１の様式はビデオ様式であり、前記第２の様式はテキスト様式である請求項２２記載のシステム。
  25. 前記第１の様式はオーディオ様式であり、前記第２の様式はテキスト様式である請求項２２記載のシステム。
  26. 前記受信手段は、前記第１の信号と前記第２の信号とをそれぞれ別々のチャネルで受信する手段を含む請求項１５記載のシステム。
  27. 前記受信手段は、前記第１の信号と前記第２の信号とを、互いに多重化されていないものとして受信する手段を含む請求項１５記載のシステム。
  28. 前記受信手段は、前記第１の信号と前記第２の信号とを、互いに多重化されているが互いに時間同期していないものとして受信する手段を含む請求項１５記載のシステム。
  29. 信号を同期させる方法であって、
    ソースで時間同期され受信システムの表示装置で同調して表示される、第１の様式のコンテンツと前記ソースで生成された第１の複数のタイムスタンプとを有する第１の信号と、第２の様式のコンテンツと前記ソースで生成され第１の複数のタイムスタンプに同期される第２の複数のタイムスタンプとを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信するステップと、
    前記第１および第２の複数のタイムスタンプと実時間クロックとの関係を解析することに基づいて、前記第１および第２の信号が前記クロックに対して時間同期しているかどうかを前記受信システムの前記クロック上で複数回決定するステップと、
    前記第１および第２の信号が前記クロックに対して時間同期しておらず、その結果、前記第１の信号と前記第２の信号のうちの一方が他方より時間的に進んでいると前記決定するステップが決定したときに、前記第１の信号と前記第２の信号の前記一方を表示する時間レートを低減するステップと、
    を備え、
    前記低減するステップは、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示される方法。
  30. 前記第１の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプが、前記第１の複数のタイムスタンプのうちの前記タイムスタンプが配置された、前記第１の信号の中の場所に対応する時刻を含み、
    前記第２の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプが、前記第２の複数のタイムスタンプのうちの前記タイムスタンプが配置された、前記第２の信号の中の場所に対応する時刻を含む請求項２９記載の方法。
  31. 前記第１の信号は前記受信装置で受信されたとき圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプは、前記第１の信号を形成するために前記ソースにおいて圧縮された第１の非圧縮信号の中の場所に対応する時刻を含み、前記第１の複数のタイムスタンプのうちの前記タイムスタンプは前記第１の非圧縮信号内の前記場所の識別をさらに含み、
    前記第２の信号は前記受信装置で受信されたとき圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプは、前記第２の信号を形成するために前記ソースにおいて圧縮された第２の非圧縮信号の中の場所に対応する時刻を含み、前記第２の複数のタイムスタンプのうちの前記タイムスタンプが前記第２の非圧縮信号内の前記場所の識別をさらに含む請求項２９記載の方法。
  32. 前記第１の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプは、前記第１の複数のタイムスタンプのうちの前記タイムスタンプが配置された前記第１の信号の中の場所に対応する時刻を含み、
    前記第２の信号は前記受信装置で受信されたとき圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプは、前記第２の信号を形成するために前記ソースにおいて圧縮された非圧縮信号の中の場所に対応する時刻を含み、前記第２の複数のタイムスタンプのうちの前記タイムスタンプは前記非圧縮信号内の前記場所の識別をさらに含む請求項２９記載の方法。
  33. 前記低減するステップは、前記受信装置の遅延補償制御器によって実行される請求項２９記載の方法。
  34. 前記低減するステップは、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入するステップを含む請求項２９記載の方法。
  35. 前記低減するステップは、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入するステップを含まない請求項２９記載の方法。
  36. 前記第１の様式は前記第２の様式と異なる請求項２９記載の方法。
  37. 前記第１の様式はビデオ様式であり、前記第２の様式はオーディオ様式である請求項３６記載の方法。
  38. 前記第１の様式はビデオ様式であり、前記第２の様式はテキスト様式である請求項３６記載の方法。
  39. 前記第１の様式はテキスト様式であり、前記第２の様式はオーディオ様式である請求項３６記載の方法。
  40. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とをそれぞれ別々のチャネルで受信するステップを含む請求項２９記載の方法。
  41. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とを、互いに多重化されていないものとして受信するステップを含む請求項２９記載の方法。
  42. 前記第１の信号と前記第２の信号とを前記受信するステップは、前記第１の信号と前記第２の信号とを、互いに多重化されているが互いに時間同期していないものとして受信するステップを含む請求項２９記載の方法。
  43. 信号を同期させるシステムであって、
    ソースで時間同期され受信システムの表示装置で同調して表示される、第１の様式のコンテンツと前記ソースで生成された第１の複数のタイムスタンプとを有する第１の信号と、第２の様式のコンテンツと前記ソースで生成され第１の複数のタイムスタンプに同期される第２の複数のタイムスタンプとを有する第２の信号とを前記ソースから前記受信システムの受信装置で受信する受信手段と、
    前記第１および第２の複数のタイムスタンプと実時間クロックとの関係を解析することに基づいて、前記第１および第２の信号が前記クロックに対して時間同期しているかどうかを前記受信システムの前記クロック上で複数回決定する決定手段と、
    前記第１および第２の信号が前記クロックに対して時間同期しておらず、その結果、前記第１の信号と前記第２の信号のうちの一方が他方より時間的に進んでいると前記決定手段が決定したときに、前記第１の信号と前記第２の信号の前記一方を表示する時間レートを低減する低減手段と、
    を備え、
    前記低減手段は、前記表示装置に前記第１および第２の信号の前記表示を時間同期させるように指示されるシステム。
  44. 前記第１の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプが、前記第１の複数のタイムスタンプのうちの前記タイムスタンプが配置された前記第１の信号の中の場所に対応する時刻を含み、
    前記第２の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプが、前記第２の複数のタイムスタンプのうちの前記タイムスタンプが配置された前記第２の信号の中の場所に対応する時刻を含む請求項４３記載のシステム。
  45. 前記第１の信号は前記受信装置で受信されたとき圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプが、前記第１の信号を形成するために前記ソースにおいて圧縮された第１の非圧縮信号の中の場所に対応する時刻を含み、前記第１の複数のタイムスタンプのうちの前記タイムスタンプは前記第１の非圧縮信号内の前記場所の識別をさらに含み、
    前記第２の信号は前記受信装置で受信されたとき圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプが、前記第２の信号を形成するために前記ソースにおいて圧縮された第２の非圧縮信号の中の場所に対応する時刻を含み、前記第２の複数のタイムスタンプのうちの前記タイムスタンプは前記第２の非圧縮信号内の前記場所の識別をさらに含む請求項４３記載のシステム。
  46. 前記第１の信号は前記受信装置で受信されたとき非圧縮形式であり、前記第１の複数のタイムスタンプのうちの各タイムスタンプが、前記第１の複数のタイムスタンプのうちの前記タイムスタンプが配置された前記第１の信号の中の場所に対応する時刻を含み、
    前記第２の信号は前記受信装置で受信されたとき圧縮形式であり、前記第２の複数のタイムスタンプのうちの各タイムスタンプが、前記第２の信号を形成するために前記ソースにおいて圧縮された第２の非圧縮信号の中の場所に対応する時刻を含み、前記第２の複数のタイムスタンプのうちの前記タイムスタンプが前記第２の非圧縮信号内の前記場所の識別をさらに含む請求項４３記載のシステム。
  47. 前記低減手段は、前記受信装置の遅延補償制御器によって実施される請求項４３記載のシステム。
  48. 前記低減手段は、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入することを含む請求項４３記載のシステム。
  49. 前記低減手段は、前記第１の信号と前記第２の信号のうちの前記一方を表示する際に時間遅延ギャップを導入することを含まない請求項４３記載のシステム。
  50. 前記第１の様式は前記第２の様式と異なる請求項４３記載のシステム。
  51. 前記第１の様式はビデオ様式であり、前記第２の様式はオーディオ様式である請求項５０記載のシステム。
  52. 前記第１の様式はビデオ様式であり、前記第２の様式はテキスト様式である請求項５０記載のシステム。
  53. 前記第１の様式はテキスト様式であり、前記第２の様式はオーディオ様式である請求項５０記載のシステム。
  54. 前記受信手段は、前記第１の信号と前記第２の信号とをそれぞれ別々のチャネルで受信する手段を含む請求項４３記載のシステム。
  55. 前記受信手段は、前記第１の信号と前記第２の信号とを、互いに多重化されていないものとして受信する手段を含む請求項４３記載のシステム。
  56. 前記受信手段は、前記第１の信号と前記第２の信号とを、互いに多重化されているが互いに時間同期していないものとして受信する手段を含む請求項４３記載のシステム。
JP2004556650A 2002-12-04 2003-11-26 信号の同期 Pending JP2006509405A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US43091902P 2002-12-04 2002-12-04
PCT/IB2003/005440 WO2004052020A1 (en) 2002-12-04 2003-11-26 Synchronization of signals

Publications (1)

Publication Number Publication Date
JP2006509405A true JP2006509405A (ja) 2006-03-16

Family

ID=32469562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004556650A Pending JP2006509405A (ja) 2002-12-04 2003-11-26 信号の同期

Country Status (7)

Country Link
US (1) US7552352B2 (ja)
EP (1) EP1570680A1 (ja)
JP (1) JP2006509405A (ja)
KR (1) KR20050085344A (ja)
CN (1) CN1720748A (ja)
AU (1) AU2003302540A1 (ja)
WO (1) WO2004052020A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012227927A (ja) * 2011-04-18 2012-11-15 Harman Internatl Industries Inc メディアクロックネゴシエーション
JP2013055479A (ja) * 2011-09-02 2013-03-21 Nippon Hoso Kyokai <Nhk> 通信コンテンツ生成装置および通信コンテンツ生成プログラム
JP2019114941A (ja) * 2017-12-25 2019-07-11 古野電気株式会社 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4001091B2 (ja) * 2003-09-11 2007-10-31 ヤマハ株式会社 演奏システム及び楽音映像再生装置
US7288712B2 (en) * 2004-01-09 2007-10-30 Yamaha Corporation Music station for producing visual images synchronously with music data codes
KR100643451B1 (ko) 2004-09-10 2006-11-10 주식회사 팬택 화상 데이터와 텍스트 데이터의 동기화 출력 기능을가지는 화상 단말기 및 그 방법
US7809131B1 (en) * 2004-12-23 2010-10-05 Arcsight, Inc. Adjusting sensor time in a network security system
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7602997B2 (en) 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
GB0509047D0 (en) 2005-05-04 2005-06-08 Pace Micro Tech Plc Television system
FR2889014A1 (fr) * 2005-07-22 2007-01-26 Nextamp Sa Procede et dispositif de tatouage d'horodates, procede et dispositif de decodage d'horodates, applications et produits programmes d'ordinateur correspondants
WO2007050259A2 (en) * 2005-10-21 2007-05-03 Thomson Licensing Method and apparatus for audio and video synchronization timestamp rollover correction
US7965338B2 (en) * 2006-04-06 2011-06-21 Microsoft Corporation Media player audio video synchronization
US8363161B2 (en) * 2006-05-26 2013-01-29 Broadcom Corporation Systems, methods, and apparatus for synchronization of audio and video signals
CN100571330C (zh) * 2006-05-31 2009-12-16 深圳Tcl新技术有限公司 电视功能菜单帮助系统
DE102006036562B4 (de) * 2006-08-04 2014-04-10 Hewlett-Packard Development Co., L.P. Verfahren und System zum Übertragen aufeinander bezogener Datenströme oder/und zum Synchronisieren aufeinander bezogener Datenströme
CN101166264B (zh) * 2006-10-16 2012-09-05 中兴通讯股份有限公司 流媒体节目切换时的播放方法和系统
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
EP2043372B1 (en) * 2007-09-26 2019-07-17 Vodafone GmbH Method for audio and video synchronization, receiving and transmitting device
US8195829B2 (en) * 2008-01-07 2012-06-05 Vestel Elektronik Sanayi Ve Ticaret A.S. Streaming media player and method
US7793001B2 (en) * 2008-05-09 2010-09-07 Microsoft Corporation Packet compression for network packet traffic analysis
US8856823B2 (en) * 2010-02-24 2014-10-07 Verizon Patent And Licensing Inc. Methods and systems for synchronizing delivery of media content streams having different resolutions
US20110221962A1 (en) * 2010-03-10 2011-09-15 Microsoft Corporation Augmented reality via a secondary channel
US9268773B2 (en) 2010-12-06 2016-02-23 Baker Hughes Incorporated System and methods for integrating and using information relating to a complex process
US20150373230A9 (en) * 2012-07-23 2015-12-24 Timecode Systems Ltd Networked programmable timecode and metadata transfer system
CN103974020B (zh) * 2013-02-06 2018-09-25 深圳市腾讯计算机系统有限公司 音视频数据采集方法及装置
US9929824B2 (en) 2015-01-26 2018-03-27 Timecode Systems Limited Networked programmable master clock base stations
US10015370B2 (en) * 2015-08-27 2018-07-03 Htc Corporation Method for synchronizing video and audio in virtual reality system
US10063637B2 (en) 2015-10-12 2018-08-28 Timecode Systems Limited Synchronizing data between personal and timecode devices
EP3157239B1 (en) 2015-10-12 2020-02-12 Timecode Systems Limited Synchronizing media devices
US10742733B2 (en) 2015-10-12 2020-08-11 Timecode Systems Limited Synchronizing data between media devices
US9866732B2 (en) 2015-10-12 2018-01-09 Timecode Systems Limited Synchronizing data between personal and timecode devices
US20190007726A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Audio, video, and actuation (a/v/a) synchronization for mixed reality
US11581007B2 (en) * 2021-04-27 2023-02-14 Kyndryl, Inc. Preventing audio delay-induced miscommunication in audio/video conferences

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844600A (en) * 1995-09-15 1998-12-01 General Datacomm, Inc. Methods, apparatus, and systems for transporting multimedia conference data streams through a transport network
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
WO2002060178A1 (en) * 2001-01-23 2002-08-01 Digeo, Inc. Synchronizing multiple signals received through different transmission mediums
US20020103919A1 (en) * 2000-12-20 2002-08-01 G. Wyndham Hannaway Webcasting method and system for time-based synchronization of multiple, independent media streams
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4180829A (en) * 1977-11-25 1979-12-25 Crosspoint Latch Corp. Television signal phase matching apparatus and method
GB2195810B (en) * 1986-10-07 1990-10-10 Sony Corp Multichannel audio signal reproduction
US5506932A (en) * 1993-04-16 1996-04-09 Data Translation, Inc. Synchronizing digital audio to digital video
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
JP3602728B2 (ja) * 1998-10-22 2004-12-15 株式会社東芝 ディジタルビデオディスクプレーヤ及び画像表示装置
US7343082B2 (en) * 2001-09-12 2008-03-11 Ryshco Media Inc. Universal guide track
US7194676B2 (en) * 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5844600A (en) * 1995-09-15 1998-12-01 General Datacomm, Inc. Methods, apparatus, and systems for transporting multimedia conference data streams through a transport network
US5953049A (en) * 1996-08-02 1999-09-14 Lucent Technologies Inc. Adaptive audio delay control for multimedia conferencing
US20020103919A1 (en) * 2000-12-20 2002-08-01 G. Wyndham Hannaway Webcasting method and system for time-based synchronization of multiple, independent media streams
WO2002060178A1 (en) * 2001-01-23 2002-08-01 Digeo, Inc. Synchronizing multiple signals received through different transmission mediums
JP2002290932A (ja) * 2001-03-27 2002-10-04 Toshiba Corp デジタル放送受信装置とその制御方法
JP2002344898A (ja) * 2001-05-17 2002-11-29 Pioneer Electronic Corp 映像表示装置、音声調整装置及び映像音声出力装置、並びに映像音声同期方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012227927A (ja) * 2011-04-18 2012-11-15 Harman Internatl Industries Inc メディアクロックネゴシエーション
JP2013055479A (ja) * 2011-09-02 2013-03-21 Nippon Hoso Kyokai <Nhk> 通信コンテンツ生成装置および通信コンテンツ生成プログラム
JP2019114941A (ja) * 2017-12-25 2019-07-11 古野電気株式会社 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム
JP6993869B2 (ja) 2017-12-25 2022-01-14 古野電気株式会社 再生装置、遠隔再生システム、再生方法、及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2004052020A1 (en) 2004-06-17
CN1720748A (zh) 2006-01-11
US7552352B2 (en) 2009-06-23
EP1570680A1 (en) 2005-09-07
US20060053455A1 (en) 2006-03-09
AU2003302540A1 (en) 2004-06-23
KR20050085344A (ko) 2005-08-29

Similar Documents

Publication Publication Date Title
JP2006509405A (ja) 信号の同期
JP3544963B2 (ja) 同期再生のための方法および装置
US7400653B2 (en) Maintaining synchronization of streaming audio and video using internet protocol
US7333519B2 (en) Method of manually fine tuning audio synchronization of a home network
KR101168612B1 (ko) 디지털 방송수신기의 동기장치 및 방법
AU2001245369A1 (en) A method and apparatus for receiving a hyperlinked television broadcast
EP3245792A1 (en) Simultaneously viewing multiple camera angles
US20160088339A1 (en) Reproducing device and method of reproducing data
US20130166769A1 (en) Receiving device, screen frame transmission system and method
EP1093302A2 (en) Multichannel display data generating apparatus, and data medium, and computer program therefor
JP5354664B2 (ja) デジタルデータ受信機、及び、プログラム
US20080307470A1 (en) Control method for an information processing device
US11756590B2 (en) Method of decoding an incoming audio/video stream
JP2006270299A (ja) Ｃｍ検出装置およびｃｍ検出方法
KR20060105890A (ko) 디지털 방송 수신 장치 및 그 장치에서의 동기화 처리 방법
JP5383520B2 (ja) 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法
KR20010018572A (ko) 오디오/비디오 신호 동기 장치 및 그 방법
JP4359024B2 (ja) 同期制御方法と装置およびそれを用いた同期再生装置およびテレビジョン受信装置
JP2006129420A (ja) 情報コミュニケーション端末装置
JP2002369163A (ja) マルチストリーム出力時刻制御方法及びその制御装置
KR100698182B1 (ko) 디지털 방송 시스템의 ａｖ 출력 방법 및 장치
US20100091188A1 (en) Synchronization of secondary decoded media streams with a primary media stream
US7748015B2 (en) Processing of a broadcast signal
JP4723715B2 (ja) マルチチャンネル表示用データ作成装置、及びマルチチャンネル表示用データ作成方法
KR20070056551A (ko) 디지털 방송용 단말기 및 데이터의 저장 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061124

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080703

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100212

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110104