JP2004180323A - Method and system for breaking audio-visual component - Google Patents

Method and system for breaking audio-visual component Download PDF

Info

Publication number
JP2004180323A
JP2004180323A JP2003398056A JP2003398056A JP2004180323A JP 2004180323 A JP2004180323 A JP 2004180323A JP 2003398056 A JP2003398056 A JP 2003398056A JP 2003398056 A JP2003398056 A JP 2003398056A JP 2004180323 A JP2004180323 A JP 2004180323A
Authority
JP
Japan
Prior art keywords
audio
visual
network
output devices
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003398056A
Other languages
Japanese (ja)
Other versions
JP4571794B2 (en
JP2004180323A5 (en
Inventor
William Thomas Blank
トーマス ブランク ウィリアム
Donald M Gray Iii
エム.グレイ ザ サード ドナルド
Robert George Atkinson
ジョージ アトキンソン ロバート
Anand Valavi
バラビ アナンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2004180323A publication Critical patent/JP2004180323A/en
Publication of JP2004180323A5 publication Critical patent/JP2004180323A5/ja
Application granted granted Critical
Publication of JP4571794B2 publication Critical patent/JP4571794B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1101Session protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • H04L69/169Special adaptations of TCP, UDP or IP for interworking of IP based networks with other networks 
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]

Abstract

<P>PROBLEM TO BE SOLVED: To provide a method and system for break up and connection of A/V components, and communications of A/V content stream information. <P>SOLUTION: An A/V stream from a source device is packaged to be transmitted to one or two or more output devices via an IP network. A legacy A/V system may be integrated into an A/V system that is supported on the network by a brick device. The brick device operates to provide conversion of an analog signal and an IP protocol together with synchronizing of an A/V stream data packets received therewith. Rendering and reproducing of the A/V stream are synchronized on a large number of output devices to eliminate distortions and the specific performance of the other networks, so that the user may have pleasant experience. <P>COPYRIGHT: (C)2004,JPO

Description

本発明は、オーディオ/ビジュアルに関する。より詳細には、本発明は、オーディオ/ビジュアルコンテンツストリームの接続、配布および体験のためのシステムおよび方法に関する。   The present invention relates to audio / visual. More particularly, the present invention relates to systems and methods for connecting, distributing and exploring audio / visual content streams.

今日の家庭でのオーディオ/ビジュアル(A/V)コンテンツは、種々のメーカからハードウエアおよびソフトウエアコンポーネントを過剰に必要とする。これらコンポーネントは、今日存在する、相互動作性とデバイス接続と通信とにおける種々の発達に、完全には活用してこなかった。一般のA/Vシステムのセットアップは、お互いにハードワイヤードされ、ときにはチューナ/ソーススイッチャを介した多数のデバイスから成っている。結果として、このようなシステムの機能の大部分は、一般的に、1つの部屋や家の限られた区域に提供される。例えば、適度に使用可能なA/Vコンポーネントを持った一般的な家において、子供部屋には、コンパクトディスク(CD)プレイヤ、スピーカおよびテレビジョン(TV)があるかもしれないが、そのTVはおそらく外部スピーカに接続されていない。だが一方、居間にある、TV、デジタルビデオディスク(DVD)、VCR、スピーカおよびステレオシステムは、全て互いに接続される。   Audio / visual (A / V) content in today's homes requires excessive hardware and software components from various manufacturers. These components have not fully exploited the various advances in interoperability, device connectivity and communication that exist today. A typical A / V system setup consists of a number of devices hardwired together, sometimes via a tuner / source switcher. As a result, most of the functionality of such a system is typically provided in a single room or limited area of a house. For example, in a typical home with moderately usable A / V components, a children's room may have a compact disc (CD) player, speakers and a television (TV), but the TV is probably Not connected to external speakers. However, in the living room, the TV, digital video disc (DVD), VCR, speakers and stereo system are all connected to each other.

子供部屋のコンポーネントを、単独の方法で、または居間と結合して相互接続することは可能であるかもしれないが、大抵の人は、その複雑性を訴え、コンポーネントからコンポーネントへ、すなわち家のあちこちどころか、部屋のあちこちのスピーカへ配線を張り巡らせるのに苦労するであろう。   It may be possible to interconnect the components of a children's room in a single way or in conjunction with a living room, but most people complain of their complexity and go from component to component, i.e. On the contrary, you'll have a hard time running the wires around the speakers in the room.

家でのA/Vシステムおよび接続の一般的な例を、図1に関して説明する。図示されるように、一般のホームシステムは、衛星放送用受信機ケーブルボックス102、デジタル音楽プレイヤを備えたPC104、VCR106、CD/DVDプレイヤ108、チューナまたはソーススイッチャ110、TV112、サウンドプロセッサ114、増幅器116、および左のチャンネルスピーカ118および右のチャンネルスピーカ120を含むことができる。   A general example of an A / V system and connection at home is described with respect to FIG. As shown, a typical home system includes a satellite receiver cable box 102, a PC 104 with a digital music player, a VCR 106, a CD / DVD player 108, a tuner or source switcher 110, a TV 112, a sound processor 114, an amplifier. 116, and a left channel speaker 118 and a right channel speaker 120.

衛星放送用受信機102、PC104、VCR106、CD/DVD108およびTV112(集合的にソースデバイスと称する)を、全て、チューナ/ソーススイッチャ110に接続する。一般的に、各ソースデバイスを、個別に、1対のオーディオケーブルを介してチューナソーススイッチャ110に接続する。オーディオケーブルの各対によって、信号はシステムの左および右のチャンネルへ供給される。あるいはまた、等時性の相互接続である、SPDIF(Sony/Phillips Digital Interface Format)のような、デジタルポイントトゥポイント相互接続を用いても良い。次いで、このような信号を、最終的に、左のおよび右のチャンネルスピーカ118、120のうち適切な方へと導く。サウンドプロセッサ114を、チューナ110に組込むことができ、幾つかの場合には独立したデバイスに含ませることができる。どちらの場合でも、サウンドプロセッサ114は、さらに、ソースシグナルの処理を提供して、ステレオ、サラウンドサウンドおよび他のこのような音響効果を生成する。増幅器116を、また、チューナ110およびサウンドプロセッサ114と同じユニットに組込むことができる。増幅器116は、左のチャンネルスピーカ118および右のチャンネルスピーカ120の双方への信号の増幅を提供する。   The satellite broadcast receiver 102, PC 104, VCR 106, CD / DVD 108 and TV 112 (collectively referred to as source devices) are all connected to a tuner / source switcher 110. Generally, each source device is individually connected to the tuner source switcher 110 via a pair of audio cables. With each pair of audio cables, signals are provided to the left and right channels of the system. Alternatively, a digital point-to-point interconnect such as an SPDIF (Sony / Phillips Digital Interface Format), which is an isochronous interconnect, may be used. Such signals are then ultimately directed to the appropriate of the left and right channel speakers 118,120. The sound processor 114 can be incorporated into the tuner 110, and in some cases can be included in a separate device. In either case, sound processor 114 further provides processing of the source signal to produce stereo, surround sound, and other such sound effects. Amplifier 116 may also be incorporated in the same unit as tuner 110 and sound processor 114. Amplifier 116 provides amplification of the signal to both left channel speaker 118 and right channel speaker 120.

一般的に言って、ここまで記述した機能は、個々のコンポーネントをお互いに適切に接続した場合、単に実行可能である。ユーザは、適切に接続しなければならない、多数のコネクタと多数の配線とに直面するので、問題が、発生する傾向にある。ユーザのジレンマをさらに増すのは、オーディオ/ビジュアル情報を家の中の多数の部屋へ配信する、または拡張する必要性がある。従来のステレオシステムは、分散された制御、あるいは長い距離に亘る、スピーカまたは他のコンポーネントの広範囲の配線に順応しない。この点に関して、データ通信に関する最近の技術革命のいずれかを活用するA/Vシステムを備えた主な進歩は無かった。電子A/Vコミュニケーションの問題に取り組む試みは、一般的に、制限によって妨害されており、その制限とは、現在の操作のハードワイヤードモード(current hard wired mode of operation)、および今日用いられる物理的コンポーネントに起因している。例えば、ソースコンポーネントから長い距離のところに出力コンポーネントを配置しようとするとき、A/V再生の質は減少する。これらは、用いられる物理的配線内の信号の損失によるものであり、多数接続されたデバイスを制御する簡単な方法がないことによるものである。   Generally speaking, the functions described so far can only be performed if the individual components are properly connected to each other. Problems tend to arise because users face numerous connectors and multiple wires that must be properly connected. Further increasing the user's dilemma requires the need to deliver or extend audio / visual information to multiple rooms in a house. Conventional stereo systems do not accommodate distributed control or extensive wiring of loudspeakers or other components over long distances. In this regard, there have been no major advances with A / V systems that take advantage of any of the recent technological revolutions in data communications. Attempts to address the problem of electronic A / V communication are generally hampered by limitations, which include the current hard wired mode of operation, and the physical Due to components. For example, when trying to place the output component a long distance from the source component, the quality of the A / V playback decreases. These are due to the loss of signals in the physical wiring used and due to the lack of a simple way to control a large number of connected devices.

上述した広範囲の配線に関する接続問題の幾つかについて、取らなければならない、または解決するための試みは、コンポーネント間を無線で通信する専用の方式、またはA/Vコンポーネント間を通信するための媒体として、家のAC配線を利用するよう試みる非標準方式を含んできた。これらの試みは、多くの方法でそれらの目標を満たしてこなかった。これらの欠点の幾つかは、他のデバイスからのノイズまたは干渉等の要因による低い音質を含む。他の欠点は、非標準ハードウエアアプローチによる費用と関係がある。十分に洗練された送信機および受信機を妥当なコストでホームA/Vシステムに組込んでこのような媒体を介してA/V配信を可能にするための費用は、かなり高いものとなっている。   Some of the connectivity problems associated with the widespread wiring described above must be taken or solved in a dedicated manner for wirelessly communicating between the components or as a medium for communicating between A / V components. Have included non-standard schemes that attempt to utilize home AC wiring. These attempts have not met their goals in many ways. Some of these drawbacks include poor sound quality due to factors such as noise or interference from other devices. Another disadvantage is related to the cost of the non-standard hardware approach. The cost of incorporating sufficiently sophisticated transmitters and receivers into a home A / V system at a reasonable cost to enable A / V distribution over such media has become quite high. I have.

A/Vデバイスと出力デバイスとの間の密なつながりを切離す要求から、このようなデバイス間で、低いコストで、トランスペアレントであり、およびインテリジェントなリンクを提供する通信パラダイムが必要とされる。   The need to break the tight link between A / V devices and output devices requires a communication paradigm that provides a low cost, transparent and intelligent link between such devices.

上述を考慮して、A/Vコンポーネントの分解(disaggregation)を可能にするシステムおよび方法を提供する必要がある。さらに重要なことには、このような分解を、いずれの関係するコンポーネントの位置、およびいずれの基礎通信プロトコルに影響されない、方法論に基づかせることである。さらに、このようなA/Vコンポーネントの設置および利用について、柔軟な体系と満足なユーザ体験とをも、提供するシステムおよび方法に対するニーズがある。さらに、A/Vコンポーネントの場所および物理的な近接さの制限に対処するシステムに対するニーズもある。   In view of the above, there is a need to provide systems and methods that allow for disaggregation of A / V components. More importantly, such decomposition is based on a methodology that is independent of the location of any relevant components and any underlying communication protocols. Further, there is a need for systems and methods that also provide a flexible system and a satisfactory user experience for the installation and use of such A / V components. Further, there is a need for a system that addresses the limitations of A / V component location and physical proximity.

本発明は、A/Vコンポーネントの接続およびA/Vコンテンツストリーム情報の通信のための方法およびシステムを指向する。   The present invention is directed to a method and system for connecting A / V components and communicating A / V content stream information.

一の形態では、本発明は、ネットワークを介して1または2以上の出力デバイスへ伝送するために実装された、ソースデバイスからのA/Vストリームを指向する。   In one aspect, the invention is directed to an A / V stream from a source device implemented for transmission over a network to one or more output devices.

他の形態では、本発明は、IPネットワークプロトコルの使用を指向する。   In another aspect, the invention is directed to the use of an IP network protocol.

さらに他の形態では、本発明は、A/VシステムをサポートしたネットワークへのレガシA/Vシステムの統合を可能にするデバイスを指向する。   In yet another aspect, the present invention is directed to a device that enables integration of a legacy A / V system into a network supporting the A / V system.

さらに他の形態では、本発明は、多数の出力デバイス上でのA/Vストリーム情報のレンダリングと再生とを同期させることを指向する。   In yet another aspect, the invention is directed to synchronizing the rendering and playback of A / V stream information on multiple output devices.

さらに他の形態では、本発明は、ネットワーク化されたA/Vデバイス間の厳密な時間(tight time)同期を確立するためのシステムおよび方法を指向する。   In yet another aspect, the present invention is directed to a system and method for establishing tight time synchronization between networked A / V devices.

本発明は、IPネットワークを介して1または2以上の出力デバイスへ伝送するために実装されたソースデバイスからのA/Vストリームに備える。ブリックデバイス(brick device)は、A/VシステムをサポートしたネットワークへのレガシA/Vシステムの統合を可能にする。ブリックデバイスは、アナログ信号とIPプロトコル変換とを提供するように作動し、受信されたA/Vストリームデータパケットの同期と共に作動する。多数の出力デバイス上でA/Vストリームコンテンツのレンダリングと再生とを同期させて、ひずみおよび他のネットワークの特異性(idiosyncrasy)を克服し、ユーザの体験が満足いくものになるよう促進する。   The present invention provides for an A / V stream from a source device implemented for transmission over an IP network to one or more output devices. Brick devices enable integration of legacy A / V systems into networks supporting A / V systems. The brick device operates to provide analog signals and IP protocol conversion, and operates with synchronization of received A / V stream data packets. Synchronize the rendering and playback of A / V stream content on multiple output devices to overcome distortions and other network idiosyncrasies, and to promote a satisfactory user experience.

本発明のさらなる形態は、それに付随する利点および新規な特徴と共に、部分的には以下の説明に記載され、および部分的には以下を精査することで当業者に明らかになり、または本発明の実施から学びとることができる。本発明の目的および利点は、添付の特許請求の範囲で特に指摘した手段および組合せによって実現され、達成されることができる。   Additional aspects of the invention, along with the advantages and novel features associated therewith, are set forth in part in the description which follows, and in part will become apparent to those skilled in the art upon a review of the following, or You can learn from implementation. The objects and advantages of the invention may be realized and attained by means of the instruments and combinations particularly pointed out in the appended claims.

本発明を、添付した図面を参照して以下に詳細に説明する。
本発明は、A/Vコンポーネントを分解し、特定の場所の至る所で、または地理的に分散された区域において、このようなコンポーネントの遠隔の配置を可能にするためのシステムおよび方法を指向する。本発明は、コンポーネント間の実際の媒体に影響を受けない、ネットワーク通信プロトコルを用いることによって、ソースと行き先であるA/Vコンポーネントとの間の通信を提供する。
The present invention will be described in detail below with reference to the accompanying drawings.
The present invention is directed to systems and methods for disassembling A / V components and enabling remote placement of such components throughout a particular location or in a geographically dispersed area. . The present invention provides communication between a source and a destination A / V component by using a network communication protocol that is not affected by the actual medium between the components.

一の実施形態では、種々のA/Vコンポーネントを、IEEE802.11、10Base−TおよびHPNA等の、種々のインターネットプロトコル(IP)ネットワークを介して接続する。種々の接続を例示する例示的ネットワーク200を図2に示す。このようなIPネットワークを用いると、分解されたA/Vストリーム配信を提供することができるが、IPネットワークへの固有の他の問題によって、コンテンツ配信における同期の問題がもたらされる。このような同期の問題を、伝送遅延に関する問題と共に、本発明によって対処する。本発明は、さらに、「ブリック」の使用を通じて、IPストリーム配信システム中のレガシA/Vコンポーネントの統合および使用に備える。本明細書で用いる「ブリック」とは、本質的にハードウエアおよびソフトウエアコンポーネントのグループであり、それらハードウエアおよびソフトウエアコンポーネントによって、IPネットワークとA/Vコンポーネントまたはシステムの従来のアナログ回路との間のやり取りが提供される。ブリックについてのより詳細な説明は、図3を参照して後に行う。例示のために、種々のタイプのブリックに対して参照がなされているが、これは単に、図の説明を助けるため、およびコンポーネントのあり得る差異を示すためである。しかしながら、議論されたタイプに関係なく、ブリックは、概念的に、半分はIPであり、半分はA/V媒体である。   In one embodiment, the various A / V components are connected via various Internet Protocol (IP) networks, such as IEEE 802.11, 10Base-T and HPNA. An exemplary network 200 illustrating various connections is shown in FIG. With such an IP network, decomposed A / V stream delivery can be provided, but other issues inherent to the IP network introduce synchronization problems in content delivery. Such synchronization problems, as well as transmission delay problems, are addressed by the present invention. The present invention further provides for the integration and use of legacy A / V components in IP stream distribution systems through the use of "Bricks". As used herein, a "brick" is essentially a group of hardware and software components that allow the hardware and software components to connect an IP network to A / V components or conventional analog circuits of a system. Interaction is provided. A more detailed description of bricks will be provided later with reference to FIG. For purposes of illustration, reference is made to various types of bricks, merely to assist in the description of the figures and to indicate possible differences in components. However, regardless of the type discussed, bricks are conceptually half IP and half A / V media.

図2に戻ると、例示的ネットワーク200が示されている。ネットワーク200では、多数のA/Vコンポーネントが相互接続されている。より詳細には、デジタルビデオディスク(DVD)プレイヤ202、チューナ204、コンパクトディスク(CD)プレイヤ206およびパーソナルコンピュータ(PC)208を、それぞれソースデバイスと見なし、種々のインタフェースを介してIP通信クラウド220に接続する。スピーカ(左チャンネルスピーカ232および右チャンネルスピーカ236)およびディスプレイ240等の受信デバイスを、また、通信クラウド220に接続する。本発明は、図2に示される特定のソースまたは受信デバイスに制限されるものではない。さらに、タイムマスターデバイス(time master device)228は、ネットワークの同期を容易にし、また、通信クラウド220に接続される。示されるアクセスポイントデバイス218は、多数の無線ネットワークデバイスのうちの任意の1つについてのインタフェースを提供する。上述で示唆したように、ネットワーク200は、ワイドエリアネットワーク(WAN)およびインターネットを含むことができる。ブロック226を、インターネットの通信クラウド220への接続を例示するために示す。通信クラウド220は、さらに、DSLモデム224、10/100スイッチ222、ルータおよび他のこのような通信接続デバイス等の、幾つかの相互接続されたコンポーネントを含んでもよい。   Returning to FIG. 2, an exemplary network 200 is shown. In network 200, a number of A / V components are interconnected. More specifically, the digital video disc (DVD) player 202, tuner 204, compact disc (CD) player 206, and personal computer (PC) 208 are each considered source devices and transmitted to the IP communication cloud 220 via various interfaces. Connecting. Receiving devices such as speakers (left channel speaker 232 and right channel speaker 236) and display 240 are also connected to communication cloud 220. The present invention is not limited to the particular source or receiving device shown in FIG. Further, a time master device 228 facilitates network synchronization and is connected to the communication cloud 220. The illustrated access point device 218 provides an interface for any one of a number of wireless network devices. As suggested above, network 200 may include a wide area network (WAN) and the Internet. Block 226 is shown to illustrate connection to the Internet communication cloud 220. Communication cloud 220 may further include a number of interconnected components, such as DSL modem 224, 10/100 switch 222, routers and other such communication connection devices.

当業者によって理解されるように、上述したA/Vデバイスおよびコンポーネントの各々は、ネットワーククラウド220に接続可能なインタフェースを必要とする。制限ではなく例示のために、幾つかのコンポーネントを、IPネットワーク接続の特定のタイプを有するものとして、示し説明する。IPインタフェースまたは接続のタイプは、本発明のシステムおよび方法に透過性であることを理解するべきである。さらに、通信クラウド220へのインタフェースは別個のコンポーネントとして示されているが、本発明は、それらコンポーネントのうちの幾つかまたは全てを、A/Vデバイスへ直接一体化できることも期待する。A/Vデバイスへ一体化されると、別個のブリックインタフェースは、必要なくなる。しかし、レガシA/Vソースおよび受信デバイスを収容するためには、ブリックを提供しなければならない。   As will be appreciated by those skilled in the art, each of the A / V devices and components described above requires an interface that can connect to the network cloud 220. For purposes of illustration and not limitation, some components are shown and described as having a particular type of IP network connection. It should be understood that the type of IP interface or connection is transparent to the systems and methods of the present invention. Furthermore, although the interface to the communication cloud 220 is shown as a separate component, the present invention also expects that some or all of those components can be integrated directly into an A / V device. When integrated into an A / V device, a separate brick interface is no longer needed. However, bricks must be provided to accommodate legacy A / V sources and receiving devices.

本例示では、DVDプレイヤ202を、第1型ブリック210を介して接続するように示す。第1型ブリック210は、MPEGコンバータを含み、DVDプレイヤ202からの情報のビデオ部分を処理する。DVDプレイヤ202からの信号のアナログ部分を処理するためのアナログ−デジタルコンバータ(ADC)をも、第1型ブリック210内に示す。第1型ブリック210の他のコンポーネントは、ネットワークインタフェースである。ネットワークへの接続性を、特定のネットワークインタフェースカード(NIC)または他の集積回路を通じて提供することができる。例示されたDVDプレイヤ202の場合、802.11NICを利用して、通信クラウド220への無線の接続性を提供する。無線の接続性を、802.11アクセスポイント218を介して完結させる。このように、第1型ブリック210によって、多数のIP互換性のA/V受信デバイスのうちのいずれかでレンダリングするために、ソースDVDプレイヤ202からIPネットワーク200上へのA/Vコンテンツの流れを可能とする。   In this example, the DVD player 202 is shown to be connected via the first type brick 210. The first type brick 210 includes an MPEG converter and processes the video portion of information from the DVD player 202. An analog-to-digital converter (ADC) for processing the analog portion of the signal from the DVD player 202 is also shown within the first type brick 210. Another component of the first type brick 210 is a network interface. Network connectivity can be provided through a specific network interface card (NIC) or other integrated circuit. In the case of the illustrated DVD player 202, the 802.11 NIC is utilized to provide wireless connectivity to the communication cloud 220. Wireless connectivity is completed via the 802.11 access point 218. Thus, the flow of A / V content from source DVD player 202 onto IP network 200 for rendering on any of a number of IP compatible A / V receiving devices by first type brick 210. Is possible.

DVDプレイヤ202に幾分類似した方法において、チューナ/増幅器204を、また、IPネットワーク200の通信クラウド220に接続する。チューナ/増幅器204を、第2型ブリック212を介して接続する。第2型ブリック212は、アナログ−デジタルコンバータ(ADC)を含み、チューナ/増幅器204からの信号のアナログオーディオ部分を処理する。第2型ブリック212は、また、ソース情報をIPネットワーク200上に配置するために、ネットワークインタフェースを含む。この場合にも、接続性を、802.11NICによって提供する。   In a manner somewhat similar to DVD player 202, tuner / amplifier 204 is also connected to communication cloud 220 of IP network 200. The tuner / amplifier 204 is connected via a second type brick 212. The second type brick 212 includes an analog-to-digital converter (ADC) and processes the analog audio portion of the signal from the tuner / amplifier 204. The second type brick 212 also includes a network interface for placing source information on the IP network 200. Again, connectivity is provided by the 802.11 NIC.

CDプレイヤ206もまた、通信クラウド220に接続する。CDプレイヤ206を、第3型ブリック214を介して接続する。第3型ブリック214は、アナログ−デジタルコンバータ(ADC)を含み、CDプレイヤ206からの信号のアナログ部分を処理する。第3型ブリック214は、10Base−TNICを通じてネットワーク接続性を提供し、その10Base−TNICを、通信クラウド220の10/100スイッチ222へ直接配線する。   The CD player 206 also connects to the communication cloud 220. The CD player 206 is connected via the third type brick 214. The third type brick 214 includes an analog-to-digital converter (ADC) and processes the analog part of the signal from the CD player 206. The third type brick 214 provides network connectivity through a 10Base-TNIC, and the 10Base-TNIC is wired directly to the 10/100 switch 222 of the communication cloud 220.

図示されるように、PC208もまた、多数の適切なネットワークインタフェースカード216のうちのいずれかの1つを介して通信クラウド220に接続することができる。この場合、NIC216を、PC208内に組込み、10/100スイッチ222へ配線する。   As shown, the PC 208 may also connect to the communication cloud 220 via any one of a number of suitable network interface cards 216. In this case, the NIC 216 is incorporated in the PC 208 and wired to the 10/100 switch 222.

任意のソースA/Vデバイス202〜208からの信号を全て、最終的に、1または2以上の受信デバイスによって消費する。受信デバイスは、エンドユーザの聞く/見る楽しみのための信号をレンダリングないし提供する。幾つかのA/Vストリームのための例示的受信デバイスを、スピーカ232、236およびディスプレイ240として例示する。左のチャンネルスピーカ232は、第4型ブリック230を介して通信クラウド220に接続され、通信クラウド220から情報を受信する。右のチャンネルスピーカ236は、また、第4型ブリック234を介して通信クラウド220に接続され、通信クラウド220から情報を受信する。第4型ブリック230、234は、10Base−TNICおよびデジタル−アナログコンバータ(DAC)等の、ネットワークインタフェースを含む。要するに、第4型ブリック230、234は、IPストリーム情報を受信しアナログ信号へと変換し、それら情報を、スピーカ232、236によってレンダリングすることができる。ビデオディスプレイ240は、グラフィックのイメージを表すことができ、そのイメージを、第5型ブリック238を介して通信クラウド220から受信する。第5型ブリック238は、NICおよびビデオ信号を伸長するためのMPEGデコーダを含む。   All signals from any of the source A / V devices 202-208 are ultimately consumed by one or more receiving devices. The receiving device renders or provides a signal for the end user's listening / viewing enjoyment. Exemplary receiving devices for some A / V streams are illustrated as speakers 232, 236 and display 240. The left channel speaker 232 is connected to the communication cloud 220 via the fourth type brick 230 and receives information from the communication cloud 220. The right channel speaker 236 is also connected to the communication cloud 220 via the fourth type brick 234 and receives information from the communication cloud 220. The fourth type bricks 230, 234 include a network interface, such as a 10Base-TNIC and a digital-to-analog converter (DAC). In short, the fourth type bricks 230, 234 can receive the IP stream information and convert it into an analog signal, which can be rendered by the speakers 232, 236. The video display 240 may represent a graphic image, which is received from the communication cloud 220 via the fifth brick 238. The fifth type brick 238 includes an NIC and an MPEG decoder for decompressing a video signal.

上述の各ブリックの説明を、分かりやすくするために大いに簡素化したことは、当業者によって理解されよう。ブリック、特に第5型ブリックのより詳細な説明は、図3を参照して行う。他のブリックの種類は、本発明の範囲内であり、各々は、ブリックが接続された特定のA/Vデバイスに適している類似のおよび適切なコンポーネントを含むことも、また、理解されよう。   It will be appreciated by those skilled in the art that the description of each brick described above has been greatly simplified for clarity. A more detailed description of bricks, especially type 5 bricks, is provided with reference to FIG. It will also be appreciated that other brick types are within the scope of the invention, each including similar and suitable components suitable for the particular A / V device to which the brick is connected.

図3において、第5型ブリックが示され、ブリック300として、一般的に、参照される。ブリック300は、スタンドアローンのコンポーネントとすることができ、主に過渡的なデバイスとして意図され、それによって、ユーザは、さらに投資を最小限にできる一方で、本発明の利点を享受することができる。言い換えれば、ブリック300によって、ユーザは、標準のA/VデバイスをIPネットワーク200に接続することができる。これを、物理的におよび論理的にブリッジする接続を提供することによって達成し、それらの接続によって、ユーザは、IP配信ネットワークで既存のA/Vシステムを利用することができる。本発明の他の実施形態において、ブリック300の機能またはそのコンポーネントを、個別のA/Vコンポーネントへ組込みおよび一体化する。これによって、別個のブリック300コンポーネントに対する必要性を取り除く。いずれかの場合にも、ブリック300は、IPネットワークに依存した半分およびA/V媒体の半分を含む。A/V媒体の半分は、ブリックをソースまたは受信デバイスとして意図するか否かに依存して変わる。ソースデバイスの例は、チューナ、マイクロフォンおよびDVDプレイヤを含み、一方、受信デバイスは、スピーカおよびディスプレイを含む。   In FIG. 3, a fifth type brick is shown and is generally referred to as brick 300. Brick 300 can be a stand-alone component and is intended primarily as a transitional device, thereby allowing users to enjoy the benefits of the present invention while further minimizing investment. . In other words, brick 300 allows a user to connect a standard A / V device to IP network 200. This is achieved by providing physically and logically bridging connections that allow users to utilize existing A / V systems in the IP distribution network. In another embodiment of the present invention, the functions of brick 300 or its components are incorporated and integrated into separate A / V components. This eliminates the need for a separate brick 300 component. In either case, brick 300 includes half the IP network dependent and half the A / V media. Half of the A / V media will vary depending on whether the brick is intended as a source or receiving device. Examples of source devices include tuners, microphones and DVD players, while receiving devices include speakers and displays.

一般に、ブリック300は、ネットワーク通信コンポーネント、すなわちネットワークインタフェースカード(NIC)304、電源ユニット302、マイクロプロセッサコンポーネント306、DACコンポーネント308および増幅器310を含む。スタンドアローンのブリック300の場合には、ブリック内の各コンポーネントに対して電力が必要である。この電力を、電源ユニット302によって供給する。上述したように、NIC304は、IPネットワークへのインタフェースを供給する。マイクロプロセッサコンポーネント306は、クロッキングコンポーネントおよびIPスタックインタフェースを含む。マイクロプロセッサコンポーネント306は、本明細書で一般的に説明された機能に対して必要である同期および他のプロセスを行う。ブリックが受信タイプのA/Vデバイス用である場合、DACコンポーネント308は理想的に存在し、一方、ブリックがソースA/Vデバイス用である場合、ADCコンポーネントを通常見出すであろう。いずれのコンバータコンポーネントも、クロッキング機構を一体化して、信号のタイミングと同期とを供給する。増幅器コンポーネント310は、受信A/Vシステムを駆動するのに必要とされるアナログ処理を提供する。   Generally, brick 300 includes network communication components: a network interface card (NIC) 304, a power supply unit 302, a microprocessor component 306, a DAC component 308, and an amplifier 310. In the case of a standalone brick 300, power is required for each component in the brick. This power is supplied by the power supply unit 302. As mentioned above, NIC 304 provides an interface to an IP network. Microprocessor component 306 includes a clocking component and an IP stack interface. Microprocessor component 306 performs the necessary synchronization and other processes for the functions generally described herein. If the brick is for a receive type A / V device, the DAC component 308 is ideally present, while if the brick is for a source A / V device, the ADC component will typically be found. Both converter components integrate the clocking mechanism to provide timing and synchronization of the signals. Amplifier component 310 provides the analog processing needed to drive the receive A / V system.

本発明の環境を簡潔に記述してきたが、以下の記述は、本発明の幾つかの他の形態、すなわち、本発明を利用するA/Vシステムの操作を指向する形態に焦点を合わせる。一般的な前提として、IPネットワークは、情報のタイムリーな配信を保証しない。最善のパケット配信はそれが期待されうることである。言い換えれば、データのパケットは、それがそこへ着くとすれば、それがそこへ着くときに、そこへ着くであろう。IPネットワークのこのような不確実性は、遅延、待ち時間、ジッタおよび他の固有のネットワーク特性に起因している。しかし、本発明は、ソリューションを提供し、そのソリューションによって、一般のIPネットワークのこのような妨げ(setback)にも関らず、A/Vストリームを同期された方法で送信し受信することができる。特に、本発明は、A/Vストリーム情報の伝送とレンダリングとのために、“厳密な時間”(tight time)の同期の概念を提供する。   Having briefly described the environment of the present invention, the following description focuses on some other aspects of the present invention, namely those directed to the operation of an A / V system utilizing the present invention. As a general premise, IP networks do not guarantee timely delivery of information. The best packet delivery is what it can be expected. In other words, the packet of data will get there when it gets there, if it gets there. Such uncertainties in IP networks are due to delay, latency, jitter and other inherent network characteristics. However, the present invention provides a solution by which the A / V stream can be transmitted and received in a synchronized manner despite such setbacks of common IP networks. . In particular, the present invention provides the concept of "time time" synchronization for A / V stream information transmission and rendering.

A/V伝送と再生との同期を、ソースおよび受信デバイス間で時間同期を確立することによって達成する。時間同期を、ネットワーク上でタイムマスター(time master)を選ぶことによって達成する。ブリックおよび対応したIPA/Vデバイスは全て、それらのクロックをタイムマスターに同期させる。操作で、ソースデバイスから生じる、A/Vデータパケットは、タイムスタンプ(t)を含む。タイムスタンプ(t)を、タイムマスターデバイス228から獲得する。遅延指示(d)を、また、伝送データパケット内に含ませる。組み合わせでは、データパケットのこれら時間に関連したコンポーネントにより、いつ情報をレンダリングするかについて受信デバイスに指示する。本質的に、各受信デバイスは、特定の期間(t+d)まで、関連したパケットをレンダリングすることを待つ。このように、受信デバイスは全て、受信された情報パケットを(t+d)に合わせて同時に上演し、それは、いつその情報を、実際にソースからデバイスで受信したかに依らない。例えば、2つの受信デバイス、recvAおよびrecvBがあると想定する。さらに、データパケットは、x秒かけてデバイスrecvAに達し、y秒かけてデバイスrecvBに達すると想定する。xおよびy秒が特定のパケット遅延指示dより小さい限り、recvAおよびrecvBは、いつそれらパケットを受信したかに依らずに、時間(t+d)において同期してパケットを再生/レンダリングする。   Synchronization between A / V transmission and playback is achieved by establishing time synchronization between source and receiving devices. Time synchronization is achieved by choosing a time master on the network. Brick and corresponding IPA / V devices all synchronize their clocks to the time master. In operation, an A / V data packet originating from a source device includes a time stamp (t). The time stamp (t) is obtained from the time master device 228. The delay indication (d) is also included in the transmission data packet. In combination, these time-related components of the data packet instruct the receiving device when to render the information. In essence, each receiving device waits until a certain time period (t + d) to render the associated packet. In this way, all receiving devices simultaneously stage the received information packet to (t + d), regardless of when the information was actually received at the device from the source. For example, assume that there are two receiving devices, recvA and recvB. Further assume that the data packet reaches device recvA in x seconds and device recvB in y seconds. As long as x and y seconds are less than a particular packet delay indication d, recvA and recvB will play / render the packets synchronously at time (t + d), regardless of when they were received.

厳密な時間の概念は、IPネットワークでのオーディオおよびビデオ情報の人間の知覚の同期を提供する。オーディオからビデオへの同期を、一般に、リップシンクと言われている。音の速さは、おおよそ1ミリ秒あたり0.3メートル(1フィート)であり、光の速さは、おおよそ1ナノ秒あたり0.3メートル(1フィート)であることは、周知である。このように、人間によって感知される視覚情報は、同時に発生されたあらゆる付随する音よりも非常に早く脳に達する。当技術分野内の種々の実験および研究を通して、音の視覚への遅延に対する感知閾値については、負の8ミリ秒(8mSec)から正の20または30ミリ秒(+20/30mSec)の範囲であることが決定され、一般に受け入れられてきた。言い換えれば、視覚的に感知されたイベントとそれに付随する音との間の遅延は、それが気づかれないようにするためには、上述した範囲内になければならない。より詳細には、A/Vストリームを扱うときは、音が、ビデオよりも8ミリ秒前に着く、またはビデオより20ミリ秒後に着く場合、その音は、人間のリスナへは目立ってばらばらになることはないであろう。   The strict time concept provides synchronization of human perception of audio and video information over IP networks. Synchronization from audio to video is commonly referred to as lip sync. It is well known that the speed of sound is approximately 0.3 meters (one foot) per millisecond and the speed of light is approximately 0.3 meters (one foot) per nanosecond. In this way, visual information perceived by humans reaches the brain much faster than any accompanying sounds that are generated simultaneously. Through various experiments and studies within the art, the perception threshold for sound to visual delay ranges from negative 8 milliseconds (8 mSec) to positive 20 or 30 milliseconds (+20/30 mSec). It has been decided and generally accepted. In other words, the delay between the visually perceived event and its accompanying sound must be in the range described above in order for it to go unnoticed. More specifically, when dealing with an A / V stream, if the sound arrives 8 ms before the video or 20 ms after the video, the sound will be noticeably disjointed to human listeners. Will not be.

オーディオ情報を、2つまたは3つ以上のスピーカへ導くと、リスナに顕著なひずみがないことを保証するために、それら信号のより厳密な位相合わせを必要とする。もっとも単純なひずみはエコーであるが、より微妙なひずみが信号キャンセレーションに起因して生じる。品質の高いステレオイメージを維持するための(または大多数のチャンネルのための)厳密なタイミングは、学術文献に明らかには記載されていないが、数十マイクロ秒の時間精度は、明らかに識別可能である。幾つかの映画スタジオは、精度が、関係する最も高い周波数の1/4波長でなければならないという経験法則を用いる。従って、20KHz信号は、12.5マイクロ秒の時間の精度を必要とする。本発明は、信号をネットワークを介して受信デバイスへ送信するときに、潜在的に生じるこのようなひずみに取り組み最小化するための技術を具体化する。その技術は、全ての受信デバイスによる同期された信号再生の概念に基づく。   Directing audio information to two or more loudspeakers requires tighter phasing of the signals to ensure that there is no noticeable distortion in the listener. The simplest distortion is an echo, but more subtle distortions result from signal cancellation. The exact timing for maintaining a high quality stereo image (or for the majority of channels) is not explicitly stated in the scientific literature, but a time accuracy of tens of microseconds is clearly identifiable It is. Some movie studios use an empirical rule that accuracy must be 1 / wavelength of the highest frequency of interest. Thus, a 20 KHz signal requires a time accuracy of 12.5 microseconds. The present invention embodies a technique for addressing and minimizing such potential distortions when transmitting a signal over a network to a receiving device. The technique is based on the concept of synchronized signal recovery by all receiving devices.

上述のような、一般の経験法則は、12マイクロ秒(12μsec)への同期によって、リスナにスタジオのような品質の体験を提供すべきであるということである。オーディオからビデオへの同期のみが必要である場合、その同期はあまり重要なものではない。本発明のソースおよび受信デバイスは全て、それらのクロックを同期させて、単一の参照点を提供する。同期を、単一のタイムマスターデバイス228を参照することによって達成する。しかしながら、これらのデバイスのクロックの同期の精度は、どのように各デバイスをタイムマスターデバイスへ接続するか、例えば有線か無線接続するかに依存することを留意するべきである。受信デバイスがネットワークに接続される媒体の伝播遅延の分散(propagation delay variance)は、タイムマスターデバイス228から受信された時間の同期の精度に影響を与える。しかしながら、全ての受信デバイスが同期している限り、集合的な受信デバイスがソースデバイスに対してどのくらい同期から外れているかは重要ではない。言い換えれば、受信デバイス間の厳密な時間の同期によって、同期された再生およびレンダリングが可能であり、従って、ユーザは聴く楽しみを高められる。本発明のこのような機能は、厳密な時間の同期を設けることである。   A general rule of thumb, as described above, is that synchronization to 12 microseconds (12 μsec) should provide listeners with a studio-like quality experience. If only audio-to-video synchronization is needed, that synchronization is less important. The source and receiving devices of the present invention all synchronize their clocks to provide a single reference point. Synchronization is achieved by referencing a single time master device 228. However, it should be noted that the accuracy of the clock synchronization of these devices depends on how each device is connected to the time master device, for example a wired or wireless connection. The propagation delay variance of the medium in which the receiving device is connected to the network affects the accuracy of the synchronization of the time received from the time master device 228. However, it is not important how long the collective receiving device is out of synchronization with the source device, as long as all receiving devices are synchronized. In other words, strict time synchronization between the receiving devices allows for synchronized playback and rendering, thus enhancing the listening enjoyment for the user. Such a function of the present invention is to provide strict time synchronization.

本発明の“厳密な時間”の概念を導入して、A/Vストリームの同期のための厳密な時間を実施することを、図4および図5を参照して説明する。図4において、SPDIF(Sony Philips Digital Interchange Format)情報を処理するための従来のフェーズロックループ(PLL)を例示する。図示されたように、ソースDVD402は、SPDIFの信号を提供し、その信号を、スピーカコーン408を通じて再生する前に、PLL406によってサンプリングし、DAC404によって受信する。この配置は、DVD402等のソースデバイスの内部クロックとDAC等の一般の中間デバイスとの間の不整合性に対処するのに一般に利用されている。例えば、DVD402を44.1kHzの周波数で動作させ、DAC404もまた44.1kHzで動作させることができるが、電子コンポーネントの性質により、それら2つの周波数は正確に同じにならないという事実がある。それら2つの周波数は、小数の端数を切り捨てているかもしれない。言い換えれば、DVD402は、実際は44.0877kHzであるかもしれないし、およびDAC404は、44.0944kHzであるかもしれない。このように、延長された期間にわたって、およびときどき、DAC404において、バッファのアンダーフローまたはオーバーフローの状態が存在する。言い換えれば、2つのコンポーネントのうちどちらがより速いかに依存して、DAC404は、空のバッファで終わることができ、信号がスピーカに届かない。あるいはまた、DVD402は、新しい情報をいれるための空きがDACのバッファにないかもしれない。PLL406は、この不一致の修正を可能にする。その修正により、デバイスとこのような同期との間の位相は同じになる。PLL406は、DVD402からの入来信号に従い、そして、DAC404のバッファからの情報の流れをスピードアップまたはスローダウンすることによってDAC404を調節する。   The introduction of the "exact time" concept of the present invention to implement exact time for A / V stream synchronization will be described with reference to FIGS. FIG. 4 illustrates a conventional phase locked loop (PLL) for processing SPDIF (Sony Philips Digital Interchange Format) information. As shown, source DVD 402 provides a SPDIF signal, which is sampled by PLL 406 and received by DAC 404 before being played through speaker cone 408. This arrangement is commonly used to address inconsistencies between the internal clock of the source device, such as the DVD 402, and a common intermediate device, such as a DAC. For example, while the DVD 402 can operate at a frequency of 44.1 kHz and the DAC 404 can also operate at 44.1 kHz, there is the fact that due to the nature of the electronic components, the two frequencies are not exactly the same. The two frequencies may have truncated decimals. In other words, the DVD 402 may actually be at 44.0877 kHz, and the DAC 404 may be at 44.0944 kHz. Thus, over an extended period of time, and sometimes at DAC 404, a buffer underflow or overflow condition exists. In other words, depending on which of the two components is faster, DAC 404 can end up with an empty buffer and the signal does not reach the speaker. Alternatively, the DVD 402 may not have room in the DAC's buffer for new information. PLL 406 enables this mismatch to be corrected. With that modification, the phase between the device and such synchronization is the same. The PLL 406 adjusts the DAC 404 by following the incoming signal from the DVD 402 and speeding up or slowing down the flow of information from the DAC 404 buffer.

本発明では、図2に示されるようなネットワーク200上に接続されたソースおよび受信デバイスを、別異に同期させる。図5は、本発明内の配置を例示し、その配置とは、図2のソースDVDプレイヤ202とスピーカ232との間の同期を提供するためのものである。図5に示されるように、ソースDVD202は、信号をソースブリック210へ提供し、そのブリック210により、ネットワーク通信クラウド220上にその情報を配置する。受信ブリック230は、ネットワーク通信クラウド220から情報を受信し、スピーカコーン232を通じて再生することができる。この配置では、同期は、DAC512へのクロック510の接続を通して達成され、それにより、A/Vストリーム情報のレンダリングを制御するために、ブリック230へのフィードバックを提供する。   In the present invention, the source and receiving devices connected on the network 200 as shown in FIG. 2 are separately synchronized. FIG. 5 illustrates an arrangement within the present invention for providing synchronization between the source DVD player 202 and the speaker 232 of FIG. As shown in FIG. 5, source DVD 202 provides a signal to source brick 210, which places the information on network communication cloud 220. The receiving brick 230 can receive information from the network communication cloud 220 and play it through the speaker cone 232. In this arrangement, synchronization is achieved through the connection of clock 510 to DAC 512, thereby providing feedback to brick 230 to control the rendering of A / V stream information.

A/V情報ストリームは、DVD202で発生し、ブリック210によってIPプロトコルに適切に変換され、ネットワーク通信クラウド220に接続された、幾つかの受信デバイスのうちの1つへ伝送される。IPネットワーク上の伝送は、非同一同期(non−isosynchronous)である。言い換えれば、IPネットワークは、変動する時間を基にしてデータパケットを伝送する。このように、あて先に対して意図されたパケットが、確実に、固定された時間間隔で到着することは期待できず、または一定の時間長に対して一時滞在とすることはできない。従って、A/Vストリーム情報のいかなる同期も、フレキシブルでおよび可変でなければならない。従って、固定の時間遅延のみを利用する単純化されたソリューションは、A/Vストリームのレンダリングに必要とされる、所要の連続的および持続可能な高度の同期を達成しないであろう。このように、クロック510をDAC512へ結合して、IPネットワークのパケット配信に応答して、クロック510がスピードアップまたはスローダウンするのに応じて、DAC512による音のレンダリングは、スピードアップおよびスローダウンする。しかしながら、PLL406が入来する同一同期(isosynchronous)情報に従うことができる、図4で例示された状況と異なり、IPネットワークで扱うときには、そのオプションは利用できない。言い換えれば、PLLをIPネットワークの非同一同期ストリームに結びつけることは可能ではない。PLLは、同一同期環境でのみ作動することができる。   The A / V information stream originates on the DVD 202 and is appropriately converted to an IP protocol by the brick 210 and transmitted to one of several receiving devices connected to the network communication cloud 220. The transmission on the IP network is non-isosynchronous. In other words, the IP network transmits the data packet based on the changing time. Thus, packets intended for the destination cannot be reliably expected to arrive at fixed time intervals, or cannot be temporarily stayed for a certain length of time. Therefore, any synchronization of A / V stream information must be flexible and variable. Thus, a simplified solution that utilizes only a fixed time delay will not achieve the required continuous and sustainable high degree of synchronization required for A / V stream rendering. Thus, the clock 510 is coupled to the DAC 512, and in response to the IP network packet delivery, the rendering of the sound by the DAC 512 speeds up and slows down as the clock 510 speeds up or slows down. . However, unlike the situation illustrated in FIG. 4, where the PLL 406 can follow the incoming isochronous information, that option is not available when dealing with an IP network. In other words, it is not possible to tie a PLL to a non-identical synchronization stream of an IP network. PLLs can only operate in the same synchronization environment.

図5に戻ると、ネットワーク通信クラウド220からのストリームへ直接結びつけることはありえないので、本発明は、A/VIPストリーム中に埋め込まれた、上述した時間同期の情報と共に、独立したクロック510の時間機構を利用する。そして、この組み合わされた情報を用いて、A/Vストリームのレンダリングをスピードアップおよびスローダウンさせる。非同一同期ネットワークを同期ネットワークへ変換するための共通の時間の使用に関するより詳細な説明を、米国特許出願第09/836,834号中に見出すことができ、ここでそれを参照することにより本明細書の一部とする。   Returning to FIG. 5, the present invention provides a time mechanism for an independent clock 510, together with the time synchronization information described above, embedded in the A / VIP stream, since there is no direct binding to the stream from the network communication cloud 220. Use Then, using this combined information, the rendering of the A / V stream is speeded up and slowed down. A more detailed description of the use of common time to convert non-identical synchronization networks to synchronization networks can be found in US patent application Ser. No. 09 / 836,834, which is hereby incorporated by reference. Part of the specification.

多数のソースおよび受信デバイスへ適用すると、A/Vデータの同期は、同時に受信出力デバイスに帰着する。ユーザは、ユーザの聞く楽しみについての許容できる基準および品質を維持しながら、任意に、ネットワークを介してA/Vデバイスに接続することができ、それらのデバイス間でA/Vコンテンツを配布することができる。固有のネットワーク切替能力を用いると、図1のA/Vスイッチ110を、完全に削除することができる。A/Vコンテンツストリームを、多数の受信デバイスでの出力のために仲介し、同期させる。ネットワーク配信に起因してリスナへのひずみを引き起こす問題、およびIPネットワークの特異性を、本発明のシステムおよび方法によって克服する。   When applied to multiple sources and receiving devices, synchronization of A / V data results in a simultaneous receiving output device. Users can optionally connect to A / V devices over a network and distribute A / V content between those devices while maintaining acceptable standards and quality of user listening enjoyment Can be. Using the inherent network switching capability, the A / V switch 110 of FIG. 1 can be completely eliminated. Mediate and synchronize A / V content streams for output at multiple receiving devices. The problems of causing distortion to listeners due to network distribution, and the peculiarities of IP networks, are overcome by the system and method of the present invention.

当業者によって理解されるように、パーソナルコンピュータまたは他のコンピューティングデバイスを、上述の機能を実行するように構成しても良い。特に、パーソナルコンピュータの動作環境を利用して、図2のタイムマスター228、図3のブリック300を実施しても良く、または図2の例示的ネットワーク200に例示した個別のまたは組み合わせのデバイスのうちのいずれかの機能を提供することができる。   As will be appreciated by those skilled in the art, a personal computer or other computing device may be configured to perform the functions described above. In particular, the operating environment of a personal computer may be utilized to implement the time master 228 of FIG. 2, the brick 300 of FIG. 3, or of the individual or combination of devices illustrated in the exemplary network 200 of FIG. Function can be provided.

これらの機能を、また、任意の1または2以上のコンピューティングデバイス上で、種々の組み合わせおよび構成で実行することができ、ならびにこのような変形は、本発明の範囲内で考えられる。   These functions can also be performed on any one or more computing devices in various combinations and configurations, and such variations are contemplated within the scope of the invention.

本発明は、IPプロトコルを用いて、ネットワークを介して多数のデバイスへA/V情報を伝送し、ネットワークへのレガシA/Vデバイスの接続を可能とし、およびA/Vコンテンツをひずませること無く、出力デバイスにおいて厳密な時間でのレンダリングおよび同期を提供する事に関する多数の利点と目的とを提供する。   The present invention uses the IP protocol to transmit A / V information to a large number of devices over a network, enables connection of legacy A / V devices to the network, and without distorting A / V content. Provides a number of advantages and objectives for providing precise time rendering and synchronization at the output device.

本発明を、特定の実施形態に関して説明してきたが、それら実施形態は、全ての点で制限ではなく例示となるように意図している。代替の実施形態は、本発明の範囲から逸脱することなく、当業者に明らかになるであろう。   Although the invention has been described with respect to particular embodiments, those embodiments are intended in all respects to be illustrative rather than restrictive. Alternative embodiments will be apparent to those skilled in the art without departing from the scope of the present invention.

以上から、本発明は、本発明のシステムおよび方法に対して明白でありおよび固有である他の利点と共に、上述された全ての目的を達成するために良く適応されたものであることは理解されるであろう。ある特徴およびサブコンビネーションは、有用であり、ならびに他の特徴およびサブコンビネーションへの言及なしで使用しても良いことが理解されよう。これは、特許請求の範囲内で考えられる。   From the foregoing, it will be appreciated that the present invention, along with other advantages which are obvious and inherent with respect to the system and method of the present invention, are well-adapted to achieve all the objects set forth above. Will be. It will be appreciated that certain features and sub-combinations are useful and may be used without reference to other features and sub-combinations. This is considered within the scope of the claims.

家庭でのオーディオ/ビジュアルコンポーネントの一般的な接続を例示するブロック図である。1 is a block diagram illustrating the general connection of audio / visual components at home. 本発明を結合するIPネットワークでのオーディオ/ビジュアル接続を例示するブロック図である。FIG. 2 is a block diagram illustrating an audio / visual connection in an IP network combining the present invention. 本発明とのレガシオーディオビジュアルコンポーネントの逆方向の互換性を可能にするオーディオ/ビジュアルブリックのブロック図である。FIG. 4 is a block diagram of an audio / visual brick that allows backward compatibility of legacy audiovisual components with the present invention. 出力信号をソース信号に相関させるための、DVDソースプレイヤからスピーカ出力への従来のオーディオビジュアル接続でのコンポーネントおよび流れを例示するブロック図である。FIG. 2 is a block diagram illustrating components and flows in a conventional audiovisual connection from a DVD source player to a speaker output for correlating an output signal to a source signal. 本発明を利用する、DVDプレイヤとスピーカとのオーディオ/ビジュアル配置において、出力信号をソース信号と同期させるためのコンポーネントおよび流れを例示するブロック図である。FIG. 3 is a block diagram illustrating components and flows for synchronizing an output signal with a source signal in an audio / visual arrangement of a DVD player and a speaker, utilizing the present invention.

符号の説明Explanation of reference numerals

102 衛星放送用受信機ケーブルボックス
104 MP3を備えたPC
106 VCR
108 CD/DVDプレイヤ
110 チューナAM/FMソーススイッチャ
112 テレビジョン
114 サウンドプロセッサ
116 増幅器
118、232 左のチャンネルスピーカ
120、236 右のチャンネルスピーカ
202、402 DVDプレイヤ
204 チューナ/AMP
206 CDプレイヤ
208 パーソナルコンピュータ
210 第1型ブリック
212 第2型ブリック
214 第3型ブリック
216、 NIC
218 802.11アクセスポイント
220 IP通信クラウド
222 10/100スイッチ
224 DSLモデム
226 WAN/インターネット
228 タイムマスターシステム
230、234 第4型ブリック
238 第5型ブリック
240 ディスプレイ
302 電源
306 プロセッサ−IP−スタック
308 DAC
310 増幅器
404 デコーダ/DAC
406 PLL
408 スピーカコーン
510 クロック
512 DAC
102 Cable box for satellite broadcasting receiver 104 PC with MP3
106 VCR
108 CD / DVD player 110 Tuner AM / FM source switcher 112 Television 114 Sound processor 116 Amplifier 118,232 Left channel speaker 120,236 Right channel speaker 202,402 DVD player 204 Tuner / AMP
206 CD player 208 Personal computer 210 First type brick 212 Second type brick 214 Third type brick 216, NIC
218 802.11 Access Point 220 IP Communication Cloud 222 10/100 Switch 224 DSL Modem 226 WAN / Internet 228 Time Master System 230, 234 4th Brick 238 5th Brick 240 Display 302 Power Supply 306 Processor-IP-Stack 308 DAC
310 amplifier 404 decoder / DAC
406 PLL
408 Speaker cone 510 Clock 512 DAC

Claims (17)

オーディオ−ビジュアルシステムを分解するための方法であって、
ネットワークを介しての通信のための1または2以上のデータパケットとして、ソースデバイスからオーディオ−ビジュアルストリームを提供し、
前記ネットワークを介して、前記1または2以上のデータパケットを送信し、
前記データパケットを受信し、および前記オーディオ−ビジュアルストリームをその受信したデータパケットから得、および
同期された形態で、前記オーディオ−ビジュアルストリームを多数の出力デバイスでレンダリングすること
を備えることを特徴とする方法。
A method for disassembling an audio-visual system, comprising:
Providing an audio-visual stream from the source device as one or more data packets for communication over the network;
Transmitting the one or more data packets over the network;
Receiving the data packet and obtaining the audio-visual stream from the received data packet, and rendering the audio-visual stream in a synchronized manner on a number of output devices. Method.
前記ソースデバイスおよび前記出力デバイスを、地理的に分散された場所に設置することを特徴とする請求項1記載の方法。   The method of claim 1, wherein the source device and the output device are located at geographically dispersed locations. 前記ソースデバイスおよび受信デバイスを、近接して設置し、およびローカルエリアネットワーク上で接続することを特徴とする請求項1記載の方法。   The method of claim 1, wherein the source device and the receiving device are located in close proximity and connected over a local area network. 前記データパケットは、タイムスタンプおよび1または2以上のレンダリングもしくは再生情報の項目を組込むことを特徴とする請求項1記載の方法。   The method of claim 1, wherein the data packet incorporates a time stamp and one or more items of rendering or playback information. 前記ネットワークは、IPネットワークであることを特徴とする請求項1記載の方法。   The method of claim 1, wherein the network is an IP network. 前記オーディオ−ビジュアルストリームのレンダリングを制御して、前記出力デバイス上での前記オーディオ−ビジュアルストリームの出力を同期させることをさらに備えることを特徴とする請求項4記載の方法。   The method of claim 4, further comprising controlling rendering of the audio-visual stream to synchronize output of the audio-visual stream on the output device. 前記オーディオ−ビジュアルストリームのレンダリングの制御を、前記1または2以上のレンダリングもしくは再生情報の項目を用いることによって時間操作を通して行って、前記出力デバイスが前記オーディオ−ビジュアルストリームのレンダリングまたは再生をいつ開始すべきかを示すことを特徴とする請求項1記載の方法。   Controlling the rendering of the audio-visual stream is performed through temporal manipulation by using the one or more items of rendering or playback information so that the output device should begin rendering or playing the audio-visual stream. 2. The method of claim 1, wherein the method is indicative of an effect. オーディオ−ビジュアルシステムを分解するためのシステムであって、
第1および第2のブリックと、
オーディオ−ビジュアルソースデバイスと、
1または2以上のオーディオ−ビジュアル出力デバイスとを備え、
前記オーディオ−ビジュアルソースデバイスによりオーディオ−ビデオストリームを発生し、および前記オーディオビジュアルソースデバイスを前記第1のブリックを介してネットワークに結合し、
前記1または2以上の出力デバイスを、前記第2のブリックを介して前記ネットワークに接続し、前記オーディオ−ビデオソースデバイスからの前記オーディオ−ビデオストリームを受信しおよびレンダリングし、前記第1および第2のブリックにより、ネットワークインタフェースコンポーネントおよびアナログオーディオ−ビジュアルコンポーネントを通じて、プロトコル変換を提供することを特徴とするシステム。
A system for disassembling an audio-visual system, comprising:
First and second bricks;
An audio-visual source device;
One or more audio-visual output devices;
Generating an audio-video stream by the audio-visual source device; and coupling the audio-visual source device to a network via the first brick;
Connecting the one or more output devices to the network via the second brick, receiving and rendering the audio-video stream from the audio-video source device, the first and second output devices; Providing protocol conversion through a network interface component and an analog audio-visual component.
前記第2のブリックにより、前記1または2以上の出力デバイス上の前記オーディオ−ビジュアルストリームに対してタイミング同期を提供することを特徴とする請求項8記載のシステム。   The system of claim 8, wherein the second brick provides timing synchronization for the audio-visual stream on the one or more output devices. オーディオ−ビジュアルシステムを分解するためのシステムであって、
ブリックと、
1または2以上のオーディオ−ビジュアル出力デバイスとを備え、
前記1または2以上の出力デバイスを、前記ブリックを介してネットワークに接続し、オーディオ−ビデオソースデバイスからのオーディオ−ビデオストリームを受信しおよびレンダリングし、前記ブリックにより、ネットワークインタフェースコンポーネントおよびアナログオーディオ−ビジュアルコンポーネントを通じて、プロトコル変換を提供することを特徴とするシステム。
A system for disassembling an audio-visual system, comprising:
Brick and
One or more audio-visual output devices;
Connecting the one or more output devices to a network via the brick, receiving and rendering an audio-video stream from an audio-video source device, wherein the brick provides a network interface component and an analog audio-visual A system for providing protocol conversion through components.
前記ブリックにより、前記1または2以上の出力デバイス上の前記オーディオ−ビジュアルストリームにタイミング同期を提供することを特徴とする請求項10記載のシステム。   The system of claim 10, wherein the brick provides timing synchronization to the audio-visual stream on the one or more output devices. 前記ブリックは、前記1または2以上の出力デバイスとは別個のコンポーネントであることを特徴とする請求項10記載のシステム。   The system of claim 10, wherein the brick is a separate component from the one or more output devices. 前記ブリックを、前記1または2以上の出力デバイスへ組込むことを特徴とする請求項10記載のシステム。   The system of claim 10, wherein the brick is incorporated into the one or more output devices. コンピューティング環境において、1または2以上の出力デバイス上で、ソースデバイスからのオーディオ−ビジュアルストリームのレンダリングを同期させるための方法であって、
配信ネットワーク上でタイムマスターを識別し、
前記タイムマスターから得られた情報に対応する、少なくとも1つのタイムコンポーネントをソースデバイスおよび前記1または2以上の出力デバイスへ提供し、および
前記1または2以上の出力デバイス上で前記タイムコンポーネントを用いて、前記オーディオ−ビジュアルストリームを同期してレンダリングする共通の時間を確立すること
を備えることを特徴とする方法。
A method for synchronizing rendering of an audio-visual stream from a source device on one or more output devices in a computing environment, the method comprising:
Identify the time master on the distribution network,
Providing at least one time component corresponding to information obtained from the time master to a source device and the one or more output devices, and using the time component on the one or more output devices Establishing a common time to render the audio-visual stream synchronously.
プロセッサ、メモリおよびオペレーティング環境を有するコンピュータシステムであって、前記コンピュータシステムは、1または2以上の出力デバイス上で、ソースデバイスからのオーディオ−ビジュアルストリームのレンダリングを同期させるための方法を実行するように動作可能であり、前記方法は、
配信ネットワーク上でタイムマスターを識別し、
前記タイムマスターから得られた情報に対応する、少なくとも1つのタイムコンポーネントをソースデバイスおよび前記1または2以上の出力デバイスへ提供し、および
前記1または2以上の出力デバイス上で前記タイムコンポーネントを用いて、前記オーディオ−ビジュアルストリームを同期してレンダリングする共通の時間を確立すること
を備えることを特徴とするコンピュータシステム。
A computer system having a processor, a memory, and an operating environment, wherein the computer system performs, on one or more output devices, a method for synchronizing rendering of an audio-visual stream from a source device. Operable, the method comprising:
Identify the time master on the distribution network,
Providing at least one time component corresponding to information obtained from the time master to a source device and the one or more output devices, and using the time component on the one or more output devices Establishing a common time to render the audio-visual stream synchronously.
オーディオ−ビジュアルシステムを分解するための方法を実行するためのコンピュータ実行可能命令を有するコンピュータ可読媒体であって、前記方法は、
ネットワークを介しての通信のための1または2以上のデータパケットとして、ソースデバイスからオーディオ−ビジュアルストリームを提供し、
前記ネットワークを介して、前記1または2以上のデータパケットを送信し、
前記データパケットを受信し、および前記オーディオ−ビジュアルストリームをその受信したデータパケットから得、および
出力デバイス間の時間同期の方法を用いて、前記オーディオ−ビジュアルストリームを多数の出力デバイスでレンダリングすること
を備えることを特徴とするコンピュータ可読媒体。
A computer-readable medium having computer-executable instructions for performing a method for disassembling an audio-visual system, the method comprising:
Providing an audio-visual stream from the source device as one or more data packets for communication over the network;
Transmitting the one or more data packets over the network;
Receiving the data packets and obtaining the audio-visual stream from the received data packets, and rendering the audio-visual stream on multiple output devices using a method of time synchronization between output devices. A computer readable medium comprising:
オーディオ−ビジュアルシステムを分解するための方法を実行するためのコンピュータ実行可能命令を有するコンピュータプログラムであって、前記方法は、
ネットワークを介しての通信のための1または2以上のデータパケットとして、ソースデバイスからオーディオ−ビジュアルストリームを提供し、
前記ネットワークを介して、前記1または2以上のデータパケットを送信し、
前記データパケットを受信し、および前記オーディオ−ビジュアルストリームをその受信したデータパケットから得、および
出力デバイス間の時間同期の方法を用いて、前記オーディオ−ビジュアルストリームを多数の出力デバイスでレンダリングすること
を備えることを特徴とするコンピュータプログラム。
A computer program having computer-executable instructions for performing a method for disassembling an audio-visual system, the method comprising:
Providing an audio-visual stream from the source device as one or more data packets for communication over the network;
Transmitting the one or more data packets over the network;
Receiving the data packets and obtaining the audio-visual stream from the received data packets, and rendering the audio-visual stream on multiple output devices using a method of time synchronization between output devices. A computer program characterized by comprising:
JP2003398056A 2002-11-27 2003-11-27 Method and system for disassembling audio / visual components Expired - Fee Related JP4571794B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US10/306,340 US7295548B2 (en) 2002-11-27 2002-11-27 Method and system for disaggregating audio/visual components

Publications (3)

Publication Number Publication Date
JP2004180323A true JP2004180323A (en) 2004-06-24
JP2004180323A5 JP2004180323A5 (en) 2007-01-18
JP4571794B2 JP4571794B2 (en) 2010-10-27

Family

ID=32298074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003398056A Expired - Fee Related JP4571794B2 (en) 2002-11-27 2003-11-27 Method and system for disassembling audio / visual components

Country Status (9)

Country Link
US (1) US7295548B2 (en)
EP (1) EP1424827B1 (en)
JP (1) JP4571794B2 (en)
KR (1) KR100894202B1 (en)
CN (1) CN1520118B (en)
AT (1) ATE347226T1 (en)
BR (1) BR0305280A (en)
DE (1) DE60310017T2 (en)
HK (1) HK1066355A1 (en)

Families Citing this family (409)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8234395B2 (en) 2003-07-28 2012-07-31 Sonos, Inc. System and method for synchronizing operations among a plurality of independently clocked digital data processing devices
US11650784B2 (en) 2003-07-28 2023-05-16 Sonos, Inc. Adjusting volume levels
US11106425B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US10613817B2 (en) 2003-07-28 2020-04-07 Sonos, Inc. Method and apparatus for displaying a list of tracks scheduled for playback by a synchrony group
US8290603B1 (en) 2004-06-05 2012-10-16 Sonos, Inc. User interfaces for controlling and manipulating groupings in a multi-zone media system
US11106424B2 (en) 2003-07-28 2021-08-31 Sonos, Inc. Synchronizing operations among a plurality of independently clocked digital data processing devices
US8086752B2 (en) 2006-11-22 2011-12-27 Sonos, Inc. Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data
US11294618B2 (en) 2003-07-28 2022-04-05 Sonos, Inc. Media player system
JP4227509B2 (en) * 2003-12-15 2009-02-18 キヤノン株式会社 Communication terminal device and control method thereof
US9977561B2 (en) 2004-04-01 2018-05-22 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide guest access
US8024055B1 (en) 2004-05-15 2011-09-20 Sonos, Inc. Method and system for controlling amplifiers
US8868698B2 (en) 2004-06-05 2014-10-21 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
US10268352B2 (en) 2004-06-05 2019-04-23 Sonos, Inc. Method and apparatus for managing a playlist by metadata
US8326951B1 (en) 2004-06-05 2012-12-04 Sonos, Inc. Establishing a secure wireless network with minimum human intervention
EP1641318A1 (en) * 2004-09-27 2006-03-29 Apple Computer, Inc. Audio system, loudspeaker and method of operation thereof
WO2006040723A1 (en) * 2004-10-13 2006-04-20 Koninklijke Philips Electronics N.V. Method of and system for synchronizing playback of audio/video signals
ES2745045T3 (en) 2005-04-22 2020-02-27 Audinate Pty Ltd Network, device and method to transport digital media
US7539889B2 (en) * 2005-12-30 2009-05-26 Avega Systems Pty Ltd Media data synchronization in a wireless network
US8462627B2 (en) * 2005-12-30 2013-06-11 Altec Lansing Australia Pty Ltd Media data transfer in a network environment
KR20070073564A (en) * 2006-01-05 2007-07-10 삼성전자주식회사 Method of lip synchronizing for a wireless audio/video network and apparatus for the same
US8694910B2 (en) 2006-05-09 2014-04-08 Sonos, Inc. User interface to enable users to scroll through a large list of items
EP2033361B1 (en) 2006-05-17 2015-10-07 Audinate Pty Limited Transmitting and receiving media packet streams
US9075509B2 (en) 2006-05-18 2015-07-07 Sonos, Inc. User interface to provide additional information on a selected item in a list
US8483853B1 (en) 2006-09-12 2013-07-09 Sonos, Inc. Controlling and manipulating groupings in a multi-zone media system
US9202509B2 (en) 2006-09-12 2015-12-01 Sonos, Inc. Controlling and grouping in a multi-zone media system
US8788080B1 (en) 2006-09-12 2014-07-22 Sonos, Inc. Multi-channel pairing in a media system
KR101508703B1 (en) * 2006-11-24 2015-04-08 삼성전자주식회사 Digital contents authentication system and image display apparatus and method for authentication controlling digital contents
EP2095571A4 (en) * 2006-11-29 2011-08-17 Innovative Advantage Inc Multi-channel high-bandwidth media network
US20080178243A1 (en) * 2007-01-19 2008-07-24 Suiwu Dong Multimedia client/server system with audio synchronization and methods for use therewith
US8272008B2 (en) * 2007-02-28 2012-09-18 At&T Intellectual Property I, L.P. Methods, systems, and products for retrieving audio signals
CN101731011B (en) 2007-05-11 2014-05-28 奥迪耐特有限公司 Systems, methods and computer-readable media for configuring receiver latency
US8258872B1 (en) 2007-06-11 2012-09-04 Sonos, Inc. Multi-tier power supply for audio amplifiers
US20090097487A1 (en) * 2007-10-15 2009-04-16 Brajabandhu Mishra Method and system for transmission of digital audio in spdif format to one or more receivers
KR101449025B1 (en) * 2008-03-19 2014-10-08 엘지전자 주식회사 Method and apparatus for managing and processing information of an object for multi-source-streaming
US8325616B2 (en) * 2008-01-17 2012-12-04 Broadcom Corporation Method and system for determination and exchange of network timing information
US8990360B2 (en) 2008-02-22 2015-03-24 Sonos, Inc. System, method, and computer program for remotely managing a digital device
WO2009105838A1 (en) 2008-02-29 2009-09-03 Audinate Pty Ltd Network devices, methods and/or systems for use in a media network
US10459739B2 (en) 2008-07-09 2019-10-29 Sonos Inc. Systems and methods for configuring and profiling a digital media device
US8731370B2 (en) 2009-01-12 2014-05-20 At&T Intellectual Property I, L.P. Method and device for transmitting audio and video for playback
US10061742B2 (en) 2009-01-30 2018-08-28 Sonos, Inc. Advertising in a digital media playback system
US8923997B2 (en) 2010-10-13 2014-12-30 Sonos, Inc Method and apparatus for adjusting a speaker system
US11429343B2 (en) 2011-01-25 2022-08-30 Sonos, Inc. Stereo playback configuration and control
US11265652B2 (en) 2011-01-25 2022-03-01 Sonos, Inc. Playback device pairing
US8938312B2 (en) 2011-04-18 2015-01-20 Sonos, Inc. Smart line-in processing
US9451313B2 (en) 2011-06-29 2016-09-20 Harman International Industries, Incorporated Network media adapter
US9343818B2 (en) 2011-07-14 2016-05-17 Sonos, Inc. Antenna configurations for wireless speakers
US9042556B2 (en) 2011-07-19 2015-05-26 Sonos, Inc Shaping sound responsive to speaker orientation
US9286384B2 (en) 2011-09-21 2016-03-15 Sonos, Inc. Methods and systems to share media
US9052810B2 (en) 2011-09-28 2015-06-09 Sonos, Inc. Methods and apparatus to manage zones of a multi-zone media playback system
US20130076651A1 (en) 2011-09-28 2013-03-28 Robert Reimann Methods and apparatus to change control centexts of controllers
US8971546B2 (en) 2011-10-14 2015-03-03 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to control audio playback devices
US9094706B2 (en) 2011-10-21 2015-07-28 Sonos, Inc. Systems and methods for wireless music playback
US9460631B2 (en) 2011-11-02 2016-10-04 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture for playback demonstration at a point of sale display
US8811630B2 (en) 2011-12-21 2014-08-19 Sonos, Inc. Systems, methods, and apparatus to filter audio
US9665339B2 (en) 2011-12-28 2017-05-30 Sonos, Inc. Methods and systems to select an audio track
US9191699B2 (en) 2011-12-29 2015-11-17 Sonos, Inc. Systems and methods for connecting an audio controller to a hidden audio network
US9247492B2 (en) 2011-12-29 2016-01-26 Sonos, Inc. Systems and methods for multi-network audio control
US9084058B2 (en) 2011-12-29 2015-07-14 Sonos, Inc. Sound field calibration using listener localization
US9344292B2 (en) 2011-12-30 2016-05-17 Sonos, Inc. Systems and methods for player setup room names
US9654821B2 (en) 2011-12-30 2017-05-16 Sonos, Inc. Systems and methods for networked music playback
CN102546653A (en) * 2012-02-02 2012-07-04 北京圣世信通科技发展有限公司 Communication middleware for water resource data
US10469897B2 (en) 2012-03-19 2019-11-05 Sonos, Inc. Context-based user music menu systems and methods
US9436403B1 (en) * 2012-04-03 2016-09-06 Marvell International Ltd. Memory controller with on-chip linked list memory
US9729115B2 (en) 2012-04-27 2017-08-08 Sonos, Inc. Intelligently increasing the sound level of player
US9524098B2 (en) 2012-05-08 2016-12-20 Sonos, Inc. Methods and systems for subwoofer calibration
US9521074B2 (en) 2012-05-10 2016-12-13 Sonos, Inc. Methods and apparatus for direct routing between nodes of networks
US8908879B2 (en) 2012-05-23 2014-12-09 Sonos, Inc. Audio content auditioning
US8903526B2 (en) 2012-06-06 2014-12-02 Sonos, Inc. Device playback failure recovery and redistribution
US9398344B2 (en) * 2012-06-08 2016-07-19 Lg Electronics Inc. Image display apparatus, mobile terminal and method for operating the same
US9031255B2 (en) 2012-06-15 2015-05-12 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide low-latency audio
US9020623B2 (en) 2012-06-19 2015-04-28 Sonos, Inc Methods and apparatus to provide an infrared signal
US9204174B2 (en) 2012-06-25 2015-12-01 Sonos, Inc. Collecting and providing local playback system information
US9882995B2 (en) 2012-06-25 2018-01-30 Sonos, Inc. Systems, methods, apparatus, and articles of manufacture to provide automatic wireless configuration
US9674587B2 (en) 2012-06-26 2017-06-06 Sonos, Inc. Systems and methods for networked music playback including remote add to queue
US9715365B2 (en) 2012-06-27 2017-07-25 Sonos, Inc. Systems and methods for mobile music zones
US9219460B2 (en) 2014-03-17 2015-12-22 Sonos, Inc. Audio settings based on environment
US9225307B2 (en) 2012-06-28 2015-12-29 Sonos, Inc. Modification of audio responsive to proximity detection
US9137564B2 (en) 2012-06-28 2015-09-15 Sonos, Inc. Shift to corresponding media in a playback queue
US9106192B2 (en) 2012-06-28 2015-08-11 Sonos, Inc. System and method for device playback calibration
US9690539B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration user interface
US9668049B2 (en) 2012-06-28 2017-05-30 Sonos, Inc. Playback device calibration user interfaces
US9690271B2 (en) 2012-06-28 2017-06-27 Sonos, Inc. Speaker calibration
US9706323B2 (en) 2014-09-09 2017-07-11 Sonos, Inc. Playback device calibration
US9306764B2 (en) 2012-06-29 2016-04-05 Sonos, Inc. Dynamic spanning tree root selection
US9031244B2 (en) 2012-06-29 2015-05-12 Sonos, Inc. Smart audio settings
US8995687B2 (en) 2012-08-01 2015-03-31 Sonos, Inc. Volume interactions for connected playback devices
US8930005B2 (en) 2012-08-07 2015-01-06 Sonos, Inc. Acoustic signatures in a playback system
US8965033B2 (en) 2012-08-31 2015-02-24 Sonos, Inc. Acoustic optimization
US9078010B2 (en) 2012-09-28 2015-07-07 Sonos, Inc. Audio content playback management
US9008330B2 (en) 2012-09-28 2015-04-14 Sonos, Inc. Crossover frequency adjustments for audio speakers
US8910265B2 (en) 2012-09-28 2014-12-09 Sonos, Inc. Assisted registration of audio sources
US9516440B2 (en) 2012-10-01 2016-12-06 Sonos Providing a multi-channel and a multi-zone audio environment
US9179197B2 (en) 2012-10-10 2015-11-03 Sonos, Inc. Methods and apparatus for multicast optimization
US9952576B2 (en) 2012-10-16 2018-04-24 Sonos, Inc. Methods and apparatus to learn and share remote commands
US9319153B2 (en) 2012-12-04 2016-04-19 Sonos, Inc. Mobile source media content access
US10055491B2 (en) 2012-12-04 2018-08-21 Sonos, Inc. Media content search based on metadata
US9510055B2 (en) 2013-01-23 2016-11-29 Sonos, Inc. System and method for a media experience social interface
US9237384B2 (en) 2013-02-14 2016-01-12 Sonos, Inc. Automatic configuration of household playback devices
US9319409B2 (en) 2013-02-14 2016-04-19 Sonos, Inc. Automatic configuration of household playback devices
US9195432B2 (en) 2013-02-26 2015-11-24 Sonos, Inc. Pre-caching of audio content
CN105229740A (en) 2013-03-15 2016-01-06 搜诺思公司 There is the media playback system controller of multiple graphical interfaces
US9501533B2 (en) 2013-04-16 2016-11-22 Sonos, Inc. Private queue for a media playback system
US9361371B2 (en) 2013-04-16 2016-06-07 Sonos, Inc. Playlist update in a media playback system
US9247363B2 (en) 2013-04-16 2016-01-26 Sonos, Inc. Playback queue transfer in a media playback system
US9735978B2 (en) 2013-05-29 2017-08-15 Sonos, Inc. Playback queue control via a playlist on a mobile device
US10715973B2 (en) 2013-05-29 2020-07-14 Sonos, Inc. Playback queue control transition
US9953179B2 (en) 2013-05-29 2018-04-24 Sonos, Inc. Private queue indicator
US9684484B2 (en) * 2013-05-29 2017-06-20 Sonos, Inc. Playback zone silent connect
US9495076B2 (en) 2013-05-29 2016-11-15 Sonos, Inc. Playlist modification
US9798510B2 (en) 2013-05-29 2017-10-24 Sonos, Inc. Connected state indicator
US9703521B2 (en) 2013-05-29 2017-07-11 Sonos, Inc. Moving a playback queue to a new zone
US9438193B2 (en) 2013-06-05 2016-09-06 Sonos, Inc. Satellite volume control
US9654073B2 (en) 2013-06-07 2017-05-16 Sonos, Inc. Group volume control
US9285886B2 (en) 2013-06-24 2016-03-15 Sonos, Inc. Intelligent amplifier activation
US9298415B2 (en) 2013-07-09 2016-03-29 Sonos, Inc. Systems and methods to provide play/pause content
US9232277B2 (en) 2013-07-17 2016-01-05 Sonos, Inc. Associating playback devices with playback queues
US9066179B2 (en) 2013-09-09 2015-06-23 Sonos, Inc. Loudspeaker assembly configuration
US9232314B2 (en) 2013-09-09 2016-01-05 Sonos, Inc. Loudspeaker configuration
US9354677B2 (en) 2013-09-26 2016-05-31 Sonos, Inc. Speaker cooling
US9355555B2 (en) 2013-09-27 2016-05-31 Sonos, Inc. System and method for issuing commands in a media playback system
US9231545B2 (en) 2013-09-27 2016-01-05 Sonos, Inc. Volume enhancements in a multi-zone media playback system
US9933920B2 (en) 2013-09-27 2018-04-03 Sonos, Inc. Multi-household support
US10095785B2 (en) 2013-09-30 2018-10-09 Sonos, Inc. Audio content search in a media playback system
US9720576B2 (en) 2013-09-30 2017-08-01 Sonos, Inc. Controlling and displaying zones in a multi-zone system
US9166273B2 (en) 2013-09-30 2015-10-20 Sonos, Inc. Configurations for antennas
US9537819B2 (en) 2013-09-30 2017-01-03 Sonos, Inc. Facilitating the resolution of address conflicts in a networked media playback system
US10028028B2 (en) 2013-09-30 2018-07-17 Sonos, Inc. Accessing last-browsed information in a media playback system
US20150095679A1 (en) 2013-09-30 2015-04-02 Sonos, Inc. Transitioning A Networked Playback Device Between Operating Modes
US9244516B2 (en) 2013-09-30 2016-01-26 Sonos, Inc. Media playback system using standby mode in a mesh network
US9223353B2 (en) 2013-09-30 2015-12-29 Sonos, Inc. Ambient light proximity sensing configuration
US10296884B2 (en) 2013-09-30 2019-05-21 Sonos, Inc. Personalized media playback at a discovered point-of-sale display
US9298244B2 (en) 2013-09-30 2016-03-29 Sonos, Inc. Communication routes based on low power operation
US9344755B2 (en) 2013-09-30 2016-05-17 Sonos, Inc. Fast-resume audio playback
US9241355B2 (en) 2013-09-30 2016-01-19 Sonos, Inc. Media system access via cellular network
US9122451B2 (en) 2013-09-30 2015-09-01 Sonos, Inc. Capacitive proximity sensor configuration including a speaker grille
US9288596B2 (en) 2013-09-30 2016-03-15 Sonos, Inc. Coordinator device for paired or consolidated players
US9654545B2 (en) 2013-09-30 2017-05-16 Sonos, Inc. Group coordinator device selection
US9456037B2 (en) 2013-09-30 2016-09-27 Sonos, Inc. Identifying a useful wired connection
US9323404B2 (en) 2013-09-30 2016-04-26 Sonos, Inc. Capacitive proximity sensor configuration including an antenna ground plane
US9300647B2 (en) 2014-01-15 2016-03-29 Sonos, Inc. Software application and zones
US9313591B2 (en) 2014-01-27 2016-04-12 Sonos, Inc. Audio synchronization among playback devices using offset information
US20150220498A1 (en) 2014-02-05 2015-08-06 Sonos, Inc. Remote Creation of a Playback Queue for a Future Event
US9226087B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9226073B2 (en) 2014-02-06 2015-12-29 Sonos, Inc. Audio output balancing during synchronized playback
US9372610B2 (en) 2014-02-21 2016-06-21 Sonos, Inc. Media system controller interface
US9226072B2 (en) 2014-02-21 2015-12-29 Sonos, Inc. Media content based on playback zone awareness
US9408008B2 (en) 2014-02-28 2016-08-02 Sonos, Inc. Playback zone representations
US9679054B2 (en) 2014-03-05 2017-06-13 Sonos, Inc. Webpage media playback
US9892118B2 (en) 2014-03-18 2018-02-13 Sonos, Inc. Dynamic display of filter criteria
US20150261493A1 (en) 2014-03-11 2015-09-17 Sonos, Inc. Playback Zone Representations
US10599287B2 (en) 2014-03-11 2020-03-24 Sonos, Inc. Group volume control
US9264839B2 (en) 2014-03-17 2016-02-16 Sonos, Inc. Playback device configuration based on proximity detection
US9223862B2 (en) 2014-03-21 2015-12-29 Sonos, Inc. Remote storage and provisioning of local-media index
US10331736B2 (en) 2014-03-21 2019-06-25 Sonos, Inc. Facilitating streaming media access via a media-item database
US9338514B2 (en) 2014-03-28 2016-05-10 Sonos, Inc. Account aware media preferences
US10587693B2 (en) 2014-04-01 2020-03-10 Sonos, Inc. Mirrored queues
US9705950B2 (en) 2014-04-03 2017-07-11 Sonos, Inc. Methods and systems for transmitting playlists
US9524338B2 (en) 2014-04-28 2016-12-20 Sonos, Inc. Playback of media content according to media preferences
US9680960B2 (en) 2014-04-28 2017-06-13 Sonos, Inc. Receiving media content based on media preferences of multiple users
US9478247B2 (en) 2014-04-28 2016-10-25 Sonos, Inc. Management of media content playback
US10129599B2 (en) 2014-04-28 2018-11-13 Sonos, Inc. Media preference database
US20150324552A1 (en) 2014-05-12 2015-11-12 Sonos, Inc. Share Restriction for Media Items
US9720642B2 (en) 2014-06-04 2017-08-01 Sonos, Inc. Prioritizing media content requests
US9654536B2 (en) 2014-06-04 2017-05-16 Sonos, Inc. Cloud queue playback policy
US20150355818A1 (en) 2014-06-04 2015-12-10 Sonos, Inc. Continuous Playback Queue
US20150356084A1 (en) 2014-06-05 2015-12-10 Sonos, Inc. Social Queue
US9672213B2 (en) 2014-06-10 2017-06-06 Sonos, Inc. Providing media items from playback history
US9348824B2 (en) 2014-06-18 2016-05-24 Sonos, Inc. Device group identification
US9646085B2 (en) 2014-06-27 2017-05-09 Sonos, Inc. Music streaming using supported services
US9535986B2 (en) 2014-06-27 2017-01-03 Sonos, Inc. Application launch
US10068012B2 (en) 2014-06-27 2018-09-04 Sonos, Inc. Music discovery
US9519413B2 (en) 2014-07-01 2016-12-13 Sonos, Inc. Lock screen media playback control
US9779613B2 (en) 2014-07-01 2017-10-03 Sonos, Inc. Display and control of pre-determined audio content playback
US10498833B2 (en) 2014-07-14 2019-12-03 Sonos, Inc. Managing application access of a media playback system
US10462505B2 (en) 2014-07-14 2019-10-29 Sonos, Inc. Policies for media playback
US9467737B2 (en) 2014-07-14 2016-10-11 Sonos, Inc. Zone group control
US9485545B2 (en) 2014-07-14 2016-11-01 Sonos, Inc. Inconsistent queues
US9460755B2 (en) 2014-07-14 2016-10-04 Sonos, Inc. Queue identification
US9367283B2 (en) 2014-07-22 2016-06-14 Sonos, Inc. Audio settings
US9512954B2 (en) 2014-07-22 2016-12-06 Sonos, Inc. Device base
US8995240B1 (en) 2014-07-22 2015-03-31 Sonos, Inc. Playback using positioning information
US9671997B2 (en) 2014-07-23 2017-06-06 Sonos, Inc. Zone grouping
US10209947B2 (en) 2014-07-23 2019-02-19 Sonos, Inc. Device grouping
US9524339B2 (en) 2014-07-30 2016-12-20 Sonos, Inc. Contextual indexing of media items
US9538293B2 (en) 2014-07-31 2017-01-03 Sonos, Inc. Apparatus having varying geometry
US9874997B2 (en) 2014-08-08 2018-01-23 Sonos, Inc. Social playback queues
US10275138B2 (en) 2014-09-02 2019-04-30 Sonos, Inc. Zone recognition
US9910634B2 (en) 2014-09-09 2018-03-06 Sonos, Inc. Microphone calibration
US9952825B2 (en) 2014-09-09 2018-04-24 Sonos, Inc. Audio processing algorithms
US9891881B2 (en) 2014-09-09 2018-02-13 Sonos, Inc. Audio processing algorithm database
US10127006B2 (en) 2014-09-09 2018-11-13 Sonos, Inc. Facilitating calibration of an audio playback device
US9742839B2 (en) 2014-09-12 2017-08-22 Sonos, Inc. Cloud queue item removal
US9446559B2 (en) 2014-09-18 2016-09-20 Sonos, Inc. Speaker terminals
US10778739B2 (en) 2014-09-19 2020-09-15 Sonos, Inc. Limited-access media
US9860286B2 (en) 2014-09-24 2018-01-02 Sonos, Inc. Associating a captured image with a media item
US9667679B2 (en) 2014-09-24 2017-05-30 Sonos, Inc. Indicating an association between a social-media account and a media playback system
US9723038B2 (en) 2014-09-24 2017-08-01 Sonos, Inc. Social media connection recommendations based on playback information
US9959087B2 (en) 2014-09-24 2018-05-01 Sonos, Inc. Media item context from social media
US9690540B2 (en) 2014-09-24 2017-06-27 Sonos, Inc. Social media queue
WO2016049342A1 (en) 2014-09-24 2016-03-31 Sonos, Inc. Social media connection recommendations based on playback information
US10645130B2 (en) 2014-09-24 2020-05-05 Sonos, Inc. Playback updates
US9671780B2 (en) 2014-09-29 2017-06-06 Sonos, Inc. Playback device control
US9521212B2 (en) 2014-09-30 2016-12-13 Sonos, Inc. Service provider user accounts
US10002005B2 (en) 2014-09-30 2018-06-19 Sonos, Inc. Displaying data related to media content
US9840355B2 (en) 2014-10-03 2017-12-12 Sonos, Inc. Packaging system with slidable latch
US9876780B2 (en) 2014-11-21 2018-01-23 Sonos, Inc. Sharing access to a media service
US9973851B2 (en) 2014-12-01 2018-05-15 Sonos, Inc. Multi-channel playback of audio content
US20160156992A1 (en) 2014-12-01 2016-06-02 Sonos, Inc. Providing Information Associated with a Media Item
US9665341B2 (en) 2015-02-09 2017-05-30 Sonos, Inc. Synchronized audio mixing
US9329831B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US9330096B1 (en) 2015-02-25 2016-05-03 Sonos, Inc. Playback expansion
US9891880B2 (en) 2015-03-31 2018-02-13 Sonos, Inc. Information display regarding playback queue subscriptions
US9483230B1 (en) 2015-04-09 2016-11-01 Sonos, Inc. Wearable device zone group control
US10152212B2 (en) 2015-04-10 2018-12-11 Sonos, Inc. Media container addition and playback within queue
US9678707B2 (en) 2015-04-10 2017-06-13 Sonos, Inc. Identification of audio content facilitated by playback device
US9706319B2 (en) 2015-04-20 2017-07-11 Sonos, Inc. Wireless radio switching
US9787739B2 (en) 2015-04-23 2017-10-10 Sonos, Inc. Social network account assisted service registration
US10664224B2 (en) 2015-04-24 2020-05-26 Sonos, Inc. Speaker calibration user interface
WO2016172593A1 (en) 2015-04-24 2016-10-27 Sonos, Inc. Playback device calibration user interfaces
US9678708B2 (en) 2015-04-24 2017-06-13 Sonos, Inc. Volume limit
US9864571B2 (en) 2015-06-04 2018-01-09 Sonos, Inc. Dynamic bonding of playback devices
US10248376B2 (en) 2015-06-11 2019-04-02 Sonos, Inc. Multiple groupings in a playback system
US9544701B1 (en) 2015-07-19 2017-01-10 Sonos, Inc. Base properties in a media playback system
US10021488B2 (en) 2015-07-20 2018-07-10 Sonos, Inc. Voice coil wire configurations
US9729118B2 (en) 2015-07-24 2017-08-08 Sonos, Inc. Loudness matching
US9538305B2 (en) 2015-07-28 2017-01-03 Sonos, Inc. Calibration error conditions
US9712912B2 (en) 2015-08-21 2017-07-18 Sonos, Inc. Manipulation of playback device response using an acoustic filter
US9736610B2 (en) 2015-08-21 2017-08-15 Sonos, Inc. Manipulation of playback device response using signal processing
US10007481B2 (en) 2015-08-31 2018-06-26 Sonos, Inc. Detecting and controlling physical movement of a playback device during audio playback
US10001965B1 (en) 2015-09-03 2018-06-19 Sonos, Inc. Playback system join with base
US9693146B2 (en) 2015-09-11 2017-06-27 Sonos, Inc. Transducer diaphragm
US9693165B2 (en) 2015-09-17 2017-06-27 Sonos, Inc. Validation of audio calibration using multi-dimensional motion check
EP3351015B1 (en) 2015-09-17 2019-04-17 Sonos, Inc. Facilitating calibration of an audio playback device
US9779759B2 (en) 2015-09-17 2017-10-03 Sonos, Inc. Device impairment detection
US9949054B2 (en) 2015-09-30 2018-04-17 Sonos, Inc. Spatial mapping of audio playback devices in a listening environment
US10042602B2 (en) 2015-09-30 2018-08-07 Sonos, Inc. Activity reset
US9946508B1 (en) 2015-09-30 2018-04-17 Sonos, Inc. Smart music services preferences
US10098082B2 (en) 2015-12-16 2018-10-09 Sonos, Inc. Synchronization of content between networked devices
US10114605B2 (en) 2015-12-30 2018-10-30 Sonos, Inc. Group coordinator selection
US10303422B1 (en) 2016-01-05 2019-05-28 Sonos, Inc. Multiple-device setup
US10284980B1 (en) 2016-01-05 2019-05-07 Sonos, Inc. Intelligent group identification
US9898245B1 (en) 2016-01-15 2018-02-20 Sonos, Inc. System limits based on known triggers
US9743207B1 (en) 2016-01-18 2017-08-22 Sonos, Inc. Calibration using multiple recording devices
US11106423B2 (en) 2016-01-25 2021-08-31 Sonos, Inc. Evaluating calibration of a playback device
US10003899B2 (en) 2016-01-25 2018-06-19 Sonos, Inc. Calibration with particular locations
US9886234B2 (en) 2016-01-28 2018-02-06 Sonos, Inc. Systems and methods of distributing audio to one or more playback devices
US9743194B1 (en) 2016-02-08 2017-08-22 Sonos, Inc. Woven transducer apparatus
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US9942680B1 (en) 2016-02-22 2018-04-10 Sonos, Inc. Transducer assembly
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US10509626B2 (en) 2016-02-22 2019-12-17 Sonos, Inc Handling of loss of pairing between networked devices
US9930463B2 (en) 2016-03-31 2018-03-27 Sonos, Inc. Defect detection via audio playback
US9860662B2 (en) 2016-04-01 2018-01-02 Sonos, Inc. Updating playback device configuration information based on calibration data
US9864574B2 (en) 2016-04-01 2018-01-09 Sonos, Inc. Playback device calibration based on representation spectral characteristics
US9763018B1 (en) 2016-04-12 2017-09-12 Sonos, Inc. Calibration of audio playback devices
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US9860670B1 (en) 2016-07-15 2018-01-02 Sonos, Inc. Spectral correction using spatial calibration
US9794710B1 (en) 2016-07-15 2017-10-17 Sonos, Inc. Spatial audio correction
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10372406B2 (en) 2016-07-22 2019-08-06 Sonos, Inc. Calibration interface
US9883304B1 (en) 2016-07-29 2018-01-30 Sonos, Inc. Lifetime of an audio playback device with changed signal processing settings
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US10459684B2 (en) 2016-08-05 2019-10-29 Sonos, Inc. Calibration of a playback device based on an estimated frequency response
US9693164B1 (en) 2016-08-05 2017-06-27 Sonos, Inc. Determining direction of networked microphone device relative to audio playback device
US10657408B2 (en) 2016-08-26 2020-05-19 Sonos, Inc. Speaker spider measurement technique
US9794720B1 (en) 2016-09-22 2017-10-17 Sonos, Inc. Acoustic position measurement
US10318233B2 (en) 2016-09-23 2019-06-11 Sonos, Inc. Multimedia experience according to biometrics
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9967689B1 (en) 2016-09-29 2018-05-08 Sonos, Inc. Conditional content enhancement
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
US9967655B2 (en) 2016-10-06 2018-05-08 Sonos, Inc. Controlled passive radiator
US10712997B2 (en) 2016-10-17 2020-07-14 Sonos, Inc. Room association based on name
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
US10142726B2 (en) 2017-01-31 2018-11-27 Sonos, Inc. Noise reduction for high-airflow audio transducers
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US9860644B1 (en) 2017-04-05 2018-01-02 Sonos, Inc. Limiter for bass enhancement
US10735880B2 (en) 2017-05-09 2020-08-04 Sonos, Inc. Systems and methods of forming audio transducer diaphragms
US10028069B1 (en) 2017-06-22 2018-07-17 Sonos, Inc. Immersive audio in a media playback system
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US11076177B2 (en) 2017-09-05 2021-07-27 Sonos, Inc. Grouped zones in a system with multiple media playback protocols
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10292089B2 (en) 2017-09-18 2019-05-14 Sonos, Inc. Re-establishing connectivity on lost players
US10985982B2 (en) 2017-09-27 2021-04-20 Sonos, Inc. Proximal playback devices
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
US10656902B2 (en) 2018-03-05 2020-05-19 Sonos, Inc. Music discovery dial
US10462599B2 (en) 2018-03-21 2019-10-29 Sonos, Inc. Systems and methods of adjusting bass levels of multi-channel audio signals
US10623844B2 (en) 2018-03-29 2020-04-14 Sonos, Inc. Headphone interaction with media playback system
US10397694B1 (en) 2018-04-02 2019-08-27 Sonos, Inc. Playback devices having waveguides
US10862446B2 (en) 2018-04-02 2020-12-08 Sonos, Inc. Systems and methods of volume limiting
US10698650B2 (en) 2018-04-06 2020-06-30 Sonos, Inc. Temporary configuration of a media playback system within a place of accommodation
US10499128B2 (en) 2018-04-20 2019-12-03 Sonos, Inc. Playback devices having waveguides with drainage features
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10863257B1 (en) 2018-05-10 2020-12-08 Sonos, Inc. Method of assembling a loudspeaker
US10956116B2 (en) 2018-05-15 2021-03-23 Sonos, Inc. Media playback system with virtual line-in groups
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
US10735803B2 (en) 2018-06-05 2020-08-04 Sonos, Inc. Playback device setup
US10433058B1 (en) 2018-06-14 2019-10-01 Sonos, Inc. Content rules engines for audio playback devices
US10602286B2 (en) 2018-06-25 2020-03-24 Sonos, Inc. Controlling multi-site media playback systems
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10747493B2 (en) 2018-07-09 2020-08-18 Sonos, Inc. Distributed provisioning of properties of operational settings of a media playback system
US10299061B1 (en) 2018-08-28 2019-05-21 Sonos, Inc. Playback device calibration
US11206484B2 (en) 2018-08-28 2021-12-21 Sonos, Inc. Passive speaker authentication
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11514777B2 (en) 2018-10-02 2022-11-29 Sonos, Inc. Methods and devices for transferring data using sound signals
US10277981B1 (en) 2018-10-02 2019-04-30 Sonos, Inc. Systems and methods of user localization
US11416209B2 (en) 2018-10-15 2022-08-16 Sonos, Inc. Distributed synchronization
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11393478B2 (en) 2018-12-12 2022-07-19 Sonos, Inc. User specific context switching
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11740854B2 (en) 2019-01-20 2023-08-29 Sonos, Inc. Playing media content in response to detecting items having corresponding media content associated therewith
US10880594B2 (en) * 2019-02-06 2020-12-29 Bose Corporation Latency negotiation in a heterogeneous network of synchronized speakers
KR20210146885A (en) 2019-02-07 2021-12-06 메이츠 홀딩 비.브이. Inline Damper Bellows Dual Opposite Driver Speakers
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
US11188294B2 (en) 2019-02-28 2021-11-30 Sonos, Inc. Detecting the nearest playback device
EP3932092A1 (en) 2019-02-28 2022-01-05 Sonos, Inc. Playback transitions between audio devices
US11184666B2 (en) 2019-04-01 2021-11-23 Sonos, Inc. Access control techniques for media playback systems
WO2020207608A1 (en) 2019-04-11 2020-10-15 Mayht Holding B.V. Linear motor magnet assembly and loudspeaker unit
US10998615B1 (en) 2019-04-12 2021-05-04 Sonos, Inc. Spatial antenna diversity techniques
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11178504B2 (en) 2019-05-17 2021-11-16 Sonos, Inc. Wireless multi-channel headphone systems and methods
US10681463B1 (en) 2019-05-17 2020-06-09 Sonos, Inc. Wireless transmission to satellites for multichannel audio system
US10880009B2 (en) 2019-05-24 2020-12-29 Sonos, Inc. Control signal repeater system
US11342671B2 (en) 2019-06-07 2022-05-24 Sonos, Inc. Dual-band antenna topology
EP3981170A1 (en) 2019-06-07 2022-04-13 Sonos, Inc. Automatically allocating audio portions to playback devices
US11093016B2 (en) 2019-06-07 2021-08-17 Sonos, Inc. Portable playback device power management
US11126243B2 (en) 2019-06-07 2021-09-21 Sonos, Inc. Portable playback device power management
US11416210B2 (en) 2019-06-07 2022-08-16 Sonos, Inc. Management of media devices having limited capabilities
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11523206B2 (en) 2019-06-28 2022-12-06 Sonos, Inc. Wireless earbud charging
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US10734965B1 (en) 2019-08-12 2020-08-04 Sonos, Inc. Audio calibration of a portable playback device
US11539545B2 (en) 2019-08-19 2022-12-27 Sonos, Inc. Multi-network playback devices
US11528574B2 (en) 2019-08-30 2022-12-13 Sonos, Inc. Sum-difference arrays for audio playback devices
US11818187B2 (en) 2019-08-31 2023-11-14 Sonos, Inc. Mixed-mode synchronous playback
US10754614B1 (en) 2019-09-23 2020-08-25 Sonos, Inc. Mood detection and/or influence via audio playback devices
US11762624B2 (en) 2019-09-23 2023-09-19 Sonos, Inc. Capacitive touch sensor with integrated antenna(s) for playback devices
US11303988B2 (en) 2019-10-17 2022-04-12 Sonos, Inc. Portable device microphone status indicator
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
US11483670B2 (en) 2019-10-30 2022-10-25 Sonos, Inc. Systems and methods of providing spatial audio associated with a simulated environment
US11636855B2 (en) 2019-11-11 2023-04-25 Sonos, Inc. Media content based on operational data
US11204737B2 (en) 2019-11-11 2021-12-21 Sonos, Inc. Playback queues for shared experiences
US11093689B2 (en) 2019-11-12 2021-08-17 Sonos, Inc. Application programming interface for browsing media content
CA3188990A1 (en) 2019-11-26 2021-06-03 Paul MACLEAN Systems and methods of spatial audio playback with cancellation of unwanted direct sound
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
US11409495B2 (en) 2020-01-03 2022-08-09 Sonos, Inc. Audio conflict resolution
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11175883B2 (en) 2020-01-17 2021-11-16 Sonos, Inc. Playback session transitions across different platforms
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
US11445301B2 (en) 2020-02-12 2022-09-13 Sonos, Inc. Portable playback devices with network operation modes
US11528555B2 (en) 2020-02-19 2022-12-13 Sonos, Inc. Acoustic waveguides for multi-channel playback devices
US11422770B2 (en) 2020-03-03 2022-08-23 Sonos, Inc. Techniques for reducing latency in a wireless home theater environment
US11356764B2 (en) 2020-03-03 2022-06-07 Sonos, Inc. Dynamic earbud profile
US11038937B1 (en) 2020-03-06 2021-06-15 Sonos, Inc. Hybrid sniffing and rebroadcast for Bluetooth networks
US11348592B2 (en) 2020-03-09 2022-05-31 Sonos, Inc. Systems and methods of audio decoder determination and selection
US11418556B2 (en) 2020-03-23 2022-08-16 Sonos, Inc. Seamless transition of source of media content
WO2021195658A1 (en) 2020-03-25 2021-09-30 Sonos, Inc. Thermal control of audio playback devices
US11523207B2 (en) 2020-04-21 2022-12-06 Sonos, Inc. Cable retraction mechanism for headphone devices
WO2021216582A1 (en) 2020-04-21 2021-10-28 Sonos, Inc. Priority media content
US11758214B2 (en) 2020-04-21 2023-09-12 Sonos, Inc. Techniques for clock rate synchronization
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
US11528551B2 (en) 2020-06-01 2022-12-13 Sonos, Inc. Acoustic filters for microphone noise mitigation and transducer venting
US11737164B2 (en) 2020-06-08 2023-08-22 Sonos, Inc. Simulation of device removal
US11553269B2 (en) 2020-06-17 2023-01-10 Sonos, Inc. Cable assemblies for headphone devices
US11922955B2 (en) 2020-08-24 2024-03-05 Sonos, Inc. Multichannel playback devices and associated systems and methods
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11943823B2 (en) 2020-08-31 2024-03-26 Sonos, Inc. Techniques to reduce time to music for a playback device
EP4211904A1 (en) 2020-09-09 2023-07-19 Sonos Inc. Wearable audio device within a distributed audio playback system
US11809778B2 (en) 2020-09-11 2023-11-07 Sonos, Inc. Techniques for extending the lifespan of playback devices
US20220103199A1 (en) 2020-09-29 2022-03-31 Sonos, Inc. Audio Playback Management of Multiple Concurrent Connections
US11831288B2 (en) 2020-10-23 2023-11-28 Sonos, Inc. Techniques for enabling interoperability between media playback systems
US11812240B2 (en) 2020-11-18 2023-11-07 Sonos, Inc. Playback of generative media content
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
US11930328B2 (en) 2021-03-08 2024-03-12 Sonos, Inc. Operation modes, audio layering, and dedicated controls for targeted audio experiences
US11916733B2 (en) 2021-03-08 2024-02-27 Sonos, Inc. Updating network configuration parameters
US11962964B2 (en) 2021-03-08 2024-04-16 Sonos, Inc. Headset with improved headband and method for manufacturing the headset
US11818427B2 (en) 2021-03-26 2023-11-14 Sonos, Inc. Adaptive media playback experiences for commercial environments
US11700436B2 (en) 2021-05-05 2023-07-11 Sonos, Inc. Content playback reminders
CA3233442A1 (en) 2021-09-30 2023-04-06 Sonos, Inc. Audio parameter adjustment based on playback device separation distance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09504149A (en) * 1993-10-20 1997-04-22 エルエスアイ・ロジック・コーポレーション Asynchronous Transfer Mode (ATM) Network Device
WO1999063698A2 (en) * 1998-05-15 1999-12-09 Interval Research Corporation Synchronous network for digital media streams
WO2001003387A1 (en) * 1999-07-06 2001-01-11 At & T Laboratories Cambridge Ltd A thin multimedia communication device and method
EP1179764A2 (en) * 2000-08-09 2002-02-13 Alcatel Canada Inc. Real time stamp distribution

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5872784A (en) * 1993-10-20 1999-02-16 Lsi Logic Corporation High speed single chip digital video network apparatus
CA2252490A1 (en) * 1996-04-26 1997-11-06 Eloquent A method and system for synchronizing and navigating multiple streams of isochronous and non-isochronous data
WO1999044363A1 (en) * 1998-02-27 1999-09-02 Ridgeway Systems And Software Ltd. Audio-video packet synchronisation at network gateway
US6496509B1 (en) * 1998-08-03 2002-12-17 Advanced Micro Devices, Inc. System for transmitting data packets between computers via an IEEE-1394 network medium
US6687770B1 (en) * 1999-03-08 2004-02-03 Sigma Designs, Inc. Controlling consumption of time-stamped information by a buffered system
JP3764016B2 (en) * 1999-05-10 2006-04-05 財団法人流通システム開発センタ− Integrated IP transfer network
US6513003B1 (en) * 2000-02-03 2003-01-28 Fair Disclosure Financial Network, Inc. System and method for integrated delivery of media and synchronized transcription
US6895009B1 (en) * 2000-04-07 2005-05-17 Omneon Video Networks Method of generating timestamps for isochronous data
US6831899B1 (en) * 2000-08-18 2004-12-14 At&T Corp. Voice and video/image conferencing services over the IP network with asynchronous transmission of audio and video/images integrating loosely coupled devices in the home network
KR100584365B1 (en) * 2004-05-14 2006-05-26 삼성전자주식회사 Data Frame Construction Method in Synchronous Ethernet and Data Processing Method for it

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09504149A (en) * 1993-10-20 1997-04-22 エルエスアイ・ロジック・コーポレーション Asynchronous Transfer Mode (ATM) Network Device
WO1999063698A2 (en) * 1998-05-15 1999-12-09 Interval Research Corporation Synchronous network for digital media streams
WO2001003387A1 (en) * 1999-07-06 2001-01-11 At & T Laboratories Cambridge Ltd A thin multimedia communication device and method
EP1179764A2 (en) * 2000-08-09 2002-02-13 Alcatel Canada Inc. Real time stamp distribution

Also Published As

Publication number Publication date
BR0305280A (en) 2004-08-31
KR100894202B1 (en) 2009-04-22
US20040100942A1 (en) 2004-05-27
DE60310017D1 (en) 2007-01-11
EP1424827A1 (en) 2004-06-02
ATE347226T1 (en) 2006-12-15
KR20040047645A (en) 2004-06-05
JP4571794B2 (en) 2010-10-27
US7295548B2 (en) 2007-11-13
DE60310017T2 (en) 2007-04-12
EP1424827B1 (en) 2006-11-29
CN1520118B (en) 2012-05-30
HK1066355A1 (en) 2005-03-18
CN1520118A (en) 2004-08-11

Similar Documents

Publication Publication Date Title
JP4571794B2 (en) Method and system for disassembling audio / visual components
US11184721B2 (en) Playback device control
CN107634888B (en) Systems, methods, apparatus, and articles of manufacture to provide low-delay audio
US9628868B2 (en) Transmission of digital audio signals using an internet protocol
JP3591493B2 (en) Network system and network system synchronization method
US8028097B2 (en) System and method for synchronizing audio-visual devices on a power line communications (PLC) network
JP4184397B2 (en) VIDEO / AUDIO PROCESSING SYSTEM AND ITS CONTROL METHOD, AUDIO PROCESSING SYSTEM, VIDEO / AUDIO PROCESSING SYSTEM CONTROL PROGRAM, AND RECORDING MEDIUM CONTAINING THE PROGRAM
US20020188762A1 (en) Data structure for an entertainment and communications network
US7672465B2 (en) System and method for synchronization using GPS in home network
US20050166135A1 (en) Apparatus, system and method for synchronized playback of data transmitted over an asynchronous network
JP2008092546A (en) Communications system
JP2015534315A (en) Audio transfer device and corresponding method
KR20010090828A (en) Clustered networked devices
JP2004260281A (en) Audio control system, audio controller, electronic apparatus, and audio control method
JP2002369283A (en) Earphone
JP2015526949A (en) Method and apparatus for providing an infrared signal
JP5841715B2 (en) VIDEO / AUDIO OUTPUT DEVICE, VIDEO / AUDIO OUTPUT SYSTEM, AND MASTER DEVICE
CN1859544B (en) System and method for playing medium
WO2024001362A1 (en) Display device, bluetooth device, and data processing method
WO2023079682A1 (en) Display device, display device coordination system, and audio reproduction method
CN209328503U (en) Karaoke OK system
Bhalla et al. One Architecture Overview
JP2003125110A (en) Information reproduction system
JP2004336248A (en) Television receiver

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100806

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100813

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130820

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees