JP2020502607A - 同期化を伴うマルチデバイスオーディオストリーミングシステム - Google Patents

同期化を伴うマルチデバイスオーディオストリーミングシステム Download PDF

Info

Publication number
JP2020502607A
JP2020502607A JP2019515466A JP2019515466A JP2020502607A JP 2020502607 A JP2020502607 A JP 2020502607A JP 2019515466 A JP2019515466 A JP 2019515466A JP 2019515466 A JP2019515466 A JP 2019515466A JP 2020502607 A JP2020502607 A JP 2020502607A
Authority
JP
Japan
Prior art keywords
audio
haptic
data
control unit
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019515466A
Other languages
English (en)
Inventor
アダムス、リチャード
ハーグリーヴス、デイヴ
モンカヨ、エリサ
サイラー、ブロック、マックスウェル
Original Assignee
ソニックセンソリー、インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニックセンソリー、インコーポレイテッド filed Critical ソニックセンソリー、インコーポレイテッド
Publication of JP2020502607A publication Critical patent/JP2020502607A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A63F13/235—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console using a wireless connection, e.g. infrared or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/28—Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285—Generating tactile feedback signals via the game input device, e.g. force feedback
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A63F13/327—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections using wireless networks, e.g. Wi-Fi® or piconet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H04B1/385—Transceivers carried on the body, e.g. in helmets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/013—Force feedback applied to a game
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/16—Transforming into a non-visible representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • User Interface Of Digital Computer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Telephone Function (AREA)

Abstract

実施形態は電子制御ユニットを含んでおり、当該電子制御ユニットは、外部オーディオソースからオーディオストリームを受け取るためのオーディオ入力デバイスを有し、該オーディオストリームはオーディオ経路とハプティック経路との間で分割され；ハプティック経路に、近距離無線通信を用いてオーディオストリームを少なくとも１つの着用可能なハプティックデバイスへと送信するための無線トランシーバーを有し；かつ、トランシーバーに連結されたプロセッサーを有し、該プロセッサーは、着用可能なハプティックデバイスへのオーディオストリームの送信と関連付けられるレイテンシの量を計算し、かつ、オーディオストリームを、計算されたレイテンシに基づくプレイすべき時間を含む複数のオーディオパケットへと区分化するように構成されている。当該制御ユニットはさらに、オーディオ経路に、計算されたレイテンシに基づいて時間遅延をオーディオストリームへと挿入するためのバッファーを含んでおり、かつ、オーディオ経路に、時間遅延したオーディオストリームを外部オーディオリスニングデバイスへと出力するためのオーディオ出力デバイスを含んでいる。【選択図】図１

Description

関連出願への相互参照
本願は、２０１６年９月１４日付けで出願され、かつ、参照によってその全体が本明細書に組み込まれる、米国仮出願第６２／３９４，７０７号の優先権を主張する。
背景
マルチメディアエンターテインメントの需要者は、多感覚的没入感（ｉｍｍｅｒｓｉｏｎ）が高められる方法を求めている。オーディオ没入感を提供するための既存のシステムは、音楽の低音を感じ、かつ、映画またはビデオゲームのオーディオを改善するためのサブウーファーの使用と、ユーザーをいっそう楽しい体験に没入させるためのサラウンドサウンドの使用とを含む。しかしながら、オーディオコンテンツは別にして、これら方法は、バーチャルリアリティ（仮想現実）またはその他の視聴覚シナリオにいる間、多感覚刺激を提供しない。さらに、サブウーファーは、具体的には、「動き回っている」間にマルチメディアエンターテインメントを体験することを好むユーザーにとって使い勝手がよくない。なぜなら、サブウーファーデバイスの物理的サイズが、携帯性を妨げるからである。同時に、従来のイヤホンのような既存の携帯可能なデバイスは、サブウーファーと同一の低周波数効果を提供することができない。
オーディオ没入感および／もしくは視聴覚的没入感のための既存のシステムへのタクタイル（ｔａｃｔｉｌｅ；触知型の）刺激またはハプティック（ｈａｐｔｉｃ；触覚型の）刺激の追加は、多感覚的没入感を提供し、かつ、エンターテインメント体験をさらにいっそう楽しいものにし得る。例えば、楽曲についてのオーディオ信号に基づいて生成される振動がオーディオ信号と同期されて、ユーザーが音楽を聴くことおよび感じることの両方を行う、高められた音楽的体験を提供し得る。いくつかの既存のハプティックデバイスは、オーディオ／視覚出力デバイスとは別個であり、したがって、マルチメディア体験の残りとの同期運転を作り出すための別個の構成要素を必要とする。例えば、ハプティック刺激は、着用可能なハプティックデバイス（有線接続もしくは無線接続を介してオーディオシステムまたは視聴覚システムに接続される）を通して提供されてもよい。いくつかの場合、ユーザーが動き回っている間に、または、任意の位置から多感覚的没入感を体験し得るように、無線接続が好ましいだろう。１つの解決策は、ハプティックデバイスを、例えば靴のような履物または既存の靴の中に配置されるように設計された中敷きの中に埋め込み、かつ、近距離無線通信技術（例えば、Ｂｌｕｅｔｏｏｔｈ登録商標のような）を用いて、オーディオ信号をハプティックデバイスに、または、ハプティックデバイス間で送信する。
しかしながら、無線通信を介してオーディオシステムから周辺デバイスへとオーディオをストリーミングするための既存の技術は、いくつかの既知の欠点を有する。例えば、いくつかの既存のオーディオストリーミング技術は、エンターテインメント体験のオーディオ成分と映像成分との間の認識可能な遅延を引き起こす程に深刻であるレイテンシ（ｌａｔｅｎｃｙ；遅延時間）の問題を有する。結果として、かかるシナリオへのハプティック刺激の追加は、エンターテインメント体験のオーディオ成分とハプティック成分との間の認識可能な遅延をもたらし得る。
したがって、本技術分野には、関連付けられたオーディオコンテンツと同期してハプティックコンテンツを無線で送達して、バーチャルリアリティ、サラウンドサウンドまたはその他の視聴覚シナリオにいる間に個人的な多感覚体験を提供し得る、改善された多感覚
システムの必要性が未だに存在する。
概要
本発明は、とりわけ多数のデバイス間にレイテンシの少ない無線接続を提供して、オーディオコンテンツの送達が多感覚エンターテインメント体験の最中に関連するハプティックコンテンツと同期されるようにするように設計されたシステムおよび方法を提供することによって、上記の問題を解決することを意図する。
例えば、１つの実施形態は電子制御ユニットを含んでおり、当該電子制御ユニットは、外部オーディオソースからオーディオストリームを受け取るためのオーディオ入力デバイスと、オーディオ入力デバイスに連結された、オーディオストリームをオーディオ経路とハプティック経路との間で分割するための信号スプリッターと；ハプティック経路に連結された、近距離無線通信技術を用いてオーディオストリームを少なくとも１つの着用可能なハプティックデバイスへと送信するための無線トランシーバーとを有する。さらに、当該電子制御ユニットは、無線トランシーバーに連結されたプロセッサーを含んでおり、該プロセッサーは、少なくとも１つの着用可能なハプティックデバイスへのオーディオストリームの送信と関連付けられるレイテンシの量を計算し、かつ、オーディオストリームを複数のオーディオパケットへと区分化する（ｐａｒｔｉｔｉｏｎ）ように構成されており、各オーディオパケットは、計算されたレイテンシの量に基づくプレイすべき時間（ｔｉｍｅ−ｔｏ−ｐｌａｙ）を含んでいる。当該電子制御ユニットはさらに、オーディオ経路に含まれた、時間遅延（ｔｉｍｅ ｄｅｌａｙ）をオーディオ経路に提供されるオーディオストリームへと挿入するためのバッファーを含んでおり、該時間遅延は、計算されたレイテンシの量に基づいており、かつ、当該電子制御ユニットはさらに、オーディオ経路に連結された、時間遅延したオーディオストリームを外部オーディオリスニングデバイスへと出力するためのオーディオ出力デバイスを含んでいる。
別の例示的な実施形態は、電子制御ユニットと、オーディオストリームをハプティック信号へと変換するように構成された１つ以上の着用可能なハプティックデバイスとを有する、エンターテインメントシステムを含んでいる。電子制御ユニットは、外部オーディオソースからオーディオストリームを受け取るためのオーディオ入力デバイスと、外部オーディオリスニングデバイスへとオーディオストリームを出力するためのオーディオ出力デバイスと、近距離無線通信技術を用いてオーディオストリームを少なくとも１つの着用可能なハプティックデバイスへと送信するための無線トランシーバーとを含む。電子制御ユニットはまた、ハプティック信号の送達を時間遅延したオーディオストリームの送達と同期させるように構成されたプロセッサーを含み、該同期は、少なくとも１つの着用可能なハプティックデバイスへのオーディオストリームの無線送信と関連付けられるレイテンシの量を計算することによってなされ、オーディオストリームを複数のオーディオパケットへと区分化することによってなされ、各オーディオパケットは、計算されたレイテンシの量に基づくプレイすべき時間を有し、かつ、時間遅延をオーディオリスニングデバイスに提供されるオーディオストリームへと挿入することによってなされ、該時間遅延は、計算されたレイテンシの量に基づいている。
別の例示的な実施形態は、オーディオストリームの送達を該オーディオストリーム由来のハプティック信号の送達と同期させる方法を含んでいる。当該方法は、近距離無線通信用に構成された無線トランシーバーを用いて少なくとも１つの着用可能なハプティックデバイスとの無線接続を確立することを含んでおり；オーディオ入力デバイスを介して外部オーディオソースからオーディオストリームを受け取ることを含んでおり；オーディオス
トリームを、バッファーおよびオーディオ出力デバイスを有するオーディオ経路と、無線トランシーバーおよびプロセッサーに連結されたハプティック経路との間で分割することを含んでおり；プロセッサーを用いて、無線トランシーバーによる少なくとも１つの着用可能なハプティックデバイスへのオーディオストリームの送信と関連付けられるレイテンシの量を計算することを含んでおり；プロセッサーを用いて、ハプティック経路のオーディオストリームを複数のオーディオパケットへと区分化することを含んでおり、各オーディオパケットは、計算されたレイテンシの量に基づくプレイすべき時間を含んでおり；バッファーを用いて、時間遅延をオーディオ経路のオーディオストリームへと挿入することを含んでおり、該時間遅延は、計算されたレイテンシの量に基づいており；時間遅延したオーディオストリームを、オーディオ出力デバイスに連結された外部オーディオリスニングデバイスへの送達のためにオーディオ出力デバイスへと提供することを含んでおり；かつ、無線トランシーバーを介して、複数のオーディオパケットを少なくとも１つの着用可能なハプティックデバイスへと送信することを含んでいる。
さらに別の例示的な実施形態は、近距離無線通信用に構成された無線トランシーバーを用いて電子制御ユニットとの無線接続を確立することを有し；無線トランシーバーを介して、電子制御ユニットから複数のオーディオパケットを受け取ることを有し；各オーディオパケットについて、プロセッサーを用いて、オーディオパケットに含まれるプレイすべき時間データを引き出すことを有し；内部クロックから現在のプレイ時間（ｐｌａｙ ｔｉｍｅ）を引き出すことを有し；各オーディオパケットについて、オーディオパケットに含まれるプレイすべき時間データと現在のプレイ時間とに基づいて新たなプレイすべき時間値を計算することを有し；かつ、各オーディオパケットを、オーディオパケットをハプティック信号へと変換するための１つ以上のハプティックトランスデューサーへと提供すること（該ハプティック信号は、対応する新たなプレイすべき時間値にしたがって１つ以上のハプティックトランスデューサーによって出力される）を有する方法を含んでいる。
添付の請求の範囲は、本願の範囲を定める。本開示は、実施形態の態様を要約するものであり、かつ、請求の範囲を限定するのに用いられるべきではない。以下の図面および詳細な説明を検討すれば当業者に明らかであるその他の実装が、本明細書に記載の技術にしたがって考慮され、これら実装は本願の範囲内であることが意図される。
本発明のいっそう良好な理解のために、以下の図面に示されている実施形態が参照されてもよい。図面中の構成要素は必ずしも縮尺通りではなく、かつ、関連する要素が、本明細書に記載の新規な特徴を強調し、かつ、明確に示すために省略されているだろう。さらに、システムの構成要素が、本技術分野で既知であるように、様々に配置され得る。図中、同様の参照数字が、そうでない旨が特定されていなければ、異なる図面を通して同様の部品に言及するだろう。
図１は、実施形態にしたがう例示的なエンターテインメントシステムのブロック図である。 図２は、実施形態にしたがう図１のエンターテインメントシステムの例示的な実装を示している。 図３は、実施形態にしたがう図１のエンターテインメントシステムに含まれる例示的な電子制御ユニットのブロック図である。 図４は、実施形態にしたがう図１のエンターテインメントシステムに含まれる例示的なハプティックデバイスのブロック図である。 図５は、実施形態にしたがう、オーディオストリームの送達を、該オーディオストリーム由来のハプティック信号の送達と同期させる例示的な方法のフローチャートである。 図６は、実施形態にしたがう別の例示的な方法のフローチャートである。
例示的な実施形態の詳細な説明
本発明が種々の形態で具現化されてもよい一方で、本開示が本発明の例示として考慮されるべきであり、かつ、本発明を図示されている特定の実施形態に限定することを意図しないという理解とともに、図面はいくつかの例示的かつ非限定的な実施形態を示しており、かつ、本明細書はそれらを記載している。また、描かれた、または記載された構成要素のすべてが必要とされなくてもよく、かつ、いくつかの実施形態は、追加の、異なる、または、いっそう少数の構成要素を含んでいてもよい。構成要素の配置およびタイプは、本明細書において明らかにされる請求の範囲の精神または範囲から逸脱することなく変化してもよい。
本願では、離接語の使用は、接続語を含んでいることを意図する。定冠詞または不定冠詞の使用は、濃度（ｃａｒｄｉｎａｌｉｔｙ）を示すことを意図しない。具体的には、「その（ｔｈｅ）」物体または「１つの（ａ）」および「１つの（ａｎ）」物体への言及は、考え得る複数のかかる物体のうちの１つを示すことも意図する。
種々の実施形態は電子制御ユニットを提供し、当該電子制御ユニットは、１つ以上の着用可能なハプティックデバイスに無線で連結され、かつ、オーディオソース（例えば、メディアプレーヤーのような）およびオーディオリスニングデバイス（例えば、ヘッドホンのような）に通信可能に連結されて、ユーザーのための個人的な多感覚的没入感を提供する。例えば、着用可能なハプティックデバイスは、音楽を聴く体験、映画を見る体験、ビデオゲームで遊ぶ体験またはその他のオーディオシナリオもしくは視聴覚シナリオの体験を劇的に改善するだろう。着用可能なデバイスは、オーディオソースから受け取られたオーディオストリームに基づく振動を与えるように構成されたハプティックトランスデューサーを含み得る。いくつかの実施形態では、当該電子制御ユニットは、一対の履物デバイスに無線で連結され、各履物デバイスは、エンターテインメント体験を向上させるためのハプティックトランスデューサーを有する。履物デバイスは、１つの履物（例えば、片方の靴）であってもよく、履物の底に配置するための中敷きであってもよい。ハプティックトランスデューサーを履物の中に配置することは、ユーザーの身体または少なくとも足を、没入させるような、タクタイルの、携帯可能な体験へと巻き込むように、頭の範囲外へとエンターテインメント体験を拡張し得る。多感覚エンターテインメント体験の携帯性を保つために、一対の履物デバイスは、例えばブルートゥース通信プロトコルを用いて、互いと、かつ、当該電子制御ユニットと無線で通信し得る。
実施形態では、レイテンシの少ない無線接続または通信チャンネルが、当該電子制御ユニットと着用可能なハプティックデバイスとの間に確立されて、ハプティックコンテンツ（例えば、履物デバイスを介する）と同期したオーディオコンテンツ（例えば、オーディオリスニングデバイスを介する）が送達される。この同期は、電子制御ユニットと着用可能なハプティックデバイスとの間の無線接続に存在し、かつ、いくつかの場合には着用可能なハプティックデバイス自体の間の無線接続に存在するレイテンシならびに当該電子制御ユニットおよびハプティックデバイスにおけるデータ処理時間によって引き起こされるレイテンシの量に一致する時間の量だけオーディオコンテンツの送達をバッファリングするか、そうでなければ遅延させることによって、少なくとも部分的に達成される。さらに、当該電子制御ユニットは、オーディオコンテンツを着用可能なハプティックデバイスへと送信する前にオーディオコンテンツをオーディオパケットへと区分化し、かつ、このレイテンシの量に基づいてプレイすべき時間値を各オーディオパケットに割り当てるように構成され得る。いくつかの実施形態では、データパケットもまた、当該電子制御ユニットと着用可能なハプティックデバイスとの間の無線接続を通して交換されてもよい。接続の
レイテンシの少ない態様を維持するために、着用可能なハプティックデバイスは、入力バッファーレベルを低く保つように構成され得、オーディオパケットおよびデータパケットの両方が待ち行列（ｑｕｅｕｅ；キュー）を通って素早く移動するようになっている。さらに、着用可能なハプティックデバイスは、着用可能なハプティックデバイスの内部クロック上の現在のプレイ時間に基づいて各オーディオパケットについてのプレイすべき時間値をバッファリングするか、そうでなければ調節して、パケット損失を減少させ、かつ、無線接続を保全するように構成され得る。
Ｂｌｕｅｔｏｏｔｈ登録商標技術は、携帯可能な計算デバイスなどの間の多くの無線アプリケーションに一般的に用いられる。例えば、それは、オーディオおよび／もしくは映像データのストリーミングまたは再生のような機能についての家庭向けのアプリケーションならびに携帯可能なゲームデバイスを用いたゲームのようなその他のマルチメディアアプリケーションにおいてますます用いられている。したがって、本明細書に記載の種々の実施形態は、ブルートゥースにしたがう作動に言及している。しかしながら、本明細書に記載の一般原則は、例えばＷｉ−Ｆｉ、Ｚｉｇｂｅｅなどのようなその他の無線通信プロトコルにしたがって作動するデバイスおよびシステムに適用され得る。
図１は、実施形態にしたがう、ユーザーへのオーディオコンテンツの送達をユーザーによって認識されるようにハプティックコンテンツの送達と同期させるように構成された例示的なエンターテインメントシステム１００を示している。図示されているように、システム１００は、電子制御ユニット１０２（本明細書では、「制御ユニット」ともいう）を含んでおり、該電子制御ユニット１０２は、それぞれオーディオ入力およびデータ入力を受け取るためのオーディオソース１０４ならびにデータソース１０６に通信可能に連結されている。制御ユニット１０２は、計算デバイスであってもよく、コントローラーであってもよく、オーディオソース１０４、データソース１０６およびシステム１００のその他の構成要素と連動し、かつ、そこから受け取られたデータを処理して本明細書に記載の技術を実装することが可能である任意のその他のタイプの電子デバイスであってもよい。オーディオ入力は、例えば楽曲のようなスタンドアローンなオーディオコンテンツを構成するか、例えばビデオゲーム、映画またはその他の映像ベースのアプリケーションのような視聴覚コンテンツの一部であるかのいずれかである、オーディオストリームであってもよい。データ入力は、制御ユニット１０２および／またはそれに通信可能に連結されたデバイス（例えば、着用可能なハプティックデバイス１１０および１１２）の作動を制御するための制御データであってもよい。
オーディオソース１０４は、例えばオーディオデバイス（例えば、ステレオシステム、サラウンドサウンドシステム、ラジオ、オーディオ受信機など）、個人用メディアプレーヤー（例えば、ＭＰ３プレーヤー）もしくは任意のその他のタイプのメディアプレーヤー（例えば、ＤＶＤもしくはＢｌｕｅ−ｒａｙプレーヤー）、移動通信（ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）デバイス（例えば、スマートフォンもしくは携帯電話）もしくは任意のその他のタイプの移動計算デバイス（例えば、タブレットもしくはＰＤＡ）、パーソナルコンピューター（例えば、ラップトップもしくはデスクトップ）および／またはビデオゲームデバイス（例えば、ゲームコンソール、ビデオゲームコントローラーまたは手に持てる大きさのゲームデバイス）を含む、オーディオコンテンツを制御ユニット１０２へと提供することが可能な任意のタイプの電子デバイスであってもよい。データソース１０６は、例えばビデオゲームデバイス、移動通信デバイスもしくはその他の移動計算デバイスおよび／または個人用メディアプレーヤーを含む、データコンテンツを制御ユニット１０２に提供することが可能な任意のタイプの電子デバイスであってもよい。図１は、単一のオーディオソース１０４と単一のデータソース１０６とを示しているが、その他の実施形態では、エンターテインメントシステム１００は、多数のオーディオソースおよび／またはデータソースを含んでいてもよい。
実施形態では、オーディオソース１０４とデータソース１０６とはそれぞれ、有線接続または無線接続を介して電子制御ユニット１０２に通信可能に連結されていてもよい。いくつかの実施形態では、制御ユニット１０２は、１つ以上の無線トランシーバーと、オーディオソース１０４および／またはデータソース１０６との無線接続を作り出すためのその他の無線通信回路とを含んでいる。その他の実施形態では、制御ユニット１０２は、オーディオソース１０４からオーディオコンテンツを受け取るためのオーディオ入力デバイス（例えば、図３に示されているオーディオ入力デバイス３０２のような）と、データソース１０４からデータコンテンツを受け取るためのデータポート（例えば、図３に示されているデータポート３１４のような）とを含んでいる。いくつかの場合、データソース１０６とオーディオソース１０４とは、オーディオコンテンツおよびデータコンテンツの両方を制御ユニット１０２へと提供する共通の電子デバイスであってもよい。かかる場合、共通の電子デバイスは、制御ユニット１０２のオーディオ入力デバイスおよびデータポートの両方に通信可能に連結されていてもよい。代替的には、共通の電子デバイスは、それにオーディオコンテンツおよびデータコンテンツの両方を提供するための制御ユニット１０２の単一の入力デバイス（例えば、データポートのような）に通信可能に連結されていてもよい。
図示されているように、システム１００はまた、有線接続または無線接続を介して制御ユニット１０２に通信可能に連結された、オーディオソース１０４によって提供されるオーディオコンテンツをオーディオで出力またはプレイするためのオーディオリスニングデバイス１０８を含んでいる。いくつかの実施形態では、オーディオリスニングデバイス１０８は、制御ユニット１０２のオーディオ出力デバイス（例えば、図３に示されているオーディオ出力デバイス３０８のような）に連結されている。オーディオリスニングデバイス１０８は、例えばヘッドホン、イヤホン、ヘッドセットまたは拡声器を含む、任意のタイプのオーディオ再生デバイスであり得る。
さらに、システム１００は、オーディオソース１０４によって提供されるオーディオコンテンツをハプティック信号へと変換し、かつ、これらハプティック信号によって生成される振動またはタクタイル感（ｔａｃｔｉｌｅ ｓｅｎｓａｔｉｏｎｓ）を着用者の身体に印加するための第１の着用可能なハプティックデバイス１１０と第２の着用可能なハプティックデバイス１１２とを含み得る。例えば、振動またはタクタイル感は、着用可能なハプティックデバイス１１０および１１２がユーザーに近接して配置された時またはユーザーによって着用された時に、ユーザーによって認識されてもよく、感じられてもよい。いくつかの実施形態では、着用可能なハプティックデバイス１１０および１１２は、例えばシャツ、ベスト、ベルト、パンツまたは異なる領域に統合された多数のハプティックデバイスを有するその他の衣類のような単一の着用可能な部品へと統合され得る。その他の実施形態では、着用可能なハプティックデバイス１１０，１１２はそれぞれ、例えば１つの履物（例えば、片方の靴、靴下または靴もしくは靴下の中に配置されるように設計された中敷き）、手袋、アームバンド、リストバンドまたはブレスレット、アンクルバンドまたはアンクレットなどのような別個の着用可能な部品として具現化され得る。図１には２つのデバイス１１０および１１２が示されている一方で、その他の実施形態では、システム１００は、２つの着用可能なハプティックデバイス１１０および１１２より多い着用可能なハプティックデバイスを含んでいてもよく、２つの着用可能なハプティックデバイス１１０および１１２より少ない着用可能なハプティックデバイスを含んでいてもよい。
実施形態では、着用可能なハプティックデバイス１１０および１１２は、制御ユニット１０２との無線通信状態にあるように構成され得る。図１に示されているように、いくつかの実施形態では、例えば第１の着用可能なハプティックデバイス１１０のようにデバイスのうちの１つのみが制御ユニット１０２との無線通信状態にあり、一方で、第２の着用
可能なハプティックデバイス１１２は、第１の着用可能なハプティックデバイス１１０を通して制御ユニット１０２と通信する。かかる場合、第１および第２の着用可能なハプティックデバイス１００および１１２はまた、無線接続を介して互いと通信してもよい。その他の実施形態では、ハプティックデバイス１１０および１１２はそれぞれ、制御ユニット１０２への独立した無線接続を有する（例えば、図２に示されているように）。好ましい実施形態では、ハプティックデバイス１１０および１１２は、例えばブルートゥース通信プロトコルのような近距離無線通信を用いて、互いと、および／または、制御ユニット１０２と通信する。
いくつかの実施形態では、エンターテインメントシステム１００はさらに、例えばコンサートにおける、映画館での、もしくは家庭においてサラウンドサウンドシステムを用いるような、ライブまたはリアルタイムのエンターテインメント体験のための多感覚的没入感を提供するように構成され得る。かかる実施形態では、ライブまたはリアルタイムのエンターテインメント体験は、制御ユニット１０２に連結された電子デバイスではなく、エンターテインメントシステム１００のオーディオソース１０４として役立つだろう。さらに、制御ユニット１０２に含まれるオーディオ入力デバイスのうちの１つが、ライブまたはリアルタイムのサウンドを捕捉し、かつ、該サウンドを電気信号へと変換するように構成されたマイクロホン（例えば、図３に示されているオーディオ入力デバイス３１２のような）であってもよい。マイクロホンによって生成される電気信号は、制御ユニット１０２へのオーディオ入力として提供され得、かつ、制御ユニット１０２は、このオーディオ入力を、それに基づくハプティック信号を生成するための着用可能なハプティックデバイスへと提供するように構成され得る。このように、ハプティックコンテンツが、ライブもしくはリアルタイムのエンターテインメント体験のオーディオコンテンツまたは視聴覚コンテンツへと追加され得る。
いくつかの実施形態では、着用可能なハプティックデバイス１１０および１１２はさらに、ユーザーの動きまたは身振りを検出し、かつ、検出された動きを表すデータを、データソース１０６への伝達のために制御ユニット１０２へと提供するように構成され得る。例えば、ゲームコンソールまたはビデオゲームコントローラーとともに用いられる時、着用可能なハプティックデバイス１１０および１１２は、ゲームコンソール用の入力デバイスとして作動してもよく、かつ、検出されたユーザーの身振りまたは動きは、ビデオゲームにおける入力として役立ってもよい。いくつかの場合、検出された動きデータは、パケット化され、かつ、制御ユニット１０２ならびにハプティックデバイス１１０および１１２の間の無線接続を用いて制御ユニット１０２へと戻るように送られてもよい。これらのような状況ならびにハプティックデバイス１１０および１１２が制御ユニット１０２および／またはデータソース１０６用のデータを収集するその他の状況では、制御ユニット１０２ならびにハプティックデバイス１１０および１１２の間の無線接続は、パケットを送ることおよび受け取ることの両方のための双方向接続として構成され得る。
制御ユニット１０２は、オーディオソース１０４によって提供されるオーディオコンテンツおよびデータソース１０６によって提供されるデータコンテンツを処理すること、オーディオコンテンツおよびデータコンテンツをそれぞれ、着用可能なハプティックデバイス１１０および１１２への無線送信に適したオーディオパケットおよびデータパケットへとパケット化すること、ならびにハプティックデバイス１１０および１１２から出力されるハプティックコンテンツの送達を、オーディオリスニングデバイス１０８によって出力されるオーディオコンテンツの送達と同期させることが可能な任意のタイプの電子計算デバイスであり得る。実施形態では、制御ユニット１０２は、着用可能なハプティックデバイス１１０および１１２とともに販売される、エンターテインメントシステム１００を実装するためのハードウェアアクセサリーであり得る。例えば、制御ユニット１０２は、適切な入力および出力デバイスならびにハプティックデバイス１１０および１１２の無線ト
ランシーバー（例えば、図４に示されている無線トランシーバー４０２のような）と適合する無線トランシーバー（例えば、図３に示されている無線トランシーバー３１０のような）とともに、ドングル（ｄｏｎｇｌｅ）、パック（ｐｕｃｋ）またはその他の小さい電子デバイスとして包装されてもよい。
図２は、実施形態にしたがう、ビデオゲームシナリオにおいて用いるためのエンターテインメントシステム１００の例示的な実装を示している。図示されているように、エンターテインメントシステム２００は制御ユニット２０２を含み得、該制御ユニット２０２はゲームコンソール２０４からオーディオコンテンツを受け取るように構成されており、該ゲームコンソール２０４はシステム２００のオーディオソースとして役立つ。把握されるように、ゲームコンソール２０４はまた、オーディオコンテンツと関連する映像コンテンツを表示するための表示スクリーン（図示せず）に接続されていてもよい。制御ユニット２０２は、受け取られたオーディオコンテンツをユーザーの耳への送達のためにヘッドホン２０８へと提供し得る。また、図示されているように、制御ユニット２０２は、ブルートゥース通信プロトコルを介して、オーディオコンテンツに基づく振動をユーザーの足へと伝達するように構成された一対の履物デバイス２１０および２１２に無線で連結され得る。例えば、履物デバイス２１０および２１２はそれぞれ、制御ユニット２０２から受け取られたオーディオコンテンツを、システム２００によって提供されるエンターテインメント体験（例えば、ビデオゲーム、映画、楽曲など）を向上させるためのハプティック信号へと変換するためのハプティックトランスデューサー（例えば、図４に示されているハプティックトランスデューサー４０４のような）を含み得る。実施形態では、履物デバイス２１０および２１２は、共有の米国特許第８，６４４，９６７号明細書（参照によってその内容全体が本明細書に組み込まれる）に記載の振動する履物デバイスと同様であり得る。
図示されている実施形態では、履物デバイス２１０および２１２からデータコンテンツを受け取るためのゲームコントローラー２１４（例えば、手に持てる大きさのゲームデバイス）が、制御ユニット２０２に通信可能に連結されている。例えば、デバイス２１０および２１２内のハプティックトランスデューサーは、デバイス２１０および２１２を着用しているユーザーの動きを検出し、かつ／または、例えば歩数、動きのタイプ（例えば、走っている／ゆっくり走っている、歩いている、踊っているなど）、移動距離、移動方向、速度、地盤特性（例えば、地形もしくは床のタイプ）などのようなユーザーの動きに関する情報を集めるように構成され得る。この動きまたは位置データは、制御ユニット２０２ならびに履物デバイス２１０および２１２の間の有線接続または無線接続を介して制御ユニット２０２へと戻るように送られてもよい。そして、制御ユニット２０２は、受け取られたデータを有線接続または無線接続を介してゲームコントローラー２１４に送信してもよい。いくつかの場合、履物デバイス２１０および２１２から受け取られたデータは、ビデオゲームへの入力として役立ってもよく、したがって、ゲームコントローラー２１４によって、ユーザーによってプレーされているビデオゲームに関連して処理するためのゲームコンソール２０４へと提供されてもよい。かかる場合、ゲームコントローラー２１４とゲームコンソール２０４とは、同一のゲームシステムの構成要素であってもよい。
いくつかの場合、ゲームコンソール２０４は、エンターテインメントシステム２００用のオーディオソースおよびデータソースの両方として役立ち、履物デバイス２１０および２１２を制御または設定するためのデータを制御ユニット１０２へと提供する。かかる場合、制御ユニット２０２は、オーディオコンテンツとともにデータコンテンツを履物デバイス２１０および２１２に送信し得る。データコンテンツは、履物デバイス２１０および２１２を通してユーザーに与えるべき特定のタクタイル感または振動（例えば、地震、エンジンがブルブルという音を立てて動くこと、砂利道上のタイヤなど）に関する命令を含んでいてもよい。いくつかの場合、データコンテンツは、オーディオコンテンツが第１の
履物デバイス２１０用であるか、第２の履物デバイス２１２用であるか、または両方のデバイス用であるかを示している。データコンテンツはまた、どのデータがデバイス２１０および２１２に含まれるハプティックトランスデューサーによって捕捉され、かつ、制御ユニット２０２を介してゲームコントローラー２１４へと戻るように送られるべきかを示していてもよい。
図示されている実施形態では、制御ユニット２０２は、履物デバイス２１０および２１２のそれぞれと別個のブルートゥース接続を有し、したがって、オーディオコンテンツおよび／またはデータコンテンツを同時に両方のデバイス２１０および２１２に無線で送信し得る。その他の実施形態では、制御ユニット２０２は、オーディオコンテンツおよび／またはデータコンテンツを、２つの履物デバイス２１０および２１２のうちの一方のみに無線で送信するように構成されていてもよく（例えば、図１に示されているように）、かつ、受信デバイス２１０／２１２は、受け取られたコンテンツを他方のデバイス２１２／２１０に転送するように構成され得る。
図２に示されているように、制御ユニット２０２は、制御ユニット２０２をゲームコンソール２０４およびヘッドホン２０８に取り付けるのに用いられるケーブルの間に吊り下がった、または、該ケーブルから吊り下がったドングルタイプのデバイスとして実装され得る。いくつかの実施形態では、制御ユニット２０２は、ユーザーの身体上に配置するために（例えば、ブレスレットもしくはネックレスとして着用される）、ユーザーの衣類に取り付けるために（例えば、ベルクロもしくはクリップを用いて）、または別の近い位置に配置するために（例えば、ポケット、財布もしくは鞄に）構成され得る。
従来の無線システムでは、レイテンシ、または、信号が無線システムの中に入る時とそれがシステムから外に出る時との間の遅延は、概して少ない（通常、ミリ秒（ｍｓ）の単位で測定される）が、特定のエンターテインメントアプリケーションでは、わずかな遅延でさえ、ユーザーによって認識されるだろうし、かつ／または、ユーザーの体験を変化させるだろう。例えば、視聴覚シナリオにおいて無線ヘッドホンを用いる時、無線ヘッドホンへのオーディオ信号の無線送信から生じるオーディオレイテンシは、ヘッドホンを介してユーザーに送達されるオーディオと表示スクリーン上に現れる映像との間のユーザーが認識可能な遅延（例えば、ずれたリップシンク）を引き起こすほど十分に多いだろう（例えば、２００ｍｓを越えるような）。把握されるように、特定の量のレイテンシは、例えば空気中の音速と、伝播遅延と、無線信号経路に影響を与える任意の障害とに起因して、任意の所定の無線接続に内在するだろう。しかしながら、レイテンシのその他のソースは、例えばパケット送信および／もしくは送達時間、バッファリング、デジタル信号処理、ならびに／または、アナログからデジタルへの変換および／もしくはデジタルからアナログへの変換のように、所定の無線システムに固有であろうし、所定の無線システムに依存するだろう。
ハプティックコンテンツを用いて多感覚的没入感を提供するために、そうでなければオーディオ体験または視聴覚体験を向上させるために、ハプティックコンテンツは、少なくともオーディオコンテンツ（そこからハプティックコンテンツが由来する）と同期されてユーザーに送達される必要がある。したがって、本開示の文脈では、用語「レイテンシ」は、オーディオ信号が制御ユニット１０２の中に入る時と関連するハプティック信号が着用可能なハプティックデバイス１１０および１１２から外に出る時との間の遅延を意味していてもよく、遅延の少なくとも一部が、制御ユニット１０２ならびに着用可能なハプティックデバイス１１０および１１２の間の無線接続によって引き起こされ、または、それに関連する。本明細書に記載の種々の実施形態は、制御ユニット１０２ならびに着用可能なハプティックデバイス１１０および１１２との間のレイテンシが極めて少ない無線接続を提供し、エンターテインメントシステム１００を実装する時にあらゆるユーザーが認識
可能な遅延を本質的に除去する。例えば、制御ユニット１０２ならびに着用可能なハプティックデバイス１１０および１１２はそれぞれ、５０ミリ秒未満まで、かつ、いくつかの場合にはたったの４０ミリ秒まで無線接続のレイテンシを減少させる方式で、着信データおよび発信データ（例えば、オーディオストリーム、制御データ、オーディオパケット、データパケットなど）を処理するように構成され得る。
図３は、実施形態にしたがう、電子制御ユニット３００と１つ以上のハプティックデバイス（例えば、図１に示されている着用可能なハプティックデバイス１１０および１１２）との間のレイテンシが極めて少ない無線接続を容易にするように構成された例示的な電子制御ユニット３００を示している。電子制御ユニット３００は、図１に示され、かつ、本明細書に記載された制御ユニット１０２および／または図２に示され、かつ、本明細書に記載された制御ユニット２０２と実質的に同様であってもよい。実施形態では、制御ユニット３００は、１つ以上の集積回路上に実装され得る。
図３に示されているように、制御ユニット３００は、例えば補助入力のような、外部オーディオソース（例えば、図１に示されているオーディオソース１０４のような）からオーディオストリームを受け取るように構成されたオーディオ入力デバイス３０２を含んでいる。例えば、オーディオ入力デバイス３０２は、ケーブルを介してオーディオソースに連結された対応するオーディオプラグ（例えば、３．５ミリメートルのオーディオジャック）を受け入れるように構成されたオーディオソケット（例えば、３．５ミリメートルのオーディオソケット）であってもよい。実施形態では、オーディオ入力デバイス３０２は、入力されたオーディオまたはオーディオストリームを、制御ユニット３００内のオーディオ経路と制御ユニット３００内のハプティック経路との間で分割するように構成されたオーディオスプリッター３０４に連結され得る。オーディオスプリッター３０４は、ハードウェア（例えば、基板上の回路の構成要素を用いて）、ソフトウェア（例えば、制御ユニット３００のプロセッサーによって実行されて）またはそれらの組み合わせにおいて実装されてもよい。
図示されているように、制御ユニット３００内のオーディオ経路は、例えば補助出力のような、オーディオ経路に提供されるオーディオストリームを外部オーディオリスニングデバイス（例えば、図１に示されているオーディオリスニングデバイス１０８のような）へと出力するように構成されたオーディオ出力デバイス３０６に連結されていてもよい。例えば、オーディオ出力デバイス３０６は、ケーブルを介してオーディオリスニングデバイスに連結された対応するオーディオプラグを受け入れるように構成されたオーディオソケットであってもよい。
また、図示されているように、制御ユニット３００内のハプティック経路は、近距離無線通信技術を用いて、ハプティック経路に提供されるオーディオストリームを１つ以上の外部ハプティックデバイス（例えば、図１に示されている着用可能なハプティックデバイス１１０および１１２ならびに／または図４に示されているハプティックデバイス４００のような）へと送信するように構成された無線トランシーバー３０８に連結されていてもよい。例えば、無線トランシーバー３０８は、ハプティックデバイスと対になってその間の無線通信を可能にするブルートゥーストランシーバーであってもよい。
いくつかの実施形態では、制御ユニット３００はさらに、例えばマイクロホンのような、制御ユニット３００から所定の近さの範囲のサウンドを捕捉し、かつ、捕捉されたサウンドをオーディオ信号へと変換するように構成された第２のオーディオ入力デバイス３１０を含んでいる。図３に示されているように、第２のオーディオ入力デバイス３１０はハプティック経路に連結されて、捕捉されたオーディオ信号を外部ハプティックデバイスへの送信のために無線トランシーバー３０８へと提供し得る。かかる場合、制御ユニット３
００用のオーディオソースは、例えば映画館における上映、コンサートホールにおけるコンサートもしくはサラウンドサウンドシステムを通して提供されるビデオゲームのような、ライブまたはリアルタイムのエンターテインメントイベントであってもよく、かつ、制御ユニット３００は、エンターテインメント体験の最中にマイクロホン３１０によって捕捉されるオーディオコンテンツ由来のハプティックコンテンツでライブまたはリアルタイムのエンターテインメント体験を向上させるのに用いられ得る。例えば、制御ユニット３００は、ユーザーがライブまたはリアルタイムのオーディオコンテンツの低周波数成分を向上させるように設計された振動を体験することを可能にしてもよい。
図３に示されているように、制御ユニット３００はさらに、制御ユニット３００に含まれるデータ経路に連結されたデータ入力デバイス３１２（本明細書では、「データポート」ともいう）を含み得、該データ入力デバイス３１２は、データ入力デバイス３１２に通信可能に連結された外部データソースからデータを受け取るためのものである。いくつかの実施形態では、データポート３１２はまた、無線トランシーバー３０８から受け取られたデータをデータポート３１２に連結されたデータソースへと提供するためのデータ出力デバイスとして構成されている。かかる場合、データ経路は、双方向送信が可能であってもよい。データ入力デバイス３１２は、例えばユニバーサルシリアルバス（ＵＳＢ）ポート、ミニＵＳＢポート、マイクロＵＳＢポート、ライトニングコネクターポート、イーサネットポートなどのような、任意のタイプのデータポートであってもよい。いくつかの実施形態では、データ入力デバイス３１２はまた、制御ユニット３００のバッテリー（図示せず）を再充電するための充電ケーブルを受け取るのに用いられ得る。
図３に示されているように、ハプティック経路はさらに、第１のオーディオ入力デバイス３０２または第２のオーディオ入力デバイス３１０のいずれかによってハプティック経路に提供されるオーディオストリームから高周波数成分を除去するためのローパスフィルター（ＬＰＦ）３１４を含んでいる。ＬＰＦ３１４についての正確なカットオフ値は、外部ハプティックデバイスから所望される低周波数効果に基づいて選択されてもよい。例えば、いくつかの実施形態では、ＬＰＦ３１４は、６００Ｈｚ以上の周波数をフィルタリングして除去するように構成されてもよい。なぜなら、外部ハプティックデバイスが、６００Ｈｚより下の周波数成分を向上させるように構成されているからである。図示されているように、ＬＰＦ３１４は、ハプティック経路の始点の近くに配置され得、オーディオストリームがハプティック経路に連結されたプロセッサー３１６およびハプティック経路の終点に連結された無線トランシーバー３０８に到達する前に高周波数成分が除去されるようになっている。ＬＰＦ３１４のこの配置は、処理および送信前にオーディオストリームのサイズを減少させることを補助し得、このことは、制御ユニット３００内のデータを処理すること、ならびに／または、制御ユニット３００および外部ハプティックデバイスの間の無線接続と関連付けられるレイテンシを少なくすることを補助し得る。
プロセッサー３１６は、ベースバンドプロセッサー、オーディオプロセッサー、データプロセッサー、中央処理ユニット、マイクロプロセッサー、マイクロコントローラー、プログラマブルロジックアレイ、アプリケーションに特化した集積回路、ロジックデバイスまたはデータを処理し、入力し、出力し、操作し、格納し、もしくは引き出すためのその他の電子デバイスのうちの１つ以上を含み得る。プロセッサー３１６は、制御ユニット３００のメモリー３１８に格納されたソフトウェアを実行するように構成され得る。メモリー３１８は、データ格納デバイス、電子メモリー、不揮発性ランダムアクセスメモリー（例えば、ＲＡＭ）、フリップフロップ、非一時的なコンピューターで書き込み可能もしくコンピューターで読み取り可能な格納媒体、磁気的もしくは光学的データ格納デバイスまたはデータを格納し、引き出し、読み込みもしくは書き込むためのその他の電子デバイスのうちの１つ以上を有し得る。メモリー３１８は、１つ以上のコンピュータープログラムモジュール、コンピューターで実行可能な命令またはプロセッサー３１６による実行用の
その他のソフトウェアを格納し得る。例えば、実施形態では、メモリー３１８は、ソフトウェアアプリケーション（図示せず）を格納していてもよく、該ソフトウェアアプリケーションは、プロセッサー３１６によって実行される時、プロセッサー３１６が、本明細書に記載のレイテンシが少ない無線通信プロトコルを実装し、制御ユニット３００を用いてオーディオコンテンツの送達とハプティックコンテンツの送達との同期を容易にし、かつ／または、本明細書に記載の方法（例えば、図５に示されている方法５００のような）を実装することを引き起こす。
図示されているように、 プロセッサー３１６は、ローパスフィルター３１４と無線トランシーバー３０８との間でハプティック経路に連結され得、フィルタリングされたオーディオストリームが、オーディオコンテンツが外部ハプティックデバイスへと送信される前に処理され得るようになっている。実施形態によれば、プロセッサー３１６は、オーディオコンテンツを複数のオーディオパケットへと区分化することによって、フィルタリングされたオーディオストリームをパケット化するように構成され得る。図３に示されているように、プロセッサー３１６はまた、データポート３１２から、例えば外部ハプティックデバイスの作動を制御するための制御データのようなデータ入力を受け取るためのデータ経路に連結されている。実施形態では、プロセッサー３１６は、データポート３１２を介して受け取られたデータ入力をパケット化し、かつ、データパケットを、複数のオーディオパケットとともに外部ハプティックデバイスへと送信するために無線トランシーバー３０８へと提供するように構成され得る。
いくつかの場合、データパケットは、例えば休止、プレイ、音量調節などのようなオーディオコンテンツの再生と関連付けられる機能を制御するための制御データを含んでいる。代替的または追加的には、データパケットは、例えば地震、歩行、タンクがブルブルという音を立てて動くことまたはオーディオコンテンツと関連付けられたその他のタクタイル感を模倣するようにとの命令のような、外部ハプティックデバイス専用の制御データを含み得る。
プロセッサー３１６は、パケットを無線トランシーバー３０８へと提供する前に、データパケットを複数のオーディオパケットへとインターリーブするように構成され得、オーディオパケットとデータパケットとが同一の通信チャンネルを通して送信されるようになっている。両方のタイプのパケットを同時に送信することは、送信時間を減少させ、かつ、外部ハプティックデバイスがデータパケットとオーディオパケットとを相次いで、かつ／または、いっそう効率良く処理することを可能にし、したがって、制御ユニット３００と外部ハプティックデバイスとの間の無線接続に存在するレイテンシの量を減少させることを補助するだろう。
実施形態では、各オーディオパケットは、オーディオパケット識別子、シンクワードおよびプレイすべき時間（ＴＴＰ）データを割り当てられ得、それらはすべて、オーディオパケットのヘッダーに含まれていてもよい。同様に、各データパケットは、データパケット識別子とシンクワードとを割り当てられ得、それらは両方ともパケットヘッダーに含まれている。オーディオパケット識別子は、オーディオパケットを、オーディオコンテンツを含有するものとして識別するものであり、かつ、すべてのオーディオパケットに共通であってもよい。同様に、データパケット識別子は、データパケットを、制御データを含有するものとして識別するものであり、かつ、すべてのデータパケットに共通であってもよい。シンクワードは、オーディオパケットおよびデータパケットを、同一の送信に属するものとして識別するものであり、かつ、制御ユニット１０２によって送信される、または、受け取られるすべてのパケットに共通であってもよい。ＴＴＰデータは、所定のオーディオパケット内のオーディオコンテンツがプレイされるべき時間またはオーディオストリーム内のオーディオパケットの時系列を示しており、したがって、各オーディオパケット
に固有であってもよい。ＴＴＰデータは、外部ハプティックデバイスにおいてオーディオストリームを再構築するのに用いられ得る。各オーディオパケットまたは各データパケットのヘッダーはさらに、ソース、行先、コマンド、チェックサムおよびペイロードサイズ情報を含み得る。ヘッダーに加えて、各パケットはまた、ペイロード、または、かかるパケットによって運ばれている実際のオーディオコンテンツもしくはデータコンテンツを含み得る。１つの例示的な実施形態では、各パケットのペイロードは、２０４８ビットまでであり得る。パケットが受信側で（例えば、外部ハプティックデバイスにおいて）組み立て直される時、ヘッダー情報は、同一のオーディオストリームに属するオーディオパケットを識別し、オーディオパケットをデータパケットから区別し、かつ、オーディオパケットを、オーディオストリームを再構築するための適切な順番で配置するのに用いられ得る。
いくつかの実施形態では、オーディオパケットおよびデータパケットは、制御ユニット３００および外部ハプティックデバイスによるいっそう速いパケット処理を可能にする単純なパケット構造プロトコルにしたがって構成され得る。具体的には、同一のパケット構造が、情報を送信することおよび受け取ることの両方に用いられてもよいが、メッセージの意味または解釈は、受信者（例えば、制御ユニット３００と外部ハプティックデバイス）によって変化してもよい。例えば、制御ユニット３００から外部ハプティックデバイスへと送られたパケットがヘッダーのコマンド部分にネームコマンド「０ｘ０００１」を含んでいれば、外部ハプティックデバイスは、メッセージを、デバイス名をペイロードへと変更するようにとのコマンドとして解釈する。しかし、同一のネームコマンドを有するパケットが外部ハプティックデバイスから制御ユニット３００へと送られれば、プロセッサー３１６は、コマンドを、外部ハプティックデバイスが現在かかるペイロードの名前を付けられていることを制御ユニット３００に知らせるメッセージとして解釈する。
実施形態では、プロセッサー３１６は、オーディオパケットと関連付けられるタイムスタンプ、および、着用可能なハプティックデバイスへのオーディオストリームの送信と関連付けられる、見積もられたレイテンシの量（例えば、ミリ秒単位）に基づいて、各オーディオパケットについてのプレイすべき時間を判定し得る。かかる場合、見積もられたレイテンシは、オーディオコンテンツからのプレイを遅延させるためのオフセット期間として用いられてもよく、かつ、所定のオーディオパケットについてのプレイすべき時間は、このオフセット期間をかかるオーディオパケットのタイムスタンプに追加することによって、そうでなければ、オフセットされる遅延を反映するようにタイムスタンプを修正することによって計算されてもよい。タイムスタンプは、その中に含まれるオーディオコンテンツについてのシーケンス番号または外部ハプティックデバイスによる受信の際にオーディオストリームの組み立て直し（ｒｅａｓｓｅｍｂｌｙ）を容易にするためのその他の時間データを含んでいてもよい。いくつかの実施形態では、タイムスタンプは、プロセッサー３１６および／または制御ユニット３００の内部クロック（図示せず）由来の絶対時間を表していてもよい。例えば、タイムスタンプは、オーディオパケットを外部ハプティックデバイスへと送信するのに用いられる無線トランシーバー３０８のブルートゥースクロック由来であってもよい。
実施形態では、プロセッサー３１６は、制御ユニット３００と外部ハプティックデバイスとの間の無線接続と関連付けられるレイテンシの量を計算し、または、見積もるために、１つ以上の要因を用い得る。例えば、レイテンシの量は、オーディオストリームをオーディオパケットへとパケット化するのにプロセッサー３１６によって必要とされる時間の量、制御ユニット３００から受け取られたオーディオパケットおよび／もしくはデータパケットを処理するのに外部ハプティックデバイスによって必要とされる時間の量、オーディオパケットを制御ユニット３００から外部ハプティックデバイスへと送信するのに必要とされる時間の量、オーディオパケットを一方のハプティックデバイスから他方へと送信
するのに必要とされる時間の量ならびに／または制御ユニット３００と外部ハプティックデバイスとの間の無線送信に影響を与える任意のその他の要因に基づき得る。プロセッサー３１６は、例えば無線トランシーバー３０８および外部ハプティックデバイスを含む１つ以上のソースから、ならびに／または、既知の技術を用いて無線接続を試すことによって、このレイテンシを計算するのに用いられる情報を取得してもよい。いくつかの場合、各オーディオパケットに適用されるレイテンシの量は、例えばソースおよび／または行先、ペイロードサイズなどのようなオーディオパケットの特定の特性に基づいて変化してもよい。例えば、第１のハプティックデバイスによって受け取られ、その後で処理および／または再生のための第２のハプティックデバイスへと転送されるオーディオパケットは、第１のハプティックデバイスによって受け取られ、かつ処理されるオーディオパケットより多いレイテンシと関連付けられてもよい。さらに、いっそう大きいペイロードを有するオーディオパケットは、いっそう多いレイテンシと関連付けられてもよい。いくつかの実施形態では、レイテンシの量は、制御ユニット３００の作動前に計算された所定の値であってもよい。その他の実施形態では、レイテンシの量は、送信および／もしくは処理条件が変化するにつれて、かつ／または、オフセット期間もしくはオーディオパケットに適用される遅延を最少化するために、制御ユニット３００の作動の最中に動的または適応的に調整されてもよい。
図３に示されているように、オーディオ経路には、時間遅延をオーディオ経路に提供されるオーディオストリームへと挿入するためのバッファー３２０が含まれ得る。この時間遅延は、プロセッサー３１６によって計算され、かつ、各オーディオパケットについてのプレイすべき時間データを引き出すのに用いられたレイテンシに基づき得る。すなわち、オーディオストリームは、オーディオパケットについてのプレイ終了時間（ｐｌａｙ ｏｕｔ ｔｉｍｅ）をオフセットするのに用いられたのと同一の量だけ遅延して、外部オーディオリスニングデバイスに送信されてもよい。結果として、制御ユニット３００のユーザーは、外部オーディオリスニングデバイスを介したオーディオコンテンツの送達を、外部ハプティックデバイスを介したハプティックコンテンツの送達と同期されたものとして認識するだろう。いくつかの実施形態では、時間遅延は、プロセッサー３１６によってバッファー３２０へと提供されてもよく、かつ、バッファー３２０は、時間遅延をオーディオストリームへと挿入するように構成され得る。その他の実施形態では、プロセッサー３１６は、バッファー３２０を適宜チューニングすることによって、そうでなければ、バッファー３２０にそうするように命令することによって、時間遅延をオーディオストリームへと挿入するように構成されていてもよい。バッファー３２０は、先入れ先出し方式の（ＦＩＦＯ）バッファーまたはオーディオ出力デバイス３０６を介した送信前にオーディオコンテンツを格納するのに適したその他のデータストアであり得る。
無線トランシーバー３０８は、無線通信プロトコルを用いて、オーディオパケットおよびデータパケットを外部ハプティックデバイスへと一斉送信または送信し得る。いくつかの実施形態では、無線トランシーバー３０８はまた、無線通信プロトコルを介して外部ハプティックデバイスからデータパケットを受け取り得る。実施形態では、無線トランシーバー３０８はブルートゥーストランシーバーであり得、無線通信プロトコルはブルートゥース通信プロトコルであり得、かつ、ブルートゥース通信プロトコルの論理リンク制御およびアダプテーションプロトコル（Ｌ２ＣＡＰ）層を用いて、ハプティックデバイスとの無線接続が確立され得る。好ましい実施形態では、本明細書に記載の技術は、ハプティックデバイスとの接続を確立するのにＬ２ＣＡＰ層を含む特定のベースとなるブルートゥース層のみを用い、かつ、オーディオパケットおよびデータパケットを多数のデバイスへと信頼性高く送達するために固有のデータチャンネルを利用する、新規なブルートゥース通信プロトコルを提供する。例えば、一旦Ｌ２ＣＡＰリンクが制御ユニット３００と外部ハプティックデバイスとの間に確立されると、無線トランシーバー３０８は、制御ユニット３００と各ハプティックデバイスとの間に、オーディオパケットおよびデータパケットを
そこに送信し、かつ、データパケットをそこから受け取るための双方向データチャンネルを確立する。
図示されていないが、制御ユニット３００はさらに、アンテナ、モデムおよび無線トランシーバー３０８によって実装された無線通信プロトコルを実行するためのその他の無線通信回路を含み得る。制御ユニット３００が２つ以上の通信プロトコル（例えば、別の近距離無線通信プロトコルまたは広域ネットワーク通信プロトコル）にしたがって作動するという程度まで、制御ユニット３００はさらに、追加のプロトコルを実行するための別個の無線通信回路を含んでいてもよい。代替的には、１つ以上の回路の構成要素が、２つ以上の通信プロトコルによって共用されてもよい。上記ではブルートゥース技術の使用について記載したが、その他の実施形態では、無線トランシーバー３０８は、例えばＷｉＦｉ、Ｚｉｇｂｅｅ、ＮＦＣなどのような、任意のその他の無線通信技術を実装していてもよい。
図４は、実施形態にしたがう、オーディオデータを例えば図３に示されている制御ユニット３００から無線で受け取り、該オーディオデータをハプティック信号へと変換するように構成された例示的な外部ハプティックデバイス４００を示している。ハプティックデバイス４００は、図１に示されている着用可能なハプティックデバイス１１０および１１２のうちの少なくとも１つならびに／または図２に示されている履物デバイス２１０および２１２のうちの少なくとも１つに含まれていてもよく、ハプティック信号がユーザーの身体に印加され得るようになっている。ハプティックデバイス４００はさらに、例えば図１に示されているオーディオリスニングデバイス１０８を介したユーザーの耳への関連するオーディオコンテンツの送達と同期されたユーザーの身体へのハプティック信号の送達を容易にするように構成され得る。実施形態では、ハプティックデバイス４００は、１つ以上の集積回路上に実装され得る。
図示されているように、ハプティックデバイス４００は、制御ユニット３００とハプティックデバイス４００との間の無線接続を容易にするための無線トランシーバー４０２を含んでいる。実施形態では、制御ユニット３００の無線レシーバー３０８とハプティックデバイス４００の無線トランシーバー４０２との間に双方向通信チャンネルが確立されて、制御ユニット３００からオーディオパケットおよびデータパケットが受け取られ得、かつ、制御ユニット３００へとデータパケットが送られ得る。無線トランシーバー４０２は、このチャンネルを確立するために、無線トランシーバー３０８と同一タイプの無線通信技術用に構成され得る。好まし実施形態では、無線トランシーバー４０２は、制御ユニット３００の無線トランシーバー３０８と同様にブルートゥーストランシーバーであり、かつ、制御ユニット３００との無線接続を確立するのにブルートゥース無線通信プロトコルのＬ２ＣＡＰ層を用いる。
ハプティックデバイス４００はさらに、制御ユニット３００から受け取られたオーディオコンテンツをハプティック信号へと変換するための少なくとも１つのハプティックトランスデューサー４０４を含んでいる。いくつかの実施形態では、ハプティックトランスデューサー４０４はまた、ユーザーの動きもしくは身振りを検出し、かつ、それと関連付けられる位置データもしくは動きデータを取得および／または記録するように構成されている。このデータは、無線トランシーバー４０２を介して制御ユニット３００へと戻るように送られ、かつ、処理のために制御ユニット３００に連結されたデータソースへと提供されてもよい。実施形態では、ハプティックトランスデューサー４０４は、共有の米国仮特許出願第６２／３６６，５８１号（参照によってその内容全体が本明細書に組み込まれる）に記載のハプティックトランスデューサーと同様であり得る。
図４に示されているように、ハプティックデバイス４００は、ハプティックデバイス４
００の作動を制御し、かつ、制御ユニット３００から受け取られたオーディオパケットおよびデータパケットを処理するためのプロセッサー４０６を含んでいる。プロセッサー４０６は、ベースバンドプロセッサー、オーディオプロセッサー、データプロセッサー、中央処理ユニット、マイクロプロセッサー、マイクロコントローラー、プログラマブルロジックアレイ、アプリケーションに特化した集積回路、ロジックデバイスまたはデータを処理し、入力し、出力し、操作し、格納し、もしくは引き出すためのその他の電子デバイスのうちの１つ以上を含み得る。プロセッサー４０６は、ハプティックデバイス４００のメモリー４０８に格納されたソフトウェアを実行するように構成され得る。
メモリー４０８は、データ格納デバイス、電子メモリー、不揮発性ランダムアクセスメモリー（例えば、ＲＡＭ）、フリップフロップ、非一時的なコンピューターで書き込み可能もしくコンピューターで読み取り可能な格納媒体、磁気的もしくは光学的データ格納デバイスまたはデータを格納し、引き出し、読み込みもしくは書き込むためのその他の電子デバイスのうちの１つ以上を有し得る。メモリー４０８は、１つ以上のコンピュータープログラムモジュール、コンピューターで実行可能な命令またはプロセッサー４０６による実行用のその他のソフトウェアを格納し得る。例えば、実施形態では、メモリー４０８は、ソフトウェアアプリケーション（図示せず）を格納していてもよく、該ソフトウェアアプリケーションは、プロセッサー４０６によって実行される時、プロセッサー４０６が、本明細書に記載のレイテンシが少ない無線通信プロトコルを実装し、着信パケットと発信パケットとを処理し、かつ／または、本明細書に記載の方法（例えば、図６に示されている方法６００のような）を実装することを引き起こす。
ハプティックデバイス４００は、例えば先入れ先出し方式の（ＦＩＦＯ）バッファーまたはオーディオパケットおよびデータパケットを格納するのに適したその他のデータストアのような入力バッファー４１０を含み得る。なぜなら、それらが無線トランシーバー４０２から受け取られるからである。無線トランシーバー４０２を介して受け取られたオーディオパケットは、プレイすべき時間順でバッファー４１０に格納されていてもよい。所定のパケットのＴＴＰはさらに、かかるパケットについてのシーケンス番号として役立ってもよい。いくつかの実施形態では、ハプティックデバイス４００はさらに、制御ユニット３００への送信前にデータパケットを格納するための出力バッファー（図示せず）を含んでいてもよい。その他の実施形態では、バッファー４１０は、着信パケットおよび発信パケットの両方を取り扱う入力／出力バッファーとして構成され得る。ハプティックデバイス４００はまた、オーディオパケットを、それらがプロセッサー４０６によって処理された後で格納するための追加のバッファー（図示せず）を含んでいてもよい。
いくつかの実施形態では、ハプティックデバイス４００内の処理に起因するレイテンシを少なく保つのを補助するために、入力バッファー４１０は、ストアがアンダーランすることまたは空になることを防止することと、ストアを素早く一杯にしてレイテンシを追加することとの両立を図った低レベル（例えば、１０個のサンプル）で維持され得る。例えば、入力バッファーレベルは、レベルが所定の閾値より下に落ちるまでバッファー４１０を読み込み、その後でレベルが閾値を超えるまで再びバッファー４１０を読み込むことを待つことによって管理されてもよい。他方、出力バッファーの場合、バッファーは、最大レベルまたはほぼ最大レベルで維持されてもよく、時間が来ればすぐにデータパケットが処理されて、そのことによってレイテンシの追加が回避されるようになっている。
実施形態では、プロセッサー４０６は、それぞれの受け取られたパケットからシンクワードおよびパケット識別子を抽出し、かつ、該識別子に基づいて、パケットがオーディオパケットであるか、またはデータパケットであるかを判定するように構成され得る。データパケットについては、プロセッサー４０６は、その中に含まれる制御データを処理し、かつ、それに基づいて作動を実行し得、該作動の実行は、例えば、受け取られた制御デー
タにしたがってハプティックトランスデューサー４０４の作動を制御すること、または、データパケットをその他のハプティックデバイスへと転送することを含んでいてもよい。オーディオパケットについては、プロセッサー４０６は、オーディオパケットからプレイ終了時間、または、タイムスタンプデータおよびプレイすべき時間（ＴＴＰ）データを抽出し得る。
プロセッサー４０６は、受け取られたオーディオパケットのＴＴＰを保証するための措置をとり得る。例えば、いくつかの実施形態では、プロセッサー４０６は、ハプティックデバイス４００の内部クロック（例えば、ブルートゥースクロック）を制御ユニット３００の内部クロックに同期させてもよい。いくつかの場合、プロセッサー４０６は、ハプティックデバイス４００の内部クロックによって提供される現在のプレイ時間を考慮して、受け取られたＴＴＰデータを調整することによって、各オーディオパケットについての新たなＴＴＰを計算してもよい。新たなＴＴＰは、ハプティックデバイス４００内で受け取られたオーディオパケットを処理する時に維持されてもよい。
実施形態では、プロセッサー４０６は、バッファー４１０の入力レベルを管理するように構成され得、受け取られたオーディオパケットについてのＴＴＰが保証されるようになっている。例えば、所定のオーディオパケットが破損するか、または遅れれば、該オーディオパケットはバッファー４１０から除去され、かつ、素早く読み取られてもよく、バッファー４１０がかかるパケットによって動きが取れなくならないようになっている。別の例として、所定のオーディオパケットが早くプレイされ過ぎれば、プロセッサー４０６は、無音声（例えば、ゼロ）をバッファー４１０に追加してもよく、残りのオーディオパケットのＴＴＰが維持され得るようになっている。いくつかの実施形態では、無音声を追加する代わりにパケット損失補償（ＰＬＣ）アルゴリズムが実行されてもよい。かかる場合、現在プレイされているものと同様のオーディオコンテンツが、無音声の代わりにバッファー４１０に追加されてもよく、信号劣化がユーザーに認識できない、または、ほぼ認識できないようになっている。例えば、プロセッサー４０６は、バッファー４１０において正しいオーディオパケットが受け取られるまで、先のオーディオパケットを繰り返してもよい。
図４に示されているように、ハプティックデバイス４００はさらに、受け取られたオーディオパケットに含まれるオーディオコンテンツから望まれない周波数成分をフィルタリングして除去するためのローパスフィルター（ＬＰＦ）４１２とハイパスフィルター（ＨＰＦ）４１４とを含み得る。フィルター４１２とフィルター４１４とは、プロセッサー４０６とハプティックトランスデューサー４０４との間に配置され得、オーディオコンテンツがハプティックデータへの変換のためにハプティックトランスデューサー４０４へと出力される前にフィルタリングされるようになっている。フィルター４１２とフィルター４１４との境界（ｌｉｍｉｔｓ）は、ハプティックトランスデューサー４０４によって生成されるハプティック信号から所望される衝撃に基づいて構成され得る。例えば、低周波数成分から生成される振動またはハプティック感（ｈａｐｔｉｃ ｓｅｎｓａｔｉｏｎｓ）がユーザーによっていっそう良好に認識される一方で、超低周波数成分の効果は、有益なものではないだろう。したがって、１つの例示的な実施形態では、ＬＰＦ４１２は、４５０Ｈｚ以上の周波数を除去するように構成されていてもよく、一方で、ＨＰＦ４１４は、２０Ｈｚ以下の周波数を除去するように構成されていてもよい。
図５は、実施形態にしたがう、オーディオストリームの送達を該オーディオストリーム由来のハプティック信号の送達と同期させる例示的な工程または方法５００を示している。方法５００は、例えば図３に示されている電子制御ユニット３００のような計算デバイスによって実行され得る。例えば、方法５００は、計算デバイスのメモリー（例えば、図３に示されているメモリー３１８）に格納されたソフトウェアアプリケーションを実行す
る計算デバイスのプロセッサー（例えば、図３に示されているプロセッサー３１６）によって少なくとも部分的に実装されてもよい。さらに、方法５００の作動を実行するために、計算デバイスは、それに通信可能に連結された１つ以上のその他のデバイスと相互作用し得、該１つ以上のその他のデバイスは、例えば、外部オーディオソース（例えば、図１に示されているオーディオソース１０４）、外部データソース（例えば、図１に示されているデータソース１０６）、外部オーディオリスニングデバイス（例えば、図１に示されているオーディオリスニングデバイス１０８）および／または１つ以上の外部ハプティックデバイス（例えば、図１に示されている着用可能なハプティックデバイス１１０および１１２）のようなものである。
実施形態では、方法５００は、近距離無線通信用に構成された電子制御ユニットの無線トランシーバー（例えば、図３に示されている無線トランシーバー３０８）を用いて電子制御ユニットと少なくとも１つの着用可能なハプティックデバイスとの間に無線接続を確立することによってステップ５０２において開始する。例えば、無線トランシーバーはブルートゥーストランシーバーであってもよく、かつ、電子制御ユニットを少なくとも１つの着用可能なハプティックデバイスと一対にし、かつ、少なくとも１つの着用可能なハプティックデバイスとのＬ２ＣＡＰリンクを確立するのに用いられてもよい。例えば、少なくとも１つの着用可能なハプティックデバイスが履物デバイス２１０および２１２を含んでいれば、電子制御ユニットのブルートゥーストランシーバーは、各履物デバイス（例えば、左の靴と右の靴）と一対になってもよい。
ステップ５０２から、方法５００は、受け取られたデータのソースおよび／または行先に基づいて、ステップ５０４、ステップ５０６、ステップ５０８およびステップ５１０のうちの１つ以上へと続いてもよい。例えば、ステップ５０４では、外部オーディオソースに連結された補助入力（例えば、図３に示されている第１のオーディオ入力デバイス３０２）からオーディオストリームが受け取られる。ステップ５０６では、ライブまたはリアルタイムのオーディオコンテンツを捕捉するためのマイクロホン（例えば、図３に示されている第２のオーディオ入力デバイス３１０）からオーディオストリームが受け取られる。ステップ５０８では、外部データソースに連結されたデータポート（例えば、図３に示されているデータ入力デバイス３１２）からデータが受け取られる。そしてステップ５１０では、少なくとも１つの着用可能なハプティックデバイスからデータが受け取られる。いくつかの場合、ステップ５０４、ステップ５０６、ステップ５０８およびステップ５１０は、同時または立て続けに起こってもよく、かつ、後に続くステップは互いに重複してもよい。
ステップ５０４から、方法５００はステップ５１２へと続いてもよく、該ステップ５１２では、オーディオストリームが２つの経路の間に分割される：バッファー（例えば、図３に示されているバッファー３２０）およびオーディオ出力デバイス（例えば、図３に示されている補助出力３０６）を有するオーディオ経路と、無線トランシーバーおよびプロセッサーに連結されたハプティック経路。ステップ５１２から、方法５００は、オーディオストリームがオーディオ経路へと提供されるステップ５１４およびオーディオストリームがハプティック経路へと提供されるステップ５１６へと続く。
まずハプティック経路を下に続けると、ステップ５１８において、オーディオストリームはローパスフィルター（例えば、図３に示されているＬＰＦ３１４）を用いてフィルタリングされて、高周波数成分（例えば、６００Ｈｚより上）が除去される。ステップ５２０において、プロセッサーは、無線トランシーバーによる少なくとも１つの着用可能なハプティックデバイスへのオーディオストリームの送信と関連付けられるレイテンシの量を計算する。ステップ５２２において、プロセッサーは、オーディオコンテンツを複数のオーディオパケットへと区分化することによって、ハプティック経路へと提供されるオーデ
ィオストリームをパケット化する。各オーディオパケットは、計算されたレイテンシの量に基づき、かつ、オーディオコンテンツがプレイされるべき時間を表す、プレイすべき時間（ＴＴＰ）データを有し得る。例えば、計算されたレイテンシは、オーディオパケットと関連付けられるタイムスタンプに追加され得、各オーディオパケットについてのプレイ時間が均一に遅延されるか、または、ずれて、電子制御ユニットとハプティックデバイスとの間の無線接続から生じるあらゆるレイテンシおよびそれぞれにおける処理時間を補償するようになっている。
ステップ５０８に戻ると、一旦データがデータポートにおいて受け取られると、方法５００はステップ５２４へと続いてもよく、該ステップ５２４では、プロセッサーは受け取られたデータがハプティックデバイスの作動を制御するための制御データであるか、または、制御ユニットを設定するための設定データであるかを判定する。データが設定データであれば、方法５００はステップ５２６へと続き、該ステップ５２６では、プロセッサーは設定データを処理し、かつ、該データによって指令を受けた適切な機能または作動を実行する。データが制御データであれば、方法５００はステップ５２８へと続き、該ステップ５２８では、プロセッサーは、制御データを複数のデータパケットへと区分化することによってデータをパケット化する。方法５００はその後でステップ５３０へと続いてもよく、該ステップ５３０では、プロセッサーは、データパケットを複数のオーディオパケットへとインターリーブし、かつ、方法５００はその後でステップ５３２へと続いてもよく、該ステップ５３２では、オーディオパケットおよびデータパケットは、ハプティックデバイスへの送信のために無線トランシーバーへと提供される。制御データが受け取られない場合、方法５００はステップ５２２からステップ５３２へと向かうように続いてもよく、該ステップ５３２では、複数のオーディオパケットは無線トランシーバーを介してハプティックデバイスへと送信される。
ステップ５１４に戻ると、一旦オーディオストリームがオーディオ経路に提供されると、方法５００はステップ５３４へと続いてもよく、該ステップ５３４では、時間遅延がバッファー（例えば、図３に示されているバッファー３２０）を用いてオーディオ経路のオーディオストリームへと挿入される。時間遅延は、ステップ５２０において計算されたレイテンシの量に基づき得る。例えば、ステップ５２０の終了後、プロセッサーは、時間遅延をバッファーへと提供してもよい。ステップ５３４から、方法５００はステップ５３６へと続き、該ステップ５３６では、時間遅延したオーディオストリームは、オーディオ出力デバイスに連結された外部オーディオリスニングデバイスへの送達のためにオーディオ出力デバイスへと提供される。したがって、時間遅延したオーディオストリームは、ハプティックデバイスによるハプティック信号と同期されてオーディオリスニングデバイスによって送達されてもよい。
ステップ５１０に戻ると、一旦データがハプティックデバイスから受け取られると、方法５００はステップ５３８へと続いてもよく、該ステップ５３８では、受け取られたデータは、データソースまたはその他のコントローラーへの送信のためにデータポートへと提供される。例えば、データは、ハプティックデバイスによって検出される動きもしくは身振りと関連付けられる位置または動きデータを含んでいてもよく、かつ、これら動き／身振りは、ビデオゲームまたはその他の視聴覚体験への入力として用いられてもよい。方法５００は、すべての受け取られたデータが適切に処理および送信されるとすぐに終了してもよい。
図６は、実施形態にしたがう、オーディオストリームと、該オーディオストリーム由来のハプティック信号との同時送達を容易にするための例示的な工程または方法６００を示している。方法６００は、例えば図４に示されているハプティックデバイス４００のような計算デバイスによって実行され得る。例えば、方法６００は、計算デバイスのメモリー
（例えば、図４に示されているメモリー４０８）に格納されたソフトウェアアプリケーションを実行する計算デバイスのプロセッサー（例えば、図４に示されているプロセッサー４０６）によって少なくとも部分的に実装されてもよい。さらに、方法６００の作動を実行するために、計算デバイスは、それに通信可能に連結された１つ以上のその他のデバイスと相互作用し得、該１つ以上のその他のデバイスは、例えば、電子制御ユニット（例えば、図３に示されている制御ユニット３００）および／または計算デバイスと無線通信状態にある別のハプティックデバイス（例えば、図１に示されている着用可能なハプティックデバイス１１０および１１２のような）のようなものである。
図６に示されているように、方法６００は、近距離無線通信用に構成された無線トランシーバー（例えば、図４に示されている無線トランシーバー４０２）を用いて少なくとも１つの着用可能なハプティックデバイスと電子制御ユニットとの間に無線接続を確立することでステップ６０２において開始する。例えば、無線トランシーバーはブルートゥーストランシーバーであってもよく、かつ、ハプティックデバイスを電子制御ユニットと無線で一対にし、かつ、制御ユニットとのＬ２ＣＡＰリンクを確立するのに用いられてもよい。いくつかの場合、無線接続は、制御ユニットから着信接続リクエストを受け取ることに応答してなされてもよい。
ステップ６０４において、プロセッサーは入力／出力バッファー（例えば、図４に示されているバッファー４１０）を低レベル（例えば、１０個以下のサンプル）で維持して、ハプティックデバイス内の処理ベースのレイテンシを少なく保つ。実施形態では、入力／出力バッファーは、着信データおよび発信データの両方を取り扱うための単一のストアであってもよく、入力バッファーおよび出力バッファーのような２つの別個のストアであってもよい。
ステップ６０６において、ハプティックデバイスは、無線トランシーバーを介して、電子制御ユニットから複数のオーディオパケットを受け取る。いくつかの場合、ハプティックデバイスは、オーディオパケットとともに複数のデータパケットを受け取ってもよい。例えば、データパケットは、オーディオパケットの間にインターリーブされ、かつ、同一の無線接続を通して送られてもよい。データパケットは、ハプティックデバイスに含まれている１つ以上のハプティックトランスデューサー（例えば、図４に示されているハプティックトランスデューサー４０４）の作動を制御するための制御データを含んでいてもよい。
ステップ６０８において、プロセッサーは、シンクワードおよびパケット識別子について各パケットを検索する。ステップ６１０において、プロセッサーは、パケット識別子に基づいてパケットがデータパケットであるか、またはオーディオパケットであるかを判定する。パケットがデータパケットであれば、方法６００はステップ６１２へと続き、該ステップ６１２では、プロセッサーは、各データパケットのヘッダーを処理してデータパケットの行先を識別する。ステップ６１４において、ステップ６１２における知見に基づいて、各データパケットをルーティングして、第１のハプティックデバイス（例えば、図２に示されている第１の履物デバイス２１０）および第２のハプティックデバイス（例えば、図２に示されている第２の履物デバイス２１２）のうちの１つを選択する。例えば、いくつかの場合、オーディオコンテンツは、例えば右チャンネルオーディオおよび左チャンネルオーディオのような多チャンネルオーディオを含んでいてもよい。かかる場合、ヘッダー情報は、右チャンネルオーディオがユーザーの右足に身に着けられた履物デバイスへと提供されるべきであり、かつ、左チャンネルオーディオがユーザーの左足に身に着けられた履物デバイスへと提供されるべきであることを示していてもよい。
ステップ６１０に戻ると、パケットがオーディオパケットであれば、方法６００はステ
ップ６１６へと続き、該ステップ６１６では、プロセッサーは、オーディオパケットのヘッダーからプレイすべき時間（ＴＴＰ）データを引き出し、ハプティックデバイスの内部クロック（例えば、ブルートゥースまたは壁の時計（ｗａｌｌ ｃｌｏｃｋ））から現在のプレイ時間を引き出し、かつ、両方の情報に基づいて、オーディオパケットについて新たなプレイすべき時間値を計算する。ステップ６１８において、プロセッサーは、例えば所定のオーディオパケットについての現在のプレイ時間とＴＴＰ値との間の差を計算し、かつ、この差を３２値にわたって平均化することによって、無線送信において自然に起こるであろうジッター（ｊｉｔｔｅｒ）を除去する。
ステップ６２０において、方法６００は、バッファーレベルを管理して、各オーディオパケットについてのプレイすべき時間を保証することを含んでいる。例えば、オーディオパケットが破損するか、またはプレイが遅れれば、パケットはバッファーから除去されて、その他のパケットのＴＴＰを維持することを補助してもよい。別の例として、パケットが早く到達すれば、無音声または同音のオーディオコンテンツがバッファーに追加されて隙間が隠されてもよい。
ステップ６２２において、オーディオコンテンツはフィルタリングされて、超低周波数成分（例えば、２０Ｈｚより下）および特定の高周波数成分（例えば、４５０Ｈｚより上）が除去される。ステップ６２４において、フィルタリングされたオーディオコンテンツはハプティックデバイスのうちの１つ以上へと提供されて、該オーディオコンテンツに基づいてハプティック信号が生成される。ハプティック信号は、ステップ６１６において計算された新たなＴＴＰ値にしたがって、１つ以上のハプティックデバイスへと出力されてもよく、ハプティック信号が、対応するオーディオコンテンツ（例えば、オーディオリスニングデバイスを介する）と同時にハプティックデバイスを介してユーザーへと送達されるようになっている。方法６００は、すべての受け取られたオーディオがハプティック信号に変換されるとすぐに終了してもよい。いくつかの場合、方法６００はさらに、１つ以上のハプティックトランスデューサーによって検出された動きと関連付けられるデータを取得することと、無線トランシーバーを用いて動きデータを電子制御ユニットへと送信することとを含んでいてもよい。
上記には、データを一斉送信し、一斉送信されたデータを受け取るための無線通信デバイスが記載されている。かかるデータは、本明細書では、パケットにて送信されるものとして記載されている。この用語法は、説明の便宜上および説明を容易にするために用いられている。パケットは異なる通信プロトコルにおいて異なるフォーマットを有し得、かつ、いくつかの通信プロトコルは、データ送信を示すのに例えば「フレーム」または「メッセージ」のような異なる用語法を用いる。したがって、用語「パケット」は、無線ネットワークを通して送信される任意の信号、データまたはメッセージを示すために本明細書で用いられていることが理解されるであろう。
したがって、本明細書に記載の実施形態は、オーディオリスニングデバイスによって送達されるオーディオ信号および１つ以上の着用可能なハプティックデバイスによって送達される対応するハプティック信号を含む、異なるデバイスによる異なる無線信号の送達を同期させるための新規な無線通信プロトコルおよび通信層を提供する。本明細書に示され、かつ、記載された例がオーディオリスニングデバイスおよび１つ以上の着用可能なハプティックデバイスに無線で連結された電子制御ユニットならびに／またはこれら構成要素を有するエンターテインメントシステムに関する一方で、本明細書に記載の無線通信プロトコルのその他の実装もまた考慮される。
例えば、１つの実装では、本明細書に記載のレイテンシベースの同期技術は、着用可能なデバイスおよび遠隔駆動デバイスを含む任意の数の異なる無線接続デバイスによるオー
ディオ信号ならびにハプティック信号の送達を同期させるのに用いられて、多感覚的没入感を提供し得る。例えば、「Ａ Ｍｏｄｕｌａｒ Ｓｙｓｔｅｍ ｆｏｒ Ｂｕｉｌｄｉｎｇ Ｖａｒｉａｂｌｅ Ｉｎｔｅｒａｃｔｉｖｅ Ｐｌａｔｆｏｒｍｓ ａｎｄ Ｅｎｃｌｏｓｕｒｅｓ ｆｏｒ Ｄｅｅｐ Ｍｕｌｔｉｓｅｎｓｏｒｙ Ｉｍｍｅｒｓｉｏｎ
ｉｎｔｏ Ａｕｄｉｏ ａｎｄ Ａｕｄｉｏ−Ｖｉｓｕａｌ Ｅｎｔｅｒｔａｉｎｍｅｎｔ（オーディオおよび視聴覚エンターテインメントへの深い多感覚的没入感のための種々の双方向プラットフォームおよびエンクロージャーを構築するためのモジュラーシステム）」と題する共有の国際特許出願第ＰＣＴ／ＵＳ２０１６／０２５９２７号（参照によってその全体が本明細書に組み込まれる）には、オーディオをタクタイル振動と同期させ、かつ／または、１つ以上の要素（例えば、水噴射、水蒸気、香気、エアバーストなど）を放出してパネルがゲームまたはバーチャルリアリティエンクロージャーを構築するのに用いられる時に深い多感覚的没入感を提供する、埋め込まれたモジュールを有するパネル（例えば、床パネルまたは壁パネル）が記載されている。本明細書に記載の無線通信プロトコルは、これらパネルを図３に示されている制御ユニット３００と同様の中央制御ユニットに無線でリンクさせ、かつ、エンクロージャー内の各パネルによるオーディオコンテンツ、ハプティックコンテンツおよび／またはその他の出力の送達を同期させるのに用いられ得る。
別の例示的な実装では、オーディオ記録システムが、種々のオーディオソースに隣接して配置された、図３に示されている制御ユニット３００と同様の多数の制御ユニットを含み得る。制御ユニットは、各オーディオソースによって放出されるライブサウンドを同時に記録し、かつ、本明細書に記載のレイテンシが補正された同期技術を用いて、捕捉されたサウンドを指示された電子デバイス（例えば、コンピューターまたは移動デバイス）へと無線で送信するように構成され得る。例えば、各制御ユニットは、音楽バンドにおける指定された楽器に隣接して配置されてもよく、かつ、各制御ユニットにおけるマイクロホンは、指定された楽器によって生成されるサウンドを捕捉するように構成され得る。種々の楽器のサウンドは、同期された方式で単一のオーディオ記録デバイスへと無線で送信され、かつ、個別に記録された楽器トラックから構成されるマルチトラック記録を作成するのに用いられ得る。オーディオ記録デバイスはさらに、ライブ映像コンテンツと同期させて記録を生成してもよく、ライブ映像コンテンツと同期させて記録を一斉送信してもよい。
さらに別の例示的な実装では、多数の制御ユニット（例えば、上記のオーディオ記録システムと同様の）によって記録されたオーディオは、仮装現実システム（例えば、ＶＲ３６０システム）用の、および／または、ライブ映像と関連するハプティックイベントを生成するのに用いられ得る。例えば、プロフェッショナルフットボールの試合では、各選手は、彼の防具および／または靴の中敷きに埋め込まれた１つ以上の制御ユニットと、彼のヘルメットに埋め込まれた３６０度ヘッドカメラとを有していてもよい。制御ユニットは、マイクロホン、ならびに／または、例えば走る時もしくはその他の選手と衝突する時に選手と関連付けられる力を検出もしくは測定するための圧力センサーを含み得る。これら力は、例えば選手の走りの歩調または衝突の衝撃を表すライブのハプティックフィードバックとして試合を観ている人に提供され得、かつ、本明細書に記載のレイテンシが補正された同期技術を用いて、ライブのハプティックフィードバックは、試合からの対応するオーディオコンテンツおよび映像コンテンツと同期されて該人へと送達され得る。結果として、ライブの試合を観ている人は、まるで彼ら自身が試合に参加しているかのように試合の物理的態様を同時に感じ得る。いくつかの場合、かかるシステムによって集められるライブのハプティック振動は、例えば共有の米国特許第９，４０２，１３３号明細書（参照によってその内容全体が本明細書に組み込まれる）に記載の多チャンネルオーディオ振動エンターテインメントシステムのような多チャンネルハプティックシステムへと提供され得、振動がユーザーの身体の適切な領域へと提供されるようになっている（例えば、走る
ことに関連するイベントは、視聴者の足に取り付けられたハプティックトランスデューサーへと提供され、肩の衝突に関連するイベントは、視聴者の肩に取り付けられたハプティックトランスデューサーへと提供されるなど）。
図５および図６のような図面における任意の工程の記載またはブロックは、モジュール、セグメントまたは工程において特定の論理的機能またはステップを実装するための１つ以上の実行可能な命令を含むコード（ｃｏｄｅ）の一部を表すものとして理解されるべきであり、かつ、代替的な実装が本明細書に記載の実施形態の範囲内に含まれ、そこでは、機能が図示され、または説明された順番通りではなく実行されてもよく、その順番は関連する機能に基づいて実質的に同時であることや逆の順番であることを含み、そのことは当業者によって理解されるであろう。
上記の実施形態および具体的には任意の「好ましい」実施形態は、実装の考え得る例であり、かつ、本発明の原理の明確な理解のために記載されたに過ぎない。多くの変形および修正が、本明細書に記載の技術の精神および原理から実質的に逸脱することなく、上記の実施形態に対してなされてもよい。すべての修正が、本開示の範囲内にあるものとして本明細書に含まれ、かつ、以下の請求の範囲によって保護されることが意図される。

Claims (24)

  1. 電子制御ユニットであって、当該電子制御ユニットは：
    外部オーディオソースからオーディオストリームを受け取るためのオーディオ入力デバイスを有し；
    前記オーディオ入力デバイスに連結された、前記オーディオストリームをオーディオ経路とハプティック経路との間で分割するための信号スプリッターを有し；
    前記ハプティック経路に連結された、近距離無線通信技術を用いて前記オーディオストリームを少なくとも１つの着用可能なハプティックデバイスへと送信するための無線トランシーバーを有し；
    前記無線トランシーバーに連結されたプロセッサーを有し、該プロセッサーは：
    前記の少なくとも１つの着用可能なハプティックデバイスへの前記オーディオストリームの前記送信と関連付けられるレイテンシの量を計算するように構成されており、かつ、
    前記オーディオストリームを複数のオーディオパケットへと区分化するように構成されており、各オーディオパケットは、前記の計算されたレイテンシの量に基づくプレイすべき時間を含んでおり；
    前記オーディオ経路に含まれた、時間遅延を前記オーディオ経路に提供される前記オーディオストリームへと挿入するためのバッファーを有し、前記時間遅延は、前記の計算されたレイテンシの量に基づいており；かつ、
    前記オーディオ経路に連結された、前記の時間遅延したオーディオストリームを外部オーディオリスニングデバイスへと出力するためのオーディオ出力デバイスを有する、
    前記電子制御ユニット。
  2. 前記ハプティック経路に含まれた、前記ハプティック経路に提供される前記オーディオストリームから高周波数成分を除去するためのローパスフィルターをさらに有する、請求項１に記載の電子制御ユニット。
  3. 各オーディオパケットがさらに、前記オーディオパケットと関連付けられたシンクワードおよび識別子を含んでいる、請求項１に記載の電子制御ユニット。
  4. 前記ハプティック経路に連結された、１つ以上の外部データソースから制御データを受け取るためのデータポートをさらに有する、請求項１に記載の電子制御ユニット。
  5. 前記プロセッサーがさらに：
    前記制御データを複数のデータパケットへと区分化するように構成されており；
    前記データパケットを前記の複数のオーディオパケットへとインターリーブするように構成されており；かつ、
    前記オーディオパケットおよび前記データパケットを、前記の少なくとも１つの着用可能なハプティックデバイスへの送信のために前記無線トランシーバーへと提供するように構成されている、
    請求項４に記載の電子制御デバイス。
  6. 前記データポートがさらに、前記無線トランシーバーを介して、前記の少なくとも１つのハプティックデバイスによって捕捉されたデータを受け取るように構成されている、請求項４に記載の電子制御ユニット。
  7. 前記データポートがユニバーサルシリアルバス（ＵＳＢ）ポートである、請求項４に記載の電子制御ユニット。
  8. 前記オーディオ入力デバイスがマイクロホンである、請求項１に記載の電子制御ユニット。
  9. 前記無線トランシーバーがブルートゥーストランシーバーである、請求項１に記載の電子制御ユニット。
  10. エンターテインメントシステムであって、当該エンターテインメントシステムは：
    オーディオストリームをハプティック信号へと変換するように構成された、少なくとも１つの着用可能なハプティックデバイスを有し；かつ、
    電子制御ユニットを有し、該電子制御ユニットは：
    外部オーディオソースから前記オーディオストリームを受け取るためのオーディオ入力デバイスを有し、
    外部オーディオリスニングデバイスへと前記オーディオストリームを出力するためのオーディオ出力デバイスを有し、
    近距離無線通信技術を用いて前記オーディオストリームを前記の少なくとも１つの着用可能なハプティックデバイスへと送信するための無線トランシーバーを有し、かつ、
    前記ハプティック信号の送達と時間遅延したオーディオストリームの送達とを同期させるように構成されたプロセッサーを有し、前記同期は：
    前記の少なくとも１つの着用可能なハプティックデバイスへの前記オーディオストリームの無線送信と関連付けられるレイテンシの量を計算することによってなされ、
    前記オーディオストリームを複数のオーディオパケットへと区分化することによってなされ、各オーディオパケットは、前記の計算されたレイテンシの量に基づくプレイすべき時間を含んでおり、かつ、
    時間遅延を前記オーディオリスニングデバイスへと提供される前記オーディオストリームへと挿入することによってなされ、前記時間遅延は、前記の計算されたレイテンシの量に基づいている、
    前記エンターテインメントシステム。
  11. 前記電子制御ユニットがさらに、前記プロセッサーに通信可能に連結された、外部データソースから制御データを受け取るためのデータポートを有し、前記制御データは、前記の少なくとも１つの着用可能なハプティックデバイスの作動を制御するためのものである、請求項１０に記載のエンターテインメントシステム。
  12. 前記プロセッサーがさらに：
    前記制御データを複数のデータパケットへと区分化するように構成されており；
    前記データパケットを前記の複数のオーディオパケットへとインターリーブするように構成されており；かつ、
    前記オーディオパケットおよび前記データパケットを、前記の少なくとも１つの着用可能なハプティックデバイスへの送信のために前記無線トランシーバーへと提供するように構成されている、
    請求項１１に記載のエンターテインメントシステム。
  13. 前記の少なくとも１つのハプティックデバイスがさらに：
    前記の少なくとも１つの着用可能なハプティックデバイスによって検出される動きと関連付けられるデータを取得するように構成されており、かつ、
    前記データを前記電子制御ユニットへと無線で送信するように構成されている、
    請求項１０に記載のエンターテインメントシステム。
  14. 前記の少なくとも１つの着用可能なハプティックデバイスが、第１のハプティックトランスデューサーを有する第１の履物デバイスと、第２のハプティックトランスデューサー
    を有する第２の履物デバイスとを含んでいる、請求項１０に記載のエンターテインメントシステム。
  15. 前記の複数のオーディオパケットが、前記履物デバイスのそれぞれへと無線で送信される、請求項１４に記載のエンターテインメントシステム。
  16. 前記の少なくとも１つの着用可能なハプティックデバイスが、前記電子制御ユニットから前記オーディオパケットを受け取るための無線トランシーバーを含んでいる、請求項１０に記載のエンターテインメントシステム。
  17. 前記電子制御ユニットの前記無線トランシーバーと前記の少なくとも１つの着用可能なハプティックデバイスの前記無線トランシーバーとが、ブルートゥーストランシーバーである、請求項１６に記載のエンターテインメントシステム。
  18. 前記の少なくとも１つのハプティックデバイスが、前記電子制御ユニットから受け取られる各オーディオパケットについて、前記の受け取られるオーディオパケットに含まれる前記のプレイすべき時間と前記の少なくとも１つの着用可能なハプティックデバイスに含まれる内部クロックによって提供される現在のプレイ時間とに基づく新たなプレイすべき時間値を計算するように構成されている、請求項１０に記載のエンターテインメントシステム。
  19. オーディオストリームの送達を前記オーディオストリーム由来のハプティック信号の送達と同期させる方法であって、当該方法は：
    近距離無線通信用に構成された無線トランシーバーを用いて、少なくとも１つの着用可能なハプティックデバイスとの無線接続を確立することを有し；
    オーディオ入力デバイスを介して外部オーディオソースからオーディオストリームを受け取ることを有し；
    前記オーディオストリームを、バッファーおよびオーディオ出力デバイスを有するオーディオ経路と、前記無線トランシーバーおよびプロセッサーに連結されたハプティック経路との間で分割することを有し；
    前記プロセッサーを用いて、前記の少なくとも１つの着用可能なハプティックデバイスへの前記無線トランシーバーによる前記オーディオストリームの送信と関連付けられるレイテンシの量を計算することを有し；
    前記プロセッサーを用いて、前記ハプティック経路の前記オーディオストリームを複数のオーディオパケットへと区分化することを有し、各オーディオパケットは、前記の計算されたレイテンシの量に基づくプレイすべき時間を含んでおり；
    前記バッファーを用いて、時間遅延を前記オーディオ経路の前記オーディオストリームへと挿入することを有し、前記時間遅延は、前記の計算されたレイテンシの量に基づいており；
    前記の時間遅延したオーディオストリームを、前記オーディオ出力デバイスに連結された外部オーディオリスニングデバイスへの送達のために前記オーディオ出力デバイスへと提供することを有し；かつ、
    前記無線トランシーバーを介して、前記の複数のオーディオパケットを前記の少なくとも１つの着用可能なハプティックデバイスへと送信することを有する、
    前記方法。
  20. さらに：
    データポートを介して、外部データソースから制御データを受け取ることを有し；
    前記プロセッサーを用いて、前記制御データを複数のデータパケットへと区分化することを有し；
    前記プロセッサーを用いて、前記データパケットを前記の複数のオーディオパケットへとインターリーブすることを有し；かつ、
    前記オーディオパケットおよび前記データパケットを、前記の少なくとも１つの着用可能なハプティックデバイスへの送信のために前記無線トランシーバーへと提供することを有する、
    請求項１９に記載の方法。
  21. オーディオストリームおよび前記オーディオストリーム由来のハプティック信号の同時送達を容易にする方法であって、当該方法は：
    近距離無線通信用に構成された無線トランシーバーを用いて、電子制御ユニットとの無線接続を確立することを有し；
    前記無線トランシーバーを介して、前記電子制御ユニットから複数のオーディオパケットを受け取ることを有し；
    各オーディオパケットについて、プロセッサーを用いて、前記オーディオパケットに含まれるプレイすべき時間を引き出すことを有し；
    内部クロックから現在のプレイ時間を引き出すことを有し；
    各オーディオパケットについて、前記オーディオパケットに含まれる前記のプレイすべき時間と前記の現在のプレイ時間とに基づく新たなプレイすべき時間値を計算することを有し；かつ、
    各オーディオパケットを、前記オーディオパケットをハプティック信号へと変換するための１つ以上のハプティックトランスデューサーへと提供することを有し、前記ハプティック信号は、対応する新たなプレイすべき時間値にしたがって前記の１つ以上のハプティックトランスデューサーによって出力される、
    前記方法。
  22. さらに：
    前記無線トランシーバーを介して、前記の複数のオーディオパケットとともに複数のデータパケットを受け取ることを有し、前記データパケットは、前記の１つ以上のハプティックトランスデューサーの作動を制御するための制御データを含んでおり；かつ、
    前記プロセッサーを用いて、前記パケットに含まれるパケット識別子に基づいて、それぞれの受け取られたパケットがオーディオパケットであるか、またはデータパケットであるかを判定することを有する、
    請求項２１に記載の方法。
  23. 前記の１つ以上のハプティックトランスデューサーが、第１のハプティックトランスデューサーと第２のハプティックトランスデューサーとを含んでおり、かつ、当該方法がさらに、各データパケットを提供して、前記データパケットに含まれるヘッダー情報に基づいて前記の第１のハプティックトランスデューサーおよび前記の第２のハプティックトランスデューサーのうちの１つを選択することを有する、請求項２１に記載の方法。
  24. さらに：
    前記の１つ以上のハプティックトランスデューサーによって検出された動きと関連付けられるデータを取得することを有し；かつ、
    前記無線トランシーバーを用いて、前記データを前記電子制御ユニットへと送信することを有する、
    請求項２１に記載の方法。
JP2019515466A 2016-09-14 2017-09-14 同期化を伴うマルチデバイスオーディオストリーミングシステム Pending JP2020502607A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662394707P 2016-09-14 2016-09-14
US62/394,707 2016-09-14
PCT/US2017/051607 WO2018053159A1 (en) 2016-09-14 2017-09-14 Multi-device audio streaming system with synchronization

Publications (1)

Publication Number Publication Date
JP2020502607A true JP2020502607A (ja) 2020-01-23

Family

ID=61619699

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019515466A Pending JP2020502607A (ja) 2016-09-14 2017-09-14 同期化を伴うマルチデバイスオーディオストリーミングシステム

Country Status (5)

Country Link
US (1) US11848972B2 (ja)
JP (1) JP2020502607A (ja)
KR (1) KR20190079613A (ja)
CN (1) CN110035808A (ja)
WO (1) WO2018053159A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11848972B2 (en) 2016-09-14 2023-12-19 Haptech Holdings, Inc. Multi-device audio streaming system with synchronization
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
US11303689B2 (en) * 2017-06-06 2022-04-12 Nokia Technologies Oy Method and apparatus for updating streamed content
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US11282546B2 (en) * 2018-03-01 2022-03-22 Sony Group Corporation Dynamic lip-sync compensation for truly wireless bluetooth devices
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US11176956B2 (en) 2018-03-28 2021-11-16 Qualcomm Incorproated Application directed latency control for wireless audio streaming
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11092979B2 (en) * 2018-05-11 2021-08-17 Northwestern University Introduction of olfactory cues into a virtual reality system
US10917180B2 (en) * 2018-07-24 2021-02-09 Comcast Cable Communications, Llc Controlling vibration output from a computing device
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
WO2020107466A1 (zh) * 2018-11-30 2020-06-04 华为技术有限公司 一种点对多点的数据传输方法及设备
US20220039041A1 (en) * 2018-12-07 2022-02-03 Huawei Technologies Co., Ltd. Point-to-Multipoint Data Transmission Method and Electronic Device
WO2020124363A1 (en) * 2018-12-18 2020-06-25 Intel Corporation Display-based audio splitting in media environments
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
JP7085145B2 (ja) * 2019-02-15 2022-06-16 日本電信電話株式会社 映像音声提示装置、映像音声提示方法、プログラム
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US20200313529A1 (en) 2019-03-29 2020-10-01 Cirrus Logic International Semiconductor Ltd. Methods and systems for estimating transducer parameters
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US12035445B2 (en) 2019-03-29 2024-07-09 Cirrus Logic Inc. Resonant tracking of an electromagnetic load
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
CN110086941B (zh) * 2019-04-30 2021-03-26 Oppo广东移动通信有限公司 语音播放方法、装置及终端设备
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
GB2604215B (en) 2019-06-21 2024-01-31 Cirrus Logic Int Semiconductor Ltd A method and apparatus for configuring a plurality of virtual buttons on a device
US11517815B2 (en) 2019-08-19 2022-12-06 Cirrus Logic, Inc. System and method for use in haptic signal generation
WO2021042287A1 (zh) * 2019-09-04 2021-03-11 深圳市汇顶科技股份有限公司 数据同步方法、装置、设备、系统及存储介质
US20210110841A1 (en) * 2019-10-14 2021-04-15 Lofelt Gmbh System and method for transforming authored haptic data to fit into haptic bandwidth
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
KR102310360B1 (ko) * 2020-01-20 2021-10-08 (주)뮤직몹 재생 데이터의 싱크 처리시스템
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
CN113645177A (zh) * 2020-05-11 2021-11-12 同响科技股份有限公司 可靠传输网络中维持实时音讯串流播放延迟的方法及系统
CN111885555B (zh) * 2020-06-08 2022-05-20 广州安凯微电子股份有限公司 一种基于监听方案的tws耳机及其实现方法
CN116250243A (zh) * 2020-10-16 2023-06-09 三星电子株式会社 用于控制无线音频输出装置的连接的方法和设备
CN114974321B (zh) * 2021-02-27 2023-11-03 华为技术有限公司 一种音频播放方法、设备及系统
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US20240267676A1 (en) * 2021-06-22 2024-08-08 Eagle Acoustics Manufacturing, Llc Device for easily adding a portable speaker to an existing automobile sound system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths
WO2024040571A1 (en) * 2022-08-26 2024-02-29 Qualcomm Incorporated Delay optimization for multiple audio streams

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090007458A1 (en) * 2007-06-18 2009-01-08 Brock Seiler Vibrating footwear device and entertainment system for use therewith
US20090156266A1 (en) * 2005-10-27 2009-06-18 Jukka Linjama Vibration Motor as a Transducer of Audio
JP2009188674A (ja) * 2008-02-05 2009-08-20 Fujitsu Ltd 送信装置、受信装置、動画音声伝送品質評価方法および動画音声伝送品質評価プログラム
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
JP2013541264A (ja) * 2010-09-01 2013-11-07 ウージャー リミテッド パーソナルメディア再生システム
JP2014179984A (ja) * 2013-03-14 2014-09-25 Immersion Corp グループイベント時のハプティック効果のブロードキャスト
US20150061846A1 (en) * 2012-04-19 2015-03-05 Nokia Corporation Display apparatus
US9319792B1 (en) * 2014-03-17 2016-04-19 Amazon Technologies, Inc. Audio capture and remote output

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7039690B2 (en) * 2001-08-01 2006-05-02 Lucent Technologies Inc. System and method for accessing registers of PHY device in network
GB0322489D0 (en) * 2003-09-25 2003-10-29 British Telecomm Haptics transmission systems
KR100906319B1 (ko) 2003-12-08 2009-07-06 퀄컴 인코포레이티드 링크 동기화를 갖는 고 데이터 레이트 인터페이스
WO2006130559A2 (en) * 2005-05-28 2006-12-07 George Whitwell Wearable tactile subwoofer and its use
JP5156013B2 (ja) 2006-07-10 2013-03-06 アクセンチュア グローバル サービスィズ ゲーエムベーハー フィードバックを提供するための移動パーソナルサービスプラットフォーム
RU2009115691A (ru) * 2006-09-25 2010-11-10 Конинклейке Филипс Электроникс Н.В. (Nl) Способы и системы медицинского сканирования с тактильной обратной связью
US8520866B2 (en) * 2006-12-15 2013-08-27 Nokia Corporation Apparatus, method, and computer program product providing sound-produced tactile feedback
JP5351763B2 (ja) * 2007-10-19 2013-11-27 パナソニック株式会社 オーディオミキシング装置
WO2010118313A1 (en) * 2009-04-10 2010-10-14 Immerz Inc. Systems and methods for acousto-haptic speakers
CN102024481B (zh) * 2009-09-14 2013-01-09 展讯通信（上海）有限公司 从音频文件提取振动信息的方法、装置以及振动装置
FR2974655B1 (fr) 2011-04-26 2013-12-20 Parrot Combine audio micro/casque comprenant des moyens de debruitage d'un signal de parole proche, notamment pour un systeme de telephonie "mains libres".
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9501946B1 (en) * 2013-12-17 2016-11-22 University Of South Florida Systems and methods for stable haptic feedback over packet-switched networks
JP6384119B2 (ja) * 2014-05-15 2018-09-05 ソニー株式会社 受信装置、および送信装置、並びにデータ処理方法
US9491517B2 (en) * 2015-03-03 2016-11-08 Google Inc. Systems and methods for broadcast audience interaction and participation
CN107710770B (zh) * 2015-09-28 2021-02-09 谷歌有限责任公司 用于时间同步的多区域媒体流式传输的系统和方法
CN107211207A (zh) * 2015-12-08 2017-09-26 华为技术有限公司 用户设备和驱动用户设备中的扬声器的方法
US10235848B2 (en) * 2015-12-09 2019-03-19 Immersion Corporation Public network transmission of haptic effect signals
US10719291B2 (en) * 2016-08-31 2020-07-21 Arris Enterprises Llc Simultaneous output of multiple audio tracks
US11848972B2 (en) 2016-09-14 2023-12-19 Haptech Holdings, Inc. Multi-device audio streaming system with synchronization

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090156266A1 (en) * 2005-10-27 2009-06-18 Jukka Linjama Vibration Motor as a Transducer of Audio
US20090007458A1 (en) * 2007-06-18 2009-01-08 Brock Seiler Vibrating footwear device and entertainment system for use therewith
JP2010532181A (ja) * 2007-06-18 2010-10-07 サイラー・ブロック 振動履物装置及び振動履物装置と共に使用するエンタテインメントシステム
JP2009188674A (ja) * 2008-02-05 2009-08-20 Fujitsu Ltd 送信装置、受信装置、動画音声伝送品質評価方法および動画音声伝送品質評価プログラム
US20130038792A1 (en) * 2008-10-10 2013-02-14 Internet Services, Llc System and method for synchronization of haptic data and media data
JP2013541264A (ja) * 2010-09-01 2013-11-07 ウージャー リミテッド パーソナルメディア再生システム
US20150061846A1 (en) * 2012-04-19 2015-03-05 Nokia Corporation Display apparatus
JP2014179984A (ja) * 2013-03-14 2014-09-25 Immersion Corp グループイベント時のハプティック効果のブロードキャスト
US9319792B1 (en) * 2014-03-17 2016-04-19 Amazon Technologies, Inc. Audio capture and remote output

Also Published As

Publication number Publication date
WO2018053159A1 (en) 2018-03-22
US11848972B2 (en) 2023-12-19
KR20190079613A (ko) 2019-07-05
CN110035808A (zh) 2019-07-19
US20190215349A1 (en) 2019-07-11

Similar Documents

Publication Publication Date Title
US11848972B2 (en) Multi-device audio streaming system with synchronization
AU2021250896A1 (en) Mixed reality system with spatialized audio
US20180123813A1 (en) Augmented Reality Conferencing System and Method
JP6509116B2 (ja) オーディオ転送デバイス及び対応する方法
US9712910B2 (en) Glasses apparatus and method for controlling glasses apparatus, audio apparatus and method for providing audio signal and display apparatus
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
CN108353239A (zh) 无线音频同步
CN108141696A (zh) 用于空间音频调节的系统和方法
JP5957760B2 (ja) 映像音声処理装置
JP6243595B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
US9837093B2 (en) Packet based delivery of multi-channel audio over wireless links
RU2015156224A (ru) Системы и способы уменьшения транзитных участков, связанных с нашлемной системой
CN101263735A (zh) 用于同步音频数据处理的音频数据处理设备和方法
US10587954B2 (en) Packet based delivery of multi-channel audio over wireless links
KR20160146551A (ko) 방송 햅틱 아키텍처
JP6055651B2 (ja) 情報処理システム、情報処理プログラム、情報処理制御方法、および情報処理装置
US11806621B2 (en) Gaming with earpiece 3D audio
US20230075802A1 (en) Capturing and synchronizing data from multiple sensors
WO2018105552A1 (ja) 音声制御装置、音声制御方法及びプログラム
TW201246174A (en) Video-audio playing system relating to 2-views application and method thereof
CN106454474B (zh) 多媒体同步播放方法、装置及系统
WO2020174925A1 (ja) 二人のユーザの同時アクションにより音声を制御する情報処理装置
WO2021261085A1 (ja) 情報処理装置、情報処理方法、プログラム、収録再生システム
CN104717522A (zh) 一种多视频设备同步一个音频设备进行播放的系统及方法
TW202414191A (zh) 使用單個音訊設備的空間音訊

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200901

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211104

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220104

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220405