JP2019050558A - 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング - Google Patents

非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング Download PDF

Info

Publication number
JP2019050558A
JP2019050558A JP2018153473A JP2018153473A JP2019050558A JP 2019050558 A JP2019050558 A JP 2019050558A JP 2018153473 A JP2018153473 A JP 2018153473A JP 2018153473 A JP2018153473 A JP 2018153473A JP 2019050558 A JP2019050558 A JP 2019050558A
Authority
JP
Japan
Prior art keywords
haptic
headphone system
audio data
audio
enabled headphone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018153473A
Other languages
English (en)
Inventor
ファン・マニュエル・クルス−エルナンデス
Manuel Cruz-Hernandez Juan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of JP2019050558A publication Critical patent/JP2019050558A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00—Tactile signalling systems, e.g. personal calling systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Headphones And Earphones (AREA)

Abstract

【課題】非オーディオデータを用いたヘッドホン上でのハプティックのレンダリングを提供する。【解決手段】ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることは、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することと、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定されたハプティックエフェクトをレンダリングすることとを含む。【選択図】図１

Description

例示的な実施形態は、ハプティックをレンダリングすることを目的としており、より詳細には、ヘッドホン上で非オーディオデータを用いたハプティックをレンダリングすることを目的としている。
従来のヘッドホンシステムにおいては、ハプティックは、オーディオデータまたはオーディオデータに基づいた信号から生成されるハプティック信号に基づいてレンダリングされる。オーディオデータまたは信号は、スピーカなどのオーディオ出力デバイスから検出されるサウンドに一般的に由来する。
ある実施形態は、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成し、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定されたハプティックエフェクトをレンダリングすることによって、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする。
例示的な実施形態は、添付の図面と併用される以下の詳細な説明からより明確に理解されよう。図1〜3は、本明細書にて説明しているような非限定的で例示的な実施形態を表している。
例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。 別の例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。 例示的な実施形態による、ハプティック対応ヘッドホンシステムのブロック図である。
例示的な実施形態は、ハプティックをレンダリングすることを目的としており、より詳細には、ヘッドホン上で非オーディオデータを用いたハプティックをレンダリングすることを目的としている。
例示的な実施形態は、非オーディオデータまたは非オーディオデータに基づいた信号に基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することによって、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることを目的としている。
ハプティック信号をサウンドまたはオーディオデータ以外のデータから生成することによって、ヘッドホンシステムは、オーディオデータに由来するイベントに加えて、オーディオデータに由来していないイベントもハプティック処理することによって、個人により深い没入体験を提供している。
例えば、ビデオゲーム内でのレースカーの衝突がモバイルデバイスの視覚ディスプレイ上で個人に表示されると、ハプティック信号が、視覚ディスプレイ上に表示された衝突に基づいて、モバイルデバイスに接続されたハプティック対応ヘッドホンシステムによって生成される。その後、ハプティック対応ヘッドホンシステムは、衝突が視覚ディスプレイ上に表示される際に、個人に、ハプティック信号で指定されたハプティックエフェクト(例えば、振動)をレンダリングする。ハプティックエフェクトは、例えば、オーディオデータ内にはキャプチャされていないが視覚データまたはいくつかの他の形式のデータ内にキャプチャされている衝突中に、レースカー内のドライバの経験を反映し得る。
ハプティックとは、個人の触覚を使用して個人に対して、力、振動、およびモーションなどのハプティックフィードバックエフェクト(「ハプティックフィードバック」または「ハプティックエフェクト」としても知られている)を生成する触覚および力フィードバック技術である。ハプティックエフェクトは、離散的または連続的であり得る。ハプティック対応デバイスは、ハプティックエフェクトを適用するように構成される組み込みハードウェア(例えば、アクチュエータまたは他の出力機構)を含み得る。組み込みハードウェアは、一般的に、ハプティックエフェクトの特定のセットを適用(または再生)するようにプログラムされている。どのハプティックエフェクトが再生されるかを指定するハプティック信号がハプティック対応ヘッドホンシステム内の組み込みハードウェアによって受信されると、ハプティック対応ヘッドホンシステムは、指定されたハプティックエフェクトをレンダリングする。例えば、個人がハプティックイベントを経験する意図がある場合には、ハプティック対応ヘッドホンシステムの組み込みハードウェアは、制御回路を介して再生コマンドを受信する。その後、組み込みハードウェアは、適切なハプティックエフェクトを適用する。
図1は、例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。図1中のコンポーネントの一部またはすべてはまた、図3の要素のいずれかを実施するために使用され得る。
図1を参照すれば、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする処理は、110において、ヘッドホンシステム内の内部検出センサを使用して非オーディオイベントを検出するステップを含み得る。内部検出センサを使用して非オーディオイベントを検出するステップは、ヘッドホンシステムの内部検出センサに接続されている(または、通信する)データソースデバイスのユーザインターフェースまたはコントローラ(例えば、アイコン、物理または仮想ボタン、スライダまたは他のウィジェット)とのインタラクション(例えば、タッチ動作)を検出するステップを含み得る。
例示的な実施形態によれば、非オーディオイベントは、サウンドデータを有していないイベントである。非オーディオイベントは、個人のアクションとは無関係に発生し得る(例えば、アラート、アラーム、テキストメッセージ、または検出センサ、ここで、サウンドは生じないまたは生じることが意図されていない)。また、あるいは、非オーディオイベントは、個人のアクションに応答し得る(例えば、サウンドが生じないまたは生じることが意図されていない視覚イベントにおいて)。さらに、非オーディオイベントは、受動的な(または間接的な)個人/オブジェクトのインタラクションに応答し得る。例えば、仮想現実または拡張現実ベースのシステムにおける受動的なインタラクションおよびイベントが、ハプティック処理され得る、たとえば、アバターが真夏日に外で歩く場合に発生する輝度の変化が、熱ハプティックエフェクトによってハプティック処理され得る、または、アバター/オブジェクトの移動の結果として発生するイベント(草原を抜けて歩く際の草の葉の感触、雪の中を踏みしめる際の冷たさまたは湿度、アバターの肩に当たる木の枝、雨の感触、または雷による振動など)がハプティック処理され得る。あるいは、非オーディオイベントは、仮想現実または拡張現実ベースのシステムにおいて個人があるオブジェクトまたはアバターを操作している場合などの、個人/オブジェクトによる能動的(直接的)インタラクションに応答し得る。
非オーディオイベントは、リアルタイムに発生するイベント、遠隔で発生するイベント、仮想イベント、視覚(例えば、画像)、またはその組合せであり得る。例えば、非オーディオイベントは、仮想現実ベースのシステムまたは拡張現実ベースのシステムを介して発生し得る。別の例としては、非オーディオイベントは、スポーツイベントの放送中など、リアルタイムではあるが遠隔地で発生し得る。そのため、非オーディオイベントは、ゲーム中、スポーツイベントの放送中、手術中、または環境がユーザナビゲーションしている間に、発生し得る。
例示的な実施形態によれば、データソースデバイスは、モバイルデバイス(例えば、mp3、セルラ電話、タブレット、カメラなど)、表示デバイスの視覚ディスプレイ(例えば、テレビ、タブレットなど)、またはリモートセンシングデバイス(例えば、仮想現実または拡張現実ベースのシステム、医療機器、または検出センサなど)であり得る。データソースデバイスは、ヘッドホンシステムの内部または外部に存在し得る。
ハプティックのレンダリングは、120において、ヘッドホンシステムにおいて非オーディオイベントから非オーディオデータを生成するステップをさらに含み得る。非オーディオデータは、ヘッドホンシステム内の非オーディオデータジェネレータを使用して生成され得る。非オーディオデータは、サウンドデータ以外の任意の形式のデータ(例えば、センサデータ、視覚データなど)を含む。
非オーディオデータジェネレータは、ヘッドホンシステム内のアプリケーション処理インターフェース(「API」)または物理ベースのデータジェネレータであり得る。APIは、データソースデバイスおよび/または内部検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。例えば、ユーザがユーザインターフェース上でアイコン(アプリケーションに対応)をタッチすると、第1のAPIがユーザインターフェースとのユーザのインタラクションを検出し得るし、その後、第2のAPIがヘッドホン上にハプティックエフェクトの再生を作成し得る。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、または内部検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
ハプティックのレンダリングは、ハプティック信号ジェネレータを使用して、140において、ヘッドホンシステムにおいて非オーディオデータに基づいてハプティック信号を生成するステップを含む。
ハプティックのレンダリングは、150において、ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定された1つまたは複数のハプティックエフェクトをレンダリングするステップをさらに含む。
ハプティックのレンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、超音波表面摩擦ハプティックエフェクト、神経刺激、または電気刺激のうちの少なくとも1つをレンダリングするステップを含み得る。
図2は、別の例示的な実施形態による、非オーディオデータを用いてハプティックをレンダリングするフロー図である。図2中のコンポーネントの一部またはすべてはまた、図3の要素のいずれかを実施するために使用され得る。
図2を参照すれば、別の例示的な実施形態によるハプティックのレンダリングは、230において、ヘッドホンシステムの外部にあるデータソースデバイスにおいておよび/または外部検出センサにおいて非オーディオイベントから非オーディオデータを生成するステップを含み得る。例えば、非オーディオデータは、仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境の変化から導出されてもよい。
非オーディオデータを生成することは、非オーディオデータジェネレータを使用することを含み得る。非オーディオデータジェネレータは、データソースデバイス内にまたは別個のデバイス内にあり得る。非オーディオデータジェネレータを使用して非オーディオデータを生成するステップは、APIまたはヘッドホンシステム内の物理ベースのデータジェネレータを使用するステップを含み得る。APIは、データソースデバイスおよび/または外部検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、またはデータソースデバイスおよび/または外部検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
非オーディオデータジェネレータは、非オーディオデータをヘッドホンシステムに送信する。
ハプティックのレンダリングは、235において、非オーディオデータジェネレータからヘッドホンシステムにおいて非オーディオデータを受信するステップを含み得る。
ハプティックのレンダリングは、ハプティック信号ジェネレータを使用して、240において、非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成するステップを含む。
ハプティックのレンダリングは、250において、ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用してハプティック信号で指定された1つまたは複数のハプティックエフェクトをレンダリングするステップをさらに含む。
ハプティックのレンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、超音波表面摩擦ハプティックエフェクト、神経刺激、または電気刺激のうちの少なくとも1つをレンダリングするステップを含み得る。
図3は、例示的な実施形態による、ハプティック対応ヘッドホンシステムのブロック図である。
図3を参照すれば、例示的な実施形態によるハプティック対応ヘッドホンシステム310の内部には、非オーディオデータに基づいてヘッドホンシステム310上にハプティックエフェクトを生成するハプティックフィードバックシステムが存在する。一例示的な実施形態における非オーディオデータは、サウンド(例えば、視覚データ、センサデータなど)に由来しないデータである。
ヘッドホンシステム310のハプティックフィードバックシステムは、ヘッドホンセット311を含む。ヘッドホンセット311は、オーディオとともにハプティックエフェクトを提供して個人に対する没入体験を作成する。ヘッドホンセット311は、有線または無線接続を介してデータソースデバイス(例えばモバイル電話、仮想現実または拡張現実ベースのシステムなど)に電気的に接続され得る。
データソースデバイスは、個人にグラフィカル表現またはユーザインターフェースを表示するための発光ディスプレイ(「LED」)または液晶ディスプレイ(「LCD」)を有するデバイスであり得る。表示デバイスは、ハプティックフィードバックシステムのプロセッサまたはコントローラ312から信号を送受信するように構成されるタッチセンサ型入力デバイス(すなわち、タッチスクリーン)であり得るし、マルチタッチタッチスクリーンであり得る。
プロセッサ312は、メモリ320およびハプティック出力デバイス318に接続されている駆動回路316に接続されている。
プロセッサ312は、汎用プロセッサの任意のタイプであり得る、または、特定用途向け集積回路(「ASIC」)などのハプティックエフェクトを提供するように特に設計されたプロセッサであり得る。プロセッサ312は、全ヘッドホンシステム310を動作させる同一のプロセッサであり得る、または別個のプロセッサであり得る。プロセッサ312は、どのようなハプティックエフェクトを再生すべきか、高レベルパラメータに基づいてエフェクトを再生する順番を決定し得る。一般に、特定のハプティックエフェクトを定義する高レベルパラメータは、大きさ、周波数、および期間を含む。ストリーミングモータコマンドなどの低レベルパラメータはまた、特定のハプティックエフェクトを決定するために使用され得る。ハプティックエフェクトが、ハプティックエフェクトを生成する際のこれらのパラメータのいくつかの変形または個人のインタラクションに基づいたこれらのパラメータの変形を含む場合には、「動的」とみなし得る。
プロセッサ312は、ハプティック出力デバイス318に所要の電流および電圧(すなわち、「モータ信号」)を供給して所望のハプティックエフェクトが生成されるようにするために使用される電子コンポーネントおよび回路を含む、駆動回路316に制御信号を出力する。ヘッドホンシステム310は、複数のハプティック出力デバイス318を含み得るし、各ハプティック出力デバイス318は、別個の駆動回路316を含み得るし、そのすべてがプロセッサ312に接続されている。メモリデバイス320は、ランダムアクセスメモリ(「RAM」)もしくはリードオンリーメモリ(「ROM」)、フラッシュメモリ、ROM、消去可能プログラマブルリードオンリーメモリ(「EPROM」)、または電気的消去可能プログラマブルリードオンリーメモリ(「EEPROM」)といった、レジスタといった、リムーバブルディスク、磁気もしくは光学ディスクなどの静的ストレージといった、コンパクトディスクリードオンリーメモリ(「CD-ROM」)といった、または従来技術において周知の任意の他の形式のストレージメディアといった、任意のタイプの一時的または非一時的ストレージデバイスまたはコンピュータ可読媒体であり得る。
コンピュータ可読媒体は、プロセッサ312によってアクセスされ得る任意の利用可能な媒体であり得るし、揮発性および不揮発性双方のメディア、リムーバブルおよび非リムーバブルメディア、通信媒体、およびストレージメディアを含み得る。通信媒体は、搬送波もしくは他の伝送機構などの変調データ信号内にコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータを含み得るし、従来技術において周知の任意の他の形式の情報配信メディアを含み得る。
メモリデバイス320は、オペレーティングシステム命令などの、プロセッサ312によって実行される命令を記憶する。その命令のうち、メモリデバイス320は、非オーディオデータおよび本明細書に開示のすべての他の機能性に基づいてハプティック信号を生成するハプティック信号ジェネレータ322を含む。ハプティック信号は、ヘッドホンシステム310上にレンダリングされることになるハプティックエフェクトを指定する。メモリデバイス320はまた、プロセッサ312または内部および外部メモリの任意の組合せの内部に位置し得る。
メモリデバイス320は、非オーディオイベントから非オーディオデータを生成する非オーディオデータジェネレータ324を含み得る。非オーディオデータジェネレータ324は、APIまたは物理ベースのデータジェネレータであり得る。APIは、データソースデバイスおよび/または検出センサ内のリソース(例えば、ユーザインターフェース、グラフィックユーザインターフェースなど)の利用を制御または行うことによって、非オーディオデータを生成する。物理ベースのデータジェネレータは、シミュレーションしたエフェクト、またはデータソースデバイスおよび/または検出センサによって検出された非オーディオイベントによってトリガされてリアルタイム生成したエフェクトに基づいて非オーディオデータを生成する。
非オーディオイベントは、任意の対応するサウンドデータを有していないイベントである。例えば、非オーディオイベントは、サウンドが生じない、視覚キュー、アラート、アラーム、テキストメッセージ、またはセンサにおいて、発生し得る。
非オーディオイベントは、リアルタイムに発生するイベント、遠隔で発生するイベント、仮想イベント、視覚(例えば、画像)、またはその組合せであり得る。例えば、非オーディオイベントは、仮想現実ベースのシステムまたは拡張現実ベースのシステムを介して発生し得る。別の例としては、非オーディオイベントは、スポーツイベントの放送中など、リアルタイムではあるが遠隔地で発生し得る。そのため、非オーディオイベントは、ゲーム中、スポーツイベントの放送中、手術中、または環境がユーザナビゲーションしている間に、発生し得る。
代替の例示的な実施形態においては、非オーディオデータは、データソースデバイスからヘッドホンシステム310において受信され得る。例えば、非オーディオデータは、仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成され得るし、その後、非オーディオデータは、ヘッドホンシステム310のプロセッサ312に送信され得る。
例示的な実施形態によれば、データソースデバイスは、モバイルデバイス(例えば、mp3、セルラ電話、タブレット、カメラなど)、表示デバイスの視覚ディスプレイ(例えば、テレビ、タブレットなど)、またはリモートセンシングデバイス(例えば、仮想現実または拡張現実ベースのシステム、医療機器、検出センサなど)であり得る。データソースデバイスは、ヘッドホンシステムの内部または外部に存在し得る。
視覚キューから生成された非オーディオデータは、視覚-ハプティック変換アルゴリズムを使用してハプティック信号ジェネレータ322によってハプティック処理され得る。例えば、米国特許第9,368,005号に開示されているようなビデオ-ハプティック変換アルゴリズムを使用してもよい。例示的な実施形態によれば、キュー全体というより視覚キューのある一部のみがハプティック処理され得る。したがって、例示的な実施形態は、これら視覚キューの一部が改善されたハプティック信号を提供するように構成されるハプティック変換アルゴリズムを使用し得る。
ハプティック出力デバイス318は、ハプティック信号で指定されたハプティックエフェクトを生成する任意のタイプのデバイスであり得るし、ヘッドホンセット311の任意の領域に物理的に位置し、個人の肉体の所望の領域に所望のハプティックエフェクトを作成することが可能とし得る。いくつかの例示的な実施形態においては、ヘッドホンシステム310は、10個または100個さえものハプティック出力デバイス318を含み、ハプティック出力デバイス318は、個人の肉体の一般的にどのエリアでもハプティックエフェクを生成することを可能にし、任意のタイプのハプティックエフェクトを生成することを可能にする、異なるタイプのものであり得る。
例示的な実施形態においては、ハプティック出力デバイス318は、振動触覚または振動ハプティックエフェクトを生成するアクチュエータであり得る。本目的に対して使用されるアクチュエータは、偏心質量がモータによって移動されるEccentric Rotating Mass(「ERM」)などの電磁気アクチュエータ、バネに取り付けられた質量が前後に駆動されるLinear Resonant Actuator(「LRA」)、または圧電、電気活性ポリマーもしくは形状記憶合金などの「スマートマテリアル」を含み得る。ハプティック出力デバイス318はまた、静電摩擦(「ESF」)デバイスもしくは超音波表面摩擦(「USF」)デバイスなどのデバイス、または超音波ハプティックトランスデューサを用いて音響放射圧を誘導するデバイスであり得る。他のデバイスは、ハプティック回路基板および可撓性のあるまたは変形可能な表面を使用し得るし、デバイスは、エアジェットなどを使用した一陣のエアなどの投射型ハプティック出力を提供し得る。ハプティック出力デバイス318は、熱ハプティックエフェクト(例えば、加温または冷却)、神経刺激または電気刺激を提供するデバイスでさらにあり得る。
ハプティック出力デバイス318は、ヘッドホンセット311のスピーカ内に位置してもよい。スピーカは、ヘッドホンセット311の左側および/または右側にあってもよい。スピーカ内のハプティック出力デバイス318によってレンダリングされるハプティックエフェクトは、ステレオサウンドを構築する方式と空間的に類似し得る。あるいは、ハプティックエフェクトは、2つのスピーカのうちの1つにレンダリングしてもよい。ヘッドホンシステム310が仮想現実または拡張現実ベースのシステムに接続して使用される場合には、個人の視覚の範囲の左に落ちたオブジェクトは、左のスピーカのみで再生されるハプティックエフェクトでハプティック処理され得る。別の例としては、仮想現実または拡張現実ベースのシステム内で、ユーザの前方で左から右に移動する車は、左のスピーカから始まって左右両方のスピーカに遷移して右のスピーカで終了するハプティックエフェクトでハプティック処理され得る。
例示的な実施形態においては、すべてのハプティックエフェクトは、ヘッドホンセット311のスピーカを介して直接レンダリングされ得る。
ヘッドホンシステム310は、プロセッサ312に接続されているセンサ328をさらに含む。センサ328は、非オーディオイベント(例えば、ビデオゲームイベント、アラート、アラーム、電話の呼び出し、テキストメッセージ、物理プロパティ、エネルギーなど)を検出するために使用され得る。センサ328は、データソースデバイスのユーザインターフェースまたはコントローラとのインタラクションを検出することによって、非オーディオイベントを検出するために使用され得る。センサ328は、ヘッドホンシステム310の内部または外部に存在し得る。例えば、ヘッドホンシステム310の外部にあるセンサ328は、ヘッドホンシステムに接続または通信し得るし、データソースデバイス内にあり得る。
センサ328は、これらに限定されないが、移動、加速度、生理学的信号、距離、流量、力/圧力/歪み/曲げ、湿度、線形位置、方向/傾斜、無線周波数、回転位置、回転速度、スイッチの操作、温度、振動、または可視光強度などのある形式のエネルギーまたは他の物理プロパティを検出するように構成され得る。センサ328は、検出したエネルギーまたは他の物理プロパティを電気信号または仮想センサ情報を表す任意の信号に変換するようにさらに構成され得る。センサ328は、これらに限定されないが、加速度計、心電図、脳電図、筋電計、眼電図、電子口蓋図、電気皮膚反応センサ、電気容量センサ、ホール効果センサ、赤外線センサ、超音波センサ、圧力センサ、光ファイバセンサ、歪みセンサ(または屈曲センサ)、力感知抵抗、付加セル、LuSense CPS2 155、小型圧力トランスデューサ、圧電センサ、歪みゲージ、湿度計、線形位置タッチセンサ、線形ポテンショメータ(またはスライダ)、線形可変差動変圧器、コンパス、傾斜計、磁気タグ(または無線周波数識別タグ)、回転エンコーダ、回転式ポテンショメータ、ジャイロスコープ、オンオフスイッチ、温度センサ(サーモメータ、熱電対、抵抗温度検出器、サーミスタ、または温度変換集積回路など)、光度計、高度計、生物学的モニタ、カメラ、または光依存性抵抗などの任意のデバイスであり得る。
センサ328は、個人がランニングしている場合およびヘッドホンシステム310が個人に身に着けているバッグやポケット内にある場合のヘッドホンシステム310の加速度の検出などといった、ヘッドホンシステム310周辺の環境をセンシングし得る。検出された加速度は、速度/テンポを決定するために使用され、より速い/より遅い速度を示すハプティックフィードバックの形式で、例えば、仮想訓練器内で、個人に伝達される。
センサ328は、どれくらい個人またはデバイスがウォールポストまたは別の個人に近接しているかを検出し、潜在的な衝突を警告するためにセンサデータを提供する、近接センサであり得る。
代替の例示的な実施形態においては、センサ328は、ヘッドホンシステム310内に、またはデバイスの上またはモノのインターネット(「IoT」)セットアップにおいて見られるような個人が身に着けている衣服の上などのヘッドホンシステム310の外部にあり得る、ここで、個人によって身に着けられているヘッドホンセット311は、衝突が差し迫っていることをウォールポストまたは別の個人から通信/メッセージを受信し、潜在的な衝突を警告するためにセンサデータをヘッドホンシステム310に提供する。前記IoTセットアップでは、すべてのコンピューティングデバイスが接続(または、ネットワーク化)されており、ウォールポストがインテリジェントであると仮定する。
ヘッドホンシステム310は、ヘッドホンシステム310がインターネット/クラウド350上で通信することを可能にする通信インターフェース325をさらに含む。インターネット/クラウド350は、ヘッドホンシステム310のためのリモートストレージおよびプロセッシングを提供し、ヘッドホンシステム310が同様または異なるタイプのデバイスと通信することを可能にし得る。さらに、本明細書に記載の処理の機能性のいずれもが、ヘッドホンシステム310からプロセッサ/コントローラリモートによって行われ、通信インターフェース325を介して通信され得る。
代替の例示的な実施形態においては、通信インターフェース325は、赤外線のための無線ネットワーク通信、無線、Wi-Fi、またはセルラネットワーク通信を提供するネットワークインターフェースカードであり得る。あるいは、通信インターフェース325は、有線ネットワーク接続(例えば、ケーブル/Ethernet/光ファイバ接続、またはモデム)を提供し得る。
例示的な実施形態によれば、ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングすることは、非オーディオデータまたは非オーディオデータに基づいた信号に基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することを含む。
例示的な実施形態は、オーディオデータに由来するイベントに加えて、オーディオデータに由来していないイベントもハプティック処理することによって、個人により深い没入体験を提供するハプティック対応ヘッドホンシステムを目的としている。
前述のことは、様々な例示的な実施形態の一例に過ぎず、限定するものとして解釈すべきではない。それゆえ、そのような変更のすべては、特許請求の範囲に定義されているように、開示の範囲内に含まれることを意図している。
310 ハプティック対応ヘッドホンシステム
311 ヘッドホンセット
312 プロセッサ
316 駆動回路
318 ハプティック出力デバイス
320 メモリ
322 ハプティック信号ジェネレータ
324 非オーディオデータジェネレータ
325 通信インターフェース
328 センサ
350 クラウド

Claims (20)

  1. ハプティック対応ヘッドホンシステムにおいてハプティックをレンダリングする方法であって、
    非オーディオデータに基づいて前記ハプティック対応ヘッドホンシステムにおけるハプティック信号を生成するステップと、
    前記ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用して前記ハプティック信号で指定されたハプティックエフェクトをレンダリングするステップと
    を含む、方法。
  2. 前記非オーディオデータを前記ハプティック対応ヘッドホンシステムにおける非オーディオイベントから生成するステップをさらに含む、請求項1に記載の方法。
  3. 前記非オーディオデータは、前記ハプティック対応ヘッドホンシステム内のアプリケーション処理インターフェース(API)または物理ベースのデータジェネレータを使用して生成される、請求項2に記載の方法。
  4. 前記ハプティック対応ヘッドホンシステム内の検出センサを使用して前記非オーディオイベントを検出するステップをさらに含む、請求項2に記載の方法。
  5. 前記センサを使用して前記非オーディオイベントを検出するステップは、ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出するステップであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、ステップを含む、請求項4に記載の方法。
  6. 前記非オーディオデータを仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成するステップをさらに含む、請求項1に記載の方法。
  7. データソースデバイスから前記ハプティック対応ヘッドホンシステムにおいて前記非オーディオデータを受信するステップであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの外部にある、ステップをさらに含む、請求項1に記載の方法。
  8. アプリケーション処理インターフェース(API)または前記データソースデバイス内の物理ベースのデータジェネレータを使用して前記非オーディオデータを生成するステップをさらに含む、請求項7に記載の方法。
  9. 前記データソースデバイスは、モバイルデバイス、視覚ディスプレイ、またはリモートセンシングデバイスである、請求項7に記載の方法。
  10. 前記ハプティックエフェクトの前記レンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、または超音波表面摩擦ハプティックエフェクトをレンダリングすることを含む、請求項1に記載の方法。
  11. ハプティック対応ヘッドホンシステムであって、
    非オーディオデータに基づいて前記ハプティック対応ヘッドホンシステムにおけるハプティック信号を生成する、ハプティック信号ジェネレータと、
    前記ハプティック信号で指定されたハプティックエフェクトをレンダリングする、ハプティック出力デバイスと
    を含む、ハプティック対応ヘッドホンシステム。
  12. 前記ハプティック出力デバイスは、振動デバイス、変形デバイス、熱デバイス、エアベースデバイス、静電摩擦デバイス、または超音波表面摩擦デバイスから選択された1つである、請求項11に記載のハプティック対応ヘッドホンシステム。
  13. 前記非オーディオデータを非オーディオイベントから生成する、非オーディオデータジェネレータをさらに含み、
    前記非オーディオデータジェネレータは、アプリケーション処理インターフェース(API)または物理ベースのデータジェネレータである、請求項11に記載のハプティック対応ヘッドホンシステム。
  14. ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出することによって前記非オーディオイベントを検出する、検出センサをさらに含み、
    前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、請求項13に記載のハプティック対応ヘッドホンシステム。
  15. 前記非オーディオデータは、データソースデバイスから前記ハプティック対応ヘッドホンシステムにおいて受信され、
    前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの外部にあり、モバイルデバイス、視覚ディスプレイ、またはリモートセンシングデバイスから選択された1つである、請求項11に記載のハプティック対応ヘッドホンシステム。
  16. 命令を記憶する非一時的コンピュータ可読媒体であって、プロセッサによって実行されると、前記命令は、前記プロセッサに、
    非オーディオデータに基づいてハプティック対応ヘッドホンシステムにおけるハプティック信号を生成することと、
    前記ハプティック対応ヘッドホンシステム内のハプティック出力デバイスを使用して前記ハプティック信号で指定されたハプティックエフェクトをレンダリングすることと
    を含む動作を行わせる、非一時的コンピュータ可読媒体。
  17. 前記プロセッサは、
    前記非オーディオデータを前記ハプティック対応ヘッドホンシステムにおける非オーディオイベントから生成することを含む前記動作をさらに行う、請求項16に記載の非一時的コンピュータ可読媒体。
  18. 前記プロセッサは、
    前記ハプティック対応ヘッドホンシステム内の検出センサを使用して前記非オーディオイベントを検出することを含む前記動作をさらに行い、
    前記センサを使用して前記非オーディオイベントを検出することは、ユーザインターフェースまたはデータソースデバイスのコントローラとのインタラクションを検出することであって、前記データソースデバイスは、前記ハプティック対応ヘッドホンシステムの内部または外部にある、ことを含む、請求項17に記載の非一時的コンピュータ可読媒体。
  19. 前記プロセッサは、
    前記非オーディオデータを仮想現実または拡張現実ベースのシステムにおけるインタラクションまたは環境変化に由来する非オーディオイベントから生成することを含む前記動作をさらに行う、請求項16に記載の非一時的コンピュータ可読媒体。
  20. 前記ハプティックエフェクトの前記レンダリングは、振動ハプティックエフェクト、変形ハプティックエフェクト、熱ハプティックエフェクト、エアベースハプティックエフェクト、静電摩擦ハプティックエフェクト、または超音波表面摩擦ハプティックエフェクトをレンダリングすることを含む、請求項16に記載の非一時的コンピュータ可読媒体。
JP2018153473A 2017-09-08 2018-08-17 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング Pending JP2019050558A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/699,310 US10477298B2 (en) 2017-09-08 2017-09-08 Rendering haptics on headphones with non-audio data
US15/699,310 2017-09-08

Publications (1)

Publication Number Publication Date
JP2019050558A true JP2019050558A (ja) 2019-03-28

Family

ID=63490173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018153473A Pending JP2019050558A (ja) 2017-09-08 2018-08-17 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング

Country Status (5)

Country Link
US (2) US10477298B2 (ja)
EP (1) EP3454179A1 (ja)
JP (1) JP2019050558A (ja)
KR (1) KR20190028280A (ja)
CN (1) CN109474863A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021136586A (ja) * 2020-02-27 2021-09-13 英治 山田 補聴器及びイヤフォン

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6665847B2 (ja) * 2017-11-07 2020-03-13 ヤマハ株式会社 センサー出力装置、音響出力装置および楽器
US11067687B2 (en) 2019-04-25 2021-07-20 Elwha, Llc Multipath acoustic holography and virtual haptics
US10916107B1 (en) * 2019-07-29 2021-02-09 Elwha Llc Time-domain and frequency-domain enhancements for acoustic haptography
SE1951188A1 (en) * 2019-10-21 2021-04-22 Zound Industries Int Ab User input element
US11553313B2 (en) 2020-07-02 2023-01-10 Hourglass Medical Llc Clench activated switch system
US11698678B2 (en) 2021-02-12 2023-07-11 Hourglass Medical Llc Clench-control accessory for head-worn devices
US11662804B2 (en) 2021-04-21 2023-05-30 Hourglass Medical Llc Voice blanking muscle movement controlled systems
TWI835246B (zh) * 2022-02-25 2024-03-11 英屬開曼群島商意騰科技股份有限公司 麥克風系統及波束成形方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239115A1 (en) * 2009-03-17 2010-09-23 Naturalpoint, Inc. Headset accessory device system
JP2013510350A (ja) * 2009-11-04 2013-03-21 イマージョン コーポレイション コマンドの触覚的確認のためのシステム及び方法
JP2015041385A (ja) * 2013-08-23 2015-03-02 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ スポーツイベントのハプティック可能な閲覧
US20160192060A1 (en) * 2014-12-31 2016-06-30 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
US20160377864A1 (en) * 2015-06-25 2016-12-29 Michael T. Moran Technologies for controlling vision correction of a wearable computing device
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ブロードキャスト用ハプティクスアーキテクチャ
KR101717291B1 (ko) * 2015-10-27 2017-03-17 (주)모비프렌 커맨드 반응형 진동 블루투스 헤드셋 및 이를 적용한 스마트기기용 게임 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US9948885B2 (en) 2003-12-12 2018-04-17 Kurzweil Technologies, Inc. Virtual encounters
US9370704B2 (en) 2006-08-21 2016-06-21 Pillar Vision, Inc. Trajectory detection and feedback system for tennis
WO2009092107A2 (en) 2008-01-17 2009-07-23 Articulate Technologies, Inc. Methods and devices for intraoral tactile feedback
US9370459B2 (en) 2009-06-19 2016-06-21 Andrew Mahoney System and method for alerting visually impaired users of nearby objects
US9251721B2 (en) 2010-04-09 2016-02-02 University Of Florida Research Foundation, Inc. Interactive mixed reality system and uses thereof
US9462262B1 (en) 2011-08-29 2016-10-04 Amazon Technologies, Inc. Augmented reality environment with environmental condition control
US10852093B2 (en) 2012-05-22 2020-12-01 Haptech, Inc. Methods and apparatuses for haptic systems
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
FR2999741B1 (fr) 2012-12-17 2015-02-06 Centre Nat Rech Scient Systeme haptique pour faire interagir sans contact au moins une partie du corps d'un utilisateur avec un environnement virtuel
US9367136B2 (en) 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US9811854B2 (en) 2013-07-02 2017-11-07 John A. Lucido 3-D immersion technology in a virtual store
DK3014394T3 (da) 2013-07-05 2022-07-11 Jacob A Rubin Helkrops-menneske-computer-grænseflade
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
WO2015107386A1 (en) 2014-01-15 2015-07-23 Sony Corporation Haptic notification on wearables
US10032345B2 (en) * 2014-04-02 2018-07-24 Immersion Corporation Wearable device with flexibly mounted haptic output device
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9710063B2 (en) * 2014-07-21 2017-07-18 Immersion Corporation Systems and methods for determining haptic effects for multi-touch input
CN106796451B (zh) 2014-07-28 2020-07-21 Ck高新材料有限公司 触觉信息提供模块
US9645646B2 (en) 2014-09-04 2017-05-09 Intel Corporation Three dimensional contextual feedback wristband device
US9645648B2 (en) * 2014-09-18 2017-05-09 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US9799177B2 (en) 2014-09-23 2017-10-24 Intel Corporation Apparatus and methods for haptic covert communication
US10166466B2 (en) 2014-12-11 2019-01-01 Elwha Llc Feedback for enhanced situational awareness
US9922518B2 (en) 2014-12-11 2018-03-20 Elwha Llc Notification of incoming projectiles
US9870718B2 (en) 2014-12-11 2018-01-16 Toyota Motor Engineering & Manufacturing North America, Inc. Imaging devices including spacing members and imaging devices including tactile feedback devices
US20160170508A1 (en) 2014-12-11 2016-06-16 Toyota Motor Engineering & Manufacturing North America, Inc. Tactile display devices
US10073516B2 (en) 2014-12-29 2018-09-11 Sony Interactive Entertainment Inc. Methods and systems for user interaction within virtual reality scene using head mounted display
US9746921B2 (en) 2014-12-31 2017-08-29 Sony Interactive Entertainment Inc. Signal generation and detector systems and methods for determining positions of fingers of a user
US9763628B2 (en) * 2014-12-31 2017-09-19 Immersion Corporation Systems and methods for providing enhanced haptic feedback
US9552707B1 (en) 2015-01-12 2017-01-24 Shantanu Bala Wearable device that indicates the passage of time as a tactile sensation moving across the surface of a person's skin
US9843744B2 (en) 2015-01-13 2017-12-12 Disney Enterprises, Inc. Audience interaction projection system
US10322203B2 (en) 2015-06-26 2019-06-18 Intel Corporation Air flow generation for scent output
US9918154B2 (en) 2015-07-30 2018-03-13 Skullcandy, Inc. Tactile vibration drivers for use in audio systems, and methods for operating same
US9851799B2 (en) 2015-09-25 2017-12-26 Oculus Vr, Llc Haptic surface with damping apparatus
US20170103574A1 (en) 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170131775A1 (en) 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
WO2017095951A1 (en) 2015-11-30 2017-06-08 Nike Innovate C.V. Apparel with ultrasonic position sensing and haptic feedback for activities
US10310804B2 (en) 2015-12-11 2019-06-04 Facebook Technologies, Llc Modifying haptic feedback provided to a user to account for changes in user perception of haptic feedback
US10324530B2 (en) 2015-12-14 2019-06-18 Facebook Technologies, Llc Haptic devices that simulate rigidity of virtual objects
US10096163B2 (en) 2015-12-22 2018-10-09 Intel Corporation Haptic augmented reality to reduce noxious stimuli
US10065124B2 (en) 2016-01-15 2018-09-04 Disney Enterprises, Inc. Interacting with a remote participant through control of the voice of a toy device
US9846971B2 (en) 2016-01-19 2017-12-19 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of a hilt to simulate a bladed weapon
US11351472B2 (en) 2016-01-19 2022-06-07 Disney Enterprises, Inc. Systems and methods for using a gyroscope to change the resistance of moving a virtual weapon
US10477006B2 (en) 2016-01-22 2019-11-12 Htc Corporation Method, virtual reality system, and computer-readable recording medium for real-world interaction in virtual reality environment
US9933851B2 (en) 2016-02-22 2018-04-03 Disney Enterprises, Inc. Systems and methods for interacting with virtual objects using sensory feedback
US10555153B2 (en) 2016-03-01 2020-02-04 Disney Enterprises, Inc. Systems and methods for making non-smart objects smart for internet of things
US20170352185A1 (en) 2016-06-02 2017-12-07 Dennis Rommel BONILLA ACEVEDO System and method for facilitating a vehicle-related virtual reality and/or augmented reality presentation
US10155159B2 (en) 2016-08-18 2018-12-18 Activision Publishing, Inc. Tactile feedback systems and methods for augmented reality and virtual reality systems
US20180053351A1 (en) 2016-08-19 2018-02-22 Intel Corporation Augmented reality experience enhancement method and apparatus
US10372213B2 (en) 2016-09-20 2019-08-06 Facebook Technologies, Llc Composite ribbon in a virtual reality device
US10779583B2 (en) 2016-09-20 2020-09-22 Facebook Technologies, Llc Actuated tendon pairs in a virtual reality device
US10300372B2 (en) 2016-09-30 2019-05-28 Disney Enterprises, Inc. Virtual blaster
US10281982B2 (en) 2016-10-17 2019-05-07 Facebook Technologies, Llc Inflatable actuators in virtual reality
US10088902B2 (en) 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
US20170102771A1 (en) 2016-12-12 2017-04-13 Leibs Technology Limited Wearable ultrasonic haptic feedback system

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100239115A1 (en) * 2009-03-17 2010-09-23 Naturalpoint, Inc. Headset accessory device system
JP2013510350A (ja) * 2009-11-04 2013-03-21 イマージョン コーポレイション コマンドの触覚的確認のためのシステム及び方法
JP2015041385A (ja) * 2013-08-23 2015-03-02 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ スポーツイベントのハプティック可能な閲覧
US20160192060A1 (en) * 2014-12-31 2016-06-30 Skullcandy, Inc. Methods of generating tactile user feedback utilizing headphone devices and related systems
WO2016136934A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム
JP2017005709A (ja) * 2015-06-12 2017-01-05 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ ブロードキャスト用ハプティクスアーキテクチャ
US20160377864A1 (en) * 2015-06-25 2016-12-29 Michael T. Moran Technologies for controlling vision correction of a wearable computing device
KR101717291B1 (ko) * 2015-10-27 2017-03-17 (주)모비프렌 커맨드 반응형 진동 블루투스 헤드셋 및 이를 적용한 스마트기기용 게임 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021136586A (ja) * 2020-02-27 2021-09-13 英治 山田 補聴器及びイヤフォン

Also Published As

Publication number Publication date
US20200128316A1 (en) 2020-04-23
CN109474863A (zh) 2019-03-15
EP3454179A1 (en) 2019-03-13
US11272283B2 (en) 2022-03-08
KR20190028280A (ko) 2019-03-18
US10477298B2 (en) 2019-11-12
US20190082250A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
JP2019050558A (ja) 非オーディオデータを用いたヘッドホン上でのハプティックのレンダリング
JP6568257B2 (ja) センサ入力を触覚的に表すためのシステム
US10720189B2 (en) Haptic effect generation for space-dependent content
US10466791B2 (en) Interactivity model for shared feedback on mobile devices
EP3588250A1 (en) Real-world haptic interactions for a virtual reality user
EP3364272A1 (en) Automatic localized haptics generation system
JP6494222B2 (ja) 自動遠隔検出およびハプティック変換システム
US8279193B1 (en) Interactivity model for shared feedback on mobile devices
EP3088996A1 (en) Systems and methods for tactile guidance
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
JP2019519856A (ja) マルチモーダルハプティック効果
KR20200075773A (ko) 사용자의 모션 또는 환경에 기초하여 햅틱 효과들을 제공하는 시스템들 및 방법들
WO2023042489A1 (ja) 触感生成装置、触感生成方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220801

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230220

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230919