JP2017509181A - ジェスチャ相互作用式の装着可能な空間オーディオシステム - Google Patents

ジェスチャ相互作用式の装着可能な空間オーディオシステム Download PDF

Info

Publication number
JP2017509181A
JP2017509181A JP2016543219A JP2016543219A JP2017509181A JP 2017509181 A JP2017509181 A JP 2017509181A JP 2016543219 A JP2016543219 A JP 2016543219A JP 2016543219 A JP2016543219 A JP 2016543219A JP 2017509181 A JP2017509181 A JP 2017509181A
Authority
JP
Japan
Prior art keywords
hand
audio
user
gesture
acoustic space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016543219A
Other languages
English (en)
Other versions
JP2017509181A5 (ja
JP6553052B2 (ja
Inventor
ティム コールマン，
ティム コールマン，
ステファン マルティ，
ステファン マルティ，
センソ， ダビデ ディ
センソ， ダビデ ディ
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド, ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2017509181A publication Critical patent/JP2017509181A/ja
Publication of JP2017509181A5 publication Critical patent/JP2017509181A5/ja
Application granted granted Critical
Publication of JP6553052B2 publication Critical patent/JP6553052B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146—Instrument input by gesture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)

Abstract

本発明の一実施形態はジェスチャに基づいてオーディオパラメータを修正する技術を示す。本技術は、ユーザの手と関連するセンサデータを取得し、センサデータを分析して少なくとも１つの手の位置を決定することを含む。本技術はさらに、少なくとも１つの手の位置に基づいて手のジェスチャを検出し、手のジェスチャに対応して、オーディオストリームに関連する空間オーディオパラメータを修正して、修正されたオーディオストリームを生成することを含む。本技術はさらに、修正されたオーディオストリームをユーザに出力するために再生させることを含む。【選択図】図６

Description

関連出願の相互参照
本願は、２０１４年１月３日に出願された米国仮特許出願第６１／９２３，５６０号（代理人整理番号ＨＲＭＮ／００７８ＵＳＬ）及び２０１４年１月３日に出願された、米国特許仮出願第６１／９２３，５７１号（代理人整理番号ＨＲＭＮ／００８０ＵＳＬ）の利益を主張する。本関連出願の主題は、参考として本明細書に組み込まれている。
本発明の実施形態の分野
本発明の実施形態は、一般に、音響信号処理に関し、より具体的には、ジェスチャ相互作用式の装着可能な空間オーディオシステムに関する。
関連技術
スマートフォン、携帯型メディアプレーヤ及びパーソナルコンピュータのような電子装置の使用は、日常生活のすべての面において、ますます普及しつつある。このような装置により、ストリーミングやダウンロード可能な音楽、映画、ポッドキャスト、テレビ番組等のような、オーディオ及びビデオコンテンツにユーザがアクセスし易くなる。さらに、このような装置は、ユーザが幅広い範囲の通信サービスへのアクセスすることを可能にし、その多くは、ユーザがその他のユーザと相互作用できるオーディオ及び／またはビデオのインターフェースを提供する。
電子装置のユーザがしばしば直面する問題は、電子装置が、その装置のユーザに、同時に多数のオーディオイベントを再生するときに起こる。例えば、同一装置上で多数のソフトウェアアプリケーションを操作するユーザは（例えば、マルチタスキング）、あるソフトウェアアプリケーションによって生成されるオーディオコンテンツと別のソフトウェアアプリケーションによって生成されるオーディオコンテンツとを区別することが困難な可能性がある。したがって、場合によっては、ユーザはどのソフトウェアアプリケーションと関連する音かわからない可能性があり、及び／またはユーザは多数のオーディオイベントが同時に起こることによって気が散ってしまい、ユーザが特定のソフトウェアアプリケーションと効果的に相互作用する能力を妨げ得る。この後者の場合を取り込んだ共通のユースケースは、別のソフトウェアアプリケーション（例えば、メディアプレーヤ）を操作するために同一の電子装置を使用している間に、ユーザが１人以上の人と、電子装置上で実行される通信サービスを介して話す時である。ユーザは会話中に、別のソフトウェアアプリケーションに関連した別のオーディオイベントが生成され再生されると、会話に注意を払うのが困難になり得る。
前述で示すように、ユーザが、異なるオーディオイベントをより効果的に聴取することを可能にする技術は有用であるだろう。
本発明の一実施形態はジェスチャに基づいてオーディオパラメータを修正する方法を示す。本方法は、ユーザの手と関連するセンサデータを取得し、センサデータを分析して少なくとも１つの手の位置を決定することを含む。本方法はさらに、少なくとも１つの手の位置に基づいて手のジェスチャを検出し、手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成することを含む。本方法はさらに、修正されたオーディオストリームをユーザに出力するために再生させることを含む。
さらなる実施形態は、とりわけ、上述の方法を実行するよう構成されたシステム及び非一時的なコンピュータ可読媒体を提供する。
有利には、この開示された技術はユーザが、オーディオイベントが音響空間内で再生される位置を修正することを可能にする。例えば、ユーザは直感的に、オーディオイベントと関連した仮想物体を把持し、仮想物体を仮想３次元音響空間内の所望の位置に再配置し得る。したがって、オーディオイベントは音響空間内に再配置されてよく、ユーザが、多数のオーディオイベントを同時により効果的に聴取及び／または相互作用することを可能にする。また、ユーザが仮想３次元音響空間内にオーディオイベントを再配置するのをさらに支援するために、ユーザの手がオーディオイベントと関連した仮想物体に隣接した時に、聴覚フィードバック及び／または触覚フィードバックが、ユーザに提供され得る。
上述の本発明の特徴である方法が詳細に理解できるように、上記に簡潔に要約された本発明のより詳細な説明を、実施形態の参考に挙げているが、そのいくつかは添付図面中に図示されている。しかしながら、添付図面は本発明の典型的な実施形態のみ図示していること、そのため本発明の範囲を限定するものと考えるべきではなく、本発明は、その他の等しく効果的な実施形態を認め得ることに注意すべきである。
様々な実施形態による、ユーザのジェスチャを認識し、オーディオストリームの空間オーディオパラメータを修正するためのオーディオシステムを示す。 様々な実施形態による、図１のオーディオシステムとともに実行され、またはオーディオシステムに連結され得る計算装置のブロック図である。 様々な実施形態による、ジェスチャを行うことにより図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、ジェスチャを行うことにより図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、ジェスチャを行うことにより図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、通信サービスによって生成されたオーディオイベントを再配置するために、図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、通信サービスによって生成されたオーディオイベントを再配置するために、図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、通信サービスによって生成されたオーディオイベントを再配置するために、図１のオーディオシステムと相互作用しているユーザを示す。 様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。 様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。 様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。 様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。 様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。 様々な実施形態による、ジェスチャに基づいてオーディオパラメータを修正する方法の工程のフローチャートである。 様々な実施形態による、仮想物体を再配置することにより、オーディオパラメータを修正する方法の工程のフローチャートである。
以下の説明においては、多数の具体的な詳細が、本発明の実施形態より十分な理解を提供するために示されている。しかしながら、本発明の実施形態はこれらの１つ以上の具体的詳細なくして実施され得ることが、当業者には明白である。
図１は、様々な実施形態による、ユーザのジェスチャを認識し、オーディオストリームの空間オーディオパラメータを修正するためのオーディオシステム１００を示す。オーディオシステム１００は、スピーカ１３０及び１つ以上のセンサ１４０を含み得るがこれらに限定されない。スピーカ１３０はオーディオシステム１００のユーザのために１つ以上のオーディオストリームを再生するよう構成されている。センサ（単数または複数）１４０は、ユーザによって実行されるジェスチャに関連するデータ並びに／またはオーディオシステム１００が、環境に対するユーザの位置及び／または向きを追跡することを可能にするデータを取得するよう構成されている。例えば、これらに限定されないが、センサ（単数または複数）１４０は、ユーザによって実行される１つ以上のジェスチャを検出するために、ユーザの手（単数または複数）及び／または腕（単数または複数）の画像を取得するよう構成され得る。いくつかの実施形態では、センサ（単数または複数）１４０は、カメラのような視覚センサを含む。さらに、いくつかの実施形態では、センサ（単数または複数）１４０は、飛行時間センサ、構造化光センサ等のような超音波センサ、レーダセンサ、レーザセンサ、熱型センサ及び／または深度センサを含む。
様々な実施形態では、センサ（単数または複数）１４０はユーザの素手によって実行される１つ以上のジェスチャを検出するよう構成されている。例えば、これらに限定されないが、センサ（単数または複数）１４０によって取得されるデータは、ユーザの指先、関節、手、手首、腕等の位置を決定するために分析され得る。１つ以上のこれらの位置は、次に、ユーザによって実行されるジェスチャを検出するために使用され得る。同様のまたはその他の実施形態においては、センサ（単数または複数）１４０は、ユーザに取り付けられた追加の装置の位置を追跡することによって、ユーザによって実行される１つ以上のジェスチャを検出するよう構成されている。例えば、これらに限定されないが、ユーザの腕（単数または複数）に連結された１つ以上の装置の位置は、ユーザによって実行されるジェスチャを検出するために追跡され得る。４つのセンサ１４０が図１に示されているが、オーディオシステム１００における任意の位置に配置された任意の数のセンサ１４０は、ユーザのジェスチャを検出するために使用され得る。いくつかの実施形態では、立体画像を取得されることを可能にするために、したがって、ユーザの指、手、腕等の深度がより正確に決定されるために、少なくとも２つのセンサ１４０がオーディオシステム１００に含まれる。その他の実施形態では、ジェスチャは、画像を取り込み、深度測定を取得し、位置の計算等をする単一センサを使用して検出される。さらに、様々な実施形態では、センサ（単数または複数）１４０は、眼鏡、腕時計、装着可能な装置、ユーザの体（例えば、Ｔｈａｌｍｉｃ Ｌａｂｓ（商標）による、腕に装着するＭｙｏ（商標））等の上のような、スピーカ１３０が配置される装置本体１０２以外の物体上に配置され得る。
スピーカ１３０は、オーディオシステム１００と一体化または連結された電子装置によって出力される多重チャンネルのオーディオストリーム等のオーディオストリームを再生するよう構成されている。例えば、これらに限定されないが、スピーカ１３０は、音響空間内の特定の位置でオーディオストリームに含まれた（例えば、音声、通知、音楽等の）オーディオイベントをレンダリングすることが可能な２つまたはそれ以上のスピーカを含み得る。いくつかの実施形態では、ユーザの耳に対して特定の位置でオーディオイベントをレンダリングするために、多数のスピーカはヘッドホン内に配布される。同様のまたはその他の実施形態においては、音響信号の処理技術は、２つまたはそれ以上のスピーカを使用して音響空間内の特定の位置でオーディオイベントを仮想でレンダリングするために使用され得る。
様々な実施形態では、オーディオシステム１００は、図１に示されたオーバーイヤーヘッドホンのような、１組のヘッドホンを含む。しかしながら、一般に、耳を覆うヘッドホン、耳載せヘッドホン及び耳の中に入れるヘッドホンを含む、任意のタイプの有線または無線のヘッドホンは、本明細書で記載された技術を実行するために使用され得る。その他の実施形態では、オーディオシステム１００は、補聴器のような補助医療装置、ブルートゥース（登録商標）のヘッドセットのような携帯型の通信装置を含む、ユーザのために音を再生することが可能な、任意の音響装置であり得る。
図２は、様々な実施形態による、図１のオーディオシステム１００とともに実行され、またはオーディオシステム１００に連結され得る計算装置のブロック図である。ここに示すように、計算装置２００は、処理装置２１０、入力／出力（Ｉ／Ｏ）装置２２０及び記憶装置２３０を含む。記憶装置２３０は、データベース２３４と相互作用するよう構成されたアプリケーション２３２を含む。
処理装置２１０は、中央処理装置（ＣＰＵ）、デジタル信号処理装置（ＤＳＰ）等を含み得る。様々な実施形態では、処理装置２１０は、ユーザのジェスチャを検出し、並びに／または周囲環境に対するユーザの位置及び／または向きを決定するために、センサ（単数または複数）１４０によって取得されたセンサデータを分析するよう構成されている。さらに処理装置２１０は、オーディオシステム１００によって再生されるオーディオストリームと関連した空間オーディオパラメータを修正するよう構成され得る。例えば、これらに限定されないが、処理装置２１０は、スピーカ１３０によって生成された音響空間中の特定の位置でのオーディオイベントをレンダリングするためのオーディオストリームに含まれた、１つ以上のオーディオイベントを処理するアプリケーション２３２を実行し得る。
様々な実施形態では、処理装置２１０は、ユーザによって実行された１つ以上のジェスチャを検出するために、センサ（単数または複数）１４０によって取得されたデータの分析を行う。次に、ジェスチャの検出に対応して、処理装置２１０は、オーディオシステム１００によって再生されたオーディオストリームの空間オーディオパラメータを修正する。例えば、これらに限定されないが、処理装置２１０は、音響空間内のオーディオイベントの認識された位置（単数または複数）を修正するために空間オーディオパラメータを修正し得る。いくつかの実施形態では、処理装置２１０は、バイノーラルキュー（例えば、両耳間時間差、両耳間強度差）、スペクトルキュー、ダイナミックレンジキュー、頭部伝達関数（例えば、音波がどのように聴取者の体と相互作用するかを記載する空間フィルタ）、反響等に基づいて、オーディオストリームの空間オーディオパラメータを修正する。例えば、これらに限定されないが、処理装置２１０は、オーディオイベントが再生される角度分解能を上げるために、ユーザの耳、外耳道及び／または頭部の形状に関連する１つ以上のパラメータに基づいてオーディオストリームを処理し得る。同様のまたはその他の実施形態においては、処理装置２１０は、どのスピーカ１３０がオーディオイベントを再生しているかを修正することによりオーディオストリームの空間オーディオパラメータを修正し、及び／またはオーディオイベントが１つ以上のスピーカ１３０によって再生されているレベル（単数または複数）を修正する。例えば、これらに限定されないが、処理装置２１０は、特定のスピーカ１３０がオーディオイベントを再生しているレベル（単数または複数）を上げる及び／または下げることによって、音響空間内のオーディオイベントの認識された位置（単数または複数）を修正し得る。いくつかの実施形態では、音響信号処理は、ＯｐｅｎＡＬのようなミドルウェアを介して処理装置２１０によって実行される。
Ｉ／Ｏ装置２２０は、入力装置、出力装置及び入力を受信し出力を提供することの両方が可能な装置を含み得る。例えば、これらに限定されないが、Ｉ／Ｏ装置２２０は、オーディオシステム１００に含まれたセンサ（単数または複数）１４０にデータを送信及び／または受信する、有線及び／または無線の通信装置を含み得る。さらに、Ｉ／Ｏ装置２２０は、（例えば、ローカルエリアネットワーク及び／またはインターネットのようなネットワークを介して）スピーカ１３０によって再生されるオーディオストリームを受信する、１つ以上の有線または無線通信装置を含み得る。
メモリ装置２３０は、メモリモジュールまたはメモリモジュールの収集を含み得る。メモリ装置２３０内のソフトウェアアプリケーション２３２は、計算装置２００の全体の機能を実行するために、及び、全体としてオーディオシステム１００の操作を調整するために、処理装置２１０によって実行され得る。データベース２３４は、デジタル信号処理アルゴリズム、オーディオストリーム、ジェスチャ認識データ等を格納し得る。
計算装置２００は、全体として、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、システムオンアチップ（ＳｏＣ）、タブレット型コンピュータ、携帯電話、メディアプレーヤ等のような携帯型計算装置であり得る。一般に、計算装置２００は、オーディオシステム１００の全体の操作を調整するよう構成され得る。その他の実施形態では、計算装置２００は、オーディオシステム１００に連結され得るが、分離している。このような実施形態においては、オーディオシステム１００は、データ（例えば、オーディオストリーム）を計算装置２００から受信し、データ（例えば、センサデータ）を計算装置２００に送信する別の処理装置を含んでよく、スマートフォン、携帯型メディアプレーヤ、パーソナルコンピュータ等のような消費者用電子装置に含まれてよい。しかしながら、本明細書にて開示された実施形態は、オーディオシステム１００の機能性を実行するよう構成された、任意の技術的に可能なシステムを意図している。
図３Ａ〜図３Ｃは、様々な実施形態による、ジェスチャを行うことにより図１のオーディオシステム１００と相互作用しているユーザを示す。上記のように、オーディオシステム１００は、ユーザによって実行されるジェスチャを検出し、それに対して、オーディオシステム１００によって再生されるオーディオストリームの１つ以上のパラメータを修正する。例えば、これらに限定されないが、図３Ａにて示すように、ユーザは、オーディオシステム１００によって生成された音響空間中のオーディオイベントの認識された位置にユーザの手を移動することにより、ジェスチャを行ってオーディオストリームに含まれるオーディオイベントの空間オーディオパラメータを修正し得る。一旦、ユーザの手がオーディオイベントの認識された位置に近づくと、ユーザはジェスチャを行ってオーディオイベントと相互作用する。次に、図３Ｂにて示すように、ユーザは、音響空間内で手を右や左及び／または上下や前後（例えば、２次元のＸ、Ｙ面内または３次元のＸ、Ｙ、Ｚ空間内）に動かすなどにより、オーディオイベントを再配置し得る。手のジェスチャ及びオーディオイベントの新しい位置は、次にセンサ１４０を介して検出され、オーディオストリームの１つ以上のパラメータを修正するために処理装置２１０に送られる。
いくつかの実施形態では、ユーザは、手を、音響空間内のオーディオイベント（例えば、点音源）の認識された位置に関連する位置に動かし、オーディオイベントに対応する仮想物体を把持する把持ジェスチャを行う。次に、把持ジェスチャを行いつつ、ユーザはオーディオイベントを所望の位置に移動する。それに対して、処理装置２１０は、ユーザがオーディオイベントをユーザに対する所望の角度及び／または位置からレンダリングする際に認識するものとして、オーディオストリームに関連する１つ以上のパラメータ（例えば、空間オーディオパラメータ）を修正する。
例えば、これらに限定されないが、ユーザは１人以上の人の音声を捕捉して再配置してよく、図４Ａ〜図４Ｃにて示すように、様々な実施形態による、通信サービスによって生成されたオーディオイベントを再配置するために、図１のオーディオシステム１００と相互作用しているユーザを示す。図４Ａにて示すように、最初はユーザが話している人の音声は音響空間内の同一の位置からレンダリングされ得る。しかしながら、ユーザは、音声に関連する位置に手を移動し、それぞれの声に対応する仮想物体を把持するためにジェスチャを行い得る。ユーザは次に、図４Ｂ及び図４Ｃにて示すように、所望の位置にそれぞれの音声に関連するオーディオイベントを移動し得る。それに対して、処理装置２１０は、ユーザが新しい位置（例えば、多数の異なる点音源）に配置されるときに音声を認識するように、それぞれのオーディオイベントに関連する１つ以上のパラメータを修正する。したがって、オーディオシステム１００は、多数の人がユーザに対して異なる位置に配置された場合に、生の会話を正確にシミュレートし、ユーザが多数の音声をより容易に区別するのを可能にし得る。
一旦、ユーザの指、手、腕等（単数または複数）がオーディオイベント（例えば、オーディオイベントに関連する仮想物体）の現在位置に近づくと、オーディオシステム１００は、音声告知、振動、超音波、空気圧等のような聴覚フィードバック及び／または触覚フィードバックを１つ以上のフィードバック装置を介して生成し得る。聴覚フィードバック及び／または触覚フィードバックの生成をすることで、ユーザはより容易にオーディオイベントと相互作用し再配置することができる。同様のまたはその他の実施形態においては、オーディオシステム１００は、一旦、ジェスチャが開始されるとき、及び／または、ユーザが仮想物体を放すなど、ジェスチャが完了したとき、聴覚フィードバック及び／または触覚フィードバックをユーザに提供し得る。
処理装置２１０は、ユーザが様々な技術を使用してオーディオイベントを再配置しようとしているか否かを決定し得る。ある技術においては、処理装置２１０は、オーディオイベントに関連した第１の仮想物体の位置を追跡し、いつユーザの指、手及び／または腕に関連する第２の仮想物体が第１の仮想物体と相互作用（例えば、把持）しているかを、（例えば、センサ（単数または複数）１４０を介して）決定する。処理装置２１０は、次に物理モデルを使用して第１の仮想物体の新しい位置を第２の仮想物体との相互作用に基づいて決定し得る。例えば、これらに限定されないが、いくつかの実施形態では、処理装置２１０は、ユーザの手の位置を検出し、ユーザがいつオーディオイベントと関連する仮想物体を把持し、押圧し、牽引し、スワイプ等をしたかを決定する。処理装置２１０は、次に、物理モデルを使用して、（例えば、速度、距離並びに／または把持、押圧、牽引及び／またはスワイプの持続時間に基づいて）オーディオイベントの新しい位置を判断する。１つ以上のオーディオストリームのパラメータは、次に、ユーザが新しい位置に配置されるものとしてオーディオイベントを認識するよう修正され得る。
例えば、これらに限定されないが、ユーザはスワイプジェスチャを使用して図５Ａ〜図５Ｅに示されたオーディオイベントを再配置してよく、これらは、様々な実施形態による、オーディオイベントを再配置するために、仮想物体と相互作用しているユーザを示す。例えば、これらに限定されないが、図５Ａ及び図５Ｂにて示すように、ユーザはメディアプレーヤによって生成された周囲の音源（例えば、音楽）を聴取しながら、ユーザは、通信サービスから着信の通知を受信し得る。ユーザは、次に、図５Ｃ及び図５Ｄに示されているように、音響空間の左側へと、音楽に関連する仮想物体をスワイプすることを選択し得る。それに対して、処理装置２１０は、ユーザの手の位置を追跡し、必要に応じて物理モデルを使用して、速度、距離及び／またはスワイプジェスチャの持続時間に基づいた音楽に関連する仮想物体の新しい位置を決定する。いくつかの実施形態では、処理装置２１０は、センサ（単数または複数）１４０から受信されたデータを使用して、スワイプジェスチャがどこで開始され及び／またはどこで終わるかを決定する。処理装置２１０は、次に、ユーザが音響空間の左側から受信されたものとして音楽を認識するように、仮想物体の新しい位置に基づいて、周囲の音源の１つ以上のパラメータ（例えば、音バランス及び／または音方向）を修正する。したがって、図５Ｅにて示すように、音楽のような周囲の音源は音響空間の左側から流れ続ける一方、着信のような点音源は、音響空間の右側に配置され得る。したがって、音楽は実質的に着信を邪魔せず、ユーザは、多数のオーディオイベントを同時により効率的に、聴取及び／または相互作用することを可能にする。
別の技術においては、音響空間内の１つ以上のオーディオイベントの位置（単数または複数）は、ユーザが腕で個々のオーディオイベントを把持し、押圧し、牽引し、スワイプ等をする必要なく、片手の位置（例えば、静止したジェスチャ）に基づいて修正される。このような実施形態においては、手の位置に関連した１つ以上の指の向きは、オーディオシステム１００に音響空間内の１つ以上のオーディオイベントの位置（単数または複数）がどのように修正されるかを示し得る。例えば、これらに限定されないが、ユーザは、（例えば、ユーザの人差し指と中指を使用してＶ字を作ることによって）「Ｖ」の手の位置を使用して１つ以上のオーディオイベントを音響空間の側に移動（例えば、分割）させる。具体的な実施例では、ユーザが通信サービスを介して２人に話しかけているとき、オーディオシステム１００は、（例えば、「Ｖ」の手の位置に基づいて）、分割ジェスチャが検出されたことを検出し、それに対して、第１の人の声に関連する第１のオーディオイベントを音響空間の片側へと移動させ、第２の人の声に関連する第２のオーディオイベントを音響空間の反対側へと移動させる。さらに、分割ジェスチャは、他の種類のオーディオイベント（例えば、音楽、ポッドキャスト、通知等）を音響空間の側に移動するために使用され得る。同様のまたはその他の実施形態においては、ジェスチャは、音響空間内でオーディオイベントを均等に配布し、所定のパターンによって音響空間内にオーディオイベントを配布し、多数の位置からオーディオイベントを流し、及び／または１つ以上のオーディオイベントを消音するために使用され得る。
いくつかの実施形態では、処理装置２１０は、音響空間内にオーディオイベントを再配置する前に、１つ以上のアルゴリズムを使用して個々のオーディオイベントを識別する。例えば、これらに限定されないが、処理装置２１０は、アルゴリズムを使用して、通信サービスを介して受信された２つまたはそれ以上の音声を識別し得る。次に、一旦、それぞれの音声に関連する特徴（例えば、基準ピッチ、周波数スペクトル、ケイデンス、イントネーション等）が識別されると、それぞれの音声に関連する空間オーディオパラメータは、音響空間中の音声を再配置するために修正され得る。類似した技術は、その他の種類のオーディオイベント（例えば、音楽、通知等）を識別し及び音響空間内にオーディオイベントを再配置するために使用され得る。したがって、個々のオーディオイベントは、オーディオイベントは、処理装置２１０によって受信され処理される前に、単一のオーディオチャンネルに一体化されたときであっても、分離され、音響空間内に再配置される。
上記のように、いくつかの実施形態では、センサ（単数または複数）１４０は、環境内でのユーザの位置及び／または向きを追跡するよう構成されている。このような実施形態においては、ユーザの位置及び／または向きは、ユーザの環境に対応してオーディオイベントの位置を維持するために、オーディオシステム１００によって使用され得る。例えば、これらに限定されないが、ユーザが、最初に音響空間の片側上に配置されたオーディオイベントに頭を向けると、オーディオシステム１００は、環境に対してユーザの頭の向きの変化を追跡し、それに対応して、オーディオイベントがユーザの前に再配置されるように、オーディオイベントに関連した空間オーディオパラメータを修正し得る。したがって、オーディオイベントは、ユーザの環境に対する比較的静止角度位置及び／または距離で、ユーザに再生される。加えて、ユーザが周囲環境内で位置を変更すると、オーディオシステム１００は、ユーザがユーザの環境内のオブジェクトに向かって移動する（より大きく）または、物体から離れて移動するか（より静かに）に基づいて、特定のオーディオイベントの音の強さを修正し得る。
図６は、様々な実施形態による、ジェスチャに基づいてオーディオパラメータを修正する方法の工程のフローチャートである。この方法の工程は、図１から図５Ｅのシステムとともに記載されているが、当業者は、この方法の工程を実行するように構成された任意のシステムはいなかる順序でも、本発明の範囲内であると理解するであろう。
ここに示すように、方法６００は工程６１０で開始し、処理装置２１０は、センサ（単数または複数）１４０を介して、ユーザに関連したセンサデータ（例えば、ユーザの手、腕、指等）を取得する。工程６２０では、処理装置２１０はセンサデータを分析して、ユーザの手（単数または複数）、指（単数または複数）、腕（単数または複数）等の位置（単数または複数）及び／または向き（単数または複数）に基づいて１つ以上の手の位置を決定する。次に、工程６３０では、処理装置２１０は、ジェスチャ（例えば、分割ジェスチャ）が１つ以上の手の位置に基づいて実行されているか否かを決定する。ジェスチャがユーザによって実行されていない場合には、方法６００は次に、工程６１０に戻り、処理装置２１０はセンサデータを取得し続ける。
ジェスチャがユーザによって実行されている場合には、方法６００は次に、工程６４０に進み、処理装置２１０は、オーディオストリームに関連した１つ以上のパラメータを修正する。例えば、これらに限定されないが、ジェスチャが分割ジェスチャである場合には、処理装置２１０は次に、オーディオストリームに関連した１つ以上の空間オーディオパラメータを修正し、１つ以上のオーディオイベントを音響空間の側に移動させ得る。次に、工程６５０で、処理装置２１０は、修正されたオーディオストリームを、修正された空間オーディオパラメータに基づいたスピーカ１３０を介してユーザに再生させる。次に、方法６００は終了する。
図７は、様々な実施形態による、仮想物体を再配置することにより、オーディオパラメータを修正する方法の工程のフローチャートである。この方法の工程は、図１から図５Ｅのシステムとともに記載されているが、当業者は、この方法の工程を実行するように構成された任意のシステムはいなかる順序でも、本発明の範囲内であると理解するであろう。
ここに示すように、方法７００は工程７１０で開始し、処理装置２１０は、センサ（単数または複数）１４０を介して、ユーザに関連したセンサデータ（例えば、ユーザの手、腕、指等）を取得する。工程７２０では、処理装置２１０はセンサデータを分析して、ユーザの手（単数または複数）、指（単数または複数）、腕（単数または複数）等の位置（単数または複数）及び／または向き（単数または複数）に基づいて１つ以上の手の位置を決定する。工程７３０では、処理装置２１０は、オーディオイベントと関連した仮想物体が手の位置のうち１つ以上に隣接した配置されているか否かを決定する。仮想物体が手の位置に隣接して配置されていない場合には、次に、方法７００は工程７１０に戻り、処理装置２１０はセンサデータを取得し続ける。仮想物体が手の位置に隣接して配置されている場合には、次に、方法７００は工程７４０に進み、処理装置２１０は、ユーザが手の位置（単数または複数）に基づいてジェスチャ（例えば、把持ジェスチャ）を実行しているか否かを検出する。
ジェスチャがユーザによって実行されていない場合には、方法７００は次に、工程７１０に戻り、処理装置２１０はセンサデータを取得し続ける。ジェスチャがユーザによって実行されている場合には、次に、方法７００は工程７５０に進み、処理装置２１０はユーザと仮想物体との間の相互作用を決定する。例えば、これらに限定されないが、処理装置２１０はセンサデータを取得し続け、追加の手／腕／指等の位置を決定し、ユーザが仮想物体を移動している位置を決定する。
次に、工程７６０で、処理装置２１０は、ユーザと仮想物体との間の相互作用に基づいたオーディオストリームに関連する１つ以上のパラメータを修正する。例えば、これらに限定されないが、ユーザがオーディオイベントと関連した仮想物体を把持する場合には、処理装置２１０は、ユーザが、音響空間内で移動するオーディオイベントを聴取することが出来るように、オーディオイベントに関連した空間オーディオパラメータを動的に修正し得る。工程７７０では、処理装置２１０は、（例えば、仮想物体を解放することによって）ユーザがジェスチャを完了したか否かを決定する。ユーザがジェスチャを完了していない場合には、次に、方法７００は工程７５０に戻る。ユーザがジェスチャを完了した場合には、次に、処理装置２１０はオーディオイベントに関連したパラメータを修正するのを停止し、方法７００が終了する。
要するに、処理装置は、１つ以上のセンサを介してユーザが実行するジェスチャを検出する。ジェスチャに対応して、処理装置は、オーディオストリームに関連した１つ以上のパラメータを修正する。オーディオストリームは次に、修正されたパラメータに基づいて、ユーザにオーディオストリームを再生する。さらに、オーディオシステムは、ユーザと、物理モデルを介して１つ以上のオーディオイベントに関連する仮想物体との間の相互作用を決定し得る。オーディオストリームに関連する１つ以上のパラメータは、次に、相互作用に基づいて修正され得る。
本明細書で記載された技術の利点の少なくとも１つは、ユーザが、オーディオイベントが音響空間内で再生されている位置を修正できることである。例えば、ユーザは直感的に、オーディオイベントと関連した仮想物体を把持し、仮想物体を仮想３次元音響空間内の所望の位置に再配置し得る。したがって、オーディオイベントは音響空間内に再配置されてよく、ユーザが、多数のオーディオイベントを同時により効果的に聴取及び／または相互作用することを可能にする。また、ユーザが仮想３次元音響空間内にオーディオイベントを再配置するのをさらに支援するために、ユーザの手がオーディオイベントと関連した仮想物体に隣接した時に、聴覚フィードバック及び／または触覚フィードバックが、ユーザに提供され得る。
様々な実施形態についての説明は、実例の目的で提示されてきたが、網羅的であること、または開示される実施形態に限定されることを意図しない。多数の修正及び差異が、記載された実施形態の範囲及び趣旨から逸脱することなく、当業者には明白となろう。
本実施形態の態様は、システム、方法またはコンピュータプログラム製品として体現され得る。したがって、本開示の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）または本明細書においては、通常すべて、「回路」、「モジュール」または「システム」と称される、ソフトウェアとハードウェアの態様を組み合わせた実施形態の形を成し得る。さらに、本開示の態様は、そのなかに組み込まれたコンピュータ可読プログラムコードを有する、１つ以上のコンピュータ可読媒体（単数または複数）に組み込まれた、コンピュータプログラム製品の形を成し得る。
１つ以上のコンピュータ可読媒体（単数または複数）の任意の組み合わせが使用され得る。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であり得る。例えば、コンピュータ可読記憶媒体は、制限するのではないが、電子、磁気、光学、電磁、赤外線または半導体のシステム、器具、装置または前述の任意の好適な組み合わせであり得る。コンピュータ可読記憶媒体のより具体的な例（網羅的なリストではない）は以下のものを含むだろう。それらは、１つ以上のワイヤを有する電気的接続、携帯用コンピュータのディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、携帯用コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、光学記憶装置、磁気記憶装置または前述の任意の好適な組み合わせである。本明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、器具または装置によって、またはこれらに関連して使用するためのプログラムを含むか、または記憶する、任意の有形の媒体であり得る。
本開示の実施形態によると、本開示の態様については、方法、器具（システム）及びコンピュータプログラム製品のフローチャート図及び／またはブロック図に関する上述の通りである。フローチャート図及び／またはブロック図の各ブロックならびにフローチャート図及び／またはブロック図中のブロックの組み合わせは、コンピュータプログラム命令によって実行され得ると理解されるであろう。これらのコンピュータプログラム命令は、機械を製造するために汎用コンピュータ、専用コンピュータまたはその他のプログラムが可能なデータ処理装置の処理装置に提供されてよく、命令は、コンピュータの処理装置またはその他のプログラムが可能なデータ処理装置を介して実行され、フローチャート及び／またはブロック図またはブロックに特定された機能／行動の遂行を可能にする。このような処理装置は、汎用処理装置、専用処理装置、特定用途向け処理装置またはフィールド・プログラマブルプロセッサであるがこれらに限定されない。
本開示の様々な実施形態によると、図面中のフローチャート及びブロック図は、構造、機能性ならびにシステム、方法及びコンピュータプログラム製品の可能な実装の操作を示す。この点において、フローチャートまたはブロック図における各ブロックは、モジュール、セグメントまたはコードの一部を表し、特定の論理関数（単数または複数）を実行するための、１つ以上の実行可能な命令を含む。いくつかの代替的な実施形態においては、ブロックに記された機能は、図中に記された順が狂うことがあり得ることに注目すべきである。例えば、連続して示された２つのブロックは、実際には、ほぼ同時に実行され得る。または、関連する機能性によって、ブロックは時に逆の手順で実行され得る。ブロック図及び／またはフローチャート図の各ブロック、ブロック図及び／またはフローチャート図中のブロックの組合せは、特定の機能や行動または特定の目的のハードウェアとコンピュータ命令の組合せを実行する、特定の目的のハードウェアをベースにしたシステムによって実行され得ることに注目すべきである。
本発明は、特定の実施形態に関して上記に記載してきた。しかしながら、様々な修正や変更が、添付の特許請求の範囲に記述されているように、より広い精神と本発明の範囲から逸脱することなく成され得るということを、当業者は理解するであろう。例えば、これらに限定されないが、本明細書の記載の多くは、ユーザのジェスチャ及び／またはユーザの環境に関連したデータを取得し、処理し得る、特定の種類のセンサ及びアルゴリズムを意味するものの、当業者は、本明細書で記載されたシステム及び技術は他の種類のセンサ及びアルゴリズムに対して適用可能であることを理解するであろう。したがって、前述の明細書及び図面は、制限を意味するというよりも、むしろ例証として考慮されるべきである。
上記は、本開示の実施形態を対象とするが、他の、及び、さらなる本開示の実施形態は、本発明の実施形態の基本的な範囲から逸脱しないで考案され得る。本発明の実施形態の範囲は、以下の特許請求の範囲により定められる。

Claims (20)

  1. オーディオパラメータをジェスチャに基づいて修正する方法であって、
    ユーザの手に関連したセンサデータを取得し、
    前記センサデータを分析して少なくとも１つの手の位置を決定し、
    前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
    前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
    前記修正されたオーディオストリームを前記ユーザに出力するために再生させることを含む、方法。
  2. 前記空間オーディオパラメータの修正が、音響空間の第１の側に向かって前記オーディオストリームに含まれた第１のオーディオイベントを移動することと、前記音響空間の第２の側に向かって前記オーディオストリームに含まれた第２のオーディオイベントを移動することと、を含む、請求項１に記載の方法。
  3. 前記センサデータを分析することが、前記手のジェスチャが開始された第１の手の位置を決定し、前記手のジェスチャが完了された第２の手の位置を決定することを含む、請求項１に記載の方法。
  4. 前記空間オーディオパラメータを修正することが、前記第２の手の位置に関連する、音響空間の第２の位置に向かって前記第１の手の位置に関連する、前記音響空間の第１の位置から前記オーディオストリームに含まれたオーディオイベントを移動することを含む、請求項３に記載の方法。
  5. 前記手のジェスチャが把持ジェスチャを含む、請求項４に記載の方法。
  6. 前記空間オーディオパラメータを修正することが、物理モデルを介して、前記オーディオイベントに対応する第１の仮想物体と、前記ユーザの前記手に対応する第２の仮想物体との間の相互作用を決定することをさらに含む、請求項４に記載の方法。
  7. 前記センサデータが画像データと奥行きデータのうち少なくとも１つを含む、請求項１に記載の方法。
  8. 前記手のジェスチャを検出することが、前記少なくとも１つの手の位置と前記オーディオストリームに含まれたオーディオイベントに関連する仮想物体との間の交差を検出することを含む、請求項１に記載の方法。
  9. 前記少なくとも１つの手の位置と前記仮想物体との間の前記交差の検出に対応して、聴覚フィードバックと触覚フィードバックのうち少なくとも１つを生成させることをさらに含む、請求項８に記載の方法。
  10. ジェスチャに基づいてオーディオパラメータを修正するシステムであって、
    ユーザの手に関連したセンサデータを取得するよう構成された少なくとも１つのセンサと、
    前記少なくとも１つのセンサに連結された処理装置であって、
    少なくとも１つの手の位置を決定するために前記センサデータを分析し、
    前記少なくとも１つの手の位置に基づいて手のジェスチャを検出し、
    前記手のジェスチャに対応して、オーディオストリームに含まれた第１のオーディオイベントを音響空間の第１の位置から前記音響空間の第２の位置へと移動して修正されたオーディオストリームを生成するよう構成された処理装置と、
    前記処理装置に連結され、前記修正されたオーディオストリームを再生するよう構成されたスピーカと、を備えるシステム。
  11. 前記音響空間の第１の側に対応する前記第２の位置と、前記処理装置が、さらに、前記手のジェスチャに対応して、前記オーディオストリームに含まれた第２のオーディオイベントを前記音響空間の第２の側へと移動するよう構成された、請求項１０に記載のシステム。
  12. 前記手のジェスチャが分割ジェスチャを含む、請求項１１に記載のシステム。
  13. 前記処理装置が前記センサデータを分析して、前記手のジェスチャが開始された第１の手の位置と、前記手のジェスチャが完了された第２の手の位置を決定するよう構成され、前記音響空間の前記第１の位置が前記第１の手の位置と関連し、前記音響空間の前記第２の位置が前記第２の手の位置と関連する、請求項１０に記載のシステム。
  14. 前記手のジェスチャが、押圧ジェスチャとスワイプジェスチャのうち少なくとも１つを含む、請求項１３に記載のシステム。
  15. 前記第１の手の位置と前記第２の手の位置との間の距離を決定することによって、前記処理装置が、前記第１の前記オーディオイベントを移動するよう構成された、請求項１３に記載のシステム。
  16. 前記少なくとも１つのセンサが第１のセンサと第２のセンサを備え、前記処理装置が、前記第２のセンサの第２の位置に対して前記第１のセンサの第１の位置を決定することにより、前記少なくとも１つの手の位置を決定するよう構成された、請求項１０に記載のシステム。
  17. 前記処理装置が、前記第１のオーディオイベントを、頭部伝達関数に基づいて、前記音響空間の前記第１の位置から前記音響空間の前記第２の位置へと移動するよう構成された、請求項１０に記載のシステム。
  18. 前記少なくとも１つの手の位置と前記第１のオーディオイベントに関連した仮想物体との間の交差の検出に対応して、触覚フィードバックを生成するよう構成されたフィードバック装置をさらに備える、請求項１０に記載のシステム。
  19. 前記処理装置が、前記少なくとも１つの手の位置と前記第１のオーディオイベントに関連した仮想物体との間の交差の検出に対応して、前記スピーカに聴覚フィードバックを生成させるようさらに構成された、請求項１０に記載のシステム。
  20. 処理装置によって実行されるときに、命令を含む非一時的なコンピュータ可読記憶媒体であって、
    ユーザの手に関連したセンサデータを取得し、
    前記センサデータを分析して第１の手の位置と第２の手の位置とを決定し、
    前記第１の手の位置と前記第２の手の位置に基づいて手のジェスチャを検出し、
    前記手のジェスチャに対応して、オーディオストリームに関連した空間オーディオパラメータを修正して、修正されたオーディオストリームを生成し、
    前記修正されたオーディオストリームを前記ユーザに出力するために再生させる、工程を実行することにより、前記処理装置にジェスチャに基づいてオーディオパラメータを修正させる記憶媒体。
JP2016543219A 2014-01-03 2014-12-31 ジェスチャ相互作用式の装着可能な空間オーディオシステム Active JP6553052B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461923560P 2014-01-03 2014-01-03
US201461923571P 2014-01-03 2014-01-03
US61/923,560 2014-01-03
US61/923,571 2014-01-03
PCT/US2014/073089 WO2015103439A1 (en) 2014-01-03 2014-12-31 Gesture interactive wearable spatial audio system

Publications (3)

Publication Number Publication Date
JP2017509181A true JP2017509181A (ja) 2017-03-30
JP2017509181A5 JP2017509181A5 (ja) 2018-02-15
JP6553052B2 JP6553052B2 (ja) 2019-07-31

Family

ID=52273019

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016543219A Active JP6553052B2 (ja) 2014-01-03 2014-12-31 ジェスチャ相互作用式の装着可能な空間オーディオシステム
JP2015000237A Active JP6494286B2 (ja) 2014-01-03 2015-01-05 車載ジェスチャ相互作用空間オーディオシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015000237A Active JP6494286B2 (ja) 2014-01-03 2015-01-05 車載ジェスチャ相互作用空間オーディオシステム

Country Status (5)

Country Link
US (2) US10585486B2 (ja)
EP (2) EP3090321A4 (ja)
JP (2) JP6553052B2 (ja)
CN (2) CN105874408B (ja)
WO (1) WO2015103439A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022019085A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10429923B1 (en) 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
US9990113B2 (en) 2015-09-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for moving a current focus using a touch-sensitive remote control
AU2016101424A4 (en) * 2015-09-08 2016-09-15 Apple Inc. Device, method, and graphical user interface for providing audiovisual feedback
CA2997789C (en) * 2015-09-16 2022-10-04 Magic Leap, Inc. Head pose mixing of audio files
CN105353868B (zh) * 2015-09-24 2019-05-31 联想(北京)有限公司 一种信息处理方法及电子设备
US10182325B2 (en) * 2015-11-23 2019-01-15 Anthony Peter Dobaj Movement control system
US10511807B2 (en) * 2015-12-11 2019-12-17 Sony Corporation Information processing apparatus, information processing method, and program
US9749766B2 (en) * 2015-12-27 2017-08-29 Philip Scott Lyren Switching binaural sound
US10140507B2 (en) * 2015-12-29 2018-11-27 Samsung Electronics Co., Ltd. Apparatus and method for recognizing hand gestures in a virtual reality headset
CN107179826B (zh) 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN107199888A (zh) 2016-03-18 2017-09-26 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
WO2017173776A1 (zh) * 2016-04-05 2017-10-12 向裴 三维环境中的音频编辑方法与系统
US9584653B1 (en) * 2016-04-10 2017-02-28 Philip Scott Lyren Smartphone with user interface to externally localize telephone calls
WO2017200553A1 (en) * 2016-05-20 2017-11-23 Ford Global Technologies, Llc Sign language inputs to a vehicle user interface
EP3287868B1 (en) * 2016-08-26 2020-10-14 Nokia Technologies Oy Content discovery
DE102016216543A1 (de) * 2016-09-01 2018-03-01 Audi Ag Bedieneinrichtung für ein Komfortsystem eines Kraftfahrzeugs, Komfortsystem mit einer Bedieneinrichtung und Kraftfahrzeug mit einem Komfortsystem
EP3293987B1 (en) 2016-09-13 2020-10-21 Nokia Technologies Oy Audio processing
DE102016119846A1 (de) * 2016-10-18 2018-04-19 Preh Gmbh Mensch-Maschine-Schnittstelle aufweisend ein Lenkrad und einen daran befestigten Fingerabdrucksensor
CN107979807A (zh) * 2016-10-25 2018-05-01 北京酷我科技有限公司 一种模拟环绕立体声的方法及系统
KR101847295B1 (ko) * 2016-10-31 2018-05-28 재단법인 다차원 스마트 아이티 융합시스템 연구단 초음파 신호의 송수신을 이용하는 사용자 인터페이스 장치
EP3319343A1 (en) * 2016-11-08 2018-05-09 Harman Becker Automotive Systems GmbH Vehicle sound processing system
CN106774826A (zh) * 2016-11-15 2017-05-31 捷开通讯(深圳)有限公司 一种vr音效交互系统及其方法
EP3328092B1 (en) 2016-11-23 2022-12-07 Nokia Technologies Oy Spatial rendering of a message
KR20180084550A (ko) * 2017-01-17 2018-07-25 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
US10747301B2 (en) 2017-03-28 2020-08-18 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
CN107102731A (zh) * 2017-03-31 2017-08-29 斑马信息科技有限公司 用于车辆的手势控制方法及其系统
GB2562036A (en) * 2017-04-24 2018-11-07 Nokia Technologies Oy Spatial audio processing
US10146501B1 (en) 2017-06-01 2018-12-04 Qualcomm Incorporated Sound control by various hand gestures
EP3422743B1 (en) * 2017-06-26 2021-02-24 Nokia Technologies Oy An apparatus and associated methods for audio presented as spatial audio
CN107241643A (zh) * 2017-08-03 2017-10-10 沈阳建筑大学 一种多媒体音量调节方法及系统
US10614831B2 (en) * 2017-10-12 2020-04-07 Qualcomm Incorporated Audio activity tracking and summaries
US10306395B1 (en) * 2018-02-05 2019-05-28 Philip Scott Lyren Emoji that indicates a location of binaural sound
CA3059064C (en) 2018-03-07 2022-01-04 Magic Leap, Inc. Visual tracking of peripheral devices
US11009954B2 (en) * 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
EP3588926B1 (en) 2018-06-26 2021-07-21 Nokia Technologies Oy Apparatuses and associated methods for spatial presentation of audio
CN109032345B (zh) * 2018-07-04 2022-11-29 百度在线网络技术（北京）有限公司 设备控制方法、装置、设备、服务端和存储介质
US10154364B1 (en) 2018-09-09 2018-12-11 Philip Scott Lyren Moving an emoji to move a location of binaural sound
CN110928399B (zh) * 2018-09-19 2023-05-05 阿里巴巴集团控股有限公司 控制系统、方法及电子设备
CN109308179A (zh) 2018-09-25 2019-02-05 Oppo广东移动通信有限公司 3d音效处理方法及相关产品
US10499179B1 (en) 2019-01-01 2019-12-03 Philip Scott Lyren Displaying emojis for binaural sound
DE102019202687A1 (de) * 2019-02-28 2020-09-03 Audi Ag Kraftfahrzeug mit einer Lautsprechervorrichtung, und Verfahren zum Betreiben einer Lautsprechervorrichtung
US10846898B2 (en) * 2019-03-28 2020-11-24 Nanning Fugui Precision Industrial Co., Ltd. Method and device for setting a multi-user virtual reality chat environment
US11039265B1 (en) * 2019-12-13 2021-06-15 Bose Corporation Spatialized audio assignment
GB2593136B (en) * 2019-12-18 2022-05-04 Nokia Technologies Oy Rendering audio
CN111625094B (zh) * 2020-05-25 2023-07-14 阿波罗智联(北京)科技有限公司 智能后视镜的交互方法、装置、电子设备和存储介质
EP4086731A4 (en) * 2020-06-28 2023-04-05 Huawei Technologies Co., Ltd. METHOD OF INTERACTION AND ELECTRONIC DEVICE
CN112083379B (zh) * 2020-09-09 2023-10-20 极米科技股份有限公司 基于声源定位的音频播放方法、装置、投影设备及介质
JP7474175B2 (ja) 2020-10-07 2024-04-24 株式会社デンソーテン 音像描画装置及び音像描画方法
USD997107S1 (en) * 2020-12-04 2023-08-29 Zoox, Inc. Door interface system having an animated visual indicator
EP4057645A1 (en) * 2021-03-08 2022-09-14 Nokia Technologies Oy Apparatus, methods and computer programs for providing an audio user interface
DE102021116641A1 (de) 2021-06-28 2022-12-29 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogramm zur interaktiven Auswahl und Wiedergabe von in Echtzeit erzeugten Audio- und/oder Videosequenzen in einem Kraftfahrzeug
EP4207814A1 (en) * 2021-12-28 2023-07-05 GN Audio A/S Hearing device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241573A (ja) * 1992-02-28 1993-09-21 Kan Oteru 音響空間制御システム
JP2010258623A (ja) * 2009-04-22 2010-11-11 Yamaha Corp 操作検出装置
WO2012120810A1 (ja) * 2011-03-08 2012-09-13 パナソニック株式会社 音声制御装置および音声制御方法
JP2013207759A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 携帯端末、音源位置制御方法および音源位置制御プログラム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2284968A (en) * 1993-12-18 1995-06-21 Ibm Audio conferencing system
JP3834848B2 (ja) 1995-09-20 2006-10-18 株式会社日立製作所 音情報提供装置、及び音情報選択方法
EP0905644A3 (en) * 1997-09-26 2004-02-25 Matsushita Electric Industrial Co., Ltd. Hand gesture recognizing device
US6230130B1 (en) * 1998-05-18 2001-05-08 U.S. Philips Corporation Scalable mixing for speech streaming
US6647119B1 (en) 1998-06-29 2003-11-11 Microsoft Corporation Spacialization of audio with visual cues
JP2986455B1 (ja) 1998-07-24 1999-12-06 株式会社エイ・ティ・アール知能映像通信研究所 手振り認識装置
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
KR100542129B1 (ko) 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
JP4364024B2 (ja) 2004-03-18 2009-11-11 株式会社日立製作所 携帯端末
US20050222844A1 (en) * 2004-04-01 2005-10-06 Hideya Kawahara Method and apparatus for generating spatialized audio from non-three-dimensionally aware applications
JP4838499B2 (ja) * 2004-05-21 2011-12-14 オリンパス株式会社 ユーザ支援装置
WO2006137400A1 (ja) 2005-06-21 2006-12-28 Japan Science And Technology Agency ミキシング装置及び方法並びにプログラム
US7853649B2 (en) * 2006-09-21 2010-12-14 Apple Inc. Audio processing for improved user experience
JP2008123431A (ja) 2006-11-15 2008-05-29 Canon Inc 接触提示装置及び方法
WO2008132724A1 (en) 2007-04-26 2008-11-06 Mantisvision Ltd. A method and apparatus for three dimensional interaction with autosteroscopic displays
US8655004B2 (en) 2007-10-16 2014-02-18 Apple Inc. Sports monitoring system for headphones, earbuds and/or headsets
JP4518142B2 (ja) 2007-12-25 2010-08-04 ソニー株式会社 音場補正装置、音場補正方法
CN102112945B (zh) * 2008-06-18 2016-08-10 奥布隆工业有限公司 用于交通工具接口的基于姿态的控制系统
US9445193B2 (en) 2008-07-31 2016-09-13 Nokia Technologies Oy Electronic device directional audio capture
US8624962B2 (en) * 2009-02-02 2014-01-07 Ydreams—Informatica, S.A. Ydreams Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US8144633B2 (en) 2009-09-22 2012-03-27 Avaya Inc. Method and system for controlling audio in a collaboration environment
US8190438B1 (en) * 2009-10-14 2012-05-29 Google Inc. Targeted audio in multi-dimensional space
CN201845422U (zh) 2010-06-18 2011-05-25 精伦电子股份有限公司 一种无线遥控装置
US20120075167A1 (en) * 2010-09-29 2012-03-29 Eastman Kodak Company Head-mounted display with wireless controller
US20130145279A1 (en) * 2011-11-16 2013-06-06 Flextronics Ap, Llc Removable, configurable vehicle console
US20130208926A1 (en) 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US8824709B2 (en) * 2010-10-14 2014-09-02 National Semiconductor Corporation Generation of 3D sound with adjustable source positioning
US9420394B2 (en) * 2011-02-16 2016-08-16 Apple Inc. Panning presets
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US8559651B2 (en) 2011-03-11 2013-10-15 Blackberry Limited Synthetic stereo on a mono headset with motion sensing
US9620131B2 (en) * 2011-04-08 2017-04-11 Evertz Microsystems Ltd. Systems and methods for adjusting audio levels in a plurality of audio signals
WO2012140525A1 (en) 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
EP2716021A4 (en) 2011-05-23 2014-12-10 Nokia Corp SPATIAL AUDIOVERING DEVICE
WO2013009413A1 (en) 2011-06-06 2013-01-17 Intellitact Llc Relative touch user interface enhancements
JP5757166B2 (ja) 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
CN102520791A (zh) * 2011-11-28 2012-06-27 北京盈胜泰科技术有限公司 一种无线手势识别装置
US9563278B2 (en) 2011-12-19 2017-02-07 Qualcomm Incorporated Gesture controlled audio user interface
US8749485B2 (en) 2011-12-20 2014-06-10 Microsoft Corporation User control gesture detection
US9632744B2 (en) 2011-12-22 2017-04-25 Nokia Technologies Oy Audio-visual interface for apparatus
US9082239B2 (en) 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US10448161B2 (en) * 2012-04-02 2019-10-15 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for gestural manipulation of a sound field
US20130279706A1 (en) * 2012-04-23 2013-10-24 Stefan J. Marti Controlling individual audio output devices based on detected inputs
US20140002357A1 (en) 2012-06-28 2014-01-02 Kopin Corporation Enabling and Disabling Features of a Headset Computer Based on Real-Time Image Analysis
US9646522B2 (en) * 2012-06-29 2017-05-09 Intel Corporation Enhanced information delivery using a transparent display
KR20140047948A (ko) 2012-10-15 2014-04-23 엘지전자 주식회사 영상표시장치, 및 그 동작방법
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
US10291983B2 (en) 2013-03-15 2019-05-14 Elwha Llc Portable electronic device directed audio system and method
CN103164995A (zh) 2013-04-03 2013-06-19 湖南第一师范学院 儿童体感交互式学习系统及方法
US9529513B2 (en) * 2013-08-05 2016-12-27 Microsoft Technology Licensing, Llc Two-hand interaction with natural user interface
US8922590B1 (en) * 2013-10-01 2014-12-30 Myth Innovations, Inc. Augmented reality interface and method of use
US9829979B2 (en) 2014-04-28 2017-11-28 Ford Global Technologies, Llc Automotive touchscreen controls with simulated texture for haptic feedback
US10051364B2 (en) 2014-07-03 2018-08-14 Qualcomm Incorporated Single channel or multi-channel audio control interface
US9544679B2 (en) 2014-12-08 2017-01-10 Harman International Industries, Inc. Adjusting speakers using facial recognition

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241573A (ja) * 1992-02-28 1993-09-21 Kan Oteru 音響空間制御システム
JP2010258623A (ja) * 2009-04-22 2010-11-11 Yamaha Corp 操作検出装置
WO2012120810A1 (ja) * 2011-03-08 2012-09-13 パナソニック株式会社 音声制御装置および音声制御方法
JP2013207759A (ja) * 2012-03-29 2013-10-07 Fujitsu Ltd 携帯端末、音源位置制御方法および音源位置制御プログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022019085A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
EP3090321A1 (en) 2016-11-09
CN104765444B (zh) 2019-12-31
JP6494286B2 (ja) 2019-04-03
CN105874408A (zh) 2016-08-17
CN105874408B (zh) 2020-01-07
JP2015143987A (ja) 2015-08-06
EP3090321A4 (en) 2017-07-05
US10585486B2 (en) 2020-03-10
US20150193197A1 (en) 2015-07-09
JP6553052B2 (ja) 2019-07-31
US10126823B2 (en) 2018-11-13
WO2015103439A1 (en) 2015-07-09
US20160320847A1 (en) 2016-11-03
CN104765444A (zh) 2015-07-08
EP2891955B1 (en) 2020-04-08
EP2891955A1 (en) 2015-07-08

Similar Documents

Publication Publication Date Title
JP6553052B2 (ja) ジェスチャ相互作用式の装着可能な空間オーディオシステム
JP6961007B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
US9632683B2 (en) Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
JP5456832B2 (ja) 入力された発話の関連性を判定するための装置および方法
US20140364967A1 (en) System and Method for Controlling an Electronic Device
US20120259554A1 (en) Tongue tracking interface apparatus and method for controlling a computer program
US10798518B2 (en) Apparatus and associated methods
WO2014161309A1 (zh) 一种移动终端实现声源定位的方法及装置
US10146501B1 (en) Sound control by various hand gestures
JP6596896B2 (ja) 頭部伝達関数選択装置、頭部伝達関数選択方法、頭部伝達関数選択プログラム、音声再生装置
CN106302974B (zh) 一种信息处理的方法及电子设备
JP2022533755A (ja) 空間オーディオをキャプチャする装置および関連する方法
JP5860629B2 (ja) 音源定位制御プログラムおよび音源定位制御装置
JP6034715B2 (ja) 動作検出装置およびプログラム
CN114339582B (zh) 双通道音频处理、方向感滤波器生成方法、装置以及介质
US20220308655A1 (en) Human-interface-device (hid) and a method for controlling an electronic device based on gestures, and a virtual-reality (vr) head-mounted display apparatus
WO2022178852A1 (zh) 一种辅助聆听方法及装置
US10058282B2 (en) Manual operation assistance with earpiece with 3D sound cues
KR20200054083A (ko) 사운드 생성 방법 및 이를 수행하는 장치들
CN112256130A (zh) 生成控制指令的方法和装置
TW201328376A (zh) 電子裝置以及播放方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190703

R150 Certificate of patent or registration of utility model

Ref document number: 6553052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250