JP2017126337A - 触覚対応ニューラルインターフェースのためのシステム及び方法 - Google Patents
触覚対応ニューラルインターフェースのためのシステム及び方法 Download PDFInfo
- Publication number
- JP2017126337A JP2017126337A JP2017002732A JP2017002732A JP2017126337A JP 2017126337 A JP2017126337 A JP 2017126337A JP 2017002732 A JP2017002732 A JP 2017002732A JP 2017002732 A JP2017002732 A JP 2017002732A JP 2017126337 A JP2017126337 A JP 2017126337A
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- user
- signal
- sensor
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims description 40
- 230000000694 effects Effects 0.000 claims abstract description 156
- 230000003993 interaction Effects 0.000 claims abstract description 31
- 210000000653 nervous system Anatomy 0.000 claims abstract description 20
- 230000003190 augmentative effect Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000005236 sound signal Effects 0.000 claims description 4
- 210000004556 brain Anatomy 0.000 description 39
- 230000035807 sensation Effects 0.000 description 30
- 235000019615 sensations Nutrition 0.000 description 30
- 235000019640 taste Nutrition 0.000 description 18
- 230000004044 response Effects 0.000 description 16
- 230000035943 smell Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 11
- 230000008859 change Effects 0.000 description 7
- 239000012530 fluid Substances 0.000 description 7
- 241000282326 Felis catus Species 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 210000003625 skull Anatomy 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000499 gel Substances 0.000 description 4
- 230000001339 gustatory effect Effects 0.000 description 4
- 230000036651 mood Effects 0.000 description 4
- 235000019645 odor Nutrition 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 239000004576 sand Substances 0.000 description 3
- 230000001953 sensory effect Effects 0.000 description 3
- 229920001746 electroactive polymer Polymers 0.000 description 2
- 230000005672 electromagnetic field Effects 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 239000003205 fragrance Substances 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 210000000337 motor cortex Anatomy 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 239000002304 perfume Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 229910001285 shape-memory alloy Inorganic materials 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000011491 transcranial magnetic stimulation Methods 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 235000013549 apple pie Nutrition 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011553 magnetic fluid Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000002071 nanotube Substances 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 210000001152 parietal lobe Anatomy 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Biomedical Technology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
【解決手段】触覚対応ニューラルインターフェースのためのシステム100は、ニューラルセンサ106、108、110、コンピュータ装置112、触覚出力装置114を備える。ニューラルセンサ106、108、110は、信号神経系に関係付けられる電気信号を検出する。コンピュータ装置112は、検出したセンサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定する。また、コンピュータ装置112は、仮想環境における仮想オブジェクトとの相互作用に基づいて触覚効果を決定し、触覚出力装置114に触覚信号を送信する。更に、触覚出力装置114は、触覚信号を受信して、触覚効果を出力する。
【選択図】図1
Description
図1は、触覚対応ニューラルインターフェースのためのシステム100の例示の実施形態を示す。システム100は、コンピュータ装置112を含む。また、システム100は、コンピュータ装置112と電気通信(例えば、有線又は無線通信)する1つ以上のニューラルセンサ106、108、110を備える。ニューラルセンサ106、108、110は、ユーザの脳104、脊椎、及び/又は神経等のユーザの神経系の少なくとも一部と電気的に結合するように構成される。ニューラルセンサ106、108、110がユーザの脳104からの脳信号を検出するために配置される場合、システム100はブレイン・コンピュータ・インターフェース(BCI)と呼ばれ得る。しかし、実施形態はブレイン・コンピュータ・インターフェースに限定されず、システム100は、ユーザの神経系の少なくとも一部に伝播する神経信号を検出するために(例えば、ユーザの体の上又は知覚の任意の場所に)配置される任意の数の及び構成のニューラルセンサ106、108、110を備えてもよい。
図2は、一実施形態による触覚対応ニューラルインターフェース触覚効果のためのシステムを示すブロック図である。システムは、コンピュータ装置201を含む。一部の実施形態では、コンピュータ装置201は、ヘッドマウント型コンピュータ装置、移動装置(例えば、スマートフォン、タブレット、Eリーダ及び/又はラップトップコンピュータ)、デスクトップコンピュータ、又は携帯型ゲーム装置を含む。他の実施形態では、コンピュータ装置201は、装着可能装置(例えば、指輪、靴、アームバンド、袖、ジャケット、眼鏡、手袋、腕時計、リストバンド、ブレスレット、衣類、帽子、ヘッドバンド、及び/又は宝石類)を含んでもよい。
図5は、一実施形態による触覚対応ニューラルインターフェースを提供する方法を実行するためのステップのフローチャートである。一部の実施形態では、図5のステップは、例えば、汎用コンピュータ、移動装置又はサーバにおけるプロセッサによって実行されるプログラムコードで実装されてもよい。一部の実施形態では、こうしたステップは一群のプロセッサによって実装されてもよい。一部の実施形態では、図5に示される1つ以上のステップは省略され又は異なる順番で行われてもよい。同様に、一部の実施形態では、図5に示されない追加のステップが実行されてもよい。以下のステップは図2に示されたコンピュータ装置201に関して記載されたコンポーネントを参照して記載される。
触覚対応ニューラルインターフェースには多くの利点がある。このようなシステムは、ユーザが(例えば、ユーザの脳からの信号を使用して)仮想環境における仮想オブジェクトと相互作用するときにより没入感の有る体験を提供し、それによってユーザ満足度を全体的に向上させることができる。例えば、一部の実施形態では、拡張現実アプリケーションが、カメラデータをオーバレイする仮想犬を出力してもよい。ユーザが仮想犬を撫でることを思い描くのに応じて、触覚対応ニューラルインターフェースは、仮想犬の毛皮をシミュレートするように構成される触覚効果を出力してもよい。結果として、ユーザは、仮想犬をより現実的に知覚することができる。
上記の方法、システム及び装置は例示である。様々な構成によって、適宜、様々な手続き又はコンポーネントが省略、置換、又は追加されてもよい。例えば、代替的な構成では、方法は記載されたものとは異なる順序で実行されてもよく、及び/又はステージが追加、省略及び/又は結合されてもよい。また、所定の構成に関して記載された機能は、様々な他の構成に結合されてもよい。構成の異なる態様及び要素が、同様に結合されてもよい。また、技術は進歩するものであり、そのため要素の多くは例示であり、本開示又は特許請求の範囲を限定しない。
Claims (23)
- プロセッサと、
触覚信号を受信し、且つ触覚効果を出力するように構成される触覚出力装置と
を備え、
前記プロセッサは、
神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信し、
前記センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定し、
前記仮想環境における前記仮想オブジェクトとの前記相互作用に少なくとも部分的に基づいて前記触覚効果を決定し、且つ
前記触覚効果に関係付けられる前記触覚信号を送信する
ように構成される、システム。 - 前記ニューラルインターフェースは、前記神経系に関係付けられる前記電気信号を検出し且つ前記センサ信号を送信するように構成されるセンサを備え、前記センサは、脳波(EEG)電極、分光センサ、磁気共鳴画像診断装置、又は容量性センサの少なくとも1つを含む、請求項1に記載のシステム。
- 前記プロセッサは、
前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定し、且つ
前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信する
ように更に構成される、請求項2に記載のシステム。 - 前記プロセッサは、
前記センサ信号に少なくとも部分的に基づいて視覚効果を決定し、且つ
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信する
ように更に構成される、請求項3に記載のシステム。 - 前記仮想環境は拡張現実環境を含み、前記プロセッサは、前記拡張現実環境におけるイベントに少なくとも部分的に基づいて前記触覚効果を決定するように更に構成される、請求項1に記載のシステム。
- 前記触覚効果は第1の触覚効果であり、
前記プロセッサは、
前記センサ信号に基づいて体の一部の移動を決定し、且つ
前記移動に少なくとも部分的に基づいて第2の触覚効果を決定する
ように更に構成される、請求項1に記載のシステム。 - 前記第2の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成される、請求項6に記載のシステム。
- 前記ニューラルインターフェースは第1のニューラルインターフェースであり、前記プロセッサは、遠隔ユーザにより使用可能な第2のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信するように更に構成され、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成される、請求項1に記載のシステム。
- 神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信するステップと、
前記センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定するステップと、
前記仮想環境における前記仮想オブジェクトとの前記相互作用に少なくとも部分的に基づいて触覚効果を決定するステップと、
前記触覚効果に関係付けられる触覚信号を触覚出力装置に送信するステップであって、前記触覚出力装置は前記触覚信号を受信し且つ前記触覚効果を出力するように構成されるステップと
を含む、方法。 - 前記ニューラルインターフェースは、前記神経系に関係付けられる前記電気信号を検出し且つ前記センサ信号を送信するように構成されるセンサを備え、前記センサは、脳波(EEG)電極、分光センサ、磁気共鳴画像診断装置、又は容量性センサの少なくとも1つを含む、請求項9に記載の方法。
- 前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定するステップと、
前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信するステップと
を更に含む、請求項10に記載の方法。 - 前記センサ信号に少なくとも部分的に基づいて視覚効果を決定するステップと、
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信するステップと
を更に含む、請求項11に記載の方法。 - 前記仮想環境は拡張現実環境を含み、前記触覚効果は前記拡張現実環境におけるイベントに少なくとも部分的に基づく、請求項9に記載の方法。
- 前記触覚効果は第1の触覚効果であり、
前記センサ信号に基づいて体の一部の移動を決定するステップと、
前記移動に少なくとも部分的に基づいて第2の触覚効果を決定するステップと
を更に含む、請求項9に記載の方法。 - 前記第2の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成される、請求項14に記載の方法。
- 前記ニューラルインターフェースは第1のニューラルインターフェースであり、
第2のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信するステップであって、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成されるステップ
を更に含む、請求項9に記載の方法。 - プロセッサにより実行されると、前記プロセッサに、
神経系に関係付けられる電気信号を検出するように構成されるニューラルインターフェースからセンサ信号を受信すること、
前記センサ信号に基づいて仮想環境における仮想オブジェクトとの相互作用を決定すること、
前記仮想環境における前記仮想オブジェクトとの前記相互作用に少なくとも部分的に基づいて触覚効果を決定すること、及び
前記触覚効果に関係付けられる触覚信号を触覚出力装置に送信することであって、前記触覚出力装置は前記触覚信号を受信し且つ前記触覚効果を出力するように構成されること
を行わせるように構成されるプログラムコードを含む、非一時的なコンピュータ可読媒体。 - 前記ニューラルインターフェースは、前記触覚出力装置を備える、請求項17に記載の非一時的なコンピュータ可読媒体。
- 前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に少なくとも部分的に基づいて聴覚効果を決定すること、及び
前記聴覚効果をスピーカに出力させるように構成される聴覚信号を送信すること
を行わせるように構成されるプログラムコードを更に含む、請求項18に記載の非一時的なコンピュータ可読媒体。 - 前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に少なくとも部分的に基づいて視覚効果を決定すること、及び
前記視覚効果をディスプレイに出力させるように構成される表示信号を送信すること
を行わせるように構成されるプログラムコードを更に含む、請求項19に記載の非一時的なコンピュータ可読媒体。 - 前記仮想環境は拡張現実環境を含み、前記触覚効果は前記拡張現実環境におけるイベントに少なくとも部分的に基づく、請求項17に記載の非一時的なコンピュータ可読媒体。
- 前記触覚効果は第1の触覚効果であり、前記プロセッサにより実行されると、前記プロセッサに
前記センサ信号に基づいて体の一部の移動を決定すること、及び
前記移動に少なくとも部分的に基づいて第2の触覚効果を決定することであって、前記第2の触覚効果は、前記体の一部の前記移動を確認する又は前記体の一部により接触される表面の特徴をシミュレートするように構成されること
を行わせるように構成されるプログラムコードを更に含む、請求項17に記載の非一時的なコンピュータ可読媒体。 - 前記ニューラルインターフェースは第1のニューラルインターフェースであり、前記プロセッサにより実行されると、前記プロセッサに
第2のニューラルインターフェースを備える遠隔装置に前記触覚信号を送信することであって、前記触覚信号は前記遠隔装置に前記触覚効果を出力させるように構成されること
を行わせるように構成されるプログラムコードを更に含む、請求項17に記載の非一時的なコンピュータ可読媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021133295A JP2021193575A (ja) | 2016-01-13 | 2021-08-18 | 触覚対応ニューラルインターフェースのためのシステム及び方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/994,720 US10031580B2 (en) | 2016-01-13 | 2016-01-13 | Systems and methods for haptically-enabled neural interfaces |
US14/994,720 | 2016-01-13 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021133295A Division JP2021193575A (ja) | 2016-01-13 | 2021-08-18 | 触覚対応ニューラルインターフェースのためのシステム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017126337A true JP2017126337A (ja) | 2017-07-20 |
JP7089846B2 JP7089846B2 (ja) | 2022-06-23 |
Family
ID=57850900
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017002732A Active JP7089846B2 (ja) | 2016-01-13 | 2017-01-11 | 触覚対応ニューラルインターフェースのためのシステム及び方法 |
JP2021133295A Pending JP2021193575A (ja) | 2016-01-13 | 2021-08-18 | 触覚対応ニューラルインターフェースのためのシステム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021133295A Pending JP2021193575A (ja) | 2016-01-13 | 2021-08-18 | 触覚対応ニューラルインターフェースのためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10031580B2 (ja) |
EP (1) | EP3193241A1 (ja) |
JP (2) | JP7089846B2 (ja) |
KR (1) | KR20170085000A (ja) |
CN (1) | CN106990834A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022509752A (ja) * | 2018-10-29 | 2022-01-24 | コグニクソン | 拡張現実のための脳コンピュータ・インターフェース |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9857590B2 (en) * | 2014-10-11 | 2018-01-02 | Floyd Steven Hall, Jr. | Method and system for press-on displays for fashionable eyewear and nosewear |
JP6668811B2 (ja) * | 2016-02-23 | 2020-03-18 | セイコーエプソン株式会社 | 訓練装置、訓練方法、プログラム |
US10551909B2 (en) * | 2016-04-07 | 2020-02-04 | Qubit Cross Llc | Virtual reality system capable of communicating sensory information |
US11064915B2 (en) * | 2016-10-27 | 2021-07-20 | Norman L Johnson | Functional reach assessment device and method |
JP6613267B2 (ja) | 2017-06-02 | 2019-11-27 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法 |
JP6837921B2 (ja) * | 2017-06-02 | 2021-03-03 | 任天堂株式会社 | ゲームプログラム、情報処理装置、情報処理システム、および、情報処理方法 |
JP6653293B2 (ja) | 2017-06-05 | 2020-02-26 | 任天堂株式会社 | 情報処理システム、情報処理プログラム、情報処理装置、および、情報処理方法 |
KR102150282B1 (ko) * | 2017-07-13 | 2020-09-01 | 한국전자통신연구원 | 멀티미디어 콘텐츠와 연관되는 후각 정보 생성 장치 및 방법 |
CN107596682A (zh) * | 2017-09-29 | 2018-01-19 | 广州云友网络科技有限公司 | 一种vr虚拟互动滑雪的实现方法和系统 |
KR101824848B1 (ko) * | 2017-11-07 | 2018-02-01 | 전윤재 | 육류 가공시 속재료를 넣기 위한 삽입기구 |
US10916059B2 (en) * | 2017-12-06 | 2021-02-09 | Universal City Studios Llc | Interactive video game system having an augmented virtual representation |
KR102387573B1 (ko) | 2017-12-12 | 2022-04-18 | 삼성전자주식회사 | 내부 장치, 외부 장치, 사용자 단말 및 전자 장치 및 이들의 동작 방법 |
US10551921B2 (en) * | 2018-03-23 | 2020-02-04 | Abl Ip Holding Llc | Electroencephalography control of controllable device |
US10866638B2 (en) * | 2018-03-23 | 2020-12-15 | Abl Ip Holding Llc | Neural control of controllable device |
US10682069B2 (en) * | 2018-03-23 | 2020-06-16 | Abl Ip Holding Llc | User preference and user hierarchy in an electroencephalography based control system |
US10682099B2 (en) * | 2018-03-23 | 2020-06-16 | Abl Ip Holding Llc | Training of an electroencephalography based control system |
US10684689B2 (en) * | 2018-04-20 | 2020-06-16 | Immersion Corporation | Cross-platform dynamic haptic effect design tool for augmented or virtual reality environments |
US10572017B2 (en) * | 2018-04-20 | 2020-02-25 | Immersion Corporation | Systems and methods for providing dynamic haptic playback for an augmented or virtual reality environments |
US20190391647A1 (en) * | 2018-06-25 | 2019-12-26 | Immersion Corporation | Real-world haptic interactions for a virtual reality user |
US11294467B2 (en) * | 2018-12-18 | 2022-04-05 | Immersion Corporation | Systems and methods for integrating environmental haptics in virtual reality |
US11086398B2 (en) * | 2019-06-07 | 2021-08-10 | Microsoft Technology Licensing, Llc | Haptic rendering |
US20210056391A1 (en) * | 2019-08-20 | 2021-02-25 | Mind Machine Learning, Inc. | Systems and Methods for Simulating Sense Data and Creating Perceptions |
US11079874B2 (en) * | 2019-11-19 | 2021-08-03 | Cirrus Logic, Inc. | Virtual button characterization engine |
CN112083803B (zh) * | 2020-08-28 | 2023-11-28 | 西交利物浦大学 | 一种虚拟现实环境下模拟重量和重心的设备和方法 |
WO2022139643A1 (en) * | 2020-12-22 | 2022-06-30 | Telefonaktiebolaget Lm Ericsson (Publ) | Methods and devices related to extended reality |
KR102318215B1 (ko) | 2021-04-12 | 2021-10-27 | (주)이지템 | 가상 심박동 기기 및 그 기기의 구동 방법 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014082A (ja) * | 1999-06-25 | 2001-01-19 | Sentan Kagaku Gijutsu Incubation Center:Kk | 神経インターフェイスシステム |
US20060264774A1 (en) * | 2005-08-25 | 2006-11-23 | Outland Research, Llc | Neurologically Controlled Access to an Electronic Information Resource |
JP2009060946A (ja) * | 2007-09-04 | 2009-03-26 | Univ Of Tsukuba | 装着式動作補助装置及びその制御方法及びプログラム |
JP2010540088A (ja) * | 2007-09-27 | 2010-12-24 | イマージョン コーポレーション | 触覚フィードバックによる生物学的感知 |
JP2012524636A (ja) * | 2009-04-24 | 2012-10-18 | アドバンスド ブレイン モニタリング,インコーポレイテッド | 適応的行動トレーナー |
JP2014209329A (ja) * | 2013-03-15 | 2014-11-06 | イマージョンコーポレーションImmersion Corporation | 触覚効果のパラメータを修正するためのシステムおよび方法 |
WO2015044851A2 (en) * | 2013-09-25 | 2015-04-02 | Mindmaze Sa | Physiological parameter measurement and feedback system |
CN204360325U (zh) * | 2015-01-15 | 2015-05-27 | 深圳市掌网立体时代视讯技术有限公司 | 一种头戴式多通道交互系统 |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
JP2015172943A (ja) * | 2007-09-14 | 2015-10-01 | 国立研究開発法人産業技術総合研究所 | バーチャルリアリティ環境生成装置及びコントローラ装置 |
US20150346810A1 (en) * | 2014-06-03 | 2015-12-03 | Otoy, Inc. | Generating And Providing Immersive Experiences To Users Isolated From External Stimuli |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0743839A4 (en) * | 1994-02-09 | 1999-02-10 | Univ Iowa Res Found | HUMAN GROUND BRAIN CORNEAL PROSTHESIS |
JP2000501033A (ja) | 1995-11-30 | 2000-02-02 | ヴァーチャル テクノロジーズ インコーポレイテッド | 触覚をフィードバックする人間/機械インターフェース |
US6028593A (en) | 1995-12-01 | 2000-02-22 | Immersion Corporation | Method and apparatus for providing simulated physical interactions within computer generated environments |
US8508469B1 (en) | 1995-12-01 | 2013-08-13 | Immersion Corporation | Networked applications including haptic feedback |
US7305268B2 (en) * | 2000-07-13 | 2007-12-04 | Northstar Neurscience, Inc. | Systems and methods for automatically optimizing stimulus parameters and electrode configurations for neuro-stimulators |
CN1254296C (zh) | 2001-05-11 | 2006-05-03 | 皇家菲利浦电子有限公司 | 一种标示语言启动的装置和操作一组装置的方法 |
JP2006323649A (ja) * | 2005-05-19 | 2006-11-30 | Mitsubishi Electric Corp | 味発生装置および香り発生装置および感覚発生装置 |
CN104063056B (zh) * | 2006-04-06 | 2018-04-20 | 意美森公司 | 用于增强的触觉效果的系统和方法 |
GB2467461B (en) | 2007-09-14 | 2012-03-07 | Nat Inst Of Advanced Ind Scien | Virtual reality environment generating apparatus and controller apparatus |
WO2009042170A1 (en) | 2007-09-26 | 2009-04-02 | Medtronic, Inc. | Therapy program selection |
JP5477740B2 (ja) * | 2009-11-02 | 2014-04-23 | 独立行政法人情報通信研究機構 | 多感覚インタラクションシステム |
EP2552304B1 (en) | 2010-03-31 | 2015-09-23 | Agency For Science, Technology And Research | Brain-computer interface system and method |
KR101505060B1 (ko) * | 2010-08-24 | 2015-03-26 | 한국전자통신연구원 | 가상 현실 연동 서비스 제공 시스템 및 그 방법 |
US9128523B2 (en) * | 2012-12-20 | 2015-09-08 | Amazon Technologies, Inc. | Dynamically generating haptic effects from audio data |
US9390630B2 (en) * | 2013-05-03 | 2016-07-12 | John James Daniels | Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation |
JP5486123B1 (ja) * | 2013-10-12 | 2014-05-07 | 純馬 青木 | 匂い呈示装置および方法 |
US9955895B2 (en) * | 2013-11-05 | 2018-05-01 | The Research Foundation For The State University Of New York | Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces |
US20150187188A1 (en) | 2013-12-30 | 2015-07-02 | Aliphcom | Communications using tactile stimuli on wearable devices |
US10437341B2 (en) | 2014-01-16 | 2019-10-08 | Immersion Corporation | Systems and methods for user generated content authoring |
US10067566B2 (en) * | 2014-03-19 | 2018-09-04 | Immersion Corporation | Systems and methods for a shared haptic experience |
KR20160138137A (ko) | 2014-03-21 | 2016-12-02 | 임머숀 코퍼레이션 | 햅틱적으로 인에이블되는 곡면형 디바이스들을 위한 시스템 및 방법 |
US9690370B2 (en) | 2014-05-05 | 2017-06-27 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
US10613627B2 (en) | 2014-05-12 | 2020-04-07 | Immersion Corporation | Systems and methods for providing haptic feedback for remote interactions |
US9830781B2 (en) | 2014-06-13 | 2017-11-28 | Verily Life Sciences Llc | Multipurpose contacts for delivering electro-haptic feedback to a wearer |
US9655532B2 (en) * | 2015-06-19 | 2017-05-23 | Michael Blake | Wearable physiological monitoring and notification system based on real-time heart rate variability analysis |
-
2016
- 2016-01-13 US US14/994,720 patent/US10031580B2/en active Active
-
2017
- 2017-01-10 KR KR1020170003484A patent/KR20170085000A/ko not_active Application Discontinuation
- 2017-01-11 JP JP2017002732A patent/JP7089846B2/ja active Active
- 2017-01-12 CN CN201710022334.2A patent/CN106990834A/zh active Pending
- 2017-01-13 EP EP17151380.7A patent/EP3193241A1/en not_active Ceased
-
2018
- 2018-06-25 US US16/016,824 patent/US10386924B2/en not_active Expired - Fee Related
-
2019
- 2019-07-24 US US16/520,485 patent/US11237633B2/en active Active
-
2021
- 2021-08-18 JP JP2021133295A patent/JP2021193575A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001014082A (ja) * | 1999-06-25 | 2001-01-19 | Sentan Kagaku Gijutsu Incubation Center:Kk | 神経インターフェイスシステム |
US20060264774A1 (en) * | 2005-08-25 | 2006-11-23 | Outland Research, Llc | Neurologically Controlled Access to an Electronic Information Resource |
JP2009060946A (ja) * | 2007-09-04 | 2009-03-26 | Univ Of Tsukuba | 装着式動作補助装置及びその制御方法及びプログラム |
JP2015172943A (ja) * | 2007-09-14 | 2015-10-01 | 国立研究開発法人産業技術総合研究所 | バーチャルリアリティ環境生成装置及びコントローラ装置 |
JP2010540088A (ja) * | 2007-09-27 | 2010-12-24 | イマージョン コーポレーション | 触覚フィードバックによる生物学的感知 |
JP2012524636A (ja) * | 2009-04-24 | 2012-10-18 | アドバンスド ブレイン モニタリング,インコーポレイテッド | 適応的行動トレーナー |
JP2014209329A (ja) * | 2013-03-15 | 2014-11-06 | イマージョンコーポレーションImmersion Corporation | 触覚効果のパラメータを修正するためのシステムおよび方法 |
WO2015044851A2 (en) * | 2013-09-25 | 2015-04-02 | Mindmaze Sa | Physiological parameter measurement and feedback system |
JP2015130168A (ja) * | 2013-12-31 | 2015-07-16 | イマージョン コーポレーションImmersion Corporation | 摩擦拡張制御、及び、タッチコントロールパネルのボタンを摩擦拡張制御部へと変換する方法 |
US20150346810A1 (en) * | 2014-06-03 | 2015-12-03 | Otoy, Inc. | Generating And Providing Immersive Experiences To Users Isolated From External Stimuli |
CN204360325U (zh) * | 2015-01-15 | 2015-05-27 | 深圳市掌网立体时代视讯技术有限公司 | 一种头戴式多通道交互系统 |
Non-Patent Citations (3)
Title |
---|
CHIN ET AL.: "Online performance evaluation of motor imagery BCI with augmented-reality virtual hand feedback", IN: 2010 ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY[ONLINE], JPN6020050723, 2010, pages 3341 - 3344, XP032109608, ISSN: 0004488379, DOI: 10.1109/IEMBS.2010.5627911 * |
LEEB ET AL.: "Self-Paced (Asynchronous) BCI Control of a Wheelchair in Virtual Environments: A Case Study with a T", COMPUTATIONAL INTELLIGENCE AND NEURTOSCIENCE[ONLINE], vol. Volume 2007, Article ID 79642, JPN6020050726, 2007, pages 1 - 8, ISSN: 0004419632 * |
LOTTE ET AL., COMBINING BCI WITH VIRTUAL REALITY: TOWARDS NEW APPLICATIONS AND IMPROVED[ONLINE], JPN6020050724, 2012, pages 197 - 220, ISSN: 0004488380 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022509752A (ja) * | 2018-10-29 | 2022-01-24 | コグニクソン | 拡張現実のための脳コンピュータ・インターフェース |
Also Published As
Publication number | Publication date |
---|---|
JP7089846B2 (ja) | 2022-06-23 |
KR20170085000A (ko) | 2017-07-21 |
US10386924B2 (en) | 2019-08-20 |
US20200057500A1 (en) | 2020-02-20 |
CN106990834A (zh) | 2017-07-28 |
JP2021193575A (ja) | 2021-12-23 |
US20170199569A1 (en) | 2017-07-13 |
US10031580B2 (en) | 2018-07-24 |
US11237633B2 (en) | 2022-02-01 |
US20180341331A1 (en) | 2018-11-29 |
EP3193241A1 (en) | 2017-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7089846B2 (ja) | 触覚対応ニューラルインターフェースのためのシステム及び方法 | |
US20230381059A1 (en) | Wearable Devices, Systems, Methods and Architectures for Sensory Stimulation and Manipulation and Physiological Data Acquisition | |
US20170131775A1 (en) | System and method of haptic feedback by referral of sensation | |
US10437335B2 (en) | Wearable electronic, multi-sensory, human/machine, human/human interfaces | |
US10695574B2 (en) | Sensory input through non-invasive brain stimulation | |
US10297122B2 (en) | Wearable haptic effects with permissions settings | |
KR101630864B1 (ko) | 감정을 전달하는 방법 및 시스템 | |
US20170011602A1 (en) | Wearable haptic feedback devices and methods of fabricating wearable haptic feedback devices | |
US11294451B2 (en) | Virtual reality system capable of communicating sensory information | |
US11467668B2 (en) | System and method for representing virtual object information with haptic stimulation | |
EP3328267B1 (en) | System for provoking a physiological response | |
US11809629B1 (en) | Wearable electronic device for inducing transient sensory events as user feedback | |
Longo et al. | Using brain-computer interface to control an avatar in a virtual reality environment | |
JP7017777B2 (ja) | 情報処理装置、情報処理方法、および、情報処理装置用プログラム | |
Lloyd | In touch with the future: the sense of touch from cognitive neuroscience to virtual reality | |
US12001608B2 (en) | System and method for representing virtual object information with haptic stimulation | |
US20230400923A1 (en) | Wearable Electronic Device for Inducing Transient Sensory Events as User Feedback | |
CN115220571A (zh) | 一种基于人机交互的沉浸式训练系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210402 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210422 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210818 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211222 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220301 |
|
C302 | Record of communication |
Free format text: JAPANESE INTERMEDIATE CODE: C302 Effective date: 20220329 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20220405 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20220412 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220517 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7089846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |