JP2019527416A - A new method to accurately decode human intentions about movement from brain signals - Google Patents
A new method to accurately decode human intentions about movement from brain signals Download PDFInfo
- Publication number
- JP2019527416A JP2019527416A JP2019500670A JP2019500670A JP2019527416A JP 2019527416 A JP2019527416 A JP 2019527416A JP 2019500670 A JP2019500670 A JP 2019500670A JP 2019500670 A JP2019500670 A JP 2019500670A JP 2019527416 A JP2019527416 A JP 2019527416A
- Authority
- JP
- Japan
- Prior art keywords
- intention
- imagination
- thought
- decoding
- individual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 210000004556 brain Anatomy 0.000 title claims description 23
- 230000033001 locomotion Effects 0.000 title description 28
- 238000000034 method Methods 0.000 title description 22
- 230000001953 sensory effect Effects 0.000 claims abstract description 21
- 230000000638 stimulation Effects 0.000 claims abstract description 13
- 230000007177 brain activity Effects 0.000 claims abstract description 9
- 241001465754 Metazoa Species 0.000 claims abstract description 5
- 238000004590 computer program Methods 0.000 claims abstract 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 7
- 238000004497 NIR spectroscopy Methods 0.000 claims description 6
- 230000003542 behavioural effect Effects 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000002610 neuroimaging Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 2
- 238000002582 magnetoencephalography Methods 0.000 claims 1
- 230000009471 action Effects 0.000 description 11
- 238000000537 electroencephalography Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 210000001638 cerebellum Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000001720 vestibular Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000004973 motor coordination Effects 0.000 description 2
- 230000001936 parietal effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000238633 Odonata Species 0.000 description 1
- 241000288906 Primates Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000001339 gustatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000002435 tendon Anatomy 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/377—Electroencephalography [EEG] using evoked responses
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
- A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
- A61B5/246—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals using evoked responses
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Psychiatry (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- User Interface Of Digital Computer (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
ヒトまたは動物用の、意思、想像、または思考のデコーディングシステムであって、ａ．脳活動の記録または測定システムと、ｂ．上記デコーディング対象である意思、想像、または思考に関連する１つ以上の人工的に引き起こした感覚的手がかりおよび／または刺激を適用する、感覚刺激システムと、ｃ．上記感覚的手がかりまたは刺激の存在下、またはその直後に記録された脳活動を分析し、上記意思、想像、または思考をデコードする、コンピュータプログラムまたはアルゴリズムと、を有する、デコーディングシステム。【選択図】図２A human, animal, intention, imagination or thought decoding system comprising: a. A system for recording or measuring brain activity; b. A sensory stimulation system that applies one or more artificially induced sensory cues and / or stimuli associated with the intention, imagination, or thought being decoded; c. A decoding system comprising: a computer program or algorithm that analyzes brain activity recorded in or immediately after the presence of the sensory cues or stimuli and decodes the intention, imagination, or thought. [Selection] Figure 2
Description
本開示は、動作（movement）に関するヒトの意思（intention）を脳信号から正確にデコード（decode、解読）する方法に関する。 The present disclosure relates to a method for accurately decoding human intentions about movement from brain signals.
ブレイン・マシーン・インターフェース（ＢＭＩ）とは、生物の脳と機械との人工的接続を指す。当該インターフェースは、通常、３つの工程を含む。１）脳のイメージング／レコーディング：脳活動中の電磁信号または血流信号を記録するプロセス。２）デコーディング：記録された信号が何を意味しているかを理解する。３）機械の駆動：上記の理解を用いて、機械を駆動し制御する（図１）。例えば、ＢＭＩを用いて、肢切断患者に人工肢を与えることができる。この場合、脳信号を記録し（脳波記録（ＥＥＧ）、機能的磁気共鳴画像法（ｆＭＲＩ）、近赤外線分光法（ＮＩＲＳ）など）、ヒトがどんな動作をしたがっているかをデコードし、それから人工肢を駆動し所望の動作をさせる必要がある。 Brain machine interface (BMI) refers to the artificial connection between the brain of a living organism and a machine. The interface usually includes three steps. 1) Brain imaging / recording : The process of recording electromagnetic or blood flow signals during brain activity. 2) Decoding : Understand what the recorded signal means. 3) Driving the machine : Using the above understanding, drive and control the machine (FIG. 1). For example, BMI can be used to provide an artificial limb to a limb amputee. In this case, brain signals are recorded (electroencephalogram recording (EEG), functional magnetic resonance imaging (fMRI), near infrared spectroscopy (NIRS), etc.), decoding what the human wants to do , and then the artificial limb It is necessary to drive and perform a desired operation.
ＢＭＩにとって最大の難問は、おそらく、デコーディングであり、とりわけ、ヒトがどんな動作をしたがっているかを短時間のうちに脳信号から理解することである。（２クラスの）デコーダーの最高の性能ですら、今までのところ、動作が行われない場合（想像されるだけの場合）、７０％を超えていない。被験者が動作をするときでも、デコード能力の正確さは、動作に関する信号を用いない場合、８５％を超えない（非特許文献２３）。ここで、本発明の発明者らは、新たな（アクティブデコーディング）方法を提供する。当該方法は運動神経科学の理論に基づいており、この性能を急激に向上させるものであり、被験者が意思を思い浮かべて１００ｍｓのうちに、〜９０％の正確さで意思をデコードする。 The biggest challenge for BMI is probably decoding, especially to understand what humans want to do from brain signals in a short time. Even the best performance of a (2 class) decoder has so far not exceeded 70% if no action is taken (only imagined). Even when the test subject operates, the accuracy of the decoding capability does not exceed 85% when a signal related to the operation is not used (Non-patent Document 23). Here, the inventors of the present invention provide a new (active decoding) method. The method is based on the theory of motor neuroscience, and this performance is rapidly improved. The subject imagines the intention and decodes the intention with an accuracy of ˜90% within 100 ms.
上記新技術の主要な特徴は、「アクティブな」デコーディング技術であることである。なぜアクティブかというと、上記技術が、脳信号の記録と並行して、デコードされる動作の意思に対応する感覚システムへの人工刺激を用いることを提案しているからである。 The main feature of the new technology is that it is an “active” decoding technology. The reason why it is active is that the above technique proposes to use artificial stimulation to the sensory system corresponding to the intention of the action to be decoded in parallel with the recording of the brain signal.
（神経科学の動機および原理）
このようなアクティブな手段をとる理由は神経科学に基づく。運動神経科学では、ヒトの動作が、自己により生成される行為（self-generated action）についての感覚信号を推定（estimate）し予測（predict）する脳の能力によってクリティカルに決定されることが十分に確立されている（非特許文献１〜４）。従来のヒトの運動研究（非特許文献５〜８）、ヒト以外の霊長類の運動研究（非特許文献９〜１１）、トリの運動研究（非特許文献１２）、および昆虫の運動研究（非特許文献１３）によれば、自己により生成される行為についての推定は、運動命令を、自己の行為の予測される感覚的結果へと変換する順モデル（forward model）によって行われる（非特許文献１４、１５）。近年の研究によれば、同じ順モデルは、観察された動作についての感覚的アウトプットも同様に予測する。脳は予測誤差、すなわち（順モデルからの）予測と実際の感覚的アウトプットとの差異を計算し、自己により生成される行為についての知覚を生成し（非特許文献１６〜１９）、オンラインでの運動制御の内部モデルを更新し（非特許文献２０）、運動学習を更新する（非特許文献２１）。本発明の発明者らにとって重要なことに、順モデルは、行為の生成時にアクティブであるだけでなく、行為が想像された時でもアクティブであると考えられる（非特許文献２４、２５）。ここで、本発明の発明者らは、この事実を用いて、想像された意思をデコードする新たな方法を開発する。
(Motivation and principle of neuroscience)
The reason for taking such active measures is based on neuroscience. In motor neuroscience, it is sufficient that human movement is critically determined by the ability of the brain to estimate and predict sensory signals for self-generated actions. It has been established (Non-Patent Documents 1 to 4). Conventional human movement research (Non-Patent Documents 5 to 8), non-human primate movement research (Non-Patent Documents 9 to 11), bird movement research (Non-Patent Document 12), and insect movement research (Non-Patent Documents 9 to 11) According to Patent Document 13), the estimation of the acts that are generated by the self, the exercise instruction, (non-patent document performed by the forward model to convert into sensory expected results of its own actions (forward model) 14, 15). According to recent studies, the same forward model predicts sensory output for the observed behavior as well. The brain calculates the prediction error , ie the difference between the prediction (from the forward model) and the actual sensory output, generates a perception of the action generated by itself (Non-Patent Documents 16-19), and online The internal model of motor control is updated (Non-patent document 20), and motor learning is updated (Non-patent document 21). Important to the inventors of the present invention, the forward model is considered not only active when an action is generated, but also active when an action is imagined (24, 25). Here, the inventors of the present invention use this fact to develop a new method for decoding an imagined intention.
本発明の発明者らは、脳信号から、意思を直接デコードするのではなく、予測誤差をデコードして、それにより、被験者が想像した意思がどのようなものかを決定する。脳による予測誤差の生成を促すため、本発明の発明者らは、脳に実際の感覚信号をアクティブに提供することを必要とする。したがって、本発明の発明者らのアイデアは、被験者が動こうと意思しているときに特定の感覚的刺激を送り、誤差信号をデコードし（被験者が、送られた感覚信号に対応して動こうとしているか否かをデコードし）、それにより被験者の動作の意思をデコードすることである（図２）。 The inventors of the present invention do not decode the intention directly from the brain signal, but rather decode the prediction error, thereby determining what the subject has imagined. In order to encourage the generation of prediction errors by the brain, the inventors of the present invention need to actively provide actual sensory signals to the brain. Therefore, the idea of the inventors of the present invention is to send a specific sensory stimulus when the subject is willing to move and decode the error signal (the subject moves in response to the sent sensory signal). Decoding whether or not this is the case), thereby decoding the intention of the subject's movement (FIG. 2).
このやり方は、以下に掲げるいくつの理由により、ずっとロバストで効率的であると、本発明の発明者らは考える。
１）意思は、脳の活性化の点で、極めて主観的に異なり得る複雑な現象である。最終的な動作の方向（または誤差）の方が、はるかに低次元な信号であり、複数の被験者のあいだで類似することもおそらく間違いなく容易である。
２）順モデルは運動システムの重要な一部であり、誤差信号は多くの運動動作にとって不可欠である。したがって、本発明の発明者らは、誤差信号は脳活動において大きな特徴を有すると考える。
３）本発明の発明者らの方法は、意思を探知するために、順モデルをアクティブに妨害する方法を提供する。これは、「それぞれの」意思をデコードするために、当該方法は、異なる種類の妨害による複数の（別々の）記録を可能にすることを意味する。したがって、当該方法は、動作の意思に関するはるかに豊かな脳データを得ることを期待させるものである。
The inventors of the present invention consider this approach to be much more robust and efficient for several reasons:
1) Intention is a complex phenomenon that can vary very subjectively in terms of brain activation. The final direction of motion (or error) is a much lower dimensional signal and is definitely easier to resemble among multiple subjects.
2) The forward model is an important part of the motion system and the error signal is essential for many motion motions. Therefore, the inventors of the present invention consider that the error signal has a significant feature in brain activity.
3) Our method of the present invention provides a way to actively disturb the forward model to detect intentions. This means that, in order to decode “each” intention, the method allows multiple (separate) recordings with different kinds of disturbances. Therefore, this method is expected to obtain much richer brain data regarding the intention of movement.
不可欠なアイデアは、脳活動から動作の意思を直接デコードする代わりに、予測誤差をデコードする点である。脳活動は１つ以上の脳イメージング様式（例えば、脳波記録（ＥＥＧ）、脳磁図（ＭＥＧ）、近赤外線分光法（ＮＩＲＳ）、機能的磁気共鳴画像法（ｆＭＲＩ）など）によって測定してよい。 An essential idea is to decode the prediction error instead of decoding the intention of movement directly from the brain activity. Brain activity may be measured by one or more brain imaging modalities (eg, electroencephalography (EEG), magnetoencephalogram (MEG), near infrared spectroscopy (NIRS), functional magnetic resonance imaging (fMRI), etc.).
本発明の発明者らはこの方法を動作の意思のデコーディングに提案するが、同じやり方は、自己の想像した動作または思考あるいは他者において観察された動作または思考をデコーディングするのにも用い得る。予測誤差のデコーディングは、意思、想像または思考に従って実際の動作が行われる（または観察される）際に活性化される可能性が高い感覚様式（sensory modus）による刺激を必要とする。なぜなら、それこそ、順モデルが強く予測するであろうものだからである。例えば、ヒトまたは動物の意思した手の動作をデコードすることが目標である場合、（デコーディングに必要な）刺激は、ヒト／動物が自己の手が動いている（実際にはそうでなくても）と感じるように、手の動作（おそらく、腱の振動）に対応したものであるべきである。歩く意思の有無のデコードが目標である場合は、（デコーディングに必要な）刺激は、ヒト／動物が、自己が歩いている（実際にはそうでなくても）と感じるようなものであるべきである。 The inventors of the present invention propose this method for decoding intentions of action, but the same approach can also be used to decode actions or thoughts that one imagines or has been observed in others. obtain. Prediction error decoding requires stimulation with a sensory modus that is likely to be activated when an actual action is performed (or observed) according to intention, imagination or thought. This is because the forward model will predict strongly. For example, if the goal is to decode the movement of a human or animal's intended hand, the stimulus (necessary for decoding) is that the human / animal has its own hand moving (actually not Should also correspond to hand movements (probably tendon vibrations). When the goal is to decode the intention to walk, the stimulus (necessary for decoding) is such that the human / animal feels that he / she is walking (but not really) Should.
予測誤差は、感覚的手がかり（sensory cue）のトレーニング関連付け（条件付けトレーニングのような）を用いて準備してよい。感覚的手がかりは、聴覚および／または視覚および／または触覚および／または嗅覚および／または味覚でよく、行ったまたは観察した動作の前でも後でもよい。同様に、他の人工的な、電気的、機械的または磁気的刺激を、身体の感覚システムに入力としてトレーニングし、動作の意思、想像、または思考と関連付けてもよい。そのようなトレーニングにより、刺激中における予測誤差の強度を手がかりを用いて増大させてもよく、あるいは、感覚的刺激の代わりに、トレーニングされた手がかりを提供して、脳内で予測誤差を生成し、意思、想像、または思考をデコードしてもよい。このように、用いられるタスクおよびトレーニングのパラダイムに応じて、刺激または手がかりは、意思、想像、または思考と並行してまたは直後に提示される必要がある。 Prediction errors may be prepared using sensory cue training associations (such as conditioning training). The sensory cues may be auditory and / or visual and / or tactile and / or olfactory and / or gustatory, and may be before or after the performed or observed movement. Similarly, other artificial, electrical, mechanical, or magnetic stimuli may be trained as input into the body's sensory system and associated with movement intentions, imagination, or thoughts. Such training may increase the strength of prediction errors during stimulation using cues, or provide trained cues instead of sensory stimuli to generate prediction errors in the brain. May decode intentions, imaginations, or thoughts. Thus, depending on the task and training paradigm used, stimuli or cues need to be presented in parallel or immediately after intention, imagination, or thought.
最後に、本発明の発明者らは、たとえ刺激がごくわずかでもデコーディングは機能すること――動作の知覚的幻影を作り出すには不十分なほどごくわずかな刺激でも、デコーディングには大きな助けとなることを、経験から示すことができる。すなわち、被験者は何ら刺激または知覚的混乱に気付くことがない。 Finally, the inventors of the present invention have shown that decoding works even with very little stimulus-even very little stimulus that is insufficient to create a perceptual illusion of motion is a great help for decoding. Can show from experience. That is, the subject does not notice any stimulus or perceptual confusion.
（予備試験／検証）
予備設定として、本発明の発明者らは、車椅子のユーザ向けの技術を調べ、車椅子のユーザが車椅子をどちらの方向に曲がらせたいかをデコードした。本発明の発明者らは、市販の脳波記録（ＥＥＧ）システムを用いて脳信号を記録した。ヒトにおける動作方向の変化の主要な知覚フィードバックは前庭器官から来るので、本発明の発明者らは、ヒトの前庭器官を刺激する、（大阪大学による）特注の電気的前庭スティミュレータ（ＧＶＳ）を用いた。しかし、本発明の発明者らは、極めて低いＧＶＳ刺激を用いたので、ヒトの被験者には（動作として）知覚されなかった。それから、本発明の発明者らは、スパースロジスティック回帰アルゴリズム（非特許文献２２）を用いた。このアルゴリズムは、ＧＶＳ信号の方向が、ユーザが車椅子を曲がらせたい方向に合致するか否かをデコードするものである。
(Preliminary test / verification)
As a preliminary setting, the inventors of the present invention investigated the technology for wheelchair users and decoded which direction the wheelchair user wanted to turn the wheelchair. The inventors of the present invention recorded brain signals using a commercially available electroencephalography (EEG) system. Since the main perceptual feedback of movement direction changes in humans comes from the vestibular organs, the inventors of the present invention provide a custom-made electrical vestibule stimulator (GVS) (by Osaka University) that stimulates the human vestibular organs. Using. However, since the inventors of the present invention used very low GVS stimulation, they were not perceived (as motion) by human subjects. Then, the inventors of the present invention used a sparse logistic regression algorithm (Non-Patent Document 22). This algorithm decodes whether or not the direction of the GVS signal matches the direction in which the user wants to turn the wheelchair.
まとめると、本発明の発明者らは、被験者に、自分の椅子が左または右に曲がると想像してもらい、想像するあいだに小さなＧＶＳ刺激を与え、そして、被験者が想像していることが刺激（方向）と対応するかどうか評価することにより、ＥＥＧ信号から、被験者が想像していることをデコードできる。本発明の発明者らは、５名の参加者にこの技術を試し、ＧＶＳの開始後９６ｍｓのＥＥＧデータから、〜９０％の精度で意思をデコードした。 In summary, the inventors of the present invention have the subject imagine that his chair bends left or right, gives a small GVS stimulus while envisioning, and stimulates that the subject is imagining By evaluating whether or not it corresponds to (direction), it is possible to decode what the subject imagines from the EEG signal. The inventors of the present invention tried this technique with 5 participants and decoded their intention with ~ 90% accuracy from 96 ms EEG data after the start of GVS.
（オンラインかつ連続的なデコーディングへの拡張）
現在のところ、本発明の発明者らは、上記方法を、オフラインの個別化された手段で検証した。当該手段では、被験者に自分が右または左に曲がると想像してもらった。この特定の実験では、被験者の前庭器官を一度だけ刺激し、その後、曲がる意思をＥＥＧ信号からデコードできるかを調べた。
(Extension to online and continuous decoding)
At present, the inventors of the present invention have verified the above method with off-line personalized means. With this means, the subject had imagined that he would turn right or left. In this particular experiment, the subject's vestibular organs were stimulated only once and then examined to see if the intention to bend could be decoded from the EEG signal.
しかし、上記方法（および、デコーディングが＜１００ｍｓでできるという事実）は、リアルタイムでの適用に至る見込みを与えるものである。リアルタイムでの適用では、オンラインで、いかなるタスク（例えば、車椅子の操作）のあいだでも、１００ｍｓ（デコーディングに必要な時間）毎に繰り返される刺激を用いて、動作の意思を絶えずデコードすることができる。これらの刺激はランダムでも、数が少なくても、周期的でも、常時でもよい。これらの刺激は、タスク中の他の生理的変数、行動変数、または環境変数と同時に与えられてもよいし、タスク中の他の生理的変数、行動変数、または環境変数によってトリガされてもよい。実際、複数の刺激を用いることで、デコーディングの性能をさらに高めることができる。 However, the above method (and the fact that decoding can be done in <100 ms) gives the prospect of real-time application. For real-time applications, the intention of motion can be continuously decoded online with stimuli repeated every 100 ms (time required for decoding) during any task (eg, wheelchair operation) . These stimuli may be random, small in number, periodic or constant. These stimuli may be given at the same time as other physiological, behavioral, or environmental variables in the task, or may be triggered by other physiological, behavioral, or environmental variables in the task . In fact, decoding performance can be further enhanced by using multiple stimuli.
１）ＢＭＩ：本発明の発明者らの方法は、脳から運動の意思をデコードする力を大幅に向上させ、それゆえ、人工装具や、娯楽や、ロボット用途に用いられるブレイン・マシーン・インターフェースに不可欠となるであろう。
２）神経科学：本発明の発明者らの方法は、脳内の予測誤差信号の存在を示すものであり、神経科学者が、脳、とりわけ感覚運動システムの機能をより理解するのに役に立つ。
３）医療診断：上記方法を医療診断に用いることができる。デコーディングを刺激と組み合わせて、脳の正常／異常機能を決定するのに役立ち得るからである。したがって、上記方法は、健康な個人、年配の個人、または罹患した個人の意思、想像、または思考をデコードするのに役立ち得る。
1) BMI: Our method of the present invention greatly improves the ability to decode motor intentions from the brain, and thus is a brain machine interface used for prosthetics, entertainment and robotic applications. It will be essential.
2) Neuroscience: Our method indicates the presence of a prediction error signal in the brain and helps the neuroscientist better understand the function of the brain, especially the sensorimotor system.
3) Medical diagnosis: The above method can be used for medical diagnosis. Because decoding can be combined with stimuli to help determine normal / abnormal brain function. Thus, the method may be useful for decoding the intentions, imaginations, or thoughts of healthy individuals, elderly individuals, or affected individuals.
Claims (12)
ａ．脳活動の記録または測定システムと、
ｂ．デコーディング対象である上記意思、想像、または思考に関連する１つ以上の人工的に引き起こされた感覚的手がかりおよび／または刺激を適用する、感覚刺激システムと、
ｃ．上記感覚的手がかりまたは刺激の存在下、またはその直後に記録された脳活動を分析し、上記意思、想像、または思考をデコードする、コンピュータプログラムまたはアルゴリズムと、を有する、デコーディングシステム。 A human, animal, intention, imagination or thought decoding system,
a. A recording or measuring system of brain activity;
b. A sensory stimulation system that applies one or more artificially induced sensory cues and / or stimuli associated with the intention, imagination, or thought being decoded;
c. A decoding system comprising: a computer program or algorithm that analyzes brain activity recorded in or immediately after the presence of the sensory cues or stimuli and decodes the intention, imagination, or thought.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2016/001185 WO2018011615A1 (en) | 2016-07-13 | 2016-07-13 | System for precise decoding of movement related human intention from brain signal |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2019527416A true JP2019527416A (en) | 2019-09-26 |
| JP2019527416A5 JP2019527416A5 (en) | 2021-01-14 |
| JP6884349B2 JP6884349B2 (en) | 2021-06-09 |
Family
ID=56877070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019500670A Active JP6884349B2 (en) | 2016-07-13 | 2016-07-13 | A new way to accurately decode human intentions about movement from brain signals |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP3484356A1 (en) |
| JP (1) | JP6884349B2 (en) |
| WO (1) | WO2018011615A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12118718B2 (en) | 2021-01-27 | 2024-10-15 | Canon Medical Systems Corporation | Medical information processing apparatus, medical information processing method, and non-transitory computer-readable medium |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109078262B (en) * | 2018-08-15 | 2022-11-01 | 北京机械设备研究所 | MI-BCI training method based on peripheral nerve electrical stimulation |
| CN109359403B (en) * | 2018-10-29 | 2023-04-18 | 上海市同济医院 | Schizophrenia early diagnosis model based on facial expression recognition magnetic resonance imaging and application thereof |
| KR102276991B1 (en) * | 2018-11-06 | 2021-07-13 | 고려대학교 산학협력단 | Apparatus and method for controlling wearable robot by detecting motion intention of users based on brain machine interface |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011140303A1 (en) * | 2010-05-05 | 2011-11-10 | University Of Maryland, College Park | Time domain-based methods for noninvasive brain-machine interfaces |
| AT515038B1 (en) * | 2013-10-21 | 2015-12-15 | Guger Christoph Dipl Ing Dr Techn | Method for quantifying the perceptibility of a person |
-
2016
- 2016-07-13 WO PCT/IB2016/001185 patent/WO2018011615A1/en unknown
- 2016-07-13 JP JP2019500670A patent/JP6884349B2/en active Active
- 2016-07-13 EP EP16760777.9A patent/EP3484356A1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12118718B2 (en) | 2021-01-27 | 2024-10-15 | Canon Medical Systems Corporation | Medical information processing apparatus, medical information processing method, and non-transitory computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018011615A1 (en) | 2018-01-18 |
| EP3484356A1 (en) | 2019-05-22 |
| JP6884349B2 (en) | 2021-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tieri et al. | Virtual reality in cognitive and motor rehabilitation: facts, fiction and fallacies | |
| Stangl et al. | Mobile cognition: imaging the human brain in the ‘real world’ | |
| US11904101B2 (en) | Digital virtual limb and body interaction | |
| Findlater et al. | Upper extremity proprioception after stroke: bridging the gap between neuroscience and rehabilitation | |
| Paredes et al. | CalmMeNow: exploratory research and design of stress mitigating mobile interventions | |
| JP6884349B2 (en) | A new way to accurately decode human intentions about movement from brain signals | |
| Tidoni et al. | Illusory movements induced by tendon vibration in right-and left-handed people | |
| Keshner et al. | The untapped potential of virtual reality in rehabilitation of balance and gait in neurological disorders | |
| Avanzino et al. | Action observation: mirroring across our spontaneous movement tempo | |
| Hilt et al. | Motor recruitment during action observation: effect of interindividual differences in action strategy | |
| Bruno et al. | How tool-use shapes body metric representation: Evidence from motor training with and without robotic assistance | |
| Mohammadi Ziabari et al. | An adaptive cognitive temporal-causal network model of a mindfulness therapy based on music | |
| Mottura et al. | A virtual reality system for strengthening awareness and participation in rehabilitation for post-stroke patients | |
| Schoeller et al. | Interoceptive technologies for clinical neuroscience | |
| Russo et al. | Highlights from the 30th Annual Meeting of the Society for the Neural Control of Movement | |
| Ramadan et al. | Unraveling the potential of brain-computer interface technology in medical diagnostics and rehabilitation: A comprehensive literature review | |
| Kilteni | Methods of somatosensory attenuation | |
| Ensastiga et al. | Speed controller-based fuzzy logic for a biosignal-feedbacked cycloergometer | |
| Trocellier et al. | Identifying factors influencing the outcome of BCI-based post stroke motor rehabilitation towards its personalization with Artificial Intelligence | |
| Kavounoudias | Sensation of movement: a multimodal perception | |
| Mazurek et al. | Highlights from the 28th Annual Meeting of the Society for the Neural Control of Movement | |
| JP6973430B2 (en) | Information processing equipment, methods for making information processing equipment simulate intellectual behavior, computer programs, and storage media that store them. | |
| Graceshalini et al. | A Review of Innovation to Human Augmentation in Brain‐Machine Interface–Potential, Limitation, and Incorporation of AI | |
| Grünbaum et al. | Sensation of movement | |
| Ramezanzade et al. | The effect of sonification of visual modeling on relative timing: The role in motor learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A525 Effective date: 20190304 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20201127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6884349 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |