JP2009531077A - Apparatus and method for real time control of effectors - Google Patents

Apparatus and method for real time control of effectors Download PDF


Publication number
JP2009531077A JP2008555746A JP2008555746A JP2009531077A JP 2009531077 A JP2009531077 A JP 2009531077A JP 2008555746 A JP2008555746 A JP 2008555746A JP 2008555746 A JP2008555746 A JP 2008555746A JP 2009531077 A JP2009531077 A JP 2009531077A
Prior art keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Application number
Other languages
Japanese (ja)
Original Assignee
アルバート−ルートウィヒ−ユニベルシタート フライブルグ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アルバート−ルートウィヒ−ユニベルシタート フライブルグ filed Critical アルバート−ルートウィヒ−ユニベルシタート フライブルグ
Publication of JP2009531077A publication Critical patent/JP2009531077A/en
Pending legal-status Critical Current




    • A61F2/00Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/50Prostheses not implantable in the body
    • A61F2/68Operating or control means
    • A61F2/70Operating or control means electrical
    • A61F2/72Bioelectric control, e.g. myoelectric
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36003Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of motor muscles, e.g. for walking assistance
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • A61N1/36025External stimulators, e.g. with patch electrodes for treating a mental or cerebral condition


The present invention relates to an effector real-time control device, which derives an electrode for identifying an input signal from neuronal activity of a patient's brain, and calculates a control signal for the effector from the input signal. And a data processing apparatus with an evaluation unit. In this case, the evaluation unit is configured for training to determine the prediction model, and is configured to calculate the control signal from the input signal by taking the prediction model. At that time, neuronal activity arises from the natural neural information processing process of the brain.
[Selection] Figure 1


本発明は、エフェクターのリアル・タイム制御のための装置と方法に関連している。 The present invention relates to an apparatus and method for real time control of effectors.

重篤な麻痺患者に対する過去の医療技術は、極めて不十分なものであった。近年になって研究されるようになった運動神経機能補綴学は、器質的な治癒がもはや不可能な麻痺患者を対象としている。こうした患者の場合、随意運動のコントロールに重要な領域である皮質または運動皮質は、少なくとも部分的に正常であるにもかかわらず、筋肉への神経接続が中断されているか、あるいは筋肉/身体がもはや存在していない。このような麻痺の主要原因は、虚血性脳梗塞または脳内出血(「脳卒中」)である。 Past medical techniques for patients with severe paralysis have been extremely inadequate. Motor nerve function prosthesis, which has been studied in recent years, is intended for paralyzed patients whose organic healing is no longer possible. In these patients, the cortex or motor cortex, an area important for voluntary movement control, is at least partially normal, but the nerve connection to the muscle is interrupted or the muscle / body is no longer Does not exist. The main cause of such paralysis is ischemic stroke or intracerebral hemorrhage (“stroke”).

とくに深刻なケースは、完全な骨格筋の麻痺(例えば、筋委縮性側索硬化症(ALS)/筋委縮症)または脳幹部分の脳卒中によって随意運動能が失われた、いわゆる閉じ込め症候群の患者である。このような患者は、完全に意識がある状態で、完全な受動的状態を宣告される。同様に、四肢を失った患者や下半身不随の患者も考えられる。こうした麻痺や障害により、患者は自分の意図する動きが実行できなくなる。ここで、および、以下においては、動きという場合、歩くという意味の動作だけではなく、腕の動きや模倣あるいは発話など、それぞれの筋肉の動きを意味している。 The most serious cases are patients with so-called confinement syndrome, where complete skeletal muscle paralysis (eg, amyotrophic lateral sclerosis (ALS) / muscular atrophy) or voluntary motor loss due to stroke of the brainstem is there. Such patients are declared fully passive with full consciousness. Similarly, patients who have lost their limbs or patients who are inferior to the lower body can be considered. These paralysis and disability prevent patients from performing their intended movements. Here and below, movement refers not only to movements that mean walking, but also to movements of each muscle, such as movements of arms, imitation, or speech.

こうしたことから、自分の脳シグナルを使って、プロテーゼを意識的にコントロールして運動能力を回復または向上させたりする試みが行われている。このような神経補綴の核となるのが、いわゆるブレイン・マシン・インターフェース(BMI)である。その機能は、プロテーゼにコマンドを出す場合に患者のニューロン活動を翻訳することである。 For this reason, attempts have been made to restore or improve athletic ability by consciously controlling the prosthesis using own brain signals. The core of such a neural prosthesis is the so-called brain machine interface (BMI). Its function is to translate the patient's neuronal activity when issuing commands to the prosthesis.

従来のBMIシステムは、頭部に取り付けて、脳波(EEG)を記録する電極を基礎としている。患者には、記録された脳活動の一定の側面を意図的に努力して強めたり、弱めたりすることが教えられる。 Conventional BMI systems are based on electrodes that are attached to the head and record brain waves (EEG). Patients are taught to intentionally strive to strengthen or weaken certain aspects of recorded brain activity.

ここでは、それぞれ特定のニューロン活動を利用する、異なる3つのシステムが周知である。 Here, three different systems are known, each utilizing specific neuronal activity.

A)Slow Cortical Potentials(SCPs)(皮質緩電位)
A) Slow Cortical Potentials (SCPs) (cortical slow potential)
SCPs are slow voltage changes across the cortex between 0.5 and 10 seconds. In doing so, negative SCPs are typically associated with other factors of motor or cortical activity, and conversely, positive SCPs are associated with attenuated cortical activity. Typically, during weeks and months of training, patients can learn conscious increases and decreases in SCPs. The “increase” or “decrease” information that can be identified from the outside by EEG can be used for simple cursor operation after the end of training. The disadvantage is that even with long-term rigorous training, there is very little information transmission. That is, only one byte is transmitted in a few seconds during which one SCP continues. In addition, this type of communication makes the patient tired.

B) P300
Auditory, visual or somatosensory stimuli, rare or particularly important potentials produced by normal stimuli, are typically about 300 to stimuli (typically in parietal cortex EEG). The peak of activity occurs with a delay of milliseconds. For example, showing some characters to the patient, and showing these characters sequentially in flash, P300 is strongest at the character desired by the patient. Making this procedure a little faster by showing the characters in columns or columns reveals them from the strongest column or line in P300. The disadvantages of this method are that you can only choose from the choices presented, and that many presentations are required with enough focus to choose just one letter.

C) Mu and β rhythms 8-12 Hz Mu activity and 13-30 Hz β activity occur strongly throughout the somatosensory and motor areas. Mu and β rhythms are usually attenuated by exercise and exercise preparation, while the rhythm is strongest after exercise and at rest. After weeks of training, subjects were able to control the strength of these rhythms, eventually showing that they allowed two-dimensional cursor control independent of the Mu and β rhythms. . In that respect, it is one step ahead of SCPs, but this is only a measure, and the drawbacks are not eliminated. In addition, since the movement affects the Mu rhythm, the accuracy of the control is reduced. Since these methods require sufficient concentration to intentionally generate the relevant brain activity, both in training and in actual use, the patient is quite fatigued. Therefore, patients need to consider that in addition to paralysis, they must also fight another major health problem.

失った運動能力を代替するプロテーゼを使用する上で、別の二次的なことに取り組むという点に関しては、治癒と何ら関係のないことである。さらに、その都度、脳活動を検知することは、比較的多くの時間を要し、しかもわずかな情報しか伝達することができない(典型的には1分間に1〜20バイト)。それによって、BMIの情報伝達幅は極めて小さくなる。この方法では、複雑な動きだけでなく、単純な動きでさえ、制御することはできない。簡単な手紙を書くといった日常の行為でも、毎日かなりの集中力をもってしなければ、かなりの時間が費やされてしまう。 There is nothing to do with healing when it comes to using another prosthesis to replace lost motor skills. Furthermore, each time it takes a relatively long time to detect brain activity, it can only transmit a small amount of information (typically 1-20 bytes per minute). Thereby, the information transmission width of BMI becomes extremely small. In this way, not only complex movements, but even simple movements cannot be controlled. Even in daily activities such as writing a simple letter, if you do not have considerable concentration every day, you will spend a lot of time.

その他に、随意の制御がまだ可能な筋肉の活動によって、プロテーゼを制御できることが周知である。この場合に不利なのは、ひとつには、患者が通常の方法で意思を表現することができない点である。例えば、患者は、まばたきによってコミュニケーションすることに慣れなければならない。もうひとつは、こうした方法の使用領域は限定されており、おそらく完全な閉じ込め症候群の患者の助けにはならないだろう。 In addition, it is well known that the prosthesis can be controlled by muscle activity that still allows optional control. One disadvantage of this is that the patient cannot express his intention in the usual way. For example, patients must get used to communicating by blinking. Second, the area of use of these methods is limited and probably will not help patients with complete confinement syndrome.

従って、本発明の課題は、患者にとって安全かつ簡単な方法で、患者の脳活動により情報伝達率の高いエフェクターを制御するという、コミュニケーションおよび運動能力の可能性を作り出すことである。 The object of the present invention is therefore to create the possibility of communication and motor skills, in which the effector with high information transmission rate is controlled by the patient's brain activity in a safe and simple way for the patient.

この課題は、請求項1による装置、または、請求項13または21による方法により解決される。発明の有利なその他の形態は、下位の請求項に定義されている。 This problem is solved by the device according to claim 1 or the method according to claim 13 or 21. Other advantageous forms of the invention are defined in the subclaims.

その際、発明の方法は、まず、従来のBMIシステムが、任意の信号または意図的に訓練した信号を使用しており、実行しようとする機能のために発信されるオリジナルの、あるいは、本来の生物学的信号とは無関係であるという認識から出発している。従って、そのトレーニングは、しばしば長期間を要し、複雑で自然な動きの制御を妨げるか、あるいは、少なくともかなり困難にする。そこで、本発明は、患者が自分の運動能力を失う前にすでに学習していたような、自然の活動サンプルを利用するという原則から出発している。発明の方法を理解するために補足しておくべき点は、「自然な神経情報処理プロセス」が運動に関連した中枢神経の情報処理そのものを含んでいると理解されなければならないことである。これは健康な人間でも行われ、トレーニングの必要はない。これに対して、「人工的ニューロン・プロセス」は限定的であり、エフェクターを制御するために特別な学習が必要である。あるいは、それが脳の自然な活動に該当するものであっても、本来その活動は、トレーニング前には、学習しなければならない運動とは何の関係もなかったものである。 In doing so, the method of the invention first uses the original or original signal transmitted for the function that the conventional BMI system uses any signal or intentionally trained signal to perform. It starts with the recognition that it has nothing to do with biological signals. Thus, the training often takes a long time, hindering or at least making it quite difficult to control complex and natural movements. Thus, the present invention starts from the principle of using a natural activity sample that the patient has already learned before losing his motor skills. It should be supplemented in order to understand the method of the invention that the “natural neural information processing process” must be understood to include the central nervous system information processing itself associated with movement. This is done even for healthy people and does not require training. In contrast, “artificial neuron processes” are limited and require special learning to control effectors. Or, even if it corresponds to a natural activity of the brain, that activity originally had nothing to do with the exercise that had to be learned before training.

この発明の利点は、簡単にトレーニングできる直接的な方法で、複雑で多様なあらゆる自然の動きの中から、希望する動きにアクセスすることによって、自然の運動信号をそれに該当するプロテーゼの動きに翻訳することができる点である。トレーニングは、慣れた方法による直接的な動きの制御に関連しており、従って、やる気が高まり、合目的であり、すぐに疲労感を感じることもない。また、子供の時に学習した活動サンプルを使用することができるため、全体的として簡単に行うことができる。この方法を使う患者は、それぞれの情報の伝達を人為的に感じることも、努力して学習した感覚をもつこともない。 The advantage of this invention is that it translates a natural motion signal into the corresponding prosthetic motion by accessing the desired motion from all the complex and diverse natural motions in a straightforward and easily trainable way It is a point that can be done. Training is related to direct movement control in a familiar way, so it is motivated, purposeful and does not feel immediately fatigued. Moreover, since the activity sample learned as a child can be used, it can be easily performed as a whole. Patients who use this method do not feel the transmission of their information artificially or have a sense of hard learning.

このことにより、プロテーゼの使用および受容が容易になり、その点で、治癒への真の一歩という意味では、かなり改良された治療と言うことができる。総じて、患者は、表現能力の再生による個人的なあらゆる利点を別にして、経済的な面、患者の自立性、社会参加、就業能力といった点で改善され、社会保障や介護への依存が軽減される。 This facilitates the use and acceptance of the prosthesis, in that respect it can be said to be a considerably improved treatment in the sense of a true step towards healing. Overall, patients, apart from all the personal benefits of recreating their expressive ability, are improved in terms of economics, patient independence, social participation, workability, and less dependent on social security and care. Is done.

有利であるのは、データ処理装置が、入力信号の受信ユニットと、エフェクターに制御信号を供給するための制御ユニットとを有していることである。この補助ユニットによって、データ処理装置は、情報の入力および出力用コンポーネントと通信することができる。 Advantageously, the data processing device comprises an input signal receiving unit and a control unit for supplying control signals to the effector. This auxiliary unit allows the data processing device to communicate with information input and output components.

有利であるのは、導出電極、とくにLFP(局所電場電位;Local Field Potential)電極、ECoG(皮質脳波;Electrocorticography)電極またはEEG(脳波;Electroencephalography)電極がニューロン集団活動からの電磁的入力信号を特定するように構成されていることである。このことは、導出する脳領域へのアクセスが適切な場合、長期導出時における振動やその他の変化に対する安定性を高め、また、正確な運動予測を可能にする。 Advantageously, the lead electrode, in particular the LFP (Local Field Potential) electrode, the ECoG (Electrocortical electroencephalogram) electrode or the EEG (Electroencephalography) electrode identifies the electromagnetic input signal from the neuronal population activity. It is configured to do so. This enhances stability against vibration and other changes during long-term derivation when access to the derived brain region is appropriate, and enables accurate motion prediction.

優先的に、導出電極は非侵襲的であり、その際、作動する導出電極は頭部表面外部、皮下、脳組織上の頭蓋冠の下に取り付けられるか、脳組織を損傷することなく、溝の内部に挿入される。侵襲的な方法は、個々のニューロン(SUA、シングル・ユニット記録)またはニューロン・グループ(LFP)に達することはできるが、脳組織に損傷を与え、多くの場合、看過できない結果を招く。さらに、感染や手術のリスクがあるため、侵襲的電極の使用には限界がある。 Preferentially, the lead-out electrode is non-invasive, in which case the working lead-out electrode is mounted outside the head surface, subcutaneously, under the calvaria on the brain tissue or without damaging the brain tissue. Is inserted inside. Invasive methods can reach individual neurons (SUA, single unit recording) or neuron groups (LFP), but damage brain tissue, often with unobservable results. In addition, the use of invasive electrodes is limited due to the risk of infection and surgery.

有利であるのは、作動している導出電極が、運動を管轄する脳領域から、(とくに運動野において動きをイメージし、組み立て、実行または制御する場合に情報処理についての)運動に関する入力信号を特定することである。視覚信号など、別の入力信号もまた、エフェクターを十分に制御することができる。しかし、とりわけ運動の制御に働く脳領域の動きに関係ある入力信号は、動きのコントロールにとって最適な入力データを提供する。 It is advantageous that the active derivation electrode receives motion-related input signals from the brain area responsible for motion (especially for information processing when imaging, assembling, executing or controlling motion in the motor cortex). It is to identify. Another input signal, such as a visual signal, can also fully control the effector. However, input signals that are particularly relevant to the movement of the brain region that acts to control the movement provide optimal input data for the movement control.

優先的に、ひとつの標準運動の1サイクルがひとつのトレーニング段階となり、各トレーニング段階において、入力信号がトレーニング・データとして記録される。こうして、(目の前で実演され、イメージされ、実行された)ひとつの標準運動が、運動データバンクの基礎を形成するため、ニューロン活動は記録される。これは、予測モデルの特定を直接向上させるのに利用されるばかりでなく、例えば、トレーニングの時点ではまだ分かっていなかった新しい予測方法を開発したり、または、すでにある方法を改良したりする場合のキャリブレーションに利用される。 Preferentially, one cycle of one standard exercise becomes one training stage, and an input signal is recorded as training data in each training stage. Thus, neuronal activity is recorded because a single standard movement (demonstrated, imaged and executed in front of you) forms the basis of the movement data bank. This is not only used to directly improve the identification of prediction models, but for example when developing new prediction methods that were not yet known at the time of training or improving existing ones. Used for calibration.

さらに優先的には、トレーニング段階が、目の前での標準運動の実演、患者によるイメージングおよび/または実行となる。この3つの段階は後でさらに詳しく説明されているが、これにより、適切で、目的に合ったトレーニングが可能となる。また、その際には、脳の柔軟性が利用される。というのも、これを利用することによって、評価ユニットの予測精度が向上するばかりでなく、プロテーゼの実際の動きをフェードバックすることによって、患者もまた、意図した動きのイメージングが改善するからである。これにより、意図された動きと実際の動きとが、相互にすばやくひとつにまめられる。 More preferentially, the training phase is a demonstration of standard movement in front of the eyes, imaging and / or execution by the patient. These three stages are described in more detail later, but this allows for proper and purposeful training. In this case, the flexibility of the brain is used. This not only improves the prediction accuracy of the evaluation unit, but by fading back the actual movement of the prosthesis, the patient also improves the imaging of the intended movement. . As a result, the intended movement and the actual movement are quickly combined into one another.

有利であるのは、各トレーニング段階での患者の状態が分類および記録されることであり、その状態、とりわけ、健康状態、集中力または疲労状態は、予測モデルを決定する場合の各トレーニング・データの調整に影響を与える。本発明者は、重要な活動が、そうした状態パラメーターに依存していることを指摘することができた。予測モデルがそれらを考慮すれば、予測モデルはより精度が高まり、患者の状態に応じたシステマチックな誤差を正しく調整することができる。 Advantageously, the state of the patient at each training stage is classified and recorded, and the state, in particular the health state, concentration or fatigue state, is determined by each training data when determining the predictive model. Affect the adjustment. The inventor has been able to point out that important activities depend on such state parameters. If the prediction model takes them into account, the prediction model becomes more accurate, and the systematic error according to the patient's condition can be adjusted correctly.

有利であるのは、各トレーニング段階での外部環境が分類および記録されることであり、その状態、とりわけ、患者の状態ポジション(寝ている、座っている、立っている)、照明または環境は、予測モデルを決定する場合の各トレーニング・データの調整に影響を与える。これらの外部環境は、同様に関連する活動にも影響を及ぼすため、これを考慮した場合、予測モデルはより精度が高まる。 Advantageously, the external environment at each training stage is classified and recorded, and its status, in particular the patient's status position (sleeping, sitting, standing), lighting or environment is Influencing the adjustment of each training data when determining the prediction model. Since these external environments affect related activities as well, the prediction model is more accurate when this is taken into account.

優先的に、トレーニング・データの一部は、非正常信号を受けて考慮されない状態で留まり、消去される。この非正常信号は、とくに決められた標準運動である。患者が自分の意図したものとは別の間違った動きが実行されるのを見た場合、患者は該当するトレーニング・データを修正する必要がある。確実に学習した標準運動により、その修正が可能ならば、患者はきわめて簡単にそれを行うことができる。異常をきたし、障害になっている別の入力プロセスは、その後のトレーニングで患者には必要のないものであり、また、極端な場合、患者の麻痺のために、患者がその入力プロセスを使用することはまったくできないであろう。 Preferentially, part of the training data remains unerased and erased in response to an abnormal signal. This abnormal signal is a standard motion that is specifically determined. If the patient sees an incorrect move that is different from what he intended, the patient needs to correct the appropriate training data. The patient can do it very easily if it can be corrected with a standard exercise that has been learned reliably. Another input process that is abnormal and disturbing is not necessary for the patient in subsequent training, and in extreme cases, the patient uses it for paralysis of the patient It will not be possible at all.

有利であるのは、予測モデルが、新しい動きを設定する際の補間点として標準運動を用いることである。可能な動きをすべてトレーニングすることは、ほとんど不可能である。補間を用いることによって、トレーニングしなければならない標準運動を極力少なくして、可能な動きの範囲をすべてカバーすることができる。 Advantageously, the predictive model uses standard motion as an interpolation point in setting new motion. It is almost impossible to train all possible movements. By using interpolation, the standard motion that must be trained can be minimized to cover the full range of possible motion.

有利であるのは、標準運動が入力信号の時間−周波数−解析帯域の周波数変調および位相変調の形に変換されることである。これらのパラメーターは、迅速かつ確実な予測に役立つことが認められた。 Advantageously, the standard motion is converted into the form of frequency and phase modulation of the time-frequency-analysis band of the input signal. These parameters have been found to be useful for quick and reliable predictions.

優先的に、エフェクターはプロテーゼであるか、患者自身の身体部分であるか、または、データ処理装置である。これらの各エフェクターは、その適用領域および利点を有する。自分の身体部分は、それがまだ正常である場合は利用が考慮され、コンピュータは、緊急信号の作動など、情報の需要が僅かしかない場合の複雑な行動を可能にする。 Preferentially, the effector is a prosthesis, a patient's own body part, or a data processing device. Each of these effectors has its application area and advantages. Your body part is considered for use if it is still normal, and the computer allows complex behavior when there is little demand for information, such as activation of an emergency signal.

有利であるのは、制御信号が目標設定をもっていることである。これは、制御信号には含まれない中間目標設定を含めて、エフェクターにより行動または運動に変換される。そうすると、患者は、意図した動きをする際に、正しい予想を難しくするかもしれない中間部分をすべて制御する必要はない。簡単な物理的法則がしばしば正確な動きを決定し、その動きの細部は、評価ユニットまたはエフェクター内のエレクトロニクスによって、予想とは無関係に決定され得る。 It is advantageous that the control signal has a target setting. This is converted into action or motion by the effector, including intermediate goal settings not included in the control signal. In doing so, the patient does not have to control all the intermediate parts that may make correct prediction difficult when making the intended movement. Simple physical laws often determine the exact movement, and the details of the movement can be determined unpredictably by electronics in the evaluation unit or effector.

優先的に、導出電極と受信ユニットの間に増幅装置が準備され、これが入力信号を抽出および/または増幅する。電極が導出するニューロン信号は、その評価が始められる前に、しばしば調製が必要である。それによって、予想の正確性が高められる。 Preferentially, an amplifying device is provided between the lead-out electrode and the receiving unit, which extracts and / or amplifies the input signal. The neuronal signal that the electrode derives often needs to be prepared before its evaluation can begin. Thereby, the accuracy of the prediction is increased.

発明による方法は、その他の類似の特徴や利点をもっているが、下位クレームに記述されているそうした特徴や利点は例であって、最終的なものではない。 The method according to the invention has other similar features and advantages, but such features and advantages described in the subclaims are examples and not final.

図1は、発明に基づくニューロ・プロテーゼの構造図である。コンポーネントの各詳細は、下記に詳しく説明する。ヒトの大脳皮質2のニューロン活動を導出するための導出電極1は、患者の頭蓋骨の下に挿入されているか、または、別の実施形態では、頭皮下または頭部表面に取り付けられている。 FIG. 1 is a structural diagram of a neuroprosthesis according to the invention. Details of each component are described in detail below. A lead electrode 1 for deriving neuronal activity in the human cerebral cortex 2 is inserted under the patient's skull or, in another embodiment, attached to the scalp or the head surface.

導出電極1は、ニューロン活動を測定し、信号インターフェース3を介し、電磁的入力信号として、優先的に多チャンネル増幅装置として形成されている増幅装置4にそれを転送する。この増幅装置は、高時間的分解能によって、導出電極1の電磁的入力信号を増幅・抽出し、そのように処理された信号をリアル・タイムで信号処理を行う評価チップやコンピュータ、または同様のシステム5に転送する。そこで、信号はリアル・タイムで予測モデルによって分類され、適切な制御信号を作成する。機能的な説明レベルでは、ここで、患者がもはや実行することのできない、トレーニングされた特定の随意運動のために、活動信号からの行動意図が特定される。 The lead-out electrode 1 measures neuronal activity and forwards it via the signal interface 3 as an electromagnetic input signal to an amplifying device 4 preferentially formed as a multi-channel amplifying device. This amplifying apparatus amplifies and extracts the electromagnetic input signal of the lead-out electrode 1 with high temporal resolution, and performs an evaluation chip, computer, or similar system that performs signal processing on the processed signal in real time. Forward to 5. Therefore, the signals are classified by the prediction model in real time, and an appropriate control signal is created. At the functional explanation level, the behavioral intention from the activity signal is now identified for a particular voluntary exercise that the patient can no longer perform.

制御信号により、エフェクター6は制御される。ここで取り上げられるのは、身体部分を機械的に模倣した古典的なプロテーゼであり、また、自分自身の身体部分もある。さらに、コンピュータのカーソルやメニュー・セレクトへの命令のように、仮想コマンドも考えられる。逆に、エフェクター制御のフェードバックを可能にするため、エフェクター6は、エフェクター状態信号をシステム5に送ることができる。 The effector 6 is controlled by the control signal. What is featured here is a classic prosthesis that mechanically mimics a body part and also has its own body part. In addition, virtual commands are also conceivable, such as commands to a computer cursor or menu select. Conversely, the effector 6 can send an effector status signal to the system 5 to allow effector controlled fadeback.

ニューロンの活動が導出電極1によって電磁的に測定される導出方法には様々なものがある。その際、導出電極1は、実際の使用においては、マルチ電極として形成されている。 There are various derivation methods in which the activity of neurons is electromagnetically measured by the derivation electrode 1. At that time, the lead-out electrode 1 is formed as a multi-electrode in actual use.

通常では、電圧が記録される。この時、導出電極1が体内または脳組織に挿入され、脳組織が必然的に損傷を受けているかどうかに応じて、侵襲的方法と非侵襲的方法が区別されなければならない。侵襲的方法には、導出電極1を個々のニューロンの近くに取り付けるか、または、そこに侵入するシングル・ユニット記録(SUA)があり、また、導出電極1が隣接するニューロンによって決定される電場電位を電極の周辺から測定する局所電場電位(LFP)がある。侵襲的方法は、脳の奥の層まで達することができ、空間的に分解された詳細な測定データを得ることができる。しかし、このことは、結果の予想がつかない脳組織の障害を患者に与えることになる。さらに、同じニューロンから常時データを受け取るために、導出電極1がそのポジションに安定してとどまっておくことは困難である。 Usually, the voltage is recorded. At this time, the lead-out electrode 1 is inserted into the body or brain tissue, and the invasive method and the non-invasive method must be distinguished depending on whether the brain tissue is inevitably damaged. Invasive methods include single unit recording (SUA) in which the lead electrode 1 is attached near or penetrates an individual neuron, and the electric field potential that the lead electrode 1 is determined by the adjacent neuron. There is a local electric field potential (LFP) that measures from the periphery of the electrode. Invasive methods can reach deeper layers of the brain and can obtain spatially resolved detailed measurement data. However, this can give the patient a brain tissue disorder with unpredictable results. Furthermore, in order to always receive data from the same neuron, it is difficult for the lead-out electrode 1 to remain stably at that position.

非侵襲的方法には、脳波記録(EEG)がある。これは、導出電極1を頭蓋骨の外部に取り付ける方法であり、とりわけ簡単に使用することができるが、(空間的に)低い分解データしか得られない。本発明には、言及したすべての方法を用いることができるが、優先的な実施形態では、皮質電位が測定される(ECoGによって)。その際、導出電極1は、図2に示されているように、薄いフィルム電極であり、これが大脳皮質のひとつまたは複数の選択領域にわたり、硬膜下または硬膜外に移植される。選択的に、導出電極1を頭蓋骨の外に格納することも考えられる。複数の領域に用いる場合には、適切な数の導出電極1が、ここで説明した形態で使用される。 Non-invasive methods include electroencephalography (EEG). This is a method of attaching the lead-out electrode 1 to the outside of the skull and can be used particularly easily, but only (spatial) low resolution data can be obtained. Although all the methods mentioned can be used for the present invention, in a preferred embodiment, the cortical potential is measured (by ECoG). In this case, the lead-out electrode 1 is a thin film electrode, as shown in FIG. 2, which is implanted sub-durally or epidurally over one or more selected areas of the cerebral cortex. Optionally, it is also conceivable to store the lead-out electrode 1 outside the skull. When used in a plurality of regions, an appropriate number of lead-out electrodes 1 are used in the form described here.

発明者の実験結果は、このような薄いフィルムは、標準的に臨床診断で用いられている幅の厚い電極に対して、BMI使用には有利である可能性を示している。特殊な実施形態においては、導出電極1が脳の溝(皺)の中に挿入されている。それによって、脳組織を損傷することなく、外部表面にない脳の領域にも達することが可能となる。この配置は、いわゆる関連申請書で詳細に説明される。 Inventor's experimental results show that such thin films may be advantageous for BMI use over thick electrodes that are typically used in clinical diagnostics. In a special embodiment, the lead-out electrode 1 is inserted into a brain groove (acupuncture). Thereby, it is possible to reach brain regions that are not on the external surface without damaging brain tissue. This arrangement is explained in detail in so-called related applications.

次に、優先的な導出電極1としてのフィルム電極の形態を、図2を用いてさらに詳しく説明する。導出電極1は、柔軟な素材または弾性のある素材からつくられたキャリア1aを有している。素材としては、適合性または生体適合性、処理のし易さ、傷つき難いという理由から、ポリイミドまたはシリコンを使用される。しかし、必要な柔軟性と生体適合性を有していれば、すなわち、長期間の使用でも脳に悪影響を与えなければ、他の素材も同様に適している。さらに、素材は、当然、非導通性でなければならない。また、例えば、切って形を整えることが簡単にできるなど、キャリアに個別の形状をつけることが容易にできなければならない。最後に、キャリアは、十分に弾性があり薄くなければならない。薄さは、主として1cm以下である。組織を損傷しないために、キャリアのエッジは丸くなっている。 Next, the form of the film electrode as the preferential lead electrode 1 will be described in more detail with reference to FIG. The lead-out electrode 1 has a carrier 1a made of a flexible material or an elastic material. As the material, polyimide or silicon is used because it is compatible or biocompatible, easy to process, and hardly damaged. However, other materials are suitable as long as they have the necessary flexibility and biocompatibility, i.e., they do not adversely affect the brain even after long-term use. Furthermore, the material must naturally be non-conductive. Also, it must be easy to give individual shapes to the carrier, for example, it can be easily cut and shaped. Finally, the carrier must be sufficiently elastic and thin. The thinness is mainly 1 cm or less. The carrier edge is rounded to avoid damaging the tissue.

キャリアには、一連の電極1cが取り付けられており、これらの電極は個々にケーブル1bと接続され、このケーブルを介して、信号が外へ送信される。キャリア1aは、おおまかに長方形に示されている。使用においては、多くの場合、導出する領域にこれを適合させることが有利であろう。 A series of electrodes 1c are attached to the carrier, and these electrodes are individually connected to the cable 1b, and a signal is transmitted to the outside through the cable. The carrier 1a is roughly shown as a rectangle. In use, it will often be advantageous to adapt this to the derived area.

電極1cは、接触ポイントとしてマトリックス形に配置されている。キャリア1b内部の回路1eは、各電極1cと個々につながり、それぞれの回路1eは重なることなく信号交換用のケーブル1bと接続している。専門家は、このような回路1eの製造方法とその配置方法に関する知識がある。 The electrodes 1c are arranged in a matrix as contact points. The circuit 1e inside the carrier 1b is individually connected to each electrode 1c, and each circuit 1e is connected to the signal exchange cable 1b without overlapping. The expert has knowledge about the manufacturing method of such a circuit 1e and its arrangement method.

電極も様々な素材から製造することができる。主なものは、金、プラチナ、金属合金または導通性のあるプラスチックならびに半導体である。キャリア1aは、1cmより小さいサイズから10cmより大きなサイズまで採用することができる。電極コンタクトは、1平方センチ当たり1つの電極コンタクトから10,000以上の電極コンタクトまで、典型的な密度で取り付けられている。高密度の電極コンタクトでは、信号分解が向上するが、当然、電極1cの製造コストばかりでなく、増幅時間や制御の計算時間も増加する。ここで注意しなければならないことは、多数ある電極の経路を無線伝送にする場合は、エネルギー需要が高くなることである。 Electrodes can also be manufactured from a variety of materials. The main ones are gold, platinum, metal alloys or conductive plastics and semiconductors. The carrier 1a can be employed from a size smaller than 1 cm to a size larger than 10 cm. The electrode contacts are attached at a typical density, from one electrode contact per square centimeter to over 10,000 electrode contacts. Signal resolution is improved with a high-density electrode contact, but naturally, not only the manufacturing cost of the electrode 1c but also the amplification time and control calculation time increase. It should be noted here that the energy demand is high when a large number of electrode paths are wirelessly transmitted.

もちろん、必要に応じて、ここで示されているような互いに列のずれた配置ではなく、別の配置にすることができる。ここでは、表面の点はどのようにも配置することができる。 Of course, if necessary, the arrangement may be different from the arrangement shown in FIG. Here, the points on the surface can be arranged in any way.

このキャリアが、侵襲性の電極とは反対に組織を損傷しないことは有利である。それによって、信号はさらに長期間安定して検知される。というのも、脳組織に侵入する電極は、局部の組織破壊を引き起こし、局部のニューロン活動の消滅につながるからである。また、適用に応じて、電極1c付きキャリア1aは、非常に小さくすることもできる(1cm以下)。この場合、患者にキャリア1aを挿入する手術は、非常に少ないコストで行うことが可能であり、患者への負荷も極めて少ない。 It is advantageous that this carrier does not damage tissue as opposed to invasive electrodes. Thereby, the signal is detected stably for a longer period of time. This is because electrodes that invade brain tissue cause local tissue destruction, leading to the disappearance of local neuronal activity. Moreover, the carrier 1a with the electrode 1c can also be made very small (1 cm or less) according to application. In this case, the operation of inserting the carrier 1a into the patient can be performed at a very low cost, and the load on the patient is extremely small.

導出電極1が挿入される手術では、特別な術前診断とオペレーション計画が必要である。もっとも重要な視点は、移植の正確な目標領域を決定することである。ヒトの脳は個々に神経解剖学的多様性が大きいため、このことを先験的に確定することはできない。あらかじめ個々に場所を決定しないで、挿入を希望するような場合しか例外とならないだろう。一般的な脳マッピングが知られているので、特定の機能領域がどこにあるかは分かる。さらに、運動野および体性感覚野の特別なマッピング例においては、人体が局部的に模写され、個々の身体部分が別個の皮質領域に位置的に割り当てられている。しかし、個々の患者に対しては、この程度の予備知識ではまだ不十分である。 In the operation in which the lead-out electrode 1 is inserted, a special preoperative diagnosis and an operation plan are required. The most important point is to determine the exact target area of the transplant. This cannot be determined a priori because the human brain is individually highly neuroanatomical. The only exception would be if you would like to insert without deciding the location individually. Since general brain mapping is known, it is known where a particular functional area is. Furthermore, in the special mapping example of motor and somatosensory areas, the human body is replicated locally and individual body parts are assigned to separate cortical areas. However, this level of prior knowledge is still insufficient for individual patients.

従って、術前には機能磁気共鳴映像法(fMRI)を使用して、個々の患者に対する目標領域の正確な位置特定を行う。ここでは、患者がエフェクターの制御を行ったり、イメージしたり、観察したりする間に、脳の部位特異的な活性化が測定され、位置的に高い正確性をもって、移植場所を確定することができる。位置特定を向上させるため、その後に続いて、ソース再構成を伴う脳波測定が、同様の運動パラダイム(エフェクター制御の試行、イメージまたは観察)の間に実行される。 Therefore, prior to surgery, functional magnetic resonance imaging (fMRI) is used to accurately locate the target area for each individual patient. Here, while the patient controls, images, and observes the effector, the brain-specific activation is measured, and the location of the transplant can be determined with high positional accuracy. it can. To improve localization, subsequent electroencephalogram measurements with source reconstruction are performed during a similar motor paradigm (effector control trial, image or observation).

図3は、信号インターフェース3の優先的な実施形態である。方法としては、選択的に、これまで神経外科的診断において標準的に使用されてきたケーブルによるデータ転送を行うこともできる。しかしながら、身体表面に長期間ケーブルを接続することは感染のリスクを高め、外見的な面でも実用的な面でも魅力がない。ここに説明されている実施形態では、電極と増幅装置との間の信号伝送は、経皮的ケーブル接続なしに、誘導エネルギー伝送により行われる。 FIG. 3 is a preferred embodiment of the signal interface 3. As a method, it is also possible to selectively carry out data transfer via a cable that has been used as standard in neurosurgical diagnosis. However, connecting a cable to the body surface for a long time increases the risk of infection and is unattractive in terms of appearance and practicality. In the embodiment described here, signal transmission between the electrode and the amplification device takes place by inductive energy transmission without a percutaneous cable connection.

無線の信号伝送システム3は、皮膚表面3aの上部と下部の2つに分割されている。体の外にある外部送受信ユニット(ここでは、皮膚表面3aの上部に示されている)は、代表してコイル3bのみが示されている。この外部送受信ユニットは、データだけを増幅装置4またはデータ処理システム5に無線または直接のケーブル接続で送ることができる。また、増幅装置4および/またはデータ処理システム5を、頭蓋骨表面または他の適切な身体部分に取り付けるチップの中に部分的または完全に含めるという別の実施形態も考えられる。その都度、どの実施形態が優先的か、または、実行可能であるかについては、使用の複雑性に依存している。今のところ、小型の送受信ユニットは、ほとんど任意の距離から(移動無線、Bluetooth、WLAN)、外部の増幅装置4またはデータ処理システム5に対して、技術的には何の問題もなく送受信が可能である。 The wireless signal transmission system 3 is divided into an upper part and a lower part of the skin surface 3a. The external transmission / reception unit outside the body (shown here at the top of the skin surface 3a) is representatively shown with only the coil 3b. The external transmission / reception unit can transmit only data to the amplifying device 4 or the data processing system 5 by wireless or direct cable connection. Another embodiment is also conceivable in which the amplification device 4 and / or the data processing system 5 are partly or completely included in a chip that is attached to the skull surface or other suitable body part. In each case, which embodiment is preferred or feasible depends on the complexity of use. At present, small transmission / reception units can transmit / receive to / from the external amplifying device 4 or the data processing system 5 from almost any distance (mobile radio, Bluetooth, WLAN) without any technical problems. It is.

言及した伝送方法は、エフェクター6とのデータ交換にも利用することができる。麻痺した自然の身体部分を制御する場合、ここで説明したものと同じような、もうひとつの2分割の信号伝送インターフェースをそれぞれの身体部分に挿入することができる。外部送受信ユニットは簡単にアクセス可能であるため、新たに手術を行わなくても、先進技術に対応させることができ、交換も可能である。 The mentioned transmission method can also be used for data exchange with the effector 6. When controlling a paralyzed natural body part, another two-part signal transmission interface similar to that described here can be inserted into each body part. Since the external transmission / reception unit can be easily accessed, it can be adapted to advanced technology and can be exchanged without performing a new operation.

皮膚表面3aの下部には、外部送受信ユニットに対応するものとして、内部送受信ユニットである多機能チップ3cが挿入されている。この多機能チップ3cは、受信ユニット3c1、送信ユニット3c2およびオプションでバッテリー・ユニット3c3を有している。信号は、ケーブル1bを介して、キャリア1aの電極1cから送信ユニット3c2もしくは受信ユニット3c1に供給される。 A multifunction chip 3c, which is an internal transmission / reception unit, is inserted below the skin surface 3a, corresponding to the external transmission / reception unit. The multi-function chip 3c includes a receiving unit 3c1, a transmitting unit 3c2, and an optional battery unit 3c3. The signal is supplied from the electrode 1c of the carrier 1a to the transmission unit 3c2 or the reception unit 3c1 via the cable 1b.

作動中、外部の送受信ユニットのコイル3bは、エネルギーおよび、場合によっては、導出電極1のために制御信号を、誘導的に高周波信号によって受信ユニット3c1に伝送する。このような制御信号は、オン−オフ切換えコマンドやバッテリー3c3のエネルギー状態についてのチェックなどであり得る。インターフェースは、基本的に、刺激信号の導出電極1への伝送にも適している。 In operation, the coil 3b of the external transmitting / receiving unit inductively transmits the control signal for the energy and possibly the lead-out electrode 1 to the receiving unit 3c1 by means of a high-frequency signal. Such a control signal may be an on-off switch command, a check on the energy state of the battery 3c3, or the like. The interface is basically also suitable for transmitting stimulation signals to the lead-out electrode 1.

多機能チップ3cは、通信技術において周知の方法で、変調された制御または言及した刺激信号を特定する。多機能チップ3cのコントロール・ユニットによる必要な算術操作のためのエネルギーは、高周波信号から受け取る。あるいは、バッテリー3c3もしくは高周波信号によって誘導的にアキュムレータに充電することができる。そのため、エネルギー供給はインターフェースの伝送から時間的に切り離されている。この場合、もちろん、充電信号と刺激信号との間は、時間枠または周波数帯の分離などによって、分けられなければならない。 The multi-function chip 3c identifies the modulated control or the mentioned stimulus signal in a manner well known in the communication technology. The energy for the necessary arithmetic operations by the control unit of the multi-function chip 3c is received from the high frequency signal. Alternatively, the accumulator can be inductively charged by the battery 3c3 or a high frequency signal. Therefore, the energy supply is temporally decoupled from the interface transmission. In this case, of course, the charging signal and the stimulation signal must be separated by separation of time frame or frequency band.

逆に測定電極1cの信号は、ケーブル1bを介して送信ユニット3c2に伝送され、そこで、優先的にMICS(Medical Implantable Service Band)の402〜405MHzの信号帯域において、コイル3bまたは受信用に設計された、代表で表示されているコイル3bの類似物に伝送される。 Conversely, the signal of the measurement electrode 1c is transmitted to the transmission unit 3c2 via the cable 1b, where it is preferentially designed for the coil 3b or reception in the signal band of 402 to 405 MHz of MICS (Medical Implantable Service Band). In addition, it is transmitted to the analog of the coil 3b displayed as a representative.

これまで、伝送インターフェースは、送信ユニット3c2の送信性能が外部送受信ユニットのコイル3bまでしか達しないように説明されてきた。選択的に、送信ユニット3c2は、可能な場合、頭蓋骨表面に取り付けられていない増幅装置4に直接送信することもできる。この場合、多機能チップ3cのエネルギー供給は、長寿命バッテリー(現時点の技術では十分ではない)か、前述の方法で誘導により、または、身体自身のエネルギー源を利用することによる充電によって、確実に行うことができる。 So far, the transmission interface has been described so that the transmission performance of the transmission unit 3c2 reaches only the coil 3b of the external transmission / reception unit. Optionally, the transmission unit 3c2 can also transmit directly to the amplification device 4 that is not attached to the skull surface, if possible. In this case, the energy supply of the multi-function chip 3c is ensured by a long-life battery (current technology is not sufficient), by induction by the method described above, or by charging by using the body's own energy source. It can be carried out.

増幅装置4は、これ以降、頭蓋骨の外部で導出電極1の入力信号を受け取る。増幅装置4は、入力信号を周知の方法で処理する。この時、増幅に加え、ハイ・パス・フィルター、ロー・パス・フィルターまたは帯域通過フィルターが使用される(例えば、Savitzky−Golayフィルター、Butterworthフィルター、Chebychevフィルター)。リアル・タイム伝送のためには、高い時間解像度が有利であり、200Hz以上の抽出率が理想的であるが、それより低い値も除外されない。このように処理された入力信号は、次に、評価のためシステム5に転送される。 Thereafter, the amplifying device 4 receives the input signal of the output electrode 1 outside the skull. The amplifying device 4 processes the input signal by a known method. At this time, in addition to amplification, a high-pass filter, a low-pass filter, or a band-pass filter is used (for example, Savitzky-Golay filter, Butterworth filter, Chebychev filter). For real-time transmission, a high temporal resolution is advantageous and an extraction rate of 200 Hz or higher is ideal, but lower values are not excluded. The input signal thus processed is then transferred to the system 5 for evaluation.

システム5の機能は、入力シグナルからエフェクター6のための制御信号を計算することである。その際、2つの段階、すなわち、トレーニング段階と使用段階とに区別することができる。この場合、改善のため、またはさらなる制御を学習するために、常に新しいトレーニングによって、使用が中断される。トレーニングは、予測モデルの決定に働き、それによって、次に、システム5は、使用中に患者の運動意図を検知し、適切な制御信号を計算する。 The function of the system 5 is to calculate a control signal for the effector 6 from the input signal. In that case, a distinction can be made between two phases: a training phase and a usage phase. In this case, use is always interrupted by new training to improve or to learn further control. The training serves to determine the predictive model so that the system 5 then detects the patient's motion intention during use and calculates the appropriate control signal.

トレーニングの目的は、予測モデルを決定するために、標準運動の分類に必要なデータをシステム5に入力することである。そのために、個々のトレーニング段階でひとつの標準運動が選択され、次に、患者は、3つのシナリオのひとつでその標準運動を実演してもらうか、それをイメージするか、またはエフェクター6の制御を試行する。疑う余地なく、このことは、自然の、自分で実行した制御の場合と同じような入力信号を呼び起こす。まだ(残余)運動のできる麻痺である場合には、当然、実際の動きも使うことができる。これは、とりわけ、切断手術前や筋委縮症といったゆっくり進行する病気のように、麻痺原因が突然に生じない場合の準備として考えられる。 The purpose of the training is to input the data required for standard exercise classification into the system 5 in order to determine the prediction model. To that end, a single standard exercise is selected at each training stage, and then the patient either demonstrates the standard exercise in one of three scenarios, images it, or controls the effector 6. Try. Undoubtedly, this evokes an input signal similar to that of natural, self-implemented control. Of course, if you have a paralysis that still has (residual) movement, you can also use the actual movement. This can be considered as a preparation especially when the cause of paralysis does not occur suddenly, such as slowly progressing illnesses before amputation or muscle atrophy.

トレーニング・パラダイムには、発明の重要な視点がある。患者は、高い集中力を動員して、評価プロセスによって示されたニューロン活動の状態を呼び起こす必要はなく、こうしたニューロン活動の状態は、冒頭で述べた従来の方法のように、元来、自然の条件下では、コントロールしようとする機能を制御するためには働かないものである。代わりに、患者は、まったく自然に、これまでの生活の中ですでに学習した運動サンプルを用いる。それによって、主観的には、トレーニング中も、使用中においても、患者は、病気以前のように健康な筋肉に呼びかける以外、何も行っていない。 The training paradigm has an important aspect of invention. The patient does not have to mobilize high concentration to evoke the state of neuronal activity indicated by the evaluation process, which is essentially natural, as in the traditional method described at the beginning. Under certain conditions, it doesn't work to control the function you want to control. Instead, patients use exercise samples that have already been learned in their lives, quite naturally. Thereby, subjectively, during training and in use, the patient is doing nothing other than calling on healthy muscles as before the disease.

何度も繰り返される個々のトレーニング段階の間に、システム5は、入ってくる脳信号をメモリーし、後で、その脳信号を特定の動きに割り当てることができる。 During individual training phases that are repeated many times, the system 5 can memorize incoming brain signals and later assign them to specific movements.

このことを、腕/手のプロテーゼを用いてさらに詳しく説明する。トレーニングされる標準運動は、コンピュータ・メニューからの選択またはアシスタントとのコミュニケーションのどちらかを介して、患者によって確定される。例えば、言及した腕/手のプロテーゼを用いた標準運動の例では、手を開く−手を閉じる、腕をいろいろな方向へ動かして、戻す、または、力の強さを変えて手を閉じる、といった可能性がある。 This will be explained in more detail using an arm / hand prosthesis. The standard exercise to be trained is determined by the patient, either through selection from a computer menu or communication with an assistant. For example, in the standard exercise example using the mentioned arm / hand prosthesis, the hand is opened-the hand is closed, the arm is moved in various directions, returned, or the force is changed to close the hand, There is a possibility.

ここで、3つの異なるトレーニング・データ・セットが作成される。まず、被験者に選択した自然な標準運動が再度示される。導出された脳シグナルから、標準運動が終了する約1秒前から終了後までの時間に、マトリックスの最初のトレーニング・データ・セットのためのデータ記録が作成される。学習しなければならない選択した残りの標準運動が実演される時に、繰り返し記録されることによって、一緒に最初の完全なトレーニング・データ・セットを形成する他のデータ・セットが作られる。 Here, three different training data sets are created. First, the natural standard exercise selected by the subject is shown again. From the derived brain signal, a data record for the first training data set of the matrix is created about 1 second before and after the end of the standard exercise. As the remaining selected standard exercises that must be learned are demonstrated, other data sets are created that are recorded together to form the first complete training data set.

その後、順番に標準運動をイメージすることを、コンピュータ・プログラムが被験者に繰り返し表明し、その間に、導出された脳信号が第二のトレーニング・データ・セットを作る。第三段階では、コンピュータ・プログラムが被験者に、標準運動を行うように表明する。その間に導出された脳信号は、第三のトレーニング・データ・セットを作る。 Thereafter, the computer program repeatedly expresses to the subject that the standard motion is imaged in turn, during which the derived brain signals create a second training data set. In the third stage, the computer program tells the subject to perform a standard exercise. The brain signals derived during that time create a third training data set.

トレーニングは、フィードバックにより精度を表示することによって最適化される。その精度を使って、予測モデルは、それぞれの動作の間に導出された脳信号を表示された標準運動に正しく割り当てることができる。そのようにして、被験者は、どれくらいうまく動きを学習しているかを直接知り、被験者の脳は、エフェクター6に適合することができるようになる。別の表現をすると、トレーニングによって、システム5が改良されるばかりでなく、ニューロンの柔軟性により患者もまた向上する。重要なことは、このことが人工的に作られる困難な行動サンプルに基づいて生じているのではないという点である。患者の主観的感覚では、例えば水泳や自転車など、普通に新しい運動能力を身に付けるのと同じように、はるかに自然なプロセスに感じられる。フィードバック学習の効率ゆえに、その他の手順において、第三のトレーニング・セットのデータは、他の2つのトレーニング・セットよりもさらに重要性が増す。 Training is optimized by displaying accuracy with feedback. Using that accuracy, the predictive model can correctly assign brain signals derived during each movement to the displayed standard movement. In that way, the subject directly knows how well he / she learns the movement and the subject's brain can adapt to the effector 6. In other words, training not only improves the system 5, but also improves the patient due to neuronal flexibility. Importantly, this is not based on difficult behavioral samples that are artificially created. The patient's subjective sensation feels a much more natural process, such as swimming or biking, which is usually the same as acquiring new motor skills. Due to the efficiency of feedback learning, in other procedures, the data of the third training set is even more important than the other two training sets.

トレーニングの最終段階として第三段階が繰り返されるが、今度は、様々な主観的条件(例えば、準備のできた状態と準備していない状態、目が覚めている状態と眠い状態)および客観的条件(例えば、照明、姿勢:座る、立つ、寝る)の下で行われる。それによって、第三のトレーニング・セットが拡大され、それによって、トレーニングの結果と予想の精度をさらに向上させ、様々な環境下での脳信号の確実な割り当ても可能となる。主観的条件は、状態とも呼ばれ、客観的条件は環境とも呼ばれる。 The third stage is repeated as the final stage of the training, but this time with different subjective conditions (eg ready and unprepared, awake and sleepy) and objective conditions ( For example, lighting, posture: sitting, standing, sleeping). This expands the third training set, which further improves the accuracy of training results and predictions and also allows for the reliable assignment of brain signals in various environments. Subjective conditions are also called states, and objective conditions are also called environments.

図4は、実験動物を異なる3つの状態においた場合、ひとつの同様の動きに対する特定のニューロンの活動を測定し、時間経過に沿って示したものである。3つのグラフから分かるように、ニューロ活動または信号サンプルは明らかに異なっており、とくに、運動実行中も違いがある。そのため、測定された信号サンプルは、トレーニングしなければならない運動と状態に関して分類され、例えばデータバンクなどに保存される。 FIG. 4 shows the measurement of the activity of a specific neuron for one similar movement and shows it over time when the experimental animal is in three different states. As can be seen from the three graphs, the neuroactivity or signal samples are clearly different, especially during exercise execution. Thus, the measured signal samples are classified with respect to the movements and conditions that must be trained and stored, for example, in a data bank.

使用する場合には、患者がエフェクターで実行しようと意図し、イメージした動きを検知するため、測定された患者のニューロン活動と保存されている信号サンプルとが比較される。ここで、可能な場合には、外部および内部の条件も検知される。 In use, the patient's intended neuronal activity and stored signal samples are compared to sense the imaged motion that the patient intends to perform on the effector. Here, external and internal conditions are also detected if possible.

When using the Bayesian method, which is a general probability theory, the model of motion prediction B from neuronal activity N is
P (B | N) = P (B) * P (N) −1 * P (N | B)
Considering state Z for optimal motion prediction,
P (B | N, Z) = P (B) * P (Z | B) * P (Z- 1 ) * P (N | Z) -1 * P (N | B, Z).

システム5を様々な条件下でトレーニングし、条件およびイメージされた動きに関して信号サンプルを使用することは、図5に示されているように有利である。ここには、「対象1」と「対象2」という動物において、様々にトレーニングされた予測モデルに関して、使用されたニューロン(信号サンプル)の数とは無関係に、意図された動きが正しく解読された確率が示されている。黒い棒は、既知の、すなわちトレーニングされた条件(状態)で使用した場合の解読確率である。濃いグレーの棒は、状態が未知であるケースに該当し、トレーニングされた全3つの状態が、ほとんど「ひとつのトレーニングされた大条件」のように、組み合わされた場合である。薄いグレーの棒は、トレーニングの時とは別の条件であるケースを示している。 It is advantageous to train the system 5 under various conditions and use signal samples for conditions and imaged motion as shown in FIG. Here, in the animals "Subject 1" and "Subject 2", the intended motion was correctly decoded for the various trained prediction models, regardless of the number of neurons (signal samples) used. Probabilities are shown. The black bars are the decoding probabilities when used in known or trained conditions (states). The dark gray bar corresponds to the case where the state is unknown, where all three trained states are combined, almost like "one trained big condition". The light gray bar indicates a case that is a different condition from the training.

明らかに、状態が既知であり、それに属するトレーニング・データがある(すなわち、運動トレーニング・データが存在する)場合は、一貫してもっとも良い結果となっている。しかし、多くのニューロン(信号サンプル)が同時に測定された場合には、濃いグレーの棒はほとんど同程度に良い数値を示している。すなわち、3つの異なる状態のトレーニング・データを組み合わせれば、使用できるトレーニング・データの特異性の損失を補正することができる。 Obviously, the best results are consistently known when the condition is known and there is training data belonging to it (ie, there is exercise training data). However, when many neurons (signal samples) are measured at the same time, the dark gray bars show almost as good numbers. That is, by combining training data in three different states, it is possible to correct the loss of specificity of the training data that can be used.

別の状態で得られたトレーンング・データだけしか使用できない場合(薄いグレーの棒)、一貫して明らかに悪い結果となっている。例えば、対象1の場合、100ニューロンでも精度は70%に満たない。それに対して、同じ状態のトレーニング・データがある場合、または、全状態のトレーニング・データが組み合わされている場合は、97%または96%である。 When only the training data obtained in another state can be used (light gray bars), it is consistently clearly bad. For example, in the case of the target 1, the accuracy is less than 70% even with 100 neurons. On the other hand, 97% or 96% when there is training data in the same state or when all state training data is combined.

図10は、「ノーマル・モード」で使用した場合のシステム5の作用機序をまとめたものである。条件またはコンディションXが把握された上で、脳のニューロン活動が測定される。コンディションXまたは状態Xに関してトレーニング・データがシステムの中にある場合、これらのデータは、運動予想または運動制御信号を算出して、エフェクター6に伝えるために使用される。これに対して、コンディションXに関するトレーニング・データがシステムにない場合、類似のコンディションのトレーニング・データが運動予想の算出のために用いられる。コンディションXが検知されないために、未知である場合、システム内にあるすべてのトレーニング・データが運動予想を算出するために使用される。 FIG. 10 summarizes the mechanism of action of the system 5 when used in the “normal mode”. Once the condition or condition X is known, brain neuronal activity is measured. If there is training data in the system for condition X or state X, these data are used to calculate and transmit motion prediction or motion control signals to effector 6. On the other hand, when there is no training data regarding the condition X in the system, the training data of a similar condition is used for calculating the motion prediction. If condition X is unknown because condition X is not detected, all training data in the system is used to calculate motion predictions.

上述のように、より多くの状態およびこれに割り当てられたトレーニング・データがシステム5に保存されているほど、運動予想は向上する。 As described above, the more states and training data assigned to them, the more stored in the system 5, the better the motion prediction.

その他、患者は、いつでも自分で新しい標準運動のための新しいトレーニング・プログラムを始めたり、すでに学習したプログラムを新しい状況で行ったりすることができる。最終的に患者は、トレーニングの再スタートを可能にする「正常/非正常信号」を訓練することができる。それによって、患者は、予想精度が十分ではなく、新しいトレーニングが必要であることをシステム5に伝える操作ができるようになる。この再スタートは、当然、標準運動とは無関係に、コンピュータ・メニューなどからも命令することができるだろう。しかし、エフェクター6が患者の唯一の通信手段である場合は、独自に学習した「非正常」標準運動によって、システム5に伝達する確実な方法をもつべきであろう。もうひとつの非正常信号は、割り当てが正しくない場合に生じる、生来の / 自然の脳のエラー信号である。 In addition, the patient can always start a new training program for a new standard exercise on his / her own or run a previously learned program in a new situation. Eventually, the patient can be trained with a “normal / unnormal signal” that allows training to be restarted. Thereby, the patient can operate to tell the system 5 that the prediction accuracy is not sufficient and a new training is required. This restart can of course be ordered from a computer menu, etc., regardless of the standard movement. However, if the effector 6 is the patient's only means of communication, he should have a reliable way to communicate to the system 5 with his own learned “normal” standard motion. Another abnormal signal is a natural / natural brain error signal that occurs if the assignment is incorrect.

図6は、トレーニング・データを用いて、入力信号からエフェクター制御信号へ変換した場合の変換図例を示している。左側には、3つの電極1cの電圧経過例が示されている。これらの電圧信号は、まず、入力信号として増幅装置4で増幅され、抽出される。抽出機能は、システム5に移すこともできる。抽出方法の例として(詳細は、増幅装置4との関連で説明されている)、圧力信号を帯域通過で抽出し、その後、小さな時間枠によって平均化し、短い時間枠で区分けする。次に、数学的方法で活動が評価される。予測モデルは、一方で、数学的方法を選択することにより、他方では、トレーニング・データによるキャリブレーションにより決定される。それによって、意図した運動の予想が、システム5を介して可能となる(「意図予測」)。 FIG. 6 shows an example of a conversion diagram when converting from an input signal to an effector control signal using training data. On the left side, an example of voltage progress of the three electrodes 1c is shown. These voltage signals are first amplified and extracted as an input signal by the amplification device 4. The extraction function can also be transferred to the system 5. As an example of an extraction method (details are described in the context of the amplification device 4), the pressure signal is extracted in bandpass, then averaged over a small time frame and divided into short time frames. The activity is then evaluated in a mathematical manner. The predictive model is determined on the one hand by selecting a mathematical method and on the other hand by calibration with training data. Thereby, the prediction of the intended movement is possible via the system 5 (“Intention Prediction”).

典型的な数学的方法は、(1)信号の前処理、または、a)フィルタリング(例えば、ロー・パスまたは帯域通過)、b)時間・周波数分析(例えば、フーリエ変換またはMulti−Tapering)および/またはc)時間枠での区分けおよび平均化;(2)前処理した信号の解読または判別分析(線形、正方形または正則化)あるいはサポート・ベクター・マシン(線形または放射基底関数)である。ここに挙げた方法がすべてではない。とくに、継続的な動きの解読には、いわゆる判別分析およびサポート・ベクター・マシン以外に、例えば、線形フィルターやカルマン・フィルターが使用され得る。 Typical mathematical methods include (1) signal pre-processing, or a) filtering (eg, low pass or band pass), b) time and frequency analysis (eg, Fourier transform or multi-tapering) and / or Or c) segmentation and averaging over time frames; (2) decoding or discriminant analysis of preprocessed signals (linear, square or regularization) or support vector machines (linear or radial basis functions). The methods listed here are not all. In particular, in addition to so-called discriminant analysis and support vector machines, for example, linear filters and Kalman filters can be used for continuous motion decoding.

右側に示されているエフェクター制御信号がその結果である。この際、ここに例として示されているのは、2つのエフェクター装置(2つのモータ)、および、回転速度に応じてそれらに加えられる出力である。 The effector control signal shown on the right is the result. Here, as an example, two effector devices (two motors) and outputs applied to them according to the rotational speed are shown here.

予測モデルが限られた数の標準運動を検知することにだけ制限されていないことを強調しなければならない。その他の運動は、標準運動でトレーニングされ、記録されたニューロンの相関関係を補間および補外することによって検知することができる。 It should be emphasized that the predictive model is not limited to detecting a limited number of standard motions. Other movements can be detected by interpolating and extrapolating recorded neuronal correlations trained with standard movements.

エフェクター6は、システム5から送られたエフェクター制御信号を運動に転換する。運動が包括的な意味で理解されなければならないことを再度繰り返しておくべきである。運動には、発話の制御や模倣も含まれる。 The effector 6 converts the effector control signal sent from the system 5 into motion. It should be reiterated that movement must be understood in a comprehensive sense. Exercise includes control and imitation of utterances.

エフェクター6には、上述した3つのグループが考えられる。すなわち、ロボットやロボット・アームまたはプロテーゼのような機械的装置、自分の身体部分、あるいはコンピュータ、移動式無線装置、家電製品など、コンピュータの仮想コマンドによって制御される電気的装置である。 The effector 6 can be considered in the three groups described above. That is, a mechanical device such as a robot, a robot arm, or a prosthesis, an own body part, or an electrical device controlled by a computer virtual command, such as a computer, a mobile wireless device, or a home appliance.

身体部分を人工的に模造したプロテーゼの第一のケースは、図7に示されている手のプロテーゼを使って、以下でさらに詳しく説明する。もちろん、どのような種類のプロテーゼも制御可能である。 The first case of a prosthesis artificially mimicking a body part is described in more detail below using the hand prosthesis shown in FIG. Of course, any type of prosthesis can be controlled.

エフェクター入力ケーブル6a1を介して、エフェクター制御信号は、システム5からエフェクター6に伝送される。 An effector control signal is transmitted from the system 5 to the effector 6 via the effector input cable 6a1.

プロテーゼは、手を回すための回転システム6b1を有している。回転シテステム6b1のモータ・コントロールが、エフェクター制御信号に応じて、プロテーゼを回転させる。その他に、このプロテーゼは、モータおよびコントロール付き捕捉システム6b2を有し、このシステムが、エフェクター制御信号に従って、手指の開閉運動を行う。言及しなければならないのは、ニューロン・データからのすべての制御を詳細に伝達するのではないということである。その代わり、システム5が意図された運動のみを予測することができれば、当然、必要な個々の段階を確定することが可能であろう。 The prosthesis has a rotation system 6b1 for turning the hand. The motor control of the rotation system 6b1 rotates the prosthesis according to the effector control signal. In addition, the prosthesis has a motor and controlled capture system 6b2, which opens and closes fingers according to effector control signals. It must be mentioned that not all control from neuron data is communicated in detail. Instead, if the system 5 can only predict the intended movement, it will of course be possible to determine the individual steps required.

フィードバックを行うために、指の部分には圧力センサー6cが取り付けられている。センサーの測定したエフェクター状態信号は、エフェクター出力ケーブル6a2を介してシステム5にフィードバックされる。これらのデータは、本発明の拡張という部分で、刺激データとして脳へフィードバックすることができる。しかし、その他に、システム5は、プロテーゼの実際の状態もチェックすることができるべきであろう。なぜなら、システム5の内部表示は、必ずしも一致していないからである。このことは、システム5の精度の狂いに由来するものではなく、プロテーゼの衝突などのように、外部から作用する障害によって引き起こされる可能性がある。実際の状態をチェックすることによって、システムは、再び、正しい運動基準の初期位置を認識する。 In order to perform feedback, a pressure sensor 6c is attached to the finger portion. The effector status signal measured by the sensor is fed back to the system 5 via the effector output cable 6a2. These data can be fed back to the brain as stimulation data in the extension of the present invention. However, the system 5 should also be able to check the actual state of the prosthesis. This is because the internal display of the system 5 does not necessarily match. This is not due to the inaccuracy of the system 5, but may be caused by a failure acting from the outside, such as a prosthesis collision. By checking the actual condition, the system again recognizes the initial position of the correct motion reference.

最後に、プロテーゼはヒトの手の外観と同じようなカバーが取り付けられる。ここでは、手のプロテーゼは開閉だけに限定されず、本発明において技術的に進歩したプロテーゼにより、複雑な動きを行うことも可能である。 Finally, the prosthesis is fitted with a cover similar to the appearance of a human hand. Here, the hand prosthesis is not limited to opening and closing, and it is also possible to perform complex movements by means of the prosthesis that has advanced technically in the present invention.

とくに医療と関連のある第二グループのエフェクター6では、脳と身体部分のニューロン接続だけが中断されている場合に、機能的電気刺激によって、自分の身体部分がエフェクター6として制御される。この場合は、身体部分の正常な神経細胞が刺激されるか、あるいは筋肉線維が直接刺激されるか、そのどちらかである。同様に、可能なフィードバックは、まだ正常を保っている身体の圧受容器、伸張受容器などのセレプターを介して、あるいは、上記のプロテーゼ制御のケースで説明したように、補助センサーを使って行うことができる。同様に、(わずかに)運動能力が依然として残されているような部分的麻痺の場合にも、モータで動く機械的装置によって、これらの残された動きを補助することが考えられる。 In the second group of effectors 6 particularly related to medical treatment, when only the neuron connection between the brain and the body part is interrupted, the body part is controlled as the effector 6 by functional electrical stimulation. In this case, either normal nerve cells of the body part are stimulated or muscle fibers are stimulated directly. Similarly, possible feedback should be done through a still-normal body baroreceptor, stretch receptor, or other selector, or using an auxiliary sensor as described in the prosthesis control case above. Can do. Similarly, in the case of partial palsy where (slightly) athletic ability is still left, it is conceivable to assist these remaining movements with motorized mechanical devices.

第三グループの「仮想」エフェクター6は、とくに規模が大きい。これによって、コンピュータのカーソルまたはメニュー選択、また、照明のスイッチ・オン、エマージェンシー・コールの送信なども操作することができる。 The third group of “virtual” effectors 6 is particularly large. This allows you to control computer cursors or menu selections, switch lights on, send emergency calls, etc.

とくに興味深いのは、仮想プロテーゼの制御である。この場合、身体部分は、三次元的に画面に表示され、患者または被験者のニューロン活動によって制御される。このことにより、適切なプロテーゼの調整や選択が極めて容易になる。 Of particular interest is the control of virtual prostheses. In this case, the body part is three-dimensionally displayed on the screen and controlled by the neuronal activity of the patient or subject. This greatly facilitates proper prosthesis adjustment and selection.

このような制御データおよび刺激データを、コンピュータ処理の可能な形で使用すれば、インターネットや類似のネットワークにより、空間的な距離はもはや考慮されない。従って、制御するエフェクターは、これを制御している個人のすぐ近くにある必要がなく、また、直接、空間的に接続される必要もない。こうすれば、実際には別の場所にあるプロテーゼやロボットを仮想上で表示および制御することが可能となるであろう。医学への応用では、外科医の遠隔手術があり、軍隊においては、危険な場所に人間を送り込むことなく、ロボットを正確に制御することが可能である。あるいは、汚染地域や核施設、深海、宇宙といった人間の入り込めない場所での使用が考えられる。 If such control data and stimulus data are used in a form that is capable of computer processing, the spatial distance is no longer taken into account by the Internet or similar networks. Thus, the controlling effector need not be in the immediate vicinity of the individual controlling it and need not be directly connected in space. In this way, it will be possible to virtually display and control a prosthesis or robot in another location. Medical applications include surgeon telesurgery, and in the military it is possible to accurately control a robot without sending a person to a dangerous location. Alternatively, it can be used in places where humans cannot enter, such as contaminated areas, nuclear facilities, the deep sea, and space.

FIG. 8 summarizes the method according to the invention for controlling the motion of the effector 6 incorporated in the living body. This method includes the following steps.
Step 810, receiving an input signal representative of neuronal activity in a living brain.
Step 850 obtains a motion control signal for the effector 6 based on the input signal.
In doing so, signal samples are detected from the input signal (step 820). Then, a motion control signal is calculated from the signal sample based on the prediction model. In steps 830 and 840, the detected signal samples are compared with the stored training signal samples according to a predetermined prediction model. This training signal sample is representative of the neuronal activity created by the living brain with respect to the trained standard motion, and the stepped motion of the corresponding effector 6 is assigned to each standard motion ( Stage 830).
This stepped motion is then used to obtain a motion control signal assigned to the training signal sample most similar to the signal sample detected according to the comparison process (step 840).

FIG. 9 shows a method for constructing a data bank based on the invention having prediction model data for use in motion control of an effector 6 incorporated in a living body. This method includes the following steps.
Step 910, receiving an input signal that is representative of neuronal activity created by the living brain with respect to the normal movement of the living body that must be trained.
Step 920, storing an input signal in a data bank as a training signal sample.
Step 930 assigns stepwise motion control signals to the training signal samples according to the respective standard motion.

発明の概要図 導出電極の優先形態による多数の電極が取り付けられたキャリア表面の平面図 発明の実施形態のための信号伝達インターフェース概要図 3つの異なる被験者状態における、運動のためのニューロン信号 予測モデルにおける被験者の状態を考慮した、3つの異なるバリエーションの解読確率 予測モデルを用いた、エフェクターのための制御信号におけるニューロン信号/データの変換図例 発明のひとつの形態によって制御することのできるエフェクター例として、手のプロテーゼを示した図 発明に基づく方法を使用する場合のフローチャート データバンク構築のための発明に基づく方法のフローチャート 発明に基づくシステムおよび方法に関する概要
The present invention will now be described in detail with reference to the accompanying figures for further features and advantages. The figure is as follows.
Summary of invention Plan view of carrier surface with multiple electrodes attached according to preferred form of lead-out electrode Schematic diagram of signaling interface for an embodiment of the invention Neuronal signals for movement in three different subject states Decoding probabilities for three different variations taking into account the subject's condition in the prediction model Example of conversion diagram of neuron signal / data in control signal for effector using prediction model Figure showing a hand prosthesis as an example of an effector that can be controlled by one form of the invention Flowchart for using the method according to the invention Flowchart of the inventive method for building a data bank Summary of systems and methods according to the invention

符号の説明Explanation of symbols

1 導出電極
1a キャリア
1b ケーブル
1c (個々の)電極
1e 回路
2 大脳/皮質
3 信号インターフェース
3a 皮膚表面
3b 外部送受信ユニットのコイル
3c 多機能チップ
3c1 受信ユニット
3c2 送信ユニット
3c3 バッテリー/アキュムレータ
4 増幅装置
5 評価および中央制御システム
6 エフェクター
6a1 エフェクター入力ケーブル
6a2 エフェクター出力ケーブル
6b1 回転システム
6b2 捕捉システム
6c 圧力センサー
6d カバー
DESCRIPTION OF SYMBOLS 1 Lead electrode 1a Carrier 1b Cable 1c (Individual) electrode 1e Circuit 2 Cerebral / cortex 3 Signal interface 3a Skin surface 3b Coil 3c of external transmission / reception unit Multi-function chip 3c1 Reception unit 3c2 Transmission unit 3c3 Battery / accumulator 4 Amplifier 5 Evaluation And central control system 6 Effector 6a1 Effector input cable 6a2 Effector output cable 6b1 Rotation system 6b2 Capture system 6c Pressure sensor 6d Cover

Claims (35)

生体の脳(2)のニューロン活動を代表するものである入力信号を受信するための導出電極(1)を有し、入力信号に基づいて、エフェクター(6)のために運動制御信号を取得する評価ユニット付きデータ処理装置(5)を有する、生体に組み込まれたエフェクター(6)の運動制御装置であって、その際、評価ユニットは、入力信号から信号サンプルを検出し、検出された信号サンプルからエフェクター(6)のために運動制御信号を算出し、あらかじめ決定された予測モデルに従って、検出された信号サンプルと保存されているトレーニング信号サンプルとの比較が行われるように構成されており、このトレーニング信号サンプルは、トレーニングされた標準運動に関して、生体の脳により発生したニューロン活動を代表するものであり、それぞれ該当するエフェクター(6)の段階的運動がそれらの標準運動に割り当てられるが、その際、その段階的運動は、比較プロセスで検出されたトレーニング信号サンプルに割り当てられた運動制御信号の取得に用いられる、生体に組み込まれたエフェクター(6)の運動制御装置。 It has a lead-out electrode (1) for receiving an input signal that is representative of the neuronal activity of the living brain (2), and acquires a motion control signal for the effector (6) based on the input signal A motion control device for an effector (6) incorporated in a living body having a data processing device (5) with an evaluation unit, wherein the evaluation unit detects a signal sample from an input signal, and the detected signal sample The motion control signal is calculated for the effector (6) from and the detected signal sample is compared with the stored training signal sample according to a predetermined prediction model. The training signal sample is representative of the neuronal activity generated by the living brain with respect to the trained standard movement. , Each stepped motion of the corresponding effector (6) is assigned to their standard motion, where the stepped motion is used to obtain the motion control signal assigned to the training signal samples detected in the comparison process. A motion control device for an effector (6) incorporated in a living body. データ処理装置が入力信号の受信ユニットおよびエフェクター(6)に制御信号を供給するための制御ユニットを有している、請求項1に記載の装置。 2. The device according to claim 1, wherein the data processing device comprises an input signal receiving unit and a control unit for supplying control signals to the effector (6). 導出ユニットが少なくともひとつの導出電極(1)を有し、この導出電極が、運動を管轄する脳領域から、(とくに運動野において動きをイメージし、組み立て、実行またはコントロールする場合の情報処理プロセスについての)運動に関する入力信号を特定するように構成されている、請求項1または2に記載の装置。 An information processing process in which the deriving unit has at least one deriving electrode (1), and this deriving electrode starts from the brain region in charge of movement (particularly in the case of imaging, assembling, executing or controlling movement in the motor area) The apparatus according to claim 1 or 2, wherein the apparatus is configured to identify an input signal relating to movement. 導出電極(1)、とくに局所電場電位(Local field potential)電極、皮質脳波(Electrocorticography)電極または脳波(Electroencephalography)電極が、ニューロン集団活動からの電磁的入力信号を特定するように構成されている、請求項3に記載の装置。 A lead electrode (1), in particular a local field potential electrode, a cortical electroencephalography electrode or an electroencephalography electrode, is configured to identify an electromagnetic input signal from neuronal population activity; The apparatus of claim 3. 生体の状態、とくに身体ポジション、健康状態、集中力または疲労が、各トレーニング段階の間、分類および保存され、その状態は、予測モデルを決定する時の各トレーニング・データの重み付けに影響する、請求項1〜4のいずれかひとつに記載の装置。 Biological conditions, especially body position, health, concentration or fatigue, are classified and stored during each training phase, which affects the weighting of each training data when determining the predictive model Item 5. The apparatus according to any one of Items 1 to 4. 外部環境が、各トレーニング段階の間、分類および保存され、その状態が、予測モデルを決定する時の各トレーニング・データの重み付けに影響するように評価ユニットが形成されている、請求項1〜5のいずれかひとつに記載の装置。 6. The evaluation unit is formed such that the external environment is classified and stored during each training phase, and its state affects the weighting of each training data when determining the predictive model. The apparatus as described in any one of. 検出された信号サンプルが、運動制御信号の算出時に、非正常信号を受けて考慮されない状態で留まっているように評価ユニットが構成され、その際、非正常信号は脳の自然なエラー信号である、請求項1〜6のいずれかひとつに記載の装置。 The evaluation unit is configured so that the detected signal samples remain unaccounted for in the calculation of the motion control signal, where the abnormal signal is a natural error signal of the brain. The apparatus according to claim 1. 検出された信号サンプルが、運動制御信号の算出時に、非正常信号を受けて考慮されない状態で留まっているように評価ユニットが構成され、その際、非正常信号は脳の自然なエラー信号である、請求項1〜7のいずれかひとつに記載の装置。 The evaluation unit is configured so that the detected signal samples remain unaccounted for in the calculation of the motion control signal, where the abnormal signal is a natural error signal of the brain. The device according to claim 1. 予測モデルが、新しい運動制御信号を組み立てる場合に、補間点として標準運動を使用する、請求項1〜8のいずれかひとつに記載の装置。 9. Apparatus according to any one of the preceding claims, wherein the predictive model uses standard motion as an interpolation point when assembling a new motion control signal. 標準運動が、入力信号の時間−周波数−解析帯域の周波数変調および位相変調の形に変換される、請求項1〜9のいずれかひとつに記載の装置。 10. Apparatus according to any one of the preceding claims, wherein the standard motion is converted into the form of frequency modulation and phase modulation of the time-frequency-analysis band of the input signal. エフェクター(6)は、プロテーゼであり、患者自身の身体部分であり、または、データ処理装置である、請求項1〜10のいずれかひとつに記載の装置。 The device according to any one of the preceding claims, wherein the effector (6) is a prosthesis, a patient's own body part or a data processing device. 運動制御信号が目標設定をもっており、運動制御信号が、制御信号には含まれない中間目標設定を含めて、エフェクター(6)により行動または運動に変換され得る、請求項1〜11のいずれかひとつに記載の装置。 12. The motor control signal according to claim 1, wherein the motor control signal has a target setting, and the motor control signal can be converted into an action or a motion by the effector (6), including intermediate target settings not included in the control signal. The device described in 1. 増幅装置(4)が導出電極(1)と受信ユニット(5)との間に準備されており、入力信号を抽出および/または増幅する、請求項1〜12のいずれかひとつに記載の装置。 Device according to any one of the preceding claims, wherein an amplifying device (4) is provided between the lead-out electrode (1) and the receiving unit (5) and extracts and / or amplifies the input signal. 生体に組み込まれ、その際、
Incorporated into the body,
Receives input signals that are representative of neuronal activity in the living brain,
Obtaining a motion control signal for the effector (6) based on the input signal;
In this case, a signal sample is detected from the input signal, and a motion control signal is calculated from the signal sample based on the prediction model, and is detected according to the predetermined prediction model. A comparison is made between the signal sample and the stored training signal sample, which is representative of the neuronal activity generated by the living brain with respect to the trained standard motion, and each corresponding effector ( The stepped motion of 6) is assigned to those standard motions, where the stepped motion is used to obtain the motion control signal assigned to the training signal sample most similar to the signal sample detected according to the comparison process. A motion control device for the effector (6).
本方法がリアル・タイムに実施される、請求項14に記載の方法。 The method of claim 14, wherein the method is performed in real time. 算出のために、生体のひとつの状態が検知されるが、その際には、予測モデルに基づいて、あらかじめ決定された生体の状態が検知され、それらの状態がニューロン活動およびトレーニング信号と関連づけられる、請求項14または15に記載の方法。 For the calculation, one state of the living body is detected. In this case, a predetermined state of the living body is detected based on the prediction model, and these states are associated with the neuron activity and the training signal. The method according to claim 14 or 15. 予測モデルに基づいて、生体の外部環境が検知され、それらの状態がニューロン活動およびトレーニング信号と関連づけられる、請求項14〜16のいずれかひとつに記載の方法。 The method according to any one of claims 14 to 16, wherein based on the predictive model, the external environment of the living body is detected, and their state is correlated with neuronal activity and training signals. 入力信号が運動に関係し、運動を管轄する脳領域のニューロン活動を代表するものであり、その際、ニューロン活動は、脳の運動野において、運動をイメージし、組み立て、実行または制御する場合の情報処理プロセスに該当する、請求項14〜17のいずれかひとつに記載の方法。 The input signal is related to movement, and represents neuronal activity in the brain region that controls the movement. In this case, neuronal activity is the case where the movement is imaged, assembled, executed, or controlled in the motor area of the brain. The method according to claim 14, which corresponds to an information processing process. 検出された信号サンプルが、運動制御信号の算出時に、非正常信号を受けて考慮されない状態で留まり、その際、非正常信号は、とくに決定された標準運動である、請求項14〜18のいずれかひとつに記載の方法。 19. The detected signal sample remains in an unacceptable state when receiving a non-normal signal when calculating a motion control signal, wherein the non-normal signal is a particularly determined standard motion. The method described in one. 検出された信号サンプルが、運動制御信号の算出時に、非正常信号を受けて考慮されない状態で留まり、その際、非正常信号は脳の自然なエラー信号である、請求項14〜19のいずれかひとつに記載の方法。 20. The detected signal sample remains in an unacceptable state when receiving a non-normal signal when calculating a motion control signal, wherein the non-normal signal is a natural error signal of the brain. The method described in one. 予測モデルが、運動制御信号を組み立てる場合に、補間点として標準運動を用いる、請求項20〜14のいずれかひとつに記載の方法。 15. A method according to any one of claims 20 to 14, wherein the predictive model uses standard motion as an interpolation point when assembling motion control signals. 生体に組み込まれているエフェクター(6)の運動制御に使用するための、予測モデルのデータによるデータバンク構築方法であって、その際、
A data bank construction method based on prediction model data for use in motion control of an effector (6) incorporated in a living body,
Receives input signals that are representative of neuronal activity generated by the body's brain with respect to the standard body movements that must be trained,
Save the input signal in the data bank as a training signal sample,
Assign stepwise motion control signals to training signal samples according to their standard motion
A method for constructing a data bank having the steps of:
トレーニングにおいて、生体の標準運動のサイクルがひとつのトレーニング段階を形成し、各トレーニング段階の間、入力信号がトレーニング信号サンプルとして記録される、請求項22に記載の方法。 23. The method according to claim 22, wherein in training, a cycle of a standard body movement forms a training phase, and during each training phase, the input signal is recorded as a training signal sample. ひとつのトレーニング段階が、標準運動の実演、イメージおよび/または実行である、請求項22または23に記載の方法。 24. A method according to claim 22 or 23, wherein one training stage is a demonstration, image and / or execution of a standard exercise. 生体の状態が、各トレーニング段階の間、分類およびデータバンクの中に保存され、その状態は、予測モデルを決定する時の各トレーニング信号サンプルの重み付けに影響し、その際、その状態は、とくに身体の姿勢、健康状態、集中力および/または疲労である、請求項22〜24のいずれかひとつに記載の方法。 The state of the organism is stored in the classification and data bank during each training phase, which affects the weighting of each training signal sample when determining the predictive model, where the state is in particular 25. A method according to any one of claims 22 to 24, wherein the method is body posture, health status, concentration and / or fatigue. 様々な状態において、標準運動のトレーニング・シリーズが実行される、請求項22〜25のいずれかひとつに記載の方法。 26. The method of any one of claims 22-25, wherein a standard exercise training series is performed in various situations. 検出された信号サンプルが、保存されることなく、受信された非正常信号を受けて放棄される、請求項22〜26のいずれかひとつに記載の方法。 27. A method according to any one of claims 22 to 26, wherein the detected signal samples are discarded in response to a received abnormal signal without being stored. 保存されたトレーニング信号サンプルが、受信された非正常信号を受けてデータバンクから消去される、請求項22〜27のいずれかひとつに記載の方法。 28. A method according to any one of claims 22 to 27, wherein the stored training signal samples are erased from the data bank upon receipt of the received abnormal signal. 非正常信号が、あらかじめ決定された標準運動であるか、または、自然のエラー信号のニューロン活動を代表するものである、請求項27または28に記載の方法。 29. A method according to claim 27 or 28, wherein the abnormal signal is a predetermined standard movement or is representative of neuronal activity of a natural error signal. 入力信号がニューロンの集団活動の電磁的入力信号であり、とくに、局所電場電位(Local field potential)、皮質脳波(Electrocorticography)または脳波(Electroencephalography) 導出からの入力信号である、請求項13〜29のいずれかひとつに記載の方法。 30. The input signal is an electromagnetic input signal of collective activity of neurons, in particular an input signal derived from a local field potential, a cortical electroencephalogram or an electroencephalography derivation. The method as described in any one. 予測モデルが、新しい運動制御信号を組み立てる場合に、補間点として標準運動を用いる、請求項14〜30のいずれかひとつに記載の方法。 31. A method according to any one of claims 14 to 30, wherein the predictive model uses standard motion as an interpolation point when assembling a new motion control signal. 標準運動に対応するニューロン活動が、入力信号の時間−周波数−解析帯域の周波数変調および位相変調の形に変換される、請求項14〜30のいずれかひとつに記載の方法。 31. A method according to any one of claims 14 to 30, wherein neuronal activity corresponding to the standard motion is converted into a form of frequency modulation and phase modulation of the time-frequency-analysis band of the input signal. 制御されるエフェクター(6)がプロテーゼであるか、生体自身の身体部分であるか、または、データ処理装置である、請求項14〜32のいずれかひとつに記載の方法。 The method according to any one of claims 14 to 32, wherein the effector (6) to be controlled is a prosthesis, a body part of the living body itself, or a data processing device. 運動制御信号が目標設定をもっており、運動制御信号が、制御信号には含まれない中間目標設定を含めて、エフェクター(6)により行動または運動に変換される、請求項14〜33のいずれかひとつに記載の方法。 34. Any one of claims 14 to 33, wherein the motion control signal has a goal setting, and the motion control signal is converted into action or motion by the effector (6), including intermediate goal settings not included in the control signal. The method described in 1. 予測モデルが学習能力をもつ、請求項14〜34のいずれかひとつに記載の方法。 The method according to any one of claims 14 to 34, wherein the prediction model has learning ability.
JP2008555746A 2006-02-23 2007-02-12 Apparatus and method for real time control of effectors Pending JP2009531077A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102006008495.0A DE102006008495B4 (en) 2006-02-23 2006-02-23 Device and method for real-time control of an effector
PCT/EP2007/051360 WO2007096269A1 (en) 2006-02-23 2007-02-12 Device and method for the real-time control of an effector

Publications (1)

Publication Number Publication Date
JP2009531077A true JP2009531077A (en) 2009-09-03



Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008555746A Pending JP2009531077A (en) 2006-02-23 2007-02-12 Apparatus and method for real time control of effectors

Country Status (4)

Country Link
EP (1) EP1988965A1 (en)
JP (1) JP2009531077A (en)
DE (1) DE102006008495B4 (en)
WO (1) WO2007096269A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257343A (en) * 2009-04-27 2010-11-11 Niigata Univ Intention transmission support system
JP2010541091A (en) * 2007-10-04 2010-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Improvements related to brain computer interface
JP2011186667A (en) * 2010-03-05 2011-09-22 Osaka Univ Apparatus control device, apparatus system, apparatus control method, apparatus control program and recording medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007009356A1 (en) * 2007-02-23 2008-08-28 Otto Bock Healthcare Products Gmbh prosthesis
DE102007028861A1 (en) * 2007-06-22 2009-01-02 Albert-Ludwigs-Universität Freiburg Method for computer-aided prediction of intended movements
US9248280B2 (en) * 2007-11-02 2016-02-02 Boston Scientific Neuromodulation Corporation Closed-loop feedback for steering stimulation energy within tissue
DE602010000009D1 (en) 2009-04-28 2011-04-21 Sorin Crm Sas Inductive switching power supply with digital control for active implantable medical device
DE102010043029A1 (en) * 2010-10-27 2012-05-03 Albert-Ludwigs-Universität Freiburg Selection circuit for an electrode assembly and method for operating and for producing an electrode assembly
US9539118B2 (en) * 2013-03-15 2017-01-10 Neurolutions, Inc. Brain-controlled body movement assistance devices and methods
DE102016100886B4 (en) 2016-01-20 2017-12-21 Trutz Podschun System for the regeneration of at least one severed nerve conduction
EP4041138A1 (en) 2019-10-11 2022-08-17 Neurolutions, Inc. Orthosis systems and rehabilitation of impaired body parts

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093129A1 (en) * 2001-10-29 2003-05-15 Nicolelis Miguel A.L. Closed loop brain machine interface
US20050267597A1 (en) * 2003-11-25 2005-12-01 Flaherty J Christopher Neural interface system with embedded id

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6609017B1 (en) * 1998-08-07 2003-08-19 California Institute Of Technology Processed neural signals and methods for generating and using them
US6171239B1 (en) * 1998-08-17 2001-01-09 Emory University Systems, methods, and devices for controlling external devices by signals derived directly from the nervous system
US7120486B2 (en) * 2003-12-12 2006-10-10 Washington University Brain computer interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030093129A1 (en) * 2001-10-29 2003-05-15 Nicolelis Miguel A.L. Closed loop brain machine interface
US20050267597A1 (en) * 2003-11-25 2005-12-01 Flaherty J Christopher Neural interface system with embedded id

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010541091A (en) * 2007-10-04 2010-12-24 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Improvements related to brain computer interface
US8862219B2 (en) 2007-10-04 2014-10-14 Koninklijke Philips N.V. Relating to brain computer interfaces
JP2010257343A (en) * 2009-04-27 2010-11-11 Niigata Univ Intention transmission support system
JP2011186667A (en) * 2010-03-05 2011-09-22 Osaka Univ Apparatus control device, apparatus system, apparatus control method, apparatus control program and recording medium

Also Published As

Publication number Publication date
WO2007096269A1 (en) 2007-08-30
EP1988965A1 (en) 2008-11-12
DE102006008495A1 (en) 2007-09-06
DE102006008495B4 (en) 2018-01-25

Similar Documents

Publication Publication Date Title
JP2009531077A (en) Apparatus and method for real time control of effectors
He et al. Noninvasive brain-computer interfaces based on sensorimotor rhythms
JP5143027B2 (en) Data transmission probe between brain and data processor
US7881780B2 (en) Biological interface system with thresholded configuration
Lebedev Brain-machine interfaces: an overview
US20200038653A1 (en) Multimodal closed-loop brain-computer interface and peripheral stimulation for neuro-rehabilitation
US20200345578A1 (en) High-resolution, selective and self-optimizing haptic and electrotactile display and methods of use
EP3048955A2 (en) Physiological parameter measurement and feedback system
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
CN110993056A (en) Hybrid active rehabilitation method and device based on mirror image neurons and brain-computer interface
Wehner Man to machine, applications in electromyography
US20220187913A1 (en) Neurorehabilitation system and neurorehabilitation method
Guo et al. Human–robot interaction for rehabilitation robotics
Venkatesh et al. A Complex Brain Learning Skeleton Comprising Enriched Pattern Neural Network System for Next Era Internet of Things
EP3680872A1 (en) Apparatus, method and computer program for identifying an obsessive compulsive disorder event
Virdi et al. Home automation control system implementation using SSVEP based brain computer interface
Xie et al. Biomechatronics in medical rehabilitation
Brandman et al. Brain computer interfaces
Hu et al. Neural coding for effective rehabilitation
Kasemsap Brain-Machine Interfaces: Advanced Issues and Approaches
Zhong et al. Cross-Subject Motor Imagery Decoding by Transfer Learning of Tactile ERD
Graceshalini et al. A Review of Innovation to Human Augmentation in Brain‐Machine Interface–Potential, Limitation, and Incorporation of AI
Marzorati Development of a Wearable and Cost Effective Brain-Computer Interface Assistive Device
Alseddiqi et al. Controlling Wheelchair Using EEG Signal and Machine Learning
CATTABRIGA Analysis of EEG Signals for the Detection of Erroneous Commands During the Control of a Powered Wheelchair

Legal Events

Date Code Title Description
A621 Written request for application examination


Effective date: 20100128

A521 Written amendment


Effective date: 20110114

A131 Notification of reasons for refusal


Effective date: 20120110

A601 Written request for extension of time


Effective date: 20120409

A602 Written permission of extension of time


Effective date: 20120416

A521 Written amendment


Effective date: 20120509

A02 Decision of refusal


Effective date: 20120703