KR102142535B1 - Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method - Google Patents

Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method Download PDF

Info

Publication number
KR102142535B1
KR102142535B1 KR1020180052154A KR20180052154A KR102142535B1 KR 102142535 B1 KR102142535 B1 KR 102142535B1 KR 1020180052154 A KR1020180052154 A KR 1020180052154A KR 20180052154 A KR20180052154 A KR 20180052154A KR 102142535 B1 KR102142535 B1 KR 102142535B1
Authority
KR
South Korea
Prior art keywords
electrical stimulation
user
eeg
game
brain
Prior art date
Application number
KR1020180052154A
Other languages
Korean (ko)
Other versions
KR20190127489A (en
Inventor
구정훈
Original Assignee
계명대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단 filed Critical 계명대학교 산학협력단
Priority to KR1020180052154A priority Critical patent/KR102142535B1/en
Priority to PCT/KR2019/003827 priority patent/WO2019212149A1/en
Publication of KR20190127489A publication Critical patent/KR20190127489A/en
Application granted granted Critical
Publication of KR102142535B1 publication Critical patent/KR102142535B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36014External stimulators, e.g. with patch electrodes
    • A61N1/3603Control systems
    • A61N1/36031Control systems using physiological parameters for adjustment
    • A61B5/048
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • A61B5/372Analysis of electroencephalograms
    • A61B5/374Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/02Details
    • A61N1/04Electrodes
    • A61N1/0404Electrodes for external use
    • A61N1/0408Use-related aspects
    • A61N1/0452Specially adapted for transcutaneous muscle stimulation [TMS]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61NELECTROTHERAPY; MAGNETOTHERAPY; RADIATION THERAPY; ULTRASOUND THERAPY
    • A61N1/00Electrotherapy; Circuits therefor
    • A61N1/18Applying electric currents by contact electrodes
    • A61N1/32Applying electric currents by contact electrodes alternating or intermittent currents
    • A61N1/36Applying electric currents by contact electrodes alternating or intermittent currents for stimulation
    • A61N1/36003Applying electric currents by contact electrodes alternating or intermittent currents for stimulation of motor muscles, e.g. for walking assistance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/0001Games specially adapted for handicapped, blind or bed-ridden persons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F9/00Games not otherwise provided for
    • A63F9/0001Games specially adapted for handicapped, blind or bed-ridden persons
    • A63F2009/0007Games with therapeutic effects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Human Computer Interaction (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

본 발명은 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 관한 것으로서, 보다 구체적으로는 재활 시스템으로서, 게임영상을 표시하는 표시 장치, 상기 표시 장치에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치, 상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치, 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 전기 자극 장치, 및 상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상과 상기 전기 자극 장치를 제어하는 제어 장치를 포함하되, 상기 제어 장치는, 상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있고, 사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 뇌파 획득 장치 및 뇌파 분석 장치를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어할 수 있으며, 상기 게임영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있는 것을 그 구성상의 특징으로 한다.
또한, 본 발명은 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법에 관한 것으로서, 보다 구체적으로는 재활 시스템의 제어방법으로서, (1) 표시 장치가, 게임영상을 표시하는 단계; (2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계; (3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및 (4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극 장치에서 사용자의 신체부위에 기능성 전기 자극을 주도록 하는 동시에 표시 장치에서 표시되는 게임영상을 제어하는 단계를 포함하되, 상기 단계 (1)에서는, 상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 상기 게임영상을 표시하고, 상기 단계 (4)에서는, 사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 단계 (2) 및 단계 (3)을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어하며, 상기 게임영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
또한, 본 발명에 따르면, 사용자의 재활 필요 부위에 기능성 전기 자극(Functional Electrical Stimulation)을 주어 게임영상을 보는 것만으로도 재활 훈련이 가능하도록 할 수 있다.
The present invention relates to a game-type rehabilitation system that combines functional electrical stimulation to maximize the activation of mirror neurons and brain-computer interface (BCI) technology, and more specifically, as a rehabilitation system, a display device for displaying a game image, An EEG acquisition device that acquires a user's EEG corresponding to the game image displayed on the display device, an EEG analysis device that analyzes the user's EEG obtained from the EEG acquisition device, and an electricity providing functional electrical stimulation to the user's rehabilitation needs A stimulation device, and a control device for controlling the game image displayed on the display device and the electrical stimulation device according to a result corresponding to the brain wave analyzed by the brain wave analysis device, wherein the control device comprises: One or more body parts of the displayed object can be controlled to blink at a specific frequency, and when the user watches the corresponding body part of the object displayed in the game image, it is acquired and analyzed through the EEG acquisition device and the EEG analysis device. Depending on the result corresponding to the generated EEG, it is possible to control the movement by giving a functional electrical stimulation to the user's need for rehabilitation, and to move the corresponding body part of the object displayed in the game image in a preset manner. It is characterized by its construction.
In addition, the present invention relates to a control method of a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons, and more specifically, as a control method of the rehabilitation system, (1) displaying, by the display device, a game image; (2) obtaining, by the EEG acquisition device, a user's EEG corresponding to the game image displayed in step (1); (3) the EEG analysis device, analyzing the user's EEG obtained in step (2); And (4) the control device, according to the result corresponding to the brain wave analyzed in step (3), to apply a functional electrical stimulation to the user's body part by the electrical stimulation device and at the same time control the game image displayed on the display device. Including a step, wherein in the step (1), the game image is displayed so that one or more body parts of the object displayed on the game image blink at a specific frequency, and in the step (4), the user When looking at the corresponding body part of the displayed object, according to the result corresponding to the brain wave obtained and analyzed through steps (2) and (3), the user's rehabilitation needs are given a functional electrical stimulation to move. It is characterized in that it can control the body part of the object displayed on the game image to move in a preset manner.
According to the game-type rehabilitation system and its control method that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons proposed in the present invention, the system using the existing SSVEP Unlike using the SSVEP, the body part of the object blinking at a specific frequency of SSVEP is displayed, and the mirror nerve cell can be activated through the game image in which the body part of the object that the user is watching moves, and the user's interest By inducing, it is possible to increase the concentration of watching the image, and at the same time, it is possible to enable active rehabilitation training of the user.
In addition, according to the present invention, it is possible to perform rehabilitation training simply by viewing a game image by applying a functional electrical stimulation to a region in need of rehabilitation of a user.

Description

거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법{GAME-BASED REHABILITATION SYSTEM COMBINE FUNCTIONAL ELECTRICAL STIMULATION AND BRAIN-COMPUTER INTERFACE TECHNIQUE TO MAXIMIZE ACTIVATION OF MIRROR NERVE CELL AND ITS CONTROL METHOD }GAME-BASED REHABILITATION SYSTEM COMBINE FUNCTIONAL ELECTRICAL STIMULATION AND BRAIN-COMPUTER INTERFACE TECHNIQUE TO MAXIMIZE ACTIVATION OF MIRROR NERVE CELL AND ITS CONTROL METHOD}

본 발명은 재활 시스템 및 그 제어방법에 관한 것으로서, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법에 관한 것이다.The present invention relates to a rehabilitation system and a control method thereof, and to a game-type rehabilitation system and a control method thereof in which functional electrical stimulation to maximize the activation of mirror neurons and brain-computer interface (BCI) technology are combined.

일반적으로 운동 능력의 결손을 가지는 뇌질환 환자는, 마비된 근육을 자신의 의지로는 조절할 수 없는 경우가 대부분이며, 이러한 환자의 재활을 돕는 방법으로는 물리치료, 약물치료, 수술 등이 있다. 특히, 물리치료를 이용한 재활 훈련에 있어서, 환자의 의지에 의해 능동적으로 치료를 하는 경우가 재활 훈련의 효과가 높은 것으로 보고되었으나, 근육 마비로 인해 동작에 제한이 있는 환자들에게, 이러한 재활 훈련은 물리치료사에 의하여 수동적으로 이루어질 수밖에 없는 문제점이 있다.
In general, patients with brain diseases having a deficit in motor ability are in most cases unable to control the paralyzed muscles with their own will, and methods of helping such patients rehabilitate include physical therapy, drug therapy, and surgery. In particular, in rehabilitation training using physical therapy, it has been reported that the effect of rehabilitation training is high when active treatment is performed by the patient's will. However, for patients with limited movement due to muscle paralysis, such rehabilitation training There is a problem that must be made passively by a physical therapist.

한편, 재활 훈련의 효과를 높이기 위하여, 환자의 거울신경세포의 자극을 이용하는 치료방법이 있다. 이는 물리치료사에 의한 수동적인 치료가 아닌, 환자가 특정한 대상을 주시하고 행동을 통하여 이루어지는 능동적인 재활 훈련이라는 점에서 의미가 있다. 거울신경세포는, 자신이 직접 경험한 것이 아니라 타인의 행동을 보기만 해도, 관찰자가 실제로 행동하는 것과 같이, 관찰자의 신체에서 동일한 반응을 일으키게 하는 세포를 의미한다. 이를 응용한 재활 훈련으로서, 환자의 거울신경세포를 활성화시키기 위하여, 특정 대상의 움직임이 포함된 비디오를 보여주는 방법이 있으며, 이러한 방법은, 뇌손상으로 인하여 자신의 의지로는 동작을 할 수 없는 환자에게, 타인의 행동을 보는 것만으로도 환자 자신이 스스로 행동하는 것처럼 환자의 신체 시스템에 영향을 미치게 된다.
On the other hand, in order to increase the effect of rehabilitation training, there is a treatment method using stimulation of the patient's mirror nerve cells. This is meaningful in that it is not passive treatment by a physical therapist, but active rehabilitation training performed by the patient looking at a specific target and performing actions. Mirror neuron refers to a cell that causes the same reaction in the observer's body just as the observer actually behaves, just by seeing the actions of others, not directly experienced by them. As a rehabilitation training that applies this, there is a method of showing a video including a motion of a specific object in order to activate the patient's mirror nerve cells. This method is for patients who cannot operate with their own will due to brain damage. Ee, just seeing the behavior of others affects the patient's body system as if the patient himself behaves itself.

또한, 최근에는 환자의 뇌파를 이용한 재활과 관련된 연구가 진행되고 있으며, 특히 BCI(Brain-Computer Interface)는 뇌파를 컴퓨터에 전달하는 장치를 의미하는 것으로서, 이러한 BCI 기술을 이용하여, 사람과 컴퓨터의 소통을 이용한 재활 시스템 분야의 개발이 활발해지고 있다.
In addition, recently, research related to rehabilitation using the patient's EEG is being conducted. In particular, BCI (Brain-Computer Interface) refers to a device that transmits EEG to a computer. Using this BCI technology, human and computer The development of the rehabilitation system field using communication is becoming active.

BCI 기법으로 소개되고 있는 SSVEP(Steady-State Visually Evoked Potentials)는, ‘정상상태시각유발전위’라고 하며, 이는 사용자가 깜빡이는 빛을 주시할 때 사용자의 뇌파에서 발생되는 것으로, 주시하는 빛의 깜빡임과 같은 주파수를 갖는 뇌파를 가리킨다. 즉, SSVEP를 이용한 BCI 기술은, 사용자가 특정 주파수로 깜빡거리는 빛을 보면, 사용자의 뇌 뒤쪽에서 SSVEP가 발생하게 되며, 사용자의 머리에 설치된 뇌파 측정 장치를 통하여 측정된 SSVEP가, 컴퓨터에 입력됨으로써, 뇌파를 컴퓨터에 전달할 수 있게 되는 것이다.
SSVEP (Steady-State Visually Evoked Potentials), introduced as a BCI technique, is called a'steady-state visually evoked potential', which is generated from the user's brain waves when the user watches the flickering light. It refers to brain waves with the same frequency as. In other words, in the BCI technology using SSVEP, when a user sees light flickering at a specific frequency, SSVEP is generated in the back of the user's brain, and SSVEP measured through an EEG measurement device installed in the user's head is input to the computer. , EEG can be transmitted to the computer.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 나타내는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수를 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다. 이러한 깜빡이는 빛을 이용하는 시스템은, 단지 깜빡이는 빛을 이용하는 것이므로, 사용자가 이에 흥미를 갖기 어렵고, 집중도가 떨어지는 문제점이 있다. 이와 같은 SSVEP를 이용한 시스템과 관련된 선행기술로는, 공개특허 제10-2014-0075049호(발명의 명칭: 집중력 평가 방법 및 이를 적용하는 장치), 등록특허 제10-1431203호(발명의 명칭: 뇌파를 이용한 의도 인식용 두뇌 기계 인터페이스 장치 및 방법) 등이 있다.
1 is a diagram showing an example of a system using a conventional SSVEP. As shown in FIG. 1, SSVEP is detected from the user's EEG, and the detected EEG is transmitted to the computer using light that flickers at a specific frequency on the screen. In this case, there may be more than one flickering light, each of which has a different specific frequency, and through analysis of the frequency of the SSVEP detected from the user's EEG, it is possible to know what light the user is watching. Each flickering light has a predetermined signal, and it is a system that can remotely control a device corresponding to the signal of the light that the user is watching. Since the system using such a flickering light only uses flickering light, it is difficult for the user to be interested in this, and there is a problem in that the concentration is low. As prior art related to such a system using SSVEP, Patent Publication No. 10-2014-0075049 (name of the invention: concentration evaluation method and apparatus for applying the same), Registration Patent No. 10-1431203 (name of the invention: EEG And a brain machine interface device and method for intent recognition using a method).

상기한 바와 같이, 종래의 SSVEP를 이용한 시스템은, 사용자가 흥미를 갖지 않게 되어, 집중도가 낮을 수밖에 없으므로, 사용자의 집중력을 높일 수 있는 해결책이 필요하며, 이에 더 하여, 기능성 전기 자극(Functional Electrical Stimulation)를 통해 재활 훈련의 효과를 높일 수 있는, 거울신경세포의 활성화 방법의 개발의 필요성이 높아지고 있다.As described above, in the system using the conventional SSVEP, the user is not interested, and the concentration is inevitably low, so a solution to increase the user's concentration is required.In addition, functional electrical stimulation (Functional Electrical Stimulation) ), the need for the development of a mirror neuron activation method that can increase the effect of rehabilitation training is increasing.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed to solve the above problems of the previously proposed methods, and the system using the existing SSVEP displays the body part of an object that flickers at a specific frequency of the SSVEP, unlike that using the flickering light. And, through the game image in which the body part of the object that the user is watching moves, it is possible to activate the mirror nerve cells, induce interest of the user, and increase the concentration to watch the image. At the same time, the user's active It is an object of the present invention to provide a game-type rehabilitation system and a control method thereof that combines functional electrical stimulation and brain-computer interface (BCI) technology that maximizes the activation of mirror neurons that enable rehabilitation training.

또한, 본 발명은, 사용자의 재활 필요 부위에 기능성 전기 자극(Functional Electrical Stimulation)을 주어 게임영상을 보는 것만으로도 재활 훈련이 가능하도록 할 수 있는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어 방법을 제공하는 것을 그 목적으로 한다.In addition, the present invention provides a functional electrical stimulation to the user's rehabilitation needs area (Functional Electrical Stimulation) to enable rehabilitation training just by viewing the game image, functional electrical stimulation to maximize the activation of mirror nerve cells and It is an object of the present invention to provide a game-type rehabilitation system and a control method thereof in which brain-computer interface (BCI) technology is combined.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 거울신경세포의 활성화를 극대화하는 기능성전기자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템은,In accordance with a feature of the present invention for achieving the above object, a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons,

재활 시스템으로서,As a rehabilitation system,

게임영상을 표시하는 표시 장치;A display device that displays a game image;

상기 표시 장치에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;An EEG acquisition device for obtaining a user's EEG corresponding to a game image displayed on the display device;

상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치;An EEG analysis device for analyzing a user's EEG acquired by the EEG acquisition device;

상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 기능성 전기 자극을 사용자의 재활 필요 부위에 시행하는 전기 자극 장치; 및An electrical stimulation device for performing functional electrical stimulation to a user's rehabilitation needs according to a result corresponding to the brain wave analyzed by the brain wave analysis device; And

상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상과 상기 전기 자극 장치에서 시행되는 전기 자극을 제어하는 제어 장치를 포함하되,In accordance with a result corresponding to the EEG analyzed by the EEG analysis device, comprising a control device for controlling a game image displayed on the display device and an electrical stimulation applied by the electrical stimulation device,

상기 제어 장치는,The control device,

상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있으며, 사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 뇌파 획득 장치 및 뇌파 분석 장치를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 상기 게임영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있고, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어할 수 있으며,One or more body parts of the object displayed in the game image can be controlled to blink at a specific frequency, and when the user watches the corresponding body part of the object displayed in the game image, the EEG acquisition device and the EEG analysis device are used. According to the result corresponding to the brain wave acquired and analyzed through the game image, the body part of the object displayed in the game image can be controlled to move in a preset manner, and a functional electrical stimulation is applied to the user's rehabilitation required part to move. Can be controlled,

사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
It is characterized in that the rehabilitation training is performed using the activation of the user's mirror nerve cells according to the movement of the body part of the object that the user selectively observes.

바람직하게는, 상기 표시 장치는,Preferably, the display device,

상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 표시 장치일 수 있다.
It may be a display device that further includes and displays guide content for progressing the game image.

더 바람직하게는, 상기 표시 장치는,More preferably, the display device,

상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함할 수 있다.
It may include a voice output device for outputting the voice content corresponding to the guide content.

바람직하게는, 상기 뇌파 분석 장치는,Preferably, the brain wave analysis device,

사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및An EEG detection unit for detecting EEG when a user selectively gazes at a specific body part of an object; And

상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
It may include an EEG analysis unit that analyzes the frequency of the EEG detected by the EEG detection unit.

더 바람직하게는, 상기 뇌파검출부는,More preferably, the EEG detection unit,

사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다.
SSVEP may be detected from a user's EEG signal corresponding to a specific body part of an object that the user selectively looks at.

더 바람직하게는, 상기 뇌파분석부는,More preferably, the brain wave analysis unit,

상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석할 수 있다.
The frequency of SSVEP detected by the EEG detection unit may be analyzed.

바람직하게는, 상기 전기 자극 장치는,Preferably, the electrical stimulation device,

상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극의 강도 및 빈도 중 적어도 하나 이상이 조절된 전기 자극을 시행할 수 있다.
According to a result corresponding to the EEG analyzed by the EEG analysis device, an electric stimulation in which at least one or more of the intensity and frequency of the electric stimulation is adjusted may be performed.

바람직하게는, 상기 전기 자극 장치는,Preferably, the electrical stimulation device,

제어 신호 생성부에서 생성된 제어신호를 수신하는 제어신호 수신부;A control signal receiving unit for receiving a control signal generated by the control signal generating unit;

상기 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성하는 자극 제어부; 및A stimulation control unit that generates an electrical stimulation signal in real time based on the control signal; And

상기 자극 제어부로부터 상기 전기 자극 신호를 전달받아, 상기 전기 자극 신호에 따른 전기 신호를 환자의 재활 필요 부위에 인가하여 전기 자극을 시행하는 자극부를 포함할 수 있다.
A stimulation unit configured to receive the electric stimulation signal from the stimulation control unit and apply an electric signal according to the electric stimulation signal to a region in need of rehabilitation of the patient to perform electric stimulation.

더 바람직하게는, 상기 전기 자극 장치는,More preferably, the electrical stimulation device,

상기 자극부에서 환자의 재활 필요 부위에 인가하는 전기 신호의 평균 세기 정보를 입력하는 입력부를 더 포함할 수 있다.
It may further include an input unit for inputting the average intensity information of the electrical signal applied from the stimulation unit to the region in need of rehabilitation of the patient.

더 바람직하게는,More preferably,

상기 자극부는 복수이며,The magnetic pole portion is a plurality,

상기 자극 제어부는, 상기 전기 자극의 패턴에 따라 상기 복수의 자극부로 출력되어야 할 전기 자극 신호를 상기 복수의 자극부 각각에 대하여 실시간으로 생성할 수 있다.
The stimulation control unit may generate an electrical stimulation signal to be output to the plurality of stimulation units in real time for each of the plurality of stimulation units according to the pattern of the electric stimulation.

바람직하게는, 상기 전기 자극 장치는,Preferably, the electrical stimulation device,

신경 또는 신경과 근육이 만나는 곳에 부착되어, 전기 신호를 통해 운동신경과 감각신경 모두를 자극할 수 있다.
It is attached to nerves or where nerves and muscles meet, and can stimulate both motor and sensory nerves through electrical signals.

바람직하게는, 상기 제어 장치는,Preferably, the control device,

뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하고, 사용자의 신체부위에 미리 설정된 방식으로 기능성 전기 자극을 주도록 하는 제어신호를 생성하는 제어신호 생성부;A control signal generator for generating a control signal for moving a body part of an object corresponding to the SSVEP having a specific frequency analyzed by the EEG analysis unit in a preset manner, and for giving a functional electrical stimulation to the body part of the user in a preset manner;

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 표시 장치 제어부; 및A display device controller configured to control a display device that displays movement of the object using a control signal generated by the control signal generator; And

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 사용자의 신체부위에 기능성 전기 자극을 주는 전기 자극 장치를 제어하는 전기 자극 장치 제어부를 포함할 수 있다.
It may include an electrical stimulation device controller for controlling an electrical stimulation device that applies a functional electrical stimulation to the user's body part by using the control signal generated by the control signal generator.

바람직하게는, 상기 게임 방식의 재활 시스템은,Preferably, the game-based rehabilitation system,

객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위에 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수일 수 있다.
The specific frequency at which one or more body parts of the object blinks may be the same frequency regardless of the body part, or different frequencies for each body part.

바람직하게는, 상기 게임 방식의 재활 시스템은,Preferably, the game-based rehabilitation system,

신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함할 수 있다.
The game image in which the body part moves in a preset manner may include movements that are helpful for rehabilitation of the user.

또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른, 거울신경세포의 활성화를 극대화하는 기능성전기자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법은,In addition, according to another feature of the present invention for achieving the above object, a control method of a game-type rehabilitation system combining functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons,

재활 시스템의 제어방법으로서,As a control method of the rehabilitation system,

(1) 표시 장치가, 게임영상을 표시하는 단계;(1) displaying, by the display device, a game image;

(2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계;(2) obtaining, by the EEG acquisition device, a user's EEG corresponding to the game image displayed in step (1);

(3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및(3) the EEG analysis device, analyzing the user's EEG obtained in step (2); And

(4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극 장치에서 사용자의 재활 부위에 기능성 전기 자극을 주도록 하는 동시에 표시 장치에서 표시되는 게임영상을 제어하는 단계를 포함하되,(4) controlling, by the control device, a game image displayed on the display device while allowing the electrical stimulation device to apply functional electrical stimulation to the user's rehabilitation site according to the result corresponding to the brain wave analyzed in step (3). Including,

상기 단계 (1)에서는,In step (1),

상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 상기 게임영상을 표시하고,Display the game image so that one or more body parts of the object displayed in the game image blink at a specific frequency,

상기 단계 (4)에서는,In step (4),

사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 단계 (2) 및 단계 (3)을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하고, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어하며,When the user gazes at the corresponding body part of the object displayed in the game image, the corresponding body of the object displayed in the image is obtained through the steps (2) and (3) and corresponds to the analyzed brain wave. The part is controlled to move in a preset manner, and the user's part in need of rehabilitation is controlled to move by giving a functional electrical stimulation,

사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
It is characterized in that the rehabilitation training is performed using the activation of the user's mirror nerve cells according to the movement of the body part of the object that the user selectively observes.

바람직하게는, 상기 뇌파 분석 장치는,Preferably, the brain wave analysis device,

사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및An EEG detection unit for detecting EEG when a user selectively gazes at a specific body part of an object; And

상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함할 수 있다.
It may include an EEG analysis unit that analyzes the frequency of the EEG detected by the EEG detection unit.

바람직하게는, 상기 전기 자극 장치는,Preferably, the electrical stimulation device,

제어 신호 생성부에서 생성된 제어신호를 수신하는 제어신호 수신부;A control signal receiving unit for receiving a control signal generated by the control signal generating unit;

상기 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성하는 자극 제어부; 및A stimulation control unit that generates an electrical stimulation signal in real time based on the control signal; And

상기 자극 제어부로부터 상기 전기 자극 신호를 전달받아, 상기 전기 자극 신호에 따른 전기 신호를 환자의 재활 필요 부위에 인가하여 전기 자극을 시행하는 자극부를 포함할 수 있다.
A stimulation unit configured to receive the electric stimulation signal from the stimulation control unit and apply an electric signal according to the electric stimulation signal to a region in need of rehabilitation of the patient to perform electric stimulation.

더 바람직하게는, 상기 전기 자극 장치는,More preferably, the electrical stimulation device,

상기 자극부에서 환자의 재활 필요 부위에 인가하는 전기 신호의 평균 세기 정보를 입력하는 입력부를 더 포함할 수 있다.
It may further include an input unit for inputting the average intensity information of the electrical signal applied from the stimulation unit to the region in need of rehabilitation of the patient.

더 바람직하게는,More preferably,

상기 자극부는 복수이며,The magnetic pole portion is a plurality,

상기 자극 제어부는, 상기 전기 자극의 패턴에 따라 상기 복수의 자극부로 출력되어야 할 전기 자극 신호를 상기 복수의 자극부 각각에 대하여 실시간으로 생성할 수 있다.
The stimulation control unit may generate an electrical stimulation signal to be output to the plurality of stimulation units in real time for each of the plurality of stimulation units according to the pattern of the electric stimulation.

바람직하게는, 상기 제어 장치는,Preferably, the control device,

뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하고, 사용자의 신체부위에 미리 설정된 방식으로 기능성 전기 자극을 주도록 하는 제어신호를 생성하는 제어신호 생성부;A control signal generator for generating a control signal for moving a body part of an object corresponding to the SSVEP having a specific frequency analyzed by the EEG analysis unit in a preset manner, and for giving a functional electrical stimulation to the body part of the user in a preset manner;

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 표시 장치 제어부; 및A display device controller configured to control a display device that displays movement of the object using a control signal generated by the control signal generator; And

상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 사용자의 신체부위에 조절된 전기 자극을 주는 전기 자극 장치를 제어하는 전기 자극 장치 제어부를 포함할 수 있다.It may include an electrical stimulation device control unit for controlling the electrical stimulation device for applying the adjusted electrical stimulation to the body part of the user by using the control signal generated by the control signal generator.

본 발명에서 제안하고 있는 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법에 따르면, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 능동적인 재활 훈련이 가능하도록 할 수 있다.
According to the game-type rehabilitation system and its control method that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons proposed in the present invention, the system using the existing SSVEP Unlike using the SSVEP, the body part of the object blinking at a specific frequency of SSVEP is displayed, and the mirror nerve cell can be activated through the game image in which the body part of the object that the user is watching moves, and the user's interest By inducing, it is possible to increase the concentration of watching the image, and at the same time, it is possible to enable active rehabilitation training of the user.

또한, 본 발명에 따르면, 사용자의 재활 필요 부위에 기능성 전기 자극(Functional Electrical Stimulation)을 주어 게임영상을 보는 것만으로도 재활 훈련이 가능하도록 할 수 있다.In addition, according to the present invention, it is possible to perform rehabilitation training simply by viewing a game image by applying Functional Electrical Stimulation to a user's need for rehabilitation.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면.
도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석 결과를 도시하는 도면.
도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진.
도 4는 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 구성을 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 주시하는 게임 영상의 객체의 신체부위가 움직이고 동시에 사용자의 신체부위에 기능성 전기 자극을 주는 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 블럭도를 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 게임영상의 일부를 도시한 도면.
도 9는 본 발명의 다른 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면.
도 10은 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 그 제어방법의 흐름도를 도시한 도면.
1 is a diagram showing an example of a system using a conventional SSVEP.
2 is a diagram showing a frequency analysis result of an EEG output through a system using a conventional SSVEP.
3 is a photograph showing that a certain area of the brain of an observer observing the motion of another person is activated.
4 is a diagram showing the configuration of a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and functional electrical stimulation to maximize the activation of mirror neurons according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a state in which a user performs rehabilitation training in a game-type rehabilitation system combining brain-computer interface (BCI) technology with functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention. One drawing.
6 is a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention. A diagram showing a state in which the body part moves and at the same time gives a functional electrical stimulation to the user's body part.
7 is a block diagram of a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention according to an embodiment of the present invention. Figure shown.
FIG. 8 is a view showing a part of a game image in a game-type rehabilitation system combining a brain-computer interface (BCI) technology with a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention.
9 is a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror nerve cells according to another embodiment of the present invention, showing a user performing rehabilitation training. Figure shown.
FIG. 10 is a diagram showing a flow chart of a control method in a game-type rehabilitation system combining a brain-computer interface (BCI) technology with a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention .

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily implement the present invention. However, in the detailed description of a preferred embodiment of the present invention, if it is determined that a detailed description of related known functions or configurations may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, the same or similar reference numerals are used throughout the drawings for parts having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is said to be'connected' to another part, it is not only'directly connected', but also'indirectly connected' with other elements in between. Includes. In addition, "including" a component means that other components may be further included instead of excluding other components, unless otherwise stated.

도 1은 기존의 SSVEP를 이용한 시스템의 일예를 도시하는 도면이다. 도 1에 도시된 바와 같이, 화면에서 특정 주파수로 깜빡이는 빛을 이용하여, 사용자의 뇌파에서 SSVEP를 검출하고, 검출된 뇌파를 컴퓨터에 전달하게 된다. 이 경우 깜빡이는 빛은 하나 이상일 수 있고, 각각 특정 주파수가 상이하여, 사용자의 뇌파에서 검출된 SSVEP의 주파수의 분석을 통하여, 사용자가 주시하는 빛이 무엇인지 알 수 있다. 각각의 깜빡이는 빛에는 미리 정하여진 신호가 있으며, 사용자가 주시하는 빛의 신호에 대응되는 장치를 원격으로 제어할 수 있는 시스템이다.
1 is a diagram showing an example of a system using a conventional SSVEP. As shown in FIG. 1, by using light flickering at a specific frequency on the screen, SSVEP is detected from the user's EEG, and the detected EEG is transmitted to the computer. In this case, there may be more than one flickering light, each of which has a different specific frequency, and through analysis of the frequency of the SSVEP detected from the user's EEG, it is possible to know what light the user is watching. Each flickering light has a predetermined signal, and it is a system that can remotely control a device corresponding to the signal of the light that the user is watching.

도 2는 기존의 SSVEP를 이용한 시스템을 통하여 출력된 뇌파의 주파수 분석결과를 도시하는 도면이다. 도 2에 도시된 바와 같이, 하나 이상의 깜빡이는 빛을 주시하는 사용자의 뇌파에서는, 사용자가 주시한 깜빡이는 빛이 갖는 주파수와 동일한 주파수의 SSVEP가 검출될 수 있으며, 각각 해당 주파수에서 피크가 표시된 것을 확인할 수 있다.
2 is a diagram showing a frequency analysis result of an EEG output through a system using an existing SSVEP. As shown in FIG. 2, in the user's brainwave watching one or more flickering lights, SSVEPs of the same frequency as the frequency of the flickering light that the user has watched may be detected, and each peak is displayed at the corresponding frequency. I can confirm.

도 3은 타인의 동작을 관찰하는 관찰자의 뇌의 일정 영역이 활성화된 것을 나타내는 사진이다. 도 3에 나타난 바와 같이, 연구결과에서는, 관찰자가 이행적 동작과 흉내 내기 동작을 관찰할 때는, 같은 동작을 정적인 그림으로 관찰할 때와는 달리 뇌의 특정 영역에서 각기 다른 활성을 보였으며, 이는 관찰한 동작에 참여하는 효과기에 달려있다고 발표되었다. 이로부터, 동작 관찰을 통해 관찰자의 뇌의 일정 영역이 활성화되는 것을 확인할 수 있고, 활성화된 거울신경세포는 관찰된 동작을 관찰자가 실제로 실행하는데 관여하는 운동회로를 강화시킴으로써, 관찰자의 실질적인 운동이 없이도 재활 훈련을 할 수 있다는 것을 알 수 있다.
3 is a photograph showing that a certain area of the brain of an observer observing the motion of another person is activated. As shown in Fig. 3, in the study results, when the observer observes the transitional movement and the mimic movement, different activities were shown in a specific area of the brain, unlike when the observer observed the same movement as a static picture. It was announced that this depends on the effectors participating in the observed movement. From this, it can be confirmed that a certain area of the observer's brain is activated through motion observation, and the activated mirror nerve cells reinforce the motor circuit involved in the observer actually executing the observed motion, even without the observer's actual motion. You can see that you can do rehabilitation training.

도 4는 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 구성을 도시한 도면이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)은, 재활 시스템으로서, 게임영상을 표시하는 표시 장치(100), 표시 장치(100)에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치(200), 뇌파 획득 장치(200)에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치(300), 뇌파 분석 장치(300)에서 분석된 뇌파에 대응되는 결과에 따라, 기능성 전기 자극을 사용자의 재활 필요 부위에 시행하는 전기 자극 장치(400), 및 뇌파 분석 장치(300)에서 분석된 뇌파에 대응되는 결과에 따라, 표시 장치(100)에서 표시되는 게임영상과 전기 자극 장치(400)를 제어하는 제어 장치(500)를 포함하여 구성될 수 있다. 특히, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 제어 장치(500)는, 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있고, 사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 뇌파 획득 장치(200) 및 뇌파 분석 장치(300)를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 사용자의 재활 필요 부위에 미리 설정된 방식으로 기능성 전기 자극을 주어 움직이도록 제어할 수 있으며, 동시에 게임영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있어, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 그 구성상의 특징으로 한다.
4 is a diagram showing the configuration of a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology with functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention. As shown in FIG. 4, a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention is a rehabilitation system As such, the display device 100 for displaying a game image, the EEG acquisition device 200 for obtaining a user's EEG corresponding to the game image displayed on the display device 100, and the user's obtained from the EEG acquisition device 200 The EEG analysis device 300 for analyzing EEG, the electrical stimulation device 400 for performing functional electrical stimulation to the user's rehabilitation needs according to the result corresponding to the EEG analyzed by the EEG analysis device 300, and EEG analysis According to a result corresponding to the brain wave analyzed by the device 300, a game image displayed on the display device 100 and a control device 500 for controlling the electrical stimulation device 400 may be included. In particular, the control device 500 of the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror nerve cells according to an embodiment of the present invention, It is possible to control one or more body parts of the object displayed in to blink at a specific frequency, and when the user watches the corresponding body part of the object displayed in the game image, the EEG acquisition device 200 and the EEG analysis device 300 ), and according to the result corresponding to the analyzed EEG, it is possible to control the movement by giving functional electrical stimulation to the user's rehabilitation required area in a preset manner, and at the same time, the corresponding body part of the object displayed in the game image in advance. It can be controlled to move in a set manner, and rehabilitation training is performed using the activation of the user's mirror nerve cells.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에서는, 사용자가 게임영상을 표시하는 표시 장치(100)를 주시하면, 사용자의 머리에 부착된 뇌파 획득 장치(200)를 이용하여 게임영상에 표시되는, 객체의 신체부위의 깜빡이는 주파수와 동일한 주파수를 갖는 SSVEP를 획득하며, 뇌파 분석 장치(300)는 뇌파 획득 장치(200)에서 획득된 SSVEP의 해당 주파수를 분석하고, 이렇게 분석된 주파수를 이용하여 제어 장치(500)의 제어신호 생성부(510)에서 생성된 제어신호에 따라 표시 장치 제어부(520)가 객체의 신체부위의 움직임을 표시하는 표시 장치(100)를 제어하고, 동시에 전기 자극 장치 제어부(530)가 사용자의 재활 필요 부위에 기능성 전기 자극을 줌으로써, 개체의 특정 신체부위의 움직임을 이용하여 사용자의 거울신경세포를 활성화시키고 사용자의 특정 신체부위에 기능성 전기 자극을 주는 것과 동시에 사용자의 반응으로 진행되는 게임을 통하여, 사용자는 적극적인 자세로 재활 훈련을 할 수 있게 된다.
In the game type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention, a display device ( 100), by using the EEG acquisition device 200 attached to the user's head, an SSVEP having the same frequency as the blinking frequency of the body part of the object displayed on the game image is obtained, and the EEG analysis device 300 ) Analyzes the corresponding frequency of the SSVEP acquired by the EEG acquisition device 200, and uses the analyzed frequency to the display device controller according to the control signal generated by the control signal generator 510 of the control device 500 520 controls the display device 100 to display the movement of the body part of the object, and at the same time, the electrical stimulation device controller 530 applies functional electrical stimulation to the user's rehabilitation required part, thereby controlling the movement of a specific body part of the object. By using the mirror nerve cells of the user, functional electrical stimulation is applied to a specific body part of the user, and the game proceeds in response to the user, the user can perform rehabilitation training in an active posture.

실시예에 따라서는, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 게임과 관련된 콘텐츠로서, 사용자가 참여하는 방법 등의 내용을 포함하는 안내콘텐츠를 표시할 수 있으며, 안내콘텐츠에 해당되는 콘텐츠, 및 그 외의 다양한 콘텐츠에 대하여 음성으로 출력할 수 있는 음성출력 장치(110)를 포함할 수도 있다. 이하 도 5에서는 안내콘텐츠와 음성출력 장치(110)에 대하여 설명하도록 한다.
Depending on the embodiment, the display device 100 of the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention Is an audio output device capable of displaying guide content, including content such as how a user participates, as content related to a game, and outputting the content corresponding to the guide content and various other contents by voice It may also include (110). Hereinafter, the guide content and the audio output device 110 will be described in FIG. 5.

도 5는 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시할 수 있다. 안내콘텐츠는 이하 도 8에서 설명되는, 미리 지정된 움직임 모드와 대응되는 콘텐츠로 구성될 수 있다. 객체의 신체부위가 안내콘텐츠가 제시하는 움직임을 동작하게 하기 위하여, 사용자가 객체의 특정 신체부위를 주시하게 되면, 안내콘텐츠의 대응되는 미리 지정된 움직임 모드로, 객체의 신체부위가 움직이게 된다. 예를 들어, 도 5에 도시된 바와 같이, ‘칼을 휘두르고 싶으시면, 깜빡거리는 왼팔을 주시하시오’라는 안내콘텐츠를 표시 장치(100)에 표시함으로써, 사용자는 칼을 휘두르기 위하여, 필요한 움직임의 동작이 무엇인지를 알 수 있게 되며, 사용자는 객체의 왼팔을 움직이게 하기 위하여, 깜빡이고 있는 객체의 왼팔을 주시하게 될 것이다. 이 경우, 안내콘텐츠와 대응되는 미리 지정된 움직임은 ‘왼팔의 움직임, 및 칼을 휘두르는 움직임’이 될 수 있다. 물론, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 미리 지정된 움직임 모드와 대응되는 안내콘텐츠는 상기에 제시된 안내콘텐츠로만 한정되는 것은 아니다. 도 5에서는 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)을 펜싱 동작에 적용하여 설명하였으나, 이것으로 제한되는 것은 아니며, 예를 들어 얼굴의 각 부위를 움직이는 동작에 적용하여 설명할 수도 있다. 즉, 게임영상 안에서 객체로서 얼굴 영상이 제공되고, 사용자가 얼굴 영상 내의 깜빡거리는 눈을 주시하면, 눈을 움직여 윙크하는 동작이 실시되는 형태의 게임영상이 제공될 수도 있다.
FIG. 5 is a diagram illustrating a state in which a user performs rehabilitation training in a game-type rehabilitation system combining brain-computer interface (BCI) technology with functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention. It is a drawing. As shown in FIG. 5, a display device of a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention ( 100) may further include and display guide content for progressing the game image. The guide content may be composed of content corresponding to a predetermined motion mode, which is described in FIG. 8 below. In order for the body part of the object to operate the movement suggested by the guide content, when a user watches a specific body part of the object, the body part of the object moves in a corresponding preset movement mode of the guide content. For example, as shown in FIG. 5, by displaying the guide content on the display device 100,'If you want to swing the knife, look at the flickering left arm', the user can perform a necessary movement in order to swing the knife. You will be able to see what it is, and the user will look at the flickering object's left arm in order to move the object's left arm. In this case, the predetermined movement corresponding to the guide content may be'a movement of the left arm and a movement of swinging a sword'. Of course, in the game-based rehabilitation system 10 that combines functional electrical stimulation that maximizes the activation of mirror neurons and brain-computer interface (BCI) technology, the guide content corresponding to the predetermined movement mode is the guide content presented above. It is not limited to only. In FIG. 5, a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention is applied to the fencing operation. It is not limited to this, for example, it may be described by applying each part of the face to a moving motion. That is, a face image is provided as an object in the game image, and when the user looks at the blinking eyes in the face image, a game image in which the eye moves and winks may be provided.

본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 표시 장치(100)는, 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치(110)를 포함할 수 있다. 실시예에 따라서는, 표시 장치(100)는 음성콘텐츠를 출력할 수 있는 음성출력 장치(110)로서 스피커를 포함할 수 있으며, 헤드셋을 연결할 수 있는 장치를 포함할 수도 있다. 물론, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 음성추력 장치(110)는 상기에 제시된 스피커, 헤드셋을 연결할 수 있는 장치로만 한정되는 것은 아니며, 다른 실시예에 따라서는, 음성출력 장치(110)는 표시 장치(100)와 별개로 구성되어질 수도 있다. 또한, 음성콘텐츠는 안내콘텐츠에 해당되는 음성콘텐츠 뿐만 아니라, 게임진행에서 필요한 다양한 콘텐츠로 구성될 수 있다.
The display device 100 of the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention corresponds to the guide content. It may include a voice output device 110 for outputting the voice content. Depending on the embodiment, the display device 100 may include a speaker as the audio output device 110 capable of outputting audio content, and may include a device capable of connecting a headset. Of course, in the game-type rehabilitation system 10 that combines functional electrical stimulation to maximize the activation of mirror neurons and brain-computer interface (BCI) technology, the voice thrust device 110 connects the speakers and headsets presented above. It is not limited to devices that can be used, and according to other embodiments, the audio output device 110 may be configured separately from the display device 100. In addition, the voice content may be composed of not only the voice content corresponding to the guide content, but also various contents necessary for the game progress.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 뇌파 획득 장치(200)는, 도 5에서 확인할 수 있듯이, 뇌파를 측정하는 하나 이상의 전극을 포함할 수 있다. 실시예에 따라서는, 하나 이상의 전극을 사용자의 머리를 감싸는 형태의 장치로 구성할 수 있으며, 또는 모자에 전극을 결합시킴으로써, 모자 자체가 뇌파 획득 장치(200)가 될 수도 있다. 뿐만 아니라, 전극에는 전해질 젤을 발라서 사용할 수도 있는데, 이는 전해질 젤이 두피로부터 검출되는 뇌파를 전극에 잘 전달할 수 있도록 해주는 역할을 하기 때문이다.
The brain wave acquisition device 200 of the game-type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention is shown in FIG. As can be seen, it may include one or more electrodes for measuring brain waves. Depending on the embodiment, one or more electrodes may be configured as a device surrounding the user's head, or the hat itself may be the EEG acquisition device 200 by coupling the electrodes to the hat. In addition, an electrolyte gel may be applied to the electrode and used, because the electrolyte gel plays a role in enabling the electrode to transmit brain waves detected from the scalp well.

도 6은 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 주시하는 게임 영상의 객체의 신체부위가 움직이고 동시에 사용자의 신체부위에 기능성 전기 자극을 주는 모습을 도시한 도면이며, 도 7은 본 발명의 일실시예에 따른 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 블럭도를 도시한 도면이다. 도 6 및 7에 도시된 바와 같이, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 뇌파 획득 장치(200)에서 획득된 뇌파는, 뇌파검출부(310)와 뇌파분석부(320)를 포함하는 뇌파 분석 장치(300)와 연결될 수 있다. 또한, 뇌파 분석 장치(300)는, 제어신호 생성부(510), 표시 장치 제어부(520) 와 전기 자극 장치 제어부(530)를 포함하여 구성되는 제어 장치(500)와 연결되어, 뇌파 분석 장치(300)에서 분석한 뇌파를 제어 장치(500)로 전달할 수 있으며, 제어 장치(500)는 제어신호 생성부(510)에서 생성된 제어신호를 이용하여, 객체의 움직임을 표시하는 표시 장치(100)와 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 전기 자극 장치(400)를 제어할 수 있다.
6 is a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention. Fig. 7 is a diagram showing a state in which a body part is moving and a functional electrical stimulation is applied to a user's body part at the same time, and FIG. 7 is a function of maximizing activation of mirror nerve cells according to an embodiment of the present invention A block diagram of a game-based rehabilitation system combining electrical stimulation and brain-computer interface (BCI) technology. 6 and 7, in the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology with a functional electrical stimulation that maximizes the activation of mirror nerve cells, in the brain wave acquisition device 200 The acquired EEG may be connected to the EEG analysis apparatus 300 including the EEG detection unit 310 and the EEG analysis unit 320. In addition, the EEG analysis device 300 is connected to a control device 500 including a control signal generation unit 510, a display device control unit 520 and an electrical stimulation device control unit 530, and is connected to the EEG analysis device ( The EEG analyzed by 300 may be transmitted to the control device 500, and the control device 500 uses the control signal generated by the control signal generator 510 to display the movement of the object. And it is possible to control the electrical stimulation device 400 that provides a functional electrical stimulation to the user's need for rehabilitation.

도 6 및 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 뇌파 분석 장치(300)는, 사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부(310), 및 뇌파검출부(310)에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부(320)를 포함할 수 있다.
As shown in FIGS. 6 and 7, brain waves of a game-based rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention The analysis device 300 includes an EEG detection unit 310 that detects an EEG when a user selectively gazes at a specific body part of an object, and an EEG analysis unit that analyzes the frequency of the EEG detected by the EEG detection unit 310 It may include (320).

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 뇌파검출부(310)는, 사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출할 수 있다. 사용자가 표시 장치(100)의 게임영상에 표시되는 객체에 대하여 특정 주파수로 깜빡이고 있는 신체부위를 주시할 경우, 해당 신체부위의 주파수와 동일한 주파수를 갖는 뇌파가 사용자의 후두엽의 시각 피질에서 물리적으로 유도되는데, 뇌파검출부(310)에서는 깜빡이는 신체부위의 특정주파수와 동일한 주파수를 갖는 SSVEP를 사용자의 뇌파에서 검출할 수 있게 되는 것이다.
The EEG detection unit 310 of the game-type rehabilitation system 10, which combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention, is selected by the user. SSVEP can be detected from a user's EEG signal corresponding to a specific body part of the object to be looked at by. When a user looks at a body part that is flickering at a specific frequency with respect to an object displayed in the game image of the display device 100, an EEG having the same frequency as that of the body part is physically transmitted in the visual cortex of the occipital lobe Induction, the EEG detection unit 310 can detect the SSVEP having the same frequency as the specific frequency of the flickering body part from the user's EEG.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 뇌파분석부(320)는, 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석할 수 있다. SSVEP의 주파수를 분석하는 것은, 표시 장치(100)에서 표시되는 깜빡이는 객체의 신체부위의 주파수와 동일한 주파수를 갖는 SSVEP가 사용자의 뇌파에서 검출되었는지 여부를 확인하기 위함이다. 해당 주파수를 갖는 SSVEP가 사용자의 뇌파에서 검출되면, 제어 장치(500)에서는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하게 된다.
The EEG analysis unit 320 of the game-type rehabilitation system 10 combining functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention includes an EEG detection unit ( The frequency of SSVEP having a specific frequency selected by the user, detected in 310), can be analyzed. Analyzing the frequency of the SSVEP is to check whether the SSVEP having the same frequency as the frequency of the body part of the flickering object displayed on the display device 100 is detected in the user's brain wave. When an SSVEP having a corresponding frequency is detected in the user's brainwave, the control device 500 generates a control signal for moving the corresponding body part of the object in a preset manner.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 전기 자극 장치(400)는, 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 역할을 할 수 있다. 기능성 전기 자극은 전기적 자극을 마비된 근육 또는 신경에 가하여 근육의 기능적인 움직임을 얻는 것을 의미한다. 기능적 전기 자극 치료는 중추신경계 손상에 따른 마비된 근육에 전기적인 자극을 주어 근육을 기능적으로 수축하게 하며, 또한 근육 경직을 감소시키고, 자극이 적용되는 동안 근육조절능력을 향상시키기 위해 사용되는 치료를 말한다. 실시예에 따라서는, 전기 자극 장치(400)는, 신경 또는 신경과 근육이 만나는 곳에 부착되어, 전기 신호를 통해 운동신경과 감각신경 모두를 자극할 수 있으며, 기능성 전기 자극은 운동 능력의 결손을 가지는 뇌질환 환자의 재활을 돕기 위하여, 전기적 자극을 마비된 근육 또는 신경에 가할 수 있다. 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 전기 자극 장치(400)는, 전기 자극 장치 제어부(530)에 의해 제어될 수 있다.
The electrical stimulation device 400 of the game-type rehabilitation system 10 that combines functional electrical stimulation to maximize the activation of mirror nerve cells and brain-computer interface (BCI) technology according to an embodiment of the present invention is, It can play a role of giving functional electrical stimulation to the required area. Functional electrical stimulation refers to obtaining functional movement of muscles by applying electrical stimulation to a paralyzed muscle or nerve. Functional electrical stimulation therapy provides electrical stimulation to paralyzed muscles due to damage to the central nervous system, allowing the muscles to contract functionally, reducing muscle stiffness, and improving muscle control while stimulation is applied. Say. Depending on the embodiment, the electrical stimulation device 400 is attached to the nerve or where the nerve and muscle meet, can stimulate both motor nerves and sensory nerves through an electrical signal, functional electrical stimulation can reduce the deficit of motor ability. Eggplants may apply electrical stimulation to paralyzed muscles or nerves to aid in rehabilitation of patients with brain diseases. The electrical stimulation device 400 of the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror nerve cells according to an embodiment of the present invention is an electrical stimulation device. It can be controlled by the control unit 530.

전기 자극 장치(400)는, 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극의 강도 및 빈도 중 적어도 하나 이상이 조절된 전기 자극을 시행할 수 있다. 예를 들어, 사용자가 선별적으로 주시하는 객체가 빠르게 움직이면 전기 자극의 빈도를 높게 하거나, 사용자가 선별적으로 주시하는 객체가 크게 움직이면 전기 자극의 강도를 높게 하는 등으로, 전기 자극을 조절할 수 있다.
The electrical stimulation device 400 may perform electrical stimulation in which at least one or more of the intensity and frequency of the electrical stimulation is adjusted according to a result corresponding to the EEG analyzed by the EEG analysis device. For example, the electrical stimulation can be controlled by increasing the frequency of electrical stimulation when an object selectively gaze of the user moves rapidly, or by increasing the intensity of the electrical stimulation when an object selectively gaze by the user moves significantly. .

전기 자극 장치(400)는, 제어 신호 생성부에서 생성된 제어신호를 전기 자극 장치 제어부(530)로부터 수신하는 제어신호 수신부(410), 상기 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성하는 자극 제어부(420), 및 상기 자극 제어부로부터 상기 전기 자극 신호를 전달받아, 상기 전기 자극 신호에 따른 전기 신호를 환자의 재활 필요 부위에 인가하여 전기 자극을 시행하는 자극부(430)를 포함하여 구성될 수 있으며, 입력부(440)를 더 포함하여 구성될 수 있다.
The electrical stimulation device 400 includes a control signal receiver 410 that receives a control signal generated by the control signal generator from the electrical stimulation device controller 530, and a stimulation that generates an electrical stimulation signal in real time based on the control signal. A control unit 420, and a stimulation unit 430 that receives the electric stimulation signal from the stimulation control unit and applies an electric signal according to the electric stimulation signal to a region in need of rehabilitation of the patient to perform electric stimulation. In addition, the input unit 440 may be further included.

제어신호 수신부(410)는, 제어 신호 생성부에서 생성된 제어신호를 전기 자극 장치 제어부로부터 수신할 수 있다. 제어신호 수신부는 수신한 제어신호를 자극 제어부(420)에 전달할 수 있다.
The control signal receiving unit 410 may receive a control signal generated by the control signal generating unit from the electrical stimulation device control unit. The control signal receiver may transmit the received control signal to the stimulation control unit 420.

자극 제어부(420)는, 수신한 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성할 수 있다. 즉, 자극 제어부(420)는 이하에서 설명할 자극부(430)를 제어하는 구성으로서, 제어신호를 바탕으로 환자의 재활 필요 부위에 전기 자극이 시행되도록 자극부(430)를 제어하는 전기 자극 신호를 실시간으로 생성할 수 있다.
The stimulation control unit 420 may generate an electrical stimulation signal in real time based on the received control signal. That is, the stimulation control unit 420 is a component that controls the stimulation unit 430, which will be described below, and is an electrical stimulation signal that controls the stimulation unit 430 so that electric stimulation is applied to a region requiring rehabilitation of the patient based on the control signal. Can be generated in real time.

한편, 자극 제어부(420)는, 전기 자극의 패턴에 따라 복수의 자극부로 출력되어야 할 전기 자극 신호를 사용자의 재활 필요 부위에 인가하여 전기 자극을 시행할 수 있다. 자극부(430)는 사용자의 재활 필요 부위에 전기 신호를 인가하여 자극을 줄 수 있는 구성으로서, 전류를 인가할 수 있는 전극을 사용자의 재활 필요 부위에 부착하여 전기 자극을 시행할 수 있다. 이때, 자극부(430)는, 사용자의 재활 필요 부위에 부착된 구성으로서, 복수 개로 구성될 수 있다. 따라서 전기 자극 패턴에 따라서는, 각 자극부(430)에서 사용자의 재활 필요 부위에 인가되는 전기 자극의 강도 또는 빈도가 서로 상이할 수도 있다.
Meanwhile, the stimulation control unit 420 may perform electrical stimulation by applying an electrical stimulation signal to be outputted to a plurality of stimulation units according to a pattern of the electrical stimulation to a region in need of rehabilitation of the user. The stimulation unit 430 is a component capable of providing stimulation by applying an electrical signal to a region in need of rehabilitation of the user, and may perform electrical stimulation by attaching an electrode capable of applying a current to a region in need of rehabilitation of the user. At this time, the stimulation unit 430 is a component attached to the user's need for rehabilitation, and may be configured in plural. Therefore, depending on the electrical stimulation pattern, the intensity or frequency of the electrical stimulation applied from each stimulation unit 430 to the user's need for rehabilitation may be different from each other.

입력부(440)는, 자극부(430)에서 사용자의 재활 필요 부위에 인가하는 전기 신호의 평균 세기 정보를 입력할 수 있다. 사용자의 상태에 따라서는, 전기 신호의 평균 세기나 최대 세기 등에 제한을 두어야 할 수도 있다. 따라서 입력부에서 평균 세기 정보를 입력받아 자극 제어부에 전달함으로써, 자극 제어부가 자극부를 제어하여 적절한 강도의 전기 자극이 사용자에게 시행되도록 할 수 있다. 입력부는 버튼, 바, 터치스크린 등 다양한 방식으로 구현될 수 있으며, 평균 세기 정보, 최대 세기 정보, 최소 세기 정보 등 전기 신호의 세기 정보를 입력받을 수 있다면 다양한 형태로 구현될 수 있다.
The input unit 440 may input average intensity information of an electrical signal applied from the stimulation unit 430 to a region in need of rehabilitation of the user. Depending on the user's condition, it may be necessary to limit the average strength or maximum strength of the electric signal. Accordingly, by receiving the average intensity information from the input unit and transmitting it to the stimulation control unit, the stimulation control unit may control the stimulation unit so that an electrical stimulation of an appropriate intensity is applied to the user. The input unit may be implemented in various ways such as a button, a bar, and a touch screen, and may be implemented in various forms as long as strength information of an electric signal such as average strength information, maximum strength information, and minimum strength information can be input.

본 발명의 일실시예에 따른 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성전기자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 제어 장치(500)는, 제어신호 생성부(510), 표시 장치 제어부(520), 및 전기 자극 장치 제어부(530)로 구성될 수 있는데, 이에 대해서는, 이하에서 도 8을 참조하여 상세하게 설명하기로 한다.
In accordance with an embodiment of the present invention, a control device for a game-type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention ( 500) may include a control signal generator 510, a display device control unit 520, and an electrical stimulation device control unit 530, which will be described in detail below with reference to FIG. 8.

도 8은 본 발명의 일 실시예에 따른 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 게임영상의 일부를 도시한 도면이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 제어 장치(500)는, 뇌파분석부(320)가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 생성하는 제어신호 생성부(510), 제어신호 생성부(510)에서 생성된 제어신호를 이용하여 객체의 움직임을 표시하는 표시 장치(100)를 제어하는 표시 장치 제어부(520) 및 제어신호 생성부(510)에서 생성된 제어신호를 이용하여 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 전기 자극 장치(400)를 제어하는 전기 자극 장치 제어부(530)를 포함할 수 있다. 즉 제어 장치(500)는 제어신호 생성부(510)에서 생성된 제어신호를 표시 장치 제어부(520) 및 전기 자극 장치 제어부(530)로 전송하도록 하여, 제어 신호를 전송받은 표시 장치 제어부(520)가 객체의 움직임을 표시하는 표시 장치(100)를 제어할 수 있게 하고, 제어 신호를 전송받은 전기 자극 장치 제어부(530)가 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 전기 자극 장치(400)를 제어할 수 있다.
8 is a game-type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention according to an embodiment of the present invention. Here, it is a diagram showing a part of the game image. As shown in FIG. 8, a control device of a game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention ( 500) is a control signal generating unit 510, a control signal generating unit for generating a control signal to move the body part of the object corresponding to the SSVEP having a specific frequency analyzed by the brain wave analysis unit 320 in a preset manner ( Rehabilitation of the user is required by using the control signal generated by the display device controller 520 and the control signal generator 510 that controls the display device 100 that displays the movement of the object by using the control signal generated by the 510 It may include an electrical stimulation device control unit 530 that controls the electrical stimulation device 400 for applying a functional electrical stimulation to the site. That is, the control device 500 transmits the control signal generated by the control signal generation unit 510 to the display device control unit 520 and the electrical stimulation device control unit 530, and the display device control unit 520 receiving the control signal The electrical stimulation device 400 that allows the display device 100 to display the movement of the object to be controlled, and the electrical stimulation device control unit 530 receiving the control signal, provides a functional electrical stimulation to the user's rehabilitation needs area. Can be controlled.

실시예에 따라서는, 사용자가 특정 주파수로 깜빡이는 객체의 신체부위를 주시하여 발생된, 동일한 주파수를 갖는 SSVEP에 대응되는 신호로서, 게임영상을 제어할 수 있는 제어신호는 사용자에 의하여 미리 지정된 객체의 움직임 모드를 포함할 수 있다. 움직임 모드란, 사용자가 게임영상을 진행하기 위하여 필요한 객체의 움직임과 관련된 콘텐츠로서, 객체의 특정 신체부위가 움직이는 구성을 포함할 수 있다. 즉, 움직임 모드란, 사용자가 객체의 깜빡이는 신체부위를 주시하는 경우, 사용자가 주시한 해당 신체부위를 미리 설정된 방식으로 움직이게 하는 제어신호를 의미한다.
Depending on the embodiment, as a signal corresponding to SSVEP having the same frequency, generated by the user watching the body part of an object blinking at a specific frequency, the control signal capable of controlling the game image is an object previously designated by the user. May include a movement mode of. The motion mode is content related to the motion of an object required for the user to proceed with the game image, and may include a configuration in which a specific body part of the object moves. That is, the movement mode refers to a control signal that causes the user to move the body part watched by the user in a preset manner when the user watches the flickering body part of the object.

예를 들어, 도 8에 도시된 바와 같이, 해당 게임화면에서 게임영상의 다음 단계로 이동하기 위하여 필요한 객체의 움직임은 오른쪽 길로 걸어가는 것이며, 게임화면에서 제시된 안내콘텐츠는, ‘오른쪽 길로 가려면 오른팔을 올렸다가 내리시오’이므로, 사용자는 객체의 오른팔을 올렸다가 내려야 한다. 게임의 진행을 위하여, 사용자가 게임화면에서 40Hz로 깜빡이고 있는 객체의 오른팔을 주시하게 되면, 사용자의 뇌파에서는 객체의 오른팔과 동일한 주파수인 40Hz의 SSVEP가 검출, 분석되고, 제어신호 생성부(510)에서는 제어신호를 생성하게 된다. 이 경우, 미리 지정된 움직임 모드는, 객체의 오른팔이 올렸다가 내리는 움직임, 및 객체가 오른쪽 길로 걸어가는 움직임 등이 될 수 있다. 물론, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 특정 주파수를 갖는 SSVEP에 대응되는 제어신호는 상기에 제시된 제어신호로만 한정되는 것은 아니다. 또한, 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)의 표시 장치 제어부(520)는, 상기와 같이 제어신호 생성부(510)에서 생성된 제어신호에 따라 객체의 움직임을 표시하는 표시 장치(100)를 제어하여 게임이 진행되도록 제어할 수 있고, 전기 자극 장치 제어부(530)는, 상기와 같이 제어신호 생성부(510)에서 생성된 제어신호에 따라 사용자의 재활 필요 부위에 기능성 전기 자극을 주는 전기 자극 장치(400)를 제어할 수 있다.
For example, as shown in FIG. 8, the movement of the object required to move to the next stage of the game image on the corresponding game screen is to walk on the right path, and the guide content presented on the game screen is,'To go to the right path, use the right arm. Raise and lower, so the user has to raise and lower the object's right arm. For the progress of the game, when the user watches the right arm of the object blinking at 40Hz on the game screen, the SSVEP of 40Hz, which is the same frequency as the right arm of the object, is detected and analyzed in the user's brainwave, and the control signal generator 510 ) Generates a control signal. In this case, the predetermined movement mode may be a movement in which the right arm of the object moves up and down, and a movement in which the object walks on the right side. Of course, in a game-type rehabilitation system that combines functional electrical stimulation that maximizes the activation of mirror neurons and brain-computer interface (BCI) technology, the control signal corresponding to SSVEP having a specific frequency is limited to the control signal presented above. It does not become. In addition, the display device control unit 520 of the game-type rehabilitation system 10 that combines a brain-computer interface (BCI) technology and a functional electrical stimulation that maximizes the activation of mirror nerve cells according to an embodiment of the present invention, As described above, according to the control signal generated by the control signal generator 510, the display device 100 that displays the movement of the object can be controlled to control the game to proceed, and the electrical stimulation device control unit 530 Likewise, according to the control signal generated by the control signal generating unit 510, the electrical stimulation device 400 that provides functional electrical stimulation to the user's rehabilitation needs may be controlled.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함할 수 있다. 실시예에 따라서는, 신체부위의 움직임은 손, 발 , 머리, 팔, 다리 등을 포함하며 심체의 일부를 움직이는 구성일 수 있으며, 그 외에도 허리를 굽히는 동작, 다리를 꼬는 동작 등을 포함할 수도 있다. 이러한 동작은, 사용자가 표시 장치(100)에 표시되는 객체의 깜빡이는 신체부위를 주시함으로써, 객체의 해당 신체부위가 움직이도록 하여, 사용자의 거울신경세포를 활성화시키기 위함이다. 물론, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 미리 설정된 방식으로 움직이는 영상의 움직임은 상기에 제시된 움직임으로만 한정되는 것은 아니다. 예를 들어, 객체의 다리부위가 미리 설정된 방식으로 움직이는 것을 신체부위의 움직임으로 할 수 있으며, 사용자는 객체의 다리부위의 깜빡거림을 주시하여, 객체의 다리가 움직이도록 할 수 있고, 이러한 객체의 다리부위의 움직임을 주시하는 것을 통하여 거울신경세포의 활성화를 통한 다리부위의 재활의 효과를 얻을 수가 있다.
In the game-type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention, a game in which a body part moves in a preset manner The image may include movements that are helpful for the user's rehabilitation. Depending on the embodiment, the movement of the body part includes hands, feet, head, arms, legs, etc., and may be a configuration that moves a part of the body, and in addition, may include a motion of bending a waist, a motion of crossing a leg, etc. have. This operation is to activate the user's mirror nerve cells by allowing the user to move the corresponding body part of the object by looking at the flickering body part of the object displayed on the display device 100. Of course, in the game-type rehabilitation system 10 that combines functional electrical stimulation that maximizes the activation of mirror neurons and brain-computer interface (BCI) technology, the movement of the image moving in a preset manner is only the movements presented above. It is not limited. For example, moving the leg of an object in a preset manner can be a movement of the body part, and the user can make the leg of the object move by watching the flickering of the leg of the object. It is possible to obtain the effect of rehabilitation of the leg area through the activation of mirror nerve cells by monitoring the movement of the leg area.

본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템(10)에 있어서, 객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위와 관계없이 동일한 주파수이건, 신체부위마다 서로 다른 주파수일 수 있다. 객체에서 움직임이 가능한 신체부위로서, 예를 들어 손, 발, 목, 팔, 다리, 허리 등이 깜빡거리는 주파수가 동일한 경우는, 신체부위마다 서로 다른 주파수인 경우에 비하여 본 발명의 하드웨어를 구성함에 있어서 편리하다는 장점이 있다. 한편, 바람직한 것은 각각의 신체부위마다 다른 주파수로 깜빡이는 것인데, 이는 각각의 상이한 신체부위마다 상이한 주파수가 설정되어 있으므로, 사용자의 뇌파에서 검출되는 특정 주파수의 SSVEP만 판단하면 사용자가 주시하는 신체부위가 어느 부위에 해당하는지를 용이하게 판단할 수 있기 때문이다. 실시예에 따라서는, 객체의 팔, 다리 등 신체부위가 모두 30Hz로 깜빡일 수 있으며, 객체의 팔은 35Hz, 다리는 40Hz로 신체부위 별로 다른 주파수로 깜빡일 수도 있고, 객체의 오른팔과 관련된 A동작은 30Hz, 객체의 오른팔과 관련된 B동작은 40Hz로, 같은 신체부위라 하더라도 관련된 동작이나 상황에 따라 각각 다른 주파수로 깜빡일 수도 있을 것이다. 또한, 동일한 신체부위인 경우에도, 표시 장치(100)에 표시되는 첫 번째 장면과, 두 번째 장면에서 각각 다른 주파수를 갖는 경우도 있을 수 있다.
In the game-type rehabilitation system 10 that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention, one or more body parts of an object are flickering. The specific frequency may be the same frequency regardless of the body part or different frequencies for each body part. As a body part that can move in an object, for example, if the frequency at which the hands, feet, neck, arms, legs, and waist flicker is the same, the hardware of the present invention is configured compared to the case of different frequencies for each body part. It has the advantage of being convenient. On the other hand, it is preferable to flicker at a different frequency for each body part.This is because different frequencies are set for each different body part, so if only the SSVEP of a specific frequency detected in the user's brain waves is determined, the body part that the user is watching is This is because it is possible to easily determine which part it corresponds to. Depending on the embodiment, all body parts such as arms and legs of the object may flicker at 30 Hz, the arm of the object is 35 Hz, and the legs are 40 Hz, and may blink at different frequencies for each body part, and A related to the right arm of the object The motion is 30Hz, and the B motion related to the object's right arm is 40Hz. Even if the body part is the same, it may flicker at different frequencies depending on the related motion or situation. Also, even in the case of the same body part, the first scene and the second scene displayed on the display device 100 may have different frequencies.

실시예에 따라서는, 신체부위가 깜빡이는 특정 주파수는 7Hz~20Hz의 주파수 영역을 이용할 수 있으나, 일반적으로 7Hz~20Hz의 주파수 영역의 경우에는 사용자가 깜빡임을 인식할 수 있기 때문에, 사용자가 눈의 피로감을 쉽게 느끼게 되므로, 사용자가 깜빡임을 인식할 수 없는 30Hz 이상의 주파수를 사용하여 사용자의 눈의 피로감을 줄일 수도 있다.
Depending on the embodiment, a specific frequency in which the body part blinks may use a frequency range of 7 Hz to 20 Hz, but in general, in the frequency range of 7 Hz to 20 Hz, the user can recognize the flicker, so that the user Since fatigue is easily felt, a user's eye fatigue can be reduced by using a frequency of 30 Hz or higher, where the user cannot recognize the flicker.

도 9는 본 발명의 다른 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 사용자가 재활 훈련을 하는 모습을 도시한 도면이다. 도 9에 도시된 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성전기자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 표시 장치(100)에 표시되는 객체는 하나 이상일 수 있으며, 한명 이상의 사용자가 함께 게임을 진행하며 재활 훈련을 할 수도 있다.
9 is a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to another embodiment of the present invention, showing a user performing rehabilitation training. It is a drawing shown. As shown in FIG. 9, in the display device 100 of a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention. The displayed object may be one or more, and one or more users may play a game together and perform rehabilitation training.

도 10은 본 발명의 일 실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템에 있어서, 그 제어방법의 흐름도를 도시한 도면이다. 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법은, 표시 장치(100)가, 게임영상을 표시하는 단계(S100), 뇌파 획득 장치가, 단계 S100에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계(S200), 뇌파 분석 장치가, 단계 S200에서 획득된 사용자의 뇌파를 분석하는 단계(S300), 및 제어 장치가, 단계 S300에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극 장치에서 사용자의 재활 필요 부위에 기능성 전기 자극을 주도록 하는 동시에 표시 장치에서 표시되는 게임영상을 제어하는 단계(S400)를 포함할 수 있다. 즉, 단계 S100에서는 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 게임영상을 표시하고, 단계 S400에서는 사용자가 해당 신체부위를 주시할 경우, 단계 S200 및 단계 S300을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 전기 자극 장치에서 사용자의 재활 필요 부위에 기능성 전기 자극을 주도록 할 수 있고 표시 장치에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하여, 사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 극대화 시켜 재활 훈련을 하는 것을 도울 수 있다.
FIG. 10 is a diagram showing a flow chart of a control method in a game-type rehabilitation system combining a brain-computer interface (BCI) technology with a functional electrical stimulation that maximizes the activation of mirror neurons according to an embodiment of the present invention to be. As shown in FIG. 10, a control method of a game-type rehabilitation system combining a brain-computer interface (BCI) technology and a functional electrical stimulation maximizing the activation of mirror neurons according to an embodiment of the present invention includes a display device A step of displaying a game image (S100), an EEG acquisition device, acquiring a user's EEG corresponding to the game image displayed in step S100 (S200), an EEG analysis device, obtained in step S200 Analyzing the user's brain waves (S300), and the control device, according to the result corresponding to the brain waves analyzed in step S300, the electrical stimulation device to apply a functional electrical stimulation to the user's need for rehabilitation, and at the same time in the display device. It may include controlling the displayed game image (S400). That is, in step S100, the game image is displayed so that one or more body parts of the object displayed on the game image flicker at a specific frequency, and in step S400, when the user watches the body part, it is obtained through steps S200 and S300. Depending on the result corresponding to the analyzed EEG, the electrical stimulation device can give a functional electrical stimulation to the user's rehabilitation needs, and the user can control to move the corresponding body part of the object displayed on the display device in a preset manner. It is possible to help rehabilitation training by maximizing the activation of mirror nerve cells of the user according to the movement of the body part of the object that is selectively gaze.

실시예에 따라서는, 단계 S300은, 뇌파검출부(310)가 사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서 SSVEP를 검출하는 단계, 및 뇌파분석부(320)가 뇌파검출부(310)에서 검출된, 사용자에 의하여 선별된 특정 주파수를 갖는 SSVEP의 주파수를 분석하는 단계를 더 포함할 수 있다. 또한, 단계 S400은, 제어신호 생성부(510)가 특정 주파수를 갖는 SSVEP에 대응되는 제어신호를 생성하는 단계, 및 전기 자극 장치 제어부(530)가 제어신호 생성부(510)에서 생성된 제어신호를 이용하여 사용자의 신체부위에 기능성 전기 자극을 주도록 하는 동시에 표시 장치 제어부(520)가 제어 신호 생성부(510)에서 생성된 제어신호를 이용하여 객체의 움직임을 표시하는 표시 장치(100)를 제어하는 단계를 더 포함할 수 있다.
Depending on the embodiment, step S300, the EEG detection unit 310 detecting the SSVEP from the user's EEG signal corresponding to a specific body part of the object that the user selectively gazes, and the EEG analysis unit 320 It may further include analyzing the frequency of the SSVEP having a specific frequency selected by the user, detected by the EEG detection unit 310. Further, in step S400, the control signal generation unit 510 generates a control signal corresponding to the SSVEP having a specific frequency, and the electrical stimulation device control unit 530 generates a control signal generated by the control signal generation unit 510 The display device controller 520 controls the display device 100 to display the movement of the object by using the control signal generated by the control signal generator 510 while providing a functional electrical stimulation to the user's body part using It may further include the step of.

상술한 바와 같이, 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템 및 그 제어방법은, 기존의 SSVEP를 이용한 시스템은 깜빡이는 빛을 이용하였던 것과는 달리, SSVEP의 특정 주파수로 깜빡이는 객체의 신체부위를 표시하고, 사용자가 주시하는 객체의 신체부위가 움직이게 되는 게임영상을 통하여, 거울신경세포를 활성화시킬 수 있으며, 사용자의 흥미를 유도하여 영상을 주시하는 집중력을 높일 수 있고, 이와 동시에, 사용자의 재활 필요 부위에 기능성 전기 자극(Functional Electrical Stimulation)을 주어 게임영상을 보는 것만으로도 재활 훈련이 가능하도록 할 수 있다.
As described above, according to an embodiment of the present invention, a game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology for maximizing activation of mirror neurons and a control method thereof is based on an existing SSVEP. Unlike the use of flickering light, the system used displays the body part of an object that flickers at a specific frequency of SSVEP, and activates mirror nerve cells through a game image in which the body part of the object that the user is watching moves. In addition, by inducing the user's interest, it is possible to increase the concentration of watching the video, and at the same time, it is possible to perform rehabilitation training just by viewing the game video by applying Functional Electrical Stimulation to the user's rehabilitation needs. I can.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 청구범위에 의하여 정해져야 할 것이다.The present invention described above can be modified or applied in various ways by those of ordinary skill in the technical field to which the present invention belongs, and the scope of the technical idea according to the present invention should be determined by the following claims.

10: 본 발명의 일실시예에 따른 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템
100: 표시 장치
110: 음성출력 장치
200: 뇌파 획득 장치
300: 뇌파 분석 장치
310: 뇌파검출부
320: 뇌파분석부
400: 전기 자극 장치
410: 제어신호 수신부
420: 자극 제어부
430: 자극부
440: 입력부
500: 제어 장치
510: 제어신호 생성부
520: 표시 장치 제어부
530: 전기 자극 장치 제어부
10: A game-type rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology to maximize the activation of mirror neurons according to an embodiment of the present invention
100: display device
110: audio output device
200: brain wave acquisition device
300: brain wave analysis device
310: EEG detection unit
320: brain wave analysis unit
400: electrical stimulation device
410: control signal receiver
420: stimulation control unit
430: stimulation part
440: input
500: control device
510: control signal generation unit
520: display device control unit
530: electric stimulation device control unit

Claims (20)

재활 시스템으로서,
게임영상을 표시하는 표시 장치;
상기 표시 장치에 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 뇌파 획득 장치;
상기 뇌파 획득 장치에서 획득된 사용자의 뇌파를 분석하는 뇌파 분석 장치;
상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 기능성 전기 자극을 사용자의 재활 필요 부위에 시행하는 전기 자극 장치; 및
상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 상기 표시 장치에서 표시되는 게임영상과 상기 전기 자극 장치에서 시행되는 전기 자극을 제어하는 제어 장치를 포함하되,
상기 제어 장치는,
상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 제어할 수 있으며, 사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 뇌파 획득 장치 및 뇌파 분석 장치를 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 상기 게임영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어할 수 있고, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어할 수 있으며,
상기 뇌파 분석 장치는,
사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하며,
사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
As a rehabilitation system,
A display device that displays a game image;
An EEG acquisition device for obtaining a user's EEG corresponding to a game image displayed on the display device;
An EEG analysis device for analyzing a user's EEG acquired by the EEG acquisition device;
An electrical stimulation device for performing functional electrical stimulation to a user's rehabilitation needs according to a result corresponding to the brain wave analyzed by the brain wave analysis device; And
In accordance with a result corresponding to the EEG analyzed by the EEG analysis device, comprising a control device for controlling a game image displayed on the display device and an electrical stimulation applied by the electrical stimulation device,
The control device,
One or more body parts of the object displayed in the game image can be controlled to flicker at a specific frequency, and when the user watches the corresponding body part of the object displayed in the game image, the EEG acquisition device and the EEG analysis device are used. According to the result corresponding to the brain wave acquired and analyzed through the game image, the body part of the object displayed in the game image can be controlled to move in a preset manner, and a functional electrical stimulation is applied to the user's rehabilitation required area to move. Can be controlled,
The brain wave analysis device,
An EEG detection unit for detecting EEG when a user selectively gazes at a specific body part of an object; And
It includes an EEG analysis unit for analyzing the frequency of the EEG detected by the EEG detection unit,
Functional electrical stimulation and brain-computer that maximizes the activation of mirror nerve cells, characterized in that rehabilitation training is performed by using the activation of the user's mirror nerve cells according to the movement of the body part of the object that the user selectively observes. A game-style rehabilitation system that combines interface (BCI) technology.
제1항에 있어서, 상기 표시 장치는,
상기 게임영상의 진행을 위한 안내콘텐츠를 더 포함하여 표시하는 표시 장치인 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the display device,
A game-type rehabilitation system that combines functional electrical stimulation to maximize activation of mirror neurons and brain-computer interface (BCI) technology, characterized in that it is a display device that further includes and displays guide content for the progress of the game image. .
제2항에 있어서, 상기 표시 장치는,
상기 안내콘텐츠에 해당되는 음성콘텐츠를 출력하는 음성출력 장치를 포함 하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 2, wherein the display device,
A game-type rehabilitation system that combines functional electrical stimulation to maximize activation of mirror neurons and brain-computer interface (BCI) technology, characterized in that it comprises a voice output device that outputs voice content corresponding to the guide content.
삭제delete 제1항에 있어서, 상기 뇌파검출부는,
사용자가 선별적으로 주시하는 객체의 특정 신체부위에 대응되는 사용자의 뇌파 신호에서, SSVEP를 검출하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the EEG detection unit,
Functional electrical stimulation and brain-computer interface (BCI) technology that maximizes the activation of mirror neurons, characterized by detecting SSVEP from the user's EEG signal corresponding to a specific body part of the object that the user selectively gazes on A game-based rehabilitation system that combines.
제1항에 있어서, 상기 뇌파분석부는,
상기 뇌파검출부에서 검출된 SSVEP의 주파수를 분석하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the EEG analysis unit,
A game-type rehabilitation system that combines functional electrical stimulation to maximize activation of mirror neurons and brain-computer interface (BCI) technology, characterized in that analyzing the frequency of SSVEP detected by the EEG detection unit.
제1항에 있어서, 상기 전기 자극 장치는,
상기 뇌파 분석 장치에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극의 강도 및 빈도 중 적어도 하나 이상이 조절된 전기 자극을 시행하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the electrical stimulation device,
Functional electrical stimulation that maximizes activation of mirror neurons, characterized in that performing electrical stimulation in which at least one of the intensity and frequency of electrical stimulation is adjusted according to a result corresponding to the brain wave analyzed by the EEG analysis device A game-style rehabilitation system that combines brain-computer interface (BCI) technology.
제1항에 있어서, 상기 전기 자극 장치는,
제어 신호 생성부에서 생성된 제어신호를 수신하는 제어신호 수신부;
상기 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성하는 자극 제어부; 및
상기 자극 제어부로부터 상기 전기 자극 신호를 전달받아, 상기 전기 자극 신호에 따른 전기 신호를 환자의 재활 필요 부위에 인가하여 전기 자극을 시행하는 자극부를 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the electrical stimulation device,
A control signal receiving unit for receiving a control signal generated by the control signal generating unit;
A stimulation control unit that generates an electrical stimulation signal in real time based on the control signal; And
Maximizing activation of mirror nerve cells, characterized in that it includes a stimulation unit that receives the electric stimulation signal from the stimulation control unit and applies an electric signal according to the electric stimulation signal to a region in need of rehabilitation of the patient to perform electric stimulation. A game-style rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology.
제8항에 있어서, 상기 전기 자극 장치는,
상기 자극부에서 환자의 재활 필요 부위에 인가하는 전기 신호의 평균 세기 정보를 입력하는 입력부를 더 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 8, wherein the electrical stimulation device,
Functional electrical stimulation and brain-computer interface (BCI) maximizing activation of mirror nerve cells, characterized in that it further comprises an input unit for inputting information on the average intensity of the electrical signal applied from the stimulation unit to a region in need of rehabilitation of the patient A game-style rehabilitation system that combines technology.
제8항에 있어서,
상기 자극부는 복수이며,
상기 자극 제어부는, 상기 전기 자극의 패턴에 따라 상기 복수의 자극부로 출력되어야 할 전기 자극 신호를 상기 복수의 자극부 각각에 대하여 실시간으로 생성하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 8,
The magnetic pole portion is a plurality,
The stimulation control unit is characterized in that the electrical stimulation signal to be output to the plurality of stimulation units according to the pattern of the electric stimulation is generated in real time for each of the plurality of stimulation units, the function of maximizing the activation of mirror nerve cells A game-style rehabilitation system that combines electrical stimulation and brain-computer interface (BCI) technology.
제1항에 있어서, 상기 전기 자극 장치는,
신경 또는 신경과 근육이 만나는 곳에 부착되어, 전기 신호를 통해 운동신경과 감각신경 모두를 자극하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the electrical stimulation device,
A functional electrical stimulation and brain-computer interface (BCI) technology that maximizes the activation of mirror nerve cells, characterized by being attached to a nerve or where a nerve and muscle meet, and stimulating both motor and sensory nerves through electrical signals. Combined game-style rehabilitation system.
제1항에 있어서, 상기 제어 장치는,
뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하고, 사용자의 신체부위에 미리 설정된 방식으로 기능성 전기 자극을 주도록 하는 제어신호를 생성하는 제어신호 생성부;
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 표시 장치 제어부; 및
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 사용자의 신체부위에 기능성 전기 자극을 주는 전기 자극 장치를 제어하는 전기 자극 장치 제어부를 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the control device,
A control signal generator configured to generate a control signal for moving a body part of an object corresponding to the SSVEP having a specific frequency analyzed by the EEG analysis unit in a preset manner and for giving functional electrical stimulation to the user's body part in a preset manner;
A display device controller configured to control a display device that displays movement of the object using a control signal generated by the control signal generator; And
And an electrical stimulation device control unit for controlling an electrical stimulation device that applies a functional electrical stimulation to the user's body part using a control signal generated by the control signal generation unit, maximizing activation of mirror nerve cells A game-style rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology.
제1항에 있어서, 상기 게임 방식의 재활 시스템은,
객체의 하나 이상의 신체부위가 깜빡이는 특정 주파수는, 신체부위에 관계없이 동일한 주파수이거나, 신체부위마다 서로 다른 주파수인 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the game-based rehabilitation system,
Functional electrical stimulation and brain-computer interface maximizing the activation of mirror neurons, characterized in that the specific frequency at which one or more body parts of an object blink is the same frequency regardless of the body part or different frequencies for each body part (BCI) A game-based rehabilitation system that combines technology.
제1항에 있어서, 상기 게임 방식의 재활 시스템은,
신체부위가 미리 설정된 방식으로 움직이는 게임영상은, 사용자의 재활에 도움이 되는 움직임을 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템.
The method of claim 1, wherein the game-based rehabilitation system,
A game image in which the body part moves in a preset manner is a combination of functional electrical stimulation that maximizes the activation of mirror neurons and brain-computer interface (BCI) technology, characterized in that it includes movements that help the user's rehabilitation. Game-based rehabilitation system.
재활 시스템의 제어방법으로서,
(1) 표시 장치가, 게임영상을 표시하는 단계;
(2) 뇌파 획득 장치가, 상기 단계 (1)에서 표시되는 게임영상에 대응되는 사용자의 뇌파를 획득하는 단계;
(3) 뇌파 분석 장치가, 상기 단계 (2)에서 획득된 사용자의 뇌파를 분석하는 단계; 및
(4) 제어 장치가, 상기 단계 (3)에서 분석된 뇌파에 대응되는 결과에 따라, 전기 자극 장치에서 사용자의 재활 부위에 기능성 전기 자극을 주도록 하는 동시에 표시 장치에서 표시되는 게임영상을 제어하는 단계를 포함하되,
상기 단계 (1)에서는,
상기 게임영상에 표시되는 객체의 하나 이상의 신체부위가 특정 주파수로 깜빡이도록 상기 게임영상을 표시하고,
상기 단계 (4)에서는,
사용자가 상기 게임영상에 표시되는 객체의 해당 신체부위를 주시할 경우, 상기 단계 (2) 및 단계 (3)을 통해 획득하고 분석된 뇌파에 대응되는 결과에 따라, 영상에 표시되는 객체의 해당 신체부위를 미리 설정된 방식으로 움직이도록 제어하고, 상기 사용자의 재활 필요 부위에 기능성 전기 자극을 주어 움직이도록 제어하며,
사용자가 선별적으로 주시하는 객체의 신체부위의 움직임에 따른, 사용자의 거울신경세포의 활성화를 이용하여 재활 훈련을 하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
As a control method of the rehabilitation system,
(1) displaying, by the display device, a game image;
(2) obtaining, by the EEG acquisition device, a user's EEG corresponding to the game image displayed in step (1);
(3) the EEG analysis device, analyzing the user's EEG obtained in step (2); And
(4) controlling, by the control device, a game image displayed on the display device while allowing the electrical stimulation device to apply functional electrical stimulation to the user's rehabilitation site according to the result corresponding to the brain wave analyzed in step (3). Including,
In step (1),
Display the game image so that one or more body parts of the object displayed in the game image blink at a specific frequency,
In step (4),
When the user gazes at the corresponding body part of the object displayed in the game image, the corresponding body of the object displayed in the image is obtained through the steps (2) and (3) and corresponds to the analyzed brain wave. The part is controlled to move in a preset manner, and the user's part in need of rehabilitation is controlled to move by giving a functional electrical stimulation,
Functional electrical stimulation and brain-computer that maximizes the activation of mirror nerve cells, characterized in that rehabilitation training is performed by using the activation of the user's mirror nerve cells according to the movement of the body part of the object that the user selectively observes. Control method of a game-based rehabilitation system incorporating interface (BCI) technology.
제15항에 있어서, 상기 뇌파 분석 장치는,
사용자가 선별적으로 객체의 특정 신체부위를 주시할 때의 뇌파를 검출하는 뇌파검출부; 및
상기 뇌파검출부에서 검출된 뇌파의 주파수를 분석하는 뇌파분석부를 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
The method of claim 15, wherein the brain wave analysis device,
An EEG detection unit for detecting EEG when a user selectively gazes at a specific body part of an object; And
A game-type rehabilitation system that combines brain-computer interface (BCI) technology and functional electrical stimulation that maximizes activation of mirror neurons, comprising an EEG analysis unit that analyzes the frequency of the EEG detected by the EEG detection unit. Control method.
제15항에 있어서, 상기 전기 자극 장치는,
제어 신호 생성부에서 생성된 제어신호를 수신하는 제어신호 수신부;
상기 제어신호를 바탕으로 전기 자극 신호를 실시간으로 생성하는 자극 제어부; 및
상기 자극 제어부로부터 상기 전기 자극 신호를 전달받아, 상기 전기 자극 신호에 따른 전기 신호를 환자의 재활 필요 부위에 인가하여 전기 자극을 시행하는 자극부를 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
The method of claim 15, wherein the electrical stimulation device,
A control signal receiving unit for receiving a control signal generated by the control signal generating unit;
A stimulation control unit that generates an electrical stimulation signal in real time based on the control signal; And
Maximizing activation of mirror nerve cells, characterized in that it includes a stimulation unit that receives the electric stimulation signal from the stimulation control unit and applies an electric signal according to the electric stimulation signal to a region in need of rehabilitation of the patient to perform electric stimulation. A control method of a game-based rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology.
제17항에 있어서, 상기 전기 자극 장치는,
상기 자극부에서 환자의 재활 필요 부위에 인가하는 전기 신호의 평균 세기 정보를 입력하는 입력부를 더 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
The method of claim 17, wherein the electrical stimulation device,
Functional electrical stimulation and brain-computer interface (BCI) maximizing activation of mirror nerve cells, characterized in that it further comprises an input unit for inputting information on the average intensity of the electrical signal applied from the stimulation unit to a region in need of rehabilitation of the patient A control method of a game-based rehabilitation system that combines technology.
제17항에 있어서,
상기 자극부는 복수이며,
상기 자극 제어부는, 상기 전기 자극의 패턴에 따라 상기 복수의 자극부로 출력되어야 할 전기 자극 신호를 상기 복수의 자극부 각각에 대하여 실시간으로 생성하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
The method of claim 17,
The magnetic pole portion is a plurality,
The stimulation control unit is characterized in that the electrical stimulation signal to be output to the plurality of stimulation units according to the pattern of the electric stimulation is generated in real time for each of the plurality of stimulation units, the function of maximizing the activation of mirror nerve cells A control method for a game-based rehabilitation system that combines electrical stimulation and brain-computer interface (BCI) technology.
제15항에 있어서, 상기 제어 장치는,
뇌파분석부가 분석한 특정 주파수를 갖는 SSVEP에 대응되는 객체의 신체부위를 미리 설정된 방식으로 움직이게 하고, 사용자의 신체부위에 미리 설정된 방식으로 기능성 전기 자극을 주도록 하는 제어신호를 생성하는 제어신호 생성부;
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 객체의 움직임을 표시하는 표시 장치를 제어하는 표시 장치 제어부; 및
상기 제어신호 생성부에서 생성된 제어신호를 이용하여 상기 사용자의 신체부위에 조절된 전기 자극을 주는 전기 자극 장치를 제어하는 전기 자극 장치 제어부를 포함하는 것을 특징으로 하는, 거울신경세포의 활성화를 극대화하는 기능성 전기 자극과 뇌-컴퓨터 인터페이스(BCI) 기술을 결합한 게임 방식의 재활 시스템의 제어방법.
The method of claim 15, wherein the control device,
A control signal generator configured to generate a control signal for moving a body part of an object corresponding to the SSVEP having a specific frequency analyzed by the EEG analysis unit in a preset manner and for giving functional electrical stimulation to the user's body part in a preset manner;
A display device controller configured to control a display device that displays movement of the object using a control signal generated by the control signal generator; And
Maximizing activation of mirror nerve cells, characterized in that it comprises an electrical stimulation device control unit that controls an electrical stimulation device that gives controlled electrical stimulation to the user's body part using a control signal generated by the control signal generator. A control method of a game-based rehabilitation system that combines functional electrical stimulation and brain-computer interface (BCI) technology.
KR1020180052154A 2018-05-04 2018-05-04 Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method KR102142535B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180052154A KR102142535B1 (en) 2018-05-04 2018-05-04 Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method
PCT/KR2019/003827 WO2019212149A1 (en) 2018-05-04 2019-04-01 Game-based rehabilitation system having brain-computer interface (bci) technology combined with functional electrical stimulation for maximizing activation of mirror nerve cell, and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180052154A KR102142535B1 (en) 2018-05-04 2018-05-04 Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method

Publications (2)

Publication Number Publication Date
KR20190127489A KR20190127489A (en) 2019-11-13
KR102142535B1 true KR102142535B1 (en) 2020-08-10

Family

ID=68386084

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180052154A KR102142535B1 (en) 2018-05-04 2018-05-04 Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method

Country Status (2)

Country Link
KR (1) KR102142535B1 (en)
WO (1) WO2019212149A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111281379A (en) * 2020-03-02 2020-06-16 清华大学 Method and device for improving attention span through transcranial direct current stimulation
US20220157431A1 (en) * 2020-12-01 2022-05-19 Roy Joshua Sarfati Mirror-neurons stimulation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071825A (en) * 2012-10-01 2014-04-21 Toyota Motor Corp Brain machine interface
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100306295B1 (en) * 1999-07-24 2001-09-24 박병운 Game machine using brain waves and method therefor
KR101229244B1 (en) * 2010-10-25 2013-02-04 연세대학교 원주산학협력단 Rehabilitation training system with functional electrical stimulation based on steady-state visually evoked potentials
KR101566788B1 (en) * 2012-11-16 2015-11-09 삼육대학교산학협력단 Brain computer interface based functional electrical stimulator
KR101438006B1 (en) * 2012-12-12 2014-09-04 계명대학교 산학협력단 Rehabilitation training system and rehabilitation training method using functional electrical stimulation based on game
KR101501524B1 (en) * 2013-01-11 2015-03-18 재단법인대구경북과학기술원 Combining Brain Signals and Functional Electrostimulation Self-Directed Rehabilitation Method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140200432A1 (en) * 2011-05-20 2014-07-17 Nanyang Technological University Systems, apparatuses, devices, and processes for synergistic neuro-physiological rehabilitation and/or functional development
JP2014071825A (en) * 2012-10-01 2014-04-21 Toyota Motor Corp Brain machine interface

Also Published As

Publication number Publication date
KR20190127489A (en) 2019-11-13
WO2019212149A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
KR102144291B1 (en) Game-based rehabilitation system that combines brain stimulation and brain-computer interface techniques to maximize activation of mirror nerve cells and its control method
CN108882875B (en) Device for neurovascular stimulation
US11273344B2 (en) Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders
JP2022050499A (en) Nerve stimulation apparatus and method
Liu et al. Implementation of SSVEP based BCI with Emotiv EPOC
US20180028810A1 (en) System for controlling stimulation impulses
US10258259B1 (en) Multimodal sensory feedback system and method for treatment and assessment of disequilibrium, balance and motion disorders
Pfurtscheller et al. Self-paced operation of an SSVEP-Based orthosis with and without an imagery-based “brain switch:” a feasibility study towards a hybrid BCI
US20200390997A1 (en) Systems and Methods for Multi-Modal and Non-Invasive Stimulation of the Nervous System
JP3129187U (en) EEG forced guidance device.
KR101492862B1 (en) System for improving a subject's sensory, reflex and/or motor mechanisms via auditory, tactile or visual stimulations
KR101229244B1 (en) Rehabilitation training system with functional electrical stimulation based on steady-state visually evoked potentials
US11543879B2 (en) System for communicating sensory information with an interactive system and methods thereof
CN110993056A (en) Hybrid active rehabilitation method and device based on mirror image neurons and brain-computer interface
Zhang et al. An EEG-driven lower limb rehabilitation training system for active and passive co-stimulation
CN102144914A (en) Interference system for balanced sensation of human bodies
JP2017516571A (en) Rehabilitation system and method
KR102142535B1 (en) Game-based rehabilitation system combine functional electrical stimulation and brain-computer interface technique to maximize activation of mirror nerve cell and its control method
KR101923656B1 (en) Virtual reality control system that induces activation of mirror nervous system and its control method
US20230296895A1 (en) Methods, apparatus, and articles to enhance brain function via presentation of visual effects in far and/or ultra-far peripheral field
KR102126801B1 (en) Timing feedback system based on multi-sensor with adjusting intensity of exercise
Dilshad et al. A low cost SSVEP-EEG based human-computer-interaction system for completely locked-in patients
Levitskaya et al. Brain-computer interface: the future in the present
KR101878416B1 (en) Game-based rehabilitation system using brain-computer interface (bci) and its control method
KR101888498B1 (en) Game-based rehabilitation system using brain-computer interface (bci) and its control method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant