RU2018142364A - SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH - Google Patents

SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH Download PDF

Info

Publication number
RU2018142364A
RU2018142364A RU2018142364A RU2018142364A RU2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A RU 2018142364 A RU2018142364 A RU 2018142364A
Authority
RU
Russia
Prior art keywords
stimuli
stimulus
parameters
user
display
Prior art date
Application number
RU2018142364A
Other languages
Russian (ru)
Other versions
RU2725782C2 (en
RU2018142364A3 (en
Inventor
Наталия Валентиновна Галкина
Александр Ольгердович Лужин
Илья Петрович Ганин
Александр Яковлевич Каплан
Original Assignee
Общество С Ограниченной Ответственностью "Нейрочат"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество С Ограниченной Ответственностью "Нейрочат" filed Critical Общество С Ограниченной Ответственностью "Нейрочат"
Priority to RU2018142364A priority Critical patent/RU2725782C2/en
Priority to PCT/RU2018/000774 priority patent/WO2020111962A1/en
Publication of RU2018142364A3 publication Critical patent/RU2018142364A3/ru
Publication of RU2018142364A publication Critical patent/RU2018142364A/en
Application granted granted Critical
Publication of RU2725782C2 publication Critical patent/RU2725782C2/en

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Claims (17)

1. Система для коммуникации пользователей без использования речи и движения, содержащая средство регистрации электроэнцефалограммы пользователя, информационные выходы которой соединены с блоком обработки данных, видеовыход которого соединен с дисплеем, а сетевой интерфейс предназначен для соединения с удаленным сервером, предназначенным для формирования социальной сети, выполненной с возможностью общения нескольких пользователей в режиме реального времени, при этом средство регистрации электроэнцефалограммы выполнено с возможностью регистрации электроэнцефалограммы путем определения активности головного мозга по результатам измерения электрических потенциалов на поверхности кожи головы пользователя в режиме реального времени, выделения из электроэнцефалограммы параметров по крайней мере одной компоненты вызванных потенциалов (ВП) с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров по крайней мере одной компоненты вызванных потенциалов в цифровом виде, блок обработки данных выполнен формирующим на экране дисплея изменяющиеся световые стимулы, имеющие различные параметры изменения во времени такие, что при удержании внимания пользователя на различных стимулах по крайней мере одна компонента вызванных потенциалов имеет различные параметры, при этом каждому из стимулов приведено в соответствие заранее заданное действие, блок обработки данных выполнен определяющим, в режиме реального времени, стимулы, непосредственно выбранные пользователем, и выполняющим действия, соответствующие выбранным пользователем стимулам посредством отслеживания выбора объектов из множества объектов, при этом выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам по крайней мере одной компоненты вызванных потенциалов, возникающих в процессе формирования стимулов на экране устройства, при этом экран устройства выполнен с возможностью отображения результатов выполнения действий, по результатам предъявления стимулов нескольким пользователям на нескольких экранах, выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных, а передача сведений о действиях по результатам предъявления стимулов между блоками обработки данных различных пользователей осуществляется посредством удаленного сервера.1. A system for communication of users without the use of speech and movement, comprising means for recording an electroencephalogram of a user, the information outputs of which are connected to a data processing unit, the video output of which is connected to the display, and the network interface is designed to connect to a remote server designed to form a social network made with the ability to communicate with multiple users in real time, while the EEG recording tool is configured to record the EEG by determining the activity of the brain by measuring the electrical potentials on the surface of the user's scalp in real time, extracting from the EEG parameters of at least one component caused by potentials (VP) with predetermined basic characteristics and the formation of the output signal in the form of a description of the parameters of at least one component caused by the potential In digital form, the data processing unit is configured to produce varying light stimuli on the display screen having different parameters of change over time such that, while maintaining user attention on different stimuli, at least one component of the evoked potentials has different parameters, with each of the stimuli given In accordance with a predetermined action, the data processing unit is responsible for determining, in real time, the stimuli directly selected by the user and performing actions corresponding to the selected stimuli by the user by tracking the selection of objects from many objects, while the selected stimuli are the stimuli and reaction parameters in the answer to which maximally matches the parameters of at least one component of the evoked potentials that arise during the formation of stimuli on the device screen, while the device screen is configured to display the results of actions According to the results of presenting incentives to several users on several screens, the parameters of at least one component of the evoked potentials are extracted from the electroencephalogram by the data processing unit, and information about actions based on the results of presenting incentives between the data processing units of different users is transmitted via a remote server. 2. Система по п. 1, отличающаяся тем, что выделение параметров по крайней мере одной компоненты вызванных потенциалов из электроэнцефалограммы производится блоком обработки данных с использованием машинного обучения, учитывающего характер ограниченных двигательных и речевых функций пользователя.2. The system according to claim 1, characterized in that the separation of the parameters of at least one component of the evoked potentials from the electroencephalogram is performed by a data processing unit using machine learning that takes into account the nature of the user's limited motor and speech functions. 3. Система по п. 1, отличающаяся тем, что машинное обучение производится для каждого пользователя отдельно.3. The system according to p. 1, characterized in that machine learning is performed for each user separately. 4. Система по п. 1, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено содержащим электроды, предназначенные для соединения с кожей головы пользователя, установленные в средстве крепления с возможностью перемещения.4. The system according to p. 1, characterized in that the means of recording the electroencephalogram is made containing electrodes designed to connect with the skin of the user's head, installed in the mount with the ability to move. 5. Система по п. 4, отличающаяся тем, что средство крепления выполнено с возможностью установки и снятия электродов.5. The system according to p. 4, characterized in that the fastening means is configured to install and remove electrodes. 6. Система по п. 1, отличающаяся тем, что компонентом вызванного потенциала с заранее заданными характеристиками является волна Р300.6. The system according to claim 1, characterized in that the P300 wave is a component of the evoked potential with predetermined characteristics. 7. Система по п. 1, отличающаяся тем, что она содержит блок задания параметров стимулов.7. The system according to claim 1, characterized in that it contains a block for setting stimulus parameters. 8. Система по п. 7, отличающаяся тем, что одним из параметров стимула является момент времени начала отображения стимула.8. The system according to p. 7, characterized in that one of the parameters of the stimulus is the point in time the stimulus is displayed. 9. Система по п. 8, отличающаяся тем, что по крайней мере одним из других параметров стимула является момент гашения стимула, скорость перемещения стимула по дисплею, яркость свечения стимула, частота мерцания стимула, геометрические размеры стимула, очертания стимула, информация, изображенная на стимуле.9. The system according to p. 8, characterized in that at least one of the other parameters of the stimulus is the moment of quenching of the stimulus, the speed of movement of the stimulus on the display, the brightness of the stimulus, the frequency of the flicker of the stimulus, the geometric dimensions of the stimulus, the outline of the stimulus, the information shown in stimulus. 10. Система по п. 9, отличающаяся тем, что геометрические размеры стимула задаются в соответствии с угловыми размерами расположенного на дисплее стимула, определенными относительно положения пациента, и эти размеры подстраиваются индивидуально для каждого пользователя, чтобы обеспечить наилучшее визуальное различение им стимула для наиболее эффективного детектирования вызываемой стимулом реакции ВП.10. The system according to p. 9, characterized in that the geometric dimensions of the stimulus are set in accordance with the angular dimensions of the displayed stimulus, determined relative to the position of the patient, and these sizes are adjusted individually for each user to provide the best visual distinction between them for the most effective detection of stimulus-induced VP reactions. 11. Система по п. 8, отличающаяся тем, что моменты времени начала отображения стимулов задаются различными настройками с обеспечением цикличного отображения стимулов на экране.11. The system according to p. 8, characterized in that the time moments of the beginning of the display of stimuli are set by various settings, providing a cyclic display of stimuli on the screen. 12. Система по п. 11, отличающаяся тем, что частота циклов отображения стимулов выбирается такой, что минимизируются потенциальные негативные последствия для пользователя от наблюдения за стимулами на экране дисплея посредством исключения частот, вызывающих предэпилептическое состояние, при выборе частоты циклов.12. The system according to p. 11, characterized in that the frequency of the stimulus display cycles is selected so that potential negative consequences for the user from observing the stimuli on the display screen are minimized by excluding frequencies that cause the pre-epileptic state when choosing the cycle frequency. 13. Система по п. 10, отличающаяся тем, что размеры стимулов обеспечивают различимость стимулов на экране и информации, относящейся к стимулам.13. The system according to p. 10, characterized in that the sizes of the stimuli provide a distinguishability of the stimuli on the screen and the information related to the stimuli. 14. Система по п. 1, отличающаяся тем, что она выполнена с отображением на одном дисплее модуля набора сообщений с виртуальной клавиатурой, модуля отображения набираемых сообщений и модуля отображения переписки.14. The system according to claim 1, characterized in that it is configured to display a message set module with a virtual keyboard, a typed message display module, and a correspondence display module on one display. 15. Система по п. 14, отличающаяся тем, что модуль отображения переписки выполнен отображающим историю переписки по крайней мере с одним другим пользователем.15. The system of claim 14, wherein the correspondence display module is configured to display the history of correspondence with at least one other user. 16. Система по п. 15, отличающаяся тем, что модуль отображения переписки отображает сообщения, сформированные другим пользователем в реальном времени.16. The system of claim 15, wherein the correspondence display module displays messages generated by another user in real time. 17. Система по любому из предыдущих пунктов, отличающаяся тем, что средство регистрации электроэнцефалограммы выполнено с возможностью выделения блоком обработки данных из электроэнцефалограммы параметров более одной компоненты вызванных потенциалов с заранее заданными базовыми характеристиками и формирования выходного сигнала в виде описания параметров компонент вызванных потенциалов в цифровом виде, а выбранными пользователем стимулами считаются стимулы, параметры реакций в ответ на которые максимально соответствуют параметрам компонентов ВП, возникающих в процессе формирования стимулов на экране устройства.17. The system according to any one of the preceding paragraphs, characterized in that the electroencephalogram recording means is configured to extract from the electroencephalogram parameters of more than one component of the evoked potentials with predetermined basic characteristics and generate an output signal in the form of a description of the parameters of the components of the evoked potentials in digital form , and the stimuli selected by the user are considered to be stimuli, the response parameters to which correspond to the parameters of the EP components that arise during the formation of stimuli on the device’s screen.
RU2018142364A 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech RU2725782C2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech
PCT/RU2018/000774 WO2020111962A1 (en) 2018-11-30 2018-11-30 System for communication between users without the use of muscular movements and speech

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech

Publications (3)

Publication Number Publication Date
RU2018142364A3 RU2018142364A3 (en) 2020-06-01
RU2018142364A true RU2018142364A (en) 2020-06-01
RU2725782C2 RU2725782C2 (en) 2020-07-06

Family

ID=70853068

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018142364A RU2725782C2 (en) 2018-11-30 2018-11-30 System for communication of users without using muscular movements and speech

Country Status (2)

Country Link
RU (1) RU2725782C2 (en)
WO (1) WO2020111962A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2742071C1 (en) * 2020-09-08 2021-02-02 Государственное бюджетное учреждение здравоохранения Московской области "Московский областной научно-исследовательский клинический институт им. М.Ф. Владимирского" (ГБУЗ МО МОНИКИ им. М.Ф. Владимирского) Method of rehabilitation of the patients suffering a stroke
RU2749408C1 (en) * 2020-10-23 2021-06-09 Федеральное Государственное Бюджетное Научное Учреждение "Федеральный Научно-Клинический Центр Реаниматологи и Реабилитологии" (ФНКЦ РР) Method for rehabilitation of cognitive functions in patients with focal brain lesions

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6463328B1 (en) * 1996-02-02 2002-10-08 Michael Sasha John Adaptive brain stimulation method and system
RU2201130C2 (en) * 2001-03-22 2003-03-27 Нкб "Миус" Трту Human operator monitoring system
US7269456B2 (en) * 2002-05-30 2007-09-11 Collura Thomas F Repetitive visual stimulation to EEG neurofeedback protocols
US7610345B2 (en) * 2005-07-28 2009-10-27 Vaporstream Incorporated Reduced traceability electronic message system and method
GB0709405D0 (en) * 2007-05-16 2007-06-27 Univ Edinburgh Testing vision
US10155121B2 (en) * 2012-08-25 2018-12-18 National Chiao Tung University Stimuli generating methods, devices and control systems to induce visual evoked potentials using imperceptible flickering multi-color lights
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
US20180224936A1 (en) * 2017-02-08 2018-08-09 David M. Tumey Brain to brain communication system for social media

Also Published As

Publication number Publication date
WO2020111962A1 (en) 2020-06-04
RU2725782C2 (en) 2020-07-06
RU2018142364A3 (en) 2020-06-01

Similar Documents

Publication Publication Date Title
Martišius et al. A prototype SSVEP based real time BCI gaming system
Pasqualotto et al. Toward functioning and usable brain–computer interfaces (BCIs): A literature review
Pfurtscheller et al. 15 years of BCI research at Graz University of Technology: current projects
Donner et al. Population activity in the human dorsal pathway predicts the accuracy of visual motion detection
Bin et al. VEP-based brain-computer interfaces: time, frequency, and code modulations [Research Frontier]
CN109271020B (en) Eye tracking-based steady-state vision-evoked brain-computer interface performance evaluation method
CN101515199B (en) Character input device based on eye tracking and P300 electrical potential of the brain electricity
Gradl et al. Visualization of heart activity in virtual reality: A biofeedback application using wearable sensors
CA2977429C (en) Method of and system for processing signals sensed from a user
JP2019513516A (en) Methods and systems for acquiring, aggregating and analyzing visual data to assess human visual performance
CN100427031C (en) System and method for vision examination
JP2023508339A (en) Ocular system for deception detection
US20150164363A1 (en) Knowledge discovery based on brainwave response to external stimulation
Caggiano et al. Encoding of point of view during action observation in the local field potentials of macaque area F5
CN109508094B (en) Visual induction brain-computer interface method combined with asynchronous eye movement switch
Soylu et al. ERP differences in processing canonical and noncanonical finger-numeral configurations
RU2018142364A (en) SYSTEM FOR COMMUNICATION OF USERS WITHOUT USING MUSCULAR MOVEMENTS AND SPEECH
KR20180123365A (en) Apparatus and method for context recognizable brain-machine interface
Gembler et al. Exploring the possibilities and limitations of multitarget SSVEP-based BCI applications
Chen et al. A spatially-coded visual brain-computer interface for flexible visual spatial information decoding
Grichnik et al. A VR-based hybrid BCI using SSVEP and gesture input
CN110811613B (en) Method for improving event-related potential signal-to-noise ratio based on European Debao and DMST paradigm fusion
TW591481B (en) Vision-driving control system and control method thereof
Zao et al. 37‐4: Invited Paper: Intelligent Virtual‐Reality Head‐Mounted Displays with Brain Monitoring and Visual Function Assessment
CN117137426B (en) Visual field damage evaluation training method and system based on micro-glance feature monitoring