RU2762857C1 - Device for forming general sensitivity in a virtual environment - Google Patents

Device for forming general sensitivity in a virtual environment Download PDF

Info

Publication number
RU2762857C1
RU2762857C1 RU2021130144A RU2021130144A RU2762857C1 RU 2762857 C1 RU2762857 C1 RU 2762857C1 RU 2021130144 A RU2021130144 A RU 2021130144A RU 2021130144 A RU2021130144 A RU 2021130144A RU 2762857 C1 RU2762857 C1 RU 2762857C1
Authority
RU
Russia
Prior art keywords
hand
virtual
upper limb
virtual reality
motor
Prior art date
Application number
RU2021130144A
Other languages
Russian (ru)
Inventor
Александр Владимирович Колсанов
Сергей Сергеевич Чаплыгин
Сергей Викторович Ровнов
Александр Владимирович Захаров
Original Assignee
Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации filed Critical Федеральное государственное бюджетное образовательное учреждение высшего образования "Самарский государственный медицинский университет" Министерства здравоохранения Российской Федерации
Priority to RU2021130144A priority Critical patent/RU2762857C1/en
Application granted granted Critical
Publication of RU2762857C1 publication Critical patent/RU2762857C1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25Output arrangements for video game devices
    • A63F13/28Output arrangements for video game devices responding to control signals received from the game device for affecting ambient conditions, e.g. for vibrating players' seats, activating scent dispensers or affecting temperature or light
    • A63F13/285Generating tactile feedback signals via the game input device, e.g. force feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Rehabilitation Tools (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

FIELD: medicine.
SUBSTANCE: invention relates to medicine, namely to the formation of general sensitivity in a virtual environment and to rehabilitation, and can be used when restoring the motor function of the upper limb and teaching motor skills. A device is proposed, which consists of a control unit, communications connected with the specified device, and communicating with the control software of a computer or smartphone, virtual reality glasses and a glove equipped with vibration, heating and electromechanical elements used to stimulate receptors and imitate contact exteroceptive sensations, moreover the elements are located in the projection of each of the three phalanges of all fingers, moreover, electromechanical vibration elements function coherently with a frequency from 8 to 300 Hz with a 5% change step, correlating with the intensity of compression of the object necessary to move virtual objects with different conventional masses, and strain gauges, located fifteen each on the palmar and dorsal surfaces of the hand in the projection of the joints of the phalanges of the hand and the wrist joint, provide registration of the hand kinematics based on 22 degrees of freedom, and register changes in the radius of the gesture in both any other hand joint over 5 mm, in addition, contains an electroencephalogram recording device, which provides registration of changes in the power and duration of electroencephalogram frequencies in the sensorimotor area, and an optical tracker, which provides a comparison of the location of the upper limb in the physical world and in virtual reality and provides an assessment of the movement of the upper limb in the shoulder, elbow and wrist joints.
EFFECT: invention provides an expansion of the arsenal of technical means that allow the formation of complex types of sensitivity in a virtual environment and provide training in motor skills and motor rehabilitation of patients with an upper limb injury, taking into account the individual characteristics of motor and sensory disorders.
1 cl, 3 dwg, 2 ex

Description

Изобретение относится к медицине, а именно к реабилитации, и может быть использовано при восстановлении двигательной функции верхней конечности и обучению моторным навыкам.The invention relates to medicine, namely to rehabilitation, and can be used to restore the motor function of the upper limb and teach motor skills.

Известен способ коррекции мелкой моторики с использованием сенсорных перчаток описанный в патенте №2494670 с приоритетом от 12.12.2011 г. включающий помещение кисти руки больного в устройство, подключение устройства к компьютеру, загрузку и запуск программы компьютерной игры, и выполнение активных движений на сгибание-разгибание, отличающийся тем, что руку пациента размещают и фиксируют в устройстве в виде сенсорной перчатки; располагают и фиксируют относительно устройства чувствительные и токопроводящие элементы; при этом сенсорную перчатку используют в качестве манипулятора таким образом, что пациент выполняет активные движения сгибания-разгибания кисти и пальцев, обеспечивая этим соответствующие заданные движения объекта.A known method for correcting fine motor skills using sensory gloves is described in patent No. 2494670 with a priority of 12.12.2011, which includes placing the patient's hand in the device, connecting the device to a computer, loading and running a computer game program, and performing active flexion-extension movements characterized in that the patient's hand is placed and fixed in the device in the form of a sensor glove; positioning and fixing sensitive and conductive elements relative to the device; the sensor glove is used as a manipulator in such a way that the patient performs active flexion-extension movements of the hand and fingers, thus providing the corresponding predetermined movements of the object.

Но данный способ предназначен только для организации биологической обратной связи на основе визуального анализатора. Сенсорные перчатки не обеспечивают ощущения контакта с объектами виртуальной реальности, а так же не позволяют ощущать температуру, форму, вес и упругость предметов виртуальной реальности.But this method is intended only for organizing biofeedback based on a visual analyzer. Touch gloves do not provide the sensation of contact with virtual reality objects, and also do not allow you to feel the temperature, shape, weight and elasticity of virtual reality objects.

Самым близким по своей технической сущности является устройство и способ имитации и передачи контактных экстероцептивных ощущений, описанные в патенте № 2708949 с приоритетом от 26.07.2017 г. включающее в себя перчатку, выполненную из эластичного материала, стимуляторы механических, динамических и термические эффектов, закрепленные в областях перчатки, контактирующих с пальцами и ладонью руки в зонах расположения механорецепторов Мейснера, Пачини, Руффини, Краузе и аксонов клеток Меркеля, блок управления и коммуникации, связанный с указанными стимуляторами и осуществляющий коммуникацию с управляющим программным обеспечением компьютера или смартфона, блок питания. Устройство в форме перчатки для имитации контактных экстероцептивных ощущений на кожные покровы, в данном случае на пальцы и ладонь руки, посредством распложенных в нем стимуляторов, которые синхронизированы межу собой и передают механические, динамические и термические эффекты, а именно эффекты вибрации, сжатия, расширения, смещения, давления, нагревания и охлаждения, как дополнение к визуализации объекта, события или передаваемых ощущений для создания максимально перцептивного образа. Дополнительно содержит тактильные стимуляторы, использующиеся для формирования тактильных ощущений, расположенные на кончиках пальцев руки и на ладони. Дополнительно содержит вибрационные стимуляторы, использующиеся для имитирования ощущений вибрации, расположенные на внутренней стороне фаланг пальцев, а так же на внутренней стороне кисти руки. Дополнительно содержит термические стимуляторы, использующиеся для имитирования температурных ощущений, расположенные на внутренней и на внутренней стороне кисти руки, содержит фиксирующий элемент на запястье руки. Передаваемые ощущения формируются путем последовательного или одновременного воздействия на рецепторы пальцев и ладони руки, посредством стимуляторов, управляемых с помощью программного обеспечения, установленного на компьютер или смартфон, соединенный с указанным устройством, проводным или беспроводным способом, через блок управления и коммуникации указанного устройства.The closest in technical essence is a device and method for simulating and transmitting contact exteroceptive sensations, described in patent No. 2708949 with a priority of July 26, 2017, which includes a glove made of elastic material, stimulators of mechanical, dynamic and thermal effects, fixed in areas of the glove in contact with the fingers and palm of the hand in the areas where the mechanoreceptors of Meissner, Pacini, Ruffini, Krause and axons of Merkel cells are located, a control and communication unit associated with these stimulators and communicating with the control software of a computer or smartphone, a power supply. A device in the form of a glove for simulating contact exteroceptive sensations on the skin, in this case on the fingers and palm of the hand, by means of stimulators located in it, which are synchronized with each other and transmit mechanical, dynamic and thermal effects, namely the effects of vibration, compression, expansion, displacement, pressure, heating and cooling, as an addition to the visualization of an object, event or transmitted sensation to create the most perceptual image. It additionally contains tactile stimulants used to form tactile sensations, located on the fingertips and on the palm. Additionally contains vibration stimulators used to simulate vibration sensations, located on the inner side of the phalanges of the fingers, as well as on the inner side of the hand. Additionally, it contains thermal stimulants used to simulate temperature sensations, located on the inner and inner sides of the hand, and contains a fixing element on the wrist. The transmitted sensations are formed by sequential or simultaneous action on the receptors of the fingers and the palm of the hand, by means of stimulators controlled by software installed on a computer or smartphone connected to the specified device, wired or wirelessly, through the control and communication unit of the specified device.

Но данное устройство не позволяет формировать сложные виды чувствительности в виде ощущение формы, массы и упругости предмета, предназначено передавать только ощущения, связанные с прикосновением к виртуальному объекту.But this device does not allow the formation of complex types of sensitivity in the form of a sense of the shape, mass and elasticity of an object, it is intended to convey only the sensations associated with touching a virtual object.

Техническим результатом заявленного устройства является расширение арсенала технических средств позволяющих формировать сложные виды чувствительности в виртуальной среде и обеспечивающих обучение моторным навыкам и проведению двигательной реабилитации пациентов с поражением верхней конечности с учетом индивидуальных особенностей двигательных и сенсорных нарушений.The technical result of the claimed device is to expand the arsenal of technical means allowing the formation of complex types of sensitivity in a virtual environment and providing training in motor skills and motor rehabilitation of patients with upper limb lesions, taking into account the individual characteristics of motor and sensory disorders.

Заявленный технический результат достигается за счет того, что устройство формирования общей чувствительности в виртуальной среде состоит из блока управления, коммуникаций связанных с указанным устройством и осуществляющий коммуникацию с управляющим программным обеспечением компьютера или смартфона, очков виртуальной реальности и перчатки оснащенной вибрационными, нагревательными и электромеханическими элементами используемыми для стимуляции рецепторов и имитации контактных экстероцептивных ощущений, элементы расположены в проекции каждой из трех фаланг всех пальцев причем, электромеханические вибрационные элементы функционируют когерентно с частотой от 8 до 300 Гц с шагом изменения 5% коррелируя с интенсивностью сжатия предмета необходимой для перемещения виртуальных объектов с различной условной массой, а тензодатчики располагаемые по пятнадцать на ладонной и тыльной поверхности кисти в проекции суставов фаланг кисти и лучезапястного сустава обеспечивают регистрацию кинематики кисти основанной на 22 степенях свободы и регистрируют изменения радиуса жеста в том или ином суставе кисти от 5 мм, кроме того содержит устройство регистрации электроэнцефалограммы обеспечивающее регистрацию изменения мощности и длительность частот электроэнцефалограммы в сенсомоторной области и оптический трекер обеспечивающий сопоставление расположения верхней конечности в физическом мире и в виртуальной реальности и обеспечивающий оценку движения верхней конечности в плечевом, локтевом и лучезапястном суставах. Устройство регистрации электроэнцефалограммы представляет собой шестиканальный электроэнцефалографический аппарат с датчиками, располагаемыми в отведениях С3, С4, О1, О2, согласно системе «10-20», референтный электрод располагается в отведении Cz (точка пересечения сагиттальной и фронтальной плоскостей в теменной области), заземляющий электрод располагается в точке М1 (область сосцевидного отростка). Данное устройство предназначено для регистрации десинхронизации в сенсомоторного ритма (повышение амплитуды бетта-ритма (19-35 Гц) более чем на 30% от исходного значения и снижение амплитуды альфа-ритма (8-12 Гц), более чем на 30% от исходного уровня. Данные изменения регистрируются в отведениях С3 и С4, длительность данных изменений для начала его функционирования в качестве управляющего сигнала для визуализации движения руки в виртуальной среде должна быть не менее 5 секунд. Отведения О1 и О2 предназначены для регистрации зрительного вызванного потенциала в латентности от 150 до 300 мс, возникающего при сосредоточении внимания на объекте виртуальной реальности, с которым планирует взаимодействовать пользователь или реабилитируемый. Оптический трекер располагается таким образом, что в зоне его действия находиться пользователь или реабилитируемый, а именно его верхние конечности. Данное устройство выполняет роль оценки движения верхней конечности в плечевом, локтевом и лучезапястном суставах, при этом выполняя функцию сопоставления расположения верхней конечности в физическом мире, передавая информацию в программное обеспечение, осуществляющее формирование виртуальной реальности, для корректного отображения движения виртуальной конечности в плечевом, локтевом и лучезапястном суставах, демонстрируемой пользователю посредством очков виртуальной реальности. Минимальными условиями функционирования оптического трекера является изменение радиуса жеста от 5 мм. Еще одним компонентом являются тензодатчики, в количестве 30, располагаемых по 15 с ладонной и тыльной поверхности кисти, в проекции суставов фаланг кисти, а также лучезапястного сустава, обеспечивая регистрацию кинематики кисти основанной на 22 степенях свободы, регистрирующие изменении радиуса жеста, в том или ином суставе кисти, от 5 мм. Количество датчиков фиксирующих изменение радиуса движения в суставах фаланг обусловлено использование упрощенной кинематической модели руки, включающей в себя 22 степени свободы. Информация от данных датчиков поступает в программное обеспечение, осуществляющее формирование виртуальной реальности, для корректного отображения движения виртуальной кисти. В перчатку надеваемую на кисть реабилитируемого интегрированы три вида устройств посредством которых осуществляется сенсорное воздействие на ладонную поверхность кисти пользователя для обеспечения эктероцептивной, проприоцептивной и сложной чувствительности, обеспечивающего сенсорные ощущения контакта с виртуальными объектами, максимально идентичными ощущениям, возникающим при контакте с физическими объектами. Тактильные чувствительные ощущения достигаются за счет расположения электромеханических устройств в проекции каждой из трех фаланг всех пальцев, в количестве 15. Данные электромеханические устройства функционируют и создают ощущения прикосновения к кожной поверхности ладонной поверхности при их включении, за счет подвижной части устройства, являющегося результатом электромеханического преобразования. Данное устройство активизируется в результате совмещения координат виртуального объекта и координат кисти пользователя, вычисляемых посредством функционирования программного обеспечения на основе кинематической модели руки. Данные электромеханические устройства активизируются в соответствии с формой виртуального объекта. Для создания тактильных ощущений данный датчик обеспечивает воздействие прикосновения идентичному давлению оказываемым монофиламентом весом 50 г., длительностью 2,24 с., для предотвращения сенсибилизации, длительностью 0,5-0,8 с. Данные датчики включаются и выключаются в течение всего времени контакта с виртуальным объектом. Проприоцептивный ощущения, а именно чувство массы объекта и чувство вибрации, реализуются за счет воздействия вибрационных устройств. Данные устройства размещаются в том же количестве и расположении, что и электромеханические устройства, описанные выше. Данные устройства функционируют когерентно с частотой от 8 до 300 Гц с шагом изменения 5%, коррелируя с интенсивностью сжатия предмета, необходимой для перемещения виртуальных объектов с различной условной массой. Длительность включения данных устройств до 2 сек, с перерывом в 1 сек, для уменьшения выраженности сенсорной сенсибилизации рецепторов, обеспечивающих вибрационную чувствительность. Сочетания тактильного и вибрационного воздействия дают формирование сложных форм чувствительности, а именно: ощущения стереогноза, трехмерного ощущения формы виртуального объекта. Третьим типом интегрированного в перчатку устройством являются электрические нагреватели в проекции дистальных или средних фаланг пальцев, в общем количестве 5 элементов. Данные нагревательные элементы активируются с предметом виртуальной реальности, обозначенным как горячий. Нагревательные элементы повышают температуру до 43°, длительностью 0,5-0,8 сек, с интервалами между повышением температуры 2 сек, для предупреждения адаптации температурных рецепторов TRPV1 (англ. Receptor potential cation channel subfamily V member 1). Персональный компьютер с установленным ПО, позволяет интегрировать информацию, полученную от датчиков, и производит формирование управляемой на основе поступившей информации виртуальной реальности. В задачу функционирования данного блока входит построение виртуальной среды, а также объектов виртуальной реальности, с которыми происходит взаимодействие. Программное обеспечение также изменяет освещенность демонстрируемых объектов виртуальной реальности, с которыми проводиться взаимодействие реабилитируемого для реализации возможности получения зрительного вызванного потенциала на стимул (которым является изменение освещенности объектов).The claimed technical result is achieved due to the fact that the device for the formation of general sensitivity in a virtual environment consists of a control unit, communications associated with the specified device and communicating with the control software of a computer or smartphone, virtual reality glasses and gloves equipped with vibration, heating and electromechanical elements used to stimulate receptors and simulate contact exteroceptive sensations, the elements are located in the projection of each of the three phalanges of all fingers, moreover, electromechanical vibration elements function coherently with a frequency from 8 to 300 Hz with a step of 5% change, correlating with the intensity of compression of the object necessary to move virtual objects with different conventional mass, and strain gauges located fifteen each on the palmar and dorsal surfaces of the hand in the projection of the phalangeal joints of the hand and the wrist joint provide registration of the kinematics of the hand based on 22 degrees of freedom and register changes in the radius of the gesture in one or another joint of the hand from 5 mm, in addition, it contains an electroencephalogram recording device that records changes in the power and duration of the electroencephalogram frequencies in the sensorimotor area and an optical tracker that provides a comparison of the location of the upper limb in the physical world and in virtual reality and provides an assessment of the movement of the upper limb in the shoulder, elbow and wrist joints. The electroencephalogram recording device is a six-channel electroencephalographic apparatus with sensors located in leads C3, C4, O1, O2, according to the "10-20" system, the reference electrode is located in the Cz lead (the point of intersection of the sagittal and frontal planes in the parietal region), the ground electrode located at point M1 (mastoid area). This device is designed to register desynchronization in the sensorimotor rhythm (an increase in the amplitude of the beta rhythm (19-35 Hz) by more than 30% from the initial value and a decrease in the amplitude of the alpha rhythm (8-12 Hz) by more than 30% from the initial level These changes are recorded in leads C3 and C4, the duration of these changes for the start of its functioning as a control signal for visualizing hand movement in a virtual environment should be at least 5 seconds. Leads O1 and O2 are designed to register visual evoked potential in latency from 150 to 300 ms, arising when focusing on a virtual reality object with which the user or the person being rehabilitated plans to interact. The optical tracker is located in such a way that the user or the person being rehabilitated, namely his upper limbs, is in the zone of its action. in the shoulder, elbow and wrist su stavah, while performing the function of matching the location of the upper limb in the physical world, transmitting information to the software that generates virtual reality, for the correct display of the movement of the virtual limb in the shoulder, elbow and wrist joints, demonstrated to the user through virtual reality glasses. The minimum conditions for the functioning of the optical tracker is a change in the radius of the gesture from 5 mm. Another component is strain gauges, in the amount of 30, located 15 each from the palmar and dorsal surfaces of the hand, in the projection of the joints of the phalanges of the hand, as well as the wrist joint, providing registration of the kinematics of the hand based on 22 degrees of freedom, registering changes in the radius of the gesture, in one way or another. hand joint, from 5 mm. The number of sensors fixing the change in the radius of movement in the joints of the phalanges is due to the use of a simplified kinematic model of the hand, which includes 22 degrees of freedom. Information from these sensors is fed to the software that generates virtual reality for the correct display of the movement of the virtual brush. Three types of devices are integrated into the glove worn on the hand of the rehabilitated by means of which a sensory effect on the palmar surface of the user's hand is carried out to provide ectoceptive, proprioceptive and complex sensitivity, providing sensory sensations of contact with virtual objects, which are maximally identical to the sensations arising from contact with physical objects. Tactile sensory sensations are achieved due to the location of electromechanical devices in the projection of each of the three phalanges of all fingers, in the amount of 15. These electromechanical devices function and create sensations of touching the skin surface of the palmar surface when they are turned on, due to the moving part of the device, which is the result of electromechanical conversion. This device is activated as a result of aligning the coordinates of the virtual object and the coordinates of the user's hand, calculated through the operation of the software based on the kinematic model of the hand. These electromechanical devices are activated according to the shape of the virtual object. To create tactile sensations, this sensor provides an effect of touching the identical pressure exerted by a monofilament weighing 50 g, duration 2.24 s, to prevent sensitization, duration 0.5-0.8 s. These sensors turn on and off during the entire time of contact with the virtual object. Proprioceptive sensations, namely the sense of the mass of the object and the sense of vibration, are realized through the action of vibrational devices. These devices are housed in the same number and arrangement as the electromechanical devices described above. These devices operate coherently with a frequency of 8 to 300 Hz with a 5% change step, correlating with the compression intensity of the object, which is necessary to move virtual objects with different conventional masses. The duration of these devices switching on is up to 2 seconds, with a break of 1 second, to reduce the severity of sensitization of receptors that provide vibration sensitivity. Combinations of tactile and vibration effects give the formation of complex forms of sensitivity, namely: the sensation of stereognosis, a three-dimensional sensation of the shape of a virtual object. The third type of device integrated into the glove is electric heaters in the projection of the distal or middle phalanges of the fingers, in a total of 5 elements. These heating elements are activated with a VR item marked hot. Heating elements increase the temperature up to 43 °, lasting 0.5-0.8 sec, with intervals between temperature increases of 2 sec, to prevent adaptation of temperature receptors TRPV1 (Receptor potential cation channel subfamily V member 1). A personal computer with installed software allows integrating information received from sensors and generates virtual reality controlled on the basis of the received information. The task of the functioning of this block includes the construction of a virtual environment, as well as virtual reality objects with which there is an interaction. The software also changes the illumination of the displayed virtual reality objects, with which the person being rehabilitated is interacting to realize the possibility of obtaining a visual evoked potential for a stimulus (which is a change in the illumination of objects).

Суть технического решения поясняется чертежами, где на фигуре 1 изображена ладонь,The essence of the technical solution is illustrated by drawings, where figure 1 shows a palm,

электромеханические элементы 1, вибрационные элементы 2, тензодатчики 3, нагревательные элементы 4, на фигуре 2 изображена тыльная часть ладони, тензодатчики 3, на фигуре 3 изображен процесс реабилитации с использованием устройства формирования общей чувствительности в виртуальной среде, очки виртуальной реальности 5, трекер 6, персональный компьютер 7, перчатка 8, устройство регистрации электроэнцефалограммы 9.electromechanical elements 1, vibration elements 2, strain gauges 3, heating elements 4, figure 2 shows the back of the hand, strain gauges 3, figure 3 shows the rehabilitation process using a device for forming general sensitivity in a virtual environment, virtual reality glasses 5, tracker 6, personal computer 7, glove 8, electroencephalogram recording device 9.

Устройство формирования общей чувствительности в виртуальной среде функционирует следующим образом. На пациента устанавливается электроэнцефалографические электроды 9 в проекции отведений С3, С4, О1, О2, согласно системе «10-20», референтный электрод располагается в отведении Cz (располагающийся в пересечении сагиттальной и фронтальной плоскостей в теменной области), заземляющий электрод располагается в точке М1 (область в проекции левого сосцевидного отростка). Также на пациента устанавливаются очки виртуальной реальности 5, посредством которых проводится демонстрация виртуального мира с объектами, взаимодействие с которыми лежат в основе реабилитации. Напротив пациента, сидящим за столом или находящимся в положении лежа устанавливается оптический трекер 6 движений осуществляемых в плечевом, локтевом и лучезапястных суставах. На руку пациента, с двигательными нарушениями надевается перчатка 8, оснащенной электромеханическими элементами 1, вибрационными элементами 2, тензодатчиками 3 и нагревательными элементами 4, посредством которой проводиться регистрация моторики кисти и осуществляться передача сенсорных ощущений. Пациенту дается инструкция при выполнении реабилитационного задания, например, взять расположенные перед ним виртуальные объекты, которые демонстрируются посредством установленным на его голове очков виртуальной реальности 5. Данные предметы соответствуют физическим предметам с разной жесткостью и весом. Среда виртуальной реальности при демонстрации данных объектов помимо их визуализации обеспечивает возможность изменения их освещенности с частотой 0,5 Гц. При выполнении намерения взять тот или иной предмет с различной плотностью или весом реабилитируемый сосредотачивает на нем свое внимание. При этом по данным электроэнцефалографии происходит регистрация вызванного потенциала, связанного с событием (в качестве которого выступает подсветка виртуального предмета действия). Электроэнцефалографический сигнал передается на персональный компьютер 7, где производиться сегментация 5 секундной записи с последующим ее усреднением и получение вызванного потенциала связанного с событием. Данный потенциал возникает при концентрации на виртуальном объекте, с которым планируется провести взаимодействие. Выбор виртуального объекта на основе регистрации вызванного потенциала связанного с событием являясь стимулом для начала визуализации движения если реабилитируется пациент с отсутствием движения в верхней конечности. В последующем по мере восстановления двигательной функции управляющий сигнал для визуализации получается за счет регистрации с помощью шестиканального электроэнйефалографа, проводящий регистрацию электрической активности головного мозга посредством электродов установленных согласно системе «10-20» в С3, С4. Референтный электрод располагается в отведении Cz (пересечение фронтальной и сагиттальной плоскостей в теменной области), заземляющий электрод располагается в точке М1. С активных электродов расположенных в С3 и С4 отведениях фиксируется десинхронизации сенсомоторного ритма (повышение амплитуды бетта-ритма (19-35 Гц) более чем на 30% от исходного значения и снижение амплитуды альфа-ритма (8-12 Гц), более чем на 30% от исходного уровня. Данные изменения регистрируются в отведениях С3 и С4, длительность данных изменений для начала реализации управления визуализации верхней конечности в виртуальной реальности должна быть не менее 5 секунд. На перчатке 8 установлены тензодатчики 3 в количестве 30, располагаемые с ладонной и тыльной поверхности кисти по 15 датчиков с каждой поверхности, обеспечивая регистрацию кинематики кисти основанной по 22 степеней свободы, регистрирующие изменении радиуса жеста, в том или ином суставе кисти, от 5 мм. Вторым типом датчиков располагаемых в проекции дистальной, средней и проксимальной фаланг каждого пальца являются электромеханические устройства 1, обеспечивающие тактильные чувствительные ощущения. Радом с данными электромеханическими устройствами 1 располагаются вибрационные элементы 2 и электронагревательные элементы 4 в таком же количестве что и электромеханические устройства 1 для формирования вибрационных и температурных ощущений. Процесс формирования ощущения плотности и температуры виртуального объекта происходит следующим образом (есть два варианта функционирования устройства: при отсутствии движений кисти и при наличии сохранных движений минимального объема).The device for the formation of general sensitivity in a virtual environment operates as follows. Electroencephalographic electrodes 9 are installed on the patient in the projection of leads C3, C4, O1, O2, according to the "10-20" system, the reference electrode is located in lead Cz (located at the intersection of the sagittal and frontal planes in the parietal region), the ground electrode is located at point M1 (area in the projection of the left mastoid process). Also, virtual reality glasses 5 are installed on the patient, through which a demonstration of the virtual world with objects is carried out, the interaction with which forms the basis of rehabilitation. Opposite the patient, sitting at the table or in the supine position, an optical tracker 6 of movements performed in the shoulder, elbow and wrist joints is installed. A glove 8 equipped with electromechanical elements 1, vibration elements 2, strain gauges 3 and heating elements 4 is put on the patient's hand with motor impairments, through which the hand motility is recorded and sensory sensations are transmitted. The patient is given instructions when performing a rehabilitation task, for example, to take virtual objects located in front of him, which are demonstrated by means of virtual reality glasses installed on his head 5. These objects correspond to physical objects with different rigidity and weight. When demonstrating these objects, the virtual reality environment, in addition to their visualization, provides the ability to change their illumination with a frequency of 0.5 Hz. When fulfilling the intention to take one or another object with different density or weight, the person being rehabilitated focuses his attention on it. In this case, according to the electroencephalography data, the evoked potential associated with the event is recorded (which is the illumination of the virtual object of action). The electroencephalographic signal is transmitted to the personal computer 7, where the 5-second recording is segmented with its subsequent averaging and the evoked potential associated with the event is obtained. This potential arises when concentrating on a virtual object with which it is planned to interact. The choice of a virtual object based on the registration of the evoked potential associated with the event is a stimulus for starting visualization of movement if a patient is being rehabilitated with no movement in the upper limb. Subsequently, as the motor function is restored, the control signal for visualization is obtained by registration using a six-channel electroenephalograph, which records the electrical activity of the brain by means of electrodes installed according to the "10-20" system in C3, C4. The reference electrode is located in the Cz lead (intersection of the frontal and sagittal planes in the parietal region), the ground electrode is located at the M1 point. Desynchronization of the sensorimotor rhythm is recorded from the active electrodes located in the C3 and C4 leads (an increase in the amplitude of the beta rhythm (19-35 Hz) by more than 30% of the initial value and a decrease in the amplitude of the alpha rhythm (8-12 Hz) by more than 30 % of the initial level. These changes are recorded in leads C3 and C4, the duration of these changes for the beginning of the implementation of visualization of the upper limb in virtual reality must be at least 5 seconds. Glove 8 is equipped with 3 strain gauges in the amount of 30, located on the palmar and dorsal surfaces hand with 15 sensors on each surface, providing registration of the kinematics of the hand based on 22 degrees of freedom, registering changes in the radius of the gesture, in one or another joint of the hand, from 5 mm.The second type of sensors located in the projection of the distal, middle and proximal phalanges of each finger are electromechanical devices 1 providing tactile sensations. Mechanical devices 1 include vibration elements 2 and electric heating elements 4 in the same number as electromechanical devices 1 for the formation of vibration and temperature sensations. The process of forming a sensation of density and temperature of a virtual object is as follows (there are two options for the functioning of the device: in the absence of hand movements and in the presence of preserved movements of the minimum volume).

1. При отсутствии движения в верхней конечности:1. In the absence of movement in the upper limb:

Реабилитируемый посредством очков виртуальной реальности 5 смотрит на объекты расположенные перед ним на виртуальном столе (данными объектами может выступать кружка с горячим чаем, стакан с водой, эластичный резиновый шар). Данные объекты меняют свою освещенность с частотой 0,3-0,5 Гц. В результате при сосредоточении реабилитируемого на виртуальном объекте, который он планирует взять по данным электроэнцефалографии, регистрируемой в отведениях О1 и О2 по системе «10-20» регистрируется зрительный вызванный потенциал связанный с событием (в качестве которой выступает подсветка). Длительность регистрации электроэнцефалограммы для получения данного вызванного потенциала составляет 5 секунд., он определяется в латентности от 150 до 300 мс от момента подачи сигнала. При получении вызванного потенциала, направляется управляющий сигнал в персональный компьютер 7 с предустановленной программой позволяющей визуализировать виртуальную среду и верхние конечности реабилитируемого.The person being rehabilitated by means of virtual reality glasses 5 looks at the objects located in front of him on the virtual table (these objects can be a mug with hot tea, a glass of water, an elastic rubber ball). These objects change their illumination with a frequency of 0.3-0.5 Hz. As a result, when the rehabilitated person concentrates on a virtual object, which he plans to take according to electroencephalography data recorded in leads O1 and O2 according to the "10-20" system, the visual evoked potential associated with the event (which is the backlight) is recorded. The duration of registration of an electroencephalogram for obtaining this evoked potential is 5 seconds, it is determined in a latency of 150 to 300 ms from the moment the signal is sent. Upon receipt of the evoked potential, a control signal is sent to a personal computer 7 with a preinstalled program that allows visualizing the virtual environment and the upper limbs of the person being rehabilitated.

2. При наличии минимальных движений управляющий сигнал формируется за счет регистрации изменения мощности сенсомоторного ритма в проекции сенсомоторной коры головного мозга, регистрируемого с помощью электродов С3 и С4, при этом управляющий сигнал регистрируется с противоположного полушария относительно пораженной конечности (т.е. при наличии пареза в левой кисти, управляющий сигнал регистрируется с С4, при реабилитации правой руки управляющий сигнал регистрируется с С3). Это связано с тем, что дистальные отделы верхней конечности преимущественно представлены двигательными центрами, расположенными в противоположном полушарии, а проксимальные в ипсилатеральном (т.е. той же стороны). Параметры данной десинхронизации следующие: повышение амплитуды бетта-ритма (19-35 Гц) более чем на 30% от исходного значения и снижение амплитуды альфа-ритма (8-12 Гц), более чем на 30% от исходного уровня. Оптический трекер 6 в данной ситуации отслеживает движение руки в плечевом, локтевом и лучезапястном суставах, для визуализации движения руки в проксимальных отделах и визуализации их до полного объема при такой необходимости, например при парезе верхней конечности. В дальнейшем реабилитация проводится по единому пути, с помощью идентичного устройства, а именно перчатки 8 с установленной на ее ладонной и тыльной поверхностях датчиках и устройств обеспечивающих сенсорное восприятие плотности и температуры предметов виртуальной реальности. В момент совершения движения сопровождающееся контактом с виртуальным объектом датчики контролирующие степень сгибания (с ладонной поверхности) и разгибания (с тыльной поверхности) кисти предназначены для тонкой оценки моторики кисти, с учетом кинематической модели основанной на 22 степенях свободы, описывающей все ее базовые движения. Таким образом активация данных датчиков позволяет получать управляющие сигналы для виртуальной модели руки, создавая наиболее правдоподобную визуализацию ее движений. При недостаточной силы для совершения полного объема движения, например схвата, программное обеспечение достраивает полный объем движения, визуализируемый реабилитируемому, таким образом несмотря на частичную, неполную двигательную активность реабилитируемого с помощью программного обеспечения производиться демонстрация полного, завершенного движения, соответствующего взаимодействию с тем или иным объектом виртуальной реальности. Ощущение жесткости предмета, необходимого для формирования необходимого сжатия предмета, кистью и взаимодействия с визуализируемыми предметами, соответствующих предметам с различной плотностью в физическом мире. При первичном контакте с объектом активизируются электромеханические устройства, расположенные в проекции каждой из трех фаланг всех пальцев. Данные электромеханические устройства функционируют создавая ощущения прикосновения к кожной поверхности ладонной поверхности при их включении, за счет подвижной части устройства, являющегося результатом электромеханического преобразования. Данное устройство активизируется в результате совмещения координат виртуального объекта и координат кисти пользователя, вычисляемых посредством функционирования программного обеспечения на основе кинематической модели руки. Данные электромеханические устройства активизируются в соответствии с формой виртуального объекта. Для создания тактильных ощущений данный датчик обеспечивают воздействие прикосновения идентичному давлению оказываемым монофиламентом весом 50 г, длительностью 2,24 с, для предотвращения сенсибилизации, длительностью 0,5-0,8 с. Данные датчики включаются и выключаются в течение всего времени контакта с виртуальным объектом. По мере дальнейшего контакта с предметом и попыткой его оторвать от виртуальной поверхности, где он находится (например, стола) необходимо формирование ощущение плотности предмета. Данные проприоцептивные ощущения плотности предмета контакта реализуются за счет воздействии вибрационных устройств. Данные устройства располагаются в том же количестве и расположении, что и электромеханические устройства, описанные выше. Данные устройства функционируют когерентно с частотой 8 до 300 Гц с шагом изменения 5%, коррелируя с интенсивностью сжатия предмета, необходимой для перемещения виртуальных объектов с различной условной массой. Длительность включения данных устройств до 2 сек, с перерывом в 1 сек., для уменьшения выраженности сенсорной сенсибилизации рецепторов, обеспечивающих вибрационную чувствительность. В случаях когда чувствительность у реабилитируемого снижена, но не полностью утрачена, интенсивность работы вибрационных устройств повышается, до формирования естественных физическим, ощущениями. Таким образом формируется нарушенная биологическая обратная связи проприоцептивного подтверждения взаимодействия с виртуальным объектом. Сочетания тактильного и вибрационного воздействия дает ощущения стереогноза, трехмерного ощущения формы виртуального объекта. При взаимодействии с виртуальным предметом имеющим также и условную более высокую температуру (например, чашка с горячим чаем), формируется ощущение температуры виртуального объекта, за счет интегрированных в перчатку нагревательных устройств в проекции дистальных или средних фаланг пальцев, в общем количестве 5 элементов. Данные электрические нагреватели активизируются с предметом виртуальной реальности, обозначенным как горячий. Данное устройство повышают температуру до 43°, длительностью 0,5-0,8 сек, с интервалами между повышением температуры 2 сек, для предупреждения адаптации температурных рецепторов TRPV1. При использовании данного устройства происходит восстановление двигательной функции верхней конечности, в частности кисти за счет восстановления сложных сенсорных ощущений или их формирование при сохранности сенсорной системы посредством активации рецепторов ладонной поверхности, уместных при взаимодействии с объектами виртуальной реальности различной плотности, температуры и массы. Данное устройство позволяет формировать сложные сенсорные ощущения, такие как стереогноз. За счет использования данного технического устройства достигается восстановление двигательной функции пораженной конечности, а именно кисти, за счет активации контралатерального полушария и нивелирования мальадаптивной нейропластичности, связанной с компенсацией движений за счет ипсилатерального полушария.2. In the presence of minimal movements, the control signal is formed by registering changes in the power of the sensorimotor rhythm in the projection of the sensorimotor cortex of the brain, recorded using electrodes C3 and C4, while the control signal is recorded from the opposite hemisphere relative to the affected limb (i.e., in the presence of paresis in the left hand, the control signal is recorded from C4; during the rehabilitation of the right hand, the control signal is recorded from C3). This is due to the fact that the distal parts of the upper limb are predominantly represented by motor centers located in the opposite hemisphere, and the proximal in the ipsilateral (i.e., the same side). The parameters of this desynchronization are as follows: an increase in the amplitude of the beta rhythm (19-35 Hz) by more than 30% from the initial value and a decrease in the amplitude of the alpha rhythm (8-12 Hz) by more than 30% from the initial level. In this situation, the optical tracker 6 monitors the movement of the hand in the shoulder, elbow and wrist joints, to visualize the movement of the hand in the proximal regions and visualize them to their full volume if necessary, for example, with paresis of the upper limb. In the future, rehabilitation is carried out along a single path, using an identical device, namely gloves 8 with sensors and devices installed on its palmar and back surfaces that provide sensory perception of the density and temperature of virtual reality objects. At the moment of the movement, the sensors controlling the degree of flexion (from the palmar surface) and extension (from the dorsum) of the hand, accompanied by contact with a virtual object, are designed to finely assess the motor skills of the hand, taking into account the kinematic model based on 22 degrees of freedom, describing all its basic movements. Thus, the activation of these sensors allows you to receive control signals for the virtual hand model, creating the most plausible visualization of its movements. If there is insufficient force to complete a full range of motion, for example, a gripper, the software completes the full range of motion visualized by the rehabilitated person, thus, despite the partial, incomplete motor activity of the rehabilitated person, using the software, a demonstration of a complete, completed movement corresponding to interaction with one or another object is performed. virtual reality. The feeling of the rigidity of the object, necessary for the formation of the necessary compression of the object, with a brush and interaction with visualized objects, corresponding to objects with different densities in the physical world. At the initial contact with the object, electromechanical devices are activated, located in the projection of each of the three phalanges of all fingers. These electromechanical devices function by creating a sensation of touch on the skin surface of the palmar surface when they are turned on, due to the moving part of the device, which is the result of an electromechanical conversion. This device is activated as a result of aligning the coordinates of the virtual object and the coordinates of the user's hand, calculated through the operation of the software based on the kinematic model of the hand. These electromechanical devices are activated according to the shape of the virtual object. To create tactile sensations, this sensor provides a touch effect equal to the pressure exerted by a monofilament weighing 50 g, duration 2.24 s, to prevent sensitization, duration 0.5-0.8 s. These sensors turn on and off during the entire time of contact with the virtual object. As further contact with the object and an attempt to tear it away from the virtual surface where it is located (for example, a table), it is necessary to form a feeling of the object's density. These proprioceptive sensations of the density of the object of contact are realized due to the influence of vibration devices. These devices are located in the same number and arrangement as the electromechanical devices described above. These devices operate coherently with a frequency of 8 to 300 Hz with a 5% change step, correlating with the compression intensity of the object, which is necessary to move virtual objects with different conventional masses. The duration of these devices switching on is up to 2 seconds, with a break of 1 second, to reduce the severity of sensory sensitization of receptors that provide vibration sensitivity. In cases where the sensitivity of the rehabilitated is reduced, but not completely lost, the intensity of the vibration devices increases, until the formation of natural physical sensations. Thus, a disturbed biological feedback of proprioceptive confirmation of interaction with a virtual object is formed. The combination of tactile and vibration effects gives the sensation of stereognosis, a three-dimensional sensation of the shape of a virtual object. When interacting with a virtual object that also has a conditionally higher temperature (for example, a cup of hot tea), a sensation of the temperature of the virtual object is formed, due to the heating devices integrated into the glove in the projection of the distal or middle phalanges of the fingers, a total of 5 elements. These electric heaters are activated with a virtual reality item indicated as hot. This device increases the temperature to 43 °, for a duration of 0.5-0.8 seconds, with intervals between temperature increases of 2 seconds, to prevent adaptation of the TRPV1 temperature receptors. When using this device, the motor function of the upper limb, in particular the hand, is restored by restoring complex sensory sensations or their formation while maintaining the sensory system by activating the receptors of the palmar surface, which are relevant when interacting with virtual reality objects of different density, temperature and mass. This device allows the formation of complex sensory sensations such as stereognosis. Due to the use of this technical device, the restoration of the motor function of the affected limb, namely the hand, is achieved due to the activation of the contralateral hemisphere and the leveling of maladaptive neuroplasticity associated with compensation of movements due to the ipsilateral hemisphere.

Клинический пример 1. Пациент К., 56 года. Поступил в неврологическое отделение для больных острым нарушением мозгового кровообращения 20.08.2019 г. с диагнозом «Острое нарушение мозгового кровообращения - ишемический инсульт в бассейне левой средней мозговой артерии от 20.08.2019 г.». На момент поступления в неврологическом статусе у пациента выраженные двигательные нарушения в виде центрального пареза правых конечностей до 2 баллов, преимущественно в дистальных отделах верхней конечности (до 0 баллов). Чувствительных нарушений у пациента не наблюдалось. Пациенту проводилась медикаментозная терапия согласно федеральному стандарту оказания медицинской помощь пациентам с острым нарушением мозгового кровообращения. С третьего дня после возникновения инсульта пациенту начали проводиться реабилитационные мероприятия. К данному времени пациент с посторонней помощью мог сидеть в течение 30 минут. Анкетирование пациента на данный момент по шкале двигательной активности (шкала Фугл-Майер для верхней конечности) составляла 15 баллов. Самообслуживание пациента имело выраженные нарушения. С пятого дня от момента возникновения инсульта пациенту также начата двигательная реабилитация верхних конечностей с использование эксплицитного взаимодействия с бытовыми объектами в виртуальной реальности. Занятия происходили в кабинете реабилитации, куда пациент доставлялся с помощью инвалидного кресла. Пациент продолжал находиться в кресле в течение всей процедуры реабилитации. На голову пациенту надевался электроэнцефалографический шлем с 6 датчиками, располагаемыми в проекции сенсомоторной коры. Также, надевались очки виртуальной реальности, на руки, а именно кисти, надевались перчатки с установленными на них устройств обеспечивающих вибрацию, тактильное воздействие и давление, подтверждающие взаимодействие с виртуальным объектом. Затем производился запуск программы, демонстрирующей пациенту обеденный стол с расположенными на нем столовыми приборами и пищевыми продуктами (фруктами) имеющими круглую или овальную форму. Пациент взаимодействовал с объектами виртуальной реальности с помощью базовых движений кисти (цилиндрический и шарообразный схват, а также движения отдельных пальцев).Clinical example 1. Patient K., 56 years old. He was admitted to the neurological department for patients with acute cerebrovascular accident on 08/20/2019 with a diagnosis of "Acute cerebral circulatory disorder - ischemic stroke in the basin of the left middle cerebral artery from 08/20/2019." At the time of admission, the patient was in neurological status with severe movement disorders in the form of central paresis of the right extremities up to 2 points, mainly in the distal parts of the upper limb (up to 0 points). No sensory disturbances were observed in the patient. The patient underwent drug therapy in accordance with the federal standard for the provision of medical care to patients with acute cerebrovascular accident. From the third day after the onset of the stroke, the patient began to undergo rehabilitation measures. By this time, the patient with outside help could sit for 30 minutes. The patient's questionnaire survey at the moment on the scale of motor activity (Fugle-Mayer scale for the upper limb) was 15 points. The patient's self-care had severe impairments. From the fifth day after the onset of the stroke, the patient also began motor rehabilitation of the upper limbs using explicit interaction with household objects in virtual reality. Classes took place in the rehabilitation room, where the patient was transported using a wheelchair. The patient continued to be in the chair during the entire rehabilitation procedure. An electroencephalographic helmet with 6 sensors located in the projection of the sensorimotor cortex was put on the patient's head. Also, virtual reality glasses were put on, on the hands, namely, on the hands, gloves were put on with devices installed on them that provide vibration, tactile impact and pressure, confirming the interaction with a virtual object. Then a program was launched showing the patient a dining table with cutlery and food products (fruits) in a round or oval shape. The patient interacted with virtual reality objects using basic hand movements (cylindrical and ball-shaped grips, as well as movements of individual fingers).

При этом каждый контакт кисти виртуального аватара с предметами расположенными на столе был сопряжен с виброоткликом и активацией электромеханических устройств от устройств, расположенных на кисти пациента, интенсивность которых менялась в зависимости от вида предмета, предполагаемой массы и жесткости виртуальных предметов, соответствующих идентичным предметам физического мира.Moreover, each contact of the virtual avatar's hand with objects located on the table was associated with a vibration response and activation of electromechanical devices from devices located on the patient's hand, the intensity of which varied depending on the type of object, the assumed mass and rigidity of virtual objects corresponding to identical objects in the physical world.

По данным получаемым с электроэнцефалографических датчиков проводился контроль инициации и объем двигательной активности, кисти, что позволяло визуализировать ее движение при поступлении сигналов с контралатеральной коры сенсомоторной коры головного мозга и ограничивать визуализацию и вибрационное взаимодействие, если активность преимущественно была в ипсилатеральной коре головного мозга. Длительность реабилитации занимала от 20 минут в начале курса, до 50 минут по его окончании. В общей сложности с пациентом было проведено 11 занятий, проходивших ежедневно. К концу реабилитации с использованием данного устройства пациент смог совершать большинство движений в проксимальных отделах конечностей, появились движения в дистальных отделах конечности по типу цилиндрического схвата. При этом активность пациента значительно возросла, он стал независимым при передвижении, смог пользоваться ортопедическими столовыми приборами. Таким образом, у пациента к концу проведенных занятий на данном комплексе восстановилось большинство двигательных навыков, необходимых для восстановления локомоторной функции верхней конечности, при этом балл по шкале Фугл-Майер составил 40 баллов (по разделу движение).According to the data obtained from the electroencephalographic sensors, the initiation and the volume of motor activity of the hand were monitored, which made it possible to visualize its movement upon receipt of signals from the contralateral cortex of the sensorimotor cortex of the brain and to limit visualization and vibrational interaction if the activity was predominantly in the ipsilateral cerebral cortex. The duration of rehabilitation took from 20 minutes at the beginning of the course, up to 50 minutes after its completion. A total of 11 sessions were conducted with the patient every day. By the end of rehabilitation with the use of this device, the patient was able to perform most of the movements in the proximal parts of the limbs, movements appeared in the distal parts of the limb like a cylindrical grip. At the same time, the patient's activity increased significantly, he became independent when moving, he was able to use orthopedic cutlery. Thus, by the end of the training sessions on this complex, the patient recovered most of the motor skills necessary to restore the locomotor function of the upper limb, while the Fugle-Mayer score was 40 points (for the movement section).

Клинический пример 2. Пациентка С., 63 года. Поступила в неврологическое отделение для больных острым нарушением мозгового кровообращения 15.07.2019 г. с диагнозом «Острое нарушение мозгового кровообращения - ишемический инсульт в бассейне правой средней мозговой артерии от 15.07.2019 г.». На момент поступления в неврологическом статусе у пациента выраженные двигательные нарушения в виде центрального пареза левых конечностей до 0 баллов. Чувствительные нарушения в виде правосторонней тактильной гемигипестезии. Пациентке проводилась медикаментозная терапия согласно федеральному стандарту оказания медицинской помощь пациентам с острым нарушением мозгового кровообращения. С четвертого дня после возникновения инсульта пациентке начали проводиться реабилитационные мероприятия. К данному времени пациентка с посторонней помощью мог сидеть в течение 40 минут. Анкетирование пациента на данный момент по шкале двигательной активности (шкала Фугл-Майер для верхней конечности) составляла 4 балла по разделу “A-D” баллов, по разделу чувствительность составляла 6 баллов. Пациентка не могла пользоваться левой рукой при выполнении бимануальных движений. Занятия происходили в кабинете реабилитации, куда пациент доставлялся с помощью инвалидного кресла в сопровождении ухаживающего персонала. Реабилитационные занятия происходили в положении сидя. На голову пациенту надевался электроэнцефалографический шлем с 6 датчиками, располагаемыми в проекции сенсомоторной коры. Также, надевались очки виртуальной реальности, на руки, а именно кисти, надевались перчатки с установленными на них устройствами обеспечивающих общую чувствительность при взаимодействии с виртуальными объектами. Затем производился запуск программы, демонстрирующей пациентке обеденный стол с расположенными на нем столовыми приборами и пищевыми продуктами (фруктами) имеющими круглую или овальную форму. Пациентке давалась инструкция взять тот или оной фрукт с помощью целиндрического или шарового схвата левой рукой.Clinical example 2. Patient S., 63 years old. She was admitted to the neurological department for patients with acute cerebrovascular accident on 15.07.2019 with a diagnosis of "Acute cerebrovascular accident - ischemic stroke in the basin of the right middle cerebral artery from 15.07.2019." At the time of admission, the patient was in neurological status with severe motor impairments in the form of central paresis of the left extremities up to 0 points. Sensory disturbances in the form of right-sided tactile hemihypesthesia. The patient underwent drug therapy in accordance with the federal standard for the provision of medical care to patients with acute cerebrovascular accident. From the fourth day after the onset of the stroke, the patient began to undergo rehabilitation measures. By this time, the patient with outside help could sit for 40 minutes. Questioning the patient at the moment on the scale of motor activity (Fugle-Mayer scale for the upper limb) was 4 points in the section “A-D” points, in the section the sensitivity was 6 points. The patient was unable to use her left hand when performing bimanual movements. Classes took place in the rehabilitation room, where the patient was transported using a wheelchair, accompanied by caring staff. The rehabilitation sessions took place in a sitting position. An electroencephalographic helmet with 6 sensors located in the projection of the sensorimotor cortex was put on the patient's head. Also, virtual reality glasses were put on, hands, namely, hands, gloves were put on with devices installed on them that provide general sensitivity when interacting with virtual objects. Then a program was launched showing the patient a dining table with cutlery and food products (fruits) in a round or oval shape. The patient was instructed to take one or the same fruit with the help of a cell or ball gripper with her left hand.

Демонстрируемые предметы многократно подсвечивались 3 раза в секунду с течении 5 секунд. По данным ЭЭГ, регистрируемым в данный момент после обработки, получался потенциал связанный с событием в ответ на зрительную стимуляцию. Данный сигнал использовался для управления визуализацией движения. При этом пациентке визуализировалось движения схвата левой рукой фрукта на котором она сосредотачивала внимание. В момент контакта с виртуальным фруктом происходила активации устройств обеспечивающих общую чувствительность, расположенных на ладонной поверхности кисти. Длительность реабилитации занимала от 15 минут в начале курса, до 50 минут по его окончании. В общей сложности с пациентом было проведено 12 занятий, проходивших ежедневно. К концу реабилитации с использованием данного устройства пациентка смогла совершать большинство движений в проксимальных отделах конечностей, появились движения в дистальных отделах конечности по типу шарового схвата. Балл по шкале Фугл-Майер составил 21 баллов (по разделу “A-D”) для верхней конечности, по разделу чувствительность 24 балла.The displayed objects were repeatedly highlighted 3 times per second for 5 seconds. According to the EEG data recorded at the moment after processing, the potential associated with the event in response to visual stimulation was obtained. This signal was used to control the visualization of motion. In this case, the patient was visualized the movements of her left hand grasping a fruit on which she was focusing her attention. At the moment of contact with the virtual fruit, the devices that provide general sensitivity, located on the palmar surface of the hand, were activated. The duration of rehabilitation took from 15 minutes at the beginning of the course, up to 50 minutes after its completion. A total of 12 sessions were conducted with the patient daily. By the end of the rehabilitation with the use of this device, the patient was able to perform most of the movements in the proximal parts of the limbs, movements in the distal parts of the limb appeared in the form of a ball grip. The Fugle-Mayer score was 21 points (in the “A-D” section) for the upper limb, and in the sensitivity section was 24 points.

Claims (1)

Устройство формирования общей чувствительности в виртуальной среде состоит из блока управления, коммуникаций, связанных с указанным устройством, и осуществляющего коммуникацию с управляющим программным обеспечением компьютера или смартфона, очков виртуальной реальности и перчатки, оснащенной вибрационными, нагревательными и электромеханическими элементами, используемыми для стимуляции рецепторов и имитации контактных экстероцептивных ощущений, отличающееся тем, что элементы расположены в проекции каждой из трех фаланг всех пальцев, причем электромеханические вибрационные элементы функционируют когерентно с частотой от 8 до 300 Гц с шагом изменения 5%, коррелируя с интенсивностью сжатия предмета, необходимой для перемещения виртуальных объектов с различной условной массой, а тензодатчики, располагаемые по пятнадцать на ладонной и тыльной поверхности кисти в проекции суставов фаланг кисти и лучезапястного сустава, обеспечивают регистрацию кинематики кисти, основанной на 22 степенях свободы, и регистрируют изменения радиуса жеста в том или ином суставе кисти от 5 мм, кроме того, содержит устройство регистрации электроэнцефалограммы, обеспечивающее регистрацию изменения мощности и длительность частот электроэнцефалограммы в сенсомоторной области, и оптический трекер, обеспечивающий сопоставление расположения верхней конечности в физическом мире и в виртуальной реальности и обеспечивающий оценку движения верхней конечности в плечевом, локтевом и лучезапястном суставах.The device for the formation of general sensitivity in a virtual environment consists of a control unit, communications associated with the specified device, and communicating with the control software of a computer or smartphone, virtual reality glasses and a glove equipped with vibration, heating and electromechanical elements used to stimulate receptors and simulate contact exteroceptive sensations, characterized in that the elements are located in the projection of each of the three phalanges of all fingers, and the electromechanical vibrational elements function coherently with a frequency from 8 to 300 Hz with a 5% change step, correlating with the intensity of the object compression required to move virtual objects with different conditional masses, and strain gauges, located fifteen on the palmar and dorsal surfaces of the hand in the projection of the joints of the phalanges of the hand and the wrist joint, provide registration of hand kinematics based on 22 degrees of freedom and register changes in the radius of the gesture in one or another joint of the hand from 5 mm, in addition, it contains an electroencephalogram recording device that records changes in the power and duration of the electroencephalogram frequencies in the sensorimotor area, and an optical tracker that compares the location of the upper limb in the physical world and in virtual reality and providing an assessment of the movement of the upper limb in the shoulder, elbow and wrist joints.
RU2021130144A 2021-10-15 2021-10-15 Device for forming general sensitivity in a virtual environment RU2762857C1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2021130144A RU2762857C1 (en) 2021-10-15 2021-10-15 Device for forming general sensitivity in a virtual environment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2021130144A RU2762857C1 (en) 2021-10-15 2021-10-15 Device for forming general sensitivity in a virtual environment

Publications (1)

Publication Number Publication Date
RU2762857C1 true RU2762857C1 (en) 2021-12-23

Family

ID=80039142

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2021130144A RU2762857C1 (en) 2021-10-15 2021-10-15 Device for forming general sensitivity in a virtual environment

Country Status (1)

Country Link
RU (1) RU2762857C1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2800701C1 (en) * 2022-09-28 2023-07-26 Роман Павлович Бондаренко Computing device and system for remote control of at least one sex toy through electroentephalographic (eeg) signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139666A1 (en) * 2013-07-05 2016-05-19 Axon VR LLC Whole-body human-computer interface
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
US20170123487A1 (en) * 2015-10-30 2017-05-04 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
RU2017126891A (en) * 2017-07-26 2019-01-28 Фёдор Валентинович Беломоев DEVICE AND METHOD OF SIMULATION AND TRANSFER OF CONTACT EXTEROCEPTIVE FEELINGS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160139666A1 (en) * 2013-07-05 2016-05-19 Axon VR LLC Whole-body human-computer interface
US20160274662A1 (en) * 2015-03-20 2016-09-22 Sony Computer Entertainment Inc. Dynamic gloves to convey sense of touch and movement for virtual objects in hmd rendered environments
US20170123487A1 (en) * 2015-10-30 2017-05-04 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
RU2017126891A (en) * 2017-07-26 2019-01-28 Фёдор Валентинович Беломоев DEVICE AND METHOD OF SIMULATION AND TRANSFER OF CONTACT EXTEROCEPTIVE FEELINGS

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2800701C1 (en) * 2022-09-28 2023-07-26 Роман Павлович Бондаренко Computing device and system for remote control of at least one sex toy through electroentephalographic (eeg) signals

Similar Documents

Publication Publication Date Title
Khan et al. Review on motor imagery based BCI systems for upper limb post-stroke neurorehabilitation: From designing to application
Hobbs et al. A review of robot-assisted lower-limb stroke therapy: unexplored paths and future directions in gait rehabilitation
Gassert et al. Rehabilitation robots for the treatment of sensorimotor deficits: a neurophysiological perspective
Riener et al. Human-centered robotics applied to gait training and assessment.
Haghshenas-Jaryani et al. A pilot study on the design and validation of a hybrid exoskeleton robotic device for hand rehabilitation
Colombo et al. Robotic techniques for upper limb evaluation and rehabilitation of stroke patients
RU2655200C1 (en) Method of rehabilitation of patients in different stages of central or peripheral nervous system disorders using virtual reality
Riener Rehabilitation robotics
De Keersmaecker et al. The effect of optic flow speed on active participation during robot-assisted treadmill walking in healthy adults
Amin et al. Maximizing stroke recovery with advanced technologies: A comprehensive review of robot-assisted, EMG-Controlled robotics, virtual reality, and mirror therapy interventions
Luster et al. Vibrotactile cueing using wearable computers for overcoming learned non-use in chronic stroke
Molinari et al. Rehabilitation technologies application in stroke and traumatic brain injury patients
RU2762857C1 (en) Device for forming general sensitivity in a virtual environment
Chernikova et al. Robotic and mechanotherapeutic technology to restore the functions of the upper limbs: Prospects for development
Zhang A novel robotic platform to assist, train, and study head-neck movement
Klochkov et al. Modern technologies of functional stimulation in central paresis
Hasegawa et al. Pseudo-proprioceptive motion feedback by electric stimulation
Kiguchi et al. Simultaneous control of tonic vibration reflex and kinesthetic illusion for elbow joint motion toward novel robotic rehabilitation
Goodworth et al. Physical Therapy and Rehabilitation
Wagner Haptic and exoskeleton devices for neurorehabilitation of upper limb paralysis: a state of art and a night landing task
RU2632510C1 (en) Method for treatment of pathological motor synergies of upper limbs in patients after cerebrovascular disturbance
Jeyakumar et al. Virtual Reality-Based Rehabilitation Gaming System
Nataraj et al. Cognitive and physiological intent for the adaptation of motor prostheses
RU2786989C1 (en) Method for training and quantifying finger motility and the functional state of the brain for controlling the coordinated movement of the fingers and a device for its implementation
Cappello et al. Noninvasive augmented sensory feedback in poststroke hand rehabilitation approaches