RU2814513C1 - Methods for diagnosing parkinson's disease based on multimodal data analysis using machine learning (versions) - Google Patents
Methods for diagnosing parkinson's disease based on multimodal data analysis using machine learning (versions) Download PDFInfo
- Publication number
- RU2814513C1 RU2814513C1 RU2022129734A RU2022129734A RU2814513C1 RU 2814513 C1 RU2814513 C1 RU 2814513C1 RU 2022129734 A RU2022129734 A RU 2022129734A RU 2022129734 A RU2022129734 A RU 2022129734A RU 2814513 C1 RU2814513 C1 RU 2814513C1
- Authority
- RU
- Russia
- Prior art keywords
- patient
- disease
- data
- video data
- features
- Prior art date
Links
- 208000018737 Parkinson disease Diseases 0.000 title claims abstract description 50
- 238000010801 machine learning Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims description 58
- 238000007405 data analysis Methods 0.000 title description 3
- 208000012902 Nervous system disease Diseases 0.000 claims abstract description 53
- 208000025966 Neurological disease Diseases 0.000 claims abstract description 53
- 239000013598 vector Substances 0.000 claims abstract description 37
- 230000037023 motor activity Effects 0.000 claims abstract description 25
- 206010067889 Dementia with Lewy bodies Diseases 0.000 claims abstract description 14
- 208000009829 Lewy Body Disease Diseases 0.000 claims abstract description 14
- 201000006517 essential tremor Diseases 0.000 claims abstract description 14
- 230000001133 acceleration Effects 0.000 claims abstract description 8
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 6
- 201000010099 disease Diseases 0.000 claims abstract 3
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 7
- 238000007637 random forest analysis Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000009499 grossing Methods 0.000 claims 2
- 238000004891 communication Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 239000003814 drug Substances 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000033001 locomotion Effects 0.000 description 22
- 238000012545 processing Methods 0.000 description 10
- 208000012661 Dyskinesia Diseases 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 5
- 208000024891 symptom Diseases 0.000 description 5
- WTDRDQBEARUVNC-LURJTMIESA-N L-DOPA Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C(O)=C1 WTDRDQBEARUVNC-LURJTMIESA-N 0.000 description 4
- WTDRDQBEARUVNC-UHFFFAOYSA-N L-Dopa Natural products OC(=O)C(N)CC1=CC=C(O)C(O)=C1 WTDRDQBEARUVNC-UHFFFAOYSA-N 0.000 description 4
- 208000027089 Parkinsonian disease Diseases 0.000 description 4
- 206010034010 Parkinsonism Diseases 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 229960004502 levodopa Drugs 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 208000035475 disorder Diseases 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 206010006100 Bradykinesia Diseases 0.000 description 2
- 208000006083 Hypokinesia Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000000556 factor analysis Methods 0.000 description 2
- 201000006417 multiple sclerosis Diseases 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 208000016285 Movement disease Diseases 0.000 description 1
- 208000002740 Muscle Rigidity Diseases 0.000 description 1
- 241001025261 Neoraja caerulea Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000001802 infusion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Abstract
Description
ОБЛАСТЬ ТЕХНИКИTECHNICAL FIELD
Изобретение относится к области информационных и коммуникационных технологий (ИКТ), специально предназначенных для медицинской диагностики, в частности для диагностики болезни Паркинсона (БП), стадий болезни Паркинсона, а также для того, чтобы отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, болезнью диффузных телец Леви и др., на основе анализа мультимодальных данных пациентов с применением методов машинного обучения.The invention relates to the field of information and communication technologies (ICT), specifically intended for medical diagnostics, in particular for the diagnosis of Parkinson's disease (PD), stages of Parkinson's disease, as well as to distinguish healthy patients from patients with Parkinson's disease and patients with the disease Parkinson's from patients with essential tremor, diffuse Lewy body disease, etc., based on the analysis of multimodal patient data using machine learning methods.
Представленное решение может быть использовано, по меньшей мере, в медицинских учреждениях (общего и специального назначения), исследовательских научных центрах, в телемедицине, а также непосредственно пациентами с неврологическими заболеваниями.The presented solution can be used at least in medical institutions (general and special purpose), research centers, telemedicine, and also directly by patients with neurological diseases.
УРОВЕНЬ ТЕХНИКИBACKGROUND OF THE ART
Болезнь Паркинсона (БП) является на сегодняшний день самым быстрорастущим нейродегенеративным заболеванием. Это снижает качество жизни пациентов, особенно если не поставить правильный и своевременный диагноз.Parkinson's disease (PD) is currently the fastest growing neurodegenerative disease. This reduces the quality of life of patients, especially if a correct and timely diagnosis is not made.
В настоящее время для улучшения качества диагностики БП используют носимые датчики – акселерометры (трехосевой акселерометр) , инерциальные датчики (гироскоп) и электромиографические датчики (однопроводной (2 электрода) аналоговый датчик напряжения), при помощи которых с использованием методов машинного обучения осуществляют оценку величины тремора, замедленности движений, дискинезии, брадикинезии, застываний, параметров ходьбы, определение фактов падения пациентов и периодов включения/выключения. Камеры при этом не используются. Данные с сенсоров собирают с помощью приложения для смартфона, а веб-сервис позволяет докторам дистанционно получать собранную информацию [1].Currently, to improve the quality of diagnosis of PD, wearable sensors are used - accelerometers (three-axis accelerometer), inertial sensors (gyroscope) and electromyographic sensors (single-wire (2 electrodes) analog voltage sensor), with the help of which, using machine learning methods, the magnitude of tremor is assessed, slowness of movements, dyskinesia, bradykinesia, freezing, walking parameters, determination of the facts of patient falls and on/off periods. Cameras are not used. Data from the sensors is collected using a smartphone application, and a web service allows doctors to remotely receive the collected information [1].
Из [2] известен метод классификации пациентов с БП и здоровых пациентов при помощи оптического датчика и носимых датчиков (акселерометра, гироскопа), в котором классификация выполняется по результатам выполнения участниками эксперимента набора упражнений. При этом видео камера и анализ видеоданных не применяется.From [2], a method is known for classifying patients with PD and healthy patients using an optical sensor and wearable sensors (accelerometer, gyroscope), in which classification is performed based on the results of the experiment participants completing a set of exercises. In this case, a video camera and video data analysis are not used.
Из [3] известен метод по анализу признаков двигательной активности для пациентов с БП и пациентов с дискенизией, вызванной препаратом леводопа (ДПЛ) по видео данным. Девять участников с БП и ДПЛ выполнили протокол инфузии леводопы, в котором симптомы оценивались через регулярные промежутки времени с использованием унифицированной шкалы оценки дискинезии (UDysRS) и унифицированной шкалы оценки болезни Паркинсона (UPDRS). Траектории движения отдельных суставов были извлечены из видеозаписей оценки частичных разрядов с помощью сверточных поз-машин, алгоритма оценки позы, созданного с помощью глубокого обучения. Характеристики траекторий движения (например, кинематика, частота) использовались для обучения случайных лесов обнаружению и оценке степени тяжести паркинсонизма и ДПЛ. Для оценки ДПЛ использовались задания на общение и питье, а для оценки паркинсонизма - задания на ловкость ног и постукивание пальцами ног. Наборы функций из заданий также были объединены для прогнозирования общих баллов по UDysRS и UPDRS.From [3], a method is known for analyzing signs of motor activity for patients with PD and patients with levodopa-induced dyskinesia (LDP) using video data. Nine participants with PD and DPL completed a levodopa infusion protocol in which symptoms were assessed at regular intervals using the Unified Dyskinesia Rating Scale (UDysRS) and the Unified Parkinson's Disease Rating Scale (UPDRS). Individual joint motion trajectories were extracted from videos of PD estimation using Convolutional Pose Machines, a pose estimation algorithm built using deep learning. Characteristics of motion trajectories (e.g., kinematics, frequency) were used to train random forests to detect and assess the severity of parkinsonism and DPL. Communication and drinking tasks were used to assess DLP, and foot dexterity and toe tapping tasks were used to assess parkinsonism. Feature sets from items were also combined to predict total scores on the UDysRS and UPDRS.
В [4] описан метод автоматической сегментации подзадач «Встань и иди» для пациентов с БП с использованием классификации активности на основе видео. Предложенный метод апробирован в исследовании с участием 24 пациентов с БП. Видео, используемые в этой статье, записаны в полууправляемой среде с различным фоном. Для извлечения признаков двигательной активности используются технологии двумерной оценки позы человека на основе глубокого обучения. Затем для классификации действий и сегментации подзадач используются машина опорных векторов и сеть с долговременной краткосрочной памятью. Метод может использоваться для автоматического получения клинических параметров для оценки БП с использованием только видео упражнений «Встань и иди», что дает возможность удаленного мониторинга состояния пациентов.[4] describes a method for automatically segmenting Get Up and Walk subtasks for PD patients using video-based activity classification. The proposed method was tested in a study involving 24 patients with PD. The videos used in this article were recorded in a semi-supervised environment with varying backgrounds. To extract features of motor activity, two-dimensional human pose estimation technologies based on deep learning are used. A support vector machine and a long short-term memory network are then used to classify actions and segment subtasks. The method can be used to automatically obtain clinical parameters for the assessment of PD using only videos of Get Up and Walk exercises, allowing for remote monitoring of patients.
В международной заявке WO2012101093A2, дата публикации 02.08.2012 раскрыта система захвата и оценки данных движения пациента, имеющего неврологическое состояние, выбранное из болезни Паркинсона, множественного склероза или болезни Альцгеймера. Система содержит базу данных для выбора движения пациента, подходящего к его состоянию, визуальное отображение или аудиокоманду, чтобы подсказать пациенту выполнить выбранное движение, множество камер захвата изображения движения пациента, средство обработки для захвата набора данных изображений, причем множество камер и средство обработки допускают обнаружение смещения на 0,5 мм, аналитическое программное обеспечение для анализа по меньшей мере одного набора данных и выдачи набора значений, ассоциированных с упомянутым пациентом. Использование изобретения позволяет повысить точность определения тонкой моторной активности и/или ее нарушений. В международной заявке WO2016040207A1, дата публикации 17.03.2016, раскрыто техническое решение, которое описывает обработку видео для анализа двигательной задачи. Дескрипторы движения, такие как оптический поток, вычисляются из пар кадров видео, и вводятся в систему машинного обучения. Различные примеры видео, на которых человек выполняет двигательную задачу, например, кладет указательный палец на нос, вводятся в обученную систему машинного обучения, чтобы классифицировать двигательную задачу в один из множества классов. Результаты проведенного анализа двигательной задачи используют для оценки неврологических состояний, таких как рассеянный склероз и/или болезнь Паркинсона. При этом в данных решениях не применяются носимые датчики (акселерометр, гироскоп и магнитометр) и анализ данных с датчиков для оценки моторной активности и/или ее нарушений.International application WO2012101093A2, publication date 08/02/2012, discloses a system for capturing and evaluating motion data of a patient having a neurological condition selected from Parkinson's disease, multiple sclerosis or Alzheimer's disease. The system comprises a database for selecting a patient movement appropriate to the patient's condition, a visual display or audio command to prompt the patient to perform the selected movement, a plurality of cameras for capturing an image of the patient's movement, processing means for capturing a set of image data, the plurality of cameras and the processing means being capable of detecting displacement at 0.5 mm, analytical software for analyzing at least one set of data and outputting a set of values associated with said patient. The use of the invention makes it possible to increase the accuracy of determining fine motor activity and/or its disorders. International application WO2016040207A1, publication date 03/17/2016, discloses a technical solution that describes video processing for analyzing a motor task. Motion descriptors, such as optical flow, are computed from pairs of video frames and fed into a machine learning system. Various examples of videos of a person performing a motor task, such as placing their index finger on their nose, are fed into a trained machine learning system to classify the motor task into one of many classes. The results of the motor task analysis are used to evaluate neurological conditions such as multiple sclerosis and/or Parkinson's disease. However, these solutions do not use wearable sensors (accelerometer, gyroscope and magnetometer) and analysis of sensor data to assess motor activity and/or its disorders.
В патентных документах US20100030119A1, дата публикации 04.02.2010; US20110092860A1, дата публикации 21.04.2011; CN104522949B, дата публикации 06.01.2016; CN105426696A, дата публикации 23.03.2016; CN205318387U, дата публикации 15.06.2016; AU2020102947A4, дата публикации 28.01.2021; WO2021048514A1, дата публикации 18.03.2021; CN109480858B, дата публикации 22.02.2022; US2022165413A1, дата публикации 26.05.2022; EP4030993A1, дата публикации 27.07.2022, для оценки моторной активности применяют данные, полученные с помощью акселерометра, гироскопа и магнитометра. При этом в данных решениях для оценки моторной активности не применяются видеоданные, содержащие двигательную активность пациента.In patent documents US20100030119A1, publication date 02/04/2010; US20110092860A1, publication date 04/21/2011; CN104522949B, publication date 01/06/2016; CN105426696A, publication date 03/23/2016; CN205318387U, publication date 06/15/2016; AU2020102947A4, publication date 01/28/2021; WO2021048514A1, publication date 03/18/2021; CN109480858B, publication date 02.22.2022; US2022165413A1, publication date 05/26/2022; EP4030993A1, publication date 07/27/2022, data obtained using an accelerometer, gyroscope and magnetometer are used to assess motor activity. However, these solutions do not use video data containing the patient’s motor activity to assess motor activity.
В патентной заявке EP3068301A1, дата публикации 21.09.2016, раскрыто техническое решение, в котором описывается система, которая включает устройство захвата изображения, по меньшей мере один внешний датчик движения тела и центральный процессор (ЦП) с подключенным к нему запоминающим устройством для хранения инструкций, которые при выполнении ЦП заставляют ЦП получать первый набор данных о движении от устройства захвата изображения, относящихся к по меньшей мере одному суставу субъекта во время выполнения задачи, и получать второй набор данных о движении от акселерометра, относящихся к по меньшей мере одному суставу субъекта во время выполнения задачи. Внешний датчик движения тела представляет собой акселерометр и/или гироскоп. ЦП также вычисляет кинематическую и/или кинетическую информацию о по меньшей мере одном суставе субъекта из комбинации первого и второго наборов данных о движении и выводит кинематическую и/или кинетическую информацию для целей оценки нарушения движения. Однако в данном решении для оценки нарушений движения не применяется магнитометр, а также одновременный сбор и анализ видео данных, содержащих двигательную активность пациента, и данных, собранных с носимых датчиков - акселерометра, гироскопа и магнитометра.Patent application EP3068301A1, publication date 09/21/2016, discloses a technical solution that describes a system that includes an image capture device, at least one external body motion sensor and a central processing unit (CPU) with a connected memory device for storing instructions, which, when executed by the CPU, cause the CPU to receive a first set of motion data from the image capture device related to at least one joint of the subject during execution of the task, and to receive a second set of motion data from the accelerometer related to at least one joint of the subject during completing the task. The external body motion sensor is an accelerometer and/or gyroscope. The CPU also calculates kinematic and/or kinetic information about at least one joint of the subject from the combination of the first and second sets of motion data and outputs the kinematic and/or kinetic information for purposes of assessing the motion disorder. However, this solution does not use a magnetometer to assess movement disorders, as well as the simultaneous collection and analysis of video data containing the patient's motor activity and data collected from wearable sensors - accelerometer, gyroscope and magnetometer.
Наиболее близким аналогом заявляемого изобретения является техническое решение, раскрытое в международной заявке WO202254112A1, дата публикации 17.03.2022. Описаны способ и система для объективной характеристики симптомов болезни Паркинсона посредством анализа состояния движения пациентов, при этом состояние движения может находиться в одной из следующих фаз: фаза OFF, когда появляются симптомы болезни Паркинсона, такие как ригидность, тремор и брадикинезия; фаза ON, когда симптомы заметно улучшаются; фаза DIS, когда появляются непроизвольные движения, называемые дискинезиями. Система включает в себя: электронный браслет, оснащенный акселерометром, магнитометром и гироскопом, трехосевым, используемым для непрерывного сбора данных о треморе и движении; фотокамеру для съемки выражения лица, приводимую в действие по желанию пациента; диктофон для записи голоса пациента, приводимый в действие по желанию пациента; устройство обработки, оснащенное соответствующим программным обеспечением, которое, используя соответствующий алгоритм, объединяет данные о движении, треморе, выражении лица и голосе для определения статуса движения пациента, страдающего болезнью Паркинсона (ON, OFF, DIS); дисплей, на котором отображается статус движения пациента (ON, OFF, DIS).The closest analogue of the claimed invention is the technical solution disclosed in international application WO202254112A1, publication date 03/17/2022. A method and system are described for objectively characterizing symptoms of Parkinson's disease by analyzing the movement state of patients, wherein the movement state may be in one of the following phases: an OFF phase, when symptoms of Parkinson's disease such as rigidity, tremor and bradykinesia appear; ON phase, when symptoms noticeably improve; DIS phase, when involuntary movements called dyskinesias appear. The system includes: an electronic bracelet equipped with an accelerometer, magnetometer and gyroscope, three-axis, used to continuously collect tremor and movement data; a camera for recording facial expressions, activated at the request of the patient; a voice recorder for recording the patient's voice, activated at the request of the patient; a processing device equipped with appropriate software that, using an appropriate algorithm, combines movement, tremor, facial expression and voice data to determine the movement status of a patient suffering from Parkinson's disease (ON, OFF, DIS); display showing the patient's movement status (ON, OFF, DIS).
При этом в данном решении для оценки моторной активности не применяются видеоданные, содержащие двигательную активность пациента, записанную во время выполнения пациентом по меньшей мере одного задания.However, this solution does not use video data containing the patient’s motor activity recorded while the patient is performing at least one task to assess motor activity.
Техническая задача состоит в том, чтобы на основе анализа одновременно собранных во время выполнения пациентом по меньшей мере одного задания мультимодальных данных, включающих видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, с применением машинного обучения детектировать пациентов с искомым неврологическим заболеванием среди группы пациентов, в частности, отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, классифицировать разные стадии или формы неврологических заболеваний, например, разные стадии болезни Паркинсона, включая промежуточные, либо, например, отличать болезнь Паркинсона от болезни диффузных телец Леви.The technical challenge is to detect patients based on the analysis of multimodal data simultaneously collected during the patient’s performance of at least one task, including video data containing the patient’s motor activity and data from wearable sensors - accelerometer, gyroscope and magnetometer, using machine learning with the desired neurological disease among a group of patients, in particular, distinguish healthy patients from patients with Parkinson's disease and patients with Parkinson's disease from patients with essential tremor, classify different stages or forms of neurological diseases, for example, different stages of Parkinson's disease, including intermediate ones, or, for example, distinguishing Parkinson's disease from diffuse Lewy body disease.
СУЩНОСТЬ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION
Технический результат совпадает с технической задачей – детектировать пациентов с искомым неврологическим заболеванием среди группы пациентов с применением машинного обучения на основе анализа одновременно собранных во время выполнения пациентом по меньшей мере одного задания мультимодальных данных, включающих видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, что повышает точность детектирования искомого неврологического заболевания. The technical result coincides with the technical task - to detect patients with the desired neurological disease among a group of patients using machine learning based on the analysis of multimodal data simultaneously collected while the patient is performing at least one task, including video data containing the patient’s motor activity and data from wearable sensors – an accelerometer, gyroscope and magnetometer, which increases the accuracy of detecting the desired neurological disease.
Указанный технический результат достигается за счёт того, что:The specified technical result is achieved due to the fact that:
Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента, в котором:A computer-implemented method for diagnosing a neurological disease from a set of desired neurological diseases based on the analysis of multimodal patient data, in which:
- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков – акселерометра, гироскопа и магнитометра;- while performing at least one task by the patient, video data containing at least one type of motor activity of the patient and data from sensors worn by the patient - accelerometer, gyroscope and magnetometer - are collected and recorded simultaneously;
- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;- receive a file with key points of the patient’s body for each frame of video data;
- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;- calculate segments of the patient’s body for each frame based on the obtained key points of the patient’s body;
- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;- calculate the relative speed and acceleration based on the calculated segments of the patient’s body and, based on the calculations performed, obtain a data set;
- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают соответствующие векторы признаков видеоданных;- segment the data obtained at the previous stage into time intervals, extract features from the segmented set of video data and obtain the corresponding feature vectors of the video data;
- сегментируют данные, полученные с помощью носимых датчиков - акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают соответствующие векторы признаков носимых датчиков;- segment the data obtained using wearable sensors - an accelerometer, gyroscope and magnetometer, into time intervals corresponding to the segmented video data, extract features from the segmented data set obtained using an accelerometer, gyroscope and magnetometer, and obtain the corresponding feature vectors of wearable sensors;
- объединяют векторы признаков видеоданных и носимых датчиков, которые соответствуют одним и тем же временным интервалам из видеоданных и данных носимых датчиков, в один объединенный вектор признаков, и получают набор объединенных векторов признаков;- combine the feature vectors of the video data and wearable sensors, which correspond to the same time intervals from the video data and the wearable sensor data, into one combined feature vector, and obtain a set of combined feature vectors;
- классифицируют с помощью методов машинного обучения полученный набор объединенных векторов признаков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента;- classify using machine learning methods the resulting set of combined feature vectors obtained for at least one type of motor activity, and obtain the probabilities of the presence of the desired neurological diseases in the patient;
- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.- diagnosing the presence or absence of a neurological disease in a patient from a set of desired neurological diseases using the obtained probabilities of the presence of the desired neurological diseases in the patient.
В способе искомым неврологическим заболеванием может являться, по меньшей мере, болезнь Паркинсона, стадии болезни Паркинсона, эссенциальный тремор, болезнь диффузных телец Леви.In the method, the desired neurological disease may be at least Parkinson's disease, stages of Parkinson's disease, essential tremor, diffuse Lewy body disease.
В способе вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков к телу пациента могут изменяться, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести состояния пациента, рекомендации врачей.In the method, the type and number of tasks performed by the patient, and the location of attachment of wearable sensors to the patient's body can vary, depending at least on the following factors: the patient, the severity of the patient's condition, and the recommendations of doctors.
В способе перед этапом выделения признаков видеоданные могут фильтроваться с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.In the method, before the feature extraction step, the video data can be filtered using an anti-aliasing filter, and the wearable sensor data is filtered using a band-pass filter.
В способе могут получать набор объединенных векторов признаков путем фильтрации полученных объединенных векторов признаков для выбора наилучших признаков.The method may obtain a set of combined feature vectors by filtering the resulting combined feature vectors to select the best features.
В способе извлекаемые признаки могут являться временными и частотными признаками.In the method, the extracted features can be time and frequency features.
В способе моделями машинного обучения могут являться, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.In the method, machine learning models can be at least logistic regression, XGBoost classifier, random forest classifier, support vector machine classifier, Gaussian process classifier.
Также указанный технический результат достигается за счёт того, что:Also, the specified technical result is achieved due to the fact that:
Компьютерно-реализуемый способ диагностики неврологического заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента, в котором:A computer-implemented method for diagnosing a neurological disease from a set of desired neurological diseases based on the analysis of multimodal patient data, in which:
- во время выполнения по меньшей мере одного задания пациентом собирают и записывают одновременно видеоданные, содержащие по меньшей мере один вид двигательной активности пациента, и данные с носимых пациентом датчиков – акселерометра, гироскопа и магнитометра;- while performing at least one task by the patient, video data containing at least one type of motor activity of the patient and data from sensors worn by the patient - accelerometer, gyroscope and magnetometer - are collected and recorded simultaneously;
- получают для каждого кадра видеоданных файл с ключевыми точками тела пациента;- receive a file with key points of the patient’s body for each frame of video data;
- вычисляют для каждого кадра сегменты тела пациента на основе полученных ключевых точек тела пациента;- calculate segments of the patient’s body for each frame based on the obtained key points of the patient’s body;
- вычисляют относительную скорость и ускорение на основании вычисленных сегментов тела пациента и на основании проведенных вычислений получают набор данных;- calculate the relative speed and acceleration based on the calculated segments of the patient’s body and, based on the calculations performed, obtain a data set;
- сегментируют полученные на предыдущем этапе данные на временные интервалы, выделяют признаки из сегментированного набора видеоданных и получают набор векторов признаков видеоданных;- segment the data obtained at the previous stage into time intervals, extract features from the segmented set of video data and obtain a set of vectors of video data features;
- сегментируют данные, полученные с помощью носимых датчиков - акселерометра, гироскопа и магнитометра, на временные интервалы, соответствующие сегментированным видеоданным, выделяют признаки из сегментированного набора данных, полученных с помощью акселерометра, гироскопа и магнитометра, и получают набор векторов признаков носимых датчиков;- segment the data obtained using wearable sensors - an accelerometer, gyroscope and magnetometer, into time intervals corresponding to the segmented video data, extract features from the segmented data set obtained using an accelerometer, gyroscope and magnetometer, and obtain a set of feature vectors of wearable sensors;
- классифицируют с помощью методов машинного обучения полученный набор векторов признаков видеоданных, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе видеоданных;- classify using machine learning methods the resulting set of feature vectors of video data obtained for at least one type of motor activity, and obtain the probabilities of the presence of the desired neurological diseases in the patient based on the video data;
- классифицируют с помощью методов машинного обучения полученный набор векторов признаков носимых датчиков, полученных для по меньшей мере одного вида двигательной активности, и получают вероятности наличия искомых неврологических заболеваний у пациента на основе данных носимых датчиков;- classify, using machine learning methods, the resulting set of wearable sensor feature vectors obtained for at least one type of motor activity, and obtain the probabilities of the presence of the desired neurological diseases in the patient based on the wearable sensor data;
- применяют методы ансамбля голосования к полученным вероятностям наличия искомых неврологических заболеваний у пациента на основе видеоданных и на основе данных носимых датчиков и получают вероятности наличия искомых неврологических заболеваний у пациента;- apply ensemble voting methods to the obtained probabilities of the presence of the desired neurological diseases in the patient based on video data and based on data from wearable sensors and obtain the probabilities of the presence of the desired neurological diseases in the patient;
- осуществляют диагностирование наличия или отсутствия у пациента неврологического заболевания из набора искомых неврологических заболеваний с помощью полученных вероятностей наличия искомых неврологических заболеваний у пациента.- diagnosing the presence or absence of a neurological disease in a patient from a set of desired neurological diseases using the obtained probabilities of the presence of the desired neurological diseases in the patient.
В способе искомым неврологическим заболеванием может являться, по меньшей мере, болезнь Паркинсона, стадии болезни Паркинсона, эссенциальный тремор, болезнь диффузных телец Леви.In the method, the desired neurological disease may be at least Parkinson's disease, stages of Parkinson's disease, essential tremor, diffuse Lewy body disease.
В способе вид и количество заданий, выполняемых пациентом, и места прикрепления носимых датчиков к телу пациента могут изменяться, в зависимости, по меньшей мере, от следующих факторов: пациента, тяжести его состояния, рекомендации врачей.In the method, the type and number of tasks performed by the patient, and the places where the wearable sensors are attached to the patient's body can vary, depending at least on the following factors: the patient, the severity of his condition, and the recommendations of doctors.
В способе перед этапом выделения временных и частотных признаков видеоданные могут фильтроваться с помощью сглаживающего фильтра, данные носимых датчиков фильтруют с помощью полосового фильтра.In the method, before the step of extracting time and frequency features, the video data can be filtered using an anti-aliasing filter, the data from wearable sensors is filtered using a band-pass filter.
В способе могут получать набор векторов признаков видеоданных путем фильтрации признаков, выделенных из сегментированного набора видеоданных, для выбора наилучших признаков; и получают набор векторов признаков носимых датчиков путем фильтрации признаков, выделенных из сегментированного набора данных носимых датчиков, для выбора наилучших признаков.The method may obtain a set of feature vectors of video data by filtering features extracted from a segmented set of video data to select the best features; and obtain a set of wearable sensor feature vectors by filtering the features extracted from the segmented wearable sensor dataset to select the best features.
В способе извлекаемые признаки могут являться временными и частотными признаками.In the method, the extracted features can be time and frequency features.
В способе моделями машинного обучения могут являться, по крайней мере, логистическая регрессия, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов.In the method, machine learning models can be at least logistic regression, XGBoost classifier, random forest classifier, support vector machine classifier, Gaussian process classifier.
В заявленных способах диагностики неврологического заболевания из набора искомых неврологических заболеваний (варианты) использование одновременно устройств для записи видеоданных, акселерометра, гироскопа и магнитометра во время выполнения упражнений пациентом, что обеспечивает сбор всесторонней, исчерпывающей информации об особенностях движений тела пациента во время выполнения упражнений, а также последующий анализ собранной информации с помощью методов машинного обучения позволяет повысить точность детектирования искомого неврологического заболевания.The claimed methods for diagnosing a neurological disease from a set of desired neurological diseases (options) involve the simultaneous use of devices for recording video data, an accelerometer, a gyroscope and a magnetometer while the patient is performing exercises, which ensures the collection of comprehensive, comprehensive information about the characteristics of the patient’s body movements during exercises, and Also, subsequent analysis of the collected information using machine learning methods makes it possible to increase the accuracy of detecting the desired neurological disease.
ОПИСАНИЕ ЧЕРТЕЖЕЙDESCRIPTION OF DRAWINGS
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения.The implementation of the invention will be described further in accordance with the accompanying drawings, which are presented to explain the essence of the invention and in no way limit the scope of the invention.
Заявляемое изобретение проиллюстрировано фигурами 1-3, на которых изображены:The claimed invention is illustrated in figures 1-3, which show:
Фиг. 1 а), б) – иллюстрируют процесс обработки данных с носимых датчиков (а) и видеоданных (б). Fig. 1 a), b) – illustrate the process of processing data from wearable sensors (a) and video data (b).
Фиг. 2 – иллюстрирует пример ключевых точек тела.Fig. 2 – illustrates an example of key points of the body.
Фиг. 3 – иллюстрирует пример общей схемы вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.Fig. 3 illustrates an example of a general diagram of a computing device (300) that provides data processing necessary to implement the claimed solution.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯDETAILED DESCRIPTION OF THE INVENTION
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.The following detailed description of the invention sets forth numerous implementation details designed to provide a clear understanding of the present invention. However, it will be apparent to one skilled in the art how the present invention can be used with or without these implementation details. In other cases, well-known methods, procedures and components have not been described in detail so as not to unduly obscure the features of the present invention.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.In addition, from the above discussion it will be clear that the invention is not limited to the above implementation. Numerous possible modifications, alterations, variations and substitutions, while retaining the spirit and form of the present invention, will be apparent to those skilled in the art.
В настоящем изобретении диагностируют неврологические заболевания из набора искомых неврологических заболеваний на основе анализа мультимодальных данных пациента. Одновременный сбор и анализ мультимодальных данных с применением методов машинного обучения, причём мультимодаьные данные включают видеоданные, содержащие двигательную активность пациента, и данные с носимых датчиков – акселерометра, гироскопа и магнитометра, которые записаны одновременно с видеоданными. В частности, настоящее изобретение позволяет с большой точностью отличать здоровых пациентов от пациентов с болезнью Паркинсона и пациентов с болезнью Паркинсона от пациентов с эссенциальным тремором, классифицировать разные стадии или формы неврологических заболеваний, например, разные стадии болезни Паркинсона (от 1 до 4, и также промежуточные), либо, например, отличать болезнь Паркинсона от болезни диффузных телец Леви. The present invention diagnoses neurological diseases from a set of searched neurological diseases based on the analysis of multimodal patient data. Simultaneous collection and analysis of multimodal data using machine learning methods, and multimodal data includes video data containing the patient's motor activity, and data from wearable sensors - accelerometer, gyroscope and magnetometer, which are recorded simultaneously with the video data. In particular, the present invention makes it possible to distinguish with great accuracy healthy patients from patients with Parkinson's disease and patients with Parkinson's disease from patients with essential tremor, to classify different stages or forms of neurological diseases, for example, different stages of Parkinson's disease (from 1 to 4, and also intermediate), or, for example, to distinguish Parkinson's disease from diffuse Lewy body disease.
В процессе сбора мультимодальных данных пациент выполняет несколько специальных упражнений, форма и количество которых может меняться в зависимости от пациента, тяжести его состояния, рекомендации врачей и других факторов. Носимые датчики, включающие в себя акселерометр, гироскоп и магнетометр, могут прикрепляться к различным местам тела пациента в зависимости от пациента, тяжести его состояния, рекомендации врачей и других факторов. Например, это могут быть кисти рук, внешняя часть ладони, ноги, пояс и т д. Видеозаписывающие устройства могут быть в разном количестве и вести видеозапись с разных ракурсов. In the process of collecting multimodal data, the patient performs several special exercises, the form and quantity of which may vary depending on the patient, the severity of his condition, the recommendations of doctors and other factors. The wearable sensors, which include an accelerometer, gyroscope and magnetometer, can be attached to different locations on a patient's body depending on the patient, the severity of their condition, doctors' recommendations and other factors. For example, these could be the hands, the outer part of the palm, legs, belt, etc. Video recording devices can be in different numbers and record video from different angles.
Видеоданные и данные с носимых датчиков записываются вместе. Каждый тип собранных данных сначала предварительно обрабатывается. В обработку может включаться удалений записей с большим количеством нулевых значений, либо замещение значений с использованием интерполяции и последующая фильтрация (Фиг. 1 а, б). Для видеоданных каждый клип обрабатывается с использованием алгоритма определения ключевых точек, который возвращает файл JSON с 25 ключевыми точками тела для каждого кадра (Фиг. 2).Video data and data from wearable sensors are recorded together. Each type of data collected is first pre-processed. Processing may include deleting records with a large number of zero values, or replacing values using interpolation and subsequent filtering (Fig. 1 a, b). For video data, each clip is processed using a keypoint algorithm that returns a JSON file with 25 body keypoints for each frame (Figure 2).
В качестве примера реализации заявленного иобретения можно рассматривать следующую ситуацию. Видео записывается с помощью веб-камеры со скоростью 30 кадров в секунду с двух ракурсов: сбоку и спереди от пациента. Каждый видеоклип обрабатывался с помощью библиотеки OpenPose, которая возвращает JSON файл с 25 ключевыми точками тела для каждого кадра. Ключевыми точками, использованными для дальнейшей обработки, были [2,3,4] и [5,6,7] для правой и левой рук соответственно, которые представляют положение плеч, локтей и запястий. Используя эти ключевые точки, вычисляют относительную скорость (разница между значениями двух последующих записей в исходных данных) и ускорение (разница между значениями двух последующих записей для скорости). Они были найдены отдельно для координат x и y как для правой, так и для левой руки для каждого из следующих сегментов: запястье-плечо, плечо-локоть, локоть-запястье. К относительной скорости и ускорению ключевых точек с кадров применяется фильтр Савицкого-Голея, работающий с использованием сверток, с длиной окна 19 и полиномиальным порядком 4. Затем фильтрованные относительная скорость и ускорение ключевых точек разбиваются на куски с интервалом в 3 секунды (90 записей в каждом интервале) с 50% перекрытием [5]. As an example of the implementation of the claimed invention, the following situation can be considered. The video is recorded using a webcam at 30 frames per second from two angles: from the side and from the front of the patient. Each video clip was processed using the OpenPose library, which returns a JSON file with 25 body key points for each frame. The key points used for further processing were [2,3,4] and [5,6,7] for the right and left hands respectively, which represent the positions of the shoulders, elbows and wrists. Using these key points, the relative speed (the difference between the values of two subsequent entries in the original data) and the acceleration (the difference between the values of two subsequent entries for speed) are calculated. They were found separately for x and y coordinates for both the right and left hands for each of the following segments: wrist-shoulder, shoulder-elbow, elbow-wrist. A Savitzky-Golay convolution filter is applied to the relative speed and acceleration of key points from the frames, with a window length of 19 and a polynomial order of 4. The filtered relative speed and acceleration of key points are then split into chunks at 3-second intervals (90 entries each). interval) with 50% overlap [5].
Данные с носимых датчиков, включающих в себя акселерометр, гироскоп и магнитометр, записывают с частотой 100 Hz [6]. Данные датчиков записывают в столбцы данных: временные рамки и записи по осям x, z и y для каждого из трех датчиков (акселерометра, гироскопа и магнитометра). Потом записанные данные фильтруют с помощью полосового фильтра (например, баттерворта), чтобы очистить сигнал от шума и ненужных частот. Фильтрованные данные также разбивают на куски с интервалом в 3 секунды (90 записей в каждом интервале) с 50% перекрытием. Таким образом, данные с носимых датчиков сегментируют на временные интервалы, соответствующие сегментированным видеоданным, также с 50% перекрытием.Data from wearable sensors, including an accelerometer, gyroscope and magnetometer, are recorded at a frequency of 100 Hz [6]. Sensor data is recorded in data columns: time frames and x, z and y axis entries for each of the three sensors (accelerometer, gyroscope and magnetometer). The recorded data is then filtered using a bandpass filter (such as a butterworth filter) to remove noise and unnecessary frequencies from the signal. The filtered data is also split into chunks at 3 second intervals (90 records in each bin) with 50% overlap. Thus, the data from wearable sensors is segmented into time intervals corresponding to the segmented video data, also with 50% overlap.
На основе отфильтрованных и сегментированных видеоданных и данных с носимых датчиков получают временные и частотные признаки. Временные признаки включают стандартные статистические величины, такие как минимум, максимум, среднее значение, мода, стандартное отклонение, перекос и эксцесс. Кроме того, необходимо извлечь признаки из частотной области. С использованием дискретного преобразования Фурье вычисляют спектр сигнала, содержащий частотные интервалы от 1 Гц до 12 Гц, вычисляют максимальное, минимальное, среднее и стандартное отклонение амплитуды и частоты пиков, находящихся в пределах двух стандартных отклонений от средней спектральной энергии. В качестве признаков используют также фундаментальную частоту, среднее и стандартное отклонение энергетического спектра.Temporal and frequency features are obtained from filtered and segmented video and wearable sensor data. Time features include standard statistics such as minimum, maximum, mean, mode, standard deviation, skew, and kurtosis. In addition, it is necessary to extract features from the frequency domain. Using the discrete Fourier transform, the signal spectrum containing frequency intervals from 1 Hz to 12 Hz is calculated, the maximum, minimum, average and standard deviation of the amplitude and frequency of peaks that are within two standard deviations from the average spectral energy are calculated. Fundamental frequency, average and standard deviation of the energy spectrum are also used as features.
Далее применяют несколько методов фильтрации признаков, а также используют несколько методов редукции размерности (DR) признаков. В частности, для фильтрации признаков применяют следующие методы: фильтр с низкой дисперсией (объекты с дисперсией 0,20 или ниже удаляют), коррелирующие объекты (для объектов с корреляцией 0,80 или выше один удаляют), важность объектов (двадцать лучших объектов выбирают на основе примеси Джини из случайных разбиений леса). Для извлечения наиболее значимых компонентов используют несколько методов уменьшения размерности (DR): факторный анализ, линейный дискриминантный анализ и анализ основных компонентов. Факторный анализ — это метод, который позволяет найти несколько факторов, описывающих большую часть дисперсии. Линейный дискриминантный анализ находит линейную комбинацию признаков, которая лучше всего разделяет классы. Анализ основных компонентов — это метод, который основан на вычислении собственных векторов и значений корреляционной матрицы признаков.Next, several feature filtering methods are used, and several feature dimension reduction (DR) methods are also used. In particular, the following methods are used to filter features: low variance filter (objects with a variance of 0.20 or below are removed), correlated objects (for objects with a correlation of 0.80 or higher, one is removed), object importance (the twenty best objects are selected for based on Gini impurity from random forest splits). Several dimensionality reduction (DR) methods are used to extract the most significant components: factor analysis, linear discriminant analysis, and principal components analysis. Factor analysis is a method that allows you to find several factors that describe most of the variance. Linear discriminant analysis finds the linear combination of features that best separates the classes. Principal component analysis is a method that is based on the calculation of eigenvectors and feature correlation matrix values.
Следующий шаг включает два возможных варианта:The next step includes two possible options:
1) Векторы признаков, которые соответствуют одним и тем же временным сегментам из видео и данных датчиков, объединяют в один больший вектор признаков, после чего применяют несколько методов фильтрации признаков для выбора наилучших признаков. Затем для классификации используются модели машинного обучения. Или,1) Feature vectors that correspond to the same time segments from video and sensor data are combined into one larger feature vector, and then several feature filtering methods are applied to select the best features. Machine learning models are then used for classification. Or,
2) Векторы признаков из видео и данных датчиков обрабатывают отдельно. Для каждого из них используются описанные выше методы фильтрации для выбора признаков и модели машинного обучения для классификации. После того, как модели машинного обучения возвращают вероятности каждого класса, для выбора наиболее вероятного класса для каждой выборки данных используются методы ансамбля голосования, такие как основное голосование.2) Feature vectors from video and sensor data are processed separately. Each of them uses the filtering methods described above for feature selection and machine learning models for classification. After machine learning models return the probabilities of each class, ensemble voting methods such as core voting are used to select the most likely class for each data sample.
Для классификации признаков с целью поиска искомого неврологического заболевания используют модели машинного обучения. В частности, для классификации пациентов используют такие модели машинного обучения, как логистическую регрессию, классификатор XGBoost, классификатор случайных лесов, классификатор опорных векторов, классификатор гауссовых процессов. Для выбора оптимальных параметров используют групповую K-кратную перекрестную проверку наряду с рандомизированным поиском по сетке.Machine learning models are used to classify features in order to search for the desired neurological disease. In particular, machine learning models such as logistic regression, XGBoost classifier, random forest classifier, support vector machine classifier, and Gaussian process classifier are used to classify patients. Grouped K-fold cross-validation along with randomized grid search are used to select optimal parameters.
На Фиг. 3 представлена общая примерная схема вычислительного устройства (300), обеспечивающего обработку данных, необходимую для реализации заявленного решения.In FIG. 3 shows a general exemplary diagram of a computing device (300) that provides data processing necessary to implement the claimed solution.
В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну память (302), средство хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).In general, the device (300) includes components such as: one or more processors (301), at least one memory (302), data storage means (303), input/output interfaces (304), I/O means ( 305), networking tools (306).
Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функциональности одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).The device processor (301) performs basic computing operations necessary for the operation of the device (300) or the functionality of one or more components thereof. The processor (301) executes the necessary machine-readable instructions contained in the RAM (302).
Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Memory (302), as a rule, is made in the form of RAM and contains the necessary program logic that provides the required functionality.
Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации.The data storage medium (303) can be in the form of HDD, SSD drives, raid array, network storage, flash memory, optical storage devices (CD, DVD, MD, Blue-Ray disks), etc. The means (303) allows long-term storage of various types of information.
Интерфейсы (304) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.Interfaces (304) are standard means for connecting and working with the server part, for example, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire, etc.
Выбор интерфейсов (304) зависит от конкретного исполнения устройства (N00), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.The choice of interfaces (304) depends on the specific design of the device (N00), which can be a personal computer, mainframe, server cluster, thin client, smartphone, laptop, etc.
В качестве средств В/В данных (305) в данном воплощении системы может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.The data I/O means (305) in this embodiment of the system may be a keyboard. The hardware design of the keyboard can be any known: it can be either a built-in keyboard used on a laptop or netbook, or a separate device connected to a desktop computer, server or other computer device. The connection can be either wired, in which the keyboard connecting cable is connected to the PS/2 or USB port located on the system unit of the desktop computer, or wireless, in which the keyboard exchanges data via a wireless communication channel, for example, a radio channel, with base station, which, in turn, is directly connected to the system unit, for example, to one of the USB ports. In addition to the keyboard, I/O data tools can also include: joystick, display (touch display), projector, touchpad, mouse, trackball, light pen, speakers, microphone, etc.
Средства сетевого взаимодействия (306) выбираются из устройств, обеспечивающих сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (305) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM, 3G, 4G, 5G.Network interaction means (306) are selected from devices that provide network reception and transmission of data, for example, an Ethernet card, WLAN/Wi-Fi module, Bluetooth module, BLE module, NFC module, IrDa, RFID module, GSM modem, etc. Using the means (305), the organization of data exchange is ensured via a wired or wireless data transmission channel, for example, WAN, PAN, LAN, Intranet, Internet, WLAN, WMAN or GSM, 3G, 4G, 5G.
Компоненты устройства (300) сопряжены посредством общей шины передачи данных (307).The device components (300) are interfaced via a common data bus (307).
В настоящих материалах заявки представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.These application materials provide a preferred disclosure of the implementation of the claimed technical solution, which should not be used as limiting other, private embodiments of its implementation, which do not go beyond the scope of the requested scope of legal protection and are obvious to specialists in the relevant field of technology.
Специалисту в данной области техники должно быть понятно, что различные вариации заявляемого способа и системы не изменяют сущность изобретения, а лишь определяют его конкретные воплощения и применения.It should be clear to a person skilled in the art that various variations of the proposed method and system do not change the essence of the invention, but only determine its specific embodiments and applications.
ИсточникиSources
[1] Lonini, L., Dai, A., Shawen, N. et al. Wearable sensors for Parkinson’s disease: which data are worth collecting for training symptom detection models. npj Digital Med 1, 64 (2018). https://doi.org/10.1038/s41746-018-0071-z[1] Lonini, L., Dai, A., Shawen, N. et al. Wearable sensors for Parkinson’s disease: which data are worth collecting for training symptom detection models. npj Digital Med 1, 64 (2018). https://doi.org/10.1038/s41746-018-0071-z
[2] Butt, A.H., Rovini, E., Dolciotti, C. et al. Objective and automatic classification of Parkinson disease with Leap Motion controller. BioMed Eng OnLine 17, 168 (2018). https://doi.org/10.1186/s12938-018-0600-7[2] Butt, A.H., Rovini, E., Dolciotti, C. et al. Objective and automatic classification of Parkinson disease with Leap Motion controller. BioMed Eng OnLine 17, 168 (2018). https://doi.org/10.1186/s12938-018-0600-7
[3] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering Rehabil 15, 97 (2018). https://doi.org/10.1186/s12984-018-0446-z[3] Reference: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering Rehabil 15, 97 (2018). https://doi.org/10.1186/s12984-018-0446-z
[4] Ссылка: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering T. Li et al., "Automatic Timed Up-and-Go Sub-Task Segmentation for Parkinson’s Disease Patients Using Video-Based Activity Classification," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 26, no. 11, pp. 2189-2199, Nov. 2018, doi: 10.1109/TNSRE.2018.2875738[4] Reference: Li, M.H., Mestre, T.A., Fox, S.H. et al. Vision-based assessment of parkinsonism and levodopa-induced dyskinesia with pose estimation. J NeuroEngineering T. Li et al., "Automatic Timed Up-and-Go Sub-Task Segmentation for Parkinson's Disease Patients Using Video-Based Activity Classification," in IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 26, no. 11, pp. 2189-2199, Nov. 2018, doi: 10.1109/TNSRE.2018.2875738
[5] Патент РФ на изобретение № 2764568 «СПОСОБ ДИАГНОСТИКИ БОЛЕЗНИ ПАРКИНСОНА НА ОСНОВЕ АНАЛИЗА ВИДЕОДАННЫХ С ПРИМЕНЕНИЕМ МАШИННОГО ОБУЧЕНИЯ»[5] RF patent for invention No. 2764568 “METHOD FOR DIAGNOSIS OF PARKINSON’S DISEASE BASED ON VIDEO DATA ANALYSIS USING MACHINE LEARNING”
[6] A. Talitckii et al., "Avoiding Misdiagnosis of Parkinson’s Disease With the Use of Wearable Sensors and Artificial Intelligence," in IEEE Sensors Journal, vol. 21, no. 3, pp. 3738-3747, 1 Feb.1, 2021, doi: 10.1109/JSEN.2020.3027564.[6] A. Talitckii et al., “Avoiding Misdiagnosis of Parkinson’s Disease With the Use of Wearable Sensors and Artificial Intelligence,” in IEEE Sensors Journal, vol. 21, no. 3, pp. 3738-3747, 1 Feb.1, 2021, doi: 10.1109/JSEN.2020.3027564.
Claims (33)
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2814513C1 true RU2814513C1 (en) | 2024-02-29 |
Family
ID=
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150208955A1 (en) * | 2012-07-13 | 2015-07-30 | The University Of York | Device to determine dyskinesia |
| US9186095B2 (en) * | 2012-09-11 | 2015-11-17 | The Cleveland Clinic Foundaton | Evaluation of movement disorders |
| US20160235323A1 (en) * | 2013-09-25 | 2016-08-18 | Mindmaze Sa | Physiological parameter measurement and feedback system |
| US20200060602A1 (en) * | 2013-11-12 | 2020-02-27 | Highland Instruments | Motion analysis systems and methods of use thereof |
| RU2764568C1 (en) * | 2021-04-05 | 2022-01-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Method for diagnosing parkinson's disease based on video data analysis using machine learning |
| US11229364B2 (en) * | 2013-06-14 | 2022-01-25 | Medtronic, Inc. | Patient motion analysis for behavior identification based on video frames with user selecting the head and torso from a frame |
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150208955A1 (en) * | 2012-07-13 | 2015-07-30 | The University Of York | Device to determine dyskinesia |
| US9186095B2 (en) * | 2012-09-11 | 2015-11-17 | The Cleveland Clinic Foundaton | Evaluation of movement disorders |
| US11229364B2 (en) * | 2013-06-14 | 2022-01-25 | Medtronic, Inc. | Patient motion analysis for behavior identification based on video frames with user selecting the head and torso from a frame |
| US20160235323A1 (en) * | 2013-09-25 | 2016-08-18 | Mindmaze Sa | Physiological parameter measurement and feedback system |
| US20200060602A1 (en) * | 2013-11-12 | 2020-02-27 | Highland Instruments | Motion analysis systems and methods of use thereof |
| RU2764568C1 (en) * | 2021-04-05 | 2022-01-18 | Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» | Method for diagnosing parkinson's disease based on video data analysis using machine learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10950352B1 (en) | System, computer-readable storage medium and method of deep learning of texture in short time series | |
| CN111274998A (en) | Parkinson's disease finger knocking action identification method and system, storage medium and terminal | |
| Valla et al. | Tremor-related feature engineering for machine learning based Parkinson’s disease diagnostics | |
| US20230306267A1 (en) | Learning representations of eeg signals with self-supervised learning | |
| RU2764568C1 (en) | Method for diagnosing parkinson's disease based on video data analysis using machine learning | |
| Chawla et al. | A decision support system for automated diagnosis of Parkinson’s disease from EEG using FAWT and entropy features | |
| CN113901891A (en) | Parkinson's disease fist making task evaluation method and system, storage medium and terminal | |
| Aggarwal et al. | A structured learning approach with neural conditional random fields for sleep staging | |
| Skaramagkas et al. | Multi-modal Deep Learning Diagnosis of Parkinson’s Disease-A Systematic Review | |
| Sigcha et al. | Improvement of Performance in Freezing of Gait detection in Parkinson’s Disease using Transformer networks and a single waist-worn triaxial accelerometer | |
| US11670423B2 (en) | Method and system for early detection of neurodegeneration using progressive tracking of eye-markers | |
| Rescio et al. | Ambient and wearable system for workers’ stress evaluation | |
| RU2814513C1 (en) | Methods for diagnosing parkinson's disease based on multimodal data analysis using machine learning (versions) | |
| Liu et al. | A kinematic data-driven approach to differentiate involuntary choreic movements in individuals with neurological conditions | |
| Anju et al. | Recent survey on Parkinson disease diagnose using deep learning mechanism | |
| KR20200120365A (en) | Machine learning method and system for automatically grading severity from separated actions of a parkinsonian patient video | |
| CN115336979A (en) | Multitask tremor automatic detection method based on wearable device and detection device thereof | |
| Liu et al. | Comprehensive analysis of resting tremor based on acceleration signals of patients with Parkinson’s disease | |
| CN114869272A (en) | Posture tremor detection model, posture tremor detection algorithm, and posture tremor detection apparatus | |
| Ehsan et al. | An automated cloud-based tool for Screening of Parkinson’s disease in Bangladesh | |
| Tarekegn et al. | Efficient Human Gait Activity Recognition Based on Sensor Fusion and Intelligent Stacking Framework | |
| Tao et al. | Effective Severity Assessment of Parkinson’s Disease with Wearable Intelligence using Free-living Environment Data | |
| Etumusei et al. | A novel martingale based model using a smartphone to detect gait bout in human activity recognition | |
| Lu et al. | Feature learning in assistive rehabilitation robotic systems | |
| Watanabe et al. | Detection of cervical myelopathy with Leap Motion Sensor by random forests |