CN106901689A - 基于实物交互的认知和运动功能检测系统及数据处理方法 - Google Patents

Abstract

本发明公开了一种基于实物交互的认知和运动功能检测系统及数据处理方法。本系统包括一数据处理单元，若干立方块壳，每一立方块壳表面设置有压力传感器、立方块壳内部设有惯性传感器、MCU微控制单元及通信模块；其中，压力传感器、惯性传感器分别与该MCU微控制单元数据连接，通信模块与该MCU微控制单元数据连接，该通信模块与该数据处理单元通信连接，用于将压力传感器、惯性传感器采集的传感器数据发送给该数据处理单元。本发明通过定量化的数据，避免人为检查的不确定性；并且此系统方便携带，可以随时进行检测，解决不能实时监测和早期预警的问题。

Description

基于实物交互的认知和运动功能检测系统及数据处理方法

技术领域

本发明涉及到一种基于实物交互的认知和运动功能对人体神经系统健康状况进行检测的系统及其数据处理方法。

背景技术

神经系统疾病(Nervous System Diseases,NSD)是一种严重影响人类生命和生活质量的疾病。例如神经系统引起的脑卒中(Stroke)并发症是世界范围内人口死亡的第三位病因和成人残疾的首要原因。在我国，中国每年新发脑卒中患者约200万人，其中70％～80％的脑卒中患者因为残疾不能独立生活。脑血管疾病的高发病率、高死亡率和高致残率，给患者的家庭和社会都带来了沉重的负担。

近年来，人们对日常健康状态的检测主要依赖于去医院进行体检，但是，一次完整的体检需要耗费较多的时间和金钱，不可能做到日常检测，也没有个人实际情况的针对性。

另外，也有一些医学量表用于神经系统疾病的评估，比如Action ResearchArm Test(ARAT)量表、WolfMotor Function Test(WMFT)量表以及Fugl-MeyerAssessment(FMA)量表等。这些量表被用来检查被试的运动功能，比如抓、握、捏和大的运动动作等，可以突出体现用户的神经系统疾病状况。在这些量表的检查项目中，有一部分是日常可接触的物品，如杯子、石块等，用户需要按照量表和医生的要求，进行一系列的操作，医生通过观察病人的动作，对其进行打分，并根据分数进行后续分析检查。但是这些检测方法非常的耗费时间，而且此方法并未解决不能实时和早期预警的问题。

发明内容

针对上述问题，本发明的目的在于提供一种能够实时检测的基于实物交互的认知和运动功能检测系统及其数据处理方法。通过定量化的数据，避免人为检查的不确定性；并且此系统方便携带，可以随时进行检测，解决不能实时监测和早期预警的问题。

一种基于实物交互的认知和运动功能检测系统，它包括两个部分：一个是硬件系统，除了立方块外壳以外，还包括置入立方块中的控制模块、数据采集模块和传输模块等部件；另一个是软件系统，用于处理和分析传感器采集的不同数据，检测用户神经系统健康状况。

其中，硬件系统包括数据采集模块，由惯性传感器和压力传感器组成，用于采集抓握立方块的压力信息、抖动信息、完成时间以及任务完成情况；包括控制模块，用于负责控制各传感器件数据采集和传输；包括传输模块，用于将采集的数据传输到计算机系统中。

一种基于实物交互的认知和运动功能检测方法，其步骤包括：

1)采集用户在完成任务过程中的各传感器的数据。

2)根据压力传感器数据的变化，可以标定一个动作序列的起始/终止点。在此动作序列中又可以根据惯性传感器数据进行子动作切分，被切分的子动作包括拿起/放下、握住不动以及移动。根据惯性传感器中加速度计和陀螺仪在竖直方向上的数值的变化，可以切分出动作序列中的拿起/放下子动作；根据惯性传感器中加速度计、陀螺仪和磁力计在水平方向上的数值的变化，可以切分出动作序列中的移动和握住不动子动作。

3)对已切分好的单一子动作进行识别，将其识别成建模列表中的标准子动作，对不能识别或不在模型中的单一子动作进行记录，若多次出现则计算机会进行记录，并对模型进行调整，若不常出现，将被丢弃。本发明通过采集正常人通过立方块壳进行每一设定子动作时的惯性传感器数据，将其作为该子动作的标准子动作对应的惯性传感器数据，得到该建模列表。

4)提取每一子动作对应的惯性传感器数据和压力传感器数据的特征，将连续的时序数值变化转换成一系列时域和频域的特征。

5)对于已知神经系统疾病类别的用户和正常用户，采集他们在通过立方块壳进行子动作时所采集的惯性传感器数据、压力传感器数据以及任务完成时间和完成情况等数据，利用机器学习的方法，将健康用户和非健康用户的部分数据用作训练集，使用不同的分类方法进行训练，并用剩余的用户数据进行评估，得出神经系统疾病辅助诊断及预警模型。对于步骤4)所提取的特征，将这些特征与已建立的神经系统疾病辅助诊断及预警模型进行比对，分析特征所属类别，进而判断神经系统疾病情况及类别。

进一步地，所述采集用户在拼凑立方块的过程中的各传感器的数据，是指用户在不被传感器干扰的情况下，按照自己日常生活中抓握方块的习惯正常使用本系统，在这些立方块被使用的过程中，其中集成的传感器对用户的使用情况进行监测，采集用户动作数据以及压力数据。

进一步地，所述根据压力传感器数据进行运动数据切分，其原理在于用户使用立方块的过程中，不同子动作之间会有比较明显的界限，如数值突然增加并超过设定的阈值等，这些界限可以使用压力传感器进行标定，并进行进一步切分。

进一步地，所述对子动作进行识别，是指根据上一个子动作和压力传感器数据对用户当前的动作进行进一步的分析和识别。

进一步地，所述提取子动作惯性传感器特征，是指根据神经系统疾病的特点(如震颤、动作协调性等)分析惯性传感器数据，从原始输入数据中提取相应特征的过程。其特征包括时域和频域的相关特征。

进一步地，所述将特征与已建立的神经系统疾病辅助诊断及预警模型进行对比，是指将特征向量输入到本发明事先已建立的诊断及预警模型中，进行机器学习预测的过程。在建立模型的过程中，采集了大量病人及正常人的数据，通过机器学习的方法，对已选择的特征进行抽取，并训练形成诊断与预警模型。

相对于现有技术，本发明的积极效果为：

本发明提供的基于实物交互的认知和运动功能检测系统是一种自然方便的神经系统健康诊断系统，通过在立方块的基础上增加了多种传感器，不仅对方块的功能进行了丰富，而且能在日常工作和生活中方便而又自然的实现健康状况监测。并且定量化的数据分析，能够避免人为检查的不确定性。

附图说明

图1为本发明实施例基于实物交互的认知和运动功能检测系统的结构示意图。

图2为本发明实施例基于实物交互的认知和运动功能检测系统中立方壳排列的示意图。

图3为本发明实施例基于实物交互的认知和运动功能检测系统目标图案的示意图。

图4为本发明实施例基于实物交互的认知和运动功能检测系统中硬件系统模块图。

图5为本发明方法流程图。

其中，10-检测系统，11-立方块壳，12-压力传感器，13-MCU微控制单元，14-惯性传感器，15-蓝牙通信模块。

具体实施方式

请参阅图1，本发明实施例提供一种基于实物交互的认知和运动功能检测系统，包括硬件系统和软件系统。

所述硬件系统包括安装于立方块壳11表面用于测量抓握方块压力信息的压力传感器12；安装于方块内部的惯性传感器14用于测量抓握方块时的抖动情况，并计算用户的运动轨迹；安装于方块内部的MCU微控制单元13及蓝牙通信模块15用于将不同传感器收集的数据传输至计算机系统。

所述软件系统包括数据接收和数据处理两个部分。数据接收部分，计算机利用蓝牙通信方式接收微控制单元13采集的各个传感器的数据。数据处理部分，包括数据预处理、去噪、特征提取、分类、结果分析等，最终将对用户的神经系统健康状况进行评估。

惯性传感器14包括加速度计、陀螺仪和磁力计，以及他们进行组合而成的惯性运动捕获系统。这些运动传感器一般有三个轴，但根据实际需要可使用单轴或双轴的传感器。同时，也可根据所需的精度，调整芯片的固件程序，以设置传感器的精度和量程等参数。它们具有成本低、尺寸小、质量轻等特点，能够很方便的集成到方块内部。惯性传感器14能够收集运动加速度、角度以及姿态等信息，然后计算出用户抓握方块的运动轨迹、速度和使用过程中的抖动情况等，从而监测发现运动过程中出现的抖动或迟缓等现象。

压力传感器12(Force Sensing Resistor，FSR)位于方块表面，放置在表面可以保证用户抓握方块时，手指能够完全贴合在方块表面上，这样就能够贴合到压力传感器12上，在保证数据采集的同时，不影响方块的正常使用。其数值变化表现了用户拼凑立方块过程中抓握压力的变化，并且也能够使用其数据去标定一个动作起始/终止点。此外，方块内部及外部表面还留有空间方便进行其他传感器件的扩展，以测量更丰富的生理信息，如肌电信号、体温、指纹信息等。

图2所示为本实施例基于实物交互的认知和运动功能检测系统中立方壳排列的示意图，斜线区域代表红色。在立方块壳11外贴有表面颜色是红色和白色的等腰直角三角形组成的正方形纸质贴片。通过表面颜色是红色和白色的等腰直角三角形贴片可以组合出三种表面颜色不同的正方形图案，一种是正方形表面颜色全部都是白色的、一种是正方形表面颜色全是红色的、以及一种是正方形表面颜色以对角线为界一半红色一般白色的。每个方块的六个立方壳11外表面贴有上述三种颜色图案的正方形贴片各两片，所组成的立方块以斜对角面为界，斜对角面以上部分的立方壳11外的表面图案颜色都是红色，斜对角面以下部分的立方壳11外的表面图案颜色都是白色。用户在拼凑9个所示相同立方块成3行3列时，每个立方块朝上的表面图案会拼凑出不同的图案。

图3所示为本实施例基于实物交互的认知和运动功能检测系统的目标图案。用户在拼凑9个所示相同立方块成3行3列时，每个立方块朝上的表面图案会拼凑出不同的图案，根据每个如图3所示给定的任务和实际拼凑的图案效果，记录包括拼凑方块的完成时间、完成情况等信息，对这些信息进行对比分析，可以对用户认知功能进行检测评估。

图4所示，基于实物交互的认知和运动功能检测系统硬件系统主要包括：

MCU：即微控制单元，具有体积小、功耗低、成本低、性能高的优点，执行效率较高，可以满足方块大小的要求，而且能够满足控制传感器采集数据及数据传输的要求。

传感器单元：包括压力传感器12、惯性传感器14，可以同时对多种生理数据进行采集。同时，以后也方便扩展其他的传感部件以增加方块的功能。

数据传输模块：使用蓝牙通信模块15进行数据无线传输。

图5所述基于实物交互的认知和运动功能检测系统数据处理主要包括：

数据收集：由压力传感器12、惯性传感器14采集到的原始数据，通过传输模块传输到计算机端，统一到方便于数据处理的格式。

数据预处理：原始数据需要经过预处理的操作转化为能被数据分析所用的形式才能进行后续的操作。如压力传感器12和惯性传感器14采集到的数据是时间序列的数据，需要进行对齐、去噪、滤波等处理以尽量消除噪声等的影响。

特征提取：经过数据预处理后，得到了有效数据；根据压力传感器12和惯性传感器14所采集的数据需对操作过程中的动作进行切分，被切分的动作包括拿起/放下、握住不动以及移动。在这些动作中，有触发相应震颤类型的动作，如抓握不动可触发静止性震颤，移动物体可触发运动性震颤，而这些不同的震颤类型又与不同的神经系统疾病有明显的关联。同时对于压力传感器12和惯性传感器14所采集的数据，进行特征提取，利用这些特征，为后续建立模型判断用户健康状况提供支持。具体特征提取方式如下：

第一种为抓握和移动方块：对于患有神经系统疾病的用户，会有抓握力度不集中的现象，那么在进行抓握方块动作时，由于无法正确感知物体重量，在不同的动作内，其抓握方块的力度会区分于正常人；并且，患有特发性震颤、帕金森症等疾病的患者，在运动过程中会有震颤、抖动、偏移等现象。在对动作进行切分以后，首先要进行的是对其经行进一步的时间优选和二次切分，以保证在获得的数据没有由动作切换带来的边界数据。其次，根据动作的种类和性质，划分相应大小的时间窗口。对于压力传感器12和惯性传感器14所采集的数据，可以将患病用户与正常用户在相同动作内的特征进行比较，比较数据包括在时域层面分析窗内的统计数值，如最大值，最小值，平均值，峭度，偏斜度，波峰波谷信息等，形成时域特征向量；以及对时间窗做快速傅里叶变换，获取窗内数据的频域分布信息，并在频域层面分析频域的一些特征，如波峰数和分布等，形成频域特征向量。利用这些数据，作为最终获取用户在是否有病层面或有什么病的层面的分类结果的特征。

第二种为拼凑方块：认知障碍会造成认知上的偏差，用户通过对9个方块的图形拼凑，记录用户拼凑每个任务的完成时间和完成情况，作为评判认知的参考指标。

建立模型：通过压力传感器12和惯性传感器14得到的压力和运动状态的特征，利用机器学习的方法，可以将健康用户和非健康用户的部分数据用作训练集，使用不同的分类方法进行训练，并用剩余的用户数据进行评估，从而得出效果最为理想的预警模型。

由于不同的特征的参数变量是低维参数，根据特征提取得到的不同特征，使用多项式基函数就能达到较好的分类效果。最终，可以通过各部分特征单独分析及加权综合平均分析来综合考察用户的健康状况。

结果评估：经过上述模型的训练分析，可以将处理得到的生理数据可视化显示出来，并根据分析的结果进行评估，得到用户健康状况的报告。在用户日常使用方块过程中，可以利用模型得到的评估结果进行健康状况的监控，若发现问题则及时通知用户，起到预警的作用。评估得到的数据同时可用来帮助医生进行疾病的诊断。

本发明所提供神经系统健康诊断系统，通过在立方块的基础上增加了多种传感器，不仅对方块的功能进行了丰富，而且能在日常工作和生活中方便而又自然的实现健康状况监测。其二，专用医疗量表测试需要临床经验丰富的医生的监督诊断，使用本系统检测神经系统认知和运动功能指标并不需要医生的辅助即可完成全部测试，省掉了不必要的麻烦。其三，减少了门诊负担，实现日常的自我监护。就医难的问题一直是近年来政府关心的一大难题，医生的数量有限，而患者的数量又远远大于医生的数量，挂号难、住院难等问题难以解决，矛盾日益激化，甚至近两年间“医闹事件”频发。实际上，很多日常的监护如果能在家中自行完成，那将很大减轻医院的压力。我们希望本发明能够帮助实现对健康的日常监测，也提高人们在生活中对于疾病预防的意识，而不再仅仅是“有病治病”。其四，为临床研究提供数据支持。患者用户的日常行为数据能够为临床研究提供极大的价值，研究者通过这些数据能够广泛的了解病患在日常行为表现中的特征，从而根据这些特征为其他患者的疾病预防监控提供帮助。

Claims (7)

1.一种基于实物交互的认知和运动功能检测系统，其特征在于，包括一数据处理单元，若干立方块壳，每一立方块壳表面设置有压力传感器、立方块壳内部设有惯性传感器、MCU微控制单元及通信模块；其中，压力传感器、惯性传感器分别与该MCU微控制单元数据连接，通信模块与该MCU微控制单元数据连接，该通信模块与该数据处理单元通信连接，用于将压力传感器、惯性传感器采集的传感器数据发送给该数据处理单元。

2.如权利要求1所述的系统，其特征在于，该立方块壳表面贴有由两种不同颜色的等腰直角三角形组成的正方形纸质贴片。

3.一种对权利要求1所述基于实物交互的认知和运动功能检测系统的数据处理方法，其步骤为：

1)对不同对象类别的传感器数据集进行特征提取作为训练集，利用机器学习的方法进行训练，创建一预警模型；其中，该传感器数据集为设定对象利用立方块壳完成设定任务过程中产生的传感器数据，传感器数据包括压力传感器数据和惯性传感器数据；

2)数据处理单元根据收到的传感器数据集中的压力传感器数据的变化，对惯性传感器数据进行切分；

3)根据建模列表中的标准子动作对应的惯性传感器数据识别切分后的惯性传感器数据分别对应的子动作；

4)提取步骤3)识别出的每一子动作对应的惯性传感器数据的特征；

5)利用预警模型对步骤4)提取的特征进行分析，确定该传感器数据集对应的预警信息。

4.如权利要求3所述的方法，其特征在于，根据压力传感器数据的变化，对惯性传感器数据进行切分的方法为：检测压力传感器数据的数值突变超过设定阈值的时刻，以检测到的这些时刻为惯性传感器数据的切分点，对惯性传感器数据进行切分。

5.如权利要求3所述的方法，其特征在于，通过采集设定对象通过立方块壳进行每一设定子动作时的惯性传感器数据，将其作为该子动作的标准子动作对应的惯性传感器数据。

6.如权利要求3所述的方法，其特征在于，根据每一切分后的惯性传感器数据生成对应的运动轨迹，将该运动轨迹与标准子动作的惯性传感器数据对应的运动轨迹进行对比，确定切分后惯性传感器数据对应的子动作。

7.如权利要求3～6任一所述的方法，其特征在于，所述惯性传感器数据的特征包括惯性传感器数据的时域特征和频域特征；其中，所述时域特征包括从惯性传感器数据中提取的振幅最大值、振幅最小值、振幅平均值、峭度、偏斜度、波峰波谷信息；所述频域特征为对所述时域特征进行傅里叶变换得到的频域分布信息。