CN103584919A - 多模态生物信号同步检测系统及方法 - Google Patents

Abstract

本发明提出一种多模态生物信号同步检测系统，包括实时同步采集多源信号的信号采集模块及相连接的对多源信号进行融合处理和分析的信号处理模块。信号采集模块包括采集超声图像的超声图像采集单元、采集生理学信号的生理信号采集单元及采集运动学信号的运动学信号采集单元，信号处理模块采用多线程通信及时间戳的方法控制信号采集模块实现超声图像、生理学信号及运动学信号的实时同步采集，信号处理模块采用特征提取和统计学习方法进行信号处理，并建立运动模型。所述系统利用超声成像技术无创、便捷、价廉的特点，综合超声影像技术及运动、电生理多种技术，可实现人体运动多信息的实时同步检测。本发明另外提供一种多模态生物信号同步检测方法。

Description

多模态生物信号同步检测系统及方法

技术领域

本发明涉及人体运动生物力学技术领域，尤其涉及一种多模态生物信号同步检测系统及方法。

背景技术

人体运动生物力学研究一直是国内外研究的热点和焦点问题，运动生物力学研究的对象是人体，是一门交叉的学科，除了与解剖学、生理学结合较多外，与医学、康复结合也逐渐密切。随着运动生物力学的发展，研究内容已经逐渐由为奥运战略服务向竞技体育上扩展；对人体的研究，已由对人体整体运动的研究，逐渐发展到不同环节和结构的深入研究；由对人体运动的描述性研究，发展到探讨运动时神经肌肉的控制以及运动系统和感觉系统的整合。对人体运动生物力学研究的方法主要包括高速摄影（二维与三维）、录像，肌电、肌力测试系统，同步测试、理论分析及CT、核磁共振等方法。

随着对人体运动生物力学研究的深入，同时由于人体运动力学参数具有非线性、时变形、随机性等特征，单纯采用运动学、生理学或影像学的方法将难以反映人体运动状态的准确性，由此需要综合多种技术进行分析研究。

李乔亮等人在“融合实时超声影像的多模态肌肉运动特性研究”（中国生物医学工程学报，2012，31(4):519-525）中提出一种多模态方法，联合肌电信号、肌音信号和超声影像三种信号，对肌肉活动特性进行研究，研发多通道运动学信号采集系统，对包括超声影像在内的多种信号进行实时同步采集；开发一种新的图像追踪算法，实现肌肉边界的自动追踪；对膝关节伸展时股直肌等长收缩的情况进行研究，对采集的各种信号进行特性分析；联合多种参数，采用多变量拟合的方法对关节力矩进行估计。

申请号为201210214871.4的中国专利提出了一种肌电信号与关节角度信息融合的下肢运动轨迹预测方法，将表面肌电(EMG)与运动力学相结合，主要用于康复医疗器械的设计制造，可有效地提高肌电控制假肢运动的稳定性。

申请号200910184851.5的中国专利提出了一种多参数生物信息测试平台及测试方法，该多参数生物信息测试平台包括由高速影像采集单元、步态触觉信息测试单元、表面肌电采集单元、加速度/角度测试单元、心率/脉搏测试单元集成的生物力学测试通道，各单元经以太网接口连接，经过时钟服务器实现各单元测量生物特征参数的时域精确同步。

然而，由于人体的运动是神经系统、肌肉系统和骨骼系统协同工作的结果，肌肉收缩是人体产生运动的主动力。了解人体运动、揭示人体运动规律，就必然要了解肌肉的结构、形态和功能。且由于运动过程的复杂性和多样性，对运动过程中肌肉功能和特性的研究是一项复杂和艰巨的任务，特别是如何对人体运动时同时获取多种信息并进行多层次综合处理仍然是有待解决的难题。

现有技术中，对于人体运动多种信息的获取，大部分仍采用的是多台检测设备分开操作，各设备间独立运行时，维护起来难度大、兼容性不足，且难以将信息集成在一个统一的系统框架下进行综合处理与分析。虽然有报道将高速影像系统融合到人体运动信息的测量中，但是只能反映人体运动行为的外部特性，不能深入、准确地反映人体运动肌肉内部结构和形态变化。而采用其他影像技术，如核磁共振(MRI)来研究肌肉的变化，则需要面对MRI设备价格昂贵、操作复杂等实际问题。

发明内容

针对上述问题，本发明的目的是提供一种多模态生物信号同步检测系统及方法。

一种多模态生物信号同步检测系统，包括实时同步采集多源信号的信号采集模块及对所述多源信号进行融合处理和分析的信号处理模块，所述信号采集模块和所述信号处理模块相连接。所述信号采集模块包括采集超声图像的超声图像采集单元、采集生理学信号的生理信号采集单元及采集运动学信号的运动学信号采集单元，所述信号处理模块采用多线程通信及时间戳的方法控制所述信号采集模块实现所述超声图像、所述生理学信号及所述运动学信号的实时同步采集，所述信号处理模块采用特征提取和统计学习方法对所述超声图像、所述生理学信号及所述运动学信号进行信号处理，并建立运动模型。

本发明一较佳实施例中，所述信号处理模块对所述超声图像、所述生理学信号及所述运动学信号进行特征提取，获得肌肉形态学参数、肌电参数及运动学参数。

本发明一较佳实施例中，所述超声图像经过视频采集卡或数据接口进行数字化处理后传送至所述信号处理单元，数字化处理时利用差分斑点追踪法动态追踪运动过程中的肌束的长度、利用霍夫变换计算羽状角和肌肉厚度、以及利用组合多普勒的方法估计肌肉的收缩速度，获得所述肌肉形态学参数。

本发明一较佳实施例中，所述生理学信号包括肌电信号，所述肌电信号经过信号调理电路进行放大和滤波处理，获得所述肌电参数，并通过数据采集卡传送至所述信号处理单元。

本发明一较佳实施例中，所述信号调理电路采用两级隔离放大并经过滤波处理来提取所述肌电信号。

本发明一较佳实施例中，所述运动学信号包括分别通过电角度计和足底压力系统采集的关节角度值和足底压力，所述关节角度值和所述足底压力构成运动学参数，并通过数据采集卡传输至所述信号处理单元。

本发明一较佳实施例中，所述超声图像采集单元包括固定于待测部位的超声探头及便捷式超声设备。

本发明一较佳实施例中，所述生理信号采集单元包括贴附于肌体表面的肌电电极及EMG采集器。

本发明一较佳实施例中，所述运动学信号采集单元包括贴附于关节处的电子角度计及设置于足底的足底压力系统。

本发明提供一种多模态生物信号同步检测方法，其包括以下步骤：

S11、实时同步采集超声图像、生理学信号及运动学信号；

S13、对所述超声图像、所述生理学信号及所述运动学信号进行处理及特征提取，获得肌电参数、肌肉形态学参数及运动学参数；

S15、对所述肌电参数、所述肌肉形态学参数及所述运动学参数进行统计学习，并建立运动模型。

相较于现有技术，本发明提供的多模态生物信号同步检测系统具有如下优点：其一、利用超声成像技术无创、安全、便捷、价廉的特点，综合超声影像技术及运动、电生理多种技术，可以实现人体运动多信息的实时同步检测，采集人体肌肉超声图像以及其他生理信号，包括表面肌电信号、足底压力信号、关节角度信号，进而可以反映人体多模态的运动。其二、采用多线程通信及时间戳的方法控制实现多源信号的实时同步采集，可以有效的减少硬件电路、降低成本。此外，本发明提供的多模态生物信号同步检测方法步骤较简单，易于操作实现。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举实施例，并配合附图，详细说明如下。

附图说明

图1为本发明第一实施例提供的多模态生物信号同步检测系统的示意图。

图2为本发明第二实施例提供的多模态生物信号同步检测方法的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

请参阅图1，本发明第一实施例提供一种多模态生物信号同步检测系统100，其用于实现多源信号的实时同步采集及融合处理与分析，所述多模态生物信号同步检测系统100包括包括实时同步采集多源信号的信号采集模块10及对所述多源信号进行融合处理和分析的信号处理模块30，所述信号采集模块10和所述信号处理模块30相连接。所述信号采集模块10包括采集超声图像的超声图像采集单元11、采集生理学信号的生理信号采集单元13及采集运动学信号的运动学信号采集单元15，所述信号处理模块30采用多线程通信及时间戳的方法控制所述信号采集模块10实现所述超声图像、所述生理学信号及所述运动学信号的实时同步采集，所述信号处理模块30采用特征提取和统计学习方法对所述超声图像、所述生理学信号及所述运动学信号进行信号处理，并建立运动模型。

可以理解的是，采集获取的超声信号（所述超声图像）还包括原始射频信号，其结合获得的超声图像，可以测量肌束长度、羽状肌的肌纤维角度、肌肉的厚度以及收缩速度，因此，所述超声图像可以反映人体运动时的形态学信息，如肌束长度、羽状肌的肌纤维角度、肌肉的厚度及收缩速度等。所述生理学信号可以通过人体运动时表面肌电信号的表征。所述运动学信号则可以通过人体运动时各个关节的角度值及足底的压力等来表征，其中，足底压力信号主要包括平衡度、重心、步态相位信号等。由此，通过所述超声图像采集单元11、所述生理信号采集单元13及所述运动学信号采集单元15即可以实时采集人体运动时的形态学信息、生理学信息及运动生物力学信息。

本实施例中，所述超声图像采集单元11包括固定于待测部位的超声探头及便捷式超声设备，采集操作时，利用便捷式超声设备采集所述超声图像，将超声探头通过固定装置固定在待测部位，并通过适量的超声耦合剂与皮肤表面直接接触。所述生理信号采集单元13包括贴附于肌体表面的肌电电极及EMG采集器，采集操作时，利用EMG采集器采集生理学信号，将肌电电极贴在人体肌肉表面，测量人体运动时表面肌电信号。所述运动学信号采集单元15包括贴附于关节处的电子角度计及设置于足底的足底压力系统，采集操作时，将电子角度计分别贴在人体手臂肘、膝、踝、肩等关节，测量各关节的角度值，利用足底压力系统测量足底压力信号。

本实施例中，所述信号处理模块30为计算机，其集成了多种信号数据，为了实现多源信号（所述超声图像、所述生理学信号及所述运动学信号）实时同步采集，本发明采用多线程通信及时间戳的方法来完成同步，其主要过程是：超声信号（所述超声图像）采用视频采集卡采集，触发脉冲采用脉冲触发电路输出的同步脉冲，采样频率为100MHz、长度为4000点、重复频率为25帧／秒。电子角度计输出的角度信号、经预处理的EMG信号和足底压力信号通过有多个输入通道DAQ卡连续采集，采样频率1kHz。超声信号采集线程工作在主线程，DAQ卡采集线程工作在后台。将采集的数据通过双缓冲的方式存储在计算机中，利用时间戳概念记录先后采集的数据，按时间顺序供后续显示界面显示具体的信号。

可以理解的是，所述信号处理模块30也可以为独立的处理器或者集成于处理器中的处理单元，且集成有相应的数据存储单元。

所述信号处理模块30对所述超声图像、所述生理学信号及所述运动学信号进行特征提取，获得肌肉形态学参数、肌电参数及运动学参数。

所述超声图像由视频采集卡或数据接口17进行数字化处理，并以一定的采样速率采集传送到所述信号处理模块30。具体地，所述超声图像经过视频采集卡或数据接口17数字化处理后传送至所述信号处理单元30，数字化处理时利用差分斑点追踪法动态追踪运动过程中的肌束的长度、利用霍夫变换计算羽状角和肌肉厚度、以及利用组合多普勒的方法估计肌肉的收缩速度，获得所述肌肉形态学参数。

所述生理学信号包括肌电信号，所述肌电信号经过信号调理电路进行放大和滤波处理，获得所述肌电参数，并通过数据采集卡19传送至所述信号处理单元30。由于EMG信号比较微弱，并且易受干扰，在被传送到所述信号处理单元30之前需要进行放大和滤波处理。本实施例中，所述信号调理电路采用两级隔离放大并经过滤波处理来提取所述肌电信号，可以有效提取10～800Hz的肌电信号。

本实施例中，EMG信号通过Matlab软件进行处理，提取有关幅度和频率的指标、计算均方根值（RMS）、平均功率频率（MPF），对于RMS进一步进行小波变换平滑处理。

所述运动学信号包括分别通过电角度计和足底压力系统采集的关节角度值和足底压力，所述关节角度值和所述足底压力构成运动学参数，并通过所述数据采集卡19传输至所述信号处理单元30。

本实施例中，针对肌肉形态学参数、肌电参数及运动学参数，所述信号处理单元30可以采用用互信息量、回归分析、线性拟合、线性判别分析、主元分析等方法找到各参数的线性最佳组合，并探索各种参数之间的非线性组合。所述信号处理单元30还可以采用各种分类方法对提取的肌肉形态学参数、肌电参数及运动学参数进行统计学习，例如：支持向量机(SVM)、神经网络(ANN)等，探索分析人体运动过程的规律，并建立人体运动过程的模型。

请参阅图2，本发明第二实施例提供一种多模态生物信号同步检测方法，其包括以下步骤：

S11、实时同步采集超声图像、生理学信号及运动学信号。

本实施例中，利用所述多模态生物信号同步检测系统100中的超声图像采集单元11、生理信号采集单元13及运动学信号采集单元15实时同步地采集超声图像、生理学信号及运动学信号。具体地，如本发明第一实施例中记载的内容，此处不再赘述。

S13、对所述超声图像、所述生理学信号及所述运动学信号进行处理及特征提取，获得肌电参数、肌肉形态学参数及运动学参数。

具体地，如本发明第一实施例中记载的内容，此处不再赘述。

S15、对所述肌电参数、所述肌肉形态学参数、及所述运动学参数进行统计学习，并建立运动模型。

本实施例中，利用所述多模态生物信号同步检测系统100中的信号处理模块30对所述肌电参数、所述肌肉形态学参数、及所述运动学参数进行统计学习，并建立运动模型。具体地，可以采用用互信息量、回归分析、线性拟合、线性判别分析、主元分析等方法找到各参数的线性最佳组合，并探索各种参数之间的非线性组合。所述信号处理单元30还可以采用各种分类方法对提取的肌肉形态学参数、肌电参数及运动学参数进行统计学习，例如：支持向量机(SVM)、神经网络(ANN)等，探索分析人体运动过程的规律，并建立人体运动过程的模型。

相较于现有技术，本发明提供的多模态生物信号同步检测系统100具有如下优点：其一、利用超声成像技术无创、安全、便捷、价廉的特点，综合超声影像技术及运动、电生理多种技术，可以实现人体运动多信息的实时同步检测，采集人体肌肉超声图像以及其他生理信号，包括表面肌电信号、足底压力信号、关节角度信号，进而可以反映人体多模态的运动。其二、采用多线程通信及时间戳的方法控制实现多源信号的实时同步采集，可以有效的减少硬件电路、降低成本。此外，本发明提供的多模态生物信号同步检测方法步骤较简单，易于操作实现。

以上所述，仅是本发明的实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种多模态生物信号同步检测系统，包括实时同步采集多源信号的信号采集模块及对所述多源信号进行融合处理和分析的信号处理模块，所述信号采集模块和所述信号处理模块相连接，其特征在于，所述信号采集模块包括采集超声图像的超声图像采集单元、采集生理学信号的生理信号采集单元及采集运动学信号的运动学信号采集单元，所述信号处理模块采用多线程通信及时间戳的方法控制所述信号采集模块实现所述超声图像、所述生理学信号及所述运动学信号的实时同步采集，所述信号处理模块采用特征提取和统计学习方法对所述超声图像、所述生理学信号及所述运动学信号进行信号处理，并建立运动模型。

2.如权利要求1所述的多模态生物信号同步检测系统，其特征在于，所述信号处理模块对所述超声图像、所述生理学信号及所述运动学信号进行特征提取，获得肌肉形态学参数、肌电参数及运动学参数。

3.如权利要求2所述的多模态生物信号同步检测系统，其特征在于，所述超声图像经过视频采集卡或数据接口进行数字化处理后传送至所述信号处理单元，数字化处理时利用差分斑点追踪法动态追踪运动过程中的肌束的长度、利用霍夫变换计算羽状角和肌肉厚度、以及利用组合多普勒的方法估计肌肉的收缩速度，获得所述肌肉形态学参数。

4.如权利要求2所述的多模态生物信号同步检测系统，其特征在于，所述生理学信号包括肌电信号，所述肌电信号经过信号调理电路进行放大和滤波处理，获得所述肌电参数，并通过数据采集卡传送至所述信号处理单元。

5.如权利要求4所述的多模态生物信号同步检测系统，其特征在于，所述信号调理电路采用两级隔离放大并经过滤波处理来提取所述肌电信号。

6.如权利要求2所述的多模态生物信号同步检测系统，其特征在于，所述运动学信号包括分别通过电角度计和足底压力系统采集的关节角度值和足底压力，所述关节角度值和所述足底压力构成运动学参数，并通过数据采集卡传输至所述信号处理单元。

7.如权利要求1所述的多模态生物信号同步检测系统，其特征在于，所述超声图像采集单元包括固定于待测部位的超声探头及便捷式超声设备。

8.如权利要求1所述的多模态生物信号同步检测系统，其特征在于，所述生理信号采集单元包括贴附于肌体表面的肌电电极及EMG采集器。

9.如权利要求1所述的多模态生物信号同步检测系统，其特征在于，所述运动学信号采集单元包括贴附于关节处的电子角度计及设置于足底的足底压力系统。

10.一种多模态生物信号同步检测方法，其包括以下步骤：

S11、实时同步采集超声图像、生理学信号及运动学信号；

S13、对所述超声图像、所述生理学信号及所述运动学信号进行处理及特征提取，获得肌电参数、肌肉形态学参数及运动学参数；

S15、对所述肌电参数、所述肌肉形态学参数及所述运动学参数进行统计学习，并建立运动模型。

Images