CN105701806A - 基于深度图像的帕金森震颤运动特征检测方法及系统 - Google Patents

Abstract

本发明涉及一种基于深度图像的帕金森震颤运动特征检测方法及系统，所述方法包括以下步骤：首先令被检测者佩戴纯色手套，并由检测者人工选定画面中被检测者的手部位置；再通过色调过滤的方法识别分割画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；识别结果需从二维坐标转换为三维坐标，选择左上左下右上右下四个顶点以及中心点进行记录，写入文件；处理数据文件，分析拟合得到周期信息。与现有技术相比，本发明具有简单、快捷、准确、非侵入性等优点。

Description

基于深度图像的帕金森震颤运动特征检测方法及系统

技术领域

本发明涉及图像识别跟踪技术，具体地，涉及一种基于深度图像的帕金森震颤运动特征检测方法及系统。

背景技术

震颤是帕金森病的主要症状，一项前瞻性研究显示病理证实的帕金森病患者，在其疾病的发展过程中，或早或晚在病程中均有静止性震颤。尽管震颤在帕金森病中如此的常见，然而我们对于帕金森病震颤的认识，尤其是潜在的机制认识还远远不足。因此希望通过Kinect对于帕金森病的震颤的定量检测，可以将震颤更加细化，从震颤的位移，频率，加速度等参数水平更加准确认识帕金森病的震颤，进而为更进一步的震颤发生机制研究奠定基础。

目前临床上最常见的两种震颤原发性震颤和帕金森病震颤，尽管这两种震颤从震颤的频率，静止时出现还是动作时出现，发病年龄，其他伴随症状等方面可以进行鉴别。然而在疾病的早期，震颤可能为帕金森病患者的唯一表现，由于疾病间症状的重叠性，仅通过震颤来鉴别为帕金森病还是原发性震颤需要临床医生丰富的临床经验，而有时即使是经验丰富的临床医生也很难通过肉眼准确的鉴别。目前有证据提示帕金森病在疾病早期阶段的病程进展较后期阶段要快。因此，一旦早期诊断帕金森病，即应尽早开始治疗，争取掌握疾病的修饰时机，对今后帕金森病的整个治疗成败起关键性作用。因此如果患者为帕金森病，早期进行诊断非常重要。

经对现有技术的文献检索发现，公开号为104127187A的中国专利申请，公开了一种用于帕金森病人主要症状定量检测的可穿戴系统及方法，该专利中提出了利用可穿戴系统对帕金森病人进行震颤检测及其幅度稳定状态，肌肉僵直和运动缓慢症状等的检测，并显示检测结果。该系统具有统一的量化检测标准，三个主要症状检测集成于一个系统且能够提供完整和全面的病情检测。但检测过程需要病人佩戴复杂的检测装置，检测过程繁琐，且佩戴的手套本身较为厚重，对手部本身的震颤有所影响，导致检测结果不能如实反映病人的症状。针对帕金森震颤的检测，国内依然没有一个非侵入非干扰的简单有效的技术方案提出。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于深度图像的帕金森震颤运动特征检测方法及系统，实现帕金森震颤检测的非侵入非干扰、简单有效的技术。

根据本发明的一个方面，提供一种基于深度图像的帕金森震颤运动特征检测方法，所述方法通过色调过滤技术和区域生长算法实时分割识别患者手部图像，并通过预测目标位置缩小搜索范围，压缩计算量，继而转换得到手部三维坐标并记录数据，从而分析拟合数据获取手部震颤的运动学信息。

具体的，所述基于深度图像的帕金森震颤运动特征检测方法，包括以下步骤：

S1：令被检测者佩戴纯色手套，采集包含被检测者的手部的画面，选定画面中被检测者的手部位置；

S2：采用色调过滤识别方法识别S1选定画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；所述参考点属于手部像素点的任意一点，围绕其可进行整个手部的识别；

S3：将识别结果从二维坐标转换为三维坐标，选择左上、左下、右上、右下四个顶点以及中心点进行记录，写入数据文件；

S4：处理数据文件，分析拟合得到手部震颤的周期信息。

优选地，所述S2，具体为：根据输入的初始像素点，分析得到手部的整体色调以及手部在图像中的相对位置，以该初始像素点为起始，以区域生长的方式扫描附近的像素点，并通过比较色调相似度来判断是否属于手部像素点，从而将整个手部从背景中分割出来。

对所有像素点的色调分析是通过RGB色彩空间和HSL色彩空间之间的转换完成的，Kinect返回的彩色图像是BGRA格式，通过转换公式可以得到H分量(色调)以及L分量(亮度)：

$l=\frac{1}{2}(\max +min)$

$s=\left\{\begin{array}{ccc}0& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l},& if& 0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l},& if& l>\frac{1}{2}\end{array}\right.$

上述公式中：h即H为色调值(属于HSL格式)，g即G为绿色通道值(属于RGB格式)，b即B为蓝色通道值(属于RGB格式)，r即R为红色通道值(属于RGB格式)；l即L为亮度(属于HSL格式)，s即S为饱和度(属于HSL格式)。

而计算色调相似度的公式就是基于两个像素点的H和L分量进行计算：

$D=max(0,L\&times;(1-\frac{\left|H-H_0\right|}{\mathrm{\&theta;}}\left)\right)$

以上式子中，H和C代表了比较像素的H和L分量，H₀代表了被比较像素点的H分量，θ则代表了色调相差绝对值的阈值范围。从公式可知，当两个像素点间的色调差值小于θ时，色调差越小D越大，且在差值相同的情况下D与L分量成正比；当两个像素点的色调差大于θ时，则D为0，表示不属于同种色调。因此在扫描像素点时，围绕初始像素点层层扩展，并通过比较种子像素点和周围像素点的色调相似度D是否为0来判断是否为同类像素点，从而将整个手部从背景中分割。

优选地，所述S3，具体为：通过KinectSDK包提供的坐标系转换函数，得到在深度空间中对应的空间三维坐标，其x,y,z均以米为单位，x,y,z是三维坐标系中的坐标点；通过四个顶点，还原每一帧手部运动时手掌所在的平面；通过中心点，则代表手部的空间移动轨迹和反映震颤情况。

优选地，所述S4，具体为：对数据文件先进行初步处理，由于记录时将五个点(四个顶点和一个中心点)的坐标成组记录，所以需要批量处理，将每个数据文件分解为5个数据文件(对应于五个点)。同时由于目前仅探究数据的周期性规律，因此通过计算每个点到初始像素点的距离，将三维数据降至一维，舍去方向和位置信息，仅保留周期性。

根据分解后的数据绘制s-t图像，会发现除波动外，还有一定的偏移。这是由于手部在震颤过程中有大幅移动造成的。因此，通过平均平滑得到平衡曲线(一般取平滑的点数为10)，代表其中的偏移分量；再进行两条曲线的相减，得到纯震颤造成的波动分量。在此基础上，对波动曲线进行正弦波波形拟合，进而分析波动周期。

根据本发明的另一个方面，提供一种基于深度图像的帕金森震颤运动特征检测系统，所述系统包括：

手部位置选定模块，用于采集被检测者的佩戴纯色手套的手部画面，选定画面中被检测者的手部位置；

手部图像识别模块：对手部位置选定模块选定的检测者的手部位置的画面，采用色调过滤识别方法识别画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；

识别数据转换模块：将手部图像识别模块识别出的结果，从二维坐标转换为三维坐标，选择左上、左下、右上、右下四个顶点以及中心点进行记录，写入数据文件；

数据处理分析模块：处理数据文件，分析拟合得到手部震颤的周期信息。

与现有技术相比，本发明具有如下的有益效果：

本发明具有简单、快速、准确、非侵入性的优点，针对目前帕金森早期诊断中，人眼难以准确判断震颤幅度和频率的问题，提供了一个新的角度和解决方案，通过对手部图像的采集和处理，将手部震颤的运动学特征进行量化，为比较帕金森震颤和原发性震颤等提供更多数据比对和参考。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中实时跟踪识别示意图；

图2为本发明一实施例中选点记录示意图；

图3为本发明一实施例中原数据曲线和AA平滑后曲线示意图；

图4为本发明一实施例中波动分量曲线和拟合正弦波形示意图；

图5为本发明一实施例中系统结构框图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

本发明提供一种基于深度图像的帕金森震颤运动特征检测方法，在一优选的实施例中，通过Kinect(此处Kinect指的是硬件设备，KinectSDK指的是配套的软件包，程序通过该软件包对Kinect硬件进行操作)获取彩色图像和深度图像信息，并通过用彩色手套标明帕金森患者手部的方式利用色调过滤识别的方式确定和跟踪彩色图像中的手部位置，进而通过坐标系转换获取深度图像中对于手部位置的三维坐标，并记录到数据文件。通过分析拟合文件数据，获取患者手部震颤的运动学特征。

以下结合具体实施的过程对本发明作进一步的描述，具体如下：

1.手部位置选定：

首先将被检测患者的被检测手部带上纯色手套，手套优选为纯色彩色手套，便于在图像中对手部进行整体识别。手套的颜色需要选择鲜明醒目的颜色，便于与背景区分开，所以应选择与患者服装以及周边环境有所区别的颜色。如图1所示。

当患者进行规定动作且发生震颤需要检测记录时，在显示屏显示的画面中点击选择被检测的手部位置(可以人工选择)，点击位置的像素点被作为初始信息输入系统。

2.手部图像识别：

初始像素点的信息包含了手部的基本颜色信息和大致位置信息。其中颜色信息作为判断标准用于判断是否为手部像素点，位置信息则作为识别检测过程的起始位置确定了检测区域。因此初始像素点的选择对于整个识别跟踪过程至关重要。

在本发明中，根据输入的初始像素点，分析得到手部的整体色调以及手部在图像中的相对位置。以该初始像素点为起始，以区域生长的方式扫描附近的像素点，并通过比较色调相似度来判断是否属于手部像素点，从而将整个手部从背景中分割出来。

对所有像素点的色调分析是通过RGB色彩空间和HSL色彩空间之间的转换完成的，Kinect返回的彩色图像是BGRA格式，通过转换公式可以得到H分量(色调)以及L分量(亮度)：

$l=\frac{1}{2}(max+\min )$

$s=\left\{\begin{array}{ccc}0& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l},& if& 0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l},& if& l>\frac{1}{2}\end{array}\right.$

而计算色调相似度的公式就是基于两个像素点的H和L分量进行计算：

$D=max(0,L\&times;(1-\frac{\left|H-H_0\right|}{\mathrm{\&theta;}}\left)\right)$

以上式子中，H和C代表了比较像素的H和L分量，H₀代表了被比较像素点的H分量，θ则代表了色调相差绝对值的阈值范围。从公式可知，当两个像素点间的色调差值小于θ时，色调差越小D越大，且在差值相同的情况下D与L分量成正比；当两个像素点的色调差大于θ时，则D为0，表示不属于同种色调。因此在扫描像素时，围绕初始像素点层层扩展，并通过比较种子像素点和周围像素点的色调相似度D是否为0来判断是否为同类像素点，从而将整个手部从背景中分割。

这里的扫描方式是基于区域生长算法，选取种子点后，依次对邻域的点进行判断标准的检验，符合的压入栈中，并进行标记；不符合的则仅标记。检验完邻域的点后，重新从栈中取出点作为种子点，重复之前的操作，直到栈中再无点，扫描完成。

分割得到整个手部后，如图2所示，得到左上、右上、左下、右下四个顶点以及平均得到中心点。中心点即代表手部，作为当前帧的识别跟踪结果返回。

在后续帧中，以上一帧的返回的中心点坐标作为参考点，在其周围一定半径范围(可以根据实际情况进行设定)内搜索，依次检验像素点与参考点的色调相似度；当搜索到符合条件的像素点时，立即停止搜索，并把当前像素点作为起始点，同样适用区域生长的方式扫描分割附近的像素，完成识别过程。这样做比起直接对整个图像进行色调过滤，缩小了扫描范围，大大压缩了计算量，使得实时跟踪成为可能。

3.识别数据转换模块：

在识别跟踪的同时，会实时显示跟踪结果。显示部分是在识别跟踪的时候，即同步完成的。每次扫描检验过一个像素点，如果判定位手部元素，则会相应在和图像像素长度相同的像素队列中标记相应位置。因此，当跟踪识别完成时，可同步得到一幅等尺寸的二值图像，显示手部在整个图像中的位置形态。

显示每一帧跟踪结果的同时，也会对结果进行记录。为了压缩数据量，并尽可能地还原手部运动情况，仅选取左上，右上，左下，右下四个顶点以及平均得到的中心点的坐标信息进行记录，同时记录当前系统时间，以毫秒为单位。

由于识别结果得到的仅是在彩色图像中的平面二维坐标；因此还需要通过KinectSDK包提供的坐标系转换函数，得到在深度空间中对应的空间三维坐标，其x,y,z均以米为单位。通过四个顶点，可以大致还原每一帧手部运动时，手掌所在的平面；通过中心点，则可以大致代表手部的空间移动轨迹，和反映震颤情况。

4.数据处理分析：

对数据文件需要先进行初步处理。由于记录时将五个点的坐标成组记录，所以需要批量处理，将每个数据文件分解为5个数据文件。同时由于目前仅探究数据的周期性规律，因此通过计算每个点到初始点的距离，将三维数据降至一维，舍去方向和位置信息，仅保留周期性。

此时根据分解后的数据绘制s-t图像，会发现除波动外，还有一定的偏移。这是由于手部在震颤过程中有大幅移动造成的。因此，通过平均平滑得到平衡曲线(一般取平滑的点数为10)，代表其中的偏移分量；再进行两条曲线的相减，得到纯震颤造成的波动分量。在此基础上，对波动曲线进行正弦波波形拟合，进而分析波动周期。

本发明通过Kinect同时获取彩色图像和深度图像，通过前者识别定位手部位置，通过后者转换获取空间位置信息，从而实时确定手部运动轨迹。识别过程利用纯色手套进行标记，通过色调过滤技术和区域生长算法结合完成。在实时显示跟踪效果的同时，记录数据；并对数据进行初步拟合分析后，得到周期信息。

如图5所示，在另一实施方式中，提供一种基于深度图像的帕金森震颤运动特征检测系统，所述系统包括：

手部位置选定模块，用于采集被检测者的佩戴纯色手套的手部画面，选定画面中被检测者的手部位置；

手部图像识别模块：对手部位置选定模块选定的检测者的手部位置的画面，采用色调过滤识别方法识别画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；

识别数据转换模块：将手部图像识别模块识别出的结果，从二维坐标转换为三维坐标，选择左上、左下、右上、右下四个顶点以及中心点进行记录，写入数据文件；

数据处理分析模块：处理数据文件，分析拟合得到手部震颤的周期信息。

上述系统中各个模块的实现技术与上述基于深度图像的帕金森震颤运动特征检测方法各部分的技术对应，在此不再赘述，对于本领域技术人员来说，是很容易理解的。

针对目前帕金森早期诊断中，人眼难以准确判断震颤幅度和频率的问题，本发明提供了一个新的角度和解决方案，将手部震颤的运动学特征进行量化，为比较帕金森震颤和原发性震颤等提供更多数据比对。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于深度图像的帕金森震颤运动特征检测方法，其特征在于，包括以下步骤：

S1：令被检测者佩戴纯色手套，采集包含被检测者的手部的画面，选定画面中被检测者的手部位置；

S2：采用色调过滤识别方法识别S1选定画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；

S3：将识别结果从二维坐标转换为三维坐标，选择左上、左下、右上、右下四个顶点以及中心点进行记录，写入数据文件；

S4：处理数据文件，分析拟合得到手部震颤的周期信息。

2.根据权利要求1所述的基于深度图像的帕金森震颤运动特征检测方法，其特征在于，所述S2，具体为：根据输入的初始像素点，分析得到手部的整体色调以及手部在图像中的相对位置，以该初始像素点为起始，以区域生长的方式扫描附近的像素点，并通过比较色调相似度来判断是否属于手部像素点，从而将整个手部从背景中分割出来。

3.根据权利要求2所述的基于深度图像的帕金森震颤运动特征检测方法，其特征在于，对所有像素点的色调分析是通过RGB色彩空间和HSL色彩空间之间的转换完成的，Kinect返回的彩色图像是BGRA格式，通过转换公式得到H分量(色调)以及L分量(亮度)：

$l=\frac{1}{2}(max+\min )$

$s=\left\{\begin{array}{ccc}0& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l},& if& 0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l},& if& l>\frac{1}{2}\end{array}\right.$

而计算色调相似度的公式就是基于两个像素点的H和L分量进行计算：

$D=max(0,L\&times;(1-\frac{\left|H-H_0\right|}{\mathrm{\&theta;}}\left)\right)$

以上式子中，H和L代表了比较像素的H和L分量，H₀代表了被比较像素点的H分量，θ则代表了色调相差绝对值的阈值范围；从公式可知，当两个像素点间的色调差值小于θ时，色调差越小D越大，且在差值相同的情况下D与L分量成正比；当两个像素点的色调差大于θ时，则D为0，表示不属于同种色调；在扫描像素点时，围绕初始像素点层层扩展，并通过比较种子像素点和周围像素点的色调相似度D是否为0来判断是否为同类像素点，从而将整个手部从背景中分割。

4.根据权利要求1所述的基于深度图像的帕金森震颤运动特征检测方法，其特征在于，所述S3，具体为：通过KinectSDK包提供的坐标系转换函数，得到在深度空间中对应的空间三维坐标，其x,y,z均以米为单位，x,y,z是三维坐标系中的坐标点；通过四个顶点，还原每一帧手部运动时手掌所在的平面；通过中心点，则代表手部的空间移动轨迹和反映震颤情况。

5.根据权利要求1所述的基于深度图像的帕金森震颤运动特征检测方法，其特征在于，所述S4，具体为：对数据文件先进行初步处理，由于记录时将四个顶点和一个中心点的坐标成组记录，所以需要批量处理，将每个数据文件分解为对应四个顶点和一个中心点的5个数据文件，通过计算每个点到初始像素点的距离，将三维数据降至一维，舍去方向和位置信息，仅保留周期性。

6.根据权利要求5所述的基于深度图像的帕金森震颤运动特征检测方法，其特征在于，根据分解后的数据绘制s-t图像，会发现除波动外，还有一定的偏移，通过平均平滑得到平衡曲线，代表其中的偏移分量；再进行两条曲线的相减，得到纯震颤造成的波动分量，在此基础上，对波动曲线进行正弦波波形拟合，进而分析波动周期。

7.一种用于实现上述权利要求1-6任一项所述得到的基于深度图像的帕金森震颤运动特征检测系统，其特征在于，所述系统包括：

手部位置选定模块，用于采集被检测者的佩戴纯色手套的手部画面，选定画面中被检测者的手部位置；

手部图像识别模块：对手部位置选定模块选定的检测者的手部位置的画面，采用色调过滤识别方法识别画面中的手部图像；每一帧都依据上一帧的识别结果进行预测，确定参考点后完成识别；

识别数据转换模块：将手部图像识别模块识别出的结果，从二维坐标转换为三维坐标，选择左上、左下、右上、右下四个顶点以及中心点进行记录，写入数据文件；

数据处理分析模块：处理数据文件，分析拟合得到手部震颤的周期信息。