CN108197564B - 一种画钟试验的评估系统及方法 - Google Patents

Abstract

本发明公开了一种画钟试验的评估系统，包括用于采集画钟试验所得图像信息的采集模块；与所述采集模块相连的预处理模块，所述预处理模块对所述采集模块所采集的图像信息进行预处理；与所述预处理模块相连的分析模块，所述分析模块采用深度学习模型对预处理后的图像信息进行分析，所述深度学习模型采用卷积神经网络；与分析模块相连的评估模块，所述评估模块对所述分析模块得到的结果进行评价。本发明技术方案还提供了画钟试验的评估方法，形成了一套严谨的画钟试验的评价体系，无需人为进行评估，所以不受人为的主观因素影响，且不会受限于评价者的经验，只要能够操作该系统即可，整个系统具有高效率、低功耗、高便携度的特点。

Description

一种画钟试验的评估系统及方法

技术领域

本发明涉及医疗设备的技术领域，尤其涉及一种画钟试验的评估系统及方法。

背景技术

画钟实验(CLOCK DRAWING TEST,CDT)是一种快速评估视觉空间和实践能力的测试，并且可以明确是否存在注意力和执行功能障碍，画钟实验已经成为目前最为广泛使用认知筛查工具之一，也可作为其他简单筛查量表的补充，如临床常用的简短精神状态量表(Mini-Mental State Examination，MMSE)。CDT是一个简单的任务完成测试，除了快速简便、不受语言限制的优点之外，尚具备敏感度、特异度高，优秀的重测信度、内部一致性及效度，与其他认知量表一致性高等优点，具备作为一个筛查量表的重要特质。大量前期研究提示，CDT对认知障碍检测的敏感性和特异性约为85％，重测信度为0.76～0.94，内部一致性为0.79～0.99(Freedman,Leach,Kaplan,Winocur,Shulman and Delis 1994,Manos andWu 1994,Mendez,et al.1992)。在对151例卒后患者的研究中得到CDT与MMSE、CFIM(cognitive Functional Independence Measure)量表相关系数(r)为0.51～0.59(Archives of gerontology and geriatrics,2002,35(2):153-160.)。

CDT有多种版本及评估方案，主要可以归类为两种情况。第一种为指令条件：自由绘制时钟、预先绘制的时钟；第二种为复制调节：复制时钟、时钟阅读测试。对其结果进行评价的方式为计分制，计分方法超过20余种。国内外对总分及计分方式均无统一的评分标准，大致有3分法、4分法、6分法、7分法、10分法、30分法等。其中，3分法CDT评估方案最为简便，轮廓、数字、指针正确分别得1分，总共3分。国内较为常用的为4分法和7分法。4分法在3分法的基础上，将数字变为2分，数字及数字的位置正确各计1分。7分法将数字和指针更为细化，数字计3分(数字、顺序、位置)，指针计4分(指针数量、时针位置、分针位置、指针长短)(中华医学会精神病学分会2007)。然而，临床对画钟试验的应用尚不深入，主要在于对错误评判标准不统一，评分主观性大。较为简略的3分法尚可应用，评估相对复杂但有临床价值的7分法开展困难。鉴于目前无论采用何种计分方式，均是由医师或是社会工作者进行评估打分，很有可能产生人为误差，这就要求评估者的经验要非常丰富，因而具有很大的主观性，结果重复性及可靠性可能较差。认知障碍是临床常见症状，早期诊疗对于预后具有重大意义，目前迫切需要建立，客观，易操作，可重复性好，迅速评估系统，以协助临床诊疗工作。

发明内容

本发明技术方案需要解决的技术问题是画钟试验的结果需要人为去评估，受限于评估人的经验，没有严谨的评价系统，受主观因素影响较大。

为解决上述技术问题，本发明技术方案提供了一种画钟试验的评估系统，包括：

用于采集画钟试验所得图像信息的采集模块；

与所述采集模块相连的预处理模块，所述预处理模块对所述采集模块所采集的图像信息进行预处理；

与所述预处理模块相连的分析模块，所述分析模块采用深度学习模型对预处理后的图像信息进行分析，所述深度学习模型采用卷积神经网络；

与分析模块相连的评估模块，所述评估模块对所述分析模块得到的结果进行评价。

可选的，所述采集模块包括采集器件，与所述采集器件相连的信号接收装置，以及与所述信号接收装置相连的数据存储装置。

可选的，所述采集器件包括采集设备和信息传感器，所述采集设备与所述信息传感器相连，所述信息传感器与所述信号接收装置相连。

可选的，所述采集模块还包括用于控制信息传感器的参数的控制模块，所述控制模块与所述信息传感器相连。

可选的，所述预处理模块包括：二值化处理模块，所述二值化处理模块与所述的数据存储装置相连；与所述二值化处理模块相连的图片处理模块。

为解决上述技术问题，本发明技术方案还提供了一种画钟试验的评估方法，包括以下步骤：

步骤S1：获得画钟试验的图像信息，包括：采集图像和存储图像；

步骤S2：对所述存储的图像信息进行预处理，所述预处理具体包括：二值化处理所述存储的图像，得到黑白图像；利用主动轮廓模型对所述黑白图像进行分割，得到目标轮廓；沿着目标轮廓进行剪裁，得到预设大小的目标图片；

步骤S3：分析所述目标图片，具体过程为：利用深度学习模型提取所述目标图片的若干特征值，并将所述若干特征值进行分类，最后计算出所述若干特征值的置信度；

步骤S4：通过比较若干所述置信度与相应阈值的大小，获得若干所述特征值的得分；

步骤S5：综合若干所述特征值的得分，得到总得分，将所述总得分与预设值进行比较，得到评估结果。

可选的，在步骤S2中，对所述存储的图像进行局部自适应门限二值化处理。

可选的，在步骤S2中，得到目标轮廓后，对所述目标轮廓进行对齐和矫正，用于对目标轮廓的角度进行修正。

可选的，所述步骤S2中的预处理过程还包括对目标图片的重采样，具体过程为：按照不同预设值的长宽比对所述目标轮廓进行裁剪，得到若干目标图片；利用二维图像重采样算法将所述若干目标图片进行插值和抽取，通过丢弃数据并拟合的方式，得到优化后的分析图片。

可选的，所述步骤S4中获得若干特征值的得分过程具体为：若所述特征值的置信度的大小大于所述特征值相应的阈值的大小，则所述特征值识别成功，得到相应分数；若所述特征值的置信度的大小小于所述特征值相应的阈值的大小，则所述特征值识别失败，得分为零。

综上所述，本发明技术方案的画钟试验的评估系统将传统算法与深度学习算法相结合，形成了一套严谨的画钟试验的评价体系。在测试时，只需将测试者所画钟表的图像输入系统，便可自动得出相应的评价结果，无需人为进行评估，所以不受人为的主观因素影响，且不会受限于评价者的经验，只要能够操作该系统即可。此外，整个系统不需要依靠个人电脑或服务器支持，具有高效率、低功耗、高便携度的特点。

附图说明

图1是本发明实施例的画钟试验的评估系统的结构示意图；

图2是本发明另一实施例的画钟试验的评估系统的结构示意图；

图3是本发明实施例的画钟试验的评估方法流程图。

具体实施方式

如图1所示，本发明的画钟试验的评估系统，包括采集模块、预处理模块、分析模块及评估模块。

其中，采集模块用于采集画钟试验所得图像信息，采集模块与预处理模块相连；预处理模块对采集模块所采集的图像信息进行预处理，预处理模块与分析模块相连；预处理后的图像信息再经分析模块进行分析，该过程采用深度学习模型中的卷积神经网络进行分析，分析模块与评估模块相连；评估模块负责对分析模块得到的结果进行评价，得出总结论。

下面结合实施例对本发明的画钟试验的评估系统进行详细说明。

如图2所示，本发明实施例的画钟试验的评估系统，包括：

采集模块，采集模块又包括采集设备、信息传感器、信号接收装置及数据存储装置，采集设备与信息传感器相连，信息传感器与信号接收装置相连，信号接收装置与数据存储装置相连。

其中，采集设备需要对所画图像进行采集，可使用照相机、带摄像功能的手机等能够摄像的设备，在本实施例中，采用摄像头对待测者所画的钟表进行拍摄。

信息传感器可以是常见的传感器，比如电荷耦合器件图像传感器，或者数字CMOS传感器(Digital Complementary Metal Oxide Semiconductor)，可将采集设备采集的图像从光信号转化为电信号，在其他实施例中，也可采用其他类型的传感器。

信息传感器将转化后的信号输出给信号接收装置，由信号接收装置将接收到的信号传递给数据存储装置进行存储，数据存储装置可采用外部动态存储器DRAM(DynamicRandom Access Memory)，或者片内同步存储器SRAM(Synchronous Random AccessMemory)等。

在本实施例中，采集模块还包括控制模块，控制模块与信息传感器相连，用于控制信息传感器的工作模式，通过控制信号传感器的参数值，来调节采集的模式。

进一步，预处理模块包括二值化处理模块和图片处理模块，其中，二值化处理模块的一端与数据存储装置相连，另一端与图片处理模块相连。

一般对所画钟表进行拍摄时，所在环境的光线强弱、镜头的不同拍摄角度、不同的光源和阴影都会对最终的识别效果产生影响，因而在系统中设置了图像预处理模块，图像预处理模块用于减小不同感光环境、不同信息传感器对画钟识别性能的影响，提高画钟识别系统对环境以及其他不利因素的鲁棒性。

二值化处理一般包括全局二值化、局部二值化及局部自适应二值化。在本实施例中，二值化处理模块采用局部自适应门限二值化算法，该模块具体包括：图像扫描、局部均值计算、门限计算、局部门限比较及二值化，最终将彩色图像转化为黑白图像。

图像目标检测模块接收预处理模块输出的二值化图像，检测二值化图像中的有效目标，并进行必要的对齐和矫正，通过图片大小的重采样得到归一化大小的图片数据。具体包括：主动轮廓模型检测、目标对齐和矫正、图片剪裁和图片的重采样。

主动轮廓模型检测采用active contour算法，用于对钟表形状进行目标分割。

目标对齐和矫正是将主动轮廓模型分割得到的图形进行倾斜度的估计，并通过旋转变换，将图像纠正回正确的方向。该模块是可选模块，用于解决实际画钟测试过程中，方向偏差导致的识别不正的问题，在其他实施例中可以省略。

通过主动轮廓模型检测和目标对齐与矫正得到正确方向的轮廓以后，进行目标图片的裁剪与重采样。裁剪的具体过程为通过主动轮廓模型检测算法得到了待识别物体的轮廓，并且通过矫正得到正确方向的轮廓以后，图片检测将图像数据裁剪为长度为L、宽度为W的图片。这里要求长宽比R＝L/W为固定值，比如R＝1。

裁剪完成后，对图像进行重采样，具体步骤为：

(1)输入需要重采样的钟表图片，其图片大小规格为LxW；

(2)计算重采样比例因子：

(3)对重采样后的每个输出图片像素位置，计算归一化坐标和浮点坐标，重采样的图片像素的二维索引范围为：

(4)对重采样后的每个输出图片像素位置，计算归一化坐标和浮点坐标，定义采样后的任意像素的归一化坐标为0，对应的浮点坐标为

(5)计算浮点坐标的整数部分、小数部分和对应的插值系数：

(6)更新重采样后的图像像素值：

pixel(l，w)＝c1*pixel(ii，ji)+c2*jd·pixel(ii，ji+1)+c3*pixel(ii+1，ji)+c4

*pixel(ii+1，ji+1)

在本实施例中，重采样次数为100次，也可根据实际情况进行重复采样。采用二维图像重采样算法，将剪裁后的图片进行插值和抽取，通过丢弃数据并拟合的方式，得到符合后续处理要求大小的分析图像。

图像重采样算法，按照处理复杂度的折衷，可以采用简单的二维线性插值，也可以采用较复杂的双立方差值方法。

本实施例的分析模块接收图像目标检测模块输出的待检测图片，采用深度学习方法对目标进行分类和识别，该模块主要包括三个功能：

(1)在卷积层上，有N层，N根据实际需求，范围在1～4层，根据层数从小到大，分别实现对目标图像从底层到高层特征信息的提取操作。比如在第一个卷积层，实现的是对边沿、角度的特征提取，而在第二层，更多的是实现对折线、弧形、闭合形状信息的提取。

(2)在全连接层上，有M层，M的范围在1～3，用于对特定信息的特征提取，在钟表识别中，最终的输出可以表征钟表圆圈的闭合信息、指针形状的特征信息或者钟表数字的特征信息。全连接层的输出根据钟表识别任务需求的不同，生成C维的特征向量。

(3)Softmax计算：Softmax计算作为深度学习识别器的最终计算，用于多分类任务的加权平均，计算得到的结果作为标记该图片对象是否为待识别对象的度量。

对于三分法，将钟表识别的识别任务分类为三项，分别为：钟表的轮廓得分、时针、分针的指针得分以及数字完备度得分。每个识别任务通过三个不同的卷积神经网络模型，得到各自的特征向量，最后由Softmax算法将其转化为简单的二分类问题。

目前，三分法因为较为简单所以在临床上应用较为广泛，但是其判断标准相对来说也较为粗略，所以在此基础上将七分法应用于画钟试验。

分法考察画钟结果的以下属性：

(1)数字类：

A.12个数字全部都有，数字不全或者包含了从1到12以外的数字，都认为是错误；

B.数字的排列顺序正确，按照顺时针顺序从小到大；

C.所有数字的位置正确，把画钟分成4个区域，每个区域检查是否有3个数字，并且检查数字是否正确。

(2)指针类：

A.要有两个指针；

B.时针指向或者接近正确数字；

C.分针指向或者接近正确数字；

D.时针比分针短。

针对七分法，因为数字和指针识别没有明确的依赖关系，所以采用图像处理和卷积神经网络设计专门针对数字检测分类和指针检测两个检测识别网络，此外同时设计了轮廓检测网络，用于数字类评估的排列和相对位置打分，具体评估选项如下：

(1)首先，数字检测网络在钟表绘图中寻找并检测数字，但检测到具体的数字，得到该数字的大小和位置信息。然后，根据检测网络的结果，数字分类网络通过softmax得到该数字在0～9以内的分类信息，两者的综合结果用于评估选项1；

(2)轮廓检测网络用于检测绘图中轮廓的位置，在得到轮廓位置信息，以及根据上述数字检测网络得到所有数字的位置信息后，得到数字的排列和位置打分，用于评估选项2和3；

(3)设计指针检测网络，用于检测2个指针：时针和分针。检测过程中判断是否有2个指针，可以直接用于评估选项4。根据检测到指针的位置信息后，计算指针的长度和指向角度，用于评估选项5，6和7。

经过卷积网络对输入图片数据经过分析以后，得到各自识别任务的置信度，将置信度与相应阈值进行比较，得到识别的判别结果。

通过评估模块综合所有的判别结果，进行综合评价。

如图3所示，本发明的画钟试验的评价方法，包括以下步骤：

步骤S1：获得画钟试验的图像信息，包括：采集图像和存储图像；

步骤S2：对所述存储的图像信息进行预处理，所述预处理具体包括：二值化处理所述存储的图像，得到黑白图像；利用主动轮廓模型对所述黑白图像进行分割，得到目标轮廓；沿着目标轮廓进行剪裁，得到预设大小的目标图片；

步骤S3：分析所述目标图片，具体过程为：利用深度学习模型提取所述目标图片的若干特征值，并将所述若干特征值进行分类，最后计算出所述若干特征值的置信度；

步骤S4：通过比较若干所述置信度与相应阈值的大小，获得若干所述特征值的得分；

步骤S5：综合若干所述特征值的得分，得到总得分，将所述总得分与预设值进行比较，得到评价结果。

下面结合实施例对本发明的画钟试验的评价方法进行详细说明。

待测者在绘制钟表的过程中，是通过图像界面来实现的，这种界面可以是基于传统的纸质媒体，比如纸张和笔，然后通过专用摄像装置采集，也可以是通过电子媒体，比如手写板、触摸屏、平板电脑或者智能手机，通过接触屏幕的方式来实现钟表的绘画。

绘画结束后，对所画钟表进行采集和存储。通过摄像头对图像进行拍摄，拍摄基于外部指令，比如基于绘画的起始时间和结束时间，或者外部输入的一个命令、按钮，摄像头可以在图像获取精度有保证的情况下在距离、位置或角度上有一定的灵活性，以便于实际的系统部署，在获得快照后，图像数据自动的被保存到装置的存储设备中。

然后对存储的图像信息进行预处理过程。图像预处理的启动，是在系统内部设定的控制下，在原始图像数据保存成功以后，被控制执行。预处理所执行的功能，主要是图像的二值化，即采用局部自适应门限二值化算法将原始的图像数据转换为黑白图像，并且在执行过程对感光效果的图像进行局部的降噪。

其次，采用主动轮廓模型对二值化处理后的黑白图像进行分割，得到的钟表或者其他形状的目标轮廓。通过对关键标志图形(比如12点、3点、6点或者9点钟)方向的检测，进行倾斜度的估计，并通过旋转变换，将图像纠正回正确的方向，即对目标轮廓进行对齐与矫正，对齐与矫正模块是可选模块，用于解决实际画钟测试过程中，方向偏差导致的识别不正的问题。

最后，沿着矫正后的目标轮廓进行裁剪，按照固定的长宽比将图像数据裁剪为预设大小的图片。

进一步地，预处理过程还包括对目标图片的重采样，具体过程为：按照不同预设值的长宽比对所述目标轮廓进行裁剪，得到若干目标图片，再利用二维图像重采样算法将所述若干目标图片进行插值和抽取，通过丢弃数据并拟合的方式，得到优化后的分析图片。

对重采样所得优化的分析图片进行分析。具体分析时，利用深度学习模型提取分析图片中的若干特征值，并将若干特征值进行分类，最后计算出每个特征值对应的置信度。

通过比较若干所述置信度与相应阈值的大小，获得若干所述特征值的得分。若所述特征值的置信度的大小大于所述特征值相应的阈值的大小，则所述特征值识别成功，得到相应分数；若所述特征值的置信度的大小小于所述特征值相应的阈值的大小，则所述特征值识别失败，得分为零。

最终综合若干所述特征值的得分，得到总得分，将所述总得分与预设值进行比较，得到评价结果。

现对上述预设值的设定过程进行详细说明如下：

(1)形成训练数据

钟表识别是依据于脑疾病分析量表数据来进行的，为了提高画钟识别系统的精确度，随着识别任务从三分类到更复杂的多分类，系统需要大量的训练数据，所以前期需收集大量患者完成的量表，专家进行评估打分，作为训练数据。

训练数据的构建采用以下方式：

①有标签数据：通过临床上对大量患者进行脑疾病的量表测试，再通过有专业职业认证的医师的人为打分，并记录该数据，获得有标签的画钟识别的量表数据。

②数据集扩展：通过对有标签数据进行小范围的角度旋转、长宽比的小范围尺度变换，进行数据增强。

(2)深度卷积模型的训练

将对扩张后的有标签数据，按照比例，分为训练数据集、验证数据集和测试数据集三类，分别用于模型训练、模型验证和模型的测试。

模型训练方式基于机器学习理论，采用交叉验证的方式，在不同的训练阶段交换训练、验证数据集中的数据，以充分利用有限的数据集。

模型的训练基于深度学习的反向传播算法和可变学习率，达到模型训练最终的收敛。

模型的训练结果最终以测试数据集的结果作为训练满意度的验收条件。

以下是七分法在临床上的测试过程及结果：

(1)测试过程

①通过有专业职业认证的医师对3741张画钟试验的图进行人为打分，并记录该数据，获得有标签的画钟识别的量表数据。

②通过对有标签数据进行小范围的角度旋转、长宽比的小范围尺度变换，进行数据增强。

③本发明评估系统采用深度卷积模型对上述数据进行学习，然后对200张画钟试验的图片采用七分法进行打分，同时让两位专业医师也进行人为打分，以人为打分结果为标准，得到本发明评估系统的每个评估指标的精确率，结果如表1所示。

表1

评估指标	精确率
		N1	90％
N2	84％
		N3	90％
H1	97％
		H2	82％
H3	86.5％
		H4	83％

由表1可知，本系统的总体精确率达到87.5％。

以上详细描述了本发明的具体实施例，应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (2)

1.一种画钟试验的评估系统，其特征在于，包括：

用于采集画钟试验所得图像信息的采集模块；

与所述采集模块相连的预处理模块，所述预处理模块对所述采集模块所采集的图像信息进行预处理；

与所述预处理模块相连的分析模块，所述分析模块采用深度学习模型对预处理后的图像信息进行分析，所述深度学习模型采用卷积神经网络；

与所述分析模块相连的评估模块，所述评估模块对所述分析模块得到的结果进行评价；所述采集模块包括采集器件，与所述采集器件相连的信号接收装置，以及与所述信号接收装置相连的数据存储装置；所述采集器件包括采集设备和信息传感器，所述采集设备与所述信息传感器相连，所述信息传感器与所述信号接收装置相连；所述采集模块还包括用于控制信息传感器的参数的控制模块，所述控制模块与所述信息传感器相连；

所述评估系统利用七分法进行打分；

步骤S1：获得画钟试验的图像信息，包括：采集图像和存储图像；

步骤S2：对所述存储的图像信息进行预处理，所述预处理具体包括：二值化处理所述存储的图像，得到黑白图像；利用主动轮廓模型对所述黑白图像进行分割，得到目标轮廓；沿着目标轮廓进行剪裁，得到预设大小的目标图片；对所述存储的图像进行局部自适应门限二值化处理；得到目标轮廓后，对所述目标轮廓进行对齐和矫正，用于对目标轮廓的角度进行修正；按照不同预设值的长宽比对所述目标轮廓进行裁剪，得到若干目标图片；利用二维图像重采样算法将所述若干目标图片进行插值和抽取，通过丢弃数据并拟合的方式，得到优化后的分析图片；

步骤S3：分析所述目标图片，具体过程为：利用深度学习模型提取所述目标图片的若干特征值，并将所述若干特征值进行分类，最后计算出所述若干特征值的置信度；

步骤S4：通过比较若干所述置信度与相应阈值的大小，获得若干所述特征值的得分；若所述特征值的置信度的大小大于所述特征值相应的阈值的大小，则所述特征值识别成功，得到相应分数；若所述特征值的置信度的大小小于所述特征值相应的阈值的大小，则所述特征值识别失败，得分为零；

步骤S5：综合若干所述特征值的得分，得到总得分，将所述总得分与预设值进行比较，得到评估结果；

通过主动轮廓模型检测和目标对齐与矫正得到正确方向的轮廓以后，进行目标图片的裁剪与重采样；

裁剪的具体过程为通过主动轮廓模型检测算法得到了待识别物体的轮廓，并且通过矫正得到正确方向的轮廓以后，图片检测将图像数据裁剪为长度为L、宽度为W的图片；裁剪完成后，对图像进行重采样，具体步骤为：

(1)输入需要重采样的钟表图片，其图片大小规格为L x W；

(2)计算重采样比例因子：

(3)对重采样后的每个输出图片像素位置，计算归一化坐标和浮点坐标，重采样的图片像素的二维索引范围为：

(4)对重采样后的每个输出图片像素位置，计算归一化坐标和浮点坐标，定义采样后的任意像素的归一化坐标为(l，w)，对应的浮点坐标为(i，j)

(5)计算浮点坐标的整数部分、小数部分和对应的插值系数：

(6)更新重采样后的图像像素值：

pixel(l，w)＝c1*pixel(ii，ji)+c2*jd·pixel(ii，ji+1)+c3*pixel(ii+1，ji)+c4*

pixel(ii+1，ji+1)。

2.如权利要求1所述的画钟试验的评估系统，其特征在于，所述预处理模块包括：二值化处理模块，所述二值化处理模块与所述的数据存储装置相连；与所述二值化处理模块相连的图片处理模块。

Images