CN112932408A - 基于分析绘画行为变化来筛查认知障碍的方法 - Google Patents

基于分析绘画行为变化来筛查认知障碍的方法 Download PDF

Info

Publication number
CN112932408A
CN112932408A CN202010023056.4A CN202010023056A CN112932408A CN 112932408 A CN112932408 A CN 112932408A CN 202010023056 A CN202010023056 A CN 202010023056A CN 112932408 A CN112932408 A CN 112932408A
Authority
CN
China
Prior art keywords
features
data
image
feature
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010023056.4A
Other languages
English (en)
Other versions
CN112932408B (zh
Inventor
蔡锦辉
林永业
朱子勤
曾嘉豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong CUHK
Original Assignee
Chinese University of Hong Kong CUHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong CUHK filed Critical Chinese University of Hong Kong CUHK
Publication of CN112932408A publication Critical patent/CN112932408A/zh
Application granted granted Critical
Publication of CN112932408B publication Critical patent/CN112932408B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Neurology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Developmental Disabilities (AREA)
  • Psychology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)

Abstract

本申请提供了通过预训练的朴素贝叶斯方法基于对绘图行为变化的分析来筛查、诊断或预测认知障碍诸如痴呆的存在、进展或治疗效果的方法。该方法包括以下步骤：获得由测试对象在数字设备上创建的至少一个图像的绘图数据，以及获得测试对象的个人数据；基于获得的绘图数据重建所述至少一个图像；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；并通过具有贪婪变量选择的预训练的朴素贝叶斯方法以基于绘图特征和个人数据来确定测试对象患有认知障碍的可能性。

Description

基于分析绘画行为变化来筛查认知障碍的方法
背景技术
认知障碍(诸如痴呆)可能会导致个人丧失独立能力，并对所述个人及其家庭和社会造成广泛影响。痴呆最常见的形式，即阿尔茨海默氏病(AD)的临床表现，包括认知功能的下降和日常生活的活动受损。先前的研究表明，痴呆的误诊率高达76％。大多数痴呆症患者只有在处于中度至重度的疾病阶段才能得到诊断。痴呆的早期检测对于使患者了解症状并在疾病发展的早期阶段进行可能的干预尤其重要。
筛查测试是评估患者认知健康状况的快速而有用的工具。常规的临床筛查测试主要以纸笔形式进行，并且以面对面访问的方式进行，这要求筛查参与者拜访诊所中的医疗保健专业人员。此外，筛查程序严重依赖医护专业人员的指导和判断。由于评估的主观性质，可能会误诊测试对象。
绘图测试(DT)已被用于筛查老年人的痴呆。在DT中，要求参与者临摹放置在他们前面的图片。所有DT的明显优势之一就是广泛的适用性。与其他类型的筛查测试相比，DT不需要任何语言能力和知识基础。大量的临床研究表明，DT的不良性能可反映出不同的认知功能缺陷，该不同的认知功能诸如注意力、空间建设能力、视觉记忆、执行功能以及与眼手协调相关的过程。
由于痴呆的特征在于是认知功能的下降，因此包括视觉空间技能、持续注意力和执行功能的多个认知领域将因此受到损害。简单的图片临摹任务需要上述领域的功能正常才能完成。测试对象必须专心观察样本图片，并在用他/她的手绘制图之前构思图片的形状。因此，与健康的测试对象相比，具有痴呆的测试对象需要显著更多的时间才能完成任务。由于要求测试对象尽可能地临摹给定的图片，因此痴呆的测试对象倾向于需要较长的思考时间和不合乎常规的绘图方式，这可以通过绘图过程和所绘制的图像来表明。
数字化的筛查测试已被证明有益于标准化格式，最小化由地板和天花板效应造成的信息损失，以及以传统测试无法达到的准确程度来精确记录人类活动。近50年来，数字化的绘图任务，时钟绘图测试(CDT)已被作为认知筛查工具用于患有多种形式的痴呆的测试对象，痴呆包括阿尔茨海默氏病、帕金森氏症和其他神经系统疾病。在测试期间，要求测试对象在一张白纸上画显示11点10分的时钟(称为命令时钟)，然后要求测试对象临摹显示该时间的预先绘制的时钟(临摹时钟)。数字圆珠笔用于捕捉测试对象的笔划位置的数据。接下来，基于机器学习算法创建一些预测模型。根据预测的结果，最佳训练的机器学习模型在不考虑解释能力的情况下可以在筛查任务中以0.86取得F1的分数。
然而，CDT要求指定的设备(诸如数字圆珠笔)来捕获测试对象的绘图数据，因此在实践中的适用性有限。此外，对于不识字或缺乏正规教育的测试对象来说，感知或绘制时钟可能过于复杂。
发明内容
在本领域中仍然需要改进的设计和技术，以用于基于绘图行为的变化来筛查、诊断或预测认知障碍(诸如痴呆)的存在、进展或治疗效果的方法。
本发明的实施方式所涉及的方法将收集和分析测试对象的绘图数据和个人数据，并基于预训练的朴素贝叶斯(
Figure BDA0002361478730000021
Bayes)模型预测测试对象患有认知障碍的可能性。
根据本发明的实施方式，提供一种基于预训练的朴素贝叶斯模型来分析绘画行为变化，从而筛查、诊断或预测认知障碍(诸如痴呆)的存在、进展或治疗效果的第一方法。该方法可以包括以下步骤：获得由测试对象在数字设备上创建的至少一个图像的绘图数据和测试对象的个人数据；基于获得的绘图数据重建所述至少一个图像；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；并通过预训练的朴素贝叶斯模型以基于绘图特征和个人数据来确定测试对象患有认知障碍的可能性。此外获得绘图数据包括：从至少一个创建的图像和创建所述至少一个图像的过程二者中获得绘图数据。所述至少一个图像由数字设备以像素级精度实时记录。绘图数据可以包括连续的绘图轨迹，所述连续的绘图轨迹包括坐标、所花费的时间以及一点是否是用于所述测试对象所绘制的每个像素的数字设备上的触摸的终点。所述至少一个图像包括至少两个连锁五边形。个人数据包括测试对象的年龄、性别和教育水平的信息。将绘图数据转换为绘图特征可以包括去除绘图数据的统计离群值，而后进行预设的数学公式以获得多个动作特征及在绘图数据上进行主成分分析(PCA)统计程序以获得几何特征。多个动作特征可以包括以下摘要数据中的至少一个，该摘要数据包括像素或笔划或形状级别的绘图时间、像素或笔划或形状级别的绘图距离、形状级别的停止时间、或像素或笔划级别的绘图速度的平均值和/或最大值和/或最小值和/或标准偏差和/或中值。多个几何特征可以包括至少一个图像的角的数量、至少一个图像的闭合形状的数量中的至少一个。将绘图数据转换为多个几何特征的闭合形状的数量可以包括如下步骤：基于瞬时绘图速度过滤绘图数据；通过连接彼此间隔距离小于阈值的任何两个像素，将绘图数据转换为一组连接的笔划；如果每个连接的笔划的起点和终点之间彼此间隔的距离小于阈值，则过滤所述一组相连的笔划以形成多边形；及将闭合形状的数量确定为过滤所述一组相连的笔划以形成多边形中的组数，所述多边形中具有至少预设数量的连接的笔划。此外，将绘图数据转换为多个几何特征的角的数量可以包括如下步骤：基于瞬时绘图速度过滤绘图数据；通过连接任何两个彼此间隔的距离小于第一阈值的像素，将绘图数据转换成一组连接的笔划；如果满足以下条件，则计算多个中点：连接的笔划的起点和中点和连接的笔划的终点和中点之间的距离之和大于连接的笔划的起点和终点之间的距离；及如果中点彼此间隔的距离小于第二阈值，则进行聚类。重建所创建的图像包括：过滤至少一个图像的整个绘图轨迹，以重新组装分离的绘图片段的步骤；将基于在过滤中获得的并储存用于处理的绘图片段逐像素地重新绘制图片的步骤；和将图像调整为预设大小，并将所述图像转换为灰度的步骤。认知障碍可以包括痴呆。
在本发明的某些实施方式中，第二方法用于开发预测模型，通过预训练的朴素贝叶斯模型以基于绘画行为变化的分析来筛查、诊断或预测认知障碍诸如痴呆的存在、进展或治疗效果，第二方法可以包括以下步骤：收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的对象创建的至少一个图像的绘图数据、和由无认知障碍的对象创建的至少一个图像的绘图数据；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；基于所收集的绘图数据重建所述至少一个图像；在绘图数据上进行主成分分析统计程序以获得多个扩展的几何特征，并且储存获得的扩展的几何特征的多个特征向量；通过去除具有高相关性(>0.7)的摘要数据、对每组动作特征进行组去除和去除具有相似临床意义的动作特征，从多个动作特征选择关键动作特征；及基于具有贪婪变量选择的朴素贝叶斯方法，开发用于在动作特征、几何特征和关键动作特征上实施的预训练的模型。将绘图数据转换为绘图特征可以包括进行预设的数学公式用于获得多个动作特征，及在绘图数据上进行主成分分析(PCA)统计程序用于获得几何特征。动作特征可以包括以下摘要数据的至少一个，该摘要数据包括像素或笔划或形状级别的绘图时间、像素或笔划或形状级别的绘图距离、形状级别的停止时间、或像素或笔划级别的绘图速度的平均值和/或最大值和/或最小值和/或标准偏差和/或中值。多个几何特征可以包括所述至少一个图像的角的数量、所述至少一个图像的闭合形状的数量和两个闭合形状的每两个角之间的最小距离中的至少一个。此外，具有贪婪变量选择的朴素贝叶斯方法可以包括以下步骤：在模型中，以没有绘图特征开始；在每个步骤中，将一个绘图特征添加到模型，其中绘图特征对交叉验证的曲线下面积带来最大性能改进；当对模型没有改进时，停止添加特征；及用预设的分布拟合所选择的绘图特征并保存预测的结果。
在本发明的另一个实施方式中，提供包含储存在其上的程序指令的非暂时性计算机可读介质，在执行所述程序指令时，使处理器实施通过预训练的朴素贝叶斯模型基于对绘画行为变化的分析来筛查、诊断或预测认知障碍诸如痴呆的存在、进展或治疗效果的方法。该方法可以包括以下步骤：获得由测试对象在数字设备上创建的至少一个图像的绘图数据和测试对象的个人数据；基于获得的绘图数据重建至少一个图像；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；并通过预训练的朴素贝叶斯模型，基于绘图特征和个人数据，确定测试对象患有认知障碍的可能性。
在本发明的另一个实施方式中，提供包含储存在其上的程序指令的非暂时性计算机可读介质，在执行所述程序指令时，使处理器实施通过提供的预训练的朴素贝叶斯模型以基于对绘画行为变化的分析，开发预测模型用于筛查、诊断或预测认知障碍(诸如痴呆)的存在、进展或治疗效果的方法。该方法可以包括以下步骤：收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的对象创建的至少一个图像的绘图数据、和由无认知障碍的对象创建的至少一个图像的绘图数据；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；基于所收集的绘图数据重建至少一个图像；在绘图数据上进行主成分分析统计程序以获得多个扩展的几何特征并储存获得的扩展的几何特征的多个特征向量；通过去除具有高相关性(>0.7)摘要数据、对每组动作特征进行组去除和去除具有相似临床意义的动作特征，从多个动作特征选择关键动作特征；及基于具有贪婪变量选择的朴素贝叶斯方法，开发用于在动作特征、几何特征和关键动作特征上实施的预训练的模型。
附图说明
图1是根据本发明的实施方式的基于预训练的朴素贝叶斯模型来分析绘画行为变化，从而筛查、诊断或预测认知障碍的存在、进展或治疗效果的第一方法的流程图。
图2示出了根据本发明实施方式的由测试对象在数字设备上创建的示例性绘图。
图3示出了根据本发明的实施方式的从测试对象的绘图过程中获得的绘图数据的提取。
图4是根据本发明的实施方式的由测试对象重建创建的图像的步骤的流程图。
图5是根据本发明的实施方式的确定闭合形状(诸如多个几何特征的五边形)的数量的步骤的流程图。
图6是根据本发明的实施方式的确定多个几何特征的角数量的步骤的流程图。
图7是根据本发明的实施方式的基于预训练的朴素贝叶斯模型来分析绘画行为变化，从而筛查、诊断或预测认知障碍的存在、进展或治疗效果的第二方法的流程图。
图8是根据本发明的实施方式的具有贪婪变量选择的朴素贝叶斯模型的流程图。
图9示出了根据本发明的实施方式的基于预训练的朴素贝叶斯预测模型的接受者操作特性(ROC)分析。
图10A示出了根据本发明的实施方式的具有痴呆的测试对象的示例性绘图。
图10B示出了根据本发明的实施方式的图10A的具有痴呆的测试对象的绘图过程的示例性分析结果。
图11A示出了根据本发明的实施方式的不具有痴呆的测试对象的示例性绘图。
图11B示出了根据本发明的实施方式的图11A的不具有痴呆的测试对象的绘图过程的示例性分析结果。
图12是根据本发明的实施方式的临床研究的测试对象招募过程的流程图。
图13示出了根据本发明的实施方式的临床研究的每组动作特征的相关性矩阵。
图14示出了根据本发明的实施方式的临床研究的特征组之间的相关性矩阵。
图15示出了根据本发明的实施方式的在临床研究的步骤2之后的、在健康对照(HC)测试对象组和阿尔茨海默氏病(AD)测试对象组中选择的动作特征的分布。
图16示出了根据本发明的实施方式的临床研究的最终选择的动作特征的相关性矩阵。
具体实施方式
术语定义：
1.动作特征：与绘图过程相关的一组变量。
2.动作特征组：包括在像素或笔划或五边形级别的绘图时间、或在像素或笔划或五边形级别的绘图距离、在五边形级别的停止时间、或在在像素或笔划级别的绘图速度的任何一个摘要数据(平均值和/或最大值和/或最小值和/或标准偏差和/或中值)的一组变量。
3.几何特征：与绘制的最终图像的特征相关的一组变量。
4.img_1：从绘制的最终图像的主成分分析获得的第一主成分分数。
5.img_2：从绘制的最终图像的主成分分析获得的第二主成分分数。
6.img_3：从绘制的最终图像的主成分分析获得的第三主成分分数。
7.扩展的几何特征：由几何特征产生的、并且与绘制的最终图像的可以包括img_1、img_2和img_3的特征相关的一组变量。
8.个人数据：与测试对象的客观个人背景相关的一组变量。
9.stfp:绘制第一闭合环形(诸如五边形)的停止时间。
10.stsp:绘制第二闭合环形(诸如五边形)的停止时间。
11.itfp:第一闭合环形(诸如五边形)的绘图时间。
12.itsp:第二闭合环形(诸如五边形)的绘图时间。
13.itp-avg:每像素的平均绘图时间。
14.itp-max:每像素的最大绘图时间。
15.itp-med:每像素的中值绘图时间。
16.itp-std:每像素的绘图时间的标准偏差。
17.its-avg:每笔划的平均绘图时间。
18.its-max:每笔划的最大绘图时间。
19.its-min:每笔划的最小绘图时间。
20.its-std:每笔划绘图时间的标准偏差。
21.idfp:第一闭合环形(诸如五边形)的绘图距离。
22.idsp:第二闭合环形(诸如五边形)的绘图距离。
23.idp-avg:在像素范围的平均绘图距离。
24.idp-max:在像素范围的最大绘图距离。
25.idp-med:在像素范围的最小绘图距离。
26.idp-std:在像素范围的绘图距离的标准偏差。
27.ids-avg:在笔划范围的平均绘图距离。
28.ids-max:在笔划范围的最大绘图距离。
29.ids-min:在笔划范围的最小绘图距离。
30.ids-std:在笔划范围的绘图距离的标准偏差。
31.dsp-avg:在像素范围的平均绘图速度。
32.dsp-med:在像素范围的中值绘图速度。
33.dsp-max:在像素范围的最大绘图速度。
34.dsp-std:在像素范围的绘图速度的标准偏差。
35.dss-avg:在笔划范围的平均绘图速度。
36.dss-min:在笔划范围的最小绘图速度。
37.dss-max:在笔划范围的最大绘图速度。
38.dss-std:在笔划范围的绘图速度的标准偏差。
39.ncorners:最终图像中的角数。
40.nclosures:最终图像中闭合的多边形的数量。
第一方法
如图1所图解，用于筛查、诊断或预测认知障碍(诸如痴呆)的存在、进展或治疗效果的第一方法是基于通过预训练的朴素贝叶斯模型对绘画行为变化进行分析。第一方法可以包括获得由测试对象在数字设备上创建的至少一个图像的绘图数据并获得测试对象的个人数据的步骤S100、基于获得的绘图数据重建所述至少一个图像的步骤S110、将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征的步骤S120、和通过进行预训练的朴素贝叶斯模型以基于绘图特征和个人数据确定测试对象患有认知障碍的可能性的步骤S130。这些步骤将在下面进行更详细的说明。
获得绘图数据
在步骤S100处，测试对象在数字设备上创建至少一个图像，并且创建的至少一个图像的绘图数据由数字设备或任何合适的设备记录。
在一个实施方式中，可以通过能够在具有触摸屏的Android或iOS平台上运行的移动应用捕获绘图数据。要求测试对象临摹应用程序在触摸屏上显示的特定的几何对象诸如多个五边形。例如可以使用HTML中的画布元素创建绘图，并且在触摸屏中实施触摸和拖拽的事件监听器来记录测试对象的绘图行为。每当测试对象触摸到触摸屏时，触摸的x和y坐标以及时间戳以数据阵列的形式被记录，直到测试对象在触摸屏上触摸“提交”按钮。然后将所有绘图数据记录传输至分析模块(诸如后端服务器)以存储和分析。可以将应用程序实施为在触摸屏上具有“撤消”按钮，通过该按钮，测试对象可以清除绘图或重绘制至少一个图像。但是，该实例不应解释为限制性的。
在一个实施方式，所述至少一个图像可以包括所述至少两个连锁五边形，如图2所示，并且所述至少一个图像可以通过数字设备以像素级精度被实时记录。但是，该实例不应解释为限制性的。
注意，如上所获得的绘图数据可以包括描述所创建的至少一个图像的数据和描述创建所述至少一个图像的动态过程的数据二者。如在图3中所图解的，例如，绘图数据可以包括连续的绘图轨迹，所述连续的绘图轨迹包括坐标、所花费的时间以及一点是否是用于测试对象所绘制的每个像素的数字设备上的触摸的终点。
此外，在步骤S100处，测试对象的个人数据也由数字设备或任何合适的设备记录。例如，应用程序可以允许测试对象或另一个用户输入测试对象的个人数据包括年龄、性别和教育水平。但是，该实例不应解释为限制性的。
从流行病学角度来看，衰老是与患痴呆风险相关的最强风险因素，因为痴呆是一种与体弱相关的疾病。性别是与某些类型的痴呆有关的另一个关键因素。因此，由于绝经后缺乏雌激素，女性比男性更容易患上阿尔茨海默氏病。对于血管性痴呆，男性比女性患病的风险更高，因为男人更容易患心脏病，而心脏病会引起血管性痴呆。因此，个人数据对于预测患上认知障碍诸如痴呆的风险至关重要。
重建绘图
当分析模块接收到传输的绘图数据时，基于绘图数据重建所述至少一个图像，而后进行图像预处理。参考图4，重建可以包括过滤所述至少一个图像的整个绘图轨迹以重新组装分离的绘图片段的步骤S400、将基于在过滤中获得的并储存用于处理的绘图片段逐个像素地重新绘制图像的步骤S410；和调整图像至预设大小并将图像转换为灰度的步骤S420。例如，可以将图像调整为例如56像素×56像素的尺寸，并转换为灰度。但是，该实例不应解释为限制性的。
将绘图数据转换为绘图特征
在图1的步骤S120处，将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征。对于用S表示的测试对象，绘图过程(S)是实时捕获的，并且可以用等式(1)表示：
Figure BDA0002361478730000101
其中er是一个二进制指示符，表示第r点是否在笔划的末尾，并且
Figure BDA0002361478730000102
是在绘图过程中捕获的在像素范围的点的总数。
因此，通过过滤er，因为任何值的变化都表示笔划的变化，所以会产生一序列笔划[s1,….sL]，保留绘图顺序，而笔划sm包含由等式(2)表示的一序列点：
Figure BDA0002361478730000103
在每个点pi,j都有三个量：(xi,j,yi,j,ti,j),，其中xi,j和yi,j对应于以像素为单位的绘图点的坐标，并且
Figure BDA0002361478730000104
是移动到下一个点pi,j+1之前在点pi,j上花费的时间量(秒)。
在计算几何和动作特征之前，(S)可以被过滤以去除统计离群值。可以将统计离群数据定义为瞬时速度大于预设值(诸如大于5厘米每毫秒)的任何pi,j。可以使用数字设备的每英寸的小圆点将像素的单位转换为厘米的单位。这些点的绘制主要是由于测试对象对屏的误触，因此在产生几何和动作特征之前将离群数据去除是有利的。之后，当pi,j和pi+1,j+1之间的距离小于阈值时，通过将pi,j和pi+1,j+1连接起来，使sm平滑以变成线。
参考图5，在一个实施方式中，确定多个几何特征的闭合形状(诸如五边形)的数量可以包括：基于瞬时绘图速度过滤绘图数据的步骤S500；通过连接彼此间隔距离小于阈值的任何两个像素，将绘图数据转换为一组连接的笔划的步骤S510；如果每个连接的笔划的起点和终点之间彼此间隔的距离小于阈值，则过滤所述一组相连的笔划以形成多边形的步骤S520；和确定闭合形状(诸如五边形)的数量为过滤所述一组相连的笔划以形成多边形中的组数的步骤S530，所述多边形具有至少预设数量的连接的笔划。
在一个实施方式中，为了计算几何特征nclosures，如果笔划的起点或终点以及另一个笔划的起点或终点彼此的间隔的距离小于阈值，则确定笔划被连接以形成一组连接的笔划。因而，nclosures被定义为一组连接的笔划的数目，其中所述一组连接的笔划的起点和终点彼此间隔的距离小于阈值，形成一个闭合环形。
如图6所图解，确定多个几何特征的角的数量可以包括：基于瞬时绘图速度过滤绘图数据的步骤S600；通过连接彼此间隔的距离小于第一阈值任何两个像素，将绘图数据转换为一组连接的笔划的步骤S610；如果满足以下条件，即连接的笔划的起点和中点和连接的笔划的终点和中点之间的距离之和大于连接的笔划的起点和终点之间的距离，则计算多个中点的步骤S620；和如果中点彼此间隔的距离小于第二阈值，进行聚类的步骤S630。
在一个实施方式中，五边形被定义为具有五个连接的笔划的多边形的形状。下表1是显示如何在绘图中区分角的实例。对于表1中表示的在[s1,….sL]中的每个笔划sm，A、B分别是起点和终点。在一种情况下，存在一个点C，其中AC＝CB。在另一种情况下，如果存在一个点C，其中AC+CB>AB，则将点C确定为角。否则，确定点C不是角。借助聚类将彼此靠近且彼此间隔的距离小于阈值的角作为圆角滤出，否则这种圆角将被错误地计算为多个角。ncorners被定义为[s1,….sL]中的角的数量。
表1显示怎样区分角的实例
Figure BDA0002361478730000111
此外，可以通过在缩放之后的最终图像上的主成分分析(PCA)方法，从几何特征中提取多个扩展的几何特征，并且所述多个扩展的几何特征从所述一组连接的笔划转换为灰度。然后将特征值保存以进行预测。
在一个实施方式，可以在像素、笔划和闭合环形/五边形范围方面计算动作特征。主要动作特征可以包括例如绘图时间、停止时间、绘图距离和绘图速度。绘图时间被定义为当测试对象触摸数字设备的触摸屏时，所花费的时间。绘图距离被定义为测试对象的触摸在数字设备的触摸屏上移动的距离。停止时间被定义为当测试对象没有触摸数字设备的触摸屏时，所花费的时间。绘图速度被定义为当测试对象触摸数字设备的触摸屏时，随着时间的距离。摘要数据可以包括针对如下表2和表3所示的每个主要动作特征计算的平均值和/或中值和/或最大值和/或最小值和/或标准偏差。
表2.在五边形级别中的动作特征
每个五边形的数据 用于第一五边形 用于第二五边形
绘图时间 itfp itsp
停止时间 stfp stsp
绘图距离 idfp idsp
表3.在像素和笔划级别的动作特征
Figure BDA0002361478730000121
Figure BDA0002361478730000131
动作特征选择
如上所述获得个人数据、动作特征、几何特征和扩展的几何特征之后，在开发预测模型之前进行动作特征的简化。
随着更多的动作特征，需要更多的样本来表示数据集中的动作特征值的相同组合。当动作特征的数量增加时，开发的预测模型变得更加复杂，并且具有过度拟合的更大可能性，从而导致对实际数据预测的性能较差。因此，获得的动作特征被选择为包括更少的动作特征的较小的组。
为了简化动作特征，去除一组动作特征中的具有较高相关性(例如，相关性>0.7)的变量。然后，在动作特征的组之间进行组去除。与另一组具有较高相关性的一组动作特征被去除，其中该组的任何要素与另一组的要素具有相关性>0.7。最终，去除了具有相似临床意义的动作特征。
具有贪婪特征选择的朴素贝叶斯模型
在图1的步骤S130，可以通过作为基准预测模型的预训练的朴素贝叶斯模型，基于绘图特征和个人数据确定测试对象患有认知障碍诸如痴呆的可能性。
朴素贝叶斯模型将一些先验分布放在特征上，并计算出后验概率P(Y|X)，其中Y为患有痴呆状态，X为包含个人数据、动作特征和几何特征的一组特征。它隐含地假设这些功能是独立的。
在一个实施方式中，将以下先验分布放置在特征上：
1.如果特征是象征性的，则将多项分布作为先验放置。
2.如果特征是连续的，则将常态分布作为先验放置。
3.如果特征为二进制，则将常态二项式作为先验放置。
但是，朴素贝叶斯模型自然不会选择任何重要特征，因为所有输入特征均被平等对待。因此，应用变量选择技术以首先识别重要特征，然后将这些重要特征用作模型的输入。类似于向前逐步选择方法，应用贪婪特征选择方法来选择重要特征。
参考图8，具有贪婪变量选择的朴素贝叶斯模型可以包括：在模型中以没有绘图特征开始的步骤S800；在每个步骤中，将一个绘图特征添加到模型，其中，所述绘图特征对交叉验证的曲线下面积带来最大性能改进的步骤S810；当对模型没有改进时，停止添加特征的步骤S820；和用预设的分布拟合所述选择的绘图特征并保存预测的结果的步骤S830。所述一组选择的重要特征为朴素贝叶斯模型的输入。
嵌套交叉验证方法用于评估朴素贝叶斯模型的性能，内循环为10组，且外循环为20组。内循环是用于贪婪变量选择，并且将生成一组重要特征。外循环是用于计算评估指标。
在某些实施方式中，包含储存在其上的程序指令的非暂时性计算机可读介质，其在执行时使处理器基于对绘画行为变化的分析，进行用于筛查、诊断或预测认知障碍的存在、进展或治疗效果的第一方法，该第一方法包括以下步骤：获得由测试对象在数字设备上创建的至少一个图像的绘图数据和测试对象的个人数据；基于获得的绘图数据重建至少一个图像；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；并通过预训练的朴素贝叶斯模型而基于绘图特征和个人数据以确定测试对象患有认知障碍的可能性。
第二方法
图7示出了基于预训练的朴素贝叶斯模型来分析绘画行为变化，从而筛查、诊断或预测认知障碍诸如痴呆的存在、进展或治疗效果的第二方法的流程图。所述第二方法可以包括：收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的测试对象创建的至少一个图像的绘图数据、和由无认知障碍的测试对象创建的至少一个图像的绘图数据的步骤S700；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征的步骤S710；基于所收集的绘图数据重建所述至少一个图像的步骤S720；在绘图数据上进行主成分分析(PCA)统计程序以获得多个扩展的几何特征并储存获得的扩展的几何特征的多个特征向量的步骤S730；通过去除具有高相关性(>0.7)的摘要数据、对每组动作特征进行组去除和去除具有相似临床意义的动作特征，从多个动作特征选择关键动作特征的步骤S740；和基于具有贪婪变量选择的朴素贝叶斯方法，开发用于在动作特征、几何特征和关键动作特征上进行的预训练的模型的步骤S750。
在某些实施方式中，包含储存在其上的程序指令的非暂时性计算机可读介质，其在执行时使处理器基于对绘画行为变化的分析，进行为开发预测模型用于筛查、诊断或预测认知障碍的存在、进展或治疗效果的第二方法，所述第二方法包括以下步骤：收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的测试对象创建的至少一个图像的绘图数据、和由无认知障碍的测试对象创建的至少一个图像的绘图数据；将绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；基于所收集的绘图数据重建所述至少一个图像；在绘图数据上进行主成分分析统计程序以获得多个扩展的几何特征并储存获得的扩展的几何特征的多个特征向量；通过去除具有高相关性(>0.7)的摘要数据和对每组动作特征进行组去除和去除具有相似临床意义的动作特征，从多个动作特征选择关键动作特征；及基于具有贪婪变量选择的朴素贝叶斯方法，开发用于在动作特征、几何特征、扩展的几何特征和关键动作特征上进行的预训练的模型。
参考图9，示出了基于预训练的朴素贝叶斯预测模型的接受者操作特性(ROC)分析。
此外，根据本发明的一个实施方式，图10A示出了患有痴呆的测试对象的示例性绘图，并且图10B示出了图10A的患有痴呆的测试对象的绘图的绘图过程的示例性分析结果。
对比的，根据本发明的一个实施方式，图11A示出了没患有痴呆的测试对象的示例性绘图，并且图11B示出了图11A的没患有痴呆的测试对象的绘图的绘图过程的示例性分析结果。
实施例：临床研究
用于临床研究的测试对象纳入标准包括：
1.年龄60岁或以上，并且
2.以粤语为母语
用于临床研究的测试对象排除标准包括：
1.并发脑血管疾病的参与者
2.有视觉障碍的参与者，
3.痴呆症患者的蒙特利尔认知评估(Montreal Cognitive Assessment：MoCA)分数≥19，及
4.健康测试对象的MoCA分数<22。
测试对象的招募过程
如图12所示，在2016年7月1日至2018年7月31日之间招募了268位健康的健康对照(HC)的测试对象和185位阿尔茨海默氏病(AD)患者的测试对象。AD测试对象是在香港威尔斯亲王医院(Prince of Wales Hospital：PWH)的老年医学研究诊所招募的。HC测试对象是在PWH的神经病学研究诊所以及香港的八个社区中心招募的。HC测试对象也从香港中文大学(Chinese University of Hong Kong)的用于骨质疏松症的护理和控制的Jockey ClubCenter的Mr Os.和Ms Os.中招募的。Mr Os.和Ms Os.是针对亚洲老年人骨质疏松症的最大规模的队列研究。该研究得到香港中文大学调查与行为研究伦理委员会(Survey andBehavioral Research Ethic Committee)的批准。在测试对象参与临床研究之前，已向他们提供了知情同意。
数据收集
从所有测试对象中选录了人口统计特征诸如年龄、教育水平和性别。所有AD测试对象均由老年病学专家使用《精神疾病的诊断和统计手册》(Diagnostic and StatisticalManual of Mental Disorders：DSM-IV)诊断标准进行临床上诊断。所有测试对象均由专业的研究人员使用MoCA管理。使用了MoCA的香港版本，最佳本地截止值为22/21。在MoCA的管理之后，为测试对象提供了一个连锁五边形的图。他们被要求在数字绘图平台上临摹图。绘图平台已预先安装在智能平板电脑上。绘图时间和尝试次数没有限制。表4中显示了该临床研究的测试对象的特征。
表4临床研究的测试对象的特性
Figure BDA0002361478730000181
*社区中心的测试对象与非AD诊所的测试对象；#AD患者与全部HC
动作特征选择
在每组动作特征中，例如，将绘图时间的平均值、最大值、中值、标准偏差视为一个组，去除了具有高相关性摘要数据(例如>0.7)。表5中示出了选择特征，并且图13中示出了每组动作特征的相关性矩阵。
表5步骤1之后的选择特征
Figure BDA0002361478730000191
对每组动作特征进行组去除(例如，将itp的中值和标准偏差视为一组)。去除与另一组具有较高相关性的特征组(其中该组中的任何要素与另一组的要素具有相关性>0.7)。特征组之间的相关性矩阵如图14所示。去除包括itsp、its、idp和dss的动作特征；同时，选择包括stfp、stsp、itfp、idfp、idsp、itp-med、itp-std、ids-avg、ids-std、dsp-med和dsp-std的动作特征。图15示出了HC组和AD组中选择的动作特征的分布，其解释见表6。
表6HC组和AD组中选择的动作特征的说明
Figure BDA0002361478730000192
Figure BDA0002361478730000201
去除具有相似临床意义的特征。对于表7中具有相似临床意义的每组变量，将其中一个去除，并在表8所示的5个不同的模型的交叉验证的AUC中分析变化。结果去除包括stsp、idfp和itfp的动作特征。输入最终模型的选择动作特征包括stfp、idsp、itp-med、itp-std、ids-avg、ids-std、dsp-med和dsp-std。最终选择的动作特征的相关性矩阵如图16所示。
表7具有相似临床意义的变量组
Figure BDA0002361478730000202
Figure BDA0002361478730000211
表8.在去除具有相似临床意义的特征后的模型性能
模型1A(去除stfp) 模型1B(去除stsp)
灵敏度 0.772 0.740
特异性 0.836 0.881
准确性 0.804 0.809
AUC 0.866 0.872
模型2A(去除idfp) 模型2B(去除idsp)
灵敏度 0.783 0.780
特异性 0.819 0.836
准确性 0.801 0.808
AUC 0.873 0.873
Figure BDA0002361478730000212
Figure BDA0002361478730000221
Figure BDA0002361478730000222
具有贪婪特征选择的朴素贝叶斯模型
表9示出了20倍交叉验证的结果。
表9朴素贝叶斯算法的每个交叉验证的结果
Figure BDA0002361478730000223
Figure BDA0002361478730000231
Figure BDA0002361478730000241
Figure BDA0002361478730000251
与用于认知障碍诸如痴呆的常规临床筛查测试相比，本发明的绘图过程可以通过廉价的小工具诸如智能手机或数字平板电脑实时捕捉并达到像素水平的精确度。像素水平的绘图数据可进一步进行大数据分析，并为认知障碍的筛查部署高性能的预测模型。
本文所参考或引用的所有专利、专利申请、临时申请以及出版物均通过引用整体并入本文，包括所有附图和表，只要它们与本说明书的明确教导不矛盾即可。
应当理解，本文描述的实施例和实施方式仅用于说明目的，并且根据其各种修改或变化将被建议给本领域技术人员，并且被包括在该申请以及所附权利要求的范围的精神和范围之内。另外，本文所公开的任何发明或其实施方式的任何要素或限制可以与本文所公开的任何和/或所有其他要素或限制(单独地或以任何组合)或任何其他发明或其实施方式结合，并且在在不脱离本发明的范围的前提下，可以考虑使用所有这样的组合。
参考文献
[1]J.S.Lin et al.,“Screening for cognitive impairment in olderadults:a systematic review for the US Prevantive Services Task Force”,Annalsof Internal Medicine,159(9),2013,pp.601-612.
[2]B.L.Plassman et al.,“Prevalence of dementia in the United States:the aging,demographics,and memory study”,Neuroepidemiology,29(1-2),2007,pp.125-132.
[3]V.G.Valcour et al.,“The detection of dementia in the primary caresetting”,Archives of Internal Medicine,160(19),2000,pp.2964-2968.
[4]J.Chodosh et al.,“Physician recognition of cognitive impairment:evaluating the need for improvement”,Journal of the American GeriatricsSociety,52(7),2004,pp.1051-1059.
[5]S.lliffe,J.Manthorpe,and A.Eden,“Sooner or later？Issues in theearly diagnosis of dementia in general practice:a qualitative study”,FamilyPractice,20(4),2003,pp.376-381.
[6]V.G.Valcour et al.,“The Detection of dementia in the primary caresetting”,Archives of Internal Medicine,160(19),2000,pp.2964-2968.
[7]A.J.Mitchell,“The clinical significance of subjective memorycomplaints in the diagnosis of mild cognitive impairment and dementia”,International Journal of Geriatric Psychiatry,23(11),2008,pp.1191-1202.
[8]A.J.Mitchell,“Risk of dementia and mild cognitive impairment inolder people with subjective memory complaints:meta-analysis”,ActaPsychiatrica Scandinavica,130(6),2014,pp.1191-1202.
[9]J.W.Ashford,“Should older adults be screened for dementia？”,Alzheimer’s&Dementia,2(2),2006,pp.76-85.
[10]W.Souillard-Mandar et al.,“Learning classification models ofcognitive conditions from subtle behaviors in the digital clock drawingtest”,Machine Learning,102(3),2016,pp.393-441.
[11]J.M.Oxbury,D.C.Campbell,and S.M.Oxbury,“Unilateral spatialneglect and impairments of spatial analysis and visual perception”,Brain,97(1),1974,pp.551-564.
[12]B.H.Lee et al.,“Mechanism of the closing-I phenomenon in a figurecopying task in Alzheimer’s disease patients”,Neurocase,10(5),2004,pp.393-397.
[13]S.Dansilio,and A.Charamelo,“Constructional functions and figurecopying in illiterates or low-schooled Hispanics”,Archives of ClinicalNeuropsychology,20(8),2005,pp.1105-1112.
[14]K.Watanabe et al.,“The Rey-Osterrieth Complex Figure as a measureof executive function in childhood”,Brain and Development,27(8),2005,pp.564-569.
[15]M.S.Shin et al.,“Clinical and empirical applications of the Rey-Osterrieth complex figure test”,Nature Protocols,1(2),2006,pp.892-899.
[16]J.Tchalenko,and R.C.Miall,“Eye-hand strategies in copying complexlines”,Cortex,45(3),2009,pp.368-376.
[17]S.Maechima et al.,“Usefulness of a Cube-Copying Test inOutpatients with Dementia”,Brain Injury,18(9),2004,pp.889-898.
[18]P.Buchhave et al.,“Cube Copying Test in Combination with rCBF orCSF Aβ42Predicts Development of Alzheimer’s Disease”,Dementia and GeriatricCognitive Disorders,25(6),2008,pp.544-552.
[19]J.Bourke et al.,“A comparison of clock and pentagon drawing inAlzheimer's disease”.International Journal of Geriatric Psychiatry,10(8),1995,pp.703-705.
[20]T.A.Ala et al.,“Pentagon copying is more impaired in dementiawith Lewy bodies than in Alzheimer’s disease”,Journal of Neurology,Neurosurgery,and Psychiatry,70(4),2001,pp.483–488.
[21]F.Cormack et al.“Pentagon drawing and neuropsychologicalperformance in Dementia with Lewy Bodies,Alzheimer's disease,Parkinson'sdisease and Parkinson's disease with dementia”,International journal ofgeriatric psychiatry,19(4),2004,pp.371-377.
[22]P.Caffarra et al.,“The qualitative scoring MMSE pentagon test(QSPT):a new method for differentiating dementia with Lewy body fromAlzheimer’s disease”Behavioural Neurology,27(2),2013,pp.213-220.
[23]M.Mitolo et al.,“The new Qualitative Scoring MMSE Pentagon Test(QSPT)as a valid screening tool between autopsy-confirmed dementia with Lewybodies and Alzheimer’s disease”,Journal of Alzheimer’s Disease,39(4),2014,pp.823-832.
[24]A.Cagnin et al.,“High specificity of MMSE pentagon scoring fordiagnosis of prodromal dementia with Lewy bodies”,Parkinsonism&relateddisorders,21(3),
2015,pp.303-305.
[25]Alzheimer’s Society(2016).Risk factors for dementia.Alzheimer’sSociety,pp.1-17.

Claims (20)

1.一种基于对绘画行为变化的分析来筛查、诊断或预测认知障碍的存在、进展或治疗效果的方法，所述方法包括：
a)获得由测试对象在数字设备上创建的至少一个图像的绘图数据，并获得所述测试对象的个人数据；
b)基于所获得的绘图数据重建所述至少一个图像；
c)将所述绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；和
d)通过预训练的朴素贝叶斯方法以基于所述绘图特征和所述个人数据来确定所述测试对象患有认知障碍的可能性。
2.根据权利要求1所述的方法，其中，获得所述绘图数据包括从所创建的所述至少一个图像和创建所述至少一个图像的过程二者中获得所述绘图数据。
3.根据权利要求1所述的方法，其中，所述至少一个图像由所述数字设备以像素级精度实时记录。
4.根据权利要求1所述的方法，其中，所述绘图数据包括连续的绘图轨迹，所述连续的绘图轨迹包括坐标、所花费的时间以及一点是否是由所述测试对象绘制的每个像素在数字设备上的触摸终点。
5.根据权利要求1所述的方法，其中，所述至少一个图像包括至少两个连锁五边形。
6.根据权利要求1所述的方法，其中，所述个人数据包括所述测试对象的年龄、性别和教育水平的信息。
7.根据权利要求1所述的方法，其中，重建所创建的图像包括：
a)过滤所述至少一个图像的整个绘图轨迹，以重新组装分离的绘图片段；
b)将基于在过滤中获得的并储存用于处理的绘图片段逐像素地用于重新绘制图像；且
c)将所述图像调整为预设大小，并将所述图像转换为灰度。
8.根据权利要求1所述的方法，其中，将所述绘图数据转换为绘图特征包括：去除所述绘图数据的统计离群值，而后进行预设的数学公式以获得所述多个动作特征和所述多个几何特征，并在所述绘图数据上进行主成分分析(PCA)统计程序以获取扩展的几何特征。
9.根据权利要求1所述的方法，其中，所述多个动作特征包括以下摘要数据中的至少一个，所述摘要数据包括像素或笔划或形状级别的绘图时间的、像素或笔划或形状级别的绘图距离的、形状级别的停止时间的、或像素或笔划级别的绘图速度的平均值和/或最大值和/或最小值和/或标准偏差和/或中值。
10.根据权利要求1所述的方法，其中，所述多个几何特征包括所述至少一个图像的角的数量或所述至少一个图像的闭合形状的数量中的至少一个。
11.根据权利要求10所述的方法，其中，将所述绘图数据转换为所述多个几何特征的闭合形状的数量包括：
a)基于瞬时绘图速度过滤所述绘图数据；
b)通过连接彼此间隔距离小于阈值的任何两个像素，将绘图数据转换成一组连接的笔划；
c)如果每个连接的笔划的起点和终点之间彼此间隔的距离小于阈值，则过滤所述一组相连的笔划以形成多边形；和
d)确定闭合形状的数量为过滤所述一组相连的笔划以形成多边形中的组数，所述多边形具有至少预设数量的连接的笔划。
12.根据权利要求10所述的方法，其中，将所述绘图数据转换为所述多个几何特征的角的数量包括：
a)基于瞬时绘图速度过滤所述绘图数据；
b)通过连接彼此间隔距离小于第一阈值的任何两个像素，将绘图数据转换成一组连接的笔划；
c)如果满足以下条件，则计算多个中点：连接的笔划的起点和中点和连接的笔划的终点和所述中点之间的距离之和大于连接的笔划的所述起点和所述终点之间的距离；和
d)如果中点彼此间隔的距离小于第二阈值，则进行聚类。
13.根据权利要求1所述的方法，其中，所述认知障碍包括痴呆。
14.一种基于对绘画行为变化的分析开发用于筛查、诊断或预测认知障碍的存在、进展或治疗效果的预测方法的方法，所述方法包括：
a)收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的对象创建的至少一个图像的绘图数据、和由无认知障碍的对象创建的至少一个图像的绘图数据；
b)将所述绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；
c)基于所收集的绘图数据重建所述至少一个图像；
d)在所述绘图数据上进行主成分分析统计程序以获得多个扩展的几何特征，并储存所获得的扩展的几何特征的多个特征向量；
e)通过去除具有高相关性的摘要数据而从所述多个动作特征中选择关键动作特征，对每组动作特征进行组去除，并去除具有相似临床意义的动作特征；和
f)基于具有贪婪变量选择的朴素贝叶斯方法开发预训练的方法以用于在所述动作特征、所述几何特征、所述扩展的几何特征和所述关键动作特征上实施。
15.根据权利要求14所述的方法，其中，将所述绘图数据转换为绘图特征包括：进行预设的数学公式以获得所述多个动作特征和所述几何特征。
16.根据权利要求14所述的方法，其中，所述动作特征包括以下摘要数据中的至少一个，所述摘要数据包括像素或笔划或形状级别的绘图时间的、像素或笔划或形状级别的绘图距离的、形状级别的停止时间的、或像素或笔划级别的绘图速度的平均值和/或最大值和/或最小值和/或标准偏差和/或中值。
17.根据权利要求14所述的方法，其中，所述多个几何特征包括所述至少一个图像的角的数量、所述至少一个图像的闭合形状的数量、和所述闭合形状的每两个角之间的最小距离中的至少一个。
18.根据权利要求14所述的方法，其中，所述具有贪婪变量选择的朴素贝叶斯方法包括：
a)在所述方法中以没有绘图特征开始；
b)在每个步骤中，将一个绘图特征添加到所述方法中，其中，所述绘图特征对交叉验证的曲线下面积产生最大性能改进；
c)当对所述方法没有改进时，停止添加特征；及
d)用预设的分布拟合所选择的绘图特征并保存预测的结果。
19.一种包含储存在其上的程序指令的非暂时性计算机可读介质，在执行所述程序指令时，使处理器实施基于对绘画行为变化的分析来筛查、诊断或预测认知障碍的存在、进展或治疗效果的方法，所述方法包括：
a)获得由测试对象在数字设备上创建的至少一个图像的绘图数据，及获得所述测试对象的个人数据；
b)基于所获得的绘图数据重建所述至少一个图像；
c)将所述绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；及
d)通过预训练的朴素贝叶斯方法以基于所述绘图特征和所述个人数据来确定所述测试对象患有认知障碍的可能性。
20.一种包含储存在其上的程序指令的非暂时性计算机可读介质，在执行所述程序指令时，使处理器实施基于对绘画行为变化的分析开发用于筛查、诊断或预测认知障碍的存在、进展或治疗效果的预测方法的方法，所述方法包括：
a)收集收集个人数据、由通过临床上诊断的和/或筛查的具有认知障碍的对象创建的至少一个图像的绘图数据、和由无认知障碍的对象创建的图像的绘图数据；
b)将所述绘图数据转换为包括多个动作特征和多个几何特征的绘图特征；
c)基于所收集的绘图数据重建所述至少一个图像；
d)在所述绘图数据上进行主成分分析统计程序以获得多个扩展的几何特征，并储存所述获得的扩展的几何特征的多个特征向量；
e)通过去除具有高相关性的摘要数据而从所述多个动作特征中选择关键动作特征，对每组动作特征进行组去除，并去除具有相似临床意义的动作特征；和
f)基于具有贪婪变量选择的朴素贝叶斯方法开发预训练的方法，用于在所述动作特征、所述几何特征、所述扩展的几何特征和所述关键动作特征上实施。
CN202010023056.4A 2019-11-26 2020-01-09 基于分析绘画行为变化来筛查认知障碍的方法 Active CN112932408B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/696,270 US11464443B2 (en) 2019-11-26 2019-11-26 Methods based on an analysis of drawing behavior changes for cognitive dysfunction screening
US16/696,270 2019-11-26

Publications (2)

Publication Number Publication Date
CN112932408A true CN112932408A (zh) 2021-06-11
CN112932408B CN112932408B (zh) 2024-06-28

Family

ID=75971220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010023056.4A Active CN112932408B (zh) 2019-11-26 2020-01-09 基于分析绘画行为变化来筛查认知障碍的方法

Country Status (2)

Country Link
US (1) US11464443B2 (zh)
CN (1) CN112932408B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020393923A1 (en) * 2019-11-27 2022-06-09 Screenbeam Inc. Methods and systems for reducing latency on a collaborative platform
EP3907587A1 (en) * 2020-05-04 2021-11-10 Invoxia System and method for detecting handwriting problems
CN114420300B (zh) * 2022-01-20 2023-08-04 北京大学第六医院 中国老年认知损害预测模型
CN114550918A (zh) * 2022-02-23 2022-05-27 中国科学院心理研究所 一种基于绘画特征数据的心理障碍测评方法及系统
WO2023225094A1 (en) * 2022-05-17 2023-11-23 Ohio State Innovation Foundation System and method for early detection of cognitive impairment using cognitive test results with its behavioral metadata
CN115762756A (zh) * 2022-11-07 2023-03-07 南京脑科医院 早期认知障碍量表绘图结果判别装置

Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283054A1 (en) * 2004-06-18 2005-12-22 Banner Health Evaluation of a treatment to decrease the risk of a progressive brain disorder or to slow brain aging
US20080118899A1 (en) * 2004-04-13 2008-05-22 Barbara Sahakian Methods for Assessing Neurocognitive Disorders
US20140088926A1 (en) * 2012-09-27 2014-03-27 Siemens Product Lifecycle Management Software Inc. Virtual drafting tools
US20140107494A1 (en) * 2011-05-31 2014-04-17 Nagoya Institute Of Technology Cognitive Impairment Determination Apparatus, Cognitive Impairment Determination System and Program
CN103942567A (zh) * 2014-04-22 2014-07-23 张擎 一种基于支持向量机的轻度认知障碍自动判别分析方法
CN103989476A (zh) * 2014-05-27 2014-08-20 朱子勤 一种磁共振成像设备
US20140258898A1 (en) * 2012-05-31 2014-09-11 Oliver Farshi User Interface for Drawing with Electronic Devices
CN104820570A (zh) * 2014-02-03 2015-08-05 奥多比公司 几何及参数修改用户输入以辅助绘画
US20150313529A1 (en) * 2014-05-01 2015-11-05 Ramot At Tel-Aviv University Ltd. Method and system for behavioral monitoring
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法
CN105765503A (zh) * 2013-11-19 2016-07-13 株式会社和冠 用于墨水数据生成、墨水数据呈现、墨水数据操纵以及墨水数据通信的方法和系统
US20160262680A1 (en) * 2015-03-12 2016-09-15 Akili Interactive Labs, Inc. Processor Implemented Systems and Methods for Measuring Cognitive Abilities
CN106294474A (zh) * 2015-06-03 2017-01-04 阿里巴巴集团控股有限公司 显示数据的处理方法、装置及系统
US20170351708A1 (en) * 2016-06-06 2017-12-07 Think-Cell Software Gmbh Automated data extraction from scatter plot images
CN107683113A (zh) * 2015-06-04 2018-02-09 皇家飞利浦有限公司 用于通过癌症分级绘图增强的精确诊断和治疗的系统和方法
CN107684479A (zh) * 2016-08-04 2018-02-13 山东威高骨科材料股份有限公司 用于制造膝关节置换植入物的方法以及用于膝关节置换的植入物
CN108108654A (zh) * 2017-09-19 2018-06-01 东华大学 一种基于多通道表面肌电信号的手绘轨迹重建方法
CN108392213A (zh) * 2018-03-27 2018-08-14 北京态极科技有限公司 基于绘画心理学的心理分析方法及装置
CN108538365A (zh) * 2017-03-24 2018-09-14 华东师范大学 一种基于数据分析技术的自闭症社交能力评估系统
WO2018169098A1 (ko) * 2017-03-13 2018-09-20 중앙대학교 산학협력단 인지 및 기억 검사 장치 및 방법
KR20190015649A (ko) * 2017-08-03 2019-02-14 사회복지법인 삼성생명공익재단 신경심리검사를 이용한 치매 발병 예측 방법 및 예측 시스템
US10383553B1 (en) * 2014-10-14 2019-08-20 The Cognitive Healthcare Company Data collection and analysis for self-administered cognitive tests characterizing fine motor functions

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070123757A1 (en) * 2005-10-24 2007-05-31 Chervinsky Alexander B Neuropsychological assessment platform (NPAP) and method
US9895085B2 (en) * 2007-03-21 2018-02-20 Massachusetts Institute Of Technology Measuring representational motions in a medical context
US20130216986A1 (en) * 2012-02-20 2013-08-22 Athletic Intelligence Measures, Llc Cognitive aptitude assessment tool
CA3112130A1 (en) * 2013-07-11 2015-01-15 University Of North Texas Health Science Center At Fort Worth Blood-based screen for detecting neurological diseases in primary care settings
WO2018094232A1 (en) * 2016-11-17 2018-05-24 Cognito Therapeutics, Inc. Methods and systems for neural stimulation via visual, auditory and peripheral nerve stimulations
US20190076078A1 (en) * 2017-09-08 2019-03-14 Randall Davis Systems and methods for tremor detection and quantification

Patent Citations (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118899A1 (en) * 2004-04-13 2008-05-22 Barbara Sahakian Methods for Assessing Neurocognitive Disorders
US20050283054A1 (en) * 2004-06-18 2005-12-22 Banner Health Evaluation of a treatment to decrease the risk of a progressive brain disorder or to slow brain aging
US20140107494A1 (en) * 2011-05-31 2014-04-17 Nagoya Institute Of Technology Cognitive Impairment Determination Apparatus, Cognitive Impairment Determination System and Program
US20140258898A1 (en) * 2012-05-31 2014-09-11 Oliver Farshi User Interface for Drawing with Electronic Devices
US20140088926A1 (en) * 2012-09-27 2014-03-27 Siemens Product Lifecycle Management Software Inc. Virtual drafting tools
CN105765503A (zh) * 2013-11-19 2016-07-13 株式会社和冠 用于墨水数据生成、墨水数据呈现、墨水数据操纵以及墨水数据通信的方法和系统
CN104820570A (zh) * 2014-02-03 2015-08-05 奥多比公司 几何及参数修改用户输入以辅助绘画
CN103942567A (zh) * 2014-04-22 2014-07-23 张擎 一种基于支持向量机的轻度认知障碍自动判别分析方法
US20150313529A1 (en) * 2014-05-01 2015-11-05 Ramot At Tel-Aviv University Ltd. Method and system for behavioral monitoring
CN103989476A (zh) * 2014-05-27 2014-08-20 朱子勤 一种磁共振成像设备
US10383553B1 (en) * 2014-10-14 2019-08-20 The Cognitive Healthcare Company Data collection and analysis for self-administered cognitive tests characterizing fine motor functions
US20160262680A1 (en) * 2015-03-12 2016-09-15 Akili Interactive Labs, Inc. Processor Implemented Systems and Methods for Measuring Cognitive Abilities
CN106294474A (zh) * 2015-06-03 2017-01-04 阿里巴巴集团控股有限公司 显示数据的处理方法、装置及系统
CN107683113A (zh) * 2015-06-04 2018-02-09 皇家飞利浦有限公司 用于通过癌症分级绘图增强的精确诊断和治疗的系统和方法
CN105147248A (zh) * 2015-07-30 2015-12-16 华南理工大学 基于生理信息的抑郁症评估系统及其评估方法
US20170351708A1 (en) * 2016-06-06 2017-12-07 Think-Cell Software Gmbh Automated data extraction from scatter plot images
CN107684479A (zh) * 2016-08-04 2018-02-13 山东威高骨科材料股份有限公司 用于制造膝关节置换植入物的方法以及用于膝关节置换的植入物
WO2018169098A1 (ko) * 2017-03-13 2018-09-20 중앙대학교 산학협력단 인지 및 기억 검사 장치 및 방법
CN108538365A (zh) * 2017-03-24 2018-09-14 华东师范大学 一种基于数据分析技术的自闭症社交能力评估系统
KR20190015649A (ko) * 2017-08-03 2019-02-14 사회복지법인 삼성생명공익재단 신경심리검사를 이용한 치매 발병 예측 방법 및 예측 시스템
CN108108654A (zh) * 2017-09-19 2018-06-01 东华大学 一种基于多通道表面肌电信号的手绘轨迹重建方法
CN108392213A (zh) * 2018-03-27 2018-08-14 北京态极科技有限公司 基于绘画心理学的心理分析方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KELVIN KF TSOI, ET AL.: "Machine learning on drawing behavior for dementia screening", PROCEEDINGS OF THE 2018 INTERNATIONAL CONFERENCE ON DIGITAL HEALTH, pages 131 - 132 *
周辉, 欧宗瑛, 王金鹤: "手绘 CAD 图形输入的识别", 机械科学与技术, no. 02, 20 April 1998 (1998-04-20) *
黄若燕;唐牟尼;佘生林;孙彬;林康广;郁俊昌;陈映梅;郭伟坚;肖;王怀坤;: "画钟测验在认知障碍老人中的鉴别作用", 中国神经精神疾病杂志, no. 08, 27 August 2013 (2013-08-27) *

Also Published As

Publication number Publication date
US20210153801A1 (en) 2021-05-27
CN112932408B (zh) 2024-06-28
US11464443B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
CN112932408B (zh) 基于分析绘画行为变化来筛查认知障碍的方法
Mumtaz et al. Electroencephalogram (EEG)-based computer-aided technique to diagnose major depressive disorder (MDD)
Mumtaz et al. A machine learning framework involving EEG-based functional connectivity to diagnose major depressive disorder (MDD)
JP7221693B2 (ja) ヒトの脳の皮質機能の目録を作るための方法および磁気画像化デバイス
Thapaliya et al. Evaluating the EEG and eye movements for autism spectrum disorder
JP2009528103A (ja) 参照ツールを作成及び使用して対象者の医学的病態を示す識別信号を生成する方法及び装置
Kuru et al. Biomedical visual data analysis to build an intelligent diagnostic decision support system in medical genetics
CN114188013A (zh) 一种阿尔兹海默症的认知及脑影像数据整合评估方法
JP3581319B2 (ja) 脳活動自動判定装置
JP2009542351A (ja) 時間的尺度を使用した脳パターンの解析
US12115005B2 (en) Systems and methods for processing retinal signal data and identifying conditions
CN112890815A (zh) 一种基于深度学习的孤独症辅助评估系统和方法
Mengi et al. Artificial intelligence based techniques for the detection of socio-behavioral disorders: a systematic review
CN110674773A (zh) 一种痴呆症的识别系统、装置及存储介质
Filshtein et al. Differential item functioning of the everyday cognition (ECoG) scales in relation to racial/ethnic groups
EP3901963A1 (en) Method and device for estimating early progression of dementia from human head images
Zuo et al. Deep Learning-based Eye-Tracking Analysis for Diagnosis of Alzheimer's Disease Using 3D Comprehensive Visual Stimuli
Guo et al. A personalized spatial-temporal cold pain intensity estimation model based on facial expression
KR101640310B1 (ko) 뇌파 분석을 통한 조현병 환자 또는 정신질환 환자의 증상 심각도를 예측하는 방법 및 장치
Karuppasamy et al. Prediction of autism spectrum disorder using convolution neural network
Boppana et al. Deep Learning Approach for an early stage detection of Neurodevelopmental Disorders
Logan et al. From individual features to full faces: Combining aspects of face information
KR20230097332A (ko) 치매조기진단 시스템 및 이를 이용한 치매조기진단 방법
Groznik et al. Gaze behaviour during reading as a predictor of mild cognitive impairment
Kang et al. Application of deep learning techniques to diagnose mild cognitive impairment: Functional near-infrared spectroscopy study

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40059693

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant