CN117612712A - 一种检测和提升认知测评诊断精度的方法及系统 - Google Patents
一种检测和提升认知测评诊断精度的方法及系统 Download PDFInfo
- Publication number
- CN117612712A CN117612712A CN202410094018.6A CN202410094018A CN117612712A CN 117612712 A CN117612712 A CN 117612712A CN 202410094018 A CN202410094018 A CN 202410094018A CN 117612712 A CN117612712 A CN 117612712A
- Authority
- CN
- China
- Prior art keywords
- evaluation
- optimized
- module
- cognitive
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 196
- 238000003745 diagnosis Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000019771 cognition Effects 0.000 title description 3
- 238000005457 optimization Methods 0.000 claims abstract description 131
- 230000001149 cognitive effect Effects 0.000 claims abstract description 116
- 230000035945 sensitivity Effects 0.000 claims description 27
- 230000003993 interaction Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 11
- 201000010099 disease Diseases 0.000 claims description 9
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000010219 correlation analysis Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 241001112258 Moca Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/15—Correlation function computation including computation of convolution operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/27—Regression, e.g. linear or logistic regression
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Algebra (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种检测和提升认知测评诊断精度的方法及系统。该方法包括如下步骤：基于认知测评系统，预先设置多个优化阶段；各优化阶段分别对应不同类型的优化指标，以用于对系统数据进行优化；获取认知测评系统的智能化测评结果，并基于历史数据获取人工测评结果；对智能化测评结果和人工测评结果进行一致性评估，以获取认知测评系统的总体诊断精度水平；基于认知测评系统的总体诊断精度水平，按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，以根据优化后的系统数据形成优化后的认知测评方案；其中，选择性跳过的优化阶段数量小于预先设置的优化阶段总数量。
Description
技术领域
本发明涉及一种检测和提升认知测评诊断精度的方法，同时也涉及相应的系统，属于认知测评技术领域。
背景技术
作为临床诊断标准的传统认知测评方式，主要包括蒙特利尔认知评估（MontrealCognitive Assessment, MoCA）、简易智能量表简易智能精神状态检查量表 (Mini-Mental State Examination，MMSE)。传统认知测评方式往往采用人工施测、纸笔施测的方式，需要专业培训过的医生施测，人力成本高、可及性低。目前，国内外通过将认知测评迁移到线上系统，将其进行了电子化、智能化的升级。通过云平台在线收集和保存患者的回答、通过人工智能对患者的回答进行分析，解析其语音输入、图像输入，并自动评判结果。
然而，智能化的认知测评系统往往与传统测评的得分存在评估结构不一致、信效度较低的问题。在线电子施测容易导致患者不能很好理解题目和正确反应，从而评分较低。并且，人工智能评分，也存在判定不灵活和收集回答空缺的情况。因此，智能化认知测评系统虽然具有便捷性的优势，却因为信效度和准确性无法广泛应用。
发明内容
本发明所要解决的首要技术问题在于提供一种检测和提升认知测评诊断精度的方法。
本发明所要解决的另一技术问题在于提供一种检测和提升认知测评诊断精度的系统。
为实现上述技术目的，本发明采用以下的技术方案：
根据本发明实施例的第一方面，提供一种检测和提升认知测评诊断精度的方法，包括如下步骤：
基于认知测评系统，预先设置多个优化阶段；其中，各所述优化阶段分别对应不同类型的优化指标，以用于对系统数据进行优化；
获取所述认知测评系统的智能化测评结果，并基于历史数据获取与所述智能化测评结果相对应的人工测评结果；
对所述智能化测评结果和所述人工测评结果进行一致性评估，以获取所述认知测评系统的总体诊断精度水平；
基于所述认知测评系统的总体诊断精度水平，按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，以根据优化后的系统数据形成优化后的认知测评方案；其中，选择性跳过的优化阶段数量小于预先设置的优化阶段总数量。
其中较优地，所述基于认知测评系统，预先设置多个优化阶段，具体包括：
整体优化阶段，构建预设模型，以输入系统的模块数据的设定水平，并输出优化后的整体模块数据；其中，所述认知测评系统至少包括：呈现模块、交互模块、记录模块和分析模块；
局部优化阶段，对原认知测评方案中的各项测评题目逐一进行信效度评估，以基于预设的可信度阈值筛选出智能化诊断精度为低的测评题目；并且，针对所述智能化诊断精度为低的测评题目，对模块数据进行局部调整，以输出优化后的局部模块数据；
个性化优化阶段，对人群基本信息进行相关性分析，以筛选出智能化诊断精度为低的特定人群；并且，针对所述智能化诊断精度为低的特定人群，确定所述认知测评系统的待调整模块，并对所述待调整模块进行个性化的数据调整，以输出优化后的个性化模块数据；
其中，所述优化后的整体模块数据、优化后的局部模块数据以及优化后的个性化模块数据共同构成优化后的系统数据。
其中较优地，所述整体优化阶段，具体包括：
预先设定所述认知测评系统中各个模块的各项指标；
基于所述各个模块的各项指标对所述认知测评系统进行预优化，以对所有指标都进行朝向目标方向的随机单位的优化，并储存为预优化诊断精度；
基于所述认知测评系统的预优化诊断精度和各项指标的当前水平，构建逻辑斯特多元回归模型，并找出每项指标的理想化分布空间；
在正式检测的第N次整体优化时，将本次各项指标的设定水平及诊断精度输入所述逻辑斯特多元回归模型，以更新形成第N＋1个逻辑斯特多元回归模型；其中，N为正整数；
基于所述第N＋1个逻辑斯特多元回归模型的参数分布，返回第N＋1组最优化的指标水平组合，储存为第N次优化后的整体模块数据。
其中较优地，所述局部优化阶段，具体包括：
将测评题目的类型划分为图像记录类、语音记录类、动作判定类、言语分析类，并按照题目指令的难易程度划分为难、易两类；
若智能化诊断精度为低的测评题目为图像记录类和/或动作判定类，则将记录模块的各项指标朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据；
若智能化诊断精度为低的测评题目为言语分析类，则将分析模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据；
若智能化诊断精度为低的测评题目为难指令题目，则将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
其中较优地，所述个性化优化阶段，具体包括：
收集人群的基本信息，所述基本信息至少包括人口统计学信息、认知水平以及智能化设施使用能力；
评定智能化测评结果与人工测评结果的得分差异与所述基本信息的关联性；
若所述得分差异不与所述基本信息的任何指标相关，则跳过个性化优化阶段；若所述得分差异与所述基本信息的任一指标相关，则基于相关指标定义出智能化诊断精度较低的特定人群画像信息；
若所述特定人群画像信息对应高年龄人群，则将呈现模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据；
若所述特定人群画像信息对应低教育水平人群，则将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据；
若所述特定人群画像信息对应智能化设施使用能力低的人群，则将交互模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据。
其中较优地，所述一致性评估，具体包括：
以皮尔逊相关指标作为衡量标准，并基于第一阈值获取一致性评估结果；
以诊断准确率作为衡量标准，并基于第二阈值获取准确性评估结果；
以实际有病且被筛查工具正确的判断为有病的百分比作为衡量标准，并基于第三阈值获取敏感性评估结果；
以实际无病且被筛查工具正确的判断为无病的百分比作为衡量标准，并基于第四阈值获取特异性评估结果。
其中较优地，基于所述认知测评系统的总体诊断精度水平，按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，具体包括：
若四项评估结果均达标，则总体诊断精度为高；若四项评估结果中有一项不达标，则总体诊断精度为中；若四项评估结果中有至少两项不达标，则总体诊断精度为低；
若总体诊断精度为低，则依次进行整体优化阶段、局部优化阶段以及个性化优化阶段；
若总体诊断精度为中，则跳过整体优化阶段，并依次进行局部优化阶段以及个性化优化阶段；
若总体诊断精度为高，则跳过整体优化阶段和局部优化阶段，直接进入个性化优化阶段。
其中较优地，所述方法还包括：
每间隔预设时长，重新获取所述认知测评系统基于优化后的认知测评方案的智能化测评结果，以用于对认知测评系统进行再次优化，从而不断检测和提高智能化认知测评系统的诊断精度。
其中较优地，所述智能化测评结果与所述人工测评结果所采用的量表相同。
根据本发明实施例的第二方面，提供一种检测和提升认知测评诊断精度的系统，包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行上述方法。
与现有技术相比较，本发明具有以下的技术效果：
1．通过将认知测评系统的智能化测评结果与人工测评结果进行一致性评估，得到智能化测评结果的精准度，并基于预先设置的多个优化阶段，针对不同的精准度进行不同类型的系统优化，以使得认知测评系统形成优化后的认知测评方案，从而有利于提高对用户认知测评的精准度。
2．可通过不断迭代更新的方式，对认知测评系统进行不断的优化，从而不断检测和完善智能化认知测评系统的诊断精度。
3．从系统的整体层面、测评题目的局部层面以及测评人群的个性化层面对认知测评系统进行多阶段优化，以提高对认知测评系统的优化程度。
附图说明
图1为本发明第一实施例提供的一种检测和提升认知测评诊断精度的方法的整体流程图；
图2为本发明第一实施例提供的一种检测和提升认知测评诊断精度的方法的细节流程图；
图3为本发明第一实施例中，认知测评系统的各模块所对应的指标的示意图；
图4为本发明第一实施例中，整体优化阶段的流程图；
图5为本发明第一实施例中，局部优化阶段的流程图；
图6为本发明第一实施例中，个性化优化阶段的流程图；
图7为本发明第二实施例提供的一种检测和提升认知测评诊断精度的系统的结构图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
本发明实施例的技术构思在于：通过将认知测评系统的智能化测评结果与人工测评结果进行一致性评估，从而得到智能化测评结果的精准度，并基于预先设置的多个优化阶段，针对不同的精准度进行不同类型的系统优化（主要针对于系统内置的各个模块），以使得认知测评系统形成优化后的认知测评方案，从而有利于提高对用户认知测评的精准度。并且，可通过不断迭代更新的方式，对认知测评系统进行不断的优化，从而不断检测和完善智能化认知测评系统的诊断精度。
第一实施例
如图1和图2所示，本发明第一实施例提供的一种检测和提升认知测评诊断精度的方法，具体包括步骤S1～S5：
S1：基于认知测评系统，预先设置多个优化阶段。
本实施例中，各优化阶段分别对应不同类型的优化指标，以用于对系统数据进行优化。其中，如图3所示，认知测评系统至少包括：呈现模块、交互模块、记录模块和分析模块，各模块分别对应多个指标，不同类型的优化指标指的是不同模块下的各个指标。下面，具体说明本实施例中预先设置的三个优化阶段：
S11：整体优化阶段。
在整体优化阶段中，通过构建预设模型，以输入系统的模块数据的设定水平，并输出优化后的整体模块数据。
具体的，如图4所示，包括步骤S111～S115：
S111：预先设定认知测评系统中各个模块的各项指标。
本实施例中，上述四个模块的各项指标的初始值为根据以往经验和文献设定的初始水平。
S112：基于各个模块的各项指标对认知测评系统进行预优化。
具体的，在测试阶段，对认知测评系统初始进行50次整体优化（不限定于该次数），以对所有指标都进行朝向目标方向的随机单位的优化，并储存为第50次的诊断精度（即：预优化诊断精度）。
S113：基于认知测评系统的预优化诊断精度和各项指标的当前水平，构建逻辑斯特多元回归模型，并找出每项指标的理想化分布空间。
S114：在正式检测的第N次整体优化时，将本次各项指标的设定水平及诊断精度输入逻辑斯特多元回归模型，以更新形成第N＋1个逻辑斯特多元回归模型；其中，N为正整数。
S115：基于第N＋1个逻辑斯特多元回归模型的参数分布，返回第N＋1组最优化的指标水平组合，储存为第N次优化后的整体模块数据。
S12：局部优化阶段。
在局部优化阶段中，通过对原认知测评方案中的各项测评题目逐一进行信效度评估，以基于预设的可信度阈值（本实施例中为0.8）筛选出智能化诊断精度为低（即：信效度低于0.8）的测评题目。并且，针对智能化诊断精度为低的测评题目，对模块数据进行局部调整，以输出优化后的局部模块数据。
具体的，如图5所示，包括步骤S121～S125：
S121：将测评题目的类型划分为图像记录类、语音记录类、动作判定类、言语分析类，并按照题目指令的难易程度划分为难、易两类。
S122：针对图像记录类和/或动作判定类的测评题目的局部优化。
若智能化诊断精度为低的测评题目为图像记录类和/或动作判定类，则需要改变记录模块的各项指标。具体的，通过将记录模块的各项指标朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
S123：针对言语分析类的测评题目的局部优化。
若智能化诊断精度为低的测评题目为言语分析类，则需要改变分析模块的各项指标。具体的，通过将分析模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
S124：针对语音记录类的测评题目的局部优化。
若智能化诊断精度为低的测评题目为语音记录类，则需要改变呈现模块的各项指标。具体的，通过将呈现模块的各项指标朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
S125：针对难指令题目的局部优化。
若智能化诊断精度为低的测评题目为难指令题目，则需要改变交互模块的各项指标。具体的，通过将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
可以理解的是，本实施例中的步骤S122～S125没有先后顺序之分，只是基于测评题目的类型所对应的四种局部优化方式。并且，需要补充说明的是，本实施例中仅示例了四种局部优化方式，在其他实施例中，可根据测评题目的不同，对局部优化的方式进行适应性调整。
S13：个性化优化阶段。
在个性化优化阶段中，通过对人群基本信息进行相关性分析，以筛选出智能化诊断精度为低的特定人群；并且，针对智能化诊断精度为低的特定人群，确定认知测评系统的待调整模块，并对待调整模块进行个性化的数据调整，以输出优化后的个性化模块数据。
具体的，如图6所示，包括步骤S131～S133：
S131：收集人群的基本信息。
本实施例总，该基本信息至少包括人口统计学信息（例如：年龄、性别、地区、受教育程度等）、认知水平以及智能化设施使用能力。
S132：评定智能化测评结果与人工测评结果的得分差异与基本信息的关联性。
具体的，首先计算皮尔逊相关系数，获得相关的显著性程度（p值），以p<0.05确认统计意义上的相关联。
然后，确定一个维度（如年龄），计算智能化测评结果与人工测评结果的得分差值，与该维度数值进行相关性分析，通过计算皮尔逊相关系数，获得相关性水平（r值）及显著性程度（p值）。
最后，以p＝0.05作为统计意义上显著关联的阈值，如果该p<0.05，则说明该维度的数值与得分差异性存在关联，需要进行个性化的优化。反之，若无差异，则说明该维度与得分差异性无关联。
重复上述过程，以评估下一维度，直至完成所有关联性评定。
S133：基于上述关联性进行个性化的系统优化。
若得分差异不与基本信息的任何指标相关，则说明智能化诊断精度在各个人群中是均匀分布，因此可以跳过个性化优化阶段。若得分差异与基本信息的任一指标相关，则基于相关指标定义出智能化诊断精度较低的特定人群画像信息，从而可基于特定人群画像信息进行个性化的系统优化。
具体的，可包括以下几种优化方式：
第一种方式：针对高年龄人群。
若特定人群画像信息对应高年龄人群，则将呈现模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据。本实施例中，优化呈现模块的各项指标包括：调大字体、调大音量、延长呈现时间和减缓呈现速度；优化记录模块的多项指标包括：提高按压记录敏感度、提高按压记录特异性。
第二种方式：针对低教育水平人群。
若特定人群画像信息对应低教育水平人群，则将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据。本实施例中，优化交互模块的各项指标包括：提高重复次数、提高通俗化程度。
第三种方式：针对智能化设施使用能力低的人群。
若特定人群画像信息对应智能化设施使用能力低的人群，则将交互模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据。本实施例中，优化交互模块的各项指标包括：对用户进行答题指引、对用户进行作答提醒；优化记录模块的多项指标包括：提高按压记录敏感度、提高按压记录特异性。
需要说明的是，本实施例中，整体优化阶段S11、局部优化阶段S12以及个性化优化阶段S13均是针对认知测评系统的各个模块进行数据优化，以从整体层面、局部层面以及个性化层面对认知测评系统进行优化，从而形成优化的认知测评方案。其中，优化后的整体模块数据、优化后的局部模块数据以及优化后的个性化模块数据共同构成优化后的系统数据。
S2：获取智能化测评结果和人工测评结果。
具体的，智能化测评结果通过认知测评系统获得，而人工测评结果则基于历史数据获得。并且，本实施例中，智能化测评结果和人工测评结果均基于MoCA量表和MMSE量表进行获取。
S3：对智能化测评结果和人工测评结果进行一致性评估，以获取认知测评系统的总体诊断精度水平。
在本发明的一个实施例中，一致性评估包括一致性、准确性、敏感性、特异性四项指标。具体评估方式如下：
1．一致性：以皮尔逊相关指标作为衡量标准，并基于第一阈值（本实施例中为0.85）获取一致性评估结果。其中，若皮尔逊相关指标高于0.85，则评估结果为达标；反之，则评估结果为不达标。
2．准确性：以诊断准确率作为衡量标准，并基于第二阈值（本实施例中为0.80）获取准确性评估结果。其中，若诊断准确率高于0.80，则评估结果为达标；反之，则评估结果为不达标。
3．敏感性：以实际有病且被筛查工具正确的判断为有病的百分比作为衡量标准，并基于第三阈值（本实施例中为0.90）获取敏感性评估结果。其中，若百分比高于90%，则评估结果为达标；反之，则评估结果为不达标。
4．特异性：以实际无病且被筛查工具正确的判断为无病的百分比作为衡量标准，并基于第四阈值（本实施例中为0.90）获取特异性评估结果。其中，若百分比高于90%，则评估结果为达标；反之，则评估结果为不达标。
相应地，认知测评系统的总体诊断精度水平的判断标准如下：
① 若四项评估结果均达标，则总体诊断精度为高。
② 若四项评估结果中有一项不达标，则总体诊断精度为中。
③ 若四项评估结果中有至少两项不达标，则总体诊断精度为低。
S4：基于认知测评系统的总体诊断精度水平进行系统优化。
在本发明的一个实施例中，基于认知测评系统的总体诊断精度水平（即：高、中、低），需要按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，以根据优化后的系统数据形成优化后的认知测评方案。
并且，本实施例中，选择性跳过的优化阶段数量小于预先设置的优化阶段总数量。具体而言，本实施例可以包括三个优化阶段，其中，整体优化阶段和局部优化阶段为可选优化阶段，而个性化优化阶段为必选优化阶段，选择性跳过的只能是整体优化阶段和/或局部优化阶段，无法直接跳过个性化优化阶段。
需要说明的是，在个性化优化阶段虽然也有跳过的过程，但这个跳过是在满足一定条件的基础上才会发生，即：个性化优化阶段具有两种方向，一种是跳过个性化优化阶段后结束，另一种是正常的个性化优化后结束。并且，即使在个性化优化阶段出现了跳过的情况，但仍然经历了个性化优化阶段。
具体的，本实施例中，针对认知测评系统的不同总体诊断精度水平（即：高、中、低）的优化方式如下：
一. 总体诊断精度为低：依次进行整体优化阶段、局部优化阶段以及个性化优化阶段。
二. 总体诊断精度为中：跳过整体优化阶段，并依次进行局部优化阶段以及个性化优化阶段。
三. 总体诊断精度为高：跳过整体优化阶段和局部优化阶段，直接进入个性化优化阶段。
可以理解的是，本实施例中，当认知测评系统完成整体优化、局部优化和个性化优化后，会输出优化后的认知测评方案，从而可将优化的认知测评方案投入到独立人群的数据采集中。
S5：返回步骤S2，以再次进行系统优化。
本实施例中，可预设一个检测周期，例如：3天或一周。由此，每间隔一个检测周期，重新获取认知测评系统基于优化后的认知测评方案的智能化测评结果，以通过步骤S2～S4再次对认知测评系统进行优化，从而不断检测和提高智能化认知测评系统的诊断精度。
第二实施例
如图7所示，在上述检测和提升认知测评诊断精度的方法的基础上，本发明第二实施例进一步提供一种提升认知测评系统诊断精度的系统。该系统包括一个或多个处理器21和存储器22。其中，存储器22与处理器21耦接，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器21执行，使得所述一个或多个处理器21实现如上述实施例中的检测和提升认知测评诊断精度的方法。
其中，处理器21用于控制该系统的整体操作，以完成上述检测和提升认知测评诊断精度的方法的全部或部分步骤。该处理器21可以是中央处理器（CPU）、图形处理器（GPU）、现场可编程逻辑门阵列（FPGA）、专用集成电路（ASIC）、数字信号处理（DSP）芯片等。存储器22用于存储各种类型的数据以支持在该系统的操作，这些数据例如可以包括用于在该系统上操作的任何应用程序或方法的指令，以及应用程序相关的数据。该存储器22可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器（SRAM）、电可擦除可编程只读存储器（EEPROM）、可擦除可编程只读存储器（EPROM）、可编程只读存储器（PROM）、只读存储器（ROM）、磁存储器、快闪存储器等。
在一个示例性实施例中，该系统可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现，用于执行上述的检测和提升认知测评诊断精度的方法，并达到如上述方法一致的技术效果。一种典型的实施例为计算机。具体地说，计算机例如可以为个人计算机、膝上型计算机、车载人机交互设备、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
在另一个示例性实施例中，本发明还提供一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任意一个实施例中的检测和提升认知测评诊断精度的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器，上述程序指令可由系统的处理器执行以完成上述的检测和提升认知测评诊断精度的方法，并达到如上述方法一致的技术效果。
综上所述，本发明实施例提供的一种检测和提升认知测评诊断精度的方法及系统，具有以下的有益效果：
1. 对智能化测评的诊断精度进行了准确刻画，结合了一致性、准确性、敏感性、特异性四项指标，综合得出总体诊断精度水平，既有量化，也有分级判定。
2. 对智能化测评的多项模块指标进行了建模动态更迭，以从整体层面上对认知测评系统进行整体优化。
3. 对智能化测评的每个测评题目进行了精细判定，以从局部层面上对认知测评系统进行局部优化。
4. 对智能化测评的施测人群进行了个性化设计，结合特定人群信息，对认知测评系统进行了个性化优化。
需要说明的是，上述多个实施例只是举例，各个实施例的技术方案之间可以进行组合，均在本发明的保护范围内。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
上面对本发明提供的检测和提升认知测评诊断精度的方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。
Claims (10)
1.一种检测和提升认知测评诊断精度的方法，其特征在于包括如下步骤：
基于认知测评系统，预先设置多个优化阶段；其中，各所述优化阶段分别对应不同类型的优化指标，以用于对系统数据进行优化；
获取所述认知测评系统的智能化测评结果，并基于历史数据获取与所述智能化测评结果相对应的人工测评结果；
对所述智能化测评结果和所述人工测评结果进行一致性评估，以获取所述认知测评系统的总体诊断精度水平；
基于所述认知测评系统的总体诊断精度水平，按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，以根据优化后的系统数据形成优化后的认知测评方案；其中，选择性跳过的优化阶段数量小于预先设置的优化阶段总数量。
2.如权利要求1所述的方法，其特征在于所述基于认知测评系统，预先设置多个优化阶段，具体包括：
整体优化阶段，构建预设模型，以输入系统的模块数据的设定水平，并输出优化后的整体模块数据；其中，所述认知测评系统至少包括：呈现模块、交互模块、记录模块和分析模块；
局部优化阶段，对原认知测评方案中的各项测评题目逐一进行信效度评估，以基于预设的可信度阈值筛选出智能化诊断精度为低的测评题目；并且，针对所述智能化诊断精度为低的测评题目，对模块数据进行局部调整，以输出优化后的局部模块数据；
个性化优化阶段，对人群基本信息进行相关性分析，以筛选出智能化诊断精度为低的特定人群；并且，针对所述智能化诊断精度为低的特定人群，确定所述认知测评系统的待调整模块，并对所述待调整模块进行个性化的数据调整，以输出优化后的个性化模块数据；
其中，所述优化后的整体模块数据、优化后的局部模块数据以及优化后的个性化模块数据共同构成优化后的系统数据。
3.如权利要求2所述的方法，其特征在于所述整体优化阶段具体包括：
预先设定所述认知测评系统中各个模块的各项指标；
基于所述各个模块的各项指标对所述认知测评系统进行预优化，以对所有指标都进行朝向目标方向的随机单位的优化，并储存为预优化诊断精度；
基于所述认知测评系统的预优化诊断精度和各项指标的当前水平，构建逻辑斯特多元回归模型，并找出每项指标的理想化分布空间；
在正式检测的第N次整体优化时，将本次各项指标的设定水平及诊断精度输入所述逻辑斯特多元回归模型，以更新形成第N＋1个逻辑斯特多元回归模型；其中，N为正整数；
基于所述第N＋1个逻辑斯特多元回归模型的参数分布，返回第N＋1组最优化的指标水平组合，储存为第N次优化后的整体模块数据。
4.如权利要求2所述的方法，其特征在于所述局部优化阶段具体包括：
将测评题目的类型划分为图像记录类、语音记录类、动作判定类、言语分析类，并按照题目指令的难易程度划分为难、易两类；
若智能化诊断精度为低的测评题目为图像记录类和/或动作判定类，则将记录模块的各项指标朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据；
若智能化诊断精度为低的测评题目为言语分析类，则将分析模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据；
若智能化诊断精度为低的测评题目为难指令题目，则将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为目前单个题目优化过的局部模块数据。
5.如权利要求2所述的方法，其特征在于所述个性化优化阶段具体包括：
收集人群的基本信息，所述基本信息至少包括人口统计学信息、认知水平以及智能化设施使用能力；
评定智能化测评结果与人工测评结果的得分差异与所述基本信息的关联性；
若所述得分差异不与所述基本信息的任何指标相关，则跳过个性化优化阶段；若所述得分差异与所述基本信息的任一指标相关，则基于相关指标定义出智能化诊断精度较低的特定人群画像信息；
若所述特定人群画像信息对应高年龄人群，则将呈现模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据；
若所述特定人群画像信息对应低教育水平人群，则将交互模块朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据；
若所述特定人群画像信息对应智能化设施使用能力低的人群，则将交互模块和记录模块共同朝向提升敏感性、准确性的方向优化一个标准单位，并储存为针对特定人群优化后的个性化模块数据。
6.如权利要求2所述的方法，其特征在于所述一致性评估具体包括：
以皮尔逊相关指标作为衡量标准，并基于第一阈值获取一致性评估结果；
以诊断准确率作为衡量标准，并基于第二阈值获取准确性评估结果；
以实际有病且被筛查工具正确的判断为有病的百分比作为衡量标准，并基于第三阈值获取敏感性评估结果；
以实际无病且被筛查工具正确的判断为无病的百分比作为衡量标准，并基于第四阈值获取特异性评估结果。
7.如权利要求6所述的方法，其特征在于基于所述认知测评系统的总体诊断精度水平，按照顺序依次完成所有优化阶段，或选择性跳过若干优化阶段，具体包括：
若四项评估结果均达标，则总体诊断精度为高；若四项评估结果中有一项不达标，则总体诊断精度为中；若四项评估结果中有至少两项不达标，则总体诊断精度为低；
若总体诊断精度为低，则依次进行整体优化阶段、局部优化阶段以及个性化优化阶段；
若总体诊断精度为中，则跳过整体优化阶段，并依次进行局部优化阶段以及个性化优化阶段；
若总体诊断精度为高，则跳过整体优化阶段和局部优化阶段，直接进入个性化优化阶段。
8.如权利要求1所述的方法，其特征在于还包括：
每间隔预设时长，重新获取所述认知测评系统基于优化后的认知测评方案的智能化测评结果，以用于对认知测评系统进行再次优化，从而不断检测和提高智能化认知测评系统的诊断精度。
9.如权利要求1所述的方法，其特征在于：
所述智能化测评结果与所述人工测评结果所采用的量表相同。
10.一种检测和提升认知测评诊断精度的系统，其特征在于包括处理器和存储器，所述处理器读取所述存储器中的计算机程序，用于执行权利要求1～9中任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410094018.6A CN117612712A (zh) | 2024-01-23 | 2024-01-23 | 一种检测和提升认知测评诊断精度的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410094018.6A CN117612712A (zh) | 2024-01-23 | 2024-01-23 | 一种检测和提升认知测评诊断精度的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117612712A true CN117612712A (zh) | 2024-02-27 |
Family
ID=89950274
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410094018.6A Pending CN117612712A (zh) | 2024-01-23 | 2024-01-23 | 一种检测和提升认知测评诊断精度的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117612712A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809849A (zh) * | 2024-02-29 | 2024-04-02 | 四川赛尔斯科技有限公司 | 一种认知功能障碍老人行走姿态的分析方法及系统 |
| CN118467399A (zh) * | 2024-07-10 | 2024-08-09 | 北京智精灵科技有限公司 | 一种关联预测模型的建模方法、建模系统及认知测评方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160262680A1 (en) * | 2015-03-12 | 2016-09-15 | Akili Interactive Labs, Inc. | Processor Implemented Systems and Methods for Measuring Cognitive Abilities |
| CN106874693A (zh) * | 2017-03-15 | 2017-06-20 | 国信优易数据有限公司 | 一种医疗大数据分析处理系统及方法 |
| CN114023452A (zh) * | 2021-11-10 | 2022-02-08 | 中国科学院心理研究所 | 一种筛查认知障碍高风险的多维预警模型构建方法及其评估系统 |
| CN114334123A (zh) * | 2020-10-10 | 2022-04-12 | 北京师范大学 | 一种适用于轻度认知障碍快速检测的认知测评体系 |
| CN114360728A (zh) * | 2021-12-28 | 2022-04-15 | 南京鼓楼医院 | 一种用于糖尿病轻度认知功能障碍的预测模型和诺模图的构建方法 |
| WO2023001301A1 (zh) * | 2021-07-23 | 2023-01-26 | 北京智精灵科技有限公司 | 基于用户能力的个性化认知训练任务推荐方法及系统 |
| CN115910325A (zh) * | 2022-11-25 | 2023-04-04 | 首都医科大学宣武医院 | 用于认知任务测评的建模方法、认知任务测评方法及系统 |
| CN116602619A (zh) * | 2023-03-01 | 2023-08-18 | 湖北中医药大学 | 一种基于中医证型的轻度认知障碍评估系统及方法 |
-
2024
- 2024-01-23 CN CN202410094018.6A patent/CN117612712A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160262680A1 (en) * | 2015-03-12 | 2016-09-15 | Akili Interactive Labs, Inc. | Processor Implemented Systems and Methods for Measuring Cognitive Abilities |
| CN106874693A (zh) * | 2017-03-15 | 2017-06-20 | 国信优易数据有限公司 | 一种医疗大数据分析处理系统及方法 |
| CN114334123A (zh) * | 2020-10-10 | 2022-04-12 | 北京师范大学 | 一种适用于轻度认知障碍快速检测的认知测评体系 |
| WO2023001301A1 (zh) * | 2021-07-23 | 2023-01-26 | 北京智精灵科技有限公司 | 基于用户能力的个性化认知训练任务推荐方法及系统 |
| CN114023452A (zh) * | 2021-11-10 | 2022-02-08 | 中国科学院心理研究所 | 一种筛查认知障碍高风险的多维预警模型构建方法及其评估系统 |
| CN114360728A (zh) * | 2021-12-28 | 2022-04-15 | 南京鼓楼医院 | 一种用于糖尿病轻度认知功能障碍的预测模型和诺模图的构建方法 |
| CN115910325A (zh) * | 2022-11-25 | 2023-04-04 | 首都医科大学宣武医院 | 用于认知任务测评的建模方法、认知任务测评方法及系统 |
| CN116602619A (zh) * | 2023-03-01 | 2023-08-18 | 湖北中医药大学 | 一种基于中医证型的轻度认知障碍评估系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李超等: "中文版严重损害量表评估老年痴呆患者认知损害程度的信效度", 中国心理卫生杂志, no. 04, 10 April 2013 (2013-04-10), pages 37 - 42 * |
| 郁可等: "中文洛文斯顿作业疗法认知评定软件的编制及其效度、信度分析", 中华物理医学与康复杂志, vol. 28, no. 1, 25 January 2006 (2006-01-25), pages 42 - 45 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117809849A (zh) * | 2024-02-29 | 2024-04-02 | 四川赛尔斯科技有限公司 | 一种认知功能障碍老人行走姿态的分析方法及系统 |
| CN117809849B (zh) * | 2024-02-29 | 2024-05-03 | 四川赛尔斯科技有限公司 | 一种认知功能障碍老人行走姿态的分析方法及系统 |
| CN118467399A (zh) * | 2024-07-10 | 2024-08-09 | 北京智精灵科技有限公司 | 一种关联预测模型的建模方法、建模系统及认知测评方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117612712A (zh) | 一种检测和提升认知测评诊断精度的方法及系统 | |
| Wiley et al. | Statistical analysis in Small-N Designs: using linear mixed-effects modeling for evaluating intervention effectiveness | |
| Olsen et al. | Using multiple linear regression in pharmacy education scholarship | |
| US8834174B2 (en) | Methods and systems for assessing latent traits using probabilistic scoring | |
| EP3831290A1 (en) | Dementia risk presentation system and method | |
| CN112599218A (zh) | 药物敏感预测模型的训练方法、预测方法及相关装置 | |
| US20210312942A1 (en) | System, method, and computer program for cognitive training | |
| Høvsgaard Maguire | Adapting to the test: Performing algorithmic adaptivity in Danish schools | |
| JP6913706B2 (ja) | 試験問題予測システム及び試験問題予測方法 | |
| Chankong et al. | Risk assessment and decision making using test results: the carcinogenicity prediction and battery selection approach | |
| CN108932593B (zh) | 一种认知影响因素分析方法及装置 | |
| Molontay et al. | How to improve the predictive validity of a composite admission score? A case study from Hungary | |
| Maitland et al. | How do question evaluation methods compare in predicting problems observed in typical survey conditions? | |
| Şendurur et al. | Development of metacognitive skills inventory for internet search (MSIIS): Exploratory and confirmatory factor analyses | |
| Tran et al. | Modeling local dependence in latent vector autoregressive models | |
| CN114373546A (zh) | 疾病风险评估方法、装置及存储介质 | |
| CN113066580A (zh) | 一种医疗评分确定方法、装置、电子设备及存储介质 | |
| JP2017207691A (ja) | 択一問題の正答率予測方法 | |
| Platz et al. | Measuring Audiation or Tonal Memory? Evaluation of the Discriminant Validity of Edwin E. Gordon's “Advanced Measures of Music Audiation” | |
| JP6463520B2 (ja) | 計算装置、方法、システム及びプログラム | |
| JP2022551325A (ja) | 診断ツール | |
| Oefferlbauer-Ernst et al. | Impact of interobserver disagreement on phenotype–genotype associations in Crohn's disease | |
| Figard | Introduction to Biostatistics with JMP | |
| Trembath et al. | Applied Data Analysis and Evaluation | |
| JP2006259809A (ja) | 発症確率評価装置、および、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |