CN118201554A - 认知功能评估系统和训练方法 - Google Patents

认知功能评估系统和训练方法 Download PDF

Info

Publication number
CN118201554A
CN118201554A CN202280072310.7A CN202280072310A CN118201554A CN 118201554 A CN118201554 A CN 118201554A CN 202280072310 A CN202280072310 A CN 202280072310A CN 118201554 A CN118201554 A CN 118201554A
Authority
CN
China
Prior art keywords
subject
task
answer
cognitive function
cognitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280072310.7A
Other languages
English (en)
Inventor
八木康史
武淑琼
大仓史生
槙原靖
青木工太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Osaka University NUC
Original Assignee
Osaka University NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Osaka University NUC filed Critical Osaka University NUC
Publication of CN118201554A publication Critical patent/CN118201554A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

认知功能评估系统(100)具备动作检测部(20)、回答检测部(30)和评价部(40)。动作检测部(20)按时间序列来生成表示执行规定任务的受试者(SJ)的所有关节的三维坐标的帧。回答检测部(30)用于检测执行规定任务的受试者(SJ)对规定认知问题的回答。评价部(40)基于帧来输出动作特征，动作特征表示被拍摄的受试者(SJ)的所有关节的空间位置关系特征和时间变化特征，并基于动作特征以及受试者(SJ)的回答，对受试者(SJ)的认知功能进行评价。规定任务包含要求受试者(SJ)进行规定运动的运动任务和要求受试者(SJ)回答认知问题的智力任务。动作检测部(20)拍摄执行运动任务的受试者(SJ)并生成帧。

Description

认知功能评估系统和训练方法
技术领域
本发明涉及认知功能评估系统和训练方法。
背景技术
早期发现认知功能下降对于延缓痴呆症的发展是非常重要的。例如，非专利文献1中公开了一种利用双重任务来早期发现认知功能下降的系统。具体来说，非专利文献1的系统中，根据让受试者执行单任务和双重任务收集的数据，计算出与痴呆症相关的12种特征，并使用机器学习估算MMSE(简易精神状态检查)分数。
具体来说，非专利文献1的系统中，单任务是指运动任务，要求受试者进行踏步。双重任务是指同时执行运动任务和认知任务的任务。双重任务中的运动任务是与单任务同样地要求受试者进行踏步。双重任务中的认知任务是要求受试者回答计算问题或者“剪刀石头布”问题。非专利文献1的系统中，分别根据单任务数据和双重任务数据，各计算以下的6种特征(合计12种)。
(1)平均踏步速度
(2)踏步速度标准偏差
(3)平均膝关节角度
(4)膝关节角度标准偏差
(5)认知任务正确回答率
(6)认知任务平均回答次数
〔非专利文献〕
非专利文献1：松浦拓以及其它6人，“基于双重任务步态分析的老年人认知功能分数评估”，电子信息通信学会，技术研究報告，川崎，Vol.119，No.HCS2019-99，pp.83-88，2020年3月
发明内容
然而，非专利文献1的系统中，由于是根据少量有限的特征来估算认知功能分数，因此精度较低。因此，还有改进余地。
本发明是鉴于上述课题而作出的，其目的在于提供能够更准确地评估受试者认知功能的认知功能评估系统和训练方法。
本发明的一方式中，认知功能评估系统具备动作检测部、回答检测部和评价部。所述动作检测部对执行规定任务的受试者进行拍摄，并按时间序列来生成表示所拍摄的所述受试者所有关节三维坐标的帧。所述回答检测部用于检测执行所述规定任务的所述受试者对规定认知问题的回答。所述评价部基于所述帧来输出动作特征，所述动作特征表示所述所有关节的空间位置关系特征和所述所有关节的时间变化特征，并基于所述动作特征以及由所述回答检测部检测到的所述回答，对所述受试者的认知功能进行评价。所述规定任务包含要求所述受试者进行规定运动的运动任务和要求所述受试者回答所述认知问题的智力任务。所述动作检测部对执行所述运动任务的所述受试者进行拍摄并生成所述帧。
一实施方式中，所述评价部将所述受试者分类为认知功能分数是阈值以下的类别和所述认知功能分数大于所述阈值的类别，所述认知功能分数表示所述受试者的认知能力。
一实施方式中，所述评价部根据预设的所述阈值，将所述受试者分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别，或者分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别。
一实施方式中，所述评价部对表示所述受试者的认知能力的认知功能分数进行判定。
一实施方式中，所述评价部将所述受试者分类为痴呆症的类别、轻度认知障碍的类别以及非痴呆症的类别。
一实施方式中，所述评价部将所述受试者分类为所述痴呆症中的至少2种类型。
一实施方式中，所述评价部包含动作特征提取器。所述动作特征提取器按所述帧的每一帧生成表示所有关节的空间位置关系的空间图，对所述空间图进行卷积，并且生成表示相邻所述帧之间同一所述关节的变化的时间图，对所述时间图进行卷积，由此提取出所述动作特征。
一实施方式中，所述评价部含有多个所述动作特征提取器。连续多次执行的所述规定任务每次执行的所述帧组被输入到各自不同的所述动作特征提取器中。所述评价部基于由所述动作特征提取器各自输出的所述动作特征和由所述回答检测部所检测的所述回答，对所述受试者的认知功能进行评价。
一实施方式中，所述规定任务包含双重任务，所述双重任务要求所述受试者同时执行所述运动任务和所述智力任务。所述动作检测部对执行所述双重任务的所述受试者进行拍摄。所述回答检测部对执行所述双重任务的所述受试者的所述回答进行检测。
本发明的其他方式中，训练方法确定出将受试者分类为阳性和阴性的神经网络的参数值。训练方法包含使用将灵敏度与特异度之和进行优化的损失函数来确定所述参数值的步骤，灵敏度表示正确识别阳性的受试者的比例，特异度表示正确识别阴性的受试者的比例。
本发明的其它方式中，训练方法确定出神经网络的参数值。所述神经网络包含第一网络和第二网络，所述第一网络和所述第二网络都对表示受试者的各关节的空间位置关系的空间图进行卷积并对表示所述受试者的各关节的时间变化的时间图进行卷积。所述方法包含所述第一网络的参数值确定步骤和所述第二网络的参数值确定步骤，所述第一网络的参数值确定步骤是指使用输入到所述第一网络中的数据进行训练来确定所述第一网络的参数值，所述第二网络的参数值确定步骤是指在将确定出的所述第一网络的参数值设定为所述第二网络的参数值的初始值之后，使用输入到所述第二网络中的数据进行训练来确定所述第二网络的参数值。
〔发明效果〕
根据本发明所涉及的认知功能评估系统和训练方法，能够更准确地评估受试者认知功能。
附图说明
图1表示本发明实施方式一所涉及的认知功能评估系统。
图2的(a)～(d)表示任务呈现部向受试者进行呈现的任务的一例。
图3表示任务呈现部向受试者进行呈现的认知问题的另一例。
图4是本发明实施方式一所涉及的认知功能评估系统的结构框图。
图5表示由已训练模型构建的神经网络。
图6表示生成已训练模型的模型生成系统。
图7是模型生成系统的部分结构框图。
图8是训练时的评价部的结构框图。
图9表示由训练用程序构建的神经网络。
图10是本发明实施方式一所涉及的训练方法的流程图。
图11表示由已训练模型构建的神经网络的另一例。
图12表示本发明实施方式二所涉及的认知功能评估系统所含的神经网络。
具体实施方式
以下，参照附图(图1～图12)，对本发明的认知功能评估系统和训练方法所涉及的实施方式进行说明。但是，本发明不限于以下的实施方式，可以在不脱离其要旨的范围内以各种方式进行实施。另外，存在适当地省略了重复说明之处的情况。还有，在图中对相同或者相当的部分使用同样的附图标记，不再重复说明。
[实施方式一]
首先，参照图1，对本实施方式的认知功能评估系统100进行说明。图1表示本实施方式的认知功能评估系统100。本实施方式的认知功能评估系统100对受试者SJ的认知功能进行评价。更具体来说，本实施方式的认知功能评估系统100将受试者SJ分类为痴呆症(Cognitive Impairment)的类别与轻度认知障碍(Mild Cognitive Impairment，MCI)·非痴呆症的类别。或者，本实施方式的认知功能评估系统100将受试者SJ分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别。还有，本实施方式的认知功能评估系统100对受试者SJ的认知功能分数进行判定。认知功能分数表示受试者SJ的认知能力。
另外，轻度认知障碍是痴呆症的前一阶段，是指正常状态和痴呆症状态之间的中间状态。具体来说，轻度认知障碍是指记忆力或注意力等认知功能下降但下降程度尚未严重到影响日常生活的状态。认知功能分数例如是MMSE(Mini Mental State Examination)分数或者长谷川式简易智能评价量表之类的普通智能评价量表。使用MMSE分数的诊断中，如果MMSE分数是23分以下，则判断为怀疑患有痴呆症，如果MMSE分数高于23分且是27分以下，则判断为怀疑患有轻度认知障碍。还有，如果MMSE分数高于27分，则判断为非痴呆症。
如图1所示，本实施方式的认知功能评估系统100具备任务呈现部10。任务呈现部10向受试者SJ呈现要执行的任务。本实施方式中，任务呈现部10例如具有液晶显示器之类的显示器。任务呈现部10将表示要求受试者SJ执行的任务的画面显示在显示器上。另外，显示器例如设置在受试者SJ的前面。
本实施方式中，要求受试者SJ执行的任务包含双重任务。双重任务是指要求受试者SJ同时执行运动任务和智力任务的任务。运动任务要求受试者SJ进行规定运动。智力任务要求受试者SJ回答规定认知问题。规定运动例如是原地踏步、步行、跑步或跳跃。规定认知问题例如是计算问题、位置记忆问题或石头剪刀布问题。
本实施方式中，受试者SJ进行的任务包含智力任务(单任务)、运动任务(单任务)和双重任务。具体来说，受试者SJ连续地依次执行智力任务、运动任务和双重任务。
更具体来说，受试者SJ在规定时间(例如，30秒)执行智力任务(单任务)。然后，在规定的时间(例如，20秒)执行运动任务(单任务)。最后，受试者SJ在规定的时间(例如，30秒)执行双重任务。以下，要求受试者SJ执行智力任务(单任务)的时间有时记载为“智力任务执行时间”。同样地，要求受试者SJ执行运动任务(单任务)的时间有时记载为“运动任务执行时间”。还有，要求受试者SJ执行双重任务的时间有时记载为“双重任务执行时间”。另外，智力任务执行时间的长度可以是任意的。同样地，运动任务执行时间和双重任务执行时间各自的长度也可以是任意的。
本实施方式中，智力任务(单任务)中面向受试者SJ的认知问题是与双重任务中所含的智力任务相同的认知问题。还有，运动任务(单任务)中要求受试者SJ执行的运动是与双重任务中所含的运动任务相同的运动。另外，智力任务(单任务)中面向受试者SJ的认知问题也可以不同于双重任务中所含的智力任务。同样地，运动任务(单任务)中要求受试者SJ执行的运动也可以不同于双重任务中所含的运动任务。
接下来，参照图1，进一步对本实施方式的认知功能评估系统100进行说明。如图1所示，认知功能评估系统100进一步具备动作检测部20、回答检测部30和评价部40。
动作检测部20对执行规定任务的受试者SJ进行拍摄，并按时间序列来生成表示所拍摄的受试者SJ所有关节三维坐标的帧。具体来说，动作检测部20具有拍摄部21和运动捕捉部22。
拍摄部21对受试者SJ进行拍摄。具体来说，拍摄部21对执行双重任务的受试者SJ进行拍摄。本实施方式中，还对执行运动任务(单任务)的受试者SJ进行拍摄。拍摄部21例如具有CCD图像传感器、CMOS图像传感器或者测距传感器(距离传感器)。拍摄部21例如配置在受试者SJ的前面。通过将拍摄部21配置在受试者SJ的前面，能够捕捉受试者SJ的所有关节。
运动捕捉部22通过将受试者SJ的各部位动作变换为矢量数据，生成反映受试者SJ的各部位动作(受试者SJ的动作)的动作捕捉数据。具体来说，动作捕捉数据是指对根据拍摄部21所拍摄的受试者SJ的动作而移动的人体骨架模型进行展示的连续帧。人体骨架模型通过基于人体结构连接相邻关节的树结构，来表示受试者SJ的骨架模型。人体骨架模型(帧)表示所拍摄的受试者SJ的所有关节三维坐标。换言之，人体骨架模型是三维人体骨架模型。
运动捕捉部22例如具有处理器和存储部。处理器例如是CPU(Central ProcessingUnit)或者MPU(Micro Processing Unit)。存储部中存储由处理器执行的计算机程序。计算机程序中包含根据拍摄部21的输出来生成动作捕捉数据的计算机程序。存储部例如包含ROM(Read Only Memory)和RAM(Random Access Memory)之类的半导体存储器。
回答检测部30检测执行规定任务的受试者SJ对规定认知问题的回答。具体来说，回答检测部30对执行双重任务的受试者SJ的回答进行检测。本实施方式中，还检测执行智力任务(单任务)的受试者SJ的回答。
本实施方式中，回答检测部30包含左手用回答开关和右手用回答开关。受试者SJ通过按压右手用回答开关或者左手用回答开关，来回答由任务呈现部10呈现的认知问题。
另外，左手用回答开关可以被握在受试者SJ的左手中，或者也可以固定到设置在受试者SJ左侧的扶手上。同样地，右手用回答开关可以被握在受试者SJ的右手中，或者也可以固定到设置在受试者SJ右侧的扶手上。
评价部40基于由动作检测部20输出的帧，来输出动作特征，动作特征表示所拍摄的受试者SJ的所有关节的空间位置关系特征和所拍摄的受试者SJ的所有关节的时间变化特征。然后，基于动作特征以及由回答检测部30检测到的回答，对受试者SJ的认知功能进行评价。
本实施方式中，评价部40对受试者SJ的认知功能分数进行判定。还有，评价部40将受试者SJ分类为认知功能分数是阈值以下的类别和认知功能分数大于阈值的类别。具体来说，根据预设的阈值，将受试者SJ分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别，或者分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别。
例如，在认知功能分数是MMSE分数且阈值是23分的情况下，评价部40将受试者SJ分类为MMSE分数23分以下的类别与MMSE分数大于23分的类别。在认知功能分数是MMSE分数且阈值是27分的情况下，评价部40将受试者SJ分类为MMSE分数27分以下的类别与MMSE分数大于27分的类别。
接下来，参照图2(a)～图2(d)，对任务呈现部10向受试者SJ进行呈现的任务的一例进行说明。图2(a)～图2(d)表示任务呈现部10向受试者SJ进行呈现的任务的一例。图2(a)～图2(d)的例子中，要求受试者SJ执行的运动是“踏步”，要求受试者SJ回答的认知问题是“计算问题”。
如图2(a)所示，任务呈现部10首先向受试者SJ显示第一通知画面11，通知任务的开始。接下来，如图2(b)所示，任务呈现部10要求受试者SJ执行智力任务(单任务)。具体来说，任务呈现部10显示问题呈现画面12a，呈现计算问题(认知问题)。例如，任务呈现部10将减法问题作为计算问题显示在显示器上。
另外，图2(b)的例子中，计算问题是减法问题，但计算问题不限于减法问题。计算问题也可以是加法问题。或者，计算问题也可以包括减法问题和加法问题。
任务呈现部10在规定的时间后结束计算问题(认知问题)的显示。具体来说，问题呈现画面12a从显示屏幕上消失。在问题呈现画面12a从显示屏幕上消失之后，任务呈现部10显示表示2个候选答案的答案候选呈现画面12b。受试者SJ按下2个回答开关中的其中一个，进行答案选择。
受试者SJ选择答案后，任务呈现部10呈现与本次回答的计算问题(认知问题)不同的计算问题(认知问题)，作为下一个问题。之后，反复显示要求受试者SJ回答的计算问题(认知问题)，直到规定的智力任务执行时间结束。
如图2(c)所示，规定的智力任务执行时间结束之后，任务呈现部10向受试者SJ呈现运动任务(单任务)。具体来说，任务呈现部10向受试者SJ呈现运动显示画面13，要求进行运动(踏步)。
本实施方式中，双重任务中要求受试者SJ进行的运动与运动任务(单任务)中要求受试者SJ进行的运动相同。还有，双重任务中要求受试者SJ回答的认知问题与智力任务(单任务)中要求受试者SJ回答的认知问题相同。因此，在规定的运动任务执行时间结束之后，如参照图2(b)进行的说明，任务呈现部10反复显示要求受试者SJ回答的计算问题(认知问题)，直到规定的双重任务执行时间结束。如图2(d)所示，在规定的双重任务执行时间结束之后，任务呈现部10在显示器上显示第二通知画面14以通知受试者SJ任务结束。
另外，任务呈现部10进行呈现的认知问题不限于计算问题。例如，认知问题也可以是位置记忆问题或石头剪刀布问题。
图3表示任务呈现部10向受试者SJ进行呈现的任务的另一例。图3的例子中，认知问题是“位置记忆问题”。如图3所示，在认知问题是位置记忆问题的情况下，任务呈现部10对问题呈现画面12a进行显示，问题呈现画面12a是将图形放置在了可放置图形的4个区域中的1个。
问题呈现画面12a在显示屏幕上消去之后，任务呈现部10对答案候选呈现画面12b进行显示，答案候选呈现画面12b是将图形放置在了可放置图形的4个区域中的1个。答案候选呈现画面12b中，显示了问题文本以及“是”和“不是”作为2个答案候选。问题文本是能够以“是”或者“不是”进行回答的问题。其中，询问受试者SJ图形放置的位置在问题呈现画面12a与答案候选呈现画面12b之间是否相同。
受试者SJ判断为图形放置的位置在问题呈现画面12a与答案候选呈现画面12b之间相同的情况下，按压左手用回答开关，选择“是”。或者，受试者SJ判断为图形放置的位置在问题呈现画面12a与答案候选呈现画面12b之间不同的情况下，按压右手用回答开关，选择“不是”。
接下来，对“石头剪刀布问题”进行说明。在智力任务中面向受试者SJ的认知问题是“石头剪刀布问题”的情况下，例如，任务呈现部10在问题呈现画面12a中显示“石头”、“剪刀”和“布”中的一个。然后，在答案候选呈现画面12b中，显示“石头”、“剪刀”和“布”中的一个、问题文本以及“是”和“不是”。答案候选呈现画面12b中，例如，询问受试者SJ答案候选呈现画面12b中显示的手指姿势是否击败问题呈现画面12a中显示的手指姿势。
受试者SJ判断为答案候选呈现画面12b中显示的手指姿势赢了问题呈现画面12a中显示的手指姿势的情况下，按压左手用回答开关，选择“是”。或者，受试者SJ判断为答案候选呈现画面12b中显示的手指姿势输给了问题呈现画面12a中显示的手指姿势的情况下，按压右手用回答开关，选择“不是”。
接下来，参照图4，对本实施方式的认知功能评估系统100进行说明。图4是本实施方式的认知功能评估系统100的结构框图。具体来说，图4表示评价部40的结构。如图4所示，认知功能评估系统100还具备识别信息获取部50和输出部60。还有，评价部40具有存储部41和处理部42。
利用认知功能评估系统100的受试者SJ各自预先被分配到固有的识别信息。识别信息获取部50对受试者SJ被分配到的识别信息进行获取。识别信息获取部50例如包含读卡器、键盘或者触控面板。识别信息获取部50是读卡器的情况下，受试者SJ让读卡器读取卡上承载的识别信息。识别信息获取部50是键盘或者触控面板的情况下，受试者SJ操作键盘或者触控面板将自身被分配到的识别信息进行输入。
输出部60对受试者SJ的认知功能的评估结果进行输出。本实施方式中，评估结果包含认知功能的分类结果和认知功能分数。分类结果表示受试者SJ的认知功能类别。具体来说，受试者SJ的认知功能类别包含痴呆症的类别与轻度认知障碍·非痴呆症的类别。或者，受试者SJ的认知功能类别包含痴呆症·轻度认知障碍的类别与非痴呆症的类别。例如，受试者SJ的认知功能被分类为MMSE分数23分以下的类别和MMSE分数大于23分的类别。或者，受试者SJ的认知功能被分类为MMSE分数27分以下的类别和MMSE分数大于27分的类别。输出部60例如是打印机。打印机将受试者SJ的认知功能的评估结果打印在纸张上进行输出。
另外，输出部60不限于打印机。输出部60例如也可以是通信部。例如，通信部也可以将表示受试者SJ的认知功能评估结果的电子邮件发送到受试者SJ预先注册的电子邮件地址。
存储部41对计算机程序和各种数据进行存储。存储部41例如具有半导体存储器。半导体存储器例如包含RAM和ROM。半导体存储器也可以进一步包含VRAM(Video RAM)。存储部41也可以进一步包含HDD(Hard Disk Drive)或者SSD(Solid State Drive)。
本实施方式中，存储部41将各受试者SJ的认知功能的评估结果与各受试者SJ被分配到的识别信息进行关联并存储。换言之，存储部41对各受试者SJ的认知功能的评估结果的历史记录进行存储。还有，存储部41对已训练模型TM进行存储。已训练模型TM是计算机程序，基于动作检测部20所输出的帧与回答检测部30检测到的回答对受试者SJ的认知功能进行评价。
处理部42通过执行存储部41中存储的计算机程序，进行数值计算或信息处理、机器控制等各种处理。处理部42例如可以包含CPU或者MPU。处理部42也可以进一步包含GPU(Graphics Processing Unit)，或者也可以进一步包含NPU(Neural Network ProcessingUnit)。或者，处理部42也可以进一步包含量子计算机。
具体来说，处理部42在识别信息获取部50获取到识别信息后，如参照图2(a)～图2(d)和图3进行的说明，任务呈现部10显示各种画面。还有，处理部42将动作检测部20所输出的帧输入到已训练模型TM中。而且，处理部42从回答检测部30所检测到的回答中提取特征，将提取的回答特征输入到已训练模型TM中。本实施方式中，已训练模型TM中，将动作检测部20所输出的帧和受试者SJ的回答特征进行输入。
更具体来说，处理部42从动作检测部20所输出的帧中分别提取运动任务(单任务)执行时所获取的连续帧和双重任务执行时所获取的连续帧，输入到已训练模型TM中。运动任务(单任务)的帧数例如是160帧。双重任务的帧数例如是260帧。
还有，处理部42基于回答检测部30所检测到的回答，计算出回答速度和正确答题率，作为回答的特征。回答速度表示受试者SJ每单位时间回答的次数。单位时间例如是1秒。正确答题率表示回答数与正确答题数的比值。回答数表示受试者SJ回答的次数。正确答题数表示正确的回答数。
其中，回答速度针对智力任务执行时间与双重任务执行时间的合计时间进行计算。也就是说，回答速度通过智力任务(单任务)执行时受试者SJ回答的次数和双重任务执行时受试者SJ回答的次数之合计值除以智力任务执行时间和双重任务执行时间之合计时间，进行计算。同样地，正确答题率表示：智力任务(单任务)执行时受试者SJ回答的次数和双重任务执行时受试者SJ回答的次数之合计值与受试者SJ对于智力任务(单任务)执行时呈现的问题进行了正确答题的次数和受试者SJ对于双重任务执行时呈现的问题进行了正确答题的次数之合计值的比值。
另外，回答的特征不限于回答速度和正确答题率。例如，回答的特征也可以只是回答速度和正确答题率中的一个。或者，回答的特征可以在回答速度和正确答题率的基础上，增加回答数、正确答题数、平均回答时间间隔和回答时间间隔标准偏差中的至少一个，或者也可以用于取代回答速度和正确答题率。其中，回答时间间隔表示从参照图2(b)和图3说明了的答案候选呈现画面12b由任务呈现部10呈现后到受试者SJ按下回答开关所需的时间间隔。
处理部42基于已训练模型TM的输出，获取到受试者SJ的认知功能的评估结果。处理部42获取到受试者SJ的认知功能的评估结果后，使输出部60输出受试者SJ的认知功能的评估结果。另外，处理部42也可以使输出部60输出受试者SJ的认知功能的评估结果的历史记录。输出部60所输出的评估结果的历史记录也可以用表格形式或者图表形式进行表现。
在评价了受试者SJ的认知功能后，处理部42将受试者SJ的认知功能的评估结果与识别信息进行关联并存储到存储部41中。其结果，存储部41将受试者SJ的认知功能的评估结果的历史记录与识别信息进行关联并存储。
接下来，对受试者SJ执行的任务的一个例子进行说明。本实施方式中，受试者SJ连续反复进行3次任务组TA，任务组TA是指依次执行智力任务、运动任务和双重任务。以下，第1次执行的任务组TA有时记载为“第一任务组TA1”。同样地，第2次执行的任务组TA和第3次执行的任务组TA有时分别记载为“第二任务组TA2”和“第三任务组TA3”。
还有，以下，由受试者SJ执行1个任务组TA而获取的多个帧有时记载为“帧组”。同样地，由受试者SJ执行第一任务组TA1～第三任务组TA3而获取的帧组有时分别记载为“第一帧组”～“第三帧组”。还有，由受试者SJ执行1个任务组TA而获取的回答的特征有时记载为“回答特征数据”。同样地，由受试者SJ执行第一任务组TA1～第三任务组TA3而获取的回答的特征有时分别记载为“第一回答特征数据”～“第三回答特征数据”。
接下来，参照图5，对已训练模型TM进行说明。图5表示由已训练模型TM构建的神经网络NW。神经网络NW例如是进行深度学习的神经网络。
如图5所示，本实施方式中，神经网络NW包含多个动作特征提取器2、多个变换器3、融合器4、卷积器5、融合器6和分数判定器7。
动作特征提取器2中，输入帧组。动作特征提取器2将人体骨架模型理解为图表结构。更具体来说，动作特征提取器2根据帧组获取2个图表结构。具体来说，动作特征提取器2按每一帧生成表示拍摄部21所拍摄的所有关节的空间(三维)位置关系的空间图，并生成表示相邻帧之间同一关节变化(即，关节时间变化)的时间图。然后，通过对空间图进行卷积并对时间图进行卷积，提取参照图1说明了的动作特征。也就是说，通过对空间图进行卷积，提取所有关节的空间位置关系的特征。通过对时间图进行卷积，提取所有关节的时间变化特征。动作特征提取器2例如包含时空图卷积神经网络(Spatio-temporal GraphConvolutional Neural Network，ST-GCN)之类的图卷积神经网络。
例如，在要求受试者SJ执行的运动是踏步(原地踏步)的情况下，动作特征提取器2根据三维人体骨架模型所含的所有关节的空间(三维)位置关系和时间变化，提取受试者SJ踏步的时空特征(动作特征)。
本实施方式中，连续多次执行的任务组TA每次执行的帧组被输入到各自不同的动作特征提取器2中。具体来说，动作特征提取器2包含第一动作特征提取器2a～第三动作特征提取器2c，第一帧组～第三帧组分别输入到第一动作特征提取器2a～第三动作特征提取器2c中。
变换器3将动作特征提取器2所生成的动作特征(受试者SJ的动作的时空特征)变换为标量值。变换器3例如包含全连接层(Fully Connected Layer：FC)。本实施方式中，变换器3包含第一变换器3a～第三变换器3c。第一动作特征提取器2a～第三动作特征提取器2c的输出分别输入到第一变换器3a～第三变换器3c中。
融合器4将变换器3各自输出的标量值进行融合。本实施方式中，融合器4将第一动作特征提取器2a～第三动作特征提取器2c的输出进行融合。其结果，根据第一帧组～第三帧组的每一个而提取的动作特征进行融合后，融合后的标量值由融合器4输出。也就是说，融合器4的输出中，反映了根据第一帧组～第三帧组的每一个而提取的动作特征。融合器4例如包含全连接层(FC)。
卷积器5对多个回答特征数据进行卷积运算。本实施方式中，卷积器5对第一回答特征数据～第三回答特征数据进行卷积运算。卷积器5例如包含CNN(ConvolutionalNeural Network)。
融合器6基于回答特征数据和动作特征，输出标量值s。更具体地来说，融合器6将融合器4的输出(反映了多个动作特征的标量值)与卷积器5卷积运算后的回答特征数据进行融合，从而输出标量值s。具体来说，标量值s包含阳性的标量值s1和阴性的标量值s2。阳性的标量值s1表示与正确识别阳性的受试者SJ的概率相对应的值。阴性的标量值s2表示与正确识别阴性的受试者SJ的概率相对应的值。其中，阳性是指认知功能分数为阈值以下(例如，MMSE分数是23分以下或者27分以下)。阴性是指认知功能分数大于阈值(例如，MMSE分数大于23分或者27分)。融合器6例如包含全连接层(FC)。
参照图4说明了的处理部42基于由神经网络NW(已训练模型TM)输出的标量值s，对受试者SJ的认知功能进行分类。例如，处理部42将阳性的标量值s1与阴性的标量值s2进行比较，在阳性的标量值s1大于阴性的标量值s2的情况下，判定为阳性。另一方面，处理部42在阴性的标量值s2大于阳性的标量值s1的情况下，判定为阴性。
分数判定器7对认知功能分数进行判定。具体来说，分数判定器7中输入标量值s。分数判定器7基于标量值s，对认知功能分数进行判定。参照图4说明了的处理部42根据分数判定器7的输出来获取受试者SJ的认知功能分数。分数判定器7例如包含全连接层(FC)。
如上所述，根据参照图1～图5说明了的实施方式，基于所拍摄的受试者SJ的所有关节的空间位置关系特征和时间变化特征，能够对受试者SJ的认知功能进行评价。因此，与根据少量有限的特征来评估受试者SJ的认知功能的系统相比，能够更准确地评估受试者SJ的认知功能。
接下来，参照图6～图10，对本实施方式的训练方法进行说明。本实施方式的训练方法包含确定已训练模型TM所含的各参数值(参数值)的步骤。图6表示生成已训练模型TM的模型生成系统200。
如图6所示，模型生成系统200具备任务呈现部10、动作检测部20、回答检测部30、评价部40、识别信息获取部50和数据收集部70。
如参照图1～图5进行的说明，任务呈现部10向受试者SJ呈现任务。动作检测部20如参照图1～图5说明了的那样将帧进行输出。如参照图1～图5进行的说明，识别信息获取部50获取受试者SJ的识别信息。
数据收集部70收集由受试者SJ执行参照图1～图5说明了的第一任务组TA1～第三任务组TA3而得到的数据，从而生成训练用数据。具体来说，数据收集部70根据动作检测部20的输出来提取第一帧组～第三帧组，并进行收集。还有，数据收集部70根据回答检测部30的输出来提取回答的特征，并进行收集。另外，数据收集部70所收集的数据中，也可以包含从同一受试者SJ获得的多个数据。
接下来，参照图7，对模型生成系统200进行说明。图7是模型生成系统200的部分结构框图。具体来说，图7表示数据收集部70的结构。如图7所示，数据收集部70具备输入部71、存储部72和处理部73。数据收集部70例如是服务器。
输入部71由操作者进行操作，相对于处理部73输入各种信息。输入部71例如包含键盘、鼠标和触控面板之类的输入设备。例如，操作者对输入部71进行操作，输入监督学习或半监督学习中使用的标签数据(监督数据)。本实施方式中，为了使已训练模型TM判定认知功能分数，操作者输入受试者SJ的认知功能分数，作为标签数据(监督数据)。
还有，操作者对于认知功能分数为阈值以下的受试者SJ，输入表示阳性的标签数据，对于认知功能分数大于阈值的受试者，输入表示阴性的标签数据。例如，在生成分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别的已训练模型TM时，对于MMSE分数23分以下的受试者SJ，输入表示阳性的标签数据，对于MMSE分数大于23分的受试者SJ，输入表示阴性的标签数据。在生成分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别的已训练模型TM时，对于MMSE分数27分以下的受试者SJ，输入表示阳性的标签数据，对于MMSE分数大于27分的受试者SJ，输入表示阴性的标签数据。另外，认知功能分数可以通过让受试者SJ预先进行试卷测试(例如，MMSE的试卷测试)来获取。
存储部72对计算机程序和各种数据进行存储。存储部72例如具有半导体存储器。半导体存储器例如包RAM和ROM。半导体存储器也可以进一步包含VRAM。存储部72也可以进一步包含HDD或者SSD。
本实施方式中，存储部41将各受试者SJ的任务关联数据与各受试者SJ被分配到的识别信息进行关联并存储。任务关联数据包含参照图1～图5说明了的第一帧组～第三帧组和第一回答特征数据～第三回答特征数据。任务关联数据还包含从输入部71输入的标签数据(监督数据)。存储部41例如也可以对任务关联数据的数据库进行存储。另外，从同一受试者SJ获得的多个任务关联数据作为不同的数据进行管理。
处理部73通过执行存储部72中存储的计算机程序，进行数值计算或信息处理、机器控制等各种处理。处理部73例如可以包含CPU或者MPU。
具体来说，处理部73将通过输入部71输入的标签数据(监督数据)与受试者SJ的识别信息进行关联并存储到存储部72中。识别信息获取部50获取到识别信息后，处理部73如参照图2和图3进行的说明在任务呈现部10上显示各种画面。还有，处理部73根据动作检测部20的输出来获取第一帧组～第三帧组，并与受试者SJ的识别信息进行关联且存储到存储部72中。而且，处理部73根据回答检测部30的输出来提取第一回答特征数据～第三回答特征数据，并与受试者SJ的识别信息进行关联且存储到存储部72中。
处理部73基于存储部72中存储的任务关联数据，生成训练用数据。然后，将训练用数据输出到评价部40。本实施方式中，评价部40执行mini-batch训练。因此，处理部73生成mini-batch训练用的数据并输出到评价部40。
接下来，参照图8，对模型生成系统200进行说明。图8是训练时的评价部40的结构框图。如图8所示，评价部40进一步具备输入部43。
输入部43由操作者进行操作，相对于处理部42输入各种信息。输入部43例如包含键盘、鼠标和触控面板之类的输入设备。例如，操作者对输入部43进行操作，输入损失函数、学习率和DropOut。例如，学习率设定为0.1。DropOut设定为0.8。
训练时，存储部41对训练用程序TP进行存储。训练用程序TP是用于执行算法的程序，该算法用于从训练用数据中找出特定的规则并生成表达该规则的模型(已训练模型TM)。
处理部42将损失函数、学习率和DropOut提供给训练用程序TP之后，使用从数据收集部70获取的训练用数据(mini-batch训练用的数据)，执行训练用程序TP。其结果，由训练用程序TP构建的神经网络NW被训练，从而生成学习模型TM。具体来说，神经网络NW中包含的参数的值(参数值)确定为使损失函数最小化的值，由此生成已训练模型TM。
接下来，对损失函数进行说明。本实施方式中，处理部42使用优化灵敏度P1与特异度P2之和(P1+P2)的损失函数来确定参数值，其中，灵敏度P1表示正确识别阳性的受试者SJ的比例，特异度P2表示正确识别阴性的受试者SJ的比例。
具体来说，处理部42利用梯度法寻找损失函数的最小值。也就是说，通过对损失函数进行偏微分，寻找损失函数的最小值。本实施方式中，处理部42基于下述式(1)～式(4)对梯度进行计算。式(1)是损失函数，式(2)是对式(1)进行偏微分而得到的式。式(3)表示“权重”。
【数1】
【数2】
【数3】
【数4】
式(1)～式(3)中，NP表示mini-batch中包含的阳性样本数，NN表示mini-batch所含的阴性样本数。因此，权重w(NP、NN)表示mini-batch所含的阳性和阴性各自样本数的调和平均。还有，SP和SN各自表示mini-batch所含的阳性和阴性的指数。如式(4)所示，f(si)是将标量值s作为变量的S型函数(Sigmoid function)。另外，si表示第i个样本。式(1)和式(2)中，“f(si)”表示第i个样本为阳性的概率，“1-f(si)”表示第i个样本为阴性的概率。“f(si)”中代入阳性的标量值s1，“1-f(si)”中代入阴性的标量值s2。
另外，式(1)是通过将下述式(5)所示的损失函数L进行对数化而分配了权重w(NP、NN)得到的式子。
【数5】
式(5)包含下述式(6)和式(7)。式(6)表示使用以标量值s为变量的S型函数对灵敏度P1进行松弛的式子。式(7)表示使用以标量值s为变量的S型函数对特异度P2进行松弛的式子。
【数6】
【数7】
因此，上述式(1)是包含灵敏度P1与特异度P2之和(P1+P2)的损失函数，基于上述式(2)，通过寻找上述式(1)所示的损失函数的最小值，能够确定优化灵敏度P1与特异度P2之和(P1+P2)的参数值。而且，根据上述式(1)，由于梯度不会消失，因此能够使用误差反向传播训练方法进行训练。还有，通过引入上述式(3)所示的权重，即使阳性的样本数和阴性的样本数不平衡，也能够减缓该影响。
接下来，参照图9和图10，对训练用程序TP进行说明。图9表示由训练用程序TP构建的神经网络NW。换言之，图9表示训练时的神经网络NW。图10表示本实施方式的训练方法的流程图。
本实施方式的训练方法包含通过帧组的训练来确定神经网络NW的参数值的方法。确定神经网络NW的参数值的方法中，包含确定动作特征提取器2的参数值的方法。图10表示确定动作特征提取器2(第一动作特征提取器2a～第三动作特征提取器2c)的参数值的方法。如图10所示，确定第一动作特征提取器2a～第三动作特征提取器2c的参数值的方法包含步骤S1～步骤S5。
如图9和图10所示，本实施方式中，处理部42首先确定第一动作特征提取器2a的参数值(步骤S1)。具体来说，将多个第一帧组输入到第一动作特征提取器2a中，使第一动作特征提取器2a使用第一帧组进行训练。例如，处理部42通过误差反向传播训练方法进行训练。其结果，确定出第一动作特征提取器2a的参数值。
在第一动作特征提取器2a的参数值确定后，处理部42将第一动作特征提取器2a的参数值设定为第二动作特征提取器2b的参数值的初始值(步骤S2)。
在第二动作特征提取器2b的参数值的初始值设定之后，处理部42确定第二动作特征提取器2b的参数值(步骤S3)。具体来说，将多个第二帧组输入到第二动作特征提取器2b中，使第二动作特征提取器2b使用第二帧组进行训练。也就是说，第二动作特征提取器2b将第一动作特征提取器2a的参数值作为初始值，使用第二帧组进行训练。例如，处理部42通过误差反向传播训练方法进行训练。其结果，确定出第二动作特征提取器2b的参数值。
在第二动作特征提取器2b的参数值确定后，处理部42将第二动作特征提取器2b的参数值设定为第三动作特征提取器2c的参数值的初始值(步骤S4)。
在第三动作特征提取器2c的参数值的初始值设定之后，处理部42确定第三动作特征提取器2c的参数值(步骤S5)。具体来说，将多个第三帧组输入到第三动作特征提取器2c中，使第三动作特征提取器2c使用第三帧组进行训练。也就是说，第三动作特征提取器2c将第二动作特征提取器2b的参数值作为初始值，使用第三帧组进行训练。例如，处理部42通过误差反向传播训练方法进行训练。其结果，确定出第三动作特征提取器2c的参数值。
根据本实施方式，确定某一动作特征提取器2的参数值时，之前已确定的其它动作特征提取器2的参数值被设定为作为当前对象的动作特征提取器2的参数值的初始值。其结果，能够高效地确定参数值。
另外，本实施方式中，受试者SJ连续执行3次任务组TA，不过，认知功能评估系统100也可以是让受试者SJ执行1次任务组TA的系统，也可以是连续执行2次的系统，也可以是连续执行4次以上的系统。只要配合连续执行任务组TA的次数，调整动作特征提取器2和变换器3的数量即可。
图11表示由已训练模型TM构建的神经网络NW的另一例。具体来说，图11表示让受试者SJ执行1次任务组TA的认知功能评估系统100中所含的神经网络NW。如图11所示，在让受试者SJ执行1次任务组TA的情况下，动作特征提取器2和变换器3的数量都是1个。还有，在让受试者SJ执行1次任务组TA的情况下，参照图5说明了的卷积器5可以省略也可以不省略。
还有，本实施方式中，对于认知功能分数为阈值以下的受试者SJ，输入表示阳性的标签数据，对于认知功能分数大于阈值的受试者SJ，输入表示阴性的标签数据，不过也可以基于医生给出的确诊结果来输入表示阳性的标签数据和表示阴性的标签数据。
具体来说，在生成分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别的已训练模型TM时，对于确诊结果是痴呆症的受试者SJ，输入表示阳性的标签数据，对于确诊结果是轻度认知障碍或者非痴呆症的受试者SJ，输入表示阴性的标签数据。通过使用确诊结果，而不是使用认知功能分数和认知功能分数的阈值，就能够分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别。对于生成分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别的已训练模型TM，情况也是一样的。其中，由于不使用认知功能分数，因此认知功能评估系统100不判定受试者SJ的认知功能分数。由此，省略了参照图5和图9说明了的分数判定器7。
还有，本实施方式中，使用参照式(1)～式(7)说明了的损失函数来确定参数值，不过损失函数不限于参照式(1)～式(7)说明了的损失函数。损失函数也可以是均方误差(MSE)、平均绝对误差(MAE)、均方根误差(RMSE)、均方对数误差(MSLE)、Huber损失、泊松损失、铰链损失和库尔贝克-莱布勒信息量(KLD)等众所周知的损失函数。
[实施方式二]
接着，参照图12对本发明的实施方式二进行说明。其中，仅说明与实施方式一不同的事项，而省略与实施方式一相同事项的说明。实施方式二中，与实施方式一的不同在于，评价部40将受试者SJ的认知功能分类为痴呆症的类别、轻度认知障碍的类别以及非痴呆症的类别。也就是说，实施方式二中，评价部40将受试者SJ的认知功能分类为3个类别。
在将受试者SJ的认知功能分类为痴呆症的类别、轻度认知障碍的类别以及非痴呆症的类别的情况下，训练时，医生给出的确诊结果作为标签数据(监督数据)输入到处理部73(图7)。具体来说，操作者参照输入部71(图7)，输入表示痴呆症的标签数据、表示轻度认知障碍的标签数据以及表示非痴呆症的标签数据。
还有，在将受试者SJ的认知功能分类为痴呆症的类别、轻度认知障碍的类别以及非痴呆症的类别的情况下，损失函数使用交叉熵损失、三重态损失(triplet loss)或中心损失(center loss)等众所周知的损失函数。另外，在将受试者SJ的认知功能分类为3个类别的情况下，也能够进行mini-batch训练。因此，与实施方式同样地，也可以是处理部73(图7)生成mini-batch训练用的数据并输出到评价部40，评价部40(图6)进行mini-batch训练。
图12表示本实施方式的认知功能评估系统100中所含的神经网络NW。如图12所示，本实施方式的认知功能评估系统100所含的神经网络NW(已训练模型TM)包含融合器6a，这点与图5的神经网络NW不同。还有，本实施方式的认知功能评估系统100所含的神经网络NW不含多个变换器3(第一变换器3a～第三变换器3c)和分数判定器7，这点与图5的神经网络NW不同。
本实施方式中，融合器4中，输入由第一动作特征提取器2a～第三动作特征提取器2c各自提取的动作特征。融合器4将从第一动作特征提取器2a～第三动作特征提取器2c输入的动作特征进行融合。因此，融合器4的输出中，反映从第一帧组～第三帧组中各自提取的动作特征。
融合器6a将融合器4的输出与卷积器5卷积运算后的回答特征数据进行融合，从而输出受试者SJ为痴呆症的概率、受试者SJ为轻度认知障碍的概率以及受试者SJ为非痴呆症的概率。融合器6a例如包含全连接层(FC)。
本实施方式中，图4中的处理部42基于神经网络NW(融合器6a)的输出，将受试者SJ的认知功能分类为痴呆症的类别、轻度认知障碍的类别或者非痴呆症的类别。例如，图4中的处理部42在受试者SJ为痴呆症的概率、受试者SJ为轻度认知障碍的概率以及受试者SJ为非痴呆症的概率中为痴呆症的概率最大的情况下，将受试者SJ的认知功能分类为痴呆症的类别。
如上所述，参照图12对实施方式二进行了说明。根据实施方式二，与实施方式一同样地，基于所拍摄的受试者SJ的所有关节的空间位置关系特征和时间变化特征，能够对受试者SJ的认知功能进行评价。因此，与根据少量有限的特征来评估受试者SJ的认知功能的系统相比，能够更准确地评估受试者SJ的认知功能。
另外，本实施方式中，将受试者SJ的认知功能分类为3个类别，但认知功能评估系统100也可以将受试者SJ的认知功能分类为4个以上类别。例如，认知功能评估系统100也可以按照痴呆症的类别对受试者SJ进行分类。痴呆症的类别中包含阿尔茨海默氏痴呆、血管性痴呆、路易体痴呆、额颞叶痴呆以及正常压力脑积水等。例如，认知功能评估系统100也可以将受试者SJ的认知功能分类为阿尔茨海默氏痴呆的类别、路易体痴呆的类别、轻度认知障碍的类别以及非痴呆症的类别。这种情况下，训练时，表示阿尔茨海默氏痴呆的标签数据、表示路易体痴呆的标签数据、表示轻度认知障碍的标签数据以及表示非痴呆症的标签数据作为标签数据(监督数据)，输入到处理部73(图7)。
还有，本实施方式中，将受试者SJ的认知功能分类为3个类别，但认知功能评估系统100也可以将受试者SJ的认知功能分类为2个类别。例如，与实施方式一同样地，认知功能评估系统100也可以将受试者SJ的认知功能分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别，也可以分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别。
如上所述，参照附图(图1～图12)对本发明的实施方式进行了说明。但是，本发明不限于上述的实施方式，可以在不脱离其要旨的范围内以各种方式进行实施。还有，上述实施方式中公开的多个结构要素可以适当改变。例如，可以将某一实施方式所示的全结构要素中的某些结构要素追加到其它实施方式的结构要素中，或者也可以删除某一实施方式所示的全结构要素中的若干结构要素。
为了便于理解，附图中主要对各结构要素进行了示意性地表示，为了方便作图，图示各结构要素的厚度、长度、个数、间隔等可能与实际有出入。还有，上述实施方式所示的各结构要素的结构是一个例子，不是特别限定，可以在实质上不脱离本发明效果的范围内进行各种变更。
例如，参照图1～图12说明了的实施方式中，要求受试者SJ依次执行智力任务(单任务)、运动任务(单任务)和双重任务，不过智力任务(单任务)、运动任务(单任务)和双重任务的执行顺序也可以替换。
还有，参照图1～图12说明了的实施方式中，要求受试者SJ执行智力任务(单任务)、运动任务(单任务)和双重任务，不过要求受试者SJ执行的任务也可以是任意的。例如，也可以要求受试者SJ依次执行双重任务、智力任务(单任务)、运动任务(单任务)和双重任务。或者，也可以要求受试者SJ执行智力任务(单任务)和双重任务，也可以要求受试者SJ执行运动任务(单任务)和双重任务。要求受试者SJ执行的任务也可以只是双重任务。在要求受试者SJ执行智力任务(单任务)和双重任务的情况下，智力任务(单任务)和双重任务的执行顺序是任意的。同样地，在要求受试者SJ执行运动任务(单任务)和双重任务的情况下，运动任务(单任务)和双重任务的执行顺序是任意的。
还有，参照图1～图12说明了的实施方式中，任务呈现部10具有显示器，不过任务呈现部10也可以具有音频输出器。
还有，参照图1～图12说明了的实施方式中，回答检测部30具有回答开关，回答检测部30不限于回答开关。例如，回答检测部30也可以具有视线方向检测装置或声音收集器。
在使用视线方向检测装置的情况下，例如，基于受试者SJ相对于图2(b)和图3中的答案候选呈现画面12b的视线朝向，能够获取受试者SJ的回答。视线方向检测装置中能够采用众所周知的视线方向检测技术。例如，视线方向检测装置包含近红外LED和拍摄装置。近红外LED对受试者SJ的眼睛进行近红外线的照射。拍摄装置对受试者SJ的眼睛进行拍摄。处理部42和处理部73对拍摄装置所拍摄的图像进行分析，检测受试者SJ的瞳孔位置(视线方向)。
在使用声音收集器的情况下，例如，基于受试者SJ相对于图2(b)和图3中的答案候选呈现画面12b发出的声音，能够获取受试者SJ的回答。例如，处理部42和处理部73通过语音识别处理将受试者SJ发现出的声音转换为文本数据，能够获取受试者SJ的回答。
另外，在使用声音收集器的情况下，认知问题不限于要求受试者SJ选择2个候选答案中的一个的问题。例如，也可以让受试者SJ回答计算问题。还有，在使用声音收集器的情况下，认知问题也可以是需要语言回答的问题。需要语言回答的问题例如可以是“接龙问题”、“举出以五十音中任意选择的音(文字)开头的语音(例如，词语)”或者“举出以英文字母表中任意选择的字母开头的语音(例如，单词)”。
还有，参照图1～图12说明了的实施方式中，使用数据收集部70生成训练用数据，不过也可以是评价部40生成训练用数据。
〔产业可利用性〕
本发明能够用于痴呆症的诊断。
〔附图标记说明〕
2：动作特征提取器
2a：第一动作特征提取器
2b：第二动作特征提取器
2c：第三动作特征提取器
20：动作检测部
30：回答检测部
40：评价部
100：认知功能评估系统
L：损失函数
NW：神经网络
P1：灵敏度
P2：特异度
SJ：受试者

Claims (11)

1.一种认知功能评估系统，具备：
动作检测部，所述动作检测部对执行规定任务的受试者进行拍摄，并按时间序列来生成表示所拍摄的所述受试者所有关节三维坐标的帧；
回答检测部，所述回答检测部用于检测执行所述规定任务的所述受试者对规定认知问题的回答；以及
评价部，所述评价部基于所述帧来输出动作特征，所述动作特征表示所述所有关节的空间位置关系特征和所述所有关节的时间变化特征，并基于所述动作特征以及由所述回答检测部检测到的所述回答，对所述受试者的认知功能进行评价，
所述规定任务包含要求所述受试者进行规定运动的运动任务和要求所述受试者回答所述认知问题的智力任务，
所述动作检测部对执行所述运动任务的所述受试者进行拍摄并生成所述帧。
2.根据权利要求1所述的认知功能评估系统，其特征在于，
所述评价部将所述受试者分类为认知功能分数是阈值以下的类别和所述认知功能分数大于所述阈值的类别，所述认知功能分数表示所述受试者的认知能力。
3.根据权利要求2所述的认知功能评估系统，其特征在于，
所述评价部根据预设的所述阈值，将所述受试者分类为痴呆症的类别与轻度认知障碍·非痴呆症的类别，或者分类为痴呆症·轻度认知障碍的类别与非痴呆症的类别。
4.根据权利要求1至3中任一项所述的认知功能评估系统，其特征在于，
所述评价部对表示所述受试者的认知能力的认知功能分数进行判定。
5.根据权利要求1所述的认知功能评估系统，其特征在于，
所述评价部将所述受试者分类为痴呆症的类别、轻度认知障碍的类别以及非痴呆症的类别。
6.根据权利要求5所述的认知功能评估系统，其特征在于，
所述评价部将所述受试者分类为所述痴呆症中的至少2种类型。
7.根据权利要求1所述的认知功能评估系统，其特征在于，
所述评价部包含动作特征提取器，所述动作特征提取器按所述帧的每一帧生成表示所述所有关节的空间位置关系的空间图，对所述空间图进行卷积，并且生成表示相邻所述帧之间同一所述关节的变化的时间图，对所述时间图进行卷积，由此提取出所述动作特征。
8.根据权利要求7所述的认知功能评估系统，其特征在于，
所述评价部含有多个所述动作特征提取器，
连续多次执行的所述规定任务每次执行的所述帧被输入到各自不同的所述动作特征提取器中，
所述评价部基于由所述动作特征提取器各自输出的所述动作特征和由所述回答检测部所检测的所述回答，对所述受试者的认知功能进行评价。
9.根据权利要求1所述的认知功能评估系统，其特征在于，
所述规定任务包含双重任务，所述双重任务要求所述受试者同时执行所述运动任务和所述智力任务，
所述动作检测部对执行所述双重任务的所述受试者进行拍摄，
所述回答检测部对执行所述双重任务的所述受试者的所述回答进行检测。
10.一种训练方法，用于确定出将受试者分类为阳性和阴性的神经网络的参数值，其特征在于，
所述训练方法包含使用将灵敏度与特异度之和进行优化的损失函数来确定所述参数值的步骤，所述灵敏度表示正确识别阳性的受试者的比例，所述特异度表示正确识别阴性的受试者的比例。
11.一种训练方法，用于确定出神经网络的参数值，其特征在于，
所述神经网络包含第一网络和第二网络，所述第一网络和所述第二网络都对表示受试者的各关节的空间位置关系的空间图进行卷积并对表示所述受试者的各关节的时间变化的时间图进行卷积，
所述方法包含：
使用输入到所述第一网络中的数据进行训练来确定所述第一网络的参数值的步骤；和
在将确定出的所述第一网络的参数值设定为所述第二网络的参数值的初始值之后，使用输入到所述第二网络中的数据进行训练来确定所述第二网络的参数值的步骤。
CN202280072310.7A 2021-10-29 2022-10-28 认知功能评估系统和训练方法 Pending CN118201554A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-177748 2021-10-29
JP2021177748 2021-10-29
PCT/JP2022/040289 WO2023074829A1 (ja) 2021-10-29 2022-10-28 認知機能評価システム、及び学習方法

Publications (1)

Publication Number Publication Date
CN118201554A true CN118201554A (zh) 2024-06-14

Family

ID=86159962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280072310.7A Pending CN118201554A (zh) 2021-10-29 2022-10-28 认知功能评估系统和训练方法

Country Status (2)

Country Link
CN (1) CN118201554A (zh)
WO (1) WO2023074829A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016148199A1 (ja) * 2015-03-16 2016-09-22 国立大学法人大阪大学 デュアルタスク遂行能力評価方法、及びデュアルタスク遂行能力評価システム
CN112292697A (zh) * 2018-04-13 2021-01-29 弗里诺姆控股股份有限公司 用于生物样品的多分析物测定的机器学习实施方式
KR102132375B1 (ko) * 2019-07-05 2020-07-09 한국과학기술원 딥 러닝 모델을 활용한 영상 진단 장치 및 그 방법
JP7439353B2 (ja) * 2019-08-29 2024-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 認知機能評価方法、認知機能評価装置及び認知機能評価プログラム
KR102482933B1 (ko) * 2019-12-31 2023-01-03 대한민국 운동·인지 이중 과제 훈련 및 속도-정확도 관계 평가 시스템 및 장치
CN112070027B (zh) * 2020-09-09 2022-08-26 腾讯科技（深圳）有限公司 网络训练、动作识别方法、装置、设备及存储介质
CN112543936B (zh) * 2020-10-29 2021-09-28 香港应用科技研究院有限公司 用于动作识别的动作结构自注意力图卷积网络模型

Also Published As

Publication number Publication date
WO2023074829A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
Ahmed et al. Facial expression recognition using convolutional neural network with data augmentation
Hoang Ngan Le et al. Robust hand detection and classification in vehicles and in the wild
Le et al. Robust hand detection in vehicles
Singh et al. Deep learning and machine learning based facial emotion detection using CNN
US20210232810A1 (en) Automated monitoring system for biomechanical postural assessment
JP7185805B2 (ja) 転倒リスク評価システム
Alnuaim et al. Human‐Computer Interaction with Hand Gesture Recognition Using ResNet and MobileNet
JP2017215963A (ja) 注目範囲推定装置、学習装置、それらの方法およびプログラム
Zheng A novel attention-based convolution neural network for human activity recognition
US11386288B2 (en) Movement state recognition model training device, movement state recognition device, methods and programs therefor
Pham et al. Combining skeleton and accelerometer data for human fine-grained activity recognition and abnormal behaviour detection with deep temporal convolutional networks
CN112686211A (zh) 一种基于姿态估计的跌倒检测方法及装置
CN111985333A (zh) 一种基于图结构信息交互增强的行为检测方法及电子装置
Abdulhamied et al. Real-time recognition of American sign language using long-short term memory neural network and hand detection
Mobsite et al. A framework for elders fall detection using deep learning
CN117011932A (zh) 一种奔跑行为检测方法、电子设备及存储介质
JP2018190318A (ja) データ収集装置及び学習装置
JP6746043B2 (ja) 運転支援装置および運転モード判断モデル生成装置
Hou Deep learning-based human emotion detection framework using facial expressions
Ismail et al. Towards a deep learning pain-level detection deployment at UAE for patient-centric-pain management and diagnosis support: framework and performance evaluation
CN118201554A (zh) 认知功能评估系统和训练方法
Baray et al. EOG-Based Reading Detection in the Wild Using Spectrograms and Nested Classification Approach
CN115100560A (zh) 用户不良状态的监测方法、装置、设备及计算机存储介质
US20230230277A1 (en) Object position estimation device, object position estimation method, and recording medium
CN114332990A (zh) 一种情绪识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication