CN116602680A - 结合手指灵活度和跨度的认知能力客观定量测量方法 - Google Patents

结合手指灵活度和跨度的认知能力客观定量测量方法 Download PDF

Info

Publication number
CN116602680A
CN116602680A CN202310583599.5A CN202310583599A CN116602680A CN 116602680 A CN116602680 A CN 116602680A CN 202310583599 A CN202310583599 A CN 202310583599A CN 116602680 A CN116602680 A CN 116602680A
Authority
CN
China
Prior art keywords
finger
key
time
span
flexibility
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310583599.5A
Other languages
English (en)
Inventor
王一歌
苏昱潮
韦岗
曹燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202310583599.5A priority Critical patent/CN116602680A/zh
Publication of CN116602680A publication Critical patent/CN116602680A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/162—Testing reaction times
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种结合手指灵活度和跨度的认知能力客观定量测量方法，通过测量手指连续击键速度、不同手指按键编号之差计算手指灵活度和各手指跨度，通过测量弹奏指法的反应时间以及弹奏指法准确率计算出反应速度得分以及反应准确度得分，评估手眼协调及空间定位能力，最终评估认知能力。步骤如下：通过测量不同手指按键编号之差计算各手指跨度；通过测量各手指连续击键时间间隔计算各手指灵活度；以动画形式显示指法题目，根据测量出题音符的时间间隔与实际弹奏时间间隔计算反应时间，根据出题指法以及实际按键编号和手指的距离计算弹奏准确度；通过信息融合方式定量评估认知能力。本发明为脑健康早期干预提供一种有趣无创简易的客观检测手段。

Description

结合手指灵活度和跨度的认知能力客观定量测量方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种结合手指灵活度和跨度的认知能力客观定量测量方法。
背景技术
脑健康是人类健康、幸福和发展的基础，是现代社会建设和发展的重要支柱。随着现代医学的长足发展，人们已经可以更加深入地了解大脑的功能和作用，也越来越关注脑健康问题。相比于其他身体健康指标的可测性，脑健康缺乏有效的测量评估方法，使得有效地维护和促进脑健康成为一项挑战。
现有评估脑健康客观测量评估方式分为有损和无损两大类。进行有损检测的方式包括有创和无创两类。有创方式包括生理解剖和植入式电极等，需要专业脑外科医生参与，存在较高的手术风险，一般用于中重症脑疾病患者的检测和治疗，不适合普及大众测量。无创方式主要包括核磁共振成像(MRI)、计算机断层扫描(CT)等，具有辐射危害且设备昂贵，不利于动态检测健康状态。无损检测方式包括近红外脑功能成像(fNIRS)、神经电生理学检查以及计算机化评估等。近红外脑功能成像容易受信号弱度低以及头部运动的影响，实验环境要求较高。神经电生理学检查包括脑电图、肌电图等可能造成受试者疼痛或不适。计算机化评估利用数字设备实施测试，根据测试结果，对脑健康进行诊断与分析，容易受到语言以及文化差异影响，不利于推广。
脑健康难以通过无损无创的方法全面准确地测量评估，而认知能力作为大脑最高级的能力，关系到大脑的健康和人类的智慧水平。通过对认知能力的评估，可以为脑健康提供重要的信息，帮助人们更好地了解自身认知能力水平，从而为预防和治疗脑疾病提供指导。现有评估认知能力测量评估方式一般为量表评估或者行为观察，通过观察受试者对问题的反应结合测试者的经验做出评价，容易受主观意识和受试者受教育程度的影响，测试结果依赖于测试者的专业水平，缺乏客观性，误诊漏诊难免发生。
本发明研究过程至少发现：执行能力与认知能力被证实为有关联，而手指在大脑的运动与感觉皮层占比最多，通过测量手指执行能力间接测量认知能力，克服了上述方法的缺点，具有先进性。同时手指执行能力还受手指机能、结构等与认知无关的生理因素的影响，在测量执行能力时考虑手指信息根据科学性。因此，结合手指信息通过钢琴视奏间接客观测量脑认知能力，服务于脑健康的早期干预，具有重大意义。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种结合手指灵活度和跨度的认知能力客观定量测量方法。
本发明的目的可以通过采取如下技术方案达到：
一种结合手指灵活度和跨度的认知能力客观定量测量方法，所述认知能力客观定量测量方法包括以下步骤：
S1、带有显示器的出题模块以文字和图片形式显示指定两根手指及按键状态，将钢琴按键按照物理位置从左到右依次编号为1到88，记为键号，通过带有按键扫描器的采集模块输出手指按下键号，通过两者之差计算得到各手指跨度；
S2、带有显示器的出题模块以文字形式显示指定手指名称以及连续击键次数，通过带有计时器的采集模块输出手指按下时间，通过测量各手指连续击键时间间隔计算各手指灵活度；
S3、带有显示器的出题模块以动画形式显示指法题目，所述指法是指用某根手指按下某个钢琴按键，通过带有按键扫描器和计时器的采集模块输出手指按下时间以及对应的键号，通过照相设备拍摄手指按下时刻的照片，通过手指识别得到实际按键手指名称，根据测量出题按键之间的时间间隔与实际按键之间的时间间隔计算反应时间，根据出题指法以及实际指法的距离计算弹奏准确度；
S4、结合手指灵活度与反应时间计算反应速度得分，结合手指跨度与弹奏准确率计算反应准确率得分，通过信息融合方式定量测量认知能力。
进一步地，所述步骤S1过程如下：
S101、为了方便标记，按照各手指物理位置从左往右依次定义为1到10，记为手指编号，根据手指的位置分布，设置多轮手指跨度测量任务，在带有显示器的模块上显示测试提示信息与手指图像，每轮测试任务测量放松状态和尽力状态下手指的跨度；
根据手指的位置分布，设置多轮手指跨度测量任务，任务包括1指2指、1指3指、1指4指、1指5指、2指3指、2指4指、2指5指、3指4指、3指5指、4指5指、6指7指、6指8指、6指9指、6指10指、7指8指、7指9指、7指10指、8指9指、8指10指、9指10指，在带有显示器的模块上显示测试提示信息与手指图像，每轮测试任务测量放松状态和尽力状态下对应手指的跨度，全面地反映各种情况下的各个手指间的跨度情况；
S102、通过带有按键扫描器的采集模块输出每轮测试按下的按键号，计算得到最大键号Hmax和最小键号Hmin，分别对应每轮测试中手指按下的最右和最左按键；
S103、将每轮测试任务采集的Hmax和Hmin相减得到手指x和手指y放松状态下的手指跨度S_relaxxy和尽力状态下的手指跨度S_maxxy，通过测量对应手指在不同状态下的按键键号差反映出对应手指在不同状态下的跨度；
S104、通过计算S_relaxxy和S_maxxy的均值得到手指x和手指y的跨度Sxy，其中x和y为手指编号。计算得到的手指跨度综合考虑了放松与尽力情况更加符合实际弹奏过程中的手指跨度情况。
进一步地，所述步骤S2过程如下：
S201、为了客观量化手指灵活度，设置10轮灵活度测试任务，测量各个手指单独的灵活度，在带有显示器的模块上文字形式显示手指名称以及连续击键次数，每轮测试任务通过测量对应手指连续击键时间间隔来量化对应手指的灵活度，时间间隔越短，手指灵活度越高；
S202、为了减少I/O口，通过设计一个6×28的矩阵实现键盘84×2个按键触点的信号扫描功能，通过该功能模块输出每轮测试任务手指按下的按键号和按下时间，为了防止测试过程中误触按键导致的误差，通过摩尔投票法计算得到本轮采集键号的众数Gmode，对本轮数据进行过滤得到键号为Gmode的按键按下时间数列T＝{Ti,1≤i≤n}，其中，Ti表示键号为Gmode的按键按下时间数列的第i个数据，n是键号为Gmode的按键按下时间数列长度；
S203、由于开始击键时受大脑反应影响，临近测试结束时受手指疲惫程度影响，测量数据不准确，为了保证数据准确有效，通过滑动窗口的方式计算得到多次按下键号为Gmode的按键的最小时间间隔来量化手指灵活度Fj，反映出该手指稳定确切的灵活情况；
其中，编号为j的手指灵活度Fj的计算公式为：
Fj＝min(Tk-T1,…,Tn-Tn-k+1),1<j<10 公式(1)
其中，k为连续击键次数，Tk、Tn-k+1、Tn为键号Kmode的按键按下时间数列的第k、n-k+1、n个数据。
进一步地，所述步骤S3过程如下：
S301、根据出现的按键数量和按键相隔时间设定多个指法难度，按键数量越多，按键相隔时间越短，弹奏越复杂，完成题目所需的反应速度也就越快；
S302、根据难度递增设置多轮指法题目，为了防止受试者记忆题目，每轮题目都会根据难度自动生成，得到出题时刻、出题按键号和出题手指数列，并以动画形式显示，比如通过一条会移动的红色竖线移动到出题指法位置来显示出题时刻，难度渐进的方法可以让受试者熟悉指法测试的同时刺激大脑相应区域的激活，更好反应出大脑的认知能力边界；S303、通过采集模块输出每轮测试任务的按键号和按下时间的数列，并在按下时刻通过同步信号驱动照相设备拍下实时手指图片，保证每张图片与每个按下时刻相对应；
S304、为了方便计算多按与少按情况下的反应时间，通过贪心算法计算得到反应时间最小的按下时间数列，将按下时间数列与音符标准弹奏时间数列对齐，计算出反应时间；
其中，反应时间Treact的计算公式为：
其中，m为该轮测试指法题目的音符数量，Ql表示该轮指法题目第l个音符标准开始弹奏时间，Pl表示实际第l次按下按键时间；
S305、通过手指识别图像识别出按下手指名称，通过测量出题指法与实际弹奏指法的空间距离来客观量化计算弹奏准确率；
其中，弹奏准确率Aplay的计算公式为：
其中，Nl为该轮指法题目的第l个音符的键号，Kl为实际第l次按下的键号，Ml为该轮指法题目的第l个音符对应的手指编号，Rl为实际第l次按下的手指编号。
进一步地，所述步骤S4过程如下：
S401、为了消除手指机能对测试结果的影响，结合按下各手指的灵活度信息，重新计算出反应速度，该修正后的反应速度考虑了不同人的手指机能差异情况，准确表征大脑的手眼协调能力与反应能力；
其中，修正反应速度T′react的计算公式为：
其中，αj为编号为j的手指的灵活度基准系数，值越大则表示手指越灵活；
S402、结合各手指的跨度信息，重新计算出每轮测试的弹奏准确率；
其中，修正弹奏准确率A′play的计算公式为：
其中，表示编号为Ml的手指和编号为Rl的手指的跨度；
S403、根据概率统计定理，通过测量大量人群数据建立反应时间和弹奏准确率评分映射关系表，得到反应速度得分和弹奏准确率得分，其中，反应时间和弹奏准确率评分映射关系表建立反应时间和弹奏准确率评分的一一映射关系，以百分制得分的方式直观量化出受试者测试的反应速度与反应准确率，同时受试者的测试得分对应受试者在测试人群的排名，排名越靠前，得分越高；
S404、认知能力可以通过反应时间与反应准确率反映出来，由于存在速度准确率权衡，即受试者可能牺牲反应时间提高反应准确率，也可能通过牺牲反应准确率提高反应速度，通过信息融合方式以一定的权重系数加权计算反应速度得分和弹奏准确率得分得到手眼认知得分，定量测量认知能力，综合考虑反应速度与准确率，科学有效评估认知能力。
进一步地，所述出题模块包括显示器、web系统、相机、数据传输接口、存储介质，其中，显示器用于显示出题题目与提示信息；web系统用于控制题目的设置以及从串口中读取解析数据，同时控制相机拍摄并把测试数据存放于存储介质中；相机用于拍摄手指按下按键的图像，能够完整拍摄到所有按键；数据传输接口用于连接外部采集模块，实时接收按键信息和按键时刻数据。
进一步地，所述采集模块包括按键传感器、扫描控制电路、数据传输串口，其中，按键传感器包括高低两个触点，用于判断各个按键的状态，可以通过高低两个触点触发时间差可以计算出击键力度；扫描控制电路利用矩阵扫描原理，获取触发触点信号的按键位置，并根据位置获取键号，节省了I/O口；数据传输串口用于连接出题模块，通过同步信号传输按键键号和按下时间的封装信息，去除了冗余的未触发按键信息，实时高效采集传输数据。
进一步地，所述的步骤S305中手指识别过程包括键盘注册、手指关键点识别、手指匹配，其中，键盘注册是通过Canny边缘检测和Hough直线检测结合按键物理分布检测出各个按键在图像中所处的中心位置坐标，黑键由一个长方形组成，有一个中心坐标，白键由两个上下长方形组成，有两个中心坐标；手指关键点识别是通过MediaPipe手势识别模型识别出手指尖的坐标，其中，MediaPipe为谷歌公司开源的基于深度学习的跨平台框架，其手势识别模型能够输入图像通过深度学习的方法得到图像中手指关键点的坐标；手指匹配是根据手指尖的坐标与按下按键中心坐标的距离得到距离按下按键最近的手指，记为实际按键手指，特别的是受试者敲击白键上半部分与下半部分时手指尖坐标相距较大，分别计算出各指尖坐标与白键上半部分和下半部分中心坐标的距离，若距离上下部分中心位置最近的手指不一致，则比较两者的深度信息，即与摄像头的距离，将深度大的手指记为实际按键手指，减少了敲击白键时的手指识别误差。
进一步地，所述认知能力指弹人脑加工、储存和提取信息的能力，本发明研究过程至少发现：手指执行能力与认知能力被证实为有关联，同时手指执行能力还受手指机能、结构等与认知无关的生理因素的影响，通过测量对指定指法的反应时间、弹奏准确度，结合手指灵活度与跨度计算出反应速度得分和反应准确得分，消除无关因素的影响，评估出手眼协调能力和空间定位能力。
本发明相对于现有技术具有如下的优点及效果：
1)本发明提出一种结合手指信息的基于反应时间与弹奏指法准确率的认知能力客观定量测量方法，该方法克服了传统认知评估方法的局限性，不会受主观意识和受试者受教育程度等因素的影响，同时测试通过设计的程序自动打分，无需依赖专业的测试人员，为实现脑健康早期干预和普及智慧美育等问题提供了一种实用的应对方式。
2)本发明通过采集受试者反应时间数列与反应指法数列，与实际出题时间数列与出题指法数列进行对比，得到反应时间与弹奏准确率，结合统计学与认知心理学理论，采用信息融合的方式对两种进行加权计算得到脑认知能力客观得分，通过大数据方法解决了认知评估中反应速度与反应准确率的权衡问题。
3)本发明通过采集受试者不同手指的连续击键时间间隔计算对应手指的灵活度，通过测量受试者不同手指的按键键号距离计算对应的手指跨度。进行认知评估时基于手指灵活度对反应速度评分进行修正，基于手指跨度对弹奏准确评分进行修正，修正后消除了手指机能、结构等与认知无关的生理因素的影响，能够更加科学准确地反映认知能力。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例中公开的结合手指灵活度和跨度的认知能力客观定量测量方法的流程图；
图2是本发明实施例中认知能力客观定量测量系统示意图；
图3是本发明实施例中手指编号示意图；
图4是本发明实施例1中手指灵活度分布的参考图；
图5是本发明实施例中弹奏指法识别的过程图；
图6是本发明实施例中反应时间统计直方图及曲线拟合示意图；
图7是本发明实施例中弹奏准确率统计直方图；
图8是本发明实施例2中手指灵活度统计直方图及曲线拟合示意图；
图9是本发明实施例2中难度3的左手指法题目动画示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例公开了一种结合手指灵活度和跨度的认知能力客观定量测量方法，如图1所示，具体步骤如下：
S1、出题模块以文字和图片形式显示指定两根手指及按键状态，将钢琴按键按照物理位置从左到右依次编号为1到88，记为键号，通过带有按键扫描器的采集模块输出手指按下键号，通过两者之差计算得到各手指跨度。
如图2所示为认知能力客观定量测量系统示意图，系统由采集模块和出题模块组成。其中，出题模块包括显示器、web系统、相机、数据传输串口、存储介质。其中，显示器用于显示出题题目与提示信息；web系统用于控制题目的设置以及从串口中读取解析数据,还能控制相机拍摄把测试数据存放于存储介质中；相机用于拍摄手指按下按键的图像，能够完整拍摄到所有按键；数据传输串口用于连接采集模块，实时获取按键信息和按键时刻。
其中，采集模块包括按键传感器、扫描控制电路、数据传输串口。其中，按键传感器包括高低两个触点，用于判断各个按键的状态；扫描控制电路利用矩阵扫描原理，获取触发触点信号的按键位置，根据并根据位置获取键号；数据传输串口用于连接出题模块，实时传输按键键号和按下时间的封装信息。其中，所述出题时刻，即待弹奏音符需要开始弹奏的时间。在屏幕上显示为，竖直进度线滚动到待弹奏音符图片左边界的时刻。
如图3所示为手指编号示意图，按照各手指物理位置从左往右依次定义为1到10，记为手指编号。根据手指的位置分布，设置多轮手指跨度测量任务，任务包括1指2指、1指3指、1指4指、1指5指、2指3指、2指4指、2指5指、3指4指、3指5指、4指5指、6指7指、6指8指、6指9指、6指10指、7指8指、7指9指、7指10指、8指9指、8指10指、9指10指，在带有显示器的模块上显示测试提示信息与手指图像，每轮测试任务测量放松状态和尽力状态下对应手指的跨度。
通过带有按键扫描器的采集模块输出每轮测试按下的按键号，为了避免误触，在结束该轮测试后，从得到的按键号数列H＝{Ha,1≤a≤b}中计算得到最大键号Hmax和最小键号Hmin，其中，Ha为第a次按下的键号，b为该论测试中按下按键次数，采集模块按键的键号根据所处物理位置从左往右递增。
将每轮测试任务采集的Hmax和Hmin相减得到手指x和手指y放松状态下的手指跨度S_relaxxy和尽力状态下的手指跨度S_maxxy。根据计算放松状态下的手指跨度S_relaxxy和尽力状态下的手指跨度S_maxxy的均值得到手指x和手指y的跨度Sxy。计算得到的各手指跨度大小，如下表1和表2所示：
表1.实施例1中左手手指跨度记录表
其中，表中数值表示手指跨度，“\”表示同一手指无跨度。
表2.实施例1中右手手指跨度记录表
手指编号 6 7 8 9 10
6 \ 7.5 8.5 9.5 10.5
7 7.5 \ 4.5 6 8
8 8.5 4.5 \ 3 4.5
9 9.5 6 3 \ 3.5
10 10.5 8 4.5 3.5 \
其中，表中数值表示手指跨度，“\”表示同一手指无跨度。
手指跨度用钢琴音程差表示，方便后面计算弹奏准确率。可以看出，受试者各手指跨度有差距，测量手指跨度具有必要性。
S2、出题模块以文字形式显示指定手指名称以及连续击键次数，通过带有计时器的采集模块输出手指按下时间，通过测量各手指连续击键时间间隔计算各手指灵活度。
根据手指编号从小到大设置左右手各手指共10轮测试任务，在带有显示器的模块上文字形式显示手指名称以及连续击键次数，每轮测试任务测量对应手指的击键时间间隔。
通过带有按键扫描器的采集模块输出每轮测试手指按下的键号和按下时间，当结束本轮测试时，出题模块的web系统获得本轮测试数据，获得按键号数列G＝{Gv,1≤v≤s}以及对应的按下时间数列T′＝{T′v,1≤v≤s}，s为该轮测试按键次数,Gv为该轮灵活度测试中第v次按下键号，T′v为该轮灵活度测试中第v次按下时间，为了避免误差以及保证数据有效，通过摩尔投票法计算得到本轮采集的按键号数列中的众数Gmode，并计算键号为Gmode的出现次数n，如果出现次数少于设置的连续击键次数，数据无效重新执行该轮测试，否则过滤按下时间数列得到键号为Gmode的按键按下时间数列T＝{Ti,1≤i≤n}，Ti表示键号为Gmode的按键按下时间数列的第i个数据。
根据多次按下键号为Gmode键的时间来计算各手指灵活度，灵活度反映了手指跑动机能。
其中，手指灵活度Fj的计算公式为：
Fj＝min(Tk-T1,…,Tn-Tn-k+1),1<j<10 公式(1)
其中，k为连续击键次数，Tk、Tn-k+1、Tn为键号Kmode的按键按下时间数列的第k、n-k+1、n个数据。
图4为手指灵活度分布参考图，可以看到手指灵活度符合均值μ为45330，标准差σ为5038的正态分布，这里的值为单位时间，由扫描控制电路的定时器时钟决定，每单位时间换算成标准时间为31.25微秒，之后根据累进得分公式计算得到灵活度得分。
其中，累进得分公式为：
y＝cD2-Z
其中，y为得分，c为系数，D为时间变量，Z为常数。
其中，D定义为：
D＝5+(t-u)/σ
其中，t为连续击键时间，u为均值，σ为标准差。
S3、出题模块以动画形式显示指法题目，指法是指用某根手指按下某个按键，通过带有按键扫描器和计时器的采集模块输出手指按下时间以及对应的键号，通过照相设备拍摄手指按下时刻的照片，通过手指识别得到实际按键手指名称。根据测量出题按键之间的时间间隔与实际按键之间的时间间隔计算反应时间，根据出题指法以及实际指法的距离计算弹奏准确度。
根据出现的按键数量设定多个指法难度，将出现音符数量为3个设定为难度1，指法弹奏顺序满足手指编号从小到大与按键键号从小到大的条件，即指法的出题顺序在物理位置上呈现从左到右，要求手指跑动弹奏；将出现音符数量为5个设定为难度2，指法弹奏顺序满足按键键号从小到大的条件且手指出现顺序为左手编号1到5、右手编号6到10，即指法的出题顺序在物理位置上从左到右且该测试手的所有手指都测试到；将出现音符数量为8个设定为难度3，指法弹奏顺序满足手指编号从小到大再从大到小与按键键号从小到大再从大到小的条件，即指法的出现顺序在物理位置上从左到右再到左，要求手指折返跑动弹奏。
根据难度递增设置左右手各3轮指法题目，每轮题目都会根据难度与测试手自动生成，得到出题时刻、出题指法数列，并以动画形式显示，通过一条会移动的红色竖线移动到出题指法位置来显示出题时刻，通过web系统的CSS动画来控制竖线移动,指法题目的宽度大小来设置竖线像素移动速度大小。
通过采集模块输出每轮测试按键号和按下时间的数列，采集模块的数据传输串口与出题模块的数据传输接口按照一定的波特率进行通信，同时使用同步信号保证数据同步传输，出题模块接收到按键信号就驱动照相设备拍下实时手指图片，图片完整记录下整个键盘和手指信息。
将每轮测试的按下时间数列与音符标准弹奏时间数列的第一个数据对齐，其余数据依次对齐，若数列大小不一致，对按下时间数列进行截断或补齐，计算出各轮测试的反应时间Treact。
其中，反应时间Treact的计算公式为：
其中，m为该轮测试指法题目的音符数量，Ql表示该轮指法题目第l个音符标准开始弹奏时间，Pl表示实际第l次按下按键时间；
通过手指识别图像识别出按下手指名称，通过测量出题指法与实际弹奏指法的空间距离来客观量化计算弹奏准确率；
其中，弹奏准确率Aplay的计算公式为：
其中，Nl为该轮指法题目的第l个音符的键号，Kl为实际第l次按下的键号，Ml为该轮指法题目的第l个音符对应的手指编号，Rl为实际第l次按下的手指编号。
进一步地，如图5所示为弹奏手指识别流程图，手指识别包括键盘注册、手指关键点识别、手指匹配。其中，键盘注册是通过Canny边缘检测和Hough直线检测结合按键物理分布检测出各个按键在图像的位置坐标；手指关键点识别是利用MediaPipe框架的手势识别模型识别出手指尖的坐标；手指匹配是根据手指尖的坐标与按下按键坐标的距离得到距离按下按键最近的手指，记为实际按键手指。
S4、结合手指灵活度与反应时间计算反应速度得分，结合手指跨度与弹奏准确率计算反应准确率得分，通过信息融合方式定量测量认知能力。
结合按下手指的灵活度信息，重新计算出反应速度T′react，该修正后的反应速度考虑了手指机能受损的情况，准确反映手眼协调能力。
其中，反应速度T′react的计算公式为：
其中，αj为编号为j的手指的灵活度基准系数，值越大则表示手指越灵活；
结合各手指的跨度信息，重新计算出每轮测试的弹奏准确率；
其中，修正弹奏准确率A′play的计算公式为：
其中，表示编号为Ml的手指和编号为Rl的手指的跨度；
根据概率统计定理，通过测量大量人群数据建立反应时间和弹奏准确率评分映射关系表，得到反应速度得分和弹奏准确率得分。
图6为受试人群反应时间分布直方图及曲线拟合示意图，该图显示了受试人群的弹奏时间与实际标准时间之间的差异。由图可见，大部分受试者的反应时间都在-500ms与500ms之间，极少数受试者存在向左到-800ms以外、向右到800ms以外的反应时间，反应速度远落后于其他人。通过对反应时间分布进行分析，可以发现在22ms左右达到高峰，往左右两侧人数逐渐减少，呈现出一个近似中间高、两边低的钟形分布，与正态分布相似。
根据该分布情况，初步制定反应速度评分规则，将0ms视为速度标准100分，将800ms及左侧和-800ms及右侧的反应时间均视为速度标准0分。在标准100分和标准0分之间，我们采用线性评判，即在-800ms到800ms范围内，每隔8ms距离减1分，最终得出一个百分制的速度评判标准。
图7为受试人群弹奏准确率分布直方图，该图显示了弹奏指法与实际标准指法之间的距离之差。由图可见，绝大部分受试者弹奏准确率都在0到6之间，超过7成的受试者弹奏准确率为0，极少数受试者弹奏准确率在8到10之间。整体分布表明，弹奏准确率在0处达到了高峰，向左持续下降，近似呈现半个钟形，与半正态分布相似。
根据该分布情况，初步制定弹奏准确率评分规则，将弹奏准确率0视为准确率标准100分，将弹奏准确率大于等于10都视为准确率标准0分。在标准100分和标准0分之间，我们采用线性评判，即在0到10范围内，每隔1个距离单位减10分，最终得出一个百分制的准确率评判标准。
表3.跟踪测试中受试者总体速度得分与准确率得分情况表
表3为跟踪测试中受试者总体速度得分与准确率得分情况表，通过长期跟踪测量的方式寻找分数提升最优的权重系数，通过信息融合方式以该权重系数加权计算反应速度得分和弹奏准确率得分得到手眼认知得分，定量测量认知能力。
速度权重和准确率权重相等下跟踪测试中受试者手眼认知得分情况如下：
表4.跟踪测试中受试者总体手眼认知得分情况表
如上表所示，前三次测试的得分存在一个稳定上升的趋势，在第四次和第五次时上升趋势开始减缓，较好的展现了受试者随着练习次数的增加，认知能力逐渐提高的缓慢变化趋势。
实施例2
本实施例继续公开了一种结合手指灵活度和跨度的认知能力客观定量测量方法，如图1所示，具体步骤如下：
S1、参照实施例1中对应步骤，特别的是，在手指跨度测试中规定编号大的手指固定按在53号键上，编号小的手指向左自然和尽力伸展，得到按键编号之差即为对应手指跨度，测试右手任意两手指跨度时，规定编号小的手指固定按在37号键上，编号大的手指向右自然和尽力伸展，得到按键编号之差即为对应手指跨度，这样双手跨度的测度就一致同时简化了计算，对采集到的按键键号进行处理，得到手指跨度Sxy。
S2、参照实施例1中对应步骤，特别的是，设置连续击键次数为10次，通过测量各手指连续击键时间间隔计算各手指灵活度Fj。
图8为本实施例手指灵活度的统计直方图与曲线拟合示意图，经过K-S显著性正态检验，该分布可以认为服从均值μ为1469ms，标准差σ为180ms的正态分布。
设定μ-2.5σ即1019ms为100分的计分点，设定μ+2σ即1829ms为50分的计分点，将其代入累计计分公式得到编号j的手指灵活度得分yj计算公式：
yj＝1.06×[5-(Fj-1469)/180]2+40.46,1≤j≤10
特别的是，当Fj大于2041ms时手指灵活度得分直接评估为0分。
各手指灵活度及灵活度得分情况如下表5所示：
表5.实施例2中各手指灵活度及灵活度得分统计表
手指编号 均值 标准差 灵活度平均得分
1 1530 171 63
2 1642 164 58
3 1510 152 65
4 1487 178 66
5 1528 172 64
6 1406 175 71
7 1322 136 76
8 1365 133 73
9 1486 157 66
10 1420 164 70
如上表所示，实验对象都为右利手，右手各手指的灵活度得分明显高于左手各手指的得分，同时各手的食指最灵活，独立性最好，无名指受小指和中指制衡，最不灵活，小指的标准差最大，评分结果符合实际，能很好反映各手指灵活程度。
S3、参照实施例1中对应步骤，出题模块以动画形式显示指法题目，通过带有按键扫描器和计时器的采集模块输出手指按下时间以及对应的键号，通过照相设备拍摄手指按下时刻的照片，通过手指识别得到实际按键手指名称，根据测量出题按键之间的时间间隔与实际按键之间的时间间隔计算反应时间Treact，根据出题指法以及实际指法的距离计算弹奏准确度Aplay。
表6为认知测试中的一组左手指法题目示意表，每组题目包含4轮不同难度题目，其中轮次1和2都从难度1的题库中随机抽取题目，轮次2从难度2的题库中随机抽取题目，轮次3从难度3的题库中随机抽取题目。
表6.实施例2中一组左手指法题目示意表
如上表所示，为了确保每个手指都能得到每个难度充分的测试，难度1设置了两轮测试。为了让受试者更好地发挥自身的认知能力，同时避免惯性弹奏的影响，每一轮任务都设置了弹奏速度从慢到快的变化。初始每个音符弹奏间隔1秒，之后速度变换两次，分别为初始速度的1.5倍和2.0倍。这样做可以让受试者熟悉指法同时刺激大脑相应区域的激活，更好地反映出大脑的认知能力边界。
图9为难度3的左手指法题目动画示意图，题目共5个音符，速度为60拍/分钟，动画通过一根竖线的移动速度来控制题目速度，虚横线表示弹奏时间轴，竖线初始位于第一个音符左侧，让受试者有一定的弹奏准备时间，每个音符的左边缘所处的时间轴位置表示该音符标准开始弹奏时间，当竖线移动到音符的左边缘则表示开始弹奏音符。
S4、参照实施例1中对应步骤，结合手指灵活度与反应时间计算反应速度得分，结合手指跨度与弹奏准确率计算反应准确率得分，在难度测试中通过信息融合方式定量测量认知能力。
表7为难度测试中受试者总体速度得分与准确率得分情况表，不难看出难度1的两轮测试中的得分变化过程存在速度和准确率的权衡关系，而随着弹奏难度的增加，得分呈下降趋势，基本符合客观规律。
表7.实施例2难度测试中受试者总体速度得分与准确率得分情况表
/>
根据实施例1中最优权重系统计算出不同受试者在难度测试中的手眼认知得分如下表8所示：
表8.实施例2中5个不同受试者在难度测试中的认知得分情况表
如上表所示，除了轮次1由于受试者不熟悉指法和钢琴设备等因素以外，随着弹奏难度的递增，受试者的认知得分逐渐下降，基本符合总体变化趋势。部分受试者在第3轮次的认知得分上表现出优于第2轮次，以及第4轮次认知得分超过第3轮次的情况。这种波动可能受到心理素质、难度适应和专注程度等多种因素的影响，但是这种情况在实验中普遍存在，属于正常现象。本认知能力评估方法不仅能明显展示同一受试者在不同难度下进行手眼认知能力的变化，还能显示不同受试者在同种情境下进行指法视奏时的认知能力的差异。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.一种结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述认知能力客观定量测量方法包括以下步骤：
S1、带有显示器的出题模块以文字和图片形式显示指定两根手指及按键状态，将钢琴按键按照物理位置从左到右依次编号为1到88，记为键号，通过带有按键扫描器的采集模块输出手指按下键号，通过两者之差计算得到各手指跨度；
S2、带有显示器的出题模块以文字形式显示指定手指名称以及连续击键次数，通过带有计时器的采集模块输出手指按下时间，通过测量各手指连续击键时间间隔计算各手指灵活度；
S3、带有显示器的出题模块以动画形式显示指法题目，所述指法是指用某根手指按下某个钢琴按键，通过带有按键扫描器和计时器的采集模块输出手指按下时间以及对应的键号，通过照相设备拍摄手指按下时刻的照片，通过手指识别得到实际按键手指名称，根据测量出题按键之间的时间间隔与实际按键之间的时间间隔计算反应时间，根据出题指法以及实际指法的距离计算弹奏准确度；
S4、结合手指灵活度与反应时间计算反应速度得分，结合手指跨度与弹奏准确率计算反应准确率得分，通过信息融合方式定量测量认知能力。
2.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述步骤S1过程如下：
S101、按照各手指物理位置从左往右依次定义为1到10，记为手指编号，根据手指的位置分布，设置多轮手指跨度测量任务，在带有显示器的模块上显示测试提示信息与手指图像，每轮测试任务测量放松状态和尽力状态下手指的跨度；
S102、通过带有按键扫描器的采集模块输出每轮测试按下的按键号，计算得到最大键号Hmax和最小键号Hmin；
S103、将每轮测试任务采集的Hmax和Hmin相减得到手指x和手指y放松状态下的手指跨度S_relaxxy和尽力状态下的手指跨度S_maxxy；
S104、根据计算S_relaxxy和S_maxxy的均值得到手指x和手指y的跨度Sxy，其中x和y为手指编号。
3.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述步骤S2过程如下：
S201、设置10轮灵活度测试任务，测量各个手指单独的灵活度，在带有显示器的模块上文字形式显示手指名称以及连续击键次数，每轮测试任务测量对应手指的击键时间间隔；
S202、通过带有按键扫描器的采集模块输出每轮测试任务手指按下的按键号和按下时间，计算得到本轮采集键号的众数Gmode，得到键号为Gmode的按键按下时间数列T＝{Ti,1≤i≤n}，其中，Ti表示键号为Gmode的按键按下时间数列的第i个数据，n是键号为Gmode的按键按下时间数列长度；
S203、根据多次按下键号为Gmode的按键的按下时间来计算手指灵活度Fj；
其中，编号为j的手指灵活度Fj的计算公式为：
Fj＝min(Tk-T1,…,Tn-Tn-k+1),1<j<10 公式(1)
其中，k为连续击键次数，Tk、Tn-k+1、Tn为键号Kmode的按键按下时间数列的第k、n-k+1、n个数据。
4.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述步骤S3过程如下：
S301、根据出现的按键数量和按键相隔时间设定多个指法难度；
S302、根据难度递增设置多轮指法题目，每轮题目都会根据难度自动生成，得到出题时刻、出题按键号和出题手指数列，并以动画形式显示；
S303、通过采集模块输出每轮测试任务的按键号和按下时间的数列，并在按下时刻驱动照相设备拍下实时手指图片；
S304、将按下时间数列与音符标准弹奏时间数列对齐，计算出反应时间；
其中，反应时间Treact的计算公式为：
其中，m为该轮测试指法题目的音符数量，Ql表示该轮指法题目第l个音符标准开始弹奏时间，Pl表示实际第l次按下按键时间；
S305、通过手指识别图像识别出按下手指名称，根据出题指法与实际指法的距离计算弹奏准确率；
其中，弹奏准确率Aplay的计算公式为：
其中，Nl为该轮指法题目的第l个音符的键号，Kl为实际第l次按下的键号，Ml为该轮指法题目的第l个音符对应的手指编号，Rl为实际第l次按下的手指编号。
5.根据权利要求4所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述步骤S4过程如下：
S401、结合按下各手指的灵活度信息，重新计算出反应速度；
其中，修正反应速度T′react的计算公式为：
其中，αj为编号为j的手指的灵活度基准系数，值越大则表示手指越灵活；
S402、结合各手指的跨度信息，重新计算出每轮测试的弹奏准确率；
其中，修正弹奏准确率A′play的计算公式为：
其中，表示编号为Ml的手指和编号为Rl的手指的跨度；
S403、根据概率统计定理，通过测量大量人群数据建立反应时间和弹奏准确率评分映射关系表，得到反应速度得分和弹奏准确率得分，其中，反应时间和弹奏准确率评分映射关系表建立反应时间和弹奏准确率评分的一一映射关系；
S404、通过信息融合方式以一定的权重系数加权计算反应速度得分和弹奏准确率得分得到手眼认知得分，定量测量认知能力。
6.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述出题模块包括显示器、web系统、相机、数据传输接口、存储介质，其中，显示器用于显示出题题目与提示信息；web系统用于控制题目的设置以及从串口中读取解析数据，同时控制相机拍摄并把测试数据存放于存储介质中；相机用于拍摄手指按下按键的图像，能够完整拍摄到所有按键；数据传输接口用于连接外部采集模块，实时接收按键信息和按键时刻数据。
7.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述采集模块包括按键传感器、扫描控制电路、数据传输串口，其中，按键传感器包括高低两个触点，用于判断各个按键的状态；扫描控制电路利用矩阵扫描原理，获取触发触点信号的按键位置，并根据位置获取键号；数据传输串口用于连接出题模块，实时传输按键键号和按下时间的封装信息。
8.根据权利要求4所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述的步骤S305中手指识别过程包括键盘注册、手指关键点识别、手指匹配，其中，键盘注册是通过Canny边缘检测和Hough直线检测结合按键物理分布检测出各个按键在图像的位置坐标；手指关键点识别是识别出手指尖的坐标；手指匹配是根据手指尖的坐标与按下按键坐标的距离得到距离按下按键最近的手指，记为实际按键手指。
9.根据权利要求1所述的结合手指灵活度和跨度的认知能力客观定量测量方法，其特征在于，所述认知能力指弹人脑加工、储存和提取信息的能力，通过测量对指定指法的反应时间、弹奏准确度，结合手指灵活度与跨度计算出反应速度得分和手指能力得分，评估出手眼协调能力和空间定位能力。
CN202310583599.5A 2023-05-23 2023-05-23 结合手指灵活度和跨度的认知能力客观定量测量方法 Pending CN116602680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310583599.5A CN116602680A (zh) 2023-05-23 2023-05-23 结合手指灵活度和跨度的认知能力客观定量测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310583599.5A CN116602680A (zh) 2023-05-23 2023-05-23 结合手指灵活度和跨度的认知能力客观定量测量方法

Publications (1)

Publication Number Publication Date
CN116602680A true CN116602680A (zh) 2023-08-18

Family

ID=87679567

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310583599.5A Pending CN116602680A (zh) 2023-05-23 2023-05-23 结合手指灵活度和跨度的认知能力客观定量测量方法

Country Status (1)

Country Link
CN (1) CN116602680A (zh)

Similar Documents

Publication Publication Date Title
US20220044824A1 (en) Systems and methods to assess cognitive function
US11848083B2 (en) Measuring representational motions in a medical context
JP5608862B2 (ja) 視覚能力及び認知的能力の検査並びに高ストレス状況下でのトレーニング方法
WO2007066451A1 (ja) 情報処理システム、情報処理装置および方法
JP2010527642A (ja) 視覚的認知能力および協応動作の検査および訓練
CN101453943B (zh) 图像记录装置和图像记录方法
CN105433915A (zh) 一种中医脉诊仪及其脉象检测方法
WO2011158965A1 (ja) 感性評価システム、感性評価方法、およびプログラム
CN109620266B (zh) 个体焦虑水平的检测方法和系统
CN104146684A (zh) 一种眼罩式眩晕检测仪
KR20180088302A (ko) 로봇을 매개로 하는 주의력결핍과잉행동장애 선별 방법 및 시스템
CN114931353B (zh) 一种便捷的快速对比敏感度检测系统
JP6895144B2 (ja) 診断支援システム、診断支援システムの作動方法、及びプログラム
US11253172B2 (en) Locogram software: tool for analysing gait exercises
CN111012312B (zh) 一种便携式帕金森病运动迟缓监测干预装置及方法
CN116602680A (zh) 结合手指灵活度和跨度的认知能力客观定量测量方法
CN115497621A (zh) 一种老年人认知状况测评系统
JP3785554B2 (ja) 運動機能評価方法
US20210169415A1 (en) Machine classification of significant psychophysiological response
Lara-Garduno et al. 3D-Trail-Making Test: A Touch-Tablet Cognitive Test to Support Intelligent Behavioral Recognition.
US20230284948A1 (en) Test protocol for detecting significant psychophysiological response
JP2012217797A (ja) 記憶保持力評価方法および記憶保持力評価システム
US10342421B2 (en) Method for measuring visual acuity
CN204049622U (zh) 一种中医脉诊仪
JPH03264055A (ja) 知能診査装置並びに該装置の機能を備えた診断システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination