CN115295124A - 一种多模态的认知提升方法及系统 - Google Patents

一种多模态的认知提升方法及系统 Download PDF

Info

Publication number
CN115295124A
CN115295124A CN202211219111.2A CN202211219111A CN115295124A CN 115295124 A CN115295124 A CN 115295124A CN 202211219111 A CN202211219111 A CN 202211219111A CN 115295124 A CN115295124 A CN 115295124A
Authority
CN
China
Prior art keywords
user
cognitive
human
music
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211219111.2A
Other languages
English (en)
Other versions
CN115295124B (zh
Inventor
马珠江
张青格
张子恒
黎倩伶
孙悦文
李瑞璇
王晓怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smart Spirit Technology Co ltd
Original Assignee
Beijing Smart Spirit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smart Spirit Technology Co ltd filed Critical Beijing Smart Spirit Technology Co ltd
Priority to CN202211219111.2A priority Critical patent/CN115295124B/zh
Publication of CN115295124A publication Critical patent/CN115295124A/zh
Application granted granted Critical
Publication of CN115295124B publication Critical patent/CN115295124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

本发明公开了一种多模态的认知提升方法及系统。该方法包括如下步骤:获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果;根据用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,基于本质神经网络模型获取用户的人机交互方案;其中,人机交互方案至少包括音乐调控放松、认知交互以及运动交互;推送人机交互方案给用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对用户进行认知提升。本发明将音乐放松疗法、神经调控、运动疗法、认知障碍数字疗法相结合,实现认知功能的多模态干预,可以充分考虑用户的个人特征及偏好,提供符合其需求的认知提升方法,有效提高用户的积极性和依从性。

Description

一种多模态的认知提升方法及系统
技术领域
本发明涉及一种多模态的认知提升方法,同时也涉及相应的认知提升系统,属于认知调控技术领域。
背景技术
认知(cognition)是认识和知晓事物过程的总称,包括注意力、执行功能、视空间能力、记忆、语言、社会认知等方面。认知障碍(cognitive deficit)是指认识和知晓事物过程的效率降低或功能受损。导致认知障碍的病因较多,如脑卒中、脑外伤、肿瘤、炎症等。不同疾病所致认知障碍的特点不同,在具有特定认知障碍特征的人群中,采取个体化的认知干预非常重要。
有氧运动是指能增强体内氧气的吸入、运送及利用的耐久性运动。研究表明,以太极、瑜伽、慢跑等为主要形式的有氧运动能增强和改善心肺功能,预防骨质疏松,调节心理和精神状态,消耗体内脂肪,是健身的主要运动方式。神经调控是指利用植入性或非植入性技术,通过电或化学的作用方式,对大脑中枢、周围和自主神经系统的邻近或远隔部位的神经元或神经网络的信号传递起兴奋或抑制或调节的作用,从而达到改善用户生活质量或提高机体功能的目的。
在公开号为CN 114870191A的中国专利申请中,公开了一种基于人格差异的认知评估提升方法,包括如下步骤:对用户进行人格测评和认知测评;根据用户的人格测评结果,获取用户的风险预警等级;并根据用户的认知测评结果,获取用户的认知功能是否正常;根据风险预警等级以及认知功能是否正常,为用户推送人机交互方案;获取用户在人机交互方案下,完成的人格交互结果和/或认知交互结果;对人格交互结果和/或认知交互结果进行有效性评测,并重新对用户进行人格测评和认知测评,以再次推送下一次的人机交互方案,直至风险预警等级以及认知功能均达到预期水平。该方法能够充分考虑个体的差异对认知提升带来的影响,使得用户的认知提升更具个性化,从而提高认知提升效率。
但是,目前的认知提升技术多以简单的游戏化训练为主,而且大多采用视觉呈现方式,训练的方法和内容未充分考虑到用户的个人特征、身体功能及个人偏好等,导致用户训练依从性不高,训练效果不明显等问题。
发明内容
本发明所要解决的首要技术问题在于提供一种多模态的认知提升方法。
本发明所要解决的另一技术问题在于提供一种多模态的认知提升系统。
为了实现上述技术目的,本发明采用如下的技术方案:
根据本发明实施例的第一方面,提供一种多模态的认知提升方法,包括以下步骤:
获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果;
根据所述用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,基于本质神经网络模型获取所述用户的人机交互方案;其中,所述人机交互方案至少包括音乐调控放松、认知交互以及运动交互;
推送所述人机交互方案给所述用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对所述用户进行认知提升。
其中较优地,所述个人信息至少包括姓名、性别、年龄和病症;
所述音乐偏好至少包括音乐风格和音乐时长;
所述运动偏好至少包括运动形式、运动强度、运动时长以及运动频率;
所述认知评估结果包括多个认知域的评估结果,所述多个认知域至少包括感知觉、注意、认知灵活性、记忆、逻辑计算、语言、情绪识别与管理;
所述心肺功能评估结果至少包括用力肺活量、呼气峰值流速、最大自主通气量与心率。
其中较优地,所述音乐调控放松,包括如下步骤:
将40HZγ波频率融入到符合所述用户音乐偏好的音乐片段中,以实现基于听觉刺激的神经调控。
其中较优地,所述认知交互至少涵盖所述用户需要提升的三项认知域。
其中较优地,在所述用户进行所述运动交互的过程中,对所述用户进行心肺功能实时监测。
其中较优地,所述推送所述人机交互方案给所述用户进行人机交互包括:
推送所述音乐调控放松的内容给所述用户,并持续第一设定时长;
推送所述认知交互的内容给所述用户进行人机交互,并持续第二设定时长;
推送所述运动交互的内容给所述用户进行人机交互,并持续第三设定时长;
再次推送所述音乐调控放松的内容给所述用户,并持续第一设定时长;
其中,所述第一设定时长小于所述第二设定时长,所述第二设定时长小于所述第三设定时长。
其中较优地,所述认知提升方法还包括以下步骤:
获取所述用户在所述人机交互方案下的人机交互结果;
根据所述人机交互结果,重新获取所述用户的认知评估结果以及心肺功能评估结果,以更新所述人机交互方案。
其中较优地,所述认知提升方法还包括以下步骤:
在所述用户经过设定周期的人机交互后,再次对所述用户进行认知功能评估和心肺功能评估,以评估所述人机交互方案的有效性。
根据本发明实施例的第二方面,提供一种多模态的认知提升系统,包括:
测评单元,用于获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果;
数据处理单元,与所述测评单元连接,以用于接收所述用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,并基于本质神经网络模型获取所述用户的人机交互方案;其中,所述人机交互方案至少包括音乐调控放松、认知交互以及运动交互;
人机交互单元,与所述数据处理单元连接,以用于接收所述人机交互方案,并推送所述人机交互方案给所述用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对所述用户进行认知提升。
其中较优地,所述认知提升系统还包括:
心肺功能监测单元,与所述数据处理单元连接,以用于在所述用户进行所述运动交互的过程中,对所述用户进行心肺功能实时监测。
与现有技术相比较,本发明实施例所提供的认知提升方法及系统,通过将音乐放松疗法、神经调控、运动疗法、认知障碍数字疗法相结合,实现认知功能的多模态干预,并采用前沿的ENNs神经网络算法,为个性化人机交互方案提供技术支撑。充分考虑到用户的个人特征及偏好,提供符合其需求的认知提升方法,有利于提高用户的积极性和依从性。
附图说明
图1为本发明实施例提供的一种多模态的认知提升方法的流程图;
图2为本发明实施例所采用的本质神经网络模型的示意图;
图3为本发明实施例提供的另一种多模态的认知提升方法的流程图;
图4为本发明实施例提供的一种多模态的认知提升系统的结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
图1所示为本发明的一个实施例提供的一种多模态的认知提升方法,至少包括步骤S1~S3:
S1:获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果。
具体的,步骤S1包括子步骤S11~S15:
S11:获取用户的个人信息。
其中,用户个人信息包括:姓名、年龄、性别、病症等信息,利用用户的个人信息可对用户进行建档,以作为后续人机交互方案的推送目标。
S12:获取用户的音乐偏好。
其中,该音乐偏好包括音乐风格、音乐时长、喜欢的歌手等信息,通过采集上述信息,能够从已有音乐库中选择用户喜欢的音乐。该已有音乐库中存储有不同风格的音乐片段,以及40Hz声音片段。
S13:获取用户的运动偏好。
其中,该运动偏好包括运动形式、运动强度、运动时长以及运动频率等信息,通过采集上述信息,能够从已有运动库中确定用户偏好的运动课程。该已有运动库中存储有适合不同人群的有氧运动课程,其形式主要为视频片段、文字、音频等形式的有氧运动课程。
S14:获取用户的认知评估结果。
该认知评估结果包括多个认知域的评估结果,本发明实施例中的认知域至少包括感知觉、注意、认知灵活性、记忆、逻辑计算、语言、情绪识别与管理。通过对用户进行认知评估,从而可确定用户哪些认知域存在认知障碍,进而能够针对这些受损认知域进行认知提升。
其中,本发明实施例中的认知评估方式优选为量表测评加任务测评的评估方式,以提高认知评估的精准度。可以理解的是,在其他实施例中,也可以仅通过认知量表或认知评估任务进行认知评估。
S15:获取用户的心肺功能评估结果。
其中,该心肺功能评估结果至少包括用力肺活量、呼气峰值流速、最大自主通气量与心率等信息。由此,通过采集的上述信息,可作为意外伤害事件发生的预警机制,以及随着有氧运动课程的推进,用户心肺功能是否得到改善的基础。
S2:基于本质神经网络模型获取用户的人机交互方案。
具体的,步骤S2至少包括子步骤S21~S23:
S21:将上述五项特征输入本质神经网络模型。
其中,上述五项特征指的是通过步骤S1获取到用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果。当获取到上述五项特征后,将该五项特征作为本质神经网络模型的输入,从而利用本质神经网络模型进行相应的输出。
S22:获取本质神经网络模型的输出结果。
具体的,当将五项特征输入该本质神经网络模型后,本质神经网络模型的最终的输出结果为:用户偏好的音乐、用户偏好的有氧运动课程以及用户需要提升的认知域(至少包括三项)。
S23:获取用户的人机交互方案。
具体的,基于上述输出结果,从而能够形成针对于该用户的个性化人机交互方案。该人机交互方案至少包括音乐调控放松、认知交互以及运动交互,其中,音乐调控放松对应于用户偏好的音乐,认知交互对应于用户需要提升的认知域,运动交互对应于用户偏好的有氧运动课程。
如图2所示,本质神经网络模型(essence neural networks,简写为ENNs)采用不基于梯度下降的机器学习算法来训练深层神经网络,并在图像分类和逻辑推断的两类标准数据集上进行测试。对于图像分类任务,在较大的数据集上,ENNs能和使用梯度下降的传统方法的神经网络达到相同的准确性;对逻辑推理的任务,ENNs的准确性更高。ENNs的另一个优点在于其具有可解释性,并且是针对每个测试样例的具体性解释,不止对于正确的分类,也能解释为何判断错误。
ENNs中的神经元连接,自发地表现出与大脑相似的涌现特性,如稀疏连接及模块化连接、局部激活和短期神经可塑性。类似人脑学习中Hebbian学习增加了相似的神经元之间的连接,对动态环境的高效突触响应,也需要ENNs呈现层次结构和模块性。而层级连通性允许更高抽象度的区分能力,以帮助完善、忽略或强调更低层次的判别。最后可解释的神经元活动,是具有内省功能的元认知所必需的,而这也是ENNs所具备的。
例如:输入的特征为男性,65岁,无严重视听障碍,房颤合并认知障碍,喜欢在晚上睡觉前听舒缓放松的音乐,喜欢在早起外出打太极30分钟,记忆和执行功能下降显著。
输出的人机交互方案:符合65岁男性,建议在睡前1~3小时完成音乐调控放松(对应于用户喜欢在晚上睡觉前听舒缓放松的音乐),以及记忆+执行功能的认知交互(对应于用户的记忆和执行功能下降显著),建议在早上完成舒缓且非对抗类运动交互(对应于用于喜欢早起外出打太极30分钟),最后,建议用户完成运动交互后,再次完成音乐调控放松。
S3:推送人机交互方案给用户进行人机交互。
具体的,当基于本质神经网络模型获取到用户的个性化人机交互方案后,用户需要根据人机交互方案的推送内容,顺序完成整个人机交互过程,从而能够在有氧运动与音乐调控相结合的环境下,对用户进行认知提升。
在本发明的一个实施例中,推送人机交互方案给用户进行人机交互,具体包括子步骤S31~S34:
S31:推送音乐调控放松的内容给用户,并持续第一设定时长。
具体的,在本发明的一个实施例中,音乐调控放松通过将40HZγ波频率融入到符合用户音乐偏好的音乐片段中,以实现基于听觉刺激的神经调控。
本发明实施例中的第一设定时长为15分钟,即用户需要在符合用户偏好的音乐,与40Hz声刺激融合播放的情况下,进行15分钟的音乐调控放松,之后,进入认知交互内容。其中,符合用户偏好的音乐需要从已有音乐库中抽取,该已有音乐库中存储有不同风格的音乐片段,以及40Hz声音片段。
S32:推送认知交互的内容给用户进行人机交互,并持续第二设定时长。
在本发明的一个实施例中,认知交互至少涵盖用户需要提升的三项认知域,包括多个符合用户受损认知功能的认知交互任务,用于对用户的受损认知功能进行认知提升。用户完成音乐调控放松后,需要进行认知交互,认知交互任务的匹配依据步骤S14的认知评估以及用户的个人特征进行匹配。
例如:用户为“男性,65岁,房颤合并认知障碍,喜欢在晚上睡觉前听舒缓放松的音乐,喜欢在早起外出打太极30分钟,记忆和执行功能下降显著”,则会推送适合用户年龄、性别的记忆和认知交互任务(不会抽取用于儿童、女性等特征人群的交互任务),每次人机交互需完成符合受损认知功能的5项认知交互任务,共持续20min(即第二设定时长)。
其中,符合用户受损认知功能的5项认知交互任务需要从认知交互任务库中抽取,该认知交互任务库中存储有足够多的、涵盖多个认知域的游戏化认知交互任务,不同的认知交互任务用于提升不同的认知功能。当基于步骤S14确定了用户需要提升的认知域(即确定用户受损的认知功能)后,可根据用户受损的认知功能进行对应认知交互任务的选择抽取,以帮助用户进行相应的认知提升。
S33:推送运动交互的内容给用户进行人机交互,并持续第三设定时长。
具体的,该运动交互是指通过符合用户偏好的有氧运动课程对用户进行认知调节。在本发明的一个实施例中,运动时长为40分钟(即第三设定时长),此过程可根据运动偏好的不同,进行灵活操作。如用户的运动偏好为喜欢太极,则可在室内或室外进行规定时长的运动交互。
此外,在用户进行运动交互的过程中,需要对用户进行心肺功能实时监测。本发明实施例中,需配有心肺功能传感器贴于身体心脏部位,用于监测运动过程中的心肺功能实时指标,传感器将数据反馈至数据处理单元进行存储分析,作为意外伤害事件发生的预警机制,以及随着运动进程的推进,用户心肺功能是否得到改善。
其中,该有氧运动课程需要从已有运动库中获取,该已有运动库中中存储有适合不同人群的有氧运动课程,其形式主要为视频片段、文字、音频等形式的有氧运动课程。
S34:再次推送音乐调控放松的内容给用户,并持续第一设定时长;
具体的,在用户完成运动交互后,需要再次进行音乐调控放松。其中,该步骤与步骤S31相同,因此不再赘述。
可以理解的是,步骤31的目的在于:在用户进行认知交互之前,先对用户进行音乐调控放松,使用户能够以一个轻松的状态进行后续的认知交互和运动交互,以提高整体的交互效果。步骤S34的目的在于,在用户进行认知交互和运动交互后,对用户进行音乐调控放松,使用户从紧张的认知交互任务和有氧运动课程中脱离,逐渐进入一个轻松的状态,以对之前的认知交互和运动交互进行回忆和巩固,从而提高整体的认知提升的效果。
此外,不失一般性的,建议用户按照步骤S31~S34的顺序依次完成交互,然而,为满足用户的实际需求,运动交互的实施时间可根据用户自身的实际情况进行调整(即S31~S34的顺序可根据用户需要进行调整),但用户需要在完成运动交互之后,继续完成音乐调控放松,以结束整个人机交互方案。
在上述实施例中,第一设定时长小于第二设定时长,第二设定时长小于第三设定时长。然而,在其他实施例中,第一设定时长、第二设定时长、第三设定时长的具体时间可根据需要进行调整。
在本发明的一个实施例中,如图3所示,步骤S3之后还可以包括以下步骤:
S4:更新用户的人机交互方案。
具体地,包括子步骤S41~S42:
S41:获取用户在人机交互方案下的人机交互结果。
其中,该人机交互结果包括认知交互结果和运动交互结果。具体的,该认知交互结果包括:用户进行认知交互时的交互过程、进行认知交互任务的选择,以及做出该选择所需的时间;该运动交互结果包括:用户进行有氧运动课程的过程、运动过程中的心肺监测数据等。
S42:根据人机交互结果,更新人机交互方案。
具体的,当通过步骤S41获取到用户在人机交互方案下的人机交互结果后,基于该人机交互结果,重新获取用户的认知评估结果以及心肺功能评估结果,从而返回步骤S2,以更新针对于该用户的人机交互方案。
由此,能够基于用户的人机交互情况进行反馈,从而对人机交互方案进行适应性调整,以提高对用户的认知提升效果。
S5:对人机交互方案进行有效性评估。
具体的,在用户经过设定周期(例如:一个月)的人机交互后,再次对用户进行认知功能评估和心肺功能评估,通过将最新的认知功能评估结果和心肺功能评估结果与之前的评估结果相比对,从而能够评估人机交互方案是否起到了认知提升的效果,并能够通过数据变化得知用户的认知提升幅度。
由此,在本发明的一个实施例中,通过将音乐放松疗法、神经调控、运动疗法、认知障碍数字疗法相结合,实现认知功能的多模态干预,并采用ENNs神经网络算法,为个性化人机交互方案提供技术支撑。充分考虑到用户的个人特征及偏好,提供符合其需求的认知提升方法,有利于提高用户的积极性和依从性。
在上述多模态的认知提升方法的基础上,本发明实施例还提供一种多模态的认知提升系统。如图4所示,该认知提升系统包括:测评单元10、数据处理单元20、人机交互单元30以及心肺功能监测单元40。
具体的,测评单元10用于获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果。其中,该测评单元10主要包括信息采集模块和评估模块,数据采集模块用于采集用户的个人信息、音乐偏好、运动偏好等信息,评估模块用于对用户进行认知评估和心肺功能评估。
数据处理单元20与测评单元10连接,以用于接收用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,并基于本质神经网络模型获取用户的人机交互方案。其中,数据处理单元20主要通过采用本质神经网络模型(essence neuralnetworks,ENNs)对用户进行分类判定,从而输出针对于用户的个性化人机交互方案。
人机交互单元30与数据处理单元20连接,以用于接收人机交互方案,并推送人机交互方案给用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对用户进行认知提升。具体的,该人机交互单元30包括:音乐调控子单元301、认知交互子单元302以及运动交互子单元303。其中,音乐调控子单元301用于将符合用户偏好的音乐,与40Hz声刺激融合播放,作为人机交互单元30的第一个执行子单元,进行15分钟的音乐调控放松。该音乐调控子单元301中存储有不同风格的音乐片段,以及40Hz声音片段,相当于上述步骤S31中的已有音乐库。
认知交互子单元302用于认知调节的符合个体受损认知功能的认知训练任务,用户完成音乐调控子单元301的任务后,进行认知训练。该子单元中存储有足够多的,涵盖多个认知域的游戏化训练任务,以供系统依据评估结果进行选择抽取,相当于上述步骤S32中的认知交互任务库。
运动交互子单元303用于认知调节的符合个体偏好的运动课程,跟随课程运动同时,需配有心肺功能传感器贴于身体心脏部位,用于监测运动过程中的心肺功能实时指标,传感器将数据反馈至数据处理单元进行存储分析,作为意外伤害事件发生的预警机制,以及随着训练进程的推进,用户心肺功能改善与否的数据采集装置。该子单元中存储有适合不同人群的有氧运动课程,其形式主要为视频片段,以及文字、音频等形式的有氧运动课程,相当于上述步骤S33中的已有运动库。
心肺功能监测单元40与数据处理单元20连接,以用于在用户进行运动交互的过程中,对用户进行心肺功能实时监测。
综上所述,本发明实施例提供的多模态的认知提升方法及系统,采用有氧运动和神经调控联合干预的模式,对认知功能障碍的用户进行多模态的认知提升,通过多模态数据融合算法,输出用户的认知功能及心肺功能水平,并针对不同认知功能及心肺功能水平的用户形成针对性的人机交互方案,人机交互内容包括有氧运动、基于声光刺激的神经调控音乐放松治疗以及计算机化认知交互,从而辅助用户达到认知和心肺功能提升的目的。
上面对本发明所提供的多模态的认知提升方法及系统进行了详细的说明。对本领域的一般技术人员而言,在不背离本发明实质内容的前提下对它所做的任何显而易见的改动,都将构成对本发明专利权的侵犯,将承担相应的法律责任。

Claims (10)

1.一种多模态的认知提升方法,其特征在于包括以下步骤:
获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果;
根据所述用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,基于本质神经网络模型获取所述用户的人机交互方案;其中,所述人机交互方案至少包括音乐调控放松、认知交互以及运动交互;
推送所述人机交互方案给所述用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对所述用户进行认知提升。
2.如权利要求1所述的认知提升方法,其特征在于:
所述个人信息至少包括姓名、性别、年龄和病症;
所述音乐偏好至少包括音乐风格和音乐时长;
所述运动偏好至少包括运动形式、运动强度、运动时长以及运动频率;
所述认知评估结果包括多个认知域的评估结果,所述多个认知域至少包括感知觉、注意、认知灵活性、记忆、逻辑计算、语言、情绪识别与管理;
所述心肺功能评估结果至少包括用力肺活量、呼气峰值流速、最大自主通气量与心率。
3.如权利要求2所述的认知提升方法,其特征在于,所述音乐调控放松包括:
将40HZγ波频率融入到符合所述用户音乐偏好的音乐片段中,以实现基于听觉刺激的神经调控。
4.如权利要求2所述的认知提升方法,其特征在于,所述认知交互至少涵盖所述用户需要提升的三项认知域。
5.如权利要求2所述的认知提升方法,其特征在于,在所述用户进行所述运动交互的过程中,对所述用户进行心肺功能实时监测。
6.如权利要求1所述的认知提升方法,其特征在于,所述推送所述人机交互方案给所述用户进行人机交互,包括如下子步骤:
推送所述音乐调控放松的内容给所述用户,并持续第一设定时长;
推送所述认知交互的内容给所述用户进行人机交互,并持续第二设定时长;
推送所述运动交互的内容给所述用户进行人机交互,并持续第三设定时长;
再次推送所述音乐调控放松的内容给所述用户,并持续第一设定时长;
其中,所述第一设定时长小于所述第二设定时长,所述第二设定时长小于所述第三设定时长。
7.如权利要求1所述的认知提升方法,其特征在于还包括以下步骤:
获取所述用户在所述人机交互方案下的人机交互结果;
根据所述人机交互结果,重新获取所述用户的认知评估结果以及心肺功能评估结果,以更新所述人机交互方案。
8.如权利要求1所述的认知提升方法,其特征在于还包括以下步骤:
在所述用户经过设定周期的人机交互后,再次对所述用户进行认知功能评估和心肺功能评估,以评估所述人机交互方案的有效性。
9.一种多模态的认知提升系统,其特征在于包括:
测评单元,用于获取用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果;
数据处理单元,与所述测评单元连接,以用于接收所述用户的个人信息、音乐偏好、运动偏好、认知评估结果以及心肺功能评估结果,并基于本质神经网络模型获取所述用户的人机交互方案;其中,所述人机交互方案至少包括音乐调控放松、认知交互以及运动交互;
人机交互单元,与所述数据处理单元连接,以用于接收所述人机交互方案,并推送所述人机交互方案给所述用户进行人机交互,以在有氧运动与音乐调控相结合的环境下,对所述用户进行认知提升。
10.如权利要求9所述的认知提升系统,其特征在于还包括:
心肺功能监测单元,与所述数据处理单元连接,以用于在所述用户进行所述运动交互的过程中,对所述用户进行心肺功能实时监测。
CN202211219111.2A 2022-09-30 2022-09-30 一种多模态的认知提升方法及系统 Active CN115295124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211219111.2A CN115295124B (zh) 2022-09-30 2022-09-30 一种多模态的认知提升方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211219111.2A CN115295124B (zh) 2022-09-30 2022-09-30 一种多模态的认知提升方法及系统

Publications (2)

Publication Number Publication Date
CN115295124A true CN115295124A (zh) 2022-11-04
CN115295124B CN115295124B (zh) 2023-01-20

Family

ID=83834477

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211219111.2A Active CN115295124B (zh) 2022-09-30 2022-09-30 一种多模态的认知提升方法及系统

Country Status (1)

Country Link
CN (1) CN115295124B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107799180A (zh) * 2017-09-15 2018-03-13 南京抹香鲸信息科技有限公司 基于认知行为疗法的心理资本提升训练方法及系统
CN108899081A (zh) * 2018-06-14 2018-11-27 北京科技大学 一种面向自闭症辅助康复的人机交互系统
JP2020018424A (ja) * 2018-07-31 2020-02-06 株式会社Splink 認知症リスク提示システム、及び、認知症リスク提示方法
CN111415723A (zh) * 2020-04-14 2020-07-14 南京青宝教育科技有限公司 一种注意能力提升的个性化内容推荐系统
CN111524602A (zh) * 2020-04-28 2020-08-11 西安玖诚玖谊实业有限公司 一种老年人记忆及认知功能评估筛查预警系统
CN112870521A (zh) * 2021-01-11 2021-06-01 西安中盛凯新技术发展有限责任公司 一种沉浸式运动心理康复训练系统
CN113643796A (zh) * 2021-10-12 2021-11-12 北京智精灵科技有限公司 一种用于认知矫正训练的人机交互方法及系统
CN114201053A (zh) * 2022-02-17 2022-03-18 北京智精灵科技有限公司 一种基于神经调控的认知提升训练方法及系统
CN114246589A (zh) * 2021-12-23 2022-03-29 北京津发科技股份有限公司 记忆认知能力测评方法及系统
CN114520042A (zh) * 2022-03-03 2022-05-20 深圳市常春藤心理咨询有限公司 一种智能心理干预方法、系统、终端及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107799180A (zh) * 2017-09-15 2018-03-13 南京抹香鲸信息科技有限公司 基于认知行为疗法的心理资本提升训练方法及系统
CN108899081A (zh) * 2018-06-14 2018-11-27 北京科技大学 一种面向自闭症辅助康复的人机交互系统
JP2020018424A (ja) * 2018-07-31 2020-02-06 株式会社Splink 認知症リスク提示システム、及び、認知症リスク提示方法
CN111415723A (zh) * 2020-04-14 2020-07-14 南京青宝教育科技有限公司 一种注意能力提升的个性化内容推荐系统
CN111524602A (zh) * 2020-04-28 2020-08-11 西安玖诚玖谊实业有限公司 一种老年人记忆及认知功能评估筛查预警系统
CN112870521A (zh) * 2021-01-11 2021-06-01 西安中盛凯新技术发展有限责任公司 一种沉浸式运动心理康复训练系统
CN113643796A (zh) * 2021-10-12 2021-11-12 北京智精灵科技有限公司 一种用于认知矫正训练的人机交互方法及系统
CN114246589A (zh) * 2021-12-23 2022-03-29 北京津发科技股份有限公司 记忆认知能力测评方法及系统
CN114201053A (zh) * 2022-02-17 2022-03-18 北京智精灵科技有限公司 一种基于神经调控的认知提升训练方法及系统
CN114520042A (zh) * 2022-03-03 2022-05-20 深圳市常春藤心理咨询有限公司 一种智能心理干预方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN115295124B (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
Gruzelier et al. Critical validation studies of neurofeedback
US20200368491A1 (en) Device, method, and app for facilitating sleep
Särkämö et al. Music, brain, and rehabilitation: emerging therapeutic applications and potential neural mechanisms
Karageorghis et al. Music in the exercise domain: a review and synthesis (Part I)
CA3112564A1 (en) System and method of improving sleep
EP3684463A1 (en) Method and apparatus for neuroenhancement
CN114201053B (zh) 一种基于神经调控的认知提升训练方法及系统
Pfeiffer et al. Music therapy and cognitive rehabilitation: Screening of music cognition in adult patients with right hemisphere stroke.
Karageorghis et al. A grounded theory of music use in the psychological preparation of academy soccer players.
Gong et al. A review of neurofeedback training for improving sport performance from the perspective of user experience
CN108348187A (zh) 用于确定精神状态的方法和系统
CN107591196A (zh) 一种听觉认知功能障碍评测和康复训练装置
Hutchinson et al. A music-based digital therapeutic: proof-of-concept automation of a progressive and individualized rhythm-based walking training program after stroke
Wilson The benefits of music for the brain
CN114343573A (zh) 一种面向药物成瘾患者的闭环数字药物系统、设备及介质
Hunt A neurophenomenological description of the Guided Imagery and Music experience
Antonietti et al. Empowering skills for an active ageing and healthy living
CN115295124B (zh) 一种多模态的认知提升方法及系统
Li et al. Mindfulness training can improve 3-and 4-year-old children’s attention and executive function
CN115253009B (zh) 一种睡眠多维度干预方法及系统
CN115274062A (zh) 基于多感音乐的注意功能干预方法及系统
Banerjee Encyclopaedic dictionary of psychological terms
Donadon et al. Neuroplasticity and the auditory system
Qiao et al. Analysis of subjective perception and influencing factors of different inclusive education models among prelingually deaf children with a cochlear implant
Krieger AP® Psychology Crash Course, For the New 2020 Exam, Book+ Online: Get a Higher Score in Less Time

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant