CN113741702B - 基于情绪监测的认知障碍人机交互方法及系统 - Google Patents

基于情绪监测的认知障碍人机交互方法及系统 Download PDF

Info

Publication number
CN113741702B
CN113741702B CN202111296685.5A CN202111296685A CN113741702B CN 113741702 B CN113741702 B CN 113741702B CN 202111296685 A CN202111296685 A CN 202111296685A CN 113741702 B CN113741702 B CN 113741702B
Authority
CN
China
Prior art keywords
emotion
user
human
computer interaction
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111296685.5A
Other languages
English (en)
Other versions
CN113741702A (zh
Inventor
李诗怡
徐艳
马珠江
王晓怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Smart Spirit Technology Co ltd
Original Assignee
Beijing Smart Spirit Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Smart Spirit Technology Co ltd filed Critical Beijing Smart Spirit Technology Co ltd
Priority to CN202111296685.5A priority Critical patent/CN113741702B/zh
Publication of CN113741702A publication Critical patent/CN113741702A/zh
Application granted granted Critical
Publication of CN113741702B publication Critical patent/CN113741702B/zh
Priority to PCT/CN2022/120987 priority patent/WO2023077992A1/zh
Priority to EP22826793.6A priority patent/EP4202612A1/en
Priority to US18/148,825 priority patent/US20230148925A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Neurology (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Neurosurgery (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于情绪监测的认知障碍人机交互方法及系统。该人机交互方法包括获得用户的认知能力水平；根据认知能力水平，生成人机交互方案；根据人机交互方案生成第N个人机交互任务；对用户在第N个人机交互任务中的表现进行情绪监测，并返回上一步骤根据人机交互方案生成第N个人机交互任务，直到完成该人机交互方案中的全部任务。该人机交互方法主要包括认知评估和人机交互任务，同时对人机交互过程中的用户多种基本情绪信息进行实时监测，并获得用户的情绪综合指数，通过该情绪综合指数对用户的后续人机交互任务和状态进行调节，从而达到提升认知人机交互效果的目的。

Description

基于情绪监测的认知障碍人机交互方法及系统
技术领域
本发明涉及一种基于情绪监测的认知障碍人机交互方法及系统，属于人机交互技术领域。
背景技术
认知是指人类的大脑接触外界的信息或者事物后，通过内心活动的加工和处理，转化为认知、学习到的知识，即学习新事物、获取知识并对学到的知识进行应用的一种能力。认知功能包括记忆力、理解力、计算力、语言能力、视空间能力、判断理解能力等多方面，如果认知功能出现一方面或者几方面的受损，都可以被认为是认知功能障碍。认知功能障碍不仅影响生活能力，还会影响社交能力。
据统计，65岁以上的老年人中有10％～20％的人有轻度认知障碍，研究发现，患有轻度认知障碍的患者，1年后其中大约有10％恶化成认知障碍症。认知障碍症也被称为老年痴呆、脑退化、失智症，认知障碍症的症状有记忆力衰退、思考能力减低、与家人沟通有影响、时常情绪不稳定等，严重者会丧失自我照顾的能力。
认知功能障碍如果不加以预防，会经历从轻度认知障碍到认知障碍症的过程，而认知训练是改善脑功能认知障碍的有效方式，是经常使用的认知康复治疗手段之一。认知功能训练除了传统的人工认知训练，利用计算机技术与认知康复训练治疗相结合，有效地提高了认知训练的效率，能够将训练的数据结果统一管理，便于查看与分析。
然而，现有的认知障碍评估方案，用户在评估和训练过程中，无法评估或干预因用户实时的情绪状态波动对训练效果产生的影响。
发明内容
本发明所要解决的首要技术问题在于提供一种基于情绪监测的认知障碍人机交互方法，以提升认知人机交互的效果。
本发明所要解决的另一技术问题在于提供一种基于情绪监测的认知障碍人机交互系统。
为实现上述技术目的，本发明采用以下技术方案：
根据本发明实施例的第一方面，提供一种基于情绪监测的认知障碍人机交互方法，包括以下步骤：
获得用户的认知能力水平；
根据所述认知能力水平，生成人机交互方案；
根据所述人机交互方案生成第N个人机交互任务，其中N为正整数；
对用户在第N个人机交互任务中的表现进行情绪监测，并返回上一步骤根据所述人机交互方案生成第N个人机交互任务，直到完成该人机交互方案中的全部任务。
其中较优地，在人机交互过程中，相邻两个人机交互任务之间进行放松式人机交互，所述放松式人机交互的任务种类依据前一个人机交互任务中用户的情绪综合指数选取；
当情绪综合指数为积极时，则人机交互任务选择高强度挑战类；当情绪综合指数为消极时，则人机交互任务选择高放松解压类；当情绪综合指数为中性时，则人机交互任务随机抽取。
其中较优地，当用户完成放松式人机交互后，根据前一个人机交互任务的人机交互结果以及放松式人机交互后的情绪综合指数，推送下一个人机交互任务。
其中较优地，所述人机交互结果分为良好、一般和较差，所述情绪综合指数分为积极、正常和消极；
当所述人机交互结果为良好时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照升级、升级和减少推送并升级进行任务推送；
当所述人机交互结果为一般时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照增加推送、维持和减少推送进行任务推送；
当所述人机交互结果为较差时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照增加推送并降级、降级和降级进行任务推送。
其中较优地，获取用户的情绪综合指数，具体包括：
获取每个采集时间段的用户的表情信息；
获取所述表情信息中的表情特征，并与亚洲人面孔库进行对比，以获得所述表情信息中积极情绪、消极情绪以及中性情绪的占比，其中，占比最大的情绪即为用户的当前情绪；
判断整个人机交互过程中，用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比；
基于用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比，获取用户的当前情绪状态；
基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪变化状态；
基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪波动状态；
根据所述当前情绪状态、所述情绪变化状态和所述情绪波动状态中的至少两项得到用户的情绪综合指数。
其中较优地，基于用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比，获取用户的当前情绪状态具体包括：
当用户的积极情绪占比大于等于第一阈值时，则用户的当前情绪状态为积极状态；
当用户的消极情绪占比大于等于第二阈值时，则用户的当前情绪状态为消极状态；
当用户的积极情绪占比小于第二阈值、消极情绪占比小于第二阈值，且用户的中性情绪占比大于等于第三阈值时，则用户的当前情绪状态为中性状态。
其中较优地，所述基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪变化状态具体包括：
以时间变化作为X值，以用户各个采集时间段的情绪占比作为Y值，利用X值和Y值做回归分析得出斜率；
获取全时程的积极情绪和消极情绪随时间的变化斜率；
比较得出斜率变化最大的情绪；
如果斜率变化最大的情绪是下降的消极情绪或提升的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为积极变化；
如果斜率变化最大的情绪是提升的消极情绪或下降的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为消极变化；
如果最大斜率变化与0区分不显著，则用户的情绪变化状态为无变化。
其中较优地，所述基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪波动状态具体包括：
将每个采集时间段占比最高的情绪定义为当下的情绪主成分；
将相邻两个采集时间段的情绪主成分进行比较，分析情绪主成分是否变化；
若情绪主成分变化则记录为1，否则为0；
根据情绪主成分是否变化的记录结果，计算出各任务阶段的情绪主成分变化比率；
若情绪主成分变化比率小于第四阈值，则为正常波动；若情绪主成分变化比率大于等于第四阈值且小于等于第五阈值，则为轻微波动；若情绪主成分变化比率大于第五阈值，则为剧烈波动。
其中较优地，获取用户信息及用户知情同意，所述用户知情同意至少包括评估内容、人机交互内容介绍、用户信息采集范围以及用户信息使用范围；
如用户同意则开始认知评估，同时启动人脸采集装置，开始采集用户表情数据；如用户不同意，则退出评估。
根据本发明实施例的第二方面，提供一种基于情绪监测的认知障碍人机交互系统，包括：
交互单元，用于接收用户的输入信息或向所述用户输出信息；
存储单元，存储计算机程序；
处理单元，用于读取所述计算机程序以执行所述的认知障碍人机交互方法。
本发明具有以下的技术效果：
本发明提供的基于情绪监测的认知障碍人机交互方法及系统，主要包括认知评估和人机交互任务，同时对执行任务过程中的用户多种基本情绪信息进行实时监测，并获得用户的情绪综合指数，通过该情绪综合指数对用户的后续人机交互任务和状态进行调节，从而达到提升认知人机交互效果的目的。
附图说明
图1为本发明实施例提供的一种基于情绪监测的认知障碍人机交互系统的结构示意图；
图2为本发明实施例提供的基于情绪监测的认知障碍人机交互方法的流程图；
图3为对用户进行认知评估的流程图；
图4为获取用户的情绪综合指数的流程图；
图5为获取当前情绪状态的定性流程图；
图6为获取情绪变化状态的定性流程图；
图7为获取情绪波动状态的定性流程图；
图8为获取情绪综合指数的定性流程图；
图9为本发明实施例提供的另一种基于情绪监测的认知障碍人机交互方法的流程图；
图10为本发明实施例提供的又一种基于情绪监测的认知障碍人机交互方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。
本发明通过内置或外接人脸采集装置获取用户的人脸定位后，使用开源情绪识别包real-time-emotion-detection-master，以周期T（例如0.5秒）为单位（数值可变），实时抓取表情数据，分析面孔特征，并根据与亚洲人面孔库对比，得出六种基本情绪，分别为：高兴、中性、悲伤、生气、厌恶、惊讶。其中，每种情绪的意义如下：
高兴：对人机交互感兴趣、人机交互难度较低，积极的情绪状态。
中性：人机交互专注投入，人机交互难度适中，平静稳定的情绪状态。
悲伤：沉浸在个人情绪中难以进入人机交互状况，或人机交互难度较高对自己否定，低落的情绪状态。
生气：对人机交互感觉不满，人机交互难度较高，讨厌焦虑的情绪状态。
厌恶：不喜欢人机交互内容，人机交互带来体验差，想回避终止的情绪状态。
惊讶：投入人机交互，但人机交互内容或反馈与预期不符，或不理解人机交互内容，在人机交互场景中略偏消极感受。
本发明将六种不同的情绪进行分类，其中，高兴属于积极情绪，中性属于中性情绪，悲伤、生气、厌恶和惊讶属于消极情绪。
请参照图1所示，为本发明实施例提供的一种基于情绪监测的认知障碍人机交互系统，该系统包括：测评模块1、测评分析模块2、人机交互模块3、人机交互分析模块4、情绪识别模块5、情绪分析模块6、报告显示模块7以及中央处理器8。
其中，测评模块1与中央处理器8连接，用于通过人机交互的方式调取对应的测评题目，以对用户进行认知测评；测评分析模块2与中央处理器8连接，用于根据用户的答题结果对用户进行认知分析，以判断用户的认知受损情况；人机交互模块3与中央处理器8连接，用于根据用户的认知受损情况对用户进行认知任务的人机交互；人机交互分析模块4与中央处理器8连接，用于根据用户的人机交互结果，对用户的人机交互情况进行分析，以判断用户的认知情况是否得到改善；情绪识别模块5与中央处理器8连接，用于在测评过程和人机交互过程中，实时抓取用户的面部表情；情绪分析模块6与中央处理器8连接（或者与情绪识别模块5连接），用于将抓取的用户表情与面孔库进行对比，以确定用户的情绪类别（即：属于积极情况、中性情绪和消极情绪中的哪一种）；报告显示模块7与中央处理器8连接，用于输出信息，例如显示用户认知评估的结果、用户人机交互结果以及用户的情绪状况等信息；该中央处理器8用于执行认知障碍人机交互方法。
下面对基于情绪监测的认知障碍人机交互方法进行详细说明：
<第一实施例>
请参照图2所示，该基于情绪监测的认知障碍人机交互方法，具体包括以下步骤：
S10、获得用户的认知能力水平
获取用户信息，以根据获取的测评题目对用户进行认知评估，得到用户的测评结果。
参照3所示，具体包括步骤S101～S103：
S101、获取用户信息以及用户知情同意，实现登录。
具体的，用户需预先进行账号注册，通过输入个人信息获得登录账号，从而可登录认知障碍人机交互系统。其中，用户知情同意具体包括：评估、人机交互内容介绍，用户信息采集范围、用户信息使用范围等信息；如用户同意则开始认知评估，同时启动情绪采集装置，开始采集用户表情数据；如不同意，则退出评估。
可以理解，本步骤可以省略。
S102、获取用户在测评题目中的数据信息。
具体的，当用户确认开始认知评估后，则系统会从数据库中调取相应的测评题目（例如：不同等级的量表），根据用户的答题情况获取用户在测评题目中的数据信息，以用于后续分析。
S103、根据用户在测评题目中的数据信息，分析用户的认知受损情况，最终得到用户的测评结果，以用于后续为用户推送相应等级的人机交互方案。
S20、采集用户面部信息，以提取情绪信息，获取用户的情绪综合指数。
参照图4所示，具体包括步骤S201～S207：
S201、获取每个采集时间段的用户的表情信息。
在本实施例中，在对用户进行认知评估的过程中，就同步采集用户的表情信息。具体的，可通过内置或外接人脸采集装置获取用户的人脸定位后，使用开源情绪识别包real-time-emotion-detection-master，以0.5秒为一个采集时间段（数值可变），实时抓取表情信息。
S202、获取表情信息中的表情特征，并与面孔库进行对比，以获得所述表情信息中积极情绪、消极情绪以及中性情绪的相似度占比。
具体的，该软件通过视频流的形式，根据人脸采集装置实时截获抓取当下每一帧的表情信息，使用基于Haar特征的cascade分类器(classifiers)，分析表情情绪特征，与面孔库（例如亚洲人面孔库）构建的六种标准情绪模型分别对比，获得每种情绪的标准相似度占比。相似度占比最大的情绪即为用户的当前情绪。即，在规定单位时间内，计算各种情绪的标准相似度，以相似度最高的作为用户当前情绪。进而根据该基本情绪判断用户的情绪种类（即属于积极情绪、消极情绪以及中性情绪中的哪一种）。例如：一个采集时间段定义为0.5秒，摄像头的画面传输帧率为20帧/秒，软件实时分析该采集时间段内的10帧用户面部情绪如下表所示，获得高兴相似度0.65，中性相似度0.19、悲伤相似度0.003、生气相似度0.09、厌恶相似度0.0002、惊讶相似度0.01。则该采集单元抓取的用户表情为高兴，判定当前情绪属于积极情绪。
软件实时分析一个采集时间段内的10帧用户面部情绪见表一：
Figure 458732DEST_PATH_IMAGE001
表一
需要理解的是，因为每一种情绪的相似度占比都是将所采集的面部表情与基本情绪进行单独对比，因此，针对每一个用户的面部表情，都会具有积极情绪、消极情绪和中性情绪的占比，但积极情绪、消极情绪和中性情绪的占比之和不一定等于1，通过分别对比分析后，找出相似度占比最大的情绪，即为该面部表情下用户的当前情绪。
S203、计算采集时间内，用户的积极情绪、消极情绪以及中性情绪的占比。
在认知评估阶段或人机交互阶段的时间范围内，通过对一个采集时间内用户的全部当前情绪进行判断，得到在该时间段内用户有多少次积极情绪、多少次消极情绪以及多少次中性情绪，然后，根据采集时间内的当前情绪的总量计算出积极情绪、消极情绪以及中性情绪的占比。例如：在认知评估阶段用户用了5分钟进行认知评估，那么在这5分钟内，人脸采集装置共获得600次用户的当前情绪。在这600次的当前情绪中，如果积极情绪为300次、消极情绪为200次、中性情绪为100次，那么积极情绪的占比为50%，消极情绪的占比为33.3%，中性情绪的占比为16.7%。
S204、基于用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比，获取用户的当前情绪状态。
参照图5所示，当获得用户的情绪占比后，利用情绪的百分比均值定义用户的当前情绪状态。当用户的积极情绪占比大于等于75%（即第一阈值）时，则用户的当前情绪状态为积极状态，此时，情绪分析模块6输出结果为1，表示情绪状态的值为1。当用户的消极情绪占比大于等于25%（即第二阈值）时，则用户的当前情绪状态为消极状态，此时，情绪分析模块6输出结果为－1，表示情绪状态的值为－1。当用户的积极情绪占比小于25%、消极情绪占比小于25%，且用户的中性情绪占比大于等于50%（即第三阈值）时，则用户的当前情绪状态为中性状态，此时，情绪分析模块6输出结果为0，表示情绪状态的值为0。
例如：在上述例子中，消极情绪的占比为33.3%，则用户的当前情绪状态为消极状态，则则情绪分析模块6输出结果为－1。
本领域普通技术人员可以理解，划分消极25%与积极75%的原因是，在心理学上的认识是：在人的主观感受上，消极：积极的感受有约3：1的权重差异，1份消极感受需要3份积极感受才能抵消。但是，上述数值根据不同人群有不同的取值。例如，针对儿童的测评过程中，积极情绪比例大于等于80%（即阈值提高）时才判断为情绪状态的值为1，因为正常儿童的积极情绪大于成年人。类似的，如果是老年人的测评，则积极情绪比例大于等于70%（即阈值降低）时就判断为情绪状态的值为1。也可以根据性别或人种的不同而设定不同的阈值。
S205、基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪变化状态。
参照图6所示，例如以500ms作为一个采集时间段，参照步骤S201可知，在该采集时间段中，所采集到的用户表情需要分别与六种基本情绪做对比，从而得出每一个采集时间段中，积极情绪、消极情绪和中性情绪的占比。
相关公式表明为：人脸采集装置抓取了x次用户的表情，获得每次采集中积极情绪的占比（y1）和消极情绪(y2)的占比。用时间次数分别对积极情绪和消极情绪的占比做回归分析（x和y1，x和y2），获得标准化回归系数（b1， b2）作为斜率，以及显著性参数（p1，p2）作为统计意义的显著性参考。如果max(|b1|，|b2|)对应的p< 0.05，则比较|b1|与|b2|。如果|b1|>|b2|， b1>0，或者|b1|<|b2|， b2<0，则为积极变化。如果|b1|>|b2|， b1<0，或者|b1|<|b2|， b2>0，则为消极变化。如果max(|b1|，|b2|)对应的p> 0.05，则为无变化。
例如：某一任务时长为120秒，人脸采集装置抓取了240次(x)用户的表情，获得了240个每次采集中积极情绪的占比（y1）和消极情绪(y2)的占比。用时间次数分别对积极情绪和消极情绪的占比做回归分析（x和y1，x和y2），如果计算出积极情绪为：b1＝0.25，p1＝0.03；消极情绪为：b2＝－0.38，p1＝0.01；满足p2<0.05，|b1|<|b2|，b2<0，消极情绪显著降低，则为积极变化，系统输出结果为1。如果计算出积极情绪为：b1＝－0.28，p1＝0.02；消极情绪为：b2＝－0.04，p1＝0.64；满足p1<0.05，|b1|>|b2|，b1<0，积极情绪显著降低，则为消极变化，系统输出结果为－1。如果计算出积极情绪为：b1＝－0.12，p1＝0.32；消极情绪为：b2＝0.04，p1＝0.44；满足p1>0.05，积极和消极情绪都无显著变化，则为无变化，系统输出结果为0。
需要理解的是，该斜率越大代表情绪随时间增加越多，例如：积极情绪是斜率最大的增加，则说明用户越做任务越开心。基于全时程用户的情绪占比情况，获取全时程的积极情绪和消极情绪随时间的变化斜率；然后，比较得出斜率变化最大的情绪。
如果斜率变化最大的情绪是下降的消极情绪或提升的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为积极变化，此时，系统输出结果为1；如果斜率变化最大的情绪是提升的消极情绪或下降的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为消极变化，此时，系统输出结果为－1；如果最大斜率变化与0区分不显著，则用户的情绪变化状态为无变化，此时系统输出结果为0。
需要理解的是，在斜率变化中不考虑中性情绪，因为很难界定中性情绪的变化是从哪个部分来或到了哪里去，中性本身需要比较才有意义，不能脱离积极、消极情绪本身考虑其变化的意义。
S206、基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪波动状态。
参照图7所示，将每个采集时间段记录时相似度占比最高的情绪定义为当下的情绪主成分，可参照步骤S201～S202；
将相邻两个采集时间段的情绪主成分进行比较，分析情绪主成分是否变化；
若情绪主成分变化则记录为1，否则为0；
根据情绪主成分是否变化的记录结果，计算出各任务阶段的情绪主成分变化比率；
若情绪主成分变化比率小于10%（即第四阈值），则为正常波动，此时，系统输出结果为1；若情绪主成分变化比率大于等于10%且小于等于30%（即第五阈值），则为轻微波动，此时，系统输出结果为0；若情绪主成分变化比率大于30%，则为剧烈波动，此时，系统输出结果为－1。
例如：某一任务时长为75秒，其中56秒的情绪主成分发生了变化，则变异性为56/75＝74.7%，非变异性比例为25.3%，由于74.7%大于30%，因此，判断用户的情绪波动为剧烈波动，系统输出结果为－1。
需要理解的是，本实施例中，10%和30%的界定是源于系统测评用户的结果。通过数十位测评用户在事后主观评估采集面部数据是否情绪无波动/有轻微波动/有剧烈波动，以及当时客观的面部情绪变化比率。得出无波动和轻微波动的分界线为10%的情绪主成分变化比率，轻微波动和剧烈波动的分界线为30%的情绪主成分变化比率。
S207、根据所述当前情绪状态、所述情绪变化状态和所述情绪波动状态中的至少两项得到用户的情绪综合指数。
参照图8所示，基于当前情绪状态、情绪变化状态和情绪波动状态的系统输出结果，将三者输出结果相加，三者输出结果之和即为用户的情绪综合指数，根据用户的情绪综合指数能够判断用户的情况状况，具体判断标准如下：
若三者输出结果之和大于0，则情绪综合指数为积极，系统输出情绪综合指数为1；若三者输出结果小于0，则情绪综合指数为消极，系统输出情绪综合指数为－1；若三者输出结果等于0，则情绪综合指数为中性，系统输出情绪综合指数为0。
例如：用户当前情绪状态为积极状态，系统输出结果为1；用户的情绪变化状态为消极变化状态，系统输出－1；用户的情绪波动状态为正常波动，系统输出结果为1，则情绪综合指数＝1＋（－1）＋1＝1＞0，因此，用户的情绪综合指数为积极，此时的情绪综合指数通过当前情绪状态、情绪变化状态和情绪波动状态三者综合得出。又例如：用户当前情绪状态为积极状态，系统输出结果为1；用户的情绪变化状态为消极变化状态，系统输出－1；则情绪综合指数＝1＋（－1）＝0，因此，用户的情绪综合指数为中性，此时，情绪综合指数通过当前情绪状态和情绪变化状态三者综合得出。又例如：用户的情绪变化状态为消极变化状态，系统输出－1；用户的情绪波动状态为剧烈波动，系统输出结果为－1，则情绪综合指数＝（－1）＋（－1）＝－2＜0，用户的情绪综合指数为消极，此时的情绪综合指数通过情绪变化状态和情绪波动状态二者综合得出。又例如：用户当前情绪状态为积极状态，系统输出结果为1；用户的情绪波动状态为正常波动，系统输出结果为1，则情绪综合指数＝1＋1＝2＞0，因此，用户的情绪综合指数为积极，此时的情绪综合指数通过当前情绪状态和情绪波动状态二者综合得出。
需要理解的是，本实施例中，通过当前情绪状态、情绪变化状态和情绪波动状态三者作为判断依据，能够提高情绪综合指数的判断精准度，在其他实施例中，也可以选择其中任意两项进行组合，以进行情绪综合指数的判断。
此外，能够理解的是，在另一实施例中，也可以对当前情绪状态、情绪变化状态和情绪波动状态三者赋予不同的权重，然后，通过加权的方式计算出用户的情绪综合指数，不限定于上述通过三者输出结果相加的方式计算用户的情绪综合指数。
S30、根据测评结果和情绪综合指数获取用户的人机交互方案。
具体的，当用户的认知评估测评完成后，通过该测评结果判断用户的认知受损等级，并配合在测评过程中用户的情绪综合指数（即情绪监测A），共同决定用户的人机交互任务等级。
例如：用户完成测评后（即完成步骤S10后），系统依据各项任务的常模标准给出用户脑能力的综合评估等级，即良好、轻度、重度；以及测评过程中的情绪综合指数，即积极、中性、消极。获取两个指标的结果后进行人机交互方案等级抽选，等级越高表示人机交互任务的难度越高。
具体抽选规则见表二：
Figure 953298DEST_PATH_IMAGE002
表二
容易理解的是，人机交互方案的难度系数从低阶到高阶依次增加，不同阶的人机交互方案所包括的人机交互任务的数量和类型均不同，例如：低阶人机交互方案可包括3～5个简单的人机交互任务，中阶人机交互方案可包括4～6个中等的人机交互任务，高阶人机交互方案可包括5～8个困难的人机交互任务，从而能够根据不同用户的情况选择最合适的人机交互方案。
S40、根据用户在完成人机交互任务中的情绪监测，获得人机交互后的情绪综合指数，并且获得用户的人机交互结果。
具体的，当针对用户生成对应等阶的人机交互方案后，则系统会推送初始的人机交互任务，用户在进行人机交互的过程中，系统会记录下完成任务期间的人机交互的过程，以进行人机交互数据的采集，从而获取用户的人机交互结果。同时，在完成人机交互任务的过程中，通过人脸采集装置进行表情采集，从而通过步骤20所述的方法进行情绪综合指数的分析（即情绪监测B），以得到用户在完成人机交互任务过程中，用户的情绪综合指数。其中，需要理解的是，情绪监测A与情绪监测B都是通过步骤20所述方法进行情绪综合指数的分析，只是情绪监测的时机不同，情绪监测A是在用户进行评估时对用户进行情绪监测，而情绪监测B则是在用户进行人机交互任务时对用户进行情绪监测。
S50、根据人机交互结果以及人机交互后的情绪综合指数，计算并推送下一个人机交互任务，直至完成人机交互方案中的全部任务。
具体的，在一个人机交互方案中共包括M（M为正整数，下同）个人机交互任务，从初始人机交互任务（即N＝1）开始，判断已经完成的人机交互任务数N（N为正整数，下同）是否等于M，若N等于M则人机交互方案结束。若N小于M，则通过前一个人机交互任务的人机交互结果以及前一个人机交互任务中用户的情绪综合指数，推送下一个人机交互任务（即N＝2），当第二个人机交互方案完成后，再次判断N是否等于M，并依次循环，直至N＝M，完成整个人机交互方案。
计算下一个人机交互任务时，如果情绪综合指数为消极就降低任务难度；如果人机交互结果良好，就升级任务难度。
具体的推送计划参照表三所示：
Figure 626856DEST_PATH_IMAGE003
表三
本实施例中，人机交互结果分为良好、一般和较差，情绪综合指数分为积极、正常和消极；同时，需要理解的是，增加推送和减少推送是针对同一等级的人机交互任务，增加或减少人机交互任务的数量；而升级或降级则表示人机交互任务的难度等级升高或降低。
当人机交互结果为良好时，按照情绪综合指数为积极、正常和消极的顺序，依次按照升级、升级和减少推送并升级进行任务推送；
当人机交互结果为一般时，按照情绪综合指数为积极、正常和消极的顺序，依次按照增加推送、维持和减少推送进行任务推送；
当人机交互结果为较差时，按照情绪综合指数为积极、正常和消极的顺序，依次按照增加推送并降级、降级和降级进行任务推送。
综上所述，本发明实施例的基于情绪监测的认知障碍人机交互方法，主要包括认知评估和人机交互任务，同时对执行任务过程中的用户多种基本情绪信息进行实时监测，并获得用户的情绪综合指数，通过该情绪综合指数对用户的后续人机交互任务和状态进行调节，从而达到提升认知人机交互效果的目的。
<第二实施例>
参照图9所示，在上述认知障碍人机交互方法中，在步骤S40之后还包括以下步骤：
S40A、在人机交互过程中，相邻两个人机交互任务之间进行放松式人机交互，放松式人机交互的任务种类依据前一个人机交互任务中用户的情绪综合指数选取。
具体选择规则参照表四所示：
Figure 29019DEST_PATH_IMAGE004
表四
当情绪综合指数为积极时，则人机交互任务选择高强度挑战类任务；当情绪综合指数为消极时，则人机交互任务选择高放松解压类任务；当情绪综合指数为中性时，则人机交互任务从前述两种任务中随机抽取任务。需要理解的是，本实施例中，高强度挑战类任务指的是难度等级较高，需要用户经过一些自身的努力方能够完成的任务，高放松解压类任务指的是难度等级较低，用户可以轻松完成的任务。
需要理解的是，步骤S40A具体是否存在根据实际情况而定，当一次人机交互任务完成后，需要判断整个人机交互方案是否完成（即N是否等于M），如果整个人机交互方案未完成（即N不等于M），则进入步骤S40A进行放松交互任务的推送，如果整个人机交互方案已完成，则无需在进行放松交互任务。例如：在一个人机交互方案中，包括了多个人机交互任务（即M＞1），那么整个交互过程为：人机交互-放松交互-人机交互-放松交互的模式；如果一个人机交互方案中仅包括了一个人机交互任务（即M＝1），那么就没有放松交互的模式。
同时，需要理解的是，在本实施例中，用户进行放松交互时也会进行情绪监测（即情绪监测C），容易理解的是，在放松交互时的情绪监测步骤与情绪监测A和情绪监测B的步骤相同，只是情绪监测C的监测时机为用户在进行放松交互时。然而，对放松交互的情绪监测只用于确保用户放松成功，不作为下一个人机交互任务的推送依据。下一个人机交互任务的推送依据的是前一个人机交互任务的人机交互结果，以及前一个人机交互任务过程中的情绪综合指数（即情绪监测B）。
<第三实施例>
请参照图10所示，本实施例与第二实施例的不同之处在于，在该实施例中，用户进行放松交互时进行情绪监测（即情绪监测C），同时，在放松交互过程中所得到的情绪综合指数作为下一个人机交互任务的推送依据。
具体的，在该实施例中，当前一个人机交互任务完成后，用户会进入到放松交互模式，在放松交互的过程中，通过对用户进行情绪监测（即情绪监测C）得到用户在放松交互过程中的情绪综合指数，最后，以用户前一个人机交互任务的人机交互结果，配合用户在放松交互过程中的情绪综合指数推送下一个人机交互任务，并以此循环，直至完成整个人机交互方案。
<第四实施例>
如图2所示，本实施例包括以下步骤：
S10’获得用户的认知能力水平；
S30’根据该认知能力水平，生成人机交互方案；
S40’根据该人机交互方案生成第N个人机交互任务；
S50’对用户在第N个人机交互任务中的表现进行情绪监测；
S60’基于情绪监测结果，对S30’中生成的人机交互方案进行调整，生成新的人机交互方案，并返回步骤S40’，直到完成该新的人机交互方案中的全部M个任务。
其中，步骤S10’中的认知能力水平，可以基于常规的认知能力测评方法，或者利用脑部的近红外脑成像图谱等方式得到。
其中，步骤S60’中基于情绪监测结果，对S30’中生成的人机交互方案进行调整。
本发明还提供一种基于情绪监测的认知障碍人机交互系统，包括：交互单元、存储单元和处理单元。该系统可以是服务器和多台通信终端（例如个人电脑、平板电脑或手机等）；也可以是一台电脑或一部手机等。
交互单元与处理单元通信，用于接收用户的输入信息或向用户输出信息。交互单元可以是键盘和显示器，也可以智能手机或平板电脑的输入输出部件。
存储单元与处理单元电连接，以用于存储执行本发明提供的人机交互方法的相关计算机程序。因此，可以反复调取与用户人机交互和测评等相关的数据。存储单元可以是电脑中的硬盘，也可以是U盘，还可以是智能手机或平板电脑的存储部件。
处理单元，可以是电脑的中央处理器，也可以是智能手机或平板电脑的处理器，用于读取该计算机程序以执行本发明提供的认知障碍人机交互方法。
上面对本发明进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (9)

1.一种基于情绪监测的认知障碍人机交互方法，其特征在于包括以下步骤：
获得用户的认知能力水平；
根据所述认知能力水平，生成人机交互方案；
根据所述人机交互方案生成第N个人机交互任务，其中N为正整数；
对用户在第N个人机交互任务中的表现进行情绪监测，并返回上一步骤根据所述人机交互方案生成第N个人机交互任务，使得N=N+1，直到完成该人机交互方案中的全部任务；
在人机交互过程中，相邻两个人机交互任务之间进行放松式人机交互，所述放松式人机交互的任务种类依据前一个人机交互任务中用户的情绪综合指数选取；
当情绪综合指数为积极时，则人机交互任务选择高强度挑战类；当情绪综合指数为消极时，则人机交互任务选择高放松解压类；当情绪综合指数为中性时，则人机交互任务随机抽取。
2.如权利要求1所述的认知障碍人机交互方法，其特征在于：
当用户完成放松式人机交互后，根据前一个人机交互任务的人机交互结果以及用户放松式人机交互后的情绪综合指数，推送下一个人机交互任务。
3.如权利要求1所述的认知障碍人机交互方法，其特征在于：
所述人机交互结果分为良好、一般和较差，所述情绪综合指数分为积极、正常和消极；
当所述人机交互结果为良好时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照升级、升级和减少推送并升级进行任务推送；
当所述人机交互结果为一般时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照增加推送、维持和减少推送进行任务推送；
当所述人机交互结果为较差时，按照所述情绪综合指数为积极、正常和消极的顺序，依次按照增加推送并降级、降级和降级进行任务推送。
4.如权利要求1所述的认知障碍人机交互方法，其特征在于获取用户的情绪综合指数，具体包括：
获取每个采集时间段的用户的表情信息；
获取所述表情信息中的表情特征，并与亚洲人面孔库进行对比，以获得所述表情信息中积极情绪、消极情绪以及中性情绪的占比，其中，占比最大的情绪即为用户的当前情绪；
判断整个人机交互过程中，用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比；
基于用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比，获取用户的当前情绪状态；
基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪变化状态；
基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪波动状态；
根据所述当前情绪状态、所述情绪变化状态和所述情绪波动状态中的至少两项得到用户的情绪综合指数。
5.如权利要求4所述的认知障碍人机交互方法，其特征在于基于用户的所有当前情绪中积极情绪、消极情绪以及中性情绪的占比，获取用户的当前情绪状态，具体包括：
当用户的积极情绪占比大于等于第一阈值时，则用户的当前情绪状态为积极状态；
当用户的消极情绪占比大于等于第二阈值时，则用户的当前情绪状态为消极状态；
当用户的积极情绪占比小于第二阈值、消极情绪占比小于第二阈值，且用户的中性情绪占比大于等于第三阈值时，则用户的当前情绪状态为中性状态。
6.如权利要求4所述的认知障碍人机交互方法，其特征在于基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪变化状态，具体包括：
以时间变化作为X值，以用户各个采集时间段的情绪占比作为Y值，利用X值和Y值做回归分析得出斜率；
获取全时程的积极情绪和消极情绪随时间的变化斜率；
比较得出斜率变化最大的情绪；
如果斜率变化最大的情绪是下降的消极情绪或提升的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为积极变化；
如果斜率变化最大的情绪是提升的消极情绪或下降的积极情绪，且斜率变化显著不等于0，则用户的情绪变化状态为消极变化；
如果最大斜率变化与0区分不显著，则用户的情绪变化状态为无变化。
7.如权利要求4所述的认知障碍人机交互方法，其特征在于基于每个采集时间段的情绪占比以及时间变化，获取用户的情绪波动状态，具体包括：
将每个采集时间段占比最高的情绪定义为当下的情绪主成分；
将相邻两个采集时间段的情绪主成分进行比较，分析情绪主成分是否变化；
若情绪主成分变化则记录为1，否则为0；
根据情绪主成分是否变化的记录结果，计算出各任务阶段的情绪主成分变化比率；
若情绪主成分变化比率小于第四阈值，则为正常波动；若情绪主成分变化比率大于等于第四阈值且小于等于第五阈值，则为轻微波动；若情绪主成分变化比率大于第五阈值，则为剧烈波动。
8.如权利要求1所述的认知障碍人机交互方法，其特征在于：
获取用户信息及用户知情同意，所述用户知情同意至少包括评估内容、人机交互内容介绍、用户信息采集范围以及用户信息使用范围；
如用户同意则开始认知评估，同时启动人脸采集装置，开始采集用户表情数据；如用户不同意，则退出评估。
9.一种基于情绪监测的认知障碍人机交互系统，其特征在于包括：
交互单元，用于接收用户输入的信息或向所述用户输出信息；
存储单元，存储计算机程序；
处理单元，用于读取所述计算机程序以执行如权利要求1～8中任意一项所述的认知障碍人机交互方法。
CN202111296685.5A 2021-11-03 2021-11-03 基于情绪监测的认知障碍人机交互方法及系统 Active CN113741702B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202111296685.5A CN113741702B (zh) 2021-11-03 2021-11-03 基于情绪监测的认知障碍人机交互方法及系统
PCT/CN2022/120987 WO2023077992A1 (zh) 2021-11-03 2022-09-23 基于情绪监测的认知障碍人机交互方法及系统
EP22826793.6A EP4202612A1 (en) 2021-11-03 2022-09-23 Cognitive disorder human-computer interaction method and system based on emotion monitoring
US18/148,825 US20230148925A1 (en) 2021-11-03 2022-12-30 Cognitive disorder human-computer interaction method and system based on emotion monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111296685.5A CN113741702B (zh) 2021-11-03 2021-11-03 基于情绪监测的认知障碍人机交互方法及系统

Publications (2)

Publication Number Publication Date
CN113741702A CN113741702A (zh) 2021-12-03
CN113741702B true CN113741702B (zh) 2022-03-04

Family

ID=78727220

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111296685.5A Active CN113741702B (zh) 2021-11-03 2021-11-03 基于情绪监测的认知障碍人机交互方法及系统

Country Status (4)

Country Link
US (1) US20230148925A1 (zh)
EP (1) EP4202612A1 (zh)
CN (1) CN113741702B (zh)
WO (1) WO2023077992A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统
CN114201053B (zh) * 2022-02-17 2022-06-28 北京智精灵科技有限公司 一种基于神经调控的认知提升训练方法及系统
CN115457645B (zh) * 2022-11-11 2023-03-24 青岛网信信息科技有限公司 一种基于交互验证的用户情绪分析方法、介质及系统
CN116785553B (zh) * 2023-08-25 2023-12-26 北京智精灵科技有限公司 一种基于界面式情感交互的认知康复系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287747A (zh) * 2014-10-24 2015-01-21 南京邮电大学 基于情绪感知的运动康复机器人交互控制方法
CN104331614A (zh) * 2014-10-28 2015-02-04 无锡东南生命科学有限公司 一种便携式个体化认知障碍筛查和康复训练平板
CN104483847A (zh) * 2014-10-24 2015-04-01 南京邮电大学 基于情绪识别和混杂理论的机器人辅助康复人机交互控制方法
CN107025371A (zh) * 2017-03-09 2017-08-08 安徽创易心理科技有限公司 一种情绪动态监控与管理方法及系统
CN109903604A (zh) * 2019-01-30 2019-06-18 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的神经发育障碍绘画训练系统及训练方法
CN110752033A (zh) * 2019-08-30 2020-02-04 康美健康云服务有限公司 一种认知评估的信息化方法、系统及可读存储介质
CN113143296A (zh) * 2021-04-20 2021-07-23 上海外国语大学 沟通障碍的智能评估方法及评估系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109688909B (zh) * 2016-05-27 2022-07-01 詹森药业有限公司 根据虚拟世界活动评估真实世界用户的认知状态和情绪状态的系统和方法
TW201801037A (zh) * 2016-06-30 2018-01-01 泰金寶電通股份有限公司 情緒分析方法與其電子裝置
US20200046277A1 (en) * 2017-02-14 2020-02-13 Yuen Lee Viola Lam Interactive and adaptive learning and neurocognitive disorder diagnosis systems using face tracking and emotion detection with associated methods
JP3223411U (ja) * 2017-06-15 2019-10-10 ユエン リー ヴィオラ ラム， 感情検出を用いて追随性を評価及び監視するためのシステム
PT110171A (pt) * 2017-06-28 2018-12-28 Neurobios Inst De Neurociencias Diagnostico E Reabilitacao Integrada Lda Método de treino da capacidade cognitiva com base emocional
KR20190061826A (ko) * 2017-11-28 2019-06-05 (주)블라우비트 외상 후 스트레스 장애 및 공황장애 치료를 위한 복합 생체 정보 검출 시스템 및 방법
WO2019111165A1 (en) * 2017-12-05 2019-06-13 Lam Yuen Lee Viola Interactive and adaptive learning, neurocognitive disorder diagnosis, and noncompliance detection systems using pupillary response and face tracking and emotion detection with associated methods
CN109300364A (zh) * 2018-11-30 2019-02-01 北京京师脑力科技有限公司 一种提高记忆力的认知训练方法及系统
CN109545330A (zh) * 2018-11-30 2019-03-29 北京京师脑力科技有限公司 一种提高执行功能的认知训练方法及系统
CN109683709A (zh) * 2018-12-17 2019-04-26 苏州思必驰信息科技有限公司 基于情绪识别的人机交互方法及系统
CN110070944B (zh) * 2019-05-17 2023-12-08 段新 基于虚拟环境和虚拟角色的社会功能评估训练系统
CN113349780A (zh) * 2021-06-07 2021-09-07 浙江科技学院 一种情绪设计对在线学习认知负荷影响的评估方法
CN113284623B (zh) * 2021-07-23 2021-11-05 北京智精灵科技有限公司 基于用户能力的个性化认知训练任务推荐算法及系统
CN113517055A (zh) * 2021-07-28 2021-10-19 西安中盛凯新技术发展有限责任公司 一种基于虚拟仿真3d技术的认知评估训练方法
CN113741702B (zh) * 2021-11-03 2022-03-04 北京智精灵科技有限公司 基于情绪监测的认知障碍人机交互方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104287747A (zh) * 2014-10-24 2015-01-21 南京邮电大学 基于情绪感知的运动康复机器人交互控制方法
CN104483847A (zh) * 2014-10-24 2015-04-01 南京邮电大学 基于情绪识别和混杂理论的机器人辅助康复人机交互控制方法
CN104331614A (zh) * 2014-10-28 2015-02-04 无锡东南生命科学有限公司 一种便携式个体化认知障碍筛查和康复训练平板
CN107025371A (zh) * 2017-03-09 2017-08-08 安徽创易心理科技有限公司 一种情绪动态监控与管理方法及系统
CN109903604A (zh) * 2019-01-30 2019-06-18 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的神经发育障碍绘画训练系统及训练方法
CN110752033A (zh) * 2019-08-30 2020-02-04 康美健康云服务有限公司 一种认知评估的信息化方法、系统及可读存储介质
CN113143296A (zh) * 2021-04-20 2021-07-23 上海外国语大学 沟通障碍的智能评估方法及评估系统

Also Published As

Publication number Publication date
EP4202612A1 (en) 2023-06-28
US20230148925A1 (en) 2023-05-18
CN113741702A (zh) 2021-12-03
WO2023077992A1 (zh) 2023-05-11

Similar Documents

Publication Publication Date Title
CN113741702B (zh) 基于情绪监测的认知障碍人机交互方法及系统
Song et al. Human behaviour-based automatic depression analysis using hand-crafted statistics and deep learned spectral features
Song et al. Spectral representation of behaviour primitives for depression analysis
Cimtay et al. Cross-subject multimodal emotion recognition based on hybrid fusion
Huynh et al. Engagemon: Multi-modal engagement sensing for mobile games
Chen et al. Effects of data augmentation method borderline-SMOTE on emotion recognition of EEG signals based on convolutional neural network
CN110570941B (zh) 一种基于文本语义向量模型评估心理状态的系统和装置
Bailey et al. Gender bias in depression detection using audio features
CN106073706A (zh) 一种面向简易精神状态量表的个性化信息和音频数据分析方法及系统
CN111199205B (zh) 车载语音交互体验评估方法、装置、设备及存储介质
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
WO2022257630A1 (zh) 基于多模态隐匿信息测试的风险检测方法及装置
Bara et al. A Deep Learning Approach Towards Multimodal Stress Detection.
Zhang et al. An improved EEGNet for single-trial EEG classification in rapid serial visual presentation task
CN110705523B (zh) 一种基于神经网络的创业者路演能力测评方法及其测评系统
Rumahorbo et al. Analyzing important statistical features from facial behavior in human depression using XGBoost
Kwon et al. Detecting Anxiety and Depression from Phone Conversations using x-vectors
Bandara et al. EEG based neuromarketing recommender system for video commercials
CN111104815A (zh) 一种基于情绪能量感知的心理测评方法及装置
KR101808956B1 (ko) 대인 감성 평가 시스템 및 대인 감성 평가 정보를 수집하고 이용하는 방법
CN114463671A (zh) 一种基于视频数据的用户人格识别方法
CN114708964A (zh) 一种基于智能特征分类的眩晕症辅助分析统计方法及系统
CN114742107A (zh) 信息服务中的感知信号的识别方法及相关设备
CN109697413B (zh) 基于头部姿态的人格分析方法、系统和存储介质
Ning et al. Emotion Recognition of Depressive Patients Based on General Speech Information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant