CN116687407A - 基于共同关注能力的心理状态筛查分类方法及系统 - Google Patents

基于共同关注能力的心理状态筛查分类方法及系统 Download PDF

Info

Publication number
CN116687407A
CN116687407A CN202310646532.1A CN202310646532A CN116687407A CN 116687407 A CN116687407 A CN 116687407A CN 202310646532 A CN202310646532 A CN 202310646532A CN 116687407 A CN116687407 A CN 116687407A
Authority
CN
China
Prior art keywords
eye
screening
eye movement
user
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310646532.1A
Other languages
English (en)
Inventor
胡斌
佘莹莹
吴航
刘方
杨民强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou Together Education Technology Co ltd
Xiamen University
Lanzhou University
Beijing Institute of Technology BIT
Original Assignee
Fuzhou Together Education Technology Co ltd
Xiamen University
Lanzhou University
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou Together Education Technology Co ltd, Xiamen University, Lanzhou University, Beijing Institute of Technology BIT filed Critical Fuzhou Together Education Technology Co ltd
Priority to CN202310646532.1A priority Critical patent/CN116687407A/zh
Publication of CN116687407A publication Critical patent/CN116687407A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B37/00—Tables adapted for other particular purposes
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47B—TABLES; DESKS; OFFICE FURNITURE; CABINETS; DRAWERS; GENERAL DETAILS OF FURNITURE
    • A47B97/00—Furniture or accessories for furniture, not provided for in other groups of this subclass
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Primary Health Care (AREA)
  • Hospice & Palliative Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Psychology (AREA)
  • Software Systems (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Mathematical Physics (AREA)

Abstract

本申请提供一种基于共同关注能力的心理状态筛查分类方法及系统，所述方法可以在获取到眼动图像和人像视频后，根据人像视频和眼动图像生成眼动信息，并从眼动信息中提取眼动特征，将眼动特征输入训练好的筛查模型中，进而得到分类结果。其中，眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，交互指令用于引导用户观看目标区域。所述方法从眼动行为层面进行用户心理状态的筛查，更客观、全面的评估用户的心理状态，降低漏检率和误检率，提高筛查精度和效率。

Description

基于共同关注能力的心理状态筛查分类方法及系统
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于共同关注能力的心理状态筛查分类方法及系统。
背景技术
心理状态是指心理活动在一定时间内的完整特征。根据心理状态的特征，可以分别多种心理状态，例如注意、疲劳、紧张、轻松、忧伤、喜悦等。不同的心理状态可以产生不同的表现，因此，可以基于用户的表现对用户进行心理状态的筛查分类，进而检测用户的心理状态。例如，患有孤独症的用户具有心理状态方面的特定表现，包括眼神回避、不寻常的重复性动作、偏好、行为刻板等，因此，心理状态筛查分类方法可以辅助评估患孤独症的风险。
心理状态筛查分类方法可以采用心理量表，即执行人员基于较权威的标准给出较专业的、准确性高的判断。还可以借助筛查分类设备进行心理状态的筛查分类，通过筛查分类设备采集特定的数据，再通过数据统计、分析、可视化等方式对比用户与对照组之间的差异，进而获取筛查和分类用户心理状态的有效信息。
然而，使用心理量表的方法进行心理状态的筛查分类，对执行人员的要求较高，执行人员需拥有丰富的心理状态筛查经验，才能得到较专业的、准确性较高的判断。因此，不同于数据驱动的方式，基于量表得到的结果往往高度依赖执行人员的主观想法，执行人员不同的主观想法和对量表的不同解读可能得出不同的结果。借助筛查分类设备进行心理状态的筛查分类，筛查分类设备较多集中于脑成像数据(神经影像)、姿势控制模式、眼动数据的获取，并且基于眼动的心理状态筛查分类方法局限于二维情境，其社交方面缺少真实性。
发明内容
本申请提供一种基于共同关注能力的心理状态筛查分类方法及系统，以解决心理状态筛查时高度依赖执行人员、执行设备提取的特征局限于二维情境导致的漏检和误检的问题。
第一方面，本申请提供一种基于共同关注能力的心理状态筛查分类方法，包括：
获取眼动图像和人像视频，所述眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，所述交互指令用于引导用户观看目标区域；
根据所述人像视频和所述眼动图像得到眼动图像集合，以及根据所述眼动图像集合和所述人像视频生成眼动信息，所述眼动信息包括反应时长、注视时长和回应结果；
从所述眼动信息中提取眼动特征，所述眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，所述眼部注视特征用于表征反应时间，所述总体注视特征用于表征注视率，所述眼部行为特征用于表征正确回应率；
将所述眼动特征输入训练好的筛查模型中，以获得所述筛查模型输出的分类信息，所述筛查模型为根据样本眼动数据训练获得的神经网络模型，所述样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。
第二方面，本申请提供一种基于共同关注能力的心理状态筛查分类系统，包括：
采集模块，用于获取眼动图像和人像视频，所述眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，所述交互指令用于引导用户观看目标区域；
预处理模块，用于根据所述人像视频和所述眼动图像得到眼动图像集合，以及根据所述眼动图像集合和所述人像视频生成眼动信息，所述眼动信息包括反应时长、注视时长和回应结果；
特征提取模块，用于从所述眼动信息中提取眼动特征，所述眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，所述眼部注视特征用于表征反应时间，所述总体注视特征用于表征注视率，所述眼部行为特征用于表征正确回应率；
筛查模块，用于将所述眼动特征输入训练好的筛查模型中，以获得所述筛查模型输出的分类信息，所述筛查模型为根据样本眼动数据训练获得的神经网络模型，所述样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。
由以上技术方案可知，本申请提供一种基于共同关注能力的心理状态筛查分类方法及系统，所述方法可以在获取到眼动图像和人像视频后，根据人像视频和眼动图像生成眼动信息，并从眼动信息中提取眼动特征，将眼动特征输入训练好的筛查模型中，进而得到分类结果。其中，眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，交互指令用于引导用户观看目标区域。所述方法从眼动行为层面进行用户心理状态的筛查，更客观、全面的评估用户的心理状态，降低漏检率和误检率，提高筛查精度和效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中心理状态筛查分类系统的结构示意图；
图2为本申请实施例中在用户视角下的心理状态筛查分类系统的结构示意图；
图3为本申请实施例中目标区域的示意图；
图4为本申请实施例中心理状态筛查分类方法的流程示意图；
图5为本申请实施例中获取视线方向的流程示意图；
图6为本申请实施例中目标平面的示意图；
图7为本申请实施例中心理状态筛查分类系统的示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚，下面将结合本申请示例性实施例中的附图，对本申请示例性实施方式进行清楚、完整地描述，显然，描述的示例性实施例仅是本申请一部分实施例，而不是全部的实施例。
心理状态筛查分类方法可以检测用户的心理状态，但心理状态筛查分类方法存在对执行人员的要求较高，筛查结果高度依赖执行人员的主观想法，以及基于眼动的心理状态筛查分类方法局限于二维情境，不能客观、全面的评估用户的心理状态，导致心理状态筛查的效率低、准确性低的问题。
为了提高筛查精度和效率，本申请部分实施例提供一种基于共同关注能力的心理状态筛查分类方法，可以从眼动行为层面进行用户心理状态的筛查，更客观、全面的评估用户的心理状态，降低漏检率和误检率，提高心理状态筛查的效率和准确度。需要说明的是，本申请实施例提供的心理状态筛查分类方法可以应用于基于眼动数据的心理状态分类中，以提高筛查精度和效率，例如可以辅助评估患孤独症的风险。
所述心理状态筛查分类方法可以应用于心理状态筛查分类系统，如图1、图2所示，所述心理状态筛查分类系统包括支架11、桌板12和采集设备13。其中，支架11为可调节支架，桌板12与固定支架11可拆卸连接，以根据用户的身高情况调节桌板12和支架11的高度。采集设备13安装于桌板12上，用于采集用户的人像视频和眼动图像，为了与用户更加自然的互动，可以在桌板12的边缘上设置盒体，将采集设备13设置在盒体中，以隐藏采集设备13，防止采集设备13吸引用户的注意力。
其中，采集设备13包括眼部采集设备和人像采集设备，眼部采集设备可以为深度摄像机，用于采集用户眼睛的眼动图像，人像采集设备用于拍摄用户测试过程中的人像视频。
为了评估用户的心理状态，可以设置多个测试范式，测试范式为预先设置的情景测试任务，以测试用户执行测试动作时的反应。因此，所述心理状态筛查分类系统还包括指令装置15，指令装置15可以生成交互指令，以引导用户执行相应的测试动作。
本申请实施例中，所述心理状态筛查分类方法用于心理状态分类，例如，对于孤独症患者，其共同关注能力缺乏，难以按照指令看向对应方向的物体。因此，为了分析孤独症患者的表现差异，测试范式可以为使用户观看目标区域的测试任务，指令设备15与用户分别位于桌板12的两侧，指令设备15通过语言或动作指导引导用户看向目标区域。
其中，目标区域可以为预先设置的区域位置，如图3所示，将测试任务场景划分成多个感兴趣区域(Region of Interest，ROI)，包括4个目标区域以及背景区域，其中，4个目标区域分别为ROI_1、ROI_2、ROI_3和ROI_4，背景区域为ROI_5(Other region)。
为了便于用户观察，如图1、图2、图3所示，在预设目标区域的位置可以设置标志物14，以吸引用户的注意力。例如，对于孤独症患者，由于孤独症患者的群体多数存在于幼龄阶段，标志物14可以根据幼龄阶段用户的喜好设置，例如图3所示的玩偶。
可以理解的是，指令设备15可以为具有语音交互功能的设备，通过预设的程序步骤生成交互指令，以引导用户执行相应的测试动作。
为了提高效率，所述心理状态筛查分类系统包括控制器，控制器被配置为执行心理状态筛查分类方法。控制器可以与采集设备13和指令设备15连接，在测试过程中，控制指令设备15生成交互指令，以及控制采集设备13执行数据捕获程序。
如图4所示，图4为本申请实施例中基于共同关注能力的心理状态筛查分类方法的流程示意图，具体包括以下内容：
S100，获取眼动图像和人像视频。
其中，眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，交互指令用于引导用户观看目标区域。例如，如图3所示，图3为用户视角所能看到的心理状态筛查分类系统示意图，指令设备15与用户分别位于桌板12的两侧，采集设备13设置在桌板12上，预先设置4个目标区域(ROI_1、ROI_2、ROI_3和ROI_4)，分别位于指令设备15的两侧位置，并在每个目标区域设置1个标志物14。开始测试前，根据用户的身高情况调节桌板12和支架11的高度，并对采集设备13进行定位校准，使采集设备13能够更精准的定位用户双眼位置，避免用户的身高及眼部差异造成眼动数据存在误差。开始测试时，启动采集设备13，控制指令设备15生成交互指令，以引导用户执行测试动作，即引导用户观看目标区域，并通过采集设备13拍摄用户执行测试动作过程的眼动图像和人像视频。
为了提高筛查精度，可以依次引导用户观看预设的多个目标区域，因此，在一些实施例中，可以根据目标区域的数量依次生成多个测试范式，其中，每个测试范式关联一个指示执行观看目标区域的测试动作。再将测试范式封装为交互指令，并通过指令设备15发送交互指令。例如，如图3所示，设置4个目标区域，可以根据4个目标区域生成4个测试范式，每个测试范式关联一个执行观看目标区域的测试动作。
为了提高交互效果，指令设备15可以为人型机器人，例如，如图3所示，人型机器人可以用手指指向其中一个标志物14，并发出语音“你看这个”，即发送交互指令，引导用户观看标志物14，即目标区域。同理，依次发送引导用户观看剩余3个标志物14的交互指令，一个交互指令可以设置预设时间，例如，发送一个交互指令后，等待3-5s后，再发送下一个交互指令。上述过程可以通过采集设备13拍摄用户根据交互指令执行测试动作时的眼动图像和人像视频。
本实施例中，由于不同心理状态的的用户在执行测试动作时的眼动数据不同，例如，对于孤独症患者，可能出现眼神回避的现象。因此通过将多情境测试任务下的眼动变化信息作为分析和预测的信息，能够更客观、全面的评估用户心理状态。
S200，根据人像视频和眼动图像得到眼动图像集合。
由于人像视频是动态的图像序列，眼动图像为一条一条的眼动条目，每一条眼动条目代表每一帧下的眼动数据，因此，获取到人像视频和眼动图像后，需要对人像视频和眼动图像进行预处理，即对人像视频进行读帧操作，获取与同一时间点的人像视频对应的眼动图像。在一些实施例中，可以读取人像视频的图像帧，标记人像视频开始节点与结束节点的图像帧对应帧数位置，以获取帧数范围。遍历眼动图像，筛选位于帧数范围的眼动图像，以生成眼动图像集合，即筛选出与人像视频时间点对应的有效眼动图像。
S300，根据眼动图像集合和人像视频生成眼动信息。
获取到眼动图像集合和人像视频后，需要提取眼动信息，以根据眼动信息分析用户的心理状态，其中，眼动信息包括反应时长、注视时长和回应结果。反应时长为交互指令的发送时间点与用户有效注视的起始时间点之间的时长，注视时长为用户观看目标区域的有效注视时长，回应结果为用户根据交互指令执行测试动作的正确性。
对于反应时长，可以根据眼动图像集合，获取用户执行测试动作时有效注视的起始时间点，即用户的视线落在目标区域时的时间点，再获取交互指令的发送时间点，计算发送时间点与起始时间点之间的间隔时长，以获取所反应时长。
对于回应结果，可以获取人像视频的图像帧，对图像帧进行人脸识别，识别图像帧的眼部位置，以获取用户的视线起点和视线方向。再获取目标平面，根据视线起点、视线方向和目标平面，计算视线落点。通过对比视线落点和目标区域，判断用户视线是否落在目标区域，进而生成回应结果。其中，目标平面为目标区域所处的平面，视线落点为用户视线与目标平面的交点。
为了提高眼动数据的准确性，判定视线方向时，可以增加头部姿态的识别步骤，根据眼部位置和头部姿态，判定视线方向。因此，在一些实施例中，可以获取人像视频的图像帧，对图像帧进行人脸识别，识别图像帧的人脸特征，人脸特征包括眼角坐标、鼻尖坐标和嘴角坐标。根据人脸特征执行头部姿态估计，以获取用户的头部姿态，再根据眼部特征和头部姿态执行视线估计，以获取用户的视线方向。
如图5所示，可以将带有人脸的图像帧输入预设人脸识别模型中进行人脸识别，裁剪出图像帧的人脸图像。将人脸图像输入预设人脸特征点检测模型中进行人脸特征点识别，识别人脸图像的眼部位置。以及将人脸图像输入预设头部姿态估计模型中，通过头部姿态估计模型提取人脸图像的人脸特征，即眼角、鼻尖和嘴角特征点的坐标，并根据特征点的位置，执行头部姿态估计，以获取头部姿态。再将头部姿态和眼部位置输入预设视线估计模型中，通过视线估计模型执行视线估计，以获取视线方向。
上述头部姿态估计模型可以输出3个欧拉角，即raw(围绕y轴旋转)、pitch(围绕x轴旋转)、roll(围绕z轴旋转)三个旋转角。视线估计模型输出视线方向的方向向量，如图6所示，其坐标系为以用户双眼中点为坐标原点、面部指向采集设备13的方向为Z轴方向、Y轴垂直向上的右手坐标系。如图6所示，采集设备13提供的坐标系(空间坐标系)以采集设备13的摄像头作为中心点，Z轴指向摄像头朝向的方向，Y轴向下，从Z轴指向的方向看X轴指向右方，该坐标系为右手坐标系。目标平面为空间坐标系的XOY平面，视线落点为用户视线与目标平面的交点在该目标平面下的二维坐标。
获取到视线起点、视线方向和目标平面后，将视线起点、视线方向和目标平面执行归一化处理，以获取视线起点的起点坐标和视线方向的方向向量，即将采集设备13提供的空间坐标系、视线估计模型输出的视线方向的空间坐标和头部姿态估计模型输出的头部姿态的空间坐标归一化处理，再根据起点坐标和方向向量，利用向量平行的原理，计算视线落点的坐标。进而可根据视线落点的坐标和目标区域，判定用户视线是否落在目标区域。
如图6所示，点K(x1，y1，z1)为用户双眼的中点在空间坐标系下的坐标，即视线起点的坐标。同时，点K也是用户头部姿态坐标系的坐标原点。区域S1、S2、S3、S4、S5为目标区域在目标平面上投影所占据的区域。视线估计模型输出的视线方向的方向向量为基于向量平行的原理，根据以下公式计算视线落点的坐标G(x2，y2，z2)：
获取到视线落点的坐标后，可以获取目标区域的区域范围，其中，目标区域的区域范围为预先根据目标区域与采集设备13的距离计算得到的目标区域在目标平面内占据的范围。通过对比视线落点的坐标和区域范围，如果视线落点的坐标位于区域范围内，确定用户视线落在目标区域，则标记回应结果为正确。如果视线落点的坐标不位于区域范围内，确定用户视线未落在目标区域，则标记回应结果为错误。
S400，从眼动信息中提取眼动特征。
用户对不同目标区域的关注可以通过反应时间、注视率和正确回应率来衡量，用户执行观看某些感兴趣区域的测试动作时，反应时间越短、注视率越高、正确回应率越高说明用户的共同关注能力越好。因此，获取到眼动信息后，可以从眼动信息中提取眼动特征，用于评估用户的共同关注能力，进而筛查用户的心理状态。
在一些实施例中，可以将眼动信息输入至训练好的眼动模态分类模型，以得到眼动特征，其中，关于眼动模态分类模型的训练，可以获取多个样本眼动信息和样本眼动信息对应的眼动特征作为训练样本数据，训练分类器得到。其中，样本眼动信息包括标记有不同心理状态标签的样本眼部信息，例如，心理状态筛查分类方法用于辅助评估患孤独症的风险，样本眼部信息包括标记有患有孤独症的标签的样本眼部信息和标记有未患有孤独症的标签的样本眼部信息，由此，训练得到的眼动模态分类模型可应用于孤独症的筛查。
其中，眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，眼部特征如下表所示：
其中，眼部注视特征用于表征反应时间，用于评估用户的不同核心能力和特性。反应时间可以根据眼动图像序列，统计交互指令发出结束与用户第一个有效注视点之间的时长。总体注视特征用于表征注视率，用于总体的评估用户在不同情境下各子场景中的注视情况，可以通过计算用户在测试时间内的有效注视时间的比率得到。眼部行为特征用于表征正确回应率，用于评估用户的核心能力，可以通过统计用户正确反应次数与交互指令发出次数的比率得到。
在一些实施例中，可以使用逻辑回归模型(Logistic Regression，LR)进行分类器的训练，训练过程中，通过获取的多个样本眼动信息，分别计算样本眼动信息对应的眼部注视特征、总体注视特征以及眼部行为特征，共9维特征。其中，为了使简化机器学习模型的训练和预测，可以对特征进行降维，保留主要特征，缩减数据量，提高训练和预测的效率。例如，使用交叉验证的递归特征消除算法(RFECV)进行特征降维，选取最优的75％的特征(7维特征)作为眼动模态的特征组合，并使用该特征组合训练眼动模态的分类器，得到眼动模态分类模型。
可以理解的是，本申请通过提出基于多特征组的特征提取方案，并不局限于眼部注视的相关特征，还提取除眼部注视特征之外的总体注视特征、行为特征等重要评估指标，在多情境下更全面的评估用户的不同心理状态。
S500，将眼动特征输入训练好的筛查模型中，以获得筛查模型输出的分类信息。
其中，筛查模型为根据样本眼动数据训练获得的神经网络模型，样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。可以通过获取样本眼部特征集，样本眼部特征集包括多个标记有不同心理状态标签的样本眼部特征。将样本眼部特征集融合成样本眼动数据。基于样本眼动数据训练神经网络模型，以获得筛查模型。例如，心理状态筛查分类方法用于辅助评估患孤独症的风险，样本眼部特征集包括标记有患有孤独症的标签的眼部特征集和标记有未患有孤独症的标签的眼部特征集，将样本眼部特征集融合成样本眼动数据，训练逻辑回归模型(Logistic Regression，LR)，以获得筛查模型。
将眼动特征输入训练好的筛查模型，通过筛查模型对眼动特征进行分析，进而输出眼动特征的分类信息。其中，分类信息包括筛查值，筛查值为眼动特征归属心理状态标签的分类概率，可以根据筛查值判定用户的心理状态，进而生成筛查结果。
在一些实施例中，可以预先设置筛查阈值，在获取到筛查模型输出的分类信息后，读取分类信息中的筛查值，以及获取筛查阈值，对比筛查值和筛查阈值，如果筛查值大于或等于筛查阈值，标记眼动特征为第一心理状态，如果筛查值小于筛查阈值，标记眼动特征为第二心理状态。
例如，对于孤独症的筛查，第一心理状态为患有孤独症，第二心理状态为未患有孤独症。如果筛查模型输出的筛查值小于筛查阈值，则确定用户的心理状态为第二心理状态，生成未患有孤独症的筛查结果，反之，则生成患有孤独症的筛查结果。其中，筛查结果可以使用不同符号表示，例如，使用数字“0”表示未患有孤独症，使用数字“1”表示患有孤独症。
基于上述心理状态筛查分类方法，如图7所示，本申请部分实施例还提供一种基于共同关注能力的心理状态筛查分类系统，包括：
采集模块，用于获取眼动图像和人像视频。
其中，眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，交互指令用于引导用户观看目标区域。
预处理模块，用于根据人像视频和眼动图像得到眼动图像集合，以及根据眼动图像集合和所人像视频生成眼动信息。
其中，眼动信息包括反应时长、注视时长和回应结果。
特征提取模块，用于从眼动信息中提取眼动特征。
其中，眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，眼部注视特征用于表征反应时间，总体注视特征用于表征注视率，眼部行为特征用于表征正确回应率。
筛查模块，用于将眼动特征输入训练好的筛查模型中，以获得筛查模型输出的分类信息。
其中，筛查模型为根据样本眼动数据训练获得的神经网络模型，样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。
在一些实施例中，心理状态筛查分类系统还包括监视模块，监视模块用于录制用户的测试过程。监视模块可以包括全局摄像头和监视器，全局摄像头用于实时录制用户的整体测试情况，以便后续对用户的状态以及数据的可用性进行评估和筛选，监视器用于实时观察全局摄像头录制的画面。
由以上技术方案可以看出，本申请提供一种基于共同关注能力的心理状态筛查分类方法及系统，所述方法可以在获取到眼动图像和人像视频后，根据人像视频和眼动图像生成眼动信息，并从眼动信息中提取眼动特征，将眼动特征输入训练好的筛查模型中，进而得到分类结果。其中，眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，交互指令用于引导用户观看目标区域。所述方法从眼动行为层面进行用户心理状态的筛查，更客观、全面的评估用户的心理状态，降低漏检率和误检率，提高筛查精度和效率。
为了方便解释，已经结合具体的实施方式进行了上述说明。但是，上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导，可以得到多种修改和变形。上述实施方式的选择和描述是为了更好地解释原理以及实际的应用，从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。

Claims (10)

1.一种基于共同关注能力的心理状态筛查分类方法，其特征在于，包括：
获取眼动图像和人像视频，所述眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，所述交互指令用于引导用户观看目标区域；
根据所述人像视频和所述眼动图像得到眼动图像集合，以及根据所述眼动图像集合和所述人像视频生成眼动信息，所述眼动信息包括反应时长、注视时长和回应结果；
从所述眼动信息中提取眼动特征，所述眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，所述眼部注视特征用于表征反应时间，所述总体注视特征用于表征注视率，所述眼部行为特征用于表征正确回应率；
将所述眼动特征输入训练好的筛查模型中，以获得所述筛查模型输出的分类信息，所述筛查模型为根据样本眼动数据训练获得的神经网络模型，所述样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。
2.根据权利要求1所述的心理状态筛查分类方法，其特征在于，所述目标区域的数量为多个，所述方法还包括：
根据所述目标区域的数量依次生成多个测试范式，每个所述测试范式关联一个指示执行观看目标区域的测试动作；
将所述测试范式封装为所述交互指令，以及发送所述交互指令。
3.根据权利要求1所述的心理状态筛查分类方法，其特征在于，根据所述人像视频和所述眼动图像得到眼动图像集合的步骤，包括：
读取所述人像视频的图像帧；
标记所述人像视频开始节点与结束节点的图像帧对应帧数位置，以获取帧数范围；
遍历所述眼动图像；
筛选位于所述帧数范围的眼动图像，以生成眼动图像集合。
4.根据权利要求1所述的心理状态筛查分类方法，其特征在于，根据所述眼动图像集合和所述人像视频生成眼动信息的步骤，包括：
获取所述交互指令的发送时间点；
根据所述眼动图像集合，获取用户执行测试动作时有效注视的起始时间点；
计算所述发送时间点与所述起始时间点之间的间隔时长，以获取所述反应时长。
5.根据权利要求1所述的心理状态筛查分类方法，其特征在于，根据所述眼动图像集合和所述人像视频生成眼动信息的步骤，包括：
获取所述人像视频的图像帧；
识别所述图像帧的眼部位置，以获取用户的视线起点和视线方向；
获取目标平面，所述目标平面为所述目标区域所处的平面；
根据所述视线起点、所述视线方向和所述目标平面，计算视线落点，所述视线落点为用户视线与所述目标平面的交点；
对比所述视线落点和所述目标区域，以生成所述回应结果。
6.根据权利要求5所述的心理状态筛查分类方法，其特征在于，获取所述人像视频的图像帧的步骤之后，还包括：
识别所述图像帧的人脸特征，所述人脸特征包括眼角坐标、鼻尖坐标和嘴角坐标；
根据所述人脸特征执行头部姿态估计，以获取用户的头部姿态；
根据所述眼部位置和所述头部姿态执行视线估计，以获取用户的视线方向。
7.根据权利要求5所述的心理状态筛查分类方法，其特征在于，根据所述视线起点、所述视线方向和所述目标平面，计算视线落点的步骤，包括：
将所述视线起点、所述视线方向和所述目标平面执行归一化处理，以获取所述视线起点的起点坐标和所述视线方向的方向向量；
根据所述起点坐标和所述方向向量，计算视线落点的坐标。
8.根据权利要求1所述的心理状态筛查分类方法，其特征在于，所述方法还包括：
获取样本眼部特征集，所述样本眼部特征集包括多个标记有不同心理状态标签的样本眼部特征；
将所述样本眼部特征集融合成样本眼动数据；
基于所述样本眼动数据训练所述神经网络模型，以获得筛查模型。
9.根据权利要求1所述的心理状态筛查分类方法，其特征在于，将所述眼动特征输入训练好的筛查模型中，以获得所述筛查模型输出的分类信息的步骤，还包括：
读取所述分类信息中的筛查值，所述筛查值为所述眼动特征归属心理状态标签的分类概率；
获取筛查阈值；
如果所述筛查值大于或等于所述筛查阈值，标记所述眼动特征为第一心理状态；
如果所述筛查值小于所述筛查阈值，标记所述眼动特征为第二心理状态。
10.一种基于共同关注能力的心理状态筛查分类系统，其特征在于，所述系统包括：
采集模块，用于获取眼动图像和人像视频，所述眼动图像和人像视频为用户根据交互指令执行测试动作时拍摄获得的图像和视频，所述交互指令用于引导用户观看目标区域；
预处理模块，用于根据所述人像视频和所述眼动图像得到眼动图像集合，以及根据所述眼动图像集合和所述人像视频生成眼动信息，所述眼动信息包括反应时长、注视时长和回应结果；
特征提取模块，用于从所述眼动信息中提取眼动特征，所述眼动特征包括眼部注视特征、总体注视特征以及眼部行为特征，所述眼部注视特征用于表征反应时间，所述总体注视特征用于表征注视率，所述眼部行为特征用于表征正确回应率；
筛查模块，用于将所述眼动特征输入训练好的筛查模型中，以获得所述筛查模型输出的分类信息，所述筛查模型为根据样本眼动数据训练获得的神经网络模型，所述样本眼动数据包括带有分类标签的眼部注视特征、总体注视特征以及眼部行为特征数据。
CN202310646532.1A 2023-06-02 2023-06-02 基于共同关注能力的心理状态筛查分类方法及系统 Pending CN116687407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310646532.1A CN116687407A (zh) 2023-06-02 2023-06-02 基于共同关注能力的心理状态筛查分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310646532.1A CN116687407A (zh) 2023-06-02 2023-06-02 基于共同关注能力的心理状态筛查分类方法及系统

Publications (1)

Publication Number Publication Date
CN116687407A true CN116687407A (zh) 2023-09-05

Family

ID=87836744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310646532.1A Pending CN116687407A (zh) 2023-06-02 2023-06-02 基于共同关注能力的心理状态筛查分类方法及系统

Country Status (1)

Country Link
CN (1) CN116687407A (zh)

Similar Documents

Publication Publication Date Title
US20200074380A1 (en) Work support device, work support method, and work support program
KR101247748B1 (ko) 사용자 집중도 분석장치 및 방법
CN112580552B (zh) 一种鼠类行为分析方法及装置
CN111528859A (zh) 基于多模态深度学习技术的儿童adhd筛查评估系统
CN111887867A (zh) 基于表情识别与心理学测试生成性格的分析方法及系统
Alkabbany et al. Measuring student engagement level using facial information
CN111080624B (zh) 精子运动状态的分类方法、装置、介质及电子设备
US7409373B2 (en) Pattern analysis system and method
Panetta et al. Software architecture for automating cognitive science eye-tracking data analysis and object annotation
Babu et al. An intelligent action recognition system to assess cognitive behavior for executive function disorder
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
CN110364260A (zh) 基于指示性语言范式的孤独症早期评估装置及系统
US20230367398A1 (en) Leveraging machine learning and fractal analysis for classifying motion
CN115439920B (zh) 基于情绪视听刺激和面部表情的意识状态检测系统、设备
Jayawardena et al. Automated filtering of eye gaze metrics from dynamic areas of interest
CN115429271A (zh) 基于眼动和面部表情的孤独症谱系障碍筛查系统及方法
CN116687407A (zh) 基于共同关注能力的心理状态筛查分类方法及系统
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
KR102565852B1 (ko) 얼굴표정 분석기반 자폐 스펙트럼 장애 평가 방법
Mantri et al. Cumulative video analysis based smart framework for detection of depression disorders
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
CN113657337A (zh) 一种乘务员表情检测方法、装置、设备及介质
Pecundo et al. Amyotrophic lateral sclerosis and post-stroke orofacial impairment video-based multi-class classification
Domínguez et al. Estimating the Distribution of Oral Presentation Skills in an Educational Institution: A Novel Methodology.
Jeelani et al. Automating Analysis of Construction Workers Viewing Patterns for Personalized Safety Training and Management

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination