CN112472089A - 一种基于眼动技术判断心理测试可靠性的系统及方法 - Google Patents
一种基于眼动技术判断心理测试可靠性的系统及方法 Download PDFInfo
- Publication number
- CN112472089A CN112472089A CN202011282977.9A CN202011282977A CN112472089A CN 112472089 A CN112472089 A CN 112472089A CN 202011282977 A CN202011282977 A CN 202011282977A CN 112472089 A CN112472089 A CN 112472089A
- Authority
- CN
- China
- Prior art keywords
- module
- psychological test
- eye
- image
- psychological
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012360 testing method Methods 0.000 title claims abstract description 164
- 230000004424 eye movement Effects 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000005516 engineering process Methods 0.000 title claims abstract description 15
- 238000010191 image analysis Methods 0.000 claims abstract description 23
- 230000001815 facial effect Effects 0.000 claims abstract description 22
- 238000004458 analytical method Methods 0.000 claims abstract description 21
- 239000003550 marker Substances 0.000 claims description 22
- 238000010195 expression analysis Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 12
- 230000000638 stimulation Effects 0.000 claims description 12
- 230000008921 facial expression Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 6
- 230000008451 emotion Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 claims description 4
- 210000001015 abdomen Anatomy 0.000 claims description 3
- 238000010009 beating Methods 0.000 claims description 3
- 230000036772 blood pressure Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000007906 compression Methods 0.000 claims description 3
- 230000004630 mental health Effects 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000036391 respiratory frequency Effects 0.000 claims description 3
- 231100000430 skin reaction Toxicity 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 238000012544 monitoring process Methods 0.000 abstract description 2
- 230000004044 response Effects 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 3
- 208000020016 psychiatric disease Diseases 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010855 neuropsychological testing Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Psychiatry (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Cardiology (AREA)
- Epidemiology (AREA)
- Signal Processing (AREA)
- Ophthalmology & Optometry (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
Abstract
本发明属于心理测试技术领域，公开了一种基于眼动技术判断心理测试可靠性的系统及方法，所述基于眼动技术判断心理测试可靠性的系统包括：身份认证模块、心理测试模块、面部图像采集模块、中央控制模块、图像分析模块、角度调整模块、眼动追踪模块、注视时间记录模块、注视次数记录模块、轨迹绘制模块、分析模块、可靠性判定模块。本发明进行心理测试仪器和心理问卷的双重检测，获取的心理测试结果更准确。在获取心理测试结果后采用眼动技术进行可靠性的评价，能够提高被测试者心理测试时状态监测的准确性，判断此套心理测试结果是否有效，甄选出因各种因素导致出现心理测试反应偏差，提高测试的准确性。
Description
技术领域
本发明属于心理测试技术领域，尤其涉及一种基于眼动技术判断心理测试可靠性的系统及方法。
背景技术
目前：心理测试是以测量心理特性为目的，通过各种心理测量客观地对人的心理状态、认识过程、情绪、意志、个性特征等方面进行评估的方法。心理测试一般用设计符合信效度的问卷方式进行，根据功能大致可将现有各种心理测试分成智力测试、人格测试、能力测试和神经心理测试等四类。在实际心理测试工作中，经常会出现“反应偏差”，即受测者进行心理测验时，由于认识不到位、观念不认同等原因导致对某些特定的内容没有反映出其原本意图的一种偏差。比如，当测试题目涉及受测者相关利益，而受测者明显察觉到了测试的目的，进而可能选择某些极端的选项或者与实际情况截然不同的选项，受测者还会出现不阅读或不认真阅读测试题内容而随意选择选项的情况，从而出现严重的心理测试反应偏差。然而，作为传统的心理测试方法很难界定受测者是否认真阅了读测试题内容并真实作答，以致测试结果与实际情况严重不符或背离。对心理障碍或疾病诊断、人员心理素质测评、人力资源管理、职业规划等都会产生严重不良影响。目前暂无可以实现对心理测试的可靠性的评价的方案，且没有将心理测试与眼动技术结合的方案，心理测试的准确性差。
通过上述分析，现有技术存在的问题及缺陷为：目前暂无可以实现对心理测试的可靠性的评价的方案，且没有将心理测试与眼动技术结合的方案，心理测试的准确性差。
发明内容
针对现有技术存在的问题，本发明提供了一种基于眼动技术判断心理测试可靠性的系统及方法。
本发明是这样实现的，一种基于眼动技术判断心理测试可靠性的方法，所述基于眼动技术判断心理测试可靠性的方法包括以下步骤：
步骤一，通过身份认证模块利用身份认证程序进行用户的身份认证，获取用户基本信息；通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
所述通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果，包括：
(1.1)使用心理测试仪进行获取皮肤电反应数据、脑电波变化数据、胸腹呼吸频率数据、脉搏跳动频率数据、血压变化数据，将数据进行综合处理得到综合数据；
(1.2)进行综合数据计算，得到心理测试仪测试评分；
(1.3)进行心理测试问卷并对问卷结构进行分析，得到问卷评分；
(1.4)使用测试评分和问卷评分进行综合评分的计算，得到心理测试结果；
步骤二，通过面部图像采集模块利用摄像头进行被测试者面部图像的采集；通过图像分析模块利用图像分析程序进行采集的面部图像的分析；
所述通过图像分析模块利用图像分析程序进行采集的面部图像的分析包括：
(2.1)采集人脸图像和非人脸图像作为人脸表情特征的训练样本；提取所述训练样本中包含人脸特征的目标图像；对所述人脸特征进行特定表情的分类；对每个所述特定表情进行等级划分，每个等级分别对应不同的数值区间；
(2.2)对所述包含人脸特征的目标图像进行图像描述和归一化处理，得到第一维度的特征系数；对所述第一维度的特征系数进行降维处理，得到第二维度的特征系数；
(2.3)以得到的第二维度的特征系数作为表情分析模型的输入参数，以表情识别的内容作为所述表情分析模型的输出参数，根据所述输入参数和所述输出参数进行所述表情分析模型的函数的回归拟合，得到人脸表情特征的线性拟合模型；
(2.4)对采集的面部图像进行人脸特征提取，得到人脸信息；对所述人脸信息进行图像描述和归一化处理，得到第一维度的特征系数；将得到的特征系数作为表情分析模型的输入参数；
(2.5)根据所述表情分析模型获得所述目标图像的表情分析结果，所述表情分析模型为通过表情特征训练得到的人脸表情特征的线性拟合模型；
步骤三，通过角度调整模块利用角度调节器进行摄像头的角度的调节，使摄像头与面部平行；通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪；
所述通过角度调整模块利用角度调节器进行摄像头的角度的调节，包括：
(1)对面部图像在水平方向上旋转寻优；
(2)对水平旋转后的面部图像在垂直方向上错切变换，得到倾斜矫正后的面部图像；
(3)对水平以及垂直变换的角度进行记录，并利用角度调节器进行摄像头的角度的调节；
步骤四，通过注视时间记录模块利用计时器进行注视时间的记录；通过注视次数记录模块利用注视次数记录程序对每次眨眼进行记录，得到注视次数；
步骤五，通过轨迹绘制模块利用轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
步骤六，通过分析模块利用轨迹分析程序进行眼动轨迹和注释时间对应的注视次数的分析；通过可靠性判定模块利用可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
进一步，步骤一中，所述心理测试问卷包括：社会适应能力测试、心理健康状态测试、抗压能力测试、智力测试、自我意识测试、情绪测试。
进一步，步骤三中，所述通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪，包括：采用红外摄像捕捉的方式进行瞳孔图像的获取，得到眼部注视点。
进一步，所述得到眼部注视点，包括：
(1)采集被测试者正前方的刺激图片的视野图像，将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒；
(2)将眼部运动图像及所述视野图像转化为灰度图，剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；
(3)对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；
(4)对剪裁后的视野图像进行处理，提取刺激图片的标志物中心位置；
(5)于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；
(6)于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。
进一步，步骤(2)中，所述剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分，包括：将眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，去除边界区域。
进一步，步骤(4)中，所述提取刺激图片的标志物中心位置，包括：根据刺激图片的特点，取角点密集区域的中心为标志物中心。
进一步，步骤六中，所述判定结果包括：可参考、一般、较差。
本发明的另一目的在于提供一种实施所述基于眼动技术判断心理测试可靠性的方法的基于眼动技术判断心理测试可靠性的系统，所述基于眼动技术判断心理测试可靠性的系统包括：
身份认证模块、心理测试模块、面部图像采集模块、中央控制模块、图像分析模块、角度调整模块、眼动追踪模块、注视时间记录模块、注视次数记录模块、轨迹绘制模块、分析模块、可靠性判定模块；
身份认证模块，与中央控制模块连接，用于通过身份认证程序进行用户的身份认证，获取用户基本信息；
心理测试模块，与中央控制模块连接，用于通过心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
面部图像采集模块，与中央控制模块连接，用于通过摄像头进行被测试者面部图像的采集；
中央控制模块，与身份认证模块、心理测试模块、面部图像采集模块、图像分析模块、角度调整模块、眼动追踪模块、注视时间记录模块、注视次数记录模块、轨迹绘制模块、分析模块、可靠性判定模块连接，用于通过主控机控制各个模块正常运行；
图像分析模块，与中央控制模块连接，用于通过图像分析程序进行采集的面部图像的分析；
角度调整模块，与中央控制模块连接，用于通过角度调节器进行摄像头的角度的调节，使摄像头与面部平行；
眼动追踪模块，与中央控制模块连接，用于通过眼动追踪程序进行被测试者眼部注视点的追踪；
注视时间记录模块，与中央控制模块连接，用于通过计时器进行注视时间的记录；
注视次数记录模块，与中央控制模块连接，用于通过注视次数记录程序对每次眨眼进行记录，得到注视次数；
轨迹绘制模块，与中央控制模块连接，用于通过轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
分析模块，与中央控制模块连接，用于通过轨迹分析程序进行眼动轨迹和注释时间对应的注视次数；
可靠性判定模块，与中央控制模块连接，用于通过可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
本发明的另一目的在于提供一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施所述基于眼动技术判断心理测试可靠性的方法。
本发明的另一目的在于提供一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行所述基于眼动技术判断心理测试可靠性的方法。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明进行心理测试仪器和心理问卷的双重检测，获取的心理测试结果更准确。在获取心理测试结果后采用眼动技术进行可靠性的评价，能够提高被测试者心理测试时状态监测的准确性，判断此套心理测试结果是否有效，甄选出因各种因素导致出现心理测试反应偏差，提高测试的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于眼动技术判断心理测试可靠性的方法的流程图。
图2是本发明实施例提供的基于眼动技术判断心理测试可靠性的系统的结构框图。
图3是本发明实施例提供的通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试的流程图。
图4是本发明实施例提供的通过角度调整模块利用角度调节器进行摄像头的角度的调节的流程图。
图5是本发明实施例提供的得到眼部注视点的流程图。
图2中：1、身份认证模块；2、心理测试模块；3、面部图像采集模块；4、中央控制模块；5、图像分析模块；6、角度调整模块；7、眼动追踪模块；8、注视时间记录模块；9、注视次数记录模块；10、轨迹绘制模块；11、分析模块；12、可靠性判定模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于眼动技术判断心理测试可靠性的系统及方法，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于眼动技术判断心理测试可靠性的方法包括以下步骤：
S101，通过身份认证模块利用身份认证程序进行用户的身份认证，获取用户基本信息；通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
S102，通过面部图像采集模块利用摄像头进行被测试者面部图像的采集；通过图像分析模块利用图像分析程序进行采集的面部图像的分析；
S103，通过角度调整模块利用角度调节器进行摄像头的角度的调节，使摄像头与面部平行；通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪；
S104，通过注视时间记录模块利用计时器进行注视时间的记录；通过注视次数记录模块利用注视次数记录程序对每次眨眼进行记录，得到注视次数；
S105，通过轨迹绘制模块利用轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
S106，通过分析模块利用轨迹分析程序进行眼动轨迹和注释时间对应的注视次数的分析；通过可靠性判定模块利用可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
如图2所示，本发明实施例提供的基于眼动技术判断心理测试可靠性的系统包括：
身份认证模块1、心理测试模块2、面部图像采集模块3、中央控制模块4、图像分析模块5、角度调整模块6、眼动追踪模块7、注视时间记录模块8、注视次数记录模块9、轨迹绘制模块10、分析模块11、可靠性判定模块12；
身份认证模块1，与中央控制模块4连接，用于通过身份认证程序进行用户的身份认证，获取用户基本信息；
心理测试模块2，与中央控制模块4连接，用于通过心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
面部图像采集模块3，与中央控制模块4连接，用于通过摄像头进行被测试者面部图像的采集；
中央控制模块4，与身份认证模块1、心理测试模块2、面部图像采集模块3、图像分析模块5、角度调整模块6、眼动追踪模块7、注视时间记录模块8、注视次数记录模块9、轨迹绘制模块10、分析模块11、可靠性判定模块12连接，用于通过主控机控制各个模块正常运行；
图像分析模块5，与中央控制模块4连接，用于通过图像分析程序进行采集的面部图像的分析；
角度调整模块6，与中央控制模块4连接，用于通过角度调节器进行摄像头的角度的调节，使摄像头与面部平行；
眼动追踪模块7，与中央控制模块4连接，用于通过眼动追踪程序进行被测试者眼部注视点的追踪；
注视时间记录模块8，与中央控制模块4连接，用于通过计时器进行注视时间的记录；
注视次数记录模块9，与中央控制模块4连接，用于通过注视次数记录程序对每次眨眼进行记录，得到注视次数；
轨迹绘制模块10，与中央控制模块4连接，用于通过轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
分析模块11，与中央控制模块4连接，用于通过轨迹分析程序进行眼动轨迹和注释时间对应的注视次数；
可靠性判定模块12，与中央控制模块4连接，用于通过可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
下面结合具体实施例对本发明的技术方案作进一步说明。
实施例1：
本发明实施例提供的基于眼动技术判断心理测试可靠性的方法如图1所示，作为优选实施例，如图3所示，本发明实施例提供的通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，包括：
S201，使用心理测试仪进行获取皮肤电反应数据、脑电波变化数据、胸腹呼吸频率数据、脉搏跳动频率数据、血压变化数据，将数据进行综合处理得到综合数据；
S202，进行综合数据计算，得到心理测试仪测试评分；
S203，进行心理测试问卷并对问卷结构进行分析，得到问卷评分；
S204，使用测试评分和问卷评分进行综合评分的计算，得到心理测试结果。
步骤S101中，本发明实施例提供的心理测试问卷包括：社会适应能力测试、心理健康状态测试、抗压能力测试、智力测试、自我意识测试、情绪测试。
实施例2：
本发明实施例提供的基于眼动技术判断心理测试可靠性的方法如图1所示，作为优选实施例，本发明实施例提供的通过图像分析模块利用图像分析程序进行采集的面部图像的分析包括：
采集人脸图像和非人脸图像作为人脸表情特征的训练样本；提取所述训练样本中包含人脸特征的目标图像；对所述人脸特征进行特定表情的分类；对每个所述特定表情进行等级划分，每个等级分别对应不同的数值区间；对所述包含人脸特征的目标图像进行图像描述和归一化处理，得到第一维度的特征系数；对所述第一维度的特征系数进行降维处理，得到第二维度的特征系数；以得到的第二维度的特征系数作为表情分析模型的输入参数，以表情识别的内容作为所述表情分析模型的输出参数，根据所述输入参数和所述输出参数进行所述表情分析模型的函数的回归拟合，得到人脸表情特征的线性拟合模型；对采集的面部图像进行人脸特征提取，得到人脸信息；对所述人脸信息进行图像描述和归一化处理，得到第一维度的特征系数；将得到的特征系数作为表情分析模型的输入参数；根据所述表情分析模型获得所述目标图像的表情分析结果，所述表情分析模型为通过表情特征训练得到的人脸表情特征的线性拟合模型，
实施例3：
本发明实施例提供的基于眼动技术判断心理测试可靠性的方法如图1所示，作为优选实施例，如图4所示，本发明实施例提供的通过角度调整模块利用角度调节器进行摄像头的角度的调节，包括：
S301，对面部图像在水平方向上旋转寻优；
S302，对水平旋转后的面部图像在垂直方向上错切变换，得到倾斜矫正后的面部图像；
S303，对水平以及垂直变换的角度进行记录，并利用角度调节器进行摄像头的角度的调节。
实施例4：
本发明实施例提供的基于眼动技术判断心理测试可靠性的方法如图1所示，作为优选实施例，本发明实施例提供的通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪，包括：采用红外摄像捕捉的方式进行瞳孔图像的获取，得到眼部注视点。
如图5所示，本发明实施例提供的得到眼部注视点，包括：
S401，采集被测试者正前方的刺激图片的视野图像，将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒；
S402，将眼部运动图像及所述视野图像转化为灰度图，剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；
S403，对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；
S404，对剪裁后的视野图像进行处理，提取刺激图片的标志物中心位置；
S405，于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；
S406，于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。
步骤S402中，本发明实施例提供的剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分，包括：将眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，去除边界区域。
步骤S404中，本发明实施例提供的提取刺激图片的标志物中心位置，包括：根据刺激图片的特点，取角点密集区域的中心为标志物中心。
实施例5：
本发明实施例提供的基于眼动技术判断心理测试可靠性的方法如图1所示，作为优选实施例，本发明实施例提供的判定结果包括：可参考、一般、较差。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于眼动技术判断心理测试可靠性的方法，其特征在于，所述基于眼动技术判断心理测试可靠性的方法包括以下步骤：
步骤一，通过身份认证模块利用身份认证程序进行用户的身份认证，获取用户基本信息；通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
所述通过心理测试模块利用心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果，包括：
(1.1)使用心理测试仪进行获取皮肤电反应数据、脑电波变化数据、胸腹呼吸频率数据、脉搏跳动频率数据、血压变化数据，将数据进行综合处理得到综合数据；
(1.2)进行综合数据计算，得到心理测试仪测试评分；
(1.3)进行心理测试问卷并对问卷结构进行分析，得到问卷评分；
(1.4)使用测试评分和问卷评分进行综合评分的计算，得到心理测试结果；
步骤二，通过面部图像采集模块利用摄像头进行被测试者面部图像的采集；通过图像分析模块利用图像分析程序进行采集的面部图像的分析；
所述通过图像分析模块利用图像分析程序进行采集的面部图像的分析包括：
(2.1)采集人脸图像和非人脸图像作为人脸表情特征的训练样本；提取所述训练样本中包含人脸特征的目标图像；对所述人脸特征进行特定表情的分类；对每个所述特定表情进行等级划分，每个等级分别对应不同的数值区间；
(2.2)对所述包含人脸特征的目标图像进行图像描述和归一化处理，得到第一维度的特征系数；对所述第一维度的特征系数进行降维处理，得到第二维度的特征系数；
(2.3)以得到的第二维度的特征系数作为表情分析模型的输入参数，以表情识别的内容作为所述表情分析模型的输出参数，根据所述输入参数和所述输出参数进行所述表情分析模型的函数的回归拟合，得到人脸表情特征的线性拟合模型；
(2.4)对采集的面部图像进行人脸特征提取，得到人脸信息；对所述人脸信息进行图像描述和归一化处理，得到第一维度的特征系数；将得到的特征系数作为表情分析模型的输入参数；
(2.5)根据所述表情分析模型获得所述目标图像的表情分析结果，所述表情分析模型为通过表情特征训练得到的人脸表情特征的线性拟合模型；
步骤三，通过角度调整模块利用角度调节器进行摄像头的角度的调节，使摄像头与面部平行；通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪；
所述通过角度调整模块利用角度调节器进行摄像头的角度的调节，包括：
(1)对面部图像在水平方向上旋转寻优；
(2)对水平旋转后的面部图像在垂直方向上错切变换，得到倾斜矫正后的面部图像；
(3)对水平以及垂直变换的角度进行记录，并利用角度调节器进行摄像头的角度的调节；
步骤四，通过注视时间记录模块利用计时器进行注视时间的记录；通过注视次数记录模块利用注视次数记录程序对每次眨眼进行记录，得到注视次数；
步骤五，通过轨迹绘制模块利用轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
步骤六，通过分析模块利用轨迹分析程序进行眼动轨迹和注释时间对应的注视次数的分析；通过可靠性判定模块利用可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
2.如权利要求1所述基于眼动技术判断心理测试可靠性的方法，其特征在于，步骤一中，所述心理测试问卷包括：社会适应能力测试、心理健康状态测试、抗压能力测试、智力测试、自我意识测试、情绪测试。
3.如权利要求1所述基于眼动技术判断心理测试可靠性的方法，其特征在于，步骤三中，所述通过眼动追踪模块利用眼动追踪程序进行被测试者眼部注视点的追踪，包括：采用红外摄像捕捉的方式进行瞳孔图像的获取，得到眼部注视点。
4.如权利要求3所述基于眼动技术判断心理测试可靠性的方法，其特征在于，所述得到眼部注视点，包括：
(1)采集被测试者正前方的刺激图片的视野图像，将中心黑色十字形标志物图片、左上黑色十字形标志物图片、右上黑色十字形标志物图片、左下黑色十字形标志物图片及右下黑色十字形标志物图片依次显示3-5秒；
(2)将眼部运动图像及所述视野图像转化为灰度图，剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分；
(3)对剪裁后的眼部运动图像进行处理以提取瞳孔中心位置；
(4)对剪裁后的视野图像进行处理，提取刺激图片的标志物中心位置；
(5)于校准时根据瞳孔中心位置数据和标志物中心位置数据建立回归模型；
(6)于测试时根据建立的回归模型由瞳孔中心位置计算注视点位置。
5.如权利要求4所述基于眼动技术判断心理测试可靠性的方法，其特征在于，步骤(2)中，所述剪裁去除眼部运动图像中与眼部无关的部分及去除视野图像中与刺激图片无关的部分，包括：将眼部运动图像二值化，并对二值化后的眼部运动图像进行闭运算，将各区域联通，去除边界区域。
6.如权利要求4所述基于眼动技术判断心理测试可靠性的方法，其特征在于，步骤(4)中，所述提取刺激图片的标志物中心位置，包括：根据刺激图片的特点，取角点密集区域的中心为标志物中心。
7.如权利要求1所述基于眼动技术判断心理测试可靠性的方法，其特征在于，步骤六中，所述判定结果包括：可参考、一般、较差。
8.一种实施如权利要求1-7所述基于眼动技术判断心理测试可靠性的方法的基于眼动技术判断心理测试可靠性的系统，其特征在于，所述基于眼动技术判断心理测试可靠性的系统包括：
身份认证模块、心理测试模块、面部图像采集模块、中央控制模块、图像分析模块、角度调整模块、眼动追踪模块、注视时间记录模块、注视次数记录模块、轨迹绘制模块、分析模块、可靠性判定模块；
身份认证模块，与中央控制模块连接，用于通过身份认证程序进行用户的身份认证，获取用户基本信息；
心理测试模块，与中央控制模块连接，用于通过心理测试仪器与心理测试问卷进行心理测试，得到心理测试结果；
面部图像采集模块，与中央控制模块连接，用于通过摄像头进行被测试者面部图像的采集；
中央控制模块，与身份认证模块、心理测试模块、面部图像采集模块、图像分析模块、角度调整模块、眼动追踪模块、注视时间记录模块、注视次数记录模块、轨迹绘制模块、分析模块、可靠性判定模块连接，用于通过主控机控制各个模块正常运行；
图像分析模块，与中央控制模块连接，用于通过图像分析程序进行采集的面部图像的分析；
角度调整模块，与中央控制模块连接，用于通过角度调节器进行摄像头的角度的调节，使摄像头与面部平行；
眼动追踪模块，与中央控制模块连接，用于通过眼动追踪程序进行被测试者眼部注视点的追踪；
注视时间记录模块，与中央控制模块连接，用于通过计时器进行注视时间的记录；
注视次数记录模块，与中央控制模块连接，用于通过注视次数记录程序对每次眨眼进行记录，得到注视次数；
轨迹绘制模块，与中央控制模块连接，用于通过轨迹获取程序依据采集的眼部注视点进行眼动轨迹的绘制，得到眼动轨迹；
分析模块，与中央控制模块连接，用于通过轨迹分析程序进行眼动轨迹和注释时间对应的注视次数；
可靠性判定模块，与中央控制模块连接，用于通过可靠性判定程序依照眼动轨迹分析结果和面部图像分析结果进行可靠性判定，得到判定结果。
9.一种存储在计算机可读介质上的计算机程序产品，包括计算机可读程序，供于电子装置上执行时，提供用户输入接口以实施如权利要求1-7任意一项所述基于眼动技术判断心理测试可靠性的方法。
10.一种计算机可读存储介质，储存有指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1-7任意一项所述基于眼动技术判断心理测试可靠性的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011282977.9A CN112472089A (zh) | 2020-11-17 | 2020-11-17 | 一种基于眼动技术判断心理测试可靠性的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011282977.9A CN112472089A (zh) | 2020-11-17 | 2020-11-17 | 一种基于眼动技术判断心理测试可靠性的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112472089A true CN112472089A (zh) | 2021-03-12 |
Family
ID=74931629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011282977.9A Pending CN112472089A (zh) | 2020-11-17 | 2020-11-17 | 一种基于眼动技术判断心理测试可靠性的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112472089A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113475806A (zh) * | 2021-07-14 | 2021-10-08 | 中国林业科学研究院林业科技信息研究所 | 基于眼动数据实时反映人体对环境偏好的便携式穿戴设备 |
| CN113729708A (zh) * | 2021-09-10 | 2021-12-03 | 上海理工大学 | 一种基于眼动技术的谎言评判方法 |
| CN113870301A (zh) * | 2021-09-18 | 2021-12-31 | 西安交通大学 | 基于目光焦点跟踪的问卷有效性评估方法、系统及设备 |
| CN114209324A (zh) * | 2022-02-21 | 2022-03-22 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr系统 |
| CN115234808A (zh) * | 2022-05-20 | 2022-10-25 | 温州医科大学 | 一种心理咨询中用于心理测写的微表情记录装置 |
| CN115607153A (zh) * | 2022-09-06 | 2023-01-17 | 北京工业大学 | 一种基于眼动追踪的心理量表回答质量评估系统及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及系统 |
| CN106691476A (zh) * | 2017-01-16 | 2017-05-24 | 清华大学 | 基于眼动特征的图像认知心理分析系统 |
| CN108836363A (zh) * | 2018-04-08 | 2018-11-20 | 重庆讲究科技有限公司 | 一种应用眼动测控技术判断心理健康测评是否可靠的方法 |
| CN109194952A (zh) * | 2018-10-31 | 2019-01-11 | 清华大学 | 头戴式眼动追踪设备及其眼动追踪方法 |
| CN109222888A (zh) * | 2018-11-05 | 2019-01-18 | 温州职业技术学院 | 一种基于眼动技术判断心理测试可靠性的方法 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及系统 |
-
2020
- 2020-11-17 CN CN202011282977.9A patent/CN112472089A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104766041A (zh) * | 2014-01-07 | 2015-07-08 | 腾讯科技（深圳）有限公司 | 一种图像识别方法、装置及系统 |
| CN106691476A (zh) * | 2017-01-16 | 2017-05-24 | 清华大学 | 基于眼动特征的图像认知心理分析系统 |
| CN108836363A (zh) * | 2018-04-08 | 2018-11-20 | 重庆讲究科技有限公司 | 一种应用眼动测控技术判断心理健康测评是否可靠的方法 |
| CN109194952A (zh) * | 2018-10-31 | 2019-01-11 | 清华大学 | 头戴式眼动追踪设备及其眼动追踪方法 |
| CN109222888A (zh) * | 2018-11-05 | 2019-01-18 | 温州职业技术学院 | 一种基于眼动技术判断心理测试可靠性的方法 |
| CN111887867A (zh) * | 2020-07-10 | 2020-11-06 | 衡阳师范学院 | 基于表情识别与心理学测试生成性格的分析方法及系统 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113475806A (zh) * | 2021-07-14 | 2021-10-08 | 中国林业科学研究院林业科技信息研究所 | 基于眼动数据实时反映人体对环境偏好的便携式穿戴设备 |
| CN113729708A (zh) * | 2021-09-10 | 2021-12-03 | 上海理工大学 | 一种基于眼动技术的谎言评判方法 |
| CN113729708B (zh) * | 2021-09-10 | 2023-06-20 | 上海理工大学 | 一种基于眼动技术的谎言评判方法 |
| CN113870301A (zh) * | 2021-09-18 | 2021-12-31 | 西安交通大学 | 基于目光焦点跟踪的问卷有效性评估方法、系统及设备 |
| CN113870301B (zh) * | 2021-09-18 | 2024-02-06 | 西安交通大学 | 基于目光焦点跟踪的问卷有效性评估方法、系统及设备 |
| CN114209324A (zh) * | 2022-02-21 | 2022-03-22 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr系统 |
| CN114209324B (zh) * | 2022-02-21 | 2022-07-15 | 北京科技大学 | 基于图像视觉认知的心理测评数据获取方法及vr系统 |
| CN115234808A (zh) * | 2022-05-20 | 2022-10-25 | 温州医科大学 | 一种心理咨询中用于心理测写的微表情记录装置 |
| CN115607153A (zh) * | 2022-09-06 | 2023-01-17 | 北京工业大学 | 一种基于眼动追踪的心理量表回答质量评估系统及方法 |
| CN115607153B (zh) * | 2022-09-06 | 2023-11-28 | 北京工业大学 | 一种基于眼动追踪的心理量表回答质量评估系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112472089A (zh) | 一种基于眼动技术判断心理测试可靠性的系统及方法 | |
| US10188338B2 (en) | Content evaluation system and content evaluation method using the system | |
| CN109222888B (zh) | 一种基于眼动技术判断心理测试可靠性的方法 | |
| CN110428908B (zh) | 一种基于人工智能的眼睑运动功能评估系统 | |
| CN111326253A (zh) | 自闭症谱系障碍患者的多模态情感认知能力的评估方法 | |
| KR101247748B1 (ko) | 사용자 집중도 분석장치 및 방법 | |
| CN110801237A (zh) | 一种基于眼动和脑电特征的认知能力评估系统及其方法 | |
| CN111887867A (zh) | 基于表情识别与心理学测试生成性格的分析方法及系统 | |
| CN115607153B (zh) | 一种基于眼动追踪的心理量表回答质量评估系统及方法 | |
| CN114565957A (zh) | 基于微表情识别的意识评估方法及系统 | |
| CN110660454A (zh) | 一种癌痛实时评估仪及其评估方法 | |
| Gaber et al. | Automated grading of facial paralysis using the Kinect v2: a proof of concept study | |
| Niemann et al. | Towards a multimodal multisensory cognitive assessment framework | |
| CN115299947A (zh) | 基于多模态生理数据的心理量表置信度评估方法及系统 | |
| CN112614583A (zh) | 抑郁等级测试系统 | |
| WO2019232579A1 (en) | Technology adapted to enable improved collection of involuntary eyelid movement parameters, including collection of eyelid movement parameters to support analysis of neurological factors | |
| CN115439920B (zh) | 基于情绪视听刺激和面部表情的意识状态检测系统、设备 | |
| CN115512410A (zh) | 基于眼部异常姿态的异常屈光状态识别方法及装置 | |
| CN115223232A (zh) | 一种眼健康综合管理系统 | |
| CN118121152B (zh) | 一种视力状况检测方法、装置、设备及介质 | |
| CN111528790B (zh) | 一种取像装置、视力数据处理方法和眼底数据处理方法 | |
| CN115429272B (zh) | 基于多模态生理信号的心理健康状态评估方法及系统 | |
| US20230284962A1 (en) | Systems and methods for diagnosing, assessing, and quantifying brain trauma | |
| Villa Monte et al. | A support system for the diagnosis of balance pathologies | |
| CN117954086A (zh) | 一种癫痫患者社会认知过程化评估系统及评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |