CN103211605B - 一种心理测试系统及心理测试方法 - Google Patents
一种心理测试系统及心理测试方法 Download PDFInfo
- Publication number
- CN103211605B CN103211605B CN201310177396.2A CN201310177396A CN103211605B CN 103211605 B CN103211605 B CN 103211605B CN 201310177396 A CN201310177396 A CN 201310177396A CN 103211605 B CN103211605 B CN 103211605B
- Authority
- CN
- China
- Prior art keywords
- training sample
- eye image
- pupil
- matrix
- test sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及一种心理测试系统及心理测试方法,该系统包括人眼图像采集装置和主机子系统;人眼图像采集装置用于人眼图像的采集压缩编码,然后将人眼图像传输至主机子系统;主机子系统用于对接受的每一人眼图像进行处理,得到训练样本,记录每一训练样本表征的心理状态,将测试样本与训练样本进行匹配,与测试样本相匹配的最佳匹配训练样本表征的心理状态即为测试样本表征的心理状态。心理测试方法利用该测试系统,应用瞳孔区域分析与定位、信息建模、KPCA方法、模式识别与分类方法完成对被试的心理状态判定。该测试系统操作简单快捷,同时避免了可见光的干扰,该方法实现瞳孔的精确定位和瞳孔面积的精细分析,对被试心理状态的判定准确性高。
Description
技术领域
本发明涉及一种心理测试系统及心理测试方法。
背景技术
随着图像分析技术的发展,眼球定位与跟踪技术已逐渐成熟并实用化。应用眼动轨迹与瞳孔缩放信息可进行多种心理和生理测试:通过眼球定位可进行视线追踪,实现人机交互;一些学者通过提取人在阅读过程中的眼球运动特征可以进行人的性格及心理分析;通过受试者对敏感的视觉刺激信息的反应,可以进行眼球运动和瞳孔收缩与扩张分析,实现“测谎”等多种应用。
“眼睛是心灵的窗户”,瞳孔缩放与心理反应密切相关,而且不受人的控制。通常,在恐怖、紧张、愤怒、喜爱、疼痛等状态下,瞳孔会扩大;而在厌恶、疲倦、烦恼时则会缩小;人们在出现强烈兴趣或追求动机时,瞳孔也会迅速扩大。在西方流传着古代一个赌徒诈骗庄家的故事,就是利用瞳孔来行骗。狡猾的赌徒先用小金额下注,并密切注视庄家的反应。如果押中了,庄家的瞳孔就会骤然扩大,其同伙就加大赌注,庄家屡次输钱却不知道秘密是如何泄露的。古代波斯的珠宝商人也会通过观察瞳孔获利。如果珠宝能使顾客的瞳孔扩张,商人就可把价定高一些。这些故事表明人们早就注意到心理活动和瞳孔有密切关系。
科学研究表明,瞳孔变化可以反映人们内心世界。有心理学家用两张美丽的人像照片给被测试的人观看,两张照片是完全相同的,但其中一张有一点极细微的缺点。受试者说不出两张照片有什么不同,但瞳孔对两张照片的反应却有所差异。这个实验说明,瞳孔是很难受到人为控制的,它是一种潜意识的反应。训练有素的人可对自己进行全方位的伪装,而瞳孔却不会说谎。
此外,心理活动还会反应到眼动轨迹上。美国著名心理学家大卫·李伯曼教授发现,对大多数人来说,当人们的大脑进入记忆搜索状态,也就是回忆某件真实存在的事情时,眼睛会先向上、再向左转动。而如果当一个人尝试去编造谎话时,眼球则会先向上、再向右转动。研究人员把眼球的运动轨迹主要分为六个方向:左上﹑左中﹑左下﹑右上﹑右中、右下,每个位置都有不同的意义。在心理分析中,右边代表将来,左边代表过去,上边代表视觉,中间代表听觉,下边代表感觉、理性思维。因此,当眼睛转向左上方,表示在回想一些视觉上的记忆;眼睛转向左中方,表示在回想一些听觉上的记忆;眼睛转向左下方,表示在内心进行一些理性思考;眼睛转向右上方,表示在思考未来;眼睛转向右中方,表示在想象一个声音,例如在想象询问某人问题时,对方会如何答复;眼睛转向右下方,表示正在体会一种身体上的感觉。
上海天岸电子科技有限公司开发了瞳孔心理测试仪,是国内唯一一家采用瞳孔测谎技术的公司。应用瞳孔进行心理测试有充分的科学依据,但也面临许多技术难题,造成在可靠性方面的不足。首先,瞳孔易受光线强弱的干扰;其次,瞳孔图像的采集和后续处理不够完善,反应在定位的精确度和区域面积分析的准确性不足,重复性不理想;此外,如何利用眼动轨迹和瞳孔缩放信息建立信息模型,并通过有效的技术手段提取特征,构造评价体系,提高系统的鲁棒性,是需要进一步研究的问题。
发明内容
针对现有技术存在的上述问题,本发明的目的是:提供一种心理测试系统,该系统可很好地解决心理测试中的易用性、鲁棒性、可重复性的技术问题。
为实现上述发明目的,本发明采用如下技术方案:一种心理测试系统,其特征在于:该系统包括人眼图像采集装置和主机子系统;所述人眼图像采集装置用于人眼图像的采集和压缩编码,并将压缩后的人眼图像传输至主机子系统;所述主机子系统用于对人眼图像采集装置传输的每一人眼图像进行处理,得到训练样本,并记录每一训练样本所表征的心理状态,然后将测试样本与训练样本进行匹配,与测试样本相匹配的最佳匹配训练样本表征的心理状态即为测试样本表征的心理状态。
作为优化,所述人眼图像采集装置包括头戴式固定架、充电电池、DC-DC转换模块、电路板、2只红外LED和2只视频摄像头;所述头戴式固定架上与人眼相对位置处具有透明的观察窗,所述2只视频摄像头分别设置在观察窗内侧,并用于采集人眼图像;所述2只红外LED用于为视频摄像头工作时提供照明;所述电路板包括依次连接的模数转换及存储单元,图像压缩编码单元和无线通信单元;所述模数转换及存储单元有2路分别用于对2只视频摄像头采集人眼图像进行模数转换和存储,图像压缩编码单元用于对模数转换及存储单元处理后的人眼视频图像进行压缩编码,所述无线通信单元用于将压缩后的人眼视频图像传输至主机子系统。所述充电电池对红外LED和视频摄像头提供电源,所述充电电池通过DC-DC转换模块对电路板供电。
作为优化,所述主机子系统包括瞳孔区域分析与定位模块、信息联合建模模块、样本收集模块、主成分分析模块、分类器构造模块、测试样本分类判决模块;所述瞳孔区域分析与定位模块用于对人眼图像采集装置传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量;所述信息联合建模模块用于将所述瞳孔区域分析与定位模块的对人眼图像处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到训练样本矩阵;所述样本收集模块用于记录所述训练样本矩阵中每个训练样本表征的心理状态;所述主成分分析模块用于对所述训练样本矩阵中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息;所述分类器构造模块用于对每个训练样本降维信息建立最邻近分类器,并分别计算测试样本降维信息与每个训练样本降维信息间的欧氏距离;所述测试样本分类判决模块用于确定测试样本降维信息与所有训练样本降维信息欧氏距离中的最小欧氏距离所对应的训练样本,并将该训练样本作为最佳匹配训练样本,将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
一种心理状态测试方法,采用上述所述的心理测试系统测试,具体步骤如下:
S1:利用人眼图像采集装置采集人眼图像,并将其压缩编码,然后再将压缩后的人眼图像传输至主机子系统的瞳孔区域分析与定位模块;
S2:所述瞳孔区域分析与定位模块对人眼图像采集装置传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量;
每一人眼图像的每一帧中瞳孔位置横纵坐标为x,y、瞳孔面积为s,瞳孔缩放比率为z,用百分比表示为z=100(s-smin)/smin,smin表示每一人眼图像中所有帧图像中瞳孔面积的最小值;
S3:所述信息联合建模模块将步骤S2处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到一个训练样本,Aij={x1,y1,z1;x2,y2,z2…xp,yp,zp…xk,yk,zk},p∈{1,2,...,k},其中,k表示第i个人眼图像所包含的总帧数,j=3k,xp,yp表示第i个人眼图像的第p帧中瞳孔位置的横纵坐标,zp表示第i个人眼图像的第p帧中瞳孔缩放比率,若有m个人眼图像,则可得到m×n的训练样本矩阵Amn,其中m表示训练样本的数量,n表示每个训练样本的维数;
S4:所述样本收集模块记录所述训练样本矩阵Amn中每个训练样本表征的心理状态;
S5:所述主成分分析模块对所述训练样本矩阵Amn中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息;
S6:所述分类器构造模块对经过步骤S5降维处理后的每个训练样本降维信息建立最邻近分类器;
S7:所述测试样本分类判决模块从步骤S6中计算的得到的所有欧式距离中确定最小欧氏距离,并将该最小欧氏距离对应的训练样本作为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,所述最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态。
作为心理状态测试方法的优化,所述步骤S2中瞳孔区域分析与定位模块对人眼图像的处理,具体包括如下步骤:
S51:二值化处理,采用最大类间方差法自动计算阈值,将所述人眼图像中大于阈值的像素点的灰度值设定为0即黑点,小于阈值的像素点的灰度值则设定为255即白点,得到人眼图像的二值图像;
S52:中值滤波,选取步骤51中得到的二值图像中的任意一个像素点G及其邻域的8像素点,若所述9个像素点中白点数量大于黑点的数量,则将像素点G设为白点,反之,则将像素点G设为黑点;
S53:形态学处理,将经过步骤S52处理后的二值图像再采用膨胀、腐蚀交替两次处理;所述膨胀表示将人眼图像中白色区域向边界外扩大一个像素点,腐蚀则是将人眼图像中黑色区域向边界外扩大一个像素点;
S54:连通检测,对经过步骤S53处理后的二值图像的白色区域进行连通检测,若一个白点是另一个白点邻域中8像素点之一,则视所述两个白点具有连通特性,通过连通检测得到图像中的所有连通区域,对任一连通区域计算其像素点数和外接矩形对角线端点的坐标两项参数;
S55:瞳孔区域的确定,对步骤S54中确定的连通区域中,去除像素点数少于25或多于1500的连通区域;保留外接矩形的长宽比在0.8~1.2的连通区域;保留连通区域内白点数量与其外界矩形面积之比范围内的连通区域;在保留下来的连通区域中选择白点数最多的连通区域作为瞳孔区域;
S56:确定瞳孔位置、瞳孔面积和瞳孔缩放比率,计算所述瞳孔区域外接矩形的中心点,将该中心点作为瞳孔位置,该中心点的坐标作为瞳孔位置的坐标;所述瞳孔区域内白点的数量作为瞳孔面积;根据测试时间内采集的同一人眼图像中各帧的瞳孔面积与该人眼图像所有帧中最小的瞳孔面积之比,得到瞳孔缩放比率。
作为心理状态测试方法的优化,所述步骤S5中主成分分析模块采用基于核函数的主成分分析方法,具体包括如下步骤:
S61:选定核函数,根据核函数由样本矩阵Amn计算出m×m维标准化的核矩阵Kmm
S62:对所述核矩阵Kmm求解特征方程,得到特征值和相应的特征向量,按特征值从大到小排序,得到从大到小排列的特征值λ1,...,λb,...,λm和各特征值对应的特征向量v1,...,vc,...,vm,所有特征向量的维数为m;
S63:根据式(1)在所述特征值λ1,...,λb,...,λm中选取前t个特征值:
式(1)中,λb表示第b个特征值;
将特征值对应的特征向量作标准化处理,得到t个标准化的特征向量α1,...αd...,αt称为主成分,将所述主成分按{α1,...αd...,αt}格式组合,得到m×t维主成分矩阵αmt,其中,d∈{1,2,...,t},,其中vd表示第d个特征向量,λd表示第d个特征值;
S64:根据式(2)将m个训练样本在主成分矩阵αmt上的进行投影,得到所述m个训练样本降维后的m×t维训练样本降维信息矩阵Ymt,Ymt=Kmm·αmt(2)。
作为心理状态测试方法的优化,所述步骤S7测试样本分类判决模块通过如下步骤具体判定测试样本的心理状态的,具体如下:
S71,采用与得到训练样本矩阵相同的方法得到测试样本矩阵Tsn,根据步骤S61中相同的核函数,计算s×m维测试样本矩阵的标准化的核矩阵Ksm;
S72,利用步骤S63得到的主成分矩阵αmt,计算Ksm的在该主成分矩阵αmt投影,得到s×t维测试样本的降维信息矩阵Vst;
S73,所述测试样本的降维信息矩阵Vst任意行代表一个测试样本的降维信息,计算测试样本的降维信息矩阵Vst任意行与步骤S64中维训练样本降维信息矩阵Ymt每行的欧氏距离,得到m个欧氏距离,所述m个欧氏距离中最小欧氏距离对应的训练样本为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,最后将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
相对于现有技术,本发明具有如下优点:
1、本发明提供的心理测试系统应用眼动轨迹和瞳孔缩放联合建模,并在人眼图像采集装置包括头戴式固定架,同时该系统与外部没有任何电缆连接,使用时更加方便。
2、人眼图像采集装置还包括了2只红外LED为视频摄像头采集人眼图像时提供照明,摈弃可见光以避免干扰。
3、本发明采用无线传输技术将人眼图像采集装置采集的人眼图像传输至主机子系统,测试操作更加快捷方便。
4、瞳孔区域分析与定位模对人眼图像进行二值化处理、中值滤波、形态学处理、连通检测和瞳孔区域的确定几个步骤,实现瞳孔的精确定位和瞳孔面积的精细分析。
5、采用基于核函数的主成分分析方法KPCA用于人眼图像的降维处理,不但提高了分类能力,还加快了处理速度;通过设计不同实验动态生成训练样本,可以应用到多个邻域,易于扩展。
附图说明
图1为心理测试系统组成图
图2a为人眼图像采集装置使用状态正面图,图2b为人眼图像采集装置使用状态侧面图。
图3为心理状态测试方法的流程图。
图4为瞳孔区域分析与定位模块对人眼图像的处理流程图。
图5为受试者观察熟悉场景时的眼动轨迹与瞳孔缩放实例;图5a为通孔位置(x,y)与缩放比率(z,百分比)联合建模的三维散点分布;图5b为图5a对应的时间(x,单位1/25秒)-缩放比率(z,百分比)曲线。
图6为受试者观察不熟悉场景时的眼动轨迹与瞳孔缩放实例;图6a为通孔位置(x,y)与缩放比率(z,百分比)联合建模的三维散点分布;图6b为图6a对应的时间(x,单位1/25秒)-缩放比率(z,百分比)曲线。
图中,1主机子系统,2人眼图像采集装置,21透明的观察窗,22红外LED,23视频摄像头,24电路板。
具体实施方式
下面结合附图和实施例对本发明的技术做进一步详细说明。
实施例1:如图1-3所示,一种心理测试系统,该系统包括人眼图像采集装置和主机子系统。
人眼图像采集装置包括头戴式固定架、充电电池、DC-DC转换模块、电路板、2只红外LED和2只视频摄像头。
头戴式固定架上与人眼相对位置处具有透明的观察窗,所述2只视频摄像头分别设置在观察窗内侧,并用于采集人眼图像;2只红外LED用于为视频摄像头工作时提供照明;红外LED发出的光线强度是恒定的,从而避免了视频摄像采集人眼图像时,可见光对人眼的干扰。
电路板包括依次连接的模数转换及存储单元,图像压缩编码单元和无线通信单元;所述模数转换及存储单元有2路分别用于对2只视频摄像头采集人眼图像进行模数转换和存储,图像压缩编码单元用于对模数转换及存储单元处理后的人眼视频图像进行压缩编码,此处压缩编码依据H.264标准实现,所述无线通信单元用于将压缩后的人眼视频图像传输至主机子系统,此处无线通信单元可采用WIFI无线通信,以无线局域网方式完成人眼图像的传输。
充电电池对红外LED和视频摄像头提供电源,同时充电电池通过DC-DC转换模块对电路板供电,此处充电电池对红外LED和视频摄像头提供9V电源,并通过DC-DC转换模块生成3.7V电源对电路板供电。
主机子系统包括瞳孔区域分析与定位模块、信息联合建模模块、样本收集模块、主成分分析模块、分类器构造模块、测试样本分类判决模块。
瞳孔区域分析与定位模块用于对无线通信单元传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量。
信息联合建模模块用于将瞳孔区域分析与定位模块的对人眼图像处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到训练样本矩阵;每个信息矢量的维数等于含3乘以该信息矢量对应的人眼图像的总帧数。
样本收集模块用于记录训练样本矩阵中每个训练样本表征的心理状态,使每个训练样本表征一种心理状态。具体实施时,可将已经心理状态的样本作为训练样本。
主成分分析模块用于对训练样本矩阵中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息,现有技术中已经公开了如何对多维矢量进行降维处理的方法,此处对训练样本和测试样本的降维处理可采用现有已公开的技术。
分类器构造模块用于对每个训练样本降维信息建立最邻近分类器,并分别计算测试样本降维信息与每个训练样本降维信息间的欧氏距离;现有技术中已经公开了欧式距离的计算方法,此处采用现有技术公开的方法计算测试样本降维信息与每个训练样本降维信息间的欧式距离。
测试样本分类判决模块用于确定测试样本降维信息与所有训练样本降维信息欧氏距离中的最小欧氏距离所对应的训练样本,并将该训练样本作为最佳匹配训练样本,将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
实施例2:如图3-6所示,一种心理状态测试方法,该方法采用实施例1中的限定的理测试系统,具体步骤如下:
S1:2只视频摄像头分别采集人眼图像,并将采集的人眼图像经模数转换及存储单元处理后传输至图像压缩编码单元进行压缩编码,再经由无线通信单元传输至主机子系统的瞳孔区域分析与定位模块;
S2:瞳孔区域分析与定位模块对无线通信单元传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量;
每一人眼图像的每一帧中瞳孔位置横纵坐标为x,y、瞳孔面积为s,瞳孔缩放比率为z,用百分比表示为z=100(s-smin)/smin,smin表示每一人眼图像中所有帧图像中瞳孔面积的最小值。
瞳孔区域分析与定位模块对人眼图像的处理,具体包括如下步骤:
S21:二值化处理,采用最大类间方差法自动计算阈值,由于瞳孔亮度低,为了提取瞳孔区域,将无线通信单元传输的每一人眼图像中大于阈值的像素点的灰度值设定为0即黑点,小于阈值的像素点的灰度值则设定为255即白点,得到人眼图像的二值图像。
S22:中值滤波,选取步骤21得到的二值图像中的任意一个像素点G及其邻域的8像素点,若所述9个像素点中白点数量大于黑点的数量,则将像素点G设为白点,反之,则将像素点G设为黑点,通过中值滤波处理,可以消除步骤21得到的二值图像中孤点噪声的干扰。
此处的邻域是指,以像素点Q为中心点,由该Q点正上、正下、左、右、左上、左下、右上、右下的八个最邻近的像素点所组成的区域。
S23:形态学处理,将经过步骤S22处理后的二值图像再采用膨胀、腐蚀交替两次处理;所述膨胀表示将人眼图像中白色区域向边界外扩大一个像素点,腐蚀则是将人眼图像中黑色区域向边界外扩大一个像素点;通过形态学处理,可以减少LED灯影、睫毛或眉毛等区域对瞳孔造成的干扰。
S24:连通检测,对经过步骤S23处理后的二值图像的白色区域进行连通检测,若一个白点是另一个白点邻域中8像素点之一,则视所述两个白点具有连通特性,通过连通检测得到所有连通区域,对任一连通区域计算其像素点数和外接矩形对角线端点的坐标两项参数。
此处所述的外接矩形指的是,矩形的四条边均与连通区域外接。
S25:瞳孔区域的确定,对步骤S54中确定的连通区域中,去除像素点数少于25或多于1500的连通区域;保留外接矩形的长宽比在0.8~1.2的连通区域;保留连通区域内白点数量与其外界矩形面积之比范围内的连通区域;在保留下来的连通区域中选择像素点数最多的连通区域作为瞳孔区域。
S26:确定瞳孔位置、瞳孔面积和瞳孔缩放比率,计算所述瞳孔区域外接矩形的中心点,将该中心点作为瞳孔位置,该中心点的坐标作为瞳孔位置的坐标;所述瞳孔区域内白点的数量作为瞳孔面积;根据测试时间内采集的同一人眼图像中各帧的瞳孔面积与该人眼图像所有帧中最小的瞳孔面积之比,得到瞳孔缩放比率。
S3:所述信息联合建模模块将步骤S2处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到一个训练样本,Aij={x1,y1,z1;x2,y2,z2…xp,yp,zp…xk,yk,zk},p∈{1,2,...,k},其中,k表示第i个人眼图像所包含的总帧数,j=3k,xp,yp表示第i个人眼图像的第p帧中瞳孔位置的横纵坐标,zp表示第i个人眼图像的第p帧中瞳孔缩放比率,若有m个人眼图像,则可得到m×n的训练样本矩阵Amn,其中m表示训练样本的数量,n表示每个训练样本的维数。
S4:样本收集模块记录所述训练样本矩阵Amn中每个训练样本表征的心理状态;
S5:所述主成分分析模块对所述训练样本矩阵Amn中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息;
主成分分析模块采用基于核函数的主成分分析方法,具体包括如下步骤:
S51:选定核函数,根据核函数由样本矩阵Amn计算出m×m维标准化的核矩阵Kmm;
常用的核函数一般有多项式核函数、高斯径向基核函数和多层感知器核函数,本实施例中选用多项式核函数作为说明,具体如下:
多项式核函数的表达式如式(4):
K(x,xi)=[(x·xi)+1]g (4);
其中,取g=0.4,根据核函数由训练样本矩阵Amn按下式(6)计算出m×m维核矩阵Kmm的第i行e列元素Kie,其中aif表示训练样本矩阵Amn第i行f列的元素,aef为训练样本矩阵Amn第e行f列的元素,Kie构成维标准化的核矩阵Kmm:
S52:对所述核矩阵Kmm求解特征方程,得到特征值和相应的特征向量,按特征值从大到小排序,得到从大到小排列的特征值λ1,...,λb,...,λm和各特征值对应的特征向量v1,...,vc,...,vm,所有特征向量的维数为m;
S63:根据式(1)在所述特征值λ1,...,λb,...,λm中选取前t个特征值:
式(1)中,λb表示第b个特征值;
将特征值对应的特征向量作标准化处理,得到t个标准化的特征向量α1,...αd...,αt称为主成分,将所述主成分按{α1,...αd...,αt}格式组合,得到m×t维主成分矩阵αmt,其中,d∈{1,2,...,t},,vd表示第d个特征向量,λd表示第d个特征值;
S54:根据式(2)将m个训练样本在主成分矩阵αmt上的进行投影,得到所述m个训练样本降维后的m×t维训练样本降维信息矩阵Ymt,Ymt=Kmm·αmt(2)。
S6:所述分类器构造模块对经过步骤S5降维处理后的每个训练样本降维信息建立最邻近分类器。
S7:所述测试样本分类判决模块从步骤S6中计算的得到的所有欧式距离中确定最小欧氏距离,并将该最小欧氏距离对应的训练样本作为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,所述最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态;
测试样本分类判决模块通过如下步骤判定测试样本属于哪类训练样本,具体步骤如下:
S71,采用与得到训练样本矩阵相同的方法得到测试样本矩阵Tsn,根据步骤S61中相同的核函数,计算s×m维测试样本矩阵的标准化的核矩阵Ksm;维测试样本矩阵的标准化的核矩阵Ksm的计算方法如下:
采用式(4)的核函数,tαh表示Tsn矩阵α行h列的元素,tβh表示Tsn矩阵β行h列的元素,Kαβ构成维标准化的核矩阵Kmm:根据核函数由测试样本矩阵Tsn按下式(8)计算出s×m维核矩阵Ksm的第αf行β列元素Kαβ:
S72,利用步骤S53得到的主成分矩阵αmt,计算Ksm的在该主成分矩阵αmt投影,得到s×t维测试样本的降维信息矩阵Vst;
S73,所述测试样本的降维信息矩阵Vst任意行代表一个测试样本的降维信息,计算测试样本的降维信息矩阵Vst任意行与步骤S54中维训练样本降维信息矩阵Ymt每行的欧氏距离,得到m个欧氏距离,所述m个欧氏距离中最小欧氏距离对应的训练样本为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,最后,将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本邻域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种心理测试系统,其特征在于:该系统包括人眼图像采集装置和主机子系统;
所述人眼图像采集装置用于人眼图像的采集和压缩编码,并将压缩后的人眼图像传输至主机子系统;
所述主机子系统用于对人眼图像采集装置传输的每一人眼图像进行处理,得到训练样本,并记录每一训练样本所表征的心理状态,然后将测试样本与训练样本进行匹配,与测试样本相匹配的最佳匹配训练样本表征的心理状态即为测试样本表征的心理状态;
所述人眼图像采集装置包括头戴式固定架、充电电池、DC‐DC转换模块、电路板、2
只红外LED和2只视频摄像头;
所述头戴式固定架上与人眼相对位置处具有透明的观察窗,所述2只视频摄像头分别设置在观察窗内侧,并用于采集人眼图像;
所述2只红外LED用于为视频摄像头工作时提供照明;
所述电路板包括依次连接的模数转换及存储单元,图像压缩编码单元和无线通信单元;所述模数转换及存储单元有2路分别用于对2只视频摄像头采集人眼图像进行模数转换和存储,图像压缩编码单元用于对模数转换及存储单元处理后的人眼视频图像进行压缩编码,所述无线通信单元用于将压缩后的人眼视频图像传输至主机子系统;
所述充电电池对红外LED和视频摄像头提供电源,所述充电电池通过DC‐DC转换模块对电路板供电;
所述主机子系统包括瞳孔区域分析与定位模块、信息联合建模模块、样本收集模块、
主成分分析模块、分类器构造模块、测试样本分类判决模块;
所述瞳孔区域分析与定位模块用于对人眼图像采集装置传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量;
所述信息联合建模模块用于将所述瞳孔区域分析与定位模块的对人眼图像处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到训练样本矩阵;
所述样本收集模块用于记录所述训练样本矩阵中每个训练样本表征的心理状态;
所述主成分分析模块用于对所述训练样本矩阵中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息;
所述分类器构造模块用于对每个训练样本降维信息建立最邻近分类器,并分别计算测试样本降维信息与每个训练样本降维信息间的欧氏距离;
所述测试样本分类判决模块用于确定测试样本降维信息与所有训练样本降维信息欧氏距离中的最小欧氏距离所对应的训练样本,并将该训练样本作为最佳匹配训练样本,将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
2.一种心理状态测试方法,其特征在于:采用权利要求1所述的心理测试系统测试,具体步骤如下:
S1:利用人眼图像采集装置采集人眼图像,并将其压缩编码,然后再将压缩后的人眼图像传输至主机子系统的瞳孔区域分析与定位模块;
S2:所述瞳孔区域分析与定位模块对人眼图像采集装置传输的每一人眼图像进行处理,得到每一人眼图像的每一帧中瞳孔位置、瞳孔面积和瞳孔缩放比率,并将瞳孔位置、瞳孔面积和瞳孔缩放比率作为每一帧人眼图像的信息矢量;
每一人眼图像的每一帧中瞳孔位置横纵坐标为x,y、瞳孔面积为s,瞳孔缩放比率为z,用百分比表示为z=100(s-smin)/smin,smin表示每一人眼图像中所有帧图像中瞳孔面积的最小值;
S3:所述信息联合建模模块将步骤S2处理得到的每一人眼图像中的所有信息矢量按照人眼图像中的帧序列组合在一起,得到一个训练样本,Aij={x1,y1,z1;x2,y2,z2···xp,yp,zp···xk,yk,zk},p∈{1,2,...,k},其中,k表示第i个人眼图像所包含的总帧数,j=3k,xp,yp表示第i个人眼图像的第p帧中瞳孔位置的横纵坐标,zp表示第i个人眼图像的第p帧中瞳孔缩放比率,若有m个人眼图像,则可得到m×n的训练样本矩阵Amn,其中m表示训练样本的数量,n表示每个训练样本的维数;
S4:所述样本收集模块记录所述训练样本矩阵Amn中每个训练样本表征的心理状态;
S5:所述主成分分析模块对所述训练样本矩阵Amn中每个训练样本进行降维处理,得到与每个训练样本对应的训练样本降维信息,对测试样本进行降维处理,得到测试样本降维信息;
S6:所述分类器构造模块对经过步骤S5降维处理后的每个训练样本降维信息建立最邻近分类器;
S7:所述测试样本分类判决模块从步骤S6中计算的得到的所有欧式距离中确定最小欧氏距离,并将该最小欧氏距离对应的训练样本作为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,所述最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态。
3.如权利要求2所述的心理状态测试方法,其特征在于:所述步骤S2中瞳孔区域分析与定位模块对人眼图像的处理,具体包括如下步骤:
S51:二值化处理,采用最大类间方差法自动计算阈值,将所述人眼图像中大于阈值的像素点的灰度值设定为0即黑点,小于阈值的像素点的灰度值则设定为255即白点,得到人眼图像的二值图像;
S52:中值滤波,选取步骤51中得到的二值图像中的任意一个像素点G及其邻域的8像素点,若所述9个像素点中白点数量大于黑点的数量,则将像素点G设为白点,反之,则将像素点G设为黑点;
S53:形态学处理,将经过步骤S52处理后的二值图像再采用膨胀、腐蚀交替两次处理;所述膨胀表示将人眼图像中白色区域向边界外扩大一个像素点,腐蚀则是将人眼图像中黑色区域向边界外扩大一个像素点;
S54:连通检测,对经过步骤S53处理后的二值图像的白色区域进行连通检测,若一个白点是另一个白点邻域中8像素点之一,则视所述两个白点具有连通特性,通过连通检测得到图像中的所有连通区域,对任一连通区域计算其像素点数和外接矩形对角线端点的坐标两项参数;
S55:瞳孔区域的确定,对步骤S54中确定的连通区域中,去除像素点数少于25或多于1500的连通区域;保留外接矩形的长宽比在0.8~1.2的连通区域;保留连通区域内白点数量与其外界矩形面积之比范围内的连通区域;在保留下来的连通区域中选择白点数最多的连通区域作为瞳孔区域;
S56:确定瞳孔位置、瞳孔面积和瞳孔缩放比率,计算所述瞳孔区域外接矩形的中心点,将该中心点作为瞳孔位置,该中心点的坐标作为瞳孔位置的坐标;所述瞳孔区域内白点的数量作为瞳孔面积;根据测试时间内采集的同一人眼图像中各帧的瞳孔面积与该人眼图像所有帧中最小的瞳孔面积之比,得到瞳孔缩放比率。
4.如权利要求2所述的心理状态测试方法,其特征在于:所述步骤S5中主成分分析模块采用基于核函数的主成分分析方法,具体包括如下步骤:
S61:选定核函数,根据核函数由样本矩阵Amn计算出m×m维标准化的核矩阵Kmm
S62:对所述核矩阵Kmm求解特征方程,得到特征值和相应的特征向量,按特征值从大到小排序,得到从大到小排列的特征值λ1,...,λb,...,λm和各特征值对应的特征向量v1,...,vc,...,vm,所有特征向量的维数为m;
S63:根据式(1)在所述特征值λ1,...,λb,...,λm中选取前t个特征值:
式(1)中,λb表示第b个特征值;
将特征值对应的特征向量作标准化处理,得到t个标准化的特征向量α1,...αd...,αt称为主成分,将所述主成分按{α1,...αd...,αt}格式组合,得到m×t维主成分矩阵αmt,其中,d∈{1,2,...,t},vd表示第d个特征向量,λd表示第d个特征值;
S64:根据式(2)将m个训练样本在主成分矩阵αmt上的进行投影,得到所述m个训练样本降维后的m×t维训练样本降维信息矩阵Ymt,Ymt=Kmm·αmt(2)。
5.如权利要求4所述的心理状态测试方法,其特征在于:所述步骤S7测试样本分类判决模块通过如下步骤具体判定测试样本的心理状态的,具体如下:
S71,采用与得到训练样本矩阵相同的方法得到测试样本矩阵Tsn,根据步骤S61中相同的核函数,计算s×m维测试样本矩阵的标准化的核矩阵Ksm;
S72,利用步骤S63得到的主成分矩阵αmt,计算Ksm的在该主成分矩阵αmt投影,得到s×t维测试样本的降维信息矩阵Vst;
S73,所述测试样本的降维信息矩阵Vst任意行代表一个测试样本的降维信息,计算测试样本的降维信息矩阵Vst任意行与步骤S64中维训练样本降维信息矩阵Ymt每行的欧氏距离,得到m个欧氏距离,所述m个欧氏距离中最小欧氏距离对应的训练样本为最佳匹配训练样本,则测试样本属于最佳匹配训练样本一类,最后将最佳匹配训练样本表征的心理状态认定为测试样本表征的心理状态输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177396.2A CN103211605B (zh) | 2013-05-14 | 2013-05-14 | 一种心理测试系统及心理测试方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310177396.2A CN103211605B (zh) | 2013-05-14 | 2013-05-14 | 一种心理测试系统及心理测试方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103211605A CN103211605A (zh) | 2013-07-24 |
CN103211605B true CN103211605B (zh) | 2015-02-18 |
Family
ID=48810021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310177396.2A Expired - Fee Related CN103211605B (zh) | 2013-05-14 | 2013-05-14 | 一种心理测试系统及心理测试方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103211605B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104679967B (zh) * | 2013-11-27 | 2017-12-19 | 广州华久信息科技有限公司 | 一种判断心理测试可靠性的方法 |
CN104274191B (zh) * | 2014-10-08 | 2016-05-11 | 北京中维监安信息科技有限公司 | 一种心理测评方法及其系统 |
RU2581707C1 (ru) * | 2015-03-20 | 2016-04-20 | Виктор Маркович Шкловский | Способ оценки эффективности лечебно-реабилитационных мероприятий у больных с нарушениями высших психических функций при очаговых поражениях головного мозга |
CN106923908B (zh) * | 2015-12-29 | 2021-09-24 | 东洋大学校产学协力团 | 性别注视特性分析系统 |
CN106407935A (zh) * | 2016-09-21 | 2017-02-15 | 俞大海 | 基于人脸图像和眼动注视信息的心理测试方法 |
CN106725530B (zh) * | 2016-12-03 | 2019-12-24 | 深圳市博沃思文化传播有限公司 | 基于视线的心理辅助分析系统和方法 |
CN106667506B (zh) * | 2016-12-21 | 2019-11-01 | 上海与德信息技术有限公司 | 一种基于皮肤电反应和瞳孔变化的测谎方法及装置 |
CN106682445B (zh) * | 2017-01-21 | 2019-03-05 | 浙江连信科技有限公司 | 一种心理测试系统 |
CN107704834B (zh) * | 2017-10-13 | 2021-03-30 | 深圳壹账通智能科技有限公司 | 微表情面审辅助方法、装置及存储介质 |
CN109199411B (zh) * | 2018-09-28 | 2021-04-09 | 南京工程学院 | 基于模型融合的案件知情者识别方法 |
CN109199379A (zh) * | 2018-10-23 | 2019-01-15 | 上海乐相科技有限公司 | 一种精神卫生状态检测装置、方法及系统 |
CN109480867A (zh) * | 2018-10-30 | 2019-03-19 | 深圳市心流科技有限公司 | 心理状态调节方法、装置及计算机可读存储介质 |
CN110659674A (zh) * | 2019-09-05 | 2020-01-07 | 东南大学 | 一种基于视线跟踪的测谎方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1403052A (zh) * | 2001-09-07 | 2003-03-19 | 昆明利普机器视觉工程有限公司 | 数字视频眼动分析仪 |
JP2005279053A (ja) * | 2004-03-30 | 2005-10-13 | Woc:Kk | 瞳孔反応確認装置および疲労回復促進装置 |
CN200994790Y (zh) * | 2006-12-19 | 2007-12-26 | 潘晓刚 | 心理状态参数测试系统 |
CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
CN101686815A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 人的状态推定装置以及方法 |
CN101803928A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 基于视频的驾驶员疲劳检测装置 |
CN102626304A (zh) * | 2012-04-19 | 2012-08-08 | 重庆大学 | 一种头盔式无线视频眼动仪 |
CN202604845U (zh) * | 2011-12-12 | 2012-12-19 | 张占强 | 基于tms320dm642平台的瞳孔测谎仪 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7963652B2 (en) * | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
JP4883580B2 (ja) * | 2007-06-05 | 2012-02-22 | 独立行政法人産業技術総合研究所 | 精神的疲労の検出方法、装置及びプログラム |
-
2013
- 2013-05-14 CN CN201310177396.2A patent/CN103211605B/zh not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1403052A (zh) * | 2001-09-07 | 2003-03-19 | 昆明利普机器视觉工程有限公司 | 数字视频眼动分析仪 |
JP2005279053A (ja) * | 2004-03-30 | 2005-10-13 | Woc:Kk | 瞳孔反応確認装置および疲労回復促進装置 |
CN200994790Y (zh) * | 2006-12-19 | 2007-12-26 | 潘晓刚 | 心理状态参数测试系统 |
CN101686815A (zh) * | 2007-06-27 | 2010-03-31 | 松下电器产业株式会社 | 人的状态推定装置以及方法 |
CN101561710A (zh) * | 2009-05-19 | 2009-10-21 | 重庆大学 | 一种基于人脸姿态估计的人机交互方法 |
CN101803928A (zh) * | 2010-03-05 | 2010-08-18 | 北京智安邦科技有限公司 | 基于视频的驾驶员疲劳检测装置 |
CN202604845U (zh) * | 2011-12-12 | 2012-12-19 | 张占强 | 基于tms320dm642平台的瞳孔测谎仪 |
CN102626304A (zh) * | 2012-04-19 | 2012-08-08 | 重庆大学 | 一种头盔式无线视频眼动仪 |
Also Published As
Publication number | Publication date |
---|---|
CN103211605A (zh) | 2013-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103211605B (zh) | 一种心理测试系统及心理测试方法 | |
Niu et al. | Rhythmnet: End-to-end heart rate estimation from face via spatial-temporal representation | |
CN109934111B (zh) | 一种基于关键点的健身姿态估计方法及系统 | |
CN110197169B (zh) | 一种非接触式的学习状态监测系统及学习状态检测方法 | |
CN102473238B (zh) | 用于图像分析的系统和方法 | |
Goh et al. | The CMU face in action (FIA) database | |
CN112001122B (zh) | 基于端到端生成对抗网络的非接触式生理信号测量方法 | |
CN109247923A (zh) | 基于视频的非接触式脉搏实时估计方法及设备 | |
CN109008964A (zh) | 一种生理信号提取的方法及装置 | |
CN109858407A (zh) | 一种基于多种信息流特征和异步融合的视频行为识别方法 | |
CN114067435A (zh) | 一种基于伪3d卷积网络与注意力机制的睡眠行为检测方法和系统 | |
CN116825365B (zh) | 基于多角度微表情的心理健康分析方法 | |
CN104808776A (zh) | 检测头戴式智能设备持续附着在人体上的装置和方法 | |
CN108937905A (zh) | 一种基于信号拟合的非接触式心率检测方法 | |
Wang et al. | VitaSi: A real-time contactless vital signs estimation system | |
Liu et al. | rPPG-MAE: Self-supervised pretraining with masked autoencoders for remote physiological measurements | |
CN104809371A (zh) | 判断头戴式智能设备的鉴权信息有效性的装置和方法 | |
Kang et al. | Transppg: Two-stream transformer for remote heart rate estimate | |
CN106974626A (zh) | 脉搏监测机器人 | |
CN114242235A (zh) | 一种基于多层级关键特征行为的孤独症患者画像方法 | |
CN108814543A (zh) | 高速视频眼震仪系统 | |
CN110279406B (zh) | 一种基于摄像头的无接触式的脉率测量方法及装置 | |
CN105046209A (zh) | 一种基于典型相关分析的非接触式心率测量方法 | |
CN110321781A (zh) | 一种用于无接触式测量的信号处理方法及装置 | |
CN110321782A (zh) | 一种检测人体特征信号的系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150218 |