CN106725530A - 基于视线的心理辅助分析系统和方法 - Google Patents

Abstract

本发明涉及一种基于视线的心理辅助分析系统及方法。该方法包括：控制VR眼部测试设备显示视线测试图像并同步控制瞳孔图像采集器采集被测试者的第一瞳孔图像；由处理器根据第一瞳孔图像和视线测试图像进行视线定位的初始化；在引导者发送开始记录指令后同步启动录音器和瞳孔图像采集器以录制被测试者和引导者的对话及被测试者的第二瞳孔图像；由处理器根据对话的语音数据和第二瞳孔图像的图像数据进行处理形成心理辅助分析数据以供引导者进行心理分析。本发明通过采用视线追踪和同步录音的方式记录被测试者当前的状态，并以心理辅助分析数据的形式发送给引导者，该方式能够提供非常精确的分析数据且该产品成本低廉，顺应市场。

Description

基于视线的心理辅助分析系统和方法

技术领域

本发明属于眼球追踪技术领域，具体涉及一种基于视线的心理辅助分析系统和方法。

背景技术

心理学的研究表明人类的任何心理活动、情绪反应均会引起相应地生理参量的变化，这些生理参量由于受植物神经系统支配，植物神经系统由于指挥中枢在下丘脑而不在大脑皮层，所以一般不受人的意识控制，而是自主动作，在外界刺激下会出现一系列条件反射现象。

不以意识控制的人体条件发射现象可以很好地应用于人体心理的测试。心理测试仪为目前最为常见的应用设备。其中，不同的厂家采用了不同的身体特性制作出了不同的心理测试仪。例如，利用人体皮肤温度变化来获取心理测试结果的专利文献CN200820108530.8、利用脑电波变化来获取心理测试结果的专利文献CN200820108528.0以及利用汗腺活动来获取心理测试结果的专利文献CN201120399122.4等，也有利用多种身体反应来综合获取心理测试结果的专利文献CN201420827258.4、CN201220216796.0等。

上述的技术方案中，单一人体生理参数的心理测试仪的精确度较低，而多特性的心理测试仪又由于价格成本。因此，如何设计一种精度高且成本低的心理辅助分析系统就变得极其重要。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种基于视线的心理辅助分析系统和方法。

本发明的一个实施例提供了一种基于视线的心理辅助分析系统，包括：VR眼部测试设备和心理辅助分析装置，且所述心理辅助分析装置与所述VR眼部测试设备通信连接；所述心理辅助分析装置包括瞳孔图像采集器、录音器及处理器；其中，

在初始化阶段，所述心理辅助分析装置触发所述VR眼部测试设备显示视线测试图像，并同步控制所述瞳孔图像采集器采集被测试者的第一瞳孔图像，并将所述第一瞳孔图像的信息传输至所述处理器以供所述处理器进行视线定位的初始化处理；

在测试阶段，所述心理辅助分析装置控制所述录音器录制所述被测试者与引导者的对话，并控制所述瞳孔图像采集器采集被测试者的第二瞳孔图像，将所述对话的语音数据和所述第二瞳孔图像的图像数据同步传输至所述处理器以供所述处理器进行处理形成心理辅助分析数据。

在本发明的一个实施例中，所述心理辅助分析装置为头戴设备，所述瞳孔图像采集器设置于所述头戴设备位于被测试者眼部正前上方的位置处，且所述VR眼部测试设备与所述头戴设备匹配设置以使所述瞳孔图像采集器在所述被测试者佩戴所述眼部测试设备时不被遮挡。

在本发明的一个实施例中，所述头戴设备为眼镜结构，所述瞳孔图像采集器为多个且均匀设置于镜框的内侧缘位置处。

在本发明的一个实施例中，所述录音器和所述处理器均设置于镜腿靠近所述镜框的位置处。

在本发明的一个实施例中，所述录音器和所述处理器均设置于镜腿靠近所述镜框的位置处。

本发明的另一个实施例提供了一种基于视线的心理辅助分析方法，包括：

控制VR眼部测试设备显示视线测试图像并同步控制瞳孔图像采集器采集被测试者的第一瞳孔图像；

由处理器根据所述第一瞳孔图像和所述视线测试图像进行视线定位的初始化；

在引导者发送开始记录指令后同步启动录音器和瞳孔图像采集器以录制被测试者和引导者的对话及被测试者的第二瞳孔图像；

由处理器根据所述对话的语音数据和所述第二瞳孔图像的图像数据进行处理形成心理辅助分析数据以供所述引导者进行心理分析。

在本发明的一个实施例中，控制VR眼部测试设备显示视线测试图像，包括：

控制所述VR眼部测试设备在被测试者眼前展示的画面中依次出现K个点以引导被测试者对所述K个点进行依次观察；所述K个点按照程序设定显示在视角的不同位置处。

在本发明的一个实施例中，由处理器根据所述第一瞳孔图像和测试图像确定视线定位的初始化，包括：

由所述处理器根据所述第一瞳孔图像处理确定瞳孔边缘信息，并根据所述瞳孔边缘信息确定所述被测试者的瞳孔中心；

根据所述K个点相对于所述被测试者的方位坐标和所述瞳孔中心的方位坐标形成对应的映射模型(X,Y)＝F(x,y)以完成所述视线定位的初始化；其中，(X,Y)为所述K个点相对于所述被测试者的方位坐标，(x,y)为所述瞳孔中心的方位坐标，F为映射函数。

在本发明的一个实施例中，根据所述第一瞳孔图像处理确定瞳孔边缘信息，并根据所述瞳孔边缘信息确定所述被测试者的瞳孔中心，包括：

对所述第一瞳孔图像进行处理形成灰度变化图；

在所述灰度变化图中选择初始点，并以初始点为中心沿不同射线方向寻找灰度变化率最大的点作为沿当前射线方向的瞳孔边缘点；

将多个所述瞳孔边缘点进行拟合形成类椭圆曲线；

计算所述类椭圆曲线的长轴和短轴的交点形成所述瞳孔中心。

在本发明的一个实施例中，由处理器根据所述对话的语音数据和所述第二瞳孔图像的图像数据进行处理形成心理辅助分析数据，包括：

由所述处理器根据所述第二瞳孔图像确定所述被测试者在当前图像中的瞳孔中心的方位坐标；

根据所述映射模型(X,Y)＝F(x,y)计算所述被测试者当前的视线方位坐标；

在设定的时间间隔内绘制所述被测试者的视线方位坐标的变化曲线并同步配置所述对话的语音数据形成所述心理辅助分析数据。

本发明实施例，通过采用视线追踪和同步录音的方式记录被测试者当前的状态，并以心理辅助分析数据的形式发送给引导者，能够提供非常精确的分析数据。由于视线追踪不受环境因素和头部运动的影响，准确度和可靠性高且不需要昂贵复杂的设备，成本低。

附图说明

图1为本发明实施例提供的一种基于视线的心理辅助分析系统的结构示意图；

图2为本发明实施例提供的一种心理辅助分析装置的外形结构示意图；

图3为本发明实施例提供的另一种心理辅助分析装置的外形结构示意图；

图4为本发明实施例提供的一种心理辅助分析装置的电路结构示意图；

图5为本发明实施例提供的一种心理辅助分析方法的示意图；

图6为本发明实施例提供的一种视线定位方法的示意图。

具体实施方式

下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。

实施例一

请参见图1，图1为本发明实施例提供的一种基于视线的心理辅助分析系统的结构示意图。该系统10包括VR眼部测试设备11和心理辅助分析装置13，其中，该VR眼部测试设备11与心理辅助分析装置13通信连接以用于在对被测试者进行心理测试前的视线定位的初始化工作。

请参见图2，图2为本发明实施例提供的一种心理辅助分析装置的外形结构示意图，心理辅助分析装置13的形状可以设置为类似于眼镜的形状，包括镜框131和镜腿133，且在镜框131的内侧缘位置设置多个瞳孔图像采集器135，且多个瞳孔图像采集器135优选均匀设置于内侧缘位置，当然也可以根据实际设计要求，主要分布在上侧或者下侧，或者为了节省成本也可以设置一个瞳孔图像采集器135，此处不做任何限制。选择眼镜形状的外观的好处在于：在做心理测试时，佩戴此装置不会给被测试者带来太大的心理负担，从而影响测试效果。另外，VR眼部测试设备11与需要该心理辅助分析装置13匹配设置以使所述瞳孔图像采集器在被测试者佩戴所述眼部测试设备时不被遮挡。优选的该VR眼部测试设备11也为眼镜结构，可以罩在心理辅助分析装置13的外部。

请参见图3和图4，图3为本发明实施例提供的另一种心理辅助分析装置的外形结构示意图，图4为本发明实施例提供的一种心理辅助分析装置的电路结构示意图。该心理辅助分析装置13的电路组成包括：瞳孔图像采集器、录音器、存储器、处理器及通信模块，优选在外部还设置有LED指示灯。其中，瞳孔图像采集器、录音器、存储器、通信模块均电连接至处理器。通信模块优选采用WIFI模块，瞳孔图像采集器为包括至少一个红外灯源的摄像器。该录音器、存储器、处理器、通信模块及指示灯均设置于类眼镜结构的镜腿133靠近镜框131位置处1331。

具体的工作原理如下：

1、初始化阶段，由引导者向心理辅助分析装置13发出第一初始化控制指令，心理辅助分析装置13的通信模块接收该第一初始化控制指令后将第一初始化控制指令发送至处理器，处理器根据该第一初始化控制指令从存储模块中调用初始化程序启动初始化工作并通过通信模块向VR眼部测试设备11发送第二初始化控制指令。VR眼部测试设备11接收该第二初始化控制启动指令后，向VR眼部测试设备11发送同步时间反馈信号用来反馈启动信号并完成对时，另外同步启动测试图像显示。

心理辅助分析装置13接收该同步时间反馈信号后同步启动瞳孔图像采集器拍摄第一瞳孔图像，并将该第一瞳孔图像发送至处理器，由处理器根据初始化程序中设定的图像位置信息确定被测试者的视线方向。其中，假设测试者当前瞳孔中心坐标为(x,y)，程序设定的图像位置的坐标为(X,Y)，则建立对应映射模型为：(X,Y)＝F(x,y)。其中，需要说明的是：该初始化程序中，测试图像中显示的K个点的顺序和位置与对应VR眼部测试设备11的测试图像显示的K个点的顺序和位置是一致的。

由于VR眼部测试设备11是固定在被测试者头部位置，相对位置不会变化，避免了现有技术中，由于被测试者头部的微动和外部干扰因素的影响，导致视线定位精确度不够等问题。

2、测试阶段，在初始化完成后，被测试者即可摘掉该VR眼部测试设备11，处理器将确定的映射模型(X,Y)＝F(x，y)存储于存储器中，并通过通信模块通知引导者，由引导者发送测试启动控制指令，心理辅助分析装置13进入测试阶段。

具体地，处理器控制所述录音器录制所述被测试者与引导者的对话，并控制瞳孔图像采集器采集被测试者的第二瞳孔图像，将所述对话的语音数据和所述第二瞳孔图像的图像数据同步传输至处理器以供所述处理器进行处理形成心理辅助分析数据。

其中，需要设置好瞳孔图像采集器的采集频率，优选采集频率为10～20次/秒。心理辅助分析数据为AVI、MPEG、WMV、RMVB格式等。引导者例如为心理辅导师、警察等。

本实施例，通过采用视线追踪技术获取被测试者的眼球运动轨迹，并配合着对话的音频数据，为引导者提供精确的心理辅助分析数据。

实施例二

请参见图5，图5为本发明实施例提供的一种心理辅助分析方法的示意图。本发明的心理辅助分析方法包括如下步骤：

步骤1、控制VR眼部测试设备显示视线测试图像并同步控制瞳孔图像采集器采集被测试者的第一瞳孔图像；

步骤2、由处理器根据所述第一瞳孔图像和所述视线测试图像进行视线定位的初始化；

步骤3、在引导者发送开始记录指令后同步启动录音器和瞳孔图像采集器以录制被测试者和引导者的对话及被测试者的第二瞳孔图像；

步骤4、由处理器根据所述对话的语音数据和所述第二瞳孔图像的图像数据进行处理形成心理辅助分析数据以供所述引导者进行心理分析。

具体地，步骤1可以包括：

控制所述VR眼部测试设备在被测试者眼前展示的画面中依次出现K个点以引导被测试者对所述K个点进行依次观察；所述K个点按照程序设定显示在视角的不同位置处。

步骤2可以包括：

步骤21、由所述处理器根据所述第一瞳孔图像处理确定瞳孔边缘信息，并根据所述瞳孔边缘信息确定所述被测试者的瞳孔中心；

步骤22、根据所述K个点相对于所述被测试者的方位坐标和所述瞳孔中心的方位坐标形成对应的映射模型(X,Y)＝F(x,y)以完成所述视线定位的初始化；其中，(X,Y)为所述K个点相对于所述被测试者的方位坐标，(x,y)为所述瞳孔中心的方位坐标，F为映射函数。

具体地，所选取的映射函数可以为：

其中，通过K个点的坐标(X,Y)和对应的所述瞳孔中心点坐标(x,y)确定所述映射模型的参数a、b、c、d、e、f、g、h、k、l、m及n，以完成所述映射模型的建立。

例如，VR眼部测试设备中依次出现的K个点的坐标记录为X＝(X₁,X₂,X₃…X_k),Y＝(Y₁,Y₂,Y₃…Y_k)，对应的瞳孔中心坐标为x＝(x₁,x₂,x₃…x_k),y＝(y₁,y₂,y₃…y_k)，模型的建立则可以用下面的矩阵表达：

f(x,y)表示x和y的一种关系，代表着映射关系函数F，M表示瞳孔中心位置和屏幕坐标之间的映射参数。

本发明建立的模型如下：

将该模型使用矩阵形式表达为：

则

在本模型中，取K＝6时，X，Y对应有6个屏幕坐标，瞳孔相应也有6个对应中心坐标，X＝|X₁,X₂,X₃,X₄,X₅,X₆|，Y＝|Y₁,Y₂,Y₃,Y₄,Y₅,Y₆|，同理，x＝|x₁,x₂,x₃,x₄,x₅,x₆|，y＝|y₁,y₂,y₃,y₄,y₅,y₆|，那么上面的矩阵可以进一步改写为：

通过方程组求出a、b、c、d、e、f、g、h、k、l、m及n，进而得到所述映射模型。

另外，步骤21可以包括：

步骤211、对所述第一瞳孔图像进行处理形成灰度变化图；

步骤212、在所述灰度变化图中选择初始点，并以初始点为中心沿不同射线方向寻找灰度变化率最大的点作为沿当前射线方向的瞳孔边缘点；

步骤213、将多个所述瞳孔边缘点进行拟合形成类椭圆曲线；

步骤214、计算所述类椭圆曲线的长轴和短轴的交点形成所述瞳孔中心。

其中，步骤212中初始点位置的选择可以采用如下方式：

采用灰度积分法在所述修正红外图像上估算瞳孔中心位置的坐标(xmin，ymin)；其中，xmin和ymin的公式为：

其中，min表示取最小值运算，sum表示求和运算。

因为瞳孔中心位置处最暗，通过上述求最小值的方法，可以估算出瞳孔中心的粗略位置，以该位置作为初始点。

步骤4可以包括：

步骤41、由所述处理器根据所述第二瞳孔图像确定所述被测试者在当前图像中的瞳孔中心的方位坐标；

步骤42、根据所述映射模型(X,Y)＝F(x,y)计算所述被测试者当前的视线方位坐标；

步骤43、在设定的时间间隔内绘制所述被测试者的视线方位坐标的变化曲线并同步配置所述对话的语音数据形成所述心理辅助分析数据。

本实施例，通过被测试者观测的位置坐标和当时瞳孔中心的坐标确定视线方向，形成特定的映射关系后完成视线定位的初始化，之后通过视线定位形成某一时间间隔内的视线运动轨迹，并配合同步录音数据形成心理辅助分析数据，以供引导者使用，为引导者提供高精准度的视线运动轨迹和同步录音数据。

实施例三

请参见图6，图6为本发明实施提供的一种视线定位方法的示意图。该视线定位方法是在上述实施例的基础上，针对初始化阶段和测试阶段的视线定位方法进行详细描述。具体地，该方法包括：

步骤a、提取被测试者的瞳孔边缘点；

步骤b、根据所述瞳孔边缘点确定被测试者的瞳孔中心点；

步骤c、根据瞳孔中心点和被测试者观察的目标点确定被测试者的视线方向。

其中，步骤a可以包括：

步骤a1、获取所述瞳孔图像信息；

步骤a2、对所述瞳孔图像信息进行处理，得到所述瞳孔图像信息在指定方向上灰度的梯度值，并将所述灰度的梯度值达到最大值时所在的位置确定为瞳孔边缘点的位置。

具体地，瞳孔内、外对红外线的反射有很明显的差异。拍摄的图像在瞳孔区域光线较强，亮度高；在非瞳孔区则图像较暗，亮度低。瞳孔区域灰度明显低于其他区域，在边缘位置处，梯度变化剧烈。过处理后的图像信息中，在指定的方向上，瞳孔区的灰度值与非瞳孔区的灰度值在交界处有剧烈的变化，在交界处的梯度值也会达到最大，据此判断出瞳孔边缘点的位置。

例如，设f(i,j)为图像f在坐标(i,j)处的灰度值，灰度值的偏微分为：

则该方向的灰度梯度D最大的点即为边缘点。

其中，步骤b可以包括：

步骤b1、提取所述瞳孔边缘点信息并拟合形成类椭圆曲线；

步骤b2、计算出所述类椭圆曲线长轴和短轴的交点，将所述交点确定为所述瞳孔中心点。

具体地，步骤b1可以包括：

步骤b11、从N个边缘点中选取任意5个点，使用最小二乘法进行椭圆拟合形成第一类椭圆方程；

步骤b12、对N个边缘点利用随机采样一致性算法通过所述第一类椭圆方程进行局内点和局外点甄别，统计得到M个局内点和N-M个局外点；

可选地，落在所述类椭圆上的点，视为局外点。当然，本发明不在此处做限制。

步骤b13、判断局内点占有率是否小于第一阈值t1；若是，则确定所述5个点为非典型特征点，拟合椭圆为非典型特征椭圆，则重新执行步骤b11；若否，则确定所述5个点为典型特征点，则执行步骤b14；

步骤b14、根据所述M个局内点利用最小二乘法对所述第一类椭圆方程进行优化形成第二类椭圆方程，并对所述N-M个局外点利用随机采样一致性算法通过所述第二类椭圆方程进行局内点和局外点甄别，最终统计得到M1个局内点和N-M1局外点；

步骤b15、判断局内点占有率是否大于第二阈值t2；如是，则终止迭代，认为所述第二类椭圆方程为最优方程；若否，则执行步骤b14。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于视线的心理辅助分析系统，其特征在于，包括：VR眼部测试设备和心理辅助分析装置，且所述心理辅助分析装置与所述VR眼部测试设备通信连接；所述心理辅助分析装置包括瞳孔图像采集器、录音器及处理器；其中，

在初始化阶段，所述心理辅助分析装置触发所述VR眼部测试设备显示视线测试图像，并同步控制所述瞳孔图像采集器采集被测试者的第一瞳孔图像，并将所述第一瞳孔图像的信息传输至所述处理器以供所述处理器进行视线定位的初始化处理；

在测试阶段，所述心理辅助分析装置控制所述录音器录制所述被测试者与引导者的对话，并控制所述瞳孔图像采集器采集被测试者的第二瞳孔图像，将所述对话的语音数据和所述第二瞳孔图像的图像数据同步传输至所述处理器以供所述处理器进行处理形成心理辅助分析数据。

2.根据权利要求1所述的系统，其特征在于，所述心理辅助分析装置为头戴设备，所述瞳孔图像采集器设置于所述头戴设备位于被测试者眼部正前上方的位置处，且所述VR眼部测试设备与所述头戴设备匹配设置以使所述瞳孔图像采集器在所述被测试者佩戴所述眼部测试设备时不被遮挡。

3.根据权利要求2所述的系统，其特征在于，所述头戴设备为眼镜结构，所述瞳孔图像采集器为多个且均匀设置于镜框的内侧缘位置处。

4.根据权利要求3所述的系统，其特征在于，所述录音器和所述处理器均设置于镜腿靠近所述镜框的位置处。

5.根据权利要求1所述的系统，其特征在于，所述心理辅助分析装置还包括存储器，以供经所述处理器处理后的所述心理辅助分析数据进行存储。

6.一种基于视线的心理辅助分析方法，其特征在于，包括：

控制VR眼部测试设备显示视线测试图像并同步控制瞳孔图像采集器采集被测试者的第一瞳孔图像；

由处理器根据所述第一瞳孔图像和所述视线测试图像进行视线定位的初始化；

在引导者发送开始记录指令后同步启动录音器和瞳孔图像采集器以录制被测试者和引导者的对话及被测试者的第二瞳孔图像；

由处理器根据所述对话的语音数据和所述第二瞳孔图像的图像数据进行处理形成心理辅助分析数据以供所述引导者进行心理分析。

7.根据权利要求6所述的方法，其特征在于，控制VR眼部测试设备显示视线测试图像，包括：

控制所述VR眼部测试设备在被测试者眼前展示的画面中依次出现K个点以引导被测试者对所述K个点进行依次观察；所述K个点按照程序设定显示在视角的不同位置处。

8.根据权利要求7所述的方法，其特征在于，由处理器根据所述第一瞳孔图像和测试图像确定视线定位的初始化，包括：

由所述处理器根据所述第一瞳孔图像处理确定瞳孔边缘信息，并根据所述瞳孔边缘信息确定所述被测试者的瞳孔中心；

根据所述K个点相对于所述被测试者的方位坐标和所述瞳孔中心的方位坐标形成对应的映射模型(X,Y)＝F(x,y)以完成所述视线定位的初始化；其中，(X,Y)为所述K个点相对于所述被测试者的方位坐标，(x,y)为所述瞳孔中心的方位坐标，F为映射函数。

9.根据权利要求8所述的方法，其特征在于，根据所述第一瞳孔图像处理确定瞳孔边缘信息，并根据所述瞳孔边缘信息确定所述被测试者的瞳孔中心，包括：

对所述第一瞳孔图像进行处理形成灰度变化图；

在所述灰度变化图中选择初始点，并以初始点为中心沿不同射线方向寻找灰度变化率最大的点作为沿当前射线方向的瞳孔边缘点；

将多个所述瞳孔边缘点进行拟合形成类椭圆曲线；

计算所述类椭圆曲线的长轴和短轴的交点形成所述瞳孔中心。

10.根据权利要求8所述的方法，其特征在于，由处理器根据所述对话的语音数据和所述第二瞳孔图像的图像数据进行处理形成心理辅助分析数据，包括：

由所述处理器根据所述第二瞳孔图像确定所述被测试者在当前图像中的瞳孔中心的方位坐标；

根据所述映射模型(X,Y)＝F(x,y)计算所述被测试者当前的视线方位坐标；

在设定的时间间隔内绘制所述被测试者的视线方位坐标的变化曲线并同步配置所述对话的语音数据形成所述心理辅助分析数据。