CN114816055A - 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质 - Google Patents

基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质 Download PDF

Info

Publication number
CN114816055A
CN114816055A CN202210401402.7A CN202210401402A CN114816055A CN 114816055 A CN114816055 A CN 114816055A CN 202210401402 A CN202210401402 A CN 202210401402A CN 114816055 A CN114816055 A CN 114816055A
Authority
CN
China
Prior art keywords
gray
eye image
eye
pupil
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210401402.7A
Other languages
English (en)
Inventor
王思伦
骆春辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yiwei Medical Technology Co Ltd
Original Assignee
Shenzhen Yiwei Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yiwei Medical Technology Co Ltd filed Critical Shenzhen Yiwei Medical Technology Co Ltd
Priority to CN202210401402.7A priority Critical patent/CN114816055A/zh
Publication of CN114816055A publication Critical patent/CN114816055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及VR技术领域，揭露了一种基于VR设备的眼球运动轨迹捕捉分析方法，包括：对VR用户的实时眼部图，进行预处理，得到初始眼部图，对初始眼部图进行状态识别，得到标准眼部图，根据标准眼部图，构建灰度直方图，利用图像分割聚类算法，根据标准眼部图及灰度直方图，计算瞳孔区域，对瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用随机抽样一致算法，根据瞳孔边缘点集，计算标准眼部图的瞳孔中心位置，根据瞳孔中心位置，确定VR用户的眼球运动轨迹。本发明还提出一种基于VR设备的眼球运动轨迹捕捉分析装置、电子设备以及计算机可读存储介质。本发明可以解决对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的问题。

Description

基于VR设备的眼球运动轨迹捕捉分析方法、装置及介质
技术领域
本发明涉及VR技术领域，尤其涉及一种基于VR设备的眼球运动轨迹捕捉分析方法、装置、电子设备及计算机可读存储介质。
背景技术
虚拟现实技术(Virtual Reality，简称VR)是将人工智能、计算机技术、跟踪技术以及显示技术等前沿技术集成在一起的综合模拟系统。随着科学技术的不断发展，虚拟现实技术开始应用于各行各业。
当前，随着虚拟现实技术的发展，对VR用户的眼球运动进行追踪，开始成为人机交互及精神疾病诊疗等方面的重要技术手段之一，但当前对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长等现象。
发明内容
本发明提供一种基于VR设备的眼球运动轨迹捕捉分析方法、装置及计算机可读存储介质，其主要目的在于解决对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的问题。
为实现上述目的，本发明提供的一种基于VR设备的眼球运动轨迹捕捉分析方法，包括：
获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
可选地，所述获取VR用户的实时眼部图，包括：
利用预构建的三维动画制作软件，构建三维模拟动画；
利用所述三维模拟动画，引导所述VR用户进行眼部活动；
实时捕获所述VR用户，在进行所述眼部活动时的实时眼部图。
可选地，所述对所述实时眼部图进行预处理，得到初始眼部图，包括：
在所述实时眼部图中选取像素原点；
计算所述实时眼部图中的每一个像素点与所述像素原点的像素距离；
根据所述像素距离，确定所述实时眼部图中，每一个像素点的权重；
根据所述像素点的权重，对所述实时眼部图进行图像平滑处理，得到所述初始眼部图。
可选地，所述对所述初始眼部图进行状态识别，得到标准眼部图，包括：
设置眼部睁开检测阈值；
对所述初始眼部图执行二值化处理，得到二值化眼部图；
根据所述二值化眼部图中每个像素点的灰度值，对所述二值化眼部图进行垂直积分投影，得到积分投影曲线；
判断所述积分投影曲线的突变点距离是否大于所述眼部睁开检测阈值；
若所述突变点距离大于所述眼部睁开检测阈值，则判定所述初始眼部图为闭眼图；
若所述突变点距离小于等于所述眼部睁开检测阈值，则判定所述初始眼部图为所述标准眼部图。
可选地，所述根据所述标准眼部图，构建灰度直方图，包括：
扫描所述标准眼部图中个每一个像素点的灰度值；
以所述灰度值为横坐标，以所述灰度值出现的频率为纵坐标，构建所述灰度直方图。
可选地，所述利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域，包括：
拟合所述灰度直方图，得到初始灰度曲线图；
设置波峰横向删除阈值及波峰纵向删除阈值；
判断所述初始灰度曲线图中是否存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述波峰纵向删除阈值的相邻波峰；
若所述初始灰度曲线图中存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述相邻波峰从所述灰度曲线图中删除，得到目标灰度曲线图；
若所述初始灰度曲线图中不存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述初始灰度曲线图作为所述目标灰度曲线图；
在所述目标灰度曲线图中，提取前两个波峰之间的曲线，得到目标曲线；
根据所述目标曲线对应的灰度值，在所述标准眼部图中提取对应的像素点，得到待分割灰度图；
利用预构建的类间方差公式，根据所述待分割灰度图中的像素点数及像素点对应的灰度值，计算出最大类间方差；
根据所述最大类间方差，求出二值化分割阈值；
利用所述二值化分割阈值，对所述待分割灰度图进行分割，得到所述瞳孔区域。
可选地，所述类间方差公式如下所示：
Figure BDA0003597261370000031
Figure BDA0003597261370000032
其中，n1表示灰度值介于p0和Th之间的像素数，n2表示灰度值介于Th和p1之间的像素数，n表示所述待分割灰度图的像素总数，ω1表示灰度值介于p0和Th之间的像素的灰度平均数，ω2表示灰度值介于Th和p1之间的像素的灰度平均数，ω表示所述待分割灰度图中像素的灰度平均数，g表示最大类间方差，p0表示所述目标灰度曲线图中第一个波峰对应的灰度值，p1表示所述目标灰度曲线图中第二个波峰对应的灰度值，Th表示介于p0和p1之间的灰度值。
可选地，所述对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，包括：
根据所述瞳孔区域中像素点的灰度值，对所述瞳孔区域图像进行梯度计算，得到宽像素边缘；
对所述宽像素边缘中像素点的灰度值执行非极大值抑制，得到细像素边缘；
利用预构建的双阈值算法，根据所述细像素边缘的梯度，对所述细像素边缘中的像素点进行筛选，得到所述瞳孔边缘点集。
可选地，所述利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置，包括：
确定所述瞳孔边缘点集的抽样区域；
根据所述抽样区域，在所述瞳孔边缘点集中随机抽取预定数量的拟合像素点；
根据所述拟合像素点，利用所述随机抽样一致算法，拟合出瞳孔边缘曲线；
求取所述瞳孔边缘曲线的外接矩形，计算所述外接矩形的几何中心点，将所述几何中心点作为所述瞳孔中心位置。
为了解决上述问题，本发明还提供一种基于VR设备的眼球运动轨迹捕捉分析装置，所述装置包括：
初始眼部图获取模块，用于获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
灰度直方图构建模块，用于对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
瞳孔区域识别模块，用于利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
瞳孔中心位置获取模块，用于对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
眼球运动轨迹确定模块，用于根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至9中任意一项所述的基于VR设备的眼球运动轨迹捕捉分析方法。
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于VR设备的眼球运动轨迹捕捉分析方法。
相比于背景技术所述：对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的现象，本发明实施例通过对所述实时眼部图进行预处理，得到所述初始眼部图，通过状态识别，得到所述标准眼部图，再利用所述标准眼部图构建所述灰度直方图，通过所述灰度直方图可以直观表示所述标准眼部图的各个灰度值出现的频率，通过所述灰度直方图可以降低所述图像分割聚类算法的计算复杂度，提高计算效率，进而得到所述瞳孔区域，利用边缘检测技术识别所述瞳孔区域的瞳孔边缘点集，再利用所述随机抽样一致算法根据所述瞳孔边缘点集，精确拟合出瞳孔的形状，计算出所述瞳孔中心位置，进而获得所述眼部运动轨迹。因此本发明提出的基于VR设备的眼球运动轨迹捕捉分析方法、装置、电子设备及计算机可读存储介质，可以解决对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的问题。
附图说明
图1为本发明一实施例提供的基于VR设备的眼球运动轨迹捕捉分析方法的流程示意图；
图2为图1中其中一个步骤的详细实施流程示意图；
图3为图1中另一个步骤的详细实施流程示意图；
图4为本发明一实施例提供的基于VR设备的眼球运动轨迹捕捉分析装置的功能模块图；
图5为本发明一实施例提供的实现所述基于VR设备的眼球运动轨迹捕捉分析方法的电子设备的结构示意图。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本申请实施例提供一种基于VR设备的眼球运动轨迹捕捉分析方法。所述基于VR设备的眼球运动轨迹捕捉分析方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之，所述基于VR设备的眼球运动轨迹捕捉分析方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1：
参照图1所示，为本发明一实施例提供的基于VR设备的眼球运动轨迹捕捉分析方法的流程示意图。在本实施例中，所述基于VR设备的眼球运动轨迹捕捉分析方法包括：
S1、获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图。
可解释的，所述实时眼部图可以利用虚拟现实头盔中的眼图采集相机获取，所述眼图采集相机可以实时获取VR用户的眼部图像。
可选择的，所述对所述实时眼部图进行预处理指对所述实时眼部图进行图像滤波操作，达到去除实时眼部图中噪声点的效果。
本发明实施例中，所述获取VR用户的实时眼部图，包括：
利用预构建的三维动画制作软件，构建三维模拟动画；
利用所述三维模拟动画，引导所述VR用户进行眼部活动；
实时捕获所述VR用户，在进行所述眼部活动时的实时眼部图。
可理解的，可以利用所述三维模拟动画实现对VR用户的眼球运动进行引导的作用，例如：可以利用所述三维模拟动画引导VR用户进行凝视、平滑追踪以及扫视等眼部运动。
可选择的，所述三维动画制作软件可以为3D Studio Max，3D Studio Max是基于PC系统的三维动画渲染和制作软件。所述三维模拟动画可以通过到入Unity中，实现VR场景的创建。
详细地，参阅图2所示，所述对所述实时眼部图进行预处理，得到初始眼部图，包括：
S11、在所述实时眼部图中选取像素原点；
S12、计算所述实时眼部图中的每一个像素点与所述像素原点的像素距离；
S13、根据所述像素距离，确定所述实时眼部图中，每一个像素点的权重；
S14、根据所述像素点的权重，对所述实时眼部图进行图像平滑处理，得到所述初始眼部图。
可选择的，可以利用高斯滤波技术，对所述实时眼部图进行图像滤波，应用高斯滤波技术实现对所述实时眼部图进行图像滤波，首先需要确定所述像素原点，其它像素点与所述像素原点距离越近，则该像素点的权重越大，表示与所述像素原点的联系越密切。通过给所述像素原点邻域内的像素分配不同的权重，实现图像平滑去噪的目的。
S2、对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图。
可解释的，所述标准眼部图指所述初始眼部图中的眼睛为睁开状态。所述灰度直方图指利用所述标准眼部图中像素点的灰度值为横坐标参数，灰度值出现相同情况的频率为纵坐标参数，构建的直方图。
本发明实施例中，所述对所述初始眼部图进行状态识别，得到标准眼部图，包括：
设置眼部睁开检测阈值；
对所述初始眼部图执行二值化处理，得到二值化眼部图；
根据所述二值化眼部图中每个像素点的灰度值，对所述二值化眼部图进行垂直积分投影，得到积分投影曲线；
判断所述积分投影曲线的突变点距离是否大于所述眼部睁开检测阈值；
若所述突变点距离大于所述眼部睁开检测阈值，则判定所述初始眼部图为闭眼图；
若所述突变点距离小于等于所述眼部睁开检测阈值，则判定所述初始眼部图为所述标准眼部图。
可解释的，所述眼部睁开检测阈值指判定所述初始眼部图中的眼睛处于睁开状态的值。
可理解的，所述二值化处理指将所述初始眼部图中眼睛处于睁开状态下的瞳孔及眼睛处于闭合状态下的睫毛、眼睑的颜色设置为黑色，其它区域设置为白色。
应明白的，进行所述垂直积分投影可以将所述二值化眼部图的水平位置参数作为二维坐标系的横坐标，将所述二值化眼部图在所述水平位置参数的单位像素区间内累积的灰度值作为纵坐标，构建所述积分投影曲线。
可理解的，由于眼睛睁开时，灰度值最低的区域为瞳孔，当眼睛闭合时，灰度值最低的区域为眼睑和睫毛，此时的灰度值最低区域的水平位置跨度远比瞳孔直径大，应视为闭合状态，所以所述眼部睁开检测阈值可以设置为介于瞳孔直径和眼睑长度之间的值，用于区分灰度值最低区域是瞳孔还是眼睑。
应明白的，当所述积分投影曲线中的灰度值突然从白色变为黑色，表明曲线进入灰度值最低区域，当所述积分投影曲线中的灰度值突然从黑色变为白色，表明曲线开始脱离灰度值最低区域。所述突变点距离指两次突变的横向距离，当眼睛为睁开状态时，所述突变点距离表示瞳孔直径，当眼睛为闭合状态时，所述突变点距离表示眼睑长度。、
可理解的，在获取所述标准眼部图的过程中，需要确保VR用户的眼部是睁开状态的，方便后续追踪眼球运动。
本发明实施例中，所述根据所述标准眼部图，构建灰度直方图，包括：
扫描所述标准眼部图中个每一个像素点的灰度值；
以所述灰度值为横坐标，以所述灰度值出现的频率为纵坐标，构建所述灰度直方图。
S3、利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域。
可选择的，所述图像分割聚类算法可以为OTSU算法。
本发明实施例中，所述利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域，包括：
拟合所述灰度直方图，得到初始灰度曲线图；
设置波峰横向删除阈值及波峰纵向删除阈值；
判断所述初始灰度曲线图中是否存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述波峰纵向删除阈值的相邻波峰；
若所述初始灰度曲线图中存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述相邻波峰从所述灰度曲线图中删除，得到目标灰度曲线图；
若所述初始灰度曲线图中不存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述初始灰度曲线图作为所述目标灰度曲线图；
在所述目标灰度曲线图中，提取前两个波峰之间的曲线，得到目标曲线；
根据所述目标曲线对应的灰度值，在所述标准眼部图中提取对应的像素点，得到待分割灰度图；
利用预构建的类间方差公式，根据所述待分割灰度图中的像素点数及像素点对应的灰度值，计算出最大类间方差；
根据所述最大类间方差，求出二值化分割阈值；
利用所述二值化分割阈值，对所述待分割灰度图进行分割，得到所述瞳孔区域。
可解释的，由于所述初始灰度曲线图中可能存在变化趋势不明显的波峰，因此可以利用所述波峰横向删除阈值及波峰纵向删除阈值，将所述变化趋势不明显的波峰进行去除。
应明白的，由于OTSU算法的计算过程复杂，计算时间冗长，因此可以利用所述目标灰度曲线图中的前两个波峰间的曲线作为所述OTSU算法的原始参数，提高计算的效率。在所述标准眼部图中，识别与所述目标曲线具有相同灰度值的像素点，并将该像素点进行显示，得到所述待分割灰度图，所述待分割灰度图即指包含瞳孔的局域图。
本发明实施例中，所述类间方差公式如下所示：
Figure BDA0003597261370000091
Figure BDA0003597261370000092
其中，n1表示灰度值介于p0和Th之间的像素数，n2表示灰度值介于Th和p1之间的像素数，n表示所述待分割灰度图的像素总数，ω1表示灰度值介于p0和Th之间的像素的灰度平均数，ω2表示灰度值介于Th和p1之间的像素的灰度平均数，ω表示所述待分割灰度图中像素的灰度平均数，g表示最大类间方差，p0表示所述目标灰度曲线图中第一个波峰对应的灰度值，p1表示所述目标灰度曲线图中第二个波峰对应的灰度值，Th表示介于p0和p1之间的灰度值。
S4、对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置。
可选择的，所述边缘检测可以采用Canny算子的方式，进行检测。所述随机抽样一致算法指(Random Sample Consensus算法，简称ransac算法)。
详细地，参阅图3所示，所述对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，包括：
S41、根据所述瞳孔区域中像素点的灰度值，对所述瞳孔区域图像进行梯度计算，得到宽像素边缘；
S42、对所述宽像素边缘中像素点的灰度值执行非极大值抑制，得到细像素边缘；
S43、利用预构建的双阈值算法，根据所述细像素边缘的梯度，对所述细像素边缘中的像素点进行筛选，得到所述瞳孔边缘点集。
本发明实施例中，所述利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置，包括：
确定所述瞳孔边缘点集的抽样区域；
根据所述抽样区域，在所述瞳孔边缘点集中随机抽取预定数量的拟合像素点；
根据所述拟合像素点，利用所述随机抽样一致算法，拟合出瞳孔边缘曲线；
求取所述瞳孔边缘曲线的外接矩形，计算所述外接矩形的几何中心点，将所述几何中心点作为所述瞳孔中心位置。
可解释的，所述抽样区域指根据用眼习惯设置的方便提取瞳孔边缘点的区域，例如：由于瞳孔可能受到眼睑的遮挡，导致提取瞳孔边缘点失败，此时可以将所述瞳孔边缘点集的抽样区域设置为-90度到30度，150度到270度两个区域。
S5、根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
本发明实施例中，所述瞳孔中心位置，即可表示眼球的瞳孔实时位置，也可代替为眼球的实时运动位置，因此，当实时获得连续的瞳孔中心位置，并将所有的瞳孔中心位置按照时间顺序拟合成曲线，即可表明所述VR用户的眼球运动轨迹。
相比于背景技术所述：对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的现象，本发明实施例通过对所述实时眼部图进行预处理，得到所述初始眼部图，通过状态识别，得到所述标准眼部图，再利用所述标准眼部图构建所述灰度直方图，通过所述灰度直方图可以直观表示所述标准眼部图的各个灰度值出现的频率，通过所述灰度直方图可以降低所述图像分割聚类算法的计算复杂度，提高计算效率，进而得到所述瞳孔区域，利用边缘检测技术识别所述瞳孔区域的瞳孔边缘点集，再利用所述随机抽样一致算法根据所述瞳孔边缘点集，精确拟合出瞳孔的形状，计算出所述瞳孔中心位置，进而获得所述眼部运动轨迹。因此本发明提出的基于VR设备的眼球运动轨迹捕捉分析方法、装置、电子设备及计算机可读存储介质，可以解决对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的问题。
实施例2：
如图4所示，是本发明一实施例提供的基于VR设备的眼球运动轨迹捕捉分析装置的功能模块图。
本发明所述基于VR设备的眼球运动轨迹捕捉分析装置100可以安装于电子设备中。根据实现的功能，所述基于VR设备的眼球运动轨迹捕捉分析装置100可以包括初始眼部图获取模块101、灰度直方图构建模块102、瞳孔区域识别模块103、瞳孔中心位置获取模块104及眼球运动轨迹确定模块105。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
所述初始眼部图获取模块101，用于获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
可解释的，所述实时眼部图可以利用虚拟现实头盔中的眼图采集相机获取，所述眼图采集相机可以实时获取VR用户的眼部图像。
可选择的，所述对所述实时眼部图进行预处理指对所述实时眼部图进行图像滤波操作，达到去除实时眼部图中噪声点的效果。
本发明实施例中，所述获取VR用户的实时眼部图，包括：
利用预构建的三维动画制作软件，构建三维模拟动画；
利用所述三维模拟动画，引导所述VR用户进行眼部活动；
实时捕获所述VR用户，在进行所述眼部活动时的实时眼部图。
可理解的，可以利用所述三维模拟动画实现对VR用户的眼球运动进行引导的作用，例如：可以利用所述三维模拟动画引导VR用户进行凝视、平滑追踪以及扫视等眼部运动。
可选择的，所述三维动画制作软件可以为3D Studio Max，3D Studio Max是基于PC系统的三维动画渲染和制作软件。所述三维模拟动画可以通过到入Unity中，实现VR场景的创建。
本发明实施例中，所述对所述实时眼部图进行预处理，得到初始眼部图，包括：
在所述实时眼部图中选取像素原点；
计算所述实时眼部图中的每一个像素点与所述像素原点的像素距离；
根据所述像素距离，确定所述实时眼部图中，每一个像素点的权重；
根据所述像素点的权重，对所述实时眼部图进行图像平滑处理，得到所述初始眼部图。
可选择的，可以利用高斯滤波技术，对所述实时眼部图进行图像滤波，应用高斯滤波技术实现对所述实时眼部图进行图像滤波，首先需要确定所述像素原点，其它像素点与所述像素原点距离越近，则该像素点的权重越大，表示与所述像素原点的联系越密切。通过给所述像素原点邻域内的像素分配不同的权重，实现图像平滑去噪的目的。
所述灰度直方图构建模块102，用于对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
可解释的，所述标准眼部图指所述初始眼部图中的眼睛为睁开状态。所述灰度直方图指利用所述标准眼部图中像素点的灰度值为横坐标参数，灰度值出现相同情况的频率为纵坐标参数，构建的直方图。
本发明实施例中，所述对所述初始眼部图进行状态识别，得到标准眼部图，包括：
设置眼部睁开检测阈值；
对所述初始眼部图执行二值化处理，得到二值化眼部图；
根据所述二值化眼部图中每个像素点的灰度值，对所述二值化眼部图进行垂直积分投影，得到积分投影曲线；
判断所述积分投影曲线的突变点距离是否大于所述眼部睁开检测阈值；
若所述突变点距离大于所述眼部睁开检测阈值，则判定所述初始眼部图为闭眼图；
若所述突变点距离小于等于所述眼部睁开检测阈值，则判定所述初始眼部图为所述标准眼部图。
可解释的，所述眼部睁开检测阈值指判定所述初始眼部图中的眼睛处于睁开状态的值。
可理解的，所述二值化处理指将所述初始眼部图中眼睛处于睁开状态下的瞳孔及眼睛处于闭合状态下的睫毛、眼睑的颜色设置为黑色，其它区域设置为白色。
应明白的，进行所述垂直积分投影可以将所述二值化眼部图的水平位置参数作为二维坐标系的横坐标，将所述二值化眼部图在所述水平位置参数的单位像素区间内累积的灰度值作为纵坐标，构建所述积分投影曲线。
可理解的，由于眼睛睁开时，灰度值最低的区域为瞳孔，当眼睛闭合时，灰度值最低的区域为眼睑和睫毛，此时的灰度值最低区域的水平位置跨度远比瞳孔直径大，应视为闭合状态，所以所述眼部睁开检测阈值可以设置为介于瞳孔直径和眼睑长度之间的值，用于区分灰度值最低区域是瞳孔还是眼睑。
应明白的，当所述积分投影曲线中的灰度值突然从白色变为黑色，表明曲线进入灰度值最低区域，当所述积分投影曲线中的灰度值突然从黑色变为白色，表明曲线开始脱离灰度值最低区域。所述突变点距离指两次突变的横向距离，当眼睛为睁开状态时，所述突变点距离表示瞳孔直径，当眼睛为闭合状态时，所述突变点距离表示眼睑长度。、
可理解的，在获取所述标准眼部图的过程中，需要确保VR用户的眼部是睁开状态的，方便后续追踪眼球运动。
本发明实施例中，所述根据所述标准眼部图，构建灰度直方图，包括：
扫描所述标准眼部图中个每一个像素点的灰度值；
以所述灰度值为横坐标，以所述灰度值出现的频率为纵坐标，构建所述灰度直方图。
所述瞳孔区域识别模块103，用于利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
可选择的，所述图像分割聚类算法可以为OTSU算法。
本发明实施例中，所述利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域，包括：
拟合所述灰度直方图，得到初始灰度曲线图；
设置波峰横向删除阈值及波峰纵向删除阈值；
判断所述初始灰度曲线图中是否存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述波峰纵向删除阈值的相邻波峰；
若所述初始灰度曲线图中存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述相邻波峰从所述灰度曲线图中删除，得到目标灰度曲线图；
若所述初始灰度曲线图中不存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述初始灰度曲线图作为所述目标灰度曲线图；
在所述目标灰度曲线图中，提取前两个波峰之间的曲线，得到目标曲线；
根据所述目标曲线对应的灰度值，在所述标准眼部图中提取对应的像素点，得到待分割灰度图；
利用预构建的类间方差公式，根据所述待分割灰度图中的像素点数及像素点对应的灰度值，计算出最大类间方差；
根据所述最大类间方差，求出二值化分割阈值；
利用所述二值化分割阈值，对所述待分割灰度图进行分割，得到所述瞳孔区域。
可解释的，由于所述初始灰度曲线图中可能存在变化趋势不明显的波峰，因此可以利用所述波峰横向删除阈值及波峰纵向删除阈值，将所述变化趋势不明显的波峰进行去除。
应明白的，由于OTSU算法的计算过程复杂，计算时间冗长，因此可以利用所述目标灰度曲线图中的前两个波峰间的曲线作为所述OTSU算法的原始参数，提高计算的效率。在所述标准眼部图中，识别与所述目标曲线具有相同灰度值的像素点，并将该像素点进行显示，得到所述待分割灰度图，所述待分割灰度图即指包含瞳孔的局域图。
本发明实施例中，所述类间方差公式如下所示：
Figure BDA0003597261370000141
Figure BDA0003597261370000142
其中，n1表示灰度值介于p0和Th之间的像素数，n2表示灰度值介于Th和p1之间的像素数，n表示所述待分割灰度图的像素总数，ω1表示灰度值介于p0和Th之间的像素的灰度平均数，ω2表示灰度值介于Th和p1之间的像素的灰度平均数，ω表示所述待分割灰度图中像素的灰度平均数，g表示最大类间方差，p0表示所述目标灰度曲线图中第一个波峰对应的灰度值，p1表示所述目标灰度曲线图中第二个波峰对应的灰度值，Th表示介于p0和p1之间的灰度值。
所述瞳孔中心位置获取模块104，用于对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
可选择的，所述边缘检测可以采用Canny算子的方式，进行检测。所述随机抽样一致算法指(Random Sample Consensus算法，简称ransac算法)。
本发明实施例中，所述对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，包括：
根据所述瞳孔区域中像素点的灰度值，对所述瞳孔区域图像进行梯度计算，得到宽像素边缘；
对所述宽像素边缘中像素点的灰度值执行非极大值抑制，得到细像素边缘；
利用预构建的双阈值算法，根据所述细像素边缘的梯度，对所述细像素边缘中的像素点进行筛选，得到所述瞳孔边缘点集。
本发明实施例中，所述利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置，包括：
确定所述瞳孔边缘点集的抽样区域；
根据所述抽样区域，在所述瞳孔边缘点集中随机抽取预定数量的拟合像素点；
根据所述拟合像素点，利用所述随机抽样一致算法，拟合出瞳孔边缘曲线；
求取所述瞳孔边缘曲线的外接矩形，计算所述外接矩形的几何中心点，将所述几何中心点作为所述瞳孔中心位置。
可解释的，所述抽样区域指根据用眼习惯设置的方便提取瞳孔边缘点的区域，例如：由于瞳孔可能受到眼睑的遮挡，导致提取瞳孔边缘点失败，此时可以将所述瞳孔边缘点集的抽样区域设置为-90度到30度，150度到270度两个区域。
所述眼球运动轨迹确定模块105，用于根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
本发明实施例中，所述瞳孔中心位置，即可表示眼球的瞳孔实时位置，也可代替为眼球的实时运动位置，因此，当实时获得连续的瞳孔中心位置，并将所有的瞳孔中心位置按照时间顺序拟合成曲线，即可表明所述VR用户的眼球运动轨迹。
详细地，本发明实施例中所述基于VR设备的眼球运动轨迹捕捉分析装置100中能够产生如下技术效果：
相比于背景技术所述：对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的现象，本发明实施例通过对所述实时眼部图进行预处理，得到所述初始眼部图，通过状态识别，得到所述标准眼部图，再利用所述标准眼部图构建所述灰度直方图，通过所述灰度直方图可以直观表示所述标准眼部图的各个灰度值出现的频率，通过所述灰度直方图可以降低所述图像分割聚类算法的计算复杂度，提高计算效率，进而得到所述瞳孔区域，利用边缘检测技术识别所述瞳孔区域的瞳孔边缘点集，再利用所述随机抽样一致算法根据所述瞳孔边缘点集，精确拟合出瞳孔的形状，计算出所述瞳孔中心位置，进而获得所述眼部运动轨迹。因此本发明提出的基于VR设备的眼球运动轨迹捕捉分析方法、装置、电子设备及计算机可读存储介质，可以解决对VR用户的眼球运动追踪存在追踪轨迹不精确、实时反馈延时长的问题。
实施例3：
如图5所示，是本发明一实施例提供的实现基于VR设备的眼球运动轨迹捕捉分析方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、总线12和通信接口13，还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序，如基于VR设备的眼球运动轨迹捕捉分析程序。
其中，所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元，例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备，例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据，例如基于VR设备的眼球运动轨迹捕捉分析程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器11内的程序或者模块(例如基于VR设备的眼球运动轨迹捕捉分析程序等)，以及调用存储在所述存储器11内的数据，以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect，简称PCI)总线或扩展工业标准结构(extended industry standard architecture，简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图5仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图5示出的结构并不构成对所述电子设备1的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
例如，尽管未示出，所述电子设备1还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器10逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。
进一步地，所述电子设备1还可以包括网络接口，可选地，所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等)，通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地，该电子设备1还可以包括用户接口，用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于VR设备的眼球运动轨迹捕捉分析程序是多个指令的组合，在所述处理器10中运行时，可以实现：
获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
具体地，所述处理器10对上述指令的具体实现方法可参考图1至图4对应实施例中相关步骤的描述，在此不赘述。
进一步地，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述方法包括：
获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
2.如权利要求1所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述获取VR用户的实时眼部图，包括：
利用预构建的三维动画制作软件，构建三维模拟动画；
利用所述三维模拟动画，引导所述VR用户进行眼部活动；
实时捕获所述VR用户，在进行所述眼部活动时的实时眼部图。
3.如权利要求2所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述对所述实时眼部图进行预处理，得到初始眼部图，包括：
在所述实时眼部图中选取像素原点；
计算所述实时眼部图中的每一个像素点与所述像素原点的像素距离；
根据所述像素距离，确定所述实时眼部图中，每一个像素点的权重；
根据所述像素点的权重，对所述实时眼部图进行图像平滑处理，得到所述初始眼部图。
4.如权利要求3所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述对所述初始眼部图进行状态识别，得到标准眼部图，包括：
设置眼部睁开检测阈值；
对所述初始眼部图执行二值化处理，得到二值化眼部图；
根据所述二值化眼部图中每个像素点的灰度值，对所述二值化眼部图进行垂直积分投影，得到积分投影曲线；
判断所述积分投影曲线的突变点距离是否大于所述眼部睁开检测阈值；
若所述突变点距离大于所述眼部睁开检测阈值，则判定所述初始眼部图为闭眼图；
若所述突变点距离小于等于所述眼部睁开检测阈值，则判定所述初始眼部图为所述标准眼部图。
5.如权利要求4所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述根据所述标准眼部图，构建灰度直方图，包括：
扫描所述标准眼部图中个每一个像素点的灰度值；
以所述灰度值为横坐标，以所述灰度值出现的频率为纵坐标，构建所述灰度直方图。
6.如权利要求5所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域，包括：
拟合所述灰度直方图，得到初始灰度曲线图；
设置波峰横向删除阈值及波峰纵向删除阈值；
判断所述初始灰度曲线图中是否存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述波峰纵向删除阈值的相邻波峰；
若所述初始灰度曲线图中存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述相邻波峰从所述灰度曲线图中删除，得到目标灰度曲线图；
若所述初始灰度曲线图中不存在波峰的横向距离小于所述波峰横向删除阈值的相邻波峰，或波峰的纵向高度差小于所述曲线纵向删除阈值的相邻波峰，则将所述初始灰度曲线图作为所述目标灰度曲线图；
在所述目标灰度曲线图中，提取前两个波峰之间的曲线，得到目标曲线；
根据所述目标曲线对应的灰度值，在所述标准眼部图中提取对应的像素点，得到待分割灰度图；
利用预构建的类间方差公式，根据所述待分割灰度图中的像素点数及像素点对应的灰度值，计算出最大类间方差；
根据所述最大类间方差，求出二值化分割阈值；
利用所述二值化分割阈值，对所述待分割灰度图进行分割，得到所述瞳孔区域。
7.如权利要求6所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述类间方差公式如下所示：
Figure FDA0003597261360000031
Figure FDA0003597261360000032
其中，n1表示灰度值介于p0和Th之间的像素数，n2表示灰度值介于Th和p1之间的像素数，n表示所述待分割灰度图的像素总数，ω1表示灰度值介于p0和Th之间的像素的灰度平均数，ω2表示灰度值介于Th和p1之间的像素的灰度平均数，ω表示所述待分割灰度图中像素的灰度平均数，g表示最大类间方差，p0表示所述目标灰度曲线图中第一个波峰对应的灰度值，p1表示所述目标灰度曲线图中第二个波峰对应的灰度值，Th表示介于p0和p1之间的灰度值。
8.如权利要求7所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，包括：
根据所述瞳孔区域中像素点的灰度值，对所述瞳孔区域图像进行梯度计算，得到宽像素边缘；
对所述宽像素边缘中像素点的灰度值执行非极大值抑制，得到细像素边缘；
利用预构建的双阈值算法，根据所述细像素边缘的梯度，对所述细像素边缘中的像素点进行筛选，得到所述瞳孔边缘点集。
9.如权利要求8所述的基于VR设备的眼球运动轨迹捕捉分析方法，其特征在于，所述利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置，包括：
确定所述瞳孔边缘点集的抽样区域；
根据所述抽样区域，在所述瞳孔边缘点集中随机抽取预定数量的拟合像素点；
根据所述拟合像素点，利用所述随机抽样一致算法，拟合出瞳孔边缘曲线；
求取所述瞳孔边缘曲线的外接矩形，计算所述外接矩形的几何中心点，将所述几何中心点作为所述瞳孔中心位置。
10.一种基于VR设备的眼球运动轨迹捕捉分析装置，其特征在于，所述装置包括：
初始眼部图获取模块，用于获取VR用户的实时眼部图，对所述实时眼部图进行预处理，得到初始眼部图；
灰度直方图构建模块，用于对所述初始眼部图进行状态识别，得到标准眼部图，根据所述标准眼部图，构建灰度直方图；
瞳孔区域识别模块，用于利用预构建的图像分割聚类算法，根据所述标准眼部图及灰度直方图，计算出所述标准眼部图的瞳孔区域；
瞳孔中心位置获取模块，用于对所述瞳孔区域执行边缘检测，得到瞳孔边缘点集，利用预构建的随机抽样一致算法，根据所述瞳孔边缘点集，计算出所述标准眼部图的瞳孔中心位置；
眼球运动轨迹确定模块，用于根据所述瞳孔中心位置，确定所述VR用户的眼球运动轨迹。
CN202210401402.7A 2022-04-14 2022-04-14 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质 Pending CN114816055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210401402.7A CN114816055A (zh) 2022-04-14 2022-04-14 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210401402.7A CN114816055A (zh) 2022-04-14 2022-04-14 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质

Publications (1)

Publication Number Publication Date
CN114816055A true CN114816055A (zh) 2022-07-29

Family

ID=82536018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210401402.7A Pending CN114816055A (zh) 2022-04-14 2022-04-14 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114816055A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN117876488A (zh) * 2024-01-12 2024-04-12 湖州露湖鄱生物科技有限公司 一种基于图像处理核心算法的瞳孔仪
CN117975545A (zh) * 2023-11-24 2024-05-03 深圳昊瑞达电子有限公司 一种通讯模组调用系统及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116974370A (zh) * 2023-07-18 2023-10-31 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN116974370B (zh) * 2023-07-18 2024-04-16 深圳市本顿科技有限公司 一种防沉迷儿童学习平板电脑控制方法及系统
CN117975545A (zh) * 2023-11-24 2024-05-03 深圳昊瑞达电子有限公司 一种通讯模组调用系统及方法
CN117975545B (zh) * 2023-11-24 2024-08-30 陕西东泽瑞科技开发有限公司 一种通讯模组调用系统及方法
CN117876488A (zh) * 2024-01-12 2024-04-12 湖州露湖鄱生物科技有限公司 一种基于图像处理核心算法的瞳孔仪

Similar Documents

Publication Publication Date Title
EP3916627A1 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US20210118144A1 (en) Image processing method, electronic device, and storage medium
CN114816055A (zh) 基于vr设备的眼球运动轨迹捕捉分析方法、装置及介质
TWI786330B (zh) 一種圖像處理方法、電子設備及存儲介質
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN112418216B (zh) 一种复杂自然场景图像中的文字检测方法
CN110197146A (zh) 基于深度学习的人脸图像分析方法、电子装置及存储介质
US11720745B2 (en) Detecting occlusion of digital ink
CN117041484B (zh) 基于物联网的人流密集区域监控方法及系统
CN115601811B (zh) 面部痤疮的检测方法和装置
CN116645697A (zh) 一种多视角步态识别方法、装置、电子设备及存储介质
CN113706562B (zh) 图像分割方法、装置、系统及细胞分割方法
CN114549557A (zh) 一种人像分割网络训练方法、装置、设备及介质
CN117333929B (zh) 基于深度学习实现道路施工下的异常人员识别方法及系统
CN108734718B (zh) 用于图像分割的处理方法、装置、存储介质及设备
CN117274278B (zh) 基于模拟感受野的视网膜图像病灶部位分割方法及系统
Lagmay et al. Enhanced automatic areas of interest (aoi) bounding boxes estimation algorithm for dynamic eye-tracking stimuli
CN110633666A (zh) 一种基于手指颜色贴片的手势轨迹识别方法
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
CN115294426A (zh) 介入医学设备的跟踪方法、装置、设备及存储介质
CN114049676A (zh) 疲劳状态检测方法、装置、设备及存储介质
Cheng et al. Fast ellipse fitting based pupil tracking design for human-computer interaction applications
WO2023047165A1 (en) Object sequence image processing method and apparatus, device and storage medium
CN105718050B (zh) 一种实时的人脸交互方法及其系统
CN113657137A (zh) 数据处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination