CN110399930B - 一种数据处理方法及系统 - Google Patents

一种数据处理方法及系统 Download PDF

Info

Publication number
CN110399930B
CN110399930B CN201910689774.2A CN201910689774A CN110399930B CN 110399930 B CN110399930 B CN 110399930B CN 201910689774 A CN201910689774 A CN 201910689774A CN 110399930 B CN110399930 B CN 110399930B
Authority
CN
China
Prior art keywords
precision
data
sub
region
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910689774.2A
Other languages
English (en)
Other versions
CN110399930A (zh
Inventor
苑屹
王云飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Original Assignee
Beijing 7Invensun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 7Invensun Technology Co Ltd filed Critical Beijing 7Invensun Technology Co Ltd
Priority to CN201910689774.2A priority Critical patent/CN110399930B/zh
Publication of CN110399930A publication Critical patent/CN110399930A/zh
Application granted granted Critical
Publication of CN110399930B publication Critical patent/CN110399930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种数据处理方法及系统,该方法包括:采集用户双眼的特征数据;依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;依据所述融合权值表,确定在目标区域的用户双眼数据的融合策略;其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,目标区域包括至少一个子区域。本发明可以根据该融合权值表,来确定在不同区域的用户双眼数据的融合策略,相比于现有技术中对每个区域均采用同一策略来说,其误差更低,也提升了用户的体验效果。

Description

一种数据处理方法及系统
技术领域
本发明涉及眼球追踪技术领域,特别是涉及一种数据处理方法及系统。
背景技术
伴随着眼球追踪技术的广泛应用,越来越多的研究追踪产品能够被用户所体验。用户在首次使用眼球追中产品进行辅助沟通、实验分析或者玩游戏的时候,需要对用户注视点进行校准,以保证用户在使用眼球追踪产品时的准确性。
在校准过程中,除了对用户左右眼的各自校准外,还需要计算左右眼的各自的校准精度,依据二者中较为准确的一方来选取主要眼。之后进行眼球追踪时,两只眼睛会分别获得自己的视线信息,在双眼信息融合成最终注视点的过程中,优先使用主要眼的数据,仅当该眼数据失效或无效时才使用另一只眼的数据。但是这种校准方案,在大部分时间内使用单一眼睛的数据,在某些情况下,其最终的追踪点会发生较大波动,使得误差较大,无法满足实际需求,降低了用户的体验效果。
发明内容
针对于上述问题,本发明提供一种数据处理方法及系统,实现了降低校准误差,提高用户的体验效果的目的。
为了实现上述目的,本发明提供了如下技术方案:
一种数据处理方法,该方法包括:
采集用户双眼的特征数据;
依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,所述目标区域包括至少一个所述子区域。
可选地,该方法还包括:
创建子区域精度表。
可选地,所述创建子区域精度表,包括:
将眼球追踪区域按照预设规则划分为若干个子区域;
采集并分析每个所述子区域对应的用户眼部特征信息,获得每个所述子区域的追踪精度;
将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;
根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表。
可选地,所述精度需求数据包括用户设置的需求数据和/或眼动追踪项目需求数据。
可选地,该方法还包括:
基于硬件特性参数和特性算法,确定所述子区域对应的预期精度。
可选地,所述基于硬件特性参数和特性算法,确定每个所述子区域对应的预期精度,包括:
判断所述子区域对应的预期精度是否满足精度需求数据;如果否,则调整所述硬件特征参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
可选地,所述根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表,包括:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
可选地,所述将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表,包括:
将所述校准精度进行归一化处理;
将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
可选地,所述用户双眼数据的融合策略,包括下面的一种或多种:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
可选地,该方法还包括:
监测到视线追踪事件被触发时,获取用户双眼的特征数据;
基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息。
一种数据处理系统,该系统包括:
采集单元,用于采集用户双眼的特征数据;
评估单元,用于依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
计算单元,用于将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
确定单元,用于依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,所述目标区域包括至少一个所述子区域。
可选地,该系统还包括:
创建单元,用于创建子区域精度表;
其中,所述创建单元包括:
区域划分子单元,用于将眼球追踪区域按照预设规则划分为若干个子区域;
精度获取子单元,用于采集并分析每个所述子区域对应的用户眼部特征信息,获得每个所述子区域的追踪精度;
对比子单元,用于将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;
处理子单元,用于根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表;
所述处理子单元具体用于:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
可选地,该系统还包括:
预期精度确定单元,用于基于硬件特性参数和特性算法,确定所述子区域对应的预期精度;
其中,所述预期精度确定单元包括:
判断子单元,用于判断所述子区域对应的预期精度是否满足精度需求数据,如果否,则调整所述硬件特征参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
可选地,所述处理子单元具体用于:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
可选地,所述计算单元包括:
归一化子单元,用于将所述校准精度进行归一化处理;
计算子单元,用于将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
可选地,该系统还包括:
检测单元,用于监测到视线追踪事件被触发时,获取用户双眼的特征数据;
估算单元,用于基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
策略确定单元,用于确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
信息输出单元,用于根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息;
其中,所述用户双眼数据的融合策略,包括:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
一种设备,包括:
处理器、存储器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一项所述数据处理方法的步骤。
一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上任一项所述数据处理方法步骤。
相较于现有技术,本发明提供了一种数据处理方法及系统,应用于眼球追踪领域,依据采集到的用户双眼的特征数据以及校准点位置,分别评估用户双眼在目标区域的校准精度,将对应的校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表。可以根据该融合权值表,来确定最终的用户双眼数据的融合策略,相比于现有技术中在视线追踪事件中对每个区域均采用同一双眼数据融合策略来说,其采用不同区域采用与之对应的双眼数据融合策略,使得融合精度更高,误差更低,也提升了用户的体验效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例一提供的一种数据处理方法的流程示意图;
图2为本发明实施例二提供的一种子区域精度表的创建方法的流程示意图;
图3为本发明实施例三提供的一种确定子区域预期精度的方法的流程示意图;
图4为本发明实施例四提供的一种视线追踪信息的采集方法的流程示意图;
图5为本发明实施例五提供的一种数据处理系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元,而是可包括没有列出的步骤或单元。
在本发明实施例中提供的数据处理方法应用于眼球追踪领域,眼球追踪也可以称为视线追踪,是通过测量眼睛运动情况来估计眼睛的视线和/或注视点的技术,眼球追踪技术需要用到专用设备,如眼动仪。
在这些专用设备使用过程中,由于每个用户的眼部特征数据都不同,在使用眼动仪之前都需要进行校准,确保设备的使用过程中的相关精度,使得后续的眼动控制更加精确。在校准过程中处理对设备的相关参数进行校准,还要对用户的双眼进行校准,具体的,处理对左右眼各自校准外,还要计算左右眼的各自的校准精度,以使得后续的眼球追踪过程中能够获得精准的注视数据。现有技术均是优选使用主要眼的注视数据,仅当该主要眼失效或无数据时才使用另一支眼的数据。因此,现有的数据融合策略其注视数据的确定过程模式较为单一,无法适合不同的用户特征。
实施例一
在本申请实施例一中提供一种数据处理方法,该数据处理方法可以满足不同用户的在不同区域的双眼数据的融合需求,提升了用户控制眼动设备的体验效果。参见图,该数据处理方法包括:
S101、采集用户双眼的特征数据。
在对用户进行校准(也称为标定)过程中,需要采集用户的特征数据,在本申请实施例中可以让用户注视一个或多个目标点位,然后采集用户双眼的特征数据,该特征数据包括了左眼的特征数据和右眼的特征数据。可以通过视线追踪装置来采集用户双眼的特征数据。
由于视线追踪装置可以是MEMS微机电系统,例如包括MEMS红外扫描反射镜、红外光源、红外接收器,通过拍摄眼部图像检测眼球运动;也可以是电容传感器,其通过眼球与电容极板之间的电容值来检测眼球运动;还可以是肌电流检测器,例如通过在鼻梁、额头、耳朵或耳垂处放置电极,通过检测的肌电流信号模式来检测眼球运动。
因此用户的特征数据可以包括:眼部特征图像和/或电容值和/或肌电流信号等数据。眼部特征图像包括:瞳孔位置、瞳孔形状、虹膜位置、虹膜形状、眼皮位置、眼角位置、光斑位置等。
S102、依据特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度。
在本发明实施例中将眼球追踪区域即在进行视线追踪时的整个可视区域划分为若干个子区域,对应的,在评估过程中的目标区域可以包括一个或多个子区域。然后评估用户双眼在目标区域即对应的各个子区域的校准精度。具体的评估方法可以基于采集到的特征数据中的用户眼部特征信息,以及用户校准时显示的校准点的位置进行综合评估,例如,利用特征数据和校准点位置数据创建精度评估模型,然后将采集到的特征数据和校准点位置输入至该精度评估模型中,可以获得用户双眼在目标区域的校准精度。
S103、将校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表。
其中,子区域是将眼球追踪区域按照预设规则划分后得到的,预设的子区域精度表包括各个子区域的精度数据。可以在获得了用户双眼在目标区域的校准精度后,先对校准精度进行数据处理,如归一化处理,然后结合预设的子区域精度表进行计算,获得最终的用户双眼的融合权值表,该融合权值表可以反映用户双眼的特征数据在目标区域的校准好坏的效果。其中,按照预设规则进行划分时,该预设规则可以根据眼球追踪区域的追踪需求进行设置,也可以根据指定的划分算法进行设置。
S104、依据融合权值表,确定在目标区域内的用户双眼数据的融合策略。
由于融合权值表可以反映用户双眼的特征数据在各个目标区域的校准好坏的效果。因此,可以通过该融合权值表来确定用户在各个目标区域的双眼数据的融合策略即视线追踪过程中注视数据的采集策略,该融合策略可以包括下面的一种或多种:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
融合权值表可以表征在各个子区域中在进行左右眼数据融合处理时,左右眼数据的在融合过程中各自的比重,即对应各自的权重值,例如,在第一子区域时,对照双眼的融合权值表,在该区域的左眼数据的权重值高于右眼数据的权重值,即实际应用中在进行数据融合时,左眼的数据所占总比例高于右眼的数据。在第二区域中,右眼的权重值高于左眼数据的权重值,则会使得右眼数据所占总比例高于左眼数据。对应的,在某些特殊区域左眼的权重值或者右眼的权重值可能为零,则在该区域会出现只将左眼数据作为注视数据或者是将右眼数据作为注视数据。
即根据融合权值表确定在各个目标区域的双眼数据的融合策略其实质表示的是将左右眼数据进行融合时,各部分数据的比例分配的依据。这样可以满足校准的精确度在不同区域会出现左右眼不同的问题。
本发明的实施例一中提供了一种数据处理方法,应用于眼球追踪领域,依据采集到的用户双眼的特征数据以及校准点位置,分别评估用户双眼在目标区域的校准精度,将对应的校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表。可以根据该融合权值表,来确定最终的用户双眼数据的融合策略,相比于现有技术中对每个区域均采用同一融合策略来说,其误差更低,也提升了用户的体验效果。
实施例二
在实施例一中通过预设的子区域精度表与校准精度进行计算可以获得用户双眼的融合权值表。因此,需要在预先创建子区域精度表。参见图2,为本申请实施例二中提供的一种子区域精度表的创建方法,该方法包括:
S201、将眼球追踪区域按照预设规则划分为若干个子区域;
S202、采集并分析每个子区域对应的用户眼部特征信息,获得每个子区域的追踪精度;
S203、将追踪精度与子区域对应的预期精度进行对比,获得各个子区域对应的初始区域精度表;
S204、根据精度需求数据,对初始子区域精度表进行处理,获得子区域精度表。
眼球追踪区域代表的是用户能看到的全部可视区域,然后将其划分为若干个子区域,分别采集各个子区域的用户眼部特征信息,然后可以通过硬件特性算法对用户眼部特征信息进行分析来获得各个子区域的追踪精度,依据该结果和硬件方案预期的各个子区域精度结合获得初始子区域精度表。可以理解的是,通过硬件特征算法对用户眼部特征信息进行分析,获得的各个子区域的追踪精度表征的硬件特征算法计算获得的计算值,可以将该计算值作为该子区域的精度数值,但是在实际应用过程需要考虑该硬件特征算法对应的硬件方案预期的数据,来对计算获得的数据进行处理,例如,对于某个硬件算法其预期的数据范围为a~b,而实际计算获得计算值为c,若c在a~b之间,则可以将c作为追踪精度,若c不在该范围内,会根据c的大小和a~b取值范围,对硬件进行迭代重新计算获得计算值c,得到d使得d在该范围内。即预期精度是硬件的精度和算法预期精度的综合精度,在此处的预期精度是基于算法原理在硬件特性方面的反馈得到的,具体可以为根据在该子区域的畸变程度、眼球图像的长宽比等数据来确定精度。
在获得了初始子区域精度表后,可以根据精度需求数据来进行处理,获得追踪的子区域精度表。需要说明的是,精度需求数据包括用户设置的需求数据和/或眼动追踪项目需求数据,其中,用户设置的需求数据可以表征实际需要的精度数据,眼动追踪项目需求数据可以表征在某个眼动追踪项目中的使用精度数据。在根据精度需求数据对初始子区域精度表进行处理的目的是得到的子区域精度表更加满足实际的需求,即满足实际的眼动追踪项目或者用户设置的需求数据。以眼动追踪项目A进行举例说明,眼动追踪项目A表征的是一种虚拟现实体验项目,其本质是让用户对相应的虚拟显示设备进行体验,在该类项目中其设置的精度需求数据会相对较低,即满足用户的体验需求即可,当对应某个子区域设置的精度需求数据对应的数值低于该子区域的精度表中的数值时,为了提高计算效率和校准时间,可以将该子区域的精度设置为该区域的精度需求数据对应的数值。依据上述处理过程依次完成对各个子区域的精度数据的处理,从而完成对初始子区域精度表的处理,获得子区域精度表。
即,不同的眼动追踪项目其目的不同,有的眼动追踪项目需要基于追踪结果进行进一步的研究和分析,此时该项目对应的需求数据代表的精度需求会较高,因此,不同的眼动追踪项目其实质需要的子区域精度不同。具体的可以根据精度需求数据,对初始子区域精度表中的精度进行筛选和过滤。
实施例三
在上述实施例的基础上,在本发明的实施例三中还提供了一种确定子区域预期精度的方法,该方法主要是基于硬件特性参数和特性算法实现的,参见图3,该方法包括:
S301、判断子区域对应的预期精度是否满足精度需求数据,如果否,则执行S302,如果是,则执行S303;
S302、调整硬件特征参数和/或特性算法,重新确定预期精度,直至预期精度满足精度需求数据为止;
S303、将当前预期精度确定为子区域对应的预期精度。
在该实施例中需要保证任何一个子区域至少存在双眼中的一个眼睛对应的预期精度满足客户需求(即精度需求数据),若不满足需要迭代更新硬件方案,即该区域左右眼的预期精度均不满足精度需求数据,但是若该区域中存在一只眼的效果较好,则不需要调整硬件或算法。其中,需要迭代更新的硬件方案包括调整硬件特性参数和/或特性算法。具体的,硬件特性参数依赖于不同的追踪特性算法方案,即某一种算法它的精度会依赖于硬件的某些特征,而这个特性在硬件的全体适用范围内是不一样的,例如,同一硬件在使用者看向不同位置时有不同的采集精度。最终子区域精度表就是将硬件的全体适用范围划分为若干个子空间,每一个子空间的精度都是由该区域内跟算法相关的硬件特性参数这些数据决定的。
举例说明,若某个眼动追踪项目中使用的目标算法主要依赖于两个硬件特征参数,即瞳孔主视线和相机的夹角,以及瞳孔被光噪声干扰的强弱,这两个特征参数都会影响该目标算法精度,所以要获得最终子区域精度表就要先划分子区域,在不同的子区域分别测定这两个硬件特征参数,根据精度数据来对该硬件特性参数进行调整,从而获得各个子区域的精度值。
子区域精度表最终的形式会是对应不同子区域的一个矩阵,该矩阵中的每个元素的值代表该子区域的精度值,即该精度值只和硬件特征参数以及其对应的特性算法影响的相关程度有关。
需要说明的是,在本发明的实施例中在对初始子区域精度表进行处理时,为了便于数据处理方便,采用了归一化的处理方式,即根据精度需求数据,对初始子区域精度表进行归一化处理,获得子区域精度表,如,将子区域精度表中不定的数值按照项目需求归一化,根据项目需求的精度在一定区域内线性递增一定区域内阶段即可,便于直接应用于数据结合阶段。
对应的,将校准精度与预设的子区域精度表计算,获得用户双眼的融合权值表,包括:
将所述校准精度进行归一化处理;
将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
具体的,为了便于数据方便处理,也是先将校准精度进行归一化处理,即使得校准精度具有统计分布性。然后结合子区域精度表来计算双眼的融合权值表,该计算过程可以理解为对数据叠加计算的过程。实现了校准精度和子区域精度两个维度的叠加态。依据双眼在各个子区域的精度数据与预设子区域的精度表进行叠加,用户在每个子区域中不同的校准数据其对应的校准精度不同,通过查询预设的子区域精度表来确定该子区域的精度值。
需要说明的是校准精度是反映用户注意力集中程度的精度数据,其可以通过用户眼部特征数据的离散程度反映,其离散程度越低其校准精度越高。而子区域精度是该子区域由于硬件系统特性反映出的其本身的精度,即其反映的是系统层面该子区域的精度特性。该子区域精度可以通过该子区域的平均眼动追踪结果的精度来反映。融合权值表中的精度数据是上述校准精度和对应的子区域精度的叠加态,来保证校准的更好的眼睛在相对准确的区域有更高的权值。即用户的某只眼睛只有在该子区域的校准精度和子区域精度都较高的情况下,对应的该眼睛在该子区域的融合权值表中的权值才会较高。
例如,若在第一子区域用户左眼的校准精度和该区域的左眼在子区域精度表中对应的精度数据进行叠加后的数据值高于用眼右眼叠加后的数据值,则在融合权值表对应的第一子区域进行左右眼数据融合时左眼的权重值会大于右眼的权重值。
实施例四
在本发明实施例四中提供了基于本发明上述实施例的数据处理方法的前提下,进行视线追踪信息的采集方法,参见图4,该方法包括:
S401、监测到视线追踪事件被触发时,获取用户双眼的特征数据;
S402、基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
S403、确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
S404、根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息。
首先监测到视线追踪事件被触发时,即可以是视线追踪设备接收到启动指令,也可以是达到预设的时间点自动触发视线追踪事件,获取用户双眼的特征数据,此时用户的双眼特征数据是用于分析用户视线落在对应的全部可视区域的位置,依据该位置和子区域的划分,确定用户视线所在的第一区域。由于在上述实施例中能够获取到目标区域对应的双眼数据的融合策略,则可以确定当前第一区域对应的目标用户双眼数据的融合策略,其中,该第一区域表征了可视区域中的一个子区域。然后根据该目标用户双眼数据的融合策略,计算在第一区域内采集到的用户的注视数据,将计算得到的结果作为相关的视线追踪信息进行存储,当然也可以直接输出注视数据,其中,视线追踪信息除了包括输出关于用户的注视相关的注视方向、注视数据等信息之外,还可以包括表征区域的区域标识,表征用户的用户标识等。
举例说明,当通过采集到用户双眼的视线信息,确定用户视线所在的区域为顺序标识为15的子区域,则获取到顺序标识为15的子区域的用户双眼数据的融合策略,具体的该融合策略中左眼数据的权重值为0.8,右眼数据的权重值为0.2,当根据左眼的特征数据确定的注视点在该子区域的坐标为(5.3,1.03),根据右眼的特征数据确定的注视点在该子区域的坐标为(5.05,1.02),从而可以根据该子区域的融合策略中加载的权重值进行计算,获得融合数据对应的注视点的横坐标x=5.3*0.8+5.05*0.2=5.25,纵坐标y=1.03*0.8+1.02*0.2=1.028,则计算获得的用户注视点的坐标为(5.25,1.028),从而可以根据该注视点坐标输出对应的用户的视线追踪信息。
实施例五
在本发明的实施例四中还提供了一种数据处理系统,参见图5,该系统包括:
采集单元10,用于采集用户双眼的特征数据;
评估单元20,用于依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
计算单元30,用于将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
确定单元40,用于依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域按照预设规则划分后得到的,所述目标区域包括至少一个所述子区域。
本发明提供了一种数据处理系统,应用于眼球追踪领域,评估单元依据采集单元采集到的用户双眼的特征数据,分别评估用户双眼在目标区域的校准精度,计算单元将对应的校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表。确定单元可以根据该融合值表,来确定最终的用户双眼数据的融合策略,相比于现有技术中对每个区域均采用同一采集策略来说,其校准误差更低,也提升了用户的体验效果。
在上述实施例的基础上,该系统还包括:
创建单元,用于创建子区域精度表;
其中,所述创建单元包括:
区域划分子单元,用于将眼球追踪区域按照预设规则划分为若干个子区域;
精度获取子单元,用于采集并分析每个所述子区域对应的用户眼部特征信息,获得每个所述子区域的追踪精度;
对比子单元,用于将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;
处理子单元,用于根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表;
所述处理子单元具体用于:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
在上述实施例的基础上,该系统还包括:
预期精度确定单元,用于基于硬件特性参数和特性算法,确定所述子区域对应的预期精度;
其中,所述预期精度确定单元包括:
判断子单元,用于判断所述子区域对应的预期精度是否满足精度需求数据,如果否,则调整所述硬件特征参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
在上述实施例的基础上,所述处理子单元具体用于:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
在上述实施例的基础上,所述计算单元包括:
归一化子单元,用于将所述校准精度进行归一化处理;
计算子单元,用于将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
在上述实施例的基础上,该系统还包括:
检测单元,用于监测到视线追踪事件被触发时,获取用户双眼的特征数据;
估算单元,用于基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
策略确定单元,用于确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
信息输出单元,用于根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息;
其中,所述用户双眼数据的融合策略,包括:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
实施例六
本发明实施例六提供了一种存储介质,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现实施例一至四任一项所述的数据处理方法的步骤。
实施例七
本发明实施例七提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行实施例一至四中任一项所述的数据处理方法步骤。
实施例八
本发明实施例八提供了一种设备,该设备包括处理器、存储器以及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
采集用户双眼的特征数据;
依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,所述目标区域包括至少一个所述子区域。
进一步地,该方法还包括:
创建子区域精度表。
进一步地,所述创建子区域精度表,包括:
将眼球追踪区域按照预设规则划分为若干个子区域;
采集并分析每个所述子区域对应的用户眼部特征信息,获得每个所述子区域的追踪精度;
将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;
根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表。
进一步地,所述精度需求数据包括用户设置的需求数据和/或眼动追踪项目需求数据。
进一步地,该方法还包括:
基于硬件特性参数和特性算法,确定所述子区域对应的预期精度。
进一步地,所述基于硬件特性参数和特性算法,确定每个所述子区域对应的预期精度,包括:
判断所述子区域对应的预期精度是否满足精度需求数据;如果否,则调整所述硬件特征参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
进一步地,所述根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表,包括:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
进一步地,所述将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表,包括:
将所述校准精度进行归一化处理;
将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
进一步地,所述用户双眼数据的融合策略,包括下面的一种或多种:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
进一步地,该方法还包括:
监测到视线追踪事件被触发时,获取用户双眼的特征数据;
基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息。
本文中的设备可以是服务器、PC、PAD、手机等。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种数据处理方法,其特征在于,该方法包括:
采集用户双眼的特征数据;
依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,所述目标区域包括至少一个所述子区域;
创建子区域精度表,包括:将眼球追踪区域按照预设规则划分为若干个子区域;采集并分析每个所述子区域对应的用户眼部特征信息,获得每个所述子区域的追踪精度;将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;根据精度需求数据,对所述初始子区域精度表进行处理,获得所述子区域精度表。
2.根据权利要求1所述的方法,其特征在于,所述精度需求数据包括用户设置的需求数据和/或眼动追踪项目需求数据。
3.根据权利要求1所述的方法,其特征在于,该方法还包括:
基于硬件特性参数和特性算法,确定所述子区域对应的预期精度。
4.根据权利要求3所述的方法,其特征在于,所述基于硬件特性参数和特性算法,确定每个所述子区域对应的预期精度,包括:
判断所述子区域对应的预期精度是否满足精度需求数据,如果否,则调整所述硬件特性参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
5.根据权利要求1所述的方法,其特征在于,所述根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表,包括:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得子区域精度表。
6.根据权利要求1所述的方法,其特征在于,所述将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表,包括:
将所述校准精度进行归一化处理;
将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
7.根据权利要求1-6中任意一项所述的方法,其特征在于,所述用户双眼数据的融合策略,包括:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
8.根据权利要求1所述的方法,其特征在于,该方法还包括:
监测到视线追踪事件被触发时,获取用户双眼的特征数据;
基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
根据所述目标用户双眼数据的融合策略,输出在所述第一区域针对所述用户的视线追踪信息。
9.一种数据处理系统,其特征在于,该系统包括:
采集单元,用于采集用户双眼的特征数据;
评估单元,用于依据所述特征数据和校准点位置,分别评估用户双眼在目标区域的校准精度;
计算单元,用于将所述校准精度与预设的子区域精度表进行计算,获得用户双眼的融合权值表;
确定单元,用于依据所述融合权值表,确定在所述目标区域内的用户双眼数据的融合策略;
其中,所述预设的子区域精度表包括各个子区域的精度数据,所述子区域是将眼球追踪区域划分后得到的,所述目标区域包括至少一个所述子区域;
创建单元,用于创建子区域精度表;
其中,所述创建单元包括:
区域划分子单元,用于将眼球追踪区域按照预设规则划分为若干个子区域;
精度获取子单元,用于采集并分析每个所述子区域对应的用户眼部特征数据,获得每个所述子区域的追踪精度;
对比子单元,用于将所述追踪精度与所述子区域对应的预期精度进行对比,获得各个所述子区域对应的初始子区域精度表;
处理子单元,用于根据精度需求数据,对所述初始子区域精度表进行处理,获得子区域精度表;所述精度需求数据包括用户设置的需求数据和/或眼动追踪项目需求数据;
所述处理子单元具体用于:
根据精度需求数据,对所述初始子区域精度表进行归一化处理,获得所述子区域精度表。
10.根据权利要求9所述的系统,其特征在于,该系统还包括:
预期精度确定单元,用于基于硬件特性参数和特性算法,确定所述子区域对应的预期精度;
其中,所述预期精度确定单元包括:
判断子单元,用于判断所述子区域对应的预期精度是否满足精度需求数据,如果否,则调整所述硬件特性参数和/或特性算法,重新确定所述预期精度,直至预期精度满足所述精度需求数据为止。
11.根据权利要求9所述的系统,其特征在于,所述计算单元包括:
归一化子单元,用于将所述校准精度进行归一化处理;
计算子单元,用于将归一化处理后的校准精度与所述预设的子区域精度表进行计算,获得用户双眼的融合权值表。
12.根据权利要求9-11任一项所述的系统,其特征在于,该系统还包括:
检测单元,用于监测到视线追踪事件被触发时,获取用户双眼的特征数据;
估算单元,用于基于所述用户双眼的特征数据,估算得到用户视线所在的第一区域;
策略确定单元,用于确定与所述第一区域相匹配的目标用户双眼数据的融合策略;
信息输出单元,用于根据所述目标用户双眼数据的融合策略,输出所述第一区域针对所述用户的视线追踪信息;
其中,所述用户双眼数据的融合策略,包括:
将用户的左眼数据作为注视数据、将用户的右眼数据作为注视数据或者将用户的左眼和右眼的融合数据作为注视数据。
CN201910689774.2A 2019-07-29 2019-07-29 一种数据处理方法及系统 Active CN110399930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910689774.2A CN110399930B (zh) 2019-07-29 2019-07-29 一种数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910689774.2A CN110399930B (zh) 2019-07-29 2019-07-29 一种数据处理方法及系统

Publications (2)

Publication Number Publication Date
CN110399930A CN110399930A (zh) 2019-11-01
CN110399930B true CN110399930B (zh) 2021-09-03

Family

ID=68326325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910689774.2A Active CN110399930B (zh) 2019-07-29 2019-07-29 一种数据处理方法及系统

Country Status (1)

Country Link
CN (1) CN110399930B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111399659B (zh) * 2020-04-24 2022-03-08 Oppo广东移动通信有限公司 界面显示方法及相关装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN107771051A (zh) * 2014-11-14 2018-03-06 Smi创新传感技术有限公司 眼睛追踪系统以及检测优势眼的方法
CN108259887A (zh) * 2018-04-13 2018-07-06 宁夏大学 注视点校准方法及装置、注视点标定方法及装置
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN109032351A (zh) * 2018-07-16 2018-12-18 北京七鑫易维信息技术有限公司 注视点函数确定方法、注视点确定方法、装置及终端设备
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750731A (zh) * 2012-07-05 2012-10-24 北京大学 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN107771051A (zh) * 2014-11-14 2018-03-06 Smi创新传感技术有限公司 眼睛追踪系统以及检测优势眼的方法
CN108351685A (zh) * 2015-08-15 2018-07-31 谷歌有限责任公司 用于与真实和虚拟对象交互的基于生物力学的眼睛信号的系统和方法
CN108259887A (zh) * 2018-04-13 2018-07-06 宁夏大学 注视点校准方法及装置、注视点标定方法及装置
CN109044263A (zh) * 2018-07-13 2018-12-21 北京七鑫易维信息技术有限公司 眼睛视线的检测方法、装置、设备及存储介质
CN109032351A (zh) * 2018-07-16 2018-12-18 北京七鑫易维信息技术有限公司 注视点函数确定方法、注视点确定方法、装置及终端设备
CN109343700A (zh) * 2018-08-31 2019-02-15 深圳市沃特沃德股份有限公司 眼动控制校准数据获取方法和装置
CN109976535A (zh) * 2019-05-05 2019-07-05 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN110399930A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
US8477996B2 (en) Method and device for finding and tracking pairs of eyes
JP5024067B2 (ja) 顔認証システム、方法及びプログラム
US10706281B2 (en) Controlling focal parameters of a head mounted display based on estimated user age
KR102695517B1 (ko) 동공 거리 결정 방법 및 장치
CN113227747B (zh) 无固定装置检镜仪系统
CN113283271A (zh) 虹膜自动捕捉方法、装置、计算机可读存储介质及设备
JP7126031B2 (ja) 眼鏡レンズの局所屈折度数及び/又は屈折度数分布を測定するための方法及びデバイス
CN113495613B (zh) 眼球追踪校准方法及装置
CN112987910B (zh) 眼球追踪设备的测试方法、装置、设备及存储介质
CN110399930B (zh) 一种数据处理方法及系统
JP5719216B2 (ja) 視線測定装置および視線測定プログラム
US11751764B2 (en) Measuring a posterior corneal surface of an eye
CN112944611A (zh) 空调器的控制方法、装置、存储介质及处理器
CN117372475A (zh) 眼球追踪方法和电子设备
CN115756173B (zh) 一种眼动追踪方法、系统、存储介质及计算设备
CN115937102A (zh) 用于瞳距测量的方法、装置、设备和存储介质
CN110213655A (zh) 一种浏览资源的曝光概率检测方法及曝光概率检测装置
CN112528714B (zh) 基于单光源的注视点估计方法、系统、处理器及设备
KR20240040727A (ko) 광학 제품 시뮬레이션 방법
US20140368790A1 (en) System and method for real time segmentation
US20210034147A1 (en) Display adaptation for visual impairment
CN113568498B (zh) 一种应用于vr设备的辅助对焦方法及vr设备
WO2023203530A1 (en) Interpupillary distance estimation method
US12099652B1 (en) Determining IPD by adjusting the positions of displayed stimuli
US20160358023A1 (en) Information processing method, information processing apparatus and user equipment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant