CN106598258B - 注视点映射函数确定方法及装置、注视点确定方法及装置 - Google Patents
注视点映射函数确定方法及装置、注视点确定方法及装置 Download PDFInfo
- Publication number
- CN106598258B CN106598258B CN201611231596.1A CN201611231596A CN106598258B CN 106598258 B CN106598258 B CN 106598258B CN 201611231596 A CN201611231596 A CN 201611231596A CN 106598258 B CN106598258 B CN 106598258B
- Authority
- CN
- China
- Prior art keywords
- user
- parameters
- solution
- determining
- solving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013507 mapping Methods 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000013598 vector Substances 0.000 claims abstract description 133
- 230000009466 transformation Effects 0.000 claims description 43
- 238000000513 principal component analysis Methods 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 abstract description 115
- 210000001508 eye Anatomy 0.000 abstract description 57
- 238000005516 engineering process Methods 0.000 abstract description 8
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种注视点映射函数确定方法及装置、注视点确定方法及装置,其中函数确定方法包括:将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定映射向量对应的优先求解参数和次级求解参数;根据第一用户的眼部图像及其对应的注视点信息,对第一用户的优先求解参数进行求解;根据多个第二用户分别求解完成的映射向量,确定第一用户的次级求解参数的解;根据第一用户的优先求解参数的解和第一用户的次级求解参数的解,确定第一用户的注视点映射函数。通过本发明中的方法及装置,能够解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
Description
技术领域
本发明涉及人机交互技术领域,具体而言,涉及一种注视点映射函数确定方法及装置、注视点确定方法及装置。
背景技术
随着人机交互技术的发展,利用眼球运动控制显示屏进行操作的技术(简称眼控技术)逐渐成熟,该种技术应用时,用户眼睛观看显示屏某处时,显示屏上该处的图标能够被打开、关闭、删除等。
在实现眼控技术时,用户需要注视显示屏上的若干个校准点进行视线校准,视线校准的具体原理为:VR(Virtual Reality,虚拟现实)系统获取用户注视显示屏上的每个校准点时的眼部图像,根据每幅眼部图像的图像特征以及每幅眼部图像对应的校准点的位置,确定注视点映射函数,注视点映射函数的作用是建立用户的眼部图像与用户的注视点信息之间的映射关系,当用户完成视线校准后,用户使用VR系统时,VR系统能够根据用户的眼部图像的图像特征以及确定好的注视点映射函数,计算得到用户的注视点信息,从而实现眼控技术。
相关技术中,用户需要注视显示屏上的M个校准点进行校准,VR系统根据用户校准的眼部图像,求解注视点映射函数中的N个待求解的参数,其中,M通常为9或者16,且2M>=N。可见,相关技术中,利用多个校准点确定注视点映射函数,用户需要注视多个校准点,用户工作量大,不利于用户体验。
发明内容
有鉴于此,本发明的目的在于提供一种注视点映射函数确定方法及装置、注视点确定方法及装置,以解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
第一方面,本发明实施例提供了一种注视点映射函数确定方法,所述方法包括:将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定所述映射向量对应的优先求解参数和次级求解参数;获取第一用户的眼部图像,根据所述眼部图像和所述眼部图像对应的注视点信息,对所述第一用户的所述优先求解参数进行求解;根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解;根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数。
结合第一方面,本发明实施例提供了第一方面第一种可能的实施方式,其中,确定所述映射向量对应的优先求解参数和次级求解参数,包括:将所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数;或者,对所述映射向量进行坐标变换,将坐标变换后的所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将坐标变换后的所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数。
结合第一方面第一种可能的实施方式,本发明实施例提供了第一方面第二种可能的实施方式,其中,对所述映射向量进行坐标变换,包括:对所述多个第二用户分别求解完成的所述映射向量进行主成分分析;根据所述主成分分析的结果对所述映射向量进行坐标变换,得到坐标变换后的所述映射向量。
结合第一方面,本发明实施例提供了第一方面第三种可能的实施方式,其中,根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解,包括:根据每个所述第二用户分别求解完成的所述映射向量,确定每个所述第二用户对应的所述次级求解参数的解;将所有所述第二用户对应的所述次级求解参数的解的期望值或者均值,确定为所述第一用户的所述次级求解参数的解。
结合第一方面上述的实施方式,本发明实施例提供了第一方面第四种可能的实施方式,其中,根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数,包括:根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的所述映射向量的解;根据所述第一用户的所述映射向量的解,确定所述第一用户的注视点映射函数。
第二方面,本发明实施例提供了一种注视点确定方法,所述方法包括:获取用户的眼部图像;根据所述眼部图像的图像特征和所述用户的注视点映射函数,确定所述用户的注视点信息,其中,所述用户的注视点映射函数采用如上述第一方面所述的方法确定。
第三方面,本发明实施例提供了一种注视点映射函数确定装置,所述装置包括:参数确定模块,用于将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定所述映射向量对应的优先求解参数和次级求解参数;第一参数求解模块,用于获取第一用户的眼部图像,根据所述眼部图像和所述眼部图像对应的注视点信息,对所述第一用户的所述优先求解参数进行求解;第二参数求解模块,用于根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解;函数确定模块,用于根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数。
结合第三方面,本发明实施例提供了第三方面第一种可能的实施方式,其中,所述参数确定模块包括:第一确定子模块,用于将所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数;或者,第二确定子模块,用于对所述映射向量进行坐标变换,将坐标变换后的所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将坐标变换后的所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数。
结合第三方面第一种可能的实施方式,本发明实施例提供了第三方面第二种可能的实施方式,其中,所述第二确定子模块具体用于:对所述多个第二用户分别求解完成的所述映射向量进行主成分分析;根据所述主成分分析的结果对所述映射向量进行坐标变换,得到坐标变换后的所述映射向量。
第四方面,本发明实施例提供了一种注视点确定装置,所述装置包括:图像获取模块,用于获取用户的眼部图像;信息确定模块,用于根据所述眼部图像的图像特征和所述用户的注视点映射函数,确定所述用户的注视点信息,其中,所述用户的注视点映射函数采用如上述第三方面所述的装置确定。
通过本发明实施例中的注视点映射函数确定方法及装置、注视点确定方法及装置,在确定第一用户的注视点映射函数时,将注视点映射函数的求解过程划分为优先求解参数求解过程和次级求解参数求解过程,根据第一用户的眼部图像和对应的注视点信息求解优先求解参数,根据多个第二用户分别求解完成的映射向量,确定次级求解参数的解。由于通过本实施例中的注视点映射函数确定方法及装置、注视点确定方法及装置,无需利用用户的眼部图像求得注视点映射函数中所有参数的解,且对用户的眼部图像的数量没有限制,因此用户不需要注视多个校准点,用户工作量小,体验度高,从而解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的注视点映射函数确定方法的流程示意图;
图2为本发明实施例提供的注视点确定方法的流程示意图;
图3为本发明实施例提供的注视点映射函数确定装置的组成示意图;
图4为本发明实施例提供的注视点确定装置的组成示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
考虑到相关技术中,利用多个校准点确定注视点映射函数,用户需要注视多个校准点,可能多达16个,用户工作量大,不利于用户体验,本发明提供了一种注视点映射函数确定方法及装置、注视点确定方法及装置,下面通过实施例进行具体描述。
图1为本发明实施例提供的注视点映射函数确定方法的流程示意图,如图1所示,该方法包括以下步骤:
步骤S102,将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定该映射向量对应的优先求解参数和次级求解参数。
注视点映射函数的作用是建立用户的眼部图像与用户的注视点信息之间的映射关系,每个用户对应一个注视点映射函数,当确定某个用户的注视点映射函数后,根据该用户的注视点映射函数和该用户的眼部图像,既能够确定该用户的注视点信息。
注视点映射函数中存在多个参数,对于不同用户而言,该多个参数的取值不同,通过确定不同用户对应的每个参数的取值,从而确定不同用户的注视点映射函数,因此确定某个用户的注视点映射函数的过程,即为求解该用户对应的每个参数的取值的过程,因此本实施例中,将注视点映射函数中的上述多个参数称为待求解的参数。
将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,根据上述论述,确定某个用户的注视点映射函数的过程,即为求解该用户对应的映射向量的过程。由于映射向量中的每个参数的取值根据用户的不同而不同,因此映射向量中的每个参数也能够称为用户的个体特异性参数。
本实施例中,注视点映射函数能够为多项式函数形式、高斯函数形式或者3D模型函数形式等。比如,注视点映射函数为多项式函数形式,具体为gaze=f(x,y)=a+bx+cy+dxy+ex2y......,映射向量为X=[a,b,c,d,e......],又如,注视点映射函数为3D模型函数形式,具体为gaze=g(x,y)=G(x,y,alpha,beta,R,D,n......),映射向量为X=[alpha,beta,R,D,n......],其中,[alpha,beta]为视轴偏角,R为角膜曲面半径,D为瞳孔到角膜曲面中心距离,n为水状体折射率。
为便于描述,本实施例中假设映射向量X为N维向量,也即存在N个参数需要求解。
在得到映射向量后,确定该映射向量对应的优先求解参数和次级求解参数,具体过程为:
方式1,将该映射向量中排序最靠前的若干个参数,确定为优先求解参数,将该映射向量中,除优先求解参数以外的所有参数,确定为次级求解参数。
具体地,映射向量为N维向量,本实施例中,将该N维向量中排序最靠前的若干个参数,确定为优先求解参数,将该映射向量中,除优先求解参数以外的所有参数,确定为次级求解参数。其中,设定优先求解参数的数量为L,要求L<2M,M表示要求用户进行校准的显示屏上校准点的数量,通常为9或者16。在一种具体的实施方式中,根据注视点映射函数对应的方程条件数确定L的取值。
考虑到在数学求解过程中,通常需要进行坐标变换,因此本实施例中,还能够通过以下方式确定该映射向量对应的优先求解参数和次级求解参数:
方式2,对映射向量进行坐标变换,将坐标变换后的映射向量中排序最靠前的若干个参数,确定为优先求解参数,将坐标变换后的映射向量中,除优先求解参数以外的所有参数,确定为次级求解参数。
该方式中,坐标变换后的映射向量Y与映射向量X均为N维向量,也即坐标变换后的映射向量Y中参数的数量,与方式1中映射向量X中参数的数量相同,通过本方式确定的优先求解参数的数量,同方式1中优先求解参数的数量L一致,通过本方式确定的次级求解参数的数量,同方式1中次级求解参数的数量一致。假设坐标变换后的映射向量Y=[Y1,y2,y3,y4...yL...yN],将Y中前L个参数确定为优先求解参数,其余参数确定为次级求解参数。
方式2中,对映射向量进行坐标变换的具体过程为:
(1)对多个第二用户分别求解完成的映射向量进行主成分分析;
第二用户指的是注视点映射函数预先确定好的用户,第二用户对应有求解完成的映射向量,本动作(1)中,对多个第二用户分别求解完成的映射向量进行主成分分析,得到主成分分析结果,假设主成分分析结果为矩阵B,由于映射向量X为N维向量,因此矩阵B为N×N维的矩阵。
(2)根据主成分分析的结果对映射向量进行坐标变换,得到坐标变换后的映射向量。
主成分分析结果为矩阵B,映射向量为X,坐标变换后的映射向量为Y,则Y=BX。
本实施例中,确定映射向量对应的优先求解参数和次级求解参数后,执行步骤S104,开始确定第一用户的注视点映射函数。
步骤S104,获取第一用户的眼部图像,根据该眼部图像和该眼部图像对应的注视点信息,对第一用户的优先求解参数进行求解。
具体地,为了确定第一用户的注视点映射函数,需要获取第一用户的眼部图像,本实施例中,不限制第一用户的眼部图像的数量,大于等于一幅即可。获取第一用户的眼部图像后,提取第一用户的眼部图像的图像特征,如瞳孔坐标、光斑坐标等,该光斑指的是光源在第一用户的眼球中所成的像。
本实施例中,第一用户在注视屏幕上的注视点时,生成眼部图像,由于注视点是在屏幕上预先确定好的,因此第一用户的眼部图像的注视点信息也能够得到,因此本步骤中,根据第一用户的眼部图像的图像特征,以及第一用户的眼部图像的注视点信息,对第一用户的优先求解参数进行求解,能够理解,对于不同用户,优先求解参数的解均不同,优先求解参数为不同用户的个体特异性参数。
由于优先求解参数能够在映射向量中确定,也能够在坐标变换后的映射向量中确定,因此对第一用户的优先求解参数进行求解的具体过程能够有多种实现方式,这里不做具体限定。
需要说明的是,步骤S102中定义了优先求解参数的数量为L,且L<2M,L的具体取值能够由注视点映射函数的方程条件数确定,因此本步骤中,当获取的眼部图像的数量过少,无法解出所有优先求解参数时,能够对注视点映射函数进行参数空间维度降低处理,从而得到所有优先求解参数的解。
步骤S106,根据多个第二用户分别求解完成的映射向量,确定第一用户的次级求解参数的解。
第二用户指的是注视点映射函数预先确定好的用户,第二用户对应有求解完成的映射向量,根据多个第二用户分别求解完成的映射向量,确定第一用户的次级求解参数的解的具体过程可以是:
(1)根据每个第二用户分别求解完成的映射向量,确定每个第二用户对应的次级求解参数的解;
(2)将所有第二用户对应的次级求解参数的解的期望值或者均值,确定为第一用户的次级求解参数的解。
具体地,由于第二用户对应有求解完成的映射向量,因此对于每个第二用户而言,每个第二用户的次级求解参数的解都是已知的,因此本步骤中,将所有第二用户对应的次级求解参数的解的期望值或者均值,确定为第一用户的次级求解参数的解。
在确定第一用户的优先求解参数的解和次级求解参数的解之后,执行步骤S108。
步骤S108,根据第一用户的优先求解参数的解和第一用户的次级求解参数的解,确定第一用户的注视点映射函数。
由于确定第一用户的注视点映射函数的过程,即为求解第一用户的映射向量的过程,且映射向量对应有优先求解参数和次级求解参数,因此在求解出第一用户的优先求解参数的解和次级求解参数的解之后,即能够确定第一用户的注视点映射函数。
具体确定过程为:
(1)根据第一用户的优先求解参数的解和第一用户的次级求解参数的解,确定第一用户的映射向量的解。
当在映射向量中确定优先求解参数和次级求解参数时,优先求解参数和次级求解参数共同组成映射向量,因此将第一用户的优先求解参数的解和第一用户的次级求解参数的解进行组合,既能够得到第一用户的映射向量的解。
当在坐标变换后的映射向量中确定优先求解参数和次级求解参数时,优先求解参数和次级求解参数共同组成坐标变换后的映射向量,因此将第一用户的优先求解参数的解和第一用户的次级求解参数的解进行组合,既能够得到第一用户的坐标变换后的映射向量的解,将坐标变换后的映射向量的解进行坐标反变换,如X=B-1Y,既能够得到第一用户的映射向量的解。
(2)根据第一用户的映射向量的解,确定第一用户的注视点映射函数。
得到第一用户的映射向量的解后,将其代入注视点映射函数,即能够得到第一用户的注视点映射函数。
通过本发明实施例中的注视点映射函数确定方法,在确定第一用户的注视点映射函数时,将注视点映射函数的求解过程划分为优先求解参数求解过程和次级求解参数求解过程,根据第一用户的眼部图像和对应的注视点信息求解优先求解参数,根据多个第二用户分别求解完成的映射向量,确定次级求解参数的解。由于通过本实施例中的注视点映射函数确定方法,无需利用用户的眼部图像求得注视点映射函数中所有参数的解,且对用户的眼部图像的数量没有限制,因此用户不需要注视多个校准点,用户工作量小,体验度高,从而解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
在上述的注视点映射函数确定方法的基础上,本发明实施例还提供了一种注视点确定方法,图2为本发明实施例提供的注视点确定方法的流程示意图,如图2所示,该方法包括以下步骤:
步骤S202,获取用户的眼部图像;
步骤S204,根据眼部图像的图像特征和用户的注视点映射函数,确定用户的注视点信息,其中,用户的注视点映射函数采用上述的注视点映射函数确定方法确定。
在采用上述的注视点映射函数确定方法确定了用户的注视点映射函数后,能够根据用户的眼部图像的图像特征和用户的注视点映射函数,确定用户的注视点信息。其中,用户的眼部图像的图像特征可以为瞳孔坐标、光斑坐标等。
由于本实施例中,用户的注视点映射函数采用上述的注视点映射函数确定方法确定,因此通过本实施例中的注视点确定方法,无需利用用户的眼部图像求得注视点映射函数中所有参数的解,且对用户的眼部图像的数量没有限制,因此用户不需要注视多个校准点,用户工作量小,体验度高,从而解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
对应上述的注视点映射函数确定方法,本发明实施例还提供了一种注视点映射函数确定装置,图3为本发明实施例提供的注视点映射函数确定装置的组成示意图,如图3所示,该装置包括:
参数确定模块31,用于将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定该映射向量对应的优先求解参数和次级求解参数;
第一参数求解模块32,用于获取第一用户的眼部图像,根据眼部图像和眼部图像对应的注视点信息,对第一用户的优先求解参数进行求解;
第二参数求解模块33,用于根据多个第二用户分别求解完成的映射向量,确定第一用户的次级求解参数的解;
函数确定模块34,用于根据第一用户的优先求解参数的解和第一用户的次级求解参数的解,确定第一用户的注视点映射函数。
上述参数确定模块31包括:第一确定子模块,用于将映射向量中排序最靠前的若干个参数,确定为优先求解参数,将映射向量中,除优先求解参数以外的所有参数,确定为次级求解参数;或者,第二确定子模块,用于对映射向量进行坐标变换,将坐标变换后的映射向量中排序最靠前的若干个参数,确定为优先求解参数,将坐标变换后的映射向量中,除优先求解参数以外的所有参数,确定为次级求解参数。
第二确定子模块具体用于:对多个第二用户分别求解完成的映射向量进行主成分分析;根据主成分分析的结果对映射向量进行坐标变换,得到坐标变换后的映射向量。
上述第二参数求解模块33包括:第一求解子模块,用于根据每个第二用户分别求解完成的映射向量,确定每个第二用户对应的次级求解参数的解;第二求解子模块,用于将所有第二用户对应的次级求解参数的解的期望值或者均值,确定为第一用户的次级求解参数的解。
上述函数确定模块34包括:向量确定子模块,用于根据第一用户的优先求解参数的解和第一用户的次级求解参数的解,确定第一用户的映射向量的解;函数确定子模块,用于根据第一用户的映射向量的解,确定第一用户的注视点映射函数。
通过本发明实施例中的注视点映射函数确定装置,在确定第一用户的注视点映射函数时,将注视点映射函数的求解过程划分为优先求解参数求解过程和次级求解参数求解过程,根据第一用户的眼部图像和对应的注视点信息求解优先求解参数,根据多个第二用户分别求解完成的映射向量,确定次级求解参数的解。由于通过本实施例中的注视点映射函数确定装置,无需利用用户的眼部图像求得注视点映射函数中所有参数的解,且对用户的眼部图像的数量没有限制,因此用户不需要注视多个校准点,用户工作量小,体验度高,从而解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
对应上述的注视点确定方法,本发明实施例还提供了一种注视点确定装置,图4为本发明实施例提供的注视点确定装置的组成示意图,如图4所示,该装置包括:
图像获取模块41,用于获取用户的眼部图像;
信息确定模块42,用于根据眼部图像的图像特征和用户的注视点映射函数,确定用户的注视点信息,其中,用户的注视点映射函数采用上述的注视点映射函数确定装置确定。
由于本实施例中,用户的注视点映射函数采用上述的注视点映射函数确定方法确定,因此通过本实施例中的注视点确定装置,无需利用用户的眼部图像求得注视点映射函数中所有参数的解,且对用户的眼部图像的数量没有限制,因此用户不需要注视多个校准点,用户工作量小,体验度高,从而解决相关技术中利用多个校准点确定注视点映射函数,用户工作量大,不利于用户体验的问题。
本发明实施例所提供的注视点映射函数确定装置及注视点确定装置,可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,前述描述的系统、装置和单元的具体工作过程,均可以参考上述方法实施例中的对应过程,在此不再赘述。
在本发明所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明提供的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释,此外,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种注视点映射函数确定方法,其特征在于,所述方法包括:
将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定所述映射向量对应的优先求解参数和次级求解参数;
获取第一用户的眼部图像,根据所述眼部图像和所述眼部图像对应的注视点信息,对所述第一用户的所述优先求解参数进行求解;
根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解;
所述根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解,包括:
将所有所述第二用户对应的所述次级求解参数的解的期望值或者均值,确定为所述第一用户的所述次级求解参数的解;
根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数。
2.根据权利要求1所述的方法,其特征在于,确定所述映射向量对应的优先求解参数和次级求解参数,包括:
将所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数;或者,
对所述映射向量进行坐标变换,将坐标变换后的所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将坐标变换后的所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数。
3.根据权利要求2所述的方法,其特征在于,对所述映射向量进行坐标变换,包括:
对所述多个第二用户分别求解完成的所述映射向量进行主成分分析;
根据所述主成分分析的结果对所述映射向量进行坐标变换,得到坐标变换后的所述映射向量。
4.根据权利要求1所述的方法,其特征在于,按照以下方式确定所述第二用户对应的所述次级求解参数的解:
根据每个所述第二用户分别求解完成的所述映射向量,确定每个所述第二用户对应的所述次级求解参数的解。
5.根据权利要求1至4任一项所述的方法,其特征在于,根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数,包括:
根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的所述映射向量的解;
根据所述第一用户的所述映射向量的解,确定所述第一用户的注视点映射函数。
6.一种注视点确定方法,其特征在于,所述方法包括:
获取用户的眼部图像;
根据所述眼部图像的图像特征和所述用户的注视点映射函数,确定所述用户的注视点信息,其中,所述用户的注视点映射函数采用如权利要求1至5任一项所述的方法确定。
7.一种注视点映射函数确定装置,其特征在于,所述装置包括:
参数确定模块,用于将注视点映射函数中所有待求解的参数进行组合,得到注视点映射函数的映射向量,确定所述映射向量对应的优先求解参数和次级求解参数;
第一参数求解模块,用于获取第一用户的眼部图像,根据所述眼部图像和所述眼部图像对应的注视点信息,对所述第一用户的所述优先求解参数进行求解;
第二参数求解模块,用于根据多个第二用户分别求解完成的所述映射向量,确定所述第一用户的所述次级求解参数的解;
所述第二参数求解模块,包括:
第二求解子模块,用于将所有所述第二用户对应的所述次级求解参数的解的期望值或者均值,确定为所述第一用户的所述次级求解参数的解;
函数确定模块,用于根据所述第一用户的所述优先求解参数的解和所述第一用户的所述次级求解参数的解,确定所述第一用户的注视点映射函数。
8.根据权利要求7所述的装置,其特征在于,所述参数确定模块包括:
第一确定子模块,用于将所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数;或者,
第二确定子模块,用于对所述映射向量进行坐标变换,将坐标变换后的所述映射向量中排序最靠前的若干个参数,确定为所述优先求解参数,将坐标变换后的所述映射向量中,除所述优先求解参数以外的所有所述参数,确定为所述次级求解参数。
9.根据权利要求8所述的装置,其特征在于,所述第二确定子模块具体用于:
对所述多个第二用户分别求解完成的所述映射向量进行主成分分析;
根据所述主成分分析的结果对所述映射向量进行坐标变换,得到坐标变换后的所述映射向量。
10.一种注视点确定装置,其特征在于,所述装置包括:
图像获取模块,用于获取用户的眼部图像;
信息确定模块,用于根据所述眼部图像的图像特征和所述用户的注视点映射函数,确定所述用户的注视点信息,其中,所述用户的注视点映射函数采用如权利要求7至9任一项所述的装置确定。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611231596.1A CN106598258B (zh) | 2016-12-28 | 2016-12-28 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
PCT/CN2017/119182 WO2018121635A1 (zh) | 2016-12-28 | 2017-12-28 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
US16/340,683 US10996745B2 (en) | 2016-12-28 | 2017-12-28 | Method and device for determining gaze point mapping function, and method and device for determining gaze point |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611231596.1A CN106598258B (zh) | 2016-12-28 | 2016-12-28 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106598258A CN106598258A (zh) | 2017-04-26 |
CN106598258B true CN106598258B (zh) | 2019-04-16 |
Family
ID=58604460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611231596.1A Active CN106598258B (zh) | 2016-12-28 | 2016-12-28 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10996745B2 (zh) |
CN (1) | CN106598258B (zh) |
WO (1) | WO2018121635A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106598258B (zh) * | 2016-12-28 | 2019-04-16 | 北京七鑫易维信息技术有限公司 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
CN107392156B (zh) * | 2017-07-25 | 2020-08-25 | 北京七鑫易维信息技术有限公司 | 一种视线估计方法及装置 |
CN109032351B (zh) * | 2018-07-16 | 2021-09-24 | 北京七鑫易维信息技术有限公司 | 注视点函数确定方法、注视点确定方法、装置及终端设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899565A (zh) * | 2015-06-01 | 2015-09-09 | 中国人民解放军军事医学科学院放射与辐射医学研究所 | 基于纹理特征的眼动轨迹识别方法及装置 |
CN105247447A (zh) * | 2013-02-14 | 2016-01-13 | 眼球控制技术有限公司 | 眼睛跟踪校准系统及方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19953835C1 (de) * | 1999-10-30 | 2001-05-23 | Hertz Inst Heinrich | Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens |
US7306337B2 (en) * | 2003-03-06 | 2007-12-11 | Rensselaer Polytechnic Institute | Calibration-free gaze tracking under natural head movement |
CN102520796B (zh) * | 2011-12-08 | 2014-10-08 | 华南理工大学 | 一种基于逐步回归分析映射模型的视线跟踪方法 |
KR20150122666A (ko) * | 2013-02-27 | 2015-11-02 | 톰슨 라이센싱 | 교정-프리 응시 추정을 위한 방법 및 디바이스 |
US9179833B2 (en) * | 2013-02-28 | 2015-11-10 | Carl Zeiss Meditec, Inc. | Systems and methods for improved ease and accuracy of gaze tracking |
GB201305726D0 (en) * | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
CN105224065A (zh) * | 2014-05-29 | 2016-01-06 | 北京三星通信技术研究有限公司 | 一种视线估计设备和方法 |
CN106066696B (zh) * | 2016-06-08 | 2019-05-14 | 华南理工大学 | 自然光下基于投影映射校正和注视点补偿的视线跟踪方法 |
US10976813B2 (en) * | 2016-06-13 | 2021-04-13 | Apple Inc. | Interactive motion-based eye tracking calibration |
CN106598258B (zh) * | 2016-12-28 | 2019-04-16 | 北京七鑫易维信息技术有限公司 | 注视点映射函数确定方法及装置、注视点确定方法及装置 |
-
2016
- 2016-12-28 CN CN201611231596.1A patent/CN106598258B/zh active Active
-
2017
- 2017-12-28 WO PCT/CN2017/119182 patent/WO2018121635A1/zh active Application Filing
- 2017-12-28 US US16/340,683 patent/US10996745B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105247447A (zh) * | 2013-02-14 | 2016-01-13 | 眼球控制技术有限公司 | 眼睛跟踪校准系统及方法 |
CN104899565A (zh) * | 2015-06-01 | 2015-09-09 | 中国人民解放军军事医学科学院放射与辐射医学研究所 | 基于纹理特征的眼动轨迹识别方法及装置 |
Non-Patent Citations (2)
Title |
---|
眼动跟踪系统算法研究与实现;周嘉宾;《中国优秀硕士学位论文全文数据库 信息科技辑》;20101015(第10期);第I138-457页 |
视线追踪系统中注视点估计方法研究;金纯 等;《自动化仪表》;20160531;第37卷(第5期);第32-35页 |
Also Published As
Publication number | Publication date |
---|---|
US20190310704A1 (en) | 2019-10-10 |
CN106598258A (zh) | 2017-04-26 |
US10996745B2 (en) | 2021-05-04 |
WO2018121635A1 (zh) | 2018-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110460837B (zh) | 具有中央凹显示器和注视预测的电子设备 | |
US10451875B2 (en) | Smart transparency for virtual objects | |
US9852496B2 (en) | Systems and methods for rendering a display to compensate for a viewer's visual impairment | |
US20170285735A1 (en) | Reducing rendering computation and power consumption by detecting saccades and blinks | |
US10032297B2 (en) | Simulation system, simulation device, and product explanation assistance method | |
EP3289761B1 (en) | Stereoscopic display of objects | |
US20200124845A1 (en) | Detecting and mitigating motion sickness in augmented and virtual reality systems | |
CN110378914A (zh) | 基于注视点信息的渲染方法及装置、系统、显示设备 | |
US11178389B2 (en) | Self-calibrating display device | |
CN106598258B (zh) | 注视点映射函数确定方法及装置、注视点确定方法及装置 | |
CN106774821B (zh) | 基于虚拟现实技术的显示方法和系统 | |
CN109271022B (zh) | 一种vr设备的显示方法、装置、vr设备及存储介质 | |
US11308685B2 (en) | Rendering computer-generated reality text | |
US11402901B2 (en) | Detecting eye measurements | |
CN112183160B (zh) | 视线估计方法及装置 | |
Hirzle et al. | A survey of digital eye strain in gaze-based interactive systems | |
CN113613546B (zh) | 评估用于视觉任务的视觉设备的性能的装置和方法 | |
US10108259B2 (en) | Interaction method, interaction apparatus and user equipment | |
JP6500570B2 (ja) | 画像表示装置および画像表示方法 | |
CN116807388B (zh) | 基于眼动追踪的主导眼检测方法、装置、终端设备和介质 | |
CN113100706A (zh) | 一种基于vr的主视眼检测、辅视眼抑制量化方法和装置 | |
CN115686292A (zh) | 一种信息显示的方法、装置、电子设备及存储介质 | |
Richter et al. | Using Multiple Perspective Projections to Guide Visual Attention in Glyph-based Data Visualisations in VR | |
CN118131970A (zh) | 目标区域的选择方法、装置、设备及存储介质 | |
EP4355193A1 (en) | Virtual reality techniques for characterizing visual capabilities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |