CN108664118A - 眼球追踪方法和装置、隐形眼镜、虚拟现实系统 - Google Patents

眼球追踪方法和装置、隐形眼镜、虚拟现实系统 Download PDF

Info

Publication number
CN108664118A
CN108664118A CN201710188766.0A CN201710188766A CN108664118A CN 108664118 A CN108664118 A CN 108664118A CN 201710188766 A CN201710188766 A CN 201710188766A CN 108664118 A CN108664118 A CN 108664118A
Authority
CN
China
Prior art keywords
contact lenses
pattern
center
region
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710188766.0A
Other languages
English (en)
Other versions
CN108664118B (zh
Inventor
周伟彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201710188766.0A priority Critical patent/CN108664118B/zh
Publication of CN108664118A publication Critical patent/CN108664118A/zh
Application granted granted Critical
Publication of CN108664118B publication Critical patent/CN108664118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Abstract

本发明实施例涉及一种眼球跟踪方法和装置、隐形眼镜、虚拟现实系统。所述方法包括:获取用户佩戴的隐形眼镜上的分区标识;确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置;根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置;以及根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。实现了眼球跟踪的功能,不需要使用复杂的光学系统跟踪拍摄用户眼球,降低了跟踪系统的复杂性,装配简单。

Description

眼球追踪方法和装置、隐形眼镜、虚拟现实系统
技术领域
本发明涉及图像处理领域,特别是涉及一种眼球追踪方法和装置、隐形眼镜及其制造方法、虚拟现实系统。
背景技术
虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统,它利用计算机生成一种模拟环境,是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。虚拟现实设备可以帮助用户实现虚拟现实。
在虚拟现实中需要捕捉用户的眼球来判断用户观察虚拟现实环境中的观察范围和角度,传统的捕捉用户眼球的方式中为了保证拍摄到眼球瞳孔,识别眼球位置,需要在主光轴上增加光栅和内置眼球跟踪摄像头,以便在保证用户可以观察到屏幕显示影像的情况下,摄像头能通过折射拍摄到眼球。然而传统的捕捉用户眼球的方式在虚拟现实设备的主光轴上增加了较多的光学部件,使得系统复杂,装配困难。
发明内容
本发明实施例提供一种眼球追踪方法和装置、隐形眼镜及制造方法、虚拟现实系统,可以降低系统的复杂,实现眼球的准确跟踪。
一种眼球跟踪方法,包括:
获取用户佩戴的隐形眼镜上的分区标识;
确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置;
根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置;以及
根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
一种眼球跟踪装置,包括:
第一获取模块,用于获取用户佩戴的隐形眼镜上的分区标识;
位置确定模块,用于确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置;
计算模块,用于根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置;
第二获取模块,用于根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
一种隐形眼镜,包括隐形眼镜本体,所述隐形眼镜还包括设置在所述隐形眼镜本体上各个区域的图案,所述图案用于唯一表示所述图案所在区域。
一种隐形眼镜的制造方法,包括:
通过镀膜、印刷或雕刻方式在隐形眼镜本体的各个区域形成图案,所述图案用于唯一表示所述图案所在区域。
一种虚拟现实系统,包括图像采集装置、处理器和带有图案的隐形眼镜,所述图像采集装置用于拍摄用户佩戴的隐形眼镜上的图案,并将所述拍摄的图案发送给所述处理器;所述处理器用于对所述图案进行识别获取所述图案对应的分区标识,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置,根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,以及根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
上述眼球跟踪方法和装置、隐形眼镜及其制造方法、虚拟现实系统,获取拍摄的隐形眼镜上的分区标识,确定分区标识对应的区域在隐形眼镜上的位置,再确定隐形眼镜的中心点位置,根据隐形眼镜中心点位置获取用户眼球的瞳孔位置,通过佩戴带有分区标识的隐形眼镜,拍摄隐形眼镜,并获取分区标识即可确定隐形眼镜的中心点位置,确定用户眼球的瞳孔位置,实现了眼球跟踪的功能,不需要使用复杂的光学系统跟踪拍摄用户眼球,降低了跟踪系统的复杂性,装配简单。
附图说明
图1为一个实施例中眼球跟踪方法的流程图;
图2为一个实施例中眼球跟踪装置的结构框图;
图3为一个实施例中虚拟现实系统的结构示意图;
图4为一个实施例中隐形眼镜上设置图案的示意图;
图5为用户眼球向左观察时拍摄的示意图;
图6为用户眼球直视时拍摄的示意图;
图7为用户眼球向右观察时拍摄的示意图;
图8为一个实施例中虚拟现实系统的内部结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1为一个实施例中眼球跟踪方法的流程图。如图1所示,一种眼球跟踪方法,包括步骤102至步骤108。其中:
步骤102,获取用户佩戴的隐形眼镜上的分区标识。
本实施例中,通过图像采集装置可以拍摄用户佩戴的隐形眼镜上的图案,并将图案传输给虚拟现实系统的处理器进行识别,得到图案中的分区标识。
具体地,所述隐形眼镜可以佩戴在用户的眼球上,而隐形眼镜上设置有表示不同区域的图案,每个图案中有一个可以唯一表示该图案的标识。本发明称呼该标识为分区标识。所述虚拟现实系统的处理器通过识别隐形眼镜上的图案即可得到每个图案中的分区标识。
步骤104,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
本实施例中,可预先将隐形眼镜划分为多个区域,每个区域设置唯一的图案,并在每个图案上中有唯一表示该图案的分区标识。根据分区标识对应的区域的中心在隐形眼镜上的位置,建立该区域的分区标识与隐形眼镜之间的位置映射关系。举例来说,假设隐形眼镜上设置有N个图案,而每个图案所在的区域分别为A,且每个图案的分区标识分别为B,如图案N1所在区域为A1,图案N1的分区标识为B1。记录分区标识B1所在区域A1的中心点在隐形眼镜的位置。可采用以隐形眼镜形成的球体的球心与隐形眼镜的中心的连线为轴,垂直于轴的平面为纬线,通过所述轴的平面为经线,以隐形眼镜形成的球体的球心所在平面的纬度为0,球半径R,建立的类似于经纬度的坐标系,隐形眼镜上的任意点均可采用经纬度进行表示。为了便于计算,可采用经纬度记录区域的中心点在隐形眼镜上的位置,并预先计算区域的中心点与隐形眼镜的中心的尺寸位置关系。可根据区域的中心点的经纬度与隐形眼镜的中心的经纬度,隐形眼球的球体的半径计算区域的中心点与隐形眼镜的中心的距离以及角度关系。
记录了区域的中心点在隐形眼镜上的位置的经纬度坐标,将分区标识对应的区域的中心的经纬度坐标作为该区域的分区标识与隐形眼镜之间的位置映射关系。
在一个实施例中,步骤104包括:根据所述分区标识与所述隐形眼镜之间的位置映射关系确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
具体地,预先建立了分区标识与隐形眼镜之间的位置映射关系。根据分区标识与隐形眼镜之间的位置映射关系以及分区标识可查找到对应的分区标识对应的区域的中心的经纬度坐标,可采用经纬度坐标表示区域的中心在隐形眼镜上的位置。例如分区标识为A0,分区标识A0对应的区域在隐形眼镜上的位置为位于隐形眼镜的左上角,分区标识A0对应的区域的中心的经纬度为东经20度,北纬20度。步骤106,根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置。
具体地,预先建立了每个分区标识对应的区域的中心到隐形眼镜中心之间的尺寸位置关系,确定了拍摄到的分区标识对应的区域的中心在隐形眼镜上的位置,根据分区标识对应的区域的中心与隐形眼镜的中心之间的尺寸位置关系即可计算出隐形眼镜的中心点位置。尺寸位置关系是指包含了物理尺寸数据的相对位置关系。例如,分区标识对应的区域的中心与隐形眼镜的中心之间的尺寸位置关系为两者之间的距离为2毫米,根据分区标识对应的区域的中心的经纬度坐标(a1,b1),隐形眼镜中心的经纬度坐标(a2,b2),半径为R,则C=sin(b1)sin(b2)cos(a1-a2)+cos(b1)cos(b2),2=RarccosC。根据分区标识对应的区域的中心与隐形眼镜的中心之间的尺寸位置关系以及半径R反推隐形眼镜中心的位置。
步骤108,根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
用户在佩戴隐形眼镜时,用户眼球通常位于隐形眼镜的中心点位置,故根据隐形眼镜的中心点位置即可获取用户眼球的瞳孔位置。可将隐形眼镜的中心点位置当作用户眼球的瞳孔位置。或者,可将隐形眼镜的中心点位置增加或减少预设值作为用户眼球的瞳孔位置。预设值可根据需要设定或者根据历史佩戴的数据中用户眼球的瞳孔位置与隐形眼镜中心点位置的偏差值的平均值得到。将隐形眼镜的中心点位置与瞳孔位置连成线延长,即可得出视觉中心点。通过瞳孔位置可确定用户在虚拟现实环境中的观察范围和角度。
上述眼球跟踪方法,获取拍摄的隐形眼镜上的分区标识,确定分区标识对应的区域的中心在隐形眼镜上的位置,再确定隐形眼镜的中心点位置,根据隐形眼镜中心点位置估算出用户眼球的瞳孔位置,通过佩戴带有分区标识的隐形眼镜,拍摄隐形眼镜,并获取分区标识即可确定隐形眼镜的中心点位置,确定用户眼球的瞳孔位置,实现了眼球跟踪的功能,不需要使用复杂的光学系统跟踪拍摄用户眼球,降低了跟踪系统的复杂性,装配简单。
在一个实施例中,所述获取拍摄的佩戴在用户眼球上的隐形眼镜上的分区标识包括:获取拍摄的佩戴在用户眼球上的隐形眼镜上的图案;以及识别所述图案,获取所述图案对应的分区标识。
具体地,在隐形眼镜上的各个区域设置有对应的图案,通过图像采集装置(如摄像头)可拍摄隐形眼镜,拍摄的图像可包括隐形眼镜的全部区域的图案或部分区域的图案。对拍摄的图案进行识别可得到图案对应的分区标识。图案可为二维码或条形码或特殊图案等图案。特殊图案可为字符图案。
在一个实施例中,所述根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置包括:识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心;以及根据所述图案所在区域的中心在所述隐形眼镜上的位置以及各区域的中心之间的尺寸位置关系计算所述隐形眼镜的中心点位置。
具体地,图案的特征点是指能够反映图案本质特征,能够标识图案中目标物体。通过特征点的匹配能够完成图案的匹配。识别出图案的特征点,根据图案的特征点即可确定图案所在区域的中心,确定图案所在区域的中心在隐形眼镜上的位置,再根据各区域的中心之间的尺寸位置关系可以计算出隐形眼镜的中心点位置。可预先记录图案所在区域的中心在隐形眼镜上的位置。通过图案的特征点获取图案所在区域的中心,并根据图案所在区域的中心及各区域中心之间的尺寸位置关系计算隐形眼镜的中心点位置,识别效率高。
在一个实施例中,所述根据所述分区标识对应的区域在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置包括:识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;根据拍摄点镜头与眼球的距离以及所述图案的特征点在所述拍摄的图像中的像素位置点,计算所述图案的特征点与所述拍摄点镜头的距离;根据所述特征点与所述拍摄点镜头的距离确定所述图案所在区域的中心与所述拍摄点镜头的距离;以及根据所述图案所在区域的中心与所述拍摄点镜头的距离以及各区域的中心之间的尺寸位置关系计算得到所述隐形眼镜的中心点位置。
在某些实施例中,因图像采集状态拍摄图像的成像取决于图像采集装置成像元件上的像素点,每个像素点呈现X、Y轴排列,可采用(x,y)坐标表示。图案的特征点在被拍摄时,在像素点上会呈现特定的RGB(红、绿、蓝)读数。读取图案的特征点在对应的像素点的RGB读数,将RGB读数与数据库中的RGB读数进行比对,得出图案的特征点在像素点上的相对坐标,即图案的特征点在拍摄的图像中的像素位置点。获取拍摄点镜头与眼球的距离,以及图案的特征点在拍摄的图像中的像素点上的相对坐标可以计算出图案的特征点与拍摄点镜头的距离。在某些实施例中,图像采集装置的位置可以固定不动,如此拍摄点镜头与眼球之间的距离固定不变。
图2为一个实施例中眼球跟踪装置的结构框图。如图2所示,一种眼球跟踪装置,包括第一获取模块202、位置确定模块204、计算模块206和第二获取模块208。其中:
第一获取模块202用于获取用户佩戴的隐形眼镜上的分区标识。
位置确定模块204用于确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
计算模块206用于根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置。
第二获取模块208用于根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
上述眼球跟踪装置,获取拍摄的隐形眼镜上的分区标识,确定分区标识对应的区域的中心在隐形眼镜上的位置,再确定隐形眼镜的中心点位置,根据隐形眼镜中心点位置获取用户眼球的瞳孔位置,通过佩戴带有分区标识的隐形眼镜,拍摄隐形眼镜,并获取分区标识即可确定隐形眼镜的中心点位置,确定用户眼球的瞳孔位置,实现了眼球跟踪的功能,不需要使用复杂的光学系统跟踪拍摄用户眼球,降低了跟踪系统的复杂性,装配简单。
在一个实施例中,所述第一获取模块202还用于利用图像采集装置拍摄用户佩戴的隐形眼镜,获取拍摄的隐形眼镜上的图案;以及识别所述图案,获取所述图案对应的分区标识。
在一个实施例中,所述计算模块206还用于识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心;以及根据所述图案所在区域的中心在所述隐形眼镜上的位置,以及所述图案所在区域的中心与所述隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
在一个实施例中,所述计算模块206还用于识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;根据拍摄点镜头与眼球的距离以及所述图案的特征点在所述拍摄的图像中的像素位置点得到所述图案的特征点与所述拍摄点镜头的距离;根据所述特征点与拍摄点镜头的距离确定所述图案所在区域的中心与拍摄点镜头的距离;以及根据所述图案所在区域的中心与拍摄点镜头的距离,以及所述图案所在区域的中心与所述隐形眼镜的中心之间的尺寸位置关系,计算得到所述隐形眼镜的中心点位置。
在一个实施例中,所述位置确定模块204还用于根据所述分区标识与所述隐形眼镜之间的位置映射关系确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
图3为一个实施例中虚拟现实系统的结构示意图。如图3所示,一种虚拟现实系统包括显示屏302、镜筒304、图像采集装置306、光线发射装置308、带图案的隐形眼镜310、透镜312、处理器等。
显示屏302用于显示虚拟现实图像。显示屏302可为液晶显示屏等。
镜筒304用于密封及支撑整个光学系统。
图像采集装置306用于跟踪眼球,拍摄用户眼球部分的运行,并拍摄佩戴在用户眼球上的隐形眼镜上的图案。图像采集装置306可为能采集非可见光的摄像头等。
光线发射装置308用于为发射非可见光,为增加图像采集装置306的拍摄效果及清晰程度,对图像采集装置306的拍摄区域进行补光。光线发射装置308可为红外线LED灯。
透镜312为虚拟现实系统的光学模组的非球面透镜或菲涅尔透镜。
上述虚拟现实系统的工作过程包括:用户佩戴上带有图案的隐形眼镜,并佩戴虚拟现实头戴设备,开始使用虚拟现实设备;虚拟现实设备开始工作,图像采集装置306对用户眼部动作进行拍摄,光线发射装置308对图像采集装置306进行补光,图像采集装置306拍摄到用户眼球并记录下拍摄的隐形眼镜上的图案,将拍摄的图案发送给处理器,由处理器进行处理得到图案在隐形眼镜上的位置,根据图案在隐形眼镜上的位置计算用户眼球的瞳孔位置,实现眼球跟踪。
在一个实施例中,处理器用于对所述图案进行识别获取所述图案对应的分区标识,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置,根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,以及根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
上述虚拟现实系统,获取通过图像采集装置拍摄的隐形眼镜上的图案,根据图案得到分区标识,确定分区标识对应的区域的中心在隐形眼镜上的位置,再确定隐形眼镜的中心点位置,根据隐形眼镜中心点位置获取用户眼球的瞳孔位置,通过佩戴带有分区标识的隐形眼镜,拍摄隐形眼镜,并获取分区标识即可确定隐形眼镜的中心点位置,确定用户眼球的瞳孔位置,实现了眼球跟踪的功能,不需要使用复杂的光学系统跟踪拍摄用户眼球,降低了跟踪系统的复杂性,装配简单;且极大的简化了图像采集装置和光线发射装置的摆放限制,简化镜筒内部结构约束,降低了图像采集装置无法清晰拍摄到瞳孔时的跟踪失败概率;不需要图像采集装置通过各种发射折射方法将图像采集装置的光轴与虚拟现实影像的光轴叠加,也不需要增加很多光学反射折射透镜,也不会出现因为经过多次反射折射使得光学透过率降低并带来大量的图像变形的情况,也不存在因光学零部件过多而产生除尘和维修带来的不便。
在某些实施例中,所述处理器还用于识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心,以及根据所述图案所在区域的中心在所述隐形眼镜上的位置以及各区域的中心之间的尺寸位置关系计算所述隐形眼镜的中心点位置。
在某些实施例中,所述处理器还用于识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;根据拍摄点镜头与眼球的距离以及所述图案的特征点在所述拍摄的图像中的像素位置点得到所述图案的特征点与拍摄点镜头的距离;根据所述特征点与拍摄点镜头的距离确定所述图案所在区域的中心与拍摄点镜头的距离;以及根据所述图案所在区域的中心与拍摄点镜头的距离以及所述图案所在区域的中心与所述隐形眼镜的中心之间的尺寸位置关系计算得到所述隐形眼镜的中心点位置。
在某些实施例中,所述处理器还用于根据所述分区标识与所述隐形眼镜之间的位置映射关系确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
在其他实施例中,上述虚拟现实系统可不包括光线发射装置。
图4为一个实施例中隐形眼镜上设置图案的示意图。如图4所示,隐形眼镜402以中心点位置为原点,按照X、Y轴做分区处理,并在各个区域内设置不同的图案,通过拍摄到图案的情况可以计算瞳孔404所在的中心位置。隐形眼镜划分的区域包括A0、A1、A2、A3、B0、B1、B2、B3、C0、C1、C2、C3、D0、D1、D2、D3。
图5为用户眼球向左观察时拍摄的示意图;图6为用户眼球直视时拍摄的示意图;图7为用户眼球向右观察时拍摄的示意图。如图5至图7所示,通过图像采集装置拍摄到隐形眼镜的所有部分位置(A0、A1、A2、A3、B0、B1、B2、B3、C0、C1、C2、C3、D0、D1、D2、D3区域),即可判断用户眼球向左观察;当拍摄到隐形眼镜左侧及中心线稍微偏右的区域(A0、A1、A2、A3、B0、B1、B2、B3、C0、C1、C2、C3、D0、D1、D2、D3区域),通过对比A0到A3,B0到B3区域在拍摄区域的位置情况,推测出用户是在直视或是否轻微偏转;当拍摄到隐形眼镜的小部分位置(A0、A1、A2、A3),则可判断为用户向右观察。此外,当拍摄到隐形眼镜的小部分位置(A0、B0、C0、D0),则可判断为用户向下观察;当拍摄到隐形眼镜的小部分位置(A1、B1、C1、D1、A2、B2、C2、D2、A3、B3、C3、D3),则可判断为用户向上观察。
图8为一个实施例中虚拟现实系统的内部结构示意图。如图8所示,该虚拟现实系统包括通过系统总线连接的处理器、非易失性存储介质、内存储器、图像采集装置和隐形眼镜。其中,终端的非易失性存储介质存储有操作系统。该处理器用于提供计算和控制能力,支撑整个终端的运行。终端中的内存储器为非易失性存储介质中的运行提供环境,该内存储器中可储存有计算机可读指令,该计算机可读指令被所述处理器执行时,可使得所述处理器执行一种眼球跟踪方法。图像采集装置用于采集拍摄隐形眼镜的图案,将所述拍摄的图案发送给所述处理器。所述处理器用于对所述图案进行识别获取所述图案对应的分区标识,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置,根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,以及根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本发明的实施例还提供了一种隐形眼镜。一种隐形眼镜包括隐形眼镜本体和设置在所述隐形眼镜本体上各个区域的图案,所述图案用于唯一表示所在区域。图案可为油墨印刷的图案。图案可为二维码图案或特定图案。
本发明的实施例还提供了一种隐形眼镜的制造方法。一种隐形眼镜的制造方法包括:通过镀膜、印刷或雕刻方式在隐形眼镜本体的各个区域形成图案,所述图案用于唯一表示所在区域。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)等。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (18)

1.一种眼球跟踪方法,包括:
获取用户佩戴的隐形眼镜上的分区标识;
确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置;
根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置;以及
根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
2.根据权利要求1所述的方法,其特征在于,所述获取用户佩戴的隐形眼镜上的分区标识,包括:
利用图像采集装置拍摄用户佩戴的隐形眼镜;
获取拍摄的隐形眼镜上的图案;以及
识别所述图案,获取所述图案对应的分区标识。
3.根据权利要求2所述的方法,其特征在于,所述根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,包括:
识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心;以及
根据所述图案所在区域的中心在所述隐形眼镜上的位置,以及所述图案所在区域的中心与所述隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
4.根据权利要求2所述的方法,其特征在于,所述根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,包括:
识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;
根据拍摄点镜头与眼球的距离,以及所述图案的特征点在所述拍摄的图案中的像素位置点,计算所述图案的特征点与所述拍摄点镜头的距离;
根据所述特征点与所述拍摄点镜头的距离确定所述图案所在区域的中心与所述拍摄点镜头的距离;以及
根据所述图案所在区域的中心与所述拍摄点镜头的距离以及所述图案所在区域的中心与隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
5.根据权利要求1或2所述的方法,其特征在于,所述确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置包括:
根据所述分区标识与所述隐形眼镜之间的位置映射关系,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
6.一种眼球跟踪装置,其特征在于,包括:
第一获取模块,用于获取用户佩戴的隐形眼镜上的分区标识;
位置确定模块,用于确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置;
计算模块,用于根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置;
第二获取模块,用于根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
7.根据权利要求6所述的装置,其特征在于,所述第一获取模块还用于利用图像采集装置拍摄用户佩戴的隐形眼镜,获取拍摄的隐形眼镜上的图案;以及识别所述图案,获取所述图案对应的分区标识。
8.根据权利要求6所述的装置,其特征在于,所述计算模块还用于识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心;以及根据所述图案所在区域的中心在所述隐形眼镜上的位置,以及所述图案所在区域的中心与所述隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
9.根据权利要求6所述的装置,其特征在于,所述计算模块还用于识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;
根据拍摄点镜头与眼球的距离以及所述图案的特征点在所述拍摄的图像中的像素位置点,计算所述图案的特征点与所述拍摄点镜头的距离;
根据所述特征点与所述拍摄点镜头的距离确定所述图案所在区域的中心与所述拍摄点镜头的距离;以及
根据所述图案所在区域的中心与所述拍摄点镜头的距离以及所述图案所在区域的中心与隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
10.根据权利要求6或7所述的装置,其特征在于,所述位置确定模块还用于根据所述分区标识与所述隐形眼镜之间的位置映射关系确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
11.一种隐形眼镜,包括隐形眼镜本体,其特征在于,所述隐形眼镜还包括设置在所述隐形眼镜本体上各个区域的图案,所述图案用于唯一表示所述图案所在区域。
12.根据权利要求11所述的眼镜,其特征在于,所述图案为油墨印刷的图案。
13.一种隐形眼镜的制造方法,其特征在于,包括:
通过镀膜、印刷或雕刻方式在隐形眼镜本体的各个区域形成图案,所述图案用于唯一表示所述图案所在区域。
14.一种虚拟现实系统,其特征在于,包括图像采集装置、处理器和带有图案的隐形眼镜,所述图像采集装置用于拍摄用户佩戴的隐形眼镜上的图案,并将所述拍摄的图案发送给所述处理器;所述处理器用于对所述图案进行识别获取所述图案对应的分区标识,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置,根据所述分区标识对应的区域的中心在所述隐形眼镜上的位置计算所述隐形眼镜的中心点位置,以及根据所述隐形眼镜的中心点位置获取所述用户眼球的瞳孔位置。
15.根据权利要求14所述的虚拟现实系统,其特征在于,所述处理器还用于识别所述图案的特征点,根据所述图案的特征点得到所述图案所在区域的中心,以及根据所述图案所在区域的中心在所述隐形眼镜上的位置以及所述图案所在区域的中心与隐形眼镜的中心之间的尺寸位置关系,计算所述隐形眼镜的中心点位置。
16.根据权利要求14所述的虚拟现实系统,其特征在于,所述处理器还用于识别所述图案的特征点,确定所述图案的特征点在拍摄的图像中的像素位置点;根据拍摄点镜头与眼球的距离以及所述图案的特征点在所述拍摄的图像中的像素位置点,计算所述图案的特征点与所述拍摄点镜头的距离;根据所述特征点与所述拍摄点镜头的距离确定所述图案所在区域的中心与所述拍摄点镜头的距离;以及根据所述图案所在区域的中心与所述拍摄点镜头的距离以及各区域的中心之间的尺寸位置关系计算得到所述隐形眼镜的中心点位置。
17.根据权利要求14所述的虚拟现实系统,其特征在于,所述处理器还用于根据所述分区标识与所述隐形眼镜之间的位置映射关系,确定所述分区标识对应的区域的中心在所述隐形眼镜上的位置。
18.根据权利要求14所述的虚拟现实系统,其特征在于,所述虚拟现实系统还包括用于发射非可见光的光线发射装置,所述光线发射装置用于发射非可见光对所述摄像头的拍摄区域进行补光。
CN201710188766.0A 2017-03-27 2017-03-27 眼球追踪方法和装置、隐形眼镜、虚拟现实系统 Active CN108664118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188766.0A CN108664118B (zh) 2017-03-27 2017-03-27 眼球追踪方法和装置、隐形眼镜、虚拟现实系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188766.0A CN108664118B (zh) 2017-03-27 2017-03-27 眼球追踪方法和装置、隐形眼镜、虚拟现实系统

Publications (2)

Publication Number Publication Date
CN108664118A true CN108664118A (zh) 2018-10-16
CN108664118B CN108664118B (zh) 2021-06-15

Family

ID=63786181

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188766.0A Active CN108664118B (zh) 2017-03-27 2017-03-27 眼球追踪方法和装置、隐形眼镜、虚拟现实系统

Country Status (1)

Country Link
CN (1) CN108664118B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023159526A1 (zh) * 2022-02-25 2023-08-31 曹庆恒 一种眼球追踪系统及其使用方法
US11822081B2 (en) 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1886690A (zh) * 2003-07-24 2006-12-27 博士伦公司 在线隐形眼镜评估的方法和设备
WO2008014085A2 (en) * 2006-07-27 2008-01-31 Sony Computer Entertainment America Inc. Contact lenses for use in motion capture
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
JP2013104747A (ja) * 2011-11-11 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 作業位置誘導装置及びその誘導方法
CN103424889A (zh) * 2012-05-18 2013-12-04 庄臣及庄臣视力保护公司 具有光环效应的角膜接触镜片
CN104317066A (zh) * 2014-09-29 2015-01-28 杏晖光学(厦门)有限公司 户外眼镜可视图案的制备方法
CN105301802A (zh) * 2014-06-12 2016-02-03 嘉盛联合股份有限公司 隐形眼镜的聚焦点检测及其试戴用的隐形眼镜
US20160103485A1 (en) * 2014-10-10 2016-04-14 Hyundai Motor Company Apparatus and method for tracking gaze of glasses wearer

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1886690A (zh) * 2003-07-24 2006-12-27 博士伦公司 在线隐形眼镜评估的方法和设备
WO2008014085A2 (en) * 2006-07-27 2008-01-31 Sony Computer Entertainment America Inc. Contact lenses for use in motion capture
CN102802502A (zh) * 2010-03-22 2012-11-28 皇家飞利浦电子股份有限公司 用于跟踪观察者的注视点的系统和方法
JP2013104747A (ja) * 2011-11-11 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 作業位置誘導装置及びその誘導方法
CN103424889A (zh) * 2012-05-18 2013-12-04 庄臣及庄臣视力保护公司 具有光环效应的角膜接触镜片
CN105301802A (zh) * 2014-06-12 2016-02-03 嘉盛联合股份有限公司 隐形眼镜的聚焦点检测及其试戴用的隐形眼镜
CN104317066A (zh) * 2014-09-29 2015-01-28 杏晖光学(厦门)有限公司 户外眼镜可视图案的制备方法
US20160103485A1 (en) * 2014-10-10 2016-04-14 Hyundai Motor Company Apparatus and method for tracking gaze of glasses wearer

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANA B.ROIG等: "《Pupil detection and tracking for analysis of fixational eye micromovements》", 《OPTIK》 *
张闯等: "《视线追踪系统中视线估计方法研究》", 《中国科学:信息科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822081B2 (en) 2019-08-29 2023-11-21 Apple Inc. Optical module for head-mounted device
US11885965B1 (en) 2019-09-23 2024-01-30 Apple Inc. Head-mounted display and display modules thereof
WO2023159526A1 (zh) * 2022-02-25 2023-08-31 曹庆恒 一种眼球追踪系统及其使用方法

Also Published As

Publication number Publication date
CN108664118B (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN106168853B (zh) 一种自由空间头戴式视线跟踪系统
Nitschke et al. Corneal imaging revisited: An overview of corneal reflection analysis and applications
CN113808160B (zh) 视线方向追踪方法和装置
US11233986B1 (en) Characterization of optical distortion in a head mounted display
CN109558012A (zh) 一种眼球追踪方法及装置
CN106778641B (zh) 视线估计方法及装置
CN110120099A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
WO2015190204A1 (ja) 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム
US10599215B2 (en) Off-axis eye tracker
US8315439B2 (en) Vision correction aid system
CN106214118A (zh) 一种基于虚拟现实的眼球运动监测系统
JP2008502992A (ja) イメージの情報を与える交信方法
CN108664118A (zh) 眼球追踪方法和装置、隐形眼镜、虚拟现实系统
JP2013218535A (ja) 三次元モデリングされたcg画像内にcg画像化された手指を表示する方法及び装置、並びに三次元モデリングされたcg画像を表示する広視野角ヘッドマウントディスプレイ装置
CN108537214B (zh) 一种室内语义地图的自动化构建方法
KR20180007349A (ko) 렌즈 시스템을 통한 드리프트 프리 눈 추적을 제공하는 머리 장착형 눈 추적 디바이스 및 방법
CN110119190A (zh) 定位方法、装置、识别跟踪系统及计算机可读介质
CN107368192A (zh) Vr眼镜的实景观测方法及vr眼镜
CN110119194A (zh) 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
Plopski et al. Automated spatial calibration of HMD systems with unconstrained eye-cameras
CN108537103B (zh) 基于瞳孔轴测量的活体人脸检测方法及其设备
CN113419350A (zh) 虚拟现实显示设备、画面呈现方法、装置及存储介质
CN114373003A (zh) 一种基于双目视觉的被动红外标记手术器械配准方法
GB2559977A (en) Systems and methods for obtaining information about the face and eyes of a subject
CN110059621A (zh) 手柄光球颜色的控制方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant