CN117280303A - 眼球跟踪装置、方法以及显示设备 - Google Patents
眼球跟踪装置、方法以及显示设备 Download PDFInfo
- Publication number
- CN117280303A CN117280303A CN202280000578.XA CN202280000578A CN117280303A CN 117280303 A CN117280303 A CN 117280303A CN 202280000578 A CN202280000578 A CN 202280000578A CN 117280303 A CN117280303 A CN 117280303A
- Authority
- CN
- China
- Prior art keywords
- eye tracking
- eyeball
- eye
- cameras
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 210000001508 eye Anatomy 0.000 claims abstract description 465
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 213
- 230000001502 supplementing effect Effects 0.000 claims abstract description 51
- 210000001747 pupil Anatomy 0.000 claims description 54
- 230000003287 optical effect Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000000712 assembly Effects 0.000 claims description 3
- 238000000429 assembly Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 2
- 238000000926 separation method Methods 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 239000013589 supplement Substances 0.000 description 5
- 210000000720 eyelash Anatomy 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Eye Examination Apparatus (AREA)
Abstract
Description
Claims (27)
- 一种眼球跟踪装置,其特征在于,所述眼球跟踪装置包括:支架、控制组件、补光组件以及至少两个眼球跟踪相机;所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置,且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠;所述补光组件位于所述支架上;所述控制组件与所述至少两个眼球跟踪相机电连接,用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球的注视位置。
- 根据权利要求1所述的眼球跟踪装置,其特征在于,所述至少两个眼球跟踪相机中,两个相邻的眼球跟踪相机的拍摄范围具有重叠区域。
- 根据权利要求2所述的眼球跟踪装置,其特征在于,所述重叠区域的尺寸大于预设眼球的尺寸。
- 根据权利要求1所述的眼球跟踪装置,其特征在于,所述眼球跟踪装置还包括:图像采集组件;所述图像采集组件位于所述支架上,且与所述控制组件电连接,所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
- 根据权利要求3所述的眼球跟踪装置,其特征在于,所述至少两个眼球跟踪相机的拍摄范围的边缘与所述图像采集组件的拍摄范围的边缘之间具有间隔区域,所述间隔区域的尺寸大于预设人脸的尺寸。
- 根据权利要求1所述的眼球跟踪装置,其特征在于,所述支架包括了用于设置待观察面的安装部,所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内的眼球在所述待观察面上的注视位置。
- 根据权利要求6所述的眼球跟踪装置,其特征在于,所述控制组件用于确定所述至少两个眼球跟踪相机的拍摄范围内,与所述待观察面之间的距离满足 预设距离范围的眼球在所述待观察面上的注视位置;所述至少两个眼球跟踪相机的光轴相互平行且共面,所述至少两个眼球跟踪相机的光轴确定的第一平面与经过所述待观察面的中心的垂线相交,且交点位于所述预设距离范围内。
- 根据权利要求7所述的眼球跟踪装置,其特征在于,所述交点位于所述预设距离范围内的中心。
- 根据权利要求7所述的眼球跟踪装置,其特征在于,所述待观察面为显示面板的显示面,所述支架包括用于安装所述显示面板的安装部;所述至少两个眼球跟踪相机位于所述安装部的下方。
- 根据权利要求7所述的眼球跟踪装置,其特征在于,所述至少两个眼球跟踪相机在所述支架上沿水平方向排布。
- 根据权利要求6所述的眼球跟踪装置,其特征在于,所述待观察面为显示面板的显示面,所述支架包括用于安装所述显示面板的安装部;所述眼球跟踪装置还包括:图像采集组件;所述图像采集组件位于所述支架上,且位于所述安装部的下方,所述图像采集组件与所述控制组件电连接,所述至少两个眼球跟踪相机的拍摄范围位于图像采集组件的拍摄范围内。
- 根据权利要求1-11任一所述的眼球跟踪装置,其特征在于,所述补光组件包括至少两个补光灯,所述至少两个补光灯位于所述支架上的不同位置。
- 根据权利要求12所述的眼球跟踪装置,其特征在于,所述至少两个补光灯在所述支架上沿水平方向排布。
- 根据权利要求4所述的眼球跟踪装置,其特征在于,所述图像采集组件包括彩色相机,所述眼球跟踪相机包括红外相机,所述彩色相机的分辨率小于 所述红外相机的分辨率。
- 一种眼球跟踪方法,其特征在于,所述方法用于眼球跟踪装置的控制组件中,所述眼球跟踪装置还包括:支架、补光组件以及至少两个眼球跟踪相机;所述至少两个眼球跟踪相机位于所述支架的至少两个不同的位置,且所述至少两个眼球跟踪相机的拍摄范围至少具有部分拍摄范围不重叠;所述补光组件位于所述支架上;所述控制组件与所述至少两个眼球跟踪相机电连接,所述方法包括:开启所述补光组件;获取所述至少两个眼球跟踪相机获取的第一图像;基于所述第一图像确定眼球的注视位置。
- 根据权利要求15所述的方法,其特征在于,所述眼球跟踪装置还包括:图像采集组件;所述图像采集组件位于所述支架上,且与所述控制组件电连接,所述基于所述第一图像确定眼球的注视位置之前,所述方法还包括:获取所述图像采集组件采集的第二图像;基于所述第二图像获取人脸信息;基于所述人脸信息确定眼球在所述第二图像中的位置;所述基于所述第一图像确定眼球的注视位置,包括:基于所述眼球在所述第二图像中的位置,确定所述眼球在所述第一图像中的位置;基于所述眼球在所述第一图像中的位置以及所述第一图像,确定所述眼球的注视位置。
- 根据权利要求15所述的方法,其特征在于,所述基于所述眼球在所述第一图像中的位置以及所述第一图像,确定所述眼球的注视位置,包括:基于所述眼球在所述第一图像中的位置以及所述第一图像,获取所述眼球的瞳孔的位置,以及所述补光组件发出的光线在所述眼球上的光斑的位置;获取所述至少两个眼球跟踪相机的视线模型,所述眼球跟踪相机的视线模型用于根据所述眼球跟踪相机采集得到的第一图像中,所述眼球的瞳孔的位置 以及所述光斑的位置,确定所述眼球的注视位置;基于所述至少两个眼球跟踪相机的视线模型,以及所述眼球的瞳孔位置和光斑的位置,确定所述眼球的注视位置。
- 根据权利要求17所述的方法,其特征在于,所述基于所述至少两个眼球跟踪相机的视线模型,以及所述眼球的瞳孔位置和光斑的位置,确定所述眼球的注视位置,包括:分别通过所述至少两个眼球跟踪相机的视线模型确定得到所述眼球的至少一个注视位置;基于所述至少一个注视位置,确定一个目标注视位置。
- 根据权利要求17所述的方法,其特征在于,所述第一图像为所述至少两个眼球跟踪相机中第一眼球跟踪相机采集的图像,所述补光组件包括至少两个补光灯,所述至少两个补光灯位于所述支架上的不同位置,所述第一图像中包括两个眼球,所述基于所述眼球在所述第一图像中的位置以及所述第一图像,获取所述眼球的瞳孔的位置,以及所述补光组件发出的光线在所述眼球上的光斑的位置,包括:基于所述两个眼球在所述第一图像中的位置以及所述第一图像,获取所述两个眼球的瞳孔的位置,以及所述至少两个补光组件发出的光线在所述两个眼球上光斑的位置;所述获取所述至少两个眼球跟踪相机的视线模型,包括:基于每个样本数据,确定至少一个所述样本数据对应的视线模型,所述样本数据包括所述两个眼球中一个眼球的瞳孔的位置,以及所述一个眼球上的一个光斑的位置,至少一个所述样本数据对应的视线模型为所述至少两个眼球跟踪相机中所述第一眼球跟踪相机的视线模型。
- 一种显示设备,其特征在于,所述显示设备包括显示面板、外壳以及眼球跟踪装置;所述眼球跟踪装置包括:控制组件、补光组件、图像采集组件以及至少两 个眼球跟踪相机;所述补光组件、图像采集组件以及所述至少两个眼球跟踪相机位于所述外壳上,且均朝向所述显示面板的出光方向,所述至少两个眼球跟踪相机位于所述外壳的至少两个不同的位置;所述控制组件与所述至少两个眼球跟踪相机电连接。
- 根据权利要求20所述的显示设备,其特征在于,所述至少两个眼球跟踪相机在所述外壳上位于所述显示面板的下方,且沿水平方向排布。
- 根据权利要求21所述的显示设备,其特征在于,所述显示面板的显示面呈矩形,且所述显示面的一条边与水平方向平行;所述至少两个眼球跟踪相机中,任意两个相邻的眼球跟踪相机之间的距离相等。
- 根据权利要求22所述的显示设备,其特征在于,所述眼球跟踪相机与所述显示面板的显示面共面,所述眼球跟踪相机的数量为3,3个所述眼球跟踪相机中两个相邻的眼球跟踪相机之间的间距满足:其中,L用于确定所述间距,p由眼球宽度决定,e由两个眼球之间的间距决定,α为所述眼球跟踪相机的水平视场角,D1和D2分别为预设的所述眼球跟踪相机进行眼球跟踪的目标区域在垂直于所述显示面的方向上,与所述显示面之间的最小距离以及最大距离;θ为预设的3个所述眼球跟踪相机的整体视场角。
- 根据权利要求23所述的显示设备,其特征在于,3个所述眼球跟踪相机的光轴相互平行且共面,3个所述眼球跟踪相机的光轴确定的第一平面与经过所述显示面的中心的垂线相交,且交点位于所述目标区域内。
- 根据权利要求24所述的显示设备,其特征在于,所述交点位于所述目标区域在垂直于所述显示面的方向上的中心,所述眼球跟踪相机满足:其中,所述b用于确定所述眼球跟踪相机的光轴与所述显示面之间的夹角,所述k为所述显示面的中心与所述眼球跟踪相机在垂直方向上之间的距离。
- 根据权利要求20-25任一所述的显示设备,其特征在于,所述图像采集组件在所述外壳上位于所述显示面板的下方,且与所述显示面的下边缘的两端的距离相等。
- 根据权利要求20-25任一所述的显示设备,其特征在于,所述外壳包括底座以及位于所述底座上的框体;所述补光组件、所述图像采集组件以及所述至少两个眼球跟踪相机均安装于所述框体上。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2022/083482 WO2023184109A1 (zh) | 2022-03-28 | 2022-03-28 | 眼球跟踪装置、方法以及显示设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117280303A true CN117280303A (zh) | 2023-12-22 |
Family
ID=88198592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280000578.XA Pending CN117280303A (zh) | 2022-03-28 | 2022-03-28 | 眼球跟踪装置、方法以及显示设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117280303A (zh) |
WO (1) | WO2023184109A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2528446B (en) * | 2014-07-21 | 2021-08-04 | Tobii Tech Ab | Method and apparatus for detecting and following an eye and/or the gaze direction thereof |
CN108399001A (zh) * | 2017-02-06 | 2018-08-14 | 上海青研科技有限公司 | 一种vr/ar中双目立体视觉眼动分析方法及装置 |
US10466779B1 (en) * | 2017-07-24 | 2019-11-05 | Facebook Technologies, Llc | Event camera for eye tracking |
US10698481B1 (en) * | 2017-09-28 | 2020-06-30 | Apple Inc. | Glint-assisted gaze tracker |
CN110083251B (zh) * | 2019-06-03 | 2024-07-26 | 北京七鑫易维科技有限公司 | 眼球追踪装置及眼球追踪设备 |
CN113190115B (zh) * | 2021-04-25 | 2022-11-22 | 歌尔股份有限公司 | 眼球追踪方法及虚拟现实设备 |
-
2022
- 2022-03-28 CN CN202280000578.XA patent/CN117280303A/zh active Pending
- 2022-03-28 WO PCT/CN2022/083482 patent/WO2023184109A1/zh active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023184109A1 (zh) | 2023-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6036065B2 (ja) | 注視位置検出装置及び注視位置検出方法 | |
US9373023B2 (en) | Method and apparatus for robustly collecting facial, ocular, and iris images using a single sensor | |
JP4926766B2 (ja) | 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム | |
WO2018030515A1 (ja) | 視線検出装置 | |
KR102471370B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
JPWO2019171522A1 (ja) | ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法 | |
WO2020150191A1 (en) | Dynamic render time targeting based on eye tracking | |
US12056274B2 (en) | Eye tracking device and a method thereof | |
US11093034B2 (en) | Eye tracking method and system and integration of the same with wearable heads-up displays | |
CN106773080B (zh) | 立体显示装置及显示方法 | |
WO2017179279A1 (ja) | 視線測定装置および視線測定方法 | |
US20210307605A1 (en) | Compact retinal scanning device for tracking movement of the eye's pupil and applications thereof | |
JP5583980B2 (ja) | 画像処理方法および画像処理装置 | |
WO2011136213A1 (ja) | 表示装置 | |
JP6767482B2 (ja) | 視線検出方法 | |
TW201814356A (zh) | 頭戴顯示裝置與其鏡片位置調整方法 | |
US10848753B1 (en) | Eye-tracking system using a scanning laser assembly | |
JP7046347B2 (ja) | 画像処理装置及び画像処理方法 | |
CN111860428B (zh) | 一种人脸识别系统及方法 | |
US10754474B2 (en) | Projector system | |
CN117280303A (zh) | 眼球跟踪装置、方法以及显示设备 | |
JP2016095584A (ja) | 瞳孔検出装置、瞳孔検出方法及び瞳孔検出プログラム | |
JP2000201289A (ja) | 映像入出力装置及び映像取得方法 | |
JP2017102731A (ja) | 視線検出装置及び視線検出方法 | |
EP3859429B1 (en) | Display apparatus and method of compensating for visual artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240524 Address after: Room 1-1, 1st Floor, Block C, Building 2, No. 8 West Ring Middle Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing, 100176 Applicant after: Beijing Shiyan Technology Co.,Ltd. Country or region after: China Address before: 100015 No. 10, Jiuxianqiao Road, Beijing, Chaoyang District Applicant before: BOE TECHNOLOGY GROUP Co.,Ltd. Country or region before: China Applicant before: BEIJING BOE TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
TA01 | Transfer of patent application right |