CN111309138B - 降低眼球追踪运算的方法和其眼动追踪装置 - Google Patents
降低眼球追踪运算的方法和其眼动追踪装置 Download PDFInfo
- Publication number
- CN111309138B CN111309138B CN201910132835.5A CN201910132835A CN111309138B CN 111309138 B CN111309138 B CN 111309138B CN 201910132835 A CN201910132835 A CN 201910132835A CN 111309138 B CN111309138 B CN 111309138B
- Authority
- CN
- China
- Prior art keywords
- frame
- subframe
- eye
- eyeball
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30041—Eye; Retina; Ophthalmic
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Eye Examination Apparatus (AREA)
Abstract
一种降低眼球追踪运算的方法及其眼球追踪装置,其中,所述方法包括:撷取包括眼球影像的第一眼球帧和场景帧;对第一眼球帧和场景帧分别执行目标检测以分别取得第一眼球帧的第一子帧和场景帧的第二子帧;运算第一子帧和第二子帧中的至少一个,以得到眼球估计位置。本发明通过利用摄像撷取帧的眼球或场景的部分帧来推估眼球移动的下个位置,如此可减少整个系统的运算和耗电。
Description
技术领域
本发明涉及一种眼球追踪的运算方法及其装置,特别是涉及一种降低眼球追踪运算的方法及其装置。
背景技术
眼动技术是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动仪是一种能够获取这两个信息的一种设备,这个获取步骤就是眼球追踪运算。目前眼动追踪有多种方法,包括:非侵入方式,例如通过视频拍摄设备来获取眼睛的位置;侵入方式,例如在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。另,一般眼动仪会包括视线追踪模块以执行对眼球运动的追踪,以非侵入方式追踪的视线追踪模块通常配备眼摄像装置(eye camera)和场景摄像装置(scene camera)。眼摄像装置是撷取配戴者的眼球影像,场景摄像装置则是撷取配戴者所视的场景影像。
由于眼动仪通常是放置于眼睛周围,故一般视线追踪模块应具备低功耗、小面积、低延迟等特性以符合要求。
发明内容
本发明提供一种针对省电需求设计的降低眼球追踪运算的方法及其装置,采用部分帧减少眼球追踪的运算量,进而达到减少功耗而省电的目的。
本发明提供一种针对省电需求设计的降低眼球追踪运算的方法及其装置,部分帧的数据可由眼摄像装置或场景摄像装置或上述二者提取得到,进而达到减少功耗而省电的目的。
依据上述,一种降低眼球追踪运算的方法,包括:撷取包括眼球影像的第一眼球帧和场景帧;对该第一眼球帧和该场景帧分别执行目标检测(object detection)以分别取得该第一眼球帧的第一子帧和该场景帧的第二子帧;运算该第一子帧和该第二子帧中的至少一个,以得到眼球估计位置。
在一实施例中,降低眼球追踪运算的方法包括依据该眼球估计位置撷取包括该眼球影像的第二眼球帧。
在一实施例中,该第一子帧的数据量少于该第一眼球帧的数据量,且该第二子帧的数据量少于该场景帧的数据量。
在一实施例中,对该第一眼球帧和该场景帧分别执行目标检测的步骤是包括以感兴趣区域(region of interest,ROI)方式提取出该第一子帧和该第二子帧中的至少一个。
在一实施例中,运算该第一子帧和该第二子帧中的至少一个的步骤是利用反向投影矩阵运算得到该眼球估计位置。
在一实施例中,运算该第一子帧和该第二子帧中的至少一个的步骤是利用近似运算得到该眼球估计位置。
在一实施例中,该第一子帧包括该眼球影像。
在一实施例中,该场景帧包括重点区域影像且该第二子帧包括该重点区域影像。
依据上述,一种应用上述降低眼球追踪运算的方法的眼动追踪装置,包括撷取该第一眼球帧的眼摄像装置及撷取该场景帧的场景摄像装置。
依据上述,一种应用上述降低眼球追踪运算的方法的眼动追踪装置,包括撷取该第一眼球帧和该第二眼球帧的眼摄像装置及撷取该场景帧的场景摄像装置。
本发明实施例的降低眼球追踪运算的方法及其装置,通过撷取眼球影像的部分眼球帧和部分场景帧来推估出眼球移动的下个位置,进而降低了眼球追踪的运算量,达到了较少功耗而省电的目的。
附图说明
图1为本发明降低眼球追踪运算的方法实施例的流程示意图;
图2为本发明应用降低眼球追踪运算的方法的眼动追踪装置和其应用环境方位的立体示意图;
图3为本发明眼动追踪装置实施例运算第一眼球帧画面示意图;
图4为本发明眼动追踪装置实施例运算场景帧画面示意图;
图5为本发明眼动追踪装置实施例得到的第二眼球帧画面示意图。
【符号说明】
2、4、6、8:步骤
5:眼睛
7:场景
13:第一眼球帧
15:场景帧
20:眼动追踪装置
22:眼摄像装置
24:场景摄像装置
31:眼球影像
33:脸部影像
35:第一子帧
51:重点区域影像
53:影像
55:第二子帧
57:第二眼球帧
58:眼球估计位置的影像
具体实施方式
以下将详述本案的各实施例,并配合图式作为例示。除了这些详细描述之外,本发明还可以广泛地实行在其他的实施例中,任何所述实施例的轻易替代、修改、等效变化都包含在本案的范围内,并以权利要求为准。在说明书的描述中,为了使读者对本发明有较完整的了解,提供了许多特定细节;然而,本发明可能在省略部分或全部这些特定细节的前提下,仍可实施。此外,众所周知的程序步骤或组件并未描述于细节中,以避免造成本发明不必要的限制。
图1为本发明的降低眼球追踪运算的方法实施例的流程示意图。图2为本发明应用降低眼球追踪运算的方法的眼动追踪装置和其应用环境方位的立体示意图。图3为本发明眼动追踪装置实施例运算第一眼球帧画面示意图。图4为本发明眼动追踪装置实施例运算场景帧画面示意图。图5为本发明眼动追踪装置实施例得到的第二眼球帧画面示意图。请参考图1、图2、图3、图4和图5,本发明的降低眼球追踪运算的方法,由配备有眼摄像装置22和场景摄像装置24的眼动追踪装置20执行。首先,眼摄像装置22和场景摄像装置24分别撷取第一眼球帧13(first eyeball frame)和场景帧15(scene frame)(步骤2)。
一般而言,眼动追踪装置20配戴于配戴者的眼睛5前方,眼摄像装置22和配戴者的眼睛之间存在一距离,眼摄像装置22摄像时撷取到的第一眼球帧13包括配戴者的眼球影像31和眼球影像31周遭的脸部影像33。对于运算眼球追踪而言,第一眼球帧13中的脸部影像33的数据是多余的,只有眼球影像31的数据才有意义。另一方面,场景摄像装置24是撷取配戴者前方的场景7影像,其所撷取到的场景帧15通常包括配戴者感兴趣的重点区域影像51和配戴者相对较不感兴趣的影像53。重点区域影像51所出现的位置大多是配戴者关注之处,因此,配戴者的视线移动和重点区域影像51是息息相关的。相较之下,配戴者对于较不感兴趣的影像53并不关注,配戴者的后续视线移动与此则较无关联。
是以,减少帧的数据运算量将有助于降低眼动追踪装置20的运算时间和耗电。参考图1、图2、图3、图4和图5,本发明的降低眼球追踪运算的方法对第一眼球帧13和场景帧15分别执行目标检测(object detection)以分别取得第一眼球帧13的第一子帧35和场景帧15的第二子帧55(步骤4)。在此实施例中,第一子帧35的数据量少于第一眼球帧13的数据量,但必包括眼球影像31。其次,第二子帧55的数据量少于场景帧15的数据量,但必包括重点区域影像51。又,执行目标检测的方法,举例但不限于此,例如以感兴趣区域(region ofinterest,ROI)方式、分别自第一眼球帧13和场景帧15提取出第一子帧35和第二子帧55。
参考图1、图2、图3、图4和图5,本案的第一子帧35和第二子帧55可各自单独地或组合地被运算以得到眼球估计位置(步骤6)。以单独运算第一子帧35来说,是利用前一帧眼睛的二维/三维近似推估为现在帧(第二眼球帧)眼睛所在的位置,舍弃掉前一帧(第一子帧35)中非眼睛影像的脸部影像33,数据量的降低有助于推估现在帧眼睛所在的位置的运算时间,同时降低运算耗电量。其次,以单独运算第二子帧55来说,重点区域影像51通常是配戴者感兴趣的位置,即是配戴者的眼睛可能注视的方向,故将包括重点区域影像51的第二子帧55利用适当的反向运算,例如反向投影矩阵的运算,可以推估配戴者的眼球在相对于眼摄像装置22的哪个位置。又,若同时依据第一子帧35和第二子帧55的运算来得到眼球估计位置,可得到更精确和精准的结果,同时达到降低运算耗电量的目的。之后,眼摄像装置22可依据上述眼球估计位置撷取包括眼球影像的第二眼球帧(步骤8)。此时,此第二眼球帧57,例如近似第一子帧35的范围,必包括眼球估计位置的影像58,第二眼球帧的数据量可以等于或少于第一眼球帧13。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当以权利要求所界定的范围为准。
Claims (8)
1.一种降低眼球追踪运算的方法,其特征在于,包括:
撷取包括眼球影像的第一眼球帧和场景帧;
对所述第一眼球帧和所述场景帧分别执行目标检测以分别取得所述第一眼球帧的第一子帧和所述场景帧的第二子帧;
运算所述第一子帧和所述第二子帧中的至少一个,以得到眼球估计位置;
根据所述眼球估计位置撷取包括所述眼球影像的第二眼球帧,所述第二眼球帧的数据量少于所述第一眼球帧的数据量。
2.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,所述第一子帧的数据量少于所述第一眼球帧的数据量,且所述第二子帧的数据量少于所述场景帧的数据量。
3.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,对所述第一眼球帧和所述场景帧分别执行目标检测的步骤是包括以感兴趣区域方式提取出所述第一子帧和所述第二子帧中的至少一个。
4.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,运算所述第一子帧和所述第二子帧中的至少一个的步骤是利用反向投影矩阵运算得到所述眼球估计位置。
5.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,运算所述第一子帧和所述第二子帧中的至少一个的步骤是利用近似运算得到所述眼球估计位置。
6.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,所述第一子帧包括所述眼球影像。
7.根据权利要求1所述的降低眼球追踪运算的方法,其特征在于,所述场景帧包括重点区域影像且所述第二子帧包括所述重点区域影像。
8.一种应用权利要求1所述的降低眼球追踪运算的方法的眼动追踪装置,包括撷取所述第一眼球帧和所述第二眼球帧的眼摄像装置及撷取所述场景帧的场景摄像装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107144750A TWI699671B (zh) | 2018-12-12 | 2018-12-12 | 減低眼球追蹤運算的方法和其眼動追蹤裝置 |
TW107144750 | 2018-12-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111309138A CN111309138A (zh) | 2020-06-19 |
CN111309138B true CN111309138B (zh) | 2023-05-30 |
Family
ID=71071126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910132835.5A Active CN111309138B (zh) | 2018-12-12 | 2019-02-21 | 降低眼球追踪运算的方法和其眼动追踪装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11042216B2 (zh) |
CN (1) | CN111309138B (zh) |
TW (1) | TWI699671B (zh) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI261785B (en) * | 2004-02-19 | 2006-09-11 | Chung Shan Inst Of Science | Eye ball tracking method |
US7331671B2 (en) * | 2004-03-29 | 2008-02-19 | Delphi Technologies, Inc. | Eye tracking method based on correlation and detected eye movement |
WO2014089542A1 (en) * | 2012-12-06 | 2014-06-12 | Eyefluence, Inc. | Eye tracking wearable devices and methods for use |
GB201305726D0 (en) * | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
US10379609B2 (en) * | 2013-05-22 | 2019-08-13 | National University Corporation Kobe University | Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program |
US20140375541A1 (en) * | 2013-06-25 | 2014-12-25 | David Nister | Eye tracking via depth camera |
US9086582B1 (en) * | 2014-08-20 | 2015-07-21 | David Kind, Inc. | System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences |
JP2017176302A (ja) * | 2016-03-29 | 2017-10-05 | ヤンマー株式会社 | 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム |
KR101643724B1 (ko) * | 2016-04-29 | 2016-07-29 | 세종대학교산학협력단 | 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치 |
EP3249497A1 (en) * | 2016-05-24 | 2017-11-29 | Harman Becker Automotive Systems GmbH | Eye tracking |
US20180024631A1 (en) * | 2016-07-21 | 2018-01-25 | Aivia, Inc. | Interactive Display System with Eye Tracking to Display Content According to Subject's Interest |
US11032457B2 (en) * | 2016-08-15 | 2021-06-08 | The Regents Of The University Of California | Bio-sensing and eye-tracking system |
CN108229293A (zh) * | 2017-08-09 | 2018-06-29 | 北京市商汤科技开发有限公司 | 人脸图像处理方法、装置和电子设备 |
US10558895B2 (en) * | 2018-03-30 | 2020-02-11 | Tobii Ab | Deep learning for three dimensional (3D) gaze prediction |
-
2018
- 2018-12-12 TW TW107144750A patent/TWI699671B/zh active
-
2019
- 2019-02-21 CN CN201910132835.5A patent/CN111309138B/zh active Active
- 2019-03-11 US US16/298,985 patent/US11042216B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216180A (ja) * | 2011-03-30 | 2012-11-08 | Advanced Telecommunication Research Institute International | 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200192471A1 (en) | 2020-06-18 |
CN111309138A (zh) | 2020-06-19 |
TW202022559A (zh) | 2020-06-16 |
TWI699671B (zh) | 2020-07-21 |
US11042216B2 (en) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Itoh et al. | Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization | |
CN106056562B (zh) | 一种人脸图像处理方法、装置及电子设备 | |
US8401251B2 (en) | Face pose estimation device, face pose estimation method and face pose estimation program | |
CN104978548A (zh) | 一种基于三维主动形状模型的视线估计方法与装置 | |
US10565691B2 (en) | Method of multi-view deblurring for 3D shape reconstruction, recording medium and device for performing the method | |
US20080278487A1 (en) | Method and Device for Three-Dimensional Rendering | |
CN108919958A (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
EP2795905B1 (en) | Video processing apparatus and method for detecting a temporal synchronization mismatch | |
CN111696140B (zh) | 基于单目的三维手势追踪方法 | |
US9454226B2 (en) | Apparatus and method for tracking gaze of glasses wearer | |
Gurbuz et al. | Model free head pose estimation using stereovision | |
US20100302394A1 (en) | Blinked eye artifact removal for a digital imaging device | |
CN110378183B (zh) | 图像解析装置、图像解析方法及记录介质 | |
CN111488779B (zh) | 视频图像超分辨率重建方法、装置、服务器及存储介质 | |
CN113255429B (zh) | 一种视频中人体姿态估计与跟踪方法及系统 | |
CN111309138B (zh) | 降低眼球追踪运算的方法和其眼动追踪装置 | |
CN111240464B (zh) | 眼球追踪的校正方法和其装置 | |
CN109785364B (zh) | 机动车辆使用者运动轨迹捕捉方法 | |
CN108919957A (zh) | 一种图像传输方法、装置、终端设备及存储介质 | |
MinYen et al. | A study on estimating the accurate head IMU motion from Video | |
JP2018149234A (ja) | 注視点推定システム、注視点推定方法及び注視点推定プログラム | |
US20240029283A1 (en) | Image depth prediction method, electronic device, and non-transitory storage medium | |
US20220405957A1 (en) | Computer Vision Systems and Methods for Time-Aware Needle Tip Localization in 2D Ultrasound Images | |
JP7183005B2 (ja) | 肌解析方法及び肌解析システム | |
CN116704406A (zh) | 基于视线焦点的运球抢断行为检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |