CN111309138A - 降低眼球追踪运算的方法和其眼动追踪装置 - Google Patents

降低眼球追踪运算的方法和其眼动追踪装置 Download PDF

Info

Publication number
CN111309138A
CN111309138A CN201910132835.5A CN201910132835A CN111309138A CN 111309138 A CN111309138 A CN 111309138A CN 201910132835 A CN201910132835 A CN 201910132835A CN 111309138 A CN111309138 A CN 111309138A
Authority
CN
China
Prior art keywords
frame
eye
scene
eyeball
subframe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910132835.5A
Other languages
English (en)
Other versions
CN111309138B (zh
Inventor
简韶逸
林裕盛
吴思仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111309138A publication Critical patent/CN111309138A/zh
Application granted granted Critical
Publication of CN111309138B publication Critical patent/CN111309138B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

一种降低眼球追踪运算的方法及其眼球追踪装置，其中，所述方法包括：撷取包括眼球影像的第一眼球帧和场景帧；对第一眼球帧和场景帧分别执行目标检测以分别取得第一眼球帧的第一子帧和场景帧的第二子帧；运算第一子帧和第二子帧中的至少一个，以得到眼球估计位置。本发明通过利用摄像撷取帧的眼球或场景的部分帧来推估眼球移动的下个位置，如此可减少整个系统的运算和耗电。

Description

降低眼球追踪运算的方法和其眼动追踪装置
技术领域
本发明涉及一种眼球追踪的运算方法及其装置，特别是涉及一种降低眼球追踪运算的方法及其装置。
背景技术
眼动技术是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。眼动仪是一种能够获取这两个信息的一种设备，这个获取步骤就是眼球追踪运算。目前眼动追踪有多种方法，包括：非侵入方式，例如通过视频拍摄设备来获取眼睛的位置；侵入方式，例如在眼睛中埋置眼动测定线圈或者使用微电极描记眼动电图。另，一般眼动仪会包括视线追踪模块以执行对眼球运动的追踪，以非侵入方式追踪的视线追踪模块通常配备眼摄像装置(eye camera)和场景摄像装置(scene camera)。眼摄像装置是撷取配戴者的眼球影像，场景摄像装置则是撷取配戴者所视的场景影像。
由于眼动仪通常是放置于眼睛周围，故一般视线追踪模块应具备低功耗、小面积、低延迟等特性以符合要求。
发明内容
本发明提供一种针对省电需求设计的降低眼球追踪运算的方法及其装置，采用部分帧减少眼球追踪的运算量，进而达到减少功耗而省电的目的。
本发明提供一种针对省电需求设计的降低眼球追踪运算的方法及其装置，部分帧的数据可由眼摄像装置或场景摄像装置或上述二者提取得到，进而达到减少功耗而省电的目的。
依据上述，一种降低眼球追踪运算的方法，包括:撷取包括眼球影像的第一眼球帧和场景帧；对该第一眼球帧和该场景帧分别执行目标检测(object detection)以分别取得该第一眼球帧的第一子帧和该场景帧的第二子帧；运算该第一子帧和该第二子帧中的至少一个，以得到眼球估计位置。
在一实施例中，降低眼球追踪运算的方法包括依据该眼球估计位置撷取包括该眼球影像的第二眼球帧。
在一实施例中，该第一子帧的数据量少于该第一眼球帧的数据量，且该第二子帧的数据量少于该场景帧的数据量。
在一实施例中，对该第一眼球帧和该场景帧分别执行目标检测的步骤是包括以感兴趣区域(region of interest,ROI)方式提取出该第一子帧和该第二子帧中的至少一个。
在一实施例中，运算该第一子帧和该第二子帧中的至少一个的步骤是利用反向投影矩阵运算得到该眼球估计位置。
在一实施例中，运算该第一子帧和该第二子帧中的至少一个的步骤是利用近似运算得到该眼球估计位置。
在一实施例中，该第一子帧包括该眼球影像。
在一实施例中，该场景帧包括重点区域影像且该第二子帧包括该重点区域影像。
依据上述，一种应用上述降低眼球追踪运算的方法的眼动追踪装置，包括撷取该第一眼球帧的眼摄像装置及撷取该场景帧的场景摄像装置。
依据上述，一种应用上述降低眼球追踪运算的方法的眼动追踪装置，包括撷取该第一眼球帧和该第二眼球帧的眼摄像装置及撷取该场景帧的场景摄像装置。
本发明实施例的降低眼球追踪运算的方法及其装置，通过撷取眼球影像的部分眼球帧和部分场景帧来推估出眼球移动的下个位置，进而降低了眼球追踪的运算量，达到了较少功耗而省电的目的。
附图说明
图1为本发明降低眼球追踪运算的方法实施例的流程示意图；
图2为本发明应用降低眼球追踪运算的方法的眼动追踪装置和其应用环境方位的立体示意图；
图3为本发明眼动追踪装置实施例运算第一眼球帧画面示意图；
图4为本发明眼动追踪装置实施例运算场景帧画面示意图；
图5为本发明眼动追踪装置实施例得到的第二眼球帧画面示意图。
【符号说明】
2、4、6、8：步骤
5：眼睛
7：场景
13：第一眼球帧
15：场景帧
20：眼动追踪装置
22：眼摄像装置
24：场景摄像装置
31：眼球影像
33：脸部影像
35：第一子帧
51：重点区域影像
53：影像
55：第二子帧
57：第二眼球帧
58：眼球估计位置的影像
具体实施方式
以下将详述本案的各实施例，并配合图式作为例示。除了这些详细描述之外，本发明还可以广泛地实行在其他的实施例中，任何所述实施例的轻易替代、修改、等效变化都包含在本案的范围内，并以权利要求为准。在说明书的描述中，为了使读者对本发明有较完整的了解，提供了许多特定细节；然而，本发明可能在省略部分或全部这些特定细节的前提下，仍可实施。此外，众所周知的程序步骤或组件并未描述于细节中，以避免造成本发明不必要的限制。
图1为本发明的降低眼球追踪运算的方法实施例的流程示意图。图2为本发明应用降低眼球追踪运算的方法的眼动追踪装置和其应用环境方位的立体示意图。图3为本发明眼动追踪装置实施例运算第一眼球帧画面示意图。图4为本发明眼动追踪装置实施例运算场景帧画面示意图。图5为本发明眼动追踪装置实施例得到的第二眼球帧画面示意图。请参考图1、图2、图3、图4和图5，本发明的降低眼球追踪运算的方法，由配备有眼摄像装置22和场景摄像装置24的眼动追踪装置20执行。首先，眼摄像装置22和场景摄像装置24分别撷取第一眼球帧13(first eyeball frame)和场景帧15(scene frame)(步骤2)。
一般而言，眼动追踪装置20配戴于配戴者的眼睛5前方，眼摄像装置22和配戴者的眼睛之间存在一距离，眼摄像装置22摄像时撷取到的第一眼球帧13包括配戴者的眼球影像31和眼球影像31周遭的脸部影像33。对于运算眼球追踪而言，第一眼球帧13中的脸部影像33的数据是多余的，只有眼球影像31的数据才有意义。另一方面，场景摄像装置24是撷取配戴者前方的场景7影像，其所撷取到的场景帧15通常包括配戴者感兴趣的重点区域影像51和配戴者相对较不感兴趣的影像53。重点区域影像51所出现的位置大多是配戴者关注之处，因此，配戴者的视线移动和重点区域影像51是息息相关的。相较之下，配戴者对于较不感兴趣的影像53并不关注，配戴者的后续视线移动与此则较无关联。
是以，减少帧的数据运算量将有助于降低眼动追踪装置20的运算时间和耗电。参考图1、图2、图3、图4和图5，本发明的降低眼球追踪运算的方法对第一眼球帧13和场景帧15分别执行目标检测(object detection)以分别取得第一眼球帧13的第一子帧35和场景帧15的第二子帧55(步骤4)。在此实施例中，第一子帧35的数据量少于第一眼球帧13的数据量，但必包括眼球影像31。其次，第二子帧55的数据量少于场景帧15的数据量，但必包括重点区域影像51。又，执行目标检测的方法，举例但不限于此，例如以感兴趣区域(region ofinterest,ROI)方式、分别自第一眼球帧13和场景帧15提取出第一子帧35和第二子帧55。
参考图1、图2、图3、图4和图5，本案的第一子帧35和第二子帧55可各自单独地或组合地被运算以得到眼球估计位置(步骤6)。以单独运算第一子帧35来说，是利用前一帧眼睛的二维/三维近似推估为现在帧(第二眼球帧)眼睛所在的位置，舍弃掉前一帧(第一子帧35)中非眼睛影像的脸部影像33，数据量的降低有助于推估现在帧眼睛所在的位置的运算时间，同时降低运算耗电量。其次，以单独运算第二子帧55来说，重点区域影像51通常是配戴者感兴趣的位置，即是配戴者的眼睛可能注视的方向，故将包括重点区域影像51的第二子帧55利用适当的反向运算，例如反向投影矩阵的运算，可以推估配戴者的眼球在相对于眼摄像装置22的哪个位置。又，若同时依据第一子帧35和第二子帧55的运算来得到眼球估计位置，可得到更精确和精准的结果，同时达到降低运算耗电量的目的。之后，眼摄像装置22可依据上述眼球估计位置撷取包括眼球影像的第二眼球帧(步骤8)。此时，此第二眼球帧57，例如近似第一子帧35的范围，必包括眼球估计位置的影像58，第二眼球帧的数据量可以等于或少于第一眼球帧13。
虽然本发明已以实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当以权利要求所界定的范围为准。

Claims (10)

1.一种降低眼球追踪运算的方法，其特征在于，包括:
撷取包括眼球影像的第一眼球帧和场景帧；
对所述第一眼球帧和所述场景帧分别执行目标检测以分别取得所述第一眼球帧的第一子帧和所述场景帧的第二子帧；
运算所述第一子帧和所述第二子帧中的至少一个，以得到眼球估计位置。
2.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，还包括根据所述眼球估计位置撷取包括所述眼球影像的第二眼球帧。
3.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，所述第一子帧的数据量少于所述第一眼球帧的数据量，且所述第二子帧的数据量少于所述场景帧的数据量。
4.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，对所述第一眼球帧和所述场景帧分别执行目标检测的步骤是包括以感兴趣区域方式提取出所述第一子帧和所述第二子帧中的至少一个。
5.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，运算所述第一子帧和所述第二子帧中的至少一个的步骤是利用反向投影矩阵运算得到所述眼球估计位置。
6.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，运算所述第一子帧和所述第二子帧中的至少一个的步骤是利用近似运算得到所述眼球估计位置。
7.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，所述第一子帧包括所述眼球影像。
8.根据权利要求1所述的降低眼球追踪运算的方法，其特征在于，所述场景帧包括重点区域影像且所述第二子帧包括所述重点区域影像。
9.一种应用权利要求1所述的降低眼球追踪运算的方法的眼动追踪装置，包括撷取所述第一眼球帧的眼摄像装置及撷取所述场景帧的场景摄像装置。
10.一种应用权利要求2所述的降低眼球追踪运算的方法的眼动追踪装置，包括撷取所述第一眼球帧和所述第二眼球帧的眼摄像装置及撷取所述场景帧的场景摄像装置。
CN201910132835.5A 2018-12-12 2019-02-21 降低眼球追踪运算的方法和其眼动追踪装置 Active CN111309138B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107144750A TWI699671B (zh) 2018-12-12 2018-12-12 減低眼球追蹤運算的方法和其眼動追蹤裝置
TW107144750 2018-12-12

Publications (2)

Publication Number Publication Date
CN111309138A true CN111309138A (zh) 2020-06-19
CN111309138B CN111309138B (zh) 2023-05-30

Family

ID=71071126

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910132835.5A Active CN111309138B (zh) 2018-12-12 2019-02-21 降低眼球追踪运算的方法和其眼动追踪装置

Country Status (3)

Country Link
US (1) US11042216B2 (zh)
CN (1) CN111309138B (zh)
TW (1) TWI699671B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US20160086338A1 (en) * 2013-05-22 2016-03-24 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
KR20160057360A (ko) * 2016-04-29 2016-05-23 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
JP2017176302A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
WO2018035160A1 (en) * 2016-08-15 2018-02-22 The Regents Of The University Of California Bio-sensing and eye-tracking system
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI261785B (en) * 2004-02-19 2006-09-11 Chung Shan Inst Of Science Eye ball tracking method
US7331671B2 (en) * 2004-03-29 2008-02-19 Delphi Technologies, Inc. Eye tracking method based on correlation and detected eye movement
WO2014089542A1 (en) * 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
GB201305726D0 (en) * 2013-03-28 2013-05-15 Eye Tracking Analysts Ltd A method for calibration free eye tracking
US20140375541A1 (en) * 2013-06-25 2014-12-25 David Nister Eye tracking via depth camera
US9086582B1 (en) * 2014-08-20 2015-07-21 David Kind, Inc. System and method of providing custom-fitted and styled eyewear based on user-provided images and preferences
EP3249497A1 (en) * 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US20180024631A1 (en) * 2016-07-21 2018-01-25 Aivia, Inc. Interactive Display System with Eye Tracking to Display Content According to Subject's Interest
US10558895B2 (en) * 2018-03-30 2020-02-11 Tobii Ab Deep learning for three dimensional (3D) gaze prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012216180A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 視線方向の推定装置、視線方向の推定方法およびコンピュータに当該視線方向の推定方法を実行させるためのプログラム
US20160086338A1 (en) * 2013-05-22 2016-03-24 National University Corporation Kobe University Line-of-sight measurement device, line-of-sight measurement method and line-of-sight measurement program
JP2017176302A (ja) * 2016-03-29 2017-10-05 ヤンマー株式会社 眼球運動計測装置、眼球運動計測方法および眼球運動計測プログラム
KR20160057360A (ko) * 2016-04-29 2016-05-23 세종대학교산학협력단 안구 위치 식별 방법 및 그 장치, 안구 위치 추적 방법 및 그 장치
WO2018035160A1 (en) * 2016-08-15 2018-02-22 The Regents Of The University Of California Bio-sensing and eye-tracking system
CN108229293A (zh) * 2017-08-09 2018-06-29 北京市商汤科技开发有限公司 人脸图像处理方法、装置和电子设备

Also Published As

Publication number Publication date
US20200192471A1 (en) 2020-06-18
TW202022559A (zh) 2020-06-16
TWI699671B (zh) 2020-07-21
CN111309138B (zh) 2023-05-30
US11042216B2 (en) 2021-06-22

Similar Documents

Publication Publication Date Title
US9196093B2 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
EP1335322A2 (en) Method of determining body motion from captured image data
US10565691B2 (en) Method of multi-view deblurring for 3D shape reconstruction, recording medium and device for performing the method
CN108919958A (zh) 一种图像传输方法、装置、终端设备及存储介质
US9454226B2 (en) Apparatus and method for tracking gaze of glasses wearer
EP3425591B1 (en) System and method for tracking body joints
Gurbuz et al. Model free head pose estimation using stereovision
CN111539992A (zh) 图像处理方法、装置、电子设备和存储介质
Kinsman et al. Ego-motion compensation improves fixation detection in wearable eye tracking
EP2887310A1 (en) Method and apparatus for processing light-field image
CN110378183B (zh) 图像解析装置、图像解析方法及记录介质
CN114356072A (zh) 用于检测可穿戴设备的空间取向的系统和方法
CN111309138B (zh) 降低眼球追踪运算的方法和其眼动追踪装置
JP2006215743A (ja) 画像処理装置及び画像処理方法
CN111240464B (zh) 眼球追踪的校正方法和其装置
CN105913395B (zh) 一种运动目标观测及模糊复原方法
JP2018149234A (ja) 注視点推定システム、注視点推定方法及び注視点推定プログラム
CN103927757B (zh) 基于分级采样的目标物体立体视觉三维分析处理方法
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
CN109785364B (zh) 机动车辆使用者运动轨迹捕捉方法
CN111435535A (zh) 一种关节点信息的获取方法及装置
CN108919957A (zh) 一种图像传输方法、装置、终端设备及存储介质
EP4303831A1 (en) Verification program, verification method, and information processing apparatus
KR101268539B1 (ko) 영역 검출 방법 및 이를 적용한 영역 검출 장치
KR101544022B1 (ko) 자세 추적 방법 및 자세 추적 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant