CN111240464B - 眼球追踪的校正方法和其装置 - Google Patents

眼球追踪的校正方法和其装置 Download PDF

Info

Publication number
CN111240464B
CN111240464B CN201910130674.6A CN201910130674A CN111240464B CN 111240464 B CN111240464 B CN 111240464B CN 201910130674 A CN201910130674 A CN 201910130674A CN 111240464 B CN111240464 B CN 111240464B
Authority
CN
China
Prior art keywords
scene
frame
eye
feature information
eye tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910130674.6A
Other languages
English (en)
Other versions
CN111240464A (zh
Inventor
简韶逸
张嘉洋
吴思仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN111240464A publication Critical patent/CN111240464A/zh
Application granted granted Critical
Publication of CN111240464B publication Critical patent/CN111240464B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种眼球追踪的校正方法及其装置，提供非预先设计好的校正用途的场景帧并分析此场景帧以取得该场景帧的显著特征信息，利用该显著特征信息来进行眼球追踪运算的校正，可应用于起始校正或配戴眼球追踪装置时的动态校正。

Description

眼球追踪的校正方法和其装置
技术领域
本发明是关于一种眼球追踪的运算方法及其装置，尤其是关于一种眼球追踪的校正方法及其装置。
背景技术
眼动技术是指通过测量眼睛的注视点的位置或者眼球相对头部的运动而实现对眼球运动的追踪。一般眼动仪会包括视线追踪模块以执行对眼球运动的追踪，以非侵入方式追踪的视线追踪模块通常配备眼摄像装置(eye camera)和场景摄像装置(scenecamera)。眼摄像装置是撷取配戴者的眼球影像，场景摄像装置则是撷取配戴者所视的场景影像，其中，因为避免挡住用户的视线，故眼摄像装置和眼球位置不能完全对应，因而导致误差的产生，从而衍生校正的需求。
中国台湾专利号I617948揭露一种用于眼部追踪的校正模块，其包含的图像生成器在校正路径上显示供用户注视的光标动画，光标动画上的光标沿着该校正路径移动，并连续通过摄像装置撷取用户的眼部影像以记录用户的多个眼部注视方向后取得使用者的眼部注视方向组成的校正信息坐标序列来进行校正。此种技术是应用于免头戴式眼部追踪技术，而一般穿戴式眼球追踪技术的校正则是通过预先设计好的标记来进行校正，或是利用眼球的三维信息来进行校正。
发明内容
本发明提供一种眼球追踪的校正方法及其装置，应用于穿戴式装置的初次配戴的起始校正或配戴中的动态校正，以消除眼摄像装置和眼球位置的偏置关系所产生的误差。
本发明提供一种眼球追踪的校正方法及其装置，利用非预先设计的图像或标记来校正眼摄像装置和眼球位置的偏置关系所产生的误差。
依据上述，一种眼球追踪的校正方法，包括:提供场景帧；分析该场景帧以取得该场景帧的显著特征信息；及依据该显著特征信息来校正眼球追踪运算。
一实施例中，该场景帧由场景摄像装置撷取以及由计算机的影像信息二者至少之一提供。
一实施例中，分析该场景帧的步骤包括以感兴趣区域(region of interest,ROI)方式或显著影像侦测方式取得该显著特征信息。
一实施例中，校正该眼球追踪运算的步骤更包括接收眼球帧并依据该眼球帧和该显著特征信息来进行校正。
依据上述，一种执行上述的眼球追踪的校正方法的校正模块，包括接收该场景帧和输出该显著特征信息的侦测单元以及运算来自该侦测单元的该显著特征信息的运算单元。
一实施例中，侦测模块以感兴趣区域方式或显著影像侦测方式取得该显著特征信息。
一实施例中，该运算单元更包括接收眼球帧并依据该眼球帧和该显著特征信息以输出校正数据。
依据上述，一种包括上述的校正模块的眼动追踪芯片，包括眼球追踪模块依据该显著特征信息来校正该眼球追踪运算。
附图说明
图1为本发明的眼球追踪的校正方法应用的穿戴式装置的立体示意图。
图2为本发明的眼球追踪的校正方法实施例的流程示意图。
图3为本发明的眼球追踪的校正方法实施例的显著特征信息的示意图。
图4为本发明的眼球追踪的校正方法实施例的应用模块的方框示意图。
【主要元件符号说明】
5眼睛 2、4、6：步骤
10：场景帧 12：车辆
14：火灾现场 20：眼动追踪装置
22：眼摄像装置 24：场景摄像装置
30：显著影像图 32：车辆显著影像
34：火灾现场显著影像 42：侦测单元
44：运算单元 45：影像信息
47：校正数据 48：眼球追踪模块
具体实施方式
图1为本发明的眼球追踪的校正方法应用的穿戴式装置的立体示意图。穿戴式装置配备有眼摄像装置22和场景摄像装置24，为眼动追踪装置20。一般而言，眼动追踪装置20配戴于配戴者的眼睛5前方，眼摄像装置22和配戴者的眼睛之间存在距离，眼摄像装置22撷取眼球帧。场景摄像装置24是撷取配戴者前方的场景影像作为场景帧。要说明的是，本实施例虽以自然场景做说明，也可以是在虚拟现实和扩增实境的系统上，本案不以此为限。
图2为本发明的眼球追踪的校正方法实施例的流程示意图。请参考图2，本发明的眼球追踪的校正方法，首先，提供场景帧(步骤2)。在本发明中，此场景帧是指使用者的眼睛所看到的画面，例如实际存在的自然场景；而在虚拟现实(Visual Reality,VR)系统中，眼睛所看到的画面是计算机静态绘图或动态视频之一，通常由计算机控制投影或输出的影像视频以供用户观看；而在扩增实境(Augmented Reality,AR)系统中，眼睛所看到的画面则是指自然场景，如图1中所示，通常由场景摄像装置24撷取用户视野(field of view,FOV)范围内的场景，其可以包含固定或移动中的实际物体或结合虚拟的物体，要说明的是，此处的场景帧并非被刻意设计为校正用途的标记，例如十字标记等。
图3为本发明的眼球追踪的校正方法实施例的显著特征信息的示意图。参考图1、图2和图3，接着，分析该场景帧以取得该场景帧的显著特征信息(步骤4)。在本发明中，分析该场景帧可以通过对象侦测的方法，举例但不限地，例如以感兴趣区域(region ofinterest,ROI)方式或是显著影像侦测(salient object detection)方式，取得有关该场景帧的显著特征信息。感兴趣区域(ROI)方式或是显著影像侦测方式所得到的显著特征信息通常是用户感兴趣的对象或位置，一般也是用户的眼球会追踪的位置，此信息在本发明中是用来作为校正误差的资料。举例来说，使用者目睹一车辆12行经一火灾现场14的附近，则场景摄像装置24撷取到的场景帧10则可以包含车辆12和火灾现场14及其他背景。而通过显著影像侦测方式取得显著影像图30(saliency map)则包括车辆显著影像32和火灾现场显著影像34。
续参考图1、图2和图3，之后，依据该场景帧的显著特征信息来校正眼球追踪运算(步骤6)。在本发明中，场景帧的显著特征信息:显著影像图30的车辆显著影像32和火灾现场显著影像34用来做为眼球追踪的误差分析的全部校正数据，其可单独作为校正数据来对眼球追踪演算进行校正。举例来说，当使用者久未使用具有眼球追踪的穿戴装置一段时间后或初次戴上应用本发明的校正方法的装置后，装置可在没有校正处理的前提下，直接应用上述本案的方法取得的场景帧10的显著特征信息来校正眼球追踪运算。可以选择的，其他利用眼摄像装置22撷取影像帧以进行过校正的情形下，本案的场景帧10的显著特征信息可和该已经进行过的校正数据合并一起做为误差分析所需的校正数据，进而校正眼球追踪运算。是以，当使用者持续配戴具有眼球追踪的穿戴装置时，本案可通过场景摄像装置24随时动态持续撷取的场景帧10，即，使用者的眼球注视的画面，搭配眼摄像装置撷取的眼睛影像来重新或动态地校正。
是以，一般眼球追踪使用预先设计好的图像，此预先设计好的图像是为校正刻意设计的图像。相较于此种预先设计好的图像，本发明采用场景摄像装置(scene camera)所撷取的场景帧为依据，利用侦测方法取得用户感兴趣的区域或对象的显著影像信息，并将此些显著影像信息做为误差分析的依据，进而作为校正眼球追踪的全部或一部分数据，如此的方式无须预先储存一专门为了校正的图像。另一方面，由于本发明的校正方法采用场景摄像装置所撷取的场景帧的显著影像数据，故可于用户配戴使用的期间进行动态校正，使得用户在配戴期间的眼球追踪演算的准确性可持续地改善和优化，无须等到脱下后重新配戴时再重新校正。
图4为本发明的眼球追踪的校正方法实施例的应用模块的方框示意图。参考图1、图3和图4，应用上述实施例的模块可被编入芯片中以软硬件实现，主要包括侦测单元42和运算单元44。侦测单元42接收场景帧10，通过对象侦测的方法分析场景帧10后得到并输出显著影像图30(显著影像信息)给运算单元44，其中场景帧10可以是来自场景摄像装置所撷取的，或是由计算机提供的影像信息结合场景摄像装置所撷取的，或是仅由计算机所提供的影像信息。运算单元44依据显著影像信息或更结合来自眼摄像装置22的影像信息45以进行误差分析后得到校正数据47。运算单元44的校正数据47可被送至眼球追踪模块48进行校正眼球追踪的运算。可以理解的，应用本案的校正方法的模块亦可整合于眼球追踪模块中，或是和眼球追踪模块一起整合于芯片中。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (5)

1.一种穿戴式装置的眼球追踪的校正方法，其特征在于，包括:
接收由眼摄像装置撷取的眼球帧；
提供由场景摄像装置撷取的场景帧；
分析该场景帧以取得该场景帧的显著特征信息，其中以感兴趣区域方式或显著影像侦测方式取得该显著特征信息；及
如果该穿戴式装置不曾被校正，依据该显著特征信息来校正眼球追踪运算；
如果该穿戴式装置曾经被校正，依据该显著特征信息以及该眼球帧来校正眼球追踪运算。
2.如权利要求1所述的校正方法，其特征在于，其中，该场景帧由该场景摄像装置撷取自然场景来提供。
3.如权利要求1所述的校正方法，其特征在于，其中，该场景帧由该场景摄像装置撷取计算机的影像信息来提供。
4.一种执行权利要求1所述的校正方法的校正模块，其特征在于，该校正模块被编入芯片中并包括侦测单元以及运算单元，该侦测单元接收该场景帧和输出该显著特征信息，该侦测单元以感兴趣区域方式或显著影像侦测方式取得该显著特征信息，如果该穿戴式装置不曾被校正，该运算单元运算来自该侦测单元的该显著特征信息以输出校正数据；如果该穿戴式装置曾经被校正，该运算单元接收该眼球帧并依据该眼球帧和该显著特征信息以输出校正数据。
5.一种眼动追踪芯片，其特征在于，包括权利要求4所述的校正模块。
CN201910130674.6A 2018-11-28 2019-02-21 眼球追踪的校正方法和其装置 Active CN111240464B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107142362 2018-11-28
TW107142362A TWI674518B (zh) 2018-11-28 2018-11-28 眼球追蹤的校正方法和其裝置

Publications (2)

Publication Number Publication Date
CN111240464A CN111240464A (zh) 2020-06-05
CN111240464B true CN111240464B (zh) 2023-05-30

Family

ID=69023795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910130674.6A Active CN111240464B (zh) 2018-11-28 2019-02-21 眼球追踪的校正方法和其装置

Country Status (3)

Country Link
US (1) US10915169B2 (zh)
CN (1) CN111240464B (zh)
TW (1) TWI674518B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652155A (zh) * 2020-06-04 2020-09-11 北京航空航天大学 一种人体运动意图的识别方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
CN101382941A (zh) * 2008-10-23 2009-03-11 浙江大学 基于眼球跟踪的网络视频个性化搜索方法
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
JP2004023734A (ja) * 2002-06-20 2004-01-22 Canon Inc 画像撮影装置および方法
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
TWI398796B (zh) * 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
CN101872237B (zh) * 2009-04-23 2012-04-18 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
WO2011148366A1 (en) * 2010-05-26 2011-12-01 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
CN102012742A (zh) * 2010-11-24 2011-04-13 广东威创视讯科技股份有限公司 一种眼睛鼠标的校正方法及其装置
US8514295B2 (en) * 2010-12-17 2013-08-20 Qualcomm Incorporated Augmented reality processing based on eye capture in handheld device
KR102056221B1 (ko) * 2013-07-12 2019-12-16 삼성전자주식회사 시선인식을 이용한 장치 연결 방법 및 장치
CN104331150B (zh) * 2014-10-07 2018-03-06 张锋知 基于眼球追踪的银行员工业务辅助的方法和系统
EP3440831B1 (en) * 2016-04-07 2020-11-18 Tobii AB Mage sensor for computer vision based human computer interaction
WO2018076202A1 (zh) * 2016-10-26 2018-05-03 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN107991775B (zh) * 2016-10-26 2020-06-05 中国科学院深圳先进技术研究院 能够进行人眼追踪的头戴式可视设备及人眼追踪方法
CN108958473B (zh) * 2017-05-22 2020-08-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体
CN107403353A (zh) * 2017-06-22 2017-11-28 非常云智慧科技（常州）有限公司 一种基于增强现实的比价信息获取方法及装置
CN107656613B (zh) * 2017-09-08 2020-12-18 国网智能科技股份有限公司 一种基于眼动追踪的人机交互系统及其工作方法
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
US20190324528A1 (en) * 2018-04-20 2019-10-24 Microsoft Technology Licensing, Llc Adjusting gaze point based on determined offset adjustment
TWI637289B (zh) * 2018-05-18 2018-10-01 緯創資通股份有限公司 基於眼球追蹤的顯示控制系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005323905A (ja) * 2004-05-17 2005-11-24 Nippon Hoso Kyokai <Nhk> 眼球運動測定装置、及び眼球運動測定プログラム
CN101382941A (zh) * 2008-10-23 2009-03-11 浙江大学 基于眼球跟踪的网络视频个性化搜索方法
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体

Also Published As

Publication number Publication date
TWI674518B (zh) 2019-10-11
TW202020627A (zh) 2020-06-01
US20200167957A1 (en) 2020-05-28
CN111240464A (zh) 2020-06-05
US10915169B2 (en) 2021-02-09

Similar Documents

Publication Publication Date Title
JP7136875B2 (ja) 眼の特徴を用いる眼ポーズ識別
US7736000B2 (en) Method and apparatus for tracking eye movement
US9196093B2 (en) Information presentation device, digital camera, head mount display, projector, information presentation method and non-transitory computer readable medium
US10373334B2 (en) Computer program, object tracking method, and object tracking device
US7808524B2 (en) Vision-based augmented reality system using invisible marker
JP6454851B2 (ja) ３次元上の注視点の位置特定アルゴリズム
US10678325B2 (en) Apparatus, system, and method for accelerating positional tracking of head-mounted displays
CN111488775B (zh) 注视度判断装置及方法
CN105404395B (zh) 基于增强现实技术的舞台表演辅助训练方法及系统
CN110651467B (zh) 基于非视觉姿势数据的深度数据调整
US11749141B2 (en) Information processing apparatus, information processing method, and recording medium
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
CN111240464B (zh) 眼球追踪的校正方法和其装置
US20230047470A1 (en) Information processing apparatus, information processing method, and computer-readable recording medium
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
US11030732B2 (en) Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures
JP2004233201A (ja) 位置姿勢計測方法
JP2015201734A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
CN111309138B (zh) 降低眼球追踪运算的方法和其眼动追踪装置
US20240013688A1 (en) Image processing apparatus, display apparatus, image processing method, and storage medium
JP7323234B2 (ja) ガイド方法
JP2023178798A (ja) 情報処理装置、コントローラ表示方法およびコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant