CN111399633A - 针对眼球追踪应用的校正方法 - Google Patents

针对眼球追踪应用的校正方法 Download PDF

Info

Publication number
CN111399633A
CN111399633A CN201910913194.7A CN201910913194A CN111399633A CN 111399633 A CN111399633 A CN 111399633A CN 201910913194 A CN201910913194 A CN 201910913194A CN 111399633 A CN111399633 A CN 111399633A
Authority
CN
China
Prior art keywords
user
screen
mark point
head
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910913194.7A
Other languages
English (en)
Other versions
CN111399633B (zh
Inventor
刘冠麟
方亮
邱柏榕
吴奕亨
戴铭亿
陈贻祥
张家铭
简韶逸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jianzhen Technology Co ltd
Original Assignee
Jianzhen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW108131528A external-priority patent/TWI710250B/zh
Application filed by Jianzhen Technology Co ltd filed Critical Jianzhen Technology Co ltd
Publication of CN111399633A publication Critical patent/CN111399633A/zh
Application granted granted Critical
Publication of CN111399633B publication Critical patent/CN111399633B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

在针对眼球追踪应用的校正程序中，首先在屏幕上显示一校正标记点，并指示用户盯住校正标记点。接着在屏幕上显示一动态影像，并指示用户在盯住校正标记点的情况下，依据动态影像的指示来移动该用户的头部或移动屏幕。在用户移动头部或转动屏幕的期间记录用户的眼动信息，进而依据用户的眼动信息来对眼球追踪应用进行校正。

Description

针对眼球追踪应用的校正方法
【技术领域】
本发明相关于一种针对眼球追踪应用的校正方法，尤指一种针对眼球追踪应用的高准确度校正方法。
【背景技术】
虚拟现实(virtual reality,VR)是利用计算机技术仿真出一个立体且高拟真的三维空间，当用户穿戴特殊显示设备执行VR应用时会产生好像处在现实中的错觉。扩增现实(augmented reality,AR)是一种将虚拟信息扩增到现实空间中的技术，相较于取代现实空间的VR，AR是在现实空间中添加虚拟对象。混和现实(mixed reality,MR)则是把现实世界与虚拟世界合并在一起，从而建立出一个新的环境以及符合一般视觉上所认知的虚拟图像，其中现实世界中的对象能够与数字世界中的对象共同存在并且实时的产生互动。
现有VR/AR/MR的应用多半是通过双手控制游戏杆或是触控面板来操作，但在不同场所需要随时携带这些控制装置，在使用上并不便利。若是将眼球追踪(eye-tracking)的技术应用在VR/AR/MR领域，用户可轻易地将眼睛变成操作接口，通过眼睛注视点、聚焦点和特定细微动作即可完成选取或点击对象的动作。在眼球追踪技术中，为了确保能准确地捕捉到用户的眼球动作，执行VR/AR/MR应用前的校正程序也相当重要。
在现有针对眼球追踪应用的校正程序中，一般会请用户依序注视环境中的多个校正点(通常为上下左右对齐的9点校正)。为了提高校正准确度，会要求用户在校正期间尽量保持头部不动。然而，在移动视线时头部很容易跟着移动，如此会让视野的广度缩小，进而影响校正准确度。有一种提高校正准确度的方式是额外使用下巴架来固定用户头部，但会增加不便。另一种提高校正准确度的方式则是设计视野够广的多个校正点，例如使用大面积的屏幕、张贴印有校正点的大海报，或是直接在VR虚空间中绘制广视角的校正点，然而此种方式仅适用于特定环境，不见得能应用在所有场合。
【发明内容】
本发明提供一种针对眼球追踪应用的校正方法，其包含在一屏幕上显示一校正标记点，并指示一用户盯住该校正标记点；提供一移动信息；指示该用户在盯住该校正标记点的情况下，依据该移动信息来移动该用户的一头部或移动该屏幕；在该用户移动该头部或移动该屏幕的期间，记录该用户的眼动信息；以及依据该用户的眼动信息来对该眼球追踪应用进行校正。
【附图说明】
图1为本发明实施例中一种眼球追踪模块的功能方块图。
图2和图3为本发明实施例眼球追踪模块实作方式的示意图。
图4为本发明一实施例中眼球追踪模块在执行校正程序时的流程图。
图5A～5F为本发明一实施例中眼球追踪模块运作时的示意图。
图6A～6F为本发明另一实施例中眼球追踪模块运作时的示意图。
图7A～7F为本发明另一实施例中眼球追踪模块运作时的示意图。
图8A～8F为本发明另一实施例中眼球追踪模块运作时的示意图。
图9为本发明另一实施例中眼球追踪模块在执行校正程序时的流程图。
图10A～10D为本发明另一实施例中眼球追踪模块运作时的示意图。
【具体实施方式】
图1为本发明实施例中一种眼球追踪模块10的功能方块图。眼球追踪模块10包含一左眼相机CAML、一右眼相机CAMR、一景物相机CAMS、一左眼照明装置LEDL、一右眼照明装置LEDR，以及一处理器12。左眼相机CAML和右眼相机CAMR分别用来记录使用户的左眼眼球动作和右眼眼球动作，而景物相机CAMS用来记录对应用户视角的影像。在光源不足的环境中，左眼照明装置LEDL和右眼照明装置LEDR可分别用来提供左眼相机CAML和右眼相机CAMR捕捉眼动信息时所需的光源；在光源适当的环境中，眼球追踪模块10可关闭左眼照明装置LEDL及/或右眼照明装置LEDR以节省耗电。处理器12可实作成小体积的低耗能系统单芯片(Systemon a Chip,SoC)，用来依据左眼相机CAML、右眼相机CAMR，和景物相机CAMS纪录下来的信息来分析用户的眼球动作。
图2和图3为本发明实施例眼球追踪模块10实作方式的示意图。眼球追踪模块10可实作成眼镜，其中左眼相机CAML的镜头和左眼照明装置LEDL的出光面以朝向用户左眼的方向来设置，右眼相机CAMR的镜头和右眼照明装置LEDR的出光面以朝向用户右眼的方向来设置，而景物相机CAMS的镜头以朝向用户视线的方向来设置。处理器12可结合在镜框的材料内，因此未显示于图2和图3中。
本发明的眼球追踪模块10可应用在包含一屏幕20的显示设备。在图2所示的实施例中，本发明眼球追踪模块10可结合在全视野的VR/AR/MR眼镜，其中屏幕20为AR/VR/MR眼镜的双眼镜片。在图2所示的实施例中，本发明眼球追踪模块10可结合在部分视野的智慧眼镜或任何眼镜型态的装置，此时屏幕20可为平板计算机、笔记本电脑、智能型手机等显示设备的屏幕。
图4为本发明一实施例中眼球追踪模块100在执行校正程序时的流程图，其包含下列步骤：
步骤410：在收到校正指令后，指示用户确认眼球追踪模块100的电源和设置状态；执行步骤420。
步骤420：指示用户调整屏幕20的显示亮度；执行步骤430。
步骤430：在屏幕20上显示一校正标记点，并指示用户盯住校正标记点；执行步骤440。
步骤440：提供相关于头部动作的移动信息；执行步骤450。
步骤450：指示用户在盯住校正标记点的情况下，依据移动信息来移动头部；执行步骤460。
步骤460在用户在移动头部的期间使用左眼相机CAML、右眼相机CAMR和景物相机CAMS来记录视觉信息；执行步骤470。
步骤470：处理器12依据用户在移动头部的期间收集到的视觉信息进行校正；执行步骤480。
步骤480：处理器12判断校正程序是否准确；若是，执行步骤480；若否，执行步骤490。
步骤490：询问用户是否要重新执行校正程序；若是，执行步骤410；若否，执行步骤500。
步骤500：结束校正程序。
针对本发明眼球追踪模块10应用在全视野AR/VR/MR眼镜的实施例，用户可在步骤410中确认眼球追踪模块100的电源是否已经开启，以及是否已经正确地戴上AR/VR/MR眼镜。针对本发明眼球追踪模块10应用在部分视野的智能眼镜或其它眼镜型态装置的实施例，用户可在步骤410中确认眼球追踪模块100的电源是否已经开启、是否已经和平板计算机、笔记本电脑，或智能型手机等显示设备建立联机，以及是否已经让双眼与显示设备的屏幕20维持在合适距离。
针对本发明眼球追踪模块10应用在全视野AR/VR/MR眼镜的实施例，用户可在步骤420中将双眼镜片的显示亮度调至合适值。针对本发明眼球追踪模块10应用在部分视野的智能眼镜或其它眼镜型态装置的实施例，用户可在步骤420中将平板计算机、笔记本电脑，或智能型手机等显示设备的屏幕20显示亮度调至合适值。
图5A～5F为本发明一实施例中眼球追踪模块10执行步骤430～450时的示意图。如图5A所示，屏幕20会在中心处显示一校正标记点50，同时显示信息M1以指示用户盯住校正标记点50。如图5B所示，屏幕20会在校正标记点50的周围显示用来识别头部动作的动态影像61以提供移动信息，同时显示信息M2以指示用户在盯住校正标记点50的情况下，依据动态影像61的指示来转动头部。如图5C～5E所示，当用户依据动态影像61的指示将头部从左方开始做顺时针旋转时，屏幕20上的动态影像61和信息M3～M5也会随的变化，以让用户知道校正程序的目前进度，且提醒用户要持续盯住校正标记点50。如图5F所示，当用户依据动态影像61的指示完成360度的旋转后，屏幕20会显示一个代表校正完成的图案70。在此实施例中，校正标记点50为一圆点，而动态影像61为包含8等分扇状区域的饼图案，其中每一扇状区域对应于用户头部45度的转动。在图5B所示的初始状态下，动态影像61中的每一扇状区域以一第一方式来呈现；当用户的头部依序转动至每一扇状区域所对应的位置后，已完成的扇状区域就会改用以一第二方式来呈现(图5C～5E)。举例来说，第一方式和第二方式可为不同颜色或不同显示效果(浓度、亮度、阴影、光晕、反射、柔边或浮凸等)。为了说明目的，在图5B～5E中以第一方式来呈现的扇状区域(对应用户头部尚未转至的角度区间)由斜线标示，而以第二方式呈现的扇状区域(对应用户头部已经转过的角度区间)则为空白，亦及在用户的视觉上会呈现以消去动态影像61的面积对应至头部转动角度范围。然而，动态影像61的呈现或变化方式并不限定本发明的范畴。
图6A～6F为本发明另一实施例中眼球追踪模块10执行步骤430～450时的示意图。如图6A所示，屏幕20会在中心处显示一校正标记点50，同时显示信息M1以指示用户盯住校正标记点50。如图6B所示，屏幕20会在校正标记点50的周围显示用来识别头部动作的动态影像62以提供移动信息，同时显示信息M2以指示用户在盯住校正标记点50的情况下，移动头部直到外围动态影像62完全被阴影覆盖。如图6C～6E所示，在用户移动头部的过程中，屏幕20上的动态影像62和信息M3～M5也会随的变化，以让用户知道校正程序的目前进度，且提醒用户要持续盯住校正标记点50。如图6F所示，当用户头部的移动范围已经覆盖对应动态影像62的足够面积之后，屏幕20上会显示一个代表校正完成的图案70。在此实施例中，校正标记点50为一圆点，而动态影像62为包含一第一区域和一第二区域的圆形，其中第一区域对应至用户头部尚未经过的范围，以一第一方式来呈现；第二区域对应至用户头部已经经过的范围，以一第二方式来呈现。随着用户的头部动作，动态影像62中第二区域的面积会逐渐增加，而第一区域的面积会逐渐降至0。举例来说，第一方式和第二方式可为不同颜色或不同显示效果(浓度、亮度、阴影、光晕、反射、柔边、浮凸等)。为了说明目的，在图6C～6E中以第一方式来呈现的第一区域(对应用户头部尚未经过的地区)为空白，而以第二方式呈现的第二区域(对应用户头部已经过的地区)则由斜线标示，亦及在用户的视觉上呈现以填满动态影像62的面积对应至头部移动范围。然而，动态影像62的呈现或变化方式并不限定本发明的范畴。
图7A～7F为本发明另一实施例中眼球追踪模块10执行步骤430～450时的示意图。如图7A所示，屏幕20会在中心处显示一校正标记点50，同时显示信息M1以指示用户盯住校正标记点50。如图7B所示，屏幕20会在校正标记点50的周围显示用来识别头部动作的动态影像63以提供移动信息，同时显示信息M2以指示用户在盯住校正标记点50的情况下，移动头部直到将外围动态影像63撞出屏幕。如图7C～7E所示，在用户移动头部的过程中，屏幕20上的动态影像63和信息M3～M5也会随的变化，以让用户知道校正程序的目前进度，且提醒用户要持续盯住校正标记点。如图6F所示，当用户头部的移动已经将外围动态影像63撞出屏幕后，屏幕20上会显示一个代表校正完成的图案70。在此实施例中，校正标记点50为一圆点，而动态影像63包含复数个泡泡圆案，其中用户头部动作尚未碰触到的泡泡以一第一方式(例如正常显示)来呈现，而用户头部动作已经碰触到的气球圆案会以一第二方式(例如消失)来呈现。随着用户的头部动作，动态影像63中泡泡的数目会逐渐减少，进而让用户得知其头部移动范围。然而，动态影像63的呈现或变化方式并不限定本发明的范畴。
图8A～8F为本发明另一实施例中眼球追踪模块10执行步骤430～450时的示意图。如图8A所示，屏幕20会在中心处显示包含校正进度信息的一校正标记点50，同时显示信息M1以指示用户盯住校正标记点50。如图8B所示，屏幕20会在校正标记点50的周围显示相关头部动作的文字66以提供移动信息，同时显示信息M2以指示用户在盯住校正标记点50的情况下，依据文字64的指示来移动头部。如图8C～8E所示，当用户依据文字66的指示将头部移向相对应的方位时，屏幕20上的校正标记点50的校正进度信息和信息M3～M5也会随的变化，以让用户知道校正程序的目前进度，且提醒用户要持续盯住校正标记点50。如图8F所示，当用户完成出现在所有位置的文字66后，屏幕20会显示一个代表校正完成的图案70。在此实施例中，校正标记点50以数字百分比的方式来呈现目前的校正进度。在其它实施例中，校正标记点50也可以通过改变形状、闪烁或改变颜色等方式来呈现目前的校正进度。然而，校正标记点50呈现目前的校正进度的方式并不限定本发明的范畴。
在图5A～5F、6A～6F、7A～7F和8A～8F所示的实施例中，显示信息M1～M5为屏幕上的文字信息。在本发明其它实施例中，眼球追踪模块10所应用的显示设备可还包含一语音产生器，其可提供相对应显示信息M1～M5内容的语音提示，使得用户能依据语音提示进行校正步骤。
图9为本发明另一实施例中眼球追踪模块100运作时的流程图，其包含下列步骤：
步骤810：在收到校正指令后，指示用户确认眼球追踪模块100的电源和设置状态；执行步骤820。
步骤820：指示用户调整屏幕20的显示亮度；执行步骤830。
步骤830：于屏幕20上显示一校正标记点，并指示用户盯住校正标记点；执行步骤840。
步骤840：提供相关于屏幕方位的移动信息；执行步骤850。
步骤850：指示用户在盯住校正标记点的情况下，随着移动信息的指示来移动屏幕20；执行步骤860。
步骤860：在用户移动屏幕20的期间使用左眼相机CAML、右眼相机CAMR和景物相机CAMS来记录视觉信息；执行步骤870。
步骤870：处理器12依据用户移动屏幕20的期间收集到的视觉信息进行校正；执行步骤880。
步骤880：处理器12判断校正程序是否准确；若是，执行步骤900；若否，执行步骤890。
步骤890：询问用户是否要重新校正；若是，执行步骤810；若否，执行步骤900。
步骤900：结束校正程序。
针对本发明眼球追踪模块10应用在部分视野的智能眼镜或其它眼镜型态装置的实施例，用户可在步骤810中确认眼球追踪模块100的电源是否已经开启、是否已经和平板计算机、笔记本电脑，或智能型手机等显示设备建立联机，以及是否已经让双眼与显示设备的屏幕20维持在合适距离。接着，用户可在步骤820中将平板计算机、笔记本电脑，或智能型手机等显示设备的屏幕20显示亮度调至合适值。
图10A～10D为本发明一实施例中眼球追踪模块10执行步骤830～850时的示意图。如图10A所示，屏幕20会在中心处显示一校正标记点50，同时显示信息M1以指示用户盯住校正标记点50。如图10B和10C所示，屏幕20会在校正标记点50的周围显示对应屏幕方位的动态影像64以提供移动信息，同时显示信息M2和M3以指示用户在盯住校正标记点50的情况下，依据动态影像64的指示来移动屏幕20。如图10D所示，当用户依据动态影像64的指示将屏幕20以逆时针和顺时针方向旋转45度后，屏幕20会显示一个代表校正完成的图案70。在此实施例中，校正标记点50为一圆点，而动态影像64对应逆时针和顺时针方向旋转的箭头。然而，动态影像64的呈现或变化方式并不限定本发明的范畴。
在图10A～10D所示的实施例中，显示信息M1～M3为屏幕上的文字信息。在本发明其它实施例中，眼球追踪模块10所应用的显示设备可还包含一语音产生器，其可提供相对应显示信息M1～M3内容的语音提示，使得用户能依据语音提示进行校正步骤。
在步骤460和860中，眼球追踪模块10会通过左眼相机CAML、右眼相机CAMR和景物相机CAMS来在用户在移动头部或移动屏幕20的期间记录视觉信息。此外，处理器12另可依据眼球追踪模块10在运作时的环境亮度来开启或关闭左眼照明装置LEDL及右眼照明装置LEDR。
在步骤470和870中，处理器12会依据用户在移动头部或移动屏幕20的期间收集到的视觉信息进行校正。针对本发明眼球追踪模块10应用在全视野AR/VR/MR眼镜的实施例，AR/VR/MR眼镜可用本身的双眼镜片来做为屏幕20，且其针对AR/VR/MR应用已建立现有的虚拟坐标和相机坐标，以将虚拟画面呈现在用户的视野。因此在步骤470和870中，处理器12可将用户在移动头部的期间由左眼相机CAML和右眼相机CAMR所记录的眼动信息参照至现有的虚拟坐标和相机坐标，进而针对眼球追踪的应用进行校正。针对本发明眼球追踪模块10应用在部分视野的智能眼镜或其它眼镜型态装置的实施例，处理器12可在步骤470和870中，将用户在移动头部或移动屏幕20的期间由左眼相机CAML和右眼相机CAMR所记录的眼动信息，参照至由景物相机CAMS所记录的用户视野信息，进而针对眼球追踪的应用进行校正。
在先前技术针对眼球追踪应用所执行的校正程序中，用户会被要求在固定头部的情况下移动视线。在本发明针对眼球追踪应用所执行的校正程序中，用户会被要求在固定视线的情况下移动头部。由于将视线持续维持在定点比长时间保持头部不动容易很多，本发明针对眼球追踪应用的校正方法可提高校正准确度。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
【附图标记说明】
CAML 左眼相机
CAMR 右眼相机
CAMS 景物相机
LEDL 左眼照明装置
LEDR 右眼照明装置
M1～M5 信息
10 眼球追踪模块
12 处理器
20 屏幕
50 校正标记点
61～64 动态影像
66 文字
70 图案
410～500、810～900 步骤

Claims (16)

1.一种针对眼球追踪应用的校正方法，其包含：
在一屏幕上显示一校正标记点，并指示一用户盯住该校正标记点；
提供一移动信息；
指示该用户在盯住该校正标记点的情况下，依据该移动信息来移动该用户的一头部或移动该屏幕；
在该用户移动该头部或移动该屏幕的期间，记录该用户的眼动信息；以及
依据该用户的眼动信息来对该眼球追踪应用进行校正。
2.如权利要求1所述的校正方法，其还包含：
在该用户移动头部或移动该屏幕的期间，记录该用户的视野信息；以及
依据该用户的眼动信息和该用户的视野信息来对该眼球追踪应用进行校正。
3.如权利要求1所述的校正方法，其还包含：
在该屏幕上该校正标记点的周围显示用来识别该用户头部动作的一动态影像以提供该移动信息。
4.如权利要求3所述的校正方法，其还包含：
在该用户移动该头部的期间，在该屏幕上以一第一方式来呈现该动态影像中一第一区域，以及在该屏幕上以相异于该第一方式的一第二方式来呈现该动态影像中一第二区域，其中该第一区域对应该头部尚未经过的区域，而该第二区域对应该头部已经经过的区域。
5.如权利要求4所述的校正方法，其中该第二区域的面积相关于该头部已经经过的区域大小。
6.如权利要求1所述的校正方法，其还包含：
在该屏幕上该校正标记点的周围显示用来识别该屏幕方位的一动态影像以提供该移动信息。
7.如权利要求6所述的校正方法，其还包含：
在一第一时间点于该屏幕上显示对应一第一旋转方向的该动态影像，并指示该用户在持续盯住该校正标记点的情况下沿着该第一旋转方向来旋转该屏幕；以及
在一第二时间点于该屏幕上显示对应一第二旋转方向的该动态影像，并指示该用户在持续盯住该校正标记点的情况下沿着该第二旋转方向来旋转该屏幕。
8.如权利要求1所述的校正方法，其还包含：
在该用户移动该头部或移动该屏幕的期间，使一眼球追踪模块中的一景物相机来记录该用户的视野信息；且
依据该用户的眼动信息和该用户的视野信息来对该眼球追踪应用进行校正。
9.如权利要求1所述的校正方法，其还包含：
在该用户移动该头部或移动该屏幕的期间，使一眼球追踪模块中的一左眼相机和一右眼相机用分别记录该用户的眼动信息。
10.如权利要求9所述的校正方法，其还包含：
在记录该用户的眼动信息的期间，依据该眼球追踪模块在运作时的一环境亮度来开启或关闭该眼球追踪模块中的一左眼照明装置和一右眼照明装置。
11.如权利要求8或9所述的校正方法，其还包含：
在该屏幕上显示该校正标记点之前，确认该眼球追踪模块的一电源状态和一设置状态。
12.如权利要求8或9所述的校正方法，其还包含：
在该屏幕上显示该校正标记点之前，指示该用户调整该屏幕的一显示亮度。
13.如权利要求1所述的校正方法，其还包含：
在该屏幕上该校正标记点的周围显示相关于该用户头部动作或该屏幕方位的一组或多组文字以提供该移动信息。
14.如权利要求1所述的校正方法，其还包含：
通过改变该校正标记点的形状、改变该校正标记点的颜色，或闪烁该校正标记点来显示一校正进度信息。
15.如权利要求1所述的校正方法，其还包含：
在该屏幕上显示一第一文字信息以指示该用户盯住该校正标记点；以及
在该屏幕上显示一第二文字信息以指示该用户在盯住该校正标记点的情况下，依据该移动信息来移动该用户的该头部或移动该屏幕。
16.如权利要求1所述的校正方法，其还包含：
发出一第一语音消息以指示该用户盯住该校正标记点；以及
发出一第二语音消息以指示该用户在盯住该校正标记点的情况下，依据该移动信息来移动该用户的该头部或移动该屏幕。
CN201910913194.7A 2019-01-03 2019-09-25 针对眼球追踪应用的校正方法 Active CN111399633B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962788115P 2019-01-03 2019-01-03
US62/788,115 2019-01-03
TW108131528A TWI710250B (zh) 2019-01-03 2019-09-02 針對眼球追蹤應用之校正方法
TW108131528 2019-09-02

Publications (2)

Publication Number Publication Date
CN111399633A true CN111399633A (zh) 2020-07-10
CN111399633B CN111399633B (zh) 2023-03-31

Family

ID=71404402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910913194.7A Active CN111399633B (zh) 2019-01-03 2019-09-25 针对眼球追踪应用的校正方法

Country Status (2)

Country Link
US (1) US11194392B2 (zh)
CN (1) CN111399633B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN112835450A (zh) * 2021-02-05 2021-05-25 厦门元馨智能科技有限公司 一种体感操作一体的智能眼镜系统
CN114077060A (zh) * 2020-08-10 2022-02-22 见臻科技股份有限公司 穿戴式眼动追踪系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11574446B2 (en) * 2019-08-30 2023-02-07 National Central University Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
US11619993B2 (en) 2021-04-19 2023-04-04 Microsoft Technology Licensing, Llc Systems and methods for gaze-tracking
US11998335B2 (en) 2021-04-19 2024-06-04 Microsoft Technology Licensing, Llc Systems and methods of capturing eye-gaze data

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312605A (ja) * 2004-04-28 2005-11-10 Ditect:Kk 注視点位置表示装置
JP2006087833A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Works Ltd 認知機能検査方法、認知機能検査プログラム、認知機能検査装置
CN101026777A (zh) * 2006-02-21 2007-08-29 台湾薄膜电晶体液晶显示器产业协会 显示器动态影像色彩偏移检测系统与检测方法
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体
CN106842625A (zh) * 2017-03-03 2017-06-13 西南交通大学 一种基于特征共识性的目标追踪眼镜及方法
US20180008141A1 (en) * 2014-07-08 2018-01-11 Krueger Wesley W O Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
TWI633336B (zh) * 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI398796B (zh) 2009-03-27 2013-06-11 Utechzone Co Ltd Pupil tracking methods and systems, and correction methods and correction modules for pupil tracking
US9247870B2 (en) * 2013-03-15 2016-02-02 Neuro Kinetics, Inc. Method and apparatus for system synchronization in video oculography based neuro-otologic testing and evaluation
US10686972B2 (en) * 2013-09-03 2020-06-16 Tobii Ab Gaze assisted field of view control
CN111616666A (zh) * 2014-03-19 2020-09-04 直观外科手术操作公司 使用眼球凝视跟踪的医疗装置、系统和方法
US10564714B2 (en) * 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US20190333480A1 (en) * 2017-01-05 2019-10-31 Philipp K. Lang Improved Accuracy of Displayed Virtual Data with Optical Head Mount Displays for Mixed Reality
WO2020023404A1 (en) * 2018-07-24 2020-01-30 Magic Leap, Inc. Flicker mitigation when toggling eyepiece display illumination in augmented reality systems
US20200211512A1 (en) * 2018-12-27 2020-07-02 Facebook Technologies, Llc Headset adjustment for optimal viewing

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005312605A (ja) * 2004-04-28 2005-11-10 Ditect:Kk 注視点位置表示装置
JP2006087833A (ja) * 2004-09-27 2006-04-06 Matsushita Electric Works Ltd 認知機能検査方法、認知機能検査プログラム、認知機能検査装置
CN101026777A (zh) * 2006-02-21 2007-08-29 台湾薄膜电晶体液晶显示器产业协会 显示器动态影像色彩偏移检测系统与检测方法
CN101872237A (zh) * 2009-04-23 2010-10-27 由田新技股份有限公司 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组
JP2010259605A (ja) * 2009-05-01 2010-11-18 Nippon Hoso Kyokai <Nhk> 視線測定装置および視線測定プログラム
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
US20160033770A1 (en) * 2013-03-26 2016-02-04 Seiko Epson Corporation Head-mounted display device, control method of head-mounted display device, and display system
US20180008141A1 (en) * 2014-07-08 2018-01-11 Krueger Wesley W O Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
CN106371566A (zh) * 2015-07-24 2017-02-01 由田新技股份有限公司 用于眼部追踪的校正模块、方法及计算机可读取记录媒体
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
TWI633336B (zh) * 2017-02-24 2018-08-21 宏碁股份有限公司 頭戴式顯示器、其視野校正方法以及混合實境顯示系統
CN106842625A (zh) * 2017-03-03 2017-06-13 西南交通大学 一种基于特征共识性的目标追踪眼镜及方法
CN108960045A (zh) * 2017-05-22 2018-12-07 宏达国际电子股份有限公司 眼球追踪方法、电子装置及非暂态电脑可读取记录媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114077060A (zh) * 2020-08-10 2022-02-22 见臻科技股份有限公司 穿戴式眼动追踪系统
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN111966223B (zh) * 2020-08-17 2022-06-28 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
CN112835450A (zh) * 2021-02-05 2021-05-25 厦门元馨智能科技有限公司 一种体感操作一体的智能眼镜系统

Also Published As

Publication number Publication date
US20200218345A1 (en) 2020-07-09
US11194392B2 (en) 2021-12-07
CN111399633B (zh) 2023-03-31

Similar Documents

Publication Publication Date Title
CN111399633B (zh) 针对眼球追踪应用的校正方法
US11676352B2 (en) Systems for augmented reality visual aids and tools
US11577159B2 (en) Realistic virtual/augmented/mixed reality viewing and interactions
US11137875B2 (en) Mixed reality intelligent tether for dynamic attention direction
US20160267720A1 (en) Pleasant and Realistic Virtual/Augmented/Mixed Reality Experience
JP2018109745A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
WO2007013833A1 (en) Method and system for visualising virtual three-dimensional objects
US10652525B2 (en) Quad view display system
CN111556305B (zh) 图像处理方法、vr设备、终端、显示系统和计算机可读存储介质
WO2014128752A1 (ja) 表示制御装置、表示制御プログラム、および表示制御方法
CN116719415A (zh) 用于提供计算机生成的体验的设备、方法和图形用户界面
JP2016151791A (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
JPH10334275A (ja) 仮想現実方法及び装置並びに記憶媒体
JP2016151792A (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
CN108428375A (zh) 一种基于增强现实的教学辅助方法及设备
US11774759B2 (en) Systems and methods for improving binocular vision
WO2020014705A1 (en) Wearable image manipulation and control system with micro-displays and augmentation of vision and sensing in augmented reality glasses
US20180059812A1 (en) Method for providing virtual space, method for providing virtual experience, program and recording medium therefor
US9805612B2 (en) Interest-attention feedback method for separating cognitive awareness into different left and right sensor displays
CN108427194A (zh) 一种基于增强现实的显示方法及设备
CN106933360A (zh) 一种增强现实的装置和实现方法
TWI710250B (zh) 針對眼球追蹤應用之校正方法
US20240103636A1 (en) Methods for manipulating a virtual object
US11343487B2 (en) Trackable glasses system for perspective views of a display
US20230129708A1 (en) Procedure guidance and training apparatus, methods and systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant