CN108592865A - 基于ar设备的几何量测量方法及其装置、ar设备 - Google Patents

基于ar设备的几何量测量方法及其装置、ar设备 Download PDF

Info

Publication number
CN108592865A
CN108592865A CN201810401274.XA CN201810401274A CN108592865A CN 108592865 A CN108592865 A CN 108592865A CN 201810401274 A CN201810401274 A CN 201810401274A CN 108592865 A CN108592865 A CN 108592865A
Authority
CN
China
Prior art keywords
user
convergent point
distance
eyes
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810401274.XA
Other languages
English (en)
Inventor
李佃蒙
魏伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810401274.XA priority Critical patent/CN108592865A/zh
Publication of CN108592865A publication Critical patent/CN108592865A/zh
Priority to PCT/CN2019/084110 priority patent/WO2019206187A1/zh
Priority to US16/498,822 priority patent/US11385710B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种基于增强现实设备的几何量测量方法及其装置、增强现实设备，该几何量测量方法包括：基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；根据所述左右眼视线确定左右眼视线的汇聚点；当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。该方法可以扩展AR设备的功能，增加AR设备的用户体验。

Description

基于AR设备的几何量测量方法及其装置、AR设备
技术领域
本发明涉及显示技术领域，尤其涉及基于增强现实AR设备的几何量测量方法及其装置、增强现实AR设备。
背景技术
增强现实技术(Augmented Reality，简称AR)是一种将真实世界的信息和虚拟信息进行融合的新技术，其特点是将虚拟信息应用到真实环境中，可将真实环境中的实物和虚拟的信息融合到同一个画面或者是空间中，从而达到超越现实的感官体验。
现有的增强现实AR设备有些具有人眼眼球的追踪功能，但现有的增强现实设备功能还存在较大的可扩展空间。
发明内容
本发明提供一种基于增强现实AR设备的几何量测量方法及其装置、增强现实设备，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种基于增强现实设备的几何量测量方法，包括：
基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
根据所述左右眼视线确定左右眼视线的汇聚点；
当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；
在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。
可选的，所述基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线，包括：
基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
根据所述左右眼瞳孔位置和所述左右眼的中心位置确定左右眼视线。
可选的，所述计算所述汇聚点的位置与用户之间的距离，包括：
根据左右眼视线与经过左右眼的中心位置直线之间的夹角以及左右眼瞳距计算所述汇聚点的位置与用户之间的距离。
可选的，包括：
根据计算出的多个汇聚点的位置与用户之间的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，确定目标物体的几何参数。
可选的，所述距离包括与所述目标物体上的第一边缘上的期望位置重合的汇聚点的位置与用户之间的第一距离，和与所述目标物体上的第二边缘上的期望位置重合的汇聚点的位置与用户之间的第二距离，所述第一边缘和所述第二边缘为相对设置的两个边缘。
根据本发明实施例的第二方面，提供一种基于增强现实设备的几何量测量装置，包括：
视线确定单元，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
汇聚点确定单元，用于根据所述左右眼视线确定左右眼视线的汇聚点；
汇聚点的位置标记单元，用于当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；
距离计算单元，用于在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。
可选的，所述视线确定单元包括：
瞳孔位置和左右眼的中心位置确定子单元，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
视线获取子单元，用于根据所述左右眼瞳孔位置和所述左右眼的中心位置确定左右眼视线。
可选的，所述距离计算单元具体用于：根据左右眼视线与经过左右眼的中心位置直线之间的夹角以及左右眼瞳距计算所述汇聚点的位置与用户之间的距离。
可选的，还包括：
几何参数确定单元，用于根据计算出的多个汇聚点的位置与用户之间的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，确定目标物体的几何参数。
根据本发明实施例的第三方面，提供一种增强现实设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行上述任一所述方法。
根据上述技术方案可知，基于增强现实设备的几何量测量方法，根据左右眼部特征确定用户的左右眼视线，进而确定左右眼视线的汇聚点，当标记的汇聚点的位置与目标物体上的期望位置重合时，可计算出汇聚点的位置与用户之间的距离，该距离也就是目标物体上的期望位置与用户之间的距离，该距离可供用户了解自身距离目标物体上某个位置的距离，因此，通过上述方法可以扩展AR设备的功能，增加AR设备的用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明一实施例提供的基于增强现实设备的几何量测量方法的工作流程图；
图2是根据本发明另一实施例提供的基于增强现实设备的几何量测量方法的工作流程图；
图3是根据本发明一实施例提供的左右眼视线与目标物体上的期望位置之间关系的示意图；
图4是根据本发明另一实施例提供的左右眼视线与目标物体上的期望位置之间关系的示意图；
图5是根据本发明一实施例提供的基于增强现实设备的几何量测量装置的方框图；
图6是根据本发明一实施例提供的虚拟现实设备的硬件结构图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
为了进一步扩展增强现实AR设备的功能，本发明实施例提供一种基于增强现实AR设备的几何量测量方法，如图1所示，该方法包括：
步骤S10、基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
步骤S20、根据左右眼视线方向确定左右眼视线的汇聚点；
步骤S30、当汇聚点的停留时间大于阈值时，标记汇聚点的位置；
步骤S40、在接收到用于指示标记的汇聚点的位置与目标物体上的期望位置重合的指令时，计算汇聚点的位置与用户之间的距离。
用户在佩戴增强现实AR设备后可观察到入射至用户两眼视野范围内的光线，该光线可被眼睛反射，被两眼(包括左眼和右眼)反射的光线可通过摄像装置或者一些专门的光学传感器接收，据此可获取左右眼部图像，通过对左右眼部图像进行图像识别可以获取左右眼部特征，包括左眼眼部特征和右眼眼部特征，眼部特征可以包括眼睛的瞳孔中心、瞳孔大小、角膜反射信息、虹膜中心、虹膜尺寸等特征，进一步的根据眼部特征进行运算处理可以确定左右眼视线，包括左眼视线和右眼视线，视线指用户观察目标物体时眼睛注视目标物体上某个位置时，眼睛与目标物体上该位置的直线。
两眼在注视目标物体某个位置时，左眼视线和右眼视线会汇聚在该位置，汇聚的位置本文中称为汇聚点。
在用户佩戴AR设备后，可观察到其视野范围内的真实环境中的实际物体和投影到用户眼前的虚拟信息，虚拟信息和实际物体可融合到同一个画面或者是空间中，达到超越现实的感官体验。
本文中的目标物体指用户观察到的真实环境中的实际物体，如果用户注视目标物体的某个位置的时间较长，用户可能对该目标物体较感兴趣，想进一步了解该目标物体的详细信息等，据此，本实施的方法中，对汇聚点的停留时间进行计算，汇聚点的停留时间也即代表用户两眼注视目标物体上的某个位置的时间，当该停留时间大于阈值时，标记该汇聚点的位置。
标记汇聚点的位置的方法可能有多种，例如可设置一标记图形(圆形点、方框或者十字交叉图形)，通过AR设备将标记图像投影在用户前方，用户可通过眼睛观察到该标记图形，即可观察到标记的汇聚点的位置。
对汇聚点的位置进行标记后，用户两眼可通过AR设备可观察到该汇聚点的位置，该汇聚点的位置有可能与目标物体上的期望位置不再一个位置，即不重合，此时用户可通过转动头部、改变位置或者转动眼球等调整左右眼视线，当标记的汇聚点与目标物体上的期望位置重合时，用户可通过操作设置在AR设备上的按钮或者虚拟菜单发出指令，即生成一指示标记的汇聚点的位置与目标物体上的期望位置重合的指令，当AR设备接收到该指令时，计算汇聚点的位置与用户之间的距离。
上述目标物体上的期望位置为用户期望看到的目标物体上某个位置，可以是目标物体上的任何一个位置。
由上述描述可知，该几何量测量方法，根据左右眼部特征确定用户的左右眼视线，进而确定左右眼视线的汇聚点，当标记的汇聚点的位置与目标物体上的期望位置重合时，可计算出汇聚点的位置与用户之间的距离，该距离也就是目标物体上的期望位置与用户之间的距离，该距离可供用户了解自身距离目标物体上某个位置的距离，因此，通过上述方法可以扩展AR设备的功能，增加AR设备的用户体验。
需要说明的是，可在AR设备上设置一按钮或者虚拟菜单，当用户操作该按钮或菜单会生成一测量指令时，此时AR设备进行测量功能模式，之后，AR设备开始执行该测量方法，获取左右眼部特征，并计算汇聚点的停留时间，计算汇聚点与用户之间的距离等，当未接收到测量指令时，AR设备可实现已有的功能，避免AR设置实时执行上述方法，造成不必要的消耗。
在一个可选的实施方式中，如图2所示，上述步骤S10所述的根据获取到的用户注视目标物体时的左右眼部特征确定用户的左右眼视线方向，包括：
步骤S11、基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
步骤S12、根据左右眼瞳孔位置和左右眼的中心位置确定左右眼视线。
本实施例中，在确定左右眼视线方向时，根据获取左右眼部图像识别出左右眼瞳孔位置和左右眼的中心位置，进而确定左右眼视线方向，具体而言，通过图像识别算法从左眼图像中确定出左眼瞳孔位置和左眼的中心位置，从右眼图像中确定出右眼瞳孔位置和右眼的中心位置。
参照图3所示，左眼瞳孔位置和右眼瞳孔位置可以左眼瞳孔中心所在位置a1和右眼瞳孔中心所在的位置a2，左眼的中心位置指整个左眼区域的中心，例如图3中示意性的示出了左眼区域为一椭圆形区域，左眼的中心位置b1指椭圆形区域的中心，同样的，右眼的中心位置a2指整个右眼区域的中心。
进一步的，根据左眼瞳孔位置和左眼的中心位置可确定左眼视线，如图3中所示的，左眼视线M1为通过左眼的中心位置b1和左眼瞳孔a1，且延伸到目标物体A上的某一位置的线段，该位置可能为期望位置，右眼视线M2为通过右眼的中心位置b2和右眼瞳孔a2，且延伸到目标物体A上的某一位置的线段，左眼视线和右眼视线汇聚后的位置(即汇聚点的位置O)为目标物体上的某个位置。
需要说明的是上述左右眼瞳位置和左右眼的中心位置可能并非准确的位置，会有一定的误差，确定出的左右眼视线也会有一定的误差，计算出的汇聚点的位置与用户之间的距离也会有误差，但是这些都是允许的，本方法只需要计算出汇聚点的位置(也就目标物体上的某个位置)与用户之间的大致距离即可。
在一些例子中，上述步骤S40所述的计算聚点的位置与用户之间的距离，包括：根据左右眼视线与经过左右眼的中心位置直线之间的夹角和左右眼瞳距计算汇聚点的位置与用户之间的距离。
具体而言，参照图3所示，经过左右眼的中心位置直线为N，左眼视线M1与该直线N之间的夹角为θleft，该夹角θleft也可称为左眼瞳孔偏转角度；右眼视线M2与该直线N之间的夹角为θright，该夹角θright也可称为右眼瞳孔偏转角度；左右眼瞳距为PD，即左眼瞳孔和右眼瞳孔之间的距离为PD，左右眼瞳距可以为预设值，或者根据左眼瞳孔位置和右眼瞳孔位置实时计算出的值。
根据几何关系可知，汇聚点的位置O与用户之间的距离L，左右眼瞳距PD和上述的左眼瞳孔偏转角度θleft和右眼瞳孔偏转角度θright之间存在如下关系：Lⅹtanθleft+Lⅹtanθright＝PD，则由下述公式可以计算出汇聚点的位置O与用户之间的距离L为：
在一些例子中，可以根据计算出的多个汇聚点的位置与用户之间的多个距离，以及用户注视目标物体上的不同期望位置时的视线偏转角度确定目标物体的几何参数。
本实施例中，可以根据上述计算出的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，进一步确定目标物体的几何参数，举例而言，如图4所示，假设用户左右眼持续注视目标物体A上的某一位置时，根据左右眼视线确定左右眼视线的汇聚点为第一汇聚点，该第一汇聚点的停留时间大于阈值，标记该第一汇聚点的位置为O1点，在接收到指示标记的该第一汇聚点的位置O1与目标物体A上的第一期望位置重合的指令时，计算该第一汇聚点的位置O1与用户之间的第一距离为L1，同样的，用户左右眼持续的注视目标物体A上的另一位置时，根据左右眼视线确定左右眼视线的汇聚点为第二汇聚点，该第二汇聚点的停留时间大于阈值，标记该第二汇聚点的位置为O2点，在接收到指示标记的该第二汇聚点的位置O2与目标物体A上的第二期望位置重合的指令时，计算该第二汇聚点的位置O2与用户之间的第二距离为L2。
可根据AR设备上的陀螺仪获取用户注视目标物体上的不同期望位置时的头部偏转角度，该头部偏转角度可以作为视线偏转角度，例如，如图4所示，视线偏转角度为：用户注视与第一汇聚点的位置O1重合的第一期望位置和注视与第二汇聚点的位置O2重合的第二期望位置时的偏转角度β。
根据几何关系可知，第一距离L1、第二距离L2、视线偏转角度β以及第一汇聚点的位置O1(即第一期望位置)与第二汇聚点的位置O2(即第二期望位置)之间的距离H存在如下关系：上述距离H即为目标物体A上的两个期望位置之间的距离，该距离即为目标物体的几何参数之一。
例如，若上述的第一汇聚点的位置O1为位于目标物体A上的上边缘上的某一位置，而第一汇聚点的位置O1与该上边缘上的第一期望位置重合，则上述的第一距离L1为与该上边缘上的期望位置重合的第一汇聚点O1的位置与用户之间；若上述的第二汇聚点的位置O2为位于目标物体A的下边缘上的另一位置，而第二汇聚点的位置O2与该下边缘上的第二期望位置重合，则上述的第二距离L2为与该下边缘上的期望位置重合的第二汇聚点O2的位置与用户之间，根据上述公式可以计算出上边缘上的第一期望位置和下边缘上的第二期望位置之间的距离H，该距离H即为目标物体的高度，类似的，可参照上述方法确定出目标物体的其他几何参数，例如目标物体的宽度和目标物体的厚度，或者目标物体上的其他部分之间的距离等。
当然，上述只是举例说明了一种计算目标物体的几何参数的方法，也可以根据多个距离和多个视线偏转角度，采用其他计算方式确定出目标物体的几何参数，并不限于本实施例所述的方法。
本发明实施例还提供一种基于增强现实设备的几何量测量装置，如图5所示，该几何量测量装置05包括：
视线确定单元501，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
汇聚点确定单元502，用于根据所述左右眼视线确定左右眼视线的汇聚点；
汇聚点的位置标记单元503，用于当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；
距离计算单元504，用于在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。
在一个可选的实施方式中，所述视线确定单元包括：
瞳孔位置和左右眼的中心位置确定子单元，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
视线获取子单元，用于根据所述左右眼瞳孔位置和所述左右眼的中心位置确定左右眼视线。
在一些例子中，所述距离计算单元具体用于：根据左右眼视线与经过左右眼的中心位置直线之间的夹角以及左右眼瞳距计算所述汇聚点的位置与用户之间的距离。
在一个可选的实施方式中，该装置还包括：
几何参数确定单元，用于根据计算出的多个汇聚点的位置与用户之间的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，确定目标物体的几何参数。
与前述几何量测量方法的实施例相对应，本发明提供的几何量装置可扩展AR设备的功能，增加AR设备的用户体验。
对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，其中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上；上述各单元可以合并为一个单元，也可以进一步拆分成多个子单元。
通过以上的实施方式的描述，本实施例的装置可借助软件的方式实现，或者软件加必需的通用硬件的方式来实现，当然也可以通过硬件实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，以软件实现为例，作为一个逻辑意义上的装置，是通过应用该装置的增强现实AR设备所在的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。
参见图6所示，本发明还提供一种增强现实设备的硬件架构图，该增强现实设备包括：机器可读存储介质101和处理器102，还可以包括非易失性介质103、通信接口104和总线105；其中，机器可读存储介质101、处理器102、非易失性介质103和通信接口104通过总线105完成相互间的通信。处理器102通过读取并执行机器可读存储介质101中与几何测量方法的控制逻辑对应的机器可执行指令，可执行上文描述的视觉疲劳识别方法。
本文中提到的机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。
非易失性介质可以是非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、任何类型的存储盘(如光盘、dvd等)，或者类似的非易失性存储介质，或者它们的组合。
本发明实施例提供的增强现实设备，可以确定目标物体上的期望位置与用户之间的距离，该距离可供用户了解自身距离目标物体上某个位置的距离，因此，扩展了AR设备的功能，增加AR设备的用户体验。
当然，上述的AR设备还可以包括其他已有部件，此处不再赘述。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

Claims (10)

1.一种基于增强现实设备的几何量测量方法，其特征在于，包括：
基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
根据所述左右眼视线确定左右眼视线的汇聚点；
当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；
在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。
2.根据权利要求1所述的方法，其特征在于，所述基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线，包括：
基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
根据所述左右眼瞳孔位置和所述左右眼的中心位置确定左右眼视线。
3.根据权利要求2所述的方法，其特征在于，所述计算所述汇聚点的位置与用户之间的距离，包括：
根据左右眼视线与经过左右眼的中心位置直线之间的夹角以及左右眼瞳距计算所述汇聚点的位置与用户之间的距离。
4.根据权利要求1-3任一项所述的方法，其特征在于，包括：
根据计算出的多个汇聚点的位置与用户之间的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，确定目标物体的几何参数。
5.根据权利要求4所述的方法，其特征在于，
所述距离包括与所述目标物体上的第一边缘上的期望位置重合的汇聚点的位置与用户之间的第一距离，和与所述目标物体上的第二边缘上的期望位置重合的汇聚点的位置与用户之间的第二距离，所述第一边缘和所述第二边缘为相对设置的两个边缘。
6.一种基于增强现实设备的几何量测量装置，其特征在于，包括：
视线确定单元，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼视线；
汇聚点确定单元，用于根据所述左右眼视线确定左右眼视线的汇聚点；
汇聚点的位置标记单元，用于当所述汇聚点的停留时间大于阈值时，标记所述汇聚点的位置；
距离计算单元，用于在接收到用于指示标记的所述汇聚点的位置与目标物体上的期望位置重合的指令时，计算所述汇聚点的位置与用户之间的距离。
7.根据权利要求6所述的装置，其特征在于，所述视线确定单元包括：
瞳孔位置和左右眼的中心位置确定子单元，用于基于获取到的用户注视目标物体时的左右眼部图像确定左右眼瞳孔位置和左右眼的中心位置；
视线获取子单元，用于根据所述左右眼瞳孔位置和所述左右眼的中心位置确定左右眼视线。
8.根据权利要求7所述的装置，其特征在于，所述距离计算单元具体用于：根据左右眼视线与经过左右眼的中心位置直线之间的夹角以及左右眼瞳距计算所述汇聚点的位置与用户之间的距离。
9.根据权利要求6-8任一项所述的装置，其特征在于，还包括：
几何参数确定单元，用于根据计算出的多个汇聚点的位置与用户之间的多个距离以及用户注视目标物体上的不同期望位置时的视线偏转角度，确定目标物体的几何参数。
10.一种增强现实设备，其特征在于，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使执行如权利要求1至5任一项所述方法。
CN201810401274.XA 2018-04-28 2018-04-28 基于ar设备的几何量测量方法及其装置、ar设备 Pending CN108592865A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810401274.XA CN108592865A (zh) 2018-04-28 2018-04-28 基于ar设备的几何量测量方法及其装置、ar设备
PCT/CN2019/084110 WO2019206187A1 (zh) 2018-04-28 2019-04-24 几何量测量方法及其装置、增强现实设备和存储介质
US16/498,822 US11385710B2 (en) 2018-04-28 2019-04-24 Geometric parameter measurement method and device thereof, augmented reality device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810401274.XA CN108592865A (zh) 2018-04-28 2018-04-28 基于ar设备的几何量测量方法及其装置、ar设备

Publications (1)

Publication Number Publication Date
CN108592865A true CN108592865A (zh) 2018-09-28

Family

ID=63619150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810401274.XA Pending CN108592865A (zh) 2018-04-28 2018-04-28 基于ar设备的几何量测量方法及其装置、ar设备

Country Status (3)

Country Link
US (1) US11385710B2 (zh)
CN (1) CN108592865A (zh)
WO (1) WO2019206187A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019206187A1 (zh) * 2018-04-28 2019-10-31 京东方科技集团股份有限公司 几何量测量方法及其装置、增强现实设备和存储介质
CN111309144A (zh) * 2020-01-20 2020-06-19 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
WO2022267992A1 (zh) * 2021-06-24 2022-12-29 北京有竹居网络技术有限公司 在头戴式显示设备中获取注视目标的方法及装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790640B (zh) * 2021-06-11 2023-01-21 宏碁股份有限公司 擴增實境顯示裝置與方法
CN114903424A (zh) * 2022-05-31 2022-08-16 上海商汤临港智能科技有限公司 眼睛类型检测方法及装置、计算机设备、存储介质
CN115546214B (zh) * 2022-12-01 2023-03-28 广州视景医疗软件有限公司 一种基于神经网络的集合近点测量方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103256917A (zh) * 2012-02-15 2013-08-21 鸿富锦精密工业（深圳）有限公司 可应用于测距的立体视觉系统
CN105872527A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
CN107588730A (zh) * 2017-09-11 2018-01-16 上海闻泰电子科技有限公司 利用ar设备测量高度的方法及装置
CN107657235A (zh) * 2017-09-28 2018-02-02 北京小米移动软件有限公司 基于增强现实的识别方法及装置
CN107884930A (zh) * 2016-09-30 2018-04-06 宏达国际电子股份有限公司 头戴式装置及控制方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3771964B2 (ja) * 1996-03-12 2006-05-10 オリンパス株式会社 立体映像ディスプレイ装置
US20060250322A1 (en) * 2005-05-09 2006-11-09 Optics 1, Inc. Dynamic vergence and focus control for head-mounted displays
WO2008007781A1 (fr) * 2006-07-14 2008-01-17 Panasonic Corporation Dispositif de détection de la direction d'axe visuel et procédé de détection de la direction de ligne visuelle
US20100321482A1 (en) * 2009-06-17 2010-12-23 Lc Technologies Inc. Eye/head controls for camera pointing
US20110075257A1 (en) * 2009-09-14 2011-03-31 The Arizona Board Of Regents On Behalf Of The University Of Arizona 3-Dimensional electro-optical see-through displays
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9255813B2 (en) * 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
US8611015B2 (en) * 2011-11-22 2013-12-17 Google Inc. User interface
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
US9239460B2 (en) * 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
CA3210898A1 (en) * 2014-08-10 2016-02-18 Autonomix Medical, Inc. Ans assessment systems, kits, and methods
EP3685215B1 (en) * 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
IL311263A (en) * 2017-12-14 2024-05-01 Magic Leap Inc Context-based processing of virtual characters
CN108592865A (zh) * 2018-04-28 2018-09-28 京东方科技集团股份有限公司 基于ar设备的几何量测量方法及其装置、ar设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545650B1 (en) * 1998-06-23 2003-04-08 Nec Corporation Apparatus for three-dimensionally displaying object and method of doing the same
CN102830793A (zh) * 2011-06-16 2012-12-19 北京三星通信技术研究有限公司 视线跟踪方法和设备
CN103256917A (zh) * 2012-02-15 2013-08-21 鸿富锦精密工业（深圳）有限公司 可应用于测距的立体视觉系统
CN105872527A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 双目ar头戴显示设备及其信息显示方法
CN105866949A (zh) * 2015-01-21 2016-08-17 成都理想境界科技有限公司 能自动调节景深的双目ar头戴设备及景深调节方法
CN107111381A (zh) * 2015-11-27 2017-08-29 Fove股份有限公司 视线检测系统、凝视点确认方法以及凝视点确认程序
CN107884930A (zh) * 2016-09-30 2018-04-06 宏达国际电子股份有限公司 头戴式装置及控制方法
CN107588730A (zh) * 2017-09-11 2018-01-16 上海闻泰电子科技有限公司 利用ar设备测量高度的方法及装置
CN107657235A (zh) * 2017-09-28 2018-02-02 北京小米移动软件有限公司 基于增强现实的识别方法及装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019206187A1 (zh) * 2018-04-28 2019-10-31 京东方科技集团股份有限公司 几何量测量方法及其装置、增强现实设备和存储介质
US11385710B2 (en) 2018-04-28 2022-07-12 Boe Technology Group Co., Ltd. Geometric parameter measurement method and device thereof, augmented reality device, and storage medium
CN112083795A (zh) * 2019-06-12 2020-12-15 北京迈格威科技有限公司 对象控制方法及装置、存储介质和电子设备
CN111309144A (zh) * 2020-01-20 2020-06-19 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
CN111309144B (zh) * 2020-01-20 2022-02-01 北京津发科技股份有限公司 三维空间内注视行为的识别方法、装置及存储介质
WO2022267992A1 (zh) * 2021-06-24 2022-12-29 北京有竹居网络技术有限公司 在头戴式显示设备中获取注视目标的方法及装置

Also Published As

Publication number Publication date
US20210357024A1 (en) 2021-11-18
US11385710B2 (en) 2022-07-12
WO2019206187A1 (zh) 2019-10-31

Similar Documents

Publication Publication Date Title
CN108592865A (zh) 基于ar设备的几何量测量方法及其装置、ar设备
JP7191714B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
CN109558012B (zh) 一种眼球追踪方法及装置
US10930075B2 (en) User interface discovery and interaction for three-dimensional virtual environments
JP2022095879A5 (zh)
TWI704501B (zh) 可由頭部操控的電子裝置與其操作方法
JP2021532405A (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
JP2021511564A (ja) ディスプレイとユーザの眼との間の位置合わせを決定するためのディスプレイシステムおよび方法
CN108463789B (zh) 信息处理设备、信息处理方法和程序
JP6515086B2 (ja) 経時的な確率的オブジェクト追跡のためのシステムおよび方法
JP2020523102A (ja) 滅菌野及び他の作業環境のためのユーザインターフェースシステム
US20190212815A1 (en) Method and apparatus to determine trigger intent of user
US11287882B2 (en) Translating combinations of user gaze direction and predetermined facial gestures into user input instructions for near-eye-display (NED) devices
US10817050B2 (en) Backchannel resilience for virtual, augmented, or mixed reality (xR) applications in connectivity-constrained environments
US11448903B2 (en) Method for correcting centering parameters and/or an axial position and corresponding computer program and methods
CN115053270A (zh) 用于基于用户身份来操作头戴式显示系统的系统和方法
US20220129080A1 (en) Information processing device, information processing method, and computer-readable recording medium
US10852819B2 (en) Systems and methods for eye-gaze tracking (EGT) handoff
JP2019215688A (ja) 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
JP2019125215A (ja) 情報処理装置、情報処理方法、及び記録媒体
US9760772B2 (en) Eye image stimuli for eyegaze calibration procedures
CN110269586A (zh) 用于捕获具有暗点的人的视野的设备和方法
CN108348152B (zh) 用于确定个体的视觉行为参数的方法及相关测试设备
EP3910530A1 (en) Determining display zoom level
KR102421522B1 (ko) 굴절 측정 방법 및 시스템, 안과 렌즈의 광학적 설계 방법, 및 그러한 안과 렌즈를 포함하는 유리의 쌍

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180928

RJ01 Rejection of invention patent application after publication