CN111479104A - 用于计算视线会聚距离的方法 - Google Patents
用于计算视线会聚距离的方法 Download PDFInfo
- Publication number
- CN111479104A CN111479104A CN201911324930.1A CN201911324930A CN111479104A CN 111479104 A CN111479104 A CN 111479104A CN 201911324930 A CN201911324930 A CN 201911324930A CN 111479104 A CN111479104 A CN 111479104A
- Authority
- CN
- China
- Prior art keywords
- distance
- computer
- display
- user
- convergence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000001508 eye Anatomy 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 210000001747 pupil Anatomy 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 17
- 238000005259 measurement Methods 0.000 description 8
- 238000012800 visualization Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 210000004087 cornea Anatomy 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000004308 accommodation Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 208000035032 Multiple sulfatase deficiency Diseases 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- XXBDWLFCJWSEKW-UHFFFAOYSA-N dimethylbenzylamine Chemical compound CN(C)CC1=CC=CC=C1 XXBDWLFCJWSEKW-UHFFFAOYSA-N 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 201000006033 mucosulfatidosis Diseases 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000001766 physiological effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
- G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
- G01M11/02—Testing optical properties
- G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
- G01M11/0257—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested
- G01M11/0264—Testing optical properties by measuring geometrical properties or aberrations by analyzing the image formed by the object to be tested by using targets or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本公开涉及一种由计算机(320)执行的方法(700)，该方法包括：使用3D显示器(311，1000)使多个对象(511，521，531，1011，1021，1031)中的每一个对象在已知3D位置处可视；基于注视点来确定这些可视的对象(511，521，531，1011，1021，1031)中的、用户正在观看的对象(511，1011)；获得指示用户正在观看的深度的视线会聚距离；基于所确定的对象(511，1011)的3D位置来获得参考距离；使用所获得的视线会聚距离和参考距离来计算更新的会聚距离。
Description
技术领域
本发明涉及一种由计算机执行的、适于执行眼睛视线跟踪的方法，特别是涉及被配置用于执行3D显示器的眼睛视线跟踪的方法。
背景技术
计算机实现的系统以及方法正在成为当今大多数技术领域中越来越重要的部分。可以在虚拟现实VR应用中实现模拟用户环境的整个场景或情景。在一些应用中，在所谓的增强现实AR中虚拟环境与现实世界表现混合在一起。
这样的应用可以提供听觉和视觉反馈，但是也可以允许其他类型的感觉反馈，比如触觉反馈。此外，用户可以典型地经由比如3D显示器(例如，所谓的VR眼镜)和/或手持式控件或操纵杆等设备来提供输入。
在一些应用中，用户可以经由比如头戴式和/或立体显示器等三维3D显示器来接收反馈。3D显示器可以进一步包括能够检测视线会聚距离的传感器。
所检测到的视线会聚距离(例如包含于会聚信号中)的问题是：会聚距离/信号具有极大的噪声、并严重依赖于视线跟踪传感器的准确性。
另一个问题是：3D显示器可能引起视觉辐辏调节冲突VAC。VAC和到透镜聚焦在的对象的距离与双眼的视线会聚在的距离或眼睛的方向角会聚在的距离之间的差异有关。
因此，需要一种用于计算视线会聚距离的改进的方法。
发明目的
本发明的实施例的目的是提供一种减轻或解决上述缺点的解决方案。
发明内容
通过本文描述的主题实现了上述目的。本文描述了本发明的其他有利的实现形式。
根据本发明的第一方面，本发明的目的是通过一种由计算机执行的方法来实现的，该方法包括：使用3D显示器使多个对象的每一个对象在各个已知3D位置处可视；基于注视点来确定这些可视的对象中的、用户正在观看的对象；获得指示用户正在观看的深度的视线会聚距离；基于所确定的对象的3D位置来获得参考距离；使用所获得的视线会聚距离和参考距离来计算更新的会聚距离。
本发明的第一方面的至少一个优点是可以准许对象确定/选择。另一个优点是可以减少由于视觉辐辏调节冲突引起的问题。
根据本发明的第二方面，本发明的目的通过一种计算机来实现，该计算机包括与3D显示器耦接的接口、处理器；以及存储器，所述存储器包含可由所述处理器执行的指令，通过执行所述指令，所述计算机能操作以通过向3D显示器发送控制信号而使用3D显示器使多个对象中的每一个对象在各个已知3D位置处可视，基于注视点来确定这些可视的对象中的、用户正在观看的对象，获得指示用户正在观看的深度的视线会聚距离，基于所确定的对象的3D位置获得参考距离，并使用所获得的视线会聚距离和该参考距离来计算更新的会聚距离。
第二方面的优点至少与第一方面相同。
本发明的范围由权利要求限定，这些权利要求通过引用并入本部分。通过考虑以下对一个或多个实施例的详细描述，本领域技术人员可以更全面地理解本发明的实施例，并且可以实现本发明的附加优点。将参考附图附页，附图将在下文中首先被简要描述。
附图说明
图1示出了眼睛的截面图。
图2A-B示出了根据本公开的一个或多个实施例的头戴式设备和远程显示器。
图3是根据本公开的一个或多个实施例的用于计算或确定会聚距离的系统的示意性概略图。
图4示出了根据本公开的一个或多个实施例的计算机。
图5A和图5B图示了根据一个或多个实施例的注视点的确定。
图6图示了包括多个注视点的测量分布。
图7示出了根据本公开的一个或多个实施例的方法的流程图。
图8图示了根据本公开的一个或多个实施例的基于视轴计算的会聚距离。
图9图示了根据本公开的一个或多个实施例的基于眼间距离和瞳孔间距离计算的会聚距离。
图10A-B图出了根据本公开的一个或多个实施例的多个对象的可视展示。
通过考虑以下对一个或多个实施例的详细描述，本领域技术人员可以更全面地理解本发明的实施例，并且可以实现本发明的附加优点。应当理解，相同的附图标记用于标识在一个或多个图中图示的相同的元件。
具体实施方式
在本说明书和对应的权利要求中的“或”应理解为涵盖“和”与“或”的数学意义上的“或”，而不应理解为异或(互斥或)。在本公开和权利要求中的不定冠词“一”不限于“一个”，还可以被理解为“一个或多个”，即，复数。
在本公开中，术语“三维(3D)显示器”表示能够为用户提供观看对象的3D视觉效果的显示器或设备。这样的3D显示器的实例包括立体显示器、快门系统、偏光系统、干涉滤光器系统、彩色立体效果(anaglyph)系统、色度深度系统、自动立体显示器、全息显示器、立体面显示器、整体成像显示器或摆动式立体显示器。
图1示出了眼睛100的截面视图。眼睛100具有角膜101和具有瞳孔中心103的瞳孔102。角膜101是弯曲的并且具有曲率中心104，该曲率中心被称为角膜曲率的中心104或者简称为角膜中心104。角膜101的曲率半径称为角膜101的半径105，或者简称为角膜半径105。眼睛100具有中心106，该中心也可以被称为眼球的中心106或者简称为眼球中心106。眼睛100的视轴107穿过眼睛100的中心106到达眼睛100的中央凹108。眼睛100的光轴110穿过瞳孔中心103和眼睛100的中心106。视轴107相对于光轴110形成角度109。在视轴107与光轴110之间的偏差或偏移通常被称为中央凹偏移109。在图1所示的实例中，眼睛100朝向显示器111看，并且眼睛100注视显示器111上的注视点112。图1还示出了照明器在角膜101处的反射113。这种反射113也称为闪光。
图2A示出了根据一个或多个实施例的头戴式设备210。头戴式设备210是可以可选地被适于安装(或布置)在用户230的头部处的设备，如图2A所示。头戴式设备210可以例如包括比如虚拟现实(VR)头戴设备、增强现实(AR)头戴设备或混合现实(MR)头戴设备等头戴式显示器(HMD)和/或被包括在这些头戴式显示器中。头戴式设备210或头戴式显示器(HMD)包括3D显示器311，该显示器能够响应于从计算机接收到的控制信号而使多个对象1011、1021、1031可视化。头戴式设备210典型地被进一步配置用于使用一个或多个视线跟踪传感器来提供例如指示注视点和/或会聚距离的视线跟踪信号。换句话说，头戴式设备210被配置用于提供用户正在看的对象的指示和/或用户正在看/观看的深度的指示。
3D显示器可以例如是立体显示器。3D显示器可以例如包括配备有AR功能的眼镜。进一步地，3D显示器可以是自动立体的或自动多光镜的立体面3D显示器，这可以表示它们形成肉眼可见的3D图像，而不需要立体眼镜或立体头戴式显示器。因此，如结合图2所描述的，3D显示器可以是头戴式设备210的一部分。然而，3D显示器也可以是不需要立体眼镜或立体头戴式显示器的远程显示器。在第三实例中，3D显示器是远程显示器，其中需要立体眼镜以使用户看到3D效果。
图2B示出了根据一个或多个实施例的远程显示系统220。远程显示系统220典型地包括结合图2A所描述的远程3D显示器311。因为3D显示器311不紧邻用户230设置，因此说3D显示器311是远程的。远程显示系统220典型地被进一步配置用于使用一个或多个视线跟踪传感器312、313来提供例如指示注视点和/或会聚距离的视线跟踪信号。换句话说，远程显示系统220被配置用于提供用户230正在看的对象的指示和/或用户正在看/观看的深度的指示。如从图2B可以看出的，远程3D显示器311不需要立体/有立体感的眼镜或立体/有立体感的头戴式显示器。在另一实例中，3D显示器是远程显示器，其中需要立体眼镜以使用户看到3D效果。
图3是根据一个或多个实施例的用于计算或确定会聚距离的系统300的示意性概略图。该系统可以包括3D显示器311、1000和计算机320。3D显示器311、1000可以包括一个或多个显示器。3D显示器311、1000可以例如包括旨在定位在用户的眼睛的前方的单个显示器，或者3D显示器311、1000可以是这样的立体显示器：其针对每只眼睛100包括单独的显示器并且所述单独的显示器旨在分别地定位在用户230的左眼和/或右眼的前方。替代地，3D显示器311、1000可以包括被适于布置在用户的一只眼睛的前方的单个显示器，使得一只眼睛可以观看头戴式设备的显示器，同时另一只眼睛可以观看真实世界环境。
3D显示器311、1000可以包括一个或多个视线跟踪传感器。一个或多个视线跟踪传感器可以包括一个或多个用于当用户看着3D显示器311、1000时捕获用户的眼睛的图像的摄像头312。视线跟踪传感器还可以包括一个或多个用于照射用户的眼睛的照明器313。可以例如采用(多个)摄像头312和(多个)照明器313用于眼睛视线跟踪。视线跟踪可以例如包括估计视线方向(对应于视轴107)、视线会聚距离/会聚距离和/或估计注视点112。
3D显示器311、1000可以例如被包括在系统300中，或者可以被认为与系统300是分开的，例如结合图2B所进一步描述的远程显示器。
系统300包括被配置用于估计/确定/计算会聚距离的计算机320。计算机320可以进一步被配置用于通过发送控制信号到3D显示器311、1000来使得多个对象可视。计算机320可以进一步被配置用于从跟踪传感器312、313中获得例如指示注视点和/或会聚距离的视线跟踪信号或控制信号。换句话说，计算机320被配置用于获得用户正在看的对象的指示和/或用户正在看/观看的深度的指示。
例如，计算机320也可以例如被配置用于估计眼睛100(对应于视轴107的方向)的视线方向(或视线向量)、或眼睛100的注视点112。
计算机320可以例如是与3D显示器311、1000一体的，或者可以是与3D显示器311、1000分开的。计算机320可以进一步例如是与一个或多个视线跟踪传感器312、313一体的，或者可以是与一个或多个视线跟踪传感器312、313分开的。计算机320可以例如经由有线或无线连接被通信地连接到3D显示器311、1000和/或一个或多个视线跟踪传感器312、313。例如，计算机320可以被通信地连接到(多个)摄像头312中的所选择的任何摄像头、连接到3D显示器311和/或连接到(多个)照明器313。计算机320可以进一步被配置用于控制或触发3D显示器311以显示用于校准视线跟踪的测试刺激点314。
(多个)摄像头312和/或(多个)照明器313可以例如是红外或近红外照明器，例如是发光二极管(LED)的形式。然而，也可以设想其他类型的照明器。图3示出了位于显示器311任一侧的示例性(多个)摄像头312和/或(多个)照明器313，但是(多个)摄像头312和/或(多个)照明器313可以位于其他地方。3D显示器210可以例如包括分布在显示器311周围的照明器313。摄像头312和/或照明器313可以附加地或替代地位于远离用户230的位置，例如在远程3D显示器处。
摄像头312可以例如是电荷耦合器件(CCD)摄像头或互补金属氧化物半导体(CMOS)摄像头。然而，也可以设想其他类型的摄像头。
3D显示器311可以例如包括一个或多个液晶显示器(LCD)或一个或多个LED显示器。然而，也可以设想其他类型的显示器。3D显示器311可以例如是平面的或曲面的。3D显示器311可以例如被放置在用户的一只眼睛的前方。换句话说，针对左眼和右眼可以采用单独的显示器。针对左眼和右眼可以例如采用单独的设备/一个或多个视线跟踪传感器(比如摄像头312和照明器313)。
可以采用单个计算机320，或多个计算机可以协作以执行本文描述的方法。系统300可以例如单独地执行对左眼和右眼的视线跟踪，然后可以将组合的注视点确定为针对左眼和右眼确定的注视点的平均值。
结合图4进一步描述计算机的细节。
应当理解，提供以上参照图3所描述的系统300作为实例，并且可以设想许多其他系统。例如，一个或多个视线跟踪传感器，比如(多个)照明器313和/或(多个)摄像头312，不一定被认为是系统300的一部分。系统300可以例如仅由3D显示器311和/或计算机320构成。
图4示出了根据本公开的实施例的计算机320。计算机320可以是以下中的任一个的选择的形式：一个或多个电子控制单元、服务器、机载计算机、数字信息显示器、固定计算设备、膝上型计算机、平板计算机、手持式计算机、腕戴计算机、智能手表、PDA、智能手机、智能电视、电话、媒体播放器、游戏控制台、车载计算机系统或导航设备。计算机320可以包括处理电路321。
计算机320可以进一步包括通信接口324，例如无线收发器324和/或有线/无线通信网络适配器，该通信接口被配置用于向或从处理电路321、向或从其他计算机和/或向或从其他通信网络节点或单元(例如向/从视线跟踪传感器312、313和/或向/从3D显示器311和/或向/从服务器)发送和/或接收作为信号的数据值或参数。在实施例中，通信接口324直接在控制单元、传感器与其他通信网络节点之间或经由通信网络进行通信。比如收发器等通信接口324可以被配置用于有线和/或无线通信。在实施例中，通信接口324使用有线和/或无线通信技术进行通信。有线或无线通信技术可以包括CAN总线、蓝牙、WiFi、GSM、UMTS、LTE或LTE高级通信网络或本领域已知的任何其他有线或无线通信网络中的任何一种。
此外，通信接口324可以进一步包括至少一个可选的天线(图中未示出)。天线可以耦接到通信接口324，并且被配置用于在无线通信系统中传送和/或发射和/或接收无线信号，例如向/从一个或多个传感器、3D显示器311或任何其他控制单元或传感器发送/接收控制信号。
在一个实例中，处理电路321可以是处理器和/或中央处理单元和/或处理器模块和/或被配置用于相互协作的多个处理器的选择中的任一个。此外，计算机320可以进一步包括存储器322。
在一个实例中，一个或多个存储器322可以包括以下的选择：硬件RAM、磁盘驱动器、软盘驱动器、磁带驱动器、光盘驱动器、CD或DVD驱动器(R或RW)或其他可移除或固定的媒体驱动器。存储器322可以包含可由处理电路执行以执行本文描述的任何方法和/或方法步骤的指令。
在一个或多个实施例中，计算机320可以进一步包括输入设备327，该输入设备被配置用于从用户接收输入或指示并且向处理电路321发送指示用户输入或指示的用户输入信号。
在一个或多个实施例中，计算机320可以进一步包括显示器328，该显示器被配置用于从处理电路321接收显示信号，该显示信号指示比如文本或图形用户输入对象等经渲染的对象，并将接收到的信号作为比如文本或图形用户输入对象等对象而显示。
在一个实施例中，显示器328是与用户输入设备317一体的，并且被配置用于从处理电路321接收显示信号，所述显示信号指示比如文本或图形用户输入对象等经渲染的对象，并将接收到的信号显示为比如文本或图形用户输入对象等的对象，和/或被配置用于从用户接收输入或指示，并向处理电路321发送指示用户输入或指示的用户输入信号。在实施例中，处理电路321被通信地耦接到存储器322和/或通信接口324和/或输入设备327和/或显示器328和/或一个或多个视线跟踪传感器。计算机320可以被配置用于直接从传感器或经由有线和/或无线通信网络接收传感器数据。
在另一实施例中，计算机320可以进一步包括和/或耦接到一个或多个附加传感器(未示出)，该一个或多个附加传感器被配置用于接收和/或获得和/或测量与用户或用户所处的环境有关的物理属性并向处理电路321发送一个或多个指示物理属性的传感器信号，例如指示用户的头部位置的传感器数据。
图5A和图5B图展示了根据一个或多个实施例的注视点540的确定。本文描述的方法涉及使用视线跟踪功能来分析与计算机控制系统交互的用户的注视点540。使用注视点540可以确定或选择或识别多个可视的对象511、521、331中的、用户正在观看的对象511。术语“可视的对象”可以指的是计算机控制系统的用户可以将其视线朝向的任何可视的对象或可视的区域。在本公开中，两个或更多个连续的测量的和/或确定的注视点可以被称为测量分布510，例如具有“注视点云”510的形状，如图5A和图5B所示。
图5A示出了包括或可视化表示三个可视的对象511、521、531以及测量分布510的3D显示器311，其中测量分布包括在显示器311上的多个测量的注视点/位置，如图5A和图5B中的分布510中的点所示。
图6图示了包括多个测量的和/或计算的注视点的测量分布。更具体地，在图6中示出了包括多个测量的或计算的注视点640的测量分布610、以及实际的注视点600，换句话说，用户实际正在看的3D显示器311中的点或位置。3D显示器311当然可以包括任何合适数量的可视的对象。从图6可以看出，实际的注视点600可以不在测量的注视分布610的边界内。这是由在实际的注视点600与测量分布610之间的偏移引起的。
图5A中的注视点510的测量分布部分地位于可视化对象511、521、531上和它们之间。
在一些情况下，分布510/610的测量的注视点并非被全部位于可视的对象上，而是部分地位于两个或多个可视的对象511、521上和在它们之间。在一个或多个实施例中，从可视的对象511、521、531中确定或识别一个对象的步骤则包括：计算落入可视的对象511、521、531中的每个对象的边界内的所有测量的注视点和/或确定所有测量的注视点所在的选择区域，例如图6中由虚线指示的区域611。该方法可以进一步包括选择、确定或识别可视的对象511、521、531中的、在对象的周界内具有最大量的重叠的测量的注视点的对象，或者选择、确定或识别这样的对象：其中该对象的周界与选择区域611具有最大的重叠区域(即，由该对象的周界形成并与选择区域611重叠的最大的区域)。
在本发明的上下文中，选择区域611是针对特定的对象而定义的区域，其中该选择区域至少部分地与对象的区域重叠。典型地，选择区域与对象的区域重合或包括对象的区域。选择区域的大小取决于对象的权重，该权重基于交互元素的属性、交互情境、用户的心理属性和人眼的生理属性。交互情境与用户在当前情境中如何使用交互元素有关。在这种情况下，当前情境可以是用户正在寻找/搜索显示器上呈现的某些东西、想要激活某个功能、想要阅读、平移或滚动等。例如，如果已知用户想要选择或激活对象，则通过用户提供指示这种意愿的手动输入，通过基于统计的假设等，任何可选择的对象可以例如被分配更高的权重或在可视化内容中被突出显示，使得用户更容易选择它们。在这种情况下，比如滚动区域、文本区域或图像等其他对象可以被分配较低的权重或被停用。在另一个实例中，如果用户正在阅读、平移或滚动文本(这同样是从用户输入中得知的，并通过基于统计的假设等)，则任何可选择的对象可以被分配较低的权重或被停用、和/或任何突出显示可以被去除，使得用户不会分心。
在一个实施例中，如果用户的视线被测量或确定为指向所定义的选择区域内的某个点，则选择连接到选择区域的对象。
在实施例中，基于注视点540、640确定可视的对象511、521、531中的、用户正在观看的对象511的步骤包括：计算所有测量的注视点和/或所有测量的注视点所在的区域。在实施例中，该方法进一步包括选择、确定或识别在对象的边界内或在所定义的选择区域的边界内具有以下内容的对象：最大量的重叠的测量的注视点，或与所有测量的注视点都在的区域相重合的最大的区域。
由于在实际的注视点与测量的注视点之间可能存在偏移，因此在一些情况下单独使用这个方法可能导致错误交互元素的确定。该方法可以有利地与本文中的其他方法实施例组合以提供进一步改善的结果。
图7示出了根据本公开的一个或多个实施例的方法的流程图。方法300可以由计算机320执行，并且该方法包括：
步骤710：使用3D显示器311、100使多个对象511、521、531可视化。多个对象511、521、531中的每个对象可以在已知的三维(3D)位置处被可视化。
参照图10A-B进一步描述了使多个对象511、521、531可视化的实例。如前面进一步所述，可以使用头戴式显示器210来使多个对象511、521、531可视化。
步骤720：基于注视点确定可视的对象511、521、531中的、用户正在观看的对象511。结合图5和图6进一步描述确定对象511。
步骤730：获得指示用户正在观看的深度的视线会聚距离。结合图8和图9进一步描述获得视线会聚距离。
步骤740：基于所确定的对象511获得参考距离和/或参考会聚距离。参考距离和/或参考会聚距离可以进一步基于所确定的对象511的3D位置。
在一个实例中，所确定的对象511与对象标识ID、坐标系和/或三维模型以及对象相对于3D显示器311、1000的用户的位置相关联。参考会聚距离则可以被计算和/或确定为从用户/3D显示器311、1000的位置到对象的位置的欧几里得距离或向量长度。
步骤750：使用所获得的视线会聚距离和参考会聚距离来计算更新的会聚距离。
在一个实施例中，校正后的会聚距离被计算为等于参考会聚距离。在一个实施例中，该方法进一步包括将差值计算为所获得的视线会聚距离与参考距离和/或参考会聚距离之间的差。在一个或多个实施例中，该方法进一步包括使用差值来校准一个或多个视线跟踪传感器312、313。结合图8和图9进一步显示了对一个或多个视线跟踪传感器进行校准。
根据本发明的一些方面，使用3D显示器311、1000(比如多焦点立体显示器)来使可视的对象511、521、531可视。当使用3D显示器时，与预期对象的感知相比，用户经常感觉到可视的对象的变形。这种畸变的可能的原因是计算机使图像在一个表面(比如屏幕)上可视。因此，眼睛聚焦在显示器的深度上，而不是聚焦在所描绘场景中对象的深度上。这种视觉辐辏和调节的分离(也被称为辐辏调节冲突)降低了用户融合双眼刺激点的能力，并引起了观看者的不适和疲劳。
本公开通过使用更新的会聚距离来选择具有多个焦平面的多焦点3D显示器中的某个焦平面来解决这个问题。这具有以下优点：减少了视觉辐辏调节冲突的影响、减少了识别立体刺激点所需的时间、增加了限时任务中的立体感敏锐度、减少了感知深度的畸变、以及减少了用户疲劳和不适。
因此，在一个实施例中，该方法进一步包括使用更新的会聚距离来选择多焦点3D显示器311、1000的焦平面。
根据本发明的另一方面，更新的会聚距离用于随后确定从可视的对象511、521、531中选择的对象511。在一个实施例中，图7中的方法进一步包括随后使用更新的会聚距离来确定可视的对象511、521、531中的其它对象521、531。
参考图10A-B，在一个实例中，两个可视的对象1021、1031可以被定位成在由X-Y轴形成的平面中彼此相对靠近，但在深度上或沿Z轴分开。更新的会聚距离可以用于校准一个或多个视线跟踪传感器，并且视线会聚距离和/或更新的会聚距离可以用于从两个可视的对象1021、1031中区分或选择某个对象。
如前所述，每只眼睛都可以被视为具有视轴107。当用户正在观看对象时，两条视轴将在3D空间中会聚、相交或在它们不相交的情况下达到最小的距离(这如果在3D中观察则是常见的)，由此定义了会聚点330。根据本发明的一方面，例如可以计算从眼睛320A、320B到会聚点330的视线会聚距离，或者通过计算从在第一只眼睛320A与第二只眼睛320B之间的法线到会聚点330的深度310C来计算视线会聚距离。
图8图示了根据本公开的一个或多个实施例的基于视轴计算的会聚距离。在该图中，用户具有两只眼睛320A、320B，并且正在使用比如立体显示器、远程眼睛跟踪设备和/或远程显示器等3D显示器311、1000。每只眼睛可以与视轴107A、107B相关联。会聚点330可以被确定为视轴107A、107B的相交点。然后可以计算从用户到会聚点330的深度310A-C。视线会聚距离可以被计算为从第一眼睛320A到会聚点330的深度/距离310A、可以被计算为从第二眼睛320B到会聚点330的深度/距离310B，或视线会聚距离通过计算从在第一眼睛320A与第二只眼睛320B之间的法线到会聚点330的深度/距离310C来计算。
图9图示了根据本公开的一个或多个实施例的基于眼间距离(IOD)和瞳孔间距离(IPD)计算的会聚距离。在一个实施例中，使用指示在用户的双眼之间的距离的眼间距离(IOD)和指示用户的瞳孔之间的瞳孔间距离(IPD)以及预定的函数来获得视线会聚距离。
在一个实例中，预定的函数是以查找表或其他能够使用一对IOD和IPD值来识别特定会聚距离的数据结构的形式实现的。可以通过在允许用户聚焦于不同深度的对象的同时监视测量的IOD和IPD值来建立或创建查找表或其他数据结构。
参考图4，在本公开的其他方面提供了计算机320。该计算机包括与3D显示器和/或3D显示器210的接口324。在实施例中，3D显示器210可以被包括在计算机中或者计算机可以被包括在3D显示器210中。计算机进一步包括处理器321和存储器322，所述存储器包含可由所述处理器321执行的指令，通过执行该指令，所述计算机能操作以通过向3D显示器210发送控制信号而使用3D显示器210在已知三维(3D)位置处使多个对象511、521、531中的每一个可视。计算机进一步能操作以基于注视点来确定可视的对象511、521、531中的、用户正在观看的某个对象511。计算机进一步能操作以获得指示用户正在观看的深度的视线会聚距离、基于所确定的对象511的3D位置来获得参考距离、使用所获得的视线会聚距离和参考距离来计算更新的会聚距离。
在一个实施例中，3D显示器311、1000包括多焦点3D显示器，其中计算机被进一步配置用于使用更新的会聚距离来选择3D显示器311、1000的焦平面。
在一个实施例中，计算机320被进一步配置用于随后使用更新的会聚距离来确定可视的对象511、521、531中的其它对象521、531。
在一个实施例中，计算机320被进一步配置用于通过计算从眼睛320A、320B到会聚点330的深度310A、310B或通过计算从在第一眼睛320A与第二眼睛320B之间的法线到会聚点330的深度310C来获得视线会聚距离。
在一个实施例中，计算机320被进一步配置用于通过使用指示用户的双眼之间的距离的眼间距离IOD和指示用户的瞳孔之间的距离的瞳孔间距离IPD以及预定的函数来获得视线会聚距离。
在一个实施例中，提供了一种计算机程序，该计算机程序包括计算机可执行指令，当在包括在计算机320中的处理单元上执行这些计算机可执行指令时使计算机320执行本文描述的方法中的任何方法步骤。
在一个实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有包含在其中的计算机程序。
图10A-B图示了根据本公开的一个或多个实施例的多个对象1011、1021、1031通过3D显示器1000的可视化。图10A示出了可视化的向量图像版本，图10B示出了可视化的灰度图像版本。对象通过3D显示器的可视化描绘了一个场景，其中瓶子被放置在各种其他对象或物品上。每个对象1011、1021、1031与对象标识、ID以及坐标系和/或三维模型的3D位置相关联。每个对象1011、1021和1031可以进一步与选择区域1012、1022、1032相关联，如结合图5和图6进一步描述的。
在一个实例中，针对左眼使用第一投影将对象的3D位置转换到显示器中的某个位置，并且针对右眼使用第二投影将该位置转换到第二显示器中的某个位置，由此使用户230看到3D形式的对象。
基于注视点确定可视的对象1011、1021、1031中的、用户正在观看的某个对象1011，如结合图5和图6进一步描述的。在这个实例中，当注视点或大多数注视点落在与瓶子相关联的选择区域1012内时，可以确定用户正在观看瓶子1011。然后例如通过响应于登记的成对的IPD/IOD值分析预定的函数/关系的输出来获得指示用户正在观看的深度的视线会聚距离。然后基于所确定的对象1011的3D位置获得参考距离。例如通过计算从用户的眼睛320A-B到眼睛320A和320B的视轴的会聚点的欧几里得距离或向量。然后使用获得的视线会聚距离和参考距离(即通过用参考距离来更新获得的视线会聚距离)来计算更新的会聚距离。
在对象的随后的可视化中，可以使用多焦点3D显示器1000的焦平面来将可视的对象1011、1021、1031中的任何一个可视化，使用更新后的会聚距离来选择焦平面(例如具有最接近的深度/距离的焦平面)，以最小化VAC。
在对象的随后的可视化中，可以使用更新的会聚距离来确定可视化对象1011、1021、1031中的任何一个。例如通过使用一个或多个使用更新后的会聚距离校准的视线跟踪传感器312、313来获得更准确的确定结果。
在实施例中，通信网络使用有线或无线通信技术进行通信，这些有线或无线通信技术可以包括以下至少一种：局域网(LAN)、城域网(MAN)、全球移动网络系统(GSM)、增强数据GSM环境(EDGE)、通用移动电信系统、长期演进、高速下行分组接入(HSDPA)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、
Wi-Fi、互联网语音传输协议(VoIP)、高级LTE、IEEE802.16m、高级WirelessMAN、演进高速分组接入(HSPA+)、3GPP长期演进(LTE)、移动WiMAX(IEEE 802.16e)、超移动宽带(UMB)(以前的演进数据优化(EV-DO)版本)、具有无缝换手正交频分复用的快速低延迟接入(Flash-OFDM)、大容量空分多址
和移动宽带无线接入(MBWA)(IEEE 802.20)系统、高性能无线城域网(HIPERMAN)、波分多址(BDMA)、全球微波互联接入(Wi-MAX)和超声波通信等，但不限于此。
而且，本领域技术人员认识到，计算机320可以包括用于执行本发明解决方案的呈例如功能、装置、单元、元件等形式的必要通信能力。其他这样的装置、单元，元件和功能的实例是：处理器、存储器、缓冲器、控制逻辑、编码器、解码器、速率匹配器、解速率匹配器、映射单元、乘法器、决策单元、选择单元、开关、交织器、解交织器、调制器、解调器、输入、输出、天线、放大器、接收机单元、发射机单元、DSP、MSD、编码器、解码器、电力供应单元，电力馈线、通信接口、通信协议等，它们被适当地布置在一起用于执行本发明的解决方案。
特别地，本发明的处理电路可以包括以下的一个或多个实例：处理器和/或处理装置、处理器模块和被配置成相互协作的多个处理器、中央处理单元(CPU)、处理单元、处理电路、处理器、专用集成电路(ASIC)、微处理器、现场可编程门阵列(FPGA)或其他可以解释和执行指令的处理逻辑。因此，表述“处理电路”可以表示包括多个处理线路的处理电路，例如，上面提到的处理电路中的任何一个、一些或全部。处理装置可以进一步执行用于数据的输入、输出和处理的数据处理功能，包括数据缓冲和设备控制功能，比如呼叫处理控制、用户界面控制等。
最后，应该理解，本发明不限于上述实施例，而是还涉及并结合了所附独立权利要求范围内的所有实施例。
Claims (12)
1.一种由计算机(320)执行的方法(700)，所述方法包括：
使用3D显示器(311，1000)使多个对象(511，521，531，1011，1021，1031)中的每一个对象在已知的3D位置处可视，
基于注视点来确定所述可视的对象(511，521，531，1011，1021，1031)中的、用户正在观看的对象(511，1011)，
获得指示所述用户正在观看的深度的视线会聚距离，
基于所确定的对象(511，1011)的3D位置来获得参考距离，
使用所获得的视线会聚距离和所述参考距离来计算更新的会聚距离。
2.根据权利要求1所述的方法，进一步包括使用所述更新的会聚距离来选择多焦点3D显示器(311，1000)的焦平面。
3.根据前述权利要求中的任一项所述的方法，进一步包括随后使用所述更新的会聚距离来确定所述可视的对象中的进一步的对象(1021，1031)。
4.根据前述权利要求中的任一项所述的方法，其中通过计算从眼睛(320A，320B)到会聚点(330)的深度(310A，310B)或通过计算从在第一眼睛(320A)与第二眼睛(320B)之间的法线到所述会聚点(330)的深度(310C)来获得所述视线会聚距离。
5.根据前述权利要求中的任一项所述的方法，其中使用指示所述用户的双眼之间的距离的眼间距离(IOD)和指示所述用户的瞳孔之间的瞳孔间距离(IPD)以及预定的函数来获得所述视线会聚距离。
6.一种计算机(320)，所述计算机包括：
与三维3D显示器(311，1000)耦接的接口(324)，
处理器(321)；以及
存储器(322)，所述存储器包含可由所述处理器(321)执行的指令，其中所述计算机能操作以：
通过向所述3D显示器(311，1000)发送控制信号，来使用所述3D显示器(311，1000)使多个对象(511，521，531，1011，1021，1031)中的每一个对象在已知三维3D位置处可视，
基于注视点确定所述可视的对象中的、用户正在观看的对象(511，1011)，
获得指示所述用户正在观看的深度的视线会聚距离，
基于所确定的对象(511，1011)的3D位置来获得参考距离，
使用所获得的视线会聚距离和所述参考距离来计算更新的会聚距离。
7.根据权利要求6所述的计算机，其中所述3D显示器(311，1000)是多焦点3D显示器，其中所述计算机被进一步配置用于使用所述更新的会聚距离来选择所述3D显示器(210)的焦平面。
8.根据前述权利要求中任一项所述的计算机，其中该计算机被进一步配置用于随后使用所述更新的会聚距离来确定所述可视的对象(1011，1021，1031)中的进一步的对象(1021，1031)。
9.根据前述权利要求中任一项所述的计算机，其中所述计算机被进一步配置用于通过计算从眼睛(320A，320B)到会聚点(330)的深度(310A，310B)或通过计算从在所述第一眼睛(320A)与所述第二眼睛(320B)之间的法线到所述会聚点(330)的深度(310C)来获得所述视线会聚距离。
10.根据前述权利要求中任一项所述的计算机，其中所述计算机被进一步配置用于通过使用指示所述用户的双眼之间的距离的眼间距离(IOD)和指示所述用户的瞳孔之间的距离的瞳孔间距离(IPD)以及预定的函数来获得所述视线会聚距离。
11.一种计算机程序，所述计算机程序包括计算机可执行指令，当所述计算机可执行指令在包括在计算机(320)中的处理电路(321)上执行时，使所述计算机(320)执行根据权利要求1至5所述的任何方法步骤。
12.一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有包含在其中的根据权利要求11所述的计算机程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| SE1851663-3 | 2018-12-21 | ||
| SE1851663 | 2018-12-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111479104A true CN111479104A (zh) | 2020-07-31 |
Family
ID=71746269
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911324930.1A Pending CN111479104A (zh) | 2018-12-21 | 2019-12-20 | 用于计算视线会聚距离的方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200257360A1 (zh) |
| CN (1) | CN111479104A (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10871823B1 (en) * | 2019-05-23 | 2020-12-22 | Facebook Technologies, Llc | Systems and methods for using scene understanding for calibrating eye tracking |
| CN113467605B (zh) | 2020-03-31 | 2024-04-02 | 托比股份公司 | 用于对可视化数据进行预处理的方法、计算机程序产品和处理电路系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105247447A (zh) * | 2013-02-14 | 2016-01-13 | 眼球控制技术有限公司 | 眼睛跟踪校准系统及方法 |
| CN106133750A (zh) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | 用于确定视线方向的3d图像分析器 |
| US20170148215A1 (en) * | 2015-11-19 | 2017-05-25 | Oculus Vr, Llc | Eye Tracking for Mitigating Vergence and Accommodation Conflicts |
| CN107077002A (zh) * | 2014-10-23 | 2017-08-18 | 索尼互动娱乐股份有限公司 | 虚拟图像距离改变装置、虚拟图像距离改变方法以及程序 |
-
2019
- 2019-12-20 CN CN201911324930.1A patent/CN111479104A/zh active Pending
- 2019-12-23 US US16/726,171 patent/US20200257360A1/en not_active Abandoned
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105247447A (zh) * | 2013-02-14 | 2016-01-13 | 眼球控制技术有限公司 | 眼睛跟踪校准系统及方法 |
| CN106133750A (zh) * | 2014-02-04 | 2016-11-16 | 弗劳恩霍夫应用研究促进协会 | 用于确定视线方向的3d图像分析器 |
| CN107077002A (zh) * | 2014-10-23 | 2017-08-18 | 索尼互动娱乐股份有限公司 | 虚拟图像距离改变装置、虚拟图像距离改变方法以及程序 |
| US20170148215A1 (en) * | 2015-11-19 | 2017-05-25 | Oculus Vr, Llc | Eye Tracking for Mitigating Vergence and Accommodation Conflicts |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200257360A1 (en) | 2020-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9804395B2 (en) | Range calibration of a binocular optical augmented reality system | |
| US20220130124A1 (en) | Artificial reality system with varifocal display of artificial reality content | |
| US9961335B2 (en) | Pickup of objects in three-dimensional display | |
| US12105875B2 (en) | Display systems and methods for determining vertical alignment between left and right displays and a user's eyes | |
| CN111886564B (zh) | 信息处理装置、信息处理方法和程序 | |
| WO2012137801A1 (ja) | 入力装置及び入力方法並びにコンピュータプログラム | |
| WO2021118745A1 (en) | Content stabilization for head-mounted displays | |
| KR20160094190A (ko) | 시선 추적 장치 및 방법 | |
| US20160247322A1 (en) | Electronic apparatus, method and storage medium | |
| US11561392B2 (en) | Method for generating and displaying a virtual object by an optical system | |
| US20190073820A1 (en) | Ray Tracing System for Optical Headsets | |
| CN111479104A (zh) | 用于计算视线会聚距离的方法 | |
| CN106708249B (zh) | 交互方法、交互装置及用户设备 | |
| JP2017191546A (ja) | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 | |
| CN115997159B (zh) | 使用移动设备确定眼睛旋转中心的位置的方法 | |
| CN107884930B (zh) | 头戴式装置及控制方法 | |
| US11934571B2 (en) | Methods and systems for a head-mounted device for updating an eye tracking model | |
| EP4434439A1 (en) | An eye tracking system and methods of using an eye tracking system | |
| CN114859561B (zh) | 一种可穿戴显示设备及其控制方法、存储介质 | |
| EP4443217A1 (en) | Calculation module, system and method for determining production parameters of an optical element | |
| EP3906669B1 (en) | Detecting eye tracking calibration errors | |
| JP2023179017A (ja) | 電子機器 | |
| KR20230081693A (ko) | 증강현실 제공 장치 및 이의 동작 방법 | |
| CN115525139A (zh) | 在头戴式显示设备中获取注视目标的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200731 |
|
| RJ01 | Rejection of invention patent application after publication |