CN108519824B - 一种虚拟现实显示装置、设备及视线角度计算方法 - Google Patents

一种虚拟现实显示装置、设备及视线角度计算方法 Download PDF

Info

Publication number
CN108519824B
CN108519824B CN201810330864.8A CN201810330864A CN108519824B CN 108519824 B CN108519824 B CN 108519824B CN 201810330864 A CN201810330864 A CN 201810330864A CN 108519824 B CN108519824 B CN 108519824B
Authority
CN
China
Prior art keywords
user
display device
display screen
virtual reality
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810330864.8A
Other languages
English (en)
Other versions
CN108519824A (zh
Inventor
马占山
田文红
王晨如
张�浩
井颢然
孙志宇
郑超
赵斌
葛峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810330864.8A priority Critical patent/CN108519824B/zh
Publication of CN108519824A publication Critical patent/CN108519824A/zh
Priority to PCT/CN2019/080858 priority patent/WO2019196694A1/zh
Priority to US16/498,687 priority patent/US11429184B2/en
Application granted granted Critical
Publication of CN108519824B publication Critical patent/CN108519824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种虚拟现实显示装置，包括用于向用户显示画面的显示屏、至少一个红外光源以及红外摄像头；所述红外摄像头设于所述显示屏背离用户眼部的一侧，用于采集用户眼部在所述至少一个红外光源照射下的眼部图像，本发明还公开一种视线角度计算方法以及一种包括该虚拟现实显示装置的显示设备，本发明降低了显示装置眼球追踪功能对红外摄像头的要求，从而降低成本，且提高了眼球的成像质量，避免了拍摄盲区，进而提高了眼球追踪精度。

Description

一种虚拟现实显示装置、设备及视线角度计算方法
技术领域
本发明涉及显示技术领域。更具体地，涉及一种虚拟现实显示装置、设备及视线角度计算方法。
背景技术
虚拟现实(Virtual Reality，VR)技术，是以沉浸性、构想性为基本特征，采用计算机技术为核心的依赖于图形、图像处理手段生成的一种虚拟环境，从而通过模拟人的视觉、听觉和触觉等获得与真实世界相同的感受。
目前的VR设备通常具有眼球追踪功能，将红外摄像头设置于VR设备靠近用户的一侧，直接或间接拍摄用户眼部的图像，从而获得瞳孔位置，但是为了不影响用户视线，红外摄像头的位置需远离用户视线范围，对于红外摄像头的视角和尺寸要求高，成本高，且成像质量差。
发明内容
为了解决以上问题的至少之一，本发明的一个目的在于提供一种虚拟现实显示装置，将红外摄像头及红外光源设于VR设备远离用户的一侧，不影响用户视野，降低了对红外摄像头的要求，从而降低成本，且提高了眼球的成像质量，进而提高了眼球追踪精度，本发明的另一个目的在于提供一种视线角度计算方法，本发明的还一个目的在于提供一种包括该虚拟现实显示装置的显示设备。
为达到上述目的，本发明采用下述技术方案：
本发明一方面公开了一种虚拟现实显示装置，包括用于向用户显示画面的显示屏、至少一个红外光源以及红外摄像头；
所述红外摄像头设于所述显示屏背离用户眼部的一侧，用于采集用户眼部在所述至少一个红外光源照射下的眼部图像。
优选地，所述显示屏的背离用户眼部的一侧设有支撑板；
所述支撑板上固定有所述红外摄像头。
优选地，所述支撑板靠近所述显示屏的一侧固定有至少一个可见光源。
优选地，所述显示屏靠近所述支撑板的一侧表面的边缘设有至少一个可见光源；
所述至少一个可见光源与所述支撑板间进一步设有透射红外光、反射可见光的半透半反膜。
优选地，所述支撑板靠近所述显示屏的一侧设有所述至少一个红外光源。
优选地，红外光源为四个，均布于所述红外摄像头的周围。
优选地，所述红外摄像头设于所述支撑板对应所述显示屏中央的位置。
优选地，所述显示装置进一步包括镜筒；
所述镜筒远离用户眼部的一端设有所述显示屏，靠近用户眼部的一端设有所述至少一个红外光源。
本发明另一方面公开了一种视线角度计算方法，包括
通过如上所述的虚拟现实显示装置采集用户眼部在至少一个红外光源照射下的眼部图像；
处理所述眼部图像得到眼部图像上的瞳孔位置；
根据所述瞳孔位置计算用户的视线角度。
本发明还一方面公开了一种显示设备，包括如上所述的虚拟现实显示装置。
本发明的有益效果如下：
本发明的虚拟现实显示装置将红外摄像头设置于显示屏背离用户眼部的背面，不会阻挡用户观看显示屏上画面的视线，从而红外摄像头可设置于便于拍摄用户眼部图像的区域，减少了对红外摄像头视角和尺寸的要求，从而可降低成本，红外摄像头的成像角度及质量更优，可拍摄用户整个眼部的照片，避免了存在拍摄盲点的现象，高了眼球追踪的精度。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出现有技术中的虚拟现实显示装置的示意图；
图2示出本发明一种虚拟现实显示装置一个具体实施例的示意图；
图3示出图2中虚拟现实显示装置的分解示意图；
图4示出图2中虚拟现实显示装置的支撑板的示意图；
图5示出本发明一种虚拟现实显示装置另一个具体实施例的分解示意图；
图6示出图5中虚拟现实显示装置的支撑板的示意图；
图7示出本发明一种视线角度计算方法一个具体实施例的流程图；
图8示出适用于实现本发明视线角度计算方法的计算机设备的结构示意图；
附图说明：
11、镜筒，12、显示屏，13、透镜，14、红外摄像头，15、红外光源；
21、镜筒，22、显示屏，23、透镜，24、红外摄像头，25、红外光源，26、支撑板，27、开口，28、可见光源，29、半透半反膜；
32、显示屏，34、红外摄像头，36、支撑板，38、可见光源。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
图1示出现有技术中的虚拟现实显示装置的示意图。如图1所示，现有技术中，虚拟现实显示装置包括镜筒11以及设于镜筒11两侧的透镜13和显示屏12，显示屏12显示的画面通过透镜13在用户的眼中成像，从而用户可观看到显示屏12上显示的内容。
为了实现显示装置的眼球追踪功能，在镜筒11靠近用户眼部一侧设置红外光源15和红外摄像头14。为了避免用户在观看显示屏12时看到红外摄像头14，影响用户的视觉体验，通常将红外摄像头14设置于镜筒11视线中心的边缘区域，且要求红外摄像头14的尺寸很小，避免用户看到红外摄像头14，降低视线体验。
但是这种红外摄像头14设置方式，使红外摄像头14偏向用户眼部的一侧，对红外摄像头14的视角要求较高，可能导致在一些用户视线角度下拍摄不到瞳孔，造成视角盲点。同时由于拍摄角度的问题，也易导致拍摄的红外图像质量差，图像畸变严重，造成眼球追踪精度低，例如图1中的红外摄像头14位于眼部的下方，当用户视线向远离红外摄像头14方面转动时，可能导致红外摄像头14拍摄不到包括瞳孔的照片，从而无法实现眼球追踪功能。而现有技术中，也有一些VR装置通过反射板等结构延长光路，从而缩小红外摄像头14与用户视轴的角度，但是设置反射板导致装置的成本增加，且结构组装的精度要求较高，工艺复杂。此外，将红外摄像头14设置于用户的近眼端，在显示装置与处理器连接进行图像处理时，与处理器的距离较远，红外摄像头14拍摄的图像在远距离传输中的信号衰减较大，易导致图像处理过程的不准确，降低眼球追踪的精度。
为了解决以上问题的至少之一，根据本发明的一个方面，公开了一种虚拟现实显示装置的一个具体实施例，如图2和图3所示，该装置包括用于向用户显示图像的显示屏22，显示屏22背离用户眼部的一侧设有红外摄像头24，装置进一步还设有用于照亮用户眼部的至少一个红外光源25。其中，红外摄像头24可采集用户眼部在所述至少一个红外光源25照射下的眼部图像。红外摄像头24位于显示装置显示屏22远离用户眼部的一侧，用户在正常观看显示屏22的显示图像时，不会看到显示屏22后的红外摄像头24，从而增加了红外摄像头24设置位置的灵活性，使红外摄像头24可以设置于靠近用户视轴的位置，大大降低了对红外摄像头24的视角大小和尺寸大小的要求，可使红外摄像头24的镜头视角(FOV)降低至30゜以下，降低了红外摄像头24的选用成本。此外，红外摄像头24与用户视轴的夹角变小，可提高拍摄的用户眼部图像的图像质量，降低图像畸变，消除拍摄盲点，提高眼球追踪过程的计算准确度。
在可选地实施方式中，显示屏22可固定在镜筒21上，显示屏22设置于镜筒21远离用户眼部的一端，显示屏22靠近用户眼部的一端设有透镜23，显示屏22上显示的画面可通过透镜23在用户眼部成像，使用户可正常观看显示屏22的画面，在实际应用中，显示屏22也可采用其他方式固定，并不限于以上方式。
在优选地实施方式中，显示屏22进一步可包括位于显示屏22背离用户眼部一侧的支撑板26，该支撑板26的大小优选地与显示屏22的大小对应，可为显示屏22提供支撑，并起到遮挡外界光的作用，防止外界光进入显示屏22影响显示屏22的正常显示。
所述支撑板26上进一步可固定红外摄像头24，使红外摄像头24用于采集图像的一侧暴露于所述支撑板26靠近所述显示屏22的一侧，从而使红外摄像头24可拍摄用户眼部在红外光照射下的眼部图像。
具体的，本实施例中，在支撑板26的中央镂空开口27，支撑板26背离用户眼部的外侧可固定一个红外摄像头24，并使红外摄像头24用于摄像的一侧从所述开口27中露出。在其他可选实施方式中，在显示装置结构允许的条件下，也可将红外摄像头24整个固定在支撑板26靠近显示屏22的一侧。
如图4所示，红外摄像头24可固定于支撑板26对应显示屏22中央的位置，在理想条件下，红外摄像头24可与用户的视轴重合，可达到良好的红外摄像头24成像质量，减小拍摄的眼部图像的畸变，消除拍摄盲点。
在优选地实施方式中，所述至少一个红外光源25可设置于支撑板26上，均布于红外摄像头24的周围，请再次参照图4，本实施例中，在红外摄像头24的周围均布四个红外光源25，该红外光源25可以是红外发光二极管等可以发射红外光的红外光器件或组件。在其他可选地实施方式中，所述至少一个红外光源也可设置在镜筒21靠近用户眼部的一端，只要红外光源可发出红外光照射用户眼部即可，本发明并不作限制。
在优选地实施方式中，显示屏22上可设置至少一个可见光源28，为显示屏22的正常显示提供背光。
请再次参照图3，本实施例中，显示屏22靠近支撑板26的一侧表面的边缘设有一个可见光源28，并进一步在该可见光源28与支撑板26间设置一个可透射红外光，反射可见光的半透半反膜29。该半透半反膜29可反射可见光，可见光源28发出的可见光经过该半透半反膜29可作为射入显示屏22的背光，同时，该半透半反膜29可透射红外光，设置于支撑板26上的红外光源25发出的红外光可透过半透半反膜29透射至用户眼部，并使用户眼部反射的红外光可经过半透半反膜29到达红外摄像头24，以形成眼部图像。
在另一个实施例中，如图5和图6所示，支撑板36靠近所述显示屏32的一侧固定有至少一个可见光源38，优选地，可见光源38可阵列排列，以提供均匀背光。通过采用设置于支撑板36上的阵列排列的可见光源36为显示屏32提供背光，将传统的侧光源替换为面光源，无需为侧光源设置反射可见光的反射膜以改变侧光源的光路而提供背光，红外光也可透射显示屏32到达红外摄像头34，使红外摄像头34可拍摄用户眼部的眼部图像，无需设置半透半反膜，结构简单，成本降低。
如图7所示，根据本发明的另一个目的，公开了一种视线角度计算方法的一个具体实施例，该方法10包括：
S100：通过如上所述的虚拟现实显示装置采集用户的眼部图像。具体的，可控制至少一个红外光源开启，并控制红外摄像头采集用户眼部在至少一个红外光源照射下的眼部图像。
S110：处理所述眼部图像得到瞳孔位置。眼部的瞳孔在红外光的照射下会形成红外亮斑，可获取红外摄像头采集的用户眼部的眼部图像，并处理所述眼部图像得到图像上眼部的瞳孔位置。
S120：根据所述瞳孔位置计算用户的视线角度。可根据预先设定的眼部图像上各位置与用户视线角度的对应映射关系以及所述瞳孔位置计算得到此时用户的视线角度。
根据本发明的还一个目的，公开了一种包括本实施例所述的虚拟现实显示装置的显示设备。该显示设备可以是VR头盔或VR眼镜等虚拟现实显示设备。
在可选地实施方式中，显示设备中进一步可包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的视线角度计算方法10。
通过将红外摄像头设置于显示屏的背面，减少了显示设备近眼端的部件设置。红外摄像头可通过柔性电路板(FPC)与处理器连接，位于显示器背面的红外摄像头与处理器间的距离缩短了，一方面缩短了用于数据连接FPC的长度，另一方面，也缩短了红外摄像头拍摄的眼部图像的传输距离，降低了图像信号在传输过程中的损失，提高了处理器获取的图像质量，使用户视线追踪更准确。
在其他可选地实施方式中，显示设备也可以与外部计算机设备信号连接，可通过有线或无线地连接方式与外部计算机设备建立信号连接关系。其中，计算机设备中可包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的视线角度计算方法10。
下面参考图8，其示出了一种计算机设备800的结构示意图。如图8所示，计算机设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的工作和处理。在RAM803中，还存储有系统800操作所需的各种程序和数据。CPU801、ROM802、以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口806。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装如存储部分808。
特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发送。例如两个接连地表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (8)

1.一种虚拟现实显示装置，其特征在于，包括用于向用户显示画面的显示屏、至少一个红外光源以及红外摄像头；
所述红外摄像头设于所述显示屏背离用户眼部的一侧，用于采集用户眼部在所述至少一个红外光源照射下的眼部图像；
所述显示屏的背离用户眼部的一侧设有支撑板；
所述支撑板上固定有所述红外摄像头；
所述红外摄像头设于所述支撑板对应所述显示屏中央的位置。
2.根据权利要求1所述的虚拟现实显示装置，其特征在于，所述支撑板靠近所述显示屏的一侧固定有至少一个可见光源。
3.根据权利要求1所述的虚拟现实显示装置，其特征在于，所述显示屏靠近所述支撑板的一侧表面的边缘设有至少一个可见光源；
所述至少一个可见光源与所述支撑板间进一步设有透射红外光、反射可见光的半透半反膜。
4.根据权利要求1-3任一项所述的虚拟现实显示装置，其特征在于，所述支撑板靠近所述显示屏的一侧设有所述至少一个红外光源。
5.根据权利要求4所述的虚拟现实显示装置，其特征在于，红外光源为四个，均布于所述红外摄像头的周围。
6.根据权利要求1-3任一项所述的虚拟现实显示装置，其特征在于，所述显示装置进一步包括镜筒；
所述镜筒远离用户眼部的一端设有所述显示屏，靠近用户眼部的一端设有所述至少一个红外光源。
7.一种视线角度计算方法，其特征在于，包括
通过如权利要求1-6任一项所述的虚拟现实显示装置采集用户眼部在至少一个红外光源照射下的眼部图像；
处理所述眼部图像得到眼部图像上的瞳孔位置；
根据所述瞳孔位置计算用户的视线角度。
8.一种显示设备，其特征在于，包括如权利要求1-6任一项所述的虚拟现实显示装置。
CN201810330864.8A 2018-04-13 2018-04-13 一种虚拟现实显示装置、设备及视线角度计算方法 Active CN108519824B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810330864.8A CN108519824B (zh) 2018-04-13 2018-04-13 一种虚拟现实显示装置、设备及视线角度计算方法
PCT/CN2019/080858 WO2019196694A1 (zh) 2018-04-13 2019-04-01 虚拟现实显示装置、显示设备及视线角度计算方法
US16/498,687 US11429184B2 (en) 2018-04-13 2019-04-01 Virtual reality display device, display device, and calculation method of line-of-sight angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810330864.8A CN108519824B (zh) 2018-04-13 2018-04-13 一种虚拟现实显示装置、设备及视线角度计算方法

Publications (2)

Publication Number Publication Date
CN108519824A CN108519824A (zh) 2018-09-11
CN108519824B true CN108519824B (zh) 2021-02-05

Family

ID=63432559

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810330864.8A Active CN108519824B (zh) 2018-04-13 2018-04-13 一种虚拟现实显示装置、设备及视线角度计算方法

Country Status (3)

Country Link
US (1) US11429184B2 (zh)
CN (1) CN108519824B (zh)
WO (1) WO2019196694A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655191B1 (ko) 2021-10-07 2024-04-05 주식회사 엘지유플러스 스마트 글래스 및 제어방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108519824B (zh) 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
CN109389082B (zh) * 2018-09-30 2021-05-04 北京旷视科技有限公司 视线采集方法、装置、系统、计算机可读存储介质
CN109766820A (zh) * 2019-01-04 2019-05-17 北京七鑫易维信息技术有限公司 一种眼球追踪装置、头戴式设备和眼部图像获取方法
CN112348964B (zh) * 2020-10-11 2024-06-04 中国运载火箭技术研究院 增强现实眼镜
CN112989964B (zh) * 2021-02-24 2023-03-28 歌尔股份有限公司 一种眼球追踪模组性能的检测装置、检测系统及检测方法
KR20220128726A (ko) * 2021-03-15 2022-09-22 삼성전자주식회사 머리 착용형 디스플레이 장치, 그 장치에서의 동작 방법 및 저장매체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN204836343U (zh) * 2015-08-25 2015-12-02 北京京东方显示技术有限公司 一种拍摄装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4560598B2 (ja) * 2003-02-12 2010-10-13 山本光学株式会社 異常探査支援装置
PL2242419T3 (pl) * 2008-02-14 2016-05-31 Nokia Technologies Oy Urządzenie i sposób określania kierunku spojrzenia
CN101840089B (zh) * 2009-03-17 2013-08-21 鸿富锦精密工业（深圳）有限公司 触控式显示装置
CN106680996A (zh) 2015-11-05 2017-05-17 丰唐物联技术（深圳）有限公司 头戴式虚拟现实显示器的显示方法及显示控制系统
CN105955491B (zh) * 2016-06-30 2020-07-10 北京上古视觉科技有限公司 一种具有眼控及虹膜识别功能的vr眼镜
KR102520143B1 (ko) * 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
CN110059585B (zh) * 2016-08-18 2023-10-24 瑞声光学解决方案私人有限公司 具虹膜采集功能的虚拟现实设备
US10990818B2 (en) * 2016-08-18 2021-04-27 Raytech Optical (Changzhou) Co., Ltd. Virtual reality device with iris acquisition function
CN107831593B (zh) 2017-12-08 2024-07-02 深圳创维新世界科技有限公司 增强现实显示光学系统及增强现实眼镜
CN108519824B (zh) 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103557859A (zh) * 2013-10-10 2014-02-05 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位系统
CN204836343U (zh) * 2015-08-25 2015-12-02 北京京东方显示技术有限公司 一种拍摄装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655191B1 (ko) 2021-10-07 2024-04-05 주식회사 엘지유플러스 스마트 글래스 및 제어방법

Also Published As

Publication number Publication date
CN108519824A (zh) 2018-09-11
WO2019196694A1 (zh) 2019-10-17
US11429184B2 (en) 2022-08-30
US20210365111A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN108519824B (zh) 一种虚拟现实显示装置、设备及视线角度计算方法
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
CN107787473B (zh) 自动校准穿戴式眼睛跟踪系统的独特反射镜片
CN107037587B (zh) 紧凑型增强现实/虚拟现实显示器
JP2019091051A (ja) 表示装置、およびフォーカスディスプレイとコンテキストディスプレイを用いた表示方法
EP3228072B1 (en) Virtual focus feedback
CA2820950C (en) Optimized focal area for augmented reality displays
US20040010803A1 (en) Anticipatory image capture for stereoscopic remote viewing with foveal priority
US20020181115A1 (en) Head mounted display with full field of view and high resolution
US11353955B1 (en) Systems and methods for using scene understanding for calibrating eye tracking
US10371998B2 (en) Display apparatus and method of displaying using polarizers and optical combiners
CN104898276A (zh) 头戴式显示装置
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
US10867174B2 (en) System and method for tracking a focal point for a head mounted device
WO2021082798A1 (zh) 一种头戴式显示设备
CN111929893B (zh) 一种增强现实显示装置及其设备
CN211528904U (zh) 透射式几何全息显示系统
CN113177434A (zh) 基于单眼球追踪的虚拟现实系统注视渲染方法、系统
CN118591753A (zh) 具有被定向为减少出现重影图像的光栅的显示系统
CN209746278U (zh) 一种透射型ar眼镜装置
US10416445B1 (en) Lenses with consistent distortion profile
US10620432B1 (en) Devices and methods for lens position adjustment based on diffraction in a fresnel lens
US20230115411A1 (en) Smart eyeglasses
US20240029218A1 (en) Gaze-aware tone mapping and chromatic adaptation
US11972047B1 (en) Control method and device for near eye display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant