CN108398787A - 增强现实显示设备、方法和增强现实眼镜 - Google Patents

增强现实显示设备、方法和增强现实眼镜 Download PDF

Info

Publication number
CN108398787A
CN108398787A CN201810230767.1A CN201810230767A CN108398787A CN 108398787 A CN108398787 A CN 108398787A CN 201810230767 A CN201810230767 A CN 201810230767A CN 108398787 A CN108398787 A CN 108398787A
Authority
CN
China
Prior art keywords
depth value
augmented reality
user
pixel
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810230767.1A
Other languages
English (en)
Other versions
CN108398787B (zh
Inventor
马森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810230767.1A priority Critical patent/CN108398787B/zh
Publication of CN108398787A publication Critical patent/CN108398787A/zh
Priority to US16/134,739 priority patent/US20190293937A1/en
Priority to PCT/CN2018/118163 priority patent/WO2019179162A1/en
Application granted granted Critical
Publication of CN108398787B publication Critical patent/CN108398787B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及增强现实技术领域，提出一种增强现实显示设备，该增强现实显示设备包括可调透光片、空间三维重建组件以及控制单元；可调透光片包括多个像素，每个像素的透光性能够控制；空间三维重建组件用于获得用户视场中真实场景的每一真实点的深度值；控制单元用于将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值时，控制像素不透光；当真实点的深度值小于虚拟点的深度值时，控制像素透光。使用该设备不存在视觉偏差导致的位置判断混乱，不存在真实场景显示的延时，能够获得更真实的真实场景。

Description

增强现实显示设备、方法和增强现实眼镜
技术领域
本发明涉及增强现实技术领域，尤其涉及一种增强现实显示设备、增强现实显示方法和增强现实眼镜。
背景技术
增强现实技术是一种将虚拟物体和虚拟场景叠加显示在真实世界中的投影方式，当把虚拟场景和真实场景叠加到一起时，虚拟物体与真实物体由于在空间所处的位置不同，离用户的距离不同，即它们的深度值不同，它们之间会存在遮挡关系。如果对此遮挡关系不进行处理，则所有虚拟物体的影像都会覆盖在真实物体上面，无法正确呈现它们相对于用户的远近关系，违反了人类的视觉习惯，容易造成用户空间感的错乱和生理上的不适。
目前，增强现实中的真实场景是先进行拍摄、然后进行图像融合处理后再呈现给用户，会出现一定的延时，造成用户生理上的不适。另外真实场景的一些信息在图像中可能会出现失真或丢失。
因此，有必要研究一种新的增强现实显示设备、增强现实显示方法和增强现实眼镜。
所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于克服上述现有技术的真实场景显示延时以及失真或丢失的不足，提供一种真实场景显示及时的增强现实显示设备、增强现实显示方法和增强现实眼镜。
本发明的额外方面和优点将部分地在下面的描述中阐述，并且部分地将从描述中变得显然，或者可以通过本发明的实践而习得。
根据本公开的一个方面，提供一种增强现实显示设备，包括：
可调透光片，包括多个像素，每个像素的透光性能够控制；
空间三维重建组件，用于获得用户视场中真实场景的每一真实点的深度值；
控制单元，用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。
在本公开的一种示例性实施例中，所述增强现实显示设备还包括：
虚拟场景生成器，与所述控制单元电连接，当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。
在本公开的一种示例性实施例中，所述空间三维重建组件包括：
光发射器，用于发射光线，所述用户视场中真实场景将所述光线反射形成反射光；
光接收器，用于接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
在本公开的一种示例性实施例中，所述增强现实显示设备还包括：
眼动信息捕获器，用于实时监测用户的眼球运动信息；
所述控制单元根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。
在本公开的一种示例性实施例中，所述增强现实显示设备还包括：
镜片，用于透射真实场景以及反射虚拟场景至用户，所述镜片与所述可调透光片贴合。
在本公开的一种示例性实施例中，所述可调透光片为液晶透光片。
根据本公开的一个方面，提供一种增强现实眼镜，包括：
上述任意一项所述的增强现实显示设备；
镜框以及镜腿；
其中，所述可调透光片设于所述镜框内，所述空间三维重建组件设于所述镜框上，所述控制单元设于所述镜腿。
根据本公开的一个方面，提供一种增强现实显示方法，包括：
获得用户视场中真实场景的每一真实点的深度值；
接收虚拟场景的每一虚拟点的深度值；
将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。
在本公开的一种示例性实施例中，所述增强现实显示方法还包括：
当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。
在本公开的一种示例性实施例中，获得用户视场中真实场景的每一真实点的深度值，包括：
发射光线，所述用户视场中真实场景将所述光线反射形成反射光；
接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
在本公开的一种示例性实施例中，所述增强现实显示方法还包括：
实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。
由上述技术方案可知，本发明具备以下优点和积极效果中的至少之一：
本发明的增强现实显示设备，可调透光片包括多个像素，每个像素的透光性能够控制；空间三维重建组件能够获得用户视场中真实场景的每一真实点的深度值；控制单元将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值，则控制像素不透光；当真实点的深度值小于虚拟点的深度值，则控制像素透光。一方面，通过控制可调透光片上像素的透光性来控制显示虚拟场景还是现实真实场景，实现对用户视场内的真实场景的选择性呈现，无需先对真实场景进行拍摄、图像处理后再呈现给用户。另一方面，用户可以直接观察真实场景，不存在视觉偏差导致的位置判断混乱。再一方面，真实场景能够直接通过可调透光片透射至用户，不存在真实场景显示的延时，能够获得更真实的真实场景。
附图说明
通过参照附图详细描述其示例实施方式，本发明的上述和其它特征及优点将变得更加明显。
图1是视频透视式增强现实显示的原理示意图；
图2是光学透视式增强现实显示的原理示意图；
图3是本发明的增强现实显示设备的电气连接示意框图；
图4是本发明的增强现实显示设备一种显示效果的示意图；
图5是本发明的增强现实显示设备另一种显示效果的示意图；
图6是本发明的增强现实显示设备的具体流程示意图；
图7是本发明的增强现实眼镜一示例实施方式的结构示意图；
图8是本发明的增强现实显示方法的流程框图。
图中主要元件附图标记说明如下：
1、显示屏；2、摄像机；3、计算机；4、半透半反膜；5、眼睛；
6、显示组件；61、镜片；62、可调透光片；
7、眼动信息捕获器；8、光发射器；9、光接收器；10、控制单元；11、镜框；12、镜腿；
V、虚拟物体；R、真实物体。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
增强现实技术按照实现原理可分为视频透视式和光学透视式两类。参照图1所示的视频透视式增强现实显示的原理示意图，用户的自然视野被显示屏1遮住，摄像机2拍摄真实场景的图像，计算机3利用视频合成技术将虚拟场景图像与真实场景图像叠加到一起，虚实融合场景通过显示屏1呈现给用户。参照图2所示的光学透视式的增强现实显示原理示意图，显示器件一般存在半透半反膜4，用户的自然视野不受遮挡，能够直接透过显示器件观察真实场景，同时计算机3生成的虚拟场景通过显示屏1显示并通过半透半反膜4反射到用户眼中，实现虚实场景的叠加。
参照图3所示的本发明的增强现实显示设备的电气连接示意框图；本发明首先提供了一种增强现实显示设备，该增强现实显示设备可以包括可调透光片、空间三维重建组件以及控制单元等等；所述可调透光片可以包括多个像素，每个像素的透光性能够控制；空间三维重建组件可以用于获得用户视场中真实场景的每一真实点的深度值；控制单元可以接收虚拟场景的每一虚拟点的深度值，可以用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。
参照图4、图5以及图7所示，在本示例实施方式中，显示组件6可以包括镜片61以及可调透光片62。镜片61设置为半透半反镜片，即镜片61能够透过真实场景的光线至用户的眼睛5，并能够反射虚拟场景的光线至用户的眼睛5，使用户能够同时看到真实场景和虚拟场景。可调透光片62与所述镜片61贴合，可调透光片62贴合在镜片61的远离用户的一侧，即真实场景的光线先通过可调透光片62然后再通过镜片61。另外，可以在可调透光片62的靠近用户的一侧设置一层半透半反膜，通过半透半反膜可以达到透过真实场景的光线并反射虚拟场景的光线的作用，也属于本发明保护的范围。
可调透光片62可以包括多个像素，每个像素的透光性能够控制。当某像素工作在透光状态时，用户可以透过此像素位置观察到外部真实场景。当某像素工作在不透光状态时，用户在此像素位置处的视野被挡住，用户观察不到此方向的真实场景。通过控制每个像素的透光性达到控制在每个像素是否显示真实场景，从而呈现真实场景与虚拟场景的正确遮挡关系。可调透光片62可以为液晶透光片，液晶透光片的每一个像素的透光性是可以控制的。例如，可调透光片62可以为液晶结构，每个像素都是一个液晶光阀，通过控制每个像素的驱动电压，每个像素的透光性可以独立进行控制。然而本发明不限于此，在本发明的其它实施方式中，也可以是用其它的像素化、矩阵化的结构，其中每个像素可以单独进行控制。
空间三维重建组件可以包括光发射器8以及光接收器9等等，光发射器8可以用于发射光线，用户视场中真实场景将光线反射形成反射光；光接收器9可以用于接收反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
空间三维重建组件可以采用飞行时间法确定真实场景的每一真实点的深度值，光发射器8可以发出光脉冲至真实场景，真实场景将光线反射形成反射光，光接收器9接收反射光，通过探测光脉冲的往返时间来得到真实场景的每一真实点的深度值。
空间三维重建组件也可以采用结构光投影法确定真实场景的每一真实点的深度值，光发射器8可以投射结构光至真实场景，真实场景将结构光反射，光接收器9接收反射的结构光，该反射的结构光由于目标的凹凸造成条纹变形，通过分析处理可得出目标的形状和空间坐标，该分析处理方法为现有技术，此处不再赘述。通过空间坐标得到真实场景的每一真实点的深度值。结构光可以为标准条纹形或栅格形光线等等。
空间三维重建组件还可以采用干涉测量法、立体视觉法、离焦深度测量法等等确定真实场景的每一真实点的深度值。此处不再赘述。
增强现实显示设备还包括虚拟场景生成器，虚拟场景生成器用于生成虚拟场景，虚拟场景通过镜片61反射至用户。虚拟场景生成器可以为显示屏、投影设备等等。虚拟场景生成器与控制单元电连接，当真实点的深度值小于虚拟点的深度值时，控制像素对应的虚拟点不生成虚拟场景。避免在真实场景遮挡虚拟场景的情况下，还显示虚拟场景，造成用户位置判断出现混乱。
控制单元10可以接收虚拟场景的每一虚拟点的深度值，可以用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较。比较后会有如下两种情况：
当所述真实点的深度值大于所述虚拟点的深度值时，判断该像素虚拟场景遮挡真实场景，则控制所述像素不透光，使用户可以看到虚拟场景而看不到真实场景。参照图4所示的本发明的增强现实显示设备一种显示效果的示意图；图中方块为真实物体R，圆球为虚拟物体V。可调透光片62上方块被圆球遮挡部分对应的像素工作在不透光状态，用户只看到方块未被遮挡部分。
当所述真实点的深度值小于所述虚拟点的深度值时，判断该像素真实场景遮挡虚拟场景，则控制所述像素透光，且控制虚拟场景生成器重新绘制虚拟图像，新的虚拟图像不显示该像素点的虚拟图像，使用户可以看到真实场景而看不到虚拟场景。参照图5所示的本发明的增强现实显示设备另一种显示效果的示意图；图中方块为真实物体R，圆球为虚拟物体V，用户只看到圆球未被遮挡部分。
增强现实显示设备还可以包括眼动信息捕获器7，眼动信息捕获器7可以用于实时监测用户的眼球运动信息；控制单元10根据所述眼球运动信息判断用户的视线以确定显示所述真实点的所述像素。具体来说，眼动信息捕获器7实时跟踪用户的眼球运动，判断用户的的视线方向，控制单元10根据视线与真实场景三维模型上每点的连线即可以判断用户视场中的真实场景每一真实点在可调透光片62上对应的像素，则控制该像素是否透光即可控制用户能否观察到真实场景上的该点。通过眼动信息捕获器7可以准确判断用户的视场范围，以便控制单元只对视场范围内的像素进行判断控制，以减少控制单元的计算量，提高运算速度。
参照图6所示的本发明的增强现实显示设备的具体流程示意图；下面对本发明的增强现实显示设备的工作过程进行详细说明。
空间三维重建组件对用户视场中的真实场景进行三维建模以获得真实场景的每一真实点的深度值。眼动信息捕获器7实时跟踪用户的眼球运动，判断用户的的视线方向；控制单元10根据视线与真实场景的三维模型上每点的连线即可以判断用户视场中的真实场景每一真实点在可调透光片62上对应的像素。同时，虚拟场景生成器生成虚拟场景以及每一虚拟点的深度值。控制单元10接收虚拟场景的每一虚拟点的深度值，并将在同一像素显示的虚拟点的深度值与真实点的深度值进行比较，当真实点的深度值大于虚拟点的深度值时，判断该像素虚拟场景遮挡真实场景，则控制像素不透光，使用户可以看到虚拟场景而看不到真实场景。当真实点的深度值小于虚拟点的深度值时，判断该像素真实场景遮挡虚拟场景，则控制像素透光，且控制虚拟场景生成器重新绘制虚拟图像，新的虚拟图像不显示该像素点的虚拟图像，使用户可以看到真实场景而看不到虚拟场景。
进一步的，本发明还提供了一种增强现实眼镜，参照图7所示的增强现实眼镜一示例实施方式的结构示意图，该增强现实眼镜包括上述增强现实显示设备。增强现实显示设备的具体结构以及工作方法上述已经进行了详细描述，此处不再赘述
在本示例实施方式中，增强现实眼镜可以包括两个镜框11以及两个镜腿12；显示组件6设于所述镜框11内，即镜片61以及可调透光片62设置在镜框11内。空间三维重建组件设于所述镜框11上，即光发射器8设置在一个镜框11上，光接收器9与光发射器8对称设置在另一个镜框11上。控制单元10设于所述镜腿12上。眼动信息捕获器7设置为两个，分别设置在两个镜框11的上框边。
本领域技术人员可以理解的是，该增强现实显示设备还可设置于头盔或面罩，形成头戴式增强现实显示装置。当然，还可以用于汽车、飞行器等，例如，用于平视显示器(Head Up Display，简称HUD)，运用在航空器上的飞行辅助仪器。
进一步的，本发明还提供了一种对应于上述增强现实显示设备的增强现实显示方法，参照图8所示的增强现实显示方法的流程框图，该增强现实显示方法可以包括以下步骤：
步骤S10，获得用户视场中真实场景的每一真实点的深度值。
步骤S20，接收虚拟场景的每一虚拟点的深度值。
步骤S30，将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，则控制所述像素透光。
在本示例实施方式中，所述增强现实显示方法还包括：当所述真实点的深度值小于所述虚拟点的深度值时，则控制所述像素对应的所述虚拟点不生成所述虚拟场景。
在本示例实施方式中，获得用户视场中真实场景的每一真实点的深度值，包括：发射光线，所述用户视场中真实场景将所述光线反射形成反射光；接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
在本示例实施方式中，所述增强现实显示方法还包括：实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素，即显示所述真实点的所述像素。
增强现实显示方法在上述增强现实显示设备的具体工作过程中已经进行了详细的说明，此处不再赘述。
上述所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中，如有可能，各实施例中所讨论的特征是可互换的。在上面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组件、材料等。在其它情况下，不详细示出或描述公知结构、材料或者操作以避免模糊本发明的各方面。
本说明书中，用语“一个”、“一”、“该”、“所述”和“至少一个”用以表示存在一个或多个要素/组成部分/等；用语“包含”、“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等。
应可理解的是，本发明不将其应用限制到本说明书提出的部件的详细结构和布置方式。本发明能够具有其他实施方式，并且能够以多种方式实现并且执行。前述变形形式和修改形式落在本发明的范围内。应可理解的是，本说明书公开和限定的本发明延伸到文中和/或附图中提到或明显的两个或两个以上单独特征的所有可替代组合。所有这些不同的组合构成本发明的多个可替代方面。本说明书所述的实施方式说明了已知用于实现本发明的最佳方式，并且将使本领域技术人员能够利用本发明。

Claims (11)

1.一种增强现实显示设备，其特征在于，包括：
可调透光片，包括多个像素，每个像素的透光性能够控制；
空间三维重建组件，用于获得用户视场中真实场景的每一真实点的深度值；
控制单元，用于将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。
2.根据权利要求1所述的增强现实显示设备，其特征在于，所述增强现实显示设备还包括：
虚拟场景生成器，与所述控制单元电连接，当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。
3.根据权利要求1所述的增强现实显示设备，其特征在于，所述空间三维重建组件包括：
光发射器，用于发射光线，所述用户视场中真实场景将所述光线反射形成反射光；
光接收器，用于接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
4.根据权利要求1所述的增强现实显示设备，其特征在于，所述增强现实显示设备还包括：
眼动信息捕获器，用于实时监测用户的眼球运动信息；
所述控制单元根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。
5.根据权利要求1所述的增强现实显示设备，其特征在于，所述增强现实显示设备还包括：
镜片，用于透射真实场景以及反射虚拟场景至用户，所述镜片与所述可调透光片贴合。
6.根据权利要求5所述的增强现实显示设备，其特征在于，所述可调透光片为液晶透光片。
7.一种增强现实眼镜，其特征在于，包括：
权利要求1～6所述的增强现实显示设备；
镜框以及镜腿；
其中，所述可调透光片设于所述镜框内，所述空间三维重建组件设于所述镜框上，所述控制单元设于所述镜腿。
8.一种增强现实显示方法，其特征在于，包括：
获得用户视场中真实场景的每一真实点的深度值；
接收虚拟场景的每一虚拟点的深度值；
将在同一像素显示的所述虚拟点的深度值与所述真实点的深度值进行比较，当所述真实点的深度值大于所述虚拟点的深度值时，控制所述像素不透光；当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素透光。
9.根据权利要求8所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：
当所述真实点的深度值小于所述虚拟点的深度值时，控制所述像素对应的所述虚拟点不生成所述虚拟场景。
10.根据权利要求8所述的增强现实显示方法，其特征在于，获得用户视场中真实场景的每一真实点的深度值，包括：
发射光线，所述用户视场中真实场景将所述光线反射形成反射光；
接收所述反射光，并根据所述反射光确定所述用户视场中真实场景的每一真实点的深度值。
11.根据权利要求8所述的增强现实显示方法，其特征在于，所述增强现实显示方法还包括：
实时监测用户的眼球运动信息，根据所述眼球运动信息判断用户的视线以确定与所述真实点对应的像素。
CN201810230767.1A 2018-03-20 2018-03-20 增强现实显示设备、方法和增强现实眼镜 Active CN108398787B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810230767.1A CN108398787B (zh) 2018-03-20 2018-03-20 增强现实显示设备、方法和增强现实眼镜
US16/134,739 US20190293937A1 (en) 2018-03-20 2018-09-18 Augmented reality display device and method, and augmented reality glasses
PCT/CN2018/118163 WO2019179162A1 (en) 2018-03-20 2018-11-29 Augmented reality display device and method, and head-mounted augmented reality device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810230767.1A CN108398787B (zh) 2018-03-20 2018-03-20 增强现实显示设备、方法和增强现实眼镜

Publications (2)

Publication Number Publication Date
CN108398787A true CN108398787A (zh) 2018-08-14
CN108398787B CN108398787B (zh) 2023-05-16

Family

ID=63092646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810230767.1A Active CN108398787B (zh) 2018-03-20 2018-03-20 增强现实显示设备、方法和增强现实眼镜

Country Status (3)

Country Link
US (1) US20190293937A1 (zh)
CN (1) CN108398787B (zh)
WO (1) WO2019179162A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179162A1 (en) * 2018-03-20 2019-09-26 Boe Technology Group Co., Ltd. Augmented reality display device and method, and head-mounted augmented reality device
CN111290128A (zh) * 2020-03-31 2020-06-16 京东方科技集团股份有限公司 光学系统及显示装置、智能眼镜
CN111462337A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 一种图像处理方法、设备及计算机可读存储介质
CN112710608A (zh) * 2020-12-16 2021-04-27 深圳晶泰科技有限公司 实验观测方法及系统
WO2022252833A1 (zh) * 2021-05-31 2022-12-08 北京字跳网络技术有限公司 一种图像渲染方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000001246A1 (it) * 2020-01-22 2021-07-22 Univ Pisa Sistema perfezionato per la fruizione di realtà aumentata

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572343A (en) * 1992-05-26 1996-11-05 Olympus Optical Co., Ltd. Visual display having see-through function and stacked liquid crystal shutters of opposite viewing angle directions
US20030185461A1 (en) * 2002-03-29 2003-10-02 Canon Kabushiki Kaisha Method and apparatus for processing information
US20060044327A1 (en) * 2004-06-03 2006-03-02 Canon Kabushiki Kaisha Image processing method and image processing apparatus
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN107608080A (zh) * 2017-10-31 2018-01-19 深圳增强现实技术有限公司 智能ar眼镜及智能ar眼镜景深信息获取方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9122053B2 (en) * 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US8884984B2 (en) * 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8711206B2 (en) * 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US20130326364A1 (en) * 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US9165381B2 (en) * 2012-05-31 2015-10-20 Microsoft Technology Licensing, Llc Augmented books in a mixed reality environment
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9858721B2 (en) * 2013-01-15 2018-01-02 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for generating an augmented scene display
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9405122B2 (en) * 2014-01-29 2016-08-02 Ricoh Co., Ltd Depth-disparity calibration of a binocular optical augmented reality system
US9766460B2 (en) * 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10235807B2 (en) * 2015-01-20 2019-03-19 Microsoft Technology Licensing, Llc Building holographic content using holographic tools
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
JP6747504B2 (ja) * 2016-04-18 2020-08-26 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10146334B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10192363B2 (en) * 2016-08-28 2019-01-29 Microsoft Technology Licensing, Llc Math operations in mixed or virtual reality
CN108398787B (zh) * 2018-03-20 2023-05-16 京东方科技集团股份有限公司 增强现实显示设备、方法和增强现实眼镜

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5572343A (en) * 1992-05-26 1996-11-05 Olympus Optical Co., Ltd. Visual display having see-through function and stacked liquid crystal shutters of opposite viewing angle directions
US20030185461A1 (en) * 2002-03-29 2003-10-02 Canon Kabushiki Kaisha Method and apparatus for processing information
US20060044327A1 (en) * 2004-06-03 2006-03-02 Canon Kabushiki Kaisha Image processing method and image processing apparatus
CN101029968A (zh) * 2007-04-06 2007-09-05 北京理工大学 可寻址光线屏蔽机制光学透视式头盔显示器
CN102473324A (zh) * 2009-08-18 2012-05-23 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN102540463A (zh) * 2010-09-21 2012-07-04 微软公司 用于透视头戴式显示器的不透明度滤光器
CN104076513A (zh) * 2013-03-26 2014-10-01 精工爱普生株式会社 头戴式显示装置、头戴式显示装置的控制方法、以及显示系统
CN104898276A (zh) * 2014-12-26 2015-09-09 成都理想境界科技有限公司 头戴式显示装置
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN106803286A (zh) * 2017-01-17 2017-06-06 湖南优象科技有限公司 基于多视点图像的虚实遮挡实时处理方法
CN107608080A (zh) * 2017-10-31 2018-01-19 深圳增强现实技术有限公司 智能ar眼镜及智能ar眼镜景深信息获取方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019179162A1 (en) * 2018-03-20 2019-09-26 Boe Technology Group Co., Ltd. Augmented reality display device and method, and head-mounted augmented reality device
CN111462337A (zh) * 2020-03-27 2020-07-28 咪咕文化科技有限公司 一种图像处理方法、设备及计算机可读存储介质
CN111462337B (zh) * 2020-03-27 2023-08-18 咪咕文化科技有限公司 一种图像处理方法、设备及计算机可读存储介质
CN111290128A (zh) * 2020-03-31 2020-06-16 京东方科技集团股份有限公司 光学系统及显示装置、智能眼镜
CN112710608A (zh) * 2020-12-16 2021-04-27 深圳晶泰科技有限公司 实验观测方法及系统
CN112710608B (zh) * 2020-12-16 2023-06-23 深圳晶泰科技有限公司 实验观测方法及系统
WO2022252833A1 (zh) * 2021-05-31 2022-12-08 北京字跳网络技术有限公司 一种图像渲染方法及装置

Also Published As

Publication number Publication date
WO2019179162A1 (en) 2019-09-26
US20190293937A1 (en) 2019-09-26
CN108398787B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN108398787A (zh) 增强现实显示设备、方法和增强现实眼镜
JP7273940B2 (ja) 深度平面間の低減された切り替えを伴う多深度平面ディスプレイシステム
US9077973B2 (en) Wide field-of-view stereo vision platform with dynamic control of immersive or heads-up display operation
US4884219A (en) Method and apparatus for the perception of computer-generated imagery
EP3499293B1 (en) Opacity filter for see-through head mounted display background
US11200646B2 (en) Compensation for deformation in head mounted display systems
CN106131536A (zh) 一种裸眼3d增强现实互动展示系统及其展示方法
CN104808340B (zh) 头戴式显示装置及其控制方法
US20150312558A1 (en) Stereoscopic rendering to eye positions
CN104094162A (zh) 动态控制沉浸或抬头显示操作的宽视场3d立体视觉平台
GB2536650A (en) Method and system for combining video-based and optic-based augmented reality in a near eye display
CN108089332B (zh) Vr头戴显示设备及显示方法
EP1754201A1 (en) Information processing method, information processing apparatus, and image sensing apparatus
EP2630540A2 (en) Head-mounted display apparatus employing one or more reflective optical surfaces
KR20130139280A (ko) 증강 현실 디스플레이를 위한 자동 가변 가상 초점
US20110149043A1 (en) Device and method for displaying three-dimensional images using head tracking
KR20210113208A (ko) Hmd에서의 디스플레이 패널들 및/또는 가상 카메라들의 역회전
JP5632245B2 (ja) 眼鏡の視野画像表示装置
US10567744B1 (en) Camera-based display method and system for simulators
CN113272710A (zh) 通过分色扩展视场
US20180205930A1 (en) Information processing device, information processing method, and program
CA3018454C (en) Camera-based display method and system for simulators
US20200159027A1 (en) Head-mounted display with unobstructed peripheral viewing
US10567743B1 (en) See-through based display method and system for simulators
CA3018465C (en) See-through based display method and system for simulators

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant