CN109255838B - 避免增强现实显示设备观看重影的方法及设备 - Google Patents

避免增强现实显示设备观看重影的方法及设备 Download PDF

Info

Publication number
CN109255838B
CN109255838B CN201710576460.2A CN201710576460A CN109255838B CN 109255838 B CN109255838 B CN 109255838B CN 201710576460 A CN201710576460 A CN 201710576460A CN 109255838 B CN109255838 B CN 109255838B
Authority
CN
China
Prior art keywords
picture image
camera
size
modulation parameter
display module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710576460.2A
Other languages
English (en)
Other versions
CN109255838A (zh
Inventor
王飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xingyunspace Time Technology Co ltd
Original Assignee
Beijing Xingyunspace Time Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xingyunspace Time Technology Co ltd filed Critical Beijing Xingyunspace Time Technology Co ltd
Priority to CN201710576460.2A priority Critical patent/CN109255838B/zh
Publication of CN109255838A publication Critical patent/CN109255838A/zh
Application granted granted Critical
Publication of CN109255838B publication Critical patent/CN109255838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

本申请公开了一种避免增强现实显示设备观看重影的方法及设备，其中方法包括分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合。本申请提供的上述方案，通过对摄像头拍摄的虚拟画面图像进行尺寸及位置的调制，使得真实画面图像(现实画面)与虚拟画面图像达到了虚实叠加，避免了出现重影的问题，另外，通过对虚拟画面图像进行尺寸及位置的调制来消除重影，具有运算量低、占用处理器资源少、成本低的优点。

Description

避免增强现实显示设备观看重影的方法及设备
技术领域
本申请一般涉及计算机图像处理技术领域，尤其涉及增强现实图像重影消除技术，特别涉及一种避免增强现实显示设备观看重影的方法及设备。
背景技术
增强现实(Augmented Reality简称AR)技术是近年来的一个研究热点，有着广泛的应用前景。它是对现实世界的补充，使得虚拟物体从感官上成为周围真实环境的组成部分。与传统的虚拟现实(Virtual Reality，简称VR)不同，增强现实只是实现对现实环境的补充而不是完全替代现实环境。增强现实技术增强了用户对现实世界的感知能力和与现实世界的交互能力。
目前市面上已有的增强现实设备有google glass,Epson等产品，其主要用于数据提示，这些产品均是将显示器(镜片)中的图像经过简单的光路投射到用户的眼中，如果打开摄像头取景器用来拍摄，可以很轻易的分辨出取景器中的画面与透过镜片得到的外界实际画面相去甚远，完全没有叠加。这是因为，如图1所示，首先，眼睛看到的是以瞳孔为起点观看到的镜片中的画面1。如图2所示，眼镜呈现的画面是由摄像机取景后，以摄像头为起点看到的画面2，由此可见，直接显示显然真是画面与摄像头拍摄的画面中的物体3不能完全重叠。其次，在画面不重叠的基础上，一切基于摄像头扫描后呈现的虚拟影像叠加与现实都是脱离的，并没有依附关系。
可见，由于上述问题导致用户看到一大一小两个画面，出现了重影现象，相应的虚拟物体显示也会与实际场景出现偏差。
发明内容
鉴于现有技术中的上述缺陷或不足，期望提供一种避免增强现实显示设备观看重影的方法及设备，以解决现有技术中出现重影的问题。
本申请一方面提供一种避免增强现实显示设备观看重影的方法，分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为摄像头的视场角，f为通透式显示模块的视场角，l为通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置。
另一方面提供避免观看重影的增强现实显示设备，包括安装架，所述安装架上固定连接有通透式显示模块及摄像头，还包括处理模块，所述处理模块分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为所述摄像头的视场角，f为所述通透式显示模块的视场角，l为所述通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与所述摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置。
本申请提供的上述方案，通过对摄像头拍摄的虚拟画面图像进行尺寸及位置的调制，使得真实画面图像(现实画面)与虚拟画面图像达到了虚实叠加，避免了出现重影的问题，另外，通过对虚拟画面图像进行尺寸及位置的调制来消除重影，具有运算量低、占用处理器资源少、成本低的优点。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1为直接透过通透式显示模块观测到的真是环境的示意图；
图2为摄像头直接摄取的画面通过通透式显示模块投入人眼的示意图；
图3为本发明实施例提供的避免观看重影的增强现实显示设备的结构示意图；
图4为本发明实施例提供的避免观看重影的增强现实显示设备的原理示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明实施例提供的避免增强现实显示设备观看重影的方法，分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为摄像头的视场角，f为通透式显示模块的视场角，l为通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置。
也即，尺寸调制参数S与摄像头的视场角F正相关，与通透式显示模块的出瞳距l正相关，与通透式显示模块的视场角f负相关。
位置调制参数W表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，在各个坐标轴上，摄像头与人眼的相对位置决定其中水平位置调制W(x)与人眼和摄像头水平位置x相关，竖直位置调制参数W(y)与人眼和摄像头竖直位置y相关，纵向位置调制参数W(z)与人眼和摄像头纵向位置z相关，三个坐标轴上的调制参数表示为W(x，y，z)。
上述方案，通过对摄像头拍摄的虚拟画面图像进行尺寸及位置的调制，使得真实画面图像(现实画面)与虚拟画面图像达到了虚实叠加，避免了出现重影的问题，另外，通过对虚拟画面图像进行尺寸及位置的调制来消除重影，具有运算量低、占用处理器资源少、成本低的优点。
进一步地，根据通透式显示模块的视场角及出瞳距，确定真实画面图像尺寸及真实画面图像位置。
通透式显示模块的视场角，与其出瞳距有关，出瞳距变大则通透式显示模块的视场角变小。在出瞳距一定的情况下，通透式显示模块的视场角也就是特定值，在视场角确定的情况下，透过其观测到的最大场景也就是真是画面的图像尺寸，而且通过其观测到的场景真是位置就真实画面图像位置。
进一步地，将摄像头采集的图像信息以通透式显示模块的视场角范围进行裁切，以获得调制前的虚拟画面图像，根据Psi与Pwi对调制前的虚拟画面图像进行尺寸及位置的调制。
一般情况下，摄像头的视场角大于通透式显示模块的视场角，这就使得摄像头采集到的最大场景要大于通过通透式显示模块直接观测到的场景，也即摄像头采集到的场景信息大于通过通透式显示模块直接观测到的场景，为了使摄像头采集到的信息可以快速准确的与通透式显示模块直接观测到的场景准确融合，则以通透式显示模块的视场角范围对摄像头采集到的场景进行剪裁，裁去其周边特定尺寸的像素图形，在裁切后一方面降低了图形处理的计算了，另一方面可以达到根据Psi与Pwi对虚拟画面图像进行尺寸及位置调制后，调整后的虚拟画面图像可以与真实画面图像吻合，也就消除了重影的问题。此外，基于虚拟画面图像而添加的附加虚拟物品、图形等，也就可以很好的和真实画面图像进行吻合，达到了完美的增强现实感觉。
进一步地，在实际使用中通透式显示模块可以但不限于为光场镜片、光波导镜片、光栅镜片、棱镜或半透半反镜片。
请参考图3、图4所述，本发明实施例提供的避免观看重影的增强现实显示设备，包括安装架5，安装架5上固定连接有通透式显示模块及摄像头4，还包括处理模块，所述处理模块分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为所述摄像头的视场角，f为所述通透式显示模块的视场角，l为所述通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与所述摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置。
其中，安装架只要可以用来固定通透式显示模块及摄像头即可，这里不对其具体机构进行限定，例如但不限于可以采用类似于眼镜架式的结构等。摄像头可以固定在安装架的侧面或正前方。摄像头对真是环境进行拍摄来获得虚拟画面图像，真实画面图像是人眼6直接透过通透式显示模块观测到的真实场景。
本装置的工作原理及优点，详见上述方法部分的论述，这里不再赘述。
进一步地，在实际使用中通透式显示模块可以但不限于为光场镜片、光波导镜片、光栅镜片、棱镜或半透半反镜片。
进一步地，处理模块包括确定模块，确定模块根据通透式显示模块的视场角及出瞳距，确定真实画面图像尺寸及真实画面图像位置。
进一步地，处理模块还包括调制模块，调制模块将摄像头采集的图像信息以通透式显示模块的视场角范围进行裁切，以获得调制前的虚拟画面图像，根据Psi与Pwi对调制前的虚拟画面图像进行尺寸及位置的调制。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (8)

1.一种避免增强现实显示设备观看重影的方法，其特征在于，
分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为摄像头的视场角，f为通透式显示模块的视场角，l为通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置；
位置调制参数W表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，在各个坐标轴上，摄像头与人眼的相对位置决定其中水平位置调制W(x)与人眼和摄像头水平位置x相关，竖直位置调制参数W(y)与人眼和摄像头竖直位置y相关，纵向位置调制参数W(z)与人眼和摄像头纵向位置z相关，三个坐标轴上的调制参数表示为W(x，y，z)。
2.根据权利要求1所述的避免增强现实显示设备观看重影的方法，其特征在于，
根据通透式显示模块的视场角及出瞳距，确定真实画面图像尺寸及真实画面图像位置。
3.根据权利要求1或2所述的避免增强现实显示设备观看重影的方法，其特征在于，将摄像头采集的图像信息以通透式显示模块的视场角范围进行裁切，以获得调制前的虚拟画面图像，根据Psi与Pwi对调制前的虚拟画面图像进行尺寸及位置的调制。
4.根据权利要求1或2所述的避免增强现实显示设备观看重影的方法，其特征在于，所述通透式显示模块为光场镜片、光波导镜片、光栅镜片、棱镜或半透半反镜片。
5.一种避免观看重影的增强现实显示设备，包括安装架，所述安装架上固定连接有通透式显示模块及摄像头，其特征在于，
还包括处理模块，所述处理模块分别根据尺寸调制参数及位置调制参数，分别对虚拟画面图像进行尺寸及位置调制，使调制后的虚拟画面图像与实际场景画面图像融合；
Psi＝Psz·S(x,y,z)；
Pwi＝Pwz+W(x,y,z)；
其中，x、y、z为空间直角坐标系的坐标，S为尺寸调制参数，F为所述摄像头的视场角，f为所述通透式显示模块的视场角，l为所述通透式显示模块的出瞳距，W为位置调制参数，位置调制参数用于表征人眼与所述摄像头在空间直角坐标系内各坐标轴上的位置差值，Psi为调制后的虚拟画面图像尺寸，Psz为真实画面图像尺寸，Pwi为调制后的虚拟画面图像位置，Pwz为真实画面图像位置；
位置调制参数W表征人眼与摄像头在空间直角坐标系内各坐标轴上的位置差值，在各个坐标轴上，摄像头与人眼的相对位置决定其中水平位置调制W(x)与人眼和摄像头水平位置x相关，竖直位置调制参数W(y)与人眼和摄像头竖直位置y相关，纵向位置调制参数W(z)与人眼和摄像头纵向位置z相关，三个坐标轴上的调制参数表示为W(x，y，z)。
6.根据权利要求5所述的避免观看重影的增强现实显示设备，其特征在于，所述通透式显示模块为光场镜片、光波导镜片、光栅镜片、棱镜或半透半反镜片。
7.根据权利要求5或6所述的避免观看重影的增强现实显示设备，其特征在于，所述处理模块包括确定模块，所述确定模块根据通透式显示模块的视场角及出瞳距，确定真实画面图像尺寸及真实画面图像位置。
8.根据权利要求7所述的避免观看重影的增强现实显示设备，其特征在于，所述处理模块还包括调制模块，所述调制模块将摄像头采集的图像信息以通透式显示模块的视场角范围进行裁切，以获得调制前的虚拟画面图像，根据Psi与Pwi对调制前的虚拟画面图像进行尺寸及位置的调制。
CN201710576460.2A 2017-07-14 2017-07-14 避免增强现实显示设备观看重影的方法及设备 Active CN109255838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710576460.2A CN109255838B (zh) 2017-07-14 2017-07-14 避免增强现实显示设备观看重影的方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710576460.2A CN109255838B (zh) 2017-07-14 2017-07-14 避免增强现实显示设备观看重影的方法及设备

Publications (2)

Publication Number Publication Date
CN109255838A CN109255838A (zh) 2019-01-22
CN109255838B true CN109255838B (zh) 2023-08-25

Family

ID=65051859

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710576460.2A Active CN109255838B (zh) 2017-07-14 2017-07-14 避免增强现实显示设备观看重影的方法及设备

Country Status (1)

Country Link
CN (1) CN109255838B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115280369A (zh) * 2020-05-26 2022-11-01 Oppo广东移动通信有限公司 图像创建显示装置的控制方法及图像创建显示装置
CN112539921B (zh) * 2020-11-30 2023-05-16 昆山工研院新型平板显示技术中心有限公司 目视残影测试系统
CN114418918B (zh) * 2022-03-15 2022-07-05 深圳市北海轨道交通技术有限公司 一种基于增强现实的智能辅助报站方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016000309A1 (zh) * 2014-07-02 2016-01-07 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
WO2016086439A1 (zh) * 2014-12-04 2016-06-09 上海交通大学 自配准透射式头戴显示设备
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016000309A1 (zh) * 2014-07-02 2016-01-07 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
WO2016086439A1 (zh) * 2014-12-04 2016-06-09 上海交通大学 自配准透射式头戴显示设备
CN105763865A (zh) * 2016-02-26 2016-07-13 北京邮电大学 一种基于透明液晶的裸眼3d增强现实的方法及装置
CN106843456A (zh) * 2016-08-16 2017-06-13 深圳超多维光电子有限公司 一种基于姿态追踪的显示方法、装置和虚拟现实设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
增强现实中虚拟物体制作的研究;张玮等;《计算机应用研究》;20051228(第12期);全文 *

Also Published As

Publication number Publication date
CN109255838A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
EP3035681B1 (en) Image processing method and apparatus
US10382699B2 (en) Imaging system and method of producing images for display apparatus
JP6023801B2 (ja) シミュレーション装置
US10715791B2 (en) Virtual eyeglass set for viewing actual scene that corrects for different location of lenses than eyes
US10241329B2 (en) Varifocal aberration compensation for near-eye displays
US20180246331A1 (en) Helmet-mounted display, visual field calibration method thereof, and mixed reality display system
EP3138286A2 (en) Stereoscopic rendering to eye positions
US10602033B2 (en) Display apparatus and method using image renderers and optical combiners
CN108259883B (zh) 图像处理方法、头戴式显示器以及可读存储介质
CN109255838B (zh) 避免增强现实显示设备观看重影的方法及设备
US11956415B2 (en) Head mounted display apparatus
CA2875261A1 (en) Apparatus and method for a bioptic real time video system
CN108957742B (zh) 一种实现画面虚拟透明动态调节的增强现实头盔及方法
EP3038061A1 (en) Apparatus and method to display augmented reality data
US11627303B2 (en) System and method for corrected video-see-through for head mounted displays
JP2006267767A (ja) 画像表示装置
US11514649B2 (en) Camera for augmented reality display
CN115202475A (zh) 显示方法、装置、电子设备及计算机可读存储介质
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
Orlosky Depth based interaction and field of view manipulation for augmented reality
CN113661514A (zh) 用于增强图像的设备和方法
WO2018083757A1 (ja) 画像提供装置、画像提供方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US20230244307A1 (en) Visual assistance
JP7202449B2 (ja) 仮想現実立体映像を生成するための光学配置
Kooi et al. Additive and subtractive transparent depth displays

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant