CN107562197A - 显示方法及装置 - Google Patents

Abstract

本发明公开了一种显示方法，包括获取拟显示图像的边界及位置；获取环境物体的边界及位置；根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像；其中，虚拟图像包括，拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像。在本实施例中，令用户无法看到的拟显示图像被环境物体遮挡的部分，进而所显示的虚拟图像更加接近现实，当环境物体被拟显示图像遮挡时，能够只显示用于遮挡环境物体的图像，令用户无法看到环境物体中被拟显示图像遮挡的部分，提高虚拟图像的对比度，提高所显示的虚拟图像的图像质量，提高了虚拟图像显示的真实性，进而提高用户的观看体验。

Description

显示方法及装置

技术领域

本发明涉及光学技术领域，特别涉及一种显示方法及装置。

背景技术

随着科学技术的发展，增强现实显示装置越来越受到人们的重视。增强现实技术，不仅可以展现真实世界的信息，而且可以将虚拟的信息同时显示出来，两种信息相互补充、叠加。增强现实显示装置可以把真是世界与虚拟图像多重合成在一起。

但目前用于增强现实的显示设备，普遍面临着虚拟图像显示的真实性不强的问题。

发明内容

本发明实施例提供了一种显示方法及装置，旨在解决如何能够在增强虚拟图像显示的真实性的问题。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明实施例的第一方面，提供了一种显示方法，包括获取拟显示图像的边界及位置；获取环境物体的边界及位置；根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像；其中，虚拟图像包括，拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像。

根据本发明实施例的第二方面，提供一种显示装置，包括光引擎，用于生成拟显示图像；处理器，用于获取拟显示图像的边界及位置；探测器，用于探测环境物体；处理器还用于获取环境物体的边界及位置；遮挡部件，用于生成图像遮挡环境物体；处理器还用于根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像；其中，虚拟图像包括，拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像；显示部件，用于显示虚拟图像。

在本实施例中，首先获取拟显示图像和环境物体的边界及其各自的位置，然后根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像，且虚拟图像仅包括拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像；因此当拟显示图像被环境物体遮挡时，令用户无法看到的拟显示图像被环境物体遮挡的部分，进而所显示的虚拟图像更加接近现实，当环境物体被拟显示图像遮挡时，能够只显示用于遮挡环境物体的图像，令用户无法看到环境物体中被拟显示图像遮挡的部分，提高虚拟图像的对比度，提高所显示的虚拟图像的图像质量，提高了虚拟图像显示的真实性，进而提高用户的观看体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种显示方法的流程示意图；

图2是根据一示例性实施例示出的一种显示方法的流程示意图；

图3是根据一示例性实施例示出的一种显示方法的流程示意图；

图4是根据一示例性实施例示出的一种显示方法的流程示意图；

图5是根据一示例性实施例示出的一种显示方法的流程示意图

图6是根据一示例性实施例示出的一种显示装置的结构示意图；

图7是根据一示例性实施例示出的一种显示装置的显示示意图；

图8是根据一示例性实施例示出的一种显示装置的显示示意图；

图9是根据一示例性实施例示出的一种显示装置的显示过程中用户瞳孔运动的示意图。

附图标记说明：10、光引擎；20、处理器；30、探测器；40、遮挡部件；50、眼球探测器；60、显示部件。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施方案的部分和特征可以被包括在或替换其他实施方案的部分和特征。本发明的实施方案的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。在本文中，各实施方案可以被单独地或总地用术语“发明”来表示，这仅仅是为了方便，并且如果事实上公开了超过一个的发明，不是要自动地限制该应用的范围为任何单个发明或发明构思。本文中，诸如第一和第二等之类的关系术语仅仅用于将一个实体或者操作与另一个实体或操作区分开来，而不要求或者暗示这些实体或操作之间存在任何实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素。本文中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法、产品等而言，由于其与实施例公开的方法部分相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本发明第一实施例公开一种显示方法，如图1所示，包括：

步骤S101：获取拟显示图像的边界及位置。

步骤S102：获取环境物体的边界及位置。

步骤S103：根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像。

其中，虚拟图像包括，拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像。

其中，拟显示图像未被环境物体遮挡的图像是指从用户瞳孔位置向拟显示图像望去，拟显示图像中未被环境物体遮挡的部分，用于遮挡环境物体的图像是指从用户瞳孔位置向拟显示图像望去，环境物体被拟显示图像遮挡，为了增加所显示的虚拟图像的对比度，由此生成的遮挡环境物体的图像，该图像可以为阴影、或其他任何能够遮挡环境物体的图像。

在本实施例中，首先利用步骤S101和步骤S102分别获取拟显示图像和环境物体的边界及其各自的位置，然后根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像，且虚拟图像仅包括拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像；因此当拟显示图像被环境物体遮挡时，令用户无法看到的拟显示图像被环境物体遮挡的部分，进而所显示的虚拟图像更加接近现实，当环境物体被拟显示图像遮挡时，能够只显示用于遮挡环境物体的图像，令用户无法看到环境物体中被拟显示图像遮挡的部分，提高虚拟图像的对比度，提高所显示的虚拟图像的图像质量，提高了虚拟图像显示的真实性，进而提高用户的观看体验。

在上述实施例中，确定拟显示图像中未被环境物体遮挡的图像包括：

步骤S201：确定瞳孔位置O和拟显示图像上N个点P1，P2，P3，……，Pn。

其中n为大于或等于1的整数。

步骤S202：确定点集N。

其中点集N为集合{P1，P2，P3，…，Pn}的子集，点集N包括的任一点Pi具有如下性质：线段OPi与环境物体无交点，其中i为小于或等于n为正整数。

步骤S203：根据点集N，确定拟显示图像中未被环境物体遮挡的图像。

在本实施例中，首先确定瞳孔位置O，由于用户是从瞳孔位置观看虚拟图像，因此确定瞳孔位置为O点能够令确定的拟显示图像中未被环境物体遮挡的图像更加接近用户的实际观看效果，当瞳孔位置O与Pi点的连线OPi与环境物体相交时，说明从O点向Pi点望去，Pi点被环境物体遮挡，因此当线段OPi与环境物体无交点时，说明Pi未被环境物体遮挡，具有这样性质的Pi点的点集N，因此根据点集N能够确定拟显示图像中未被环境物体遮挡的图像。

拟显示图像上的N个点P1，P2，P3，……，Pn，通过对拟显示的图像采样而取得，每个点Pi分别代表图像的一部分，其集合应足以代表完整的拟显示图像。

可选的，在上述实施例中，步骤S203包括：确定点集N中各点连线所围成的区域为拟显示图像中未被环境物体遮挡的图像。在本实施例中，未被环境物体遮挡的点所围成的区域即拟显示图像中未被环境物体遮挡的图像。

可选的，在上述实施例中，步骤S201中拟显示图像上的N个点P1，P2，P3，…，Pn位于拟显示图像的边界。在本实施例中，当环境物体遮挡拟显示图像，且从瞳孔位置O向拟显示图像望去，环境物体的边界在拟显示图像的边界之外时，获取拟显示图像边界上的N个点P1，P2，P3，…，Pn即可确定出点集N，令取点操作更加简单。

可选的，在上述任一实施例中，如图3所示，确定用于遮挡环境物体的图像包括：

步骤S301：确定瞳孔位置O和环境物体上的M个点Q1，Q2，Q3，……，Qm。

其中m为正整数。

步骤S302：确定点集M。

其中，点集M为集合{Q1，Q2，Q3，……，Qm}的子集，点集M包括的任一点Qj具有如下性质：线段OQj与拟显示图像相交，其中j为小于或等于m为正整数。

步骤S303：根据点集M，确定用于遮挡环境物体的图像。

在本实施例中，首先确定瞳孔位置O，由于用户是从瞳孔位置观看虚拟图像，因此确定瞳孔位置为O点能够令确定的拟显示图像中未被环境物体遮挡的图像更加接近用户的实际观看效果，当瞳孔位置O与Qj点的连线OQj与拟显示图像相交时，说明从O点向Qj点望去，Qj点被拟显示图像遮挡，为了增强虚拟图像的显示效果，Qj点应该被遮挡，因此根据点集M能够确定用于遮挡环境物体的图像。

环境物体上的M个点Q1，Q2，Q3，……，Qm，通过对环境物体采样而取得，每个点Qi分别代表环境物体的一部分，其集合应足以代表完整的环境物体。

可选的，可选的，在上述实施例中，步骤S303包括：确定点集M中各点连线所围成的区域为用于遮挡环境物体的图像。在本实施例中，被拟显示图像遮挡的点所围成的区域即用于遮挡环境物体的图像。

可选的，在上述实施例中，步骤S301中环境物体上的M个点Q1，Q2，Q3，……，Qm位于环境物体的边界。在本实施例中，当拟显示图像遮挡环境图像，且从瞳孔位置O向拟显示图像望去，拟显示图像的边界在环境物体的边界之外时，获取环境物体边界上的M个点Q1，Q2，Q3，……，Qm即可确定出点集M，令取点操作更加简单。

可选的，在上述任一实施例中，步骤S201或步骤301还包括：获取用户的眼部运动情况；根据用户的眼部运动情况确定用户瞳孔位置O。在本实施例中，能够根据用户的眼部运动情况确定瞳孔位置O，令O点时刻位于用户瞳孔位置，并由此确定拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像，令所显示的虚拟图像更加符合用户的观看角度，提高用户使用体验。

如图4所示，为本发明实施例的一种实施方式，如图7所示，当拟显示图像遮挡环境物体时，一种显示方法包括：

步骤S401：获取拟显示图像和环境物体的边界及各自的位置。

步骤S402：确定瞳孔位置O和环境物体上的M个点Q1，Q2，Q3，……，Qm。

其中m为正整数。

步骤S403：确定点集M。

其中点集M为集合{Q1，Q2，Q3，……，Qm}的子集，点集M包括的任一点Qj具有如下性质：

线段OQj与拟显示图像相交，其中j为小于或等于m为正整数；

步骤S404：根据点集M，确定用于遮挡环境物体的图像。

步骤S405：确定所显示的虚拟图像。

其中所显示的虚拟图像包括拟显示图像和用于遮挡环境物体的图像。

如图5所示，为本发明实施例的另一种实施方式，如图8所示，当环境物体遮挡拟显示图像时，一种显示方法包括：

步骤S501：获取拟显示图像和环境物体的边界及各自的位置。

步骤S502：确定瞳孔位置O和拟显示图像上的N个点P1，P2，P3，…，Pn。

其中n为正整数。

步骤S503：确定点集N。

其中，点集N为集合{P1，P2，P3，…，Pn}的子集，点集N包括的任一点Pi具有如下性质：线段OPi与环境物体无交点，其中i为小于或等于n为正整数。

步骤S504：根据点集N，确定拟显示图像中未被环境物体遮挡的图像。

步骤S505：确定所显示的虚拟图像。

其中所显示的虚拟图像包括拟显示图像中未被环境物体遮挡的图像。

本发明第二实施例公开一种显示装置，如图6所示，包括：光引擎10，用于生成拟显示图像；处理器20，用于获取拟显示图像的边界及位置；探测器30，用于探测环境物体；处理器20还用于获取环境物体的边界及位置；遮挡部件40，用于生成用于遮挡环境物体的图像；处理器20还用于根据拟显示图像的边界及位置和环境物体的边界及位置，确定所显示的虚拟图像；其中，虚拟图像包括，拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像；显示部件60，用于显示虚拟图像。

其中，拟显示图像未被环境物体遮挡的图像是指从用户瞳孔位置向拟显示图像望去，拟显示图像中未被环境物体遮挡的部分，用于遮挡环境物体的图像是指从用户瞳孔位置向拟显示图像望去，环境物体被拟显示图像遮挡，为了增加所显示的虚拟图像的对比度，由此生成的遮挡环境物体的图像，该图像可以为阴影、或其他任何能够遮挡环境物体的图像。

遮挡部件40由多个像素构成，每个像素的透光率可以通过微电极控制。通过控制每个像素的透光或不透光状态，可以生成任意形状的用于遮挡环境物体所发出的光的图像。

在本实施例中，处理器20首先获取光引擎10生成的拟显示图像和探测器30获取的环境物体的边界及其各自的位置，然后根据所述虚拟图像和环境物体的边界和所处位置确定所显示的虚拟图像，并通过显示部件60进行显示，虚拟图像包括拟显示图像中未被环境图像遮挡的图像，和遮挡部件40生成的用于遮挡环境物体的图像，因此当拟显示图像被环境物体遮挡时，令用户无法看到的拟显示图像被环境物体遮挡的部分，进而所显示的虚拟图像更加接近现实，当环境物体被拟显示图像遮挡时，能够只显示用于遮挡环境物体的图像，令用户无法看到环境物体中被拟显示图像遮挡的部分，提高虚拟图像的对比度，提高所显示的虚拟图像的图像质量，进而提高用户的观看体验。

可选的，在上述实施例中，处理器20还用于确定瞳孔位置O和拟显示图像上的N个点P1，P2，P3，…，Pn，其中n为正整数；并确定点集N，点集N为集合{P1，P2，P3，…，Pn}的子集，点集N包括的任一点Pi具有如下性质：线段OPi与环境物体无交点，其中i为小于或等于n为正整数；处理器还用于根据点集N确定拟显示图像中未被环境物体遮挡的图像。

在本实施例中，处理器20首先确定瞳孔位置O，如图8所示，由于用户是从瞳孔位置观看虚拟图像，因此确定瞳孔位置为O点能够令确定的拟显示图像中未被环境物体遮挡的图像更加接近用户的实际观看效果，当瞳孔位置O与Pi点的连线OPi与环境物体相交时，说明从O点向Pi点望去，Pi点被环境物体遮挡，因此当线段OPi与环境物体无交点时，说明Pi未被环境物体遮挡，具有这样性质的Pi点的点集N，因此处理器20根据点集N能够确定拟显示图像中未被环境物体遮挡的图像。

可选的，在上述实施例中，处理器20还用于确定点集N中各点连线所围成的区域为拟显示图像中未被环境物体遮挡的图像。在本实施例中，未被环境物体遮挡的点所围成的区域即拟显示图像中未被环境物体遮挡的图像，因此处理器20还用于确定点集N中各点连线所围成的区域为拟显示图像中未被环境物体遮挡的图像。

可选的，在上述实施例中，处理器20还用于确定拟显示图像上的N个点P1，P2，P3，…，Pn位于拟显示图像的边界。在本实施例中，当环境物体遮挡拟显示图像，且从瞳孔位置O向拟显示图像望去，环境物体的边界在拟显示图像的边界之外时，获取拟显示图像边界上的N个点P1，P2，P3，…，Pn即可确定出点集N，因此处理器20确定拟显示图像上的N个点P1，P2，P3，…，Pn位于拟显示图像的边界，令处理器20的取点操作更加简单。

可选的，在上述任一实施例中，处理器20还用于确定瞳孔位置O和环境物体上的M个点Q1，Q2，Q3，……，Qm，其中m为正整数；并确定点集M，点集M为集合{Q1，Q2，Q3，……，Qm}的子集，点集M包括的任一点Qj具有如下性质：线段OQj与拟显示图像相交，其中j为小于或等于m为正整数；处理器20还用于根据点集M，确定用于遮挡环境物体的图像。

在本实施例中，处理器20首先确定瞳孔位置O，如图7所示，由于用户是从瞳孔位置观看虚拟图像，因此确定瞳孔位置为O点能够令确定的拟显示图像中未被环境物体遮挡的图像更加接近用户的实际观看效果，当瞳孔位置O与Qj点的连线OQj与拟显示图像相交时，说明从O点向Qj点望去，Qj点被拟显示图像遮挡，为了增强虚拟图像的显示效果，Qj点应该被遮挡，因此处理器20根据点集M能够确定用于遮挡环境物体的图像。

可选的，在上述实施例中，处理器20还用于确定点集M中各点连线所围成的区域为用于遮挡环境物体的图像。在本实施例中，被拟显示图像遮挡的点所围成的区域即用于遮挡环境物体的图像，因此处理器20还用于确定点集M中各点连线所围成的区域为用于遮挡环境物体的图像。

可选的，在上述实施例中，处理器20还用于确定环境物体上的M个点Q1，Q2，Q3，……，Qm位于环境物体的边界。在本实施例中，当拟显示图像遮挡环境图像，且从瞳孔位置O向拟显示图像望去，拟显示图像的边界在环境物体的边界之外时，获取环境物体边界上的M个点Q1，Q2，Q3，……，Qm即可确定出点集M，因此处理器20还用于确定环境物体上的M个点Q1，Q2，Q3，……，Qm位于环境物体的边界，令处理器20的取点操作更加简单

可选的，在上述任一实施例中，还包括眼球探测器50，用于获取用户的眼部运动情况，处理器20还用于根据用户的眼部运动情况确定瞳孔位置O。在本实施例中，如图9所示，当用户瞳孔运动时，处理器能够根据用户的眼部运动情况确定瞳孔位置O，令O点时刻位于用户瞳孔位置，并由此确定拟显示图像中未被环境物体遮挡的图像，和用于遮挡环境物体的图像，令所显示的虚拟图像更加符合用户的观看角度，提高用户使用体验。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的流程及结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (16)

1.一种显示方法，其特征在于，包括：

获取拟显示图像的边界及位置；

获取环境物体的边界及位置；

根据所述拟显示图像的边界及位置和所述环境物体的边界及位置，确定所显示的虚拟图像；

其中，所述虚拟图像包括，所述拟显示图像中未被所述环境物体遮挡的图像，和用于遮挡所述环境物体的图像。

2.如权利要求1所述的方法，其特征在于：确定所述拟显示图像中未被所述环境物体遮挡的图像包括：

确定瞳孔位置O和所述拟显示图像上的N个点P1，P2，P3，…，Pn，其中n为正整数；

确定点集N，所述点集N为集合{P1，P2，P3，…，Pn}的子集，所述点集N包括的任一点Pi具有如下性质：

线段OPi与所述环境物体无交点，其中i为小于或等于n为正整数；

根据所述点集N，确定所述拟显示图像中未被所述环境物体遮挡的图像。

3.如权利要求2所述的方法，其特征在于，所述根据所述点集N，确定所述拟显示图像中未被所述环境物体遮挡的图像包括：

确定所述点集N中各点连线所围成的区域为所述拟显示图像中未被所述环境物体遮挡的图像。

4.如权利要求3所述的方法，其特征在于，所述拟显示图像上的N个点P1，P2，P3，…，Pn位于所述拟显示图像的边界。

5.如权利要求1所述的方法，其特征在于，确定所述用于遮挡所述环境物体的图像包括：

确定瞳孔位置O和所述环境物体上的M个点Q1，Q2，Q3，……，Qm，

其中m为正整数；

确定点集M，所述点集M为集合{Q1，Q2，Q3，……，Qm}的子集，所述点集M包括的任一点Qj具有如下性质：

线段OQj与所述拟显示图像相交，其中j为小于或等于m为正整数；

根据所述点集M，确定所述用于遮挡所述环境物体的图像。

6.如权利要求5所述的方法，其特征在于，所述根据所述点集M，确定所述用于遮挡所述环境物体的图像包括：

确定所述点集M中各点连线所围成的区域为所述用于遮挡所述环境物体的图像。

7.如权利要求6所述的方法，其特征在于，所述环境物体上的M个点Q1，Q2，Q3，……，Qm位于所述环境物体的边界。

8.如权利要求2至7所述的任一方法，其特征在于，还包括：获取用户的眼部运动情况；根据所述用户的眼部运动情况确定所述瞳孔位置O。

9.一种显示装置，其特征在于，包括：

光引擎，用于生成拟显示图像；

处理器，用于获取所述拟显示图像的边界及位置；

探测器，用于探测环境物体；所述处理器还用于获取所述环境物体的边界及位置；

遮挡部件，用于生成用于遮挡环境物体的图像；

所述处理器还用于根据所述拟显示图像的边界及位置和所述环境物体的边界及位置，确定所显示的虚拟图像；其中，所述虚拟图像包括，所述拟显示图像中未被所述环境物体遮挡的图像，和用于遮挡所述环境物体的图像；

显示部件，用于显示所述虚拟图像。

10.如权利要求9所述的装置，其特征在于，所述处理器还用于确定瞳孔位置O和所述拟显示图像上的N个点P1，P2，P3，…，Pn，其中n为正整数；

并确定点集N，所述点集N为集合{P1，P2，P3，…，Pn}的子集，所述点集N包括的任一点Pi具有如下性质：

线段OPi与所述环境物体无交点，其中i为小于或等于n为正整数；

所述处理器还用于根据所述点集N确定所述拟显示图像中未被所述环境物体遮挡的图像。

11.如权利要求10所述的装置，其特征在于，所述处理器还用于确定所述点集N中各点连线所围成的区域为所述拟显示图像中未被所述环境物体遮挡的图像。

12.如权利要求11所述的装置，其特征在于，所述处理器还用于确定所述拟显示图像上的N个点P1，P2，P3，…，Pn位于所述拟显示图像的边界。

13.如权利要求9所述的装置，其特征在于，所述处理器还用于确定瞳孔位置O和所述环境物体上的M个点Q1，Q2，Q3，……，Qm，其中m为正整数；

并确定点集M，所述点集M为集合{Q1，Q2，Q3，……，Qm}的子集，所述点集M包括的任一点Qj具有如下性质：线段OQj与所述拟显示图像相交，其中j为小于或等于m为正整数；

所述处理器还用于根据所述点集M，确定所述用于遮挡所述环境物体的图像。

14.如权利要求13所述的装置，其特征在于，所述处理器还用于确定所述点集M中各点连线所围成的区域为所述用于遮挡所述环境物体的图像。

15.如权利要求14所述的庄子，其特征在于，所述处理器还用于确定所述环境物体上的M个点Q1，Q2，Q3，……，Qm位于所述环境物体的边界。

16.如权利要求10至15任一权利要求所述的装置，其特征在于，还包括眼球探测器，用于获取用户的眼部运动情况，所述处理器还用于根据所述用户的眼部运动情况确定所述瞳孔位置O。