CN106791784B - 一种虚实重合的增强现实显示方法和装置 - Google Patents

Abstract

本发明公开一种虚实重合的增强现实显示方法和装置，其中，所述方法包括：采集真实世界中目标物体图像，并获取摄像头位姿；根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。本发明解决了视频穿透式AR设备虚实不重合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题，能够改善用户体验，且实现过程方便、通用性强。

Description

一种虚实重合的增强现实显示方法和装置

技术领域

本发明涉及增强现实技术领域，具体是一种虚实重合的增强现实显示方法和装置。

背景技术

目前，头戴式AR设备主要有两种显示方式：视频透视式(Video See-Through)和光学透视式(Optical See-Through)。透视式指AR设备使用半透明镜片，人眼可直接透过镜片看到外部的现实景象。视频透视式指将摄像头采集到的图像与叠加的信息叠加后以视频或图像流的方式在虚像屏幕上显示，虚像屏幕显示图像与人眼直接看到的现实画面不重合，即虚实不重合。光学透视式指通过光学原理和设备将增强的信息直接叠加在人眼透过镜片看到的现实画面中的相应位置上，屏幕上只显示增强的信息。后者不存在虚实不重合的问题，但对硬件设备及软件技术的要求非常高。因此，目前市面上大多数头戴式AR设备均采用视频透视式显示方式，如Epson BT200等。对于视频透视式AR设备而言，由于虚实不重合产生的重影会对用户造成视觉干扰。

此外，传统的视频透视式显示方式中，通过AR设备看到的虚像与人眼距离是固定的(如：2米)，而现实场景的画面与人眼距离是变化的(如：0.5-5米)。屏幕画面与现实场景的画面不在一个平面，即虚实不贴合。然而，在任一时刻，人眼只可聚焦到一个平面。因此，在使用过程中，用户需要不断在屏幕与现实场景中切换聚焦点，影响用户体验。长时间佩戴，容易造成视觉疲劳，并对视力造成伤害。在工业、医疗、军事等作业环境下，以上这些问题的存在容易导致生产、医疗等事故的发生。

发明内容

本发明为了克服现有技术的不足，提出一种虚实重合的增强现实显示方法和装置，旨在解决视频穿透式AR设备虚实不重合、不贴合的显示方式对用户造成的视觉干扰、视觉疲劳、视力伤害等问题，能够改善用户体验，且实现过程方便、通用性强。

为了解决上述的技术问题，本发明提出的基本技术方案为：

采集真实世界中目标物体图像，并获取摄像头位姿；

根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；

将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

其中，采集真实世界中目标物体图像，并获取摄像头位姿进一步包括：

建立目标物体的模型；

利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配，得到摄像头位姿。

其中，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括：

获取真实世界中目标物体图像上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标，得到两者的变换关系f₁；

获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标，得到两者的变换关系f₂；

根据f₁、f₂及预先确定的世界坐标系到相机坐标系的坐标变换f₃得到P点的显示坐标到透视投影坐标之间的变换关系F₁。

其中，所述AR设备为双目镜时，分别求出两个屏幕上目标物体的显示坐标到透视投影坐标的变换关系，根据不同的变换关系分别对显示坐标进行坐标变换。

此外，本发明还提供一种虚实重合的增强现实显示装置，其包括：

采集模块，用于采集真实世界中目标物体图像，并获取摄像头位姿；

透视投影坐标获取模块，用于根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

显示坐标获取模块，用于获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；

叠加及显示模块，用于将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；或用于根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

本发明的有益效果是：本发明提供的虚实重合的增强现实显示方法和装置，通过获得显示坐标与透视投影坐标的变换关系并根据该坐标变换关系对图像进行坐标变换，最后显示于AR设备的屏幕上，经过坐标变换后的图像与真实世界图像近似重合，使得人眼的视觉效果得到明显改善，且其实现过程方便、通用性强。

附图说明

图1为本发明一实施例提供的虚实重合的增强现实显示方法流程图。

图2为本发明另一实施例提供的虚实重合的增强现实显示方法流程图。

图3a为现有技术中人眼透过镜片在AR设备的屏幕上看到的画面。

图3b为本发明实施例中人眼透过镜片在AR设备的屏幕上看到的画面。

图4为本发明实施例提供的虚实重合的增强现实显示装置结构示意图。

具体实施方式

以下将结合附图1至4和实施例对本发明做进一步的说明，但不应以此来限制本发明的保护范围。

如图1所示，为本发明一实施例提供的虚实重合的增强现实显示方法流程图，其包括以下步骤：

步骤S101：采集真实世界中目标物体图像，并获取摄像头位姿。

步骤S102：根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。

步骤S103：获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系。

步骤S104：将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕。

如图2所示，为本发明另一实施例提供的虚实重合的增强现实显示方法流程图，其包括以下步骤：

步骤S201：采集真实世界中目标物体图像，并获取摄像头位姿。

步骤S202：根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标。

步骤S203：获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系。

步骤S204：根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

具体的，在本发明一些优选实施例中，采集真实世界中目标物体图像，并获取摄像头位姿进一步包括：

建立目标物体的模型；

利用AR设备的摄像头实时采集真实世界图像并与所述模型进行匹配，得到摄像头位姿以及摄像头采集的图像中目标物体的位置。

值得说明的是，在本发明的一些实施例中，所建立的模型可以是二维模型或三维模型。

具体的，在本发明的一些优选实施例中，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系进一步包括：

假设目标物体图像中任意一点P在世界坐标系中的坐标为P(x，y，z)，点P在屏幕平面的透视投影坐标为P_s(x_s，y_s)，屏幕到世界坐标系原点O距离为d，则有：

假设摄像头与屏幕成像的有效部分长宽比例相同且其长度比值为k₁，相机坐标系中点P的对应点为P_ci(x_ci，y_ci)，P点在屏幕平面的显示坐标为P_cs(x_cs，y_cs)，则有：

k₁(x_ci，y_ci)＝(x_cs，y_cs) ②

点P由世界坐标系到相机坐标系的坐标变换如下：

其中，z_c为P在相机坐标系下Z轴坐标，F为相机焦距，t₁、t₂、t₃分别为世界坐标系变换到相机坐标系在X、Y、Z轴的平移分量。

由①②③式可得显示坐标到透视投影坐标的变换关系为：

其中，

在上述k的表达式中，除z外，其余参数均为定值。即k随z变化而变化，且z越大，对k影响越小。

因此，需要求得z₀，使得当z＞z₀时，k变化足够小，即在实际应用中k可视为定值。

此外，可以理解，本发明实施例中所述的AR设备包括AR眼镜、AR头盔等。

为了更加清楚的说明本实施例的技术方案，下面以一款单目式AR眼镜为例，对本实施例作进一步说明。

将眼镜的相关参数d、t₁、t₂、t₃、k₁、F代入k、b₁、b₂的表达式中，可得：k＝4.66(1+25/z)，b₁＝50000/z(mm)，b₂＝0。结合实际情况，取z₀＝250(mm)。当z＞z₀＝250(mm)时，将k看作定值，即k＝4.66，且b₁＜50000/z₀＝200(mm)，与屏幕宽度相比可忽略不计。对眼镜端显示图像做相应的坐标变换，即可实现虚实近似重合的效果。

如图3所示为本实施例一具体场景的对比图，其中，图3a为现有技术中人眼透过镜片在AR设备的屏幕上看到的画面，图3b为本发明实施例中人眼透过镜片在AR设备的屏幕上看到的画面，其中，外框内的图像为人眼透过镜片直接看到的真实世界场景，内框内的图像为屏幕上显示的画面。

可见，变换前视野中出现两层重叠而不重合的画面，变换后两层画面近似重合，视觉效果有明显改善。

更具体的，在本发明的一些实施例中，所述AR设备为双目镜时，分别求出两个屏幕上目标物体的显示坐标到透视投影坐标的变换关系，根据不同的变换关系分别对显示坐标进行坐标变换。可以理解，两个屏幕所得到的坐标变换关系并不相同，因此其经过坐标变换后所显示的图像也并不相同，根据人的双眼立体成像原理，两个屏幕所显示的图像经双眼合成一张图像时，会产生景深的效果，以此实现屏幕显示的图像与真实世界场景相贴合的效果。

如图4所示，本发明实施例还提供一种虚实重合的增强现实显示装置，包括：

采集模块301，用于采集真实世界中目标物体图像，并获取摄像头位姿；

透视投影坐标获取模块302，用于根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

显示坐标获取模块303，用于获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，根据目标物体的显示坐标及透视投影坐标得到目标物体的显示坐标到投影坐标的变换关系；

叠加及显示模块304，用于将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；或用于根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

根据上述说明书的揭示和教导，本发明所属领域的技术人员还可以对上述实施方式进行变更和修改。因此，本发明并不局限于上面揭示和描述的具体实施方式，对本发明的一些修改和变更也应当落入本发明的权利要求的保护范围内。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。

Claims (4)

1.一种虚实重合的增强现实显示方法，其特征在于，包括:

采集真实世界中目标物体图像，并获取摄像头位姿；

根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，获取真实世界中目标物体上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标，得到两者的变换关系f₁；获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标，得到两者的变换关系f₂；根据f₁、f₂及预先确定的世界坐标系到相机坐标系的坐标变换关系f₃得到P点的显示坐标到透视投影坐标之间的变换关系F₁；

将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；

或根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。

2.如权利要求1所述的虚实重合的增强现实显示方法，其特征在于：采集真实世界中目标物体图像，并获取摄像头位姿进一步包括：

建立目标物体的模型；

利用AR设备的摄像头实时采集真实世界中目标物体图像并与所述模型进行匹配，得到摄像头位姿。

3.如权利要求1所述的虚实重合的增强现实显示方法，其特征在于：所述AR设备为双目镜时，分别求出两个屏幕上目标物体的显示坐标到透视投影坐标的变换关系，根据不同的变换关系分别对显示坐标进行坐标变换，使变换后的显示坐标与透视投影坐标近似重合。

4.一种虚实重合的增强现实显示系统，其特征在于，包括：

采集模块，用于采集真实世界中目标物体图像，并获取摄像头位姿；

透视投影坐标获取模块，用于根据摄像头位姿获取目标物体在AR设备屏幕上的透视投影坐标；

显示坐标获取模块，用于获取目标物体及预先确定的增强现实信息在AR设备屏幕上的显示坐标，获取真实世界中目标物体上一点P在世界坐标系中的坐标及其在屏幕平面的透视投影坐标，得到两者的变换关系f₁；获取P点在相机坐标系中的坐标及其在屏幕平面的显示坐标，得到两者的变换关系f₂；根据f₁、f₂及预先确定的世界坐标系到相机坐标系的坐标变换关系f₃得到P点的显示坐标到透视投影坐标之间的变换关系F₁；

叠加及显示模块，用于将所述目标物体图像与增强现实信息叠加生成叠加图像，根据所述变换关系对叠加图像进行坐标变换并显示于AR设备的屏幕；或用于根据所述变换关系对目标物体图像和增强现实信息分别进行坐标变换，然后叠加生成叠加图像显示于AR设备的屏幕。