CN107071388A - 一种立体增强现实显示方法及装置 - Google Patents

Abstract

本发明公开了一种立体增强现实显示方法及装置，用于对任一物体进行增强现实信息显示处理时，包括采集目标物体及三维虚拟物体信息并获取摄像头位姿，获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在相机坐标系下的三维坐标，分别计算得到虚拟物体和左、右眼的位置关系，再分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像，并分别在左、右显示屏上进行显示。本发明的目的在于提供一种立体增强现实显示系统和装置，旨在实现真实的三维立体的显示效果，给用户带来真切的立体感、增强体验，提供一种能够更好地做到虚拟信息与现实信息的“无缝”融合的实现过程较方便、通用性较强的立体增强显示现实系统和装置。

Description

一种立体增强现实显示方法及装置

技术领域

本发明涉及增强现实设备的智能显示技术，尤其涉及一种立体增强现实显示方法及装置。

背景技术

增强现实技术简称AR，是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。这种技术不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头盔显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段，这种技术随着随身电子产品运算能力的提升，增强现实的用途越来越广。

目前，增强现实(AR)技术采取的三维虚拟信息的呈现方式主要是在屏幕上绘制三维物体经过不同角度的透视投影所得的二维图像，这种投影方式的实质是显示有一定立体感的二维图像，而并非真实的三维物体。因此，这种呈现方式并不能给用户真切的立体感。

因此，现有技术还有待发展。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种立体增强现实显示系统及装置，旨在实现真实的三维立体的显示效果，给用户带来真切的立体感、增强体验，提供一种能够更好地做到虚拟信息与现实信息的“无缝”融合的实现过程较方便、通用性较强的立体增强显示现实系统和装置。

为了达到上述目的，本发明采取了以下技术方案：

对任一物体进行增强现实信息显示处理时，包括如下步骤：

采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标；

根据所述虚拟物体和左、右眼在相机坐标系下的三维坐标，分别计算得到虚拟物体和左、右眼的位置关系；

根据所述虚拟物体和左、右眼的位置关系，分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像，并分别在左、右显示屏上进行显示。

进一步的，采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿包括：

通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

将摄像头采集的实时图像与目标物体的三维模型相匹配，获得相机姿态。

进一步的，获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标包括：

根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

本发明还提供一种立体增强现实显示装置，所述装置包括：

采集模块，用于采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

三维坐标获取模块，用于获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体的显示坐标在摄像头坐标系下的三维坐标；

投影图像计算模块，根据在相机坐标系下虚拟物体和左、右眼的三维坐标，分别计算得到虚拟物体和左、右眼之间的位置关系；并据此分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像；

显示模块，用于分别在左、右显示屏显示不同的二维图像。

进一步的，所述采集模块还包括：

图像采集单元，用于通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

三维重建单元，用于根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

摄像头位姿获取单元，同于将摄像头采集的实时图像与目标物体的三维模型相匹配，获得摄像头位姿。

进一步的，所述三维坐标获取模块还包括：

目标物体三维坐标获取单元，用于根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

三维虚拟物体坐标获取单元，计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

本发明还提供了一种立体增强现实显示设备，包括：

或双显示屏、一支持双屏异显的CPU；

或双显示屏、一支持双屏同显的CPU、以及同步开关，所述CPU的输出帧率大于60fps，所述显示屏刷新频率率大于120Hz，通过软件用双倍刷新率在屏幕上交替显示左右眼图像，并且同时通过同步开关控制左右眼是否看到图像；

或双显示屏、一支持双屏同显的CPU、以及RGB分色镜片或偏振镜片，通过软件对左右眼需要呈现的二维图像进行合成处理，通过RGB分色或偏振镜片控制左右眼是否看到图像。

有益效果：本发明的一种立体增强现实显示方法及设备，旨在通过在左右眼显示不同的二维图像实现真实的三维立体的显示效果，给用户带来真切的立体感、增强体验，提供一种能够更好地做到虚拟信息与现实信息的“无缝”融合的实现过程较方便、通用性较强的立体增强显示现实系统和装置。

附图说明

图1为本发明实施例提供的立体增强现实显示方法的实现流程图；

图2为本发明实施例提供的立体增强现实显示方法的采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿的流程图；

图3为本发明实施例提供的立体增强现实显示方法的获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标的流程图；

图4为本发明实施例提供的立体增强现实显示装置的结构框图；

图5为本发明实施例提供的立体增强现实显示装置的采集模块的结构框图；

图6为本发明实施例提供的立体增强现实显示装置的三维坐标获取模块的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者可能同时存在居中元件。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。

还需要说明的是，本发明实施例中的左、右、上、下等方位用语，仅是互为相对概念或是以产品的正常使用状态为参考的，而不应该认为是具有限制性的。

如图1所示，为本发明具体实施例的一种立体增强现实显示方法的流程图，包括如下步骤：

对任一物体进行增强现实信息显示处理时，包括如下步骤：

步骤S101：采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

步骤S102：获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标；

步骤S103：根据所述虚拟物体和左、右眼在相机坐标系下的三维坐标，分别计算得到虚拟物体和左、右眼的位置关系；

步骤S104：根据所述虚拟物体和左、右眼的位置关系，分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像，并分别在左、右显示屏上进行显示。

具体的，如图2所示，为本发明实施例中采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿的流程图，其步骤包括：

步骤S201：通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

步骤S202：根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

步骤S203：将摄像头采集的实时图像与目标物体的三维模型相匹配，获得相机姿态。

具体的，如图3所示，为本发明实施例中获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标的流程图，其包括如下步骤：

步骤S301：根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

步骤S302：计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

如图4所示，本发明还提供一种立体增强现实显示装置，所述装置包括：

采集模块101，用于采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

三维坐标获取模块102，用于获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体的显示坐标在摄像头坐标系下的三维坐标；

投影图像计算模块103，根据在相机坐标系下虚拟物体和左、右眼的三维坐标，分别计算得到虚拟物体和左、右眼之间的位置关系；并据此分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像；

显示模块104，用于分别在左、右显示屏显示不同的二维图像。

具体的，如图5所示，所述采集模块还包括：

图像采集单元201，用于通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

三维重建单元202，用于根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

摄像头位姿获取单元203，同于将摄像头采集的实时图像与目标物体的三维模型相匹配，获得摄像头位姿。

具体的，如图6所示，所述三维坐标获取模块还包括：

目标物体三维坐标获取单元301，用于根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

三维虚拟物体坐标获取单元302，计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

本发明还提供了一种立体增强现实显示设备，包括：

或双显示屏、一支持双屏异显的CPU；

或双显示屏、一支持双屏同显的CPU、以及同步开关，所述CPU的输出帧率大于60fps，所述显示屏刷新频率率大于120Hz，通过软件用双倍刷新率在屏幕上交替显示左右眼图像，并且同时通过同步开关控制左右眼是否看到图像；

或双显示屏、一支持双屏同显的CPU、以及RGB分色镜片或偏振镜片，通过软件对左右眼需要呈现的二维图像进行合成处理，通过RGB分色或偏振镜片控制左右眼是否看到图像。

本发明实施例所述的一种立体增强现实显示方法及设备，旨在通过在左右眼显示不同的二维图像实现真实的三维立体的显示效果，给用户带来真切的立体感、增强体验，提供一种能够更好地做到虚拟信息与现实信息的“无缝”融合的实现过程较方便、通用性较强的立体增强显示现实系统和装置。

作为本发明的一个实施例，实现立体增强显示显示系统的设备还可以是能够实现所述技术的其它设备组合不限于所述的三种设备组合。

本发明实施例提供的立体增强显示显示方法及设备，其旨在通过在左右眼显示不同的二维图像实现真实的三维立体的显示效果，给用户带来真切的立体感、增强体验，提供一种能够更好地做到虚拟信息与现实信息的“无缝”融合的实现过程较方便、通用性较强的立体增强显示现实系统和装置。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种立体增强现实显示方法，其特征在于，对任一物体进行增强现实信息显示处理时，包括如下步骤：

采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标；

根据所述虚拟物体和左、右眼在相机坐标系下的三维坐标，分别计算得到虚拟物体和左、右眼的位置关系；

根据所述虚拟物体和左、右眼的位置关系，分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像，并分别在左、右显示屏上进行显示。

2.根据权利要求1所述的一种立体增强现实显示方法，其特征在于，采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿包括：

通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

将摄像头采集的实时图像与目标物体的三维模型相匹配，获得相机姿态。

3.根据权利要求1所述的一种立体增强现实显示方法，其特征在于，获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体在摄像头坐标系下的三维坐标包括：

根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

4.一种立体增强现实显示装置，其特征在于，所述装置包括：

采集模块，用于采集目标物体图像及需要显示的三维虚拟物体信息并获取摄像头位姿；

三维坐标获取模块，用于获得目标物体在摄像头坐标系下的三维坐标，确定三维虚拟物体的显示坐标在摄像头坐标系下的三维坐标；

投影图像计算模块，根据在相机坐标系下虚拟物体和左、右眼的三维坐标，分别计算得到虚拟物体和左、右眼之间的位置关系；并据此分别计算出所述三维虚拟物体投影到左、右眼的不同的二维图像；

显示模块，用于分别在左、右显示屏显示不同的二维图像。

5.根据权利要求4所述的一种增强现实显示装置，其特征在于，所述采集模块还包括：

图像采集单元，用于通过用户佩戴的增强现实设备的摄像头采集上述选取的目标物体各个视角的图像；

三维重建单元，用于根据采集到的各个视角的图像利用SFM技术对该物体进行三维重建，还原出目标物体的三维模型；

摄像头位姿获取单元，同于将摄像头采集的实时图像与目标物体的三维模型相匹配，获得摄像头位姿。

6.根据权利要求4所述的一种增强现实显示装置，其特征在于，所述三维坐标获取模块还包括：

目标物体三维坐标获取单元，用于根据摄像头与目标物体之间的相对位置关系，得到目标物体在相机坐标系下的三维坐标；

三维虚拟物体坐标获取单元，计算出需要绘制的在所述目标物体周围的三维虚拟物体在相机坐标系下的三维坐标。

7.一种立体增强现实显示设备，其特征在于，包含如权利要求4-6任一项所述的立体增强现实显示装置，包括：

或双显示屏、一支持双屏异显的CPU；

或双显示屏、一支持双屏同显的CPU、以及同步开关，所述CPU的输出帧率大于60fps，所述显示屏刷新频率率大于120Hz，通过软件用双倍刷新率在屏幕上交替显示左右眼图像，并且同时通过同步开关控制左右眼是否看到图像；

或双显示屏、一支持双屏同显的CPU、以及RGB分色镜片或偏振镜片，通过软件对左右眼需要呈现的二维图像进行合成处理，通过RGB分色或偏振镜片控制左右眼是否看到图像。