CN108629830A - 一种三维环境信息显示方法及设备 - Google Patents

Abstract

本发明涉及一种三维环境信息显示方法，包括如下步骤：通过相机环绕物体拍摄，获取所述物体的图像信息；对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存；计算三维信息显示模块与显示基准点之间的相对位置关系；利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像；借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像。本发明通过相机的环绕拍摄，实时通过图像处理模块进行三维信息重建，用户可以选择显示正在重建或重建完成的景物信息，以增强现实的方法叠加在现实世界中，用户可以随意走动观看不同角度，若重建在进行中，观看场景随着图像处理的结果更新而更新。

Description

一种三维环境信息显示方法及设备

技术领域

本发明属于增强显示技术领域，尤其涉及一种三维环境信息显示方法及设备。

背景技术

现有技术中，无人机通过云台相机拍摄连续视频，将相机视角的采集图像显示于终端屏幕。无人机通过环绕景物等飞行，或相机环绕物体移动，在本地计算机构建场景的三维信息，用于分析。现有的显示方式存在客观缺点,例如，现有的无人机图像采集与显示局限于二维图像。现有的无人机图像显示方式为终端屏幕，受局限于屏幕的面积，用户被动观看显示的内容。现有的无人机采集图像的显示视角与无人机云台相机一致。所存储的录制视频受限于当时拍摄的轨迹，用户后期观看只能按照当时的拍摄顺序、角度、景物去观看，没有交互过程等。因此，对于越来越丰富的用户观看需求，有必要改善显示效果。

发明内容

本发明实施例提供了一种三维环境信息显示方法及设备，以解决现有无人机拍摄显示单一的技术问题。

本发明实施例提供的一种三维环境信息显示方法方法，包括如下步骤：

通过相机环绕物体拍摄，获取所述物体的图像信息；对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存；计算三维信息显示模块与显示基准点之间的相对位置关系；利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像；借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像。

进一步的，“对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存”包括：获得单目图像，实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵F，并实时计算物体表面点的三维坐标并保存。

进一步的，所述“实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵F，”包括：实时计算相邻图像间的图像特征匹配、变换矩阵以及环境深度信息。

进一步的，所述“实时计算相邻图像间的图像特征匹配”包括：获取到新一帧图像后，对该新一帧图像的特征点进行检测并描述其与上一帧图像特征点之间的匹配程度，与上一帧图像的特征点进行匹配，得到多组相邻帧间匹配的特征点对。

进一步的，所述“实时计算相邻图像间的变换矩阵”包括：对于一组对应的特征点对，其像素点坐标之间满足：

x₁ ^TFx₂＝0 (1)

其中，F是基础矩阵，采用归一化8点法求解基础矩阵F；

基础矩阵F与本征矩阵E满足：

F＝(K^-1)^TE(K^-1) (2)

其中，K为相机内部参数；E为本征矩阵，表征特征点在物理空间的坐标关系，即旋转和平移；

通过式(1)和(2)计算出本征矩阵E；

对E进行奇异值分解，得到拍摄I₂图像时相机位置O₂相对于拍摄I₁时位置O₁发生的旋转R₁₂和平移T₁₂，满足：

O₁R₁₂+T₁₂＝O₂ (3)

得到图像序列中的相邻两幅图像之间的变换关系，将空间位置转换为相机初始坐标系中，得到移动轨迹和姿态变化。

进一步的，所述“实时计算相邻图像间的环境深度信息”包括：由特征点对的像素坐标p₁(x,y)、p₂(u,v)，计算其视差d，利用三角测距法，可计算出该特征点对在三维空间中的对应点P(X,Y,Z)的深度信息Z满足：

进一步得到，

通过式(4)-(6)可计算出特征点在以O₁为坐标原点的三维空间中的坐标；结合式(3)，可以得到该特征点对于相机初始坐标系的三维坐标。

进一步的，所述“计算三维信息显示模块与显示基准点之间的相对位置关系”包括：选定实际空间中的某一点为显示基准点；实时计算三维信息显示模块相对于显示基准点位置移动轨迹和姿态变化；将所述三维点云数据进行成倍数放大或缩小后转移到显示基准点位置坐标系中，获得三维信息显示模块与显示基准点之间的相对位置关系。

进一步的，所述“利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像”，包括：将三维点云数据中的每个点的三维坐标，都乘以三维信息显示模块的位置转移矩阵，得到三维信息显示模块坐标系中的三维坐标；并根据投影方程得到点在显示模块中的屏幕显示坐标，则在屏幕相应位置投射该点保存的颜色；当每个点都得到对应的屏幕显示坐标后，就得到了整个屏幕的颜色投射虚拟图。

进一步的，所述“借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像”，包括：三维信息显示模块内置一枚微型显示屏，并且可以直接通过透镜投射到镜片上；利用镜片反射将物体虚拟图像投射到用户的眼球上；外界的光线透过所述镜片后投到用户眼球上，与所述虚拟图像形成叠加，得到增强显示图像。

本发明实施例提供一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一所述的方法。

本发明实施例的上述方案与现有技术相比，至少具有以下有益效果：

通过相机的环绕拍摄，实时通过图像处理模块进行三维信息重建，用户可以选择显示正在重建或重建完成的景物信息，以增强现实的方法叠加在现实世界中，用户可以随意走动观看不同角度，若重建在进行中，观看场景随着图像处理的结果更新而更新。

现有的无人机图像采集与显示不再局限于二维图像。可以根据自己的需要获取三维图像显示，甚至是增强显示，提高了显示效果，提升了用户体验。另外，用户不再被动观看显示的内容，可以更加自主的选择想观看的内容，满足了不同用户的需求。另外，显示视角更加灵活自由，由用户决定，用户可以选择观看角度，可以通过用户界面实现交互，增加了乐趣。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例所述三维环境信息显示的使用效果图；

图2是本发明一个实施例所述三维环境信息显示方法的流程图；

图3是本发明一个实施例所述三维环境信息显示方法使用环境示意图；

图4是本发明一个实施例所述三维环境信息显示的显示效果图；

图5是本发明一个实施例所述无人船水下测绘方法的电子设备的硬件结构连接示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，尽管在本申请实施例中可能采用术语第一、第二、第三等来描述……，但这些……不应限于这些术语。这些术语仅用来将……区分开。例如，在不脱离本申请实施例范围的情况下，第一……也可以被称为第二……，类似地，第二……也可以被称为第一……。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面结合附图详细说明本发明的优选实施例。

实施例1

如图1、图2、图3所示，本发明涉及一种三维环境信息获取与显示的方法。该方法包括相机模块、图像处理模块、三维信息显示模块。通过相机的环绕拍摄，实时通过图像处理模块进行三维信息重建，用户可以选择显示正在重建或重建完成的景物信息，借助三维信息显示模块，以增强现实的方法叠加在现实世界中，如图1所示，用户可以随意走动观看不同角度，若重建在进行中，观看场景随着图像处理的结果更新而更新，如图4所示。

所述相机模块是可移动的，为手持相机或者无人机的云台相机。

具体的，本发明实施例提供的一种三维环境信息显示方法方法，包括如下步骤：

S100：通过相机环绕物体(例如人)拍摄，通过一定的算法获取所述物体的图像信息。

S200：对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存。

S300：计算三维信息显示模块与显示基准点之间的相对位置关系。

S400：利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像。

S500：借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像。

其中，步骤S200中，“对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存”包括：通过相机的拍摄，获得单目图像，实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵，并实时计算物体表面点的三维坐标并实时保存。

所述“实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵，”包括：实时计算相邻图像间的图像特征匹配度、变换矩阵以及环境深度信息等参数，以能够准确确定相对位置的参数为限。

根据本发明的实施方式，所述“实时计算相邻图像间的图像特征匹配”进一步优选为，包括：通过运动相机获取到新一帧图像后，采用orb角点检测算法进行特征点的检测，用BRIEF描述子对检测到的特征点进行描述，并根据汉明距离描述特征点之间的匹配程度，与上一帧图像的特征点进行匹配，得到多组相邻帧间匹配的特征点对，并将获得的物体所有图像形成特征点对组，存储于计算机。

具体的，所述“实时计算相邻图像间的变换矩阵”包括：对于一组对应的特征点对，其像素点坐标之间满足：

x₁ ^TFx₂＝0 (1)

其中，F是基础矩阵，采用归一化8点法即可求解基础矩阵F。

基础矩阵F与本征矩阵E满足如下关系：

F＝(K^-1)^TE(K^-1) (2)

其中，K为相机内部参数，可通过相机标定和计算提前获得；E为本征矩阵，表征特征点在物理空间的坐标关系，即旋转和平移。

通过式(1)和(2)计算出本征矩阵E；

对E进行奇异值分解，得到拍摄I₂图像时相机位置O₂相对于拍摄I₁时位置O₁发生的旋转R₁₂和平移T₁₂，满足：

O₁R₁₂+T₁₂＝O₂ (3)

这样，一次计算得到图像序列中的相邻两幅图像之间的变换关系，对所有图像进行计算变换，可以将其空间位置换算到相机初始坐标系中，得到移动轨迹和姿态变化。上述计算获得XY面内的参数坐标转换。

下面进一步的进行深度转换，所述“实时计算相邻图像间的环境深度信息”包括：由特征点对的像素坐标p₁(x,y)、p₂(u,v)，计算其视差d，利用三角测距法，可计算出该特征点对在三维空间中的对应点P(X,Y,Z)的深度信息Z满足：

进一步得到，

通过式(4)-(6)可计算出特征点在以O₁为坐标原点的三维空间中的坐标；结合式(3)，可以得到该特征点对于相机初始坐标系的三维坐标。

下面，计算三维信息显示模块与显示基准点之间的相对位置关系，具体包括：选定实际空间中的某一点为显示基准点，显示基准点为实际空间中的某一点，可以由用户指定，用于提供虚拟图像叠加的位置，指定时能够得到以显示参考位置为原点的三维位置坐标。

实时计算三维信息显示模块相对于显示基准点位置移动轨迹和姿态变化，与上述相机获取移动轨迹和姿态变化的方法一样，三维信息显示模块需要配置一块摄像头，可以实时计算三维信息显示模块相对于显示参考位置移动轨迹和姿态变化。

将所述三维点云数据进行成倍数放大或缩小后转移到显示基准点位置坐标系中，获得三维信息显示模块与显示基准点之间的相对位置关系。

进一步的，所述“利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像”，包括：将三维点云数据中的每个点的三维坐标，都乘以三维信息显示模块的位置转移矩阵，得到三维信息显示模块坐标系中的三维坐标；并根据投影方程得到点在显示模块中的屏幕显示坐标，则在屏幕相应位置投射该点保存的颜色；当每个点都得到对应的屏幕显示坐标后，就得到了整个屏幕的颜色投射虚拟图。

其中，所述“借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像”，包括：三维信息显示模块内置一枚微型显示屏，并且可以直接通过透镜投射到镜片上；利用镜片反射将物体虚拟图像投射到用户的眼球上；外界的光线透过所述镜片后投到用户眼球上，与所述虚拟图像形成叠加，得到增强显示图像。

综上所述，通过相机的环绕拍摄，实时通过图像处理模块进行三维信息重建，用户可以选择显示正在重建或重建完成的景物信息，以增强现实的方法叠加在现实世界中，用户可以随意走动观看不同角度，若重建在进行中，观看场景随着图像处理的结果更新而更新。

现有的无人机图像采集与显示不再局限于二维图像。可以根据自己的需要获取三维图像显示，甚至是增强显示，提高了显示效果，提升了用户体验。另外，用户不再被动观看显示的内容，可以更加自主的选择想观看的内容，满足了不同用户的需求。另外，显示视角更加灵活自由，由用户决定，用户可以选择观看角度，可以通过用户界面实现交互，增加了乐趣。

实施例2

本发明实施例提供的一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行实施例中任一所述三维环境信息显示的方法。

实施例3

本申请实施例提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的三维环境信息显示方法。

实施例4

图5是本实施例提供的三维环境信息显示的电子设备的硬件结构示意图，如图5所示，该设备包括：

一个或多个处理器310以及存储器320，图5中以一个处理器310为例。

执行三维环境信息显示的设备还可以包括：输入装置330和输出装置340。

处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器320作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的三维环境信息显示对应的程序指令/模块。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例三维环境信息显示。

存储器320可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据三维环境信息显示控制装置的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。

输入装置330可接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器320中，当被所述一个或者多个处理器310执行时，执行上述任意方法实施例中的三维环境信息显示方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种三维环境信息显示方法，其特征在于，包括如下步骤：

通过相机环绕物体拍摄，获取所述物体的图像信息；

对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存；

计算三维信息显示模块与显示基准点之间的相对位置关系；

利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像；

借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像。

2.根据权利要求1所述的方法，其特征在于，“对所述图像信息进行三维信息重建，得到所述物体表面点的三维点云数据并储存”包括：

获得单目图像，实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵F，并实时计算物体表面点的三维坐标并保存。

3.根据权利要求2所述的方法，其特征在于，所述“实时计算所述相机相对于所述相机初始位置坐标系的位置转移矩阵F，”包括：

实时计算相邻图像间的图像特征匹配、变换矩阵以及环境深度信息。

4.根据权利要求3所述的方法，其特征在于，所述“实时计算相邻图像间的图像特征匹配”包括：

获取到新一帧图像后，对该新一帧图像的特征点进行检测并描述其与上一帧图像特征点之间的匹配程度，与上一帧图像的特征点进行匹配，得到多组相邻帧间匹配的特征点对。

5.根据权利要求4所述的方法，其特征在于，所述“实时计算相邻图像间的变换矩阵”包括：

对于一组对应的特征点对，其像素点坐标之间满足：

x₁ ^TFx₂＝0 (1)

其中，F是基础矩阵，采用归一化8点法求解基础矩阵F；

基础矩阵F与本征矩阵E满足：

F＝(K^-1)^TE(K^-1) (2)

其中，K为相机内部参数；E为本征矩阵，表征特征点在物理空间的坐标关系，即旋转和平移；

通过式(1)和(2)计算出本征矩阵E；

对E进行奇异值分解，得到拍摄I₂图像时相机位置O₂相对于拍摄I₁时位置O₁发生的旋转R₁₂和平移T₁₂，满足：

O₁R₁₂+T₁₂＝O₂ (3)

得到图像序列中的相邻两幅图像之间的变换关系，将空间位置转换为相机初始坐标系中，得到移动轨迹和姿态变化。

6.根据权利要求5所述的方法，其特征在于，所述“实时计算相邻图像间的环境深度信息”包括：

由特征点对的像素坐标p₁(x,y)、p₂(u,v)，计算其视差d，利用三角测距法，可计算出该特征点对在三维空间中的对应点P(X,Y,Z)的深度信息Z满足：

进一步得到，

通过式(4)-(6)可计算出特征点在以O₁为坐标原点的三维空间中的坐标；

结合式(3)，可以得到该特征点对于相机初始坐标系的三维坐标。

7.根据权利要求1所述的方法，其特征在于，所述“计算三维信息显示模块与显示基准点之间的相对位置关系”包括：

选定实际空间中的某一点为显示基准点；

实时计算三维信息显示模块相对于显示基准点位置移动轨迹和姿态变化；

将所述三维点云数据进行成倍数放大或缩小后转移到显示基准点位置坐标系中，获得三维信息显示模块与显示基准点之间的相对位置关系。

8.根据权利要求1所述的方法，其特征在于，所述“利用所述三维点云数据，生成与该相对位置关系对应的虚拟图像”，包括：

将三维点云数据中的每个点的三维坐标，都乘以三维信息显示模块的位置转移矩阵，得到三维信息显示模块坐标系中的三维坐标；

并根据投影方程得到点在显示模块中的屏幕显示坐标，则在屏幕相应位置投射该点保存的颜色；

当每个点都得到对应的屏幕显示坐标后，就得到了整个屏幕的颜色投射虚拟图。

9.根据权利要求1所述的方法，其特征在于，所述“借助三维信息显示模块将虚拟图像与现实图像叠加，得到增强显示图像”，包括：

三维信息显示模块内置一枚微型显示屏，并且可以直接通过透镜投射到镜片上；

利用镜片反射将物体虚拟图像投射到用户的眼球上；

外界的光线透过所述镜片后投到用户眼球上，与所述虚拟图像形成叠加，得到增强显示图像。

10.一种电子设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述权利要求1-9任一所述的方法。