CN111696216A - 三维增强现实全景融合方法及系统 - Google Patents

Abstract

本发明实施例提供了一种三维增强现实全景融合方法及系统，方法包括：获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；通过相机点位和AR标签与目标三维模型的相关信息进行交互，解决了现有技术中三维模型与监控设备无法产生交互的问题。

Description

三维增强现实全景融合方法及系统

技术领域

本发明涉及三维可视化的监控技术领域，具体而言，涉及一种三维增强现实全景融合方法及系统。

背景技术

传统全景监控系统主要使用二维图像全景拼接的方式进行实现，此种方法立体性不强，无法产生交互。现阶段三维场景的监控系统，主要是将视频作为纹理对象投放到三维模型上进行渲染，从而实现三维模型与监控视频的融合，此种方法无法与三维模型信息产生交互，更无法展示丰富的场景信息。

针对相关技术中，三维模型与监控设备无法产生交互的问题，目前尚未有有效的解决办法。

发明内容

本发明实施例提供了一种三维增强现实全景融合方法及系统，以至少解决相关技术中三维模型与监控设备无法产生交互的问题。

根据本发明的一个实施例，提供了一种三维增强现实全景融合方法，包括：获取目标三维模型，其中，上述目标三维模型与目标场景具有映射关系，上述目标场景包括目标建筑物，上述目标场景中设置有目标相机；在上述目标三维模型中设置相机点位和增强现实AR标签，其中，上述相机点位与上述目标相机具有映射关系，上述相机点位的设置信息中包含上述相机点位的三维坐标信息和角度信息，上述AR标签的设置信息中包含上述标签的功能参数；通过上述相机点位和上述AR标签与上述目标三维模型的相关信息进行交互。

根据本发明的另一个实施例，还提供了一种三维增强现实全景融合系统，包括：获取模块，用于获取目标三维模型，其中，上述目标三维模型与目标场景具有映射关系，上述目标场景包括目标建筑物，上述目标场景中设置有目标相机；场景布置模块，用于在上述目标三维模型中设置相机点位和增强现实AR标签，其中，上述相机点位与上述目标相机具有映射关系，上述相机点位的设置信息中包含上述相机点位的三维坐标信息和角度信息，上述AR标签的设置信息中包含上述标签的功能参数；交互模块，用于通过上述相机点位和上述AR标签与上述目标三维模型的相关信息进行交互。

根据本发明的另一个实施例，还提供了一种计算机可读的存储介质，上述存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

通过本发明实施例，获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；通过相机点位和AR标签与目标三维模型的相关信息进行交互，解决了现有技术中三维模型与监控设备无法产生交互的问题，通过在三维模型中设置与实体相机对应的相机点位和与目标场景对应的AR标签，可以直接在三维模型中与目标场景以及场景中的监控设备(目标相机等)实现交互，大大提高了交互效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例一种可选的三维增强现实全景融合方法的硬件环境示意图；

图2是本发明实施例中一种可选的三维增强现实全景融合方法的流程图；

图3是根据本发明实施例的一种可选的三维增强现实全景融合系统的结构框图；

图4为三维渲染引擎与GUI的一种可选的消息传递机制示意图；

图5为本发明实施例的一种可选的三维模型加载方法流程图；

图6是根据本发明实施例的一种可选的相机点位布置方法的流程图；

图7是根据本发明实施例的一种可选的AR标签布置方法的流程图；

图8是根据本发明实施例的一种可选的显示相机点位布置方法的流程图；

图9是根据本发明实施例的一种可选的显示AR标签布置方法的流程图；

图10是根据本发明实施例的一种可选的AR标签与三维模型信息交互流程图；

图11是根据本发明实施例的一种可选的显示相机点位的覆盖空间方法的流程图；

图12是根据本发明实施例的一种可选的相机点位与三维模型信息交互方法的流程图；

图13是根据本发明实施例的一种可选的结构化数据显示方法的流程图；

图14是根据本发明实施例的一种可选的球机联动显示方法的流程图；

图15是根据本发明实施例的一种可选的统计信息显示方法的流程图；

图16是根据本发明实施例的一种可选的报警信息显示方法的流程图；

图17是根据本发明实施例的一种可选的三维增强现实全景融合系统的结构框图；

图18是根据本发明实施例的一种可选的电子装置结构示意图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本发明实施例提供了一种三维增强现实全景融合方法。图1是根据本发明实施例一种可选的三维增强现实全景融合方法的硬件环境示意图，如图1所示，该硬件环境可以包括但不限于操作终端102和服务器104。操作终端102上设有操作界面，用户可以在操作终端上选择需要加载的三维模型，然后服务器对三维模型进行加载并在操作终端上进行显示，同时用户可以通过操作终端与三维模型进行交互，并获取目标场景中的监控信息和统计信息等。操作终端102可以包括但不限于电脑、笔记本、pad、手机等。服务器104还可以连接目标场景中的目标相机106和其他传感器，获取各路相机或传感器采集的数据，与三维模型进行融合显示或进行数据统计和分析。其中，服务器104可用于执行以下操作：

步骤S102，获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；

步骤S104，在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；

步骤S106，通过相机点位和AR标签与目标三维模型的相关信息进行交互。

本发明实施了主要解决的问题是增加与三维模型信息的交互，显示出三维模型场景包含的丰富的场景信息，减少操作的复杂性，只需在三维模型内操作即可，无需其他辅助，另外做到三维模型与真实场景的虚实结合，既能将真实相机的位置反映到三维模型中，又能根据相机点位的覆盖空间反映到真实世界中进行相机的点位布局，避免监控死角的出现，做到相机利用的最大化。

本发明实施例提供了一种三维增强现实全景融合方法。图2是本发明实施例中一种可选的三维增强现实全景融合方法的流程图，如图2所示，该方法包括：

步骤S202，获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；

步骤S204，在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；

步骤S206，通过相机点位和AR标签与目标三维模型的相关信息进行交互。

本方法可以使用三维渲染引擎进行场景的渲染，通过GUI(图形用户界面)的按钮、鼠标及键盘，将信号传递给三维渲染引擎实现相关功能，同时三维渲染引擎的信息也可以通过信号反馈到GUI上，整个系统由GUI实现场景的更新。本系统使用的三维渲染引擎是OSG(OpenSceneGraph(简称OSG)使用OpenGL技术开发，是一套基于C++平台的应用程序接口(API)，它让程序员能够更加快速、便捷地创建高性能、跨平台的交互式图形程序。它作为中间件(middleware)为应用软件提供了各种高级渲染特性，IO，以及空间结构组织函数；而更低层次的OpenGL硬件抽象层(HAL)实现了底层硬件显示的驱动)，也可以使用其他三维渲染引擎进行实现，包括但不限于OpenGL、WebGL等工具。本系统使用的GUI为Qt，也可以使用其他GUI进行实现，包括但不限于MFC、CEGUI等。

可选地，获取目标三维模型，包括：通过倾斜摄影软件生成目标三维模型；将目标三维模型进行加载并保存目标三维模型的初始设置参数。

首先选择倾斜摄影软件生成的三维模型，并将其加载进系统，将模型置于初始位置，之后可以进行一系列的相关操作。当需要将模型恢复到初始位置时，可以选择重置功能，模型及相关参数就会恢复到初始加载时的状态。如果想要加载其他模型，可以选择清除模型后加载或者直接选择新模型加载到系统中。当不再使用本系统时，直接关闭整个系统即可，系统会自动清除模型并释放相关资源。

相机点位布置流程负责整个场景内相机点位的布置，根据已有的相机点位及显示出的相机覆盖空间完成相机点位的布置，能够更加方便地了解整个场景相机的分布，既能免于重复布置，造成资源的浪费，又能避免监控死角的出现；AR标签布置流程负责整个场景AR标签的布置，给场景内的物体及相机添加AR标签，可以展示出场景内丰富的场景信息，同时为与三维模型的信息交互提供媒介。

可选地，在目标三维模型中设置相机点位之后，方法还包括：设置相机点位对应的目标相机的相机参数，其中，相机参数至少包括以下之一：目标相机的名称，目标相机的类型，目标相机的视频流参数。

可选地，设置相机点位对应的目标相机的相机参数之后，方法还包括：根据目标相机的类型选择第一图标的类型，其中，第一图标用于表示目标相机在目标三维模型中对应的相机点位，第一图标的类型至少包括：PNG类型或JPG类型；将表示相机点位的第一图标关联到纹理对象，并设置第一图标对应的四边形几何体的渲染状态，使第一图标随着目标三维模型的移动始终朝向视点。

可选地，在目标三维模型中设置相机点位和AR标签，包括：根据目标相机的在世界坐标系中的坐标和角度，在三维模型中对应设置相机点位的三维坐标信息和角度信息；根据目标建筑物和目标相机在三维模型中对应的位置，设置AR标签的类型和功能参数，其中，AR标签的类型至少包括：建筑物标签和相机标签，AR标签的功能参数至少包括以下之一：录像、截图、超链接、显示视频融合效果、搜索。

可选地，通过相机点位与目标三维模型的相关信息进行交互，包括：获取目标三维模型中已设置的相机点位；根据已设置的相机点位的三维坐标和角度，确定新增加的第二相机点位的初始三维坐标和初始角度；根据第二相机点位的初始三维坐标和初始角度，在目标场景中对应设置第二目标相机；调整第二目标相机在目标场景中的位置和角度，进而对应调整第二相机点位在目标三维模型中的三维坐标和角度。

可选地，通过AR标签与目标三维模型的相关信息进行交互，包括：根据AR标签的类型和功能参数，执行AR标签的功能参数对应的功能。

可选地，根据AR标签的类型和功能参数，执行AR标签的功能参数对应的功能，至少包括以下之一：在第一AR标签为相机标签且选择的功能参数为显示视频融合效果的情况下，确定第一AR标签对应的目标相机，显示第一AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；在第二AR标签为相机标签且选择的功能参数为截图的情况下，确定第二AR标签对应的目标相机，截取第二AR标签对应的目标相机视角下的图像画面，和/或截取第二AR标签对应的目标相机视角下的图像画面与目标三维模型融合后的效果；在第三AR标签为相机标签且选择的功能参数为录像的情况下，确定第三AR标签对应的目标相机，录制指定时长的第三AR标签对应的目标相机视角下的视频画面，和/或录制指定时长的第三AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；在第四AR标签为相机标签且选择的功能参数为超链接的情况下，确定第四AR标签对应的目标相机，获取第四AR标签对应的目标相机的相机参数，其中，相机参数至少包括以下之一：目标相机的运行状态，目标相机的运行时长，目标相机的名称，目标相机的类型，目标相机的视频流参数；在第五AR标签为建筑物标签且选择的功能参数为超链接的情况下，确定第五AR标签对应的目标建筑物，获取第五AR标签对应的目标建筑物的相关信息，其中，目标建筑物的相关信息至少包括以下之一：目标建筑物的状态信息、结构信息、文化背景；在第六AR标签为建筑物标签且选择的功能参数为搜索的情况下，确定六AR标签对应的目标建筑物，搜索六AR标签对应的目标建筑物周围的目标相机发出的报警信号。

可选地，根据目标相机的在世界坐标系中的坐标和角度，在三维模型中对应设置相机点位的三维坐标信息和角度信息，包括：在目标三维模型中确定与第一目标相机对应的初始点位；根据初始点位的初始角度参数获取初始点位在目标三维模型中的第一视角范围，其中，第一视角范围对应于初始点位在目标三维模型中的覆盖空间；根据第一目标相机在目标场景中的第一覆盖空间调整初始点位的位置和角度参数，进而调整初始点位在目标三维模型中的第一视角范围，其中，角度参数至少包括：俯仰角、偏航角、侧滚角和视野角；在第一视角范围与第一覆盖范围的重合范围大于预设阈值的情况下，根据当前初始点位的位置和初始点位的角度参数确定第一目标相机对应的第一相机点位的三维坐标以及第一相机点位的角度参数。

可选地，确定第一目标相机对应的第一相机点位的三维坐标以及第一相机点位的角度参数之后，方法还包括：获取第一相机点位对应的配置参数，其中，配置参数至少包括：第一相机点位的三维坐标，第一相机点位对应的角度参数，第一相机点位对应的目标相机的视频流分辨率的宽与高；根据第一相机点位对应的配置参数确定第一相机点位在目标三维模型内的覆盖空间；将第一相机点位在目标三维模型内的覆盖空间的四个顶点在投影坐标系下的坐标，经过坐标转换得到四个顶点在世界坐标系下的坐标；结合四个顶点在目标三维模型内的坐标和在世界坐标系下的坐标，绘制四个侧面为三角形的几何体；确定几何体为相机点位的覆盖空间并显示。

可选地，根据目标建筑物和目标相机在三维模型中对应的位置，设置AR标签的类型和功能参数，包括：在目标三维模型中确定AR标签的设置位置；根据AR标签的设置位置确定AR标签的类型，其中，与目标建筑物的位置对应的设置为建筑物标签，与目标相机的位置对应的设置为相机标签；设置AR标签的参数配置文件，其中，参数配置文件中至少包括：AR标签的位置信息、AR标签的类型、功能参数以及AR标签上层显示的文字信息。

可选地，设置AR标签的种类、功能参数以及AR标签上层显示的文字信息之后，方法还包括：获取AR标签的参数配置文件；根据AR标签的种类确定AR标签对应的第二图标的类型，其中，第二图标用于表示AR标签，第二图标的类型至少包括：PNG类型或JPG类型；将第二图标关联到纹理对象，并设置第二图标对应的四边形几何体的渲染状态；根据AR标签上层显示的文字信息设置AR标签文字目标的属性；将第二图标对应的四边形几何体和AR标签文字目标的属性关联在布告板billboard上，并使billboard朝向视点，以使AR标签随着目标三维模型的移动始终朝向视点；将billboard挂载到位置变换节点，根据AR标签的参数配置文件解析出的AR标签的位置信息设置位置变换节点的位置。

可选地，方法还包括：读取并解析相机点位的设置信息，确定相机点位对应的目标结构化相机；获取目标结构化相机采集的第一视频流；将第一视频流的帧图像信息和结构化数据传入更新回调函数，根据目标结构化相机对应的相机点位的参数，经过坐标转换获取检测区域面片的底部中点坐标和检测区域面片的宽高，进而获取在三维模型内显示结构化数据的几何体的宽高及相对位置，将检测区域面片的图像信息及区域内的结构化图像信息传递给图像目标；根据检测区域面片的宽高绘制显示检测区域面片图像信息的几何体和显示检测区域内结构化图像信息的几何体，并将对应的图像目标关联到纹理对象，并设置对应的几何体的渲染状态，根据结构化数据解析出的文字信息设置好文字目标的属性；将检测区域面片图像信息的几何体和检测区域内结构化图像信息的几何体与文字目标关联在布告板billboard上，并使billboard朝向Z轴，根据检测区域面片的底部中点坐标设置billboard的位置坐标，通过更新回调函数实现第一视频流的帧图像中的检测目标及结构化数据的更新。

可选地，方法还包括：读取并解析相机点位的设置信息，确定相机点位对应的目标球机；获取目标球机采集的第二视频流并在用户界面上显示第二视频流的视频画面；获取三维模型内的兴趣点位置坐标，通过坐标转换计算目标球机在目标场景中转动的目标角度，以使第二视频流的视频画面中包含兴趣点；在目标球机在目标场景中的转动目标角度后，在用户界面上显示目标球机转动目标角度后对应的第二视频流的视频画面。

可选地，方法还包括：读取并解析传感器信息，其中，传感器信息至少包括以下之一：人员进出流量信息、机动车进出流量信息、非机动车进出流量信息、车位剩余信息；在用户界面上显示传感器信息；将传感器信息与目标三维模型进行融合，得到基于目标三维模型的热度图。

可选地，方法还包括：检测相机点位对应的目标相机是否有报警信号发出；在监测到报警信号的情况下，切换到发出报警信号的目标相机的视角来获取视频画面。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

根据本发明实施例的另一个方面，还提供了一种用于实施上述三维增强现实全景融合方法的三维增强现实全景融合系统。

图3是根据本发明实施例的一种可选的三维增强现实全景融合系统的结构框图，如图3所示，该系统包括：文件处理模块、视频流处理模块、人机交互模块、场景布置模块、场景信息显示模块，其中，场景布置模块包括相机点位布置模块和AR标签布置模块，人机交互模块包括相机控制模块和模型控制模块，场景信息显示模块包括相机点位分布显示模块、相机点位覆盖空间显示模块、AR标签信息显示模块、统计信息显示模块、结构化数据显示模块、报警信息显示模块和球机联动显示模块。

本系统使用三维渲染引擎进行场景的渲染，通过GUI(图形用户界面)的按钮，鼠标及键盘，将信号传递给三维渲染引擎实现相关功能，同时三维渲染引擎的信息也可以通过信号反馈到GUI上，整个系统由GUI实现场景的更新，图4为三维渲染引擎与GUI的一种可选的消息传递机制示意图。

图5为本发明实施例的一种可选的三维模型加载方法流程图，如图5所示，整个系统的使用流程为：首先选择倾斜摄影软件生成的三维模型，并将其加载进系统，将模型置于初始位置，之后可以进行一系列的相关操作。当需要将模型恢复到初始位置时，可以选择重置功能，模型及相关参数就会恢复到初始加载时的状态。如果想要加载其他模型，可以选择清除模型后加载或者直接选择新模型加载到系统中。当不再使用本系统时，直接关闭整个系统即可，系统会自动清除模型并释放相关资源。

其中，文件处理模块负责本地三维模型文件的加载、系统模型文件的清除、参数配置文件的读取及解析、传感器数据的读取及解析等功能。

视频流处理模块负责解析本地相机配置文件的视频流参数信息，包括但不限于设备IP、设备端口号、用户名、密码、显示窗口、码流类型、设备类型、设备通道号等信息，按照配置文件读取相应的视频流，供场景信息显示模块中的结构化数据显示模块、报警信息显示模块、点位覆盖空间显示模块的交互、AR标签信息显示模块的交互、球机联动显示模块使用，显示实时视频信息。

人机交互模块分为相机控制模块和模型控制模块，其中模型控制模块负责控制整个模型的操作，通过更新回调函数(例如OSG的回调函数)实现鼠标左键对模型的平移运动，鼠标右键对模型的旋转，鼠标滚轮对模型的放大、缩小操作，用来观察整个模型；相机控制模块负责控制整个系统的虚拟相机视角，通过OSG的事件回调函数实现键盘对相机视角的上下、前后、左右的位置控制及俯仰角、偏航角、侧滚角及视野角的角度控制，实现虚拟相机视角对真实世界相机的反映。

场景布置模块分为相机点位布置模块和增强现实(Augmented Reality,简称为AR)标签布置模块，其中相机点位布置模块负责整个场景内相机点位的布置，根据已有的相机点位及显示出的相机覆盖空间完成相机点位的布置，能够更加方便地了解整个场景相机的分布，既能免于重复布置，造成资源的浪费，又能避免监控死角的出现；AR标签布置模块负责整个场景AR标签的布置，给场景内的物体及相机添加AR标签，可以展示出场景内丰富的场景信息，同时为与三维模型的信息交互提供媒介。

图6是根据本发明实施例的一种可选的相机点位布置方法的流程图，如图6所示，包括以下步骤：首先使能相机点位布置模块，GUI会显示出相机参数配置列表，并调用点位分布显示模块和点位覆盖空间显示模块显示出已有的相机点位及相应的相机覆盖空间，点击想要添加相机点位的三维模型中的位置，相机参数配置列表会显示出该位置的三维模型坐标，此位置为实际相机点位的初始近似位置，用于后续精准相机点位位置的调节。同时，会在三维模型内的该位置附近显示相机点位标识，并根据初始相机角度参数显示出相机的覆盖空间。然后，调整相机参数配置列表内三维模型坐标位置及角度的值，会同时调用人机交互模块的相机控制模块对相机的坐标及角度参数进行调整，调整的同时相机点位覆盖空间也会根据参数进行相应的变化，直到覆盖空间到达理想的位置，即完成了相机点位位置及角度的布置。另外，需要在相机参数配置列表内设置相机的名字，相机的类型，包括但不限于球机、枪机、双目相机、红外相机等，相机的视频流参数，包括但不限于设备IP、设备端口号、用户名、密码、显示窗口、码流类型、设备类型、设备通道号等信息。点击相机参数配置列表的应用按钮，将会调用文件处理模块将相机的参数保存到本地，供其他模块使用。点击相机参数配置列表的确认按钮，将会在保存好参数之后关闭整个配置列表。若想重新对参数进行配置，可点击相机参数配置列表的重置按钮，将参数重置为初始值。若不再想对参数进行配置，点击相机参数配置列表内的关闭按钮，即可对其进行关闭，且不会保存参数。

图7是根据本发明实施例的一种可选的AR标签布置方法的流程图，如图7所示，包括以下步骤：首先使能AR标签布置模块，GUI会调用AR标签信息显示模块显示出场景内已有的AR标签，并弹出AR标签参数配置列表，鼠标双击三维模型或者相机点位标识，AR标签参数配置列表会显示出该位置的三维模型坐标，同时需要配置好标签的种类，包括但不限于建筑物、相机等。还可以自主设置该标签的功能种类，包括但不限于录像、截图、超链接、显示视频融合效果、搜索等。另外，还需要设置好标签上显示的文字信息。点击AR标签参数配置列表的应用按钮，将会调用文件处理模块将标签的参数保存到本地，供AR标签信息显示模块使用。点击AR标签参数配置列表的确认按钮，将会在保存好参数之后关闭整个配置列表。若想重新对参数进行配置，可点击AR标签参数配置列表的重置按钮，将参数重置为初始值。若不再想对参数进行配置，点击AR标签参数配置列表内的关闭按钮，即可对其进行关闭，且不会保存参数。

场景信息显示模块包括相机点位分布显示模块、相机点位覆盖空间显示模块、AR标签信息显示模块、统计信息显示模块、结构化数据显示模块、报警信息显示模块和球机联动显示模块。

相机点位分布显示模块负责显示相机点位布置模块布置好的相机点位信息，图8是根据本发明实施例的一种可选的显示相机点位布置方法的流程图，如图8所示，包括以下步骤：首先使能相机点位分布显示模块，调用文件处理模块读取并解析相机点位布置模块保存的相机参数配置文件，根据相机的类型选择相应种类的相机PNG(便携式网络图形，Portable Network Graphics)、JPG等格式图片，将图片关联到纹理对象，设置几何体的渲染状态，将几何体关联在billboard上，并使其朝向视点，这样相机点位就可以随着模型及相机的移动始终朝向视点。最后，将billboard挂载到位置变换节点，根据相机参数配置文件解析出的位置信息设置位置变换节点的位置，这样就完成了相机点位分布的显示。

AR标签信息显示模块负责显示AR标签布置模块布置好的AR标签信息，图9是根据本发明实施例的一种可选的显示AR标签布置方法的流程图，如图9所示，包括以下步骤：首先使能AR标签信息显示模块，调用文件处理模块读取并解析AR标签布置模块保存的AR标签信息配置文件，根据配置文件内标签的种类选择相应的PNG、JPG等格式图片，将图片关联到纹理对象，设置几何体的渲染状态。另外根据配置文件内标签的文字信息设置好osgText的属性，根据AR标签配置文件解析出的位置信息设置osgText的相对位置，再利用OSG的billboard技术，将几何体和osgText关联在billboard上，并使其朝向视点，这样AR标签就可以随着模型及相机的移动始终朝向视点。最后，将billboard挂载到位置变换节点，根据AR标签配置文件解析出的位置信息设置位置变换节点的位置，这样就完成了AR标签信息的显示。

AR标签除了可以显示场景信息，还可以根据AR标签布置模块布置的功能与三维模型信息发生交互，流程如图10所示。图10是根据本发明实施例的一种可选的AR标签与三维模型信息交互流程图，如图10所示，包括以下步骤：首先，显示出场景内的AR标签，使用鼠标双击任一标签，若系统判断为相交且该对象为AR标签，则在标签的右上角显示出该标签已布置的功能按钮，包括但不限于录像、截图、超链接、显示视频融合效果、搜索等。使用鼠标点击任一功能按钮，则会触发相应的功能。

在第一AR标签为相机标签且选择的功能参数为显示视频融合效果的情况下，确定第一AR标签对应的目标相机，显示第一AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；在第二AR标签为相机标签且选择的功能参数为截图的情况下，确定第二AR标签对应的目标相机，截取第二AR标签对应的目标相机视角下的图像画面，和/或截取第二AR标签对应的目标相机视角下的图像画面与目标三维模型融合后的效果；在第三AR标签为相机标签且选择的功能参数为录像的情况下，确定第三AR标签对应的目标相机，录制指定时长的第三AR标签对应的目标相机视角下的视频画面，和/或录制指定时长的第三AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；在第四AR标签为相机标签且选择的功能参数为超链接的情况下，确定第四AR标签对应的目标相机，获取第四AR标签对应的目标相机的相机参数，其中，相机参数至少包括以下之一：目标相机的运行状态，目标相机的运行时长，目标相机的名称，目标相机的类型，目标相机的视频流参数；在第五AR标签为建筑物标签且选择的功能参数为超链接的情况下，确定第五AR标签对应的目标建筑物，获取第五AR标签对应的目标建筑物的相关信息，其中，目标建筑物的相关信息至少包括以下之一：目标建筑物的状态信息、结构信息、文化背景；在第六AR标签为建筑物标签且选择的功能参数为搜索的情况下，确定六AR标签对应的目标建筑物，搜索六AR标签对应的目标建筑物周围的目标相机发出的报警信号。

这样，不需要其他辅助，即可实现AR标签与三维模型信息的交互，减少了操作的复杂性。

相机点位覆盖空间显示模块负责显示相机点位布置模块布置好的相机点位的覆盖空间信息，流程如图11所示。图11是根据本发明实施例的一种可选的显示相机点位的覆盖空间方法的流程图，如图11所示，包括以下步骤：首先使能相机点位覆盖空间显示模块，调用文件处理模块读取并解析相机点位布置模块保存的相机参数配置文件，获取该相机点位的俯仰角(pitch)、偏航角(yaw)、侧滚角(roll)、视野角(fovy)，相机三维坐标eye(x，y，z)，相机视频流分辨率的宽(width)与高(height)，将相机视野的四个顶点的投影坐标系下的坐标经过坐标转换得出相机视野的四个顶点在世界坐标系下的坐标，并结合相机三维坐标绘制四个侧面为三角形的几何体，设置几何体为半透明，即完成了相机点位覆盖空间的显示。

点位覆盖空间除了可以显示相机视角的覆盖区域，还可以与三维模型信息发生交互，流程如图12所示。图12是根据本发明实施例的一种可选的相机点位与三维模型信息交互方法的流程图，如图12所示，包括以下步骤：首先，显示出场内相机点位的覆盖空间，使用鼠标双击任一点位的覆盖空间，若系统判断为相交且该对象为相机点位覆盖空间，则在GUI左下角显示出该覆盖空间对应的相机的实时视频，做到虚拟覆盖空间与实际场景的虚实结合，更加清晰地展示出了相机点位的覆盖范围。

结构化数据显示模块负责显示与三维模型融合的结构化相机的信息，流程图如图13所示。图13是根据本发明实施例的一种可选的结构化数据显示方法的流程图，如图13所示，包括以下步骤：读取并解析相机点位的设置信息，确定相机点位对应的目标结构化相机；获取目标结构化相机采集的第一视频流；将第一视频流的帧图像信息和结构化数据传入更新回调函数，根据目标结构化相机对应的相机点位的参数，经过坐标转换获取检测区域面片的底部中点坐标和检测区域面片的宽高，进而获取在三维模型内显示结构化数据的几何体的宽高及相对位置，将检测区域面片的图像信息及区域内的结构化图像信息传递给图像目标；根据检测区域面片的宽高绘制显示检测区域面片图像信息的几何体和显示检测区域内结构化图像信息的几何体，并将对应的图像目标关联到纹理对象，并设置对应的几何体的渲染状态，根据结构化数据解析出的文字信息设置好文字目标的属性；将检测区域面片图像信息的几何体和检测区域内结构化图像信息的几何体与文字目标关联在布告板billboard上，并使billboard朝向Z轴，根据检测区域面片的底部中点坐标设置billboard的位置坐标，通过更新回调函数实现第一视频流的帧图像中的检测目标及结构化数据的更新。

球机联动显示模块负责显示球机实时视频及与三位模型的交互，流程图如图14所示。图14是根据本发明实施例的一种可选的球机联动显示方法的流程图，如图14所示，包括以下步骤：读取并解析相机点位的设置信息，确定相机点位对应的目标球机；获取目标球机采集的第二视频流并在用户界面上显示第二视频流的视频画面；获取三维模型内的兴趣点位置坐标，通过坐标转换计算目标球机在目标场景中转动的目标角度，以使第二视频流的视频画面中包含兴趣点；在目标球机在目标场景中的转动目标角度后，在用户界面上显示目标球机转动目标角度后对应的第二视频流的视频画面。

统计信息显示模块负责显示场景内的统计信息，流程图如图15所示，图15是根据本发明实施例的一种可选的统计信息显示方法的流程图，如图15所示，包括以下步骤：首先使能统计信息显示模块，调用文件处理模块读取并解析接入系统的传感器信息，包括但不限于人、车、非机动车进出流量信息，车位剩余信息等统计信息，然后，在GUI内左上角将实时信息显示出来。同时可以根据人机非流量信息，在场景内显示出三维模型的热度图。统计信息显示模块展示了丰富的场景信息，让用户对整个场景内的状态有了更加清晰直观的认识。

报警信息显示模块负责显示场景内的报警信息，流程图如图16所示，图16是根据本发明实施例的一种可选的报警信息显示方法的流程图，如图16所示，包括以下步骤：首先使能报警信息显示模块，它会自动调用文件处理模块读取并解析相机点位布置模块保存的相机参数配置文件，获取该相机点位的角度、位置参数，相机视频流参数等信息。然后，调用视频流处理模块按照配置文件读取相应的视频流。当监测到报警信号，如：绊线入侵、区域入侵、物品遗留、快速移动、停车检测、人员聚集、物品搬移、徘徊检测等，GUI会弹窗显示出报警信号的种类，并询问是否查看该报警。若选择查看该报警信号，则会切换到该信号发出的相机视角下，并在GUI左下角以弹窗的方式显示该相机的实时视频信息，在GUI右上角以弹窗的方式显示出报警信息的种类，报警画面的截图，如果有人、机、非等结构化信息，还可以显示出人脸、车牌等信息。结束查看报警信息后，虚拟相机视角及模型恢复到查看报警信号前的状态。

本方案可以自由设置相机点位及AR标签，能够与三维模型信息产生交互，能够显示出丰富的场景信息；本方案只需在三维模型内进行操作即可，无需其他辅助，减少了操作的复杂度；本方案可以根据相机点位的位置及相应的覆盖空间辅助真实世界中进行相机的布置，合理布局，既能避免监控死角的发生，又可以做到相机利用的最大化。

根据本发明实施例的另一个方面，还提供了一种用于实施上述三维增强现实全景融合方法的三维增强现实全景融合系统。图17是根据本发明实施例的一种可选的三维增强现实全景融合系统的结构框图，如图17所示，该系统包括：

获取模块1702，用于获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；

场景布置模块1704，用于在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；

交互模块1706，用于通过相机点位和AR标签与目标三维模型的相关信息进行交互。

可选地，获取模块1702包括：

生成单元，用于通过倾斜摄影软件生成目标三维模型；

加载单元，用于将目标三维模型进行加载并保存目标三维模型的初始设置参数。

可选地，场景布置模块1704包括：

相机点位布置单元，用于根据目标相机的在世界坐标系中的坐标和角度，在三维模型中对应设置相机点位的三维坐标信息和角度信息；

AR标签布置单元，用于根据目标建筑物和目标相机在三维模型中对应的位置，设置AR标签的类型和功能参数，其中，AR标签的类型至少包括：建筑物标签和相机标签，AR标签的功能参数至少包括以下之一：录像、截图、超链接、显示视频融合效果、搜索。

可选地，相机点位布置单元还用于：

设置相机点位对应的目标相机的相机参数，其中，相机参数至少包括以下之一：目标相机的名称，目标相机的类型，目标相机的视频流参数。

可选地，相机点位布置单元还用于：

在目标三维模型中确定与第一目标相机对应的初始点位；

根据初始点位的初始角度参数获取初始点位在目标三维模型中的第一视角范围，其中，第一视角范围对应于初始点位在目标三维模型中的覆盖空间；

根据第一目标相机在目标场景中的第一覆盖空间调整初始点位的位置和角度参数，进而调整初始点位在目标三维模型中的第一视角范围，其中，角度参数至少包括：俯仰角、偏航角、侧滚角和视野角；

在第一视角范围与第一覆盖范围的重合范围大于预设阈值的情况下，根据当前初始点位的位置和初始点位的角度参数确定第一目标相机对应的第一相机点位的三维坐标以及第一相机点位的角度参数。

可选地，交互模块1706包括第一交互单元，用于：

获取目标三维模型中已设置的相机点位；

根据已设置的相机点位的三维坐标和角度，确定新增加的第二相机点位的初始三维坐标和初始角度；

根据第二相机点位的初始三维坐标和初始角度，在目标场景中对应设置第二目标相机；

调整第二目标相机在目标场景中的位置和角度，进而对应调整第二相机点位在目标三维模型中的三维坐标和角度。

可选地，交互模块1706包括第二交互单元，用于：

根据AR标签的类型和功能参数，执行AR标签的功能参数对应的功能。

可选地，第二交互单元包括：

第一交互子单元，用于在第一AR标签为相机标签且选择的功能参数为显示视频融合效果的情况下，确定第一AR标签对应的目标相机，显示第一AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；

第二交互子单元，用于在第二AR标签为相机标签且选择的功能参数为截图的情况下，确定第二AR标签对应的目标相机，截取第二AR标签对应的目标相机视角下的图像画面，和/或截取第二AR标签对应的目标相机视角下的图像画面与目标三维模型融合后的效果；

第三交互子单元，用于在第三AR标签为相机标签且选择的功能参数为录像的情况下，确定第三AR标签对应的目标相机，录制指定时长的第三AR标签对应的目标相机视角下的视频画面，和/或录制指定时长的第三AR标签对应的目标相机视角下的视频画面与目标三维模型融合后的效果；

第四交互子单元，用于在第四AR标签为相机标签且选择的功能参数为超链接的情况下，确定第四AR标签对应的目标相机，获取第四AR标签对应的目标相机的相机参数，其中，相机参数至少包括以下之一：目标相机的运行状态，目标相机的运行时长，目标相机的名称，目标相机的类型，目标相机的视频流参数；

第五交互子单元，用于在第五AR标签为建筑物标签且选择的功能参数为超链接的情况下，确定第五AR标签对应的目标建筑物，获取第五AR标签对应的目标建筑物的相关信息，其中，目标建筑物的相关信息至少包括以下之一：目标建筑物的状态信息、结构信息、文化背景；

第六交互子单元，用于在第六AR标签为建筑物标签且选择的功能参数为搜索的情况下，确定六AR标签对应的目标建筑物，搜索六AR标签对应的目标建筑物周围的目标相机发出的报警信号。

可选地，系统还包括：

文件处理模块，用于执行以下至少之一的功能：三维模型文件的加载、系统模型文件的清除、参数配置文件的读取及解析、传感器数据的读取及解析；

视频流处理模块，用于解析目标相机的视频流参数信息；

场景信息显示模块，用于显示系统内的相关信息。

可选地，场景信息显示模块包括相机点位分布显示单元，用于：

根据目标相机的类型选择第一图标的类型，其中，第一图标用于表示目标相机在目标三维模型中对应的相机点位，图标的类型至少包括：PNG类型或JPG类型；

将表示相机点位的第一图标关联到纹理对象，并设置第一图标对应的四边形几何体的渲染状态，使第一图标随着目标三维模型的移动始终朝向视点。

可选地，场景信息显示模块还包括相机点位覆盖空间显示单元，用于：

获取相机点位对应的配置参数，其中，配置参数至少包括：相机点位的三维坐标，相机点位对应的角度参数，相机点位对应的目标相机的视频流分辨率的宽与高；

根据相机点位对应的配置参数确定相机点位在目标三维模型内的覆盖空间；

将相机点位在目标三维模型内的覆盖空间的四个顶点在投影坐标系下的坐标，经过坐标转换得到四个顶点在世界坐标系下的坐标；

结合四个顶点在目标三维模型内的坐标和在世界坐标系下的坐标，绘制四个侧面为三角形的几何体；

确定几何体为相机点位的覆盖空间并显示。

可选地，AR标签布置单元还用于：

在目标三维模型中确定AR标签的设置位置；

根据AR标签的设置位置确定AR标签的类型，其中，与目标建筑物的位置对应的设置为建筑物标签，与目标相机的位置对应的设置为相机标签；

设置AR标签的参数配置文件，其中，参数配置文件中至少包括：AR标签的位置信息、AR标签的类型、功能参数以及AR标签上层显示的文字信息。

可选地，场景信息显示模块还包括AR标签信息显示单元，用于：

获取AR标签的参数配置文件；

根据AR标签的种类确定AR标签对应的第二图标的类型，其中，第二图标用于表示AR标签，第二图标的类型至少包括：PNG类型或JPG类型；

将第二图标关联到纹理对象，并设置第二图标对应的四边形几何体的渲染状态；

根据AR标签上层显示的文字信息设置AR标签文字目标的属性；

将第二图标对应的四边形几何体和AR标签文字目标的属性关联在布告板billboard上，并使billboard朝向视点，以使AR标签随着目标三维模型的移动始终朝向视点；

将billboard挂载到位置变换节点，根据AR标签的参数配置文件解析出的AR标签的位置信息设置位置变换节点的位置。

可选地，场景信息显示模块还包括结构化数据显示单元，用于：

读取并解析相机点位的设置信息，确定相机点位对应的目标结构化相机；

获取目标结构化相机采集的第一视频流；

将第一视频流的帧图像信息和结构化数据传入更新回调函数，根据目标结构化相机对应的相机点位的参数，经过坐标转换获取检测区域面片的底部中点坐标和检测区域面片的宽高，进而获取在三维模型内显示结构化数据的几何体的宽高及相对位置，将检测区域面片的图像信息及区域内的结构化图像信息传递给图像目标；

根据检测区域面片的宽高绘制显示检测区域面片图像信息的几何体和显示检测区域内结构化图像信息的几何体，并将对应的图像目标关联到纹理对象，并设置对应的几何体的渲染状态，根据结构化数据解析出的文字信息设置好文字目标的属性；

将检测区域面片图像信息的几何体和检测区域内结构化图像信息的几何体与文字目标关联在布告板billboard上，并使billboard朝向Z轴，根据检测区域面片的底部中点坐标设置billboard的位置坐标，通过更新回调函数实现第一视频流的帧图像中的检测目标及结构化数据的更新。

可选地，场景信息显示模块还包括球机联动显示单元，用于：

读取并解析相机点位的设置信息，确定相机点位对应的目标球机；

获取目标球机采集的第二视频流并在用户界面上显示第二视频流的视频画面；

获取三维模型内的兴趣点位置坐标，通过坐标转换计算目标球机在目标场景中转动的目标角度，以使第二视频流的视频画面中包含兴趣点；

在目标球机在目标场景中的转动目标角度后，在用户界面上显示目标球机转动目标角度后对应的第二视频流的视频画面。

可选地，场景信息显示模块还包括统计信息显示单元，用于：

读取并解析传感器信息，其中，传感器信息至少包括以下之一：人员进出流量信息、机动车进出流量信息、非机动车进出流量信息、车位剩余信息；

在用户界面上显示传感器信息；

将传感器信息与目标三维模型进行融合，得到基于目标三维模型的热度图。

可选地，场景信息显示模块还包括报警信息显示单元，用于：

检测相机点位对应的目标相机是否有报警信号发出；

在监测到报警信号的情况下，切换到发出报警信号的目标相机的视角来获取视频画面。

根据本发明实施例的又一个方面，还提供了一种用于实施上述三维增强现实全景融合方法的电子装置，上述电子装置可以但不限于应用于上述图1所示的服务器104中。如图18所示，该电子装置包括存储器1802和处理器1804，该存储器1802中存储有计算机程序，该处理器1804被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；

S2，在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；

S3，通过相机点位和AR标签与目标三维模型的相关信息进行交互。

可选地，本领域普通技术人员可以理解，图18所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图18其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图18中所示更多或者更少的组件(如网络接口等)，或者具有与图18所示不同的配置。

其中，存储器1802可用于存储软件程序以及模块，如本发明实施例中的三维增强现实全景融合方法和装置对应的程序指令/模块，处理器1804通过运行存储在存储器1802内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的三维增强现实全景融合方法。存储器1802可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1802可进一步包括相对于处理器1804远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1802具体可以但不限于用于储存三维增强现实全景融合方法的程序步骤。作为一种示例，如图18所示，上述存储器1802中可以但不限于包括上述三维增强现实全景融合系统中的获取模块1702、场景布置模块1704和交互模块1706。此外，还可以包括但不限于上述三维增强现实全景融合系统中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1806用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1806包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1806为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1808，用于显示可疑帐号的告警推送；和连接总线1810，用于连接上述电子装置中的各个模块部件。

本发明的实施例还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取目标三维模型，其中，目标三维模型与目标场景具有映射关系，目标场景包括目标建筑物，目标场景中设置有目标相机；

S2，在目标三维模型中设置相机点位和增强现实AR标签，其中，相机点位与目标相机具有映射关系，相机点位的设置信息中包含相机点位的三维坐标信息和角度信息，AR标签的设置信息中包含标签的功能参数；

S3，通过相机点位和AR标签与目标三维模型的相关信息进行交互。

可选地，存储介质还被设置为存储用于执行上述实施例中的方法中所包括的步骤的计算机程序，本实施例中对此不再赘述。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种三维增强现实全景融合方法，其特征在于，包括：

获取目标三维模型，其中，所述目标三维模型与目标场景具有映射关系，所述目标场景包括目标建筑物，所述目标场景中设置有目标相机；

在所述目标三维模型中设置相机点位和增强现实AR标签，其中，所述相机点位与所述目标相机具有映射关系，所述相机点位的设置信息中包含所述相机点位的三维坐标信息及角度信息，所述AR标签的设置信息中包含所述标签的功能参数；

通过所述相机点位和所述AR标签与所述目标三维模型的相关信息进行交互，其中，所述目标三维模型的相关信息至少包括以下之一：所述目标相机获取的视频画面与所述目标三维模型的融合效果，所述目标相机的相机参数，所述建筑物的相关信息。

2.根据权利要求1所述的方法，其特征在于，所述在所述目标三维模型中设置相机点位之后，所述方法还包括：

设置所述相机点位对应的所述目标相机的相机参数，其中，所述相机参数至少包括以下之一：所述目标相机的名称、所述目标相机的类型和所述目标相机的视频流参数。

3.根据权利要求2所述的方法，其特征在于，设置所述相机点位对应的所述目标相机的相机参数之后，所述方法还包括：

根据所述目标相机的类型选择第一图标的类型，其中，所述第一图标用于表示所述目标相机在所述目标三维模型中对应的相机点位，所述第一图标的类型至少包括：PNG类型或JPG类型；

将表示所述相机点位的第一图标关联到纹理对象，并设置所述第一图标对应的四边形几何体的渲染状态，使所述第一图标随着所述目标三维模型的移动始终朝向视点。

4.根据权利要求1所述的方法，其特征在于，所述在所述目标三维模型中设置相机点位和AR标签，包括：

根据所述目标相机的在世界坐标系中的坐标、角度坐标和角度，在所述三维模型中对应设置所述相机点位的三维坐标信息和角度信息；

根据所述目标建筑物和所述目标相机在所述三维模型中对应的位置，设置所述AR标签的类型和功能参数，其中，所述AR标签的类型至少包括：建筑物标签和相机标签，所述AR标签的功能参数至少包括以下之一：录像、截图、超链接、显示视频融合效果、搜索。

5.根据权利要求4所述的方法，其特征在于，所述通过所述相机点位与所述目标三维模型的相关信息进行交互，包括：

获取所述目标三维模型中已设置的所述相机点位；

根据所述已设置的所述相机点位的三维坐标和角度，确定新增加的第二相机点位的初始三维坐标和初始角度；

根据所述第二相机点位的初始三维坐标和初始角度，在所述目标场景中对应设置第二目标相机；

调整所述第二目标相机在所述目标场景中的位置和角度，进而对应调整所述第二相机点位在所述目标三维模型中的三维坐标和角度。

6.根据权利要求4所述的方法，其特征在于，所述通过所述AR标签与所述目标三维模型的相关信息进行交互，至少包括以下之一：

在第一AR标签为相机标签且选择的功能参数为显示视频融合效果的情况下，确定所述第一AR标签对应的目标相机，显示所述第一AR标签对应的目标相机视角下的视频画面与所述目标三维模型融合后的效果；

在第二AR标签为相机标签且选择的功能参数为截图的情况下，确定所述第二AR标签对应的目标相机，截取所述第二AR标签对应的目标相机视角下的图像画面，和/或截取所述第二AR标签对应的目标相机视角下的图像画面与所述目标三维模型融合后的效果；

在第三AR标签为相机标签且选择的功能参数为录像的情况下，确定所述第三AR标签对应的目标相机，录制指定时长的所述第三AR标签对应的目标相机视角下的视频画面，和/或录制指定时长的所述第三AR标签对应的目标相机视角下的视频画面与所述目标三维模型融合后的效果；

在第四AR标签为相机标签且选择的功能参数为超链接的情况下，确定所述第四AR标签对应的目标相机，获取所述第四AR标签对应的目标相机的相机参数，其中，所述相机参数至少包括以下之一：所述目标相机的运行状态，所述目标相机的运行时长，所述目标相机的名称，所述目标相机的类型，所述目标相机的视频流参数；

在第五AR标签为建筑物标签且选择的功能参数为超链接的情况下，确定所述第五AR标签对应的目标建筑物，获取所述第五AR标签对应的目标建筑物的相关信息，其中，所述目标建筑物的相关信息至少包括以下之一：所述目标建筑物的状态信息、结构信息、文化背景；

在第六AR标签为建筑物标签且选择的功能参数为搜索的情况下，确定所述六AR标签对应的目标建筑物，搜索所述六AR标签对应的目标建筑物周围的目标相机发出的报警信号。

7.根据权利要求4所述的方法，其特征在于，所述根据所述目标相机的在世界坐标系中的坐标和角度，在所述三维模型中对应设置所述相机点位的三维坐标信息和角度信息，包括：

在所述目标三维模型中确定与第一目标相机对应的初始点位；

根据所述初始点位的初始角度参数获取所述初始点位在所述目标三维模型中的第一视角范围，其中，所述第一视角范围对应于所述初始点位在所述目标三维模型中的覆盖空间；

根据所述第一目标相机在所述目标场景中的第一覆盖空间调整所述初始点位的位置和角度参数，进而调整所述初始点位在所述目标三维模型中的第一视角范围，其中，所述角度参数至少包括：俯仰角、偏航角、侧滚角和视野角；

在所述第一视角范围与所述第一覆盖范围的重合范围大于预设阈值的情况下，根据当前所述初始点位的位置和所述初始点位的角度参数确定所述第一目标相机对应的第一相机点位的三维坐标以及所述第一相机点位的角度参数。

8.根据权利要求7所述的方法，其特征在于，确定所述第一目标相机对应的第一相机点位的三维坐标以及所述第一相机点位的角度参数之后，所述方法还包括：

获取所述第一相机点位对应的配置参数，其中，所述配置参数至少包括：所述第一相机点位的三维坐标，所述第一相机点位对应的角度参数，所述第一相机点位对应的所述目标相机的视频流分辨率的宽与高；

根据所述第一相机点位对应的配置参数确定所述第一相机点位在所述目标三维模型内的覆盖空间；

将所述第一相机点位在所述目标三维模型内的覆盖空间的四个顶点在投影坐标系下的坐标，经过坐标转换得到所述四个顶点在世界坐标系下的坐标；

结合所述四个顶点在所述目标三维模型内的坐标和在所述世界坐标系下的坐标，绘制四个侧面为三角形的几何体；

确定所述几何体为所述相机点位的覆盖空间并显示。

9.根据权利要求4所述的方法，其特征在于，所述根据所述目标建筑物和所述目标相机在所述三维模型中对应的位置，设置所述AR标签的类型和功能参数，包括：

在所述目标三维模型中确定所述AR标签的设置位置；

根据所述AR标签的设置位置确定所述AR标签的类型，其中，与所述目标建筑物的位置对应的设置为建筑物标签，与所述目标相机的位置对应的设置为相机标签；

设置所述AR标签的参数配置文件，其中，所述参数配置文件中至少包括：所述AR标签的位置信息、所述AR标签的类型、功能参数以及所述AR标签上层显示的文字信息。

10.根据权利要求9所述的方法，其特征在于，设置所述AR标签的种类、功能参数以及所述AR标签上层显示的文字信息之后，所述方法还包括：

获取所述AR标签的参数配置文件；

根据所述AR标签的种类确定所述AR标签对应的第二图标的类型，其中，所述第二图标用于表示所述AR标签，所述第二图标的类型至少包括：PNG类型或JPG类型；

将所述第二图标关联到纹理对象，并设置所述第二图标对应的四边形几何体的渲染状态；

根据AR标签上层显示的文字信息设置所述AR标签文字目标的属性；

将所述第二图标对应的四边形几何体和所述AR标签文字目标的属性关联在布告板billboard上，并使所述billboard朝向视点，以使所述AR标签随着所述目标三维模型的移动始终朝向视点；

将所述billboard挂载到位置变换节点，根据所述AR标签的参数配置文件解析出的所述AR标签的位置信息设置所述位置变换节点的位置。

11.根据权利要求1所述的方法，其特征在于，所述方法还包括：

读取并解析所述相机点位的设置信息，确定所述相机点位对应的目标结构化相机；

获取所述目标结构化相机采集的第一视频流；

将所述第一视频流的帧图像信息和结构化数据传入更新回调函数，根据所述目标结构化相机对应的相机点位的参数，经过坐标转换获取检测区域面片的底部中点坐标和所述检测区域面片的宽高，进而获取在三维模型内显示结构化数据的几何体的宽高及相对位置，将所述检测区域面片的图像信息及区域内的结构化图像信息传递给图像目标；

根据所述检测区域面片的宽高绘制显示所述检测区域面片图像信息的几何体和显示所述检测区域内结构化图像信息的几何体，并将对应的图像目标关联到纹理对象，并设置对应的几何体的渲染状态，根据所述结构化数据解析出的文字信息设置好文字目标的属性；

将所述检测区域面片图像信息的几何体和所述检测区域内结构化图像信息的几何体与所述文字目标关联在布告板billboard上，并使所述billboard朝向Z轴，根据所述检测区域面片的底部中点坐标设置所述billboard的位置坐标，通过更新回调函数实现所述第一视频流的帧图像中的检测目标及结构化数据的更新。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

读取并解析所述相机点位的设置信息，确定所述相机点位对应的目标球机；

获取所述目标球机采集的第二视频流并在用户界面上显示所述第二视频流的视频画面；

获取三维模型内的兴趣点位置坐标，通过坐标转换计算所述目标球机在所述目标场景中转动的目标角度，以使所述第二视频流的视频画面中包含所述兴趣点；

在所述目标球机在所述目标场景中的转动所述目标角度后，在所述用户界面上显示所述目标球机转动所述目标角度后对应的所述第二视频流的视频画面。

13.根据权利要求1所述的方法，其特征在于，所述方法还包括：

读取并解析传感器信息，其中，所述传感器信息至少包括以下之一：人员进出流量信息、机动车进出流量信息、非机动车进出流量信息、车位剩余信息；

在用户界面上显示所述传感器信息；

将所述传感器信息与所述目标三维模型进行融合，得到基于所述目标三维模型的热度图。

14.一种三维增强现实全景融合系统，其特征在于，包括：

获取模块，用于获取目标三维模型，其中，所述目标三维模型与目标场景具有映射关系，所述目标场景包括目标建筑物，所述目标场景中设置有目标相机；

场景布置模块，用于在所述目标三维模型中设置相机点位和增强现实AR标签，其中，所述相机点位与所述目标相机具有映射关系，所述相机点位的设置信息中包含所述相机点位的三维坐标信息和角度信息，所述AR标签的设置信息中包含所述标签的功能参数；

交互模块，用于通过所述相机点位和所述AR标签与所述目标三维模型的相关信息进行交互。

15.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至3任一项中所述的方法。

Images