CN115661419B - 实景三维增强现实可视化方法及系统 - Google Patents

Abstract

本发明提供的实景三维增强现实可视化方法及系统，涉及增强现实技术领域。在本发明中，在接收到三维图像采集设备采集的待处理三维图像的情况下，对待处理三维图像进行对象识别操作，以输出待处理三维图像对应的三维对象集合。从目标图像数据库中，查找出与待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象。依据每一个待融合三维对象与每一个目标三维对象之间的匹配关系，将待融合三维对象融合至待处理三维图像中，以形成待处理三维图像对应的增加三维图像，再将增加三维图像发送给三维图像显示设备进行可视化处理。基于上述内容，可以提高增强现实的可靠性。

Description

实景三维增强现实可视化方法及系统

技术领域

本发明涉及增强现实技术领域，具体而言，涉及一种实景三维增强现实可视化方法及系统。

背景技术

增强现实(Augmented Reality)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。但是，经研究发现，在现有技术中，在将一种信息融合至另一种信息中，以实现增加现实的目的时，由于融合的过程中并不会对融合位置进行匹配，使得存在增强现实的可靠性不佳的问题。

发明内容

有鉴于此，本发明的目的在于提供一种实景三维增强现实可视化方法及系统，以改善背景技术中提出的技术问题。

为实现上述目的，本发明实施例采用如下技术方案：

一种实景三维增强现实可视化方法，应用于图像处理服务器，所述图像处理服务器通信连接有三维图像采集设备和三维图像显示设备，所述实景三维增强现实可视化方法包括：

在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合，所述三维对象集合包括至少一个目标三维对象；

从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象；

依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合的步骤，包括：

在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行三维轮廓识别操作，以输出所述待处理三维图像对应的三维轮廓集合，所述三维轮廓集合包括所述待处理三维图像中的每一个三维对象的三维轮廓；

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果，所述轮廓鉴别结果用于反映对应的所述三维轮廓是否符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的轮廓鉴别结果反映该三维轮廓符合预先配置的轮廓条件，则将该三维轮廓定义为目标三维轮廓，再依据该目标三维轮廓从所述待处理三维图像中提取出对应的目标三维对象，再依据提取出的每一个目标三维对象进行对象集合构建操作，以形成所述待处理三维图像对应的三维对象集合。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果的步骤，包括：

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行轮廓体积计算操作，以输出该三维轮廓对应的轮廓体积，再将该三维轮廓对应的轮廓体积与预先配置的轮廓体积阈值进行大小比较，以输出该三维轮廓对应的大小比较结果，所述大小比较结果用于反映对应的所述三维轮廓对应的轮廓体积是否大于或等于所述轮廓体积阈值；

对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果的步骤，包括：

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积不大于或等于所述轮廓体积阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，所述第一轮廓鉴别结果用于反映对应的所述三维轮廓不符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积大于或等于所述轮廓体积阈值，则对该三维轮廓和预先设置的每一个对比三维轮廓进行轮廓相似度计算操作，以输出该三维轮廓和每一个对比三维轮廓之间的轮廓相似度；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度中至少有一个轮廓相似度大于或等于预先设置的轮廓相似度阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度都小于所述轮廓相似度阈值，则输出该三维轮廓对应的第二轮廓鉴别结果，所述第二轮廓鉴别结果用于反映对应的所述三维轮廓符合预先配置的轮廓条件。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像的步骤，包括：

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，依据该样本三维图像和所述待处理三维图像之间的图像相似度，对该样本三维图像和所述待处理三维图像进行匹配鉴别操作，以输出该样本三维图像和所述待处理三维图像之间的匹配鉴别结果；

对于所述目标图像数据库中的每一帧样本三维图像，倘若该样本三维图像和所述待处理三维图像之间的匹配鉴别结果反映该样本三维图像和所述待处理三维图像匹配，则将该样本三维图像标记为待融合三维图像。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度的步骤，包括：

对于所述目标图像数据库中的每一帧样本三维图像，依据预先设置的多个视角对该样本三维图像进行图像信息采集，以输出该样本三维图像在所述多个视角对应的多帧样本二维图像，所述多个视角两两不同；

依据所述多个视角对所述待处理三维图像进行图像信息采集，以输出所述待处理三维图像在所述多个视角对应的多帧待处理二维图像；

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，该样本三维图像对应的每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度，确定出该样本三维图像和所述待处理三维图像之间的图像相似度。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度的步骤，包括：

对所述样本二维图像进行背景图像提取处理，以输出所述样本二维图像对应的样本二维背景图像，再对所述待处理二维图像进行背景图像提取处理，以输出所述待处理二维图像对应的待处理二维背景图像；

依据每一个像素点的像素值，对所述样本二维背景图像包括的像素点进行聚类处理，以输出所述样本二维背景图像对应的多个第一像素点集合，对于所述多个第一像素点集合中的每一个第一像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第一像素点集合对应的至少一个第一像素点子集合，每一个所述第一像素点子集合包括的像素点构成一个连通的区域；

依据每一个像素点的像素值，对所述待处理二维背景图像包括的像素点进行聚类处理，以输出所述待处理二维背景图像对应的多个第二像素点集合，对于所述多个第二像素点集合中的每一个第二像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第二像素点集合对应的至少一个第二像素点子集合，每一个所述第二像素点子集合包括的像素点构成一个连通的区域；

对于每一个所述第一像素点子集合，依据预先确定的排序规则，对该第一像素点子集合包括的像素点进行排序处理，以形成该第一像素点子集合对应的第一像素点序列，对于每一个所述第二像素点子集合，依据所述排序规则，对该第二像素点子集合包括的像素点进行排序处理，以形成该第二像素点子集合对应的第二像素点序列；

对于每一条所述第一像素点序列，分别对该第一像素点序列和每一个所述第二像素点序列进行序列相似度计算处理，以输出该第一像素点序列和每一条所述第二像素点序列之间的序列相似度，再从该第一像素点序列和每一条所述第二像素点序列之间的序列相似度中筛查出具有最大值的序列相似度，以定义为该第一像素点序列对应的目标序列相似度；

对每一条所述第一像素点序列对应的目标序列相似度进行融合处理，以输出所述样本二维图像和所述待处理二维图像之间的图像相似度。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理的步骤，包括：

在所述待处理三维图像中标识出每一个所述目标三维对象以外的非对象所在空间，对于每一个所述目标三维对象，从所述非对象所在空间中，标识出该目标三维对象对应的非对象子空间，任意两个所述目标三维对象对应的非对象子空间之间不存在交集；

对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像；

将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

在一些优选的实施例中，在上述实景三维增强现实可视化方法中，所述对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像的步骤，包括：

对于每一个所述待融合三维对象，分别对该待融合三维对象和每一个所述目标三维对象进行对象相关度计算操作，以输出该待融合三维对象和每一个所述目标三维对象之间的对象相关度；

对于每一个所述待融合三维对象，分别对该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓进行轮廓相似度计算操作，以输出该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度；

对于每一个所述待融合三维对象和每一个所述目标三维对象，对该待融合三维对象和该目标三维对象之间的对象相关度、该待融合三维对象的对象轮廓和该目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度进行融合，以输出该待融合三维对象和该目标三维对象之间的匹配度；

通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象，所述通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象的步骤在多次执行之后，形成所述待融合三维对象和所述目标三维对象之间的多个对象对应集合；

对于所述多个对象对应集合中的每一条对象对应关系，对该对象对应关系包括的每一组待融合三维对象和候选目标三维对象之间的匹配度进行均值计算操作，以输出该对象对应关系对应的匹配度均值；

将具有最大值的匹配度均值对应的对象对应关系定义为目标对象对应关系，再依据该目标对象对应关系，分别将每一个所述待融合三维对象融合至与该待融合三维对象具有对应关系的候选目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像。

本发明实施例还提供一种实景三维增强现实可视化系统，应用于图像处理服务器，所述图像处理服务器通信连接有三维图像采集设备和三维图像显示设备，所述实景三维增强现实可视化系统包括：

对象识别模块，用于在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合，所述三维对象集合包括至少一个目标三维对象；

图像查找模块，用于从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象；

图像增强模块，用于依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

本发明实施例提供的一种实景三维增强现实可视化方法及系统，在接收到三维图像采集设备采集的待处理三维图像的情况下，对待处理三维图像进行对象识别操作，以输出待处理三维图像对应的三维对象集合。从目标图像数据库中，查找出与待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象。依据每一个待融合三维对象与每一个目标三维对象之间的匹配关系，将待融合三维对象融合至待处理三维图像中，以形成待处理三维图像对应的增加三维图像，再将增加三维图像发送给三维图像显示设备进行可视化处理。由于在前述的步骤中，在将待融合三维对象融合至待处理三维图像中时，参考了每一个待融合三维对象与每一个目标三维对象之间的匹配关系，使得在形成的增加三维图像中各三维对象之间更为匹配，从而提高增强现实的可靠性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

图1为本发明实施例提供的图像处理服务器的结构框图。

图2为本发明实施例提供的实景三维增强现实可视化方法包括的各步骤的流程示意图。

图3为本发明实施例提供的实景三维增强现实可视化系统包括的各模块的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

参照图1所示的内容，本发明实施例提供了一种图像处理服务器。其中，所述图像处理服务器可以包括存储器和处理器。

具体地，在一些实施方式中，所述存储器和处理器之间直接或间接地电性连接，以实现数据的传输或交互。例如，相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述存储器中可以存储有至少一个可以以软件或固件（firmware）的形式，存在的软件功能模块（计算机程序）。所述处理器可以用于执行所述存储器中存储的可执行的计算机程序，从而实现本发明实施例提供的实景三维增强现实可视化方法。

具体地，在一些实施方式中，所述存储器可以是，但不限于，随机存取存储器（Random Access Memory，RAM），只读存储器（Read Only Memory，ROM），可编程只读存储器（Programmable Read-Only Memory，PROM），可擦除只读存储器（Erasable ProgrammableRead-Only Memory，EPROM），电可擦除只读存储器（Electric Erasable ProgrammableRead-Only Memory，EEPROM）等。所述处理器可以是一种通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）、片上系统(System on Chip，SoC)等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

具体地，在一些实施方式中，所述图像处理服务器通信连接有三维图像采集设备和三维图像显示设备。其中，所述三维图像采集设备和所述三维图像显示设备可以是同一个设备，具有图像采集和图像显示功能。

参照图2所示的内容，本发明实施例还提供一种实景三维增强现实可视化方法，可应用于上述图像处理服务器。其中，所述实景三维增强现实可视化方法有关的流程所定义的方法步骤，由所述图像处理服务器实现。

下面将对图2所示的具体流程，进行详细阐述。

步骤S110，在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合。

在本发明实施例中，所述图像处理服务器可以在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合。所述三维对象集合包括至少一个目标三维对象（如人、猫、狗等动物，或者植物等）。

步骤S120，从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像。

在本发明实施例中，所述图像处理服务器可以从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像。每一帧待融合三维图像中具有至少一个待融合三维对象。

步骤S130，依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

在本发明实施例中，所述图像处理服务器可以依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理（如所述三维图像显示设备对所述增加三维图像进行显示）。

基于上述方法，即上述的实景三维增强现实可视化方法，在接收到三维图像采集设备采集的待处理三维图像的情况下，对待处理三维图像进行对象识别操作，以输出待处理三维图像对应的三维对象集合。从目标图像数据库中，查找出与待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象。依据每一个待融合三维对象与每一个目标三维对象之间的匹配关系，将待融合三维对象融合至待处理三维图像中，以形成待处理三维图像对应的增加三维图像，再将增加三维图像发送给三维图像显示设备进行可视化处理。由于在前述的步骤中，在将待融合三维对象融合至待处理三维图像中时，参考了每一个待融合三维对象与每一个目标三维对象之间的匹配关系，使得在形成的增加三维图像中各三维对象之间更为匹配，从而提高增强现实的可靠性。

具体地，在一些实施方式中，上述的实景三维增强现实可视化方法包括的步骤S110，可以进一步包括以下更为详细的内容：

在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行三维轮廓识别操作，以输出所述待处理三维图像对应的三维轮廓集合，所述三维轮廓集合包括所述待处理三维图像中的每一个三维对象的三维轮廓；

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果，所述轮廓鉴别结果用于反映对应的所述三维轮廓是否符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的轮廓鉴别结果反映该三维轮廓符合预先配置的轮廓条件，则将该三维轮廓定义为目标三维轮廓，再依据该目标三维轮廓从所述待处理三维图像中提取出对应的目标三维对象，再依据提取出的每一个目标三维对象进行对象集合构建操作，以形成所述待处理三维图像对应的三维对象集合。

具体地，在一些实施方式中，所述对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果的步骤，可以进一步包括以下更为详细的内容：

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行轮廓体积计算操作，以输出该三维轮廓对应的轮廓体积，再将该三维轮廓对应的轮廓体积与预先配置的轮廓体积阈值进行大小比较，以输出该三维轮廓对应的大小比较结果，所述大小比较结果用于反映对应的所述三维轮廓对应的轮廓体积是否大于或等于所述轮廓体积阈值；

对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果。

具体地，在一些实施方式中，所述对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果的步骤，进一步包括以下更为详细的内容：

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积不大于或等于所述轮廓体积阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，所述第一轮廓鉴别结果用于反映对应的所述三维轮廓不符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积大于或等于所述轮廓体积阈值，则对该三维轮廓和预先设置的每一个对比三维轮廓进行轮廓相似度计算操作，以输出该三维轮廓和每一个对比三维轮廓之间的轮廓相似度；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度中至少有一个轮廓相似度大于或等于预先设置的轮廓相似度阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度都小于所述轮廓相似度阈值，则输出该三维轮廓对应的第二轮廓鉴别结果，所述第二轮廓鉴别结果用于反映对应的所述三维轮廓符合预先配置的轮廓条件。

具体地，在一些实施方式中，上述的实景三维增强现实可视化方法包括的步骤S120，可以进一步包括以下更为详细的内容：

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，依据该样本三维图像和所述待处理三维图像之间的图像相似度，对该样本三维图像和所述待处理三维图像进行匹配鉴别操作，以输出该样本三维图像和所述待处理三维图像之间的匹配鉴别结果（例如，图像相似度大于一阈值，则匹配）；

对于所述目标图像数据库中的每一帧样本三维图像，倘若该样本三维图像和所述待处理三维图像之间的匹配鉴别结果反映该样本三维图像和所述待处理三维图像匹配，则将该样本三维图像标记为待融合三维图像。

具体地，在一些实施方式中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度的步骤，可以进一步包括以下更为详细的内容：

对于所述目标图像数据库中的每一帧样本三维图像，依据预先设置的多个视角对该样本三维图像进行图像信息采集，以输出该样本三维图像在所述多个视角对应的多帧样本二维图像，所述多个视角两两不同；

依据所述多个视角对所述待处理三维图像进行图像信息采集，以输出所述待处理三维图像在所述多个视角对应的多帧待处理二维图像；

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，该样本三维图像对应的每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度，确定出该样本三维图像和所述待处理三维图像之间的图像相似度。

具体地，在一些实施方式中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度的步骤，可以进一步包括以下更为详细的内容：

对所述样本二维图像进行背景图像提取处理，以输出所述样本二维图像对应的样本二维背景图像，再对所述待处理二维图像进行背景图像提取处理，以输出所述待处理二维图像对应的待处理二维背景图像；

依据每一个像素点的像素值，对所述样本二维背景图像包括的像素点进行聚类处理，以输出所述样本二维背景图像对应的多个第一像素点集合，对于所述多个第一像素点集合中的每一个第一像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第一像素点集合对应的至少一个第一像素点子集合，每一个所述第一像素点子集合包括的像素点构成一个连通的区域；

依据每一个像素点的像素值，对所述待处理二维背景图像包括的像素点进行聚类处理，以输出所述待处理二维背景图像对应的多个第二像素点集合，对于所述多个第二像素点集合中的每一个第二像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第二像素点集合对应的至少一个第二像素点子集合，每一个所述第二像素点子集合包括的像素点构成一个连通的区域；

对于每一个所述第一像素点子集合，依据预先确定的排序规则，对该第一像素点子集合包括的像素点进行排序处理，以形成该第一像素点子集合对应的第一像素点序列，对于每一个所述第二像素点子集合，依据所述排序规则，对该第二像素点子集合包括的像素点进行排序处理，以形成该第二像素点子集合对应的第二像素点序列；

对于每一条所述第一像素点序列，分别对该第一像素点序列和每一个所述第二像素点序列进行序列相似度计算处理（即对序列元素较多的进行滑窗，使得滑窗序列和序列元素较少的像素点序列的序列元素的数量相同，然后，再对滑窗序列和序列元素较少的像素点序列进行对应序列位置的像素值进行相似度计算，再对计算得到的相似度进行均值计算，从而得到对应的序列相似度），以输出该第一像素点序列和每一条所述第二像素点序列之间的序列相似度，再从该第一像素点序列和每一条所述第二像素点序列之间的序列相似度中筛查出具有最大值的序列相似度，以定义为该第一像素点序列对应的目标序列相似度；

对每一条所述第一像素点序列对应的目标序列相似度进行融合处理（例如，可以是加权求和计算等），以输出所述样本二维图像和所述待处理二维图像之间的图像相似度。

具体地，在一些实施方式中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度的步骤，也可以进一步包括以下更为详细的内容：

对所述样本二维图像进行背景图像提取处理，以输出所述样本二维图像对应的样本二维背景图像，再对所述待处理二维图像进行背景图像提取处理，以输出所述待处理二维图像对应的待处理二维背景图像；

依据每一个像素点的像素值，对所述样本二维背景图像包括的像素点进行聚类处理，以输出所述样本二维背景图像对应的多个第一像素点集合，对于所述多个第一像素点集合中的每一个第一像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第一像素点集合对应的至少一个第一像素点子集合，每一个所述第一像素点子集合包括的像素点构成一个连通的区域；

依据每一个像素点的像素值，对所述待处理二维背景图像包括的像素点进行聚类处理（参照现有的聚类技术即可，以将像素值相近的像素点分配到一个第二像素点集合），以输出所述待处理二维背景图像对应的多个第二像素点集合，对于所述多个第二像素点集合中的每一个第二像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第二像素点集合对应的至少一个第二像素点子集合，每一个所述第二像素点子集合包括的像素点构成一个连通的区域；

对于每一个所述第一像素点子集合，分别对该第一像素点子集合对应的区域和每一个其它第一像素点子集合对应的区域进行区域距离计算处理，以输出该第一像素点子集合和每一个其它第一像素点子集合之间的区域距离，对于每一个所述第二像素点子集合，分别对该第二像素点子集合对应的区域和每一个其它第二像素点子集合对应的区域进行区域距离计算处理，以输出该第二像素点子集合和每一个其它第二像素点子集合之间的区域距离；

对于每一个所述第一像素点子集合，从该第一像素点子集合包括的每一个像素点中，分别查找出与每一个其它第一像素点子集合之间具有最小距离的像素点，以形成每一个其它第一像素点子集合在该第一像素点子集合中的关联像素点，再分别依据每一个其它第一像素点子集合包括的像素点的像素均值和对应的区域距离，对对应的关联像素点进行像素值更新处理（例如，可以依据所述区域距离确定像素均值的加权系数和关联像素点的像素值的加权系数，再进行加权求和，其中，所述区域距离越小，所述像素均值的加权系数越大），以输出该关联像素点的当前像素值；

对于每一个所述第二像素点子集合，从该第二像素点子集合包括的每一个像素点中，分别查找出与每一个其它第二像素点子集合之间具有最小距离的像素点，以形成每一个其它第二像素点子集合在该第二像素点子集合中的关联像素点，再分别依据每一个其它第二像素点子集合包括的像素点的像素均值和对应的区域距离，对对应的关联像素点进行像素值更新处理，以输出该关联像素点的当前像素值；

对于每一个所述第一像素点子集合，依据预先确定的排序规则，对该第一像素点子集合包括的像素点进行排序处理，以形成该第一像素点子集合对应的第一像素点序列，对于每一个所述第二像素点子集合，依据所述排序规则，对该第二像素点子集合包括的像素点进行排序处理，以形成该第二像素点子集合对应的第二像素点序列；

对于每一条所述第一像素点序列，依据每一个像素点的当前像素值，分别对该第一像素点序列和每一个所述第二像素点序列进行序列相似度计算处理，以输出该第一像素点序列和每一条所述第二像素点序列之间的序列相似度，再从该第一像素点序列和每一条所述第二像素点序列之间的序列相似度中筛查出具有最大值的序列相似度，以定义为该第一像素点序列对应的目标序列相似度；

对每一条所述第一像素点序列对应的目标序列相似度进行融合处理，以输出所述样本二维图像和所述待处理二维图像之间的图像相似度。

具体地，在一些实施方式中，上述的实景三维增强现实可视化方法包括的步骤S130，可以进一步包括以下更为详细的内容：

在所述待处理三维图像中标识出每一个所述目标三维对象以外的非对象所在空间，对于每一个所述目标三维对象，从所述非对象所在空间中，标识出该目标三维对象对应的非对象子空间，任意两个所述目标三维对象对应的非对象子空间之间不存在交集；

对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像；

将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

具体地，在一些实施方式中，所述对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像的步骤，可以进一步包括以下更为详细的内容：

对于每一个所述待融合三维对象，分别对该待融合三维对象和每一个所述目标三维对象进行对象相关度计算操作（如确定对象所属的种类，再确定种类之间的相似度，如所属的界、门、纲、目、科、属、种），以输出该待融合三维对象和每一个所述目标三维对象之间的对象相关度；

对于每一个所述待融合三维对象，分别对该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓进行轮廓相似度计算操作，以输出该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度；

对于每一个所述待融合三维对象和每一个所述目标三维对象，对该待融合三维对象和该目标三维对象之间的对象相关度、该待融合三维对象的对象轮廓和该目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度进行融合（例如，可以进行加权求和计算处理等），以输出该待融合三维对象和该目标三维对象之间的匹配度；

通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象，所述通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象的步骤在多次执行之后，形成所述待融合三维对象和所述目标三维对象之间的多个对象对应集合；

对于所述多个对象对应集合中的每一条对象对应关系，对该对象对应关系包括的每一组待融合三维对象和候选目标三维对象之间的匹配度进行均值计算操作，以输出该对象对应关系对应的匹配度均值；

将具有最大值的匹配度均值对应的对象对应关系定义为目标对象对应关系，再依据该目标对象对应关系，分别将每一个所述待融合三维对象融合至与该待融合三维对象具有对应关系的候选目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像。

参照图3所示的内容，本发明实施例还提供一种实景三维增强现实可视化系统，可应用于上述图像处理服务器。其中，所述实景三维增强现实可视化可以包括对象识别模块、图像查找模块和图像增强模块。

具体地，在一些实施方式中，所述对象识别模块，用于在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合，所述三维对象集合包括至少一个目标三维对象。

具体地，在一些实施方式中，所述图像查找模块，用于从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象。

具体地，在一些实施方式中，所述图像增强模块，用于依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

综上所述，本发明提供的一种实景三维增强现实可视化方法及系统，在接收到三维图像采集设备采集的待处理三维图像的情况下，对待处理三维图像进行对象识别操作，以输出待处理三维图像对应的三维对象集合。从目标图像数据库中，查找出与待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象。依据每一个待融合三维对象与每一个目标三维对象之间的匹配关系，将待融合三维对象融合至待处理三维图像中，以形成待处理三维图像对应的增加三维图像，再将增加三维图像发送给三维图像显示设备进行可视化处理。由于在将待融合三维对象融合至待处理三维图像中时，参考了每一个待融合三维对象与每一个目标三维对象之间的匹配关系，使得在形成的增加三维图像中各三维对象之间更为匹配，从而提高增强现实的可靠性。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种实景三维增强现实可视化方法，其特征在于，应用于图像处理服务器，所述图像处理服务器通信连接有三维图像采集设备和三维图像显示设备，所述实景三维增强现实可视化方法包括：

在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合，所述三维对象集合包括至少一个目标三维对象；

从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象；

依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理；

其中，所述从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像的步骤，包括：

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，依据该样本三维图像和所述待处理三维图像之间的图像相似度，对该样本三维图像和所述待处理三维图像进行匹配鉴别操作，以输出该样本三维图像和所述待处理三维图像之间的匹配鉴别结果；

对于所述目标图像数据库中的每一帧样本三维图像，倘若该样本三维图像和所述待处理三维图像之间的匹配鉴别结果反映该样本三维图像和所述待处理三维图像匹配，则将该样本三维图像标记为待融合三维图像;

其中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度的步骤，包括：

对于所述目标图像数据库中的每一帧样本三维图像，依据预先设置的多个视角对该样本三维图像进行图像信息采集，以输出该样本三维图像在所述多个视角对应的多帧样本二维图像，所述多个视角两两不同；

依据所述多个视角对所述待处理三维图像进行图像信息采集，以输出所述待处理三维图像在所述多个视角对应的多帧待处理二维图像；

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，该样本三维图像对应的每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度，确定出该样本三维图像和所述待处理三维图像之间的图像相似度；

其中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度的步骤，包括：

对所述样本二维图像进行背景图像提取处理，以输出所述样本二维图像对应的样本二维背景图像，再对所述待处理二维图像进行背景图像提取处理，以输出所述待处理二维图像对应的待处理二维背景图像；

依据每一个像素点的像素值，对所述样本二维背景图像包括的像素点进行聚类处理，以输出所述样本二维背景图像对应的多个第一像素点集合，对于所述多个第一像素点集合中的每一个第一像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第一像素点集合对应的至少一个第一像素点子集合，每一个所述第一像素点子集合包括的像素点构成一个连通的区域；

依据每一个像素点的像素值，对所述待处理二维背景图像包括的像素点进行聚类处理，以输出所述待处理二维背景图像对应的多个第二像素点集合，对于所述多个第二像素点集合中的每一个第二像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第二像素点集合对应的至少一个第二像素点子集合，每一个所述第二像素点子集合包括的像素点构成一个连通的区域；

对于每一个所述第一像素点子集合，依据预先确定的排序规则，对该第一像素点子集合包括的像素点进行排序处理，以形成该第一像素点子集合对应的第一像素点序列，对于每一个所述第二像素点子集合，依据所述排序规则，对该第二像素点子集合包括的像素点进行排序处理，以形成该第二像素点子集合对应的第二像素点序列；

对于每一条所述第一像素点序列，分别对该第一像素点序列和每一个所述第二像素点序列进行序列相似度计算处理，以输出该第一像素点序列和每一条所述第二像素点序列之间的序列相似度，再从该第一像素点序列和每一条所述第二像素点序列之间的序列相似度中筛查出具有最大值的序列相似度，以定义为该第一像素点序列对应的目标序列相似度；

对每一条所述第一像素点序列对应的目标序列相似度进行融合处理，以输出所述样本二维图像和所述待处理二维图像之间的图像相似度。

2.如权利要求1所述的实景三维增强现实可视化方法，其特征在于，所述在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合的步骤，包括：

在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行三维轮廓识别操作，以输出所述待处理三维图像对应的三维轮廓集合，所述三维轮廓集合包括所述待处理三维图像中的每一个三维对象的三维轮廓；

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果，所述轮廓鉴别结果用于反映对应的所述三维轮廓是否符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的轮廓鉴别结果反映该三维轮廓符合预先配置的轮廓条件，则将该三维轮廓定义为目标三维轮廓，再依据该目标三维轮廓从所述待处理三维图像中提取出对应的目标三维对象，再依据提取出的每一个目标三维对象进行对象集合构建操作，以形成所述待处理三维图像对应的三维对象集合。

3.如权利要求2所述的实景三维增强现实可视化方法，其特征在于，所述对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行鉴别，以输出该三维轮廓对应的轮廓鉴别结果的步骤，包括：

对于所述三维轮廓集合包括的每一个三维轮廓，对该三维轮廓进行轮廓体积计算操作，以输出该三维轮廓对应的轮廓体积，再将该三维轮廓对应的轮廓体积与预先配置的轮廓体积阈值进行大小比较，以输出该三维轮廓对应的大小比较结果，所述大小比较结果用于反映对应的所述三维轮廓对应的轮廓体积是否大于或等于所述轮廓体积阈值；

对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果。

4.如权利要求3所述的实景三维增强现实可视化方法，其特征在于，所述对于所述三维轮廓集合包括的每一个三维轮廓，依据该三维轮廓对应的大小比较结果，对该三维轮廓进行鉴别，以输出对应的轮廓鉴别结果的步骤，包括：

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积不大于或等于所述轮廓体积阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，所述第一轮廓鉴别结果用于反映对应的所述三维轮廓不符合预先配置的轮廓条件；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓对应的大小比较结果反映该三维轮廓对应的轮廓体积大于或等于所述轮廓体积阈值，则对该三维轮廓和预先设置的每一个对比三维轮廓进行轮廓相似度计算操作，以输出该三维轮廓和每一个对比三维轮廓之间的轮廓相似度；

对于所述三维轮廓集合包括的每一个三维轮廓，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度中至少有一个轮廓相似度大于或等于预先设置的轮廓相似度阈值，则输出该三维轮廓对应的第一轮廓鉴别结果，倘若该三维轮廓和每一个对比三维轮廓之间的轮廓相似度都小于所述轮廓相似度阈值，则输出该三维轮廓对应的第二轮廓鉴别结果，所述第二轮廓鉴别结果用于反映对应的所述三维轮廓符合预先配置的轮廓条件。

5.如权利要求1-4任意一项所述的实景三维增强现实可视化方法，其特征在于，所述依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理的步骤，包括：

在所述待处理三维图像中标识出每一个所述目标三维对象以外的非对象所在空间，对于每一个所述目标三维对象，从所述非对象所在空间中，标识出该目标三维对象对应的非对象子空间，任意两个所述目标三维对象对应的非对象子空间之间不存在交集；

对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像；

将所述增加三维图像发送给所述三维图像显示设备进行可视化处理。

6.如权利要求5所述的实景三维增强现实可视化方法，其特征在于，所述对于每一个所述待融合三维对象，将该待融合三维对象融合至与该待融合三维对象之间具有匹配关系的目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像的步骤，包括：

对于每一个所述待融合三维对象，分别对该待融合三维对象和每一个所述目标三维对象进行对象相关度计算操作，以输出该待融合三维对象和每一个所述目标三维对象之间的对象相关度；

对于每一个所述待融合三维对象，分别对该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓进行轮廓相似度计算操作，以输出该待融合三维对象的对象轮廓和每一个所述目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度；

对于每一个所述待融合三维对象和每一个所述目标三维对象，对该待融合三维对象和该目标三维对象之间的对象相关度、该待融合三维对象的对象轮廓和该目标三维对象对应的非对象子空间的空间轮廓之间的轮廓相似度进行融合，以输出该待融合三维对象和该目标三维对象之间的匹配度；

通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象，所述通过一一对应规则，分别为每一个所述待融合三维对象确定出任意的候选目标三维对象的步骤在多次执行之后，形成所述待融合三维对象和所述目标三维对象之间的多个对象对应集合；

对于所述多个对象对应集合中的每一条对象对应关系，对该对象对应关系包括的每一组待融合三维对象和候选目标三维对象之间的匹配度进行均值计算操作，以输出该对象对应关系对应的匹配度均值；

将具有最大值的匹配度均值对应的对象对应关系定义为目标对象对应关系，再依据该目标对象对应关系，分别将每一个所述待融合三维对象融合至与该待融合三维对象具有对应关系的候选目标三维对象对应的非对象子空间，以形成所述待处理三维图像对应的增加三维图像。

7.一种实景三维增强现实可视化系统，其特征在于，应用于图像处理服务器，所述图像处理服务器通信连接有三维图像采集设备和三维图像显示设备，所述实景三维增强现实可视化系统包括：

对象识别模块，用于在接收到所述三维图像采集设备采集的待处理三维图像的情况下，对所述待处理三维图像进行对象识别操作，以输出所述待处理三维图像对应的三维对象集合，所述三维对象集合包括至少一个目标三维对象；

图像查找模块，用于从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，每一帧待融合三维图像中具有至少一个待融合三维对象；

图像增强模块，用于依据每一个所述待融合三维对象与每一个所述目标三维对象之间的匹配关系，将所述待融合三维对象融合至所述待处理三维图像中，以形成所述待处理三维图像对应的增加三维图像，再将所述增加三维图像发送给所述三维图像显示设备进行可视化处理；

其中，所述从目标图像数据库中，查找出与所述待处理三维图像匹配的至少一帧待融合三维图像，包括：

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，依据该样本三维图像和所述待处理三维图像之间的图像相似度，对该样本三维图像和所述待处理三维图像进行匹配鉴别操作，以输出该样本三维图像和所述待处理三维图像之间的匹配鉴别结果；

对于所述目标图像数据库中的每一帧样本三维图像，倘若该样本三维图像和所述待处理三维图像之间的匹配鉴别结果反映该样本三维图像和所述待处理三维图像匹配，则将该样本三维图像标记为待融合三维图像;

其中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像和所述待处理三维图像进行图像相似度计算操作，以输出该样本三维图像和所述待处理三维图像之间的图像相似度，包括：

对于所述目标图像数据库中的每一帧样本三维图像，依据预先设置的多个视角对该样本三维图像进行图像信息采集，以输出该样本三维图像在所述多个视角对应的多帧样本二维图像，所述多个视角两两不同；

依据所述多个视角对所述待处理三维图像进行图像信息采集，以输出所述待处理三维图像在所述多个视角对应的多帧待处理二维图像；

对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度；

对于所述目标图像数据库中的每一帧样本三维图像，该样本三维图像对应的每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度，确定出该样本三维图像和所述待处理三维图像之间的图像相似度；

其中，所述对于所述目标图像数据库中的每一帧样本三维图像，对该样本三维图像对应的多帧样本二维图像和所述待处理三维图像对应的多帧待处理二维图像之间的每两帧图像进行图像相似度计算操作，以输出每一帧样本二维图像和每一帧待处理二维图像之间的图像相似度，包括：

对所述样本二维图像进行背景图像提取处理，以输出所述样本二维图像对应的样本二维背景图像，再对所述待处理二维图像进行背景图像提取处理，以输出所述待处理二维图像对应的待处理二维背景图像；

依据每一个像素点的像素值，对所述样本二维背景图像包括的像素点进行聚类处理，以输出所述样本二维背景图像对应的多个第一像素点集合，对于所述多个第一像素点集合中的每一个第一像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第一像素点集合对应的至少一个第一像素点子集合，每一个所述第一像素点子集合包括的像素点构成一个连通的区域；

依据每一个像素点的像素值，对所述待处理二维背景图像包括的像素点进行聚类处理，以输出所述待处理二维背景图像对应的多个第二像素点集合，对于所述多个第二像素点集合中的每一个第二像素点集合，依据每两个像素点之间的位置关系，对该第一像素点集合进行拆分处理，以形成该第二像素点集合对应的至少一个第二像素点子集合，每一个所述第二像素点子集合包括的像素点构成一个连通的区域；

对于每一个所述第一像素点子集合，依据预先确定的排序规则，对该第一像素点子集合包括的像素点进行排序处理，以形成该第一像素点子集合对应的第一像素点序列，对于每一个所述第二像素点子集合，依据所述排序规则，对该第二像素点子集合包括的像素点进行排序处理，以形成该第二像素点子集合对应的第二像素点序列；

对于每一条所述第一像素点序列，分别对该第一像素点序列和每一个所述第二像素点序列进行序列相似度计算处理，以输出该第一像素点序列和每一条所述第二像素点序列之间的序列相似度，再从该第一像素点序列和每一条所述第二像素点序列之间的序列相似度中筛查出具有最大值的序列相似度，以定义为该第一像素点序列对应的目标序列相似度；

对每一条所述第一像素点序列对应的目标序列相似度进行融合处理，以输出所述样本二维图像和所述待处理二维图像之间的图像相似度。

Images