CN117726511B - 用于旅游景观展示的全景成像装置及方法 - Google Patents
用于旅游景观展示的全景成像装置及方法 Download PDFInfo
- Publication number
- CN117726511B CN117726511B CN202410179861.4A CN202410179861A CN117726511B CN 117726511 B CN117726511 B CN 117726511B CN 202410179861 A CN202410179861 A CN 202410179861A CN 117726511 B CN117726511 B CN 117726511B
- Authority
- CN
- China
- Prior art keywords
- landscape
- feature
- matrix
- local
- travel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims description 17
- 238000004458 analytical method Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 14
- 239000011159 matrix material Substances 0.000 claims description 83
- 238000012549 training Methods 0.000 claims description 64
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 239000013598 vector Substances 0.000 claims description 23
- 239000003623 enhancer Substances 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 14
- 238000005728 strengthening Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims 3
- 238000010276 construction Methods 0.000 claims 2
- 238000005457 optimization Methods 0.000 claims 1
- 238000012216 screening Methods 0.000 claims 1
- 238000011176 pooling Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 101100001674 Emericella variicolor andI gene Proteins 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本申请公开了一种用于旅游景观展示的全景成像装置及方法,其通过在采集到多张局部图像后,在后端引入图像处理和分析算法来进行该多张局部图像的特征分析和捕捉,以此来整合旅游景观的各个局部区域特征,从而得到旅游景观的整体综合特征表示,以此生成旅游景观的全景图像。这样,可以实现低成本、高效率、高质量和自然拼接的全景图像生成,并实现了对旅游景观的全方位展示,从而能够提供更加真实、全面和沉浸式的旅游景观展示体验。
Description
技术领域
本申请涉及全景成像领域,且更为具体地,涉及一种用于旅游景观展示的全景成像装置及方法。
背景技术
随着旅游业的发展和人们对旅游体验的需求不断增加,全景成像技术在旅游景观展示中得到了广泛应用。旅游景观是指具有一定的自然风光或人文景观的地区,它是旅游业的重要资源和吸引力。为了更好地展示旅游景观的魅力,需要采用全景成像技术,即通过多张局部图像的拼接,生成一张能够覆盖旅游景观的全方位视角的图像。全景成像技术可以提供更加真实和全面的视觉体验,增强旅游者的参与感和沉浸感。
目前,已有多种全景成像技术被应用于旅游景观展示,例如基于多台相机的全景拍摄系统、基于单台相机的全景拍摄系统、基于手机的全景拍摄软件等。然而,这些技术存在一些不足之处,例如:成本高、操作复杂、图像质量低、图像拼接不自然等,因此,这些方法在处理复杂场景和旅游景观时存在一定的局限性。
因此,期望一种优化的用于旅游景观展示的全景成像装置,其能够实现低成本、高效率、高质量和自然拼接的全景图像生成。
发明内容
为了解决上述技术问题,提出了本申请。本申请的实施例提供了一种用于旅游景观展示的全景成像装置及方法,其通过在采集到多张局部图像后,在后端引入图像处理和分析算法来进行该多张局部图像的特征分析和捕捉,以此来整合旅游景观的各个局部区域特征,从而得到旅游景观的整体综合特征表示,以此生成旅游景观的全景图像。这样,可以实现低成本、高效率、高质量和自然拼接的全景图像生成,并实现了对旅游景观的全方位展示,从而能够提供更加真实、全面和沉浸式的旅游景观展示体验。
根据本申请的一个方面,提供了一种用于旅游景观展示的全景成像装置,其包括:
可移动支架;
设置于所述可移动支架的全景相机,用于采集被成景对象的多张局部图像;
全景图像合成器,用于接收所述多张局部图像,并对所述多张局部图像进行全景图像合成以得到所述被成景对象的全景图像;
无线数据传输器,用于所述全景图像的数据传输;
显示屏,用于接收来自于所述无线数据传输器的全景图像,并显示所述全景图像。
根据本申请的另一个方面,提供了一种用于旅游景观展示的全景成像方法,其包括:
通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵;
将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵;
将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵;
将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像。
与现有技术相比,本申请提供的一种用于旅游景观展示的全景成像装置及方法,其通过在采集到多张局部图像后,在后端引入图像处理和分析算法来进行该多张局部图像的特征分析和捕捉,以此来整合旅游景观的各个局部区域特征,从而得到旅游景观的整体综合特征表示,以此生成旅游景观的全景图像。这样,可以实现低成本、高效率、高质量和自然拼接的全景图像生成,并实现了对旅游景观的全方位展示,从而能够提供更加真实、全面和沉浸式的旅游景观展示体验。
附图说明
通过结合附图对本申请实施例进行更详细的描述,本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解,并且构成说明书的一部分,与本申请实施例一起用于解释本申请,并不构成对本申请的限制。在附图中,相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的用于旅游景观展示的全景成像装置的框图;
图2为根据本申请实施例的用于旅游景观展示的全景成像装置的系统架构图;
图3为根据本申请实施例的用于旅游景观展示的全景成像装置的训练阶段的框图;
图4为根据本申请实施例的用于旅游景观展示的全景成像装置中全景图像合成器的框图;
图5为根据本申请实施例的用于旅游景观展示的全景成像方法的流程图。
具体实施方式
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用,然而,任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的,并且所述系统和方法的不同方面可以使用不同模块。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或下面操作不一定按照顺序来精确地执行。相反,根据需要,可以按照倒序或同时处理各种步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
下面,将参考附图详细地描述根据本申请的示例实施例。显然,所描述的实施例仅仅是本申请的一部分实施例,而不是本申请的全部实施例,应理解,本申请不受这里描述的示例实施例的限制。
目前,已有多种全景成像技术被应用于旅游景观展示,例如基于多台相机的全景拍摄系统、基于单台相机的全景拍摄系统、基于手机的全景拍摄软件等。然而,这些技术存在一些不足之处,例如:成本高、操作复杂、图像质量低、图像拼接不自然等,因此,这些方法在处理复杂场景和旅游景观时存在一定的局限性。因此,期望一种优化的用于旅游景观展示的全景成像装置,其能够实现低成本、高效率、高质量和自然拼接的全景图像生成。
在本申请的技术方案中,提出了一种用于旅游景观展示的全景成像装置。图1为根据本申请实施例的用于旅游景观展示的全景成像装置的框图。如图1所示,根据本申请的实施例的用于旅游景观展示的全景成像装置300,包括:可移动支架310;设置于所述可移动支架的全景相机320,用于采集被成景对象的多张局部图像;全景图像合成器330,用于接收所述多张局部图像,并对所述多张局部图像进行全景图像合成以得到所述被成景对象的全景图像;无线数据传输器340,用于所述全景图像的数据传输;以及,显示屏350,用于接收来自于所述无线数据传输器的全景图像,并显示所述全景图像。
特别地,所述可移动支架310和所述设置于所述可移动支架的全景相机320,用于采集被成景对象的多张局部图像。其中,所述被成景对象为旅游景观。值得一提的是,全景相机是一种能够捕捉到全景图像的相机设备。它通过特殊的镜头和图像处理技术,能够拍摄到超过普通相机视野范围的广角图像,将周围的环境完整地呈现在一张图像中。
特别地,所述全景图像合成器330,用于接收所述多张局部图像,并对所述多张局部图像进行全景图像合成以得到所述被成景对象的全景图像。特别地,在本申请的一个具体示例中,如图2和图4所示,所述全景图像合成器330,包括:旅游景观局部图像特征提取模块331,用于通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵;图像特征强化模块332,用于将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵;旅游景观全局语义表达模块333,用于将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵;全景图像生成模块334,用于将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像。
具体地,所述旅游景观局部图像特征提取模块331,用于通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵。也就是,在本申请的技术方案中,在获得多张局部图像后,使用在图像的隐含特征提取方面具有优异表现性能的基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取,以分别提取出所述各张局部图像中关于被成景对象的旅游景观局部区域特征信息,从而得到多个旅游景观局部特征矩阵。具体地,使用所述基于卷积神经网络模型的图像特征提取器的各层在层的正向传递中分别对输入数据进行:对输入数据进行卷积处理以得到卷积特征图;对所述卷积特征图进行基于沿通道维度的池化以得到池化特征图;以及,对所述池化特征图进行非线性激活以得到激活特征图;其中,所述基于卷积神经网络模型的图像特征提取器的最后一层的输出为所述多个旅游景观局部特征矩阵,所述基于卷积神经网络模型的图像特征提取器的第一层的输入为所述多张局部图像。
卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,特别适用于处理具有网格结构数据(如图像、音频、文本等)的任务。CNN通过在输入数据上应用卷积操作来提取特征,并通过多个卷积层和池化层来逐渐提取更高级别的特征。下面是卷积神经网络模型的基本结构:卷积层:卷积层是CNN的核心组件。它通过在输入数据上应用卷积操作来提取特征。卷积操作使用卷积核(也称为滤波器)在输入数据上滑动,并计算每个位置上的卷积结果。卷积操作可以捕捉数据的局部关系和模式,并生成特征图作为输出;激活函数:卷积层的输出通常会通过激活函数进行非线性变换。常用的激活函数包括ReLU、Sigmoid和Tanh等。激活函数引入非线性特性,增加模型的表达能力;池化层:池化层用于减少特征图的尺寸并提取更重要的特征。常见的池化操作有最大池化和平均池化。池化操作可以减少模型的参数数量,降低计算复杂度,并提高模型的鲁棒性;全连接层:全连接层将池化层的输出展平,并与输出层连接。全连接层的神经元与前一层的所有神经元相连,可以学习到更高级别的特征表示。最后一个全连接层通常用于分类任务,输出模型的预测结果。
具体地,所述图像特征强化模块332,用于将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵。应可以理解,为了增强和丰富被成景对象的这些局部特征的表达能力,使其更具区分性和鲁棒性,在本申请的技术方案中,进一步将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵。通过所述基于重参数化网络的图像特征强化器进行处理,能够引入随机性,将原始的旅游景观局部特征重新参数化为更丰富的特征表示,从而增强所述旅游景观局部特征矩阵的表达能力。在这个过程中,每个所述旅游景观局部特征矩阵的均值和方差被提取出来,并用于生成新的特征矩阵。这种重参数化的形式可以看作是在语义特征空间中进行数据增强的一种方式,这有助于提高图像中关于被成景对象的细节特征的表达能力,从而提高图像的质量和细节还原能力。这样,能够使得最终合成的全景图像能够更好地保留景观的细节和特征,提高图像的真实感和逼真度。更具体地,使用所述基于重参数化网络的图像特征强化器以如下强化公式对所述多个强化旅游景观局部特征矩阵进行特征表达强化以得到所述多个强化旅游景观局部特征矩阵;其中,所述强化公式为:
其中,为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的全局均值,为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的方差,是对所述多个强化
旅游景观局部特征矩阵中各个特征矩阵的高斯分布进行随机采样得到的第个值,是所
述多个强化旅游景观局部特征矩阵中每个特征矩阵中各个位置的特征值。
具体地,所述旅游景观全局语义表达模块333,用于将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵。应可以理解,在实际进行旅游景观的全景图像合成时,关于所述被成景对象的不同局部区域特征都包含了该被成景对象的关键特征信息,并且,这些局部区域特征之间具有着基于整体的关联关系。也就是说,仅仅通过对局部特征进行强化还不足以完整地表达旅游景观的整体语义信息。因此,需要将多个强化后的局部特征矩阵进行联合分析,以获得旅游景观的全局语义特征。具体地,在本申请的技术方案中,进一步将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵。应可以理解,通过使用所述联合分析网络来进行处理,能够对多个局部特征矩阵进行综合分析和整合,从而综合利用所述被成景对象的不同局部区域特征之间的相似性和关联性关系,并筛选和融合对于旅游景观的整体语义特征表达和全景图像生成相关的重要语义关联特征。这样,能够利用旅游景观的不同局部特征之间的关联性和相互作用,从而得到更全面、更准确的旅游景观的整体语义特征表示,以确保生成的全景图像更加真实、准确地反映旅游景观的特征和风貌。更具体地,将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵,包括:构造所述多个强化旅游景观局部特征矩阵的邻接矩阵和度矩阵;基于所述邻接矩阵和所述度矩阵,计算拉普拉斯矩阵;对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵;将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列,并提取前K个特征值计算所述前K个特征值的特征向量;标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述旅游景观全局语义特征矩阵。在本申请的一个具体示例中,构造所述多个强化旅游景观局部特征矩阵的邻接矩阵和度矩阵,包括:以如下权重公式计算所述多个强化旅游景观局部特征矩阵中各个强化旅游景观局部特征矩阵之间的关联权重值以得到所述邻接矩阵;其中,所述权重公式为:
其中,和分别为所述多个强化旅游景观局部特征矩阵中第个和第个盆底压
力信号特征向量,为所述第个强化旅游景观局部特征矩阵和所述第个强化旅游景观局
部特征矩阵之间的方差,表示二范数的平方,为指数运算,为所述邻接矩阵中
第位置的特征值。
具体地,所述全景图像生成模块334,用于将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像。也就是说,利用旅游景观的全局语义特征信息来进行所述被成景对象的全局图像的生成,特别地,通过利用所述基于AIGC的旅游景观全景图像生成器进行处理,使得得到的所述全局图像能够将整个旅游景观的局部图像无缝拼接在一起,呈现给用户一个完整、连续的视角,使用户能够全面、真实地感受旅游景观的美丽和魅力。
特别地,所述无线数据传输器340和所述显示屏350,用于所述全景图像的数据传输;以及,接收来自于所述无线数据传输器的全景图像,并显示所述全景图像。其中,无线数据传输器是一种设备或系统,用于通过无线电波或其他无线通信技术将数据从一个设备传输到另一个设备。它可以实现在没有物理连接的情况下,在设备之间进行数据传输和通信。
应可以理解,在利用上述神经网络模型进行推断之前,需要对所述基于卷积神经网络模型的图像特征提取器、所述基于重参数化网络的图像特征强化器、所述联合分析网络和所述基于AIGC的旅游景观全景图像生成器进行训练。也就是说,根据本申请的用于旅游景观展示的全景成像装置300,还包括训练阶段400,用于对所述基于卷积神经网络模型的图像特征提取器、所述基于重参数化网络的图像特征强化器、所述联合分析网络和所述基于AIGC的旅游景观全景图像生成器进行训练。
图3为根据本申请实施例的用于旅游景观展示的全景成像装置的训练阶段的框图。如图3所示,根据本申请实施例的用于旅游景观展示的全景成像装置300,包括:训练阶段400,包括:训练数据获取单元410,用于获取训练数据,所述训练数据包括被成景对象的多张训练局部图像;训练局部图像特征提取单元420,用于通过基于卷积神经网络模型的图像特征提取器分别对所述多张训练局部图像进行特征提取以得到多个训练旅游景观局部特征矩阵;训练图像特征强化单元430,用于将所述多个训练旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个训练强化旅游景观局部特征矩阵;训练全局语义表达单元440,用于将所述多个训练强化旅游景观局部特征矩阵输入联合分析网络以得到训练旅游景观全局语义特征矩阵;优化单元450,用于对所述训练旅游景观全局语义特征矩阵展开后得到的训练旅游景观全局语义特征向量进行优化以得到优化训练旅游景观全局语义特征向量;均方误差计算单元460,用于将所述优化训练旅游景观全局语义特征向量通过基于AIGC的旅游景观全景图像生成器以得到均方误差值;训练单元470,用于基于所述均方误差值对所述基于卷积神经网络模型的图像特征提取器、所述基于重参数化网络的图像特征强化器、所述联合分析网络和所述基于AIGC的旅游景观全景图像生成器进行训练。
特别地,在本申请的技术方案中,所述多个训练强化旅游景观局部特征矩阵中的每个训练强化旅游景观局部特征矩阵表达所述旅游景观的局部图像的图像语义特征,由此,在将所述多个训练强化旅游景观局部特征矩阵输入联合分析网络以得到训练旅游景观全局语义特征矩阵时,可以基于局部图像语义空间域之间的图像语义特征联合聚类分布来得到所述旅游景观全局语义特征矩阵。但是,考虑到所述旅游景观的多张训练局部图像在各个图像语义空间域下的源图像语义分布差异,在基于训练局部图像语义空间域之间的图像语义特征联合聚类分布来得到所述训练旅游景观全局语义特征矩阵时,所述各个训练强化旅游景观局部特征矩阵各自的基于其局部图像语义空间域的图像语义特征的特征分布信息显著性也会受到影响,使得所述训练旅游景观全局语义特征矩阵在训练过程中难以稳定地聚焦于特征的显著局部分布,从而影响所述训练旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器所得到的被成景对象的全景图像图像质量,尤其是图像细节方面。基于此,本申请的申请人在每次所述训练旅游景观全局语义特征矩阵展开后得到的训练旅游景观全局语义特征向量通过所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器进行解码生成的迭代时,对所述训练旅游景观全局语义特征向量进行优化,表示为:
其中,是所述训练旅游景观全局语义特征向量,和分别是所述训练旅游景
观全局语义特征向量的1范数和2范数的平方,是所述训练旅游景观全局语义特征向量的
长度,且是权重超参数,是以2为底的对数运算。具体地,通过基于所述训练旅游景观全
局语义特征向量的尺度和结构参数来进行其高维特征流形形状的几何注册,可以关注所
述训练旅游景观全局语义特征向量的特征值构成的特征集合中的具有丰富特征语义信
息的特征,也就是,在基于AIGC的旅游景观全景图像生成器进行解码生成时的基于局部上
下文信息表示不相似性的可区分的稳定兴趣特征,从而实现所述训练旅游景观全局语义特
征向量在解码生成中的特征信息显著性标注,提升所述基于AIGC的旅游景观全景图像生
成器的训练速度。这样,能够整合和联合旅游景观的各个局部区域特征来进行旅游景观的
整体特征表示,以此来生成旅游景观的全景图像,通过这样的方式,可以实现低成本、高效
率、高质量和自然拼接的全景图像生成,并实现了对旅游景观的全方位展示,从而能够提供
更加真实、全面和沉浸式的旅游景观展示体验。
如上所述,根据本申请实施例的用于旅游景观展示的全景成像装置300可以实现在各种无线终端中,例如具有用于旅游景观展示的全景成像算法的服务器等。在一种可能的实现方式中,根据本申请实施例的用于旅游景观展示的全景成像装置300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如,该用于旅游景观展示的全景成像装置300可以是该无线终端的操作系统中的一个软件模块,或者可以是针对于该无线终端所开发的一个应用程序;当然,该用于旅游景观展示的全景成像装置300同样可以是该无线终端的众多硬件模块之一。
替换地,在另一示例中,该用于旅游景观展示的全景成像装置300与该无线终端也可以是分立的设备,并且该用于旅游景观展示的全景成像装置300可以通过有线和/或无线网络连接到该无线终端,并且按照约定的数据格式来传输交互信息。
进一步地,还提供一种用于旅游景观展示的全景成像方法。
图5为根据本申请实施例的用于旅游景观展示的全景成像方法的流程图。如图5所示,根据本申请实施例的用于旅游景观展示的全景成像方法,包括步骤:S1,通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵;S2,将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵;S3,将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵;S4,将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像。
综上,根据本申请实施例的用于旅游景观展示的全景成像方法被阐明,其通过在采集到多张局部图像后,在后端引入图像处理和分析算法来进行该多张局部图像的特征分析和捕捉,以此来整合旅游景观的各个局部区域特征,从而得到旅游景观的整体综合特征表示,以此生成旅游景观的全景图像。这样,可以实现低成本、高效率、高质量和自然拼接的全景图像生成,并实现了对旅游景观的全方位展示,从而能够提供更加真实、全面和沉浸式的旅游景观展示体验。
以上已经描述了本公开的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (8)
1.一种用于旅游景观展示的全景成像装置,其特征在于,包括:
可移动支架;
设置于所述可移动支架的全景相机,用于采集被成景对象的多张局部图像;
全景图像合成器,用于接收所述多张局部图像,并对所述多张局部图像进行全景图像合成以得到所述被成景对象的全景图像;
无线数据传输器,用于所述全景图像的数据传输;以及
显示屏,用于接收来自于所述无线数据传输器的全景图像,并显示所述全景图像;
其中,所述全景图像合成器,包括:
旅游景观局部图像特征提取模块,用于通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵;
图像特征强化模块,用于将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵;
旅游景观全局语义表达模块,用于将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵;
全景图像生成模块,用于将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像;
其中,所述图像特征强化模块,用于:使用所述基于重参数化网络的图像特征强化器以如下强化公式对所述多个强化旅游景观局部特征矩阵进行特征表达强化以得到所述多个强化旅游景观局部特征矩阵;
其中,所述强化公式为:其中,/>为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的全局均值,/>为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的方差,/>是对所述多个强化旅游景观局部特征矩阵中各个特征矩阵的高斯分布进行随机采样得到的第/>个值,/>是所述多个强化旅游景观局部特征矩阵中每个特征矩阵中各个位置的特征值。
2.根据权利要求1所述的用于旅游景观展示的全景成像装置,其特征在于,所述被成景对象为旅游景观。
3.根据权利要求2所述的用于旅游景观展示的全景成像装置,其特征在于,所述旅游景观全局语义表达模块,包括:
矩阵构造单元,用于构造所述多个强化旅游景观局部特征矩阵的邻接矩阵和度矩阵;
拉普拉斯矩阵计算单元,用于基于所述邻接矩阵和所述度矩阵,计算拉普拉斯矩阵;
标准化单元,用于对所述拉普拉斯矩阵进行标准化处理以得到标准化后拉普拉斯矩阵;
特征值排列筛选单元,用于将所述标准化后拉普拉斯矩阵的各个特征值从大到小进行排列,并提取前K个特征值计算所述前K个特征值的特征向量;
矩阵重构单元,用于标准化所述前K个特征值的特征向量并将标准化后的前K个特征值的特征向量组成特征向量矩阵以得到所述旅游景观全局语义特征矩阵。
4.根据权利要求3所述的用于旅游景观展示的全景成像装置,其特征在于,所述矩阵构造单元,用于:以如下权重公式计算所述多个强化旅游景观局部特征矩阵中各个强化旅游景观局部特征矩阵之间的关联权重值以得到所述邻接矩阵;
其中,所述权重公式为:其中,/>和/>分别为所述多个强化旅游景观局部特征矩阵中第/>个和第/>个盆底压力信号特征向量,/>为所述第/>个强化旅游景观局部特征矩阵和所述第/>个强化旅游景观局部特征矩阵之间的方差,/>表示二范数的平方,/>为指数运算,/>为所述邻接矩阵中第/>位置的特征值。
5.根据权利要求4所述的用于旅游景观展示的全景成像装置,其特征在于,所述拉普拉斯矩阵计算单元,用于:基于所述邻接矩阵和所述度矩阵,以如下拉普拉斯公式计算所述拉普拉斯矩阵;
其中,所述拉普拉斯公式为:其中,/>为所述邻接矩阵,/>为所述度矩阵,/>为所述拉普拉斯矩阵。
6.根据权利要求5所述的用于旅游景观展示的全景成像装置,其特征在于,所述标准化单元,用于:以如下标准化公式对所述拉普拉斯矩阵进行标准化处理以得到所述标准化后拉普拉斯矩阵;
其中,所述标准化公式为:其中,/>为所述邻接矩阵,为所述度矩阵,/>为单位矩阵,/>为所述标准化后拉普拉斯矩阵。
7.根据权利要求6所述的用于旅游景观展示的全景成像装置,其特征在于,还包括用于对所述基于卷积神经网络模型的图像特征提取器、所述基于重参数化网络的图像特征强化器、所述联合分析网络和所述基于AIGC的旅游景观全景图像生成器进行训练的训练模块;
其中,所述训练模块,包括:
训练数据获取单元,用于获取训练数据,所述训练数据包括被成景对象的多张训练局部图像;
训练局部图像特征提取单元,用于通过基于卷积神经网络模型的图像特征提取器分别对所述多张训练局部图像进行特征提取以得到多个训练旅游景观局部特征矩阵;
训练图像特征强化单元,用于将所述多个训练旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个训练强化旅游景观局部特征矩阵;
训练全局语义表达单元,用于将所述多个训练强化旅游景观局部特征矩阵输入联合分析网络以得到训练旅游景观全局语义特征矩阵;
优化单元,用于对所述训练旅游景观全局语义特征矩阵展开后得到的训练旅游景观全局语义特征向量进行优化以得到优化训练旅游景观全局语义特征向量;
均方误差计算单元,用于将所述优化训练旅游景观全局语义特征向量通过基于AIGC的旅游景观全景图像生成器以得到均方误差值;
训练单元,用于基于所述均方误差值对所述基于卷积神经网络模型的图像特征提取器、所述基于重参数化网络的图像特征强化器、所述联合分析网络和所述基于AIGC的旅游景观全景图像生成器进行训练。
8.一种用于旅游景观展示的全景成像方法,其特征在于,包括:
通过基于卷积神经网络模型的图像特征提取器分别对所述多张局部图像进行特征提取以得到多个旅游景观局部特征矩阵;
将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵;
将所述多个强化旅游景观局部特征矩阵输入联合分析网络以得到旅游景观全局语义特征矩阵;
将所述旅游景观全局语义特征矩阵通过基于AIGC的旅游景观全景图像生成器以得到所述被成景对象的全景图像;
其中,将所述多个旅游景观局部特征矩阵分别输入基于重参数化网络的图像特征强化器以得到多个强化旅游景观局部特征矩阵,包括:使用所述基于重参数化网络的图像特征强化器以如下强化公式对所述多个强化旅游景观局部特征矩阵进行特征表达强化以得到所述多个强化旅游景观局部特征矩阵;
其中,所述强化公式为:其中,/>为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的全局均值,/>为所述多个强化旅游景观局部特征矩阵中各个特征矩阵的方差,/>是对所述多个强化旅游景观局部特征矩阵中各个特征矩阵的高斯分布进行随机采样得到的第/>个值,/>是所述多个强化旅游景观局部特征矩阵中每个特征矩阵中各个位置的特征值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179861.4A CN117726511B (zh) | 2024-02-18 | 2024-02-18 | 用于旅游景观展示的全景成像装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410179861.4A CN117726511B (zh) | 2024-02-18 | 2024-02-18 | 用于旅游景观展示的全景成像装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117726511A CN117726511A (zh) | 2024-03-19 |
CN117726511B true CN117726511B (zh) | 2024-05-03 |
Family
ID=90200232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410179861.4A Active CN117726511B (zh) | 2024-02-18 | 2024-02-18 | 用于旅游景观展示的全景成像装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117726511B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118691428B (zh) * | 2024-08-23 | 2024-12-03 | 陕西天润科技股份有限公司 | 基于物联网的旅游景点数字孪生管理系统及方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004247793A (ja) * | 2003-02-10 | 2004-09-02 | Kanazawa Inst Of Technology | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
CN113436134A (zh) * | 2020-03-23 | 2021-09-24 | 山东智创视景光电科技有限公司 | 一种全景相机的能见度测量方法和应用该方法的全景相机 |
KR20220001969A (ko) * | 2020-06-30 | 2022-01-06 | (주)에이에스티홀딩스 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
CN114820932A (zh) * | 2022-04-25 | 2022-07-29 | 电子科技大学 | 一种基于图神经网络和关系优化的全景三维场景理解方法 |
CN115331074A (zh) * | 2022-07-29 | 2022-11-11 | 浙江未来技术研究院(嘉兴) | 跨尺度全景感知系统和全景图像的跨尺度目标检测方法 |
CN117094895A (zh) * | 2023-09-05 | 2023-11-21 | 杭州一隅千象科技有限公司 | 图像全景拼接方法及其系统 |
-
2024
- 2024-02-18 CN CN202410179861.4A patent/CN117726511B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004247793A (ja) * | 2003-02-10 | 2004-09-02 | Kanazawa Inst Of Technology | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
CN107844750A (zh) * | 2017-10-19 | 2018-03-27 | 华中科技大学 | 一种水面全景图像目标检测识别方法 |
CN113436134A (zh) * | 2020-03-23 | 2021-09-24 | 山东智创视景光电科技有限公司 | 一种全景相机的能见度测量方法和应用该方法的全景相机 |
KR20220001969A (ko) * | 2020-06-30 | 2022-01-06 | (주)에이에스티홀딩스 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
CN114820932A (zh) * | 2022-04-25 | 2022-07-29 | 电子科技大学 | 一种基于图神经网络和关系优化的全景三维场景理解方法 |
CN115331074A (zh) * | 2022-07-29 | 2022-11-11 | 浙江未来技术研究院(嘉兴) | 跨尺度全景感知系统和全景图像的跨尺度目标检测方法 |
CN117094895A (zh) * | 2023-09-05 | 2023-11-21 | 杭州一隅千象科技有限公司 | 图像全景拼接方法及其系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117726511A (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yu et al. | Towards efficient and scale-robust ultra-high-definition image demoiréing | |
CN112927362B (zh) | 地图重建方法及装置、计算机可读介质和电子设备 | |
CN113822977A (zh) | 图像渲染方法、装置、设备以及存储介质 | |
CN112288627B (zh) | 一种面向识别的低分辨率人脸图像超分辨率方法 | |
CN109978754A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111612842B (zh) | 生成位姿估计模型的方法和装置 | |
CN113255813A (zh) | 一种基于特征融合的多风格图像生成方法 | |
WO2022052782A1 (zh) | 图像的处理方法及相关设备 | |
CN115699082A (zh) | 缺陷检测方法及装置、存储介质及电子设备 | |
CN114283351A (zh) | 视频场景分割方法、装置、设备及计算机可读存储介质 | |
CN117726511B (zh) | 用于旅游景观展示的全景成像装置及方法 | |
CN112381707A (zh) | 图像生成方法、装置、设备以及存储介质 | |
CN115205150A (zh) | 图像的去模糊方法、装置、设备、介质及计算机程序产品 | |
CN113327319A (zh) | 一种复杂场景建模方法、装置、服务器及可读存储介质 | |
CN112950640A (zh) | 视频人像分割方法、装置、电子设备及存储介质 | |
CN112200817B (zh) | 基于图像的天空区域分割和特效处理方法、装置及设备 | |
CN112242002B (zh) | 基于深度学习的物体识别和全景漫游方法 | |
CN108765549A (zh) | 一种基于人工智能的产品三维展示方法及装置 | |
CN112069412A (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
CN114445676A (zh) | 一种手势图像处理方法、存储介质及设备 | |
CN117094895B (zh) | 图像全景拼接方法及其系统 | |
CN118568919A (zh) | 自动驾驶仿真场景编辑方法、装置、电子设备及存储介质 | |
WO2023217138A1 (zh) | 一种参数配置方法、装置、设备、存储介质及产品 | |
CN114745516A (zh) | 全景视频的生成方法、装置、存储介质及电子设备 | |
CN114973424A (zh) | 特征提取模型训练、手部动作识别方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |