CN117094895A - 图像全景拼接方法及其系统 - Google Patents

图像全景拼接方法及其系统 Download PDF

Info

Publication number
CN117094895A
CN117094895A CN202311144905.1A CN202311144905A CN117094895A CN 117094895 A CN117094895 A CN 117094895A CN 202311144905 A CN202311144905 A CN 202311144905A CN 117094895 A CN117094895 A CN 117094895A
Authority
CN
China
Prior art keywords
image
feature matrix
partial
stitching
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311144905.1A
Other languages
English (en)
Other versions
CN117094895B (zh
Inventor
常淇奥
秦睿子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yiyuqianxiang Technology Co ltd
Original Assignee
Hangzhou Yiyuqianxiang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yiyuqianxiang Technology Co ltd filed Critical Hangzhou Yiyuqianxiang Technology Co ltd
Priority to CN202311144905.1A priority Critical patent/CN117094895B/zh
Publication of CN117094895A publication Critical patent/CN117094895A/zh
Application granted granted Critical
Publication of CN117094895B publication Critical patent/CN117094895B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像全景拼接方法及其系统。其首先获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像，接着，对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵，然后，基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。这样，可以利用基于深度学习的人工智能技术，从局部图像中学习图像特征，并借此来实现智能化地图像全景拼接。

Description

图像全景拼接方法及其系统
技术领域
本公开涉及图像拼接领域，且更为具体地，涉及一种图像全景拼接方法及其系统。
背景技术
图像全景拼接是一种将多个局部图像拼接成一个完整的全景图像的技术，它可以用于增强图像的视觉效果和信息量。图像全景拼接常用于地理、医学、军事等领域。
现有的图像全景拼接方法存在一些问题，例如，由于各个图像的复杂度不同，需要考虑多种变换模型和优化方法。这样的过程不仅耗时，而且容易受到噪声、遮挡、光照变化等因素的影响，导致拼接效果不理想。
因此，期待一种优化的图像全景拼接方案。
发明内容
有鉴于此，本公开提出了一种图像全景拼接方法及其系统，其可以利用基于深度学习的人工智能技术，从局部图像中学习图像特征，并借此来实现智能化地图像全景拼接。
根据本公开的一方面，提供了一种图像全景拼接方法，其包括：
获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；
对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及
基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。
根据本公开的另一方面，提供了一种图像全景拼接系统，其包括：
局部图像获取模块，用于获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；
图像特征提取模块，用于对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及
全景图像生成模块，用于基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。
根据本公开的实施例，其首先获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像，接着，对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵，然后，基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。这样，可以利用基于深度学习的人工智能技术，从局部图像中学习图像特征，并借此来实现智能化地图像全景拼接。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出根据本公开的实施例的图像全景拼接方法的流程图。
图2示出根据本公开的实施例的图像全景拼接方法的架构示意图。
图3示出根据本公开的实施例的图像全景拼接方法的子步骤S120的流程图。
图4示出根据本公开的实施例的图像全景拼接方法的子步骤S123的流程图。
图5示出根据本公开的实施例的图像全景拼接方法的子步骤S130的流程图。
图6示出根据本公开的实施例的图像全景拼接系统的框图。
图7示出根据本公开的实施例的图像全景拼接方法的应用场景图。
具体实施方式
下面将结合附图对本公开实施例中的技术方案进行清楚、完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例。基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围。
如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
针对上述技术问题，本公开的技术构思为利用基于深度学习的人工智能技术，从局部图像中学习图像特征，并借此来实现智能化地图像全景拼接。
基于此，图1示出根据本公开的实施例的图像全景拼接方法的流程图。图2示出根据本公开的实施例的图像全景拼接方法的架构示意图。如图1和图2所示，根据本公开实施例的图像全景拼接方法，包括步骤：S110，获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；S120，对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及，S130，基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。应可以理解，在步骤S110中，系统会收集待拼接的图像，将全景图像分割成四个局部图像，例如可以是左上、右上、左下和右下四个部分。在步骤S120中，系统会对每个局部图像进行特征提取，图像特征可以是视觉特征，例如颜色、纹理、边缘等，通过提取这些特征，系统可以捕捉到图像之间的关联信息，并将其表示为一个全图像域拼接特征矩阵。在步骤S130中，系统使用全图像域拼接特征矩阵来生成全景图像，通过将图像特征进行匹配和融合，系统可以将四个局部图像拼接成一个无缝的全景图像，以展示整个场景。这些步骤共同组成了图像全景拼接的过程。通过将多个局部图像进行特征提取和匹配，系统可以生成具有广角视角的全景图像，提供更全面的场景信息。
具体地，在本公开的技术方案中，首先，获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像。然后，提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵。
应可以理解，局部图像中的空间邻域特征指的是图像中不同位置的像素或图像块的特征表示。这些特征可以包括颜色、纹理、边缘等信息。提取空间邻域特征有助于捕捉图像中的局部细节和结构，因为不同位置的像素或图像块可能具有不同的视觉特征。
在本公开的一个具体示例中，提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵的编码过程，包括：将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像通过基于卷积神经网络模型的图像编码器以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵。
接着，提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵。这里，关联特征是指不同局部图像之间的相互关系的特征表示。在图像全景拼接中，不同的局部图像之间可能存在空间上的关联关系，例如相邻图像之间的重叠区域或共同的场景元素。提取关联特征可以帮助识别和匹配这些关联关系，从而实现更准确的图像配准和拼接。
在本公开的一个具体示例中，提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵的编码过程，包括：将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵沿着通道维度排列为多通道关联特征图后通过基于卷积神经网络模型的图像间关联特征提取器以得到图像间关联特征矩阵。
进一步地，融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵。也就是，将第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵所蕴含的图像空间邻域特征与图像间关联特征矩阵所蕴含的局部图像之间的图像关联特征融合起来，丰富所述包含关联信息的全图像域拼接特征矩阵的特征表达。
在本公开的一个具体示例中，融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵的编码过程，包括：先将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵进行拼接以得到全图像域拼接特征矩阵；随后，融合所述全图像域拼接特征矩阵和所述图像间关联特征矩阵以得到包含关联信息的全图像域拼接特征矩阵。
相应地，如图3所示，对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵，包括：S121，提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵；S122，提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵；以及，S123，融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵。应可以理解，在这个过程中，对四个局部图像进行图像特征提取，以获取包含关联信息的全图像域拼接特征矩阵。其中，在步骤S121中，对每个局部图像进行特征提取，通常使用计算机视觉技术，如卷积神经网络(CNN)或其他特征提取方法，这些特征提取方法可以捕捉到图像中的局部结构、纹理、颜色等信息，并将其表示为特征矩阵的形式。在步骤S122中，将不同局部特征矩阵之间的关联信息进行提取，这可以通过计算它们之间的相似性、距离或其他相关性度量来实现，关联特征矩阵可以捕捉到不同局部图像之间的相互关系，例如它们之间的相似性或差异性。在步骤S123中，将图像空间邻域特征和关联特征进行融合，以生成最终的全图像域拼接特征矩阵，融合的方法可以是简单的拼接、加权求和、特征级别的融合等，通过融合图像空间邻域特征和关联特征，可以获取到包含了全局和局部关联信息的特征矩阵，这对于后续的图像分析、识别或其他任务可能会更具有意义。
更具体地，在步骤S121中，提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵，包括：将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像通过基于卷积神经网络模型的图像编码器以得到所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵。值得一提的是，卷积神经网络(Convolutional Neural Network，CNN)是一种深度学习模型，特别适用于处理图像和视觉数据。它通过卷积层、池化层和全连接层等组件来自动学习图像中的特征，并在训练过程中优化网络参数以实现高效的特征提取和分类。在提取局部图像的图像空间邻域特征时，可以使用基于卷积神经网络模型的图像编码器。这个编码器模型通常是在大规模图像数据集上预训练得到的，例如ImageNet数据集。通过将局部图像输入到编码器模型中，可以得到对应的局部特征矩阵。卷积神经网络模型的主要作用是通过多层卷积和池化操作来提取图像中的局部特征。这些局部特征可以捕捉到图像的边缘、纹理、形状等信息，从而用于图像分类、目标检测、图像生成等任务。卷积神经网络模型的深度结构和权重参数的优化使得它能够自动学习到更高级别的特征表示，从而提高了图像处理任务的性能。换言之，卷积神经网络模型在图像处理中具有重要的作用，通过图像编码器可以将局部图像转换为对应的特征矩阵，为后续的特征提取和关联分析提供基础。
更具体地，在步骤S122中，提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵，包括：将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵沿着通道维度排列为多通道关联特征图后通过基于卷积神经网络模型的图像间关联特征提取器以得到所述图像间关联特征矩阵。应可以理解，在这一步骤中，将第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵沿着通道维度排列为多通道关联特征图，然后通过基于卷积神经网络模型的图像间关联特征提取器，得到图像间关联特征矩阵。这一步的目的是捕捉不同局部特征矩阵之间的关联信息，通过将它们沿着通道维度排列成多通道关联特征图，可以将不同局部特征之间的关联关系编码为特征图的通道之间的交互。然后，通过基于卷积神经网络模型的图像间关联特征提取器，可以对这些关联特征图进行进一步的处理和提取，这个特征提取器通常包含卷积层、池化层和全连接层等组件，可以学习到不同通道之间的关联模式和高级特征表示。图像间关联特征矩阵可以捕捉到不同局部特征之间的关联关系，例如它们之间的相似性、差异性或其他关联模式。这对于后续的图像分析任务，如目标检测、图像分割、图像生成等，可能会提供更丰富的信息，有助于提高模型的性能和准确性。
更具体地，在步骤S123中，如图4所示，融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵，包括：S1231，将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵进行拼接以得到全图像域拼接特征矩阵；以及，S1232，融合所述全图像域拼接特征矩阵和所述图像间关联特征矩阵以得到所述包含关联信息的全图像域拼接特征矩阵。应可以理解，步骤S1231的目的是将四个局部特征矩阵合并为一个更大的特征矩阵，通过拼接这些特征矩阵，可以保留每个局部特征的信息，并将它们整合到一个更全面的特征表示中，这有助于提供更丰富的图像信息，以支持后续的图像分析任务。步骤S1232的目的是将全图像域拼接特征矩阵与图像间关联特征矩阵进行融合，通过融合这两个特征矩阵，可以将局部特征之间的关联信息与全局特征结合起来，这有助于捕捉到更丰富的图像语义信息和上下文关系，提高图像分析任务的性能。综合来说，S1231步骤将局部特征矩阵进行拼接，以得到全图像域拼接特征矩阵；而S1232步骤将全图像域拼接特征矩阵与图像间关联特征矩阵进行融合，以得到包含关联信息的全图像域拼接特征矩阵。这些步骤的目的是提取并整合丰富的特征信息，为后续的图像分析任务提供更准确和全面的特征表示。
继而，将所述包含关联信息的全图像域拼接特征矩阵通过基于对抗生成网络的全景图像生成器以得到生成全景图像。
相应地，如图5所示，基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像，包括：S131，对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到包含关联信息的优化全图像域拼接特征矩阵；以及，S132，将所述包含关联信息的优化全图像域拼接特征矩阵通过基于对抗生成网络的全景图像生成器以得到所述生成全景图像。应可以理解，步骤S131的目的是通过调整全图像域拼接特征矩阵中的特征分布，进一步优化特征表示，通过特征分布增益，可以增强特征之间的相关性，减小特征之间的冗余性，从而提高特征的表达能力和区分度，这有助于更好地捕捉图像中的关键特征，并提高后续生成全景图像的质量。步骤S132的目的是利用生成模型，例如基于对抗生成网络(GAN)，将优化后的全图像域拼接特征矩阵转化为生成全景图像。通过训练生成器网络，模型可以学习到如何从特征矩阵中逆向生成逼真的全景图像。生成全景图像的过程可以包括将特征矩阵解码为图像、填充缺失的像素、去除伪影等，这样，可以利用特征矩阵中的丰富信息来生成高质量的全景图像。综合来说，S131步骤对包含关联信息的全图像域拼接特征矩阵进行特征分布增益，以得到包含关联信息的优化全图像域拼接特征矩阵；而S132步骤通过基于对抗生成网络的全景图像生成器，将优化后的特征矩阵转化为生成全景图像。这些步骤的目的是优化特征表示并生成逼真的全景图像。
在本公开的技术方案中，所述全图像域拼接特征矩阵和所述图像间关联特征矩阵分别表达待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像的全样本域图像语义特征和局部样本域图像语义关联特征，因此，在进行特征融合时，考虑到特征尺度表示和关联维度的区别，在将源样本域下的图像语义特征作为前景对象特征的情况下，在进行图像语义融合时，也会引入对于源图像语义特征及其样本域间关联语义特征的特征分布造成干涉相关的背景分布噪声，并且，由于所述包含关联信息的全图像域拼接特征矩阵本身就具有跨图像样本域和特征尺度的分级图像语义空间特征表达，由此，期望基于所述包含关联信息的全图像域拼接特征矩阵的分布特性来增强其表达效果。因此，本公开的申请人对所述包含关联信息的全图像域拼接特征矩阵进行基于概率密度特征模仿范式的分布增益。
相应地，在一个具体示例中，对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到包含关联信息的优化全图像域拼接特征矩阵，包括：以如下优化公式对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到所述包含关联信息的优化全图像域拼接特征矩阵；其中，所述优化公式为：
其中，M是所述包含关联信息的全图像域拼接特征矩阵，N是所述包含关联信息的全图像域拼接特征矩阵的尺度，即宽度乘以高度，mi,j是所述包含关联信息的全图像域拼接特征矩阵的第(i,j)位置的特征值，表示所述包含关联信息的全图像域拼接特征矩阵的F范数的平方，且α是加权超参数，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，m′i,j是所述包含关联信息的优化全图像域拼接特征矩阵的第(i,j)位置的特征值。
这里，基于标准柯西分布对于自然高斯分布在概率密度上的特征模仿范式，所述基于概率密度特征模仿范式的分布增益可以将特征尺度作为模仿掩码，在高维特征空间内区分前景对象特征和背景分布噪声，从而基于高维特征的图像语义空间分级关联来对高维空间进行特征空间映射的关联语义认知的分布软匹配，来获得高维特征分布的无约束的分布增益，提升所述包含关联信息的全图像域拼接特征矩阵基于特征分布特性的表达效果，也就提升了所述包含关联信息的全图像域拼接特征矩阵通过基于对抗生成网络的全景图像生成器得到的生成全景图像的图像质量。
进一步地，值得一提的是，对抗生成网络(Generative Adversarial Networks，简称GAN)是一种机器学习模型，由生成器(Generator)和判别器(Discriminator)组成。对抗生成网络的目标是通过让生成器和判别器相互对抗的方式，从随机噪声中生成逼真的样本。生成器的作用是将随机噪声作为输入，生成与训练数据相似的样本。生成器通过学习数据分布的特征，逐渐提高生成样本的质量。判别器的作用是对生成器生成的样本和真实训练样本进行区分。判别器通过学习区分真实样本和生成样本的能力，逐渐提高对样本真实性的判断。对抗生成网络的训练过程是一个零和博弈的过程。生成器和判别器相互竞争、相互学习，通过反复迭代的训练，最终达到一个平衡点。在训练过程中，生成器通过生成逼真的样本来欺骗判别器，而判别器通过辨别真实样本和生成样本来提高自己的判别能力。对抗生成网络在图像生成、图像修复、图像转换等任务中具有广泛的应用。它能够生成逼真的图像样本，具有多样性和创造性，可以用于生成艺术作品、虚拟场景、人脸图像等。同时，对抗生成网络还可以用于数据增强、样本合成、图像编辑等任务，为计算机视觉领域提供了强大的工具。
综上，基于本公开实施例的图像全景拼接方法，其可以利用基于深度学习的人工智能技术，从局部图像中学习图像特征，并借此来实现智能化地图像全景拼接。
图6示出根据本公开的实施例的图像全景拼接系统100的框图。如图6所示，根据本公开实施例的图像全景拼接系统100，包括：局部图像获取模块110，用于获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；图像特征提取模块120，用于对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及，全景图像生成模块130，用于基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。
在一种可能的实现方式中，所述图像特征提取模块120，包括：矩阵提取单元，用于提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵；关联特征提取单元，用于提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵；以及，特征融合单元，用于融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵。
在一种可能的实现方式中，所述矩阵提取单元，用于：将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像通过基于卷积神经网络模型的图像编码器以得到所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵。
这里，本领域技术人员可以理解，上述图像全景拼接系统100中的各个单元和模块的具体功能和操作已经在上面参考图1到图5的图像全景拼接方法的描述中得到了详细介绍，并因此，将省略其重复描述。
如上所述，根据本公开实施例的图像全景拼接系统100可以实现在各种无线终端中，例如具有图像全景拼接算法的服务器等。在一种可能的实现方式中，根据本公开实施例的图像全景拼接系统100可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该图像全景拼接系统100可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该图像全景拼接系统100同样可以是该无线终端的众多硬件模块之一。
替换地，在另一示例中，该图像全景拼接系统100与该无线终端也可以是分立的设备，并且该图像全景拼接系统100可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。
图7示出根据本公开的实施例的图像全景拼接方法的应用场景图。如图7所示，在该应用场景中，首先，获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像(例如，图7中所示意的D)，然后，将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像输入至部署有图像全景拼接算法的服务器中(例如，图7中所示意的S)，其中，所述服务器能够使用所述图像全景拼接算法对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行处理以得到生成全景图像。
更具体地，本公开的实施例还提供一种图像全景拼接方法，该方法包括以下步骤：
(1)对输入的多幅图像进行特征提取，得到每幅图像的特征点和特征描述符；(2)对每两幅相邻图像进行特征匹配，得到匹配点对；(3)根据匹配点对计算每两幅相邻图像之间的单应性矩阵，用于表示图像之间的几何变换关系；(4)根据单应性矩阵构建全景图像的投影模型，将多幅图像映射到同一平面上；(5)对映射后的图像进行融合处理，消除拼接缝和色彩差异，得到最终的全景图像。本公开的技术方案能够有效地实现多幅图像的全景拼接，提高拼接效果和效率。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种图像全景拼接方法，其特征在于，包括：
获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；
对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及
基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。
2.根据权利要求1所述的图像全景拼接方法，其特征在于，对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵，包括：
提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵；
提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵；以及
融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵。
3.根据权利要求2所述的图像全景拼接方法，其特征在于，提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵，包括：
将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像通过基于卷积神经网络模型的图像编码器以得到所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵。
4.根据权利要求3所述的图像全景拼接方法，其特征在于，提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵，包括：
将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵沿着通道维度排列为多通道关联特征图后通过基于卷积神经网络模型的图像间关联特征提取器以得到所述图像间关联特征矩阵。
5.根据权利要求4所述的图像全景拼接方法，其特征在于，融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵，包括：
将所述第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵进行拼接以得到全图像域拼接特征矩阵；以及
融合所述全图像域拼接特征矩阵和所述图像间关联特征矩阵以得到所述包含关联信息的全图像域拼接特征矩阵。
6.根据权利要求5所述的图像全景拼接方法，其特征在于，基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像，包括：
对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到包含关联信息的优化全图像域拼接特征矩阵；以及
将所述包含关联信息的优化全图像域拼接特征矩阵通过基于对抗生成网络的全景图像生成器以得到所述生成全景图像。
7.根据权利要求6所述的图像全景拼接方法，其特征在于，对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到包含关联信息的优化全图像域拼接特征矩阵，包括：
以如下优化公式对所述包含关联信息的全图像域拼接特征矩阵进行特征分布增益以得到所述包含关联信息的优化全图像域拼接特征矩阵；
其中，所述优化公式为：
其中，M是所述包含关联信息的全图像域拼接特征矩阵，N是所述包含关联信息的全图像域拼接特征矩阵的尺度，mi,j是所述包含关联信息的全图像域拼接特征矩阵的第(i,j)位置的特征值，表示所述包含关联信息的全图像域拼接特征矩阵的F范数的平方，且α是加权超参数，exp(·)表示数值的指数运算，所述数值的指数运算表示计算以所述数值为幂的自然指数函数值，m′i,j是所述包含关联信息的优化全图像域拼接特征矩阵的第(i,j)位置的特征值。
8.一种图像全景拼接系统，其特征在于，包括：
局部图像获取模块，用于获取待拼接的第一局部图像、第二局部图像、第三局部图像和第四局部图像；
图像特征提取模块，用于对所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像进行图像特征提取以得到包含关联信息的全图像域拼接特征矩阵；以及
全景图像生成模块，用于基于所述包含关联信息的全图像域拼接特征矩阵，得到生成全景图像。
9.根据权利要求8所述的图像全景拼接系统，其特征在于，所述图像特征提取模块，包括：
矩阵提取单元，用于提取所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像的图像空间邻域特征以得到第一局部特征矩阵、第二局部特征矩阵、第三局部特征矩阵和第四局部特征矩阵；
关联特征提取单元，用于提取所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵的关联特征以得到图像间关联特征矩阵；以及
特征融合单元，用于融合所述图像空间邻域特征与所述关联特征以得到所述包含关联信息的全图像域拼接特征矩阵。
10.根据权利要求9所述的图像全景拼接系统，其特征在于，所述矩阵提取单元，用于：
将所述第一局部图像、所述第二局部图像、所述第三局部图像和所述第四局部图像通过基于卷积神经网络模型的图像编码器以得到所述第一局部特征矩阵、所述第二局部特征矩阵、所述第三局部特征矩阵和所述第四局部特征矩阵。
CN202311144905.1A 2023-09-05 2023-09-05 图像全景拼接方法及其系统 Active CN117094895B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311144905.1A CN117094895B (zh) 2023-09-05 2023-09-05 图像全景拼接方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311144905.1A CN117094895B (zh) 2023-09-05 2023-09-05 图像全景拼接方法及其系统

Publications (2)

Publication Number Publication Date
CN117094895A true CN117094895A (zh) 2023-11-21
CN117094895B CN117094895B (zh) 2024-03-26

Family

ID=88777222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311144905.1A Active CN117094895B (zh) 2023-09-05 2023-09-05 图像全景拼接方法及其系统

Country Status (1)

Country Link
CN (1) CN117094895B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726511A (zh) * 2024-02-18 2024-03-19 科睿特软件集团股份有限公司 用于旅游景观展示的全景成像装置及方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
WO2021184302A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置、成像设备、可移动载体及存储介质
CN113538702A (zh) * 2021-06-30 2021-10-22 大连海事大学 一种海洋养殖区水下场景全景图生成方法
CN115205543A (zh) * 2022-07-19 2022-10-18 宁波西卡曼厨具有限公司 不锈钢橱柜的智能制造方法及其系统
US20220343460A1 (en) * 2019-12-31 2022-10-27 Chison Medical Technologies Co., Ltd. Panoramic Stitching Method, Apparatus, and Storage Medium
CN115330655A (zh) * 2022-08-31 2022-11-11 浙江未来技术研究院(嘉兴) 一种基于自注意力机制的图像融合方法及系统
WO2022242127A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN115578256A (zh) * 2022-09-23 2023-01-06 华南师范大学 一种无人机航拍绝缘子红外视频全景拼接方法及系统
CN115619666A (zh) * 2022-10-11 2023-01-17 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN115775252A (zh) * 2022-09-19 2023-03-10 华东师范大学 一种基于全局局部级联的磁共振影像宫颈癌肿瘤分割方法
US20230118864A1 (en) * 2021-10-15 2023-04-20 Kabushiki Kaisha Toshiba Lifted semantic graph embedding for omnidirectional place recognition
CN116485645A (zh) * 2023-04-13 2023-07-25 北京百度网讯科技有限公司 图像拼接方法、装置、设备及存储介质
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法
CN116611994A (zh) * 2022-11-23 2023-08-18 帝尔激光科技(无锡)有限公司 图像拼接方法、装置、玻璃通孔图像定位方法及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110111250A (zh) * 2019-04-11 2019-08-09 中国地质大学（武汉） 一种鲁棒的自动全景无人机图像拼接方法及装置
US20220343460A1 (en) * 2019-12-31 2022-10-27 Chison Medical Technologies Co., Ltd. Panoramic Stitching Method, Apparatus, and Storage Medium
WO2021184302A1 (zh) * 2020-03-19 2021-09-23 深圳市大疆创新科技有限公司 图像处理方法、装置、成像设备、可移动载体及存储介质
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
WO2022242127A1 (zh) * 2021-05-21 2022-11-24 中国科学院深圳先进技术研究院 图像特征提取方法、装置、电子设备及存储介质
CN113538702A (zh) * 2021-06-30 2021-10-22 大连海事大学 一种海洋养殖区水下场景全景图生成方法
US20230118864A1 (en) * 2021-10-15 2023-04-20 Kabushiki Kaisha Toshiba Lifted semantic graph embedding for omnidirectional place recognition
CN115205543A (zh) * 2022-07-19 2022-10-18 宁波西卡曼厨具有限公司 不锈钢橱柜的智能制造方法及其系统
CN115330655A (zh) * 2022-08-31 2022-11-11 浙江未来技术研究院(嘉兴) 一种基于自注意力机制的图像融合方法及系统
CN115775252A (zh) * 2022-09-19 2023-03-10 华东师范大学 一种基于全局局部级联的磁共振影像宫颈癌肿瘤分割方法
CN115578256A (zh) * 2022-09-23 2023-01-06 华南师范大学 一种无人机航拍绝缘子红外视频全景拼接方法及系统
CN115619666A (zh) * 2022-10-11 2023-01-17 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、存储介质与电子设备
CN116611994A (zh) * 2022-11-23 2023-08-18 帝尔激光科技(无锡)有限公司 图像拼接方法、装置、玻璃通孔图像定位方法及设备
CN116485645A (zh) * 2023-04-13 2023-07-25 北京百度网讯科技有限公司 图像拼接方法、装置、设备及存储介质
CN116563302A (zh) * 2023-05-30 2023-08-08 杭州医锐联科技有限公司 智慧医疗信息管理系统及其方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
付厚超, 陈宗海: "基于垂直边缘处理的全景图像的拼接", 计算机工程, no. 04, 5 April 2004 (2004-04-05), pages 136 - 138 *
刘鹏飞;赵怀慈;李培玄;: "对抗网络实现单幅RGB重建高光谱图像", 红外与激光工程, no. 1, 25 July 2020 (2020-07-25), pages 1 - 8 *
王玉源;徐杰;吉卫喜;彭威;杜猛;: "从特征识别到局部拼接的零件轴承孔在线检测", 食品与机械, no. 02, 28 December 2018 (2018-12-28), pages 117 - 122 *
赵炫;王生进;丁晓青;: "基于概率图模型技术的柱面全景图生成算法", 清华大学学报(自然科学版), no. 07, 25 July 2006 (2006-07-25), pages 1263 - 1266 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117726511A (zh) * 2024-02-18 2024-03-19 科睿特软件集团股份有限公司 用于旅游景观展示的全景成像装置及方法
CN117726511B (zh) * 2024-02-18 2024-05-03 科睿特软件集团股份有限公司 用于旅游景观展示的全景成像装置及方法

Also Published As

Publication number Publication date
CN117094895B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN110458939B (zh) 基于视角生成的室内场景建模方法
CN111292264B (zh) 一种基于深度学习的图像高动态范围重建方法
CN110599395B (zh) 目标图像生成方法、装置、服务器及存储介质
CN115205949B (zh) 图像生成方法以及相关设备
Doulamis et al. Transforming Intangible Folkloric Performing Arts into Tangible Choreographic Digital Objects: The Terpsichore Approach.
CN110689599A (zh) 基于非局部增强的生成对抗网络的3d视觉显著性预测方法
WO2011112368A2 (en) Robust object recognition by dynamic modeling in augmented reality
CN117094895B (zh) 图像全景拼接方法及其系统
CN113505768A (zh) 模型训练、人脸识别方法、电子设备及存储介质
CN115018979A (zh) 图像重建方法、装置、电子设备、存储介质和程序产品
CN112906675B (zh) 一种固定场景中的无监督人体关键点检测方法及系统
CN114283152A (zh) 图像处理、图像处理模型的训练方法、装置、设备及介质
CN112802048A (zh) 具有不对称结构的图层生成对抗网络生成方法及装置
CN112232221A (zh) 用于人物图像处理的方法、系统和程序载体
Xiong et al. SPEAL: Skeletal Prior Embedded Attention Learning for Cross-Source Point Cloud Registration
CN114764880A (zh) 多成分gan重建的遥感图像场景分类方法
Xue et al. INIT: Inpainting network for incomplete text
Lee et al. Boundary-aware camouflaged object detection via deformable point sampling
Schuegraf et al. Roof3D: A real and synthetic data collection for individual building roof plane and building sections detection
CN117726511B (zh) 用于旅游景观展示的全景成像装置及方法
CN112613495B (zh) 真人视频生成方法、装置、可读存储介质及设备
CN115294488B (zh) 一种ar快速实物匹配显示方法
CN117315152B (zh) 双目立体成像方法及其系统
CN117474806B (zh) 一种基于全局结构编码的全景图像修复方法
CN111582067B (zh) 人脸表情识别方法、系统、存储介质、计算机程序、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant