CN110070490B - 图像拼接方法和装置 - Google Patents

图像拼接方法和装置 Download PDF

Info

Publication number
CN110070490B
CN110070490B CN201910368047.6A CN201910368047A CN110070490B CN 110070490 B CN110070490 B CN 110070490B CN 201910368047 A CN201910368047 A CN 201910368047A CN 110070490 B CN110070490 B CN 110070490B
Authority
CN
China
Prior art keywords
image
point set
feature
feature point
sift
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910368047.6A
Other languages
English (en)
Other versions
CN110070490A (zh
Inventor
宋振坤
孙高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910368047.6A priority Critical patent/CN110070490B/zh
Publication of CN110070490A publication Critical patent/CN110070490A/zh
Application granted granted Critical
Publication of CN110070490B publication Critical patent/CN110070490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Abstract

本发明涉及一种图像拼接方法和装置。所述图像拼接方法，包括：对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合；对基准图像进行字符识别，得到至少一个第一字符区域，对待配准图像进行字符识别，得到至少一个第二字符区域；从第一特征点集合中剔除位于第一字符区域中的特征点，得到第三特征点集合，从第二特征点集合中剔除位于第二字符区域中的特征点，得到第四特征点集合；对第三特征点集合中的特征点与第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；根据模型参数将待配准图像与基准图像配准后进行拼接，得到拼接图像。根据本发明的实施例，可以提高图像拼接的准确度。

Description

图像拼接方法和装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像拼接方法和装置。
背景技术
伴随着图像处理技术的不断发展，图像拼接技术在很多领域中都得到了广泛应用。相关技术中，在图像拼接领域中常用的算法是基于特征点匹配的方法，其中较为经典的方法是sift(Scale-invariant feature transform，尺度不变特征变换)特征提取算法，通过提取待拼接图像中的sift特征点，然后进行特征点匹配，进而得出图像变换模型参数实现图像拼接，该方法在绝大多数应用领域中都能够取得较好的效果。
然而，对于一些特殊的图像拼接应用，如果直接使用sift算法提取特征点进行图像拼接，图像拼接结果并不准确。因此，如何提高基于sift特征点的图像拼接的准确度是需要解决的一个问题。
发明内容
本发明提供一种图像拼接方法和装置，以解决相关技术中的不足。
根据本发明实施例的第一方面，提供一种图像拼接方法，包括：
对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合；
对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域；
从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合；
对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；
根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
在一个实施例中，所述对基准图像进行特征提取，得到第一特征点集合，包括：
提取所述基准图像的尺度不变特征转换SIFT特征，得到第一特征点集合；
所述对待配准图像进行特征提取，得到第二特征点集合，包括：
提取所述待配准图像的SIFT特征，得到第二特征点集合。
在一个实施例中，所述对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数，包括：
提取所述第三特征点集合中每个SIFT特征点的第一SIFT特征描述子；
提取所述第四特征点集合中每个SIFT特征点的第二SIFT特征描述子；
通过匹配所述第三特征点集合中的第一SIFT特征描述子与所述第四特征点集合中的第二SIFT特征描述子，得到特征点对集合；
根据所述特征点对集合中的第一SIFT特征描述子与第二SIFT特征描述子，计算得到图像变换模型的模型参数。
在一个实施例中，所述通过匹配所述第三特征点集合中的第一SIFT特征描述子与所述第四特征点集合中的第二SIFT特征描述子，得到特征点对集合，包括：
计算所述第三特征点集合中每一个第一SIFT特征描述子与所述第四特征点集合中每一个第二SIFT特征描述子之间的欧氏距离；
将欧氏距离小于预设阈值的第一SIFT特征描述子与第二SIFT特征描述子各自对应的SIFT特征点确定为特征点对，得到所述特征点对集合。
在一个实施例中，根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像，包括：
根据所述模型参数对所述待配准图像进行映射处理，得到映射图像；
将所述映射图像与所述基准图像进行拼接，得到所述拼接图像。
在一个实施例中，所述对所述基准图像进行字符识别，得到至少一个第一字符区域，包括：
对所述基准图像进行边缘提取，得到第一边缘图像；
对所述第一边缘图像进行形态学膨胀处理，确定所述第一字符区域；
所述对所述待配准图像进行字符识别，得到至少一个第二字符区域，包括：
对所述待配准图像进行边缘提取，得到第二边缘图像；
对所述第二边缘图像进行形态学膨胀处理，确定所述第二字符区域。
在一个实施例中，所述基准图像与所述待配准图像为地图图像或产品的包装图像。
根据本发明实施例的第二方面，提供一种图像拼接装置，包括：
提取模块，用于对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合；
识别模块，用于对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域；
剔除模块，用于从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合；
匹配模块，用于对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；
拼接模块，用于根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
根据本发明实施例的第三方面，提供一种终端设备，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现上述的方法步骤。
根据本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法步骤。
根据上述实施例可知，通过对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合，并对基准图像进行字符识别，得到至少一个第一字符区域，对待配准图像进行字符识别，得到至少一个第二字符区域，然后，从第一特征点集合中剔除位于第一字符区域中的特征点，得到第三特征点集合，从第二特征点集合中剔除位于第二字符区域中的特征点，得到第四特征点集合，然后，对第三特征点集合中的特征点与第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数，然后，根据模型参数将待配准图像与基准图像配准后进行拼接，得到拼接图像。这样，可以避免图像中的字符区域对图像配准产生干扰，进而可以提高图像拼接的准确度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1是根据本发明实施例示出的一种图像拼接方法的流程图；
图2～图4是根据本发明实施例示出的效果图；
图5是根据本发明实施例示出的另一种图像拼接方法的流程图；
图6是根据本发明实施例示出的效果图；
图7是根据本发明实施例示出的另一种图像拼接方法的流程图；
图8是根据本发明实施例示出的图像拼接的效果图；
图9是根据本发明实施例示出的一种图像拼接装置的框图；
图10是根据本发明实施例示出的终端设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
相关技术中，图像中可能存在一些字符标识并不总是随着图像整体的几何形变而随之变换，例如，通过手机地图App或其他方式获取的平面地图图像中街道或者标志性景物的字符标识并不总是随着地图方向的旋转而旋转，再如，在某些领域中，同一个字符标识可能在待拼接图像的不同位置出现多次(比如药品或者其他产品的外包装上面，不同产品的外包装中可能同时存在生产日期、保质期等字样)，这种情况下，如果直接使用sift算法提取特征点进行图像拼接，字符区域中互相匹配的特征点会对图像变换模型参数计算结果产生干扰，直接影响最终的图像拼接结果。
基于此，本发明实施例提供一种图像拼接方法与装置，解决了上述的技术问题，可以消除图像中字符对图像拼接结果的影响，提高图像拼接的准确度。
图1是根据本发明实施例示出的一种图像拼接方法，该图像拼接方法可以应用于具备图像处理能力的终端设备，该终端设备可以是智能手机、平板电脑、个人计算机或服务器等。该图像拼接方法，如图1所示，可以包括以下步骤101～105：
在步骤101中，对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合。
在一个实施例中，如图2所示，基准图像21与待配准图像22可以为包含同一目标物体的相同部分的两幅图像，该两幅图像可以是图像采集装置以相同角度或者不同角度拍摄到的两幅图像。在对两幅图像进行拼接时，可以将其中一幅图像作为基准图像，将另一幅图像作为待配准图像。
在一个实施例中，在对基准图像进行特征提取时，可以提取基准图像的SIFT(Scale-Invariant Feature Transform，尺度不变特征转换)特征，得到第一特征点集合。在对待配准图像进行特征提取时，可以提取待配准图像的SIFT特征，得到第二特征点集合。其中，第一特征点集合与第二特征点集合分别中包括多个SIFT特征点25。
其中，SIFT特征是图像的局部特征，该特征可对旋转、尺度缩放、亮度变化具有不变性，对视角变化、仿射变换、噪声也可保持一定程度的稳定性；基准图像的SIFT特征的提取方法与待配准图像的SIFT特征的提取方法相同，关于基准图像和待配准图像的SIFT特征提取涉及SIFT算法的具体实现，本发明实施例对此不作赘述。
在一个实施例中，所述基准图像与所述待配准图像可为地图图像。在另一个实施例中，基准图像与所述待配准图像可为产品的包装图像，但不限于此。
在步骤102中，对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域。
在一个实施例中，可以对基准图像21进行字符识别，得到至少一个第一字符区域。其中，字符识别不但可以识别文字，还可以识别数字以及符号。具体地，如图3所示，可以先对所述基准图像21进行边缘提取，得到第一边缘图像31。第一边缘图像31中包含至少一个字符。其中，边缘提取的算法可以是Sobel边缘检测算法、Canny边缘检测算法或Laplacian边缘检测算法，但不限于此。然后，如图2与图4所示，可以对所述第一边缘图像31进行形态学膨胀处理，得到膨胀处理后的图像32，并将膨胀处理后的图像32中字符所占的区域确定为第一字符区域，得到至少一个第一字符区域23。
同样地，可以对所述待配准图像进行字符识别，得到至少一个第二字符区域。具体地，可以先对待配准图像进行边缘提取，得到第二边缘图像，然后，如图2所示，对第二边缘图像进行形态学膨胀处理，确定第二字符区域24。本发明实施例中，确定第二字符区域的方法与确定第一字符区域的方法类似，在此不再赘述。
在步骤103中，从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合。
如图2所示，第一字符区域23中的SIFT特征点25与第二字符区域24中的SIFT特征点25原本不应该匹配，但是，如果不剔除第一字符区域23中的SIFT特征点25与第二字符区域24中的SIFT特征点25，那么在特征点匹配时，会出现第一字符区域23中的SIFT特征点25与第二字符区域24中的SIFT特征点25匹配的结果，影响图像配准与拼接。
因此，在本实施例中，从第一特征点集合中剔除位于第一字符区域中的SIFT特征点，得到第三特征点集合，从第二特征点集合中剔除位于第二字符区域中的SIFT特征点，得到第四特征点集合，以消除图像中字符对图像拼接的影响，提高图像拼接的准确度。
在步骤104中，对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数。
在一个实施例中，如图5所示，步骤104可以包括以下步骤501～503：
在步骤501中，提取所述第三特征点集合中每个SIFT特征点的第一SIFT特征描述子，提取所述第四特征点集合中每个SIFT特征点的第二SIFT特征描述子。
在本实施例中，提取第三特征点集合中每个SIFT特征点的第一SIFT特征描述子的方法与提取第四特征点集合中每个SIFT特征点的第二SIFT特征描述子的方法相似。下面以提取第三特征点集合中每个SIFT特征点的第一SIFT特征描述子为例进行说明。
对于第三特征点集合中每个SIFT特征点，以SIFT特征点为中心，可选取16*16像素大小的窗口，可将该窗口分为4*4个大小相同的子区域，对每个子区域计算8个方向的梯度方向直方图，将4*4个子区域的梯度方向直方图按位置顺序排列，形成一个128维(4*4*8)的SIFT特征向量，该SIFT特征向量即为SIFT特征点对应的第一SIFT特征描述子。当然，提取第一SIFT特征描述子的过程也可以通过其他方法实现，本发明实施例对此不作限定。
在步骤502中，通过匹配所述第三特征点集合中的第一SIFT特征描述子与所述第四特征点集合中的第二SIFT特征描述子，得到特征点对集合。
在本实施例中，可以通过计算第一SIFT特征描述子与第二SIFT特征描述子之间的欧氏距离对第三特征点集合中的SIFT特征点与第四特征点集合中的SIFT特征点进行匹配。具体地，可以计算第三特征点集合中每一个第一SIFT特征描述子与所述第四特征点集合中每一个第二SIFT特征描述子之间的欧氏距离，并将欧氏距离小于预设阈值的第一SIFT特征描述子与第二SIFT特征描述子各自对应的SIFT特征点确定为特征点对，得到所述特征点对集合。也就是说，特征点对中两个特征点的SIFT特征描述子之间的欧氏距离小于预设阈值。需要说明的是，在实际实施时，确定特征点对的方法不限于上述的方法。在本实施例中，匹配的结果可如图6所示。
在步骤503中，根据所述特征点对集合中的第一SIFT特征描述子与第二SIFT特征描述子，计算得到图像变换模型的模型参数。
在本实施例中，可以根据所述特征点对集合中的第一SIFT特征描述子与第二SIFT特征描述子，计算得到图像变换模型的模型参数。其中，图像变换模型一般可包括刚体变换模型、仿射变换模型、透视变换模型以及非线性变换模型几种。在本实施例中，可以根据特征点对集合中的第一SIFT特征描述子与第二SIFT特征描述子，确定图像变换模型是哪一种，以及确定图像变换模型的模型参数。
在一个实施例中，图像变换模型可以是待配准图像与基准图像之间的单应矩阵，该单应矩阵中的矩阵元为图像变换模型的模型参数。其中，获取图像变换模型的方法可以为ICP(Iterative Closest Point，迭代最近点)算法。当然，也可以采用其他算法获取该单应矩阵，本发明实施例对此不作限定。
在步骤105中，根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
在一个实施例中，如图7所示，步骤105可以包括以下步骤601～602：
在步骤701中，根据所述模型参数对所述待配准图像进行映射处理，得到映射图像。
在步骤702中，将所述映射图像与所述基准图像进行拼接，得到所述拼接图像。
在本实施例中，可以根据图像变换模型及其模型参数待配准图像进行映射处理，得到映射图像。为便于理解，下面进行举例说明。例如，上述的图像变换模型(单应矩阵)可以是
那么，可以通过下式得到映射图像：
其中，x、y为待配准图像中像素点的坐标，x’、y’为映射处理后像素点在映射图像中的坐标。可以通过上式对待配准图像中每个像素点进行坐标变换，得到映射图像中对应像素点的坐标，进而得到映射图像。
在本发明实施例中，可以采用图像融合技术拼接映射图像和基准图像，图像融合技术是指将关于同一目标的图像经过一定的图像处理，以拼接成一幅图像。在本实施例中，得到的拼接图像可如图8所示。
本实施例的有益效果是：通过对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合，并对基准图像进行字符识别，得到至少一个第一字符区域，对待配准图像进行字符识别，得到至少一个第二字符区域，然后，从第一特征点集合中剔除位于第一字符区域中的特征点，得到第三特征点集合，从第二特征点集合中剔除位于第二字符区域中的特征点，得到第四特征点集合，然后，对第三特征点集合中的特征点与第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数，然后，根据模型参数将待配准图像与基准图像配准后进行拼接，得到拼接图像。这样，可以避免图像中的字符区域对图像配准产生干扰，进而可以提高图像拼接的准确度。
而且，本实施例中，无需利用复杂的迭代算法来去除误匹配对，降低了图像拼接的计算量，提高了处理速度。
本实施例中的图像拼接方法可以应用于待拼接图像中存在大量字符干扰的图像拼接领域中，例如平面地图图像拼接等领域，能够解决待拼接图像中存在字符标识干扰，或者字符标识并不总是随着图像整体的几何形变而变换的问题，去除了图像中字符标识对于最终图像拼接结果的影响。
本发明的实施例还提出了一种图像拼接装置，如图9所述，该装置包括：
提取模块91，用于对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合；
识别模块92，用于对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域；
剔除模块93，用于从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合；
匹配模块94，用于对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；
拼接模块95，用于根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
本实施例的有益效果是：通过对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合，并对基准图像进行字符识别，得到至少一个第一字符区域，对待配准图像进行字符识别，得到至少一个第二字符区域，然后，从第一特征点集合中剔除位于第一字符区域中的特征点，得到第三特征点集合，从第二特征点集合中剔除位于第二字符区域中的特征点，得到第四特征点集合，然后，对第三特征点集合中的特征点与第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数，然后，根据模型参数将待配准图像与基准图像配准后进行拼接，得到拼接图像。这样，可以避免图像中的字符区域对图像配准产生干扰，进而可以提高图像拼接的准确度。
关于上述实施例中的装置，其中处理器执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种终端设备的框图。例如，终端设备1000可以被提供为一服务器。参照图10，设备1000包括处理组件1022，其进一步包括一个或多个处理器，以及由存储器1032所代表的存储器资源，用于存储可由处理部件1022的执行的指令，例如应用程序。存储器1032中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1022被配置为执行指令，以执行上述用于图像拼接方法。
设备1000还可以包括一个电源组件1026被配置为执行设备1000的电源管理，一个有线或无线网络接口1050被配置为将设备1000连接到网络，和一个输入输出(I/O)接口1058。设备1000可以操作基于存储在存储器1032的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1032，上述指令可由设备1000的处理组件1022执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本发明中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：
对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合，所述基准图像与所述待配准图像为同一目标物体相同部分的两幅图像；
对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域，所述第一特征点集合和所述第二特征点集合分别包括多个SIFT特征点，所述SIFT特征点对旋转、尺度缩放、亮度变化具有不变性；
从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合；
对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；
根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
2.根据权利要求1所述的图像拼接方法，其特征在于，所述对基准图像进行特征提取，得到第一特征点集合，包括：
提取所述基准图像的尺度不变特征转换SIFT特征，得到第一特征点集合；
所述对待配准图像进行特征提取，得到第二特征点集合，包括：
提取所述待配准图像的SIFT特征，得到第二特征点集合。
3.根据权利要求2所述的图像拼接方法，其特征在于，所述对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数，包括：
提取所述第三特征点集合中每个SIFT特征点的第一SIFT特征描述子；
提取所述第四特征点集合中每个SIFT特征点的第二SIFT特征描述子；
通过匹配所述第三特征点集合中的第一SIFT特征描述子与所述第四特征点集合中的第二SIFT特征描述子，得到特征点对集合；
根据所述特征点对集合中的第一SIFT特征描述子与第二SIFT特征描述子，计算得到图像变换模型的模型参数。
4.根据权利要求3所述的图像拼接方法，其特征在于，所述通过匹配所述第三特征点集合中的第一SIFT特征描述子与所述第四特征点集合中的第二SIFT特征描述子，得到特征点对集合，包括：
计算所述第三特征点集合中每一个第一SIFT特征描述子与所述第四特征点集合中每一个第二SIFT特征描述子之间的欧氏距离；
将欧氏距离小于预设阈值的第一SIFT特征描述子与第二SIFT特征描述子各自对应的SIFT特征点确定为特征点对，得到所述特征点对集合。
5.根据权利要求1所述的图像拼接方法，其特征在于，根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像，包括：
根据所述模型参数对所述待配准图像进行映射处理，得到映射图像；
将所述映射图像与所述基准图像进行拼接，得到所述拼接图像。
6.根据权利要求1所述的图像拼接方法，其特征在于，所述对所述基准图像进行字符识别，得到至少一个第一字符区域，包括：
对所述基准图像进行边缘提取，得到第一边缘图像；
对所述第一边缘图像进行形态学膨胀处理，确定所述第一字符区域；
所述对所述待配准图像进行字符识别，得到至少一个第二字符区域，包括：
对所述待配准图像进行边缘提取，得到第二边缘图像；
对所述第二边缘图像进行形态学膨胀处理，确定所述第二字符区域。
7.根据权利要求1所述的图像拼接方法，其特征在于，所述基准图像与所述待配准图像为地图图像或产品的包装图像。
8.一种图像拼接装置，其特征在于，包括：
提取模块，用于对基准图像进行特征提取，得到第一特征点集合，对待配准图像进行特征提取，得到第二特征点集合；
识别模块，用于对所述基准图像进行字符识别，得到至少一个第一字符区域，对所述待配准图像进行字符识别，得到至少一个第二字符区域；
剔除模块，用于从所述第一特征点集合中剔除位于所述第一字符区域中的特征点，得到第三特征点集合，从所述第二特征点集合中剔除位于所述第二字符区域中的特征点，得到第四特征点集合；
匹配模块，用于对所述第三特征点集合中的特征点与所述第四特征点集合中的特征点进行匹配，得到图像变换模型的模型参数；
拼接模块，用于根据所述模型参数将所述待配准图像与所述基准图像配准后进行拼接，得到拼接图像。
9.一种终端设备，其特征在于，包括处理器和存储器；所述存储器，用于存储计算机程序；所述处理器，用于执行所述存储器上所存储的计算机程序，实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201910368047.6A 2019-05-05 2019-05-05 图像拼接方法和装置 Active CN110070490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910368047.6A CN110070490B (zh) 2019-05-05 2019-05-05 图像拼接方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910368047.6A CN110070490B (zh) 2019-05-05 2019-05-05 图像拼接方法和装置

Publications (2)

Publication Number Publication Date
CN110070490A CN110070490A (zh) 2019-07-30
CN110070490B true CN110070490B (zh) 2023-10-03

Family

ID=67370154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910368047.6A Active CN110070490B (zh) 2019-05-05 2019-05-05 图像拼接方法和装置

Country Status (1)

Country Link
CN (1) CN110070490B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862676A (zh) * 2021-01-08 2021-05-28 广州朗国电子科技有限公司 一种图像拼接方法、设备、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN106296570A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 图像处理方法及装置
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备
CN109544447A (zh) * 2018-10-26 2019-03-29 广西师范大学 一种图像拼接方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236675A (zh) * 2010-04-30 2011-11-09 华为技术有限公司 图像特征点匹配对处理、图像检索方法及设备
CN106296570A (zh) * 2016-07-28 2017-01-04 北京小米移动软件有限公司 图像处理方法及装置
CN109544447A (zh) * 2018-10-26 2019-03-29 广西师范大学 一种图像拼接方法、装置及存储介质
CN109509151A (zh) * 2018-11-30 2019-03-22 中国科学院苏州纳米技术与纳米仿生研究所 图像及视频拼接方法、计算机可读存储介质及计算机设备

Also Published As

Publication number Publication date
CN110070490A (zh) 2019-07-30

Similar Documents

Publication Publication Date Title
Li et al. Supervised people counting using an overhead fisheye camera
EP2833288B1 (en) Face calibration method and system, and computer storage medium
US10255507B2 (en) Detection of an object in a distorted image
US9916513B2 (en) Method for processing image and computer-readable non-transitory recording medium storing program
CN108986152B (zh) 一种基于差分图像的异物检测方法及装置
Kalia et al. An analysis of the effect of different image preprocessing techniques on the performance of SURF: Speeded Up Robust Features
TW201804437A (zh) 影像物體特徵描述方法及影像處理裝置
CN112101208A (zh) 高龄老人特征串联融合手势识别方法及装置
CN112396050B (zh) 图像的处理方法、设备以及存储介质
JP5656768B2 (ja) 画像特徴量抽出装置およびそのプログラム
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
CN110070490B (zh) 图像拼接方法和装置
Martinel et al. Robust painting recognition and registration for mobile augmented reality
CN112598714A (zh) 一种基于视频帧单应性变换的静止目标跟踪方法
US9792675B1 (en) Object recognition using morphologically-processed images
CN109325489B (zh) 图像的识别方法及装置、存储介质、电子装置
CN113228105A (zh) 一种图像处理方法、装置和电子设备
EP4089644A1 (en) Image matching system
Jian et al. Saliency detection using quatemionic distance based weber descriptor and object cues
CN113159037B (zh) 图片矫正方法、装置、计算机设备及存储介质
Mentzer et al. Self-calibration of wide baseline stereo camera systems for automotive applications
CN115205113A (zh) 一种图像拼接方法、装置、设备及存储介质
CN114049380A (zh) 目标物体定位追踪方法、装置、计算机设备和存储介质
CN114897999A (zh) 物体位姿识别方法、电子设备、存储介质和程序产品
CN111191580B (zh) 合成渲染方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant