CN109509151B - 图像及视频拼接方法、计算机可读存储介质及计算机设备 - Google Patents

图像及视频拼接方法、计算机可读存储介质及计算机设备 Download PDF

Info

Publication number
CN109509151B
CN109509151B CN201811457046.0A CN201811457046A CN109509151B CN 109509151 B CN109509151 B CN 109509151B CN 201811457046 A CN201811457046 A CN 201811457046A CN 109509151 B CN109509151 B CN 109509151B
Authority
CN
China
Prior art keywords
image
point set
matched
feature
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811457046.0A
Other languages
English (en)
Other versions
CN109509151A (zh
Inventor
李南云
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN201811457046.0A priority Critical patent/CN109509151B/zh
Publication of CN109509151A publication Critical patent/CN109509151A/zh
Application granted granted Critical
Publication of CN109509151B publication Critical patent/CN109509151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像拼接方法，包括：对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对集合中的特征点进行评估；将满足评估条件的第一待匹配特征点集和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；从而对第一图像和第二图像进行拼接。本发明还公开了一种视频拼接方法。本发明也公开了一种计算机设备。本发明也公开了一种计算机可读存储介质。本发明通过对待拼接的图像提取的特征点进行评估，以获得每个特征点的质量情况，根据匹配的需要筛选满足条件的特征点进行特征匹配，根据特征点匹配集对待拼接的第一图像和第二图像进行拼接，使得图像匹配进一步精确化。

Description

图像及视频拼接方法、计算机可读存储介质及计算机设备
技术领域
本发明涉及图像处理技术领域，具体地，涉及一种图像及视频拼接方法、计算机可读存储介质及计算机设备。
背景技术
图像处理和计算机视觉中非常基础和重要的一个步骤就是如何进行特征匹配。特征匹配在图像匹配、图像拼接、3D建模、运行跟踪等各个领域都是奠定后续处理的基石。特征匹配对的匹配准确率和匹配对的数目关系到后续处理的准确率。
基于传统图像算法的特征匹配的方法的特征提取方式主要有SIFT算法(Scale-invariant feature transform，尺度不变特征变换算法)、SURF算法(Speeded Up RobustFeatures，加速稳健特征算法)、ORB(Oriented FAST and Rotated BRIEF)算法、BRISK(Binary ROBUST Invariant Scalable Keypoints，二值鲁棒尺度不变关键点)算法、BRIEF(Binary Robust Independent Elementary Features，)算法、FAST(Features fromAccelerated Segment Test)算法等。其中，SIFT算法和SURF算法的描述符具有尺度不变性和旋转不变性，可以获得较高的匹配准确度，但是计算量较大，效率较低。特征匹配的筛选方式主要是KNN匹配和暴力匹配，然后通过RANSAC筛选出内点集。
在获取特征匹配点时是进行全图搜索，也就是说比例和阈值距离门槛等都是根据全图特征点设置的，没有考虑到局部特征，导致当设置门槛阈值较高时，特征匹配对的匹配正确率会上升，但是匹配对的数量会急剧下降。当阈值降低时，匹配对的匹配正确率会急剧下降。
当我们提升选取特征匹配对的门槛时，特征匹配对的匹配正确率会得到上升，但此时匹配对的数目就会大幅度减少，匹配正确率和匹配对的数目无法同时满足。然而在后续的处理中，往往既需要数量较多的匹配对并且同时要求匹配对具有较高的匹配正确率。
发明内容
为解决上述现有技术存在的问题，本发明提供了一种通过给提取的特征点进行评估，获得符合匹配数量和质量的特征匹配对的图像、视频拼接方法、计算机可读存储介质及计算机设备。
为了达到上述发明目的，本发明采用了如下的技术方案：
根据本发明的一方面，提供了一种图像拼接方法，所述图像拼接方法包括：
对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；
将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；
对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；
根据获得的特征点对匹配集对第一图像和第二图像进行拼接。
进一步地，对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配的方法包括：
获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点；
将第二待匹配特征点集中的对应映射特征点的特征点集合为待精细匹配特征点集；
获取第一待匹配特征点集中的特征点的描述子以及待精细匹配特征点集中的特征点的描述子；
根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点。
进一步地，利用投影变换矩阵将第一待匹配特征点集中的特征点映射到第二待匹配特征点集中，以获得映射特征点。
进一步地，第二待匹配特征点集中的对应映射特征点的特征点与映射特征点的欧氏距离小于或等于预设欧氏距离。
进一步地，根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点的方法包括：
计算出第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离；
将与小于或等于k倍的次小欧氏距离的最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点，其中，0＜k＜1。
进一步地，对图像进行特征点提取以获得特征点集，并对特征点集中的特征点进行评估的方法包括：
将图像转换为灰度图像并提取灰度图像的特征点，以获得待比较特征点集；
将灰度图像的灰度级按预设比例进行多次压缩，以获得灰度级各不相同的多个压缩灰度图像；
提取各个压缩灰度图像的特征点，以获得多个参考特征点集；
确定各个参考特征点集中是否存在待比较特征点集中的特征点，其中，待比较特征点集中的特征点存在于参考特征点集中的集数越多，待比较特征点集中的特征点的评分越高。
进一步地，所述第一待匹配特征点集中的特征点包括：第一特征点集中的评分分数大于或者等于预定分数的特征点；所述第二待匹配特征点集中的特征点包括：第二特征点集中的评分分数大于或者等于预定分数的特征点。
根据本发明的另一方面，还提供了一种视频拼接方法，所述视频拼接方法包括：对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以上述的图像拼接方法进行拼接；其中，m≥1且m为正整数，t≥0，且t为整数。
进一步地，所述视频拼接方法还包括：
当m≥2时，获取第mt+1帧的第一图像与第二图像的特征点对匹配集中的特征点的横坐标的最大值Xmax和最小值Xmin以及纵坐标的最大值Ymax和最小值Ymin；
以坐标点M1(Xmax，Ymax)、坐标点M2(Xmax，Ymin)、坐标点M3(Xmin，Ymax)以及坐标点M4(Xmax，Ymax)为顶点构造重叠区域M；
对第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分以上述的图像拼接方法进行拼接，其中，i顺序取大于等于1且小于等于m-1的正整数。
进一步地，第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分进行图像拼接时采用的投影变换矩阵的获取方法包括：
获取第mt+i帧的第一图像到第mt+1+i帧的第一图像的第一运动轨迹，并获取第mt+i帧的第二图像到第mt+1+i帧的第二图像的第二运动轨迹；
根据第一运行轨迹和第二运行轨迹对第mt+i帧的第一图像的第一待匹配特征点集中的特征点映射到第mt+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵进行变换，以获得第mt+1+i帧的第一图像的位于重叠区域M的部分的第一待匹配特征点集中的特征点映射到第mt+1+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵。
根据本发明的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如上述的图像拼接方法和/或所述视频拼接程序被处理器执行时实现如上述的视频拼接方法。
根据本发明的另一方面，还提供了一种计算机设备，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如上述的图像拼接方法；和/或所述视频拼接程序被处理器执行时实现如上述的视频拼接方法。
本发明的有益效果：本发明通过对待拼接的图像提取的特征点进行评估，以获得每个特征点的质量情况，根据匹配的需要筛选满足条件的特征点进行特征匹配，根据特征点匹配集对待拼接的第一图像和第二图像进行拼接，使得图像匹配进一步精确化。
附图说明
通过结合附图进行的以下描述，本发明的实施例的上述和其它方面、特点和优点将变得更加清楚，附图中：
图1是根据本发明的第一实施例的图像拼接方法的流程图；
图2是根据本发明的第一实施例的图像拼接方法的步骤A100的流程图；
图3是根据本发明的第一实施例的图像拼接方法的步骤A300的流程图；
图4是根据本发明的第二实施例的视频拼接方法的流程图；
图5是根据本发明的第三实施例的视频拼接方法的流程图；
图6是根据本发明的第四实施例的计算机设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明的具体实施方式进行详细说明。这些优选实施方式的示例在附图中进行了例示。附图中所示和根据附图描述的本发明的实施方式仅仅是示例性的，并且本发明并不限于这些实施方式。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了关系不大的其他细节。
实施例一
图1是根据本发明的第一实施例的图像拼接方法的流程图。
参照图1所示，本发明的第一实施例提供了一种图像拼接方法，所述图像拼接方法包括：
A100、对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；
A200、将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；
A300、对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；
A400、根据获得的特征点对匹配集对第一图像和第二图像进行拼接。
上述图像拼接方法中，通过对待拼接的第一图像和第二图像进行特征点提取以分别获得第一特征点集合第二特征点集，对获得的第一特征点集合第二特征点集进行评估，以获得每个特征点的质量情况，根据匹配的需要筛选满足评估条件(包括数量和质量)的特征点进行匹配，获取特征点对匹配集，从而根据特征点匹配集对待拼接的第一图像和第二图像进行拼接，使得图像匹配进一步精确化。
具体地，步骤A100包括如下步骤：
A110、将图像转换为灰度图像并提取灰度图像的特征点，以获得待比较特征点集；
以第一图像为例，将第一图像转换为灰度图像，作为本发明的一种实施方式，将第一图像由RGB三通道彩色图像转换为灰度图像，通常灰度图像有256个灰度级。灰度图像由多个像素点构成。提取灰度图像中的特征点，以获得待比较特征点集，待比较特征点集即第一特征点集，也就是后续需要进行评估的特征点的集合。可以采用现有技术的提取特征点的方法提取灰度图像中的特征点。作为本发明的一种实施方式，采用高斯金字塔提取灰度图像的特征点。具体地，构建灰度图像的高斯金字塔，在所构建的高斯金字塔中的高斯差分图像中，判断灰度图像中每个待评估的像素点的灰度值与其周围相邻的8个像素点和上下相邻空间的18个像素点的灰度值进行比较，如果待评估的像素点的灰度值是其周围相邻的8个像素点和上下相邻空间的18个像素点中的灰度值的极值(灰度值最大或者最小)，则待评估的像素点为我们需要提取的特征点。以此类推，对灰度图像中的每个像素点进行判断，提取灰度图像中的特征点。可以理解的是，本发明并不限制于此，现有技术中用于提取特征点的其它方法也可以用于提取本发明实施例的灰度图像的特征点。
A120、将灰度图像的灰度级按预设比例进行多次压缩，以获得灰度级各不相同的多个压缩灰度图像；
经过步骤A110，第一图像已转换为灰度级为256级的灰度图像。根据本发明的一种实施方式，将灰度图像的灰度级按预设比例进行多次压缩，这里预设比例可设置为0.75，对灰度图像进行4次压缩，分别获得灰度级为192的第一压缩灰度图像、灰度级为144的第二压缩灰度图像、灰度级为108的第三压缩灰度图像以及灰度级为81的第四压缩灰度图像。可以理解的是，本发明并不限制于此，在其它实施方式中，预设比例的设置和压缩次数的选择可以根据实际需求进行设置，本发明对此不作限制。
A130、提取各个压缩灰度图像的特征点，以获得多个参考特征点集；
具体地，参照步骤A110对灰度图像提取特征点的方法，分别提取各个压缩灰度图像的特征点，以获得多个参考特征点集。例如对第一压缩灰度图像的特征点进行提取获得第一参考特征点集；对第二压缩灰度图像的特征点进行提取获得第二参考特征点集；对第三压缩灰度图像的特征点进行提取获得第三参考特征点集；对第四压缩灰度图像的特征点进行提取获得第四参考特征点集。
A140、确定各个参考特征点集中是否存在待比较特征点集中的特征点，其中，待比较特征点集中的特征点存在于参考特征点集中的集数越多，待比较特征点集中的特征点的评分越高。
对灰度图像提取的特征点中，既包括具有尺度不变性和旋转不变性的优秀的特征点，也包括很多因光照影响等因素造成的误差较大的特征点。误差较大的特征点对最终的匹配结果可信度和正确率造成影响，作为本发明的一种实施方式，对提取的特征点进行评分，评分较高的特征点的匹配结果的可信度较高。特征点为图像中特殊的点，理想的特征点不会随着尺度和光照的变换而消失，也就是说当压缩灰度级时，临近的灰度级会合并，但是优秀的特征点任然存在。引入灰度级下降的特征点的评分方式可以在一定程度上解决光照和错误特征点的影响。
作为本发明的一种实施方式，假设待比较特征点集中包括五个特征点，分别为第一特征点、第二特征点、第三特征点、第四特征点及第五特征点。待比较特征点集中的每个特征点的初始评分为1。
依次将每个特征点与各个参考特征点集进行比较，待比较特征点集中的特征点存在于参考特征点集中的集数越多，则待比较特征点集中的特征点的评分越高。下面将特征点的评分的几种可能情况进行说明。
将第一特征点与各个参考特征点集进行比较，假设第一特征点没有出现在任何一个参考特征点集中，则第一特征点的最终评分为1。
将第二特征点与各个参考特征点集进行比较，假设第二特征点仅出现在第一参考特征点集，则第一特征点的最终评分为2，即在初始评分的基础上递增1。
将第三特征点与各个参考特征点集进行比较，假设第三特征点同时出现在第一参考特征点集和第二参考特征点集中，则第三特征点的最终评分为3，即在初始评分的基础上递增2。
将第四特征点与各个参考特征点集进行比较，假设第四特征点同时出现在第一参考特征点集、第二参考特征点集和第三参考特征点集中，则第四特征点的最终评分为4，即在初始评分的基础上递增3。
将第五特征点与各个参考特征点集进行比较，假设第五特征点同时出现在第一参考特征点集、第二参考特征点集、第三参考特征点集和第四参考特征点集中，则第五特征点的最终评分为4，即在初始评分的基础上递增4。
参照上述方法，可以获得第一图像的第一特征点集以及对第一特征点集中的特征点的评估情况，以及获得第二图像的第二特征点集以及对第二特征点集中的特征点的评估情况。
在其它实施方式中，获取第一特征点集和第二特征点集中的特征点的评估情况也可采用比较特征点在每个压缩灰度图像上的关联区域的灰度下降梯度，当灰度下降梯度变换低于一定阈值后认为该特征点不存在于该压缩灰度图像上。
具体地，步骤A200中，可以根据实际需要设置评估条件，例如，将第一特征点集中评分大于预设分数的特征点集合为第一待匹配特征点集；同理，将第二特征点集中评分大于预设分数的特征点集合为第二待匹配特征点集。预设分数的设置可以根据实际的需要，如根据实际需要的精度进行设置，本发明对此不作限制。步骤A200中根据特征点的评估情况，筛选出质量较高的特征点。
步骤A300根据步骤A200获取的质量较高的第一待匹配特征点集和第二待匹配特征点集进行匹配，以获得特征点对匹配集。
现有技术中进行特征匹配时是将每个特征点与待匹配的特征点集中的每个特征点进行匹配计算，从而确认最匹配的特征点。然而现有技术的特征匹配方法计算量较大，并且存在偶然性出现的错误特征点与待匹配特征点的匹配结果最接近，从而导致的错误匹配，对后续的计算产生了很大的影响。
为了避免上述情况，步骤A300将特征点的匹配区域进行锁定，在特征点的匹配区域进行特征匹配，一方面可以减少计算量，另一方面可以避免其它区域偶然出现的错误特征点影响匹配结果。以下将具体说明，具体地，步骤A300包括：
A310、获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点；
根据本发明的一种实施方式，通过构建的投影变换矩阵H可以获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点。作为本发明的一种实施方式，可以采用RANSAC(Random Sample Consensus)算法构建第一待匹配特征点集P和第二待匹配点集P’的投影变换矩阵H。具体地，第一待匹配特征点集中的特征点通过公式：P＝P’*H获得在第二待匹配特征点集中的映射特征点。当然，本发明并不限制于此，还可以采用其它方式构建投影变换矩阵H，这里构建的投影变换矩阵H可以算出第一待匹配特征点集中的特征点在第二待匹配特征点集中的大概位置，为了缩小第一待匹配特征点集中的特征点在第二待匹配特征点集中匹配的区域。
通过步骤A310可以获取第一待匹配特征点集中的每个特征点在第二待匹配特征点集中的大概位置。
A320、将第二待匹配特征点集中的对应映射特征点的特征点集合为待精细匹配特征点集；
具体地，第二待匹配特征点集中的对应映射特征点的特征点与映射特征点的欧氏距离小于或等于预设欧氏距离。即第一待匹配特征点集中的特征点获得在第二待匹配特征点集中的映射特征点之后，将第二待匹配特征点集中与映射特征点的欧氏距离小于或等于预设欧氏距离的特征点集合为待精细匹配特征点集。即锁定了第一待匹配特征点集中的特征点与第二待匹配特征点集中的待精细匹配特征集。这里，第二待匹配特征点集中与映射特征点的欧氏距离小于或等于预设欧氏距离的特征点的数目大于5时才形成待精细匹配特征集，否则，则说明该第一待匹配特征点集中的特征点不存在待精细匹配特征集。
计算第一待匹配特征点集中的特征点的待精细匹配特征点集，第一待匹配特征点集的特征点只需要与其对应的待精细匹配特征点集中的特征点进行特征匹配，可以精确锁定匹配范围，减少非匹配区域的影响，加快匹配速度，并且避免由于误差较大的特征点引起的大误差匹配。
A330、获取第一待匹配特征点集中的特征点的描述子以及待精细匹配特征点集中的特征点的描述子；
A340、根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点。
具体地，步骤A340包括：
计算出第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离。
将与小于或等于k倍的次小欧氏距离的最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点，其中，0＜k＜1。
具体地，将第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离按从小到达排序，筛选出其中的最小欧氏距离与次小欧氏距离。若满足最小欧氏距离小于或等于k倍的次小欧氏距离，则最小欧氏距离对应的待精细匹配特征集中的特征点确定为与对应的第一待匹配特征点集中的特征点匹配的特征点。优选地，k可取值0.8。最小欧氏距离对应的特征点是与第一待匹配特征点集中的特征点最接近的特征点，但是为了进一步确定所筛选的特征点的准确性，判断最小欧氏距离对是否与次小欧氏距离之间相差预设倍数，若是，则最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点。
实施例二
本发明的第二实施例提供了一种视频拼接方法，所述视频拼接方法包括：
对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以上述的图像拼接方法进行拼接；其中，m＝1，t≥0，且t为整数。
下面以具体的实施方式进行阐述，假设第一视频和第二视频共有T帧图像待拼接。
B100、令m＝1，t＝0；在本实施例中，m的值为1。
B200、对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以上述的图像拼接方法进行拼接。
B300、判断mt+1的值是否等于T，即判断当前帧是否为待拼接视频的最后一帧。
B400、若否，则令t的值递增1；重复步骤B200，继续对下一帧图像进行拼接。
B500、若是，则第一视频与第二视频拼接完成。
视频拼接是将待拼接视频的每一帧的图像进行拼接，从而形成新的拼接视频。在本实施例中，将待拼接的第一视频和第二视频的每一帧图像都按照上述的图像拼接方法进行拼接，形成新的拼接视频。
实施例三
本发明的第三实施例提供了一种视频拼接方法，在本实施例中，待拼接的视频以m帧为一个周期进行视频拼接，其中m≥2并且m为正整数。
待拼接的视频的每个周期的第一帧的第一图像和第二图像的拼接按照上述的图像拼接方法进行拼接，具体拼接方法参照上述实施例一所述，此处不再赘述。
然后获取第mt+1帧的第一图像与第二图像的特征点对匹配集中的特征点的横坐标的最大值Xmax和最小值Xmin以及纵坐标的最大值Ymax和最小值Ymin。
以坐标点M1(Xmax，Ymax)、坐标点M2(Xmax，Ymin)、坐标点M3(Xmin，Ymax)以及坐标点M4(Xmax，Ymax)为顶点构造重叠区域M；
对第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分以上述的图像拼接方法进行拼接，其中，i顺序取大于等于1且小于等于m-1的正整数。
视频拼接是将待拼接的两个视频的每一帧图像进行拼接，形成新的拼接完成的视频。如果每一帧图像的全部区域都按照实施例一所述的图像拼接方法进行拼接，计算量会比较大。事实上待拼接的视频中一般相邻帧的信息更新并不大，相邻帧一般仅在特定区域信息有更新。因此本实施例以m帧为一个周期，在每个周期的第一帧的待拼接的图像的全部区域按照第一实施例的方法进行拼接。然后根据计算第一帧的图像中特征点对匹配集中的横坐标和纵坐标的极值，从极值中可以计算出每个周期的第一帧的第一图像和第二图像的重叠区域。计算出重叠区域之后，同一周期的第二帧至第m帧仅在重叠区域进行图像的拼接，大大降低视频匹配的计算时间，减少计算空间的浪费。
更进一步地，由于待拼接的视频的相邻帧的信息更新并不大，因此可以通过相邻帧的图像的运行轨迹近似计算投影变换矩阵，减少匹配过程中的投影变换矩阵的计算量从而减少视频拼接过程中的计算量。具体的实施方式如下：
每个周期的第二帧至第m帧的第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分进行图像拼接时采用的投影变换矩阵的获取方法包括：
获取第mt+i帧的第一图像到第mt+1+i帧的第一图像的第一运动轨迹，并获取第mt+i帧的第二图像到第mt+1+i帧的第二图像的第二运动轨迹；
根据第一运动轨迹和第二运动轨迹对第mt+i帧的第一图像的第一待匹配特征点集中的特征点映射到第mt+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵进行变换，以获得第mt+1+i帧的第一图像的位于重叠区域M的部分的第一待匹配特征点集中的特征点映射到第mt+1+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵。
具体地，第mt+1+i帧的第一图像相对于其上一帧mt+i帧的第一图像的运行轨迹为I1(mt+i～mt+1+i)，第mt+1+i帧的第二图像相对于其上一帧mt+i帧的第二图像的运行轨迹为I2(mt+i～mt+1+i)；第mt+i帧的投影变换矩阵为Hmt+i，第mt+i+1帧的第一图像的第一待匹配特征点集为Pmt+i+1，第mt+i+1帧的第二图像的第二待匹配特征点集为P′mt+i+1，第mt+i帧的第一图像的第一待匹配特征点集为Pmt+i，第mt+i帧的第二图像的第二待匹配特征点集为P′mt+i，已知对应关系：
第mt+1+i帧的第一图像是通过第mt+i帧的第一图像经过运动轨迹I1(mt+i～mt+1+i)变换而来，具体地，Pmt+i+1＝Pmt+i×I1(mt+i～mt+1+i)；
第mt+1+i帧的第二图像是通过第mt+i帧的第二图像经过运动轨迹I2(mt+i～mt+1+i)变换而来，具体地，P′mt+i+1＝P′mt+i×I2(mt+i～mt+1+i)；
又已知第mt+i帧中：P′mt+i＝Hmt+i×Pmt+i；
又由于第mt+i+1帧中：P′mt+i+1＝Hmt+i+1×Pmt+i+1；
由此可以得出第mt+1+i帧中的位于重叠区域M的部分的第一待匹配特征点集中的特征点映射到第mt+1+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵与第mt+i帧的投影变换矩阵和运动轨迹I1(mt+i～mt+1+i)以及运动轨迹I2(mt+i～mt+1+i)之间的关系：
Hmt+i+1＝P′mt+i+1×(Pmt+i+1)-1
.............＝(P′mt+i×I2(mt+i～mt+1+i))×(Pmt+i×I1(mt+i～mt+1+i))-1
.............＝P′mt+i×(Pmt+i)-1×I2(mt+i～mt+1+i))×(I1(mt+i～mt+1+i))-1
.............＝Hmt+i×I2(mt+i～mt+1+i))×(I1(mt+i～mt+1+i))-1
虽然相邻帧之间的信息变化不大，但是每一帧的误差在累积数帧之后会发生误差爆炸。所以每个周期的帧数优选为3～5帧，每个周期的第一帧更新重叠区域，投影变换矩阵也重新计算。但是可以理解的是每个周期的帧数可以根据实际的视频流的速度和实际需要进行设置。
按照上述方法可以简化相邻帧的匹配方式，可以进一步减少视频拼接过程的计算量。大大降低视频匹配的计算时间，减少计算空间的浪费。
下面以具体的实施方式进行阐述，假设第一视频和第二视频共有T帧图像待拼接，设置每3帧为一周期。
C100、令m＝3，t＝0，i＝1；在本实施例中，m的值为3。
C200、对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以实施例一的图像方法进行拼接。
C300、获取第mt+1帧的第一图像与第二图像的特征点对匹配集中的特征点的横坐标的最大值Xmax和最小值Xmin以及纵坐标的最大值Ymax和最小值Ymin；
C400、以坐标点M1(Xmax，Ymax)、坐标点M2(Xmax，Ymin)、坐标点M3(Xmin，Ymax)以及坐标点M4(Xmax，Ymax)为顶点构造重叠区域M；
C500、对第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分以上述的图像拼接方法进行拼接。
C600、判断mt+1+i是否等于T；
若mt+1+i＝T，则结束，
C700、若mt+1+i不等于T，则判断i是否等于m-1；
C800、若i＝m-1，则令t的值递增1；重复步骤C200；
C900、若否，则令i的值递增1，重复步骤C500。
在其它实施方式中，步骤C500中第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分进行图像拼接时采用的投影变换矩阵的获取方法可以参照上述通过获取运动轨迹变换的方法获得。
实施例四
本发明的第四实施例提供了一种计算机设备，所述计算机设备包括存储器10、处理器20及存储在存储器10上并可在处理器20上运行的图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器20执行时实现如上述的图像拼接方法；和/或所述视频拼接程序被处理器20执行时实现如上述的视频拼接方法。
其中，所述存储器10至少包括一种类型的可读存储介质，用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述图像拼接程序和/或所述视频拼接程序的代码等。此外，所述存储器10还可以用于暂时地存储已经输出或者将要输出的各类数据。所述处理器20在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述图像拼接程序和/或视频拼接程序。
实施例五
本发明的第五实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有图像拼接程序和/或视频拼接程序。所述图像拼接程序和/或视频拼接程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的图像拼接方法和/或视频拼接方法的步骤。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (11)

1.一种图像拼接方法，其特征在于，所述图像拼接方法包括：
对第一图像和第二图像进行特征点提取以分别获得第一特征点集和第二特征点集，并对第一特征点集和第二特征点集中的特征点进行评估；
将满足评估条件的第一特征点集中的特征点集合为第一待匹配特征点集，且将满足评估条件的第二特征点集中的特征点集合为第二待匹配特征点集；
对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配，以获得特征点对匹配集；
根据获得的特征点对匹配集对第一图像和第二图像进行拼接；
其中，对图像进行特征点提取以获得特征点集，并对特征点集中的特征点进行评估的方法包括：
将图像转换为灰度图像并提取灰度图像的特征点，以获得待比较特征点集；
将灰度图像的灰度级按预设比例进行多次压缩，以获得灰度级各不相同的多个压缩灰度图像；
提取各个压缩灰度图像的特征点，以获得多个参考特征点集；
确定各个参考特征点集中是否存在待比较特征点集中的特征点，其中，待比较特征点集中的特征点存在于参考特征点集中的集数越多，待比较特征点集中的特征点的评分越高。
2.根据权利要求1所述的图像拼接方法，其特征在于，对第一待匹配特征点集中的特征点和第二待匹配特征点集中的特征点进行匹配的方法包括：
获取第一待匹配特征点集中的特征点映射到第二待匹配特征点集的映射特征点；
将第二待匹配特征点集中的对应映射特征点的特征点集合为待精细匹配特征点集；
获取第一待匹配特征点集中的特征点的描述子以及待精细匹配特征点集中的特征点的描述子；
根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点。
3.根据权利要求2所述的图像拼接方法，其特征在于，利用投影变换矩阵将第一待匹配特征点集中的特征点映射到第二待匹配特征点集中，以获得映射特征点。
4.根据权利要求2所述的图像拼接方法，其特征在于，第二待匹配特征点集中的对应映射特征点的特征点与映射特征点的欧氏距离小于或等于预设欧氏距离。
5.根据权利要求2所述的图像拼接方法，其特征在于，根据所述描述子确定待精细匹配特征点集中的与第一待匹配特征点集中的特征点匹配的特征点的方法包括：
计算出第一待匹配特征点集中的特征点的描述子与待精细匹配特征点集中的特征点的描述子的欧氏距离；
将与小于或等于k倍的次小欧氏距离的最小欧氏距离对应的待精细匹配特征点集中的特征点确定为与第一待匹配特征点集中的特征点匹配的特征点，其中，0＜k＜1。
6.根据权利要求1所述的图像拼接方法，其特征在于，所述第一待匹配特征点集中的特征点包括：第一特征点集中的评分分数大于或者等于预定分数的特征点；所述第二待匹配特征点集中的特征点包括：第二特征点集中的评分分数大于或者等于预定分数的特征点。
7.一种视频拼接方法，其特征在于，所述视频拼接方法包括：对第一视频中的第mt+1帧的第一图像和第二视频中的第mt+1帧的第二图像以权利要求1至6任一项所述的图像拼接方法进行拼接；其中，m≥1且m为正整数，t≥0，且t为整数。
8.根据权利要求7所述的视频拼接方法，其特征在于，所述视频拼接方法还包括：
当m≥2时，获取第mt+1帧的第一图像与第二图像的特征点对匹配集中的特征点的横坐标的最大值Xmax和最小值Xmin以及纵坐标的最大值Ymax和最小值Ymin；
以坐标点M1（Xmax，Ymax）、坐标点M2（Xmax，Ymin）、坐标点M3（Xmin，Ymax）以及坐标点M4（Xmax，Ymax）为顶点构造重叠区域M；
对第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分以权利要求1至6任一项所述的图像拼接方法进行拼接，其中，i顺序取大于等于1且小于等于m-1的正整数。
9.根据权利要求8所述的视频拼接方法，其特征在于，第一视频中的第mt+1+i帧的第一图像的位于重叠区域M的部分和第二视频中的第mt+1+i帧的第二图像的位于重叠区域M的部分进行图像拼接时采用的投影变换矩阵的获取方法包括：
获取第mt+i帧的第一图像到第mt+1+i帧的第一图像的第一运动轨迹，并获取第mt+i帧的第二图像到第mt+1+i帧的第二图像的第二运动轨迹；
根据第一运行轨迹和第二运行轨迹对第mt+i帧的第一图像的第一待匹配特征点集中的特征点映射到第mt+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵进行变换，以获得第mt+1+i帧的第一图像的位于重叠区域M的部分的第一待匹配特征点集中的特征点映射到第mt+1+i帧的第二图像的第二待匹配特征点集中时采用的投影变换矩阵。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如权利要求1至6任一项所述的图像拼接方法和/或所述视频拼接程序被处理器执行时实现如权利要求7至9任一项所述的视频拼接方法。
11.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的图像拼接程序和/或视频拼接程序，所述图像拼接程序被处理器执行时实现如权利要求1至6中任一项所述的图像拼接方法；和/或所述视频拼接程序被处理器执行时实现如权利要求7至9任一项所述的视频拼接方法。
CN201811457046.0A 2018-11-30 2018-11-30 图像及视频拼接方法、计算机可读存储介质及计算机设备 Active CN109509151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811457046.0A CN109509151B (zh) 2018-11-30 2018-11-30 图像及视频拼接方法、计算机可读存储介质及计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811457046.0A CN109509151B (zh) 2018-11-30 2018-11-30 图像及视频拼接方法、计算机可读存储介质及计算机设备

Publications (2)

Publication Number Publication Date
CN109509151A CN109509151A (zh) 2019-03-22
CN109509151B true CN109509151B (zh) 2023-07-21

Family

ID=65749861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811457046.0A Active CN109509151B (zh) 2018-11-30 2018-11-30 图像及视频拼接方法、计算机可读存储介质及计算机设备

Country Status (1)

Country Link
CN (1) CN109509151B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021025B (zh) * 2019-03-29 2021-07-06 上海联影智能医疗科技有限公司 感兴趣区域的匹配和显示方法、装置、设备及存储介质
CN110070490B (zh) * 2019-05-05 2023-10-03 京东方科技集团股份有限公司 图像拼接方法和装置
CN110381265B (zh) * 2019-07-12 2021-08-31 武汉恒新动力科技有限公司 筒状工件内壁图像获取方法、设备及计算机可读存储介质
CN117094965A (zh) * 2023-08-21 2023-11-21 深圳市宝安信息管道管理有限公司 一种基于图像识别算法的镜头画面质量分析方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN105894443A (zh) * 2016-03-31 2016-08-24 河海大学 一种基于改进的surf算法的实时视频拼接方法
CN107426507A (zh) * 2016-05-24 2017-12-01 中国科学院苏州纳米技术与纳米仿生研究所 视频图像拼接装置及其拼接方法
CN108093221A (zh) * 2017-12-27 2018-05-29 南京大学 一种基于缝合线的实时视频拼接方法
CN108737743A (zh) * 2017-04-14 2018-11-02 中国科学院苏州纳米技术与纳米仿生研究所 基于图像拼接的视频拼接装置及视频拼接方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105205781A (zh) * 2015-08-24 2015-12-30 电子科技大学 输电线路航拍图像拼接方法
CN105894443A (zh) * 2016-03-31 2016-08-24 河海大学 一种基于改进的surf算法的实时视频拼接方法
CN107426507A (zh) * 2016-05-24 2017-12-01 中国科学院苏州纳米技术与纳米仿生研究所 视频图像拼接装置及其拼接方法
CN108737743A (zh) * 2017-04-14 2018-11-02 中国科学院苏州纳米技术与纳米仿生研究所 基于图像拼接的视频拼接装置及视频拼接方法
CN108093221A (zh) * 2017-12-27 2018-05-29 南京大学 一种基于缝合线的实时视频拼接方法

Also Published As

Publication number Publication date
CN109509151A (zh) 2019-03-22

Similar Documents

Publication Publication Date Title
CN109509151B (zh) 图像及视频拼接方法、计算机可读存储介质及计算机设备
CN109753940B (zh) 图像处理方法及装置
CN111899334B (zh) 一种基于点线特征的视觉同步定位与地图构建方法及装置
Escalera et al. Blurred shape model for binary and grey-level symbol recognition
US9141871B2 (en) Systems, methods, and software implementing affine-invariant feature detection implementing iterative searching of an affine space
US8805117B2 (en) Methods for improving image search in large-scale databases
US8406535B2 (en) Invariant visual scene and object recognition
KR20140102038A (ko) 영상 정합 장치 및 영상 정합 방법
CN108492298B (zh) 基于生成对抗网络的多光谱图像变化检测方法
US20150347804A1 (en) Method and system for estimating fingerprint pose
CN109409201A (zh) 一种基于共享及特有字典对联合学习的行人再识别方法
Rogers et al. Robust and accurate registration of 2-D electrophoresis gels using point-matching
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN109961103B (zh) 特征提取模型的训练方法、图像特征的提取方法及装置
Satnik et al. A comparison of key-point descriptors for the stereo matching algorithm
CN116311391A (zh) 一种高低精度混合的多维度特征融合指纹检索方法
JP2015007919A (ja) 異なる視点の画像間で高精度な幾何検証を実現するプログラム、装置及び方法
CN114972821A (zh) 一种图像匹配方法、装置及电子设备
CN113221914B (zh) 一种基于杰卡德距离的图像特征点匹配和误匹配剔除方法
Montagner et al. Image operator learning and applications
Sala et al. Contour grouping and abstraction using simple part models
Shi et al. Feature matching using sequential evaluation on sample consensus
Yin et al. Mobile robot loop closure detection using endpoint and line feature visual dictionary
Wu et al. Graph Matching Optimization Network for Point Cloud Registration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant