CN117541764A - 一种图像拼接方法、电子设备及存储介质 - Google Patents

Abstract

本发明提供了一种图像拼接方法、电子设备及存储介质，涉及图像处理领域，所述方法包括如下步骤：获取待拼接视频列表，基于待拼接视频列表和目标神经网络模型，获取待拼接视频对应的第一图像和第二图像，获取第一图像对应的第一特征点列表集和第二图像对应的第二特征点列表集，基于第一特征点列表集和第二特征点列表集进行拼接，获取目标视频，从而完成图像的拼接，提高拼接过程中的准确性和速度。

Description

一种图像拼接方法、电子设备及存储介质

技术领域

本发明涉及图像处理领域，特别是涉及一种图像拼接方法、电子设备及存储介质。

背景技术

图像拼接的基本技术包括图像匹配和图像融合等。图像匹配指的是处理在视频或场景中找到的图像之间的相似特征，并将其视为相同的结果。图像融合指的是从多幅图像中收集所有相关信息，以创建一幅描述所有相关图像的图像，该过程包括图像配准、重投影、拼接和混合。传统拼接算法包括AutoStitch算法、双单应性变换（DHW）算法等，图像配准算法包括尺度不变特征变换算法（SIFT）、加速鲁棒特征算法（SURF）等；不同算法各有优势和劣势，如何提高图像匹配的准确性和速度非常重要。

发明内容

针对上述技术问题，本发明采用的技术方案为：一种图像拼接方法，所述方法包括如下步骤：

S100，获取待拼接视频列表A={A₁，A₂，…，A_i，…，A_m}，A_i是第i个待拼接视频，i的取值范围是1到m，m是待拼接视频的数量。

S200，基于待拼接视频列表A和目标神经网络模型，获取A_i对应的第一图像B_i和第二图像C_i。

其中，所述第一图像B_i和第二图像C_i+1的相似度大于预设相似度阈值，且第一图像B_i是A_i和A_i+1进行拼接时的视频帧，第二图像C_i是A_i和A_i-1进行拼接时的视频帧。

S300，获取B_i对应的第一特征点列表集和C_i对应的第二特征点列表集，所述第一特征点列表集是第一图像B_i包含的特征点的列表集，所述第二特征点列表集是第二图像C_i包含的特征点的列表集。

S400，基于C_i对应的第二特征点列表集和B_i-1对应的第一特征点列表集，将C_i和B_i-1进行拼接，从而获取目标视频。

根据本发明的另一个方面，提供了一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现前述的方法。

根据本发明的又一个方面，提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

本发明至少具有以下有益效果：综上，获取待拼接视频列表，基于待拼接视频列表和目标神经网络模型，获取待拼接视频对应的第一图像和第二图像，获取第一图像对应的第一特征点列表集和第二图像对应的第二特征点列表集，基于第一特征点列表集和第二特征点列表集进行拼接，获取目标视频，从而完成图像的拼接，通过目标神经网络、第一特征点列表集和第二特征点列表集，提高拼接过程中的准确性和速度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图进行简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像拼接方法的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种图像拼接方法，如图1所示，所述方法包括如下步骤：

S100，获取待拼接视频列表A={A₁，A₂，…，A_i，…，A_m}，A_i是第i个待拼接视频，i的取值范围是1到m，m是待拼接视频的数量。可以理解为，所述待拼接视频为等待拼接成完整视频的视频，例如，在视频剪辑中，将多个待拼接视频拼接成完整视频。

S200，基于待拼接视频列表A和目标神经网络模型，获取A_i对应的第一图像B_i和第二图像C_i。

其中，所述第一图像B_i和第二图像C_i+1的相似度大于预设相似度阈值，且第一图像B_i是A_i和A_i+1进行拼接时的视频帧，第二图像C_i是A_i和A_i-1进行拼接时的视频帧。

当i=1时，第二图像C₁为预设图像；当i=m时，第一图像B_m为预设图像，在本发明一个实施例中，所述预设图像为像素值为255的图像，在本发明另一个实施例中，所述预设图像为像素值为0的图像。

具体的，使用目标神经网络模型对待拼接视频A_i-1、A_i、A_i+1进行识别，获取A_i对应的第一图像B_i和第二图像C_i。所述目标神经网络模型用于判断图像的相似程度。

S300，获取B_i对应的第一特征点列表集和C_i对应的第二特征点列表集，所述第一特征点列表集是第一图像B_i包含的特征点的列表集，所述第二特征点列表集是第二图像C_i包含的特征点的列表集。

S400，基于C_i对应的第二特征点列表集和B_i-1对应的第一特征点列表集，将C_i和B_i-1进行拼接，从而获取目标视频。

综上，获取待拼接视频列表，基于待拼接视频列表和目标神经网络模型，获取待拼接视频对应的第一图像和第二图像，获取第一图像对应的第一特征点列表集和第二图像对应的第二特征点列表集，基于第一特征点列表集和第二特征点列表集进行拼接，获取目标视频，从而完成了图像的拼接，通过目标神经网络、第一特征点列表集和第二特征点列表集，提高拼接过程中的准确性和速度。

具体的，基于C_i对应的第二特征点列表集和B_i-1对应的第一特征点列表集，使用SURF模型将C_i和B_i-1进行对齐拼接，从而获取目标视频。本领域技术人员知晓，使用SURF模型进行拼接的具体步骤均属于本发明保护范围，此处不再赘述。

进一步的，本发明还包括：基于C_i对应的第二特征点列表集、B_i-1对应的第一特征点列表集和预设缝合形状，使用预设缝合线模型将C_i和B_i-1进行拼接，获取目标视频。

更进一步的，当预设缝合形状覆盖的特征点对应的像素点的数量＞预设数量阈值，基于预设缝合线模型将C_i和B_i-1进行拼接，获取目标视频；否则，基于SURF模型获取目标视频。例如，当预设缝合形状为扇形时，基于扇形进行拼接，获取目标视频。可以理解为，当预设缝合形状覆盖的特征点对应的像素点的数量较少时，为避免损失第一图像和第二图像上的特征，使用SURF模型进行拼接，若预设缝合形状覆盖的特征点对应的像素点的数量较多时，使用预设缝合模型进行拼接。

具体的，本发明还包括通过如下步骤获取B_i对应的第一特征点列表集：

S310，获取预设特征点提取算法列表D={D₁，D₂，…，D_j，…，D_n}，D_j是第j个预设特征点提取算法，j的取值范围是1到n，n是预设特征点提取算法的数量。

S320，对第一图像B_i，使用D_j进行特征点提取，获取提取的关键特征点的归一距离EC_ij和特征点的归一数量F_ij，其中，所述归一距离EC_ij是经过归一化的关键特征点距离的均值，所述归一数量F_ij是经过归一化的关键特征点的数量，所述关键特征点是使用D_j进行特征点提取获取的特征点。

具体的，0≤EC_ij≤1；0≤F_ij≤1。

S330，获取目标特征值G₀=min{G_i1，G_i2，…，G_ij，…，G_in}，将G₀对应的预设特征点提取算法作为目标特征点提取算法，其中，特征值G_ij=1/2×EC_ij+1/2×（1/F_ij）。具体的，基于关键特征点的之间距离和数量两个维度确定出特征值，从而获取到最小的特征值作为目标特征值，可以理解为最小的特征值对应的预设特征点提取算法提取的关键特征点紧密且数量少。

S340，将目标特征点提取算法对第一图像B_i提取的特征点的列表集作为B_i对应的第一特征点列表集。

具体的，本发明还包括：对第二图像C_i，使用目标特征点提取算法进行提取，获取C_i对应的第二特征点列表集。

综上，获取预设特征点提取算法列表，对第一图像B_i，使用D_j进行特征点提取，获取提取的关键特征点的归一距离和特征点的归一数量，获取目标特征值，将目标特征值对应的预设特征点提取算法作为目标特征点提取算法，将目标特征点提取算法对第一图像B_i提取的特征点的列表集作为B_i对应的第一特征点列表集。基于关键特征点的距离和数量两个维度，确定目标特征点提取算法，从而确定第一特征点列表集。

具体的，S320包括：

S321，对第一图像B_i，使用D_j进行特征点提取，获取关键特征点列表集H_ij={H_ij1，H_ij2，…,H_ijr,…，H_ijs}，H_ijr是第一图像B_i使用D_j进行特征点提取的第r个关键特征点列表，r的取值范围是1到s，s是关键特征点列表的数量。

H_ijr={H_ijr，1，H_ijr，2，…，H_ijr，g，…，H_{ijr，z（r）}}，H_ijr，g是关键特征点列表H_ijr中第g个特征点，g的取值范围是1到z（r），z（r）是关键特征点的数量。

S322，获取H_ijr，g和H_ijr，g+1的关键距离J_ijr，g，从而获取H_ijr对应的关键距离列表J_ijr={J_ijr，1，J_ijr，2，…，J_ijr，g，…，J_{ijr，z（r）-1}}。具体的，本领域技术人员知晓，现有技术中任何一种获取两个关键特征点的距离的方法均属于本发明保护范围，此处不再赘述。

S323，获取第一平均距离ED_ij=1/（z（r）-1）×（1/s）×∑^s _r=1∑^z（r）-1 _g=1J_ijr，g，将ED_ij进行归一化处理获取第一归一距离EC_ij。

S324，获取关键数量EF_ij=∑^s _r=1z（r），将EF_ij进行归一化处理获取归一数量F_ij。

基于S321-S324，对第一图像，使用预设特征点提取算法进行特征点提取，获取关键特征点列表集，获取相邻两个关键特征点的关键距离，从而获取关键距离列表，从而获取第一归一距离和第一归一数量，从而获取目标特征点提取算法。

进一步的，若EF_ix＞EF₀，x的取值范围是1到n且D_x不是目标特征点提取算法，EF₀是G₀对应的关键数量，S330还包括如下步骤：

S331,对使用D_x获取的关键特征点列表集H_ix中的关键特征点进行筛选，获取候选特征点列表集L_ix={L_ix1，L_ix2，…，L_ixr，…，L_ixs}，L_ixr是第一图像B_i使用D_x进行特征点提取的第r个候选特征点列表。

L_ixr={L_ixr，1，L_ixr，1，…，L_ixr，p，…，L_{ixr，q（r）}}，L_ixr，p是候选特征点列表L_ixr中第p个候选特征点，p的取值范围是1到q（r），q（r）是候选特征点的数量且∑^s _r=1q（r）=EF₀。

在本发明一个实施例中，将关键特征点列表集中的关键特征点按照预设规则进行筛选，具体的，所述预设规则为距离规则，可以理解为，将不满足距离要求的关键特征点进行筛选掉，从而获取候选特征点列表集。

S332，获取L_ixr，p和L_ixr，p+1的距离作为候选距离M_ixr，p，从而获取L_ixr对应的候选距离列表M_ixr={M_ixr，1，M_ixr，2，…，M_ixr，p，…，M_{ixr，q（r）-1}}。

S333，获取第二平均距离EM_ix=1/（q（r）-1）×（1/s）×∑^s _r=1∑^q（r）-1 _p=1M_ixr，p；将EM_ix进行归一化处理获取第二归一距离EN_ix。

S334，获取候选特征值G_ix=1/3×EC_ix+1/3×（1/F_ix）+1/3×（1/EN_ix）。可以理解为，所述候选特征值考虑了距离、数量和筛选完后的距离三个维度，在将关键特征点进行筛选后，候选特征点更为集中，进行筛选，相当于将部分噪音或者有影响的关键特征点筛选掉。

S335，若G_ix＜G₀，将D_x作为目标特征点提取算法。

基于S331-S335，对使用D_x获取的关键特征点列表集H_ix中的关键特征点进行筛选，获取候选特征点列表集，获取候选距离，从而获取第二归一距离，获取候选特征值，若候选特征值小于目标特征值，将D_x作为目标特征点提取算法，从而更加准确地获取目标特征点提取算法。

本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。

本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明公开的范围由所附权利要求来限定。

Claims (10)

1.一种图像拼接方法，其特征在于，所述方法包括如下步骤：

S100，获取待拼接视频列表A={A₁，A₂，…，A_i，…，A_m}，A_i是第i个待拼接视频，i的取值范围是1到m，m是待拼接视频的数量；

S200，基于待拼接视频列表A和目标神经网络模型，获取A_i对应的第一图像B_i和第二图像C_i；

其中，所述第一图像B_i和第二图像C_i+1的相似度大于预设相似度阈值，且第一图像B_i是A_i和A_i+1进行拼接时的视频帧，第二图像C_i是A_i和A_i-1进行拼接时的视频帧；

S300，获取B_i对应的第一特征点列表集和C_i对应的第二特征点列表集，所述第一特征点列表集是第一图像B_i包含的特征点的列表集，所述第二特征点列表集是第二图像C_i包含的特征点的列表集；

S400，基于C_i对应的第二特征点列表集和B_i-1对应的第一特征点列表集，将C_i和B_i-1进行拼接，从而获取目标视频。

2.根据权利要求1所述的图像拼接方法，其特征在于，基于C_i对应的第二特征点列表集和B_i-1对应的第一特征点列表集，使用SURF模型将C_i和B_i-1进行对齐拼接，从而获取目标视频。

3.根据权利要求1所述的图像拼接方法，其特征在于，通过如下步骤获取B_i对应的第一特征点列表集：

S310，获取预设特征点提取算法列表D={D₁，D₂，…，D_j，…，D_n}，D_j是第j个预设特征点提取算法，j的取值范围是1到n，n是预设特征点提取算法的数量；

S320，对第一图像B_i，使用D_j进行特征点提取，获取提取的关键特征点的第一归一距离EC_ij和特征点的归一数量F_ij，其中，所述第一归一距离EC_ij是经过归一化的关键特征点距离的均值，所述归一数量F_ij是经过归一化的关键特征点的数量，所述关键特征点是使用D_j进行特征点提取获取的特征点；

S330，获取目标特征值G₀=min{G_i1，G_i2，…，G_ij，…，G_in}，将G₀对应的预设特征点提取算法作为目标特征点提取算法，其中，特征值G_ij=1/2×EC_ij+1/2×（1/F_ij）；

S340，将目标特征点提取算法对第一图像B_i提取的特征点的列表集作为B_i对应的第一特征点列表集。

4.根据权利要求3所述的图像拼接方法，其特征在于，还包括：

对第二图像C_i，使用目标特征点提取算法进行提取，获取C_i对应的第二特征点列表集。

5.根据权利要求3所述的图像拼接方法，其特征在于，S320具体包括：

S321，对第一图像B_i，使用D_j进行特征点提取，获取关键特征点列表集H_ij={H_ij1，H_ij2，…,H_ijr,…，H_ijs}，H_ijr是第一图像B_i使用D_j进行特征点提取的第r个关键特征点列表，r的取值范围是1到s，s是关键特征点列表的数量；

H_ijr={H_ijr，1，H_ijr，2，…，H_ijr，g，…，H_{ijr，z（r）}}，H_ijr，g是关键特征点列表H_ijr中第g个特征点，g的取值范围是1到z（r），z（r）是关键特征点的数量；

S322，获取H_ijr，g和H_ijr，g+1的关键距离J_ijr，g，从而获取H_ijr对应的关键距离列表J_ijr={J_ijr，1，J_ijr，2，…，J_ijr，g，…，J_{ijr，z（r）-1}}；

S323，获取第一平均距离ED_ij=1/（z（r）-1）×（1/s）×∑^s _r=1∑^z（r）-1 _g=1J_ijr，g，将ED_ij进行归一化处理获取第一归一距离EC_ij；

S324，获取关键数量EF_ij=∑^s _r=1z（r），将EF_ij进行归一化处理获取归一数量F_ij。

6.根据权利要求5所述的图像拼接方法，其特征在于，若EF_ix＞EF₀，x的取值范围是1到n且D_x不是目标特征点提取算法，EF₀是G₀对应的关键数量，S330还包括如下步骤：

S331,对使用D_x获取的关键特征点列表集H_ix中的关键特征点进行筛选，获取候选特征点列表集L_ix={L_ix1，L_ix2，…，L_ixr，…，L_ixs}，L_ixr是第一图像B_i使用D_x进行特征点提取的第r个候选特征点列表；

L_ixr={L_ixr，1，L_ixr，1，…，L_ixr，p，…，L_{ixr，q（r）}}，L_ixr，p是候选特征点列表L_ixr中第p个候选特征点，p的取值范围是1到q（r），q（r）是候选特征点的数量且∑^s _r=1q（r）=EF₀；

S332，获取L_ixr，p和L_ixr，p+1的距离作为候选距离M_ixr，p，从而获取L_ixr对应的候选距离列表M_ixr={M_ixr，1，M_ixr，2，…，M_ixr，p，…，M_{ixr，q（r）-1}}；

S333，获取第二平均距离EM_ix=1/（q（r）-1）×（1/s）×∑^s _r=1∑^q（r）-1 _p=1M_ixr，p；将EM_ix进行归一化处理获取第二归一距离EN_ix；

S334，获取候选特征值G_ix=1/3×EC_ix+1/3×（1/F_ix）+1/3×（1/EN_ix）；

S335，若G_ix＜G₀，将D_x作为目标特征点提取算法。

7.根据权利要求2所述的图像拼接方法，其特征在于，基于C_i对应的第二特征点列表集、B_i-1对应的第一特征点列表集和预设缝合形状，使用预设缝合线模型将C_i和B_i-1进行拼接，获取目标视频。

8.根据权利要求7所述的图像拼接方法，其特征在于，还包括：

当预设缝合形状覆盖的特征点对应的像素点的数量＞预设数量阈值，基于预设缝合线模型将C_i和B_i-1进行拼接，获取目标视频；否则，基于SURF模型获取目标视频。

9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8中任意一项的所述的图像拼接方法。

10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。