CN111340707B - 基于关键帧的图像拼接系统及拼接方法 - Google Patents

Abstract

本发明公开了一种基于关键帧的图像拼接系统、方法，其中系统包括：图像采集模块，用于跟踪采集待拼接的图像；关键帧图像获取模块，用于在采集的图像中获取多张关键帧图像；关键帧图像关系建立模块，用于建立关键帧图像关系；关键帧图像位置确认模块，用于确定各关键帧图像的拼接位置排序；图像采集跟踪状态判断模块，用于判断图像采集的跟踪状态；图像再定位模块，用于在图像跟踪失败后，将采集的当前帧图像与之前采集的各关键帧图像进行图像匹配，得到与当前帧图像相匹配的关键帧图像；图像采集模块根据匹配出的关键帧图像对应的拍摄位置，继续对图像进行跟踪采集，本发明提高了图像采集的稳定性，改善了用户使用体验并降低了图像拍摄的重复度。

Description

基于关键帧的图像拼接系统及拼接方法

技术领域

本发明涉及图像识别跟踪技术领域，具体涉及一种基于关键帧的图像拼接系统及拼接方法。

背景技术

目前，对于全景图像拍摄普遍采用的方法是，用户手持拍摄设备比如手持手机以自我为中心360°对场景进行全景拍摄，然后手机对连续帧拍摄的图像进行首尾拼接，最终拼接得到一幅全景图像。

上述的全景图像拍摄方法在拍摄过程中出现突发状况时，比如闯入无关的拍摄对象时，拍摄设备还是会继续对图像进行跟踪采集，这样最后拼接的全景图像中会出现误闯入的拍摄物。现有的全景拍摄方法无法在出现突发状况时对图像采集的跟踪位置进行再定位，拍摄人员只能够从头开始重新对全景图像进行拍摄，无法第一时间获知突发状况的出现，更无法及时从突发状况出现时的拍摄位置继续对全景图像进行拍摄，将不可避免的增加全景图像拍摄的重复度。

发明内容

本发明的目的在于提供一种基于关键帧的图像拼接系统及拼接方法，以解决上述技术问题。

为达此目的，本发明采用以下技术方案：

提供一种基于关键帧的图像拼接系统，用于对拍照采集的实时图像进行拼接，包括：

图像采集模块，用于跟踪采集待拼接的图像并存储；

关键帧图像获取模块，连接所述图像采集模块，用于基于所述图像中的特征点在跟踪采集的各所述图像中获取多张关键帧图像并存储；

关键帧图像关系建立模块，连接所述关键帧图像获取模块，用于根据所述关键帧图像中的所述特征点，在各所述关键帧图像间建立关键帧图像关系；

关键帧图像位置确认模块，连接所述关键帧图像关系建立模块，用于根据所建立的各所述关键帧图像间的所述关键帧图像关系确定各所述关键帧图像的拼接位置排序；

图像采集跟踪状态判断模块，连接所述图像采集模块，用于基于采集的所述图像中的所述特征点判断图像采集的跟踪状态；

图像再定位模块，分别连接所述图像采集模块、所述关键帧图像获取模块和所述图像采集跟踪状态判断模块，用于在判断图像跟踪为失败后，将采集的当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像；

所述图像采集模块将匹配出的所述关键帧图像对应的拍摄位置作为起始拍摄位置，继续对所述图像进行跟踪采集；

图像拼接模块，连接所述关键帧图像位置确认模块，用于在图像采集完成后，根据所确定的各所述关键帧图像对应的所述拼接位置排序，对各所述关键帧图像进行拼接，得到图像拼接结果。

作为本发明的一种优选方案，所述图像拼接系统还包括：

图像再定位次数设置模块，连接所述图像再定位模块，用于提供给用户预设对所述图像进行再次跟踪采集的再定位次数，所述图像拼接系统在图像跟踪采集过程中，在对所述图像跟踪失败后，将在预设的所述再定位次数范围内对所述图像进行重新跟踪采集。

作为本发明的一种优选方案，所述图像再定位模块中具体包括：

图像匹配单元，用于在图像跟踪失败后，将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配；

匹配状态判断单元，连接所述图像匹配单元，用于判断所述当前帧图像与之前采集的各所述关键帧图像是否匹配成功，

若是，则提示用户以所匹配到的所述关键帧图像对应的拍摄位置为起点继续对所述图像进行跟踪采集；

若否，则生成一关键帧图像数计算信号并输出；

可匹配关键帧数计算单元，分别连接所述匹配状态判断单元和所述关键帧图像获取模块，用于根据接收到的所述关键帧图像数计算信号，对剩余可匹配的所述关键帧图像数进行计算；

可匹配关键帧数判断单元，分别连接所述可匹配关键帧数计算单元和所述图像匹配单元，用于根据对剩余可匹配的所述关键帧图像数的计算结果，判断剩余可匹配的所述关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像再跟踪过程；

所述图像匹配单元根据接收到的所述图像继续匹配信号，继续对所述当前帧图像与剩余可匹配的各所述关键帧图像进行图像匹配，直至完成对所述当前帧图像与剩余所有可匹配的所述关键帧图像的图像匹配过程。

本发明还提供了一种基于关键帧的图像拼接方法，通过应用所述图像拼接系统实现，包括如下步骤：

步骤S1，所述图像拼接系统跟踪采集待拼接的所述图像并存储；

步骤S2，所述图像拼接系统基于所述图像中的所述特征点在跟踪采集到的各所述图像中获取多张所述关键帧图像并存储；

步骤S3，所述图像拼接系统根据所述关键帧图像中的所述特征点，在各所述关键帧图像间建立所述关键帧图像关系；

步骤S4，所述图像拼接系统根据所建立的各所述关键帧图像间的所述关键帧图像关系确定各所述关键帧图像的所述拼接位置排序；

步骤S5，所述图像拼接系统基于采集的所述图像中的所述特征点判断图像采集的跟踪状态；

步骤S6，所述图像拼接系统在图像跟踪失败后，将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像；

步骤S7，所述图像拼接系统根据所述步骤S6匹配出的所述关键帧图像对应的拍摄位置为起始拍摄位置，并返回所述步骤S1继续对所述图像进行跟踪采集；

步骤S8，所述图像拼接系统在图像采集完成后，根据所述步骤S4确定的各关键帧图像对应的所述拼接位置排序，对各所述关键帧图像进行拼接，得到所述图像拼接结果。

作为本发明的一种优选方案，所述步骤S6中具体包括如下步骤：

步骤S61，所述图像拼接系统在图像跟踪失败后，判断当前已对所述图像重新进行跟踪采集的次数是否小于或等于预设的所述再定位次数，

若是，则进入步骤S62；

若否，则输出跟踪失败结果；

步骤S62，所述图像拼接系统将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像。

作为本发明的一种优选方案，所述步骤S62中，所述图像拼接系统匹配与所述当前帧图像相匹配的所述关键帧图像的过程具体包括如下步骤：

步骤S621，所述图像拼接系统将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配；

步骤S622，所述图像拼接系统判断所述步骤S621中的所述当前帧图像与之前采集的各所述关键帧图像是否匹配成功，

若是，则进入所述步骤S7；

若否，则生成一关键帧图像数计算信号并输出；

步骤S623，所述图像拼接系统根据接收到的所述关键帧图像数计算信号，对剩余可匹配的所述关键帧图像数进行计算；

步骤S624，所述图像拼接系统根据对剩余可匹配的所述关键帧图像数的计算结果，判断剩余可匹配的所述关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像再跟踪过程；

步骤S625，所述图像拼接系统根据所述步骤S624输出的所述图像继续匹配信号，继续对所述当前帧图像与剩余可匹配的各所述关键帧图像进行图像匹配，直至完成对所述当前帧图像与剩余所有可匹配的所述关键帧图像的图像匹配过程。

本发明能够在拍摄全景图像过程中出现突发状况时，通过识别所拍摄图像中的特征点及时提醒用户出现突发状况，并将当前帧图像与之前采集的各关键帧图像进行图像匹配，自动获取突发状况出现前与当前帧图像最具相似度的关键帧图像，并提示用于以匹配的关键帧图像的拍摄位置或拍摄角度继续对全景图像进行拍摄，提高了拍摄设备与用户的交互体验，大幅降低了全景图像拍摄的重复度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例所述的基于关键帧的图像拼接系统的结构示意图；

图2是本发明一实施例所述的基于关键帧的图像拼接系统中的图像再定位模块的内部结构示意图；

图3是本发明一实施例所述的基于关键帧的图像拼接方法的方法步骤图；

图4是本发明一实施例所述的基于关键帧的图像拼接方法中的所述步骤S6的分步骤图；

图5是本发明一实施例所述的基于关键帧的图像拼接方法中的所述步骤S62的分步骤图。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

本发明实施例提供的一种基于关键帧的图像拼接系统，用于对拍照采集的比如手机拍照采集的实时图像进行拼接，请参照图1，该图像拼接系统包括：

图像采集模块1，用于跟踪采集待拼接的图像并存储；

关键帧图像获取模块2，连接图像采集模块1，用于基于所采集的图像中的特征点在跟踪采集的各图像中获取多张关键帧图像并存储；

关键帧图像关系建立模块3，连接关键帧图像获取模块2，用于根据关键帧图像中的特征点，在各关键帧图像间建立关键帧图像关系；

关键帧图形位置确认模块4，连接关键帧图像关系建立模块3，用于根据所建立的各关键帧图像间的关键帧图像关系确定各关键帧图像的拼接位置排序；

图像采集跟踪状态判断模块5，连接图像采集模块1，用于基于采集的图像中的特征点判断图像采集的跟踪状态；

图像再定位模块6，分别连接图像采集模块1、关键帧图像获取模块2和图像采集跟踪状态判断模块5，用于在判断图像跟踪为失败后，对采集的当前帧图像与之前采集的各关键帧图像进行图像匹配，得到与当前帧图像相匹配的一张关键帧图像；

图像采集模块1将匹配出的关键帧图像对应的拍摄位置作为起始拍摄位置，继续对图像进行跟踪采集；

图像拼接模块7，连接关键帧图像位置确认模块4，用于在图像采集完成后，根据所确定的各关键帧图像对应的拼接位置排序，对各关键帧图像进行拼接，得到图像拼接结果。

为了限制图像再定位的次数，提高对图像拼接的效率，优选地，本实施例提供的图像拼接系统还包括：

图像再定位次数设置模块8，连接图像再定位模块6，用于提供给用户预设对图像进行再次跟踪采集的再定位次数，图像拼接系统在图像跟踪采集过程中，在对图像跟踪失败后，将在预设的再定位次数范围内对图像进行重新跟踪采集。

请参照图2，更优选地，图像再定位模块6中具体包括：

图像匹配单元61，用于在图像跟踪失败后，将采集的当前帧图像与之前采集的各关键帧图像进行图像匹配；

匹配状态判断单元62，连接图像匹配单元61，用于判断当前帧图像与之前采集的各关键帧图像是否匹配成功，

若是，则提示用户以所匹配到的关键帧图像对应的拍摄位置为起点继续对图像进行跟踪采集；

若否，则生成一关键帧图像数计算信号斌高输出；

可匹配关键帧数计算单元63，分别连接匹配状态判断单元62和关键帧图像获取模块2，用于根据接收到的关键帧图像数计算信号，对剩余可匹配的关键帧图像数进行计算；

可匹配关键帧数判断单元64，分别连接可匹配关键帧数计算单元63和图像匹配单元61，用于根据对剩余可匹配的关键帧图像数的计算结果，判断剩余可匹配的关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像在跟踪过程；

所述图像匹配单元61根据接收到的图像继续匹配信号，继续对当前帧图像与剩余可匹配的各关键帧图像进行图像匹配，直至完成对当前帧图像与剩余所有可匹配的关键帧图像的图像匹配过程。

本发明还提供了一种基于关键帧的图像拼接方法，通过应用上述的图像拼接系统实现，请参照图3，该图像拼接方法具体包括如下步骤：

步骤S1，图像拼接系统跟踪采集待拼接的图像并存储；

步骤S2，图像拼接系统基于图像中的特征点在跟踪采集到的各图像中获取多张关键帧图像并存储；根据图像中的特征点获取关键帧的方法为现有技术，所以具体获取过程在此不作阐述；

步骤S3，图像拼接系统根据关键帧图像中的特征点，在各关键帧图像间建立关键帧图像关系；基于图像特征点建立关键帧图像间的图像关系的方法为现有技术，所以对于关键帧图像关系的建立过程在此不作阐述；

步骤S4，图像拼接系统根据所建立的各关键帧图像间的关键帧图像关系确定各关键帧图像的拼接位置排序；根据关键帧图像关系确定各关键帧图像的拼接位置排序的方法为现有技术，所以在此不作阐述；

步骤S5，图像拼接系统基于采集的图像中的特征点判断图像采集的跟踪状态；基于图像特征点判断图像采集状态的过程为现有技术，比如可以通过误闯入的人或动物作为图像特征点判断图像跟踪采集失败；

步骤S6，图像拼接系统在图像跟踪失败后，将采集的当前帧图像与之前采集的各关键帧图像进行图像匹配，得到与当前帧图像相匹配的关键帧图像；图像匹配优选基于图像的相似度关系，由于对于图像的匹配过程为现有技术，所有当前帧图像与各关键帧图像的具体图像匹配过程在此不作阐述；

步骤S7，图像拼接系统根据步骤S6匹配出的关键帧图像对应的拍摄位置为起始拍摄位置，并返回步骤S1继续对图像进行跟踪采集；

步骤S8，图像拼接系统在图像采集完成后，根据步骤S4确定的各关键帧图像对应的拼接位置排序，对各关键帧图像进行拼接，得到图像拼接结果。

请参照图4，步骤S6中具体包括如下步骤：

步骤S61，图像拼接系统在图像跟踪失败后，判断当前已对图像重新进行跟踪采集的次数是否小于或等于预设的再定位次数，

若是，则进入步骤S62；

若否，则输出跟踪失败结果；

步骤S62，图像拼接系统将采集的当前帧图像与之前采集的各关键帧图像进行图像匹配，得到与当前帧图像相匹配的关键帧图像。

请参照图5，步骤S62中，图像拼接系统匹配与当前帧图像相匹配的关键帧图像的过程具体包括如下步骤：

步骤S621，图像拼接系统将采集的当前帧图像与之前采集的各关键帧图像进行图像匹配；

步骤S622，图像拼接系统判断步骤S621中的当前帧图像与之前采集的各关键帧图像是否匹配成功，

若是，则进入步骤S7；

若否，则生成一关键帧图像数计算信号并输出；

步骤S623，图形拼接系统根据接收到的关键帧图像数计算信号，对剩余可匹配的关键帧图像数进行计算；

步骤S624，图像拼接系统根据对剩余可匹配的关键帧图像数的计算结果，判断剩余可匹配的关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像再跟踪过程；

步骤S625，图像拼接系统根据步骤S624输出的图像继续匹配信号，继续对当前帧图像与剩余可匹配的各关键帧图像进行图像匹配，直至完成对当前帧图像与剩余所有可匹配的关键帧图像的图像匹配过程。

需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (3)

1.一种基于关键帧的图像拼接系统，用于对拍照采集的实时图像进行拼接，其特征在于，包括：

图像采集模块，用于跟踪采集待拼接的图像并存储；

关键帧图像获取模块，连接所述图像采集模块，用于基于所述图像中的特征点在跟踪采集的各所述图像中获取多张关键帧图像并存储；

关键帧图像关系建立模块，连接所述关键帧图像获取模块，用于根据所述关键帧图像中的所述特征点，在各所述关键帧图像间建立关键帧图像关系；

关键帧图像位置确认模块，连接所述关键帧图像关系建立模块，用于根据所建立的各所述关键帧图像间的所述关键帧图像关系确定各所述关键帧图像的拼接位置排序；

图像采集跟踪状态判断模块，连接所述图像采集模块，用于基于采集的所述图像中的所述特征点判断图像采集的跟踪状态；

图像再定位模块，分别连接所述图像采集模块、所述关键帧图像获取模块和所述图像采集跟踪状态判断模块，用于在图像跟踪判断为失败后，将采集的当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像；

所述图像采集模块将匹配出的所述关键帧图像对应的拍摄位置作为起始拍摄位置，继续对所述图像进行跟踪采集；

图像拼接模块，连接所述关键帧图像位置确认模块，用于在图像采集完成后，根据所确定的各所述关键帧图像对应的所述拼接位置排序，对各所述关键帧图像进行拼接，得到图像拼接结果；

所述图像再定位模块中具体包括：

图像匹配单元，用于在图像跟踪失败后，将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配；

匹配状态判断单元，连接所述图像匹配单元，用于判断所述当前帧图像与之前采集的各所述关键帧图像是否匹配成功，

若是，则提示用户以所匹配到的所述关键帧图像对应的拍摄位置为起点继续对所述图像进行跟踪采集；

若否，则生成一关键帧图像数计算信号并输出；

可匹配关键帧数计算单元，分别连接所述匹配状态判断单元和所述关键帧图像获取模块，用于根据接收到的所述关键帧图像数计算信号，对剩余可匹配的所述关键帧图像数进行计算；

可匹配关键帧数判断单元，分别连接所述可匹配关键帧数计算单元和所述图像匹配单元，用于根据对剩余可匹配的所述关键帧图像数的计算结果，判断剩余可匹配的所述关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像再跟踪过程；

所述图像匹配单元根据接收到的所述图像继续匹配信号，继续对所述当前帧图像与剩余可匹配的各所述关键帧图像进行图像匹配，直至完成对所述当前帧图像与剩余所有可匹配的所述关键帧图像的图像匹配过程。

2.如权利要求1所述的图像拼接系统，其特征在于，还包括：

图像再定位次数设置模块，连接所述图像再定位模块，用于提供给用户预设对所述图像进行再次跟踪采集的再定位次数，所述图像拼接系统在图像跟踪采集过程中，在对所述图像跟踪失败后，将在预设的所述再定位次数范围内对所述图像进行重新跟踪采集。

3.一种基于关键帧的图像拼接方法，通过应用权利要求2的所述图像拼接系统实现，其特征在于，包括如下步骤：

步骤S1，所述图像拼接系统跟踪采集待拼接的所述图像并存储；

步骤S2，所述图像拼接系统基于所述图像中的所述特征点在跟踪采集到的各所述图像中获取多张所述关键帧图像并存储；

步骤S3，所述图像拼接系统根据所述关键帧图像中的所述特征点，在各所述关键帧图像间建立所述关键帧图像关系；

步骤S4，所述图像拼接系统根据所建立的各所述关键帧图像间的所述关键帧图像关系确定各所述关键帧图像的所述拼接位置排序；

步骤S5，所述图像拼接系统基于采集的所述图像中的所述特征点判断图像采集的跟踪状态；

步骤S6，所述图像拼接系统在图像跟踪失败后，将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像；

步骤S7，所述图像拼接系统根据所述步骤S6匹配出的所述关键帧图像对应的拍摄位置为起始拍摄位置，并返回所述步骤S1继续对所述图像进行跟踪采集；

步骤S8，所述图像拼接系统在图像采集完成后，根据所述步骤S4确定的各关键帧图像对应的所述拼接位置排序，对各所述关键帧图像进行拼接，得到所述图像拼接结果；

所述步骤S6中具体包括如下步骤：

步骤S61，所述图像拼接系统在图像跟踪失败后，判断当前已对所述图像重新进行跟踪采集的次数是否小于或等于预设的所述再定位次数，

若是，则进入步骤S62；

若否，则输出跟踪失败结果；

步骤S62，所述图像拼接系统将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配，得到与所述当前帧图像相匹配的所述关键帧图像；

所述步骤S62中，所述图像拼接系统匹配与所述当前帧图像相匹配的所述关键帧图像的过程具体包括如下步骤：

步骤S621，所述图像拼接系统将采集的所述当前帧图像与之前采集的各所述关键帧图像进行图像匹配；

步骤S622，所述图像拼接系统判断所述步骤S621中的所述当前帧图像与之前采集的各所述关键帧图像是否匹配成功，

若是，则进入所述步骤S7；

若否，则生成一关键帧图像数计算信号并输出；

步骤S623，所述图像拼接系统根据接收到的所述关键帧图像数计算信号，对剩余可匹配的所述关键帧图像数进行计算；

步骤S624，所述图像拼接系统根据对剩余可匹配的所述关键帧图像数的计算结果，判断剩余可匹配的所述关键帧图像数是否大于0，

若是，则生成一图像继续匹配信号并输出；

若否，则终止图像再跟踪过程；

步骤S625，所述图像拼接系统根据所述步骤S624输出的所述图像继续匹配信号，继续对所述当前帧图像与剩余可匹配的各所述关键帧图像进行图像匹配，直至完成对所述当前帧图像与剩余所有可匹配的所述关键帧图像的图像匹配过程。

Images