CN114723607A - 一种图像拼接方法及系统 - Google Patents

Abstract

本申请涉及一种图像拼接方法及系统，涉及图像处理的技术领域，其中，图像拼接方法包括获取包含移动物体的视频的一帧视频图像；基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；如果否，则基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；如果是，则对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。本申请具有降低使用帧率较高的相机进行拍摄并进行图像拼接时的延时的效果。

Description

一种图像拼接方法及系统

技术领域

本申请涉及图像处理的技术领域，尤其是涉及一种图像拼接方法及系统。

背景技术

图像拼接技术就是将若干张存在重叠部分的视频图像拼成一幅无缝的全景图或高分辨率视频图像的技术，广泛地应用于对移动物体进行视频图像记录中。

在相关技术中，对移动物体进行信息记录时，采用摄像头拍摄移动物体进入拍摄区域的视频，对拍摄的视频采用逐帧跟踪的方式进行图像拼接，即每一帧都会根据上一帧选取的特征位置进行检测，然后确定每个视频图像上剪裁宽度进行图像拼接，最终在移动物体离开拍摄区域后，得到移动物体完整的拼接图像。

针对上述中的相关技术，发明人发现：当使用帧率较高的相机拍摄视频并进行图像拼接时，容易导致存在较长的延时才能得到完整的拼接图像。

发明内容

为了降低使用帧率较高的相机进行拍摄并进行图像拼接时的延时，本申请提供了一种图像拼接方法及系统。

第一方面，本申请提供的一种图像拼接方法采用如下的技术方案。

一种图像拼接方法，包括：

获取包含移动物体的视频的一帧视频图像；

基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；如果否，则基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；如果是，则对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，

对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。

通过采用上述技术方案，进行图像拼接时，目标跟踪的耗时是最长的；在本申请中，若某一帧视频图像进行了目标跟踪，则该帧视频图像后面预设帧数的视频图像都可以用前一次的跟踪结果去做处理；间隔预设帧数之后，重新选取视频图像做目标跟踪，重新跟踪的结果继续用到后面预设帧数的视频图像处理中，因此不需要每帧视频图像均进行目标跟踪，降低了目标跟踪的次数，从而提升了拼接的速度。

可选的，对得到的所述待拼接图像进行拼接包括：

将得到的所述待拼接图像进行保存；

在得到所有的所述待拼接图像之后，计算所有所述待拼接图像占用内存之和得到总占用内存；

基于所述总占用内存申请内存空间；申请的所述内存空间不小于所述总占用内存；

按照帧的顺序依次将待拼接图像拷贝至所述内存空间中，进行图像拼接。

通过采用上述技术方案，得到每一张待拼接图像后，仅保存待拼接图像的视频图像数据，不直接进行拼接，待得到所有的待拼接图像后再进行图像拼接，从而无需每一次拼接均需要申请内存，即节省了内存也提高了拼接效率。

可选的，所述对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像包括：

设定视频图像中移动物体的跟踪区域，并记录跟踪区域的位置坐标；

使用跟踪算法对所述跟踪区域进行目标跟踪，获得当前视频图像与前一帧视频图像中移动物体的像素位移；以及，

获取移动物体在当前的视频图像中的像素位移所对应的位移视频图像，将所述位移视频图像作为待拼接图像。

可选的，基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像，包括：

基于上一次目标跟踪的结果得到上一次的像素位移；以及，

基于上一次的待拼接图像及所述上一次的像素位移得到新的待拼接图像。

通过采用上述技术方案，若当前的视频图像的前一帧视频图像进行了目标跟踪，则依据上一次目标跟踪的结果获得上一次的像素位移，得到本次的待拼接图像；若当前的视频图像的前一帧图像并未进行目标跟踪，则依然依据上一次目标跟踪得到的像素位移进行图像截取，得到本次的待拼接图像，因此不需要每帧视频图像均进行目标跟踪，降低了目标跟踪的次数，从而提升了拼接的速度。

可选的，在设定视频图像中移动物体的跟踪区域之前，还包括：对所述视频图像进行图像增强处理，所述图像增强处理包括自适应均衡化。

通过采用上述技术方案，自适应均衡化使移动物体的细节更突出，提升目标跟踪算法的准确度。

可选的，包含移动物体的所述视频是通过1.44mm的鱼眼镜头进行视频图像采集获得的。

通过采用上述技术方案，1.44mm的鱼眼镜头能够近距离拍摄大范围景物，从而能够对体积大的移动物体进行拍摄。

可选的，获取包含移动物体的视频的一帧视频图像之后，还包括：对所述视频图像进行畸变矫正。

通过采用上述技术方案，畸变矫正提高跟踪算法的准确率，使得拼接图像更圆滑，成像效果更好。

第二方面，本申请提供的一种图像拼接系统采用如下的技术方案。

一种图像拼接系统，包括：

获取模块，用于获取包含移动物体的视频的一帧视频图像；

判断模块，基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；

第一待拼接图像获取模块，在不需要对当前获取的视频图像进行目标跟踪时基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；

第二待拼接图像获取模块，在需要对当前获取的视频图像进行目标跟踪时对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，

拼接模块，用于对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。

第三方面，本申请公开一种计算机设备，包括存储器和服务器，所述存储器上存储有被服务器加载并执行上述的任一方法的计算机程序。

第四方面，本申请公开一种计算机可读存储介质，存储有能够被服务器加载并执行上述的任一方法的计算机程序。

附图说明

图1是本申请实施例一种图像拼接方法的其中一种实施方式的流程图；

图2是图1中步骤105的其中一种实施方式的流程图；

图3是本申请实施例进行目标跟踪得到新的待拼接图像的流程图；

图4是本申请实施例一种图像拼接系统的其中一种实施方式的系统框图；

图中，401、获取模块；402、判断模块；403、第一待拼接图像获取模块；404、第二待拼接图像获取模块；405、拼接模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图1-4及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

帧率高的相机相较于帧率低的相机每秒显示的帧数更多，可以得到更流畅、更逼真的动画。拍摄移动物体时，帧率高的相机相较于帧率低的相机每一帧的视频图像更不容易出现残影，因此在进行移动物体的图像拼接时，一般选用帧率高的相机来拍摄。在现有技术中，进行视图像拼接时，视频图像的数量越多能够使得拼接而成的完整的图像成像效果越好。发明人在进行图像拼接时，发现：当使用帧率较高的相机拍摄视频并进行图像拼接时，得到完整的拼接图像容易存在较长的延时；例如，将原先30帧的相机升级为120帧的相机，此时得到完整的拼接图像存在较长的延时，难以满足实时处理的需求。

本申请实施例公开一种图像拼接方法。参照图1，作为一种图像拼接方法的一种实施方式，该方法包括以下步骤：

步骤101、获取包含移动物体的视频的一帧视频图像。

具体地、上述包含移动物体的视频由移动物体进入相机的拍摄区域拍摄得到。按照帧的排列顺序，依次获取得到每一帧视频图像。获取视频图像可以是处理器直接获取包含移动物体的视频，然后由该视频得到若干帧视频图像；也可以是第三方处理器先获取上述视频，对上述视频进行分帧后再将视频图像依次发送给处理器。

步骤102、基于当前获取的视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的视频图像进行目标跟踪；如果否，则执行步骤103；如果是，则执行步骤104。

具体地、根据当前获取的视频图像与上一次进行目标跟踪的视频图像的帧数间隔是否大于预设帧数以判断是否需要对当前获取的视频图像进行目标跟踪。预设帧数根据相机的帧率可以进行调整；只需要满足预设帧数内，移动物动的位置没有明显的变化。通常，对于120帧的相机而言，预设帧数不超过5帧。

步骤103、基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像。

具体地，若当前视频图像与上一次进行目标跟踪的视频图像的帧数间隔不超过预设帧数，则对于当前视频图像不用进行目标跟踪得到其对应的待拼接图像。

步骤104、对当前获取的视频图像进行目标跟踪得到新的待拼接图像。

具体地，若当前视频图像与上一次进行目标跟踪的视频图像的帧数间隔大于预设帧数，则对于该视频图像进行目标跟踪得到待拼接图像。

步骤105、对得到的待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。

具体地，将所有的待拼接图依次进行拼接，在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。

相较于帧率较低的相机，使用帧率高的相机成像更加清晰，完整的拼接图像更加准确。例如60帧的相机与120帧的相机，120帧相机拍摄的每一帧视频图像不容易出现残影。假设移动物体做匀速运动，60帧的相机拍摄的视频图像中移动物体移动的距离记为A，120帧的相机拍摄的视频图像中移动物体移动的距离记为B，A是B的两倍。使用帧率高的相机，视频图像跟踪的宽度更准确，拼接的视频图像更加准确。进行图像拼接时，整个算法中目标跟踪的耗时是最长的。在本申请中，若某一帧视频图像进行了目标跟踪，则该帧视频图像后面预设帧数的视频图像都可以用前一次的跟踪结果去做处理。间隔预设帧数之后，重新选取视频图像做目标跟踪，重新跟踪的结果继续用到后面预设帧数的视频图像处理中，因此不需要每帧均进行目标跟踪，降低了目标跟踪的次数，提升了拼接的速度。本申请的技术方案搭配高帧率（帧率大于60）的相机使用，既能够使得完整的拼接图像更加准确，也能够提高处理的效率。

在其中一种具体实施方式中，步骤103、基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像，包括：基于上一次目标跟踪的结果得到上一次的像素位移；以及，基于上一次的待拼接图像及上一次的像素位移得到新的待拼接图像。

具体地，若当前的视频图像的前一帧视频图像进行了目标跟踪，则依据上一次目标跟踪的结果获得上一次的像素位移，将该像素位移的大小记为N，以上一次获得的待拼接图像作为参照，将上一次获取的待拼接图像的中心线为起始线截取大小为N的像素位移的图像得到本次的待拼接图像。若当前的视频图像的前一帧图像并未进行目标跟踪，则依然依据上一次目标跟踪得到的像素位移进行图像截取，将上一次获取的待拼接图像的中心线为起始线截取大小为N的像素位移的图像得到本次的待拼接图像。

下面进行举例说明。假设预设帧数为二帧，第一帧视频图像进行目标跟踪得到了第一帧视频图像对应的待拼接图像以及像素位移，此时像素位移大小为M，则对第二帧视频图像进行处理时，无需再次进行目标跟踪，直接将第一帧视频图像对应的待拼接图像的中心线为起始线，截取大小为M的像素位移的图像得到第二帧的待拼接图像。对第三帧视频图像进行处理时，将第一帧视频图像对应的待拼接图像的中心线为起始线，截取大小为M的像素位移的图像得到第三帧的待拼接图像。对第四帧视频进行处理时，由于与上一次进行目标跟踪的视频图像（即第一帧视频图像）的帧数间隔大于预设帧数（二帧）。此时需要对第四帧的视频图像进行目标跟踪。

参照图2，对得到的待拼接图像进行拼接包括以下步骤：

步骤201、将得到的待拼接图像进行保存。

具体地，在得到其中一帧视频图像相对应的待拼接图像后，按照帧的排列顺序将待拼接图像进行保存至拼接队列中。

步骤202、在得到所有的待拼接图像之后，计算所有待拼接图像占用内存之和得到总占用内存。

具体地，如果处理器获取不到新的视频图像，且获取的最后一帧的视频图像已经得到对应的待拼接图像，则此时处理器判定已经得到了所有的待拼接图像。此时处理器计算所有待拼接图像占用内存之和得到总占用内存。

步骤203、基于总占用内存申请内存空间；申请的内存空间不小于总占用内存。

步骤204、按照帧的顺序依次将待拼接图像拷贝至内存空间中，进行图像拼接。

具体地，现有技术中，进行图像拼接时，获取到待拼接图像就进行拼接，每一次拼接均需要申请一次内存，例如50张待拼接图像，每张待拼接图像占用的内存均为n，第一次申请的内存为n，第二次申请的内存为2n，第50次申请的内存为50n，占用的总内存大小为1275n；这种处理方法，一方面占据的内存大，另一方面耗时高。在本申请中，得到每一张待拼接图像后，仅保存待拼接图像的视频图像数据，不直接进行拼接，待得到所有的待拼接图像后再进行图像拼接，同样的50张视频待拼接图像，本申请仅占用的总内存大小为50n，从而无需每一次拼接均需要申请内存，由于申请内存需要花费时间，因此拼接效率也能够得到较大的提升。

参照图3，对当前获取的视频图像进行目标跟踪得到新的待拼接图像包括：

步骤301、设定视频图像中移动物体的跟踪区域，并记录跟踪区域的位置坐标；

步骤302、使用跟踪算法对跟踪区域进行目标跟踪，获得当前视频图像与前一帧视频图像中移动物体的像素位移；以及，

步骤303、获取移动物体在当前的视频图像中的像素位移所对应的位移视频图像，将位移视频图像作为待拼接图像。

作为一种图像拼接方法的另一种实施方式，在设定视频图像中移动物体的跟踪区域之前，还包括：对视频图像进行图像增强处理，图像增强处理包括自适应均衡化。

具体地、相机的成像效果受光线的影响比较大，对获取的视频图像进行自适应均衡化处理后，可以自动均衡图片亮度，还可以对于图像曝光过度或曝光不足的进行修复，使移动物体的细节更突出，提升目标跟踪算法的准确度。

作为一种图像拼接方法的另一种实施方式，包含移动物体的视频是通过1.44mm的鱼眼镜头进行视频图像采集获得的。

具体地，鱼眼镜头属于超广角镜头中的一种特殊镜头,鱼眼镜头视角范围大,视角一般可达到220°或230°,1.44mm的鱼眼镜头为近距离拍摄大范围景物创造了条件。

当使用鱼眼镜头进行拍摄时，获取包含移动物体的视频的一帧视频图像之后，还包括：对视频图像进行畸变矫正。

具体地，部分鱼眼镜头自带畸变矫正功能，则该步骤可以省略；若选用的鱼眼镜头不具备畸变矫正功能，则可以采用相机内参矩阵和畸变矫正参数对获取的视频图像进行畸变矫正。进行畸变矫正，可以提高跟踪算法的准确率，使得拼接图像更圆滑，比例更正常。

本申请还提供了一种图像拼接系统，包括：

获取模块401，用于获取包含移动物体的视频的一帧视频图像；

判断模块402，基于当前获取的视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的视频图像进行目标跟踪；

第一待拼接图像获取模块403，在不需要对当前获取的视频图像进行目标跟踪时基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；

第二待拼接图像获取模块404，在需要对当前获取的视频图像进行目标跟踪时对当前获取的视频图像进行目标跟踪得到新的待拼接图像；以及，

拼接模块405，用于对得到的待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到移动物体的完整的拼接图像。

申请实施例还公开一种计算机设备。

具体来说，该设备包括存储器和服务器，存储器上存储有能够被服务器加载并执行上述任意一种图像拼接方法的计算机程序。

本申请实施例还公开一种计算机可读存储介质。

具体来说，该计算机可读存储介质，其存储有能够被服务器加载并执行如上述任意一种图像拼接方法的计算机程序，该计算机可读存储介质例如包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

Claims (10)

1.一种图像拼接方法，其特征在于，包括：

获取包含移动物体的视频的一帧视频图像；

基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；如果否，则基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；如果是，则对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，

对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。

2.根据权利要求1所述的一种图像拼接方法，其特征在于，对得到的所述待拼接图像进行拼接包括：

将得到的所述待拼接图像进行保存；

在得到所有的所述待拼接图像之后，计算所有所述待拼接图像占用内存之和得到总占用内存；

基于所述总占用内存申请内存空间；申请的所述内存空间不小于所述总占用内存；

按照帧的顺序依次将待拼接图像拷贝至所述内存空间中，进行图像拼接。

3.根据权利要求1所述的一种图像拼接方法，其特征在于，所述对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像包括：

设定视频图像中移动物体的跟踪区域，并记录跟踪区域的位置坐标；

使用跟踪算法对所述跟踪区域进行目标跟踪，获得当前视频图像与前一帧视频图像中移动物体的像素位移；以及，

获取移动物体在当前的视频图像中的像素位移所对应的位移视频图像，将所述位移视频图像作为待拼接图像。

4.根据权利要求1所述的一种图像拼接方法，其特征在于，基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像，包括：

基于上一次目标跟踪的结果得到上一次的像素位移；以及，

基于上一次的待拼接图像及所述上一次的像素位移得到新的待拼接图像。

5.根据权利要求3所述的一种图像拼接方法，其特征在于，在设定视频图像中移动物体的跟踪区域之前，还包括：对所述视频图像进行图像增强处理，所述图像增强处理包括自适应均衡化。

6.根据权利要求1所述的一种图像拼接方法，其特征在于，包含移动物体的所述视频是通过1.44mm的鱼眼镜头进行视频图像采集获得的。

7.根据权利要求6所述的一种图像拼接方法，其特征在于，获取包含移动物体的视频的一帧视频图像之后，还包括：对所述视频图像进行畸变矫正。

8.一种图像拼接系统，其特征在于，包括：

获取模块（401），用于获取包含移动物体的视频的一帧视频图像；

判断模块（402），基于当前获取的所述视频图像与上一次进行目标跟踪的视频图像的帧数间隔，判断是否需要对当前获取的所述视频图像进行目标跟踪；

第一待拼接图像获取模块（403），在不需要对当前获取的视频图像进行目标跟踪时基于上一次目标跟踪得到的待拼接图像得到新的待拼接图像；

第二待拼接图像获取模块（404），在需要对当前获取的视频图像进行目标跟踪时对当前获取的所述视频图像进行目标跟踪得到新的待拼接图像；以及，

拼接模块（405），用于对得到的所述待拼接图像进行拼接；在对所有的待拼接图像进行拼接后，得到所述移动物体的完整的拼接图像。

9.一种计算机设备，其特征在于：包括存储器和服务器，所述存储器上存储有被服务器加载并执行的如权利要求1至7中任一方法的计算机程序。

10.一种计算机可读存储介质，其特征在于，存储有能够被服务器加载并执行如权利要求1至7中任一方法的计算机程序。

Images