CN116434128A - 一种基于缓存帧的电子稳像未填充区域的去除方法 - Google Patents

Abstract

本发明涉及图像处理技术领域，具体是一种基于缓存帧的电子稳像未填充区域的去除方法，包括以下操作步骤：对原始视频或视频流的数据逐帧进行稳像计算，计算当前帧的图像映射矩阵，对该帧数据使用映射矩阵进行映射，并以一定系数放大映射后的图像，获得该帧的稳像图像；检查该帧是否存在黑边，若不存在黑边，则该帧作为稳像图像；若存在黑边，则计算消除黑边所需的映射矩阵，并使用该映射矩阵将黑边消除，作为该帧缓存稳像图像，并将该映射矩阵按照预定的分配原则分配到该帧之前稳像图像中；逐帧计算时，当前帧之前的稳像图像为最终稳像图像，可用于显示或存储；本发明能够有效的消除视频中的黑边现象，进而为生成稳定的视频画面。

Description

一种基于缓存帧的电子稳像未填充区域的去除方法

技术领域

本发明涉及图像处理技术领域，具体是一种基于缓存帧的电子稳像未填充区域的去除方法。

背景技术

在视频拍摄的过程中，由于摄像设备的抖动，往往会导致拍摄的视频在成像是出现画面不连贯、不稳定等情况。于是，为了解决这一问题，相关领域的技术人员开发了一种图像算法使视频稳定，即电子稳像。

电子稳像的基本原理是对相机的位置、姿态、路径进行平滑，再将图像重新映射到平滑后的路径并投射在相机的成像平面上，从而去除相机运动、颠簸等导致的图像不稳定的现象。但无论如何映射，原始图像并非在平滑路径上获得的，转换到平滑后的路径上的图像，必然存在视场角的差异，这个差异就导致了电子稳像后的输出图像经常出现未填充区域，通常称为黑边。未填充区域的产生主要是由于相机的成像平面上有部分区域没有出现拍摄的画面，进而导致在成像时，该区域为黑色。

目前常用的去黑边方法是：利用当前帧的临近帧，构建全景图像，以全景数据补全未填充区域并拼接到当前帧上；尽管该方法可以消除黑边，但是在无三维数据支撑的前提下，该方法无法做到无缝拼接，进而导致其拼接区域存在误差。因此，在实际的使用过程中，由于该方法无法提供可靠有效的图像数据，导致产生的画面依旧存在少量的黑边，极大的影响了观感。

发明内容

为了避免和克服现有技术中存在的技术问题，本发明提供了一种基于缓存帧的电子稳像未填充区域的去除方法。本发明能够有效的消除视频中的黑边现象，进而为生成稳定的视频画面。

为实现上述目的，本发明提供如下技术方案：

一种基于缓存帧的电子稳像未填充区域的去除方法，包括以下操作步骤：

S1、对原始视频或原始视频流中的各帧原始图像进行放大处理，并将放大后的原始图像记为放大图像；计算各帧放大图像的映射矩阵，并使用对应的映射矩阵对各帧放大图像进行映射，以获得对应的稳像图像；

S2、使用各帧稳像图像替换原始视频或原始视频流中对应的各帧原始图像，以形成稳像视频或稳像视频流；

S3、逐帧播放稳像视频或稳像视频流，并同时依次超前判断各帧稳像图像是否存在黑边；若不存在黑边，则保存该稳像视频；若存在黑边，则进入步骤S4；

S4、黑边出现在位于当前播放帧之后的最新检测帧中，对该最新检测帧的稳像图像进行旋转和平移处理；处理完成后，获取位于成像平面内的图像，并用该图像替代更新该帧稳像图像；同时将该处理过程中的旋转和平移分配到位于该最新检测帧和当前播放帧之间的各帧稳像图像中，以更新对应的稳像图像；

S5、按步骤S3-S4的操作流程依次检测稳像视频或稳像视频流中所有的稳像图像，检测完成后形成最终稳像视频。

作为本发明再进一步的方案：步骤S1的具体步骤如下：

S11、首先使用摄像设备拍摄，形成原始视频或原始视频流；接着对原始视频或原始视频流进行逐帧分析，以获得K帧原始图像；

S12、以原始图像的中心点为放大原点，分别将对应的各帧原始图像放大B倍；

S13、将放大后的原始图像记为放大图像；

S14、以成像平面的中心点为坐标原点建立平面图像坐标系O _C -X _C Y _C ，X _C 轴水平布置，Y _C 轴铅垂布置；

S15、以放大图像的中心点为旋转原点，分别将对应的各帧放大图像旋转预定的旋转角度A；

S16、使旋转后的各帧放大图像分别沿着X _C 轴移动，并产生横向位移T _x ；

S17、接着使各帧已经沿着X _C 轴移动后的放大图像再沿着Y _C 轴移动，产生纵向位移T _y ，并形成对应的映射矩阵，映射矩阵表示如下：

其中，F为映射矩阵；A为放大图像的旋转角度；T _x 为放大图像的横向位移；T _y 为放大图像的纵向位移；MAP表示使用T _x 、T _y 和A计算映射矩阵F的过程；

S18、在每一帧放大图像经过步骤S14-S17的操作后，同步获取成像平面内的图像，并将该图像记为稳像图像。

作为本发明再进一步的方案：步骤S2的具体步骤如下：

S21、使用生成的各帧稳像图像替换原始视频或原始视频流中的各帧原始图像，以形成新的原始视频或原始视频流；

S22、将步骤S22中新的原始视频或原始视频流记为稳像视频或稳像视频流。

作为本发明再进一步的方案：步骤S3的具体步骤如下：

S31、对稳像视频或稳像视频流进行逐帧播放，播放的同时按预定帧数差依次提前通过检测条件检测各帧稳像图像是否存在黑边；

检测条件表述如下：放大图像横向位移的最大值小于放大图像和成像平面之间的宽度差，且同时放大图像纵向位移的最大值小于放大图像和成像平面之间的长度差；

S32、若稳像视频或稳像视频流中各帧稳像图像对应的放大图像均满足检测条件，则该稳像视频或稳像视频流的各帧稳像图像中不存在黑边，则保存该稳像视频或稳像视频流；

若稳像视频或稳像视频流中各帧稳像图像对应的放大图像并不全部满足检测条件，则稳像视频或稳像视频流中有稳像图像存在黑边；

S33、对稳像视频或稳像视频流中存在黑边的当前最新帧采取对应的处理方式。

作为本发明再进一步的方案：所述检测条件对应的表达式为：

其中，Abs为取绝对值函数；sin为正弦函数；T _x,max 为放大图像横向位移的最大值；T _y,max 为放大图像纵向位移的最大值；A _max 为放大图像旋转角度的最大值；H为成像平面的宽度；W为成像平面的长度；B为原始图像放大的倍数。

作为本发明再进一步的方案：放大图像的旋转角度A、横向位移T _x 和纵向位移T _y 的取值范围如下：

其中，T _x 为横向位移；T _y 为纵向位移；A为旋转角度；T _x,max 为横向位移的最大值；T _y,max 为纵向位移的最大值；A _max 为旋转角度的最大值。

作为本发明再进一步的方案：步骤S4的具体步骤如下：

S41、在稳像视频播放的过程中，检测到存在黑边的最新检测帧位于当前播放帧之后，对该最新检测帧的稳像图像对应的已经旋转和平移过的放大图像按步骤S15-S18进行再次旋转和平移处理，并产生满足检测条件的放大图像横向位移的最大值T _x,max 、纵向位移的最大值T _y,max 、旋转角度的最大值A _max 和该最新检测帧对应的新的稳像图像；

S42、将步骤S42中最新检测帧对应的新的帧稳像图像处理过程中产生的T _x,max 、T _y,max 和A _max 按基本单元依次分配到该最新检测帧和当前播放帧之间的各帧稳像图像对应的放大图像中；为当前播放帧的下一帧只分配一个基本单元，并按播放顺序以当前播放帧的下一帧为数列的第一个元素，以该最新检测帧为数列的最后一个元素，建立等差间距为一个基本单元的等差数列；

S43、在将T _x,max 、T _y,max 和A _max 按照步骤S42分配到对应的放大图像且进行相应的平移和旋转后，同步获取成像平面内的图像，并使用该图像替换对应的稳像图像，以形成新的稳像视频或稳像视频流。

作为本发明再进一步的方案：基本单元表示如下：

其中，E _avg 为基本单元的映射矩阵，m为最新检测帧的帧数，n为当前播放帧的帧数。

作为本发明再进一步的方案：步骤S5具体步骤如下：

对更新后的稳像视频或稳像视频流依次按步骤S31-S33和步骤S41-S43的操作流程依次遍历该稳像视频或稳像视频流中的各帧稳像图像，遍历完成后生成的稳像视频或稳像视频流即为最终稳像视频。

与现有技术相比，本发明的有益效果是：

1、本发明利用缓存帧数据，确认所缓存的K帧内出现黑边的放大图像，再计算该放大图像需要强制调整到图像范围内的平移距离和旋转角度，将该平移距离和旋转角度到对应帧上，从而既保证了较好的稳像效果，又保证了黑边区域的消除。本发明的本质是利用K帧的缓存，获取图像稳像的先验知识，利用该先验知识来处理黑边效果。

附图说明

图1为本发明的流程结构示意图。

图2为本发明的黑边结构示意图。

图3为本发明的放大图像结构示意图。

图4为本发明的稳像图像结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于缓存帧的电子稳像未填充区域的去除方法，包括以下操作步骤：

一、S1、对原始视频或原始视频流中的各帧原始图像进行放大处理，并将放大后的原始图像记为放大图像；计算各帧放大图像的映射矩阵，并使用对应的映射矩阵对各帧原始图像进行映射，以获得对应的稳像图像。

步骤S1的具体步骤如下：

S11、首先使用摄像设备拍摄，形成原始视频或原始视频流；接着对原始视频或原始视频流进行逐帧分析，并获取防抖处理后的原始视频中的任一片段作为视频片段。按图像序列将该视频片段依次分解成K帧原始图像。

无论原始视频中的各帧原始图像如何映射，原始图像并非在平滑路径上获得的，转换到平滑后的路径上的图像，必然存在视场角的差异，这个差异就导致了电子稳像后的输出图像经常出现未填充区域，通常称为黑边未填充区域的产生主要是由于相机的成像平面上有部分区域没有出现拍摄的画面，进而导致在成像时，该区域为黑色，如图2所示。图2中水平布置的内圈矩形为成像平面，倾斜布置外圈矩形的为原始图像。

S12、以原始图像的中心点为放大原点，分别将对应的各帧原始图像放大B倍，如图3所示。此时，由于放大的倍数有限，因此，放大后的原始图像还存在黑边，因此可以进行二次放大，或者是旋转平移。但是一般为了避免图像模糊，主要是选择继续进行旋转平移操作。

S13、将放大后的原始图像记为放大图像。

放大的倍数B，一般在1.1到1.3之间。这样的范围，不会丢失过多的原始图像的视野范围；并且放大的倍数越大，呈现的图像的分辨率越低，进而导致图像模糊，因此合适放大倍数，能够有效的保证成像的质量。

S14、首先以成像平面的中心点为坐标原点建立平面图像坐标系O _C -X _C Y _C ，X _C 轴水平布置，Y _C 轴铅垂布置；

S15、以放大图像的中心点为旋转原点，分别将对应的各帧放大图像旋转预定的旋转角度A；

S16、使旋转后的各帧放大图像分别沿着X _C 轴移动，并产生横向位移T _x ；

S17、接着使各帧已经沿着X _C 轴移动后的放大图像再沿着Y _C 轴移动，并产生纵向位移T _y ；

S18、在每一帧放大图像经过步骤S14-S17的操作后，同步获取成像平面内的图像，并将该图像记为稳像图像，如图4所示。

步骤S1整个过程属于电子稳像中的原始图像映射操作，因此会产生一个映射矩阵F，映射矩阵F具体如下：

其中，F为映射矩阵；A为放大图像的旋转角度；T _x 为放大图像的横向位移；T _y 为放大图像的纵向位移；MAP表示使用T _x 、T _y 和A计算映射矩阵F的过程。

如图4所示，成像平面的长度W，成像平面的宽度为H，外圈矩形为经过放大B倍后的稳像位置，内圈矩形为最终输出图像的范围。当内圈矩形完全包含在外圈矩形内时，则输出图像不存在黑边。记T _x,max 、T _y,max 、A _max 分别为T _x 、T _y 、A为是否存在黑边的临界条件，则可按下式计算：

其中，Abs为取绝对值函数；sin为正弦函数；T _x,max 为放大图像横向位移的最大值；T _y,max 为放大图像纵向位移的最大值；A _max 为放大图像旋转角度的最大值；H为成像平面的宽度；W为成像平面的长度；B为原始图像放大的倍数。

可见，仅仅依靠上述计算公式无法直接求解临界条件，在该类场景中我们可以根据经验或者应用需求再加一个约束方程，如针对大视场角防抖应用，旋转导致的抖动占较大比重，可以设置较大的A _max ，而减少T _x,max 来保证防抖效果：如设置约束为旋转导致的放大图像边界在Y _C 轴方向上增加的投影大小为T _x,max 位移的3倍，则加入约束：

最终即可求得T _x,max 、T _y,max 、A _max 的值。

若稳像后不存在黑边，则需要满足以下条件为：

二、S2、使用各帧稳像图像替换原始视频中对应的各帧原始图像，以形成稳像视频。

步骤S2的具体步骤如下：

S21、使生成的各帧稳像图像与各帧原始图像一一对应并彼此替换，以形成新的原始视频；

S22、将该新的原始视频记为稳像视频。

在将原始视频进行逐帧分析时，一共分成可K帧，设定这K帧原始图像构成了一个队列Q，队列Q中的各帧稳像画面均为更新后的最新的稳像画面。

三、S3、逐帧播放稳像视频，并依次判断各帧稳像图像是否存在黑边；若不存在黑边，则保存该稳像视频；若存在黑边，则进行以下操作。

步骤S3的具体步骤如下：

S31、对稳像视频进行逐帧播放，播放的同时按预定帧数差依次提前通过检测条件检测各帧稳像画面是否存在黑边；这里的预定帧数差，即指的是：最新检测帧按照播放顺序领先于当前播放帧的帧数，可以设定为任意帧，比如1帧、3帧、4帧等。

检测条件表述如下：放大图像横向位移的最大值小于放大图像和成像平面之间的宽度差，且同时放大图像纵向位移的最大值小于放大图像和成像平面之间的长度差。这里所指的稳像视频可以是已经拍摄并存储的视频，此时比较的是当前播放帧和已经缓存但还未播放的各帧之间的情况。也可以是实时视频流，同样是比较当前播放帧和预存的各帧之间存在黑边的情况。因为在播放的过程中，已经播放过的稳像图像在本次播放中是无法进行调整的，唯有未播放的可以进行调整。因此，本发明的方法主要是针对一次播放中当前播放帧之后的各帧稳像图像的处理。经过多次播放即可实现循环处理，进而有效的消除视频中的黑边。

S32、若稳像视频中各帧稳像图像对应的放大图像均满足检测条件，则该稳像视频中没有黑边，于是保存该稳像视频；若稳像视频中各帧稳像图像对应的放大图像并不全部满足检测条件，则该稳像视频中存在黑边；

所述检测条件对应的表达式为：

其中，Abs为取绝对值函数；sin为正弦函数；T _x,max 为横向位移的最大值；T _y,max 为纵向位移的最大值；A _max 为旋转角度的最大值；H为成像平面的宽度；W为成像平面的长度；B为原始图像放大的倍数。

S33、对稳像视频中存在黑边的当前最新帧采取对应的处理方式。

四、S4、黑边出现在位于当前播放帧之后的最新检测帧中，对该最新检测帧的稳像图像进行旋转和平移处理；处理完成后，获取位于成像平面内的图像，并用该图像替代更新该帧稳像图像；同时将该处理过程中的旋转和平移分配到位于该帧稳像图像和当前播放帧之间的各帧稳像图像中，以更新对应的稳像图像。

步骤S4的具体步骤如下：

S41、在稳像视频播放的过程中，检测到存在黑边的最新检测帧位于当前播放帧之后，对该最新检测帧的稳像图像对应的已经旋转和平移过的放大图像按步骤S15-S8进行再次旋转和平移处理，并产生满足检测条件对应的横向位移的最大值T _x,max 、纵向位移的最大值T _y,max 、旋转角度的最大值A _max 和新的稳像图像；

S42、将该帧稳像图像处理过程中产生的T _x,max 、T _y,max 和A _max 按基本单元依次分配到该帧稳像图像和当前播放帧之间的各帧稳像图像对应的放大图像中；基本单元表示如下：

其中，E _avg 为基本单元，m为最新检测帧的帧数，n为当前播放帧的帧数。

为当前播放帧的下一帧只分配一个基本单元，并使当前播放帧到最新检测帧，以及两者之间的各帧构成按播放顺序由小到大且等差间距为一个基本单元的等差数列形式；

S43、在将T _x,max 、T _y,max 和A _max 分配到对应的放大图像后，同步获取成像平面内的图像，并使用该图像替换对应的稳像图像，以形成新的稳像图像及对应的稳像视频。

五、S5、按步骤S3-S4的操作流程依次检测稳像视频或稳像视频流中的所有稳像图像，检测完成后形成最终稳像视频。

第四步和第五步的操作是为了对稳像视频中仍然存在黑边的稳像图像进行和前面对应步骤中相同的去黑边处理方式，并且在处理的过程中用矩阵Error来表征对应的映射矩阵。若稳像图像存在黑边，计算矩阵Error，代表内圈矩形超出稳像图像边界后，需要将稳像图像通过矩阵Error进行映射，才能将稳像图像拉回到正常图像范围内。

其中，MAP表示使用T _x 、T _y 和A计算映射矩阵F的过程。E代表由当前的映射矩阵F和恰好不超出成像平面边界的映射矩阵F _i,k,max 计算得到矩阵Error _i,k 的操作；T _i,k,x,max 表示在第i次检测过程中第k帧稳像图像的横向位移的最大值，T _i,k,y,max 表示在第i次检测过程中第k帧稳像图像的纵向位移的最大值，A _i,k,max 表示在第i次检测过程中第k帧稳像图像的旋转角度的最大值，Error _i,k 表示在第i次检测过程中第k帧稳像图像的映射矩阵。

步骤S5具体步骤如下：

对更新后的稳像视频或稳像视频流依次按S31-S33和S41-S43的操作步骤依次遍历该稳像视频或稳像视频流中的各帧稳像图像，遍历完成后生成最终稳像视频。

整个方法的操作原理如下：

对摄像设备拍摄的原始视频进行数字视频防抖处理，即电子稳像处理。电子稳像处理的基本原理是对相机的位置、姿态、路径进行平滑，再将图像重新映射到平滑后的路径并投射在相机的成像平面上，从而去除相机运动、颠簸等导致的图像不稳定的现象。但无论如何映射，原始图像并非在平滑路径上获得的，转换到平滑后的路径上的图像，必然存在视场角的差异，这个差异就导致了电子稳像后的输出图像经常出现未填充区域，通常称为黑边。

以成像平面的中心点为坐标原点建立平面图像坐标系O _C -X _C Y _C ，X _C 轴水平布置，Y _C 轴铅垂布置；再对已经经过数字视频稳定防抖处理的原始视频进行逐帧分析，一共分成了K帧原始图像，对这K帧原始图像分别进行放大、旋转和平移，并产生对应的放大倍数B、横向位移T _x 、纵向位移T _y 和旋转角度A。

当上述放大、旋转和平移完成之后，此时获取成像平面内的图像，并将该图像记为稳像图像。原始图像在没有任何影响的情况下，其大小和形状与成像平面的大小和形状是完全相同的，但是由于抖动，导致原本完全重合的两个矩形面出现了交叉的情况。此时将原始图像放大，再通过平移和旋转，进而使矩形的成像平面完全包含在处理后的原始图像中，进而消除黑边。

使用稳像图像替代之前的原始视频中的原始图像，进而构成了稳像视频。接着逐帧播放稳像视频，播放的同时对各帧稳像图像进行超前检测，检测是否存在黑边，即检测的速度大于播放的速度，并且按照预定帧数差进行播放，通过检测条件进行检测。在第一次检测过程中，当检测到稳像图像存在黑边时，在之前已经旋转和平移的基础之上再次进行旋转和平移，接着产生横向位移的最大值T _1,k,x,max 、纵向位移的最大值T _1,k,y,max 和旋转角度的最大值A _1,k,max ，其中，T _1,k,x,max 表示在第1次检测过程中第k帧稳像图像的横向位移的最大值，T _1,k,y,max 表示在第1次检测过程中第k帧稳像图像的纵向位移的最大值，A _1,k,max 表示在第1次检测过程中第k帧稳像图像的旋转角度的最大值。

按照这种方式对各帧稳像图像进行检测。当检测到存在黑边的稳像图像位于当前正在播放的图像之后，并产生满足检测条件对应的横向位移的最大值T _i,x,max 、纵向位移的最大值T _i,y,max 、旋转角度的最大值A _i , _max 和新的稳像图像；

将该帧稳像图像处理过程中产生的T _i , _x,max 、T _i , _y,max 和A _i , _max 按基本单元依次分配到该帧稳像图像和当前播放帧之间的各帧稳像图像对应的放大图像中；为当前播放帧的下一帧只分配一个基本单元，并使当前播放帧到最新检测帧之间的各帧构成按播放顺序由小到大且等差间距为一个基本单元的等差数列形式；即当前播放帧的下一帧为等差数列的第一个元素，该元素的取值为一个基本单元，最新检测帧为等差数列的最后一个元素，该元素的值为对应数量的基本单元，进而构成一个等差数列。

比如在第一次检测时，只有第3帧和第5帧稳像图像出现了黑边，当前播放帧为第1帧稳像图像，该视频一共只有5帧，于是此时产生的参数分别为：

第3帧：T ₁ , _3,x,max 、T ₁ , _3,y,max 和A ₁ , _3,max ；E _avg,1,3；

第5帧：T _1,5,x,max 、T _1,5,y,max 、A _1,5,max ；E _avg,1,5；

按照上述的分配方式进行分配：

将第3帧的旋转和平移分给第2帧的帧稳像画面上，将该分配情况存放在第1队列P ₁中。

接着将第5帧的旋转和平移分给第2帧到第4帧之间的各帧稳像画面上，将该分配情况存放在第2队列P ₂中。即先对出现黑边的各帧稳像画面进行旋转和平移，再按照顺序依次将各个旋转和平移进行的分配，并存放在相应的队列中。

具体如表1所示：

表1 第1次检测中旋转和平移的队列信息

按照表1中的均分方式，在第一次检测中一共形成了P ₁、P ₂两个队列，将这两个队列存在链表L中。接着进行第2次、第3次等检测，并将生成的队列依次存放在链表L中。当检测一定的次数之后，遍历链表L中的所有队列，并对所有队列由上而下依次进行累加，则对应的各帧稳像画面就会产生累加的旋转和平移，进而更新形成新的稳像视频。此时再逐帧播放该稳像视频，若没有黑边，则稳像视频处理完成，若是还存在黑边，则反复进行上面的操作，直到没有黑边为止。

实施例：设定放大系数B为1.3；缓存的帧数为4帧，即K=4。防抖算法仅考虑上述刚性变换模型时：

防抖算法得到的当前最新帧的防抖参数输出（T _x ,T _y ,A）分别为(375,126,9.18)。经过防抖处理后的4帧原始图像中，在最新检测帧为第4帧时，并且在第4帧出现了黑边，此时设定的预定帧数差为4，即此时稳像视频还没有播放，m=4，n=0；因此通过检测条件可得：

通过检测条件计算出：

T ₁ , _4,x,max =439.3125，T ₁ , _3,y,max =81，A ₁ , _3,max =7.27。

计算得到基本单元：

分配情况如表2所示：

表2 实施例中旋转和平移的队列信息

通过将导致黑边产生的位移角度平均到所缓存的4帧图像上，即将原始防抖输出逐渐下移，且逆时针旋转，可缓解最新帧时刻的黑边问题。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，包括以下操作步骤：

S1、对原始视频或原始视频流中的各帧原始图像进行放大处理，并将放大后的原始图像记为放大图像；计算各帧放大图像的映射矩阵，并使用对应的映射矩阵对各帧放大图像进行映射，以获得对应的稳像图像；

S2、使用各帧稳像图像替换原始视频或原始视频流中对应的各帧原始图像，以形成稳像视频或稳像视频流；

S3、逐帧播放稳像视频或稳像视频流，并同时依次超前判断各帧稳像图像是否存在黑边；若不存在黑边，则保存该稳像视频；若存在黑边，则进入步骤S4；

S4、黑边出现在位于当前播放帧之后的最新检测帧中，对该最新检测帧的稳像图像进行旋转和平移处理；处理完成后，获取位于成像平面内的图像，并用该图像替代更新该帧稳像图像；同时将该处理过程中的旋转和平移分配到位于该最新检测帧和当前播放帧之间的各帧稳像图像中，以更新对应的稳像图像；

S5、按步骤S3-S4的操作流程依次检测稳像视频或稳像视频流中所有的稳像图像，检测完成后形成最终稳像视频。

2.根据权利要求1所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S1的具体步骤如下：

S11、首先使用摄像设备拍摄，形成原始视频或原始视频流；接着对原始视频或原始视频流进行逐帧分析，以获得K帧原始图像；

S12、以原始图像的中心点为放大原点，分别将对应的各帧原始图像放大B倍；

S13、将放大后的原始图像记为放大图像；

S14、以成像平面的中心点为坐标原点建立平面图像坐标系O _C -X _C Y _C ，X _C 轴水平布置，Y _C 轴铅垂布置；

S15、以放大图像的中心点为旋转原点，分别将对应的各帧放大图像旋转预定的旋转角度A；

S16、使旋转后的各帧放大图像分别沿着X _C 轴移动，并产生横向位移T _x ；

S17、接着使各帧已经沿着X _C 轴移动后的放大图像再沿着Y _C 轴移动，产生纵向位移T _y ，并形成对应的映射矩阵，映射矩阵表示如下：

其中，F为映射矩阵；A为放大图像的旋转角度；T _x 为放大图像的横向位移；T _y 为放大图像的纵向位移；MAP表示使用T _x 、T _y 和A计算映射矩阵F的过程；

S18、在每一帧放大图像经过步骤S14-S17的操作后，同步获取成像平面内的图像，并将该图像记为稳像图像。

3.根据权利要求2所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S2的具体步骤如下：

S21、使用生成的各帧稳像图像替换原始视频或原始视频流中的各帧原始图像，以形成新的原始视频或原始视频流；

S22、将步骤S22中新的原始视频或原始视频流记为稳像视频或稳像视频流。

4.根据权利要求3所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S3的具体步骤如下：

S31、对稳像视频或稳像视频流进行逐帧播放，播放的同时按预定帧数差依次提前通过检测条件检测各帧稳像图像是否存在黑边；

检测条件表述如下：放大图像横向位移的最大值小于放大图像和成像平面之间的宽度差，且同时放大图像纵向位移的最大值小于放大图像和成像平面之间的长度差；

S32、若稳像视频或稳像视频流中各帧稳像图像对应的放大图像均满足检测条件，则该稳像视频或稳像视频流的各帧稳像图像中不存在黑边，则保存该稳像视频或稳像视频流；

若稳像视频或稳像视频流中各帧稳像图像对应的放大图像并不全部满足检测条件，则稳像视频或稳像视频流中有稳像图像存在黑边；

S33、对稳像视频或稳像视频流中存在黑边的当前最新帧采取对应的处理方式。

5.根据权利要求4所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，所述检测条件对应的表达式为：

其中，Abs为取绝对值函数；sin为正弦函数；T _x,max 为放大图像横向位移的最大值；T _y,max 为放大图像纵向位移的最大值；A _max 为放大图像旋转角度的最大值；H为成像平面的宽度；W为成像平面的长度；B为原始图像放大的倍数。

6.根据权利要求5所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，放大图像的旋转角度A、横向位移T _x 和纵向位移T _y 的取值范围如下：

其中，T _x 为横向位移；T _y 为纵向位移；A为旋转角度；T _x,max 为横向位移的最大值；T _y,max 为纵向位移的最大值；A _max 为旋转角度的最大值。

7.根据权利要求6所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S4的具体步骤如下：

S41、在稳像视频播放的过程中，检测到存在黑边的最新检测帧位于当前播放帧之后，对该最新检测帧的稳像图像对应的已经旋转和平移过的放大图像按步骤S15-S18进行再次旋转和平移处理，并产生满足检测条件的放大图像横向位移的最大值T _x,max 、纵向位移的最大值T _y,max 、旋转角度的最大值A _max 和该最新检测帧对应的新的稳像图像；

S42、将步骤S42中最新检测帧对应的新的帧稳像图像处理过程中产生的T _x,max 、T _y,max 和A _max 按基本单元依次分配到该最新检测帧和当前播放帧之间的各帧稳像图像对应的放大图像中；为当前播放帧的下一帧只分配一个基本单元，并按播放顺序以当前播放帧的下一帧为数列的第一个元素，以该最新检测帧为数列的最后一个元素，建立等差间距为一个基本单元的等差数列；

S43、在将T _x,max 、T _y,max 和A _max 按照步骤S42分配到对应的放大图像且进行相应的平移和旋转后，同步获取成像平面内的图像，并使用该图像替换对应的稳像图像，以形成新的稳像视频或稳像视频流。

8.根据权利要求7所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，基本单元表示如下：

其中，E _avg 为基本单元的映射矩阵，m为最新检测帧的帧数，n为当前播放帧的帧数。

9.根据权利要求8所述的一种基于缓存帧的电子稳像未填充区域的去除方法，其特征在于，步骤S5具体步骤如下：

对更新后的稳像视频或稳像视频流依次按步骤S31-S33和步骤S41-S43的操作流程依次遍历该稳像视频或稳像视频流中的各帧稳像图像，遍历完成后生成的稳像视频或稳像视频流即为最终稳像视频。

Images