CN110572534A - 全景图像的数字视频稳像方法、装置、设备及存储介质 - Google Patents

全景图像的数字视频稳像方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110572534A
CN110572534A CN201910887072.5A CN201910887072A CN110572534A CN 110572534 A CN110572534 A CN 110572534A CN 201910887072 A CN201910887072 A CN 201910887072A CN 110572534 A CN110572534 A CN 110572534A
Authority
CN
China
Prior art keywords
image
frame
transformation
image sequence
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910887072.5A
Other languages
English (en)
Inventor
高振宇
韩冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dasou Vehicle Software Technology Co Ltd
Original Assignee
Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dasou Vehicle Software Technology Co Ltd filed Critical Zhejiang Dasou Vehicle Software Technology Co Ltd
Priority to CN201910887072.5A priority Critical patent/CN110572534A/zh
Publication of CN110572534A publication Critical patent/CN110572534A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种全景图像的数字视频稳像方法、装置、设备及存储介质。其中，该方法包括：对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数；计算将每帧图像刚性变换到图像序列中的参考帧图像的第二变换参数；根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数；根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列。通过本发明，解决了相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提高了对全景图像序列的去抖动效果。

Description

全景图像的数字视频稳像方法、装置、设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，特别是涉及一种全景图像的数字视频稳像方法、装置、设备及计算机可读存储介质。
背景技术
随着手机上相机的性能越来越好，手机拍摄变得越来越普遍，很多场景下都已经替代了专业相机的地位，然而在运动场景中，人手持摄像机拍摄时，由于人是在运动，拍摄的晃动感极强，拍摄的视频非常抖动，严重影响视频的观看。
相关技术中视频去抖动的方式主要分为机械防抖、光学防抖和电子防抖三类。
机械防抖包括在相机外接三脚架、云台支架来进行物理去抖。然而，外接三脚架来进行去抖不仅成本会增加，而且在需要经常更换拍摄地点的情况下，也会带来不方便的问题。使用云台等支架虽然效果不错，但是成本太高。
光学防抖是通过在相机的镜头内置仪器感应相机的抖动，再通过调整镜头内透镜的位置而达到防抖效果；但是，在镜头内置仪器造成成本上升，并且在手机摄像头有限的空间中增加仪器难度很大。
电子防抖，又称为数字视频稳像，是指对随机抖动或随机运动的摄像机所获取的动态图像序列进行重新修改、排列，使其在显示器上更加平稳地显示的技术。电子防抖能够解决机械防抖或光学防抖导致的成本增加的问题。相关技术中的电子防抖方法，按照固定参考帧图像对图像序列中的每张图像进行运动估计，得到仿射变换矩阵，然后根据该仿射变换矩阵进行仿射变换，实现稳像。
在拍摄全景图像时，用户使用摄像机水平移动或者原地转动的方式拍摄图像。发明人在研究过程中发现，如果采用固定参考帧图像估计全景图像序列中的其他图像，由于摄像机水平移动或者原地转动导致的固定参考帧与其他图像的重叠区域变小，将导致对较长的全景图像序列的去抖动效果不理想。
发明内容
基于此，有必要针对相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提供一种全景图像的数字视频稳像方法、装置、设备及计算存储介质。
根据本发明实施例的一个方面，提供了一种全景图像的数字视频稳像方法，包括：
对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，所述图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；
根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数；
根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数；
根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
在一个实施例中，对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数包括：
在所述图像序列中的第一图像上选取特征点；
在所述图像序列中的第二图像上跟踪所述特征点，得到所述第二图像与所述第一图像中所述特征点的位置关系；其中，所述第一图像为所述第二图像的前一帧图像；
根据所述位置关系，确定将所述第二图像刚性变换为所述第一图像的第一变换参数。
在一个实施例中，根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数包括：
在所述参考帧图像为所述图像序列中的第一帧图像的情况下，将所述图像序列中的每帧图像之前的所有图像对应的第一变换参数进行累加，分别得到所述每帧图像对应的第二变换参数。
在一个实施例中，将一帧图像刚性变换到另一帧图像的变换参数包括：平移量和旋转角度值。
在一个实施例中，根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数包括：
将所述图像序列中的每帧图像对应的第二变换参数按照帧号排序；
分别计算所述每帧图像及其一个或者多个相邻图像对应的第二变换参数的平均值；其中，所述平均值为所述每帧图像对应的第三变换参数。
在一个实施例中，根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列包括：
根据所述每帧图像对应的第三变换参数与第二变换参数的差值，生成用于将所述每帧图像刚性变换到其前一帧图像的仿射变换矩阵；
根据所述仿射变换矩阵，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
在一个实施例中，在根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列之后，所述方法还包括：
对经过仿射变换的图像进行最大内矩形裁剪。
在一个实施例中，在对经过仿射变换的图像进行最大内矩形裁剪之后，所述方法还包括：
判断经过最大内矩形裁剪后的第三图像的尺寸是否小于预设阈值；
在判断为所述第三图像的尺寸小于所述预设阈值的情况下，从经过仿射变换得到的图像序列中删除所述第三图像。
在一个实施例中，在舍弃所述第三图像之后，所述方法还包括：
从删除所述第三图像后得到的图像序列中按照帧号等差选取图像，构成待输出的图像序列。
根据本发明实施例的另一个方面，还提供了一种全景图像的数字视频稳像装置，其包括：
运动轨迹估计模块，用于对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，所述图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；
计算模块，用于根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数；
平滑模块，用于根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数；
仿射变换模块，用于根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
根据本发明实施例的又一个方面，还提供了一种全景图像的数字视频稳像设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的全景图像的数字视频稳像方法。
根据本发明实施例的再一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的全景图像的数字视频稳像方法。
与现有技术相比，通过本发明实施例所提供的全景图像的数字视频稳像方法、装置、设备及存储介质，采用对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；根据第一变换参数集合，计算将每帧图像刚性变换到图像序列中的参考帧图像的第二变换参数；根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数；根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列的方式，解决了相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提高了对全景图像序列的去抖动效果。
附图说明
图1为本发明实施例的一种全景图像的数字视频稳像方法的流程图；
图2为本发明实施例的一种从图像序列中筛选图像的流程图；
图3为本发明实施例的一种计算图像的X坐标的平移量的过程的示意图；
图4为本发明实施例的一种全景图像的数字视频稳像装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
需要说明的是，本发明实施例所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一/第二/第三”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
在一个实施例中提供了一种全景图像的数字视频稳像方法。图1为本发明实施例的一种全景图像的数字视频稳像方法的流程图，如图1所示，该流程包括：
步骤S102，对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合。
步骤S104，根据第一变换参数集合，计算将每帧图像刚性变换到图像序列中的参考帧图像的第二变换参数。
步骤106，根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数。
步骤S108，根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列。
通过上述步骤，在计算每帧图像相对于参考帧图像的仿射变换参数时，采用了对图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数进行累加的计算方式，由于一帧图像相对于其前一帧图像总是存在较大的重叠区域，因此根据这一帧图像和其前一帧图像计算得到的变换参数不容易受到重叠区域变小的影响，因此，保证了对图像序列进行运动轨迹估计的准确性，解决了相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提高了对全景图像序列的去抖动效果。
其中，刚性变换只有平移和旋转变换，形状不变。第一变换参数包括用于将图像序列中的某个图像变换为其前一帧图像所需要进行的平移量(包括X坐标值平移量、Y坐标平移量等)、旋转角度值的参数。
第一变换参数通过对图像序列的运动轨迹的估计确定的。在一个实施例中可以通过以下方式确定第一变换参数中的X坐标的平移量：
步骤1，在图像序列中的第一图像上选取特征点。
其中，特征点是指图像中的一个像素与周围像素都不同的那个点。
步骤2，在图像序列中的第二图像上跟踪与步骤1中选取的特征点相对应的特征点，得到第二图像与第一图像中这些特征点的位置关系；其中，第一图像为第二图像的前一帧图像。
在本步骤中，跟踪特征点可以采用光流算法。光流算法是一种两帧差分的光流估计算法，可以用于估算视频图像中各个像素点在t时刻至t+Δt时刻之间的位置的移动。此外，还能利用光流算法的特性过滤检测失败的点：如果当前图像中的特征点被下一张图像中的另一个对象遮挡，则使用光流算法将无法计算出该特征点的运动，可以认为该特征点检测失败。
步骤3，根据第二图像与第一图像中这些特征点的位置关系，确定将第二图像刚性变换为第一图像的第一变换参数。
在步骤2中得到了第二图像与第一图像特征点的位置关系，在步骤3中则可以通过这两个图像的特征点得到将第一图像映射到第二图像的刚性变换。得到的刚性变换可以分别分解为X坐标的平移量、Y坐标的平移量和旋转角度，该平移量和旋转角度可作为上述的第一变换参数。
可选地，在本实施例中，将一帧图像刚性变换到另一帧图像的变换参数包括但不限于以下至少之一：图像的平移量、图像的旋转角度值等。
在一个实施例中，上述的步骤S104中，在参考帧图像为图像序列中的第一帧图像的情况下，将图像序列中的每帧图像之前的所有图像对应的第一变换参数集合中的平移量进行累加，累加得到的平移量为第二变换参数中的平移量；将图像序列中的每帧图像之前的所有图像对应的第一变换参数集合中的图像的旋转角度值进行累加，累加得到的图像的旋转角度值为第二变换参数中的图像的旋转角度值。与第一变换参数类似地，第二变换参数也包括平移量和旋转角度。上述方式提供了一种计算第二变换参数的方法。
为了方便对变换参数的平滑处理，在步骤S106中，可以将图像序列中的每帧图像对应的第二变换参数按照帧号排序；分别计算每帧图像及其一个或者多个相邻图像对应的第二变换参数的平均值。例如，计算每帧图像及其之前和/或之后的一个或者多个相邻图像对应的第二变换参数中的平移量的平均值，得到的平移量的平均值为每帧图像的第三变换参数中的平移量；计算每帧图像及其之前和/或之后的一个或者多个相邻图像对应的第二变换参数中的图像的旋转角度值的平均值，得到的图像的旋转角度值的平均值为每帧图像的第三变换参数中的图像的旋转角度值。与第一变换参数、第二变换参数类似地，第三变换参数也包括平移量和旋转角度。
对变换参数进行平滑处理的方式有多种，例如可以采用平均滤波器、高斯滤波器、中值滤波器等实现参数平滑处理。在本发明实施例中，采用平均滤波器对第二变换参数进行平滑处理，得到第三变换参数。
在本实施例中采用的平均滤波器根据下列公式计算第三变换参数：
式中，Qn+1表示将图像序列中第n+1帧图像对应的第三变换参数；Rn+1表示图像序列中第n+1帧图像对应的第二变换参数，k为滤波宽度；R1＝0，n和k为整数，且n≥1，k≥2。其中的k为滤波宽度，可以根据实际需求确定k的取值。
进行平滑处理得到的变换参数在本实施例中作为仿射变换将要达到的目标。由于滤波宽度越大，则经过平均滤波器平滑处理后得到的曲线更平滑，仿射变换后得到的图像序列的抖动也就越小；如果将k值选取为图像序列中图像的总数，则所有图像序列的第三变换参数都将被完全平滑为一个相同的值，在图像序列-第三变换参数的关系图上看，第三变换参数在关系图上将会是一条水平线，其值是所有图像序列的第三变换参数的平均值。
在一个实施例中，在步骤S108中，根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列包括：根据每帧图像对应的第三变换参数与第二变换参数的差值，生成用于将每帧图像刚性变换到其前一帧图像的仿射变换矩阵；根据仿射变换矩阵，对图像序列进行仿射变换，得到仿射变换后的图像序列。
如图2所示，是本发明实施例的一种从图像序列中筛选图像的流程图，该流程包括如下步骤：
步骤S202，在对图像序列进行仿射变换，得到仿射变换后的图像序列之后，对经过仿射变换的图像进行最大内矩形裁剪。
可选的，裁剪首先从扫描到图像的四个角，然后根据四个角的坐标计算出最小的裁剪值，左上角和左下角确定左边的裁剪，左上角和右上角确定上边的裁剪，右上角和右下角确定右边的裁剪，左下角和右下角确定下边的裁剪。通过上述方式，使得经过仿射变换后的图像为矩形。
步骤S204，判断经过最大内矩形裁剪后的第三图像的尺寸是否小于预设阈值。
步骤S206，在判断为第三图像的尺寸小于预设阈值的情况下，从经过仿射变换得到的图像序列中删除第三图像。其中，该预设阈值可根据实际情况灵活设置。
通过上述方式，将图像序列中尺寸过小的图像舍弃掉，以保证全景图像整体像素水平。
步骤S208，从删除第三图像后得到的图像序列中按照帧号等差选取图像，构成待输出的图像序列。
通过等差选取图像的方式，使得待输出图像序列中各相邻图像之间的时间差保持一致。
下面以变换参数中的X坐标的平移量为例，对本发明实施例进行描述和说明。
图3为本发明实施例的一种计算图像的X坐标的平移量的过程的示意图，如图3所示，(a)中的每一个圆点表示将一帧图像刚性变换到其前一帧图像时，这一帧图像的X坐标值所需要的平移量(相当于第一变换参数中的X坐标的平移量)，分别为0、1、1、-2、1、-2、-1、0、2、1、1。其中，当这一帧图像为图像序列中的第一张图像时，第一张图像的X坐标值的平移量设置为0。
图3的(b)中的每一个圆点为(a)中该对应圆点及其之前的所有圆点的值累加值，表示将一帧图像刚性变换到第一帧图像时，这一帧图像的X坐标值所需要的平移量(相当于第二变换参数中的X坐标的平移量)，分别为0、1、2、0、1、-1、-2、-2、0、1、2。
图3的(c)中的曲线为对(b)中的曲线进行滤波宽度为2(即k＝2)的平滑处理后的到的新的曲线(曲线上的点相当于第三变换参数中的X坐标的平移量)，这条曲线表示了对图像序列进行仿射变换后X坐标偏离水平线的程度。其中，滤波宽度越大，(c)中曲线偏离水平线的程度越小，图像序列的去抖动效果越好。
图3的(d)中的曲线为将(c)中的曲线上各圆点与(b)中的曲线上各对应的圆点做差后，得到的曲线，表示了(b)中曲线变化为(c)中曲线所需的X坐标的补偿值(相当于第三变换参数中的X坐标的平移量与第二变换参数中的X坐标的平移量的差值)，这些X坐标的补偿值就是对图像序列进行仿射变换的仿射变换参数中X坐标的平移量。
图3的(b)曲线和(c)曲线的平滑程度可以表征图像序列的抖动的程度，根据图3的(b)曲线和(c)曲线可以看出，经过仿射变换后得到的图像序列的抖动明显变小了。
变换参数中的Y坐标的平移量、图像的旋转角度值参数W的计算方式与图3所示的X坐标的平移量的计算方式基本相同，在此不再赘述。
在另一个实施例中还提供了一种全景图像的数字视频稳像装置。图4为本发明实施例的全景图像的数字视频稳像装置的结构框图，如图4所示，该装置包括：
运动轨迹估计模块410，耦合至计算模块420，用于对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合。
计算模块420，耦合至平滑模块430和仿射变换模块440，用于根据第一变换参数集合，计算将每帧图像刚性变换到图像序列中的参考帧图像的第二变换参数。
平滑模块430，耦合至仿射变换模块440，用于根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数。
仿射变换模块440，用于根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列。
与现有技术相比，通过本发明实施例的所提供的全景图像的数字视频稳像装置，运动轨迹估计模块410对图像序列进行运动轨迹估计，得到将图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；然后计算模块420根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列；其次平滑模块430根据每帧图像的一个或者多个相邻图像对应的第二变换参数对每帧图像的第二变换参数进行平滑处理，分别得到每帧图像对应的第三变换参数；仿射变换模块440根据每帧图像对应的第三变换参数与第二变换参数的差值，对图像序列进行仿射变换，得到仿射变换后的图像序列。通过上述装置，解决了相关技术中电子防抖方法对较长的全景图像序列的去抖动效果不理想的问题，提高了对全景图像序列的去抖动效果。
在一个实施例中，运动轨迹估计模块410用于：在图像序列中的第一图像上选取特征点；在图像序列中的第二图像上跟踪特征点，得到第二图像与第一图像中特征点的位置关系；其中，第一图像为第二图像的前一帧图像；根据位置关系，确定将第二图像刚性变换为第一图像的第一变换参数。
在一个实施例中，计算模块420用于：在参考帧图像为图像序列中的第一帧图像的情况下，将图像序列中的每帧图像之前的所有图像对应的第一变换参数进行累加，分别得到每帧图像对应的第二变换参数。
在一个实施例中，将一帧图像刚性变换到另一帧图像的变换参数包括但不限于：平移量和旋转角度值。
在一个实施例中，平滑模块430用于：将图像序列中的每帧图像对应的第二变换参数按照帧号排序；分别计算每帧图像及其一个或者多个相邻图像对应的第二变换参数的平均值；其中，平均值为每帧图像对应的第三变换参数。
在一个实施例中，平滑模块430用于：根据下列公式分别计算每帧图像对应的第三变换参数：
式中，Qn+1表示将图像序列中第n+1帧图像对应的第三变换参数；Rn+1表示图像序列中第n+1帧图像对应的第二变换参数，k为滤波宽度；R1＝0，n和k为整数，且n≥1，k≥2。
在一个实施例中，仿射变换模块440用于：根据每帧图像对应的第三变换参数与第二变换参数的差值，生成用于将每帧图像刚性变换到其前一帧图像的仿射变换矩阵；根据仿射变换矩阵，对图像序列进行仿射变换，得到仿射变换后的图像序列。
在一个实施例中，上述的全景图像的数字视频稳像装置还可以包括裁剪模块，耦合至上述的仿射变换模块440，用于对经过仿射变换的图像进行最大内矩形裁剪。
在一个实施例中，上述的全景图像的数字视频稳像装置还可以包括删除模块，耦合至上述的裁剪模块，用于判断经过最大内矩形裁剪后的第三图像的尺寸是否小于预设阈值，在判断为第三图像的尺寸小于预设阈值的情况下，从经过仿射变换得到的图像序列中删除第三图像。
在一个实施例中，上述的全景图像的数字视频稳像装置还可以包括选取模块，耦合至上述的删除模块，用于从删除第三图像后得到的图像序列中按照帧号等差选取图像，构成待输出的图像序列。
本发明实施例的道全景图像的数字视频稳像装置与上述全景图像的数字视频稳像方法一一对应，在上述全景图像的数字视频稳像装置的实施例阐述的技术特征及其有益效果均适用于全景图像的数字视频稳像装置的实施例中。
在本实施例中还提供了一种全景图像的数字视频稳像设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述的全景图像的数字视频稳像方法的步骤。
本领域普通技术人员可以理解实现上述实施例用于全景图像的数字视频稳像方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一非易失性的计算机可读存储介质中，如实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述基于mesh组网进行视频传输的方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种全景图像的数字视频稳像方法，其特征在于，其包括：
对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，所述图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；
根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数；
根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数；
根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
2.根据权利要求1所述的方法，其特征在于，对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数包括：
在所述图像序列中的第一图像上选取特征点；
在所述图像序列中的第二图像上跟踪所述特征点，得到所述第二图像与所述第一图像中所述特征点的位置关系；其中，所述第一图像为所述第二图像的前一帧图像；
根据所述位置关系，确定将所述第二图像刚性变换为所述第一图像的第一变换参数。
3.根据权利要求1所述的方法，其特征在于，根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数包括：
在所述参考帧图像为所述图像序列中的第一帧图像的情况下，将所述图像序列中的每帧图像之前的所有图像对应的第一变换参数进行累加，分别得到所述每帧图像对应的第二变换参数。
4.根据权利要求1所述的方法，其特征在于，将一帧图像刚性变换到另一帧图像的变换参数包括：平移量和旋转角度值。
5.根据权利要求1所述的方法，其特征在于，根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数包括：
将所述图像序列中的每帧图像对应的第二变换参数按照帧号排序；
分别计算所述每帧图像及其一个或者多个相邻图像对应的第二变换参数的平均值；其中，所述平均值为所述每帧图像对应的第三变换参数。
6.根据权利要求1所述的方法，其特征在于，根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列包括：
根据所述每帧图像对应的第三变换参数与第二变换参数的差值，生成用于将所述每帧图像刚性变换到其前一帧图像的仿射变换矩阵；
根据所述仿射变换矩阵，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
7.根据权利要求1至6中任一项所述的方法，其特征在于，在根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列之后，所述方法还包括：
对经过仿射变换的图像进行最大内矩形裁剪。
8.根据权利要求7所述的方法，其特征在于，在对经过仿射变换的图像进行最大内矩形裁剪之后，所述方法还包括：
判断经过最大内矩形裁剪后的第三图像的尺寸是否小于预设阈值；
在判断为所述第三图像的尺寸小于所述预设阈值的情况下，从经过仿射变换得到的图像序列中删除所述第三图像。
9.根据权利要求8所述的方法，其特征在于，在舍弃所述第三图像之后，所述方法还包括：
从删除所述第三图像后得到的图像序列中按照帧号等差选取图像，构成待输出的图像序列。
10.一种全景图像的数字视频稳像装置，其特征在于，其包括：
运动轨迹估计模块，用于对图像序列进行运动轨迹估计，得到将所述图像序列中的每帧图像刚性变换到其前一帧图像的第一变换参数，其中，所述图像序列中的所有图像对应的第一变换参数有序排列得到第一变换参数集合；
计算模块，用于根据所述第一变换参数集合，计算将所述每帧图像刚性变换到所述图像序列中的参考帧图像的第二变换参数；
平滑模块，用于根据所述每帧图像的一个或者多个相邻图像对应的第二变换参数对所述每帧图像的第二变换参数进行平滑处理，分别得到所述每帧图像对应的第三变换参数；
仿射变换模块，用于根据所述每帧图像对应的第三变换参数与第二变换参数的差值，对所述图像序列进行仿射变换，得到仿射变换后的图像序列。
11.一种全景图像的数字视频稳像设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的全景图像的数字视频稳像方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至9中任一项所述的全景图像的数字视频稳像方法。
CN201910887072.5A 2019-09-19 2019-09-19 全景图像的数字视频稳像方法、装置、设备及存储介质 Pending CN110572534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910887072.5A CN110572534A (zh) 2019-09-19 2019-09-19 全景图像的数字视频稳像方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910887072.5A CN110572534A (zh) 2019-09-19 2019-09-19 全景图像的数字视频稳像方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110572534A true CN110572534A (zh) 2019-12-13

Family

ID=68781080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887072.5A Pending CN110572534A (zh) 2019-09-19 2019-09-19 全景图像的数字视频稳像方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110572534A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质
CN112929562A (zh) * 2021-01-20 2021-06-08 北京百度网讯科技有限公司 视频抖动的处理方法、装置、设备以及存储介质
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114531549A (zh) * 2022-04-22 2022-05-24 浙江大华技术股份有限公司 图像采集方法、电子设备和计算机可读存储介质
CN117575966A (zh) * 2023-11-28 2024-02-20 同济大学 一种用于无人机高空悬停拍摄场景的视频稳像方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、系统及拍摄终端
CN105872345A (zh) * 2015-01-20 2016-08-17 北京理工大学 基于特征匹配的全帧电子稳像方法
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端
CN107316275A (zh) * 2017-06-08 2017-11-03 宁波永新光学股份有限公司 一种光流辅助的大尺度显微图像拼接算法
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN109040575A (zh) * 2017-06-09 2018-12-18 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN110223219A (zh) * 2019-05-22 2019-09-10 北京卡路里信息技术有限公司 3d图像的生成方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872345A (zh) * 2015-01-20 2016-08-17 北京理工大学 基于特征匹配的全帧电子稳像方法
CN105791705A (zh) * 2016-05-26 2016-07-20 厦门美图之家科技有限公司 适用于移动式延时摄影的视频防抖方法、系统及拍摄终端
CN106412441A (zh) * 2016-11-04 2017-02-15 珠海市魅族科技有限公司 一种视频防抖控制方法以及终端
CN107316275A (zh) * 2017-06-08 2017-11-03 宁波永新光学股份有限公司 一种光流辅助的大尺度显微图像拼接算法
CN109040575A (zh) * 2017-06-09 2018-12-18 株式会社理光 全景视频的处理方法、装置、设备、计算机可读存储介质
CN107968916A (zh) * 2017-12-04 2018-04-27 国网山东省电力公司电力科学研究院 一种适用于非固定场景的快速视频稳像方法
CN110223219A (zh) * 2019-05-22 2019-09-10 北京卡路里信息技术有限公司 3d图像的生成方法及装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112508773A (zh) * 2020-11-20 2021-03-16 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112508773B (zh) * 2020-11-20 2024-02-09 小米科技(武汉)有限公司 图像处理方法及装置、电子设备、存储介质
CN112929562A (zh) * 2021-01-20 2021-06-08 北京百度网讯科技有限公司 视频抖动的处理方法、装置、设备以及存储介质
CN112929562B (zh) * 2021-01-20 2023-04-07 北京百度网讯科技有限公司 视频抖动的处理方法、装置、设备以及存储介质
CN112887708A (zh) * 2021-01-22 2021-06-01 北京锐马视讯科技有限公司 视频抖动检测方法和装置、设备及存储介质
CN113794842A (zh) * 2021-11-16 2021-12-14 广东皓耘科技有限公司 视频图像处理方法、装置、系统、电子设备及存储介质
CN114531549A (zh) * 2022-04-22 2022-05-24 浙江大华技术股份有限公司 图像采集方法、电子设备和计算机可读存储介质
CN114531549B (zh) * 2022-04-22 2022-08-09 浙江大华技术股份有限公司 图像采集方法、电子设备和计算机可读存储介质
CN117575966A (zh) * 2023-11-28 2024-02-20 同济大学 一种用于无人机高空悬停拍摄场景的视频稳像方法

Similar Documents

Publication Publication Date Title
CN110572534A (zh) 全景图像的数字视频稳像方法、装置、设备及存储介质
JP4570244B2 (ja) ディジタル画像シーケンス用の自動安定化方法
US8750645B2 (en) Generating a composite image from video frames
KR101041366B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
JP5855445B2 (ja) デジタルイメージ安定化のための、ビデオデータ処理方法及びイメージ処理回路、並びにこれを用いるカメラ
EP3079352B1 (en) Video stabilisation
US9558543B2 (en) Image fusion method and image processing apparatus
KR101023946B1 (ko) 객체 추적을 이용한 디지털 영상의 손떨림 보정 장치 및방법
JP4527152B2 (ja) カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム
KR102182695B1 (ko) 영상 잡음 제거 장치 및 방법
EP2494524A2 (en) Algorithms for estimating precise and relative object distances in a scene
US9253402B2 (en) Video anti-shaking method and video anti-shaking device
KR100793284B1 (ko) 디지털 영상의 손떨림 보정 장치, 방법 및 상기 방법을프로그램화하여 수록한 컴퓨터로 읽을 수 있는 기록매체
WO2013056202A1 (en) Received video stabilisation
WO2017012372A1 (zh) 用于终端的拍照控制方法、装置和终端
KR20180102639A (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US20140368682A1 (en) Real-time image processing method and device
WO2019013217A1 (ja) 補正装置、撮像装置、補正装置の制御方法、および制御プログラム
JP2017175364A (ja) 画像処理装置、撮像装置および画像処理装置の制御方法
KR102003460B1 (ko) 왜곡제거장치 및 방법
JP2018061130A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6282133B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2015079329A (ja) 画像処理装置、画像処理方法およびプログラム
CN112804444A (zh) 一种视频处理方法、装置、计算设备及存储介质
CN112132879A (zh) 一种图像处理的方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213