CN112929562B - 视频抖动的处理方法、装置、设备以及存储介质 - Google Patents

视频抖动的处理方法、装置、设备以及存储介质 Download PDF

Info

Publication number
CN112929562B
CN112929562B CN202110077307.1A CN202110077307A CN112929562B CN 112929562 B CN112929562 B CN 112929562B CN 202110077307 A CN202110077307 A CN 202110077307A CN 112929562 B CN112929562 B CN 112929562B
Authority
CN
China
Prior art keywords
image
frame image
shake correction
parameter
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110077307.1A
Other languages
English (en)
Other versions
CN112929562A (zh
Inventor
孙高峰
何栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110077307.1A priority Critical patent/CN112929562B/zh
Publication of CN112929562A publication Critical patent/CN112929562A/zh
Application granted granted Critical
Publication of CN112929562B publication Critical patent/CN112929562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及视频抖动的处理方法、装置、设备、存储介质以及计算机程序产品，涉及人工智能技术领域，具体为计算机视觉领域和深度学习领域。具体实现方案为：获取待处理视频，待处理视频包括多帧图像；对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；利用特征点位移参数对非首帧图像进行抖动修正。通过上述修正，可以使非首帧图像中的各像素点与参照图像近似，从而可以克服视频的抖动问题。

Description

视频抖动的处理方法、装置、设备以及存储介质
技术领域
本公开涉及人工智能技术领域，具体为计算机视觉领域和深度学习领域。
背景技术
随着智能手机、摄像机、航拍器等具有摄像功能的电子设备的普及，更多的用户习惯于利用上述具有摄像功能的电子设备拍摄视频作品。但在拍摄过程中，由于环境不稳定，容易造成视频画面出现抖动，从而影响视频作品的美观度。
发明内容
本公开提供了一种视频抖动的处理方法、装置、设备、存储介质以及计算机程序产品。
根据本公开的一方面，提供了一种视频抖动的处理方法，该方法可以包括以下步骤：
获取待处理视频，待处理视频包括多帧图像；
对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
利用特征点位移参数对非首帧图像进行抖动修正。
根据本公开的另一方面，提供了一种视频抖动的处理装置，该装置可以包括以下组件：
待处理视频获取模块，用于获取待处理视频，待处理视频包括多帧图像；
特征点位移参数确定模块，用于对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
抖动修正模块，用于利用特征点位移参数对非首帧图像进行抖动修正。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行本公开任一实施例中的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本公开任一实施例中的方法。
根据本公开的技术，通过上述抖动修正，可以使非首帧图像中的各像素点与参照图像近似，从而可以克服视频的抖动问题。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开视频抖动的处理方法的流程图；
图2是根据本公开确定特征点位移参数的示意图；
图3是根据本公开相邻两帧图像中的特征点的示意图；
图4是根据本公开确定特征点位移参数的示意图；
图5是根据本公开抖动修正的流程图；
图6是根据本公开抖动修正的流程图；
图7是根据本公开由于抖动产生图像掩膜的示意图；
图8是根据本公开确定图像掩膜的流程图；
图9是根据本公开图像掩膜消除处理的流程图；
图10是根据本公开多个图像的图像掩膜的交集的示意图；
图11是根据本公开待处理视频的确定方式的流程图；
图12是根据本公开对原视频的所有帧图像进行相似度识别的示意图；
图13是根据本公开视频抖动的处理装置的示意图；
图14是用来实现本公开实施例的视频抖动的处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
如图1所示，本申请提供一种视频抖动的处理方法，该方法可以包括以下步骤：
S101：获取待处理视频，待处理视频包括多帧图像；
S102：对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
S103：利用特征点位移参数对非首帧图像进行抖动修正。
本申请的执行主体可以是具有摄像功能的电子设备，也可以是具有视频编辑或处理功能的电子设备等。
电子设备获取待处理视频，待处理视频可以是在时间维度连续的多帧(视频)图像，例如可以包括从t0时刻至tn时刻的多帧图像，其中，n为正整数。
在多帧图像中，可以选择至少一帧参照图像。例如，对于ti时刻的第i帧图像(1＜i＜n)，可以以第1帧图像作为参照图像，也可以以第i-1帧图像作为参照图像，或者，还可以以第i帧图像之前的任意一帧图像作为参照图像。
在本公开涉及的实施例中，以参照图像为待处理视频的第1帧图像为例进行说明。
在i为2的情况下，可以根据第2帧图像中的特征点相对于第1帧图像中的对应特征点的偏移情况，直接确定第2帧图像的特征点位移参数。
在i大于2的情况下，可以先根据第i帧图像中的特征点相对于第i-1帧图像中的对应特征点的偏移情况，确定第i帧图像的第一参数。第一参数用于表征第i帧图像中的特征点相对于第i-1帧图像中的对应特征点的偏移情况。
利用第i帧图像的第一参数，以及在i帧图像之前的至少一帧图像的第一参数，可以确定出第i帧图像相对于第1帧图像中的特征点的偏移情况。利用该特征点的偏移情况，即可确定出第i帧图像相对于第1帧图像的特征点位移参数。
由于特征点位移参数用于表征第i帧图像中的特征点相对于参照图像中对应特征点的偏移情况。利用该偏移情况，可以对第i帧图像中的像素点进行抖动修正，以使第i帧图像中的像素点与参照图像中对应的像素点的偏差在允许范围内。上述修正可以是移动修正、旋转修正等，也可以是对像素点的位置进行位移等。
通过上述修正，可以使非首帧图像中的像素点与参照图像近似，从而可以克服视频的抖动问题。
结合图2所示，在一种实施方式中，在非首帧图像为第i帧图像的情况下，步骤S102中的确定非首帧图像相对于参照图像的特征点位移参数，具体可以包括以下步骤：
S201：确定第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；i为大于2的整数；
S202：利用位移变化，确定第i帧图像的第一参数，第一参数用于表征第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；
S203：利用第一参数，确定第i帧图像相对于参照图像的特征点位移参数。
结合图3所示，对于相邻的第i帧图像和第i-1帧图像，可以确定出两帧图像中相同的特征点。例如，特征点可以是车辆和/或行人的轮廓点，或者可以是行人的五官标记点等。根据相邻两帧图像上特征点坐标之间的差异情况，可以计算第i帧图像中的特征点相对于第i-1帧图像中的对应特征点之间的单应性矩阵Hi。单应性矩阵Hi可以是一个3x3的矩阵，矩阵中一共有9个元素。上述9个元素用于表征特征点在两帧图像之间的位置变化情况。可以利用单应性矩阵Hi表示第i帧图像中的特征点相对于第i-1帧图像中对应的特征点的位移变化，即第一参数。
以参照图像为第1帧图像为例，在i为2的情况下，单应性矩阵H2既可以表示第2帧图像的第一参数，也可以表示第2帧图像相对于第1帧图像的特征点位移参数。
在i大于2的情况下，则需要进行二次计算以确定第i帧图像相对于第1帧图像的特征点位移参数。
二次计算需要利用第i帧图像的第一参数。例如，可以以第i帧图像的第一参数(Hi)与第i-1帧图像的第一参数(Hi-1)的乘积，作为第i帧图像相对于第1帧图像的特征点位移参数。
即，通过将相邻2帧图像的第一参数进行级联，可以得到第i帧图像相对于第1帧图像的特征点位移参数，第i帧图像相对于第1帧图像的特征点位移参数可以标记为Si，即Si＝Hi×Hi-1×H1。
式中，H1可以表示为单位矩阵，即对角线为1，其余位置为0的矩阵，对应的，Si可以表示为Hi与Hi-1的级联矩阵。
通过上述方案，可以利用相邻帧图像之间的级联关系，确定出非首帧图像与参考图像之间的特征点位移变化情况。基于该位移变化情况，可以为后续图像的抖动修正提供基础。
结合图4所示，在一种实施方式中，步骤S203的利用第一参数，确定第i帧图像相对于参照图像的特征点位移参数，可以具体包括以下步骤：
S401：获取位于参照图像和第i帧图像之间的每帧图像的第一参数；
S402：将第i帧图像的第一参数，以及参照图像和第i帧图像之间的每帧图像的第一参数的乘积，作为第i帧图像相对于参照图像的特征点位移参数。
仍以参照图像为第1帧图像为例，可以获取第1帧图像至第i帧图像之间的每帧图像的第一参数(H2、H3、…、Hi-1)。计算第i帧图像的第一参数，以及每帧图像的第一参数的乘积，将乘积结果作为第i帧图像相对于参照图像的特征点位移参数(Si)。
即，Si＝H1×H2×…×Hi-1×Hi。与前述示例相同，H1可以表示为单位矩阵，即对角线为1，其余位置为0的矩阵。Si可以表示为H1、H2、……、Hi的级联矩阵。
由此，可以利用参照图像和第i帧图像之间的每帧图像的第一参数，确定出第i帧图像相对于参照图像的特征点位移参数。
结合图5所示，在一种实施方式中，在非首帧图像为第m帧图像的情况下，m为大于1的整数，步骤S103中涉及的利用特征点位移参数对非首帧图像进行抖动修正，具体可以包括以下步骤：
S501：获取与第m帧图像相邻的预定数量的非首帧图像；
S502：利用预定数量的非首帧图像中的每个图像相对于参照图像的特征点位移参数，对第m帧图像相对于参照图像的特征点位移参数进行优化；
S503：利用优化的结果确定抖动修正参数；
S504：利用抖动修正参数对第m帧图像进行抖动修正。
可以采用滑窗的方式对第m帧图像相对于参照图像的特征点位移参数进行优化。具体可以采用以下公式：
Figure BDA0002907998400000061
式中，SSm可以表示优化结果，N可以表示窗口大小，即每次划窗时所选择的与第m帧图像相邻的预定数量的非首帧图像。在当前实施例中，每次滑窗可以选择与第m帧图像前后相邻的各N帧图像。Sm可以表示第m帧图像相对于参照图像的特征点位移参数。
滑窗的目的在于，对包含第m帧图像在内的2N+1帧图像中的每帧图像相对于参照图像的特征点位移参数进行求均值计算。将求均值计算的结果作为对第m帧图像相对于参照图像的特征点位移参数进行优化的结果。
利用优化的结果进行仿射变换，可以得到仿射变换矩阵。仿射变换矩阵即可以对应于抖动修正参数。根据抖动修正参数(仿射变换矩阵)，对第m帧图像的像素点进行抖动修正，可以得到修正后第m帧图像。本示例中的m和前述示例中的i，均用于表示待处理视频中各帧图像的序号。
通过上述方案，即可实现对于非首帧图像的抖动修正，以满足视频图像的防抖效果。
结合图6所示，在一种实施方式中，步骤S103中涉及的利用特征点位移参数对非首帧图像进行抖动修正，还可以包括以下步骤：
S601：在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜；
S602：对抖动修正后的图像进行图像掩膜消除处理，将图像掩膜消除处理后的图像作为抖动修正的结果。
结合图7所示，图7中的示例为左右抖动的情况。图7中左侧示意图为抖动修正前，图7中右侧示意图为抖动修正后。通过图7所示可以看出，在对非首帧图像进行抖动修正后，会出现图像掩膜。
由于图像掩膜的存在，会影响图像的美观。基于此，可以通过对图像掩膜消除处理的方式，提高图像的美观性。消除的方式可以采用图像剪切或对图像掩膜区域进行重新上色等。将图像掩膜消除处理后的图像作为抖动修正的结果。
通过上述方案，在出现图像掩膜的情况下，通过对图像进行图像掩膜消除处理，可以进一步提高图像抖动修正的美观性。
结合图8所示，在一种实施方式中，步骤S601所涉及的在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜，可以具体包括以下子步骤：
S801：获取抖动修正前的图像的顶点坐标；
S802：将抖动修正前的图像的顶点坐标映射至抖动修正后的图像中，确定抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差；
S803：利用偏差确定出由于抖动修正产生的图像掩膜。
利用前述的仿射变换矩阵，可以将抖动修正前的图像的顶点坐标映射至抖动修正后的图像中。基于抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差，即可确定出由于抖动修正产生的图像掩膜。
例如，抖动修正前的图像的四个顶点(图7左则示意图中的A、B、C、D)坐标分别表示为D(0,0)、C(w,0)、B(w,h)、A(0,h)。其中h和w表示待处理视频的高度和宽度。进行投影后，四个顶点在抖动修正后的图像中记为D’、C’、B’、A’。
建立二值矩阵Mlk。该矩阵是h×w的矩阵。其中，0＜l＜h，0＜k＜w，且l、k为整数。二值矩阵中每个元素取值为0或者1。在像素点对应图像的掩膜区域的情况下，二值矩阵Mlk中的元素取值为0，否则取值为1。
通过建立二值矩阵的方式，可以确定出由于抖动修正产生的图像掩膜。
结合图9所示，在一种实施方式中，在多个抖动修正后的图像存在图像掩膜的情况下，步骤S602中涉及的对抖动修正后的图像进行图像掩膜消除处理，具体可以包括以下步骤：
S901：计算多个图像掩膜的交集；
S902：根据交集，对抖动修正后的图像进行剪切，将剪切后的图像作为图像掩膜消除处理的结果。
结合图10所示，例如存在n个图像存在图像掩膜。可以计算n个图像的图像掩膜的交集。
进一步的，可以利用确定图像掩膜的交集内部的最大内接矩形的方式，确定视频图像的剪裁标准。
对于视频中的各帧图像，可以根据前述最大内接矩形进行剪裁。对于剪裁后的图像，进行缩放处理，以将其复原至初始大小。
通过上述方式，可以消除由于抖动修正所造成的图像掩膜，从而可以提高抖动修正的质量。
结合图11所示，在一种实施方式中，待处理视频的确定方式，包括：
S1101：对原视频的所有帧图像进行相似度识别；
S1102：将相似度差异在阈值范围内的图像组成待处理视频。
结合图12所示，对于原视频的所有帧图像进行相似度识别。相似度识别的方式可以包括：对每帧图像进行前景和背景识别，以确定图像中的对象。将每帧图像中的对象进行相似度识别，相似度差异在阈值范围内的图像作为同一场景下的图像，进而可以将同一场景下的多个图像组成待处理视频。
另外，相似度识别还可以利用图像的像素点进行像素点比较。例如，比较相邻多帧图像的像素点差异，在差异度小于对应阈值的情况下，将前述参与相似度比较的相邻多帧图像组成待处理视频。
通过对原视频进行拆分，拆分为多个待处理视频片段。可以大幅提高对每个待处理视频片段的抖动修正效率。
如图13所示，本公开还涉及一种视频抖动的处理装置，该装置可以包括以下组件：
待处理视频获取模块1301，用于获取待处理视频，待处理视频包括多帧图像；
特征点位移参数确定模块1302，用于对于待处理视频的非首帧图像，确定非首帧图像相对于参照图像的特征点位移参数，参照图像为待处理视频中的图像；
抖动修正模块1303，用于利用特征点位移参数对非首帧图像进行抖动修正。
在一种实施方式中，非首帧图像为第i帧图像的情况下，特征点位移参数确定模块1302，可以进一步包括：
特征点的位移变化确定子模块，用于确定第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；i为大于2的整数；
第一参数确定子模块，用于利用位移变化，确定第i帧图像的第一参数，第一参数用于表征第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；
特征点位移参数确定子模块，用于利用第一参数，确定第i帧图像相对于参照图像的特征点位移参数。
在一种实施方式中，特征点位移参数确定子模块，包括：
第一参数获取单元，用于获取位于参照图像和第i帧图像之间的每帧图像的第一参数；
特征点位移参数确定执行单元，用于将第i帧图像的第一参数，以及参照图像和第i帧图像之间的每帧图像的第一参数的乘积，作为第i帧图像相对于参照图像的特征点位移参数。
在一种实施方式中，在非首帧图像为第m帧图像的情况下，m为大于1的整数，抖动修正模块1303可以进一步包括：
相邻图像获取子模块，用于获取与第m帧图像相邻的预定数量的非首帧图像；
特征点位移参数优化子模块，用于利用预定数量的非首帧图像中的每个图像相对于参照图像的特征点位移参数，对第m帧图像相对于参照图像的特征点位移参数进行优化；
抖动修正参数确定子模块，用于利用优化的结果确定抖动修正参数；
抖动修正执行子模块，用于利用抖动修正参数对第m帧图像进行抖动修正。
在一种实施方式中，抖动修正模块1303还可以进一步包括：
图像掩膜确定子模块，用于在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜；
图像掩膜消除子模块，用于对抖动修正后的图像进行图像掩膜消除处理，将图像掩膜消除处理后的图像作为抖动修正的结果。
在一种实施方式中，图像掩膜确定子模块可以进一步包括：
顶点坐标获取单元，用于获取抖动修正前的图像的顶点坐标；
顶点坐标的偏差确定单元，用于将抖动修正前的图像的顶点坐标映射至抖动修正后的图像中，确定抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差；
图像掩膜确定执行单元，用于利用偏差确定出由于抖动修正产生的图像掩膜。
在一种实施方式中，在多个抖动修正后的图像存在图像掩膜的情况下，图像掩膜消除子模块，包括：
图像掩膜交集计算单元，用于计算多个图像掩膜的交集；
图像掩膜消除执行单元，用于根据交集，对抖动修正后的图像进行剪切，将剪切后的图像作为图像掩膜消除处理的结果。
在一种实施方式中，还包括：
相似度识别模块，用于对原视频的所有帧图像进行相似度识别；
待处理视频生成模块，用于将相似度差异在阈值范围内的图像组成待处理视频。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图14示出了可以用来实施本公开的实施例的电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图14所示，电子设备1400包括计算单元1410，其可以根据存储在只读存储器(ROM)1420中的计算机程序或者从存储单元1480加载到随机访问存储器(RAM)1430中的计算机程序来执行各种适当的动作和处理。在RAM 1430中，还可存储设备1400操作所需的各种程序和数据。计算单元1410、ROM 1420以及RAM 1430通过总线1440彼此相连。输入输出(I/O)接口1450也连接至总线1440。
电子设备1400中的多个部件连接至I/O接口1450，包括：输入单元1460，例如键盘、鼠标等；输出单元1470，例如各种类型的显示器、扬声器等；存储单元1480，例如磁盘、光盘等；以及通信单元1490，例如网卡、调制解调器、无线通信收发机等。通信单元1490允许电子设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1410可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1410的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1410执行上文所描述的各个方法和处理，例如视频抖动的处理方法。例如，在一些实施例中，视频抖动的处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1480。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1420和/或通信单元1490而被载入和/或安装到电子设备1400上。当计算机程序加载到RAM 1430并由计算单元1410执行时，可以执行上文描述的视频抖动的处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1410可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频抖动的处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (13)

1.一种视频抖动的处理方法，包括：
获取待处理视频，所述待处理视频包括多帧图像；
对于待处理视频的非首帧图像，确定所述非首帧图像相对于参照图像的特征点位移参数，所述参照图像为所述待处理视频中的图像；
利用所述特征点位移参数对所述非首帧图像进行抖动修正；
其中，在所述非首帧图像为第m帧图像的情况下，m为大于1的整数，所述利用所述特征点位移参数对所述非首帧图像进行抖动修正，包括：
获取与所述第m帧图像相邻的预定数量的非首帧图像；利用所述预定数量的非首帧图像中的每个图像相对于参照图像的特征点位移参数进行求均值计算，将所述求均值计算的结果作为对所述第m帧图像相对于参照图像的特征点位移参数进行优化的结果；利用所述优化的结果进行仿射变换，得到仿射变换矩阵，将所述仿射变换矩阵确定为抖动修正参数；利用所述抖动修正参数对第m帧图像进行抖动修正，所述特征点位移参数用于表征所述非首帧图像中的第i帧图像中的特征点相对于参照图像中对应特征点的偏移情况；
在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜；
对所述抖动修正后的所述图像进行图像掩膜消除处理，将所述图像掩膜消除处理后的图像作为抖动修正的结果；
其中，所述在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜，包括：
获取抖动修正前的图像的顶点坐标；
将所述抖动修正前的图像的顶点坐标映射至所述抖动修正后的图像中，确定抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差；
利用所述偏差确定出由于抖动修正产生的图像掩膜。
2.根据权利要求1所述的方法，其中，在所述非首帧图像为第i帧图像的情况下，所述确定所述非首帧图像相对于参照图像的特征点位移参数，包括：
确定第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；所述i为大于2的整数；
利用所述位移变化，确定第i帧图像的第一参数，第一参数用于表征第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；
利用所述第一参数，确定第i帧图像相对于所述参照图像的特征点位移参数。
3.根据权利要求2所述的方法，所述利用所述第一参数，确定第i帧图像相对于所述参照图像的特征点位移参数，包括：
获取位于所述参照图像和所述第i帧图像之间的每帧图像的第一参数；
将所述第i帧图像的第一参数，以及所述参照图像和所述第i帧图像之间的每帧图像的第一参数的乘积，作为所述第i帧图像相对于所述参照图像的特征点位移参数。
4.根据权利要求1所述的方法，在多个抖动修正后的图像存在所述图像掩膜的情况下，所述对所述抖动修正后的所述图像进行图像掩膜消除处理，包括：
计算多个图像掩膜的交集；
根据所述交集，对所述抖动修正后的图像进行剪切，将剪切后的图像作为图像掩膜消除处理的结果。
5.根据权利要求1所述的方法，其中，所述待处理视频的确定方式，包括：
对原视频的所有帧图像进行相似度识别；
将相似度差异在阈值范围内的图像组成待处理视频。
6.一种视频抖动的处理装置，包括：
待处理视频获取模块，用于获取待处理视频，所述待处理视频包括多帧图像；
特征点位移参数确定模块，用于对于待处理视频的非首帧图像，确定所述非首帧图像相对于参照图像的特征点位移参数，所述参照图像为所述待处理视频中的图像；
抖动修正模块，用于利用所述特征点位移参数对所述非首帧图像进行抖动修正；
在所述非首帧图像为第m帧图像的情况下，m为大于1的整数，所述抖动修正模块，包括：
相邻图像获取子模块，用于获取与所述第m帧图像相邻的预定数量的非首帧图像；
特征点位移参数优化子模块，用于利用所述预定数量的非首帧图像中的每个图像相对于参照图像的特征点位移参数进行求均值计算，将所述求均值计算的结果作为对所述第m帧图像相对于参照图像的特征点位移参数进行优化的结果；
抖动修正参数确定子模块，用于利用所述优化的结果进行仿射变换，得到仿射变换矩阵，将所述仿射变换矩确定为抖动修正参数；
抖动修正执行子模块，用于利用所述抖动修正参数对第m帧图像进行抖动修正，所述特征点位移参数用于表征所述非首帧图像中的第i帧图像中的特征点相对于参照图像中对应特征点的偏移情况；
图像掩膜确定子模块，用于在抖动修正后的图像中，确定由于抖动修正产生的图像掩膜；
图像掩膜消除子模块，用于对所述抖动修正后的所述图像进行图像掩膜消除处理，将所述图像掩膜消除处理后的图像作为抖动修正的结果；
其中，所述图像掩膜确定子模块，包括：
顶点坐标获取单元，用于获取抖动修正前的图像的顶点坐标；
顶点坐标的偏差确定单元，用于将所述抖动修正前的图像的顶点坐标映射至所述抖动修正后的图像中，确定抖动修正前的图像的顶点坐标与抖动修正后的图像的顶点坐标的偏差；
图像掩膜确定执行单元，用于利用所述偏差确定出由于抖动修正产生的图像掩膜。
7.根据权利要求6所述的装置，其中，在所述非首帧图像为第i帧图像的情况下，所述特征点位移参数确定模块，包括：
特征点的位移变化确定子模块，用于确定第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；所述i为大于2的整数；
第一参数确定子模块，用于利用所述位移变化，确定第i帧图像的第一参数，第一参数用于表征第i帧图像中的特征点相对于第i-1帧图像中的特征点的位移变化；
特征点位移参数确定子模块，用于利用所述第一参数，确定第i帧图像相对于所述参照图像的特征点位移参数。
8.根据权利要求7所述的装置，其中，所述特征点位移参数确定子模块，包括：
第一参数获取单元，用于获取位于所述参照图像和所述第i帧图像之间的每帧图像的第一参数；
特征点位移参数确定执行单元，用于将所述第i帧图像的第一参数，以及所述参照图像和所述第i帧图像之间的每帧图像的第一参数的乘积，作为所述第i帧图像相对于所述参照图像的特征点位移参数。
9.根据权利要求6所述的装置，其中，在多个抖动修正后的图像存在所述图像掩膜的情况下，所述图像掩膜消除子模块，包括：
图像掩膜交集计算单元，用于计算多个图像掩膜的交集；
图像掩膜消除执行单元，用于根据所述交集，对所述抖动修正后的图像进行剪切，将剪切后的图像作为图像掩膜消除处理的结果。
10.根据权利要求6所述的装置，其中，还包括：
相似度识别模块，用于对原视频的所有帧图像进行相似度识别；
待处理视频生成模块，用于将相似度差异在阈值范围内的图像组成待处理视频。
11.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行权利要求1至5中任一项所述的方法。
13.一种计算机程序装置，执行计算机程序，该计算机程序在被处理器执行时实现根据权利要求1至5中任一项所述的方法。
CN202110077307.1A 2021-01-20 2021-01-20 视频抖动的处理方法、装置、设备以及存储介质 Active CN112929562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110077307.1A CN112929562B (zh) 2021-01-20 2021-01-20 视频抖动的处理方法、装置、设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110077307.1A CN112929562B (zh) 2021-01-20 2021-01-20 视频抖动的处理方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112929562A CN112929562A (zh) 2021-06-08
CN112929562B true CN112929562B (zh) 2023-04-07

Family

ID=76165022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110077307.1A Active CN112929562B (zh) 2021-01-20 2021-01-20 视频抖动的处理方法、装置、设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112929562B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113905147B (zh) * 2021-09-30 2023-10-03 桂林长海发展有限责任公司 一种船用监控视频画面去抖方法、装置以及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124542A (zh) * 2016-02-25 2017-09-01 珠海格力电器股份有限公司 图像的防抖处理方法和装置
CN109285122A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种进行图像处理的方法和设备
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置
CN110223219A (zh) * 2019-05-22 2019-09-10 北京卡路里信息技术有限公司 3d图像的生成方法及装置
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
CN111385480A (zh) * 2020-03-26 2020-07-07 京东方科技集团股份有限公司 用于眼底拍摄的防抖方法、装置、存储介质和电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124542A (zh) * 2016-02-25 2017-09-01 珠海格力电器股份有限公司 图像的防抖处理方法和装置
CN109285122A (zh) * 2017-07-20 2019-01-29 阿里巴巴集团控股有限公司 一种进行图像处理的方法和设备
CN109743495A (zh) * 2018-11-28 2019-05-10 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置
CN110223219A (zh) * 2019-05-22 2019-09-10 北京卡路里信息技术有限公司 3d图像的生成方法及装置
CN110572534A (zh) * 2019-09-19 2019-12-13 浙江大搜车软件技术有限公司 全景图像的数字视频稳像方法、装置、设备及存储介质
CN111385480A (zh) * 2020-03-26 2020-07-07 京东方科技集团股份有限公司 用于眼底拍摄的防抖方法、装置、存储介质和电子设备

Also Published As

Publication number Publication date
CN112929562A (zh) 2021-06-08

Similar Documents

Publication Publication Date Title
RU2685031C1 (ru) Стабилизация видеоряда
US11055826B2 (en) Method and apparatus for image processing
KR101036787B1 (ko) 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치
CN109598744B (zh) 一种视频跟踪的方法、装置、设备和存储介质
CN109697689B (zh) 存储介质、电子设备、视频合成方法及装置
CN112967381B (zh) 三维重建方法、设备和介质
CN113327193A (zh) 图像处理方法、装置、电子设备和介质
CN112132836A (zh) 视频图像裁剪方法、装置、电子设备及存储介质
US11922720B2 (en) Perspective distortion correction on faces
CN113014936B (zh) 视频插帧方法、装置、设备以及存储介质
CN112470164A (zh) 姿态校正
CN114004840A (zh) 图像处理方法、训练方法、检测方法、装置、设备及介质
CN112308770A (zh) 人像转换模型生成方法及人像转换方法
CN113393468A (zh) 图像处理方法、模型训练方法、装置和电子设备
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
KR20210040305A (ko) 이미지 생성 방법 및 장치
CN112929562B (zh) 视频抖动的处理方法、装置、设备以及存储介质
CN113657396B (zh) 训练方法、译文展示方法、装置、电子设备以及存储介质
CN111583280A (zh) 图像处理方法、装置、设备及计算机可读存储介质
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
CN113496506A (zh) 图像处理方法、装置、设备及存储介质
CN113810755B (zh) 全景视频预览的方法、装置、电子设备及存储介质
CN115576470A (zh) 图像处理方法和装置、增强现实系统及介质
CN114723796A (zh) 一种三维点云生成方法、装置及电子设备
CN111489418A (zh) 图像处理方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant