CN110557522A - 一种去除视频抖动的方法及装置 - Google Patents

一种去除视频抖动的方法及装置 Download PDF

Info

Publication number
CN110557522A
CN110557522A CN201810554266.9A CN201810554266A CN110557522A CN 110557522 A CN110557522 A CN 110557522A CN 201810554266 A CN201810554266 A CN 201810554266A CN 110557522 A CN110557522 A CN 110557522A
Authority
CN
China
Prior art keywords
pair
image
original images
information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810554266.9A
Other languages
English (en)
Inventor
陈睿智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810554266.9A priority Critical patent/CN110557522A/zh
Priority to TW108108594A priority patent/TW202005353A/zh
Priority to PCT/CN2019/087693 priority patent/WO2019228219A1/zh
Priority to JP2020563582A priority patent/JP7383642B2/ja
Priority to EP19810675.9A priority patent/EP3806445A4/en
Publication of CN110557522A publication Critical patent/CN110557522A/zh
Priority to US17/106,682 priority patent/US11317008B2/en
Pending legal-status Critical Current

Links

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种去除视频抖动的方法，所述方法包括：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。通过以上步骤实时地去除视频抖动。

Description

一种去除视频抖动的方法及装置
技术领域
本申请涉及视频处理领域，具体涉及一种去除视频抖动的方法及装置。本申请还涉及一种电子设备及计算机可读存储介质。
背景技术
一段时长的视频是由很多帧快速连续变动的图像形成的。当拍摄视频时，由于视频采集设备与景物之间的相对运动会使得拍摄出的快速变动的图像之间存在较大位移，视频因此会出现抖动的现象。
现有技术下的视频去抖动方案为非实时去抖方案，无法满足视频直播和短视频对于实时处理的要求。
发明内容
本申请提供一种去除视频抖动的方法，旨在解决现有技术中无法实时去抖动的技术问题。
本申请提出一种去除视频抖动的方法，所述方法包括：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
可选的，还包括：将原图像存储在第一队列；将每对原图像中后一个图像相对于前一个图像的位置变换信息存储在第二队列。
可选的，所述根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息步骤包括：在所述第一队列存储的图像达到第一数量时，以及在所述第二队列存储的位置变换信息达到第一数量时，根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息。
可选的，在所述获取第一对原图像中前一个图像对应的变形信息步骤之后，还包括：再次向第一队列存储图像前，将第一队列队首的图像取出；以及再次向第二队列存储位置变换信息前，将第二队列队首的位置变换信息取出。
可选的，还包括：将每对原图像压缩第一倍数；确定压缩后的每对图像中每个图像上的特征点；将压缩后的每对图像中前后两个图像上对应的两个特征点确定为一个特征点对；确定压缩后的每对图像中特征点对的位置信息。
可选的，所述根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息步骤包括：将压缩后的每对图像中特征点对的位置信息扩大第一倍数，得到每对原图像中特征点对的位置信息。
可选的，所述根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息步骤包括：将每对原图像中前后两个图像分区；根据每对原图像中相应分区中特征点对的位置信息，确定每对原图像中后一个图像相应分区相对于前一个图像相应分区的位置变换信息；根据每对原图中后一个图像相应分区相对于前一个图像相应分区的位置变换信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息。
可选的，所述位置信息为坐标，所述位置变换信息为变换矩阵，所述变形信息为变形矩阵。
可选的，所述根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形步骤包括：根据第m对原图像中前一个图像对应的变形矩阵，对第m对原图像中前一个图像分区变形；裁剪变形后第m对原图像中前一个图像的边缘。
本申请还提出一种去除视频抖动的装置，所述装置包括：位置信息获取第一单元，用于根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；位置变换信息获取单元，用于根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；变形信息获取单元，用于根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；变形处理单元，用于根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
可选的，所述装置还包括：图像存储单元，用于将原图像存储在第一队列；位置变换信息存储单元，用于将每对原图像中后一个图像相对于前一个图像的位置变换信息存储在第二队列。
可选的，所述装置还包括：压缩单元，用于将每对原图像压缩第一倍数；特征点确定单元，用于确定压缩后的每对图像中每个图像上的特征点；特征点对确定单元，用于将压缩后的每对图像中前后两个图像上对应的两个特征点确定为一个特征点对；位置信息获取第二单元，用于确定压缩后的每对图像中特征点对的位置信息。
可选的，所述位置变换信息获取单元包括：图像分区子单元，用于将每对原图像中的前后每个图像分区；位置变换信息获取第一子单元，用于根据每对原图像中相应分区中各特征点对的位置信息，确定每对原图像中后一个图像的相应分区到前一个图像的相应分区的位置变换信息；位置变换信息获取第二子单元，用于根据每对原图中后一个图像的相应分区到前一个图像的相应分区的位置变换信息，确定每对原图像中后一个图像到前一个图像的位置变换信息。
可选的，所述变形处理单元包括：变形子单元，用于根据第m对原图像中前一个图像对应的变形矩阵，对第m对原图像中前一个图像分区变形；裁剪子单元，用于裁剪变形后第m对原图像中前一个图像的边缘。
本申请还提出一种电子设备，所述电子设备包括：处理器；存储器，用于存储去除视频抖动的程序，所述程序在被所述处理器读取执行时，执行如下操作：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
本申请还提出一种计算机可读存储介质，其上存储有去除视频抖动的程序，该程序被处理器读取执行时，执行如下操作：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
本申请提出的去除视频抖动的技术方案，首先根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，由于原图像压缩后会变小，电子设备进行各项处理会比较快，因此采取该种技术手段可以对每个采集到的图像实时地获取该图像上各个特征点对的位置信息。当实时地获取到每对图像上特征点对的位置信息之后，相应地实时地根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像到前一个图像的位置变换信息。当获得了n对原图像中后一个图像到前一个图像的位置变换信息之后，获取第m对原图像中前一个图像对应的变形信息，并根据该第m原图像中前一个图像对应的变形信息，对该前一个图像进行变形，得到去除抖动后的该前一个图像。以此类推，对该前一个图像之后的其他图像依次变形、去抖，从而做到实时去抖。同时，该技术方案在实时去抖的同时还不依赖于其他辅助设备，具有较大的便利性，解决了现有技术中无法实时去抖或实时去抖时需要借助外在陀螺移的技术问题。
附图说明
图1是本申请提供的去除视频抖动的方法的一个实施例的流程图；
图2是本申请提供的去除视频抖动的方法中所涉及的特征点的示意图；
图3是本申请提供的去除视频抖动的方法中所涉及的分区变换阵的示意图；
图4是本申请提供的去除视频抖动的方法中所涉及的各图像与相应分区变换阵对应关系的示意图；
图5是本申请提供的去除视频抖动的方法中所涉及的获取变形矩阵时所应用到的各个矩阵的示意图；
图6是本申请提供的去除视频抖动的方法中所涉及的对图像变形处理的示意图；
图7是本申请提供的去除视频抖动的装置的一个实施例的示意图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
本申请提供一种去除视频抖动的方法，图1是本申请提供的去除视频抖动的方法的一个实施例的流程。下面结合图1示出的去除视频抖动的方法的一个实施例的流程来阐述本申请提供的去除视频抖动的方法的技术方案。
一段时长的视频是由很多帧快速连续变动的图像形成的。当拍摄视频时，由于视频采集设备与景物之间的相对运动会使得拍摄出的快速变动的图像之间存在较大位移，视频因此会出现“抖动”的现象。本申请旨在解决实时地去除视频的抖动问题。
图1示出的去除视频抖动的方法包括：
步骤S101，根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成。
该步骤S101是通过压缩后的每对图像中特征点对的位置信息，来确定压缩前每对原图像中特征点对的位置信息。因此在步骤S101之前，可以包括步骤S100：获取压缩后的每对图像中特征点对的位置信息。
步骤S100具体可以包括以下步骤：
步骤S100-1，将原图像存储成第一队列。
当使用视频拍摄设备在一段时长内拍摄到多帧图像后，将该多帧图像按先后次序排成第一队列，每相邻两帧图像为一对图像，其中次序在先的为前一个图像，次序在后的为后一个图像。该队列可以是具体在图像缓冲器中实现。图像缓冲器是指计算机系统中专门用来存放正在合成或显示的图像的存储器，图4例示了图像缓冲器的示意图。
步骤S100-2，将每对原图像压缩第一倍数。
在对一段时长视频中的多帧图像快速去除抖动的过程中，可以将原图像进行压缩第一倍数，该倍数可以是预设值。压缩后的图像相对于压缩前的图像更小第一倍数，电子设备处理起来会更快，使得对每采集到新图像并压缩后，就能快速地进行后续步骤，比如：确定该新图像上的特征点以及各特征点的位置信息。见图2，图2中右边两个图像为压缩后的上一帧图像与压缩后的当前帧图像。左边压缩前的上一帧及当前帧图像的宽、高会比右边压缩后的当前帧图像及上一帧图像的宽、高要小第一倍数。
步骤S100-3，确定压缩后的每对图像中前后每个图像上的特征点。
特征点，指的是图像上能够表征所拍摄景物轮廓、外形等特征的一系列像素点。通常，这一系列点会有比较明显的特征，比如灰度值较大，也就是该点处图像颜色较深，就可以将该点确定为特征点。例如，图2中压缩后的当前帧上的点P如果可以表征所拍摄景物的特征，则该点P就可以作为压缩后当前帧图像上的特征点。
步骤S100-4，将压缩后的每对图像中前后每个图像上相对应的两个特征点确定为一个特征点对。
前后每个图像上都有各自的一系列若干特征点，其中，前一个图像上的某个特征点，在后一个图像上可能有与其相对应的特征点。比如，这两个相对应的特征点都表征的图像上所拍摄景物的某个点，则这两个相对应的特征点构成一个特征点对。见图2中，压缩后的当前帧上的特征点P与压缩后的上一帧图像上特征点P，两者均表征所拍摄景物的某个相同的特征点，那么这两个相对应的特征点构成一个特征点对。
步骤S100-5，确定压缩后的每对图像中特征点对的位置信息。
特征点对的位置信息，指的是相对应的两个特征点对在相应图像中的相对位置，该位置信息可以是特征点的在相应图像上的坐标。例如，图2中压缩后的当前帧上特征点P的位置坐标为(u，v)。另外，压缩后的上一帧图像上相对应特征点P也有坐标值。这两个特征点在各自图像上的位置信息就是这一对图像上一个特征点对的位置信息。压缩后的前后相邻的两个图像上存在多个特征点对，因此可以获取前后相邻的图像上多个特征点对的位置信息。
执行步骤S100后，也就是获取到压缩后的每对图像中特征点对的位置信息步骤之后，可以执行步骤S101：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息。
由于压缩后的当前帧图像以及上一帧图像都是由压缩前的原图像压缩第一倍数而来，在获取到压缩后的每对图像中特征点对的位置信息之后，也就是获得压缩后每对图像上各个图像上特征点的位置信息之后，只要将压缩后每对图像上各个图像上特征点的位置信息再扩大第一倍数，即可得到压缩前每对图像中各个图像上特征点的位置信息，也就是可得到每对图像中特征点构成的特征点对的位置信息。例如，图2中将压缩后的当前中图像上特征点P的坐标(u，v)扩大第一倍数，即可得到压缩前当前帧图像上特征点P的坐标(su，sv)。同理，将压缩后上1帧图像上特征点P的坐标扩大第一倍数，也可以得到压缩前上1帧图像上特征点P的坐标。压缩后当前帧与压缩后上1帧中两个相对应的特征点P构成压缩后当前帧与上1帧图像中的特征点对P。压缩前当前帧与压缩前上1帧中两个相对应的特征点P构成压缩前当前帧与上1帧中的特征点对P。
步骤S102，根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息。
在本申请中，步骤S102可以通过将每对原图像分成多个分区，当前帧图像上某一分区到上一帧图像上相对应的某一分区的位置变换信息确定之后，被分成的若干对应的各分区的位置变换信息组合起来就是每对图像中当前帧图像到前一帧图像的位置变换信息。
具体地，步骤S102可以包括以下步骤：
步骤S102-1，将每对原图中的前后每个图像分区；如图3示例所示，将当前帧图像与上一帧图像都均分成六个分区。其中当前帧图像中左上角分区中示例了4个特征点：C0、C1、C2、C3，上1帧图像上也示例了4个相对应的特征点P0、P1、P2、P3。
步骤S102-2，根据每对原图中相应分区中各特征点对的位置信息，确定每对原图中后一个图像的相应分区到前一个图像的相应分区的位置变换信息；
由于前后两个图像存在相对移动，所以后一个图像上特征点的位置信息与前一个图像上相应特征点的位置信息不同，后一个图像上特征点的位置与前一个图像上相应特征点的位置信息差异，就是后一个图像上特征点到前一个图像上相应特征点的位置变换信息。后一个图像上相应分区的各特征点的位置信息到前一个图像上相应分区的各相应特征点的位置信息之间的差异，就是后一个原图像相应分区到前一个原图像相应分区的位置变换信息。例如，图3中的上一帧图像示例有4个特征点P0、P1、P2、P3，这4个特征点在当前帧图像上分别对应着相应的4个特征点C0、C1、C2、C3。如前文所述，上一帧图像上的4个特征点与当前帧图像上4个特征点都表征所拍摄景物的相同的特征，所以前后两个图像上的4个点相互对应构成4个特征点对。在上1帧图像左上角分区示例有4个特征点的情况下，这4个特征点P0、P1、P2、P3的位置信息构成上1帧图像上左上角分区对应的矩阵。同理，当前帧图像上4个点C0、C1、C2、C3的位置信息构成当前帧图像上左上角分区的对应的矩阵。由当前帧上左上角分区对应的矩阵变换到上一帧图像上左上角分区对应的矩阵，存在一个变换矩阵，这一变换矩阵就是当前帧图像上左上角分区到上1帧图像上左上角分区的位置变换信息或位置变换矩阵。图3中，例示了当前帧图像中左上角分区到上1帧图像中左上角分区的位置变换信息或位置变换矩阵H00。也就是当前帧图像中左上角中各特征点对应的位置信息或矩阵乘以位置变换矩阵H00便可以计算出上1帧图像中左上角各特征点对应的位置信息。当然，当前帧图像上左上角分区中的特征点C1乘以H00中相应位置的数值也能得到上1帧图像上左上角分区中对应的特征点P1的位置信息。同理，当前帧图像上左下角分区到上1帧图像上左下角分区的位置变换信息可以表示为H10。其他4个相互对应的分区相互之间的位置变换信息则依次可以表示为H01、H02、H11、H12。
步骤S102-3，根据每对原图中后一个原图像的相应分区相对于前一个原图像的相应分区的位置变换信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息。
基于步骤S102-2已经得到了当前帧图像各分区到上1帧图像各相应分区的位置变换信息H00、H01、H02、H10、H11、H12，则该各分区对应的位置变换信息组合起来便可以表征当前帧图像到上一帧图像的位置变换信息，图3中已经例示的从当前帧到上1帧的分区变换矩阵就是当前帧图像到上1帧图像的位置变换信息。
步骤S102-4，将各对原图像中后一个图像相对于前一个图像的位置变换信息存储成第二队列。
在基于步骤S102-3得到当前帧图像到上1帧图像的位置变换信息之后，可以将该对图像之间的位置变换信息存储到队列中，该队列可以命名为第二队列。该队列具体可以由分区变换阵缓冲器具体存储。分区变换阵缓冲器可以是计算机系统中专门用来存放变换矩阵的存储器，图4例示了分区变换阵缓冲器的示意图。
步骤S103，根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n、m为正整数，m不大于n。
下面举例说明如何实现步骤S103，我们以当m＝1时为例，也就是如何获取第1对原图像中前一个个图像对应的变形信息。要获取第1对原图像中前一个图像对应的变形信息，需要利用变形矩阵迭代优化器中的原始路径缓冲器、优化路径暂存器、优化路径缓冲器存储的位置信息进行处理，下面分别介绍各缓冲器在本步骤中所起的作用。
见图5，图5中分区变换阵缓冲器中存储的是后一个图像相对于前一个图像的位置变换信息。该分区变换阵缓冲器能够存储一定数量的图像之间的位置变换信息。该一定数量的图像之间的位置变换信息按产生的先后顺序存储，后产生的图像之间的位置变换信息排列在该分区变换阵缓冲器的队尾。图5中例示的分区变换阵缓冲器能够存储n对图像之间对应的位置变换信息，也就是存储了n个位置变换信息或位置变换矩阵。其中图5中最右侧的一组分区变换阵代表图像采集器最先采集到的第1个图像与第2个图像之间的位置变换矩阵，依次类推，图5中最左边的一组分区变换矩阵代表最后一个图像到其前1个图像之间的位置变换矩阵。
图5中所示的分区变换阵缓冲器具有固定的长度，也就是最多能存储n个位置变换信息。相应地，图4中的图像缓冲器也具有固定的长度，并且该图像缓冲器的长度与分区变换阵缓冲器的长度相同，也就是该图像缓冲器最多能存n个图像。当该分区变换阵缓冲器已经存满了n个位置变换信息或位置变换矩阵后，同时当图像缓冲器已经存满了n个图像时，触发以下步骤：获取第一对原图像中前一个图像对应的变形信息。例如，图4中例示的图像缓冲器中第一队列可以存储n个图像，最先获取的第1个图像与最先获取的第二个图像为第1对图像，该第1对图像在图像缓冲器中的序号为n-1与n-2。获取第一对原图像中前一个图像对应的变形信息，也就是获取图像缓冲器中序号为n-1的那帧图像对应的变形信息。在所述获取第一对原图像中前一个图像对应的变形信息步骤之后，还可以进行以下步骤：再次向第一队列存储图像前，将第一队列队首的图像取出；以及再次向第二队列存储位置变换信息前，将第二队列队首的位置变换信息取出。经过将队首图像取出图像缓冲器以及将队首位置变换信息取出分区变换阵缓冲器，可以为新图像存储以及新的位置变换信息的存储空出位置。
图5中，Hn-1，0表示存储位置变换信息的第二队列中的队首位置变换信息中的第1个分区位置变换信息，Hn-1，1表示第2个分区位置变换信息，依次类推Hn-1，5表示第6个分区的位置变换信息。同理H0，0表示存储位置变换信息的第二队列中队尾位置变换信息的第1个分区位置变换信息，H0，1表示第2个分区位置变换信息，依次类推H0，5表示第6个分区的位置变换信息。
图5中，原始路径缓冲器存储的是对第二队列中最新存储的位置变换信息中某个分区位置变换信息与之前在先存储的各位置变换信息中相应分区位置变换信息的乘积，也就是Ci，j＝H0，j*Hl，j*......*Hi-l，j*Hi，j，其中Ci，j表示对第二队列中序号为(i+1)的位置变换信息中的第j个分区位置变换信息与序号为i的位置变换信息中的第j个分区位置变换信息...一直到序号为0的位置变换信息中的第j个分区位置变换信息取乘积得到的。例如，当i＝n-1时，Cn-1，j等于Hn-1，j与Hn-2，j…一直到H0，j的乘积。
图5中，优化路径暂存器存储的是加权平均值Qi，j，加权平均值Qi，j通过对以下三者取加权平均值得到：图像队列里序号为i的图像上与第j分区相邻分区的位置信息、与序号为i图像上相邻帧图像上第j分区的位置信息、原始路径缓冲器中的Ci，j。该加权平均值用Qi，j表示，每当得到该加权平均值后，该Qi，j先暂存在优化路径缓冲器中，然后覆盖到到优化路径缓冲器中，并记作Pi，j。显然，当i＝n-1时，Pn-1，j则表示该值是由以下三项加权平均得到的：第1队列里队首图像上与第j分区相邻分区的位置信息、队首帧图像前1帧图像上第j分区的位置信息、原始路径缓冲器中的cn-1，j。
将Pn-1，j -1*Cn-1，j这一乘积结果记作Bj，Bj就表示队首图像各分区对应的变形信息。例如，当j＝1时，B0就表示队首图像第1分区对应的变形信息，同理，B1就表示队首图像第2分区对应的变形信息...依次类推，假如队首图像被分成6个分区，则B5就表示队首图像第6分区对应的变形信息。B0、B1、B2、B3、B4、B5组合起来就构成图像缓冲器中队首图像对应的变形信息，见图6所示变形矩阵优化迭代器所得到的队首图像对应的变形信息。
在经过步骤S103获取到第一对图像中前个图像的变形信息之后，就可以利用该变形信息对该前个图像进行变形处理，参见步骤S104。
步骤S104，根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
继续以第一对图像中前一个图像为例，当基于步骤S103示例的步骤得到1对图像中前1个图像对应的变形信息之后，在变形信息用变形矩阵进行表示的情况下，根据第一对原图像中前一个图像对应的变形矩阵，对该前一个图像分区变形，也就是利用步骤S103所得到的变形信息对图像进行位置信息调整。例如，图6中队首图像的第3分区的变形矩阵中存在特征点P的位置信息，该变形矩阵中存在的特征点P的位置信息与队首图像上第3分区上特征点P的位置信息存在一定的差异。为了消除该位置差异，将队首图像上的点P调整至与第3分区变形信息中的特征点P的位置重合，即可消除位置差异。同理，队首图像上其他的分区的特征点的位置也应调整至变形信息中相对应特征点的位置，如此便可得到图6中所示调整后的图像。在将队首图像调整位置信息后，将变形信息之外的图像裁剪掉，便可以达到去除位置差异的效果。
本申请提出的去除视频抖动的技术方案，首先根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，由于原图像压缩后会变小，电子设备进行各项处理会比较快，因此采取该种技术手段可以对每个采集到的图像实时地获取该图像上各个特征点对的位置信息。当实时地获取到每个图像上特征点对的位置信息之后，相应地实时地根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像到前一个图像的位置变换信息。当获得了n对原图像中后一个图像到前一个图像的位置变换信息之后，获取第一对原图像中前一个图像对应的变形信息，并根据该第一对原图像中前一个图像对应的变形信息，对该前一个图像进行变形，得到去除抖动后的该前一个图像。以此类推，对该前一个图像之后的其他图像依次变形、去抖，从而做到实时去抖。同时，该技术方案在实时去抖的同时还不依赖于其他辅助设备，具有较大的便利性，解决了现有技术中无法实时去抖或实时去抖时需要借助外在陀螺移的技术问题。
本申请还提供一种去除视频抖动的装置，图7是本申请提供的一种去除视频抖动的装置的一个实施例的结构示意图。该装置实施例与图1所示的方法实施例相对应，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。该装置具体可以应用于各种电子设备中。下面描述的装置实施例仅仅是示意性的。
图7示出的去除视频抖动的装置，包括：位置信息获取第一单元701，用于根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；位置变换信息获取单元702，用于根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；变形信息获取单元703，用于根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；变形处理单元704，用于根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
可选的，所述装置还包括：图像存储单元，用于将原图像存储在第一队列：位置变换信息存储单元，用于将每对原图像中后一个图像相对于前一个图像的位置变换信息存储在第二队列。
可选的，所述装置还包括：压缩单元，用于将每对原图像压缩第一倍数；特征点确定单元，用于确定压缩后的每对图像中每个图像上的特征点；特征点对确定单元，用于将压缩后的每对图像中前后两个图像上对应的两个特征点确定为一个特征点对；位置信息获取第二单元，用于确定压缩后的每对图像中特征点对的位置信息。
可选的，所述位置变换信息获取单元702包括：图像分区子单元，用于将每对原图像中的前后每个图像分区；位置变换信息获取第一子单元，用于根据每对原图像中相应分区中各特征点对的位置信息，确定每对原图像中后一个图像的相应分区到前一个图像的相应分区的位置变换信息；位置变换信息获取第二子单元，用于根据每对原图中后一个图像的相应分区到前一个图像的相应分区的位置变换信息，确定每对原图像中后一个图像到前一个图像的位置变换信息。
可选的，所述变形处理单元704包括：变形子单元，用于根据第m对原图像中前一个图像对应的变形矩阵，对第m对原图像中前一个图像分区变形；裁剪子单元，用于裁剪变形后第m对原图像中前一个图像的边缘。
本申请还提供一种去除视频抖动的电子设备的一个实施例，该实施例中的电子设备包括：处理器；存储器，用于存储去除视频抖动的程序，所述程序在被所述处理器读取执行时，执行如下操作：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。相关技术特征可以参考方法实施例，这里不再赘述。
本申请还提出一种计算机可读存储介质，由于计算机可读存储介质实施例基本相似于方法实施例，所以描述得比较简单，相关的部分请参见上述提供的方法实施例的对应说明即可。下面描述的计算机可读存储介质实施例仅仅是示意性的。
本申请还提供的一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。相关技术特征可以参考方法实施例，这里不再赘述。
本申请虽然以较佳实施例公开如上，但其并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此本申请的保护范围应当以本申请权利要求所界定的范围为准。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
2、本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

Claims (16)

1.一种去除视频抖动的方法，其特征在于，所述方法包括：
根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；
根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；
根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；
根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中的前一个图像。
2.根据权利要求1所述的方法，其特征在于，还包括：将原图像存储在第一队列；
将每对原图像中后一个图像相对于前一个图像的位置变换信息存储在第二队列。
3.根据权利要求2所述的方法，其特征在于，所述根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息步骤包括：
在所述第一队列存储的图像达到第一数量时，以及在所述第二队列存储的位置变换信息达到第一数量时，根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息。
4.根据权利要求3所述的方法，其特征在于，在所述获取第一对原图像中前一个图像对应的变形信息步骤之后，还包括：
再次向第一队列存储图像前，将第一队列队首的图像取出；以及
再次向第二队列存储位置变换信息前，将第二队列队首的位置变换信息取出。
5.根据权利要求1所述的方法，其特征在于，还包括：
将每对原图像压缩第一倍数；
确定压缩后的每对图像中每个图像上的特征点；
将压缩后的每对图像中前后两个图像上对应的两个特征点确定为一个特征点对；
确定压缩后的每对图像中特征点对的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息步骤包括：
将压缩后的每对图像中特征点对的位置信息扩大第一倍数，得到每对原图像中特征点对的位置信息。
7.根据权利要求3所述的方法，其特征在于，所述根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息步骤包括：
将每对原图像中前后两个图像分区；
根据每对原图像中相应分区中特征点对的位置信息，确定每对原图像中后一个图像相应分区相对于前一个图像相应分区的位置变换信息；
根据每对原图中后一个图像相应分区相对于前一个图像相应分区的位置变换信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息。
8.根据权利要求7所述的方法，其特征在于，所述位置信息为坐标，所述位置变换信息为变换矩阵，所述变形信息为变形矩阵。
9.根据权利要求8所述的方法，其特征在于，所述根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形步骤包括：
根据第m对原图像中前一个图像对应的变形矩阵，对第m对原图像中前一个图像分区变形；
裁剪变形后第m对原图像中前一个图像的边缘。
10.一种去除视频抖动的装置，其特征在于，所述装置包括：
位置信息获取第一单元，用于根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；
位置变换信息获取单元，用于根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；
变形信息获取单元，用于根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；
变形处理单元，用于根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
11.根据权利要求10所述的装置，其特征在于，所述装置还包括：
图像存储单元，用于将原图像存储在第一队列；
位置变换信息存储单元，用于将每对原图像中后一个图像相对于前一个图像的位置变换信息存储在第二队列。
12.根据权利要求10所述的装置，其特征在于，所述装置还包括：
压缩单元，用于将每对原图像压缩第一倍数；
特征点确定单元，用于确定压缩后的每对图像中每个图像上的特征点；
特征点对确定单元，用于将压缩后的每对图像中前后两个图像上对应的两个特征点确定为一个特征点对；
位置信息获取第二单元，用于确定压缩后的每对图像中特征点对的位置信息。
13.根据权利要求10所述的装置，其特征在于，所述位置变换信息获取单元包括：
图像分区子单元，用于将每对原图像中的前后每个图像分区；
位置变换信息获取第一子单元，用于根据每对原图像中相应分区中各特征点对的位置信息，确定每对原图像中后一个图像的相应分区到前一个图像的相应分区的位置变换信息；
位置变换信息获取第二子单元，用于根据每对原图中后一个图像的相应分区到前一个图像的相应分区的位置变换信息，确定每对原图像中后一个图像到前一个图像的位置变换信息。
14.根据权利要求10所述的装置，其特征在于，所述变形处理单元包括：
变形子单元，用于根据第m对原图像中前一个图像对应的变形矩阵，对第m对原图像中前一个图像分区变形；
裁剪子单元，用于裁剪变形后第m对原图像中前一个图像的边缘。
15.一种电子设备，其特征在于，所述电子设备包括：
处理器；
存储器，用于存储去除视频抖动的程序，所述程序在被所述处理器读取执行时，执行如下操作：
根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；
根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；
根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；
根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
16.一种计算机可读存储介质，其上存储有去除视频抖动的程序，其特征在于，该程序被处理器读取执行时，执行如下操作：
根据压缩后的每对图像中特征点对的位置信息，确定每对原图像中特征点对的位置信息，其中，一个特征点对由每对图像中前后两个图像上对应的两个特征点构成，所述原图像为压缩前的图像；
根据每对原图像中特征点对的位置信息，确定每对原图像中后一个图像相对于前一个图像的位置变换信息；
根据n对原图像中后一个图像相对于前一个图像的位置变换信息，获取第m对原图像中前一个图像对应的变形信息，其中，n和m为正整数，m不大于n；
根据第m对原图像中前一个图像对应的变形信息，对第m对原图像中前一个图像变形，得到去除抖动后的第m对原图像中前一个图像。
CN201810554266.9A 2018-05-31 2018-05-31 一种去除视频抖动的方法及装置 Pending CN110557522A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810554266.9A CN110557522A (zh) 2018-05-31 2018-05-31 一种去除视频抖动的方法及装置
TW108108594A TW202005353A (zh) 2018-05-31 2019-03-14 去除視訊抖動的方法及裝置
PCT/CN2019/087693 WO2019228219A1 (zh) 2018-05-31 2019-05-21 一种去除视频抖动的方法及装置
JP2020563582A JP7383642B2 (ja) 2018-05-31 2019-05-21 映像ジッターを除去するための方法及び装置
EP19810675.9A EP3806445A4 (en) 2018-05-31 2019-05-21 METHOD AND DEVICE FOR ELIMINATION OF VIDEO JITTER
US17/106,682 US11317008B2 (en) 2018-05-31 2020-11-30 Method and apparatus for removing video jitter

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810554266.9A CN110557522A (zh) 2018-05-31 2018-05-31 一种去除视频抖动的方法及装置

Publications (1)

Publication Number Publication Date
CN110557522A true CN110557522A (zh) 2019-12-10

Family

ID=68697432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810554266.9A Pending CN110557522A (zh) 2018-05-31 2018-05-31 一种去除视频抖动的方法及装置

Country Status (6)

Country Link
US (1) US11317008B2 (zh)
EP (1) EP3806445A4 (zh)
JP (1) JP7383642B2 (zh)
CN (1) CN110557522A (zh)
TW (1) TW202005353A (zh)
WO (1) WO2019228219A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110557522A (zh) 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置
EP3985988A4 (en) * 2019-07-25 2023-09-27 Shenzhen Skyworth-Rgb Electronic Co., Ltd DETECTION METHOD FOR STILL IMAGE OF A VIDEO, TERMINAL DEVICE AND COMPUTER-READABLE STORAGE MEDIUM

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473294A (zh) * 2010-04-30 2012-05-23 松下电器产业株式会社 摄像装置、图像处理装置和图像处理方法
CN103927731A (zh) * 2014-05-05 2014-07-16 武汉大学 无需pos辅助的低空遥感影像快速自动拼接方法
CN106878612A (zh) * 2017-01-05 2017-06-20 中国电子科技集团公司第五十四研究所 一种基于在线全变差优化的视频稳定方法
CN107705288A (zh) * 2017-09-04 2018-02-16 武汉工程大学 伪目标运动强干扰下的危险气体泄漏红外视频检测方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6762758B2 (en) * 2001-08-23 2004-07-13 Ati Technologies Inc. System, method, and apparatus for compression of video data using offset values
AUPR899401A0 (en) * 2001-11-21 2001-12-13 Cea Technologies Pty Limited Method and apparatus for non-motion detection
JP2004343483A (ja) 2003-05-16 2004-12-02 Acutelogic Corp 手振れ補正装置および方法、手振れ検出装置
US7369741B2 (en) * 2003-11-17 2008-05-06 Fiber Optics Network Solutions Corp. Storage adapter with dust cap posts
WO2008111169A1 (ja) 2007-03-13 2008-09-18 Fujitsu Microelectronics Limited 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
US8150191B2 (en) * 2008-10-14 2012-04-03 Interra Systems Inc. Method and system for calculating blur artifacts in videos using user perception threshold
EP2360669A1 (en) * 2010-01-22 2011-08-24 Advanced Digital Broadcast S.A. A digital video signal, a method for encoding of a digital video signal and a digital video signal encoder
US20120162449A1 (en) * 2010-12-23 2012-06-28 Matthias Braun Digital image stabilization device and method
US9277129B2 (en) * 2013-06-07 2016-03-01 Apple Inc. Robust image feature based video stabilization and smoothing
JP6192507B2 (ja) 2013-11-20 2017-09-06 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
US9311690B2 (en) * 2014-03-11 2016-04-12 Adobe Systems Incorporated Video denoising using optical flow
JP6336341B2 (ja) 2014-06-24 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US10447926B1 (en) * 2015-06-19 2019-10-15 Amazon Technologies, Inc. Motion estimation based video compression and encoding
US10303925B2 (en) * 2016-06-24 2019-05-28 Google Llc Optimization processes for compressing media content
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
US10425582B2 (en) * 2016-08-25 2019-09-24 Facebook, Inc. Video stabilization system for 360-degree video data
US10740431B2 (en) * 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
CN109905590B (zh) * 2017-12-08 2021-04-27 腾讯科技（深圳）有限公司 一种视频图像处理方法及装置
CN108682036B (zh) * 2018-04-27 2022-10-25 腾讯科技（深圳）有限公司 位姿确定方法、装置及存储介质
CN110493488B (zh) * 2018-05-15 2021-11-26 株式会社理光 视频稳像方法、视频稳像装置和计算机可读存储介质
CN110557522A (zh) 2018-05-31 2019-12-10 阿里巴巴集团控股有限公司 一种去除视频抖动的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473294A (zh) * 2010-04-30 2012-05-23 松下电器产业株式会社 摄像装置、图像处理装置和图像处理方法
CN103927731A (zh) * 2014-05-05 2014-07-16 武汉大学 无需pos辅助的低空遥感影像快速自动拼接方法
CN106878612A (zh) * 2017-01-05 2017-06-20 中国电子科技集团公司第五十四研究所 一种基于在线全变差优化的视频稳定方法
CN107705288A (zh) * 2017-09-04 2018-02-16 武汉工程大学 伪目标运动强干扰下的危险气体泄漏红外视频检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HENG GUO，等: "oint Video Stitching and Stabilization From Moving Cameras", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113132560A (zh) * 2019-12-31 2021-07-16 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质
CN113132560B (zh) * 2019-12-31 2023-03-28 武汉Tcl集团工业研究院有限公司 一种视频处理方法及计算机设备、计算机可读存储介质

Also Published As

Publication number Publication date
WO2019228219A1 (zh) 2019-12-05
US20210084198A1 (en) 2021-03-18
JP7383642B2 (ja) 2023-11-20
TW202005353A (zh) 2020-01-16
US11317008B2 (en) 2022-04-26
EP3806445A1 (en) 2021-04-14
JP2021524960A (ja) 2021-09-16
EP3806445A4 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
CN107566688B (zh) 一种基于卷积神经网络的视频防抖方法、装置及图像对齐装置
CN107742150B (zh) 一种卷积神经网络的数据处理方法和装置
US11871127B2 (en) High-speed video from camera arrays
CN110557522A (zh) 一种去除视频抖动的方法及装置
Farsiu et al. Fast and robust super-resolution
CN112991142B (zh) 图像数据的矩阵运算方法、装置、设备及存储介质
CN111445418A (zh) 图像去雾处理方法、装置及计算机设备
CN110866862B (zh) 基于缓冲器的数据处理方法、装置、存储介质及电子设备
JP2021530770A (ja) ビデオ処理方法、装置及びコンピュータ記憶媒体
KR20130073986A (ko) 고속 반복된 적분 이미지들
KR20220120674A (ko) 3차원 재구성 방법, 장치, 기기 및 저장 매체
CN111723713B (zh) 一种基于光流法的视频关键帧提取方法及系统
CN107564084B (zh) 一种动图合成方法、装置及存储设备
KR101851896B1 (ko) 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치
US20200154023A1 (en) Location estimation device, location estimation method, and program recording medium
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
US10846837B2 (en) Image processing apparatus, image processing method, and storage medium
CN110322389B (zh) 池化方法、装置及系统、计算机可读存储介质
CN105427235A (zh) 一种图像浏览方法及系统
JP2008523489A (ja) 画像サイズを変更する方法および装置
CN107506119B (zh) 一种图片显示方法、装置、设备和存储介质
US20220130012A1 (en) Demosaicing method and demosaicing device
US20230267310A1 (en) Neural network processing apparatus, information processing apparatus, information processing system, electronic device, neural network processing method, and program
JP7159582B2 (ja) 監視ビデオにおけるデータの拡張方法及び装置
CN112188113B (zh) 一种视频分解方法及装置、终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40017540

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20191210

RJ01 Rejection of invention patent application after publication