CN111028191B - 视频图像的防抖方法、装置、电子设备和存储介质 - Google Patents

视频图像的防抖方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111028191B
CN111028191B CN201911258805.5A CN201911258805A CN111028191B CN 111028191 B CN111028191 B CN 111028191B CN 201911258805 A CN201911258805 A CN 201911258805A CN 111028191 B CN111028191 B CN 111028191B
Authority
CN
China
Prior art keywords
sub
image
images
offset
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911258805.5A
Other languages
English (en)
Other versions
CN111028191A (zh
Inventor
蒋焘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wingtech Electronic Technology Co Ltd
Original Assignee
Shanghai Wingtech Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wingtech Electronic Technology Co Ltd filed Critical Shanghai Wingtech Electronic Technology Co Ltd
Priority to CN201911258805.5A priority Critical patent/CN111028191B/zh
Publication of CN111028191A publication Critical patent/CN111028191A/zh
Priority to EP20898182.9A priority patent/EP4006827A4/en
Priority to PCT/CN2020/132049 priority patent/WO2021115136A1/zh
Application granted granted Critical
Publication of CN111028191B publication Critical patent/CN111028191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种视频图像的防抖方法、装置、电子设备和存储介质。该视频图像的防抖方法包括：将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；确定每个所述第二子图像与对应的所述第一子图像的偏移量；根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。通过第二帧图像的多个第二子图像进行偏移量的调整，达到优化多帧图像合成的质量的效果。

Description

视频图像的防抖方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及视频图像处理技术领域，尤其涉及一种视频图像的防抖方法、装置、电子设备和存储介质。
背景技术
目前的视频图像算法中，多帧合成技术的应用越来越广泛，多帧合成技术是指将多帧图片合成为一张图片，比如多帧降噪、HDR多帧合成、多帧去模糊等。而多帧合成一个重要的难点问题是如何去除因拍摄时的人为抖动而造成的相邻帧之间的位移偏差，并且该位移偏差要求精确到一个像素，这个问题不解决，多帧合成的效果将会很差，甚至适得其反。
目前，有一些视频图像的防抖方法用来解决位移偏差的问题。目前主流的防抖方法是找出图像上一块特征明显的区域，在该特征区域一定范围内逐个像素移动帧图像，计算两帧图像之间的特征区域的相似度，找到相似度最大的某一点，通过该点计算两帧图像的水平方向(hoffset)和垂直方向(voffset)的位移量，从而根据位移量调整两帧图像，以使两帧图像的位移偏差尽量低，从而合成的效果更佳。
然而，目前的防抖方法中，整个帧图像的偏移量是一致的，合成后有的区域效果好，图片质量高，而有的区域效果不好，存在重影的问题，导致多帧图片合成的质量不佳。
发明内容
本发明实施例提供一种视频图像的防抖方法、装置、电子设备和存储介质，以实现优化多帧图像合成的质量的效果。
在一个实施例中，本发明实施例提供了一种视频图像的防抖方法，包括：
将第一帧图像划分为多个第一子图像；
将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
确定每个所述第二子图像与对应的所述第一子图像的偏移量；
根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
可选的，所述将第一帧图像划分为多个第一子图像，包括：
获取第一帧图像的边缘参数；
根据所述边缘参数确定所述第一帧图像的目标图像区域；
将所述目标图像区域划分为多个第一子图像。
可选的，所述边缘参数包括所述第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；
所述第一子图像的高度与所述第一边缘参数负相关；
所述第一子图像的宽度与所述第二边缘参数负相关。
可选的，所述确定每个所述第二子图像与对应的所述第一子图像的偏移量，包括：
对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
根据所述多个特征点确定所述第一子图像的第一特征区域；
在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
可选的，所述根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿，包括：
计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿；
当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
在所述多个图像子区域中确定一个或多个目标图像子区域；
对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
可选的，所述将多个所述第二子图像分别划分为多个图像子区域，包括：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
将每个所述相邻第二子图像划分为多个图像子区域。
可选的，所述对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量，包括：
计算目标图像子区域与对应所述目标图像子区域的多个相邻图像子区域的偏移量平均值；
将所述偏移量平均值作为所述目标图像子区域的修正偏移量。
在一个实施例中，本发明实施例提供了一种视频图像的防抖装置，包括：
第一划分模块，用于将第一帧图像划分为多个第一子图像；
第二划分模块，用于将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
偏移量确定模块，用于确定每个所述第二子图像与对应的所述第一子图像的偏移量；
补偿模块，用于根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿。
在一个实施例中，本发明实施例提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所述的视频图像的防抖方法。
在一个实施例中，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所述的视频图像的防抖方法。
本发明实施例通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；确定每个所述第二子图像与对应的所述第一子图像的偏移量；根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿，解决了合成后有的区域效果好，图片质量高，而有的区域效果不好，存在重影的问题，导致多帧图片合成的效果不佳的问题，实现了优化多帧图像合成的质量的效果。
附图说明
图1是本发明实施例提供的一种视频图像的防抖方法的流程示意图；
图2是本发明实施例提供的一种视频图像的防抖方法的流程示意图；
图3是本实施例提供的一种多个第二子图像的结构示意图；
图4是本发明实施例提供的一种多个图像子区域的示意图；
图5是本发明实施例提供的一种视频图像的防抖装置的结构示意图；
图6是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
此外，术语“第一”、“第二”等可在本文中用于描述各种方向、动作、步骤或元件等，但这些方向、动作、步骤或元件不受这些术语限制。这些术语仅用于将第一个方向、动作、步骤或元件与另一个方向、动作、步骤或元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一帧图像为第二帧图像，且类似地，可将第二帧图像称为第一帧图像。第一帧图像和第二帧图像两者都是帧图像，但其不是同一帧图像。术语“第一”、“第二”等而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
实施例
图1为本发明实施例提供的一种视频图像的防抖方法的流程示意图，可适用于对多帧图片的合成进行补偿优化的场景，该方法可以由视频图像的防抖装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
如图1所示，本发明实施例提供的视频图像的防抖方法包括：
S110、将第一帧图像划分为多个第一子图像。
其中，第一帧图像是指多帧图像中的其中一帧图像。多帧图像是指图像或视频中，需要对某一个画面进行合成的多个帧图像。具体的，多帧图像可以是图像中的多个帧图像，还可以是视频中某一个画面的多个帧图像，此处不作限制。第一帧图像可以看作是一个参考图像。具体的，在多帧合成中，例如HDR(高动态范围图像，High-Dynamic Range)多帧合成中，会在一定时间内拍摄多帧图像进行合成，而第一帧图像为多帧图像的其中一帧图像。在本实施例中，第一帧图像不限定为具体的某一帧图像。第一子图像是指第一帧图像中的图像区域，一个第一子图像代表一个第一帧图像中的图像区域，所有第一子图像构成完整的第一帧图像。在本实施例中，对于第一子图像的划分的具体个数不作限制，例如可以按照2X3划分为6个第一子图像，还可以按照3X3划分为9个第一子图像。可选的，多个第一子图像可以均匀划分，也可以是非均匀划分，此处不作限制。优选的，多个第一子图像均匀划分。
S120、将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
其中，第二帧图像是指多帧图像中的其中一帧图像。需要说明的是，第二帧图像与第一帧图像不是同一帧图像。具体的，第二帧图像是指需要进行补偿，即调整偏移量的帧图像。第二子图像是指第二帧图像中的图像区域。具体的，每个第二子图像都有一个第一子图像对应。即第二帧图像和第一帧图像划分的方式一致，每个第二子图像都有对应的第一子图像，即每一个第二子图像都有一个对应该第二子图像的面积大小和区域一致的第一子图像。可选的，第二帧图像可以是与第一帧图像相邻的图像，例如第一帧图像的上一帧图像或下一帧图像；还可以是与第一帧图像不相邻的帧图像，此处不作限制。需要注意的是，第一帧图像可以是固定的帧图像，也可以是非固定的帧图像，此处不作限制。当第一帧图像为固定的帧图像时，其他的帧图像都以该第一帧图像作为参考图像进行补偿；当第一帧图像是非固定的帧图像时，第一帧图像还可以是补偿完成的第二帧图像，例如上一帧图像补偿完成后，下一帧图像以上一帧图像为参考图像进行补偿，则此时补偿完成的上一帧图像作为第一帧图像，下一帧图像作为第二帧图像。
S130、确定每个第二子图像与对应的第一子图像的偏移量。
其中，偏移量是指由于拍摄多帧图像时的抖动，导致不同帧图像之间产生的位移偏差。在本实施例中，偏移量是指第二子图像相对于第一子图像的偏移量。具体的，每个第二子图像都对应一个第一子图像，则每个第二子图像都有一个偏移量，不同第二子图像之间的偏移量不一定相同。示例性的，有A1和A2两个第二子图像，B1和B2两个第一子图像，A1和B1对应，A2和B2对应，则A1相对于B1有一个偏移量C1，A2相对于B2有一个偏移量C2。在本实施例中，可选的，偏移量包括垂直方向的偏移量和水平方向的偏移量。可选的，可以通过在第一帧图像上选取一块特征明显的特征区域，在该特征区域范围内对第一帧图像的每个像素的逐个像素移动，计算第一帧图像特征区域和第二帧图像的相似度，找到相似度最大的点，从而通过相似度最大的点确定移动的像素值，得到偏移量，此处对于如何确定偏移量的具体方式不作限制。
S140、根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
具体的，每个第二子图像都有一个偏移量，则通过每个第二子图像的偏移量对第二子图像进行调整，使得第二子图像对应第二子图像尽量重合，则多帧合成的效果较佳。例如，通过偏移量C1调整第二子图像A1相对于第一子图像B1的位移偏差，通过偏移量C2调整第二子图像A2相对于第一子图像B2的位移偏差，从而对第二帧图像进行补偿。补偿是指使得第二帧图像和第一帧图像的每个像素尽可能重合的处理方式。具体的，对每一个第二子图像根据位移量进行调整，则调整后的多个第二子图像与对应的第一子图像几乎重合，则多个第二子图像对应的第二帧图像与第一帧图像也相应重合。示例性的，以偏移量为水平方向的偏移量为例，以向右方向为正方向，如果偏移量为-5，则将第二子图像向左移动5个像素点，以使得第二子图像与对应的第一子图像重合。
本实施例通过对第一帧图像和第二帧图像划分为多个子图像，对每个子图像进行相应的调整，解决了不同区域的偏移量不同，但采用一个偏移量对整个帧图像补偿导致部分区域合成效果不佳的问题，从而对第二帧图像进行补偿，以使多帧合成的效果更好。具体的，部分区域合成效果不佳的原因可以是在手持移动终端进行拍摄时，围绕与移动终端的屏幕相平行的轴旋转，或围绕与移动终端的屏幕垂直的轴旋转而导致不同区域的偏移量不同。
本发明实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个第二帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在一个实施例中，图2是本发明实施例提供的一种视频图像的防抖方法的流程示意图。本实施例是在上述技术方案的进一步细化，适用于对多帧图片的合成进行补偿优化的场景。该方法可以由视频图像的防抖装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
如图2所示，本发明实施例提供的视频图像的防抖方法包括：
S210、将第一帧图像划分为多个第一子图像。
其中，第一帧图像是指多帧图像中的其中一帧图像。第一帧图像可以看作是一个参考图像。具体的，在多帧合成中，例如HDR多帧合成中，会在一定时间内拍摄多帧图像进行合成，而第一帧图像为多帧图像的其中一帧图像。在本实施例中，第一帧图像不限定为具体的某一帧图像。第一子图像是指第一帧图像中的图像区域，一个第一子图像代表一个第一帧图像中的图像区域，所有第一子图像构成完整的第一帧图像。
在一个可选的实施方式中，将第一帧图像划分为多个第一子图像，可以包括：
获取第一帧图像的边缘参数；
根据边缘参数确定第一帧图像的目标图像区域；
将目标图像区域划分为多个第一子图像。
其中，边缘参数是指不参与划分的图像像素值大小。目标图像区域是指在第一帧图像中，根据边缘参数剔除不参与划分的图像区域后，得到的需要进行划分的图像区域。可选的，边缘参数包括第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。负相关是指第一边缘参数的数值越大，对应的第一子图像的高度越小。具体的，为了进一步提高补偿第二帧图像的质量，在划分多个第一子图像时，不是对整个第一帧图像进行划分，而是对第一帧图像中间的部分进行划分。在本实施方式中，可选的，对目标图像区域进行均匀的划分。具体的，对目标图像进行均匀的划分通过以下公式进行划分：
每个第一子图像的高hh＝(h-pad1*2)/m，每个第一子图像的宽ww＝(w-pad2*2)/n。
其中，hh是指每个子图像的高度，ww是指每个子图像的宽度，h是指第一帧图像的高度，w是指第一帧图像的宽度，pad1是指沿高度方向的第一边缘参数，pad2是指沿宽度方向的第二边缘参数，m是指第一划分参数，n是指第二划分参数。
第一边缘参数和第二边缘参数可以是1以上的任一数值，此处不作限制。优选的，高度方向的第一边缘参数和宽度方向的第二边缘参数均为25。示例性的，第一帧图像的图像像素为100X100个点，第一边缘参数和第二边缘参数均为25，则第一帧图像的上下左右的边缘处的25个图像像素不参与划分，即实际划分的区域为中间部分的50X50个像素点。n和m与均匀划分的个数相关。具体的，n为宫格的列数，m为宫格的行数。例如，当将第一帧图像均匀地划分为3X3的9宫格图像时，m为3，n为3；当第一帧图像均匀地划分为2X3(两行三列)的六宫格时，m为2，n为3。
S220、将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
其中，第二帧图像是指多帧图像中的其中一帧图像。需要说明的是，第二帧图像与第一帧图像不是同一帧图像。具体的，第二帧图像是指需要进行补偿，即调整偏移量的帧图像。第二子图像是指第二帧图像中的图像区域。具体的，每个第二子图像都有一个第一子图像对应。即第二帧图像和第一帧图像划分的方式一致，每个第二子图像都有对应的第一子图像，即有对应所有第二子图像的区域和大小的第一子图像。
S230、确定每个第二子图像与对应的第一子图像的偏移量。
其中，偏移量是指由于拍摄多帧图像时的人为的抖动，导致不同帧图像之间产生的位移偏差。在本实施例中，偏移量是指第二子图像相对于第一子图像的偏移量。具体的，每个第二子图像都对应一个第一子图像，则每个第二子图像都有一个偏移量，不同第二子图像之间的偏移量不一定相同。
在一个可选的实施方式中，确定每个第二子图像与对应的第一子图像的偏移量，可以包括：
对第一子图像进行特征提取，得到第一子图像对应的多个特征点；
根据多个特征点确定第一子图像的第一特征区域；
在第二子图像中，计算出与第一特征区域相似的第二特征区域；
根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
其中，第一特征区域是指按照预设规则抽取的特征点的集合。特征点是指在第一子图像中，具有代表性的像素点。例如，在一张包括了人像的第一帧图像中，对第一帧图像划分成第一子图像后，其中一个第一子图像包括了人脸。则人脸的像素点为特征点，人脸的区域作为第一特征区域。具体的，将多个特征点的首尾连接得到区域作为第一特征区域。具体地，按照预设规则抽取特征点，是指在第一帧图像中全图范围内按照预设规则抽取特征点，比如一幅宽高比为3000*4000图像，可以在第40行抽取50个点，第60行抽取50个点，第100行提取50个点，第120行提取50个点，第160行提取50个点……。按上述方法抽取特征点，相当于将特征点分散到整幅图像，避免了在第一帧图像中固定选取一块作为特征区域导致的特征区域丢失的问题，提高了特征选取的精度。另外，按预设规则抽取特征点，有效控制了特征区域中特征点的数量，能够提高系统的效率和实时性。第二特征区域是指第二帧图像中与第一特征区域最相似的特征区域。第二特征区域也是按照预设规则抽取的特征点的集合，且第二特征区域提取的预设规则和第一特征区域提取的预设规则相同。具体的，在预设误差范围内，在对应第一子图像的第二子图像中提取与第一特征区域相对应的多个候选特征区域，分别计算出多个候选特征区域与第一特征区域的相似度；将相似度的值最大的候选特征区域作为与第一特征区域相似的第二特征区域。其中，候选特征区域是指在第二子图像中，像素面积相同的图像区域。在本实施方式中，偏移量为第一特征区域与第二特征区域相同位置像素点的坐标差值。
S240、计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值。
其中，偏移差值是指相邻两个第二子图像对应的偏移量的差值的绝对值。示例性的，第二子图像A1和第二子图像A2相邻，第二子图像A1的偏移量为C1，第二子图像A2的偏移量为C2，则偏移差值为(C1-C2)的绝对值。
S250、当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
其中，预设阈值是指判断偏移量是否满足对第二帧图像进行补偿的条件。在本实施例中，可选的，预设阈值可以是1以上的任一数值，此处不作限制。优选的，预设阈值为2。具体的，每个第二子图像都有一个偏移量，则通过每个第二子图像对应的偏移量对该第二子图像进行调整，使得第二子图像对应第一子图像尽量重合，则多帧合成的效果较佳。例如，通过偏移量C1调整第二子图像A1相对于第一子图像B1的位移偏差，通过偏移量C2调整第二子图像A2相对于第一子图像B2的位移偏差，从而对第二帧图像进行补偿。具体的调整过程可以是以偏移量对第二子图像进行移动，此处不作限制。以为水平方向的偏移量为例，以向右方向为正，如果第二子图像A2相对于第一子图像B2的位移量为-5，则将第二子图像A2相对于第一子图像B2往左移动5个像素点。
S260、当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域。
其中，图像子区域是指对第二子图像进行裂变得到的图像区域。具体的，当偏移差值大于预设阈值时，则对多个第二子图像进行划分，以得到多个图像子区域。示例性的，第二子图像A1和第二子图像A2之间的偏移差值大于与预设阈值，则可以是对所有第二子图像进行划分，也可以是对第二帧图像的部分第二子图像进行划分，得到多个图像子区域，此处不作限制。
在一个可选的实施方式中，将多个第二子图像分别划分为多个图像子区域，可以包括：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
将每个相邻第二子图像划分为多个图像子区域。
示例性的，当第二子图像A和第二子图像B的偏移差值大于预设阈值时，则将第二子图像A或第二子图像B作为目标第二子图像。相邻第二子图像是指与目标第二子图像相邻的第二子图像，包括左右相邻、上下相邻和对角相邻。可以参考图3，图3是本实施例提供的一种多个第二子图像的结构示意图。以f0为目标第二子图像为例，则相邻第二子图像为f1、f3和f4。
S270、在多个图像子区域中确定一个或多个目标图像子区域。
其中，目标图像子区域是指需要进行平滑的图像子区域。具体的，对第二帧图像的所有第二子图像进行划分得到多个图像子区域时，则每一个图像子区域都可以作为目标图像子区域；当多个图像子区域是对第二帧图像的部分第二子图像进行划分时，目标图像子区域可以相邻两个第二子图像交界的图像子区域。可以参考图4，图4是本实施例提供的一种多个图像子区域的示意图。例如f0和f1的偏移差值大于预设阈值，则f03、f06、f09、f11、f14和f17作为目标图像子区域进行平滑。
S280、对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量。
其中，平滑是指减少相邻的两个第二子图像之间的偏移差值的处理方法。可选的，平滑可以是以目标图像子区域为中心，获取与目标图像子区域周边的多个相邻图像子区域，将目标图像子区域与多个相邻图像子区域的平均值作为修正偏移量，代替原来的偏移量。具体的，每一个图像子区域都是由第二子图像裂变得到。图像子区域作为子图像，第二子图像作为母图像，图像子区域继承了对应的母图像的偏移量。例如，图像子区域A1由第二子图像A裂变得到，则图像子区域A1的偏移量数值与第二子图像A的偏移量数值一致。
在一个可选的实施方式中，对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量，可以包括：
计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量平均值；
将偏移量平均值作为目标图像子区域的修正偏移量。
其中，目标图像子区域是指需要进行平滑的图像子区域。相邻图像子区域是指在目标图像子区域周边的图像子区域，包括左右相邻、上下相邻以及对角相邻。
可以同时参考图3和图4，图3是本实施例提供的一种多个第二子图像的结构示意图。图4是本实施例提供的一种多个图像子区域的示意图。
具体的，第二子图像f0和第二子图像f1的偏移差值大于预设阈值，则可以对第二子图像f0裂变为f01、f02、f03、f04、f05、f06、f07、f08、f09等多个图像子区域，并且对相邻第二子图像f1、f3和f4也划分为多个图像子区域。其中f01、f02、f03、f04、f05、f06、f07、f08、f09等图像子区域的偏移量与第二子图像f0的偏移量一致。当f03为目标图像子区域时，多个第二图像子区域分别为f02、f05、f06、f14和f11。当f09为目标图像子区域时，则f05、f06、f14、f17、f41、f33、f32、f08。修正偏移量为目标图像子区域与多个相邻图像子区域的平均值。例如，f09的修正偏移量为(f09+f05+f06+f14+f17+f41+f33+f32+f08)/9。
S290、根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
具体的，调整是指根据修正偏移量对第二子图像进行移动。补偿是指通过根据修正偏移量的移动，以使得第二子图像与对应的第一子图像尽可能重合。
在本实施例中，通过对偏移差值大于预设阈值的相邻第二子图像划分为多个图像子区域，再进行平滑，避免了相邻的第二子图像的偏移差值较大导致相邻的地方存在明显分界的问题，影响图像质量，进一步提高了多帧合成的质量。
本发明实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在一个实施例中，图5是本发明实施例提供的一种视频图像的防抖装置的结构示意图，本实施例可适用于对多帧图片的合成进行补偿优化的场景，该装置可以采用软件和/或硬件的方式实现，并可集成在电子设备上。
如图5所示，本实施例提供的视频图像的防抖装置可以包括第一划分模块310、第二划分模块320、偏移量确定模块330和补偿模块340，其中：
第一划分模块310，用于将第一帧图像划分为多个第一子图像。
第二划分模块320，用于将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应。
偏移量确定模块330，用于确定每个第二子图像与对应的第一子图像的偏移量。
补偿模块340，用于根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
可选的，第一划分模块310包括：
边缘参数获取单元，用于获取第一帧图像的边缘参数。
目标图像区域确定单元，用于根据边缘参数确定第一帧图像的目标图像区域。
第一子图像划分单元，用于将目标图像区域划分为多个第一子图像。
可选的，第一子图像的高度与第一边缘参数负相关。
可选的，第一子图像的宽度与第二边缘参数负相关。
可选的，偏移量确定模块330包括：
特征提取单元，用于对第一子图像进行特征提取，得到第一子图像对应的多个特征点。
第一特征区域确定单元，用于根据多个特征点确定第一子图像的第一特征区域。
第二特征区域计算单元，用于在第二子图像中，计算出与第一特征区域相似的第二特征区域。
偏移量确定单元，用于根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
可选的，补偿模块340包括：
偏移差值计算单元，用于计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值。
第一补偿单元，用于当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
图像子区域划分单元，用于当偏移差值大于预设阈值时，则将多个第二子图像分别划分为多个图像子区域。
目标图像子区域确定单元，用于在多个图像子区域中确定一个或多个目标图像子区域。
平滑处理单元，用于对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量。
第二补偿单元，用于根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
可选的，图像子区域划分单元包括：
目标第二子图像确定子单元，用于将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像。
相邻第二子图像确定子单元，用于确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像。
图像子区域划分子单元，用于将每个相邻第二子图像划分为多个图像子区域。
可选的，平滑处理单元包括：
偏移量平均值计算单元，用于计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量平均值。
修正偏移量确定单元，用于将偏移量平均值作为目标图像子区域的修正偏移量。
本发明实施例所提供的视频图像的防抖装置可执行本发明任意实施例所提供的视频图像的防抖方法，具备执行方法相应的功能模块和有益效果。本发明实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。
在一个实施例中，图6是本发明实施例提供的一种电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备612的框图。图6显示的电子设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图6所示，电子设备612以通用电子设备的形式表现。电子设备612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
总线618表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)630和/或高速缓存存储器632。终端612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM),数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个计算机程序产品，该计算机程序产品具有一组(例如至少一个)计算机程序模块，这些计算机程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)计算机程序模块642的计算机程序/实用工具640，可以存储在例如存储装置628中，这样的计算机程序模块642包括但不限于操作系统、一个或者多个应用计算机程序、其它计算机程序模块以及计算机程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。计算机程序模块642通常执行本发明所描述的实施例中的功能和/或方法。
电子设备612也可以与一个或多个外部设备614(例如键盘、指向终端、显示器624等)通信，还可与一个或者多个使得用户能与该电子设备612交互的终端通信，和/或与使得该电子设备612能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口622进行。并且，电子设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器620通过总线618与电子设备612的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备612使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器616通过运行存储在存储装置628中的计算机程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的一种视频图像的防抖方法，该方法可以包括：
将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
获取第一帧图像的边缘参数；根据边缘参数确定第一帧图像的目标图像区域；将目标图像区域划分为多个第一子图像。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
对第一子图像进行特征提取，得到第一子图像对应的多个特征点；根据多个特征点确定第一子图像的第一特征区域；在第二子图像中，计算出与第一特征区域相似的第二特征区域；根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿；当偏移差值大于预设阈值时，则将多个
第二子图像分别划分为多个图像子区域；在多个图像子区域中确定一个或多个目标图像子区域；对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量；根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；将每个相邻第二子图像划分为多个图像子区域。
在一个实施例中，处理器616运行计算机程序时还实现以下步骤：
计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量平均值；将偏移量平均值作为目标图像子区域的修正偏移量。本发明实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
在一个实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机计算机程序，该计算机程序被处理器执行时实现如本发明任意实施例所提供的一种视频图像的防抖方法，该方法可以包括：
将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
获取第一帧图像的边缘参数；根据边缘参数确定第一帧图像的目标图像区域；将目标图像区域划分为多个第一子图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
第一子图像的高度与第一边缘参数负相关；第一子图像的宽度与第二边缘参数负相关。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对第一子图像进行特征提取，得到第一子图像对应的多个特征点；根据多个特征点确定第一子图像的第一特征区域；在第二子图像中，计算出与第一特征区域相似的第二特征区域；根据第一特征区域和第二特征区域确定第二子图像相对于第一子图像的偏移量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
计算第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；当偏移差值小于或等于预设阈值时，则根据每个第二子图像对应的偏移量调整对应的第二子图像，以对第二帧图像进行补偿；当偏移差值大于预设阈值时，则将多个
第二子图像分别划分为多个图像子区域；在多个图像子区域中确定一个或多个目标图像子区域；对目标图像子区域的偏移量进行平滑处理，得到目标图像子区域对应的修正偏移量；根据修正偏移量调整对应的第二子图像，对第二帧图像进行补偿。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；确定目标第二子图像在第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；将每个相邻第二子图像划分为多个图像子区域。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
计算目标图像子区域与对应目标图像子区域的多个相邻图像子区域的偏移量平均值；将偏移量平均值作为目标图像子区域的修正偏移量。
本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的计算机程序。
存储介质上包含的计算机程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种计算机程序设计语言或其组合来编写用于执行本发明操作的计算机计算机程序代码，计算机程序设计语言包括面向对象的计算机程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式计算机程序设计语言—诸如“C”语言或类似的计算机程序设计语言。计算机程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例的技术方案，通过将第一帧图像划分为多个第一子图像；将第二帧图像划分为多个第二子图像，多个第二子图像和多个第一子图像对应；确定每个第二子图像与对应的第一子图像的偏移量；根据偏移量调整对应的第二子图像，以对第二帧图像进行补偿，将第二帧图像的多个第二子图像的偏移量进行独立调整，不再是采用一个偏移量对整个帧图像进行补偿，而是通过每个第二子图像对应的偏移量进行独立调整，达到优化多帧图像合成的质量的技术效果。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种视频图像的防抖方法，其特征在于，所述方法包括：
将第一帧图像划分为多个第一子图像；
将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
确定每个所述第二子图像与对应的所述第一子图像的偏移量；
根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿；
其中，所述将第一帧图像划分为多个第一子图像，包括：
获取第一帧图像的边缘参数，所述边缘参数是指不参与划分的图像像素值大小；
根据所述边缘参数确定所述第一帧图像的目标图像区域；
将所述目标图像区域划分为多个第一子图像。
2.如权利要求1所述的视频图像的防抖方法，其特征在于，所述边缘参数包括所述第一帧图像沿高度方向的第一边缘参数和沿宽度方向的第二边缘参数；
所述第一子图像的高度与所述第一边缘参数负相关；
所述第一子图像的宽度与所述第二边缘参数负相关。
3.如权利要求1所述的视频图像的防抖方法，其特征在于，所述确定每个所述第二子图像与对应的所述第一子图像的偏移量，包括：
对所述第一子图像进行特征提取，得到所述第一子图像对应的多个特征点；
根据所述多个特征点确定所述第一子图像的第一特征区域；
在所述第二子图像中，计算出与所述第一特征区域相似的第二特征区域；
根据所述第一特征区域和第二特征区域确定所述第二子图像相对于所述第一子图像的偏移量。
4.如权利要求1所述的视频图像的防抖方法，其特征在于，所述根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿，包括：
计算所述第二帧图像中相邻的两个第二子图像的偏移量的偏移差值；
当所述偏移差值小于或等于预设阈值时，则根据每个所述第二子图像对应的偏移量调整对应的第二子图像，以对所述第二帧图像进行补偿；
当所述偏移差值大于预设阈值时，则将多个所述第二子图像分别划分为多个图像子区域；
在所述多个图像子区域中确定一个或多个目标图像子区域；
对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量；
根据所述修正偏移量调整对应的第二子图像，对所述第二帧图像进行补偿。
5.如权利要求4所述的视频图像的防抖方法，其特征在于，所述将多个所述第二子图像分别划分为多个图像子区域，包括：
将偏移差值大于预设阈值的相邻的两个第二子图像的其中一个作为目标第二子图像；
确定所述目标第二子图像在所述第二帧图像中相邻的多个第二子图像，作为相邻第二子图像；
将每个所述相邻第二子图像划分为多个图像子区域。
6.如权利要求4所述的视频图像的防抖方法，其特征在于，所述对所述目标图像子区域的偏移量进行平滑处理，得到所述目标图像子区域对应的修正偏移量，包括：
计算目标图像子区域与对应所述目标图像子区域的多个相邻图像子区域的偏移量平均值；
将所述偏移量平均值作为所述目标图像子区域的修正偏移量。
7.一种视频图像的防抖装置，其特征在于，包括：
第一划分模块，用于将第一帧图像划分为多个第一子图像；
第二划分模块，用于将第二帧图像划分为多个第二子图像，所述多个第二子图像和所述多个第一子图像对应；
偏移量确定模块，用于确定每个所述第二子图像与对应的所述第一子图像的偏移量；
补偿模块，用于根据所述偏移量调整对应的所述第二子图像，以对所述第二帧图像进行补偿；
其中，所述第一划分模块，具体用于获取第一帧图像的边缘参数，所述边缘参数是指不参与划分的图像像素值大小；根据所述边缘参数确定所述第一帧图像的目标图像区域；将所述目标图像区域划分为多个第一子图像。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的视频图像的防抖方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的视频图像的防抖方法。
CN201911258805.5A 2019-12-10 2019-12-10 视频图像的防抖方法、装置、电子设备和存储介质 Active CN111028191B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911258805.5A CN111028191B (zh) 2019-12-10 2019-12-10 视频图像的防抖方法、装置、电子设备和存储介质
EP20898182.9A EP4006827A4 (en) 2019-12-10 2020-11-27 ANTI-BLUR METHOD AND DEVICE FOR VIDEO IMAGES, ELECTRONIC DEVICE AND STORAGE MEDIA
PCT/CN2020/132049 WO2021115136A1 (zh) 2019-12-10 2020-11-27 视频图像的防抖方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911258805.5A CN111028191B (zh) 2019-12-10 2019-12-10 视频图像的防抖方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111028191A CN111028191A (zh) 2020-04-17
CN111028191B true CN111028191B (zh) 2023-07-04

Family

ID=70208531

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911258805.5A Active CN111028191B (zh) 2019-12-10 2019-12-10 视频图像的防抖方法、装置、电子设备和存储介质

Country Status (3)

Country Link
EP (1) EP4006827A4 (zh)
CN (1) CN111028191B (zh)
WO (1) WO2021115136A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028191B (zh) * 2019-12-10 2023-07-04 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质
CN112565605B (zh) * 2020-12-02 2022-11-25 维沃移动通信有限公司 图像显示方法、装置和电子设备
CN113421275A (zh) * 2021-05-13 2021-09-21 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113596440B (zh) * 2021-07-20 2023-09-29 杭州海康威视数字技术股份有限公司 一种用于计算摄像机防抖性能的系统及方法
CN113627306B (zh) * 2021-08-03 2023-04-07 展讯通信（上海）有限公司 关键点处理方法及装置、可读存储介质、终端
CN114173058B (zh) * 2021-11-30 2023-12-26 云控智行科技有限公司 视频图像稳定处理方法、装置及设备
CN114339395A (zh) * 2021-12-14 2022-04-12 浙江大华技术股份有限公司 视频抖动检测方法、检测装置、电子设备和可读存储介质
CN115050129B (zh) * 2022-06-27 2023-06-13 北京睿家科技有限公司 一种智能门禁的数据处理方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102415088A (zh) * 2009-04-22 2012-04-11 高通股份有限公司 用以选择性地组合视频帧图像数据的系统和方法
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109194877A (zh) * 2018-10-31 2019-01-11 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN110049246A (zh) * 2019-04-22 2019-07-23 联想(北京)有限公司 电子设备的视频防抖方法、装置和电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19909622A1 (de) * 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
TW201120812A (en) * 2009-12-04 2011-06-16 Huper Lab Co Ltd Stabilization method for vibrating video frames
CN109194878B (zh) * 2018-11-08 2021-02-19 深圳市闻耀电子科技有限公司 视频图像防抖方法、装置、设备和存储介质
CN111028191B (zh) * 2019-12-10 2023-07-04 上海闻泰电子科技有限公司 视频图像的防抖方法、装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102415088A (zh) * 2009-04-22 2012-04-11 高通股份有限公司 用以选择性地组合视频帧图像数据的系统和方法
CN108234859A (zh) * 2017-08-30 2018-06-29 珠海市魅族科技有限公司 视频防抖控制方法、装置、计算机装置及可读存储介质
CN109194877A (zh) * 2018-10-31 2019-01-11 Oppo广东移动通信有限公司 图像补偿方法和装置、计算机可读存储介质和电子设备
CN110049246A (zh) * 2019-04-22 2019-07-23 联想(北京)有限公司 电子设备的视频防抖方法、装置和电子设备

Also Published As

Publication number Publication date
WO2021115136A1 (zh) 2021-06-17
CN111028191A (zh) 2020-04-17
EP4006827A1 (en) 2022-06-01
EP4006827A4 (en) 2022-09-14

Similar Documents

Publication Publication Date Title
CN111028191B (zh) 视频图像的防抖方法、装置、电子设备和存储介质
CN108335279B (zh) 图像融合和hdr成像
CN109348089B (zh) 夜景图像处理方法、装置、电子设备及存储介质
CN109218628B (zh) 图像处理方法、装置、电子设备及存储介质
CN107409166B (zh) 摇摄镜头的自动生成
US10764496B2 (en) Fast scan-type panoramic image synthesis method and device
US20170256036A1 (en) Automatic microlens array artifact correction for light-field images
US8723917B2 (en) Image processing apparatus, image processing method and program
EP3319038A1 (en) Panoramic image generation method and apparatus for user terminal
US10306210B2 (en) Image processing apparatus and image capturing apparatus
JP2013192224A (ja) ブラー映像及びノイズ映像で構成されたマルチフレームを用いて非均一モーションブラーを除去する方法及び装置
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
KR20130018330A (ko) 촬상 장치, 화상 처리 방법 및 프로그램을 기록하기 위한 기록 매체
WO2013151873A1 (en) Joint video stabilization and rolling shutter correction on a generic platform
CN109194878B (zh) 视频图像防抖方法、装置、设备和存储介质
CN109690611B (zh) 一种图像校正方法及装置
CN113344821B (zh) 图像降噪方法、装置、终端、存储介质
CN111917991B (zh) 图像的质量控制方法、装置、设备及存储介质
JP2020031422A (ja) 画像処理方法及び装置
CN115526782A (zh) 视频图像滤波约束方法和装置
WO2018116322A1 (en) System and method for generating pan shots from videos
JP5804818B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113395434B (zh) 一种预览图像虚化方法、存储介质及终端设备
US20220232145A1 (en) Method for real time whiteboard extraction with full foreground identification
Guthier et al. Parallel implementation of a real-time high dynamic range video system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant