CN115526782A - 视频图像滤波约束方法和装置 - Google Patents

视频图像滤波约束方法和装置 Download PDF

Info

Publication number
CN115526782A
CN115526782A CN202211365817.XA CN202211365817A CN115526782A CN 115526782 A CN115526782 A CN 115526782A CN 202211365817 A CN202211365817 A CN 202211365817A CN 115526782 A CN115526782 A CN 115526782A
Authority
CN
China
Prior art keywords
image
motion correction
filtering
video image
correction matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211365817.XA
Other languages
English (en)
Inventor
孟春芝
刘华松
刘千顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202211365817.XA priority Critical patent/CN115526782A/zh
Publication of CN115526782A publication Critical patent/CN115526782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G06T3/608—Rotation of whole images or parts thereof by skew deformation, e.g. two-pass or three-pass rotation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及计算机技术领域，尤其涉及一种视频图像滤波约束方法和装置。将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；获取视频图像的滤波强度，基于滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵，若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合约束条件；基于重新确定的运动矫正矩阵，对视频图像进行运动矫正。通过将视频图像划分多个图像子区域分别进行运动矫正并在任一图像子区域不符合约束条件时，统一调整滤波强度，避免出现画面断层、弹跳等现象。

Description

视频图像滤波约束方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频图像滤波约束方法和装置。
背景技术
终端设备在拍摄视频时，如果画面内有快速移动的物体或者终端设备发生快速运动，则画面内的物体可能会出现卷帘快门rolling shutter效应，即拍摄的视频会出现扭曲。
现有技术中，通过滤波处理虽然能够在一定程度上抑制rolling shutter效应，但同时会造成画面弹跳、图像断层等负面效果，影响视频的质量。
发明内容
本发明实施例提供了一种视频图像滤波约束方法和装置，通过将视频图像划分多个图像子区域分别进行运动矫正并在任一图像子区域不符合约束条件时，统一调整滤波强度，避免出现画面断层、弹跳等现象。
第一方面，本发明实施例提供了一种视频图像滤波约束方法，包括：
将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；
获取所述视频图像的滤波强度；
基于所述滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵；
若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件；
基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正。
一种实施例中，所述将视频图像划分为多个图像子区域，包括：
将所述视频图像沿竖直方向划分为N行图像子区域。
一种实施例中，所述将所述视频图像沿竖直方向划分为N行图像子区域之前，所述方法还包括：
若检测所述视频图像在竖直方向包含的运动信息小于N个，则对所述运动信息进行插值处理。
一种实施例中，所述若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件，包括：
当检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件时，更新所述滤波强度；
根据更新后的滤波强度重新确定每个图像子区域的运动矫正矩阵；
若基于更新后的运动矫正矩阵进行运动矫正后仍存在不符合所述约束条件的图像子区域，则再次执行所述更新所述滤波强度的过程。
一种实施例中，所述更新所述滤波强度，包括：
将所述滤波强度与第一数值相乘，并将乘积作为更新后的滤波强度，所述第一数值为小于1的正数。
一种实施例中，所述基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正，包括：
对每个图像子区域采样，得到每个图像子区域所包含的多个像素值以及每个像素值的像素坐标，所述像素坐标用于指示所述像素值在所述视频图像中的位置；
基于重新确定的运动矫正矩阵对所述像素值的像素坐标进行坐标变换；
对完成坐标变换后的像素值进行插值处理。
一种实施例中，所述方法还包括：
基于当前视频图像更新后的滤波强度，调整后续多帧视频图像所对应的滤波强度，以使相邻两帧视频图像的滤波结果的差值不超过预设阈值。
第二方面，本发明实施例提供了一种视频图像滤波约束装置，包括：
处理模块，用于将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；
获取模块，用于获取所述视频图像的滤波强度；
确定模块，用于基于所述滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵；
更新模块，用于若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件；
所述处理模块，还用于基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正。
第三方面，本发明实施例提供了一种电子芯片，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储程序指令，所述处理器调用所述程序指令能够执行第一方面提供的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序被处理器执行时实现第一方面提供的方法。
本发明实施例中，将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；获取视频图像的滤波强度，基于滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵，若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合约束条件；基于重新确定的运动矫正矩阵，对视频图像进行运动矫正。通过将视频图像划分多个图像子区域分别进行运动矫正并在任一图像子区域不符合约束条件时，统一调整滤波强度，避免出现画面断层、弹跳等现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频图像滤波约束方法的流程图；
图2为本发明实施例提供的一种视频图像滤波约束方法的示意图；
图3为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图4A为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图4B为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图5A为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图5B为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图5C为本发明实施例提供的另一种视频图像滤波约束方法的示意图；
图6为本发明实施例提供的另一种视频图像滤波约束方法的流程图；
图7为本发明实施例提供的一种视频图像滤波约束装置的结构示意图；
图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为了更好的理解本说明书的技术方案，下面结合附图对本发明实施例进行详细描述。
应当明确，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本说明书保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
当用户使用智能手机拍摄视频时，智能手机的图像传感器对每帧视频图像逐行扫描进行曝光，因此，如果画面内有快速移动的物体或者智能手机自身发生抖动，则画面内的物体可能会出现卷帘快门效应。全局的运动矫正无法对卷帘快门效应带来的扭曲效应进行矫正；基于网格矫正的稳像方案，可以通过对视频帧在竖直方向上进行一定程度的细分，对不同的细分进行不同的变换，进而对卷帘快门效应带来的“扭曲”效应进行抑制，但此方法同时会造成画面弹跳、图像断层等负面效果。基于上述情况，本发明实施例提供了一种视频图像滤波约束方法，在解决卷帘快门效应的同时，不会产生画面弹跳、图像断层等负面效果，提高视频图像的质量。
图1为本发明实施例提供的一种视频图像滤波约束方法的流程图。该方法可以应用于智能手机或其他具备拍摄功能的终端设备，如图1所示，该方法可以包括：
步骤101，将视频图像划分为多个图像子区域，每个图像子区域包含运动信息。
本发明实施例中，智能手机在获取视频图像时，可同时获取视频图像对应的运动信息，此处的运动信息可以为陀螺仪传感器的运动数据。为了消除卷帘快门效应，智能手机将视频图像划分为多个图像子区域，针对每一个图像子区域分别进行运动矫正。由于智能手机的图像传感器逐行扫描视频图像，因此，在划分视频图像时，智能手机可以将视频图像沿竖直方向划分为N行图像子区域，每行图像子区域都有对应的运动信息，其中，N为正整数。在实际场景中，N的取值与图像分辨率有关，每行图像子区域的高度默认为64，如图2所述，以N＝10为例，将视频图像沿竖直方向划分为10个图像子区域。如果视频图像在竖直方向的运动信息小于N，则对运动信息进行插值处理，使运动信息的个数等于N。
步骤102，获取视频图像的滤波强度。
本发明实施例的滤波强度为卡尔曼滤波的卡尔曼增益，对于任一帧视频图像，其滤波强度可以根据自身以及邻近多帧的视频图像的运动信息计算得到。在一个具体实施例中，智能手机获取当前帧视频图像的N个运动信息以及邻近多帧视频图像的运动信息，根据获取的运动信息进行直线拟合将拟合后的直线斜率作为当前帧视频图像的整体运动信息。之后，将得到的整体运动信息输入模糊控制系统，得到对应的滤波强度。滤波强度具体的计算方式不唯一，此处不做限制。
步骤103，基于滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵。
智能手机可以根据卡尔曼滤波公式对每个图像子区域的运动信息进行平滑滤波，滤波结果为对图像子区域进行运动矫正后所需要到达的预测位置，根据该预测结果和当前的实际位置可得到运动矫正矩阵。具体的，可以将预测位置与实际位置作差，差值即为需要进行运动矫正的距离，运动矫正矩阵用于消除此距离，使其达到滤波结果的位置。对于任一图像子区域，智能手机可以根据公式X(k|k)＝X(k|k-1)+Kg(k)(Z(k)-HX(k|k-1))确定运动信息的滤波结果，其中，X(k|k-1)为根据前一帧图像子区域预测得到的运动信息，(Z(k)-HX(k|k-1))为当前帧图像子区域测量的运动信息，Kg(k)为当前帧视频图像的滤波强度，X(k|k)为当前帧图像子区域的滤波结果。
步骤104，若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合约束条件。
为了避免出现未定义区域(图像黑边)，需要设置约束条件对运动矫正进行约束。如果智能手机检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新滤波强度，并重新确定运动矫正矩阵。
一种实施例中，智能手机可直接以运动矫正矩阵为切入点设置约束条件，运动矫正矩阵用于对偏离正常轨迹的图像子区域进行运动矫正，例如，拍摄过程中由于智能手机左右抖动，某个图像子区域向右偏离，运动矫正矩阵需将其向左拉回。每个运动矫正矩阵矫正的程度需设置矫正上限，若矫枉过正，则矫正后的视频图像会出现图像黑边。智能手机得到所有图像子区域后，可检测每个图像子区域的矫正程度，若存在一个图像子区域的矫正程度超过矫正上限，则确定运动矫正矩阵不符合约束条件。矫正上限可按经验设置或根据其他运动矫正矩阵进行计算，例如，确定每个运动矫正矩阵的矫正程度，将所有矫正程度的均值的特定倍数作为矫正上限。
一种实施例中，基于设置约束条件的目的，智能手机还可以通过黑边检测的方式确定运动矫正后的图像子区域是否符合约束条件。对于任一图像子区域，基于运动矫正矩阵对其进行运动矫正预测，并对输出的预测结果进行黑边检测，如果出现黑边，则需要更新滤波强度。虽然每个图像子区域的运动矫正矩阵不同，但只要有一个运动矫正矩阵触发约束条件，则对当前帧视频图像包含的所有图像子区域的运动矫正矩阵进行更新。在具体实施例中，滤波强度的更新可采用等比例变换或等差变换，例如，每次更新将滤波强度与第一数值相乘，并将乘积作为更新后滤波强度，如果每次需要减小滤波强度，可以将第一数值设置为小于1的正数。根据具体需求，第一数值可以做相应的改动。或者，每次更新将滤波强度与第一数值相加，将加和作为更新后的滤波强度，根据实际情况可将第一数值设置为整数或负数。智能手机根据更新后的滤波强度重新确定运动矫正矩阵后，再次检测是否存在基于更新后的运动矫正矩阵进行运动矫正后仍不符合约束条件的图像子区域，若存在，则再次执行上述更新滤波强度的过程，直至每个运动矫正矩阵都不会触发约束条件。
步骤105，基于重新确定的运动矫正矩阵，对视频图像进行运动矫正。
智能手机对视频图像进行运动矫正的具体过程可以包括：对每个图像子区域采样，得到每个图像子区域所包含的多个像素值以及每个像素值的像素坐标，基于重新确定的运动矫正矩阵对像素值的像素坐标进行坐标变换，对完成坐标变换后的像素值进行插值处理。其中，像素坐标用于指示像素值在视频图像中的位置。采样后的效果可以如图3所示，图3中每个点表示采样获取的像素值。
一种实施例中，智能手机对当前帧的视频图像进行运动矫正后，需要根据更新后的滤波强度调整后续视频图像的滤波强度，避免画面弹跳。如图4所示，每个点表示一帧视频图像，箭头402所指曲线为平滑滤波的结果，当第M视频图像的任一图像子区域触发约束条件后，第M视频图像整体的滤波结果都需要进行调整，体现在图4中即为M点不能矫正至平滑滤波曲线，此处M点可用于表示第M视频图像所有图像子区域的整体运动信息，更新滤波强度后，M点将被矫正至箭头401所指位置。对第M+1帧视频图像矫正时，M+1点会矫正至平滑滤波曲线上，M点和M+1点存在差距，体现在视频图像上即为第M视频图像和第M+1视频图像对应的图像子区域之间不连贯，画面之间出现弹跳现象。为了避免此现象，智能手机需对后续视频图像的滤波强度进行调整，使得后续相邻两帧视频图像的平滑滤波结果的差值在预设阈值内。如图4B所示，平滑滤波曲线由M点逐渐趋向原始曲线，避免画面弹跳的发生。
一种实施例中，当视频图像的一个图像子区域触发约束条件时，如果智能手机只更新该图像子区域的运动矫正矩阵，则其他图像子区域可能会受到影响，视频图像会出现断层现象。如图5A所示，箭头501所指区域出现扭曲，如果只对当前区域的运动矫正矩阵进行调整，则其他区域会受到影响，如图5B所示，箭头501所指区域扭曲现象消失，但箭头502所指区域出现断层。基于上述情况，智能手机需更新滤波强度，并基于滤波强度同一调整所有图像子区域的运动矫正矩阵，再对视频图像进行运动矫正，矫正后的视频图像可如图5C所示，箭头501和箭头502所指区域都没有出现异常现象。
本发明实施例中，智能手机通过对视频图像进行划分，对每个图像子区域分别进行运动矫正，可有效抑制卷帘快门效应；同时，当任一图像子区域触发约束条件时，更新滤波强度，重新确定每个图像子区域的运动矫正矩阵，避免画面之间的断层现象；此外，对当前帧视频图像的滤波强度更新后，调整后续视频图像的滤波强度，避免画面之间的弹跳现象。
图6为本发明实施例提供的另一种视频图像滤波约束方法的流程图。如图6所示，该方法可以包括：
步骤601，获取每个图像子区域的运动信息。
步骤602，确定当前帧视频图像的滤波强度。
步骤603，确定每个图像子区域的运动矫正矩阵。
步骤604，判断图像子区域进行运动矫正后是否都符合约束条件。
若判断结果为是，则进入步骤606，否则进入步骤605。
步骤605，更新滤波强度。
步骤606，运动矫正处理。
具体细节可以参照图1流程图的描述。
图7为本发明实施例提供的一种视频图像滤波约束装置的结构示意图。该装置可以作为具体设备，实现本发明实施例提供的视频图像滤波约束方法，如图7所示，该装置可以包括：处理模块710、获取模块720、确定模块730和更新模块740。
处理模块710，用于将视频图像划分为多个图像子区域，每个图像子区域包含运动信息。
获取模块720，用于获取视频图像的滤波强度。
确定模块730，用于基于所述滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵。
更新模块740，用于若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合约束条件。
所述处理模块710，还用于基于重新确定的运动矫正矩阵，对视频图像进行运动矫正。
图8为本发明实施例提供的一种电子设备的结构示意图。图8显示的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：一个或者多个处理器810，存储器830，连接不同系统组件(包括存储器830和处理器810)的通信总线840。
通信总线840表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
电子设备典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器830可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)和/或高速缓存存储器。电子设备可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read Only Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read Only Memory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与通信总线840相连。存储器830可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块的程序/实用工具，可以存储在存储器830中，这样的程序模块包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块通常执行本发明所描述的实施例中的功能和/或方法。
电子设备也可以与一个或多个外部设备通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，或者与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过通信接口820进行。并且，电子设备还可以通过网络适配器(图8中未示出)与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信，上述网络适配器可以通过通信总线840与电子设备的其它模块通信。应当明白，尽管图8中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(RedundantArrays of Independent Drives；以下简称：RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器810通过运行存储在存储器830中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例提供的视频图像滤波约束方法。
本发明实施例还提供一种计算机可读存储介质，上述计算机可读存储介质存储计算机指令，上述计算机指令使上述计算机执行本发明实施例提供的视频图像滤波约束方法。
上述计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory；以下简称：ROM)、可擦式可编程只读存储器(Erasable Programmable ReadOnly Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种视频图像滤波约束方法，其特征在于，包括：
将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；
获取所述视频图像的滤波强度；
基于所述滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵；
若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件；
基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正。
2.根据权利要求1所述的方法，其特征在于，所述将视频图像划分为多个图像子区域，包括：
将所述视频图像沿竖直方向划分为N行图像子区域。
3.根据权利要求2所述的方法，其特征在于，所述将所述视频图像沿竖直方向划分为N行图像子区域之前，所述方法还包括：
若检测所述视频图像在竖直方向包含的运动信息小于N个，则对所述运动信息进行插值处理。
4.根据权利要求1所述的方法，其特征在于，所述若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件，包括：
当检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件时，更新所述滤波强度；
根据更新后的滤波强度重新确定每个图像子区域的运动矫正矩阵；
若基于更新后的运动矫正矩阵进行运动矫正后仍存在不符合所述约束条件的图像子区域，则再次执行所述更新所述滤波强度的过程。
5.根据权利要求4所述的方法，其特征在于，所述更新所述滤波强度，包括：
将所述滤波强度与第一数值相乘，并将乘积作为更新后的滤波强度，所述第一数值为小于1的正数。
6.根据权利要求1所述的方法，其特征在于，所述基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正，包括：
对每个图像子区域采样，得到每个图像子区域所包含的多个像素值以及每个像素值的像素坐标，所述像素坐标用于指示所述像素值在所述视频图像中的位置；
基于重新确定的运动矫正矩阵对所述像素值的像素坐标进行坐标变换；
对完成坐标变换后的像素值进行插值处理。
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
基于当前视频图像更新后的滤波强度，调整后续多帧视频图像所对应的滤波强度，以使相邻两帧视频图像的滤波结果的差值不超过预设阈值。
8.一种视频图像滤波约束装置，其特征在于，包括：
处理模块，用于将视频图像划分为多个图像子区域，每个图像子区域包含运动信息；
获取模块，用于获取所述视频图像的滤波强度；
确定模块，用于基于所述滤波强度对每个图像子区域的运动信息进行平滑滤波，并根据滤波结果确定每个图像子区域的运动矫正矩阵；
更新模块，用于若检测到任一图像子区域基于对应的运动矫正矩阵进行运动矫正后不符合约束条件，则更新所述滤波强度，并重新确定运动矫正矩阵，以使每个图像子区域进行运动矫正后都符合所述约束条件；
所述处理模块，还用于基于重新确定的运动矫正矩阵，对所述视频图像进行运动矫正。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，所述程序被处理器执行时实现如权利要求1至7任意一项所述的方法。
CN202211365817.XA 2022-10-31 2022-10-31 视频图像滤波约束方法和装置 Pending CN115526782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211365817.XA CN115526782A (zh) 2022-10-31 2022-10-31 视频图像滤波约束方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211365817.XA CN115526782A (zh) 2022-10-31 2022-10-31 视频图像滤波约束方法和装置

Publications (1)

Publication Number Publication Date
CN115526782A true CN115526782A (zh) 2022-12-27

Family

ID=84702826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211365817.XA Pending CN115526782A (zh) 2022-10-31 2022-10-31 视频图像滤波约束方法和装置

Country Status (1)

Country Link
CN (1) CN115526782A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434128A (zh) * 2023-06-15 2023-07-14 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116434128A (zh) * 2023-06-15 2023-07-14 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法
CN116434128B (zh) * 2023-06-15 2023-08-22 安徽科大擎天科技有限公司 一种基于缓存帧的电子稳像未填充区域的去除方法

Similar Documents

Publication Publication Date Title
CN111028191B (zh) 视频图像的防抖方法、装置、电子设备和存储介质
CN108335279B (zh) 图像融合和hdr成像
JP4960992B2 (ja) 魚眼補正と透視歪み削減の画像処理方法及び画像処理装置
US9639913B2 (en) Image processing device, image processing method, image processing program, and storage medium
EP3413265B1 (en) Panoramic video processing method and device and non-transitory computer-readable medium
US7054502B2 (en) Image restoration apparatus by the iteration method
CN111105367B (zh) 人脸畸变校正方法、装置、电子设备及存储介质
CN111062881A (zh) 图像处理方法及装置、存储介质、电子设备
US10306210B2 (en) Image processing apparatus and image capturing apparatus
CN113344821B (zh) 图像降噪方法、装置、终端、存储介质
CN110084765B (zh) 一种图像处理方法、图像处理装置及终端设备
US8644555B2 (en) Device and method for detecting movement of object
WO2020171300A1 (en) Processing image data in a composite image
CN112734659A (zh) 图像校正方法、装置及电子设备
CN115526782A (zh) 视频图像滤波约束方法和装置
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
CN112215906A (zh) 图像处理方法、装置和电子设备
JP4930304B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
CN110689502B (zh) 一种图像处理方法及相关装置
JP3959547B2 (ja) 画像処理装置、画像処理方法、及び情報端末装置
CN113469908B (zh) 图像降噪方法、装置、终端、存储介质
JP6579934B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
CN114513602B (zh) 镜头电机步长确定方法、装置、设备和介质
JP6548409B2 (ja) 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
CN115866400A (zh) 防抖控制方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination