CN113497886A - 视频处理方法、终端设备及计算机可读存储介质 - Google Patents

视频处理方法、终端设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113497886A
CN113497886A CN202010258327.4A CN202010258327A CN113497886A CN 113497886 A CN113497886 A CN 113497886A CN 202010258327 A CN202010258327 A CN 202010258327A CN 113497886 A CN113497886 A CN 113497886A
Authority
CN
China
Prior art keywords
image
target
target image
initial
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010258327.4A
Other languages
English (en)
Other versions
CN113497886B (zh
Inventor
李成
胡振邦
刘阳兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan TCL Group Industrial Research Institute Co Ltd
Original Assignee
Wuhan TCL Group Industrial Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan TCL Group Industrial Research Institute Co Ltd filed Critical Wuhan TCL Group Industrial Research Institute Co Ltd
Priority to CN202010258327.4A priority Critical patent/CN113497886B/zh
Publication of CN113497886A publication Critical patent/CN113497886A/zh
Application granted granted Critical
Publication of CN113497886B publication Critical patent/CN113497886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请适用于视频稳像技术领域，提供了一种视频处理方法、终端设备及计算机可读存储介质，包括：获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像；根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块；根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数；根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像；根据所述已校正图像，获取目标视频。通过本申请可解决现有技术中视频出现抖动现象的问题。

Description

视频处理方法、终端设备及计算机可读存储介质
技术领域
本申请属于视频稳像技术领域，尤其涉及一种视频处理方法、终端设备及计算机可读存储介质。
背景技术
大多数终端设备使用带有卷帘快门(Rolling Shutter，RS)的摄像机拍摄视频，其在拍摄视频时通常是由上至下逐行扫描像素点并处理电信号，每行像素点的曝光时刻会略有不同，在曝光期间，摄像机的抖动使单帧图像内每行像素点对应的摄像机方位略有不同，导致输出的视频出现抖动现象。
发明内容
本申请提供了一种视频处理方法、终端设备及计算机可读存储介质，以解决现有技术中视频出现抖动现象的问题。
第一方面，本申请实施例提供了一种视频处理方法，所述视频处理方法包括：
获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像，所述目标图像组对应的特征点对包括所述参考图像中的第一特征点，及所述待校正图像中与所述参考图像的第一特征点对应的第二特征点；
根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块；
根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数；
根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像；
根据所述已校正图像，获取目标视频。
第二方面，本申请实施例提供了一种视频处理装置，所述视频处理装置包括：
特征获取模块，用于获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像，所述目标图像组对应的特征点对包括所述参考图像中的第一特征点，及所述待校正图像中与所述参考图像的第一特征点对应的第二特征点；
图像划分模块，用于根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块；
参数获取模块，用于根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数；
图像校正模块，用于根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像；
视频获取模块，用于根据所述已校正图像，获取目标视频。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述视频处理方法的步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述视频处理方法的步骤。
第五方面，本申请提供了一种计算机程序产品，当所述计算机程序产品在终端设备上运行时，使得所述终端设备执行如上述第一方面所述视频处理方法的步骤。
由上可见，本申请通过将目标图像组中的参考图像划分为至少两个目标图像块，并根据目标图像组对应的特征点对，获取上述至少两个目标图像块各自对应的初始仿射变换参数，可以对每个目标图像块进行运动估计，通过不同目标图像块的运动估计的差异能够有效地反映参考图像与待校正图像之间的图像运动，完成对待校正图像的校正，输出稳定的视频。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的视频处理方法的实现流程示意图；
图2是目标图像组对应的特征点对的示例图；
图3是本申请实施例二提供的视频处理方法的实现流程示意图；
图4a是参考图像的初始图像块示例图；图4b是参考图像中初始图像块合并示例图；图4c是参考图像中目标图像块示例图；
图5a是本申请方案x方向重投影误差平方均值；图5b是全局仿射变换算法x方向重投影误差平方均值；图5c是本申请方案y方向重投影误差平方均值；
图5d是全局仿射变换算法y方向重投影误差平方均值；
图6是本申请实施例三提供的视频处理装置的结构示意图；
图7是本申请实施例四提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应理解，本实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
参见图1，是本申请实施例一提供的视频处理方法的实现流程示意图，该视频处理方法应用于终端设备，如图所示该视频处理方法可以包括以下步骤：
步骤101，获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像。
待处理视频可以是指待进行稳像处理的视频，稳像处理可以是指减少视频的抖动现象，输出稳定的视频。参考图像可以是指对待校正图像进行校正时需参考的图像，待校正图像可以是指待进行校正的图像。其中，参考图像的播放时间点早于待校正图像的播放时间点，参考图像的播放时间点是指播放参考图像的时间点，待校正图像的播放时间点是指播放待校正图像的时间点。可选的，用户可以根据实际需要从待处理视频中选定目标图像组中的两帧图像，例如参考图像和待校正图像均为待处理视频中的关键帧。
可选的，参考图像和待校正图像是待处理视频中相邻的两帧图像，且待校正图像是参考图像的下一帧图像。
在本申请实施例中，待处理视频中任一相邻的两帧图像均可构成一个目标图像组，将待处理图像中所有相邻的两帧图像均构成目标图像组，可以实现对待处理视频中每帧图像的校正，得到稳定的视频。例如待处理视频包括四帧图像，分别为第一帧图像、第二帧图像、第三帧图像和第四帧图像；第一帧图像和第二帧图像构成一个目标图像组，在该目标图像组中第一帧图像为参考图像，第二帧图像为待校正图像；第二帧图像和第三帧图像构成一个目标图像组，在该目标图像组中第二帧图像为参考图像，第三帧图像为待校正图像；第三帧图像和第四帧图像构成一个目标图像组，在该目标图像组中第三帧图像为参考图像，第四帧图像为待校正图像。
其中，目标图像组对应的特征点对包括参考图像中的第一特征点，及待校正图像中与参考图像的第一特征点对应的第二特征点。
在一种实现方式中，获取待处理视频中目标图像组对应的特征点对可以包括：通过预设特征点检测算法获取参考图像中的第一特征点，通过预设特征点追踪算法计算参考图像中的第一特征点在待校正图像中的位置，该位置处的像素点即为待校正图像中与参考图像的第一特征点对应的第二特征点，参考图像中的第一特征点以及待校正图像中与参考图像的第一特征点对应的第二特征点构成目标图像组对应的特征点对。如图2所示是目标图像组对应的特征点对的示例图，图2中Ft-1是参考图像，Ft是待校正图像，Ft-1中符号“×”表示参考图像的第一特征点，Ft中符号“×”表示待校正图像的第二特征点，Ft-1中的“×”与图Ft中的“×”构成目标图像组对应的特征点对。
其中，图像中的特征点(包括参考图像中的第一特征点和待校正图像中的第二特征点)是指图像中灰度值发生剧烈变化的像素点。参考图像中第一特征点是参考图像中的特征点，待校正图像中的第二特征点是待校正图像中与参考图像的第一特征点对应的特征点。预设特征点检测算法可以是指预先设置的用于获取参考图像中第一特征点的算法，预设特征点检测算法包括但不限于Fast、Brisk、Freak、ORB(Oriented FAST and RotatedBRIEF)、AKAZE(Accelerated-KAZE)等特征点检测算法，以Fast特征点检测算法为例，其特征点检测过程为：对于参考图像中任一像素点，获取上述任一像素点的灰度值以及其周围邻域内像素点的灰度值，若上述任一像素点的灰度值与其周围邻域内像素点的灰度值的差值的绝对值均大于预设阈值，则确定上述任一像素点为发生剧烈变化的像素点，即上述任一像素点为特征点。预设特征点追踪算法可以是指预先设置的用于追踪参考图像中第一特征点在待校正图像中位置的算法，预设特征点追踪算法包括但不限于光流法和直接法，光流法是估计第一特征点在参考图像上的运动，从而估计出第一特征点在待校正图像中的位置，直接法是利用摄像机运动模型计算参考图像中第一特征点在待校正图像中的位置。
在使用预设特征点检测算法和预设特征点追踪算法过程中，可以直接将待处理视频中的图像作为特征点检测和追踪的对象，也可以将待处理视频中图像的缩略图作为特征点检测和追踪的对象，在此不作限定。图像的缩略图是对图像进行压缩处理后所得图，对图像进行压缩处理能够去除图像中冗余(例如图像中相邻像素点之间的相关性引起的空间冗余)，减少将图像进行数字化时所需的数据量，故将缩略图作为特征点检测和追踪的对象能够减少特征点检测和追踪过程中的数据计算量，提高特征点检测速度和追踪速度。另外，目标图像组对应的特征点对涉及特征点，而不涉及描述子，提高了特征点检测的实时性。
步骤102，根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块。
其中，参考图像的第一特征点位置分布可以是指参考图像的第一特征点在参考图像中的位置信息，如图2中符号“×”在Ft-1中的位置信息。上述至少两个目标图像块中每个目标图像块中的第一特征点数量大于或等于预设值，预设值的设定与仿射变换有关，例如，为了保证每个目标图像块均能够计算一个仿射变换，而计算一个仿射变换需3个特征点对(如图2所示目标图像组对应18个特征点对)，那么就需要每个目标图像块中的第一特征点数量至少为3，故将预设值设置为3。
步骤103，根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数。
其中，上述至少两个目标图像块各自对应的初始仿射变换参数可以是指上述至少两个目标图像块中每个目标图像块对应的初始仿射变换参数，例如上述至少两个目标图像块包括三个目标图像块，分别为第一目标图像块、第二目标图像块和第三目标图像块，根据目标图像组对应的特征点对，获取第一目标图像块对应的初始仿射变换参数、第二目标图像块对应的初始仿射变换参数和第三目标图像块对应的初始仿射变换参数。
目标图像块对应的初始仿射变换参数是根据目标图像组对应的特征点对获取的仿射变换参数，仿射变换参数是仿射变换模型的参数，通常包括六个偏移参数，分别为平移参数、旋转参数和缩放参数，平移参数、旋转参数和缩放参数分别包括两个偏移参数。仿射变换模型是运动估计模型，用于估计参考图像与待校正图像之间的图像运动。
步骤104，根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像。
在本申请实施例中，根据上述至少两个目标图像块各自对应的初始仿射变换参数可以对上述至少两个目标图像块进行运动估计(上述至少两个目标图像块包括三个目标图像块，分别为第一目标图像块、第二目标图像块和第三目标图像块，根据第一目标图像块对应的初始仿射变换参数可以对第一目标图像块进行运动估计，根据第二目标图像块对应的初始仿射变换参数可以对第二目标图像块进行运动估计，根据第三目标图像块对应的初始仿射变换参数可以对第三目标图像块进行运动估计)，实现对待校正图像的校正，得到已校正图像。其中，已校正图像是指对待校正图像进行校正后所得的图像。
步骤105，根据所述已校正图像，获取目标视频。
在本申请实施例中，在获得已校正图像后，可以根据已校正图像，对待处理视频进行编辑，得到目标视频。例如，若对待处理视频中每帧图像均进行校正，则可以将待处理视频中的所有图像替换为各自对应的已校正图像，替换后所得视频即为目标视频，或者按照预先的播放时间顺序对待处理视频中所有图像各自对应的已校正图像进行拼接，拼接后所得视频即为目标视频；若对待处理视频中部分图像进行校正(即不是对每帧图像进行校正)，则可以由上述部分图像各自对应的已校正图像生成目标视频(例如按照上述部分图像的播放时间点的先后顺序，对上述部分图像各自对应的已校正图像进行拼接，拼接后所得视频即为目标视频)。其中，目标视频是对待处理视频进行稳像处理后所得视频，对待处理视频中的待校正图像进行校正即为对待处理视频进行稳像处理。
本申请实施例通过将目标图像组中的参考图像划分为至少两个目标图像块，并根据目标图像组对应的特征点对，获取上述至少两个目标图像块各自对应的初始仿射变换参数，可以对每个目标图像块进行运动估计，通过不同目标图像块的运动估计的差异能够反映参考图像与待校正图像之间的图像运动，减小运动估计中的特征点匹配误差，去除视频的抖动现象，输出稳定的视频。
参见图3，是本申请实施例二提供的视频处理方法的实现流程示意图，该视频处理方法应用于终端设备，如图所示该视频处理方法可以包括以下步骤：
步骤301，获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像。
该步骤与步骤101相同，具体可参见步骤101的相关描述，在此不再赘述。
步骤302，将所述参考图像划分为K个初始图像块。
其中，K为大于1的整数。
在本申请实施例中，可以先获取终端设备的处理器核数，将K设置为处理器核数的正整数倍，能够实现通过多线程对K个初始图像块进行调整，提高初始图像块的调整效率。例如，终端设备的处理器核数为Ncore，K＝n×Ncore，n为正整数(如n＝1、2、3、4或5)。其中，可以将参考图像由上至下划分为K个初始图像块，也可以将参考图像由下至上划分为K个初始图像块，在此不作限定。在将参考图像划分为K个初始图像块时，可以是等分(即K个初始图像块的高度相同)，也可以是不等分(即K个初始图像块中存在高度不同的初始图像块)，在此不作限定。
步骤303，根据所述参考图像的第一特征点位置分布，获取所述K个初始图像块中每个初始图像块中的第一特征点数量。
其中，每个初始图像块中的第一特征点数量是指每个初始图像块中第一特征点的数量。
步骤304，根据所述每个初始图像块中的第一特征点数量，对所述K个初始图像块进行调整，得到至少两个目标图像块。
在本申请实施例中，由于参考图像可能出现第一特征点缺失的现象(例如参考图像中一些位置没有明显的纹理)，这将导致参考图像划分为K个初始图像块后，可能存在第一特征点数量小于预设值的初始图像块，不足以确定与待校正图像的仿射变换关系，故可以对K个初始图像块进行调整，得到至少两个目标图像块，上述至少两个目标图像块中的第一特征点数量均大于或等于预设值，能够有效解决参考图像中特征点较少区域的特征点匹配问题。
可选的，所述根据所述每个初始图像块中的第一特征点数量，对所述K个初始图像块进行调整，得到所述至少两个目标图像块包括：
从所述K个初始图像块中选取一个初始图像块作为待合并图像块；
检测所述待合并图像块中的第一特征点数量是否大于或等于预设值；
若所述待合并图像块中的第一特征点数量大于或等于所述预设值，则确定所述待合并图像块为一个目标图像块，并将与该目标图像块相邻的初始图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块；
若所述待合并图像块中的第一特征点数量小于所述预设值，则将所述待合并图像块与相邻的初始图像块进行合并，得到待处理图像块，并将所述待处理图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块。
其中，从K个初始图像块中选择的一个初始图像块可以是K个初始图像块中的任一初始图像块，待处理图像块是将待合并图像块与相邻的初始图像块进行合并后所得图像块。
如图4a是参考图像的初始图像块示例图，将参考图像划分为八个初始图像块，将上述八个初始图像块由上至下分别称之为第一初始图像块、第二初始图像块、第三初始图像块、第四初始图像块、第五初始图像块、第六初始图像块、第七初始图像块和第八初始图像块，预设值为3，选取第一初始图像块作为待合并图像块，检测到待合并图像块(即第一初始图像块)的第一特征点数量为1，即小于3，则将待合并图像块和第二初始图像块进行合并，得到待处理图像快，将该待处理图像块作为待合并图像块，检测到待合并图像块(即第一初始图像块和第二初始图像块合并后所得图像块)的第一特征点数量为2，即小于3，则将待合并图像块和第三初始图像块进行合并，得到待处理图像块，将该待处理图像块作为待合并图像块，检测到待合并图像块(即第一初始图像块、第二初始图像块和第三初始图像块合并后所得图像块)的第一特征点为11，即大于3，则确定该待合并图像块为第一目标图像块，将第四初始图像块作为待合并图像块，检测到待合并图像块(即第四初始图像块)的第一特征点数量为1，即小于3，则将待合并图像块和第五初始图像块进行合并，得到待处理图像块，将该待处理图像块作为待合并图像块，检测到待合并图像块(即第四图像块和第五图像块合并后所得图像块)的第一特征点数量为3，则确定该待合并图像块为第二目标图像块，将第六初始图像块作为待合并图像块，检测到待合并图像块(即第六初始图像块)的第一特征点数量为3，则确定该待合并图像块为第三目标图像块，将第七初始图像块作为待合并图像块，检测到待合并图像块(即第七初始图像块)的第一特征点数量为0，则将待合并图像块和第八初始图像块进行合并，得到待处理图像块，将该待处理图像块作为待合并图像块，检测到待合并图像块(即第七初始图像块和第八初始图像块合并后所得图像块)的第一特征点数量为1，即小于3，则将该待合并图像块合并到第三目标图像块中，即将第六初始图像块、第七初始图像块和第八初始图像块进行合并，得到第三目标图像块，如图4b是参考图像中初始图像块合并示例图，图4c是参考图像中目标图像块示例图。
步骤305，根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数。
该步骤与步骤103相同，具体可参见步骤103的相关描述，在此不再赘述。
可选的，在一种实现方式中，所述根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数包括：
对于所述至少两个目标图像块中的第i个目标图像块，所述第i个目标图像块为所述至少两个目标图像块中的任一目标图像块，根据所述目标图像组对应的特征点对，获取所述第i个目标图像块对应的特征点对，其中，i为小于或等于目标图像块总数的正整数；
根据所述第i个目标图像块对应的特征点对，获取所述第i个目标图像块对应的特征点仿射变换矩阵；
获取目标像素点的第一位置信息，其中，所述目标像素点的第一位置信息是所述目标像素点在所述参考图像中的位置信息，所述目标像素点是由所述第i个目标图像块与相邻目标图像块确定的；
根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述目标像素点的第一位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
在本申请实施例中，根据第i个目标图像块对应的特征点对，获取第i个目标图像块对应的特征点仿射变换矩阵具体可以是：根据第i个目标图像块对应的每个特征点对，获取每个特征点对对应的特征点仿射变换矩阵。对于第i个目标图像块对应的第g个特征点对，第g个特征点对为第i个目标图像块对应的所有特征点对中的任一特征点对，g为小于或等于第i个目标图像块对应的特征点对总数的正整数，第g个特征点对为
Figure BDA0002438313120000111
和
Figure BDA0002438313120000112
为第g个特征点对中参考图像的第一特征点的位置，
Figure BDA0002438313120000113
为第g个特征点对中待校正图像的第二特征点的位置，第g个特征点对对应的特征点仿射变换矩阵为：
Figure BDA0002438313120000114
其中，{ai，bi，ci，di，ei，fi}表示第i个目标图像块的仿射变换参数，i＝1、2…k，k为参考图像中目标图像块的总数。
目标像素点可以是指第i个目标图像块与相邻目标图像块的交界上任意一个像素点，该交界是第i个目标图像块和相邻目标图像块共同的边界。
可选的，所述根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述目标像素点的第一位置信息，获取所述第i个目标图像块对应的初始仿射变换参数包括：
根据所述目标像素点的第一位置信息，获取所述目标像素点的第二位置信息和第三位置信息，其中，所述目标像素点的第二位置信息是所述目标像素点经所述第i个目标图像块仿射变换后在所述待校正图像中的位置信息；所述目标像素点的第三位置信息是所述目标像素点经所述相邻目标图像块仿射变换后在所述待校正图像中的位置信息；
根据所述第i个目标图像块对应的特征点仿射变换矩阵、所述目标像素点的第二位置信息以及所述目标像素点的第三位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
其中，根据第i个目标图像块对应的初始仿射变换参数，可以对目标像素点进行仿射变换，得到目标像素点经上述第i个目标图像块仿射变换后在待校正图像中的位置信息，即目标像素点的第二位置信息；根据上述相邻目标图像块对应的初始仿射变换参数，可以对目标像素点进行仿射变换，得到目标像素点经上述相邻目标图像块仿射变换后在待校正图像中的位置信息，即目标像素点的第三位置信息。
可选的，所述根据所述第i个目标图像块对应的特征点仿射变换矩阵、所述目标像素点的第二位置信息以及所述目标像素点的第三位置信息，获取所述第i个目标图像块对应的初始仿射变换参数包括：
将所述目标像素点的第二位置信息等于所述目标像素点的第三位置信息，确定所述第i个目标图像块与所述相邻目标图像块满足目标约束条件；
获取所述第i个目标图像块的高度；
在所述第i个目标图像块与所述相邻目标图像块满足所述目标约束条件下，根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述第i个目标图像块的高度，获取所述第i个目标图像块对应的初始仿射变换参数。
在一种实现方式中，可以根据第i个目标图像块对应的特征点仿射变换矩阵、第i个目标图像块的高度以及预设的参数估计算法，获取第i个目标图像块对应的初始仿射变换参数。其中，预设的参数估计算法是预先设置的用于估计初始仿射变换参数的算法，包括但不限于最小二乘估计算法、最大似然估计算法等。
在获取第i个目标图像块的高度时，可以先获取第i个目标图像块包括的各初始图像块的高度，再将上述各初始图像块的高度相加，相加后所得值即为第i个目标图像块的高度。其中，可以根据参考图像的高度和K个初始图像块的划分比例，获得K个初始图像各自的高度。以图4a、图4b以及图4c为例，参考图像的高度为A，按照划分比例1:1:1:1:1:1:1:1，将参考图像由上至下划分为八个初始图像块，八个初始图像块各自的高度均为
Figure BDA0002438313120000131
对上述八个初始图像块进行调整后，得到三个目标图像块，图4c中的块1为第一目标图像块，块2为第二目标图像块，块3为第三目标图像块，由图4b和图4c可知，第一目标图像块包括三个初始图像块，故第一目标图像块的高度为
Figure BDA0002438313120000132
第二目标图像块包括两个初始图像块，故第二目标图像块的高度为
Figure BDA0002438313120000133
第三目标图像块包括三个初始图像块，故第三目标图像块的高度为
Figure BDA0002438313120000134
根据公式(1)可得：
Figure BDA0002438313120000141
其中，Ni为第i个目标图像块中第一特征点总数，也是第i个目标图像对应的特征点对总数。
目标像素点经过第i个目标图像块仿射变换后所得的第二位置信息与经过相邻目标图像块的仿射变换后所得的第三位置信息相同(即第i个目标图像块与相邻目标图像块满足目标约束条件)，即：
Figure BDA0002438313120000142
其中，
Figure BDA0002438313120000143
表示目标像素点的第一位置信息，{ai，bi，ci，di，ei，fi}表示第i个目标图像块对应的初始仿射变换参数，
Figure BDA0002438313120000144
表示目标像素点的第二位置信息，{ai+1，bi+1，ci+1，di+1，ei+1，fi+1}表示相邻目标图像块对应的初始仿射变换参数，
Figure BDA0002438313120000145
表示目标像素点的第三位置信息。
公式(3)可写为：
Figure BDA0002438313120000146
Figure BDA0002438313120000151
设定参考图像的坐标系原点为左上角，对于第i个目标图像块与相邻目标图像块的交界上的不同目标像素点，
Figure BDA0002438313120000152
各不相同，而
Figure BDA0002438313120000153
是一致的，且有：
Figure BDA0002438313120000154
根据公式(4)、(5)和(6)可得：
ai＝ai+1 (7)
ci＝ci+1 (8)
Figure BDA0002438313120000155
Figure BDA0002438313120000156
根据公式(7)，可得a1＝a2＝…＝ak。
令：
a1＝a2＝…＝ak＝a (11)
e1＝e (12)
根据公式(9)和公式(12)，可得：
Figure BDA0002438313120000157
将(11)、(12)和(13)代入(2)可得：
Figure BDA0002438313120000161
令：
Figure BDA0002438313120000162
s1＝[a e b1 b2 b3…bk-1 bk]T (16)
Figure BDA0002438313120000163
利用最小二乘估计算法公式(18)可以求得a、e、b1、b2…bk。
S1＝(ATA)-1ATb1 (18)
再根据(11)、(12)和(13)可以求得a1、a2…ak、e1、e2…ek。
同理，令：
c1＝c2＝…＝ck＝C (19)
f1＝f (20)
由公式(20)和公式(10)可得：
Figure BDA0002438313120000171
令：
S2＝[C f d1 d2 d3…dk-1 dk]T (22)
Figure BDA0002438313120000172
利用最小二乘估计算法公式(24)可以求得c、f、d1、d2…dk。
s2＝(ATA)-1ATb2 (24)
再根据公式(19)、(21)、(22)和(23)可求得：c1、c2…ck、d1、d2…dk、f1、f2…fk。
最终求得每个目标图像块对应的初始仿射变换参数。
步骤306，根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像。
该步骤与步骤104相同，具体可参见步骤104的相关描述，在此不再赘述。
可选的，所述根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像包括：
根据所述至少两个目标图像块各自对应的初始仿射变换参数，获取所述至少两个目标图像块各自对应的初始摄像机路径；
根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数；
根据所述至少两个目标图像块各自对应的目标仿射变换参数，获取所述参考图像中每个像素点对应的目标仿射变换参数；
根据所述参考图像中每个像素点对应的目标仿射变换参数，对所述待校正图像进行校正，得到已校正图像。
在本申请实施例中，获取上述至少两个目标图像块各自对应的原始摄像机路径，根据上述至少两个目标图像块各自对应的初始仿射变换参数和原始摄像机路径，可以计算得到上述至少两个目标图像块各自对应的初始摄像机路径，以第i个目标图像块为例，第i个目标图像块对应的初始摄像机路径
Figure BDA0002438313120000181
Figure BDA0002438313120000182
为第i个目标图像块对应的原始摄像机路径，Fi为第i个目标图像对应的初始仿射变换参数。其中，目标图像块对应的原始摄像机路径是摄像机在参考图像时的移动路径，目标图像块对应的初始摄像机路径是根据公式
Figure BDA0002438313120000183
求出的摄像机在待校准图像时的移动路径。摄像机路径表示摄像机在空间的移动路径。
在获取参考图像中每个像素点对应的目标仿射变换参数时，可以对上述至少两个目标图像块各自对应的目标仿射变换参数进行高斯平滑插值，经过高斯平滑插值，参考图像中每个像素点对应的目标仿射变换参数Bx为：
Figure BDA0002438313120000184
其中，Bx为参考图像中第x个像素点对应的目标仿射变换参数，Bi为第i个目标仿射变换参数对应的目标仿射变换参数，wi(x)为第x个像素点的高斯核函数。
在获取到参考图像中每个像素点对应的目标仿射变换参数之后，可以根据参考图像中每个像素点对应的目标仿射变换参数、每个像素点的位置信息和仿射变换矩阵，计算得到参考图像中每个像素点在待校正图像中的位置，将待校正图像中该位置处像素点的灰度值设置为参考图像中对应像素点的灰度值，完成对待校正图像的校准。以参考图像中第x个像素点为例，根据第x个像素点对应的目标仿射变换参数、第x个像素点在参考图像块中的位置信息和仿射变换矩阵，计算得到第x个像素点在待校正图像中的位置，将待校正图像中该位置处像素点的灰度值设置为第x个像素点的灰度值，完成待校正图像中该位置处像素点的校正。
可选的，所述根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数包括：
根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标摄像机路径；
根据所述至少两个目标图像块各自对应的目标摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数。
以上述至少两个目标图像块中的第i个目标图像块为例，第i个目标图像块对应的初始摄像机路径与目标摄像机路径的关系为：
Figure BDA0002438313120000191
其中，
Figure BDA0002438313120000192
为第i个目标图像块对应的初始摄像机路径，Pi为第i个目标图像块对应的目标摄像机路径，Di为第i个目标图像块对应的目标仿射变换参数，Di的作用是使得第i个目标图像块对应的初始摄像机路径更新为平滑的目标摄像机路径，输出视频内容无高频晃动或抖动的目标视频。
使用优化目标函数J(Pi)获取目标图像块对应的目标仿射变换参数。
J(Pi)＝w1||D(Pi)||1+w2||D2(Pi)||1+w3||D3(Pi)||1 (27)
其中，w1，w2，w3为权重，根据经验设置；||D(Pi)||1、||D2(Pi)||1、||D3(Pi)||1分别是目标摄像机路径Pi的一阶、二阶、三阶差分的L1范数。
将公式(26)代入公式(27)，可求得第i个目标图像块对应的目标仿射变换参数。
步骤307，根据所述已校正图像，获取目标视频。
该步骤与步骤105相同，具体可参见步骤105的相关描述，在此不再赘述。
以待处理视频中所有相邻的两帧图像均构成目标图像组为例，使用待处理视频中每帧图像的重投影误差平方均值，对比分析本申请方案与全局仿射变换算法(即用一组仿射变换参数表示待处理视频中相邻两帧之间的图像运动)。
设参考图像中特征点(x,y)，通过预设特征点追踪算法计算得到其在待校正图像中的位置为(x′,y′)。
F(x,y)＝(Fx,Fy)表示根据本申请的目标图像块对应的初始仿射变换参数计算得到的(x,y)在待校正图像中的位置，Fx表示在x方向的位置，Fy表示在y方向的位置。G(x,y)＝(Gx,Gy)表示根据全局仿射变换算法计算得到的(x,y)在待校正图像中的位置。
根据参考图像中特征点(x,y)和(x,y)在待校正图像中的位置F(x,y)，计算得到本申请方案在x方向的重投影误差平方均值
Figure BDA0002438313120000201
和在y方向的重投影误差平方均值
Figure BDA0002438313120000202
Figure BDA0002438313120000203
Figure BDA0002438313120000204
根据参考图像中特征点(x,y)和(x,y)在待校正图像中的位置G(x,y)，计算得到全局仿射变换算法在x方向的重投影误差平方均值
Figure BDA0002438313120000205
和在y方向的重投影误差平方均值
Figure BDA0002438313120000206
Figure BDA0002438313120000207
Figure BDA0002438313120000208
其中，N表示参考图像中特征点总数。
图5a是本申请方案x方向重投影误差平方均值；图5b是全局仿射变换算法x方向重投影误差平方均值；图5c是本申请方案y方向重投影误差平方均值；图5d是全局仿射变换算法y方向重投影误差平方均值。图5a至图5d中，横坐标代表图像索引，例如图5a横坐标中的50表示待处理视频中第50帧图像。
将图5a与图5b进行比对可知，对于待处理视频中同一帧图像，本申请方案x方向重投影误差平方均值小于全局仿射变换算法x方向重投影误差平方均值；将图5c与图5d进行比对可知，对于待处理视频中同一帧图像，本申请方案y方向重投影误差平方均值明显小于全局仿射变换算法y方向重投影误差平方均值。重投影误差平方均值越小，相邻帧之间的特征点匹配误差越小，即相比于全局仿射变换算法，本申请方案能够减小相邻帧之间的特征点匹配误差，在y方向效果尤为明显。
本申请实施例通过对参考图像划分的初始图像块进行调整，得到至少两个特征点数量大于或等于预设值的目标图像块，能够有效解决参考图像中特征点较少区域的特征点匹配问题，减小目标图像组中参考图像和待校正图像之间的特征点匹配误差，输出稳定的视频，避免输出的视频出现高频晃动。
参见图6，是本申请实施例三提供的视频处理装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。
所述视频处理装置包括：
特征获取模块61，用于获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像，所述目标图像组对应的特征点对包括所述参考图像中的第一特征点，及所述待校正图像中与所述参考图像的第一特征点对应的第二特征点；
图像划分模块62，用于根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块；
参数获取模块63，用于根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数；
图像校正模块64，用于根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像；
视频获取模块65，用于根据所述已校正图像，获取目标视频。
可选的，所述图像划分模块62包括：
初始块划分单元，用于将所述参考图像划分为K个初始图像块，其中，K为大于1的整数；
数量获取单元，用于根据所述参考图像的第一特征点位置分布，获取所述K个初始图像块中每个初始图像块中的第一特征点数量；
初始块调整单元，用于根据所述每个初始图像块中的第一特征点数量，对所述K个初始图像块进行调整，得到所述至少两个目标图像块。
可选的，所述初始块调整单元具体用于：
从所述K个初始图像块中选取一个初始图像块作为待合并图像块；
检测所述待合并图像块中的第一特征点数量是否大于或等于预设值；
若所述待合并图像块中的第一特征点数量大于或等于所述预设值，则确定所述待合并图像块为一个目标图像块，并将与该目标图像块相邻的初始图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块；
若所述待合并图像块中的第一特征点数量小于所述预设值，则将所述待合并图像块与相邻的初始图像块进行合并，得到待处理图像块，并将所述待处理图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块。
可选的，所述参数获取模块包括：
第一获取单元，用于对于所述至少两个目标图像块中的第i个目标图像块，所述第i个目标图像块为所述至少两个目标图像块中的任一目标图像块，根据所述目标图像组对应的特征点对，获取所述第i个目标图像块对应的特征点对，其中，i为小于或等于目标图像块总数的正整数；
第二获取单元，用于根据所述第i个目标图像块对应的特征点对，获取所述第i个目标图像块对应的特征点仿射变换矩阵；
第三获取单元，用于获取目标像素点的第一位置信息，其中，所述目标像素点的第一位置信息是所述目标像素点在所述参考图像中的位置信息，所述目标像素点是由所述第i个目标图像块与相邻目标图像块确定的；
第四获取单元，用于根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述目标像素点的第一位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
可选的，所述第四获取单元包括用于：
位置获取子单元，用于根据所述目标像素点的第一位置信息，获取所述目标像素点的第二位置信息和第三位置信息，其中，所述目标像素点的第二位置信息是所述目标像素点经所述第i个目标图像块仿射变换后在所述待校正图像中的位置信息；所述目标像素点的第三位置信息是所述目标像素点经所述相邻目标图像块仿射变换后在所述待校正图像中的位置信息；
参数获取子单元，用于根据所述第i个目标图像块对应的特征点仿射变换矩阵、所述目标像素点的第二位置信息以及所述目标像素点的第三位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
可选的，所述参数获取子单元具体用于：
将所述目标像素点的第二位置信息等于所述目标像素点的第三位置信息，确定所述第i个目标图像块与所述相邻目标图像块满足目标约束条件；
获取所述第i个目标图像块的高度；
在所述第i个目标图像块与所述相邻目标图像块满足所述目标约束条件下，根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述第i个目标图像块的高度，获取所述第i个目标图像块对应的初始仿射变换参数。
可选的，所述图像校正模块64包括：
初始路径获取单元，用于根据所述至少两个目标图像块各自对应的初始仿射变换参数，获取所述至少两个目标图像块各自对应的初始摄像机路径；
目标参数获取单元，用于根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数；
像素参数获取单元，用于根据所述至少两个目标图像块各自对应的目标仿射变换参数，获取所述参考图像中每个像素点对应的目标仿射变换参数；
校正单元，用于根据所述参考图像中每个像素点对应的目标仿射变换参数，对所述待校正图像进行校正，得到已校正图像。
可选的，所述目标参数获取单元具体用于：
根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标摄像机路径；
根据所述至少两个目标图像块各自对应的目标摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数。
可选的，所述参考图像和所述待校正图像是所述待处理视频中相邻的两帧图像，且所述待校正图像是所述参考图像的下一帧图像。
本申请实施例提供的视频处理装置可以应用在前述方法实施例一和实施例二中，详情参见上述方法实施例一和实施例二的描述，在此不再赘述。
图7是本申请实施例四提供的终端设备的示意图。如图7所示，该实施例的终端设备7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述各个视频处理方法实施例中的步骤。或者，所述处理器70执行所述计算机程序72时实现上述各装置实施例中各模块/单元的功能。
所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (11)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：
获取待处理视频中目标图像组对应的特征点对，所述目标图像组包括参考图像和待校正图像，所述目标图像组对应的特征点对包括所述参考图像中的第一特征点，及所述待校正图像中与所述参考图像的第一特征点对应的第二特征点；
根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块；
根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数；
根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像；
根据所述已校正图像，获取目标视频。
2.如权利要求1所述的视频处理方法，其特征在于，所述根据所述参考图像的第一特征点位置分布，将所述参考图像划分为至少两个目标图像块包括：
将所述参考图像划分为K个初始图像块，其中，K为大于1的整数；
根据所述参考图像的第一特征点位置分布，获取所述K个初始图像块中每个初始图像块中的第一特征点数量；
根据所述每个初始图像块中的第一特征点数量，对所述K个初始图像块进行调整，得到所述至少两个目标图像块。
3.如权利要求2所述的视频处理方法，其特征在于，所述根据所述每个初始图像块中的第一特征点数量，对所述K个初始图像块进行调整，得到所述至少两个目标图像块包括：
从所述K个初始图像块中选取一个初始图像块作为待合并图像块；
检测所述待合并图像块中的第一特征点数量是否大于或等于预设值；
若所述待合并图像块中的第一特征点数量大于或等于所述预设值，则确定所述待合并图像块为一个目标图像块，并将与该目标图像块相邻的初始图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块；
若所述待合并图像块中的第一特征点数量小于所述预设值，则将所述待合并图像块与相邻的初始图像块进行合并，得到待处理图像块，并将所述待处理图像块作为所述待合并图像块，返回执行所述检测所述待合并图像块中的第一特征点数量是否大于或等于预设值，直到遍历完所述K个初始图像块。
4.如权利1所述的视频处理方法，其特征在于，所述根据所述目标图像组对应的特征点对，获取所述至少两个目标图像块各自对应的初始仿射变换参数包括：
对于所述至少两个目标图像块中的第i个目标图像块，所述第i个目标图像块为所述至少两个目标图像块中的任一目标图像块，根据所述目标图像组对应的特征点对，获取所述第i个目标图像块对应的特征点对，其中，i为小于或等于目标图像块总数的正整数；
根据所述第i个目标图像块对应的特征点对，获取所述第i个目标图像块对应的特征点仿射变换矩阵；
获取目标像素点的第一位置信息，其中，所述目标像素点的第一位置信息是所述目标像素点在所述参考图像中的位置信息，所述目标像素点是由所述第i个目标图像块与相邻目标图像块确定的；
根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述目标像素点的第一位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
5.如权利要求4所述的视频处理方法，其特征在于，所述根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述目标像素点的第一位置信息，获取所述第i个目标图像块对应的初始仿射变换参数包括：
根据所述目标像素点的第一位置信息，获取所述目标像素点的第二位置信息和第三位置信息，其中，所述目标像素点的第二位置信息是所述目标像素点经所述第i个目标图像块仿射变换后在所述待校正图像中的位置信息；所述目标像素点的第三位置信息是所述目标像素点经所述相邻目标图像块仿射变换后在所述待校正图像中的位置信息；
根据所述第i个目标图像块对应的特征点仿射变换矩阵、所述目标像素点的第二位置信息以及所述目标像素点的第三位置信息，获取所述第i个目标图像块对应的初始仿射变换参数。
6.如权利要求5所述的视频处理方法，其特征在于，所述根据所述第i个目标图像块对应的特征点仿射变换矩阵、所述目标像素点的第二位置信息以及所述目标像素点的第三位置信息，获取所述第i个目标图像块对应的初始仿射变换参数包括：
将所述目标像素点的第二位置信息等于所述目标像素点的第三位置信息，确定所述第i个目标图像块与所述相邻目标图像块满足目标约束条件；
获取所述第i个目标图像块的高度；
在所述第i个目标图像块与所述相邻目标图像块满足所述目标约束条件下，根据所述第i个目标图像块对应的特征点仿射变换矩阵和所述第i个目标图像块的高度，获取所述第i个目标图像块对应的初始仿射变换参数。
7.如权利要求1所述的视频处理方法，其特征在于，所述根据所述至少两个目标图像块各自对应的初始仿射变换参数，对所述待校正图像进行校正，得到已校正图像包括：
根据所述至少两个目标图像块各自对应的初始仿射变换参数，获取所述至少两个目标图像块各自对应的初始摄像机路径；
根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数；
根据所述至少两个目标图像块各自对应的目标仿射变换参数，获取所述参考图像中每个像素点对应的目标仿射变换参数；
根据所述参考图像中每个像素点对应的目标仿射变换参数，对所述待校正图像进行校正，得到已校正图像。
8.如权利要求7所述的视频处理方法，其特征在于，所述根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数包括：
根据所述至少两个目标图像块各自对应的初始摄像机路径，获取所述至少两个目标图像块各自对应的目标摄像机路径；
根据所述至少两个目标图像块各自对应的目标摄像机路径，获取所述至少两个目标图像块各自对应的目标仿射变换参数。
9.如权利要求1至8任一项所述的视频处理方法，其特征在于，所述参考图像和所述待校正图像是所述待处理视频中相邻的两帧图像，且所述待校正图像是所述参考图像的下一帧图像。
10.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述视频处理方法的步骤。
11.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述视频处理方法的步骤。
CN202010258327.4A 2020-04-03 2020-04-03 视频处理方法、终端设备及计算机可读存储介质 Active CN113497886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010258327.4A CN113497886B (zh) 2020-04-03 2020-04-03 视频处理方法、终端设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010258327.4A CN113497886B (zh) 2020-04-03 2020-04-03 视频处理方法、终端设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113497886A true CN113497886A (zh) 2021-10-12
CN113497886B CN113497886B (zh) 2022-11-04

Family

ID=77995119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010258327.4A Active CN113497886B (zh) 2020-04-03 2020-04-03 视频处理方法、终端设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113497886B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205525A (zh) * 2021-12-02 2022-03-18 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118144A1 (en) * 2005-01-27 2008-05-22 Shu Lin Edge Based Cmy Automatic Picture Registration
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
US20100150400A1 (en) * 2008-12-17 2010-06-17 Fuji Xerox Co., Ltd. Information processor, information processing method, and computer readable medium
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
WO2012114401A1 (ja) * 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
US20140177941A1 (en) * 2012-12-21 2014-06-26 Canon Kabushiki Kaisha Optimal Patch Ranking for Coordinate Transform Estimation of Microscope Images from Sparse Patch Shift Estimates
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
US20160196639A1 (en) * 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
US20170193628A1 (en) * 2015-07-16 2017-07-06 Digimarc Corporation Signal Processors and Methods for Estimating Geometric Transformations of Images for Digital Data Extraction
US20170278219A1 (en) * 2013-07-23 2017-09-28 Microsoft Technology Licensing, Llc Adaptive path smoothing for video stabilization
CN107343145A (zh) * 2017-07-12 2017-11-10 中国科学院上海技术物理研究所 一种基于鲁棒性特征点的视频相机电子稳像方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080118144A1 (en) * 2005-01-27 2008-05-22 Shu Lin Edge Based Cmy Automatic Picture Registration
CN101383899A (zh) * 2008-09-28 2009-03-11 北京航空航天大学 一种空基平台悬停视频稳像方法
US20100150400A1 (en) * 2008-12-17 2010-06-17 Fuji Xerox Co., Ltd. Information processor, information processing method, and computer readable medium
US20120105654A1 (en) * 2010-10-28 2012-05-03 Google Inc. Methods and Systems for Processing a Video for Stabilization and Retargeting
WO2012114401A1 (ja) * 2011-02-23 2012-08-30 日本電気株式会社 特徴点照合装置、特徴点照合方法、および特徴点照合プログラムが格納された非一時的なコンピュータ可読媒体
CN103685866A (zh) * 2012-09-05 2014-03-26 杭州海康威视数字技术股份有限公司 视频稳像方法及其装置
US20140177941A1 (en) * 2012-12-21 2014-06-26 Canon Kabushiki Kaisha Optimal Patch Ranking for Coordinate Transform Estimation of Microscope Images from Sparse Patch Shift Estimates
US20170278219A1 (en) * 2013-07-23 2017-09-28 Microsoft Technology Licensing, Llc Adaptive path smoothing for video stabilization
US20160196639A1 (en) * 2013-09-16 2016-07-07 Sk Telecom Co., Ltd. Apparatus and method for image stabilization using image blur correction
CN103813099A (zh) * 2013-12-13 2014-05-21 中山大学深圳研究院 一种基于特征点匹配的视频防抖方法
CN104361314A (zh) * 2014-10-21 2015-02-18 华北电力大学（保定） 基于红外与可见光图像融合的变电设备定位方法及装置
US20170193628A1 (en) * 2015-07-16 2017-07-06 Digimarc Corporation Signal Processors and Methods for Estimating Geometric Transformations of Images for Digital Data Extraction
CN107343145A (zh) * 2017-07-12 2017-11-10 中国科学院上海技术物理研究所 一种基于鲁棒性特征点的视频相机电子稳像方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUANJUAN ZHU等: "Digital Image Stabilization for Cameras on Moving Platform", 《2015 INTERNATIONAL CONFERENCE ON INTELLIGENT INFORMATION HIDING AND MULTIMEDIA SIGNAL PROCESSING (IIH-MSP),ADELAIDE, SA, AUSTRALIA,23-25 SEPT. 2015》 *
刘威等: "基于改进ORB特征匹配的运动小目标检测", 《光电工程》 *
熊炜等: "结合光流法和卡尔曼滤波的视频稳像算法", 《计算机工程与科学》 *
胡琪等: "基于自适应相机运动速度的视频稳像算法", 《信息技术与网络安全》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205525A (zh) * 2021-12-02 2022-03-18 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质
CN114205525B (zh) * 2021-12-02 2024-05-31 信利光电股份有限公司 一种卷帘曝光的图像修正方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN113497886B (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
CN111145238B (zh) 单目内窥镜图像的三维重建方法、装置及终端设备
CN111275626B (zh) 一种基于模糊度的视频去模糊方法、装置及设备
US8102428B2 (en) Content-aware video stabilization
Yu et al. Robust video stabilization by optimization in cnn weight space
AU2011216119B2 (en) Generic platform video image stabilization
WO2022141178A1 (zh) 图像处理方法及装置
US8447140B1 (en) Method and apparatus for estimating rotation, focal lengths and radial distortion in panoramic image stitching
KR101137753B1 (ko) 고속의 메모리 효율적인 변환 구현 방법
CN105635588B (zh) 一种稳像方法及装置
WO2014042894A1 (en) Methods and systems for removal of rolling shutter effects
CN110753181A (zh) 一种基于特征跟踪和网格路径运动的视频稳像方法
GB2536429A (en) Image noise reduction
GB2536430A (en) Image noise reduction
Lee et al. Fast 3D video stabilization using ROI-based warping
CN113497886B (zh) 视频处理方法、终端设备及计算机可读存储介质
CN113409353B (zh) 运动前景检测方法、装置、终端设备及存储介质
US8472756B2 (en) Method for producing high resolution image
CN113298187A (zh) 图像处理方法及装置、计算机可读存储介质
CN116095291B (zh) 一种用于媒体流图像传输的图像预处理方法
CN113658050A (zh) 一种图像的去噪方法、去噪装置、移动终端及存储介质
CN110856014A (zh) 动态图像生成方法、装置、电子设备及存储介质
CN110766153A (zh) 神经网络模型训练方法、装置及终端设备
CN114445451A (zh) 平面图像追踪方法、终端以及存储介质
Yu et al. The application of improved block-matching method and block search method for the image motion estimation
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant