CN113411500B - 一种全局运动向量估计方法及电子防抖方法 - Google Patents

一种全局运动向量估计方法及电子防抖方法 Download PDF

Info

Publication number
CN113411500B
CN113411500B CN202110680789.XA CN202110680789A CN113411500B CN 113411500 B CN113411500 B CN 113411500B CN 202110680789 A CN202110680789 A CN 202110680789A CN 113411500 B CN113411500 B CN 113411500B
Authority
CN
China
Prior art keywords
search window
image
motion vector
motion
global motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110680789.XA
Other languages
English (en)
Other versions
CN113411500A (zh
Inventor
梁维龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Infotm Microelectronics Co ltd
Original Assignee
Shanghai Infotm Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Infotm Microelectronics Co ltd filed Critical Shanghai Infotm Microelectronics Co ltd
Priority to CN202110680789.XA priority Critical patent/CN113411500B/zh
Publication of CN113411500A publication Critical patent/CN113411500A/zh
Application granted granted Critical
Publication of CN113411500B publication Critical patent/CN113411500B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种全局运动向量估计方法及电子防抖方法，包括以下步骤：图像数据预处理；划分图像搜索窗口；计算搜索窗口内的运动向量；进行预过滤处理获得全局运动向量；运动平滑滤波获得运动补偿量；进行运动补偿后输出图像；采用多尺度全局运动估计算法，二维转成两个水平和垂直方向一维与参考帧绝对值差的和(SAD)计算方式，保留参考帧的独特方式，只需要少量行累计和列累计(统计信息,极大的节省了资源，提供运算的效率；以及多尺寸上过滤局部物体运动对全局运动估计的影响，而且只增加少量计算量；低功耗、高实时、实现简单可靠、没有使用复杂的运算、占有资源极少、更有利于集成电路设计开发。

Description

一种全局运动向量估计方法及电子防抖方法
技术领域
本发明涉及视频图像处理领域，尤其涉及一种全局运动向量估计方法及电子防抖方法。
背景技术
目前图像处理应用领域中经常会用到电子防抖技术，对拍摄的图像和视频进行高频抖动进行过滤和校正处理，来消除背景高频抖动对人眼视觉产生不良影响，从而提供图像视频稳定性和客观性；考虑算法要在芯片或者可编程门电路上实现，要求更少硬件资源、实现性，复杂的算法需要更多资源，不易实现并集成到低功耗图像处理模块中；
通常情况传统的电子防抖处理思路情况分为(图1)
1全局运动估计，估计背景物体运行情况，避免前景物体影响；
2运动平滑处理，过滤运动中高频抖动信号，造成视觉不适的原因；
3运动补偿处理；
电子防抖技术的核心有全局运动估计和运动平滑，考虑到低功耗集成电路(ASIC)场景中，常见的全局运动估计方法有:基于光流法、基于区域块匹配的方法、基于图像特征的方法等多种算法；参见运动平滑滤波器主要有卡尔曼滤波器、高斯滤波、均值滤波、阻尼滤波器以及改进；
考虑到实际应用场景下，电子防抖使用算法实现要适应在低功耗高实时性场景下片上系统(SoC)应用场景，考虑对电子功能模块的集成电路的面积的严格要求下；优化算法实现逻辑，实现软件和硬件相结合、协同实现思路，最大化统筹合理使用片上系统(SoC)的硬件资源(包含中央处理单元(CPU)、图形处理单元(GPU)、神经网络处理单元(NPU)、图像处理单元(ISP))；
全局运动估计方法中，其他算法主要问题有：
1、光流法是常见的运动估计算法。而光流法优势在于不需要复杂算子，无需了解场景等信息，不需要太多匹配特征点，并可以灵活选择关键点的提取方法和采点数量，对于光流法而言，要求相机运动不能过大，光流法比较耗费时间、计算复杂性大，并且抗噪声的能力很差，对实时性要求苛刻的情况下并不适用；由于变化的光线会被错误地识别为光流,因此该方法对光线敏感,从而会影响到识别效果。
2、特征点匹配算法常见有SIFT、ORB，一般流程分为特征点检测、算子计算、特征点匹配、符合要求匹配点筛选，特征点方法在图像特征点明显时有较好的匹配效果，但当特征点过多或过少时都效果较差，且整个计算过程十分耗时；
上述算法都需要大量的计算单元和内存空间，在片上系统(Soc)中占有大量芯片的面积，不利于低功耗的应用；
因而采用块匹配运动估计，但是传统的块匹配存在问题：精度不高、搜索范围较小、计算量较大、不能有效区分全局运行和局部运动；
对于运动滤波算法而言，通常使用优异的卡尔曼滤波算法，但是计算量较大，需要更多缓存空间使用，而阻尼滤波结构简单高效，对硬件的实现更加友好；结合卡尔曼滤波特点，本次使用阻尼滤波算法，而公开的阻尼滤波器有突变运动会有累计效应，目前无法有效解决该问题；
对于摄像机的一般运动情况，即包含随机抖动和有意扫描运动，要对图像进行稳定处理，就是利用提取的全局运动矢量对当前图像进行补偿。补偿时既要能够去除摄像系统的随机抖动，又要保证能够实时跟随其正常扫描运动，以体现真实拍摄场景，且输出视频要完整流畅，不存在信息丢失和虚假场景。对稳像系统视频输出的要求是，尽可能的输出相对平滑且完整的图像序列。
图像运动补偿的难点在于：需要补偿的仅为摄像机的随机抖动J(i)，而应保留正常的扫描运动S(i)。一般认为：摄像机的扫描运动是平滑而稳定的，而随机抖动属于高频噪声。因此，在运动补偿时，应对全局运动矢量G(i)中的平稳运动量和不稳定运动量进行区分，即对运动矢量信号进行滤波处理，从而提取出抖动分量J(i)进行补偿；G(i)＝S(i)+J(i)；
目前使用相邻帧补偿方式，即对每相邻的两帧图像进行全局运动估计，然后对这些全局运动矢量进行累积，以累积后的运动矢量作为补偿矢量，对当前帧进行运动补偿。相对于固定帧补偿方式，其缺点是容易出现累积错误。但是由于运动估计始终是在帧间进行，而帧间图像的重叠区域较大，故全局运动估计的精度较高，且不会出现突变现象，可以适用于普通摄像应用。
为了便于进行分析，定义如下变量：以平移运动为例，J(i)为当前帧的补偿矢量，G(i)表示计算得到的相邻帧间运动矢量，理想情况下，当前图像的补偿矢量公式满足：
即J(i)＝J(i-1)+G(i)；
显然，由于对当前帧的补偿参数是所有运动矢量累积的结果，累积误差的存在使得整个图像慢慢发生偏移，逐渐超出补偿边界，最终失稳,在摄像系统进行平移扫描的情况下进行的测试表明，图像几乎无法稳定。
为了在摄像机扫描的情况下进行稳定，必须将提取出来的全局运动矢量进行分析和处理。全局运动包括主观运动和抖动两部分，摄像机有意的扫描拍摄等运动为主观运动，而由于外界和载体本身因素造成的不确定运动为抖动，去除抖动的过程实际上是一种信号滤波的问题，即对其中的扫描运动和抖动进行分离。
发明内容
鉴于目前存在的上述不足，本发明提供一种全局运动向量估计方法及电子防抖方法，低功耗、高实时、实现简单可靠、没有使用复杂的运算、占有资源极少、更有利于集成电路设计开发。
为达到上述目的，本发明的实施例采用如下技术方案：
一种全局运动向量估计方法，所述全局运动向量估计方法包括以下步骤：
图像数据预处理；
划分图像搜索窗口；
计算搜索窗口内的运动向量。
依照本发明的一个方面，所述步骤图像数据预处理包括：根据输入图像，按照抽样金字塔的规则生成多种分辨率图像。
依照本发明的一个方面，所述步骤划分图像搜索窗口包括：根据生成的多种分辨率的图像，进行搜索窗口的划分，根据图像的分辨率和搜索窗口的大小确定参数，以确定具有局部运动信息搜索窗口能完整覆盖整个图像。
依照本发明的一个方面，所述步骤计算搜索窗口内的运动向量包括：根据划分的搜索窗口，通过改进块匹配算法计算搜索窗口内的局部运动向量，计算过程中仅保留上一帧所有搜索窗口统计信息值。
依照本发明的一个方面，所述步骤计算搜索窗口内的运动向量包括以下步骤：
确定搜索窗口的有效性；
计算有效搜索窗口水平方向和垂直方向与参考帧绝对值差和SAD值；
根据与参考帧绝对值差和SAD值计算获得搜索窗口的局部向量。
依照本发明的一个方面，所述全局运动向量估计方法还包括：对获得的搜索窗口局部运动向量进行预过滤处理获得全局运动向量。
一种电子防抖方法，所述电子防抖方法包括以下步骤：
图像数据预处理；
划分图像搜索窗口；
计算搜索窗口内的运动向量；
进行预过滤处理获得全局运动向量；
运动平滑滤波获得运动补偿量；
进行运动补偿后输出图像。
依照本发明的一个方面，所述步骤图像数据预处理包括：根据输入图像，按照抽样金字塔的规则生成多种分辨率图像。
依照本发明的一个方面，所述步骤划分图像搜索窗口包括：根据生成的多种分辨率的图像，进行搜索窗口的划分，根据图像的分辨率和搜索窗口的大小确定参数，以确定具有局部运动信息搜索窗口能完整覆盖整个图像。
依照本发明的一个方面，所述步骤计算搜索窗口内的运动向量包括：根据划分的搜索窗口，通过改进块匹配算法计算搜索窗口内的局部运动向量，计算过程中仅保留上一帧所有搜索窗口统计信息值。
依照本发明的一个方面，所述步骤运动平滑滤波获得运动补偿量包括：使用阻尼滤波器滤波，在当前全局运动向量加上一个平滑系数以避免累计效应。
本发明实施的优点：本发明所述的电子防抖方法，包括以下步骤：图像数据预处理；划分图像搜索窗口；计算搜索窗口内的运动向量；进行预过滤处理获得全局运动向量；运动平滑滤波获得运动补偿量；进行运动补偿后输出图像；采用多尺度全局运动估计算法，二维转成两个水平和垂直方向一维与参考帧绝对值差的和(SAD)计算方式，保留参考帧的独特方式，相对于其它算法而言，本算法只需要少量行累计(SignatureX)和列累计(SignatureY)统计信息,极大的节省了资源，提供运算的效率；以及多尺寸上过滤局部物体运动对全局运动估计的影响，而且只增加少量计算量；针对阻尼滤波改进，对扫描分量也做累计平滑处理，提供平滑效果和优化累计效应的影响。低功耗、高实时、实现简单可靠、没有使用复杂的运算、占有资源极少、更有利于集成电路设计开发；效果显著。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述的一种全局运动向量估计方法示意图；
图2为本发明所述的全局运动向量估计流程框图；
图3为本发明所述的搜索窗口和匹配窗口示意图；
图4为本发明所述的多尺度搜索窗口的运动向量示意图；
图5为本发明所述的一种电子防抖方法示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
如图1所示，一种全局运动向量估计方法，所述全局运动向量估计方法包括以下步骤：
步骤S1：图像数据预处理；
如图2所示，根据输入图像，按照抽样金字塔的规则，生成产生行列各1/N抽样后原尺寸1/N^2大小图像和行列各1/N^2抽样后原尺寸1/N^4大小的图像，还有原始尺寸图像；按照规则产生X种分辨率图像。
步骤S2：划分图像搜索窗口；
根据步骤S1产生的X种分辨率的图像，进行搜索窗口的划分，原始尺寸的图像划分J*K个搜索窗口，其中J为水平方向搜索窗口的个数，K为垂直方向的搜索窗口；则行列1/N抽样的图像划分J/2*K/2个搜索窗口；行列1/N^2抽样的图像划分J/N^2*J/N^2个窗口；根据图像的分辨率和搜索窗口的大小确定J和K值，满足条件：J和K必须是偶数值，确定具有局部运动信息搜索窗口能完整覆盖整个图像。
步骤S3：计算搜索窗口内的运动向量。
根据步骤S2划分的搜索窗口，如图3所示；设搜索窗口大小都为S，M为匹配窗口的大小，N为匹配窗口的范围，则运动向量MV的x水平方向和y垂直方向有效的取值范围为[-N/2,N/2]；
根据已公开的块匹配实现算法，计算搜索窗口内的运动向量需要参考之前帧图像相同位置的搜索匹配块，那么芯片设计中就要缓存一帧图像，这样占有大量存储空间；本实施所述的改进块匹配算法，对集成电路(ASIC)设计非常良好，不占用大量缓存，只保留上一帧所有搜索窗口统计信息值，k帧内搜索窗口像素值fk(x,y)；
具体包括如下步骤：
步骤S31：确定搜索窗口的有效性；
对与对比度较低的搜索窗口将不参与后续运算，达到节省计算量的目的，设搜索窗口的对比度阈值：水平方向为CTx_thr，垂直方向为CTy_thr；计算搜索窗口内对比度的值，在本步骤中搜索窗口图像大小为M*N；实际情况下M＝N
当CTx>CTx_thr和CTy>CTy_thr都满足时，该搜索窗口才是有效搜索窗口；
步骤S32：计算水平方向和垂直方向与参考帧绝对值差和(SAD)；
根据步骤S31得到有效搜索窗口，进行水平方向与参考帧绝的对值差和(SADx)和垂直方向与参考帧的绝对值差和(SADy)，按照公开SAD计算方法，计算量比较大；为了节省计算量；先计算搜索窗口的水平方向一行的像素和(SignatureX)和垂直方向一列像素和(SignatureY)；而硬件缓存上一帧k-1帧每个搜索窗口的SignatureX和SignatureY的值；
为了简化运算量，使用映射法简化运算，把SAD二维空间计算映射二个一维空间计算，极大的降低计算量；计算当前帧(k帧)搜索窗口内匹配窗口和参考帧(k-1帧)相同位置的搜索窗口内的匹配窗口的统计值(SigntureX k-1，SigntureY k-1)，由图3所示，对于当前帧的匹配窗口的位置是在搜索窗口的中心位置；而参考帧的匹配窗口在搜索窗口内遍历，匹配窗口水平和垂直遍历范围是[-N/2,N/2],也代表运动向量的范围，i代表了匹配窗口的范围；
步骤S33：计算搜索窗口的局部向量；
根据步骤S32计算得出所有k-1帧的匹配窗口和k帧的匹配窗口SADx和SADy；最后根据SADx最小值对应的的x坐标，和SADy最小值对应的y坐标，即得到该搜索窗口的局部运动向量LMV；设LMV.x：映射在X方向上SAD值最小时对应的下标x；LMV.y：映射在Y方向上SAD值最小时对应的下标y；
LMVx＝{x|SADX(x)＝min SADX(x)}
LMVy＝{y|SADY(y)＝min SADY(y)}
步骤S4：局部运动向量的预过滤。
根据步骤S2得到不同尺度的搜索窗口，其中每个搜索窗口都会按照步骤S3得到搜索窗口的局部运动向量LMV，按照抽样金字塔的结构，顶层搜索窗口运动向量要转换成底层搜索窗口运动向量，按照采样系数r进行放大，根据图4中所示，当n层L_n的运动向量和n+1层L_(n+1)运动向量角度相差超过阈值TR，移除有效运动向量序列中；将顶层n层L_n的运动向量水平LMVx和垂直方向LMVy按照抽样系数r进行转换L1层运动向量；LMVx＝LMVx*r^(n-1)；最后产生LMVx和LMVy序列，剔除最大值和最小值，按照中值滤波产生k帧的全局GMV。
全局运动估计根据多个局部搜索窗口范围中块匹配算法产生局部运动估计的集合进行分析过滤处理产生的，按照抽样金字塔产生多尺度的图像，在不同的尺度上搜索匹配就意味着更大范围的搜索最优的匹配块，从而提供搜索的精度，这样避免传统块匹配算法搜索范围不足的问题，而只是增加少量的计算量；在更高尺度上搜索匹配块，从而降低了图像中物体的局部运动对全局运动估计的干扰。
实施例二
一种电子防抖方法，所述电子防抖方法包括以下步骤：
步骤S10：图像数据预处理；
如图2所示，根据输入图像，按照抽样金字塔的规则，生成产生行列各1/N抽样后原尺寸1/N^2大小图像和行列各1/N^2抽样后原尺寸1/N^4大小的图像，还有原始尺寸图像；按照规则产生X种分辨率图像。
步骤S20：划分图像搜索窗口；
根据步骤S10产生的X种分辨率的图像，进行搜索窗口的划分，原始尺寸的图像划分J*K个搜索窗口，其中J为水平方向搜索窗口的个数，K为垂直方向的搜索窗口；则行列1/N抽样的图像划分J/2*K/2个搜索窗口；行列1/N^2抽样的图像划分J/N^2*J/N^2个窗口；根据图像的分辨率和搜索窗口的大小确定J和K值，满足条件：J和K必须是偶数值，确定具有局部运动信息搜索窗口能完整覆盖整个图像。
步骤S30：计算搜索窗口内的运动向量；
根据步骤S20划分的搜索窗口，如图3所示；设搜索窗口大小都为S，M为匹配窗口的大小，N为匹配窗口的范围，则运动向量MV的x水平方向和y垂直方向有效的取值范围为[-N/2,N/2]；
根据已公开的块匹配实现算法，计算搜索窗口内的运动向量需要参考之前帧图像相同位置的搜索匹配块，那么芯片设计中就要缓存一帧图像，这样占有大量存储空间；本实施所述的改进块匹配算法，对集成电路(ASIC)设计非常良好，不占用大量缓存，只保留上一帧所有搜索窗口统计信息值，k帧内搜索窗口像素值fk(x,y)；
具体包括如下步骤：
步骤S301：确定搜索窗口的有效性；
对与对比度较低的搜索窗口将不参与后续运算，达到节省计算量的目的，设搜索窗口的对比度阈值：水平方向为CTx_thr，垂直方向为CTy_thr；计算搜索窗口内对比度的值，在本步骤中搜索窗口图像大小为M*N；实际情况下M＝N
当CTx>CTx_thr和CTy>CTy_thr都满足时，该搜索窗口才是有效搜索窗口；
步骤S302：计算水平方向和垂直方向与参考帧绝对值差和(SAD)；
根据步骤S301得到有效搜索窗口，进行水平方向与参考帧绝的对值差和(SADx)和垂直方向与参考帧的绝对值差和(SADy)，按照公开SAD计算方法，计算量比较大；为了节省计算量；先计算搜索窗口的水平方向一行的像素和(SignatureX)和垂直方向一列像素和(SignatureY)；而硬件缓存上一帧k-1帧每个搜索窗口的SignatureX和SignatureY的值；
为了简化运算量，使用映射法简化运算，把SAD二维空间计算映射二个一维空间计算，极大的降低计算量；计算当前帧(k帧)搜索窗口内匹配窗口和参考帧(k-1帧)相同位置的搜索窗口内的匹配窗口的统计值(SigntureX k-1，SigntureY k-1)，由图3所示，对于当前帧的匹配窗口的位置是在搜索窗口的中心位置；而参考帧的匹配窗口在搜索窗口内遍历，匹配窗口水平和垂直遍历范围是[-N/2，N/2]，也代表运动向量的范围，i代表了匹配窗口的范围；
步骤S303：计算搜索窗口的局部向量；
根据步骤S302计算得出所有k-1帧的匹配窗口和k帧的匹配窗口SADx和SADy；最后根据SADx最小值对应的的x坐标，和SADy最小值对应的y坐标，即得到该搜索窗口的局部运动向量LMV；设LMV.x：映射在X方向上SAD值最小时对应的下标x；LMV.y：映射在Y方向上SAD值最小时对应的下标y；
LMVx＝{x|SADX(x)＝min SADX(x)}
LMVy＝{y|SADY(y)＝min SADY(y)}
步骤S40：进行预过滤处理获得全局运动向量；
根据步骤S20得到不同尺度的搜索窗口，其中每个搜索窗口都会按照步骤S30得到搜索窗口的局部运动向量LMV，按照抽样金字塔的结构，顶层搜索窗口运动向量要转换成底层搜索窗口运动向量，按照采样系数r进行放大，根据图4中所示，当n层L_n的运动向量和n+1层L_(n+1)运动向量角度相差超过阈值TR，移除有效运动向量序列中；将顶层n层L_n的运动向量水平LMVx和垂直方向LMVy按照抽样系数r进行转换L1层运动向量；LMVx＝LMVx*r^(n-1)；最后产生LMVx和LMVy序列，剔除最大值和最小值，按照中值滤波产生k帧的全局GMV。
步骤S50：运动平滑滤波获得运动补偿量；
使用公开的阻尼滤波器进行改进，解决传统阻尼滤波器只考虑抖动分量J(i)的阻尼，而没有考虑扫描分量也是累计效应；而本实施例的运动滤波算法是阻尼系数法的变种；如果当前扫描运动比较小时，S(i)越接近S(i-1)，和补偿分量一样，扫描分量也有累计效应，要在当前全局运动矢量加上一个系数，称之为平滑系数，平滑系数越小，扫描分量曲线就平滑，有效避免了累计效应；
根据步骤S40得到GMV(i)，也是G(i)＝S(i)+J(i)；
设S(i)：第i帧的扫描分量，J(i)：第i帧的补偿量，G(i)：第i帧的全局运动向量，α：阻尼系数，β：平滑系数
J(0)＝0；S(0)＝0；
S(i)＝β·S(i-1)+(1-β)·G(i)；
J(i)＝α·J(i-1)+(S(i)-G(i))；
α∈[0，1]，建议值1.00；β∈[0，1]，建议值0.97；i＞0
最终得到i帧运动补偿量J(i)。
步骤S60：进行运动补偿后输出图像。
根据步骤S50得到的运动补偿量J(i)，按照已公开的图像运动补偿方式进行实现。
本发明实施的优点：本发明所述的电子防抖方法，包括以下步骤：图像数据预处理；划分图像搜索窗口；计算搜索窗口内的运动向量；进行预过滤处理获得全局运动向量；运动平滑滤波获得运动补偿量；进行运动补偿后输出图像；采用多尺度全局运动估计算法，二维转成两个水平和垂直方向一维与参考帧绝对值差的和(SAD)计算方式，保留参考帧的独特方式，相对于其它算法而言，本算法只需要少量行累计(SignatureX)和列累计(SignatureY)统计信息,极大的节省了资源，提供运算的效率；以及多尺寸上过滤局部物体运动对全局运动估计的影响，而且只增加少量计算量；针对阻尼滤波改进，对扫描分量也做累计平滑处理，提供平滑效果和优化累计效应的影响。低功耗、高实时、实现简单可靠、没有使用复杂的运算、占有资源极少、更有利于集成电路设计开发；效果显著。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域技术的技术人员在本发明公开的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (4)

1.一种全局运动向量估计方法，其特征在于，所述全局运动向量估计方法包括以下步骤：
图像数据预处理，包括：根据输入图像，按照抽样金字塔的规则生成多种分辨率图像；
划分图像搜索窗口；
计算搜索窗口内的运动向量，根据划分的搜索窗口，通过改进块匹配算法计算搜索窗口内的局部运动向量，计算过程中仅保留上一帧所有搜索窗口统计信息值，所述计算搜索窗口内的运动向量的步骤具体为，设定搜索窗口对比度阈值，确定搜索窗口的有效性，使用映射法计算有效搜索窗口水平方向和垂直方向与参考帧绝对值差和SAD值，根据参考帧绝对值差和SAD值计算获得搜索窗口的局部向量；
对获得的搜索窗口局部运动向量进行预过滤处理获得全局运动向量。
2.根据权利要求1所述的全局运动向量估计方法，其特征在于，所述步骤划分图像搜索窗口包括：根据生成的多种分辨率的图像，进行搜索窗口的划分，根据图像的分辨率和搜索窗口的大小确定参数，以确定具有局部运动信息搜索窗口能完整覆盖整个图像。
3.一种电子防抖方法，其特征在于，所述电子防抖方法包括以下步骤：
图像数据预处理，包括：根据输入图像，按照抽样金字塔的规则生成多种分辨率图像；
划分图像搜索窗口；
计算搜索窗口内的运动向量，根据划分的搜索窗口，通过改进块匹配算法计算搜索窗口内的局部运动向量，计算过程中仅保留上一帧所有搜索窗口统计信息值；
进行预过滤处理获得全局运动向量；
运动平滑滤波获得运动补偿量，使用阻尼滤波器滤波，在当前全局运动向量加上一个平滑系数以避免累计效应；
进行运动补偿后输出图像。
4.根据权利要求3所述的电子防抖方法，其特征在于，所述步骤划分图像搜索窗口包括：根据生成的多种分辨率的图像，进行搜索窗口的划分，根据图像的分辨率和搜索窗口的大小确定参数，以确定具有局部运动信息搜索窗口能完整覆盖整个图像。
CN202110680789.XA 2021-06-18 2021-06-18 一种全局运动向量估计方法及电子防抖方法 Active CN113411500B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110680789.XA CN113411500B (zh) 2021-06-18 2021-06-18 一种全局运动向量估计方法及电子防抖方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110680789.XA CN113411500B (zh) 2021-06-18 2021-06-18 一种全局运动向量估计方法及电子防抖方法

Publications (2)

Publication Number Publication Date
CN113411500A CN113411500A (zh) 2021-09-17
CN113411500B true CN113411500B (zh) 2024-01-12

Family

ID=77681659

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110680789.XA Active CN113411500B (zh) 2021-06-18 2021-06-18 一种全局运动向量估计方法及电子防抖方法

Country Status (1)

Country Link
CN (1) CN113411500B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744673A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的装置
CN102202164A (zh) * 2011-05-20 2011-09-28 长安大学 基于运动估计的道路视频稳定方法
CN102742260A (zh) * 2010-02-11 2012-10-17 微软公司 通用平台视频图像稳定化
CN103024247A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二〇七所 一种基于改进块匹配的电子稳像方法
CN103237156A (zh) * 2013-04-02 2013-08-07 哈尔滨工业大学 应用于电子稳像的改进块匹配算法
CN103870834A (zh) * 2014-04-03 2014-06-18 张琰 基于分层分割的滑动窗搜索方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN112712542A (zh) * 2020-12-25 2021-04-27 武汉大学 一种块匹配与光流法结合的地基云图运动预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227896B2 (en) * 2001-10-04 2007-06-05 Sharp Laboratories Of America, Inc. Method and apparatus for global motion estimation
US20070268964A1 (en) * 2006-05-22 2007-11-22 Microsoft Corporation Unit co-location-based motion estimation
US9930360B2 (en) * 2011-11-08 2018-03-27 Texas Instruments Incorporated Method, system and apparatus for intra-refresh in video signal processing

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1744673A (zh) * 2005-10-09 2006-03-08 北京中星微电子有限公司 一种视频电子防抖的装置
CN102742260A (zh) * 2010-02-11 2012-10-17 微软公司 通用平台视频图像稳定化
CN102202164A (zh) * 2011-05-20 2011-09-28 长安大学 基于运动估计的道路视频稳定方法
CN103024247A (zh) * 2011-09-28 2013-04-03 中国航天科工集团第二研究院二〇七所 一种基于改进块匹配的电子稳像方法
CN103237156A (zh) * 2013-04-02 2013-08-07 哈尔滨工业大学 应用于电子稳像的改进块匹配算法
CN103870834A (zh) * 2014-04-03 2014-06-18 张琰 基于分层分割的滑动窗搜索方法
CN105611116A (zh) * 2015-12-23 2016-05-25 苏州科达科技股份有限公司 一种全局运动矢量估计方法及监控视频稳像方法及装置
CN112712542A (zh) * 2020-12-25 2021-04-27 武汉大学 一种块匹配与光流法结合的地基云图运动预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于FPGA的实时电子稳像;李刚;《仪器仪表学报》;全文 *

Also Published As

Publication number Publication date
CN113411500A (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN109345472B (zh) 一种复杂场景的红外运动小目标检测方法
CN110248048B (zh) 一种视频抖动的检测方法及装置
CN106331723B (zh) 一种基于运动区域分割的视频帧率上变换方法及系统
CN110782477A (zh) 基于序列图像的运动目标快速检测方法、计算机视觉系统
CN109255799B (zh) 一种基于空间自适应相关滤波器的目标跟踪方法及系统
CN111783834B (zh) 一种基于联合图频谱特征分析的异源图像匹配方法
Pan et al. Single-image dehazing via dark channel prior and adaptive threshold
CN109784145B (zh) 基于深度图的目标检测方法及存储介质
CN113411500B (zh) 一种全局运动向量估计方法及电子防抖方法
US11373277B2 (en) Motion detection method and image processing device for motion detection
Ponomaryov et al. Fuzzy color video filtering technique for sequences corrupted by additive Gaussian noise
RU2656785C1 (ru) Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Ehret et al. Implementation of the vbm3d video denoising method and some variants
CN115170523A (zh) 一种基于局部对比度的低复杂度红外弱小目标检测方法
CN112330720A (zh) 一种运动弱小目标的跟踪方法及装置
CN110430340B (zh) 一种脉冲阵列信号的降噪方法与系统
CN113592908A (zh) 一种基于大津法和sad-mcd融合的模板匹配目标跟踪和系统
Low et al. Superevents: Towards native semantic segmentation for event-based cameras
Pardo Simple and robust hard cut detection using interframe differences
Ni et al. Real-time global motion blur detection
He et al. Instance scale normalization for image understanding
Wang Real‐Time Analysis of Athletes’ Physical Condition in Training Based on Video Monitoring Technology of Optical Flow Equation
JP4213739B2 (ja) 動きベクトル検出装置
AH et al. Design and Analysis of Imaging Chip Using High-Speed AXI-Interface for MPSOC Applications on FPGA Platform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant