CN110401784A - 自适应调节滤波强度的运动平滑方法、系统及视频设备 - Google Patents
自适应调节滤波强度的运动平滑方法、系统及视频设备 Download PDFInfo
- Publication number
- CN110401784A CN110401784A CN201810374867.1A CN201810374867A CN110401784A CN 110401784 A CN110401784 A CN 110401784A CN 201810374867 A CN201810374867 A CN 201810374867A CN 110401784 A CN110401784 A CN 110401784A
- Authority
- CN
- China
- Prior art keywords
- frame
- present frame
- correction matrix
- filtering strength
- regulatory factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000009499 grossing Methods 0.000 title claims abstract description 23
- 239000011159 matrix material Substances 0.000 claims abstract description 96
- 230000001105 regulatory effect Effects 0.000 claims abstract description 77
- 230000008569 process Effects 0.000 claims abstract description 32
- 238000005259 measurement Methods 0.000 claims abstract description 16
- 230000008859 change Effects 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000006641 stabilisation Effects 0.000 description 6
- 238000011105 stabilization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 206010044565 Tremor Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
本发明提供一种自适应调节滤波强度的运动平滑方法、系统及视频设备，所述方法包括：获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值；确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。本发明能够在去除不想要的抖动的同时保持对主观意向运动的跟随，进而提高视频的稳定性、流畅性，使得视频更加自然。
Description
技术领域
本发明涉及视频处理技术领域，尤其涉及一种自适应调节滤波强度的运动平滑方法、系统及视频设备。
背景技术
现有的许多类型的移动视频设备采集捕捉视频或显示，但是，在多数情况中的非理想情况或非理想的视频设备下，因为视频设备本身的抖动或者视频设备镜头的抖动影响图像的质量。
因此，目前视频设备(例如摄像机、相机视频、手机相机视频)中设置有防抖功能，其中，防抖即去除不想要的帧与帧之间的抖动，进而获得一个自然、流畅、稳定的视频。视频防抖功能通常分成三部分，运动估计、运动平滑、运动补偿。运动估计是基于图像特征点或是手机传感器的信息对相机的运动信息进行估计；运动平滑过程则是对估计的相机的运动信息进行平滑滤波，得到一个新的平滑的相机运动轨迹；运动补偿即根据估计的相机的运动轨迹与平滑后的运动轨迹得到对当前视频帧的补偿信息并对视频帧进行矫正。经过矫正合成后的视频帧的一些区域是原始视频帧中并不存在的区域，也就是会出现黑边。所以视频稳像后的视频的尺寸通常都是小于原始输入视频的尺寸。在实际应用中，需要约定一个小于输入尺寸的输出尺寸，在做平滑滤波的时候对滤波过程进行约束，保证在约定的输出尺寸内不出现黑边。
现有技术中，视频稳像中的滤波方法主要分为两种，一种是零延时的卡尔曼滤波方案，另一种是基于多帧延时的FIR滤波方案。零延时的方案只考虑当前帧前面的运动信息，缺少了当前帧后面的相机运动信息的参考，使得滤波后的主观意向运动出现了滞后，在运动补偿的时候容易出现黑边，进而触发约束，造成视频画面出现生硬的拖拽现象。多帧延时的FIR滤波方案，同时参考了当前帧前后的运动信息，使得滤波结果更加准确，但由于FIR滤波器的系数通常是根据某种需求提前设定，对不同抖动程度的运动都使用相同的滤波参数，进而难以根据运动形式对平滑以及跟随程度做出自适应的调整，限制了稳像的效果。
发明内容
本发明提供的自适应调节滤波强度的运动平滑方法、系统及视频设备，能够在去除不想要的抖动的同时保持对主观意向运动的跟随，进而提高视频的稳定性、流畅性，使得视频更加自然。
第一方面，本发明提供一种自适应调节滤波强度的运动平滑方法，包括：
获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
可选地，所述根据所述视频设备的运动信息调整第一滤波强度调节因子包括：
根据运动信息中的运动数据判断所述视频设备的运动是否规律；
当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
可选地，所述运动信息包括速度、加速度、运动方向、运动趋势中一种或者任意组合。
可选地，在确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理之前，所述方法还包括：
对当前帧之后N-1帧的观测值进行预滤波；
采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧对应的矫正矩阵。
可选地，所述根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子包括：
根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
可选地，所述确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理包括：
判断当前帧的矫正矩阵是否触发约束；
当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
第二方面，本发明提供一种自适应调节滤波强度的运动平滑系统，包括：
获取单元，用于获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
比值确定单元，用于根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
调整单元，用于根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
矫正单元，用于确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
可选地，所述调整单元包括：
运动判断模块，用于根据运动信息中的运动数据判断所述视频设备的运动是否规律；
比值修正模块，用于当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
可选地，所述系统还包括：
预滤波单元，用于对当前帧及其后N-1帧的观测值进行预滤波；
计算单元，用于采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
调节单元，用于根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧的矫正矩阵。
可选地，所述调节单元包括：
约束类型判断模块，用于根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述预设约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
调节控制模块，用于根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
可选地，所述矫正单元包括：
触发模块，用于判断当前帧的矫正矩阵是否触发约束；
第一控制模块，用于当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
第二控制模块，用于当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
第三方面，本发明提供一种视频设备，所述视频设备包括上述自适应调节滤波强度的运动平滑系统。
本发明实施例提供的自适应调节滤波强度的运动平滑方法、系统及视频设备，所述方法通过对当前帧引入N帧的延时，并对当前帧之后N帧进行运动分析得出运动信息，然后根据运动信息对视频设备的运动形式进行预分类，例如，将视频设备的运动形式分为扫描拍摄、跟拍摄像、匀速度拍摄、不规则的抖动等，最后再根据选择预分类结果选择降低滤波强度并保证对运动的跟随、或加强滤波强度使得滤波更加平滑；本实施例所述方法在增强、降低滤波强度过程中主要是通过引入了用于调节卡尔曼滤波器测量噪音R和过程噪音Q的比值的滤波强度调节因子，通过间接调节滤波强度因子实现对滤波强度的调节，因此，本实施例所述方法通过增加N帧延时对视频设备的运动形式进行预分类，并根据运动类型调节滤波强度使得所述方法在去除不想要的抖动的同时还能够进一步的保持对主观意向运动的跟随，进而提高视频的稳定性、流畅性，使得视频更加自然。
附图说明
图1为本发明一实施例自适应调节滤波强度的运动平滑方法的流程图；
图2为本发明另一实施例自适应调节滤波强度的运动平滑方法的流程图；
图3本发明一实施例当前帧n之后N帧观测值的预滤波示意图；
图4本发明一实施例经矫正矩阵变换后对应输出视频帧的预设约束类型示意图；
图5为本发明一实施例自适应调节滤波强度的运动平滑系统的结构示意图；
图6为本发明另一实施例自适应调节滤波强度的运动平滑系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种自适应调节滤波强度的运动平滑方法，如图1所示，所述方法包括：
S11、获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
S12、根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
S13、根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
S14、确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
本发明实施例提供的自适应调节滤波强度的运动平滑方法通过对当前帧引入N帧的延时，并对当前帧之后N帧进行运动分析得出运动信息，然后根据运动信息对视频设备的运动形式进行预分类，例如，将视频设备的运动形式分为扫描拍摄、跟拍摄像、匀速度拍摄、不规则的抖动等，最后再根据选择预分类结果选择降低滤波强度并保证对运动的跟随、或加强滤波强度使得滤波更加平滑；本实施例所述方法在增强、降低滤波强度过程中主要是通过引入了用于调节卡尔曼滤波器测量噪音R和过程噪音Q的比值的滤波强度调节因子，通过间接调节滤波强度因子实现对滤波强度的调节，因此，本实施例所述方法通过增加N帧延时对视频设备的运动形式进行预分类，并根据运动类型调节滤波强度使得所述方法在去除不想要的抖动的同时还能够进一步的保持对主观意向运动的跟随，进而提高视频的稳定性、流畅性，使得视频更加自然。
可选地，如图2所示，所述根据所述视频设备的运动信息调整第一滤波强度调节因子包括：
S131、根据运动信息中的运动数据判断所述视频设备的运动是否规律；
S132、当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
具体的，由于视频设备在录制过程中根据情景需求进行不同形式的拍摄，例如对场景进行扫描拍摄、在竞技比赛中需要对运动员的运动过程实现跟拍摄像、以及均速度拍摄的情景，不管在何种情景需求下进行的拍摄其运动是连贯规律的。因此，本实施例所述方法可通过运动信息分析视频设备的运动是否规律对视频设备在特定拍摄场景需求下的运动形式以及抖动进行区分，即当所述视频设备的运动规律时，则需对视频设备的运动进行跟随；当所述视频设备运动不规律时，则设定其为不需要的抖动并对其进行平滑处理；另外，当所述视频设备的运动规律时，则使用当前的滤波强度调节因子和第一比值进行滤波。
可选地，所述运动信息包括速度、加速度、运动方向、运动趋势中一种或者任意组合。
例如，在长度为2*N+1的窗口n-N～n+N内，对运动分量进行直线拟合，拟合得到的直线的斜率，作为当前帧n的运动的速度分量，如下k表示拟合直线斜率。根据经验，速度越大，R/Q的第一比值数值越小，并根据当前的速度对应确定第一比值的数值，进而调节卡尔曼滤波的强度。
其中，如图3所示，根据速度判断当前运动是否规律(即视频设备是否沿着一个方向扫描)，具体判定方法如下：
(a)在一个固定大小的窗口内,运动速度是否都是沿着同一方向。
(b)如果运动速度是沿着同一方向，判定该窗口内的平均速度是否大于阈值。
(c)如果(a)和(b)同时满足，则当前运动规律。
最后，如果当前运动规律，调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，进而保证了视频对主观意向运动的跟随。
可选地，如图3所示，在确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理之前，所述方法还包括：
S15、对当前帧之后N-1帧的观测值进行预滤波；
S16、采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
S17、根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧的矫正矩阵。
具体的，本实施例所述方法还通过对当前帧之后N帧进行预滤波，得到平滑后的观测值，并且在预滤波的过程中，还可对不同的卡尔曼滤波强度采用不同的加权方式，以避免出现滤波相位的严重提前或者滞后，进一步提高视频质量。
其次，对于当前帧n，对n～n+N-1共N帧的运动参数进行卡尔曼滤波得到当前帧及其后N-1帧分别对应的N个矫正矩阵。对当前帧及其后N-1帧对应的N个矫正矩阵分别计算其对应的约束类型，并根据不同的约束类型，调整自适应滤波强度调节因子(即第一滤波强度调节因子)，并选择N个调节因子中最小的作为最终的调节因子。因此，所述方法可预判当前帧之后N帧的抖动情况并根据该抖动情况对下一次的滤波进行调节。进而可以达到对于抖动比较小的情况可以使用尽可能强的滤波强度进行滤波，对于抖动比较剧烈的情况，可以提前获知其运动幅度，降低滤波强度，进而减少为了避免黑边而进行的约束。
可选地，如图4所示，所述根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子包括：
根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
具体的，如图3所示，本实施例所述方法增加N帧的延时，在对当前帧n进行滤波之前，对当前帧n的观测值z(n)进行预滤波：对当前帧及其之后N帧做加权平均以充分考虑未来的运动信息。例如，对于N＝8的情况，当处理当前帧n的时候，观测值处理第n+1帧时依此类推得到8个预平滑后的观测值。
然后，在对观测值做预滤波的过程中，可以根据当前调节因子的大小，自适应选择加权方式。例如，对于当前调节因子较小的情况，说明相应的滤波强度较弱，而对于较弱的滤波强度，预平滑的强度也应相应的减弱(选择平滑程度较弱的加权方式)，来减小相位的提前，避免约束的产生；对于当前调节因子较大的情况，说明相应的滤波强度较强，此时我们可以增大预滤波的强度(选择平滑程度较强的加权方式)，来减小相位滞后，同时提高平滑程度。
卡尔曼滤波计算得到当前帧及其后N-1帧对应的N个矫正矩阵，对于N＝8的情况，当第n+8帧来临的时候，对第n帧到n+7帧进行滤波，得到8个矫正矩阵：
对第n帧先做卡尔曼滤波得到当前帧的滤波结果(状态)x(n|n)进而得到当前帧的变换矩阵，并根据该滤波结果继续进行卡尔曼滤波得到第n+1帧的滤波结果(状态)x(n+1|n+1)进而得到第n+1帧的矫正矩阵，依此类推得到8个矫正矩阵。
自适应滤波强度调节因子的计算包括：
1)：首先根据上述步骤得到的N个矫正矩阵，计算待输出的视频帧的四个顶点在原始输入视频帧上的位置。
2)：根据1)计算结果，判定当前变换属于何种约束类型。如图4所示，最大矩形框为原始输入视频帧，第一约束类型、第二约束类型、第三约束类型和第四约束类型对应的矩形框分别为经过变换、裁剪后的输出视频帧。其中，第一约束类型对应矩形框的右侧已经超出了原始输入帧的边缘，即该处为无效像素，所以为了保证不出现黑边，此时的变换矩阵需要进行约束以保证其不会到达最大矩形框的边缘，进而可将第一约束类型定义为ERRER；第二约束类型对应矩形框的右侧边缘已经接近原始输入帧的边缘，进而可将第二约束类型定义为WARNING；第三约束类型对应矩形框的右侧边缘里输入矩形框的边缘较远，进而可将第三约束类型定义为NORMAL；第四约束类型对应矩形框的右侧边缘上下左右四个边缘离原始输入帧的边缘都很远，进而可将第四约束类型定义为为SAFE。
最后根据当前矫正所属的约束类型，调整自适应滤波强度调节因子(即第一滤波强度调节因子)，选取N帧中最小的调节因子作为最终的调节因子。(调节因子值越大，滤波强度越强，为了尽可能减少触发约束的概率，本实施例所述方法选取最小的调节因子，即用最小的滤波强度滤波)
可选地，所述确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理包括：
S141、判断当前帧的矫正矩阵是否触发约束；
S142、当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
S143、当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
综上所述，本实施例所述方法根据输入的运动参数对视频设备的运动形式进行预分类，对于视频设备的规律运动，降低滤波强度，保证对运动的跟随；并根据滤波结果判断当前计算得到的矫正矩阵所做变换的约束类型，根据不同的约束类型自适应调整滤波强度调节因子，该方法既有效的利用了帧的边缘信息，最大程度的保证视频的稳定，又在运动比较剧烈的地方减少了黑边出现的概率，减少了视频画面产生的生硬的拖拽现象，使稳像后的视频更加流畅、自然。
本发明实施例还提供一种自适应调节滤波强度的运动平滑系统，如图5所示，所述系统包括：
获取单元11，用于获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
比值确定单元12，用于根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
调整单元13，用于根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
矫正单元14，用于确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
本发明实施例提供的自适应调节滤波强度的运动平滑系统通过对当前帧引入N帧的延时，并由比值确定单元12对当前帧之后N帧进行运动分析得出运动信息，然后根据运动信息对视频设备的运动形式进行预分类，例如，将视频设备的运动形式分为扫描拍摄、跟拍摄像、匀速度拍摄、不规则的抖动等，最后再由调整单元13根据预分类结果选择降低滤波强度并保证对运动的跟随、或加强滤波强度使得滤波更加平滑；本实施例所述系统在增强、降低滤波强度过程中主要是通过引入了用于调节卡尔曼滤波器测量噪音R和过程噪音Q的比值的滤波强度调节因子，通过间接调节滤波强度因子实现对滤波强度的调节，因此，本实施例所述系统通过增加N帧延时对视频设备的运动形式进行预分类，并根据运动类型调节滤波强度使得所述系统在去除不想要的抖动的同时还能够进一步的保持对主观意向运动的跟随，进而提高视频的稳定性、流畅性，使得视频更加自然。
可选地，如图6所示，所述调整单元13包括：
运动判断模块131，用于根据运动信息中的运动数据判断所述视频设备的运动是否规律；
比值修正模块132，用于当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
可选地，所述系统还包括：
预滤波单元15，用于对当前帧及其后N-1帧的观测值进行预滤波；
计算单元16，用于采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
调节单元17，用于根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧的矫正矩阵。
可选地，所述调节单元17包括：
约束类型判断模块171，用于根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
调节控制模块172，用于根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
可选地，所述矫正单元14包括：
触发模块141，用于判断当前帧的矫正矩阵是否触发约束；
第一控制模块142，用于当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
第二控制模块143，用于当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
本实施例的系统，可以用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
本发明实施例还提供一种视频设备，所述视频设备包括上述自适应调节滤波强度的运动平滑系统。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (12)
1.一种自适应调节滤波强度的运动平滑方法，其特征在于，包括：
获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
2.根据权利要求1所述的方法，其特征在于，所述根据所述视频设备的运动信息调整第一滤波强度调节因子包括：
根据运动信息中的运动数据判断所述视频设备的运动是否规律；
当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
3.根据权利要求1或2所述的方法，其特征在于，所述运动信息包括速度、加速度、运动方向、运动趋势中一种或者任意组合。
4.根据权利要求1或2所述的方法，其特征在于，在确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理之前，所述方法还包括：
对当前帧之后N-1帧的观测值进行预滤波；
采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧的矫正矩阵。
5.根据权利要求4所述的方法，其特征在于，所述根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子包括：
根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
6.根据权利要求1-5任一所述的方法，其特征在于，所述确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理包括：
判断当前帧的矫正矩阵是否触发约束；
当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
7.一种自适应调节滤波强度的运动平滑系统，其特征在于，包括：
获取单元，用于获取当前帧及其前后N帧的运动参数并根据所述运动参数计算得出视频设备的运动信息，N为整数且为预先设置的值；
比值确定单元，用于根据视频设备的运动信息确定卡尔曼滤波器测量噪音R和过程噪音Q的第一比值；
调整单元，用于根据所述视频设备的运动信息调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值，其中，所述滤波强度调节因子通过调节卡尔曼滤波器测量噪音R和过程噪音Q的比值用以变化滤波强度；
矫正单元，用于确定当前帧的矫正矩阵并采用所述矫正矩阵对当前帧进行矫正处理。
8.根据权利要求7所述的系统，其特征在于，所述调整单元包括：
运动判断模块，用于根据运动信息中的运动数据判断所述视频设备的运动是否规律；
比值修正模块，用于当所述视频设备的运动规律时，则调整第一滤波强度调节因子，然后再由调整后的第一滤波强度调节因子对第一比值进行修正形成第二比值。
9.根据权利要求7或8所述的系统，其特征在于，所述系统还包括：
预滤波单元，用于对当前帧及其后N-1帧的观测值进行预滤波；
计算单元，用于采用卡尔曼滤波计算得出当前帧及其后N-1帧的矫正矩阵；
调节单元，用于根据当前帧及其后N-1帧的矫正矩阵自适应调节第一滤波强度调节因子形成第二滤波强度调节因子，然后再由调节后的第二滤波调节因子对第二比值进行修正形成第三比值、以及当前帧及其后N-1帧对应的矫正矩阵。
10.根据权利要求9所述的系统，其特征在于，所述调节单元包括：
约束类型判断模块，用于根据当前帧及其后N-1帧的矫正矩阵所对应的约束类型预先判断下一次滤波的约束类型，其中，所述约束类型与输出视频帧的边缘和原始输入帧的边缘之间的对应关系相对应；
调节控制模块，用于根据预先判断的约束类型自适应调节第一滤波强度调节因子形成第二滤波强度调节因子。
11.根据权利要求7-10任一所述的系统，其特征在于，所述矫正单元包括：
触发模块，用于判断当前帧的矫正矩阵是否触发约束；
第一控制模块，用于当前帧的矫正矩阵触发约束时，则对当前帧的矫正矩阵进行约束，然后经约束后的当前帧的矫正矩阵对当前帧进行矫正；
第二控制模块，用于当第一矫正矩阵未触发约束时，则直接使用当前帧的矫正矩阵对当前帧进行矫正。
12.一种视频设备，其特征在于，所述视频设备包括如权利要求7至11中任一项所述的自适应调节滤波强度的运动平滑系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810374867.1A CN110401784B (zh) | 2018-04-24 | 2018-04-24 | 自适应调节滤波强度的运动平滑方法、系统及视频设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810374867.1A CN110401784B (zh) | 2018-04-24 | 2018-04-24 | 自适应调节滤波强度的运动平滑方法、系统及视频设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110401784A true CN110401784A (zh) | 2019-11-01 |
| CN110401784B CN110401784B (zh) | 2021-09-21 |
Family
ID=68322306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810374867.1A Active CN110401784B (zh) | 2018-04-24 | 2018-04-24 | 自适应调节滤波强度的运动平滑方法、系统及视频设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110401784B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899318A (zh) * | 2020-08-13 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 数据的处理方法、装置及计算机可读存储介质 |
| CN112532883A (zh) * | 2020-11-27 | 2021-03-19 | 维沃移动通信有限公司 | 拍摄防抖方法、装置、电子设备和可读存储介质 |
| CN113421196A (zh) * | 2021-06-08 | 2021-09-21 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
| CN115050152A (zh) * | 2022-05-23 | 2022-09-13 | 山东国子软件股份有限公司 | 一种基于警戒线类别的电子围栏监控方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104754182A (zh) * | 2015-03-19 | 2015-07-01 | 长安大学 | 基于自适应运动滤波的高分辨航拍视频稳相方法 |
| CN105306804A (zh) * | 2014-07-31 | 2016-02-03 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像方法及装置 |
| US20160282121A1 (en) * | 2015-03-27 | 2016-09-29 | Water Resources Facilties & Maintenace Co., Ltd. | Method of tracing position of pipeline using mapping probe |
| CN106550174A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 一种基于单应性矩阵的实时视频稳像方法 |
| CN107516300A (zh) * | 2017-08-21 | 2017-12-26 | 杭州电子科技大学 | 针对无人机视频采集的混合抖动纠正方法 |
-
2018
- 2018-04-24 CN CN201810374867.1A patent/CN110401784B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105306804A (zh) * | 2014-07-31 | 2016-02-03 | 北京展讯高科通信技术有限公司 | 智能终端及其视频稳像方法及装置 |
| CN104754182A (zh) * | 2015-03-19 | 2015-07-01 | 长安大学 | 基于自适应运动滤波的高分辨航拍视频稳相方法 |
| US20160282121A1 (en) * | 2015-03-27 | 2016-09-29 | Water Resources Facilties & Maintenace Co., Ltd. | Method of tracing position of pipeline using mapping probe |
| CN106550174A (zh) * | 2016-10-28 | 2017-03-29 | 大连理工大学 | 一种基于单应性矩阵的实时视频稳像方法 |
| CN107516300A (zh) * | 2017-08-21 | 2017-12-26 | 杭州电子科技大学 | 针对无人机视频采集的混合抖动纠正方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张江辉等: "几种滤波在数据自动平滑处理中的对比分析", 《四川兵工学报》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111899318A (zh) * | 2020-08-13 | 2020-11-06 | 腾讯科技（深圳）有限公司 | 数据的处理方法、装置及计算机可读存储介质 |
| CN111899318B (zh) * | 2020-08-13 | 2023-08-25 | 腾讯科技（深圳）有限公司 | 数据的处理方法、装置及计算机可读存储介质 |
| CN112532883A (zh) * | 2020-11-27 | 2021-03-19 | 维沃移动通信有限公司 | 拍摄防抖方法、装置、电子设备和可读存储介质 |
| CN113421196A (zh) * | 2021-06-08 | 2021-09-21 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
| CN113421196B (zh) * | 2021-06-08 | 2023-08-11 | 杭州逗酷软件科技有限公司 | 图像处理方法及相关装置 |
| CN115050152A (zh) * | 2022-05-23 | 2022-09-13 | 山东国子软件股份有限公司 | 一种基于警戒线类别的电子围栏监控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110401784B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110401784A (zh) | 自适应调节滤波强度的运动平滑方法、系统及视频设备 | |
| US9270897B2 (en) | Apparatus, method, and program for processing image | |
| US9565332B2 (en) | Image evaluation apparatus and camera | |
| CN106846270B (zh) | 一种图像边缘增强方法及装置 | |
| EP2075756B1 (en) | Block-based image blending for camera shake compensation | |
| CN103685913B (zh) | 周期性地改变曝光条件的摄像设备和摄像设备的控制方法 | |
| JP2008205737A (ja) | 撮像システム、画像処理プログラム、画像処理方法 | |
| CN105046655B (zh) | 一种视频图像自动锐化方法和装置 | |
| US8155467B2 (en) | Image data processing method and imaging apparatus | |
| US8532428B2 (en) | Noise reducing apparatus, noise reducing method, and noise reducing program for improving image quality | |
| CN103248809B (zh) | 图像信号处理装置、摄像装置以及图像处理装置 | |
| JP3526020B2 (ja) | ノイズ低減装置 | |
| JP6559229B2 (ja) | 画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体 | |
| JP2008118644A (ja) | ぼけたデジタル画像の点像分布関数の概算方法、および、実行時に、ぼけたデジタル画像の点像分布関数の概算方法を実施する、コンピュータで読取可能な命令を有する１つまたは複数のコンピュータで読取可能な媒体 | |
| US8989510B2 (en) | Contrast enhancement using gradation conversion processing | |
| CN104243770A (zh) | 图像信号处理装置、摄像装置及图像处理程序 | |
| JP5014274B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路 | |
| KR100429858B1 (ko) | 적응적 필터를 이용한 촛점 조절장치 및 방법 | |
| Jiang et al. | Multiple templates auto exposure control based on luminance histogram for onboard camera | |
| JP2012109656A (ja) | 画像処理装置及び方法、並びに画像表示装置及び方法 | |
| EP3364647B1 (en) | Imaging apparatus, image processing program, image processing apparatus, and image processing method | |
| JP2008263597A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
| JP4760947B2 (ja) | 画像処理装置、プログラム | |
| JP4265986B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP5219771B2 (ja) | 映像処理装置および映像処理装置の制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |