CN110248048B - 一种视频抖动的检测方法及装置 - Google Patents
一种视频抖动的检测方法及装置 Download PDFInfo
- Publication number
- CN110248048B CN110248048B CN201910546465.XA CN201910546465A CN110248048B CN 110248048 B CN110248048 B CN 110248048B CN 201910546465 A CN201910546465 A CN 201910546465A CN 110248048 B CN110248048 B CN 110248048B
- Authority
- CN
- China
- Prior art keywords
- frame
- video
- motion vector
- sequence
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 239000013598 vector Substances 0.000 claims abstract description 119
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 238000009432 framing Methods 0.000 claims abstract description 15
- 238000004364 calculation method Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 15
- 238000007781 pre-processing Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007499 fusion processing Methods 0.000 claims description 7
- 238000009825 accumulation Methods 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 abstract description 7
- 230000008859 change Effects 0.000 abstract description 6
- 230000035945 sensitivity Effects 0.000 abstract description 4
- 238000012706 support-vector machine Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/147—Scene change detection
Abstract
本发明公开了一种视频抖动的检测方法及装置，该方法包括：对待检测视频进行分帧处理得到帧序列；对帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量；根据每一帧的运动向量，获取待检测视频的特征值；将待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据输出信号判断所述待检测视频是否发生抖动。本发明通过特征点检测并对特征点采用光流跟踪算法，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，检测镜头突发大位移、强抖动、大旋转等情况下拍摄的视频时，具有很好的灵敏度和鲁棒性。
Description
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种视频抖动的检测方法及装置。
背景技术
科技浪潮极大的改变了每一个人的生活，尺寸不断缩小，价格不断降低的诸如智能手机、数码摄像机、微单相机、单反相机等手持视频捕获设备，已经成为大多数人的生活必需品，全民摄像时代已经悄然来临。当人们享受使用手持视频捕获设备记录有趣和令人兴奋的时刻时，由于拍摄者的移动或无意识的晃动而导致镜头的不稳定运动，会使视频产生不规则抖动，从而导致记录的精彩片段的效果大打折扣，同时严重影响视频的后续处理。因此，视频抖动检测已经成为视频处理技术不可或缺的重要组成部分。
基于视频抖动检测是视频后期调整和处理的基础，研究人员在视频处理、视频稳像、计算机视觉等领域已经进行了大量基于视频分析的研究。尽管已有研究人员提出了若干种视频抖动检测方法，但是现有的检测算法准确度不高，有的对短时间内镜头大位移强抖动的条件下拍摄的视频不敏感，有的不适合旋转运动检测，有的不适合镜头缓慢移动的场景。例如，以下几种常用的视频抖动检测方法或多或少都存在一些缺陷：
1.块匹配法：目前视频稳像系统中最常用的一种算法。该方法将当前帧分成块，块内的每个像素都具有同一运动矢量，然后对每一块都在参考帧的特定范围内搜索最佳匹配，从而估计出视频序列的全局运动矢量。块匹配法通常需要分块，根据每块内的运动矢量估计全局运动矢量，那么检测某些特定场景视频抖动问题时效果不好，如一个画面中，画面分成4格，其中3格不动，1格中物体在运动；另外块匹配法通常需要卡尔曼滤波对计算出的运动矢量进行处理，其计算开销大，实时性不好，无法适应短时间内镜头大位移强抖动的情景。
2.灰度投影法：基于图像中重合相似区域灰度分布一致性原理，利用相邻视频帧的局部灰度信息来求取矢量运动关系，该算法主要由不同区域行列两个方向的灰度投影相关计算组成。灰度投影法对只存在平移抖动的场景有效，无法估计旋转运动矢量。
发明内容
为了解决现有技术的问题，本发明实施例提供了一种视频抖动的检测方法及装置，以克服现有技术中现有的检测算法准确度低，对短时间内镜头大位移强抖动的条件下拍摄的视频不敏感等问题。
为解决上述一个或多个技术问题，本发明采用的技术方案是：
一方面，提供了一种视频抖动的检测方法，该方法包括如下步骤：
对待检测视频进行分帧处理得到帧序列；
对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
根据所述每一帧的运动向量，获取所述待检测视频的特征值；
将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
进一步的，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
对所述帧序列进行灰度化处理，获取灰度化帧序列；
对所述灰度化帧序列进行去噪处理；
所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特征点检测。
进一步的，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
进一步的，所述基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量包括：
对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
根据所述初始运动向量获取对应的累积运动向量；
对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
进一步的，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差；
对所述各元素的无偏标准差进行加权融合处理，获取加权值；
将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
另一方面，提供了一种视频抖动的检测装置，所述装置包括：
分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频的特征值；
抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
进一步的，所述装置还包括：
数据预处理模块，用于对所述帧序列进行预处理的步骤；
所述数据预处理模块包括：
灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
进一步的，所述特征点检测模块还用于：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
进一步的，所述向量计算模块包括：
光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
向量调整单元，用于利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
进一步的，所述特征值提取模块包括：
矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值。
本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的视频抖动的检测方法及装置，通过基于光流跟踪算法根据帧特征点序列矩阵获取每一帧的运动向量，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，对镜头缓慢移动条件下拍摄的视频进行抖动检测时，具有良好的宽容度和适应性，对镜头突发大位移、强抖动、大旋转等情况下拍摄的视频进行抖动检测时，具有很好的灵敏度和鲁棒性；
2、本发明实施例提供的视频抖动的检测方法及装置，采用基于FAST特征和SURF特征相融合的特征点检测算法，即对特征点提取算法进行了优化，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性；
3、本发明实施例提供的视频抖动的检测方法及装置，从待检测视频中至少提取4种维度特征，以及采用SVM模型作为检测模型，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提高了检测的准确性。
当然，实施本申请的任一方案并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的视频抖动的检测方法的流程图；
图2是根据一示例性实施例示出的对所述帧序列进行预处理的流程图；
图3是根据一示例性实施例示出的基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量的流程图；
图4是根据一示例性实施例示出的根据每一帧的运动向量，获取待检测视频的特征值的流程图；
图5是根据一示例性实施例示出的视频抖动的检测装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据一示例性实施例示出的视频抖动的检测方法的流程图，参照图1所示，该方法包括如下步骤：
S1：对待检测视频进行分帧处理得到帧序列。
具体的，为了方便后续进行计算从而对待检测视频进行检测，获取到待检测视频(表示为S)后，首先需要先对待检测视频S进行分帧提取处理，获取与对待检测视频对应的帧序列，记为Li(i＝1，2，3，…，n)，其中，Li表示视频第i帧，n表示视频的总帧数。
S2：对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵。
具体的，在视频抖动检测中，需要在视频中选取当前帧，以及相邻的下一帧(或间隔N帧抽取下一帧)，并且在这两帧图像中需要获取相应的特征点，然后根据两帧的特征点进行相应的匹配，进而判断两帧之间是否发生偏移(抖动)。
具体实施时，使用特征点检测算法对处理后的帧序列Li(i＝1，2，3，…，n)逐帧进行特征点检测，获取每一帧的特征点(即提取每一帧图像的特征点)，生成帧特征点序列矩阵，假设用zi(i＝1，2，…，n)表示，帧特征点序列矩阵可以具体表示如下：
其中，
表示第i帧矩阵第p行第q列的特征点检测结果，1为特征点，0为非特征点，p表示矩阵行数，q表示矩阵列数。
S3：基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量。
具体的，采用光流跟踪算法对帧特征点序列矩阵进行光流跟踪计算，即跟踪当前帧中的特征点到下一帧的变换。例如，跟踪第i帧中的特征点序列矩阵zi到第i+1帧的变换，获取运动向量
运动向量
的表达式为：
其中，dxi表示第i到第i+1帧的欧氏列偏移；dyi表示第i到第i+1帧的欧氏行偏移；dri表示第i到第i+1帧的角度偏移
S4：根据所述每一帧的运动向量，获取所述待检测视频的特征值。
具体的，现有技术中通常采用3种维度的特征值，而本发明实施例中，提取的特征值至少包括4种维度的特征值。相对现有技术增加了1种特征值维度，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提升检测的准确性。
S5：将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
具体的，将上述步骤获取到的待检测视频的特征值作为输入信号输入到检测模型中进行运算，获取输出信号，并根据输出信号判断待检测视频是否发生抖动。这里需要说明的是，本发明实施例中的检测模型是预先训练好的。具体训练时，可以采用本发明实施例中的方法对选取的训练数据集中的样本视频数据进行相应处理，获取样本视频数据的特征值。根据样本视频数据的特征值以及样本视频数据对应的标注结果，对检测模型进行训练，直到模型训练完成，获取最终的检测模型。
例如，假设将带有标注的抖动视频数据集中的第m个视频样本，经过上述步骤的处理，提取得到第m个视频样本的特征值。即先对第m个视频样本进行分帧处理得到帧序列，然后对帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵，接着基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量，最后根据每一帧的运动向量，获取第m个视频样本的特征值。将运动向量进行维度转化后计算得到的各元素的无偏标准差以及其加权融合值，分别表示为σ[λ(dx)]m、σ[λ(dy)]m、σ[λ(dr)]m和κm，并提取第m个视频样本的标注结果ym(若ym＝0表示视频样本不发生抖动，若ym＝1表示视频样本发生抖动)，得到第m个视频样本的训练样本，其可以表示如下：
{σ[λ(dx)]m σ[λ(dy)]m σ[λ(dr)]m κm ym}(m)
视频样本采用至少5种维度特征，与现有技术甲通常采用的3种维度特征(通常采用相邻帧平移量的平均值、方差、平移向量夹角的平均值)相比，泛化性更具优势，进一步提高了检测的准确性。另外，作为一种较优的实施方式，本发明实施例中，检测模型可以选取SVM模型，即将通过上述步骤获取的待检测视频的特征值输入到训练好的SVM模型中，获取输出结果。若输出结果为0，则表示待检测视频不发生抖动，若输出结果为1，则表示待检测视频发生抖动。采用可训练的SVM模型作为视频抖动判决器，能够对于不同场景的视频进行抖动检测，且采用该模型后，泛化性更好，检测的准确率更高。
图2是根据一示例性实施例示出的对所述帧序列进行预处理的流程图，参照图2所示，作为一种较优的实施方式，本发明实施例中，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
S101：对所述帧序列进行灰度化处理，获取灰度化帧序列；
具体的，由于灰度空间只包含亮度信息，不含彩色信息，灰度化之后图像信息量大幅减少，因此，为了减少后续参与计算的信息量，方便后续计算，本发明实施例中，还对上述步骤得到的帧序列Li(i＝1，2，3，…，n)进行灰度化处理，得到灰度化帧序列，记为Gi(i＝1，2，3，…，n)，其中，灰度转换公式如下：
G＝R×0.299+G×0.587+B×0.114
S102：对所述灰度化帧序列进行去噪处理。
具体的，为了有效抑制噪点(即非特征点)对后续步骤产生影响，提高检测的准确度，还需对灰度化帧序列进行去噪处理，具体实施时，可以采用基于全变分模型的TV去噪方法，对灰度化帧序列Gi(i＝1，2，3，，n)进行去噪处理，得到去噪后的帧序列，即待检测视频对应的预处理后的帧序列，记为Ti(i＝1，2，3，…，n)。这里需要说明的是，本发明实施例中，去噪方法可以任意选取，这里对此不做限制。
所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特征点检测。
作为一种较优的实施方式，本发明实施例中，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
具体的，由于视频抖动的检测算法的准确性会受到特征点提取以及匹配技术的影响，也就是说，特征点提取算法的性能会直接影响视频抖动的检测算法的准确性，因此本发明实施例中，对特征点提取算法进行优化。作为一种较优的实施方式，采用基于FAST特征和SURF特征相融合的特征点检测算法。其中，SURF算法是基于SIFT算法的改进，SIFT是一种鲁棒性好、尺度不变的特征描述方法，SURF算法保持其优点的同时，改善了SIFT算法计算数据量大、时间复杂度高、算法耗时长的问题。并且SURF在光照变化和视角变化不变性方面的性能更良好，尤其对图像严重模糊和旋转处理得非常好，且其描述图像局部特征性能良好。FAST特征检测是一种角点检测方法，该算法最突出的优点是它的计算效率，并且可以很好的描述图像全局特征。因此，采用基于FAST特征和SURF特征相融合的特征点检测算法进行特征点提取，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性。
图3是根据一示例性实施例示出的基于光流跟踪算法对帧特征点序列矩阵进行运算得到每一帧的运动向量的流程图，参照图3所示，作为一种较优的实施方式，本发明实施例中，所述基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量包括：
S301：对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量。
具体的，在对帧特征点序列矩阵进行光流跟踪计算时，可以利用金字塔光流跟踪Lucas-Kanade(LK)算法。例如，跟踪第i帧中的特征点序列矩阵zi到第i+1帧的变换，获取运动向量
其中，运动向量
的表达式为：
其中，dxi表示第i到第i+1帧的欧氏列偏移；dyi表示第i到第i+1帧的欧氏行偏移；dri表示第i到第i+1帧的角度偏移。
利用金字塔光流跟踪Lucas-Kanade(LK)算法利用金字塔迭代结构，可以有效的解决由于A帧(假设为当前帧)特征点到B帧(假设为下一帧)特征点变化过大导致跟踪不上的问题，为本发明实施例提供的视频抖动的检测方法处理在镜头突发大位移、强抖动、大旋转情况下拍摄的视频时，提高其抖动检测的灵敏度和鲁棒性奠定了基础。
S302：根据所述初始运动向量获取对应的累积运动向量。
具体的，对步骤S301中获取到的每一帧的初始运动向量
进行累积积分变换，获取每一帧的累积运动向量，记为
其中，累积运动向量
的表达式为：
S303：对所述累积运动向量进行平滑处理，获取平滑后的运动向量。
具体的，使用滑动平均窗口将步骤S302中得到的运动向量
进行平滑处理，得到平滑后的运动向量
其表达式为：
其中，n表示视频的总帧数；平滑窗口半径为r，其表达式为：
其中，μ指的是滑动窗口的参数，且μ的值为正数，μ的具体数值可以根据实际需求动态调整，例如，作为一种较优的实施方式，可以设置μ＝30。
本发明实施例中，使用计算开销非常小的滑动平均窗口对运动向量进行平滑处理，而没有采用具有复杂计算的卡尔曼滤波等处理，可以在不损失准确性的前提下，进一步减少计算开销，提升实时性。
S304：利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
具体的，利用上述步骤S302、S303中得到的
对步骤S301中的
进行调整，得到调整后的运动向量
其表达式为：
将获取到的调整后的运动向量
作为每一帧的运动向量参与后续计算，使得计算结果更准确，即使视频抖动的检测结果更准确。
图4是根据一示例性实施例示出的根据每一帧的运动向量，获取待检测视频的特征值的流程图，参照图4所示，作为一种较优的实施方式，本发明实施例中，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
S401：将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差。
具体的，首先将通过上述步骤获取到的所有帧的运动向量合并转化成矩阵，例如，对于运动向量
转化成矩阵
的形式，并按行计算其元素的无偏标准差，具体计算公式如下：
通过以上公式可以得到矩阵中各元素无偏标准差，分别记为σ[λ(dx)]、σ[λ(dy)]和σ[λ(dr)]，其中A表示样本均值。
S402：对所述各元素的无偏标准差进行加权融合处理，获取加权值。
具体的，根据实际需求，给上述各元素的无偏标准差设置权重，根据权重对各元素的无偏标准差进行加权融合处理，其中各元素的无偏标准差的权重可以根据实际需求动态调整。例如，设置σ[λ(dx)]的权重为3、σ[λ(dy)]的权重为3、σ[λ(dr)]的权重为10，则融合公式如下：
κ＝3σ[λ(dx)]+3σ[λ(dy)]+10σ[λ(dr)]
S403：将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
具体的，本发明实施例中，待检测视频S的特征值为上述步骤获取到的各元素的无偏标准差以及其加权值，记为：
{σ[λ(dx)]s σ[λ(dy)]s σ[λ(dr)]s κs}(s)|
图5是根据一示例性实施例示出的视频抖动的检测装置的结构示意图，参照图5所示，该装置包括：
分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频的特征值；
抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
作为一种较优的实施方式，本发明实施例中，所述装置还包括：
数据预处理模块，用于对所述帧序列进行预处理的步骤；
所述数据预处理模块包括：
灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
作为一种较优的实施方式，本发明实施例中，所述特征点检测模块还用于：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
作为一种较优的实施方式，本发明实施例中，所述向量计算模块包括：
光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
向量调整单元，用于利用所述累积运动向量以及所述平滑后的运动向量，对所述每一帧的初始运动向量进行调整，获取每一帧的运动向量。
作为一种较优的实施方式，本发明实施例中，所述特征值提取模块包括：
矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值。
综上所述，本发明实施例提供的技术方案带来的有益效果是：
1、本发明实施例提供的视频抖动的检测方法及装置，通过基于光流跟踪算法根据帧特征点序列矩阵获取每一帧的运动向量，有效解决了相邻两帧之间变化过大导致的跟踪不上的问题，对镜头缓慢移动条件下拍摄的视频进行抖动检测时，具有良好的宽容度和适应性，对镜头突发大位移、强抖动、大旋转等情况下拍摄的视频进行抖动检测时，具有很好的灵敏度和鲁棒性；
2、本发明实施例提供的视频抖动的检测方法及装置，采用基于FAST特征和SURF特征相融合的特征点检测算法，即对特征点提取算法进行了优化，既兼顾了图像全局特征，又充分保留了其局部特征，并且计算开销小，对图像模糊，光照条件不佳的鲁棒性强，进一步提升了检测的实时性和准确性；
3、本发明实施例提供的视频抖动的检测方法及装置，从待检测视频中至少提取4种维度特征，以及采用SVM模型作为检测模型，使得本发明实施例提供的视频抖动的检测方法的泛化性更具优势，进一步提高了检测的准确性。
当然，实施本申请的任一方案并不一定需要同时达到以上所述的所有优点。需要说明的是：上述实施例提供的视频抖动的检测装置在触发检测业务时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的视频抖动的检测装置与视频抖动的检测方法实施例属于同一构思，即该装置是基于该视频抖动的检测方法的，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种视频抖动的检测方法，其特征在于，所述方法包括如下步骤：
对待检测视频进行分帧处理得到帧序列；
对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；根据所述初始运动向量获取对应的累积运动向量；对所述累积运动向量进行平滑处理，获取平滑后的运动向量；将每一帧的所述初始运动向量加上所述平滑后的运动向量，再减去所述累积运动向量，获取每一帧的运动向量；
根据所述每一帧的运动向量，获取所述待检测视频的特征值；
将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
2.根据权利要求1所述的视频抖动的检测方法，其特征在于，在进行特征点检测之前，所述方法还包括对所述帧序列进行预处理的步骤：
对所述帧序列进行灰度化处理，获取灰度化帧序列；
对所述灰度化帧序列进行去噪处理；
所述对所述帧序列逐帧进行特征点检测为对预处理后的帧序列逐帧进行特征点检测。
3.根据权利要求1或2所述的视频抖动的检测方法，其特征在于，所述对所述帧序列逐帧进行特征点检测，获取每一帧的特征点包括：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
4.根据权利要求1或2所述的视频抖动的检测方法，其特征在于，所述根据所述每一帧的运动向量，获取所述待检测视频的特征值包括：
将所有帧的所述运动向量合并转化成矩阵，并计算所述矩阵中各元素的无偏标准差；
对所述各元素的无偏标准差进行加权融合处理，获取加权值；
将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
5.一种视频抖动的检测装置，其特征在于，所述装置包括：
分帧处理模块，用于对待检测视频进行分帧处理得到帧序列；
特征点检测模块，用于对所述帧序列逐帧进行特征点检测，获取每一帧的特征点，并生成帧特征点序列矩阵；
向量计算模块，用于基于光流跟踪算法对所述帧特征点序列矩阵进行运算得到每一帧的运动向量；
所述向量计算模块包括：
光流跟踪单元，用于对每一帧的所述帧特征点序列矩阵进行光流跟踪计算，获取每一帧的初始运动向量；
累积计算单元，用于根据所述初始运动向量获取对应的累积运动向量；
平滑处理单元，用于对所述累积运动向量进行平滑处理，获取平滑后的运动向量；
向量调整单元，用于将每一帧的所述初始运动向量加上所述平滑后的运动向量，再减去所述累积运动向量，获取每一帧的运动向量；
特征值提取模块，用于根据所述每一帧的运动向量，获取所述待检测视频的特征值；
抖动检测模块，用于将所述待检测视频的特征值作为检测模型的输入信号以运算得到输出信号，并根据所述输出信号判断所述待检测视频是否发生抖动。
6.根据权利要求5所述的视频抖动的检测装置，其特征在于，所述装置还包括：
数据预处理模块，用于对所述帧序列进行预处理的步骤；
所述数据预处理模块包括：
灰度处理单元，用于对所述分帧序列进行灰度化处理，获取灰度化帧序列；
去噪处理单元，用于对所述灰度化帧序列进行去噪处理；
所述特征点检测模块用于对预处理后的帧序列逐帧进行特征点检测。
7.根据权利要求5或6所述的视频抖动的检测装置，其特征在于，所述特征点检测模块还用于：
采用基于FAST特征和SURF特征相融合的特征点检测算法，对所述帧序列逐帧进行特征点检测，获取每一帧的特征点。
8.根据权利要求5或6所述的视频抖动的检测装置，其特征在于，所述特征值提取模块包括：
矩阵转化单元，用于将所有帧的所述运动向量合并转化成矩阵；
标准差计算单元，用于计算所述矩阵中各元素的无偏标准差；
加权融合单元，用于对所述各元素的无偏标准差进行加权融合处理，获取加权值；将所述各元素的无偏标准差以及所述加权值作为所述待检测视频的特征值。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910546465.XA CN110248048B (zh) | 2019-06-21 | 2019-06-21 | 一种视频抖动的检测方法及装置 |
| CA3172605A CA3172605C (en) | 2019-06-21 | 2020-06-11 | Video jitter detection method and device |
| PCT/CN2020/095667 WO2020253618A1 (zh) | 2019-06-21 | 2020-06-11 | 一种视频抖动的检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910546465.XA CN110248048B (zh) | 2019-06-21 | 2019-06-21 | 一种视频抖动的检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110248048A CN110248048A (zh) | 2019-09-17 |
| CN110248048B true CN110248048B (zh) | 2021-11-09 |
Family
ID=67888794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910546465.XA Active CN110248048B (zh) | 2019-06-21 | 2019-06-21 | 一种视频抖动的检测方法及装置 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN110248048B (zh) |
| CA (1) | CA3172605C (zh) |
| WO (1) | WO2020253618A1 (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110248048B (zh) * | 2019-06-21 | 2021-11-09 | 苏宁云计算有限公司 | 一种视频抖动的检测方法及装置 |
| CN110971895B (zh) * | 2019-12-18 | 2022-07-08 | 北京百度网讯科技有限公司 | 视频抖动检测方法和装置 |
| CN111614895B (zh) * | 2020-04-30 | 2021-10-29 | 惠州华阳通用电子有限公司 | 一种图像成像抖动补偿方法、系统及设备 |
| CN112887708A (zh) * | 2021-01-22 | 2021-06-01 | 北京锐马视讯科技有限公司 | 视频抖动检测方法和装置、设备及存储介质 |
| CN113115109B (zh) * | 2021-04-16 | 2023-07-28 | 深圳市帧彩影视科技有限公司 | 视频处理方法、装置、电子设备及存储介质 |
| CN114155254B (zh) * | 2021-12-09 | 2022-11-08 | 成都智元汇信息技术股份有限公司 | 基于图像校正的切图方法、电子设备及介质 |
| CN116193257B (zh) * | 2023-04-21 | 2023-09-22 | 成都华域天府数字科技有限公司 | 一种消除手术视频图像画面抖动的方法 |
| CN117576692B (zh) * | 2024-01-17 | 2024-03-29 | 大连云智信科技发展有限公司 | 基于图像识别的畜牧业水源污染检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511024A (zh) * | 2009-04-01 | 2009-08-19 | 北京航空航天大学 | 实时电子稳像中基于运动状态识别的运动补偿方法 |
| CN104135597A (zh) * | 2014-07-04 | 2014-11-05 | 上海交通大学 | 一种视频抖动自动检测方法 |
| CN104144283A (zh) * | 2014-08-10 | 2014-11-12 | 大连理工大学 | 一种基于改进的卡尔曼滤波的实时数字视频稳像方法 |
| CN105681663A (zh) * | 2016-02-26 | 2016-06-15 | 北京理工大学 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
| CN108366201A (zh) * | 2018-02-12 | 2018-08-03 | 天津天地伟业信息系统集成有限公司 | 一种基于陀螺仪的电子防抖方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9055223B2 (en) * | 2013-03-15 | 2015-06-09 | Samsung Electronics Co., Ltd. | Digital image stabilization method and imaging device using the same |
| CN103826032B (zh) * | 2013-11-05 | 2017-03-15 | 四川长虹电器股份有限公司 | 深度图后期处理方法 |
| CN104301712B (zh) * | 2014-08-25 | 2016-05-18 | 浙江工业大学 | 一种基于视频分析的监控摄像头抖动检测方法 |
| US10254845B2 (en) * | 2016-01-05 | 2019-04-09 | Intel Corporation | Hand gesture recognition for cursor control |
| JP6823469B2 (ja) * | 2017-01-20 | 2021-02-03 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 |
| JP2019020839A (ja) * | 2017-07-12 | 2019-02-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
| US10491832B2 (en) * | 2017-08-16 | 2019-11-26 | Qualcomm Incorporated | Image capture device with stabilized exposure or white balance |
| CN110248048B (zh) * | 2019-06-21 | 2021-11-09 | 苏宁云计算有限公司 | 一种视频抖动的检测方法及装置 |
-
2019
- 2019-06-21 CN CN201910546465.XA patent/CN110248048B/zh active Active
-
2020
- 2020-06-11 CA CA3172605A patent/CA3172605C/en active Active
- 2020-06-11 WO PCT/CN2020/095667 patent/WO2020253618A1/zh active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101511024A (zh) * | 2009-04-01 | 2009-08-19 | 北京航空航天大学 | 实时电子稳像中基于运动状态识别的运动补偿方法 |
| CN104135597A (zh) * | 2014-07-04 | 2014-11-05 | 上海交通大学 | 一种视频抖动自动检测方法 |
| CN104144283A (zh) * | 2014-08-10 | 2014-11-12 | 大连理工大学 | 一种基于改进的卡尔曼滤波的实时数字视频稳像方法 |
| CN105681663A (zh) * | 2016-02-26 | 2016-06-15 | 北京理工大学 | 一种基于帧间运动几何平滑性的视频抖动检测方法 |
| CN108366201A (zh) * | 2018-02-12 | 2018-08-03 | 天津天地伟业信息系统集成有限公司 | 一种基于陀螺仪的电子防抖方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于Harris角点与改进Hu矩的电子稳像算法;吴国楠等;《计算机工程》;20130331;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110248048A (zh) | 2019-09-17 |
| WO2020253618A1 (zh) | 2020-12-24 |
| CA3172605A1 (en) | 2020-12-24 |
| CA3172605C (en) | 2024-01-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110248048B (zh) | 一种视频抖动的检测方法及装置 | |
| US9615039B2 (en) | Systems and methods for reducing noise in video streams | |
| WO2020192483A1 (zh) | 图像显示方法和设备 | |
| CN113286194A (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
| WO2020199831A1 (zh) | 图像处理模型的训练方法、图像处理方法、网络设备及存储介质 | |
| US9247129B1 (en) | Self-portrait enhancement techniques | |
| US9202263B2 (en) | System and method for spatio video image enhancement | |
| CN111402130B (zh) | 数据处理方法和数据处理装置 | |
| KR101524548B1 (ko) | 영상 정합 장치 및 방법 | |
| US11303793B2 (en) | System and method for high-resolution, high-speed, and noise-robust imaging | |
| WO2020171379A1 (en) | Capturing a photo using a mobile device | |
| CN112287819A (zh) | 一种用于摄录设备的高速多路实时稳像方法 | |
| KR101202642B1 (ko) | 배경의 특징점을 이용한 전역 움직임 추정 방법 및 장치 | |
| Zhang et al. | Nonlocal edge-directed interpolation | |
| CN111127355A (zh) | 一种对缺损光流图进行精细补全的方法及其应用 | |
| US11968471B2 (en) | Sliding window for image keypoint detection and descriptor generation | |
| US11810266B2 (en) | Pattern radius adjustment for keypoint descriptor generation | |
| CN116993620B (zh) | 一种去模糊方法和电子设备 | |
| WO2023185096A1 (zh) | 图像模糊度的确定方法及其相关设备 | |
| CN107507224B (zh) | 运动物体检测方法、装置、介质及计算设备 | |
| TW202338734A (zh) | 用於處理影像資料的方法及影像處理器單元 | |
| Gurrala et al. | Enhancing Safety and Security: Face Tracking and Detection in Dehazed Video Frames Using KLT and Viola-Jones Algorithms. | |
| CN115423873A (zh) | 图像生成方法、装置、设备及介质 | |
| CN117135469A (zh) | 一种图像处理方法及电子设备 | |
| Li et al. | Reliable real-time optical flow estimation for surveillance applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address | ||
| CP03 | Change of name, title or address |
Address after: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee after: Jiangsu Suning cloud computing Co.,Ltd. Country or region after: China Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee before: Suning Cloud Computing Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240206 Address after: Room 3104, Building A5, No. 3 Gutan Avenue, Economic Development Zone, Gaochun District, Nanjing City, Jiangsu Province, 210000 Patentee after: Jiangsu Biying Technology Co.,Ltd. Country or region after: China Address before: No.1-1 Suning Avenue, Xuzhuang Software Park, Xuanwu District, Nanjing, Jiangsu Province, 210000 Patentee before: Jiangsu Suning cloud computing Co.,Ltd. Country or region before: China |