CN115883873A - 一种基于视频基因的视频对比方法 - Google Patents

Abstract

一种基于视频基因的视频对比方法，基于图像特征值和镜头描述子进行快速生成视频基因的算法，并利用该视频基因进行视频内容快速对比的方法。能够从海量的视频库中快速查找到与目标视频内容相同的视频或视频片段，并能够忽略视频分辨率、水印、角标、字幕、伽马矫正、颜色直方图调整等方面带来的差异。该方法具有，视频基因生成运算量小、视频基因数据占用空间小、视频对比处理速度快等特点，适用于视频片段查找、视频去重、视频内容溯源等场景，在视频服务应用方面具有很好的推广应用价值。

Description

一种基于视频基因的视频对比方法

技术领域

本发明涉及视频内容分析技术领域，具体涉及一种基于视频基因的视频对比方法。

背景技术

视频基因是用来表达视频特征的数据串，如同基因由DNA序列来表达一样。利用视频基因从视频库中搜索相似的视频，与搜索算法利用一组文字来寻找相似文本的过程是类似的。现有的视频基因通常是对视频图像中的边框、形状、矢量方向等特征进行描述，这种视频基因描述的图像特征适合在已知的视频库中查找发生形变的、局部引用的视频目标，适用于内容防盗、版权保护等需求。而对于查找相同视频内容的需求，诸如视频片段查找、视频去重、视频内容朔源等方面的需求，使用现有的视频基因算法，在视频内容对比效率方面显得过于低下。因此亟需一种生成速度更快、特征描述有效的视频基因算法，以及一种处理速度更快的视频对比方法。

发明内容

本发明为了克服以上技术的不足，提供了一种基于图像特征值和镜头描述子进行快速生成视频基因的算法，并利用该视频基因进行视频内容快速对比的方法，适用于视频片段查找、视频去重、视频内容溯源等场景和领域的方法。

本发明克服其技术问题所采用的技术方案是：

一种基于视频基因的视频对比方法，包括：

a)创建一个用于视频查找的视频库；

b)将视频库中每一个候选视频生成视频基因；

c)计算每一帧图像特征值之间的汉明距离，在汉明距离大于特征值长度10%的特征处进行截断，拆分出一个视频镜头并为该视频镜头生成镜头描述子；

d)将所有的镜头描述子按顺序拼接起来，生成视频基因；

e)获取待对比的目标视频，将目标视频执行步骤a)至步骤d)后生成目标视频的视频基因；

f)对比目标视频与视频库中的候选视频的视频基因，找到视频基因匹配度超过预设值的候选视频。

优选的，步骤b)中每一个候选视频生成视频基因时，将采样帧率统一设定为每秒10帧。

进一步的，步骤b)中对每个候选视频生成视频基因前将每个视频中的每一帧图像提取出特征值，图像的特征值的提取方法为：

b-1)将图像去除四周的黑边；

b-2)将图像缩小到8×8像素尺寸；

b-3)将缩小后的图像转为灰度图；

b-4)将灰度图进行16×16分辨率的离散余弦变换；

b-5)保留离散余弦变换后的图像左上角8×8矩阵的内容，抛弃其它高频的内容；

b-6)计算图像中64个像素的灰度均值，以灰度均值进行二值化处理，将大于或等于灰度均值的像素设为1，将小于灰度均值的像素设为0；

b-7)将二值化结果进行量化输出，将二值化数值按照图像自上而下、从左到右的顺序排列，形成64位的特征值。

进一步的，步骤c)中镜头描述子包括：镜头所处视频中的位置、镜头所包含的帧数、镜头首帧图像的特征值以及每一帧图像特征值之间的汉明距离。

进一步的，步骤d)中组成视频基因的过程包括如下步骤：

d-1)计算视频镜头第一帧的特征值；

d-2)依次计算第一帧之后所有帧的特征值，计算当前帧的特征值与上一帧的特征值的汉明距离；

d-3)判断两帧之间的汉明距离是否大于6， 如果大于6则表示这两帧图像的特征有明显差异，判定当前帧图像在视频中是一个新镜头的开端，判定当前帧之前的所有帧组成的图像为已结束的镜头后执行步骤d-4)，如果小于等于6则判定视频镜头没有切换并返回执行步骤d-2)；

d-4)判断已结束的镜头所包含的帧数是否大于10帧，如果小于或等于10帧，则抛弃该已结束的镜头后执行步骤d-6)；

d-5)如果帧数大于10帧，则为该已结束的镜头生成描述子后执行步骤d-7)，描述子包括已结束的镜头的序号、已结束的镜头所包含的帧数、已结束的镜头首帧图像的特征值以及已结束的镜头每帧之间的汉明距离；

d-6)将当前帧计为一个新镜头的开端后重复执行步骤d-2)；

d-7)将所有镜头的描述子按视频镜头序号的顺序拼接起来，形成该视频的基因。

进一步的，步骤f)的步骤为：

f-1)从候选视频尾部的镜头描述子和目标视频头部的镜头描述子开始，彼此相向移动，逐个比对候选视频的镜头描述子和目标视频的镜头描述子；

f-2)计算候选视频首帧图像特征值与目标视频首帧图像特征值之间的汉明距离，计算候选视频所包含帧数与目标视频所包含帧数的差值，将汉明距离与差值相加，如果相加后的得数小于或等于5时，判定两个镜头描述子匹配，如果相加后得数大于5时判定为两个镜头描述子不匹配；

f-3)当候选视频与目标视频中能匹配的镜头数量大于候选视频与目标视频对比的镜头总数的95%时，判定为候选视频与目标视频内容一致，或候选视频包含目标视频的内容，或目标视频包含候选视频的内容。

本发明的有益效果是：通过基于图像特征值和镜头描述子进行快速生成视频基因的算法，并利用该视频基因进行视频内容快速对比的方法。能够从海量的视频库中快速查找到与目标视频内容相同的视频或视频片段，并能够忽略视频分辨率、水印、角标、字幕、伽马矫正、颜色直方图调整等方面带来的差异。该方法具有，视频基因生成运算量小、视频基因数据占用空间小、视频对比处理速度快等特点，适用于视频片段查找、视频去重、视频内容溯源等场景，在视频服务应用方面具有很好的推广应用价值。

附图说明

图1为图像特征值提取的流程图；

图2为生成镜头描述子的示意图；

图3为视频生成镜头描述子并组成视频基因的流程图；

图4为视频的对比过程的流程图。

具体实施方式

下面结合附图1、附图2对本发明做进一步说明。

一种基于视频基因的视频对比方法，包括：

a)创建一个用于视频查找的视频库。

b)将视频库中每一个候选视频生成视频基因。

c)计算每一帧图像特征值之间的汉明距离（Hamming Distance），在汉明距离大于特征值长度10%的特征处进行截断，拆分出一个视频镜头并为该视频镜头生成镜头描述子。

d)将所有的镜头描述子按顺序拼接起来，生成视频基因；

e)获取待对比的目标视频，将目标视频执行步骤a)至步骤d)后生成目标视频的视频基因；

f)对比目标视频与视频库中的候选视频的视频基因，找到视频基因匹配度超过预设值的候选视频。

通过基于图像特征值和镜头描述子进行快速生成视频基因的算法，并利用该视频基因进行视频内容快速对比的方法。能够从海量的视频库中快速查找到与目标视频内容相同的视频或视频片段，并能够忽略视频分辨率、水印、角标、字幕、伽马矫正、颜色直方图调整等方面带来的差异。该方法具有，视频基因生成运算量小、视频基因数据占用空间小、视频对比处理速度快等特点，适用于视频片段查找、视频去重、视频内容溯源等场景，在视频服务应用方面具有很好的推广应用价值。

实施例1：

由于视频对比需要统一的时间尺度，因此在生成视频基因时，需要统一的采样帧率。适当降低采样帧率的视频基因，对视频的对比结果影响很小，但可以显著降低运算开销。因此步骤b)中每一个候选视频生成视频基因时，将采样帧率统一设定为每秒10帧。

实施例2：

为了生成视频基因，我们对步骤b)中对每个候选视频生成视频基因前将每个视频中的每一帧图像提取出特征值，图像特征值结果并不能获得真实性的图像低频率，但只要图片的整体结构保持不变，其二值化特征的结果值就不变，该处理能够避免图像比例、分辨率、水印、角标、字幕、伽马矫正、颜色直方图等内容调整所带来的影响。图像的特征值的提取方法如附图1所示：

b-1)将图像去除四周的黑边，摒弃不同比例的视频带来的差异。

b-2)将图像缩小到8×8像素尺寸，摒弃不同尺寸带来的差异。

b-3)将缩小后的图像转为灰度图。

b-4)将灰度图进行16×16分辨率的DCT（离散余弦变换）。经过DCT变换后，图像低频部分集中在左上角，这部分信息包含了图像的低频内容；其它部分是图像细节的高频内容。

b-5)保留离散余弦变换后的图像左上角8×8矩阵的内容，抛弃其它高频的内容。

b-6)计算图像中64个（8×8）像素的灰度均值，以灰度均值进行二值化处理，将大于或等于灰度均值的像素设为1，将小于灰度均值的像素设为0。

b-7)将二值化结果进行量化输出，将二值化数值按照图像自上而下、从左到右的顺序排列，形成64位（bit）的特征值。

实施例3：

镜头描述子，是用来描述视频中一段镜头的特征，具体的步骤c)中镜头描述子包括：镜头所处视频中的位置、镜头所包含的帧数、镜头首帧图像的特征值以及每一帧图像特征值之间的汉明距离。生成镜头描述子的示意图如附图2所示。

实施例4：

如附图3所示，步骤d)中组成视频基因的过程包括如下步骤：

d-1)计算视频镜头第一帧的特征值。

d-2)依次计算第一帧之后所有帧的特征值，计算当前帧的特征值与上一帧的特征值的汉明距离。

d-3)判断两帧之间的汉明距离是否大于6，对于8x8的64像素二值图像来说， 如果大于6则表示这两帧图像的特征有明显差异，判定当前帧图像在视频中是一个新镜头的开端，判定当前帧之前的所有帧组成的图像为已结束的镜头后执行步骤d-4)，如果小于等于6则判定视频镜头没有切换并返回执行步骤d-2)。

d-4)判断已结束的镜头所包含的帧数是否大于10帧，如果小于或等于10帧，则抛弃该已结束的镜头，以便摒弃视频渐变转场或连续快速转场所带来的特征识别误差，之后执行步骤d-6)。

d-5)如果帧数大于10帧，则为该已结束的镜头生成描述子后执行步骤d-7)，描述子包括已结束的镜头的序号、已结束的镜头所包含的帧数、已结束的镜头首帧图像的特征值以及已结束的镜头每帧之间的汉明距离。

d-6)将当前帧计为一个新镜头的开端后重复执行步骤d-2)。

d-7)将所有镜头的描述子按视频镜头序号的顺序拼接起来，形成该视频的基因。

实施例5：

如附图4所示，步骤f)的步骤为：

f-1)从候选视频尾部的镜头描述子和目标视频头部的镜头描述子开始，彼此相向移动，逐个比对候选视频的镜头描述子和目标视频的镜头描述子。例如视频A是视频库中的候选视频，视频B是要对比的目标视频，视频A从尾部的镜头描述子开始，视频B从头部的镜头描述子开始，第一步先对比视频A的最后1个描述子与视频B的第1个描述子，第二步对比视频A的最后2个描述子与视频B的前2个描述子，以此类推，第n步对比视频A的最后n个描述子与视频B的前n个描述子。

f-2)镜头描述子的对比过程包括：计算候选视频首帧图像特征值与目标视频首帧图像特征值之间的汉明距离，计算候选视频所包含帧数与目标视频所包含帧数的差值，将汉明距离与差值相加，如果相加后的得数小于或等于5时，判定两个镜头描述子匹配，如果相加后得数大于5时判定为两个镜头描述子不匹配。镜头描述子中的帧间汉明距离表达的是镜头详细信息，在镜头快速对比应用中，可以被忽略。

f-3)在完成每一步的镜头描述子对比后，其对比结果可能包括：能够匹配的镜头、不能匹配的镜头、孤立的镜头和缺失的镜头。当候选视频与目标视频中能匹配的镜头数量大于候选视频与目标视频对比的镜头总数的95%时，判定为候选视频与目标视频内容一致，或候选视频包含目标视频的内容，或目标视频包含候选视频的内容。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于视频基因的视频对比方法，其特征在于，包括：

a)创建一个用于视频查找的视频库；

b)将视频库中每一个候选视频生成视频基因；

c)计算每一帧图像特征值之间的汉明距离，在汉明距离大于特征值长度10%的特征处进行截断，拆分出一个视频镜头并为该视频镜头生成镜头描述子；

d)将所有的镜头描述子按顺序拼接起来，生成视频基因；

e)获取待对比的目标视频，将目标视频执行步骤a)至步骤d)后生成目标视频的视频基因；

f)对比目标视频与视频库中的候选视频的视频基因，找到视频基因匹配度超过预设值的候选视频。

2.根据权利要求1所述的基于视频基因的视频对比方法，其特征在于：步骤b)中每一个候选视频生成视频基因时，将采样帧率统一设定为每秒10帧。

3.根据权利要求1所述的基于视频基因的视频对比方法，其特征在于，步骤b)中对每个候选视频生成视频基因前将每个视频中的每一帧图像提取出特征值，图像的特征值的提取方法为：

b-1)将图像去除四周的黑边；

b-2)将图像缩小到8×8像素尺寸；

b-3)将缩小后的图像转为灰度图；

b-4)将灰度图进行16×16分辨率的离散余弦变换；

b-5)保留离散余弦变换后的图像左上角8×8矩阵的内容，抛弃其它高频的内容；

b-6)计算图像中64个像素的灰度均值，以灰度均值进行二值化处理，将大于或等于灰度均值的像素设为1，将小于灰度均值的像素设为0；

b-7)将二值化结果进行量化输出，将二值化数值按照图像自上而下、从左到右的顺序排列，形成64位的特征值。

4.根据权利要求1所述的基于视频基因的视频对比方法，其特征在于，步骤c)中镜头描述子包括：镜头所处视频中的位置、镜头所包含的帧数、镜头首帧图像的特征值以及每一帧图像特征值之间的汉明距离。

5.根据权利要求1所述的基于视频基因的视频对比方法，其特征在于，步骤d)中组成视频基因的过程包括如下步骤：

d-1)计算视频镜头第一帧的特征值；

d-2)依次计算第一帧之后所有帧的特征值，计算当前帧的特征值与上一帧的特征值的汉明距离；

d-3)判断两帧之间的汉明距离是否大于6， 如果大于6则表示这两帧图像的特征有明显差异，判定当前帧图像在视频中是一个新镜头的开端，判定当前帧之前的所有帧组成的图像为已结束的镜头后执行步骤d-4)，如果小于等于6则判定视频镜头没有切换并返回执行步骤d-2)；

d-4)判断已结束的镜头所包含的帧数是否大于10帧，如果小于或等于10帧，则抛弃该已结束的镜头后执行步骤d-6)；

d-5)如果帧数大于10帧，则为该已结束的镜头生成描述子后执行步骤d-7)，描述子包括已结束的镜头的序号、已结束的镜头所包含的帧数、已结束的镜头首帧图像的特征值以及已结束的镜头每帧之间的汉明距离；

d-6)将当前帧计为一个新镜头的开端后重复执行步骤d-2)；

d-7)将所有镜头的描述子按视频镜头序号的顺序拼接起来，形成该视频的基因。

6.根据权利要求1所述的基于视频基因的视频对比方法，其特征在于，步骤f)的步骤为：

f-1)从候选视频尾部的镜头描述子和目标视频头部的镜头描述子开始，彼此相向移动，逐个比对候选视频的镜头描述子和目标视频的镜头描述子；

f-2)计算候选视频首帧图像特征值与目标视频首帧图像特征值之间的汉明距离，计算候选视频所包含帧数与目标视频所包含帧数的差值，将汉明距离与差值相加，如果相加后的得数小于或等于5时，判定两个镜头描述子匹配，如果相加后得数大于5时判定为两个镜头描述子不匹配；

f-3)当候选视频与目标视频中能匹配的镜头数量大于候选视频与目标视频对比的镜头总数的95%时，判定为候选视频与目标视频内容一致，或候选视频包含目标视频的内容，或目标视频包含候选视频的内容。

Images