CN110222594A - 盗版视频识别方法及系统 - Google Patents
盗版视频识别方法及系统 Download PDFInfo
- Publication number
- CN110222594A CN110222594A CN201910419362.7A CN201910419362A CN110222594A CN 110222594 A CN110222594 A CN 110222594A CN 201910419362 A CN201910419362 A CN 201910419362A CN 110222594 A CN110222594 A CN 110222594A
- Authority
- CN
- China
- Prior art keywords
- video
- module
- legal
- feature extraction
- pirate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000000605 extraction Methods 0.000 claims abstract description 81
- 238000004458 analytical method Methods 0.000 claims abstract description 17
- 238000002790 cross-validation Methods 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 28
- 239000000284 extract Substances 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 11
- 230000009467 reduction Effects 0.000 claims description 10
- 238000005520 cutting process Methods 0.000 claims description 9
- 238000011946 reduction process Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 239000013598 vector Substances 0.000 description 29
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012163 sequencing technique Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/73—Querying
- G06F16/732—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Abstract
本发明公开了一种盗版视频识别方法及系统，其中，所述方法包括：对待识别视频进行结构化分析，获取第一视频流；对第一视频流的时间变量运动轨迹进行特征提取；将第一视频流拆分为多个第一关键帧；分别对多个第一关键帧的颜色、形状和纹理进行特征提取；根据提取的特征进行计算，得到待识别视频的视频指纹；根据待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频。与现有技术相比，本发明能够提高盗版视频与正版视频比对结果的精度和准确性。
Description
技术领域
本发明涉及一种盗版视频识别方法及系统，属于视频检索和比对技术领域。
背景技术
盗版的片源来自正版资源，主要种类大致可以分为电影院上映的银幕视频、光盘视频以及TV播送的节目，其中，利用各种隐秘设备进行偷录，可以将银幕视频变为盗版视频。盗版视频并非都是连续性的，可能只是正版视频中某一段或某几段视频，甚至可能仅仅是2到3秒的侵权画面，因此导致正版视频和盗版视频图像发生相似性的视频时间是不一致的，这对正版视频与盗版视频的比对提出了难题，当前的视频比对技术在针对这类盗版视频比对时，往往会无法准确识别出盗版视频。
另外，利用手机、DV等具有摄像功能的设备在暗光环境下拍摄，以及由于摄像者并非专业摄像师而导致拍摄摆放不规范、不平稳、易抖动，进而出现曝光严重、色彩失真、噪点、拍摄角度不正、遮挡、画面发生形变以及将幕布、墙壁等荧幕以外的周围环境拍摄进来等一系列问题，因此在对这类盗录视频与正版视频进行比对分析时，往往会因为上述问题而导致比对结果的精度和准确性不高，无法识别出盗版视频，无法满足现实场景。
发明内容
本发明的目的在于，提供一种盗版视频识别方法及系统，可以至少解决上述技术问题之一。
为解决上述技术问题，本发明采用如下的技术方案：
一种盗版视频识别方法，包括以下步骤：步骤S1，对待识别视频进行结构化分析，获取第一视频流；步骤S2，对所述第一视频流的时间变量运动轨迹进行特征提取；步骤S3，将所述第一视频流拆分为多个第一关键帧；步骤S4，分别对所述多个第一关键帧的颜色、形状和纹理进行特征提取；步骤S5，根据所述步骤S2和所述步骤S4提取的特征进行计算，得到所述待识别视频的视频指纹；步骤S6，根据所述待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；步骤S7，根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频。
前述的盗版视频识别方法中，在所述步骤S1之前，还包括：步骤S8，对待识别视频的图像进行矫正；步骤S9，通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；步骤S10，根据所述荧幕位置对矫正后的视频图像进行裁切；步骤S11，对裁切后的视频图像进行降噪处理。
前述的盗版视频识别方法中，所述步骤S8具体包括：步骤S81，采用Hough变换在所述待识别视频的图像中生成多条直线，所述多条直线中的任意一条与竖直方向的直线形成的夹角角度均小于30度；步骤S82，计算所述多条直线与竖直方向的直线形成的夹角角度的平均值；步骤S83，利用所述平均值对视频图像进行旋转；步骤S84，通过损失函数方法来调整图像细节。
前述的盗版视频识别方法中，所述步骤S9具体包括：提取矫正后的视频图像的颜色直方图，通过色彩空间的变化判定出荧幕位置区域，形成一个矩形位置，通过矩形的四个坐标点确认视频图像边缘。
前述的盗版视频识别方法中，所述步骤S10具体包括：步骤S101，采用mask边缘分割算法区分荧幕与周围环境；步骤S102，利用GrabCut算法增强荧幕和周围环境的对比度；步骤S103，将图像像素作为bounding box，实现视频图像的分割。
前述的盗版视频识别方法中，所述步骤S11具体包括：步骤S111，检索与当前帧像素块相近的降噪处理后的前一帧的参考像素块，匹配速度块，获得视频图像运动向量，评估视频图像的运动轨迹；步骤S112，设置参考像素块与当前帧像素块的残差阀值RS1以及参考像素块与当前帧像素块的运动向量的阀值RS2；若每一个像素点的残差值均小于RS1，且运动向量值均小于RS2，则判定当前帧像素块为背景，使用2D滤波或3D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均小于RS1，且运动向量值均大于RS2，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均大于RS1，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；步骤S113，根据滤波处理后的水平和垂直方向的相邻像素矩阵的差值生成一梯度性矩阵，比较两个向量的梯度大小，若梯度大于预设的阀值，则根据数值较大的一个方向来计算该像素点的像素结果值，其计算公式为V＝((a+3*px+3*c+d*2)/10+e/6)/2。
前述的盗版视频识别方法中，在所述步骤S6之前，还包括：步骤S12，获取多个正版视频；步骤S13，对所述多个正版视频进行结构化分析，获取第二视频流；步骤S14，对所述第二视频流的时间变量运动轨迹进行特征提取；步骤S15，将所述第二视频流拆分为多个第二关键帧；步骤S16，分别对所述多个第二关键帧的颜色、形状和纹理进行特征提取；步骤S17，根据所述步骤S14和所述步骤S16提取的特征进行计算，得到所述正版视频的视频指纹；步骤S18，根据所述正版视频的视频指纹创建索引，并生成所述正版视频特征序列索引文件进行存储。
前述的盗版视频识别方法中，所述步骤S7中利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频具体包括：若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。
前述的盗版视频识别方法中，在所述步骤S5之前，还包括：步骤S19，对所述步骤S2和所述步骤S4提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。
一种盗版视频识别系统，包括：第一视频流获取模块，用于对待识别视频进行结构化分析，获取第一视频流；第一特征提取模块，与所述第一视频流获取模块连接，用于对所述第一视频流的时间变量运动轨迹进行特征提取；第一关键帧拆分模块，与所述第一视频流获取模块连接，用于将所述第一视频流拆分为多个第一关键帧；第二特征提取模块，与所述第一关键帧拆分模块连接，用于分别对所述多个第一关键帧的颜色、形状和纹理进行特征提取；第一视频指纹计算模块，分别与所述第一特征提取模块和所述第二特征提取模块连接，根据所述第一特征提取模块和所述第二特征提取模块提取的特征进行计算，得到所述待识别视频的视频指纹；正版视频定位模块，与所述第一视频指纹计算模块连接，用于根据所述待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；相似度判定模块，与所述正版视频定位模块连接，用于根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频。
前述的盗版视频识别系统中，还包括：图像矫正模块，用于对待识别视频的图像进行矫正；位置提取模块，与所述图像矫正模块连接，用于通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；裁切模块，与所述位置提取模块连接，用于根据所述荧幕位置对矫正后的视频图像进行裁切；降噪模块，分别与所述裁切模块和所述第一视频流获取模块连接，用于对裁切后的视频图像进行降噪处理。
前述的盗版视频识别系统中，所述图像矫正模块包括：Hough变换模块，用于采用Hough变换在所述待识别视频的图像中生成多条直线，所述多条直线中的任意一条与竖直方向的直线形成的夹角角度均小于30度；计算模块，与Hough变换模块连接，用于计算所述多条直线与竖直方向的直线形成的夹角角度的平均值；旋转模块，与所述计算模块连接，用于利用所述平均值对视频图像进行旋转；损失函数模块，与所述旋转模块连接，通过损失函数方法来调整图像细节。
前述的盗版视频识别系统中，所述位置提取模块，具体用于提取矫正后的视频图像的颜色直方图，通过色彩空间的变化判定出荧幕位置区域，形成一个矩形位置，通过矩形的四个坐标点确认视频图像边缘。
前述的盗版视频识别系统中，所述裁切模块包括：mask边缘模块，用于采用mask边缘分割算法区分荧幕与周围环境；对比度增强模块，与所述mask边缘模块连接，用于利用GrabCut算法增强荧幕和周围环境的对比度；分割模块，与所述对比度增强模块连接，用于将图像像素作为bounding box，实现视频图像的分割。
前述的盗版视频识别系统中，所述降噪模块包括：运动轨迹评估模块，用于检索与当前帧像素块相近的降噪处理后的前一帧的参考像素块，匹配速度块，获得视频图像运动向量，评估视频图像的运动轨迹；滤波判断模块，与所述运动轨迹评估模块连接，用于设置参考像素块与当前帧像素块的残差阀值RS1以及参考像素块与当前帧像素块的运动向量的阀值RS2；若每一个像素点的残差值均小于RS1，且运动向量值均小于RS2，则判定当前帧像素块为背景，使用2D滤波或3D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均小于RS1，且运动向量值均大于RS2，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均大于RS1，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；梯度计算模块，与所述滤波判断模块连接，用于根据滤波处理后的水平和垂直方向的相邻像素矩阵的差值生成一梯度性矩阵，比较两个向量的梯度大小，若梯度大于预设的阀值，则根据数值较大的一个方向来计算该像素点的像素结果值，其计算公式为V＝((a+3*px+3*c+d*2)/10+e/6)/2。
前述的盗版视频识别系统中，还包括：正版视频获取模块，用于获取多个正版视频；第二视频流获取模块，与所述正版视频获取模块连接，用于对所述多个正版视频进行结构化分析，获取第二视频流；第三特征提取模块，与所述第二视频流获取模块连接，用于对所述第二视频流的时间变量运动轨迹进行特征提取；第二关键帧拆分模块，与所述第二视频流获取模块连接，用于将所述第二视频流拆分为多个第二关键帧；第四特征提取模块，与所述第二关键帧拆分模块连接，用于分别对所述多个第二关键帧的颜色、形状和纹理进行特征提取；第二视频指纹计算模块，分别与所述第三特征提取模块和所述第四特征提取模块连接，用于根据所述第三特征提取模块和所述第四特征提取模块提取的特征进行计算，得到所述正版视频的视频指纹；索引创建模块，分别与所述第二视频指纹计算模块和所述正版视频定位模块连接，用于根据所述正版视频的视频指纹创建索引，并生成所述正版视频特征序列索引文件进行存储。
前述的盗版视频识别系统中，所述相似度判定模块，具体用于若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。
前述的盗版视频识别系统中，还包括：高斯聚类模块，分别与所述第一特征提取模块、所述第二特征提取模块和所述第一视频指纹计算模块连接，用于对所述第一特征提取模块和所述第二特征提取模块提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。
与现有技术相比，本发明对静态视频图像的颜色、形状、纹理提取特征，保留了图像颜色、形状、纹理相关性，在视频比对中，帧图像相似性取决于颜色和形状是否能够达到相似度值的指标方可判定二者相同；而时间变量运动轨迹是为了辅助比对过程中，每一个帧图像的关联性从而使得可以把结果串联起来，因此，可以更准确地对盗版视频进行识别，提高视频比对的精度和准确性。特别是对于曝光、噪点、暗光环境拍摄的侵权视频与正版视频进行对比，本发明有着更高的识别率，能够提高正版视频与侵权视频识别率、低误报率，得以解决现有的正版视频的维权事宜，减轻工作人员的负担。
附图说明
图1至图7为本发明实施例一提供的方法的流程图；
图8至图14为本发明实施例二提供的系统的结构示意图；
图15为本发明实施例的视频结构化分层示意图。
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
本发明实施例一：
本实施例提供一种盗版视频识别方法，如图1所示，主要包括以下步骤：
步骤S1，对待识别视频进行结构化分析，获取第一视频流；
步骤S2，对第一视频流的时间变量运动轨迹进行特征提取；
步骤S3，将第一视频流拆分为多个第一关键帧；
步骤S4，分别对多个第一关键帧的颜色、形状和纹理进行特征提取；
步骤S5，根据步骤S2和步骤S4提取的特征进行计算，得到待识别视频的视频指纹；
步骤S6，根据待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；
步骤S7，根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定待识别视频是否为盗版视频。
本实施例中，步骤S2与步骤S3的执行没有先后顺序，只要均在步骤S1执行之后进行即可。
对于在曝光、噪点、暗光等环境拍摄的盗录视频这类盗版视频，在对其进行视频比对前，需要对盗版视频进行预处理，因此，作为本实施例的一种可选实施方式，如图2所示，在步骤S1之前，还包括：
步骤S8，对待识别视频的图像进行矫正；
步骤S9，通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；
步骤S10，根据荧幕位置对矫正后的视频图像进行裁切；
步骤S11，对裁切后的视频图像进行降噪处理。
在本可选实施方式中，可选的，如图3所示，步骤S8具体包括：
步骤S81，采用Hough变换在待识别视频的图像中生成多条直线，多条直线中的任意一条与竖直方向的直线形成的夹角角度均小于30度；
步骤S82，计算多条直线与竖直方向的直线形成的夹角角度的平均值；
步骤S83，利用平均值对视频图像进行旋转；
步骤S84，通过损失函数方法来调整图像细节，其中，图像细节指的是图像中像素点，在固定图像矩阵中，像素越多则表现图像越清晰，色彩饱和度越高，通过损失函数来对图像中的像素点数量进行调节。
通过步骤S81至S84，可以实现对视频图像角度的校正，可以解决因拍摄不规范导致的视频拍摄角度不正的问题。
盗录视频拍摄过程中会将幕布旁边的墙壁都拍摄进来，会干扰视频对比，因此，需要通过提取视频感兴趣的位置区域从而判定出哪些区域是荧幕，哪些区域是墙壁、桌子等荧幕以外的区域。步骤S9中，利用深度学习算法提取盗录视频中“感兴趣的位置”，感兴趣的位置具体是指画面中颜色变换丰富区域，也就是荧幕区域。因此，在本可选实施方式中，可选的，步骤S9具体包括：提取矫正后的视频图像的颜色直方图，通过色彩空间的变化判定出荧幕位置区域，形成一个矩形位置，通过矩形的四个坐标点确认视频图像边缘。
在本可选实施方式中，可选的，如图4所示，步骤S10具体包括：
步骤S101，采用mask边缘分割算法区分荧幕与周围环境，周围环境是指拍摄画面中除荧幕以外的区域，例如墙壁等；
步骤S102，利用GrabCut算法增强荧幕和周围环境的对比度；
步骤S103，将图像像素作为bounding box，实现视频图像的分割。
通过步骤S101至S103，可以调整图像白平衡，降低曝光度，对像素进行重新排列获得真彩视频。
在本可选实施方式中，可选的，如图5所示，步骤S11具体包括：
步骤S111，参照视频帧连续性，检索与当前帧像素块(16*16)相近的降噪处理后的前一帧的参考像素块，匹配速度块，获得视频图像运动向量，评估视频图像的运动轨迹，为了减少计算量，可把当前帧像素块作为小范围内检索，如20*20，对此本实施例不做具体限定；
步骤S112，设置参考像素块与当前帧像素块的残差阀值RS1以及参考像素块与当前帧像素块的运动向量的阀值RS2；若每一个像素点的残差值均小于RS1，且运动向量值均小于RS2，则判定当前帧像素块为背景，使用2D滤波或3D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均小于RS1，且运动向量值均大于RS2，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均大于RS1，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；
步骤S112中，参考像素块与当前帧像素块的残差阀值RS1通常会设置在5～20，运动向量的阀值RS2可以控制在[+1,+3]或[-3,-1]，阀值可根据实际情况进行调整，对此本实施例不做具体限定。
步骤S113，根据滤波处理后的水平和垂直方向的相邻像素矩阵的差值生成一梯度性矩阵，比较两个向量的梯度大小，若梯度大于预设的阀值，则根据数值较大的一个方向来计算该像素点的像素结果值，其计算公式为V＝((a+3*px+3*c+d*2)/10+e/6)/2，式中，a表示通道数值，Px表示像素，c表示宽度，d表示高度，e表示斜率。这里的阀值要根据实际应用场景来设置，按照普通场景预设的阀值0.75作为参考，对此本实施例不做具体限定。
在本可选实施方式中，对于视频图像中常常使用2D降噪方法，如静止不变的部分就是视频中的背景，使用3D降噪的方法主要考虑到荧屏中运动物体，防止发生模糊。通过降噪处理能够得到清晰的画面，提高比对精准度。
在对盗录视频与正版视频进行比对之前，先对视频图像角度进行校正，利用深度学习算法提取盗录视频中“感兴趣的位置”(也就是盗录视频荧幕)，裁切掉多余黑色部分降低图像干扰，对视频图像降噪，使用分辨率创建算法提高图像质量，调整图像白平衡，降低曝光度，对像素进行重新排列获得真彩视频；经过预处理之后的盗录视频用于与正版视频的比对过程，可以获得较高的比对和配对结果，提高了盗录视频与正版视频比对的精度和准确性，不会对盗录视频进行误判。
在视频比对前夕需要获取大量的正版视频建库，构建正版视频的特征数据库，通过创建索引的方式，可以快速查找到相近的视频片段进行比较。在视频分析的过程中，通过动态变量运动特征和静态关联图像关键帧，对视频检索比对有着连续性产考指标。
因此，作为本实施例的一种可选实施方式，如图6所示，在步骤S6之前，还包括：
步骤S12，获取多个正版视频；
步骤S13，对多个正版视频进行结构化分析，获取第二视频流；
步骤S14，对第二视频流的时间变量运动轨迹进行特征提取；
步骤S15，将第二视频流拆分为多个第二关键帧；
步骤S16，分别对多个第二关键帧的颜色、形状和纹理进行特征提取；
步骤S17，根据步骤S14和步骤S16提取的特征进行计算，得到正版视频的视频指纹；
步骤S18，根据正版视频的视频指纹创建索引，并生成正版视频特征序列索引文件进行存储。
在本可选实施方式中，步骤S14与步骤S15的执行没有先后顺序，只要均在步骤S13执行之后进行即可。
本实施例中，视频指纹指的是视频中的每一帧影像通过hash换算获得一个128位长度的唯一图像标记所形成的集合，是整个视频里所有关键帧的hash值。视频指纹主要作用是视频文件压缩信息，是唯一不可重复的，通过视频指纹作为索引能够快速定位视频帧图像在视频中具体位置。
本实施例中，当盗版视频指纹直接通过正版视频指纹索引就可以快速定位相近的正版视频，视频索引使用的是哈希索引，通过精准匹配所有列向查询才有效，通过把正版视频的帧图像哈希码存储在文件中，必将哈希码定位标记指针进行维护，对于相同的哈希码来说，采用数据结构链表的方式解决冲突，使得索引结构十分紧密，并且哈希码索引查询的速度比较快。
本实施例中，颜色、形状提取特征以128位数值记录，是为了保留图像颜色、形状相关性，在视频比对中帧图像相似性取决于颜色和形状是否能够到到达相似度值的指标；时间变量运动轨迹是为了辅助比对过程中，从而每一个帧图像的关联性可以把结果串联起来。
本实施例中，汉明距离通常是用来计算两个向量的相似度，比较两个向量中的每一位数是否相同，如果不同则汉明距离加一，则可以得到两个向量相似度越高，说明两个向量计算结果越小。余弦相似度是通过两个向量之间夹角产生的余弦值，两个向量夹角度数越小，余弦值越趋近于1。为了校验比对结果交叉校验，只有两个算法通过了相似度预设阀值就判定两个视频中发现相似的图片。
作为本实施例的一种可选实施方式，步骤S7中利用汉明距离和余弦相似度之间的交叉验证来判定待识别视频是否为盗版视频具体包括：若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。在本可选实施方式中，预设阀值根据场景设置，普通场景可以设置在0.7，对此本实施例不做具体限定。
作为本实施例的一种可选实施方式，如图7所示，在步骤S5之前，还包括：
步骤S19，对步骤S2和步骤S4提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。高斯聚类是k-means中的一种聚类方法，通过高斯聚类可以验证概率准确评测视帧视频影像的精度方法，在提取视频帧图片特征码前夕，如果使用高斯聚类方法颜色色块分布趋于相近或者是大部分存在黑色区域，就过滤不符合要求的帧视频图像，不提取该帧视频图像的视频指纹，因为以上情况很大干扰后续的正版视频与盗版视频比对结果，把一些影响比对结果的情况剔除，可以提高后续的比对结果。
在本实施例中，如图15所示，对正版视频和盗版视频结构化分层具体如下：
视频内容出现的场景个数和持续时间；镜头属性包含关键帧的数量、关键帧起始位置、关键帧结束位置、持续的时间；场景内容属性包含镜头内容起始到镜头内容结束、持续的时间、镜头个数；帧的属性有分量图、轮廓图、直方图。结构化分析的过程：对视频序列中分割内容相关联场景和镜头，在场景和镜头中提取关键帧。
在本实施例中，可以通过以上的视频结构化分析，通过镜头中形成图像关键帧，对可用图像进行检索。关键帧图像通常反映具体场景和时间、数量少。通过帧平均法与直方图平均法，能在一定程度上得到视频内容，运算量也不会太大，尽可能的获取到视频重要信息。
本实施例对静态视频图像的颜色、形状、纹理提取特征，保留了图像颜色、形状、纹理相关性，在视频比对中，帧图像相似性取决于颜色和形状是否能够达到相似度值的指标方可判定二者相同；而时间变量运动轨迹是为了辅助比对过程中，每一个帧图像的关联性从而使得可以把结果串联起来，因此，可以更准确地对盗版视频进行识别，提高视频比对的精度和准确性。
本发明实施例二：
本实施例提供一种盗版视频识别系统，如图8所示，主要包括：第一视频流获取模块30，用于对待识别视频进行结构化分析，获取第一视频流；第一特征提取模块31，与第一视频流获取模块30连接，用于对第一视频流的时间变量运动轨迹进行特征提取；第一关键帧拆分模块32，与第一视频流获取模块30连接，用于将第一视频流拆分为多个第一关键帧；第二特征提取模块33，与第一关键帧拆分模块32连接，用于分别对多个第一关键帧的颜色、形状和纹理进行特征提取；第一视频指纹计算模块34，分别与第一特征提取模块31和第二特征提取模块33连接，根据第一特征提取模块31和第二特征提取模块33提取的特征进行计算，得到待识别视频的视频指纹；正版视频定位模块35，与第一视频指纹计算模块34连接，用于根据待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；相似度判定模块36，与正版视频定位模块35连接，用于根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定待识别视频是否为盗版视频。
对于在曝光、噪点、暗光等环境拍摄的盗录视频这类盗版视频，在对其进行视频比对前，需要对盗版视频进行预处理，因此，作为本实施例的一种可选实施方式，如图9所示，还包括：图像矫正模块37，用于对待识别视频的图像进行矫正；位置提取模块38，与图像矫正模块37连接，用于通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；裁切模块39，与位置提取模块38连接，用于根据荧幕位置对矫正后的视频图像进行裁切；降噪模块40，分别与裁切模块39和第一视频流获取模块30连接，用于对裁切后的视频图像进行降噪处理。通过图像矫正模块37可以实现对视频图像角度的校正，可以解决因拍摄不规范导致的视频拍摄角度不正的问题。
在本可选实施方式中，可选的，如图10所示，图像矫正模块37包括：Hough变换模块370，用于采用Hough变换在待识别视频的图像中生成多条直线，多条直线中的任意一条与竖直方向的直线形成的夹角角度均小于30度；平均值计算模块371，与Hough变换模块370连接，用于计算多条直线与竖直方向的直线形成的夹角角度的平均值；旋转模块372，与平均值计算模块371连接，用于利用平均值对视频图像进行旋转；损失函数模块373，与旋转模块372连接，通过损失函数方法来调整图像细节，其中，图像细节指的是图像中像素点，在固定图像矩阵中，像素越多则表现图像越清晰，色彩饱和度越高，通过损失函数来对图像中的像素点数量进行调节。
盗录视频拍摄过程中会将幕布旁边的墙壁都拍摄进来，会干扰视频对比，因此，需要通过提取视频感兴趣的位置区域从而判定出哪些区域是荧幕，哪些区域是墙壁、桌子等荧幕以外的区域。位置提取模块38利用深度学习算法提取盗录视频中“感兴趣的位置”，感兴趣的位置具体是指画面中颜色变换丰富区域，也就是荧幕区域。因此，在本可选实施方式中，可选的，位置提取模块38，具体用于提取矫正后的视频图像的颜色直方图，通过色彩空间的变化判定出荧幕位置区域，形成一个矩形位置，通过矩形的四个坐标点确认视频图像边缘。
在本可选实施方式中，可选的，如图11所示，裁切模块39包括：mask边缘模块390，用于采用mask边缘分割算法区分荧幕与周围环境，周围环境是指拍摄画面中除荧幕以外的区域，例如墙壁等；对比度增强模块391，与mask边缘模块390连接，用于利用GrabCut算法增强荧幕和周围环境的对比度；分割模块392，与对比度增强模块391连接，用于将图像像素作为bounding box，实现视频图像的分割。通过裁切模块39可以调整图像白平衡，降低曝光度，对像素进行重新排列获得真彩视频。
在本可选实施方式中，可选的，如图12所示，降噪模块40包括：运动轨迹评估模块400，用于参照视频帧连续性，检索与当前帧像素块(16*16)相近的降噪处理后的前一帧的参考像素块，匹配速度块，获得视频图像运动向量，评估视频图像的运动轨迹，为了减少计算量，可把当前帧像素块作为小范围内检索，如20*20，对此本实施例不做具体限定；滤波判断模块401，与运动轨迹评估模块400连接，用于设置参考像素块与当前帧像素块的残差阀值RS1以及参考像素块与当前帧像素块的运动向量的阀值RS2；若每一个像素点的残差值均小于RS1，且运动向量值均小于RS2，则判定当前帧像素块为背景，使用2D滤波或3D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均小于RS1，且运动向量值均大于RS2，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；若每一个像素点的残差值均大于RS1，则判定当前帧像素块不是背景，只能使用2D滤波对当前帧像素块进行滤波；梯度计算模块402，与滤波判断模块401连接，用于根据滤波处理后的水平和垂直方向的相邻像素矩阵的差值生成一梯度性矩阵，比较两个向量的梯度大小，若梯度大于预设的阀值，则根据数值较大的一个方向来计算该像素点的像素结果值，其计算公式为V＝((a+3*px+3*c+d*2)/10+e/6)/2，式中，a表示通道数值，Px表示像素，c表示宽度，d表示高度，e表示斜率。这里的阀值要根据实际应用场景来设置，按照普通场景预设的阀值0.75作为参考，对此本实施例不做具体限定。
在本可选实施方式中，参考像素块与当前帧像素块的残差阀值RS1通常会设置在5～20，运动向量的阀值RS2可以控制在[+1,+3]或[-3,-1]，阀值可根据实际情况进行调整，对此本实施例不做具体限定。对于视频图像中常常使用2D降噪方法，如静止不变的部分就是视频中的背景，使用3D降噪的方法主要考虑到荧屏中运动物体，防止发生模糊。通过降噪模块40能够得到清晰的画面，提高比对精准度。
在对盗录视频与正版视频进行比对之前，先对视频图像角度进行校正，利用深度学习算法提取盗录视频中“感兴趣的位置”(也就是盗录视频荧幕)，裁切掉多余黑色部分降低图像干扰，对视频图像降噪，使用分辨率创建算法提高图像质量，调整图像白平衡，降低曝光度，对像素进行重新排列获得真彩视频；经过预处理之后的盗录视频用于与正版视频的比对过程，可以获得较高的比对和配对结果，提高了盗录视频与正版视频比对的精度和准确性，不会对盗录视频进行误判。
在视频比对前夕需要获取大量的正版视频建库，构建正版视频的特征数据库，通过创建索引的方式，可以快速查找到相近的视频片段进行比较。在视频分析的过程中，通过动态变量运动特征和静态关联图像关键帧，对视频检索比对有着连续性产考指标。
因此，作为本实施例的一种可选实施方式，如图13所示，还包括：正版视频获取模块41，用于获取多个正版视频；第二视频流获取模块42，与正版视频获取模块41连接，用于对多个正版视频进行结构化分析，获取第二视频流；第三特征提取模块43，与第二视频流获取模块42连接，用于对第二视频流的时间变量运动轨迹进行特征提取；第二关键帧拆分模块44，与第二视频流获取模块42连接，用于将第二视频流拆分为多个第二关键帧；第四特征提取模块45，与第二关键帧拆分模块44连接，用于分别对多个第二关键帧的颜色、形状和纹理进行特征提取；第二视频指纹计算模块46，分别与第三特征提取模块43和第四特征提取模块45连接，用于根据第三特征提取模块43和第四特征提取模块45提取的特征进行计算，得到正版视频的视频指纹；索引创建模块47，分别与第二视频指纹计算模块46和正版视频定位模块35连接，用于根据正版视频的视频指纹创建索引，并生成正版视频特征序列索引文件进行存储。
本实施例中，视频指纹指的是视频中的每一帧影像通过hash换算获得一个128位长度的唯一图像标记所形成的集合，是整个视频里所有关键帧的hash值。视频指纹主要作用是视频文件压缩信息，是唯一不可重复的，通过视频指纹作为索引能够快速定位视频帧图像在视频中具体位置。
本实施例中，当盗版视频指纹直接通过正版视频指纹索引就可以快速定位相近的正版视频，视频索引使用的是哈希索引，通过精准匹配所有列向查询才有效，通过把正版视频的帧图像哈希码存储在文件中，必将哈希码定位标记指针进行维护，对于相同的哈希码来说，采用数据结构链表的方式解决冲突，使得索引结构十分紧密，并且哈希码索引查询的速度比较快。
本实施例中，颜色、形状提取特征以128位数值记录，是为了保留图像颜色、形状相关性，在视频比对中帧图像相似性取决于颜色和形状是否能够到到达相似度值的指标；时间变量运动轨迹是为了辅助比对过程中，从而每一个帧图像的关联性可以把结果串联起来。
本实施例中，汉明距离通常是用来计算两个向量的相似度，比较两个向量中的每一位数是否相同，如果不同则汉明距离加一，则可以得到两个向量相似度越高，说明两个向量计算结果越小。余弦相似度是通过两个向量之间夹角产生的余弦值，两个向量夹角度数越小，余弦值越趋近于1。为了校验比对结果交叉校验，只有两个算法通过了相似度预设阀值就判定两个视频中发现相似的图片。
作为本实施例的一种可选实施方式，相似度判定模块36，具体用于若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。在本可选实施方式中，预设阀值根据场景设置，普通场景可以设置在0.7，对此本实施例不做具体限定。
作为本实施例的一种可选实施方式，如图14所示，还包括：高斯聚类模块48，分别与第一特征提取模块31、第二特征提取模块33和第一视频指纹计算模块34连接，用于对第一特征提取模块31和第二特征提取模块33提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。高斯聚类是k-means中的一种聚类方法，通过高斯聚类可以验证概率准确评测视帧视频影像的精度方法，在提取视频帧图片特征码前夕，如果使用高斯聚类方法颜色色块分布趋于相近或者是大部分存在黑色区域，就过滤不符合要求的帧视频图像，不提取该帧视频图像的视频指纹，因为以上情况很大干扰后续的正版视频与盗版视频比对结果，把一些影响比对结果的情况剔除，可以提高后续的比对结果。
在本实施例中，如图15所示，对正版视频和盗版视频结构化分层具体如下：
视频内容出现的场景个数和持续时间；镜头属性包含关键帧的数量、关键帧起始位置、关键帧结束位置、持续的时间；场景内容属性包含镜头内容起始到镜头内容结束、持续的时间、镜头个数；帧的属性有分量图、轮廓图、直方图。结构化分析的过程：对视频序列中分割内容相关联场景和镜头，在场景和镜头中提取关键帧。
在本实施例中，可以通过以上的视频结构化分析，通过镜头中形成图像关键帧，对可用图像进行检索。关键帧图像通常反映具体场景和时间、数量少。通过帧平均法与直方图平均法，能在一定程度上得到视频内容，运算量也不会太大，尽可能的获取到视频重要信息。
本实施例对静态视频图像的颜色、形状、纹理提取特征，保留了图像颜色、形状、纹理相关性，在视频比对中，帧图像相似性取决于颜色和形状是否能够达到相似度值的指标方可判定二者相同；而时间变量运动轨迹是为了辅助比对过程中，每一个帧图像的关联性从而使得可以把结果串联起来，因此，可以更准确地对盗版视频进行识别，提高视频比对的精度和准确性。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的创造性精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种盗版视频识别方法，其特征在于，包括以下步骤：
步骤S1，对待识别视频进行结构化分析，获取第一视频流；
步骤S2，对所述第一视频流的时间变量运动轨迹进行特征提取；
步骤S3，将所述第一视频流拆分为多个第一关键帧；
步骤S4，分别对所述多个第一关键帧的颜色、形状和纹理进行特征提取；
步骤S5，根据所述步骤S2和所述步骤S4提取的特征进行计算，得到所述待识别视频的视频指纹；
步骤S6，根据所述待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；
步骤S7，根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频。
2.根据权利要求1所述的盗版视频识别方法，其特征在于，在所述步骤S1之前，还包括：
步骤S8，对待识别视频的图像进行矫正；
步骤S9，通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；
步骤S10，根据所述荧幕位置对矫正后的视频图像进行裁切；
步骤S11，对裁切后的视频图像进行降噪处理。
3.根据权利要求1或2所述的盗版视频识别方法，其特征在于，在所述步骤S6之前，还包括：
步骤S12，获取多个正版视频；
步骤S13，对所述多个正版视频进行结构化分析，获取第二视频流；
步骤S14，对所述第二视频流的时间变量运动轨迹进行特征提取；
步骤S15，将所述第二视频流拆分为多个第二关键帧；
步骤S16，分别对所述多个第二关键帧的颜色、形状和纹理进行特征提取；
步骤S17，根据所述步骤S14和所述步骤S16提取的特征进行计算，得到所述正版视频的视频指纹；
步骤S18，根据所述正版视频的视频指纹创建索引，并生成所述正版视频特征序列索引文件进行存储。
4.根据权利要求1至3任一项所述的盗版视频识别方法，其特征在于，所述步骤S7中利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频具体包括：
若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；
若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；
若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。
5.根据权利要求1至4任一项所述的盗版视频识别方法，其特征在于，在所述步骤S5之前，还包括：
步骤S19，对所述步骤S2和所述步骤S4提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。
6.一种盗版视频识别系统，其特征在于，包括：
第一视频流获取模块，用于对待识别视频进行结构化分析，获取第一视频流；
第一特征提取模块，与所述第一视频流获取模块连接，用于对所述第一视频流的时间变量运动轨迹进行特征提取；
第一关键帧拆分模块，与所述第一视频流获取模块连接，用于将所述第一视频流拆分为多个第一关键帧；
第二特征提取模块，与所述第一关键帧拆分模块连接，用于分别对所述多个第一关键帧的颜色、形状和纹理进行特征提取；
第一视频指纹计算模块，分别与所述第一特征提取模块和所述第二特征提取模块连接，根据所述第一特征提取模块和所述第二特征提取模块提取的特征进行计算，得到所述待识别视频的视频指纹；
正版视频定位模块，与所述第一视频指纹计算模块连接，用于根据所述待识别视频的视频指纹以及正版视频特征序列索引文件定位相似的正版视频；
相似度判定模块，与所述正版视频定位模块连接，用于根据视频指纹分别计算汉明距离和余弦相似度，并利用汉明距离和余弦相似度之间的交叉验证来判定所述待识别视频是否为盗版视频。
7.根据权利要求6所述的盗版视频识别系统，其特征在于，还包括：
图像矫正模块，用于对待识别视频的图像进行矫正；
位置提取模块，与所述图像矫正模块连接，用于通过提取矫正后的视频感兴趣的位置区域来判定荧幕的位置；
裁切模块，与所述位置提取模块连接，用于根据所述荧幕位置对矫正后的视频图像进行裁切；
降噪模块，分别与所述裁切模块和所述第一视频流获取模块连接，用于对裁切后的视频图像进行降噪处理。
8.根据权利要求6或7所述的盗版视频识别系统，其特征在于，还包括：
正版视频获取模块，用于获取多个正版视频；
第二视频流获取模块，与所述正版视频获取模块连接，用于对所述多个正版视频进行结构化分析，获取第二视频流；
第三特征提取模块，与所述第二视频流获取模块连接，用于对所述第二视频流的时间变量运动轨迹进行特征提取；
第二关键帧拆分模块，与所述第二视频流获取模块连接，用于将所述第二视频流拆分为多个第二关键帧；
第四特征提取模块，与所述第二关键帧拆分模块连接，用于分别对所述多个第二关键帧的颜色、形状和纹理进行特征提取；
第二视频指纹计算模块，分别与所述第三特征提取模块和所述第四特征提取模块连接，用于根据所述第三特征提取模块和所述第四特征提取模块提取的特征进行计算，得到所述正版视频的视频指纹；
索引创建模块，分别与所述第二视频指纹计算模块和所述正版视频定位模块连接，用于根据所述正版视频的视频指纹创建索引，并生成所述正版视频特征序列索引文件进行存储。
9.根据权利要求6至8任一项所述的盗版视频识别系统，其特征在于，所述相似度判定模块，具体用于若汉明距离和余弦相似度均大于预设阀值且二者的差值不小于10，则取平均值，若平均值在阀值区间[+2,-2]，则判定所述待识别视频为盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值小于5，则判定所述待识别视频不是盗版视频；若汉明距离大于预设阀值，余弦相似度小于预设阀值，且二者的差值大于5，则判定所述待识别视频为盗版视频。
10.根据权利要求6至9任一项所述的盗版视频识别系统，其特征在于，还包括：
高斯聚类模块，分别与所述第一特征提取模块、所述第二特征提取模块和所述第一视频指纹计算模块连接，用于对所述第一特征提取模块和所述第二特征提取模块提取的特征进行高斯混合聚类，并根据聚类结果过滤不满足要求的帧视频图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910419362.7A CN110222594B (zh) | 2019-05-20 | 2019-05-20 | 盗版视频识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910419362.7A CN110222594B (zh) | 2019-05-20 | 2019-05-20 | 盗版视频识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110222594A true CN110222594A (zh) | 2019-09-10 |
| CN110222594B CN110222594B (zh) | 2021-11-16 |
Family
ID=67821392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910419362.7A Active CN110222594B (zh) | 2019-05-20 | 2019-05-20 | 盗版视频识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110222594B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110737802A (zh) * | 2019-10-15 | 2020-01-31 | 中科智云科技有限公司 | 盗版视频检测方法、装置、电子设备及存储介质 |
| CN111144338A (zh) * | 2019-12-30 | 2020-05-12 | 深圳纹通科技有限公司 | 一种基于特征点拓扑结构的特征匹配算法 |
| CN111640150A (zh) * | 2019-09-20 | 2020-09-08 | 于贵庆 | 视频数据来源解析系统及方法 |
| CN112149744A (zh) * | 2020-09-25 | 2020-12-29 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112381151A (zh) * | 2020-11-17 | 2021-02-19 | 有米科技股份有限公司 | 相似视频的确定方法及装置 |
| CN112528717A (zh) * | 2019-10-12 | 2021-03-19 | 周慧 | 智能化计算机视频内容鉴定平台、方法及存储介质 |
| CN113495969A (zh) * | 2021-09-08 | 2021-10-12 | 腾讯科技（深圳）有限公司 | 数字指纹生成、媒体数据推荐方法、装置和计算机设备 |
| CN113569719A (zh) * | 2021-07-26 | 2021-10-29 | 上海艾策通讯科技股份有限公司 | 视频侵权判定方法、装置、存储介质及电子设备 |
Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021857A (zh) * | 2006-10-20 | 2007-08-22 | 鲍东山 | 基于内容分析的视频搜索系统 |
| CN101593273A (zh) * | 2009-08-13 | 2009-12-02 | 北京邮电大学 | 一种基于模糊综合评价的视频情感内容识别方法 |
| WO2010011344A1 (en) * | 2008-07-23 | 2010-01-28 | Ltu Technologies S.A.S. | Frame based video matching |
| CN103257992A (zh) * | 2013-01-29 | 2013-08-21 | 中国科学技术大学 | 一种相似视频检索的方法及系统 |
| CN103559196A (zh) * | 2013-09-23 | 2014-02-05 | 浙江大学 | 一种基于多核典型相关分析的视频检索方法 |
| CN104239420A (zh) * | 2014-10-20 | 2014-12-24 | 北京畅景立达软件技术有限公司 | 一种基于视频指纹的视频相似度匹配方法 |
| CN104636330A (zh) * | 2013-11-06 | 2015-05-20 | 北京航天长峰科技工业集团有限公司 | 一种基于结构化数据的关联视频快速检索方法 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息系统有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
| CN105554570A (zh) * | 2015-12-31 | 2016-05-04 | 北京奇艺世纪科技有限公司 | 一种版权视频监控方法和装置 |
| CN106231356A (zh) * | 2016-08-17 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 视频的处理方法和装置 |
| CN106484837A (zh) * | 2016-09-30 | 2017-03-08 | 腾讯科技（北京）有限公司 | 相似视频文件的检测方法和装置 |
| CN107948715A (zh) * | 2017-11-28 | 2018-04-20 | 北京潘达互娱科技有限公司 | 网络直播方法和装置 |
| CN108170650A (zh) * | 2016-12-07 | 2018-06-15 | 北京京东尚科信息技术有限公司 | 文本比较方法以及文本比较装置 |
| CN108198202A (zh) * | 2018-01-23 | 2018-06-22 | 北京易智能科技有限公司 | 一种基于光流和神经网络的视频内容检测方法 |
| CN109376744A (zh) * | 2018-10-17 | 2019-02-22 | 中国矿业大学 | 一种surf和orb相结合的图像特征匹配方法及装置 |
-
2019
- 2019-05-20 CN CN201910419362.7A patent/CN110222594B/zh active Active
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101021857A (zh) * | 2006-10-20 | 2007-08-22 | 鲍东山 | 基于内容分析的视频搜索系统 |
| WO2010011344A1 (en) * | 2008-07-23 | 2010-01-28 | Ltu Technologies S.A.S. | Frame based video matching |
| CN101593273A (zh) * | 2009-08-13 | 2009-12-02 | 北京邮电大学 | 一种基于模糊综合评价的视频情感内容识别方法 |
| CN103257992A (zh) * | 2013-01-29 | 2013-08-21 | 中国科学技术大学 | 一种相似视频检索的方法及系统 |
| CN103559196A (zh) * | 2013-09-23 | 2014-02-05 | 浙江大学 | 一种基于多核典型相关分析的视频检索方法 |
| CN104636330A (zh) * | 2013-11-06 | 2015-05-20 | 北京航天长峰科技工业集团有限公司 | 一种基于结构化数据的关联视频快速检索方法 |
| CN104239420A (zh) * | 2014-10-20 | 2014-12-24 | 北京畅景立达软件技术有限公司 | 一种基于视频指纹的视频相似度匹配方法 |
| CN105049875A (zh) * | 2015-07-24 | 2015-11-11 | 上海上大海润信息系统有限公司 | 一种基于混合特征与突变检测的精确关键帧提取方法 |
| CN105554570A (zh) * | 2015-12-31 | 2016-05-04 | 北京奇艺世纪科技有限公司 | 一种版权视频监控方法和装置 |
| CN106231356A (zh) * | 2016-08-17 | 2016-12-14 | 腾讯科技（深圳）有限公司 | 视频的处理方法和装置 |
| CN106484837A (zh) * | 2016-09-30 | 2017-03-08 | 腾讯科技（北京）有限公司 | 相似视频文件的检测方法和装置 |
| CN108170650A (zh) * | 2016-12-07 | 2018-06-15 | 北京京东尚科信息技术有限公司 | 文本比较方法以及文本比较装置 |
| CN107948715A (zh) * | 2017-11-28 | 2018-04-20 | 北京潘达互娱科技有限公司 | 网络直播方法和装置 |
| CN108198202A (zh) * | 2018-01-23 | 2018-06-22 | 北京易智能科技有限公司 | 一种基于光流和神经网络的视频内容检测方法 |
| CN109376744A (zh) * | 2018-10-17 | 2019-02-22 | 中国矿业大学 | 一种surf和orb相结合的图像特征匹配方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| ANINDYE SAKAR ET AL.: "Video Fingerprinting: Features for Duplicate and Similar Video Detection and Query-based Video Retrieval", 《PROCEEDINGS OF SPE-THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 * |
| JIAN LU: "Video fingerprinting for copy identification: from research to industry applications", 《PROCEEDINGS OD SPIE-MEDIA FORENSICS AND SECURITY XI》 * |
| 杨哲 史萍: "基于人脸检测的新闻视频主持人帧识别技术研究", 《广播与电视技术》 * |
| 罗新高: "基于SimHash的海量视频检索研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111640150A (zh) * | 2019-09-20 | 2020-09-08 | 于贵庆 | 视频数据来源解析系统及方法 |
| CN112528717A (zh) * | 2019-10-12 | 2021-03-19 | 周慧 | 智能化计算机视频内容鉴定平台、方法及存储介质 |
| CN110737802A (zh) * | 2019-10-15 | 2020-01-31 | 中科智云科技有限公司 | 盗版视频检测方法、装置、电子设备及存储介质 |
| CN110737802B (zh) * | 2019-10-15 | 2022-06-03 | 中科智云科技有限公司 | 盗版视频检测方法、装置、电子设备及存储介质 |
| CN111144338B (zh) * | 2019-12-30 | 2022-03-22 | 深圳纹通科技有限公司 | 一种基于特征点拓扑结构的特征匹配算法 |
| CN111144338A (zh) * | 2019-12-30 | 2020-05-12 | 深圳纹通科技有限公司 | 一种基于特征点拓扑结构的特征匹配算法 |
| CN112149744A (zh) * | 2020-09-25 | 2020-12-29 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112149744B (zh) * | 2020-09-25 | 2022-09-16 | 浙江数秦科技有限公司 | 一种侵权图片快速识别方法 |
| CN112381151A (zh) * | 2020-11-17 | 2021-02-19 | 有米科技股份有限公司 | 相似视频的确定方法及装置 |
| CN112381151B (zh) * | 2020-11-17 | 2024-03-22 | 有米科技股份有限公司 | 相似视频的确定方法及装置 |
| CN113569719A (zh) * | 2021-07-26 | 2021-10-29 | 上海艾策通讯科技股份有限公司 | 视频侵权判定方法、装置、存储介质及电子设备 |
| CN113569719B (zh) * | 2021-07-26 | 2023-12-29 | 上海艾策通讯科技股份有限公司 | 视频侵权判定方法、装置、存储介质及电子设备 |
| CN113495969A (zh) * | 2021-09-08 | 2021-10-12 | 腾讯科技（深圳）有限公司 | 数字指纹生成、媒体数据推荐方法、装置和计算机设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110222594B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110222594A (zh) | 盗版视频识别方法及系统 | |
| US11302315B2 (en) | Digital video fingerprinting using motion segmentation | |
| US11861888B2 (en) | Logo recognition in images and videos | |
| Chen et al. | Automatic detection of object-based forgery in advanced video | |
| US8494234B1 (en) | Video hashing system and method | |
| EP2084624B1 (en) | Video fingerprinting | |
| US7630545B2 (en) | Method and apparatus for representing a group of images | |
| Zhang et al. | Detecting and extracting the photo composites using planar homography and graph cut | |
| CN111695540B (zh) | 视频边框识别方法及裁剪方法、装置、电子设备及介质 | |
| KR101968921B1 (ko) | 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법 | |
| Sowmya et al. | A survey on video forgery detection | |
| CN111144366A (zh) | 一种基于联合人脸质量评估的陌生人脸聚类方法 | |
| CN110460838B (zh) | 一种镜头切换的检测方法、装置及计算机设备 | |
| CN110197144A (zh) | 盗录视频识别方法及系统 | |
| CN113312949B (zh) | 视频数据处理方法、视频数据处理装置和电子设备 | |
| Mohiuddin et al. | Duplicate frame detection in forged videos using sequence matching | |
| CN105989063B (zh) | 视频检索方法和装置 | |
| Arai et al. | Text extraction from TV commercial using blob extraction method | |
| Ortego et al. | Long-term stationary object detection based on spatio-temporal change detection | |
| Roopalakshmi et al. | A framework for estimating geometric distortions in video copies based on visual-audio fingerprints | |
| Aktar et al. | Performance analysis of vehicle detection based on spatial saliency and local image features in H. 265 (HEVC) 4K video for developing a relationship between iou and subjective evaluation value | |
| RU2774058C1 (ru) | Способ определения (распознавания) факта предъявления цифровой копии документа в виде пересъемки экрана | |
| CN115587950B (zh) | 一种微光增强色彩恢复方法 | |
| CN112907206A (zh) | 一种基于视频对象识别的业务审核方法、装置及设备 | |
| Antony et al. | Copy Move Image Forgery Detection Using Adaptive Over-Segmentation and Brute-Force Matching |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |