CN113496187A - 一种基于视频指纹的视频匹配方法及装置 - Google Patents

一种基于视频指纹的视频匹配方法及装置 Download PDF

Info

Publication number
CN113496187A
CN113496187A CN202011001461.2A CN202011001461A CN113496187A CN 113496187 A CN113496187 A CN 113496187A CN 202011001461 A CN202011001461 A CN 202011001461A CN 113496187 A CN113496187 A CN 113496187A
Authority
CN
China
Prior art keywords
video
fingerprint
creative
matching
fingerprints
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202011001461.2A
Other languages
English (en)
Inventor
苏同
章骏
李响
刘崴
李琳璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hylink Digital Technology Co ltd
Original Assignee
Hylink Digital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hylink Digital Technology Co ltd filed Critical Hylink Digital Technology Co ltd
Priority to CN202011001461.2A priority Critical patent/CN113496187A/zh
Publication of CN113496187A publication Critical patent/CN113496187A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0276—Advertisement creation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Library & Information Science (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开一种基于视频指纹的视频匹配方法及装置。所述方法包括预先计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，计算创意视频指纹特征的哈希值，根据创意视频指纹特征及其哈希值建立指纹索引库；当需要检查某一待检验视频时，根据待检验视频生成待检验视频指纹；利用待检验视频指纹检索指纹索引库，查找视频时序特征与视频图像特征的相似度满足阈值的相似视频。采用本申请提供的视频匹配方法及装置，能够提高视频检索的准确率和查全率，有效地防范视频创意的抄袭。

Description

一种基于视频指纹的视频匹配方法及装置
技术领域
本申请涉及视频处理技术领域，尤其涉及一种基于视频指纹的视频匹配方法及装置。
背景技术
相关统计数据显示，中国广告主营销投放意向占比达到65％；同时伴随着视频市场的普及和迅速扩大，全国视频营销机构也将越来越多。视频市场的扩大，视频营销意愿的增加及专业视频营销机构的激增都加快了短视频商业化的进程。优质的内容和创意作为视频营销最主要的核心竞争力，在视频营销商业化过程中起到至关重要的作用。因此在这场视频营销的激战中，对视频创意的保护，无疑是每个视频的拥有者或者创意营销人员绕不开的话题，也无疑是所有视频创造者最大的痛点。从另一个角度而言，创意产出层出不穷，创意价值更迭迅速，想要为每一个视频创意赋予价值较难实现。
综上，一方面建立合理、易于操作的创意保护机制或系统产品，对每一个原生视频的创意进行保护，让每个创意发挥其真正的价值，给每个创意者公平的创造环境；另一方面，对抄袭和侵权作品及行为，进行有效取证和禁止，都是现在视频市场亟待解决的难题。
发明内容
本申请提供了一种基于视频指纹的视频匹配方法，包括：
预先计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，计算创意视频指纹特征的哈希值，根据创意视频指纹特征及其哈希值建立指纹索引库；
当需要检查某一待检验视频时，根据待检验视频生成待检验视频指纹；
利用待检验视频指纹检索指纹索引库，查找视频时序特征与视频图像特征的相似度满足阈值的相似视频。
如上所述的基于视频指纹的视频匹配方法，其中计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，具体包括如下子步骤：
对创意视频中的每一帧进行分割，提取分割后的各子区域的灰度均值，按照视频帧顺序排列，组成视频时序特征；
计算创意视频的视频图像特征，具体为对创意视频中的每一帧进行分割，从中提取关键帧，对每一关键帧计算哈希值，按照关键帧顺序排列，将每个哈希值组成视频图像特征；
将视频时序特征与视频图像特征组合得到创意视频指纹。
如上所述的基于视频指纹的视频匹配方法，其中根据待检验视频生成待检验视频指纹，具体为：计算待检验视频的视频时序特征和视频图像特征，形成待检验视频指纹。
如上所述的基于视频指纹的视频匹配方法，其中当检测到指纹索引库中有相似的视频，则比较对应的两个视频的视频时序特征和视频图像特征的具体相似指标，若两组特征的相似度均达到或超过阈值，则两组特征都有比较高的相似度，则判断结果的信心指数就非常高；若两组特征的相似度中只有一组较高，则审核具体数值，若其中满足阈值的特征组相似度非常高，则信心指数会比较高，否则降低比对结果判断的信心指数。
如上所述的基于视频指纹的视频匹配方法，其中采用基于梯度的相似性匹配算法去除视频亮度整体漂移带来的影响，再引入异常因子去除突变干扰。
如上所述的基于视频指纹的视频匹配方法，其中采用动态时间规划法匹配不同时间尺度视频。
如上所述的基于视频指纹的视频匹配方法，其中当检索时长较长且内容变化率低的视频时，在所述视频匹配方法基础上，采用基于子片段和关键帧的检索方法进行视频匹配检索。
如上所述的基于视频指纹的视频匹配方法，其中采用基于子片段和关键帧的检索方法进行视频匹配检索，具体包括如下子步骤：
将视频中每帧图像进行分割，得到若干子区域；
计算每个子区域图像的视频时序特征，将提取出的视频时序特征按照特征曲线作图；
基于梯度的匹配算法对视频时序特征曲线进行匹配。
如上所述的基于视频指纹的视频匹配方法，其中基于梯度的匹配算法对视频时序特征曲线进行匹配具体为：基于梯度的匹配算法，设m帧样例视频p与n帧目标视频q进行匹配，将视频的亮度、短时抖动干扰因素逐一引入异常因子进行排除。
本申请还提供一种基于视频指纹的视频匹配装置，所述装置执行上述任一项所述的基于视频指纹的视频匹配方法。
本申请实现的有益效果如下：采用本申请提供的视频匹配方法及装置，能够提高视频检索的准确率和查全率，有效地防范视频创意的抄袭。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例一提供的一种基于视频指纹的视频匹配方法流程图；
图2是视频指纹实现方法示意图；
图3是采用基于子片段和关键帧的检索方法进行视频匹配的方法流程图；
图4是视频图像每帧图像分割情况图例；
图5是视频特征曲线示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
由于视频创意的实现依赖于整个视频的拍摄、制作和产出。本申请提供的基于时序和图像特征的视频指纹方法，利用两类特征交叉验证的原理大大提高了视频搜索的准确率，能够实现在拍摄过程中对拍摄环境进行保护、在制作过程中对创意部分进行认证、以及在制作产出中对输出格式或代码进行加密等，在各环节中对视频创意进行全链保护，作为解决视频创意自我保护的有效途径。对于竞争对手抄袭或者部分侵权的行为，如果可以有途径进行认证和举报，并对抄袭和侵权作品给予禁止，将会为保护视频创意的创造一个更加健康的外部环境。
所述基于时序和图像特征的视频指纹匹配方法，如图1所示，具体包括如下步骤：
步骤110、预先计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，计算创意视频指纹特征的哈希值，根据创意视频指纹特征及其哈希值建立指纹索引库；
本申请实施例中，计算创意视频中每一帧的视频时序特征，具体为对创意视频中的每一帧进行分割，提取分割后的各子区域的灰度均值，按照视频帧顺序排列，组成视频时序特征；计算创意视频的视频图像特征，具体为对创意视频中的每一帧进行分割，从中提取关键帧，对每一关键帧计算哈希值，按照关键帧顺序排列，将每个哈希值组成视频图像特征；将视频时序特征与视频图像特征组合得到创意视频指纹，然后将创意视频指纹通过高效的哈希函数计算，然后将创意视频指纹特征以及哈希值建立一个指纹索引库；
进一步地，视频指纹实现方法具体如图2所示，先为创意视频进行分割，从中提取关键帧，然后组成特征列表，对每一个视频帧图像进行特征点检测和特征点描述，然后对所有视频帧图像进行模型计算，最后再进行哈希提取，最终得到视频指纹。
步骤120、当需要检查某一待检验视频时，根据待检验视频生成待检验视频指纹，利用待检验视频指纹检索指纹索引库，查找视频时序特征与视频图像特征的相似度满足阈值的相似视频；
具体地，当需要检查某一视频是否跟指纹索引库中的视频有重复，则先计算待检验视频的视频时序特征和视频图像特征，形成待检验视频指纹，然后再去指纹索引库中作检索，将提取出的时序特征与待匹配的目标视频的时序特征或特征库中的时序特征进行匹配；
当检测到指纹索引库中有相似的视频，则比较对应的两个视频的两个特征组(视频时序特征和视频图像特征)的具体相似指标，若两组特征的相似度均达到或超过阈值，则两组特征都有比较高的相似度，则判断结果的信心指数就非常高；若两组特征的相似度中只有一组较高，则审核具体数值，若其中满足阈值的特征组相似度非常高(例如阈值的两倍)，则信心指数会比较高，否则降低比对结果判断的信心指数。
另外，为了去除视频亮度整体漂移带来的影响，采用基于梯度的相似性匹配算法，同时引入异常因子以去除突变干扰；此外，也可以采用动态时间规划法实现不同时间尺度视频的匹配。
本申请实施例中，为了提高算法对较长视频等内容变化率低的视频的检索效果，进一步在基于时序特征检索方法基础上，采用基于子片段和关键帧的检索方法，大大提高了检索的准确度，如图3所示，具体包括如下子步骤：
步骤310、将视频中每帧图像进行分割，得到若干子区域图像；
如图4所示的视频图像每帧图像分割情况图例，将1x1的图像分割为2x2个子区域，再一次分割得到LxV个子区域。
步骤320、计算每个子区域图像的视频时序特征，将提取出的视频时序特征按照特征曲线作图；
如图5所示的视频特征曲线示意图，其中，X轴表示视频帧序号，Y轴表示时序特征值，由此可画出4条时序特征曲线，对不同的视频分别绘制时序特征曲线，可以看出，不同视频片段的时序特征曲线完全不同。
步骤330、基于梯度的匹配算法对视频时序特征曲线进行匹配；
具体地，基于梯度的匹配算法，设m帧样例视频p与n帧目标视频q(m<n，一般情况下，目标视频比样例视频长)进行匹配，将视频的亮度、短时抖动等干扰因素逐一引入异常因子，进行排除后的计算；
由于实际中的视频经常会包含快慢动作，且播出的视频不再保留原有的对应帧关系，直接比对视频帧的特征值将无法获取正确结果，因此引入基于的视频动态时间规划法的匹配算法，通过检索寻找相似视频，提高检索准确性。
本申请还提供一种基于视频指纹的视频匹配装置，其特征在于，所述装置执行上述基于视频指纹的视频匹配方法。
采用本申请提供的视频匹配方法对画面内容变化率较高的广告等短视频已经具有较高的检索准确度和查全率，可直接得到检索结果对于变化率较低的较长视频采用基于子片段和关键帧的检索方法也能够提高检索准确度和查全率。
以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围。都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于视频指纹的视频匹配方法，其特征在于，包括：
预先计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，计算创意视频指纹特征的哈希值，根据创意视频指纹特征及其哈希值建立指纹索引库；
当需要检查某一待检验视频时，根据待检验视频生成待检验视频指纹；
利用待检验视频指纹检索指纹索引库，查找视频时序特征与视频图像特征的相似度满足阈值的相似视频。
2.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，计算创意视频的视频时序特征和视频图像特征，形成创意视频指纹，具体包括如下子步骤：
对创意视频中的每一帧进行分割，提取分割后的各子区域的灰度均值，按照视频帧顺序排列，组成视频时序特征；
计算创意视频的视频图像特征，具体为对创意视频中的每一帧进行分割，从中提取关键帧，对每一关键帧计算哈希值，按照关键帧顺序排列，将每个哈希值组成视频图像特征；
将视频时序特征与视频图像特征组合得到创意视频指纹。
3.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，根据待检验视频生成待检验视频指纹，具体为：计算待检验视频的视频时序特征和视频图像特征，形成待检验视频指纹。
4.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，当检测到指纹索引库中有相似的视频，则比较对应的两个视频的视频时序特征和视频图像特征的具体相似指标，若两组特征的相似度均达到或超过阈值，则两组特征都有比较高的相似度，则判断结果的信心指数就非常高；若两组特征的相似度中只有一组较高，则审核具体数值，若其中满足阈值的特征组相似度非常高，则信心指数会比较高，否则降低比对结果判断的信心指数。
5.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，采用基于梯度的相似性匹配算法去除视频亮度整体漂移带来的影响，再引入异常因子去除突变干扰。
6.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，采用动态时间规划法匹配不同时间尺度视频。
7.如权利要求1所述的基于视频指纹的视频匹配方法，其特征在于，当检索时长较长且内容变化率低的视频时，在所述视频匹配方法基础上，采用基于子片段和关键帧的检索方法进行视频匹配检索。
8.如权利要求7所述的基于视频指纹的视频匹配方法，其特征在于，采用基于子片段和关键帧的检索方法进行视频匹配检索，具体包括如下子步骤：
将视频中每帧图像进行分割，得到若干子区域；
计算每个子区域图像的视频时序特征，将提取出的视频时序特征按照特征曲线作图；
基于梯度的匹配算法对视频时序特征曲线进行匹配。
9.如权利要求7所述的基于视频指纹的视频匹配方法，其特征在于，基于梯度的匹配算法对视频时序特征曲线进行匹配具体为：基于梯度的匹配算法，设m帧样例视频p与n帧目标视频q进行匹配，将视频的亮度、短时抖动干扰因素逐一引入异常因子进行排除。
10.一种基于视频指纹的视频匹配装置，其特征在于，所述装置执行如权利要求1-9任一项所述的基于视频指纹的视频匹配方法。
CN202011001461.2A 2020-09-22 2020-09-22 一种基于视频指纹的视频匹配方法及装置 Withdrawn CN113496187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011001461.2A CN113496187A (zh) 2020-09-22 2020-09-22 一种基于视频指纹的视频匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011001461.2A CN113496187A (zh) 2020-09-22 2020-09-22 一种基于视频指纹的视频匹配方法及装置

Publications (1)

Publication Number Publication Date
CN113496187A true CN113496187A (zh) 2021-10-12

Family

ID=77994979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011001461.2A Withdrawn CN113496187A (zh) 2020-09-22 2020-09-22 一种基于视频指纹的视频匹配方法及装置

Country Status (1)

Country Link
CN (1) CN113496187A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935272A (zh) * 2023-07-12 2023-10-24 天翼爱音乐文化科技有限公司 一种视频内容检测方法、装置、电子设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116935272A (zh) * 2023-07-12 2023-10-24 天翼爱音乐文化科技有限公司 一种视频内容检测方法、装置、电子设备和存储介质
CN116935272B (zh) * 2023-07-12 2024-05-28 天翼爱音乐文化科技有限公司 一种视频内容检测方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Abdelnabi et al. Visualphishnet: Zero-day phishing website detection by visual similarity
Tang et al. A spatial-temporal approach for video caption detection and recognition
US20090274364A1 (en) Apparatus and methods for detecting adult videos
CN111651636B (zh) 视频相似片段搜索方法及装置
Yong et al. Wildlife video key-frame extraction based on novelty detection in semantic context
Fadl et al. Frame duplication and shuffling forgery detection technique in surveillance videos based on temporal average and gray level co-occurrence matrix
EP3989158A1 (en) Method, apparatus and device for video similarity detection
CN110502664A (zh) 视频标签索引库创建方法、视频标签生成方法及装置
CN110688524A (zh) 视频检索方法、装置、电子设备及存储介质
Sang et al. Robust movie character identification and the sensitivity analysis
CN114881698A (zh) 广告合规审核方法、装置、电子设备及存储介质
CN109697240A (zh) 一种基于特征的图像检索方法及装置
Ren et al. ESRNet: Efficient search and recognition network for image manipulation detection
CN113496187A (zh) 一种基于视频指纹的视频匹配方法及装置
Oraibi et al. Enhancement digital forensic approach for inter-frame video forgery detection using a deep learning technique
CN113946710A (zh) 一种基于多模态与自监督表征学习的视频检索方法
CN113468527A (zh) 一种基于特征表达增强的恶意代码家族分类方法
CN111444362B (zh) 恶意图片拦截方法、装置、设备和存储介质
Thirani et al. Enhancing performance evaluation for video plagiarism detection using local feature through SVM and KNN algorithm
CN113259369B (zh) 一种基于机器学习成员推断攻击的数据集认证方法及系统
CN110012013A (zh) 一种基于knn的虚拟平台威胁行为分析方法及系统
Gao et al. Generic image manipulation localization through the lens of multi-scale spatial inconsistence
CN116070286A (zh) 一种数据伪造检测方法、装置及设备
KR101003504B1 (ko) 유해 멀티미디어 판별시스템 및 그 판별방법
Zhang et al. Spatial HOG based TV logo detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20211012