CN114567798A - 一种针对互联网短视频变种的溯源方法 - Google Patents

一种针对互联网短视频变种的溯源方法 Download PDF

Info

Publication number
CN114567798A
CN114567798A CN202210184287.2A CN202210184287A CN114567798A CN 114567798 A CN114567798 A CN 114567798A CN 202210184287 A CN202210184287 A CN 202210184287A CN 114567798 A CN114567798 A CN 114567798A
Authority
CN
China
Prior art keywords
video
features
feature
videos
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210184287.2A
Other languages
English (en)
Other versions
CN114567798B (zh
Inventor
夏立
李鑫
曲宝珠
王康
王栋平
王峥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Fiberhome Telecommunication Technologies Co ltd
Original Assignee
Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Fiberhome Telecommunication Technologies Co ltd filed Critical Nanjing Fiberhome Telecommunication Technologies Co ltd
Priority to CN202210184287.2A priority Critical patent/CN114567798B/zh
Publication of CN114567798A publication Critical patent/CN114567798A/zh
Application granted granted Critical
Publication of CN114567798B publication Critical patent/CN114567798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种针对互联网短视频变种的溯源方法，包括如下步骤：S1、视频关键帧选择，包括对抽取的短视频进行关键帧质量评估，具体为信息熵评估、清晰程度评估和过滤无效视频帧；S2、关键帧特征提取，使用改进后的分类网络对符合关键帧质量评估后的短视频进行特征提取；S3、视频特征学习，对关键帧特征提取以及后处理合并后的视频初级特征进行学习，使得相似视频提取的特征经学习后尽可能接近，而不同的视频提取的特征学习后尽可能远离；S4、视频溯源系统，包括设计视频入库和视频溯源系统。该种针对互联网短视频变种的溯源方法，通过视频关键帧选择、关键帧特征提取和视频特征学习，形成互联网短视频的最终特征描述，具有溯源更加高效特点。

Description

一种针对互联网短视频变种的溯源方法
技术领域
本发明涉及视频溯源技术领域，具体为一种针对互联网短视频变种的溯源方法。
背景技术
随着网络的逐渐普及，短视频正在以爆发式增长的速度出现在互联网上，其中不乏出现一些违规的短视频，如侵犯版权的电视剧片段、色情视频等。
现实生活中，通过将待溯源视频库与目标特征库进行对比，从而判断待溯源视频库中是否包含目标视频。现有的相似视频匹配技术包括：1、比较视频的MD5码；2、提取相同间隔的视频帧特征进行撞库比较，选取相似帧数量最多的视频作为相似视频；3、每秒抽取固定数量的帧，并提取每帧的特征，计算所有帧的特征平均值并计算相似性。
然而，由于短视频在传播的过程中经过了不同程度的变化，如视频压缩、添加水印等，会导致对应的MD5码发生变化，使得检索召回率降低。通过视频帧进行撞库，会导致视频数据库的体量过大，检索时间过长；同时，提取帧的特征平均值作为视频的表示，这种方法忽视了视频的不同帧间的重要程度，准确性较差。因此，我们对此提出一种针对互联网短视频变种的溯源方法。
发明内容
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种针对互联网短视频变种的溯源方法，包括如下步骤：
S1、视频关键帧选择，包括对抽取的短视频进行关键帧质量评估，具体为信息熵评估、清晰程度评估和过滤无效视频帧；
S2、关键帧特征提取，使用改进后的分类网络对符合关键帧质量评估后的短视频进行特征提取；
S3、视频特征学习，对关键帧特征提取以及后处理合并后的视频初级特征进行学习，使得相似视频提取的特征经学习后尽可能接近，而不同的视频提取的特征学习后尽可能远离；
S4、视频溯源系统，包括设计视频入库和视频溯源系统，实现视频特征入库和视频特征溯源的功能。
作为本发明的一种优选技术方案，S1中在对抽取短视频的关键帧进行信息熵评估 时，需建立图像信息熵评估指标
Figure DEST_PATH_IMAGE001
和
Figure 324639DEST_PATH_IMAGE002
，且
Figure DEST_PATH_IMAGE003
，
Figure 169099DEST_PATH_IMAGE004
，式中
Figure DEST_PATH_IMAGE005
表示灰度直方图的统计概率，
Figure 42246DEST_PATH_IMAGE006
表示图像在
Figure DEST_PATH_IMAGE007
处的像素灰度值，
Figure 452498DEST_PATH_IMAGE008
为图像的大小，
Figure 34789DEST_PATH_IMAGE009
表示图像的信息熵，且该值的大小表示图像信息量包含的大小，并在此处设置阈值
Figure 678129DEST_PATH_IMAGE010
， 信息熵低于该值的关键帧会被过滤。
作为本发明的一种优选技术方案，S1中在对抽取短视频的关键帧进行清晰程度评 估时，需建立图像清晰程度评估指标
Figure 371279DEST_PATH_IMAGE011
，且
Figure 901617DEST_PATH_IMAGE012
，其中在x方向上 的二阶偏微分定义为
Figure 920389DEST_PATH_IMAGE013
，
Figure 785446DEST_PATH_IMAGE014
，通过先对图像进行拉普拉斯变化，再求方差即可表 示图像的清晰程度，该值越小则表示图像越模糊，且在此处设置阈值
Figure 547865DEST_PATH_IMAGE015
，低于该值的关键帧 会被过滤。
作为本发明的一种优选技术方案，S2具体为使用改进后的VGG-16模型作为特征提取网络，并将block1、block2、block3的特征纳入视频特征的计算范围，并在block4、block5中引入注意力机制，获取各block的帧级特征后，分别进行通道维度的标准化和最大池化操作，最终进行合并，获得视频初级特征。
作为本发明的一种优选技术方案，S3具体包括如下步骤：
S3-1、构建特征学习网络结构，FH_Net为三个全连接层构建学习网络，将三个FH_ Net并联构成特征学习网络，并共享权重，输入为N组三元组视频特征，即基准视频特征
Figure 198289DEST_PATH_IMAGE016
、 相似视频
Figure DEST_PATH_IMAGE017
、不相似视频
Figure 574913DEST_PATH_IMAGE018
，且每个三元组的视频特征经过FH_Net后，能满足
Figure DEST_PATH_IMAGE019
，
Figure 412419DEST_PATH_IMAGE020
定义为视频特征向量的欧氏距离，
Figure DEST_PATH_IMAGE021
；
S3-2、定义损失函数，为实现特征学习网络的区分能力，构建Triplet Loss，如下所示：
Figure 181792DEST_PATH_IMAGE022
其中
Figure DEST_PATH_IMAGE023
为超参数，确保相似视频之间的距离和不相似视频之间距离足够大，若之 间的距离大于
Figure 670411DEST_PATH_IMAGE023
，则此时不做优化，若小于
Figure 499827DEST_PATH_IMAGE023
，那么需要通过优化loss函数，使得网络参数 进行更新；
S3-3、生成训练样本，具体流程如下：
a、获取2000个互联网短视频为训练数据，视频场景包括运动、音乐、购物、人物、动物类及其他类，并通过md5过滤重复视频；
b、随机从训练数据中选择一个视频作为基准视频，选择基准视频所在场景之外的任一视频作为不相似视频，对基准视频随机选择一种变种方式进行变种作为相似视频，变种方式包括：帧率变化、裁剪、尺寸缩放、画中画、比特率变化、淡入淡出、添加水印logo、拼接以及多种变化的组合；
c、分别计算基准视频、相似视频、不相似视频的视频初级特征，作为特征学习网络的输入进行训练，最终得到特征学习网络模型。
作为本发明的一种优选技术方案，S4中视频特征入库是对于需要入库的视频，获取视频特征后，直接存储到视频特征数据库中，视频库中视频特征与视频ID一一对应。
作为本发明的一种优选技术方案，S4中视频特征溯源是对于需要溯源的视频，获取视频特征后，通过搜索引擎，与视频特征库中的特征进行比对，如果大于阈值且满足TopK要求，则返回对应的视频ID。
本发明的有益效果是：
该种针对互联网短视频变种的溯源方法，根据视频时长对视频抽取关键帧，并进行质量评估，过滤无效的视频帧；使用改进的分类网络模型提取关键帧的高层语义信息以及低层细节信息，提高关键帧的特征表示能力，并通过特征聚合形成视频的初级特征；通过Triplet网络学习视频级的特征，使得相似视频具有较接近的特征表示，而不相似视频学习的特征尽可能远离，最终得到的特征更具有表征性，且通过降维使得溯源更加高效。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明视频关键帧选择流程图；
图2是本发明改进的VGG-16网络结构图；
图3是本发明视频关键帧提取流程图；
图4是本发明构建的特征学习网络结构图；
图5是本发明视频入库和视频溯源系统设计示意图；
图6是本发明FH_VR短视频溯源系统示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例1
本发明一种针对互联网短视频变种的溯源方法，包括如下步骤：
S1、视频关键帧选择，包括对抽取的短视频进行关键帧质量评估，具体为信息熵评估、清晰程度评估和过滤无效视频帧；
S2、关键帧特征提取，使用改进后的分类网络对符合关键帧质量评估后的短视频进行特征提取；
S3、视频特征学习，对关键帧特征提取以及后处理合并后的视频初级特征进行学习，使得相似视频提取的特征经学习后尽可能接近，而不同的视频提取的特征学习后尽可能远离；
S4、视频溯源系统，包括设计视频入库和视频溯源系统，实现视频特征入库和视频特征溯源的功能。
其中，S1中在对抽取短视频的关键帧进行信息熵评估时，需建立图像信息熵评估 指标
Figure 355787DEST_PATH_IMAGE024
和
Figure DEST_PATH_IMAGE025
，且
Figure 178118DEST_PATH_IMAGE026
，
Figure DEST_PATH_IMAGE027
，式中
Figure 6397DEST_PATH_IMAGE028
表示灰度直方图的统计概 率，
Figure DEST_PATH_IMAGE029
表示图像在
Figure 990403DEST_PATH_IMAGE030
处的像素灰度值，
Figure 333659DEST_PATH_IMAGE008
为图像的大小，
Figure 975993DEST_PATH_IMAGE002
表示图像的信息熵，且 该值的大小表示图像信息量包含的大小，并在此处设置阈值
Figure 455516DEST_PATH_IMAGE010
，信息熵低于该值的关键帧 会被过滤；在对抽取短视频的关键帧进行清晰程度评估时，需建立图像清晰程度评估指标
Figure 813685DEST_PATH_IMAGE011
，且
Figure 627926DEST_PATH_IMAGE012
，其中在x方向上的二阶偏微分定义为
Figure 808372DEST_PATH_IMAGE013
，
Figure 407980DEST_PATH_IMAGE014
，通过先对图 像进行拉普拉斯变化，再求方差即可表示图像的清晰程度，该值越小则表示图像越模糊，且 在此处设置阈值
Figure 750100DEST_PATH_IMAGE015
，低于该值的关键帧会被过滤。视频关键帧选择流程图如图1所示。
其中，S2具体为使用改进后的VGG-16模型作为特征提取网络，并将block1、block2、block3的特征纳入视频特征的计算范围，并在block4、block5中引入注意力机制，获取各block的帧级特征后，分别进行通道维度的标准化和最大池化操作，最终进行合并，获得视频初级特征。改进的VGG-16网络结构如图2所示，视频关键帧提取流程图如图3所示。
其中，S3具体包括如下步骤：
S3-1、构建特征学习网络结构，FH_Net为三个全连接层构建学习网络，将三个FH_ Net并联构成特征学习网络，并共享权重，输入为N组三元组视频特征，即基准视频特征
Figure DEST_PATH_IMAGE031
、 相似视频
Figure 786058DEST_PATH_IMAGE032
、不相似视频
Figure DEST_PATH_IMAGE033
，且每个三元组的视频特征经过FH_Net后，能满足
Figure 707878DEST_PATH_IMAGE019
，
Figure 427572DEST_PATH_IMAGE020
定义为视频特征向量的欧氏距离，
Figure 455440DEST_PATH_IMAGE034
，具体构建的特征学习网络结构如图4所示；
S3-2、定义损失函数，为实现特征学习网络的区分能力，构建Triplet Loss，如下所示：
Figure 995005DEST_PATH_IMAGE022
其中
Figure 251674DEST_PATH_IMAGE023
为超参数，确保相似视频之间的距离和不相似视频之间距离足够大，若之 间的距离大于
Figure 825875DEST_PATH_IMAGE023
，则此时不做优化，若小于
Figure 24644DEST_PATH_IMAGE023
，那么需要通过优化loss函数，使得网络参数 进行更新；
S3-3、生成训练样本，具体流程如下：
a、获取2000个互联网短视频为训练数据，视频场景包括运动、音乐、购物、人物、动物类及其他类，并通过md5过滤重复视频；
b、随机从训练数据中选择一个视频作为基准视频，选择基准视频所在场景之外的任一视频作为不相似视频，对基准视频随机选择一种变种方式进行变种作为相似视频，变种方式包括：帧率变化、裁剪、尺寸缩放、画中画、比特率变化、淡入淡出、添加水印logo、拼接以及多种变化的组合；
c、分别计算基准视频、相似视频、不相似视频的视频初级特征，作为特征学习网络的输入进行训练，最终得到特征学习网络模型。
其中，S4中视频特征入库是对于需要入库的视频，获取视频特征后，直接存储到FH自研视频特征数据库中，视频库中视频特征与视频ID一一对应；S4中视频特征溯源是对于需要溯源的视频，获取视频特征后，通过FH自研搜索引擎，与视频特征库中的特征进行比对，如果大于阈值且满足TopK要求，则返回对应的视频ID。视频入库和视频溯源系统设计如图5所示。
上述实施例中，通过根据视频时长对视频抽取关键帧，进行质量评估，过滤无效的视频帧；使用改进的分类网络模型提取关键帧的高层语义信息以及低层细节信息，提高关键帧的特征表示能力，并通过特征聚合形成视频的初级特征；通过Triplet网络学习视频级的特征，使得相似视频具有较接近的特征表示，而不相似视频学习的特征尽可能远离，最终得到的特征更具有表征性，且通过降维使得溯源更加高效。
实施例2
针对针对互联网短视频变种的溯源方法，根据输入视频，进行关键帧选择、关键帧特征提取和视频特征学习，获得降维后具有表征性的视频特征，基于烽火自研的FH搜索引擎和烽火自研的FH视频特征数据库，可应用于海量视频下的视频溯源、相似视频检索、版权保护与鉴定、视频审核等领域。
烽火自研的短视频溯源系统FH_VR如图6所示：
执行如下步骤A到B分别获得关键帧特征提取模型、视频特征学习模型，然后执行步骤i到vi应用短视频溯源获得溯源结果。
步骤A. 搜集公开分类数据集或搜集不同类型的互联网图片，通过原始VGG16分类模型自动化打上标签，得到关键帧提取网络使用的训练样本。使用图2所述改进的VGG-16模型对数据进行微调，得到训练好的关键帧特征提取模型。
步骤B. 搜集一定数量的互联网短视频作为视频特征学习样本（需保证样本中无相似视频），使用本专利所述方法生成各变种视频，以及随机选择不同场景视频共同构建视频三元组。使用图4所述的视频特征学习网络对数据进行训练，得到训练好的视频特征学习模型。
执行步骤i到iv进行视频特征提取，执行步骤v进行短视频溯源功能，执行步骤vi进行短视频入库功能，溯源与入库不分先后。
步骤i. 初始化所有模型，并加载权重参数，然后进入步骤ii。
步骤ii. 对输入视频进行时长判断，抽取相应的视频关键帧，并进行关键帧质量评估，保留高质量的视频关键帧，然后进入步骤iii。
步骤iii. 对视频帧进行预处理，送到关键帧特征提取模型中提取关键帧特征，然后分别进行通道维度的L2标准化和最大池化操作，合并后获得视频初级特征，进入步骤iv。
步骤iv. 将视频初级特征，送到视频特征学习模型中获取最终的视频特征。
步骤v. 执行步骤i~步骤iv，获得待溯源视频特征，通过FH自研搜索引擎，将该特征与视频数据库中的特征进行比对，返回数据库中满足相似度阈值以及TopK的相似视频，完成视频溯源操作。
步骤vi. 执行步骤i~步骤iv，获得待入库视频特征，将视频ID与视频特征同时存储到FH自研视频特征数据库中，完成视频入库操作。
上述实施例中，烽火自研的短视频溯源系统对于相似视频的溯源具有高召回、响应快的特点。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种针对互联网短视频变种的溯源方法，其特征在于，包括如下步骤：
S1、视频关键帧选择，包括对抽取的短视频进行关键帧质量评估，具体为信息熵评估、清晰程度评估和过滤无效视频帧；
S2、关键帧特征提取，使用改进后的分类网络对符合关键帧质量评估后的短视频进行特征提取；
S3、视频特征学习，对关键帧特征提取以及后处理合并后的视频初级特征进行学习，使得相似视频提取的特征经学习后尽可能接近，而不同的视频提取的特征学习后尽可能远离；
S4、视频溯源系统，包括设计视频入库和视频溯源系统，实现视频特征入库和视频特征溯源的功能。
2.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，S1中在 对抽取短视频的关键帧进行信息熵评估时，需建立图像信息熵评估指标
Figure 737713DEST_PATH_IMAGE001
和
Figure 123695DEST_PATH_IMAGE002
，且
Figure 372274DEST_PATH_IMAGE003
，
Figure 751171DEST_PATH_IMAGE004
，式中
Figure 34385DEST_PATH_IMAGE005
表示灰度直方图的统计概率，
Figure 325689DEST_PATH_IMAGE006
表示图 像在
Figure 61564DEST_PATH_IMAGE007
处的像素灰度值，
Figure 978573DEST_PATH_IMAGE008
为图像的大小，
Figure 116294DEST_PATH_IMAGE009
表示图像的信息熵，且该值的大小表示图 像信息量包含的大小，并在此处设置阈值
Figure 578499DEST_PATH_IMAGE010
，信息熵低于该值的关键帧会被过滤。
3.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，S1中在 对抽取短视频的关键帧进行清晰程度评估时，需建立图像清晰程度评估指标
Figure 801670DEST_PATH_IMAGE011
， 且
Figure 273103DEST_PATH_IMAGE012
，其中在x方向上的二阶偏微分定义为
Figure 944559DEST_PATH_IMAGE013
，
Figure 92512DEST_PATH_IMAGE014
，通过先对图 像进行拉普拉斯变化，再求方差即可表示图像的清晰程度，该值越小则表示图像越模糊，且 在此处设置阈值
Figure 802980DEST_PATH_IMAGE015
，低于该值的关键帧会被过滤。
4.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，S2具体为使用改进后的VGG-16模型作为特征提取网络，并将block1、block2、block3的特征纳入视频特征的计算范围，并在block4、block5中引入注意力机制，获取各block的帧级特征后，分别进行通道维度的标准化和最大池化操作，最终进行合并，获得视频初级特征。
5.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，所述S3具体包括如下步骤：
S3-1、构建特征学习网络结构，FH_Net为三个全连接层构建学习网络，将三个FH_Net并 联构成特征学习网络，并共享权重，输入为N组三元组视频特征，即基准视频特征
Figure 546945DEST_PATH_IMAGE016
、相似视 频
Figure 659257DEST_PATH_IMAGE017
、不相似视频
Figure 978112DEST_PATH_IMAGE018
，且每个三元组的视频特征经过FH_Net后，能满足
Figure 175875DEST_PATH_IMAGE019
，
Figure 723531DEST_PATH_IMAGE020
定义为视频特征向量的欧氏距离，
Figure 408459DEST_PATH_IMAGE021
；
S3-2、定义损失函数，为实现特征学习网络的区分能力，构建Triplet Loss，如下所示：
Figure 648948DEST_PATH_IMAGE022
其中
Figure 334007DEST_PATH_IMAGE023
为超参数，确保相似视频之间的距离和不相似视频之间距离足够大，若之间的距 离大于
Figure 685354DEST_PATH_IMAGE023
，则此时不做优化，若小于
Figure 506679DEST_PATH_IMAGE023
，那么需要通过优化loss函数，使得网络参数进行更 新；
S3-3、生成训练样本，具体流程如下：
a、获取2000个互联网短视频为训练数据，视频场景包括运动、音乐、购物、人物、动物类及其他类，并通过md5过滤重复视频；
b、随机从训练数据中选择一个视频作为基准视频，选择基准视频所在场景之外的任一视频作为不相似视频，对基准视频随机选择一种变种方式进行变种作为相似视频，变种方式包括：帧率变化、裁剪、尺寸缩放、画中画、比特率变化、淡入淡出、添加水印logo、拼接以及多种变化的组合；
c、分别计算基准视频、相似视频、不相似视频的视频初级特征，作为特征学习网络的输入进行训练，最终得到特征学习网络模型。
6.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，所述S4中视频特征入库是对于需要入库的视频，获取视频特征后，直接存储到视频特征数据库中，视频库中视频特征与视频ID一一对应。
7.根据权利要求1所述的一种针对互联网短视频变种的溯源方法，其特征在于，所述S4中视频特征溯源是对于需要溯源的视频，获取视频特征后，通过搜索引擎，与视频特征库中的特征进行比对，如果大于阈值且满足TopK要求，则返回对应的视频ID。
CN202210184287.2A 2022-02-28 2022-02-28 一种针对互联网短视频变种的溯源方法 Active CN114567798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210184287.2A CN114567798B (zh) 2022-02-28 2022-02-28 一种针对互联网短视频变种的溯源方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210184287.2A CN114567798B (zh) 2022-02-28 2022-02-28 一种针对互联网短视频变种的溯源方法

Publications (2)

Publication Number Publication Date
CN114567798A true CN114567798A (zh) 2022-05-31
CN114567798B CN114567798B (zh) 2023-12-12

Family

ID=81716670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210184287.2A Active CN114567798B (zh) 2022-02-28 2022-02-28 一种针对互联网短视频变种的溯源方法

Country Status (1)

Country Link
CN (1) CN114567798B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278221A (zh) * 2022-07-29 2022-11-01 重庆紫光华山智安科技有限公司 一种视频质量评估方法、装置、设备及介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140541A1 (en) * 2015-11-18 2017-05-18 Yi-Chih Lu Method for Identifying a Target Object in a Video File
CN107832724A (zh) * 2017-11-17 2018-03-23 北京奇虎科技有限公司 从视频文件中提取人物关键帧的方法及装置
CN108228915A (zh) * 2018-03-29 2018-06-29 华南理工大学 一种基于深度学习的视频检索方法
CN110083741A (zh) * 2019-04-11 2019-08-02 中国科学技术大学 文本与图像联合建模的面向人物的视频摘要提取方法
CN110287374A (zh) * 2019-06-14 2019-09-27 天津大学 一种基于分布一致性的自注意力视频摘要方法
US20190394419A1 (en) * 2018-06-20 2019-12-26 Alibaba Group Holding Limited Subtitle displaying method and apparatus
WO2020147857A1 (zh) * 2019-01-18 2020-07-23 上海极链网络科技有限公司 海量视频特征提取以及存储和检索方法及系统
CN111553848A (zh) * 2020-03-20 2020-08-18 西安电子科技大学 监控视频溯源处理方法、系统、存储介质、视频监控终端
CN112035701A (zh) * 2020-08-11 2020-12-04 南京烽火星空通信发展有限公司 一种互联网短视频溯源的方法及系统
CN113382284A (zh) * 2020-03-10 2021-09-10 国家广播电视总局广播电视科学研究院 一种盗版视频的分类方法及装置
CN113554599A (zh) * 2021-06-28 2021-10-26 杭州电子科技大学 一种基于人类视觉效应的视频质量评价方法
EP3923182A1 (en) * 2020-06-13 2021-12-15 Gust Vision, Inc Method for identifying a video frame of interest in a video sequence, method for generating highlights, associated systems
CN114005069A (zh) * 2021-11-09 2022-02-01 山东浪潮云缦智能科技有限公司 一种视频特征提取和检索方法
CN114025224A (zh) * 2021-11-18 2022-02-08 甘肃欧美亚信息科技有限公司 基于深度学习的网络视频溯源系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170140541A1 (en) * 2015-11-18 2017-05-18 Yi-Chih Lu Method for Identifying a Target Object in a Video File
CN107832724A (zh) * 2017-11-17 2018-03-23 北京奇虎科技有限公司 从视频文件中提取人物关键帧的方法及装置
CN108228915A (zh) * 2018-03-29 2018-06-29 华南理工大学 一种基于深度学习的视频检索方法
US20190394419A1 (en) * 2018-06-20 2019-12-26 Alibaba Group Holding Limited Subtitle displaying method and apparatus
WO2020147857A1 (zh) * 2019-01-18 2020-07-23 上海极链网络科技有限公司 海量视频特征提取以及存储和检索方法及系统
CN110083741A (zh) * 2019-04-11 2019-08-02 中国科学技术大学 文本与图像联合建模的面向人物的视频摘要提取方法
CN110287374A (zh) * 2019-06-14 2019-09-27 天津大学 一种基于分布一致性的自注意力视频摘要方法
CN113382284A (zh) * 2020-03-10 2021-09-10 国家广播电视总局广播电视科学研究院 一种盗版视频的分类方法及装置
CN111553848A (zh) * 2020-03-20 2020-08-18 西安电子科技大学 监控视频溯源处理方法、系统、存储介质、视频监控终端
EP3923182A1 (en) * 2020-06-13 2021-12-15 Gust Vision, Inc Method for identifying a video frame of interest in a video sequence, method for generating highlights, associated systems
CN112035701A (zh) * 2020-08-11 2020-12-04 南京烽火星空通信发展有限公司 一种互联网短视频溯源的方法及系统
CN113554599A (zh) * 2021-06-28 2021-10-26 杭州电子科技大学 一种基于人类视觉效应的视频质量评价方法
CN114005069A (zh) * 2021-11-09 2022-02-01 山东浪潮云缦智能科技有限公司 一种视频特征提取和检索方法
CN114025224A (zh) * 2021-11-18 2022-02-08 甘肃欧美亚信息科技有限公司 基于深度学习的网络视频溯源系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘瀚存: "视频监控图像清晰度评价算法研究", 《中国硕士学位论文全文数据库 信息科技辑》, pages 26 - 27 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115278221A (zh) * 2022-07-29 2022-11-01 重庆紫光华山智安科技有限公司 一种视频质量评估方法、装置、设备及介质
CN115278221B (zh) * 2022-07-29 2024-05-07 重庆紫光华山智安科技有限公司 一种视频质量评估方法、装置、设备及介质

Also Published As

Publication number Publication date
CN114567798B (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
CN109214403B (zh) 图像识别方法、装置及设备、可读介质
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN112800876B (zh) 一种用于重识别的超球面特征嵌入方法及系统
CN111460961B (zh) 一种基于cdvs的相似图聚类的静态视频摘要方法
CN1909677B (zh) 图像表示和分析方法
CN113112519B (zh) 基于感兴趣目标分布的关键帧筛选方法
WO2012071696A1 (zh) 基于用户兴趣学习的个性化广告推送方法与系统
US20130156304A1 (en) Method for classification of videos
CN110427517B (zh) 一种基于场景词典树的图搜视频方法，装置及计算机可读存储介质
US20040233987A1 (en) Method for segmenting 3D objects from compressed videos
CN111914911B (zh) 一种基于改进深度相对距离学习模型的车辆再识别方法
CN111325169A (zh) 基于胶囊网络的深度视频指纹算法
CN110765841A (zh) 基于混合注意力机制的群组行人重识别系统及终端
CN116030396B (zh) 一种用于视频结构化提取的精确分割方法
CN111914762A (zh) 基于步态信息的身份识别方法及装置
CN111723692B (zh) 基于卷积神经网络语义分类的标签特征的近重复视频检测方法
CN110188625B (zh) 一种基于多特征融合的视频精细结构化方法
Zhang et al. Multi-scale segmentation strategies in PRNU-based image tampering localization
CN114567798A (zh) 一种针对互联网短视频变种的溯源方法
CN111160107A (zh) 一种基于特征匹配的动态区域检测方法
CN114220087A (zh) 一种车牌检测方法、车牌检测器及相关设备
JP5116017B2 (ja) 動画検索方法およびシステム
CN116524725B (zh) 一种智能驾驶的交通标志图像数据识别系统
CN115393788B (zh) 一种基于增强全局信息注意力的多尺度监控行人重识别方法
CN116664867A (zh) 一种基于多证据融合选取训练样本的特征提取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant