CN110889445A - 视频cdn盗链检测方法、装置、电子设备及存储介质 - Google Patents

视频cdn盗链检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN110889445A
CN110889445A CN201911156574.7A CN201911156574A CN110889445A CN 110889445 A CN110889445 A CN 110889445A CN 201911156574 A CN201911156574 A CN 201911156574A CN 110889445 A CN110889445 A CN 110889445A
Authority
CN
China
Prior art keywords
feature extraction
video
cdn
data
video cdn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911156574.7A
Other languages
English (en)
Other versions
CN110889445B (zh
Inventor
闫威
徐嵩
王�琦
李琳
杜欧杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Original Assignee
Migu Cultural Technology Co Ltd
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Migu Cultural Technology Co Ltd, China Mobile Communications Group Co Ltd filed Critical Migu Cultural Technology Co Ltd
Priority to CN201911156574.7A priority Critical patent/CN110889445B/zh
Publication of CN110889445A publication Critical patent/CN110889445A/zh
Application granted granted Critical
Publication of CN110889445B publication Critical patent/CN110889445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44236—Monitoring of piracy processes or activities

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Virology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种视频CDN盗链检测方法、装置、电子设备及存储介质，所述方法包括：将待进行盗链检测的视频CDN访问数据进行无监督特征提取；将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。本发明实施例由于采用无监督的特征提取和半监督分类模型相结合的盗链检测方式，因而可以从整体上有效提升盗链检测的准确度。

Description

视频CDN盗链检测方法、装置、电子设备及存储介质
技术领域
本发明涉及计算机技术领域，具体涉及一种视频CDN盗链检测方法、装置、电子设备及存储介质。
背景技术
目前，网络视频点播URL(例如HLS/DASH)一般采用提前加密的方式，在播放串中加入加密字段，然后服务器后台或CDN(Content Delivery Network，内容分发网络)鉴权认证播放串的加密字段来进行访问认证。但是，现有视频平台播放鉴权认证机制，直接抓包就可以获取整个视频文件播放串，然后模拟播放请求就可以获取视频平台上的视频内容，从而盗取受版权保护的视频内容。大量非法盗链请求增加了平台带宽成本和服务器资源，造成严重的经济损失。因此，对于视频CDN盗链的检测显得至关重要。
目前对于视频CDN盗链的检测有多种手段，例如可以采用基于聚类、密度、分布等异常检测模型，如近期较流行的孤异森林(Isolation Forest)，应用也较为广泛，它们的特点是采用无监督方法，直接将疑似异常数据分离出来，该可用于盗链检测分析，但是存在的问题是：由于该基于异常检测模型的检测方式属于无监督检测，因此检测结果的准确性有待怀疑，这是基于无监督的异常检测模型在视频盗链方面的局限性。
发明内容
由于现有方法存在上述问题，本发明实施例提出一种视频CDN盗链检测方法、装置、电子设备及存储介质。
第一方面，本发明实施例提供了一种视频CDN盗链检测方法，包括：
将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
进一步地，所述将待进行盗链检测的视频CDN访问数据进行无监督特征提取，具体包括：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
进一步地，所述方法还包括：
构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
进一步地，所述方法还包括：将真实的视频CDN盗链数据进行无监督特征提取，获取第一特征提取结果；
将视频CDN正常访问数据进行无监督特征提取，获取第二特征提取结果；
基于第一特征提取结果和第二特征提取结果训练得到SVM分类模型，并基于训练得到的SVM分类模型建立TSVM分类模型。
进一步地，在建立所述TSVM分类模型之前，所述方法还包括：根据不同视频播放厂商的终端设备构建局域网视频播放环境；
在各个厂商的终端设备中进行具有目标厂商版权的视频内容的播放；
在各个厂商的终端设备的视频播放过程中，在局域网内进行网络信息包抓取，并检查各个厂商的终端设备播放视频的URL是否指向所述目标厂商的CDN的调度服务器，若是，则记录相应的网络信息包并根据所述网络信息包确定真实的视频CDN盗链数据。
第二方面，本发明实施例还提供了一种视频CDN盗链检测装置，包括：
特征提取模块，用于将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
盗链检测模块，用于将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
进一步地，所述特征提取模块，具体用于：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
进一步地，所述装置还包括：特征提取模型建立模块，用于：
构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的视频CDN盗链检测方法。
第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述的视频CDN盗链检测方法。
由上述技术方案可知，本发明实施例提供的视频CDN盗链检测方法、装置、电子设备及存储介质，采用了无监督的特征提取和半监督分类模型相结合的盗链检测方式，由于无监督的特征提取可以减少人为主观对特征理解的偏差，而半监督分类模型，能够将真实盗链数据与海量未知数据相结合进行模型训练，从而能够提升盗链检测的可信度，因此，本实施例由于采用无监督的特征提取和半监督分类模型相结合的盗链检测方式，因而可以从整体上有效提升盗链检测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
图1是本发明一实施例提供的视频CDN盗链检测方法的流程图；
图2是本发明一实施例提供的视频CDN盗链检测装置的结构示意图；
图3是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
图1示出了本发明一实施例提供的视频CDN盗链检测方法的流程图，如图1所示，本发明实施例提供的视频CDN盗链检测方法，具体包括如下内容：
步骤101：将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
步骤102：将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
在本实施例中，需要说明的是，为了减少人为主观对特征理解的偏差，本实施例利用基于无监督学习算法训练得到的特征提取模型对待进行盗链检测的视频CDN访问数据进行提取，获取所述待进行盗链检测的视频CDN访问数据的核心特征，然后将该核心特征输入至TSVM分类模型中，获取盗链检测结果。此外，需要说明的是，将待进行盗链检测的视频CDN访问数据进行无监督特征提取，不但能够减少人为主观对特征理解的偏差，而且能够将待进行盗链检测的视频CDN访问数据进行有效降维，减少后续步骤的处理数据量，从而可以提高盗链检测效率。
在本实施例中，TSVM分类模型为采用真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果进行半监督训练后建立的，在建立TSVM分类模型后，将待进行盗链检测的视频CDN访问数据的特征提取结果输入至TSVM分类模型中进行直推式学习，进而可以获取待进行盗链检测的视频CDN访问数据的盗链检测结果。下面介绍一下TSVM分类模型的建立和直推式学习过程：
步骤A：将真实的视频CDN盗链数据进行无监督特征提取，获取第一特征提取结果。
在本步骤中，可以将真实的视频CDN盗链数据输入至基于无监督学习算法训练得到的特征提取模型中，然后提取真实的视频CDN盗链数据的核心特征作为第一特征提取结果。
步骤B：将视频CDN正常访问数据进行无监督特征提取，获取第二特征提取结果。
在本步骤中，可以将视频CDN正常访问数据输入至基于无监督学习算法训练得到的特征提取模型中，然后提取视频CDN正常访问数据的核心特征作为第二特征提取结果。
步骤C：基于第一特征提取结果和第二特征提取结果训练得到SVM分类模型，并基于训练得到的SVM分类模型建立TSVM分类模型，将待进行盗链检测的视频CDN访问数据的特征提取结果输入至TSVM分类模型中，获取盗链检测结果。
在本步骤中，利用第一特征提取结果和第二特征提取结果对SVM分类模型进行训练直到满足训练结束条件后得到训练好的SVM分类模型，需要说明的是，支持向量机SVM是基于有监督的学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。也即SVM是在线性可分问题中求解最大边距超平面的算法，约束条件是样本点到决策边界的距离大于等于1。在得到训练好的SVM分类模型后，将训练好的SVM分类模型扩展为直推式的半监督模型TSVM，然后将海量未知数据输入TSVM模型后不断调整直到完成最终分类。需要说明的是，TSVM模型的原理是对未知分类样本进行各种可能的指派，尝试将每个标记样本分别作为正例和反例，然后在所有这些结果中，寻求一个在所有样本上间隔最大化的超划分平面。一旦划分平面得以确定，未标记样本的最终标记指派就是其预测结果。由此可知，在将待进行盗链检测的数据特征提取结果输入至TSVM分类模型中进行直推式学习后，可以获取盗链检测结果。
由此可知，在本实施例中，在SVM分类模型的基础上，进一步构建半监督的TSVM分类模型进行直推式学习，具体来说，就是通过训练SVM，将盗链的特征数据与非盗链的特征数据进行区分获取分类超平面；再对超平面进行基于TSVM的直推式修正，最终将海量未知数据合理分类，从而提升了盗链检测预测的准确率。
由上述技术方案可知，本发明实施例提供的视频CDN盗链检测方法，采用了无监督的特征提取和半监督分类模型相结合的盗链检测方式，由于无监督的特征提取可以减少人为主观对特征理解的偏差，而半监督分类模型，能够将真实盗链数据与海量未知数据相结合进行模型训练，从而能够提升盗链检测的可信度，因此，本实施例由于采用无监督的特征提取和半监督分类模型相结合的盗链检测方式，因而可以从整体上有效提升盗链检测的准确度。
基于上述实施例的内容，在本实施例中，上述步骤101将待进行盗链检测的视频CDN访问数据进行无监督特征提取，具体可通过如下方式实现：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
在本实施例中，所述特征提取模型可以采用基于无监督的自编码网络(Autoencoder)的一部分(编码器+隐含层)来实现。下面给出特征提取模型的建立过程：
步骤a：构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
步骤b：根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
在本实施例中，在利用特征提取模型提取输入数据的核心特征时，得到的核心特征必须为能够反映输入数据核心特点的关键特征。简单来说，可以这么理解，也就是输入数据经特征提取模型提取获取核心特征(可以将该过程理解为编码过程)后，该核心特征应该能够通过相应的解码方式解码后得到原输入数据，这样才能保证该核心特征为能够反映输入数据核心特点的关键特征。
在本实施例中，需要说明的是，所述特征提取模型可以采用自编码网络的编码器和隐含层来实现。需要说明的是，自编码网络为一个三层神经网络，由三部分组成：编码器(encoder)、隐含层(hidden)和解码器(decoder)。自编码网络将输入表达X编码为一个新的表达Y，然后再将Y解码回X。自编码网络是一个基于非监督学习算法建立的三层神经网络，使用反向传播算法来训练网络使得输出等于输入。它可以对输入特征进行降维，通过大量编解码学习，具备对输入进行编码，并输出核心特征(中间层)的能力。可以理解的是，既然输出层(解码器)的信息可将输入层(编码器)的大部分信息还原，说明中间隐含层已经能够对输入信息进行识别并正确进行编码和解码。此时将自编码网络的模型进行切分，只保留从输入层(编码器)到中间层(隐含层)的模型作为所述特征提取模型，即关注编码后的结果特征，为后续分类使用。
在本实施例中，针对视频CDN的海量访问数据(也称全量视频CDN访问数据)，抽取出初始特征后建立自编码网络，隐含层为三层，节点个数分别为7、5、7，然后进行无监督训练，当原始输入特征与输出特征的误差小于特定值时，即误差函数满足要求时，完成训练。可以理解的是，既然输出层(解码器)的信息可将输入层(编码器)的大部分信息还原，说明中间隐含层已经能够对输入信息进行识别并正确进行编码和解码。此时将自编码网络的模型进行切分，移去所述自编码网络的输出层(解码器)，只保留从输入层(编码器)到中间层(隐含层)的模型作为所述特征提取模型，即关注编码后的结果特征，为后续分类使用。
在本实施例中，需要说明的是，在训练SVM分类模型以及利用TSVM分类模型进行直推式学习时，也需要利用特征提取模型进行特征提取，利用特征提取模型提取真实的视频CDN盗链数据和视频CDN正常访问数据的核心特征，不但能够减少人为主观对特征理解的偏差，而且能够将真实的视频CDN盗链数据和视频CDN正常访问数据进行有效降维，进而减少后续进行训练的数据量，提高后续分类模型训练效率。
基于上述实施例的内容，在本实施例中，在建立所述TSVM分类模型之前，所述方法还包括：
步骤100：
根据不同视频播放厂商的终端设备构建局域网视频播放环境；在各个厂商的终端设备中进行具有目标厂商版权的视频内容的播放；在各个厂商的终端设备的视频播放过程中，在局域网内进行网络信息包抓取，并检查各个厂商的终端设备播放视频的URL是否指向所述目标厂商的CDN的调度服务器，若是，则记录相应的网络信息包并根据所述网络信息包确定真实的视频CDN盗链数据。
在本实施例中，需要说明的是，为提高盗链检测结果的准确度，本实施例先获取真实的视频CDN(Content Delivery Network，内容分发网络)盗链数据，然后基于真实的视频CDN盗链数据和视频CDN正常访问数据进行SVM分类模型训练。
在本实施例中，需要说明的是，在获取真实的视频CDN盗链数据时，可以通过构建视频CDN盗链监测网络的方式，获取实时的真实盗链数据。例如，可以依据业内视频播放综合排名的Top20的厂商，建立相关App和机顶盒的终端播放网络环境，然后以某一目标厂商的核心知识产权的直播和点播视频作为监测目标，在各个待测播放终端和App中找到相同内容进行播放。播放过程中在局域网内进行网络信息抓包，检查各个终端播放视频的URL是否是指向了所述目标厂商的CDN的调度服务器，即全局负载均衡服务器(GSLB)，如果是，则为盗链，记录该盗链访问信息。根据这些信息，可在后台全量CDN日志中匹配出完整的访问记录，包括但不限于：IP源地址、所在省份、所在机房、节目ID、用户ID、会话ID、访问时长、访问流量、设备ID、App ID等。
由此可见，为获取真实的视频CDN盗链数据，本实施例提供了一种较为简单有效的获取方式，也即构建视频CDN盗链监测网络，并从所述视频CDN盗链监测网络中获取真实的视频CDN盗链数据。需要说明的是，通过构建视频CDN盗链监测网络的方式，可以较为方便地从构建的局域网中获取经验证和确认过的真实的视频CDN盗链数据，从而可以保证训练用的视频CDN盗链数据样本的真实性和准确性。
在本实施例中，需要说明的是，在进行SVM分类模型训练时，除了真实的CDN盗链数据之外，还需要视频CDN正常访问数据。为此，需要在进行训练之前，先获取视频CDN正常访问数据。在本实施例中，在获取视频CDN正常访问数据时，可以从CDN质量检测系统中获取实时正常访问数据。例如，依靠现有的CDN质量拨测平台，其终端拨测设备分布在全国各地，将原本用于探测CDN网络质量的各个由信赖厂商研发的App软件和相关硬件机顶盒，在播放过程中生成的各种访问记录收集并提取出来，作为正常访问样本。
在本实施例中，需要说明的是，通过建立视频播放监测网络获取真实盗链数据，为预测模型的准确预测提供了理论依据。
在本实施例中，需要说明的是，利用全量CDN访问数据进行无监督自编码网络训练，使得训练好的自编码网络能够准确提取访问数据的核心特征，从而便于后续基于这些核心特征进行有监督的SVM分类模型训练或进行半监督的TSVM分类模型的直推式学习训练。
在本实施例中，需要说明的是，使用无监督学习获取真实盗链样本的核心特征，减少人为主观对特征理解的偏差，采用半监督的TSVM分类模型的直推式学习训练，将真实盗链数据与海量未知数据相结合，提升盗链检测的可信度。此外，使用无监督的自编码网络与半监督模型的TSVM相结合的方式，降低了训练和预测成本，同时提高了盗链检测准确度。
根据以上描述可知，本实施例通过建立视频质量检测网络，实时获取出真实的盗链数据，并将相应输入数据经过自编码网络训练提取出核心特征，输入到半监督的TSVM模型中，最终将海量未知数据合理分类，从而提升了盗链检测预测的准确率。
图2示出了本发明一实施例提供的视频CDN盗链检测装置的结构示意图，如图2所示，本发明实施例提供的视频CDN盗链检测装置，包括：特征提取模块21和盗链检测模块22，其中：
特征提取模块21，用于将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
盗链检测模块22，用于将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
进一步地，基于上述实施例的内容，在本实施例中，所述特征提取模块，具体用于：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
进一步地，基于上述实施例的内容，在本实施例中，所述装置还包括：特征提取模型建立模块，用于：
构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
由于本实施例提供的视频CDN盗链检测装置可以用于执行上述实施例提供的视频CDN盗链检测方法，其工作原理和有益效果类似，此处不再详述。
基于相同的发明构思，本发明又一实施例提供了一种电子设备，参见图3，所述电子设备具体包括如下内容：处理器301、存储器302、通信接口303和通信总线304；
其中，所述处理器301、存储器302、通信接口303通过所述通信总线304完成相互间的通信；所述通信接口303用于实现各建模软件及智能制造装备模块库等相关设备之间的信息传输；
所述处理器301用于调用所述存储器302中的计算机程序，所述处理器执行所述计算机程序时实现上述视频CDN盗链检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：将待进行盗链检测的视频CDN访问数据进行无监督特征提取；将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
基于相同的发明构思，本发明又一实施例提供了一种非暂态计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述视频CDN盗链检测方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：将待进行盗链检测的视频CDN访问数据进行无监督特征提取；将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述视频CDN盗链检测方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的视频CDN盗链检测方法。
此外，在本发明中，诸如“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
此外，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
此外，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种视频CDN盗链检测方法，其特征在于，包括：
将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
2.根据权利要求1所述的视频CDN盗链检测方法，其特征在于，所述将待进行盗链检测的视频CDN访问数据进行无监督特征提取，具体包括：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
3.根据权利要求2所述的视频CDN盗链检测方法，其特征在于，所述方法还包括：
构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
4.根据权利要求1所述的视频CDN盗链检测方法，其特征在于，所述方法还包括：
将真实的视频CDN盗链数据进行无监督特征提取，获取第一特征提取结果；
将视频CDN正常访问数据进行无监督特征提取，获取第二特征提取结果；
基于第一特征提取结果和第二特征提取结果训练得到SVM分类模型，并基于训练得到的SVM分类模型建立TSVM分类模型。
5.根据权利要求4所述的视频CDN盗链检测方法，其特征在于，在建立所述TSVM分类模型之前，所述方法还包括：
根据不同视频播放厂商的终端设备构建局域网视频播放环境；
在各个厂商的终端设备中进行具有目标厂商版权的视频内容的播放；
在各个厂商的终端设备的视频播放过程中，在局域网内进行网络信息包抓取，并检查各个厂商的终端设备播放视频的URL是否指向所述目标厂商的CDN的调度服务器，若是，则记录相应的网络信息包并根据所述网络信息包确定真实的视频CDN盗链数据。
6.一种视频CDN盗链检测装置，其特征在于，包括：
特征提取模块，用于将待进行盗链检测的视频CDN访问数据进行无监督特征提取；
盗链检测模块，用于将特征提取结果输入至TSVM分类模型中，获取盗链检测结果；
其中，所述TSVM分类模型为采用预设训练数据进行半监督训练后建立的，其中，所述预设训练数据包括真实的视频CDN盗链数据的无监督特征提取结果和视频CDN正常访问数据的无监督特征提取结果。
7.根据权利要求6所述的视频CDN盗链检测装置，其特征在于，所述特征提取模块，具体用于：
将待进行盗链检测的视频CDN访问数据输入至特征提取模型，获取特征提取结果，其中，所述特征提取模型为采用全量视频CDN访问数据进行无监督学习算法训练后得到的。
8.根据权利要求7所述的视频CDN盗链检测装置，其特征在于，所述装置还包括：特征提取模型建立模块，用于：
构建包含编码器、隐含层和解码器三层神经网络的自编码网络；其中，所述自编码网络用于将输入数据X进行降维编码为Y，再将Y解码回X；
根据全量视频CDN访问数据对所述自编码网络进行无监督训练，在所述自编码网络的输出数据等于输入数据时，移去所述自编码网络的解码器，得到所述特征提取模型。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一所述的视频CDN盗链检测方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一所述的视频CDN盗链检测方法。
CN201911156574.7A 2019-11-22 2019-11-22 视频cdn盗链检测方法、装置、电子设备及存储介质 Active CN110889445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911156574.7A CN110889445B (zh) 2019-11-22 2019-11-22 视频cdn盗链检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911156574.7A CN110889445B (zh) 2019-11-22 2019-11-22 视频cdn盗链检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN110889445A true CN110889445A (zh) 2020-03-17
CN110889445B CN110889445B (zh) 2022-09-27

Family

ID=69748441

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911156574.7A Active CN110889445B (zh) 2019-11-22 2019-11-22 视频cdn盗链检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN110889445B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084506A (zh) * 2020-09-09 2020-12-15 重庆广播电视大学重庆工商职业学院 用于云平台可信度评估的方法、装置及设备
CN112115480A (zh) * 2020-09-09 2020-12-22 重庆广播电视大学重庆工商职业学院 用于云平台环境下的盗链风险提醒方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980202A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 不平衡数据的半监督分类方法
WO2017080166A1 (zh) * 2015-11-13 2017-05-18 乐视控股（北京）有限公司 防盗链方法及系统
CN107483407A (zh) * 2017-07-18 2017-12-15 成都视达科信息技术有限公司 一种防盗链的方法和系统
CN107872487A (zh) * 2016-09-28 2018-04-03 中国电信股份有限公司 海量文件防盗链和装置
CN108964998A (zh) * 2018-07-06 2018-12-07 北京建筑大学 一种网络实体行为奇异性检测方法及装置
CN109413000A (zh) * 2017-08-15 2019-03-01 吴波 一种防盗链方法及防盗链网关系统
CN109446461A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种cdn及cache缓存不良信息内容审计的方法
CN110247889A (zh) * 2019-04-23 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种cdn节点服务防盗链方法及系统
CN110392060A (zh) * 2019-08-06 2019-10-29 湖南快乐阳光互动娱乐传媒有限公司 一种播放控制方法、播放器、调度服务端和cdn文件服务端
CN110414622A (zh) * 2019-08-06 2019-11-05 广东工业大学 基于半监督学习的分类器训练方法及装置
CN110460591A (zh) * 2019-07-26 2019-11-15 南京理工大学 基于改进分层时间记忆网络的cdn流量异常检测装置及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101980202A (zh) * 2010-11-04 2011-02-23 西安电子科技大学 不平衡数据的半监督分类方法
WO2017080166A1 (zh) * 2015-11-13 2017-05-18 乐视控股（北京）有限公司 防盗链方法及系统
CN107872487A (zh) * 2016-09-28 2018-04-03 中国电信股份有限公司 海量文件防盗链和装置
CN107483407A (zh) * 2017-07-18 2017-12-15 成都视达科信息技术有限公司 一种防盗链的方法和系统
CN109413000A (zh) * 2017-08-15 2019-03-01 吴波 一种防盗链方法及防盗链网关系统
CN108964998A (zh) * 2018-07-06 2018-12-07 北京建筑大学 一种网络实体行为奇异性检测方法及装置
CN109446461A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种cdn及cache缓存不良信息内容审计的方法
CN110247889A (zh) * 2019-04-23 2019-09-17 湖南快乐阳光互动娱乐传媒有限公司 一种cdn节点服务防盗链方法及系统
CN110460591A (zh) * 2019-07-26 2019-11-15 南京理工大学 基于改进分层时间记忆网络的cdn流量异常检测装置及方法
CN110392060A (zh) * 2019-08-06 2019-10-29 湖南快乐阳光互动娱乐传媒有限公司 一种播放控制方法、播放器、调度服务端和cdn文件服务端
CN110414622A (zh) * 2019-08-06 2019-11-05 广东工业大学 基于半监督学习的分类器训练方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王磊等: ""网络盗版搜索与版权追踪溯源技术研究"", 《广播电视信息》 *
黎明等: ""生物免疫机理在网络防盗链中的应用与挑战"", 《黑龙江畜牧兽医》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112084506A (zh) * 2020-09-09 2020-12-15 重庆广播电视大学重庆工商职业学院 用于云平台可信度评估的方法、装置及设备
CN112115480A (zh) * 2020-09-09 2020-12-22 重庆广播电视大学重庆工商职业学院 用于云平台环境下的盗链风险提醒方法、装置及设备

Also Published As

Publication number Publication date
CN110889445B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN110781433B (zh) 数据类型的确定方法和装置、存储介质及电子装置
TWI706273B (zh) 統一資源定位符（ｕｒｌ）攻擊檢測方法、裝置及電子設備
CN109889538B (zh) 用户异常行为检测方法及系统
US20230289828A1 (en) Data processing method, computer device, and readable storage medium
CN111600919A (zh) 基于人工智能的web检测方法和装置
CN110889445B (zh) 视频cdn盗链检测方法、装置、电子设备及存储介质
CN107679626A (zh) 机器学习方法、装置、系统、存储介质及设备
CN109426700B (zh) 数据处理方法、装置、存储介质和电子装置
CN111639230B (zh) 一种相似视频的筛选方法、装置、设备和存储介质
White et al. A method for the automated detection phishing websites through both site characteristics and image analysis
CN111200607B (zh) 一种基于多层lstm的线上用户行为分析方法
CN115080756A (zh) 一种面向威胁情报图谱的攻防行为和时空信息抽取方法
Xiang et al. Forensic analysis of video files using metadata
Luz et al. Data preprocessing and feature extraction for phishing URL detection
Shelke et al. Multiple forgery detection in digital video with VGG-16-based deep neural network and KPCA
CN117061829A (zh) 一种iptv epg盒端的用户异常行为实时监测方法
CN115604032B (zh) 一种电力系统复杂多步攻击检测方法及系统
CN113453076A (zh) 用户视频业务质量评估方法、装置、计算设备和存储介质
CN116599743A (zh) 4a异常绕行检测方法、装置、电子设备及存储介质
CN115622793A (zh) 一种攻击类型识别方法、装置、电子设备及存储介质
CN114359815A (zh) 一种快速审核视频内容的处理方法
CN116266412A (zh) 人脸真伪检测方法、装置、设备及计算机可读存储介质
CN109462593B (zh) 网络请求异常检测方法、装置与电子设备
Kerr et al. A non-invasive method for the cataloguing and authentication of surveillance video using on-camera blockchain participation, machine learning and signal analysis
Arevalo-Herrera et al. Network anomaly detection with machine learning techniques for sdn networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant