CN107196811A - 视频网站防盗链控制系统与方法 - Google Patents

视频网站防盗链控制系统与方法 Download PDF

Info

Publication number
CN107196811A
CN107196811A CN201710570312.XA CN201710570312A CN107196811A CN 107196811 A CN107196811 A CN 107196811A CN 201710570312 A CN201710570312 A CN 201710570312A CN 107196811 A CN107196811 A CN 107196811A
Authority
CN
China
Prior art keywords
user
chain
video service
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710570312.XA
Other languages
English (en)
Inventor
王盛
周全
朱聪
陈娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Huandian Information Technology Co Ltd
Original Assignee
Shanghai Huandian Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Huandian Information Technology Co Ltd filed Critical Shanghai Huandian Information Technology Co Ltd
Priority to CN201710570312.XA priority Critical patent/CN107196811A/zh
Publication of CN107196811A publication Critical patent/CN107196811A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0815—Network architectures or network communication protocols for network security for authentication of entities providing single-sign-on or federations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25875—Management of end-user data involving end-user authentication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种视频网站防盗链控制系统与方法，属于网络技术领域。该视频网站防盗链控制系统与方法中，由于其盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据频次、分散度和时间跨度等统计结果判断该用户ID是否为盗链用户，进而对盗链用户进行限制，有效实现对于利用爬虫程序或自建代理网站的盗链方法的限制，从而保护网站运营企业及合法用户的权利，且本发明的视频网站防盗链控制系统结构简单，成本低廉，方法应用方式简便，应用范围相当广泛。

Description

视频网站防盗链控制系统与方法
技术领域
本发明涉及网络技术领域，特别涉及视频网站控制技术领域，具体是指一种视频网站防盗链控制系统与方法。
背景技术
视频资源类的网站提供了用户观看视频的服务，每个视频都是公司自有的资源(也就是视频URL，Uniform Resource Locator)，当然这些资源也是盗链(非法偷取其他网站视频资源供自己的用户服务)的目标。因此，盗链网站只需要简单搭建站点服务就可以提供完整的视频服务。盗链一方面偷取了原站(被盗链的网站)的资源，这些资源可能涉及版权的问题，另一方面占用了原站大量的带宽、服务器资源。盗链网站的用户仍然需要请求原站的服务器和网路。因此，盗链行为即损害了正当视频网站运营企业的利益，又增加了企业的运营成本，所以，防盗链技术的研发发展迫在眉睫。
常见的盗链方法有：
1)破解网站对视频URL的加密签名的算法，按照加密签名算法直接生成视频URL进行访问；
2)通过爬虫程序，获取到视频资源地址，直接在网站HTML脚本中嵌入资源地址，或者通过通用播放器或者自建播放器进行播放；
3)自建代理站点，伪装成合法用户，获取到视频URL进行访问；
4)私自下载视频内容，搭建自己的视频服务站点服务；
以上是目前主要的四种盗链方法，对于1)盗链的难度比较大，因为目前加密签名的算法大都是采用MD5的不可逆算法，破解难道比较大，因此这样的盗链难度较大，所占比例较低。对于2)和3)是目前占比最大的盗链方法，据不完全统计，这两类盗链方法占全部盗链的95％以上。对此，目前广泛采用的防盗链技术是限定HTTP(超文本传输协议，HyperTextTransfer Protocol)请求头中的Referer(HTTP协议规范中设定的请求引用来源)，由于网站资源需要公开在公网的环境中，难以完全阻止他人通过爬虫程序进行爬取资源数据的行为，因此可以通过技术手段加以限制。对于4)盗链，可以通过对版权保护的法律途径进行阻止。
发明内容
本发明的目的是克服了上述现有技术中的缺点，提供一种基于用户行为分析，获取不同用户的访问记录，统计出合法正常用户的访问行为，然后反馈给视频服务程序，并对不正常的用户进行限制，从而实现防盗链，保护网站运营企业及合法用户的权利，且应用方式简单，实现成本较为低廉的视频网站防盗链控制系统与方法。
为了实现上述的目的，本发明的视频网站防盗链控制系统具有如下构成：
包括：用户管理模块、盗链检测模块和视频服务模块。
其中，用户管理模块用以通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；
盗链检测模块用以对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；
视频服务模块用以根据所述的盗链检测模块的判断结果向用户提供视频服务。
该视频网站防盗链控制系统中，所述的盗链检测模块包括：频次统计单元，用以对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户，所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天。
该视频网站防盗链控制系统中，所述的盗链检测模块包括：分散度统计单元，用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户，所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个。
该视频网站防盗链控制系统中，所述的盗链检测模块包括时间跨度统计单元，用以根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，所述的设定时长为2～5小时，所述设定的数量为以下任意一项：20～40次/分钟或150～250次/小时。
该视频网站防盗链控制系统中，所述的盗链检测模块包括：频次统计单元、分散度统计单元和盗链概率计算单元。
频次统计单元用以对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
分散度统计单元用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
盗链概率计算单元用以计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
该视频网站防盗链控制系统中，所述的盗链检测模块还包括：请求解析单元，用以解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
该视频网站防盗链控制系统中，所述的盗链检测模块还包括：数据库，用以存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
该视频网站防盗链控制系统中，所述的盗链检测模块还包括：判断处理单元，用以在所述的频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在判断用户不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
本发明还提供一种视频网站防盗链控制方法，该方法包括以下步骤：
(1)用户管理模块通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；
(2)盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；
(3)视频服务模块根据所述的盗链检测模块的判断结果向用户提供视频服务。
该视频网站防盗链控制方法中，所述的盗链检测模块包括：频次统计单元，所述的步骤(2)具体为：
(2a)频次统计单元对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户，
所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天。
该视频网站防盗链控制方法中，所述的盗链检测模块包括：分散度统计单元，所述的步骤(2)具体为：
(2b)分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户，
所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个。
该视频网站防盗链控制方法中，所述的盗链检测模块包括：时间跨度统计单元，所述的步骤(2)具体为：
(2c)时间跨度统计单元，根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，
所述的设定时长为2～5小时，所述设定的数量为以下任意一项：20～40次/分钟或150～250次/小时。
该视频网站防盗链控制方法中，所述的盗链检测模块包括频次统计单元、分散度统计单元和盗链概率计算单元，所述的步骤(2)具体包括以下步骤：
(2a')所述的频次统计单元对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天；
(2b')所述的分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个；
(2d)所述的盗链概率计算单元计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
该视频网站防盗链控制方法中，所述的盗链检测模块还包括：请求解析单元，所述的步骤(2)还包括以下步骤：
(21)请求解析单元解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
该视频网站防盗链控制方法中，所述的盗链检测模块还包括：数据库，所述的步骤(2)还包括以下步骤：
(22)数据库存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
该视频网站防盗链控制方法中，所述的盗链检测模块还包括：判断处理单元，所述的步骤(2)还包括以下步骤：
(24)判断处理单元，用以在频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断发出视频服务请求的用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在用户判断不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
采用了本发明的视频网站防盗链控制系统与方法，由于其盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据频次、分散度和时间跨度等统计结果判断该用户ID是否为盗链用户，进而对盗链用户进行限制，有效实现对于利用爬虫程序或自建代理网站的盗链方法的限制，从而保护网站运营企业及合法用户的权利，且本发明的视频网站防盗链控制系统结构简单，成本低廉，方法应用方式简便，应用范围相当广泛。
附图说明
图1为本发明的视频网站防盗链控制系统的功能模块框图。
图2为本发明的视频网站防盗链控制方法的流程示意图。
图3为本发明的视频网站防盗链控制方法中采用频次判别盗链的实施方式的流程示意图。
图4为本发明的视频网站防盗链控制方法中采用分散度判别盗链的实施方式的流程示意图。
图5为本发明的视频网站防盗链控制方法中采用时间跨度判别盗链的实施方式的流程示意图。
图6为本发明的视频网站防盗链控制方法中采用频次与分散度综合概率判别盗链的实施方式的流程示意图。
具体实施方式
为了能够更清楚地理解本发明的技术内容，特举以下实施例详细说明。
请参阅图1所示，为本发明的视频网站防盗链控制系统的功能模块框图。
在一种实施方式中，该视频网站防盗链控制系统包括：用户管理模块、盗链检测模块和视频服务模块。
其中，用户管理模块用以通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；盗链检测模块用以对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；视频服务模块用以根据所述的盗链检测模块的判断结果向用户提供视频服务。
上述的用户管理模块、盗链检测模块和视频服务模块可整合于一个视频服务提供商的网络服务器中，也可根据需要分别运行于相应的用户身份识别服务器，盗链检测服务器和视频服务器中。
利用上述实施方式所述的系统实现的视频网站防盗链控制方法，如图2所示，包括以下步骤：
(1)用户管理模块通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；
(2)盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；
(3)视频服务模块根据所述的盗链检测模块的判断结果向用户提供视频服务。
所述的用户管理模块中可以包括：用户类别识别单元和用户ID标注单元。
其中，用户类别识别单元，用以根据所述的视频服务请求，识别发出该视频服务请求的用户是否为登录用户；
用户ID标注单元，用户根据所述的用户类别识别单元的识别结果，对于非登录用户生成一个用户ID(bid)，对于登录用户以登录ID(uid)为用户ID。
则所述的步骤(1)可选择的替换为包括以下步骤：
(11)用户类别识别单元根据所述的视频服务请求，识别发出该视频服务请求的用户是否为登录用户；
(12)用户ID标注单元根据所述的用户类别识别单元的识别结果，对于非登录用户生成一个用户ID，对于登录用户以登录ID为用户ID。
相较于传统的通过IP地址识别非登录用户的方式，本发明对于非登录用户给定ID，由此可以更为准确地识别用户，避免由于多用户共用IP地址而引起的错误识别情况，提高本发明判断盗链的准确率。
在较优选的实施方式中，所述的盗链检测模块包括：频次统计单元，用以对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户。
在利用该较优选的实施方式所述的系统实现的视频网站防盗链控制方法中，所述的步骤(2)，如图3所示，具体为：
(2a)频次统计单元对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户。
该较优选的实施方式中，所述设定的频次限度可以根据需要设定为以下任意一项：50次/分钟、60次/分钟、70次/分钟、250次/小时、200次/小时、350次/小时、700次/天、900次/天、1000次/天、1100次/天或1300次/天等。
在另一较优选的实施方式中，所述的盗链检测模块包括：分散度统计单元，用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户。
在利用该较优选的实施方式所述的系统实现的视频网站防盗链控制方法中，所述的步骤(2)，如图4所示，具体为：
(2b)分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户，
该较优选的实施方式中所述设定的变化量可以根据需要设定为以下任意一项：
一小时内访问的IP地址的所属省份超过2个、3个、4个或5个；
一小时内访问的IP地址超过3个、4个、5个、6个或7个；
一天内访问的IP地址的所属省份超过4个、5个、6个或7个；以及
一天内访问的IP地址超过8个、9个、10个、11个或12个等。
在又一较优选的实施方式中，所述的盗链检测模块包括时间跨度统计单元，用以根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，所述设定的数量。
在利用该较优选的实施方式所述的系统实现的视频网站防盗链控制方法中，所述的步骤(2)，如图5所示，具体为：
(2c)时间跨度统计单元，根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，
该较优选的实施方式中所述的设定时长可以根据需要设定为2小时、3小时、4小时或5小时，所述设定的数量根据需要设定为以下任意一项：20次/分钟、30次/分钟、40次/分钟、150次/小时、200次/小时或250次/小时等。
在进一步优选的实施方式中，所述的盗链检测模块包括：频次统计单元、分散度统计单元和盗链概率计算单元。
频次统计单元用以对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
分散度统计单元用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
盗链概率计算单元用以计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
在利用该进一步优选的实施方式所述的系统实现的视频网站防盗链控制方法中，所述的步骤(2)，如图6所示，具体包括以下步骤：
(2a')所述的频次统计单元对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
所述设定的频次限度可以根据需要设定为以下任意一项：50次/分钟、60次/分钟、70次/分钟、250次/小时、200次/小时、350次/小时、700次/天、900次/天、1000次/天、1100次/天或1300次/天等；
(2b')所述的分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
该较优选的实施方式中所述设定的变化量可以根据需要设定为以下任意一项：
一小时内访问的IP地址的所属省份超过2个、3个、4个或5个；
一小时内访问的IP地址超过3个、4个、5个、6个或7个；
一天内访问的IP地址的所属省份超过4个、5个、6个或7个；以及
一天内访问的IP地址超过8个、9个、10个、11个或12个等；
(2d)所述的盗链概率计算单元计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
在更优选的实施方式中，所述的盗链检测模块还可以包括：请求解析单元、数据库和判断处理单元中的一个，多个或全部。
其中，请求解析单元，用以解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
数据库，用以存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
判断处理单元，用以在频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在判断用户不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
利用上述更优选的实施方式所述的系统实现的视频网站防盗链控制方法中，如图3或图4所示，所述的步骤(2)还包括以下步骤：
(21)请求解析单元解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
(22)数据库存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
(24)判断处理单元，用以在频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断发出视频服务请求的用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在用户判断不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
在实际应用中，本发明的视频网站防盗链控制系统与方法可以通过以下手段实现。
一、用户访问行为统计流程(定时运行的程序)：
1、每个用户请求播放，都会有一条记录日志，日志中包括bid或uid、哪个视频文件、请求时间点；
(1)对于非登录用户，对每个服务实例(网页web、移动客户端、桌面客户端等)增加一个BID号标识，网页web使用浏览器的cookie(一种web技术)保存，客户端直接生成保存一个BID，该bid生成可以利用UUID(Universally unique identifier)算法；
(2)对于登录的用户，使用用户的UID(User ID)；
2、部署分析的程序去分析这些日志，主要是解析日志、聚合日志中每项信息；
3、根据以下三类限定策略，反馈盗链的uid和bid给视频服务程序；
(1)频次限定:
如果同一个bid或uid访问频次超过60次/分钟，300次/小时，1000次/天，则限定这个bid或者uid禁止访问本站服务；
(2)分散度限定：
同一个bid或者uid，
一小时内访问的ip地址的所属省份超过3个，
或一小时内访问的ip地址超过5个，
或一天内访问的ip地址的所属省份超过5个，
或一天内访问的ip地址超过10个，
则限定这个bid或者uid禁止访问本站服务；
(3)时间跨度限定：
同一个播放地址URL，超过5min不禁止该URL的新播放请求，目前依据是http请求头中的range字段，新请求播放是range＝0；
同一个播放地址URL，设定URL的有效时间是3个小时，超过3个小时的请求不予服务；
同一个播放地址URL，如果新播放请求的频次超过30次/分钟，200次/小时，则立即将URL置为失效。
如果采用用户ip地址替换用户的bid和uid，会造成误伤，因为用户往往有共用因特网ip地址出口的情况，这样会很容易命中1)和2)的限定策略，造成正常用户的误伤。才用用户的bid和uid细化了请求识别的粒度，可以有效地针对单个用户进行防盗链鉴别。
二、防盗链检测流程：
1、接受统计程序发过来的盗链uid和bid；
2、当有用户请求视频时，根据用户的bid和uid来鉴别盗链；
3、记录该用户的请求信息到日志系统中，供统计程序分析；
整个判定盗链的流程中，三个限定策略是可以独立并行的，如果命中其中一个限定策略，其他的都可以省略，就可以判定为盗链请求。
另外，存储盗链特征的数据库可以用任何一种数据库，存储用户访问信息的日志系统也可以替换成任何一种成熟可用的日志系统(如开源的graylog系统)。
判定盗链的流程中额限定策略也可以通过设定概率实现盗链的识别。具体而言，需对上述的第(1)项频次限定及(2)分散度限定作出一定的修改。
(1)频次限定：
当某个bid或者uid的访问频次超过20次/分钟，则计算其盗链概率并加入数据库，计算概率公式为：每分钟访问频次/60，例如一分钟同一个bid或者uid访问了30次，其盗链概率为50％。
(2)分散度限定：
同一个bid或者uid，
一小时内访问的ip地址所属省份超过1个，则计算其盗链概率并加入数据库，计算公式为：一小时内访问ip的省份数/3，例如同一个bid或者uid在一小时内用3个省分的ip地址请求了视频，其盗链概率为75％。
或一天内访问的ip所属省份超过1个，则计算其盗链概率并加入数据库，计算公式为：一天内访问ip的省份数/5，例如同一个bid或者uid在一天内用3个省分的ip地址请求了视频，其盗链概率为60％。
或一小时内访问ip超过2个，则计算其盗链概率并加入数据库，计算公式为：一小时内访问ip数/5，例如同一个bid或者uid在一小时内用3个ip地址请求了视频，其盗链概率为60％。
或一天内访问ip超过2个，则计算其盗链概率并加入数据库，计算公式为：一天内访问ip数/10，例如同一个bid或者uid在一小时内用3个ip地址请求了视频，其盗链概率为30％。
其次，数据库需要添加对应的概率字段。
最后，处理阶段，基本流程保持不变，在查询数据库，发现某个bid或者uid存在于数据库中时，获取该条盗链信息的盗链概率P(例如10％)，然后通过一个数学平均分布(0-1的平均分布)的计算得出一个概率倾向值Q，如果Q小于等于P，则判断为盗链。
三、处理流程
通过请求中携带的bid或者uid信息(对于web端可将bid和uid信息放入httpcookie中，移动端则放入请求参数中)，查询数据库，如果存在于数据库中，则说明该请求是盗链请求，返回HTTP/403状态码(表示禁止服务)。
对于3)时间跨度的限定，超过了URL的有效时间(包括新播放请求和拖动播放请求)，则本条URL会失效，后续的请求则放回HTTP/403状态码(表示该URL禁止服务)。
四、恢复流程
对于(1)、(2)限定策略，恢复手段是将待恢复的bid(禁止的用户实例号)和uid(禁止的用户号)从数据库中删除即可。
对于(3)的限定策略，恢复手段是重新通过合法的路径获取生成一个播放地址即可。
实际应用中利用本发明的防盗链技术，可识别到的盗链大约占整体请求的12％左右，取得了预期的效果，而且可以更新用户的访问记录信息，拓展防盗链的策略，进而反馈并更新服务程序。
采用了本发明的视频网站防盗链控制系统与方法，由于其盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据频次、分散度和时间跨度等统计结果判断该用户ID是否为盗链用户，进而对盗链用户进行限制，有效实现对于利用爬虫程序或自建代理网站的盗链方法的限制，从而保护网站运营企业及合法用户的权利，且本发明的视频网站防盗链控制系统结构简单，成本低廉，方法应用方式简便，应用范围相当广泛。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。

Claims (16)

1.一种视频网站防盗链控制系统，其特征在于，包括：
用户管理模块，用以通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；
盗链检测模块，用以对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；
视频服务模块，用以根据所述的盗链检测模块的判断结果向用户提供视频服务。
2.根据权利要求1所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块包括：
频次统计单元，用以对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户，所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天。
3.根据权利要求1所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块包括：
分散度统计单元，用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户，所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个。
4.根据权利要求1所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块包括：时间跨度统计单元，用以根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，所述的设定时长为2～5小时，所述设定的数量为以下任意一项：20～40次/分钟或150～250次/小时。
5.根据权利要求1所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块包括：
频次统计单元，用以对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
分散度统计单元，用以对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
盗链概率计算单元，用以计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
6.根据权利要求2至5中任一项所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块还包括：
请求解析单元，用以解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
7.根据权利要求6所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块还包括：
数据库，用以存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
8.根据权利要求7所述的视频网站防盗链控制系统，其特征在于，所述的盗链检测模块还包括：
判断处理单元，用以在所述的频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在判断用户不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
9.一种视频网站防盗链控制方法，其特征在于，该方法包括以下步骤：
(1)用户管理模块通过互联网从用户获取视频服务请求，并识别发出该视频服务请求的用户是否为登录用户，对于登录用户以登录ID为用户ID，对于非登录用户生成一个用户ID；
(2)盗链检测模块对每一个所述用户ID对应的各视频服务请求进行统计，并根据统计结果判断该用户ID是否为盗链用户；
(3)视频服务模块根据所述的盗链检测模块的判断结果向用户提供视频服务。
10.根据权利要求9所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块包括：频次统计单元，所述的步骤(2)具体为：
(2a)频次统计单元对同一用户发送的视频服务请求的频次进行统计，根据是否超出设定的频次限度判断该用户是否为盗链用户，
所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天。
11.根据权利要求9所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块包括：分散度统计单元，所述的步骤(2)具体为：
(2b)分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，根据是否超出设定的变化量判断该用户是否为盗链用户，
所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个。
12.根据权利要求9所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块包括：时间跨度统计单元，所述的步骤(2)具体为：
(2c)时间跨度统计单元，根据视频服务请求中是否包含超出设定时长的URL以及单位时间内包含相同URL的视频服务请求是否超出设定的数量，判断发送包含该URL的视频服务请求的用户是否为盗链用户，
所述的设定时长为2～5小时，所述设定的数量为以下任意一项：20～40次/分钟或150～250次/小时。
13.根据权利要求9所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块包括频次统计单元、分散度统计单元和盗链概率计算单元，所述的步骤(2)具体包括以下步骤：
(2a')所述的频次统计单元对同一用户发送的视频服务请求的频次进行统计，并根据所述的频次计算该用户的频次盗链概率P1；
所述设定的频次限度为以下任意一项：50～70次/分钟、250～350次/小时以及700～1300次/天；
(2b')所述的分散度统计单元对同一用户发送的视频服务请求在单位时间内的IP地址变化量进行统计，并根据所述变化量计算该用户的分散度盗链概率P2；
所述设定的变化量为以下任意一项：
一小时内访问的IP地址的所属省份超过2～5个；
一小时内访问的IP地址超过3～7个；
一天内访问的IP地址的所属省份超过4～7个；以及
一天内访问的IP地址超过8～12个；
(2d)所述的盗链概率计算单元计算所述的频次盗链概率P1及分散度盗链概率P2的平均分布，判断该用户是否为盗链用户。
14.根据权利要求9至13中任一项所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块还包括：请求解析单元，所述的步骤(2)还包括以下步骤：
(21)请求解析单元解析所述的视频服务请求，获取该视频服务请求的用户ID、IP地址、URL及请求时间。
15.根据权利要求14所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块还包括：数据库，所述的步骤(2)还包括以下步骤：
(22)数据库存储所述的用户ID，及该用户ID发出的各项视频服务请求所对应的IP地址、URL及请求时间。
16.根据权利要求14所述的视频网站防盗链控制方法，其特征在于，所述的盗链检测模块还包括：判断处理单元，所述的步骤(2)还包括以下步骤：
(24)判断处理单元，用以在频次统计单元、分散度统计单元、时间跨度统计单元以及盗链概率计算单元中任一单元判断发出视频服务请求的用户为盗链用户的情况下，向该用户发出拒绝服务信息，并在用户判断不为盗链用户的情况下，控制所述的视频服务模块向用户提供服务。
CN201710570312.XA 2017-07-13 2017-07-13 视频网站防盗链控制系统与方法 Pending CN107196811A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710570312.XA CN107196811A (zh) 2017-07-13 2017-07-13 视频网站防盗链控制系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710570312.XA CN107196811A (zh) 2017-07-13 2017-07-13 视频网站防盗链控制系统与方法

Publications (1)

Publication Number Publication Date
CN107196811A true CN107196811A (zh) 2017-09-22

Family

ID=59883655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710570312.XA Pending CN107196811A (zh) 2017-07-13 2017-07-13 视频网站防盗链控制系统与方法

Country Status (1)

Country Link
CN (1) CN107196811A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818992A (zh) * 2017-11-20 2019-05-28 创盛视联数码科技（北京）有限公司 视频云平台api访问频次控制方法
CN112543353A (zh) * 2020-11-20 2021-03-23 湖南快乐阳光互动娱乐传媒有限公司 一种视频播放请求的处理方法及相关装置
CN112565827A (zh) * 2020-12-03 2021-03-26 湖南快乐阳光互动娱乐传媒有限公司 一种基于后置式数据分析的防盗链系统及方法
CN113973236A (zh) * 2020-07-24 2022-01-25 中国移动通信集团浙江有限公司 一种视频服务的防盗链方法、装置、计算设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916935A (zh) * 2011-08-04 2013-02-06 深圳华强电子交易网络有限公司 一种网站内容防抓取的方法
CN104125234A (zh) * 2014-08-06 2014-10-29 沈文策 一种动态图像安全验证方法及系统
CN104519018A (zh) * 2013-09-29 2015-04-15 阿里巴巴集团控股有限公司 一种防止针对服务器的恶意请求的方法、装置和系统
CN106209905A (zh) * 2016-08-16 2016-12-07 杭州华三通信技术有限公司 一种网络安全管理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916935A (zh) * 2011-08-04 2013-02-06 深圳华强电子交易网络有限公司 一种网站内容防抓取的方法
CN104519018A (zh) * 2013-09-29 2015-04-15 阿里巴巴集团控股有限公司 一种防止针对服务器的恶意请求的方法、装置和系统
CN104125234A (zh) * 2014-08-06 2014-10-29 沈文策 一种动态图像安全验证方法及系统
CN106209905A (zh) * 2016-08-16 2016-12-07 杭州华三通信技术有限公司 一种网络安全管理方法和装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109818992A (zh) * 2017-11-20 2019-05-28 创盛视联数码科技（北京）有限公司 视频云平台api访问频次控制方法
CN113973236A (zh) * 2020-07-24 2022-01-25 中国移动通信集团浙江有限公司 一种视频服务的防盗链方法、装置、计算设备和存储介质
CN113973236B (zh) * 2020-07-24 2023-09-19 中国移动通信集团浙江有限公司 一种视频服务的防盗链方法、装置、计算设备和存储介质
CN112543353A (zh) * 2020-11-20 2021-03-23 湖南快乐阳光互动娱乐传媒有限公司 一种视频播放请求的处理方法及相关装置
CN112565827A (zh) * 2020-12-03 2021-03-26 湖南快乐阳光互动娱乐传媒有限公司 一种基于后置式数据分析的防盗链系统及方法

Similar Documents

Publication Publication Date Title
US11176573B2 (en) Authenticating users for accurate online audience measurement
US11057427B2 (en) Method for identifying phishing websites and hindering associated activity
US9954841B2 (en) Distinguish valid users from bots, OCRs and third party solvers when presenting CAPTCHA
Hao et al. Understanding the domain registration behavior of spammers
CN106063219B (zh) 用于生物识别协议标准的系统和方法
US8321934B1 (en) Anti-phishing early warning system based on end user data submission statistics
US9830453B1 (en) Detection of code modification
CN109951500A (zh) 网络攻击检测方法及装置
US8850567B1 (en) Unauthorized URL requests detection
CN103701795B (zh) 拒绝服务攻击的攻击源的识别方法和装置
US20130160120A1 (en) Protecting end users from malware using advertising virtual machine
US7917759B2 (en) Identifying an application user as a source of database activity
US9021085B1 (en) Method and system for web filtering
US20090216592A1 (en) System And Method For Identifying Network Click
CN107196811A (zh) 视频网站防盗链控制系统与方法
CN109194671A (zh) 一种异常访问行为的识别方法及服务器
Chaudhary et al. Auditing defense against XSS worms in online social network-based web applications
Kaur et al. Browser fingerprinting as user tracking technology
US9516059B1 (en) Using mock tokens to protect against malicious activity
Massa et al. A fraud detection system based on anomaly intrusion detection systems for e-commerce applications
CN109889485A (zh) 一种用户异常操作行为检测方法、系统及存储介质
CN110611611B (zh) 一种用于家庭网关的web安全访问方法
US20130167195A1 (en) Hardware identification through cookies
CN108282443A (zh) 一种爬虫行为识别方法和装置
CN114386037A (zh) 基于Web前端页面的恶意请求防御方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170922