CN111600772A - 网络分发内容检测处理装置、方法、系统及电子设备 - Google Patents

网络分发内容检测处理装置、方法、系统及电子设备 Download PDF

Info

Publication number
CN111600772A
CN111600772A CN202010367489.1A CN202010367489A CN111600772A CN 111600772 A CN111600772 A CN 111600772A CN 202010367489 A CN202010367489 A CN 202010367489A CN 111600772 A CN111600772 A CN 111600772A
Authority
CN
China
Prior art keywords
content
detection
resource
positioning information
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010367489.1A
Other languages
English (en)
Other versions
CN111600772B (zh
Inventor
王超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Cloud Network Technology Co Ltd
Original Assignee
Beijing Kingsoft Cloud Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kingsoft Cloud Network Technology Co Ltd filed Critical Beijing Kingsoft Cloud Network Technology Co Ltd
Priority to CN202010367489.1A priority Critical patent/CN111600772B/zh
Publication of CN111600772A publication Critical patent/CN111600772A/zh
Application granted granted Critical
Publication of CN111600772B publication Critical patent/CN111600772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/30—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information
    • H04L63/302—Network architectures or network communication protocols for network security for supporting lawful interception, monitoring or retaining of communications or communication related information gathering intelligence information for situation awareness or reconnaissance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开实施例公开一种网络分发内容检测处理方法、装置、系统、电子设备及存储介质。其中一个方法包括：接收CDN节点发送的对要访问的网络资源内容的检测请求，检测请求中包含要访问的网络资源内容的资源定位信息；判断检测请求包含的资源定位信息是否需要检测，以得到判断结果；在判断结果为需要检测时，将资源定位信息发送至检测系统，以使检测系统对网络资源内容进行检测；接收检测系统发送的资源定位信息对应的检测结果为检测网络资源内容为异常内容的第一检测结果，并发送至CDN节点，以使CDN节点根据第一检测结果，响应访问请求向客户端返回网络资源内容为异常内容的提示信息。本公开实施例可以实现网络资源内容的自动化检测。

Description

网络分发内容检测处理装置、方法、系统及电子设备
技术领域
本公开实施例涉及网络分发领域，尤其涉及一种网络分发内容检测处理装置、方法、系统、电子设备及计算机可读存储介质。
背景技术
在内容分发网络(Content Delivery Network，CDN)、对象存储系统等网络分发代理的场景里，内容管理者如果需要对客户端访问的内容，诸如视频、音频、图片、文字做检测及处理，现有检测方式包括成立人工肉眼检测内容的团队，通过人工肉眼日常对在网络分发代理上加速的内容进行检测，如果发现某个内容有涉黄、涉恐、涉政等违法违规信息，则记录下来，并删除存在网络分发代理及源站上的该内容，避免违反相关法律法规。这种通过人工识别的方式准确率高，但是存在人工成本高及运营管理效率低的问题。
现有检测方式还存在使用一些自动识别内容的人工智能(ArtificialIntelligence，AI)检测的系统工具，AI系统工具日常或者定期对在CDN等网络分发代理上加速的内容进行检测，同样地，如果发现某个内容有涉黄、涉恐、涉政等违法违规信息，AI检测系统工具自动记录下来，存储在数据库，或者进一步展示到客户端界面。后续运营人员查看AI检测系统工具的识别系统界面上的检测记录，导出其中的违法违规内容，删除存在网络分发代理及源站上的这些内容，避免违反相关法律法规。
这种通过AI系统工具的检测方式虽然在一定程度上减少了人工肉眼检测的工作，但检测出违法违规内容后后期仍需要运营人员介入进行相应的违规内容处理，才可以完成全部检测工作。因此，检测环节的功能不够完善，缺失自动化处理的环节，从运营人员发现相应内容到处理可能已经过去较长时间，导致不能及时、有效地处理违法违规内容。
发明内容
本公开实施例的目的在于提供一种网络分发内容检测处理装置、方法、系统、电子设备及计算机可读存储介质。
根据本公开实施例的第一方面，提供了一种网络分发内容检测处理方法，执行在汇聚中心系统端，所述方法包括：
接收内容分发网络CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息；
判断所述检测请求包含的所述资源定位信息是否需要检测；
在判断需要检测的情况下，将所述资源定位信息发送至检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；
接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
根据本公开实施例的第二方面，提供了一种网络分发内容检测处理方法，执行在内容分发网络CDN节点端，所述方法包括：
接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；
发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统；
接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理。
根据本公开实施例的第三方面，提供了一种网络分发内容检测处理装置，执行在汇聚中心系统端，所述装置包括：
接收模块，接收内容分发网络CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息；
判断模块，用于判断所述检测请求包含的所述资源定位信息是否需要检测；
请求模块，用于在判断需要检测的情况下，将所述资源定位信息发送至一检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；
响应模块，用于接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
根据本公开实施例的第四方面，提供了一种网络分发内容检测处理装置，执行在内容分发网络CDN节点端，所述装置包括：
接收模块，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；
发送模块，用于发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统；
处理模块，用于接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理。
根据本公开实施例的第五方面，提供了一种网络分发内容检测处理系统，所述系统包括：
内容分发网络CDN节点、汇聚中心系统及检测系统；
所述CDN节点，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；发送包含所述要访问的网络资源内容的资源定位信息的检测请求至所述汇聚中心系统；接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理作为所述访问请求的反馈；
所述汇聚中心系统，接收所述CDN节点发送的对要访问的网络资源内容的检测请求；判断所述检测请求包含的所述资源定位信息是否需要检测；在判断需要检测的情况下，将所述资源定位信息发送至所述检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理；
所述检测系统，用于接收所述汇聚中心系统发送的所述资源定位信息；对所述资源定位信息对应的网络资源内容进行检测以得到所述检测结果；将所述检测结果发送至所述汇聚中心系统。
根据本公开实施例的第六方面，提供了一种电子设备，此电子设备包括：
根据本公开实施例第三方面或第四方面所述的网络分发内容检测处理装置；或者，
处理器和存储器，存储器用于存储可执行的指令，所述指令用于控制处理器执行根据本公开第一方面或第二方面所述的网络分发内容检测处理方法。
根据本公开实施例的第七方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据本公开第一方面或第二方面所述的网络分发内容检测处理方法。
根据本公开实施例，汇聚中心系统接收对要访问的网络资源内容进行检测的检测请求后，判断检测请求包含的所述资源定位信息是否需要检测，在需要检测的情况下，发送至检测系统进行检测，然后将检测结果发给CDN节点，使得所述CDN节点可以根据检测结果，对检测为异常的网络资源内容的访问请求进行处理，即通过汇聚中心系统进行是否需要检测，由检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测，并将检测的结果发送给CDN节点，CDN节点基于检测结果进行处理，实现了自动化的网络资源内容的检测和处理，因而可以自动、及时且有效地处理违法违规等异常内容的网络资源访问请求，提高网络资源内容检测的效率。
本公开实施例可以与所述CDN节点的网络架构紧密结合，完善检测的机制，降低网络资源内容检测的成本，并实现网络资源内容检测处理的自动化。
通过以下参照附图对本公开的示例性实施例的详细描述，本公开实施例的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开实施例的原理。
图1为可用于实现本公开实施例的电子设备的硬件配置结构方框图。
图2为本公开实施例的网络分发内容检测处理应用场景框图。
图3为本公开第一实施例的网络分发内容检测处理方法步骤流程图。
图4为本公开第二实施例的网络分发内容检测处理方法步骤流程图；
图5为本公开实施例的网络分发内容检测处理方法第一示例流程图；
图6为本公开实施例的网络分发内容检测处理方法第二示例流程图；
图7为本公开第一实施例的网络分发内容检测处理装置的结构方框图。
图8为本公开第二实施例的网络分发内容检测处理装置的结构方框图。
图9为本公开实施例的网络分发内容检测处理系统的结构方框图。
图10为本公开实施例的电子设备的结构方框图。
具体实施方式
现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开实施例的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开实施例及其应用或使用的任何限制。
对于相关领域普通技术人物已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
<实施环境及硬件配置>
图1是示出可以实现本公开的实施例的电子设备1000的硬件配置的结构方框图。
电子设备1000可以是台式计算机、服务器设备等。
服务器设备可以是整体式服务器或是跨多计算机或计算机数据中心的分散式服务器。服务器可以是各种类型的，例如但不限于，内容分发网络的节点设备、分布式存储系统的存储服务器、云数据库服务器、云计算服务器、云管理服务器、网络服务器、新闻服务器、邮件服务器、消息服务器、广告服务器、文件服务器、应用服务器、交互服务器、存储服务器、数据库服务器或代理服务器等。在一些实施例中，每个服务器可以包括硬件，软件，或用于执行服务器所支持或实现的合适功能的内嵌逻辑组件或两个或多个此类组件的组合。例如，服务器例如刀片服务器、云端服务器等，或者可以是由多台服务器组成的服务器群组，可以包括上述类型的服务器中的一种或多种等等。
如图1所示，电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400，或者还可以包括显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器1100可以是中央处理器CPU、微处理器MCU等，用于执行计算机程序。该计算机程序可以采用比如x86、Arm、RISC、MIPS、SSE等架构的指令集编写。存储器1200例如包括只读存储器(ROM)、随机存取存储器(RAM)、诸如硬盘的非易失性存储器等。接口装置1300例如包括USB接口、耳机接口等。通信装置1400例如能够利用光纤或电缆进行有线通信，或者进行无线通信，具体地可以包括WiFi通信、蓝牙通信、2G/3G/4G/5G通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。用户可以通过扬声器1700和麦克风1800输入/输出语音信息。
图1所示的电子设备仅仅是说明性的并且决不意味着对本公开实施例、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开实施例提供的任意一项网络分发内容检测处理方法。本领域技术人员应当理解，尽管在图1中对电子设备1000示出了多个装置，但是，本公开实施例可以仅涉及其中的部分装置，例如电子设备1000可以只涉及处理器1100和存储装置1200。技术人员可以根据本公开实施例所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
<应用场景>
下面，首先结合图2对本公开实施例的方法的应用场景作出说明。参考图2，图2为本公开实施例的网络分发内容检测处理应用场景框图。
如图2所示，本公开实施例的应用场景中包括客户端2100、CDN节点2300、汇聚中心系统2400和检测系统2500，客户端2100、CDN节点2300、汇聚中心系统2400和检测系统2500之间通过网络2200进行交互通讯。其中汇聚中心系统2400是为了实施现本公开实施例的网络内容资源调度方法而引入的新的设备。本公开一个实施例的网络内容资源调度方法执行在CDN节点2300端，本公开另一个实施例的网络内容资源调度方法执行在汇聚中心系统2400端。
具体地，客户端2100的客户端通过网络2200向CDN节点2300发送访问请求，其中访问请求中包含客户端要访问的网络资源内容的资源定位信息。CDN节点2300收到访问请求后，通过网络2200向汇聚中心系统2400发送检测请求，其中检测请求中包含该访问请求中客户端要访问的网络资源内容的资源定位信息。汇聚中心系统2400收到CDN节点2300发送的检测请求后，通过网络2200将检测请求中的资源定位信息发送至检测系统2500。检测系统2500对接收的资源定位信息对应的客户端要访问的网络资源内容进行正常或异常内容检测，并把检测结果发给汇聚中心系统2400。汇聚中心系统2400把检测结果发给CDN节点2300，CDN节点2300根据检测结果对客户端2100的访问请求执行相应处理。
下面，将结合具体实施例和附图对本公开实施例的网络内容资源调度方法进行展开说明。
<方法实施例一>
在本公开一个实施例中，提供一种网络分发内容检测处理方法，执行在汇聚中心系统端，该汇聚中心系统例如是图2所示的汇聚中心系统2400。如上文所述，汇聚中心系统分别与CDN节点及检测系统连接，作为CDN节点和检测系统二者之间的中间系统，其中，CDN节点用于响应客户端访问请求提供对应的网络资源内容，检测系统用于检测客户端请求访问的网络资源内容是否为异常。
请参考图3，该图为本公开第一实施例的网络分发的内容检测处理方法步骤流程图，本实施例中，网络分发内容检测处理方法执行在汇聚中心系统端。
该方法可以是由电子设备或由多个电子设备组成的系统实施，该电子设备例如可以是如图1所示的电子设备1000。
如图3所示，本公开实施例的网络分发内容检测处理方法包括以下步骤：
步骤102，接收CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息。
通常，当客户端通过客户端的浏览器或者应用程序(Application，APP)访问某互联网的网络资源内容会向CDN节点发送一访问请求，该请求中会包含网络资源内容的资源定位信息，例如统一资源定位符(Uniform Resource Locator，URL)。CDN节点收到该访问请求后，可以根据访问请求中包含的URL获取该客户端请求访问的网络资源内容，并向客户端提供该网络资源内容。
步骤104，判断所述检测请求包含的所述资源定位信息是否需要检测。
为了提高内容访问的响应效率或降低检测成本，并非接收的所有检测请求均需要检测，可以对需要对检测请求中的资源定位信息进行判定，例如各检测请求中资源定位信息可能存在重复的情况，或者之前已经判断过相同的资源定位信息的情况，在此种情况下，就可以采用去重或者调取历史检测结果的方式进行响应，从而提高内容访问的响应效率，下文中将会展开描述。因此，这里需要判断当前接收的检测请求中包含的资源定位信息是否需要检测。
步骤106，在判断需要检测的情况下，将所述资源定位信息发送至一检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测。
检测系统例如为AI检测系统工具，可操作地直接或间接与所述汇聚中心系统连接，利用集成的人工智能识别算法可自动检测网络资源内容是否为异常内容。
步骤108，接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
当所述检测结果提示所述网络资源内容为异常内容时，即表示检测系统检测发现该网络资源内容有涉黄、涉恐、涉政或其他违法违规信息。在一个实施例中，所述处理包括向客户端返回提示所述资源内容为异常内容的信息和/或删除所述网络资源内容等屏蔽处理。CDN节点向客户端返回的提示信息可以是特定的异常提示信息，例如“此内容违规”等固定文字、图片或视频作为所述访问请求的反馈。将这些提示信息发送给客户端的浏览器或APP，而不再向客户端提供要访问的网络资源内容。
可选的，所述CDN节点也可以执行删除异常内容的屏蔽处理，由此当客户端后续再访问该网络资源内容时，不论该资源定位信息是否被检测，该网络资源内容都将无法被获取。进而，可选的也可以同时执行向客户端返回提示信息和删除异常内容的屏蔽处理。
可选的，在一个实施例中，所述方法还包括：在所述检测结果提示所述网络资源内容为正常内容，且所述CDN节点未获取所述网络资源内容的情况下，即检测发现该网络资源内容没有涉黄、涉恐、涉政等违法违规信息，汇聚中心系统则将所述检测结果发送至所述CDN节点，以便所述CDN节点获取所述网络资源内容。
在一个实施例中，CDN节点需等待汇聚中心系统的检测结果，并根据检测结果响应访问请求，即在获得汇聚中心系统的检测结果前CDN节点不会响应客户端的访问请求，CDN节点会一直等待汇聚中心的检测结果，只有当CDN节点获得了汇聚中心系统的检测结果后，CDN节点才会根据检测结果进行相应的处理，若CDN节点获得的检测结果为异常内容则执行屏蔽处理作为所述访问请求的反馈。若CDN节点获得的检测结果为正常内容则获取所述网络资源内容作为所述访问请求的反馈。CDN节点需要等待汇聚中心系统的检测结果再进行客户端访问请求的响应。在此情况下，客户端将等待较长时间才能最终获得访问请求的反馈。
可选的，在另一个实施例中，为了快速响应客户端的访问请求，CDN节点也可以在接收到客户端的访问请求后直接获取访问请求的网络资源内容作为该访问请求的反馈，发送给客户端客户端。即，CDN节点不必等待汇聚中心系统对该访问请求中包含的资源定位信息对应的网络资源内容的检测结果，而是先直接响应客户端客户端。CDN节点可以在此同时向汇聚中心系统发送检测请求，当收到的检测结果提示该网络资源内容为异常内容的情况下，再执行屏蔽处理，例如删除该访问请求对应的网络资源内容。由此当客户端后续再访问该网络资源内容时，不论该资源定位信息是否被检测，该网络资源内容都将无法被获取。这样一方面缩短了客户端的反馈响应时间，另一方面也达到了异常内容管理的效果，提升了客户端体验。
可选的，在进一步的实施例中，由于CDN节点响应客户端的访问请求不依赖于获得汇聚中心系统发送的检测结果，因此，汇聚中心系统当收到所述检测结果提示网络资源内容为正常内容时，汇聚中心系统可不再向CDN节点发送该检测结果。而仅在汇聚中心系统收到所述检测结果提示网络资源内容为异常内容时，才向CDN节点发送该检测结果。
在上述实施例中，汇聚中心接收到的全部检测请求中包含的资源定位信息都需要逐一进行检测，因此检测成本较高、检测速度较慢、检测效率也较低。在一个实施例中，所述汇聚中心系统执行的方法还包括：保存所述资源定位信息及其对应的检测结果到数据库中；其中，所述判断所述检测请求包含的所述资源定位信息是否需要检测包括：判断所述检测请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；在确定所述检测请求包含的所述资源定位信息不匹配所述数据库中保存的资源定位信息时，意味着该资源定位信息对应的网络资源内容从未被检测中心检测过，则判断所述资源定位信息需要检测。汇聚中心系统则会将该资源定位信息发送到检测系统进行检测。如果数据库中匹配到该资源定位信息的保存数据，则判断该检测请求中包含的资源定位信息不需要再发送到检测系统进行检测。
在此需要说明的是，匹配指的是将检测请求包含的所述资源定位信息与数据库中保存的资源定位信息一一比对，确定数据库中是否保存有与检测请求包含的所述资源定位信息一致的资源定位信息。
可选的，在进一步的实施例中，所述方法还包括：在确定所述检测请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息时，从所述数据库中获取所述资源定位信息对应的历史检测结果；将所述历史检测结果作为检测结果发送至所述CDN节点，以便所述CDN节点执行相应操作。保存历史检测结果并据此响应检测请求使得汇聚中心系统不再需要向一检测系统发送资源定位信息并等待检测系统返回的检测结果，可以极大的缩短反馈时间、节约成本、提高效率。
在此需要说明的是，历史检测结果指的是汇聚中心系统端过去接收并检测过与当前所接收的CDN节点发送的对要访问的网络资源内容的检测请求相同的历史检测请求，并将检测得到的历史检测结果存储到数据库内，用以后续再接收到与历史检测请求相同的检测请求的情况下，将所存储的历史检测结果返回给CDN节点。
当汇聚中心系统在一定时间段内接收的多个检测请求中包含的资源定位信息存在重复的情况时，如果每个重复的资源定位信息都送到检测系统去检测，则检测成本会较高。可选的，为进一步提高检测效率、节约成本，在一个实施例中，所述判断所述检测请求包含的所述资源定位信息是否需要检测包括：判断所述检测请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息，在确定所述检测请求包含的所述资源定位信息不匹配所述数据库中保存的资源定位信息时，判断所述检测请求中包括的所述资源定位信息是否与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复，在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息不存在重复时，确定所述资源定位信息需要检测，在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复时，从所述资源定位信息重复的多个检测请求中保留一个检测请求，并确定所述检测请求包含的资源定位信息需要检测。
预定时间段内接收的检测请求也包括同一时刻接收的检测请求，重复资源定位信息如果为之前没有被检测的资源定位信息，即数据库中也不存在该资源定位信息匹配的历史检测结果记录。
对于预定时间段内接收到检测请求里的资源定位信息，例如URL之后，可以对其进行去重处理，来判断该URL是否需要进一步发往检测系统进行检测。
如果接收的资源定位信息重复，可能存在很多客户端一起访问同一个之前没有被检测的全新的URL，比如抢红包活动，比如点击同一个视频，或者同时多个客户端请求访问同一个网络资源内容，这时多个访问请求中包含的URL会存在重复情况，则需要对这些预定时间段内接收的重复URL进行去重，只保留一个检测请求，并将该检测请求中URL发送到检测系统进行检测即可。
当汇聚中心系统端在接收到检测系统发送的检测结果后，不仅仅将检测结果发送给被保留的检测请求对应的CDN节点，还响应所述资源定位信息重复的多个检测请求中未被保留的检测请求，将被保留的检测请求的检测结果发送给所述CDN节点，以便所述内容分发代理获取所述网络资源内容。
当汇聚中系统接收到大量的资源定位信息时，即使经过了去除重复的URL的处理，但逐条检测每个资源定位信息仍会带来检测效率低、检测费用高、检测耗时长的问题。可选的，在进一步的实施例中，所述判断所述检测请求包含的所述资源定位信息是否需要检测包括：对判断需要检测的资源定位信息进行抽样；判断抽样的所述资源定位信息需要检测。
因此，可以对去除重后的资源定位信息再进一步进行抽样，然后送入检测系统进行检测。
抽样可以按照预定比例，例如根据资源定位信息的数量，配置比例为0.1％～1％之间，具体根据实际应用场景确定。
对于CDN节点需等待汇聚中心系统的检测结果，并根据检测结果响应访问请求的情况，对应上述未被保留或者未被抽样的检测请求，CDN节点仍需要汇聚中心系统对其检测请求进行反馈才可执行后续处理。可选的，在进一步的实施例中，所述方法还包括：响应所述资源定位信息重复的多个检测请求中未被保留的检测请求，或响应资源定位信息未被抽样的检测请求，向所述CDN节点发送提示所述资源定位信息无需检测的通知，以便所述内容分发代理获取所述网络资源内容。
也就是说，该访问请求对应的资源定位信息被去重且被抽样不需要检测，这时默认该资源定位信息对应的网络资源内容是正常的内容。因此，汇聚中心系统向CDN节点发送提示该访问请求的资源定位信息无需检测的通知，以使内容分发代理在默认该网络资源内容为正常内容的情况下，根据资源定位信息获取对应的网络资源内容，并响应给客户端。
在该实施例中，CDN节点需等待汇聚中心系统的检测结果再响应访问请求，因此，CDN节点在接收到提示资源定位信息无需检测的通知时，默认该资源定位信息对应的网络资源内容为正常内容，则正常响应访问请求，根据访问请求中的资源定位信息，获取对应的网络资源内容并发送给客户端。
在一个实施例中，所述检测结果中包括置信度，所述置信度，为所述检测系统检测所述资源定位信息对应的网络资源内容为异常内容的可信程度；在所述将所述检测结果发送至所述CDN节点之前，所述方法还包括：将所述检测结果中包含的置信度与预定阈值进行比较；在所述置信度大于预定阈值的情况下，所述检测结果指示所述网络资源内容为异常内容，汇聚中心系统端执行所述将所述检测结果发送至所述CDN节点的步骤。
在检测系统，例如AI检测的背景下，检测结果的准确性不会是100％，假设一个URL判断为异常内容的置信度是90％，另外一个URL判断为异常内容的置信度是70％，则可以配置置信度大于80％的才是真正的异常内容。阈值的具体数值配置可以根据实际应用场景确定，例如位于70％～95％之间。
在具体的处理环节，可以利用预定阈值和检测结果中包含的检测置信度对检测结果进行分级处理。即检测置信度高的检测结果对应的网络资源内容发送给CDN节点继续处理，检测确定性不高，即检测置信度相对低的对应的网络资源内容可以默认检测正常或者转发给人工来处理。
可选的，在进一步的实施例中，对于未被保留的检测请求或未被抽样的检测请求，由于默认为其对应包含的资源定位信息为正常内容，因此汇聚中心系统可以不向CDN节点发送提示该检测请求中包含的资源定位信息无需检测的通知。
<方法实施例二>
在本公开一个实施例中，还提供一种网络分发内容检测处理方法，执行在CDN节点端，该CDN节点例如是图2所示的CDN节点2300。
请参考图4，该图为本公开第二实施例的网络分发内容检测处理方法步骤流程图，本实施例中，网络分发内容检测处理方法执行在CDN节点端。
该方法也可以是由电子设备或由多个电子设备组成的系统实施，该电子设备例如可以是如图1所示的电子设备1000。
如图4所示，本公开实施例的网络分发内容检测处理方法包括以下步骤：
步骤202，接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求。
如上文所述，客户端通过客户端的浏览器或者APP访问某互联网的网络资源内容会向CDN节点发送一访问请求，该请求中会包含网络资源内容的资源定位信息，例如URL。
步骤204，发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统。
由于客户端向CDN节点访问的网络资源内容可能存在涉黄、涉恐、涉政等违法违规信息，因此需要对该网络资源内容进行检测。根据资源定位信息可以获取到对应的网络资源内容，因此CDN节点可以将包括要检测的网络资源内容的资源定位信息包含在检测请求中，并发给对检测的资源定位信息进行统一管理的汇聚中心系统。
步骤206，接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理作为所述访问请求的反馈。
当所述检测结果提示所述网络资源内容为异常内容时，即表示检测系统检测发现该网络资源内容有涉黄、涉恐、涉政或其他违法违规信息。在一个实施例中，所述处理包括向客户端返回提示所述资源内容为异常内容的信息和/或删除所述网络资源内容等屏蔽处理。CDN节点向客户端返回的提示信息可以是特定的异常提示信息，例如“此内容违规”等固定文字、图片或视频作为所述访问请求的反馈。将这些提示信息发送给客户端的浏览器或APP，而不再向客户端提供要访问的网络资源内容。
可选的，所述CDN节点也可以执行删除异常内容的屏蔽处理，由此当客户端后续再访问该网络资源内容时，不论该资源定位信息是否被检测，该网络资源内容都将无法被获取。进而，可选的也可以同时执行向客户端返回提示信息和删除异常内容的屏蔽处理。
可选的，在一个实施例中，所述方法还包括：在所述检测结果提示所述网络资源内容为正常内容，且未获取所述网络资源内容的情况下，即检测发现该网络资源内容没有涉黄、涉恐、涉政等违法违规信息，汇聚中心系统则将所述检测结果发送至所述CDN节点以便所述CDN节点获取所述网络资源内容。
在一个实施例中，CDN节点需等待汇聚中心系统的检测结果，并根据检测结果响应访问请求，即在获得汇聚中心系统的检测结果前CDN节点不会响应客户端的访问请求，CDN节点会一直等待汇聚中心的检测结果，只有当CDN节点获得了汇聚中心系统的检测结果后，CDN节点才会根据检测结果进行相应的处理，若CDN节点获得的检测结果为异常内容则执行屏蔽处理作为所述访问请求的反馈。若CDN节点获得的检测结果为正常内容则获取所述网络资源内容作为所述访问请求的反馈。CDN节点需要等待汇聚中心系统的检测结果再进行客户端访问请求的响应。在此情况下，客户端将等待较长时间才能最终获得访问请求的反馈。
可选的，在另一个实施例中，为了快速响应客户端的访问请求，CDN节点也可以在接收到客户端的访问请求后直接获取访问请求的网络资源内容作为该访问请求的反馈，发送给客户端。即，CDN节点不必等待汇聚中心系统对该访问请求中包含的资源定位信息对应的网络资源内容的检测结果，而是先直接响应客户端。CDN节点可以在此同时向汇聚中心系统发送检测请求，当收到的检测结果提示该网络资源内容为异常内容的情况下，再执行屏蔽处理，例如删除该访问请求对应的网络资源内容。由此当客户端后续再访问该网络资源内容时，不论该资源定位信息是否被检测，该网络资源内容都将无法被获取。这样一方面缩短了客户端的反馈响应时间，另一方面也达到了异常内容管理的效果，提升了客户端体验。
可选的，在进一步的实施例中，由于CDN节点响应客户端的访问请求不依赖于获得汇聚中心系统发送的检测结果，因此，汇聚中心系统当收到所述检测结果提示网络资源内容为正常内容时，汇聚中心系统可不再向CDN节点发送该检测结果。而仅在汇聚中心系统收到所述检测结果提示网络资源内容为异常内容时，才向CDN节点发送该检测结果。
上述CDN节点接收到的汇聚中心发送的检测结果，可以是汇聚中心系统从检测系统收的检测结果，可以是汇聚中心系统将当前检测请求中包含的URL送入到检测系统检测后得到结果，也可以是汇聚中心系统数据库中保存的历史检测结果。但是检测结果的来源对于CDN节点来说，没有任何区别，CDN节点仅需要知道汇聚中心系统发送的对当前检测请求的检测结果之后做对应的处理。
如上文所述，在汇聚中心系统通过去除重或进一步的抽样处理导致部分检测请求的资源定位信息无需检测的，CDN节点需要被告知。因此，可选的，在一个实施例中，所述方法还包括：接收所述汇聚中心系统发送的通知，当所述通知提示所述资源定位信息无需检测时，根据所述访问请求的资源定位信息获取对应的网络资源内容；向客户端发送所述网络资源内容作为所述访问请求的反馈。
在后续存在客户端对该删除的网络资源内容进行访问的情况下，若网络分发系统再向汇聚中心系统发送对该网络资源内容的是否异常的检测请求，则会不当地消耗检测成本、降低响应时间。可选的，在进一步的实施例中，在所述删除所述网络资源内容之后，所述方法还包括：保存所述删除的网络资源内容对应的资源定位信息及其检测结果到数据库中；在收到客户端发送的包含所述资源定位信息的访问请求时，判断所述访问请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；在确定所述访问请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息时，从所述数据库中获取所述资源定位信息对应的历史检测结果；将所述历史检测结果作为检测结果，向客户端返回提示所述资源内容为异常内容的信息作为所述访问请求的反馈。
可选的，可以设置CDN节点不必等待任何检测结果而直接获取访问请求中的资源定位信息所对应的网络资源内容作为响应，如果汇聚中心系统得到检测结果是提示网络资源内容为正常内容时，汇聚中心系统也可以不向CDN节点发送该检测结果。同样地，对于未被保留的检测请求或未被抽样的检测请求，汇聚中心系统可以不向CDN节点发送提示该检测请求中包含的资源定位信息无需检测的通知。
<例子一>
下面将结合具体的示例对本公开实施例的网络分发内容检测处理方法进行展开说明，其中，图5为本公开实施例的网络分发内容检测处理方法的示例流程图，该例子中，CDN节点需等待检测结果后再响应客户端客户端的访问请求。
如图5所示，在该示例中，本公开的网络分发内容检测处理方法在客户端、CDN节点、源站、汇聚中心系统和检测系统之间进行交互。其中，客户端例如为发送访问请求的浏览器、APP等，CDN节点例如为CDN、对象存储网络等。源站也可以替换为CDN的边缘节点、中层节点或上层节点，其上存储有访问请求对应的网络资源内容即可。检测系统例如为集成AI识别算法的AI检测系统工具。
这里的客户端、CDN节点、汇聚中心系统和检测系统可以是图2所述的客户端2100、CDN节点2300、汇聚中心系统2400和检测系统2500。
具体来说，该网络分发内容检测处理方法包括以下步骤：
步骤1-1，客户端通过客户端的浏览器或者APP访问互联网的网络资源内容；
步骤2-1，客户端发送访问请求，访问请求中包含要访问的网络资源内中包含要访问的网络资源内容的资源定位信息，例如以URL的形式，访问到CDN等进行内容加速的CDN节点；
步骤3-1，CDN节点收到URL后，实时将URL推送给URL汇聚中心系统；
步骤4-1，汇聚中心系统实时对接收到的URL进行处理，诸如：历史检测结果判断、去除重复、队列抽样，并判断该URL是否需要进一步发往检测系统进行检测；
步骤5.1-1，如果汇聚中心系统判断该URL不需要检测，则进一步根据该URL为去除重复的URL还是未被抽样的URL，还是存在历史检测结果的URL，发送提示该访问请求的URL无需检测的通知或对应的历史检测结果到CDN节点。对于存在历史检测结果的URL，在该URL的历史检测结果为对应请求网络资源内容是异常内容时，通知CDN节点进入步骤10.1-1，在该URL的历史检测结果为对应请求网络资源内容时正常内容或者该URL为未被抽样时，通知CDN节点进入步骤8-1；
步骤5.2-1，如果判断该URL需要检测，汇聚中心系统则将URL发往检测系统进行检测，其中检测系统的URL请求对应网络资源内容的检测可以采用现有检测方式，这里不再赘述；
步骤6-1，检测系统检测URL后，将该URL的检测结果返回给汇聚中心系统。
步骤7-1，汇聚中心系统将检测结果告诉CDN节点，CDN节点根据检测结果来判断下一步的动作。如果检测该URL对应的网络资源内容为正常，CDN节点进入步骤8-1；如果检测为异常，CDN节点进入步骤10.1-1；
步骤8-1，CDN节点向源站请求URL对应的实际网络资源内容；
步骤9-1，CDN节点从源站获取到实际网络资源内容；
步骤10.1-1CDN节点执行网络资源内容屏蔽处理，返回可以定制的异常提示信息给客户端的浏览器/APP，即客户端从浏览器/APP上会看到例如滚动“此内容违规”的固定视频或展示图片；
步骤10.2-1，CDN节点返回实际的网络资源内容给客户端浏览器/APP。
步骤11-1，汇聚中心系统还可以实时记录和保存检测结果，作为后续重复资源定位信息对应网络资源内容的历史检测结果。并可用于后期的展示、推送。这里，后期展示和推送可以是将检测结果发送给对应网络资源内容发布平台的企业或客户，例如客户端请求访问的资源为抖音、快手等平台的小视频，则汇聚中心系统可以进一步将检测结果发送给抖音、快手的企业后台管理，为企业所用。
<例子二>
下面将结合具体的示例对本公开实施例的网络分发内容检测处理方法进行展开说明，其中，图6为本公开实施例的网络分发内容检测处理方法的示例流程图。该实施例对应CDN节点不必等待检测结果、收到访问请求后先直接响应访问请求发送对应的网络资源内容的情况。
如图6所示，在该示例中，本公开的网络分发内容检测处理方法在客户端、CDN节点、源站、汇聚中心系统和检测系统之间进行交互。这里的客户端、CDN节点、汇聚中心系统和检测系统可以是图2所述的客户端2100、CDN节点2300、汇聚中心系统2400和检测系统2500。
具体来说，该实施例的网络分发内容检测处理方法包括以下步骤：
步骤1-2，客户端通过客户端的浏览器或者APP访问互联网的对应资源；
步骤2-2，客户端发送包括URL的访问请求到CDN节点；
步骤3-2，CDN节点向源站请求实际网络资源内容，即CDN节点不等待该URL的检测结果；
步骤4-2，CDN节点从源站获取到实际网络资源内容；
步骤5-2，CDN节点不等待检测结果，直接返回实际网络资源内容给客户端浏览器/APP；
步骤6-2，CDN节点在步骤3-2和步骤5-2之间，将URL推送给汇聚中心系统；
步骤7-2，汇聚中心系统实时对接收到的URL进行历史检测结果判断、出除重复，或进一步的抽样处理，来判断该URL是否需要进一步发往检测系统进行检测；
步骤8-2，汇聚中心系统将处理后判断需要检测的URL发往检测中心进行检测；对于判断不需要检测的URL，汇聚中心系统不通知CDN节点；
步骤9-2，检测系统检测URL对应的网络资源内容之后，将该URL的检测结果返回给汇聚中心系统；
步骤10-2，如果检测出URL对应的网络资源内容为异常，则汇聚中心系统发送提示该网络资源内容为异常的检测结果至CDN节点，以联动CDN节点删除保存的对应内容；
步骤11-2，CDN节点收到提示异常的检测结果后，将存储的URL对应网络资源内容删除，此时可不向客户端发送例如异常提示信息的屏蔽处理。在一个示例中，CDN节点还可以后续继续屏蔽该内容，即后续有客户端再次到CDN节点访问该网络资源内容时，进入步骤12-2；
步骤12-2，CDN节点向客户端返回异常提示信息：如信息涉黄、涉政等。
步骤13-2，汇聚中心系统实时记录和保存检测结果，作为后续重复的URL对应网络资源内容的历史检测结果。并用于后期的展示、推送。
根据本公开实施例，通过接收CDN节点发送的对要访问的网络资源内容的检测请求，并发送至检测系统进行检测，然后把检测该网络资源内容是否异常的检测结果发给CDN节点，使得CDN节点在收到提示该网络资源内容为异常内容的检测结果时，对该网络资源内容进行屏蔽处理或删除处理。如此可以实现对CDN节点上的网络资源内容从检测到内容分发处理的整体流程的全自动化。
通过本公开实施例的网络分发内容检测处理方法，从检测发现问题到处理完问题，完全不需要人工参与，大大提升网络资源内容检测以及处理的效率。
并且，整个检测处理耗时也非常短，极大地提高了对网络分发内容检测处理的速度。对于CDN节点等待检测结果后再响应客户端的访问请求的情况，利用本公开实施例的网络分发内容检测方法，从检测发现异常网络资源内容到屏蔽处理完异常的网络资源内容，耗时仅在秒级别。
通过在汇聚中心系统端及/或CDN节点端存储历史资源定位信息及其检测结果，并利用历史检测结果直接对客户端的访问请求的网络资源内容进行检测处理，不仅缩短了检测所需的时间，还很大程度地降低了检测成本。
本公开实施例中，汇聚中系统与CDN节点的网络架构紧密结合，通过完善的检测机制，降低了网络资源内容检测的成本，并实现网络资源内容检测处理的自动化。
<装置实施例一>
在本公开另一个实施例中，还提供了一种网络分发内容检测处理装置3000，执行在汇聚中心系统端。如图7所示，图7为本公开第一实施例的网络分发内容检测处理装置的结构方框图。
所述网络分发内容检测处理装置3000包括：
接收模块3200，接收CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息；判断模块3400，用于判断所述检测请求包含的所述资源定位信息是否需要检测；请求模块3600，用于在判断需要检测的情况下，将所述资源定位信息发送至一检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；响应模块3800，用于接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
在一个实施例中，所述处理包括以下至少之一：向客户端返回提示所述资源内容为异常内容的信息，删除所述网络资源内容。
在一个实施例中，所述响应模块3800还用于：
在所述检测结果提示所述网络资源内容为正常内容，且所述CDN节点未获取所述网络资源内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点获取所述网络资源内容。
在一个实施例中，所述装置3000还包括保存模块(图中未示出)，用于：
保存所述资源定位信息及其对应的检测结果到数据库中；
在一个实施例中，所述判断模块3400还用于：
判断所述检测请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；
在确定所述检测请求包含的所述资源定位信息不匹配所述数据库中保存的资源定位信息时，判断所述检测请求中包括的所述资源定位信息是否与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复；
在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息不存在重复时，确定所述资源定位信息需要检测；
在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复时，从所述资源定位信息重复的多个检测请求中保留一个检测请求，并确定所述检测请求包含的资源定位信息需要检测。
在一个实施例中，所述响应模块3800还用于：
在确定所述检测请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息的情况下，从所述数据库中获取所述资源定位信息对应的历史检测结果；
将所述历史检测结果作为检测结果发送至所述CDN节点，以便所述CDN节点执行相应操作。
在一个实施例中，所述响应模块3800还用于：
响应所述资源定位信息重复的多个检测请求中未被保留的检测请求，将被保留的检测请求的检测结果发送给所述CDN节点，以便所述内容分发代理获取所述网络资源内容。
在一个实施例中，所述检测结果中包括置信度，所述置信度，为所述检测系统检测所述资源定位信息对应的网络资源内容为异常内容的可信程度；
所述响应模块3800还用于：在所述响应模块3800将所述检测结果发送至所述CDN节点之前，将所述检测结果中包含的置信度与预定阈值进行比较；
在所述置信度大于预定阈值的情况下，所述检测结果指示所述网络资源内容为异常内容。
在一个实施例中，所述响应模块3800还用于；
将所述检测结果发送至所述CDN节点，以便所述CDN节点删除所述网络资源内容。
<装置实施例二>
在本公开又一个实施例中，还提供了一种网络分发内容检测处理装置4000，执行在CDN节点端。如图8所示，图8为本公开第二实施例的网络分发内容检测处理装置的结构方框图。
所述网络分发内容检测处理装置4000包括：
接收模块4200，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；发送模块4400，用于发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统；处理模块4600，用于处理模块，用于接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理作为所述访问请求的反馈。
在一个实施例中，所述处理以下至少之一：包括向客户端返回提示所述资源内容为异常内容的信息，删除所述网络资源内容。
在一个实施例中，所述处理模块4600还用于：
在所述检测结果提示所述网络资源内容为正常内容，且未获取所述网络资源内容的情况下，根据所述访问请求的资源定位信息获取对应的网络资源内容；
向客户端发送所述网络资源内容作为所述访问请求的反馈。
在一个实施例中，所述装置4000还包括反馈模块(图中未示出)，用于：在所述接收模块4200接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求之后，根据所述访问请求中的资源定位信息获取对应的网络资源内容；向客户端发送所述网络资源内容作为所述访问请求的反馈；
其中，所述处理模块4600接收所述汇聚中心系统发送的检测结果，当所述检测结果提示所述网络资源内容为异常内容时，所述处理模块4600还用于：
删除所述网络资源内容。
在一个实施例中，所述处理模块4600还用于：在删除所述网络资源内容之后，保存所述删除的网络资源内容对应的资源定位信息及其检测结果到数据库中；
在收到客户端发送的包含所述资源定位信息的访问请求时，判断所述访问请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；
在确定所述访问请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息时，从所述数据库中获取所述资源定位信息对应的历史检测结果；
将所述历史检测结果作为检测结果，向客户端返回提示所述资源内容为异常内容的信息作为所述访问请求的反馈。
<系统实施例>
根据本公开的另一个实施例，还提供了一种网络分发内容检测处理系统5000，如图9所示，图9为本公开实施例的网络分发内容检测处理系统的结构方框图。
所述系统5000包括：
CDN节点5200、汇聚中心系统5400及检测系统5600；
所述CDN节点5200，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；发送包含所述要访问的网络资源内容的资源定位信息的检测请求至所述汇聚中心系统；接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理作为所述访问请求的反馈；
所述汇聚中心系统5400，接收所述CDN节点发送的对要访问的网络资源内容的检测请求；判断所述检测请求包含的所述资源定位信息是否需要检测；在判断需要检测的情况下，将所述资源定位信息发送至所述检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理；
所述检测系统5600，用于接收所述汇聚中心系统发送的所述资源定位信息；对所述资源定位信息对应的网络资源内容进行检测以得到所述检测结果；将所述检测结果发送至所述汇聚中心系统。
<电子设备实施例>
根据本公开的再一个实施例，还提供了一种电子设备，该电子设备6000可以是图1所示的电子设备1000。图10为本公开实施例的电子设备的结构方框图。
一方面，该电子设备6000可以包括前述网络分发内容检测处理装置3000或4000，用于实施本公开任意实施例的网络分发内容检测处理方法。
另一方面，如图10所示，电子设备6000可以包括存储器6200和处理器6400，存储器6200用于存储可执行的指令；该指令用于控制处理器6400执行前述的网络分发内容检测处理方法。
在本实施例中，电子设备6000可以是台式机、工作站、游戏机、服务器等任意具有存储器6200以及处理器6400的电子产品。
<计算机存储介质实施例>
最后，根据本公开的又一个实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被处理器执行时实现根据本公开任意实施例所述的网络分发内容检测处理方法。
本公开实施例可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开实施例的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开实施例操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开实施例的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人物来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人物来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人物能理解本文披露的各实施例。本公开实施例的范围由所附权利要求来限定。

Claims (18)

1.一种网络分发内容检测处理方法，其特征在于，执行在汇聚中心系统端，所述方法包括：
接收内容分发网络CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息；
判断所述检测请求包含的所述资源定位信息是否需要检测；
在判断需要检测的情况下，将所述资源定位信息发送至检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；
接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
2.根据权利要求1所述的方法，其中，所述处理包括以下至少之一：
向客户端返回提示所述资源内容为异常内容的信息，删除所述网络资源内容。
3.根据权利要求1所述的方法，其中，所述方法还包括：
在所述检测结果提示所述网络资源内容为正常内容，且所述CDN节点未获取所述网络资源内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点获取所述网络资源内容。
4.根据权利要求1所述的方法，其中，所述方法还包括：
保存所述资源定位信息及其对应的检测结果到数据库中。
5.根据权利要求4所述的方法，其中，所述判断所述检测请求包含的所述资源定位信息是否需要检测包括：
判断所述检测请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；
在确定所述检测请求包含的所述资源定位信息不匹配所述数据库中保存的资源定位信息时，判断所述检测请求中包括的所述资源定位信息是否与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复；
在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息不存在重复时，确定所述资源定位信息需要检测；
在确定所述检测请求中包括的所述资源定位信息与预定时间段内接收的其他检测请求中包括的资源定位信息存在重复时，从所述资源定位信息重复的多个检测请求中保留一个检测请求，并确定所述检测请求包含的资源定位信息需要检测。
6.根据权利要求5所述的方法，其中，
在确定所述检测请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息的情况下，所述方法还包括：
从所述数据库中获取所述资源定位信息对应的历史检测结果；
将所述历史检测结果作为检测结果发送至所述CDN节点，以便所述CDN节点执行相应操作。
7.根据权利要求5所述的方法，其中，所述方法还包括：
响应所述资源定位信息重复的多个检测请求中未被保留的检测请求，将被保留的检测请求的检测结果发送给所述CDN节点，以便所述内容分发代理获取所述网络资源内容。
8.根据权利要求1所述的方法，其中，所述检测结果中包括置信度，所述置信度为所述检测系统检测所述资源定位信息对应的网络资源内容为异常内容的可信程度；
在所述置信度大于预定阈值的情况下，所述检测结果指示所述网络资源内容为异常内容。
9.一种网络分发内容检测处理方法，其特征在于，执行在内容分发网络CDN节点端，所述方法包括：
接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；
发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统；
接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理。
10.根据权利要求9所述的方法，其中，所述处理包括以下至少之一：
向客户端返回提示所述资源内容为异常内容的信息，删除所述网络资源内容。
11.根据权利要求9所述的方法，其中，所述方法还包括：
在所述检测结果提示所述网络资源内容为正常内容，且未获取所述网络资源内容的情况下，根据所述访问请求的资源定位信息获取对应的网络资源内容；
向客户端发送所述网络资源内容作为所述访问请求的反馈。
12.根据权利要求9所述的方法，其中，在所述接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求之后，所述方法还包括：
根据所述访问请求中的资源定位信息获取对应的网络资源内容；
向客户端发送所述网络资源内容作为所述访问请求的反馈；
其中，在所述接收所述汇聚中心系统发送的检测结果，当所述检测结果提示所述网络资源内容为异常内容时，所述方法还包括：
删除所述网络资源内容。
13.根据权利要求12所述的方法，其中，在所述删除所述网络资源内容之后，所述方法还包括：
保存所述删除的网络资源内容对应的资源定位信息及其检测结果到数据库中；
在收到客户端发送的包含所述资源定位信息的访问请求时，判断所述访问请求包含的所述资源定位信息是否匹配所述数据库中保存的资源定位信息；
在确定所述访问请求包含的所述资源定位信息匹配所述数据库中保存的资源定位信息时，从所述数据库中获取所述资源定位信息对应的历史检测结果；
将所述历史检测结果作为检测结果，向客户端返回提示所述资源内容为异常内容的信息作为所述访问请求的反馈。
14.一种网络分发内容检测处理装置，其特征在于，执行在汇聚中心系统端，所述装置包括：
接收模块，接收内容分发网络CDN节点发送的对要访问的网络资源内容的检测请求，所述检测请求中包含要访问的网络资源内容的资源定位信息；
判断模块，用于判断所述检测请求包含的所述资源定位信息是否需要检测；
请求模块，用于在判断需要检测的情况下，将所述资源定位信息发送至一检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；
响应模块，用于接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点以便所述CDN节点进行处理。
15.一种网络分发内容检测处理装置，其特征在于，执行在内容分发网络CDN节点端，所述装置包括：
接收模块，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；
发送模块，用于发送包含所述要访问的网络资源内容的资源定位信息的检测请求至汇聚中心系统；
处理模块，用于接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理。
16.一种网络分发内容检测处理系统，其特征在于，所述系统包括：
内容分发网络CDN节点、汇聚中心系统及检测系统；
所述CDN节点，用于接收客户端发送的包含要访问的网络资源内容的资源定位信息的访问请求；发送包含所述要访问的网络资源内容的资源定位信息的检测请求至所述汇聚中心系统；接收所述汇聚中心系统发送的检测结果，在所述检测结果提示所述网络资源内容为异常内容的情况下，对所述网络资源内容做处理；
所述汇聚中心系统，接收所述CDN节点发送的对要访问的网络资源内容的检测请求；判断所述检测请求包含的所述资源定位信息是否需要检测；在判断需要检测的情况下，将所述资源定位信息发送至所述检测系统，以使所述检测系统对所述资源定位信息对应的网络资源内容是否异常进行检测；接收所述检测系统发送的检测结果，并在所述检测结果提示所述网络资源内容为异常内容的情况下，将所述检测结果发送至所述CDN节点；
所述检测系统，用于接收所述汇聚中心系统发送的所述资源定位信息；对所述资源定位信息对应的网络资源内容进行检测以得到所述检测结果；将所述检测结果发送至所述汇聚中心系统。
17.一种电子设备，其特征在于，包括：
根据权利要求14或15所述的网络分发内容检测处理装置；或者，
处理器和存储器，所述存储器用于存储可执行的指令，所述指令用于控制所述处理器执行根据权利要求1至13中任一项所述的网络分发内容检测处理方法。
18.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至13中任一项所述的网络分发内容检测处理方法。
CN202010367489.1A 2020-04-30 2020-04-30 网络分发内容检测处理装置、方法、系统及电子设备 Active CN111600772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010367489.1A CN111600772B (zh) 2020-04-30 2020-04-30 网络分发内容检测处理装置、方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010367489.1A CN111600772B (zh) 2020-04-30 2020-04-30 网络分发内容检测处理装置、方法、系统及电子设备

Publications (2)

Publication Number Publication Date
CN111600772A true CN111600772A (zh) 2020-08-28
CN111600772B CN111600772B (zh) 2022-05-10

Family

ID=72189611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010367489.1A Active CN111600772B (zh) 2020-04-30 2020-04-30 网络分发内容检测处理装置、方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN111600772B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491782A (zh) * 2020-09-29 2021-03-12 新华三信息安全技术有限公司 一种安全检测分析方法及装置
CN113327063A (zh) * 2021-06-25 2021-08-31 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN113453047A (zh) * 2021-07-02 2021-09-28 北京金山云网络技术有限公司 资源请求的处理方法、装置、电子设备及存储介质
CN114826964A (zh) * 2022-04-11 2022-07-29 京东科技信息技术有限公司 一种资源监控方法、装置和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300045A1 (en) * 2008-05-28 2009-12-03 Safe Channel Inc. Distributed security provisioning
CN102523130A (zh) * 2011-12-06 2012-06-27 中国科学院计算机网络信息中心 不良网页检测方法及装置
CN102567101A (zh) * 2012-01-12 2012-07-11 郑州金惠计算机系统工程有限公司 Wap手机传媒色情图像识别、监管的多进程管理系统
US8869259B1 (en) * 2011-05-19 2014-10-21 Zscaler, Inc. Cloud based inspection of secure content avoiding man-in-the-middle attacks
CN105812417A (zh) * 2014-12-29 2016-07-27 国基电子（上海）有限公司 远端服务器、路由器及不良网页信息过滤方法
CN109446461A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种cdn及cache缓存不良信息内容审计的方法
US20190081896A1 (en) * 2015-07-09 2019-03-14 Level 3 Communications, Llc Dynamic packet routing
CN110399554A (zh) * 2019-07-12 2019-11-01 苏州浪潮智能科技有限公司 一种网站内容特定信息的检测方法、装置和存储系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090300045A1 (en) * 2008-05-28 2009-12-03 Safe Channel Inc. Distributed security provisioning
US8869259B1 (en) * 2011-05-19 2014-10-21 Zscaler, Inc. Cloud based inspection of secure content avoiding man-in-the-middle attacks
CN102523130A (zh) * 2011-12-06 2012-06-27 中国科学院计算机网络信息中心 不良网页检测方法及装置
CN102567101A (zh) * 2012-01-12 2012-07-11 郑州金惠计算机系统工程有限公司 Wap手机传媒色情图像识别、监管的多进程管理系统
CN105812417A (zh) * 2014-12-29 2016-07-27 国基电子（上海）有限公司 远端服务器、路由器及不良网页信息过滤方法
US20190081896A1 (en) * 2015-07-09 2019-03-14 Level 3 Communications, Llc Dynamic packet routing
CN109446461A (zh) * 2018-10-29 2019-03-08 成都思维世纪科技有限责任公司 一种cdn及cache缓存不良信息内容审计的方法
CN110399554A (zh) * 2019-07-12 2019-11-01 苏州浪潮智能科技有限公司 一种网站内容特定信息的检测方法、装置和存储系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱子涵 等: "一种面向运营商CDN业务的不良信息检测方案设计与实现", 《电信工程技术与标准化》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112491782A (zh) * 2020-09-29 2021-03-12 新华三信息安全技术有限公司 一种安全检测分析方法及装置
CN112491782B (zh) * 2020-09-29 2022-05-27 新华三信息安全技术有限公司 一种安全检测分析方法及装置
CN113327063A (zh) * 2021-06-25 2021-08-31 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN113327063B (zh) * 2021-06-25 2023-08-18 北京奇艺世纪科技有限公司 资源检测方法、装置、电子设备及计算机可读存储介质
CN113453047A (zh) * 2021-07-02 2021-09-28 北京金山云网络技术有限公司 资源请求的处理方法、装置、电子设备及存储介质
CN114826964A (zh) * 2022-04-11 2022-07-29 京东科技信息技术有限公司 一种资源监控方法、装置和系统
CN114826964B (zh) * 2022-04-11 2024-04-05 京东科技信息技术有限公司 一种资源监控方法、装置和系统

Also Published As

Publication number Publication date
CN111600772B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN111600772B (zh) 网络分发内容检测处理装置、方法、系统及电子设备
CN110061909B (zh) 用于处理信息的方法和设备
US9558476B2 (en) Method and device for editing workspace data objects
CN106302445B (zh) 用于处理请求的方法和装置
CN110874307B (zh) 事件埋点的收集上报方法和装置
US20190102237A1 (en) Recommending applications based on call requests between applications
CN109739663A (zh) 作业处理方法、装置、设备及计算机可读存储介质
CN113900834B (zh) 基于物联网技术的数据处理方法、装置、设备及存储介质
CN111427701A (zh) 一种工作流引擎系统和业务处理方法
CN112784152A (zh) 一种标记用户的方法和装置
CN115840956A (zh) 一种文件处理方法、装置、服务器及介质
CN111831503B (zh) 一种基于监控代理的监控方法和监控代理装置
US20190379753A1 (en) Intelligently delivering notifications including summary of followed content and related content
US20180198837A1 (en) Streaming api subscription without loss of events
CN112083945A (zh) Npm安装包的更新提示方法、装置、电子设备及存储介质
CN115550295A (zh) 消息处理方法、消息显示方法及计算设备
CN114924937A (zh) 批量任务处理方法、装置、电子设备及计算机可读介质
CN113761433B (zh) 业务处理方法和装置
CN114417318A (zh) 第三方页面的跳转方法、装置和电子设备
CN115022266A (zh) 一种群成员添加方法、装置、设备及介质
CN112306791B (zh) 一种性能监控的方法和装置
CN114331516A (zh) 问卷信息处理方法、系统和装置
US20170041283A1 (en) Prioritizing and handling of messages across multiple communication systems
CN112230891A (zh) 接口文档的集成方法、装置、服务器及计算机存储介质
CN113256240A (zh) 消息的处理方法、装置和服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant