CN107784205B - 一种用户产品审核的方法、装置、服务器和存储介质 - Google Patents
一种用户产品审核的方法、装置、服务器和存储介质 Download PDFInfo
- Publication number
- CN107784205B CN107784205B CN201710962598.6A CN201710962598A CN107784205B CN 107784205 B CN107784205 B CN 107784205B CN 201710962598 A CN201710962598 A CN 201710962598A CN 107784205 B CN107784205 B CN 107784205B
- Authority
- CN
- China
- Prior art keywords
- task
- auditing
- tasks
- url
- queue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000012550 audit Methods 0.000 claims description 71
- 238000004458 analytical method Methods 0.000 claims description 21
- 238000012552 review Methods 0.000 claims description 15
- 238000009826 distribution Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 238000004220 aggregation Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 241000700605 Viruses Species 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
- G06F21/12—Protecting executable software
- G06F21/121—Restricting unauthorised execution of programs
- G06F21/128—Restricting unauthorised execution of programs involving web programs, i.e. using technology especially used in internet, generally interacting with a web browser, e.g. hypertext markup language [HTML], applets, java
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Security & Cryptography (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Technology Law (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明实施例公开了一种用户产品审核的方法、装置、服务器和存储介质。其中，方法包括：接收待审核用户产品的任务流；根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；分别读取所述任务队列中的任务进行审核，得到审核结果。本发明实施例通过将接收到的任务流根据任务的性质分发到相应的任务队列中，并分别进行审核得到审核结果，解决了针对不同任务类型，审核架构不兼容的问题，搭建了一个通用的用户产品审核架构，完善了审核流程。
Description
技术领域
本发明实施例涉及互联网技术，尤其涉及一种用户产品审核的方法、装置、服务器和存储介质。
背景技术
根据新的《中华人民共和国网络安全法》规定，云服务的提供商有责任保证其所托管内容的合法性与安全性，互联网企业需要对其托管和分发内容的合法性进行审核，例如，对用户上传到云空间或发布到网络的文字、图片、视频、网页等形式的用户产品的安全性和合法性进行审核。
现有技术中，在一套审核系统中只能审核单一的一种形式的用户产品，如在一套审核系统中只能审核图片内容是否合法，而对于其他形式的用户产品需要重新构建新的审核系统进行审核，不具有兼容性。
发明内容
本发明实施例提供一种用户产品审核的方法、装置、服务器和存储介质，以支持URL页面、图片等多类型的审核，形成具有通用性的统一审核架构。
第一方面，本发明实施例提供了一种用户产品审核方法，该方法包括：
接收待审核用户产品的任务流；
根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
分别读取所述任务队列中的任务进行审核，得到审核结果。
第二方面，本发明实施例还提供了一种用户产品审核装置，该装置包括：
任务接收模块，用于接收待审核用户产品的任务流；
任务分发模块，用于根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
任务审核模块，用于分别读取所述任务队列中的任务进行审核，得到审核结果。
第三方面，本发明实施例还提供了一种服务器，该服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的用户产品审核方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的用户产品审核方法。
本发明实施例通过将接收到的任务流根据任务的性质分发到相应的任务队列中，并分别进行审核得到审核结果，解决了针对不同任务类型，审核架构不兼容的问题，搭建了一个通用的用户产品审核架构，完善了审核流程。
附图说明
图1是本发明实施例一中的用户产品审核方法的流程图；
图2是本发明实施例二中的用户产品审核方法的流程图；
图3是本发明实施例三中的用户产品审核方法的流程图；
图4是本发明实施例四中用户产品审核装置的结构示意图；
图5是本发明实施例五中的服务器的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的用户产品审核方法的流程图，本实施例可适用于用户产品审核的情况，该方法可以由用户产品审核装置来执行，该装置例如可配置于服务器中。如图1所示，该方法具体包括：
S110、接收待审核用户产品的任务流。
其中，用户产品指的是存储在云上或直接发表在网络上的内容，包括文本、URL网页、图片、富媒体等。
根据新的《中华人民共和国网络安全法》规定，云服务的提供商有责任保证其所托管内容的合法性与安全性，防止其中包含有病毒、危害社会公共利益、敏感词汇等内容。因此，要在用户产品成功存储在云端或发表到网络之前对用户产品的内容进行审核。当有用户通过其终端上传用户产品时，服务器即可接收到待审核的用户产品的任务流，从而，可以执行S120和S130，对用户产品进行审核。
S120、根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中。
具体的，由于用户产品形式是多元的，针对不同的用户产品，其审核流程也是不同的。首先要判断用户产品的类别，根据审核任务中的用户产品的性质对其进行分类，将性质相同的任务统一放到一个任务队列中，以便在后续审核过程中执行与审核任务相匹配的审核流程。
优选的，可以根据任务流的性质将任务分为需要对审核具体内容进行抓取的URL类和无需抓取的非URL类两种，对应两种任务队列。其中，对URL类任务网页内容的抓取可以异步进行，以使审核流程紧凑，提高审核效率。
S130、分别读取所述任务队列中的任务进行审核，得到审核结果。
在对任务进行分类之后，可以从相应的任务队列中读取任务进行审核。具体的，针对不同的类别的任务队列，对任务读取的顺序不做限定，可以依次从各个任务队列中读取一个任务进行审核；也可优先读取某一任务队列中的任务，当该队列中任务读取完毕后再读取其他队列中的任务；在实际应用中取决于对审核流程的具体配置。
优选的，在读取任务队列中的任务之后，可利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
其中，审核策略内嵌在审核模块中，可以根据需要进行配置，针对不同的用户产品审核策略可以不一样，审核策略也可以是多个策略的组合。例如，黑名单策略，是否包含敏感词策略等等。策略实时服务是一个现有的服务，可以实现对任务的审核，并返回审核结果。具体的，可以根据审核数据的数据量的大小对审核方式进行选择，例如，当审核数据比较多的时候，传送给策略实时服务审核就会过多的占用数据传输通道，降低审核效率，在这种情况下可以直接选择内嵌的审核策略进行审核。反之，在审核数据量少的情况下，可以传送到策略实时服务进行审核。
本实施例的技术方案，通过对接收到的任务流进行分类并分发到不同的任务队列中，分别从相应的任务队列中读取任务进行审核，解决了不同类型审核任务不能兼容的问题，构建了一个通用的用户产品审核架构。
实施例二
图2为本发明实施例二提供的用户产品审核方法的流程图，本实施例二在实施例一的基础上做出进一步地优化。如图2所示，所述方法包括：
S210、接收待审核用户产品的任务流。
S220、根据任务流中任务的性质，识别出URL类任务和非URL类任务。
其中，URL类任务是在审核之前需要根据URL地址抓取出URL网页中的内容，对网页中内容的抓取可以异步进行。而非URL类任务，如文本、图片等，无需进行内容抓取，可直接进行审核。具体的，对不同任务的识别可以通过区分任务数据中的特征关键字或者是任务本身的标识等方式实现。若识别出的任务为非URL类任务，则执行S230；若识别出的任务为URL类任务，则执行S240。
S230、将非URL类任务分发到无抓取任务队列中。
具体的，当识别出接收到的任务为非URL类任务时，可直接将该任务分发到无抓取任务队列中保存，以供任务审核模块读取并审核。
S240、对URL类任务进行页面内容抓取与页面特征解析，将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中，并将抓取成功后URL类任务分发到抓取后任务队列中。
具体的，S240包括如下操作：
将URL类任务分发到待抓取任务队列中；
对待抓取任务队列中的URL类任务进行页面内容抓取；
对抓取成功的页面内容进行页面特征解析，得到页面特征；
将抓取成功的URL类任务和解析得到的页面特征存入网页与特征库中；
将抓取成功的URL类任务分发到抓取后任务队列中。
具体的，当识别出接收的任务为URL类任务时，则将该任务分发到待抓取任务队列中，与非URL类任务相区别。然后，对待抓取任务队列中的URL类任务进行页面内容抓取，对抓取成功的页面内容进行页面特征解析，得到页面特征。具体的，对网页进行解析得到的特征是与任务审核的目的有关的特征，与审核模块、审核策略都是相对应的。例如，网页的标题内容、网页标题的字数、网页正文内容，网页中图片内容和数量等。获取到相应的这些特征之后，会将其放到网页与特征库中，同时将URL任务放到抓取后任务队列中。
S250、分别读取无抓取任务队列和抓取后任务队列中的非URL类任务和URL类任务。
将任务分为URL类任务和非URL类任务之后，可以从相应的任务队列中读取任务进行审核。具体的，针对不同的类别的任务队列，对任务读取的顺序不做限定，可以依次从各个任务队列中读取一个任务进行审核；也可优先读取某一任务队列中的任务，当该队列中任务读取完毕后再读取其他队列中的任务；在实际应用中取决于对审核流程的具体配置。若待审核的任务为在无抓取任务队列中读取的非URL类任务，则执行S260；若待审核的任务为在抓取后任务队列中读取的URL类任务，则执行S270。
S260、对非URL类任务直接进行审核。
具体的，对非URL类任务直接进行审核可利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
S270、对URL类任务，从所述页面与特征库中读取对应的页面特征进行审核。
具体的，当读取出的任务为URL类任务，则根据URL地址到页面与特征库中读取对应的页面特征，利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
本实施例的技术方案，通过将任务流分为URL类任务和非URL类任务分发到相应的任务队列中，对URL类任务进行内容抓取后分析其特征，进而进行审核，对非URL类任务直接进行审核，从而解决了多审核元素不能兼容的问题。
实施例三
图3为本发明实施例二提供的用户产品审核方法的流程图，本实施例三在上述实施例的基础上做出进一步地优化。如图3所示，所述方法包括：
S310、接收待审核用户产品的任务流。
S320、根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中。
S330、分别读取所述任务队列中的任务进行审核，得到审核结果。
S340、将审核结果放入审核结果队列中。
为了进一步确保审核的正确性，当获得审核结果后将其放入审核结果队列，已进行后续操作。
S350、根据预设阈值，分别判断审核结果队列中的审核结果是否需要人工审核，若需要则执行S360，若不需要则执行S370。
具体的，从审核结果队列中依次取出审核结果，根据预设规则的阈值进行判断该审核结果对应的任务是否需要人工审核。示例性的，若审核结果中给出的是多参数的结果，参数阈值的设置可以是多维度的，例如从政治风险、低俗风险、病毒危险等方面进行判断，其中任何一个参数值超过了预设阈值，则执行S370，以便进行后续处理，若都没有超过预设阈值，则执行S360将该任务发到人工审核队列进行人工二次审核。若审核结果是一个综合性的参数，有两种审核结果，0代表无风险，1代表有风险，那么无风险的可以执行S360，直接发给人工审核队列进行人工二次审核，有风险的则直接执行S370，以便进行后续处理。其中，“处理”可以是将有风险不合格的用户产品进行屏蔽或删除，不能通过其上传到云端或是发布到网络上，并通知提示该用户产品所对应的用户。
S360、将任务放入人工审核队列，并将人工审核队列中的任务按照预设的聚合规则进行聚合，将聚合后的任务发送至人工审核平台进行人工审核，将经人工审核得到的最终的审核结果流式写回。
具体的，当审核任务需要进行人工审核时，则将任务放入人工审核队列，并将多个相似的审核内容进行聚合，如将100个图片中相同或者相似的图片进行聚合，然后将聚合后的任务发送到人工审核平台进行人工审核，当得到人工审核的最终结果时，将结果流式写回。
S370、直接将审核结果队列中的审核结果流式写回。
优选的，从接收待审核用户产品的任务流，到得到审核结果的审核过程中，对任务流中的各任务进行标记，所述标记包括与所述审核过程中的不同操作对应的多个不同的标记；示例性的，标记方式可以是将任务分发到对应的任务队列标记为1，抓取URL类任务页面内容并解析标记为2，利用审核策略进行审核可以标记为3，当有不同的审核策略时，可以根据策略的不同标记为3.1、3.2、3.3等。
根据所述多个不同的标记对所述审核过程进行统计，并按照预设的统计规则生成报表。
具体的，通过报表，可以统计出在当前时间段内接收到了多少审核任务，其中各种类的审核任务的数量，及审核通过或未通过的用户产品数量等信息，可以根据报表数据对审核任务进行宏观的把控。
本实施例的技术方案，通过将审核结果符合某一条件的任务进行相似聚合后发送到人工审核平台进行审核，提高了审核的准确性，并减少了人工审核中不必要的重复性工作，提高了任务审核的效率。
实施例四
图4是本发明实施例四中的用户产品审核装置的结构示意图。如图4所示，用户产品审核装置包括：
任务接收模块410，用于接收待审核用户产品的任务流；
任务分发模块420，用于根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
任务审核模块430，用于分别读取所述任务队列中的任务进行审核，得到审核结果。
进一步的，任务分发模块420，包括：
任务识别单元421，用于根据任务流中任务的性质，识别出URL类任务和非URL类任务；
第一任务分发单元422，用于将非URL类任务分发到无抓取任务队列中；
第二任务分发单元423，用于对URL类任务进行页面内容抓取与页面特征解析，将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中，并将抓取成功后URL类任务分发到抓取后任务队列中；
相应的，任务审核模块430，包括：
读取单元431，用于分别读取无抓取任务队列和抓取后任务队列中的非URL类任务和URL类任务；
第一审核单元432，用于对非URL类任务直接进行审核；
第二审核单元433，用于对URL类任务，从所述页面与特征库中读取对应的页面特征进行审核。
进一步的，第二任务分发单元423，包括：
第一任务分发子单元，用于将URL类任务分发到待抓取任务队列中；
页面内容抓取子单元，用于对待抓取任务队列中的URL类任务进行页面内容抓取；
页面特征解析子单元，用于对抓取成功的页面内容进行页面特征解析，得到页面特征；
特征库存入子单元，用于将抓取成功的URL类任务和解析得到的页面特征存入网页与特征库中；
第二任务分发子单元，用于将抓取成功的URL类任务分发到抓取后任务队列中。
进一步的，任务审核模块430，具体用于：
分别读取所述任务队列中的任务，利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
进一步的，用户产品审核装置，还包括：人工审核判断模块，该人工审核判断模块包括：
审核结果队列放入单元，用于在任务审核模块430分别读取所述任务队列中的任务进行审核，得到审核结果之后，将审核结果放入审核结果队列中；
判断单元，用于根据预设阈值，分别判断审核结果队列中的审核结果是否需要人工审核；
聚合发送单元，用于若判断单元判断出需要人工审核，则将任务放入人工审核队列，并将人工审核队列中的任务按照预设的聚合规则进行聚合，将聚合后的任务发送至人工审核平台进行人工审核；
结果流式写回单元，用于将经人工审核得到的最终的审核结果流式写回，以及将判断单元判断出不需要人工审核时，直接将审核结果队列中的审核结果流式写回。
进一步的，用户产品审核装置，还包括：
标记模块，用于从任务接收模块410接收待审核用户产品的任务流，到任务审核模块430得到审核结果的审核过程中，对所述任务流中的各任务进行标记，该标记包括与所述审核过程中的不同操作对应的多个不同的标记；
报表生成模块，用于根据所述多个不同的标记对所述审核过程进行统计，并按照预设的统计规则生成报表。
本发明实施例所提供的用户产品审核装置可执行本发明任意实施例所提供的用户产品审核方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5为本发明实施例五提供的一种服务器的结构示意图。图5示出了适于用来实现本发明实施方式的示例性服务器设备512的框图。图5显示的服务器512仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图5所示，服务器512以通用计算设备的形式表现。服务器512的组件可以包括但不限于：一个或者多个处理器或者处理单元516，系统存储器528，连接不同系统组件(包括系统存储器528和处理单元516)的总线518。
总线518表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
服务器512典型地包括多种计算机系统可读介质。这些介质可以是任何能够被服务器512访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器528可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)530和/或高速缓存存储器532。服务器512可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统534可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线518相连。存储器528可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块542的程序/实用工具540，可以存储在例如存储器528中，这样的程序模块542包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块542通常执行本发明所描述的实施例中的功能和/或方法。
服务器512也可以与一个或多个外部设备514(例如键盘、指向设备、显示器524等)通信，还可与一个或者多个使得用户能与该计算机设备512交互的设备通信，和/或与使得该服务器512能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口522进行。并且，计算机设备512还可以通过网络适配器520与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器520通过总线518与计算机设备512的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备512使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元516通过运行存储在系统存储器528中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的用户产品审核方法，包括：
接收待审核用户产品的任务流；
根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
分别读取所述任务队列中的任务进行审核，得到审核结果。
实施例六
本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的用户产品审核方法，包括：
接收待审核用户产品的任务流；
根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
分别读取所述任务队列中的任务进行审核，得到审核结果。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”如”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)域连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (12)
1.一种用户产品审核方法，其特征在于，包括：
接收待审核用户产品的任务流；
根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
分别读取所述任务队列中的任务进行审核，得到审核结果；
其中，根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中，包括：
根据任务流中任务的性质，识别出URL类任务和非URL类任务；
将非URL类任务分发到无抓取任务队列中；
对URL类任务进行页面内容抓取与页面特征解析，将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中，并将抓取成功后URL类任务分发到抓取后任务队列中；
相应的，分别读取所述任务队列中的任务进行审核，得到审核结果，包括：
读取无抓取任务队列中的非URL类任务，以及读取抓取后任务队列中的URL类任务；
对非URL类任务直接进行审核；
对URL类任务，从所述页面与特征库中读取对应的页面特征进行审核。
2.根据权利要求1所述的用户产品审核方法，其特征在于，所述对URL类任务进行页面内容抓取与页面特征解析，将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中，并将抓取成功后URL类任务分发到抓取后任务队列中，包括：
将URL类任务分发到待抓取任务队列中；
对待抓取任务队列中的URL类任务进行页面内容抓取；
对抓取成功的页面内容进行页面特征解析，得到页面特征；
将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中；
将抓取成功的URL类任务分发到抓取后任务队列中。
3.根据权利要求1所述的用户产品审核方法，其特征在于，所述分别读取所述任务队列中的任务进行审核，得到审核结果，包括：
分别读取所述任务队列中的任务，利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
4.根据权利要求1所述的用户产品审核方法，其特征在于，在分别读取所述任务队列中的任务进行审核，得到审核结果之后，所述方法还包括：
将审核结果放入审核结果队列中；
根据预设阈值，分别判断审核结果队列中的审核结果是否需要人工审核；
若需要，则将任务放入人工审核队列，并将人工审核队列中的任务按照预设的聚合规则进行聚合，将聚合后的任务发送至人工审核平台进行人工审核，将经人工审核得到的最终的审核结果流式写回；
若不需要，则直接将审核结果队列中的审核结果流式写回。
5.根据权利要求1所述的用户产品审核方法，其特征在于，还包括：
从接收待审核用户产品的任务流，到得到审核结果的审核过程中，对所述任务流中的各任务进行标记，所述标记包括与所述审核过程中的不同操作对应的多个不同的标记；
根据所述多个不同的标记对所述审核过程进行统计，并按照预设的统计规则生成报表。
6.一种用户产品审核装置，其特征在于，包括：
任务接收模块，用于接收待审核用户产品的任务流；
任务分发模块，用于根据任务流中任务的性质，将任务流中的任务分发到对应的任务队列中；
任务审核模块，用于分别读取所述任务队列中的任务进行审核，得到审核结果；
其中，任务分发模块包括：
任务识别单元，用于根据任务流中任务的性质，识别出URL类任务和非URL类任务；
第一任务分发单元，用于将非URL类任务分发到无抓取任务队列中；
第二任务分发单元，用于对URL类任务进行页面内容抓取与页面特征解析，将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中，并将抓取成功后URL类任务分发到抓取后任务队列中；
相应的，任务审核模块包括：
读取单元，用于读取无抓取任务队列中的非URL类任务，以及读取抓取后任务队列中的URL类任务；
第一审核单元，用于对非URL类任务直接进行审核；
第二审核单元，用于对URL类任务，从所述页面与特征库中读取对应的页面特征进行审核。
7.根据权利要求6所述的用户产品审核装置，其特征在于，第二任务分发单元包括：
第一任务分发子单元，用于将URL类任务分发到待抓取任务队列中；
页面内容抓取子单元，用于对待抓取任务队列中的URL类任务进行页面内容抓取；
页面特征解析子单元，用于对抓取成功的页面内容进行页面特征解析，得到页面特征；
特征库存入子单元，用于将抓取成功的URL类任务和解析得到的页面特征存入页面与特征库中；
第二任务分发子单元，用于将抓取成功的URL类任务分发到抓取后任务队列中。
8.根据权利要求6所述的用户产品审核装置，其特征在于，任务审核模块，具体用于：
分别读取所述任务队列中的任务，利用内嵌的审核策略进行审核，得到审核结果，或者将任务发送至外部策略实时服务进行审核，并获得策略实时服务反馈的审核结果。
9.根据权利要求8所述的用户产品审核装置，其特征在于，还包括人工审核判断模块，该人工审核判断模块包括：
审核结果队列放入单元，用于在任务审核模块分别读取所述任务队列中的任务进行审核，得到审核结果之后，将审核结果放入审核结果队列中；
判断单元，用于根据预设阈值，分别判断审核结果队列中的审核结果是否需要人工审核；
聚合发送单元，用于若判断单元判断出需要人工审核，则将任务放入人工审核队列，并将人工审核队列中的任务按照预设的聚合规则进行聚合，将聚合后的任务发送至人工审核平台进行人工审核；
结果流式写回单元，用于将经人工审核得到的最终的审核结果流式写回，以及将判断单元判断出不需要人工审核时，直接将审核结果队列中的审核结果流式写回。
10.根据权利要求6所述的用户产品审核装置，其特征在于，还包括：
标记模块，用于从任务接收模块接收待审核用户产品的任务流，到任务审核模块得到审核结果的审核过程中，对所述任务流中的各任务进行标记，该标记包括与所述审核过程中的不同操作对应的多个不同的标记；
报表生成模块，用于根据所述多个不同的标记对所述审核过程进行统计，并按照预设的统计规则生成报表。
11.一种服务器，其特征在于，所述服务器包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的用户产品审核方法。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的用户产品审核方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710962598.6A CN107784205B (zh) | 2017-10-17 | 2017-10-17 | 一种用户产品审核的方法、装置、服务器和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710962598.6A CN107784205B (zh) | 2017-10-17 | 2017-10-17 | 一种用户产品审核的方法、装置、服务器和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107784205A CN107784205A (zh) | 2018-03-09 |
| CN107784205B true CN107784205B (zh) | 2020-08-14 |
Family
ID=61433770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710962598.6A Active CN107784205B (zh) | 2017-10-17 | 2017-10-17 | 一种用户产品审核的方法、装置、服务器和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107784205B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108681443B (zh) * | 2018-04-02 | 2022-03-04 | 广州视源电子科技股份有限公司 | 任务分类方法、系统及计算机存储介质 |
| CN109493080A (zh) * | 2018-11-26 | 2019-03-19 | 深圳乐信软件技术有限公司 | 一种用户数据的审核方法、装置、服务器及存储介质 |
| CN109685454A (zh) * | 2018-12-13 | 2019-04-26 | 平安医疗健康管理股份有限公司 | 数据审核方法、装置、设备及存储介质 |
| CN111695957A (zh) * | 2019-03-12 | 2020-09-22 | 新疆丝路大道信息科技有限责任公司 | 用于汽车租赁平台的学习资料管理方法、系统及电子设备 |
| CN110333886A (zh) * | 2019-07-02 | 2019-10-15 | 上海企创信息科技有限公司 | 一种审核程序迭代更新方法、装置、服务器及存储介质 |
| CN110414865A (zh) * | 2019-08-06 | 2019-11-05 | 广州荔支网络技术有限公司 | 一种审核任务的分配方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101572714A (zh) * | 2009-05-23 | 2009-11-04 | 深圳华为通信技术有限公司 | 一种内容审核的方法、设备及系统 |
| CN104410872A (zh) * | 2014-11-04 | 2015-03-11 | 深圳市同洲电子股份有限公司 | 一种视频源审核方法及装置 |
| CN104463482A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 任务分配方法和任务分配装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8576717B2 (en) * | 2012-02-08 | 2013-11-05 | Avaya Inc. | System and method for detecting rogue traffic using flow statistics with a list of authorized engines |
-
2017
- 2017-10-17 CN CN201710962598.6A patent/CN107784205B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101572714A (zh) * | 2009-05-23 | 2009-11-04 | 深圳华为通信技术有限公司 | 一种内容审核的方法、设备及系统 |
| CN104410872A (zh) * | 2014-11-04 | 2015-03-11 | 深圳市同洲电子股份有限公司 | 一种视频源审核方法及装置 |
| CN104463482A (zh) * | 2014-12-16 | 2015-03-25 | 用友软件股份有限公司 | 任务分配方法和任务分配装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107784205A (zh) | 2018-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107784205B (zh) | 一种用户产品审核的方法、装置、服务器和存储介质 | |
| US10362086B2 (en) | Method and system for automating submission of issue reports | |
| CN110442712B (zh) | 风险的确定方法、装置、服务器和文本审理系统 | |
| US10430420B2 (en) | Weighting sentiment information | |
| CN108334641B (zh) | 采集用户行为数据的方法、系统、电子设备、存储介质 | |
| CN107528818B (zh) | 媒体文件的数据处理方法和装置 | |
| US11119843B2 (en) | Verifying application behavior based on distributed tracing | |
| CN110795756A (zh) | 一种数据脱敏方法、装置、计算机设备及计算机可读存储介质 | |
| CN110798445B (zh) | 公共网关接口测试方法、装置、计算机设备及存储介质 | |
| CN104754374B (zh) | 音视频文件检测管理方法及装置 | |
| CN111273891A (zh) | 基于规则引擎的业务决策方法、装置及终端设备 | |
| CN109284974A (zh) | 一种基于区块链的审核方法、装置、审核设备及存储介质 | |
| CN110955640A (zh) | 跨系统数据文件的处理方法、装置、服务器和存储介质 | |
| CN111598122A (zh) | 数据校验方法、装置、电子设备和存储介质 | |
| CN108804501B (zh) | 一种检测有效信息的方法及装置 | |
| CN114221988A (zh) | 一种内容分发网络热点分析方法和系统 | |
| CN110162982B (zh) | 检测非法权限的方法及装置、存储介质、电子设备 | |
| CN112947844B (zh) | 一种数据存储方法、装置、电子设备及介质 | |
| US10986230B1 (en) | Method and apparatus to capture, analyze, organize, and present support chat information | |
| US9904662B2 (en) | Real-time agreement analysis | |
| CN103605480A (zh) | Web服务器及其磁盘资源访问控制方法 | |
| CN112783843A (zh) | 数据读取方法、装置及电子设备 | |
| CN111914252A (zh) | 文件安全性的检测方法、装置和电子设备 | |
| CN113761277A (zh) | 一种风控方法、装置、电子设备和存储介质 | |
| CN110995848A (zh) | 一种服务治理方法、装置、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |