CN113934963A - 一种图片审核方法、装置、设备以及存储介质 - Google Patents
一种图片审核方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN113934963A CN113934963A CN202111194505.2A CN202111194505A CN113934963A CN 113934963 A CN113934963 A CN 113934963A CN 202111194505 A CN202111194505 A CN 202111194505A CN 113934963 A CN113934963 A CN 113934963A
- Authority
- CN
- China
- Prior art keywords
- picture
- node
- nodes
- dom tree
- selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000004044 response Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 10
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012550 audit Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本公开提供了一种图片审核方法、装置、设备以及存储介质,涉及图像处理领域,尤其涉及内容审核、内容安全等领域。具体实现方案为:获取网页源码;基于网页源码,创建文档对象模型dom树,dom树包括多个节点,一个节点表示网页源码中的一个标签;利用dom树中节点的类型标识,选择dom树中的所有图片节点,并确定每个图片节点对应图片的图片大小以及基于dom树,确定每个图片节点的嵌套层数;基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点;对待审核图片节点对应的图片进行审核。本公开实现了成本更低的图片审核。
Description
技术领域
本公开涉及图像处理领域,尤其涉及内容审核、内容安全等领域。
背景技术
随着网站数量的大量增长,网页内容的信息也变得十分丰富,一个网页会同时包含大量图片等。为了保证网页内容的合规性,需要对网页内容(例如图片)进行审核。
发明内容
本公开提供了一种图片审核方法、装置、设备以及存储介质。
根据本公开的第一方面,提供了一种图片审核方法,包括:
获取网页源码;
基于所述网页源码,创建文档对象模型dom树,所述dom树包括多个节点,一个节点表示所述网页源码中的一个标签;
利用所述dom树中节点的类型标识,选择所述dom树中的所有图片节点,并基于所述dom树,确定每个图片节点对应图片的图片大小以及基于所述dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,所述嵌套层数表示所述dom树中根节点到所述图片节点的层数;
基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点;
对所述待审核图片节点对应的图片进行审核。
根据本公开的第二方面,提供了一种图片审核装置,包括:
获取模块,用于获取网页源码;
创建模块,用于基于所述网页源码,创建文档对象模型dom树,所述dom树包括多个节点,一个节点表示所述网页源码中的一个标签;
第一选择模块,用于利用所述dom树中节点的类型标识,选择所述dom树中的所有图片节点;
第一确定模块,用于基于所述dom树,确定每个图片节点对应图片的图片大小以及基于所述dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,所述嵌套层数表示所述dom树中根节点到所述图片节点的层数;
第二选择模块,用于基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点;
审核模块,用于对所述待审核图片节点对应的图片进行审核。
根据本公开的第三方面,提供了一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面所述的方法。
根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
本公开实现了成本更低的图片审核。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是本公开实施例提供的图片审核方法的一种流程图;
图2是本公开实施例中创建的文档对象模型dom树的示意图;
图3是本公开实施例中基于dom树确定每个图片节点的嵌套层数;
图4是本公开实施例中基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点的流程图;
图5是本公开实施例提供的图片审核方法的另一种流程图;
图6本公开实施例提供的图片审核装置的一种结构示意图;
图7本公开实施例提供的图片审核装置的另一种结构示意图;
图8是用来实现本公开实施例的图片审核方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
信息素材,如广告物料是否合规,需要进行风控审核,例如,对广告物料中的落地页链接进行审核。广告物料可能包含多个落地页链接,在落地页链接审核中,需要抓取链接的网页源码内容进行审核,包括网页中的文本、图片信息。落地页又称为着陆页、引导页,是用户利用搜索引擎搜索后显示给用户的网页,一般这个页面会显示和搜索结果链接相关的扩展内容。落地页链接即与上述落地页相关的链接。
相关技术中通过层叠样式表(Cascading Style Sheet,css)对网页源码进行渲染,可以获取网页的详细信息,包括图片的位置以及大小等。通过css渲染的方式可以精确地进行图片审核,但是也存在一些缺点。一个落地页链接中可能包含几十种图片标签,包括重要图片以及一些头像等不重要图片。网页中的图片统一资源定位符(Uniform ResourceLocator,URL),又叫做网页地址,可以根据标签提取出来,但是没有有效的方式来区分哪些图片是重要的,哪些图片具有内容代表性,如此相关技术中是将网页中的所有图片全部进行审核,而当批量网页需要进行审核处理时,css渲染耗时过长,无法满足审核时效性。因此,当大量的网页需要进行审核,当机器资源以及审核时间有限时,降低成本只审核网页的代表性信息变得十分重要。而网页审核中图片审核是比较耗时的,故如何低成本的审核大批量网页的图片是内容审核的重要内容。
本公开实施例提供了一种低成本的网页图片审核方法,通过提取网页源码中具有代表性的重要图片,只对网页中的重要图片进行审核,以实现低成本审核大量图片。
下面对本公开实施例提供的图片审核方法进行详细说明。
本公开实施例提供的图片审核方法可以应用于电子设备,具体地,电子设备可以包括服务器、终端等等。
本公开实施例提供了一种图片审核方法,可以包括:
获取网页源码;
基于网页源码,创建文档对象模型dom树,dom树包括多个节点,一个节点表示网页源码中的一个标签;
利用dom树中节点的类型标识,选择dom树中的所有图片节点,并基于dom树,确定每个图片节点对应图片的图片大小以及基于dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,嵌套层数表示dom树中根节点到图片节点的层数;
基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点;
对待审核图片节点对应的图片进行审核。
本公开实施例中,基于网页源码创建dom树,然后,基于dom树选择所有图片节点并确定每个图片节点对应图片的图片大小以及每个图片节点的嵌套层数,基于图片大小以及每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点,对待审核图片节点对应的图片进行审核,即有选择的对图片进行审核,仅对部分图片也即重要图片(待审核节点对应的图片)进行审核,而不用再对非重要图片进行审核,如此,能够节约整体的审核成本,实现了低成本、快速的审核大量图片。
图1是本公开实施例提供的图片审核方法的流程图,参照图1,本公开实施例提供的图片审核方法可以包括:
S101,获取网页源码。
可以利用源码抓取模块获取网页源码,例如,可以通过源码抓取器获取网页源码。
S102,基于网页源码,创建文档对象模型dom树。
dom树包括多个节点,一个节点表示网页源码中的一个标签。
例如,网页源码中可以包括div(块级元素)、table(表单标签)、img(图片标签)等标签。
dom树用于表示网页源码中各个标签之间的关系。
dom(Document Object Model),dom中的“d”表示document即文档,可以将编写的网页文档转换为一个文档对象。dom中的“o”表示object即对象,对象是一种自足的数据集合。dom中的“m”表示model即模型。
例如,可以通过litehtml(开源网页源码解析模块)创建dom树。
如图2所示,创建的dom树可以包括三层。
第一层root(根节点)为html(Hyper Text Markup Language,超文本标记语言),包含三个子节点,节点0无名称,只包含文本STATUS OK(状态正常)。第二层子节点1为body,节点2为head。节点body的5、6、7子节点为img节点。img节点包含src(source,资源位置)属性(图片url)。其中,body表示网页主体,head标签用于定义文档的头部,它是所有头部元素的容器。文档的头部描述了文档的各种属性和信息,包括文档的标题、在web(网页)中的位置以及和其它文档的关系等。
S103,利用dom树中节点的类型标识,选择dom树中的所有图片节点,并确定每个图片节点对应图片的图片大小以及基于dom树,确定每个图片节点的嵌套层数。
其中,针对各个图片节点,嵌套层数表示dom树中根节点到图片节点的层数。
dom树中可以包括每个节点的属性,例如,节点的类型标识,若节点为图片节点,还可以包括图片节点对应的图片的图片大小、存储地址,等等。
dom树中节点的类型标识是节点的标签名称,例如,标签名称为“img”则表示该节点为图片节点。
可以通过源码解析模块内嵌的jquery选择器将img标签选取出来。
可以直接从dom树中图片节点的属性中获取图片节点对应的图片大小。
如图3所示,基于dom树,确定每个图片节点的嵌套层数可以包括:
S301,基于dom树,确定每个图片节点的嵌套路径。
针对每一图片节点,嵌套路径表示dom树中根节点到图片节点的路径。
可以根据dom树中图片节点的上下层关系得到img图片标签的html路径。
S302,针对每个图片节点,利用图片节点的嵌套路径,统计dom树中根节点到图片节点的层数,并将层数作为图片节点的嵌套层数。
如此,可以通过嵌套路径准确地确定图片节点的嵌套层数。
S104,基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点。
本公开实施例中通过对大量的网页源码进行统计、分析得到:图片大小较大且嵌套层数比较浅的图片节点对应的图片是网页源码中有代表性的图片,也可以理解为重要图片。
如图4所示,S104可以包括:
S401,基于每个图片节点对应图片的图片大小,对各个图片节点进行排序。
S402,响应于按照图片大小从大到小的顺序进行排序,选择排序在前的第一预设个数个图片节点作为初始节点。
S403,响应于按照图片大小从小到大的顺序进行排序,选择排序在后的第一预设个数个图片节点作为初始节点。
S404,从初始节点中选择嵌套层数小于预设层数的图片节点作为待审核图片节点。
第一预设个数可以根据实际需求来确定,例如,第一预设个数为8、9、10,等等。
预设层数也可以根据实际需求确定。例如,嵌套层数超过10认为嵌套比较深,则预设层数可以为10。
简单理解,先按照图片大小的顺序,选择图片大小较大的第一预设个数个初始节点,然后,基于图片节点的嵌套层数,从初始节点中选择嵌套比较浅的图片节点,也可以理解为从初始节点中剔除嵌套比较深的图片节点。
若初始节点中所有节点的嵌套层数均小于预设层数,即将初始节点中的全部节点均作为待审核图片节点。也可以理解为,若没有嵌套层数超过预设层数的图片节点,则无需剔除。
举例来讲:可以先由图片大小从大到小进行排序,选择出前8个图片大小较大的图片节点,然后,从这8个中选择嵌套比较浅的图片节点,图选择嵌套层数小于10的图片节点,也可以理解为从这8个中剔除嵌套深的图片(如剔除嵌套层数大于10的图片节点)。
其中,若没有嵌套深的就不用剔除了,即若这8个图片节点的图片大小均小于10,则将这8个图片节点均作为待审核图片节点。
本公开实施例中基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数选择图片大小较大且嵌套层数比较浅的图片节点,即可以实现基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数选择重要图片进行审核。
S105,对待审核图片节点对应的图片进行审核。
获取待审核图片节点对应的图片的图片地址;基于图片地址获取图片;对图片进行审核。
图片地址可以是图片的URL。
针对每一待审核图片节点对应的图片,可以对图片进行分块切图并审核。具体地,可以提取图片中的文字,然后,对文字内容调用策略模型进行审核,其中,策略模型可以根据实际需求来确定。
本公开实施例中通过对大量的网页源码进行统计、分析得到:图片大小较大且节点嵌套比较浅的图片是网页中的重要图片,也可以理解为有代表性的图片,节点嵌套比较浅的图片例如是与网页主题关联度比较高的图片。本公开实施例中通过选择图片大小较大且节点嵌套比较浅的图片,对网页中有代表性的图片进行审核,实现在资源有限的情况下,仅对网页中有代表性的图片进行审核,即实现仅对部分图片而非全部图片进行审核,节约了整体的审核成本并提高了时效性,进而实现了低成本、快速的审核大量图片。
一种可选的实施例中,如图5所示,还可以包括:
S501,判断所有图片节点的个数是否超过第二预设个数。
第二预设个数的值可以与第一预设个数的值相同,或者,第二预设个数的值也可以不同于第一预设个数的值。
S104可以包括:
S502,响应于所有图片节点的个数超过第二预设个数,基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点。
在所有图片节点的个数超过第二预设个数时,从所有图片节点中选择待审核图片节点。具体如上述,基于每个图片节点对应图片的图片大小,对各个图片节点进行排序;响应于按照图片大小从大到小的顺序进行排序,选择排序在前的第一预设个数个图片节点作为初始节点;响应于按照图片大小从小到大的顺序进行排序,选择排序在后的第一预设个数个图片节点作为初始节点;从初始节点中选择嵌套层数小于预设层数的图片节点作为待审核图片节点。
响应于所有图片节点的个数未超过第二预设个数,则对所有的图片进行审核。具体地,获取所有图片节点对应的图片的图片地址;基于图片地址获取图片;对图片进行审核。
可以只提取N个重要图片进行审核,当图片节点不超过N时,直接对所有图片节点分别对应的图片进行审核。而当图片节点超过N时,结合图片大小以及图片节点的嵌套路径,也可以理解为图片html路径信息如Xpath,即可扩展标记语言(Extensible MarkupLanguage,XML)路径,只获取前N个重要图片。
如此,可以实现在资源有限的情况下,有选择的进行审核,节约了整体的审核成本并提高了时效性,进而实现了低成本、快速的审核大量图片,可以保证图片审核的时效性;而在资源充足的情况下对所有的图片进行审核。
当大量落地页需要进行图片审核时,因为机器资源和审核时限等要求,无法对每一个网页进行css渲染以获取图片真实大小以及详细展示位置信息。本公开实施例通过大量的源码统计分析得到:重要的图片在网页布局中尺寸较大且嵌套比较浅,使用jquery选择器可以根据图片大小进行排序,对排名靠前的图片优先进行审核,可以仅选择图片大小按照从大到小的顺序排序排序在前的图片进行审核。并且重要的图片一般是节点嵌套比较浅,再结合html路径信息对图片进行筛选,过滤掉html路径较深的图片,也即选择嵌套较浅的图片。通过本公开实施例提供的图片审核方法获取批量网页源码中的重要图片进行审核,可以节省大量资源以及时间。
对应于上述实施例提供的图片审核方法,本公开实施例还提供了一种图片审核装置,如图6所示,可以包括:
获取模块601,用于获取网页源码;
创建模块602,用于基于网页源码,创建文档对象模型dom树,dom树包括多个节点,一个节点表示网页源码中的一个标签;
第一选择模块603,用于利用dom树中节点的类型标识,选择dom树中的所有图片节点;
第一确定模块604,用于基于dom树,确定每个图片节点对应图片的图片大小以及基于dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,嵌套层数表示dom树中根节点到图片节点的层数;
第二选择模块605,用于基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点;
审核模块606,用于对待审核图片节点对应的图片进行审核。
可选的,第二选择模块605,具体用于基于每个图片节点对应图片的图片大小,对各个图片节点进行排序;响应于按照图片大小从大到小的顺序进行排序,选择排序在前的第一预设个数个图片节点作为初始节点;响应于按照图片大小从小到大的顺序进行排序,选择排序在后的第一预设个数个图片节点作为初始节点;从初始节点中选择嵌套层数小于预设层数的图片节点作为待审核图片节点。
可选的,如图7所示,装置还包括:
判断模块701,用于判断所有图片节点的个数是否超过第二预设个数;
第二选择模块605,具体用于响应于所有图片节点的个数超过第二预设个数,基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所有图片节点中选择待审核图片节点。
可选的,第一确定模块604,具体用于基于dom树,确定每个图片节点的嵌套路径;针对每个图片节点,利用图片节点的嵌套路径,统计dom树中根节点到图片节点的层数,并将层数作为图片节点的嵌套层数。
本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图8所示,设备800包括计算单元801,其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序,来执行各种适当的动作和处理。在RAM 803中,还可存储设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至I/O接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如图片审核方法。例如,在一些实施例中,图片审核方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到RAM 803并由计算单元801执行时,可以执行上文描述的图片审核方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行图片审核方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (11)
1.一种图片审核方法,包括:
获取网页源码;
基于所述网页源码,创建文档对象模型dom树,所述dom树包括多个节点,一个节点表示所述网页源码中的一个标签;
利用所述dom树中节点的类型标识,选择所述dom树中的所有图片节点,并基于所述dom树,确定每个图片节点对应图片的图片大小以及基于所述dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,所述嵌套层数表示所述dom树中根节点到所述图片节点的层数;
基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点;
对所述待审核图片节点对应的图片进行审核。
2.根据权利要求1所述的方法,其中,所述基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点,包括:
基于每个图片节点对应图片的图片大小,对各个图片节点进行排序;
响应于按照图片大小从大到小的顺序进行排序,选择排序在前的第一预设个数个图片节点作为初始节点;
响应于按照图片大小从小到大的顺序进行排序,选择排序在后的第一预设个数个图片节点作为初始节点;
从所述初始节点中选择嵌套层数小于预设层数的图片节点作为待审核图片节点。
3.根据权利要求1所述的方法,所述方法还包括:
判断所述所有图片节点的个数是否超过所述第二预设个数;
所述基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点,包括:
响应于所述所有图片节点的个数超过所述第二预设个数,基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点。
4.根据权利要求1至3任一项所述的方法,其中,所述基于所述dom树,确定每个图片节点的嵌套层数,包括:
基于所述dom树,确定每个图片节点的嵌套路径;
针对每个图片节点,利用所述图片节点的嵌套路径,统计所述dom树中根节点到所述图片节点的层数,并将所述层数作为所述图片节点的嵌套层数。
5.一种图片审核装置,包括:
获取模块,用于获取网页源码;
创建模块,用于基于所述网页源码,创建文档对象模型dom树,所述dom树包括多个节点,一个节点表示所述网页源码中的一个标签;
第一选择模块,用于利用所述dom树中节点的类型标识,选择所述dom树中的所有图片节点;
第一确定模块,用于基于所述dom树,确定每个图片节点对应图片的图片大小以及基于所述dom树,确定每个图片节点的嵌套层数;其中,针对各个图片节点,所述嵌套层数表示所述dom树中根节点到所述图片节点的层数;
第二选择模块,用于基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点;
审核模块,用于对所述待审核图片节点对应的图片进行审核。
6.根据权利要求5所述的装置,其中,所述第二选择模块,具体用于基于每个图片节点对应图片的图片大小,对各个图片节点进行排序;响应于按照图片大小从大到小的顺序进行排序,选择排序在前的第一预设个数个图片节点作为初始节点;响应于按照图片大小从小到大的顺序进行排序,选择排序在后的第一预设个数个图片节点作为初始节点;从所述初始节点中选择嵌套层数小于预设层数的图片节点作为待审核图片节点。
7.根据权利要求5所述的装置,所述装置还包括:
判断模块,用于判断所述所有图片节点的个数是否超过所述第二预设个数;
所述第二选择模块,具体用于响应于所述所有图片节点的个数超过所述第二预设个数,基于每个图片节点对应图片的图片大小和每个图片节点的嵌套层数,从所述所有图片节点中选择待审核图片节点。
8.根据权利要求5至7任一项所述的装置,其中,所述第一确定模块,具体用于基于所述dom树,确定每个图片节点的嵌套路径;针对每个图片节点,利用所述图片节点的嵌套路径,统计所述dom树中根节点到所述图片节点的层数,并将所述层数作为所述图片节点的嵌套层数。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-4中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111194505.2A CN113934963A (zh) | 2021-10-13 | 2021-10-13 | 一种图片审核方法、装置、设备以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111194505.2A CN113934963A (zh) | 2021-10-13 | 2021-10-13 | 一种图片审核方法、装置、设备以及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113934963A true CN113934963A (zh) | 2022-01-14 |
Family
ID=79279166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111194505.2A Pending CN113934963A (zh) | 2021-10-13 | 2021-10-13 | 一种图片审核方法、装置、设备以及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113934963A (zh) |
-
2021
- 2021-10-13 CN CN202111194505.2A patent/CN113934963A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10296552B1 (en) | System and method for automated identification of internet advertising and creating rules for blocking of internet advertising | |
CN107391675B (zh) | 用于生成结构化信息的方法和装置 | |
US8468145B2 (en) | Indexing of URLs with fragments | |
US10169037B2 (en) | Identifying equivalent JavaScript events | |
US9792370B2 (en) | Identifying equivalent links on a page | |
CN107590288B (zh) | 用于抽取网页图文块的方法和装置 | |
CN104866509A (zh) | 页面元素的定位方法及装置 | |
CN114398138B (zh) | 界面生成方法、装置、计算机设备和存储介质 | |
CN104572874B (zh) | 一种网页信息的抽取方法及装置 | |
CN113656737A (zh) | 网页内容展示方法、装置、电子设备以及存储介质 | |
US10963690B2 (en) | Method for identifying main picture in web page | |
CN111125605B (zh) | 页面元素获取方法和装置 | |
CN112612990A (zh) | 网页解析方法、系统及计算机可读存储介质 | |
KR20190040046A (ko) | 정보 수집 시스템, 정보 수집 방법 및 기록 매체 | |
CN111414523A (zh) | 一种数据获取方法和装置 | |
CN115758011A (zh) | 数据转存方法、数据展示方法、装置、设备及存储介质 | |
CN108664511B (zh) | 获取网页信息方法和装置 | |
CN113934963A (zh) | 一种图片审核方法、装置、设备以及存储介质 | |
CN113407745B (zh) | 数据标注方法、装置、电子设备及计算机可读存储介质 | |
CN113139145B (zh) | 页面生成方法、装置、电子设备及可读存储介质 | |
CN115238078A (zh) | 一种网页信息抽取方法、装置、设备及存储介质 | |
CN113722642B (zh) | 网页页面的转换方法、装置、电子设备以及存储介质 | |
CN113010812B (zh) | 信息采集方法、装置、电子设备和存储介质 | |
CN114172725B (zh) | 非法网站的处理方法、装置、电子设备和存储介质 | |
US20240126978A1 (en) | Determining attributes for elements of displayable content and adding them to an accessibility tree |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |