CN111309948A - 图片筛选方法、图片筛选装置以及电子设备 - Google Patents
图片筛选方法、图片筛选装置以及电子设备 Download PDFInfo
- Publication number
- CN111309948A CN111309948A CN202010093497.1A CN202010093497A CN111309948A CN 111309948 A CN111309948 A CN 111309948A CN 202010093497 A CN202010093497 A CN 202010093497A CN 111309948 A CN111309948 A CN 111309948A
- Authority
- CN
- China
- Prior art keywords
- screening
- picture
- node
- file
- picture file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012216 screening Methods 0.000 title claims abstract description 370
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012545 processing Methods 0.000 claims description 14
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 6
- 238000004140 cleaning Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/144—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/14—Details of searching files based on file metadata
- G06F16/148—File search processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Mathematical Physics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种图片筛选方法、图片筛选装置以及电子设备和计算机可读存储介质。其中图片筛选方法,包括:获取图片集,其中图片集包括多个图片文件;确定一个或多个筛选节点;确定每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系;基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选。在对一个图片集中的多个图片文件进行筛选时,能够通过同时设置一个或多个筛选节点,并基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系高效的完成图片的筛选。
Description
技术领域
本公开一般地涉及图像处理领域,具体涉及一种图片筛选方法、图片筛选装置、以及电子设备和计算机可读存储介质。
背景技术
随着图像处理技术的发展,在很多场景中需要收集图片形成图片集,用于重识别、训练模型等。而在将大量的图片收集之后,需要对图片进行筛选,根据预设的图片规则扫描存储路径下的全部图片文件,根据筛选策略清理目标图片。目前的筛选方式主要为,手动选择一个筛选策略,对目标图片集进行筛选处理,处理完成后,再选择另一个筛选策略进行处理,效率低下,操作繁琐,功能单一。
发明内容
为了解决现有技术中存在的上述问题,本公开的第一方面提供一种图片筛选方法,包括:获取图片集,其中图片集包括多个图片文件;确定一个或多个筛选节点;确定每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系;基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选。
在一例中,基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选,包括:基于第一筛选节点的筛选因素,得到输入第一筛选节点的各图片文件对应的第一结果;根据输入第一筛选节点的各图片文件对应的第一结果,基于第一筛选节点的判断条件,得到符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件;根据逻辑关系,对符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件分别进行如下操作中的至少一种:输入第一筛选节点下游与第一筛选节点相连的筛选节点,归入不合格图像文件集,归入合格图像文件集。
在一例中,根据输入第一筛选节点的各图片文件对应的第一结果,基于第一筛选节点的判断条件,得到符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件,包括:若当前图片文件对应的第一结果满足第一筛选节点包括的所有判断条件,则当前图片文件为符合第一筛选节点要求的图片文件,否则当前图片文件为不符合第一筛选节点要求的图片文件。
在一例中,第一筛选节点的判断条件包括第一判断条件和第二判断条件,若当前图片文件对应的第一结果满足第一筛选节点包括的所有判断条件,则当前图片文件为符合第一筛选节点要求的图片文件,否则当前图片文件为不符合第一筛选节点要求的图片文件,包括:若当前图片文件对应的第一结果满足第一筛选节点的第一判断条件,则将当前图片文件作为满足第一判断条件的中间文件输入第二判断条件,若当前图片文件对应的第一结果满足第一筛选节点的第二判断条件,则将当前图片文件作为符合第一筛选节点要求的图片文件。
在一例中,不符合第一筛选节点要求的图片文件包括:不满足第一判断条件的图片文件和/或满足第一判断条件但不满足第二判断条件的图片文件。
在一例中,判断条件包括:独立判断条件和/或综合判断条件;独立判断条件为仅根据当前图片文件的第一结果即可判断当前图片文件是否符合筛选节点要求的判断条件;综合判断条件为需根据除当前图片文件之外的其他输入第一筛选节点的图片文件的第一结果才能判断当前图片文件是否符合筛选节点要求的判断条件。
在一例中,独立判断条件包括以下至少一个:当前图片文件的第一结果是否大于预设值;当前图片文件的第一结果是否等于预设值;当前图片文件的第一结果是否小于预设值;当前图片文件的第一结果是否符合预设表达式;综合判断条件包括以下至少一个:当前图片文件的第一结果在其他输入综合判断条件的图片文件的第一结果的排序是否位于预设范围;第一结果大于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件;第一结果等于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件;第一结果小于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件。
在一例中,筛选因素类型包括:图像质量、文件重复性、文件规格、文件名称。
在一例中,文件规格类型包括以下子类型:文件大小、分辨率、色彩通道。
本公开的第二方面提供一种图片筛选装置,装置包括:获取模块,用于获取图片集,其中图片集包括多个图片文件;节点确定模块,用于确定一个或多个筛选节点;逻辑确定模块,用于确定每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系;筛选模块,用于基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选。
本公开的第三方面提供一种电子设备,包括:存储器,用于存储指令;以及处理器,用于调用存储器存储的指令执行第一方面的图片筛选方法。
本公开的第四方面提供一种计算机可读存储介质,其中存储有指令,指令被处理器执行时,执行如第一方面的图片筛选方法。
本公开提供的图片筛选方法及装置,在对一个图片集中的多个图片文件进行筛选时,能够通过同时设置一个或多个筛选节点,并基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系高效、灵活、自动化的完成图片的筛选。
附图说明
通过参考附图阅读下文的详细描述,本公开实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本公开的若干实施方式,其中:
图1示出了根据本公开一实施例图片筛选方法的流程示意图;
图2示出了根据本公开另一实施例图片筛选方法的流程示意图;
图3示出了根据本公开另一实施例图片筛选方法的流程示意图;
图4示出了根据本公开另一实施例图片筛选方法的筛选策略框架结构示意图;
图5示出了根据本公开另一实施例图片清理方法的筛选策略框架结构示意图;
图6示出了根据本公开一实施例图片筛选装置的示意图;
图7是本公开实施例提供的一种电子设备示意图。
在附图中,相同或对应的标号表示相同或对应的部分。
具体实施方式
下面将参考若干示例性实施方式来描述本公开的原理和精神。应当理解,给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本公开,而并非以任何方式限制本公开的范围。
需要注意,虽然本文中使用“第一”、“第二”等表述来描述本公开的实施方式的不同模块、步骤和数据等,但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分,而并不表示特定的顺序或者重要程度。实际上,“第一”、“第二”等表述完全可以互换使用。
为了能够高效的完成图片文件的清理,本公开实施例提供了一种图片清理方法10,如图1所示,图片清理方法10可以包括步骤S11-步骤S14,下面对上述步骤进行详细说明:
步骤S11,获取图片集,其中图片集包括多个图片文件。
获取待清理的图片集,可以通过下载或拷贝等方式将图片集存于本地。在一实施例中,可通过FTP或HTTP的方式下载图片集,其中FTP方式为,配置FTP服务IP地址,登录用户名,密码,系统连接FTP服务后,下载选定的文件,保存至系统指定的文件目录下。另外,HTTP方式为,配置下载地址,也可以根据下载要求,配置请求头信息,验证信息等,文件保存至系统指定的文件目录下。图片文件下载成功后,可以为图片文件生成图片文件ID,并和图片文件的基本信息:文件名,文件大小,文件存储路径,一并保存至数据库中。
步骤S12,确定一个或多个筛选节点。
其中,筛选节点是对图片文件进行判断的节点,在筛选节点中,可以根据不同的筛选因素对图片文件进行不同角度的判断,如需要将文件过大的图片文件清除,则可以设置一个判断图片文件大小的筛选节点,如还需要将图片集中的灰度图清除,则可以设置一个判断图片文件色彩通道数的筛选节点。因此,可以根据实际需要,对图片文件需要经过哪些因素的筛选,就可以设置相应的筛选节点,对图片文件需要经过几个因素的筛选,就可以设置相应数量的筛选节点。相比以往一些技术中,每次只能手动的根据需求筛选一个条件,本公开实施例能够同时设置一个或多个筛选节点,一次将图片集中的全部图片文件经过全部筛选节点进行筛选,得到通过全部筛选节点的图片文件,从而提高操作效率。
步骤S13,确定每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系。
对于每个筛选节点,需要确定:筛选因素,即根据哪一方面的因素对图片文件进行判断;判断条件,即根据筛选因素如何进行判断;及逻辑关系,即完成当前节点的判断之后,不同筛选结果的图片文件的处理方式。
在一实施例中,筛选因素的类型可以包括:图像质量、文件重复性、文件规格、文件名称。本实例并非穷举了全部筛选因素可以包括的类型,实际应用中,用户可以根据筛选图片文件实际需求进行设定。
图像质量筛选因素是基于图片文件质量进行判断,如图片文件中的人像质量等。可在本地设置进行图像检测的模型,也可以配置用于进行图像质量检查的算法服务地址,用于对图片文件的质量进行评测,得到一个关于图像质量的数值,即图片文件通过算法服务计算得到的质量分数,之后可进一步判断该质量分数是否符合判断条件。相应的判断条件可以是判断该质量分数是否高于一质量阈值,高于预设阈值则符合该筛选节点的要求;也可以根据全部质量分数对图片文件进行排序,质量分数最高的预设数量的图片文件符合该筛选节点要求。
文件重复性筛选因素,获取图片文件的文件名或文件类型标识,相应判断条件可以是判断文件名是否重复;也可以是根据文件类型,统计一个文件类型的个数,根据一个文件类型的总体数量是否超过一类型阈值从而判断该类型的图片文件是否满足该筛选节点的要求。
文件规格筛选因素,可以检测关于文件规格的信息,具体还可以包括以下子类型:文件大小,分辨率,色彩通道。
其中,文件大小获取图片文件占用磁盘空间的大小,相应可以设置判断条件用于判断文件大小是否满足一文件大小阈值,或也可以对文件大小排序,根据排序判断图片文件是否符合筛选节点要求。
分辨率检查项目:可获取图片文件的水平分辨率和垂直分辨率,基于水平分辨率和垂直分辨率设置相应的判断条件。
色彩通道检查项目:可获取图片文件的通道数,如RGB三通道或灰度单通道等,再进一步设置相应的判断条件。
文件名称筛选因素,可获取图片文件名称中的以下项目:文件名正则表达式,文件名拆分数量,属性值。
其中,正则表达式:可在判断条件中配置正则表达式规则,用于检查图片文件的文件名称与正则表达式规则是否匹配。
拆分数量:将文件名按照拆分符拆分后得到的属性数量即为拆分数量。可将判断条件设置为拆分后属性的数量与配置的拆分后数量是否一致。
属性值:将文件名按照拆分符拆分后得到的第N个属性的值即为属性值。例如,可将一个筛选节点的筛选因素为按照拆分符“_”对文件名进行拆分后的第2个属性值作为筛选因素。对于文件名为a_b_c.jpg的图片文件,根据拆分符"_"进行拆分,得到3个属性值[a,b,c],那么"b"就是第2个属性值。属性值对应的判断条件可以是图片文件的属性值是否重复,例如可将判断条件设置为是否存在第2个属性值与当前图片文件的第2个属性值相同的其他的文件,如果存在,说明存在属性值重复的图片文件。属性值对应的判断条件还可以是属性值是否满足预设范围。
前文仅以示例性的描述了多种可以设置的筛选因素,以及概括性的描述了相应的判断条件,但并不限定于上述筛选因素以及上述判断条件。
本公开实施例还可以对筛选节点之间的逻辑关系进行确定,确定筛选节点的前后顺序、前后筛选节点基于判断结果的输出、输入连接关系等。可以根据一个筛选节点中基于筛选因素和判断条件得到的结果,确定下一步的处理方式,可以根据结果将图片文件归入合格图片文件集或不合格图片文件集以完成筛选,也可以输入下一个筛选节点中做进一步的筛选。通过设置筛选节点的逻辑关系,能够形成一个完整的筛选策略,从而能够高效的完成图片筛选,无需人工多次进行选择,并且基于逻辑关系能够实现复杂筛选策略的实现。
步骤S14,基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选。
基于确定的筛选策略,对图片集中的图片文件进行筛选,即基于每个筛选节点的筛选因素、相应的判断条件以及节点之间的逻辑关系等判断图片文件是否合格,如果合格则归入合格图片文件集中,不合格则归入不合格图片文件集,从而完成图片筛选工作,合格图片集中的图片文件即为满足需求的图片文件。
在一实施例中,如图2所示,步骤S14可以包括:步骤S141,基于第一筛选节点的筛选因素,得到输入第一筛选节点的各图片文件对应的第一结果;步骤S142,根据输入第一筛选节点的各图片文件对应的第一结果,基于第一筛选节点的判断条件,得到符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件;步骤S143,根据逻辑关系,对符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件分别进行如下操作中的至少一种:输入第一筛选节点下游与第一筛选节点相连的筛选节点,归入不合格图像文件集,归入合格图像文件集。本实施例中,图片文件输入到第一筛选节点后,根据筛选因素得到各图片文件的第一结果,如该筛选因素为图像质量,则获取到各图片文件的质量分数作为第一结果。再根据第一结果,基于判断条件得到判断结果,如判断条件为质量分数高于质量阈值的图片文件为符合第一筛选节点要求、否则不符合,则将图片文件各自的质量分数分别与质量阈值进行对比,即可得到图片文件是否符合第一筛选节点要求的结论。之后,根据逻辑关系,对符合第一筛选节点要求的图片文件以及不符合第一筛选节点要求的图片文件分别进行相应的处理,如对不符合第一筛选节点要求的图片文件直接归入不合格图像文件集,对符合第一筛选节点要求的图片文件输入下一筛选节点,通过下一筛选节点(如色彩通道数量筛选)进行进一步的判断。
在一实施例中,如图3所示,步骤S142包括:S1420:若当前图片文件对应的第一结果满足所述第一筛选节点包括的所有判断条件,则当前图片文件为符合所述第一筛选节点要求的图片文件,否则当前图片文件为不符合所述第一筛选节点要求的图片文件。相比于第一筛选节点只能包括一个判断条件的方案,在本实施例中,一个筛选节点可以包括一个或多个判断条件,便于在一个筛选节点中对第一结果进行不同判断条件的判断,而无须在多个筛选节点中重复计算第一结果后再在不同筛选节点进行不同判断条件的判断。若筛选节点只包括一个判断条件,则图片文件的第一结果满足该判断条件,即符合该筛选节点的要求;若筛选节点包括多个判断条件,则图片文件的第一结果满足了所有判断条件,才符合该筛选节点的要求。如此,可以对判断条件对应的第一结果设置多个判断条件。如筛选因素为图像质量,第一结果为图像的质量分数,筛选节点包括的第一判断条件是第一结果是否大于75分,第二判断条件是第一结果是否位于所有输入该筛选节点图片质量分数的前10%,也就是说,同时满足质量分大于75分且质量分位于前10%的图片文件才会作为符合筛选节点要求的图片文件。
在一个实施例中,所述第一筛选节点的判断条件包括第一判断条件和第二判断条件,步骤S1420包括:若当前图片文件对应的第一结果满足所述第一筛选节点的第一判断条件,则将当前图片文件作为满足第一判断条件的中间文件输入第二判断条件,若当前图片文件对应的第一结果满足所述第一筛选节点的第二判断条件,则将当前图片文件作为符合所述第一筛选节点要求的图片文件。在本实施例中,对一个筛选节点中的多个判断条件进行逐一判断,把满足在前判断条件的图片文件作为中间文件输入在后判断条件进行判断,把满足最后一个判断条件的图片文件(也即满足所有判断条件的图片文件)作为符合筛选节点要求的图片文件进行输出。在另一实施例中,把不满足所述第一判断条件的图片文件和/或满足所述第一判断条件但不满足所述第二判断条件的图片文件作为不符合所述第一筛选节点要求的图片文件,可将这部分图片文件作为合格文件、不合格文件或输入下游筛选节点。可以理解的是,可对不满足所述第一判断条件的图片文件和满足所述第一判断条件但不满足所述第二判断条件的图片文件做不同处理,例如分别输入下游的不同筛选节点。
在一个具体实施例中,可基于图片文件根据第一筛选节点的筛选因素得到的第一结果,判断图片文件是否符合第一判断条件:若符合第一判断条件,则缓存图片文件及其对应的第一结果;若不符合第一判断条件,则将图片文件归入不合格图片文件集,或基于逻辑关系输入第一筛选节点下游的第二筛选节点;判断缓存的图片文件的第一结果是否符合当前筛选节点的第二判断条件:若符合第二判断条件,则将图片文件归入合格图片文件集,或基于逻辑关系输入第一筛选节点下游的第三筛选节点;若不符合第二判断条件,则将图片文件归入不合格图片文件集,或基于逻辑关系输入第一筛选节点下游的第四筛选节点。本实施例中,在筛选节点中设置第一判断条件和第二判断条件,基于第一判断条件进行初筛,将不满足第一判断条件的图片文件归入不合格图片文件集,或基于逻辑关系输入下游的筛选节点中;将满足第一判断条件的图片文件存入缓存中,以便后续通过第二判断条件进行二筛,从而能够降低筛选计算量,并且也能够实现更复杂的逻辑策略关系,满足对图片文件更加复杂的筛选需求。
在一实施例中,判断条件可以包括:独立判断条件和/或综合判断条件;独立判断条件为仅根据当前图片文件的第一结果即可判断当前图片文件是否符合筛选节点要求的判断条件;综合判断条件为需根据除当前图片文件之外的其他输入第一筛选节点的图片文件的第一结果才能判断一个图片文件是否符合筛选节点要求的判断条件。
具体来说,独立判断条件,是指该筛选节点中,当前一个图片文件基于自身的筛选因素得到的第一结果,即可直接根据独立判断条件得到是否符合该筛选节点要求,其他图片文件的第一结果对当前文件图片是否符合筛选节点要求不产生影响。在一个具体实施例中,所述独立判断条件包括以下至少一个:
所述当前图片文件的第一结果是否大于预设值(例如图片质量分是否大于75,此时,图片文件是否符合筛选节点要求,仅取决于自身图片文件的质量分数,与其他图片文件无关);所述当前图片文件的第一结果是否等于预设值(例如文件名的第2个属性是否为“b”);所述当前图片文件的第一结果是否小于预设值;所述当前图片文件的第一结果是否符合预设表达式(例如文件名是否符合正则表达式“*123”,其中*表示任意字符)。
如图4所示,多个筛选节点的筛选因素可以均设置为独立判断条件,该种方式中每一个筛选节点相当于就是一个过滤器。图片文件可以依次进行判断,符合每个筛选节点的判断条件即为合格。该种方式逻辑简单,能够高效的获取合格的图片文件。
而综合判断条件,是该筛选节点中,每个图片文件在根据筛选因素得到结果之后,需要根据除当前图片文件之外的其他输入到该筛选节点的图片文件结果进行综合判断,不能根据自身的结果直接得到是否符合筛选节点要求的结论。在一个具体实施例中,所述独立判断条件包括以下至少一个:
所述当前图片文件的第一结果在其他输入所述综合判断条件的图片文件的第一结果的排序是否位于预设范围(例如图片文件的质量分是否位于前10%,在该例中,图片文件是否符合筛选节点要求,不仅仅取决于自身图片文件的质量分数,而是需要根据其他图片的质量分数进行综合判断才能得到结论);第一结果大于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件(例如大于当前图片文件质量分数的其他图片文件是否多于10个);第一结果等于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件(例如,和当前图片文件的文件名的第2个属性相同的其他图片文件的数量是否不为0);第一结果小于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件。
本公开实施例中,可根据需求,设置任意类型的判断条件,并且在一些情况下可以设置多个独立判断条件、多个综合判断条件以及两者之间的各种综合,从而完成该筛选节点的判断,进一步,再通过节点之间的逻辑关系形成一个完整的筛选方法,从而能够高效的完成复杂的清理任务。可以理解的是,一个筛选节点可以既包含独立判断条件,又包含综合判断条件。多个筛选节点中的某些节点可以包含独立判断条件,另一些节点可以包括综合判断条件,其他节点可以同时包括独立判断条件和综合判断条件。
图5示例性的示出了一种筛选策略框架结构,其中包括三个筛选节点,筛选节点A的筛选因素是是图像质量,每个图片文件得到一个质量分数,即第一结果。筛选节点A的第一判断条件是质量分数大于质量分阈值的图片文件,即独立判断条件,例如质量分阈值为80分,将质量分数小于或等于80的图片文件归入不合格图片文件集;将质量分数大于80的三个图片文件作为中间图片文件存入数据缓冲区Z1中,三个图片文件的质量分数分别为81,85,90。再根据存入数据缓冲区Z1的3个质量分数判断各图片文件的质量分数是否符合第二判断条件,第二判断条件是质量分数最高的两个图片文件,即综合判断条件,根据第二判断条件,质量分数为90、85的图片文件作为符合筛选节点A筛选要求的图片文件输入到筛选节点B,而将质量分数为80的图片文件归入不合格图片文件集。筛选节点B的筛选因素是文件规格,根据筛选因素获取图片文件占用磁盘空间大小的数值,筛选节点B的第三判断条件为大小大于2M的图片文件为符合要求,否则为不符合要求。符合筛选节点B的第三判断条件的图片文件的进入数据缓存区Z2,可用筛选节点B对应的另一个第四判断条件进行进一步判断,例如将满足第三判断条件的文件大小最大的图片文件作为满足第四判断条件的图片文件输出至合格图片文件集,不满足第四判断体条件的图片文件输出至不合格图片文件集。不满足第三判断条件的图片文件输入筛选节点C。筛选节点C的筛选因素是文件名称规则,判断条件是图片文件名称符合正则表达式的认为符合要求,若符合要求则归入合格图片文件集,不符合则归入不合格图片文件集。
以上仅以一具体例子对本公开的筛选策略设置进行说明,实际应用中可以进行各多种的设置,满足不同的筛选需求。
在一实施例中,图片筛选方法10还可以包括:存储每个筛选节点的筛选因素、判断条件,以及每个筛选节点对每个图片文件的筛选结果。图片文件经过每一个筛选节点时,都可以将图片文件信息、判断结果发送至日志模块,存储起来,方便后续追溯。
基于同一发明构思,图6示出了本公开实施例提供的一种图片筛选装置100,包括:获取模块110,用于获取图片集,其中图片集包括多个图片文件;节点确定模块120,用于确定一个或多个筛选节点;逻辑确定模块130,用于确定每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系;筛选模块140,用于基于每个筛选节点的筛选因素、判断条件,及各筛选节点之间的逻辑关系,对图片文件进行筛选。
在一例中,筛选模块140还用于:基于第一筛选节点的筛选因素,得到输入第一筛选节点的各图片文件对应的第一结果;根据输入第一筛选节点的各图片文件对应的第一结果,基于第一筛选节点的判断条件,得到符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件;根据逻辑关系,对符合第一筛选节点要求的图片文件和不符合第一筛选节点要求的图片文件分别进行如下操作中的至少一种:输入第一筛选节点下游与第一筛选节点相连的筛选节点,归入不合格图像文件集,归入合格图像文件集。
在一例中,筛选模块140还用于:若当前图片文件对应的第一结果满足第一筛选节点包括的所有判断条件,则当前图片文件为符合第一筛选节点要求的图片文件,否则当前图片文件为不符合第一筛选节点要求的图片文件。
在一例中,第一筛选节点的判断条件包括第一判断条件和第二判断条件,筛选模块140还用于:若当前图片文件对应的第一结果满足第一筛选节点的第一判断条件,则将当前图片文件作为满足第一判断条件的中间文件输入第二判断条件,若当前图片文件对应的第一结果满足第一筛选节点的第二判断条件,则将当前图片文件作为符合第一筛选节点要求的图片文件。
在一例中,不符合第一筛选节点要求的图片文件包括:不满足第一判断条件的图片文件和/或满足第一判断条件但不满足第二判断条件的图片文件。
在一例中,判断条件包括:独立判断条件和/或综合判断条件;独立判断条件为仅根据当前图片文件的第一结果即可判断当前图片文件是否符合筛选节点要求的判断条件;综合判断条件为需根据除当前图片文件之外的其他输入第一筛选节点的图片文件的第一结果才能判断当前图片文件是否符合筛选节点要求的判断条件。
在一例中,独立判断条件包括以下至少一个:当前图片文件的第一结果是否大于预设值;当前图片文件的第一结果是否等于预设值;当前图片文件的第一结果是否小于预设值;当前图片文件的第一结果是否符合预设表达式;综合判断条件包括以下至少一个:当前图片文件的第一结果在其他输入综合判断条件的图片文件的第一结果的排序是否位于预设范围;第一结果大于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件;第一结果等于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件;第一结果小于当前图片文件的第一结果的其他输入综合判断条件的图片文件的数量是否满足预设条件。
在一例中,筛选因素类型包括:图像质量、文件重复性、文件规格、文件名称。
在一例中,文件规格类型包括以下子类型:文件大小、分辨率、色彩通道。
关于上述实施例中的图片筛选装置100,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
如图7所示,本公开的一个实施方式提供了一种电子设备300。其中,该电子设备300包括存储器301、处理器302、输入/输出(Input/Output,I/O)接口303。其中,存储器301,用于存储指令。处理器302,用于调用存储器301存储的指令执行本公开实施例的图片筛选方法。其中,处理器302分别与存储器301、I/O接口303连接,例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器301可用于存储程序和数据,包括本公开实施例中涉及的图片筛选方法的程序,处理器302通过运行存储在存储器301的程序从而执行电子设备300的各种功能应用以及数据处理。
本公开实施例中处理器302可以采用数字信号处理器(Digital SignalProcessing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable Logic Array,PLA)中的至少一种硬件形式来实现,所述处理器302可以是中央处理单元(Central Processing Unit,CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。
本公开实施例中的存储器301可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory,RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory,ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD)等。
本公开实施例中,I/O接口303可用于接收输入的指令(例如数字或字符信息,以及产生与电子设备300的用户设置以及功能控制有关的键信号输入等),也可向外部输出各种信息(例如,图像或声音等)。本公开实施例中I/O接口303可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。
可以理解的是,本公开实施例中尽管在附图中以特定的顺序描述操作,但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作,或是要求执行全部所示的操作以得到期望的结果。在特定环境中,多任务和并行处理可能是有利的。
本公开实施例涉及的方法和装置能够利用标准编程技术来完成,利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是,此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。
此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中,软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现,其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。
出于示例和描述的目的,已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式,根据上述教导还可能存在各种变形和修改,或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用,以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。
Claims (12)
1.一种图片筛选方法,其中,所述方法包括:
获取图片集,其中所述图片集包括多个图片文件;
确定一个或多个筛选节点;
确定每个所述筛选节点的筛选因素、判断条件,及各所述筛选节点之间的逻辑关系;
基于每个所述筛选节点的筛选因素、判断条件,及各所述筛选节点之间的逻辑关系,对所述图片文件进行筛选。
2.根据权利要求1所述的图片筛选方法,其中,所述基于每个所述筛选节点的筛选因素、判断条件,及各所述筛选节点之间的逻辑关系,对所述图片文件进行筛选,包括:
基于第一筛选节点的所述筛选因素,得到输入第一筛选节点的各所述图片文件对应的第一结果;
根据输入第一筛选节点的各所述图片文件对应的第一结果,基于所述第一筛选节点的所述判断条件,得到符合所述第一筛选节点要求的图片文件和不符合所述第一筛选节点要求的图片文件;
根据所述逻辑关系,对符合所述第一筛选节点要求的图片文件和所述不符合第一筛选节点要求的图片文件分别进行如下操作中的至少一种:
输入所述第一筛选节点下游与所述第一筛选节点相连的筛选节点,归入不合格图像文件集,归入合格图像文件集。
3.根据权利要求2所述的图片筛选方法,其中,所述根据输入第一筛选节点的各所述图片文件对应的第一结果,基于所述第一筛选节点的所述判断条件,得到符合所述第一筛选节点要求的图片文件和不符合所述第一筛选节点要求的图片文件,包括:
若当前图片文件对应的第一结果满足所述第一筛选节点包括的所有判断条件,则当前图片文件为符合所述第一筛选节点要求的图片文件,否则当前图片文件为不符合所述第一筛选节点要求的图片文件。
4.根据权利要求3所述的图片筛选方法,其中,
所述第一筛选节点的判断条件包括第一判断条件和第二判断条件,
若当前图片文件对应的第一结果满足所述第一筛选节点包括的所有判断条件,则当前图片文件为符合所述第一筛选节点要求的图片文件,否则当前图片文件为不符合所述第一筛选节点要求的图片文件,包括:
若当前图片文件对应的第一结果满足所述第一筛选节点的第一判断条件,则将当前图片文件作为满足第一判断条件的中间文件输入第二判断条件,若当前图片文件对应的第一结果满足所述第一筛选节点的第二判断条件,则将当前图片文件作为符合所述第一筛选节点要求的图片文件。
5.根据权利要求4所述的图片筛选方法,其中,
所述不符合所述第一筛选节点要求的图片文件包括:不满足所述第一判断条件的图片文件和/或满足所述第一判断条件但不满足所述第二判断条件的图片文件。
6.根据权利要求2至5任一项所述的图片筛选方法,其中,所述判断条件包括:独立判断条件和/或综合判断条件;
所述独立判断条件为仅根据当前图片文件的第一结果即可判断所述当前图片文件是否符合筛选节点要求的判断条件;
所述综合判断条件为需根据除当前图片文件之外的其他输入所述第一筛选节点的图片文件的第一结果才能判断当前图片文件是否符合筛选节点要求的判断条件。
7.根据权利要求6所述的图片筛选方法,其中,
所述独立判断条件包括以下至少一个:
所述当前图片文件的第一结果是否大于预设值;所述当前图片文件的第一结果是否等于预设值;所述当前图片文件的第一结果是否小于预设值;所述当前图片文件的第一结果是否符合预设表达式;
所述综合判断条件包括以下至少一个:
所述当前图片文件的第一结果在其他输入所述综合判断条件的图片文件的第一结果的排序是否位于预设范围;第一结果大于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件;第一结果等于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件;第一结果小于当前图片文件的第一结果的其他输入所述综合判断条件的图片文件的数量是否满足预设条件。
8.根据权利要求1至7任一项所述的图片筛选方法,其中,所述筛选因素类型包括:图像质量、文件重复性、文件规格、文件名称。
9.根据权利要求8所述的图片筛选方法,其中,所述文件规格类型包括以下子类型:文件大小、分辨率、色彩通道。
10.一种图片筛选装置,其中,所述装置包括:
获取模块,用于获取图片集,其中所述图片集包括多个图片文件;
节点确定模块,用于确定一个或多个筛选节点;
逻辑确定模块,用于确定每个所述筛选节点的筛选因素、判断条件,及各所述筛选节点之间的逻辑关系;
筛选模块,用于基于每个所述筛选节点的筛选因素、判断条件,及各所述筛选节点之间的逻辑关系,对所述图片文件进行筛选。
11.一种电子设备,其中,所述电子设备包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1-9中任一项所述的图片筛选方法。
12.一种计算机可读存储介质,其中存储有指令,所述指令被处理器执行时,执行如权利要求1-9中任一项所述的图片筛选方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093497.1A CN111309948A (zh) | 2020-02-14 | 2020-02-14 | 图片筛选方法、图片筛选装置以及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010093497.1A CN111309948A (zh) | 2020-02-14 | 2020-02-14 | 图片筛选方法、图片筛选装置以及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111309948A true CN111309948A (zh) | 2020-06-19 |
Family
ID=71160088
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010093497.1A Pending CN111309948A (zh) | 2020-02-14 | 2020-02-14 | 图片筛选方法、图片筛选装置以及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111309948A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819509A (zh) * | 2021-01-18 | 2021-05-18 | 上海携程商务有限公司 | 自动筛选广告图片的方法、系统、电子设备和存储介质 |
CN113282547A (zh) * | 2021-04-25 | 2021-08-20 | 维沃移动通信有限公司 | 文件处理方法、装置和电子设备 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055712A (zh) * | 2016-06-30 | 2016-10-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种筛选图片的方法、装置及终端 |
CN107341190A (zh) * | 2017-06-09 | 2017-11-10 | 努比亚技术有限公司 | 图片筛选方法、终端及计算机可读存储介质 |
CN108229574A (zh) * | 2018-01-18 | 2018-06-29 | 维沃移动通信有限公司 | 一种图片筛选的方法、装置和移动终端 |
CN108228844A (zh) * | 2018-01-09 | 2018-06-29 | 美的集团股份有限公司 | 一种图片筛选方法及装置、存储介质、计算机设备 |
CN109145138A (zh) * | 2018-09-10 | 2019-01-04 | 北京点网聚科技有限公司 | 一种封面选取方法、装置、电子设备及存储介质 |
CN109840559A (zh) * | 2019-01-24 | 2019-06-04 | 北京工业大学 | 图像筛选方法、装置以及电子设备 |
CN110083735A (zh) * | 2019-04-22 | 2019-08-02 | 广州华多网络科技有限公司 | 图像筛选的方法、装置、电子设备及计算机可读存储介质 |
-
2020
- 2020-02-14 CN CN202010093497.1A patent/CN111309948A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106055712A (zh) * | 2016-06-30 | 2016-10-26 | 宇龙计算机通信科技(深圳)有限公司 | 一种筛选图片的方法、装置及终端 |
CN107341190A (zh) * | 2017-06-09 | 2017-11-10 | 努比亚技术有限公司 | 图片筛选方法、终端及计算机可读存储介质 |
CN108228844A (zh) * | 2018-01-09 | 2018-06-29 | 美的集团股份有限公司 | 一种图片筛选方法及装置、存储介质、计算机设备 |
CN108229574A (zh) * | 2018-01-18 | 2018-06-29 | 维沃移动通信有限公司 | 一种图片筛选的方法、装置和移动终端 |
CN109145138A (zh) * | 2018-09-10 | 2019-01-04 | 北京点网聚科技有限公司 | 一种封面选取方法、装置、电子设备及存储介质 |
CN109840559A (zh) * | 2019-01-24 | 2019-06-04 | 北京工业大学 | 图像筛选方法、装置以及电子设备 |
CN110083735A (zh) * | 2019-04-22 | 2019-08-02 | 广州华多网络科技有限公司 | 图像筛选的方法、装置、电子设备及计算机可读存储介质 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112819509A (zh) * | 2021-01-18 | 2021-05-18 | 上海携程商务有限公司 | 自动筛选广告图片的方法、系统、电子设备和存储介质 |
CN112819509B (zh) * | 2021-01-18 | 2024-03-26 | 上海携程商务有限公司 | 自动筛选广告图片的方法、系统、电子设备和存储介质 |
CN113282547A (zh) * | 2021-04-25 | 2021-08-20 | 维沃移动通信有限公司 | 文件处理方法、装置和电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9959197B2 (en) | Automated bug detection with virtual machine forking | |
JP6102947B2 (ja) | 画像処理装置及び特徴検出方法 | |
CN107203765A (zh) | 敏感图像检测方法和装置 | |
WO2021164232A1 (zh) | 用户识别方法、装置、设备及存储介质 | |
CN111309948A (zh) | 图片筛选方法、图片筛选装置以及电子设备 | |
CN108304328A (zh) | 一种众包测试报告的文本描述生成方法、系统及装置 | |
CN116416190A (zh) | 瑕疵检测方法及装置、电子设备及存储介质 | |
CN108334626B (zh) | 新闻栏目的生成方法、装置和计算机设备 | |
CN112632529A (zh) | 漏洞识别方法、设备、存储介质及装置 | |
CN110909005B (zh) | 一种模型特征分析方法、装置、设备及介质 | |
CN113778864A (zh) | 一种测试用例的生成方法和装置、电子设备和存储介质 | |
CN112995765B (zh) | 一种网络资源显示方法及装置 | |
CN104933096B (zh) | 数据库的异常键识别方法、装置与数据系统 | |
CN115546218B (zh) | 置信度阈值确定方法和装置、电子设备和存储介质 | |
CN112801070B (zh) | 一种目标检测方法、装置、设备及存储介质 | |
CN112199285B (zh) | 一种测试案例优选方法、装置及电子设备 | |
JP2011100459A (ja) | 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体撮影装置 | |
CN111737371B (zh) | 可动态预测的数据流量检测分类方法及装置 | |
CN110955710B (zh) | 一种数据交换作业中脏数据的处理方法及装置 | |
CN110309335B (zh) | 一种图片匹配方法、装置、设备及存储介质 | |
CN113204706A (zh) | 基于MapReduce的数据筛选抽取方法及系统 | |
CN113220565A (zh) | 一种众包测试报告的处理方法及装置 | |
JP2020085705A (ja) | 判定装置及び判定方法 | |
TWI755176B (zh) | 細胞密度分類方法及裝置、電子裝置及存儲介質 | |
CN115730068B (zh) | 基于人工智能分类的检测标准检索系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200619 |