CN111368926B - 图像筛选方法、装置和计算机可读存储介质 - Google Patents

图像筛选方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111368926B
CN111368926B CN202010150818.7A CN202010150818A CN111368926B CN 111368926 B CN111368926 B CN 111368926B CN 202010150818 A CN202010150818 A CN 202010150818A CN 111368926 B CN111368926 B CN 111368926B
Authority
CN
China
Prior art keywords
image
sample image
sample
clustering
sample images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010150818.7A
Other languages
English (en)
Other versions
CN111368926A (zh
Inventor
牟帅
肖万鹏
鞠奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010150818.7A priority Critical patent/CN111368926B/zh
Publication of CN111368926A publication Critical patent/CN111368926A/zh
Application granted granted Critical
Publication of CN111368926B publication Critical patent/CN111368926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例公开了一种图像筛选方法、装置和计算机可读存储介质；本发明实施例可以获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像；该方案可以有效地提高图像筛选的效率。

Description

图像筛选方法、装置和计算机可读存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种图像筛选方法、装置和计算机可读存储介质。
背景技术
随着深度学习近年来的高速发展，在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很多复杂的模式识别难题，使得人工智能相关技术取得了很大进步。因此，越来越多的深度学习模型被成功应用于各个领域的各个业务场景中，为了持续优化和更新业务场景的线上模型，作为数据驱动的深度学习算法，收集算法置信度不高的目标类别困难图像显得非常重要。困难图像(Hard Case)的实质是深度模型的边缘样本，即目标类别与其他类别难以分开的样本。针对这个问题，目前尚未提出非常有效的解决方案。
发明内容
本发明实施例提供一种图像筛选方法、装置和计算机可读存储介质，可以有效地提高图像筛选的效率。
本发明实施例提供一种图像筛选方法，包括：
获取多张样本图像、以及所述样本图像对应的图像属性信息；
计算所述样本图像属于预设目标类别的类别概率；
基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像；
对所述至少一张正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果；
根据所述至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
相应的，本发明实施例还提供一种图像筛选装置，包括：
获取单元，用于获取多张样本图像、以及所述样本图像对应的图像属性信息；
计算单元，用于计算所述样本图像属于预设目标类别的类别概率；
分类单元，用于基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像；
聚类单元，用于对所述至少一张正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果；
筛选单元，用于根据所述至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
可选的，在一些实施例中，所述计算单元可以包括提取子单元和计算子单元，如下：
所述提取子单元，用于对所述样本图像进行图像特征提取，得到样本图像特征；
所述计算子单元，用于根据所述样本图像特征计算所述样本图像属于预设目标类别的类别概率。
可选的，在一些实施例中，所述提取子单元，具体可以用于对所述样本图像进行预处理，得到预处理后样本图像；采用分类模型中的残差网络对所述预处理后样本图像进行图像特征提取，得到样本图像特征。
可选的，在一些实施例中，所述计算子单元，具体可以用于采用分类模型中的分类网络对所述样本图像特征进行加权求和，得到所述样本图像属于预设目标类别的类别分数；将所述类别分数进行归一化，得到所述样本图像属于预设目标类别的概率。
可选的，在一些实施例中，所述图像筛选装置还可以包括第一训练单元，如下：
所述第一训练单元，具体可以用于获取多张训练样本图像；采用所述训练样本图像对第一网络进行训练，得到第一预测值；根据所述训练样本图像的真实值与第一预测值，采用第一损失函数对第一网络进行收敛，得到训练后第一网络；采用所述训练样本图像对第二网络进行训练，得到第二预测值；根据所述训练样本图像的真实值与第二预测值，采用第二损失函数对第二网络进行收敛，得到训练后第二网络；采用所述训练样本图像对第三网络进行训练，得到第三预测值；根据所述训练样本图像的真实值与第三预测值，采用第三损失函数对第三网络进行收敛，得到训练后第三网络；根据所述训练后第一网络、所述训练后第二网络和所述训练后第三网络，确定分类模型。
可选的，在一些实施例中，所述分类单元，具体可以用于根据所述类别概率和所述图像属性信息生成图像特征向量；基于所述图像特征向量，利用分类器对所述样本图像进行分类；根据分类结果从多张样本图像中确定至少一张正样本图像。
可选的，在一些实施例中，所述聚类单元，具体可以用于利用深度聚类模型对所述至少一张正样本图像进行特征提取，得到所述至少一张正样本图像的深度特征；基于所述深度特征对所述正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果。
可选的，在一些实施例中，所述图像筛选装置还可以包括第二训练单元，所述第二训练单元包括获取子单元、训练提取子单元和收敛子单元，如下：
所述获取子单元，用于获取多张训练样本图像；
所述训练提取子单元，用于利用预设深度聚类模型对所述训练样本图像进行特征提取，得到训练样本图像特征；
所述收敛子单元，用于基于所述训练样本图像特征对所述训练样本图像进行聚类，根据聚类结果对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
可选的，在一些实施例中，所述收敛子单元，具体可以用于基于所述训练样本图像特征对所述训练样本图像进行聚类，得到所述训练样本图像的第一聚类结果；根据所述第一聚类结果生成所述训练样本图像的第一伪标签；利用所述第一伪标签对所述预设深度聚类模型进行调整，得到调整后深度聚类模型；利用所述调整后深度聚类模型对所述训练样本图像进行聚类，得到所述训练样本图像的第二聚类结果；根据所述第二聚类结果生成所述训练样本图像的第二伪标签；根据所述第一伪标签和所述第二伪标签计算第一聚类结果和第二聚类结果的标准互信息，根据所述标准互信息对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
可选的，在一些实施例中，所述图像筛选装置还可以包括存储单元，所述存储单元用于将所述样本图像和所述样本图像对应的图像属性信息保存在区块链中。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种图像筛选方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像筛选方法中的步骤。
本发明实施例可以获取多张样本图像、以及所述样本图像对应的图像属性信息，然后，计算所述样本图像属于预设目标类别的类别概率，再基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对所述至少一张正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果，再然后，根据所述至少一个聚类结果，从多张样本图像中筛选出的目标样本图像；该方案可以有效地提高图像筛选的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像筛选方法的场景示意图；
图1b是本发明实施例提供的图像筛选方法的流程图；
图1c是本发明实施例提供的不同业务中困难样本率和中分段数据分布图；
图2a是本发明实施例提供的分类模型中的残差网络结构图；
图2b是本发明实施例提供的分类模型中的分类网络结构图；
图2c是本发明实施例提供的深度聚类网络结构图；
图2d是本发明实施例提供的图像筛选方法的另一流程图；
图2e是本发明实施例提供的图像筛选方法的又一流程图；
图3是本发明实施例提供的图像筛选装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种图像筛选方法、装置和计算机可读存储介质。其中，该图像筛选可以集成在电子设备中。
本申请实施例提供的图像筛选方法涉及人工智能领域中的计算机视觉方向，可以通过人工智能的计算机视觉技术实现图像筛选，得到筛选结果。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉，并进一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术，还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
例如，参见图1a，首先，该集成了图像筛选装置的终端可以获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
由于该方案可以根据样本图像的类别概率和该样本图像的图像属性信息对该样本图像进行分类，从多张样本图像中确定至少一张正样本图像后再进行聚类，进而从聚类结果中筛选出目标样本图像，有效地提高了图像筛选的效率。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像筛选装置的角度进行描述，该图像筛选装置具体可以集成在终端中；其中，该终端可以包括手机、平板电脑、笔记本电脑以及个人计算机(PersonalComputer，PC)等可以实现图像筛选的设备。
一种图像筛选方法，包括：获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
如图1b所示，该图像筛选方法的具体流程可以如下：
101、获取多张样本图像、以及该样本图像对应的图像属性信息。
其中，样本图像可以指的是用于人工智能领域中模型训练的样本图像。在用于模型训练的训练集中，如果按照学习的难易来区分，训练集可以分为困难样本(Hard Sample)和容易样本(Easy Sample)。其中，Hard Sample指的就是难学的样本(损失较大)，EasySample就是好学的样本(损失小)。为了使模型训练更有效，让模型比较容易学好这些样本，需要尽量收集多的困难样本，如果Hard Sample很多，那么它们对于loss和梯度(gradient)贡献都比较大，因此，收集算法置信度不高的目标类别困难样本显得非常重要。为了提高收集效率，本方案中的样本图像可以是深度模型的中分段图像样本，目的是从该中分段图像样本中选取出符合目标类别的困难样本，即目标样本图像。
其中，中分段样本图像指的是深度模型中分类置信度(即可靠度)不高的样本，例如，可以选取置信度在0.3～0.6之间的样本。其中，置信度也称为可靠度，或置信水平、置信系数，即在抽样对总体参数作出估计时，由于样本的随机性，其结论总是不确定的。因此，采用一种概率的陈述方法，也就是数理统计中的区间估计法，即估计值与总体参数在一定允许的误差范围以内，其相应的概率有多大，这个相应的概率称作置信度。
图1c为某目标类别在不同业务来源模型中分段数据真实困难样本占比，由图1c可以发现在业务来源这一个维度，该类困难样本的数据占比和中分段样本分布具有明显的可判别性。图1c中，中分段占比的总和为100％，困难样本的占比为100％。比如，有100万中分段数据，这100万中包含10万目标类别困难样本，如果有10万中分段样本来自业务X，而这10万又有4万是目标类别的困难样本，那么业务X的中分段占比就是10万/100万＝10％，困难样本占比就是4万/10万＝40％。
其中，样本图像对应的图像属性信息可以指的是样本图像的其他维度特征，比如，样本图像文字信息、样本图像业务来源、样本图像上传地点等等。
102、计算该样本图像属于预设目标类别的类别概率。
其中，计算该样本图像属于预设目标类别的类别概率的方式可以有很多种，例如，可以对该样本图像进行图像特征提取，得到样本图像特征，然后，根据该样本图像特征计算该样本图像属于预设目标类别的类别概率。
其中，对该样本图像进行图像特征提取的方式也可以有很多种，比如，可以利用各种现有的可以用于特征提取的神经网络对样本图像进行特征提取，也可以对现有神经网络的参数和结构进行改进后再对样本图像进行特征提取，等等。例如，具体可以对该样本图像进行预处理，得到预处理后样本图像，采用分类模型中的残差网络对该预处理后样本图像进行图像特征提取，得到样本图像特征。
其中，预设目标类别的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在图像筛选装置中。此外，预设目标类别可以内置于图像筛选装置中，或者，也可以保存在存储器中并发送给图像筛选装置，等等。
其中，对样本图像进行预处理的主要目的是消除样本图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取的可靠性。比如，预处理流程可以为：灰度化->几何变换->图像增强，等等。
例如，根据该样本图像特征计算该样本图像属于预设目标类别的概率的方式也可以有很多种，比如，具体可以采用分类模型中的分类网络对该样本图像特征进行加权求和，得到该样本图像属于预设目标类别的类别分数，将该类别分数进行归一化，得到该样本图像属于预设目标类别的概率。
其中，为了提高收集困难样本的效率，比如，分类网络的网络结构可以为在卷积神经网络(Convolutional Neural Networks,CNN)网络结构上实现判别性特征学习(Discriminative Feature Learning，DFL)模块，比如，可以将DFL模块连接到任意一神经网络中，比如，LeNet、AlexNet(Alex(人名))、ZFNet(Zeiler(人名)Fergus(人名)Net)、VGGNet(由牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司一起研发的深度卷积神经网络)、GoogLeNet、或者ResNet(残差网络)等等。
可选的，该分类模型可以由多张训练样本图像训练而成。具体可以由其他设备进行训练后，提供给该图像筛选装置，或者，也可以由该图像筛选装置自行进行训练；即在采用分类模型之前，该图像筛选方法还可以包括：
(1)获取多张训练样本图像。
比如，具体可以采集多张训练样本图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设分类模型的输入标准的图像。
其中，预处理可以包括灰度化、几何变换、图像增强、去噪、插值、对齐和/或旋转翻转等操作，预处理可以根据模型需要进行设置，也可以预先设置好预处理规则并存储在图像筛选装置中，以使图像筛选装置可以根据预设预处理规则对图像进行预处理，等等。
(2)利用该多张训练样本图像对预设分类模型进行训练，得到分类模型。
例如，可以采用预设分类模型中的残差网络对该训练样本图像进行图像特征提取，得到训练特征样本；基于该训练特性样本，采用预设分类模型中的分类网络对该训练样本图像进行分类，得到该训练样本图像的预设值，获取该训练样本图像的真实值，并根据该训练样本图像的真实值和预测值对该预设分类模型进行收敛，得到分类模型。
为了提高分类模型的准确性，可以分类模型的网络结构中叠加三个损失函数对分类模型进行训练，例如，具体可以采用该训练样本图像对第一网络进行训练，得到第一预测值；根据该训练样本图像的真实值与第一预测值，采用第一损失函数对第一网络进行收敛，得到训练后第一网络；采用该训练样本图像对第二网络进行训练，得到第二预测值；根据该训练样本图像的真实值与第二预测值，采用第二损失函数对第二网络进行收敛，得到训练后第二网络；采用该训练样本图像对第三网络进行训练，得到第三预测值；根据该训练样本图像的真实值与第三预测值，采用第三损失函数对第三网络进行收敛，得到训练后第三网络；根据该训练后第一网络、该训练后第二网络和该训练后第三网络，确定分类模型。比如，为了提高训练效果，防止网络太深而导致欠拟合、过拟合等，第一网络可以包括多个残差模块和一个损失层。第二网络可以包括多个残差模块、一个卷积层、一个全局平均池化层、一个全卷积层和一个损失层，第三网络可以包括多个残差模块、一个卷积层、一个全局平均池化层、一个跨通道池化层和一个损失层。其中，残差网络可以为第一网络，分类网络可以包括第二网络和第三网络。
其中，分类模型的网络结构在此不作限定，可以是能实现特征提取、确定样本图像类别概率的任意网络结构。
103、基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像。
其中，对该样本图像进行分类的方式可以有很多种，例如，可以根据该类别概率和该图像属性信息生成图像特征向量，基于该图像特征向量，利用分类器对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像。
其中，正样本图像是指属于预设目标类别的样本图像，其对应的是负样本图像，负样本图像指的是不属于预设目标类别的样本图像。
其中，分类器可以是任意可以实现图像分类的分类器，比如，随机森林算法(RandomForestClassifier)、袋装算法(BaggingClassifier)、完全随机树算法(ExtraTreesClassifier)、迭代算法(Adaboost)、GBT梯度Boosting树算法(GradientBoostingClassifier)、梯度回归算法(GradientBoostingRegressor)、投票算法(VotingClassifier)，等等。
比如，随机森林是指利用多棵决策树对样本进行训练并预测的一种算法。随机森林是一个包含多个决策树的分类器，比如，可以从多张样本图像中随机选择k个特征(列)，共m个特征(其中k小于等于m)。然后根据这k个特征建立决策树。重复n次，这k个特性经过不同随机组合建立起来n棵决策树(或者是数据的不同随机样本，称为自助法样本)。对每个决策树都传递随机变量来预测结果。存储所有预测的结果(目标)，就可以从n棵决策树中得到n种结果。计算每个预测目标的得票数再选择模式(最常见的目标变量)。即将得到高票数的预测目标作为随机森林算法的最终预测，也就是，根据最终预测结果确定多张样本图像中的正样本图像。
104、对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果。
其中，对正样本图像进行聚类的方式可以有很多种，例如，可以利用深度聚类模型对该至少一张正样本图像进行特征提取，得到该至少一张正样本图像的深度特征，基于该深度特征对该正样本图像进行聚类，得到该正样本图像的至少一个聚类结果。
其中，对该正样本图像进行聚类的方式也可以有很多种，比如，可以利用k均值聚类算法(k-means clustering algorithm)、层次聚类算法或者谱聚类算法等多种聚类方式对正样本图像的深度特征进行聚类。
可选的，该深度聚类模型(Deep Clustering Model)可以由多张训练样本图像训练而成。具体可以由其他设备进行训练后，提供给该图像筛选装置，或者，也可以由该图像筛选装置自行进行训练；即在采用深度聚类模型之前，该图像筛选方法还可以包括：
(1)获取多张训练样本图像。
比如，具体可以采集多张训练样本图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设深度聚类模型的输入标准的图像。
其中，预处理可以包括灰度化、几何变换、图像增强、去噪、插值、对齐和/或旋转翻转等操作，预处理可以根据模型需要进行设置，也可以预先设置好预处理规则并存储在图像筛选装置中，以使图像筛选装置可以根据预设预处理规则对图像进行预处理，等等。
其中，为了提高模型训练效率，提高资源利用率，训练预设深度聚类模型中的训练样本图像可以为训练预设分类模型中的训练样本图像。
(2)利用该多张训练样本图像对预设深度聚类模型进行训练，得到深度模型。
例如，可以利用预设深度聚类模型对该训练样本图像进行特征提取，得到训练样本图像特征，基于该训练样本图像特征对该训练样本图像进行聚类，根据聚类结果对该预设深度聚类模型进行调整，直到该预设深度聚类模型收敛，得到深度聚类模型。
比如，具体可以基于该训练样本图像特征对该训练样本图像进行聚类，得到该训练样本图像的第一聚类结果；根据该第一聚类结果生成该训练样本图像的第一伪标签；利用该第一伪标签对该预设深度聚类模型进行调整，得到调整后深度聚类模型；利用该调整后深度聚类模型对该训练样本图像进行聚类，得到该训练样本图像的第二聚类结果；根据该第二聚类结果生成该训练样本图像的第二伪标签；根据该第一伪标签和该第二伪标签计算第一聚类结果和第二聚类结果的标准互信息，根据该标准互信息对该预设深度聚类模型进行调整，直到该预设深度聚类模型收敛，得到深度聚类模型。
其中，标准互信息(Normalized Mutual Information，NMI))是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。比如，第一聚类结果:A＝[11 1 1 1 1 2 2 2 2 2 2 3 3 3 3 3]；第二聚类结果:B＝[1 2 1 1 1 1 1 2 2 2 2 3 1 13 3 3]；标准互信息就是用来衡量第一聚类结果和第二聚类结果有多大的区别。若第一聚类结果和第二聚类结果差不多，结果应该为1，若第一聚类结果和第二聚类结果差别很大，结果应趋近于0。当标准互信息收敛时，该深度聚类模型收敛。
105、根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
例如，具体可以将该至少一个聚类结果以聚类标注(内容较为一致的图像出现在同一批标注数据中)的形式进行筛选，比如，可以利用人工进行二次标注确认，等等，从而可以从多张样本图像中筛选出的目标样本图像，即困难样本。
需要说明的是，为了提高图像筛选的安全性，上述方法中数据存储均保存在区块链中。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
由上可知，本实施例可以获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。由于该方案可以在的卷积神经网络结构上实现了判别性特征学习模块，然后，根据线上模型中分段样本图像的图像数据其他具有判定性特征维度特征如图像来源、图像发表地、图像大小、图像处理策略等与卷积神经网络分类概率向量组成新的特征进行集成学习(Ensemble Learning)，把集成学习分类器认为是目标类别样本(正样本图像)通过深度聚类模型将图像语义和纹理相近的数据分批送给人工进行二次校验。深度聚类模型的训练方式是采用分类和聚类循环迭代的方式进行无监督学习过程。因此，采用该方案可以在提高图像筛选的准确性的同时，大幅提升了人工收集深度模型困难样本的工作效率。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该图像筛选装置具体集成在电子设备为例进行说明。
(一)首先，需要对分类模型进行训练，具体可以如下：
(1)获取多张训练样本图像。
比如，电子设备具体可以采集多张训练样本图像作为原始数据集，比如从数据库或网络等获取该原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设分类模型的输入标准的图像。预处理的方式可以参见上述实施例，在本实施例中，为了提高训练效率，电子设备可以对原始数据集进行去噪后进行存储。
(2)利用该多张训练样本图像对预设分类模型进行训练，得到分类模型。
例如，电子设备可以采用预设分类模型中的残差网络对该训练样本图像进行图像特征提取，得到训练特征样本，基于该训练特性样本，采用预设分类模型中的分类网络对该训练样本图像进行分类，得到该训练样本图像的预设值，获取该训练样本图像的真实值，并根据该训练样本图像的真实值和预测值对该预设分类模型进行收敛，得到分类模型。
比如，为了提高分类模型的训练效果，残差网络可以为HCNET网络，如图2a所示，可以为4个残差模块、8个残差模块和4个残差模块结合的方式，比如首先使用4个残差模块对训练样本图像进行特征提取。得到第一特征，再利用8个残差模块对第一特征进行提取，得到第二特征，然后再利用4个残差模块对第二特征进行提取，得到训练特征样本，为了提高网络的判别性，如图2b所示，分类网络可以为将DFL模块连接到HCNET模型倒数第二个卷积层后面，同时保留原有的网络结构的神经网络，最后叠加三个损失值以多任务的形式训练分类模型。
比如，具体可以采用该训练样本图像对残差网络进行训练，得到第一预测值；根据该训练样本图像的真实值与第一预测值，采用第一损失函数对残差网络进行收敛，得到训练后残差网络，采用该训练样本图像对分类网络进行训练，采用第二损失函数和第三损失函数对分类网络进行收敛，得到训练后分类网络，根据该训练后残差网络和该训练后分类网络，确定分类模型。比如，残差网络可以包括16个残差模块、卷积层和损失层等等。分类网络可以包括16个残差模块、卷积层、全局平均池化层、全卷积层、跨通道池化层和两个损失层等等。
(二)其次，需要对深度聚类模型进行训练，具体可以如下：
(1)获取多张训练样本图像。
比如，电子设备将采集到的多张训练样本图像(比如，中分段样本图像)作为原始数据集，然后对该原始数据集里的图像进行预处理，以得到满足预设深度聚类模型的输入标准的图像。比如，电子设备可以对原始数据集进行去噪处理。
(2)利用该多张训练样本图像对预设深度聚类模型进行训练，得到深度模型。
例如，电子设备可以利用预设深度聚类模型对该训练样本图像进行特征提取，得到训练样本图像特征，基于该训练样本图像特征对该训练样本图像进行聚类，根据聚类结果对该预设深度聚类模型进行调整，直到该预设深度聚类模型收敛，得到深度聚类模型。比如，如图2c所示，电子设备可以利用预设深度聚类模型提取中分段样本图像的深度特征，然后通过聚类的方式提供伪标签作为深度模型的优化目标，重复上述过程，直至衡量前后两次聚类分布的标准互信息收敛为止。
比如，电子设备具体可以利用预设深度聚类模型对该训练样本图像进行特征提取，得到训练样本图像特征，基于该训练样本图像特征对该训练样本图像进行聚类，得到该训练样本图像的第一聚类结果，根据该第一聚类结果生成该训练样本图像的第一伪标签，利用该第一伪标签进行分类，得到第一分类结果，根据第一分类结果对该预设深度聚类模型进行调整，得到调整后深度聚类模型。利用该调整后深度聚类模型对该训练样本图像进行聚类，得到该训练样本图像的第二聚类结果，根据该第二聚类结果生成该训练样本图像的第二伪标签，利用该第二伪标签进行分类，得到第二分类结果，计算第一聚类结果和第二聚类结果的标准互信息，若该标准互信息收敛，则确定深度聚类模型，若该标准互信息不收敛，则返回执行基于该训练样本图像特征对该训练样本图像进行聚类的步骤，直到第N次聚类结果和第N+1次聚类结果的标准互信息收敛，确定深度聚类模型。
(三)通过训练好的分类模型和深度聚类模型，便可以对多张样本图像进行筛选，具体可以参见图2d和图2e。
如图2d所示，一种图像筛选方法，具体流程可以如下：
201、电子设备获取多张样本图像、以及该样本图像对应的图像属性信息。
比如，为了提高收集效率，样本图像可以是深度模型的中分段图像样本，目的是从该中分段图像样本中选取出符合目标类别的困难样本，即目标样本图像。其中，样本图像对应的图像属性信息可以指的是样本图像的其他维度特征，比如，样本图像文字信息、样本图像业务来源、样本图像上传地点、样本图像发表地、样本图像大小、样本图像处理策略等等。
比如，电子设备可以设定预设目标类别为体育类，则电子设备可以收集有关体育类的样本图像。
202、电子设备对该样本图像进行图像特征提取，得到样本图像特征。
比如，电子设备具体可以对该样本图像进行预处理，得到预处理后样本图像，采用分类模型中的残差网络对该预处理后样本图像进行图像特征提取，得到样本图像特征。比如，对样本图像进行预处理可以为灰度化、几何变换、图像增强，等等。
203、电子设备根据该样本图像特征计算该样本图像属于预设目标类别的类别概率。
比如，电子设备具体可以采用分类模型中的分类网络对该样本图像特征进行加权求和，得到该样本图像属于预设目标类别的类别分数，将该类别分数进行归一化，得到该样本图像属于预设目标类别的概率。比如，电子设备根据该样本图像特征计算该样本图像属于体育类的类别概率。
204、电子设备基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像。
例如，电子设备可以根据该类别概率和该图像属性信息生成图像特征向量，基于该图像特征向量，利用分类器对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像。比如，电子设备可以将分类模型输出的类别概率分数与样本图像数据其他维度属性(如数据来源、数据上传地、数据线上策略逻辑)特征组成新的特征向量送入集成学习分类器。
比如，集成学习分类器具体可以是随机森林分类器，比如，电子设备具体可以从多张样本图像中随机选择k个特征(列)，共m个特征(其中k小于等于m)。然后根据这k个特征建立决策树。重复n次，这k个特性经过不同随机组合建立起来n棵决策树(或者是数据的不同随机样本，称为自助法样本)。对每个决策树都传递随机变量来预测结果。存储所有预测的结果(目标)，就可以从n棵决策树中得到n种结果。计算每个预测目标的得票数再选择模式(最常见的目标变量)。即将得到高票数的预测目标作为随机森林算法的最终预测，也就是，根据最终预测结果确定多张样本图像中的正样本图像。比如，正样本图像为体育类的样本图像，其余的负样本图像(比如非体育类的样本图像)可以直接舍弃，不进行聚类筛选，即放弃标注。
205、电子设备对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果。
例如，电子设备具体可以利用深度聚类模型对该至少一张正样本图像进行特征提取，得到该至少一张正样本图像的深度特征，基于该深度特征对该正样本图像进行聚类，得到该正样本图像的至少一个聚类结果。比如，具体可以利用k-means对正样本图像的深度特征进行聚类。
比如，电子设备具体可以先随机选取K个对象作为初始的聚类中心。然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。一旦全部对象都被分配了，每个聚类的聚类中心会根据聚类中现有的对象被重新计算。这个过程将不断重复直到满足某个终止条件。终止条件可以是以下任何一个：(1)没有(或最小数目)对象被重新分配给不同的聚类。(2)没有(或最小数目)聚类中心再发生变化。(3)误差平方和局部最小。比如，电子设备对正样本图像进行聚类后可以得到多个聚类结果，如跑步类、游泳类、篮球类、足球类以及体育明星人物类等等。
206、电子设备根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
例如，电子设备具体可以将该至少一个聚类结果以聚类标注(内容较为一致的图像出现在同一批标注数据中)的形式进行筛选，比如，可以利用人工进行二次标注确认，等等，从而可以从多张样本图像中筛选出的目标样本图像，即困难样本。比如，人工确认可以从跑步类、游泳类、篮球类、足球类以及体育明星人物类等多个类中快速确认体育明星人物类不属于体育类，并将该体育明星人物类舍弃，提高了图像筛选的效率。
由上可知，本实施例可以获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。由于该方案可以在的卷积神经网络结构上实现了判别性特征学习模块，然后，根据线上模型中分段样本图像的图像数据其他具有判定性特征维度特征如图像来源、图像发表地、图像大小、图像处理策略等与卷积神经网络分类概率向量组成新的特征进行集成学习，把集成学习分类器认为是目标类别样本(正样本图像)通过深度聚类模型将图像语义和纹理相近的数据分批送给人工进行二次校验。深度聚类模型的训练方式是采用分类和聚类循环迭代的方式进行无监督学习过程。因此，采用该方案可以在提高图像筛选的准确性的同时，大幅提升了人工收集深度模型困难样本的工作效率。
为了更好地实施以上方法，相应的，本发明实施例还提供一种图像筛选装置，该图像筛选装置具体可以集成在终端中，该终端可以包括手机、平板电脑、笔记本电脑以及个人计算机等可以实现图像筛选的设备。
例如，如图3所示，该图像筛选装置可以包括获取单元301、计算单元302、分类单元303、聚类单元304和筛选单元305，如下：
(1)获取单元301；
获取单元301，用于获取多张样本图像、以及所述样本图像对应的图像属性信息。
(2)计算单元302；
计算单元302，用于计算所述样本图像属于预设目标类别的类别概率。
可选的，在一些实施例中，所述计算单元302可以包括提取子单元和计算子单元，如下：
所述提取子单元，用于对所述样本图像进行图像特征提取，得到样本图像特征；
所述计算子单元，用于根据所述样本图像特征计算所述样本图像属于预设目标类别的类别概率。
可选的，在一些实施例中，所述提取子单元，具体可以用于对所述样本图像进行预处理，得到预处理后样本图像；采用分类模型中的残差网络对所述预处理后样本图像进行图像特征提取，得到样本图像特征。
可选的，在一些实施例中，所述计算子单元，具体可以用于采用分类模型中的分类网络对所述样本图像特征进行加权求和，得到所述样本图像属于预设目标类别的类别分数；将所述类别分数进行归一化，得到所述样本图像属于预设目标类别的概率。
可选的，在一些实施例中，所述图像筛选装置还可以包括第一训练单元，如下：
所述第一训练单元，具体可以用于获取多张训练样本图像；采用所述训练样本图像对第一网络进行训练，得到第一预测值；根据所述训练样本图像的真实值与第一预测值，采用第一损失函数对第一网络进行收敛，得到训练后第一网络；采用所述训练样本图像对第二网络进行训练，得到第二预测值；根据所述训练样本图像的真实值与第二预测值，采用第二损失函数对第二网络进行收敛，得到训练后第二网络；采用所述训练样本图像对第三网络进行训练，得到第三预测值；根据所述训练样本图像的真实值与第三预测值，采用第三损失函数对第三网络进行收敛，得到训练后第三网络；根据所述训练后第一网络、所述训练后第二网络和所述训练后第三网络，确定分类模型。
(3)分类单元303；
分类单元303，用于基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像。
可选的，在一些实施例中，该分类单元303，具体可以用于根据所述类别概率和所述图像属性信息生成图像特征向量；基于所述图像特征向量，利用分类器对所述样本图像进行分类；根据分类结果从多张样本图像中确定至少一张正样本图像。
(4)聚类单元304；
聚类单元304，用于对所述至少一张正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果。
可选的，在一些实施例中，该聚类单元304具体可以用于利用深度聚类模型对所述至少一张正样本图像进行特征提取，得到所述至少一张正样本图像的深度特征；基于所述深度特征对所述正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果。
可选的，在一些实施例中，所述图像筛选装置还可以包括第二训练单元，所述第二训练单元包括获取子单元、训练提取子单元和收敛子单元，如下：
所述获取子单元，用于获取多张训练样本图像；
所述训练提取子单元，用于利用预设深度聚类模型对所述训练样本图像进行特征提取，得到训练样本图像特征；
所述收敛子单元，用于基于所述训练样本图像特征对所述训练样本图像进行聚类，根据聚类结果对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
可选的，在一些实施例中，所述收敛子单元，具体可以用于基于所述深度特征对所述训练样本图像进行聚类，得到所述训练样本图像的第一聚类结果；根据所述第一聚类结果生成所述训练样本图像的第一伪标签；利用所述第一伪标签对所述预设深度聚类模型进行调整，得到调整后深度聚类模型；利用所述调整后深度聚类模型对所述训练样本图像进行聚类，得到所述训练样本图像的第二聚类结果；根据所述第二聚类结果生成所述训练样本图像的第二伪标签；根据所述第一伪标签和所述第二伪标签计算第一聚类结果和第二聚类结果的标准互信息，根据所述标准互信息对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
(5)筛选单元305；
筛选单元305，用于根据所述至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
可选的，在一些实施例中，该图像筛选装置还可以包括存储单元，该存储单元用于将所述样本图像和所述样本图像对应的图像属性信息保存在区块链中。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例中可以由获取单元301获取多张样本图像、以及该样本图像对应的图像属性信息，然后，由计算单元302计算该样本图像属于预设目标类别的类别概率，再由分类单元303基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，由聚类单元304对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，由筛选单元305根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。由于该方案可以在的卷积神经网络结构上实现了判别性特征学习模块，然后，根据线上模型中分段样本图像的图像数据其他具有判定性特征维度特征如图像来源、图像发表地、图像大小、图像处理策略等与卷积神经网络分类概率向量组成新的特征进行集成学习，把集成学习分类器认为是目标类别样本(正样本图像)通过深度聚类模型将图像语义和纹理相近的数据分批送给人工进行二次校验。深度聚类模型的训练方式是采用分类和聚类循环迭代的方式进行无监督学习过程。因此，采用该方案可以在提高图像筛选的准确性的同时，大幅提升了人工收集深度模型困难样本的工作效率。
此外，本发明实施例还提供一种电子设备，如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例可以获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。由于该方案可以在的卷积神经网络结构上实现了判别性特征学习模块，然后，根据线上模型中分段样本图像的图像数据其他具有判定性特征维度特征如图像来源、图像发表地、图像大小、图像处理策略等与卷积神经网络分类概率向量组成新的特征进行集成学习，把集成学习分类器认为是目标类别样本(正样本图像)通过深度聚类模型将图像语义和纹理相近的数据分批送给人工进行二次校验。深度聚类模型的训练方式是采用分类和聚类循环迭代的方式进行无监督学习过程。因此，采用该方案可以在提高图像筛选的准确性的同时，大幅提升了人工收集深度模型困难样本的工作效率。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例还提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像筛选方法中的步骤。例如，该指令可以执行如下步骤：
获取多张样本图像、以及该样本图像对应的图像属性信息，然后，计算该样本图像属于预设目标类别的类别概率，再基于该类别概率和该图像属性信息对该样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，接着，对该至少一张正样本图像进行聚类，得到该正样本图像的至少一个聚类结果，再然后，根据该至少一个聚类结果，从多张样本图像中筛选出的目标样本图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像筛选方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像筛选方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像筛选方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (13)

1.一种图像筛选方法，其特征在于，包括：
获取多张样本图像、以及所述样本图像对应的图像属性信息，所述样本图像为深度模型的中分段图像样本，其中，中分段图像样本指的是深度模型中分类置信度不高的样本；
计算所述样本图像属于预设目标类别的类别概率；
基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像；
利用深度聚类模型对所述至少一张正样本图像进行特征提取，得到所述至少一张正样本图像的深度特征；
基于所述深度特征对所述正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果；
根据所述至少一个聚类结果，从多张样本图像中筛选出目标样本图像。
2.根据权利要求1所述的方法，其特征在于，所述计算所述样本图像属于预设目标类别的类别概率，包括：
对所述样本图像进行图像特征提取，得到样本图像特征；
根据所述样本图像特征计算所述样本图像属于预设目标类别的类别概率。
3.根据权利要求2所述的方法，其特征在于，所述对所述样本图像进行图像特征提取，得到样本图像特征，包括：
对所述样本图像进行预处理，得到预处理后样本图像；
采用分类模型中的残差网络对所述预处理后样本图像进行图像特征提取，得到样本图像特征。
4.根据权利要求2所述的方法，其特征在于，所述根据所述样本图像特征计算所述样本图像属于预设目标类别的概率，包括：
采用分类模型中的分类网络对所述样本图像特征进行加权求和，得到所述样本图像属于预设目标类别的类别分数；
将所述类别分数进行归一化，得到所述样本图像属于预设目标类别的概率。
5.根据权利要求3或4所述的方法，其特征在于，在采用分类模型之前，还包括：
获取多张训练样本图像；
采用所述训练样本图像对第一网络进行训练，得到第一预测值；
根据所述训练样本图像的真实值与第一预测值，采用第一损失函数对第一网络进行收敛，得到训练后第一网络；
采用所述训练样本图像对第二网络进行训练，得到第二预测值；
根据所述训练样本图像的真实值与第二预测值，采用第二损失函数对第二网络进行收敛，得到训练后第二网络；
采用所述训练样本图像对第三网络进行训练，得到第三预测值；
根据所述训练样本图像的真实值与第三预测值，采用第三损失函数对第三网络进行收敛，得到训练后第三网络；
根据所述训练后第一网络、所述训练后第二网络和所述训练后第三网络，确定分类模型。
6.根据权利要求1所述的方法，其特征在于，所述基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像，包括：
根据所述类别概率和所述图像属性信息生成图像特征向量；
基于所述图像特征向量，利用分类器对所述样本图像进行分类；
根据分类结果从多张样本图像中确定至少一张正样本图像。
7.根据权利要求1所述的方法，其特征在于，所述利用深度聚类模型对所述至少一张正样本图像进行特征提取之前，还包括：
获取多张训练样本图像；
利用预设深度聚类模型对所述训练样本图像进行特征提取，得到训练样本图像特征；
基于所述训练样本图像特征对所述训练样本图像进行聚类，根据聚类结果对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
8.根据权利要求7所述的方法，其特征在于，所述基于所述训练样本图像特征对所述训练样本图像进行聚类，根据聚类结果对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型，包括：
基于所述训练样本图像特征对所述训练样本图像进行聚类，得到所述训练样本图像的第一聚类结果；
根据所述第一聚类结果生成所述训练样本图像的第一伪标签；
利用所述第一伪标签对所述预设深度聚类模型进行调整，得到调整后深度聚类模型；
利用所述调整后深度聚类模型对所述训练样本图像进行聚类，得到所述训练样本图像的第二聚类结果；
根据所述第二聚类结果生成所述训练样本图像的第二伪标签；
根据所述第一伪标签和所述第二伪标签计算第一聚类结果和第二聚类结果的标准互信息，根据所述标准互信息对所述预设深度聚类模型进行调整，直到所述预设深度聚类模型收敛，得到深度聚类模型。
9.根据权利要求1所述的方法，其特征在于，所述样本图像和所述样本图像对应的图像属性信息保存在区块链中。
10.一种图像筛选装置，其特征在于，包括：
获取单元，用于获取多张样本图像、以及所述样本图像对应的图像属性信息，所述样本图像为深度模型的中分段图像样本，其中，中分段图像样本指的是深度模型中分类置信度不高的样本；
计算单元，用于计算所述样本图像属于预设目标类别的类别概率；
分类单元，用于基于所述类别概率和所述图像属性信息对所述样本图像进行分类，根据分类结果从多张样本图像中确定至少一张正样本图像；
聚类单元，用于利用深度聚类模型对所述至少一张正样本图像进行特征提取，得到所述至少一张正样本图像的深度特征；基于所述深度特征对所述正样本图像进行聚类，得到所述正样本图像的至少一个聚类结果；
筛选单元，用于根据所述至少一个聚类结果，从多张样本图像中筛选出目标样本图像。
11.根据权利要求10所述的装置，其特征在于，所述计算单元包括提取子单元和计算子单元，如下：
所述提取子单元，用于对所述样本图像进行图像特征提取，得到样本图像特征；
所述计算子单元，用于根据所述样本图像特征计算所述样本图像属于预设目标类别的类别概率。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的图像筛选方法中的步骤。
13.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任一项所述方法的步骤。
CN202010150818.7A 2020-03-06 2020-03-06 图像筛选方法、装置和计算机可读存储介质 Active CN111368926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010150818.7A CN111368926B (zh) 2020-03-06 2020-03-06 图像筛选方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010150818.7A CN111368926B (zh) 2020-03-06 2020-03-06 图像筛选方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111368926A CN111368926A (zh) 2020-07-03
CN111368926B true CN111368926B (zh) 2021-07-06

Family

ID=71211760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010150818.7A Active CN111368926B (zh) 2020-03-06 2020-03-06 图像筛选方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111368926B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149745B (zh) * 2020-09-27 2022-10-21 上海高德威智能交通系统有限公司 确定难例样本的方法、装置、设备及存储介质
CN112348107A (zh) * 2020-11-17 2021-02-09 百度(中国)有限公司 图像数据清洗方法及装置、电子设备和介质
CN112528058B (zh) * 2020-11-23 2022-09-02 西北工业大学 基于图像属性主动学习的细粒度图像分类方法
CN115937556A (zh) * 2021-09-30 2023-04-07 腾讯科技（深圳）有限公司 对象识别方法、装置、设备和存储介质
CN115033724B (zh) * 2022-06-30 2024-02-20 合肥工业大学 基于多模态调制算法的电熔镁炉异常工况识别方法

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604394A (zh) * 2008-12-30 2009-12-16 华中科技大学 一种有限存贮资源下的增量学习分类方法
CN102831431A (zh) * 2012-02-05 2012-12-19 四川大学 一种基于层次聚类的检测器训练方法
CN103309953A (zh) * 2013-05-24 2013-09-18 合肥工业大学 一种基于多rbfnn分类器集成的多样化图像标注和检索方法
CN103489009A (zh) * 2013-09-17 2014-01-01 北方信息控制集团有限公司 基于自适应修正神经网络的模式识别方法
CN103699523A (zh) * 2013-12-16 2014-04-02 深圳先进技术研究院 产品分类方法和装置
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
CN106407878A (zh) * 2016-06-28 2017-02-15 北京智芯原动科技有限公司 基于多分类器的人脸检测方法及装置
CN109389162A (zh) * 2018-09-28 2019-02-26 北京达佳互联信息技术有限公司 样本图像筛选方法和装置、电子设备及存储介质
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN109635946A (zh) * 2018-11-29 2019-04-16 华南理工大学 一种联合深度神经网络和成对约束的聚类方法
CN110163262A (zh) * 2019-04-26 2019-08-23 深圳市腾讯计算机系统有限公司 模型训练方法、业务处理方法、装置、终端及存储介质
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN110738123A (zh) * 2019-09-19 2020-01-31 创新奇智(北京)科技有限公司 识别密集陈列商品的方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105224947B (zh) * 2014-06-06 2018-11-13 株式会社理光 分类器训练方法和系统
CN105550744A (zh) * 2015-12-06 2016-05-04 北京工业大学 一种基于迭代的神经网络聚类方法
US20180107682A1 (en) * 2016-10-16 2018-04-19 Ebay Inc. Category prediction from semantic image clustering
US10037601B1 (en) * 2017-02-02 2018-07-31 International Business Machines Corporation Systems and methods for automatic detection of architectural distortion in two dimensional mammographic images
CN107330452B (zh) * 2017-06-16 2021-07-02 悦享趋势科技（北京）有限责任公司 聚类方法和装置
CN109871954B (zh) * 2018-12-24 2022-12-02 腾讯科技（深圳）有限公司 训练样本生成方法、异常检测方法及装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101604394A (zh) * 2008-12-30 2009-12-16 华中科技大学 一种有限存贮资源下的增量学习分类方法
CN102831431A (zh) * 2012-02-05 2012-12-19 四川大学 一种基于层次聚类的检测器训练方法
CN103309953A (zh) * 2013-05-24 2013-09-18 合肥工业大学 一种基于多rbfnn分类器集成的多样化图像标注和检索方法
CN103489009A (zh) * 2013-09-17 2014-01-01 北方信息控制集团有限公司 基于自适应修正神经网络的模式识别方法
CN103699523A (zh) * 2013-12-16 2014-04-02 深圳先进技术研究院 产品分类方法和装置
CN105844283A (zh) * 2015-01-16 2016-08-10 阿里巴巴集团控股有限公司 用于识别图像类目归属的方法、图像搜索方法及装置
CN106407878A (zh) * 2016-06-28 2017-02-15 北京智芯原动科技有限公司 基于多分类器的人脸检测方法及装置
CN110580487A (zh) * 2018-06-08 2019-12-17 Oppo广东移动通信有限公司 神经网络的训练方法、构建方法、图像处理方法和装置
CN109389162A (zh) * 2018-09-28 2019-02-26 北京达佳互联信息技术有限公司 样本图像筛选方法和装置、电子设备及存储介质
CN109635946A (zh) * 2018-11-29 2019-04-16 华南理工大学 一种联合深度神经网络和成对约束的聚类方法
CN109460795A (zh) * 2018-12-17 2019-03-12 北京三快在线科技有限公司 分类器训练方法、装置、电子设备及计算机可读介质
CN110163262A (zh) * 2019-04-26 2019-08-23 深圳市腾讯计算机系统有限公司 模型训练方法、业务处理方法、装置、终端及存储介质
CN110738123A (zh) * 2019-09-19 2020-01-31 创新奇智(北京)科技有限公司 识别密集陈列商品的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Clustering for Unsupervised Learning of Visual Features;Mathilde Caron 等;《ECCV2018》;20181009;第139-156页 *

Also Published As

Publication number Publication date
CN111368926A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
CN111368926B (zh) 图像筛选方法、装置和计算机可读存储介质
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN110110707A (zh) 人工智能cnn、lstm神经网络动态识别系统
CN110414305A (zh) 人工智能卷积神经网络人脸识别系统
Gan Facial expression recognition using convolutional neural network
Salman et al. Classification of real and fake human faces using deep learning
CN111368911B (zh) 一种图像分类方法、装置和计算机可读存储介质
CN111242948B (zh) 图像处理、模型训练方法、装置、设备和存储介质
CN111126820B (zh) 反窃电方法及系统
CN111027600B (zh) 图像类别预测方法和装置
CN112800234A (zh) 信息处理方法、装置、电子设备和存储介质
CN113822315A (zh) 属性图的处理方法、装置、电子设备及可读存储介质
CN108920446A (zh) 一种工程文本的处理方法
CN113011895A (zh) 关联账户样本筛选方法、装置和设备及计算机存储介质
Yu et al. Exemplar-based recursive instance segmentation with application to plant image analysis
CN111275059B (zh) 一种图像处理方法、装置和计算机可读存储介质
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质
CN110866609B (zh) 解释信息获取方法、装置、服务器和存储介质
CN104200222B (zh) 一种基于因子图模型的图片中对象识别方法
Das et al. Off-line signature verification with PSO-NN algorithm
CN112364136B (zh) 关键词生成方法、装置、设备及存储介质
Warkar et al. A survey on multiclass image classification based on inception-v3 transfer learning model
Branikas et al. Instance selection techniques for multiple instance classification
CN113822412A (zh) 一种图节点标注方法、装置、设备及存储介质
CN115831339B (zh) 基于深度学习的医疗系统风险管控事前预测方法、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026153

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant