CN112052840B - 图片筛选方法、系统、设备及存储介质 - Google Patents

图片筛选方法、系统、设备及存储介质 Download PDF

Info

Publication number
CN112052840B
CN112052840B CN202011079373.4A CN202011079373A CN112052840B CN 112052840 B CN112052840 B CN 112052840B CN 202011079373 A CN202011079373 A CN 202011079373A CN 112052840 B CN112052840 B CN 112052840B
Authority
CN
China
Prior art keywords
network model
target
picture
task network
quality score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011079373.4A
Other languages
English (en)
Other versions
CN112052840A (zh
Inventor
赵文忠
毛晓蛟
章勇
曹李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Keda Technology Co Ltd
Original Assignee
Suzhou Keda Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Keda Technology Co Ltd filed Critical Suzhou Keda Technology Co Ltd
Priority to CN202011079373.4A priority Critical patent/CN112052840B/zh
Publication of CN112052840A publication Critical patent/CN112052840A/zh
Application granted granted Critical
Publication of CN112052840B publication Critical patent/CN112052840B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种图片筛选方法、系统、设备及存储介质，所述方法包括步骤：获取待测图片；利用目标单任务网络模型计算所述待测图片的第一质量分值，其中，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的；根据所述第一质量分值对所述待测图片进行筛选；本申请减小模型大小，提高了模型训练效率和运算速度，有利于提高图片筛选的效率。

Description

图片筛选方法、系统、设备及存储介质
技术领域
本发明涉及计算机技术领域，具体地说，涉及一种图片筛选方法、系统、设备及存储介质。
背景技术
在人脸识别系统中，比如当对人脸进行比对时，可能需要采集目标用户的大量人脸图像，然后将采集的人脸图像和数据库中预存的该目标用户的人脸数据进行比对。由于上述人脸图像的数量级可能是非常大的，比如有10万张。而在这些人脸图像中可能存在部分质量较差的照片，识别精度比较低，这就导致如果仍然对这些低质量的照片进行识别的话，将会导致比对效率低下，并且还占用了系统资源。
现有技术中，通常单独采用多任务网络模型或者单任务网络模型对照片质量进行判断。如果仅采用单任务网络模型判断，那么就需要人工标注训练集的质量分值，存在两方面的缺点：1、人工标注效率低，极大影响模型训练效率；2、照片质量需要从多个维度进行考量，人工标注会容易受主观因素影响，使得标注数据不够准确、客观。如果仅采用多任务网络模型进行判断，那么存在模型较大，运算速度低的问题。
发明内容
针对现有技术中的问题，本发明的目的在于提供一种图片筛选方法、系统、设备及存储介质，简化了网络模型，提高了模型训练效率和运算速度，从而提高图片筛选比对的效率。
为实现上述目的，本发明提供了一种图片筛选方法，所述方法包括以下步骤：
获取待测图片；
利用目标单任务网络模型计算所述待测图片的第一质量分值，其中，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的；
根据所述第一质量分值对所述待测图片进行筛选。
优选地，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，包括：
利用目标多任务网络模型，计算每一第二样本图像对应的第二质量分值；
基于所述第二样本图像和第二质量分值，对预设单任务网络模型进行训练，得到目标单任务网络模型。
优选地，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的，包括：
获取第一样本图像及每一所述第一样本图像在至少一预设属性类下的标签值；
获取多个第一标签文件，每一所述第一标签文件包含所述第一样本图像及其在一预设属性类下的标签值；
基于卷积神经网络构建预设多任务网络模型；
基于所述第一样本图像和所述第一标签文件，对所述预设多任务网络模型进行训练，得到目标多任务网络模型。
优选地，所述利用目标多任务网络模型，计算每一第二样本图像对应的第二质量分值，包括：
利用目标多任务网络模型，计算每一第二样本图像分别在各个预设属性类下的概率值；
基于所述每一第二样本图像分别在各个预设属性类下的概率值，计算每一第二样本图像对应的第二质量分值。
优选地，所述基于所述第二样本图像和第二质量分值，对预设单任务网络模型进行训练，得到目标单任务网络模型，包括：
获取第二标签文件，所述第二标签文件包含所述第二样本图像及其对应的第二质量分值；
基于所述第二样本图像及所述第二标签文件，训练预设单任务网络模型，得到目标单任务网络模型。
优选地，每一所述第一样本图像具有一个标签值。
优选地，所述根据所述第一质量分值对所述待测图片进行筛选，包括：
筛除所述第一质量分值小于第一预设阈值的待测图片，或者输出所述第一质量分值大于第二预设阈值的待测图片。
本发明还提供了一种图片筛选系统，所述系统包括：
待测图片获取模块，用于获取待测图片；
待测图片计算模块，用于利用目标单任务网络模型计算所述待测图片的第一质量分值，其中，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的；
筛选模块，用于根据所述第一质量分值对所述待测图片进行筛选。
本发明还提供了一种图片筛选设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项图片筛选方法的步骤。
本发明还提供了一种计算机可读存储介质，用于存储程序，所述程序被处理器执行时实现上述任意一项图片筛选方法的步骤。
本发明与现有技术相比，具有以下优点及突出性效果：
本发明提供的图片筛选方法、系统、设备及存储介质，利用训练后的多任务网络模型的测试结果，作为单任务网络模型的训练集，对单任务网络模型进行训练；避免了需要人工标注数据作为单任务网络模型的训练集，提高了模型训练效率以及图片质量评估准确性；另一方面，相比于仅使用多任务网络模型，简化了模型大小，提高了模型运算速度，有利于提高图片筛选的效率；同时使得模型部署方便，利于节省系统计算资源。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1为本发明一实施例公开的一种图片筛选方法的示意图；
图2为图1中步骤S20的流程示意图；
图3为处于训练阶段的预设多任务网络模型的示意图；
图4为处于推断阶段的目标多任务网络模型的示意图；
图5为处于训练阶段的预设单任务网络模型的示意图；
图6为处于推断阶段的目标单任务网络模型的示意图；
图7为本发明实施例公开的一种图片筛选系统的结构示意图；
图8为本发明实施例公开的一种图片筛选设备的结构示意图；
图9为本发明实施例公开的一种计算机可读存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例公开了一种图片筛选方法，该方法包括以下步骤：
S10，获取待测图片。
其中，待测图片可以为图像采集装置实时获取到的图片，也可以是存储在本地的图片，本申请不对待测图片的来源做具体限定。进一步地，在一些实施方式中，待测图片为人脸图片。
S20，利用目标单任务网络模型计算上述待测图片的第一质量分值。其中，上述目标单任务网络模型为基于目标多任务网络模型训练得到的。上述目标多任务网络模型为利用第一样本图像和每一上述第一样本图像在至少一预设属性类下的标签值训练得到的。
在一个实施方式中，目标单任务网络模型为基于目标多任务网络模型训练得到，是指利用目标多任务网络模型的训练结果作为单任务网络模型的训练集对单任务网络模型进行训练得到目标单任务网络模型。也即，利用目标多任务网络模型对预设样本集图片进行打分，得到目标质量分值；并将该预设样本集图片及该预设样本集图片对应的目标质量分值作为单任务网络模型的训练集，使用单任务网络模型计算上述预设样本集图片对应的预测质量分值，并将预测质量分值与对应的目标质量分值进行拟合，直至拟合结果满足预设条件，得到目标单任务网络模型。
S30，根据上述第一质量分值对上述待测图片进行筛选。
在一个实施例中，具体而言，如图2所示，上述步骤S20包括：
S201，获取第一样本图像、第二样本图像及每一上述第一样本图像在至少一预设属性类下的标签值。
在一个实施方式中，具体而言，本实施例中，上述步骤S201中获取第一样本图像、第二样本图像的步骤，具体包括：
S2011，获取多个训练图像。
S2012，对所述训练图像进行人脸检测，判断是否存在人脸。
S2013，若存在人脸，则基于关键点对齐技术，进行关键点定位。
上述关键点定位方法和人脸检测方法利用现有技术即可实现，比如MTCNN算法(多任务卷积神经网络)，本申请不再赘述。
S2014，依据定位后的关键点，获取人脸区域，并对人脸区域进行截取，将截取后保留的图像归一化成目标尺寸的图像。
具体地，上述关键点可以为两个眼睛、两个嘴角、一个鼻尖等。对人脸区域进行截取，即为依据关键点扣出照片中的人脸。对于目标尺寸，比如可以把人脸尺寸归一化为96x112像素的尺寸。这样即实现了获取到第一样本图像和第二样本图像。
参考表1，本实施例中，预设属性类可以包含有清晰度、亮度、角度、偏色及遮挡。
表1
Figure GDA0003917856920000051
Figure GDA0003917856920000061
比如，清晰度的预设属性类下的标签值可以为0或1，如表1所示，标签值0表示清晰，标签值1表示模糊。亮度的预设属性类下的标签值可以为0、1或2，标签值0表示亮度正常，1表示过曝，2表示过暗。角度的预设属性类下的标签值可以为0或1，标签值0表示正面脸，1表示严重偏转。偏色的预设属性类下的标签值可以为0、1、2或3，标签值0表示无偏色，1表示为灰度图，2表示为近红外图，3表示为偏色图。遮挡的预设属性类下的标签值可以为0、1或2，标签值0表示无遮挡，1表示部分遮挡，2表示严重遮挡。亮度正常可以用人脸像素值均值在120-180之间来度量，本申请对此不作限制。
上述预设属性类仅为举例说明，本申请对此不作限制。在获取到第一样本图像之后，需要对每一张第一样本图像进行标注标签值。这里可以采用人工标注，但本申请不以此为限。
由于一般来说预设属性类也即维度较多，如果对所有维度都进行标注标签值，那么可能会出现有些维度在某一标签值下的数据特别多，有些维度某一标签值下的数据特别少。导致数据严重不均衡的问题出现，不利于保证模型训练结果的准确性。
因此，本实施例中，每一个上述第一样本图像仅具有一个标签值，也即仅具有在一个预设属性类下的一个标签值。这样可以使得训练数据更加均衡，保证模型训练结果的准确性。其中，上述第一样本图像可以在每一个标签值下选用3000张图片，那么第一样本图像一共需要42000张图片，即3000*14＝42000，14表示一共有14个标签值。这样可以大大减小图片标注的工作量，提高模型训练效率。一个第一样本图像在一个预设属性类下只具有一个标签值，在其他实施例中，也可以对一个第一样本图像标注多个预设属性类的标签值。
第二样本图像中在每个标签值下可以选用2万张图片，那么第二样本图像可以一共选用28万张图片。以上数量均为举例性说明，本申请对此不作限制。
S202，获取多个第一标签文件，每一上述第一标签文件包含上述第一样本图像及其在一预设属性类下的标签值。具体而言，上述第一标签文件具有多个，上述第一标签文件的个数与上述预设属性类的个数相等，且上述第一标签文件与上述预设属性类一一对应。也即，一个预设属性类对应一个第一标签文件。在一个第一标签文件中的每一行数据，可以以一第一样本图像的文件读取路径和对应标签值的形式进行存储。比如，归属于清晰度预设属性类的第一标签文件A的第一行数据包含第一样本图像B的读取路径和标签值0。
S203，基于卷积神经网络构建预设多任务网络模型和预设单任务网络模型。
具体而言，本实施例中，预设多任务网络模型和预设单任务网络模型利用现有技术中的卷积神经网络即可实现构建。在上述预设多任务网络模型中，优化器为Adam优化器，学习率(learning rate)为1e-3，权重衰减值(weight decay)为1e-5，批次大小(batchsize)设置为128，一共迭代50个周期(epoch)，损失函数为交叉熵损失函数。下表2为预设多任务网络模型各个网络层对应的参数：
表2
Figure GDA0003917856920000071
其中，conv1、conv2_x、conv3_x、conv4_x和conv5_x分别表示第1个、第2个、第3个、第4个和第5个卷积层，pooling表示池化层，fc表示全连接层。conv1对应的参数7x7表示卷积核的大小，64表示通道数，stride 2表示步长为2。3×3max pooling表示pooling的窗口大小为3×3。global average pooling表示全局平均池化层。
Figure GDA0003917856920000081
表示一组卷积单元，
Figure GDA0003917856920000082
表示两组卷积单元串联。
下表3为预设单任务网络模型各个网络层对应的参数：
表3
Figure GDA0003917856920000083
在上述预设单任务网络模型中，优化器为Adam优化器，学习率(learning rate)设置为1e-3，权重衰减值(weight decay)为1e-5，批次大小(batch size)设置为1024，一共迭代50个周期(epoch)，损失函数为L2损失函数，即欧式距离L2-loss(平方损失)函数。
需要说明的是，本实施例中，上述卷积神经网络为ResNet18网络。但本申请对此不作限制。
S204，基于上述第一样本图像和上述第一标签文件，对上述预设多任务网络模型进行训练，得到目标多任务网络模型。
在一个实施方式中，具体而言，如图3所示，图3中损失函数Softmaxloss中输入的标签值即来自于第一标签文件中的标签值。图3中的输入图像的清晰度类人脸、亮度类人脸、角度类人脸、偏色类人脸和遮挡类人脸即为本实施例中的第一样本图像各自归属于五个预设属性类的人脸数据。当然，这5个预设属性类的人脸数据仅用于示例性说明，并不对人脸数据的类型作出限定。上述人脸数据输入卷积神经网络ResNet18中，然后输入至5个预设属性类各自对应的全连接层中，得到各自对应的特征向量。该特征向量和上述标签值作为损失函数Softmaxloss的输入，利用损失函数计算出预测结果和标签值之间的差异，即预测损失。如此循环完成预设多任务网络模型的训练过程。
S205，利用目标多任务网络模型，计算每一第二样本图像对应的第二质量分值。
在一个实施例中，具体而言，该步骤S205包括：
利用目标多任务网络模型，计算每一第二样本图像分别在各个预设属性类下的概率值。具体而言，上述概率值可以为每一第二样本图像分别在各个预设属性类下标签值满足预设条件的概率值。比如，本实施例中，上述预设条件可以为标签值全为0。标签值为0表示在各个预设属性类下表现正常。在其他实施例中，预设条件可以根据需要设置。
基于上述每一第二样本图像分别在各个预设属性类下的概率值，计算每一第二样本图像对应的第二质量分值。其中，本实施例中，各个第二样本图像对应的第二质量分值可以为每一上述第二样本图像在各个预设属性类下标签值满足预设条件的概率值的平均值。本申请对第二质量分值的计算方式不作限制。
S206，基于上述第二样本图像和第二质量分值，对预设单任务网络模型进行训练，得到目标单任务网络模型。
在一个实施方式中，具体而言，该步骤S206包括：
获取第二标签文件，上述第二标签文件包含上述第二样本图像及其对应的第二质量分值。其中，第二标签文件中的每一行数据，可以以将一第二样本图像的文件读取路径和该第二样本图像的第二质量分值一一对应的形式进行存储。本申请对第二标签文件的存储形式同样不作限制。
如图4所示，第二样本图像输入训练好的卷积神经网络ResNet18中，然后输入至5个预设属性类各自对应的训练好的全连接层中，得到各自对应的特征向量。然后将特征向量输入至训练好的Softmax层中，计算出在5个预设属性类下标签值全为0时的概率值，对概率值利用求平均值等方式获得上述第二质量分值。
进一步地，在一个实施方式中，图5为处于训练阶段的预设单任务网络模型的示意图。如图5所示，第二样本图像输入卷积神经网络ResNet18中，然后经过全连接层，得到特征向量，再经过sigmoid激活函数，得到一个预测概率值。然后将该预测概率值和第二标签文件中的第二质量分值作为L2损失函数的输入，计算预测损失(Loss)。如此循环完成预设单任务网络模型的训练过程得到目标单任务网络模型。
S207，利用目标单任务网络模型计算上述待测图片的第一质量分值。
图6为处于推断阶段的目标单任务网络模型的示意图。如图6所示，待测图片输入训练好的卷积神经网络ResNet18中，然后经过训练好的全连接层，得到特征向量，再经过训练好的sigmoid激活函数，即得到关于待测图片的第一质量分值。
在一个实施例中，步骤S30中根据上述第一质量分值对上述待测图片进行筛选，包括：
筛除上述第一质量分值小于第一预设阈值的待测图片，或者输出上述第一质量分值大于第二预设阈值的待测图片。该过程可以应用于人脸照片挑选系统。
其中，上述第一预设阈值可以小于上述第二预设阈值。且上述第一预设阈值和第二预设阈值可以根据需要进行设置，本发明对此不作限制。
在另一实施例中，步骤S30可以包括：
将多个待测图片输入目标单任务网络模型，计算各个待测图片对应的质量分值，将各个待测图片按照质量分值进行排序，将排序位置满足预设筛选规则的至少一个待测图片输出。
具体地，在一个实施方式中，可将各个待测图片按照质量分值的大小降序排列，预设筛选规则对应为按照排列顺序依次选取排列在前N位的待测图片输出，N为大于0的整数。在一个实施方式中，可将各个待测图片按照质量分值的大小降序排列，预设筛选规则对应为按照排列顺序选取排列在前N％的待测图片输出，N为大于0的自然数。如，假设共有10000张待测图片，预设筛选规则为将前40％的待测图片输出，则可将10000张待测图片按照质量分值的大小降序排列后，获取前4000张待测图片输出。在其它实施例中，也可将各个待测图片按照质量分值的大小升序排列，在此对排序方式和预设筛选规则不做限制，只要能保证选取到需要的待测图片即可。
在其他实施例中，在步骤S30之后，还可以包括步骤：基于筛选得到的待测图片分别和数据库中预存的人脸图像进行比对，判断是否匹配。
需要说明的是，本申请提供的图片筛选方法还可以应用于人脸照片采集系统，比如在采集到的照片进行质量评估判定为不合格后，可以提醒用户重新拍照采集。
如图7所示，本发明实施例还公开了一种图片筛选系统7，该系统包括：
待测图片获取模块71，用于获取待测图片。
待测图片计算模块72，用于利用目标单任务网络模型计算上述待测图片的第一质量分值，其中，上述目标单任务网络模型为基于目标多任务网络模型训练得到的，上述目标多任务网络模型为利用第一样本图像和每一上述第一样本图像在至少一预设属性类下的标签值训练得到的。
筛选模块73，用于根据上述第一质量分值对上述待测图片进行筛选。
可以理解的是，本发明的图片筛选系统还包括其他支持图片筛选系统运行的现有功能模块。图7显示的图片筛选系统仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
本实施例中的图片筛选系统用于实现上述的图片筛选的方法，因此对于图片筛选系统的具体实施步骤可以参照上述对图片筛选的方法的描述，此处不再赘述。
本发明实施例还公开了一种图片筛选设备，包括处理器和存储器，其中存储器存储有所述处理器的可执行指令；处理器配置为经由执行可执行指令来执行上述图片筛选方法中的步骤。图8是本发明公开的图片筛选设备的结构示意图。下面参照图8来描述根据本发明的这种实施方式的电子设备600。图8显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述图片筛选方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本发明还公开了一种计算机可读存储介质，用于存储程序，所述程序被执行时实现上述图片筛选方法中的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述图片筛选方法中描述的根据本发明各种示例性实施方式的步骤。
如上所示，该实施例的计算机可读存储介质的程序在执行时，利用训练后的多任务网络模型的测试结果，作为单任务网络模型的训练集，对单任务网络模型进行训练，保证了图片质量评估的准确性；避免了需要人工标注数据作为单任务网络模型的训练集，提高了单任务网络模型的训练效率；另一方面，相比于仅使用多任务网络模型，简化了模型大小，提高了模型运算速度，有利于提高图片筛选的效率；同时使得模型部署方便，利于节省系统计算资源。
图9是本发明的计算机可读存储介质的结构示意图。参考图9所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例提供的图片筛选方法、系统、设备及存储介质利用训练后的多任务网络模型的测试结果，作为单任务网络模型的训练集，对单任务网络模型进行训练，保证了图片质量评估的准确性；
避免了需要人工标注数据作为单任务网络模型的训练集，提高了单任务网络模型的训练效率；
另一方面，相比于仅使用多任务网络模型，简化了模型大小，提高了模型运算速度，有利于提高图片筛选的效率；同时使得模型部署方便，利于节省系统计算资源。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种图片筛选方法，其特征在于，包括以下步骤：
获取待测图片；
利用目标单任务网络模型计算所述待测图片的第一质量分值，其中，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的；
根据所述第一质量分值对所述待测图片进行筛选；
所述目标单任务网络模型为基于目标多任务网络模型训练得到的，包括：
利用目标多任务网络模型对预设样本集图片进行打分，得到目标质量分值；并将所述预设样本集图片及所述预设样本集图片对应的目标质量分值作为单任务网络模型的训练集，使用所述单任务网络模型计算所述预设样本集图片对应的预测质量分值，并将所述预测质量分值与对应的目标质量分值作为损失函数的输入，计算预测损失，如此循环完成所述单任务网络模型的训练过程得到目标单任务网络模型。
2.如权利要求1所述的图片筛选方法，其特征在于，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，包括：
利用目标多任务网络模型，计算每一第二样本图像对应的第二质量分值；
基于所述第二样本图像和第二质量分值，对预设单任务网络模型进行训练，得到目标单任务网络模型。
3.如权利要求1所述的图片筛选方法，其特征在于，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的，包括：
获取第一样本图像及每一所述第一样本图像在至少一预设属性类下的标签值；
获取多个第一标签文件，每一所述第一标签文件包含所述第一样本图像及其在一预设属性类下的标签值；
基于卷积神经网络构建预设多任务网络模型；
基于所述第一样本图像和所述第一标签文件，对所述预设多任务网络模型进行训练，得到目标多任务网络模型。
4.如权利要求2所述的图片筛选方法，其特征在于，所述利用目标多任务网络模型，计算每一第二样本图像对应的第二质量分值，包括：
利用目标多任务网络模型，计算每一第二样本图像分别在各个预设属性类下的概率值；
基于所述每一第二样本图像分别在各个预设属性类下的概率值，计算每一第二样本图像对应的第二质量分值。
5.如权利要求2所述的图片筛选方法，其特征在于，所述基于所述第二样本图像和第二质量分值，对预设单任务网络模型进行训练，得到目标单任务网络模型，包括：
获取第二标签文件，所述第二标签文件包含所述第二样本图像及其对应的第二质量分值；
基于所述第二样本图像及所述第二标签文件，训练预设单任务网络模型，得到目标单任务网络模型。
6.如权利要求1所述的图片筛选方法，其特征在于，每一所述第一样本图像具有一个标签值。
7.如权利要求1所述的图片筛选方法，其特征在于，所述根据所述第一质量分值对所述待测图片进行筛选，包括：
筛除所述第一质量分值小于第一预设阈值的待测图片，或者输出所述第一质量分值大于第二预设阈值的待测图片。
8.一种图片筛选系统，其特征在于，所述系统包括：
待测图片获取模块，用于获取待测图片；
待测图片计算模块，用于利用目标单任务网络模型计算所述待测图片的第一质量分值，其中，所述目标单任务网络模型为基于目标多任务网络模型训练得到的，所述目标多任务网络模型为利用第一样本图像和每一所述第一样本图像在至少一预设属性类下的标签值训练得到的；
筛选模块，用于根据所述第一质量分值对所述待测图片进行筛选；
所述待测图片计算模块还用于：
利用目标多任务网络模型对预设样本集图片进行打分，得到目标质量分值；并将所述预设样本集图片及所述预设样本集图片对应的目标质量分值作为单任务网络模型的训练集，使用所述单任务网络模型计算所述预设样本集图片对应的预测质量分值，并将所述预测质量分值与对应的目标质量分值作为损失函数的输入，计算预测损失，如此循环完成所述单任务网络模型的训练过程得到目标单任务网络模型。
9.一种图片筛选设备，其特征在于，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7中任意一项所述图片筛选方法的步骤。
10.一种计算机可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现权利要求1至7中任意一项所述图片筛选方法的步骤。
CN202011079373.4A 2020-10-10 2020-10-10 图片筛选方法、系统、设备及存储介质 Active CN112052840B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011079373.4A CN112052840B (zh) 2020-10-10 2020-10-10 图片筛选方法、系统、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011079373.4A CN112052840B (zh) 2020-10-10 2020-10-10 图片筛选方法、系统、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112052840A CN112052840A (zh) 2020-12-08
CN112052840B true CN112052840B (zh) 2023-02-03

Family

ID=73606204

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011079373.4A Active CN112052840B (zh) 2020-10-10 2020-10-10 图片筛选方法、系统、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112052840B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112561080B (zh) * 2020-12-18 2023-03-03 Oppo（重庆）智能科技有限公司 样本筛选方法、样本筛选装置及终端设备
CN112633295A (zh) * 2020-12-22 2021-04-09 深圳集智数字科技有限公司 面向循环任务的预测方法、装置、电子设备及存储介质
CN112668637B (zh) * 2020-12-25 2023-05-23 苏州科达科技股份有限公司 网络模型的训练方法、识别方法、装置及电子设备
CN117115568B (zh) * 2023-10-24 2024-01-16 浙江啄云智能科技有限公司 数据筛选方法、装置、设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965717B2 (en) * 2015-11-13 2018-05-08 Adobe Systems Incorporated Learning image representation by distilling from multi-task networks
CN106127247B (zh) * 2016-06-21 2019-07-09 广东工业大学 基于多任务多示例支持向量机的图像分类方法
CN110059642B (zh) * 2019-04-23 2020-07-31 北京海益同展信息科技有限公司 人脸图像筛选方法与装置

Also Published As

Publication number Publication date
CN112052840A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
CN112052840B (zh) 图片筛选方法、系统、设备及存储介质
CN109886359B (zh) 基于卷积神经网络的小目标检测方法及检测系统
EP3637310A1 (en) Method and apparatus for generating vehicle damage information
CN110245579B (zh) 人流密度预测方法及装置、计算机设备及可读介质
CN110991556B (zh) 一种基于多学生合作蒸馏的高效图像分类方法、装置、设备及介质
US11164306B2 (en) Visualization of inspection results
CN113128478B (zh) 模型训练方法、行人分析方法、装置、设备及存储介质
CN112364843A (zh) 插拔式航拍图像目标定位检测方法、系统、设备
CN112613569A (zh) 图像识别方法、图像分类模型的训练方法及装置
CN113128419A (zh) 一种障碍物识别方法和装置、电子设备及存储介质
CN112184304A (zh) 一种辅助决策的方法、系统、服务器和存储介质
CN112508078A (zh) 图像多任务多标签识别方法、系统、设备及介质
CN111124863B (zh) 智能设备性能测试方法、装置及智能设备
CN110490058B (zh) 行人检测模型的训练方法、装置、系统和计算机可读介质
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
CN111160526A (zh) 基于mape-d环形结构的深度学习系统在线测试方法与装置
CN113420792A (zh) 图像模型的训练方法、电子设备、路侧设备及云控平台
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN112966743A (zh) 基于多维度注意力的图片分类方法、系统、设备及介质
CN112907575A (zh) 人脸质量评估方法、装置及电子设备
CN112287144B (zh) 图片检索方法、设备及存储介质
CN114140612A (zh) 电力设备隐患检测方法、装置、设备及存储介质
CN111124862B (zh) 智能设备性能测试方法、装置及智能设备
CN112541915A (zh) 用于高分辨率图像的高效布匹缺陷检测方法、系统及设备
CN113077048B (zh) 基于神经网络的印章匹配方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant