CN114066877A - 图像筛选方法及装置、电子设备和存储介质 - Google Patents

图像筛选方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114066877A
CN114066877A CN202111415866.5A CN202111415866A CN114066877A CN 114066877 A CN114066877 A CN 114066877A CN 202111415866 A CN202111415866 A CN 202111415866A CN 114066877 A CN114066877 A CN 114066877A
Authority
CN
China
Prior art keywords
human body
score
image
processed
body image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111415866.5A
Other languages
English (en)
Inventor
蔡官熊
余世杰
陈浩彬
陈大鹏
赵瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202111415866.5A priority Critical patent/CN114066877A/zh
Publication of CN114066877A publication Critical patent/CN114066877A/zh
Priority to PCT/CN2022/114469 priority patent/WO2023093151A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种图像筛选方法及装置、电子设备和存储介质，该图像筛选方法包括：电子设备获取待处理人体图像；利用网络模型对待处理人体图像进行处理，得到待处理人体图像的质量分数；网络模型用于提取待处理人体图像的图像特征，根据图像特征，确定待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据模糊分数、光线分数和半身分数确定待处理人体图像的质量分数；根据质量分数进行图像筛选。本申请实施例可以准确的筛选符合行人重识别的要求的图像。

Description

图像筛选方法及装置、电子设备和存储介质
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像筛选方法及装置、电子设备和存储介质。
背景技术
行人重识别(person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一张监控行人图像，检索跨设备下的该行人图像。该技术旨在弥补目前固定的摄像头的视觉局限，并可与行人检测和行人跟踪技术相结合，可广泛应用于智能视频监控、智能安防等领域。
目前在大规模人体抓拍图或检测人体图片下，由于抓拍的图像质量较差，难以准确的筛选符合行人重识别的要求的图像。
发明内容
本申请实施例提供一种图像筛选方法及装置、电子设备和存储介质，可以准确的筛选符合行人重识别的要求的图像。
本申请实施例的第一方面提供了一种图像筛选方法，包括：
获取待处理人体图像；
利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数；所述网络模型用于提取所述待处理人体图像的图像特征，根据所述图像特征，确定所述待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数；
根据所述质量分数进行图像筛选。
本申请实施例的网络模型考虑了模糊识别、光线识别和半身识别，可以有效的过滤模糊的人体图像、光线差的人体图像和半身人体图像，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
可选的，所述网络模型包括特征提取网络、模糊识别网络、光线识别网络和半身识别网络；所述利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数，包括：
利用所述特征提取网络从所述待处理人体图像提取图像特征；
利用所述模糊识别网络根据所述图像特征计算所述模糊分数，利用所述光线识别网络根据所述图像特征计算所述光线分数，利用所述半身识别网络根据所述图像特征计算所述半身分数；
基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数。
本申请实施例的模糊识别网络、光线识别网络、半身识别网络都根据特征提取网络提取的待处理人体图像的图像特征来计算各自的分数，充分利用了特征提取网络提取的图像特征，提高了网络模型的泛化能力。
可选的，所述利用所述模糊识别网络根据所述图像特征计算所述模糊分数，包括：
利用所述模糊识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个模糊评价等级上的质量预测分；
根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数。
本申请实施例可以根据待处理人体图像在多个模糊评价等级上的质量预测分计算模糊分数，将图像特征转换为衡量图像的模糊程度的质量得分，可以准确量化图像的模糊程度。
可选的，所述根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数，包括：
通过如下公式计算模糊分数：
Figure BDA0003375275830000021
其中，Qblur表示模糊分数，Pi-blur表示各个模糊评价等级的质量预测分，wi-blur表示各个模糊评价等级对应的权重值；wi-blur的分布与模糊评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述利用所述光线识别网络根据所述图像特征计算所述光线分数，包括：
利用所述光线识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个光线评价等级上的质量预测分；
根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数。
本申请实施例可以根据待处理人体图像在多个光线评价等级上的质量预测分计算光线分数，将图像特征转换为衡量图像的光线明亮程度的质量得分，可以准确量化图像的光线明亮程度。
可选的，所述根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数，包括：
Figure BDA0003375275830000031
其中，Qlight表示光线分数，Pi-light表示各个光线评价等级的质量预测分，wi-ligh表示各个光线评价等级对应的权重值；wi-light的分布与光线评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述利用所述半身识别网络根据所述图像特征计算所述半身分数，包括：
利用所述半身识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个半身评价等级上的质量预测分；
根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数。
本申请实施例可以根据待处理人体图像在多个半身评价等级上的质量预测分计算半身分数，将图像特征转换为衡量图像的半身程度的质量得分，可以准确量化图像的半身程度。
可选的，所述根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数，包括：
通过如下公式计算半身分数：
Figure BDA0003375275830000032
其中，Qhalf表示半身分数，Pi-half表示各个半身评价等级的质量预测分，wi-half表示各个半身评价等级对应的权重值；wi-half与半身评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数，包括：
通过加权求和公式基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数；
所述加权求和公式包括：
Qtotal＝wb*Qblur+wl*Qlight+wh*Qhalf；
Qtotal表示所述待处理人体图像的质量分数，Qblur表示模糊分数，Qlight表示光线分数，Qhalf表示半身分数，wb表示所述模糊分数的权重值，wl表示所述光线分数的权重值，wh表示所述半身分数的权重值。
本申请实施例的待处理人体图像的质量分数是基于模糊分数、光线分数和半身分数计算得到的，可以准确的计算待处理人体图像的质量分数，从而准确的衡量该待处理人体图像是否符合行人重识别的要求。
可选的，所述特征提取网络包括轻量级神经网络。
本申请实施例中，特征提取网络采用轻量级神经网络进行训练，使得模型的精度、性能得到了较好的平衡，利于实际产品中部署和使用，可以满足多路视频实时处理下的人体图像的质量过滤需求。
可选的，所述方法还包括：
获取训练数据，所述训练数据包括训练图像和对应的标注结果；
对所述训练图像进行预处理，将预处理后的训练图像输入所述网络模型进行多任务学习的训练，得到训练结果；
根据所述训练结果和所述标注结果对所述网络模型的多任务的模型参数进行优化。
本申请实施例通过多任务学习的训练方式，可以把人体图像质量量化的问题转化为深度学习中的多任务和多分类问题，并对多分类结果进行自动融合，得到人体图片的质量分数，框架简单有效，解释性强。
可选的，所述获取训练数据，包括：
获取训练图像，通过图像质量评估算法生成与所述训练图像对应的标注结果。
由于对人体质量问题进行了重新定义(模糊程度、光线强弱、半身程度)，训练数据生成更为简单，可以较为轻松地获得更多的自动生成的训练数据，并且标注成本低。
可选的，所述获取训练数据，包括：
获取人工标注的第一人体图像；其中，所述第一人体图像的标注用于指示光线评价等级。
可选的，所述获取训练数据，包括：
获取经过不同程度高斯模糊处理的第二人体图像；其中，所述经过不同程度高斯模糊处理的第二人体图像分别被标注为不同的模糊评价等级。
可选的，所述获取训练数据，包括：
获取裁剪后的第三人体图像；其中，所述裁剪后的第三人体图像由所述第三人体图像输入人体划线模型得到划线结果后，基于所述划线结果进行不同程度的裁剪得到，经过不同程度的裁剪的所述第三人体图像分别被标注为不同的半身评价等级。
可选的，所述方法还包括：
在所述质量分数大于第一阈值的情况下，确定所述待处理人体图像符合行人重识别的要求；
在所述质量分数小于第一阈值的情况下，确定所述待处理人体图像不符合行人重识别的要求。
其中，对于不符合行人重识别的要求的待处理人体图像，则可以直接过滤，不会将其输入行人重识别网络，避免对行人重识别造成干扰。
可选的，所述确定所述待处理人体图像符合行人重识别的要求之后，所述方法还包括：
对所述待处理人体图像进行行人重识别。
本申请实施例的第二方面提供了一种图像筛选装置，包括：
获取单元，用于获取待处理人体图像；
图像处理单元，用于利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数；所述网络模型用于提取所述待处理人体图像的图像特征，根据所述图像特征，确定所述待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数；图像筛选单元，用于根据所述质量分数进行图像筛选。
本申请实施例的第三方面提供了一种电子设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如本申请实施例第一方面中的步骤指令。
本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中所描述的部分或全部步骤。
本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
本申请实施例的图像筛选方法，可以利用网络模型对待处理人体图像进行处理，得到待处理人体图像的综合质量分数；由于网络模型可以提取待处理人体图像的图像特征，根据提取的图像特征确定待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数。该网络模型考虑了模糊识别、光线识别和半身识别，可以有效的过滤模糊的人体图像、光线差的人体图像和半身人体图像，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像筛选方法的流程示意图；
图2是本申请实施例提供的一种网络模型的框架图；
图3是本申请实施例提供的一种网络模型的训练流程示意图；
图4为本申请实施例提供的一种图像筛选装置的结构示意图；
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有运算能力的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备，以及各种形式的用户设备(user equipment，UE)，移动台(mobile station，MS)，电子设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。
请参阅图1，图1是本申请实施例提供的一种图像筛选方法的流程示意图。如图1所示，该图像筛选方法可以包括如下步骤。
101，电子设备获取待处理人体图像。
本申请实施例中的图像筛选方法可以用于筛选符合行人重识别的要求的图像。行人重识别(person re-identification)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。给定一张监控行人图像，检索跨设备下的该行人图像。该技术旨在弥补目前固定的摄像头的视觉局限，并可与行人检测和行人跟踪技术相结合，可广泛应用于智能视频监控、智能安防等领域。
待处理人体图像可以是摄像头拍摄的视频或图片中的人体图像(包含人体的图像)。在智能视频监控、智能安防等领域，待处理人体图像可以是视频监控系统(或智能安防系统)包含的多个视频拍摄装置拍摄的视频中截取的图像。
如果拍摄的人体图像的分辨率较差，容易导致人体图像中的人体细节模糊不清。常用的行人重识别算法难以从分辨率较差的人体图像中提取出有效的行人人体特征，从而在特征比对的时候容易出现误识别。
如果拍摄的人体图像的光线较差，对于光线差的人体图像，由于光线昏暗导致人体衣服颜色及部位细节难以分辨，常用的行人重识别算法难以从光线差的人体图像中提取出有效的行人人体特征，从而在特征比对的时候容易出现误识别。
如果拍摄的人体图像是半身人体图像，半身人体图像会导致人体部分信息丢失，常用的行人重识别算法难以从半身人体图像中提取出有效的行人人体特征，从而在特征比对的时候也容易出现误识别。半身人体图像，指的是人体部位不完整的图像，可以只有下半身的图像，也可以是上半身的图像，还可以是只有头肩的图像、只有头加上半身的图像、只有小腿及以下的图像、只有头部缺失的图像等。一般而言，人体部位缺失得越严重(缺失百分比越大)，行人重识别难度通常也越大。
102，电子设备利用网络模型对待处理人体图像进行处理，得到待处理人体图像的质量分数；网络模型用于提取待处理人体图像的图像特征，根据图像特征，确定待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据模糊分数、光线分数和半身分数确定待处理人体图像的质量分数。
网络模型可以采用多任务学习的训练方式得到，多任务包括模糊识别任务、光线识别任务和半身识别任务，质量分数基于多任务学习的训练方式学习到的参数计算得到。
本申请实施例中，以往的图片质量评估(image quality assessment，IQA)通过某种特定的数学模型给出参考图像和评估图像之间的差异量化值，借助峰值信噪比(peaksignal to noise ratio，PSNR)、结构相似度(structural similarity，SSIM)等评价指标来评估图像质量高低。本申请实施例的网络模型可以是神经网络模型，网络模型可以采用多任务学习的训练方式得到，把待处理人体图像的质量量化的问题转化为深度学习中的多任务问题，可以基于多任务学习的训练方式学习到的参数计算得到待处理人体图像的质量分数。网络模型的框架简单有效。本申请实施例的网络模型是训练好的模型。
模糊识别任务，用于识别待处理人体图像存在模糊的可能性，可以通过模糊分数来量化待处理人体图像存在模糊的可能性。光线识别任务，用于识别待处理人体图像存在光线异常的可能性，可以通过光线分数来量化待处理人体图像存在光线异常的可能性。半身识别任务，用于识别待处理人体图像存在半身的可能性，可以通过半身分数来量化待处理人体图像存在半身的可能性。
此外，采用多任务学习的方式，可以方便网络模型进行扩展，如增加新的任务，如遮挡任务、人体判别任务等。采用多任务学习的训练方式得到的网络模型相当于融合了所有任务，其泛化能力比采用单任务学习的训练方式得到的网络模型要好。
可选的，所述网络模型包括特征提取网络、模糊识别网络、光线识别网络和半身识别网络；步骤102中，电子设备利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数，具体可以包括如下步骤：
(11)电子设备利用所述特征提取网络从所述待处理人体图像提取图像特征；
(12)电子设备利用所述模糊识别网络根据所述图像特征计算所述模糊分数，利用所述光线识别网络根据所述图像特征计算所述光线分数，利用所述半身识别网络根据所述图像特征计算所述半身分数；
(13)电子设备基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数。
本申请实施例中，特征提取网络用于从待处理人体图像提取图像特征，模糊识别网络用于根据图像特征计算模糊分数，光线识别网络用于根据图像特征计算光线分数，半身识别网络用于根据图像特征计算半身分数。模糊识别网络、光线识别网络、半身识别网络都根据特征提取网络提取的待处理人体图像的图像特征来计算各自的分数，充分利用了特征提取网络提取的图像特征，提高了网络模型的泛化能力。
本申请实施例的多个任务(模糊识别任务、光线识别任务和半身识别任务)共享一个网络模型结构，网络模型结构里面的参数在优化的时候会被上述多个任务影响。这样在上述多个任务收敛的时候，网络模型结构就相当于融合了所有任务，因此其泛化能力比单任务要好。
其中，特征提取网络可以包括轻量级神经网络。轻量级神经网络指的是参数数量较小和每秒浮点运算次数(floating-point operations per second，FLOPs)较少的神经网络，轻量级神经网络可以应用在移动设备(比如，手机、平板电脑)、嵌入式设备等计算能力相对较弱的电子设备上。轻量级神经网络可以是简单的几层卷积、也可以是mobilenet,shufflenet、SNet等。与轻量级神经网络对应的是大型神经网络，比如AlexNet、VGG、ResNet等，这些大型神经网络虽然识别效果不错，但是模型的参数量和计算量巨大，不适合在移动端、嵌入式设备上运行。
特征提取网络采用轻量级神经网络进行训练，使得模型的精度、性能得到了较好的平衡，利于实际产品中部署和使用，可以满足多路视频实时处理下的人体图像的质量过滤需求。特征提取网络还可以通过蒸馏学习来进行结果提升。
请参阅图2，图2是本申请实施例提供的一种网络模型的框架图。如图2所示，该网络模型包括特征提取网络、模糊识别网络、光线识别网络和半身识别网络。特征提取网络相当于模型的主干部分，也可以称为backbone，作用是用来提取图像的深度学习特征。模糊识别网络、光线识别网络和半身识别网络用于做分类任务，计算各个分类的分值，从而识别图像是否模糊、是否光线异常以及是否存在半身，进而得到准确的质量分数。
可选的，步骤(12)中，电子设备利用所述模糊识别网络根据所述图像特征计算所述模糊分数，具体包括如下步骤：
(1211)电子设备利用所述模糊识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个模糊评价等级上的质量预测分；
(1212)电子设备根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数。
本申请实施例中，模糊识别网络可以通过全连接层来实现，通过全连接层将图像特征进行线性映射并归一化处理，转化为模糊识别任务的各个模糊评价等级的质量预测分。模糊评价等级可以包括极其模糊、中等模糊、清晰三个等级。
电子设备可以通过加权计算的方式根据待处理人体图像在多个模糊评价等级上的质量预测分计算模糊分数。举例来说，可以参见如下公式计算模糊分数。
Figure BDA0003375275830000111
其中，Qblur表示模糊分数，Pi-blur表示各个模糊评价等级的质量预测分，wi-blur表示各个模糊评价等级对应的权重值。其中，wi-blur的分布与模糊评价等级对应的图像质量高低正相关。例如，i＝2，表示清晰，则i＝2时，输出的P2-blur乘以的权重最高；i＝0，表示极其模糊，则i＝0时，输出的P0-blur乘以的权重最低。
wi-blur可以是训练得到的权重参数，也可以是预先设定的权重参数。各个模糊评价等级的质量预测分也可以通过预测概率的方式得到。
比如，模糊评价等级可以包括极其模糊、中等模糊、清晰三个维度，预测得到的这三个模糊评价等级的质量预测分分别为：0.3、0.6、0.1，如果这三个模糊评价等级的权值分别为：1、3、5，则可以得到该待处理人体图像在多个模糊评价等级上的质量预测分计算模糊分数Qblur＝0.3*1+0.6*3+0.1*5＝2.6，“*”代表乘法运算。其中，模糊分数越高，表示该待处理人体图像的模糊维度的图像质量越高(模糊程度越低，清晰程度越高)；模糊分数越低，表示该待处理人体图像的模糊维度的图像质量越低(模糊程度越高)。
本申请实施例可以根据待处理人体图像在多个模糊评价等级上的质量预测分计算模糊分数，将图像特征转换为衡量图像的模糊程度的质量得分，可以根据模糊分数准确量化图像的模糊程度。
可选的，步骤(12)中，电子设备利用所述光线识别网络根据所述图像特征计算所述光线分数，具体包括如下步骤：
(1221)电子设备利用所述光线识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个光线评价等级上的质量预测分；
(1222)电子设备根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数。
本申请实施例中，光线识别网络可以通过全连接层来实现，通过全连接层将图像特征进行线性映射并归一化处理，转化为光线识别任务的各个光线评价等级的质量预测分。光线评价等级可以包括光线极差、光线中等、光线良好三个维度。
电子设备可以通过加权计算的方式根据待处理人体图像在多个光线评价等级上的质量预测分计算光线分数。举例来说，可以参照如下公式计算光线分数。
Figure BDA0003375275830000121
其中，Qlight表示光线分数，Pi-light表示各个光线评价等级的质量预测分，wi-ligh表示各个光线评价等级对应的权重值。其中，wi-ligh的分布与光线评价等级对应的图像质量高低正相关。例如，i＝2，表示光线良好，则i＝2时，输出的P2-ligh乘以的权重最高；i＝0，表示光线极差，则i＝0时，输出的P0-ligh乘以的权重最低。
wi-ligh可以是训练得到的权重参数，也可以是预先设定的权重参数。各个光线评价等级的质量预测分也可以通过预测概率的方式得到。
比如，光线评价等级可以包括光线极差、光线中等、光线良好三个维度，预测得到的这三个光线评价等级的质量预测分分别为：0.8、0.1、0.1，如果这三个光线评价等级的权值分别为：1、2、3，则可以得到该待处理人体图像在多个光线评价等级上的质量预测分计算光线分数Qlight＝0.8*1+0.1*2+0.1*3＝1.3，“*”代表乘法运算。其中，光线分数越高，表示该待处理人体图像的光线维度的图像质量越高(光线明亮程度越高)，光线分数越低，表示该待处理人体图像的光线维度的图像质量越低(光线明亮程度越低)。
本申请实施例可以根据待处理人体图像在多个光线评价等级上的质量预测分计算光线分数，将图像特征转换为衡量图像的光线明亮程度的质量得分，可以根据光线分数准确量化图像的光线明亮程度。
可选的，步骤(12)中，电子设备利用所述半身识别网络根据所述图像特征计算半身分数，具体包括如下步骤：
(1231)电子设备利用所述半身识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个半身评价等级上的质量预测分；
(1232)电子设备根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数。
本申请实施例中，半身识别网络可以通过全连接层来实现，通过全连接层将图像特征进行线性映射并归一化处理，转化为半身识别任务的各个半身评价等级的质量预测分。半身评价等级可以包括只有头肩、只有头加上半身、只有小腿及以下缺失、完整人体、只有下半身、只有头部缺失这六个等级。
电子设备可以通过加权计算的方式根据待处理人体图像在多个半身评价等级上的质量预测分计算半身分数。举例来说，可以参见如下公式计算半身分数。
Figure BDA0003375275830000131
其中，Qhalf表示半身分数，pi-half表示各个半身评价等级的质量预测分，wi-half表示各个半身评价等级对应的权重值。wi-half可以是训练得到的权重参数，也可以是预先设定的权重参数。各个半身评价等级的质量预测分也可以通过预测概率的方式得到。
比如，半身评价等级可以包括只有头肩、只有下半身、只有头加上半身、只有小腿及以下缺失、只有头部缺失、完整人体这六个维度，预测得到的这六个半身评价等级的质量预测分分别为：0、0.8、0.1、0.1、0、0，如果这三个半身评价等级的权值分别为：1、2、3、4、5、6，则可以得到该待处理人体图像在多个半身评价等级上的质量预测分计算半身分数Qhalf＝0*1+0.8*2+0.1*3+0.1*4+0*5+0*6＝2.3，“*”代表乘法运算。其中，半身分数越高，表示该待处理人体图像的半身维度的图像质量越高(半身程度越高，人体图像缺失的部位越少，越接近全身)，半身分数越低，表示该待处理人体图像的半身维度的图像质量越低(半身程度越低，人体图像缺失的部位越多)。
本申请实施例可以根据待处理人体图像在多个半身评价等级上的质量预测分计算半身分数，将图像特征转换为衡量图像的半身程度的质量得分，可以根据半身分数准确量化图像的半身程度。
可选的，步骤(13)可以包括如下步骤：
电子设备通过加权求和的方式基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数。
本申请实施例中，可以通过如下公式计算待处理人体图像的质量分数：
Qtotal＝wb*Qblur+wl*Qlight+wh*Qhalf；
其中，Qtotal表示该待处理人体图像的质量分数，Qblur表示模糊分数，Qlight表示光线分数，Qhalf表示半身分数，wb表示所述模糊分数的权重值，wl表示所述光线分数的权重值，wh表示所述半身分数的权重值。wb、wl、wh可以是训练得到的权重参数，也可以是预先设定的权重参数。
由于人体图像的模糊、光线差、半身会对行人重识别带来较大的干扰，本申请实施例的待处理人体图像的质量分数是基于模糊分数、光线分数和半身分数计算得到的，可以准确的计算待处理人体图像的质量分数，从而根据质量分数准确的衡量该待处理人体图像是否符合行人重识别的要求。
103，电子设备根据质量分数进行图像筛选。
本申请实施例中，可以根据质量分数的大小来进行图像筛选。一般而言，质量分数越高，待处理人体图像的图像质量越高。
基于行人重识别的图像筛选而言，在待处理人体图像的质量分数大于第一阈值的情况下，认为该待处理人体图像符合行人重识别的要求。可以将质量分数大于第一阈值的人体图像筛选出来，对该人体图像进行行人重识别，将质量分数小于第一阈值的人体图像过滤掉，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
本申请实施例中，第一阈值可以预先进行设定，第一阈值可以存储在电子设备的存储器(比如，非易失性存储器)中。
电子设备确定待处理人体图像符合行人重识别的要求后，可以将该待处理人体图像输入行人重识别网络，进行行人重识别。
可选的，图1所示的方法还可以包括如下步骤：
在所述质量分数小于第一阈值的情况下，电子设备确定所述待处理人体图像不符合行人重识别的要求。对于不符合行人重识别的要求的待处理人体图像，则可以直接过滤，不会将其输入行人重识别网络，避免对行人重识别造成干扰。
其中，对于符合行人重识别的要求的待处理人体图像，可以对该待处理人体图像进行行人重识别。
图1所示的方法可以应用在视频流或图片流的软件开发工具包(softwaredevelopment kit，SDK)中，在该SDK中加载网络模型，可以根据输入的待处理人体图像计算该图像的质量分数，也可以通过阈值法对低质量的人体图像进行过滤。
图1所示的方法可以应用在如下场景：(1)在处理视频流或图片流数据时，对于检测模型检测到的人体图片进行特征提取前，需要对人体图片进行质量过滤的场景；(2)在处理视频流数据时，对于检测模型检测到的人体图片进行跟踪或选帧(选择高质量人体)前，需要获取人体图片质量分数的场景；(3)在进行人脸人体联合聚类、人体行为聚类、人体聚类、实时聚类等任务时，需要用到人体质量分数的场景。
本申请实施例的网络模型考虑了模糊识别、光线识别和半身识别，网络模型可以通过图像的模糊程度、光线程度和半身程度来计算待处理人体图像的质量分数，可以通过阈值法有效的过滤模糊的人体图像、光线差的人体图像和半身人体图像，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
请参阅图3，图3是本申请实施例提供的一种网络模型的训练流程示意图。如图3所示，该网络模型的训练流程可以包括如下步骤。
301，电子设备获取训练数据，训练数据包括训练图像和对应的标注结果。
本申请实施例中，网络模型可以采用有监督的方式进行训练。训练图像可以是随机抓拍的包含人体的图像，可以是来自视频流或者图片流的人体检测结果图或人体抓拍图。图1和图2所示的网络模型可以通过图3所示的方法进行训练。
本申请实施例的训练图像可以是符合网络模型的多任务学习的需求的图像。该多任务可以包括模糊识别任务、光线识别任务和半身识别任务。该训练图像可以是能够反映第一任务的需求的特征图像。第一任务为多任务中的任一个任务。多任务可以包括模糊识别任务、光线识别任务和半身识别任务。标注结果可以是以标签的形式存在，也可以是以分数的形式存在。
比如，若第一任务为模糊识别任务，则对应的训练图像可以显著反映是否模糊的图像(比如，清晰的人体图像，或者极度模糊的人体图像)。
需要说明的是，符合第一任务需求的训练数据，也有可能符合其他任务的需求。比如，训练图像不仅是模糊的图片，而且光线较差，并且只包含人的下半身，则该训练图像不仅符合模糊识别任务的需求，而且符合光线识别任务和半身识别任务的需求。
标注结果可以对该训练图像进行标注，如果标注结果以标签的形式存在，若第一任务是模糊识别任务，则对应的标注结果可以是“极其模糊”、“中等模糊”、“清晰”中的任一种。若第一任务是光线识别任务，则对应的标注结果可以是“光线极差”、“光线中等”、“光线良好”中的任一种。若第一任务是半身识别任务，则对应的标注结果可以是“只有头肩”、“只有头加上半身”、“只有小腿及以下缺失”、“完整人体”、“只有下半身”、“只有头部缺失”中的任一种。
标注结果可以是人工标注，也可以通过软件算法进行标注。
可选的，步骤301中，电子设备获取训练数据，可以包括如下步骤：电子设备获取训练图像，通过图像质量评估算法生成与所述训练图像对应的标注结果。
本申请实施例中，图像质量评估算法可以从图像质量评估(image qualityassessment，IQA)出发进行研究，主要考虑图像的曝光、清晰度、颜色、质感、抖动、对焦、伪影、噪声等。本申请实施例的图像质量评估算法对人体图像的质量的评估主要从模糊程度、光线强弱、半身程度等维度进行质量研究。
训练图像可以从拍摄的视频流和图片流中获取，也可以对清晰的人体图像、光线良好的人体图像、全身人体图像进行相应的图像处理得到。由于对人体质量问题进行了重新定义(模糊程度、光线强弱、半身程度)，训练数据生成更为简单，可以较为轻松地获得更多的自动生成的训练数据(比如，可以对清晰的人体图像进行模糊化处理，可以对光线良好的人体图像进行光线过曝或者过暗处理，可以对全身人体图像进行半身截取等)，并且标注成本低。
302，电子设备对训练图像进行预处理，将预处理后的训练图像输入网络模型进行多任务学习的训练，得到训练结果。
本申请实施例中，预处理可以是将训练图像进行尺寸缩放到相同的大小，对训练图像的尺寸进行归一化处理，使得模型无需适配不同尺寸的图像，可以方便模型进行训练。
训练结果可以是某一个标签的概率。比如，对于模糊识别任务，则训练结果可以是“极其模糊”、“中等模糊”、“清晰”这三者的概率。
303，电子设备根据训练结果和标注结果对网络模型的多任务的模型参数进行优化。
本申请实施例中，电子设备可以采用损失函数评估网络模型的第一任务的模型参数的拟合效果，进而对第一任务的模型参数进行优化。比如，损失函数可以通过自适应梯度下降方法对模型参数进行优化。
若第一任务是模糊识别任务，则网络模型的第一任务的模型参数可以包括特征提取网络和模糊识别网络的模型参数。若第一任务是光线识别任务，则网络模型的第一任务的模型参数可以包括特征提取网络和光线识别网络的模型参数。若第一任务是半身识别任务，则网络模型的第一任务的模型参数可以包括特征提取网络和半身识别网络的模型参数。
其中，步骤301至步骤303的电子设备与步骤101至步骤103的电子设备可以是不同的设备，也可以是相同的设备。
本申请实施例中，电子设备根据训练结果和标注结果对网络模型的第一任务的模型参数进行优化后，可以得到训练好的网络模型。训练好的网络模型可以直接部署在该电子设备上，也可以将该训练好的网络模型进行模型转化后部署在其他电子设备上。比如，训练好的网络模型可以是Pytorch模型，可以将Pytorch模型转化为Kestrel模型后部署在其他电子设备上。
可选的，步骤301中，电子设备获取训练数据，包括：
电子设备获取人工标注的第一人体图像；其中，所述第一人体图像的标注用于指示光线评价等级。
本申请实施例中，对于光线识别任务的训练数据，可以通过人工标注的方式进行获取。
可选的，步骤301中，电子设备获取训练数据，包括：
电子设备获取经过不同程度高斯模糊处理的第二人体图像；其中，所述经过不同程度高斯模糊处理的第二人体图像分别被标注为不同的模糊评价等级。
本申请实施例中，对于模糊识别任务的训练数据，可以通过高斯模糊处理的方式对人体图像进行处理后得到。比如，对于高斯模糊处理程度较高的图片，其模糊评价等级为极其模糊，对于高斯模糊处理程度一般的图片，其模糊评价等级为中等模糊，对于高斯模糊处理程度较低或者未经过高斯模糊处理的清晰图片，其模糊评价等级为清晰。
可选的，步骤301中，电子设备获取训练数据，包括：
电子设备获取裁剪后的第三人体图像；其中，所述裁剪后的第三人体图像由所述第三人体图像输入人体划线模型得到划线结果后，基于所述划线结果进行不同程度的裁剪得到，经过不同程度的裁剪的所述第三人体图像分别被标注为不同的半身评价等级。
本申请实施例中，对于半身识别任务的训练数据，可以通过图像裁剪的方式对人体图像进行处理后得到。可以将包含完整人体图像的部分区域进行裁剪，得到不同半身评价等级的图片。举例来说，半身评价等级可以包括只有头肩、只有头加上半身、只有小腿及以下缺失、完整人体、只有下半身、只有头部缺失这六个等级。
本申请实施例通过多任务学习的训练方式，可以把人体图像质量量化的问题转化为深度学习中的多任务和多分类(比如，模糊识别任务对应的多分类包括：上述多个模糊评价等级；光线识别任务对应的多分类包括：上述多个光线评价等级；半身识别任务对应的多分类包括：上述多个半身评价等级)问题，并对多分类结果进行自动融合，得到人体图片的质量分数，框架简单有效，解释性强，采用多任务学习，方便进行扩展。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
与上述一致的，请参阅图4，图4为本申请实施例提供的一种图像筛选装置的结构示意图，该图像筛选装置400应用于电子设备，该图像筛选装置400可以包括获取单元401、图像处理单元402和图像评估单元403，其中：
获取单元401，用于获取待处理人体图像；
图像处理单元402，用于利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数；所述网络模型用于提取所述待处理人体图像的图像特征，根据所述图像特征，确定所述待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数；图像筛选单元403，用于根据所述质量分数进行图像筛选。
可选的，所述网络模型包括特征提取网络、模糊识别网络、光线识别网络和半身识别网络；所述图像处理单元402利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数，包括：利用所述特征提取网络从所述待处理人体图像提取图像特征；利用所述模糊识别网络根据所述图像特征计算所述模糊分数，利用所述光线识别网络根据所述图像特征计算所述光线分数，利用所述半身识别网络根据所述图像特征计算所述半身分数；基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数。
可选的，所述图像处理单元402利用所述模糊识别网络根据所述图像特征计算所述模糊分数，包括：利用所述模糊识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个模糊评价等级上的质量预测分；根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数。
可选的，所述图像处理单元402根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数，包括：
通过如下公式计算模糊分数：
Figure BDA0003375275830000191
其中，Qblur表示模糊分数，Pi-blur表示各个模糊评价等级的质量预测分，wi-blur表示各个模糊评价等级对应的权重值；wi-blur的分布与模糊评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述图像处理单元402所述利用所述光线识别网络根据所述图像特征计算所述光线分数，包括：利用所述光线识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个光线评价等级上的质量预测分；根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数。
可选的，所述图像处理单元402根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数，包括：
Figure BDA0003375275830000201
其中，Qlight表示光线分数，Pi-light表示各个光线评价等级的质量预测分，wi-ligh表示各个光线评价等级对应的权重值；wi-light的分布与光线评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述图像处理单元402利用所述半身识别网络根据所述图像特征计算所述半身分数，包括：利用所述半身识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个半身评价等级上的质量预测分；根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数。
可选的，所述图像处理单元402根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数，包括：
通过如下公式计算半身分数：
Figure BDA0003375275830000202
其中，Qhalf表示半身分数，Pi-half表示各个半身评价等级的质量预测分，wi-half表示各个半身评价等级对应的权重值；wi-half与半身评价等级对应的图像质量高低正相关。其中，k为大于或等于1的整数。
可选的，所述图像处理单元402基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数，包括：通过加权求和公式基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数；
所述加权求和公式包括：
Qtotal＝wb*Qblur+wl*Qlight+wh*Qhalf；
Qtotal表示所述待处理人体图像的质量分数，Qblur表示模糊分数，Qlight表示光线分数，Qhalf表示半身分数，wb表示所述模糊分数的权重值，wl表示所述光线分数的权重值，wh表示所述半身分数的权重值。
可选的，所述特征提取网络包括轻量级神经网络。
可选的，该图像筛选装置400还可以包括训练单元404；
所述训练单元404，用于获取训练数据，所述训练数据包括训练图像和对应的标注结果；对所述训练图像进行预处理，将预处理后的训练图像输入所述网络模型进行多任务学习的训练，得到训练结果；根据所述训练结果和所述标注结果对所述网络模型的多任务的模型参数进行优化。
可选的，所述训练单元404获取训练数据，包括：获取训练图像，通过图像质量评估算法生成与所述训练图像对应的标注结果。
可选的，所述训练单元404获取训练数据，包括：获取人工标注的第一人体图像；其中，所述第一人体图像的标注用于指示光线评价等级。
可选的，所述训练单元404获取训练数据，包括：获取经过不同程度高斯模糊处理的第二人体图像；其中，所述经过不同程度高斯模糊处理的第二人体图像分别被标注为不同的模糊评价等级。
可选的，所述训练单元404获取训练数据，包括：获取裁剪后的第三人体图像；其中，所述裁剪后的第三人体图像由所述第三人体图像输入人体划线模型得到划线结果后，基于所述划线结果进行不同程度的裁剪得到，经过不同程度的裁剪的所述第三人体图像分别被标注为不同的半身评价等级。
可选的，该图像筛选装置400还可以确定单元(图4未示出)；
确定单元，用于在所述质量分数大于第一阈值的情况下，确定所述待处理人体图像符合行人重识别的要求；
所述确定单元，还用于在所述质量分数小于第一阈值的情况下，确定所述待处理人体图像不符合行人重识别的要求。
可选的，该图像筛选装置400还可以包括行人重识别单元(图4未示出)；
行人重识别单元，用于在所述图像评估单元403确定所述待处理人体图像符合行人重识别的要求之后，对所述待处理人体图像进行行人重识别。
其中，本申请实施例中的获取单元401、图像处理单元402、图像评估单元403、训练单元404、确定单元和行人重识别单元可以对应电子设备中的处理器。
本申请实施例中，可以利用网络模型对待处理人体图像进行处理，得到待处理人体图像的综合质量分数；由于网络模型可以提取待处理人体图像的图像特征，根据提取的图像特征确定待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数。该网络模型考虑了模糊识别、光线识别和半身识别，可以有效的过滤模糊的人体图像、光线差的人体图像和半身人体图像，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
请参阅图5，图5是本申请实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备500包括处理器501和存储器502，处理器501、存储器502可以通过通信总线503相互连接。通信总线503可以是外设部件互连标准(Peripheral Component Interconnect，简称PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，简称EISA)总线等。通信总线503可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。存储器502用于存储计算机程序，计算机程序包括程序指令，处理器501被配置用于调用程序指令，上述程序包括用于执行图1或图3所示的方法。
处理器501可以是通用中央处理器(CPU)，微处理器，特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制以上方案程序执行的集成电路。
存储器502可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器可以是独立存在，通过总线与处理器相连接。存储器也可以和处理器集成在一起。
此外，该电子设备500还可以包括通信接口、天线等通用部件，在此不再详述。
本申请实施例中，可以利用网络模型对待处理人体图像进行处理，得到待处理人体图像的综合质量分数；由于网络模型可以提取待处理人体图像的图像特征，根据提取的图像特征确定待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数。该网络模型考虑了模糊识别、光线识别和半身识别，可以有效的过滤模糊的人体图像、光线差的人体图像和半身人体图像，从而准确的筛选符合行人重识别的要求的图像，降低行人重识别算法出现误识别的概率。
本申请实施例还提供一种计算机可读存储介质，其中，该计算机可读存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种图像筛选方法的部分或全部步骤。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。
所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。
以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (17)

1.一种图像筛选方法，其特征在于，包括：
获取待处理人体图像；
利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数；所述网络模型用于提取所述待处理人体图像的图像特征，根据所述图像特征，确定所述待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数；
根据所述质量分数进行图像筛选。
2.根据权利要求1所述的方法，其特征在于，所述网络模型包括特征提取网络、模糊识别网络、光线识别网络和半身识别网络；所述利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数，包括：
利用所述特征提取网络从所述待处理人体图像提取图像特征；
利用所述模糊识别网络根据所述图像特征计算所述模糊分数，利用所述光线识别网络根据所述图像特征计算所述光线分数，利用所述半身识别网络根据所述图像特征计算所述半身分数；
基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数。
3.根据权利要求2所述的方法，其特征在于，所述利用所述模糊识别网络根据所述图像特征计算所述模糊分数，包括：
利用所述模糊识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个模糊评价等级上的质量预测分；
根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数。
4.根据权利要求3所述的方法，其特征在于，所述根据所述待处理人体图像在所述多个模糊评价等级上的质量预测分计算所述模糊分数，包括：
通过如下公式计算模糊分数：
Figure FDA0003375275820000021
其中，Qblur表示模糊分数，Pi-blur表示各个模糊评价等级的质量预测分，wi-blur表示各个模糊评价等级对应的权重值；wi-blur的分布与模糊评价等级对应的图像质量高低正相关。
5.根据权利要求2所述的方法，其特征在于，所述利用所述光线识别网络根据所述图像特征计算所述光线分数，包括：
利用所述光线识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个光线评价等级上的质量预测分；
根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待处理人体图像在所述多个光线评价等级上的质量预测分计算所述光线分数，包括：
Figure FDA0003375275820000022
其中，Qlight表示光线分数，Pi-light表示各个光线评价等级的质量预测分，wi-ligh表示各个光线评价等级对应的权重值；wi-light的分布与光线评价等级对应的图像质量高低正相关。
7.根据权利要求2所述的方法，其特征在于，所述利用所述半身识别网络根据所述图像特征计算所述半身分数，包括：
利用所述半身识别网络将所述图像特征进行线性映射并归一化处理，预测所述待处理人体图像在多个半身评价等级上的质量预测分；
根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数。
8.根据权利要求7所述的方法，其特征在于，所述根据所述待处理人体图像在所述多个半身评价等级上的质量预测分计算所述半身分数，包括：
通过如下公式计算半身分数：
Figure FDA0003375275820000031
其中，Qhalf表示半身分数，Pi-half表示各个半身评价等级的质量预测分，wi-half表示各个半身评价等级对应的权重值；wi-half与半身评价等级对应的图像质量高低正相关。
9.根据权利要求2～8任一项所述的方法，其特征在于，所述基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数，包括：
通过加权求和公式基于所述模糊分数、所述光线分数和所述半身分数计算所述质量分数；
所述加权求和公式包括：
Qtotal＝wb*Qblur+wl*Qlight+wh*Qhalf；
Qtotal表示所述待处理人体图像的质量分数，Qblur表示模糊分数，Qlight表示光线分数，Qhalf表示半身分数，wb表示所述模糊分数的权重值，wl表示所述光线分数的权重值，wh表示所述半身分数的权重值。
10.根据权利要求2～8任一项所述的方法，其特征在于，所述特征提取网络包括轻量级神经网络。
11.根据权利要求1～10任一项所述的方法，其特征在于，所述方法还包括：
获取训练数据，所述训练数据包括训练图像和对应的标注结果；
对所述训练图像进行预处理，将预处理后的训练图像输入所述网络模型进行多任务学习的训练，得到训练结果；
根据所述训练结果和所述标注结果对所述网络模型的多任务的模型参数进行优化。
12.根据权利要求11所述的方法，其特征在于，所述获取训练数据，包括：
获取人工标注的第一人体图像；其中，所述第一人体图像的标注用于指示光线评价等级。
13.根据权利要求11所述的方法，其特征在于，所述获取训练数据，包括：
获取经过不同程度高斯模糊处理的第二人体图像；其中，所述经过不同程度高斯模糊处理的第二人体图像分别被标注为不同的模糊评价等级。
14.根据权利要求11所述的方法，其特征在于，所述获取训练数据，包括：
获取裁剪后的第三人体图像；其中，所述裁剪后的第三人体图像由所述第三人体图像输入人体划线模型得到划线结果后，基于所述划线结果进行不同程度的裁剪得到，经过不同程度的裁剪的所述第三人体图像分别被标注为不同的半身评价等级。
15.一种图像筛选装置，其特征在于，包括：
获取单元，用于获取待处理人体图像；
图像处理单元，用于利用网络模型对所述待处理人体图像进行处理，得到所述待处理人体图像的质量分数；所述网络模型用于提取所述待处理人体图像的图像特征，根据所述图像特征，确定所述待处理人体图像的用于表示模糊程度的模糊分数、用于表示光线明亮程度的光线分数以及用于表示半身人体的完整程度的半身分数，根据所述模糊分数、所述光线分数和所述半身分数确定所述待处理人体图像的质量分数；
图像筛选单元，用于根据所述质量分数进行图像筛选。
16.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1～14任一项所述的方法。
17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1～14任一项所述的方法。
CN202111415866.5A 2021-11-25 2021-11-25 图像筛选方法及装置、电子设备和存储介质 Pending CN114066877A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111415866.5A CN114066877A (zh) 2021-11-25 2021-11-25 图像筛选方法及装置、电子设备和存储介质
PCT/CN2022/114469 WO2023093151A1 (zh) 2021-11-25 2022-08-24 图像筛选方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111415866.5A CN114066877A (zh) 2021-11-25 2021-11-25 图像筛选方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN114066877A true CN114066877A (zh) 2022-02-18

Family

ID=80276452

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111415866.5A Pending CN114066877A (zh) 2021-11-25 2021-11-25 图像筛选方法及装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN114066877A (zh)
WO (1) WO2023093151A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116052220A (zh) * 2023-02-07 2023-05-02 北京多维视通技术有限公司 行人重识别方法、装置、设备及介质
WO2023093151A1 (zh) * 2021-11-25 2023-06-01 上海商汤智能科技有限公司 图像筛选方法及装置、电子设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117097989B (zh) * 2023-10-18 2024-01-02 北京道仪数慧科技有限公司 一种图像优选的处理方法和装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961209B (zh) * 2018-05-22 2022-11-11 深圳市商汤科技有限公司 行人图像质量评价方法、电子设备及计算机可读介质
CN112800923A (zh) * 2021-01-22 2021-05-14 北京市商汤科技开发有限公司 人体图像质量检测方法及装置、电子设备、存储介质
CN112733814B (zh) * 2021-03-30 2021-06-22 上海闪马智能科技有限公司 一种基于深度学习的行人徘徊滞留检测方法、系统及介质
CN114066877A (zh) * 2021-11-25 2022-02-18 深圳市商汤科技有限公司 图像筛选方法及装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023093151A1 (zh) * 2021-11-25 2023-06-01 上海商汤智能科技有限公司 图像筛选方法及装置、电子设备和存储介质
CN116052220A (zh) * 2023-02-07 2023-05-02 北京多维视通技术有限公司 行人重识别方法、装置、设备及介质
CN116052220B (zh) * 2023-02-07 2023-11-24 北京多维视通技术有限公司 行人重识别方法、装置、设备及介质

Also Published As

Publication number Publication date
WO2023093151A1 (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
CN108898579B (zh) 一种图像清晰度识别方法、装置和存储介质
CN114066877A (zh) 图像筛选方法及装置、电子设备和存储介质
US10523894B2 (en) Automated selection of keeper images from a burst photo captured set
US9008365B2 (en) Systems and methods for pedestrian detection in images
CN109146856A (zh) 图像质量评定方法、装置、计算机设备及存储介质
CN109670441A (zh) 一种实现安全帽穿戴识别的方法、系统、终端以及计算机可读存储介质
CN111178183A (zh) 人脸检测方法及相关装置
CN107358141B (zh) 数据识别的方法及装置
CN111401374A (zh) 基于多任务的模型训练方法、字符识别方法及装置
CN113326754A (zh) 基于卷积神经网络的吸烟行为检测方法、系统及相关设备
CN114782892A (zh) 违规行为目标检测方法、装置、设备及存储介质
CN111950457A (zh) 油田安全生产图像识别方法及系统
Rouse et al. Natural image utility assessment using image contours
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN112800923A (zh) 人体图像质量检测方法及装置、电子设备、存储介质
JP2011170890A (ja) 顔検出方法および装置並びにプログラム
CN111062272A (zh) 基于色彩恢复的图像处理、行人识别方法、装置与可读存储介质
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
WO2022120532A1 (en) Presentation attack detection
CN115311680A (zh) 人体图像质量检测方法、装置、电子设备及存储介质
CN114694090A (zh) 一种基于改进PBAS算法与YOLOv5的校园异常行为检测方法
Shah et al. Real versus fake 4K-authentic resolution assessment
CN113158720A (zh) 一种基于双模特征和注意力机制的视频摘要方法及装置
CN111723614A (zh) 交通信号灯识别方法及装置
CN117011196B (zh) 一种基于组合滤波优化的红外小目标检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination