CN113642452B - 人体图像质量评价方法、装置、系统及存储介质 - Google Patents

人体图像质量评价方法、装置、系统及存储介质 Download PDF

Info

Publication number
CN113642452B
CN113642452B CN202110913659.6A CN202110913659A CN113642452B CN 113642452 B CN113642452 B CN 113642452B CN 202110913659 A CN202110913659 A CN 202110913659A CN 113642452 B CN113642452 B CN 113642452B
Authority
CN
China
Prior art keywords
key point
human body
feature extraction
value
extraction model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110913659.6A
Other languages
English (en)
Other versions
CN113642452A (zh
Inventor
游浩泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Winner Technology Co ltd
Original Assignee
Winner Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Winner Technology Co ltd filed Critical Winner Technology Co ltd
Priority to CN202110913659.6A priority Critical patent/CN113642452B/zh
Publication of CN113642452A publication Critical patent/CN113642452A/zh
Application granted granted Critical
Publication of CN113642452B publication Critical patent/CN113642452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种人体图像质量评价方法、装置、系统及存储介质，包括以下步骤：基于卷积神经网络模型获取待评价的人体图像的特征图；基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果。本发明的人体图像质量评价方法、装置、系统及存储介质能够保证图像清晰度、图像曝光度以及人体遮挡度都具有高质量的评价结果，满足高度特化的需求；通过训练模型和实际应用模型的异构处理，解决了前端设备算力有限的问题，提高信息利用率。

Description

人体图像质量评价方法、装置、系统及存储介质
技术领域
本发明涉及计算机视觉领域，特别是涉及一种人体图像质量评价方法、装置、系统及存储介质。
背景技术
图像质量评价通常用于评定图像是否满足特定的应用，涵盖的方面包括：图像清晰度、图像曝光度、色彩还原度、图像质感、图像噪音以及对焦情况等。不同应用领域通常关注的评价标准不同；比如，在行人重识别技术(Person Re-identification，ReID)中主要关注图像清晰度、图像曝光度，并且还另关注有人体遮挡度。
现有技术中的图像质量评价主要包含两种方法，一种是基于计算机视觉的算法，一种是基于深度学习的算法，两种算法都是面向通用应用领域的图像质量评价方法且没有涉及算力限制的考虑；而ReID技术是在前端设备上实现人体图像质量评价方法，需要考虑算力有限的问题；并且关注的评价标准侧重与通用应用领域的评价标准并不完全一致；即现有技术中的图像质量评价方法并不能很好地适用于ReID技术中。
因此，如何面向ReID技术精确地实现图像质量评价方法是一个亟待解决的问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种人体图像质量评价方法、装置、系统及存储介质，用于解决现有技术中未能面向ReID技术精确地实现图像质量评价方法的问题。
为实现上述目的及其他相关目的，本发明提供一种人体图像质量评价方法、装置、系统及存储介质，包括以下步骤：基于卷积神经网络模型获取待评价的人体图像的特征图；基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果。
于本发明的一实施例中，所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型。
于本发明的一实施例中，所述关键点热度图模型的输入为所述关键点可视分类特征提取模型的输出和所述路径聚合网络模型的输出；所述关键点热度图模型的输出为基于所述关键点热度图模型的输入，应用注意力机制法进行权重相乘得到。
于本发明的一实施例中，所述清晰度预设有X类；所述曝光度预设有Y类；所述关键点可视值预设为a个人体关键点中每个关键点的可见和不可见中的任一种对应的数值，表达式为：
其中,Skp为所述关键点可视值，Z为第一类别总数，i为关键点的序列号，Wi为第i个关键点的权重，ki为第i个关键点是否可见，可见时为p，不可见时为q，N为关键点的总数。
于本发明的一实施例中，所述基础质量特征提取模型和所述关键点可视分类特征提取模型的第一损失函数都为：
其中，Lossce为所述第一损失函数，K为第二类别总数，当所述损失函数对应为所述基础质量特征提取模型时，所述K取值为第一预设数值；当所述损失函数对应所述关键点可视分类特征提取模型时，所述K取值为第二预设数值；yc为独热编码，取值为第三预设数值；pc为这一类的预测值；
所述关键点热度图模型的第二损失函数为：
其中，LossL2为所述第二损失函数，i为所述关键点的序列号，N为所述关键点的总数，yi为第i个关键点的真值，pi为第i个关键点的预测值。
于本发明的一实施例中，所述基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果，包括：当所述清晰度大于所述第一阈值、所述曝光度大于所述第一阈值，且所述曝光度小于所述第二阈值时，若所述关键点可视值小于第三阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第三阈值时，所述质量评价结果为所述关键点可视值；所述第一阈值小于所述第二阈值；当所述清晰度小于所述第一阈值、所述曝光度小于所述第一阈值以及所述曝光度大于所述第二阈值中的任一种存在时，若所述关键点可视值小于第四阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第四阈值时，所述质量评价结果为所述关键点可视值；所述第三阈值大于所述第四阈值。
对应地，本发明提供一种人体图像质量评价装置，包括：获取模块，用于基于卷积神经网络模型获取待评价的人体图像的特征图；处理模块，用于基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；确定模块，用于基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果。
于本发明的一实施例中，所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的人体图像质量评价方法。
本发明提供一种图像质量评价系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的人体图像质量评价方法。
如上所述，本发明的人体图像质量评价方法、装置、系统及存储介质，具有以下有益效果：
(1)能够保证图像清晰度、图像曝光度以及人体遮挡度都具有高质量的评价结果，满足高度特化的需求。
(2)通过训练模型和实际应用模型的异构处理，解决了前端设备算力有限的问题。
(3)能够准确有效地过滤低质量的人体图像，提高信息利用率。
附图说明
图1显示为本发明的人体图像质量评价方法于一实施例中的流程图。
图2显示为本发明的人体图像质量评价方法于一实施例中的路径聚合网络模型示意图。
图3显示为本发明的人体图像质量评价方法于一实施例中的关键点热度图模型示意图。
图4显示为本发明的人体图像质量评价方法于一实施例中的综合特征提取模型示意图。
图5显示为本发明的人体图像质量评价方法于一实施例中的实际推理阶段的模型示意图。
图6显示为本发明的人体图像质量评价方法于一实施例中的质量评价规则示意图。
图7显示为本发明的人体图像质量评价装置于一实施例中的结构示意图。
图8显示为本发明的人体图像质量评价装置于一实施例中的图像质量评价系统。
元件标号说明
71 获取模块
72 处理模块
73 确定模块
81 处理器
82 存储器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明的人体图像质量评价方法、装置、系统及存储介质能够保证图像清晰度、图像曝光度以及人体遮挡度都具有高质量的评价结果，满足高度特化的需求；通过训练模型和实际应用模型的异构处理，解决了前端设备算力有限的问题；并且能够准确有效地过滤低质量的人体图像，提高信息利用率。
如图1所示，于一实施例中，本发明的人体图像质量评价方法包括以下步骤：
步骤S1、基于卷积神经网络模型获取待评价的人体图像的特征图。
具体地，基于卷积神经网络的特征图提取的模型结构如表一所示。
表一
其中，Conv-卷积核大小-输出通道数表示卷积层，MaxPooling表示最大值池化层，步长均为2，ReLU表示激活函数。在out s8，out s16，out s32分别同时输出三个尺度的特征图，举例来说，若输入的人体图像的图片尺寸为WxH、数量为N，则输出的三个尺度的特征图维度分别为Out-1：(N，384，W/8x H/8)、Out-2：(N，512，W/16x H/16)以及Out-3：(N，512，W/32x H/32)。
步骤S2、基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值。
具体地，基础质量特征提取模型结构如表二所示。
表二
其中，flatten表示将特征图拉平成一维特征的操作，fc-输出维度表示fc层，LeakyReLU表示激活函数，举例来说，输入的是特征图提取模型的输出中的Out-2(N，512，W/16x H/16)，输出的维度是(N，2，100)，这里的输出对应的特征有2个，分别是人体图像的清晰度、人体图像的曝光度，并且清晰度分成了0到100的一百类，曝光度也分成了0到100的一百类。基础质量特征提取模型通过对输入的特征图进一步提炼，提取得到用于判别人体图像的清晰度、曝光度的特征。
关键点可视分类特征提取模型结构如表三所示。
表三
举例来说，输入的是特征图提取模型的输出中的Out-2(N，512，W/16x H/16)，输出的维度是(N，14，2)和out-1(N，14，W/16x H/16)，这里的输出对应的人体关键点预定义有14个点，每个关键点分成可见与不可见两类，因此经关键点可视分类特征提取模型处理后输出的是14个两类的分类结果。关键点可视分类特征提取模型通过对输入的特征图进一步提炼，提取得到用于判别人体关键点是否可见的特征。
进一步具体地，所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型。
所述关键点热度图模型的输入为所述关键点可视分类特征提取模型的输出和所述路径聚合网络模型的输出；
所述关键点热度图模型的输出为基于所述关键点热度图模型的输入，应用注意力机制法进行权重相乘得到。
其中，所述清晰度预设有X类；所述曝光度预设有Y类；比如，清晰度预设有100类；曝光度预设有100类。
所述关键点可视值预设为a个人体关键点中每个关键点的可见和不可见中的任一种对应的数值，表达式为：
其中,Skp为关键点可视值，Z为第一类别总数，i为关键点的序列号，Wi为第i个关键点的权重，ki为第i个关键点是否可见，可见时为p，不可见时为q，N为关键点的总数。
所述基础质量特征提取模型和所述关键点可视分类特征提取模型的第一损失函数都为：
其中，Lossce为所述第一损失函数，K为第二类别总数，当所述损失函数对应为所述基础质量特征提取模型时，所述K取值为第一预设数值；当所述损失函数对应所述关键点可视分类特征提取模型时，所述K取值为第二预设数值；yc为独热编码，取值为第三预设数值；pc为这一类的预测值；
所述关键点热度图模型的第二损失函数为：
其中，LossL2为所述第二损失函数，i为所述关键点的序列号，N为所述关键点的总数，yi为第i个关键点的真值，pi为第i个关键点的预测值。
进一步具体地，如图2所示，于本实施例中，本发明的路径聚合网络模型示意图。图中的三个输入分别对应特征图提取模型的三个输出，并且输入1对应的是小目标尺度的特征图，输入2对应的是中目标尺度的特征图，输入3对应的是大目标尺度的特征图，首先通过对输入3大目标尺度的特征图进行卷积和上采样，再与输入2中目标尺度的特征图进行拼接，再通过一次卷积得到融合中目标和大目标尺度的特征，在通过上采样之后和输入1小目标尺度的特征图进行2次卷积处理得到融合了三个尺度的特征，最后在将得到的这个融合特征和中目标尺度的特征图融合。其中，卷积模块1是保持输出的特征图宽高尺寸与输入的特征图宽高尺寸相同的卷积层模块；卷积模块2是将宽高减半的卷积层模块，是一个Conv-3-512，步长是2的卷积层；上采样是对特征图尺寸放大一倍的操作。卷积层模块1的结构如表四所示，卷积层模块1输出的特征图维度是(N，512，W/16x H/16)。
表四
如图3所示，于本实施例中，本发明的关键点热度图模型示意图，图中的两个输入分别是路径聚合网络模型的输出特征图(N，512，W/16x H/16)和关键点可视分类特征提取模块的输出out-1(N，14，W/16x H/16)，分别对应图中的输入1和输入2；卷积模块1是保持输出的特征图宽高尺寸与输入的特征图宽高尺寸相同的卷积层模块；热度图生成模块是宽高尺寸不变、生成通道数为14的模块。举例来说，热度图生成模块是一个Conv-3-14的卷积层，对输入2做全局均值池化操作，得到(N，14，1)的特征图；对输入1经卷积模块1处理后，与(N，14，1)的特征图按照热度图生成模块的通道相乘，之后再经过一次卷积模块1即得到最终的关键点热度图输出，输出的热度图维度是(N，14，W/16x H/16)。
如图4所示，于本实施例中，本发明的综合特征提取模型示意图，将待评价的人体图像输入卷积神经网络模型获取到待评价的人体图像的特征图；这里输出的特征图共有3个尺度，分别对应小目标尺度、中目标尺度以及大目标尺度；将中目标尺度的特征图输入基础质量特征提取模型进一步处理，提取得到人体图像的清晰度、曝光度；将中目标尺度的特征图输入关键点可视分类特征提取模型进一步处理，提取得到人体图像的关键点可视值；并将3个尺度的特征图一并输入路径聚合网络模型，该模型通过自上向下和自下向上两个路径的信息流传播，将这3个尺度的特征图融合起来，得到融合后的特征图以增强整个网络的特征表达能力；之后，将该融合后的特征图和关键点可视分类特征提取模型的输出特征图一并输入至关键点热度图模型中，采用注意力机制法，将关键点可视分类特征提取模型的输出特征图做全局均值化操作以作为注意力权重，和融合后的特征图进行相乘处理，得到人体关键点的热度图。其中，基础质量特征提取模型得到的清晰度、曝光度通过对应的损失函数进行损失计算；关键点可视分类特征提取模型得到的关键点可视值通过对应的损失函数进行损失计算；以及关键点热度热度图模型得到的人体关键点的热度图通过对应的损失函数进行损失计算；之后将三个损失函数相加得到最终的损失函数，做梯度回传，进行相应模型的权重更新。在经过上述综合特征提取模型的训练后，即可进行实际推理阶段的模型应用，实际推理阶段的模型相较于综合特征提取模型，减少了路径聚合网络模型和关键点热度图模型，保留的是卷积神经网络模型、基础质量特征提取模型以及关键点可视分类特征提取模型。如图5所示，于本实施例中，本发明的实际推理阶段的模型示意图，举例来说，预先收集人体图像数据；将数据集划分为训练集和测试集；搭建训练阶段的综合特征提取模型的网络结构，其中，批归一化层和全连接层，权重采用均值为0，均方差为0.01的正态分布进行初始化，偏差采用0进行初始化。输入人体图像数据，对网络结构进行训练；每一批数据包括64张人体图片，训练完成后，搭建实际推理阶段的网络模型，将训练阶段的网络模型权重，对应结构复制权重至推理阶段的网络模型中。
步骤S3、基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果。
具体地，当所述清晰度大于所述第一阈值、所述曝光度大于所述第一阈值，且所述曝光度小于所述第二阈值时，若所述关键点可视值小于第三阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第三阈值时，所述质量评价结果为所述关键点可视值；所述第一阈值小于所述第二阈值；当所述清晰度小于所述第一阈值、所述曝光度小于所述第一阈值以及所述曝光度大于所述第二阈值中的任一种存在时，若所述关键点可视值小于第四阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第四阈值时，所述质量评价结果为所述关键点可视值；所述第三阈值大于所述第四阈值。
进一步具体地，在基于清晰度、曝光度以及关键点可视值，确定人体图像的质量评价结果之前还包括：预先定义人体图像清晰度：取值为[0，100]，值越大，越清晰，一般大于50为较清晰图像；定义人体图像曝光度：取值为[0，100]，值越大，曝光度越大，一般50～80为曝光度适中图像，大于80为过曝；定义人体图像关键点有14个关键点，按顺序分别为人头、颈部、左肩膀、左手肘、左手腕、右肩膀、右手肘、右手腕、左臀部、左膝盖、左脚踝、右臀部、右膝盖以及右脚踝。
如图6所示，于本实施例中，本发明的质量评价规则示意图，图中，Sc是清晰度，Se是曝光度。tl是第一阈值，th是第二阈值。tkp_l是第三阈值，tkp_h是第四阈值。Skp是关键点可视值，关键点可视值的计算公式表达式如上文所述为：
其中,Skp为关键点可视值，Z为第一类别总数，i为关键点的序列号，Wi为第i个关键点的权重，ki为第i个关键点是否可见，可见时为p，不可见时为q，N为关键点的总数。
举例来说，tl设置为30，th设置为80，tkp_l设置为50，tkp_h设置为70；Z取值为100，N取值为14，ki在第i个关键点可见时为1，不可见时未0，权重Wi的取值如表五所示，之后根据实际推理阶段的模型处理得到的清晰度、曝光度以及关键点可视值，按照图6中的质量评价规则流程，确定人体图像的质量评价结果。
表五
W_1 20
W_2 10
W_3 5
W_4 5
W_5 5
W_6 5
W_7 5
W_8 5
W_9 10
W_10 10
W_11 10
W_12 10
W_13 10
W_14 10
通过上述S1-S3的步骤处理，采用训练阶段和实际推理阶段的异构双模型结构的方式，能够充分考虑前端设备的算力情况，最大程度提高信息利用率并降低模型训练难度，确保模型在前端设备中做实时推理；并且对人体图像的质量评价能够准确有效地过滤低质量的人体图像，为后续的应用大大减少算力需求。
如图7所示，于一实施例中，本发明的人体图像质量评价装置包括：
获取模块71，用于基于卷积神经网络模型获取待评价的人体图像的特征图；
处理模块72，用于基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；
确定模块73，用于基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果。
其中，所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型。
本实施例的人体图像质量评价装置具体实现的技术特征与实施例1中人体图像质量评价方法中的各步骤的原理基本相同，方法和装置之间可以通用的技术内容不作重复赘述。
本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的人体图像质量评价装置方法。
如图8所示，于一实施例中，本发明的图像质量评价系统包括：处理器81及存储器82。
所述存储器82用于存储计算机程序。
所述存储器82包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器81与所述存储器82相连，用于执行所述存储器82存储的计算机程序，以使所述喷筑建造设备执行上述的喷筑建造方法。
优选地，上述的处理器81可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
综上所述，本发明的人体图像质量评价方法、装置、系统及存储介质能够保证图像清晰度、图像曝光度以及人体遮挡度都具有高质量的评价结果，满足高度特化的需求；通过训练模型和实际应用模型的异构处理，解决了前端设备算力有限的问题；并且能够准确有效地过滤低质量的人体图像，提高信息利用率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种人体图像质量评价方法，其特征在于，所述人体图像质量评价方法包括以下步骤：
基于卷积神经网络模型获取待评价的人体图像的特征图；
基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；
基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果；
所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型；
其中将待评价的人体图像输入卷积神经网络模型获取到待评价的人体图像的特征图；所述特征图包括小目标尺度、中目标尺度以及大目标尺度；将中目标尺度的特征图输入所述基础质量特征提取模型，提取得到人体图像的清晰度、曝光度；将中目标尺度的特征图输入所述关键点可视分类特征提取模型，提取得到人体图像的关键点可视值；将3个尺度的特征图一并输入所述路径聚合网络模型，得到融合后的特征图；将所述融合后的特征图和所述关键点可视分类特征提取模型的输出特征图一并输入至所述关键点热度图模型中，得到人体关键点的热度图；所述基础质量特征提取模型得到的清晰度、曝光度通过对应的损失函数进行损失计算；所述关键点可视分类特征提取模型得到的关键点可视值通过对应的损失函数进行损失计算；所述关键点热度图模型得到的人体关键点的热度图通过对应的损失函数进行损失计算；将三个损失函数相加得到最终的损失函数，进行所述综合特征提取模型的权重更新。
2.根据权利要求1所述的方法，其特征在于，所述关键点热度图模型的输入为所述关键点可视分类特征提取模型的输出和所述路径聚合网络模型的输出；
所述关键点热度图模型的输出为基于所述关键点热度图模型的输入，应用注意力机制法进行权重相乘得到。
3.根据权利要求2所述的方法，其特征在于，所述清晰度预设有X类；所述曝光度预设有Y类；
所述关键点可视值预设为a个人体关键点中每个关键点的可见和不可见中的任一种对应的数值，表达式为：
其中,Skp为所述关键点可视值，Z为第一类别总数，i为关键点的序列号，Wi为第i个关键点的权重，ki为第i个关键点是否可见，可见时为p，不可见时为q，N为关键点的总数。
4.根据权利要求3所述的方法，其特征在于，所述基础质量特征提取模型和所述关键点可视分类特征提取模型的第一损失函数都为：
其中，Lossce为所述第一损失函数，K为第二类别总数，当所述损失函数对应为所述基础质量特征提取模型时，所述K取值为第一预设数值；当所述损失函数对应所述关键点可视分类特征提取模型时，所述K取值为第二预设数值；yc为独热编码，取值为第三预设数值；pc为这一类的预测值；
所述关键点热度图模型的第二损失函数为：
其中，LossL2为所述第二损失函数，i为所述关键点的序列号，N为所述关键点的总数，yi为第i个关键点的真值，pi为第i个关键点的预测值。
5.根据权利要求1所述的方法，其特征在于，所述基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果，包括：
当所述清晰度大于第一阈值、所述曝光度大于所述第一阈值，且所述曝光度小于第二阈值时，若所述关键点可视值小于第三阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第三阈值时，所述质量评价结果为所述关键点可视值；所述第一阈值小于所述第二阈值；
当所述清晰度小于所述第一阈值、所述曝光度小于所述第一阈值以及所述曝光度大于所述第二阈值中的任一种存在时，若所述关键点可视值小于第四阈值，则所述质量评价结果为不合格；若所述关键点可视值大于所述第四阈值时，所述质量评价结果为所述关键点可视值；所述第三阈值大于所述第四阈值。
6.一种人体图像质量评价装置，其特征在于，包括：
获取模块，用于基于卷积神经网络模型获取待评价的人体图像的特征图；
处理模块，用于基于所述特征图，应用预设的基础质量特征提取模型，确定所述人体图像的清晰度和曝光度，并基于所述特征图，应用预设的关键点可视分类特征提取模型，确定所述人体图像的关键点可视值；
确定模块，用于基于所述清晰度、所述曝光度以及所述关键点可视值，确定所述人体图像的质量评价结果；
所述基础质量特征提取模型和所述关键点可视分类特征提取模型都通过预先训练的综合特征提取模型得到，所述综合特征提取模型包括所述基础质量特征提取模型、所述关键点可视分类特征提取模型、路径聚合网络模型以及关键点热度图模型；
其中将待评价的人体图像输入卷积神经网络模型获取到待评价的人体图像的特征图；所述特征图包括小目标尺度、中目标尺度以及大目标尺度；将中目标尺度的特征图输入所述基础质量特征提取模型，提取得到人体图像的清晰度、曝光度；将中目标尺度的特征图输入所述关键点可视分类特征提取模型，提取得到人体图像的关键点可视值；将3个尺度的特征图一并输入所述路径聚合网络模型，得到融合后的特征图；将所述融合后的特征图和所述关键点可视分类特征提取模型的输出特征图一并输入至所述关键点热度图模型中，得到人体关键点的热度图；所述基础质量特征提取模型得到的清晰度、曝光度通过对应的损失函数进行损失计算；所述关键点可视分类特征提取模型得到的关键点可视值通过对应的损失函数进行损失计算；所述关键点热度图模型得到的人体关键点的热度图通过对应的损失函数进行损失计算；将三个损失函数相加得到最终的损失函数，进行所述综合特征提取模型的权重更新。
7.一种存储介质，存储有程序指令，其中，所述程序指令被执行时实现如权利要求1至权利要求5任一项所述的人体图像质量评价方法的步骤。
8.一种图像质量评价系统，其特征在于：包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现如权利要求1至权利要求5任一权利要求所述的人体图像质量评价方法的步骤。
CN202110913659.6A 2021-08-10 2021-08-10 人体图像质量评价方法、装置、系统及存储介质 Active CN113642452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110913659.6A CN113642452B (zh) 2021-08-10 2021-08-10 人体图像质量评价方法、装置、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110913659.6A CN113642452B (zh) 2021-08-10 2021-08-10 人体图像质量评价方法、装置、系统及存储介质

Publications (2)

Publication Number Publication Date
CN113642452A CN113642452A (zh) 2021-11-12
CN113642452B true CN113642452B (zh) 2023-11-21

Family

ID=78420517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110913659.6A Active CN113642452B (zh) 2021-08-10 2021-08-10 人体图像质量评价方法、装置、系统及存储介质

Country Status (1)

Country Link
CN (1) CN113642452B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115115875A (zh) * 2022-06-15 2022-09-27 腾讯科技（深圳）有限公司 图像分类方法、装置、电子设备和存储介质
CN116150421B (zh) * 2023-04-23 2023-07-18 深圳竹云科技股份有限公司 图像的展示方法、装置、计算机设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555450A (zh) * 2018-05-31 2019-12-10 北京深鉴智能科技有限公司 人脸识别神经网络调整方法和装置
CN111259815A (zh) * 2020-01-17 2020-06-09 厦门中控智慧信息技术有限公司 一种人脸图像质量评估方法、系统、设备及介质
CN111429433A (zh) * 2020-03-25 2020-07-17 北京工业大学 一种基于注意力生成对抗网络的多曝光图像融合方法
WO2020147612A1 (zh) * 2019-01-16 2020-07-23 阿里巴巴集团控股有限公司 一种基于图的卷积网络训练方法、装置及系统
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN112733739A (zh) * 2021-01-14 2021-04-30 重庆中科云从科技有限公司 提升禁区场景下行人识别速度的方法、系统、介质及装置
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN113011401A (zh) * 2021-04-30 2021-06-22 汇纳科技股份有限公司 人脸图像姿态估计和校正方法、系统、介质及电子设备
CN113076914A (zh) * 2021-04-16 2021-07-06 咪咕文化科技有限公司 一种图像处理方法、装置、电子设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555450A (zh) * 2018-05-31 2019-12-10 北京深鉴智能科技有限公司 人脸识别神经网络调整方法和装置
WO2020147612A1 (zh) * 2019-01-16 2020-07-23 阿里巴巴集团控股有限公司 一种基于图的卷积网络训练方法、装置及系统
WO2021083241A1 (zh) * 2019-10-31 2021-05-06 Oppo广东移动通信有限公司 人脸图像质量评价方法、特征提取模型训练方法、图像处理系统、计算机可读介质和无线通信终端
CN111259815A (zh) * 2020-01-17 2020-06-09 厦门中控智慧信息技术有限公司 一种人脸图像质量评估方法、系统、设备及介质
CN111429433A (zh) * 2020-03-25 2020-07-17 北京工业大学 一种基于注意力生成对抗网络的多曝光图像融合方法
CN111881804A (zh) * 2020-07-22 2020-11-03 汇纳科技股份有限公司 基于联合训练的姿态估计模型训练方法、系统、介质及终端
CN112733739A (zh) * 2021-01-14 2021-04-30 重庆中科云从科技有限公司 提升禁区场景下行人识别速度的方法、系统、介质及装置
CN113076914A (zh) * 2021-04-16 2021-07-06 咪咕文化科技有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113011401A (zh) * 2021-04-30 2021-06-22 汇纳科技股份有限公司 人脸图像姿态估计和校正方法、系统、介质及电子设备

Also Published As

Publication number Publication date
CN113642452A (zh) 2021-11-12

Similar Documents

Publication Publication Date Title
Jadoon et al. Three‐class mammogram classification based on descriptive CNN features
Liu et al. Fine-tuning pre-trained convolutional neural networks for gastric precancerous disease classification on magnification narrow-band imaging images
Yu et al. Hybrid dual-tree complex wavelet transform and support vector machine for digital multi-focus image fusion
Sharma Information measure computation and its impact in mi coco dataset
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
CN107066559B (zh) 一种基于深度学习的三维模型检索方法
CN113642452B (zh) 人体图像质量评价方法、装置、系统及存储介质
CN107633513A (zh) 基于深度学习的3d图像质量的度量方法
CN112446380A (zh) 图像处理方法和装置
CN105868785A (zh) 基于卷积神经网络的图片鉴别方法及系统
Wadhwa et al. Hyperrealistic image inpainting with hypergraphs
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
US20230401838A1 (en) Image processing method and related apparatus
CN115966010A (zh) 一种基于注意力和多尺度特征融合的表情识别方法
US20240019777A1 (en) Training method and apparatus for lithographic mask generation model, device and storage medium
CN110222718A (zh) 图像处理的方法及装置
CN112836653A (zh) 人脸隐私化方法、设备、装置及计算机存储介质
CN115631112B (zh) 一种基于深度学习的建筑轮廓矫正方法及装置
CN111862040B (zh) 人像图片质量评价方法、装置、设备及存储介质
CN113077464A (zh) 一种医学图像处理方法、医学图像识别方法及装置
Yilmaz et al. A new method for skull stripping in brain MRI using multistable cellular neural networks
Guo et al. Multi-focus image fusion based on fully convolutional networks
Tuyet et al. A Deep Bottleneck U-Net Combined with Saliency Map for Classifying Diabetic Retinopathy in Fundus Images.
Arora et al. Architecture of an effective convolutional deep neural network for segmentation of skin lesion in dermoscopic images
Rajeshkumar et al. Convolutional Neural Networks (CNN) based Brain Tumor Detection in MRI Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 201203 No. 6, Lane 55, Chuanhe Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai

Applicant after: Winner Technology Co.,Ltd.

Address before: 201505 Room 216, 333 Tingfeng Highway, Tinglin Town, Jinshan District, Shanghai

Applicant before: Winner Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant