CN112084959A - 一种人群图像处理方法及装置 - Google Patents

一种人群图像处理方法及装置 Download PDF

Info

Publication number
CN112084959A
CN112084959A CN202010953536.0A CN202010953536A CN112084959A CN 112084959 A CN112084959 A CN 112084959A CN 202010953536 A CN202010953536 A CN 202010953536A CN 112084959 A CN112084959 A CN 112084959A
Authority
CN
China
Prior art keywords
crowd
image
network
resolution
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010953536.0A
Other languages
English (en)
Other versions
CN112084959B (zh
Inventor
王昌安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010953536.0A priority Critical patent/CN112084959B/zh
Publication of CN112084959A publication Critical patent/CN112084959A/zh
Application granted granted Critical
Publication of CN112084959B publication Critical patent/CN112084959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本申请公开了一种人群图像处理方法及装置，所述方法包括：获取待处理人群图像；利用人群密度分析网络对待处理人群图像进行人群密度分析，获取初始人群密度图和人群特征图；利用缩放系数识别网络对人群特征图中图像块进行缩放系数识别，得到对应的缩放系数；基于人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；利用人群密度分析网络对超分辨率图像块进行人群密度分析，得到人群密度图块；基于人群密度图块对初始人群密度图进行修正，得到目标人群密度图。利用本申请的技术方案可以使人群密度图有效反映人群特征，提高人群密度图的精度。

Description

一种人群图像处理方法及装置
技术领域
本申请涉及人工智能技术领域，尤其涉及一种人群图像处理方法及装置。
背景技术
人工智能(Artificial Intelligence，AI)技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，利用人工智能技术进行人群图像处理，分析出的人群密度图，在视频监控、公共安全等领域发挥着重要的作用。
在实际应用中，需要进行人群密度分析的图像，往往存在人群分布非常密集，人头尺度变化范围大的问题，这给神经网络进行人群密度的预测提出了很大挑战。现有技术中往往会在神经网络内部的特征金字塔上进行空间分治，通过将人群分布过于密集的区域分配给尺度更高的特征图来预测，以部分缓解人群分布密集的问题，但由于神经网络内部都有下采样层来增加网络深处的感受野，故人群分布密集的区域在经过下采样后往往很多细节信息都丢失了，导致无法恢复这类有利于提升预测精度的细节信息，故现有的神经网络依然无法有效应对人群分布密集、人头尺度变化范围大的问题，导致神经网络预测出的人群密度图精度低，无法有效反映人群特征，进而无法准确进行人数确定。因此，需要提供更可靠或更有效的方案。
发明内容
本申请提供了一种人群图像处理方法及装置，可以使人群密度图有效反映人群特征，提高人群密度图的精度。
一方面，本申请提供了一种人群图像处理方法，所述方法包括：
获取待处理人群图像；
利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图；
利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数；
基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；
利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块；
基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
另一方面提供了一种人群图像处理装置，所述装置包括：
待处理人群图像获取模块，用于获取待处理人群图像；
第一人群密度分析模块，用于利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图；
缩放系数识别模块，用于利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数；
超分辨率处理模块，用于基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；
第二人群密度分析模块，用于利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块；
人群密度图修正模块，用于基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
另一方面提供了一种人群图像处理设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如上述的人群图像处理方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的人群图像处理方法。
本申请提供的人群图像处理方法及装置，具有如下技术效果：
本申请基于人群密度分析网络对待处理人群图像进行初步的人群密度分析，获取待处理人群图像的初始人群密度图和人群特征图，然后，结合缩放系数识别网络确定出人群特征图中图像块对应的缩放系数，对人群密集分布区域的图像块，结合对应的缩放系数，通过超分辨率图像生成网络对该区域的图像块进行超分辨率处理，经过超分辨率处理后的超分辨率图像块中人群总数并没有发生变化，但是人头尺度变大了，将超分辨率图像块再次经过人群密度分析，得到相应的人群密度块，并利用该人群密度块来修正初始人群密度块中相应的初始密度块，得到更精准的人群密度图，进而有效解决应用中人群分布密集、人头尺度变化范围大对神经网络预测造成的影响。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种人群图像处理的应用环境的示意图；
图2是本申请实施例提供的一种人群密度分析网络和缩放系数识别网络的训练的示意图；
图3是本申请实施例提供的一种人群密度分析网络的训练方法的流程示意图；
图4是本说明书实施例提供的一种第一预设神经网络的结构示意图；
图5是本申请实施例提供的一种缩放系数识别网络的训练方法的流程示意图；
图6是本申请实施例提供的一种超分辨率图像生成网络的训练方法的流程示意图；
图7是本申请实施例提供的一种人群图像处理方法的流程示意图；
图8是本申请实施例提供的一种基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块方法的流程示意图；
图9是本申请实施例提供的一种目标图像块进行超分辨率处理和直接放大的比较效果图；
图10是本申请实施例提供的一种人群图像处理装置的结构示意图；
图11是本申请实施例提供的一种客户端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。本申请实施例提供的方案主要涉及人工智能的机器学习/深度学习等技术，具体通过如下实施例进行说明：
请参阅图1，图1是本申请实施例提供的一种人群图像处理的应用环境的示意图，如图1所示，该应用环境可以至少包括服务器01和终端02。
本说明书实施例中，服务器01可以用于进行神经网络的训练。具体的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
本说明书实施例中，终端02可以基于服务器01训练好的神经网络进行人群图像的处理，分析人群图像中人群密度分布情况，具体的，终端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的电子设备。本说明书实施例中电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是一种人群图像处理的应用环境，在实际应用中，神经网络的训练，也可以在提供终端02上实现。
本说明书实施例中，上述服务器01以及终端02可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
本说明书实施例中，用于训练神经网络的训练数据可以存储在分布式系统；在一个具体的实施例中，分布式系统应用于区块链系统时，可以由多个节点(接入网络中的任意形式的计算设备，如服务器、用户终端)形成，节点之间形成组成的点对点(P2P，Peer ToPeer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在分布式系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。具体的，的区块链系统中各节点的功能，涉及的功能可以包括：
1)路由，节点具有的基本功能，用于支持节点之间的通信。
节点除具有路由功能外，还可以具有以下功能：
2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。
在实际应用中，由于进行人群密度分析的神经网络的下采样步长是固定的，对于同样大小的图像块，其中的人群分布越密集，人头尺度越小，单个人头在最深层网络的特征图上所占的像素数越小，当人头尺度小于下采样步长时，单个人头在的人群密度图上的大小甚至不足一个像素，并且在实际场景中人头大小小于10个像素是很常见的(通常卷积神经网络的下采样步长最小为16)，导致神经网络无法准确预测出可以有效反映人群特征的人群密度图。本说明书实施例中，在基于神经网络进行初步的人群密度分析过程中，会结合缩放系数识别网络筛选出人群密集分布区域的图像块，然后通过一个超分辨率图像生成网络，对该区域的图像块进行超分辨率重建，经过超分辨率重建后的超分辨率图像块中人群总数并没有发生变化，但是人头尺度变大了，这有利于人群密度分析网络分析出更精准的人群密度图，进而有效解决监控场景等应用中部分区域人群分布密集，人头尺度变化范围大(视野近处人头尺度大，视野尽头人头尺度过小)对神经网络预测造成的影响，从而获取更高精度的人群密度图，以提高对人群中人数统计的精度。
以下先介绍本说明书中神经网络的训练的实施例。
在一个具体的实施例中，如图2所示，可以以原始人群图像为输入图像，经过先下采样(编码网络)再上采样(解码网络)的网络结构(第一神经网络)来训练得到人群密度分析网络。在一个具体的实施例中，如图3所示，本说明书实施例中人群密度分析网络的训练方法可以包括：
S301：获取多个原始人群图像和每个原始人群图像的真实人群密度图。
本说明书实施例中，多个可以为至少两个。具体的，在实际应用中，可以获取大量原始人群图像，具体的，原始人群图像可以为具有人群的图像。在实际应用中，人群密度分布热力图可以反映单位像素在实际场景中对应位置的平均人数。本说明书实施例中，假设将原始人群图像中某个人头(第i个人头)中心点表示为xi，相应的，可以将该人头对应的人群密度分布热力图表示为与原始人群图像同样大小的一张图δ(x-xi)，即只有位置xi为1，其余位置均为0，那么包括N个人头的图像(原始人群图像)的人群密度分布热力图可表示为
Figure BDA0002677835860000061
本说明书实施例中，可以使用一个高斯核G对该人群密度分布热力图进行卷积操作，得到该原始人群图像的真实人群密度图D＝Gσ*H(x)。
S303：执行人群密度分析训练的步骤。
本说明书实施例中，人群密度分析训练的步骤可以包括：
S3031基于所述多个原始人群图像对第一预设神经网络进行人群密度分析学习，得到所述多个原始人群图像的预测人群密度图。
S3033：计算所述多个原始人群图像的真实人群密度图和预测人群密度图间的第一损失信息。
本说明书实施例中，第一预设神经网络为先下采样再上采样的网络结构，可以保证获得的人群密度图具有原始人群图像的高级语义信息和细节信息，具体的，第一预设神经网络可以包括编码网络和解码网络，相应的，基于所述多个原始人群图像对第一预设神经网络进行人群密度分析学习，得到所述多个原始人群图像的预测人群密度图可以包括：利用所述编码网络对所述多个原始人群图像进行下采样处理，得到多个人群特征图；利用所述解码网络对所述多个人群特征图进行上采样处理，得到所述多个原始人群图像的预测人群密度图。
在一个具体的实施例中，为了在上采样过程中引入更多细节信息，在上采样过程中可以引入跳跃链接。具体的，如图4所示，图4是本说明书实施例提供的一种第一预设神经网络的结构示意图。
本说明书实施例中，第一损失信息可以表征原始人群图像的真实人群密度图和预测人群密度图间的差异程度，在一个具体的实施例中，第一损失信息可以结合MSE(MeanSquare Error，均方误差)函数来计算，相应的，第二损失信息可以为原始人群图像的真实人群密度图间的MSE损失。
此外，需要说明的是，第一损失信息并不仅限于上述利用MSE函数计算得到MSE损失，在实际应用中，还可以采用其他用于计算原始人群图像的真实人群密度图和预测人群密度图间的差异程度的损失函数，例如交叉熵函数等。
S305：当所述第一损失信息未满足第一预设条件时，调整所述第一预设神经网络中的网络参数，重复执行上述人群密度分析训练步骤。
S307：当所述第一损失信息满足第一预设条件时，将当前的第一预设神经网络作为人群密度分析网络。
本说明书实施例中，第一损失信息满足第一预设条件可以为多个原始人群图像中第一百分比的原始人群图像对应的第一损失信息小于等于指定阈值，或多个原始人群图像对应的第一损失信息与上一次训练后的第一损失信息间的差值小于一定阈值。本说明书实施例中，第一百分比和指定阈值可以为结合实际训练需求进行设置。
此外，需要说明的是，本说明书实施例中人群密度分析网络并不仅限于上述的网络结构，在实际应用中还可以包括其他变体形式的神经网络。例如包括更多或更少的卷积层等。
本说明书实施例中，以原始人群图像和每个原始人群图像的真实人群密度图为训练数据，对具有先下采样再上采样的第一神经网络进行人群密度分析训练，得到的人群密度分析网络能够在分析人群图像时，可以得到同时保留人群图像的高级语义信息和细节信息的人群密度图，大大提升了人群密度分析网络预测的人群密度图的精度。
进一步的，结合图2，为了预测局部图像块的缩放系数，在训练好的人群密度分析网络的编码网络末端引入了额外的第二神经网络，以进行缩放系数识别网络的训练。具体的，如图5所示，缩放系数识别网络的训练可以包括：
S501：获取所述第一损失信息满足所述第一预设条件时，第一预设神经网络中所述编码网络输出的多个目标人群特征图。
S503：执行缩放系数识别训练的步骤。
本说明书实施例中，缩放系数识别训练的步骤包括：
S5031：基于所述多个目标人群特征图对第二预设神经网络进行缩放系数识别学习，得到所述多个目标人群特征图中图像块对应的预测缩放系数类别。
S5033：获取所述多个目标人群特征图中图像块对应的真实缩放系数类别。
S5035：计算所述多个目标人群特征图中图像块对应的真实缩放系数类别和预测缩放系数类别间的第二损失信息。
在实际应用中，人群图像中不同区域人群密集程度，人头尺度大小往往不同，相应的，需要对不同区域进行不同比例的缩放，在训练缩放系数识别网络时，可以将多个目标人群特征图划分为多个图像块，具体的，可以结合原始人群图像在编码网络中的下采样倍数确定图像块的大小，例如下采样倍数为16，图像块的大小可以为16*16像素。
本说明书实施例中，如前所述，假设原始人群图像的人群密度分布热力图可表示为
Figure BDA0002677835860000081
由于人群密度分布热力图可以反映单位像素在实际场景中对应位置的平均人数，相应的，对该人群密度分布热力图进行积分就可以得到原始人群图像中的总人数，本说明书实施例中，真实人群密度图可以使用一个高斯核Gσ对人群密度分布热力图进行卷积操作得到的，由于高斯核是归一化的，因此对卷积后得到的真实人群密度图D进行积分同样也可以得到原始人群图像中的总人数。相应的，可以分别计算出每一目标人群特征图中每一图像块对应的总人数；本说明书实施例中，可以预先结合实际人群密度分析需求设置一个阈值σ，如果图像块对应的总人数小于等于σ，说明该图像块对应的原始人群图像区域的人群分布相对不密集，人头尺度相对大，可以不需要进行缩放；如果图像块对应的总人数超过σ，说明该图像块对应的原始人群图像区域的人群分布相对密集，人头尺度相对小，则需要进行放大操作；在一个具体的实施例中，在获取多个目标人群特征图中图像块对应的真实缩放系数类别时，如果图像块对应的总人数小于等于σ，则其对应的类别设置为0，类别0对应的真实缩放系数可以为1倍；如果图像块对应的总人数介于σ-2σ之间，则其对应的类别设置为1，类别1对应的真实缩放系数可以为2倍；若图像块对应的总人数介于2σ-3σ之间，则其对应的类别设置为2，类别2对应的真实缩放系数为4倍，以此类推。
本说明书实施例中，第二神经网络可以包括多个卷积层，在一个具体实施例中，第二神经网络可以依次包括三个用于进行特征提取的卷积层和一个用于分类的卷积层。相应的，在进行缩放系数识别训练过程中，第二预设神经网络的输出可以为预测缩放系数类别；即最后一个用于分类的卷积层，可以结合前三个卷积层得到的特征图确定预测缩放系数类别，并计算每一目标人群特征图中每一图像块对应的真实缩放系数类别和预测缩放系数类别间的第二损失信息。
本说明书实施例中，第二损失信息可以表征目标人群特征图中图像块的真实缩放系数类别和预测缩放系数类别间的差异程度，在一个具体的实施例中，第二损失信息可以结合交叉熵函数来计算，相应的，第二损失信息可以为目标人群特征图中图像块的真实缩放系数类别和预测缩放系数类别间的交叉熵损失。
此外，需要说明的是，第二损失信息并不仅限于上述利用交叉熵函数计算得到交叉熵损失，在实际应用中，还可以采用其他用于计算目标人群特征图中图像块的真实缩放系数类别和预测缩放系数类别间的差异程度的损失函数，例如MSE函数等。
S505：当所述第二损失信息未满足第二预设条件时，调整所述第二预设神经网络中的网络参数，重复执行上述缩放系数识别训练的步骤。
S507：当所述第二损失信息满足第二预设条件时，将当前的第二预设神经网络作为所述缩放系数识别网络。
本说明书实施例中，第二损失信息满足第二预设条件可以参见上述第一损失信息满足第一预设条件的步骤，在此不再赘述。
此外，需要说明的是，在实际应用中并不仅限于上述采用分类的方式训练得到缩放系数识别网络，在实际应用中还可以结合回归等方式来训练缩放系数识别网络。
本说明书实施例中，以多个原始人群图像的目标人群特征图和多个目标人群特征图中图像块对应的真实缩放系数类别为训练数据，对第二神经网络进行缩放系数识别训练，得到的缩放系数识别网络，能够结合人群图像中人群分布密集程度和人头尺寸大小识别人群图像中各个图像块对应的缩放系数类别，进而确定各个图像块对应的缩放系数。
进一步的，本说明书实施例中，还训练超分辨率图像生成网络来对人群图像中密集程度较高，人头尺度较小区域(图像块)进行超分辨率处理，得到超分辨率图像块，进而可以避免直接对图像按照缩放系数进行缩放造成细节信息丢失的问题，从而能丰富人群密度分析网络在预测时所依赖的信息，提高人群密度分析网络的预测准确率。在一个具体的实施例中，可以结合对生成器网络和判别器网络的训练，得到超分辨率图像生成网络，具体的，生成器网络可以用于以低分辨率的人群图像为输入，然后输出超分辨率重建后的高分辨率图像；判别器网络可以用于区分生成器网络生成的高分辨率图像和真实的高分辨率图像，从而帮助生成器网络不断优化来生成更真实的高分辨率图像块。具体的，如图6所示，超分辨率图像生成网络可以包采用如下方法训练得到：
S601：获取多个高分率人群图像。
S603：对所述多个高分率人群图像分别进行缩小处理，得到多个低分辨率人群图像集。
本说明书实施例中，为了不引入额外的数据，可以使用原始人群图像来生成超分辨率生成网络的训练数据。具体的，可以在原始人群图像上寻找有人群分布的区域(图像块)，然后对该区域(图像块)进行缩小处理，从而获得对应的低分辨率人群图像，其中，原始人群图像中人群分布区域的图像块为高分率人群图像，即生成器网络需要学习的真实高分辨率图像块。
此外，在实际应用中，也可以引入额外的人群图像来生成超分辨率生成网络的训练数据。本说明书实施例并不以上述。
S605：执行超分辨率图像生成训练的步骤。
本说明书实施例中，超分辨率图像生成训练的步骤包括：
S6051：基于所述多个低分辨率人群图像对生成器网络进行超分辨率图像生成学习，得到所述多个低分辨率人群图像对应的高分辨率生成图像。
S6053：基于所述高分辨率生成图像和所述多个高分率人群图像对判别器网络进行图像真实性判别学习，得到第三损失信息。
S6055：计算所述高分辨率生成图像和所述多个高分率人群图像间的第四损失信息。
S6057：根据所述第三损失信息和所述第四损失信息确定第五损失信息。
在一个具体的实施例中，第三损失信息可以包括真假分类损失和感知损失；真假分类损失可以表征判别器网络对生成器网络生成的高分辨率生成图像的真假判断准确性。在一个具体的实施例中，真假分辨率损失可以为判别器网络对高分辨率生成图像的真假判断的标签与实际的真假标签间的交叉熵损失。感知损失可以为高分辨率生成图像和对应的高分率人群图像分别经过卷积神经网络得到的特征图间的差异程度，在一个具体的实施例中，感知损失可以为高分辨率生成图像和对应的高分率人群图像分别经过卷积神经网络得到的特征图间的MSE损失。
在一个具体的实施例中，可以直接将真假分类损失和感知损失之和作为第三损失信息，也可以对真假分类损失和感知损失进行加权后得到第三损失信息。
本说明书实施例中，通过在第三损失信息中引入感知损失，可以使得高分辨率生成图像和对应的高分率人群图像分别经过卷积神经网络得到的特征图中的特征尽可能一致，进而可以实现生成器网络生成的高分辨率生成图像更接近人的主观感受。
此外，需要说明的是，第三损失信息并不仅限于上述的真假分类损失和感知损失，真假分类损失和感知损失也并不仅限于上述利用交叉熵函数计算得到交叉熵损失和利用MSE函数计算得到MSE损失。
本说明书实施例中，第四损失信息可以表征高分辨率生成图像和对应的高分率人群图像间的差异程度，在一个具体的实施例中，第四损失信息可以结合MSE函数来计算，相应的，第四损失信息可以为高分辨率生成图像和对应的高分率人群图像间的MSE损失。
本说明书实施例中，通过在超分辨率图像生成网络训练时使用MSE损失来使得生成的图像(高分辨率生成图像)和真实图像(高分率人群图像)在每一个像素点尽可能接近。
此外，需要说明的是，第四损失信息并不仅限于上述利用MSE函数计算得到的MSE损失，在实际应用中，还可以采用其他用于计算高分辨率生成图像和对应的高分率人群图像间的差异程度的损失函数，例如交叉熵函数等。
本说明书实施例中，可以分别将第三损失信息和第四损失信息作为第五损失信息，也可以将第三损失信息和第四损失信息之和作为第五损失信息，也可以对第三损失信息和第四损失信息进行加权后，得到第五损失信息。
S607：当所述第五损失信息未满足第三预设条件时，调整所述生成器网络和判别器网络中的网络参数，重复执行上述超分辨率图像生成训练的步骤；
S609：当所述第五损失信息满足第三预设条件时，将当前的生成器网络作为所述超分辨率图像生成网络。
本说明书实施例中，当第五损失信息包括第三损失信息和第四损失信息时，第五损失信息满足第三预设条件可以为第三损失信息和第四损失信息均满足第三预设条件；反之，当第三损失信息和第四损失信息中任一未满足第三损失信息时，第五损失信息未满足第三预设条件。
本说明书实施例中，第五损失信息满足第三预设条件可以参见上述第一损失信息满足第一预设条件的步骤，在此不再赘述。
此外，需要说明的是，本说明书实施例中超分辨率生成网络并不仅限于上述包括生成器网络和判别器网络的网络结构，在实际应用中还可以结合对其他变形结构神经网络。
基于上述训练好的人群密度分析网络、缩放系数识别网络以及超分辨率图像生成网络，以下介绍本申请一种人群图像处理方法，图7是本申请实施例提供的一种人群图像处理方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图7所示，所述方法可以包括：
S701：获取待处理人群图像。
本说明书实施例中，待处理人群图像可以包括具有人群的图像。
S703：利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图。
本说明书实施例中，人群密度分析网络可以为基于原始人群图像和真实人群密度图对包括编码网络和解码网络的神经网络进行训练得到的网络。在一个具体的实施例中，利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图可以包括：利用所述编码网络对所述待处理人群图像进行下采样处理，得到所述待处理人群图像的人群特征图；利用所述解码网络对所述人群特征图进行上采样处理，得到所述待处理人群图像的初始人群密度图。
S705：利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数。
本说明书实施例中，缩放系数识别网络可以为基于原始人群图像对应的目标人群特征图和该目标人群特征图中图像块对应的真实缩放系数类别对第二预设神经网络进行训练得到的网络。本说明书实施例中，人群特征图中图像块的大小可以与编码网络对待处理人群图像进行下采样处理过程中的下采样倍数对应，例如下采样倍数为16，相应的，人群特征图中图像块的大小为16*16像素。本说明书实施例中，可以将人群特征图按照相应的图像块大小进行划分，将划分后的图像块输入到缩放系数识别网络，对每一图像块进行缩放系数识别，输出该图像块的缩放系数类别，并将该缩放系数类别对应的缩放系数作为该图像块的缩放系数。
S707：基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块。
本说明书实施例中，超分辨率图像生成网络可以为基于高分辨率人群图像和该高分辨率人群图像对应的低分辨率人群图像对包括生成器网络和判别器网络的神经网络进行训练得到的网络。在一个具体的实施例中，如图8所示，基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块可以包括：
S801：根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块；
S803：遍历所述至少一个目标图像块中的每一目标图像块，在遍历到每一目标图像块时，执行得到超分辨率图像块的步骤：
S8031：确定所述超分辨率图像生成网络对应的上采样倍数；
S8033：根据当前遍历到的目标图像块对应的缩放系数和所述上采样倍数确定超分辨率处理次数；
S8035：基于所述超分辨率图像生成网络和所述超分辨率处理次数对所述目标图像块进行超分辨率处理，得到所述目标图像块对应的超分辨率图像块。
本说明书实施例中，目标图像块可以为待处理人群图像中需要进行缩放的图像块，在一个具体的实施例中，根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块可以包括：确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为所述至少一个目标图像块。
在另一个具体的实施例中，为了保证图像的连续性，根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块可以包括：确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为至少一个目标初选图像块；在所述待处理人群图像中，对所述至少一个目标初选图像块分别向周围扩充预设倍数，得到所述至少一个目标图像块。具体的，这里的预设倍数可以结合实际需求确定，一般的可以为2倍。
在实际应用中，利用超分辨率图像生成网络对图像进行超分辨率处理过程中，相当于对图像进行上采样的处理，具体的，不同网络结构的超分辨率图像生成网络对应上采样倍数(即放大倍数)不同，本说明书实施例中可以结合训练好的超分辨率图像生成网络的上采样倍数和需要进行超分辨率处理的目标图像块对应的缩放系数来确定超分辨率处理次数。具体的，可以将缩放系数除以上采样倍数得到超分辨率处理次数，例如上采样倍数为2倍，目标图像块对应的缩放系数为4；相应的，超分辨率处理次数为2；在实际应用中，为了便于数据的处理，缩放系数一般是上采样倍数的整数倍。
在一个具体的实施例中，当超分辨率处理次数为1次，可以直接利用超分辨率图像生成网络对所述目标图像块进行超分辨率处理，得到所述目标图像块对应的超分辨率图像块。在另一个具体的实施例中，当超分辨率处理次数为2次，可以利用超分辨率图像生成网络对所述目标图像块进行超分辨率处理，得到初始超分辨率图像块；接着，利用超分辨率图像生成网络对初始超分辨率图像块进行超分辨率处理，得到目标图像块对应的超分辨率图像块。当超分辨率处理次数更多时，以此类推。
在一个具体的实施例中，如图9所示，图9是本申请实施例提供的一种目标图像块进行超分辨率处理和直接放大的比较效果图。具体的，图9中a是目标图像块，b是对目标图像块直接放大的图，c是对目标图像块进行超分辨率处理后的超分辨率图像块。从图9可见，利用超分辨率图像生成网络进行超分辨率处理后的图像块比直接放大更清晰，可以保留更多的图像信息。
S709：利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块。
本说明书实施例中，对超分辨率图像块进行人群密度分析的具体步骤可以参见上述对待处理人群图像进行人群密度分析的步骤，在此不再赘述。
S711：基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
在一个可选的实施例中，基于所述人群密度图块对所述初始人群密度图进行修正可以包括将人群密度块替换初始人群密度图中相应位置的初始人群密度块，具体的，由于超分辨率处理后的超分辨率图像块比原来的目标图像块大至少一倍，因此在将人群密度块替换初始人群密度图中相应位置的初始人群密度块之前，需要对人群密度块进行适当的缩放，同时对每个像素点的密度值还要进行相应的缩放来保证总人数不变，比如若人群密度块缩小为原来的2倍(即超分辨率处理过程中上采样倍数为2倍)，那么人群密度块的每个像素点的密度值就要变为原来的4倍。
在另一个具体的实施例中，若人群密度图块对应的目标图像块为在所述待处理人群图像中，对对应的目标初选图像块分别向周围扩充预设倍数得到的，可以去除人群密度图块中扩充的部分后，对初始人群密度图进行修正。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中基于人群密度分析网络对待处理人群图像进行初步的人群密度分析，获取待处理人群图像的初始人群密度图和人群特征图，然后，结合缩放系数识别网络确定出人群特征图中图像块对应的缩放系数，对人群密集分布区域的图像块，结合对应的缩放系数，通过超分辨率图像生成网络对该区域的图像块进行超分辨率处理，经过超分辨率处理后的超分辨率图像块中人群总数并没有发生变化，但是人头尺度变大了，将超分辨率图像块再次经过人群密度分析，得到相应的人群密度块，并利用该人群密度块来修正初始人群密度块中相应的初始密度块，得到更精准的人群密度图，有效解决应用中人群分布密集、人头尺度变化范围大对神经网络预测造成的影响，获取能够有效反映人群特征的人群密度图，进而提高对人群图像中人数统计的精度。
本申请实施例还提供了一种人群图像处理装置，如图10所示，所述装置包括：
待处理人群图像获取模块1010，可以用于获取待处理人群图像；
第一人群密度分析模块1020，可以用于利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图；
缩放系数识别模块1030，可以用于利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数；
超分辨率处理模块1040，可以用于基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；
第二人群密度分析模块1050，可以用于利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块；
人群密度图修正模块1060，可以用于基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
在一个可选的实施例中，所述人群密度分析网络包括编码网络和解码网络；
所述第一人群密度分析模块包括：
下采样处理模块，用于利用所述编码网络对所述待处理人群图像进行下采样处理，得到所述待处理人群图像的人群特征图；
上采样处理模块，用于利用所述解码网络对所述人群特征图进行上采样处理，得到所述待处理人群图像的初始人群密度图。
在一个可选的实施例中，所述超分辨率处理模块包括：
目标图像块确定单元，用于根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块；
遍历单元，用于遍历所述至少一个目标图像块中的每一目标图像块，在遍历到每一目标图像块时，执行下述得到超分辨率图像块的步骤：
确定所述超分辨率图像生成网络对应的上采样倍数；
根据当前遍历到的目标图像块对应的缩放系数和所述上采样倍数确定超分辨率处理次数；
基于所述超分辨率图像生成网络和所述超分辨率处理次数对所述目标图像块进行超分辨率处理，得到所述目标图像块对应的超分辨率图像块。
在一个可选的实施例中，所述目标图像块确定单元包括：
第一图像块确定单元，用于确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；
第一目标图像块确定子单元，用于将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为所述至少一个目标图像块；
或，
第二图像块确定单元，用于确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；
目标初选图像块确定单元，用于将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为至少一个目标初选图像块；
第二目标图像块确定子单元，用于在所述待处理人群图像中，对所述至少一个目标初选图像块分别向周围扩充预设倍数，得到所述至少一个目标图像块。
在一个可选的实施例中，所述装置还包括：
数据获取模块，用于获取多个原始人群图像和每个原始人群图像的真实人群密度图；
人群密度分析训练模块，用于执行人群密度分析训练的步骤，所述人群密度分析训练的步骤包括：基于所述多个原始人群图像对第一预设神经网络进行人群密度分析学习，得到所述多个原始人群图像的预测人群密度图；计算所述多个原始人群图像的真实人群密度图和预测人群密度图间的第一损失信息；
第一网络参数调整模块，用于当所述第一损失信息未满足第一预设条件时，调整所述第一预设神经网络中的网络参数，相应的，基于调整后的第一预设神经网络，人群密度分析训练模块执行所述人群密度分析训练的步骤；
人群密度分析网络确定模块，用于当所述第一损失信息满足第一预设条件时，将当前的第一预设神经网络作为人群密度分析网络。
在一个可选的实施例中，所述人群密度分析训练模块包括：
下采样处理单元，用于利用所述编码网络对所述多个原始人群图像进行下采样处理，得到多个人群特征图；
上采样处理单元，用于利用所述解码网络对所述多个人群特征图进行上采样处理，得到所述多个原始人群图像的预测人群密度图；
在一个可选的实施例中，所述装置还包括：
目标人群特征图获取模块，用于获取所述第一损失信息满足所述第一预设条件时，第一预设神经网络中所述编码网络输出的多个目标人群特征图；
缩放系数识别训练模块，用于执行缩放系数识别训练的步骤，所述缩放系数识别训练的步骤包括：基于所述多个目标人群特征图对第二预设神经网络进行缩放系数识别学习，得到所述多个目标人群特征图中图像块对应的预测缩放系数类别；获取所述多个目标人群特征图中图像块对应的真实缩放系数类别；计算所述多个目标人群特征图中图像块对应的真实缩放系数类别和预测缩放系数类别间的第二损失信息；当所述第二损失信息未满足第二预设条件时，调整所述第二预设神经网络中的网络参数，相应的，基于调整后的第二神经网络，缩放系数识别训练模块执行缩放系数识别训练的步骤；
缩放系数识别网络确定模块，用于当所述第二损失信息满足第二预设条件时，将当前的第二预设神经网络作为所述缩放系数识别网络。
在一个可选的实施例中，所述装置还包括：
高分率人群图像获取模块，用于获取多个高分率人群图像；
缩小处理模块，用于对所述多个高分率人群图像分别进行缩小处理，得到多个低分辨率人群图像集；
超分辨率图像生成训练模块，用于执行超分辨率图像生成训练的步骤，所述超分辨率图像生成训练的步骤包括：基于所述多个低分辨率人群图像对生成器网络进行超分辨率图像生成学习，得到所述多个低分辨率人群图像对应的高分辨率生成图像；基于所述高分辨率生成图像和所述多个高分率人群图像对判别器网络进行图像真实性判别学习，得到第三损失信息；计算所述高分辨率生成图像和所述多个高分率人群图像间的第四损失信息；根据所述第三损失信息和所述第四损失信息确定第五损失信息；
第三网络参数调整模块，用于当所述第五损失信息未满足第三预设条件时，调整所述生成器网络和所述判别器网络中的网络参数，相应的，基于调整后的生成器网络和判别器网络，超分辨率图像生成训练模块执行超分辨率图像生成训练的步骤；
超分辨率图像生成网络确定模块，用于当所述第五损失信息满足第三预设条件时，将当前的生成器网络作为所述超分辨率图像生成网络。
在一个可选的实施例中，所述装置还包括：
人数确定模块，用于基于所述目标人群密度图确定所述待处理人群图像中的人数。
所述的装置实施例中的装置与方法实施例基于同样的申请构思。
本申请实施例所提供的方法实施例可以在客户端(移动终端、计算机终端)、服务器或者类似的运算装置中执行。以运行在客户端上为例，图11是本申请实施例提供的一种客户端的结构示意图，如图11所示，该客户端可以用于实施上述实施例中提供的信息交互方法。具体来讲：
所述客户端可以包括RF(Radio Frequency，射频)电路1110、包括有一个或一个以上计算机可读存储介质的存储器1120、输入单元1130、显示单元1140、传感器1150、音频电路1160、WiFi(wireless fidelity，无线保真)模块1170、包括有一个或者一个以上处理核心的处理器1180、以及电源1190等部件。本领域技术人员可以理解，图11中示出的客户端结构并不构成对客户端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路1110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器1180处理；另外，将涉及上行的数据发送给基站。通常，RF电路1110包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM)卡、收发信机、耦合器、LNA(Low Noise Amplifier，低噪声放大器)、双工器等。此外，RF电路1110还可以通过无线通信与网络和其他客户端通信。所述无线通信可以使用任一通信标准或协议，包括但不限于GSM(Global System of Mobilecommunication，全球移动通讯系统)、GPRS(General Packet Radio Service，通用分组无线服务)、CDMA(Code Division Multiple Access，码分多址)、WCDMA(Wideband CodeDivision Multiple Access,宽带码分多址)、LTE(Long Term Evolution,长期演进)、电子邮件、SMS(Short Messaging Service，短消息服务)等。
存储器1120可用于存储软件程序以及模块，处理器1180通过运行存储在存储器1120的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述客户端的使用所创建的数据等。此外，存储器1120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1120还可以包括存储器控制器，以提供处理器1180和输入单元1130对存储器1120的访问。
输入单元1130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元1130可包括触敏表面1131以及其他输入设备1132。触敏表面1131，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1131上或在触敏表面1131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面1131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1131。除了触敏表面1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及所述客户端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1140可包括显示面板1141，可选的，可以采用LCD(Liquid CrystalDisplay，液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)等形式来配置显示面板1141。进一步的，触敏表面1131可覆盖显示面板1141，当触敏表面1131检测到在其上或附近的触摸操作后，传送给处理器1180以确定触摸事件的类型，随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。其中，触敏表面1131与显示面板1141可以两个独立的部件来实现输入和输入功能，但是在某些实施例中，也可以将触敏表面1131与显示面板1141集成而实现输入和输出功能。
所述客户端还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，接近传感器可在所述客户端移动到耳边时，关闭显示面板1141和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别客户端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于所述客户端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1160、扬声器1161，传声器1162可提供用户与所述客户端之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出处理器1180处理后，经RF电路1110以发送给比如另一客户端，或者将音频数据输出至存储器1120以便进一步处理。音频电路1160还可能包括耳塞插孔，以提供外设耳机与所述客户端的通信。
WiFi属于短距离无线传输技术，所述客户端通过WiFi模块1170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图11示出了WiFi模块1170，但是可以理解的是，其并不属于所述客户端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1180是所述客户端的控制中心，利用各种接口和线路连接整个客户端的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行所述客户端的各种功能和处理数据，从而对客户端进行整体监控。可选的，处理器1180可包括一个或多个处理核心；优选的，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1180中。
所述客户端还包括给各个部件供电的电源1190(比如电池)，优选的，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，所述客户端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，客户端的显示单元是触摸屏显示器，客户端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行本发明中方法实施例中的指令。
本申请还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选的，存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
由上述本申请提供的人群图像处理方法、装置、设备、客户端或存储介质的实施例可见，本申请中基于人群密度分析网络对待处理人群图像进行初步的人群密度分析，获取待处理人群图像的初始人群密度图和人群特征图，然后，结合缩放系数识别网络确定出人群特征图中图像块对应的缩放系数，对人群密集分布区域的图像块，结合对应的缩放系数，通过超分辨率图像生成网络对该区域的图像块进行超分辨率处理，经过超分辨率处理后的超分辨率图像块中人群总数并没有发生变化，但是人头尺度变大了，将超分辨率图像块再次经过人群密度分析，得到相应的人群密度块，并利用该人群密度块来修正初始人群密度块中相应的初始密度块，得到更精准的人群密度图，有效解决应用中人群分布密集、人头尺度变化范围大对神经网络预测造成的影响，获取能够有效反映人群特征的人群密度图，进而提高对人群图像中人数统计的精度
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质和客户端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指示相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人群图像处理方法，其特征在于，所述方法包括：
获取待处理人群图像；
利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图；
利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数；
基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；
利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块；
基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
2.根据权利要求1所述的方法，其特征在于，所述人群密度分析网络包括编码网络和解码网络；
所述利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图包括：
利用所述编码网络对所述待处理人群图像进行下采样处理，得到所述待处理人群图像的人群特征图；
利用所述解码网络对所述人群特征图进行上采样处理，得到所述待处理人群图像的初始人群密度图。
3.根据权利要求1所述的方法，其特征在于，所述基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块包括：
根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块；
遍历所述至少一个目标图像块中的每一目标图像块，在遍历到每一目标图像块时，执行下述得到超分辨率图像块的步骤：
确定所述超分辨率图像生成网络对应的上采样倍数；
根据当前遍历到的目标图像块对应的缩放系数和所述上采样倍数确定超分辨率处理次数；
基于所述超分辨率图像生成网络和所述超分辨率处理次数对所述目标图像块进行超分辨率处理，得到所述目标图像块对应的超分辨率图像块。
4.根据权利要求3所述的方法，其特征在于，所述根据所述人群特征图中图像块对应的缩放系数，从所述待处理人群图像中确定至少一个目标图像块包括：
确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；
将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为所述至少一个目标图像块；
或，
确定所述人群特征图中图像块中缩放系数大于预设阈值的图像块；
将所述缩放系数大于预设阈值的图像块在所述待处理人群图像中对应的图像块，作为至少一个目标初选图像块；
在所述待处理人群图像中，对所述至少一个目标初选图像块分别向周围扩充预设倍数，得到所述至少一个目标图像块。
5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
获取多个原始人群图像和每个原始人群图像的真实人群密度图；
执行人群密度分析训练的步骤，所述人群密度分析训练的步骤包括：基于所述多个原始人群图像对第一预设神经网络进行人群密度分析学习，得到所述多个原始人群图像的预测人群密度图；计算所述多个原始人群图像的真实人群密度图和预测人群密度图间的第一损失信息；
当所述第一损失信息未满足第一预设条件时，调整所述第一预设神经网络中的网络参数，重复执行所述人群密度分析训练的步骤；
当所述第一损失信息满足第一预设条件时，将当前的第一预设神经网络作为人群密度分析网络。
6.根据权利要求5所述的方法，其特征在于，所述第一预设神经网络包括编码网络和解码网络，所述基于所述多个原始人群图像对第一预设神经网络进行人群密度分析学习，得到所述多个原始人群图像的预测人群密度图包括：
利用所述编码网络对所述多个原始人群图像进行下采样处理，得到多个人群特征图；
利用所述解码网络对所述多个人群特征图进行上采样处理，得到所述多个原始人群图像的预测人群密度图。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取所述第一损失信息满足所述第一预设条件时，第一预设神经网络中所述编码网络输出的多个目标人群特征图；
执行缩放系数识别训练的步骤，所述缩放系数识别训练的步骤包括：基于所述多个目标人群特征图对第二预设神经网络进行缩放系数识别学习，得到所述多个目标人群特征图中图像块对应的预测缩放系数类别；获取所述多个目标人群特征图中图像块对应的真实缩放系数类别；计算所述多个目标人群特征图中图像块对应的真实缩放系数类别和预测缩放系数类别间的第二损失信息；
当所述第二损失信息未满足第二预设条件时，调整所述第二预设神经网络中的网络参数，重复执行所述缩放系数识别训练的步骤；
当所述第二损失信息满足第二预设条件时，将当前的第二预设神经网络作为所述缩放系数识别网络。
8.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
获取多个高分率人群图像；
对所述多个高分率人群图像分别进行缩小处理，得到多个低分辨率人群图像集；
执行超分辨率图像生成训练的步骤，所述超分辨率图像生成训练的步骤包括：基于所述多个低分辨率人群图像对生成器网络进行超分辨率图像生成学习，得到所述多个低分辨率人群图像对应的高分辨率生成图像；
基于所述高分辨率生成图像和所述多个高分率人群图像对判别器网络进行图像真实性判别学习，得到第三损失信息；
计算所述高分辨率生成图像和所述多个高分率人群图像间的第四损失信息；
根据所述第三损失信息和所述第四损失信息确定第五损失信息；
当所述第五损失信息未满足第三预设条件时，调整所述生成器网络和所述判别器网络中的网络参数，重复执行所述超分辨率图像生成训练的步骤；
当所述第五损失信息满足第三预设条件时，将当前的生成器网络作为所述超分辨率图像生成网络。
9.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：
基于所述目标人群密度图确定所述待处理人群图像中的人数。
10.一种人群图像处理装置，其特征在于，所述装置包括：
待处理人群图像获取模块，用于获取待处理人群图像；
第一人群密度分析模块，用于利用人群密度分析网络对所述待处理人群图像进行人群密度分析，获取所述待处理人群图像的初始人群密度图和人群特征图；
缩放系数识别模块，用于利用缩放系数识别网络对所述人群特征图中图像块进行缩放系数识别，得到所述人群特征图中图像块对应的缩放系数；
超分辨率处理模块，用于基于所述人群特征图中图像块对应的缩放系数和超分辨率图像生成网络对所述待处理人群图像中目标图像块进行超分辨率处理，得到超分辨率图像块；
第二人群密度分析模块，用于利用所述人群密度分析网络对所述超分辨率图像块进行人群密度分析，得到人群密度图块；
人群密度图修正模块，用于基于所述人群密度图块对所述初始人群密度图进行修正，得到目标人群密度图。
CN202010953536.0A 2020-09-11 2020-09-11 一种人群图像处理方法及装置 Active CN112084959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010953536.0A CN112084959B (zh) 2020-09-11 2020-09-11 一种人群图像处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010953536.0A CN112084959B (zh) 2020-09-11 2020-09-11 一种人群图像处理方法及装置

Publications (2)

Publication Number Publication Date
CN112084959A true CN112084959A (zh) 2020-12-15
CN112084959B CN112084959B (zh) 2024-04-16

Family

ID=73737453

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010953536.0A Active CN112084959B (zh) 2020-09-11 2020-09-11 一种人群图像处理方法及装置

Country Status (1)

Country Link
CN (1) CN112084959B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114750A (zh) * 2021-04-06 2021-07-13 武汉奥果果网络科技有限公司 基于大数据和云计算的多媒体数字化展厅智能调控云平台
CN117372722A (zh) * 2023-12-06 2024-01-09 广州炫视智能科技有限公司 一种目标识别方法及识别系统
CN117409372A (zh) * 2023-12-13 2024-01-16 深圳须弥云图空间科技有限公司 一种基于全局与局部密度融合的密集人群计数方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
CN109583366A (zh) * 2018-11-28 2019-04-05 哈尔滨工业大学 一种基于视频图像和WiFi定位的体育建筑疏散人群轨迹生成方法
CN110135325A (zh) * 2019-05-10 2019-08-16 山东大学 基于尺度自适应网络的人群人数计数方法及系统
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统
CN110879982A (zh) * 2019-11-15 2020-03-13 苏州大学 一种人群计数系统及方法
CN111144329A (zh) * 2019-12-29 2020-05-12 北京工业大学 一种基于多标签的轻量快速人群计数方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法
CN111582252A (zh) * 2020-06-16 2020-08-25 上海眼控科技股份有限公司 人群密度图的获取方法、装置、计算机设备和存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105303191A (zh) * 2014-07-25 2016-02-03 中兴通讯股份有限公司 一种前视监视场景下的行人计数方法和装置
CN109583366A (zh) * 2018-11-28 2019-04-05 哈尔滨工业大学 一种基于视频图像和WiFi定位的体育建筑疏散人群轨迹生成方法
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统
CN110135325A (zh) * 2019-05-10 2019-08-16 山东大学 基于尺度自适应网络的人群人数计数方法及系统
CN110879982A (zh) * 2019-11-15 2020-03-13 苏州大学 一种人群计数系统及方法
CN111144329A (zh) * 2019-12-29 2020-05-12 北京工业大学 一种基于多标签的轻量快速人群计数方法
CN111178276A (zh) * 2019-12-30 2020-05-19 上海商汤智能科技有限公司 图像处理方法、图像处理设备及计算机可读存储介质
CN111460912A (zh) * 2020-03-12 2020-07-28 南京理工大学 基于级联高分辨卷积神经网络的密集人群计数算法
CN111582252A (zh) * 2020-06-16 2020-08-25 上海眼控科技股份有限公司 人群密度图的获取方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DEEPAK BABU SAM等: "Switching Convolutional Neural Network for Crowd Counting", 《ARXIV:1708.00199V1》, pages 1 - 11 *
YINGYING ZHANG等: "Single-Image Crowd Counting via Multi-Column Convolutional Neural Network", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》, pages 589 - 597 *
YUHONG LI等: "CSRNet: Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes", 《ARXIV:1802.10062V4 [CS.CV]》, pages 1 - 16 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113114750A (zh) * 2021-04-06 2021-07-13 武汉奥果果网络科技有限公司 基于大数据和云计算的多媒体数字化展厅智能调控云平台
CN113114750B (zh) * 2021-04-06 2021-11-09 若瑞(上海)文化科技有限公司 基于大数据和云计算的多媒体数字化展厅智能调控云平台
CN117372722A (zh) * 2023-12-06 2024-01-09 广州炫视智能科技有限公司 一种目标识别方法及识别系统
CN117372722B (zh) * 2023-12-06 2024-03-22 广州炫视智能科技有限公司 一种目标识别方法及识别系统
CN117409372A (zh) * 2023-12-13 2024-01-16 深圳须弥云图空间科技有限公司 一种基于全局与局部密度融合的密集人群计数方法和装置

Also Published As

Publication number Publication date
CN112084959B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US20220261960A1 (en) Super-resolution reconstruction method and related apparatus
CN109816589B (zh) 用于生成漫画风格转换模型的方法和装置
CN106919918B (zh) 一种人脸跟踪方法和装置
CN108304758B (zh) 人脸特征点跟踪方法及装置
CN111476871B (zh) 用于生成视频的方法和装置
EP3937073A1 (en) Method for video classification, method and device for model training, and storage medium
CN109993150B (zh) 用于识别年龄的方法和装置
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN112084959B (zh) 一种人群图像处理方法及装置
CN110189246B (zh) 图像风格化生成方法、装置及电子设备
CN110798718B (zh) 一种视频推荐方法以及装置
CN109961032B (zh) 用于生成分类模型的方法和装置
CN110110045B (zh) 一种检索相似文本的方法、装置以及存储介质
CN110781881A (zh) 一种视频中的赛事比分识别方法、装置、设备及存储介质
CN113284142B (zh) 图像检测方法、装置、计算机可读存储介质及计算机设备
CN110516113B (zh) 一种视频分类的方法、视频分类模型训练的方法及装置
CN110472558B (zh) 图像处理方法和装置
CN110443171B (zh) 视频文件的分类方法、装置、存储介质及终端
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN111507094B (zh) 基于深度学习的文本处理模型训练方法、装置及设备
CN111813910A (zh) 客服问题的更新方法、系统、终端设备及计算机存储介质
CN108268936B (zh) 用于存储卷积神经网络的方法和装置
CN110008926B (zh) 用于识别年龄的方法和装置
CN111857515B (zh) 图像处理方法、装置、存储介质及电子设备
CN110197459B (zh) 图像风格化生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant