CN111178276A - 图像处理方法、图像处理设备及计算机可读存储介质 - Google Patents

图像处理方法、图像处理设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111178276A
CN111178276A CN201911402942.1A CN201911402942A CN111178276A CN 111178276 A CN111178276 A CN 111178276A CN 201911402942 A CN201911402942 A CN 201911402942A CN 111178276 A CN111178276 A CN 111178276A
Authority
CN
China
Prior art keywords
image
loss function
density map
processed
crowd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911402942.1A
Other languages
English (en)
Other versions
CN111178276B (zh
Inventor
曹志杰
杨昆霖
侯军
伊帅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201911402942.1A priority Critical patent/CN111178276B/zh
Publication of CN111178276A publication Critical patent/CN111178276A/zh
Application granted granted Critical
Publication of CN111178276B publication Critical patent/CN111178276B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理设备及计算机可读存储介质,该图像处理方法包括:获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。通过上述方式,利用结构相似度感知来确定人群密度图,提高了人群密度统计的精度。

Description

图像处理方法、图像处理设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像处理方法、图像处理设备及计算机可读存储介质。
背景技术
人群计数是对于监控场景下的视频,通过计算机视觉算法来评估画面中的实时人数,人的分布情况,人群的密度等信息的技术。对于人十分稀疏的场景,我们通常可以通过检测每个行人的方式来实现人数的估计,但是实际监控场景往往存在严重遮挡,人的尺寸由近及远变化剧烈,很难通过检测的方式去检测到每个个体,因此通常的做法是采用回归的方式预测人群分布密度图,在估计人群位置分布的同时,估计全画面的人数。
现有技术中,在确定人群密度时,是以点为单位,失去了整体的约束性,人群密度预估精度低。
发明内容
为解决上述问题,本申请提供了一种图像处理方法、图像处理设备及计算机可读存储介质,可以利用结构相似度感知来确定人群密度图,提高了人群密度统计的精度。
本申请采用的一个技术方案是:提供一种图像处理方法,其特征在于,方法包括:获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。
根据本申请提供的一实施方式,对待处理图像进行结构相似度感知,包括:将待处理图像输入已训练好的人群统计模型,得到待处理图像的人群密度分布图像。
根据本申请提供的一实施方式,在对待处理图像进行结构相似度感知之前,方法还包括:基于预设的损失函数对神经网络进行训练,得到已训练好的人群统计模型。
根据本申请提供的一实施方式,在基于预设的损失函数对神经网络进行训练之前,还包括获取预设的损失函数;获取预设的损失函数的步骤包括:分别获取训练图像及其对应的人群分布密度图像,人群分布密度图像包括真实密度图像和预测密度图像;根据训练图像和人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和/或背景平方误差损失函数;对人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数进行加权求和,得到预设的损失函数。
根据本申请提供的一实施方式,根据训练图像和人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数,包括:获取待处理图像的感兴趣区域,其中,感兴趣区域包括人头块;确定每个感兴趣区域分别对应真实密度图和预测密度图;根据每个感兴趣区域分别对应真实密度图和预测密度图,确定人头块平方误差损失函数,结构相似度损失函数和背景平方误差损失函数。
根据本申请提供的一实施方式,根据每个感兴趣区域分别对应真实密度图和预测密度图,确定人头块平方误差损失函数包括:获取每个感兴趣区域分别对应真实密度图和预测密度图的差值的平方;对所有差值的平方求和,得到人头块平方误差损失函数。
根据本申请提供的一实施方式,得到述感兴趣区域对应的结构相似度误差的步骤包括:根据每个感兴趣区域分别对应真实密度图和预测密度图,得到每个感兴趣区域对应的结构相似度误差;对所有感兴趣区域对应的结构相似度误差求和,得到结构相似度损失函数。
根据本申请提供的一实施方式,根据每个感兴趣区域分别对应真实密度图和预测密度图,确定背景平方误差损失函数包括:根据每个感兴趣区域分别对应真实密度图中的第一背景人数和预测密度图中的第二背景人数;获取第一背景人数和第二背景人数之间的差值的平方,将差值的平方作为背景平方误差损失函数。
本申请采用的另一个技术方案是:提供一种图像处理设备,该图像处理设备包括相互连接的处理器和存储器,存储器用于存储程序数据,处理器用于执行程序数据以实现如下方法:获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。
根据本申请提供的一实施方式,处理器还用于执行:将待处理图像输入已训练好的人群统计模型,得到待处理图像的人群密度分布图像。
根据本申请提供的一实施方式,处理器还用于执行:基于预设的损失函数对神经网络进行训练,得到已训练好的人群统计模型。
根据本申请提供的一实施方式,处理器还用于执行:分别获取训练图像及其对应的人群分布密度图像,人群分布密度图像包括真实密度图像和预测密度图像;根据训练图像和人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和/或背景平方误差损失函数;对人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数进行加权求和,得到预设的损失函数。
根据本申请提供的一实施方式,处理器还用于执行:获取待处理图像的感兴趣区域,其中,感兴趣区域包括人头块;确定每个感兴趣区域分别对应真实密度图和预测密度图;根据每个感兴趣区域分别对应真实密度图和预测密度图,确定人头块平方误差损失函数,结构相似度损失函数和背景平方误差损失函数。
根据本申请提供的一实施方式,处理器还用于执行:获取每个感兴趣区域分别对应真实密度图和预测密度图的差值的平方;对所有差值的平方求和,得到人头块平方误差损失函数。
根据本申请提供的一实施方式,处理器还用于执行:根据每个感兴趣区域分别对应真实密度图和预测密度图,得到每个感兴趣区域对应的结构相似度误差;对所有感兴趣区域对应的结构相似度误差求和,得到结构相似度损失函数。
根据本申请提供的一实施方式,处理器还用于执行:根据每个感兴趣区域分别对应真实密度图中的第一背景人数和预测密度图中的第二背景人数;获取第一背景人数和第二背景人数之间的差值的平方,将差值的平方作为背景平方误差损失函数。
本申请采用的另一个技术方案是:提供一种计算机可读存储介质,该计算机可读存储介质中存储有程序数据,程序数据在被处理器执行时,用以实现如上述的方法。
本申请提供的神经网络的训练方法包括:获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。通过上述方式,不同于现有技术中将每个对象作为一个点来进行密度统计,本申请的实施例利用结构相似度感知,来对比两个密度图的相似性,从而确定人群密度图,提高了人群密度统计的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的图像处理方法一实施例的流程示意图;
图2是本申请提供的损失函数的获取方法一实施例的流程示意图;
图3是步骤22的流程示意图;
图4是本申请提供的人头块的划分方法的流程示意图;
图5是本申请提供的确定人头块的第一示意图;
图6是本申请提供的确定人头块的第二示意图;
图7(a)为训练图像;
图7(b)为真实密度图;
图7(c)为人头块示意图;
图8是本申请提供的图像处理设备一实施例的结构示意图;
图9是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参阅图1,图1是本申请提供的图像处理方法一实施例的流程示意图,该方法包括:
步骤11:获取待处理图像。
其中,待处理图像可以是采用摄像头采集的图像,也可以是通过其他设备或者网络中获取的图像。本实施例并不限制待处理图像的格式,其可以是jpg、bmp、png、gif等。另外,该待处理图像也可以是从视频流中获取的一帧图像。
可选地,在一具体的实施例中,该待处理图像是监控摄像头拍摄的人群图像。
步骤12:对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像。
结构相似度(SSIM,structural similarity index)是一种衡量两幅图像相似度的指标。结构相似度的范围为0到1,当两张图像一模一样时,SSIM的值等于1。
人群密度分布图像是一种用于表示人群密度的图像,现有的人群密度分布图像一般都是用“点”来代替人头,并进一步通过“点”的密度来表示人群密度。
可选地,在一实施例中,步骤12可以具体为:将待处理图像输入已训练好的人群统计模型,得到待处理图像的人群密度分布图像。
其中,该人群统计模型是基于预设的损失函数对神经网络进行训练得到的。在一可选的实施例中,该神经网络可以是卷积神经网络(CNN),例如多列卷积网络(MCNN)、深度空洞卷积网络(CSRNet)。
“损失函数”是机器学习优化中至关重要的一部分。机器学习中所有的算法都需要最大化或最小化一个函数,这个函数被称为“目标函数”。其中,我们一般把最小化的一类函数,称为“损失函数”。它能根据预测结果,衡量出模型预测能力的好坏。
下面通过一具体的实施例对损失函数的获取进行介绍,参阅图2,图2是本申请提供的损失函数的获取方法一实施例的流程示意图,该方法包括:
步骤21:分别获取训练图像及其对应的人群分布密度图像,人群分布密度图像包括真实密度图像和预测密度图像。
其中,训练图像可以是采用摄像头采集的图像,也可以是通过其他设备或者网络中获取的图像。本实施例并不限制训练图像的格式,其可以是jpg、bmp、png、gif等。另外,该训练图像也可以是从视频流中获取的一帧图像。
可选地,在一具体的实施例中,该训练图像是监控摄像头拍摄的人群图像。
其中,该真实密度图是对应于该训练图像的密度图,能够表示训练图像的真实密度,该预测密度图是将该训练图像输入至上述的神经网络中,并输出的人群密度图。可以理解地,在神经网络还未进行训练或者训练的次数较少时,该预测密度图与真实密度图可能有一定的差异。
下面就需要通过对真实密度图和预测密度图的结构相似度评估,来确定损失函数。
步骤22:根据训练图像和人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数。
下面通过一可选的实施例对人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数的获取方式进行介绍。参阅图3,图3是步骤22的流程示意图,步骤22可以具体包括:
步骤221:获取待处理图像的感兴趣区域,其中,感兴趣区域包括人头块。
其中,对于真实密度图和预测密度图中的人头块的划分,是通过训练图像得到的。下面结合图4,图4是本申请提供的人头块的划分方法的流程示意图,该方法包括:
步骤41:对训练图像进行预处理,以得到多个人头点。
可选地,本步骤可以采用图像识别的方式,通过对像素、特征点的识别,来确定每个人对应的人头点。
例如像素识别,一般人头部分包括人脸和头发,如一定区域的像素满足人脸肤色像素值的要求,则可以确定该区域具有一个人头点,或者,如一定区域的像素满足头发像素值的要求,则可以确定该区域具有一个人头点。
例如人脸识别,可以通过对人体面部器官,如眼、鼻、口进行识别,若在一定的范围内具有眼、鼻、口特征或其中的部分特征,则可以确定该范围内具有一个人头点。
步骤42:采用图像识别,或根据目标人头点与邻近的设定数量个人头点的距离,确定目标人头点的第一人头块。
1)图像识别:对训练图像进行图像识别处理,以得到对应每个人头点的第一人头块。
一般训练图像中的人头分为近景和远景部分,对于近景部分,可以采用图像识别的方式。例如,一般人头部分包括人脸和头发,可以通过对像素值的分析以对人头进行划分,具体地,确定人脸肤色像素值的第一范围,以及头发的第二范围,将满足第一范围和第二范围的像素点的集合确定为一个人头块。
在另一实施例中,也可以对人脸中的特征点进行人脸识别,例如,可以根据眼睛、鼻子、嘴、耳朵等人脸器官的特征识别,确认人脸,并根据人脸的范围确定人头块。
可选地,其中的人头块可以是根据人脸形状确定的正方形、长方形、不规则多边形、圆形、椭圆形中的任意一种。
2)当前人头点与邻近人头点距离确定当前人头块尺寸:计算目标人头点与邻近的设定数量个人头点的距离平均值,并根据距离平均值预测得到目标人头点对应的第一人头块。
如图5所示,图5是本申请提供的确定人头块的第一示意图,其中,待确定的人头点为D0,其邻近的多个(这里以四个为例)人头点分别为D1、D2、D3、D4,D0与D1之间的距离为S01,D0与D2之间的距离为S02,D0与D3之间的距离为S03,D0与D4之间的距离为S04。
在本实施例中,可以通过计算S01、S02、S03和S04的平均值来确定人头点D0对应的人头块的尺寸。
以人头块为正方形为例,D0对应的人头块是边长为L的正方形,其中心点为D0,边长L与S01、S02、S03和S04的平均值满足一定的比例关系,例如:
L=k(S01+S02+S03+S04)/4;
其中,k为比例系数,k的取值可以是0.3、0.5、0.8、1等,这里不作限制。
步骤43:根据目标人头点邻近的设定数量个人头块的尺寸,确定目标人头点的第二人头块。
3)邻近人头块尺寸确定当前人头块尺寸:计算目标人头点与邻近的设定数量个人头块的尺寸平均值;根据尺寸平均值预测得到目标人头点对应的第二人头块。
如图6所示,图6是本申请提供的确定人头块的第二示意图,其中,待确定的人头点为D0,其邻近的多个(这里以四个为例)人头点分别为D1、D2、D3、D4,以人头块为正方形为例,人头点D0、D1、D2、D3、D4对应的人头块的边长为L0、L1、L2、L3、L4,其中,L0为待确定的L1、L2、L3、L4为已知的。
在本实施例中,可以通过计算L1、L2、L3、L4的平均值来确定人头点D0对应的人头块的尺寸,例如:
L0=k(L1+L2+L3+L4)/4;
其中,k为比例系数,k的取值可以是0.3、0.5、0.8、1等,一般为1,这里不作限制。
步骤44:将第一人头块、第二人头块、或第一人头块和第二人头块中的尺寸较小者,作为目标人头点的真实人头块,并进一步得到多个人头点的真实人头块。
可以理解地,在上述的过程中,可以单独进行第一人头块或第二人头块的尺寸的计算,将其中的一个作为真实人头块,若需要通过比较第一人头块和第二人头块中的尺寸,并选择较小者作为真实人头块时,才会同时进行第一人头块和第二人头块的尺寸的计算。
另外,在上述过程中,通过训练图像来确定人头块,由于密度图是训练图像的密度分布的反应,因此,训练图像的人头块和密度图的人头块是相同的。如图7(a)、图7(b)、图7(c)所示,图7(a)为训练图像,图7(b)为真实密度图,图7(c)为人头块示意图。
步骤222:确定每个感兴趣区域分别对应真实密度图和预测密度图。
由于训练图像、真实密度图、预测密度图的结构相似,因此可以直接将在训练图像中确定的感兴趣区域直接转移至真实密度图和预测密度图中。例如,先确定训练图像中的一个感兴趣区域的坐标,那么,在真实密度图和预测密度图的相同坐标处也建立一个相应的感兴趣区域。
步骤223:根据每个感兴趣区域分别对应真实密度图和预测密度图,确定人头块平方误差损失函数,结构相似度损失函数和背景平方误差损失函数。
人头块平方误差损失函数:
可选地,可以获取每个感兴趣区域分别对应真实密度图和预测密度图的差值的平方;然后对所有差值的平方求和,得到人头块平方误差损失函数。
具体地,可以采用以下公式计算人头块平方误差损失函数LHBSE
Figure BDA0002347904340000101
其中,Pn为预测密度图中第n个人头块的人数,Gn为真实密度图第n个人头块的人数。
结构相似度损失函数:
可选地,可以根据每个感兴趣区域分别对应真实密度图和预测密度图,得到每个感兴趣区域对应的结构相似度误差;然后对所有感兴趣区域对应的结构相似度误差求和,得到结构相似度损失函数。
具体地,可以采用以下公式计算结构相似度损失函数LSSIM
Figure BDA0002347904340000102
其中,
Figure BDA0002347904340000103
其中,μx表示预测密度图中一个人头块的像素值均值,μy表示真实密度图中一个人头块的像素值均值,σx表示预测密度图中一个人头块的像素值方差或协方差,σy表示真实密度图中一个人头块的像素值方差或协方差,c1和c2为设定常数。可选地,c1=(k1L)2、c2=(k2L)2,L是像素值的动态范围,k1=0.01、k2=0.03。
对于上述公式,其中的
Figure BDA0002347904340000104
用于表示两个密度图的结构相似度,下面对该公式的原理进行说明:
两个密度图的结构相似度为亮度对比函数、对比度对比函数、结构对比函数的指数积:
SSIM(x,y)=l(x,y)α·c(x,y)β·s(x,y)γ
其中:
亮度对比函数
Figure BDA0002347904340000111
该公式用于表示两个密度图的亮度(像素值)差异;
对比度对比函数
Figure BDA0002347904340000112
该公式用于表示两个密度图的对比度的差异;
结构对比函数
Figure BDA0002347904340000113
该公式用于表示两个图的结构差异。
当调整参数α、β、γ(均大于0)可以调整上述结构相似度中亮度、对比度、结构的比重。当α=β=γ=1且
Figure BDA0002347904340000114
时,可以得到上述公式:
Figure BDA0002347904340000115
背景平方误差损失函数:
可选地,根据每个感兴趣区域分别对应真实密度图中的第一背景人数和预测密度图中的第二背景人数;获取第一背景人数和第二背景人数之间的差值的平方,将差值的平方作为背景平方误差损失函数。其中,背景人数是指除感兴趣区域之外的背景中的人数。
具体地,可以采用以下公式计算背景平方误差损失函数LB
LB=(Pb-Gb)2
其中,Pb为预测密度图的背景人数,Gb为真实密度图的背景人数。
步骤23:对人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数进行加权求和,得到预设的损失函数。
具体地,可以采用以下公式计算损失函数L:
L=αLHBSE+βLSSIM+γLB
其中,LHBSE为人头块平方误差损失函数,LSSIM为结构相似度损失函数,LB为背景平方误差损失函数,α、β、γ为权重系数。
可选地,在一实施例中,α、β、γ的取值可以分别为0.01、0.001、0.1。
另外,在其他实施例中,也可以只考虑人头块平方误差损失函数和结构相似度损失函数,而不考虑背景平方误差损失函数。
具体地,可以采用以下公式计算损失函数L:
L=αLHBSE+βLSSIM
其中,LHBSE为人头块平方误差损失函数,LSSIM为结构相似度损失函数,α、β为权重系数。
通过上述的实施例,不同于现有技术中通过“点”的区别来判断真实密度图像和预测密度图像的差异,而是通过感兴趣区域(即一个块)来确定真实密度图像和预测密度图像的差异,从而得到损失函数,并利用该损失函数对神经网络进行训练,这样有利于提高神经网络对感兴趣区域的感知,进而提高训练效率和训练精度,使得训练得到的人群统计模型,能够精准的对待处理图像进行识别得到人群密度分布图像,进而对待处理图像中的人数进行统计。
步骤13:根据人群密度分布图像,得到待处理图像中的目标对象的数量。
以点密度图为例,则直接统计人群密度分布图像中的点的数量,来确定待处理图像中的目标对象的数量。
本实施例提供的图像处理方法利用结构相似度感知,来对比两个密度图的相似性,从而确定人群密度图,提高了人群密度统计的精度。
参阅图8,图8是本申请提供的图像处理设备一实施例的结构示意图,该图像处理设备80包括相互连接的处理器81和存储器82,存储器82用于存储程序数据,处理器81用于执行程序数据以实现如下的方法:
获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。
参阅图9,图9是本申请提供的计算机可读存储介质一实施例的结构示意图,该计算机可读存储介质90中存储有程序数据91,该程序数据91在被处理器执行时,用于实现以下的方法:
获取待处理图像;对待处理图像进行结构相似度感知,得到待处理图像的人群密度分布图像;根据人群密度分布图像,得到待处理图像中的目标对象的数量。
可以理解地,在上述图像处理设备和计算机可读存储介质的实施例中,其方法步骤和原理与上述实施例类似,具体地:
在一可选的实施例中,还用于执行:根据本申请提供的一实施方式,对待处理图像进行结构相似度感知,包括:将待处理图像输入已训练好的人群统计模型,得到待处理图像的人群密度分布图像。
在一可选的实施例中,还用于执行:基于预设的损失函数对神经网络进行训练,得到已训练好的人群统计模型。
在一可选的实施例中,还用于执行:分别获取训练图像及其对应的人群分布密度图像,人群分布密度图像包括真实密度图像和预测密度图像;根据训练图像和人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数;对人头块平方误差损失函数、结构相似度损失函数和/或背景平方误差损失函数进行加权求和,得到预设的损失函数。
在一可选的实施例中,还用于执行:获取待处理图像的感兴趣区域,其中,感兴趣区域包括人头块;确定每个感兴趣区域分别对应真实密度图和预测密度图;根据每个感兴趣区域分别对应真实密度图和预测密度图,确定人头块平方误差损失函数,结构相似度损失函数和背景平方误差损失函数。
在一可选的实施例中,还用于执行:获取每个感兴趣区域分别对应真实密度图和预测密度图的差值的平方;对所有差值的平方求和,得到人头块平方误差损失函数。
在一可选的实施例中,还用于执行:根据每个感兴趣区域分别对应真实密度图和预测密度图,得到每个感兴趣区域对应的结构相似度误差;对所有感兴趣区域对应的结构相似度误差求和,得到结构相似度损失函数。
在一可选的实施例中,还用于执行:根据每个感兴趣区域分别对应真实密度图中的第一背景人数和预测密度图中的第二背景人数;获取第一背景人数和第二背景人数之间的差值的平方,将差值的平方作为背景平方误差损失函数。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是根据本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
对所述待处理图像进行结构相似度感知,得到所述待处理图像的人群密度分布图像;
根据所述人群密度分布图像,得到所述待处理图像中的目标对象的数量。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像进行结构相似度感知,包括:
将所述待处理图像输入已训练好的人群统计模型,得到所述待处理图像的人群密度分布图像。
3.根据权利要求1或2所述的方法,其特征在于,在所述对所述待处理图像进行结构相似度感知之前,所述方法还包括:
基于预设的损失函数对神经网络进行训练,得到所述已训练好的人群统计模型。
4.根据权利要求3所述的方法,其特征在于,在所述基于预设的损失函数对神经网络进行训练之前,还包括获取所述预设的损失函数;
所述获取所述预设的损失函数的步骤包括:
分别获取训练图像及其对应的人群分布密度图像,人群分布密度图像包括真实密度图像和预测密度图像;
根据所述训练图像和所述人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数;
所述对所述人头块平方误差损失函数、所述结构相似度损失函数和/或所述背景平方误差损失函数进行加权求和,得到所述预设的损失函数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述训练图像和所述人群分布密度图像,分别得到人头块平方误差损失函数、结构相似度损失函数和背景平方误差损失函数,包括:
获取所述待处理图像的感兴趣区域,其中,所述感兴趣区域包括人头块;
确定每个所述感兴趣区域分别对应真实密度图和所述预测密度图;
根据每个所述感兴趣区域分别对应真实密度图和所述预测密度图,确定人头块平方误差损失函数,结构相似度损失函数和背景平方误差损失函数。
6.根据权利要求5所述的方法,其特征在于,所述根据每个所述感兴趣区域分别对应真实密度图和所述预测密度图,确定人头块平方误差损失函数包括:
获取每个所述感兴趣区域分别对应真实密度图和所述预测密度图的差值的平方;
对所有所述差值的平方求和,得到所述人头块平方误差损失函数。
7.根据权利要求6所述的方法,其特征在于,得到述感兴趣区域对应的结构相似度误差的步骤包括:
根据每个所述感兴趣区域分别对应真实密度图和所述预测密度图,得到每个所述感兴趣区域对应的结构相似度误差;
对所有所述感兴趣区域对应的结构相似度误差求和,得到所述结构相似度损失函数。
8.根据权利要求5所述的方法,其特征在于,所述根据每个所述感兴趣区域分别对应真实密度图和所述预测密度图,确定背景平方误差损失函数包括:
根据每个所述感兴趣区域分别对应真实密度图中的第一背景人数和所述预测密度图中的第二背景人数;
获取所述第一背景人数和所述第二背景人数之间的差值的平方,将所述差值的平方作为背景平方误差损失函数。
9.一种图像处理设备,其特征在于,所述图像处理设备包括相互连接的处理器和存储器,所述存储器用于存储程序数据,所述处理器用于执行所述程序数据以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有程序数据,所述程序数据在被处理器执行时,用以实现如权利要求1-8任一项所述的方法。
CN201911402942.1A 2019-12-30 2019-12-30 图像处理方法、图像处理设备及计算机可读存储介质 Active CN111178276B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911402942.1A CN111178276B (zh) 2019-12-30 2019-12-30 图像处理方法、图像处理设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911402942.1A CN111178276B (zh) 2019-12-30 2019-12-30 图像处理方法、图像处理设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111178276A true CN111178276A (zh) 2020-05-19
CN111178276B CN111178276B (zh) 2024-04-02

Family

ID=70658331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911402942.1A Active CN111178276B (zh) 2019-12-30 2019-12-30 图像处理方法、图像处理设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111178276B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652161A (zh) * 2020-06-08 2020-09-11 上海商汤智能科技有限公司 人群过密预测方法、装置、电子设备及存储介质
CN112084959A (zh) * 2020-09-11 2020-12-15 腾讯科技(深圳)有限公司 一种人群图像处理方法及装置
CN112862023A (zh) * 2021-04-26 2021-05-28 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质
CN112862726A (zh) * 2021-03-12 2021-05-28 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107657226A (zh) * 2017-09-22 2018-02-02 电子科技大学 一种基于深度学习的人数估计方法
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN108985256A (zh) * 2018-08-01 2018-12-11 曜科智能科技(上海)有限公司 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端
CN109508583A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种人群分布特征的获取方法和装置
CN109685068A (zh) * 2018-12-27 2019-04-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的图像处理方法以及系统
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、系统和电子设备
CN110598558A (zh) * 2019-08-14 2019-12-20 浙江省北大信息技术高等研究院 人群密度估计方法、装置、电子设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN109508583A (zh) * 2017-09-15 2019-03-22 杭州海康威视数字技术股份有限公司 一种人群分布特征的获取方法和装置
CN107657226A (zh) * 2017-09-22 2018-02-02 电子科技大学 一种基于深度学习的人数估计方法
CN108985256A (zh) * 2018-08-01 2018-12-11 曜科智能科技(上海)有限公司 基于场景密度分布的多神经网络人数统计方法、系统、介质、终端
CN109697435A (zh) * 2018-12-14 2019-04-30 重庆中科云从科技有限公司 人流量监测方法、装置、存储介质及设备
CN109685068A (zh) * 2018-12-27 2019-04-26 上海七牛信息技术有限公司 一种基于生成对抗神经网络的图像处理方法以及系统
CN109815919A (zh) * 2019-01-28 2019-05-28 上海七牛信息技术有限公司 一种人群计数方法、网络、系统和电子设备
CN110598558A (zh) * 2019-08-14 2019-12-20 浙江省北大信息技术高等研究院 人群密度估计方法、装置、电子设备及介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZHI LIU 等: "Crowd Counting Method Based on Convolutional Neural Network With Global Density Feature", 《IEEE ACCESS》, vol. 7, pages 88789 - 88798, XP011735406, DOI: 10.1109/ACCESS.2019.2926881 *
范伟: "公交车人群计数系统的研究与实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2018, no. 9, pages 138 - 278 *
陈思秦: "基于全卷积神经网络的人群计数", vol. 26, no. 2, pages 75 - 79 *
马金鹏: "改进的基于人头检测的行人跟踪算法", 《电子测量技术》, vol. 40, no. 12, pages 233 - 237 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652161A (zh) * 2020-06-08 2020-09-11 上海商汤智能科技有限公司 人群过密预测方法、装置、电子设备及存储介质
CN112084959A (zh) * 2020-09-11 2020-12-15 腾讯科技(深圳)有限公司 一种人群图像处理方法及装置
CN112084959B (zh) * 2020-09-11 2024-04-16 腾讯科技(深圳)有限公司 一种人群图像处理方法及装置
CN112862726A (zh) * 2021-03-12 2021-05-28 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质
CN112862726B (zh) * 2021-03-12 2023-11-10 湖南国科微电子股份有限公司 图像处理方法、装置及计算机可读存储介质
CN112862023A (zh) * 2021-04-26 2021-05-28 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质
WO2022228142A1 (zh) * 2021-04-26 2022-11-03 腾讯科技(深圳)有限公司 对象密度确定方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN111178276B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN111178276A (zh) 图像处理方法、图像处理设备及计算机可读存储介质
CN108764071B (zh) 一种基于红外和可见光图像的真实人脸检测方法及装置
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
US8897560B2 (en) Determining the estimated clutter of digital images
US7376270B2 (en) Detecting human faces and detecting red eyes
CN104123543B (zh) 一种基于人脸识别的眼球运动识别方法
CN110879982B (zh) 一种人群计数系统及方法
CN104486618B (zh) 视频图像的噪声检测方法及装置
US20100195899A1 (en) Detection of people in real world videos and images
CN111259815A (zh) 一种人脸图像质量评估方法、系统、设备及介质
CN110570435A (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
WO2018078857A1 (ja) 視線推定装置、視線推定方法及びプログラム記録媒体
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN111144377A (zh) 一种基于人群计数算法的密集区域预警方法
CN113197558B (zh) 心率与呼吸率检测方法、系统及计算机存储介质
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
KR101529620B1 (ko) 이동 방향별 보행자 계수 방법 및 장치
CN106886764B (zh) 一种基于深度学习的恐慌度计算方法和装置
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111126177B (zh) 人数统计的方法及装置
CN112396016A (zh) 一种基于大数据技术的人脸识别系统
JP2019061407A (ja) 物体検出装置
CN115661903B (zh) 一种基于空间映射协同目标过滤的识图方法及装置
WO2019230965A1 (ja) 物体らしさ推定装置、方法、およびプログラム
CA3187876A1 (en) System and method for automatic personalized assessment of human body surface conditions

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant