CN110941999A - 一种人群计数系统中自适应计算高斯核大小的方法 - Google Patents

一种人群计数系统中自适应计算高斯核大小的方法 Download PDF

Info

Publication number
CN110941999A
CN110941999A CN201911098588.8A CN201911098588A CN110941999A CN 110941999 A CN110941999 A CN 110941999A CN 201911098588 A CN201911098588 A CN 201911098588A CN 110941999 A CN110941999 A CN 110941999A
Authority
CN
China
Prior art keywords
head
nearest
average distance
central point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911098588.8A
Other languages
English (en)
Other versions
CN110941999B (zh
Inventor
刘阳
焦大伟
杨天骄
李洪研
张涛
朱昂
李洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CRSC Communication and Information Group Co Ltd CRSCIC
Original Assignee
CRSC Communication and Information Group Co Ltd CRSCIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CRSC Communication and Information Group Co Ltd CRSCIC filed Critical CRSC Communication and Information Group Co Ltd CRSCIC
Priority to CN201911098588.8A priority Critical patent/CN110941999B/zh
Publication of CN110941999A publication Critical patent/CN110941999A/zh
Priority to PCT/CN2020/086532 priority patent/WO2021093275A1/zh
Priority to US17/607,224 priority patent/US20220222945A1/en
Application granted granted Critical
Publication of CN110941999B publication Critical patent/CN110941999B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Abstract

本发明涉及一种人群计数系统中自适应计算高斯核大小的方法,其步骤:将人群密度图等间隔划分为若干矩形区域;计算当前人头中心点坐标处的k最近人头平均距离估计值;计算当前人头中心点坐标处的k最近人头平均距离与其估计值各自的权重系数;计算当前人头中心点坐标对应的高斯核大小;判断训练数据中是否还有未计算过高斯核大小的人头中心点坐标:如果训练数据中还有未被计算过高斯核大小的人头中心点坐标,则重新计算当前人头中心点坐标处的k最近人头平均距离估计值;反之,则将所有计算出的高斯核大小作为结果输出,结束。本发明有效地增加了训练数据中的人群密度图与真实图像的特征相似性,提高了人群计数系统的精确性。

Description

一种人群计数系统中自适应计算高斯核大小的方法
技术领域
本发明涉及一种模式识别领域,特别是关于一种在计算机视觉方向应用的人群计数系统中自适应计算高斯核大小的方法。
背景技术
近年来人群行为分析常用的基础方法是基于卷积神经网络深度学习的人群计数系统,其主要原理是:通过大量的训练,让卷积神经网络自动学习人类头部的主要特征(例如近似圆形,相对于背景来说颜色较深的头发等),最终将网络输出的卷积图与事先做好的、使用类似于人头形状的二维高斯核密度函数(以下简称高斯核)来表示每个人头所在的位置的人群密度图的对比差异。因为单个高斯核在人群密度图中的各个像素点处数值的积分之和为1,所以只需要统计输出的人群密度图中属于各个高斯核的像素点处数值的积分总和,系统就可以得到对原始画面中总人数的估计数值。系统将其对总人数的估计数值与训练数据中的实际数值,以及网络输出的卷积图与训练数据中的人群密度图之间的差异,作为网络反向误差传播的依据,最终通过迭代,修改网络中的相关参数,训练网络对于人头形状目标的识别能力。
如上所述,人群计数系统的训练数据生成中,最关键的一个步骤就是以原图中各个人头的二维坐标为中心点,生成模拟其形状的高斯核。然而此时就存在一个问题,根据透视关系原理,原图中的人头一般会呈现出明显的近大远小现象,因此用来模拟其形状的高斯核需要通过原图所对应的空间中的透视关系,差异性地设置位于人群密度图中不同位置的高斯核的宽度大小,来比较准确的模拟原图中位于不同位置处人头的大小规律,以便卷积神经网络在训练中快速、准确地学习人头的特征,提高其对人头目标的识别能力。一幅图像中最直观反应空间透视关系的因素是背景中带有强烈方向性的线条特征、人的身体大小(即所占据的像素多少)等。然而在实际应用中,和人头大小遇到的问题类似,上述因素一般也都并未被典型的现有数据集所收集和标注,人工标注的工作量和时间消耗都是工程开发难以承受的。而且即便投入巨大的人力物力对其加以标注,对于常见的人员高度密集的图片中,上述这些因素都会因为遮挡重叠而变得不完整,仍然会严重影响算法对于透视关系估计的精确性。
现有文献中放弃了上述试图从数据集图片中获取额外信息的方法,仅仅利用数据集中已有的人头中心点坐标信息,使用了间接地方式,通过数据集中已经标注的人头中心点坐标之间的距离反应出的人头大小趋势,来估算透视关系中的近大远小趋势,最终通过大量实验,总结出与某个人头中心点坐标距离最近的K个相邻人头与该人头的K最近距离,与该人头平均大小(即其对应的高斯核大小)之间的系数关系,最后利用上述方法灵活调整每个高斯核的宽度,从而使得生成的人群密度图更加接近原始画面中人头的近大远小透视关系,达到加速算法收敛、提高结果精度的目的。其具体做法如下:
将带含有人头的原始图像转换为人群密度图。
一幅有N个头的图像表示为:
Figure BDA0002269141580000021
为了使得密度图能够更好地与不同视角(不同人头大小)且人群很密的图像对应起来,作者对传统的基于高斯核的密度图做了改进,提出了基于几何适应高斯核的密度图,由下式表示:
Figure BDA0002269141580000022
Figure BDA0002269141580000023
其中xi表示人头在图像中的像素位置,δ(x-xi)表示图像中人头位置的冲击函数,N为图像中的人头总数,
Figure BDA0002269141580000024
为距离xi人头最近m个人头与该人头的平均距离(通常情况头部的大小与两个相邻的人在拥挤的场景中的中心之间的距离有关,
Figure BDA0002269141580000025
在人群较密的情况下近似等于人头大小),实验验证β=0.3效果最好。这样生成的密度图在人头小/大的位置高斯核的方差小/大(较集中/分散),能够更好地表征人头大小的特征。
虽然上述方法比较适合人群密集且距离均匀的场景,然而现实的场景变化复杂,特别是例如车站、路口这样的场景,不同时间、不同位置之间不仅人群密度差异很大,人与人之间的距离分布的极为不均匀,而且不同密度的人群之间也并没有明确地分界线。因此,将上述方法应用于现实中的人群图片会遇到一些问题,例如对于位于人群分布不均匀区域的人头,在原图中远端与周围人距离较远的人头,以及近端因为相互遮挡而使中心点距离较近的人头等,原文算法只考虑了该人与周围k个(从计算复杂度考虑,k的数值不能设的太大)最近邻之间的头部中心点距离,非常容易将这样的人头对应的高斯核密度函数(简称高斯核)宽度设置的与周围人有显著差异,从而导致与卷积神经网络从原图片中获取的卷积图与训练数据中的人群密度图在该点位置的特征之间始终存在较大差异,不仅使得卷积神经网络的训练难以收敛,还会导致人群计数系统的精确性降低。
发明内容
针对上述问题,本发明的目的是提供一种人群计数系统中自适应计算高斯核大小的方法,其有效地增加了训练数据中的人群密度图与真实图像的特征相似性,使卷积神经网络更容易学习到训练数据与真实图像之间的规律,加速其迭代过程的收敛,提高了人群计数系统的精确性。
为实现上述目的,本发明采取以下技术方案:一种人群计数系统中自适应计算高斯核大小的方法,其包括以下步骤:1)将人群密度图等间隔划分为m×n个矩形区域;2)计算当前人头中心点坐标处的k最近人头平均距离估计值;3)计算当前人头中心点坐标处的k最近人头平均距离与其估计值各自的权重系数θ;4)计算当前人头中心点坐标对应的高斯核大小;5)判断训练数据中是否还有未计算过高斯核大小的人头中心点坐标:如果训练数据中还有未被计算过高斯核大小的人头中心点坐标,则跳转至步骤2);反之,则将所有计算出的高斯核大小作为结果输出,结束。
进一步,所述步骤1)中,将人群密度图等间隔划分为m×n个矩形区域的方法为:对于人群密度图,将其沿着x轴与y轴方向分别等间隔划分为m与n段,在人群密度图中形成m×n个矩形区域,其中每个区域最靠近坐标原点的顶点的x轴与y轴坐标分别为preg_x[i]与preg_y[j];每4个顶点确定1个矩形区域,对于一个人头中心点坐标(phead_x、phead_y),若其在x轴与y轴方向分别位于preg_x[i],preg_x[i+1]与preg_y[j],preg_y[j+1]之间,则称该人头中心点坐标属于区域[i,j];i=1,……,m,j=1,……,n。
进一步,若人头中心点坐标所属区域[i,j]内有不止一个人头中心点坐标,则称其中第r个人头为[i,j,r]。
进一步,所述步骤2)中,当前人头中心点坐标处的k最近人头平均距离估计值计算为:2.1)计算当前区域顶点坐标处的k最近人头平均距离;2.2)利用双线性插值获得每个区域内每个人头中心点坐标处的k最近人头平均距离估计值。
进一步,所述步骤2.1)中,以当前区域最靠近坐标原点的顶点为例,若与当前区域顶点相邻的矩形区域内有且只有1个人头中心点坐标,该顶点的k最近人头平均距离
Figure BDA0002269141580000041
直接等于这个人头中心点坐标处的数值;
若与当前区域顶点相邻的矩形区域内有多个人头中心点坐标,取其中与该顶点坐标距离最近的k个,将1除以每个人头中心点坐标与该顶点的距离加上一个防止分母为零的极小正数ε的结果作为该人头的k最近人头平均距离的权重系数cks[i,j,r],在将所有人头的k最近人头平均距离
Figure BDA0002269141580000042
乘以其对应的权重系数cks[i,j,r]的总和,除以所有人头对应的权重系数的总和获得的数值,作为以加权平均的方式计算出的该顶点的k最近人头平均距离
Figure BDA0002269141580000043
其中,不足k个时,有多少个取多少个;
重复上述过程,获得当前区域的其它三个顶点的k最近人头平均距离
Figure BDA0002269141580000044
进一步,所述步骤2.2)中,得到某个矩形区域的4个顶点的k最近人头平均距离
Figure BDA0002269141580000045
之后,采用双线性插值的方法计算出该矩形区域内任意一个人头中心点坐标处的k最近人头平均距离的估计值,并将其标记为已经计算过高斯核大小的人头中心点坐标。
进一步,对该人头中心点坐标处的k最近人头平均距离的双线性插值的方法为:假设该矩形区域的顶点A、B、C、D的坐标分别为:
(preg_x[i]、preg_y[j])、
(preg_x[i+1]、preg_y[j])、
(preg_x[i]、preg_y[j+1])、
(preg_x[i+1]、preg_y[j+1]),
则根据双线性插值的原理,分别在x方向和y方向做一次线性插值;
首先在x方向插值得到与该人头中心点x坐标相同的两个点R1、R2处的k最近人头平均距离估计数值
Figure BDA0002269141580000046
Figure BDA0002269141580000047
然后在y方向再进行线性插值:
Figure BDA0002269141580000048
最终得到该人头中心点坐标处k最近人头平均距离的估计值
Figure BDA0002269141580000049
进一步,所述k最近人头平均距离估计数值
Figure BDA00022691415800000410
Figure BDA00022691415800000411
分别为:
Figure BDA0002269141580000051
进一步,所述步骤3)中,首先根据该人头[i,j,r]周围k个最近人头各自的k最近人头平均距离的均值
Figure BDA0002269141580000052
和方差
Figure BDA0002269141580000053
再将该人头中心点坐标的k最近人头平均距离与其周围k个最近人头各自的k最近人头平均距离的均值
Figure BDA0002269141580000054
之差的绝对值,除以其周围k个最近人头各自的k最近人头平均距离的方差
Figure BDA0002269141580000055
得到的数值,作为该人头的k最近人头平均距离与其估计值各自的权重系数θ。
进一步,所述步骤4)中,当前人头中心点坐标对应的高斯核大小的计算方法为:首先,将1减自适应权重系数θ的差乘以当前人头中心点坐标的k最近人头平均距离,加上自适应权重系数θ乘以当前人头中心点坐标的k最近人头平均距离的估计值
Figure BDA0002269141580000056
获得该人头处的自适应加权k最近人头平均距离;然后,将自适应加权k最近人头平均距离
Figure BDA0002269141580000057
带入传统高斯核计算方法,取代其中的该人头处的k最近人头平均距离,则能求出当前人头中心点坐标处相应高斯核的大小。
本发明由于采取以上技术方案,其具有以下优点:1、本发明针对传统的人群计数系统使用的自适应计算人头对应的高斯核大小时,简单地依靠该人头与其k最近相邻人头的平均距离,会在人群密度不均匀处造成较大的误差,从而使得原图中该处的人头大小与作为训练目标的人群密度图中的高斯核大小相差过大,导致人群计数系统的卷积神经网络的迭代训练不容易收敛,影响人群计数的精度这一问题。对已知数据中所蕴含的信息进行了充分的挖掘,最大程度地利用训练数据中各个人头中心点坐标之间的关系,对任意人头周围的k最近人头平均距离和该人头大小做出了更准确的计算,有效地增加了训练数据中的人群密度图与真实图像的特征相似性,使卷积神经网络更容易学习到训练数据与真实图像之间的规律,加速其迭代过程的收敛,提高了人群计数系统的精确性。2、本发明可直接嵌套在传统人群计数系统的高斯核生成方法中,有效地与传统方法共享卷积神经网络结构和输入数据,对于原有人群计数系统的主要工作流程也基本不用进行修改,工程量小。3、在实际使用中,不仅运算量远小于卷积神经网络自身的训练过程,而且完全发生在训练数据预处理阶段,且被执行一次,并不随着卷积神经网络训练迭代而反复计算,因此其并未显著增加系统的总运算复杂度。4、自适应计算高斯核大小过程中用到的双线性插值、非相关的随机变量之和可近似为正态分布等步骤有严谨的数学原理,保证了该方法的理论可靠性。5、本发明所有步骤均全自动实现,执行过程中无需用户的额外操作,也无需用户重新测量相关数据,节省了人力、物力和时间成本。
附图说明
图1是本发明的整体流程示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示,本发明提供一种人群计数系统中自适应计算高斯核大小的方法,其包括以下步骤:
1)将人群密度图等间隔划分为若干矩形区域:
依次读取使用传统人群计数系统的高斯核生成的训练数据中的人群密度图尺寸,以及每个人头中心点坐标(即该人头对应的高斯核的中心点坐标)。对于人群密度图,将其沿着x轴与y轴方向分别等间隔划分为m与n段,在人群密度图中形成m×n个矩形区域。其中每个区域最靠近坐标原点的顶点的x轴与y轴坐标分别为preg_x[i](其中,i=1,……,m)与preg_y[j](其中,j=1,……,n)。每4个顶点确定1个矩形区域,对于一个人头中心点坐标(phead_x、phead_y),若其在x轴与y轴方向分别位于preg_x[i],preg_x[i+1]与preg_y[j],preg_y[j+1]之间,则称该人头中心点坐标属于区域[i,j]。
preg_x[i]≤phead_x<preg_x[i+1] (3)
preg_y[j]≤phead_y<preg_y[j+1] (4)
如果该区域内有不止一个人头中心点坐标,则称其中第r个人头为[i,j,r]。
2)计算当前人头中心点坐标处的k最近人头平均距离估计值:
2.1)计算当前区域顶点坐标处的k最近人头平均距离:
对于当前矩形区域的每个顶点,以当前区域最靠近坐标原点的顶点为例,若与当前区域顶点相邻的矩形区域内没有任何人头中心点坐标,该顶点的k最近人头平均距离
Figure BDA0002269141580000061
空缺,所有与该顶点相邻的矩形区域均不参与后续步骤的计算;
若与当前区域顶点相邻的矩形区域内有且只有1个人头中心点坐标,该顶点的k最近人头平均距离
Figure BDA0002269141580000062
直接等于这个人头中心点坐标处的数值
Figure BDA0002269141580000063
Figure BDA0002269141580000071
若与当前区域顶点相邻的矩形区域内有多个人头中心点坐标,取其中与该顶点坐标距离最近的k个(不足k个时,有多少个取多少个),将1除以每个人头中心点坐标与该顶点的距离加上一个防止分母为零的极小正数ε的结果作为该人头的k最近人头平均距离的权重系数cks[i,j,r],在将所有人头的k最近人头平均距离
Figure BDA0002269141580000072
乘以其对应的权重系数cks[i,j,r]的总和,除以所有人头对应的权重系数的总和获得的数值,作为以加权平均的方式计算出的该顶点的k最近人头平均距离
Figure BDA0002269141580000073
Figure BDA0002269141580000074
Figure BDA0002269141580000075
其中,权重系数cks[i,j,r]保证了与该顶点距离越近的人头中心点坐标对应的k最近人头平均距离的权重越大。
重复上述过程,获得当前区域的其它三个顶点的k最近人头平均距离
Figure BDA0002269141580000076
2.2)利用双线性插值获得每个区域内每个人头中心点坐标处的k最近人头平均距离估计值:
通过对各个区域顶点处的k最近人头平均距离进行双线性插值,获得该区域内任意人头中心点坐标处的k最近人头平均距离估计值。实际上,在现有文献的估算透视图(Estimating the perspective map)中已经体现了插值的思想,只不过其用来插值的原始数据是能检测出完整身体的人的高度,然而对于人群密集的场景,由于相互遮挡,很难保证在关键位置上能找到拥有不被遮挡的完整人体。因此,本发明更进一步,使用每个人头中心点坐标处所属区域顶点的k最近人头平均距离进行插值,得到画面内透视关系的变化趋势,并且考虑到摄像机视野水平面不一定和透视图的水平面平行,因此使用了双线性插值。其具体做法如下:
得到某个矩形区域的4个顶点的k最近人头平均距离
Figure BDA0002269141580000077
Figure BDA0002269141580000078
之后,就可以采用双线性插值的方法计算出该矩形区域内任意一个人头中心点坐标处的k最近人头平均距离的估计值,并将其标记为已经计算过高斯核大小的人头中心点坐标。
对该人头中心点坐标处的k最近人头平均距离的双线性插值的具体做法如下:
假设该矩形区域的顶点A、B、C、D的坐标分别为:
(preg_x[i]、preg_y[j])、
(preg_x[i+1]、preg_y[j])、
(preg_x[i]、preg_y[j+1])、
(preg_x[i+1]、preg_y[j+1]),
则根据双线性插值的原理,分别在x方向和y方向做一次线性插值,首先在x方向插值得到与该人头中心点x坐标相同的两个点R1、R2处的k最近人头平均距离估计数值
Figure BDA0002269141580000081
Figure BDA0002269141580000082
Figure BDA0002269141580000083
Figure BDA0002269141580000084
然后在y方向再进行线性插值:
Figure BDA0002269141580000085
最终得到该人头中心点坐标处k最近人头平均距离的估计值
Figure BDA0002269141580000086
3)计算当前人头中心点坐标处的k最近人头平均距离与其估计值各自的权重系数:
显然,与人头中心点坐标处直接计算的k最近人头平均距离不同,上述新计算出的k最近人头平均距离估计值更多的考虑了该人头坐标周边其他人头坐标处的情况,其显著过滤了孤立的与周围其他点距离异常的坐标点对于k最近人头平均距离计算的影响,体现了画面中人头距离变化的整体趋势。
因此,本发明希望能找到一种自适应调整的动态权重分配方式,来平衡实际计算值和估计值。其目标是一旦当判断出该人头中心点坐标的k最近人头平均距离更可能属于孤立的与周围其他点距离异常的个例,则更倾向于认为该距离异常是由于近景处较大人头之间的重叠或远景处一个与其他人距离较远的人造成的,此时适当加大k最近人头平均距离估计值的权重,更相信由周边人头距离插值估计出的比较平滑的结果;反之,一旦当判断出该人头中心点坐标的k最近人头平均距离在一定区域内并非个例,则更倾向于认为该距离确实是由于人头近大远小的透视关系造成的,从而更相信其本身直接计算出的k最近人头平均距离结果。
为了简化随机变量的数学模型提高算法的实用性,采用正态分布模型作为对随机参数精确概率分布的一种近似,并且直接利用近似正态分布参数的概率边界,来指导算法对随机变量数值是否属于小概率异常的判断,获得了显著优于传统方法的成功率。
在本发明的场景中,假设人与人之间的距离没有显著相关性,任意人头中心点坐标的k最近人头距离之和属于少量随机参数相加总和,又因为k是一个事先确定的常数,因此k最近人头平均距离可以视作近似服从正态分布。可以利用均值加减三倍方差获得的区间来作为判断距离异常坐标点的依据。其具体做法如下:
首先根据该人头[i,j,r]周围k个最近人头各自的k最近人头平均距离的均值
Figure BDA0002269141580000091
和方差
Figure BDA0002269141580000092
再将该人头中心点坐标的k最近人头平均距离与其周围k个最近人头各自的k最近人头平均距离的均值
Figure BDA0002269141580000093
之差的绝对值,除以其周围k个最近人头各自的k最近人头平均距离的方差
Figure BDA0002269141580000094
得到的数值,作为该人头估计值与直接计算值之间的自适应权重系数θ:
Figure BDA0002269141580000095
4)计算当前人头中心点坐标对应的高斯核大小:
将1减自适应权重系数θ的差乘以当前人头中心点坐标的k最近人头平均距离,加上自适应权重系数θ乘以当前人头中心点坐标的k最近人头平均距离的估计值
Figure BDA0002269141580000096
即可获得该人头处的自适应加权k最近人头平均距离
Figure BDA0002269141580000097
Figure BDA0002269141580000098
将自适应加权k最近人头平均距离
Figure BDA0002269141580000099
带入传统高斯核计算方法(公式2),取代其中的该人头处的k最近人头平均距离,就可以求出当前人头中心点坐标处相应高斯核的大小。
上述方法可以通过自适应地调整的加权系数θ,根据对该人头距离与周围人头距离相比是否为孤立异常情况的判断,在代表该人头坐标周边平均距离趋势的k最近人头平均距离估计值
Figure BDA0002269141580000101
与代表该人头自身特点的k最近人头平均距离实际计算值
Figure BDA0002269141580000102
之间折中,尽可能避免公式2在计算基于几何适应高斯核的过程中,因为孤立的异常距离点而错误的判断人头高斯核大小的情况。
5)判断训练数据中是否还有未计算过高斯核大小的人头中心点坐标:
如果训练数据中还有未被计算过高斯核大小的人头中心点坐标,则跳转至步骤2);反之,则将所有计算出的高斯核大小作为结果输出,结束。
综上,由于训练数据中只包含每个人头的中心点坐标,并没有每个人头的大小或每个人的身体长度等能反映画面中透视关系的信息,系统不能为了提高生成人群密度图的精度而要求训练数据增加上述项目,因为这样做需要重新标注整个训练数据库,代价高昂。为了解决上述问题,本发明根据原始图片的像素数以及其中标注的人数,将原始图片平均分割成若干矩形区域,在每个区域内利用二次线性插值可以获得对于每个人头中心点坐标处k最近人头平均距离的估计值,再通过自适应调节的权重系数对该估计值与该人头处直接计算出的k最近人头平均距离进行加权平均,最终得到优化后的k最近人头平均距离,并以此计算出更符合实际情况的高斯核大小。
而上述自适应调节的权重系数,由该人头所处区域内其自身k最近人头平均距离,与其他各个人头k最近人头平均距离的均值和方差共同决定,目的是降低平均距离显著异常于周围人头的特殊人头的权重,在这类人头的k最近人头平均距离的计算中,更相信周围人头的估计值。其原因是对于绝大多数视频监控的场景来说,摄像头悬挂的位置都足够高,并且形成略向下俯视的视角,地面起伏对于人头大小的影响远远小于因为近大远小的透视关系造成的影响,某个孤立的人头中心点坐标处k最近人头平均距离出现异常的原因更可能是单纯的横向距离造成的,而非这个人头与摄像头之间的距离极其反常导致的人头大小异常;而一旦该区域出现k最近人头平均距离异常的人头数量足够多,导致方差足够大,才更可能是因为大小不同的远、近人头同时出现在画面相似位置导致的,此时才会更相信每个异常人头处自身k最近人头平均距离的结果。
本发明针对的是传统的人群计数系统使用的自适应计算人头对应的高斯核大小时,简单地依靠该人头与其k最近相邻人头的平均距离,会在人群密度不均匀处造成较大的误差,从而使得原图中该处的人头大小与作为训练目标的人群密度图中的高斯和大小相差过大,导致人群计数系统的卷积神经网络的迭代训练不容易收敛,影响人群计数的精度这一问题,在不增加对于训练数据的种类和数量的需求的前提下,通过将原始图片平均分割成若干矩形区域,在每个区域内利用二次线性插值获得对于每个人头中心点坐标处k最近人头平均距离的估计值,再通过自适应调节的权重系数对该估计值与该人头处直接计算出的k最近人头平均距离进行加权平均,最终得到优化后的k最近人头平均距离,并以此计算出更符合原图中实际人头大小的高斯核大小,作为卷积神经网络的训练目标,使其迭代训练容易收敛,最终达到增加人群计数系统精确性的目的。
上述各实施例仅用于说明本发明,各个步骤都是可以有所变化的,在本发明技术方案的基础上,凡根据本发明原理对个别步骤进行的改进和等同变换,均不应排除在本发明的保护范围之外。

Claims (10)

1.一种人群计数系统中自适应计算高斯核大小的方法,其特征在于包括以下步骤:
1)将人群密度图等间隔划分为m×n个矩形区域;
2)计算当前人头中心点坐标处的k最近人头平均距离估计值;
3)计算当前人头中心点坐标处的k最近人头平均距离与其估计值各自的权重系数θ;
4)计算当前人头中心点坐标对应的高斯核大小;
5)判断训练数据中是否还有未计算过高斯核大小的人头中心点坐标:
如果训练数据中还有未被计算过高斯核大小的人头中心点坐标,则跳转至步骤2);反之,则将所有计算出的高斯核大小作为结果输出,结束。
2.如权利要求1所述方法,其特征在于:所述步骤1)中,将人群密度图等间隔划分为m×n个矩形区域的方法为:对于人群密度图,将其沿着x轴与y轴方向分别等间隔划分为m与n段,在人群密度图中形成m×n个矩形区域,其中每个区域最靠近坐标原点的顶点的x轴与y轴坐标分别为preg_x[i]与preg_y[j];每4个顶点确定1个矩形区域,对于一个人头中心点坐标(phead_x、phead_y),若其在x轴与y轴方向分别位于preg_x[i],preg_x[i+1]与preg_y[j],preg_y[j+1]之间,则称该人头中心点坐标属于区域[i,j];i=1,……,m,j=1,……,n。
3.如权利要求2所述方法,其特征在于:若人头中心点坐标所属区域[i,j]内有不止一个人头中心点坐标,则称其中第r个人头为[i,j,r]。
4.如权利要求1所述方法,其特征在于:所述步骤2)中,当前人头中心点坐标处的k最近人头平均距离估计值计算为:
2.1)计算当前区域顶点坐标处的k最近人头平均距离;
2.2)利用双线性插值获得每个区域内每个人头中心点坐标处的k最近人头平均距离估计值。
5.如权利要求4所述方法,其特征在于:所述步骤2.1)中,以当前区域最靠近坐标原点的顶点为例,若与当前区域顶点相邻的矩形区域内有且只有1个人头中心点坐标,该顶点的k最近人头平均距离
Figure FDA0002269141570000011
直接等于这个人头中心点坐标处的数值;
若与当前区域顶点相邻的矩形区域内有多个人头中心点坐标,取其中与该顶点坐标距离最近的k个,将1除以每个人头中心点坐标与该顶点的距离加上一个防止分母为零的极小正数ε的结果作为该人头的k最近人头平均距离的权重系数cks[i,j,r],在将所有人头的k最近人头平均距离
Figure FDA0002269141570000021
乘以其对应的权重系数cks[i,j,r]的总和,除以所有人头对应的权重系数的总和获得的数值,作为以加权平均的方式计算出的该顶点的k最近人头平均距离
Figure FDA0002269141570000022
其中,不足k个时,有多少个取多少个;
重复上述过程,获得当前区域的其它三个顶点的k最近人头平均距离
Figure FDA0002269141570000023
6.如权利要求5所述方法,其特征在于:所述步骤2.2)中,得到某个矩形区域的4个顶点的k最近人头平均距离
Figure FDA0002269141570000024
之后,采用双线性插值的方法计算出该矩形区域内任意一个人头中心点坐标处的k最近人头平均距离的估计值,并将其标记为已经计算过高斯核大小的人头中心点坐标。
7.如权利要求6所述方法,其特征在于:对该人头中心点坐标处的k最近人头平均距离的双线性插值的方法为:
假设该矩形区域的顶点A、B、C、D的坐标分别为:
(preg_x[i]、preg_y[j])、
(preg_x[i+1]、preg_y[j])、
(preg_x[i]、preg_y[j+1])、
(preg_x[i+1]、preg_y[j+1]),
则根据双线性插值的原理,分别在x方向和y方向做一次线性插值;
首先在x方向插值得到与该人头中心点x坐标相同的两个点R1、R2处的k最近人头平均距离估计数值
Figure FDA0002269141570000025
Figure FDA0002269141570000026
然后在y方向再进行线性插值:
Figure FDA0002269141570000027
最终得到该人头中心点坐标处k最近人头平均距离的估计值
Figure FDA0002269141570000028
8.如权利要求7所述方法,其特征在于:所述k最近人头平均距离估计数值
Figure FDA0002269141570000029
Figure FDA00022691415700000210
分别为:
Figure FDA00022691415700000211
Figure FDA0002269141570000031
9.如权利要求1所述方法,其特征在于:所述步骤3)中,首先根据该人头[i,j,r]周围k个最近人头各自的k最近人头平均距离的均值
Figure FDA0002269141570000032
和方差
Figure FDA0002269141570000033
再将该人头中心点坐标的k最近人头平均距离与其周围k个最近人头各自的k最近人头平均距离的均值
Figure FDA0002269141570000034
之差的绝对值,除以其周围k个最近人头各自的k最近人头平均距离的方差
Figure FDA0002269141570000035
得到的数值,作为该人头的k最近人头平均距离与其估计值各自的权重系数θ。
10.如权利要求1所述方法,其特征在于:所述步骤4)中,当前人头中心点坐标对应的高斯核大小的计算方法为:
首先,将1减自适应权重系数θ的差乘以当前人头中心点坐标的k最近人头平均距离,加上自适应权重系数θ乘以当前人头中心点坐标的k最近人头平均距离的估计值
Figure FDA0002269141570000036
获得该人头处的自适应加权k最近人头平均距离;
然后,将自适应加权k最近人头平均距离
Figure FDA0002269141570000037
带入传统高斯核计算方法,取代其中的该人头处的k最近人头平均距离,则能求出当前人头中心点坐标处相应高斯核的大小。
CN201911098588.8A 2019-11-12 2019-11-12 一种人群计数系统中自适应计算高斯核大小的方法 Active CN110941999B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911098588.8A CN110941999B (zh) 2019-11-12 2019-11-12 一种人群计数系统中自适应计算高斯核大小的方法
PCT/CN2020/086532 WO2021093275A1 (zh) 2019-11-12 2020-04-24 一种人群计数系统中自适应计算高斯核大小的方法
US17/607,224 US20220222945A1 (en) 2019-11-12 2020-04-24 Method for adaptively calculating size of gaussian kernel in crowd counting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911098588.8A CN110941999B (zh) 2019-11-12 2019-11-12 一种人群计数系统中自适应计算高斯核大小的方法

Publications (2)

Publication Number Publication Date
CN110941999A true CN110941999A (zh) 2020-03-31
CN110941999B CN110941999B (zh) 2023-02-17

Family

ID=69907572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911098588.8A Active CN110941999B (zh) 2019-11-12 2019-11-12 一种人群计数系统中自适应计算高斯核大小的方法

Country Status (3)

Country Link
US (1) US20220222945A1 (zh)
CN (1) CN110941999B (zh)
WO (1) WO2021093275A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质
WO2021093275A1 (zh) * 2019-11-12 2021-05-20 通号通信信息集团有限公司 一种人群计数系统中自适应计算高斯核大小的方法
CN112947091A (zh) * 2021-03-26 2021-06-11 福州大学 基于pid控制的生物组织内磁纳米粒子产热优化方法
DE102020121600A1 (de) 2020-08-18 2022-02-24 HELLA GmbH & Co. KGaA Verfahren und Computerprogrammprodukt zur Ermittlung eines Dichtemaßes eines Belegungsgrads einer betrachteten Fläche mit Objekten
CN114120361A (zh) * 2021-11-19 2022-03-01 西南交通大学 一种基于编解码结构的人群计数定位方法
WO2023155350A1 (zh) * 2022-02-17 2023-08-24 上海商汤智能科技有限公司 一种人群定位方法及装置、电子设备和存储介质
CN116758488A (zh) * 2023-08-16 2023-09-15 启迪数字科技(深圳)有限公司 场馆人群定位方法、装置、设备及介质
CN117037077A (zh) * 2023-10-09 2023-11-10 成都数智创新精益科技有限公司 基于图像处理的人群计数方法、装置、介质、设备及产品
CN112101195B (zh) * 2020-09-14 2024-04-26 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107506692A (zh) * 2017-07-21 2017-12-22 天津大学 一种基于深度学习的密集人群计数与人员分布估计方法
US20180005071A1 (en) * 2013-06-25 2018-01-04 University Of Central Florida Research Foundation, Inc. Multi-Source, Multi-Scale Counting in Dense Crowd Images
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN109447008A (zh) * 2018-11-02 2019-03-08 中山大学 基于注意力机制和可变形卷积神经网络的人群分析方法
CN109614941A (zh) * 2018-12-14 2019-04-12 中山大学 一种基于卷积神经网络模型的嵌入式人群密度估计方法
CN109948553A (zh) * 2019-03-20 2019-06-28 北京航空航天大学 一种多尺度密集人群计数方法
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018107488A1 (zh) * 2016-12-16 2018-06-21 深圳大学 基于提升直觉模糊树的目标跟踪方法及装置
JP6942488B2 (ja) * 2017-03-03 2021-09-29 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
US10853943B2 (en) * 2018-07-31 2020-12-01 Element Ai Inc. Counting objects in images based on approximate locations
US10832416B2 (en) * 2018-09-21 2020-11-10 International Business Machines Corporation Crowd flow rate estimation
JP2020170252A (ja) * 2019-04-01 2020-10-15 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
US11048948B2 (en) * 2019-06-10 2021-06-29 City University Of Hong Kong System and method for counting objects
JP7443002B2 (ja) * 2019-09-13 2024-03-05 キヤノン株式会社 画像解析装置、画像解析方法、及びプログラム
US11532158B2 (en) * 2019-10-21 2022-12-20 University Of Houston System Methods and systems for customized image and video analysis
CN110941999B (zh) * 2019-11-12 2023-02-17 通号通信信息集团有限公司 一种人群计数系统中自适应计算高斯核大小的方法
JP7433864B2 (ja) * 2019-11-27 2024-02-20 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005071A1 (en) * 2013-06-25 2018-01-04 University Of Central Florida Research Foundation, Inc. Multi-Source, Multi-Scale Counting in Dense Crowd Images
WO2018059408A1 (zh) * 2016-09-29 2018-04-05 北京市商汤科技开发有限公司 跨线计数方法和神经网络训练方法、装置和电子设备
CN107506692A (zh) * 2017-07-21 2017-12-22 天津大学 一种基于深度学习的密集人群计数与人员分布估计方法
CN109447008A (zh) * 2018-11-02 2019-03-08 中山大学 基于注意力机制和可变形卷积神经网络的人群分析方法
CN109614941A (zh) * 2018-12-14 2019-04-12 中山大学 一种基于卷积神经网络模型的嵌入式人群密度估计方法
CN110020606A (zh) * 2019-03-13 2019-07-16 北京工业大学 一种基于多尺度卷积神经网络的人群密度估计方法
CN109948553A (zh) * 2019-03-20 2019-06-28 北京航空航天大学 一种多尺度密集人群计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIA WAN,ET AL: "Adaptive Density Map Generation for Crowd", 《2019 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
范超超: "基于卷积神经网络的密度估计及人群计数的算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021093275A1 (zh) * 2019-11-12 2021-05-20 通号通信信息集团有限公司 一种人群计数系统中自适应计算高斯核大小的方法
DE102020121600A1 (de) 2020-08-18 2022-02-24 HELLA GmbH & Co. KGaA Verfahren und Computerprogrammprodukt zur Ermittlung eines Dichtemaßes eines Belegungsgrads einer betrachteten Fläche mit Objekten
CN112101195A (zh) * 2020-09-14 2020-12-18 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质
CN112101195B (zh) * 2020-09-14 2024-04-26 腾讯科技(深圳)有限公司 人群密度预估方法、装置、计算机设备和存储介质
CN112947091A (zh) * 2021-03-26 2021-06-11 福州大学 基于pid控制的生物组织内磁纳米粒子产热优化方法
CN114120361A (zh) * 2021-11-19 2022-03-01 西南交通大学 一种基于编解码结构的人群计数定位方法
WO2023155350A1 (zh) * 2022-02-17 2023-08-24 上海商汤智能科技有限公司 一种人群定位方法及装置、电子设备和存储介质
CN116758488A (zh) * 2023-08-16 2023-09-15 启迪数字科技(深圳)有限公司 场馆人群定位方法、装置、设备及介质
CN116758488B (zh) * 2023-08-16 2023-11-10 启迪数字科技(深圳)有限公司 场馆人群定位方法、装置、设备及介质
CN117037077A (zh) * 2023-10-09 2023-11-10 成都数智创新精益科技有限公司 基于图像处理的人群计数方法、装置、介质、设备及产品
CN117037077B (zh) * 2023-10-09 2023-12-08 成都数智创新精益科技有限公司 基于图像处理的人群计数方法、装置、介质、设备及产品

Also Published As

Publication number Publication date
US20220222945A1 (en) 2022-07-14
CN110941999B (zh) 2023-02-17
WO2021093275A1 (zh) 2021-05-20

Similar Documents

Publication Publication Date Title
CN110941999B (zh) 一种人群计数系统中自适应计算高斯核大小的方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
CN114782691B (zh) 基于深度学习的机器人目标识别与运动检测方法、存储介质及设备
CN107679537B (zh) 一种基于轮廓点orb特征匹配的无纹理空间目标姿态估计算法
CN106991388B (zh) 关键点定位方法
CN110930454A (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN106991686B (zh) 一种基于超像素光流场的水平集轮廓跟踪方法
CN111815665B (zh) 基于深度信息与尺度感知信息的单张图像人群计数方法
Lee et al. A SfM-based 3D face reconstruction method robust to self-occlusion by using a shape conversion matrix
CN110910421A (zh) 基于分块表征和可变邻域聚类的弱小运动目标检测方法
JP2006053929A (ja) 平面形状モーフィングのための知覚に基づくアプローチ
CN110827320A (zh) 基于时序预测的目标跟踪方法和装置
CN114548606B (zh) 一种气旋强度预测模型的构建方法及气旋强度预测方法
CN112184762A (zh) 一种基于特征融合的灰狼优化粒子滤波目标跟踪算法
US7486815B2 (en) Method and apparatus for scene learning and three-dimensional tracking using stereo video cameras
CN114627272A (zh) 一种具有自适应透光性的门窗ar方法及系统
CN110363792A (zh) 一种基于光照不变性特征提取的遥感图像变化检测方法
CN110503061B (zh) 一种融合多特征的多因素视频遮挡区域检测方法及系统
Zhao et al. A quality metric for 3d lidar point cloud based on vision tasks
Kaess et al. MCMC-based multiview reconstruction of piecewise smooth subdivision curves with a variable number of control points
CN111027389A (zh) 人群计数系统中基于可变形高斯核的训练数据生成方法
Giraud et al. Generalization of the shortest path approach for superpixel segmentation of omnidirectional images
Choi et al. Online 3D edge reconstruction of wiry structures from monocular image sequences
CN117671163B (zh) 多视图三维重建方法及系统
CN113158780B (zh) 区域人群密度估计方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant