CN111178235A - 一种目标数量确定方法、装置、设备及存储介质 - Google Patents
一种目标数量确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111178235A CN111178235A CN201911371395.5A CN201911371395A CN111178235A CN 111178235 A CN111178235 A CN 111178235A CN 201911371395 A CN201911371395 A CN 201911371395A CN 111178235 A CN111178235 A CN 111178235A
- Authority
- CN
- China
- Prior art keywords
- target
- neural network
- image
- detected
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000013528 artificial neural network Methods 0.000 claims abstract description 91
- 238000012549 training Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 27
- 238000011176 pooling Methods 0.000 claims description 17
- 238000010586 diagram Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011478 gradient descent method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
Abstract
本发明提供了一种目标数量确定方法、装置、设备及存储介质；方法包括：获取待检测图像；将待检测图像输入到神经网络中，得到待检测图像的目标密度图；根据目标密度图各像素的像素值，确定待检测图像中的目标对象数量，其中，目标密度图中一个目标对象所在区域内中心像素的像素值，与目标对象所在区域内中心像素以外像素的像素值不同；且目标密度图中一个目标对象所在区域内中心像素的像素值，与目标对象不在区域内像素的像素值不同。本发明减少了高密度目标分布不均匀等对目标对象数量估计的影响，实现了高效的目标对象数量估计。
Description
技术领域
本发明涉及计算机视觉领域，尤其涉及一种目标数量确定方法、装置、设备及存储介质。
背景技术
目标对象的密度是目标对象在一定时间一定空间内的分布情况。该目标可为人数，例如，准确地估计人数目和人密度在安防系统、公共安全等有着广泛的实际应用价值。但是在现实场景中，严重的遮挡、光照的变化、视角的扭曲、人群分布不均和复杂的场景背景等干扰因素使人群计数问题变得非常具有挑战性。
根据某些特征如梯度直方图(Histogram Oriented Gradients,HOG)、Haar小波等训练检测器检测人体，从而进行人群计数的方式不仅会受人群遮挡、重叠等因素的严重干扰，而且这种人群计数的方式对计算时间和计算资源占用较大，性能也不够优异。
发明内容
本发明实施例提供一种目标数量确定方法、装置、电子设备及存储介质，避免了高密度目标分布不均匀等问题对目标对象数量估计的影响，实现了高效的目标对象数量估计。
本发明实施例的技术方案是这样实现的：
第一方面，本发明实施例提供一种目标数量确定方法，所述方法包括：
获取待检测图像；
将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；
根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。
在上述方案中，所述将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图，包括：
将所述待检测图像输入到所述神经网络中得到特征图；
将所述特征图转换为所述目标密度图。
在上述方案中，所述将所述特征图转换为所述目标密度图，包括：
基于高斯核对所述特征图进行卷积操作得到所述目标密度图。
将上述方案中，所述获取待检测图像之前，所述方法还包括：
确定待训练神经网络的网络结构并训练得到训练后的所述神经网络，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层，其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数。
在上述方案中，所述对所述神经网络进行训练，得到训练后的所述神经网络，包括：
构建训练数据集；
采用均方差损失函数计算标注密度图和所述神经网络预测得到的密度图之间的损失值；
计算所述损失值，在所述训练数据集上，采用随机梯度下降法训练所述神经网络，得到训练后的所述神经网络。
第二方面，本发明实施例提供一种目标数量确定装置，包括：
获取模块，用于获取待检测图像；
处理模块，用于将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；
计算模块，用于根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。
在上述方案中，所述装置还包括：
预处理模块，用于构建训练数据集，对包含目标对象的原始图像集进行训练预处理，以形成预处理图像集。
构建模块，用于确定待训练神经网络的网络结构，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层，其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数。
训练模块，用于对所述待训练神经网络进行训练，得到训练后的所述神经网络。
第三方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述所述方法的任一步骤。
第四方面，本发明实施例提供一种目标数量确定设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述所述方法的任一步骤。
本发明实施例具有以下有益效果：
本发明提供了一种目标数量确定方法、装置、电子设备及存储介质，通过获取待检测图像；将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；根据所述目标密度图估计所述待检测图像中的目标对象数量，通过采用神经网络和密度图回归，使图像提取的特征更具有鲁棒性，减少了高密度目标分布不均匀等问题对目标对象数量估计的影响，缩短了图像目标对象数量估计的时长，提高了图像目标对象数量估计的准确率，实现了高效的目标对象数量估计。
附图说明
图1是本发明实施例提供的一种目标数量确定方法的流程示意图；
图2是本发明实施例提供的卷积操作示意图；
图3是本发明实施例提供的获得神经网络的流程示意图；
图4是本发明实施例提供的神经网络的结构示意图；
图5为本发明实施例提供的一种目标数量确定装置的结构示意图；
图6为本发明实施例目标数量确定设备的一种硬件结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
人群计数在现实场景中有着广泛的应用价值。准确地估计人群数目和人密度是衡量一个安防系统好坏的重要指标之一。准确地估计体育馆、地铁站、火车站等关公场所的人群数目可以有效得控制和管理人流量。而且这种统计数据在公共安全和交通管制上有着极其重要的作用，可以预防踩踏等一些危险事故的发生。通过分析大型商场的人密度分布，可以获得顾客的购买喜好和发掘潜在的商业价值。人群计数还可辅助分析决策，如分析道路拥塞、检测异常状况、检测特定事件等。除此之外，人群计数还可推广到车辆计数、野生动物密度估计和计量显微图像中的细胞等多个领域。
但是，在现实场景中，严重的遮挡、光照的变化、视角的扭曲、人群分布不均和复杂的场景背景等干扰因素使人群计数问题变得非常具有挑战性。目前还没有行之有效的人群计数算法可以应用于现实场景中，所以准确、鲁棒的人群计数算法也是计算机视觉领域重要的研究方向之一。基于此，本发明实施例提供一种目标数量确定方法、装置、电子设备及存储介质，通过神经网络将获取的待检测图像转换为目标密度图进行目标对象数量的估计，避免了高密度目标分布不均匀等问题对目标对象数量估计的影响，实现了高效的目标对象数量估计。
为了使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明进行详细说明。
图1为本发明实例提供的一种目标数量确定方法流程示意图，如图1所示，该方法，包括：
步骤S101：获取待检测图像。
在本实施例中，图像的获取是通过图像采集装置采集不同场景中的待检测图像，将待检测图像发送给目标数量确定装置。其中，图像采集装置可以为摄像头、摄像机、其他带有拍照功能的设备(手机、平板电脑等)等。该检测图像的采集场景为：包括待检测目标所在的场景。例如，以目标对象为人像为例，采集场景包括人群密集的场景，也包括人群稀疏的场景，对此本实施例不作具体限定。例如，火车站候车大厅监控视频中的获得的待检测图像，由于火车站一般人流比较密集，图像中的人像可能存在相互遮挡、重叠的情况。再例如，以目标对象为车辆成像为例，采集场景可为各种道路对应的场景。
步骤S102：将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图，包括：
将所述待检测图像输入到所述神经网络中得到特征图；
将所述特征图转换为所述目标密度图。
在本实施例中，神经网络用于对输入的待检测图像进行处理，通过卷积层对待检测图像进行卷积操作，提取特征得到特征图。在特征图中包含目标对象区域的像素值，不同于不包含目标对象区域的像素值。目标数量确定装置，再根据特征图到目标密度图之间的转换关系，将特征图转换为目标密度图。
图2为本实施例的卷积操作示意图，卷积操作的目的是提取图像的特征，通过将卷积核的在原始图像上进行滑动，利用原始图像与卷积核上的数值进行计算得到缩略图矩阵的数据。假设原始图像大小为6*6*3，卷积核大小为3*3*3，卷积核中的数字个数为3×3×3＝27，一共27个，则对于红绿蓝(Red B lue Green，RGB)3个通道，将卷积核中27个数字都和样本对应相乘并求和，最终得到4*4的结果。当神经网络的一个卷积层只有一个卷积核时，最终得到的结果为4*4*1，输出通道数为1。这里如果神经网络的两个卷积层卷积核，就会得到4*4*2的结果，输出通道数就为2。
通过神经网络得到的特征图相当于带有目标位置标签的图像，目标对象中心位置的像素值为“1”，其他的像素设置值为“0”。
目标密度图是一个和原始输入图像相同大小的矩阵。
在目标对象为人像，对图像中的人群进行估算时，理想情况下，目标密度图是：对于任意一个在目标密度图上的像素，如果对应于原始图像上相同位置的像素是属于目标对象的联通区域，则该联通区域所包含像素的像素值设置为1/Si，Si是对应的目标对象所占的像素个数之和，若对应于原始图像上相同位置的像素不属于目标对象区域，则将该像素设置为0。但是，在对现实图像人像标注时，标注图像中所有人头的完整区域是很难的一件事情。因此，对于数据集人头的标注，一般是在人头所在区域中心位置的那个像素设置值为“1”，其他的像素设置值为“0”。对于给定的人头中心像素坐标pi，p为原始图像上的像素坐标，目标密度图中的像素坐标与原始图像中的像素坐标一一对应，p也是目标密度图中像素的坐标，一张包含N个人头的图像的密度图D(p)可由函数式(1)表示：
函数式(1)中，δ是冲激函数，人密度图中的人像可由冲激函数式(2)表示：
一张有N个人头标注的人群图像来说可以表示为
p为是人密度图中像素的坐标。
函数式(1)中，
为卷积核，可选的，卷积核可采用高斯卷积核，基于高斯核对所述特征图进行卷积操作得到所述目标密度图。高斯卷积核可由函数式(3)表示：
其中，σi为高斯核标准差，
β是定值，依据MCNN论文实验验证，β＝0.3时，高斯核标准差σi能更好的表征人头大小特征，利用高斯核生成的目标密度图效果更好，因此在本案例中设置β为0.3，
表示图像中pi处的人头距离pi处的人头最近的k个邻近人头的欧式距离和的平均。
步骤S103：根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。
在本实施例中，对所述目标密度图进行求和运算就是对目标密度图中的所有像素进行叠加求和，密度图中一个区域的概率和为1或密度图中所有像素的总和等于图像中的目标对象的总数。
一张包含N个人头的图像中的目标对象的总数可由函数式(5)表示：
N＝∑x∑yD(p) (5)
函数式(5)中的x、y分别为密度图中像素在x轴和y轴的像素坐标。
在一些实施例中，如图3所示，在步骤S101之前，所述方法还包括：
步骤S301：确定待训练神经网络的网络结构，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层，其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数神经网络，所述神经网络可包括7个卷积层，每个卷积层后面都连接一个非线性激活函数层；第一卷积层、第二卷积层、第三卷积层后面都连接有最大池化层。第一卷积层可为最靠近神经网络输入端的卷积层。
步骤S302：对所述待训练神经网络进行训练，得到训练后的所述神经网络。
图4为本发明实施例提供的卷积神经网络的结构示意图，如图4所示，本实施例的所述神经网络，包括：
第一卷积层包括：16个9×9的卷积核；
第二卷积层、第三卷积层包括：32个7×7的卷积核；
第四卷积层、第五卷积层、第六卷积层包括：16个9×9的卷积核；
第七卷积层包括1×1的卷积核；
最大池化层的池化核为2×2，所述最大池化层的核的滑动步长为2。
全卷积神经网络要学习的参数主要来自于每个卷积层的卷积核，这里采用小通道数，减少网络参数，降低模型复杂度。为了保证模型的非线性，每个卷积层之后都跟着一个非线性激活函数层。
进行计数时，由于当目标靠近照相机时，成像的大小一般都很大，这就使得在设计网络的时候感受野不能太小。因此，在这里使用了3个最大池化层。虽然池化层的增加会使最后的预测的目标密度图的分辨率降低，但是这样增加了网络的感受野，有利于网络对大的人头进行响应，学习到更加具有语义的特征表示。最大池化层的引入有助于降低中间特征图的维度，节约计算资源，同时，也有利于学习到更加鲁棒，具有判别性的特征表示。最后最接近神经网络输出的1x1的卷积层，用于将特征图映射到密度图。图4中每个卷积层左边的数字9*9、7*7、5*5为卷积核的大小，右边的数字16、32、64表示该层的输出通道数。
在一些实施例中，对所述神经网络进行训练，获得所述神经网络，包括：
构建训练数据集；
采用均方差损失函数计算标注密度图和所述神经网络预测得到的目标密度图之间的损失值；计算所述损失值，在所述训练数据集上，采用随机梯度下降法训练所述神经网络，得到所述训练后的神经网络。
训练数据集可以直接采用用于行人密度识别的公开数据集，例如，上海科技数据集(ShanghaiTech dataset)：总共有1198张标记图像，数据集分为两部分part_A和part_B，part_B部分的图像相较于part_A部分的图像人群分布更为稀疏。part_A部分300张用于训练，182张用于测试；part_B部分400张用于训练，316张用于测试，还有UCSD数据集，UCF_CC_50数据集等等。
训练数据集也可以通过采集包含有目标对象的图像，并对采集的图像进行预处理获得，例如，通过拍摄图像或者监控视频流等获得含有人像的原始图像，对原始图像中的人像进行标注，标注在人头的中心位置，将标注完成的图像与高斯核卷积得到人密度图，将生成的人密度图划分为训练集和测试集。
激活层的激活函数采用修正线性单元(Rectified linear units，ReLU)，ReLU可以加速网络的收敛。
构建神经网络的损失函数；采用梯度下降法更新神经网络的学习参数直至损失函数收敛。
为了进行有监督的训练，采用欧几里得距离来度量标注密度图和神经网络预测得到的目标密度图之间的距离。神经网络的损失函数为函数式(6)：
其中，Θ是神经网络要学习的参数。Ii是在训练集上第i张训练图像，N是训练集的图像数目。Di是标注的密度图，Ei(Ii；Θ)是神经网络预测得到的密度图。L(Θ)是基于标注的密度图和预测的目标密度图之间的欧几里得距离得到的损失值。
对于一张待检测的图像，可以通过函数式(7)估计图像中的目标对象数量。
具体的，将一张含有人像的待检测的图像输入训练后的神经网络，通过神经网络预测出待检测图像的密度图，其密度图由E(P；Θ)进行表示，其中，P为待检测图像，Θ为从神经网络中学习到的参数；待检测图像的密度图表示了待检测图像单位面积内人像的数目，对待检测图像的密度图函数积分即可得待检测图像中的人像数目，采用公式
对待检测图像中的人像数目进行估算，
为待检测图像中的人像的估计值，x、y分别为待检测图像密度图中的像素在x轴和y轴的坐标。
图5为本发明实施例提供的一种目标数量确定装置的结构示意图，如图5所示，本发明的目标数量确定装置50，包括：获取模块501、处理模块502和计算模块503其中：
获取模块501，用于获取待检测图像；
处理模块502，用于将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；
计算模块503，用于根据所述目标密度图估计所述待检测图像中的目标对象数量。
可选的，在一些实施例中，该目标数量确定装置还可以包括：
预处理模块，用于构建训练数据集，将包含人群的原始图像集进行训练预处理，以形成预处理图像集。
构建模块，用于确定待训练神经网络的网络结构，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层，其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数。
训练模块，用于对待训练神经网络进行训练，得到训练后的神经网络。
在一些实施例中，处理模块502还具体用于将所述待检测图像输入到所述神经网络中得到特征图，将所述特征图与高斯核进行卷积得到所述目标密度图。计算模块503还具体用于根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。训练模块还具体用于构建训练数据集；采用均方差损失函数计算标注密度图和所述神经网络预测得到的密度图之间的损失值；计算所述损失值，在所述训练数据集上，采用随机梯度下降法训练所述神经网络，得到所述训练后的神经网络。
本发明实施例提供的一种目标数量确定装置避免了图像中高密度目标分布不均匀等问题对目标对象数量估计的影响，实现高效的目标对象数量估计。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序处理器被处理器执行时实现上述方法实施例的步骤，而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种目标数量确定设备，所述设备包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行存储在存储器中的上述方法实施例的步骤。
图6为本发明实施例目标数量确定设备的一种硬件结构示意图，该目标数量确定设备60包括：至少一个处理器601、存储器602，可选的，目标数量确定设备60还可进一步包括至少一个通信接口603，目标数量确定设备60中的各个组件通过总线系统604耦合在一起，可理解，总线系统604用于实现这些组件之间的连接通信。总线系统604除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统604。
可以理解，存储器602可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储器602旨在包括但不限于这些和任意其它适合类型的存储器。
本发明实施例中的存储器602用于存储各种类型的数据以支持目标数量确定装置60的操作。这些数据的示例包括：用于在目标数量确定装置60上操作的任何计算机程序，如存储的样本数据、预测模型等，实现本发明实施例方法的程序可以包含在存储器602中。
上述本发明实施例揭示的方法可以应用于处理器601中，或者由处理器601实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
在示例性实施例中，目标数量确定设备60可以被一个或多个应用专用集成电路(ASIC，Application Specific Integrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable LogicDevice)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)、通用处理器、控制器、微控制器(MCU，Micro Controller Unit)、微处理器(Microprocessor)、或其他电子元件实现，用于执行上述方法。
以下为结合上述任意实施例提供的具体示例：
本示例是为助力公共交通管制而提出的街道行人数量确定方法，该方法的具体实施步骤如下：
(1)构建神经网络，并对神经网络进行训练得到训练后的神经网络。
具体的，可以利用TensorFlow深度学习系统来进行神经网络的构建，构建一个含有7个卷积层的神经网络，且神经网络中的第一卷积层包括：16个9×9的卷积核；第二卷积层、第三卷积层包括：32个7×7的卷积核；第四卷积层、第五卷积层、第六卷积层包括：16个9×9的卷积核；第七卷积层包括1×1的卷积核；每个卷积层后面都连接一个非线性激活函数层，激活层的激活函数采用修正线性单元(The Rectified Linear Unit，ReLU)函数；第一卷积层、第二卷积层、第三卷积层后面都连接有最大池化层，最大池化层的池化核大小为2×2，最大池化层的核的滑动步长为2，第一卷积层为最靠近神经网络输入端的卷积层。
采用上海科技数据集(ShanghaiTech dataset)对构建的神经网络进行训练，具体采用随机梯度下降法(stochastic gradient descent，SGD)进行神经网络的训练，损失函数采用均方误差(Mean Squared Error，MSE)损失函数：
其中，Θ是神经网络要学习的参数。Ii是在训练集上第i张训练图像，N是训练集的图像数目，Di是标注的密度图，Ei(Ii；Θ)是神经网络预测得到的密度图，L(Θ)是基于标注的密度图和预测的目标密度图之间的欧几里得距离得到的损失值。通过训练得到训练后的神经网络。
(2)从街道监控视频中获取含有行人的图像作为待检测图像，将待检测图片输入训练后的神经网络，通过训练后的神经网络对图像进行处理输出得到待检测图像的密度图E(Q；Θ),Q为待检测图像，Θ为从神经网络中学习到的参数。
(3)根据得到的待检测图像的密度图进行人人数的估计。
具体的，可以通过公式
对得到的待检测图像的密度图进行积分，得到密度图中的行人数量，
为待检测图像中的行人的估计值。x、y分别为待检测图像密度图中的像素在x轴和y轴的坐标。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种目标数量确定方法，其特征在于，包括：
获取待检测图像；
将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；
根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。
2.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图，包括：
将所述待检测图像输入到所述神经网络中得到特征图；
将所述特征图转换为所述目标密度图。
3.根据权利要求2所述的方法，其特征在于，所述将所述特征图转换为所述目标密度图，包括：
基于高斯核对所述特征图进行卷积操作得到所述目标密度图。
4.根据权利要求1至3任一项所述的方法，其特征在于，所述获取待检测图像之前，所述方法还包括：
确定待训练神经网络的网络结构并训练得到训练后的所述神经网络，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数。
5.根据权利要求4所述的方法，其特征在于，所述训练得到训练后的所述神经网络，包括：
构建训练数据集；
采用均方差损失函数计算标注密度图和所述神经网络预测得到的密度图之间的损失值；
基于所述损失值，采用随机梯度下降法神经网络调整所述神经网络的初始网络参数，得到训练后的所述神经网。
6.一种目标数量确定装置，其特征在于，包括：
获取模块，用于获取待检测图像；
处理模块，用于将所述待检测图像输入到神经网络中，得到所述待检测图像的目标密度图；
计算模块，用于根据所述目标密度图各像素的像素值，确定所述待检测图像中的目标对象数量，其中，所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象所在区域内所述中心像素以外像素的像素值不同；且所述目标密度图中一个所述目标对象所在区域内中心像素的像素值，与所述目标对象不在区域内像素的像素值不同。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
预处理模块，用于构建训练数据集；
构建模块，用于确定待训练神经网络的网络结构，其中，所述待训练神经网络的网络结构包括N个卷积层，每个卷积层后面都连接一个非线性激活函数层，其中，N个所述卷积层中的前M个卷积层后面连接有最大池化层，其中，N为正整数；M为小于N的正整数；
训练模块，用于对所述待训练神经网络进行训练，得到训练后的所述神经网络。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5任一项所述方法的步骤。
9.一种目标数量确定设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371395.5A CN111178235A (zh) | 2019-12-27 | 2019-12-27 | 一种目标数量确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911371395.5A CN111178235A (zh) | 2019-12-27 | 2019-12-27 | 一种目标数量确定方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111178235A true CN111178235A (zh) | 2020-05-19 |
Family
ID=70652218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911371395.5A Pending CN111178235A (zh) | 2019-12-27 | 2019-12-27 | 一种目标数量确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111178235A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738136A (zh) * | 2020-06-19 | 2020-10-02 | 新希望六和股份有限公司 | 显微对象的数量确定方法、装置、计算机设备和存储介质 |
| CN112800930A (zh) * | 2021-01-25 | 2021-05-14 | 北京市商汤科技开发有限公司 | 非机动车计数方法、装置、设备及存储介质 |
| CN112801377A (zh) * | 2021-01-29 | 2021-05-14 | 腾讯大地通途（北京）科技有限公司 | 一种对象估计方法、装置、设备及存储介质 |
| CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
| CN109697435A (zh) * | 2018-12-14 | 2019-04-30 | 重庆中科云从科技有限公司 | 人流量监测方法、装置、存储介质及设备 |
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
-
2019
- 2019-12-27 CN CN201911371395.5A patent/CN111178235A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016183766A1 (en) * | 2015-05-18 | 2016-11-24 | Xiaogang Wang | Method and apparatus for generating predictive models |
| CN109271960A (zh) * | 2018-10-08 | 2019-01-25 | 燕山大学 | 一种基于卷积神经网络的人数统计方法 |
| CN109697435A (zh) * | 2018-12-14 | 2019-04-30 | 重庆中科云从科技有限公司 | 人流量监测方法、装置、存储介质及设备 |
| CN109858461A (zh) * | 2019-02-21 | 2019-06-07 | 苏州大学 | 一种密集人群计数的方法、装置、设备以及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 姚锡凡等, 华中科技大学出版社 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738136A (zh) * | 2020-06-19 | 2020-10-02 | 新希望六和股份有限公司 | 显微对象的数量确定方法、装置、计算机设备和存储介质 |
| CN112800930A (zh) * | 2021-01-25 | 2021-05-14 | 北京市商汤科技开发有限公司 | 非机动车计数方法、装置、设备及存储介质 |
| CN112801377A (zh) * | 2021-01-29 | 2021-05-14 | 腾讯大地通途（北京）科技有限公司 | 一种对象估计方法、装置、设备及存储介质 |
| CN112801377B (zh) * | 2021-01-29 | 2023-08-22 | 腾讯大地通途（北京）科技有限公司 | 一种对象估计方法、装置、设备及存储介质 |
| CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10735694B2 (en) | System and method for activity monitoring using video data | |
| CN111178235A (zh) | 一种目标数量确定方法、装置、设备及存储介质 | |
| EP3806064B1 (en) | Method and apparatus for detecting parking space usage condition, electronic device, and storage medium | |
| CN110245579B (zh) | 人流密度预测方法及装置、计算机设备及可读介质 | |
| CN109359520B (zh) | 人群计数方法、系统、计算机可读存储介质及服务器 | |
| CN112329702B (zh) | 一种快速人脸密度预测和人脸检测方法、装置、电子设备及存储介质 | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN111783589B (zh) | 基于场景分类和多尺度特征融合的复杂场景人群计数方法 | |
| CN110472599B (zh) | 对象数量确定方法、装置、存储介质与电子设备 | |
| Luo et al. | Traffic analytics with low-frame-rate videos | |
| CN110942456B (zh) | 篡改图像检测方法、装置、设备及存储介质 | |
| Ma et al. | Scene invariant crowd counting using multi‐scales head detection in video surveillance | |
| CN112651398A (zh) | 车辆的抓拍控制方法、装置及计算机可读存储介质 | |
| CN110298302B (zh) | 一种人体目标检测方法及相关设备 | |
| Li et al. | Time-spatial multiscale net for vehicle counting and traffic volume estimation | |
| CN113450575B (zh) | 一种路侧停车的管理方法及装置 | |
| He et al. | A double-region learning algorithm for counting the number of pedestrians in subway surveillance videos | |
| CN112989916A (zh) | 一种结合密度估计与目标检测的人群计数方法 | |
| CN112287905A (zh) | 车辆损伤识别方法、装置、设备及存储介质 | |
| Mago et al. | Optimized outdoor parking system for smart cities using advanced saliency detection method and hybrid features extraction model | |
| CN112348011B (zh) | 一种车辆定损方法、装置及存储介质 | |
| CN115346143A (zh) | 行为检测方法、电子设备、计算机可读介质 | |
| CN114519842A (zh) | 基于高位视频监控的车辆匹配关系判断方法以及装置 | |
| Cao et al. | Robust crowd counting based on refined density map | |
| CN112348044A (zh) | 车牌检测方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200519 |