CN114170188A - 一种俯视图像的目标计数方法、系统及存储介质 - Google Patents
一种俯视图像的目标计数方法、系统及存储介质 Download PDFInfo
- Publication number
- CN114170188A CN114170188A CN202111496641.7A CN202111496641A CN114170188A CN 114170188 A CN114170188 A CN 114170188A CN 202111496641 A CN202111496641 A CN 202111496641A CN 114170188 A CN114170188 A CN 114170188A
- Authority
- CN
- China
- Prior art keywords
- image
- counting
- density map
- counted
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000012549 training Methods 0.000 claims abstract description 49
- 238000003062 neural network model Methods 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000003044 adaptive effect Effects 0.000 claims abstract description 13
- 230000006978 adaptation Effects 0.000 claims description 20
- 238000011176 pooling Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005316 response function Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 17
- 238000001514 detection method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- WDLRUFUQRNWCPK-UHFFFAOYSA-N Tetraxetan Chemical compound OC(=O)CN1CCN(CC(O)=O)CCN(CC(O)=O)CCN(CC(O)=O)CC1 WDLRUFUQRNWCPK-UHFFFAOYSA-N 0.000 description 4
- 238000002679 ablation Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30242—Counting objects in image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种俯视图像的目标计数方法，其特征在于，包括以下步骤：步骤S1，采集俯视图像并生成图像数据集。步骤S2，利用几何自适应高斯卷积方法对图像数据集进行处理。步骤S3，构建回归计数神经网络模型。步骤S4，将真实密度图集作为训练集输入到回归计数神经网络模型进行监督训练，得到训练完成的回归计数神经网络模型。步骤S5，利用几何自适应高斯卷积方法对待计数图像进行处理。步骤S6，待计数图像的真实密度图输入到训练完成的回归计数神经网络模型。步骤S7，对待计数图像的预测密度图进行积分，得到待计数图像的目标个数。本发明提供一种俯视图像的目标计数系统。本发明提供一种俯视图像的目标计数存储介质。
Description
技术领域
本发明涉及一种俯视图像的目标计数方法、系统及存储介质。
背景技术
随着城市化建设速度的加快，道路车辆数量愈发变多，城市的道路系统也愈加复杂，导致车辆与道路之间的关系变得更难以处理。能够实现准确的车辆计数，了解路面车辆信息，对于现代的道路系统建设与道路交通资源再分配有着重要意义，而常用的基于路口摄像头的车辆计数存在着目标易被遮挡，方向单一的问题。而利用光学遥感技术与无人机航拍技术所得到的俯视视角图像，包含着更广阔的空间范围，可以对大范围道路进行直接监测，得出道路的全局信息，此外，其具有的俯视视角特性减少了车辆被遮挡的可能性，可以提高识别精度，这使得对道路车辆进行系统全面的计数成为可能。
目前通用的目标计数采用基于检测的计数方法和基于回归的计数方法。基于检测的方法是参考目标检测模型，在计数任务中，都是先生成目标的检测框并给出预测概率值，再对检测框的数量进行统计，得出最终的计数结果；基于回归的方法是参考回归计数模型，直接对整张图像生成预测的密度图，再对密度图进行逐位积分，得到整体数量的统计。对于较为密集的目标，回归计数可以忽略精确的定位，达到更好的计数效果，而检测计数可以在计数的同时保证目标的定位效果和可解释性。但是，目前的两种方法在面对俯视图像的车辆计数中都存在着以下缺陷：一方面，通用方法缺少对目标比例变化的适应性，在多尺度目标图像的计数中效果欠佳，另一方面，通用方法对目标密集区域的计数稳定性较差。因此，亟需设计一种能够克服上述缺陷的技术方案。
发明内容
为解决上述问题，提供一种俯视图像的目标计数方法、系统及存储介质，本发明采用了如下技术方案：
本发明提供了一种俯视图像的目标计数方法，其特征在于，包括以下步骤：步骤S1，采集俯视图像，并生成图像数据集。步骤S2，利用几何自适应高斯卷积方法对图像数据集进行处理，得到真实密度图集。步骤S3，构建回归计数神经网络模型。步骤S4，将真实密度图集作为训练集输入到回归计数神经网络模型，利用损失函数Loss进行监督训练，当满足训练结束条件，训练结束并得到训练完成的回归计数神经网络模型。步骤S5，利用几何自适应高斯卷积方法对待计数图像进行处理，得到待计数图像的真实密度图。步骤S6，待计数图像的真实密度图输入到训练完成的回归计数神经网络模型，得到待计数图像的预测密度图。步骤S7，对待计数图像的预测密度图进行积分，得到待计数图像的目标个数。其中，回归计数神经网络模型包括基于VGG-16的预训练模块、注意力模块、多尺度适应模块和方向适应模块。注意力模块包括卷积层、softmax层和全连接层。多尺度适应模块包括多尺度卷积层、池化层和全连接层。方向适应模块包括卷积层、可变形卷积层、可变形池化层和全连接层。几何自适应高斯卷积方法的计算公式为：
式中，N为图像中计数目标的个数，xi是所要计数的目标在图像中的坐标，x为坐标变量，
为冲激函数，
表示图像中计数目标的冲击响应函数，F(x)为真实密度图集中的某一真实密度图的像素，
为自适应的高斯核，σi为高斯核的标准差。
本发明提供的一种俯视图像的目标计数方法，还可以具有这样的技术特征，其中，损失函数Loss的具体表达式为：
式中，L(θ)为欧几里得距离，SSIM为图像结构相似性的损失函数，λ为权重参数。
本发明提供的一种俯视图像的目标计数方法，还可以具有这样的技术特征，其中，步骤S2中的几何自适应高斯卷积方法包括以下步骤：步骤S2-1，利用K-d树在俯视图像中确定三个与计数目标之间的距离最近的临近目标，并计算计数目标与三个临近目标的平均距离，得到自适应的高斯核
步骤S2-2，从K-d树端点依次用垂直线和水平线来分割俯视图像中，俯视图像一侧的点归为左子树，另一侧的点归为右子树，将图像上的无序点划分出树形结构。步骤S2-3，得到树形结构后，自上而下遍历的搜索与计数目标点的最临近的点。步骤S2-4，根据最临近的点和计数目标之间的距离，估算计数目标的大小，并生成真实密度图。
本发明提供的一种俯视图像的目标计数方法，还可以具有这样的技术特征，其中，欧几里得距离L(θ)的具体表达式为：
式中，Fi为真实密度图集中的某一真实密度图的向量表达函数，Fi′为由某一真实密度图经过训练得到的某一预测密度图的向量表达函数。
本发明提供的一种俯视图像的目标计数方法，还可以具有这样的技术特征，其中，图像结构相似性的损失函数SSIM的具体表达式为：
式中，μe为真实密度图集中的某一真实密度图的均值，μg为由某一真实密度图经过训练得到的某一预测密度图的均值，σe为某一真实密度图的方差，σg为某一预测密度图的方差，σeg代表某一真实密度图与某一预测密度图之间的协方差，c1和c2为平滑系数。
本发明提供的一种俯视图像的目标计数方法，还可以具有这样的技术特征，其中，训练结束条件是训练次数达到预定次数。
本发明提供的一种俯视图像的目标计数系统，其特征在于，包括：数据获取模块，采集俯视图像，并生成图像数据集。真实密度图集生成模块，利用几何自适应高斯卷积方法对图像数据集进行处理，得到真实密度图集。构建网络模型模块，构建回归计数神经网络模型。网络模型训练模块，将真实密度图集作为训练集输入到回归计数神经网络模型，利用损失函数Loss进行监督训练，当满足训练结束条件，训练结束并得到训练完成的回归计数神经网络模型。待计数处理模块，利用几何自适应高斯卷积方法对待计数图像进行处理，得到待计数图像的真实密度图。待计数输入模块，待计数图像的真实密度图输入到训练完成的回归计数神经网络模型，得到待计数图像的预测密度图。计数结果输出模块，对待计数图像的预测密度图进行积分，得到待计数图像的目标个数。其中，回归计数神经网络模型包括基于VGG-16的预训练模块、注意力模块、多尺度适应模块和方向适应模块。注意力模块包括卷积层，softmax层，全连接层。多尺度适应模块包括多尺度卷积层，池化层，全连接层。方向适应模块包括卷积层，可变形卷积层，可变形池化层，全连接层。几何自适应高斯卷积方法的计算公式为：
式中，N为图像中计数目标的个数，xi是所要计数的目标在图像中的坐标，x为坐标变量，
为冲激函数，
表示图像中计数目标的冲击响应函数，F(x)为真实密度图集中的某一真实密度图的像素，
为自适应的高斯核，σi为高斯核的标准差。
本发明提供的一种计算机可读的存储介质，用于存储计算机程序，其特征在于，计算机程序被配置成执行时实现权利要求1到6中任一项的俯视图像的目标计数方法的步骤。
发明作用与效果
根据本发明的一种俯视图像的目标计数方法、系统及存储介质，首先，本发明通过构建回归计数神经网络模型，并进行训练，再利用整体的密度图进行积分，得到计算出目标个数，避免了检测计数方法中需要对每一个目标进行精确定位的过程，有着较高的计数精度。
其次，本发明利用几何自适应高斯方法对俯视图像进行卷积处理。一方面，提高了对俯视图像中的密集小目标的检测能力，提升了计数精度，另一方面，通过生成更为清晰的真实密度图，直观反映图像数据中目标的分布情况。并且真实密度图的生成过程不需要选择高斯核设置参数，规避了控制参数选择的难题。
最后，本发明中利用几何自适应高斯方法可以应对密集小目标的尺度变化，可以解决如车辆，船只，建筑物等具有相似结构的目标计数问题。为交通部门的道路建设规划，交通流量预测，交通人为疏导提供一定的数据支持，降低道路发生拥堵及出现危险事故的可能性，对已出现的交通问题作出迅速的调整。
附图说明
图1是本发明实施例中的俯视图像的目标计数方法流程示意图；
图2是本发明实施例中的K-d树划分样图；
图3是本发明实施例中的分别使用固定高斯核方法和几何自适应高斯卷积方法所生成的真实密度图对比示意图；
图4是本发明实施例中的俯视图像的目标计数方法与ASPDNet及SSD方法的MAE与RSME结果对比示意图；
图5是本发明实施例中的俯视图像的目标计数方法与消融部分模块的MAE与RSME结果对比示意图；
图6是本发明实施例中的俯视图像的目标计数方法与ASPDNet及SSD方法的生成密度图结果对比；
图7是本发明实施例中的俯视图像的目标计数系统结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的一种俯视图像的目标计数方法、系统及存储介质作具体阐述。
<实施例>
图1是本发明实施例中的俯视图像的目标计数方法流程示意图。
如图1所示，本实施例中提供的一种俯视图像的目标计数方法包括以下步骤：
步骤S1，采集俯视图像，并生成图像数据集。
本实施例中从DOTA数据集中选取了一定的图片来做为本文数据集的基础。DOTA数据集是从中国资源卫星数据和应用中心提供的卫星以及航拍图像中收集的图片，包含15种类别，是一个用于航空目标检测的大规模的数据集。图片选择时，满足遥感图像中目标计数的特点，选择的都为较为复杂的情况，每张图片上都包含了数百个汽车的实例，且车辆的分布较为密集，涵盖了各种场景，包括停车场，城镇，村庄等。并将DOTA数据集给定的用旋转的四边形边界框标记的目标注释调整为中心点标注的方式，把四个角的坐标取平均得到物体的中心点坐标，并仅用该中心点对物体进行标记，该标注方式仅考虑了目标的位置特点，忽略目标的大小与方向，加快了学习的速度，适应后续回归任务中密度图的生成。
步骤S2，利用几何自适应高斯卷积方法对图像数据集进行处理，得到真实密度图集。
几何自适应高斯卷积方法的计算公式为：
式中，N为图像中计数目标的个数，xi是所要计数的目标在图像中的坐标，x为坐标变量，
为冲激函数，
表示图像中计数目标的冲击响应函数，F(x)为真实密度图集中的某一真实密度图的像素，
为自适应的高斯核，σi为高斯核的标准差。
本实施例中采用的是几何自适应高斯卷积方法。这种方法的基本思想就是用检测物体的大小来确定高斯核的大小，让高斯模糊效果与目标大小相适应。
但在考虑不同图片中目标大小差异的问题时，由于回归模型中图片的检测目标仅标记了中心点，目标的大小无法直接确定，所以本实施例采用用目标间距离估计目标大小的方式。
步骤S2包括以下步骤：
图2是本发明实施例中的K-d树划分样图。
如图2所示，步骤S2-1，利用K-d树在俯视图像中确定三个与计数目标之间的距离最近的临近目标，并计算计数目标与三个临近目标的平均距离，得到自适应的高斯核
步骤S2-2，从K-d树端点依次用垂直线和水平线来分割俯视图像中，俯视图像一侧的点归为左子树，另一侧的点归为右子树，将图像上的无序点划分出树形结构。
步骤S2-3，得到树形结构后，自上而下遍历的搜索与计数目标点的最临近的点。
步骤S2-4，根据最临近的点和计数目标之间的距离，估算计数目标的大小，并生成真实密度图。
图3是本发明实施例中的分别使用固定高斯核方法和几何自适应高斯卷积方法所生成的真实密度图对比示意图。
如图3所示，几何自适应高斯卷积方法，相比于固定高斯核方法，在处理密集小物体时，通过调整高斯核的大小，可以在密集的区域中降低模糊的效果，产生更加清晰的边界，更加有利于网络的学习。
步骤S3，构建回归计数神经网络模型。
回归计数神经网络模型包括基于VGG-16的预训练模块、注意力模块、多尺度适应模块、方向适应模块和结果输出模块。
基于VGG-16的预训练模块包括13个卷积层和3个全链接层，用于进行图像预训练。
注意力模块包括卷积层、softmax层和全连接层。
多尺度适应模块包括多尺度卷积层、池化层和全连接层。
方向适应模块包括卷积层、可变形卷积层、可变形池化层和全连接层。
结果输出模块，将需要预测的图像测试集导入已经训练好的神经网络，对生成密度图进行逐位积分，得出预测的目标计数结果，并与真实的数量值进行比较。计算该模型的准确程度。
步骤S4，将真实密度图集作为训练集输入到回归计数神经网络模型，利用损失函数Loss进行监督训练，当满足训练结束条件，训练结束并得到训练完成的回归计数神经网络模型。
损失函数Loss的具体表达式为：
式中，L(θ)为欧几里得距离，SSIM为图像结构相似性的损失函数，λ为权重参数。
其中，欧几里得距离L(θ)的具体表达式为：
式中，Fi为所述真实密度图集中的某一真实密度图的向量表达函数，Fi′为由所述某一真实密度图经过训练得到的某一预测密度图的向量表达函数。
图像结构相似性的损失函数SSIM的具体表达式为：
式中，μe为所述真实密度图集中的某一真实密度图的均值，μg为由所述某一真实密度图经过训练得到的某一预测密度图的均值，σe为所述某一真实密度图的方差，σg为所述某一预测密度图的方差，σeg代表所述某一真实密度图与所述某一预测密度图之间的协方差，c1和c2为平滑系数。
当训练次数达到预定次数100次时，训练结束并得到训练完成的回归计数神经网络模型。
步骤S5，利用几何自适应高斯卷积方法对待计数图像进行处理，得到待计数图像的真实密度图。
步骤S6，待计数图像的真实密度图输入到训练完成的回归计数神经网络模型，得到待计数图像的预测密度图。
步骤S7，对待计数图像的预测密度图进行积分，得到待计数图像的目标个数。
ASPDNet方法是2020年提出的遥感目标计数方法，SSD方法是传统的目标检测计数方法。
采用均值绝对误差MAE和均方根误差RMSE两种常用的计数评价指标来评估本实施例中的方法与两个方法的技术性能。
均值绝对误差MAE的具体表达式为：
均方根误差RMSE的具体表达式为：
式中，n是测试图像的数量，
表示第i个图像的预测计数，Ci表示第i个图像的地面真实计数。
MAE是一种线性分数，对于所有图像都有着相同的权重，能通过最简单的方式来把握计数的整体准确程度，RMSE对于偏差较大的数据更为敏感，相较于MAE，更能反映出模型整体的稳定程度。这两个指标衡量了计数结果的准确度和稳定性，本实施例采用两种指标结合的方式综合判断模型的效果。
具体的实验设定如下，在Pytorch框架下实现。输入为本文筛选，预处理后的DOTA下的卫星遥感车辆图像，图片大小不一，回归模型输出为图片的预测密度图及对密度图逐位积分后得到的预测车辆数，检测模型输出为图片中目标检测的框选图及候选框的数量和作为预测车辆数。模型学习率初始值为0.001，训练20个批次后，学习率下降5倍，一共训练100个批次。实验的流程是：先使用本申请提出的方法与两种对比方法进行实验，在验证集上得出MAE，RMSE指标。再进行消融实验，来验证所发明模块对整体效果的影响。在对照实验与消融实验中，均采用100批次训练后的结果进行对比。
图4是本发明实施例中的俯视图像的目标计数方法与ASPDNet及SSD方法的MAE与RSME结果对比示意图。
如图4所示，本实施例提供的俯视图像的目标计数方法和ASPDNet计数方法的MAE与RMSE值远低于SSD计数方法，本实施例中的俯视图像的目标计数方法，效果比其他两种方法好。
图5是本发明实施例中的俯视图像的目标计数方法与消融部分模块的MAE与RSME结果对比示意图。
如图5所示，本实施例采用了几何自适应高斯卷积方法对数据进行处理，对于整体MAE和RMSE的提升效果不够明显。因为虽然改变卷积核的大小，从而改变了生成密度图的清晰准确程度，但对于整体计数效果提升作用并不明显。然而本实施例采用了SSIM损失函数的优化对于整体的效果有一个较为明显的提升，尤其是在RMSE上提升效果更为显著，是因为加入了SSIM在一定程度缓解了单纯欧式距离损失中容易被个别的极端像素点影响的问题，改进后提高了整个模型的稳定性。证明了两种模块都具有有效性。
图6是本发明实施例中的俯视图像的目标计数方法与ASPDNet及SSD方法的生成密度图结果对比。
如图6所示，在迭代训练相同次数的情况下，本实施例提供的俯视图像的目标计数方法所生成的密度图分层更为清晰，与原俯视图像相比，相似度也更高。因为优化了真实密度图的生成方式，使得初始学习到的关于图像真实情况就更为清晰准确，而引入了结构相似性这一数值作为损失函数的一部分，也让生成密度图的整体图片结构与真实密度图更为相似，减少了孤立点与特殊点对生成图像的影响，更关注于整体的结构。从图像演示可以看出，尤其是在面对检测目标较为密集区域的时候，密度图与原图位置重合度较高，效果提升更加明显。
本实施例还提供一种俯视图像的目标计数系统。
图7是本发明实施例中的俯视图像的目标计数系统结构示意图。
如图7所示，本实施例中提供一种俯视图像的目标计数系统10，包括数据获取模块11、真实密度图集生成模块12、构建网络模型模块13、网络模型训练模块14、待计数处理模块15、待计数输入模块16、计数结果输出模块17以及用于控制上述各模块的系统控制模块18。该系统10可以通过相应的各个模块执行如上述步骤S1-S7的流程，并实现对俯视图像的目标计数。
另外，本实施例中还提供一种计算机存储介质，计算机存储介质存储计算机可执行指令，可执行指令用于使计算机执行本发明。
实施例作用与效果
根据本实施例提供的一种俯视图像的目标计数方法、系统及存储介质，首先，本发明通过构建回归计数神经网络模型，并进行训练，再利用整体的密度图进行积分，得到计算出目标个数，避免了检测计数方法中需要对每一个目标进行精确定位的过程，有着较高的计数精度。
其次，本发明利用几何自适应高斯方法对俯视图像进行卷积处理。一方面，提高了对俯视图像中的密集小目标的检测能力，提升了计数精度，另一方面，通过生成更为清晰的真实密度图，直观反映图像数据中目标的分布情况。并且真实密度图的生成过程不需要选择高斯核设置参数，规避了控制参数选择的难题。
最后，本发明中利用几何自适应高斯方法可以应对密集小目标的尺度变化，可以解决如车辆，船只，建筑物等具有相似结构的目标计数问题。为交通部门的道路建设规划，交通流量预测，交通人为疏导提供一定的数据支持，降低道路发生拥堵及出现危险事故的可能性，对已出现的交通问题作出迅速的调整。
上述实施例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例的描述范围。
Claims (8)
1.一种俯视图像的目标计数方法，其特征在于，包括以下步骤：
步骤S1，采集俯视图像，并生成图像数据集；
步骤S2，利用几何自适应高斯卷积方法对所述图像数据集进行处理，得到真实密度图集；
步骤S3，构建回归计数神经网络模型；
步骤S4，将所述真实密度图集作为训练集输入到回归计数神经网络模型，利用损失函数Loss进行监督训练，当满足训练结束条件，训练结束并得到训练完成的回归计数神经网络模型；
步骤S5，利用所述几何自适应高斯卷积方法对所述待计数图像进行处理，得到所述待计数图像的真实密度图；
步骤S6，所述待计数图像的真实密度图输入到所述训练完成的回归计数神经网络模型，得到所述待计数图像的预测密度图；
步骤S7，对所述待计数图像的预测密度图进行积分，得到所述待计数图像的目标个数，
其中，所述回归计数神经网络模型包括基于VGG-16的预训练模块、注意力模块、多尺度适应模块、方向适应模块和结果输出模块，
所述所述注意力模块包括卷积层、softmax层和全连接层，
所述多尺度适应模块包括多尺度卷积层、池化层和全连接层，
所述方向适应模块包括卷积层、可变形卷积层、可变形池化层和全连接层，
所述几何自适应高斯卷积方法的计算公式为：
式中，N为图像中计数目标的个数，xi是所要计数的目标在图像中的坐标，x为坐标变量，
为冲激函数，
表示图像中计数目标的冲击响应函数，F(x)为所述真实密度图集中的某一真实密度图的像素，
为自适应的高斯核，σi为所述高斯核的标准差。
2.根据权利要求1所述的一种俯视图像的目标计数方法，其特征在于：
其中，所述损失函数Loss的具体表达式为：
式中，L(θ)为欧几里得距离，SSIM为图像结构相似性的损失函数，λ为权重参数。
3.根据权利要求2所述的一种俯视图像的目标计数方法，其特征在于：
其中，所述步骤S2中的所述几何自适应高斯卷积方法包括以下步骤：
步骤S2-1，利用K-d树在所述俯视图像中确定三个与计数目标之间的距离最近的临近目标，并计算所述计数目标与三个所述临近目标的平均距离，得到所述自适应的高斯核
步骤S2-2，从K-d树端点依次用垂直线和水平线来分割所述俯视图像中，所述俯视图像一侧的点归为左子树，另一侧的点归为右子树，将图像上的无序点划分出树形结构；
步骤S2-3，得到所述树形结构后，自上而下遍历的搜索与所述计数目标点的最临近的点；
步骤S2-4，根据所述最临近的点和所述计数目标之间的距离，估算计数目标的大小，并生成真实密度图。
4.根据权利要求1所述的一种俯视图像的目标计数方法，其特征在于：
其中，所述欧几里得距离L(θ)的具体表达式为：
式中，Fi为所述真实密度图集中的某一真实密度图的向量表达函数，Fi′为由所述某一真实密度图经过训练得到的某一预测密度图的向量表达函数。
5.根据权利要求1所述的一种俯视图像的目标计数方法，其特征在于：
其中，所述图像结构相似性的损失函数SSIM的具体表达式为：
式中，μe为所述真实密度图集中的某一真实密度图的均值，μg为由所述某一真实密度图经过训练得到的某一预测密度图的均值，σe为所述某一真实密度图的方差，σg为所述某一预测密度图的方差，σeg代表所述某一真实密度图与所述某一预测密度图之间的协方差，c1和c2为平滑系数。
6.根据权利要求1所述的一种俯视图像的目标计数方法，其特征在于：
其中，所述训练结束条件是训练次数达到预定次数。
7.一种俯视图像的目标计数系统，其特征在于，包括：
数据获取模块，采集俯视图像，并生成图像数据集；
真实密度图集生成模块，利用几何自适应高斯卷积方法对所述图像数据集进行处理，得到真实密度图集；
构建网络模型模块，构建回归计数神经网络模型；
网络模型训练模块，将所述真实密度图集作为训练集输入到回归计数神经网络模型，利用损失函数Loss进行监督训练，当满足训练结束条件，训练结束并得到训练完成的回归计数神经网络模型；
待计数处理模块，利用所述几何自适应高斯卷积方法对所述待计数图像进行处理，得到所述待计数图像的真实密度图；
待计数输入模块，所述待计数图像的真实密度图输入到所述训练完成的回归计数神经网络模型，得到所述待计数图像的预测密度图；
计数结果输出模块，对所述待计数图像的预测密度图进行积分，得到所述待计数图像的目标个数，
其中，所述回归计数神经网络模型包括基于VGG-16的预训练模块、注意力模块、多尺度适应模块和方向适应模块，
所述所述注意力模块包括卷积层，softmax层，全连接层，
所述多尺度适应模块包括多尺度卷积层，池化层，全连接层，
所述方向适应模块包括卷积层，可变形卷积层，可变形池化层，全连接层，
所述几何自适应高斯卷积方法的计算公式为：
式中，N为图像中计数目标的个数，xi是所要计数的目标在图像中的坐标，x为坐标变量，
为冲激函数，
表示图像中计数目标的冲击响应函数，F(x)为所述真实密度图集中的某一真实密度图的像素，
为自适应的高斯核，σi为所述高斯核的标准差。
8.一种计算机可读的存储介质，用于存储计算机程序，其特征在于，所述计算机程序被配置成执行时实现所述权利要求1到6中任一项所述的俯视图像的目标计数方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111496641.7A CN114170188A (zh) | 2021-12-09 | 2021-12-09 | 一种俯视图像的目标计数方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111496641.7A CN114170188A (zh) | 2021-12-09 | 2021-12-09 | 一种俯视图像的目标计数方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114170188A true CN114170188A (zh) | 2022-03-11 |
Family
ID=80484703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111496641.7A Pending CN114170188A (zh) | 2021-12-09 | 2021-12-09 | 一种俯视图像的目标计数方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170188A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012719A (zh) * | 2023-03-27 | 2023-04-25 | 中国电子科技集团公司第五十四研究所 | 一种基于多实例学习的弱监督旋转目标检测方法 |
| CN117789140A (zh) * | 2024-02-23 | 2024-03-29 | 潍坊先进光电芯片研究院 | 基于端到端网络的车流识别与计数方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876774A (zh) * | 2018-06-07 | 2018-11-23 | 浙江大学 | 一种基于卷积神经网络的人群计数方法 |
| CN111242036A (zh) * | 2020-01-14 | 2020-06-05 | 西安建筑科技大学 | 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法 |
| CN112084868A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于注意力机制的遥感图像中目标计数方法 |
| CN112949579A (zh) * | 2021-03-30 | 2021-06-11 | 上海交通大学 | 一种基于密集卷积块神经网络的目标融合检测系统及方法 |
-
2021
- 2021-12-09 CN CN202111496641.7A patent/CN114170188A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108876774A (zh) * | 2018-06-07 | 2018-11-23 | 浙江大学 | 一种基于卷积神经网络的人群计数方法 |
| CN111242036A (zh) * | 2020-01-14 | 2020-06-05 | 西安建筑科技大学 | 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法 |
| CN112084868A (zh) * | 2020-08-10 | 2020-12-15 | 北京航空航天大学 | 一种基于注意力机制的遥感图像中目标计数方法 |
| CN112949579A (zh) * | 2021-03-30 | 2021-06-11 | 上海交通大学 | 一种基于密集卷积块神经网络的目标融合检测系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 朱宇斌等: ""一种面向人群计数的卷积注意力网络模型"", 《计算机工程与应用》 * |
| 王陆洋: ""基于卷积神经网络的图像人群计数研究"", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116012719A (zh) * | 2023-03-27 | 2023-04-25 | 中国电子科技集团公司第五十四研究所 | 一种基于多实例学习的弱监督旋转目标检测方法 |
| CN117789140A (zh) * | 2024-02-23 | 2024-03-29 | 潍坊先进光电芯片研究院 | 基于端到端网络的车流识别与计数方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109932730B (zh) | 基于多尺度单极三维检测网络的激光雷达目标检测方法 | |
| CN109087510B (zh) | 交通监测方法及装置 | |
| CN111242041B (zh) | 基于伪图像技术的激光雷达三维目标快速检测方法 | |
| CN110533722A (zh) | 一种基于视觉词典的机器人快速重定位方法及系统 | |
| CN110866887A (zh) | 一种基于多传感器的目标态势融合感知方法和系统 | |
| CN112101278A (zh) | 基于k近邻特征提取和深度学习的宅基地点云分类方法 | |
| CN111626128A (zh) | 一种基于改进YOLOv3的果园环境下行人检测方法 | |
| US11430087B2 (en) | Using maps comprising covariances in multi-resolution voxels | |
| CN114170188A (zh) | 一种俯视图像的目标计数方法、系统及存储介质 | |
| CN112798811B (zh) | 速度测量方法、装置和设备 | |
| US11288861B2 (en) | Maps comprising covariances in multi-resolution voxels | |
| CN113468968B (zh) | 一种基于无锚框的遥感图像旋转目标检测方法 | |
| CN111091023B (zh) | 一种车辆检测方法、装置及电子设备 | |
| CN105956632A (zh) | 一种检测目标的方法和装置 | |
| CN114049572A (zh) | 识别小目标的检测方法 | |
| CN114994635A (zh) | 一种智能驾驶可行驶区域检测方法和装置 | |
| CN110909656B (zh) | 一种雷达与摄像机融合的行人检测方法和系统 | |
| Wen et al. | Research on 3D point cloud de-distortion algorithm and its application on Euclidean clustering | |
| CN112699748B (zh) | 基于yolo及rgb图像的人车距离估计方法 | |
| Sun et al. | Decoupled feature pyramid learning for multi-scale object detection in low-altitude remote sensing images | |
| CN113160117A (zh) | 一种自动驾驶场景下的三维点云目标检测方法 | |
| CN109063543B (zh) | 一种考虑局部形变的视频车辆重识别方法、系统及装置 | |
| CN116628531A (zh) | 众包地图道路对象要素聚类方法、系统及存储介质 | |
| CN115035164A (zh) | 一种运动目标识别方法及装置 | |
| Wang et al. | A 64-line Lidar-based road obstacle sensing algorithm for intelligent vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220311 |