CN114241411A - 基于目标检测的计数模型处理方法、装置及计算机设备 - Google Patents
基于目标检测的计数模型处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114241411A CN114241411A CN202111537447.9A CN202111537447A CN114241411A CN 114241411 A CN114241411 A CN 114241411A CN 202111537447 A CN202111537447 A CN 202111537447A CN 114241411 A CN114241411 A CN 114241411A
- Authority
- CN
- China
- Prior art keywords
- map
- attention
- standard
- crowd
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 33
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 238000010586 diagram Methods 0.000 claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000004364 calculation method Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 23
- 238000004422 calculation algorithm Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000003708 edge detection Methods 0.000 claims description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000005728 strengthening Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例属于人工智能领域，涉及一种基于目标检测的计数模型处理方法、装置、计算机设备及存储介质，方法包括：获取带有标签的原始图像；将原始图像输入初始计数模型，以通过模型的第一分支网络生成密度图，通过第二分支网络生成注意力图和人群边界图；将注意力图与人群边界图进行融合得到修正注意力图；基于标签，生成标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图计算联合损失；根据联合损失调整初始计数模型，直至联合损失满足训练停止条件，得到计数模型。此外，本申请还涉及区块链技术，训练样本集可存储于区块链中。本申请提高了计数模型的准确性。
Description
技术领域
本申请涉及人工智能技术领域，尤其涉及一种基于目标检测的计数模型处理方法、装置、计算机设备及存储介质。
背景技术
在计算机视觉领域，人群计数的应用越来越广泛。双分支网络是人群计数中的一种解决方案，由一个分支网络生成密度图，一个分支网络生成注意力图，然后依据密度图和注意力图进行人群计数。然而，双分支网络生成的注意力图通常较为粗略，误差较大，直接依靠这样的注意力图进行人群计数，会降低人群计数的准确性。
发明内容
本申请实施例的目的在于提出一种基于目标检测的计数模型处理方法、装置、计算机设备及存储介质，以解决人群计数准确性较低的问题。
为了解决上述技术问题，本申请实施例提供一种基于目标检测的计数模型处理方法，采用了如下所述的技术方案：
获取由带有标签的原始图像构成的训练样本集；
将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
为了解决上述技术问题，本申请实施例还提供一种基于目标检测的计数模型处理装置，采用了如下所述的技术方案：
样本集获取模块，用于获取由带有标签的原始图像构成的训练样本集；
图像输入模块，用于将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
注意力修正模块，用于将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
标准生成模块，用于基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
损失计算模块，用于基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
模型调整模块，用于根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
获取由带有标签的原始图像构成的训练样本集；
将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
获取由带有标签的原始图像构成的训练样本集；
将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
与现有技术相比，本申请实施例主要有以下有益效果：先对原始图像提取特征图，然后将特征图输入初始计数模型的第一分支网络得到密度图，将特征图输入初始计数模型的第二分支网络得到注意力图和人群边界图；人群边界图用于强化注意力图的边界，将注意力图和人群边界图进行融合，对注意力图进行扩大以方便对注意力图的调整，得到修正注意力图；原始图像带有标签，标签记录了人的位置信息，根据标签可以生成准确反应人群位置的标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图，可以从多维度评估模型预测的准确性，得到联合损失；根据联合损失对初始计数模型进行调整，直至训练停止得到计数模型，在训练中，通过生成自适应的人群边界图对注意力图进行调整，而注意力图和密度图用于最后的人群计数，从而提高了生成的计数模型的准确性。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请可以应用于其中的示例性系统架构图；
图2是根据本申请的基于目标检测的计数模型处理方法的一个实施例的流程图；
图3是根据本申请的基于目标检测的计数模型处理装置的一个实施例的结构示意图；
图4是根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器。
需要说明的是，本申请实施例所提供的基于目标检测的计数模型处理方法一般由服务器/执行，相应地，基于目标检测的计数模型处理装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的基于目标检测的计数模型处理方法的一个实施例的流程图。所述的基于目标检测的计数模型处理方法，包括以下步骤：
步骤S201，获取由带有标签的原始图像构成的训练样本集。
在本实施例中，基于目标检测的计数模型处理方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式与终端进行通信。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
具体地，服务器获取训练样本集，训练样本集中包括一定数量的原始图像，原始图像可以是拍摄人群得到的图像，原始图像带有标签，标签可以是原始图像中表征人头(人的头部)的像素点所在的位置。
在一个实施例中，训练样本集可以是ShanghaiTechA数据集，ShanghaiTechA数据集是由上海科技大学发布的人群统计数据集，常用于人群的密度识别。
需要强调的是，为进一步保证上述训练样本集的私密和安全性，上述训练样本集还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
步骤S202，将训练样本集中的原始图像输入初始计数模型，以通过初始计数模型中的第一分支网络生成原始图像的密度图，并通过初始计数模型中的第二分支网络生成原始图像的注意力图和人群边界图。
其中，初始计数模型可以是尚未完成训练的计数模型，计数模型可以用于人群计数。
具体地，服务器将训练样本集中的原始图像输入初始计数模型，初始计数模型可以是双分支网络，包括并列的第一分支网络和第二分支网络；模型输入同时被第一分支网络和第二分支网络处理，其中，第一分支网络输出原始图像的密度图，第二分支网络输出原始图像的注意力图和人群边界图。密生成的密度图、注意力图和人群边界图的大小可以与原始图像相同。
在人群计数中，密度图(density map)常用于人数预测，密度图中各个人头区域的概率之和为1，对密度图进行积分可以得到人群中人的数量；本申请中的注意力图可以给图像的不同像素点分配不同的权重，例如，可以给像素点分配权重1，表示原始图像中对应位置有人；给像素点分配权重0，表示原始图像中对应位置没有人。人群边界图又叫阈值图，可以预测图像中每个位置处的阈值，生成一个二值化的分割图，可以表征人群的边界。
步骤S203，将注意力图与人群边界图进行融合，得到修正注意力图。
具体地，由于注意力图可能不准确，可以对注意力图和人群边界图进行融合，得到修正注意力图。图像融合可以扩大注意力图中表示人群的区域范围，以便对注意力图进行更准确的调整。
进一步的，上述步骤S203可以包括：根据预设的融合函数，对注意力图和人群边界图中对应位置的像素点进行融合计算，得到修正注意力图。
具体地，可以根据预设的融合函数对注意力图和人群边界图进行融合，融合函数又叫DB函数(即Differentiable Binarization，可微的二值化)，融合函数公式可以如下：
其中，k是放大倍数，Pi,j是注意力图，Ti,j是人群边界图，
是生成的修正注意力图。
由于注意力图和人群边界图大小相同，对于注意力图和人群边界图中处于相同位置的像素点，依据融合函数进行融合计算，得到修正注意力图中对应位置的像素点。
本实施例中，根据融合函数对注意力图和人群边界图中对应位置的像素点进行融合计算，从而调整注意力图，得到修正注意力图。
步骤S204，基于标签中的人群位置信息，生成原始图像的标准密度图、标准注意力图和标准人群边界图。
具体地，标签是预先标注得到的，标签记录了原始图像中人群的位置信息，具体可以是原始图像中表示人头的像素点所在的位置，根据标签可以准确地获取到原始图像中人群的分布情况，因此，可以依据标签生成原始图像的标准密度图、标准注意力图和标准人群边界图。
进一步的，上述步骤S204可以包括：根据标签中的人群位置信息，生成原始图像的标注图；对标注图中的各像素点进行高斯核卷积，得到原始图像的标准密度图；基于标准密度图中各像素点的像素值，生成标准注意力图；通过边缘检测算法提取标准注意力图的边界，得到标准人群边界图。
具体地，标签记录了原始图像中的人群位置信息，具体可以是表示人头的像素点所在的位置，先根据标签，生成原始图像的标注图，在标注图中，表示人头的像素点置为1，否则置为0；然后对标注图逐像素地进行高斯核卷积，得到原始图像的标准密度图；再将标准密度图中像素值非零的像素点置为1，像素值为零的像素点保持不变，得到原始图像的标准注意力图；再通过边缘检测算法提取标准注意力图的边界，得到原始图像的标准人群边界图；在一个实施例中，边缘检测算法是Canny边缘检测算法，Canny边缘检测算法是图像边缘检测算法中的经典算法。
生成的标准密度图表征了密度图的真值，生成的注意力图表征了注意力图的真值，生成的人群边界图表征了人群边界的真值，这些真值将用于模型损失的计算，并进一步用于模型的训练。
本实施例中，原始图像标签中的人群位置信息记录了表示人头的像素点的位置，根据标签可以先后生成标准密度图、标准注意力图和标准人群边界图，保证了损失计算和模型训练的实现。
步骤S205，根据密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图计算联合损失。
具体地，先将修正注意力图和密度图进行点乘，得到计数密度图，计数密度图可以用于最后的人群计数。按照预设的损失计算方式分别计算计数密度图和标准密度图之间的误差、修正注意力图和标准注意力图之间的误差、修正人群边界图和标准人群边界图之间的误差；其中，计数密度图和标准密度图的误差反应了初始计数模型在密度图层面的损失，修正注意力图和标准注意力图的误差反应了初始计数模型在注意力图层面的损失，人群边界图和标准人群边界图的误差反应了初始计数模型在人群边界图层面的损失；本申请采用联合损失，联合损失结合了密度图层面、注意力图层面和人群边界图层面上的误差，具有更高的准确性。
进一步的，上述步骤S205可以包括：将密度图和修正注意力图进行点乘，生成计数密度图；根据修正注意力图和标准注意力图计算二分类交叉熵损失，得到第一损失；根据计数密度图和标准密度图计算L2范数损失，得到第二损失；根据人群边界图和标准人群边界图计算L1范数损失，得到第三损失；对第一损失、第二损失和第三损失进行线性运算，得到联合损失。
具体地，先将密度图和修正注意力图进行点乘，在点乘时，对密度图和修正注意力图中对应位置处的像素点进行计算；密度图和修正注意力图的点乘是对密度图的修正，得到计数密度图。可以对计数密度图进行积分，得到原始图像中的人数。
本申请中的损失函数是联合损失函数，由三部分组成，一部分是BCE损失函数(二分类用的交叉熵损失函数)，一部分是L2范数损失函数，一部分是L1范数损失函数。其中，L2范数损失函数也被称为最小平方误差(LSE)。它是把目标值与估计值的差值的平方和最小化；L1范数损失函数也被称为最小绝对值偏差(LAD)或者绝对值损失函数(LAE)，它是把目标值与估计值的绝对差值的总和最小化。
将修正注意力图和标准注意力图代入BCE损失函数计算注意力图层面的二分类交叉熵损失，即第一损失，BCE损失函数可以如下：
其中，N是图像中像素点的数量，yi是修正注意力图中第i个像素点的值，pi是标准注意力图中对应的第i个像素点的值。
将计数密度图和标准密度图代入L2范数损失函数计算密度图层面的L2范数损失，即第二损失，第二损失公式可以如下：
其中，n可以是图像中像素点的数量，yi可以是计数密度图中第i个像素点的值，f(xi)可以是标准密度图中对应的第i个像素点的值。
将人群边界图和标准人群边界图代入L1范数损失函数计算人群边界图层面的L1范数损失，即第三损失，第三损失公式可以如下：
其中，n是图像中像素点的数量，yi是人群边界图中第i个像素点的值，f(xi)是标准人群边界图中对应的第i个像素点的值。
对第一损失、第二损失和第三损失进行线性运算，在线性运算时，令第一损失、第二损失和第三损失分别与预设的系数相乘，然后将相乘后的结果相加，可以得到联合损失；在一个实施例中，第一损失的系数可以为0.1，第二损失的系数可以为1，第三损失的系数可以为1，联合损失L＝0.1×LBCE+L2+L1。
本实施例中，联合损失兼顾了注意力图层面、密度图层面和人群边界图层面的误差，提高了损失计算的准确性。
步骤S206，根据联合损失对初始计数模型进行调整，直至联合损失满足训练停止条件，得到计数模型。
具体地，对初始计数模型进行端到端的训练，以最小化联合损失为训练目标，采用Adam算法(一种对SGD进行优化，可以更有效地更新网络权重的算法)对初始计数模型的模型参数进行调整。
参数调整后，将原始图像输入初始计数模型进行迭代训练，直至得到的联合损失满足训练停止条件，训练停止条件可以是联合损失小于预设的损失阈值，则停止训练，并将训练停止时得到的模型作为计数模型。
本实施例中，先对原始图像提取特征图，然后将特征图输入初始计数模型的第一分支网络得到密度图，将特征图输入初始计数模型的第二分支网络得到注意力图和人群边界图；人群边界图用于强化注意力图的边界，将注意力图和人群边界图进行融合，对注意力图进行扩大以方便对注意力图的调整，得到修正注意力图；原始图像带有标签，标签记录了人的位置信息，根据标签可以生成准确反应人群位置的标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图，可以从多维度评估模型预测的准确性，得到联合损失；根据联合损失对初始计数模型进行调整，直至训练停止得到计数模型，在训练中，通过生成自适应的人群边界图对注意力图进行调整，而注意力图和密度图用于最后的人群计数，从而提高了生成的计数模型的准确性。
进一步的，上述步骤S202可以包括：将训练样本集中的原始图像输入初始计数模型中的特征提取网络，得到原始图像的特征图；将特征图输入初始计数模型中的第一分支网络，得到原始图像的密度图；获取迭代轮次信息；当根据迭代轮次信息确定当前处于第一轮迭代时，指示初始计数模型中的第二分支网络根据特征图预测生成原始图像的注意力图，并根据注意力图生成原始图像的人群边界图；当根据迭代轮次信息确定当前不处于第一轮迭代时，指示第二分支网络根据特征图预测生成原始图像的注意力图和人群边界图。
具体地，初始计数模型可以分为前端和后端两部分，前端可以是特征提取网络，后端包括第一分支网络和第二分支网络。在一个实施例中，第一分支网络和第二分支网络结构相同，由1×1的卷积层和上采样层搭建，但是第一分支网络和第二分支网络的学习目标不同。
先将训练样本集中的原始图像输入初始计数模型中的特征提取网络，原始图像是一种高纬度复杂数据，可以通过特征提取网络从输入的高维复杂数据中提炼紧凑的特征或表示，得到原始图像的特征图。在一个实施例中，可以采用经过ImageNet(ImageNet项目是一个用于视觉对象识别软件研究的大型可视化数据库)预训练的VGG-16(Visual GeometryGroup Network，视觉几何群网络，VGG-16中包含13个卷积层和3个全连接层)网络作为特征提取网络。
特征提取网络生成的特征图输入第一分支网络和第二分支网络中进行并行处理，其中，第一分支网络会预测生成原始图像的密度图，第二分支网络预测生成原始图像的注意力图。
本申请对初始计数模型进行多轮次的迭代训练，迭代轮次记录在迭代轮次信息中，第二分支网络生成人群边界图的方式和迭代轮次相关。当根据迭代轮次信息确定当前处于第一轮迭代时，先通过边缘检测算法提取注意力图的边界，例如，通过Canny边缘检测算法提取注意力图的边界，然后通过Vatti clipping算法(一种多边形裁剪算法)对注意力图的边界进行膨胀，Vatti clipping算法的膨胀公式如下：
其中，D为边界的膨胀距离，A为注意力图的边界，r为膨胀常数设为0.4，L为注意力图的边界周长。
在模型学习过程中，联合损失在初始计数模型中反向传播，初始计数模型可以学习到边界因子，在非第一轮的迭代中，第二分支网络根据边界因子预测人群边界图。根据学习到的边界因子，第二分支网络可以自适应地生成人群边界图，从而更好地对注意力图进行调整，保证了最后可以得到更好的人群计数结果。
本实施例中，先对原始图像进行特征提取得到特征图，将特征图输入后端，由后端的第一分支网络生成密度图，第二分支网络生成注意力图，并可以自适应地生成人群边界图，实现了对注意力图进行更准确的调整。
进一步的，上述步骤S206之后，还可以包括：获取待检测图像；将待检测图像输入计数模型，得到待积分密度图；对待积分密度图进行积分，得到待检测图像的人群计数结果。
具体地，在应用时，服务器获取待检测图像，将待检测图像输入训练完毕的计数模型，计数模型输出待积分密度图，待积分密度图中各个人头区域的概率之和为1，对待积分密度图进行积分可以得到人群中人的数量，从而得到待检测图像的人群计数结果。
进一步的，上述获取待检测图像的步骤之前，还可以包括：移除计数模型中的第二分支网络，得到用于人群计数应用的计数模型。
具体地，完成训练后，计数模型的第一分支网络已经可以准确地输出密度图，因此在进行人群计数应用之前，可以移除计数模型中的第二分支网络。在应用时，不再进行第二分支网络的计算，减少了计算量，提高了模型处理速度。
在一个实施例中，在进行人群计数应用时，可以保留第一分支网络和第二分支网络，但第二分支网络不再生成人群边界图，将第二分支网络生成的注意力图和第一分支网络的密度图进行点乘，得到待积分密度图，再进行积分得到人群计数结果。
在一个实施例中，在进行人群计数应用时，可以保留第一分支网络和第二分支网络，第二分支网络也可以生成人群边界图；先融合人群边界图和注意力图得到修正注意力图，然后将修正注意力图和密度图进行点乘，得到待积分密度图，再进行积分得到人群计数结果。
本实施例中，在进行人群计数应用之前，移除计数模型中的第二分支网络，以减少模型计算量，提高人群计数速度。
本实施例中，将待检测图像输入计数模型，对模型输出的待积分密度图进行积分，即可准确得到人群计数结果。
本申请实施例可以基于人工智能技术对图像进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种基于目标检测的计数模型处理装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的基于目标检测的计数模型处理装置300包括：样本集获取模块301、图像输入模块302、注意力修正模块303、标准生成模块304、损失计算模块305以及模型调整模块306，其中：
样本集获取模块301，用于获取由带有标签的原始图像构成的训练样本集。
图像输入模块302，用于将训练样本集中的原始图像输入初始计数模型，以通过初始计数模型中的第一分支网络生成原始图像的密度图，并通过初始计数模型中的第二分支网络生成原始图像的注意力图和人群边界图。
注意力修正模块303，用于将注意力图与人群边界图进行融合，得到修正注意力图。
标准生成模块304，用于基于标签中的人群位置信息，生成原始图像的标准密度图、标准注意力图和标准人群边界图。
损失计算模块305，用于基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图计算联合损失。
模型调整模块306，用于根据联合损失对初始计数模型进行调整，直至联合损失满足训练停止条件，得到计数模型。
本实施例中，先对原始图像提取特征图，然后将特征图输入初始计数模型的第一分支网络得到密度图，将特征图输入初始计数模型的第二分支网络得到注意力图和人群边界图；人群边界图用于强化注意力图的边界，将注意力图和人群边界图进行融合，对注意力图进行扩大以方便对注意力图的调整，得到修正注意力图；原始图像带有标签，标签记录了人的位置信息，根据标签可以生成准确反应人群位置的标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图，可以从多维度评估模型预测的准确性，得到联合损失；根据联合损失对初始计数模型进行调整，直至训练停止得到计数模型，在训练中，通过生成自适应的人群边界图对注意力图进行调整，而注意力图和密度图用于最后的人群计数，从而提高了生成的计数模型的准确性。
在本实施例的一些可选的实现方式中，图像输入模块302可以包括：原始输入子模块、第一输入子模块、信息获取子模块、第一生成子模块以及生成子模块，其中：
原始输入子模块，用于将训练样本集中的原始图像输入初始计数模型中的特征提取网络，得到原始图像的特征图。
第一输入子模块，用于将特征图输入初始计数模型中的第一分支网络，得到原始图像的密度图。
信息获取子模块，用于获取迭代轮次信息。
第一生成子模块，用于当根据迭代轮次信息确定当前处于第一轮迭代时，指示初始计数模型中的第二分支网络根据特征图预测生成原始图像的注意力图，并根据注意力图生成原始图像的人群边界图。
生成子模块，用于当根据迭代轮次信息确定当前不处于第一轮迭代时，指示第二分支网络根据特征图预测生成原始图像的注意力图和人群边界图。
本实施例中，先对原始图像进行特征提取得到特征图，将特征图输入后端，由后端的第一分支网络生成密度图，第二分支网络生成注意力图，并可以自适应地生成人群边界图，实现了对注意力图进行更准确的调整。
在本实施例的一些可选的实现方式中，注意力修正模块303还用于根据预设的融合函数，对注意力图和人群边界图中对应位置的像素点进行融合计算，得到修正注意力图。
本实施例中，根据融合函数对注意力图和人群边界图中对应位置的像素点进行融合计算，从而调整注意力图，得到修正注意力图。
在本实施例的一些可选的实现方式中，标准生成模块304可以包括：标注图生成子模块、密度图生成子模块、注意力图生成子模块以及边界图生成子模块，其中：
标注图生成子模块，用于根据标签中的人群位置信息，生成原始图像的标注图。
密度图生成子模块，用于对标注图中的各像素点进行高斯核卷积，得到原始图像的标准密度图。
注意力图生成子模块，用于基于标准密度图中各像素点的像素值，生成标准注意力图。
边界图生成子模块，用于通过边缘检测算法提取标准注意力图的边界，得到标准人群边界图。
本实施例中，原始图像标签中的人群位置信息记录了表示人头的像素点的位置，根据标签可以先后生成标准密度图、标准注意力图和标准人群边界图，保证了损失计算和模型训练的实现。
在本实施例的一些可选的实现方式中，损失计算模块305可以包括：计数生成子模块、第一计算子模块、第二计算子模块、第三计算子模块以及联合计算子模块，其中：
计数生成子模块，用于将密度图和修正注意力图进行点乘，生成计数密度图。
第一计算子模块，用于根据修正注意力图和标准注意力图计算二分类交叉熵损失，得到第一损失。
第二计算子模块，用于根据计数密度图和标准密度图计算L2范数损失，得到第二损失。
第三计算子模块，用于根据人群边界图和标准人群边界图计算L1范数损失，得到第三损失。
联合计算子模块，用于对第一损失、第二损失和第三损失进行线性运算，得到联合损失。
本实施例中，联合损失兼顾了注意力图层面、密度图层面和人群边界图层面的误差，提高了损失计算的准确性。
在本实施例的一些可选的实现方式中，基于目标检测的计数模型处理装置300还可以包括：图像获取模块、待检测输入模块以及积分模块，其中：
图像获取模块，用于获取待检测图像。
待检测输入模块，用于将待检测图像输入计数模型，得到待积分密度图。
积分模块，用于对待积分密度图进行积分，得到待检测图像的人群计数结果。
本实施例中，将待检测图像输入计数模型，对模型输出的待积分密度图进行积分，即可准确得到人群计数结果。
在本实施例的一些可选的实现方式中，基于目标检测的计数模型处理装置300还可以包括：分支移除模块，所述分支移除模块用于：移除计数模型中的第二分支网络，得到用于人群计数应用的计数模型。
本实施例中，在进行人群计数应用之前，移除计数模型中的第二分支网络，以减少模型计算量，提高人群计数速度。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过系统总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作系统和各类应用软件，例如基于目标检测的计数模型处理方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述基于目标检测的计数模型处理方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本实施例中提供的计算机设备可以执行上述基于目标检测的计数模型处理方法。此处基于目标检测的计数模型处理方法可以是上述各个实施例的基于目标检测的计数模型处理方法。
本实施例中，先对原始图像提取特征图，然后将特征图输入初始计数模型的第一分支网络得到密度图，将特征图输入初始计数模型的第二分支网络得到注意力图和人群边界图；人群边界图用于强化注意力图的边界，将注意力图和人群边界图进行融合，对注意力图进行扩大以方便对注意力图的调整，得到修正注意力图；原始图像带有标签，标签记录了人的位置信息，根据标签可以生成准确反应人群位置的标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图，可以从多维度评估模型预测的准确性，得到联合损失；根据联合损失对初始计数模型进行调整，直至训练停止得到计数模型，在训练中，通过生成自适应的人群边界图对注意力图进行调整，而注意力图和密度图用于最后的人群计数，从而提高了生成的计数模型的准确性。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的基于目标检测的计数模型处理方法的步骤。
本实施例中，先对原始图像提取特征图，然后将特征图输入初始计数模型的第一分支网络得到密度图，将特征图输入初始计数模型的第二分支网络得到注意力图和人群边界图；人群边界图用于强化注意力图的边界，将注意力图和人群边界图进行融合，对注意力图进行扩大以方便对注意力图的调整，得到修正注意力图；原始图像带有标签，标签记录了人的位置信息，根据标签可以生成准确反应人群位置的标准密度图、标准注意力图和标准人群边界图；基于密度图和标准密度图、修正注意力图和标准注意力图，以及人群边界图和标准人群边界图，可以从多维度评估模型预测的准确性，得到联合损失；根据联合损失对初始计数模型进行调整，直至训练停止得到计数模型，在训练中，通过生成自适应的人群边界图对注意力图进行调整，而注意力图和密度图用于最后的人群计数，从而提高了生成的计数模型的准确性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种基于目标检测的计数模型处理方法，其特征在于，包括下述步骤：
获取由带有标签的原始图像构成的训练样本集；
将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
2.根据权利要求1所述的基于目标检测的计数模型处理方法，其特征在于，所述将所述原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图的步骤包括：
将所述训练样本集中的原始图像输入初始计数模型中的特征提取网络，得到所述原始图像的特征图；
将所述特征图输入所述初始计数模型中的第一分支网络，得到所述原始图像的密度图；
获取迭代轮次信息；
当根据所述迭代轮次信息确定当前处于第一轮迭代时，指示所述初始计数模型中的第二分支网络根据所述特征图预测生成所述原始图像的注意力图，并根据所述注意力图生成所述原始图像的人群边界图；
当根据所述迭代轮次信息确定当前不处于第一轮迭代时，指示所述第二分支网络根据所述特征图预测生成所述原始图像的注意力图和人群边界图。
3.根据权利要求1所述的基于目标检测的计数模型处理方法，其特征在于，所述将所述注意力图与所述人群边界图进行融合，得到修正注意力图的步骤包括：
根据预设的融合函数，对所述注意力图和所述人群边界图中对应位置的像素点进行融合计算，得到修正注意力图。
4.根据权利要求1所述的基于目标检测的计数模型处理方法，其特征在于，所述基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图的步骤包括：
根据所述标签中的人群位置信息，生成所述原始图像的标注图；
对所述标注图中的各像素点进行高斯核卷积，得到所述原始图像的标准密度图；
基于所述标准密度图中各像素点的像素值，生成标准注意力图；
通过边缘检测算法提取所述标准注意力图的边界，得到标准人群边界图。
5.根据权利要求1所述的基于目标检测的计数模型处理方法，其特征在于，所述基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失的步骤包括：
将所述密度图和所述修正注意力图进行点乘，生成计数密度图；
根据所述修正注意力图和所述标准注意力图计算二分类交叉熵损失，得到第一损失；
根据所述计数密度图和所述标准密度图计算L2范数损失，得到第二损失；
根据所述人群边界图和所述标准人群边界图计算L1范数损失，得到第三损失；
对所述第一损失、所述第二损失和所述第三损失进行线性运算，得到联合损失。
6.根据权利要求1所述的基于目标检测的计数模型处理方法，其特征在于，在所述根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型的步骤之后，还包括：
获取待检测图像；
将所述待检测图像输入所述计数模型，得到待积分密度图；
对所述待积分密度图进行积分，得到所述待检测图像的人群计数结果。
7.根据权利要求6所述的基于目标检测的计数模型处理方法，其特征在于，所述获取待检测图像的步骤之前，还包括：
移除所述计数模型中的第二分支网络，得到用于人群计数应用的计数模型。
8.一种基于目标检测的计数模型处理装置，其特征在于，包括：
样本集获取模块，用于获取由带有标签的原始图像构成的训练样本集；
图像输入模块，用于将所述训练样本集中的原始图像输入初始计数模型，以通过所述初始计数模型中的第一分支网络生成原始图像的密度图，并通过所述初始计数模型中的第二分支网络生成所述原始图像的注意力图和人群边界图；
注意力修正模块，用于将所述注意力图与所述人群边界图进行融合，得到修正注意力图；
标准生成模块，用于基于所述标签中的人群位置信息，生成所述原始图像的标准密度图、标准注意力图和标准人群边界图；
损失计算模块，用于基于所述密度图和所述标准密度图、所述修正注意力图和所述标准注意力图，以及所述人群边界图和所述标准人群边界图计算联合损失；
模型调整模块，用于根据所述联合损失对所述初始计数模型进行调整，直至所述联合损失满足训练停止条件，得到计数模型。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的基于目标检测的计数模型处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的基于目标检测的计数模型处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111537447.9A CN114241411B (zh) | 2021-12-15 | 2021-12-15 | 基于目标检测的计数模型处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111537447.9A CN114241411B (zh) | 2021-12-15 | 2021-12-15 | 基于目标检测的计数模型处理方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114241411A true CN114241411A (zh) | 2022-03-25 |
| CN114241411B CN114241411B (zh) | 2024-04-09 |
Family
ID=80756767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111537447.9A Active CN114241411B (zh) | 2021-12-15 | 2021-12-15 | 基于目标检测的计数模型处理方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114241411B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022796A (zh) * | 2022-05-11 | 2022-09-06 | 上海应用技术大学 | 基于蓝牙无线通信的人群密集度判断方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150085154A1 (en) * | 2013-09-20 | 2015-03-26 | Here Global B.V. | Ad Collateral Detection |
| US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
| CN109815919A (zh) * | 2019-01-28 | 2019-05-28 | 上海七牛信息技术有限公司 | 一种人群计数方法、网络、系统和电子设备 |
| CN110188597A (zh) * | 2019-01-04 | 2019-08-30 | 北京大学 | 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统 |
| CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
| CN112200045A (zh) * | 2020-09-30 | 2021-01-08 | 华中科技大学 | 基于上下文增强的遥感图像目标检测模型建立方法及应用 |
| CN112784685A (zh) * | 2020-12-28 | 2021-05-11 | 山东师范大学 | 基于多尺度引导注意力机制网络的人群计数方法及系统 |
| CN112989916A (zh) * | 2020-12-17 | 2021-06-18 | 北京航空航天大学 | 一种结合密度估计与目标检测的人群计数方法 |
| CN113191334A (zh) * | 2021-05-31 | 2021-07-30 | 广西师范大学 | 一种基于改进CenterNet的植物冠层密集叶片计数方法 |
| WO2021189912A1 (zh) * | 2020-09-25 | 2021-09-30 | 平安科技（深圳）有限公司 | 图像中目标物的检测方法、装置、电子设备及存储介质 |
| CN113538401A (zh) * | 2021-07-29 | 2021-10-22 | 燕山大学 | 一种复杂场景下结合跨模态信息的人群计数方法及系统 |
-
2021
- 2021-12-15 CN CN202111537447.9A patent/CN114241411B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150085154A1 (en) * | 2013-09-20 | 2015-03-26 | Here Global B.V. | Ad Collateral Detection |
| US20180350459A1 (en) * | 2017-06-05 | 2018-12-06 | University Of Florida Research Foundation, Inc. | Methods and apparatuses for implementing a semantically and visually interpretable medical diagnosis network |
| CN110188597A (zh) * | 2019-01-04 | 2019-08-30 | 北京大学 | 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统 |
| CN109815919A (zh) * | 2019-01-28 | 2019-05-28 | 上海七牛信息技术有限公司 | 一种人群计数方法、网络、系统和电子设备 |
| CN111860162A (zh) * | 2020-06-17 | 2020-10-30 | 上海交通大学 | 一种视频人群计数系统及方法 |
| WO2021189912A1 (zh) * | 2020-09-25 | 2021-09-30 | 平安科技（深圳）有限公司 | 图像中目标物的检测方法、装置、电子设备及存储介质 |
| CN112200045A (zh) * | 2020-09-30 | 2021-01-08 | 华中科技大学 | 基于上下文增强的遥感图像目标检测模型建立方法及应用 |
| CN112989916A (zh) * | 2020-12-17 | 2021-06-18 | 北京航空航天大学 | 一种结合密度估计与目标检测的人群计数方法 |
| CN112784685A (zh) * | 2020-12-28 | 2021-05-11 | 山东师范大学 | 基于多尺度引导注意力机制网络的人群计数方法及系统 |
| CN113191334A (zh) * | 2021-05-31 | 2021-07-30 | 广西师范大学 | 一种基于改进CenterNet的植物冠层密集叶片计数方法 |
| CN113538401A (zh) * | 2021-07-29 | 2021-10-22 | 燕山大学 | 一种复杂场景下结合跨模态信息的人群计数方法及系统 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115022796A (zh) * | 2022-05-11 | 2022-09-06 | 上海应用技术大学 | 基于蓝牙无线通信的人群密集度判断方法及系统 |
| CN115022796B (zh) * | 2022-05-11 | 2024-05-17 | 上海应用技术大学 | 基于蓝牙无线通信的人群密集度判断方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114241411B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112685565A (zh) | 基于多模态信息融合的文本分类方法、及其相关设备 | |
| CN112101437B (zh) | 基于图像检测的细粒度分类模型处理方法、及其相关设备 | |
| WO2021103761A1 (zh) | 化合物的性质分析方法、模型训练方法、装置及存储介质 | |
| CN109858333B (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| CN113435583B (zh) | 基于联邦学习的对抗生成网络模型训练方法及其相关设备 | |
| CN111831675A (zh) | 一种仓储模型训练方法、装置、计算机设备及存储介质 | |
| CN112418292A (zh) | 一种图像质量评价的方法、装置、计算机设备及存储介质 | |
| CN112634170A (zh) | 一种模糊图像修正的方法、装置、计算机设备及存储介质 | |
| WO2023035531A1 (zh) | 文本图像超分辨率重建方法及其相关设备 | |
| CN112632278A (zh) | 一种基于多标签分类的标注方法、装置、设备及存储介质 | |
| CN112528029A (zh) | 文本分类模型处理方法、装置、计算机设备及存储介质 | |
| CN113420690A (zh) | 基于感兴趣区域的静脉识别方法、装置、设备及存储介质 | |
| CN114241459B (zh) | 一种驾驶员身份验证方法、装置、计算机设备及存储介质 | |
| CN113254491A (zh) | 一种信息推荐的方法、装置、计算机设备及存储介质 | |
| CN113722438A (zh) | 基于句向量模型的句向量生成方法、装置及计算机设备 | |
| CN112686243A (zh) | 智能识别图片文字的方法、装置、计算机设备及存储介质 | |
| CN112634158A (zh) | 人脸图像恢复方法、装置、计算机设备及存储介质 | |
| CN115510186A (zh) | 基于意图识别的即时问答方法、装置、设备及存储介质 | |
| CN113723077B (zh) | 基于双向表征模型的句向量生成方法、装置及计算机设备 | |
| CN111292333B (zh) | 用于分割图像的方法和装置 | |
| CN110717405A (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
| CN113919401A (zh) | 基于星座图特征的调制类型识别方法、装置、计算机设备 | |
| CN114090792A (zh) | 基于对比学习的文档关系抽取方法及其相关设备 | |
| CN114241411B (zh) | 基于目标检测的计数模型处理方法、装置及计算机设备 | |
| CN113761375A (zh) | 基于神经网络的消息推荐方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |