CN111951260A - 基于部分特征融合卷积神经网络实时目标计数系统及方法 - Google Patents

基于部分特征融合卷积神经网络实时目标计数系统及方法 Download PDF

Info

Publication number
CN111951260A
CN111951260A CN202010850481.0A CN202010850481A CN111951260A CN 111951260 A CN111951260 A CN 111951260A CN 202010850481 A CN202010850481 A CN 202010850481A CN 111951260 A CN111951260 A CN 111951260A
Authority
CN
China
Prior art keywords
image
neural network
feature fusion
partial feature
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010850481.0A
Other languages
English (en)
Other versions
CN111951260B (zh
Inventor
张莉
于厚舜
王邦军
屈蕴茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010850481.0A priority Critical patent/CN111951260B/zh
Publication of CN111951260A publication Critical patent/CN111951260A/zh
Application granted granted Critical
Publication of CN111951260B publication Critical patent/CN111951260B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于部分特征融合卷积神经网络实时目标计数系统及方法，包括：数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。本发明有利于降低网络的参数量和计算量，保证运行速度。

Description

基于部分特征融合卷积神经网络实时目标计数系统及方法
技术领域
本发明涉及实时目标计数的技术领域，尤其是指一种基于部分特征融合卷积神经网络实时目标计数系统及方法。
背景技术
目标计数是计算机视觉中的任务之一，任务内容是输出一图像中的目标数量。目标计数任务应用广泛，例如：估计户外环境中的畜群中家畜的数量，促进畜牧业发展、监控例如演唱会等拥挤场景下的人群数量，做到及时防控，防止踩踏事件发生、统计路面车流量信息，帮助交通管制。随着深度学习的快速发展，许多优秀的神经网络目标计数模型被开发，目标计数的准确率已有大幅提升。但绝大多数模型在被开发时，研究者没有考虑到模型的运行速度问题。现有模型大多结构复杂，难以训练和部署，并且对硬间的依赖性较大。运行速度更快意味着网络更加简单、参数量更小，更适合部署在低算力的边缘设备上。
Shi等人在论文“A Real-Time Deep Network For Crowd Counting”中提出了一种实时检测人群密度的轻量化卷积神经网络(Compact Convolutional Neural Network，C-CNN)。该网络对硬件性能要求较低，且属于目标计数的领域的技术，但是C-CNN网络结构较为简单且作为轻量化的网络本身没有使用模型压缩技术，并且使用了存在大量冗余参数的多列结构，从而导致提高了网络的参数量和计算量，影响运行速度。
发明内容
为此，本发明所要解决的技术问题在于如何提供一种降低网络的参数量和计算量，保证运行速度的基于部分特征融合卷积神经网络实时目标计数系统及方法。
为解决上述技术问题，本发明的一种基于部分特征融合卷积神经网络实时目标计数系统，包括数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
在本发明的一个实施例中，使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集
Figure BDA0002644558320000021
其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集
Figure BDA0002644558320000022
中图像Xi中所有目标的中心位置；标注完成可得训练集
Figure BDA0002644558320000023
其中Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中目标中心坐标的信息，大小为ci×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，ci为该图像中的目标数；N为训练集的数量。
在本发明的一个实施例中，利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi，其中Pi是第i张图像中目标中心坐标的信息，Xi为训练集中第i张图像，得到处理好的训练集用于训练网络。
在本发明的一个实施例中，使用处理好的训练集
Figure BDA0002644558320000024
训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为
Figure BDA0002644558320000025
其中Θ为网络学习的参数，且F(Xi；Θ)为网络对第i张图像的估计密度图。
在本发明的一个实施例中，所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层。
在本发明的一个实施例中，所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数。
在本发明的一个实施例中，所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积。
在本发明的一个实施例中，所述部分特征融合卷积神经网络模型分为两部分，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。
在本发明的一个实施例中，根据给定的图像，使用训练好的网络进行预测图像中的目标数量的方法为：从视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图Mp，Mp为与图像P尺寸相同的二维矩阵，对Mp进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(Mp)。
本发明还提供了一种基于部分特征融合卷积神经网络实时目标计数方法，包括如下步骤：使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的基于部分特征融合卷积神经网络实时目标计数系统及方法，数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化，有利于得到处理好的训练集，从而方便训练网络；网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练，由于使用了部分特征融合结构，从而能够让网络充分利用多尺度的特征信息，而部分特征融合结构能够在利用多尺度特征信息的同时降低网络的参数量和计算量；目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测，本发明由于拥有的参数量较小，计算量也较小，因此保证了运行速度，而且对硬件设备的性能要求低，更适合部署在低算力的边缘设备上，能够促进目标计数技术在真实环境中的部署。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明基于部分特征融合卷积神经网络实时目标计数系统的示意图；
图2是本发明部分特征融合卷积神经网络模型的结构示意图；
图3是本发明在TRANCOS数据集上的目标计数结果的对比示意图。
说明书附图标记说明：10-数据预处理模块，20-网络训练模块，30-目标数量预处理模块。
具体实施方式
实施例一
如图1所示，本实施例提供一种基于部分特征融合卷积神经网络实时目标计数系统，包括：数据预处理模块10，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；网络训练模块20，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；目标数量预处理模块30，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
本实施例所述基于部分特征融合卷积神经网络实时目标计数系统，数据预处理模块10，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化，有利于得到处理好的训练集，从而方便训练网络；网络训练模块20，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练，由于使用了部分特征融合结构，从而能够让网络充分利用多尺度的特征信息，而部分特征融合结构能够在利用多尺度特征信息的同时降低网络的参数量和计算量；目标数量预处理模块30，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测，本发明由于拥有的参数量较小，计算量也较小，而且对硬件设备的性能要求低，更适合部署在低算力的边缘设备上，能够促进目标计数技术在真实环境中的部署。
所述数据预处理模块10中，使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集
Figure BDA0002644558320000051
其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集
Figure BDA0002644558320000052
中图像Xi中所有目标的中心位置；标注完成可得训练集
Figure BDA0002644558320000053
其中Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中目标中心坐标的信息，大小为ci×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，ci为该图像中的目标数；N为训练集的数量。
利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi，得到处理好的训练集用于训练网络。
本发明在目标计数数据集TRaffic ANd COngestionS(简称：TRANCOS)数据集上进行了测试，该数据集中一共包含1244张已标注的图像，数据集中共有46796个车辆边框坐标信息已标注。该数据集中823张用于训练，其余421张用于测试，其中的图像均是路面摄像头捕捉而得，图像尺寸均为480×640。数据集中的样本图像具有透视变形、高密集度和高遮挡度的特征，这些特征都是密集场景下目标计数的挑战性问题。
具体地，首先，由于TRANCOS数据集图像均已标注,可直接得到有标注信息的训练集
Figure BDA0002644558320000054
其中Xi为TRANCOS中的第i张图像，大小为480×640；Pi是第i张图像中目标中心坐标的信息，大小为c×2，其中第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，c为第i张图像中的目标数；N为TRANCOS中训练集的数量。
其次，TRANCOS数据集中的图像均为三通道图像且尺寸为480*640，在此不对图像的通道和尺寸做额外处理。
再次，采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi。
最后，训练集D′经过上述处理后就可以得到处理好的训练集
Figure BDA0002644558320000061
用于训练网络。
所述网络训练模块20中，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练的方法为：使用处理好的训练集
Figure BDA0002644558320000062
训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为
Figure BDA0002644558320000063
其中Θ为网络学习的参数，且F(Xi；Θ)为网络对第i张图像的估计密度图。
如图2所示，所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层。所述卷积层的参数含义：Conv-(卷积核大小)-(卷积核数量)-(扩张率)；所述池化层的参数含义：MaxPooling-(池化窗口大小)-(步幅)；所述上采样层的参数含义：(上采样倍数)-Upsamleing。
所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数。
所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积，本发明拥有12层卷积层并且采用了空洞卷积，二者能够增大网络的感受野，促使网络生成更高质量的密度图、提高目标计数的准确率。
所述部分特征融合卷积神经网络模型分为两部分，前十层卷积层为提取器(extractor)，后两层卷积层为融合器(aggregator)，具体地，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。
另外，所述部分特征融合在本网络中以全局特征融合和局部特征融合两种形式存在，如图2所示，其中两个需要经过池化层的连接就是局部特征融合，因为它们所连接的是相邻尺度的特征；另外两个是全局的连接，可以将不同尺度的特征汇聚到一起。此处定义1/n尺度为：特征图尺寸为输入图像的1/n。在全局特征融合上，本网络将1/2尺度和1/4尺度中由最后一层卷积层生成的特征图各取1/4作为全局性的特征信息与1/8尺度的特征图相连接。在局部特征融合上，1/2尺度中第一层卷积层输出的特征图的1/2经过池化操作后与1/4尺度特征图连接。1/4尺度与1/8尺度间的局部部分特征融合亦如此。由于充分利用多尺度信息，从而可以提高网络的计数准确率，所述部分特征融合在提高准确率的同时可以降低网络的参数量。本网络性能优于C-CNN，且参数量更小，更适合部署在移动设备和其他低性能设备上运行。
所述目标数量预处理模块30中，根据给定的图像，使用训练好的网络进行预测图像中的目标数量的方法为：从视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图Mp，Mp为与图像P尺寸相同的二维矩阵，对Mp进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(Mp)。
具体地，从监控摄像头拍摄的视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图Mp，Mp为与图像P尺寸相同的二维矩阵，对Mp进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(Mp)。
本发明的实现是基于pytorch框架，在此框架中，参与运算的张量形状为[B,C,H,W]，其中各个字母分别表示：批训练大小Batchsize，图像通道数Channels，图像的高度H和宽度W。按通道连接和按通道分离实际是对张量的组合和划分。以通道分离为例，通道分离是将形状为[B,C,H,W]的张量分开为若干张量：[B,c1,H,W]、[B,c2,H,W]、……[B,cn,H,W]，其中c1+c2+……cn＝C；而通道连接操作与分离操作过程相反。
本发明的效果可以通过在TRANCOS数据集的测试集部分的计数结果验证：
本网络模型与C-CNN网络模型在相同的数据集上做目标计数比较。评价指标为网格平均绝对误差(Grid Average Mean absolute Error,GAME)，其计算方式为：
Figure BDA0002644558320000081
其中p_count为目标数量的预测值，g_count为目标数量的真实值，N′为测试图像数量，K为GAME指标的参数。GAME指标将参与比较的密度图分割为4K个不重叠区域，各区域的平均绝对误差之和即为网格平均绝对误差结果。K值越大，GAME指标对生成密度图的局部一致性要求越严格。从图3的结果中可以看出，本发明提出的网络模型在4项GAME指标上都比C-CNN模型获得了更好的性能，并且参数量相较于C-CNN也有一定下降。
实施例二
基于同一发明构思，本实施例提供了一种基于部分特征融合卷积神经网络实时目标计数方法，其解决问题的原理与所述基于部分特征融合卷积神经网络实时目标计数系统相同，重复之处不再赘述。
本实施例提供一种基于部分特征融合卷积神经网络实时目标计数方法，包括：
使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；
建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；
根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于部分特征融合卷积神经网络实时目标计数系统，其特征在于，包括：
数据预处理模块，使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；
网络训练模块，建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；
目标数量预处理模块，根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
2.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用图像中已经标注好的目标位置信息的方法为：从拍摄的视频中进行抽帧，抽帧得到训练集
Figure FDA0002644558310000011
其中Xi为训练集中第i张图像，大小为m×n，N为训练集的数量；使用标注工具标注训练集
Figure FDA0002644558310000014
中图像Xi中所有目标的中心位置；标注完成可得训练集
Figure FDA0002644558310000012
其中Xi为训练集中第i张图像，大小为m×n；Pi是第i张图像中目标中心坐标的信息，大小为ci×2，第一列为目标中心点在图像中的横坐标，第二列为目标中心点在图像中的纵坐标，ci为该图像中的目标数；N为训练集的数量。
3.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：利用高斯滤波器生成目标图像的密度图的方法为：采用一个大小为15×15、方差为σ的高斯滤波器，根据Pi中目标中心的坐标信息，生成Xi图像的密度图Mi，其中Pi是第i张图像中目标中心坐标的信息，Xi为训练集中第i张图像，得到处理好的训练集用于训练网络。
4.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练的方法为：使用处理好的训练集
Figure FDA0002644558310000013
训练所述部分特征融合卷积神经网络模型，且损失函数L(Θ)定义为
Figure FDA0002644558310000021
其中Θ为网络学习的参数，且F(Xi；Θ)为网络对第i张图像的估计密度图。
5.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：所述部分特征融合卷积神经网络模型包括卷积层，池化层以及上采样层。
6.根据权利要求5所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：所述卷积层均为卷积核大小为3的卷积层，所有卷积层后均接批标准化层和ReLU激活函数。
7.根据权利要求1或5所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：所述部分特征融合卷积神经网络模型的第二层、第四层和第七层后接最大池化层，第九层与第十层卷积层使用空洞卷积。
8.根据权利要求1或5所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：所述部分特征融合卷积神经网络模型分为两部分，第一层卷积层至第十层卷积层为提取器，第十一层卷积层和第十二层卷积层为融合器，所述提取器从输入图像中提取特征，并将多尺度的特征信息传输给所述融合器，所述融合器融合多尺度信息并输出最终的特征图。
9.根据权利要求1所述的基于部分特征融合卷积神经网络实时目标计数系统，其特征在于：根据给定的图像，使用训练好的网络进行预测图像中的目标数量的方法为：从视频中进行抽帧，作为测试图像，且测试图像与训练图形尺寸形同，对任意测试图像P，将其输入到训练好的网络模型中进行预测，可以得到图像P的预测密度图Mp，Mp为与图像P尺寸相同的二维矩阵，对Mp进行求和运算得到的值即为图像P中预测的目标数：p_count＝sum(Mp)。
10.一种基于部分特征融合卷积神经网络实时目标计数方法，其特征在于，包括如下步骤：
使用图像中已经标注好的目标位置信息，利用高斯滤波器生成目标图像的密度图，并将所有图像归一化；
建立部分特征融合卷积神经网络模型，使用处理好的图像及生成的密度图对所述部分特征融合卷积神经网络模型进行训练；
根据给定的图像，使用训练好的网络模型对图像中的目标数量进行预测。
CN202010850481.0A 2020-08-21 2020-08-21 基于部分特征融合卷积神经网络实时目标计数系统及方法 Active CN111951260B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010850481.0A CN111951260B (zh) 2020-08-21 2020-08-21 基于部分特征融合卷积神经网络实时目标计数系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010850481.0A CN111951260B (zh) 2020-08-21 2020-08-21 基于部分特征融合卷积神经网络实时目标计数系统及方法

Publications (2)

Publication Number Publication Date
CN111951260A true CN111951260A (zh) 2020-11-17
CN111951260B CN111951260B (zh) 2022-04-01

Family

ID=73359720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010850481.0A Active CN111951260B (zh) 2020-08-21 2020-08-21 基于部分特征融合卷积神经网络实时目标计数系统及方法

Country Status (1)

Country Link
CN (1) CN111951260B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507860A (zh) * 2020-12-03 2021-03-16 上海眼控科技股份有限公司 一种视频标注方法、装置、设备及存储介质
CN113743258A (zh) * 2021-08-20 2021-12-03 科大讯飞股份有限公司 目标识别方法、装置、电子设备以及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107862261A (zh) * 2017-10-25 2018-03-30 天津大学 基于多尺度卷积神经网络的图像人群计数方法
CN109101930A (zh) * 2018-08-18 2018-12-28 华中科技大学 一种人群计数方法及系统
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170270653A1 (en) * 2016-03-15 2017-09-21 International Business Machines Corporation Retinal image quality assessment, error identification and automatic quality correction
CN107301387A (zh) * 2017-06-16 2017-10-27 华南理工大学 一种基于深度学习的图像高密度人群计数方法
CN107862261A (zh) * 2017-10-25 2018-03-30 天津大学 基于多尺度卷积神经网络的图像人群计数方法
CN109101930A (zh) * 2018-08-18 2018-12-28 华中科技大学 一种人群计数方法及系统
WO2020047738A1 (zh) * 2018-09-04 2020-03-12 安徽中科智能感知大数据产业技术研究院有限责任公司 多尺度特征融合网络结合定位模型的害虫自动计数方法
WO2020164270A1 (zh) * 2019-02-15 2020-08-20 平安科技（深圳）有限公司 基于深度学习的行人检测方法、系统、装置及存储介质
CN110033440A (zh) * 2019-03-21 2019-07-19 中南大学 基于卷积神经网络与特征融合的生物细胞计数方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LINGKE ZENG 等: "MULTI-SCALE CONVOLUTIONAL NEURAL NETWORKS FOR CROWD COUNTING", 《IEEE》 *
王丹丹 等: "基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别", 《农业工程学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112507860A (zh) * 2020-12-03 2021-03-16 上海眼控科技股份有限公司 一种视频标注方法、装置、设备及存储介质
CN113743258A (zh) * 2021-08-20 2021-12-03 科大讯飞股份有限公司 目标识别方法、装置、电子设备以及计算机可读存储介质

Also Published As

Publication number Publication date
CN111951260B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN109948553B (zh) 一种多尺度密集人群计数方法
CN108647668A (zh) 多尺度轻量级人脸检测模型的构建方法及基于该模型的人脸检测方法
CN111626184B (zh) 一种人群密度估计方法及系统
CN108986075A (zh) 一种优选图像的判断方法及装置
CN111967464B (zh) 一种基于深度学习的弱监督目标定位方法
CN111951260B (zh) 基于部分特征融合卷积神经网络实时目标计数系统及方法
CN114092487A (zh) 目标果实实例分割方法及系统
CN114565842A (zh) 基于Nvidia Jetson嵌入式硬件的无人机实时目标检测方法及系统
CN114693930A (zh) 基于多尺度特征和上下文注意力的实例分割方法及系统
CN116740516A (zh) 基于多尺度融合特征提取的目标检测方法及系统
CN107948586A (zh) 基于视频拼接的跨区域运动目标检测方法和装置
CN111339950B (zh) 一种遥感图像目标检测方法
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN108664906A (zh) 一种基于卷积网络的火灾场景中内容的检测方法
CN112149528A (zh) 一种全景图目标检测方法、系统、介质及设备
CN115546491B (zh) 一种跌倒报警方法、系统、电子设备及存储介质
CN116310688A (zh) 基于级联融合的目标检测模型及其构建方法、装置及应用
CN112541469B (zh) 基于自适应分类的人群计数方法及系统
CN113762231B (zh) 端对端的多行人姿态跟踪方法、装置及电子设备
CN112651351B (zh) 一种数据处理的方法和装置
CN117036658A (zh) 一种图像处理方法及相关设备
JP7107544B2 (ja) 情報処理装置、制御方法、及びプログラム
CN114639076A (zh) 目标对象检测方法、装置、存储介质以及电子装置
CN116071376B (zh) 图像分割方法及相关装置、设备和存储介质
CN114049444B (zh) 一种3d场景生成方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant