CN111832414B - 一种基于图正则光流注意力网络的动物计数方法 - Google Patents

一种基于图正则光流注意力网络的动物计数方法 Download PDF

Info

Publication number
CN111832414B
CN111832414B CN202010518779.1A CN202010518779A CN111832414B CN 111832414 B CN111832414 B CN 111832414B CN 202010518779 A CN202010518779 A CN 202010518779A CN 111832414 B CN111832414 B CN 111832414B
Authority
CN
China
Prior art keywords
loss
optical flow
feature
graph
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN202010518779.1A
Other languages
English (en)
Other versions
CN111832414A (zh
Inventor
朱鹏飞
魏志强
翁哲明
彭涛
曹亚如
胡清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010518779.1A priority Critical patent/CN111832414B/zh
Publication of CN111832414A publication Critical patent/CN111832414A/zh
Application granted granted Critical
Publication of CN111832414B publication Critical patent/CN111832414B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图正则光流注意力网络的动物计数方法，包括：共享特征编码器提取t和t+τ帧上的特征图，使用基于翘曲损失的在线光流网络捕获两帧之间的运动信息；利用生成光学流将t+τ帧特征图扭曲到第t帧；时间一致性对得到特征图使用翘曲损失计算，获得特征图与原始特征编码器之间误差；计数解码器将反卷积Deconv逐步应用于光流翘曲生成特征图。在每个尺度添加带有横向连接的语义特征，应用1×1卷积层以获得中间密度图，并在每个尺度密度图上使用均方损失函数；将添加语义特征后的每个尺度特征进行融合采用多粒度损失函数减少误差的产生。使用1×1卷积层生成最终密度图，通过时间一致性使用图正则化以进一步增强时间关系。

Description

一种基于图正则光流注意力网络的动物计数方法
技术领域
本发明涉及目标计数领域，尤其涉及一种基于图正则光流注意力网络的动物计数方法。
背景技术
人工智能(AI)的世界正在迅速崛起，目前在农业和野生动植物保护等领域中得到了广泛应用。例如，可以使用配备了摄像头的无人机来检测农作物疾病、识别农作物成熟状况，并监视动物行迹；此外，无人机也非常适合用来跟踪动物行动轨迹和进行群体计数，其特定视角可以避免观察视图中高密度群体中个体之间相互遮挡的问题。尽管近年来无人机在目标计数领域取得了很大进展，但由于目标运动模糊、尺度变化多样、正样本稀疏和目标物体微小等问题，对无人机捕获的信息中的动物进行计数仍然具有挑战性。
目前，基于无人机的动物计数算法的开发仍然缺乏公开可用的大规模基准和数据集。尽管已有数个蝙蝠和企鹅的动物计数数据集，但这些数据集的大小和涵盖的场景仍然有限。在农业和野生动植物保护的应用中，尺度变化、物体微小、视野和高度的变化等问题，同样使目前的数据集的使用有一定的挑战。
一般而言，群体计数方法可分为基于检测的方法，基于回归的方法和基于密度的方法：基于检测的方法的总体框架是利用基于手工特征的滑动窗口检测器来检测目标的位置，但其很难在拥挤的微小物体和高遮挡场景中进行检测；由于深度学习的出色表现，各种方法都偏向将拥挤计数问题通过神经网络进行密度图估计，如利用CNN(卷积神经网络)模型来处理人群密度的变化；视频计数的众多方法中，针对时空信息的处理对提高计数准确性至关重要，如基于卷积LSTM(长短期记忆网络)模型以完全捕获时空相关性以进行人群计数。
与基于图像的计数任务相比，基于视频的动物计数既有机遇也有挑战。首先，与人和车辆相比，动物分布稀疏，在复杂场景中不同高度和视角的比例尺变化很大。在动物计数任务中，光学流的准确性直接影响聚合特征的有效性。一般的方法是使用预先训练的光流估计网络提取光流，然后在网络训练过程中固定光流网络，但该方法不适合特定的数据集，也可能影响光学流估计的准确性。
发明内容
本发明提供了一种基于图正则光流注意力网络的动物计数方法，本发明提出了一个大型的基于无人机的视频动物计数数据集AnimalDrone，提出了图正则化流注意力网络来处理动物计数，它使用基于翘曲损失在线训练光流网络，同时应用图正则化器来维护多个邻域帧之间的时间一致性，在聚合特征图上使用注意力模块来强制网络将注意力集中在针对不同尺度的特征判别上，从而提升了目标计数效果，详见下文描述：
一种基于图正则光流注意力网络的动物计数方法，所述图正则光流注意力网络由共享特征编码器、计数解码器和时间一致性组成，所述方法包括：
所述共享特征编码器用于提取t帧和t+τ帧上的特征图，使用基于翘曲损失的在线光流网络捕获两帧之间的运动信息；利用生成的光学流将第t+τ帧的特征图扭曲到第t帧；通过所述时间一致性模块对得到的特征图使用翘曲损失计算，获得特征图与原始特征编码器之间的误差；
所述计数解码器模块将反卷积Deconv逐步应用于光流翘曲生成的特征图，从而产生不同尺度的特征图。在每个尺度上添加带有横向连接的语义特征，然后应用1×1卷积层以获得中间密度图，并在每个尺度的密度图上使用MSELoss(均方损失)函数；
将添加语义特征后的每个尺度的特征进行融合，在进行特征融合时采用多粒度损失函数减少误差的产生。最后，使用1×1卷积层生成最终密度图，并在最终密度图中通过所述时间一致性模块使用图正则化以进一步增强时间关系。
其中，所述基于翘曲损失的在线光流网络具体为：
根据图像帧It、It+τ生成双向光流ft→t+τ、ft+τ→t，同时将其送至共享特征编码器中以获得特征图St、St+τ；通过生成ft→t+τ、ft+τ→t，将St、St+τ扭曲到S't、S't+τ；
在任务中为每个框架设置标签，利用所示公式应用翘曲损失：
Figure BDA0002531133230000021
其中，Sij为第i帧到第j帧的特征图，fij为第i帧到第j帧的光流，Warp函数用于计算网络中的翘曲损失。
进一步地，所述多粒度损失函数包括：像素级别的密度损失和区域级别的计数损失，密度损失衡量的是所估计的密度图与地面真实密度图之间的密度差；计数损失衡量的是不同区域中动物数量的相对差异；
多粒度损失的计算公式如下：
Figure BDA0002531133230000031
其中，N是批次大小，W和H分别是密度图的宽度和高度；M(n)(i,j)和
Figure BDA0002531133230000032
分别是第n个训练样本的位置(i，j)的真实标注和估计密度图；C(n)(r)和
Figure BDA0002531133230000033
分别是第n个训练样本的区域r中的真实值和估计值；将图像划分为k×k个子区域，其中每个区域的计数计算为
Figure BDA0002531133230000034
M(i,j)为该区域的真实标注；C(n)(r)+1用于避免没有任何对象的区域中的0分母；λ是平衡因素。
其中，所述使用图正则化以进一步增强时间关系具体为：
令G＝{V,ε}表示由k帧构成的邻域图，
Figure BDA0002531133230000035
表示节点特征，相邻的矩阵A表示不同帧的相似关系，将时间图正则化器定义为：
Figure BDA0002531133230000036
其中，Mi代表第i帧的密度图，k是batch中的帧数，Mj代表第j帧的密度图，aij使用RBF-kernel计算，即
Figure BDA0002531133230000037
其中，
Figure BDA0002531133230000038
是第i帧的真实标注，
Figure BDA0002531133230000039
是第j帧的真实标注，β是正常数。
进一步地，所述方法还包括：构建基于无人机的视频动物计数数据集，该数据集由53,644帧以及超过400万个对象注释组成。
本发明提供的技术方案的有益效果是：
1、本发明提出了一个图正则化光流注意力网络来处理动物计数，能够实现光流网络的在线训练，并加入图正则化处理，在聚合特征图上使用注意力模块来强制网络将注意力集中在不同尺度对象的判别特征上；
2、本发明提出了一个大型的基于无人机的视频动物计数数据集AnimalDrone，该数据集由53,644帧以及超过400万个对象注释组成。数据集的场景涵盖了不同的场景，动物种类多样，可用于多种目标计数方法的测试。
附图说明
图1为一种基于图正则光流注意力网络的动物计数方法的流程图；
图2为整体网络结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
为了解决背景技术中存在的问题，本发明实施例提出了一个基于图正则光流注意力网络(GFAN)的动物计数方法。与采用预先计算的光流的现有作品相比，本方法可通过在线训练光流网络提升目标计数效果。此外，该方法采用多粒度方案以生成不同尺度的判别特征，同时应用图正则化器来维护多个邻域帧之间的时间一致性，将注意力模块逐渐应用于聚合的特征图上，以强制网络利用判别性特征以获得更好的性能。
针对数据集的大小和涵盖的场景有限的问题，本发明提出了一个大型的基于无人机的视频动物计数数据集AnimalDrone，该数据集由53,644帧以及超过400万个对象注释组成。数据集的场景涵盖了不同的场景，动物种类多样，可用于多种目标计数方法的测试。
针对动物聚集导致整个图像的密度不均匀的问题，本发明构造了一个新的多粒度损失函数，在本发明中的动物计数方法更专注于高密度区域的计数的情况下，该函数能够更加关注低密度区域以减少动物的计数误差。
实施例1
本发明实施例提供了一种基于图正则光流注意力网络的动物计数方法，参见图1，该方法包括以下步骤：
101：图正则化流注意力网络(GFAN)由三部分组成：共享特征编码器模块，计数解码器模块和时间一致性模块，网络结构示意图如图2所示。
其中，共享特征编码器模块使用VGG-16网络[1]中的前四组卷积层作为主干，以提取两个不同帧t和t+τ上的特征图(Feature Map)，然后使用基于翘曲损失的在线光流网络来捕获这两个帧之间的运动信息。为了获得增强的特征图，利用生成的光学流将第(t+τ)帧的特征图扭曲到第t帧，参数τ确定两个帧之间的时间距离。通过时间一致性模块对得到的特征图使用翘曲损失计算，获得特征图与原始特征编码器之间的误差。
102：计数解码器模块将反卷积Deconv逐步应用于光流翘曲生成的特征图，从而产生不同尺度的特征图。在每个尺度上添加带有横向连接的语义特征，然后应用1×1卷积层以获得中间密度图，并在每个尺度的密度图上使用MSELoss(均方损失)函数。
103：将102中添加语义特征后的每个尺度的特征进行融合，在进行特征融合时采用多粒度损失函数减少误差的产生。最后，使用1×1卷积层生成最终密度图，并在最终密度图中通过时间一致性模块使用图正则化以进一步增强时间关系。
其中，上下文中所述的特征图为：网络中卷积层的输出结果；语义特征为：网络的高层特征；判别性特征为：融合多个卷积层中不同尺度的特征而得到更具有判别性的特征。该些术语均为本领域技术人员所公知的技术术语，本发明实施例对此不做赘述。
综上所述，本方法中的图正则光流注意力网络GFAN使用基于翘曲损失的在线光流网络，从而增强了计数功能。利用多尺度特征图聚合和关注机制来应对尺度变化，以融合不同尺度的特征得到更具有判别性的特征，并提出了一种多粒度损失函数来测量高密度损失和低密度损失。同时，应用图正则化器来维护多个邻域帧之间的时间一致性。最后，将注意力模块逐渐应用于聚合的特征图上，以强制网络利用判别性特征来获得更好的性能。
实施例2
下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：
一、数据准备
本发明训练时采用本方法中由无人机收集的基于视频的大型动物计数数据集AnimalDrone，该数据集由两个子集组成，即AnimalDrone-PartA和AnimalDrone-PartB，数据集的场景涵盖了不同的场景，动物种类多样。经过数据修剪和注释数据后，AnimalDrone-PartA包括训练集和测试集在内包含18,940张图像和2,008,570个带注释的对象，AnimalDrone-PartB包括训练片段和测试片段在内的103个视频片段，共计34704个帧和2040598个带注释的对象。可用于多种目标计数方法的测试
二、基于翘曲损失的在线光流网络
由于考虑时间相干性，本方法首先根据图像帧It、It+τ生成双向光流ft→t+τ、ft+τ→t，同时将其送至共享特征编码器网络中以获得特征图St、St+τ。通过生成ft→t+τ、ft+τ→t，将St、St+τ扭曲到S't、S't+τ。S't、St和St+τ、S't+τ之间的偏移是由于光学流不准确所致。
在任务中为每个框架设置标签。利用下面所示公式应用翘曲损失：
Figure BDA0002531133230000061
其中，Sij为第i帧到第j帧的特征图，fij为第i帧到第j帧的光流，Warp函数用于计算网络中的翘曲损失，该公式可训练光流网络以获得更好的光流。
三、多粒度损失函数
本方法的损失函数包括：像素级别的密度损失和区域级别的计数损失两类。像素级别的损失衡量的是所估计的密度图与地面真实密度图之间的密度差。区域损失衡量的是不同区域中动物数量的相对差异。
多粒度损失的计算公式如下：
Figure BDA0002531133230000062
其中，N是批次大小，W和H分别是密度图的宽度和高度。M(n)(i,j)和
Figure BDA0002531133230000063
分别是第n个训练样本的位置(i，j)的真实标注和估计密度图。C(n)(r)和
Figure BDA0002531133230000064
分别是第n个训练样本的区域r中的真实值和估计值。将图像划分为k×k个子区域，其中每个区域的计数计算为
Figure BDA0002531133230000065
M(i,j)为该区域的真实标注。C(n)(r)+1用于避免没有任何对象的区域中的0分母。λ是平衡两个损失项的因素。
四、时间图正则化
本方法通过在线训练的光流网络，提取运动信息并考虑时间相干性。使用最小批处理(mini-batch)SGD来更新网络参数。相邻的k帧放入一个mini-batch中，批大小因而设置为k。根据流形假设，原始特征空间中k个帧的关系应保留在投影密度图空间中。
令G＝{V,ε}表示由k帧构成的邻域图，其中
Figure BDA0002531133230000066
表示节点特征。相邻的矩阵A表示不同帧的相似关系，然后将时间图正则化器定义为：
Figure BDA0002531133230000067
其中，Mi代表第i帧的密度图，k是batch中的帧数，Mj代表第j帧的密度图。aij使用RBF-kernel计算，即
Figure BDA0002531133230000071
其中，
Figure BDA0002531133230000072
是第i帧的真实标注(ground-truth)，
Figure BDA0002531133230000073
是第j帧的真实标注，β是正常数。图正则化器可以保证保留密度图的相似关系。
在这里给出GFAN模型的损失函数，即：
L＝Lc+Lw+Lm+Lg (5)
其中，Lc是用于多尺度密度图估计的MSELoss函数，Lw，Lm和Lg分别是翘曲损耗，多粒度损耗和图正则化器。可以使用大规模视频片段以端到端的方式训练GFAN。
本发明实施例具有以下三个关键创造点：
一、提出由无人机收集的基于视频的大型动物计数数据集AnimalDrone；
技术效果：数据集由无人机摄像机捕获的视频片段构成，共有53,644个帧，其中包含超过400万个对象注释和如密度，高度和视图等多个属性，可用于农业和野生动植物保护。
二、提出基于翘曲损失的在线光流网络；
技术效果：可以实现在线训练光流网络，在数据集中缺少光学流标记的情况下，可以提高光学流评估网络的性能，从而增强了计数功能。
三、提出维护多个邻域帧之间的时间一致性的时间图正则化器
技术效果：应用图正则化来维护多个邻域帧之间的时间一致性，将注意力模块逐渐应用于聚合的特征图上，以强制网络利用判别性特征来获得更好的性能。
综上所述，本方法中的图正则光流注意力网络GFAN使用基于翘曲损失的在线光流网络，从而增强了计数功能。利用多尺度特征图聚合和关注机制来应对尺度变化，以融合不同尺度的特征得到更具有判别性的特征，并提出了一种多粒度损失函数来测量高密度损失和低密度损失。同时，应用图正则化器来维护多个邻域帧之间的时间一致性。最后，将注意力模块逐渐应用于聚合的特征图上，以强制网络利用判别性特征来获得更好的性能。
实施例3
本发明实施例采用的实验结果1如表1所示。该结果展示了多种最新方法的在AnimalDrone两部分A、B的数据集上的计数评估结果，评估方法包括MCNN[2]，MSCNN[3]，CSRNet[4]等方法以及本发明中的方法。所有的计数方法都在训练集中进行训练，并在测试集中进行评估。结果表明，本发明所使用方法可以在不同的情况下生成更准确的密度图，相比其他方法获得更好的表现。实验结果反映出本发明所用的方法优于现有方法。
本发明实施例采用的实验结果2如表2所示。该结果展示了GFAN的三个变体，即GFAN-w/o-graph，GFAN-w/o-warp和GFAN-w/o-cnt对整个AnimalDrone数据集测试的评估结果，以便更好的获得本发明中网络中每个模块的影响。GFAN的所有变体都在训练集中进行训练，并在测试集中以相同的参数设置和输入大小对其进行评估。GFAN的三个变体分别为：GFAN-w/o-graph为不带图形正则化模块的GFAN的变体；GFAN-w/o-warp为消除了GFAN-w/o-graph的弯曲损耗并固定了光流网络的变体；GFAN-w/o-cnt表示从GFAN-w/o-warp中消除区域计数损失的变体。从结果上看本方法中的GFAN在数据集PartA和PartB上均胜过其三个变体。
表1
Figure BDA0002531133230000081
表2
Figure BDA0002531133230000082
Figure BDA0002531133230000091
本发明实施例对各器件的型号除做特殊说明的以外，其他器件的型号不做限制，只要能完成上述功能的器件均可。
本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
参考文献：
[1]Karen Simonyan and Andrew Zisserman.Very deep convolutionalnetworks for large-scale image recognition.CoRR,abs/1409.1556,2014.
[2]Zhang,Y.,Zhou,D.,Chen,S.,Gao,S.,Ma,Y.:Single-image crowd countingvia multi-column convolutional neural network.In:CVPR.pp.589–597(2016)
[3]Zeng,L.,Xu,X.,Cai,B.,Qiu,S.,Zhang,T.:Multi-scale convolutionalneural networks for crowd counting.In:ICIP.pp.465–469(2017)
[4]Li,Y.,Zhang,X.,Chen,D.:Csrnet:Dilated convolutional neuralnetworks for understanding the highly congested scenes.In:CVPR.pp.1091–1100(2018)

Claims (2)

1.一种基于图正则光流注意力网络的动物计数方法，其特征在于，所述图正则光流注意力网络由共享特征编码器、计数解码器和时间一致性组成，所述方法包括：
所述共享特征编码器用于提取t帧和t+τ帧上的特征图，使用基于翘曲损失的在线光流网络捕获两帧之间的运动信息；利用生成的光学流将第t+τ帧的特征图扭曲到第t帧；通过所述时间一致性模块对得到的特征图使用翘曲损失计算，获得特征图与原始特征编码器之间的误差；
所述计数解码器模块将反卷积Deconv逐步应用于光流翘曲生成的特征图，从而产生不同尺度的特征图；在每个尺度上添加带有横向连接的语义特征，然后应用1×1卷积层以获得中间密度图，并在每个尺度的密度图上使用均方损失函数；
将添加语义特征后的每个尺度的特征进行融合，融合时采用多粒度损失函数减少误差的产生；最后，使用1×1卷积层生成最终密度图，并在最终密度图中通过所述时间一致性模块使用图正则化以进一步增强时间关系；
其中，所述基于翘曲损失的在线光流网络具体为：
根据图像帧It、It+τ生成双向光流ft→t+τ、ft+τ→t，同时将其送至共享特征编码器中以获得特征图St、St+τ；通过生成ft→t+τ、ft+τ→t，将St、St+τ扭曲到S't、S't+τ；
在任务中为每个框架设置标签，利用所示公式应用翘曲损失：
Figure FDA0002958570090000011
其中，Sij为第i帧到第j帧的特征图，fij为第i帧到第j帧的光流，Warp函数用于计算网络中的翘曲损失；
其中，所述多粒度损失函数包括：像素级别的密度损失和区域级别的计数损失，密度损失衡量的是所估计的密度图与地面真实密度图之间的密度差；计数损失衡量的是不同区域中动物数量的相对差异；
多粒度损失的计算公式如下：
Figure FDA0002958570090000012
其中，N是批次大小，W和H分别是密度图的宽度和高度；M(n)(i,j)和
Figure FDA0002958570090000013
分别是第n个训练样本的位置(i，j)的真实标注和估计密度图；C(n)(r)和
Figure FDA0002958570090000014
分别是第n个训练样本的区域r中的真实值和估计值；将图像划分为k×k个子区域，其中每个区域的计数计算为
Figure FDA0002958570090000015
M(i,j)为该区域的真实标注；C(n)(r)+1用于避免没有任何对象的区域中的0分母；λ是平衡因素；
其中，所述使用图正则化以进一步增强时间关系具体为：
令G＝{V,ε}表示由k帧构成的邻域图，V表示节点特征，相邻的矩阵A表示不同帧的相似关系，将时间图正则化器定义为：
Figure FDA0002958570090000021
其中，Mi代表第i帧的密度图，k是batch中的帧数，Mj代表第j帧的密度图，aij使用RBF-kernel计算，即
Figure FDA0002958570090000022
其中，
Figure FDA0002958570090000023
是第i帧的真实标注，
Figure FDA0002958570090000024
是第j帧的真实标注，β是正常数；
最终的损失函数：L＝Lc+Lw+Lm+Lg
其中，Lc是用于多尺度密度图估计的MSELoss函数，Lw，Lm和Lg分别是翘曲损耗，多粒度损耗和图正则化器。
2.根据权利要求1所述的一种基于图正则光流注意力网络的动物计数方法，其特征在于，所述方法还包括：构建基于无人机的视频动物计数数据集，该数据集由53,644帧以及超过400万个对象注释组成。
CN202010518779.1A 2020-06-09 2020-06-09 一种基于图正则光流注意力网络的动物计数方法 Expired - Fee Related CN111832414B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010518779.1A CN111832414B (zh) 2020-06-09 2020-06-09 一种基于图正则光流注意力网络的动物计数方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010518779.1A CN111832414B (zh) 2020-06-09 2020-06-09 一种基于图正则光流注意力网络的动物计数方法

Publications (2)

Publication Number Publication Date
CN111832414A CN111832414A (zh) 2020-10-27
CN111832414B true CN111832414B (zh) 2021-05-14

Family

ID=72899273

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010518779.1A Expired - Fee Related CN111832414B (zh) 2020-06-09 2020-06-09 一种基于图正则光流注意力网络的动物计数方法

Country Status (1)

Country Link
CN (1) CN111832414B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112784685B (zh) * 2020-12-28 2022-08-26 山东师范大学 基于多尺度引导注意力机制网络的人群计数方法及系统
CN112906511B (zh) * 2021-02-02 2022-08-02 东北林业大学 一种联合个体图像和足迹图像的野生动物智能监测方法
CN112949826B (zh) * 2021-02-25 2023-07-21 青岛科技大学 一种用于海洋生物密度估计的多分支注意力网络系统
CN113139990B (zh) * 2021-05-08 2022-03-15 电子科技大学 一种基于内容感知的深度网格流鲁棒图像对齐方法
CN117808802B (zh) * 2024-02-29 2024-05-07 江西云眼视界科技股份有限公司 一种基于多提示引导的通用细粒度视觉计数方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558862A (zh) * 2018-06-15 2019-04-02 广州深域信息科技有限公司 基于空间感知的注意力细化框架的人群计数方法及系统
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
CN110503666A (zh) * 2019-07-18 2019-11-26 上海交通大学 一种基于视频的密集人群计数方法与系统
CN110852267A (zh) * 2019-11-11 2020-02-28 复旦大学 基于光流融合型深度神经网络的人群密度估计方法及装置
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111242036A (zh) * 2020-01-14 2020-06-05 西安建筑科技大学 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989614B (zh) * 2015-02-13 2020-09-01 中国科学院西安光学精密机械研究所 融合多源视觉信息的危险物体检测方法
US20170017846A1 (en) * 2015-07-15 2017-01-19 Umm Al-Qura University Crowd and traffic monitoring apparatus and method
US10289884B2 (en) * 2015-08-27 2019-05-14 Kabushiki Kaisha Toshiba Image analyzer, image analysis method, computer program product, and image analysis system
JP7005213B2 (ja) * 2017-08-04 2022-01-21 セコム株式会社 画像解析装置
CN110674704A (zh) * 2019-09-05 2020-01-10 同济大学 一种基于多尺度扩张卷积网络的人群密度估计方法及装置
CN110827193B (zh) * 2019-10-21 2023-05-09 国家广播电视总局广播电视规划院 基于多通道特征的全景视频显著性检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019081623A1 (en) * 2017-10-25 2019-05-02 Deepmind Technologies Limited SELF-REGRESSIVE NEURAL NETWORK SYSTEMS INCLUDING A SOFTWARE ATTENTION MECHANISM USING SUPPORT DATA CORRECTIVES
CN109558862A (zh) * 2018-06-15 2019-04-02 广州深域信息科技有限公司 基于空间感知的注意力细化框架的人群计数方法及系统
CN110503666A (zh) * 2019-07-18 2019-11-26 上海交通大学 一种基于视频的密集人群计数方法与系统
CN110852267A (zh) * 2019-11-11 2020-02-28 复旦大学 基于光流融合型深度神经网络的人群密度估计方法及装置
CN110889343A (zh) * 2019-11-15 2020-03-17 复旦大学 基于注意力型深度神经网络的人群密度估计方法及装置
CN110969577A (zh) * 2019-11-29 2020-04-07 北京交通大学 一种基于深度双重注意力网络的视频超分辨率重建方法
CN111242036A (zh) * 2020-01-14 2020-06-05 西安建筑科技大学 一种基于编码-解码结构多尺度卷积神经网络的人群计数方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Crowd Counting via Cross-Stage Refinement Networks;Yongtuo Liu 等;《IEEE Transactions on Image Processing》;20200519;第29卷;第6800-6812页 *
Drone-based Joint Density Map Estimation,Localization and Tracking with Space-Time Multi-Scale Attention Network;Longyin Wen 等;《arXiv:1912.01811v1》;20191204;第1-10页 *
Learning from Synthetic Data for Crowd Counting in the Wild;Qi Wang 等;《arXiv:1903.03303v1》;20190308;第1-17页 *
Vision Meets Drones:Past,Present and Future;Pengfei Zhu 等;《arXiv:2001.06303v1》;20200116;第1-19页 *
基于深度卷积神经网络的人群密度估计方法;谭智勇 等;《计算机应用与软件》;20170731;第34卷(第7期);第130-136页 *

Also Published As

Publication number Publication date
CN111832414A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
CN111832414B (zh) 一种基于图正则光流注意力网络的动物计数方法
Basalamah et al. Scale driven convolutional neural network model for people counting and localization in crowd scenes
CN108470332B (zh) 一种多目标跟踪方法及装置
Roshtkhari et al. An on-line, real-time learning method for detecting anomalies in videos using spatio-temporal compositions
CN111783576A (zh) 基于改进型YOLOv3网络和特征融合的行人重识别方法
CN111723693B (zh) 一种基于小样本学习的人群计数方法
CN111583263A (zh) 一种基于联合动态图卷积的点云分割方法
CN108960047B (zh) 基于深度二次树的视频监控中人脸去重方法
Amirgholipour et al. A-CCNN: adaptive CCNN for density estimation and crowd counting
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
CN114241511B (zh) 一种弱监督行人检测方法、系统、介质、设备及处理终端
CN113762009B (zh) 一种基于多尺度特征融合及双注意力机制的人群计数方法
CN110853074A (zh) 一种利用光流增强目标的视频目标检测网络系统
CN109447014A (zh) 一种基于双通道卷积神经网络的视频在线行为检测方法
Zhang et al. Unsupervised depth estimation from monocular videos with hybrid geometric-refined loss and contextual attention
CN113627240B (zh) 一种基于改进ssd学习模型的无人机树木种类识别方法
CN116977744A (zh) 基于对比学习与子空间的小样本跨域高光谱图像分类方法
CN113129336A (zh) 一种端到端多车辆跟踪方法、系统及计算机可读介质
CN112541403A (zh) 一种利用红外摄像头的室内人员跌倒检测方法
CN112464864A (zh) 基于树形神经网络结构的人脸活体检测方法
CN117095153A (zh) 一种多模态果实感知系统、装置及存储介质
Fan et al. Generating high quality crowd density map based on perceptual loss
CN112632601B (zh) 面向地铁车厢场景的人群计数方法
Wedberg Detecting rails in images from a train-mounted thermal camera using a convolutional neural network
JP5995943B2 (ja) 映像特徴抽出装置、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhu Pengfei

Inventor after: Wei Zhiqiang

Inventor after: Weng Zheming

Inventor after: Peng Tao

Inventor after: Cao Yaru

Inventor after: Hu Qinghua

Inventor before: Zhu Pengfei

Inventor before: Wei Zhiqiang

Inventor before: Weng Zheming

Inventor before: Peng Tao

Inventor before: Cao Yaru

Inventor before: Hu Qinghua

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210514