CN108053423A - 一种多目标动物跟踪方法及装置 - Google Patents

一种多目标动物跟踪方法及装置 Download PDF

Info

Publication number
CN108053423A
CN108053423A CN201711269761.7A CN201711269761A CN108053423A CN 108053423 A CN108053423 A CN 108053423A CN 201711269761 A CN201711269761 A CN 201711269761A CN 108053423 A CN108053423 A CN 108053423A
Authority
CN
China
Prior art keywords
mrow
msubsup
msup
animal
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711269761.7A
Other languages
English (en)
Inventor
孙龙清
李玥
邹远炳
罗冰
刘岩
李亿杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201711269761.7A priority Critical patent/CN108053423A/zh
Publication of CN108053423A publication Critical patent/CN108053423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种多目标动物跟踪方法及装置。所述方法包括：将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。本发明针对传统目标跟踪方法存在跟踪精度低、遮挡时跟踪性能差等问题，通过训练好的深度神经网络进行动物视频数据中的多个目标动物进行跟踪，提高了跟踪系统的鲁棒性，具有一定的实用性。

Description

一种多目标动物跟踪方法及装置
技术领域
本发明涉及数字视频图像处理领域，更具体地，涉及一种多目标动物跟踪方法及装置。
背景技术
运动目标跟踪是机器视觉的热门课题，广泛应用于跟踪以给出养殖管理决策，基于图像处理的目标动物跟踪方法能够进一步提高动物行为视频分析的自动化程度。视觉目标跟踪研究的难点在于保证算法的鲁棒性和准确性，Mean Shift算法、卡尔曼滤波算法、粒子滤波算法、光流算法等都能在一定条件下有效地跟踪目标。但以上方法需要进行建模或进行复杂的滤波运算，增加了算法的时间复杂度，跟踪的实时性效果受到影响；当目标运动速度过快或遮挡较为严重时，传统目标跟踪算法往往会发生目标的定位偏差甚至丢失，没有解决在跟踪目标之间互遮挡时的可靠性和鲁棒性问题。
近年来发展起来的卷积神经网络是一种新的目标分类识别方法，具有大规模并行处理能力、良好的自适应性以及较强的学习能力，基于卷积神经网络的图像模式识别和运动目标检测在农业信息化领域的应用已经成为一个新的研究热点。Held等在深度置信网络方面的重大研究工作发表以来，深度学习作为机器学习的新方向，在人工智能领域许多重要问题上得到广泛应用；Zeiler等基于CNN提取特征，当直接使用深度学习模型进行在线跟踪时，存在运行速度慢、难以满足跟踪实时性要求的问题。
传统人工神经网络形式简单学习能力强，在可控环境中具有较为准确的跟踪结果，广泛用于目标识别和跟踪领域，但是以往神经网络模型多为浅层神经网络，产生大量训练样本，存在着需要大量数据训练、迭代运算时间长等不足。
发明内容
本发明提供一种克服上述问题或者至少部分地解决上述问题的多目标动物跟踪方法及装置。
根据本发明的一个方面，提供一种多目标动物跟踪方法，包括：
将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；
利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。
根据本发明的另一个方面，还提供一种多目标动物跟踪装置，包括输入模块和跟踪模块；
所述输入模块，用于将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；
所述跟踪模块，用于利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。
本发明提出一种多目标动物跟踪方法，针对传统目标跟踪方法存在跟踪精度低、遮挡时跟踪性能差等问题，通过训练好的深度神经网络进行动物视频数据中的多个目标动物进行跟踪，提高了跟踪系统的鲁棒性，具有一定的实用性。
附图说明
图1为本发明实施例一种多目标动物跟踪方法流程示意图；
图2为本发明实施例所述深度神经网络的训练步骤示意图；
图3为本发明实施例一种多目标动物跟踪装置示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
针对动物视觉跟踪过程中普遍存在背景复杂、光线变化、目标遮挡等干扰，而现有跟踪算法抗干扰能力差、鲁棒性低的问题，本发明实施例利用视频中图像序列样本量充足这一特点，结合深度学习方法，提出一种自适应多特提征取的多目标动物跟踪方法。
图1为本发明实施例一种多目标动物跟踪方法流程示意图，如图1所示的多目标动物跟踪方法，包括：
S100，将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；
其中，所述卷积层用于特征图的卷积操作。具体做法是：以前一层的一个或多个特征图作为输入，将该输入与一个或多个卷积核进行卷积操作，产生一个或者多个输出。
所述下采样层用于对卷积层输出的特征图进行采样，以实现降维等作用。
所述特定分类层用于对输出结果进行分类，得到分类结果。
S200，利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。本实施例中的原始的动物视频数据是实时读取的动物视频数据。
本发明实施例提出一种多目标动物跟踪方法，针对传统目标跟踪方法存在跟踪精度低、遮挡时跟踪性能差等问题，通过训练好的深度神经网络进行动物视频数据中的多个目标动物进行跟踪，提高了跟踪系统的鲁棒性，具有一定的实用性。
本发明实施例所述多目标动物跟踪方法，可以用于跟踪各种家畜、家禽，包括猪、牛、羊、马、鸡、鸭等，但不限于上述；也可以用于跟踪其他环境下捕获的动物图像。
在一个可选的实施例中，通过以下步骤获取所述训练好的深度神经网络，如图2所示：
S101，获取训练样本集中的动物视频图像，并对所述动物视频图像中的目标动物进行标注，将标注后的动物视频图像作为训练数据；
本实施例训练样本集中包含足够的训练样本，每个训练样本为一个动物视频图像；可以通过人工对动物视频图像中的目标动物进行标注，将标注后的动物视频图像作为训练数据，可以提高跟踪的精度度。
S102，采用主成分分析PCA对训练数据进行降维处理，获取所述训练数据的主要特征；
S103，构建包括多个卷积层、下采样层和特定分类层的深度神经网络；
S104，采用所述深度神经网络对降维后的训练数据进行训练并更新所述深度神经网络的网络参数，所述网络参数包括卷积核参数和偏置参数。
本发明实施例通过主成分分析(PCA)技术提取动物主要特征，结合深度卷积神经网络对降维后的数据进行模型训练，对其重要的结构参数和训练策略进行优化和改进，建立基于卷积神经网络的动物跟踪模型。通过训练好的网络跟踪视频中目标动物，解决目前跟踪算法中普遍存在的可靠性与准确性差等问题，实现动物实际养殖环境下的多目标高精度的有效地跟踪。
在一个可选的实施例中，步骤S102中，所述采用主成分分析PCA对训练数据进行降维处理，获取所述训练数据的主要特征，具体包括：
利用所述训练数据的像素矩阵的均值向量对所述训练数据进行中心化处理，并计算中心化后的协方差矩阵；
对所述协方差矩阵进行特征分解，并按从大到小的顺序排序，获得所述训练数据的所有特征向量；
基于所述所有特征向量，获取前d个特征值所对应的特征子空间，并通过特征子空间投影获得图像特征向量；其中，所述前d个特征值之和与所有特征向量之和的比值大于或等于预设比值。
基于上述实施例，所述利用所述训练数据的像素矩阵的均值向量对所述训练数据进行中心化处理，并计算中心化后的协方差矩阵，具体包括：
基于L个训练数据，将每一个N＝m×n维的训练数据的像素值构成一个矩阵Xm×n，并将所述矩阵Xm×n转换成一个列向量xi，获得由列向量构成的训练样本集{x1,x2,...,xL}；
利用列向量xi的均值向量μ将L个训练数据对应的矩阵进行中心化，其中列向量xi的均值向量μ通过下式获取：
利用下式计算中心化后的协方差矩阵S：
基于上述实施例，所述对所述协方差矩阵进行特征分解，并按从大到小的顺序排序，获得所述训练数据的所有特征向量，具体包括：
令A＝[x1-μ,x2-μ,...,xL-μ]，其中x1、x2及xL为所述训练样本集中的元素，μ为列向量xi的均值向量，则协方差矩阵S＝AAT；具体的，本实施例中所述协方差矩阵S的维数为N×N；
采用奇异值分解法求解AAT，将求得的特征值λ按从大到小的顺序排列。
基于上述实施例，所述基于所述所有特征向量，获取前d个特征值所对应的特征子空间，并通过特征子空间投影获得图像特征向量，具体包括：
设前r个特征值之和与所有特征值之和的比值为Φ，计算公式为：
其中，λi为第i个特征值；
获取Φ大于所述预设比值的前d个特征值为λi(i＝1,...,d)，且λ1≥λ2≥...≥λd＞0，并获取对应的特征向量υi(i＝1,...,d)；具体的，所述预设比值可以根据实际需要而选取，本发明实施例对此不作限定。优选的，所述预设比值为90％，即Φ≥90％。
根据u1,u2,...,ud构成一个特征子空间，通过特征子空间投影获得任一帧图像M的系数向量作为图像特征向量：
其中，ui为AAT的正交归一特征向量，A＝[x1-μ,x2-μ,...,xL-μ]，xL训练样本集的样本，μ为列向量xi的均值向量。
在一个可选的实施例中，步骤S103，所述构建包括多个卷积层、下采样层和一个特定分类层的深度神经网络，其中卷积层的计算公式为：
式中，l为层数，和分别为当前层的特征图和上一层的特征图，表示从上一层第i个特征图到当前第j个特征图的卷积核，表示当前层第j个偏置，f(x)为神经元的激活函数；Mj为上一层的感受野。在卷积神经网络CNN中，决定某一层输出结果中一个元素所对应的输入层的区域大小，被称作感受野。
具体的，本实施例卷积层扮演特征提取器的角色，前一层的输出经过大小固定的卷积操作得到卷积层的输出。
具体的，本实施例选取较为常用的S型函数(sigmoid)作为神经元的激活函数，其表达式为：
所述下样层计算公式为：
式中，s×s是下采样模板尺度，为模板的权值。
本实施例中，当通过卷积核处理视频图像后，得到的特征图通过下采样的方法进行降维，减小了来自卷积层的计算复杂度，并且下采样层神经元具有平移不变性，增强了网络对输入图像的鲁棒性。为了保留更多纹理等信息，本实施例采用最大值下采样方法进行特征图进行降维，如上式。
所述深度神经网络还包括全连接输出层，所述全连接输出层的输出结果为：
式中，为输出节点值，为当前层模板的卷积核，为输出层偏置。
本实施例的全连接指上一层的任何一个神经元与下一层的所有神经元都有连接，通过这种方式全连接相当于训练了一个多分类的分类器，学习了目标的全局特征。具体的，本实施例采用softmax函数作为多分类器。
在一个可选的实施例中，所述采用所述深度神经网络对降维后的训练数据进行训练并更新网络参数，所述网络参数包括卷积核参数和偏置参数，具体包括：
按批次读取降维后的训练数据，依次将所有批次的训练数据输入所述深度神经网络进行训练；
计算训练过程中的损失误差，并根据所述损失误差更新所述深度神经网络的卷积核参数和偏置参数。
本发明实施例卷积核的更新问题关系到跟踪的准确性，在目标跟踪中非常重要。卷积神经网络的学习过程就是根据训练数据来调整神经元之间的连接权重以及每个功能神经元的偏置，也就是神经网络学到的东西，蕴含在连接权重与偏置中。
具体的，所述卷积核参数和偏置参数通过下式表示：
式中，wl和bl分别为第l层的卷积核和偏置，Δwl和Δbl分别由前向传播算法计算得到，α和β为学习率，m表示第l层神经元的个数。优选的，学习率α和β可以设置为0.01。
图3为本发明实施例一种多目标动物跟踪装置示意图，如图3所示的多目标动物跟踪装置，包括输入模块和跟踪模块；
所述输入模块，用于将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和一个特定分类层；
所述跟踪模块，用于利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。
本发明实施例的装置，可用于执行图1所示的多目标动物跟踪方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多目标动物跟踪方法，其特征在于，包括：
将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；
利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。
2.根据权利要求1所述的方法，其特征在于，通过以下步骤获取所述训练好的深度神经网络：
获取训练样本集中的动物视频图像，并对所述动物视频图像中的目标动物进行标注，将标注后的动物视频图像作为训练数据；
采用主成分分析PCA对训练数据进行降维处理，获取所述训练数据的主要特征；
构建包括多个卷积层、下采样层和特定分类层的深度神经网络；
采用所述深度神经网络对降维后的训练数据进行训练并更新所述深度神经网络的网络参数，所述网络参数包括卷积核参数和偏置参数。
3.根据权利要求2所述的方法，其特征在于，所述采用主成分分析PCA对训练数据进行降维处理，获取所述训练数据的主要特征，具体包括：
利用所述训练数据的像素矩阵的均值向量对所述训练数据进行中心化处理，并计算中心化后的协方差矩阵；
对所述协方差矩阵进行特征分解，并按从大到小的顺序排序，获得所述训练数据的所有特征向量；
基于所述所有特征向量，获取前d个特征值所对应的特征子空间，并通过特征子空间投影获得图像特征向量；
其中，所述前d个特征值之和与所有特征向量之和的比值大于或等于预设比值。
4.根据权利要求3所述的方法，其特征在于，所述利用所述训练数据的像素矩阵的均值向量对所述训练数据进行中心化处理，并计算中心化后的协方差矩阵，具体包括：
基于L个训练数据，将每一个N＝m×n维的训练数据的像素值构成一个矩阵Xm×n，并将所述矩阵Xm×n转换成一个列向量xi，获得由列向量构成的训练样本集{x1,x2,...,xL}；
利用列向量xi的均值向量μ将L个训练数据对应的矩阵进行中心化，其中列向量xi的均值向量μ通过下式获取：
<mrow> <mi>&amp;mu;</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>L</mi> </mfrac> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>;</mo> </mrow>
利用下式计算中心化后的协方差矩阵S：
<mrow> <mi>S</mi> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>L</mi> </munderover> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <msup> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>-</mo> <mi>&amp;mu;</mi> <mo>)</mo> </mrow> <mi>T</mi> </msup> <mo>.</mo> </mrow>
5.根据权利要求4所述的方法，其特征在于，所述对所述协方差矩阵进行特征分解，并按从大到小的顺序排序，获得所述训练数据的所有特征向量，具体包括：
令A＝[x1-μ,x2-μ,...,xL-μ]，其中x1、x2及xL为所述训练样本集中的元素，μ为列向量xi的均值向量，则协方差矩阵S＝AAT；
采用奇异值分解法求解AAT，将求得的特征值λ按从大到小的顺序排列。
6.根据权利要求5所述的方法，其特征在于，所述基于所述所有特征向量，获取前d个特征值所对应的特征子空间，并通过特征子空间投影获得图像特征向量，具体包括：
设前r个特征值之和与所有特征值之和的比值为Φ，计算公式为：
其中，λi为第i个特征值；
获取Φ大于所述预设比值的前d个特征值为λi(i＝1,...,d)，且λ1≥λ2≥...≥λd＞0，并获取对应的特征向量υi(i＝1,...,d)；
根据u1,u2,...,ud构成一个特征子空间，通过特征子空间投影获得任一帧图像M的系数向量作为图像特征向量：
<mrow> <mover> <mi>M</mi> <mo>&amp;OverBar;</mo> </mover> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <msub> <mi>u</mi> <mn>1</mn> </msub> <mo>,</mo> <msub> <mi>u</mi> <mn>2</mn> </msub> <mo>,</mo> <mn>...</mn> <mo>,</mo> <msub> <mi>u</mi> <mi>d</mi> </msub> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> <mi>M</mi> <mo>;</mo> </mrow>
其中，A＝[x1-μ,x2-μ,...,xL-μ]，xL训练样本集的样本，μ为列向量xi的均值向量。
7.根据权利要求2所述的方法，其特征在于，所述构建包括多个卷积层、下采样层和一个特定分类层的深度神经网络，其中卷积层的计算公式为：
<mrow> <msubsup> <mi>x</mi> <mi>j</mi> <mi>l</mi> </msubsup> <mo>=</mo> <mi>f</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <msub> <mi>M</mi> <mi>j</mi> </msub> </mrow> </munder> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;times;</mo> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mi>l</mi> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
式中，l为层数，和分别为当前层的特征图和上一层的特征图，表示从上一层第i个特征图到当前第j个特征图的卷积核，表示当前层第j个偏置，f(x)为神经元的激活函数，Mj为上一层的感受野；
所述下样层计算公式为：
<mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>=</mo> <mi>g</mi> <mrow> <mo>(</mo> <msubsup> <mi>k</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>&amp;times;</mo> <mfrac> <mn>1</mn> <msup> <mi>s</mi> <mn>2</mn> </msup> </mfrac> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>s</mi> <mo>&amp;times;</mo> <mi>s</mi> </mrow> </munder> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mi>l</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>+</mo> <msubsup> <mi>b</mi> <mi>i</mi> <mi>l</mi> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
式中，s×s是下采样模板尺度，为模板的权值。
所述深度神经网络还包括全连接输出层，所述全连接输出层的输出结果为：
<mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> <mo>=</mo> <mi>s</mi> <mrow> <mo>(</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <mo>&amp;ForAll;</mo> <mi>i</mi> </mrow> </munder> <mo>(</mo> <mrow> <msubsup> <mi>x</mi> <mi>i</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> <mo>-</mo> <mn>1</mn> </mrow> </msubsup> <mo>&amp;times;</mo> <msubsup> <mi>w</mi> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> </mrow> <mo>)</mo> <mo>+</mo> <msubsup> <mi>b</mi> <mi>j</mi> <mrow> <mi>o</mi> <mi>u</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
式中，为输出节点值，为当前层模板的卷积核，为输出层偏置。
8.根据权利要求2所述的方法，其特征在于，所述采用所述深度神经网络对降维后的训练数据进行训练并更新网络参数，所述网络参数包括卷积核参数和偏置参数，具体包括：
按批次读取降维后的训练数据，依次将所有批次的训练数据输入所述深度神经网络进行训练；
计算训练过程中的损失误差，并根据所述损失误差更新所述深度神经网络的卷积核参数和偏置参数。
9.根据权利要求8所述的方法，其特征在于，所述卷积核参数和偏置参数通过下式表示：
<mrow> <msup> <mi>w</mi> <mi>l</mi> </msup> <mo>=</mo> <msup> <mi>w</mi> <mi>l</mi> </msup> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>&amp;lsqb;</mo> <mrow> <mo>(</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <msup> <mi>&amp;Delta;w</mi> <mi>l</mi> </msup> <mo>)</mo> </mrow> <mo>+</mo> <msup> <mi>&amp;beta;w</mi> <mi>l</mi> </msup> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
<mrow> <msup> <mi>b</mi> <mi>l</mi> </msup> <mo>=</mo> <msup> <mi>b</mi> <mi>l</mi> </msup> <mo>-</mo> <mi>&amp;alpha;</mi> <mo>&amp;lsqb;</mo> <mfrac> <mn>1</mn> <mi>m</mi> </mfrac> <msup> <mi>&amp;Delta;b</mi> <mi>l</mi> </msup> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
式中，wl和bl分别为第l层的卷积核和偏置，Δwl和Δbl分别由前向传播算法计算得到，α和β为学习率，m表示第l层神经元的个数。
10.一种多目标动物跟踪装置，其特征在于，包括输入模块和跟踪模块；
所述输入模块，用于将原始的动物视频数据输入训练好的深度神经网络，获取所述动物视频数据对应的动物模型；所述训练好的深度神经网络包括多个卷积层、下采样层和特定分类层；
所述跟踪模块，用于利用所述动物模型对所述原始的动物视频数据中的多个目标动物进行跟踪。
CN201711269761.7A 2017-12-05 2017-12-05 一种多目标动物跟踪方法及装置 Pending CN108053423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711269761.7A CN108053423A (zh) 2017-12-05 2017-12-05 一种多目标动物跟踪方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711269761.7A CN108053423A (zh) 2017-12-05 2017-12-05 一种多目标动物跟踪方法及装置

Publications (1)

Publication Number Publication Date
CN108053423A true CN108053423A (zh) 2018-05-18

Family

ID=62122056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711269761.7A Pending CN108053423A (zh) 2017-12-05 2017-12-05 一种多目标动物跟踪方法及装置

Country Status (1)

Country Link
CN (1) CN108053423A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401978A (zh) * 2019-07-19 2019-11-01 中国电子科技集团公司第五十四研究所 基于神经网络和粒子滤波多源融合的室内定位方法
CN110689557A (zh) * 2019-09-21 2020-01-14 天津大学 一种基于kcf的改进型抗遮挡目标跟踪方法
CN111275911A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 一种危险提示方法、设备和计算机可读存储介质
WO2021046681A1 (zh) * 2019-09-09 2021-03-18 深圳市迪米欧科技有限公司 面向复杂场景的多源目标跟踪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866810A (zh) * 2015-04-10 2015-08-26 北京工业大学 一种深度卷积神经网络的人脸识别方法
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
CN104970789A (zh) * 2014-04-04 2015-10-14 中国科学院苏州纳米技术与纳米仿生研究所 心电图分类方法及系统
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104970789A (zh) * 2014-04-04 2015-10-14 中国科学院苏州纳米技术与纳米仿生研究所 心电图分类方法及系统
CN104866810A (zh) * 2015-04-10 2015-08-26 北京工业大学 一种深度卷积神经网络的人脸识别方法
CN104966104A (zh) * 2015-06-30 2015-10-07 孙建德 一种基于三维卷积神经网络的视频分类方法
CN106097355A (zh) * 2016-06-14 2016-11-09 山东大学 基于卷积神经网络的胃肠道肿瘤显微高光谱图像处理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110401978A (zh) * 2019-07-19 2019-11-01 中国电子科技集团公司第五十四研究所 基于神经网络和粒子滤波多源融合的室内定位方法
WO2021046681A1 (zh) * 2019-09-09 2021-03-18 深圳市迪米欧科技有限公司 面向复杂场景的多源目标跟踪方法
CN110689557A (zh) * 2019-09-21 2020-01-14 天津大学 一种基于kcf的改进型抗遮挡目标跟踪方法
CN111275911A (zh) * 2020-01-16 2020-06-12 珠海格力电器股份有限公司 一种危险提示方法、设备和计算机可读存储介质
CN111275911B (zh) * 2020-01-16 2021-02-26 珠海格力电器股份有限公司 一种危险提示方法、设备和计算机可读存储介质

Similar Documents

Publication Publication Date Title
Liu et al. Weighing counts: Sequential crowd counting by reinforcement learning
Kumar et al. Resnet-based approach for detection and classification of plant leaf diseases
CN108053423A (zh) 一种多目标动物跟踪方法及装置
Surya et al. Cassava leaf disease detection using convolutional neural networks
Abdulsalam et al. Deep weed detector/classifier network for precision agriculture
Kowsher et al. Detecting third umpire decisions & automated scoring system of cricket
Peyal et al. Detection of tomato leaf diseases using transfer learning architectures: A comparative analysis
Priyangka et al. Classification of rice plant diseases using the convolutional neural network method
Sharma et al. Recognition of plant species based on leaf images using multilayer feed forward neural network
Hasan et al. Maize diseases image identification and classification by combining cnn with bi-directional long short-term memory model
CN109034218A (zh) 模型训练方法、装置、设备及存储介质
Rosales et al. Faster r-cnn based fish detector for smart aquaculture system
Shobana et al. Plant disease detection using convolution neural network
Hu et al. Research on animal image classification based on transfer learning
Chen et al. YOLOv8-CML: A lightweight target detection method for Color-changing melon ripening in intelligent agriculture
Frank et al. Confidence-driven hierarchical classification of cultivated plant stresses
Singh et al. A Deep Learning-based Fine-tuned Convolutional Neural Network Model for Plant Leaf Disease Detection
Madhukar et al. A Systematized Chronicity based Disease Classification in Coffee Leaves using Deep Learning
Iparraguirre-Villanueva et al. Disease identification in crop plants based on convolutional neural networks
Chen et al. Recognition of Plant Leaf Diseases Based on Convolutional Neural Network
Renugadevi Classification of custard apple leaves using deep convolutional networks
Sembiring et al. The performance of various concise convolutional neural network configurations in classifying tomato diseases based on leaf images
Udayananda et al. An ensemble methods based machine learning approach for rice plant disease diagnosing
CN112183332A (zh) 一种基于迁移学习的牦牛脸识别方法
Barakala et al. Rice Plant Leaf Disease Classification Using Deep Residual Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication