CN109872346A - 一种支持循环神经网络对抗学习的目标跟踪方法 - Google Patents

一种支持循环神经网络对抗学习的目标跟踪方法 Download PDF

Info

Publication number
CN109872346A
CN109872346A CN201910179822.3A CN201910179822A CN109872346A CN 109872346 A CN109872346 A CN 109872346A CN 201910179822 A CN201910179822 A CN 201910179822A CN 109872346 A CN109872346 A CN 109872346A
Authority
CN
China
Prior art keywords
training
network
arbiter
tracking
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910179822.3A
Other languages
English (en)
Other versions
CN109872346B (zh
Inventor
韩光
杜花
高燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201910179822.3A priority Critical patent/CN109872346B/zh
Publication of CN109872346A publication Critical patent/CN109872346A/zh
Application granted granted Critical
Publication of CN109872346B publication Critical patent/CN109872346B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

一种支持循环神经网络对抗学习的目标跟踪方法，包括以下步骤：步骤1，构建目标跟踪生成对抗网络OTGAN模型；步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；步骤4，对抗训练目标跟踪生成对抗网络OTGAN。本发明将生成对抗网络和长短期记忆网络LSTM融合，形成了基于对抗训练的目标跟踪循环神经网络，将视频帧全局特征向量作为生成对抗网络的输入之一，而不是传统中将随机变量作为输入，从而学习到视频帧中目标信息，并学习从历史及当前视频帧信息到目标位置的映射关系，提升整体跟踪准确率；同时利用目标运动轨迹进行监督训练，能够极大地提升目标跟踪的准确率。

Description

一种支持循环神经网络对抗学习的目标跟踪方法
技术领域
本发明涉及一种支持循环神经网络对抗学习的目标跟踪方法，属于计算机视觉领域。
背景技术
目标跟踪是计算机视觉领域的重点和难点课题，一直以来都受到广泛关注，在无人机、智能交通、精确制导、机器人、人机交互等军用和民用领域都有着重要作用。目标跟踪的研究已有几十年的时间，目前也取得了不少成果。然而,尽管很多跟踪算法已经被提出，但是由于跟踪过程的复杂多变，同时实现实时、鲁棒跟踪仍然是一个巨大挑战。
基于深度学习的目标跟踪的研究在近几年发展迅速，同时考虑到利用视频序列之间的时间相关性，循环神经网络(Recurrent Neural Network)得到广泛关注。长短期记忆网络LSTM是一种RNN特殊的类型，可以学习长期依赖的信息。2017年，Ning G等人（Zhang Z,Huang C，“Spatially supervised recurrent convolutional neural networks forvisual object tracking”，IEEE International Symposium on Circuits and Systems.IEEE, 2017:1-4.）训练基于检测的循环神经网络应用于目标跟踪，但是基于检测的跟踪只能跟踪检测算法YOLO数据集中包含的20类目标，如猫、车等。Gordon D等人(Gordon ,A.Farhadi ,and D .Fox ,“Re3 : Real-Time Recurrent Regression Networks forObject Tracking ”,2017, PP(99):1-1 .)提出一种实时的循环回归网络(Re3)，离线训练了一个用于回归的长短时记忆网络，但离线训练所用视频包含的目标千差万别，这种方法很难学习到一个通用的模型来描述所有目标形态和动作的变化。
发明内容
本发明的目的在于：提供一种支持循环神经网络对抗学习的目标跟踪方法，利用LSTM对高级视觉特征解释、回归能力，将深度神经网络分析延展到时空域，并利用生成对抗网络进行训练，提高了目标跟踪的实时性和鲁棒性。
一种支持循环神经网络对抗学习的目标跟踪方法，该方法包括以下步骤：
步骤1，构建目标跟踪生成对抗网络OTGAN模型；
步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；
步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；
步骤4，对抗训练目标跟踪生成对抗网络OTGAN。
进一步地，所述步骤1中目标跟踪生成对抗网络OTGAN模型包括生成器和判别器，所述生成器用于生成视频帧跟踪结果，所述判别器用于判别输入是真实运动轨迹还是由生成器生成的跟踪结果构成的运动轨迹。
进一步地，所述生成器包括用于提取视频帧全局特征的卷积网络和跟踪网络；所述卷积网络包括5个卷积层，3个最大池化层，1层全连接层，卷积层卷积核大小依次为11×11、5×5、3×3、3×3、3×3，最大池化层池化核为2×2，全连接层输出维度为4096维；所述跟踪网络由长短期记忆网络LSTM构成，所述长短期记忆网络LSTM输入参数包括：第i帧隐藏状态hi、第i帧细胞状态ci、所述卷积网络产生的4096维特征，得到的跟踪坐标为LSTM网络回归的向量最后四个参数构成的4维向量Pi=[xi,yi,wi,hi]，其中(xi,yi)为跟踪目标矩形框的中心坐标，(wi,hi)分别为跟踪目标矩形框的宽和高。
进一步地，所述判别器由双向LSTM网络和全连接层构成。
进一步地，所述步骤2中所述预训练生成器采用Adam优化算法，所述LSTM网络的输入是当前视频帧的全局特征向量和前一帧的输出状态；在所述预训练过程中，对序列长度采用一种特殊机制，即从短序列开始展开，从训练数据中随机抽取样本，最终用越来越长的序列对模型进行训练。
进一步地，所述步骤3中所述预训练判别器采用随机梯度下降法SGD (StochasticGradient Descent)，所述判别器的输入由真实运动轨迹与生成器生成的虚假轨迹构成。
进一步地，所述步骤4中所述对抗训练由所述生成器和所述判别器交替训练，所述训练包括以下步骤：
步骤4-1：将待跟踪视频帧图像输入所述生成器，得到预测的跟踪结果，将所得的跟踪结果构成的运动轨迹输入所述判别器，所述判别器判别该轨迹为真实轨迹的概率，根据所述判别器返回的判别概率迭代训练所述生成器的网络参数；
步骤4-2：将由所述生成器预测得到的跟踪结果构成的虚假运动轨迹标记为0，真实视频运动轨迹标记为1，共同组成所述判别器的训练集来训练所述判别器。
进一步地，所述交替训练需要调节所述生成器和所述判别器的训练次数，当所述判别器的训练损失小于所述生成器训练损失的70%时，暂时停止所述判别器的更新，不断交替直至网络均衡。
本发明有益效果为：本发明将生成对抗网络和长短期记忆网络LSTM融合，形成了基于对抗训练的目标跟踪循环神经网络，将视频帧全局特征向量作为生成对抗网络的输入之一，而不是传统中将随机变量作为输入，从而学习到视频帧中目标信息，并学习从历史及当前视频帧信息到目标位置的映射关系，提升整体跟踪准确率；同时利用目标运动轨迹进行监督训练，能够极大地提升目标跟踪的准确率。
附图说明
图1为本发明的一种支持循环神经网络对抗学习的目标跟踪方法的方法流程图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
一种支持循环神经网络对抗学习的目标跟踪方法，该方法包括以下步骤：
步骤1，构建目标跟踪生成对抗网络OTGAN模型。
步骤1中目标跟踪生成对抗网络OTGAN模型包括生成器和判别器，所述生成器用于生成视频帧跟踪结果，所述判别器用于判别输入是真实运动轨迹还是由生成器生成的跟踪结果构成的运动轨迹。
生成器包括用于提取视频帧全局特征的卷积网络和跟踪网络；所述卷积网络包括5个卷积层，3个最大池化层，1层全连接层，卷积层卷积核大小依次为11×11、5×5、3×3、3×3、3×3，最大池化层池化核为2×2，全连接层输出维度为4096维；所述跟踪网络由长短期记忆网络LSTM构成，所述长短期记忆网络LSTM输入参数包括：第i帧隐藏状态hi、第i帧细胞状态ci、所述卷积网络产生的4096维特征，得到的跟踪坐标为LSTM网络回归的向量最后四个参数构成的4维向量Pi=[xi,yi,wi,hi]，其中(xi,yi)为跟踪目标矩形框的中心坐标，(wi,hi)分别为跟踪目标矩形框的宽和高。
判别器由双向LSTM网络和全连接层构成。
步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力。
所述预训练生成器采用Adam优化算法，所述LSTM网络的输入是当前视频帧的全局特征向量和前一帧的输出状态；在所述预训练过程中，对序列长度采用一种特殊机制，即从短序列开始展开，从训练数据中随机抽取样本，最终用越来越长的序列对模型进行训练。
步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力。
所述预训练判别器采用随机梯度下降法SGD (Stochastic Gradient Descent)，所述判别器的输入由真实运动轨迹与生成器生成的虚假轨迹构成。
步骤4，对抗训练目标跟踪生成对抗网络OTGAN。
所述对抗训练由所述生成器和所述判别器交替训练，所述训练包括以下步骤：
步骤4-1：将待跟踪视频帧图像输入所述生成器，得到预测的跟踪结果，将所得的跟踪结果构成的运动轨迹输入所述判别器，所述判别器判别该轨迹为真实轨迹的概率，根据所述判别器返回的判别概率迭代训练所述生成器的网络参数。
步骤4-2：将由所述生成器预测得到的跟踪结果构成的虚假运动轨迹标记为0，真实视频运动轨迹标记为1，共同组成所述判别器的训练集来训练所述判别器。
所述交替训练需要调节所述生成器和所述判别器的训练次数，当所述判别器的训练损失小于所述生成器训练损失的70%时，暂时停止所述判别器的更新，不断交替直至网络均衡。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (8)

1.一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：该方法包括以下步骤：
步骤1，构建目标跟踪生成对抗网络OTGAN模型；
步骤2，预训练生成器，使其具有初步预测视频帧跟踪结果的能力；
步骤3，预训练判别器，使其具有初步判别视频中运动目标运动轨迹真假的能力；
步骤4，对抗训练目标跟踪生成对抗网络OTGAN。
2.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤1中目标跟踪生成对抗网络OTGAN模型包括生成器和判别器，所述生成器用于生成视频帧跟踪结果，所述判别器用于判别输入是真实运动轨迹还是由生成器生成的跟踪结果构成的运动轨迹。
3.根据权利要求2所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述生成器包括用于提取视频帧全局特征的卷积网络和跟踪网络；所述卷积网络包括5个卷积层，3个最大池化层，1层全连接层，卷积层卷积核大小依次为11×11、5×5、3×3、3×3、3×3，最大池化层池化核为2×2，全连接层输出维度为4096维；所述跟踪网络由长短期记忆网络LSTM构成，所述长短期记忆网络LSTM输入参数包括：第i帧隐藏状态hi、第i帧细胞状态ci、所述卷积网络产生的4096维特征，得到的跟踪坐标为LSTM网络回归的向量最后四个参数构成的4维向量Pi=[xi,yi,wi,hi]，其中(xi,yi)为跟踪目标矩形框的中心坐标，(wi,hi)分别为跟踪目标矩形框的宽和高。
4.根据权利要求2所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述判别器由双向LSTM网络和全连接层构成。
5.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤2中所述预训练生成器采用Adam优化算法，所述LSTM网络的输入是当前视频帧的全局特征向量和前一帧的输出状态；在所述预训练过程中，对序列长度采用一种特殊机制，即从短序列开始展开，从训练数据中随机抽取样本，最终用越来越长的序列对模型进行训练。
6. 根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤3中所述预训练判别器采用随机梯度下降法SGD (Stochastic GradientDescent)，所述判别器的输入由真实运动轨迹与生成器生成的虚假轨迹构成。
7.根据权利要求1所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述步骤4中所述对抗训练由所述生成器和所述判别器交替训练，所述训练包括以下步骤：
步骤4-1：将待跟踪视频帧图像输入所述生成器，得到预测的跟踪结果，将所得的跟踪结果构成的运动轨迹输入所述判别器，所述判别器判别该轨迹为真实轨迹的概率，根据所述判别器返回的判别概率迭代训练所述生成器的网络参数；
步骤4-2：将由所述生成器预测得到的跟踪结果构成的虚假运动轨迹标记为0，真实视频运动轨迹标记为1，共同组成所述判别器的训练集来训练所述判别器。
8.根据权利要求7所述的一种支持循环神经网络对抗学习的目标跟踪方法，其特征在于：所述交替训练需要调节所述生成器和所述判别器的训练次数，当所述判别器的训练损失小于所述生成器训练损失的 70%时，暂时停止所述判别器的更新， 不断交替直至网络均衡。
CN201910179822.3A 2019-03-11 2019-03-11 一种支持循环神经网络对抗学习的目标跟踪方法 Active CN109872346B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910179822.3A CN109872346B (zh) 2019-03-11 2019-03-11 一种支持循环神经网络对抗学习的目标跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910179822.3A CN109872346B (zh) 2019-03-11 2019-03-11 一种支持循环神经网络对抗学习的目标跟踪方法

Publications (2)

Publication Number Publication Date
CN109872346A true CN109872346A (zh) 2019-06-11
CN109872346B CN109872346B (zh) 2022-08-19

Family

ID=66920129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910179822.3A Active CN109872346B (zh) 2019-03-11 2019-03-11 一种支持循环神经网络对抗学习的目标跟踪方法

Country Status (1)

Country Link
CN (1) CN109872346B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390294A (zh) * 2019-07-19 2019-10-29 中国人民解放军国防科技大学 一种基于双向长短期记忆神经网络的目标跟踪方法
CN110390308A (zh) * 2019-07-26 2019-10-29 华侨大学 一种基于时空对抗生成网络的视频行为识别方法
CN110456355A (zh) * 2019-08-19 2019-11-15 河南大学 一种基于长短时记忆和生成对抗网络的雷达回波外推方法
CN111079928A (zh) * 2019-12-14 2020-04-28 大连大学 基于对抗学习的循环神经网络用于人体运动预测方法
CN111339867A (zh) * 2020-02-18 2020-06-26 广东工业大学 一种基于生成对抗网络的行人轨迹预测方法
CN111797802A (zh) * 2020-07-14 2020-10-20 华侨大学 一种基于ai视觉的扶梯不安全行为实时预警方法
CN111797665A (zh) * 2019-08-21 2020-10-20 北京沃东天骏信息技术有限公司 用于转换视频的方法和装置
CN111898504A (zh) * 2020-07-20 2020-11-06 南京邮电大学 一种基于孪生循环神经网络的目标跟踪方法及系统
CN111931902A (zh) * 2020-07-03 2020-11-13 江苏大学 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法
CN112084952A (zh) * 2020-09-10 2020-12-15 湖南大学 一种基于自监督训练的视频点位跟踪方法
CN112329832A (zh) * 2020-10-27 2021-02-05 中国人民解放军战略支援部队信息工程大学 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及系统
CN114283175A (zh) * 2021-12-28 2022-04-05 中国人民解放军国防科技大学 基于交通视频监控场景下的车辆多目标跟踪方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022239A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种基于循环神经网络的多目标跟踪方法
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022239A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种基于循环神经网络的多目标跟踪方法
CN108320297A (zh) * 2018-03-09 2018-07-24 湖北工业大学 一种视频目标实时跟踪方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TIM SALIMANS等: "Improving GANs Using Optimal Transport", 《HTTPS://ARXIV.ORG/ABS/1803.05573》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110390294A (zh) * 2019-07-19 2019-10-29 中国人民解放军国防科技大学 一种基于双向长短期记忆神经网络的目标跟踪方法
CN110390294B (zh) * 2019-07-19 2021-03-09 中国人民解放军国防科技大学 一种基于双向长短期记忆神经网络的目标跟踪方法
CN110390308A (zh) * 2019-07-26 2019-10-29 华侨大学 一种基于时空对抗生成网络的视频行为识别方法
CN110390308B (zh) * 2019-07-26 2022-09-30 华侨大学 一种基于时空对抗生成网络的视频行为识别方法
CN110456355A (zh) * 2019-08-19 2019-11-15 河南大学 一种基于长短时记忆和生成对抗网络的雷达回波外推方法
CN111797665B (zh) * 2019-08-21 2023-12-08 北京沃东天骏信息技术有限公司 用于转换视频的方法和装置
CN111797665A (zh) * 2019-08-21 2020-10-20 北京沃东天骏信息技术有限公司 用于转换视频的方法和装置
CN111079928B (zh) * 2019-12-14 2023-07-07 大连大学 基于对抗学习的循环神经网络用于人体运动预测方法
CN111079928A (zh) * 2019-12-14 2020-04-28 大连大学 基于对抗学习的循环神经网络用于人体运动预测方法
CN111339867B (zh) * 2020-02-18 2022-05-24 广东工业大学 一种基于生成对抗网络的行人轨迹预测方法
CN111339867A (zh) * 2020-02-18 2020-06-26 广东工业大学 一种基于生成对抗网络的行人轨迹预测方法
CN111931902B (zh) * 2020-07-03 2024-05-14 江苏大学 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法
CN111931902A (zh) * 2020-07-03 2020-11-13 江苏大学 一种生成对抗网络模型、及利用该生成对抗网络模型的车辆轨迹预测方法
CN111797802A (zh) * 2020-07-14 2020-10-20 华侨大学 一种基于ai视觉的扶梯不安全行为实时预警方法
CN111797802B (zh) * 2020-07-14 2023-06-02 华侨大学 一种基于ai视觉的扶梯不安全行为实时预警方法
CN111898504B (zh) * 2020-07-20 2022-07-26 南京邮电大学 一种基于孪生循环神经网络的目标跟踪方法及系统
CN111898504A (zh) * 2020-07-20 2020-11-06 南京邮电大学 一种基于孪生循环神经网络的目标跟踪方法及系统
CN112084952B (zh) * 2020-09-10 2023-08-15 湖南大学 一种基于自监督训练的视频点位跟踪方法
CN112084952A (zh) * 2020-09-10 2020-12-15 湖南大学 一种基于自监督训练的视频点位跟踪方法
CN112329832B (zh) * 2020-10-27 2023-01-31 中国人民解放军战略支援部队信息工程大学 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及系统
CN112329832A (zh) * 2020-10-27 2021-02-05 中国人民解放军战略支援部队信息工程大学 一种基于深度卷积生成对抗网络的无源定位目标轨迹数据增强方法及系统
CN114283175A (zh) * 2021-12-28 2022-04-05 中国人民解放军国防科技大学 基于交通视频监控场景下的车辆多目标跟踪方法和装置
CN114283175B (zh) * 2021-12-28 2024-02-02 中国人民解放军国防科技大学 基于交通视频监控场景下的车辆多目标跟踪方法和装置

Also Published As

Publication number Publication date
CN109872346B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN109872346A (zh) 一种支持循环神经网络对抗学习的目标跟踪方法
Tao et al. An object detection system based on YOLO in traffic scene
CN107330396B (zh) 一种基于多属性和多策略融合学习的行人再识别方法
Hu et al. Learning activity patterns using fuzzy self-organizing neural network
CN104112282B (zh) 一种基于在线学习跟踪监控视频中多个运动目标的方法
CN109829436A (zh) 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法
Li et al. A recurrent attention and interaction model for pedestrian trajectory prediction
Yao et al. Robust CNN-based gait verification and identification using skeleton gait energy image
CN106022239A (zh) 一种基于循环神经网络的多目标跟踪方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN108805149A (zh) 一种视觉同步定位与地图构建的回环检测方法及装置
Zhang et al. VGM-RNN: HRRP sequence extrapolation and recognition based on a novel optimized RNN
CN110728698A (zh) 一种基于复合循环神经网络系统的多目标跟踪模型
CN110458046A (zh) 一种基于关节点提取的人体运动轨迹分析方法
CN114116944B (zh) 一种基于时间注意力卷积网络的轨迹预测方法及装置
CN106127161A (zh) 基于级联多层检测器的快速目标检测方法
Xu et al. Learning to learn: Hierarchical meta-critic networks
Wang et al. Study on the method of transmission line foreign body detection based on deep learning
CN109940614A (zh) 一种融合记忆机制的机械臂多场景快速运动规划方法
CN109948457A (zh) 基于卷积神经网络和cuda加速的实时目标识别算法
Li et al. Artificial Intelligence and Neural Network‐Based Shooting Accuracy Prediction Analysis in Basketball
Ullah et al. Deep LSTM-based sequence learning approaches for action and activity recognition
CN111382699A (zh) 基于粒子群优化lstm算法的动态手势识别方法
Chen et al. Tssd: Temporal single-shot detector based on attention and lstm
Heda et al. Performance evaluation of YOLOv3, YOLOv4 and YOLOv5 for real-time human detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant