CN110769196A - 一种用于非连续监控路段的视频预测方法 - Google Patents

一种用于非连续监控路段的视频预测方法 Download PDF

Info

Publication number
CN110769196A
CN110769196A CN201910987781.0A CN201910987781A CN110769196A CN 110769196 A CN110769196 A CN 110769196A CN 201910987781 A CN201910987781 A CN 201910987781A CN 110769196 A CN110769196 A CN 110769196A
Authority
CN
China
Prior art keywords
network
video
generation
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910987781.0A
Other languages
English (en)
Inventor
史再峰
任辉政
罗韬
瑟福
樊强强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201910987781.0A priority Critical patent/CN110769196A/zh
Publication of CN110769196A publication Critical patent/CN110769196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开用于非连续监控路段的视频预测方法，包括：构建基于生成对抗网络的视频预测生成模型GAN：视频预测生成模型GAN由生成网络G和鉴别网络D组成；鉴别网络D通过学习训练以正确区分由生成网络G生成的视频序列
Figure DDA0002237245950000011
与真实视频序列Y；将训练集数据输入预测生成模型GAN网络训练；将训练完成的生成网络模型参数导出，利用一组来自网络公共数据库的真是视频序列作为输入数据，通过该生成网络模型输出相应的预测的视频序列。本发明可利用本发明所提出的基于深度学习的方法实现对交通监管过程中两摄像头间区域非连续监控路段进行视频预测。

Description

一种用于非连续监控路段的视频预测方法
技术领域
本发明涉及视频监控技术领域，特别是涉及一种用于非连续监控路段的视频预测方法。
背景技术
一些需要进行监控的交通路段由于施工成本、技术限制或自然/人为破坏，往往会缺失摄像头的监控，为了便于交通监管(如判断行车是否超速)与针对车辆(行人)的目标跟踪等，因此，亟需一种应用于非连续监控路段的视频预测方法。
发明内容
本发明的目的是针对现有技术中存在的视频预测技术在应用于交通监管与目标跟踪时难以得到长期、清晰的结果的难题，而提供一种用于非连续监控路段的视频预测方法，具体是一种对公共交通监控环境中因摄像头监控视域不连续而产生的监控盲区路段进行视频预测的方法。
为实现本发明的目的所采用的技术方案是：
一种用于非连续监控路段的视频预测方法，包括：
S1.构建基于生成对抗网络的视频预测生成模型GAN：
所述视频预测生成模型GAN由生成网络G和鉴别网络D组成；
所述鉴别网络D通过学习训练以正确区分由生成网络G生成的视频序列
Figure BDA0002237245930000011
与真实视频序列Y；
S2.将训练集数据输入预测生成模型GAN进行网络训练；
S3.将验证样本集输入S2训练完成的网络模型中，测试评估网络性能，若反馈的性能指标指标不符合要求，则调整超参数与各权重初始值，重复步骤S2，重新训练网络及评估过程，直到符合要求；
S4.将训练完成的生成网络模型参数导出，利用一组来自网络公共数据库的真是视频序列作为输入数据，通过该生成网络模型输出相应的预测的视频序列。
本发明通过以上技术方案，便可利用本发明所提出的基于深度学习的方法实现对交通监管过程中两摄像头间区域非连续监控路段进行视频预测。
附图说明
图1本发明的用于非连续监控路段的视频预测方法的整体流程示意图。
图2本发明的生成对抗网络结构示意图。
图3本发明的生成网络结构示意图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明用于非连续监控路段的视频预测方法，其步骤如下：
S1.构建基于生成对抗网络的视频预测生成模型GAN：所述视频预测生成模型GAN由生成网络G和鉴别网络D组成；所述鉴别网络D通过学习训练以正确区分由生成网络G生成的视频序列
Figure BDA0002237245930000021
与真实视频序列Y；
S2.将训练集数据输入预测生成模型GAN进行网络训练；
S3.将验证样本集输入S2训练完成的网络模型中，测试评估网络性能，若反馈的性能指标指标不符合要求，则调整超参数与各权重初始值，重复步骤S2，重新训练网络及评估过程，直到符合要求；
S4.将训练完成的生成网络模型参数导出，利用一组来自网络公共数据库的真是视频序列作为输入数据，通过该生成网络模型输出相应的预测的视频序列。
其中，所述构建基于生成对抗网络的视频预测生成模型GAN的步骤如下：
1.视频数据集构建及标注：
将来自网络公共数据库的数据进行人工标注和扩充，以得到充足的视频序列数据集，最终结果按8：2的比例分组，分别得到训练集和测试集数据。
其中，标注过程为通过计算机脚本对视频序列中每个目标对象添加标签信息；扩充数据集的方法包含以下两种方式：
1)对来自网络公共数据库的视频数据集进行复制并人工处理以扩充视频序列数据集，人工处理的方法包括对视频图像的亮度及对比度进行调节，对行人对象及其运动轨迹进行镜像翻转、对视频图像进行随机平移、随机旋转等；
2)根据网络公共数据库的视频数据，通过计算机脚本，模拟视频序列中运动目标的大小、虚拟运动轨迹(包含初始位置与消失位置)、运动速度与加速度等状态变量；再通过物理建模构建包含背景要素信息与运动的多目标数据的视频序列。
2.构建生成对抗网络：
所述生成对抗网络(GAN)由生成网络G和鉴别网络D组成，结构如图2所示。所述的生成网络G以视频序列X＝{Xt|t＝1,…m}为输入，生成能欺骗鉴别网络D的视频序列
Figure BDA0002237245930000031
所述鉴别网络D通过学习训练以正确区分由生成网络G生成的视频序列
Figure BDA0002237245930000032
与真实视频序列Y＝{Yk|k＝1,…n}。
所述生成网络G具体结构如图3所示，由编码层、转换层、解码层构成：其中编码层由连续3层卷积网络构成，卷积核数量、大小、步长参数分别为(128,7×7,4)、(256,7×7,4)、(512,5×5,4)；转换层由4层残差网络构成；解码层由3层反卷积层构成，卷积核数量、大小、步长参数分别为(256,3×3,2)、(128,3×3,2)、(128,2×2,1)，解码层输出视频帧大小、深度与输入相同。
其中，所述鉴别网络D由连续5层卷积网络层与1个sigmod激活块构成，前4层卷积层用于提取图像特征，第5层卷积层根据高层特征判断图像真伪，经Sigmoid函数激活后产生1维输出鉴别结果(0,1)。
其中，5层卷积网络层的各层卷积核数量、大小、步长参数分别为(64,7×7,4)、(128,7×7,4)、(256,2×2,2)、(512,5×5,3)、(1,2×2,2)。
其中，所述生成对抗网络的损失函数为二元交叉熵损失函数，计算方法为：
其中，D(Yk)，D(G(Xt))分别表示鉴别网络D判断样本Yk，
Figure BDA0002237245930000042
来自真实视频帧数据集数据Y的概率，其中
Figure BDA0002237245930000043
和
Figure BDA0002237245930000044
分别指当视频序列数据中变量Yk符合概率密度函数Pdata(Yk)时对应于[D(Yk)-1]2的期望值与当Xt符合概率密度函数Pdata(Xt)时对应于[D(Xt)-1]2的期望值。
本发明中，对生成网络G和鉴别网络D的训练过程可以用下式表示：
Figure BDA0002237245930000045
其中G*,D*分别是生成网络G和鉴别网络D的最优解训练目标，是获得令鉴别网络D鉴别准确率最高的权重参数和具有对鉴别网络最强欺骗能力的生成网络G的权重参数。
本发明中，生成网络G和鉴别网络D的训练过程为以下两个步骤A、B的迭代过程：
步骤A是固定生成网络权重参数，基于预设的鉴别网络的学习率等超参数值，利用梯度下降法训练鉴别网络以更新其权重等参数值；步骤B是固定鉴别网络权重参数，利用梯度下降法训练生成网络以更新其权重等参数值；
其中步骤A、B的迭代过程是，多次执行步骤A后，执行一次步骤B，重复该迭代过程，直至总损失函数最低,即鉴别网络无法鉴别生成网络生成的视频帧序列和真实视频帧序列时，即完成训练。
需要说明的是，本发明中，所述GAN包含一个以随机噪声作为输入生成视频序列的生成网络模型(Generate Model)G，和一个以视频序列作为输入判断其真实性的鉴别模型(Discriminal Model)D。在训练过程中，生成网络G将尽量生成真实的视频序列去欺骗鉴别网络D。而D将尽量把G生成的和真实的视频序列区分开来，G和D构成了一个动态“博弈过程”。直到反复训练迭代后，在理想状态下，G将生成足够贴合真实的视频序列，而D将难以判定G的结果的真实性。
本发明提出的基于深度学习的非连续监控路段视频预测方法，是一种无监督视频预测的生成网络构造和训练方法，相比传统的视频预测方法具有更少的计算量以及更好的效果。
本发明提出的基于深度学习的非连续监控路段视频预测方法通过生成网络G与鉴别网络D相拮抗的方式进行总体模型的训练，有效提高了生成网络针对交通监管与目标管理在监控缺失的路段内进行视频预测生成的精度；
本发明在输入视频具有不同光照条件，多个移动目标间频繁遮挡，相互影响及表观相似等复杂情况下下，均能实现较长时间清晰度可观的预测视频。
以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种用于非连续监控路段的视频预测方法，其特征在于，包括步骤：
S1.构建基于生成对抗网络的视频预测生成模型GAN：
所述视频预测生成模型GAN由生成网络G和鉴别网络D组成；
所述鉴别网络D通过学习训练以正确区分由生成网络G生成的视频序列
Figure FDA0002237245920000016
与真实视频序列Y；
S2.将训练集数据输入预测生成模型GAN进行网络训练；
S3.将测试集数据输入S2训练完成的网络模型中，测试评估网络性能，若反馈的性能指标指标不符合要求，则调整超参数与各权重初始值，重复步骤S2，重新训练网络及评估过程，直到符合要求；
S4.将训练完成的生成网络模型参数导出，利用一组来自网络公共数据库的真是视频序列作为输入数据，通过该生成网络模型输出相应的预测的视频序列。
2.根据权利要求1所述用于非连续监控路段的视频预测方法，其特征在于，所述生成对抗网络的损失函数为二元交叉熵损失函数，计算方法为：
其中，D(Yk)，D(G(Xt))分别表示鉴别网络D判断样本Yk，
Figure FDA0002237245920000012
来自真实视频帧数据集数据Y的概率，其中
Figure FDA0002237245920000013
和
Figure FDA0002237245920000014
分别指当视频序列数据中变量Yk符合概率密度函数Pdata(Yk)时对应于[D(Yk)-1]2的期望值与当Xt符合概率密度函数Pdata(Xt)时对应于[D(Xt)-1]2的期望值。
3.根据权利要求2所述用于非连续监控路段的视频预测方法，其特征在于，对生成网络G和鉴别网络D的训练过程可以用下式表示：
Figure FDA0002237245920000015
其中G*,D*分别是生成网络G和鉴别网络D的最优解训练目标，是获得令鉴别网络D鉴别准确率最高的权重参数和具有对鉴别网络最强欺骗能力的生成网络G的权重参数。
4.根据权利要求2所述用于非连续监控路段的视频预测方法，其特征在于，生成网络G和鉴别网络D的训练过程为以下两个步骤A、B的迭代过程：
步骤A是固定生成网络权重参数，基于预设的鉴别网络的学习率等超参数值，利用梯度下降法训练鉴别网络以更新其权重等参数值；步骤B是固定鉴别网络权重参数，利用梯度下降法训练生成网络以更新其权重等参数值；
其中步骤A、B的迭代过程是，多次执行步骤A后，执行一次步骤B，重复该迭代过程，直至总损失函数最低,即鉴别网络无法鉴别生成网络生成的视频帧序列和真实视频帧序列时，即完成训练。
5.根据权利要求1所述用于非连续监控路段的视频预测方法，其特征在于，步骤S2所述训练集数据以及用于验证步骤S2获得的网络模型的测试集数据，是将来自网络公共数据库的数据进行人工标注和扩充所得到，最终得到的数据集按8：2的比例分组，分别得到训练集数据和测试集数据。
6.根据权利要求5所述用于非连续监控路段的视频预测方法，其特征在于，所述的标注过程为通过计算机脚本对视频序列中每个目标对象添加标签信息。
7.根据权利要求5所述用于非连续监控路段的视频预测方法，其特征在于，所述扩充数据集的方法包含以下两种方式：
1).对来自网络公共数据库的视频数据集进行复制并人工处理以扩充视频序列数据集，人工处理的方法包括对视频图像的亮度及对比度进行调节，对行人对象及其运动轨迹进行镜像翻转、对视频图像进行随机平移、随机旋转；
2).根据网络公共数据库的视频数据，通过计算机脚本，模拟视频序列中运动目标的大小、初始位置与消失位置的虚拟运动轨迹、运动速度与加速度等状态变量；再通过物理建模简单构建包含背景与运动的多目标的视频序列。
CN201910987781.0A 2019-10-17 2019-10-17 一种用于非连续监控路段的视频预测方法 Pending CN110769196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910987781.0A CN110769196A (zh) 2019-10-17 2019-10-17 一种用于非连续监控路段的视频预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910987781.0A CN110769196A (zh) 2019-10-17 2019-10-17 一种用于非连续监控路段的视频预测方法

Publications (1)

Publication Number Publication Date
CN110769196A true CN110769196A (zh) 2020-02-07

Family

ID=69332189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910987781.0A Pending CN110769196A (zh) 2019-10-17 2019-10-17 一种用于非连续监控路段的视频预测方法

Country Status (1)

Country Link
CN (1) CN110769196A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统
WO2021196401A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 图像重建方法及装置、电子设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022239A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种基于循环神经网络的多目标跟踪方法
CN108810551A (zh) * 2018-06-20 2018-11-13 Oppo（重庆）智能科技有限公司 一种视频帧预测方法、终端及计算机存储介质
CN109086658A (zh) * 2018-06-08 2018-12-25 中国科学院计算技术研究所 一种基于生成对抗网络的传感器数据生成方法与系统
CN109218741A (zh) * 2017-07-04 2019-01-15 阿里巴巴集团控股有限公司 一种直播控制方法及装置
CN109741410A (zh) * 2018-12-07 2019-05-10 天津大学 基于深度学习的荧光编码微球图像生成及标注方法
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置
US10430685B2 (en) * 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
US20190306526A1 (en) * 2018-04-03 2019-10-03 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus using reference frame generated based on deep learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106022239A (zh) * 2016-05-13 2016-10-12 电子科技大学 一种基于循环神经网络的多目标跟踪方法
US10430685B2 (en) * 2016-11-16 2019-10-01 Facebook, Inc. Deep multi-scale video prediction
CN109218741A (zh) * 2017-07-04 2019-01-15 阿里巴巴集团控股有限公司 一种直播控制方法及装置
US20190306526A1 (en) * 2018-04-03 2019-10-03 Electronics And Telecommunications Research Institute Inter-prediction method and apparatus using reference frame generated based on deep learning
CN109086658A (zh) * 2018-06-08 2018-12-25 中国科学院计算技术研究所 一种基于生成对抗网络的传感器数据生成方法与系统
CN108810551A (zh) * 2018-06-20 2018-11-13 Oppo（重庆）智能科技有限公司 一种视频帧预测方法、终端及计算机存储介质
CN109741410A (zh) * 2018-12-07 2019-05-10 天津大学 基于深度学习的荧光编码微球图像生成及标注方法
CN109993820A (zh) * 2019-03-29 2019-07-09 合肥工业大学 一种动画视频自动生成方法及其装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196401A1 (zh) * 2020-03-31 2021-10-07 北京市商汤科技开发有限公司 图像重建方法及装置、电子设备和存储介质
CN111461437A (zh) * 2020-04-01 2020-07-28 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法
CN111461437B (zh) * 2020-04-01 2023-11-07 北京工业大学 基于生成对抗网络的数据驱动人群运动仿真方法
CN112633377A (zh) * 2020-12-24 2021-04-09 电子科技大学 一种基于生成对抗网络的人体行为预测方法及系统

Similar Documents

Publication Publication Date Title
Zhao et al. Seeing isn't believing: Towards more robust adversarial attack against real world object detectors
CN109978893B (zh) 图像语义分割网络的训练方法、装置、设备及存储介质
CN108710892B (zh) 面向多种对抗图片攻击的协同免疫防御方法
CN110769196A (zh) 一种用于非连续监控路段的视频预测方法
CN110414601A (zh) 基于深度卷积对抗网络的光伏组件故障诊断方法、系统及设备
JP6932395B2 (ja) イメージを分析するために、ディープラーニングネットワークに利用するためのトレーニングイメージに対するラベルリング信頼度を自動的に評価するための方法、及びこれを利用した信頼度評価装置
CN109902018B (zh) 一种智能驾驶系统测试案例的获取方法
KR101644998B1 (ko) Convolutional Neural Network를 이용하여 비정상 입력 데이터를 검출하는 방법 및 장치
CN111783442A (zh) 入侵检测方法、设备和服务器、存储介质
KR20200094622A (ko) 뉴럴 네트워크 학습에 이용될 오토 라벨링된 이미지 중에서 라벨 검수를 위한 샘플 이미지를 획득하는 방법 및 이를 이용한 샘플 이미지 획득 장치
JP7359802B2 (ja) 自動運転における機能テスト方法に基づくセマンティックな敵対的生成
CN110348475A (zh) 一种基于空间变换的对抗样本增强方法和模型
WO2019053052A1 (en) METHOD FOR (RE-) TRAINING MACHINE LEARNING COMPONENT
CN109919252A (zh) 利用少数标注图像生成分类器的方法
CN111339917B (zh) 一种真实场景下玻璃检测的方法
WO2021144943A1 (ja) 制御方法、情報処理装置および制御プログラム
CN111753290A (zh) 软件类型的检测方法及相关设备
KR20200062686A (ko) 동적 객체 검출 장치 및 방법
CN112991364A (zh) 基于卷积神经网络跨模态融合的道路场景语义分割方法
CN116432184A (zh) 基于语义分析和双向编码表征的恶意软件检测方法
CN110263808B (zh) 一种基于lstm网络和注意力机制的图像情感分类方法
CN113343225B (zh) 一种基于神经通路的深度学习的中毒防御方法及装置
Xu et al. Tackling small data challenges in visual fire detection: a deep convolutional generative adversarial network approach
CN116861262B (zh) 一种感知模型训练方法、装置及电子设备和存储介质
Gota et al. Threat objects detection in airport using machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200207