CN114463992A - 夜间路侧停车管理视频转换方法以及装置 - Google Patents

夜间路侧停车管理视频转换方法以及装置 Download PDF

Info

Publication number
CN114463992A
CN114463992A CN202210127100.5A CN202210127100A CN114463992A CN 114463992 A CN114463992 A CN 114463992A CN 202210127100 A CN202210127100 A CN 202210127100A CN 114463992 A CN114463992 A CN 114463992A
Authority
CN
China
Prior art keywords
night
video
day
virtual
daytime
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210127100.5A
Other languages
English (en)
Inventor
闫军
丁丽珠
王艳清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Vision Technology Co Ltd
Original Assignee
Super Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Vision Technology Co Ltd filed Critical Super Vision Technology Co Ltd
Priority to CN202210127100.5A priority Critical patent/CN114463992A/zh
Publication of CN114463992A publication Critical patent/CN114463992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07B—TICKET-ISSUING APPARATUS; FARE-REGISTERING APPARATUS; FRANKING APPARATUS
    • G07B15/00—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points
    • G07B15/02—Arrangements or apparatus for collecting fares, tolls or entrance fees at one or more control points taking into account a variable factor such as distance or time, e.g. for passenger transport, parking systems or car rental systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Finance (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开一种夜间路侧停车管理视频转换方法以及装置。日间视频与夜间视频输入至日夜迁移模型，生成第一虚拟夜间视频，根据第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；第一约束夜间视频与日间视频输入至夜日迁移模型，生成第一虚拟日间视频；夜间与日间视频输入至夜日迁移模型，生成第二虚拟日间视频，根据第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；第二约束日间视频与夜间视频输入至日夜迁移模型，生成第二虚拟夜间视频；夜间视频、日间视频、第二虚拟夜间视频形成第一循环链路，日间视频、夜间视频、第一虚拟日间视频形成第二循环链路。

Description

夜间路侧停车管理视频转换方法以及装置
技术领域
本申请涉及图像处理技术领域，特别是涉及一种夜间路侧停车管理视频转换方法以及装置。
背景技术
随着汽车数量不断增多，停车难、停车乱已成为我国城市交通发展中亟待解决的主要问题之一。通过高位视频相机进行智能化停车管理是目前的一种主流方案，能够有效缓解路侧停车难、停车乱的问题。
其中，高位视频相机进行智能化停车管理方法，通过在路侧安装高位视频摄像头进行数据采集，并利用视觉算法对数据进行车牌检测、车牌识别等来实现智能化的停车收费和管理。然而，传统停车管理方法，在夜间环境下存在检测与识别效果差的问题，使得识别准确率低，进一步导致夜间环境下的智能化停车收费管理系统管理效果差。
发明内容
本申请的目的是解决传统停车管理方法在夜间环境下识别效果差导致的识别准确率低的技术问题。为实现上述目的，本申请提供一种夜间路侧停车管理视频转换方法以及装置。
本申请提供一种夜间路侧停车管理视频转换方法，包括：
获取日间视频集与夜间视频集；
将所述日间视频集中日间视频与所述夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据所述第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；
将所述第一约束夜间视频与所述日间视频输入至夜日迁移模型中，生成第一虚拟日间视频；
将所述夜间视频与所述日间视频输入至所述夜日迁移模型中，生成第二虚拟日间视频，并根据所述第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；
将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型中，生成第二虚拟夜间视频；
将所述夜间视频、所述日间视频、所述第二虚拟日间视频、所述第二约束日间视频以及所述第二虚拟夜间视频形成第一循环链路，将所述日间视频、所述夜间视频、所述第一虚拟夜间视频、所述第一约束夜间视频以及所述第一虚拟日间视频形成第二循环链路；
根据所述日夜迁移模型的损失函数、所述夜日迁移模型的损失函数、所述第一循环链路的损失函数、所述第二循环链路的损失函数、所述夜间预测约束模型的损失函数以及所述日间预测约束模型的损失函数，构建总损失函数；
根据所述总损失函数对所述夜日迁移模型进行训练优化，获得训练完成的夜日迁移模型，并根据所述训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
在一个实施例中，本申请提供一种夜间路侧停车管理视频转换装置，包括：
视频获取模块，用于获取日间视频集与夜间视频集；
第一约束夜间视频获取模块，用于将所述日间视频集中日间视频与所述夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据所述第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；
第一虚拟日间视频获取模块，用于将所述第一约束夜间视频与所述日间视频输入至夜日迁移模型中，生成第一虚拟日间视频；
第二约束日间视频获取模块，用于将所述夜间视频与所述日间视频输入至所述夜日迁移模型中，生成第二虚拟日间视频，并根据所述第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；
第二虚拟夜间视频获取模块，用于将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型中，生成第二虚拟夜间视频；
循环链路形成模块，用于将所述夜间视频、所述日间视频、所述第二虚拟日间视频、所述第二约束日间视频以及所述第二虚拟夜间视频形成第一循环链路，将所述日间视频、所述夜间视频、所述第一虚拟夜间视频、所述第一约束夜间视频以及所述第一虚拟日间视频形成第二循环链路；
损失函数构建模块，用于根据所述日夜迁移模型的损失函数、所述夜日迁移模型的损失函数、所述第一循环链路的损失函数、所述第二循环链路的损失函数、所述夜间预测约束模型的损失函数以及所述日间预测约束模型的损失函数，构建总损失函数；
日间化视频获取模块，用于根据所述总损失函数进行训练优化，获得训练完成的夜日迁移模型，并根据所述训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
上述夜间路侧停车管理视频转换方法以及装置中，本申请通过夜间路侧停车管理方法，利用时空信息对视频进行处理，自然地实现将夜间数据过渡为日间数据的效果，将夜间路侧停车场景视频迁移为白天路侧停车场景视频，获得日间风格化的路侧停车场景视频。日间风格化的路侧停车场景视频的视频亮度、色彩等方面还原为日间风格视频，提高了夜间路侧停车场景视频的识别效果，更有利于对夜间视频进行检测识别。日间风格化的路侧停车场景视频，包括车辆、车牌、行人等特征信息，仍保留原夜间路侧停车场景视频内容。从而，在日间风格化的路侧停车场景视频的基础上，依次进行车辆检测以及车牌识别等操作，提高了检测及识别的准确率，从而提高了夜间路侧停车管理的智能化。
附图说明
图1是本申请提供的夜间路侧停车管理视频转换方法的步骤流程示意图。
图2是本申请提供的夜间路侧停车管理视频转换装置的结构示意图。
具体实施方式
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
请参见图1，本申请提供一种夜间路侧停车管理视频转换方法，包括：
S10，获取日间视频集与夜间视频集；
S20，将日间视频集中日间视频与夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；
S30，将第一约束夜间视频与日间视频输入至夜日迁移模型中，生成第一虚拟日间视频；
S40，将夜间视频与日间视频输入至夜日迁移模型中，生成第二虚拟日间视频，并根据第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；
S50，将第二约束日间视频与夜间视频输入至日夜迁移模型中，生成第二虚拟夜间视频；
S60，将夜间视频、日间视频、第二虚拟日间视频、第二约束日间视频以及第二虚拟夜间视频形成第一循环链路，将日间视频、夜间视频、第一虚拟夜间视频、第一约束夜间视频以及第一虚拟日间视频形成第二循环链路；
S70，根据日夜迁移模型的损失函数、夜日迁移模型的损失函数、第一循环链路的损失函数、第二循环链路的损失函数、夜间预测约束模型的损失函数以及日间预测约束模型的损失函数，构建总损失函数；
S80，根据总损失函数对所述夜日迁移模型进行训练优化，获得训练完成的夜日迁移模型，并根据训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
在S10中，日间视频集包括日间路侧停车场景视频数据。日间路侧停车场景视频数据，能够通过高位视频摄像头进行采集，构建形成日间视频集。日间视频集包括在日间光照较好的环境下采集的视频集合。日间视频集包括清晰的车辆、行人、车牌等目标，可以涵盖车辆驶入泊位、停在泊位、驶出泊位等多种状态时的视频。
夜间视频集作为内容化视频数据集。夜间视频集包括夜间路侧停车场景视频数据。夜间路侧停车场景视频数据能够通过高位视频摄像头进行采集，构建形成夜间视频集。夜间视频集包括在夜间环境下采集的视频集合。夜间视频集与日间视频集可以为相同或者相似的停车场景。夜间视频集包括清晰的车辆、行人、车牌等目标，可以涵盖车辆驶入泊位、停在泊位、驶出泊位等多种状态时的视频。
在S20中，日夜迁移模型为图像视频合成模型。日夜迁移模型可以为合成算法日夜迁移模型，能够将日间视频映射到夜间视频，形成第一虚拟夜间视频。在一个实施例中，日夜迁移模型可以为生成对抗网络(Generative Adversarial Networks，GANs)。夜间预测约束模型表示对夜间视频中由过去数据预测未来数据。夜间预测约束模型为对第一虚拟夜间视频在时间序列上进行的约束，能够增强生成视频的连贯性，使得第一虚拟夜间视频结合夜间预测约束模型后，获得连贯性强的第一约束夜间视频。
在S30中，夜日迁移模型为图像视频合成模型。夜日迁移模型可以为合成算法，能够将夜间视频映射到日间视频，形成第一虚拟日间视频。在一个实施例中，夜日迁移模型可以为生成对抗网络(Generative Adversarial Networks，GANs)。
通过S20至S30实现了由日间视频映射到夜间视频，再映射回日间视频的过程。在由日间视频映射到夜间视频，再映射回日间视频的过程中，通过第一虚拟夜间视频、夜间预测约束模型以及第一约束夜间视频，实现了在映射过程中增加时间约束，使得整个视频迁移时，使得视频拼接实现更加自然流畅的迁移效果。
在S40中，夜日迁移模型为图像视频合成模型。夜日迁移模型能够将夜间视频映射到日间视频，形成第二虚拟日间视频。日间预测约束模型表示对日间视频中由过去数据预测未来数据。日间预测约束模型为对第二虚拟日间视频在时间序列上进行的约束，能够增强生成视频的连贯性，使得第二虚拟日间视频结合日间预测约束模型后，获得连贯性强的第二约束日间视频。
在S50中，日夜迁移模型为图像视频合成模型。日夜迁移模型能够将日间视频映射到夜间视频，形成第二虚拟夜间视频。
通过S40至S50实现了由夜间视频映射到日间视频，再映射回夜间视频的过程。在由夜间视频映射到日间视频，再映射回夜间视频的过程中，通过第二虚拟日间视频、日间预测约束模型以及第二约束日间视频，实现了在映射过程中增加时间约束，使得整个视频迁移时，使得视频拼接实现更加自然流畅的迁移效果。
在S60中，将夜间视频、日间视频、第二虚拟日间视频、第二约束日间视频以及第二虚拟夜间视频形成第一循环链路，实现了由夜间视频映射到日间视频，再映射回夜间视频的过程。在第一循环链路过程中融入了时间约束，使得整个第一循环链路的视频更加自然流畅，进而更加准确地表达视频迁移后形成的第二虚拟夜间视频。将日间视频、夜间视频、第一虚拟夜间视频、第一约束夜间视频以及第一虚拟日间视频形成第二循环链路，实现了由日间视频映射到夜间视频，再映射回日间视频的过程。在第二循环链路过程中融入了时间约束，使得整个第二循环链路的视频更加自然流畅，进而更加准确地表达视频迁移后形成的第一虚拟日间视频。
在S70中，在本申请提供的夜间路侧停车管理视频转换方法中，通过日夜迁移模型、夜日迁移模型、第一循环链路、第二循环链路、夜间预测约束模型以及日间预测约束模型共同形成了一个整体。将整体的总损失函数进行参数调整优化，能够获得每个模型和每个链路的优化参数，能够进一步分别获得训练完成的日夜迁移模型、训练完成的夜日迁移模型、训练完成的第一循环链路、训练完成的第二循环链路、训练完成的夜间预测约束模型以及训练完成的日间预测约束模型。通过各个模型和各个链路的损失函数形成总的损失函数，使得彼此之间各个参数能够相互影响和相互调整，从各个角度将各个参数融合到参数调整的过程中。进而，通过调整训练总损失函数，能够使得各个环节达到平衡，获得优化后的参数，形成稳定的模型。
在S80中，通过对夜日迁移模型进行优化训练，获得优化后的模型参数，获得训练完成的夜日迁移模型。利用训练完成的夜日迁移模型，对待测夜间路侧停车场景视频进行迁移处理，获得日间风格化的路侧停车场景视频。
本申请通过夜间路侧停车管理视频转换方法，利用时空信息对视频进行处理，自然地实现将夜间数据过渡为日间数据的效果，将夜间路侧停车场景视频迁移为白天路侧停车场景视频，获得日间风格化的路侧停车场景视频。日间风格化的路侧停车场景视频的视频亮度、色彩等方面还原为日间风格视频，提高了夜间路侧停车场景视频的识别效果，更有利于对夜间视频进行检测识别。日间风格化的路侧停车场景视频，包括车辆、车牌、行人等特征信息，仍保留原夜间路侧停车场景视频内容。从而，在日间风格化的路侧停车场景视频的基础上，依次进行车辆检测以及车牌识别等操作，提高了检测及识别的准确率，从而提高了夜间路侧停车管理的智能化。
在一个实施例中，S20中，将日间视频集中日间视频与夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，包括：
S210，将日间视频与夜间视频输入至日夜迁移模型的生成器网络中，输出第一虚拟夜间视频；
S220，将第一虚拟夜间视频与夜间视频输入至日夜迁移模型的判别器网络中，对第一虚拟夜间视频与夜间视频进行判别。
本实施例中，日夜迁移模型为生成对抗网络，包括生成器网络和判别器网络。通过将生成器网络和判别器网络进行迭代训练，两者相互博弈，从而生成更好的日夜迁移模型。生成器网络用来生成第一虚拟夜间视频。判别器网络用来判断生成的第一虚拟夜间视频是否真实。
在一个实施例中，日夜迁移模型的生成器网络的输入视频特征尺寸为 256*256*3(H*W*C，Height*Width*Channel，高度*宽度*通道数)。输入视频依次经过多个卷积层、归一化层及非线性激活层，特征图尺寸变为 64*64*256。为进行进一步的特征提取，再经过残差卷积模块，特征图尺寸不变。最后再经过多个反卷积层，将特征图尺寸恢复到原图尺寸256*256*3。
残差卷积模块包含多个残差卷积神经网络的连接。归一化层包括但不限于实例归一化层、自适应实例归一化层等。非线性激活层包括但不限于修正线性单元(RectifiedLinear Unit，ReLU)等非线性激活函数。
在一个实施例中，日夜迁移模型的判别器网络为一个二分类网络，分类目标是区分原始输入的真实视频数据和生成器生成的视频数据。日夜迁移模型的判别器网络层数较浅，输入的视频特征尺寸为256*256*3(H*W*C， Height*Width*Channel，高度*宽度*通道数)，依次经过多次卷积操作进行特征图的下采样操作，再利用二分类损失函数对特征进行分类。二分类损失函数包括但不限于交叉熵损失函数、对数损失函数等。
在一个实施例中，S20中，根据第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频，包括：
S230，将第一虚拟夜间视频中第i帧虚拟夜间图像与第i+1帧虚拟夜间图像输入至夜间时间序列预测器中进行预测，获得第i+2帧预测虚拟夜间图像；
S240，将第一虚拟夜间视频中第i+2帧虚拟夜间图像与第i+2帧预测虚拟夜间图像进行平均计算，获得第i+2帧约束夜间图像，并根据第i+2帧约束夜间图像，获得第一约束夜间视频；
其中，i为任意正整数。
本实施例中，通过夜间时间序列预测器，根据过去的虚拟夜间图像数据 (即第i帧虚拟夜间图像与第i+1帧虚拟夜间图像)对未来的夜间图像数据进行约束，形成第i+2帧预测虚拟夜间图像。将第一虚拟夜间视频中第i+2帧虚拟夜间图像与第i+2帧预测虚拟夜间图像进行数据融合之后，获得第i+2帧约束夜间图像。以此类推，根据第一虚拟夜间视频与夜间时间序列预测器，能够获得连续的多帧约束夜间图像，将时间约束条件加入到视频图像中，形成第一约束夜间视频。通过增加时间上的约束形成第一约束夜间视频，并融入到夜日迁移模型中，能够使得经过夜日迁移模型的视频更加自然流畅，形成更加精确地第一虚拟日间视频，可以更加接近原始的日间视频。从而，通过增加时间序列上的夜间时间序列预测器，实现了根据过去帧数据对未来帧数据的约束，将相邻帧数据之间的分布差异最小化，使得生成器生成的视频数据前后帧更具连贯性，视频更加平滑流畅。
在一个实施例中，夜间时间序列预测器通过光流神经网络(FlowNet)实现。相邻虚拟夜间图像之间均具有相关性。通过光流神经网络发现上一帧图像与当前帧图像之间存在的对应关系，计算出相邻帧图像之间的物体的运动信息。第i帧虚拟夜间图像与第i+1帧虚拟夜间图像以及第i+1帧虚拟夜间图像与第i+2帧虚拟夜间图像之间均存在物体的运动信息，能够建立彼此之间的对应关系。根据相邻帧图像之间的物体的运动信息，预测未来帧图像的数据，也就是能够获得预测的第i+2帧预测虚拟夜间图像。
将第i帧虚拟夜间图像与第i+1帧虚拟夜间图像输入到光流神经网络的卷积层组成的收缩部分，提取第i帧虚拟夜间图像的特征图与第i+1帧虚拟夜间图像的特征图。将第i帧虚拟夜间图像的特征图与第i+1帧虚拟夜间图像的特征图输入到光流神经网络的相关层计算两个相邻特征图的相关性特征。将两个相邻特征图的相关性特征输入到光流神经网络的反卷积层形成的扩大部分，进行光流预测，实现对下一帧图像的预测。从而，通过光流神经网络、第i 帧虚拟夜间图像以及第i+1帧虚拟夜间图像，能够实现对第i+2帧虚拟夜间图像的预测，输出获得第i+2帧预测虚拟夜间图像。从而，将第i+2帧虚拟夜间图像与第i+2帧预测虚拟夜间图像进行平均计算，获得经过时间约束的第i+2 帧约束夜间图像。
在一个实施例中，S30中，将第一约束夜间视频与日间视频输入至夜日迁移模型中，生成第一虚拟日间视频，包括：
S310，将第一约束夜间视频与日间视频输入至夜日迁移模型的生成器网络中，输出第一虚拟日间视频；
S320，将第一虚拟日间视频与日间视频输入至夜日迁移模型的判别器网络中，对第一虚拟日间视频与日间视频进行判别。
本实施例中，夜日迁移模型为生成对抗网络，包括生成器网络和判别器网络。通过将生成器网络和判别器网络进行迭代训练，两者相互博弈，从而生成更好的夜日迁移模型。生成器网络用来生成第一虚拟日间视频。判别器网络用来判断生成的第一虚拟日间视频是否真实。
日夜迁移模型与夜日迁移模型形成两个镜像对称的生成对抗网络，构成了再循环生成对抗网络。再循环生成对抗网络，相较于只关注空间信息的 Cycle-GAN，增加了在时间上的约束，能够实现更加自然流畅的迁移效果。再循环生成对抗网络利用非成对的训练数据以及两个镜像对称的生成对抗网络，在进行日夜迁移模型训练时，学习日间视频映射到夜间视频再映射回日间视频，并结合生成器网络和判别器网络之间的相互博弈，使得再循环生成对抗网络更加稳定。
在一个实施例中，夜日迁移模型的生成器网络的输入视频特征尺寸为 256*256*3(H*W*C，Height*Width*Channel，高度*宽度*通道数)。输入视频依次经过多个卷积层、归一化层及非线性激活层，特征图尺寸变为 64*64*256。为进行进一步的特征提取，再经过残差卷积模块，特征图尺寸不变。最后再经过多个反卷积层，将特征图尺寸恢复到原图尺寸256*256*3。
残差卷积模块包含多个残差卷积神经网络的连接。归一化层包括但不限于实例归一化层、自适应实例归一化层等。非线性激活层包括但不限于修正线性单元(RectifiedLinear Unit，ReLU)等非线性激活函数。
在一个实施例中，夜日迁移模型的判别器网络为一个二分类网络，分类目标是区分原始输入的真实视频数据和生成器生成的视频数据。夜日迁移模型的判别器网络层数较浅，输入的视频特征尺寸为256*256*3(H*W*C， Height*Width*Channel，高度*宽度*通道数)，依次经过多次卷积操作进行特征图的下采样操作，再利用二分类损失函数对特征进行分类。二分类损失函数包括但不限于交叉熵损失函数、对数损失函数等。
在一个实施例中，S40中，将夜间视频与日间视频输入至夜日迁移模型中，生成第二虚拟日间视频，包括：
S410，将夜间视频与日间视频输入至夜日迁移模型的生成器网络中，输出第二虚拟日间视频；
S420，将第二虚拟日间视频与日间视频输入至夜日迁移模型的判别器网络中，对第二虚拟日间视频与日间视频进行判别。
本实施例中，夜日迁移模型与S30中的夜日迁移模型相同，对应的生成器网络与判别器网络的相关描述也相同。夜日迁移模型为生成对抗网络，包括生成器网络和判别器网络。通过将生成器网络和判别器网络进行迭代训练，两者相互博弈，从而生成更好的夜日迁移模型。生成器网络用来生成第二虚拟日间视频。判别器网络用来判断生成的第二虚拟日间视频是否真实。
在一个实施例中，S40中，根据第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频，包括：
S430，将第二虚拟日间视频中第i帧虚拟日间图像与第i+1帧虚拟日间图像输入至日间时间序列预测器中进行预测，获得第i+2帧预测虚拟日间图像；
S440，将第二虚拟日间视频中第i+2帧虚拟日间图像与第i+2帧预测虚拟日间图像进行平均计算，获得第i+2帧约束日间图像，并根据第i+2帧约束日间图像，获得第二约束日间视频；
其中，i为任意正整数。
本实施例中，通过日间时间序列预测器，根据过去的虚拟日间图像数据 (即第i帧虚拟日间图像与第i+1帧虚拟日间图像)对未来的日间图像数据进行约束，形成第i+2帧预测虚拟日间图像。将第二虚拟日间视频中第i+2帧虚拟日间图像与第i+2帧预测虚拟日间图像进行数据融合之后，获得第i+2帧约束日间图像。以此类推，根据第二虚拟日间视频与日间时间序列预测器，能够获得连续的多帧约束日间图像，将时间约束条件加入到视频图像中，形成第二约束日间视频。通过增加时间上的约束形成第二约束日间视频，并融入到日夜迁移模型中，能够使得经过日夜迁移模型的视频更加自然流畅，形成更加精确地第二虚拟夜间视频，可以更加接近原始的夜间视频。从而，通过增加时间序列上的日间时间序列预测器，实现了根据过去帧数据对未来帧数据的约束，将相邻帧数据之间的分布差异最小化，使得生成器生成的视频数据前后帧更具连贯性，视频更加平滑流畅。
在一个实施例中，日间时间序列预测器通过光流神经网络(FlowNet)实现。相邻虚拟日间图像之间均具有相关性。通过光流神经网络发现上一帧图像与当前帧图像之间存在的对应关系，计算出相邻帧图像之间的物体的运动信息。第i帧虚拟日间图像与第i+1帧虚拟日间图像以及第i+1帧虚拟日间图像与第i+2帧虚拟日间图像之间均存在物体的运动信息，能够建立彼此之间的对应关系。根据相邻帧图像之间的物体的运动信息，预测未来帧图像的数据，也就是能够获得预测的第i+2帧预测虚拟日间图像。
将第i帧虚拟日间图像与第i+1帧虚拟日间图像输入到光流神经网络的卷积层组成的收缩部分，提取第i帧虚拟日间图像的特征图与第i+1帧虚拟日间图像的特征图。将第i帧虚拟日间图像的特征图与第i+1帧虚拟日间图像的特征图输入到光流神经网络的相关层计算两个相邻特征图的相关性特征。将两个相邻特征图的相关性特征输入到光流神经网络的反卷积层形成的扩大部分，进行光流预测，实现对下一帧图像的预测。从而，通过光流神经网络、第i 帧虚拟日间图像以及第i+1帧虚拟日间图像，能够实现对第i+2帧虚拟日间图像的预测，输出获得第i+2帧预测虚拟日间图像。从而，将第i+2帧虚拟日间图像与第i+2帧预测虚拟日间图像进行平均计算，获得经过时间约束的第i+2 帧约束日间图像。
在一个实施例中，S50中，将第二约束日间视频与夜间视频输入至日夜迁移模型中，生成第二虚拟夜间视频，包括：
S510，将第二约束日间视频与夜间视频输入至日夜迁移模型的生成器网络中，输出第二虚拟夜间视频；
S520，将第二虚拟夜间视频与夜间视频输入至日夜迁移模型的判别器网络中，对第二虚拟夜间视频与夜间视频进行判别。
本实施例中，日夜迁移模型与S20中的日夜迁移模型的相关描述相同。对应的生成器网络与判别器网络的相关描述也相同。日夜迁移模型为生成对抗网络，包括生成器网络和判别器网络。通过将生成器网络和判别器网络进行迭代训练，两者相互博弈，从而生成更好的日夜迁移模型。生成器网络用来生成第二虚拟夜间视频。判别器网络用来判断生成的第二虚拟夜间视频是否真实。
日夜迁移模型与夜日迁移模型形成两个镜像对称的生成对抗网络，构成了再循环生成对抗网络。再循环生成对抗网络，相较于只关注空间信息的 Cycle-GAN，增加了在时间上的约束，能够实现更加自然流畅的迁移效果。再循环生成对抗网络利用非成对的训练数据以及两个镜像对称的生成对抗网络，在进行日夜迁移模型训练时，学习夜间视频映射到日间视频再映射回夜间视频，并结合生成器网络和判别器网络之间的相互博弈，使得再循环生成对抗网络更加稳定。
在一个实施例中，S70，根据日夜迁移模型的损失函数、夜日迁移模型的损失函数、第一循环链路的损失函数、第二循环链路的损失函数、夜间预测约束模型的损失函数以及日间预测约束模型的损失函数，构建总损失函数中，总损失函数为：
Figure BDA0003500886670000141
其中，X表示夜间视频，Y表示日间视频，G表示夜日迁移模型的生成器网络，F表示日夜迁移模型的生成器网络，DY表示夜日迁移模型的判别器网络，DX表示日夜迁移模型的判别器网络，PX表示夜间时间序列预测器，PY表示日间时间序列预测器；
LGAN(G，Dy，X，Y)表示夜日迁移模型的损失函数，LGAN(F，DX，Y，X)表示日夜迁移模型的损失函数，
Figure BDA0003500886670000142
表示第二循环链路的损失函数，
Figure BDA0003500886670000143
表示第一循环链路的损失函数，
Figure BDA0003500886670000144
表示夜间时间序列预测器的损失函数，
Figure BDA0003500886670000145
表示日间时间序列预测器的损失函数，λ1、λ2、λ3、λ4表示权重参数。
本实施例中，通过日夜迁移模型与夜日迁移模型形成两个镜像对称的生成对抗网络，构成了再循环生成对抗网络，能够同时学习日间视频映射到夜间视频再映射回日间视频的过程和夜间视频映射到日间视频再映射回夜间视频的过程。日夜迁移模型、夜日迁移模型、第一循环链路、第二循环链路、夜间预测约束模型以及日间预测约束模型共同作为一个整体进行训练。通过构建整体的总损失函数，可以实现对模型中各个参数的调整，进而获得优化参数。
在一个实施例中，第一循环链路的损失函数与第二循环链路的损失函数可以为L1范数损失函数。
在一个实施例中，S80中，根据总损失函数对夜日迁移模型进行训练优化，获得训练完成的夜日迁移模型，并根据训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频，包括：
S810，将总损失函数调整至目标平衡点，获得训练完成的夜日迁移模型，目标平衡点为：
Figure BDA0003500886670000146
其中，G*表示夜日迁移模型的生成器网络的权重，F*表示日夜迁移模型的生成器网络的权重，min-max函数表示找到夜日迁移模型的判别器网络与日夜迁移模型的判别器网络，使得输入视频的特征分布与夜日迁移模型的生成器网络和日夜迁移模型的生成器网络的生成分布的差异最大化，且输入视频的特征分布与夜日迁移模型的生成器网络和日夜迁移模型的生成器网络的生成分布的差异最小化，且第一约束夜间视频的相邻帧约束夜间图像之间的分布差异最小化，且第二约束日间视频的相邻帧约束日间图像之间的分布差异最小化。
本实施例中，min-max函数可以理解为找到两个模型对应的判别器网络，使得输入数据的特征分布与生成器的生成分布的差异最大化，同时调整两个模型对应的生成器网络，使得输入数据的分布与生成器网络生成分布差异最小化。通过增加时间序列上的夜间时间序列预测器与日间时间序列预测器，实现了根据过去帧数据对未来帧数据的约束，将相邻帧数据之间的分布差异最小化，使得生成器生成的视频数据前后帧更具连贯性，视频更加平滑流畅。
在一个实施例中，当对输入数据的分布与生成器网络生成的数据分布之间的差异进行计算时，可以通过KL散度(Kullback-Leibler Divergence)或者 JS散度(Jensen–Shannon Divergence)等函数来描述差异。
在一个实施例中，S80中，根据总损失函数进行训练优化，获得训练完成的夜日迁移模型，并根据训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频，还包括：
S820，将待测夜间路侧停车场景视频，输入至训练完成的夜日迁移模型中，获得对应的日间化的夜间路侧停车场景视频。
本实施例中，根据总损失函数进行训练优化，获得对应的夜日迁移模型的网络参数，进而得到训练完成的夜日迁移模型。从而，根据训练完成的夜日迁移模型，将待测夜间路侧停车场景视频输入至训练完成的夜日迁移模型中，获得对应的日间化的夜间路侧停车场景视频，用于后续车辆检测以及车牌识别等。从而，通过本申请提供的夜间路侧停车管理视频转换方法，将采集的夜间路侧停车场景视频迁移为白天的路侧停车场景视频，在迁移后的视频上再进行车辆检测以及车牌识别等操作，能够极大提高检测及识别的准确率，提高夜间路侧停车管理的智能化。
请参见图2，在一个实施例中，本申请提供一种夜间路侧停车管理视频转换装置100包括视频获取模块10、第一约束夜间视频获取模块20、第一虚拟日间视频获取模块30、第二约束日间视频获取模块40、第二虚拟夜间视频获取模块50、循环链路形成模块60、损失函数构建模块70以及日间化视频获取模块80。视频获取模块10用于获取日间视频集与夜间视频集。第一约束夜间视频获取模块20用于将日间视频集中日间视频与夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频。
第一虚拟日间视频获取模块30用于将第一约束夜间视频与日间视频输入至夜日迁移模型中，生成第一虚拟日间视频。第二约束日间视频获取模块40 用于将夜间视频与日间视频输入至夜日迁移模型中，生成第二虚拟日间视频，并根据第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频。第二虚拟夜间视频获取模块50用于将第二约束日间视频与夜间视频输入至日夜迁移模型中，生成第二虚拟夜间视频。循环链路形成模块60用于将夜间视频、日间视频、第二虚拟日间视频、第二约束日间视频以及第二虚拟夜间视频形成第一循环链路，将日间视频、夜间视频、第一虚拟夜间视频、第一约束夜间视频以及第一虚拟日间视频形成第二循环链路。
损失函数构建模块70用于根据日夜迁移模型的损失函数、夜日迁移模型的损失函数、第一循环链路的损失函数、第二循环链路的损失函数、夜间预测约束模型的损失函数以及日间预测约束模型的损失函数，构建总损失函数。日间化视频获取模块80用于根据总损失函数进行训练优化，获得训练完成的夜日迁移模型，并根据训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
本实施例中，视频获取模块10的相关描述可参考上述实施例中S10的相关描述。第一约束夜间视频获取模块20的相关描述可参考上述实施例中S20 的相关描述。第一虚拟日间视频获取模块30的相关描述可参考上述实施例中 S30的相关描述。第二约束日间视频获取模块40的相关描述可参考上述实施例中S40的相关描述。第二虚拟夜间视频获取模块50的相关描述可参考上述实施例中S50的相关描述。循环链路形成模块60的相关描述可参考上述实施例中S60的相关描述。损失函数构建模块70的相关描述可参考上述实施例中 S70的相关描述。日间化视频获取模块80的相关描述可参考上述实施例中S80 的相关描述。
在一个实施例中，第一约束夜间视频获取模块20包括夜间预测模块 (图中未标注)与夜间视频计算模块(图中未标注)。夜间预测模块用于将第一虚拟夜间视频中第i帧虚拟夜间图像与第i+1帧虚拟夜间图像输入至夜间时间序列预测器中进行预测，获得第i+2帧预测虚拟夜间图像。夜间视频计算模块用于将第一虚拟夜间视频中第i+2帧虚拟夜间图像与第i+2帧预测虚拟夜间图像进行平均计算，获得第i+2帧约束夜间图像，并根据第i+2帧约束夜间图像，获得第一约束夜间视频。其中，i为任意正整数。
本实施例中，夜间预测模块的相关描述可参考上述实施例中S230的相关描述。夜间视频计算模块的相关描述可参考上述实施例中S240的相关描述。
在一个实施例中，第二约束日间视频获取模块40包括日间预测模块 (图中未标注)与日间视频计算模块(图中未标注)。日间预测模块用于将第二虚拟日间视频中第i帧虚拟日间图像与第i+1帧虚拟日间图像输入至日间时间序列预测器中进行预测，获得第i+2帧预测虚拟日间图像。日间视频计算模块用于将第二虚拟日间视频中第i+2帧虚拟日间图像与第i+2帧预测虚拟日间图像进行平均计算，获得第i+2帧约束日间图像，并根据第i+2帧约束日间图像，获得第二约束日间视频。其中，i为任意正整数。
本实施例中，日间预测模块的相关描述可参考上述实施例中S430的相关描述。日间视频计算模块的相关描述可参考上述实施例中S440的相关描述。
在一个实施例中，第一虚拟日间视频获取模块30包括夜日生成模块(图中未标注)与夜日判别模块(图中未标注)。夜日生成模块用于将第一约束夜间视频与日间视频输入至夜日迁移模型的生成器网络中，输出第一虚拟日间视频。夜日判别模块用于将第一虚拟日间视频与日间视频输入至夜日迁移模型的判别器网络中，对第一虚拟日间视频与日间视频进行判别。
本实施例中，夜日生成模块的相关描述可参考上述实施例中S310的相关描述。夜日判别模块的相关描述可参考上述实施例中S320的相关描述。
在一个实施例中，第二虚拟夜间视频获取模块50包括日夜生成模块(图中未标注)与日夜判别模块(图中未标注)。日夜生成模块用于将第二约束日间视频与夜间视频输入至日夜迁移模型的生成器网络中，输出第二虚拟夜间视频。日夜判别模块用于将第二虚拟夜间视频与夜间视频输入至日夜迁移模型的判别器网络中，对第二虚拟夜间视频与夜间视频进行判别。
本实施例中，日夜生成模块的相关描述可参考上述实施例中S510的相关描述。日夜判别模块的相关描述可参考上述实施例中S520的相关描述。
在一个实施例中，损失函数构建模块70中，总损失函数为：
Figure BDA0003500886670000181
其中，X表示夜间视频，Y表示日间视频，G表示夜日迁移模型的生成器网络，F表示日夜迁移模型的生成器网络，DY表示夜日迁移模型的判别器网络，DX表示日夜迁移模型的判别器网络，PX表示夜间时间序列预测器，PY表示日间时间序列预测器；
LGAN(G，Dy，X，Y)表示夜日迁移模型的损失函数，LGAN(F，DX，Y，X)表示日夜迁移模型的损失函数，
Figure BDA0003500886670000182
表示第二循环链路的损失函数，
Figure BDA0003500886670000183
表示第一循环链路的损失函数，
Figure BDA0003500886670000184
表示夜间时间序列预测器的损失函数，
Figure BDA0003500886670000185
表示日间时间序列预测器的损失函数，λ1、λ2、λ3、λ4表示权重参数。
本实施例中，损失函数构建模块70的相关描述可参考上述实施例中S70 中损失函数的相关描述。
在一个实施例中，日间化视频获取模块80包括平衡调节模块(图中未标注)。平衡调节模块用于将总损失函数调整至目标平衡点，获得训练完成的夜日迁移模型，目标平衡点为：
Figure BDA0003500886670000191
其中，G*表示夜日迁移模型的生成器网络的权重，F*表示日夜迁移模型的生成器网络的权重，min-max函数表示找到夜日迁移模型的判别器网络与日夜迁移模型的判别器网络，使得输入视频的特征分布与夜日迁移模型的生成器网络和日夜迁移模型的生成器网络的生成分布的差异最大化，且输入视频的特征分布与夜日迁移模型的生成器网络和日夜迁移模型的生成器网络的生成分布的差异最小化，且第一约束夜间视频的相邻帧约束夜间图像之间的分布差异最小化，且第二约束日间视频的相邻帧约束日间图像之间的分布差异最小化。
本实施例中，平衡调节模块的相关描述可参考上述实施例中S810的相关描述。
上述各个实施例中，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
本领域技术人员还可以了解到本申请实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本申请实施例保护的范围。
本申请实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑装置，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。
本申请实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。
以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本申请的具体实施方式而已，并不用于限定本申请的保护范围，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (14)

1.一种夜间路侧停车管理视频转换方法，其特征在于，包括：
获取日间视频集与夜间视频集；
将所述日间视频集中日间视频与所述夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据所述第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；
将所述第一约束夜间视频与所述日间视频输入至夜日迁移模型中，生成第一虚拟日间视频；
将所述夜间视频与所述日间视频输入至所述夜日迁移模型中，生成第二虚拟日间视频，并根据所述第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；
将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型中，生成第二虚拟夜间视频；
将所述夜间视频、所述日间视频、所述第二虚拟日间视频、所述第二约束日间视频以及所述第二虚拟夜间视频形成第一循环链路，将所述日间视频、所述夜间视频、所述第一虚拟夜间视频、所述第一约束夜间视频以及所述第一虚拟日间视频形成第二循环链路；
根据所述日夜迁移模型的损失函数、所述夜日迁移模型的损失函数、所述第一循环链路的损失函数、所述第二循环链路的损失函数、所述夜间预测约束模型的损失函数以及所述日间预测约束模型的损失函数，构建总损失函数；
根据所述总损失函数对所述夜日迁移模型进行训练优化，获得训练完成的夜日迁移模型，并根据所述训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
2.根据权利要求1所述的夜间路侧停车管理视频转换方法，其特征在于，所述根据所述第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频，包括：
将所述第一虚拟夜间视频中第i帧虚拟夜间图像与第i+1帧虚拟夜间图像输入至夜间时间序列预测器中进行预测，获得第i+2帧预测虚拟夜间图像；
将所述第一虚拟夜间视频中第i+2帧虚拟夜间图像与所述第i+2帧预测虚拟夜间图像进行平均计算，获得第i+2帧约束夜间图像，并根据所述第i+2帧约束夜间图像，获得所述第一约束夜间视频；
其中，i为任意正整数。
3.根据权利要求2所述的夜间路侧停车管理视频转换方法，其特征在于，所述根据所述第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频，包括：
将所述第二虚拟日间视频中第i帧虚拟日间图像与第i+1帧虚拟日间图像输入至日间时间序列预测器中进行预测，获得第i+2帧预测虚拟日间图像；
将所述第二虚拟日间视频中第i+2帧虚拟日间图像与所述第i+2帧预测虚拟日间图像进行平均计算，获得第i+2帧约束日间图像，并根据所述第i+2帧约束日间图像，获得所述第二约束日间视频；
其中，i为任意正整数。
4.根据权利要求3所述的夜间路侧停车管理视频转换方法，其特征在于，所述将所述第一约束夜间视频与所述日间视频输入至夜日迁移模型中，生成第一虚拟日间视频，包括：
将所述第一约束夜间视频与所述日间视频输入至所述夜日迁移模型的生成器网络中，输出所述第一虚拟日间视频；
将所述第一虚拟日间视频与所述日间视频输入至所述夜日迁移模型的判别器网络中，对所述第一虚拟日间视频与所述日间视频进行判别。
5.根据权利要求4所述的夜间路侧停车管理视频转换方法，其特征在于，所述将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型中，生成第二虚拟夜间视频，包括：
将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型的生成器网络中，输出所述第二虚拟夜间视频；
将所述第二虚拟夜间视频与所述夜间视频输入至所述日夜迁移模型的判别器网络中，对所述第二虚拟夜间视频与所述夜间视频进行判别。
6.根据权利要求5所述的夜间路侧停车管理视频转换方法，其特征在于，所述根据所述日夜迁移模型的损失函数、所述夜日迁移模型的损失函数、所述第一循环链路的损失函数、所述第二循环链路的损失函数、所述夜间预测约束模型的损失函数以及所述日间预测约束模型的损失函数，构建总损失函数中，所述总损失函数为：
Figure FDA0003500886660000031
其中，X表示所述夜间视频，Y表示所述日间视频，G表示所述夜日迁移模型的生成器网络，F表示所述日夜迁移模型的生成器网络，DY表示所述夜日迁移模型的判别器网络，DX表示所述日夜迁移模型的判别器网络，PX表示所述夜间时间序列预测器，PY表示所述日间时间序列预测器；
LGAN(G，DY，X，Y)表示所述夜日迁移模型的损失函数，LGAN(F，DX，Y，X)表示所述日夜迁移模型的损失函数，
Figure FDA0003500886660000032
表示所述第二循环链路的损失函数，
Figure FDA0003500886660000033
表示所述第一循环链路的损失函数，
Figure FDA0003500886660000034
表示所述夜间时间序列预测器的损失函数，
Figure FDA0003500886660000035
表示所述日间时间序列预测器的损失函数，λ1、λ2、λ3、λ4表示权重参数。
7.根据权利要求6所述的夜间路侧停车管理视频转换方法，其特征在于，所述根据所述总损失函数对所述夜日迁移模型进行训练优化，获得训练完成的夜日迁移模型，并根据所述训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频，包括：
将所述总损失函数调整至目标平衡点，获得所述训练完成的夜日迁移模型，所述目标平衡点为：
Figure FDA0003500886660000041
其中，G*表示所述夜日迁移模型的生成器网络的权重，F*表示所述日夜迁移模型的生成器网络的权重，min-max函数表示找到所述夜日迁移模型的判别器网络与所述日夜迁移模型的判别器网络，使得输入视频的特征分布与所述夜日迁移模型的生成器网络和所述日夜迁移模型的生成器网络的生成分布的差异最大化，且所述输入视频的特征分布与所述夜日迁移模型的生成器网络和所述日夜迁移模型的生成器网络的生成分布的差异最小化，且所述第一约束夜间视频的相邻帧约束夜间图像之间的分布差异最小化，且所述第二约束日间视频的相邻帧约束日间图像之间的分布差异最小化。
8.一种夜间路侧停车管理视频转换装置，其特征在于，包括：
视频获取模块，用于获取日间视频集与夜间视频集；
第一约束夜间视频获取模块，用于将所述日间视频集中日间视频与所述夜间视频集中夜间视频输入至日夜迁移模型中，生成第一虚拟夜间视频，并根据所述第一虚拟夜间视频与夜间预测约束模型，获得第一约束夜间视频；
第一虚拟日间视频获取模块，用于将所述第一约束夜间视频与所述日间视频输入至夜日迁移模型中，生成第一虚拟日间视频；
第二约束日间视频获取模块，用于将所述夜间视频与所述日间视频输入至所述夜日迁移模型中，生成第二虚拟日间视频，并根据所述第二虚拟日间视频与日间预测约束模型，获得第二约束日间视频；
第二虚拟夜间视频获取模块，用于将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型中，生成第二虚拟夜间视频；
循环链路形成模块，用于将所述夜间视频、所述日间视频、所述第二虚拟日间视频、所述第二约束日间视频以及所述第二虚拟夜间视频形成第一循环链路，将所述日间视频、所述夜间视频、所述第一虚拟夜间视频、所述第一约束夜间视频以及所述第一虚拟日间视频形成第二循环链路；
损失函数构建模块，用于根据所述日夜迁移模型的损失函数、所述夜日迁移模型的损失函数、所述第一循环链路的损失函数、所述第二循环链路的损失函数、所述夜间预测约束模型的损失函数以及所述日间预测约束模型的损失函数，构建总损失函数；
日间化视频获取模块，用于根据所述总损失函数进行训练优化，获得训练完成的夜日迁移模型，并根据所述训练完成的夜日迁移模型对待测夜间路侧停车场景视频进行处理，获得日间化的夜间路侧停车场景视频。
9.根据权利要求8所述的夜间路侧停车管理视频转换装置，其特征在于，所述第一约束夜间视频获取模块包括：
夜间预测模块，用于将所述第一虚拟夜间视频中第i帧虚拟夜间图像与第i+1帧虚拟夜间图像输入至夜间时间序列预测器中进行预测，获得第i+2帧预测虚拟夜间图像；
夜间视频计算模块，用于将所述第一虚拟夜间视频中第i+2帧虚拟夜间图像与所述第i+2帧预测虚拟夜间图像进行平均计算，获得第i+2帧约束夜间图像，并根据所述第i+2帧约束夜间图像，获得所述第一约束夜间视频；
其中，i为任意正整数。
10.根据权利要求9所述的夜间路侧停车管理视频转换装置，其特征在于，所述第二约束日间视频获取模块包括：
日间预测模块，用于将所述第二虚拟日间视频中第i帧虚拟日间图像与第i+1帧虚拟日间图像输入至日间时间序列预测器中进行预测，获得第i+2帧预测虚拟日间图像；
日间视频计算模块，用于将所述第二虚拟日间视频中第i+2帧虚拟日间图像与所述第i+2帧预测虚拟日间图像进行平均计算，获得第i+2帧约束日间图像，并根据所述第i+2帧约束日间图像，获得所述第二约束日间视频；
其中，i为任意正整数。
11.根据权利要求10所述的夜间路侧停车管理视频转换装置，其特征在于，所述第一虚拟日间视频获取模块包括：
夜日生成模块，用于将所述第一约束夜间视频与所述日间视频输入至所述夜日迁移模型的生成器网络中，输出所述第一虚拟日间视频；
夜日判别模块，用于将所述第一虚拟日间视频与所述日间视频输入至所述夜日迁移模型的判别器网络中，对所述第一虚拟日间视频与所述日间视频进行判别。
12.根据权利要求11所述的夜间路侧停车管理视频转换装置，其特征在于，所述第二虚拟夜间视频获取模块包括：
日夜生成模块，用于将所述第二约束日间视频与所述夜间视频输入至所述日夜迁移模型的生成器网络中，输出所述第二虚拟夜间视频；
日夜判别模块，用于将所述第二虚拟夜间视频与所述夜间视频输入至所述日夜迁移模型的判别器网络中，对所述第二虚拟夜间视频与所述夜间视频进行判别。
13.根据权利要求12所述的夜间路侧停车管理视频转换装置，其特征在于，所述损失函数构建模块中，所述总损失函数为：
Figure FDA0003500886660000061
其中，X表示所述夜间视频，Y表示所述日间视频，G表示所述夜日迁移模型的生成器网络，F表示所述日夜迁移模型的生成器网络，DY表示所述夜日迁移模型的判别器网络，DX表示所述日夜迁移模型的判别器网络，PX表示所述夜间时间序列预测器，PY表示所述日间时间序列预测器；
LGAN(G，DY，X，Y)表示所述夜日迁移模型的损失函数，LGAN(F，DX，Y，X)表示所述日夜迁移模型的损失函数，
Figure FDA0003500886660000062
表示所述第二循环链路的损失函数，
Figure FDA0003500886660000063
表示所述第一循环链路的损失函数，
Figure FDA0003500886660000064
表示所述夜间时间序列预测器的损失函数，
Figure FDA0003500886660000065
表示所述日间时间序列预测器的损失函数，λ1、λ2、λ3、λ4表示权重参数。
14.根据权利要求13所述的夜间路侧停车管理视频转换装置，其特征在于，所述日间化视频获取模块包括：
平衡调节模块，用于将所述总损失函数调整至目标平衡点，获得所述训练完成的夜日迁移模型，所述目标平衡点为：
Figure FDA0003500886660000071
其中，G*表示所述夜日迁移模型的生成器网络的权重，F*表示所述日夜迁移模型的生成器网络的权重，min-max函数表示找到所述夜日迁移模型的判别器网络与所述日夜迁移模型的判别器网络，使得输入视频的特征分布与所述夜日迁移模型的生成器网络和所述日夜迁移模型的生成器网络的生成分布的差异最大化，且所述输入视频的特征分布与所述夜日迁移模型的生成器网络和所述日夜迁移模型的生成器网络的生成分布的差异最小化，且所述第一约束夜间视频的相邻帧约束夜间图像之间的分布差异最小化，且所述第二约束日间视频的相邻帧约束日间图像之间的分布差异最小化。
CN202210127100.5A 2022-02-11 2022-02-11 夜间路侧停车管理视频转换方法以及装置 Pending CN114463992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210127100.5A CN114463992A (zh) 2022-02-11 2022-02-11 夜间路侧停车管理视频转换方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210127100.5A CN114463992A (zh) 2022-02-11 2022-02-11 夜间路侧停车管理视频转换方法以及装置

Publications (1)

Publication Number Publication Date
CN114463992A true CN114463992A (zh) 2022-05-10

Family

ID=81414119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210127100.5A Pending CN114463992A (zh) 2022-02-11 2022-02-11 夜间路侧停车管理视频转换方法以及装置

Country Status (1)

Country Link
CN (1) CN114463992A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880016A (zh) * 2019-10-18 2020-03-13 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
CN113705295A (zh) * 2021-03-10 2021-11-26 中国科学院计算技术研究所 对象姿态迁移方法、装置、设备及存储介质
CN113793258A (zh) * 2021-09-18 2021-12-14 超级视线科技有限公司 监控视频图像的隐私保护方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110880016A (zh) * 2019-10-18 2020-03-13 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
WO2021072886A1 (zh) * 2019-10-18 2021-04-22 平安科技（深圳）有限公司 图像风格迁移方法、装置、设备及存储介质
CN113705295A (zh) * 2021-03-10 2021-11-26 中国科学院计算技术研究所 对象姿态迁移方法、装置、设备及存储介质
CN113793258A (zh) * 2021-09-18 2021-12-14 超级视线科技有限公司 监控视频图像的隐私保护方法及其装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
李佳豪等: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 《激光与光电子学进展》 *
李佳豪等: "基于双通道循环生成对抗网络的无人车夜视红外视频彩色化", 《激光与光电子学进展》, no. 09, 27 April 2018 (2018-04-27) *
李想等: "基于ConvLSTM双通道编码网络的夜间无人车场景预测", 《红外技术》 *
李想等: "基于ConvLSTM双通道编码网络的夜间无人车场景预测", 《红外技术》, no. 08, 20 August 2020 (2020-08-20) *

Similar Documents

Publication Publication Date Title
CN110111335B (zh) 一种自适应对抗学习的城市交通场景语义分割方法及系统
CN111695448B (zh) 一种基于视觉传感器的路侧车辆识别方法
JP2021533497A (ja) ビデオ物体の高速検出方法、装置、サーバ及び記憶媒体
CN112528961B (zh) 一种基于Jetson Nano的视频分析方法
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
Prasad et al. HOG, LBP and SVM based traffic density estimation at intersection
CN117157679A (zh) 感知网络、感知网络的训练方法、物体识别方法及装置
CN113408550B (zh) 基于图像处理的智能称重管理系统
CN117456449B (zh) 一种基于特定信息的高效跨模态人群计数方法
CN113191301B (zh) 融合时序和空间信息的视频密集人群计数方法及系统
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN114550023A (zh) 一种交通目标静态信息提取装置
CN118015490A (zh) 一种无人机航拍图像小目标检测方法、系统及电子设备
Sommer et al. Ensemble of Two-Stage Regression Based Detectors for Accurate Vehicle Detection in Traffic Surveillance Data
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN114463992A (zh) 夜间路侧停车管理视频转换方法以及装置
CN109034171B (zh) 视频流中的无牌车辆检测方法和装置
CN115424086A (zh) 多视角的细粒度识别方法、装置、电子设备及介质
CN114782938A (zh) 车牌字符识别方法以及装置
CN108090436A (zh) 一种运动物体的检测方法、系统及介质
CN114519703A (zh) 视频监控图像的去外界干扰特征方法以及装置
WO2022242175A1 (zh) 数据处理方法、装置和终端
CN113408432B (zh) 基于图像的交通拥堵识别方法、装置以及设备
CN112990070B (zh) 一种车辆颜色检测方法、系统、设备及存储介质
CN113743410B (zh) 图像处理方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination