CN113947698A - 车辆运输状态检测方法、装置、电子设备及存储介质 - Google Patents
车辆运输状态检测方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113947698A CN113947698A CN202111117080.5A CN202111117080A CN113947698A CN 113947698 A CN113947698 A CN 113947698A CN 202111117080 A CN202111117080 A CN 202111117080A CN 113947698 A CN113947698 A CN 113947698A
- Authority
- CN
- China
- Prior art keywords
- image
- sample container
- transportation state
- container image
- state detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000005012 migration Effects 0.000 claims abstract description 118
- 238000013508 migration Methods 0.000 claims abstract description 118
- 230000002159 abnormal effect Effects 0.000 claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 44
- 230000007704 transition Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 8
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 abstract description 27
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 239000000428 dust Substances 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 239000002893 slag Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000005520 cutting process Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 208000032538 Depersonalisation Diseases 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 101150115304 cls-2 gene Proteins 0.000 description 1
- 101150053100 cls1 gene Proteins 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种车辆运输状态检测方法、装置、电子设备及存储介质，其中方法包括：获取待检测车辆的货箱图像；将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态；其中，所述运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；所述样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；所述迁移样本货箱图像是基于所述异常样本货箱图像对所述正常样本货箱图像进行风格迁移后得到的。本发明提供的方法、装置、电子设备及存储介质，提高了样本的多样性，提高了运输状态检测模型的鲁棒性，提高了车辆运输状态检测的效果。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种车辆运输状态检测方法、装置、电子设备及存储介质。
背景技术
随着城市建设的快速发展，渣土车的使用需求快速上升。在渣土车运输过程中，由于遮盖不严或司机违规倾卸渣土，导致行驶过程中渣土抛洒滴漏，严重污染城市环境，增加了清洁难度。因此，需要对渣土车的运输状态进行实时监测和规范化管理。
现有技术中，通过在渣土车上安装摄像头，识别货箱空载、重载、密闭、举升状态以及渣土介质种类识别，并实现货箱视频监控，来减少因渣土车未密闭、超载导致的抛洒滴漏问题，在一定程度上减少了路面扬尘污染。然而，渣土车的作业时间大多集中在夜间，夜间的光照环境复杂，会出现逆光、强光直射等情况，同时施工现场扬尘有时会覆盖摄像头镜头，导致摄像头拍摄的图像质量较差，使得渣土车的运输状态的检测效果差。
发明内容
本发明提供一种车辆运输状态检测方法、装置、电子设备及存储介质，用于解决现有技术中车辆运输状态检测方法的效果差的技术问题。
本发明提供一种车辆运输状态检测方法，包括：
获取待检测车辆的货箱图像；
将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态；
其中，所述运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；所述样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；所述迁移样本货箱图像是基于所述异常样本货箱图像对所述正常样本货箱图像进行风格迁移后得到的。
根据本发明提供的车辆运输状态检测方法，所述运输状态检测模型是基于如下步骤训练得到的：
基于第一样本和第二样本对初始模型进行交替训练，得到所述运输状态检测模型；
其中，所述第一样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态构成，所述第二样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态、异常样本货箱图像和异常样本货箱图像对应的样本运输状态，以及迁移样本货箱图像和迁移样本货箱图像对应的样本运输状态构成。
根据本发明提供的车辆运输状态检测方法，所述基于第一样本和第二样本对初始模型进行交替训练，包括：
当采用所述第一样本对初始模型进行训练时，基于正常样本货箱图像和正常样本货箱图像对应的样本运输状态，对由所述初始模型和生成器构成的生成式对抗网络进行训练；
所述生成器用于基于给定噪声生成假样本，所述初始模型用于对输入的样本图像进行真伪判断和运输状态检测，所述输入的样本图像包括所述正常样本货箱图像和所述假样本。
根据本发明提供的车辆运输状态检测方法，所述将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态，包括：
将所述货箱图像输入至所述运输状态检测模型的特征提取层，得到所述特征提取层输出的货箱图像特征；
将所述货箱图像特征输入至所述运输状态检测模型的坐标注意力层，得到所述坐标注意力层输出的图像位置增强特征；
将所述货箱图像输入至所述运输状态检测模型的残差连接层，得到所述残差连接层输出的图像表示特征；
将所述图像位置增强特征和所述图像表示特征输入至所述运输状态检测模型的特征融合层，得到所述特征融合层输出的所述待检测车辆的运输状态。
根据本发明提供的车辆运输状态检测方法，所述迁移样本货箱图像是基于如下步骤确定的：
将所述异常样本货箱图像和所述正常样本货箱图像输入至图像风格迁移模型，得到所述图像风格迁移模型输出的迁移样本货箱图像；
其中，所述图像风格迁移模型包括依次连接的特征编码层、自适应实例正则化层和特征解码层；所述图像风格迁移模型的损失包括一致损失、内容损失和/或风格损失。
根据本发明提供的车辆运输状态检测方法，所述图像风格迁移模型的一致损失是基于如下步骤确定的：
将所述任一图像同时作为异常样本货箱图像和正常样本货箱图像输入至所述图像风格迁移模型，得到所述图像风格迁移模型输出的所述任一图像对应的迁移图像；
基于所述任一图像和所述任一图像对应的迁移图像，确定所述图像风格迁移模型的一致损失。
根据本发明提供的车辆运输状态检测方法，所述图像风格迁移模型的内容损失和风格损失是基于如下步骤确定的：
将所述迁移样本货箱图像和所述自适应实例正则化层输出的特征图输入至所述特征编码层，确定所述图像风格迁移模型的内容损失；
将所述异常样本货箱图像和所述迁移样本货箱图像输入至所述特征编码层，确定所述图像风格迁移模型的风格损失。
本发明提供一种车辆运输状态检测装置，包括：
获取单元，用于获取待检测车辆的货箱图像；
检测单元，用于将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态；
其中，所述运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；所述样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；所述迁移样本货箱图像是基于所述异常样本货箱图像对所述正常样本货箱图像进行风格迁移后得到的。
本发明提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述车辆运输状态检测方法的步骤。
本发明提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述车辆运输状态检测方法的步骤。
本发明提供的车辆运输状态检测方法、装置、电子设备及存储介质，通过样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的运输状态检测模型，能够根据待检测车辆的货箱图像，确定待检测车辆的运输状态，通过风格迁移得到的迁移样本货箱图像有效地扩充了样本货箱图像的数量和种类，提高了样本的多样性，通过正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像对初始模型进行训练，提高了运输状态检测模型的学习能力，提高了运输状态检测模型的鲁棒性，所得到的运输状态检测模型对于实际检测过程中得到的图像质量较差的货箱图像具有较强的适应能力，能够检测到准确的待检测车辆的运输状态，提高了车辆运输状态检测的效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的车辆运输状态检测方法的流程示意图；
图2为本发明提供的生成式对抗网络的结构示意图；
图3为本发明提供的运输状态检测模型的网络结构图；
图4为本发明提供的图像风格迁移模型的结构示意图；
图5为本发明提供的车辆运输状态检测装置的结构示意图；
图6为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的车辆运输状态检测方法的流程示意图，如图1所示，该方法包括：
步骤110，获取待检测车辆的货箱图像。
具体地，待检测车辆可以为渣土车、矿用卡车等带有货箱的车辆。货箱图像为对车辆的货箱进行采集所获得的图像。可以通过在待检测车辆的车头上或者货箱前部的上方安装摄像头，对待检测车辆的货箱部位进行监控。
步骤120，将货箱图像输入至运输状态检测模型，得到运输状态检测模型输出的待检测车辆的运输状态；其中，运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；迁移样本货箱图像是基于异常样本货箱图像对正常样本货箱图像进行风格迁移后得到的。
具体地，待检测车辆的运输状态是指货箱承载货物的状态。运输状态可以根据需要进行设置，例如，运输状态可以包括空载和满载，也可以包括篷布关闭和篷布打开等。
可以通过运输状态检测模型对货箱图像进行检测识别后，得到待检测车辆的运输状态。运输状态检测模型用于对货箱图像进行特征提取，根据提取的特征学习得到图像中货箱内的物体状态等信息，从而确定待检测车辆的运输状态。
可以预先训练得到运输状态检测模型，具体可以通过如下训练方式得到：首先，收集大量的样本货箱图像；其次，对每一样本货箱图像进行标注，确定每一样本货箱图像对应的样本运输状态；随即，根据大量的样本货箱图像，以及每一样本货箱图像对应的样本运输状态，对初始模型进行训练，以提高初始模型对于货箱图像对应的运输状态的预测能力，得到运输状态检测模型。
对于待检测车辆而言，车身上安装的摄像头的视角比较固定，因此，采集的货箱图像所处的场景变化较小，用于训练模型时容易产生过拟合现象。此外，由于车辆可能在夜间长时间作业，摄像头面临无光、逆光甚至强光直射等各种复杂光照环境，还可能面临如灰尘遮挡等情况，实际采集的货箱图像的质量较差。因此，可以通过多种样本训练的方式，提高运输状态检测模型的鲁棒性。
可以通过正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像来对初始模型进行训练，得到运输状态检测模型。其中，正常样本货箱图像为在光照充足等曝光条件较好的情况下拍摄得到的货箱图像，异常样本货箱图像为在灰尘遮挡、逆光或者强光直射等曝光条件较差的情况下拍摄得到的货箱图像。正常样本货箱图像和异常样本货箱图像可以根据图像中每一像素点的像素值来进去区分。例如，可以根据图像中每一像素的像素值进行加权求平均值，若像素平均值大于预设亮度阈值或者小于预设暗度阈值，则认为该图像为异常样本货箱图像，若像素平均值在预设暗度阈值和预设亮度阈值之间，则认为该图像为正常样本货箱图像。其中，预设暗度阈值可以为60，预设亮度阈值可以为200。
在货箱图像的采集过程中，正常样本货箱图像的数量占据了大多数，异常样本货箱图像的数量较少。较少的异常样本货箱图像对初始模型进行训练将导致模型的鲁棒性较差。此时，可以采用风格迁移的方法扩充样本，根据异常样本货箱图像，对正常样本货箱图像进行风格迁移后可以得到的。
本发明实施例提供的车辆运输状态检测方法，通过样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的运输状态检测模型，能够根据待检测车辆的货箱图像，确定待检测车辆的运输状态，通过风格迁移得到的迁移样本货箱图像有效地扩充了样本货箱图像的数量和种类，提高了样本的多样性，通过正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像对初始模型进行训练，提高了运输状态检测模型的学习能力，提高了运输状态检测模型的鲁棒性，所得到的运输状态检测模型对于实际检测过程中得到的图像质量较差的货箱图像具有较强的适应能力，能够检测到准确的待检测车辆的运输状态，提高了车辆运输状态检测的效果。
基于上述实施例，运输状态检测模型是基于如下步骤训练得到的：
基于第一样本和第二样本对初始模型进行交替训练，得到运输状态检测模型；
其中，第一样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态构成，第二样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态、异常样本货箱图像和异常样本货箱图像对应的样本运输状态，以及迁移样本货箱图像和迁移样本货箱图像对应的样本运输状态构成。
具体地，可以采用交替训练的方法，对初始模型进行训练，得到运输状态检测模型。可以对正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像进行分类，分为第一样本和第二样本。
第一样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态构成。大部分情况下，采集的货箱图像均是满足光照条件较好或者无灰尘遮挡，因此，采用第一样本用来训练初始模型对于正常样本货箱图像的识别能力。
第二样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态、异常样本货箱图像和异常样本货箱图像对应的样本运输状态，以及迁移样本货箱图像和迁移样本货箱图像对应的样本运输状态构成。对于光照条件较差或者存在遮挡的情形，可以通过第二样本来训练初始模型对于多种样本货箱图像的识别能力。例如，可以分别从第二样本中抽取三种样本对初始模型进行训练。
交替训练时，可以按照设定的样本数量选取第一样本和第二样本，然后交替训练初始模型，直至达到预设的训练步数或者初始模型的损失达到设定阈值，得到运输状态检测模型。
基于上述任一实施例，基于第一样本和第二样本对初始模型进行交替训练，包括：
当采用第一样本对初始模型进行训练时，基于正常样本货箱图像和正常样本货箱图像对应的样本运输状态，对由初始模型和生成器构成的生成式对抗网络进行训练；
生成器用于基于给定噪声生成假样本，初始模型用于对输入的样本图像进行真伪判断和运输状态检测，输入的样本图像包括正常样本货箱图像和假样本。
具体地，由于货箱图像的视角固定，正常样本货箱图像多是在光照条件较好的情况下采集的，数据方差小，容易导致初始模型出现过拟合，因此，可以对初始模型采用生成对抗式训练。
当采用第一样本对初始模型进行训练时，以初始模型为判别器构建生成式对抗网络，生成式对抗网络的类型可以选用WGAN(Wasserstein GAN)结构。给定噪声可以选用高斯噪声。
图2为本发明提供的生成式对抗网络的结构示意图，如图2所示，其中判别器D为初始模型。生成对抗式训练原理为：生成器G输入高斯噪声Z(noise)，生成假图像X(fake)。将假图像X(fake)和真图像X(real)(data)输入到判别器D进行判别，得到输入图像属于真样本(real)还是假样本(fake)的概率，以及图像的类别(cls1,cls2,…)。
按照上述原理，将给定噪声输入生成式对抗网络的生成器，由生成器生成大量的假样本。判别器用于对输入的样本图像进行真伪判断和运输状态检测。根据正常样本货箱图像和正常样本货箱图像对应的样本运输状态，以及假样本，对判别器进行训练，使得判别器既要对样本的真假概率进行识别，又要识别真样本(正常样本货箱图像)对应的分类标签，能够提高运输状态检测模型的判别能力，即运输状态检测模型对图像特征的学习能力。
给定噪声能够让生成式对抗网络的生成器模拟实际货箱图像的数据分布。在不可能取尽各个采集条件下的样本货箱图像时，采用生成式对抗网络能够模拟生成不同数据分布的样本，解决了样本数据少，场景固定可能会导致的模型过拟合问题，提升了运输状态检测模型的稳定性，提高了运输状态检测模型的泛化能力。
基于上述任一实施例，步骤120包括：
将货箱图像输入至运输状态检测模型的特征提取层，得到特征提取层输出的货箱图像特征；
将货箱图像特征输入至运输状态检测模型的坐标注意力层，得到坐标注意力层输出的图像位置增强特征；
将货箱图像输入至运输状态检测模型的残差连接层，得到残差连接层输出的图像表示特征；
将图像位置增强特征和图像表示特征输入至运输状态检测模型的特征融合层，得到特征融合层输出的待检测车辆的运输状态。
具体地，可以在运输状态检测模型的模型结构增加坐标注意力(CoordinateAttention)机制和残差连接。相应地，从网络结构上，运输状态检测模型可以包括特征提取层、坐标注意力层、残差连接层和特征融合层。
图3为本发明提供的运输状态检测模型的网络结构图，如图3所示，将货箱图像输入至运输状态检测模型的特征提取层，可以得到特征提取层输出的货箱图像特征。特征提取层可以采用MobileNet V2结构。MobileNet V2是一个轻量化的卷积神经网络，可以包括依次连接的1x1卷积激活(ReLU6)层、3x3深度卷积激活(ReLU6)层和1x1卷积线性(Linear)层。MobileNet V2具有倒残差(Inverted Residuals)和线性瓶颈(Linear Bottlenecks)结构，能够在提升特征提取功能的同时减少参数量和计算量。
将货箱图像特征输入至运输状态检测模型的坐标注意力层，得到坐标注意力层输出的图像位置增强特征。坐标注意力层采用坐标注意力机制，可以将位置信息嵌入通道注意力中，使得轻量级网络能够在更大的区域上进行注意力，同时避免产生大量的计算开销。利用两个一维全局池化操作，分别将水平方向(X方向)和垂直方向(Y方向)的输入特征聚合为两个独立的方向感知特征图，然后这两个嵌入特定方向信息的特征图分别被编码为两个注意力图，每个注意力图都捕获了输入特征图沿着一个空间方向的长程依赖。因此，位置信息就被保存在生成的注意力图里。两个注意力图接着被乘到输入特征图上来增强特征图的表示能力。
将货箱图像输入至运输状态检测模型的残差连接层，残差连接层采用1x1卷积线性(Linear)层，提取货箱图像的图像表示特征。
最后，将图像位置增强特征和图像表示特征输入至运输状态检测模型的特征融合层，由特征融合层对这两个特征进行融合后识别，得到待检测车辆的运输状态。
此外，在采用第一样本对运输状态检测模型进行训练时，其生成器也可以采用与运输状态检测模型相同的网络结构，即使用添加了坐标注意力机制和残差连接的MobileNet V2的网络结构。
本发明实施例提供的车辆运输状态检测方法，在运输状态检测模型的网络结构中添加坐标注意力机制和残差连接，提高运输状态检测模型对于方向和位置等信息的敏感程度，能够更多地注意到货箱图像中的细节信息，从而抽象出图像的整体类别信息，提高了运输状态检测模型的学习能力和准确性。
基于上述任一实施例，迁移样本货箱图像是基于如下步骤确定的：
将异常样本货箱图像和正常样本货箱图像输入至图像风格迁移模型，得到图像风格迁移模型输出的迁移样本货箱图像；
其中，图像风格迁移模型包括依次连接的特征编码层、自适应实例正则化层和特征解码层；图像风格迁移模型的损失包括一致损失、内容损失和/或风格损失。
具体地，图像风格迁移模型包括依次连接的特征编码层、自适应实例正则化层和特征解码层。其中，自适应实例正则化层采用AdaIN(adaptive instance normalization)结构，根据异常样本货箱图像中每一通道的像素均值和标准差，对正常样本货箱图像中对应通道的像素均值和标准差进行调整，实现将异常样本货箱图像的风格迁移到正常样本货箱图像中，用公式可以表示为：
式中，x是正常样本货箱图像中任一通道中的值，y是异常样本货箱图像中对应通道中的值，μ(x)为x的均值，μ(y)为y的均值，σ(x)为x的标准差，σ(y)为y的标准差。
在训练图像风格迁移模型时，可以采用一致损失(Identity Loss)、内容损失(Content Loss)和风格损失(Style Loss)。
一致损失，用于当异常样本货箱图像和正常样本货箱图像为同一图像时，计算图像风格迁移模型输出图像与输入图像之间的损失，可以防止图像风格迁移模型在训练过程中出现较大偏差。
内容损失，用于计算迁移样本货箱图像与正常样本货箱图像之间的损失，可以使得图像风格迁移模型在训练过程中尽可能保持更多的细节内容。
风格损失，用于计算迁移样本货箱图像与异常样本货箱图像之间的损失，可以使得图像风格迁移模型在训练过程中尽可能迁移更多的风格特征。
本发明实施例提供的车辆运输状态检测方法，通过图像风格迁移模型将异常样本货箱图像的风格迁移到正常样本货箱图像中，得到迁移样本货箱图像，实现了对异常样本货箱图像的扩充，提高了样本的数据多样性。
基于上述任一实施例，图像风格迁移模型的一致损失是基于如下步骤确定的：
将任一图像同时作为异常样本货箱图像和正常样本货箱图像输入至图像风格迁移模型，得到图像风格迁移模型输出的任一图像对应的迁移图像；
基于任一图像和该图像对应的迁移图像，确定图像风格迁移模型的一致损失。
具体地，可以将任一图像同时作为异常样本货箱图像和正常样本货箱图像输入至图像风格迁移模型，得到图像风格迁移模型输出的改图像对应的迁移图像。任一图像可以从已有的货箱图像中进行选取。
可以根据两张图像的L2范数损失，计算一致损失。例如，根据图像中像素点的像素值，确定图像的L2范数损失，并将两张图像的L2范数损失之差作为一致损失。
此外，还可以根据两张图像中对应像素点的欧式距离确定一致损失。
基于上述任一实施例，图像风格迁移模型的内容损失和风格损失是基于如下步骤确定的：
将自适应实例正则化层输出的特征图和迁移样本货箱图像输入至特征编码层，确定图像风格迁移模型的内容损失；
将异常样本货箱图像和迁移样本货箱图像输入至特征编码层，确定图像风格迁移模型的风格损失。
具体地，图4为本发明提供的图像风格迁移模型的结构示意图，如图4所示，该模型包括特征编码层(Encoder)、自适应实例正则化层(AdaIN)和特征解码层(Decoder)。
自适应实例正则化层输出的特征图为进行风格迁移后的特征图，将该特征图和迁移样本货箱图像输入至特征编码层，可以得到图像风格迁移模型的内容损失。
将异常样本货箱图像和迁移样本货箱图像输入至特征编码层，确定图像风格迁移模型的风格损失。
基于上述任一实施例，基于第一样本和第二样本对初始模型进行交替训练，得到所述运输状态检测模型，之前包括：
对样本货箱图像进行预处理，预处理包括随机旋转、随机裁剪、随机翻转和随机擦除。
具体地，还可以采用预处理，对样本货箱图像进行预处理。随机旋转是指按照随机产生的角度，对样本货箱图像进行旋转。随机裁剪是指随机选择样本货箱图像进行裁剪，调整其大小。随机翻转是指在随机选择样本货箱图像，进行水平翻转。随机擦除是指随机采用多个box，例如bound box和anchor box，对样本货箱图像中的部分内容进行擦除。
基于上述任一实施例，图5为本发明提供的车辆运输状态检测装置的结构示意图，如图5所示，该装置包括：
获取单元510，用于获取待检测车辆的货箱图像；
检测单元520，用于将货箱图像输入至运输状态检测模型，得到运输状态检测模型输出的待检测车辆的运输状态；
其中，运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；迁移样本货箱图像是基于异常样本货箱图像对正常样本货箱图像进行风格迁移后得到的。
本发明实施例提供的车辆运输状态检测装置，通过样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的运输状态检测模型，能够根据待检测车辆的货箱图像，确定待检测车辆的运输状态，通过风格迁移得到的迁移样本货箱图像有效地扩充了样本货箱图像的数量和种类，提高了样本的多样性，通过正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像对初始模型进行训练，提高了运输状态检测模型的学习能力，所得到的运输状态检测模型对于实际检测过程中得到的图像质量较差的货箱图像具有较强的适应能力，能够检测到准确的待检测车辆的运输状态，提高了运输状态检测模型的鲁棒性。
基于上述任一实施例，还包括：
训练单元，用于基于第一样本和第二样本对初始模型进行交替训练，得到运输状态检测模型；
其中，第一样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态构成，第二样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态、异常样本货箱图像和异常样本货箱图像对应的样本运输状态，以及迁移样本货箱图像和迁移样本货箱图像对应的样本运输状态构成。
基于上述任一实施例，训练单元包括：
生成对抗子单元，用于当采用第一样本对初始模型进行训练时，基于正常样本货箱图像和正常样本货箱图像对应的样本运输状态，对由初始模型和生成器构成的生成式对抗网络进行训练；生成器用于基于给定噪声生成假样本，初始模型用于对输入的样本图像进行真伪判断和运输状态检测，输入的样本图像包括正常样本货箱图像和假样本。
基于上述任一实施例，检测单元用于：
将货箱图像输入至运输状态检测模型的特征提取层，得到特征提取层输出的货箱图像特征；
将货箱图像特征输入至运输状态检测模型的坐标注意力层，得到坐标注意力层输出的图像位置增强特征；
将货箱图像输入至运输状态检测模型的残差连接层，得到残差连接层输出的图像表示特征；
将图像位置增强特征和图像表示特征输入至运输状态检测模型的特征融合层，得到特征融合层输出的待检测车辆的运输状态。
基于上述任一实施例，还包括：
迁移单元，用于将异常样本货箱图像和正常样本货箱图像输入至图像风格迁移模型，得到图像风格迁移模型输出的迁移样本货箱图像；
其中，图像风格迁移模型包括依次连接的特征编码层、自适应实例正则化层和特征解码层；图像风格迁移模型的损失包括一致损失、内容损失和/或风格损失。
基于上述任一实施例，迁移单元包括：
一致损失确定子单元，用于将任一图像同时作为异常样本货箱图像和正常样本货箱图像输入至图像风格迁移模型，得到图像风格迁移模型输出的任一图像对应的迁移图像；基于任一图像和任一图像对应的迁移图像，确定图像风格迁移模型的一致损失。
基于上述任一实施例，迁移单元包括：
内容损失确定子单元，用于将迁移样本货箱图像和自适应实例正则化层输出的特征图输入至特征编码层，确定图像风格迁移模型的内容损失；
风格损失确定子单元，用于将异常样本货箱图像和迁移样本货箱图像输入至特征编码层，确定图像风格迁移模型的风格损失。
基于上述任一实施例，图6为本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(Processor)610、通信接口(Communications Interface)620、存储器(Memory)630和通信总线(Communications Bus)640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑命令，以执行如下方法：
获取待检测车辆的货箱图像；将货箱图像输入至运输状态检测模型，得到运输状态检测模型输出的待检测车辆的运输状态；其中，运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；迁移样本货箱图像是基于异常样本货箱图像对正常样本货箱图像进行风格迁移后得到的。
此外，上述的存储器630中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例提供的电子设备中的处理器可以调用存储器中的逻辑指令，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：
获取待检测车辆的货箱图像；将货箱图像输入至运输状态检测模型，得到运输状态检测模型输出的待检测车辆的运输状态；其中，运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；迁移样本货箱图像是基于异常样本货箱图像对正常样本货箱图像进行风格迁移后得到的。
本发明实施例提供的非暂态计算机可读存储介质上存储的计算机程序被执行时，实现上述方法，其具体的实施方式与前述方法实施方式一致，且可以达到相同的有益效果，此处不再赘述。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车辆运输状态检测方法，其特征在于，包括：
获取待检测车辆的货箱图像；
将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态；
其中，所述运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；所述样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；所述迁移样本货箱图像是基于所述异常样本货箱图像对所述正常样本货箱图像进行风格迁移后得到的。
2.根据权利要求1所述的车辆运输状态检测方法，其特征在于，所述运输状态检测模型是基于如下步骤训练得到的：
基于第一样本和第二样本对初始模型进行交替训练，得到所述运输状态检测模型；
其中，所述第一样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态构成，所述第二样本由正常样本货箱图像和正常样本货箱图像对应的样本运输状态、异常样本货箱图像和异常样本货箱图像对应的样本运输状态，以及迁移样本货箱图像和迁移样本货箱图像对应的样本运输状态构成。
3.根据权利要求2所述的车辆运输状态检测方法，其特征在于，所述基于第一样本和第二样本对初始模型进行交替训练，包括：
当采用所述第一样本对初始模型进行训练时，基于正常样本货箱图像和正常样本货箱图像对应的样本运输状态，对由所述初始模型和生成器构成的生成式对抗网络进行训练；
所述生成器用于基于给定噪声生成假样本，所述初始模型用于对输入的样本图像进行真伪判断和运输状态检测，所述输入的样本图像包括所述正常样本货箱图像和所述假样本。
4.根据权利要求1所述的车辆运输状态检测方法，其特征在于，所述将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态，包括：
将所述货箱图像输入至所述运输状态检测模型的特征提取层，得到所述特征提取层输出的货箱图像特征；
将所述货箱图像特征输入至所述运输状态检测模型的坐标注意力层，得到所述坐标注意力层输出的图像位置增强特征；
将所述货箱图像输入至所述运输状态检测模型的残差连接层，得到所述残差连接层输出的图像表示特征；
将所述图像位置增强特征和所述图像表示特征输入至所述运输状态检测模型的特征融合层，得到所述特征融合层输出的所述待检测车辆的运输状态。
5.根据权利要求1至4任一项所述的车辆运输状态检测方法，其特征在于，所述迁移样本货箱图像是基于如下步骤确定的：
将所述异常样本货箱图像和所述正常样本货箱图像输入至图像风格迁移模型，得到所述图像风格迁移模型输出的迁移样本货箱图像；
其中，所述图像风格迁移模型包括依次连接的特征编码层、自适应实例正则化层和特征解码层；所述图像风格迁移模型的损失包括一致损失、内容损失和/或风格损失。
6.根据权利要求5所述的车辆运输状态检测方法，其特征在于，所述图像风格迁移模型的一致损失是基于如下步骤确定的：
将所述任一图像同时作为异常样本货箱图像和正常样本货箱图像输入至所述图像风格迁移模型，得到所述图像风格迁移模型输出的所述任一图像对应的迁移图像；
基于所述任一图像和所述任一图像对应的迁移图像，确定所述图像风格迁移模型的一致损失。
7.根据权利要求5所述的车辆运输状态检测方法，其特征在于，所述图像风格迁移模型的内容损失和风格损失是基于如下步骤确定的：
将所述迁移样本货箱图像和所述自适应实例正则化层输出的特征图输入至所述特征编码层，确定所述图像风格迁移模型的内容损失；
将所述异常样本货箱图像和所述迁移样本货箱图像输入至所述特征编码层，确定所述图像风格迁移模型的风格损失。
8.一种车辆运输状态检测装置，其特征在于，包括：
获取单元，用于获取待检测车辆的货箱图像；
检测单元，用于将所述货箱图像输入至运输状态检测模型，得到所述运输状态检测模型输出的所述待检测车辆的运输状态；
其中，所述运输状态检测模型是基于样本货箱图像，以及样本货箱图像对应的样本运输状态训练得到的；所述样本货箱图像包括正常样本货箱图像、异常样本货箱图像和迁移样本货箱图像；所述迁移样本货箱图像是基于所述异常样本货箱图像对所述正常样本货箱图像进行风格迁移后得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述车辆运输状态检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述车辆运输状态检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111117080.5A CN113947698A (zh) | 2021-09-23 | 2021-09-23 | 车辆运输状态检测方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111117080.5A CN113947698A (zh) | 2021-09-23 | 2021-09-23 | 车辆运输状态检测方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113947698A true CN113947698A (zh) | 2022-01-18 |
Family
ID=79328506
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111117080.5A Pending CN113947698A (zh) | 2021-09-23 | 2021-09-23 | 车辆运输状态检测方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113947698A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| CN109614940A (zh) * | 2018-12-14 | 2019-04-12 | 长沙致天信息科技有限责任公司 | 一种车箱盖的开关状态监测方法和相关装置 |
| CN111079640A (zh) * | 2019-12-09 | 2020-04-28 | 合肥工业大学 | 一种基于自动扩增样本的车型识别方法及系统 |
| KR20200065433A (ko) * | 2018-11-30 | 2020-06-09 | 주식회사 인공지능연구원 | 스타일 변환 모델 및 포토 몽타주 기반 합성 이미지의 스타일 변환 장치 |
| CN111738968A (zh) * | 2020-06-09 | 2020-10-02 | 北京三快在线科技有限公司 | 图像生成模型的训练方法、装置及图像生成方法、装置 |
-
2021
- 2021-09-23 CN CN202111117080.5A patent/CN113947698A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180373999A1 (en) * | 2017-06-26 | 2018-12-27 | Konica Minolta Laboratory U.S.A., Inc. | Targeted data augmentation using neural style transfer |
| KR20200065433A (ko) * | 2018-11-30 | 2020-06-09 | 주식회사 인공지능연구원 | 스타일 변환 모델 및 포토 몽타주 기반 합성 이미지의 스타일 변환 장치 |
| CN109614940A (zh) * | 2018-12-14 | 2019-04-12 | 长沙致天信息科技有限责任公司 | 一种车箱盖的开关状态监测方法和相关装置 |
| CN111079640A (zh) * | 2019-12-09 | 2020-04-28 | 合肥工业大学 | 一种基于自动扩增样本的车型识别方法及系统 |
| CN111738968A (zh) * | 2020-06-09 | 2020-10-02 | 北京三快在线科技有限公司 | 图像生成模型的训练方法、装置及图像生成方法、装置 |
Non-Patent Citations (3)
| Title |
|---|
| QIBIN HOU ET.AL: "Coordinate Attention for Efficient Mobile Network Design", ARXIV:2103.02907V1 [CS.CV], 4 March 2021 (2021-03-04), pages 1 - 5 * |
| 吕昊远 等: "半监督深度学习图像分类方法研究综述", 计算机科学与探索, 23 March 2021 (2021-03-23), pages 7 * |
| 李浩宇: "基于深度学习的快速风格转换算法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, 15 February 2021 (2021-02-15), pages 17 - 18 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112232349B (zh) | 模型训练方法、图像分割方法及装置 | |
| EP3899508A1 (en) | Automated inspection system and associated method for assessing the condition of shipping containers | |
| CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| CN109886210A (zh) | 一种交通图像识别方法、装置、计算机设备和介质 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN107316016A (zh) | 一种基于Hadoop和监控视频流的车辆轨迹统计方法 | |
| CN106951898B (zh) | 一种车辆候选区域推荐方法及系统、电子设备 | |
| CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
| CN117789185B (zh) | 基于深度学习的汽车油孔姿态识别系统及方法 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN111881832A (zh) | 车道目标检测方法、装置、设备及计算机可读存储介质 | |
| CN109916912A (zh) | 一种铁轨扣件病害检测方法及系统 | |
| CN116311212B (zh) | 基于高速摄像机实现运动状态下的船号识别方法及装置 | |
| CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 | |
| CN116630904A (zh) | 融合非临近跳连与多尺度残差结构的小目标车辆检测方法 | |
| CN113947698A (zh) | 车辆运输状态检测方法、装置、电子设备及存储介质 | |
| Noor et al. | Automatic parking slot occupancy detection using Laplacian operator and morphological kernel dilation | |
| CN114550139A (zh) | 车道线检测方法及装置 | |
| CN111401104B (zh) | 分类模型的训练方法、分类方法、装置、设备及存储介质 | |
| Kim et al. | Vessel tracking vision system using a combination of Kaiman filter, Bayesian classification, and adaptive tracking algorithm | |
| CN115376025B (zh) | 一种无人机目标检测方法、系统、设备及存储介质 | |
| US20240249559A1 (en) | Image liveness detection method and device | |
| CN118397602B (zh) | 一种智能路牌识别车载摄像头系统 | |
| CN116486324B (zh) | 一种地铁座位踩踏行为检测方法、装置、设备及存储介质 | |
| CN112733730B (zh) | 采油作业现场吸烟人员识别处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |