CN115797630A - 遮挡车辆图像生成方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种遮挡车辆图像生成方法、装置及电子设备。其中，该方法包括：获取车辆图像与遮挡物图像；依据遮挡物图像，确定粗分割遮挡物图像；确定与粗分割遮挡物图像对应的膨胀边缘区域；确定与膨胀边缘区域对应的三分图，其中，三分图包括前景区域，背景区域与混合像素区域；依据遮挡物图像与三分图，生成细分割遮挡物前景图像；依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像。本发明解决了相关技术中难以生成准确、符合实际的遮挡车辆图像的技术问题。

Description

遮挡车辆图像生成方法、装置及电子设备

技术领域

本发明涉及图像领域，具体而言，涉及一种遮挡车辆图像生成方法、装置及电子设备。

背景技术

如今，人工智能在日常生活中随处可见，无人驾驶，车牌识别，人脸识别等已经成为智慧城市领域的关键技术。人工智能的发展离不开大数据，大部分模型的训练需要基于高质量的数据才可以达到较好的效果。但是，目前很多场景下的数据无法满足训练的需求，数据质量差以及数据标记困难等问题制约着模型性能的提升。

在车牌识别以及自动驾驶等领域，车辆图像的多样性以及质量对模型泛化性的提升至关重要。其中，被遮挡的车辆数据的获取较为困难，车辆遮挡图像是指在不同场景下车辆中的部分区域被遮挡物遮挡的图像，此类图像中的目标会丢失部分特征。由于车辆在不同场景下的遮挡物以及周边环境过于复杂，仅仅通过人工去筛选会耗费大量的人力物力，同时也无法针对各种不同的情景构建合适的数据集。比如，在无牌车识别任务中，车辆的车牌往往容易被各种遮挡物遮挡，导致基于图像或者视频的无牌车识别算法容易对此类图像进行误判，所以有必要针对此类场景，对模型进行优化。但是无牌车的牌照遮挡场景过于复杂，如行人、其他机动车和非机动车的遮挡，恶意遮挡等等。此时，生成所需场景下的被遮挡车辆图像数据，对数据进行扩充可以解决大部分的数据缺乏问题，较大程度提高模型的泛化能力。

目前获取遮挡物的透明前景图像主要是通过语义分割对图像每一个像素进行分类，获取具体的语义区域，如人体，车辆等。但是此类方法需要大量人工标记的数据进行训练，而部分语义的训练图像获取较为困难，如树枝，塑料袋等。导致此类方法存在较大的局限性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种遮挡车辆图像生成方法、装置及电子设备，以至少解决相关技术中难以生成准确、符合实际的遮挡车辆图像的技术问题。

根据本发明实施例的一个方面，提供了一种遮挡车辆图像生成方法，包括：获取车辆图像与遮挡物图像；依据所述遮挡物图像，确定粗分割遮挡物图像；确定与所述粗分割遮挡物图像对应的膨胀边缘区域；确定与所述膨胀边缘区域对应的三分图，其中，所述三分图包括前景区域，背景区域与混合像素区域；依据所述遮挡物图像与所述三分图，生成细分割遮挡物前景图像；依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，所述车辆被遮挡位置坐标为在目标坐标系中的坐标，所述目标坐标系依据所述车辆图像建立。

可选地，所述依据所述遮挡物图像，确定粗分割遮挡物图像，包括：依据显著性目标检测算法提取所述遮挡物图像的图像特征；依据所述图像特征，确定所述粗分割遮挡物图像。

可选地，所述确定与所述粗分割遮挡物图像对应的膨胀边缘区域，包括：依据双线性差值方法上采样所述粗分割遮挡物图像，得到第一子遮挡图像；依据均值法下采样所述第一子遮挡图像，确定所述膨胀边缘区域。

可选地，所述确定与所述膨胀边缘区域对应的三分图，包括：依据区域成长算法，确定与所述膨胀边缘区域对应的去背景图像；依据边缘检测方法，确定与所述膨胀边缘区域对应的混合像素图像；依据最大类间方差算法，确定与所述膨胀边缘区域对应的像素分割图像；依据所述去背景图像，所述混合像素图像，所述像素分割图像以及所述粗分割遮挡物图像，确定所述三分图。

可选地，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之前，还包括：依据目标检测算法确定所述车辆被遮挡位置坐标。

可选地，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，包括：获取随机偏移量；依据所述随机偏移量，所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取所述遮挡车辆图像。

可选地，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之后，还包括：依据所述车辆图像，所述细分割遮挡物前景图像与所述车辆被遮挡位置坐标，确定遮挡物位置标签；依据所述遮挡物位置标签与所述遮挡车辆图像，采用生成器优化所述遮挡车辆图像的色彩参数，得到优化遮挡车辆图像。

根据本发明实施例的一个方面，提供了一种遮挡车辆图像生成装置，包括：第一获取模块，用于获取车辆图像与遮挡物图像；第一确定模块，用于依据所述遮挡物图像，确定粗分割遮挡物图像；第二确定模块，用于确定与所述粗分割遮挡物图像对应的膨胀边缘区域；第三确定模块，用于确定与所述膨胀边缘区域对应的三分图，其中，所述三分图包括前景区域，背景区域与混合像素区域；生成模块，用于依据所述遮挡物图像与所述三分图，生成细分割遮挡物前景图像；第二获取模块，用于依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，所述车辆被遮挡位置坐标为在目标坐标系中的坐标，所述目标坐标系依据所述车辆图像建立。

根据本发明实施例的一个方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现上述任一项所述的遮挡车辆图像生成方法。

根据本发明实施例的一个方面，提供了一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的遮挡车辆图像生成方法。

在本发明实施例中，通过获取车辆图像与遮挡物图像，依据遮挡物图像，确定粗分割遮挡物图像，再确定与粗分割遮挡物图像对应的膨胀边缘区域，确定与膨胀边缘区域对应的三分图，再依据遮挡物图像与三分图，生成细分割遮挡物前景图像，即得到细致的遮挡物分割前景图像。由于得到的是细致的遮挡物分割前景图像，因此依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取到的遮挡车辆图像也是清晰准确、符合实际的，达到获取遮挡车辆图像的目的，进而解决了相关技术中难以生成准确、符合实际的遮挡车辆图像的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的遮挡车辆图像生成方法的流程图；

图2是本发明可选实施方式提供的大体框架流程图；

图3是本发明可选实施方式提供的细分割遮挡物前景图像生成的大致流程图；

图4是本发明可选实施方式提供的生成器优化图像的主要步骤；

图5是根据本发明实施例的遮挡车辆图像生成装置的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释：

Yolov5目标检测方法：YOLO v1之前的RCNN系列目标检测算法，其本质仍是一个分类问题，基本思路是通过滑窗在图像上滑动，遍历完整个图像，分别判断窗口图像的分类，再通过回归方法调整物体精确边框，达到检测和定位的目的。其后改进的fast-RCNN系列在速度上做了提升，基本流程是先通过CNN生成大量的region proposal，即潜在的目标区域，再用另一个CNN去提取该潜在目标区域的特征，进行类别判断。Yolov5是基于Yolov1的改进。

U2-Ne显著性目标检测算法：U2Net是一个两级的嵌入U型网络结构，这是一种新型的网络结构不需要进行预训练，从头训练可以得到很好的结果。这种网络结构实现了在网络层数加深的同时能够保持较高的分辨率。

区域成长算法SRG：区域生长算法(Seeded Region Growing,SRG)，区域生长的基本思想是将具有相似性的像素集合起来构成区域。首先对每个需要分割的区域找出一个种子像素作为生长的奇点，然后将种子像素周围邻域中与种子有相同或相似性质的像素合并到种子像素所在的区域中。而新的像素继续作为种子向四周生长，直到再没有满足条件的像素可以包括进来，一个区域就生长而成了。

边缘检测方法Sobel：索伯算子(sobel operator)常用于边缘检测，在粗精度下，是最常用的边缘检测算子，以广泛应用几十年。

最大类间方差算法OTUS：该方法主要是通过阈值进行前后背景分割，而该方法确定最佳阈值的方法是该值使类间方差最大，它是按图像的灰度特性,将图像分成背景和前景两部分，使类间方差最大的分割意味着错分概率最小。

image matting方法：中文简称抠图技术。会重点优化那些不确定区域。理解一个任务最直接的方式就是看他的评价指标。这真实反映了这个任务的需求。matting有个指标是计算梯度的差异，这个很明显就是在针对那些模糊区域的预测。相较于分割更注重整体，matting可能会更偏向于细节。而且matting一般会提供三元图来指示确定区域，不确定区域。matting输出更像是一个概率图，对应于属于前景的概率。

实施例1

根据本发明实施例，提供了一种遮挡车辆图像生成方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的遮挡车辆图像生成方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，获取车辆图像与遮挡物图像；

在本申请所记载的步骤S102中，车辆图像即为车辆的完整图像，即不被遮挡物遮挡的图像，车辆可以是任意朝向，只要能够完全展示出车辆即可。遮挡物图像即为遮挡物的图像，遮挡物即为可以遮挡车辆的物品，例如，其他车辆，绿植，交通灯杆，等等，在此不做限定。

步骤S104，依据遮挡物图像，确定粗分割遮挡物图像；

在本申请所记载的步骤S104中，粗分割遮挡物图像，可以理解为粗糙的抠图图像，即粗糙的将遮挡物进行抠出的图像。以便对粗分割遮挡物图像，得到细分割遮挡物前景图像。

步骤S106，确定与粗分割遮挡物图像对应的膨胀边缘区域；

在本申请所记载的步骤S106中，确定与粗分割遮挡物图像对应的膨胀边缘区域，能够保证遮挡物能够整体分出，不割裂，避免出现部分扣出，部分残留的不合适的图像。而且能够降低后续不同算法的计算时间,同时减少前景与背景冗余信息的干扰。能够更好地执行本申请所示的方法。

步骤S108，确定与膨胀边缘区域对应的三分图，其中，三分图包括前景区域，背景区域与混合像素区域；

在本申请所记载的步骤S108中，确定与膨胀边缘区域对应的三分图，能够奠定后续精细抠图的基础。

步骤S110，依据遮挡物图像与三分图，生成细分割遮挡物前景图像；

在本申请所记载的步骤S110中，由于三分图包括前景区域，背景区域与混合像素区域，通过不同区域的确定，能够使得后续生成细分割遮挡物前景图像时是考虑了多方面的，是妥善处理得到的，更为精确的图像。

步骤S112，依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，车辆被遮挡位置坐标为在目标坐标系中的坐标，目标坐标系依据车辆图像建立。

在本申请所记载的步骤S112中，达到获取遮挡车辆图像的目的，能够适用于多种场景。

通过上述步骤，通过获取车辆图像与遮挡物图像，依据遮挡物图像，确定粗分割遮挡物图像，再确定与粗分割遮挡物图像对应的膨胀边缘区域，确定与膨胀边缘区域对应的三分图，再依据遮挡物图像与三分图，生成细分割遮挡物前景图像，即得到细致的遮挡物分割前景图像。由于得到的是细致的遮挡物分割前景图像，因此依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取到的遮挡车辆图像也是清晰准确、符合实际的，达到获取遮挡车辆图像的目的，进而解决了相关技术中难以生成准确、符合实际的遮挡车辆图像的技术问题。

作为一种可选的实施例，依据遮挡物图像，确定粗分割遮挡物图像，包括：依据显著性目标检测算法提取遮挡物图像的图像特征；依据图像特征，确定粗分割遮挡物图像。

在该实施例中，采用了显著性目标检测算法提取遮挡物图像的图像特征，因为显著性目标检测算法能够快速有效地提取图像中有用的区域进行进一步分析，能够检测明显遮挡物，并分割该物体的准确区域，因此，适用于确定粗分割遮挡物图像。保证了确定的粗分割遮挡物图像也是准确的。

作为一种可选的实施例，确定与粗分割遮挡物图像对应的膨胀边缘区域，包括：依据双线性差值方法上采样粗分割遮挡物图像，得到第一子遮挡图像；依据均值法下采样第一子遮挡图像，确定膨胀边缘区域。

在该实施例中，依次采用了双线性差值方法上采样以及均值法下采样方法，确定处理膨胀边缘区域。其中，上采样是指放大图像，双线性插值可以很好地对图像进行上采样处理，而且双线性插值是用原图像中4(2*2)个点计算新图像中1个点，效果比最邻近法好，速度比双三次插值快，能够在速度与效果之间达到更好的平衡。下采样可以还原分辨率，通过均值法进行下采样能够很好地进行分辨率的还原，使得最终确定出的膨胀边缘区域是清晰的。

作为一种可选的实施例，确定与膨胀边缘区域对应的三分图，包括：依据区域成长算法，确定与膨胀边缘区域对应的去背景图像；依据边缘检测方法，确定与膨胀边缘区域对应的混合像素图像；依据最大类间方差算法，确定与膨胀边缘区域对应的像素分割图像；依据去背景图像，混合像素图像，像素分割图像以及粗分割遮挡物图像，确定三分图。

在该实施例中，采用不同的算法确定处理确定三分图的不同部分。其中，区域生长算法是一种基于区域的传统图像分割算法。区域生长可以根据预先定义的生长规则将像素或者小区域不断组合为更大区域的过程。具体地，区域生长是从一组初始种子点出发，通过预先定义的区域生长规则，将与种子点性质相似的领域像素不断添加到每个种子点上，并且满足区域生长的终止条件时形成最终生长区域的过程。即可以有效地获取出与膨胀边缘区域对应的去背景图像。边缘检测算法能够检测识别出图像中亮度变化剧烈的像素点构成的集合，因此能够将边缘区域与非边缘区域明显的区分开来，能够更好地确定出与膨胀边缘区域对应的像素分割图像。最大类间方差算法将图像所有像素分为两类，不受图像亮度对比度的影响，因此，能够更好地确定与膨胀边缘区域对应的像素分割图像。在获得上述几种结果后，通过以上对几种结果的线性运算可以准确的获得前景、背景以及混合像素的分类，以此生成三分图。保证了三分图的准确与有效。

作为一种可选的实施例，依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之前，还包括：依据目标检测算法确定车辆被遮挡位置坐标。

在该实施例中，例如，可以基于Yolov5目标检测方法自动定位车辆被遮挡位置，能够使得确定出的车辆被遮挡位置是符合实际的。

作为一种可选的实施例，依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，包括：获取随机偏移量；依据随机偏移量，车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像。

在该实施例中，可以根据需求生成随机偏移量对，车辆图像，细分割遮挡物前景图像记性叠加，获得合成后的遮挡车辆图像。随着偏移量的不同，在生成的遮挡车辆图像用于样本训练时，能够极大地加大样本量，更好地适用于该场景。

作为一种可选的实施例，依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之后，还包括：依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，确定遮挡物位置标签；依据遮挡物位置标签与遮挡车辆图像，采用生成器优化遮挡车辆图像的色彩参数，得到优化遮挡车辆图像。

首先需要说明的是，遮挡物位置标签可以是在依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像的同时确定出的，通过同时确定的方式，能够加快本实施例的进程。在本实施例中，可以将遮挡物位置标签以及合成后的图像输入基于生成对抗网络的图像和谐化算法的生成器，调节遮挡物区域的色彩参数，例如色调，使得色彩变得更为和谐，达到将遮挡物与车辆图像的色彩统一的目的，比如将白天的遮挡物与黑夜的车辆图像进行合成时，使得得到的优化遮挡车辆图像色彩统一，不会由于白天和黑夜的不同有很强的割裂感。通过对车辆遮挡图像中的遮挡物色彩进行和谐化，使遮挡物与车辆色调保持和谐，更接近真实图像的最终的车辆遮挡图像。

基于上述实施例及可选实施例，提供了一种可选实施方式，下面具体说明。

本发明可选实施方式中提供了一种端到端的车辆遮挡图像生成方法，方法只需根据遮挡物图像以及车辆图像就可以端到端的无需人工交互的生成各种场景下的高质量的被遮挡车辆图像。生成的图像可以用于大部分车辆相关数据集构建中，用于提升模型性能。同时此方法对于其他非车辆场景下的图像生成同样适用。

本发明提供一种基于图像合成的被遮挡车辆图像生成方法，图2是本发明可选实施方式提供的大体框架流程图，图3是本发明可选实施方式提供的细分割遮挡物前景图像生成的大致流程图，如图2、3所示，下面对本发明可选实施方式进行介绍：

S1，获取车辆图像与遮挡物图像。

S2，依据显著性目标检测算法提取遮挡物图像的图像特征，依据图像特征，确定粗分割遮挡物图像。

具体地，可以使用U2-Ne显著性目标检测算法，使用编解码器提取遮挡物图像特征，预测显著性值，根据显著性值获取遮挡物粗分割。

S3，依据双线性差值方法上采样粗分割遮挡物图像，得到第一子遮挡图像，依据均值法下采样第一子遮挡图像，确定膨胀边缘区域。

具体地，使用双线性插值方法对图像进行上采样,，进行膨胀腐蚀操作,通过检测前景像素的整体的比例,自动控制膨胀腐蚀内核的大小，再使用均值法进行下采样还原分辨率，确定膨胀边缘区域。

其中膨胀腐蚀内核大小确定公式定义为：

其中I_kernel为内核的维度，max(W,H)为粗分割结果的最长边的像素数，F为粗分割图像中的前景像素数，X为整体图像的像素数，参数β控制膨胀腐蚀的扩张比例。

需要说明的是，获取膨胀边缘区域目的是降低后续不同算法的计算时间,同时减少前景与背景冗余信息的干扰。其计算公式为：

其中，I为单个像素点,A为RGB图像，i,j表示像素点的位置，I(i,j)为I中i行j列位置的像素点的像素值。i,j∈D表示膨胀区域的像素点的集合。i,j∈E表示腐蚀区域像素点的集合。对于RGB三通道图像对所有通道都执行此操作。

S4，确定与膨胀边缘区域对应的三分图。

S4.1，依据区域成长算法SRG，确定与膨胀边缘区域对应的去背景图像；

具体地，获取边缘区域GB之后，使用区域生长算法，将膨胀与腐蚀的膨胀边界作为种子点的预处理集合S_d，但是这种方法获取的种子点过于密集，在低阈值的生长过程中.背景剔除效果较差。这里使用曼哈顿距离对种子点集合S_d进行稀疏处理，其公式定义为：

d(I¹,I²)＝|I¹ _i-I² _j|+|I¹ _i-I² _j|I¹,I²∈S_d;

式中的d(I1,I2)表示I¹与I²两像素点的曼哈顿距离，稀疏后的种子点的集合为S_m。将GB根据种子点集合S_m进行区域生长，实现无交互的剔除背景冗余信息。

S4.2，依据边缘检测方法Sobel，确定与膨胀边缘区域对应的混合像素图像；

具体地，Sobel算子通过计算灰度对图像边缘进行检测，对每个像素分别使用水平和垂直两个卷积算子做卷积运算，两个卷积算子公式如下：

其中A为原图像，G_x与G_y分别为水平和垂直方向的梯度图像。输出时将图像控制为16位符号整形的灰度图像。之后将两方向的梯度进行叠加，再将16位图像转换为8位,获取整体的梯度图像G。梯度叠加公式如下所示：

之后使用非局部平均去噪(Non-Local Means,NML)算法对图像进行去噪,再进行二值化，二值化目的是基于NML去噪结果，将边缘区域与非边缘区域明显的区分开来。二值化的阈值定义为50时可以剔除冗余背景时保留较多的细节,具体公式为：

如果像素点的灰度值G(i,j)大于50就将其置为255，小于等于50的置为0，这时得到的图像Z包含GB图像的前景与透明区域的边界的干扰。

S4.3，依据最大类间方差算法OTUS，确定与膨胀边缘区域对应的像素分割图像；

使用最大类间方差法，假设存在阈值TH将图像所有像素分为两类，分别为小于该阈值的区域D₁和大于该阈值的区域D₂，各区域的灰度均值为m₁、m₂，像素被分为两区域的概率为p₁,p₂。OTSU的阈值选取公式为：

σ²＝p₁p₂(m₁-m₂)²；

将上式中的σ²最大化的阈值即为OTSU阈值。之后就可以通过该阈值对图像进行分割，得到OTSU算法阈值分割后的结果M_O。

S4.4，依据去背景图像，混合像素图像，像素分割图像以及粗分割遮挡物图像，确定三分图。

以上对GB图像的处理获得了通过区域生长方法剔除背景后的图像M_S；以及边缘检测后得到的混合像素区域M_B；以及OTSU算法阈值分割后的结果M_O；将M_S、M_B在M_O以及粗分割结果M的约束下生成三分图，其中M_S与M_O的黑色区域为前景与部分背景，M_B的黑色区域则是边缘混合像素区域。具体公式定义为

T(i,j)＝128 M_B(i,j)＝0,GBM(i,j)＝255；

其中GBM为GB的灰度标签图，白色为前景，黑色为背景,灰色为边界区域。通过以上对几种结果的线性运算可以准确的获得前景、背景以及混合像素的分类，以此生成三分图。生成三分图后选择抠图image matting方法生成精细的透明度遮罩，获取遮挡物透明前景。

S5，将原遮挡物图像和生成的三分图作为输入，通过image matting方法预测前景与背景透明度，获得精细的遮挡物前景。

S6，依据目标检测算法确定车辆被遮挡位置坐标。

具体地，通过目标检测算法检测车辆图像属性，通过逻辑判断车辆被遮挡位置坐标。

S7，获取随机偏移量，依据随机偏移量，车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像。

具体地，根据不同的被遮挡属性以及随机偏移量β得到具体的图像叠加位置，之后根据叠加位置将遮挡物图像与车辆图像叠加，最后获得合成图像。

S8，图4是本发明可选实施方式提供的生成器优化图像的主要步骤，如图4所示，依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，确定遮挡物位置标签，依据遮挡物位置标签与遮挡车辆图像，采用生成器优化遮挡车辆图像的色彩参数，得到优化遮挡车辆图像。

具体地，基于合成后图像使用编码器提取车辆背景图像色彩特征，并依据遮挡物位置标签使用生成器对合成后的图像中的遮挡物区域的色调等属性进行和谐化。解决外观一致性问题，获得较为真实的被遮挡车辆图像。

通过上述可选实施方式，可以达到至少以下几点有益效果：

(1)使用显著性目标检测方法作为粗分割方法，显著性目标检测方法通过检测图像的显著性区域，可以在不局限语义的情况下提取图像中的前景。无需针对不同语义重新训练分割模型，就可以获得较好的效果。

(2)三分图生成算法基于显著性目标检测粗分割结果，使用传统图像处理方法自动生成三分图的，不需要人工制作，达到整个过程端到端的目的。

(3)抠图方法可以预测每一个像素点前景与背景的透明度，生成的透明前景不包含原图的背景干扰，可以完成精细到发丝的抠图效果。在后续的图像合成中可以达到较为真实的效果。

(4)图像和谐化算法可以优化图像的遮挡物与背景的色调差异。使整个图像更接近真实图像，在模型应用的场景中训练提高泛化能力。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。

实施例2

根据本发明实施例，还提供了一种用于实施上述遮挡车辆图像生成方法的装置，图5是根据本发明实施例的遮挡车辆图像生成装置的结构框图，如图5所示，该装置包括：第一获取模块502，第一确定模块504，第二确定模块506，第三确定模块508，生成模块510和第二获取模块512，下面对该装置进行详细说明。

第一获取模块502，用于获取车辆图像与遮挡物图像；第一确定模块504，连接于上述第一获取模块502，用于依据遮挡物图像，确定粗分割遮挡物图像；第二确定模块506，连接于上述第一确定模块504，用于确定与粗分割遮挡物图像对应的膨胀边缘区域；第三确定模块508，连接于上述第二确定模块506，用于确定与膨胀边缘区域对应的三分图，其中，三分图包括前景区域，背景区域与混合像素区域；生成模块510，连接于上述第三确定模块508，用于依据遮挡物图像与三分图，生成细分割遮挡物前景图像；第二获取模块512，连接于上述生成模块510，用于依据车辆图像，细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，车辆被遮挡位置坐标为在目标坐标系中的坐标，目标坐标系依据车辆图像建立。

此处需要说明的是，上述第一获取模块502，第一确定模块504，第二确定模块506，第三确定模块508，生成模块510和第二获取模块512对应于实施遮挡车辆图像生成方法中的步骤S102至步骤S112，多个模块与对应的步骤所实现的实例和应用场景相同，但不限于上述实施例1所公开的内容。

实施例3

根据本发明实施例的另外一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器，其中，处理器被配置为执行指令，以实现上述任一项的遮挡车辆图像生成方法。

实施例4

根据本发明实施例的另外一个方面，还提供了一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项的遮挡车辆图像生成方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种遮挡车辆图像生成方法，其特征在于，包括：

获取车辆图像与遮挡物图像；

依据所述遮挡物图像，确定粗分割遮挡物图像；

确定与所述粗分割遮挡物图像对应的膨胀边缘区域；

确定与所述膨胀边缘区域对应的三分图，其中，所述三分图包括前景区域，背景区域与混合像素区域；

依据所述遮挡物图像与所述三分图，生成细分割遮挡物前景图像；

依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，所述车辆被遮挡位置坐标为在目标坐标系中的坐标，所述目标坐标系依据所述车辆图像建立。

2.根据权利要求1所述的方法，其特征在于，所述依据所述遮挡物图像，确定粗分割遮挡物图像，包括：

依据显著性目标检测算法提取所述遮挡物图像的图像特征；

依据所述图像特征，确定所述粗分割遮挡物图像。

3.根据权利要求1所述的方法，其特征在于，所述确定与所述粗分割遮挡物图像对应的膨胀边缘区域，包括：

依据双线性差值方法上采样所述粗分割遮挡物图像，得到第一子遮挡图像；

依据均值法下采样所述第一子遮挡图像，确定所述膨胀边缘区域。

4.根据权利要求1所述的方法，其特征在于，所述确定与所述膨胀边缘区域对应的三分图，包括：

依据区域成长算法，确定与所述膨胀边缘区域对应的去背景图像；

依据边缘检测方法，确定与所述膨胀边缘区域对应的混合像素图像；

依据最大类间方差算法，确定与所述膨胀边缘区域对应的像素分割图像；

依据所述去背景图像，所述混合像素图像，所述像素分割图像以及所述粗分割遮挡物图像，确定所述三分图。

5.根据权利要求1所述的方法，其特征在于，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之前，还包括：

依据目标检测算法确定所述车辆被遮挡位置坐标。

6.根据权利要求1所述的方法，其特征在于，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，包括：

获取随机偏移量；

依据所述随机偏移量，所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取所述遮挡车辆图像。

7.根据权利要求1至6中任意一项所述的方法，其特征在于，所述依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像之后，还包括：

依据所述车辆图像，所述细分割遮挡物前景图像与所述车辆被遮挡位置坐标，确定遮挡物位置标签；

依据所述遮挡物位置标签与所述遮挡车辆图像，采用生成器优化所述遮挡车辆图像的色彩参数，得到优化遮挡车辆图像。

8.一种遮挡车辆图像生成装置，其特征在于，包括：

第一获取模块，用于获取车辆图像与遮挡物图像；

第一确定模块，用于依据所述遮挡物图像，确定粗分割遮挡物图像；

第二确定模块，用于确定与所述粗分割遮挡物图像对应的膨胀边缘区域；

第三确定模块，用于确定与所述膨胀边缘区域对应的三分图，其中，所述三分图包括前景区域，背景区域与混合像素区域；

生成模块，用于依据所述遮挡物图像与所述三分图，生成细分割遮挡物前景图像；

第二获取模块，用于依据所述车辆图像，所述细分割遮挡物前景图像与车辆被遮挡位置坐标，获取遮挡车辆图像，其中，所述车辆被遮挡位置坐标为在目标坐标系中的坐标，所述目标坐标系依据所述车辆图像建立。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的遮挡车辆图像生成方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至7中任一项所述的遮挡车辆图像生成方法。

Images