CN111242905A - 一种x光样本图像的生成方法、生成设备和存储装置 - Google Patents

Abstract

本申请公开了一种X光样本图像的生成方法、生成设备和存储装置，该X光样本图像的生成方法包括：获取待融合背景图像和包括第一待识别目标的待融合前景图像；从待融合前景图像中获取包含第一待识别目标的第一子前景图像，并从待融合背景图像中抠取与第一子前景图像的尺寸匹配的第一子背景图像；将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像；将第二子背景图像和第二子前景图像进行加权处理，得到第一融合图像；对第一融合图像的像素值取反，得到第二融合图像；利用第二融合图像与待融合背景图像生成用于训练目标识别模型的第一X光样本图像。通过上述方法，本申请为训练目标识别模型提供有效的样本图像。

Description

一种X光样本图像的生成方法、生成设备和存储装置

技术领域

本申请涉及图像处理技术领域，特别是涉及一种X光样本图像的生成方法、生成设备和存储装置。

背景技术

X光图像的成像原理是：X射线对不同物质的穿透能力不同，发生不同程度的衰减，探测器接收到衰减的X射线信号，通过信号处理后转变为图像显示出来。

X光图像和常规图像相差很大：常规图像具备表面纹理信息，X光图像却没有纹理信息，只有物体实物密度信息；常规图像叠加时有遮挡效应，X光图像却具备透视性。因此X光图像目标检测的技术难度不小：一个良好的X光图像目标检测算法离不开构思精巧的深度学习算法框架，也离不开大量有效的X光图像训练样本。虽然投入安防领域使用的X光安检机每天产生大量的X光图像，但其中包含待识别违禁品的正样本图像占比很低且难以筛选，因此构建大量有效的X光图像训练正样本图像组成的训练集存在一定的难度。

发明内容

本申请主要解决的技术问题是提供一种X光样本图像的生成方法、生成设备和存储装置，能够减少生成图像的失真，进而为训练目标识别模型提供有效的样本图像。

为解决上述问题，本申请第一方面提供了一种X光样本图像的生成方法，包括：获取待融合背景图像和包括第一待识别目标的待融合前景图像，其中，所述待融合背景图像和待融合前景图像均为X光图像；从所述待融合前景图像中获取包含所述第一待识别目标的第一子前景图像，并从所述待融合背景图像中抠取与所述第一子前景图像的尺寸匹配的第一子背景图像；将所述第一子背景图像和所述第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像；将所述第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像；对所述第一融合图像的像素值取反，得到第二融合图像；利用所述第二融合图像与所述待融合背景图像生成用于训练目标识别模型的第一X光样本图像。

为解决上述问题，本申请第二方面提供了一种X光样本图像的生成设备，包括相互耦接的处理器和存储器，其中，所述处理器用于执行所述存储器存储的计算机程序以执行如上所述的方法。

为解决上述问题，本申请第三方面提供了一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如上所述的方法。

本申请的有益效果是：在获取待融合背景图像和包括第一待识别目标的待融合前景图像后，可以从待融合前景图像中获取包含第一待识别目标的第一子前景图像，并从待融合背景图像中抠取与第一子前景图像的尺寸匹配的第一子背景图像；然后将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像；然后将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像；在对第一融合图像的像素值取反后，得到第二融合图像。通过将从待融合前景图像中获取到的包含第一待识别目标的第一子前景图像和第一子背景图像的像素值取反，然后再对取反得到的第二子前景图像和第二子背景图像进行加权融合，在对加权融合后得到的第一融合图像的像素值取反，得到第二融合图像，从而使得到的包含第一待识别目标的第二融合图像，避免了传统的加权融合法可能出现的黑团块现象，生成的图像更为逼真；由于待融合背景图像和待融合前景图像均为X光图像，于是可以将第二融合图像贴回待融合背景图像，从而生成用于训练目标识别模型的有效的X光样本图像，得到的X光样本图像更接近真实的图像，可信度高，可以很好地作为训练图像，可以减小人工制造包含第一待识别目标的图像的人力和财力，为增强基于X光图像的目标识别模型的泛化能力提供技术支持。

附图说明

图1是本申请提供的X光样本图像的生成方法一实施例的流程示意图；

图2是图1中步骤S104的具体流程示意图；

图3是本申请提供的X光样本图像的生成方法另一实施例的流程示意图；

图4是图3中步骤S305的具体流程示意图；

图5是本申请提供的X光样本图像的生成方法又一实施例的流程示意图；

图6是本申请提供的X光样本图像的生成设备一实施例的结构示意图；

图7是本申请提供的存储装置一实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

X光图像的获取对基于X光图像的目标识别模型的训练有重要影响，当X光图像训练样本的数量不足时会严重影响模型训练或者导致训练出来的模型泛化程度不够，识别率与准确率不高，特别是在实际的安全检测应用中，其检测结果常常受到检测目标的放置角度、背景环境等外界因素的影响，特别是违禁品常常与材质相近的物品放一起来干扰识别。因此，为了实现准确的目标检测任务，就需要构建大量有效的X光图像训练样本，以保证X光图像训练样本的多样性，从而为基于X光图像的目标识别模型的训练提供条件。请参阅图1，图1是本申请提供的X光样本图像的生成方法一实施例的流程示意图。本实施例的X光样本图像的生成方法包括以下步骤：

步骤S101：获取待融合背景图像和包括第一待识别目标的待融合前景图像，其中，待融合背景图像和待融合前景图像均为X光图像。

以安全检测为例，为了获取有效的X光图像训练样本，需要使得到的X光图像中具有第一待识别目标，其中第一待识别目标为待识别的目标违禁品。因此需要获取待融合背景图像和包括第一待识别目标的待融合前景图像，其中，待融合背景图像和待融合前景图像均为X光图像。例如，待融合背景图像可以来自X光安检机在实际使用过程中所产生的图像，待融合背景图像可以包含各种填充物和箱包组合，箱包包括但不限于手提包、双肩包、单肩包、行李箱、公文包、手提袋等；而第一待识别目标可以为待识别的目标违禁品如刀具、容量大于预设值的液体等，即待融合前景图像为包含待识别的目标违禁品的图像，当然，该融合背景图像中也可能包含一些如上述刀具、液体等违禁品，具体包含内可以实际获取的图像为准。关于待融合前景图像的获取，可以通过收集待识别的目标违禁品，然后以不同的角度和位置放置于X光安检机传送带进行成像，待识别的目标违禁品的成像角度包括但不限于正视、侧视、俯视，目的在于增加第一待识别目标的图像样本的多样性，从而确保各种角度形态的待识别的目标违禁品都能够出现在训练样本中，从而能提高目标识别模型的识别能力。可选地，对每个待识别的目标违禁品可以采集不重复的图像数据N张，N可以取值为任意值，例如为20到30。

步骤S102：从待融合前景图像中获取包含第一待识别目标的第一子前景图像，并从待融合背景图像中抠取与第一子前景图像的尺寸匹配的第一子背景图像。

由于最终作为训练样本的X光图像中具有第一待识别目标，因此需要将待融合前景图像中包含的第一待识别目标融合进待融合背景图像中。于是，可以从待融合前景图像中获取包含第一待识别目标的第一子前景图像，并从待融合背景图像中抠取与第一子前景图像的尺寸匹配的第一子背景图像，后续可以将第一子前景图像与第一子背景图像融合。例如，从待融合前景图像中获取包含第一待识别目标的第一子前景图像，第一子前景图像的宽为Wfi、高为Hfi，而待融合背景图像的宽为Wbi、高为Hbi，其中Wbi>Wfi、Hbi>Hfi，因此，可以从待融合背景图像中选取出宽为Wfi、高为Hfi的第一子背景图像，由于第一子前景图像与第一子背景图像的尺寸相同，因此方便后续融合。

可以理解的是，对于常规图像的融合，采用泊松克隆算法可以充分考虑前景部分和背景部分的梯度场，融合效果很好，然而该算法对于X光图像则融合效果一般，原因在于X光图像的遮挡效应不明显，前景部分受背景部分的影响不大。因此，对于X光图像的融合，本申请可以采用加权融合法来进行，以获取更为逼真的X光图像来作为训练样本。传统的加权融合法并不适用于X光图像。原因在于，每一张图像的RGB通道像素值范围是0到255，像素值小的部分对应浅色内容，像素值大的部分对应深色内容，而相比于常规图像来说，X光图像的颜色更加分明，X光图像中浅色部分和深色部分的占比都比常规图像中浅色部分和深色部分的占比多，X光图像的RGB通道像素值偏大，均值在200左右，因此，若按照传统的加权融合法所合成的X光图像相较于真实图像会出现浅色部分颜色偏浅、深色部分颜色偏深的异常部分，容易产生像素值过大的黑团块，导致合成的X光图像失真明显，不适合作为训练样本。

因此，为了避免采用传统的加权融合法合成X光图像而出现“浅色部分颜色偏浅、深色部分颜色偏深”的问题，本申请采用“先将第一子背景图像和第一子前景图像的像素值取反后再融合，然后将融合之后的图像的像素值再取反”的方式进行图像融合。具体方法如步骤S103至步骤S105。

步骤S103：将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像。

其中，通过将第一子背景图像的像素值取反得到第二子背景图像。例如，第二子背景图像的R通道像素值＝255-第一子背景图像的R通道像素值，第二子背景图像的G通道像素值＝255-第一子背景图像的G通道像素值，第二子背景图像的B通道像素值＝255-第一子背景图像的B通道像素值；通过将第一子前景图像的像素值取反得到第二子前景图像。例如，第二子前景图像的R通道像素值＝255-第一子前景图像的R通道像素值，第二子前景图像的G通道像素值＝255-第一子前景图像的G通道像素值，第二子前景图像的B通道像素值＝255-第一子前景图像的B通道像素值。

步骤S104：将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像。

由于第一子前景图像的尺寸与第一子背景图像的尺寸相匹配，所以第二子背景图像的尺寸与和第二子前景图像的尺寸与相匹配，可以将第二子背景图像和第二子前景图像的对应像素值进行加权处理，进而得到第一融合图像。例如，将第二子背景图像和第二子前景图像中每个对应像素值进行加权求和，作为第一融合图像对应像素点的值。

请参阅图2，图2是图1中步骤S104的具体流程示意图。具体地，上述步骤S104可以包括：

步骤S1041：基于第二子背景图像和第二子前景图像的各基色通道像素值，确定第二子背景图像和第二子前景图像的各基色通道的权重。

其中，基色通道即为R通道、G通道和B通道。

步骤S1042：利用权重对第二子背景图像和第二子前景图像的各基色通道像素值进行加权求和，得到第一融合图像的各基色通道像素值。

可以理解的是，由于作为X光图像的第一子背景图像和第一子前景图像中所包含的浅色背景内容，在经步骤S103取反得到的第二子背景图像和第二子前景图像中已转化为低像素值，故第二子背景图像和第二子前景图像进行融合时，虽然存在遮挡的情况，但遮挡并不明显，因此，可以将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像。具体地例如，得到的第一融合图像中，第一融合图像的R通道像素值＝第二子前景图像的R通道像素值*α+第二子背景图像的R通道像素值*β，第一融合图像的G通道像素值＝第二子前景图像的G通道像素值*α+第二子背景图像的G通道像素值*β，第一融合图像的B通道像素值＝第二子前景图像的B通道像素值*α+第二子背景图像的B通道像素值*β。

在一实施例中，上述的第二子背景图像与第二子前景图像的同一基色通道的权重和大于1。即上述的α和β之和需大于1，若α和β之和等于1，则第一融合图像的颜色偏浅，导致图像失真明显。

另外，考虑到X光图像具备穿透性，透射率低的物质和透射率高的物质重叠时，成像的颜色以透射率低的物质为主，因此α和β并不是固定数值。具体地，上述步骤S1041可以包括：当第二子背景图像的基色通道像素值不大于第二子前景图像的基色通道像素值，则确定第二子背景图像的基色通道的权重小于第二子前景图像的基色通道的权重；当第二子背景图像的基色通道像素值大于第二子前景图像的基色通道像素值，则确定第二子背景图像的基色通道的权重大于第二子前景图像的基色通道的权重。例如，若第二子背景图像的R通道像素值小于或等于第二子前景图像的R通道像素值，则第一融合图像对应像素值以第二子前景图像的像素值为主，则β小于α，此时α取0.8，β取0.5；若第二子背景图像的R通道像素值大于第二子前景图像的R通道像素值，则第一融合图像对应像素值以第二子背景图像的像素值为主，则β大于α，此时α取0.5，β取0.8。

步骤S105：对第一融合图像的像素值取反，得到第二融合图像。

由于步骤S103中将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像，在步骤S104中将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像，因此，将得到的第一融合图像的像素值取反，可以得到第二融合图像，其中，第二融合图像的R通道像素值＝255-第一融合图像的R通道像素值，第二融合图像的G通道像素值＝255-第一融合图像的G通道像素值，第二融合图像的B通道像素值＝255-第一融合图像的B通道像素值。

通过上述的加权融合方式，所得到的第二融合图像具有“像素值相加后颜色加深”的效果，避免了采用传统的加权融合法可能出现的黑团块现象，相比于传统的加权融合法来说更容易合成逼真的X光图像。

步骤S106：利用第二融合图像与待融合背景图像生成用于训练目标识别模型的第一X光样本图像。

第二融合图像为包含第一待识别目标的X光图像，待融合背景图像为X光安检机实际使用过程中产生的图像，将第二融合图像作为前景融合在待融合背景图像中，从而可以得到包含第一待识别目标的第一X光样本图像，这些逼真的第一X光样本图像可以作为训练目标识别模型的训练样本，便于增强基于X光图像的目标识别模型的泛化能力。

本实施例中，通过将从待融合前景图像中获取到的包含第一待识别目标的第一子前景图像的像素值取反，得到第二子前景图像，从待融合背景图像中抠取的与第一子前景图像的尺寸匹配的第一子背景图像的像素值取反，得到第二子背景图像，然后将第二子前景图像作为前景融合在第二子背景图像中，并对融合后得到的第一融合图像的像素值取反，得到第二融合图像，从而使得到的包含第一待识别目标的第二融合图像，避免了传统的加权融合法可能出现的黑团块现象，生成的图像更为逼真；由于待融合背景图像和待融合前景图像均为X光图像，于是可以将第二融合图像贴回待融合背景图像，从而生成用于训练目标识别模型的第一X光样本图像，得到的第一X光样本图像更接近真实的图像，可信度高，可以很好地作为训练图像，可以减小人工制造包含第一待识别目标的图像的人力和财力，为增强基于X光图像的目标识别模型的泛化能力提供技术支持。

请参阅图3，图3是本申请提供的X光样本图像的生成方法另一实施例的流程示意图。本实施例的X光样本图像的生成方法包括以下步骤：

步骤S301：将若干背景图像按照采集设备属性划分至若干背景图像集中，以及将若干前景图像按照采集设备属性划分至若干前景图像集中，其中每个前景图像均设有用于标注第一待识别目标的最小外接框，背景图像若存在第二待识别目标则设有用于标注第二待识别目标的最小外接框。其中，采集设备属性可以包括采集设备的品牌、型号和使用年限中的至少一种。

本实施例中，采集设备为X光安检机，待融合背景图像和待融合前景图像均通过X光安检机生成的，实际上，不同品牌、不同型号、不同使用年限的X光安检机的成像特征不一致、成像大小不一致。例如，如果待融合前景图像来源于某型号的X光安检机A，传送带长100厘米、宽80厘米，成像颜色特点是蓝色和黄色鲜明、整体色调偏亮色；待融合背景图像来源于另一型号的X光安检机B，传送带长65厘米、宽50厘米，传送带面积比X光安检机A小，因此同一物体的成像比X光安检机A的大，成像颜色特点是蓝色和黄色晦暗、整体色调偏暗色。因此在X光图像的融合阶段往往面临不同品牌、不同型号、不同使用年限的X光安检机的图像混合使用的问题，待融合背景图像和待融合前景图像的来源不一致，因此成像特点不一致，若不考虑成像大小和成像颜色的差距而均按照同一种融合方法来合成X光图像则往往导致融合后的X光图像失真严重，利用价值不高。

因此，需要将若干背景图像按照采集设备属性划分至若干背景图像集中，以及将若干前景图像按照采集设备属性划分至若干前景图像集中，其中每个前景图像均设有用于标注第一待识别目标的最小外接框，背景图像若存在第二待识别目标则设有用于标注第二待识别目标的最小外接框。其中，第二待识别目标可以与第一待识别目标为同一种目标或者不同种目标，例如对于违禁品，第一待识别目标为不明液体，第二待识别目标为刀。在一实施例中，首先确定生成X光图像的X光安检机的品牌型号，将X光安检机的品牌型号进行分类标识，然后对每种X光安检机的品牌型号建立数据库，定义为子数据集，记为{图像集合一}、{图像集合二}等；然后清洗并标注每个子数据集，标注类别根据业务需求而定；然后计算所有标注框的面积均值和方差作为表征该子数据集的统计量，{图像集合一}的标注面积均值统计量记为Area_db1_mean，{图像集合二}的标注面积均值统计量记为Area_db2_mean等。而背景图像集和前景图像集均为子数据集；当若干背景图像来自不同品牌、不同型号、不同使用年限的X光安检机，则将它们分类存储，记为{背景图像集一}、{背景图像集二}等，背景图像一定属于某个子数据集风格；同样地，当若干前景图像来自不同品牌、不同型号、不同使用年限的X光安检机，则将它们分类存储，记为{前景图像集一}、{前景图像集二}等，前景图像一定属于某个子数据集风格。

步骤S302：从背景图像集中获取一背景图像作为待融合背景图像，以及从前景图像集中获取一前景图像作为待融合前景图像。

在本实施场景中，本实施方式提供的步骤S302与上一实施方式中的步骤S101基本类似，由于建立的背景图像集和前景图像集，因此，待融合背景图像和待融合前景图像可以分别从背景图像集和前景图像集中获取。

步骤S303：将待融合前景图像的最小外接框部分裁剪得到第一子前景图像。

由于需要从待融合前景图像中提供第一待识别目标以合成X光样本图像，因此，将待融合前景图像的最小外接框部分裁剪得到的第一子前景图像中，第一待识别目标可以作为主要素材进行显示，便于后续进行图像融合。

步骤S304：按照待融合背景图像的源背景图像集的颜色风格，对第一子前景图像进行风格迁移。

如前所述，已有{前景图像集一}，{前景图像集二}等和{背景图像集一}，{背景图像集二}等。针对不同来源数据集颜色风格不一致的问题，即同一物质的明暗各异、色彩各异问题，可以使用风格迁移方法依次转换。具体地，将{前景图像集一}转换为{背景图像集一风格的前景图像集一}、{背景图像集二风格的前景图像集一}，将{前景图像集二}转换为{背景图像集一风格的前景图像集二}、{背景图像集二风格的前景图像集二}。即按照待融合背景图像的源背景图像集的颜色风格，对第一子前景图像进行风格迁移。

步骤S305：按照源背景图像集与待融合前景图像的源前景图像集中的最小外接框面积情况，对第一子前景图像进行尺寸调整。

利用之前记录的前景图像集和背景图像集的所有标注框的面积均值统计量之间的比例关系，转换前景图像集的宽高尺寸，即可以解决针对不同来源数据集尺度不一致的问题。

请参阅图4，图4是图3中步骤S305的具体流程示意图。具体地，上述步骤S305具体包括步骤S3051至步骤S3053：

步骤S3051：统计源背景图像集中所有最小外接框的第一面积均值和源前景图像集中所有最小外接框的第二面积均值。

步骤S3052：将第一面积均值与第二面积均值的商的n次方作为缩放倍数，其中n为0到1之间的数值。

步骤S3053：按照缩放倍数将第一子前景图像的宽和高分别进行缩放。

具体地，以转换得到{背景图像集一风格的前景图像集一}为例：首先计算背景图像集和前景图像集的所有标注框的面积均值统计量之比Area_bg1_mean/Area_fg1_mean，在大数据量的支撑下，可近似认为是背景图像集和前景图像集的图像面积均值之比；因此，将前景图像的宽缩放(Area_bg1_mean/Area_fg1_mean)^0.5倍、将前景图像的高缩放(Area_bg1_mean/Area_fg1_mean)^0.5倍，这样前景图像集一的尺寸就可以适配到背景图像集一。另外，在实际应用中，背景图像和前景图像是随机选择的，对每一张前景图像，按照不同的集合类别，选择经上述手段处理后成像风格和尺寸一致的背景图像。

在同一实施例中，步骤S304和步骤S305未必同时实施，在其他实施例中，可仅包括步骤S304和步骤S305中的一个步骤。

步骤S306：从待融合背景图像中抠取与第一子前景图像的尺寸匹配的第一子背景图像。

步骤S307：将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像。

步骤S308：将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像。

在本实施场景中，本实施方式提供的步骤S306至步骤S308与上一实施方式中的步骤S102至步骤S104基本类似，此处不再赘述。

步骤S309：若第一融合图像存在像素值大于灰阶上限值，则将像素值更改为灰阶上限值或者映射至灰阶上限值之内的数值。

可以理解的是，由于第一融合图像的像素值通过将第二子背景图像和第二子前景图像的像素值进行加权处理而得到，则可能出现第一融合图像存在像素值大于灰阶上限值的情况，但是正常情况下像素值不能大于灰阶上限值，因此，若第一融合图像存在像素值大于灰阶上限值，则将像素值更改为灰阶上限值或者映射至灰阶上限值之内的数值。具体地，若第一融合图像中某通道的像素值超过255，则需要赋值为255或映射到255像素值之内。

步骤S310：对第一融合图像的像素值取反，得到第二融合图像。

步骤S311：利用第二融合图像与待融合背景图像生成用于训练目标识别模型的第一X光样本图像。

在本实施场景中，本实施方式提供的步骤S310和步骤S311与上一实施方式中的步骤S105和步骤S106基本类似，此处不再赘述。

请参阅图5，图5是本申请提供的X光样本图像的生成方法又一实施例的流程示意图。本实施例的X光样本图像的生成方法包括以下步骤：

步骤S501：获取待融合背景图像和包括第一待识别目标的待融合前景图像，其中，待融合背景图像和待融合前景图像均为X光图像。

步骤S502：从待融合前景图像中获取包含第一待识别目标的第一子前景图像。

在本实施场景中，本实施例提供的步骤S501和步骤S502与第一实施例中的步骤S101和步骤S102基本类似，此处不再赘述。

步骤S503：从待融合背景图像中随机抠出与第一子前景图像的尺寸一致的第一子背景图像。

在第一子前景图像与第一子背景图像的尺寸一致时，后续融合较方便，而第一子前景图像主要包含第一待识别目标，因此第一子前景图像的尺寸要小于待融合背景图像的尺寸，故可以从待融合背景图像中随机抠出与第一子前景图像的尺寸一致的第一子背景图像。

步骤S504：利用相同的数据增强参数，对第一子前景图像和第一子背景图像进行数据增强。

为了增强生成X光图像的多样性，需要对第一子前景图像和第一子背景图像做数据增强，包括尺度缩放、加噪、模糊变化、亮度变换、饱和度变换、对比度变换、旋转中的一种或多种组合；且为了保持数据增强的一致性，第一子前景图像和第一子背景图像的数据增强参数需要保持一致。

步骤S505：将第一子背景图像和第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像。

步骤S506：将第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像。

步骤S507：对第一融合图像的像素值取反，得到第二融合图像。

步骤S508：将第二融合图像贴回至被抠取第一子背景图像后的待融合背景图像中，得到第一X光样本图像。

在本实施场景中，本实施例提供的步骤S505至步骤S508与第一实施例中的步骤S103至步骤S106基本类似，此处不再赘述。

步骤S509：将第一X光样本图像和待融合背景图像作为样本对，输入至生成式对抗网络进行训练，得到用于训练目标识别模型的第二X光样本图像。

可以理解的是，融合形成的第一X光样本图像虽然看似逼真，可以作为目标识别模型的有效训练样本，但是多样性有进一步丰富的空间。为了更好地运用第一X光样本图像，可以运用生成对抗网络(GAN,Generative Adversarial Networks)进行训练，以第一X光样本图像和该第一X光样本图像对应的待融合背景图像作为样本对进行训练，即样本对＝{第一X光样本图像I_paste；待融合背景图像I_background}。生成对抗网络可以包括生成器和判别器两部分，通过生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习可以产生相当好的输出。

具体地，生成对抗网络的输入是第一X光样本图像I_paste和待融合背景图像I_background，这里将第一X光样本图像I_paste当作是“真实图像”。在训练阶段，生成器以“真实图像”为目标，以待融合背景图像I_background为输入，生成类似“真实图像”的第二X光样本图像I_generate；判别器则根据“真实图像”判别生成器生成的第二X光样本图像I_generate的真假，二者相互博弈，最终达到平衡状态，即生成器可以得到逼真的第二X光样本图像，判别器无法判断其真假。实际应用过程中，给定一张待融合背景图像并标注待生成第一待识别目标的区域，生成对抗网络可输出一张含此第一待识别目标的第二X光样本图像，第二X光样本图像能以假乱真，用做目标识别模型的训练样本。

可以理解的是，通过图像融合得到的第一X光样本图像以及生成对抗网络得到的第二X光样本图像的样式丰富、形态各异，均可作为基于X光图像的目标识别模型的训练样本。

请参阅图6，图6是本申请提供的X光样本图像的生成设备一实施例的结构示意图。本实施例中的生成设备60包括相互耦接的存储器601和处理器602；存储器601用于存储计算机程序；处理器602用于执行计算机程序，以实现如上所述的X光样本图像的生成方法。

本申请生成设备60实施例中的处理器602实现上述功能的具体过程可参阅上述方法实施例。

请参阅图7，图7是本申请提供的存储装置一实施例的结构示意图。本申请存储装置70中存储能够被处理器运行的计算机程序700，计算机程序700用于实现如上所述的X光样本图像的生成方法。该存储装置70可以是终端中的存储芯片、SD卡等可读写存储的设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、设备和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种X光样本图像的生成方法，其特征在于，包括：

获取待融合背景图像和包括第一待识别目标的待融合前景图像，其中，所述待融合背景图像和待融合前景图像均为X光图像；

从所述待融合前景图像中获取包含所述第一待识别目标的第一子前景图像，并从所述待融合背景图像中抠取与所述第一子前景图像的尺寸匹配的第一子背景图像；

将所述第一子背景图像和所述第一子前景图像的像素值取反，得到第二子背景图像和第二子前景图像；

将所述第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像；

对所述第一融合图像的像素值取反，得到第二融合图像；

利用所述第二融合图像与所述待融合背景图像生成用于训练目标识别模型的第一X光样本图像。

2.根据权利要求1所述的方法，其特征在于，所述将所述第二子背景图像和第二子前景图像的像素值进行加权处理，得到第一融合图像，包括：

基于所述第二子背景图像和第二子前景图像的各基色通道像素值，确定所述第二子背景图像和第二子前景图像的各基色通道的权重；

利用所述权重对所述第二子背景图像和第二子前景图像的各基色通道像素值进行加权求和，得到所述第一融合图像的各基色通道像素值。

3.根据权利要求2所述的方法，其特征在于，所述第二子背景图像与所述第二子前景图像的同一基色通道的权重和大于1；

所述基于所述第二子背景图像和第二子前景图像的各基色通道像素值，确定所述第二子背景图像和第二子前景图像的各基色通道的权重，包括：

当所述第二子背景图像的基色通道像素值不大于所述第二子前景图像的所述基色通道像素值，则确定所述第二子背景图像的所述基色通道的权重小于第二子前景图像的所述基色通道的权重；

当所述第二子背景图像的基色通道像素值大于所述第二子前景图像的所述基色通道像素值，则确定所述第二子背景图像的所述基色通道的权重大于第二子前景图像的所述基色通道的权重。

4.根据权利要求1所述的方法，其特征在于，在所述对所述第一融合图像的像素值取反，得到第二融合图像之前，还包括：

若所述第一融合图像存在像素值大于灰阶上限值，则将所述像素值更改为所述灰阶上限值或者映射至所述灰阶上限值之内的数值。

5.根据权利要求1所述的方法，其特征在于，在所述获取待融合背景图像和包括第一待识别目标的待融合前景图像之前，还包括：

将若干背景图像按照采集设备属性划分至若干背景图像集中，以及将若干前景图像按照采集设备属性划分至若干前景图像集中，其中每个所述前景图像均设有用于标注第一待识别目标的最小外接框，所述背景图像若存在第二待识别目标则设有用于标注第二待识别目标的最小外接框；

所述获取待融合背景图像和包括第一待识别目标的待融合前景图像，包括：

从所述背景图像集中获取一所述背景图像作为所述待融合背景图像，以及从所述前景图像集中获取一所述前景图像作为所述待融合前景图像。

6.根据权利要求5所述的方法，其特征在于，所述采集设备属性包括采集设备的品牌、型号和使用年限中的至少一种；

所述从所述待融合前景图像中获取包含所述第一待识别目标的第一子前景图像，包括：

将所述待融合前景图像的所述最小外接框部分裁剪得到所述第一子前景图像；

在所述从所述待融合背景图像中抠取与所述第一子前景图像的尺寸匹配的第一子背景图像之前，所述方法还包括：

按照待融合背景图像的源背景图像集的颜色风格，对所述第一子前景图像进行风格迁移；和/或

按照所述源背景图像集与所述待融合前景图像的源前景图像集中的最小外接框面积情况，对所述第一子前景图像进行尺寸调整。

7.根据权利要求6所述的方法，其特征在于，所述按照所述源背景图像集与所述待融合前景图像的源前景图像集中的最小外接框面积情况，对所述第一子前景图像进行尺寸调整，包括：

统计所述源背景图像集中所有最小外接框的第一面积均值和所述源前景图像集中所有最小外接框的第二面积均值；

将所述第一面积均值与所述第二面积均值的商的n次方作为缩放倍数，其中n为0到1之间的数值；

按照所述缩放倍数将所述第一子前景图像的宽和高分别进行缩放。

8.根据权利要求1所述的方法，其特征在于，所述从所述待融合背景图像中抠取与所述第一子前景图像的尺寸匹配的第一子背景图像，包括：

从所述待融合背景图像中随机抠出与所述第一子前景图像的尺寸一致的第一子背景图像；

在所述从所述待融合背景图像中抠取与所述第一子前景图像的尺寸匹配的第一子背景图像之后，且在所述将所述第一子背景图像和所述第一子前景图像的像素值取反之前，所述方法还包括：

利用相同的数据增强参数，对所述第一子前景图像和所述第一子背景图像进行数据增强；

所述利用所述第二融合图像与所述待融合背景图像生成用于训练目标识别模型的第一X光样本图像，包括：

将所述第二融合图像贴回至被抠取所述第一子背景图像后的待融合背景图像中，得到所述第一X光样本图像；

在所述利用所述第二融合图像与所述待融合背景图像生成用于训练目标识别模型的第一X光样本图像之后，所述方法还包括：

将所述第一X光样本图像和所述待融合背景图像作为样本对，输入至生成式对抗网络进行训练，得到用于训练所述目标识别模型的第二X光样本图像。

9.一种X光样本图像的生成设备，其特征在于，包括相互耦接的处理器和存储器，其中，

所述处理器用于执行所述存储器存储的计算机程序以执行权利要求1至8任一项所述的方法。

10.一种存储装置，其特征在于，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如权利要求1-8中任一项所述的方法。

Images