CN113592042A - 样本图像生成方法、装置及其相关设备和存储介质 - Google Patents

Abstract

本申请公开了一种样本图像生成方法、生成装置、生成设备和计算机可读存储介质，该方法包括：由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像；利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域；利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域；响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像。通过上述方式，本申请能够保证样本图像真实有效。

Description

样本图像生成方法、装置及其相关设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种样本图像生成方法、生成装置、生成设备和计算机可读存储介质。

背景技术

一个良好的X光图像目标检测算法离不开构思精巧的深度学习算法框架，也离不开大量有效的X光图像训练样本。

目前，常采用图像融合的方式构建X光图像训练集，将包含有待识别物品的图像和不包含待识别物品的图像通过一定的融合技术融合为一张包含待识别物品的正样本图像。但融合过程是随机性的，且后续不对融合得到的正样本图像进行筛选就直接组成训练集对模型进行训练，会影响训练出的模型的识别能力。

发明内容

本申请主要解决的技术问题是提供一种样本图像生成方法、生成装置、生成设备和计算机可读存储介质，能够保证样本图像真实有效。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种样本图像生成方法，该方法包括：由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像；利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域；利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域；响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像。

其中，根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像，包括：调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置；基于融合位置，将待识别物图像和待填充物图像进行融合，得到融合图像。

其中，调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置，包括：获取待识别物掩膜的外接框；调整外接框和待填充物掩膜的位置关系，直至外接框位于待填充物掩膜内，以确定融合位置。

其中，响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像，包括：获取第一融合区域和第二融合区域的明度差值，以及第二融合区域的明度值；响应于明度差值在第一预设区间内且第二融合区域的明度值在第二预设区间内，确定融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求。

其中，在获取第一融合区域和第二融合区域的明度差值，以及第二融合区域的明度值之前，样本图像生成方法还包括：对第一融合区域和第二融合区域进行域变换操作，得到第一融合区域的第一亮度图和第二融合区域的第二亮度图；基于第一亮度图得到第一融合区域的明度值，以及基于第二亮度图得到第二融合区域的明度值。

其中，样本图像生成方法还包括：利用待识别物掩膜对样本图像进行与操作，得到样本图像的融合区域；将样本图像的融合区域的复杂度作为样本图像的复杂度。

其中，将样本图像的融合区域的复杂度作为样本图像的复杂度，包括：对样本图像的融合区域进行边缘检测，得到样本图像的融合区域的水平方向和竖直方向的梯度值；基于水平方向和竖直方向的梯度值，确定样本图像的融合区域的复杂度。

其中，基于水平方向和竖直方向的梯度值，确定样本图像的融合区域的复杂度，包括：获取水平方向的梯度值和竖直方向的梯度值之间的梯度均值；基于梯度均值对应的复杂度，得到样本图像的融合区域的复杂度。

其中，样本图像生成方法还包括：获取样本图像的复杂度；基于不同复杂度的预设分布比例，获得满足复杂度的预设分布比例的多个样本图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种样本图像生成装置，该样本图像生成装置包括：获取模块，用于由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；融合模块，用于根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像；第一处理模块，用于利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域；第二处理模块，利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域；执行模块，用于响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种样本图像生成设备，该样本图像生成设备包括处理器和存储器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的样本图像生成方法。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的样本图像生成方法。

上述方案，根据待识别物掩膜和待填充物掩膜的关系，对待识别物图像和待填充物图像进行融合，以得到融合图像；并对融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度进行判定，以确定融合图像是否可作为样本图像。通过上述方式，能够得到真实有效的样本图像，以使样本图像在后续作为模型的训练样本时，不会对训练出来的模型的能力产生影响，保证模型在真实世界中的泛化能力。

附图说明

图1是本申请提供的样本图像生成方法一实施例的流程示意图；

图2是本申请提供的样本图像生成方法另一实施例的流程示意图；

图3是图2所示步骤S22一实施例的流程示意图；

图4是本申请提供的生成不同复杂程度样本图像一实施例的流程示意图；

图5是图4所示步骤S43一实施例的流程示意图；

图6是本申请提供的样本生成装置一实施例的框架示意图；

图7是本申请提供的样本生成设备一实施例的框架示意图；

图8是本申请提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。

需要说明的是，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

请参阅图1，图1是本申请提供的样本图像生成方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：

步骤S11：由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜。

本实施例的方法用于生成待填充物内部中包含有待识别物的样本图像，本文所述的待识别物可以但不限于刀、枪之类的物品，当然也可以是其他手机、电脑等其他物品；本文所述的待填充物可以但不限于背包、行李箱、手提包等具有容纳空间的物体。

在一实施方式中，可利用阈值法、过滤法或者二值化法等简单的算法对包含有待识别物的待识别物图像和包含有待填充物的待填充物图像进行处理，以获取得到待识别物掩膜和待填充物掩膜。可以理解地，在其他实施方式中，也可以利用语义分割网络模型等深度学习算法对包含有待识别物的待识别物图像和包含有待填充物的待填充物图像进行处理，以获取得到待识别物掩膜和待填充物掩膜。或者，也可利用语义分割网络模型等深度学习算法对待填充物图像进行处理以得到待填充物掩膜，利用阈值法等简单的算法对待识别物图像进行处理以得到待识别物掩膜，可根据实际使用需要选择如何获取待识别物掩膜和待填充物掩膜，在此不做具体限定。

可选地，待填充物图像中可以是仅包括待填充物，也可以同时包括除待填充物以外的其他物品，在此不做具体限定。其中，可以通过电子设备实时拍摄包含有待填充物的照片以作为待填充物图像，也可以直接读取本地存储或云端存储的待填充物图像，在此不做具体限定。

可选地，可设置待识别物图像中仅包含待识别物，一方面，便于对待识别物图像进行处理以得到待识别物掩膜，减少计算量，提高基于待识别物图像得到待识别物掩膜的效率；另一方面，由于本申请的目的是为了生成待填充物内部中包含有待识别物的样本图像，所以实际只要在待填充物图像中的待填充物位置处融合进待识别物图像即可，因此，设置待识别图像中仅包含待识别物，使得待识别物图像和待填充物图像只有在待识别物区域产生融合，避免其余部分相互融合而影响图像的真实性。

在一实施方式中，可将待识别物图像设置为包含待识别物的白底图像，也即，待识别物图像中的目标区域为待识别物，背景区域即为除待识别物以外的其他区域均为白色，由于待识别物不会是纯白色的，所以将待识别物图像设置为包含待识别物的白底图像，便于区分待识别物区域和背景区域，从而便于对待识别物图像进行处理以得到待识别物掩膜，减少计算量，提高基于待识别物图像得到待识别物掩膜的效率。可以理解地，在其他实施方式中，也可将待识别物图像设置为包含待识别物的其他颜色图像，可根据实际使用需要具体设置，在此不做具体限定。

其中，可以通过电子设备实时拍摄包含有待识别物的照片以作为待识别物图像，也可以直接读取本地存储或云端存储的待识别物图像，可根据实际使用需要具体设置，在此不做具体限定。

步骤S12：根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像。

由于融合图像可能会作为训练集对模型进行训练的，使得模型在真实世界中能够很好地泛化，因此要保证融合图像的真实有效性，避免其作为训练集对训练出来的模型的能力产生影响。本实施方式中，为了保证融合图像的真实有效，会根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，以得到融合图像。

举例来说，安检机每天会产生大量的样本图像，但是由于包含有待识别物的正样本图像占比很低，所以需要构建大量的包含待识别物的样本图像。在实际情况中，经过安检机时，待识别物是位于待填充物内部的，例如，小刀是存放在行李箱中，因此在构建安检机的样本图像时，需要在待识别物掩膜位于待填充物掩膜内部这一位置关系的情况下将两图像融合，才能保证融合图像的真实有效。

可选地，可利用加权平均法、羽化算法或者拉普拉斯金宁塔融合算法等将待识别物图像和待填充物图进行融合，以得到融合图像，在此不做具体限定。其中，加权平均算法就是使用加权的方式从左边过渡到右边，算法简单且速度快；羽化算法相较于加权平均法得到的融合图像更加自然；拉普拉斯金宁塔融合算法也称为多分辨率融合算法，具体为将图像建立一个拉普拉斯金字塔，其中，金字塔的每一层都包含了图像的不同频段，分开不同频段对图像进行融合。

步骤S13：利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域。

其中，掩膜就是图像的位运算，通过将位于非感兴趣区域的像素点与0相与，以使位于非感兴趣区域的像素点的像素值转变为0，即用黑色掩盖住非感兴趣区域的原像素点，从而突出感兴趣的图像区域即得到感兴趣的图像区域。

由于本申请是为了将待识别物融合进待填充物的内部，所以只需要关注待填充物图像中的待填充物和待识别物图像中的待识别物的融合关系，而在待填充物和待识别物的融合过程中，实际只有待识别物区域以及待填充物中与待识别物对应的区域产生融合。本实施方式中，利用待识别物掩膜对待识别物图像进行与操作，从而得到待识别物图像中的待识别物区域，待识别物区域即为会与待填充物产生融合的第一融合区域。

具体地，待识别物掩膜图中的待识别物区域（感兴趣区域）为1值，待识别物掩膜图中的剩余区域（非感兴趣区域）为0值，所以将待识别物掩膜与待识别物图像相与时，除待识别物区域以外的区域与0相与，以使除待识别物以外的区域的像素点的像素值转变为0，即除待识别物以外的区域被黑色掩盖，待识别物区域即第一融合区域保留，从而得到待识别物图像中的第一融合区域。

步骤S14：利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域。

由于本申请是为了生成待填充物内部中包含有待识别物的样本图像，所以在待填充物图像中，待填充物实际会与待识别物融合的区域为在待填充物区域中与待识别物区域对应且一致的区域。因此，在本实施方式中，利用待识别物掩膜对待填充物图像进行与操作，从而得到待填充物图像中对应待识别物区域的第二融合区域。

具体地，待识别物掩膜图中的待识别物区域（感兴趣区域）为1值，待识别物掩膜图中的剩余区域（非感兴趣区域）为0值，所以将待识别物掩膜与待填充物图像相与时，除与待识别物对应的区域以外，其他区域与0相与，以使除与待识别物对应的区域以外的其他区域的像素点的像素值转变为0，即除与待识别物对应的区域以外的其他区域被黑色掩盖，待填充物图像中与待识别物区域对应的区域即第二融合区域保留，从而得到待填充物图像中的第二融合区域。

步骤S15：响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像。

本实施方式中，可通过判断融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度是否均满足预设要求，以确定融合图像是否可作为样本图像。也就是说，在待识别物图像和待填充物图像融合后即在待识别物图像中的第一融合区域和待填充物图像中的第二融合区域融合后，融合图像中对应第一融合区域和对应第二融合区域的区域可见程度需要满足预设要求，才能将此满足要求的融合图像作为样本图像，从而保证样本图像的真实有效性，避免其作为训练集对训练出来的模型的能力产生影响。

在一实施方式中，融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求可以是第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间且第二融合区域的明度值在第二预设区间。明度反映出了可见程度，明度越低则可见程度越低，明度越高则可见度越高，第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间且第二融合区域的明度值在第二预设区间，则此时融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，即在第一融合区域和第二融合区域重叠融合部分，肉眼可以分辨出待识别物，也可以分辨出待填充物，保证待识别物的主要特征完全肉眼不可见的情况不发生，同时保证待填充物中任一主要特征完全肉眼不可见的情况不发生。所以，当第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间且第二融合区域的明度值在第二预设区间时，融合图像真实有效，可作为样本图像对模型进行训练。

在其他实施方式中，融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求可以是第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间内；或者也可将两区域明度值之间的其他关系或者其他参数值作为判断可见程度是否满足预设要求的条件，可根据实际使用需要具体设置，在此不做具体限定。

请参阅图2，图2是本申请提供的样本图像生成方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图2所示的流程顺序为限。如图2所示，本实施例中，融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求是第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间且第二融合区域的明度值在第二预设区间，具体包括：

步骤S21：由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜。

步骤S21与步骤S11类似，在此不再赘述。

步骤S22：调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置。

本实施例的方法用于生成待填充物内部中包含有待识别物的样本图像，因此，需要确定融合位置后再对待识别物图像和待填充物图像进行融合，以保证后续对待识别图像和待填充图像融合后得到的融合图像中，待识别物完全被包裹于待填充物之中。本实施方式中，通过调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置。由于待识别物掩膜和待填充物掩膜实际就是代表着待识别物和待填充物，所以在调整待识别物掩膜和待填充物掩膜的位置关系实际就是在调整待识别物和待填充物的位置关系；另外，由于待识别物掩膜和待填充物掩膜分别是隶属于待识别物图像和待填充物图像的，所以在调整待识别物掩膜和待填充物掩膜的位置关系也就是在调整待识别物图像和待填充物图像的位置关系，从而可以确定待识别物图像和待填充物图像的融合位置。

请参阅图3，图3是图2所示步骤S22一实施例的流程示意图，由于待识别物是不规则的，为了能够更快地调整待识别物掩膜位于待填充物掩膜内，在一实施方式中，还可利用待识别物掩膜的外接框确定待识别物图像和待填充物图像的融合位置，具体包括如下子步骤：

步骤S221：获取待识别物掩膜的外接框。

由于待识别物是不规则的，所以待识别物掩膜也是不规则的，因此在调整待识别物掩膜和待填充物掩膜的位置关系时，比较复杂，且计算量较大。本实施方式中，通过获取待识别物掩膜的外接框，通过外接框确定融合位置，外接框是规则的形状，后续能够直观地判断与待填充物掩膜的位置关系，减少了计算量，提升了生成样本图像的效率。

可选地，在一实施方式中，可利用连通域搜索算法获取待识别物掩膜的外接框。其中，连通域搜索算法可以为宽度优先搜索算法（BFS），也可以为深度优先搜索算法（DFS），或者为其他算法，在此不做具体限定。可以理解地，在其他实施方式中，也可利用其他方式获取待识别物掩膜的外接框，可根据实际使用需要具体设置，在此不做具体限定。

步骤S222：调整外接框和待填充物掩膜的位置关系，直至外接框位于待填充物掩膜内，以确定融合位置。

本实施方式中，调整外接框和待填充物掩膜的位置关系，直至外接框位于待填充物掩膜内，从而确定融合位置。也就是说，调整外接框和待填充物掩膜的位置关系，直至外接框的四个顶点全部落在待识别物掩膜内部，此时外接框必定全部落在待识别物掩膜内部。由于外接框的面积大于待识别物掩膜的面积，所以在外接框位于待填充物掩膜内时，待识别物掩膜必定会位于待填充物掩膜内，相比于利用待识别物掩膜确定融合位置，利用待识别物掩膜的外接框能够更加快速且准确地确定融合位置。

步骤S23：基于融合位置，将待识别物图像和待填充物图像进行融合，得到融合图像。

本实施方式中，在确定了融合位置后，将待识别物图像和待填充物图像进行融合，以得到融合图像，且在融合图像中，待识别物完全被包裹于待填充物之中，从而保证融合图像真实有效。但是融合图像是否能够作为样本图像需要进一步地对其的可见程度进行判定。

可选地，可利用加权平均法、羽化算法或者拉普拉斯金宁塔融合算法等将待识别物图像和待填充物图进行融合，以得到融合图像，在此不做具体限定。其中，加权平均算法就是使用加权的方式从左边过渡到右边，算法简单且速度快；羽化算法相较于加权平均法得到的融合图像更加自然；拉普拉斯金宁塔融合算法也称为多分辨率融合算法，具体为将图像建立一个拉普拉斯金字塔，其中，金字塔的每一层都包含了图像的不同频段，分开不同频段对图像进行融合。

步骤S24：利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域。

步骤S24与步骤S13类似，在此不再赘述。

步骤S25：利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域。

步骤S25与步骤S14类似，在此不再赘述。

步骤S26：对第一融合区域和第二融合区域进行域变换操作，得到第一融合区域的第一亮度图和第二融合区域的第二亮度图。

本实施方式中，通过对第一融合区域和第二融合区域进行域变换操作，得到第一融合区域的第一亮度图和第二融合区域的第二亮度图；其中，域变换操作可以是在输入的图像和输出的图像之间进行像素-像素变换，域变换操作就是为了达到某种视觉效果，变换输入图像的像素位置，通过把输入图像的像素位置映射到一个新的位置以达到改变原图像显示效果的目的，域变换操作可以但不限于图像插值、图像缩放、图像旋转、图像剪切等。

在一实施方式中，第一亮度图和第二亮度图为颜色模型特征图。具体地，将第一融合区域和第二融合区域的RGB色域转换为HSV色域，从而得到第一融合区域的第一亮度图和第二融合区域的第二亮度图，也就是说，颜色模型特征图为具有HSV色域的图片，通过颜色模型特征图可更加直观地观察到各像素点的明度等参数。在RGB色域下，只能观察分析到第一融合区域和第二融合区域各像素点的红、绿、蓝三个通道的占比，而将第一融合区域和第二融合区域转换为HSV色域，可更加直观地观察到各像素点的明度等参数信息，也就是说，对第一融合区域和第二融合区域进行域转换，并没有对第一融合区域和第二融合区域进行改变，只是将第一融合区域和第二融合区域中各像素点的亮度信息换了一种表达方式。

步骤S27：基于第一亮度图得到第一融合区域的明度值，以及基于第二亮度图得到第二融合区域的明度值。

由于从第一融合区域的第一亮度图和第二融合区域的第二亮度图中，能够直观地观察到明度等参数信息，所以，本实施方式中，基于第一亮度图能够得到第一融合区域的明度值，以及基于第二亮度图能够得到第二融合区域的明度值。

步骤S28：获取第一融合区域和第二融合区域的明度差值，以及第二融合区域的明度值。

本实施方式中，根据上述获得的第一融合区域的明度值和第二融合区域的明度值，计算得到第一融合区域和第二融合区域的明度差值。

步骤S29：响应于明度差值在第一预设区间内且第二融合区域的明度值在第二预设区间内，确定融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求。

本实施方式中，会判定第一融合区域和第二融合区域的明度差值是否在第一预设区间内以及第二融合区域的明度值是否在第二预设区间内，当第一融合区域的明度值和第二融合区域的明度值之间的差值在第一预设区间且第二融合区域的明度值在第二预设区间时，在第一融合区域和第二融合区域重叠融合部分，肉眼可以分辨出待识别物，也可以分辨出待填充物，保证待识别物的主要特征完全肉眼不可见的情况不发生，同时保证待填充物中任一主要特征完全肉眼不可见的情况不发生。也即，在融合图像中，对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求。此时，可确定满足预设要求的融合图像为真实有效的图像，即可确定满足预设要求的图像为样本图像，可后续用于训练网络模型等。

在一实施方式中，可利用人工标定后训练出来的分类器获取每张融合图像对应的第一预设区间和第二预设区间。具体地，步骤一：获取步骤S23得到的融合图像，可通过不同拍摄角度获取到基于同一待识别物和同一待填充物的多张融合图像；步骤二：计算每张融合图像的亮度差；步骤三：人工判断融合图像中待识别物的主要特征是否肉眼可见以及待填充物的主要特征是否肉眼可见，如若二者均可见，则打上“可见”标签，否则打上“不可见”标签；步骤四：构建分类器，输入为融合图像以及该融合图像对应的标签，输出为对应融合图像标签的预测值，分类器的参数为第一预设区间和第二预设区间（例如，输入为融合图像以及“可见”标签，则输出为融合图像“可见”情况下的第一预设区间和第二预设区间）；步骤五：对分类器进行迭代训练至分类器收敛，以得到真实有效标准下的第一预设区间和第二预设区间。

其中，不同的待识别物与待填充物融合后，融合效果可能会存在不同，所以对于不同的待识别物，需要训练不同的分类器，以获得对应自身的合理的第一预设区间和第二预设区间。

请参阅图4，图4是本申请提供的生成不同复杂程度样本图像一实施例的流程示意图。由于真实世界中待识别物品的识别难易程度存在规律分布，而如果将识别难易程度较大或者比例分布不符合真实世界的规律的样本图像组成训练集对模型的识别能力进行训练，会影响训练出的模型的识别能力，使得模型在真实世界中不能很好地泛化。因此，在一实施方式中，在需要将真实有效的样本图像组成训练集对模型进行训练时，需要对样本图像进行进一步地筛选，以使得筛选出的样本图像的识别难易程度分布比例符合真实规律分布。具体包括如下步骤：

步骤S41：利用待识别物掩膜对样本图像进行与操作，得到样本图像的融合区域。

本实施例是为了构建包含待识别物的真实有效的样本图像，以构成训练模型识别能力的训练集，也就是说，模型是训练出来识别待识别物的，因此对样本图像的识别难易程度即为从样本图像的融合区域识别出待识别物的难易程度。其中，融合区域为待识别物和待填充物实际发生融合的区域，融合区域的复杂度直接影响着从样本图像的融合区域识别出待识别物的难易程度，因此，可通过确定融合区域的复杂度而确定从样本图像中识别待识别物的难易程度，或者说可通过确定融合区域的复杂度而确定样本图像的复杂度。

本实施方式中，利用待识别物掩膜对样本图像进行与操作，得到样本图像的融合区域，以便于后续确定融合区域的复杂度而确定样本图像的复杂度。

在一实施方式中，可利用融合区域的梯度值来表示融合区域的复杂程度，梯度数值反应了图像的复杂程度，梯度数值越大，表明纹理细节越丰富，即图像越复杂。可以理解地，在其他实施方式中，也可利用融合区域的密度值来表示融合区域的复杂度，在此不做具体限定，可根据实际使用具体设置。

在一实施方式中，为了便于后续对融合区域处理以得到梯度值，可在获取融合区域之前，对样本图像进行转灰度处理，或者也可以在获取到样本图像的融合区域后，对融合区域进行转灰度处理。

步骤S42：对样本图像的融合区域进行边缘检测，得到样本图像的融合区域的水平方向和竖直方向的梯度值。

本实施方式中，利用梯度值来表征样本图像的融合区域的复杂度，所以对样本图像的融合区域进行边缘检测，得到样本图像的融合区域的水平方向和竖直方向的梯度值。

在一实施方式中，可利用sober算子对样本图像的融合区域进行边缘检测，以得到水平方向和竖直方向的梯度值。可以理解地，在其他实施方式中，也可利用其他算法获取融合区域的梯度值，在此不做具体限定。

步骤S43：基于水平方向和竖直方向的梯度值，确定样本图像的融合区域的复杂度。

本实施方式中，预先设置有复杂程度对应的阈值范围，以使能够基于水平方向和竖直方向的梯度值和复杂程度的阈值范围确定样本图像的融合区域的复杂程度。在一实施方式中，可预先设置有复杂程度高、复杂程度中等和复杂程度低这三类的阈值范围。可以理解地，在其他实施方式中，也可设置两类、四类或者多类复杂程度以及各自对应的阈值范围，可根据实际使用需要具体设置，在此不做具体限定。

在一实施方式中，可利用人工标定后训练出来的分类器获取复杂程度对应的阈值范围。具体地，步骤一：获取步骤23得到的样本图像多张，多张样本图像基于同一待识别物的；步骤二：计算每张样本图像的复杂程度值即梯度值，人工判断样本图像的复杂程度，在样本图像上对应打上“复杂程度高”、“复杂程度中等”和“复杂程度低”三种标签；步骤三：构建分类器，输入为样本图像的复杂程度值以及对应的“复杂程度高”、“复杂程度中等”和“复杂程度低”三种标签，输出为“复杂程度高”、“复杂程度中等”和“复杂程度低”对应的阈值；步骤四：对分类器进行迭代训练至分类器收敛，以得到真实有效标准下的“复杂程度高”、“复杂程度中等”和“复杂程度低”对应的阈值。

请参阅图5，图5是图4所示步骤S43一实施例的流程示意图。由于样本图像中的融合区域可能呈不规则形状，融合区域的水平方向的梯度值和竖直方向的梯度值可能差异会很大，不利于确定融合区域的复杂程度，所以在一实施方式中，可求取两者的平均值以作为融合区域的最终梯度值。具体包括如下子步骤：

步骤S431：获取水平方向的梯度值和竖直方向的梯度值之间的梯度均值。

本实施方式中，将竖直方向的梯度值和水平方向的梯度值直接相后除以二以得到梯度均值。可以理解地，在其他实施方式中，也可通过加权求平均法对竖直方向的梯度值和水平方向的梯度值进行处理，以得到梯度均值。当然，也可对竖直方向的梯度值和水平方向的梯度值做其他处理，以得到表征融合区域复杂程度的梯度值。

步骤S432：基于梯度均值对应的复杂度，得到样本图像的融合区域的复杂度。

本实施方式中，预先设置有复杂程度对应的阈值范围，以使能够基于梯度均值和复杂程度的阈值范围确定样本图像的融合区域的复杂度。

步骤S44：获取样本图像的复杂度。

本实施方式中，获取样本图像的复杂度，以便于后续筛选构成符合真实分布规律的样本图像集。

步骤S45：基于不同复杂度的预设分布比例，获得满足复杂度的预设分布比例的多个样本图像。

本实施方式中，会根据真实世界的分布规律设置不同复杂度的预设分布比例，并从已有的样本图像中进行筛选，以使筛选出的多个样本图像的复杂度比例满足预设分布比例，从而便于后续构建训练集、测试集等对模型进行训练，保证训练好的模型在真实世界中能够很好地泛化。

请参阅图6，图6是本申请提供的样本生成装置一实施例的框架示意图。样本图像生成装置60包括获取模块61、融合模块62、第一处理模块63、第二处理模块64和执行模块65。获取模块61用于由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；融合模块62用于根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像；第一处理模块63用于利用待识别物掩膜对待识别物图像进行与操作，确定待识别物图像中的第一融合区域；第二处理模块64用于利用待识别物掩膜对待填充物图像进行与操作，确定待填充物图像中的第二融合区域；执行模块65用于响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像。

其中，融合模块62用于根据待识别物掩膜和待填充物掩膜的关系，将待识别物图像和待填充物图像进行融合，得到融合图像，具体包括：调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置；基于融合位置，将待识别物图像和待填充物图像进行融合，得到融合图像。

其中，融合模块62用于调整待识别物掩膜和待填充物掩膜的位置关系，直至待识别物掩膜位于待填充物掩膜内，以确定待识别物图像和待填充物图像的融合位置，包括：获取待识别物掩膜的外接框；调整外接框和待填充物掩膜的位置关系，直至外接框位于待填充物掩膜内，以确定融合位置。

其中，执行模块65用于响应于融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求，确定融合图像为样本图像，包括：获取第一融合区域和第二融合区域的明度差值，以及第二融合区域的明度值；响应于明度差值在第一预设区间内且第二融合区域的明度值在第二预设区间内，确定融合图像中对应第一融合区域的可见程度和对应第二融合区域的可见程度满足预设要求。

其中，执行模块65用于在获取第一融合区域和第二融合区域的明度差值，以及第二融合区域的明度值之前，具体还包括：对第一融合区域和第二融合区域进行域变换操作，得到第一融合区域的第一亮度图和第二融合区域的第二亮度图；基于第一亮度图得到第一融合区域的明度值，以及基于第二亮度图得到第二融合区域的明度值。

其中，样本图像生成装置60还包括第三处理模块66，第三处理模块66用于利用待识别物掩膜对样本图像进行与操作，得到样本图像的融合区域；将样本图像的融合区域的复杂度作为样本图像的复杂度。

其中，第三处理模块66用于将样本图像的融合区域的复杂度作为样本图像的复杂度，具体包括：对样本图像的融合区域进行边缘检测，得到样本图像的融合区域的水平方向和竖直方向的梯度值；基于水平方向和竖直方向的梯度值，确定样本图像的融合区域的复杂度。

其中，第三处理模块66用于基于水平方向和竖直方向的梯度值，确定样本图像的融合区域的复杂度，具体包括：获取水平方向的梯度值和竖直方向的梯度值之间的梯度均值；基于梯度均值对应的复杂度，得到样本图像的融合区域的复杂度。

其中，获取模块61还用于获取样本图像的复杂度；基于不同复杂度的预设分布比例，获得满足复杂度的预设分布比例的多个样本图像。

请参阅图7，图7是本申请提供的样本图像生成设备一实施例的框架示意图。样本图像生成设备70包括相互耦接的存储器71和处理器72，存储器71中存储有程序指令，处理器72用于执行程序指令以实现上述任一样本图像生成方法实施例中的步骤。具体地，样本图像生成设备70可以包括但不限于：台式计算机、笔记本电脑、服务器、手机、平板电脑等等，在此不做限定。

具体而言，处理器72用于控制其自身以及存储器71以实现上述任一样本图像生成方法实施例中的步骤。处理器72还可以称为CPU（Central Processing Unit，中央处理单元）。处理器72可能是一种集成电路芯片，具有信号的处理能力。处理器72还可以是通用处理器、数字信号处理器（Digital Signal Processor, DSP）、专用集成电路（ApplicationSpecific Integrated Circuit, ASIC）、现场可编程门阵列（Field-Programmable GateArray, FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器72可以由集成电路芯片共同实现。

请参阅图8，图8是本申请提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质80存储有能够被处理器运行的程序指令81，程序指令81用于实现上述任一样本图像生成方法实施例中的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种样本图像生成方法，其特征在于，所述方法包括：

由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；

根据所述待识别物掩膜和所述待填充物掩膜的关系，将所述待识别物图像和所述待填充物图像进行融合，得到融合图像；

利用所述待识别物掩膜对所述待识别物图像进行与操作，确定所述待识别物图像中的第一融合区域；

利用所述待识别物掩膜对所述待填充物图像进行与操作，确定所述待填充物图像中的第二融合区域；

响应于所述融合图像中对应所述第一融合区域的可见程度和对应所述第二融合区域的可见程度满足预设要求，确定所述融合图像为样本图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述待识别物掩膜和所述待填充物掩膜的关系，将所述待识别物图像和所述待填充物图像进行融合，得到融合图像，包括：

调整所述待识别物掩膜和所述待填充物掩膜的位置关系，直至所述待识别物掩膜位于所述待填充物掩膜内，以确定所述待识别物图像和所述待填充物图像的融合位置；

基于所述融合位置，将所述待识别物图像和所述待填充物图像进行融合，得到所述融合图像。

3.根据权利要求2所述的方法，其特征在于，所述调整所述待识别物掩膜和所述待填充物掩膜的位置关系，直至所述待识别物掩膜位于所述待填充物掩膜内，以确定所述待识别物图像和所述待填充物图像的融合位置，包括：

获取所述待识别物掩膜的外接框；

调整所述外接框和所述待填充物掩膜的位置关系，直至所述外接框位于所述待填充物掩膜内，以确定所述融合位置。

4.根据权利要求1所述的方法，其特征在于，所述响应于所述融合图像中对应所述第一融合区域的可见程度和对应所述第二融合区域的可见程度满足预设要求，确定所述融合图像为样本图像，包括：

获取所述第一融合区域和所述第二融合区域的明度差值，以及所述第二融合区域的明度值；

响应于所述明度差值在第一预设区间内且所述第二融合区域的明度值在第二预设区间内，确定所述融合图像中对应所述第一融合区域的可见程度和对应所述第二融合区域的可见程度满足预设要求。

5.根据权利要求4所述的方法，其特征在于，在所述获取所述第一融合区域和所述第二融合区域的明度差值，以及所述第二融合区域的明度值之前，所述方法还包括：

对所述第一融合区域和所述第二融合区域进行域变换操作，得到所述第一融合区域的第一亮度图和所述第二融合区域的第二亮度图；

基于所述第一亮度图得到所述第一融合区域的明度值，以及基于所述第二亮度图得到所述第二融合区域的明度值。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

利用所述待识别物掩膜对所述样本图像进行与操作，得到所述样本图像的融合区域；

将所述样本图像的融合区域的复杂度作为所述样本图像的复杂度。

7.根据权利要求6所述的方法，其特征在于，所述将所述样本图像的融合区域的复杂度作为所述样本图像的复杂度，包括：

对所述样本图像的融合区域进行边缘检测，得到所述样本图像的融合区域的水平方向和竖直方向的梯度值；

基于所述水平方向和竖直方向的梯度值，确定所述样本图像的融合区域的复杂度。

8.根据权利要求7所述的方法，其特征在于，所述基于所述水平方向和竖直方向的梯度值，确定所述样本图像的融合区域的复杂度，包括：

获取所述水平方向的梯度值和所述竖直方向的梯度值之间的梯度均值；

基于所述梯度均值对应的复杂度，得到所述样本图像的融合区域的复杂度。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述样本图像的复杂度；

基于不同复杂度的预设分布比例，获得满足所述复杂度的预设分布比例的多个所述样本图像。

10.一种样本图像生成装置，其特征在于，所述样本图像生成装置包括：

获取模块，用于由待识别物图像获取待识别物掩膜，由待填充物图像获取待填充物掩膜；

融合模块，用于根据所述待识别物掩膜和所述待填充物掩膜的关系，将所述待识别物图像和所述待填充物图像进行融合，得到融合图像；

第一处理模块，用于利用所述待识别物掩膜对所述待识别物图像进行与操作，确定所述待识别物图像中的第一融合区域；

第二处理模块，用于利用所述待识别物掩膜对所述待填充物图像进行与操作，确定所述待填充物图像中的第二融合区域；

执行模块，用于响应于所述融合图像中对应所述第一融合区域的可见程度和对应所述第二融合区域的可见程度满足预设要求，确定所述融合图像为样本图像。

11.一种样本图像生成设备，其特征在于，所述样本图像生成设备包括处理器和存储器，所述存储器存储有程序指令，所述处理器用于执行所述程序指令以实现如权利要求1-9中任一项所述的样本图像生成方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序指令，所述程序指令能够被执行以实现如权利要求1-9中任一项所述的样本图像生成方法。

Images