CN117523341A - 一种深度学习训练图像样本的生成方法、装置及设备 - Google Patents
一种深度学习训练图像样本的生成方法、装置及设备 Download PDFInfo
- Publication number
- CN117523341A CN117523341A CN202311573010.XA CN202311573010A CN117523341A CN 117523341 A CN117523341 A CN 117523341A CN 202311573010 A CN202311573010 A CN 202311573010A CN 117523341 A CN117523341 A CN 117523341A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- fusion
- foreground
- fused
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 title claims abstract description 68
- 238000013135 deep learning Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 claims abstract description 218
- 239000011159 matrix material Substances 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 8
- 230000007547 defect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 238000007500 overflow downdraw method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005215 recombination Methods 0.000 description 2
- 230000006798 recombination Effects 0.000 description 2
- 101100447328 Corynebacterium glutamicum (strain ATCC 13032 / DSM 20300 / BCRC 11384 / JCM 1318 / LMG 3730 / NCIMB 10025) ftsQ gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种深度学习训练图像样本的生成方法、装置及设备，所述方法包括：获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。本发明的方案可以基于图像融合实现数据构建与增强，在有限的样本基础上，实现多数量、多种类目标平滑融合于不同背景上，快速规模化生成数据增强图像样本。
Description
技术领域
本发明涉及数字图像融合处理技术领域，特别是一种深度学习训练图像样本的生成方法、装置及设备。
背景技术
深度学习网络模型依赖于大量的训练样本，现有的公开数据集难以满足针对特定目标和特定场景的模型训练需求。对于只能获取极少数图像的稀缺性目标，或受限于采样环境采样成本等客观条件只能获取小批量样本集的情况，需要在有限的图像基础上进行样本数据的构建与增强，以获得足量的数据样本，快速实现稳定有效的目标识别能力。
部分深度学习网络模型配置的旋转、变换、缩放等图像处理方法具有一定的样本增强效果，但仍无法有效解决训练样本数量不足、样本背景场景单一带来的模型鲁棒性泛化性不足的问题。
图像融合方法生成训练图像样本是提高样本多样性的一种重要方法。现有的基于简单插值算法的图像融合会产生不连续、模糊等缺陷；基于Alpha Blending算法的图层叠加可以获得自然的融合效果，但需要对不规则的目标边界进行精确的前处理，耗时较大。上述方法在图像的生成质量和效率上存在明显缺陷，难以满足深度学习网络训练对于样本画质和数量的需求。
发明内容
本发明要解决的技术问题是提供一种深度学习训练图像样本的生成方法、装置及设备，解决深度学习网络模型训练过程中样本需求量较大，而现有图像融合方法存在的图像质量差、生成效率低的问题，为深度学习网络模型训练提供有效的数据支撑。
为解决上述技术问题，本发明的技术方案如下：
一种深度学习训练图像样本的生成方法，包括：
获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；
根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；
获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；
根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
可选的，获取目标前景图像和目标背景图像，包括：
获取包括深度学习训练目标的原始图像，和与所述训练目标相关的目标背景图像；
框选所述原始图像中的目标区域，标记类别信息，得到目标区域的归一化像素坐标信息；
将所述归一化像素坐标信息转换为原始图像上的真实坐标信息；
根据所述真实坐标信息对原始图像进行裁剪，得到目标前景图像。
可选的，根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置，包括：
根据所述目标前景图像和目标背景图像的协调关系，当所述目标前景图像在目标背景图像中有指定位置时，将所述指定位置确定为融合位置；
当所述目标前景图像和目标背景图像没有指定位置时，确定融合区域限制条件；
根据所述融合区域限制条件，得到融合偏移范围；
在所述融合偏移范围中选取随机数，将所述随机数确定为目标前景图像偏移量；
根据所述目标前景图像偏移量，得到融合位置。
可选的，根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像，包括：
将所述目标前景图像和目标背景图像的融合梯度场确定为引导场；
根据所述引导场，确定融合条件；所述融合条件包括：所述引导场与融合位置待求解像素值的梯度差最小、融合边界位置融合区域待求解像素值和目标背景图像像素值相等；
根据所述融合条件，确定模型
将所述模型进行转化，得到目标方程Δf＝div v overΩ,
对所述目标方程离散化求解，得到融合位置像素值；
根据所述像素值，得到初步融合图像；
其中，Ω是融合后背景图像被前景图像的覆盖区域、是Ω的边界、f是融合图像在Ω内的像素值函数、f*是融合图像在Ω外的像素值函数、/>是图像函数的梯度、Δf是Ω区域的散度、v是引导场、div v是引导场的散度。
可选的，对所述目标方程离散化求解，得到融合位置像素值，包括：
根据像素点的散度值与像素点周围四个点的像素值相关，对目标方程离散化，得到方程组Af＝b，其中，A是系数矩阵、b是引导场的散度向量；
获取目标前景图像和目标背景图像的梯度场，用目标前景图像的梯度场置换同位置的目标背景图像梯度场以构建获得融合梯度场，根据所述融合梯度场，得到散度b；
根据融合条件，对非边界点进行卷积，得到系数矩阵A；
根据所述方程组Af＝b、散度b和系数矩阵A，得到融合位置像素值。
可选的，获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比，包括：
获取目标前景图像和N个已融合的前景图像的像素坐标；
根据所述像素坐标，得到目标前景图像的面积、N个已融合的前景图像的面积和目标前景图像与N个已融合的前景图像的交叉面积；
根据所述图像面积以及交叉面积，得到目标前景图像和N个已融合的前景图像的交并比。
可选的，根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本，包括：
当所述交并比大于等于预设值时，将目标前景图像与目标背景图像的融合确定为无效交叉融合，并删除所述无效交叉融合；
当所述交并比小于预设值，且融合的前景图像的数量达到预设值时，将所述融合图像数据保存，得到目标训练图像样本。
本发明还提供一种深度学习训练图像样本的生成装置，包括：
获取模块，用于获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
生成模块，用于根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
本发明还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。
本发明还提供一种计算机可读存储介质，存储指令，当所述指令在计算机上运行时，使得计算机执行如上述的方法。
本发明的上述方案至少包括以下有益效果：
本发明的上述方案，通过获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。可以基于图像融合实现数据构建与增强，在有限的样本基础上，实现多数量、多种类目标平滑融合于不同背景上，快速规模化生成数据增强图像样本。
附图说明
图1是本发明实施例的深度学习训练图像样本的生成方法的流程示意图；
图2是本发明实施例的深度学习训练图像样本的生成方法的第一图像融合区域示意图；
图3是本发明实施例的深度学习训练图像样本的生成方法的第二图像融合区域示意图；
图4是本发明实施例的深度学习训练图像样本的生成方法的第三图像融合区域示意图；
图5是本发明实施例的深度学习训练图像样本的生成方法的目标方程求解流程示意图；
图6是本发明实施例的深度学习训练图像样本的生成方法的实施例图像像素分布示意图；
图7是本发明实施例的深度学习训练图像样本的生成方法的总体流程示意图；
图8是本发明实施例的深度学习训练图像样本的生成装置的结构图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
如图1所示，本发明的实施例提出一种深度学习训练图像样本的生成方法，包括：
步骤11，获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
步骤12，根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；
步骤13，根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；
步骤14，获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；
步骤15，根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
本实施例中，所述训练图像样本的生成方法对获取到的目标前景图像和目标背景图像进行融合，融合过程中首先确定融合位置，然后根据融合位置确定两个图像交接位置的像素值，得到初步融合图像。由于所述目标背景图像中可能包括一些之前已经融合的前景图像，因此得到初步融合图像后进一步确定目标前景图像和之前已融合的前景图像的交并比，在所述交并比小于预设值时得到目标训练图像样本。
本发明的上述方法，相比深度学习网络模型内置的数据增强方法，本发明通过将多目标样本与不同背景图像进行自然融合的方法来实现数据增强，显著提高了样本多样性；本发明基于少量样本图像生成批量融合样本，大大减少了图像采样工作，具有低成本特点；相比传统差值融合方法，本发明对于融合边界的处理更加平滑自然，有效避免了融合图像不连续、模糊的缺陷；与Alpha Blending方法相比，不需要按照目标轮廓进行图像的精确前处理，大大简化了处理过程；本发明借助数字化图像处理技术进行图像融合，可实现自动化的目标信息标记与数据保存，具有高效的特点。
本发明一可选的实施例中，步骤11获取目标前景图像和目标背景图像，包括：
步骤111，获取包括深度学习训练目标的原始图像，和与所述训练目标相关的目标背景图像；
步骤112，框选所述原始图像中的目标区域，标记类别信息，得到目标区域的归一化像素坐标信息；
步骤113，将所述归一化像素坐标信息转换为原始图像上的真实坐标信息；
步骤114，根据所述真实坐标信息对原始图像进行裁剪，得到目标前景图像。
本实施例中，首先获取包括深度学习训练目标的原始图像，然后借助数字图像标记技术，框选原始图像中的目标区域，标记类别信息，得到归一化的目标区域中心点像素坐标和矩形框的宽度高度数据，分别记录为cls、cx、cy、ww、hh，其中cls是类别信息、cx是目标区域中心点像素横坐标、cy是目标区域中心点像素纵坐标、ww是目标区域宽度、hh是目标区域高度。
由于上述框选得到的目标区域坐标信息为归一化的像素坐标信息，因此要将其归一化的坐标信息转换为真实比例上的坐标信息。依照转化后的坐标信息，对原始图像进行裁剪，获得融合需要的目标前景图像，坐标转换关系如下：
(left1,top1)＝(int((cx-ww/2)*w)+1,int((cy-hh/2)*h)+1)
(right2,bottom2)＝(int((cx+ww/2)*w)+1,int((cy+hh/2)*h)+1)
其中，(left1,top1)是真实比例上的左上角像素坐标、(right2,bottom2)是真实比例上的右下角像素坐标、int是数值取整、w是原始图像的像素宽度、h是原始图像的像素高度。
在得到目标前景图像后，依据训练目标的出现场景和自然环境等因素获取相关的图像，作为融合的目标背景图像。需要说明的是，所述目标背景图像的像素值要大于所述目标前景图像的像素值。
本发明一可选的实施例中，步骤12，根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置，包括：
步骤121，根据所述目标前景图像和目标背景图像的协调关系，当所述目标前景图像在目标背景图像中有指定位置时，将所述指定位置确定为融合位置；
步骤122，当所述目标前景图像和目标背景图像没有指定位置时，确定融合区域限制条件；
步骤123，根据所述融合区域限制条件，得到融合偏移范围；
步骤124，在所述融合偏移范围中选取随机数，将所述随机数确定为目标前景图像偏移量；
步骤125，根据所述目标前景图像偏移量，得到融合位置。
本实施例中，根据目标前景图像和目标背景图像的协调关系，目标前景图像和目标背景图像的融合可分为定点融合和非定点融合。对于定点融合，适用于将字符信息融合于目标背景图像的指定位置等应用场景。此种融合情况下目标前景图像在目标背景图像中有指定位置。
对于非定点融合，适用于：1、以水平视角的天空海面为背景，以海面上的目标为前景的图像融合，其融合区域限定在画幅范围内的海面区域；此种融合情况下目标前景图像在目标背景图像中没有指定位置，但是有一个融合的区域范围；2、以垂直视角的全海面为背景，以海面上的目标为前景的图像融合，其融合区域在画幅范围内不受限制，等等应用场景。
对于定点融合，提前计算出指定融合位置的坐标值，并将该位置坐标值赋给目标前景图像的位置坐标。
对于非定点融合，根据融合区域限制条件，确定融合偏移范围。通过在该融合偏移范围内生成随机数的形式，给出目标前景图像的位置偏移量，实现目标前景图像在融合区域内的随机多次融合。
如果目标前景图像在目标背景图像中只受到目标背景图像的边界限制，则目标前景图像的横纵向坐标偏移范围为(0，w背-w前)、(0，h背-h前)。
其中，w前、h前、w背、h背分别为目标前景图像和目标背景图像的像素宽和高。
在偏移范围内取随机数Δw、Δh作为目标前景图像的偏移量，则获得目标前景图像融合位置的中心点坐标为(w前/2+Δw，h前/2+Δh)。
如果目标前景图像在目标背景图像中除了边界限制外还受其他融合区域限制，则根据其他限制条件确定融合偏移范围。需要说明的是，在数字图像处理中，默认图像左上角为坐标原点，分别取向右和向下作为横纵坐标的正方向。
如图2、图3和图4所示，本发明一可选的实施例中，步骤13，根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像，包括：
步骤131，将所述目标前景图像和目标背景图像的融合梯度场确定为引导场；
步骤132，根据所述引导场，确定融合条件；所述融合条件包括：所述引导场与融合位置待求解像素值的梯度差最小、融合边界位置融合区域待求解像素值和目标背景图像像素值相等；
步骤133，根据所述融合条件，确定模型
步骤134，将所述模型进行转化，得到目标方程
步骤135，对所述目标方程离散化求解，得到融合位置像素值；
步骤136，根据所述像素值，得到初步融合图像；
其中，Ω是融合后背景图像被前景图像的覆盖区域、是Ω的边界、f是融合图像在Ω内的像素值函数、f*是融合图像在Ω外的像素值函数、/>是图像函数的梯度、Δf是Ω区域的散度、v是引导场、div v是引导场的散度。
本实施例中，为保证图像融合效果，需要满足两个基本的条件：目标前景图像相比于目标背景图像需要尽量平滑；在融合边界位置，目标前景图像和目标背景图像的像素值相等，保持边界一致。
为了保证平滑，引入前景图像与背景图像的融合梯度场作为引导场来改善图像不连续、模糊的缺陷，同时根据边界位置像素值相等的边界一致性条件，构建目标方程，求解目标方程以获得融合位置的像素值，从而完成图像融合。
具体包括：
本方法的核心思想是让目标背景图像在融合部分根据目标前景图像的引导场生长出新的图像。由此，以引导场与融合位置待求解像素值的梯度差最小化构建模型，并结合融合边界条件，如下：
上述模型的解等价于如下目标方程的解：
将上述目标方程离散化，求解融合边界位置的像素值，得到初步融合图像。
本发明一可选的实施例中，步骤133，对所述目标方程离散化求解，得到融合位置像素值，包括：
步骤1331，根据像素点的散度值与像素点周围四个点的像素值相关，对目标方程离散化，得到方程组Af＝b，其中，A是系数矩阵、b是引导场的散度向量；
步骤1332，获取目标前景图像和目标背景图像的梯度场，用目标前景图像的梯度场置换同位置的目标背景图像梯度场以构建获得融合梯度场，根据所述融合梯度场，得到散度b；
步骤1333，根据融合条件，对非边界点进行卷积，得到系数矩阵A；
步骤1334，根据所述方程组Af＝b、散度b和系数矩阵A，得到融合位置像素值。
如图5所示，本实施例中，由于像素值属于离散变量，目标方程求解前需要对其进行离散化处理。
特别地，对于离散化的像素矩阵，某个像素点的散度值与周围上下左右4个点的像素值相关，即可通过预设卷积核与对应区域位置像素值进行卷积得到该点散度。对像素矩阵进行遍历卷积获得每个点的散度值，该过程可以等效写成某系数矩阵A与像素值f乘积的形式，即融合区域的散度值为Af。
引导场的散度值可通过已知的引导场像素得到，记作向量b。
因此，离散后的目标方程可以表达成方程组：Af＝b。
其中，预设卷积核为
对方程Af＝b进行求解，目的是得到融合区域的像素值函数f，获得融合区域每个点的像素值，即可完成融合区域的图像构建。具体过程如下：
1、计算散度场b
为兼顾边界位置的融合效果，需先分别计算目标前景图像和目标背景图像的梯度场，用目标前景图像的梯度场置换同位置的目标背景图像梯度场以构建获得融合梯度场，对融合梯度场求偏导，得到散度场。
2、构建系数矩阵A
通过非边界点与预设卷积核进行卷积，以及边界点的约束条件来构建系数矩阵。
3、求解像素值f
通过已获取的散度场b和系数矩阵A，求解线性方程f＝A-1*b，获得融合区域每一个点的像素值，从而生成融合图像。
在一个具体的实施例中，如图6所示，以像素为3*3的图像为例，在已知边界点像素的基础上，求解中心点5的像素值，过程如下：
对于通道R，中心点5位置的散度值divR5可以表示为方程：R2+R4+R6+R8-4R5＝divR5，由此，系数矩阵A构造为：
拓展到RGB三通道的像素值，方程Af＝b的展开结果为：
根据f＝A-1*b，分别计算RGB三通道的像素值为：
其中，Ri,Gi,Bi和divRi,divGi,divBi分别代表像素点i在RGB三通道上的像素值和散度值。边界位置点1、2、3、4、6、7、8、9的RGB像素值均为已知量，散度值通过散度向量b获得。
本发明一可选的实施例中，步骤14，获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比，包括：
步骤141，获取目标前景图像和N个已融合的前景图像的像素坐标；
步骤142，根据所述像素坐标，得到目标前景图像的面积、N个已融合的前景图像的面积和目标前景图像与N个已融合的前景图像的交叉面积；
步骤143，根据所述图像面积以及交叉面积，得到目标前景图像和N个已融合的前景图像的交并比。
本实施例中，为避免多目标融合情况下发生目标交叉干涉，影响模型训练，因此在进行多目标融合时需要计算并约束各前景图像之间的交并比。具体过程包括：
记录每个融合后的前景图像边界框的像素坐标，第i个融合的前景图像的左上角、右下角的像素坐标记录分别为(lefti,topi)和(righti,bottomi)。
然后，计算当前目标前景图像与之前所有已融合的前景图像的交并比，当交并比大于给定值时，认为发生融合干涉，中止操作并进行下一次融合。交并比计算方法如下：
iou＝sij/(si+sj-sij)
其中，iou是交并比、sij是第i个前景图像和第j个前景图像的交叉面积、si是第i个前景图像的面积、sj是第j个前景图像的面积。
其中，si、sj和sij表达方法如下：
si＝(righti-lefti)*(bottomi-topi)
sj＝(rightj-leftj)*(bottomj-topj)
sij＝|min(righti,rightj)-max(lefti,leftj)|*|min(bottomi,bottomj)-max(topi,topj)|
其中，min和max分别为取最小值和取最大值。
本发明一可选的实施例中，步骤15，根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本，包括：
步骤151，当所述交并比大于等于预设值时，将目标前景图像与目标背景图像的融合确定为无效交叉融合，并删除所述无效交叉融合；
步骤152，当所述交并比小于预设值，且融合的前景图像的数量达到预设值时，将所述融合图像数据保存，得到目标训练图像样本。
本实施例中，在确定交并比小于预设值，且前景图像融合数量达到目标值后，同名保存相关的融合图像与文本数据，具备直接进行训练读取的条件。
具体过程包括：
1、记录融合过程中的状态信息，主要包括类别信息cls和坐标信息(lefti,topi)和(righti,bottomi)；
2、将目标位置信息进行归一化处理；
3、将融合图像所包含目标的类别信息、坐标信息写入文本文件，依照融合图像名称与文本文件名称一致的原则分别进行存放，具备直接训练读取的状态。
如图7所示，本发明的上述方法如下：
步骤1、目标前景图像和目标背景图像的获取与整理。通过光学设备采样等方式获取包含深度学习训练目标的原始图像，并逐个截取含目标的有效区域，作为融合的目标前景图像；结合目标的出现场景和自然环境等因素获取相关的图像，作为融合的目标背景图像。
步骤2、设置目标前景图像的融合位置参数。目标前景图像的融合位置需要考虑其与目标背景图像要素之间的协调关系，具体可设置为定点融合和非定点融合。
步骤3、为保证融合效果，需要满足两个基本的条件：目标前景图像相比于目标背景图像需要尽量平滑；在融合边界位置，目标前景图像和目标背景图像的像素值相等，保持边界一致；
为了保证平滑，引入融合位置的梯度场作为引导场来改善图像不连续、模糊的缺陷，同时根据边界位置像素值相等的边界一致性条件，构建目标方程，求解方程以获得融合位置的像素值，从而完成图像融合。
步骤4、多目标融合情况下避免交叉干涉。当进行多目标融合时，需要避免多个前景图像出现交叉干涉，防止目标物体之间造成重叠形成无效样本，影响模型训练。通过计算并约束各前景图像之间的图像面积交并比的数值实现。
步骤5、融合图像数据的管理。生成的大量融合图像将作为后续的训练样本，为减少训练前进行人工样本标记的工作量，在图像融合的过程中同步进行样本数据的标记整理，同名保存相关的融合图像与文本数据，具备了直接进行训练读取的条件。
如图8所示，本发明的实施例还提供一种深度学习训练图像样本的生成装置80，包括：
获取模块81，用于获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
生成模块82，用于根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
需要说明的是，该装置是与上述方法对应的装置，上述方法实施例中的所有实现方式均适用于该装置的实施例中，也能达到相同的技术效果。
可选的，获取目标前景图像和目标背景图像，包括：
获取包括深度学习训练目标的原始图像，和与所述训练目标相关的目标背景图像；
框选所述原始图像中的目标区域，标记类别信息，得到目标区域的归一化像素坐标信息；
将所述归一化像素坐标信息转换为原始图像上的真实坐标信息；
根据所述真实坐标信息对原始图像进行裁剪，得到目标前景图像。
可选的，根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置，包括：
根据所述目标前景图像和目标背景图像的协调关系，当所述目标前景图像在目标背景图像中有指定位置时，将所述指定位置确定为融合位置；
当所述目标前景图像和目标背景图像没有指定位置时，确定融合区域限制条件；
根据所述融合区域限制条件，得到融合偏移范围；
在所述融合偏移范围中选取随机数，将所述随机数确定为目标前景图像偏移量；
根据所述目标前景图像偏移量，得到融合位置。
可选的，根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像，包括：
将所述目标前景图像和目标背景图像的融合梯度场确定为引导场；
根据所述引导场，确定融合条件；所述融合条件包括：所述引导场与融合位置待求解像素值的梯度差最小、融合边界位置融合区域待求解像素值和目标背景图像像素值相等；
根据所述融合条件，确定模型
将所述模型进行转化，得到目标方程Δf＝divvoverΩ,
对所述目标方程离散化求解，得到融合位置像素值；
根据所述像素值，得到初步融合图像；
其中，Ω是融合后背景图像被前景图像的覆盖区域、是Ω的边界、f是融合图像在Ω内的像素值函数、f*是融合图像在Ω外的像素值函数、/>是图像函数的梯度、Δf是Ω区域的散度、v是引导场、div v是引导场的散度。
可选的，对所述目标方程离散化求解，得到融合位置像素值，包括：
根据像素点的散度值与像素点周围四个点的像素值相关，对目标方程离散化，得到方程组Af＝b，其中，A是系数矩阵、b是引导场的散度向量；
获取目标前景图像和目标背景图像的梯度场，用目标前景图像的梯度场置换同位置的目标背景图像梯度场以构建获得融合梯度场，根据所述融合梯度场，得到散度b；
根据融合条件，对非边界点进行卷积，得到系数矩阵A；
根据所述方程组Af＝b、散度b和系数矩阵A，得到融合位置像素值。
可选的，获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比，包括：
获取目标前景图像和N个已融合的前景图像的像素坐标；
根据所述像素坐标，得到目标前景图像的面积、N个已融合的前景图像的面积和目标前景图像与N个已融合的前景图像的交叉面积；
根据所述图像面积以及交叉面积，得到目标前景图像和N个已融合的前景图像的交并比。
可选的，根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本，包括：
当所述交并比大于等于预设值时，将目标前景图像与目标背景图像的融合确定为无效交叉融合，并删除所述无效交叉融合；
当所述交并比小于预设值，且融合的前景图像的数量达到预设值时，将所述融合图像数据保存，得到目标训练图像样本。
本发明的实施例还提供一种计算设备，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本发明的实施例还提供一种计算机可读存储介质，存储有指令，所述指令在计算机上运行时，使得计算机执行如上述的方法。上述方法实施例中的所有实现方式均适用于该实施例中，也能达到相同的技术效果。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
此外，需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行，某些步骤可以并行或彼此独立地执行。对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种深度学习训练图像样本的生成方法，其特征在于，包括：
获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；
根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；
获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；
根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
2.根据权利要求1所述的深度学习训练图像样本的生成方法，其特征在于，获取目标前景图像和目标背景图像，包括：
获取包括深度学习训练目标的原始图像，和与所述训练目标相关的目标背景图像；
框选所述原始图像中的目标区域，标记类别信息，得到目标区域的归一化像素坐标信息；
将所述归一化像素坐标信息转换为原始图像上的真实坐标信息；
根据所述真实坐标信息对原始图像进行裁剪，得到目标前景图像。
3.根据权利要求1所述的深度学习训练图像样本的生成方法，其特征在于，根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置，包括：
根据所述目标前景图像和目标背景图像的协调关系，当所述目标前景图像在目标背景图像中有指定位置时，将所述指定位置确定为融合位置；
当所述目标前景图像和目标背景图像没有指定位置时，确定融合区域限制条件；
根据所述融合区域限制条件，得到融合偏移范围；
在所述融合偏移范围中选取随机数，将所述随机数确定为目标前景图像偏移量；
根据所述目标前景图像偏移量，得到融合位置。
4.根据权利要求1所述的深度学习训练图像样本的生成方法，其特征在于，根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像，包括：
将所述目标前景图像和目标背景图像的融合梯度场确定为引导场；
根据所述引导场，确定融合条件；所述融合条件包括：所述引导场与融合位置待求解像素值的梯度差最小、融合边界位置融合区域待求解像素值和目标背景图像像素值相等；
根据所述融合条件，确定模型
将所述模型进行转化，得到目标方程Δf＝div v overΩ,对所述目标方程离散化求解，得到融合位置像素值；
根据所述像素值，得到初步融合图像；
其中，Ω是融合后背景图像被前景图像的覆盖区域、是Ω的边界、f是融合图像在Ω内的像素值函数、f*是融合图像在Ω外的像素值函数、/>是图像函数的梯度、Δf是Ω区域的散度、v是引导场、div v是引导场的散度。
5.根据权利要求4所述的深度学习训练图像样本的生成方法，其特征在于，对所述目标方程离散化求解，得到融合位置像素值，包括：
根据像素点的散度值与像素点周围四个点的像素值相关，对目标方程离散化，得到方程组Af＝b，其中，A是系数矩阵、b是引导场的散度向量；
获取目标前景图像和目标背景图像的梯度场，用目标前景图像的梯度场置换同位置的目标背景图像梯度场以构建获得融合梯度场，根据所述融合梯度场，得到散度b；
根据融合条件，对非边界点进行卷积，得到系数矩阵A；
根据所述方程组Af＝b、散度b和系数矩阵A，得到融合位置像素值。
6.根据权利要求1所述的深度学习训练图像样本的生成方法，其特征在于，获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比，包括：
获取目标前景图像和N个已融合的前景图像的像素坐标；
根据所述像素坐标，得到目标前景图像的面积、N个已融合的前景图像的面积和目标前景图像与N个已融合的前景图像的交叉面积；
根据所述图像面积以及交叉面积，得到目标前景图像和N个已融合的前景图像的交并比。
7.根据权利要求1所述的深度学习训练图像样本的生成方法，其特征在于，根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本，包括：
当所述交并比大于等于预设值时，将目标前景图像与目标背景图像的融合确定为无效交叉融合，并删除所述无效交叉融合；
当所述交并比小于预设值，且融合的前景图像的数量达到预设值时，将所述融合图像数据保存，得到目标训练图像样本。
8.一种深度学习训练图像样本的生成装置，其特征在于，包括：
获取模块，用于获取目标前景图像和目标背景图像；所述目标背景图像中包括N个已融合的前景图像，N为正整数；
生成模块，用于根据所述目标前景图像和目标背景图像的协调关系，确定目标前景图像和目标背景图像的融合位置；根据所述融合位置，对目标前景图像和目标背景图像进行融合，得到初步融合图像；获取所述初步融合图像中，目标前景图像和N个已融合的前景图像的交并比；根据所述交并比，删除无效的交叉融合，生成最终的目标训练图像样本。
9.一种计算设备，其特征在于，包括：处理器、存储有计算机程序的存储器，所述计算机程序被处理器运行时，执行如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，存储指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573010.XA CN117523341B (zh) | 2023-11-23 | 2023-11-23 | 一种深度学习训练图像样本的生成方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311573010.XA CN117523341B (zh) | 2023-11-23 | 2023-11-23 | 一种深度学习训练图像样本的生成方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117523341A true CN117523341A (zh) | 2024-02-06 |
| CN117523341B CN117523341B (zh) | 2024-06-21 |
Family
ID=89766002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311573010.XA Active CN117523341B (zh) | 2023-11-23 | 2023-11-23 | 一种深度学习训练图像样本的生成方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117523341B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146830A (zh) * | 2018-07-17 | 2019-01-04 | 北京旷视科技有限公司 | 用于生成训练数据的方法、装置、系统和存储介质 |
| CN109377467A (zh) * | 2018-09-28 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 训练样本的生成方法、目标检测方法和装置 |
| KR102393801B1 (ko) * | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
| CN115984154A (zh) * | 2022-12-01 | 2023-04-18 | 之江实验室 | 一种图像融合的方法、装置、存储介质及电子设备 |
| US20230162342A1 (en) * | 2020-04-08 | 2023-05-25 | Zhejiang Peckerai Technology Co., Ltd. | Image sample generating method and system, and target detection method |
-
2023
- 2023-11-23 CN CN202311573010.XA patent/CN117523341B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109146830A (zh) * | 2018-07-17 | 2019-01-04 | 北京旷视科技有限公司 | 用于生成训练数据的方法、装置、系统和存储介质 |
| CN109377467A (zh) * | 2018-09-28 | 2019-02-22 | 阿里巴巴集团控股有限公司 | 训练样本的生成方法、目标检测方法和装置 |
| US20230162342A1 (en) * | 2020-04-08 | 2023-05-25 | Zhejiang Peckerai Technology Co., Ltd. | Image sample generating method and system, and target detection method |
| KR102393801B1 (ko) * | 2021-12-27 | 2022-05-03 | 주식회사 딥노이드 | 배경 합성을 통한 학습 데이터를 생성하기 위한 장치 및 이를 위한 방법 |
| CN115984154A (zh) * | 2022-12-01 | 2023-04-18 | 之江实验室 | 一种图像融合的方法、装置、存储介质及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117523341B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110163198B (zh) | 一种表格识别重建方法、装置和存储介质 | |
| US8780131B2 (en) | Systems and methods for text-based personalization of images | |
| US7110000B2 (en) | Synthesis of progressively-variant textures and application to arbitrary surfaces | |
| CN111626912B (zh) | 水印去除方法及装置 | |
| CN114049420B (zh) | 一种模型训练方法、图像渲染方法、装置和电子设备 | |
| CN110992366A (zh) | 一种图像语义分割方法、装置及存储介质 | |
| Hu et al. | Inverse image editing: Recovering a semantic editing history from a before-and-after image pair | |
| Gai et al. | Artistic low poly rendering for images | |
| CN117934688A (zh) | 一种基于高斯泼溅样例的神经表示建模方法 | |
| CN117115358B (zh) | 数字人自动建模方法及装置 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| CN117523341B (zh) | 一种深度学习训练图像样本的生成方法、装置及设备 | |
| US20240161362A1 (en) | Target-augmented material maps | |
| CN112002019B (zh) | 一种基于mr混合现实的模拟人物阴影的方法 | |
| Hu et al. | Photo-to-shape material transfer for diverse structures. | |
| US9111395B2 (en) | Automatic placement of shadow map partitions | |
| CN112700481B (zh) | 基于深度学习的纹理图自动生成方法、装置、计算机设备和存储介质 | |
| Zeng et al. | 3D plants reconstruction based on point cloud | |
| Huang et al. | Image inpainting by reducing edge blur and error accumulation | |
| Hansard | Fast synthesis of atmospheric image effects | |
| Song et al. | Image Data Fusion Algorithm Based on Virtual Reality Technology and Nuke Software and Its Application | |
| Murayama et al. | Development of Real Environment Datasets Creation Method for Deep Learning to Improve Quality of Depth Image | |
| Qi | Visual Communication Method of Multi-Frame Film and Television Special Effects Images Based on Deep Learning | |
| CN116129431A (zh) | 一种钢筋实例分割合成数据集生成方法、系统及电子设备 | |
| Vanakittistien et al. | Game‐ready 3D hair model from a small set of images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |