CN112861899A - 自动生成图像训练数据的方法、图像处理设备和存储装置 - Google Patents
自动生成图像训练数据的方法、图像处理设备和存储装置 Download PDFInfo
- Publication number
- CN112861899A CN112861899A CN201911194128.5A CN201911194128A CN112861899A CN 112861899 A CN112861899 A CN 112861899A CN 201911194128 A CN201911194128 A CN 201911194128A CN 112861899 A CN112861899 A CN 112861899A
- Authority
- CN
- China
- Prior art keywords
- image
- training
- color
- projection
- superposition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 230000009466 transformation Effects 0.000 claims abstract description 38
- 238000003384 imaging method Methods 0.000 claims abstract description 25
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 230000000694 effects Effects 0.000 claims description 22
- 239000007787 solid Substances 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 238000013519 translation Methods 0.000 description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了自动生成图像训练数据的方法、图像处理设备和存储装置。图像训练数据包括训练图像及其对应的标注数据，该方法包括：选择前景图像和背景图像；对前景图像进行预设变换得到第一图像；获取第一图像在虚拟相机成像平面上的投影图像；利用投影图像与背景图像的叠加结果得到所述训练图像，并利用投影图像的几何参数和/或叠加位置获取训练图像对应的标注数据。通过上述方式，本发明能够简单方便的生成训练数据。
Description
技术领域
本发明涉及图像训练数据领域，特别是涉及自动生成图像训练数据的方法、图像处理设备和存储装置。
背景技术
深度学习算法需要大量的已经正确标注的训练数据。用户可以使用公开的数据集作为训练数据，但是公开的数据集可能与自己的模型应用场景有很大的偏差，不具备实际使用价值。或者用户可以通过网络爬虫获取数据然后人工标注，但是人工标注的方法重复繁琐，需要耗费大量的人力成本。
发明内容
本申请主要解决的技术问题是提供一种自动生成训练图像的方法，可以简单方便的生成训练数据。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种自动生成训练图像集的方法，所述图像训练数据包括训练图像及其对应的标注数据，包括：
选择前景图像和背景图像；对所述前景图像进行预设变换得到第一图像；获取所述第一图像在虚拟相机成像平面上的投影图像；利用所述投影图像与所述背景图像的叠加结果得到所述训练图像，并利用所述投影图像的几何参数和/或叠加位置获取所述训练图像对应的标注数据。
其中，所述获取所述第一图像在虚拟相机成像平面上的投影图像，包括：利用所述虚拟相机的位置获取所述第一图像在所述虚拟相机成像平面上的投影结果；利用所述虚拟相机的畸变模型对所述投影结果进行畸变处理得到所述投影图像。
其中，所述利用所述投影图像与背景图像的叠加结果得到训练图像包括：生成第一纯色图像，所述第一纯色图像具有与所述背景图像相同的几何参数，所述第一纯色图像具有第一颜色；生成所述投影图像在所述背景图像上的所述叠加位置；生成第二纯色图像，所述第二纯色图像具有与所述投影图像相同的几何参数，所述第二纯色图像具有第二颜色，所述第二颜色与所述第一颜色不同；根据所述叠加位置、所述第一纯色图像和所述第二纯色图像生成叠加图像，所述叠加图像具有与所述第一纯色图像相同的几何参数，所述叠加图像对应所述叠加位置具有与所述第二纯色图像相同颜色和相同几何参数的纯色区域，所述叠加图像的其他区域具有所述第一颜色；将所述叠加图像中具有所述第一颜色的区域的像素值设置为所述背景图像的像素值，将所述叠加图像中具有所述第二颜色的区域的像素值设置为所述投影图像的像素值，得到训练图像。
其中，所述利用所述投影图像与所述背景图像的叠加结果得到训练图像，在得到叠加结果之后，还包括：对所述叠加结果进行处理得到所述训练图像，所述处理包括添加光斑效果、高斯模糊、动态模糊、模拟噪声中的至少一种。
其中，所述添加光斑效果包括：将所述叠加结果根据光斑图像调节像素值，生成所述训练图像，其中，所述光斑图像集包括存在灰度差异的图像。
其中，所述将所述叠加结果根据光斑图像调节像素值，包括：将所述光斑图像转为灰度图像；将所述灰度图像的几何参数调整至与所述叠加结果大小相同；根据以下公式对所述灰度图像和所述叠加结果中每一个颜色通道的每个对位位置的像素进行计算：
presult＝255*pspotImage/(255-pmixImage+eps)
其中，presult为添加光斑效果后的所述叠加结果中的像素值，pspotImage所述灰度图像中的像素值，pmixImage为所述叠加结果中的像素值，eps为防止除零而添加的数值。
其中，所述标注数据包括目标物体的特征点、利用所述特征点计算得到的特征数据，所述目标物体为所述前景图像中的被检测物体；其中，所述特征数据包括对应所述目标物体的正外接矩形和/或最小外接矩形；所述标注数据包括所述目标物体的特征点，所述利用所述投影图像的几何参数和/或叠加位置获取所述训练图形对应的标注数据，包括：利用所述目标物体的特征点在所述投影图像中的坐标以及所述叠加位置计算所述目标物体的特征点在所述训练图像中的坐标。
其中，所述方法中各步骤涉及的参数中至少部分为随机确定的。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种图像处理设备，包括相互耦接的处理器和存储器，所述存储器中存储有程序指令，所述处理器执行所述程序指令用于实现如上所述的方法。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种具有存储功能的装置，存储有程序指令，所述程序指令能够被执行以实现如上所述方法中的步骤。
本申请的有益效果是，区别于现有技术，本申请通过从前景图像集中选择的前景图像进行透视变换后投影至虚拟相机的成像平面后得到投影图像，将该投影图像和从背景图像集中选择的背景图像叠加获得训练图像以及其对应的标注数据，可以实现在生成训练图像的同时获取其对应标注数据，无需人工处理，能够简单方便的生成需求的训练数据。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：
图1是本发明提供的自动生成图像训练数据的方法的一实施例的流程示意图；
图2是本发明提供的自动生成图像训练数据的方法中，将投影图像与背景图像的叠加结果得到训练图像的步骤的一实施例的流程示意图；
图3是本发明提供的自动生成图像训练数据的方法第二实施例的流程示意图；
图4是本发明提供的自动生成图像训练数据的方法的一实施例中前景图像的示意图；
图5是本发明提供的自动生成图像训练数据的方法的一实施例中虚拟摄相机，其位置及成像平面及与图像的位置关系的示意图；
图6是本发明提供的自动生成图像训练数据的方法的一实施例中背景图像的示意图；
图7是本发明提供的自动生成图像训练数据的方法的一实施例中腌膜图像的示意图；
图8是本发明提供的自动生成图像训练数据的方法的一实施例中光斑图像的示意图；
图9是本发明提供的自动生成图像训练数据的方法的一实施例中添加光斑效果后的图像的示意图；
图10是本发明提供的图像处理设备的一实施例的结构示意图；
图11是本发明提供的具有存储功能的装置的一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
请参阅图1，图1是本发明提供的自动生成图像训练数据的方法的一实施例的流程示意图。该自动生成图像训练数据的方法包括：
S101：选择前景图像和背景图像。
在一个具体的实施场景中，为了扩大训练图像数据集中的图像数据，因此，将需要检测的物体的图像作为前景图像。背景图像为实际中可能会遇到的任何拍摄背景。前景图像和背景图像可以是随机获取的，也可以是由用户选择提供的，还可以是设置前景图像集和背景图像集，从这两个图像集中获取。
在本实施场景中可以从前景图像集中任意选择一前景图像，在其他实施场景中，还可以按照一定的顺序，例如编号、尺寸、类型等，依次选择前景图像。在本实施场景前景图像如图4所示，为一二维码图像。
在本实施场景中，可以设有包括多个背景图像的背景图像集。为了实现训练图像的多样性，满足训练的需求，背景图像的数量应该远远大于前景图像的数量，以达到训练从不同的背景图像中识别前景图像的目的。在本实施场景中，可以从背景图像集中任意选择的一张背景图像，在其他实施场景中，还可以按照一定的顺序，例如编号、尺寸、类型等，依次选择背景图像。在本实施场景中，背景图像为图6所示的图像。
S102：对所述前景图像进行预设变换得到第一图像。
在一个具体的实施场景中，对从步骤S101中选择的前景图像进行透视变换。由于在实际应用场景中，拍摄图片时，不可能一直都是以垂直于前景图像的角度拍摄，而是可能通过侧方的多角度拍摄前景图像，因此前景图像呈现出的，也不是原先的状态，会出现几何畸变。变换模型有如下几种：刚性变换、仿射变换、透视变换和非线形变换等。在本实施场景中，可以采用透视变换模拟前景图像在三维世界中的旋转及位移。透视变换(PerspectiveTransformation)是一种二维坐标到二维坐标之间的线性变换，保持二维图形的“平直性”(straightness，即变换后直线还是直线不会打弯)。在其他实施场景中，还可以采用其他的变换方法，例如仿射变换、刚性变换等。
简单来说，透视变换就是允许图像任意倾斜。透视变换可以保持原来的线共点、点共线的关系不变，但其平行性会可能会发生变化，如平行于投影面的平行线会保持其平行性，而不平行于投影面的平行线则会聚集到一个点，原来的中点也可能不再是中点，原来在一直线上的几段线段之间的比例关系也可能会发生变化，透视变换最少需要四个点才能确定其变换关系，相对于仿射变换，其深度感更强，能够更加真实模拟实际拍摄的效果。
透视变换可以通过一系列的原子变换的复合来实现，包括：平移(Translation)、缩放(Scale)、翻转(Flip)、旋转(Rotation)和剪切(Shear)。
在本实施场景中，可借助于齐次矩阵来进行透视变换，为此我们以前景图像中心建立图像坐标系原点，宽方向向右建立x轴，高方向向上建立y轴，以垂直图像平面向外建立z轴。在该图像坐标系中将选择的前景图像进行透视变换。
首先计算旋转及偏移的齐次矩阵mat：
其中α，β及γ分别为表示图像以图像坐标系下x轴，y轴及z轴旋转的预设角度，Δx,Δy,Δz分别为前景图像在图像坐标系下的位置偏移，其中图像坐标系的原点位于原前景图像的中心。
将选择的前景图像进行透视变换即为将该前景图像中的每一像素点均进行透视变换。取图像中任意位置的像素点，其坐标为p1＝[-w,h,0]T，将点坐标齐次化可得坐标p2＝[-w,h,0,1]T，将p1位置的像素点以图像坐标系的中心旋转后再作平移，假设旋转平移后该像素点为坐标为p3，只需要将其齐次化后的坐标p2与齐次矩阵点乘，即：
p3＝mat·p2；
将像素点的坐标p3去除齐次项得到其在图像坐标系下的坐标为p4。p4即为原前景图像中p1位置的像素点在经过透视变换后的坐标。
重复上述步骤，将前景图像中的每一像素点均进行相同的变换，即可得到原前景图像中的每一像素点在进行透视变换后的坐标。将原前景图像中的每一像素点均移动至计算出的对应的透视变换后的坐标位置后，即可得到原前景图像经过透视变换后的第一图像。
S103：获取所述第一图像在虚拟相机成像平面上的投影图像。
在一个具体的实施场景中，建立虚拟摄相机，其位置及成像平面及与图像的位置关系如图5所示，图5是本申请提供的自动生成图像训练数据的方法的一实施例中的虚拟摄相机，其位置及成像平面及与图像的位置关系的示意图，再将p4坐标的像素点投影到该虚拟摄相机的成像平面上，假设投影后的像素点坐标为p5，则p5的x轴和y轴的坐标值分别为：
其中p0为虚拟相机所在位置，p5.x指代该成平面上的该像素点在图像坐标系下的x轴的坐标值，p5.y指代该成平面上的该像素点在图像坐标系下的y轴的坐标值，p4.x为第一图像的该像素点在图像坐标系下的x轴坐标值，p4.y为第一图像的该像素点在图像坐标系下的y轴坐标值，p4.z为第一图像中的该像素点在图像坐标系下的z轴坐标值，p0.z为该虚拟相机所在位置在图像坐标系下的z轴坐标值。
在本实施场景中，坐标p5即为对应于原前景图像中p1位置的像素点在经过透视变换后在虚拟相机的成像平面上的投影的坐标，以此类推，将原前景图像中的所有像素点均按照此方法计算出投影至虚拟相机的成像平面上的投影的坐标，并移动至各自计算出的对应的坐标后，即得到第一图像在虚拟相机成像平面上的投影图像。
在另一个实施场景中，由于在实际应用场景中，相机在进行拍摄时会产生畸变，该畸变会影响最终的成像。因此，在将第一图像投影至虚拟相机的成像平面后，进一步对投影结果进行畸变处理得到投影图像。
建立相机的畸变模型：
r2＝x2+y2；
xresult＝x(1+k1r2+k2r2)+[2p1xy+p2(r2+2x2)]+cx；
yresult＝y(1+k1r2+k2r2)+[2p2xy+p1(r2+2y2)]+cy；
其中k1和k2为相机的径向畸变系数，p1及p2则分别为虚拟相机的切向畸变系数，cx、cy则分别为虚拟相机光尺的偏移。xresult和yresult分别为畸变后的坐标值。
根据该公式计算出投影在虚拟相机的成像平面上的图像中的各像素点的畸变后的坐标值xresult和yresult，并将投影在虚拟相机的成像平面上的图像中的各像素点移动至其对应的坐标，得到第一图像在虚拟相机成像平面上的投影图像。
S104：利用所述投影图像与所述背景图像的叠加结果得到所述训练图像，并利用所述投影图像的几何参数和/或叠加位置获取所述训练图像对应的标注数据。
在一个具体的实施场景中，将步骤S103中得到的投影图像与背景图像叠加，利用叠加结果得到训练图像。为了达到训练数据的目的，生成的训练图像需要添加对应的标注数据，该标注数据用于指示投影图像的集合参数和/或叠加位置，以使得在后续的图像训练中，可以根据该标注数据获取到投影图像中与原前景图像相关的数据。
需要注意的是，在本实施场景中，前景图像和投影图像的尺寸应当小于背景图像的尺寸，因为若前景图像和投影图像的尺寸大于背景图像，则在进行叠加以生成训练图像时，前景图像或投影图像将背景图像完全遮盖住，会影响后续的训练。
在本实施场景中，将投影图像随机放置于背景图像的任一区域。标注数据为投影图像的几何参数。例如，投影图像中每一像素点的坐标。在其他实施场景中，还可以是关键像素点(例如，各个顶点、中点、线段的连接点等)的坐标，或者是投影的图像的形状、尺寸结合部分关键像素点的坐标。例如，若投影图像为矩形，则标注数据为该矩形的长宽和某个顶点/中心点的坐标。在其他实施场景中，标注数据还可以是叠加时投影图像放置到背景图像中的位置，例如放置的位置行列值，以及投影图像的几何参数，例如矩形的长宽、圆的半径等等。
通过上述描述可知，本实施例中通过将前景图像进行透视变换后投影至虚拟相机的成像平面后得到投影图像，将投影图像和背景图像叠加获得训练图像对应的标注数据，可以通过该方法自动生成大量的新的图像训练数据用于进行图像训练，生成训练图像的同时获取其对应标注数据，无需人工处理，能够简单方便的生成需求的训练数据。
请参阅图2，图2是本发明提供的自动生成图像训练数据的方法中，将投影图像与背景图像的叠加结果得到训练图像的步骤的一实施例的流程示意图。
S201：生成第一纯色图像，所述第一纯色图像具有与所述背景图像相同的几何参数，所述第一纯色图像具有第一颜色。
在一个具体的实施场景中，准备一张与背景图像几何参数相同的第一颜色的第一纯色图像，即为第一纯色图像的大小、尺寸、边长、夹角等几何参数均与背景图像相同。在本实施场景中，第一颜色为黑色，第一纯色图像为黑色图像。
S202：生成所述投影图像在所述背景图像上的所述叠加位置。
在一个具体的实施场景中，需要将投影图像叠加到背景图像中，以得到叠加结果。可以将投影图像随机放置于背景图像中，可以随机选择放置的行列值，同时需要注意防止前景图像超出背景图像区域，影响正常训练。由于第一纯色图像与背景图像的几何参数相同，那么在背景图像上的叠加位置与在第一纯色图像上的叠加位置也相同。
S203：生成第二纯色图像，所述第二纯色图像具有与所述投影图像相同的几何参数，所述第二纯色图像具有第二颜色，所述第二颜色与所述第一颜色不同。
在一个具体的实施场景中，在获取到投影图像后，利用投影图像的几何参数获取第二颜色的第二纯色图像，在本实施场景中，第二颜色为白色，第二纯色图像为与投影图像中物体的几何参数相同的白色图像，或者是与投影图像的几何参数相同的白色图像，即为该白色图像的大小、尺寸、边长、夹角等几何参数均与投影图像中的物体或投影图像相同。
在其他实施场景中，第一颜色和第二颜色可以为其他任何两种不同的颜色，例如，白色和红色、绿色和黑色等等。
S204：根据所述叠加位置、所述第一纯色图像和所述第二纯色图像生成叠加图像，所述叠加图像具有与所述第一纯色图像相同的几何参数，所述叠加图像对应所述叠加位置具有与所述第二纯色图像相同颜色和相同几何参数的纯色区域，所述叠加图像的其他区域具有所述第一颜色。
在一个具体的实施场景中，根据叠加位置、第一纯色图像和第二纯色图像生成叠加图像。该叠加图像具有与第一纯色图像相同的几何参数，即为叠加图像和第一纯色图像的大小、尺寸、边长、夹角等几何参数均相同。叠加图像的对应叠加位置的区域为与第二纯色图像具有相同几何参数的纯色区域，该纯色区域的颜色与第二纯色图像相同，在本实施场景中为白色，该纯色区域的大小、尺寸、边长、夹角等几何参数与第二纯色图像相同。叠加图像除了纯色区域之外的其他区域具有与第一纯色图像相同的颜色，在本实施场景中为黑色。请参阅图7，图7即为叠加图像。
S205：将所述叠加图像中具有所述第一颜色的区域的像素值设置为所述背景图像的像素值，将所述叠加图像中具有所述第二颜色的区域的像素值设置为所述投影图像的像素值，得到训练图像。
在一个具体的实施场景中，叠加图像中像素点的像素值选择方式为：叠加图像中像素点处于黑色的区域，则该区域的像素选择背景图像对应区域的像素值，第二图像中像素点为白色区域，则该区域的像素选择投影图像对应区域的像素值。
在本实施场景中，标注数据包括特征点、利用特征点计算得到的特征数据。例如，标注数据可以包括特征点，即叠加图像或纯色区域的中边、顶点、中点等关键点的坐标。可以利用目标物体的特征点在投影图像中的坐标以及叠加位置计算目标物体的特征点在训练图像中的坐标。该目标物体为前景图像中被检测的物体。标注数据还可以是目标物体的正外接矩形和/或最小外接矩形，根据该被检测物体与第一图像的位置关系，利用特征点计算得到的特征数据包括叠加图像中目标物体的正外接矩形和/或最小外接矩形。
通过上述描述可知，在本实施例中通过采用与投影图像具有相同几何参数的第二纯色图像与背景图像具有相同几何参数的第一纯色图像进行叠加得到叠加图像，再将叠加图像的像素值进行对应的替换得到训练图像，可以准确定位训练图像中投影图像所在的位置，方便后续进一步操作。
请参阅图3，图3是本发明提供的自动生成图像训练数据的方法的第二实施例的流程示意图。本发明提供的自动生成图像训练数据的方法包括：
S301：选择前景图像和背景图像。
S302：对所述前景图像进行预设变换得到第一图像。
S303：获取所述第一图像在虚拟相机成像平面上的投影图像。
在本实施场景中，步骤S301-S302所述的内容与本发明提供的自动生成图像训练数据的方法的第一实施例中的步骤S101-S103基本一致，此处不再进行赘述。
S304：将投影图像与背景图像进行叠加得到叠加结果。
在本实施场景中，步骤S304所述的内容与本发明中图2所示的方法基本一致，此处不再进行赘述。
S305：对所述叠加结果进行处理得到所述训练图像。
在一个具体的实施场景中，对步骤S304中获取的叠加结果进行的处理包括添加光斑效果、高斯模糊、动态模糊、模拟噪声中的至少一种，添加光斑效果可以进一步模拟在真实拍摄场景中，由于光线明暗而造成的灰度不均的效果。动态模糊为沿某一设定的方向的模糊，添加动态模糊可以模拟相机拍摄运动物体时的拖影效果，高斯模糊可以用于模拟拍摄时相机的散焦情况，其模糊程度轻重表征虚拟相机的散焦程度大小。添加椒盐噪声可以模拟相机增益带来的图像噪声，其强度可通过增加一比例因子来调整。
在本实施场景中，对叠加的结果添加光斑效果，可以从光斑图像集中随机选择一张光斑图像。添加光斑效果是为了模拟在真实拍摄中由于光线明暗不均造成的图像灰度不均的情况，因此光斑图像集中包括的图像仅需要其在灰度上有变化即可。在其他实施场景中，可以不设置光斑图像集，而将背景图像集也作为光斑图像集。在本实施场景中光斑图像为图8所示的光斑图像。
从光斑图像集中任意选择一张光斑图像后，将该光斑图像转为灰度图，将转为灰度图的光斑图像的几何参数调整至与背景图像一致，即为将其大小、尺寸、边长、夹角等几何参数均调整至与背景图像相同。将叠加结果中每一像素点均进行以下计算：
presult＝255*pspotImahe/(255-pmixImage+eps)；
其中pmixImage为叠加结果中任一像素点的像素值，pspotImage随机选择的光斑图像转为灰度图像后的对应于该像素点位置的像素点的像素值，presult为添加光斑效果后的叠加结果中的对应该像素位置的像素点的像素值，eps为防止除零而添加的一小值，可设置为0.0001。
将叠加结果中的所有像素点均进行如上的计算，则可以得到添加光斑效果后的叠加结果。在本实施场景中，图9为添加光斑效果后的叠加结果。可以直接将添加光斑效果后的叠加结果作为训练图像，也可以对添加光斑效果后的叠加结果继续进行诸如添加高斯模糊、动态模糊、模拟噪声之类的处理之后的图像作为训练图像。
可以根据需要从添加光斑效果、高斯模糊、动态模糊、模拟噪声随机选择一种或多种处理方式，或者随机排列组合添加光斑效果、高斯模糊、动态模糊、模拟噪声中一种或多种处理方式，以达到不同的处理效果，模拟尽可能多的实际场景。
通过上述描述可知，本实施例通过叠加结果进行处理以得到训练图像，可以模拟真实拍摄时的成像效果，以达到不同的处理效果，模拟尽可能多的实际场景。
请参阅图10，图10是本发明提供的图像处理设备的一实施例的结构示意图。图像处理设备10包括处理器11和存储器12。存储器12用于存储程序指令，处理器11用于运行存储器12中的程序指令以进行通信并执行如下方法：
选择前景图像和背景图像，对该前景图像进行预变换得到第一图像，获取所述第一图像在虚拟相机成像平面上的投影图像，利用所述投影图像与所述背景图像的叠加结果得到所述训练图像，并利用所述投影图像的几何参数和/或叠加位置获取所述训练图像对应的标注数据。
通过上述描述可知，本实施例中的图像处理设备可以自动生成新的图像训练数据，该图像训练数据可以包括训练图像对应的标注数据，由于标注数据是在生成训练图像时自动生成的，所以无需花费人力标注，可以节约成本，且准确度高，能够简单方便的生成需求的训练数据。
请参阅图11，图11是本发明提供的具有存储功能的装置的一实施例的结构示意图。具有存储功能的装置20中存储有至少一个程序指令21，程序指令21用于执行如图1-图3所示的方法。在一个实施例中，具有存储功能的装置可以是设备中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。
通过上述描述可知，本实施例中的具有存储功能的装置可以用于自动生成新的图像训练数据，该图像训练数据包括训练图像对应的标注数据，无需人工处理，能够简单方便的生成需求的训练数据。
区别于现有技术，本发明采用的自动生成图像训练数据的方法可以自动生成新的图像训练数据，该图像训练数据可以包括训练图像及其对应的标注数据，由于标注数据是在生成训练图像时自动生成的，所以无需花费人力标注，可以节约成本，且准确度高，能够简单方便的生成需求的训练数据。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种自动生成图像训练数据的方法，所述图像训练数据包括训练图像及其对应的标注数据，其特征在于，包括：
选择前景图像和背景图像；
对所述前景图像进行预设变换得到第一图像；
获取所述第一图像在虚拟相机成像平面上的投影图像；
利用所述投影图像与所述背景图像的叠加结果得到所述训练图像，并利用所述投影图像的几何参数和/或叠加位置获取所述训练图像对应的标注数据。
2.根据权利要求1所述的方法，其特征在于，
所述获取所述第一图像在虚拟相机成像平面上的投影图像，包括：
利用所述虚拟相机的位置获取所述第一图像在所述虚拟相机成像平面上的投影结果；
利用所述虚拟相机的畸变模型对所述投影结果进行畸变处理得到所述投影图像。
3.根据权利要求1所述的方法，其特征在于，
所述利用所述投影图像与所述背景图像的叠加结果得到训练图像包括：
生成第一纯色图像，所述第一纯色图像具有与所述背景图像相同的几何参数，所述第一纯色图像具有第一颜色；
生成所述投影图像在所述背景图像上的所述叠加位置；
生成第二纯色图像，所述第二纯色图像具有与所述投影图像相同的几何参数，所述第二纯色图像具有第二颜色，所述第二颜色与所述第一颜色不同；
根据所述叠加位置、所述第一纯色图像和所述第二纯色图像生成叠加图像，所述叠加图像具有与所述第一纯色图像相同的几何参数，所述叠加图像对应所述叠加位置具有与所述第二纯色图像相同颜色和相同几何参数的纯色区域，所述叠加图像的其他区域具有所述第一颜色；
将所述叠加图像中具有所述第一颜色的区域的像素值设置为所述背景图像的像素值，将所述叠加图像中具有所述第二颜色的区域的像素值设置为所述投影图像的像素值，得到训练图像。
4.根据权利要求3所述的方法，其特征在于，所述利用所述投影图像与所述背景图像的叠加结果得到训练图像，在得到叠加结果之后，还包括：
对所述叠加结果进行处理得到所述训练图像，所述处理包括添加光斑效果、高斯模糊、动态模糊、模拟噪声中的至少一种。
5.根据权利要求4所述的方法，其特征在于，所述添加光斑效果包括：
将所述叠加结果根据光斑图像调节像素值，生成所述训练图像，所述光斑图像为存在灰度差异的图像。
6.根据权利要求5所述的方法，其特征在于，所述将所述叠加结果根据光斑图像调节像素值，包括：
将所述光斑图像转为灰度图像；
将所述灰度图像的尺寸调整至与所述叠加结果大小相同；
根据以下公式对所述灰度图像和所述叠加结果中每一个颜色通道的每个对位位置的像素进行计算：
presult＝255*pspotImage/(255-pmixImage+eps)
其中，presult为添加光斑效果后的所述叠加结果中的像素值，pspotImage所述灰度图像中的像素值，pmixImage为所述叠加结果中的像素值，eps为防止除零而添加的数值。
7.根据权利要求1所述的方法，其特征在于，
所述标注数据包括目标物体的特征点，以及利用所述特征点计算得到的特征数据，所述目标物体为所述前景图像中的被检测物体；
其中，所述特征数据包括对应于所述目标物体的正外接矩形和/或最小外接矩形；
所述标注数据包括所述目标物体的特征点，所述利用所述投影图像的几何参数和/或叠加位置获取所述训练图形对应的标注数据，包括：
利用所述目标物体的特征点在所述投影图像中的坐标以及所述叠加位置计算所述目标物体的特征点在所述训练图像中的坐标。
8.根据权利要求1-7任一项所述的方法，其特征在于，
所述方法中各步骤涉及的参数中至少部分为随机确定的。
9.一种图像处理设备，其特征在于，包括相互耦接的处理器和存储器，所述存储器中存储有程序指令，所述处理器执行所述程序指令用于实现如权利要求1-8任一项所述的方法。
10.一种具有存储功能的装置，其特征在于，存储有程序指令，所述程序指令能够被执行以实现如权利要求1-8任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194128.5A CN112861899A (zh) | 2019-11-28 | 2019-11-28 | 自动生成图像训练数据的方法、图像处理设备和存储装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911194128.5A CN112861899A (zh) | 2019-11-28 | 2019-11-28 | 自动生成图像训练数据的方法、图像处理设备和存储装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861899A true CN112861899A (zh) | 2021-05-28 |
Family
ID=75995842
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911194128.5A Pending CN112861899A (zh) | 2019-11-28 | 2019-11-28 | 自动生成图像训练数据的方法、图像处理设备和存储装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861899A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114486647A (zh) * | 2021-12-31 | 2022-05-13 | 江苏丰尚智能科技有限公司 | 物料粒子的检测方法、装置、粒子检测装置、计算机设备 |
-
2019
- 2019-11-28 CN CN201911194128.5A patent/CN112861899A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114486647A (zh) * | 2021-12-31 | 2022-05-13 | 江苏丰尚智能科技有限公司 | 物料粒子的检测方法、装置、粒子检测装置、计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10846886B2 (en) | Multi view camera registration | |
| CN108389257B (zh) | 从扫描对象生成三维模型 | |
| KR100369909B1 (ko) | 원영상을수정하는장치및방법 | |
| CN107993263B (zh) | 环视系统自动标定方法、汽车、标定装置及存储介质 | |
| US20130145298A1 (en) | Structure-Preserving Clone Brush | |
| US7999862B2 (en) | Method and apparatus for an automated background lighting compensation system | |
| US20210125305A1 (en) | Video generation device, video generation method, program, and data structure | |
| Klančar et al. | Wide-angle camera distortions and non-uniform illumination in mobile robot tracking | |
| CN108307189A (zh) | 三维内容提供系统、方法及计算机可读记录介质 | |
| CN110807459A (zh) | 车牌矫正方法、装置以及可读存储介质 | |
| CN113781621A (zh) | 三维重建处理的方法、装置、设备及存储介质 | |
| CN113870430A (zh) | 一种工件数据处理方法和装置 | |
| CN110363837B (zh) | 游戏中纹理图像的处理方法及装置、电子设备、存储介质 | |
| JP2019220887A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN112861899A (zh) | 自动生成图像训练数据的方法、图像处理设备和存储装置 | |
| CN112712032A (zh) | 一种半自动物体姿态标注方案 | |
| JP2023126774A (ja) | スクリーントーンルック生成器 | |
| Sari et al. | Structure-texture consistent painting completion for artworks | |
| CN115457206A (zh) | 三维模型生成方法、装置、设备及存储介质 | |
| CN112562057B (zh) | 三维重建系统及方法 | |
| Zoido et al. | Optimized methods for multi-projector display correction | |
| CN115713678A (zh) | 一种箭头图片数据增广方法、系统、电子设备及存储介质 | |
| CN115127481A (zh) | 条纹投影3d测量方法、终端设备及计算机可读存储介质 | |
| Ernst et al. | Check my chart: A robust color chart tracker for colorimetric camera calibration | |
| US11120606B1 (en) | Systems and methods for image texture uniformization for multiview object capture |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |