CN112150398B - 图像合成方法、装置及设备 - Google Patents
图像合成方法、装置及设备 Download PDFInfo
- Publication number
- CN112150398B CN112150398B CN201910570406.6A CN201910570406A CN112150398B CN 112150398 B CN112150398 B CN 112150398B CN 201910570406 A CN201910570406 A CN 201910570406A CN 112150398 B CN112150398 B CN 112150398B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- annotation information
- information corresponding
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 11
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 30
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 16
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 40
- 238000012549 training Methods 0.000 claims description 33
- 239000002131 composite material Substances 0.000 claims description 32
- 238000000034 method Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims 2
- 238000002372 labelling Methods 0.000 description 15
- 238000003062 neural network model Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种图像合成方法、装置及设备,该图像合成方法可以包括:获取相机采集的处于各不同位置的单一对象的图像;获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;将从每一目标图像中获取的目标区域进行合成得到合成图像。可通过合成方式得到包含多个对象的图像,更省时省力。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及的是一种图像合成方法、装置及设备。
背景技术
随着科学技术的发展,深度学习算法模型在分类、检测、识别等任务中表现优异。通常情况下,样本数量越多,对象形态及位置越丰富,模型在测试的时候鲁邦性越强。因而,在深度学习检测、分割等模型的训练过程中,需要大量的图像作为样本用于训练和测试,在一些情况下,需要包含多对象的图像作为样本。
为了样本的多样性,通常会对多个对象进行排列组合,针对每次的排列组合采集图像作为样本。此方式中,需要进行大量的排列组合及大量的图像采集这些工作,并且对象数量越多,需要采集的图像会越多,非常耗时耗力。
发明内容
有鉴于此,本发明提供一种图像合成方法、装置及设备,可通过合成方式得到包含多个对象的图像,更省时省力。
本发明第一方面提供一种图像合成方法,包括:
获取相机采集的处于各不同位置的单一对象的图像;
获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
将从每一目标图像中获取的目标区域进行合成得到合成图像。
根据本发明的一个实施例,获取每一图像对应的图像标注信息包括:
接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
从所述控制指令中获取每一图像对应的图像标注信息。
根据本发明的一个实施例,获取每一图像的图像标注信息包括:
确定用于图像标注的图像处理算法;
依据所述图像处理算法确定每一图像对应的图像标注信息。
根据本发明的一个实施例,
所述图像处理算法为二值化算法;
依据所述图像处理算法确定每一图像对应的图像标注信息,包括:
针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
根据本发明的一个实施例,该方法还包括:
确定所述合成图像对应的合成图像标注信息;
将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
根据本发明的一个实施例,所述确定所述合成图像对应的合成图像标注信息,包括:
将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像标注信息。
本发明第二方面提供一种图像合成装置,包括:
图像获取模块,用于获取相机采集的处于各不同位置的单一对象的图像;
标注信息获取模块,用于获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
目标区域获取模块,用于从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
图像合成模块,用于将从每一目标图像中获取的目标区域进行合成得到合成图像。
根据本发明的一个实施例,所述标注信息获取模块包括:
指令接收单元,用于接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
标注信息获取单元,用于从所述控制指令中获取每一图像对应的图像标注信息。
根据本发明的一个实施例,所述标注信息获取模块包括:
处理算法确定单元,用于确定用于图像标注的图像处理算法;
标注信息确定单元,用于依据所述图像处理算法确定每一图像对应的图像标注信息。
根据本发明的一个实施例,
所述图像处理算法为二值化算法;
所述标注信息确定单元包括:
二值化处理子单元,用于针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
标注信息子单元,用于依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
根据本发明的一个实施例,该装置还包括:
合成图像标注信息确定模块,用于确定所述合成图像对应的合成图像标注信息;
模型训练模块,用于将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
根据本发明的一个实施例,所述合成图像标注信息确定模块包括:
图像标注信息合成单元,用于将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像标注信息。
本发明第三方面提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例所述的图像合成方法。
本发明实施例具有以下有益效果:
本发明实施例中,获取采集的处于各不同位置的单一对象的图像,并获取各个图像对应的图像标注信息,在需要进行图像合成时,可从已获取的所有图像中选取出一组目标图像,依据目标图像对应的图像标注信息从目标图像中获取出目标区域,合成各目标区域可得到包含多个对象的合成图像,无需通过采集即可得到包含多个对象的图像,不同组合的目标图像可合成出不同的图像,保证了图像的多样性要求,大大减少所需采集的图像数量,图像采集时也无需进行对象排练组合的工作,更省时省力。
附图说明
图1是本发明一实施例的图像合成方法的流程示意图;
图2是本发明一实施例的货道的结构示意图;
图3是本发明一实施例的图像合成装置的结构框图;
图4是本发明一实施例的采集的图像与对应二值图像的示意图;
图5是本发明一实施例的合成图像与对应合成图像标注信息的示意图;
图6是本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种器件,但这些信息不应限于这些术语。这些术语仅用来将同一类型的器件彼此区分开。例如,在不脱离本发明范围的情况下,第一器件也可以被称为第二器件,类似地,第二器件也可以被称为第一器件。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁,下面对本发明中的一些技术术语进行解释:
神经网络:一种通过模仿大脑结构抽象而成的技术,该技术将大量简单的函数进行复杂的连接,形成一个网络系统,该系统可以拟合极其复杂的函数关系,一般可以包括卷积/反卷积操作、激活操作、池化操作,以及加减乘除、通道合并、元素重新排列等操作。使用特定的输入数据和输出数据对网络进行训练,调整其中的连接,可以让神经网络学习拟合输入和输出之间的映射关系。
下面对本发明实施例的图像合成方法进行更具体的描述,但不应以此为限。在一个实施例中,参看图1,一种图像合成方法,包括以下步骤:
S100:获取相机采集的处于各不同位置的单一对象的图像;
S200:获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
S300:从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
S400:将从每一目标图像中获取的目标区域进行合成得到合成图像。
本发明实施例的图像合成方法的执行主体可以为电子设备,进一步地可以为电子设备的处理器,其中,所述处理器可以为一个或多个,所述处理器可以为通用处理器或者专用处理器。电子设备可以是相机,或者是其他电子设备,只要具备图像处理能力即可。
步骤S100中,获取相机采集的处于各不同位置的单一对象的图像。
可以预先设置好相机的图像采集环境,图像采集环境中有多个位置,相机负责采集图像采集环境中处于各不同位置的单一对象的图像。比如,图像采集环境中有10个位置,相机可采集第一对象分别处于10个位置上的图像、第二对象分别处于10个位置上的图像、第三对象分别处于10个位置上的图像,以此类推。
采集前,先固定相机在图像采集环境中的位置,然后对相机采集的画面进行划分,被划分出的每一个位置用于放置一个对象。当然,如果相机的位置发生变动,位置划分也需要进行相应的调整。
接着,利用相机采集处于各不同位置的单一对象的图像,各种对象依次被摆放至各个位置上,每次采集只有一个对象处于一个位置上的图像。如此,可以采集到处于各不同位置的单一对象的图像。
每个图像中只有一个对象,不同的图像可以包含处于不同位置的同一对象,当然也可包含处于相同位置的不同对象、或处于不同位置的不同对象。为了进一步增强多样性,还可以通过对同一位置上的对象进行旋转,采集该对象在该位置处不同姿态的图像,即每个对象可以变换姿态地摆放到一个位置上,每个姿态采集一张图像。
对象的类型不限,比如为各种商品、展品等。以对象为商品为例,图像采集环境可以是如图2所示的用于摆放商品的货道200,货道上每一个格子视作一个货位,可以摆放一个商品,其中,商品300处于货道的第一个货位上。在实际采集时,可以根据商品大小调整货位的大小。利用相机采集图像时,各种商品会依次被摆放至各个货位中,每个商品摆放到一个货位上时便采集一张图像,采集得到的单品图像即为所需的图像。
步骤S200中,获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓。
图像标注信息可以由人工标注得到,或者可以利用一定图像处理算法从图像中获取,具体的获取方式不限,只要能够获取到指示图像中对象的轮廓即可。
图像标注信息比如是呈现了图像中对象轮廓的图像,如此根据图像标注信息中呈现的轮廓可以确定出图像中的对象。当然,图像标注信息的具体形式不限,比如还可以是一些像素点的位置信息,这些像素点的位置信息是图像中对象轮廓上的所有点或特征点在图像中的位置信息。
本步骤中准备好已获取的所有图像对应的图像标注信息,在后续需要进行图像合成时,可从中选择待合成图像对应的图像标注信息。
步骤S300中,从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从每一目标图像中获取目标区域。
步骤S100中可以获取到采集好的大量单一对象的图像。获取到这些采集的图像后,可根据需要从获取的所有图像中选取待合成的目标图像。根据一定的排列组合规则,每次可以选取不同的目标图像,如此,每次可合成不同的图像,保证合成图像的多样性。
每次选取时,可从获取的所有图像中选取处于不同位置上的单一对象的图像作为待合成的目标图像,可保证不同目标图像中的对象所处的位置不同,避免发生合成图像中不同对象完全重叠的情况。
选取出目标图像后,可从已获取的图像标注信息中确定出各目标图像对应的图像标注信息,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域。目标区域可以是从目标图像中截取出的沿着对象轮廓的区域,目标区域的形状可以与对象的轮廓一致。
由于图像标注信息指示了图像中对象的轮廓,因而可以依据目标图像对应的图像标注信息定位出目标图像中对象,就可以从目标图像中截取出对象所处的区域,即得到目标区域。
从目标图像中获取到的目标区域包含了该目标图像中的对象,在理想情况下,目标区域中只存在该目标图像中的对象,不存在该目标图像中的任何背景,当然,实际也可能存在一定的偏差,即目标区域中也可能残留部分的背景,影响不大即可。
步骤S400中,将从每一目标图像中获取的目标区域进行合成得到合成图像。
将所有目标区域进行合成得到一张合成图像,该合成图像包含多个对象,这些对象包括所有目标图像中的对象。
可将目标区域与背景图像中与目标区域在目标图像中的位置对应的区域(此处简称区域Z1)进行合成。合成方式不限,比如,将区域Z1修改为目标区域;或者,可通过融合的方式实现目标区域与区域Z1的合成,可在区域Z1的边缘附近进行平滑处理,保证合成图像中对象跟背景融为一体,使得合成图像更加逼真。
当然,区域Z1的位置与目标区域在目标图像中的位置可以在水平方向或竖直方向上相差几个像素的距离,增加合成图像的丰富性。
本发明实施例中,获取采集的处于各不同位置的单一对象的图像,并获取各个图像对应的图像标注信息,在需要进行图像合成时,可从已获取的所有图像中选取出一组目标图像,依据目标图像对应的图像标注信息从目标图像中获取出目标区域,合成各目标区域可得到包含多个对象的合成图像,无需通过采集即可得到包含多个对象的图像,不同组合的目标图像可合成出不同的图像,保证了图像的多样性要求,大大减少所需采集的图像数量,图像采集时也无需进行对象排练组合的工作,更省时省力。
在一个实施例中,将从每一目标图像中获取的目标区域进行合成得到合成图像,可以包括:按照预设绘制顺序将各个目标区域绘制到预设背景图像中与目标区域在目标图像中的位置对应的位置处,绘制得到的图像为合成图像。
预设背景图像可以包含指定背景,该指定背景可以与各目标图像中的背景相同,设定背景图像可以预先采集好或者通过其他方式得到。
预设绘制顺序比如可以为:目标区域在目标图像中的位置距目标图像的中心位置越远,则越先将该目标区域绘制到设定背景图像中。如此,可防止合成图像中距相机近的对象被距相机远的对象遮挡。当然,预设绘制顺序可以根据相机在场景中的位置而定,具体不限于此。
目标区域在目标图像的位置可以根据对象所处位置(货位)来定,目标图像的中心位置是所有货位的中心货位。
在一个实施例中,步骤S200中,获取每一图像对应的图像标注信息,包括以下步骤:
S201:接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
S202:从所述控制指令中获取每一图像对应的图像标注信息。
可以由人工描绘出每一图像中对象的轮廓,可依据描绘的轮廓信息生成图像标注信息,并建立当前描绘的图像与当前生成的图像标注信息的对应关系。在描绘完成时,可以由人工触发控制指令,将各图像对应的图像标注信息携带在该控制指令中。电子设备在收到控制指令时,可以读取出控制指令中各图像对应的图像标注信息。当然,此处仅是举例,图像标注信息的获取方式还可以是其他的方式。
在一个实施例中,步骤S200中,获取每一图像的图像标注信息,包括以下步骤:
S203:确定用于图像标注的图像处理算法;
S204:依据所述图像处理算法确定每一图像对应的图像标注信息。
图像处理算法比如可以包括二值化算法、边缘检测算法等等。图像处理算法具体不限,可以根据具体图像标注信息的形式来确定,只要是可用于图像标注的图像处理算法即可。
以边缘检测算法为例,可以通过检测出图像中对象的边缘,根据边缘上各点的位置信息来确定图像标注信息,此处仅是举例,不作为限定。
在一个实施例中,所述图像处理算法为二值化算法。
步骤S204中,依据所述图像处理算法确定每一图像对应的图像标注信息,包括:
S2041:针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
S2042:依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
步骤S2041是对各图像进行二值化处理的过程。在图像采集时,可以采用与对象的色彩区别较大的背景。在对图像二值化之后,可以将图像中的对象和背景用两种灰度值区分开,比如,图像中的对象所在的像素点的当前灰度值都被修改为了第一灰度值,而图像中背景所在的像素点的当前灰度值都被修改为了第二灰度值(当然也可以互换)。
本实施例中,将对图像进行二值化处理后得到图像的称为二值图像。在二值图像中,每个像素点只有两种可能的灰度值即第一灰度值和第二灰度值,第一灰度值比如为255、第二灰度值比如为0(此处的数值仅是举例,当然还可以是其他数值,只要两个灰度值相差一定的数值即可)。
当然,上述的二值化处理过程仅是示例,实际也可以结合目标检测技术来实现,比如先检测出图像中的对象,然后将图像中对象所在区域的像素点取值全部设置为第一灰度值,而将图像中对象所在区域之外的像素点的取值全部设置为第二灰度值,具体实现方式不限。
步骤S2042中,依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。可以将图像经二值化处理后得到的二值图像作为图像对应的图像标注信息。
如果图像中对象所在像素点的当前灰度值都被修改为了第一灰度值,那么所得二值图像中所有取值为第一灰度值的像素点构成的区域可用于定位图像中对象。比如,如果对象呈长方形且处于图像的中间位置,二值图像中所有取值为第一灰度值的像素点构成的区域也会呈长方形且处于二值图像的中间位置。
如图4所示的六幅图像中,上层的三幅图像为采集的图像,而下层的三幅图像为上层三幅图像经二值化处理后的二值图像,下层各二值图像中的白色区域与上层各图像中对象所在区域是分别对应的,包括轮廓大小、轮廓形状、轮廓位置都是完全对应的,各二值图像可以分别指示各上层图像中对象的轮廓,因而二值图像可作为图像对应的图像标注信息。
本实施例中,执行步骤S300时,可以获取目标图像对应的二值图像作为图像标注信息,根据二值图像中取值为第一灰度值的像素点的位置定位目标图像中的对象,从目标图像中截取出对象所处的区域,截取的区域即为目标区域。
由于已经预先确定好各个图像对应的二值图像,因而在从所有图像中选取目标图像时,可直接从二值图像中选取目标图像对应的二值图像,无需每次都对选出的目标图像进行二值化处理得到二值图像,省去不必要的重复工作。
可选的,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域可以包括以下步骤:
针对每一目标图像,遍历该目标图像对应的二值图像中的像素点,如果像素点的取值为第一灰度值,那么该像素点为目标像素点;将目标图像中与所有目标像素点位置对应的像素点构成的区域确定为目标区域。
在一个实施例中,该方法还包括以下步骤:
S500:确定所述合成图像对应的合成图像标注信息;
S600:将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
步骤S500中,确定合成图像对应的合成图像标注信息。合成图像标注信息可以由人工确定,或者可以依据图像处理算法确定(比如图像处理算法为二值化算法,对合成图像进行二值化处理得到合成图像标注信息),或者,可以根据各目标图像对应的图像标注信息确定,具体确定方式不限。
由于各目标图像对应的图像标注信息指示了各目标图像中对象的轮廓,也即指示了由各目标图像的目标区域合成所得的合成图像中对象的轮廓,因而,可根据各目标图像对应的图像标注信息确定合成图像对应的合成图像标注信息。具体确定方式比如,以目标图像对应的图像标注信息为目标对象的二值图像为例,可将各目标对象的二值图像中像素点取值为第一灰度值的区域进行合成,以得到合成图像对应的合成图像标注信息。
合成图像中包含多个对象,合成图像标注信息可以指示合成图像中各对象的轮廓。
步骤S600中,将合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集。重复步骤S300-S500,可以得到不同的合成图像及对应的合成图像标注信息,其中,步骤S300中每次选取的目标图像需要有所不同。
将每次得到的合成图像及对应的合成图像标注信息添加至训练样本集,逐渐增加训练所需的样本量,不同的目标图像组合就可以得到不同的合成图像,增加了样本的多样性。最终训练样本集包括大量丰富的合成图像及其对应的合成图像标注信息,训练样本集用于训练目标识别定位模型。
目标识别定位模型用于识别并定位输入图像中的对象。目标识别定位模型可以是基于深度学习的神经网络模型,训练出目标识别定位模型方式比如包括以下步骤:
获取未训练的神经网络模型;
针对训练样本集中的每个合成图像,将合成图像输入到该神经网络模型中,以由神经网络模型依据合成图像识别并定位各对象得到各对象的轮廓信息,将轮廓信息与合成图像标注信息进行比对,根据比对的差异来优化该神经网络模型的参数;
最终优化得到的神经网络模型即为目标识别定位模型。
在一个实施例中,步骤S500中,所述确定所述合成图像对应的合成图像标注信息,可以包括:
将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像标注信息。
以目标图像对应的图像标注信息为目标对象的二值图像为例,二值图像中所有取值为第一灰度值的像素点构成的区域可用于定位对应目标图像中的对象。将各目标图像对应的图像标注信息进行合成,可以包括:
为各二值图像中取值为第一灰度值的像素点(简称像素点A)确定目标灰度值,不同二值图像的像素点A的目标灰度值不同;
按照预设绘制顺序,将指定背景图像的与二值图像中各像素点A对应的像素点的当前灰度值修改为像素点A的目标灰度值,得到多值图像,作为合成图像标注信息。
指定背景图像可以是所有像素点取值为单一灰度值的图像,比如像素点取值都为0,当然具体取值不限于此。
如图5所示的六幅图像中,上层的三幅图像是由各目标图像的目标区域合成所得的合成图像,下层的三幅图像是由各目标图像对应的二值图像合成所得的多值图像,该多值图像中像素点取值不同的区域可以定位合成图像中不同的对象,因而可作为合成图像对应的合成图像标注信息。
本实施例中,不同二值图像的像素点A的目标灰度值不同,可以使得最终的多值图像中不同对象对应的区域呈现的灰度不同。比如,第一二值图像的像素点A的目标灰度值为20,而第二二值图像的像素点A的目标灰度值为40,那么,指定背景图像的与第一二值图像中各像素点A对应的像素点的当前灰度值修改为20,指定背景图像的与第二二值图像中各像素点A对应的像素点的当前灰度值修改为40。
预设绘制顺序比如可以是,像素点取值为第一灰度值的区域距二值图像的中心位置越远,越先绘制到指定背景图像中。这个预设绘制顺序与目标区域绘制到预设背景图像的顺序相同,保证合成图像标注信息可以准确定位合成图像中的对象。
本发明还提供一种图像合成装置,参看图3,在一个实施例中,图像合成装置100可以包括:
图像获取模块101,用于获取相机采集的处于各不同位置的单一对象的图像;
标注信息获取模块102,用于获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
目标区域获取模块103,用于从获取的所有图像中选取待合成的目标图像,依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
图像合成模块104,用于将从每一目标图像中获取的目标区域进行合成得到合成图像。
在一个实施例中,所述标注信息获取模块包括:
指令接收单元,用于接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
标注信息获取单元,用于从所述控制指令中获取每一图像对应的图像标注信息。
在一个实施例中,所述标注信息获取模块包括:
处理算法确定单元,用于确定用于图像标注的图像处理算法;
标注信息确定单元,用于依据所述图像处理算法确定每一图像对应的图像标注信息。
在一个实施例中,
所述图像处理算法为二值化算法;
所述标注信息确定单元包括:
二值化处理子单元,用于针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
标注信息子单元,用于依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
在一个实施例中,该装置还包括:
合成图像标注信息确定模块,用于确定所述合成图像对应的合成图像标注信息;
模型训练模块,用于将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
在一个实施例中,所述合成图像标注信息确定模块包括:
图像标注信息合成单元,用于将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像标注信息。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。
本发明还提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例中所述的图像合成方法。
本发明图像合成装置的实施例可以应用在电子设备上。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图6所示,图6是本发明根据一示例性实施例示出的图像合成装置100所在电子设备的一种硬件结构图,除了图6所示的处理器510、内存530、接口520、以及非易失性存储器540之外,实施例中装置100所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (9)
1.一种图像合成方法,其特征在于,包括:
获取相机采集的处于各不同位置的单一对象的图像;其中,在采集过程中,先固定相机在图像采集环境中的位置,然后对相机采集的画面进行划分,被划分出的每一个位置用于放置一个对象;各对象依次被摆放至各个位置上,每次采集只有一个对象处于一个位置上的图像,以采集到处于各不同位置的单一对象的图像;
获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
从获取的所有图像中选取处于不同位置上的单一对象的图像作为待合成的目标图像,以使不同目标图像中的对象所处的位置不同,以避免发生合成图像中不同对象完全重叠的情况;依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
按照预设绘制顺序将各个目标区域绘制到预设背景图像中与目标区域在目标图像中的位置对应的位置处,绘制得到的图像为合成图像;
将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像对应的合成图像标注信息;
将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
2.如权利要求1所述的图像合成方法,其特征在于,获取每一图像对应的图像标注信息包括:
接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
从所述控制指令中获取每一图像对应的图像标注信息。
3.如权利要求1所述的图像合成方法,其特征在于,获取每一图像的图像标注信息包括:
确定用于图像标注的图像处理算法;
依据所述图像处理算法确定每一图像对应的图像标注信息。
4.如权利要求3所述的图像合成方法,其特征在于,
所述图像处理算法为二值化算法;
依据所述图像处理算法确定每一图像对应的图像标注信息,包括:
针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
5.一种图像合成装置,其特征在于,包括:
图像获取模块,用于获取相机采集的处于各不同位置的单一对象的图像;其中,在采集过程中,先固定相机在图像采集环境中的位置,然后对相机采集的画面进行划分,被划分出的每一个位置用于放置一个对象;各对象依次被摆放至各个位置上,每次采集只有一个对象处于一个位置上的图像,以采集到处于各不同位置的单一对象的图像;
标注信息获取模块,用于获取每一图像对应的图像标注信息,所述图像标注信息用于指示图像中对象的轮廓;
目标区域获取模块,用于从获取的所有图像中选取处于不同位置上的单一对象的图像作为待合成的目标图像,以使不同目标图像中的对象所处的位置不同,以使不同目标图像中的对象所处的位置不同,以避免发生合成图像中不同对象完全重叠的情况;依据每一目标图像对应的图像标注信息从该目标图像中获取目标区域;
图像合成模块,用于按照预设绘制顺序将各个目标区域绘制到预设背景图像中与目标区域在目标图像中的位置对应的位置处,绘制得到的图像为合成图像;
合成图像标注信息确定模块,用于将各目标图像对应的图像标注信息进行合成,将合成结果确定为所述合成图像对应的合成图像标注信息;
模型训练模块,用于将所述合成图像与所述合成图像对应的合成图像标注信息添加至训练样本集,所述训练样本集用于训练目标识别定位模型,所述目标识别定位模型用于识别并定位输入图像中的对象。
6.如权利要求5所述的图像合成装置,其特征在于,所述标注信息获取模块包括:
指令接收单元,用于接收来自外部的控制指令,所述控制指令携带每一图像对应的图像标注信息;
标注信息获取单元,用于从所述控制指令中获取每一图像对应的图像标注信息。
7.如权利要求5所述的图像合成装置,其特征在于,所述标注信息获取模块包括:
处理算法确定单元,用于确定用于图像标注的图像处理算法;
标注信息确定单元,用于依据所述图像处理算法确定每一图像对应的图像标注信息。
8.如权利要求7所述的图像合成装置,其特征在于,
所述图像处理算法为二值化算法;
所述标注信息确定单元包括:
二值化处理子单元,用于针对每一图像,检查该图像中每一像素点的当前灰度值是否大于设定值,如果是,则将该像素点的当前灰度值修改为第一灰度值,如果否,则将该像素点的当前灰度值修改为第二灰度值,其中,所述第一灰度值大于所述设定值,所述第二灰度值小于所述设定值;
标注信息子单元,用于依据每一图像中各像素点的当前灰度值确定该图像对应的图像标注信息。
9.一种电子设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1-4中任意一项所述的图像合成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910570406.6A CN112150398B (zh) | 2019-06-27 | 2019-06-27 | 图像合成方法、装置及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910570406.6A CN112150398B (zh) | 2019-06-27 | 2019-06-27 | 图像合成方法、装置及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112150398A CN112150398A (zh) | 2020-12-29 |
CN112150398B true CN112150398B (zh) | 2024-03-22 |
Family
ID=73868874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910570406.6A Active CN112150398B (zh) | 2019-06-27 | 2019-06-27 | 图像合成方法、装置及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112150398B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113221737B (zh) * | 2021-05-11 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种物料信息的确定方法、装置、设备及存储介质 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010091361A (ja) * | 2008-10-07 | 2010-04-22 | Yamatake Corp | 画像検査方法および画像検査装置 |
JP2012060468A (ja) * | 2010-09-09 | 2012-03-22 | Casio Comput Co Ltd | 撮像装置、画像生成装置、画像生成プログラム、及び画像生成方法 |
CN103914687A (zh) * | 2014-03-14 | 2014-07-09 | 常州大学 | 一种基于多通道和多阈值的矩形目标识别方法 |
KR101555876B1 (ko) * | 2015-03-31 | 2015-09-30 | 스타십벤딩머신 주식회사 | 영상 합성을 위한 객체 추적 방법 및 시스템 |
WO2016141810A1 (zh) * | 2015-03-11 | 2016-09-15 | 维科技术有限公司 | 拍摄终端的图像处理方法及其装置 |
CN106534689A (zh) * | 2016-11-22 | 2017-03-22 | 珠海格力电器股份有限公司 | 基于多个摄像头合成图像的方法和装置 |
CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
WO2018216537A1 (ja) * | 2017-05-24 | 2018-11-29 | 古野電気株式会社 | 映像生成装置 |
CN108961158A (zh) * | 2017-05-17 | 2018-12-07 | 中国移动通信有限公司研究院 | 一种图像合成方法及装置 |
JP2018198025A (ja) * | 2017-05-25 | 2018-12-13 | 株式会社Five for | 画像処理装置、画像処理装置の制御方法及びプログラム |
CN109194865A (zh) * | 2018-08-06 | 2019-01-11 | 光锐恒宇(北京)科技有限公司 | 图像生成方法、装置、智能终端和计算机可读存储介质 |
CN109215004A (zh) * | 2018-07-26 | 2019-01-15 | 努比亚技术有限公司 | 一种图像合成方法、移动终端及计算机可读存储介质 |
CN109241956A (zh) * | 2018-11-19 | 2019-01-18 | Oppo广东移动通信有限公司 | 合成图像的方法、装置、终端及存储介质 |
US10235601B1 (en) * | 2017-09-07 | 2019-03-19 | 7D Labs, Inc. | Method for image analysis |
WO2019117065A1 (ja) * | 2017-12-15 | 2019-06-20 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8903167B2 (en) * | 2011-05-12 | 2014-12-02 | Microsoft Corporation | Synthesizing training samples for object recognition |
-
2019
- 2019-06-27 CN CN201910570406.6A patent/CN112150398B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010091361A (ja) * | 2008-10-07 | 2010-04-22 | Yamatake Corp | 画像検査方法および画像検査装置 |
JP2012060468A (ja) * | 2010-09-09 | 2012-03-22 | Casio Comput Co Ltd | 撮像装置、画像生成装置、画像生成プログラム、及び画像生成方法 |
CN103914687A (zh) * | 2014-03-14 | 2014-07-09 | 常州大学 | 一种基于多通道和多阈值的矩形目标识别方法 |
WO2016141810A1 (zh) * | 2015-03-11 | 2016-09-15 | 维科技术有限公司 | 拍摄终端的图像处理方法及其装置 |
KR101555876B1 (ko) * | 2015-03-31 | 2015-09-30 | 스타십벤딩머신 주식회사 | 영상 합성을 위한 객체 추적 방법 및 시스템 |
CN106534689A (zh) * | 2016-11-22 | 2017-03-22 | 珠海格力电器股份有限公司 | 基于多个摄像头合成图像的方法和装置 |
CN108961158A (zh) * | 2017-05-17 | 2018-12-07 | 中国移动通信有限公司研究院 | 一种图像合成方法及装置 |
WO2018216537A1 (ja) * | 2017-05-24 | 2018-11-29 | 古野電気株式会社 | 映像生成装置 |
JP2018198025A (ja) * | 2017-05-25 | 2018-12-13 | 株式会社Five for | 画像処理装置、画像処理装置の制御方法及びプログラム |
US10235601B1 (en) * | 2017-09-07 | 2019-03-19 | 7D Labs, Inc. | Method for image analysis |
WO2019117065A1 (ja) * | 2017-12-15 | 2019-06-20 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
CN108537135A (zh) * | 2018-03-16 | 2018-09-14 | 北京市商汤科技开发有限公司 | 对象识别及对象识别网络的训练方法和装置、电子设备 |
CN109215004A (zh) * | 2018-07-26 | 2019-01-15 | 努比亚技术有限公司 | 一种图像合成方法、移动终端及计算机可读存储介质 |
CN109194865A (zh) * | 2018-08-06 | 2019-01-11 | 光锐恒宇(北京)科技有限公司 | 图像生成方法、装置、智能终端和计算机可读存储介质 |
CN109241956A (zh) * | 2018-11-19 | 2019-01-18 | Oppo广东移动通信有限公司 | 合成图像的方法、装置、终端及存储介质 |
Non-Patent Citations (2)
Title |
---|
Statistical models of appearance for medical image analysis and computer vision;Tim F. Cootes et.al;《Medical Imaging 2001: Image Processing》;20010703;第4322卷;全文 * |
基于RGB-D摄像机的增强现实系统关键技术研究;李佳宁;《中国博士学位论文全文数据库 信息科技辑》;20171215(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN112150398A (zh) | 2020-12-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Romero-Ramirez et al. | Speeded up detection of squared fiducial markers | |
CN111474184B (zh) | 基于工业机器视觉的aoi字符缺陷检测方法和装置 | |
EP3740897B1 (en) | License plate reader using optical character recognition on plural detected regions | |
WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
CN110298291B (zh) | 基于Mask-RCNN的牛脸及牛脸关键点检测方法 | |
CN103358993B (zh) | 用于识别车辆停车位线标记的系统和方法 | |
CN110556179B (zh) | 使用深度神经网络标记全脊柱图像的方法和系统 | |
CN110543892A (zh) | 一种基于多层随机森林的零部件识别方法 | |
CN107766859A (zh) | 移动机器人定位方法、装置及移动机器人 | |
CN109911481B (zh) | 面向冶金机器人接插的仓架目标视觉识别定位方法和系统 | |
JP4946878B2 (ja) | 画像識別装置及びプログラム | |
CN111161295B (zh) | 一种菜品图像背景剥离方法 | |
CN112560698A (zh) | 图像处理方法、装置、设备和介质 | |
CN107427835A (zh) | 来自用于实验室自动化的俯视图样品管图像的条码标签状况的分类 | |
CN113538574A (zh) | 位姿定位方法、装置、设备及计算机可读存储介质 | |
CN111126393A (zh) | 车辆外观改装判断方法、装置、计算机设备及存储介质 | |
CN110276759A (zh) | 一种基于机器视觉的手机屏坏线缺陷诊断方法 | |
CN113012096A (zh) | 显示屏子像素定位及亮度提取方法、设备以及存储介质 | |
CN112541394A (zh) | 黑眼圈及鼻炎识别方法、系统及计算机介质 | |
CN112150398B (zh) | 图像合成方法、装置及设备 | |
CN112861867A (zh) | 指针式仪表盘识别方法、系统及存储介质 | |
CN110647889B (zh) | 医学图像识别方法、医学图像识别装置、终端设备及介质 | |
CN117253022A (zh) | 一种对象识别方法、装置及查验设备 | |
CN114332814A (zh) | 一种停车框识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |