CN111243058A - 物件模拟图像生成方法及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种物件模拟图像生成方法及计算机可读存储介质。所述方法包括：获取原始背景图像；设置对应于模拟物件的参数条件，所述参数条件包括多个模拟参数；根据参数条件随机产生模拟生成条件；组合原始背景图像和模拟图像以产生训练图像；组合原始背景图像和所述模拟图像以产生训练图像。

Description

物件模拟图像生成方法及计算机可读存储介质

技术领域

本发明涉及模拟图像技术领域，具体涉及一种物件模拟图像生成方法及计算机可读存储介质。

背景技术

传统图像处理技术在图像识别领域中，针对不同类型的图像不同必须采用不同的图像特征才能达到准确的分析，图像的复杂度越高或是已知的特征越稀少，越需要耗费大量的图像处理和计算资源，而且可能无法达到所需的精准度，因此利用神经网络或深度学习等人工智能技术来进行图像识别已成为热门发展的技术。但是神经网络或深度学习模型需要大量的训练样本来训练模型才能保证模型的准确度，如果模型开发者无法取得足够的训练样本，会影响模型的设计和改良。再者，模型开发者可取得的训练样本的多样性可能不足，无法涵盖所有可能存在的情况，造成模型的训练产生偏差或不足。又或者，模型开发者希望对特殊情况做更深入的学习，但是相关的训练样本取得不易，都会造成技术研发的障碍。

发明内容

有鉴于此，本发明提出一种物件模拟图像生成方法、系统和计算机刻度存储介质，利用既有的背景图像与模拟生成的物件图像组合以产生训练图像。

本发明的一个实施例提供一种物件模拟图像生成方法，用以模拟生成一物件的模拟图像，所述方法包括：

获取原始背景图像；

设置对应于模拟物件的参数条件，所述参数条件包括多个模拟参数；

根据所述参数条件随机产生模拟生成条件；

根据所述模拟生成条件产生模拟图像；及

组合所述原始背景图像和所述模拟图像以产生训练图像。

在一实施方式中，所述方法还包括：

根据所述模拟图像产生模拟识别符；

将所述训练图像与所述模拟识别符关联；及

储存所述模拟识别符。

在一实施方式中，所述方法还包括：

将所述训练图像输入一神经网络模型以产生学习结果；及

根据所述学习结果更新所述模拟识别符。

在一实施方式中，所述设置对应于模拟物件的参数条件包括：

根据所述模拟物件的图像特征选择所述多个模拟参数；及

设置所述多个模拟参数的预设参数范围。

在一实施方式中，所述图像特征包括至少以下二者：轮廓、形状、面积、颜色、灰度、亮度、饱和度、纹理；所述多个模拟参数包括至少以下二者：起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、饱和度差值、亮度、亮度差值、纹理、生成方向、生成形状、生成位置范围。

在一实施方式中，所述根据所述参数条件随机产生模拟生成条件还包括：

从所述预设参数范围中随机选择所述多个模拟参数的参数值；

组合所述参数值产生所述模拟生成条件。

在一实施方式中，所述根据所述参数条件随机产生模拟生成条件还包括：

随机产生对应于第一像素点的第一生成条件；及

根据第一生成条件随机产生对应于第二像素点的第二生成条件。

在一实施方式中，所述根据所述生成条件产生模拟图像包括：

根据所述第一生成条件生成所述第一像素点；

根据所述第二生成条件生成所述第二像素点；及

组合所述第一像素点和所述第二像素点以产生所述模拟图像。

在一实施方式中，所述组合所述原始背景图和所述模拟图像以产生训练图像包括：

获取所述模拟图像中对应于所述模拟物件的物件区域位置信息；及

将所述原始图像中对应的物件区域位置以对应的所述模拟物件的图像取代。

在一实施方式中，所述组合所述原始背景图和所述模拟图像以产生训练图像包括：

获取所述模拟图像中包含所述模拟物件的第一子区域；

获取所述原始背景图的第二子区域；及

结合所述第一子区域和所述第二子区域以产生所述训练图像；

其中所述第二子区域为所述原始背景图排除对应的第一子区域的部分。

本发明的另一实施例提供另一种一种物件模拟图像生成方法，用以生成一模拟物件的模拟图像，所述方法包括：

获取原始背景图像；

提取所述原始背景图中的一或多个固定物件；

设置与所述固定物件相关的遮罩区域；

设置对应于至少二个模拟物件的多个参数条件，所述参数条件分别包括多个模拟参数；

根据所述遮罩区域与所述多个参数条件随机产生多个模拟生成条件；

根据所述多个模拟生成条件产生至少多个模拟物件点；

组合相关联的多个模拟物件点以产生所述至少二个模拟物件；

组合所述至少二个模拟物件以产生模拟物件图；

储存所述模拟物件图。

在一实施方式中，所述方法还包括：

组合所述原始背景图像与所述模拟物件图以产生训练图像；

储存所述训练图像。

在一实施方式中，所述方法还包括：

根据所述模拟物件图产生对应于所述多个模拟物件的多个模拟识别符；

将所述训练图像与所述多个模拟识别符关联；

将所述训练图像输入一神经网络模型以产生学习结果；及

根据所述学习结果更新所述多个模拟识别符。

在一实施方式中，所述提取所述原始背景图中的一或多个固定物件包括：

识别所述原始背景图中包含的所述固定物件，所述固定物件与所述模拟物件不同；

取得所述固定物件在所述原始背景图的位置信息。

在一实施方式中，所述设置与所述固定物件相关的遮罩区域包括；根据所述位置信息选取所述遮罩区域的位置。

在一实施方式中，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：于所述至少二个模拟生成条件中排除所述遮罩区域。

在一实施方式中，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

分别从所述至少二个物件类对应的预设参数范围中随机选择所述多个模拟参数的多个参数值；

组合相同类型的所述多个参数值以产生对应所述至少二个模拟物件的所述至少二个模拟生成条件。

在一实施方式中，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

根据所述至少二个物件类型，判断所述至少二个模拟物件对应的所述遮罩区域；

分别于所述至少二个物件类对应的所述至少二个模拟生成条件中排除对应的所述遮罩区域。

在一实施方式中，所述组合相关联的多个模拟物件点以产生所述至少二个模拟物件还包括：

组合相同物件类型对应的所述模拟生成条件所产生的多个模拟物件点以产生一个所述模拟物件。

在一实施方式中，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

根据所述遮罩区域与所述多个参数条件同时随机产生至少二个第一模拟生成条件；及

根据所述遮罩区域与所述至少二个第一模拟生成条件同时随机产生至少二个第二模拟生成条件。

在一实施方式中，所述根据所述多个模拟生成条件产生至少二个模拟物件点还包括：

根据所述至少二个第一模拟生成条件同时产生至少二个第一模拟物件点；

根据所述至少二个第二模拟生成条件同时产生至少二个第二模拟物件点。

在一实施方式中，所述组合相关联的多个模拟物件点以产生所述至少二个模拟物件还包括：组合相关联的所述第一模拟物件点和所述第二模拟物件点以产生一个所述模拟物件。

一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现上所述物件模拟图像生成方法。

本发明根据设定的模拟参数生成模拟物件图，将所述模拟物件图与零件的原始背景图相结合生成训练图像可以大量生成带有物件的瑕疵样本数据。

附图说明

图1为本发明一实施方式中物件模拟图像生成方法的流程图。

图2为本发明另一实施方式中物件模拟图像生成方法的流程图。

图3为本发明一实施方式中物件模拟图像生成系统的架构图。

图4为本发明一实施方式中电子设备的示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

优选地，本发明的物件模拟图像生成方法可应用在一个或者多个电子设备中。电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。电子设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

在本发明的实施方式中，可利用既有的原始背景图与物件模拟图像组合以产生训练图像，物件模拟图像的生成可根据所欲模拟的物件可能具有的特征参数，随机生成各特征参数值，加以组合后来形成模拟物件。模拟物件的特征参数可以依实际需要设置参数条件来限制物件像素点的位置、颜色、灰度、纹理等，使模拟生成的物件图像更加符合实际物件或训练需求。

图1是本发明一实施方式中物件模拟图像生成方法的流程图。根据不同的需求，所述流程图中步骤的顺序可以改变，某些步骤可以省略。

参阅图1所示，本实施方式的物件模拟图像生成方法具体包括以下步骤。

步骤S101，获取原始背景图。为了使模拟生成的训练图像更加符合训练需要，本发明使用真实场景或是预设场景作为背景。原始背景图可以是不包含需要模拟的物件的背景图，或是将真实物件图像经图像处理后去除物件的背景图。在一实施方式中，原始背景图可以是利用相机单元拍摄取得，或是从存储单元取得，甚或是从远端的存储单元、资料库或伺服器取得。在另一实施方式中，原始背景图可以经过图像前处理，例如滤波处理、采样处理等。

步骤S102，设置对应于模拟物件的参数条件，所述参数条件包括多个模拟参数。由于所要模拟的物件可能具有特定的图像特征，而且模拟图像可能具有某些特定的图像限制，首先要设置模拟物件的模拟参数的参数条件，使模拟生成的物件不至于失真或错误。模拟物件的模拟参数可根据模拟物件需要具备的图像特征来选择，例如模拟物件整体的面积、轮廓、形状、颜色、灰度、饱和度、亮度、纹理等。模拟参数还可根据在模拟生成过程中可能需要的信息来选择，例如起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、饱和度差值、亮度、亮度差值、纹理、生成方向、生成形状、生成位置范围等。模拟参数的选择范围可依据模拟物件的图像特征来设置。

在一实施方式中，可以根据待模拟物件的类型设置不同模拟参数以得到不同的参数条件。举例而言，假设待模拟物件为工件瑕疵，工件瑕疵的类型可包括例如擦伤类型、刮伤类型、碰伤类型及污渍类型。各类型的灰度值或灰度差值可能具有不同的范围，形状和面积也不同，对应的生成方向和生成位置范围因而也都不相同。例如擦伤和污渍可能具有较大面积，但是擦伤具有一定方向性，而污渍的形状不规则。刮伤和碰伤可能具有较高的灰度值，但是亮度不同。

步骤S103，根据参数条件随机产生模拟生成条件。当模拟参数的参数条件设置完毕后，可从各参数的参数范围中随机选择一个参数值，组合所有参数的参数作来产生模拟生成条件。模拟生成条件规范了模拟物件的可具有的像素值。

在一实施方式中，模拟生成条件是依次产生，每一个模拟生成条件对应于构成模拟物件的一个像素点。在一实施方式中，模拟物件的第一个像素点的生成条件是完全随机生成的，而其后的像素点的生成条件则是参考先前像素点的生成条件部分随机生成。例如，当起始像素点的生成条件确定后，第二个像素点的生成方向、生成位置、灰度值、颜色值、饱和度值、亮度值等会受到起始像素值的相关像素值的限制。例如，第二个像素点应该在起始像素点的邻近区域，方向与位置和模拟物件的形状和面积有关，灰度值、颜色值、饱和度值、亮度值应与起始像素点相同或相近，但是具体的像素值可以在上述限制的允许范围内随机生成。因此，在本实施方式中，对应于第一像素点的第一生成条件是随机产生的，而对应于第二像素点的第二生成条件是根据第一生成条件随机产生的。模拟生成条件可如此依次产生，直到达到总生成像素个数所需的模拟生成条件数量。

而在另一实施方式中，模拟生成条件是对应于整个模拟物件，该模拟物件的所有像素点都是根据同一个模拟生成条件而生成。不同的模拟物件具有不同的模拟生成条件。

步骤S104,根据模拟生成条件产生模拟物件图。当模拟生成条件确定后，即可根据模拟生成条件将对应的像素点组合以产生模拟物件的图像。

在上述依次生成各像素点的模拟生成条件的实施方式中，每个像素点也会依次生成，将所有像素点组合后即可得到模拟物件的模拟图像。承上述实施方式，第一像素点是根据第一生成条件生成，而第二像素点是根据第二生成条件生成的。

而在模拟生成条件对应于整个模拟物件的实施方式中，模拟物件的每个像素点则是根据模拟生成条件先生成一个像素点，再将该像素点反馈至模拟生成条件生成下一个像素点，如此依次循环，直到达到总生成像素个数，或是预设物件的形状或面积。在另一个实施方式中，也可利用模拟生成条件直接产生所有像素点。

在一实施方式中，还可根据起始像素点的位置及终点像素点的位置的参数值，从起始像素点的位置开始到终点像素点的位置为止，根据待模拟物件的方向参数值及形状参数值依次生成灰度值随机的像素点，并直至生成的像素点的总数达到像素点的个数的参数值为止来得到模拟物件图。

步骤S105，组合原始背景图和模拟物件图以产生训练图像。

在一实施方式中，训练图像是基于区域相关的拼接算法或基于特征相关的拼接算法组合原始背景图和模拟物件图而产生的。

在一实施方式中，可获取模拟图像中对应于模拟物件的物件区域位置信息，再将原始图像中对应的物件区域位置以对应的模拟物件的图像取代来产生训练图像。例如模拟物件位于模拟图像中的第一子区域，假设第一子区域为矩形，先取得第一子区域的四个顶点位置信息，再将原始图像中对应该四个顶点位置所形成的内部区域的像素以模拟图像的第一子区域来取代，就可以得到训练图像。而在另一个实施方式中，则可以将模拟图像的第一子区域截取出来，以及将原始图像对应该四个顶点位置所形成的外部区域(第二子区域)截取出来，结合第一子区域和第二子区域即可形成训练图像。

步骤S106，根据所述模拟图像产生模拟识别符。在一实施方式中，模拟识别符是对模拟物件图中像素点的灰度值进行二值化处理，并根据二值化的结果产生的。在具体实施方式中，可将模拟物件图中像素点的灰度设置为0或255以对模拟物件图中的像素点的灰度进行二值化，再将灰度值为0的像素点作为背景像素点，并将灰度值为255的像素点作为物件像素点来产生模拟识别符。在一具体实施方式中，灰度值的二值化处理包括：通过k-means聚类方法将模拟物件图的像素点的灰度分为两个分组，将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同。再将模拟物件图中像素点的灰度值与预设阈值进行比较，将像素点大于预设阈值的灰度值设置为255，及将像素点不大于预设阈值的灰度值设置为0，预设阈值可以根据用户的需要进行设置。

步骤S107，将训练图像与模拟识别符相关联，并存储训练图像与所述模拟识别符。在一实施方式中，可将训练图像和模拟识别符储存于本地的存储单元，或是远端的存储单元、资料库或伺服器，以供后续训练时可存取。

在一实施方式中，在步骤S107之后，还可继续执行下列步骤。

步骤S108，将所述训练图像输入一神经网络模型以产生学习结果，根据学习结果更新模拟识别符。如前所述，产生训练图像的其中一个目的在于可作为神经网络或深度学习模型的训练样本。当训练图像输入神经网络模型后，可以根据学习结果得知训练图像是否足够真实或者是否满足训练需求，再据此更新模拟识别符以识别与其相关联的模拟图像是否需要修改或是调整。

本发明根据设定的模拟参数生成模拟物件图，将模拟物件图与原始背景图相结合生成训练图像可以大量生成带有物件的训练样本数据。

图2是本发明另一实施方式中物件模拟图像生成方法的流程图。在本实施方式中，模拟图像可包含二个模拟物件，而且二个模拟物件可以是不同类型，背景图中还可能包含需要保留的其他物件。参阅图2所示，该物件模拟图像生成方法包括以下步骤。

步骤S201，获取原始背景图。原始背景图可以是不包含需要模拟的物件的背景图，或是将真实物件图像经图像处理后去除物件的背景图。但是原始背景图中会包含一或多个不属于待模拟物件的固定物件，而且固定物件是原始背景图中不可缺少或破坏其完整性的物件，或是特定应用中可能存在的特定物件。为了不影响训练图像的模拟真实度，必须保留固定物件，不可以被其他物件遮挡或覆盖。在一实施方式中，原始背景图可以是利用相机单元拍摄取得，或是从存储单元取得，甚或是从远端的存储单元、资料库或伺服器取得。在另一实施方式中，原始背景图可以经过图像前处理，例如滤波处理、采样处理等。

步骤S202，提取原始背景图中的一个或多个固定物件，并设置与所述固定物件相关的遮蔽区域。

在一实施方式中，固定物件可以是根据利用感兴趣区域(Region of Interest,ROI)提取算法，或是其他图像处理或分割方法来识别固定物件并将其提取出来。例如利用固定物件的轮廓特征、灰度特征、颜色特征或是其他像素值的护理来提取固定物件的所在位置。如上所述，固定物件可能影响模拟图像的真实度或训练的准确度，因此需要针对固定物件设置遮蔽区域，避免固定物件在模拟物件生成过程中被遮挡或覆盖。

在一实施方式中，遮蔽区域的设置可以是选择固定物件的所在位置，或是包含固定物件的区域范围，例如根据固定物件所在位置的数个端点框选预设形状的区域。如果固定物件分散在原始背景图的多个位置，可以分别设置多个遮蔽区域，或是选择其中几个对应设置遮蔽区域。例如忽略面积较小的固定物件，或是位于图像中心区域的固定物件。遮蔽区域的选择与设置可以实际需要相应调整和改变。

在另一实施方式中，固定物件的位置还可以作为模拟物件生成位置的参考。例如，模拟物件在实际场景中可能经常在某种固定物件的邻近区域存在，为了提高模拟真实度，模拟物件的位置应该出现在该固定物件附近，而且不可覆盖或遮蔽该固定物件。

步骤S203，设置对应于至少二个模拟物件的多个参数条件。由于所要模拟的物件可能具有特定的图像特征，而且模拟图像可能具有某些特定的图像限制，首先要设置模拟物件的模拟参数的参数条件，使模拟生成的物件不至于失真或错误。在本实施方式中，模拟物件图可包含至少二个模拟物件，因此需要对可生成的多个模拟物件设置多个参数条件。模拟物件的模拟参数可根据模拟物件需要具备的图像特征来选择，例如模拟物件整体的面积、轮廓、形状、颜色、灰度、饱和度、亮度、纹理等。模拟参数还可根据在模拟生成过程中可能需要的信息来选择，例如起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、饱和度差值、亮度、亮度差值、纹理、生成方向、生成形状、生成位置范围等。模拟参数的选择范围可依据模拟物件的图像特征来设置。

在一实施方式中，模拟物件还可以是不同类型的物件，而且对应所需的模拟参数和参数范围也可不相同。例如第一类型物件所需的模拟参数包括起始像素位置、灰度值、生成方向、生成形状、生成位置范围，第二类型物件所需的模拟参数包括起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、亮度、纹理、生成形状、生成位置范围。

步骤S204，根据遮罩区域与多个参数条件随机产生多个模拟生成条件。当模拟参数的参数条件设置完毕后，可从各参数的参数范围中随机选择一个参数值，组合所有参数的参数作来产生模拟生成条件。模拟生成条件规范了模拟物件的可具有的像素值，然而因为需要保留固定物件不被遮蔽，因此模拟生成条件的产生还需要参考遮罩区域的位置。

在一实施方式中，如果随机生成的模拟物件位置落在遮罩区域，则不使用该模拟生成条件或重新随机产生新的模拟生成条件。在另一实施方式中，可以直接参数条件中排除遮罩区域涵盖的位置，从其他未被涵盖的区域设置可选择的位置参数范围。再者，二个模拟物件之间不应互相覆盖，则需要划分各模拟物件可生成或不可生成的区域范围，避免模拟图像失真或有重大缺陷。

在一实施方式中，还可根据模拟物件的类型，判断各类型的模拟物件分别对应的遮罩区域。如S202的其中一个实施方式，特定类型的模拟物件可能特定类型的固定物件有关联性，因此不同类型的模拟物件可能具有不同的遮罩区域。

在一实施方式中，模拟生成条件是依次产生，每一个模拟生成条件对应于构成一个模拟物件的一个像素点。在一实施方式中，每个模拟物件的第一个像素点的生成条件是完全随机生成的，而其后的像素点的生成条件则是参考先前像素点的生成条件部分随机生成。例如，当起始像素点的生成条件确定后，第二个像素点的生成方向、生成位置、灰度值、颜色值、饱和度值、亮度值等会受到起始像素值的相关像素值的限制。例如，第二个像素点应该在起始像素点的邻近区域，方向与位置和模拟物件的形状和面积有关，灰度值、颜色值、饱和度值、亮度值应与起始像素点相同或相近，但是具体的像素值可以在上述限制的允许范围内随机生成。因此，在本实施方式中，对应于第一像素点的第一生成条件是随机产生的，而对应于第二像素点的第二生成条件是根据第一生成条件随机产生的。模拟生成条件可如此依次产生，直到达到总生成像素个数所需的模拟生成条件数量。

而在另一实施方式中，模拟生成条件是对应于整个模拟物件，该模拟物件的所有像素点都是根据同一个模拟生成条件而生成，而不同的模拟物件具有不同的模拟生成条件。

步骤S205，根据多个模拟生成条件产生多个模拟物件点。当模拟生成条件确定后，即可根据模拟生成条件产生对应的模拟物件点。

在上述依次生成各像素点的模拟生成条件的实施方式中，每个像素点也会依次生成，将所有像素点组合后即可得到模拟物件的模拟图像。

而在模拟生成条件对应于整个模拟物件的实施方式中，模拟物件的每个像素点则是根据模拟生成条件先生成一个像素点，再将该像素点反馈至模拟生成条件生成下一个像素点，如此依次循环，直到达到总生成像素个数，或是预设物件的形状或面积。在另一个实施方式中，也可利用模拟生成条件直接产生所有像素点。

在一实施方式中，可分别对像素点的个数、起始像素点的位置、终点像素点的位置、像素点的灰度、待模拟物件的方向、待模拟物件的形状设定参数值来得到模拟生成条件。在遮罩区域外的区域根据起始像素点及终点像素点的位置参数值，从起始像素点的位置开始到终点像素点的位置为止，根据模拟物件的方向参数值及模拟物件的形状参数值依次生成灰度值或颜色值随机的像素点，并直至生成的像素点的总数达到像素点的个数的参数值为止，以得到一个模拟物件。在本发明的一实施方式中，二个不同模拟物件的像素点可以同时生成，不需先生成其中一个模拟物件后，再生成另一个模拟物件。

步骤S206，组合相关联的多个模拟物件点以产生至少二个模拟物件。由于本实施方式中，模拟物件点是从对应于两个不同物件的模拟生成条件所产生，模拟物件点的形成需要正确的组合相关的模拟物件点才可达成。

在上述依次生成各像素点的模拟生成条件的实施方式中，每个像素点会依次生成，因此在生成过程中需要将对应同一模拟物件的模拟生成条件模拟物件点组合来产生完整的模拟物件，避免错误地将对应于两个不同模拟物件的模拟生成条件所产生的模拟物件点相结合造成物件模拟错误。

而在模拟生成条件对应于整个模拟物件的实施方式中，模拟物件的每个像素点则是根据模拟生成条件先生成一个像素点，再将该像素点反馈至模拟生成条件生成下一个像素点，如此依次循环，直到达到总生成像素个数，或是预设物件的形状或面积。同样的，由于两个模拟物件的像素点会被同时生成，因此需要确保像素点与模拟物件的关联没有发生错误。

步骤S207，储存包含所述至少二个模拟物件的模拟物件图。当所有模拟物件都模拟组合完成后，将所生成的模拟物件图像储存至存储单元，以供后续步骤或其他应用之使用。

步骤S208，组合模拟物件图与原始背景图以产生训练图像。在一实施方式中，可基于区域相关的拼接算法或基于特征相关的拼接算法组合模拟物件图与原始背景图来产生训练图像。

在一实施方式中，可获取模拟图像中对应于所有模拟物件的物件区域位置信息，再将原始图像中对应的物件区域位置以对应的模拟物件的图像取代来产生训练图像。例如模拟物件位于模拟图像中的第一子区域，假设第一子区域为矩形，先取得第一子区域的多个顶点位置信息，再将原始图像中对应该四个顶点位置所形成的内部区域的像素以模拟图像的第一子区域来取代，就可以得到训练图像。而在另一个实施方式中，则可以将模拟图像的第一子区域截取出来，以及将原始图像对应该四个顶点位置所形成的外部区域(第二子区域)截取出来，结合第一子区域和第二子区域即可形成训练图像。

在一实施方式中，图2的物件模拟图像生成方法还可包括储存训练图像。

图2的物件模拟图像生成方法所产生的训练图像还可用于神经网络模型学习训练，并且可记录物件模拟图像对应的学习结果。在一实施方式中，可根据模拟物件图产生对应于不同模拟物件的多个模拟识别符，将训练图像与该些模拟识别符关联，将训练图像输入一神经网络模型以产生学习结果，根据学习结果更新该些模拟识别符。如果学习结果表示其中一个模拟物件的可能含有瑕疵，则可以将其对应的模拟识别符加以更新来识别。若多个相似类型的模拟物件都具有问题，则可以对应调整该类型物件的模拟生成条件。

图3为本发明一实施方式中物件模拟图像生成系统30的架构图。

在一些实施方式中，物件模拟图像生成系统30可设置于电子设备中。物件模拟图像生成系统30可以包括多个由程序代码段所组成的功能模块。物件模拟图像生成系统30中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行模拟图像生成功能。

本实施方式中，物件模拟图像生成系统30根据其所执行的功能，可以被划分为多个功能模块。参阅图3所示，物件模拟图像生成系统30可以包括背景图像获取模块301、参数设定模块302、条件生成模块303、第一图像生成模块304、第二图像生成模块305、识别符生成模块306、存储模块307、训练模块308。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。所述在一些实施例中，关于各模块的功能将在后续的实施例中详述。

背景图像获取模块301获取原始背景图。为了使模拟生成的训练图像更加符合训练需要，本发明使用真实场景或是预设场景作为背景。原始背景图可以是不包含需要模拟的物件的背景图，或是将真实物件图像经图像处理后去除物件的背景图。在一实施方式中，原始背景图可以是利用相机单元拍摄取得，或是从存储单元取得，甚或是从远端的存储单元、资料库或伺服器取得。在另一实施方式中，原始背景图可以经过图像前处理，例如滤波处理、采样处理等。

参数设定模块302设置对应于模拟物件的参数条件，所述参数条件包括多个模拟参数。由于所要模拟的物件可能具有特定的图像特征，而且模拟图像可能具有某些特定的图像限制，首先要设置模拟物件的模拟参数的参数条件，使模拟生成的物件不至于失真或错误。模拟物件的模拟参数可根据模拟物件需要具备的图像特征来选择，例如模拟物件整体的面积、轮廓、形状、颜色、灰度、饱和度、亮度、纹理等。模拟参数还可根据在模拟生成过程中可能需要的信息来选择，例如起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、饱和度差值、亮度、亮度差值、纹理、生成方向、生成形状、生成位置范围等。模拟参数的选择范围可依据模拟物件的图像特征来设置。

在一实施方式中，参数设定模块302根据待模拟物件的类型设置不同模拟参数以得到不同的参数条件。举例而言，假设待模拟物件为工件瑕疵，工件瑕疵的类型可包括例如擦伤类型、刮伤类型、碰伤类型及污渍类型。各类型的灰度值或灰度差值可能具有不同的范围，形状和面积也不同，对应的生成方向和生成位置范围因而也都不相同。例如擦伤和污渍可能具有较大面积，但是擦伤具有一定方向性，而污渍的形状不规则。刮伤和碰伤可能具有较高的灰度值，但是亮度不同。

条件生成模块303根据参数条件随机产生模拟生成条件。当模拟参数的参数条件设置完毕后，可从各参数的参数范围中随机选择一个参数值，组合所有参数的参数作来产生模拟生成条件。模拟生成条件规范了模拟物件的可具有的像素值。

在一实施方式中，模拟生成条件是依次产生，每一个模拟生成条件对应于构成模拟物件的一个像素点。在一实施方式中，模拟物件的第一个像素点的生成条件是完全随机生成的，而其后的像素点的生成条件则是参考先前像素点的生成条件部分随机生成。例如，当起始像素点的生成条件确定后，第二个像素点的生成方向、生成位置、灰度值、颜色值、饱和度值、亮度值等会受到起始像素值的相关像素值的限制。例如，第二个像素点应该在起始像素点的邻近区域，方向与位置和模拟物件的形状和面积有关，灰度值、颜色值、饱和度值、亮度值应与起始像素点相同或相近，但是具体的像素值可以在上述限制的允许范围内随机生成。因此，在本实施方式中，对应于第一像素点的第一生成条件是随机产生的，而对应于第二像素点的第二生成条件是根据第一生成条件随机产生的。模拟生成条件可如此依次产生，直到达到总生成像素个数所需的模拟生成条件数量。

而在另一实施方式中，模拟生成条件是对应于整个模拟物件，该模拟物件的所有像素点都是根据同一个模拟生成条件而生成。不同的模拟物件具有不同的模拟生成条件。

第一图像生成模块304根据模拟生成条件产生模拟物件图。当模拟生成条件确定后，即可根据模拟生成条件将对应的像素点组合以产生模拟物件的图像。

在上述依次生成各像素点的模拟生成条件的实施方式中，每个像素点也会依次生成，将所有像素点组合后即可得到模拟物件的模拟图像。承上述实施方式，第一像素点是根据第一生成条件生成，而第二像素点是根据第二生成条件生成的。

而在模拟生成条件对应于整个模拟物件的实施方式中，模拟物件的每个像素点则是根据模拟生成条件先生成一个像素点，再将该像素点反馈至模拟生成条件生成下一个像素点，如此依次循环，直到达到总生成像素个数，或是预设物件的形状或面积。在另一个实施方式中，也可利用模拟生成条件直接产生所有像素点。

在一实施方式中，第一图像生成模块304根据起始像素点的位置及终点像素点的位置的参数值，从起始像素点的位置开始到终点像素点的位置为止，根据待模拟物件的方向参数值及形状参数值依次生成灰度值随机的像素点，并直至生成的像素点的总数达到像素点的个数的参数值为止来得到模拟物件图。

第二图像生成模块305组合原始背景图和模拟物件图以产生训练图像。

在一实施方式中，第二图像生成模块305基于区域相关的拼接算法或基于特征相关的拼接算法组合原始背景图和模拟物件图产生训练图像。

在一实施方式中，第二图像生成模块305获取模拟图像中对应于模拟物件的物件区域位置信息，再将原始图像中对应的物件区域位置以对应的模拟物件的图像取代来产生训练图像。例如模拟物件位于模拟图像中的第一子区域，假设第一子区域为矩形，先取得第一子区域的四个顶点位置信息，再将原始图像中对应该四个顶点位置所形成的内部区域的像素以模拟图像的第一子区域来取代，就可以得到训练图像。而在另一个实施方式中，则可以将模拟图像的第一子区域截取出来，以及将原始图像对应该四个顶点位置所形成的外部区域(第二子区域)截取出来，结合第一子区域和第二子区域即可形成训练图像。

识别符生成模块306根据所述模拟图像产生模拟识别符。在一实施方式中，模拟识别符是对模拟物件图中像素点的灰度值进行二值化处理，并根据二值化的结果产生的。在具体实施方式中，识别符生成模块306将模拟物件图中像素点的灰度设置为0或255以对模拟物件图中的像素点的灰度进行二值化，再将灰度值为0的像素点作为背景像素点，并将灰度值为255的像素点作为物件像素点来产生模拟识别符。在一具体实施方式中，识别符生成模块306通过k-means聚类方法将模拟物件图的像素点的灰度分为两个分组，将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同，再将模拟物件图中像素点的灰度值与预设阈值进行比较，将像素点大于预设阈值的灰度值设置为255，及将像素点不大于预设阈值的灰度值设置为0，预设阈值可以根据用户的需要进行设置。

存储模块307将训练图像与模拟识别符相关联，并存储训练图像与所述模拟识别符。在一实施方式中，存储模块307将训练图像和模拟识别符储存于本地的存储单元，或是远端的存储单元、资料库或伺服器，以供后续训练时可存取。

训练模块308将所述训练图像输入一神经网络模型以产生学习结果，根据学习结果更新模拟识别符。当训练图像输入神经网络模型后，训练模块308根据学习结果得知训练图像是否足够真实或者是否满足训练需求，再据此更新模拟识别符以识别与其相关联的模拟图像是否需要修改或是调整。

本发明根据设定的模拟参数生成模拟物件图，将模拟物件图与原始背景图相结合生成训练图像可以大量生成带有物件的训练样本数据。

图4为本发明一实施方式中电子设备6的示意图。

所述电子设备6包括存储器61、处理器62以及存储在存储器61中并可在处理器62上运行的计算机程序63。处理器62可执行计算机程序63以实现上述物件模拟图像生成方法实施例中的步骤，例如图1所示的步骤S101～S108或图2所示的步骤S201～S208。或者，所述处理器62执行计算机程序63时实现上述物件模拟图像生成系统实施例中各模块/单元的功能，例如图3中的模块301～308。

示例性的，计算机程序63可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器61中，并由处理器62执行，以完成本发明。上述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，指令段用于描述计算机程序63在电子设备6中的执行过程。例如，计算机程序63可以被分割成图3中的背景图像获取模块301、参数设定模块302、条件生成模块303、第一图像生成模块304、第二图像生成模块305、识别符生成模块306、存储模块307、训练模块308。

在一实施方式中，电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端终端装置等计算设备。本领域技术人员可以理解，所述示意图仅仅是电子设备6的示例，并不构成对电子设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备6还可以包括输入输出设备、网络接入设备、总线等。

所称处理器62可以是中央处理模块(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者处理器62也可以是任何常规的处理器等，处理器62是所述电子设备6的控制中心，利用各种接口和线路连接整个电子设备6的各个部分。

存储器61可用于存储计算机程序63和/或模块/单元，处理器62通过运行或执行存储在存储器61内的计算机程序和/或模块/单元，以及调用存储在存储器61内的数据，实现电子设备6的各种功能。存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。存储数据区可存储根据电子设备6的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器61可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述电子设备6集成的模块/单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，所述计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。

在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (23)

1.一种物件模拟图像生成方法，用以模拟生成一物件的模拟图像，所述方法包括：

获取原始背景图像；

设置对应于模拟物件的参数条件，所述参数条件包括多个模拟参数；

根据所述参数条件随机产生模拟生成条件；

根据所述模拟生成条件产生模拟图像；及

组合所述原始背景图像和所述模拟图像以产生训练图像。

2.如权利要求1所述的物件模拟图像生成方法，所述方法还包括：

根据所述模拟图像产生模拟识别符；

将所述训练图像与所述模拟识别符关联；及

储存所述模拟识别符。

3.如权利要求2所述的物件模拟图像生成方法，所述方法还包括：

将所述训练图像输入一神经网络模型以产生学习结果；及

根据所述学习结果更新所述模拟识别符。

4.如权利要求1所述的物件模拟图像生成方法，所述设置对应于模拟物件的参数条件包括：

根据所述模拟物件的图像特征选择所述多个模拟参数；及

设置所述多个模拟参数的预设参数范围。

5.如权利要求4所述的物件模拟图像生成方法，所述图像特征包括至少以下二者：轮廓、形状、面积、颜色、灰度、亮度、饱和度、纹理；所述多个模拟参数包括至少以下二者：起始像素位置、总生成像素个数、颜色值、颜色差值、灰度差值、灰度值、饱和度、饱和度差值、亮度、亮度差值、纹理、生成方向、生成形状、生成位置范围。

6.如权利要求4所述的物件模拟图像生成方法，所述根据所述参数条件随机产生模拟生成条件还包括：

从所述预设参数范围中随机选择所述多个模拟参数的参数值；

组合所述参数值产生所述模拟生成条件。

7.如权利要求1所述的物件模拟图像生成方法，所述根据所述参数条件随机产生模拟生成条件还包括：

随机产生对应于第一像素点的第一生成条件；及

根据第一生成条件随机产生对应于第二像素点的第二生成条件。

8.如权利要求7所述的物件模拟图像生成方法，所述根据所述生成条件产生模拟图像包括：

根据所述第一生成条件生成所述第一像素点；

根据所述第二生成条件生成所述第二像素点；及

组合所述第一像素点和所述第二像素点以产生所述模拟图像。

9.如权利要求1所述的物件模拟图像生成方法，所述组合所述原始背景图和所述模拟图像以产生训练图像包括：

获取所述模拟图像中对应于所述模拟物件的物件区域位置信息；及

将所述原始图像中对应的物件区域位置以对应的所述模拟物件的图像取代。

10.如权利要求1所述的物件模拟图像生成方法，所述组合所述原始背景图和所述模拟图像以产生训练图像包括：

获取所述模拟图像中包含所述模拟物件的第一子区域；

获取所述原始背景图的第二子区域；及

结合所述第一子区域和所述第二子区域以产生所述训练图像；

其中所述第二子区域为所述原始背景图排除对应的第一子区域的部分。

11.一种物件模拟图像生成方法，用以生成一模拟物件的模拟图像，所述方法包括：

获取原始背景图像；

提取所述原始背景图中的一或多个固定物件；

设置与所述固定物件相关的遮罩区域；

设置对应于至少二个模拟物件的多个参数条件，所述参数条件分别包括多个模拟参数；

根据所述遮罩区域与所述多个参数条件随机产生多个模拟生成条件；

根据所述多个模拟生成条件产生至少多个模拟物件点；

组合相关联的多个模拟物件点以产生所述至少二个模拟物件；

组合所述至少二个模拟物件以产生模拟物件图；

储存所述模拟物件图。

12.如权利要求11所述的物件模拟图像生成方法，所述方法还包括：

组合所述原始背景图像与所述模拟物件图以产生训练图像；

储存所述训练图像。

13.如权利要求12所述的物件模拟图像生成方法，所述方法还包括：

根据所述模拟物件图产生对应于所述多个模拟物件的多个模拟识别符；

将所述训练图像与所述多个模拟识别符关联；

将所述训练图像输入一神经网络模型以产生学习结果；及

根据所述学习结果更新所述多个模拟识别符。

14.如权利要求11所述的物件模拟图像生成方法，所述提取所述原始背景图中的一或多个固定物件包括：

识别所述原始背景图中包含的所述固定物件，所述固定物件与所述模拟物件不同；

取得所述固定物件在所述原始背景图的位置信息。

15.如权利要求14所述的物件模拟图像生成方法，所述设置与所述固定物件相关的遮罩区域包括；根据所述位置信息选取所述遮罩区域的位置。

16.如权利要求15所述的物件模拟图像生成方法，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：于所述至少二个模拟生成条件中排除所述遮罩区域。

17.如权利要求11所述的物件模拟图像生成方法，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

分别从所述至少二个物件类对应的预设参数范围中随机选择所述多个模拟参数的多个参数值；

组合相同类型的所述多个参数值以产生对应所述至少二个模拟物件的所述至少二个模拟生成条件。

18.如权利要求17所述的物件模拟图像生成方法，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

根据所述至少二个物件类型，判断所述至少二个模拟物件对应的所述遮罩区域；

分别于所述至少二个物件类对应的所述至少二个模拟生成条件中排除对应的所述遮罩区域。

19.如权利要求17所述的物件模拟图像生成方法，所述组合相关联的多个模拟物件点以产生所述至少二个模拟物件还包括：

组合相同物件类型对应的所述模拟生成条件所产生的多个模拟物件点以产生一个所述模拟物件。

20.如权利要求11所述的物件模拟图像生成方法，所述根据所述遮罩区域与所述多个参数条件随机产生至少二个模拟生成条件还包括：

根据所述遮罩区域与所述多个参数条件同时随机产生至少二个第一模拟生成条件；及

根据所述遮罩区域与所述至少二个第一模拟生成条件同时随机产生至少二个第二模拟生成条件。

21.如权利要求20所述的物件模拟图像生成方法，所述根据所述多个模拟生成条件产生至少二个模拟物件点还包括：

根据所述至少二个第一模拟生成条件同时产生至少二个第一模拟物件点；

根据所述至少二个第二模拟生成条件同时产生至少二个第二模拟物件点。

22.如权利要求20所述的物件模拟图像生成方法，所述组合相关联的多个模拟物件点以产生所述至少二个模拟物件还包括：组合相关联的所述第一模拟物件点和所述第二模拟物件点以产生一个所述模拟物件。

23.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1-22中任一项所述物件模拟图像生成方法。

Images