CN111292396B

CN111292396B - 图像样本集生成方法、设备、装置及存储介质

Info

Publication number: CN111292396B
Application number: CN202010051064.XA
Authority: CN
Inventors: 李雅琴; 韩派; 袁操
Original assignee: Wuhan Polytechnic University
Current assignee: Wuhan Polytechnic University
Priority date: 2020-01-16
Filing date: 2020-01-16
Publication date: 2023-08-29
Anticipated expiration: 2040-01-16
Also published as: CN111292396A

Abstract

本发明公开了一种图像样本集生成方法、设备、装置及存储介质，属于图像处理技术领域。本发明获取包含标注特征信息的单幅样本图像，对单幅样本图像进行噪声处理，获得噪声样本图像，通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像，根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像，根据所述单幅样本图像和多张所述编辑图像构建图像样本集，通过单幅图像进行标注，根据标注的单幅图像构建图像样本集，能够快速准确生成图像样本集，并且通过噪声处理及判断，同时提高了图像样本集生成的准确性。

Description

图像样本集生成方法、设备、装置及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像样本集生成方法、设备、装置及存储介质。

背景技术

机器学习中的深度学习对数据集具有相当大的要求，不仅需要大量数据的数据集，而且对于图像数据的类型、尺寸及类别都有严格的要求，使得在某些复杂的情况下不易获取到足够数量的图像样本，目前应用较为广泛的一种做法是通过人工标注的方法对图像数据中的特征进行一一标注，从而得到图像样本集，但是这种做法会花费大量的人力财力，导致图像样本集的生成效率较低，同时生成的图像样本也不够准确。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种图像样本集生成方法、设备、装置及存储介质，旨在提高图像样本集的生成效率与准确性。

为实现上述目的，本发明提供了一种图像样本集生成方法，所述方法包括以下步骤:

获取包含标注特征信息的单幅样本图像；

对所述单幅样本图像进行噪声处理，获得噪声样本图像；

通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像；

根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像；

根据所述单幅样本图像和多张所述编辑图像构建图像样本集。

优选地，所述获取包含标注特征信息的单幅样本图像的步骤包括：

从数据库中获取自然图像集；

对所述自然图像集进行筛选，以获得单幅目标自然图像；

对所述单幅目标自然图像进行特征标注，获得包含标注特征信息的单幅样本图像。

优选地，所述对所述单幅目标自然图像进行特征标注，获得包含标注特征信息的单幅样本图像的步骤包括：

获取所述单幅目标自然图像对应的多个图像块，并根据所述多个图像块确定目标图像块；

对所述单幅目标自然图像中的目标图像块进行标注，以获得包含标注特征信息的单幅样本图像。

优选地，所述对所述单幅样本图像进行噪声处理，获得噪声样本图像的步骤包括：

根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像；

对所述各尺度层的当前样本图像进行噪声处理，获得各尺度层的噪声样本图像。

优选地，所述对所述各尺度层的当前样本图像进行噪声处理，获得各尺度层的噪声样本图像的步骤包括：

随机生成噪声图像，并将所述噪声图像输入至各尺度层中；

将各尺度层中的当前样本图像与所述噪声图像进行融合，获得各尺度层的噪声样本图像。

优选地，所述将各尺度层中的当前样本图像与所述噪声图像进行融合，获得各尺度层的噪声样本图像的步骤包括：

获取各尺度层对应的尺度粗细度；

根据所述尺度粗细度将各尺度层中的当前样本图像与噪声图像依次进行融合，以获得各尺度层的噪声样本图像。

优选地，所述通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像的步骤包括：

通过预设判别器对各尺度层的噪声样本图像依次进行图像块判断，以获得符合预设条件的目标噪声样本图像；

将所述目标噪声样本图像作为目标样本图像。

此外，为实现上述目的，本发明还提出一种图像样本集生成装置，所述装置包括：

获取模块，用于获取包含标注特征信息的单幅样本图像；

输入模块，用于对所述单幅样本图像进行噪声处理，获得噪声样本图像；

判断模块，用于通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像；

输出模块，用于根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像；

生成模块，用于根据所述单幅样本图像和多张所述编辑图像构建图像样本集。

此外，为实现上述目的，本发明还提出一种图像样本集生成设备，所述图像样本集生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像样本集生成程序，所述图像样本集生成程序配置为实现如上文所述的图像样本集生成方法的步骤。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有图像样本集生成程序，所述图像样本集生成程序被处理器执行时实现如上文所述的图像样本集生成方法的步骤。

本发明获取包含标注特征信息的单幅样本图像，对单幅样本图像进行噪声处理，获得噪声样本图像，通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像，根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像，根据所述单幅样本图像和多张所述编辑图像构建图像样本集，通过单幅图像进行标注，根据标注的单幅图像构建图像样本集，能够快速准确生成图像样本集，并且通过噪声处理及判断，同时提高了图像样本集生成的准确性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的图像样本集生成设备的结构示意图；

图2为本发明图像样本集生成方法第一实施例的流程示意图；

图3为本发明图像样本集生成方法第二实施例的流程示意图；

图4为本发明图像样本集生成装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的图像样本集生成设备结构示意图。

如图1所示，该图像样本集生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像样本集生成程序。

在图1所示的图像样本集生成设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明图像样本集生成设备中的处理器1001、存储器1005可以设置在图像样本集生成设备中，所述图像样本集生成设备通过处理器1001调用存储器1005中存储的图像样本集生成程序，并执行本发明实施例提供的图像样本集生成方法。

本发明实施例提供了一种图像样本集生成方法，参照图2，图2为本发明一种图像样本集生成方法第一实施例的流程示意图。

本实施例中，所述图像样本集生成方法包括以下步骤：

步骤S10：获取包含标注特征信息的单幅样本图像。

需要说明的是，本实施例的执行主体为计算机中的图像处理器，可用于对计算机中各种图像进行获取及编辑，图像处理器通过从数据库中获取自然图像集，并对自然图像集进行筛选，得到单幅目标自然图像，容易理解的是，本实施例的图像样本集生成不需要多张自然图像，只需要单幅目标自然图像即可得到所需要的图像样本集，单幅目标自然图像筛选的条件为判断自然图像中是否包含指定对象，例如从数据库中获取到的自然图像集中有五张自然图像A、B、C、D及E，假设指定对象为红色热气球，遍历五张自然图像，其中三张自然图像A、B及C中均不包含热气球，另外两张自然图像D和E分别包含黄色热气球和红色热气球，经过筛选后，从五张自然图像中筛选出包含红色热气球的自然图像E，将自然图像E作为单幅目标自然图像。

进一步地，在得到单幅目标自然图像之后，需要对单幅自然图像进行特征标注，特征标注的过程具体为先获取单幅目标自然图像对应的多个图像块，根据多个图像块确定目标图像块，再对目标图像块进行特征标注，即可得到包含标注特征信息的单幅样本图像，标注特征信息包括红色方框标记或黄色三角框标记等，可以根据实际情况自行设定，本实施例不加以限制，为了便于理解，进行举例说明，例如获取单幅目标自然图像X对应的图像块分别为P1、P2及P3，图像块P1中包含的对象为蓝色天空，图像块P2中包含的对象为山川，图像块P3中包含的对象为彩色热气球，假设指定对象为彩色热气球，则可以确定图像块P3为目标图像块，对目标图像块P3进行红色方框标记，得到带红色方块标记的图像块P3'，将图像块P1、P2及P3'组成的图像作为包含标注特征信息的单幅样本图像。

步骤S20：对所述单幅样本图像进行噪声处理，获得噪声样本图像。

步骤S30：通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像。

在本实施例中，对单幅样本图像进行噪声处理具体为生成噪声图像，并将噪声图像输入至单幅样本图像，噪声图像为包含图像数据中不必要或多余的干扰信息的图像，通过将噪声图像输入至单幅样本图像，使得单幅样本图像中含有冗余信息，从而得到噪声样本图像，此外，在得到噪声样本图像之后，需要通过预设判别器对噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像，本实施例中预设判别器优选为马尔科夫判别器，也可以为其他判别器，本实施例不加以限制，判断结果为图像清晰度，将清晰度最高的噪声样本图像作为目标样本图像。

步骤S40：根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像。

步骤S50：根据所述单幅样本图像和多张所述编辑图像构建图像样本集。

需要说明的是，目标样本图像中包含标注特征信息，根据目标样本图像获取包含标注特征信息的多张可编辑图像，例如目标样本图像中用黄色三角框标注了一只小鸟，可以根据标注特征信息获取到编辑图像A和B，编辑图像A中包含用黄色三角框标注了一只小鸟及蓝色天空，编辑图像B中包含两只用相同黄色三角框标注的相同的小鸟，进一步地，在得到多张编辑图像之后，根据单幅样本图像和多张所述编辑图像构建图像样本集，即可实现对包含标注特征信息的单幅样本图像的扩展。

本实施例获取包含标注特征信息的单幅样本图像，对单幅样本图像进行噪声处理，获得噪声样本图像，通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像，根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像，根据所述单幅样本图像和多张所述编辑图像构建图像样本集，通过单幅图像进行标注，根据标注的单幅图像构建图像样本集，能够快速准确生成图像样本集，并且通过噪声处理及判断，同时提高了图像样本集生成的准确性。

参考图3，图3为本发明一种图像样本集生成方法第二实施例的流程示意图。

基于上述第一实施例，所述步骤S20具体包括：

步骤S201：根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像。

步骤S202：对所述各尺度层的当前样本图像进行噪声处理，获得各尺度层的噪声样本图像。

在本实施例中，对单幅样本图像进行噪声处理需要根据多尺度结构对单幅图像进行划分，多尺度结构是基于神经网络中的多尺度模型，通过多个尺度层将单幅样本图像划分成金字塔结构，金字塔结构每层代表一个尺度层，每个尺度层中均有对应的样本图像，即当前样本图像，对单幅样本图像进行噪声处理为对各尺度层的当前样本图像进行噪声处理。

进一步地，每个尺度层都有对应的尺度粗细度，并且各尺度层的尺度粗细度不同，各尺度层的尺度粗细度按照由粗到细的顺序在金字塔结构中由下至上排列，即最底尺度层的尺度粗细度最粗，尺度层的尺度粗细度与尺度层中的当前样本图像的清晰度存在对应关系，尺度粗细度越细，当前样本图像越清晰。

在具体实现中，对所述各尺度层的当前样本图像进行噪声处理，获得各尺度层的噪声样本图像的过程具体为随机生成噪声图像，并将噪声图像输入至各尺度层中，将各尺度层中的当前样本图像与所述噪声图像进行融合，获得各尺度层的噪声样本图像，每个尺度层中噪声图像与当前样本图像融合运动到两个计算公式：其中n<N，/>表示第N层尺度层融合后的噪声样本图像，/>表示第n层尺度层融合后的噪声样本图像G表示用于进行图像融合的生成器，生成器内部包含5个3x3卷积块，Z表示随机噪声图像，/>表示/>的下采样图像，即/>的下一层经过融合后的噪声样本图像，根据金字塔结构可知，/>对应的尺度层比/>对应的尺度层更粗，融合所运用的公式的含义为各尺度层的当前样本图像为下一层的当前样本图像与噪声样本图像融合后的图像，在多尺度金字塔结构中，融合顺序为按照尺度粗细度由粗到细的顺序进行融合，例如对单幅样本图像进行划分后，得到两层尺度层分别为尺度层X和尺度层Y，尺度层X比尺度层Y更粗，因此在对尺度金字塔结构中，尺度层X位于底层，尺度层Y位于第二层，按照尺度粗细度由粗到细的顺序依次对尺度层X和Y中的当前样本图像进行融合，先将噪声图像Z₁输入至尺度层X中，将尺度层中的当前样本图像X₁噪声图像Z₁进行融合得到X₁'，X₁'即为尺度层Y中的当前样本图像，再将噪声图像Z₂输入至尺度层Y中，将噪声图像Z₂尺度层Y中的当前样本图像X₁'进行融合，得到噪声样本图像Y₁。

进一步地，所述步骤S30具体包括：

步骤S301：通过预设判别器对各尺度层的噪声样本图像依次进行图像块判断，以获得符合预设条件的目标噪声样本图像。

步骤S302：将所述目标噪声样本图像作为目标样本图像。

在具体实现中，在得到各尺度层的噪声样本之后，通过预设判别器对各尺度层的噪声样本图像进行判断，预设判别器为本实施例中预设判别器优选为马尔科夫判别器，也可以为其他判别器，本实施例不加以限制，对噪声样本图像进行判断是将每个尺度层融合后得到的噪声样本图像与最初包含标注特征信息的单幅样本图像进行比对，得到符合预设条件的噪声样本图像即为目标噪声样本图像，预设条件是指计算机无法将目标噪声样本图像与单幅样本图像进行区分，即可以认定目标噪声样本图像的清晰度及包含的标注特征信息的数据量与单幅样本图像无差别。

本实施例通过根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像，随机生成噪声图像，并将噪声图像输入至各尺度层中，获取各尺度层对应的尺度粗细度，根据尺度粗细度将各尺度层中的当前样本图像与噪声图像依次进行融合，以获得各尺度层的噪声样本图像，对各尺度层的噪声样本图像依次进行图像块判断，以获得符合预设条件的目标噪声样本图像，将目标噪声样本图像作为目标样本图像，通过将各尺度层中输入噪声图像，并通过判别器进行判断，使得生成的目标样本图像更加清晰准确，提高了图像样本集生成的准确性。

参照图4，图4为本发明图像样本集生成装置第一实施例的结构框图。

如图4所示，本发明实施例提出的图像样本集生成装置包括：

获取模块10，用于获取包含标注特征信息的单幅样本图像。

在本实施例中，图像样本集生成装置通过从数据库中获取自然图像集，并对自然图像集进行筛选，得到单幅目标自然图像，容易理解的是，本实施例的图像样本集生成不需要多张自然图像，只需要单幅目标自然图像即可得到所需要的图像样本集，单幅目标自然图像筛选的条件为判断自然图像中是否包含指定对象，例如从数据库中获取到的自然图像集中有五张自然图像A、B、C、D及E，假设指定对象为红色热气球，遍历五张自然图像，其中三张自然图像A、B及C中均不包含热气球，另外两张自然图像D和E分别包含黄色热气球和红色热气球，经过筛选后，从五张自然图像中筛选出包含红色热气球的自然图像E，将自然图像E作为单幅目标自然图像。

输入模块20，用于对所述单幅样本图像进行噪声处理，获得噪声样本图像。

判断模块30，用于通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像。

输出模块40，用于根据所述目标样本图像获取包含所述标注特征信息的多张编辑图像。

生成模块50，用于根据所述单幅样本图像和多张所述编辑图像构建图像样本集。

在一实施例中，所述获取模块10，还用于从数据库中获取自然图像集；对所述自然图像集进行筛选，以获得单幅目标自然图像；对所述单幅目标自然图像进行特征标注，获得包含标注特征信息的单幅样本图像。

在一实施例中，所述获取模块10，还用于获取所述单幅目标自然图像对应的多个图像块，并根据所述多个图像块确定目标图像块；对所述单幅目标自然图像中的目标图像块进行标注，以获得包含标注特征信息的单幅样本图像。

在一实施例中，所述输入模块20，还用于根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像；对所述各尺度层的当前样本图像进行噪声处理，获得各尺度层的噪声样本图像。

在一实施例中，所述输入模块20，还用于随机生成噪声图像，并将所述噪声图像输入至各尺度层中；将各尺度层中的当前样本图像与所述噪声图像进行融合，获得各尺度层的噪声样本图像。

在一实施例中，所述输入模块20，还用于获取各尺度层对应的尺度粗细度；根据所述尺度粗细度将各尺度层中的当前样本图像与噪声图像依次进行融合，以获得各尺度层的噪声样本图像。

在一实施例中，所述判断模块30，还用于通过预设判别器对各尺度层的噪声样本图像依次进行图像块判断，以获得符合预设条件的目标噪声样本图像；将所述目标噪声样本图像作为目标样本图像。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有图像样本集生成程序，所述图像样本集生成程序被处理器执行时实现如上文所述的图像样本集生成方法的步骤。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的图像样本集生成方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种图像样本集生成方法，其特征在于，所述方法包括：

获取包含标注特征信息的单幅样本图像；

对所述单幅样本图像进行噪声处理，获得噪声样本图像；

根据所述单幅样本图像和多张所述编辑图像构建图像样本集；

所述对所述单幅样本图像进行噪声处理，获得噪声样本图像的步骤包括：

根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像，所述多尺度结构包括尺寸颗粒度从粗到细，从下至上排列的多个尺度层；

随机生成噪声图像，并将所述噪声图像输入至各尺度层中；

将当前尺度层中的当前样本图像与当前尺度层的噪声图像进行融合，得到下一尺度层的当前样本图像，将多尺度结构中各尺度层的当前样本图像从下至上进行融合，得到噪声样本图像。

2.如权利要求1所述的图像样本集生成方法，其特征在于，所述获取包含标注特征信息的单幅样本图像的步骤包括：

从数据库中获取自然图像集；

对所述自然图像集进行筛选，以获得单幅目标自然图像；

3.如权利要求2所述的图像样本集生成方法，其特征在于，所述对所述单幅目标自然图像进行特征标注，获得包含标注特征信息的单幅样本图像的步骤包括：

4.如权利要求1所述的图像样本集生成方法，其特征在于，所述通过预设判别器对所述噪声样本图像进行图像块判断，并根据判断结果获得目标样本图像的步骤包括：

将所述目标噪声样本图像作为目标样本图像。

5.一种图像样本集生成装置，其特征在于，所述装置包括：

获取模块，用于获取包含标注特征信息的单幅样本图像；

生成模块，用于根据所述单幅样本图像和多张所述编辑图像构建图像样本集；

其中，所述输入模块，还用于根据多尺度结构对所述单幅样本图像进行划分，以获得各尺度层的当前样本图像；随机生成噪声图像，并将所述噪声图像输入至各尺度层中；将当前尺度层中的当前样本图像与当前尺度层的噪声图像进行融合，得到下一尺度层的当前样本图像，将多尺度结构中各尺度层的当前样本图像从下至上进行融合，得到噪声样本图像。

6.一种图像样本集生成设备，其特征在于，所述图像样本集生成设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的图像样本集生成程序，所述图像样本集生成程序配置为实现如权利要求1至4中任一项所述的图像样本集生成方法的步骤。

7.一种存储介质，其特征在于，所述存储介质上存储有图像样本集生成程序，所述图像样本集生成程序被处理器执行时实现如权利要求1至4任一项所述的图像样本集生成方法的步骤。