CN111275126A - 样本数据集生成方法、装置、设备及存储介质 - Google Patents
样本数据集生成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111275126A CN111275126A CN202010089529.0A CN202010089529A CN111275126A CN 111275126 A CN111275126 A CN 111275126A CN 202010089529 A CN202010089529 A CN 202010089529A CN 111275126 A CN111275126 A CN 111275126A
- Authority
- CN
- China
- Prior art keywords
- image
- original
- compared
- data set
- sample data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
Abstract
本发明涉及计算机视觉技术领域，公开了一种样本数据集生成方法、装置、设备及存储介质，所述方法包括：获取原始图像和原始图像的原始分辨率，对原始图像进行下采样，获得下采样图像，通过预设生成器模型对下采样图像和与下采样图像同等大小的随机噪声进行融合处理，生成训练图像，根据原始分辨率对训练图像进行上采样，获得满足原始分辨率的待比较图像，并与原始图像进行比较，确定目标图像来组建样本数据集。从而通过对原始图像进行下采样后与随机噪声融合，再对生成的图像进行上采样获得待比较图像，并从中确定目标图像来组建样本数据集，解决了如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种样本数据集生成方法、装置、设备及存储介质。
背景技术
虽然普通的生成对抗网络在视觉数据的许多方面都取得了巨大的飞跃，但事实上还存在许多不能解决的难题，如在许多建模案例中，人们往往需要具有多个类别、高度多样化的样本数据集，但通常这种样本数据集的获取是一项重大的挑战，不光会浪费大量的时间去搜集数据，还需要大量的成本，也可能研究人员搜索到的数据并不能满足自己所需，比如说人脸、卧室等。
所以，存在着如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提出一种样本数据集生成方法、装置、设备及存储介质，旨在一定程度解决如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
为实现上述目的，本发明提供一种样本数据集生成方法，所述样本数据集生成方法包括以下步骤：
获取原始图像和所述原始图像的原始分辨率；
对所述原始图像进行下采样，获得下采样图像；
通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；
根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；
将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；
根据所述目标图像组建样本数据集。
优选地，所述根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像，具体包括：
对所述训练图像进行上采样，获得上采样图像；
通过所述预设生成器模型对所述上采样图像和与所述上采样图像同等大小的随机噪声进行融合处理，生成待处理图像；
获取所述待处理图像的分辨率，并判断所述待处理图像的分辨率与所述原始分辨率是否相同；
在所述待处理图像的分辨率与所述原始分辨率不相同时，将所述待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤；
在所述待处理图像的分辨率与所述原始分辨率相同时，对所述待处理图像进行遍历，并将遍历到的待处理图像作为待比较图像。
优先地，所述将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
通过预设判别器对所述待比较图像和所述原始图像进行判别处理，获得所述待比较图像和所述原始图像的感受野，以及所述待比较图像的像素直方图和所述原始图像的像素直方图；
根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
优选地，所述根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述感受野判断所述待比较图像和所述原始图像之间的轮廓相似度；
在所述轮廓相似度大于预设轮廓相似度阈值时，根据所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
优选地，所述根据所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述待比较图像的像素直方图和所述原始图像的像素直方图确定直方图损失；
生成所述直方图损失对应的直方图统计图；
根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
优选地，所述根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述直方图统计图确定所述待比较图像和所述原始图像在预设图像区域上的像素数量差值；
判断所述像素数量差值是否小于预设像素数量差值阈值；
根据判断结果确定所述待比较图像和所述原始图像之间的图像相似度；
根据所述图像相似度确定目标图像。
优选地，所述根据所述图像相似度确定目标图像，具体包括：
根据所述图像相似度确定待处理图像；
对所述待处理图像进行二值化处理，获得黑白图像；
对所述黑白图像进行评估，根据评估结果确定目标图像。
此外，为实现上述目的，本发明还提出一种样本数据集生成装置，所述样本数据集生成装置包括：
图像获取模块，用于获取原始图像和所述原始图像的原始分辨率；
下采样模块，用于对所述原始图像进行下采样，获得下采样图像；
图像训练模块，用于通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；
上采样模块，用于根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；
目标确定模块，用于将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；
数据集组建模块，用于根据所述目标图像组建样本数据集。
此外，为实现上述目的，本发明还提出一种样本数据集生成设备，所述样本数据集生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的样本数据集生成程序，所述样本数据集生成程序配置有实现如上所述的样本数据集生成方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有样本数据集生成程序，所述样本数据集生成程序被处理器执行时实现如上文所述的样本数据集生成方法的步骤。
本发明提出的样本数据集生成方法，通过获取原始图像和所述原始图像的原始分辨率；对所述原始图像进行下采样，获得下采样图像；通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；根据所述目标图像组建样本数据集。从而通过对原始图像进行下采样后与随机噪声融合，再对生成的图像进行上采样获得待比较图像，并从中确定目标图像来组建样本数据集，解决了如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的样本数据集生成设备结构示意图；
图2为本发明样本数据集生成方法第一实施例的流程示意图；
图3为本发明样本数据集生成方法第二实施例的流程示意图；
图4为本发明样本数据集生成方法第三实施例的流程示意图；
图5为本发明样本数据集生成装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的样本数据集生成设备结构示意图。
如图1所示，该样本数据集生成设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如按键，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速随机存取存储器(Random Access Memory，RAM)存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对样本数据集生成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及样本数据集生成程序。
在图1所示的样本数据集生成设备中，网络接口1004主要用于连接外网，与其他网络设备进行数据通信；用户接口1003主要用于连接用户设备，与所述用户设备进行数据通信；本发明设备通过处理器1001调用存储器1005中存储的样本数据集生成程序，并执行本发明实施例提供的样本数据集生成方法。
基于上述硬件结构，提出本发明样本数据集生成方法实施例。
参照图2，图2为本发明样本数据集生成方法第一实施例的流程示意图。
在第一实施例中，所述样本数据集生成方法包括以下步骤：
步骤S10，获取原始图像和所述原始图像的原始分辨率。
需要说明的是，本实施例的执行主体可为样本数据集生成设备，还可为其他可实现相同或相似功能的设备，本实施例对此不作限制，在本实施例中，以样本数据集生成设备为例进行说明。
需要说明的是，原始图像为单幅自然图像，可为人脸图像、卧室图像、风景图像等，还可为其他图像，本实施例对此不作限制。
在具体实现中，例如，用户需要针对某一课题进行研究测试，需要大量关于该课题的样本图像，但是收集这些样本图像比较困难，而且需要花费很多时间，而通过本方案，可以在用户只有一张样本图像的情况下，对其进行处理，在保留原始图像纹理细节的情况下，生成多张具有相同视觉内容的高质量、多变的目标图像，根据目标图像来组建样本数据集，以满足用户对多张样本图像的需求，而最开始的那张样本图像便是原始图像，在获取原始图像的同时，还需获取原始图像的分辨率，将原始图像的分辨率作为原始分辨率，最后用来组建样本数据集的目标图像的分辨率均与原始分辨率相同，即样本数据集中的图像都是与原始图像大小相同的图像，方便用户使用这些图像。
步骤S20，对所述原始图像进行下采样，获得下采样图像。
需要说明的是，下采样和上采样是图片处理领域的技术名词，总的来说，下采样就是缩小图像，上采样就是放大图像，关于上采样和下采样的具体定义及含义由于对本领域技术人员来说是很常规的、为公众所知的，因此，在此不对此进行详细的阐述。
在具体实现中，可对原始图像进行rn倍的下采样，可获得较粗糙分辨率的下采样图像，本实施例中是从较粗尺度到精细尺度(图像金字塔)逐层采取适应图像大小的生成器和判别器分别进行训练和测试，为了能够适应多尺度学习将原始图像的图片规格下采样处理成方便执行的规格，至于对原始图像进行下采样后获得的下采样图像的分辨率，可由用户根据实际情况进行设置，将原始图像下采样为合适分辨率的下采样图像，理论上只要满足下采样图像的分辨率小于原始分辨率即可，本实施例对此不作限制。
应当理解的是，多尺度学习具体指的是对信号的不同粒度或图像的不同频率进行采样，其中所有尺度空间是由不同高斯核平滑卷积得到，在所有尺度上有相同的分辨率。
步骤S30，通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像。
需要说明的是，所述预设生成器模型可为对抗神经网络模型，通过预设生成器模型对下采样图像和与下采样图像同等尺寸大小的随机噪声进行融合处理，可生成具有不同特点的训练图像，这也就满足非条件生成模型的特点，即根据噪声生成样本，在最粗的尺度下，是纯生成过程，随着生成过程的进行，可以捕捉更细尺寸的结构。
应当理解的是，由于与采样图像图等尺寸大小的随机噪声是不固定，可能会存在多种随机噪声，因此生成的训练图像也是多张各种各样的图像。
步骤S40，根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像。
需要说明的是，对生成的训练图像进行r倍上采样，得到的图像再与随机噪声进行融合继续生成图像，对每个尺度生成的图像继续进行上采样处理，直到获得满足原始分辨率的待比较图像为止。
可以理解的是，所述待比较图像的分辨率与所述原始图像的原始分辨率大小相同。
步骤S50，将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
应当理解的是，在获得待比较图像后，还需要将待比较图像与原始图像进行比较，判断其是否符合规范，并且还需要判断待比较图像与原始图像是否相似，最后再对其进行评估，以最终确定目标图像。
可以理解的是，可通过图像的感受野和像素直方图对待比较图像与原始图像进行比较，感受野为卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小。
步骤S60，根据所述目标图像组建样本数据集。
可以理解的是，在确定目标图像之后，便可根据这些目标图像组建样本数据集。
应当理解的是，本实施例中对单一原始图像进行训练得出包含多种多样的目标图像的样本数据集，生成的目标图像不限其位置固定，只要在像素上没有明显差别都算是好的生成图像。
本实施例中通过获取原始图像和所述原始图像的原始分辨率；对所述原始图像进行下采样，获得下采样图像；通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；根据所述目标图像组建样本数据集。从而通过对原始图像进行下采样后与随机噪声融合，再对生成的图像进行上采样获得待比较图像，并从中确定目标图像来组建样本数据集，解决了如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
在一实施例中，如图3所示，基于第一实施例提出本发明样本数据集生成方法第二实施例，所述步骤S40，包括：
步骤S401，对所述训练图像进行上采样，获得上采样图像。
可以理解的是，可对原始图像进行rn倍的下采样生成下采样图像，再对下采样图像进行r倍的上采样获得上采样图像，还需要对上采样进行n-1次上采样才能获得满足原始分辨率的待比较图像，即总共需要进行n次上采样操作。
步骤S402，通过所述预设生成器模型对所述上采样图像和与所述上采样图像同等大小的随机噪声进行融合处理，生成待处理图像。
应当理解的是，再对下采样图像进行上采样获得上采样图像后，再次通过预设生成器模型对上采样图像和与上采样图像同等大小的随机噪声进行融合处理，生成待处理图像。
步骤S403，获取所述待处理图像的分辨率，并判断所述待处理图像的分辨率与所述原始分辨率是否相同。
需要说明是，获取待处理图像的分辨率，通过判断待处理图像的分辨率与原始分辨率是否相同的方式来判断是否继续进行上采样，若不相同则需要继续进行上采样，若相同则可停止上采样操作。
步骤S404，在所述待处理图像的分辨率与所述原始分辨率不相同时，将所述待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤。
应当理解的是，在分辨率不相同时，将待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤，并将生成的上采样图像继续与随机噪声进行融合，生成待处理图像，直至待处理图像的分辨率与原始分辨率相同为止。
步骤S405，在所述待处理图像的分辨率与所述原始分辨率相同时，对所述待处理图像进行遍历，并将遍历到的待处理图像作为待比较图像。
可以理解的是，由于最开始对原始图像进行下采样后与随机噪声进行融合生成的训练图像有多种，而后每一次图像与随机噪声进行融合都会又生成多种图像，因此，在分辨率相同时，对待处理图像进行遍历，将遍历到的待处理图像作为待比较图像，再通过将待比较图像与原始图像进行比较，确定目标图像。
应当理解的是，本实施例中根据图像金字塔的原理用多尺度学习的方式，从较低尺度向较高尺度的方向进行训练，图像样本的生成是从最粗尺度开始，然后顺序的通过所有生成器逐渐生成最好尺度图像，这整个过程需要将生成器训练出来的图像不断上采样直到达到原始分辨率位置，具体来说，噪声加上图像作为输入输送给一系列卷积层，该卷积层具有残差网络的特点可以生成图像中缺少的细节。
可以理解的是，残差网络由许多残差块构成，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，其优点是容易优化，并且能够通过增加相当的深度来提高准确率。
本实施例中通过对所述训练图像进行上采样，获得上采样图像，通过所述预设生成器模型对所述上采样图像和与所述上采样图像同等大小的随机噪声进行融合处理，生成待处理图像，获取所述待处理图像的分辨率，并判断所述待处理图像的分辨率与所述原始分辨率是否相同，在所述待处理图像的分辨率与所述原始分辨率不相同时，将所述待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤，在所述待处理图像的分辨率与所述原始分辨率相同时，对所述待处理图像进行遍历，并将遍历到的待处理图像作为待比较图像，从而对训练图像进行对此上采样，并多次与随机噪声进行融合，直至生成的待处理图像的分辨率与原始分辨率相同为止，再将所有与原始分辨率相同的待处理图像作为待比较图像，通过这种方式可生成多张各种各样的待比较图像。
在一实施例中，如图4所示，基于第一实施例或第二实施例提出本发明样本数据集生成方法第三实施例，在本实施例中，基于第一实施例进行说明，所述步骤S50，包括：
步骤S501，通过预设判别器对所述待比较图像和所述原始图像进行判别处理，获得所述待比较图像和所述原始图像的感受野，以及所述待比较图像的像素直方图和所述原始图像的像素直方图。
需要说明的是，将生成的待比较图像与原始图像进行对比，通过判别器识别生成图片的真假，其中，判别器内利用马尔科夫鉴别器、直方图损失来对图像进行鉴别，马尔科夫鉴别器根据图像由较粗尺度到更为精细尺度变化，当图像处于粗糙阶段(图像分辨率较低)时，鉴别器比较的是两个图像大致的轮廓，而越精细的尺度感受野也越来越小，比较更为精细的细节。
应当理解的是，马尔科夫鉴别器完全由卷积层构成，每一层的输出都是一个n×n的矩阵，最后取输出矩阵的均值作为True/False的输出。
需要说明的是，直方图损失针对生成图像和真实图像做差值处理，比较两张图像在分辨率和像素上的区别，注意学习到的图像中若涉及多个对象时，可能生成图像中的对象所处的位置有所改变，但直方图损失并不会介意这样改变，它的判定是根据每个像素值具有的像素数来做直方图统计，若两张图像显示的像素直方图较为接近，说明该生成图像较为真实。
应当理解的是，直方图损失是针对直方图显示出来信息分布的一种损失计算方法，Histogram-loss将相似的特征点对(positive pair)和不相似的特征点(negativepair)对进行排列组成概率分布(probability distribution)，然后对positive pair的概率分布做累计密度分布，将positive pair的累计密度分布和negative pair的分布进行相乘，然后再进行积分，就得到了我们需要的Histogram-loss。
步骤S502，根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
进一步地，所述步骤S502，包括：
根据所述感受野判断所述待比较图像和所述原始图像之间的轮廓相似度，在所述轮廓相似度大于预设轮廓相似度阈值时，根据所述待比较图像的像素直方图和所述原始图像的像素直方图确定直方图损失，生成所述直方图损失对应的直方图统计图，根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
需要说明的是，首先根据感受野判断待比较图像和原始图像之间的轮廓相似度，在其满足条件时，再根据待比较图像的像素值直方图和原始图像的像素直方图确定直方图损失，在损失越小时，则说明相似度越大。
Histogram-loss公式的定义如下：
上式中p-是negative pair的概率分布，而p+是positive pair的概率分布。注意这里损失的实际意义是：通过在正样本中随机取样所得到的相似性比从负样本中随机取样得到的相似性低的可能性。我们可以通过试着降低直方图损失，来有针对性的优化生成器，使其生成的图像越来越逼真。
应当理解的是，生成直方图损失对应的直方图统计图，在直方图统计图上，横坐标为0-255的像素，纵坐标为处在该像素值的像素个数，越高说明像素越多，分布越密集。
进一步地，所述根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，包括：
根据所述直方图统计图确定所述待比较图像和所述原始图像在预设图像区域上的像素数量差值，判断所述像素数量差值是否小于预设像素数量差值阈值，根据判断结果确定所述待比较图像和所述原始图像之间的图像相似度，根据所述图像相似度确定目标图像。
可以理解的是，根据直方统计图可确定待比较图像和原始图像在预设图像区域上的像素数量差值，在像素数量差值小于预设像素数量差值阈值时，则说明待比较图像与原始图像之间的图像相似度较高，可将其作为目标图像，反之则说明相似度较低，将其筛选掉。
进一步地，所述根据所述图像相似度确定目标图像，包括：
根据所述图像相似度确定待处理图像，对所述待处理图像进行二值化处理，获得黑白图像，对所述黑白图像进行评估，根据评估结果确定目标图像。
可以理解的是，根据图像相似度的高低确定待处理图像，还需要对其进行进一步地评估，通过对待处理图像进行二值化处理，可得到0-1的黑白图像，对黑白图像进行评估来确定目标图像，通过这种方式可进一步地使目标图像更加准确，减少在样本数据集中出现不可用图像的几率。
应当理解的是，最后还可通过定量评估来证明该方案的可行性，为了量化目标图像的真实性以及他们捕捉原始图像内部统计信息的程度，在得到的样本数据集上进行定性和定量的测试，引用FID作为评估指标得出该方案的可行性，FID是评估生成图像质量的度量标准，专门用于评估生成对抗网络的性能，FID分数被用于评估由生成性对抗网络生成的图像的质量，较低的分数与较高质量的图像有很高的相关性，FID在最佳情况下的得分为0.0，表示两组图像相同。
本实施例中通过预设判别器对所述待比较图像和所述原始图像进行判别处理，获得所述待比较图像和所述原始图像的感受野，以及所述待比较图像的像素直方图和所述原始图像的像素直方图；根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。从而判断待比较图像与原始图像的相似度来确定目标图像，防止出现不真实、不可用的图像，提升了生成的样本数据集中的图像的可用程度。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有样本数据集生成程序，所述样本数据集生成程序被处理器执行时实现如上文所述的样本数据集生成方法的步骤。
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
此外，参照图5，本发明实施例还提出一种样本数据集生成装置，所述样本数据集生成装置包括：
图像获取模块10，用于获取原始图像和所述原始图像的原始分辨率。
需要说明的是，原始图像为单幅自然图像，可为人脸图像、卧室图像、风景图像等，还可为其他图像，本实施例对此不作限制。
在具体实现中，例如，用户需要针对某一课题进行研究测试，需要大量关于该课题的样本图像，但是收集这些样本图像比较困难，而且需要花费很多时间，而通过本方案，可以在用户只有一张样本图像的情况下，对其进行处理，在保留原始图像纹理细节的情况下，生成多张具有相同视觉内容的高质量、多变的目标图像，根据目标图像来组建样本数据集，以满足用户对多张样本图像的需求，而最开始的那张样本图像便是原始图像，在获取原始图像的同时，还需获取原始图像的分辨率，将原始图像的分辨率作为原始分辨率，最后用来组建样本数据集的目标图像的分辨率均与原始分辨率相同，即样本数据集中的图像都是与原始图像大小相同的图像，方便用户使用这些图像。
下采样模块20，用于对所述原始图像进行下采样，获得下采样图像。
需要说明的是，下采样和上采样是图片处理领域的技术名词，总的来说，下采样就是缩小图像，上采样就是放大图像，关于上采样和下采样的具体定义及含义由于对本领域技术人员来说是很常规的、为公众所知的，因此，在此不对此进行详细的阐述。
在具体实现中，可对原始图像进行rn倍的下采样，可获得较粗糙分辨率的下采样图像，本实施例中是从较粗尺度到精细尺度(图像金字塔)逐层采取适应图像大小的生成器和判别器分别进行训练和测试，为了能够适应多尺度学习将原始图像的图片规格下采样处理成方便执行的规格，至于对原始图像进行下采样后获得的下采样图像的分辨率，可由用户根据实际情况进行设置，将原始图像下采样为合适分辨率的下采样图像，理论上只要满足下采样图像的分辨率小于原始分辨率即可，本实施例对此不作限制。
应当理解的是，多尺度学习具体指的是对信号的不同粒度或图像的不同频率进行采样，其中所有尺度空间是由不同高斯核平滑卷积得到，在所有尺度上有相同的分辨率。
图像训练模块30，用于通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像。
需要说明的是，所述预设生成器模型可为对抗神经网络模型，通过预设生成器模型对下采样图像和与下采样图像同等尺寸大小的随机噪声进行融合处理，可生成具有不同特点的训练图像，这也就满足非条件生成模型的特点，即根据噪声生成样本，在最粗的尺度下，是纯生成过程，随着生成过程的进行，可以捕捉更细尺寸的结构。
应当理解的是，由于与采样图像图等尺寸大小的随机噪声是不固定，可能会存在多种随机噪声，因此生成的训练图像也是多张各种各样的图像。
上采样模块40，用于根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像。
需要说明的是，对生成的训练图像进行r倍上采样，得到的图像再与随机噪声进行融合继续生成图像，对每个尺度生成的图像继续进行上采样处理，直到获得满足原始分辨率的待比较图像为止。
可以理解的是，所述待比较图像的分辨率与所述原始图像的原始分辨率大小相同。
目标确定模块50，用于将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
应当理解的是，在获得待比较图像后，还需要将待比较图像与原始图像进行比较，判断其是否符合规范，并且还需要判断待比较图像与原始图像是否相似，最后再对其进行评估，以最终确定目标图像。
可以理解的是，可通过图像的感受野和像素直方图对待比较图像与原始图像进行比较，感受野为卷积神经网络每一层输出的特征图上的像素点在输入图片上映射的区域大小。
数据集组建模块60，用于根据所述目标图像组建样本数据集。
可以理解的是，在确定目标图像之后，便可根据这些目标图像组建样本数据集。
应当理解的是，本实施例中对单一原始图像进行训练得出包含多种多样的目标图像的样本数据集，生成的目标图像不限其位置固定，只要在像素上没有明显差别都算是好的生成图像。
本实施例中通过获取原始图像和所述原始图像的原始分辨率；对所述原始图像进行下采样，获得下采样图像；通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；根据所述目标图像组建样本数据集。从而通过对原始图像进行下采样后与随机噪声融合，再对生成的图像进行上采样获得待比较图像，并从中确定目标图像来组建样本数据集，解决了如何根据单一图像得出包含多种图像的样本数据集，以满足图像样本需求的技术问题。
在一实施例中，所述上采样模块40，还用于对所述训练图像进行上采样，获得上采样图像；通过所述预设生成器模型对所述上采样图像和与所述上采样图像同等大小的随机噪声进行融合处理，生成待处理图像；获取所述待处理图像的分辨率，并判断所述待处理图像的分辨率与所述原始分辨率是否相同；在所述待处理图像的分辨率与所述原始分辨率不相同时，将所述待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤；在所述待处理图像的分辨率与所述原始分辨率相同时，对所述待处理图像进行遍历，并将遍历到的待处理图像作为待比较图像。
在一实施例中，所述目标确定模块50，还用于通过预设判别器对所述待比较图像和所述原始图像进行判别处理，获得所述待比较图像和所述原始图像的感受野，以及所述待比较图像的像素直方图和所述原始图像的像素直方图；根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
在一实施例中，所述目标确定模块50，还用于根据所述感受野判断所述待比较图像和所述原始图像之间的轮廓相似度；在所述轮廓相似度大于预设轮廓相似度阈值时，根据所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
在一实施例中，所述目标确定模块50，还用于根据所述待比较图像的像素直方图和所述原始图像的像素直方图确定直方图损失；生成所述直方图损失对应的直方图统计图；根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
在一实施例中，所述目标确定模块50，还用于根据所述直方图统计图确定所述待比较图像和所述原始图像在预设图像区域上的像素数量差值；判断所述像素数量差值是否小于预设像素数量差值阈值；根据判断结果确定所述待比较图像和所述原始图像之间的图像相似度；根据所述图像相似度确定目标图像。
在一实施例中，所述目标确定模块50，还用于根据所述图像相似度确定待处理图像；对所述待处理图像进行二值化处理，获得黑白图像；对所述黑白图像进行评估，根据评估结果确定目标图像。
在本发明所述样本数据集生成装置的其他实施例或具体实现方法可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该估算机软件产品存储在如上所述的一个估算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台智能设备(可以是手机，估算机，样本数据集生成设备，空调器，或者网络样本数据集生成设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种样本数据集生成方法，其特征在于，所述样本数据集生成方法包括以下步骤：
获取原始图像和所述原始图像的原始分辨率；
对所述原始图像进行下采样，获得下采样图像；
通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；
根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；
将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；
根据所述目标图像组建样本数据集。
2.如权利要求1所述的样本数据集生成方法，其特征在于，所述根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像，具体包括：
对所述训练图像进行上采样，获得上采样图像；
通过所述预设生成器模型对所述上采样图像和与所述上采样图像同等大小的随机噪声进行融合处理，生成待处理图像；
获取所述待处理图像的分辨率，并判断所述待处理图像的分辨率与所述原始分辨率是否相同；
在所述待处理图像的分辨率与所述原始分辨率不相同时，将所述待处理图像作为新的训练图像，并返回执行所述对所述训练图像进行上采样，获得上采样图像的步骤；
在所述待处理图像的分辨率与所述原始分辨率相同时，对所述待处理图像进行遍历，并将遍历到的待处理图像作为待比较图像。
3.如权利要求1所述的样本数据集生成方法，其特征在于，所述将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
通过预设判别器对所述待比较图像和所述原始图像进行判别处理，获得所述待比较图像和所述原始图像的感受野，以及所述待比较图像的像素直方图和所述原始图像的像素直方图；
根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
4.如权利要求3所述的样本数据集生成方法，其特征在于，所述根据所述感受野、所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述感受野判断所述待比较图像和所述原始图像之间的轮廓相似度；
在所述轮廓相似度大于预设轮廓相似度阈值时，根据所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
5.如权利要求4所述的样本数据集生成方法，其特征在于，所述根据所述待比较图像的像素直方图和所述原始图像的像素直方图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述待比较图像的像素直方图和所述原始图像的像素直方图确定直方图损失；
生成所述直方图损失对应的直方图统计图；
根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像。
6.如权利要求5所述的样本数据集生成方法，其特征在于，所述根据所述直方图统计图将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像，具体包括：
根据所述直方图统计图确定所述待比较图像和所述原始图像在预设图像区域上的像素数量差值；
判断所述像素数量差值是否小于预设像素数量差值阈值；
根据判断结果确定所述待比较图像和所述原始图像之间的图像相似度；
根据所述图像相似度确定目标图像。
7.如权利要求6所述的样本数据集生成方法，其特征在于，所述根据所述图像相似度确定目标图像，具体包括：
根据所述图像相似度确定待处理图像；
对所述待处理图像进行二值化处理，获得黑白图像；
对所述黑白图像进行评估，根据评估结果确定目标图像。
8.一种样本数据集生成装置，其特征在于，所述样本数据集生成装置包括：
图像获取模块，用于获取原始图像和所述原始图像的原始分辨率；
下采样模块，用于对所述原始图像进行下采样，获得下采样图像；
图像训练模块，用于通过预设生成器模型对所述下采样图像和与所述下采样图像同等大小的随机噪声进行融合处理，生成训练图像；
上采样模块，用于根据所述原始分辨率对所述训练图像进行上采样，获得满足所述原始分辨率的待比较图像；
目标确定模块，用于将所述待比较图像与所述原始图像进行比较，并根据比较结果确定目标图像；
数据集组建模块，用于根据所述目标图像组建样本数据集。
9.一种样本数据集生成设备，其特征在于，所述样本数据集生成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的样本数据集生成程序，所述样本数据集生成程序配置有实现如权利要求1至7中任一项所述的样本数据集生成方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有样本数据集生成程序，所述样本数据集生成程序被处理器执行时实现如权利要求1至7中任一项所述的样本数据集生成方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089529.0A CN111275126A (zh) | 2020-02-12 | 2020-02-12 | 样本数据集生成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010089529.0A CN111275126A (zh) | 2020-02-12 | 2020-02-12 | 样本数据集生成方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111275126A true CN111275126A (zh) | 2020-06-12 |
Family
ID=71002081
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010089529.0A Pending CN111275126A (zh) | 2020-02-12 | 2020-02-12 | 样本数据集生成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111275126A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205103A (zh) * | 2021-04-19 | 2021-08-03 | 金科智融科技(珠海)有限公司 | 一种轻量级的文身检测方法 |
| CN113378840A (zh) * | 2020-12-22 | 2021-09-10 | 浙江大华技术股份有限公司 | 一种车牌的检测方法及装置 |
| CN115860067A (zh) * | 2023-02-16 | 2023-03-28 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009040976A1 (ja) * | 2007-09-28 | 2009-04-02 | Sony Computer Entertainment Inc. | 対象物追跡装置および対象物追跡方法 |
| CN106296634A (zh) * | 2015-05-28 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种检测相似图像的方法和装置 |
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN109815943A (zh) * | 2019-03-18 | 2019-05-28 | 北京石油化工学院 | 一种危化品仓储堆垛图片样本生成方法及系统 |
| CN110263872A (zh) * | 2019-06-26 | 2019-09-20 | 上海鹰瞳医疗科技有限公司 | 训练数据处理方法及装置 |
| CN110533582A (zh) * | 2019-08-15 | 2019-12-03 | 中国民航大学 | 一种基于生成式对抗网络的安检x光违禁品图像合成方法 |
| CN110765976A (zh) * | 2019-11-01 | 2020-02-07 | 重庆紫光华山智安科技有限公司 | 人脸特征点的生成方法、数据网络的训练方法及相关装置 |
-
2020
- 2020-02-12 CN CN202010089529.0A patent/CN111275126A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009040976A1 (ja) * | 2007-09-28 | 2009-04-02 | Sony Computer Entertainment Inc. | 対象物追跡装置および対象物追跡方法 |
| CN106296634A (zh) * | 2015-05-28 | 2017-01-04 | 腾讯科技（深圳）有限公司 | 一种检测相似图像的方法和装置 |
| US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
| CN109815943A (zh) * | 2019-03-18 | 2019-05-28 | 北京石油化工学院 | 一种危化品仓储堆垛图片样本生成方法及系统 |
| CN110263872A (zh) * | 2019-06-26 | 2019-09-20 | 上海鹰瞳医疗科技有限公司 | 训练数据处理方法及装置 |
| CN110533582A (zh) * | 2019-08-15 | 2019-12-03 | 中国民航大学 | 一种基于生成式对抗网络的安检x光违禁品图像合成方法 |
| CN110765976A (zh) * | 2019-11-01 | 2020-02-07 | 重庆紫光华山智安科技有限公司 | 人脸特征点的生成方法、数据网络的训练方法及相关装置 |
Non-Patent Citations (4)
| Title |
|---|
| EVGENIYA USTINOVA: "Learning Deep Embeddings with Histogram Loss", pages 1 - 8 * |
| TAMAR ROTT SHAHAM: "SinGAN: Learning a Generative Model from a Single Natural Image", pages 3 - 7 * |
| 夏阳，尧德中: "《图像复原优化算法》", 成都：电子科技大学出版社, pages: 231 - 156 * |
| 机器学习入坑者: "ICCV2019最佳论文奖SinGAN(一)原理剖析", pages 196 - 4, Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/95070686> * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378840A (zh) * | 2020-12-22 | 2021-09-10 | 浙江大华技术股份有限公司 | 一种车牌的检测方法及装置 |
| CN113205103A (zh) * | 2021-04-19 | 2021-08-03 | 金科智融科技(珠海)有限公司 | 一种轻量级的文身检测方法 |
| CN115860067A (zh) * | 2023-02-16 | 2023-03-28 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
| CN115860067B (zh) * | 2023-02-16 | 2023-09-05 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112396115B (zh) | 基于注意力机制的目标检测方法、装置及计算机设备 | |
| CN112507997B (zh) | 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统 | |
| US9330336B2 (en) | Systems, methods, and media for on-line boosting of a classifier | |
| CN111275126A (zh) | 样本数据集生成方法、装置、设备及存储介质 | |
| CN108961180B (zh) | 红外图像增强方法及系统 | |
| CN105654066A (zh) | 一种车辆识别方法及装置 | |
| CN104751147A (zh) | 一种图像识别方法 | |
| CN110879982A (zh) | 一种人群计数系统及方法 | |
| CN110826609B (zh) | 一种基于强化学习的双流特征融合图像识别方法 | |
| CN114758137B (zh) | 超声图像分割方法、装置及计算机可读存储介质 | |
| CN111680755A (zh) | 医学图像识别模型构建及医学图像识别方法、装置、介质及终端 | |
| CN110781980A (zh) | 目标检测模型的训练方法、目标检测方法及装置 | |
| CN112016569A (zh) | 基于注意力机制的目标检测方法、网络、设备和存储介质 | |
| CN111160114A (zh) | 手势识别方法、装置、设备及计算机可读存储介质 | |
| CN114445356A (zh) | 基于多分辨率的全视野病理切片图像肿瘤快速定位方法 | |
| CN111275070B (zh) | 一种基于局部特征匹配的签名验证方法及设备 | |
| CN111091147B (zh) | 一种图像分类方法、装置及设备 | |
| CN116188929A (zh) | 小目标检测方法、小目标检测系统 | |
| CN114863431A (zh) | 一种文本检测方法、装置及设备 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN116310568A (zh) | 图像异常的识别方法、装置、计算机可读存储介质及设备 | |
| CN114511702A (zh) | 一种基于多尺度分权注意力的遥感图像分割方法和系统 | |
| CN111783683A (zh) | 一种基于特征平衡和关系增强的人体检测方法 | |
| CN117690128B (zh) | 胚胎细胞多核目标检测系统、方法和计算机可读存储介质 | |
| CN116580396B (zh) | 细胞水平识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |