CN116051382A - 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 - Google Patents
一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 Download PDFInfo
- Publication number
- CN116051382A CN116051382A CN202310188986.9A CN202310188986A CN116051382A CN 116051382 A CN116051382 A CN 116051382A CN 202310188986 A CN202310188986 A CN 202310188986A CN 116051382 A CN116051382 A CN 116051382A
- Authority
- CN
- China
- Prior art keywords
- super
- data
- model
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 18
- 230000002787 reinforcement Effects 0.000 title claims abstract description 13
- 230000003042 antagnostic effect Effects 0.000 title claims description 15
- 238000009826 distribution Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 16
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 13
- 238000012614 Monte-Carlo sampling Methods 0.000 claims abstract 3
- 238000013441 quality evaluation Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000013507 mapping Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 239000010410 layer Substances 0.000 description 6
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 4
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000008485 antagonism Effects 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 239000002356 single layer Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computational Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Linguistics (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，实施方式为对工业相机采集的原始图像数据按照图像类别进行标定，并通过降采样调整图像尺寸，生成各类别图像的灰度直方图，通过最大似然估计法拟合灰度直方图，获得原始图像像素值分布的概率密度函数f(x)，根据Box‑Muller算法或马尔可夫链蒙特卡洛采样算法生成近似符合概率密度函数为f(x)的二维随机噪声，最后结合WGAN‑GP和SRCNN搭建数据增强模型，通过逐层训练的方式避免生成对抗网络直接向高分辨率图像映射困难的弊端，进而得到高分辨率的生成图像，完成对原始图像数据集的增强。本发明有效降低了模型参数的冗余性，相比传统方法，生成图像的峰值信噪比提高13.07％，结构相似性提高32.40％。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法。
背景技术
图像处理在现代零件工业的质量检测和故障诊断领域应用极其广泛。性能良好的图像处理算法需要海量且优质的原始工业数据支撑，仅用少量数据驱动的算法模型很难具备较好的泛化能力，但很多情况下很难甚至根本无法获取大量的工业数据集。
针对工业图像数据不足的问题，传统基于图像几何变换、随机调整亮度和对比度等方法虽然能产生新的数据，但并没有从本质上增加训练样本的多样性。随着生成模型的发展，出现了基于生成随机网络、变分自编码器、深度玻尔兹曼机和生成式对抗网络(GAN)等技术的图像数据增强方法。相比生成随机网络和深度玻尔兹曼机，生成对抗网络可以一次性生成样本，而不是通过反复计算马尔科夫链的方式生成样本。相比变分自编码器，生成对抗网络不存在偏置，能更好的拟合真实样本分布。已有技术中，Martin Arjovsky等在论文“Wasserstein GAN”(arXiv,v 2017-December,1701:07875,2017)中用Wasserstein距离替换了传统GANs中的Jensen-Shannon或Kullback–Leibler散度作为等价优化的距离衡量，进而稳定了传统GANs的训练过程。Ishaan Gulrajani等在论文“Improved Training ofWasserstein GANs”(arXiv,v 2017-December,1704:00028,2017)中提出了WGAN-GP，通过对目标函数增加梯度惩罚项间接实现了Wasserstein GAN的利普希茨连续条件。
近年来出现的基于深层卷积神经网络的图像超像素重建技术能够将低分辨率图像经过重建后得到高分辨率图像。Chao Dong等在论文“Image Super-Resolution UsingDeep Convolutional Networks”(IEEE transactions on pattern analysis andmachine intelligence,v 2016-February,295:307,2016)中提出了超分辨率卷积神经网络(SRCNN)，为后续深度学习图像超分重建奠定了基础。
发明内容
为了克服基于传统GANs的图像数据增强方法模型参数冗余、训练困难和网络直接向高分辨率图像建立映射关系困难的不足，本发明的目的在于提供一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法。
本发明利用最大似然估计和随机采样算法生成符合原始图像数据分布的二维随机噪声，有效降低了模型参数冗余，将WGAN-GP生成的低分辨率图像作为SRCNN的输入进行图像超分重建，得到高分辨率图像数据，进而避免了生成对抗网络直接向高分辨率图像建立映射关系，有效提高了生成图像质量。
具体技术方案如下：
一种基于深度强化学习生成式对抗神经网络和超分辨率重建的图像数据增强方法，所述方法包括下述步骤：
(1)原始图像预处理：首先对工业相机采集的少量原始图像数据进行人工标定，获得不同类别图像数据对应的标签，然后对原始图像数据进行降采样。
(2)图像数据分布拟合：通过极大似然估计法对(1)中得到的图像数据进行分布拟合，获得近似服从其数据分布的概率密度函数f(x)。
(3)生成随机噪声：通过Box-Muller算法或马尔科夫链蒙特卡洛(Markov ChainMonte Carlo,MCMC)采样算法生成符合概率密度函数为f(x)的随机噪声。
(4)数据增强模型的搭建和训练：融合带梯度惩罚项的Wasserstein GAN(WGAN-GP)和超分辨率卷积神经网络(Super-Resolution Convolutional Neural Network,SRCNN)建立数据增强模型。
(5)生成数据质量评价：根据生成图像的峰值信噪比和结构相似性评价数据增强模型生成图像数据的质量。
通过与现有传统CGAN和单独使用WGAN-GP直接向高分辨率图像映射比较分析，本发明提出的网络结构，相比传统CGAN网络，模型参数冗余度较小，训练过程更稳定；相比WGAN-GP直接向高分辨率图像映射，本发明通过SRCNN向高分辨率图像建立映射关系，避免了生成对抗网络直接向高分辨率图像建立映射关系困难的弊端。通过计算各模型生成图像质量评价指标，验证本发明提出方法具有最优的生成图像质量。
作为优选，所述步骤(1)的具体过程为：通过单层卷积层或池化层等方法将原始图像尺寸降采样为所需尺寸，以减少原始图像的数据冗余。
作为优选，所述步骤(2)具体过程为：a.生成步骤(1)中得到图像的灰度直方图；b.根据灰度直方图初步判断数据近似服从的分布，写出近似服从分布带估计参数的概率密度函数gk(x),k∈1,2,…,n；c.根据gk(x)构建最大似然函数；d.求解最大似然函数，得到待估计参数值；e.根据灰度直方图值与gk(x)值之间的误差平方和(SSE)评价拟合程度，误差平方和值最小的gk(x)即为原始图像灰度值分布的概率密度函数f(x)。
作为优选，所述步骤(3)中，若f(x)的概率分布函数F(x)和F(x)的反函数均可求，则采用Box-Muller算法生成随机噪声，否则采用MCMC采样算法生成随机噪声。
相比Box-Muller算法，MCMC采样算法需要经过一段燃烧期，采样时间较长，但Box-Muller算法需要求得概率分布函数F(x)的反函数，存在一定的局限性。若F(x)的反函数可求，直接用Box-Muller算法可以节省随机噪声生成时间。
作为优选，所述步骤(4)中，构建噪声生成模块外接在WGAN-GP前端，WGAN-GP生成的低分辨率图像作为SRCNN的输入，通过SRCNN得到高分辨率图像。
通过生成对抗网络直接向高分辨率图像建立映射关系时，网络工作困难，生成图像质量较差。因此，通过逐层训练的方法，先让生成对抗网络产生低分辨率图像，再通过图像超像素重建获得高分辨率图像可避免上述弊端。
作为优选，所述步骤(5)中，采用图像峰值信噪比和结构相似性评价各模型生成图像数据质量。
峰值信噪比是一种基于误差敏感的图像质量评价方法，其反映的是图像对应像素点间的像素值误差，而结构相似性权衡了图像的亮度、对比度和结构三个层面评价图像质量，更符合人眼直观视觉感受。
作为优选，所述基于生成式对抗神经网络和超分辨率重建的图像数据增强方法，并不局限于WGAN-GP结合SRCNN模型。
本发明提出方法具有较强的可扩展性，并不局限于试验所用的WGAN-GP+SRCNN模型，例如可以使用基于自编码器的边界均衡生成式对抗网络结合SRCNN或其它图像超分重建模型。
作为优选，所述生成式对抗神经网络和超分辨率重建模型构建过程基于TensorFlow2.0以上版本完成，程序编译环境均为Jupyter Notebook，编程语言为Python3.7。
本发明具有的有益效果：
(1)本发明提出一种基于生成式对抗神经网络和超分辨率重建的图像数据增强方法，能够通过逐层训练的方式向高分辨率图像建立映射关系，按照给定标签信息生成对应高分辨率图像数据。
(2)通过最大似然估计和随机采样算法生成符合原始数据分布的二维随机噪声，克服了传统方法噪声输入的随机性，并减少了模型参数冗余。
(3)相比传统方法，本发明提出方法生成图像的峰值信噪比提高13.07％，结构相似性提高32.40％。
附图说明
图1为Box-Muller算法流程图；
图2为MCMC采样算法流程图；
图3为WGAN-GP+SRCNN模型整体框架图；
图4为滚子轴承侧面图像数据及其分布拟合结果；
图5为滚子轴承倒角面图像数据及其分布拟合结果；
图6为滚子轴承端面图像数据及其分布拟合结果；
图7为符合侧面图像分布的随机噪声；
图8为符合倒角面图像分布的随机噪声；
图9为符合端面图像分布的随机噪声；
图10为WGAN-GP+SRCNN模型生成图像数据；
图11为传统CGAN模型生成图像数据；
图12为WGAN-GP模型生成图像数据；
图13为真实图像数据。
具体实施方式
下面结合具体实施例对本发明做进一步地描述。
一种基于深度强化学习生成式对抗神经网络和超分辨率重建的图像数据增强方法，所述方法包括下述步骤：
1)原始图像预处理：首先对工业相机采集的少量原始图像数据进行人工标定，获得不同类别图像数据对应的标签，然后通过单层卷或池化层方法对原始图像数据进行降采样，将图像尺寸缩小为所需尺寸。
2)图像数据分布拟合：a.生成步骤(1)中得到图像的灰度直方图；b.根据灰度直方图初步判断数据近似服从的分布，写出近似服从分布带估计参数的概率密度函数gk(x),k∈1,2,…,n；c.根据gk(x)构建最大似然函数；d.求解最大似然函数，得到待估计参数值；e.根据灰度直方图值与gk(x)值之间的误差平方和评价拟合程度，误差平方和值最小的gk(x)即为原始图像数据分布的概率密度函数f(x)。
3)生成随机噪声：a.判断步骤(2)中求得的f(x)的概率分布函数F(x)以及F(x)的反函数是否均可求；b.若可求则采用Box-Muller算法生成随机噪声，否则采用MCMC采样算法生成随机噪声，具体步骤流程图如图1和图2所示。
4)数据增强模型的搭建和训练：a.搭建WGAN-GP模型，优化器选用Adam或RMSProp优化器；b.将步骤(3)中随机噪声生成方法构建成噪声生成模块外接在WGAN-GP前端，为模型生成符合原始数据分布的随机噪声；c.搭建SRCNN模型，优化器选用Adam优化器，将WGAN-GP生成的低分辨率图像输入到SRCNN进行图像超分重建得到高分辨率图像数据，模型整体结构如图3所示。
5)生成数据质量评价：计算生成图像数据和原始图像数据之间的峰值信噪比和结构相似性，值越大说明生成图像质量越高。
所述生成式对抗神经网络和超分辨率重建模型构建过程基于TensorFlow2.0以上版本完成，程序编译环境均为Jupyter Notebook，编程语言为Python3.7。
实施例1
1)原始图像预处理：将CCD工业相机采集的滚子轴承侧面、倒角面和端面图像分别人工标定为0、1和2，原始图像尺寸为(1920像素，1200像素，1像素)，首先将图像尺寸裁剪为(1920像素，1184像素，1像素)，再用卷积核数量为1的单层卷积层，将裁剪后的图像降采样为一系列大小为(480像素，296像素，1像素)的图像ik,k＝1,2,...,n和大小为(240像素,148像素,1像素)的图像ik′,k＝1,2,...,n；
2)图像数据分布拟合：a.分别在ik′的侧面、倒角面和端面轴承图像中随机挑选一张，得到ik′0、ik′1和ik′2，生成ik′0、ik′1和ik′2的灰度直方图；b.根据灰度直方图初步判断ik′0、ik′1和ik′2像素值近似服从的一系列分布，并写出其带估计参数的概率密度函数
和
c.构建最大似然函数，求解最大似然函数，得到待估计参数值，d.计算
和
对应的误差平方和，分别取
和
中误差平方和值最小的函数为侧面、倒角面和端面图像的概率密度函数f0(x),f1(x),f2(x)，原始图像数据及其拟合结果如图4到图6所示，即可以由左边的原始图像数据，分别拟合出如下式(1)、(2)、(3)分别所示的概率密度函数f0(x),f1(x),f2(x)。
3)生成随机噪声：f0(x)和f1(x)累积分布函数的反函数求解过程极其复杂，直接采用MCMC采样算法生成随机噪声，燃烧期设置为10000；f2(x)为柯西分布，累积分布函数的反函数可求，直接采用Box-Muller算法生成随机噪声，随机噪声维度均为(60,37)，生成随机噪声如图7-9所示。
4)数据增强模型的搭建和训练：a.搭建WGAN-GP模型，模型包括生成模型和判别模型，批次大小设置为3，生成模型输入维度为(3,60,37,1)，输出维度为(3,240,148,1)；判别模型输入维度为3,240,148,1)，输出为0或1；b.按照步骤(3)中方法构建噪声生成模块按照标签信息为WGAN-GP模型生成随机噪声；c.WGAN-GP经过1500个批次训练后，单独取出生成模块生成一系列尺寸为(240,148)的低分辨率图像；d.搭建SRCNN模型，输入维度为(3,240,148,1)，输出维度为(3,480,296,1)，将WGAN-GP生成的低分辨率图像作为SRCNN模型的输入，步骤(1)中ik为真实样本，经过500个批次后SRCNN模型训练完成。
5)生成数据质量评价：噪声生成模块根据标签信息生成三个符合分布的随机噪声，噪声输入训练好的WGAN-GP的生成模型，得到低分辨率图像G(z)，再将G(z)输入到训练完成的SRCNN模型，得到高分辨率图像SR(G)，计算SR(G)的平均峰值信噪比为65.467，平均结构相似性为0.822，两个评价指标表现出良好的一致性，模型具有较高的图像生成质量，模型生成图像数据如图10所示。
实施例2
一种基于深度强化学习生成式对抗神经网络和超分辨率重建的图像数据增强方法，结合实施例分析本发明提出的网络架构相比于现有网络架构的优势与有效益处。为排除其它因素干扰，实施例2所用数据和实施例1中相同，实施例2中步骤(1)至步骤(3)和实施例1中一致，步骤(4)中直接通过CGAN模型和WGAN-GP模型向高分辨率图像建立映射关系，批量大小设置为3，构建CGAN和WGAN-GP的生成模型输入维度为(3,60,37,1)，输出维度为(3,480,296,1)；判别模型输入维度为(3,480,296,1)，输出为0或1。各模型分别训练1500个批次后，噪声生成模块根据标签信息生成三个符合分布的随机噪声，噪声分别输入到训练好的CGAN和WGAN-GP的生成模型中，得到新的图像数据Gcgan(z)和Gw-gp(z)，计算Gcgan(z)的平均峰值信噪比为51.610，平均结构相似性为0.240，Gw-gp(z)的平均峰值信噪比为57.900，平均结构相似性为0.621。实施例2表明，本发明提出方法生成图像的平均峰值信噪比相比传统CGAN提高26.85％，相比WGAN-GP提高13.07％；平均结构相似性相比传统CGAN提高241.94％，相比WGAN-GP提高32.40％。对比模型生成图像如图11-13所示，传统CGAN模型极其难以训练，模型无法学习到有用信息，收敛效果很差，生成图像不具备参考价值；WGAN-GP能够稳定收敛，但直接向高分辨率图像建立映射关系模型工作困难，生成图像质量一般，相比对比模型，本发明提出模型具有最优的生成图像质量。
Claims (5)
1.一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，其特征在于包括如下步骤：
1)原始图像预处理：首先对工业相机采集的少量原始图像数据进行人工标定，获得不同类别图像数据对应的标签，然后对原始图像数据进行降采样；
2)图像数据分布拟合：通过极大似然估计法对步骤1)得到的图像数据进行分布拟合，获得近似服从其数据分布的概率密度函数f(x)；
3)生成随机噪声：通过Box-Muller算法或马尔可夫链蒙特卡洛采样算法生成符合概率密度函数为f(x)的随机噪声；
4)数据增强模型的搭建和训练：融合带梯度惩罚项的WGAN-GP和超分辨率卷积神经网络建立数据增强模型；
5)生成数据质量评价：根据图像的峰值信噪比和结构相似性评价数据增强模型生成图像数据的质量。
2.如权利要求1所述的一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，其特征在于步骤1)的具体过程为：通过单层卷积层或池化层等方法将原始图像尺寸降采样为所需尺寸，以减少原始图像的数据冗余。
3.如权利要求1所述的一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，其特征在于步骤2)的具体过程为：
a.生成步骤1)中得到图像的灰度直方图；
b.根据灰度直方图初步判断数据近似服从的分布，写出近似服从分布估计参数的概率密度函数gn(x),n∈1,2,...,n；
c.根据gn(x)构建最大似然函数；
d.求解最大似然函数，得到待估计参数值；
e.根据灰度直方图值与gn(x)值之间的误差平方和评价拟合程度，误差平方和值最小的gn(x)即为原始图像数据分布的概率密度函数f(x)。
4.如权利要求1所述的一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，其特征在于步骤3)中，若f(x)的概率分布函数F(x)和F(x)的反函数均可求，则采用Box-Muller算法生成随机噪声，否则采用马尔可夫链蒙特卡洛采样算法生成随机噪声。
5.如权利要求4所述的一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法，其特征在于步骤4)的具体过程为：
a.搭建WGAN-GP模型，并将步骤3)中的噪声生成方法构建成噪声生成模块外接在WGAN-GP模型前端，为模型生成符合原始数据分布的噪声；
b.训练WGAN-GP模型，训练完成后单独使用WGAN-GP的生成模块生成一系列低分辨率图像Gn(x),n∈1,2,…,n；
c.搭建超分辨率卷积神经网络模型，并将Gn(x)输入SRCNN进行超分辨率重建，进而得到高分辨率图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310188986.9A CN116051382A (zh) | 2023-03-02 | 2023-03-02 | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310188986.9A CN116051382A (zh) | 2023-03-02 | 2023-03-02 | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116051382A true CN116051382A (zh) | 2023-05-02 |
Family
ID=86114784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310188986.9A Pending CN116051382A (zh) | 2023-03-02 | 2023-03-02 | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116051382A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689760A (zh) * | 2024-02-02 | 2024-03-12 | 山东大学 | 基于直方图信息网络的oct轴向超分辨率方法及系统 |
| CN117741070A (zh) * | 2024-02-21 | 2024-03-22 | 山东多瑞电子科技有限公司 | 基于深度学习的气体安全智能检测方法 |
-
2023
- 2023-03-02 CN CN202310188986.9A patent/CN116051382A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117689760A (zh) * | 2024-02-02 | 2024-03-12 | 山东大学 | 基于直方图信息网络的oct轴向超分辨率方法及系统 |
| CN117689760B (zh) * | 2024-02-02 | 2024-05-03 | 山东大学 | 基于直方图信息网络的oct轴向超分辨率方法及系统 |
| CN117741070A (zh) * | 2024-02-21 | 2024-03-22 | 山东多瑞电子科技有限公司 | 基于深度学习的气体安全智能检测方法 |
| CN117741070B (zh) * | 2024-02-21 | 2024-05-03 | 山东多瑞电子科技有限公司 | 基于深度学习的气体安全智能检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110211045B (zh) | 基于srgan网络的超分辨率人脸图像重建方法 | |
| CN116051382A (zh) | 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法 | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN112950480A (zh) | 一种融合多感受野和密集残差注意的超分辨率重建方法 | |
| CN114972332B (zh) | 一种基于图像超分辨率重建网络的竹集成材裂纹检测方法 | |
| CN112288645A (zh) | 一种颅骨面貌复原模型构建方法及复原方法与系统 | |
| Li et al. | Real-world image super-resolution by exclusionary dual-learning | |
| CN114266939A (zh) | 一种基于ResTLU-Net模型的脑提取方法 | |
| Luo et al. | Bi-GANs-ST for perceptual image super-resolution | |
| An et al. | Image super-resolution reconstruction algorithm based on significant network connection-collaborative migration structure | |
| CN114926883A (zh) | 一种满足多种降质模型的人脸图像处理方法 | |
| Cheng et al. | Generating high-resolution climate prediction through generative adversarial network | |
| CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
| Shao et al. | SRWGANTV: image super-resolution through wasserstein generative adversarial networks with total variational regularization | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN116433548A (zh) | 一种基于多级信息提取的高光谱与全色图像融合方法 | |
| Chen et al. | Infrared blind-pixel compensation algorithm based on generative adversarial networks and Poisson image blending | |
| CN114862679A (zh) | 基于残差生成对抗网络的单图超分辨率重建方法 | |
| CN112488125B (zh) | 一种基于高速视觉诊断和bp神经网络的重建方法及系统 | |
| CN114049939A (zh) | 一种基于UNet-GAN网络的肺炎CT图像生成方法 | |
| CN114463192A (zh) | 一种基于深度学习的红外视频畸变校正的方法 | |
| CN112365551A (zh) | 一种图像质量处理系统、方法、设备和介质 | |
| Chen et al. | Gap-Closing Matters: Perceptual Quality Evaluation and Optimization of Low-Light Image Enhancement | |
| San-You et al. | Adaptive diagonal total-variation generative adversarial network for super-resolution imaging | |
| Pan et al. | Image Super-Resolution Model Based on Bypass Convolution and Feature Weighting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |