CN116188259A - 一种基于压缩感知和生成对抗的鱼类图像生成方法 - Google Patents

一种基于压缩感知和生成对抗的鱼类图像生成方法 Download PDF

Info

Publication number
CN116188259A
CN116188259A CN202211572022.6A CN202211572022A CN116188259A CN 116188259 A CN116188259 A CN 116188259A CN 202211572022 A CN202211572022 A CN 202211572022A CN 116188259 A CN116188259 A CN 116188259A
Authority
CN
China
Prior art keywords
generator
training
observation signal
compressed sensing
fish image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211572022.6A
Other languages
English (en)
Inventor
鲍江辉
姜昊
段明
王馨悦
李蔚郁
胡少秋
张东旭
张敬林
鲁威志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Hydrobiology of CAS
Shandong University
Original Assignee
Institute of Hydrobiology of CAS
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Hydrobiology of CAS, Shandong University filed Critical Institute of Hydrobiology of CAS
Priority to CN202211572022.6A priority Critical patent/CN116188259A/zh
Publication of CN116188259A publication Critical patent/CN116188259A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于压缩感知和生成对抗的鱼类图像生成方法，属于计算机视觉与深度学习技术领域，步骤包括：步骤1，基于高分辨率鱼类数据集训练压缩感知神经网络，获得低维观测信号和重构映射；步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率鱼类图片。本发明中生成器的输入为服从高斯分布的随机噪声，不需要从高维数据集中获得，因此本发明中获得的生成器可以将任意服从高斯分布的噪声生成为高清鱼类图像。且本发明可以生成与原始数据集服从同一分布而更加多样的不同高清鱼类图像。

Description

一种基于压缩感知和生成对抗的鱼类图像生成方法
技术领域
本发明涉及一种基于压缩感知和生成对抗的鱼类图像生成方法，属于计算机视觉与深度学习技术领域。
背景技术
鱼类行为和游泳能力可以反映其所在水域的生态环境状况。利用高清相机拍摄的鱼类图像可用于分析鱼类行为和游泳能力，监控生态系统健康程度和生物多样性。目前关于鱼类种类识别、鱼类行为检测等计算机视觉研究应用正深入开展，但是，由于自然水域水况复杂、图像收集难度大等原因，现有鱼类图像具有模糊不清、细节缺失、尺度单一、角度姿态单一等问题，当前可用于学习训练的多尺度、多种类、多姿态的高质量鱼类图像数据集较少，使得算法训练程度不够，不能达到优良效果。
因此，利用生成对抗网络对鱼类图像训练样本进行增广是一个前景广阔的研究方向，同时图像生成在人工智能领域占有重要地位，其可以在旧样本分布的基础上生成新的样本数据。生成模型的目的是创造新的数据概率分布，可用于一些创造性的工作当中。通过生成模型可以生成新的图像，成为了解决图像样本较少问题的有效方法。
在2014年Goodfellow等人提出了生成对抗网络GAN，让图像生成这一任务方向取得了显著进展，但仍存在许多未解决的问题，比如原始的GAN模型在训练高分辨率图像时容易遇到梯度爆炸和图像细节学习不足等问题，这就使得它难以进行复杂的高分辨率任务。
生成对抗网络包括两个网络，分别是生成器G和判别器D，它们的训练同时进行：通过训练D使训练样本和来自G的样本的正确标签的概率最大化；同时通过最小化log(1-D(G(z)))来调整生成器G的参数。两个网络的对抗体现在：生成器使用真实样本训练，训练后输入噪声生成虚假样本，目标是生成接近真实样本的样本骗过判别器；判别器输入虚假样本和真实样本并判别真伪，目标是判别出生成器生成的虚假样本。二者对抗，最后生成器生成很接近真实样本的样本，判别器判别不出来生成器样本和真实样本的区别。
压缩感知理论认为，若信号在某一变换基下具有稀疏性，则可以用满足某种特性的欠采样矩阵将原始信号从高维空间投影到低维空间，即得到观测信号，然后通过解一个具有范数约束的优化问题，从远小于信号长度的观测信号中以高概率重构出原始信号。近年来随着深度学习技术的发展，开始有学者提出基于神经网络的方法，将观测信号作为输入，借助神经网络强大的学习能力，学习从观测信号到原始信号的直接映射，从而得到压缩感知神经网络。
目前使用生成对抗网络进行鱼类图像生成过程中存在如下问题：现有鱼类图像模糊、角度相似程度高，生成图像细节学习不到位；如果生成的目标图像过大，则网络体量及对应特征图会相应倍数增大，进而占据更多显存，在显存一定的情况下致使batch减小导致生成细节不足，甚至训练失败。
发明内容
针对现有技术的不足，我们提出了一种基于压缩感知和生成对抗的鱼类图像生成方法，首先训练压缩感知神经网络获得低维观测信号和重构映射，再由生成对抗网络训练观测信号获得观测信号生成器，最后将由生成器新生成的观测信号经重构映射还原，进而生成高分辨率鱼类图像。本发明具有显存占用不会过大，同时网络较容易训练，训练时间不会过长，生成图像具有高分辨率、多样性强等优点。
本发明的技术方案如下：
一种基于压缩感知和生成对抗的鱼类图像生成方法，包括：
步骤1，基于现有高分辨率的鱼类图像训练压缩感知神经网络，获得低维观测信号和重构映射；
步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；
步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率的鱼类图像。
优选的，步骤1包括：
步骤11，加载高分辨率鱼类图像数据集，作为压缩感知神经网络的训练集；
步骤12，加载压缩感知神经网络模型，基于上述训练集对神经网络采用倒向传播法进行训练，获得高分辨率鱼类图像X的低维观测信号Y和重构映射f；
则有，Y＝W*X，
Figure BDA0003988051630000021
其中，原始高分辨率鱼类图像为X，压缩感知的欠采样矩阵为W，低维观测信号为Y，重构映射为f，重构的高分辨率鱼类图像为
Figure BDA0003988051630000022
网络训练的损失函数为MSE均方误差。
进一步优选的，步骤12中，压缩感知神经网络为四层全连接的神经网络，第一层的神经元个数与训练集鱼类图像的维数一致，第二层神经元个数为819，第三层神经元个数为1638，第四层神经元个数与训练集鱼类图像的维数一致；网络训练的损失函数为MSE均方误差，网络训练的优化器为ADAM，学习率为0.001。
优选的，步骤2包括：
步骤21，构建生成对抗网络结构，生成对抗神经网络由生成器(Generator)和判别器(Discriminator)构成；
生成器为五层全连接神经网络，各层神经元个数为100-256-512-1024-819，判别器为五层全连接神经网络，各层神经元个数为819-1024-512-256-1；不同图像维数也可通用，效果好；
步骤22，训练生成对抗网络，生成与步骤12中获得的观测信号Y服从相同概率分布的生成观测信号Yrecon；训练流程包括以下步骤：
(1).产生服从标准正态分布的随机噪声Z作为生成器的输入；
Z～N(0，1)
(2).随机噪声经生成器，产生生成观测信号Yrecon，参照真实观测信号Y，计算生成器G损失和判别器D损失，损失函数可以表为：
Figure BDA0003988051630000031
其中，G为生成器，D为判别器，V(D，G)为总体损失；
(3).固定生成器或判别器中其一对另一个进行训练，交替训练生成器和判别器，即固定生成器训练判别器、固定判别器训练生成器、重复交替，直至网络稳定，网络稳定判断标准可以是：生成器损失和判别器损失下降到损失稳定不再有大波动，或视觉判断生成的样本成像达到既定要求；保存此时的生成器和判别器网络模型的参数；
(4).在生成器和判别器训练完成后，载入上述保存的生成器模型，产生服从标准正态分布的随机噪声Z输入到上述载入的生成器中，获得生成观测信号Yrecon。
优选的，步骤3包括：
步骤31，载入步骤12中压缩感知神经网络的重构映射f，即压缩感知神经网络的后两层及其参数；
步骤32，利用上述重构映射将生成观测信号Yrecon重构为高分辨率鱼类图像，即获得了新生成的高清鱼类图像Xrecon，
Xrecon＝f(Yrecon)。
本发明的有益效果在于：
1、本发明中训练了压缩感知神经网络，所获得欠采样矩阵和低维观测信号具有鱼类图像数据集的特征提取功能，减少了生成对抗神经网络的训练难度。
2、本发明首先将高分辨的鱼类图像数据集投影为低维观测信号，低维观测信号的维数远小于鱼类图像数据集的维数，一方面降低了生成对抗神经网络的训练难度，另一方面相比传统高分辨率鱼类图像的生成对抗网络训练，具有计算成本低、存储要求低、训练时间短的优点。
3、本发明生成高分辨率的鱼类图像，对于传统生成模型而言，仅对低分辨率图片(28*28、64*64等)有效且有较好效果，但对于高分辨率的鱼类大图，其大多训练效果差，甚至训练崩溃，本发明旨在解决上述问题。本发明对原始高维数据集进行压缩，用低维数据集训练生成器，生成低维样本，再通过神经网络将低维数据感知回高维数据，本发明的压缩和感知不是同时进行的，而是分别进行。
4、本发明中生成器的输入为服从高斯分布的随机噪声，不需要从高维数据集中获得，因此本发明中获得的生成器可以将任意服从高斯分布的噪声生成为高清鱼类图像。且本发明可以生成与原始数据集服从同一分布而更加多样的不同高清鱼类图像。
附图说明
图1是本发明中的一种压缩感知神经网络训练流程图；
图2是本发明中的一种基于压缩感知和生成对抗的鱼类图像生成流程图。
具体实施方式
下面通过实施例并结合附图对本发明做进一步说明，但不限于此。
实施例1：
参照图1，给出了本发明中的一种压缩感知神经网络训练流程图。下面结合具体步骤进行说明。
一种基于压缩感知和生成对抗的鱼类图像生成方法，包括：
步骤1，基于高分辨率的鱼类图像训练压缩感知神经网络，获得低维观测信号和重构映射，具体为：
步骤11，加载高分辨率鱼类图像数据集，作为压缩感知神经网络的训练集，所述鱼类图像数据集的分辨率为128*128；
步骤12，加载压缩感知神经网络模型，基于上述训练集对神经网络采用倒向传播法进行训练，获得高分辨率鱼类图像X的低维观测信号Y和重构映射f；
则有，Y＝W*X，
Figure BDA0003988051630000041
其中，原始高分辨率鱼类图像为X，压缩感知的欠采样矩阵为W，低维观测信号为Y，重构映射为f，重构的高分辨率鱼类图像为
Figure BDA0003988051630000042
网络训练的损失函数为MSE均方误差。
步骤12中，压缩感知神经网络为四层全连接的神经网络，第一层的神经元个数与训练集鱼类图像的维数(128*128)一致，第二层神经元个数为819，第三层神经元个数为1638，第四层神经元个数与训练集鱼类图像的维数(128*128)一致，如图1所示；网络训练的损失函数为MSE均方误差，网络训练的优化器为ADAM，学习率为0.001。
参照图2，给出了本发明中的一种基于生成对抗神经网络的高分辨率鱼类图像生成流程图。下面结合具体步骤进行说明。
步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器，具体为：
步骤21，构建生成对抗网络结构，生成对抗神经网络由生成器(Generator)和判别器(Discriminator)构成；
生成器为五层全连接神经网络，各层神经元个数为100-256-512-1024-819，判别器为五层全连接神经网络，各层神经元个数为819-1024-512-256-1；不同图像维数也可通用，效果好；
步骤22，训练生成对抗网络，生成与步骤12中获得的观测信号Y服从相同概率分布的生成观测信号Yrecon；训练流程包括以下步骤：
(1).产生服从标准正态分布的随机噪声Z作为生成器的输入；
Z～N(0，1)
(2).随机噪声经生成器，产生生成观测信号Yrecon，参照真实观测信号Y，计算生成器G损失和判别器D损失，损失函数可以表为：
Figure BDA0003988051630000051
其中，G为生成器，D为判别器，V(D，G)为总体损失；
(3).固定生成器或判别器中其一对另一个进行训练，交替训练生成器和判别器，即固定生成器训练判别器、固定判别器训练生成器、重复交替，直至网络稳定，网络稳定判断标准可以是：生成器损失和判别器损失下降到损失稳定不再有大波动，或视觉判断生成的样本成像达到既定要求；保存此时的生成器和判别器网络模型的参数；
(4).在生成器和判别器训练完成后，载入上述保存的生成器模型，产生服从标准正态分布的随机噪声Z输入到上述载入的生成器中，获得生成观测信号Yrecon。
步骤31，载入步骤12中压缩感知神经网络的重构映射f，即压缩感知神经网络的后两层及其参数；
步骤32，利用上述重构映射将生成观测信号Yrecon重构为高分辨率鱼类图像，即获得了新生成的高清鱼类图像Xrecon，
Xrecon＝f(Yrecon)。

Claims (5)

1.一种基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，包括步骤如下：
步骤1，基于高分辨率鱼类图像训练压缩感知神经网络，获得低维观测信号和重构映射；
步骤2，基于上述低维观测信号训练生成对抗网络，获得低维观测信号的生成器；
步骤3，利用上述生成器，向生成器中输入噪声产生新的低维观测信号，利用上述重构映射将生成的低维观测信号重构为生成的高分辨率鱼类图片。
2.根据权利要求1所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤1包括：
步骤11，加载高分辨率鱼类图像数据集，作为压缩感知神经网络的训练集；
步骤12，加载压缩感知神经网络模型，基于上述训练集对神经网络采用倒向传播法进行训练，获得高分辨率鱼类图像X的低维观测信号Y和重构映射f；
则有，
Figure FDA0003988051620000011
其中，原始高分辨率鱼类图像为X，压缩感知的欠采样矩阵为W，低维观测信号为Y，重构映射为f，重构的高分辨率鱼类图像为
Figure FDA0003988051620000012
网络训练的损失函数为MSE均方误差。
3.根据权利要求2所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤12中，压缩感知神经网络为四层全连接的神经网络，第一层的神经元个数与训练集鱼类图像的维数一致，第二层神经元个数为819，第三层神经元个数为1638，第四层神经元个数与训练集鱼类图像的维数一致；网络训练的损失函数为MSE均方误差，网络训练的优化器为ADAM，学习率为0.001。
4.根据权利要求3所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤2包括：
步骤21，构建生成对抗网络结构，生成对抗神经网络由生成器和判别器构成；
生成器为五层全连接神经网络，各层神经元个数为100-256-512-1024-819，判别器为五层全连接神经网络，各层神经元个数为819-1024-512-256-1；
步骤22，训练生成对抗网络，生成与步骤12中获得的观测信号Y服从相同概率分布的生成观测信号Yrecon；训练流程包括以下步骤：
(1).产生服从标准正态分布的随机噪声Z作为生成器的输入；
Z～N(0,1)
(2).随机噪声经生成器，产生生成观测信号Yrecon，参照真实观测信号Y，计算生成器G损失和判别器D损失，损失函数为：
Figure FDA0003988051620000021
其中，G为生成器，D为判别器，V(D,G)为总体损失；
(3).固定生成器或判别器中其一对另一个进行训练，交替训练生成器和判别器，即固定生成器训练判别器、固定判别器训练生成器、重复交替，直至网络稳定，网络稳定判断标准是：生成器损失和判别器损失下降到损失稳定，或视觉判断生成的样本成像达到既定要求；保存此时的生成器和判别器网络模型的参数；
(4).在生成器和判别器训练完成后，载入上述保存的生成器模型，产生服从标准正态分布的随机噪声Z输入到上述载入的生成器中，获得生成观测信号Yrecon。
5.根据权利要求4所述的基于压缩感知和生成对抗的鱼类图像生成方法，其特征在于，步骤3包括：
步骤31，载入步骤12中压缩感知神经网络的重构映射f，即压缩感知神经网络的后两层及其参数；
步骤32，利用上述重构映射将生成观测信号Yrecon重构为高分辨率鱼类图像，即获得了新生成的高清鱼类图像Xrecon，
Xrecon＝f(Yrecon)。
CN202211572022.6A 2022-12-08 2022-12-08 一种基于压缩感知和生成对抗的鱼类图像生成方法 Pending CN116188259A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211572022.6A CN116188259A (zh) 2022-12-08 2022-12-08 一种基于压缩感知和生成对抗的鱼类图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211572022.6A CN116188259A (zh) 2022-12-08 2022-12-08 一种基于压缩感知和生成对抗的鱼类图像生成方法

Publications (1)

Publication Number Publication Date
CN116188259A true CN116188259A (zh) 2023-05-30

Family

ID=86449714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211572022.6A Pending CN116188259A (zh) 2022-12-08 2022-12-08 一种基于压缩感知和生成对抗的鱼类图像生成方法

Country Status (1)

Country Link
CN (1) CN116188259A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014041A (zh) * 2024-04-10 2024-05-10 国网山东省电力公司蒙阴县供电公司 一种电力设备能耗预测模型的训练方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118014041A (zh) * 2024-04-10 2024-05-10 国网山东省电力公司蒙阴县供电公司 一种电力设备能耗预测模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN111275637B (zh) 一种基于注意力模型的非均匀运动模糊图像自适应复原方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN110458765B (zh) 基于感知保持卷积网络的图像质量增强方法
CN112001847A (zh) 相对生成对抗超分辨率重建模型生成高质量图像的方法
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
CN111080513A (zh) 一种基于注意力机制的人脸图像超分辨率方法
CN112686119B (zh) 基于自注意力生成对抗网络的车牌运动模糊图像处理方法
CN111862289A (zh) 一种基于gan网络的点云上采样方法
CN112036513A (zh) 基于内存增强潜在空间自回归的图像异常检测方法
CN113592715B (zh) 一种面向小样本图像集的超分辨率图像重构方法
CN109740539B (zh) 基于超限学习机和融合卷积网络的3d物体识别方法
CN113129272A (zh) 一种基于去噪卷积自编码器的缺陷检测方法及装置
CN111626932A (zh) 图像的超分辨率重建方法及装置
CN111402137B (zh) 一种基于感知损失引导的深度注意力编解码单图像超分辨率算法
CN114882537B (zh) 一种基于神经辐射场的手指新视角图像生成方法
CN116188259A (zh) 一种基于压缩感知和生成对抗的鱼类图像生成方法
CN115936992A (zh) 一种轻量级Transformer的垃圾图像超分辨方法及系统
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN116757955A (zh) 一种基于全维动态卷积多融合对比网络
CN114663880A (zh) 基于多层级跨模态自注意力机制的三维目标检测方法
CN114187506A (zh) 视点意识的动态路由胶囊网络的遥感图像场景分类方法
CN115346091B (zh) 一种Mura缺陷图像数据集的生成方法和生成装置
CN117133041A (zh) 一种基于深度学习的三维重建网络人脸识别方法、系统、设备及介质
CN111814693A (zh) 一种基于深度学习的海上船舶识别方法
CN117011668A (zh) 一种基于时序预测神经网络的天气雷达回波外推方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination