CN110533588A - 基于生成对抗网络的根系图像修复方法 - Google Patents
基于生成对抗网络的根系图像修复方法 Download PDFInfo
- Publication number
- CN110533588A CN110533588A CN201910642641.XA CN201910642641A CN110533588A CN 110533588 A CN110533588 A CN 110533588A CN 201910642641 A CN201910642641 A CN 201910642641A CN 110533588 A CN110533588 A CN 110533588A
- Authority
- CN
- China
- Prior art keywords
- root system
- image
- root
- repaired
- system image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000008439 repair process Effects 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 230000003042 antagnostic effect Effects 0.000 claims description 7
- 238000003860 storage Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 5
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 239000013589 supplement Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000007781 pre-processing Methods 0.000 abstract description 6
- 241000196324 Embryophyta Species 0.000 description 17
- 230000000877 morphologic effect Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000219195 Arabidopsis thaliana Species 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000012272 crop production Methods 0.000 description 2
- 230000001066 destructive effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012625 in-situ measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
- G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种基于生成对抗网络的根系图像修复方法，方法包括：获取待修复根系图像；将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；每个所述根系图像样本对包括高分辨率根系图像样本和对应的根系凝胶图像样本；所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。本发明实现对待修复根系的精准修复，可以得到分辨率高和残缺部分补全的修复结果图，大大降低了图像预处理和特征提取的难度。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于生成对抗网络的根系图像修复方法。
背景技术
根系形态学研究是根系研究的重要内容，根系构型体现了植物对环境的适应程度，是人类认识、分析和评价的重要指标。植物根系的形态学研究除了对农作物生产、林业建设意义重大，在生态、环境、地质、气象等方面也有着不可估量的影响。能够为根系研究人员提供准确的数据支持，用于后续探究植物根系表型与作物增产增收、环境保护、生态建设害等方面的内在联系。
为了实现根系形态学参数的自动获取，一般通过对根系图像进行分析，从根系图像中提取根系的形态学参数。目前，常用的根系图像获取方法主要分成两大类，一种是原位测量方式，另一种是破坏性探测方法。原位测量方式，虽然能完整的保持根系构型的空间分布信息，但成本昂贵，并且大部分方法仅能针对作物生长初期或可控生长环境下的作物根系开展数据获取。破坏性探测方法，在获取根系拓扑结构与平面几何构型参数方面有较大优势，但很难获取完整的根系表型，即存在残缺遮挡，结构信息丢失等问题。
为了获取更准确的根系形态学参数，需要对根系图像进行修复，由于第二种方法获取的根系图像存在分辨率低和根系表型不完整等问题，使用一般的图像处理方法无法实现对根系图像的精准修复。
发明内容
为克服上述现有的图像处理方法不能对根系图像进行精准修复的问题或者至少部分地解决上述问题，本发明实施例提供一种基于生成对抗网络的根系图像修复方法。
根据本发明实施例的第一方面，提供一种基于生成对抗网络的根系图像修复方法，包括：
获取待修复根系图像；
将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；
其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；
每个所述根系图像样本对包括高分辨率根系图像样本和所述高分辨率根系图像样本对应的根系凝胶图像样本；
所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。
根据本发明实施例的第二个方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器调用所述程序指令能够执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于生成对抗网络的根系图像修复方法。
根据本发明实施例的第三个方面，还提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的各种可能的实现方式中任一种可能的实现方式所提供的基于生成对抗网络的根系图像修复方法。
本发明实施例提供一种基于生成对抗网络的根系图像修复方法，该方法通过基于凝胶的特性，获取用于网络训练的对称数据集，旨在建立原始低品质图像与高分辨率、细节补全图像间的映射关系；基于生成对抗网络技术，构建用于根系图像超分辨率重建和细节补全的生成对抗网络模型，从而使用构建的生成对抗网络实现对待修复根系的精准修复，可以得到分辨率高和残缺部分补全的修复结果图，大大降低了图像预处理和特征提取的难度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于生成对抗网络的根系图像修复方法整体流程示意图；
图2为本发明实施例提供的基于生成对抗网络的根系图像修复方法中生成器结构示意图；
图3为本发明实施例提供的电子设备整体结构示意图。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
在本发明的一个实施例中提供一种基于生成对抗网络的根系图像修复方法，图1为本发明实施例提供的基于生成对抗网络的根系图像修复方法整体流程示意图，该方法包括：S101，获取待修复根系图像；
其中，待修复根系图像为需要进行修复的包含根系的图像，本实施例中的根系优选为拟南芥植物根系，拟南芥植株结构简单、相似性高、生长周期短、基因组小，表现出其他生物无法比拟的特点，但本实施例不限于这种植物。此外，本实施例不限于采集待修复根系图像的设备和获取来源。
S102，将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；每个所述根系图像样本对包括高分辨率根系图像样本和所述高分辨率根系图像样本对应的根系凝胶图像样本；所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。
在使用生成对抗网络对待修复根系图像进行修复之前对生成对抗网络进行训练，从而构建用于对待修复根系图像进行超分辨率重建和细节补全的生成对抗网络。其中，超分辨率重建是指提高待修复根系图像的分辨率，细节补全是对待修复根系图像中根系存在残缺遮挡，结构信息丢失等而导致的不完整部分进行补全。将待修复根系图像输入训练好的生成对抗网络的生成器中，生成器即可输出高分辨率且细节补全的修复结果，从而替代传统图像处理过程中的预处理和特征提取。
训练生成对抗网络使用的对称数据集包括根系图像样本对。基于植物凝胶的特性获取用于训练的对称数据集，旨在建立原始低品质图像与高分辨率、细节补全图像间的映射关系。每个根系图像样本对包括在预设场景下采集的高分辨率根系图像和同一根系置于植物凝胶中采集的图像。拍摄过程中应尽量保持根系的构型一致。
本实施例通过基于凝胶的特性，获取用于网络训练的对称数据集，旨在建立原始低品质图像与高分辨率、细节补全图像间的映射关系；基于生成对抗网络技术，构建用于根系图像超分辨率重建和细节补全的生成对抗网络模型，从而使用构建的生成对抗网络实现对待修复根系的精准修复，可以得到分辨率高和残缺部分补全的修复结果图，大大降低了图像预处理和特征提取的难度。
在上述实施例的基础上，本实施例在将所述待修复根系图像输入生成对抗网络的生成器中，输出所述待修复更新图像的修复结果的步骤之前还包括：基于实物图像样本对训练生成对抗网络，以使所述生成对抗网络建立模糊图像和高分辨率图像之间的映射关系；其中，所述实物图像样本对包括高分辨率实物图像样本和所述高分辨率实物图像样本对应的实物凝胶图像样本，所述实物凝胶图像样本为实物放置在植物凝胶中的图像样本，所述实物不为根系；基于根系图像样本对训练所述生成对抗网络，以使所述生成对抗网络建立不完整根系图像和细节补全图像之间的映射关系。
其中，对称数据集包括数据集α和数据集β，数据集α包括在预设场景下采集到的高分辨率实物图像样本及将该实物放置在植物凝胶中采集到的图像样本。其目的在于，通过训练使生成对抗网络建立模糊图像到清晰图像之间的映射关系。数据集β包括在预设场景下采集的高分辨率根系图像及其对应于植物凝胶中的图像，拍摄过程中应尽量保持构型一致。其目的在于，通过训练使生成对抗网络具备补全根系细节的能力。在训练时，先使用数据集α进行训练，使生成对抗网络具备超分辨率重建能力，然后使用数据集β进行训练，使生成对抗网络具备补全根系细节的能力。
为了训练出性能良好的生成对抗网络，需要获取并建立高质量的可用数据集。因此，数据集采集过程中要求目标根系拍摄光线明亮但不出现反光，目标根系位于图像中心并占据图像三分之二以上面积，尽量拍取植物根系的侧视图，实地拍摄植物根系图像。
在上述实施例的基础上，本实施例将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果的步骤具体包括：基于所述生成器中的LSTM和CNN融合的网络结构，提取所述待修复根系图像的特征；根据所述待修复根系图像的特征，基于所述生成器中的卷积层和反卷积层对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，生成所述待修复根系图像的修复结果；其中所述卷积层和所述反卷积层包含残差块。
其中，生成对抗网络中生成器的架构如图2所示，生成器的设计理念是先使用较为深层次的卷积神经网络提取输入的待修复根系图像的特征，然后使用反卷积网络用于生成待修复根系图像的修复结果，中间结构引入了残差网络的特点，增强了生成器的表达能力。图2中的Conv表示卷积层，Relu为激活函数，pooling为池化层，LSTM为LSTM网络，残差块以跳跃连接的方式体现，LSTM和CNN融合的网络结构部分图片中圈出部分为存在分辨率低或残缺的部分。生成器G具体包括根系边缘定位模块G_1和根系超分辨率重建模块G_2。根系边缘定位模块G_1通过建立多层次LSTM和CNN融合的网络结构，使网络逐渐具备自动搜索根系边缘信息的能力；根系超分辨率重建模块G_2通过建立包含残差块的卷积层和反卷积层网络结构，使网络具备生成修复结果的能力。在使用数据集α和β对生成器中的根系超分辨率重建模块G_2和判别器进行训练之前，使用无放置物的植物凝胶图像和放置根系的凝胶图像对根系边缘定位模块G_1进行训练，使其具备自动搜索根系边缘信息的能力。
本实施例利用生成对抗网络处理待修复根系图像，通过根系边缘定位模块G_1实现背景自动去除，通过根系超分辨率重建模块G_2进行超分辨率重建和残缺部分补全，大大降低了图像预处理和特征提取的难度。
在上述实施例的基础上，本实施例中基于根系图像样本对训练所述生成对抗网络的步骤具体包括：将所述根系凝胶图像样本输入所述生成对抗网络的生成器，输出所述根系凝胶图像样本的修复结果；将所述根系凝胶图像样本的修复结果和所述根系凝胶图像样本对应的高分辨率根系图像样本输入所述生成对抗网络的判别器，根据所述判别器中的目标函数计算所述根系凝胶图像样本的修复结果和所述高分辨率根系图像样本之间的区分结果；根据所述区分结果对所述生成器和所述判别器进行优化。
具体地，生成式对抗模型包括生成器G和判别器D两部分。生成器通过在数据集上的训练，其具备生成分辨率高、细节补全的根系图像的能力。判别器通过在数据集上的训练，其具备区分分辨率高且细节补全的根系图像和原始输入图像的能力。如图2中输入图像为根系凝胶图像样本，基准图像为根系凝胶图像样本对应的高分辨率根系图像样本，生成图像为修复结果。为了更好地区分生成图像g和基准图像f，生成图像g由生成器负责生成，生成图像g的质量伴随着生成对抗网络训练过程逐渐增强。基准图像f属于原始图像数据集，用于引导生成对抗网络的训练方向。判别器D的网络架构模仿VGG-16。该模型表达能力强，参数量少，通过训练区分原始图像和目标图像。使用相同的方法先使用数据集α对生成对抗网络进行训练。
在上述实施例的基础上，本实施例中所述目标函数的公式如下：
G*＝arg minG maxD LrGAN(G,D)+λLw；
LrGAN(G,D)＝Ex,y[logD(x,y)]+Ex,z[log(1-D(x,G(x,z)))]；
其中，G*为目标函数，LrGAN表示生成损失，Lw表示内容损失，G表示所述生成器，D表示所述判别器，E表示期望，λ表示权重系数，D(x,y)表示所述判别器的输出，x表示所述根系凝胶图像样本，y表示所述高分辨率根系图像样本，G(x,z)表示所述生成器的输出，z表示所述生成器中LSTM和CNN融合的网络结构的输出，Pr表示所述根系凝胶图像样本的概率分布，Pg表示所述高分辨率根系图像样本的概率分布，E(x,y)～γ表示在γ范围内的期望。
具体地，G*表示整体的目标函数，即最大化生成损失，最小化判别损失。目标函数包括生成损失LrGAN和内容损失Lw两部分，LrGAN表征的是生成器修复的生成图像在判别器中的损失，可以看作是生成损失；Lw代指的是图像的整体内容损失，这里引入了贝叶斯决策论的思想，利用推土机距离进行表示。
在上述实施例的基础上，本实施例中将所述待修复根系图像输入生成对抗网络的生成器中，输出所述待修复根系图像的修复结果的步骤之后还包括：根据所述待修复根系图像的修复结果计算所述待修复根系图像中根系的根截面积、主根长和根分支数。
具体地，当前根系形态学参数计算方法普遍存在鲁棒性不高的问题，本实施例利用生成式对抗网络处理原始根系图像，可以得到分辨率高、残缺部分补全、背景自动去除的结果图，大大降低了图像预处理和特征提取的难度。本实施例中的根系形态学参数包括根截面积、主根长和根分支数，但本实施例不限于这三种参数。
本实施例从待修复根系图像的修复结果中获取更为准确的根系形态学参数，基于修复结果获取的根系形态学参数通用性高、效果好。能为农业、林业和气象科技领域内的根系研究人员提供较好的数据支持，进而探究植物根系表型与作物生产、环境保护、生态建设等方面的内在联系。
在上述实施例的基础上，本实施例通过以下公式根据所述待修复根系图像的修复结果计算根系的根截面积：
S＝[Na+(Nb/2)]*M；
其中，S表示所述根系的根截面积，Na表示所述待修复根系图像的修复结果中非边缘像素点的个数，Nb表示所述待修复根系图像的修复结果中边缘像素点的个数，M表示所述待修复根系图像的修复结果中单个像素点的面积和所述根系的实际面积之间的比值。
本实施例针对根截面积提出了平滑边界的计算方法，即在传统的通过像素点个数确定根截面积的基础上，对边缘像素点的取值进行特殊处理。
在上述实施例的基础上，本实施例根据所述待修复根系图像的修复结果计算所述待修复根系图像中根系的主根长和根分支数的步骤具体包括：以所述根系的根首为起始点向四周搜索，直到获取到所述根系的根尖；重新搜索从所述起始点到各所述根尖的最短路径；计算各所述最短路径的长度，将最大长度对应的最短路径作为主根长；将所述根尖的数量减1，作为所述根分支数。
具体地，针对主根长，基于链式生长算法从修复的根系图像中的根首作为起始点，不断向四周搜索，在不陷入重复路径的前提下，在各根尖处停止，将各根尖作为终末点，并将此时搜索到的路径称之为原始路径。为了精确化原始路径，回到起始点，重新搜索从起始点到各既得终末点的最短路径，若前后路径长度相同，则视为最佳路径，反之更新原始路径。此过程结束后，将得到的长度最大的路径视为主根，将长度最大的路径的长度作为主根长度。将搜索到的路径数减1视为根分支数。
本实施例提供一种电子设备，图3为本发明实施例提供的电子设备整体结构示意图，该设备包括：至少一个处理器301、至少一个存储器302和总线303；其中，
处理器301和存储器302通过总线303完成相互间的通信；
存储器302存储有可被处理器301执行的程序指令，处理器调用程序指令能够执行上述各方法实施例所提供的方法，例如包括：获取待修复根系图像；将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；每个所述根系图像样本对包括高分辨率根系图像样本和对应的根系凝胶图像样本；所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。
本实施例提供一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行上述各方法实施例所提供的方法，例如包括：获取待修复根系图像；将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；每个所述根系图像样本对包括高分辨率根系图像样本和对应的根系凝胶图像样本；所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于生成对抗网络的根系图像修复方法，其特征在于，包括：
获取待修复根系图像；
将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果；
其中，所述生成对抗网络是基于根系图像样本对进行训练后得到的；
每个所述根系图像样本对包括高分辨率根系图像样本和所述高分辨率根系图像样本对应的根系凝胶图像样本；
所述根系凝胶图像样本为所述高分辨率根系图像样本中的根系放置在植物凝胶中的图像样本。
2.根据权利要求1所述的基于生成对抗网络的根系图像修复方法，其特征在于，在将所述待修复根系图像输入生成对抗网络的生成器中，输出所述待修复更新图像的修复结果的步骤之前还包括：
基于实物图像样本对训练生成对抗网络，以使所述生成对抗网络建立模糊图像和高分辨率图像之间的映射关系；其中，所述实物图像样本对包括高分辨率实物图像样本和所述高分辨率实物图像样本对应的实物凝胶图像样本，所述实物凝胶图像样本为实物放置在植物凝胶中的图像样本，所述实物不为根系；
基于根系图像样本对训练所述生成对抗网络，以使所述生成对抗网络建立不完整根系图像和细节补全图像之间的映射关系。
3.根据权利要求2所述的基于生成对抗网络的根系图像修复方法，其特征在于，将所述待修复根系图像输入生成对抗网络的生成器中，对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，输出所述待修复根系图像的修复结果的步骤具体包括：
基于所述生成器中的LSTM和CNN融合的网络结构，提取所述待修复根系图像的特征；
根据所述待修复根系图像的特征，基于所述生成器中的卷积层和反卷积层对所述待修复根系图像进行超分辨率重建和所述待修复根系图像中的根系进行细节补全，生成所述待修复根系图像的修复结果；
其中所述卷积层和所述反卷积层包含残差块。
4.根据权利要求3所述的基于生成对抗网络的根系图像修复方法，其特征在于，基于根系图像样本对训练所述生成对抗网络的步骤具体包括：
将所述根系凝胶图像样本输入所述生成对抗网络的生成器，输出所述根系凝胶图像样本的修复结果；
将所述根系凝胶图像样本的修复结果和所述根系凝胶图像样本对应的高分辨率根系图像样本输入所述生成对抗网络的判别器，根据所述判别器中的目标函数计算所述根系凝胶图像样本的修复结果和所述高分辨率根系图像样本之间的区分结果；
根据所述区分结果对所述生成器和所述判别器进行优化。
5.根据权利要求4所述的基于生成对抗网络的根系图像修复方法，其特征在于，所述目标函数的公式如下：
G*＝arg minG maxD LrGAN(G，D)+λLw；
LrGAN(G，D)＝Ex，y[logD(x，y)]+Ex，z[log(1-D(x，G(x，z)))]；
其中，G*为目标函数，LrGAN表示生成损失，Lw表示内容损失，G表示所述生成器，D表示所述判别器，E表示期望，λ表示权重系数，D(x，y)表示所述判别器的输出，x表示所述根系凝胶图像样本，y表示所述高分辨率根系图像样本，G(x，z)表示所述生成器的输出，z表示所述生成器中LSTM和CNN融合的网络结构的输出，Pr表示所述根系凝胶图像样本的概率分布，Pg表示所述高分辨率根系图像样本的概率分布，E(x，y)～γ表示在γ范围内的期望。
6.根据权利要求1-5任一所述的基于生成对抗网络的根系图像修复方法，其特征在于，将所述待修复根系图像输入生成对抗网络的生成器中，输出所述待修复根系图像的修复结果的步骤之后还包括：
根据所述待修复根系图像的修复结果计算所述待修复根系图像中根系的根截面积、主根长和根分支数。
7.根据权利要求6所述的基于生成对抗网络的根系图像修复方法，其特征在于，通过以下公式根据所述待修复根系图像的修复结果计算根系的根截面积：
S＝[Na+(Nb/2)]*M；
其中，S表示所述根系的根截面积，Na表示所述待修复根系图像的修复结果中非边缘像素点的个数，Nb表示所述待修复根系图像的修复结果中边缘像素点的个数，M表示所述待修复根系图像的修复结果中单个像素点的面积和所述根系的实际面积之间的比值。
8.根据权利要求6所述的基于生成对抗网络的根系图像修复方法，其特征在于，根据所述待修复根系图像的修复结果计算所述待修复根系图像中根系的主根长和根分支数的步骤具体包括：
以所述根系的根首为起始点向四周搜索，直到获取到所述根系的根尖；
重新搜索从所述起始点到各所述根尖的最短路径；
计算各所述最短路径的长度，将最大长度对应的最短路径作为主根长；
将所述根尖的数量减1，作为所述根分支数。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述基于生成对抗网络的根系图像修复方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8任一项所述基于生成对抗网络的根系图像修复方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910642641.XA CN110533588B (zh) | 2019-07-16 | 2019-07-16 | 基于生成对抗网络的根系图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910642641.XA CN110533588B (zh) | 2019-07-16 | 2019-07-16 | 基于生成对抗网络的根系图像修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533588A true CN110533588A (zh) | 2019-12-03 |
| CN110533588B CN110533588B (zh) | 2021-09-21 |
Family
ID=68660435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910642641.XA Active CN110533588B (zh) | 2019-07-16 | 2019-07-16 | 基于生成对抗网络的根系图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533588B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111814303A (zh) * | 2020-05-28 | 2020-10-23 | 西南交通大学 | 一种植物根系力学模型构建方法、装置及电子设备 |
| CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112419171A (zh) * | 2020-10-28 | 2021-02-26 | 云南电网有限责任公司昆明供电局 | 一种多残差块条件生成对抗网络的图像复原方法 |
| CN112749788A (zh) * | 2020-12-17 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 超分辨率图片模型生成方法、装置、电子设备及存储介质 |
| CN117333400A (zh) * | 2023-11-06 | 2024-01-02 | 华中农业大学 | 一种根盒培养作物根系图像断根修复及表型提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330444A (zh) * | 2017-05-27 | 2017-11-07 | 苏州科技大学 | 一种基于生成对抗网络的图像自动文本标注方法 |
| WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
| CN109801221A (zh) * | 2019-01-18 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 生成对抗网络的训练方法、图像处理方法、装置和存储介质 |
| CN109993702A (zh) * | 2019-04-10 | 2019-07-09 | 大连民族大学 | 基于生成对抗网络的满文图像超分辨率重建方法 |
-
2019
- 2019-07-16 CN CN201910642641.XA patent/CN110533588B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330444A (zh) * | 2017-05-27 | 2017-11-07 | 苏州科技大学 | 一种基于生成对抗网络的图像自动文本标注方法 |
| WO2019019199A1 (en) * | 2017-07-28 | 2019-01-31 | Shenzhen United Imaging Healthcare Co., Ltd. | SYSTEM AND METHOD FOR IMAGE CONVERSION |
| CN109801221A (zh) * | 2019-01-18 | 2019-05-24 | 腾讯科技（深圳）有限公司 | 生成对抗网络的训练方法、图像处理方法、装置和存储介质 |
| CN109993702A (zh) * | 2019-04-10 | 2019-07-09 | 大连民族大学 | 基于生成对抗网络的满文图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| CHAO SHANG等: "2017 IEEE International Conference on Big Data (BIGDATA)", 《2017 IEEE INTERNATIONAL CONFERENCE ON BIG DATA (BIGDATA)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292265A (zh) * | 2020-01-22 | 2020-06-16 | 东华大学 | 一种基于生成式对抗神经网络的图像修复方法 |
| CN111814303A (zh) * | 2020-05-28 | 2020-10-23 | 西南交通大学 | 一种植物根系力学模型构建方法、装置及电子设备 |
| CN112381725A (zh) * | 2020-10-16 | 2021-02-19 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112381725B (zh) * | 2020-10-16 | 2024-02-02 | 广东工业大学 | 基于深度卷积对抗生成网络的图像修复方法及装置 |
| CN112419171A (zh) * | 2020-10-28 | 2021-02-26 | 云南电网有限责任公司昆明供电局 | 一种多残差块条件生成对抗网络的图像复原方法 |
| CN112749788A (zh) * | 2020-12-17 | 2021-05-04 | 郑州金惠计算机系统工程有限公司 | 超分辨率图片模型生成方法、装置、电子设备及存储介质 |
| CN117333400A (zh) * | 2023-11-06 | 2024-01-02 | 华中农业大学 | 一种根盒培养作物根系图像断根修复及表型提取方法 |
| CN117333400B (zh) * | 2023-11-06 | 2024-04-30 | 华中农业大学 | 一种根盒培养作物根系图像断根修复及表型提取方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533588B (zh) | 2021-09-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110533588B (zh) | 基于生成对抗网络的根系图像修复方法 | |
| CN111563893B (zh) | 基于航拍图像的均压环缺陷检测方法、装置、介质和设备 | |
| CN106408011B (zh) | 基于深度学习的激光扫描三维点云树木自动分类方法 | |
| CN110990784B (zh) | 一种基于梯度提升回归树的烟支通风率预测方法 | |
| CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
| US20230004811A1 (en) | Learning processing device and learning processing method | |
| Ma et al. | Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments | |
| CN110147837B (zh) | 基于特征聚焦的任意方向密集目标检测方法、系统及设备 | |
| CN112749675A (zh) | 一种基于卷积神经网络的马铃薯病害识别方法 | |
| CN118379288B (zh) | 基于模糊剔除和多聚焦图像融合的胚胎原核目标计数方法 | |
| CN114596584A (zh) | 海洋生物智能检测识别方法 | |
| Buayai et al. | End-to-end inflorescence measurement for supporting table grape trimming with augmented reality | |
| Song et al. | Dynamic detection of three-dimensional crop phenotypes based on a consumer-grade RGB-D camera | |
| Lu et al. | High-throughput and separating-free phenotyping method for on-panicle rice grains based on deep learning | |
| CN113111830A (zh) | 一种葡萄藤冬剪点检测算法 | |
| CN115690418B (zh) | 一种无监督的图像航路点自动检测方法 | |
| CN116805415A (zh) | 一种基于轻量化改进YOLOv5的笼养肉鸡健康状态识别方法 | |
| CN115035309A (zh) | 一种水稻病害识别方法及装置 | |
| CN114187242A (zh) | 一种基于深度学习的制导光纤表面缺陷检测与定位方法 | |
| Zhou et al. | Maize-pas: Automated maize phenotyping analysis software using deep learning | |
| JP5326881B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| Steinhage et al. | A model-based approach to high performance phenotyping. | |
| CN117274359B (zh) | 一种作物群体的株高测算方法和系统 | |
| CN117973700B (zh) | 一种沼泽湿地关键生境功能区识别方法 | |
| Gao et al. | Plant Event Detection from Time-Varying Point Clouds |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |