CN113538275B - 一种基于CycleGAN的果实遮挡恢复方法及系统 - Google Patents
一种基于CycleGAN的果实遮挡恢复方法及系统 Download PDFInfo
- Publication number
- CN113538275B CN113538275B CN202110797320.4A CN202110797320A CN113538275B CN 113538275 B CN113538275 B CN 113538275B CN 202110797320 A CN202110797320 A CN 202110797320A CN 113538275 B CN113538275 B CN 113538275B
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- occlusion
- cyclegan
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 169
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000011084 recovery Methods 0.000 claims abstract description 37
- 208000006440 Open Bite Diseases 0.000 claims abstract description 28
- 230000005012 migration Effects 0.000 claims abstract description 19
- 238000013508 migration Methods 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 18
- 230000008439 repair process Effects 0.000 claims abstract description 17
- 238000005520 cutting process Methods 0.000 claims abstract description 15
- 238000010606 normalization Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 125000004122 cyclic group Chemical group 0.000 claims description 7
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 238000003708 edge detection Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 description 8
- 230000001788 irregular Effects 0.000 description 7
- 241000220223 Fragaria Species 0.000 description 6
- 241000207199 Citrus Species 0.000 description 5
- 235000020971 citrus fruits Nutrition 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 235000016623 Fragaria vesca Nutrition 0.000 description 4
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 235000021012 strawberries Nutrition 0.000 description 2
- 241001672694 Citrus reticulata Species 0.000 description 1
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 1
- 240000003768 Solanum lycopersicum Species 0.000 description 1
- 244000061458 Solanum melongena Species 0.000 description 1
- 235000002597 Solanum melongena Nutrition 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000012272 crop production Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20032—Median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明属于果实遮挡恢复技术领域，公开了一种基于CycleGAN的果实遮挡恢复方法及系统，基于CycleGAN的果实遮挡恢复方法包括：分别采集果实遮挡和果实未遮挡两种风格的图像，进行裁剪归一化的预处理；使用CycleGAN网络进行风格迁移训练，利用训练好的CycleGAN模型实现对果实遮挡部分的修复；最后基于图像颜色空间特征分割原始图像和修复图像实现果实遮挡恢复。本发明利用风格迁移的原理，将果实遮挡图像转化为未遮挡图像，通过颜色空间特征分割原始图像和修复图像实现果实遮挡恢复，在保留原有图像中果实未遮挡部分轮廓的同时，修复被枝叶遮挡的部分，既有效地实现果实的遮挡恢复，又不受果实形状的限制。
Description
技术领域
本发明属于果实遮挡恢复技术领域，尤其涉及一种基于CycleGAN的果实 遮挡恢复方法及系统。
背景技术
目前，果实产量是农业生产中衡量经济效益的关键指标，通过图像获取准 确的果实面积等信息，对建立精确的果实产量预测模型具有重要意义。
在实际环境下，果实容易被枝叶遮挡，影响果实面积测量的精度，传统的 遮挡处理方法是利用类圆拟合的方式，通过检测未遮挡部分果实轮廓，拟合圆 形或者椭圆形，实现遮挡恢复，再计算面积，但是该方法有两个缺点：1)由于 果实不是标准的圆形或者类圆形，所以测量结果存在冗余，往往大于实际面积；
2)该方法针对于如柑橘或者番茄等圆形或者类圆形果实，而对于草莓或者茄子等不规则形状果实无能为力。因此，亟需一种新的果实遮挡恢复方法。
通过上述分析，现有技术存在的问题及缺陷为：
(1)传统的遮挡处理方法，由于果实不是标准的圆形或者类圆形，所以测 量结果存在冗余，往往大于实际面积。
(2)传统的遮挡处理方法针对于如柑橘或者番茄等圆形或者类圆形果实， 而对于草莓或者茄子等不规则形状果实无能为力。
解决以上问题及缺陷的难度为：
(1)由于果实受到枝叶遮挡，在进行轮廓拟合的时候易受到叶片干扰，易 导致果实定位失败；
(2)由于不规则果实轮廓特征没有统一性，目前还没有较为稳定的针对不 规则形状果实的轮廓拟合方法。
解决以上问题及缺陷的意义为：
(1)可以实现对遮挡果实完整形态的恢复，使得后续自动采摘过程中对遮 挡果实进行精确的识别定位，推动采摘机器人的实用化；
(2)有效拓展了可修复的果实种类，打破了轮廓是否规则的限制；
(3)可以获得更准确的果实面积信息，实现更精确的产量预测，对作物生 产管理和销售决策作出精细指导。
发明内容
针对现有技术存在的问题，本发明提供了一种基于CycleGAN的果实遮挡 恢复方法及系统。
本发明是这样实现的，一种基于CycleGAN的果实遮挡恢复方法，所述基 于CycleGAN的果实遮挡恢复方法包括：
对采集的果实遮挡和果实未遮挡的图像进行裁剪归一化预处理；
使用CycleGAN网络对所述预处理后的果实遮挡的图像进行迁移训练，利 用训练好的CycleGAN模型实现对果实遮挡部分的修复；
基于图像颜色空间特征分割原始果实遮挡图像和修复的果实遮挡图像，实 现果实遮挡恢复。
进一步，所述基于CycleGAN的果实遮挡恢复方法包括以下步骤：
步骤一，分别采集果实遮挡和果实未遮挡两种风格的图像；
步骤二，对采集图像进行预处理，提取果实部分轮廓；将果实部分图像裁 剪出来，并将裁剪后的图像进行尺寸归一化；
步骤三，将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁 移训练；
步骤四，将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获 得相同尺寸的未遮挡风格的修复图像；
步骤五，基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板；
步骤六，根据图像尺寸一致的特征，从修复图像中获得模板位置对应的修 复图像，代替相同位置的原始图像。
进一步，步骤一中，所述果实遮挡风格图像，包括枝叶对果实各个角度各 种比例的遮挡情况；所述果实未遮挡风格图像，包括无遮挡下各个角度的果实 图像；通过网络爬图、公共数据集和实际拍摄视频分解方法获得。
进一步，步骤二中，所述图像预处理，包括：
通过灰度化、二值化、中值滤波以及边缘检测操作，获取果实边缘坐标， 进行裁剪操作，使得图像边缘和果实边缘一致；
将裁剪后的图像进行尺寸归一化，转化为m×n尺寸。
进一步，步骤三中，所述CycleGAN网络包括两个生成器和两个鉴别器， 分别对应两种图像风格的相互生成和鉴别，损失函数包含两种风格图像相互生 成的对抗损失和循环一致性损失；其中，所述生成器为G:X→Y和F:Y→X，对 应的鉴别器为DY和DX，生成器G,F在样本X,Y间构成循环结构。
所述CycleGAN网络的损失函数L(G,F,DX,DY)包括两个生成对抗损失 LGAN(G,DY,X,Y)、LGAN(F,DX,Y,X)和一个循环一致性损失Lcyc(G,F)：
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；
目标函数为：
进一步，步骤四中，将预处理后待恢复的果实遮挡图像img_cover输入到训 练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像img_repair。
进一步，步骤五中，将img_cover映射至HSV空间，根据HSV颜色空间特 征，从原始果实遮挡图像中提取遮挡部分模板mask：
进一步，步骤六中，根据图像尺寸一致的特征，在原始图像中，从修复图 像img_repair中获得mask模板位置对应的修复图像代替相同位置的原始图像：
进一步，步骤六中，根据图像尺寸一致的特征，在原始图像中，从修复图 像img_repair中获得mask模板位置对应的修复图像代替相同位置的原始图像：
本发明的另一目的在于提供一种应用所述的基于CycleGAN的果实遮挡恢 复方法的基于CycleGAN的果实遮挡恢复系统，所述基于CycleGAN的果实遮 挡恢复系统包括：
图像采集模块，用于分别采集果实遮挡和果实未遮挡两种风格的图像；
图像处理模块，用于对采集图像进行预处理，提取果实部分轮廓；将果实 部分图像裁剪出来，并将裁剪后的图像进行尺寸归一化；
风格迁移训练模块，用于将果实遮挡和未遮挡风格图像输入到CycleGAN 网络进行风格迁移训练；
修复图像获取模块，用于将待恢复的果实遮挡图像输入到训练好的 CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像；
遮挡部分模板获取模块，用于基于HSV图像颜色空间特征，从原始图像中 获得遮挡部分模板；
果实遮挡恢复模块，用于根据图像尺寸一致的特征，从修复图像中获得模 板位置对应的修复图像，代替相同位置的原始图像。
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于实现所述的基于CycleGAN的果实遮挡恢复系统。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明提 供的基于CycleGAN的果实遮挡恢复方法，利用CycleGAN风格迁移模型进行 图像修复，结合图像颜色空间特征实现果实遮挡恢复。本发明可以对遮挡果实 完整形态进行准确恢复且不受形状是否规则的限制，有助于自动采摘的精确定 位，在获取完整轮廓的前提下可以获得准确的面积从而可以预测产量，为作物 生产销售给予有效指导。
本发明利用风格迁移的原理，将果实遮挡图像转化为未遮挡图像，实现对 遮挡图像的修复，通过颜色空间特征分割原始图像和修复图像实现果实遮挡恢 复，在保留原有图像中果实未遮挡部分轮廓的同时，修复被枝叶遮挡的部分， 该方法既有效地实现了遮挡恢复，又不受果实形状的限制，并根据以上思路给 出了具体可实施方案。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所 需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于CycleGAN的果实遮挡恢复方法流程图。
图2是本发明实施例提供的基于CycleGAN的果实遮挡恢复方法原理图。
图3是本发明实施例提供的基于CycleGAN的果实遮挡恢复系统结构框图；
图中：1、图像采集模块；2、图像处理模块；3、风格迁移训练模块；4、 修复图像获取模块；5、遮挡部分模板获取模块；6、果实遮挡恢复模块。
图4是本发明实施例提供的以柑橘为例说明工作流程图。
图5是本发明实施例提供的CycleGAN的结构示意图。
图6是本发明实施例3提供的类圆果实(以柑橘为例)CycleGAN修复和类 圆拟合方法效果对比图。
图7是本发明实施例4提供的不规则果实(以草莓为例)CycleGAN修复效 果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于CycleGAN的果实遮挡 恢复方法及系统，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于CycleGAN的果实遮挡恢复方法， 包括以下步骤：
S101，分别采集果实遮挡和果实未遮挡两种风格的图像；
S102，对采集图像进行预处理，提取果实部分轮廓；将果实部分图像裁剪 出来，并将裁剪后的图像进行尺寸归一化；
S103，将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁移 训练；
S104，将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获得 相同尺寸的未遮挡风格的修复图像；
S105，基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板；
S106，根据图像尺寸一致的特征，从修复图像中获得模板位置对应的修复 图像，代替相同位置的原始图像。
本发明实施例提供的基于CycleGAN的果实遮挡恢复方法原理图如图2所 示。
如图3所示，本发明实施例提供的基于CycleGAN的果实遮挡恢复系统， 包括：
图像采集模块1，用于分别采集果实遮挡和果实未遮挡两种风格的图像；
图像处理模块2，用于对采集图像进行预处理，提取果实部分轮廓；将果实 部分图像裁剪出来，并将裁剪后的图像进行尺寸归一化；
风格迁移训练模块3，用于将果实遮挡和未遮挡风格图像输入到CycleGAN 网络进行风格迁移训练；
修复图像获取模块4，用于将待恢复的果实遮挡图像输入到训练好的 CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像；
遮挡部分模板获取模块5，用于基于HSV图像颜色空间特征，从原始图像 中获得遮挡部分模板；
果实遮挡恢复模块6，用于根据图像尺寸一致的特征，从修复图像中获得模 板位置对应的修复图像，代替相同位置的原始图像。
本领域的技术人员应该理解，以下实施例仅为本发明的优选实施例，其目 的在于帮助更好的理解本发明的内容，具体包括针对类圆果实(以柑橘为例)、 不规则形状果实(以草莓为例)果实遮挡恢复流程，这些具体实施方案不以任 何方式限制本发明的保护范围。
下面结合实施例对本发明的技术方案作进一步描述。
实施例1
一种基于CycleGAN的果实遮挡恢复方法，分别采集果实遮挡和果实未遮 挡两种风格的图像，进行裁剪归一化等预处理，使用CycleGAN网络进行风格 迁移训练，利用训练好的CycleGAN模型实现对果实遮挡部分的修复，最后基 于图像颜色空间特征分割原始图像和修复图像实现果实遮挡恢复。
采集的果实遮挡风格图像包括枝叶对果实各个角度各种比例的遮挡情况， 采集的果实未遮挡风格图像包括无遮挡下各个角度的果实图像。
对采集的图像进行果实部分轮廓提取，并将果实部分图像裁剪出来，将裁 剪后的图像进行尺寸归一化。
将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁移训练。
CycleGAN包括两个生成器和两个鉴别器，分别对应两种图像风格的相互生 成和鉴别，损失函数包含两种风格图像相互生成的对抗损失和循环一致性损失。
将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获得相同尺 寸的未遮挡风格的修复图像。
基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板。
根据图像尺寸一致的特征，从修复图像中获得权利要求6中模板位置对应 的修复图像，代替相同位置的原始图像。
实施例2
本发明提出了一种基于CycleGAN的果实遮挡恢复方法。
采集的果实遮挡风格图像包括枝叶对果实各个角度各种比例的遮挡情况， 采集的果实未遮挡风格图像包括无遮挡下各个角度的果实图像，可以通过网络 爬图、公共数据集、实际拍摄视频分解等方法获得。
由于采集图像中存在冗余，需要对采集图像预处理，通过灰度化、二值化、 中值滤波、边缘检测等操作，获取果实边缘坐标，进行裁剪操作，使得图像边 缘和果实边缘一致。
将裁剪后的图像进行尺寸归一化，转化为m×n尺寸。
将预处理后的果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格 迁移训练，CycleGAN网络包括两个生成器和两个鉴别器，生成器为G:X→Y和 F:Y→X，对应的鉴别器为DY和DX，生成器G,F在样本X,Y间构成循环结构。
CycleGAN网络的损失函数L(G,F,DX,DY)包括两个生成对抗损失 LGAN(G,DY,X,Y)、LGAN(F,DX,Y,X)和一个循环一致性损失Lcyc(G,F)：
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F) (4)
其目标函数为：
将预处理后待恢复的果实遮挡图像img_cover输入到训练好的CycleGAN模 型中，获得相同尺寸的未遮挡风格的修复图像img_repair。
将img_cover映射至HSV空间，根据HSV颜色空间特征，从原始果实遮挡 图像中提取遮挡部分模板mask：
其中(H(i,j),S(i,j),V(i,j))表示img_cover在(i,j)位置对应的HSV像素值， (H,S,V)color_low和(H,S,V)color_high表示特定颜色对应HSV像素值的下限和上限值。
根据图像尺寸一致的特征，在原始图像中，从修复图像img_repair中获得 mask模板位置对应的修复图像代替相同位置的原始图像：
实施例3
一种基于CycleGAN的果实遮挡恢复方法工作流程如图2所示，图4是以 柑橘为例，说明处理流程及实施步骤。
通过网络爬图、公共数据集、实际拍摄视频分解等方式获取柑橘遮挡和未 遮挡风格图像总计20000张，遮挡风格包括各个角度各个比例的遮挡情况，未 遮挡风格包括各个角度拍摄的柑橘图像。
对采集的原始图像进行灰度化，阈值为128的二值化，中值滤波，边缘检 测等操作后，获得果实边界坐标，通过该坐标对原图像裁剪，使得果实边缘与 图像边缘重合。
将所有裁剪后的图像尺寸归一化为256*256大小。
将柑橘遮挡和未遮挡风格图像作为训练样本X,Y输入至CycleGAN网络中 训练，CycleGAN的结构示意图如图5所示，生成器为G:X→Y和F:Y→X，对 应的鉴别器为DY和DX，生成器G,F在样本X,Y间构成循环结构，实现两种风格 图像的相互生成。
将预处理后待恢复的果实遮挡图像img_cover输入到训练好的CycleGAN模 型中，获得相同尺寸的未遮挡风格的修复图像img_repair。
将img_cover映射至HSV空间，根据HSV颜色空间特征，按照公式(6)从 原始果实遮挡图像中提取遮挡部分模板mask，柑橘的颜色特征对应的 (H,S,V)color_low＝(11,43,46)和(H,S,V)color_high＝(25,255,255)。
用img_repair中mask位置的图像代替相同位置img_cover的图像。
测试了8张不同的柑橘遮挡情况下的面积结果和实际值的误差情况，效果 对比如图6所示，面积测量结果如表1所示。
表1面积测量结果
| CycleGAN_area | cycle_area | actual_area | GAN_error | cycle_error |
| 0.782471 | 0.69635 | 0.765625 | 0.022003 | 0.090482 |
| 0.82843 | 0.784393 | 0.813507 | 0.018344 | 0.035788 |
| 0.841431 | 0.872055 | 0.84021 | 0.001453 | 0.037901 |
| 0.788101 | 0.354263 | 0.778671 | 0.01211 | 0.545041 |
| 0.819046 | 0.172806 | 0.778275 | 0.052387 | 0.777963 |
| 0.822189 | 0.587814 | 0.773285 | 0.063242 | 0.239848 |
| 0.869705 | 0.988937 | 0.765762 | 0.135738 | 0.291442 |
| 0.871078 | 0.6138 | 0.824921 | 0.055954 | 0.255928 |
CycleGAN_area、cycle_area、actual_area、CycleGAN_error、cycle_error分 别代表CycleGAN遮挡恢复方法测量的面积值，圆形轮廓检测方法测量面积值， 实际面积值，CycleGAN遮挡恢复方法的测量相对误差，圆形轮廓检测方法的相 对误差。其中CycleGAN遮挡恢复方法的相对误差均值为5％，圆形轮廓检测方 法的相对误差均值(不包含定位错误的图片)为16％，精度提高了11％，但是 圆形轮廓检测方法容易出现检测不完全或错位的问题。
实施例4
不规则形状果实以草莓为例，其果实遮挡恢复流程与柑橘相似，同实施例3 步骤，测试了6张不同的草莓遮挡情况下的面积结果和实际值的误差情况，效 果对比如图7所示，面积测量结果如表2所示。
表2面积测量结果
其中CycleGAN遮挡恢复方法的相对误差均值为5％，最大12％，可以认为具 有较好的遮挡恢复精度。
在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上； 术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、 “头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关 系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元 件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明 的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不 能理解为指示或暗示相对重要性。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组 合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程 序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指 令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可 以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算 机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向 另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、 计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或 无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据 中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用 介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。 所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、 或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。
Claims (5)
1.一种基于CycleGAN的果实遮挡恢复方法，其特征在于，所述基于CycleGAN的果实遮挡恢复方法包括：
分别采集果实遮挡和果实未遮挡两种风格的图像，进行裁剪归一化的预处理；
使用CycleGAN网络进行风格迁移训练，利用训练好的CycleGAN模型实现对果实遮挡部分的修复；
基于图像颜色空间特征分割原始图像和修复图像实现果实遮挡恢复；
所述基于CycleGAN的果实遮挡恢复方法具体包括以下步骤：
步骤一，分别采集果实遮挡和果实未遮挡两种风格的图像；
步骤二，对采集图像进行预处理，提取果实部分轮廓；将果实部分图像裁剪出来，并将裁剪后的图像进行尺寸归一化；
步骤三，将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁移训练；所述CycleGAN网络包括两个生成器和两个鉴别器，分别对应两种图像风格的相互生成和鉴别，损失函数包含两种风格图像相互生成的对抗损失和循环一致性损失；其中，所述生成器为G:X→Y和F:Y→X，对应的鉴别器为DY和DX，生成器G,F在样本X,Y间构成循环结构；
所述CycleGAN网络的损失函数L(G,F,DX,DY)包括两个生成对抗损失LGAN(G,DY,X,Y)、LGAN(F,DX,Y,X)和一个循环一致性损失Lcyc(G,F)：
L(G,F,DX,DY)＝LGAN(G,DY,X,Y)+LGAN(F,DX,Y,X)+λLcyc(G,F)；
目标函数为：
步骤四，将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像；将预处理后待恢复的果实遮挡图像img_cover输入到训练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像img_repair；
步骤五，基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板；将img_cover映射至HSV空间，根据HSV颜色空间特征，从原始果实遮挡图像中提取遮挡部分模板mask：
其中，(H(i,j),S(i,j),V(i,j))表示img_cover在(i,j)位置对应的HSV像素值，(H,S,V)color_low和(H,S,V)color_high表示特定颜色对应HSV像素值的下限和上限值；
步骤六，根据图像尺寸一致的特征，从修复图像中获得模板位置对应的修复图像，代替相同位置的原始图像；根据图像尺寸一致的特征，在原始图像中，从修复图像img_repair中获得mask模板位置对应的修复图像代替相同位置的原始图像：
2.如权利要求1所述的基于CycleGAN的果实遮挡恢复方法，其特征在于，步骤一中，所述果实遮挡风格图像，包括枝叶对果实各个角度各种比例的遮挡情况；所述果实未遮挡风格图像，包括无遮挡下各个角度的果实图像；通过网络爬图、公共数据集和实际拍摄视频分解方法获得。
3.如权利要求1所述的基于CycleGAN的果实遮挡恢复方法，其特征在于，步骤二中，所述图像预处理，包括：
通过灰度化、二值化、中值滤波以及边缘检测操作，获取果实边缘坐标，进行裁剪操作，使得图像边缘和果实边缘一致；
将裁剪后的图像进行尺寸归一化，转化为m×n尺寸。
4.一种应用如权利要求1～3任意一项所述的基于CycleGAN的果实遮挡恢复方法的基于CycleGAN的果实遮挡恢复系统，其特征在于，所述基于CycleGAN的果实遮挡恢复系统包括：
图像采集模块，用于分别采集果实遮挡和果实未遮挡两种风格的图像；
图像处理模块，用于对采集图像进行预处理，提取果实部分轮廓；将果实部分图像裁剪出来，并将裁剪后的图像进行尺寸归一化；
风格迁移训练模块，用于将果实遮挡和未遮挡风格图像输入到CycleGAN网络进行风格迁移训练；
修复图像获取模块，用于将待恢复的果实遮挡图像输入到训练好的CycleGAN模型中，获得相同尺寸的未遮挡风格的修复图像；
遮挡部分模板获取模块，用于基于HSV图像颜色空间特征，从原始图像中获得遮挡部分模板；
果实遮挡恢复模块，用于根据图像尺寸一致的特征，从修复图像中获得模板位置对应的修复图像，代替相同位置的原始图像。
5.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现如权利要求4所述的基于CycleGAN的果实遮挡恢复系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110797320.4A CN113538275B (zh) | 2021-07-14 | 2021-07-14 | 一种基于CycleGAN的果实遮挡恢复方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110797320.4A CN113538275B (zh) | 2021-07-14 | 2021-07-14 | 一种基于CycleGAN的果实遮挡恢复方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113538275A CN113538275A (zh) | 2021-10-22 |
| CN113538275B true CN113538275B (zh) | 2022-05-20 |
Family
ID=78099239
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110797320.4A Active CN113538275B (zh) | 2021-07-14 | 2021-07-14 | 一种基于CycleGAN的果实遮挡恢复方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113538275B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115118948B (zh) * | 2022-06-20 | 2024-04-05 | 北京华录新媒信息技术有限公司 | 一种全景视频中无规则遮挡的修复方法及装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111738271B (zh) * | 2020-03-04 | 2023-05-02 | 沈阳工业大学 | 自然环境中被遮挡果实的识别方法 |
| CN111476213A (zh) * | 2020-05-19 | 2020-07-31 | 武汉大势智慧科技有限公司 | 一种基于道路影像的遮挡物覆盖区域填充方法和装置 |
| CN111815523A (zh) * | 2020-06-08 | 2020-10-23 | 天津中科智能识别产业技术研究院有限公司 | 一种基于生成对抗网络的图像修复方法 |
| CN112529768B (zh) * | 2020-12-04 | 2023-01-06 | 中山大学 | 一种基于生成对抗网络的服装编辑和生成方法 |
| CN112598587B (zh) * | 2020-12-16 | 2022-09-13 | 南京邮电大学 | 一种联合人脸去口罩和超分辨率的图像处理系统和方法 |
| CN112734786A (zh) * | 2020-12-31 | 2021-04-30 | 广西慧云信息技术有限公司 | 一种基于hsv颜色空间的自适应葡萄叶图像分割方法 |
-
2021
- 2021-07-14 CN CN202110797320.4A patent/CN113538275B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113538275A (zh) | 2021-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Identification of tomato disease types and detection of infected areas based on deep convolutional neural networks and object detection techniques | |
| WO2021088385A1 (zh) | 一种在线日志解析方法、系统及其电子终端设备 | |
| CN110046631B (zh) | 用于自动推断时空图像的变化的系统和方法 | |
| CN110680326B (zh) | 基于深度卷积神经网络的尘肺病鉴别及分级判定方法 | |
| CN114581801A (zh) | 一种基于无人机数据采集的果树识别和数量监测方法 | |
| CN111898613B (zh) | 半监督语义分割模型训练方法、识别方法和装置 | |
| CN110533654A (zh) | 零部件的异常检测方法及装置 | |
| CN113538275B (zh) | 一种基于CycleGAN的果实遮挡恢复方法及系统 | |
| CN108876810A (zh) | 视频摘要中利用图割算法进行运动目标检测的方法 | |
| CN115935144A (zh) | 一种运检维护数据去噪重构方法 | |
| CN115952067A (zh) | 一种数据库操作异常行为检测方法及可读存储介质 | |
| CN107507192B (zh) | 一种水稻剑叶夹角在体测量便携装置及在体测量方法 | |
| Liu | A SAM-based method for large-scale crop field boundary delineation | |
| Zhang et al. | Locating Famous Tea's Picking Point Based on Shi-Tomasi Algorithm. | |
| Gupta et al. | Tree annotations in LiDAR data using point densities and convolutional neural networks | |
| CN115169375B (zh) | 基于ar与枪球联动的高位物料可视化方法 | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 | |
| CN110837859A (zh) | 一种融合多维度医疗数据的肿瘤精细分类系统及方法 | |
| CN113723833A (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| CN113257392B (zh) | 一种超声机普适外接数据自动预处理方法 | |
| Jing et al. | Optimizing the YOLOv7-Tiny Model with Multiple Strategies for Citrus Fruit Yield Estimation in Complex Scenarios | |
| Liu et al. | Automatic Solder Defect Detection in Electronic Components Using Transformer Architecture | |
| CN110084125B (zh) | 一种基于深度学习的农业保险查勘技术方法 | |
| Ejaz et al. | Implementation of computer aided diagnosis system for lung cancer detection | |
| Li et al. | Research on recognition of occluded orange fruit on trees based on YOLOv4. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |