CN114549668A - 一种基于视觉显著图的树上果实成熟度检测方法 - Google Patents
一种基于视觉显著图的树上果实成熟度检测方法 Download PDFInfo
- Publication number
- CN114549668A CN114549668A CN202210003452.XA CN202210003452A CN114549668A CN 114549668 A CN114549668 A CN 114549668A CN 202210003452 A CN202210003452 A CN 202210003452A CN 114549668 A CN114549668 A CN 114549668A
- Authority
- CN
- China
- Prior art keywords
- image
- fruit
- visual saliency
- maturity
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 95
- 230000000007 visual effect Effects 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000009499 grossing Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 239000002131 composite material Substances 0.000 claims description 2
- 238000011084 recovery Methods 0.000 claims description 2
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 7
- 235000020971 citrus fruits Nutrition 0.000 description 5
- 241000207199 Citrus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013145 classification model Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000004345 fruit ripening Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002615 epidermis Anatomy 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002420 orchard Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉显著图的树上果实成熟度检测方法，先通过摄像机获取果树图像并使用YOLOv5目标检测算法识别树上的果实；利用YOLOv5输出的bounding box坐标，裁剪果实图像块并使用改进MSSS视觉显著性检测算法获取视觉显著性图像；将果实图像块和对应的视觉显著性图像串联为4维RGBS图像，利用图像分类网络ResNet34结合果实局部图像的RGB和显著性信息判定果实的成熟度类别。本发明的检测方法准确率和鲁棒性俱佳，适用于自然环境下存在场景复杂和光照多变的情况。
Description
技术领域
本发明属于智能采摘领域，具体涉及一种基于视觉显著图的树上果实成熟度检测方法。
背景技术
自然环境下树上果实生长期成熟度各异，实现果实采摘机器人选择性收获具有重要的意义。如果采摘机器人能够识别出树上果实未成熟、半成熟和成熟的三种生长阶段，可以更加合理地安排后续的搬运、仓储、分级和销售等任务，对于智能化采摘作业是至关重要的。现有水果成熟度检测方法主要有两类：一类是手动提取颜色特征并利用机器学习分类器构建成熟度判别模型；虽然手工特征具有确定性，但所训练的分类器在自然环境下很容易失效，泛化性较弱。另一类是利用深度学习技术自动从自然环境水果图像提取鲁棒特征并构建成熟度分类网络，因为自然环境存在场景复杂和光照多变等情况，水果在生长过程中呈现成熟期不一致的特点，同一棵树上的果实也常处于不同的成熟度阶段，需要提取更加丰富的特征来提高识别准确率以准确判断树上果实的成熟度；虽然深度学习模型的拟合能力强，但是其参数优化具有随机性，导致模型精度不稳定且时高时低。专利CN111476153A公开了一种水果成熟度计算方法，提取水果的颜色特征用于表征水果的成熟度指数，该方法的精确度依赖于所提取的颜色特征的稳定性，而在果园等自然环境下的果实表面受到光照、遮挡等影响通常呈现出多变、不稳定的颜色特征，从而导致检测准确率不稳定。而且本领域算法的图像输入都是RGB模型，通道比较单一。因此，如何提高复杂自然环境下水果成果度检测的准确性和稳定性是迫切需要解决的问题。
发明内容
本发明的目的在于克服现有技术中存在的缺点，提供一种基于视觉显著图的树上果实成熟度检测方法，准确率和鲁棒性俱佳，且适用于自然环境下存在场景复杂和光照多变的情况。
本发明的目的通过下述技术方案实现：
一种基于视觉显著图的树上果实成熟度检测方法，包括下述步骤：
(1)首先，通过摄像机获取果树图像并使用YOLOv5目标检测算法识别树上的果实；
(2)利用YOLOv5输出的boundingbox坐标，裁剪果实图像块并使用改进MSSS视觉显著性检测算法获取视觉显著性图像；
(3)将果实图像块和对应的视觉显著性图像串联为4维RGBS(Red，Green，Blue，Saliency)图像，利用图像分类网络ResNet34结合果实局部图像的RGB和显著性信息判定果实的成熟度类别。
所述步骤(1)中，拍摄图像时摄像机距离果树较远，在0.5m～1.5m距离范围内使用摄像机全自动模式随机在不同距离和不同光照条件下进行拍摄。
优选地，利用光照恢复算法对步骤(1)中摄像机获取的图像进行光量调整，使图像整体光照更加均衡。
优选地，步骤(1)中可采用多台摄像机从不同视角捕获果树图像，利用多视角图像信息作出更加客观、可信的水果成熟度判断。
所述步骤(2)中，具体包括下述步骤：
(2-1)使用5*5的高斯滤波平滑图像，过滤图像中的部分高频信息；
(2-2)将图像转换为L*a*b*、YIQ和YCbCr图像，提取a*通道图像、I通道图像和Cr通道图像，并进行最大最小归一化；
(2-3)遍历每一个像素点(xi，yi)，以该像素坐标为中心画一个最大对称包围框SymBoxi，最大对称包围框的示意图如图3所示，它的宽度Wi和长度Hi的定义如式(1)-式(4)所示：
Wi＝2Δxi (1)
Hi＝2Δyi (2)
Δxi＝min{|xi-x0|，|xn-xi|} (3)
Δyi＝min{|yi-y0|，|yn-yi|} (4)
其中，(x0，y0)表示图像左上角像素点，(xn，yn)表示图像右下角像素点；
(2-4)分别在a*通道图像、I通道图像和Cr通道图像上获取各个像素坐标对应的颜色特征值，即a*(xi，yi)、I(xi，yi)和Cr(xi，yi)，以及该像素的最大对称包围框SymBoxi对应的颜色特征均值，即a*(SymBoxi)、I(SymBoxi)和Cr(SymBoxi)，其计算公式如式(5)-式(7)所示：
Si＝WiHi (6)
Fj＝{a*，I，Cr}，j＝1，2，3 (7)
(2-5)分别在a*通道图像、I通道图像和Cr通道图像上计算各个像素点与其最大对称包围框的颜色对比度Cj，计算公式如式(8)-式(9)所示：
Dj(xi，yi)＝Fj(xi，yi)-Fj(SymBoxi)，j＝1，2，3 (9)
(2-6)各个像素点在a*通道图像，I通道图像和Cr通道图像上的颜色对比度Cj进行求和，得到累加颜色对比度图Con；累积颜色对比度图Con归一化为0～255间的数值，得到最终的视觉显著性图像S，其计算公式如式(10)-式(11)所示：
所述步骤(3)中，具体包括以下步骤：
(3-1)根据步骤(1)中YOLOv5模型输出的果实位置截取果实RGB模式图像块，并利用步骤(2)计算果实RGB模式图像块对应的视觉显著图图像块，将两个图像块进行通道合并生成一副四通道的复合图像，即称为RGBS(Red，Green，Blue，Saliency)图像块；
(3-2)将RGBS图像块输入到图像分类网络ResNet34中，提取高层抽象鲁棒的成熟度特征，并输出果实的成熟度类别。本发明参考国家标准文件NYT716-2003《柑橘采摘技术规范》和果农主观经验，将果实成熟度类别分为未成熟、半成熟和成熟三种生长阶段，其中未成熟果实表皮绿色转黄色区域面积占果实总面积(以下简称为转色比率)小于1/4，半成熟果实转色比率为1/4～2/3，成熟果实转色比率大于2/3。
本发明与现有技术相比具有如下优点和效果：
(1)本发明改进了视觉显著性检测算法MSSS，并将果实图像块与其对应的视觉显著性图串联成四维图像，输入到图像分类网络中判定该果实的成熟度类别，结合了基于传统颜色特征的视觉显著性检测算法直观、确定性强和卷积神经网络抽象、鲁棒的学习的优势，通过增加视觉显著性图像通道输入为卷积神经网络提供了先验知识，减缓了神经网络的随机性，增强了神经网络学习的目的性，有利于卷积神经网络更快地收敛并进一步提取更有用的特征信息。本发明将视觉显著性算法和神经网络进行结合，既具有前者直观、确定性强和后者学习能力强的优势，又弥补了前者特征低级和后者随机性强、稳定性差的劣势，达到准确率和鲁棒性俱佳，且适用于自然环境存在场景复杂和光照多变的情况。
(2)本发明将视觉显著性检测算法的本质和水果成熟度表现出来的颜色特性相结合。因为视觉显著性检测的本质是对感兴趣的区域就具有较高的视觉显著性，对不感兴趣的区域就具有较低的视觉显著性；而水果成熟度的特性是完全成熟是橙色的、半成熟是半黄半绿的、不成熟是绿色的。因此本发明采用与黄色、橙色正相关的颜色特征a*、I和Cr，使视觉显著性与果实成熟度的颜色特性产生关联性，提升了模型与果实成熟度的相关性，提高本发明的检测准确率。
(3)针对复杂自然环境下部分绿色叶子干扰果实成熟检测的影响，本发明令特征值小于最大对称周围的像素点的颜色对比度值等于0，因为当绿色果实的最大对称周围分布了太多橙黄色果实时，也会出现颜色对比度较高的情况(亦称为“负反差现象”)，从而导致视觉显著性与果实成熟度的相关性不一致，因此本发明将该情况下的像素点的颜色对比度值设为0，提高了算法的稳定性和准确性。
(4)本发明只对果实图像块的像素点集进行了相关计算，而非果实图像块的像素点则不进行计算，使算法平均执行时间从1.84s/f缩短至0.20s/f，大幅减少了计算量，更加适用于实际采摘作业。
附图说明
图1为柑橘成熟度检测算法流程图。
图2为YOLOv5s模型检测结果。
图3为最大对称包围框示意图。
图4为视觉显著性检测。
具体实施方式
为了便于理解本发明，下面将结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但是，不以任何形式限制本发明。应该指出的是，对本领域的技术人员来说，在不脱离本发明构思的前提下，本发明还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例1
本实施例适用于复杂自然环境中的树上果实成熟度检测，其中自然环境的复杂性主要体现在多变的光照条件(含顺光、侧光、逆光等)和果实成熟度不一致的现象。同一棵树上可能同时存在不同成熟度阶段的果实。本实施例以树上柑橘的成熟度检测为例，提出鲁棒的、稳健的面向复杂自然环境的果实成熟度检测具体措施。如图1所示，基于视觉显著图的树上果实成熟度检测方法，包括下述步骤：
(1)在0.5m～1.5m距离范围内使用相机设备在不同距离和不同光照条件下进行拍摄柑橘图像。为了加快算法处理速度，统一将图像尺寸缩小到原图四分之一；
(2利用YOLOv5目标检测算法识别图像中的柑橘果实，在本实施例中选用YOLOv5系列模型中的S型号。在网络训练阶段，设置的超参数中batch size为24，epoch为300，动量项为0.937，初始学习率为0.01，衰减系数为0.0005，使用warmup策略，其他超参数均为默认设置。训练过程中自动进行马赛克增强，并且有一定的概率随机进行色度和几何变换的数据增强。YOLOv5将输出目标的位置信息，如图2中果实的检测框(亦称为“bounding box”)所示。利用YOLOv5输出的bounding box信息裁剪仅包含单个果实的局部图像，为RGB格式。
(3)本发明对视觉显著性检测算法MSSS进行改进并计算RGB格式的果实局部图像对应的视觉显著性图像，为灰度图格式。具体步骤如下：
(3-1)使用5*5的高斯滤波平滑图像，过滤图像中的部分高频信息；
(3-2)将图像转换为L*a书b*，YIQ和YCbCr图像，提取a*通道、I通道和Cr通道图像，并且进行最大最小归一化；
(3-3)遍历每一个像素点(xi，yi)，以该像素坐标为中心画一个最大对称包围框SymBoxi。最大对称包围框的示意图如图3所示，它的宽度Wi和长度Hi的定义如式(1)-(4)所示。
Wi＝2Δxi (1)
Hi＝2Δyi (2)
Δxi＝min{|xi-x0|，|xn-xi|} (3)
Δyi＝min{|yi-y0|，|yn-yi|} (4)
其中，(x0，y0)表示图像左上角像素点，(xn，yn)表示图像右下角像素点。
(3-4)分别在a*通道图像，I通道图像和Cr通道图像上获取各个像素坐标对应的颜色特征值，即a*(xi，yi)、I(xi，yi)和Cr(xi，yi)，以及该像素的最大对称包围框SymBoxi对应的颜色特征均值，即a*(SymBoxi)、I(SymBoxi)和Cr(SymBoxi)，其计算公式如式(5)-(7)所示。
Si＝WiHi (6)
Fj＝{a*，I，Cr}，j＝1，2，3 (7)
(3-5)分别在a*通道图像，I通道图像和Cr通道图像上计算各个像素点与其最大对称包围框的颜色对比度Cj，计算公式如式(8)-(9)所示。
Dj(xi，yi)＝Fj(xi，yi)-Fj(SymBoxi) (9)
(3-6)各个像素点在a*通道图像，I通道图像和Cr通道图像上的颜色对比度Cj进行求和，得到累加颜色对比度图Con。累积颜色对比度图Con归一化为0～255间的数值，得到最终的视觉显著性图像S，其计算公式如式(10)-(11)所示。
视觉显著性图像的效果如图4所示，图中“UR”、“SR”和“R”分别表示“未成熟”、“半成熟”和“成熟”。原MSSS算法使用的颜色特征是L*，a*，b*，主要描述通用目标而不是特定目标，导致生成的显著图无法体现果实的成熟度差异，如图4(b)所示具有较高显著性的区域反而是天空、大地等背景。同时，原MSSS算法未对负反差现象(即若小面积绿色区域位于大面积橙黄色区域中，将会导致颜色特征差具有较大的负值的现象)进行抑制，视觉显著性检测算法同样给予高显著性，容易导致下一阶段的图像分类模型造成误判。而本实施例改进的MSSS算法则克服了原始算法的两大缺点。首先，将输入的颜色特征替换成与果实表面成熟度正相关的颜色特征a*、I、Cr，赋予算法描述特定目标(即水果)的能力。其次，本实施例在公式(8)中对由于负反差产生的色差Cj(xi,yi)赋值为0。通过抑制负反差现象，算法生成的显著图舍弃了干扰果实成熟度判断的虚假信息，而与果实成熟度特征体现出了强相关性。如图4(c)所示，显著图中高亮的区域均与果实相关，背景区域则受到了抑制，并且果实的转色区域呈现出较高显著性，而非转色区域呈现低显著性。观察各果实对应的视觉显著图可知，本发明的显著图信息能够体现果实之间成熟度的区别。
(4)将果实图像块与其对应的视觉显著性图像串联成四通道图像。利用卷积神经网络ResNet34提取特征并判定成熟度类别，最后将图像中所有柑橘果实框出并标注成熟度类别。
本实施例与现有的果实成熟度检测方法进行了对比试验。本实施例采集3083幅果实RGB图像块及对应的视觉显著图作为成熟度分类数据集，其中2312幅作为训练集，771幅作为测试集。现有成熟度分类方法主要有2类，其中，方法1：手工提取颜色特征训练多元分类器；方法2：利用卷积神经网络对果实图像块分类。
对比试验中，方法1的实现为提取果实RGB图像块的R,G,B,L*,a*,b*,H,S,V特征均值训练SVM模型，模型核函数为线性核函数，使用5折交叉验证获得最优分类模型。方法2的实现为以果实RGB图像块作为输入训练得到ResNet34模型。
表1果实成熟度分类对比试验
由表1可知，现有成熟度检测方法的精度均低于本实施例。其中，方法1是基于传统手工颜色特征的方法，结果表明该类方法对复杂自然环境的鲁棒性较差；方法2是利用卷积神经网络进行图像分类的方法，结果表明该类方法由于参数优化随机性限于局部最优值，精度低于本实施例。本实施例结合了传统颜色特征法(即视觉显著检测算法)和卷积神经网络的优势，达到了更高精度，说明本实施例增加的改进显著图通道输入能够突出成熟度特征，为模型提供先验知识，从而达到更鲁棒、准确和稳定的检测效果。
以上所述仅为本发明的实施例，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均为等效的置换方式，都包含在本发明的保护范围之内。
Claims (5)
1.一种基于视觉显著图的树上果实成熟度检测方法，其特征在于包括下述步骤：
(1)首先，通过摄像机获取果树图像并使用YOLOv5目标检测算法识别树上的果实；
(2)利用YOLOv5输出的bounding box坐标，裁剪果实图像块并使用改进MSSS视觉显著性检测算法获取视觉显著性图像；
(3)将果实图像块和对应的视觉显著性图像串联为4维RGBS(Red，Green，Blue，Saliency)图像，利用图像分类网络ResNet34结合果实局部图像的RGB和显著性信息判定果实的成熟度类别。
2.根据权利要求1所述的基于视觉显著图的树上果实成熟度检测方法，其特征在于：所述步骤(1)中，摄像机在0.5m～1.5m距离范围内使用全自动模式随机在不同距离和不同光照条件下进行拍摄。
3.根据权利要求1所述的基于视觉显著图的树上果实成熟度检测方法，其特征在于：利用光照恢复算法对步骤(1)中摄像机获取的图像进行光量调整，使图像整体光照更加均衡。
4.根据权利要求1所述的基于视觉显著图的树上果实成熟度检测方法，其特征在于：所述步骤(2)中，具体包括下述步骤：
(2-1)使用5*5的高斯滤波平滑图像，过滤图像中的部分高频信息；
(2-2)将图像转换为L*a书b*、YIQ和YCbCr图像，提取a*通道图像、I通道图像和Cr通道图像，并进行最大最小归一化；
(2-3)遍历每一个像素点(xi，yi)，以该像素坐标为中心画一个最大对称包围框SymBoxi，最大对称包围框的宽度Wi和长度Hi的定义如式(1)-式(4)所示：
Wi＝2Δxi (1)
Hi＝2Δyi (2)
Δxi＝min{|xi-x0|，|xn-xi|} (3)
Δyi＝min{|yi-y0|，|yn-yi|} (4)
其中，(x0，y0)表示图像左上角像素点，(xn，yn)表示图像右下角像素点；
(2-4)分别在a*通道图像、I通道图像和Cr通道图像上获取各个像素坐标对应的颜色特征值，即a*(xi，yi)、I(xi，yi)和Cr(xi，yi)，以及该像素的最大对称包围框SymBoxi对应的颜色特征均值，即a*(SymBoxi)、I(SymBoxi)和Cr(SymBoxi)，其计算公式如式(5)-式(7)所示：
Si＝WiHi (6)
Fj＝{a*，I，Cr}，j＝1，2，3 (7)
(2-5)分别在a*通道图像、I通道图像和Cr通道图像上计算各个像素点与其最大对称包围框的颜色对比度Cj，计算公式如式(8)-式(9)所示：
Dj(xi，yi)＝Fj(xi，yi)-Fj(SymBoxi)，j＝1，2，3 (9)
(2-6)各个像素点在a*通道图像，I通道图像和Cr通道图像上的颜色对比度Cj进行求和，得到累加颜色对比度图Con；累积颜色对比度图Con归一化为0～255间的数值，得到最终的视觉显著性图像S，其计算公式如式(10)-式(11)所示：
5.根据权利要求1所述的基于视觉显著图的树上果实成熟度检测方法，其特征在于：所述步骤(3)中，具体包括以下步骤：
(3-1)根据步骤(1)中YOLOv5模型输出的果实位置截取果实RGB模式图像块，并利用步骤(2)计算果实RGB模式图像块对应的视觉显著图图像块，将两个图像块进行通道合并生成一副四通道的复合图像，即称为RGBS(Red，Green，Blue，Saliency)图像块；
(3-2)将RGBS图像块输入到图像分类网络ResNet34中，提取高层抽象鲁棒的成熟度特征，并输出果实的成熟度类别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003452.XA CN114549668A (zh) | 2022-01-04 | 2022-01-04 | 一种基于视觉显著图的树上果实成熟度检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210003452.XA CN114549668A (zh) | 2022-01-04 | 2022-01-04 | 一种基于视觉显著图的树上果实成熟度检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114549668A true CN114549668A (zh) | 2022-05-27 |
Family
ID=81669367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210003452.XA Pending CN114549668A (zh) | 2022-01-04 | 2022-01-04 | 一种基于视觉显著图的树上果实成熟度检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114549668A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2431919A1 (en) * | 2010-09-16 | 2012-03-21 | Thomson Licensing | Method and device of determining a saliency map for an image |
| CN105138991A (zh) * | 2015-08-27 | 2015-12-09 | 山东工商学院 | 一种基于情感显著性特征融合的视频情感识别方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN111242238A (zh) * | 2020-01-21 | 2020-06-05 | 北京交通大学 | 一种rgb-d图像显著性目标获取的方法 |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
-
2022
- 2022-01-04 CN CN202210003452.XA patent/CN114549668A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2431919A1 (en) * | 2010-09-16 | 2012-03-21 | Thomson Licensing | Method and device of determining a saliency map for an image |
| CN105138991A (zh) * | 2015-08-27 | 2015-12-09 | 山东工商学院 | 一种基于情感显著性特征融合的视频情感识别方法 |
| WO2019104767A1 (zh) * | 2017-11-28 | 2019-06-06 | 河海大学常州校区 | 基于深度卷积神经网络与视觉显著性的织物缺陷检测方法 |
| CN111242238A (zh) * | 2020-01-21 | 2020-06-05 | 北京交通大学 | 一种rgb-d图像显著性目标获取的方法 |
| CN112136505A (zh) * | 2020-09-07 | 2020-12-29 | 华南农业大学 | 一种基于视觉选择注意机制的水果采摘顺序规划方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈科尹 等: "基于视觉显著性改进的水果图像模糊聚类分割算法", 农业工程学报, no. 06, 15 March 2013 (2013-03-15), pages 165 - 173 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | A detection method for apple fruits based on color and shape features | |
| CN108009542B (zh) | 油菜大田环境下杂草图像分割方法 | |
| Bulanon et al. | Development of a real-time machine vision system for the apple harvesting robot | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN110569786B (zh) | 一种基于无人机数据采集的果树识别和数量监测方法及系统 | |
| Sunny et al. | An efficient citrus canker detection method based on contrast limited adaptive histogram equalization enhancement | |
| CN103295013A (zh) | 一种基于成对区域的单幅图像阴影检测方法 | |
| CN110176005B (zh) | 基于归一化指数和多尺度模型的遥感图像分割方法 | |
| CN106778786A (zh) | 基于对数频域分层梯度方向直方图的苹果病害识别方法 | |
| CN108710864A (zh) | 基于多维度识别及图像降噪处理的冬小麦遥感提取方法 | |
| CN109871900A (zh) | 一种基于图像处理的复杂背景下苹果的识别定位方法 | |
| Ji et al. | In-field automatic detection of maize tassels using computer vision | |
| CN115147746B (zh) | 基于无人机遥感图像的盐碱地质识别方法 | |
| CN114758132B (zh) | 一种基于卷积神经网络的果树病虫害识别方法及系统 | |
| Liu et al. | Development of a machine vision algorithm for recognition of peach fruit in a natural scene | |
| CN110866547B (zh) | 基于多特征和随机森林的中药饮片自动分类系统及方法 | |
| CN104318240A (zh) | 一种基于计算机视觉的花蕾判别方法 | |
| CN110399785B (zh) | 一种基于深度学习与传统算法的树叶遮挡的检测方法 | |
| Septiarini et al. | Image processing techniques for tomato segmentation applying k-means clustering and edge detection approach | |
| CN104636716B (zh) | 绿色果实识别方法 | |
| CN111612797B (zh) | 一种水稻图像信息处理系统 | |
| CN113936019A (zh) | 一种基于卷积神经网络技术的大田作物产量估算方法 | |
| CN114549668A (zh) | 一种基于视觉显著图的树上果实成熟度检测方法 | |
| Sun et al. | Combining an information-maximization-based attention mechanism and illumination invariance theory for the recognition of green apples in natural scenes | |
| Ullagaddi et al. | Automatic robust segmentation scheme for pathological problems in mango crop |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |