CN105678793B - 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 - Google Patents
一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 Download PDFInfo
- Publication number
- CN105678793B CN105678793B CN201610108118.5A CN201610108118A CN105678793B CN 105678793 B CN105678793 B CN 105678793B CN 201610108118 A CN201610108118 A CN 201610108118A CN 105678793 B CN105678793 B CN 105678793B
- Authority
- CN
- China
- Prior art keywords
- image
- registration
- kiwi berry
- sample
- prospect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 244000298697 Actinidia deliciosa Species 0.000 title claims abstract description 80
- 235000009436 Actinidia deliciosa Nutrition 0.000 title claims abstract description 75
- 230000001580 bacterial effect Effects 0.000 title claims abstract description 37
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000013399 early diagnosis Methods 0.000 title claims abstract description 21
- 235000009434 Actinidia chinensis Nutrition 0.000 claims abstract description 36
- 235000021028 berry Nutrition 0.000 claims abstract description 35
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 241000196324 Embryophyta Species 0.000 claims abstract description 16
- 238000003745 diagnosis Methods 0.000 claims abstract description 9
- 230000036541 health Effects 0.000 claims abstract description 6
- 230000004927 fusion Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 12
- 230000003028 elevating effect Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 244000144730 Amygdalus persica Species 0.000 claims description 6
- 235000006040 Prunus persica var persica Nutrition 0.000 claims description 6
- 241000282693 Cercopithecidae Species 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000009659 non-destructive testing Methods 0.000 abstract description 5
- 238000002156 mixing Methods 0.000 abstract description 4
- 208000024891 symptom Diseases 0.000 abstract description 3
- 241000894006 Bacteria Species 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 208000035143 Bacterial infection Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 208000022362 bacterial infectious disease Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011888 foil Substances 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 238000010987 Kennard-Stone algorithm Methods 0.000 description 1
- 238000007397 LAMP assay Methods 0.000 description 1
- 241000282553 Macaca Species 0.000 description 1
- 241000589615 Pseudomonas syringae Species 0.000 description 1
- 102000018120 Recombinases Human genes 0.000 description 1
- 108010091086 Recombinases Proteins 0.000 description 1
- 238000000246 agarose gel electrophoresis Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000012631 diagnostic technique Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000000265 homogenisation Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000155 melt Substances 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于图像融合的猕猴桃溃疡病的早期诊断方法，包括以下步骤：红外热图像进行校正和预处理得到图像I0；RGB图像进行校正和预处理得到图像V0；图像I0和图像V0进行图像匹配和图像融合，得到图像F；采用算法分割图像F得到植株冠层区域的融合图像F1；选取多组已知诊断结果的猕猴桃样本，所述猕猴桃样本包括患溃疡病和健康的猕猴桃，通过上述步骤采集猕猴桃样本的图像F1，以图像F1的几何参数为变量建立溃疡病的判定模型；将待测猕猴桃的几何参数代入步骤判定模型进行早期诊断；本发明还公开了一种基于图像融合的猕猴桃溃疡病的早期诊断装置；本发明方法可以在猕猴桃溃疡病的叶片症状显现前进行无损检测，方便快捷。
Description
技术领域
本发明涉及猕猴桃溃疡病诊断技术，特别涉及一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置。
背景技术
猕猴桃植株细菌性溃疡病(P.syringae pv.actinidae，PSA)已严重威胁到猕猴桃的生产和发展，目前无有效根治手段。因此，一种快速、准确的猕猴桃溃疡病的早期诊断方法对于溃疡病的有效防治具有重要意义。
目前，猕猴桃溃疡病诊断主要依靠分子生物学诊断方法。例如申请号为201210579896.4的专利文献公开了采用环介导等温扩增技术检测猕猴桃溃疡病菌的方法，其中该方法包括猕猴桃溃疡病菌DNA的提取，LAMP反应和实时浊度检测，LAMP反应采用六条引物SEQ ID N0.1-6，从分子水平对猕猴桃溃疡病菌进行筛查和检测。
又例如申请号为201510214094.7的专利文献公开了一种采用重组酶介导等温扩增技术检测猕猴桃溃疡病菌的方法，该方法主要包括：猕猴桃溃疡病菌总DNA的提取，RPA反应和2.5％琼脂糖凝胶电泳检测。该方法从分子水平对猕猴桃溃疡病菌进行快速检测，具有快速、灵敏、方便、特异性等特点。筛选获得的引物对目标片段的扩增具有较高的特异性和稳定性，扩增时间短，反应不需退火，在恒温培养箱、水浴锅、人体温等能够维持所需温度的任何条件即可保持RPA反应具有较高的活性，无需昂贵的仪器设备。建立了猕猴桃溃疡病菌的检测体系，并通过样品检测验证了该体系的实用性。
虽然分子生物学诊断具有灵敏度高、特异性强的优势，但也存在费时费力，操作过程精细，检测成本高，难以实现快速无损检测的目的。
除了上述生物学诊断方法外，红外热像仪可以探测目标物的热辐射并转化为温度分布图。当猕猴桃植株受到溃疡病浸染时，组织细胞新陈代谢受到影响，叶片气孔开闭异常，导致植株冠层表面温度发生变化；植株染病早期，冠层区域的红外热图像会出现高温点(hot point)/低温点(cold point)，使红外热成像技术用于溃疡病的早期诊断成为可能。但是，红外热图像又存在边缘模糊、信噪比低等问题，难以实现冠层区域与背景区域的自动分割；由于上述原因，RGB成像检测技术仅适用于植株症状显现后的诊断。
综上所述可以看出，目前还没有可对猕猴桃溃疡病的进行早期无损检测的有效方法和装置。
发明内容
本发明提供了一种基于图像融合的猕猴桃溃疡病的早期诊断方法，可以在叶片症状显现前，快速、实时地无损检测猕猴桃溃疡病，区分健康植株和染病植株。
一种基于图像融合的猕猴桃溃疡病的早期诊断方法，包括以下步骤：
(1)采集猕猴桃植株冠层的红外热图像与RGB图像；
(2)将步骤(1)获取的红外热图像校正后转换为灰度图像，并对得到的灰度图像进行预处理得到图像I0；
(3)将步骤(1)获取的RGB图像进行校正和预处理得到图像V0；
(4)将步骤(2)得到的图像I0和步骤(3)得到的图像V0进行图像匹配和图像融合，得到融合的图像F；
(5)采用算法分割步骤(4)得到的图像F，获得植株冠层区域的图像F1；可以采用Ostu算法分割图像F的冠层区域与背景区域，获取植株冠层区域；
(6)选取多组已知诊断结果的猕猴桃样本，所述猕猴桃样本包括患溃疡病和健康的猕猴桃，通过步骤(1)～(5)采集猕猴桃样本的图像F1，以图像F1的几何参数为变量建立猕猴桃溃疡病的判定模型；
(7)通过步骤(1)～(5)采集待测猕猴桃的图像F1，将待测猕猴桃的图像F1的几何参数代入步骤(6)中的判定模型进行早期诊断，得到诊断结果。
本发明将红外热图像与RGB图像匹配融合，不仅可以修正和补全猕猴桃冠层区域的轮廓信息实现冠层区域与背景区域的有效分割，还可保留红外热图像所蕴含的几何特征信息实现染病植株和健康植株的区分，克服了单一检测手段的不足，该方法有利于实现猕猴桃溃疡病的早期无损检测，为防治猕猴桃溃疡病提供技术支持。红外热图像转换为灰度图像前进行校正可以提高判定准确性。
为了提高红外热图像质量、辨识度，削弱图像噪声，并提高下一步的图像匹配与融合的效率，优选的，步骤(2)中，对得到的灰度图像进行预处理的具体步骤包括：直方图均衡化和平滑滤波。直方图均衡化法适用于灰度分布较集中、灰度级数少的红外热图像，可以提高冠层和背景的反差程度；平滑滤波可削弱噪声，保留边缘细节信息。
为了提高RGB图像质量、辨识度，削弱图像噪声，并提高下一步的图像匹配与融合的效率，优选的，步骤(3)中，RGB图像进行预处理的具体步骤包括：白板校正、灰度化、归一化、直方图均衡化以及平滑滤波。白板校正可消除或减弱光照的影响并恢复图像信息，图像灰度化可获取亮度信并提高处理速度，图像归一化可使图像标准化，同样地，直方图均衡化法可以提高冠层和背景的反差程度；平滑滤波可削弱噪声，保留边缘细节信息。
本发明为多源图像匹配与融合，为了进一步提高匹配和融合的效果，优选的，步骤(4)中，图像I0和图像V0依次采用射线边缘点集算法进行图像匹配，采用小波变换算法进行图像融合。
为了进一步提高匹配和融合的效果，优选的，步骤(4)中，图像I0和图像V0进行图像匹配和图像融合的具体步骤如下：
4-1、提取图像I0冠层边缘获取红外热特征点集A，提取图像V0冠层边缘获取可见光特征点集B；
4-2、计算步骤4-1获取的点集A与点集B间加权部分豪斯多夫(Hausdorff)距离最小，并采用弹性反向传播算法(Resilient Back Propagation,RPROP)迭代进行算法加速，实现图像I0与V0的自动配准；
4-3、通过步骤4-2将配准后的图像均进行3层小波分解，其高频分量的融合采用局部方差图像融合规则，低频分量的融合采用局部能量图像融合规则；再进行小波重构得到融合的图像F。
优选的，步骤(6)和(7)中，所述图像F1的几何参数包括：均值对比度(MeanContrast)、标准偏差(Standard Deviation)、部分最亮像素点数/目标总像素数的比值(Ratio Bright Pixels/Total Pixels)、部分最暗像素点数/目标总像素数的比值(RatioDark Pixels/Total Pixels)以及像素差值(Pixel difference)中的至少一个。
具体的，各几何参数通过下述方式获得：
均值对比度：利用凯尼(Canny)算子分割融合图像冠层区域内的高温点(hotpoint)/低温点(cold point)所在区域R(R＝{R1,R2，…})，计算R的灰度均值g1及冠层区域灰度均值g2，则均值对比度α1为：
标准偏差：冠层区域内的灰度值的集合为G(G＝{G1,G2，…,Gi,…Gn})，集合G的标准偏差α2为：
部分最亮像素点数/目标总像素数的比值：统计冠层区域内像素值在最亮点像素值10％以内的像素点个数s1与总像素数s，则该比值α3表示为：
部分最暗像素点数/目标总像素数的比值：统计冠层区域内像素值在最暗点像素值10％以内的像素点个数s2与总像素数s，则该比值α4表示为：
像素差值α5表示为：
α5＝s1-s2
为了提高判定的准确性，优选的，步骤(6)中，获取至少500组已知诊断结果的猕猴桃样本，患溃疡病和健康的猕猴桃分别至少占总数的1/3。
建立判定模型的方式和工具很多，为了提高模型的准确性，优选的，步骤(6)中，以图像F1的几何参数为变量建立猕猴桃溃疡病的判定模型的具体步骤包括：
6-1、计算猕猴桃样本的图像F1的几何参数并剔除异常样本；
6-2、将步骤6-1得到的样本图像F1的几何参数分为建模集样本与预测集样本，建模集样本数量与预测集样本数量比例为1～3：1；
6-3、将建模集样本输入SVM分类器，分别选择不同类型的核函数，计算对应核函数的惩罚系数C和核参数γ的最优解，建立多个模型；
6-4、采用预测集样本检验步骤6-3建立的多个模型，获得各模型识别率，选取识别率最高的模型为最终的判别模型。
为了提高模型的判定准确性，优选的，步骤6-3中，所述核函数选用径向基函数(Radial Basis Function,RBF)、S型函数(Sigmoid)及线性函数(Linear)中的至少两种。
本发明还公开了一种基于图像融合的猕猴桃溃疡病的早期诊断装置，包括底部安装有移动车轮的采样车，底端铰接在采样车上的升降杆，一端与升降杆的顶端铰接的水平伸缩杆，还包括：
RGB相机，安装在水平伸缩杆的另一端用于采集RGB图像；
红外热像仪，安装在水平伸缩杆的另一端用于采集红外热图像；
距离传感器，安装在水平伸缩杆的另一端用于控制RGB相机和红外热像仪距离猕猴桃的高度；
图像处理模块，接收RGB相机和红外热像仪采集的RGB图像和红外热图像，并通过上述的基于图像融合的猕猴桃溃疡病的早期诊断方法得到待测猕猴桃的图像F1；
判定模型，通过上述的基于图像融合的猕猴桃溃疡病的早期诊断方法得到，接收所述图像处理模块的图像信号对待测猕猴桃进行诊断。
升降杆升降、水平伸缩杆伸缩以及采样车移动可以实现RGB相机和红外热像仪的定位；升降杆铰接在采样车上，水平伸缩杆与升降杆铰接，从而方便折叠升降杆和水平伸缩杆，便于本发明装置的储藏。图像处理模块和判定模型可以集成在计算机中，计算机可以直接安装在采样车，方便使用。
本发明的有益效果：
(1)相比分子生物学诊断方法，操作人员无需相关专业技能，检测速度更快，并可实际应用于猕猴桃果园的溃疡病检测；
(2)在猕猴桃溃疡病的叶片症状显现前，实现快速、实时地无损检测，为猕猴桃溃疡病的防治工作提供有效信息；
(3)图像采集、处理、分析工作都可以由计算机分析完成，方便快捷。
附图说明
图1为本发明装置的结构示意图。
图2为本发明方法的流程示意图。
图中：1为RGB相机；2为距离传感器；3为红外热像仪；4为伸缩杆；5为螺栓；6为伸缩杆；7为上支撑杆；8为螺栓；9为下支撑杆；10为计算机；11为底座；12为操作平台；13为万向轮；14为车轮。
具体实施方式
如图1所示，本实施例的基于图像融合的猕猴桃溃疡病的早期诊断装置包括：RGB相机1、距离传感器2、红外热像仪3、伸缩杆4、螺栓5、伸缩杆6、支撑杆7、螺栓8、支撑杆9、计算机10、底座11、操作平台12、车轮13。
采样车的底座11左下侧置有两个万向轮13，右下侧置有两个带刹车的车轮14，可实现采样车在猕猴桃果园的移动与固定；底座11上装有可由上支撑杆7和下支撑杆9套接组成的升降杆，下支撑杆9底端与底座11铰接，升降杆用于高度调整，支撑杆7顶端铰接伸缩杆6，伸缩杆4套接在伸缩杆6内，组成用于调整长度的伸缩杆，其中支撑杆与伸缩杆可以按图中箭头所示收缩，铰接部位可折叠，方便携带；伸缩杆4顶端位置装有3个底座和锁定螺，分别用于固定红外热像仪3、RGB相机1及距离传感器2；相机镜头均垂直于地面，其中相机距冠层高度由距离传感器测量，控制高度为0.5米；其中被检测的冠层区域放置折皱锡箔纸和标准白板，用于红外热图像与RGB图像的校正；图像采集卡连接于红外热像仪、RGB相机上，计算机通过图像采集卡实现图像实时采集。
本实施例的基于图像融合的猕猴桃溃疡病的早期诊断方法在温度20℃、湿度70±10％、自然光源条件下的猕猴桃园进行，包括以下步骤：
(1)采集猕猴桃植株冠层的红外热图像与RGB图像；
(2)将步骤(1)获取的红外热图像每个像素点对应的温度Ti,j[K]进行如下校正：
式中ε为叶片发射率，设置为0.98(温度20℃、湿度70±10％条件下)；Tbg为背景温度，即折皱锡箔纸的平均值温度；Ti,j为红外热图像每个像素点对应的温度，即冠层原始温度；TC(i,j)为校正后红外热图像每个像素点对应的温度，即校正后冠层温度；式中温度单位为开尔文温度K；将温度归一化并转化为灰度图，然后进行直方图均衡化、平滑滤波的预处理获取图像I0；
(3)将步骤(1)获取的RGB图像以白板区域的RGB三色的各自均值作为颜色校正的基准值进行校正，然后进行图像灰度化、归一化、直方图均衡化、平滑滤波的预处理获取图像V0；
(4)将步骤(2)得到的图像I0和步骤(2)得到的图像V0进行图像匹配和图像融合，得到图像F，具体步骤如下：
4-1、选用射线边缘点集算法进行图像匹配：图像V0冠层区域二值化图像通过Ostu算法分割获取，提取边缘轮廓，以区域中心间隔角度θ构建辅助射线，由轮廓与射线交点建立待配准RGB图像特征点集A；
图像I0直接用canny算子提取边缘，再用与图像V0相同方法构建待配准红外热图像特征点集B；
4-2、以点集A、B间加权部分豪斯多夫(Hausdorff)距离作为相似性量度，求解距离最小作为图像配准参数，并采用RPROP(Resilient Backpropagation)迭代进行算法加速，使图像I0与图像V0自动配准；
4-3、将配准后的图像I0与图像V0进行3层小波分解，得到各个方向、层次上的高频分量和低频分量；由高频分量和低频分量进行小波重构得到融合图像F；其中高频分量的融合采用局部方差图像融合规则，具体过程如下：
先求出图像I0与图像V0高频分量以像素点(x，y)为中心、大小为3×3(大小可根据需要调整)的局部方差，记为VV与VI:
式中M、N为区域大小，为高频分量G(x,y)对应的加权系数，μ为该区域方差的均值；
由阈值T(选取T＝0.5，可以根据需要进行调整)来确定融合的高频分量，记为H(x,y)：
①若|ω1-ω2|＞T，则
②|ω1-ω2|＜T，则
H(x,y)＝ω1GT(x,y)+ω2GV(x,y)
式中GI(x,y)、GV(x,y)分别为图像I0与图像V0的高频分量，ω1、ω2为归一化加权系数，计算方法如下：
低频分量的融合采用局部能量图像融合规则，具体过程如下：
先求出图像I0与图像V0低频分量以像素点(x，y)为中心、大小为3×3的局部能量，记为EI与EV:
式中M、N为区域大小，为低频分量D(x,y)对应的加权系数；
由阈值T(选取T＝0.5)来确定融合的低频分量，记为L(x,y)：
①若|ω1-ω2|＞T，则
②|ω1-ω2|＜T，则
L(x,y)＝ω1DI(x,y)+ω2DV(x,y)
式中DI(x,y)、DV(x,y)分别为图像I0与图像V0的低频分量，ω1、ω2为归一化加权系数，计算方法如下：
(5)选用Ostu阈值分割算法，采用算法分割步骤(4)得到的图像F，获得植株冠层区域的图像F1；
(6)选取多组已知诊断结果的猕猴桃样本，所述猕猴桃样本包括患溃疡病和健康的猕猴桃，通过步骤(1)～(5)采集猕猴桃样本的图像F1，以图像F1的几何参数为变量建立猕猴桃溃疡病的判定模型；
图像F1的几何参数包括：图像F1灰度化与均一化后提取均值对比度(MeanContrast)、标准偏差(Standard Deviation)、部分最亮像素点数/目标总像素数的比值(Ratio Bright Pixels/Total Pixels)、部分最暗像素点数/目标总像素数的比值(RatioDark Pixels/Total Pixels)和像素差值(Pixel difference)五个几何特征参数，具体计算过程如下：
①均值对比度：利用canny算子分割融合图像冠层区域内的hot point/coldpoint所在区域R(R＝{R1,R2，…})，计算R的灰度均值g1及冠层区域灰度均值g2，则均值对比度α1为：
②标准偏差：冠层区域内的灰度值的集合为G(G＝{G1,G2，…,Gi,…Gn})，集合G的标准偏差α2为：
③部分最亮像素点数/目标总像素数的比值：统计冠层区域内像素值大于205像素数s1与总像素数s，则该比值α3表示为：
④部分最暗像素点数/目标总像素数的比值：统计冠层区域内像素值小于26像素数s2与总像素数s，则该比值α4表示为：
⑤像素差值(Pixel difference)：统计冠层区域内像素值大于205像素数s1与小于26像素数s2，则该差值α5表示为：
α5＝s1-s2 (5)
判定模型的建立过程具体如下：获取至少500张红外热图像作为样本，其中50％为感染溃疡病区域用数值1代表，50％为健康区域用数值2代表，计算几何特征参数后，应用残差法剔除异常样本，将剩余的样本应用Kennard-Stone算法按2：1的比例选取建模集样本与预测集样本，将建模集样本输入SVM分类器，经训练确定惩罚系数C、核函数的类型及核参数γ，以RBF核函数为例，应用网格搜索算法(Grid Search)寻求惩罚系数C与核参数γ的最优解，该算法根据分类精度曲线选择不同的取值范围、搜索步长，进行细搜索直到达到设置的精度要求(本实施例选择5×10-8)为止，建立相应模型，然后用预测集样本检验该模型，获得模型识别率，再选取Sigmoid核函数、高斯核函数及线性核函数按上述步建立不同的判别模型并得到相应识别率，最终选取识别率最高的模型为最终的判别模型。
为了使精度达到最高，SVM分类器选择Sigmoid核函数，惩罚系数C与核函数参数γ通过网格法(Grid Search)进行参数寻优确定，根据预设的数值，1代表染病植株，2代表健康植株，最终判断植株是否感染细菌性溃疡病。
(7)通过步骤(1)～(5)采集待测猕猴桃的图像F1，将待测猕猴桃的图像F1的几何参数代入步骤(6)中的判定模型进行早期诊断，1代表染病植株，2代表健康植株，最终判断植株是否感染细菌性溃疡病。
Claims (5)
1.一种基于图像融合的猕猴桃溃疡病的早期诊断方法，其特征在于，包括以下步骤：
(1)采集猕猴桃植株冠层的红外热图像与RGB图像；
(2)将步骤(1)获取的红外热图像校正后转换为灰度图像，并对得到的灰度图像进行预处理得到图像I0；
步骤(2)中，对得到的灰度图像进行预处理的具体步骤包括：直方图均衡化和平滑滤波；
(3)将步骤(1)获取的RGB图像进行校正和预处理得到图像V0；
RGB图像进行预处理的具体步骤包括：白板校正、灰度化、归一化、直方图均衡化以及平滑滤波；
(4)将步骤(2)得到的图像I0和步骤(3)得到的图像V0进行图像匹配和图像融合，得到融合的图像F；
步骤(4)中，图像I0和图像V0依次采用射线边缘点集算法进行图像匹配，采用小波变换算法进行图像融合；
步骤(4)中，图像I0和图像V0进行图像匹配和图像融合的具体步骤如下：
4-1、提取图像I0冠层边缘获取红外热特征点集A，提取图像V0冠层边缘获取可见光特征点集B；
4-2、计算步骤4-1获取的点集A与点集B间加权部分豪斯多夫距离最小，并采用弹性反向传播算法迭代进行算法加速，使图像I0与V0自动配准；
4-3、通过步骤4-2将配准后的图像均进行小波分解，由高频分量和低频分量进行小波重构最终得到融合的图像F，其中高频分量的融合采用局部方差图像融合规则，低频分量的融合采用局部能量图像融合规则；
(5)采用算法分割步骤(4)得到的图像F，获得植株冠层区域的图像F1；
(6)选取多组已知诊断结果的猕猴桃样本，所述猕猴桃样本包括患溃疡病和健康的猕猴桃，通过步骤(1)～(5)采集猕猴桃样本的图像F1，以图像F1的几何参数为变量建立猕猴桃溃疡病的判定模型；
(7)通过步骤(1)～(5)采集待测猕猴桃的图像F1，将待测猕猴桃的图像F1的几何参数代入步骤(6)中的判定模型进行早期诊断，得到诊断结果；步骤(6)和(7)中，所述图像F1的几何参数包括：均值对比度、标准偏差、部分最亮像素点数/目标总像素数的比值、部分最暗像素点数与目标总像素数的比值以及像素差值中的至少一个。
2.如权利要求1所述的基于图像融合的猕猴桃溃疡病的早期诊断方法，其特征在于，步骤(6)中，获取至少500组已知诊断结果的猕猴桃样本，患溃疡病和健康的猕猴桃分别至少占总数的1/3。
3.如权利要求1所述的基于图像融合的猕猴桃溃疡病的早期诊断方法，其特征在于，步骤(6)中，以图像F1的几何参数为变量建立猕猴桃溃疡病的判定模型的具体步骤包括：
6-1、计算猕猴桃样本的图像F1的几何参数并剔除异常样本；
6-2、将步骤6-1得到的样本图像F1的几何参数分为建模集样本与预测集样本，建模集样本数量与预测集样本数量比例为1～3：1；
6-3、将建模集样本输入SVM分类器，分别选择不同类型的核函数，计算对应核函数的惩罚系数C和核参数γ的最优解，建立多个模型；
6-4、采用预测集样本检验步骤6-3建立的多个模型，获得各模型识别率，选取识别率最高的模型为最终的判别模型。
4.如权利要求3所述的基于图像融合的猕猴桃溃疡病的早期诊断方法，其特征在于，步骤6-3中，所述核函数选用径向基函数、S型函数及线性函数中的至少两种。
5.一种基于图像融合的猕猴桃溃疡病的早期诊断装置，包括底部安装有移动车轮的采样车，底端铰接在采样车上的升降杆，一端与升降杆的顶端铰接的水平伸缩杆，其特征在于，还包括：
RGB相机，安装在水平伸缩杆的另一端用于采集RGB图像；
红外热像仪，安装在水平伸缩杆的另一端用于采集红外热图像；
距离传感器，安装在水平伸缩杆的另一端用于控制RGB相机和红外热像仪距离猕猴桃的高度；
图像处理模块，接收RGB相机和红外热像仪采集的RGB图像和红外热图像，并通过如权利要求1～4任一权利要求所述的基于图像融合的猕猴桃溃疡病的早期诊断方法得到待测猕猴桃的图像F1；
判定模型，通过如权利要求1～4任一权利要求所述的基于图像融合的猕猴桃溃疡病的早期诊断方法得到，接收所述图像处理模块的图像信号对待测猕猴桃进行诊断。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610108118.5A CN105678793B (zh) | 2016-02-26 | 2016-02-26 | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610108118.5A CN105678793B (zh) | 2016-02-26 | 2016-02-26 | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105678793A CN105678793A (zh) | 2016-06-15 |
| CN105678793B true CN105678793B (zh) | 2019-01-15 |
Family
ID=56306092
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610108118.5A Active CN105678793B (zh) | 2016-02-26 | 2016-02-26 | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105678793B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107578408B (zh) * | 2017-09-14 | 2018-08-17 | 郑州轻工业学院 | 一种奶牛养殖场地面尿液面积的仿真测量装置与方法 |
| CN108346143A (zh) * | 2018-01-30 | 2018-07-31 | 浙江大学 | 一种基于无人机多源图像融合的作物病害监测方法和系统 |
| CN110178605B (zh) * | 2019-06-28 | 2021-03-30 | 重庆文理学院 | 一种针对猕猴桃叶片病害的精准农药自动喷洒系统 |
| CN110766687B (zh) * | 2019-10-31 | 2023-03-28 | 深圳市中科同辉科技有限公司 | 一种布鲁氏杆菌检测装置、计算机设备和存储介质 |
| CN110940636B (zh) * | 2019-12-05 | 2020-12-08 | 华南农业大学 | 柑橘林病虫害智能识别与林间信息监测系统 |
| GR1009898B (el) * | 2020-05-12 | 2021-01-08 | Γεωργιος Αθανασιου Φευγας | Μεθοδος ανιχνευσης και αξιολογησης βιοτικου-αβιοτικου στρες σε καλλιεργειες απο θερμικες φωτογραφιες με χρηση τεχνητης νοημοσυνης |
| CN111739031B (zh) * | 2020-06-19 | 2023-09-26 | 华南农业大学 | 一种基于深度信息的作物冠层分割方法 |
| CN112418161A (zh) * | 2020-12-08 | 2021-02-26 | 浙江大学 | 基于图像颜色和纹理特征的成品茶种类和等级识别方法 |
| CN114359114B (zh) * | 2022-03-16 | 2022-08-23 | 宁波杜比医疗科技有限公司 | 一种单核病灶色相还原方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2194503A1 (en) * | 2008-10-27 | 2010-06-09 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and device for infrared and visible image fusion |
| CN101984346A (zh) * | 2010-10-19 | 2011-03-09 | 浙江大学 | 基于低通滤波的水果表面缺陷检测方法 |
| CN103247039A (zh) * | 2013-05-09 | 2013-08-14 | 河海大学常州校区 | 一种基于复合视觉的高压线缆带电检测方法 |
| CN204649634U (zh) * | 2015-03-30 | 2015-09-16 | 华南理工大学 | 一种用于表面组装设备的红外成像检测装置 |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8345936B2 (en) * | 2008-05-09 | 2013-01-01 | Noblis, Inc. | Multispectral iris fusion for enhancement and interoperability |
-
2016
- 2016-02-26 CN CN201610108118.5A patent/CN105678793B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2194503A1 (en) * | 2008-10-27 | 2010-06-09 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and device for infrared and visible image fusion |
| CN101984346A (zh) * | 2010-10-19 | 2011-03-09 | 浙江大学 | 基于低通滤波的水果表面缺陷检测方法 |
| CN103247039A (zh) * | 2013-05-09 | 2013-08-14 | 河海大学常州校区 | 一种基于复合视觉的高压线缆带电检测方法 |
| CN204649634U (zh) * | 2015-03-30 | 2015-09-16 | 华南理工大学 | 一种用于表面组装设备的红外成像检测装置 |
| CN105205818A (zh) * | 2015-09-18 | 2015-12-30 | 国网上海市电力公司 | 一种电气设备红外图像和可见光图像配准的方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于图像处理的钢板表面缺陷支持向量机识别;汤勃等;《中国机械工程》;20110630;第22卷(第12期);第1402-1405页 |
| 基于红外和可见光图像融合的苹果缺陷检测;刘娟娟;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215(第02期);摘要，第29、39、50-51、56-57页 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105678793A (zh) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105678793B (zh) | 一种基于图像融合的猕猴桃溃疡病的早期诊断方法及装置 | |
| CN103018180B (zh) | 一种基于多源光信息技术的棉花病害检测方法和装置 | |
| CN106841216A (zh) | 基于全景图像cnn的隧道病害自动识别装置 | |
| CN106295124B (zh) | 多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN108444928A (zh) | 一种利用种胚谱图特征波段识别谷物种子冻伤情况的方法 | |
| CN106469301A (zh) | 自适应可调节的人脸识别方法和装置 | |
| CN109253975A (zh) | 基于msc-cfs-ica的苹果轻微损伤高光谱检测方法 | |
| CN107016353B (zh) | 一种变分辨率目标探测与识别一体化的方法与系统 | |
| CN108395986A (zh) | 基于深度学习的人类乳头状瘤病毒自动分型检测装置 | |
| CN108230307A (zh) | 一种基于轮廓质心距离与神经网络的玉米破碎粒检测方法 | |
| CN104990892A (zh) | 种子的光谱图像无损鉴别模型建立方法及种子鉴别方法 | |
| CN116704273A (zh) | 一种自适应红外可见光双模融合检测方法 | |
| Niu et al. | Automatic localization of optic disc based on deep learning in fundus images | |
| CN111832507A (zh) | 基于麦穗顶部光谱信息的小麦赤霉病遥感识别方法 | |
| CN113420614A (zh) | 一种基于深度学习算法的近红外高光谱图像识别霉变花生的方法 | |
| CN115984550A (zh) | 一种眼睛虹膜色素斑纹理自动分割方法 | |
| Zhihong et al. | Smartphone-based visual measurement and portable instrumentation for crop seed phenotyping | |
| Srivastava et al. | Machine-vision based handheld embedded system to extract quality parameters of citrus cultivars | |
| Ramanathan et al. | A deep learning approach based on stochastic gradient descent and least absolute shrinkage and selection operator for identifying diabetic retinopathy | |
| Zheng et al. | Detection of Huanglongbing (citrus greening) based on hyperspectral image analysis and PCR | |
| Khan et al. | Ddnet: Diabetic retinopathy detection system using skip connection-based upgraded feature block | |
| CN112396580B (zh) | 一种圆形零件缺陷检测方法 | |
| Janardhana et al. | Computer aided inspection system for food products using machine vision—a review | |
| CN110991469B (zh) | 一种水果可溶性固形物在线检测方法及系统 | |
| Iamudomchai et al. | Deep learning technology for drunks detection with infrared camera |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |