CN107992863B - 多分辨率粮虫种类视觉识别方法 - Google Patents

多分辨率粮虫种类视觉识别方法 Download PDF

Info

Publication number
CN107992863B
CN107992863B CN201810022600.6A CN201810022600A CN107992863B CN 107992863 B CN107992863 B CN 107992863B CN 201810022600 A CN201810022600 A CN 201810022600A CN 107992863 B CN107992863 B CN 107992863B
Authority
CN
China
Prior art keywords
resolution
grain insect
image
grain
insect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810022600.6A
Other languages
English (en)
Other versions
CN107992863A (zh
Inventor
王贵财
张梦
白浩
费选
侯营
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University of Technology
Original Assignee
Henan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University of Technology filed Critical Henan University of Technology
Priority to CN201810022600.6A priority Critical patent/CN107992863B/zh
Publication of CN107992863A publication Critical patent/CN107992863A/zh
Application granted granted Critical
Publication of CN107992863B publication Critical patent/CN107992863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多分辨率粮虫种类视觉识别方法，对拍摄的低、中、高分辨率三幅粮虫图像分别运用OTSU算法对其进行二值化，利用Blob算法分别提取低、中、高三种分辨率的粮虫图像的连通区域，在低分辨率粮虫图像上对疑似粮虫目标区域定位；根据中、低分辨率图像放大率和低分辨率粮虫图像上疑似粮虫目标区域进行反定位，计算面积参数与周长参数，确定是否为粮虫区域；最后在Blob算法提取的高分辨率粮虫图像连通区域基础上，根据高、中分辨率图像放大率和已确定中分辨率粮虫区域进行反定位，采用局部二值模式粮虫纹理特征和随机森林分类器对粮虫实现识别。本发明利用开发工具和图像处理算法的优点实现对粮虫种类的高效准确的识别。

Description

多分辨率粮虫种类视觉识别方法
技术领域
本发明涉及储粮粮情检测领域，尤其是涉及多分辨率粮虫种类视觉识别方法。
背景技术
维持一定数量、品种和品质粮食的储备，是保障国家粮食安全的重要措施。其中，储粮害虫的危害问题是该领域长期以来表现较为突出的问题之一。粮虫识别是进行粮虫综合防治的一种有效手段。主要方法有扦样法、诱集法、声音识别法、近红外法和视觉检测法等。自从美国学者Zayas采用视觉技术对散装小麦仓中的谷蠹成虫进行离线研究，为粮虫的快速检测和分类开辟了新途径。视觉识别法具有准确度高、劳动量小、粮虫图像可视化、不局限于粮库的分散性和地域限制，便于同粮库现有软件系统集成等优点。因此，如何高效、准确、便捷地实现粮虫识别，近年来一直是粮虫识别领域的研究热点。
发明内容
本发明目的在于提供一种多分辨率粮虫种类视觉识别方法，以解决现有粮虫视觉检测方法无法克服实际粮仓存储复合环境的影响。
为实现上述目的，本发明采取下述技术方案：
本发明所述多分辨率粮虫种类视觉识别方法，在多分辨率镜头基础上，对拍摄的低分辨率（小于
Figure 100002_DEST_PATH_IMAGE001
）、中分辨率（介于
Figure 838905DEST_PATH_IMAGE001
和
Figure 87484DEST_PATH_IMAGE002
之间）、高分辨率（高于
Figure 200802DEST_PATH_IMAGE002
）三幅粮虫图像分别运用OTSU算法对其进行二值化，然后利用Blob算法分别提取低、中、高三种分辨率的粮虫图像的连通区域，并在所述低分辨率粮虫图像上对疑似粮虫目标区域定位；在所述Blob算法提取的所述中分辨率粮虫图像连通区域的基础上，根据中、低分辨率图像放大率和低分辨率粮虫图像上疑似粮虫目标区域进行反定位，并计算其面积参数与周长参数，据此确定是否为粮虫区域；最后在Blob算法提取的高分辨率粮虫图像连通区域基础上，根据高、中分辨率图像放大率和已确定中分辨率粮虫区域进行反定位，然后采用局部二值模式(英文：Local Binary Patterns，简称LBP)粮虫纹理特征和随机森林分类器(英文Random Forest, 简称RF)对粮虫实现识别。
为抑制复合干扰源下凸显粮虫目标来提高粮虫视觉检测效果，构造
Figure RE-DEST_PATH_IMAGE006
结构元素，同时使用水平方向和垂直方向的线性结构元素，对二值化的所述低、中、高三种分辨率粮虫图像进行膨胀运算，实现粮虫目标增强进而提高粮虫检测识别率。
根据中、低分辨率图像放大率和低分辨率粮虫图像上疑似粮虫目标区域进行反定位，并计算其面积参数与周长参数的方法为：
a、采用面积参数
Figure 509741DEST_PATH_IMAGE004
度量目标区域大小，对于斑块区域
Figure 963725DEST_PATH_IMAGE005
，
Figure 552838DEST_PATH_IMAGE004
定义为该区域中像素点的数目，即：
Figure 956137DEST_PATH_IMAGE006
式中：
Figure 621605DEST_PATH_IMAGE007
为像素坐标值，
Figure 362552DEST_PATH_IMAGE008
为该点的像素值；
b、采用周长参数
Figure 568406DEST_PATH_IMAGE009
度量目标区域特征，对于斑块区域
Figure 560633DEST_PATH_IMAGE010
，
Figure 459319DEST_PATH_IMAGE009
定义为斑块区域边界上像素点的个数。即：
Figure 419053DEST_PATH_IMAGE011
式中：
Figure 366281DEST_PATH_IMAGE007
为像素坐标值，
Figure 196702DEST_PATH_IMAGE008
为该点的像素值。
采用局部二值模式粮虫纹理特征和随机森林分类器对粮虫实现识别的方法为：
利用像素点
Figure 469552DEST_PATH_IMAGE012
的
Figure 385424DEST_PATH_IMAGE013
邻域内灰度变化来表示高分辨率粮虫图像像素点的纹理模式；变换公式如下：
Figure 198659DEST_PATH_IMAGE014
其中
Figure 165478DEST_PATH_IMAGE015
表示图像在像素点
Figure 861426DEST_PATH_IMAGE007
的邻域内的灰度变化，取值为：
Figure 77644DEST_PATH_IMAGE016
Figure 428991DEST_PATH_IMAGE017
表示图像在该像素点处的二值纹理模式，代表邻域内像素点的灰度值相对于中心点的变化情况；
Figure 250316DEST_PATH_IMAGE018
为变换系数，构成变换系数矩阵
Figure 396127DEST_PATH_IMAGE019
；
Figure 552171DEST_PATH_IMAGE020
为便于表示和计算，将
Figure 441629DEST_PATH_IMAGE013
邻域的纹理基元映射为
Figure 383040DEST_PATH_IMAGE021
之间的值，用其值
Figure 965331DEST_PATH_IMAGE022
代替原
Figure 874250DEST_PATH_IMAGE013
邻域中间像素的像素值；粮虫纹理模式的值作为像素值即得到相应粮虫纹理谱图像；统计变换后图像各像素点的纹理值的频数，即得到粮虫图像的纹理谱直方图；
然后引用随机森林分类器按照生成分类树的规则生成多棵分类树，通过重抽样术生成多个树分类器
Figure 36242DEST_PATH_IMAGE023
，其中
Figure 284689DEST_PATH_IMAGE024
是独立同分布的随机向量，每棵树分类器进行投票并按得票结果而定；
每次抽样生成自助样本集，全体样本中不在自助样本中的剩余样本称为OOB(Out-Of-Bag)数据，OOB数据用来预测分类正确率，每次预测结果进行汇总得到错误率的OOB估计，以测试样本进行评估组合分类器的分类效果；利用随机森林分类器通过在每个节点处随机选择局部二值模式粮虫纹理特征进行分支，最小化各分类树之问的相关性进而提高分类精确性；
在分类阶段，类标签是由所有决策树的分类结果综合而成，也即由每个分类树投票和概率平均得到；对于测试样例
Figure 506723DEST_PATH_IMAGE025
，预测类标签
Figure 388091DEST_PATH_IMAGE026
可以得到：
Figure 340391DEST_PATH_IMAGE027
Figure 990816DEST_PATH_IMAGE028
其中
Figure 649330DEST_PATH_IMAGE029
为森林中决策树的数目，
Figure 814732DEST_PATH_IMAGE030
为示性函数，
Figure 98952DEST_PATH_IMAGE031
为树
Figure 72724DEST_PATH_IMAGE032
对类别
Figure 902140DEST_PATH_IMAGE033
的分类结果，
Figure 7368DEST_PATH_IMAGE034
是树
Figure 846011DEST_PATH_IMAGE032
的叶子节点数，
Figure 205448DEST_PATH_IMAGE035
是森林中
Figure 471344DEST_PATH_IMAGE036
棵决策树的权重；
采用投票方式决定粮虫类标签，即测试集遍历森林中的每棵树并记录其对每个粮虫目标的分类结果，得票高于预定阈值类标签即为目标粮虫种类标签。
拍摄的所述低、中、高三种分辨率的粮虫图像，是由多个不同焦距镜头基于同一场景采集得到；选用低、中、高分辨率粮虫图像并对其进行重建方法为：
首先以低分辨率粮虫图像中的疑似粮虫区域作为基准图像,并以低分辨率粮虫图像的
Figure 798289DEST_PATH_IMAGE037
倍建立中分辨率粮虫图像, 即: 若低分辨率粮虫图像的分辨率为
Figure 237361DEST_PATH_IMAGE038
，则重定位中分辨率粮虫图像的分辨率为
Figure 716884DEST_PATH_IMAGE039
，
Figure 153681DEST_PATH_IMAGE037
的取值由镜头焦距获取；将中分辨率粮虫图像的像素值依照
Figure 453076DEST_PATH_IMAGE040
倍采样直接填充到高分辨率粮虫图像上，并以中分辨率粮虫图像的
Figure 897437DEST_PATH_IMAGE040
倍建立高分辨率粮虫图像, 即: 若中分辨率粮虫图像的分辨率为
Figure 231467DEST_PATH_IMAGE041
，则重建高分辨率粮虫图像的分辨率为
Figure 839166DEST_PATH_IMAGE042
，
Figure 891435DEST_PATH_IMAGE040
的取值由镜头焦距获取。
根据变焦缩放变换矩阵，所述重定位后的高一级分辨率图像
Figure 406730DEST_PATH_IMAGE043
中的每一个像素点
Figure 110113DEST_PATH_IMAGE044
与低一级分辨率图像中的相应像素点
Figure 888713DEST_PATH_IMAGE007
有如下约束形式：
Figure 631541DEST_PATH_IMAGE045
其中：
Figure 403057DEST_PATH_IMAGE046
和
Figure 711678DEST_PATH_IMAGE047
分别是
Figure 661180DEST_PATH_IMAGE048
轴和
Figure 422463DEST_PATH_IMAGE049
轴上的比例系数，考虑到像素大小为标准方形，所以
Figure 997669DEST_PATH_IMAGE050
；由于不同分辨率粮虫图像的焦距已知，低分辨率粮虫图像与中分辨率粮虫图像之间缩放倍数为
Figure 957535DEST_PATH_IMAGE037
，即
Figure 77938DEST_PATH_IMAGE051
；中分辨率粮虫图像与高分辨率粮虫图像之间的缩放倍数为
Figure 592096DEST_PATH_IMAGE040
，即
Figure 456146DEST_PATH_IMAGE052
；
利用双线性插值法将低分辨率粮虫图像中每个Blob块像素映射到中、高分辨率粮虫图像中，然后计算中、高分辨率粮虫图像中每个像素点的灰度值, 实现粮虫目标区域重定位。
本发明在多分辨率镜头基础上，旨在利用开发工具和图像处理算法的优点来实现对粮虫种类的高效准确的识别。该方法首先对低、中、高三种分辨率图像分别运用OTSU算法对其进行二值化，进而利用Blob算法提取粮虫图像的连通区域并在低分辨率图像上对疑似粮虫目标区域定位；其次在Blob算法提取的中分辨率粮虫图像连通区域的基础上，根据中、低图像放大率和低分辨率粮虫图像疑似粮虫目标区域进行反定位，并计算其面积参数与周长参数来据此确定是否为粮虫区域；最后在高分辨率粮虫图像Blob算法提取的连通区域基础上，根据高、中图像放大率和已确定中分辨率粮虫区域进行反定位，进而利采用局部二值模式粮虫纹理特征提取和随机森林分类器对粮虫实现识别。实验结果分析表明该方法既能精确标记粮虫位置又能准确识别粮虫种类，对完善粮虫实时检测技术和实现粮食安全管理具有重要意义。
附图说明
图1是本发明的流程图。
图2是本发明所述多分辨率图像的示意图。
具体实施方式
下面结合附图对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。
如图1所示，本发明所述多分辨率粮虫种类视觉识别方法，由多分辨率粮虫图像二值化、Blob检测、多分辨率粮虫图像反定位、局部二值模式(英文：Local Binary Patterns，简称LBP)特征提取和随机森林分类器(英文Random Forest, 简称RF)分类步骤组成。通过对低（
Figure 725978DEST_PATH_IMAGE053
）、中（
Figure 17282DEST_PATH_IMAGE054
）、高（
Figure 753157DEST_PATH_IMAGE055
）三种分辨率粮虫图像分别运用OTSU算法对其进行二值化处理，然后利用Blob算法分别提取低、中、高三种分辨率粮虫图像的连通区域并在低分辨率粮虫图像上对疑似粮虫目标区域定位；在Blob算法提取的中分辨率粮虫图像连通区域的基础上，根据中、低粮虫图像放大率和低分辨率粮虫图像疑似粮虫目标区域进行反定位，并计算其面积参数与周长参数，据此确定是否为粮虫区域；最后在高分辨率粮虫图像Blob算法提取的连通区域基础上，根据高、中粮虫图像放大率和已确定中分辨率粮虫图像粮虫区域进行反定位，进而采用粮虫局部二值模式纹理特征和随机森林分类器对粮虫实现识别。
1、二值化处理
本发明采用OTSU算法对粮虫图像快捷准确进行二值化；对于一幅粮虫图像
Figure 420899DEST_PATH_IMAGE056
通过图像的总平均灰度级
Figure 89778DEST_PATH_IMAGE057
、标
Figure 66830DEST_PATH_IMAGE058
的平均灰度级
Figure 290001DEST_PATH_IMAGE059
与背景
Figure 495854DEST_PATH_IMAGE060
的平均灰度级
Figure 488081DEST_PATH_IMAGE061
以及其分别所占图像面积的比例
Figure 370455DEST_PATH_IMAGE062
，依照类间方差
Figure 815343DEST_PATH_IMAGE063
实现目标和背景分割，最终完成图像二值化。
膨胀能使物体边界扩大，具体的膨胀结果与图像本身和结构元素的形状有关，膨胀常用于将图像中原本断裂开来的同一物体桥接起来；由于粮虫属于弱小目标，粮虫图像二值化后易使粮虫区域更弱化甚至本来完整的粮虫断裂为两部分，给后续的粮虫图像分析造成困扰，因此必须借助膨胀算法扩大或桥接断裂的粮虫图像区域缝隙。
为凸显粮虫目标来提高粮虫种类识别效果，本发明构造
Figure 824887DEST_PATH_IMAGE064
结构元素，同时使用水平方向和垂直方向的线性结构元素对二值图像膨胀运算，实现粮虫目标增强进而提高粮虫检测识别率。
膨胀：其含义为二值图像
Figure 937200DEST_PATH_IMAGE065
中使结构元素
Figure 537945DEST_PATH_IMAGE066
击中
Figure 984976DEST_PATH_IMAGE065
的所有点
Figure 532632DEST_PATH_IMAGE067
的集合，膨胀运算
Figure 499451DEST_PATH_IMAGE068
表示为：
Figure 208781DEST_PATH_IMAGE069
这样可消除视觉传感器某些情况下会受残缺粮粒、粮食品质、光照条件和镜头成像状态等干扰源的影响。
2、Blob块检测
本发明对二值化后的粮虫图像进行Blob连通域分析从而达到粮虫检测目的，算法实现如下：
(1) 采用面积参数
Figure 146038DEST_PATH_IMAGE070
度量目标区域大小；对于斑块区域
Figure 497385DEST_PATH_IMAGE071
，
Figure 115448DEST_PATH_IMAGE070
定义为该区域中像素点的数目，即：
Figure 526837DEST_PATH_IMAGE072
式中：
Figure 433614DEST_PATH_IMAGE073
为像素坐标值，
Figure 572340DEST_PATH_IMAGE074
为该点的像素值。
(2) 采用周长参数
Figure 248172DEST_PATH_IMAGE075
度量目标区域特征；对于斑块区域
Figure 564884DEST_PATH_IMAGE076
，
Figure 958956DEST_PATH_IMAGE075
定义为斑块区域边界上像素点的个数，即：
Figure 901373DEST_PATH_IMAGE077
式中：
Figure 494028DEST_PATH_IMAGE073
为像素坐标值，
Figure 247221DEST_PATH_IMAGE074
为该点的像素值( 黑点为0，白点为1)。
相比传统方法本发明基于视觉检测法通过面积参数
Figure 863010DEST_PATH_IMAGE070
和周长参数
Figure 94271DEST_PATH_IMAGE075
能快速、准确、无损自动检测粮虫。
3、多分辨率重建
如图2所示，多分辨率图像是多个不同焦距镜头基于同一场景采集得到，这样有助于依据分辨率的不同特征分别处理，从而达到增强对比度和抑制噪声干扰的目的，非常适合于粮虫这类弱小目标检测。为了简化问题和着重关注算法对不同分辨率图像序列的重建性能, 假设拍摄对象为静态场景, 且拍摄相机与场景之间相对静止, 仅调节焦距或更换不同焦距镜头就能获得一系列不同缩放尺度的多分辨率图像。
对低、中、高不同分辨率粮虫图像
Figure 993963DEST_PATH_IMAGE078
进行重建，如图1、2所示，首先以低分辨率粮虫图像中的疑似粮虫区域作为基准图像, 并以
Figure 918056DEST_PATH_IMAGE079
分辨率图像的
Figure 286721DEST_PATH_IMAGE080
倍建立中分辨率图像
Figure 118411DEST_PATH_IMAGE081
, 即: 若
Figure 623341DEST_PATH_IMAGE082
的分辨率为
Figure 970533DEST_PATH_IMAGE083
, 则重定位中分辨率图像
Figure 826494DEST_PATH_IMAGE081
的分辨率为
Figure 399558DEST_PATH_IMAGE084
, 一般地, 取
Figure 758995DEST_PATH_IMAGE080
的值可由镜头焦距获取。将
Figure 274159DEST_PATH_IMAGE081
的像素值依照
Figure 351836DEST_PATH_IMAGE085
倍采样直接填充到高分辨率粮虫图像上，并以
Figure 994170DEST_PATH_IMAGE081
分辨率图像的
Figure 473693DEST_PATH_IMAGE085
倍建立高分辨率图像
Figure 159758DEST_PATH_IMAGE086
, 即: 若
Figure 521469DEST_PATH_IMAGE081
的分辨率为
Figure 436336DEST_PATH_IMAGE087
, 则重建高分辨率图像
Figure 35944DEST_PATH_IMAGE086
的分辨率为
Figure 643643DEST_PATH_IMAGE088
，一般地, 取
Figure 679601DEST_PATH_IMAGE085
的值可由镜头焦距获取。
4、反定位
根据变焦缩放变换矩阵，重定位后的高一级分辨率图像
Figure 398159DEST_PATH_IMAGE089
中的每一个像素点
Figure 852274DEST_PATH_IMAGE090
与低一级分辨率图像中的相应像素点
Figure 427611DEST_PATH_IMAGE073
有如下约束形式：
Figure 967177DEST_PATH_IMAGE091
其中：
Figure 729904DEST_PATH_IMAGE046
和
Figure 772946DEST_PATH_IMAGE047
分别是
Figure 722448DEST_PATH_IMAGE048
轴和
Figure 483730DEST_PATH_IMAGE049
轴上的比例系数，考虑到像素大小为标准方形，所以
Figure 606407DEST_PATH_IMAGE050
；由于不同分辨率粮虫图像
Figure 18803DEST_PATH_IMAGE078
焦距已知，
Figure 139206DEST_PATH_IMAGE079
和
Figure 653364DEST_PATH_IMAGE081
之间缩放倍数为
Figure 517414DEST_PATH_IMAGE037
，即
Figure 784316DEST_PATH_IMAGE051
；
Figure 75621DEST_PATH_IMAGE081
与
Figure 811495DEST_PATH_IMAGE086
之间其缩放倍数为
Figure 213658DEST_PATH_IMAGE040
，即
Figure 600646DEST_PATH_IMAGE052
。
对低一级分辨率粮虫图像的每个Blob块像素利用公式
Figure 125168DEST_PATH_IMAGE092
反定位后的高一级分辨率粮虫图像相对应的像素坐标，由于计算出的坐标值
Figure 82760DEST_PATH_IMAGE093
可能为非整数坐标，导致反定位后的图像存在空洞的情况；为避免这一现象，采用图像插值技术求取该点的像素值
Figure 554192DEST_PATH_IMAGE094
，然后令
Figure 546419DEST_PATH_IMAGE095
；目前常用的插值方法有：最近邻法、双线性法和立方卷积法等；考虑到均方误差反映插值图像与原图像的逼近程度，而双线性法的均方误差较小，插值效果越好。本发明中采用双线性插值法：假定内插点
Figure 431723DEST_PATH_IMAGE096
像素浮点坐标为
Figure 876611DEST_PATH_IMAGE097
的四个顶点
Figure 886155DEST_PATH_IMAGE098
，
Figure 732888DEST_PATH_IMAGE099
围成的区域内的灰度变化是线性的，根据四个近邻像素的灰度值，利用线性内插方法计算出内插点
Figure 599213DEST_PATH_IMAGE096
的灰度值
Figure 780665DEST_PATH_IMAGE100
；具体计算如下式：
Figure 593900DEST_PATH_IMAGE101
其中：
Figure 560719DEST_PATH_IMAGE102
为正整数，
Figure 535628DEST_PATH_IMAGE103
为
Figure 204376DEST_PATH_IMAGE104
区间的纯小数。
本发明中利用双线性插值法将低分辨率粮虫图像
Figure 555723DEST_PATH_IMAGE079
中所有像素点映射到中、高分辨率粮虫图像中
Figure 377048DEST_PATH_IMAGE105
，计算中、高分辨率粮虫图像
Figure 522859DEST_PATH_IMAGE105
中每个像素点的灰度值,实现粮虫目标区域重定位。
5、局部二值模式特征提取
局部二值模式特征对粮虫图像具有良好的局域特性，利用像素点
Figure 226373DEST_PATH_IMAGE106
的
Figure 630678DEST_PATH_IMAGE107
邻域内灰度变化来表示粮虫图像像素点的纹理模式，变换公式如下式所示：
Figure 306510DEST_PATH_IMAGE108
其中
Figure 888801DEST_PATH_IMAGE109
表示图像在像素点
Figure 17294DEST_PATH_IMAGE110
的邻域内的灰度变化，取值为：
Figure 962641DEST_PATH_IMAGE111
Figure 758558DEST_PATH_IMAGE112
表示图像在该像素点处的二值纹理模式，代表邻域内像素点的灰度值相对于中心点的变化情况；
Figure 511751DEST_PATH_IMAGE113
为变换系数，构成变换系数矩阵
Figure 924278DEST_PATH_IMAGE114
如下：
Figure 421118DEST_PATH_IMAGE115
为便于表示和计算，将
Figure 320810DEST_PATH_IMAGE107
邻域的粮虫纹理基元映射为
Figure 979324DEST_PATH_IMAGE116
之间的值，用其值
Figure 347989DEST_PATH_IMAGE112
代替原
Figure 382941DEST_PATH_IMAGE107
邻域中间像素的像素值；粮虫纹理模式的值作为像素值可得到相应纹理谱图像。
统计变换后图像各像素点的纹理值的频数，即可得到图像的纹理谱直方图；假设用
Figure 137139DEST_PATH_IMAGE117
表示图像在像素点
Figure 28872DEST_PATH_IMAGE118
处的纹理值，
Figure 619253DEST_PATH_IMAGE119
表示图像的纹理谱直方图，则有：
Figure 457896DEST_PATH_IMAGE120
其中，
Figure 82912DEST_PATH_IMAGE121
分别为粮虫图像高度和宽度。
本发明中局部二值模式纹理模式简单的通过粮虫邻域像素与中心像素灰度的比较得到，由于粮虫纹理谱的局域特性，粮虫纹理谱图像也具有粮虫原图的视觉特性。
6、分类识别
随机森林分类器按照生成分类树的规则生成多棵分类树，能很好地解决多类分类问题；其基本思想是将很多弱分类器集成为一个强分类器，其原理是通过重抽样术，生成多个树分类器
Figure 598076DEST_PATH_IMAGE122
，其中
Figure 410174DEST_PATH_IMAGE123
是独立同分布的随机向量，每棵树分类器进行投票并按得票结果而定；生成随机森林分类器的步骤是：
(1) 从粮虫局部二值模式特征原始训练数掘中生成
Figure 786929DEST_PATH_IMAGE124
个自助样本集，每个自助样本集是每棵分类树的全部训练数据。
(2) 每个粮虫局部二值模式特征自助样本集生长为单棵分类树；对于树的每个节点，从
Figure 266452DEST_PATH_IMAGE125
个特征中随机挑选
Figure 499987DEST_PATH_IMAGE126
个特征（
Figure 317158DEST_PATH_IMAGE127
），通常假设
Figure 497604DEST_PATH_IMAGE128
；按照节点不纯度最小的原则挑选，从
Figure 97212DEST_PATH_IMAGE126
个特征中选出一个特征进行分支生长，为使每个节点的不纯度达到最小，不进行剪枝操作。
(3) 根据生成的多棵树分类器对新的数据进行预测，分类结果按每棵树分类器的投票数量而定。
OOB数据用来预测分类正确率，每次预测结果进行汇总得到错误率的OOB估计，以测试样本来评估组合分类器的分类效果；随机森林分类器通过在每个节点处随机选择特征进行分支，最小化各棵分类树之问的相关性，提高分类精确性。
由于该模型训练过程中存在一组随机向量
Figure 704911DEST_PATH_IMAGE129
，在训练中就是要最大可能的离散化随机森林分类器从而减少泛化误差；在分类阶段，类标签是由所有决策树的分类结果综合而成，也即由每个分类树投票和概率平均得到；对于测试样例
Figure 475290DEST_PATH_IMAGE130
，预测类标签
Figure 459426DEST_PATH_IMAGE131
可得到：
Figure 913541DEST_PATH_IMAGE132
Figure 692142DEST_PATH_IMAGE133
其中
Figure 215396DEST_PATH_IMAGE134
为森林中决策树的数目，
Figure 534382DEST_PATH_IMAGE135
为示性函数，
Figure 843003DEST_PATH_IMAGE136
为树
Figure 792505DEST_PATH_IMAGE137
对类别
Figure 819367DEST_PATH_IMAGE138
的分类结果，
Figure 863415DEST_PATH_IMAGE139
是树
Figure 292122DEST_PATH_IMAGE140
的叶子节点数，
Figure 412525DEST_PATH_IMAGE141
是森林中
Figure 661104DEST_PATH_IMAGE142
棵决策树的权重。
本发明中采用投票方式决定粮虫类标签，即测试集遍历森林中的每棵树并记录其对每个粮虫目标的分类结果，这样得票高于预定阈值类标签即为目标粮虫种类标签。
实验结果
目前粮虫图像多用常规设备拍摄的粮虫标本图像。为接近真实粮储环境下的活体粮虫，实验中选取自然环境中培育的活体粮虫，并通过机器视觉图像处理研究开发平台MV-KB200B的多分辨率镜头拍摄作为实验图像来源。限于篇幅，给出6组粮虫图像来评估本发明提出的方法，每幅图像中包含3种类别共5只粮虫。
表1给出了本发明对粮虫种类视觉识别的性能比较，从实验结果来看，本发明的粮虫种类视觉识别效果好，不仅能准确检测粮虫数目还能准确识别粮虫种类；不论从识别的成功率还是时间的消耗上，对完善粮虫实时检测技术和实现粮食安全管理具有重要意义。
从实验图中可看出检测到5只粮虫，分为3种类型；实验结果显示该发明能顺利将粮虫从待检测图片中识别出来，识别效果较为明显，进而能看出多分辨率粮虫种类识别方法为完善粮食安全问题提供了一种可靠的方法。
表1
Figure 321892DEST_PATH_IMAGE143
。
实验具体步骤：
1、实验中选取自然环境中培育的活体粮虫并通过机器视觉图像处理研究开发平台MV-KB200B的多分辨率镜头拍摄作为实验图像来源。限于篇幅，给出6组粮虫图像来评估本发明提出的方法，每幅图像中包含3种类别共5只粮虫。
2、利用OTSU方法对低（
Figure 869022DEST_PATH_IMAGE144
）、中（
Figure 160326DEST_PATH_IMAGE145
）、高（
Figure 630621DEST_PATH_IMAGE146
）不同分辨率粮虫图像作二值化处理，有助于提高粮虫检测准确度；二值化后易使粮虫图像区域弱化甚至本来完整的粮虫断裂为两部分，例如头与背部连接处；构造适当的结构元素通过膨胀算法对粮虫图像区域扩大或桥接可使粮虫边界扩大，这样可将原本断裂开来或细化的同一物体桥接起来有助于凸显粮虫目标，方便后续的粮虫图像进一步识别处理。
3、利用Blob 算法中的连通域分析快速准确提取出粮虫图像中存在的连通区域，进而得到各区域的链码表和线性表并据此计算连通域的面积参数与周长参数，最终实现粮虫目标区域定位与计数。
4、多分辨率图像是多个不同焦距镜头基于同一场景采集，这样有助于依据分辨率的不同特征分别处理，从而达到增强对比度和抑制噪声干扰的目的，非常适合于粮虫这类弱小目标检测；为简化问题和着重关注算法对不同分辨率图像序列的重建性能, 假设拍摄对象为静态场景, 且拍摄相机与场景之间相对静止, 仅调节焦距获得一系列不同缩放尺度的粮虫图像。
5、根据变焦缩放变换矩阵和双线性插值法，将低分辨率粮虫图像中Blob块像素点映射到中、高分辨率粮虫图像中, 实现粮虫目标区域重定位；这样既能勾勒出粮虫的大致轮廓，又能呈现粮虫的细节部分。
6、局部二值模式特征对粮虫图像具有良好的局域特性；局部二值模式纹理模式通过粮虫邻域像素与中心像素灰度的比较得到，由于粮虫纹理谱的局域特性，粮虫纹理谱图像也具有粮虫原图的视觉特性。
7、随机森林分类器按照生成分类树的规则生成多棵分类树，能很好地解决多类分类问题。具体采用投票方式决定粮虫类标签，即测试集遍历森林中的每棵树并记录其对每个粮虫目标的分类结果，这样得票高于预定阈值类标签即为目标粮虫种类标签。因为生成每棵树的速度很快，所以随机森林分类器的分类速度很快，并且易于实现并行处理。

Claims (4)

1.一种多分辨率粮虫种类视觉识别方法，其特征在于：在多分辨率镜头基础上，对拍摄的低分辨率、中分辨率、高分辨率三幅粮虫图像分别运用OTSU算法对其进行二值化，然后利用Blob算法分别提取低、中、高三种分辨率的粮虫图像的连通区域，并在所述低分辨率粮虫图像上对疑似粮虫目标区域定位；在所述Blob算法提取的所述中分辨率粮虫图像连通区域的基础上，根据中、低分辨率粮虫图像缩放倍数和低分辨率粮虫图像上疑似粮虫目标区域在中分辨率粮虫图像上进行重定位，并计算Blob算法提取疑似粮虫目标连通区域的面积参数与周长参数，据此确定是否为粮虫区域；最后在Blob算法提取的高分辨率粮虫图像连通区域基础上，根据高、中分辨率粮虫图像缩放倍数和已确定中分辨率粮虫图像的粮虫区域在高分辨率粮虫图像上进行重定位，然后在Blob算法提取粮虫目标连通区域内采用局部二值模式粮虫纹理特征和随机森林分类器在高分辨率粮虫图像上对粮虫实现识别；
拍摄的所述低、中、高三种分辨率的粮虫图像，是由多个不同焦距镜头基于同一场景采集得到；选用低、中、高分辨率粮虫图像并对其进行重建方法为：
首先以低分辨率粮虫图像中的疑似粮虫区域作为基准图像,并以低分辨率粮虫图像的
Figure DEST_PATH_IMAGE001
倍建立中分辨率粮虫图像, 即: 若低分辨率粮虫图像的分辨率为
Figure 560299DEST_PATH_IMAGE002
,则重定位中分辨率粮虫图像的分辨率为
Figure DEST_PATH_IMAGE003
,
Figure 162925DEST_PATH_IMAGE004
的取值由镜头焦距获取；将中分辨率粮虫图像的像素值依照
Figure DEST_PATH_IMAGE005
倍采样直接填充到高分辨率粮虫图像上，并以中分辨率粮虫图像的
Figure 129613DEST_PATH_IMAGE006
倍建立高分辨率粮虫图像, 即: 若中分辨率粮虫图像的分辨率为
Figure DEST_PATH_IMAGE007
, 则重建高分辨率粮虫图像的分辨率为
Figure 541134DEST_PATH_IMAGE008
,
Figure DEST_PATH_IMAGE009
的取值由镜头焦距获取；
根据变焦缩放变换矩阵，所述重定位后的高一级分辨率粮虫图像
Figure 509834DEST_PATH_IMAGE010
中的每一个像素点
Figure DEST_PATH_IMAGE011
与低一级分辨率粮虫图像中的相应像素点
Figure 879766DEST_PATH_IMAGE012
有如下约束形式：
Figure DEST_PATH_IMAGE013
其中：
Figure 35548DEST_PATH_IMAGE014
和
Figure DEST_PATH_IMAGE015
分别是
Figure 844235DEST_PATH_IMAGE016
轴和
Figure DEST_PATH_IMAGE017
轴上的比例系数，考虑到像素大小为标准方形，所以
Figure 933020DEST_PATH_IMAGE018
；由于不同分辨率粮虫图像的焦距已知，低分辨率粮虫图像与中分辨率粮虫图像之间缩放倍数为
Figure DEST_PATH_IMAGE019
，即
Figure 677117DEST_PATH_IMAGE020
；中分辨率粮虫图像与高分辨率粮虫图像之间的缩放倍数为
Figure DEST_PATH_IMAGE021
，即
Figure 874790DEST_PATH_IMAGE022
；
利用双线性插值法将低分辨率粮虫图像中每个Blob块像素映射到中、高分辨率粮虫图像中，然后计算中、高分辨率粮虫图像中每个像素点的灰度值, 实现粮虫目标区域重定位。
2.根据权利要求1所述多分辨率粮虫种类视觉识别方法，其特征在于：为抑制复合干扰源下凸显粮虫目标来提高粮虫视觉检测效果，构造
Figure DEST_PATH_IMAGE023
结构元素，同时使用水平方向和垂直方向的线性结构元素，对二值化的所述低、中、高三种分辨率粮虫图像进行膨胀运算，实现粮虫目标增强进而提高粮虫检测识别率。
3.根据权利要求1所述多分辨率粮虫种类视觉识别方法，其特征在于：根据中、低分辨率图像缩放倍数和低分辨率粮虫图像上疑似粮虫目标区域进行重定位，并计算其面积参数与周长参数的方法为：
a、采用面积参数
Figure 533173DEST_PATH_IMAGE024
度量目标区域大小，对于斑块区域
Figure DEST_PATH_IMAGE025
，
Figure 744974DEST_PATH_IMAGE026
定义为该区域中像素点的数目，即：
Figure DEST_PATH_IMAGE027
式中：
Figure 719359DEST_PATH_IMAGE028
为像素坐标值，
Figure DEST_PATH_IMAGE029
为该点的像素值；
b、采用周长参数
Figure 774034DEST_PATH_IMAGE030
度量目标区域特征，对于斑块区域
Figure DEST_PATH_IMAGE031
，
Figure 702020DEST_PATH_IMAGE032
定义为斑块区域边界上像素点的个数；
即：
Figure DEST_PATH_IMAGE033
式中：
Figure 689698DEST_PATH_IMAGE034
为像素坐标值，
Figure DEST_PATH_IMAGE035
为该点的像素值。
4.根据权利要求1所述多分辨率粮虫种类视觉识别方法，其特征在于：采用局部二值模式粮虫纹理特征和随机森林分类器对粮虫实现识别的方法为：
利用像素点
Figure 710351DEST_PATH_IMAGE036
的
Figure DEST_PATH_IMAGE037
邻域内灰度变化来表示高分辨率粮虫图像像素点的纹理模式；变换公式如下：
Figure 190005DEST_PATH_IMAGE038
其中
Figure DEST_PATH_IMAGE039
表示图像在像素点
Figure 423146DEST_PATH_IMAGE040
的邻域内的灰度变化，取值为：
Figure DEST_PATH_IMAGE041
Figure 343960DEST_PATH_IMAGE042
表示图像在该像素点处的二值纹理模式，代表邻域内像素点的灰度值相对于中心点的变化情况；
Figure DEST_PATH_IMAGE043
为变换系数，构成变换系数矩阵
Figure 568137DEST_PATH_IMAGE044
；
Figure DEST_PATH_IMAGE045
为便于表示和计算，将
Figure 735420DEST_PATH_IMAGE046
邻域的纹理基元映射为
Figure DEST_PATH_IMAGE047
之间的值，用其值
Figure 712865DEST_PATH_IMAGE048
代替原
Figure DEST_PATH_IMAGE049
邻域中间像素的像素值；粮虫纹理模式的值作为像素值即得到相应粮虫纹理谱图像；统计变换后图像各像素点的纹理值的频数，即得到粮虫图像的纹理谱直方图；
然后引用随机森林分类器按照生成分类树的规则生成多棵分类树，通过重抽样术生成多个树分类器
Figure 924404DEST_PATH_IMAGE050
，其中
Figure DEST_PATH_IMAGE051
是独立同分布的随机向量，每棵树分类器进行投票并按得票结果而定；
每次抽样生成自助样本集，全体样本中不在自助样本中的剩余样本称为OOB(Out-Of-Bag)数据，OOB数据用来预测分类正确率，每次预测结果进行汇总得到错误率的OOB估计，以测试样本进行评估组合分类器的分类效果；利用随机森林分类器，通过在每个节点处随机选择局部二值模式粮虫纹理特征进行分支，最小化各分类树之问的相关性进而提高分类精确性；
在分类阶段，类标签是由所有决策树的分类结果综合而成，也即由每个分类树投票和概率平均得到；对于测试样例
Figure 83596DEST_PATH_IMAGE052
，预测类标签
Figure DEST_PATH_IMAGE053
可以得到：
Figure 475526DEST_PATH_IMAGE054
Figure DEST_PATH_IMAGE055
其中
Figure 83093DEST_PATH_IMAGE056
为森林中决策树的数目，
Figure DEST_PATH_IMAGE057
为示性函数，
Figure 999007DEST_PATH_IMAGE058
为树
Figure DEST_PATH_IMAGE059
对类别
Figure 207397DEST_PATH_IMAGE060
的分类结果，
Figure DEST_PATH_IMAGE061
是树
Figure 850737DEST_PATH_IMAGE062
的叶子节点数，
Figure DEST_PATH_IMAGE063
是森林中
Figure 167055DEST_PATH_IMAGE064
棵决策树的权重；
采用投票方式决定粮虫类标签，即测试集遍历森林中的每棵树并记录其对每个粮虫目标的分类结果，得票高于预定阈值类标签即为目标粮虫种类标签。
CN201810022600.6A 2018-01-10 2018-01-10 多分辨率粮虫种类视觉识别方法 Active CN107992863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810022600.6A CN107992863B (zh) 2018-01-10 2018-01-10 多分辨率粮虫种类视觉识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810022600.6A CN107992863B (zh) 2018-01-10 2018-01-10 多分辨率粮虫种类视觉识别方法

Publications (2)

Publication Number Publication Date
CN107992863A CN107992863A (zh) 2018-05-04
CN107992863B true CN107992863B (zh) 2021-12-24

Family

ID=62041011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810022600.6A Active CN107992863B (zh) 2018-01-10 2018-01-10 多分辨率粮虫种类视觉识别方法

Country Status (1)

Country Link
CN (1) CN107992863B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110348302A (zh) * 2019-06-05 2019-10-18 广州瑞丰生物科技有限公司 一种图像识别系统及图像识别装置
CN110222688B (zh) * 2019-06-10 2021-06-18 重庆邮电大学 一种基于多层次相关滤波的仪表定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010206078A1 (en) * 2010-03-10 2011-09-29 Total Manufacturing Co. System and method for detection of insect infestation
CN103034982A (zh) * 2012-12-19 2013-04-10 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN106815819A (zh) * 2017-01-24 2017-06-09 河南工业大学 多策略粮虫视觉检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010206078A1 (en) * 2010-03-10 2011-09-29 Total Manufacturing Co. System and method for detection of insect infestation
CN103034982A (zh) * 2012-12-19 2013-04-10 南京大学 一种基于变焦视频序列的图像超分辨率重建方法
CN106254722A (zh) * 2016-07-15 2016-12-21 北京邮电大学 一种视频超分辨率重建方法和装置
CN106815819A (zh) * 2017-01-24 2017-06-09 河南工业大学 多策略粮虫视觉检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
On The Intelligent Detection Of Insects In Stored Grain;Dai Ting et al;《2011 International Conference on Electronic&Mechanical Engineering and Information Technology》;20110814;第2427-2430页 *
变焦序列图像超分辨率重建算法研究;罗鸣威等;《南京大学学报(自然科学)》;20170131;第53卷(第1期);第165-172页 *
基于多分辨率分析的储粮害虫图像预处理研究;胡玉霞;《农机化研究》;20120813;第34卷(第8期);第160-163页 *
粮虫视觉检测技术的现状与展望;王贵财;《中国粮油学报》;20140528;第29卷(第4期);第124-128页 *

Also Published As

Publication number Publication date
CN107992863A (zh) 2018-05-04

Similar Documents

Publication Publication Date Title
Che et al. Multi-scan segmentation of terrestrial laser scanning data based on normal variation analysis
CN107341795B (zh) 一种知识驱动的高空间分辨率遥感影像自动变化检测方法
US8983200B2 (en) Object segmentation at a self-checkout
US7983486B2 (en) Method and apparatus for automatic image categorization using image texture
CN113240626B (zh) 一种基于神经网络的玻璃盖板凹凸型瑕疵检测与分类方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN106373146B (zh) 一种基于模糊学习的目标跟踪方法
US20210214765A1 (en) Methods and systems for automated counting and classifying microorganisms
CN110070545B (zh) 一种城镇纹理特征密度自动提取城镇建成区的方法
CN115861409B (zh) 大豆叶面积测算方法、系统、计算机设备及存储介质
CN112164030A (zh) 水稻穗粒快速检测方法、装置、计算机设备及存储介质
Ouma et al. Urban features recognition and extraction from very-high resolution multi-spectral satellite imagery: a micro–macro texture determination and integration framework
CN107992863B (zh) 多分辨率粮虫种类视觉识别方法
CN114612315B (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
Liu et al. An MRF model-based approach to the detection of rectangular shape objects in color images
Erener et al. A methodology for land use change detection of high resolution pan images based on texture analysis
CN116129280B (zh) 一种遥感影像雪检测的方法
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN112365508A (zh) 基于视觉注意与残差网络的sar遥感图像水域分割方法
CN115019065A (zh) 一种基于改进训练网络的ct图像病变识别方法
CN114140698A (zh) 一种基于FasterR-CNN的水系信息提取算法
Han et al. TemPanSharpening: A multi-temporal Pansharpening solution based on deep learning and edge extraction
CN118334526B (zh) 一种基于改进Yolov8模型的堤防损坏识别方法
Sasmita et al. The Digit Recognition Using Local Projection Dependent Clustering
Patil et al. De-noising and Road Extraction from High-resolution Images using Fully Convolutional Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant