CN106096612A - 实蝇图像识别系统及方法 - Google Patents

Abstract

本发明公布了一种基于世界有害实蝇图像数据库的自动和交互实蝇识别方法及一套系统，包括：建立实蝇多源标本图像库及其识别标准6属74种，训练ASM模型用于翅轮廓标注，提取实蝇翅、中胸背板及腹部Gabor曲面特征，采用模板匹配法进行匹配归类和自动鉴定；构建镶嵌翅、中胸背板和腹部自动识别模块的系统，分应用、核心和数据三层，含图像输入、预处理、识别、结果显示及文字检索五部分。系统运行时先自动识别，再在自动识别的基础上进行人工交互识别，最后可进行物种图像与文字信息复核。有效兼顾了实蝇识别的精度和速度，对单个样本的自动识别时间基本在90秒以内，前5正确自动识别率介于85％‑95％之间，具有良好的实用性。

Description

实蝇图像识别系统及方法

技术领域

本发明属于昆虫图像模式识别的应用领域，具体地讲是基于世界有害实蝇图像数据库的自动和交互实蝇识别方法及一套可运行的系统。

背景技术

人类感知外界信息，80％以上是通过视觉得到的；长期以来，生物特征的图像一直是识别物种的重要依据，随着今天可视化数字技术的飞速发展，直接将图像信息作为识别物种的主要或唯一依据，正越来越多地成为现实。目前，计算机的高速计算、海量存储及推理判断功能等均已有了较大程度的进步，模式识别技术也已长足发展，随着信息技术日新月异的提高，自动识别昆虫种类，尤其是一些常见种和重要检疫性害虫等，正日益成为国内外方兴未艾的热点研究和应用领域。昆虫图像识别是一个典型的交叉学科，涉及昆虫分类学和模式识别、计算机视觉，学科跨度大，且模式识别、计算机视觉本身还是一个处于快速发展中的学科，体系尚不完善，因此难度较大。目前国内外相关研究已经取得了一些成果，也产生了一些应用系统，但这些系统距离实用性一般还有较大差距，真正实现了计算机自动鉴别的种类实属凤毛麟角。

实蝇属于双翅目实蝇科，具有十分重要的经济意义，其中的小条实蝇属、果实蝇属、寡鬃实蝇属、按实蝇属和绕实蝇属包含许多水果和瓜类作物的危险性蛀果害虫，如地中海实蝇、桔小实蝇、瓜实蝇、昆士兰果实蝇、桃果实蝇、蜜柑大实蝇、埃塞俄比亚寡鬃实蝇、墨西哥按实蝇、南美按实蝇、西印度按实蝇、加勒比按实蝇和苹绕实蝇等，已被许多国家和地区列入严防传入的检疫性有害生物名单中。长期以来，尽管有害实蝇的形态学和分类学在世界范围内已研究得较为透彻，然而传统的二分式检索表如果缺乏相应的标本收藏和分类学文献，以及对于专业术语的深刻理解，则一般人员很难使用，难以达到准确鉴定物种的目的。该类群的快速和准确鉴定，一直是困惑国内外植检，以及农林等部门的重要难题。当前国内外口岸的实蝇检疫及广谱性监测，以及农林业生产中对实蝇虫害的预警和防控等，仍主要依赖于传统的人工识别手段，这已远不能满足和适应国际贸易的快速发展。研制一种基于世界有害实蝇大数据集图像数据库，适于信息化和自动化时代传播和使用，快捷方便，又能保证其物种鉴定准确性的识别系统(工作平台)非常必要。

目前在昆虫图像模式识别领域，就总体而言尚主要存在着以下问题：1)已有系统多针对昆虫分类学中的若干科目中的少量属种进行，其目的往往是辅助进行物种归类，尚缺乏面向目前迫切需要解决的农林检疫害虫进行的自动分类，尤其是基于可实际应用的较大型数据库的大类别集分类。2)由于昆虫图像采集一般较为困难，多数昆虫属种的训练样本非常少，在少数几种昆虫的少数图像上得到的测试结果很难说明问题，针对每类少量训练样本的大类别集昆虫分类方法和应用系统研究得较少。3)已有系统多专注于细节形态结构的提取和对比，自动化程度较低，对昆虫图像的分割要求较高，如ABIS、DrawWing等。对某些部位图像的分割和结构提取甚至需要昆虫分类学知识，普通人难以运用，因此迫切需要发展出自动化程度较高、并且不需要具体昆虫分类学知识的图像识别系统。4)不同学者的研究中使用了不同的图像特征，这些特征比较机械地照办了典型图像处理和计算机视觉中的已有特征，没有结合昆虫图像的特点进行特征设计。在已有的一些结合昆虫形态分类学意义的图像特征中，多数比较简单，描述能力有限；具有较强描述能力的特征又过于复杂和专业，难以自动提取。如何将这两方面结合起来，找到既便于计算机提取的特征，又具有明显昆虫形态学分类意义的特征是提高系统识别能力的关键。5)单一的自动识别系统在进行昆虫识别时虽然快捷方便，但其识别精确度却常常有限，难以完全直接应用于实际工作中。

发明内容

有鉴于此，本发明要解决的技术问题是，提供一种基于世界有害实蝇大数据集图像数据库的自动和交互实蝇识别方法及一套可运行的实用系统。

本发明的技术解决方案是，提供以下步骤的基于世界有害实蝇图像数据库的自动和交互实蝇识别方法及一套可运行的实用系统，其包括以下各步骤：

1)建立世界有害实蝇多源实物标本图像信息库和识别标准共6属74种，其中包括果实蝇属37种、寡鬃实蝇属10种、小条实蝇属10种、按实蝇属11种、绕实蝇属5种和长尾实蝇属1种，含整体外部形态(背面观及侧面观)及关键外部分类特征(翅、头部前侧面观、中胸背板及腹部背面观)。且在此数据库的基础上，保持对其它物种充分的开放性和扩展性。

2)依据实蝇翅的形态特点，训练翅ASM模型(active shape model)，开发实蝇翅轮廓自动标注工具，并利用该工具有效标识出模板库中所有翅的自动识别区域。

3)依据实蝇的中胸背板及腹部背面观的形态特点，利用矩形轮廓选取工具(rectangle selection)，有效标识出模板库中所有中胸背板及腹部背面观的自动识别区域。

4)分别建立实蝇翅、中胸背板及腹部核心自动识别模块。具体包括提取各类自动识别区域中模板图像的Gabor曲面特征(GSF，Gabor Surface Feature)，建立模板图像特征数据库，并采用模板匹配法(template match or called k-nearest neighbor，KNNmethod)进行自动匹配和归类，然后给出根据相似度大小排好顺序的自动鉴定结果。且在此算法基础上，充分保持对其它算法的开放性和扩展性。

5)根据实蝇人工分类学原理及用户使用习惯，设计和研发镶嵌实蝇翅、中胸背板及腹部自动识别模块的世界有害实蝇图像识别系统框架。其核心为自动和交互的实蝇识别方法，可有效提高识别率。该框架的主要架构分为应用层、核心层和数据层，应用层主要包括不同版本程序的最终用户界面；核心层包括基础类、核心算法及数据管理用户接口；数据层主要包括系统的配置文件和数据库。其主要功能包括图像输入、图像预处理、图像识别、结果显示及文字检索与查询五部分。系统可首先对图像进行预处理，然后进行自动识别，再在自动识别的基础上进行人工交互识别，最后可调出已识别物种的图像与文字信息进行进一步复核。自动识别结果分别有选择前3个、前5个和前8个最相似物种进行显示三种方式。人工交互识别时采用待鉴定图像与模块库中典型图像及其它参考图像同屏显示直接比对的方式，其对比识别的效果明显，可有效加快人工交互识别速度。其系统框架为开放式设计，可选择基于不同算法的自动识别模型，预留多个图像采集和预处理入口，并对接文字数据库，便于进行物种信息多个字段的文字查询，且具中、英文两种显示方式。

采用本发明的方法，与现有技术相比，具有以下优点：基于世界有害实蝇大数量集特征图像信息数据库(共采集典型代表性多源实物标本图像4000余幅)，含世界有害实蝇图像信息和识别标准6属74种，覆盖世界重要有害实蝇物种的70％左右。对于实蝇翅的识别，采用Active Shape Models自动跟踪出实蝇翅膀轮廓的方法，可有效去除虫体躯干等干扰信息，排除裁剪中人为因素的干扰；对于中胸背板及腹部背面观，利用矩形轮廓工具选取特征识别区域。提取待测图像的Gabor曲面特征(GSF，Gabor Surface Feature)，与模板图像特征数据库进行比对，采用模板匹配法(template match or called k-nearestneighbor，KNN method)自动归类鉴定，根据相似度给出排好顺序的自动鉴定结果。在自动识别的基础上，依据实蝇人工分类学原理，采用待鉴定图像与模块库中典型图像及其它参考图像同屏显示直接比对的方式进行人工交互识别，最后调出已识别出的物种的图像与文字信息进行进一步复核，从而有效兼顾实蝇害虫的识别精度和速度。系统对单个样本的自动识别时间基本保证在90秒以内，前5正确自动识别率介于85％-95％之间。框架采用3层+5模块的开放式架构，集成自动识别模型选择、图像数据库管理、自动识别、人工交互鉴定及文字信息检索查询于一体，实现了各功能模块间的有效嵌合与链接，界面简洁友好，双语(中文和英文)支持，使用简单便利，识别准确，具有很强的实用性。

附图说明

图1为“世界有害实蝇图像识别系统1.0”标准图像示例；

图2为“世界有害实蝇图像识别系统1.0”主要架构；

图3为“世界有害实蝇图像识别系统1.0”主要核心数据表及其关系；

图4为“世界有害实蝇图像识别系统1.0”图像预处理界面；

图5为“世界有害实蝇图像识别系统1.0”自动识别显示界面；

图6为“世界有害实蝇图像识别系统1.0”人工交互识别界面；

图7为“世界有害实蝇图像识别系统1.0”物种信息显示界面。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，但本发明并不仅仅限于这些实施例。本发明涵盖任何在本发明的精髓和范围上做的替代、修改、等效方法以及方案。为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。此外，本发明之附图中为了示意的需要，并没有完全精确地按照实际比例绘制，在此予以说明。

如图1-7所示，本发明的基于世界有害实蝇图像数据库的自动和交互实蝇识别方法及一套可运行的实用系统，包括以下具体实施步骤：

1)建立世界有害实蝇多源实物标本图像信息库和识别标准共6属74种，其中包括果实蝇属37种、寡鬃实蝇属10种、小条实蝇属10种、按实蝇属11种、绕实蝇属5种和长尾实蝇属1种(参见文末附表1：物种名录)，含整体外部形态(背面观及侧面观)及关键外部分类特征(翅、头部前侧面观、中胸背板及腹部背面观等，参见附图1：标准图像示例)。在此数据库基础上，保持对其它物种的开放性和扩展性。标本图像的采集主要采用昆虫图像采集系统及数码相机和体视镜进行，标本来源于国内外较大型实蝇标本保藏单位(如中国科学院动物研究所、云南出入境检验检疫局、美国自然历史博物馆、美国佛罗里达农业部、澳大利亚CSIRO昆虫研究所等)。

2)依据实蝇翅的形态特点，训练翅ASM模型(active shape model)，开发实蝇翅轮廓自动标注工具，并利用该工具有效标识出模板库中所有翅的自动识别区域。

3)依据实蝇的中胸背板及腹部背面观的形态特点，利用矩形轮廓选取工具(rectangle selection)，有效标识出模板库中所有中胸背板及腹部背面观的自动识别区域。

4)分别建立实蝇翅、中胸背板及腹部核心自动识别模块。具体包括提取各类自动识别区域中模板图像的Gabor曲面特征(GSF，Gabor Surface Feature)，建立模板图像特征数据库，并采用模板匹配法(template match or called k-nearest neighbor，KNNmethod)进行自动匹配和归类，然后给出根据相似度大小排好顺序的自动鉴定结果，结果显示可选择前3个、前5个和前8个最相似物种三种方式。在此算法基础上，充分保持对其它算法的开放性和扩展性。

5)根据实蝇人工分类学原理及用户使用习惯，设计和研发镶嵌实蝇翅、中胸背板及腹部自动识别模块的实蝇图像识别系统框架，其核心为自动和交互的实蝇识别方法，可有效提高识别率。其主要架构(参见附图2)分为应用层、核心层和数据层，应用层主要包括不同版本程序的最终用户界面；核心层包括基础类、核心算法及数据管理用户接口；数据层主要包括系统配置文件和数据库。其数据库中主要核心数据表(参见附图3)包括File、Tag、Species和Region，Species记录物种信息，File记录文件信息，Tag是文件类型，Region记录文件特征，其相互关系可参见附图3。该系统主要功能包括图像输入、图像预处理、图像识别、结果显示及文字检索查询五部分。系统可首先对图像进行预处理(参见附图4)，然后进行自动识别(参见附图5)，再在自动识别的基础上进行人工交互识别(参见附图6)，最后调出已识别物种的图像与文字信息(参见附图7，含形态特征、地理分布等)进行进一步复核。人工交互识别时采用待鉴定图像与模块库中典型图像及其它参考图像同屏显示并直接比对的方式(参见附图6)，其对比识别的效果明显，有效加快了人工交互识别速度。整个系统为开放式设计，可选择基于不同算法的自动识别模型，预留多个图像采集和预处理入口，并对接文字数据库，便于进行物种信息多个字段的文字查询。

步骤2)中所述的依据实蝇翅的形态特点，训练翅ASM模型(active shape model)，开发实蝇翅轮廓自动标注工具，具体为：首先建立实蝇翅ASM模型，在实蝇翅边缘选择80个特征点，其中人工选择40个形态关键点，剩余40个通过关键点间平均采样得到，然后用主成分分析方法对翅轮廓进行统计建模。再将ASM叠加于实蝇翅图像上，调整ASM初始角度、尺寸、位置，使得这些参数与实际翅轮廓大致相近(偏差10％以内)，最后进行轮廓自动匹配。实际操作中在Win7平台上迭代100次，用时0.05秒以内，并进行边界平滑处理，以屏蔽掉翅轮廓上的残翅以及翅根部的身体部位干扰。边界平滑跨度取5-10个像素，高斯滤波核参数根据扩展边界自适应，具体公式为：

步骤4)中所述的实蝇自动识别方法，更具体的步骤如下：首先使用Gamma矫正和对比度均衡化进行图像预处理，再对待识别区域进行8个方向5个尺度的Gabor滤波，这样共得到40个滤波图像，对每个图像进行二值化并统计16个区间上的直方图，最后将40个直方图联合起来进行线性判别分析(LDA)降维形成待识别的特征模板。其中用于编码的公式如下：

x(s)＝χ(G*I(s)＞0)·8+χ(G_x*I(s)＞0)·4+χ(G_y*I(s)＞0)·2+χ(G_xy*I(s)＞0)

其中I(s)是灰度化的图像，G，G_x，G_y，G_xy，是Gabor滤波器以及水平、垂直方向上派生出的Gabor滤波器，χ(t)是特征选择函数，当t为真时为1。

然后基于上述Gabor特征值，使用最近邻方法作为鉴定方法，即使用待鉴定图像特征区域的特征和模板图像的特征直接进行比对，选择和待鉴定图像最相似的模板图像的分类信息作为鉴定结果，其具体计算公式如下所示：

V(k)＝Max(sim(x，y_i)(i∈k)

其中k是待鉴定的每幅图，sim(x，y)是每幅图像y和模板图像x的相似度值。其中相似度的测定由图像特征之间的距离决定，距离值是两个特征的欧式距离；Max(x)表示相似度最大的值。

如果进行基于翅、中胸背板和腹部多图像的融合识别，则分类器对各幅图像分别进行匹配，然后对匹配的结果进行加权融合，再得到最终的鉴定结果。其中多图像融合方法的核心算法如下式所示：

$p\left(c\right(y\left)\right|x)=\frac{1}{1+e^{-\[a\·\mathrm{si}m(x,y)+b\]}}$

$P\left(c\right(y\left)\right|x)=\underset{i}{\Σ}{k}_i{p}_i\left(c\right(y\left)\right|x)$

$k_i=ln\frac{{\mathrm{\ϵ}}_i}{1-{\mathrm{\ϵ}}_i}$

式中，c(y)是图y的类别，x是待识别图像的特征，sim(x，y)是x和y的距离，k是物种(类别)，ε_i是某张图的鉴定结果，通过ε_i可以算出每张图的加权k。a是初始设定的权值，一般使用1，即平均加权的方法，标识翅、中胸背板和腹部三类图像的权重相同。

步骤5)中所述的实蝇人工交互识别方法，具体为：依据实蝇人工分类学原理中的直接比对法，用标本图像代替实物标本，在计算机自动识别出的可能物种列表基础上，调出模板库中的典型图像及库中预存的其它重要分类学特征的参考图像，进行待鉴定图像与上述图像的直接同屏比对，根据形态相似性做出判断，在最相似的一幅图下予以确认；然后还可再次进行所有图像的同屏复核，即将所有待鉴定图像(如同一种的头、胸、翅及腹部图像)与库中的各类模板图像和其它参考图像在同一版面上全部以对比的方式列出，从而使特征对比全面鲜明、一目了然，以进一步确定物种。最后根据已确定物种的名称调出所存储的文字信息，如分类学特征描述、地理分布和寄主植物信息等，进行更多信息的核实。

以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的原则和精神之内所作的任何修改、等同替换和改进等，均包含在本发明的保护范围之内。

附表1：“世界有害实蝇图像识别系统1.0”物种名录

Claims (4)

1.一种基于世界有害实蝇图像数据库的实蝇图像识别系统，其特征在于，包括以下各步骤：

1)建立世界有害实蝇多源实物标本图像信息库及其识别标准共6属74种，其中包括果实蝇属37种、寡鬃实蝇属10种、小条实蝇属10种、按实蝇属11种、绕实蝇属5种和长尾实蝇属1种，含整体背面及侧面观外部形态及头、中胸背板、翅和腹部重要分类特征图像。

2)根据实蝇人工分类学原理及用户使用习惯，设计和研发镶嵌实蝇翅、中胸背板及腹部自动识别模块的实蝇图像识别系统，其核心为自动和交互的实蝇识别方法，主要架构分为应用层、核心层和数据层，主要功能包括图像输入、图像预处理、图像识别、结果显示及文字检索查询五部分；该系统首先对图像进行预处理，然后进行依据翅、中胸背板和腹部特征的自动识别，再在自动识别的基础上人工交互识别，最后调出已识别物种的图像与文字信息进行进一步复核；人工交互识别及进行图像复核时采用待鉴定图像与模块库中典型图像及其它参考图像同屏显示并直接比对的方式；自动识别结果可选择前3、前5和前8最相似物种进行显示；系统为开放式设计，可选择基于不同算法的自动识别模型，预留多个图像采集和预处理入口，并对接文字数据库以进行物种信息的文字查询，具中、英文两种显示方式。

2.一种基于世界有害实蝇图像数据库的自动和交互实蝇识别方法，其特征在于，包括以下各步骤：

1)依据实蝇翅的形态特点，训练翅ASM模型，开发实蝇翅轮廓自动标注工具，并利用该工具有效标识出模板库中所有翅的自动识别区域。

2)依据实蝇中胸背板及腹部背面观的形态特点，利用矩形轮廓选取工具，有效标识出模板库中所有中胸背板及腹部背面观的自动识别区域。

3)分别建立实蝇翅、中胸背板及腹部核心自动识别模块，具体包括提取各类自动识别区域中模板图像的Gabor曲面特征，建立模板图像特征数据库，并采用模板匹配法进行自动分类鉴定，然后给出根据相似度排好顺序的自动鉴定结果。

4)在实蝇自动识别的基础上进行人工交互识别，人工交互识别时采用待鉴定图像与模块库中典型图像及其它参考图像同屏显示并直接比对的方式，最后可调出物种图像及文字信息进行进一步复核。

3.根据权利要求2所述的实蝇翅轮廓自动标注工具，其特征在于：首先将ASM叠加于实蝇翅图像上，调整角度、尺寸，使ASM形状与实蝇翅轮廓大致相近，然后进行轮廓自动匹配，在图像上截取出ASM轮廓区域内的图像并进行边界平滑处理。

4.根据权利要求2所述的建立实蝇翅、中胸背板及腹部核心自动识别模块，其特征在于：首先使用Gamma矫正和对比度均衡化进行实蝇图像预处理，对待识别区域进行8个方向5个尺度的Gabor滤波，共得到40个滤波图像，再对每个图像进行二值化并统计16个区间上的直方图，然后将40个直方图联合起来进行线性判别分析(LDA)降维形成待识别的特征模板；最后基于特征模板间的相似度测量值，使用模板匹配法给出最相似的若干可能结果，当特征模板不同时，测量值通过加权融合的方法进行匹配。