CN106886758B - 基于三维姿态估计的昆虫识别装置及方法 - Google Patents

基于三维姿态估计的昆虫识别装置及方法 Download PDF

Info

Publication number
CN106886758B
CN106886758B CN201710045012.XA CN201710045012A CN106886758B CN 106886758 B CN106886758 B CN 106886758B CN 201710045012 A CN201710045012 A CN 201710045012A CN 106886758 B CN106886758 B CN 106886758B
Authority
CN
China
Prior art keywords
insect
image
information
identified
ccd camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710045012.XA
Other languages
English (en)
Other versions
CN106886758A (zh
Inventor
陈梅香
张睿珂
李明
温俊宝
杨信廷
赵丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN201710045012.XA priority Critical patent/CN106886758B/zh
Publication of CN106886758A publication Critical patent/CN106886758A/zh
Application granted granted Critical
Publication of CN106886758B publication Critical patent/CN106886758B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses

Abstract

本发明提供一种基于三维姿态估计的昆虫识别装置及方法,装置包括:三维姿态信息获取模块,用于获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;昆虫特征提取模块,用于获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;昆虫类型识别模块,用于根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型,对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果。本发明能够有效提高昆虫识别率。

Description

基于三维姿态估计的昆虫识别装置及方法
技术领域
本发明涉及农业技术领域,具体涉及一种基于三维姿态估计的昆虫识别装置及方法。
背景技术
鳞翅目害虫对农作物造成的危害严重,是田间害虫监测的重点对象,害虫种类和数量信息的获取是害虫精准防控的重要前提。目前,害虫种类、数量信息的获取主要通过病虫观测场调查以及大田普查相结合的方法,这些方法费时费力且主观因素影响较大,时效性弱,不能满足生产实际需求。随着计算机技术的发展,基于图像的害虫自动识别技术具有省时省力、智能化等优点,目前该方法已成为田间害虫自动识别、计数的一种主要方法。
灯诱是昆虫诱集的一种主要方式,灯诱昆虫种类多、姿态多样,昆虫自动识别难度大,目前主要应用二维图像技术进行灯诱昆虫的监测识别。该方法基于平面式载物台所获取的昆虫图像信息是单面的,或者是有透明物阻隔的图像,昆虫图像信息的完整性受到影响,影响昆虫的识别效果。此外,基于图像特征信息、二维姿态信息的昆虫识别算法当遇到多种类、多姿态的昆虫时,由于三维虫体进行二维图像获取时造成信息缺失,其识别算法的普适性受到影响,影响昆虫自动识别准确率。
发明内容
针对现有技术中的缺陷,本发明提供了一种基于三维姿态估计的昆虫识别装置及方法,本发明能够有效提高昆虫识别率。
为解决上述技术问题,本发明提供以下技术方案:
第一方面,本发明提供了一种基于三维姿态估计的昆虫识别装置,包括:
三维姿态信息获取模块,用于获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;
昆虫特征提取模块,用于获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;
昆虫类型识别模块,用于根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型,对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果。
进一步地,所述三维姿态信息获取模块采用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD。
进一步地,所述三维姿态信息获取模块,具体用于:
选取能够代表昆虫姿态信息的部位,包括昆虫的翅膀和昆虫的躯干,昆虫的翅膀姿态特征包括肩角、顶角、臀角,昆虫的躯干姿态特征包括头、腹部末端、躯干骨架;通过选取昆虫前后翅膀的肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,即可分析出昆虫翅膀的旋转角度以及躯干变形信息;
以及,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息:
对第一CCD、第二CCD、第三CCD进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
进一步地,所述昆虫特征提取模块,具体用于:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
进一步地,所述昆虫类型识别模块,具体用于:
构建基于支持向量机SVM的昆虫识别模型;
以及,将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别;
其中,构建基于支持向量机SVM的昆虫识别模型,包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将并所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型;
其中,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;所述特征信息包括形态特征、颜色特征和纹理特征。
第二方面,本发明还提供了一种基于三维姿态估计的昆虫识别方法,包括:
获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;
获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;
根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果。
进一步地,获取待识别昆虫的三维姿态信息,具体包括:
采用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD。
进一步地,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
选取能够代表昆虫姿态信息的部位,包括昆虫的翅膀和昆虫的躯干,昆虫的翅膀姿态特征包括肩角、顶角、臀角,昆虫的躯干姿态特征包括头、腹部末端、躯干骨架;通过选取昆虫前后翅膀的肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,即可分析出昆虫翅膀的旋转角度以及躯干变形信息;
以及,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
对第一CCD、第二CCD、第三CCD进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
进一步地,获取待识别昆虫的特征信息,具体包括:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
进一步地,根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果,具体包括:
构建基于支持向量机SVM的昆虫识别模型;
以及,将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别;
其中,构建基于支持向量机SVM的昆虫识别模型,包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将并所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型;
其中,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;所述特征信息包括形态特征、颜色特征和纹理特征。
由上述技术方案可知,本发明提供的基于三维姿态估计的昆虫识别装置,引入三维姿态信息作为识别因子,突破了以往只将二维特征信息作为识别模型的输入因子,有助于提高昆虫识别准确率,增强识别算法的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的基于三维姿态估计的昆虫识别装置的结构示意图;
图2是本发明一个实施例提供的昆虫图像采集装置的结构示意图;
图3是本发明一个实施例提供的昆虫三维姿态信息获取过程示意图;
图4是本发明一个实施例提供的昆虫识别模型构建过程示意图;
图5是本发明一个实施例提供的昆虫类型识别过程示意图;
图6是本发明另一个实施例提供的基于三维姿态估计的昆虫识别方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
根据背景技术部分描述可知,目前的大部分研究都是基于昆虫特征信息、二维姿态信息的识别研究,导致部分识别信息缺失,导致昆虫识别算法的普适性受到影响。为了提高昆虫的识别准确率,本发明提供了一种基于三维姿态估计的昆虫识别方法,通过获取昆虫图像,以及通过图像处理获取昆虫三维姿态信息、特征信息,基于三维姿态信息、昆虫特征信息构建昆虫识别模型,改变以往仅将昆虫特征信息、二维姿态信息作为昆虫的识别因子,以提高昆虫识别准确率,并增强识别算法的鲁棒性。
本发明一实施例提供了一种基于三维姿态估计的昆虫识别装置,参见图1,该装置包括:三维姿态信息获取模块100、昆虫特征提取模块200和昆虫类型识别模块300,其中:
三维姿态信息获取模块100,用于获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;
昆虫特征提取模块200,用于获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;
昆虫类型识别模块300,用于根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果。
由上述记载的技术方案可知,本发明实施例提供的基于三维姿态估计的昆虫识别装置,引入三维姿态信息作为识别因子,突破了以往只将二维特征信息作为识别模型的输入因子,有助于提高昆虫识别准确率,增强识别算法的鲁棒性。
在一种可选实施方式中,所述三维姿态信息获取模块100,具体用于:利用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD。
参见图2所示的昆虫图像采集装置的结构示意图,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;其中,所述摆臂运动模块位固定于底座1上,包括:第一电机2、行星减速机3、旋转轴4、支架,由第一电机驱动行星齿轮减速机转动,由旋转轴带动扎虫模块的摆臂运动,支架由丝杆5、螺母套组成6。所述水平运动模块位于伸缩臂上10,通过螺母套6固定于支架上,包括:第二电机7、传动轴8、滚珠丝杆组件9,由第二电机带动传动轴,驱动螺杆运动,带动伸缩臂进行运动实现扎虫模块水平运动。所述旋转运动模块由第三电机11、同步带12、同步轮13、法兰盘14、扎针装置组成。由第三电机通过同步带动同步轮转动,法兰盘与同步轮相连,扎针装置与法兰盘相连,由法兰盘带动扎针装置进行转动。所述扎虫模块部分包括:针筒、第四电机15、滚珠丝杆组件16、推杆17、弹簧18、针杆19、针固定槽、扎虫针20。第四电机与滚珠丝杆组件相连,滚珠丝杆组件与推杆相连,弹簧位于推杆与针杆之间,针固定槽位于针杆末端,用于固定扎虫针。通过第四电机控制扎虫针的上下运动实现不同高度昆虫的扎取以及昆虫的脱落。
优选地,所述昆虫扎取单元还包括:双目视觉模块;所述双目视觉模块包括双目视觉21、昆虫双目视觉定位模块,双目视觉21用于获取昆虫图像,昆虫双目视觉定位模块通过相机标定、立体匹配获得昆虫所处的三维空间位置,为扎虫模块的摆臂运动、水平运动、扎取运动提供基础,实现昆虫的准确扎取。
参见图2所示的昆虫图像采集装置的结构示意图,基于立体视觉的图像采集单元,包括半圆形支架22、第一CCD23、第二CCD24、第三CCD25、云台、光源26。由于昆虫形体小,多个机器视觉存在对焦难的特点,为此,本发明实施例应用半圆形的支架部署机器视觉,第一CCD位于斜上方、第二CCD位于水平方向、第三CCD位于斜下方,固定CCD的云台与半圆形支架连接,应用半圆形的支架有利于快速实现多个多机器视觉快速对焦,配合昆虫扎取单元,可实现昆虫360°图像信息的获取,提高图像的获取效率。
优选地,所述昆虫图像采集装置还包括昆虫回收盒,昆虫回收盒位于昆虫扎取单元拍照位置的下方,用于回收已拍过照片的昆虫。
优选地,所述昆虫图像采集装置还包括主控制器,由主控制器负责各个模块的配合工作,主控制器可以为计算机或工控机,例如,主控制器上有相机标定模块、昆虫双目视觉定位模块、图像拍照控制模块和电机控制模块;
其中,相机标定模块,用张正友平板标定法进行双目视觉、基于立体视觉的图像采集单元的CCD摄相机标定。
其中,双目视觉定位模块,具体用于执行如下步骤:
①用扎虫模块上的双目视觉获取昆虫图像;
②通过图像预处理,将昆虫图像二值化;
③应用图像细化方法提取昆虫骨架;
④经链码表示,结合虫体部位特征,判断虫体头位置,离头部三分之一进行虫体扎取。
⑤通过立体匹配计算扎取位置所处的三维空间位置。以扎虫模块停留于立体视觉的图像获取的位置为起始位置,计算扎虫模块在三维空间中所需移动的距离。
图像拍照控制模块:当扎取装置扎取昆虫后,回到拍照位置时,拍照控制模块触发三个CCD同时进行拍照。根据拍照要求,昆虫扎取单元进行旋转;根据旋转次数拍照控制模块控制三个机器视觉进行拍照。
其中,电机控制模块主要控制昆虫扎取单元运动,控制昆虫扎取单元的摆臂运动、水平移动、扎取运动、旋转运动。根据双目视觉所获取的昆虫三维位置,摆臂运动主要是控制昆虫扎取单元的伸缩臂转到昆虫所处的方向上,通过电机转动的圈数控制扎虫模块转动的角度。水平移动是将扎取装置移动到昆虫的正上方,通过电机转动的圈数控制伸缩臂移动的距离,扎取部分是控制扎针部分进行昆虫扎取,拍照后进行昆虫脱落,通过电机转动的圈数控制扎虫针的垂直运动距离。旋转部分是控制昆虫扎取单元根据拍照需要进行旋转,通过电机转动的圈数控制每次旋转的角度。
其中,电机控制器控制装置中昆虫扎取单元中的电机工作。
优选地,所述昆虫图像采集装置还包括显示与设置模块,所述显示与设置模块用于设置昆虫旋转角度、每次采集图像数量等。
优选地,所述昆虫图像采集装置还包括供电单元,所述供电单元为有源电源,为主控制器、CCD相机、电机等提供电源。
在一种可选实施方式中,所述三维姿态信息获取模块100,具体用于:
A、选取能够代表昆虫姿态信息的部位。
以昆虫(如鳞翅目昆虫)标准姿态(虫体躯干直,前翅后缘与虫体躯干垂直,后翅后缘离开腹部,且后翅完全露出)为基准姿态。昆虫姿态变化主要是由于翅膀绕肩角发生旋转产生的形变,躯干部分的变形主要由躯干弯曲、扭曲引起。根据昆虫姿态变化的特点,昆虫姿态信息的获取重在选取能代表姿态信息的部位,包括昆虫翅膀和躯干。昆虫的翅膀一般近三角形,翅膀三个顶点分别为肩角、顶角、臀角;虫体的躯干由头、胸、腹组成,通过选取前后翅肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,与标准姿态虫体进行比较,即可分析出昆虫翅膀的旋转角度以及躯干变形信息。
B、根据昆虫图像采集装置获取待识别昆虫的三维姿态信息,参见图3,过程具体包括:
采用张正友平板标定法对图像采集单元中的CCD进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、躯干骨架特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
由上面描述可知,所述三维姿态信息获取模块200在获取昆虫三维姿态信息时,通过选取昆虫正面图像以及第二CCD获取的图像进行昆虫三维姿态信息提取。具体地,应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、躯干骨架特征点以及翅膀特征点的定位;通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
在一种可选实施方式中,所述昆虫特征提取模块200,具体用于:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
此外,所述昆虫特征提取模块200在进行昆虫特征信息提取时,可以选择昆虫正面图像或正面与反面图像进行昆虫特征信息提取。由上面描述可知,所述昆虫特征提取模块200在进行昆虫特征信息提取时,首先基于分割图像提取昆虫形状特征;然后将分割图像与颜色空间图像相结合提取相应颜色特征;最后将分割图像与灰度图相结合提取纹理特征。
在一种可选实施方式中,所述昆虫类型识别模块300,具体用于:
a、构建基于支持向量机SVM的昆虫识别模型。
其中,构建基于支持向量机SVM的昆虫识别模型的过程包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将并所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型。
b、将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别。
如图4所示,所述昆虫类型识别模块300的工作过程如下:
基于昆虫图像采集装置获取多姿态鳞翅目昆虫建模样本图像,通过图像处理提取建模样本鳞翅目昆虫的三维姿态信息(翅膀旋转角度、躯干变形信息)、特征信息(形态特征、颜色特征、纹理特征),并所提取的信息作为输入因子,将昆虫种类作为输出因子,对识别模型进行训练,构建基于支持向量机(SVM)的昆虫识别模型。
基于图像采集装置获取待识别昆虫图像,通过图像处理提取待识别鳞翅目昆虫的三维姿态信息(翅膀旋转角度、躯干变形信息)、特征信息(形态特征、颜色特征、纹理特征),将所提取的信息输入识别模型,识别模型输出昆虫识别结果,实现基于三维姿态估计的鳞翅目昆虫的识别。
参见图5所示的基于三维姿态估计的昆虫识别流程。该昆虫识别流程包括采用昆虫图像采集装置获取昆虫图像的过程以及提取昆虫三维姿态信息和昆虫特征信息的过程,最后将提取的昆虫三维姿态信息以及昆虫特征信息输入至训练好的昆虫识别模型中,得到昆虫识别结果。可见,本发明实施例构建了一种基于三维姿态估计的昆虫识别方法,引入三维姿态信息作为识别因子,突破了以往只将二维特征信息作为识别模型的输入因子,有助于提高昆虫识别准确率,增强识别算法的鲁棒性。此外,本发明实施例还构建了基于立体视觉的昆虫三维姿态提取方法,通过提取昆虫躯干、翅膀的形态特点作为特征点,躯干选取头、腹部末端、躯干骨架,翅膀选取肩角、顶角、臀角作为特征点,应用立体视觉、特征点相对位置进行自动定位,通过图像细化处理提取躯干骨架,判断这些特征点、骨架所处的空间位置以及特征点所组成的面,即可分析出昆虫翅膀的旋转角度以及躯干变形信息。进而根据昆虫的这些三维姿态信息以及昆虫特征信息进行昆虫识别,从而提高了昆虫识别的准确率。
将图像采集装置与田间灯诱昆虫监测装置相结合,可实现基于三维姿态估计的田间灯诱鳞翅目昆虫的识别。
本发明另一实施例提供了一种基于三维姿态估计的昆虫识别方法,参见图6,该方法包括如下步骤:
步骤101:获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息。
步骤102:获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征。
步骤103:根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果。
在一种可选实施方式中,上述步骤101具体包括:
采用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD;其中,第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD、第二CCD和第三CCD。
在一种可选实施方式中,上述步骤101采用昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
A、选取能够代表昆虫姿态信息的部位。
以昆虫(如鳞翅目昆虫)标准姿态(虫体躯干直,前翅后缘与虫体躯干垂直,后翅后缘离开腹部,且后翅完全露出)为基准姿态。昆虫姿态变化主要是由于翅膀绕肩角发生旋转产生的形变,躯干部分的变形主要由躯干弯曲、扭曲引起。根据昆虫姿态变化的特点,昆虫姿态信息的获取重在选取能代表姿态信息的部位,包括昆虫翅膀和躯干。昆虫的翅膀一般近三角形,翅膀三个顶点分别为肩角、顶角、臀角;虫体的躯干由头、胸、腹组成,通过选取前后翅肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,与标准姿态虫体进行比较,即可分析出昆虫翅膀的旋转角度以及躯干变形信息。
B、根据昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
采用张正友平板标定法对图像采集单元中的CCD进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD、第三CCD所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
在一种可选实施方式中,上述步骤102具体包括:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
在一种可选实施方式中,上述步骤103具体包括:
a、构建基于支持向量机SVM的昆虫识别模型;
b、将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别;
其中,上述步骤a构建基于支持向量机SVM的昆虫识别模型,具体包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将并所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型;
其中,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;所述特征信息包括形态特征、颜色特征和纹理特征。
本实施例提供的基于三维姿态估计的昆虫识别方法可以采样上述实施例所述的基于三维姿态估计的昆虫识别装置实现,其具体原理和技术效果类似,此处不再详述。
综上描述,本发明的关键点在于:
1、构建了一种基于三维姿态估计的鳞翅目昆虫识别方法,引入三维姿态信息作为识别因子,突破了以往只将二维特征信息作为识别模型的输入因子,有助于提高昆虫识别准确率,增强识别算法的鲁棒性。
2、构建了一种多维度动作的昆虫扎取单元,实现摆臂运动、水平运动以及扎虫部分旋转运动以及昆虫扎取、脱落运动。根据机器视觉拍照的需要,将所扎取的昆虫旋转到相应的拍照位置进行不同角度昆虫图像的获取。
3、构建了一种半圆形的图像采集装置,有利于三个CCD快速实现对焦,配合扎取单元,获取清晰的昆虫360°图像。
4、构建了基于立体视觉的昆虫三维姿态提取方法。通过提取昆虫躯干、翅膀的形态特点作为特征点,躯干选取头、腹部末端、躯干骨架,翅膀选取肩角、顶角、臀角作为特征点,应用角点探测、边缘曲率极值点探测进行特征点的搜索,应用立体视觉、特征点相对位置进行自动定位,通过图像细化处理提取躯干骨架,判断这些特征点、骨架所处的空间位置以及特征点所组成的面,与标准姿态虫体进行比较,即可分析出昆虫翅膀的旋转角度以及躯干变形信息。
5、本发明实施例也可用于鳞翅目昆虫之外的其它昆虫识别。
以上实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于三维姿态估计的昆虫识别装置,其特征在于,包括:
三维姿态信息获取模块,用于获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;
昆虫特征提取模块,用于获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;
昆虫类型识别模块,用于根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型,对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果;
其中,所述三维姿态信息获取模块采用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD相机、第二CCD相机、第三CCD相机;其中,第一CCD相机位于所述半圆形支架的斜上方位置、第二CCD相机位于所述半圆形支架的水平方向位置、所述第三CCD相机位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD相机、第二CCD相机和第三CCD相机。
2.根据权利要求1所述的装置,其特征在于,所述三维姿态信息获取模块,具体用于:
选取能够代表昆虫姿态信息的部位,包括昆虫的翅膀和昆虫的躯干,昆虫的翅膀姿态特征包括肩角、顶角、臀角,昆虫的躯干姿态特征包括头、腹部末端、躯干骨架;通过选取昆虫前后翅膀的肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,即可分析出昆虫翅膀的旋转角度以及躯干变形信息;
以及,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息:
对第一CCD相机、第二CCD相机、第三CCD相机进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD相机、第三CCD相机所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD相机获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD相机或第三CCD相机所获取的图像与第二CCD相机获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
3.根据权利要求2所述的装置,其特征在于,所述昆虫特征提取模块,具体用于:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
4.根据权利要求3所述的装置,其特征在于,所述昆虫类型识别模块,具体用于:
构建基于支持向量机SVM的昆虫识别模型;
以及,将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别;
其中,构建基于支持向量机SVM的昆虫识别模型,包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型。
5.一种基于三维姿态估计的昆虫识别方法,其特征在于,包括:
获取待识别昆虫的三维姿态信息,所述三维姿态信息包括昆虫翅膀旋转角度以及躯干变形信息;
获取待识别昆虫的特征信息,所述特征信息包括形态特征、颜色特征和纹理特征;
根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果;其中,获取待识别昆虫的三维姿态信息,具体包括:
采用昆虫图像采集装置获取待识别昆虫的三维姿态信息;
其中,所述昆虫图像采集装置包括:昆虫扎取单元和基于立体视觉的图像采集单元;
其中,所述昆虫扎取单元包括:底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块;
所述摆臂运动模块,固定在所述底座上,包括:第三电机、行星齿轮减速机、旋转轴和支架,所述支架包括丝杆和螺母套;所述行星齿轮减速机与所述旋转轴连接,所述第三电机用于驱动所述行星齿轮减速机转动,由旋转轴带动所述扎虫模块做摆臂运动;
所述水平运动模块,包括:依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂;所述传动轴通过螺母套固定于所述支架上,所述第二电机用于带动所述传动轴,所述传动轴用于驱动所述第一滚珠丝杆组件,所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动;
所述旋转运动模块,包括:第四电机、同步带、同步轮和法兰盘;所述第四电机通过所述同步带带动所述同步轮转动,所述法兰盘与所述同步轮连接,所述法兰盘与所述扎虫模块连接,用于带动所述扎虫模块进行转动;
所述扎虫模块,包括:针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针;所述第五电机与所述第二滚珠丝杆组件连接,所述第二滚珠丝杆组件与所述推杆连接,所述弹簧位于所述推杆与所述针杆之间,所述针固定槽位于所述针杆末端,用于固定所述扎虫针,所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落;
其中,所述基于立体视觉的图像采集单元包括:云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD相机、第二CCD相机、第三CCD相机;其中,第一CCD相机位于所述半圆形支架的斜上方位置、第二CCD相机位于所述半圆形支架的水平方向位置、所述第三CCD相机位于所述半圆形支架的斜下方位置;所述云台与所述半圆形支架连接,用于固定所述第一CCD相机、第二CCD相机和第三CCD相机。
6.根据权利要求5所述的方法,其特征在于,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
选取能够代表昆虫姿态信息的部位,包括昆虫的翅膀和昆虫的躯干,昆虫的翅膀姿态特征包括肩角、顶角、臀角,昆虫的躯干姿态特征包括头、腹部末端、躯干骨架;通过选取昆虫前后翅膀的肩角、顶角、臀角,头、腹部末端、躯干骨架这些有代表性的部位,并判断这些部位所处的空间位置以及特征点所组成的面,即可分析出昆虫翅膀的旋转角度以及躯干变形信息;
以及,采用昆虫图像采集装置获取待识别昆虫的三维姿态信息,具体包括:
对第一CCD相机、第二CCD相机、第三CCD相机进行标定;
通过基于立体视觉的图像采集单元获取背景图像、待识别昆虫的图像;
将待识别昆虫的图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割;
将第一CCD相机、第三CCD相机所获取的图像进行比较,以昆虫胸部有无足的特征进行虫体正反面的确定,选择正面图像、第二CCD相机获取的图像进行姿态信息的获取;若因姿态变化没有正面图像,则选择第一CCD相机或第三CCD相机所获取的图像与第二CCD相机获取的图像进行处理;
应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索,应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位;
通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架,通过曲线拟合获取躯干变形信息;
基于极线约束实现特征点的立体匹配,计算特征点的三维空间位置信息,与预设标准姿态虫体进行比较,获得昆虫翅膀旋转角度、躯干变形的三维姿态信息。
7.根据权利要求6所述的方法,其特征在于,获取待识别昆虫的特征信息,具体包括:
基于待识别昆虫正面和/或反面的二维图像执行如下过程:
对所述二维图像进行压缩、裁剪、去噪的图像预处理过程,得到预处理后的图像;
将预处理后的图像转化成为HSV颜色空间图像;
将预处理后的图像转化成为灰度图像;
选择H颜色分量图像,将昆虫图像与背景图像进行差分,进行背景去噪;
基于边缘检测、孔洞填充、去噪进行昆虫分割,得到分割图像;
基于分割图像提取昆虫形状特征;
将分割图像与HSV颜色空间图像相结合提取相应颜色特征;
将分割图像与灰度图像相结合提取纹理特征。
8.根据权利要求7所述的方法,其特征在于,根据待识别昆虫的三维姿态信息以及特性信息,利用预先构建的基于支持向量机SVM的昆虫识别模型对所述待识别昆虫进行识别,获取所述待识别昆虫的类型识别结果,具体包括:
构建基于支持向量机SVM的昆虫识别模型;
以及,将待识别昆虫的三维姿态信息以及特性信息输入所述昆虫识别模型并接收所述昆虫识别模型输出的昆虫识别结果,实现基于三维姿态估计的昆虫识别;
其中,构建基于支持向量机SVM的昆虫识别模型,包括:
基于所述昆虫图像采集装置获取多姿态昆虫建模样本图像,通过图像处理提取建模样本昆虫的三维姿态信息和特征信息,并将所提取的信息作为输入因子,将昆虫种类作为输出因子,对昆虫识别模型进行训练,构建基于支持向量机SVM的昆虫识别模型。
CN201710045012.XA 2017-01-20 2017-01-20 基于三维姿态估计的昆虫识别装置及方法 Active CN106886758B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710045012.XA CN106886758B (zh) 2017-01-20 2017-01-20 基于三维姿态估计的昆虫识别装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710045012.XA CN106886758B (zh) 2017-01-20 2017-01-20 基于三维姿态估计的昆虫识别装置及方法

Publications (2)

Publication Number Publication Date
CN106886758A CN106886758A (zh) 2017-06-23
CN106886758B true CN106886758B (zh) 2019-07-02

Family

ID=59176010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710045012.XA Active CN106886758B (zh) 2017-01-20 2017-01-20 基于三维姿态估计的昆虫识别装置及方法

Country Status (1)

Country Link
CN (1) CN106886758B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109325499A (zh) * 2018-08-02 2019-02-12 浙江中农在线电子商务有限公司 病虫害识别方法及装置
CN111213159A (zh) * 2019-03-12 2020-05-29 深圳市大疆创新科技有限公司 一种图像处理方法、装置及系统
CN110490861A (zh) * 2019-08-22 2019-11-22 石河子大学 一种用于黄板上蚜虫的识别方法及系统
JP7458089B2 (ja) * 2022-03-31 2024-03-29 株式会社ペストビジョンソリューションズ 虫同定用画像データの生成方法及び虫同定システム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440488A (zh) * 2013-09-03 2013-12-11 江苏物联网研究发展中心 一种虫害识别的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011206878A (ja) * 2010-03-29 2011-10-20 Fuji Xerox Co Ltd 組立検査装置及びこれを用いた組立処理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440488A (zh) * 2013-09-03 2013-12-11 江苏物联网研究发展中心 一种虫害识别的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
害虫自动识别与计数技术研究进展与展望;陈梅香等;《环境昆虫学报》;20150126;第37卷(第1期);第176-183页

Also Published As

Publication number Publication date
CN106886758A (zh) 2017-06-23

Similar Documents

Publication Publication Date Title
CN106886758B (zh) 基于三维姿态估计的昆虫识别装置及方法
CN103529855B (zh) 一种旋转可调式双目视觉的目标识别定位装置及其在农业果实采摘机械的应用
CN111060024B (zh) 旋转中心轴与图像采集装置相交的3d测量及获取装置
CN110335292B (zh) 一种基于图片跟踪实现模拟场景跟踪的方法、系统及终端
CN105666485B (zh) 一种基于图像处理的自动识别和定位摆棋机器人
CN104424662B (zh) 立体扫描装置
WO2019062619A1 (zh) 对图像内目标物体进行自动标注的方法、装置及系统
CN106846462B (zh) 基于三维模拟的昆虫识别装置及方法
CN108362223B (zh) 一种便携式3d扫描仪、扫描系统和扫描方法
CN104469170B (zh) 双目摄像装置、图像处理方法及装置
CN107274368B (zh) 兼容性视觉处理系统及方法
CN113192206B (zh) 基于目标检测和背景去除的三维模型实时重建方法及装置
EP3921801B1 (en) Creating training data variability in machine learning for object labelling from images
CN103198477A (zh) 一种苹果套袋机器人视觉定位方法
CN106599806A (zh) 一种基于局部曲面几何特征的人体动作识别方法
CN109146939A (zh) 一种工件抓取模板的生成方法及系统
CN105631859A (zh) 三自由度仿生立体视觉系统
CN114659463B (zh) 一种植物表型采集装置及其采集方法
CN104019761B (zh) 一种基于玉米植株三维形态获取装置的玉米植株三维形态获取方法
CN109087343A (zh) 一种工件抓取模板的生成方法及系统
CN208705935U (zh) 三维模型重建系统以及用于该系统的环形图像采集装置
CN114511690A (zh) 一种3d目标检测数据集采集装置与标注方法
KR101381654B1 (ko) 3d 모델 생성 장치 및 이의 운용 방법
CN205734926U (zh) 一种基于图像处理的自动识别和定位摆棋机器人
CN112911263A (zh) 一种多视角图像采集装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant