CN106846462A - 基于三维模拟的昆虫识别装置及方法 - Google Patents

Abstract

本发明提供一种基于三维模拟的昆虫识别装置及方法，装置包括标准姿态昆虫三维重建模块用于构建标准姿态昆虫三维模型库；昆虫三维姿态信息获取模块用于获取待识别昆虫的图像、三维姿态以及二维特征信息；昆虫识别模块用于基于待识别昆虫的三维姿态、二维特征信息进行昆虫种类的初选，在三维模型库中根据初选的昆虫种类选择对应的三维模型并根据三维姿态信息进行变形，以得到每种昆虫对应姿态的三维模型并分别获取与三维模型对应的二维投影图像，计算待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为待识别昆虫的类型。本发明能够有效提高昆虫识别的准确率。

Description

基于三维模拟的昆虫识别装置及方法

技术领域

本发明涉及农业技术领域，具体涉及一种基于三维模拟的昆虫识别装置及方法。

背景技术

目前，农作物病虫害监测信息的采集主要采取虫情测报灯监测、病虫观测场调查和大田普查相结合的方式，大部分数据都要通过测报技术人员深入田间调查计数。传统的调查方法费时费力，难以达到准确预测预报的效果。为了解决害虫监测数据获取上费时费力的问题，新兴的害虫自动识别与计数技术不断被探索，目前主要的监测技术有图像识别、红外传感器监测、声音特征检测、雷达监测等，这些技术的发展提高了害虫自动识别与计数的效率。其中基于图像的昆虫自动识别与计数技术具有省时省力、智能化等优点，目前该方法已成为昆虫自动识别、计数的一种重要方法。

基于二维图像的昆虫识别遇到的一大难题是多姿态昆虫的识别，近来专家对多姿态昆虫的识别开展了相关研究，Ashaghathra等通过模板匹配方法对象甲识别效果进行了比较研究。结果表明，只有将几种不同且相互独立的因子相结合才可以很好地识别象甲。邱道尹等设计了基于机器视觉的农田灯诱害虫实时检测系统，该系统采用水作为传输介质，使害虫姿态减少为正面和背面两种。吕军等研究了基于模板匹配的多目标水稻灯诱害虫识别方法。

灯诱是昆虫诱集的一种主要方式，灯诱昆虫种类多、姿态多样，昆虫自动识别难度大，目前主要应用二维图像技术进行灯诱昆虫的监测识别。该方法基于平面式载物台所获取的昆虫图像信息是单面的，或者是有透明物阻隔的图像，昆虫图像信息的完整性受到影响，影响昆虫的识别效果。单一基于二维图像的昆虫识别算法当遇到多种类、多姿态的昆虫时，由于三维虫体进行二维图像获取时造成信息缺失，其识别算法的普适性受到影响，导致灯诱场景中昆虫自动识别准确率不高。

发明内容

针对现有技术中的缺陷，本发明提供了一种基于三维模拟的昆虫识别装置及方法，本发明能够有效提高昆虫识别率。

为解决上述技术问题，本发明提供以下技术方案：

第一方面，本发明提供了一种基于三维模拟的昆虫识别装置，包括：

标准姿态昆虫三维重建模块，用于构建标准姿态昆虫三维模型库；

昆虫三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

三维模型变形模块，用于对昆虫三维模型进行基于昆虫翅膀以及躯干的变形以实现昆虫任意姿态的模拟，得到昆虫任意姿态的三维模型；

基于三维模型变形投影的昆虫识别模块，用于基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并利用所述三维模型变形模块对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；

所述基于三维模型变形投影的昆虫识别模块，还用于基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

进一步地，所述标准姿态昆虫三维重建模块，具体用于：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

进一步地，所述昆虫三维姿态信息获取模块，具体用于：采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

其中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；

其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；

所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；

所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；

所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；

所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；

其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD。

进一步地，所述昆虫三维姿态信息获取模块，具体用于：

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息：

对第一CCD、第二CCD、第三CCD进行标定；通过昆虫图像获取装置获取昆虫图像，将虫体的二维图像进行边缘检测、分割，将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息；对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息；昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源；

以及基于昆虫图像获取装置获取的昆虫图像，经图像处理获得昆虫二维图像特征，包括形状、颜色、纹理特征，用于昆虫的匹配识别。

进一步地，所述昆虫三维模型变形模块，具体用于：

进行昆虫躯干部分的变形：昆虫躯干部分的变形主要由躯干弯曲、扭曲组成；躯干的扭曲变形以旋转其某腹部横切面作为变形驱动，腹部的弯曲变形以腹部骨架作为变形驱动，采用基于梯度编辑的网格变形方法实现躯干部分的变形；以及，进行昆虫翅膀的变形：昆虫的翅膀呈平面结构，且不易扭曲变形，翅膀的姿态变化主要是翅膀绕肩角发生旋转产生的形变；通过肩角的识别定位翅膀旋转点，通过计算旋转矩阵实现翅膀在三维空间的旋转；依据所述待识别昆虫的三维姿态信息对选择出来的三维模型进行变形，并将变形后的三维模型投影图像特征与待识别昆虫的二维图像特征进行对比分析，通过对比评价三维模型的变形效果，实现三维模型的准确变形；将躯干、翅膀的变形方法、动作进行集成，实现昆虫任意姿态的三维模拟。

进一步地，所述基于三维模型变形投影的昆虫识别模块，具体用于：

根据待识别昆虫的三维姿态信息、二维特征信息进行昆虫种类的初选；根据待识别昆虫的三维姿态信息，从所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应昆虫种类的三维模型进行变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。

第二方面，本发明还提供了一种基于三维模拟的昆虫识别方法，包括：

构建标准姿态昆虫三维模型库；

获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；

基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

进一步地，所述构建标准姿态昆虫三维模型库，具体包括：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

进一步地，获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息，包括：

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

其中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；

其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；

所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；

所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；

所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；

所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；

其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD；

其中，采用昆虫图像获取装置获取待识别昆虫的三维姿态信息，包括：

对第一CCD、第二CCD、第三CCD进行标定；通过昆虫图像获取装置获取昆虫图像，将虫体的二维图像进行边缘检测、分割，将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息；对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息；昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源；

以及基于昆虫图像获取装置获取的昆虫图像，经图像处理获得昆虫二维图像特征，包括形状、颜色、纹理特征，用于昆虫的匹配识别。

进一步地，所述基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；以及基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果，具体包括：

基于所述待识别昆虫的三维姿态信息、二维图像特征信息进行昆虫种类的初选，在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并根据待识别昆虫的三维姿态信息，对选择出来的若干昆虫种类的三维模型进行相应变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。

由上述技术方案可知，本发明提供的基于三维模拟的昆虫识别装置，通过三维模拟的方法实现了昆虫(尤其是鳞翅目昆虫)的自动识别，本发明通过三维模拟的昆虫识别方法有效克服了基于二维图像的昆虫识别算法遇到的多种类、多姿态昆虫识别时容易引起算法识别普适性降低的问题，有效提高了昆虫识别的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的基于三维模拟的昆虫识别装置的结构示意图；

图2是本发明一个实施例提供的昆虫图像获取装置的结构示意图；

图3是本发明一个实施例提供的昆虫图像获取装置的工作原理示意图；

图4是本发明一个实施例提供的基于三维模拟的昆虫识别装置的工作原理示意图；

图5是本发明一个实施例提供的基于三维模拟的昆虫识别方法的流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

根据背景技术部分的描述可知，灯诱场景中昆虫种类多、姿态多样，且虫体是三维的。对三维虫体进行二维图像获取时造成信息缺失，导致基于二维图像的昆虫识别算法的普适性受到影响，影响昆虫自动识别准确率。为此，本发明第一个实施例提供了一种基于三维模拟的昆虫识别装置，参见图1，该装置包括：标准姿态昆虫三维重建模块100、昆虫三维姿态信息获取模块200、三维模型变形模块300和基于三维模型变形投影的昆虫识别模块400，其中：

标准姿态昆虫三维重建模块100，用于构建标准姿态昆虫三维模型库；

昆虫三维姿态信息获取模块200，用于获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

三维模型变形模块300，用于对昆虫三维模型进行基于昆虫翅膀以及躯干的变形以实现昆虫任意姿态的模拟，得到昆虫任意姿态的三维模型；

基于三维模型变形投影的昆虫识别模块400，用于基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并利用所述三维模型变形模块对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；

所述基于三维模型变形投影的昆虫识别模块400，还用于基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

由上述记载的技术方案可知，本发明实施例提供的基于三维模拟的昆虫识别装置，通过三维模拟的方法实现了昆虫(尤其是鳞翅目昆虫)的自动识别，本发明实施例通过三维模拟的昆虫识别方法有效克服了基于二维图像的昆虫识别算法遇到的多种类、多姿态昆虫识别时容易引起算法识别普适性降低的问题，有效提高了昆虫识别的准确率。

在一种可选实施方式中，基于昆虫的形态特点，应用三维扫描仪或立体视觉或结构光等进行昆虫的三维重建，或将机器视觉与三维扫描仪或结构光相结合进行昆虫三维重建。在本实施方式中，所述标准姿态昆虫三维重建模块100，具体用于：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

在一种可选实施方式中，所述昆虫三维姿态信息获取模块200共用于进行昆虫图像的获取、代表昆虫姿态特征信息的选择、昆虫姿态信息的获取，以及昆虫二维特征信息的获取四部分操作。在本实施方式中，所述昆虫三维姿态信息获取模块200，具体用于：

a.利用昆虫图像获取装置获取待识别昆虫的图像；

在一种可选实施方式中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD。参见图2所述的结构图以及图3所示的原理图，所述昆虫图像获取装置，主要包括昆虫扎取单元、基于立体视觉的图像采集单元、双目视觉模块、主控制器、电机控制器和供电单元。其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；所述摆臂运动部分位固定于底座1上，包括：第一电机2、行星减速机3、旋转轴4、支架，由第一电机驱动行星齿轮减速机转动，由旋转轴带动扎虫模块的摆臂运动，支架由丝杆5、螺母套组成6。所述水平运动部分位于伸缩臂上10，通过螺母套6固定于支架上，包括：第二电机7、传动轴8、滚珠丝杆组件9，由第二电机带动传动轴，驱动螺杆运动，带动伸缩臂进行运动实现扎虫模块水平运动。所述旋转运动部分由第三电机11、同步带12、同步轮13、法兰盘14、扎针装置组成。由第三电机通过同步带动同步轮转动，法兰盘与同步轮相连，扎针装置与法兰盘相连，由法兰盘带动扎针装置进行转动。所述扎虫模块部分包括：针筒、第四电机15、滚珠丝杆组件16、推杆17、弹簧18、针杆19、针固定槽、扎虫针20。第四电机与滚珠丝杆组件相连，滚珠丝杆组件与推杆相连，弹簧位于推杆与针杆之间，针固定槽位于针杆末端，用于固定扎虫针。通过第四电机控制扎虫针的上下运动实现不同高度昆虫的扎取以及昆虫的脱落。优选地，所述昆虫扎取单元还包括：双目视觉模块；所述双目视觉模块包括双目视觉21、双目视觉定位模块，双目视觉21用于获取昆虫图像，双目视觉定位模块用于获得昆虫所处的三维空间位置，为扎虫模块的摆臂运动、水平运动、扎取运动提供基础，实现昆虫的准确扎取。其中，基于立体视觉的图像采集单元，包括半圆形支架22、第一CCD23、第二CCD24、第三CCD25、云台、光源26。昆虫形体小，多个机器视觉存在对焦难的特点。应用半圆形的支架部署机器视觉，第一CCD位于斜上方、第二CCD位于水平方向、第三CCD位于斜下方，固定CCD的云台与半圆形支架连接。应用半圆形的支架有利于快速实现多个多机器视觉快速对焦。配合自动扎取装置，可实现昆虫360°图像信息的获取，提高图像的获取效率。其中，昆虫回收盒位于昆虫扎取单元拍照位置的下方，用于回收已拍过照片的昆虫。其中，主控制器可以为计算机或工控机，主控制器上有相机标定模块、昆虫双目视觉定位模块、图像拍照控制模块、电机控制模块。

其中，所述相机标定模块，优选采用张正友平板标定法进行双目视觉、基于立体视觉的图像采集单元的CCD摄相机标定。

其中，昆虫双目视觉定位模块，具体用于执行如下步骤：

①用张正友平板标定法进行相机标定。

②用扎虫模块上的双目视觉获取昆虫图像；

③通过图像预处理，将昆虫图像二值化；

④应用图像细化方法提取昆虫骨架；

⑤经链码表示，结合虫体部位特征，判断虫体头位置，离头部三分之一进行虫体扎取。

⑥通过立体匹配计算扎取位置所处的三维空间位置。以扎虫模块停留于立体视觉的图像获取的位置为起始位置，计算扎虫模块在三维空间中所需移动的距离。

图像拍照控制模块：当扎取装置扎取昆虫后，回到拍照位置时，拍照控制模块触发三个CCD同时进行拍照。根据拍照要求，昆虫扎取单元进行旋转；根据旋转次数拍照控制模块控制三个机器视觉在昆虫旋转后进行拍照。

其中，电机控制模块主要控制昆虫扎取单元运动，控制昆虫扎取单元的摆臂运动、水平移动、扎取运动、旋转运动。根据双目视觉模块所获取的昆虫三维位置，摆臂运动主要是控制昆虫扎取单元的伸缩臂转到昆虫所处的方向上，通过电机转动的圈数控制扎虫模块转动的角度。水平移动是将扎取装置移动到昆虫的正上方，通过电机转动的圈数控制伸缩臂移动的距离，扎取部分是控制扎针部分进行昆虫扎取，拍照后进行昆虫脱落，通过电机转动的圈数控制扎虫针的垂直运动距离。旋转部分是控制昆虫扎取单元根据拍照需要进行旋转，通过电机转动的圈数控制每次旋转的角度。

其中，电机控制器控制装置中昆虫扎取单元中的电机工作。

其中，显示与设置模块用于设置昆虫旋转角度、每次采集图像数量等。

其中，供电单元为有源电源，为主控制器、CCD相机、电机等提供电源。

b.选取能够代表昆虫姿态信息的部位，由于鳞翅目昆虫姿态变化主要是因翅膀绕肩角发生旋转产生的形变，躯干部分的变形主要由躯干弯曲、扭曲引起。根据昆虫姿态变化的特点，昆虫姿态信息的获取重在选取能代表姿态信息的部位。昆虫的翅膀一般近三角形，翅膀三个顶点分别为肩角、顶角、臀角；虫体的躯干由头、胸、腹组成，通过选取前后翅肩角、顶角、臀角，头、腹部末端、躯干骨架这些有代表性的部位，并判断这些部位所处的空间位置以及特征点所组成的面，即可分析出昆虫翅膀的旋转角度以及躯干变形信息。因此，选取能够代表昆虫姿态信息的部位，包括昆虫的翅膀和昆虫的躯干，昆虫的翅膀姿态特征包括肩角、顶角、臀角，昆虫的躯干姿态特征包括头、腹部末端、躯干骨架；通过选取昆虫前后翅膀的肩角、顶角、臀角，头、腹部末端、躯干骨架这些有代表性的部位，并判断这些部位所处的空间位置以及特征点所组成的面，即可分析出昆虫翅膀的旋转角度以及躯干变形信息；

c.获取待识别昆虫的姿态信息。

1)用张正友平板标定法进行CCD摄相机标定。

2)通过图像采集单元获取多姿态昆虫样本图像，将每种姿态虫体的二维图像(参见图3，第一CCD、第三CCD)进行边缘检测、分割，边缘检测后以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像以及第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像以及第二CCD获取的图像进行处理。

3)应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息。

4)基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息。对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息。昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源。

d.基于昆虫图像获取装置获取昆虫二维图像，获取昆虫二维图像包括形状、颜色、纹理特征，用于昆虫的匹配识别。

在一种可选实施方式中，昆虫三维模型变形模块300的变形范围主要包括翅膀、躯干两大部分，通过翅膀的旋转变形以及躯干保持特征条件下的扭曲和弯曲形变，实现昆虫三维模型的准确变形。

在本实施方式中，所述昆虫三维模型变形模块300，具体用于：

进行昆虫躯干部分的变形：昆虫躯干部分的变形主要由躯干弯曲、扭曲组成；躯干的扭曲变形以旋转其某腹部横切面作为变形驱动，腹部的弯曲变形以腹部骨架作为变形驱动，采用基于梯度编辑的网格变形方法实现躯干部分的变形；

以及，

进行昆虫翅膀的变形：昆虫的翅膀呈平面结构，且不易扭曲变形，翅膀的姿态变化主要是翅膀绕肩角发生旋转产生的形变；通过肩角的识别定位翅膀旋转点，通过计算旋转矩阵实现翅膀在三维空间的旋转；依据所述待识别昆虫的三维姿态信息对选择出来的三维模型进行变形；并将变形后的三维模型投影图像特征与待识别昆虫的二维图像特征进行对比分析，通过对比评价三维模型的变形效果，实现三维模型的准确变形；将躯干、翅膀的变形方法、动作进行集成，实现昆虫任意姿态的三维模拟。

在一种可选实施方式中，所述基于三维模型变形投影的昆虫识别模块400，具体用于：

基于所述待识别昆虫的三维姿态信息、二维图像特征信息进行昆虫种类的初选，根据待识别昆虫的三维姿态信息，对从所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择出来的对应昆虫种类的三维模型进行变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。

参见图4所示的工作原理图，由标准姿态昆虫三维重建模块、昆虫三维姿态信息获取模块、三维模型变形模块和基于三维模型变形投影的昆虫识别模块组成一种基于三维模拟的昆虫识别装置，该装置的工作原理具体如下：

在实验室构建昆虫图像、点云获取平台，进行昆虫如鳞翅目昆虫信息获取，基于显微三维扫描或立体视觉或结构光和专家知识进行标准姿态昆虫(前翅后缘与虫体垂直，后翅后缘离开腹部，且后翅完全露出)三维重建，构建鳞翅目昆虫标准姿态三维模型库；应用昆虫图像采集装置进行昆虫的扎取与脱落以及图像获取，并进行昆虫三维姿态信息、二维图像信息的获取，为三维模型的变形提供信息源；建立鳞翅目昆虫三维模型变形方法，实现翅膀、躯干的保特征变形，构建三维模型变形动作驱动集，最终实现任意姿态昆虫的三维模拟。

对于待识别鳞翅目昆虫，基于昆虫图像采集装置获得昆虫图像信息，通过图像处理分析，获取昆虫的三维姿态信息以及二维图像特征信息，基于三维姿态信息获得昆虫翅膀长度、躯干长度，应用翅膀长度、躯干长度、Hu不变距等特征进行鳞翅目昆虫种类的初步筛选，将初选出的昆虫的标准姿态三维模型根据待识别昆虫三维姿态信息进行变形，应用与图像采集装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取，基于最小距离分类器将二维投影图像信息与图像采集装置所获得的二维图像信息进行匹配识别，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现鳞翅目靶标昆虫的自动识别。

将图像采集装置与田间灯诱昆虫监测装置相结合，可实现田间灯诱鳞翅目昆虫的三维模拟识别。

由上面记载的方案可知，由于昆虫尤其是鳞翅目昆虫种类多，姿态多样，单一基于二维图像的昆虫识别算法的普适性容易受到影响。本发明上述实施例的目的是通过三维模拟的方法实现鳞翅目昆虫的自动识别，通过显微三维扫描或立体视觉或结构光等实现昆虫三维模型构建；构建昆虫图像获取装置，进行昆虫自动扎取与脱落以及图像获取，实现昆虫三维姿态信息的自动获取；建立昆虫三维模型变形技术，构建变形动作，实现昆虫任意姿态的三维模拟。对于待识别鳞翅目昆虫，基于昆虫图像采集装置获得昆虫图像信息，通过图像处理分析，进行三维姿态信息、二维图像特征信息获取，并进行鳞翅目昆虫种类的初步筛选以及将初选出的昆虫的标准姿态三维模型根据待识别昆虫三维姿态信息进行变形、投影，基于最小距离分类器将三维模型变形后的二维投影图像特征信息与昆虫图像采集装置所获得的二维图像特征信息进行匹配识别。通过三维模拟的昆虫识别方法以有效克服基于二维图像的昆虫识别算法遇到多种类、多姿态昆虫时引起普适性降低的问题，提高昆虫识别的准确率。

本发明另一实施例提供了一种基于三维模拟的昆虫识别方法，参见图5，该方法包括如下步骤：

步骤101：构建标准姿态昆虫三维模型库。

步骤102：获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息。

步骤103：基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态。

步骤104：基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

在一种可选实施方式中，所述步骤101具体包括：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

在一种可选实施方式中，所述步骤102具体包括：

首先选取能够代表昆虫姿态信息的部位，包括昆虫的翅膀和昆虫的躯干，昆虫的翅膀姿态特征包括肩角、顶角、臀角，昆虫的躯干姿态特征包括头、腹部末端、躯干骨架；通过选取昆虫前后翅膀的肩角、顶角、臀角，头、腹部末端、躯干骨架这些有代表性的部位，并判断这些部位所处的空间位置以及特征点所组成的面，即可分析出昆虫翅膀的旋转角度以及躯干变形信息；

然后采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

其中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；

其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；

所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；

所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；

所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；

所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；

其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD；

其中，采用昆虫图像获取装置获取待识别昆虫的三维姿态信息，包括：

对第一CCD、第二CCD、第三CCD进行标定；通过昆虫图像获取装置获取昆虫图像，将虫体的二维图像进行边缘检测、分割，将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息；对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息；昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源；

以及基于昆虫图像获取装置获取的昆虫图像，经图像处理获得昆虫二维图像特征，包括形状、颜色、纹理特征，用于昆虫的匹配识别。

在一种可选实施方式中，所述步骤103和步骤104具体包括：

基于所述待识别昆虫的三维姿态信息、二维图像特征信息进行昆虫种类的初选，在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并根据待识别昆虫的三维姿态信息，对选择出来的若干昆虫种类的三维模型进行相应变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。

本实施例提供的基于三维模拟的昆虫识别方法可以采样上述实施例所述的基于三维模拟的昆虫识别装置实现，其具体原理和技术效果类似，此处不再详述。

综上描述，本发明的关键点在于：

(1)构建了基于三维模拟的昆虫识别方法，该方法有助于突破二维图像信息在害虫识别上存在的局限，提高害虫识别算法的普适性，提高害虫识别计数准确率。

(2)构建了一种昆虫图像获取装置，包括昆虫扎取单元、图像采集单元。昆虫扎取单元可以进行多维度运动，实现摆臂、水平以及扎虫部分旋转运动以及昆虫扎取、脱落运动。图像采集单元应用半圆形的支架部署机器视觉，有利于多个CCD快速实现对焦，获取清晰的昆虫360°图像。

(3)先以器官为尺度构建昆虫三维模型，通过网格融合、逻辑分析实现器官联接，构建鳞翅目昆虫三维可变形模型。为昆虫的三维模拟奠定基础。

(4)通过三维模型变形器官划分、变形动作定义，结合保特征的网格变形技术，构建三维模型变形驱动集，并以所获取的鳞翅目昆虫的躯干、翅膀的三维空间姿态信息作为变形信息源，实现鳞翅目昆虫三维模型的准确变形。

(5)通过提取昆虫躯干、翅膀的形态特点作为特征点，躯干选取头、腹部末端、躯干骨架，翅膀选取肩角、顶角、臀角作为特征点，应用角点探测、边缘曲率极值点探测进行特征点的搜索，应用立体视觉、特征点相对位置进行自动定位，通过图像细化处理提取躯干骨架，将特征点、躯干骨架所在的三维空间信息作为昆虫的姿态信息。

(6)本发明提供的昆虫识别装置及方法也可用于鳞翅目昆虫也可以用于鳞翅目昆虫之外的其它昆虫识别。

以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于三维模拟的昆虫识别装置，其特征在于，包括：

标准姿态昆虫三维重建模块，用于构建标准姿态昆虫三维模型库；

昆虫三维姿态信息获取模块，用于获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

三维模型变形模块，用于对昆虫三维模型进行基于昆虫翅膀以及躯干的变形以实现昆虫任意姿态的模拟，得到昆虫任意姿态的三维模型；

基于三维模型变形投影的昆虫识别模块，用于基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并利用所述三维模型变形模块对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；

所述基于三维模型变形投影的昆虫识别模块，还用于基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

2.根据权利要求1所述的装置，其特征在于，所述标准姿态昆虫三维重建模块，具体用于：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

3.根据权利要求1所述的装置，其特征在于，所述昆虫三维姿态信息获取模块，具体用于：采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

其中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；

其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；

所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；

所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；

所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；

所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；

其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD。

4.根据权利要求3所述的装置，其特征在于，所述昆虫三维姿态信息获取模块，具体用于：

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息：

对第一CCD、第二CCD、第三CCD进行标定；通过昆虫图像获取装置获取昆虫图像，将虫体的二维图像进行边缘检测、分割，将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息；对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息；昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源；

以及基于昆虫图像获取装置获取的昆虫图像，经图像处理获得昆虫二维图像特征，包括形状、颜色、纹理特征，用于昆虫的匹配识别。

5.根据权利要求4所述的装置，其特征在于，所述昆虫三维模型变形模块，具体用于：

进行昆虫躯干部分的变形：昆虫躯干部分的变形主要由躯干弯曲、扭曲组成；躯干的扭曲变形以旋转其某腹部横切面作为变形驱动，腹部的弯曲变形以腹部骨架作为变形驱动，采用基于梯度编辑的网格变形方法实现躯干部分的变形；以及，进行昆虫翅膀的变形：昆虫的翅膀呈平面结构，且不易扭曲变形，翅膀的姿态变化主要是翅膀绕肩角发生旋转产生的形变；通过肩角的识别定位翅膀旋转点，通过计算旋转矩阵实现翅膀在三维空间的旋转；依据所述待识别昆虫的三维姿态信息对选择出来的三维模型进行变形，并将变形后的三维模型投影图像特征与待识别昆虫的二维图像特征进行对比分析，通过对比评价三维模型的变形效果，实现三维模型的准确变形；将躯干、翅膀的变形方法、动作进行集成，实现昆虫任意姿态的三维模拟。

6.根据权利要求5所述的装置，其特征在于，所述基于三维模型变形投影的昆虫识别模块，具体用于：

根据待识别昆虫的三维姿态信息、二维特征信息进行昆虫种类的初选；根据待识别昆虫的三维姿态信息，从所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应昆虫种类的三维模型进行变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。

7.一种基于三维模拟的昆虫识别方法，其特征在于，包括：

构建标准姿态昆虫三维模型库；

获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；

基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果。

8.根据权利要求7所述的方法，其特征在于，所述构建标准姿态昆虫三维模型库，具体包括：

应用三维扫描仪或立体视觉或结构光进行标准姿态昆虫三维点云的获取；

选择能够保持昆虫特征曲率采样方法进行昆虫点云简化，对噪点进行过滤，并采用无噪音降低方法对点云进行三角化封装；

将昆虫分割成躯干与4个翅膀，并通过孔洞修补和平滑处理的步骤进一步实现网格优化；

经纹理贴图建立昆虫各器官的三维模型，并通过网格融合、逻辑分析实现器官联接，实现昆虫三维模型的构建，得到构建好的标准姿态昆虫三维模型库；

获取标准姿态昆虫器官尺度、整体尺度的三维模型的形态、颜色、纹理数据信息，并存入数据库。

9.根据权利要求7所述的方法，其特征在于，获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息，包括：

采用昆虫图像获取装置获取待识别昆虫的三维姿态信息以及待识别昆虫的二维图像特征信息；

其中，所述昆虫图像获取装置，包括：昆虫扎取单元和基于立体视觉的图像采集单元；

其中，所述昆虫扎取单元包括：底座、摆臂运动模块、水平运动模块、旋转运动模块和扎虫模块；

所述摆臂运动模块，固定在所述底座上，包括：第三电机、行星齿轮减速机、旋转轴和支架，所述支架包括丝杆和螺母套；所述行星齿轮减速机与所述旋转轴连接，所述第三电机用于驱动所述行星齿轮减速机转动，由旋转轴带动所述扎虫模块做摆臂运动；

所述水平运动模块，包括：依次连接的第二电机、传动轴、第一滚珠丝杆组件和伸缩臂；所述传动轴通过螺母套固定于所述支架上，所述第二电机用于带动所述传动轴，所述传动轴用于驱动所述第一滚珠丝杆组件，所述第一滚珠丝杆组件用于带动所述伸缩臂进行运动以实现所述扎虫模块的水平运动；

所述旋转运动模块，包括：第四电机、同步带、同步轮和法兰盘；所述第四电机通过所述同步带带动所述同步轮转动，所述法兰盘与所述同步轮连接，所述法兰盘与所述扎虫模块连接，用于带动所述扎虫模块进行转动；

所述扎虫模块，包括：针筒、第五电机、第二滚珠丝杆组件、推杆、弹簧、针杆、针固定槽和扎虫针；所述第五电机与所述第二滚珠丝杆组件连接，所述第二滚珠丝杆组件与所述推杆连接，所述弹簧位于所述推杆与所述针杆之间，所述针固定槽位于所述针杆末端，用于固定所述扎虫针，所述第五电机用于驱动扎虫针进行上下运动以实现不用高度昆虫的扎取和脱落；

其中，所述基于立体视觉的图像采集单元包括：云台、光源、半圆形支架以及位于所述半圆形支架上的第一CCD、第二CCD、第三CCD；其中，第一CCD位于所述半圆形支架的斜上方位置、第二CCD位于所述半圆形支架的水平方向位置、所述第三CCD位于所述半圆形支架的斜下方位置；所述云台与所述半圆形支架连接，用于固定所述第一CCD、第二CCD和第三CCD；

其中，采用昆虫图像获取装置获取待识别昆虫的三维姿态信息，包括：

对第一CCD、第二CCD、第三CCD进行标定；通过昆虫图像获取装置获取昆虫图像，将虫体的二维图像进行边缘检测、分割，将第一CCD、第三CCD所获取的图像进行比较，以昆虫胸部有无足的特征进行虫体正反面的确定，选择正面图像、第二CCD获取的图像进行姿态信息的获取；若因姿态变化没有正面图像，则选择第一CCD或第三CCD所获取的图像与第二CCD获取的图像进行处理；应用角点探测、边缘曲率极值点探测进行躯干、翅膀特征点的搜索，应用特征点之间相对位置的关系进行躯干头、腹部末端特征点以及翅膀特征点的定位；通过图像细化处理提取昆虫由头、胸、腹组成的躯干骨架，通过曲线拟合获取躯干变形信息；基于极线约束实现特征点的立体匹配，计算特征点的三维空间位置信息，获得昆虫翅膀、躯干三维姿态信息；对所获取的姿态信息进行验证，直到获取准确的昆虫三维姿态信息；昆虫三维姿态信息的获取为昆虫标准姿态三维模型的变形提供信息源；

以及基于昆虫图像获取装置获取的昆虫图像，经图像处理获得昆虫二维图像特征，包括形状、颜色、纹理特征，用于昆虫的匹配识别。

10.根据权利要求9所述的方法，其特征在于，所述基于所述待识别昆虫的三维姿态信息以及二维图像特征信息进行昆虫种类的初步筛选，并在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并对初选的若干昆虫种类的三维模型分别进行基于昆虫翅膀以及躯干的变形，以实现每种类型昆虫对应姿态的模拟，得到每种类型昆虫对应姿态的三维模型；所述对应姿态指与所述待识别昆虫的三维姿态相同的姿态；以及基于每种类型昆虫对应姿态的三维模型，分别获取与每种类型昆虫对应姿态的三维模型分别对应的二维投影图像，并分别计算所述待识别昆虫的二维图像特征信息与获取的二维投影图像特征信息之间的马氏距离以获取最小马氏距离对应的二维投影图像，且将最小马氏距离对应的二维投影图像所对应的昆虫类型作为所述待识别昆虫的类型识别结果，具体包括：

基于所述待识别昆虫的三维姿态信息、二维图像特征信息进行昆虫种类的初选，在所述标准姿态昆虫三维模型库中根据初选的若干昆虫种类选择对应种类的三维模型，并根据待识别昆虫的三维姿态信息，对选择出来的若干昆虫种类的三维模型进行相应变形；将所选择的三维模型根据所获取的躯干、翅膀三维空间姿态信息，判断变形动作，提取变形关键点以及骨架信息，计算旋转矩阵或偏移量，自动驱动三维模型变形，实现任一种姿态昆虫信息的模拟；应用与图像获取装置相同姿态的虚拟相机进行变形后三维模型的二维投影图像获取；

经图像处理获取二维投影图像特征，应用最小距离分类器计算三维模型变形的二维投影图像特征信息与图像获取装置所获得的二维图像特征信息之间的马氏距离，将最小的马氏距离所对应的三维模型的昆虫种类作为分类器的输出，以实现待识别昆虫的类型识别。