CN116471930A - 用于蚊虫分类的智能捕蚊器 - Google Patents

Abstract

一种昆虫诱捕器，包括用于根据属种对昆虫进行分类的一个或多个部件的组合。所述诱捕器包括在所述诱捕器的入口处的成像装置、数字传声器和无源红外传感器以感测所述昆虫的振翅频率和大小(以识别蚊虫的进入)。填充有诸如与内部空气气体混合的二氧化碳的昆虫引诱剂的羔羊皮膜模仿人类皮肤，使得所述昆虫能够停落在所述膜上并且甚至能够刺穿所述膜，就好像能够享用血液大餐一样。诸如无源红外传感器或相机等成像装置收集所述昆虫的图像数据。所述昆虫可为蚊虫。

Description

用于蚊虫分类的智能捕蚊器

相关申请的交叉引用

本申请要求2020年10月7日提交的美国临时专利申请序列号63/198,254的优先权并且以引用的方式并入所述临时专利申请。

背景技术

分类法是对自然界中的生物进行分类的过程。昆虫学是对昆虫生物的研究。在昆虫学背景下的分类学是现代科学时代相对晦涩难懂的学科。很少有人愿意将其职业生涯都耗在几个小时地对着显微镜钻研，从而试图识别昆虫是什么属种上。就蚊虫而言，存在近4500种不同种类的蚊虫，并且训练来识别所有这些蚊虫是困难的(如果可能的话)。在类似于印度、孟加拉国以及甚至美国等国家，根本不可能培训专业人员来识别在这些国家流行的所有蚊虫(例如，印度特有的蚊虫有400个种类；在美国有大约150个种类)。随着各国之间旅行和全球联系的增加，蚊虫会入侵到新的地方，而本地的专业人员无法识别“新的”蚊虫。蚊虫和其他昆虫被认为是“媒介”，因为它们会携带病毒、细菌和疾病株并且将它们传播给人类。因此，术语“媒介”被给予了其在传染病领域中最广泛的含义。

现代昆虫学现状集中于消除或最大限度地减少人类在疾病爆发期间对蚊虫属种分类的参与。世界上存在近4500种不同种类的蚊虫，覆盖45个左右的属。在这些当中，只有三种属类型中的少数种类传播最致命的疾病。这些蚊虫属于伊蚊属(寨卡病毒、登革热、基孔肯雅热、黄热病)、库蚊属(西尼罗河病毒和EEE)以及按蚊属(疟疾)。在这三个属中，最致命的种类是埃及伊蚊、白纹伊蚊、黑须库蚊、冈比亚按蚊和斯氏按蚊。当蚊媒病(例如登革热)影响到某个区域时，识别登革热的特定媒介(即，埃及伊蚊和白纹伊蚊)的存在就会变得至关重要。这既困难又昂贵。例如在印度，有近450种类型的蚊虫遍布各地。因此，公共卫生专家在疾病易发地区布设诱捕器，并且有时会诱捕到数百只蚊虫。然而，现在，所述公共卫生专家可识别那些蚊虫中的哪一种是他们正在寻找的属种。因为，一旦他们识别出正确的蚊虫，他们就可将那些蚊虫带到实验室进行DNA测试等，以查看被诱捕蚊虫体内是否存在病原体(即，病毒)。当然，如果他们发现那些蚊虫中的相当大量蚊虫体内带有病毒，就会出现公共卫生危机，并且需要采取纠正措施。

其他工作集中于在边境处检测外来蚊虫。这是一个会引起全球广泛关注的问题-需要识别一个国家边境(陆地或海洋或领空或道路)上的蚊虫是否是外来蚊虫。例如，考虑到一种场景，其中例如既是国内媒介又是非美国本土媒介的蚊虫在进入美国边境的车辆上。

假设边境确实有捕蚊器，这一“新”品种的蚊虫很可能会连同其他本地蚊虫一起被诱捕。在此处的问题是公共卫生部门如何确定“外来”蚊虫在这样的一个诱捕器中。目前的昆虫学分类系统需要定期前往这些诱捕器处，进行收集并通过显微镜研究对象，并且逐个识别样本。如果目标是仅检测特定类型的“外来”蚊虫，则这将是极其麻烦的。

目前的疾病模型依赖于传染媒介的正确分类。需要改进昆虫学分类系统以用于专门的和细节密集的实例，诸如上文的假设。昆虫学分类领域需要包括适用于解决重要的但难以说清的问题，诸如识别确实被诱捕的假设“外来”蚊虫的算法。需要更新的算法来为研究者提供针对专门情况(诸如假设随机出现影响本地种群的新的昆虫)进行昆虫学分类的选项。

继续“外来”蚊虫示例，昆虫学分类领域需要改进的技术和模型，所述改进的技术和模型已经用外来蚊虫的图像(由国际合作伙伴提供)进行了训练，以直接根据初步观察来识别属种。在替代方案中，应当满足使得外来蚊虫能够符合用其他蚊虫训练的模型的需求。这些技术将允许研究者向公共卫生官员通知目前已经诱捕了先前在给定地方似乎不为人所知的新的蚊虫。在任一种情况下，都对边境处的公共卫生有着重大好处。

如本公开中所详述，为了解决上述不足之处，将全球范围内的蚊虫样本的解剖结构数字化(在公民和专家的参与下)将有助于创建标注有属种类型的蚊虫解剖图像的大型储存库。这个储存库之后可用于培训人员，而且也可用于使用本公开中的算法来进行自动识别(在上传照片时)。举例来说但不限制本公开，位于维罗海滩(Vero Beach)的佛罗里达州医学昆虫学实验室(Florida Medical Entomology Lab)每年在细分的昆虫分类领域培训极少数人员(既有国际军事人员，也有国内军事人员)。从先前的调查来看，空间非常有限，并且许多人被这类培训项目拒之门外。在数字储存库就位的情况下，培训项目可在全球扩展，此外潜在还有数千个图像来培训感兴趣的人员。

在至少一个示例中，对昆虫学分类的这类改进的需求是显而易见的。印度的许多邦县(尤其是边境处的那些邦县)已经并且目前愿意为这种服务付费。这种服务通过适当的捕蚊器进行，并且可部署在国际航班、轮船和公共汽车上。

在这个领域的另一种需求表达中，对前往蚊媒病很常见的国家的士兵进行例行培训，以帮助本地社区识别蚊虫和其他疾病媒介。数字储存库可远程地培训士兵，而不需要亲自前往需要这些服务的地方。另外，士兵以及甚至政府机构中正在海外旅行和居留的人员都可能会受益于基地和/或家中的诱捕器，所述诱捕器可提示他们辨认在附近诱捕的蚊虫的类型、以及它们的危险程度。

最后，在这个领域的另一种需求表达中，现今的捕蚊器并不存在数字化进展。目前的诱捕器大多数是基于光引诱剂或二氧化碳(CO2)引诱剂(有时会用人类汗液作为引诱剂进行增强)。目前具有这些引诱剂的诱捕器会引诱蚊虫进入。一旦进入诱捕器内部，风扇通常就会将蚊虫拉入它们无法逃脱的腔室中。一些诱捕器会在这些腔室中使用化学物质来真正地杀死蚊虫。第二天，分类学家拾取这些腔室中的蚊虫以识别属种。其他诱捕器可检测落入的昆虫是否是蚊虫-它们使用无源红外传感器(“PIR传感器”)来检测进入诱捕器的蚊虫。PIR传感器可并入热电传感器，所述热电传感器检测红外辐射水平的变化。PIR传感器在数字/电气方面能够适应通过网络与其他计算机通信；然而，到目前为止，还没有能力在诱捕器中捕获图像或视频。

目前需要一种智能捕蚊器，所述智能捕蚊器使用电子器件来收集与蚊虫解剖结构、行为、运动等有关的数据，以便至少根据属种来对蚊虫样本进行分类。

发明内容

一种昆虫诱捕器包括用于根据属种对昆虫进行分类的一个或多个部件的组合。所述诱捕器包括在所述诱捕器的入口处的成像装置、数字传声器和无源红外传感器以感测所述昆虫的振翅频率和大小(以识别蚊虫的进入)。填充有诸如与内部空气气体混合的二氧化碳的昆虫引诱剂的羔羊皮膜模仿人类皮肤，使得所述昆虫能够停落在所述膜上并且甚至能够刺穿所述膜，就好像能够享用血液大餐一样。诸如无源红外传感器或相机等成像装置收集所述昆虫的图像数据。所述昆虫可为蚊虫。

本公开提出了一种系统来设计最先进的人工智能(AI)技术，即使用数字图像来对蚊虫进行分类的技术。可基于以掩模区域为基础的卷积神经网络而对数字图像进行分析，以从数字图像中提取蚊虫的解剖组成部分，并且基于属、种类和其他分类标准而将它们永久存档。

附图说明

专利申请文件或由其发布的专利含有至少一幅以彩色呈现的附图。在请求并支付必要费用之后，将由专利局提供具有彩色附图的本专利或专利申请公布的副本。现在将参考附图，所述附图不一定按比例绘制。

图1是根据本公开的实施方案的智能诱捕器组件的示意图。

图2是根据本公开在神经网络内使用框对害虫进行的逐像素分割。

图3是根据本公开的神经网络的输出的示意图，所述神经网络对相应的害虫身体部位的像素进行分割并且对害虫的图像进行注释。

图4是根据本公开对数字图像进行卷积神经网络操作的被掩蔽的解剖结果的示意图。

图5A是根据本公开对数字图像进行卷积神经网络操作的裁剪的胸部解剖结果的示意图。

图5B是根据本公开对数字图像进行卷积神经网络操作的裁剪的腹部解剖结果的示意图。

图5C是根据本公开对数字图像进行卷积神经网络操作的裁剪的翅膀解剖结果的示意图。

图5D是根据本公开对数字图像进行卷积神经网络操作的裁剪的胸部解剖结果的示意图。

图6A是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第一屏幕截图。

图6B是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第二屏幕截图。

图6C是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第三屏幕截图。

图7A是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第四屏幕截图。

图7B是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第五屏幕截图。

图7C是结合本文公开的系统和方法使用的软件应用程序(“app”)显示画面的第六屏幕截图。

图8是用于计算机环境中的被配置为实现本公开的计算机化方法的卷积神经网络(“CNN”)的示意图。

图9A是相应的蚊虫种类的合并的分割结果的示意图，其中每个种类由原始图像表示，特征图用由相应的卷积网络使用的边界框示出并且单独分割的解剖部位从原始图像中分离出来以在本文使用的计算机的图形处理单元上显示。

图9B是相应的蚊虫种类的合并的分割结果的示意图，其中每个种类由原始图像表示，特征图用由相应的卷积网络使用的边界框示出并且单独分割的解剖部位从原始图像中分离出来以在本文使用的计算机的图形处理单元上显示。

图9C是相应的蚊虫种类的合并的分割结果的示意图，其中每个种类由原始图像表示，特征图用由相应的卷积网络使用的边界框示出并且单独分割的解剖部位从原始图像中分离出来以在本文使用的计算机的图形处理单元上显示。

图10是提供相应的大黄蜂种类的合并的分割结果的卷积神经网络的训练测试的示意图，其中每个种类由原始图像表示，特征图用由相应的卷积网络使用的边界框示出并且单独分割的解剖部位从原始图像中分离出来以在本文使用的计算机的图形处理单元上显示。训练测试用于说明用于识别蚊虫解剖结构的卷积神经网络可适于其他种类的害虫。

图11是蚊虫的分割图像，其中通过本公开的卷积神经网络，蚊虫解剖结构的组成部分被识别为前景像素并且被滤出。

图12是根据本公开的实施方案的计算机环境的示意图，其中根据本公开的神经网络针对解剖结构分割和害虫识别进行处理。

具体实施方式

本公开提出了智能捕蚊器的硬件设计，所述智能捕蚊器将自动地捕获被诱捕的蚊虫的图像、视频和振翅频率。一旦数字数据变得可用，诸如下文所示的那些的人工智能(“AI”)算法就会被执行来识别被诱捕样本的属种。本公开提出了可使用任何引诱剂(CO2、光、人类汗液、动物气味、乳酸等)的智能捕蚊器的设计细节和原型实现方式。诱捕器嵌入了以下使其变得独一无二的部件：a)在诱捕器的入口处的数字传声器/无源红外传感器(PIR)，它们用于感测昆虫的振翅频率和大小(即，识别蚊虫的进入)；b)内部有空气气体的填充有CO2的羔羊皮膜，所述羔羊皮膜模仿人类皮肤，使得蚊虫能够停落在膜上来进行刺穿，就好像蚊虫真的能够吸食血液一样；以及c)多个嵌入式相机，所述多个嵌入式相机用于捕获在羔羊皮膜上的蚊虫的图像以供后处理。将这些部件组合在捕蚊器中是新颖的，并且以前从未尝试过。

从被诱捕样本中识别蚊虫的过程是耗时费力的。蚊虫会被吸引到放置在战略位置的诱捕器。然后由专家人员通过透过显微镜进行目视检查来逐个识别所述蚊虫。在世界各地，这个过程需要数小时才能完成，而且效率低下。有了所公开的智能诱捕器，当蚊虫被吸引到诱捕器时会立即捕获图像、视频和振翅频率。然后，AI算法可使识别蚊虫样本的过程自动化。图像和分类结果以及所提取的解剖结构可被立即传送到远程控制中心。目前，还没有这样的技术能够记录被诱捕蚊虫的图像、视频和振翅频率音频。

用于描述设备的术语被给予了其最广泛的普通含义。例如，成像装置可为通过辨别对象的物理图像特征来收集信息和/或将信息传输到计算机的任何装置。因此，成像装置可为任何种类的相机，但也可为无源红外传感器和其他种类使用光传输的数据收集设备。

在一个非限制性实施方案中，用于收集蚊虫样本的设备是散发出温暖的CO2来吸引蚊虫的CO2诱捕器(其可被改装成灯光诱捕器，有能力添加更多引诱剂)。蚊虫被吸引到诱捕器，因为已诱使它们相信CO2来自于潜在血液大餐的来源。图1是示例示意图。在图1中，用于收集蚊虫样本的设备100具有相机150(包括但不限于基于树莓派(R-Pi)的成像装置)、传声器175和接至计算机处理器1200的网络连接或直接连接，所述计算机处理器将软件存储在计算机化存储器中，所述计算机化存储器被配置为接收图像数据和音频数据以确定在相机视野中的种类的分类。设备100还包括模仿动物或人类皮肤的膜主体175，蚊虫可能会尝试刺穿所述膜主体，从而吸取血液。当蚊虫栖息在膜主体上时，相机150或任何其他成像装置可收集视野内的图像数据。所述设备还包括封闭腔室195以在数据捕获之后收集蚊虫。蚊虫可能是活的或死的，并且可用于通过其他手动方法进行数据收集验证。盖子110防止感兴趣的蚊虫飞走。

膜175安装在黄铜定位盘165上，从而具有以下非限制性特征：1)膜具有气体入口和四个孔以允许膜填充有CO2气体；2)黄铜定位盘的中心具有凹部167以用于放置乳酸，或任何其他种类的蚊虫吸引剂；3)黄铜定位盘使用加热器180(例如，筒式加热器)加热并且通过热电偶(TC)监测温度；4)树莓派处理器控制温度，使得存在温暖的CO2以进一步增强蚊虫吸引力。在一些实施方案中，皮肤表面185是羔羊皮预防膜，因为羔羊皮被认为可用作蚊虫的绝佳停落表面。膜175的皮肤表面185使用橡皮筋附接到黄铜定位盘165，因为皮肤的内径略大于定位盘的外径。CO2气体从膜外壳160内部渗透膜175并且漂浮到设备100的顶部以吸引蚊虫。

相机150由其内置的传声器155触发，所述传声器在诱捕器内部连续地监听。在存储在计算机存储器中的软件中，使用快速傅里叶变换将音频频谱转换为音频的频率表示。接着，软件产生音频的频率表示(例如，augmax函数)。如果频率在蚊虫振翅频率的范围内，则软件触发相机。在非限制性实施方案中，这个范围目前被设置为400至1000Hz。基于性能，用户可改变该值以提高或降低总灵敏度。在一些实施方案中，连接到相机和其他电子器件的无源红外传感器检测进入诱捕器的昆虫是否是蚊虫。

本公开提出了可使用任何引诱剂(CO2、光、人类汗液、乳酸等)的智能捕蚊器的设计细节和原型实现方式。本公开提出了一种诱捕器，所述诱捕器嵌入了以下使其变得独一无二的部件中的一者或多者的组合：a)在诱捕器的入口处的数字传声器/无源红外传感器，它们用于感测昆虫的振翅频率和大小(以识别蚊虫的进入)；b)内部有空气气体的填充有CO2的羔羊皮膜，所述羔羊皮膜模仿人类皮肤，使得蚊虫能够停落在膜上来进行刺穿(以诱使蚊虫认为可享用血液大餐)；c)多个嵌入式相机，所述多个嵌入式相机用于捕获在羔羊皮膜上的蚊虫的图像和视频以供后处理；d)可执行人工智能算法的硬件平台，所述硬件平台处理捕获的数据以将蚊虫分类到属种中；e)深度感测相机系统，所述深度感测相机系统用于跟踪并以视频/音频记录飞行中的蚊虫；f)减小入口直径的简单的漏斗状物，所述漏斗状物将连接到仪器腔室；g)紫外光源，所述紫外光源用于检测昆虫体内荧光的存在；h)诱捕器中的多个腔室，所述多个腔室中的每一者都将由智能致动系统触发，其中将使蚊虫(基于其如何分类)掉落以在适当的腔室中进行收集；i)对诱捕器提供酵母和水以吸引妊娠蚊虫的选项；j)经由WiFi/蜂窝连接将数据导出到云服务器的硬件；k)诱捕器中的用于收集周围环境数据的传感器，包括温度、海拔、湿度、纬度/经度、时间、环境光传感器；l)能够在捕获到诱捕器中之后将蚊虫冷冻的硬件。

在一个实施方案中，所述设备是捕蚊器，所述捕蚊器在诱捕器的入口处具有数字传声器和红外传感器以感测振翅频率。这两个传感器都将用于对进入的蚊虫进行分类。有源红外传感器可用于绊线以触发传声器和相机，使得两个仪器都可进行记录，并且它可用于确认由传声器报告的振翅频率。这可通过对两者应用快速傅立叶变换并从两个传感器获取频率图来完成。

在另一个实施方案中，填充有CO2的羔羊皮膜用于模仿人类皮肤和呼吸。蚊虫可停落在膜上并且刺穿膜(以诱使蚊虫认为可享用血液大餐)。羔羊皮膜是略微多孔的以允许CO2气体缓慢地泄漏出去，从而产生缓慢的CO2流以帮助将蚊虫吸引到诱捕器中。膜将位于传感器和相机下方以确保蚊虫通过传感器。

在另一个实施方案中，嵌入式相机被配置为捕获在停落表面上的蚊虫的图像。这将使得用户能够捕获来自多个不同角度的图像，使得通过以下示例并入的某些机器学习算法可对分类器提供多个不同的视图。给予分类器不同的视图将允许根据图像更好地分类并且更好地提取昆虫解剖结构。

在另一个实施方案中，使用嵌入式硬件平台允许执行机器学习算法来处理捕获的数据以对蚊虫进行分类。为了减少我们使用这些平台时的推理时间，所述设备还将采用专用ASIC处理器，诸如Google Coral Accelerator模块。这将允许我们减少时延并且减少网络流量的量。

在另一个实施方案中，全局快门相机也将用于捕获飞行中的蚊虫的图像。能够捕获飞行中的蚊虫的图像将允许用户减小诱捕器尺寸，并且可能允许避免将停落表面都保持在一起。全局快门相机还将通过减少运动模糊来提供更清晰的图像，这将帮助机器学习算法更好地对图像进行分类。

将采用简单的漏斗状物来减小设备顶部中的入口直径。在一个非限制性实施方案中，入口通道将减小三倍。这个漏斗状物还将附接到红外传感器和传声器所在的传感器腔室的顶部。漏斗状物旨在减少进入诱捕器的蚊虫的数量，以允许传感器一次感测一只蚊虫。

在其他非限制性实施方案中，将采用紫外光源来检测昆虫身上荧光的存在。随着转基因蚊虫在南佛罗里达州的释放，能够检测转基因蚊虫是非常重要的。这些经过改造的蚊虫在它们身上具有将它们标识为经过改造的蚊虫的荧光标记。在由紫外光提供的合适的光照条件下，相机将能够捕捉到这些标记。在这些标记进入诱捕器时，系统将能够对所述标记进行计数。

在一些实施方案中，诱捕器的基部将具有多个腔室。这些腔室将基于蚊虫或飞入诱捕器的其他昆虫的分类而触发。基于分类，使用伺服机构/马达的智能致动系统可允许样本掉落以在适当的腔室中进行收集。如果是一般媒介蚊虫，则收集在腔室1中。如果是埃及伊蚊，则收集在腔室2中。如果是埃及伊蚊，并且它具有荧光标记，则收集在腔室3中。如果是其他昆虫，则收集在一般腔室中。

对于引诱剂，诱捕器将具有多个选项。用户可使用酵母或干冰来生成CO2。CO2将使用诱捕器中的电磁阀来分配，以仅在指定时间期间控制气体输出。其次，可使用水来吸引享用过血液大餐并想要产卵的妊娠蚊虫。用户还可使用在市场上已经可获得的固态引诱剂，以为诱捕器提供更具成本效益的引诱剂解决方案。

诱捕器会将分类后的音频和图像发送到云服务器，以供用户随意访问。为了促成这一点，诱捕器将具有WiFi和蜂窝模块以允许用户连接到其选择的网络。对于远程位置，可添加卫星通信模块来允许低带宽通信以获取计数和其他关键信息。此外，诱捕器可使用LoRa来进行长距离无线电通信，而不需要卫星通信。

诱捕器上的额外传感器将允许收集周围环境数据。这种数据将包括温度、气压、海拔、湿度、纬度、经度、时间、CO2浓度和环境光条件。我们将使用的传感器包括用于温度和湿度的Bosch BME280、用于气压和海拔的Bosch BMP390、用于纬度和经度的基于MediaTekMTK3339的GPS模块、用于CO2浓度的Sensirion SCD-40以及用于环境光的Rohm BH1750。

当蚊虫在腔室内时，诱捕器能够将所述蚊虫冷冻。这使用珀耳帖模块将金属板降至冰点以下来完成。珀耳帖模块将在风扇的协助下进一步降低板的温度，并且允许珀耳帖模块将板保持在恒定温度上。冷冻蚊虫将减缓样本的分解，并且允许用户随意地对捕获的蚊虫进行进一步的研究。

如上所述，设备100是可用于捕捉和收集关于蚊虫的数据的智能诱捕器。本公开的其余部分提供了可用作上述人工智能的多种图像和数据分析的示例。因此，本公开以引用的方式并入了如2021年3月30日发布的名为Leveraging Smart-Phone Cameras and ImageProces sing Techniques To Classify Mosquito Genus and Species的美国专利号10,963,742。‘742专利公开了一种识别昆虫样本(诸如蚊虫的属种)的计算机化方法，并且包括收集位于一组相应的图像背景中的昆虫样本的多个数字图像。本公开通过从每个数字图像中提取图像部分来继续，其中图像部分包括图像数据的对应于昆虫样本并且不包括图像背景像素的主体像素。所述方法还包括将主体像素转换为选定的色彩空间数据集，并且从选定的色彩空间数据集中识别图像部分的纹理特征。

本公开还以引用的方式并入了如2021年6月29日发布的名为Systems andMethods of Entomology Classification Based on Extracted Anatomies的美国专利号11,048,928。‘928专利展示了一种从蚊虫图像中提取解剖组成部分的深度神经网络框架，所述解剖组成部分诸如但不限于胸部、翅膀、腹部和腿部。该技术是基于图8的Mask R-CNN800的概念，其中人工智能根据图像802迭代地学习特征图808，在前景分量周围置放锚点(在图中被示出为边界框812，但可为任何形状)，之后对与锚点内的解剖组成部分相对应的像素进行分割820和分类824。在一些实施方案中，本公开的结果显示，当在能够收集用于对蚊虫进行分类的描述性形态标记的背景下解释时，该技术是有利的。

在美国专利号11,048,928的一个实施方案中，一种用于识别昆虫的属种的系统包括被配置为生成昆虫的图像的成像装置。计算机处理器连接到存储器，所述存储器以软件存储计算机实现的命令，并且存储器接收图像，其中软件对相应图像实现以下计算机化方法，所述方法开始于以下步骤：将第一卷积神经网络应用于相应图像以产生涉及相应图像中的对应于昆虫的身体部位的解剖像素的特征图。计算机之后将锚点应用于特征图，其中锚点标识特征图中图像数据的含有相应身体部位的相应解剖像素的相应层的部分。生成掩模允许系统对来自相应层的相应解剖像素进行分割。所述系统从已经应用了第一卷积神经网络的相应层中提取全连接层。将全连接层应用于回归器网络和分类网络，其中生成用于分割的掩模、将全连接层应用于回归器网络和将全连接层应用于分类网络是由软件进行的并行操作。

同样在美国专利号11,048928的实施方案中，公开了用于从数字图像中提取与活体生物的解剖组成部分有关的信息的系统和方法。所述方法包括用一组训练图像训练基于掩模区域的卷积神经网络，该组训练图像用计算机化算法进行分割，所述计算机化算法在设置的准确度上识别地面实况解剖组成部分。训练包括：对训练图像中的相应解剖组成部分进行分类，并且将训练图像与地面实况图像进行比较；收紧包围数字图像中的解剖组成部分的边界框；以及生成用于提取第二组图像的信息的掩模。CNN和相关联术语的一般性讨论可参见以下引用的众多参考文献。例如，参考文献35(Shepard)解释了如何将由多个内核(加权矩阵)构成的滤波器卷积到原始图像上，以创建具有多个层和适应性数据密度的特征图。Shepard解释了使用特征图来通过诸如最大池化的技术将某些层池化，这会用最大值分离出那些特征图以降低复杂性。修正非线性单元(Re-LU)数据集被添加到特征图，以在从一个像素到下一个像素的变化低于滤波阈值时识别应当被考虑在内但却被遗漏的区域。用非常简单的话来说，Re-Lu是对图像发挥作用以产生可附加到如图8所示的特征图的层的激活函数。一般来说，在一些非限制性实施方案中，Re-LU可在相应的输出矩阵索引处保留特定的过滤器值，或者如果所述特定的索引值为负则插入零。因此，卷积神经网络的总体概念并入了卷积层作为原始图像的特征图、池化层和用于增加细节的ReLU层、以及作为组合起来的数据丰富的输出的全连接层。如参考文献35(Stewart)处所述，诸如图8的非限制性示例中所示的那些的全连接层将所有信息聚合成最终复制图像。

在一些方面，本公开涉及使用数字图像分析来识别昆虫样本的种类的计算机化设备、计算机实现的方法和计算机化系统，所述昆虫样本诸如但不限于蚊虫。本公开提出了一种系统，其中用户(专家或普通公民)使用智能手机拍摄蚊虫或其他害虫的照片，然后立即将图像连同智能手机的GPS信息数据一起发送到中央服务器。

服务器将实现本公开中描述的算法以：a)识别蚊虫的属；b)识别蚊虫的种类；c)将图像的主体部分分成感兴趣的对象，如翅膀、腿部、喙、腹部、盾片等；d)向用户回馈有关种属的反馈，以及关于该物种携带什么疾病的信息，以及更有趣的如飞行范围等信息。潜在用途是蚊虫识别，因为它现在是一个令人痛苦且认知要求很高的问题。学区也可使用这个软件应用程序来向孩子们传授生物学和其他科学领域知识，因为这类科学分析技能最终在许多地区的学校里可能都是强制性的。国防和国土安全机构以及其他政府机构可能认识到了对本文描述的计算机化应用程序的需求。

本公开的一个非限制性价值主张是能够绕过人类(其目前透过显微镜观察)分类，并且替代地使用数字相机和所提出的技术来对属种类型进行自动分类。第二个价值主张是具有大规模的带有标注的公民和专家生成图像的系统能够开始对全球范围内的蚊虫的解剖结构进行数字化。这个数据库可为蚊虫，以及尤其是媒介监测方面的培训和全球信息共享带来无可估量的价值。

尽管本文详细解释了本公开的示例实施方案，但应当理解，可设想其他实施方案。因此，本公开不意图在其范围上受限于以下描述中所阐述或附图中所示出的部件的构造和布置的细节。本公开能够有其他实施方案并且能够以各种方式实践或实施。例如，测试结果和示例全部涉及根据从数字图像中提取的蚊虫性状和特征来识别蚊虫的属种。然而，在本公开中利用和要求保护的技术和概念不限于蚊虫，而是可与用于其他动物、人类、植物等的其他种类的识别过程一起使用。

图1示出了利用针对害虫的诱捕器100的现有技术系统，所述诱捕器捕获害虫，使用内置相机150拍摄它们的照片，并且将照片发送到云。在云中，由各种网络上的计算机和服务器实现的算法被设计成识别害虫的类型。信息被反馈给农民，他们之后可相应地计划来治疗其作物。然而，在这个产品中并未提取解剖结构。

图2示出了利用卷积神经网络(CNN)对昆虫200(即，如图所示的蚊虫)进行数字分割的一个非限制性示例中所使用的方法的结果。这个程序是基于如下引用的文章中所描述的Mask R-CNN的概念：He,Kaiming、Georgia Gkioxari、Piotr Dollár和Ross Girshick的"Mas k r-cnn."出自Proceedings of the IEEE international conference on computervision，第2961页至第2969页.201，引用为参考文献33。CNN的另一个示例在MatthewStewart博士的名为“Simple Introducti on to Convolutional Neural Networks”(引用为参考文献35)的在线资源中进行了讨论。这两篇文章都以引用的方式并入，就好像每一篇文章都在本文中完整阐述一样。本公开利用此类卷积神经网络(CNN)的进展，并且通过添加与现有的用于识别现有技术CNN的边界框的分支并行的用于预测对象掩模的分支来对含有各个感兴趣的解剖组成部分的像素进行分割(即，相对于图8进一步讨论的逐像素分割)。图2示出了CNN解剖分割的一个步骤，其使用回归训练的边界框210、220、230、240来分离和识别图像的相应胸部、翅膀、腹部和腿部部分中的每一者上的对应像素。如上所述，术语“边界框”例如仅是示例性的，因为用于分割解剖结构的轮廓可采用任何形状，并且图2的框或矩形不对本公开进行限制。

在这种方法中，需要执行若干具有挑战性的步骤。第一步骤包括使用预训练的卷积神经网络(CNN)来训练模型，以生成与图像内可能存在对象的某些区域有关的提议。在不限制本公开的情况下，一个示例实施方案使用ResNet101作为主干卷积模型。使用预训练的MS COCO数据集权重来完成对模型的初始化。MS COCO数据集已经公开于Lin,Tsung-Yi、Michael Maire、Serge Belongie、James Hays、Pietro Perona、Deva Ramanan、Piotr Dollár和C.Lawrence Zitnick，“Microsoft coco:Common objects in context”，出自European conference on computer vision，第740页至第755页；Springer,Cham,2014，引用为参考文献34，所述参考文献以引用的方式整体并入，就好像在本文中完整阐述一样。MSCOCO数据集是大规模对象检测数据集。它含有150万个对象实例和80个对象类别。

ResNet已经大体上描述于He,Kaiming、Xiangyu Zhang、Shaoqing Ren和JianSun.“Deep residual learning for image recognition.”出自Proceedings of theIEEE conference on computer vision and pattern recognition，第770页至第778页.2016，所述参考文献以引用的方式整体并入，就好像在本文中完整阐述一样并且引用为参考文献33。ResNet的部分特征是具有非常深的网络，并且引入了残差连接以获取从上一层到下一层的输入。残差连接有助于通过检测卷积层之间的最小差异来解决梯度消失问题。下一个步骤是设计对象检测器网络，所述对象检测器网络完成三项任务：根据相应的解剖结构对边界框210、220、230、240进行分类；收紧框；以及生成每个解剖组成部分的掩模818(即，逐像素分割820)。在构建对象检测器网络的架构时，本公开的非限制性示例使用了逐像素sigmoid和二元交叉熵损失函数(以识别“k”个解剖组成部分)并且严格地训练它们。

关于生成训练数据集，非限制性示例利用为对象数据集中的每个解剖组成部分创建掩模的工具。为了开始训练，所述程序首先使用VGG图像注释器工具对571个蚊虫图像进行注释，这本身是一项非常繁琐的工作。图3中示出了注释图像300的示例。在先前由专家注释的571个蚊虫图像中，分出404个图像作为训练图像，并且分出167个图像作为验证图像。接着，本公开的方法和系统根据这些已知准确的训练数据集迭代模型以优化权重和超参数。例如，本文的实施方案优化了超参数，如基本特征提取器模型、学习率、动量、优化器、每轮步骤数、验证步骤数和轮数，这些是要在本文使用的卷积神经网络(CNN)中设置的所有参数。例如，非限制性细节在下表1中。

表1.

衡量mask R-CNN算法的准确性的指标是mAP(全类平均精度)。它是通过对所有IoU阈值下所有类别上的所有平均精度取平均值来计算，并且是0.833。指标IoU衡量边界框中属于对象的地面实况的像素比率的交集以及框内像素的预测和地面实况比率的并集。在一种设计中，IoU阈值被设置为0.75。图3示出了可如何对训练图像300进行注释以说明由相应的解剖部位像素310、320、330、340表示的解剖部位。在一个非限制性实施方案中，计算机实现的软件包还会为出于训练目的已经如图3所示分割的身体部位添加书面解剖学名称。以准确分割的图像为例，表1的超参数中的每一者都可被优化以重复经训练的数据集的结果。

图4示出了结果中的被掩蔽的解剖结构400，其中边界框410、420、430、440经由卷积神经网络对与解剖结构的特定部位相对应的像素进行的回归过程而进行磨合，并且图5A至图5D示出了在卷积神经网络经由图8中概述的程序找到这些相应的像素集并且已经提取了背景像素470之后针对样本的胸部像素510、腹部像素520、翅膀像素530和腿部像素540裁剪的解剖结果。结果以通过网络实现的云存储为准。

本公开的非限制性实施方案带来了Android和iOS中的智能手机应用程序的开发和设计，所述智能手机应用程序使得用户能够拍摄蚊虫的图像，或者从手机的本地存储中选择一个图像。所述应用程序将对蚊虫进行分类，并且还提取对应于感兴趣的解剖结构-胸部、翅膀和腹部、甚至还有腿部的解剖像素，如图6和图7所示。

本公开并入了一种基于以掩模区域为基础的卷积神经网络的框架，以自动地从图像中检测并单独地提取对应于蚊虫的解剖组成部分(尤其是胸部、翅膀、腹部和腿部)的像素。在一个非限制性实施方案中，训练数据集由在佛罗里达州被诱捕的九个蚊虫种类的1500个智能手机图像组成。在所提出的技术中，第一步骤是检测蚊虫图像内的解剖组成部分。然后，如本文所讨论，本公开的系统和方法对所提取的解剖组成部分进行定位和分类，同时在神经网络架构中添加分支以对仅含有解剖组成部分的像素进行分割。

在只用蚊虫图像训练了架构的情况下，为了评估通用性，本公开如图10所示针对大黄蜂图像测试示例架构。本公开的程序具有所指出的有利结果。

蚊媒病仍然是主要的公共卫生问题。现在，在世界各地，对蚊虫媒介的监测仍然是一个手动过程。步骤包括放置诱捕器、收集样本，以及在显微镜下逐个识别每个样本以确定属种。不幸的是，这个过程对认知要求很高，并且需要数小时才能完成。这部分是因为掉落到诱捕器中的蚊虫既包括疾病媒介，也包括许多不是媒介的蚊虫。最近，AI方法正被设计来使蚊虫分类自动化。类似于设计机器学习模型(参考文献1-4)的工作是基于根据由智能手机或数字相机生成的图像数据手工设计的特征。最近的两篇论文设计了深度神经网络技术(不需要手工设计的特征)来对经由智能手机生成的图像数据中的蚊虫进行分类(参考文献5、6)。其他工作处理蚊虫飞行的声音来进行分类，这是基于振翅频率对于所有蚊虫种类来说都独一无二的概念(参考文献7-10)。

在本公开中，所述工作展示了在使用AI技术处理时蚊虫图像的新型应用。蚊虫最具描述性的解剖组成部分是胸部、腹部、翅膀和腿部，并且本公开提出了一种仅从任何蚊虫图像中提取对应于这些特定解剖组成部分的解剖像素的技术。该技术是基于以掩模区域为基础的卷积神经网络(参考文献11)。

本公开利用卷积神经网络(CNN)的程序，这包括图8所示的特征图808。在CNN理论中，神经网络800将加权滤波器806应用于图像802以达成相应的目的。在非常简单的意义上，滤波器806被加权以从图像802中提取非常精确的部分(被称为特征)。在一些实施方案中，权重根据探寻梯度变化的训练场景来设计，所述梯度变化表示图像的某些部分中的边缘。每个滤波器及其权重应用于图像的相应结果是特征图808。虽然图8的特征图808被示出为二维示意图，但本公开包括CNN在其中应用特征滤波器的特征图，所述特征滤波器具有输出多层特征图的内核层。换句话说，特征图808可具有相应的图像数据层。图像数据可作为一组全局地处理，或者作为应用了卷积神经网络806的相应层单独地处理。本公开的第一步骤包括从在佛罗里达州诱捕的覆盖九个种类的200个蚊虫样本的1500个智能手机图像的训练数据集中提取感兴趣的解剖特征的相应特征图808。提取特征图808的神经网络806是具有特征金字塔网络(参考文献12)的ResNet-101(可在多个尺度上处理图像，并且其中一个尺度非常适合于我们问题的架构)。

如图8所示，本文的系统和方法包括应用边界框817，所述边界框被调节来针对图像的相应特征，诸如在本公开的示例中的蚊虫身体的相应解剖部分标记特征图808。边界框812、817是根据区域提议网络816针对每个感兴趣的特征来组织。如上所述，附图的示例不是限制性的，因为边界框可采用任何形状，包括但不限于矩形。在一个非限制性示例中，如参考816处所示基于计算机驱动系统而提出边界框812、817，所述计算机驱动系统从训练集中学习到，如果卷积图像层的特定区域中出现梯度，则相应的卷积图像层的像素的梯度变化可能对应于特定解剖特征。所述系统和方法利用回归过程、损失理论和从一个特征图到下一个特征图的反馈，以使边界框越来越精确，并且越适应于一个感兴趣的特征(例如，昆虫的胸部、腿部、腹部、翅膀)。建议的像素分离或分割对应于这些感兴趣的特征。

在某些非限制性实施方案中，边界框812、817针对构成身体部位的相应的解剖像素组进行磨合的过程与对齐过程814配对，所述对齐过程确保区域提议网络816的输出仍然与原始特征图808中显示的轮廓匹配。一旦完成这种对齐，且如图8的非限制性示例所示，本文公开的系统和方法在第二卷积神经网络818中进行掩蔽操作或像素提取。第二卷积神经网络提供分割图像820，其中某些示例产生了对应于昆虫的胸部、腹部、翅膀和腿部的解剖像素。通过区域提议网络816应用的边界框812的输出还会被馈送到全连接神经网络层822。值得注意的是，第二卷积神经网络818利用被滤波的卷积层，使得进行卷积的数据层内的每个“神经元”或矩阵索引被单独地计算并且更为稀疏。全连接层822更紧密地跟踪每个先验层并且数据更为丰富。最后一个全连接层被传输到分类器824和边界框回归器826两者。全连接层822实际上是逐层地，逐个神经元地相互连接，如箭头所示。最后的全连接层834是输出层并且包括所有层的所有数据。在分开的并行操作中，边界框回归器826和分类处理器824被应用于第一卷积神经网络806和/或第二卷积神经网络818的每个层。边界框回归器826利用误差函数分析来更准确地围绕相应的感兴趣的特征回归地收紧边界框812。这种反馈回路850确保区域提议网络816的边界框812、817提供卷积图像层，所述卷积图像层对于特征图808所探索的每个特征都是不同的。分类器824提供自动计算机化过程以识别和标示相应的解剖像素组828，从而对来自原始图像802的对象昆虫的每个解剖部位进行标识。

随后，本公开阐述了以如图2所示的矩形锚点的形式仅检测和定位图像中的解剖组成部分(表示为前景)的步骤。术语锚点是上文描述的“边界框”812、817的广义术语。因此，锚点可采用任何形状，并且矩形边界框812、817是锚点的非限制性示例。一旦检测到前景，下一个步骤就是通过添加分支以掩蔽前景中存在的每个组成部分(即，“提取其像素”)而对背景像素470中的前景像素(例如，图4，参考410、420、430、440)进行分割。这个额外分支在图8中被示出为第二卷积神经网络818，所述第二卷积神经网络与另外两个分支824、826并行地运行，以对所提取的矩形锚点进行分类并且将它们收紧以经由反馈回路850提高准确性。图11示出了对应于胸部1125、腹部1135、翅膀1145和腿部1155的前景像素如何被提取并且能够重组成如图所示在上面叠加有字符串标识符标签的图像。

对该技术的评估揭示了有利的结果。如图4所示，可看到，对应于胸部、翅膀、腹部和腿部的解剖像素被高精度地提取(即，非常低的正误识)。但是对于腿部，在一些非限制性实施方案中，负误识高于其他部分，因为背景像素的数量大大超过了图像中腿部像素的数量。然而，可看到，确实提取出了蚊虫腿部内足够的描述性特征，因为蚊虫腿部很长，并且诸如色彩带的描述性特征确实会在整个腿部上重复出现。

本公开解释了提取蚊虫解剖结构的图像对以下各者都有影响：(a)对野外蚊虫的更快速的分类；(b)针对分类学家的新的基于数字的大规模低成本培养项目；(c)刺激对公众科学工作的更广泛参与的新的有吸引力的工具等。此外，为了评估通用性，本公开并入了用大黄蜂(它们是重要的传粉者)的图像对在蚊虫图像上训练的架构进行的测试。

总而言之，结果显示在提取翅膀，以及在一定程度上提取胸部方面的准确性极好，从而证明了该技术对许多类别昆虫的通用性。训练已使得基于掩模区域的卷积神经网络(Mask R-CNN)能够自动地从图像中检测并单独地提取对应于蚊虫胸部、翅膀、腹部和腿部的解剖组成部分的解剖像素。对于这项研究，本公开说明了埃及伊蚊和黑斑伊蚊(Aedesinfirmatus)的23个样本，以及带喙伊蚊、灾难按蚊(Anopheles crucians)、四斑按蚊(Anopheles quadrimaculatus)、斯氏按蚊、冠冕库蚊(Culex coronator)、黑须库蚊和盐水库蚊(Culex salinarius)的22个样本。在经由多个智能手机对样本进行成像之后，数据集是1600个蚊虫图像。这些蚊虫图像被划分成将1500个图像用于训练神经网络，并且将100个图像用于验证。这个数据集总共产生了1600个胸部图像、1600个腹部图像、3109个翅膀图像和6223个腿部图像。这些数据用于在具有四张GeForce GTX TITAN X卡的Nvidia图形处理单元(GPU)集群上训练图8所示的架构，所述卡各自具有3,583个核心和12GB存储器。训练和验证架构需要48小时。

对于本公开中的测试，本文公开的研究诱捕了另一组27只蚊虫(即，每个种类有三只)并且(经由智能手机)对其进行成像。测试数据集由27个胸部和腹部图像、48个翅膀图像和105个腿部图像组成。一个实施方案呈现了针对测试数据集中的九个种类中的一个样本图像925A-925C提取图9A、图9B、图9C中蚊虫的解剖组成部分945A-945C、955A-955C、965A-965C、975A-975C的技术的结果。这些图代表了图9A、图9B、图9C中在每一种类下测试的所有其他图像，示出了原始图像925A、925B、025C，卷积神经网络的相应的输出层935A、935B、935C，以及所提取的对应于相应的胸部部分945A、945B、945C，腹部部分955A、955B、955C，翅膀部分965A、965B、965C和腿部部分975A、975B、975C的解剖像素。解剖组成部分确实明显来自图像数据935A-935C，所述图像数据通过由卷积神经网络利用边界框来处理。

接着，本文的系统和方法使用四个标准指标量化整个数据集的性能：精度、召回率、交并比(IoU)和全类平均精度(mAP)。精度基本上是相关实例(此处为像素)占检索到的那些实例(再次为像素)的分数。召回率是实际检索到的相关实例的分数。IoU是评估预测像素与地面实况之间的交集和并集的面积比率的指标。更高的IoU意味着预测与地面实况之间有更多的重叠，并且因此意味着更好的分类。为了定义最终指标，即全类平均精度(mAP)，本公开定义了另一个指标，即平均精度(AP)，它是在某一预设IoU阈值下并针对我们问题的四个类别(即，翅膀、胸部、腿部和腹部)中的特定类别的一系列召回率(对于我们的问题是0至100个)的所有精度值的平均值。这个指标基本上平衡了特定的IoU值下针对一个类别的精度与召回率两者。最后，全类平均精度(mAP)是我们所有四个类别中的AP值的平均值。

对于不同的IoU值，在表1和表2中分别呈现了验证数据集和测试数据集的精度和召回率值。如图所示，训练期间验证数据集的性能指标与在所有IoU上测试(即，未见过的图像)和后训练期间的指标匹配。这是证明架构稳健而没有过度拟合的令人信服的证据。

所有类别的精度都很高，这意味着正误识很低。胸部、腹部和翅膀的召回率也很高，这表明这些类别的负误识很低。然而，腿部类别的召回率相对较差。事实证明，在一个非限制性架构中，腿部像素的重要部分会被分类为背景。虽然这看起来可能有点令人沮丧，但在图9A、图9B、图9C中，通过所公开的架构仍然正确地识别和提取了腿部的非常有效的部分(归因于高精度)。因此，仍然实现了从所有解剖组成部分中收集形态标记的目标。最后，表3中呈现了针对所有类别的全类平均精度。表3中较低数值是由于与胸部、腹部和翅膀相比，腿部分类性能较差造成的。

表1.验证集上针对不同的IoU阈值的精度和召回率

/>

表2.测试集上针对不同的IoU阈值的精度和召回率

表3.关于掩蔽的mAP分数

IoU比率	验证集(％)	测试集(％)
			0.30	62.50	53.49
0.50	60	52.38
			0.70	51	4120

本公开还包括图10的用大黄蜂图像进行小型实验的结果。本文的信息随后验证了仅用蚊虫图像训练的AI架构在用大黄蜂的图像1025测试时，在图像1025已经通过如本文所公开的神经网络进行处理之后利用边界框图像1035来对蜂解剖结构进行分割的表现如何。大黄蜂(属：熊蜂属)是重要的传粉者，并且在自然界中检测它们是至关重要的。图10呈现了针对大黄蜂的三个种类中的一个代表性图像的示例结果，但所述结果仅代表我们测试过的100多个大黄蜂图像。大黄蜂的图像来源是华盛顿哥伦比亚特区的史密森国家自然历史博物馆(Smithsonian National Museum of Natural History)。图像可参见参考文献13。如图10所示，根据本公开的一种非限制性技术在检测和提取翅膀像素1065方面是稳健的。虽然胸部像素1045大部分被正确地提取，但提取出腹部像素1055和腿部像素1075的能力是相对较差的。有了这些结果，使用所公开的架构来提取许多昆虫的翅膀的置信度是相当高的。有了适当的地面实况数据，只需要对架构进行最小的微调就能确保对大范围昆虫的所有解剖组成部分的稳健提取。

本公开包括以下有关本文中贡献意义的讨论。

(a)对被诱捕蚊虫的更快速的分类。在世界各地，在虫媒病很成问题的情况下，标准做法是布设诱捕器，然后在第二天回来拾取样本，将它们冷冻并带到某一设施处，在该处，分类学家专家在显微镜下逐个识别每个样本以对属种进行分类。这个过程每天需要数小时来进行，而且对认知要求很高。在雨季和疾病爆发期间，数百只蚊虫被诱捕，并且单独处理一个诱捕器中的一批蚊虫可能就需要一整天。基于本文说明的技术，移动相机可协助拍摄被诱捕蚊虫样本的高质量照片，并且提取的解剖结构可由专家使用来通过查看数字监测器(而不是透过显微镜观察)进行分类。这会给分类学家带来较低的认知压力，并且还会使监测工作加速。在一个非限制性实施方案中，表4呈现了有关分类学家寻找来识别蚊虫的形态标记的细节，这项研究中使用了并在参考文献14处进一步讨论了所述形态标记。

表4.有助于蚊虫分类(参考文献6-30)的解剖组成部分和标记。

/>

(b)用于培养下一代分类学家的AI和云支持教育。现今在世界各地培养分类学家的过程包括极少的培训机构，所述培训机构储存了一些本地和非本地蚊虫的冷冻样本。对这些项目感兴趣的受训者不仅有专业的分类学家，而且有业余爱好者。储存冷冻蚊虫的相关联成本并不是微不足道的(尤其是在经济水平低下的国家)，这严重限制了进入这些项目的通道，而且也使得这些项目的招收成本很高。有了类似于本公开的那些的技术，实现了对受训者的数字支持。好处包括但不限于有可能进行远程教育、降低机构的运营成本、降低招收成本以及有机会招收更多受训者。这些好处在实践中实现时将对分类学、昆虫学、公共卫生等方面产生积极的影响。

(c).在灭绝威胁下对昆虫解剖结构的数字保存。最近，有相关报道称昆虫正在迅速消失。随着越来越多的公民科学家探索自然并且共享数据来识别面临直接威胁的物种，对所述昆虫形态进行数字保存本身就可帮助保护昆虫。保存昆虫图像还可帮助培养不同领域的未来的科学家。

图像处理示例

图像数据集的生成和预处理。在2019年夏季，研究包括与美国佛罗里达州希尔斯伯勒县(Hillsborough county)蚊虫控制区合作来在几天之内布设室外捕蚊器。在布设诱捕器之后的每天早上，本公开的方法包括收集所有捕获的蚊虫，将它们冷冻在便携式容器中并且将它们带到县实验室，在该处，分类学家识别所述蚊虫。这项研究利用了埃及伊蚊和黑斑伊蚊的23个样本，以及带喙伊蚊、灾难伊蚊、四斑按蚊、斯氏按蚊、冠冕库蚊、黑须库蚊和盐水库蚊的22个样本。值得注意的是，指出了在野外诱捕了八个种类的样本。斯氏按蚊样本是单独在实验室饲养的，其祖先最初是在印度诱捕的。

之后将每个样本放置在普通的平坦表面上，然后在正常的室内光照条件下使用智能手机(取自iPhone 8、8Plus和Samsung Galaxy S8、S10)对每个样本进行成像。为了拍摄图像，将智能手机附接到在蚊虫样本上方4至5英寸的可移动平台，并且拍摄三张不同角度的照片。一张在正上方拍摄，并且两张以与样本成45度的角度彼此相对地拍摄。作为这些程序的结果，总共生成了600个图像。然后，对这些图像中的500个图像进行预处理以生成训练数据集，并且将剩余的100个图像分出来用于验证。为了预处理，将图像缩小到1024×1024像素以进行更快的训练(这不会降低准确性)。通过添加高斯模糊并随机地从左到右翻转图像来增强图像。这些方法是图像处理中的标准方法，它们更好地考虑到了运行时执行期间的变动。在这个程序之后，将训练数据集增加到1500个图像。此处应注意，这项研究中使用的所有蚊虫都是疾病和疾患的媒介。在这些媒介中，埃及伊蚊特别危险，因为它会传播寨卡热、登革热、基孔肯雅热和黄热病。这种蚊虫现今在全球也有分布。

基于Mask R-CNN的深度神经网络框架。为了实现从蚊虫图像中提取解剖组成部分的目标，一种直接的方法是尝试混合高斯模型以从图像中去除背景。参见参考文献1、15。但是，这只会去除背景，而无法分开地提取前景中的解剖组成部分。该领域还存在其他最新的方法。一种技术是U-Net，参见参考文献16，其中提出了基于深度神经网络的语义分割。然而，这种技术不适用于实例分割(即，跨多个类别分割和标示像素)。多任务网络级联(参见参考文献17)(MNC)是一种实例分割技术，但它容易出现信息丢失，并且不适合于像具有多个解剖组成部分的蚊虫那样复杂的图像。

全卷积实例感知语义分割(参见参考文献18)(FCIS)是另一种实例分割技术，但它很容易在重叠实例上出现系统误差并且产生虚假边缘，这是不期望的。请于参考文献19处参见DeepMask，它由Facebook开发，提取掩模(即，像素)，然后使用快速R-CNN(参考文献20)技术来对掩模内的像素进行分类。但是，这种技术很慢，因为它无法并行地实现分割和分类。另外，它使用选择性搜索来找出感兴趣的区域，这进一步增加了训练和推理的延迟。

在一方面，本公开利用了Mask R-CNN，参见参考文献11，它是一种用于提取对应于图像内的感兴趣的对象的掩模(即，像素)的神经网络架构，它消除了选择性搜索，并且还使用参考文献21的区域提议网络(RPN)来学习正确的感兴趣的区域。这种方法最适合于快速训练和推理。除此之外，它还对特征图使用出色的对齐技术，这有助于防止信息丢失。图8中示出了基本架构。使其适于本公开的问题需要以下呈现的一系列步骤。

1.对地面实况进行注释。首先，本文的研究包括使用VGG图像注释器(VIA)工具来手动地对训练和验证图像进行注释，如参考文献22中所阐述。为了达成这一点，本公开展示了手动地(且小心地)在我们的训练和验证图像中的每个解剖组成部分周围置放边界多边形。多边形内的像素和相关联标签(即，胸部、腹部、翅膀或腿部)用作地面实况。图4中示出了一个样本注释图像。

2.使用CNN生成特征图。然后，本文公开的系统和方法使用训练图像数据集中语义丰富的特征来辨别(例如)如图8的图像802所示的蚊虫的复杂的解剖组成部分。为了达成这一点，一种非限制性神经网络架构800是流行的Res-Net101架构806与如参考文献12所示的特征金字塔网络(FPN)的组合。简而言之，ResNet-101(参考文献23)是一种具有残差连接的卷积神经网络(CNN)，并且专门被设计来去除训练期间后面层处的梯度消失。它在345个层下是相对简单的。在另一项研究中尝试将特征金字塔网络添加到ResNet，其中动机是利用CNN的固有金字塔形状，并且另外创建后续的特征金字塔网络，所述特征金字塔网络使用自上而下的路径和侧向连接来将低分辨率强语义特征与高分辨率弱语义特征进行组合。参考文献12。

这个所得的架构非常适合于根据仅有的最小输入图像尺度从不同尺度的图像学习。确保尺度不变的学习对于本公开来说是很重要的，因为由于相机硬件的多样性和人为引起的变化，在运行时间期间可以不同的尺度生成蚊虫图像。第一卷积神经网络806的输出是一组相应的特征图808，所述该组相应的特征图分离图像802中对象昆虫的相应的解剖身体部位的解剖像素。

3.在图像中的解剖组成部分上置放锚点。这个步骤利用了如参考文献21中所阐述的区域提议网络(RPN)816的概念，以及前两个步骤的结果以设计更简单的CNN，它将学习对应于训练图像中的经过地面实况测试的解剖组成部分的特征图。一个最终目标是置放锚点(在非限制性示例中，所述锚点是边界框812)，所述锚点围封图像中检测到的感兴趣的解剖组成部分。

4.分类和像素级提取。最后，本公开将从以上步骤学习到的锚点(即，感兴趣的区域)的特征图对齐到固定大小的特征图中。对齐步骤824将固定大小的特征图作为输入提供给架构800的三个分支以：

(a)用如图3所示的解剖组成部分标示锚点；

(b)仅提取锚点内表示如图5A至图5D所示的解剖组成部分的像素；以及

(c)如图8中的参考812处所示收紧锚点以提高准确性。

所有三个步骤都是并行完成的。

5.损失函数。对于本公开中考虑的问题，一种非限制性场景指出，存在三个特定的子问题：将锚点标示为胸部、腹部、翅膀或腿部；遮蔽每个锚点内的对应的解剖像素；以及通过回归器收紧锚点。本公开的实施方案并入了用于这三个子问题的损失函数。损失函数是深度神经网络的训练和验证期间用来提高学习准确性并避免过度拟合的关键组成部分。

6.标示(或分类)损失。为了对锚点进行分类，本公开的非限制性实施方案利用了分类交叉熵损失函数，并且它的效果很好。对于单个锚点j，损失由表述“p是锚点的地面实况类别的模型估计概率”给出。

7.掩蔽损失。考虑到神经网络学习中仅检测对应于锚点中的解剖组成部分的像素的复杂性，掩蔽是图像处理中的一项具有挑战性的工作。这项研究中使用的非限制性实验使用了简单的二元交叉熵损失函数。有了这个损失函数，在对应于胸部、翅膀和腹部的像素中显示出良好的准确性。但是，许多对应于腿部的像素被错误分类为背景。这归因于图2中突出显示的类别不平衡性，其中与置放在腿部周围的锚点(着色为蓝色)的前景像素的数量相比，我们看到背景像素的数量明显更大。这种不平衡性导致对腿部的学习较差，因为二元类别熵损失函数偏向于背景像素(更多且更容易对背景像素进行分类)。

另一项研究利用了另一种最近开发的称为焦点损失的损失函数(在参考文献24处有所讨论)，所述损失函数降低了分类良好的样本对损失的影响，而是将更多的重点放在较难的样本上。因此，这种损失函数防止了更普遍存在的背景像素在学习期间压倒没有如此普遍存在的前景像素，从而克服类别不平衡性问题。像素i的焦点损失表示为：

其中p是地面实况类别的模型估计概率，并且伽马-γ-是可调参数，在一个示例模型中任选地被设置为2。通过这些定义，很容易看到，当像素被错误分类并且p→0时，调节因子(1-p)γ就会趋于1，并且损失(log(p))不受影响。然而，当像素被正确地分类并且p→1时，损失会被减权(down-weighted)。以此方式，训练期间的优先级的更多地放在困难的负分类上，因此在数据集失衡的情况下产生了出色的分类性能。利用焦点损失为所有解剖组成部分带来了出色的分类结果。

8.回归器损失。为了收紧锚点并因此提高掩蔽准确性，在一个非限制性示例中使用的损失函数是基于在锚点、地面实况和预测锚点上计算的Smooth L1函数的总和。

在一个示例中，Let(x,y)算法表示预测锚点的左上角坐标。Let xa和x*表示由RPN生成的锚点的左上角坐标，以及手动生成的地面实况。对锚点的y坐标、宽度w和高度h的注释相同。所述程序可包括首先定义若干术语，在此之后呈现一个非限制性示例架构中使用的损失函数Lreg。

smooth_L1＝0.5x²，如果|x|<1且 (3)

|x|-0.5，否则

超参数。为了方便起见，表5列出了最终架构中的关键超参数的值。

表5.架构中的关键超参数的值

因此，本公开提出了一种系统来设计最先进的人工智能(AI)技术，即基于以掩模区域为基础的卷积神经网络的技术，以从数字图像中提取蚊虫的解剖组成部分并且基于属、种类和其他分类标准而将它们永久存档。本公开表明，本公开的系统和方法目前已经生成了近30,000个蚊虫数字图像(经由智能手机拍摄)，所述数字图像基于属种类型进行了标注。一旦提取了感兴趣的解剖结构，本公开就利用AI技术来设计可辨别蚊虫的属种类型的模型。如果所述系统受到公民和专家的欢迎，并且用户动员了昆虫学家，那么就有机会在全球范围内加大工作力度以包括更多的蚊虫类型，并且随着时间的推移而改进我们的模型。

本公开的一个非限制性主张是能够绕过人类(其目前透过显微镜观察)分类，并且替代地使用数字相机和所提出的技术来对属种类型进行自动分类。第二个价值主张是所公开的具有大规模的带有标注的公民和专家生成图像的系统能够开始对全球范围内的蚊虫的解剖结构进行数字化。这个数据库可为蚊虫，以及尤其是媒介监测方面的培训和全球信息共享带来无可估量的价值。

示例-提取解剖结构

针对一个示例程序的公开方法是基于利用Mask R-CNN[32]的概念，人们通过添加与现有的用于辨别边界框(在下文参见图4)的分支并行的用于预测对象掩模的分支来对含有各个感兴趣的解剖组成部分的像素进行分割(即，逐像素分割)。

在这种方法中，需要执行若干关键步骤(其中每个步骤都具有挑战性)。首先，人们必须使用预训练的卷积神经网络来训练模型，以生成与图像内可能存在对象的区域有关的提议。如上文所讨论，本文使用的卷积神经网络的一个非限制性示例是ResNet101，其用作主干卷积模型。在一个非限制性示例中，使用预训练的MS COCO[34]数据集权重来完成对模型的初始化。ResNet[33]具有非常深的网络，并且引入了残差连接以获取从上一层到下一层的输入。残差连接有助于解决梯度消失问题。MS COCO数据集是大规模对象检测数据集。它含有150万个对象实例和80个对象类别。下一个步骤是设计对象检测器网络，所述对象检测器网络完成三项任务：根据相应的解剖结构对框进行分类；收紧框；以及生成每个解剖组成部分的掩模(即，逐像素分割)。在构建对象检测器网络的架构时，本公开使用作为示例的逐像素sigmoid，以及二元交叉熵损失函数(以识别k个解剖组成部分)并且严格地训练它们。

应注意，此处生成训练数据集并不容易，因为需要为我们数据集中的每个解剖组成部分创建一个掩模。为了开始训练，用户首先使用VGG图像注释器工具对571个蚊虫图像进行注释，这本身是一项非常繁琐的工作(图3中示出了注释图像)。在571个图像中，404个图像是训练图像，并且167个图像是验证图像。然后，这些方法迭代模型以优化权重/超参数。本公开显示，所述方法已经优化了超参数，如基本特征提取器模型、学习率、动量、优化器、每轮步骤数、验证步骤数和轮数，细节在下表6中。

表6

结果：

衡量mask R-CNN算法的准确性的指标是mAP(全类平均精度)。它是通过对所有IoU阈值下所有类别上的所有平均精度取平均值来计算，并且是0.833。指标IoU衡量边界框中属于对象的地面实况的像素比率的交集以及框内像素的预测和地面实况比率的并集。在我们的设计中，IoU阈值被设置为0.75。

图6A、图6B、图6C和图7A、图7B、图7C示出了Android和iOS中的智能手机600、700应用程序的示例设计，所述应用程序使得用户能够拍摄蚊虫的图像620、720，或者从手机的本地存储中选择一个图像。所述应用程序将对蚊虫进行分类，并且还提取感兴趣的解剖结构-胸部、翅膀和腹部以及腿部，以在相应的解剖图像620、720、630、730、640、740中显示。生成的所有图像都存档在云中。

示例-基于所提取的解剖结构而对属种类型进行分类

本公开解释了从整个图像主体中识别蚊虫的属种类型的基于神经网络的架构的设计。下文呈现了网络架构。结果是在对各种蚊虫种类(目前有九个蚊虫种类)进行分类方面达到了近80％的准确率，并且在识别非常致命的蚊虫-埃及伊蚊(其传播寨卡热、登革热、基孔肯雅热和黄热病)方面达到了近99％的准确率，并且有一种非常致命的蚊虫流行于世界各地。

表3种类架构

在另一个示例中，用户正在扩展以上架构以同样基于解剖结构而进行分类。这是正在进行的工作的一部分，但针对每个解剖结构-胸部、腹部、翅膀和腿部的网络架构将与以上架构非常类似。

本公开的实施方案包括上文描述的工作的非限制性组合。因此，在一个示例中，用于识别昆虫的属种的系统800包括被配置为生成昆虫的图像的成像装置600、700。成像装置可为智能手机或其他具有相机功能的移动计算机装置。计算机处理器1202连接到存储器1204，所述存储器以软件存储计算机实现的命令，并且存储器接收图像(即，计算机处理器、存储器和成像装置可通过网络或本地连接进行数据通信)。软件对相应图像实现计算机化方法，所述计算机化方法开始于将第一卷积神经网络806应用于相应图像802以产生涉及例如相应图像中的解剖像素510、520、530、540的特征图808，所述相应图像对应于昆虫的身体部位。通过对第一卷积神经网络中的滤波器进行加权，所述系统被设置为在相应图像内将解剖像素识别为前景像素，并且将剩余像素识别为背景像素以在分割操作期间进行去除。

接着，所述系统利用处理器或其他计算机来将锚点812、817应用于特征图808，其中锚点标识特征图中图像数据的含有相应身体部位的相应解剖像素的相应层的部分。换句话说，特征图可为多维图像数据层，并且所述系统可对从第一卷积神经网络806产生的单独图像数据层或多组图像数据层进行操作。锚点可采用任何多边形的形式，所述多边形为图像、特征图或图像数据层内的期望的一组解剖像素划定边界。在一个非限制性示例中，锚点是由计算机处理器生成并在图形显示单元上显示为在图像内或叠加在所述图像上的边界框。软件还包括对齐功能814，以将上面具有锚点812、817的层与原始特征图对齐。

所述系统使用这些锚点来生成掩模818A，所述掩模对相应的图像数据层中的相应的解剖像素进行分割。生成掩模可包括将第二卷积神经网络818B应用于相应层，其中第二卷积神经网络根据对应的各个身体部位来分割解剖像素。

掩模允许从已经应用了第一卷积神经网络806的相应层中提取全连接层822，并且所述系统还被配置用于将全连接层应用于回归器网络826和分类网络824，其中生成用于分割的掩模、将全连接层应用于回归器网络和将全连接层应用于分类网络是由软件进行的并行操作。在某些非限制性实施方案中，生成掩模包括将第二卷积神经网络应用于相应层，其中第二卷积神经网络根据对应的各个身体部位来分割解剖像素。

在一些非限制性实施方案中，并行操作同时发生。

回归器网络826是由计算机实现来计算关于相应层中的锚点的迭代位置的误差值的软件程序。所述系统将误差值用于反馈回路850中以收紧对应于相应身体部位的解剖像素周围的锚点812、817。回归器网络和相关联的计算机实现的软件计算关于相应层中的锚点的迭代位置的误差值，并且其中误差值来源于二元交叉熵损失函数或焦点损失函数。

锚点812、817可为边界框或任何其他形状，其源自接收特征图808作为相应的图像数据层的区域提议网络816，并且反馈回路850将误差值从回归器网络826传输到区域提议网络817以将框收紧到对应于相应身体部位的适当像素上。区域提议网络是一种图像处理软件实现方式，它利用来自特征图的数据来预测含有对应于昆虫身体部位的解剖像素的可能的图像和图像层部分。

分类网络824是由计算机实现来用于生成分类输出图像828的软件工具，并且在一些实施方案中，这些分类输出图像包括原始图像的更新版本，所述更新版本在其中具有边界多边形812、817，在上面有解剖组成部分名称的标签1125、1135、1145、1155，以及甚至如表4所示的可能有助于属种识别的色彩编码。本文的示例实施方案显示，所述系统能识别诸如蚊虫的昆虫和解剖组成部分名称，包括对应于相应身体部位的翅膀、腿部、胸部和腹部。在一些非限制性实施方案中，分类网络利用逐像素sigmoid网络。在非限制性使用中，所述系统对存储分类网络的测试输出的数据库进行填充，其中输出包括上面带有解剖组成部分名称标签的图像版本，并且其中数据库存储相应的属种信息和与相应的属种有关的对应数据。

系统实施方案可用至少一个计算机实现，所述至少一个计算机执行从图像中提取与活体生物的解剖组成部分有关的信息的计算机化方法。图像可包括昆虫或其他动物或甚至无生命对象的数字图像，其中数字图像包括来自样本正上方以及来自相对于保持相应样本的背景成侧向的角度的相应昆虫、动物或无生命对象的视图。通过用一组训练图像(用计算机化算法进行分割)训练基于掩模区域的卷积神经网络，所述方法通过在设置的准确度上识别地面实况解剖组成部分来开始。本公开中使用的卷积神经网络的训练通常包括对训练图像中的相应解剖组成部分进行分类，并且将训练图像与地面实况图像进行比较。通过收紧包围数字图像中解剖组成部分的边界框，所述方法学习如何最大化以下操作的效率和准确性：最终生成用于提取第二组图像(诸如先前已经创建的特征图)的信息的掩模。为了形成地面实况图像，计算机化算法可利用被配置用于手动操作的图像注释器工具。训练迭代地更新面向训练数据集中的解剖像素的超参数。这种方法在跟踪、识别和存档昆虫的多个属中多个种类的属种识别数据方面有着可靠的跟踪记录。

在示例实现方式中，活动的至少一些部分可在网络装置上提供的软件中实现。在一些实施方案中，这些特征中的一个或多个可在计算机硬件1200中实现，在这些元件的外部提供，或者以任何适当的方式合并以实现预期的功能性。各种网络元件可包括：软件(或交互式软件(reciprocating software)，所述软件可协调跨诸如时间、幅度、深度等域进行的图像开发；以及各种分类措施，所述分类措施检测跨图像数据帧的移动并且进一步检测视野中的特定对象以便实现如本文所概述的操作。在再一些其他实施方案中，这些元件可包括任何合适的算法、硬件、软件、部件、模块、接口或有助于其操作的对象。

另外，本文描述和示出的计算机系统(和/或其相关联的结构)还可包括用于在网络环境中接收、传输和/或以其他方式传送数据或信息的合适的接口。此外，与各种节点相关联的处理器1202和存储器元件1204中的一些可被去除，或者以其他方式合并，使得单个处理器和单个存储器元件负责某些活动。在一般意义上，图中所示的布置在其表示方式上可能更合乎逻辑，而物理架构可包括这些元素的各种排列、组合和/或混合。必须注意到，可使用无数可能的设计配置来实现在此处概述的操作目标。因此，相关联的基础结构具有无数的替代布置、设计选择、装置可能性、硬件配置、软件实现方式、设备选项等。

在一些示例实施方案中，一个或多个存储器元件(例如，存储器)可存储用于本文描述的操作的数据。这包括存储器能够将指令(例如，软件、逻辑、代码等)存储在非暂时性介质中，使得指令被执行来实施本说明书中描述的活动。处理器可执行与数据相关联的任何类型的计算机可读指令，以实现本说明书中在此详述的操作。在一个示例中，处理器(例如，处理器)可将元素或项(例如，数据)从一种状态或事物转变为另一种状态或事物。在另一个示例中，本文概述的活动可用固定逻辑或可编程逻辑(例如，软件/由处理器执行的计算机指令)实现，并且本文标识的元件可为某种类型的可编程处理器、可编程数字逻辑(例如，现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))、包括数字逻辑的ASIC、软件、代码、电子指令、快闪存储器、光盘、CD-ROM、DVD ROM、磁卡或光卡、适合于存储电子指令的其他类型的机器可读介质、或其任何合适的组合。

这些装置还可在适当时并基于特定需求而将信息保存在任何合适类型的非暂时性存储介质1212(例如，随机存取存储器(RAM)、只读存储器(ROM)、现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程ROM(EEPROM)等)、软件、硬件或任何其他合适的部件、装置、元件或对象中。本文讨论的任何存储器项都应被解释为包含在广义术语‘存储器元件’内。类似地，本说明书中描述的任何潜在处理元件、模块和机器都应被解释为包含在广义术语‘处理器’中。在图12中参见示意性示例，其示出了输入装置1208A(诸如上文描述的成像装置)和输出装置1208B(诸如图6和图7的智能手机)的计算环境。这种计算机环境适合各种网络和云连接，如参考1206处所示。

还必须注意，除非上下文另有明确指明，否则如在本说明书和所附权利要求中所用，单数形式“一个/种(a/an)”和“所述”包括复数个提及物。所谓“包含”或“含有”或“包括”意指至少指定的化合物、元素、颗粒或方法步骤存在于组合物或制品或方法中，但不排除其他化合物、材料、颗粒、方法步骤的存在，即使其他此类化合物、材料、颗粒、方法步骤具有与所命名的那些相同的功能。

范围在本文中可表述为从“约”或“大约”一个特定值到“约”或“大约”另一个特定值。当表述这种范围时，示例性实施方案包括从一个特定值到另一个特定值。如本文所用，“约”或“大约”通常可意指在给定值或范围的20％以内，优选地在10％以内，并且更优选地在5％以内，并且还可包括确切的值或范围。本文给出的数值数量可为近似值，这意味着如果没有明确说明，则可推断出术语“约”或“大约”。

在描述示例实施方案时，为了清楚起见才采用术语。每个术语意图包含其如本领域技术人员所理解的最广泛的含义，并且包括以类似方式操作来实现类似目的的所有技术等同物。还应当理解，对方法的一个或多个步骤的提及并不排除在明确标识的那些步骤之间存在额外的方法步骤或中间方法步骤。在不脱离本公开的范围的情况下，方法的步骤可以与本文描述的那些不同的顺序执行。类似地，还应当理解，对装置或系统中一个或多个部件的提及并不排除在明确标识的那些部件之间存在额外的部件或中间部件。

参考文献

1.Minakshi、M.,Bharti,P.和Chellappan,S.Leveraging smart-phone camerasand image processing techniques to classify mosquito species.出自Proceedingsof the 15th EAI International Conference on Mobile and Ubiquitous Systems:Computing,Networking and Services,77–86(ACM,2018)。

2.De Los Reyes,A.M.M.、Reyes,A.C.A.、Torres,J.L.、Padilla,D.A.和Villaverde,J.Detection of aedes aegypti mosquito by digital image processingtechniques and support vector machine.出自2016IEEE Region 10Conference(TENCON),2342–2345(IEEE,2016)。

3.Fuchida,M.、Pathmakumar,T.、Mohan,R.E.、Tan,N.和Nakamura,A.Vision-based perception and classification of mosquitoes using support vectormachine.Appl.Sci.7,51(2017)。

4.Favret,C.和Sieracki,J.M.Machine vision automated speciesidentification scaled towards production levels.Syst.Entomol.41,133–143(2016)。

5.Minakshi,M.等人，Automating the surveillance of mosquito vectorsfrom trapped specimens using computer vision techniques.出自ACM COMPASS(ACM,2020)。

6.Park,J.、Kim,D.I.、Choi,B.、Kang,W.和Kwon,H.W.C lassification andmorphological analysis of vector mosquitoes using deep convolutional neuralnetworks.Sci.Rep.10,1–12(2020)。

7.Chen,Y.、Why,A.、Batista,G.、Mafra-Neto,A.和Keogh,E.Flying insectdetection and classification with inexpensive sensors.J.Vis.Exp.(JoVE)e52111(2014)。

8.Mukundarajan,H.、Hol,F.J.、Castillo,E.A.、Newby,C.和Prakash,M.Usingmobile phones as acoustic sensors for the surveillance of spatio-temporalmosquito ecology(2016)。

9.Vasconcelos,D.、Nunes,N.、Ribeiro,M.、Prandi,C.和Roge rs,A.Locomobis:alow-cost acoustic-based sensing system to moni tor and classify mosquitoes.出自2019 16th IEEE Annual Consumer Communications&Networking Conference(CCNC),1–6(IEEE,2019)。

10.Ravi,P.、Syam,U.和Kapre,N.Preventive detection of mosquitopopulations using embedded machine learning on low power iot platforms.出自Proceedings of the 7th Annual Symposium on Computing for Development,1–10(2016)。

11.He,K.、Gkioxari,G.、Dollár,P.和Girshick,R.Mask r-cnn.Proceedings ofthe IEEE International Conference on Computer Vision2961–2969(2017)。

12.Lin,T.-Y.等人，Feature pyramid networks for object detection.出自Proceedings of the IEEE Conference on Computer Vision andPattern Recognition2117–2125(2017)。

13.Smithsonian homepage.https://www.si.edu/.The importance oflearning identification of larvae and adult mosquitoes.https://juniperpublishers.com/jojnhc/pdf/JOJNHC.MS.ID.555636.pdf。

14.Stauffer,C.和Grimson,W.E.L.Adaptive background mixt ure models forreal-time tracking.出自Computer Vision and Pattern Recognition,1999.IEEEComputer Society Conference on.,第2卷，246–252(IEEE,1999)。

15.Ronneberger,O.、Fischer,P.和Brox,T.U-net:Convolutiona l networksfor biomedical image segmentation.出自International Co nference on MedicalImage Computing and Computer-Assisted Interv ention,234–241(Springer,2015)。

16.Dai,J.、He,K.和Sun,J.Instance-aware semantic segmentat ion viamulti-task network cascades.出自Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition 3150–3158(2016)。

17.Li,Y.、Qi,H.、Dai,J.、Ji,X.和Wei,Y.Fully convolution al instance-aware semantic segmentation.出自Proceedings of the IE EE Conference onComputer Vision and Pattern Recognition 2359–2367(2017)。

18.Pinheiro,P.O.、Collobert,R.和Dollár,P.Learning to segm ent objectcandidates.出自Advances in Neural Information Processi ng Systems 1990–1998(2015)。

19.Girshick,R.Fast R-CNN.出自Proceedings of the IEEE In ternationalConference on Computer Vision 1440–1448(2015)。

20.Ren,S.、He,K.、Girshick,R.和Sun,J.Faster R-CNN:towards real-timeobject detection with region proposal networks.出自Advances in NeuralInformation Processing Systems 91–99(2015)。

21.Dutta,A.和Zisserman,A.The VGG image annotator(via).arXiv preprintarXiv:1904.10699(2019)。

22.He,K.、Zhang,X.、Ren,S.和Sun,J.Deep residual learning for imagerecognition.出自Proceedings of the IEEE Conference on Computer Vision andPattern Recognition,770–778(2016)。

23.Lin,T.-Y.、Goyal,P.、Girshick,R.、He,K.和Dollár,P.Focal loss fordense object detection.出自Proceedings of the IEEE International Conferenceon Computer Vision,2980–2988(2017)。

24.Mask RCNN code.https://github.com/matterport/Mask_RCNN。

25.IFAS.Florida medical entomology laboratory.https://fmel.ifas.ufl.edu/mosquito-guide/species-identification-table/species-ident ification-table-adult/。

26.Glyshaw,P.和Wason,E.Anopheles quadrimaculatus.https://animaldiversity.org/accounts/Anopheles_quadrimaculatus/edu/mosqui to-guide/species-identification-table/species-identification-table-adult/。

27.Dharmasiri,A.G.等人，First record of anopheles stephensi in SriLanka:a potential challenge for prevention of malaria reintroduc-tion.MalariaJ.16,326(2017)。

28.IFAS.Florida medical entomology laboratory.https://fmel.ifas.ufl.edu/publication/buzz-words/buzz-words-archive/is-it-culex-tarsalis-or-culex-coronator/

29.Floore,T.A.、Harrison,B.A.和Eldridge,B.F.The anopheles(anopheles)crucians subgroup in the united states(diptera:Culicidae)(Tech.Rep,WalterReed Army Inst Of Research Washington Dc Department Of Entomology,1976)

30.Smithsonian Institution.https://collections.si.edu/search/results.htm？fq＝tax_kingdom％3A％22animalia％22&fq＝online_media_type％3A％22Images％22&fq＝datasource％3A％22NMNH+-+Entomology+Dept.％22&q＝NMNH-USNMENT01001576&gfq＝CSILP_6。

31.Smithsonian ttps://collections.si.edu/search/results.htm？fq＝tax_kingdom％3A％22Animedia_type％3A％22Images％22&fq＝data_sour ce％3A％22NMNH+Entomology+Dept.％22&q＝NMNH-ENT01006317&gfq＝CSILP_6。

32.He,Kaiming、Georgia Gkioxari、Piotr Dollár和Ross Girshick."Mask r-cnn."出自Proceedings of the IEEE international conference on computer vision，第2961页至第2969页，2017。

33.He,Kaiming、Xiangyu Zhang、Shaoqing Ren和Jian Sun."Deep residuallearning for image recognition."出自Proceedings of the IEEE conference oncomputer vision and pattern recognition，第770页至第778页，2016.

34.Lin,Tsung-Yi、Michael Maire、Serge Belongie、James Hay s、PietroPerona、Deva Ramanan、Piotr Dollár和C.Lawrence Zitnick."Microsoft coco:Commonobjects in context."出自European co nference on computer vision，第740页至第755页，Springer,Cham,2014。

35.Stewart,Matthew博士，Simple Introduction to Convolutiona l NeuralNetworks，出自Towards Data Science地址为https://toward sdatascience.com/ simple-introduction-to-convolutional-neural-networks-cdf8d3077bac。

Claims (20)

1.一种捕捉昆虫并收集关于所述昆虫的识别数据的设备，所述装置包括：

连接到定位盘的膜主体，所述膜主体限定入口开口以用于将昆虫引诱剂引导到所述膜主体中；

至少一个成像装置，所述至少一个成像装置具有覆盖所述膜主体的视野：

连接到所述成像装置的计算机，其中所述计算机包括连接到上面存储有软件的计算机化存储器的处理器，所述软件包括计算机实现的指令，所述计算机实现的指令被配置为将关于所述昆虫的数据存储在所述计算机化存储器中。

2.如权利要求1所述的设备，所述设备还包括膜外壳，所述膜外壳包围所述膜主体以将所述昆虫诱捕在所述膜外壳内。

3.如权利要求2所述的设备，所述设备还包括封闭腔室，所述封闭腔室通过出口开口连接到所述膜外壳并且被配置为在已经存储所述数据之后容纳所述昆虫。

4.如权利要求2所述的设备，其中所述膜主体包括被配置为在上面支撑昆虫的皮肤表面。

5.如权利要求4所述的设备，其中所述皮肤表面是羔羊皮预防膜。

6.如权利要求1所述的设备，其中所述定位盘连接到通过所述入口开口进入所述膜主体的二氧化碳源。

7.如权利要求1所述的设备，所述设备还包括连接到所述定位盘的加热器，所述加热器被配置为使进入所述膜主体的所述昆虫引诱剂升温。

8.如权利要求1所述的设备，其中所述定位盘限定凹部以用于放置额外的昆虫引诱剂。

9.如权利要求1所述的设备，其中所述成像装置是无源红外传感器(PIR)。

10.如权利要求1所述的设备，其中所述成像装置是相机。

11.如权利要求10所述的设备，所述设备还包括将音频信号引导到所述计算机的传声器。

12.如权利要求1所述的设备，所述设备被配置为蚊虫诱捕器。

13.如权利要求12所述的设备，其中所述诱捕器包括将音频信号引导到所述计算机的传声器，其中所述软件计算对应于所述昆虫的振翅频率的频率信号。

14.如权利要求13所述的设备，其中落入针对蚊虫设置的选定范围内的所述振翅频率触发所述成像装置和/或所述传声器的激活信号。

15.如权利要求12所述的设备，其中所述成像装置是具有覆盖所述膜主体的相应视野的相机阵列。

16.如权利要求12所述的设备，所述设备还包括朝向所述膜主体定向以照显所述蚊虫身上的至少一个荧光标记的紫外光源。

17.如权利要求12所述的设备，所述设备还包括多个封闭腔室，所述多个封闭腔室经由相应的出口开口连接到所述膜外壳并且被配置为根据蚊虫分类标准将所述蚊虫容纳在所述封闭腔室中的相应封闭腔室中。

18.如权利要求12所述的设备，所述设备还包括收集与所述诱捕器的环境有关的环境数据并将所述环境数据传输到所述计算机的周围环境传感器。

19.如权利要求1所述的设备，其中所述软件使用至少一种神经网络算法来对所述昆虫进行分类，所述至少一种神经网络算法应用于来自所述成像装置的图像数据。

20.如权利要求1所述的设备，所述设备还包括连接到所述膜外壳以将所述昆虫引导到所述设备中的漏斗状物。