CN117321570A - 基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行分类的系统和方法 - Google Patents

基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行分类的系统和方法 Download PDF

Info

Publication number
CN117321570A
CN117321570A CN202280033139.9A CN202280033139A CN117321570A CN 117321570 A CN117321570 A CN 117321570A CN 202280033139 A CN202280033139 A CN 202280033139A CN 117321570 A CN117321570 A CN 117321570A
Authority
CN
China
Prior art keywords
image
insect
insect larvae
feature map
larvae
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280033139.9A
Other languages
English (en)
Inventor
R·M·卡尼
S·切拉潘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of South Florida
Original Assignee
University of South Florida
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of South Florida filed Critical University of South Florida
Publication of CN117321570A publication Critical patent/CN117321570A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

使昆虫幼虫的图像至少经受第一卷积神经网络以基于相应图像中对应的图像位置处的解剖像素而产生特征图。所述解剖像素对应于所述昆虫幼虫的身体部位。计算机使用多个特征图来形成集成特征图并且在对应于所述昆虫幼虫的头部、胸部、腹部或末端腹部区的解剖像素上形成边界框。分类网络识别所述昆虫幼虫的属、种、性别或生命阶段。

Description

基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行 分类的系统和方法
相关申请的交叉引用
本申请要求2021年4月1日提交且名为Systems and Methods for Class ifyingMosqui to Larvae From Images Based on Local ized Anatomical Components andTheir Extracted Masks and Landmarks的美国临时专利申请序列号63/200,883的优先权，所述申请以引用的方式并入本文。
关于联邦资助的研究的声明
本发明是在由美国国家科学基金会授予的资助号2014547下在政府支持下进行。政府享有本发明的某些权利。
背景技术
分类法是对自然界中的生物进行分类的过程。昆虫学是对昆虫生物的研究。在昆虫学背景下的分类学是现代科学时代相对晦涩难懂的学科。很少有人愿意将其职业生涯都耗在几个小时地对着显微镜观察，从而试图识别昆虫是什么属种上。就蚊虫而言，存在近4500种不同的蚊种，并且训练来识别所有这些蚊虫是困难的(如果可能的话)。在如印度、孟加拉国以及甚至美国等国家，根本不可能培训专业人员来识别在这些国家流行的所有蚊虫(例如，印度特有的蚊虫有400个蚊种；而在美国大约有150个蚊种)。随着各国之间旅行和全球联系的增加，蚊虫会入侵到新的地方，而本地的专业人员无法识别“新的”蚊虫。蚊虫和其他昆虫被认为是“媒介”，因为它们会携带病毒、细菌和疾病株并且将它们传播给人类。因此，术语“媒介”被给予了其在传染病领域中最广泛的含义。
现代昆虫学现状集中于消除或最大限度地减少人类在疾病爆发期间对蚊虫属种分类的参与。世界上存在近4500种不同的蚊种，覆盖45个左右的属。在这些当中，只有三种属类型中的少数种传播最致命的疾病。这些蚊虫属于伊蚊(寨卡病毒、登革热、基孔肯雅热、黄热病)、库蚊(西尼罗河病毒和EEE)以及按蚊(疟疾)。在这三个属中，最致命的种是埃及伊蚊、白纹伊蚊、黑须库蚊、冈比亚按蚊和斯氏按蚊。当蚊媒病(例如登革热)影响到某个区域时，识别登革热的特定媒介(即，埃及伊蚊和白纹伊蚊)的存在就会变得至关重要。这既困难又昂贵。例如在印度，有近450种类型的蚊虫遍布各地。因此，公共卫生专家在疾病易发地区布设诱捕器，并且有时会诱捕到数百只蚊虫。然而，现在，所述公共卫生专家可识别那些蚊虫中的哪一种是他们正在寻找的属种。因为，一旦他们识别出正确的蚊虫，他们就可将那些蚊虫带到实验室进行DNA测试等，以查看被诱捕蚊虫体内是否存在病原体(即，病毒)。当然，如果他们发现那些蚊虫中的相当大量蚊虫体内带有病毒，就会出现公共卫生危机，并且需要采取纠正措施。
其他工作集中于在边境处检测外来蚊虫。这是一个会引起全球广泛关注的问题-需要识别一个国家边境(陆地或海洋或领空或陆路)上的蚊虫是否是外来蚊虫。例如，考虑到一种场景，其中例如既是国内媒介又是非美国本土媒介的蚊虫在进入美国边境的车辆上。
假设边境确实有捕蚊器，这一“新”品种的蚊虫很可能会连同其他本地蚊虫一起被诱捕。在此处的问题是公共卫生部门如何确定“外来”蚊虫在这样的一个诱捕器中。目前的昆虫学分类系统需要定期前往这些诱捕器处，进行收集并通过显微镜研究对象，并且逐个识别样本。如果目标是仅检测特定类型的“外来”蚊虫，则这将是极其麻烦的。
目前的疾病模型依赖于传染媒介的正确分类。需要改进昆虫学分类系统以用于专门的且细节密集的实例，诸如上文的假设。昆虫学分类领域需要包括适用于解决重要的但难以说清的问题，诸如识别确实被诱捕的假设“外来”蚊虫的算法。需要更新的算法来为研究者提供针对专门情况(诸如假设随机出现影响本地种群的新的昆虫)进行昆虫学分类的选项。
继续“外来”蚊虫示例，昆虫学分类领域需要改进的技术和模型，所述改进的技术和模型已用外来蚊虫的图像(由国际合作伙伴提供)进行训练，以直接根据初步观察来识别属种。在替代方案中，应当满足使得外来蚊虫能够符合用其他蚊虫训练的模型的需求。这些技术将允许研究者向公共卫生官员通知目前已诱捕先前在给定地方似乎不为人所知的新的蚊虫。在任一种情况下，都对边境处的公共卫生有着重大好处。
如本公开中所详述，为了解决上述不足之处，将全球范围内的蚊虫样本的解剖结构数字化(在公民和专家的参与下)将有助于创建标注有属种类型的蚊虫解剖图像的大型储存库。这个储存库之后可用于培训人员，而且也可用于使用本公开中的算法来进行自动识别(在上传照片时)。举例来说但不限制本公开，位于维罗海滩(Vero Beach)的佛罗里达州医学昆虫学实验室(Florida Medical Entomology Lab)每年在细分的昆虫分类领域培训极少数人员(既有国际军事人员，也有国内军事人员)。从先前的调查来看，空间非常有限，并且许多人被这类培训项目拒之门外。在数字储存库就位的情况下，培训项目可在全球扩展，此外潜在还有数千个图像来培训感兴趣的人员。
在至少一个示例中，对昆虫学分类的这类改进的需求是显而易见的。印度的许多邦县(尤其是边境处的那些邦县)已经并且目前愿意为这种服务付费。这种具有适当捕蚊器的服务可部署在国际航班、轮船和公共汽车上。
在这个领域的另一种需求表达中，对前往蚊媒病很常见的国家的士兵进行例行培训，以帮助本地社区识别蚊虫和其他疾病媒介。数字储存库可远程地培训士兵，而不需要亲自前往需要这些服务的地方。另外，士兵以及甚至政府机构中正在海外旅行和居留的人员都可能会受益于基地和/或家中的诱捕器，所述诱捕器可提示他们辨认在附近诱捕的蚊虫的类型、以及它们的危险程度。
发明内容
本公开提出了一种系统来设计最先进的人工智能(AI)技术，即基于以掩模区域为基础的卷积神经网络的技术，以从数字图像中提取蚊虫(特别是在一些实施方案中的蚊虫幼虫)的解剖组成部分并且基于属、种和其他分类标准而将它们永久存档。
本公开还提出了计算机化系统、计算机实施的方法和计算机编程软件，它们可经由实施蚊虫幼虫识别的几何形态测量方法的人工智能(AI)程序的设计来识别蚊虫幼虫的属种。在一些实施方案中，本公开使用可找出蚊虫幼虫中的核心解剖组成部分并提取解剖组成部分的掩模的计算机处理器和软件。执行更详细的实施方案以针对每个找出和/或被掩蔽的组成部分对蚊虫幼虫的属种进行分类。来自不同模型的结果可被集成来进行最终分类。
在一个实施方案中，一种用于识别昆虫(包括但不限于蚊虫幼虫)的属种的系统利用被配置为生成昆虫的图像的成像装置。计算机处理器连接到存储软件中的计算机实施的命令的存储器，其中所述存储器接收所述图像。所述软件通过以下方式来对相应图像实施计算机化方法：将第一卷积神经网络应用于所述相应图像以基于相应图像中对应的图像位置处的解剖像素而至少产生第一特征图和第二特征图，所述解剖像素对应于所述昆虫的身体部位；计算所述第一特征图与所述第二特征图的外积；从所述第一特征图和所述第二特征图形成集成特征图；从已应用所述第一卷积神经网络的相应的集成特征图集合中提取全连接层；以及将所述全连接层应用于分类网络以识别所述昆虫的所述属种。
在另一个实施方案中，一种用于识别昆虫的属种的系统利用被配置为生成昆虫的图像的成像装置。计算机处理器连接到存储软件中的计算机实施的命令的存储器，并且所述存储器接收所述图像。所述软件实施以下步骤：将第一卷积神经网络应用于相应图像以至少产生第一特征图，所述第一特征图涉及所述相应图像中对应的图像位置处的解剖像素，所述解剖像素对应于所述昆虫的身体部位；将第二卷积神经网络应用于所述相应图像以至少产生第二特征图，所述第二特征图涉及所述相应图像中对应的图像位置处的解剖像素，所述解剖像素对应于所述昆虫的所述身体部位；计算所述第一特征图与所述第二特征图的外积；从所述第一特征图和所述第二特征图形成集成特征图；从已应用所述第一卷积神经网络和所述第二卷积神经网络的相应的集成特征图集合中提取全连接层；以及将所述全连接层应用于分类网络以识别所述昆虫的所述属种。
在另一个实施方案中，一种识别昆虫的属种的计算机化方法包括获取昆虫的图像并且将来自所述图像的像素数据存储在与计算机处理器进行数据通信的计算机存储器中。所述计算机处理器执行以下步骤：将至少一个卷积神经网络应用于相应图像以基于相应图像中对应的图像位置处的解剖像素而至少产生第一特征图和第二特征图，所述解剖像素对应于所述昆虫的身体部位；计算所述第一特征图与所述第二特征图的外积；从所述第一特征图和所述第二特征图形成集成特征图；从已至少应用所述第一卷积神经网络的相应的集成特征图集合中提取全连接层；以及将所述全连接层应用于分类网络以识别所述昆虫的所述属种。
附图说明
现在将参考附图，所述附图不一定按比例绘制。
图1示出了根据本公开分类的三个属的每个解剖结构的数据集中的一个代表性样本。
图2示出了本公开的示例实施方案中使用的双线性CNN架构的一个代表性样本。
图3示出了通过对根据本公开的示例实施方案跨多个背景和手机分类的每个种的数据集中的最后一层卷积特征图进行可视化获得的一个代表性图像样本。
图4示出了根据本公开的一个示例实施方案的胸部数据集的混淆矩阵的网格图。
图5示出了本公开的示例实施方案中的胸部数据集的接收者操作特性的图形表示。
图6示出了本公开的示例实施方案中的腹部数据集的混淆矩阵的图形表示。
图7示出了本公开的示例实施方案中的腹部数据集的接收者操作特性的图形表示。
图8是用于计算机环境中的被配置为实施本公开的计算机化方法的卷积神经网络(“CNN”)的示意图。
图9是示例计算机环境，其中本公开的系统和方法可根据本公开的示例实施方案进行计算、绘图并输出以供使用。
图10是二维(2D)几何形态测量方法，其示出了蚊虫幼虫的各个解剖区域的基于刚毛的界标(白点)。
图11A至图11C是用于定位各个解剖区域的边界框方法的示意图。
图12是几何形态测量方法的示意图，其示出了斯氏按蚊蚊虫幼虫的各个解剖区域的基于刚毛的界标(红点)。
图13是形态空间中主成分1(PC1)变化的棒棒糖图中所示的界标和半界标的示意图。
图14是对呈幼虫的冈比亚按蚊(左侧)和斯氏按蚊(右侧)的胸部的界标和半界标进行主成分(PC)分析的结果的示意图。项目符号说明了由X轴(PC1)的低端(左侧)和高端(右侧)表示的形态特征。
图15是示出呈幼虫的冈比亚按蚊(棒棒糖)与斯氏按蚊(棒)的胸部之间由于主成分1(PC1)所致的形态变化的棒棒糖图。在此图中，颅骨区域是朝向左侧。
图16示出了原始幼虫照片和类别激活图(CAM；右侧图像)。类别激活图示出了在相应分类中使用的最高加权像素，在两个示例中都以胸部为中心。
图17示出了原始幼虫照片和类别激活图(CAM；右侧图像)。类别激活图示出了在相应分类中使用的最高加权像素，在两个示例中都以胸部为中心。
图18示出了本公开的一个实施方案中的卷积神经网络中使用的一组示例超参数。
具体实施方式
在佛罗里达州希尔斯伯勒县(Hillsborough County)有近50种不同的蚊种。但为了让问题易于处理，而不失去对公共卫生的关注，本公开寻找至关重要的媒介。在被诱捕在相应诱捕器中的数百只蚊虫中，250个样本被众多分类学合作伙伴识别为至关重要的媒介。这些媒介被分为三个种，所述三个种分别属于三个属-伊蚊属100、按蚊属115和库蚊属120。表1中呈现了数据集。重要的是，属于伊蚊属100、按蚊属115和库蚊属120的蚊虫也是全球范围内最致命的媒介。
表1：我们的蚊种数据集的相关细节[1]
随后，用成像装置(诸如但不限于十部不同的智能手机)在正常的室内光线条件下跨越三个取向并在三种不同的背景下对每个样本进行成像。为了捕获由成像装置生成的图像，智能手机被附接到上面放置有蚊虫的平坦表面上方的可移动固定装置。用于成像的十部手机是三星Galaxy S8(3部手机)、三星Galaxy S9(2部手机)、iPhone 7(2部手机)、iPhone 8plus(2部手机)和Pixel 3(1部手机)。作为这一过程的结果，调研人员团队总共捕获了3550个图像。图1示出了来自本文中分类的三个属(分布在三个属)中的每一者的数据集的一个代表性图像。
在此之后，如本文所描述，已使用基于Mask-RCNN 200的算法来分割全身蚊虫图像中的解剖结构。因此，本公开报告了从3250个全身蚊虫图像中提取出3064个胸部、2757个腹部、4459个翅膀和5533个腿部解剖结构。这个实施方案保留了300个图像以用于测试整套四个解剖模型。由于遮挡、相机角度和蚊虫取向，在每个全身图像中并不能看到每个解剖结构，这导致数据集中解剖结构分布不均。
这些蚊虫属于三个属类别-伊蚊属100、按蚊属115和库蚊属120。在伊蚊属100中，每只蚊虫属于埃及伊蚊、带喙伊蚊和黑斑伊蚊蚊种。同样对于按蚊属115，每只蚊虫属于灾难按蚊(Anopheles crucians)、四斑按蚊(Anopheles quadrimaculatus)和斯氏按蚊。考虑到库蚊属120，它具有冠冕库蚊(Culex coronator)、黑须库蚊和盐水库蚊种。为了确保解剖图像不会失真，本公开包括用白色背景像素填充图像以维持如图1(a-)所示的方形形状。此外，本公开包括将解剖数据集划分为三个子集-训练、验证和测试，以70％、20％和10％的比率作为相应考虑的示例。
神经网络算法的架构将从智能手机拍摄的解剖图像分为3个属类别-伊蚊属100、按蚊属115和库蚊属120。本公开的方法、系统和设备训练了四种不同的神经网络算法，一种神经网络算法用于一个解剖结构以预测属类别。由于每个网络都基于相似的架构，因此为了减少冗余，本公开包括但不限于在胸部图像图1(a-)上训练的示例算法。对象解剖结构的其他部分的分类也在本公开的范围内。
根据智能手机图像对解剖结构进行分类的问题既复杂又具有挑战性。主要挑战中的一些包括图像质量差和类内差异非常微妙。不同属类别之间的解剖结构的差异非常微妙，以至于可能会因为许多如图像中的解剖取向、背景噪声、模糊度和照明条件等因素而察觉不到所述差异。例如，虽然伊蚊属100和按蚊属115两者都有深色翅膀，但按蚊115在其翅膀上额外还有极小的黑点(图1(g))。同样，伊蚊100在腹部上具有黑白图案(图1(b))，而按蚊115仅具有黑色腹部(图1(f))。为了克服这些挑战，本公开提出了一种基于双线性卷积神经网络(B-CNN)[6]的神经网络架构，如图2以200所示。考虑到B-CNN架构200包括学习相似外观类别之间的细微差异，它非常适合于该问题。
在此架构中，本公开包括两个卷积神经网络(CNN)NA 205和NB 215以从卷积层中提取两个特征图210、220，每个网络205、215中提取一个特征图。NA和NB可为相同或不同的网络，但其特征图应当有所不同。在一个实施方案中，CNN可为第一卷积神经网络，并且在不同的实施方案中，可存在第一卷积神经网络和第二卷积神经网络。例如，如果两者是相同的网络，则将从不同的卷积层中提取特征图210、220以使它们有所不同。这个架构主要由六个元素＝(NA,NB,fA,fB,P,C)组成。在一个非限制性方面，fA和fB是从NA 205和NB 215的卷积层获得的特征图210、220(即，第一特征图210和第二特征图220)，P是池化函数并且C是分类函数。在该问题中，fA和fB两者都由M数量个过滤器(图8，参考806)组成，其中M＝128。每个过滤器806学习每个层210、220、808处的特定特征。在B-CNN架构中，本公开计算图像I 250的每个位置处的特征图fA 210与fB 220的外积。图像I 250中位置(在图2中示出)处的fA与fB的外积被计算为(fA(l,I)TfB(l,I))，其中T是转置向量值。外积将相应特征图中的每个对应图像位置处的CNN特征图210、220两者进行组合，并且以平移不变的方式产生成对的特征交互。这些成对的特征交互从图像中捕获解剖像素的微妙且微小的细节，其中解剖像素对应于该类别中对象昆虫的身体部位。例如，按蚊属115具有带黑点的黑色翅膀，因此来自NA 205的特征图可能独立地捕获黑色，而来自NB 215的同一位置处的另一个特征图可能捕获黑点。独立地使用这些特征图可能无法区分按蚊属与伊蚊属的翅膀，因为它们两者的翅膀颜色都为深色。作为两个特征图的外积的结果，它将产生一个含有来自它们两者的信息的集成特征图。所得的特征图可看出按蚊翅膀呈黑色，带有黑点。这将提高模型的精度和置信度。池化函数对所有生成的矩阵的外积进行求和以将它们转换为单个矩阵，然后进一步将所述单个矩阵重塑为1向量230以作为输入馈送到全连接层240，这将用于分类函数。在这项工作中，和两者都是基于图8所示的ResNet50[4]800架构的相同CNN网络。
它在ImageNet[2]数据集上进行了训练以使用预训练模型。ImageNet数据集由分布在1000个类别上的超过1400万个图像组成。为了使fA 210和fB 220学习不同的特征，在图像250的每个位置处，所述系统从ResNet50架构的不同CNN层中提取它们，例如，一个层是res3c_branch2a(第62层)，提取为fA 210，而另一个层是res3d_branch2b(第75层)，提取为fB 220。ResNet50是在连续层之间具有残差连接的深度卷积网络。在此架构中的残差连接有助于预防梯度消失问题。
对NA和NB两者使用相同的架构有助于减少因具有两个不同网络而可能导致的存储器开销。
考虑到在一个非限制性示例中阐明了用于解剖分类的神经网架构的基本原理，在该架构中有几个关键参数(称为超参数)需要优化。本公开在下文解释了这些内容，随后将呈现用于基于胸部图像图1a、e、i而进行属识别的最终架构。另外，人们可能会注意到，由于本文感兴趣的四个非限制性示例问题(胸部、腹部、翅膀和腿部)全部与分类解剖结构相关，因此超参数的选择对于每个问题来说不会有太大差异。另外，超参数的选择是通过对数据集进行反复训练和验证来最终确定。本公开的示例并未呈现本文在训练期间尝试过的所有超参数的所有细节，而仅讨论在这种描述蚊虫图像数据集上的训练和验证的非限制性公开内容中共同给出最高精度和上下文正确性的示例超参数的选择。
a).图像调整尺寸：为了保持图像一致，图像需要调整尺寸。本公开展示了从多部智能手机收集的数据，关于解剖结构的收集数据具有不同分辨率。为了实现均匀性并减小图像尺寸(为了在不损失质量的情况下更快地训练)，本公开包括但不限于将每个输入图像的尺寸调整为200×200像素，而不管其原始尺寸如何。最终，一个非限制性步骤在训练开始之前通过将图像的每个像素的RGB值除以255来将所述RGB值归一化。
b).处理不平衡类别：由于解剖数据集不平衡，模型会产生偏向多数类别的偏差。为了克服这一点，本公开展示了使用成本敏感的学习方法，所述学习方法基于其样本计数而为少数类别分配较高的权重。权重由算法1决定。表2中示出了每个解剖结构的每个类别的类别权重。如果出现少数类别错误分类，该算法将强加高成本惩罚。
表2：类别权重细节
解剖结构 伊蚊属 按蚊属 库蚊属
胸部 1.221 1.0 1.341
腹部 1.189 1.0 1.246
翅膀 1.831 1.0 2.014
腿部 1.565 1.0 1.711
c).优化器：优化器是在训练期间帮助架构从初始状态收敛于损失最小的优化状态的算法。在本研究中，本公开采用随机梯度下降(SGD)。这种优化器有助于快速收敛。
d).损失函数：本公开在本文中采用了分类交叉熵损失函数。这个函数最小化了预测概率函数与实际概率函数的差异，而不会偏向任何特定类别。这与如焦点损失和三元组损失函数等其他损失函数形成了对比，当类别内的实体的复杂性方面的变化及其互变性较高时，所述其他损失函数效果更好，但对于我们的问题来说，这两种损失函数都不适用。
e).学习率：本公开包括使用降低高原学习率(Reduce Learning Rate OnPlateau)[10]技术。当经过5轮，验证损失都没有显示出改善时，这种技术会将学习率降低0.5倍。初始学习率被设置为1-6。对于本文中的示例非限制性问题来说，这种技术简单且有效。
f).对属分类的过度拟合进行微调和补偿的架构：在讨论了对架构中关键超参数的选择之后，本公开将继续讨论关于如何针对属分类训练和微调架构的信息。此处涉及许多步骤，包括决定从图8所示的ResNet50网络的哪一层开始，如何为各个属分类问题添加其余层，如何为特征图分配权重，如何避免过度拟合问题，以及最终何时停止训练。通常，CNN架构由几个卷积层组成。这些层中的每一者在训练中从输入图像中学习不同的特征。虽然初始层学习如边缘或曲线等低级特征，但最后几个层学习如翅膀或腿部的图案等高级特征。因此，在导出用于迁移学习的预训练模型时，选择正确的层来提取特征是非常重要的。在这项工作的一个示例中，分类最初开始于ResNet50架构中的层20。从过早的层开始会导致学习较差，而从过深的层开始可能会导致过度拟合并且还会产生计算开销。
为了开始训练，一个非限制性示例包括冻结ResNet50层的权重并且使用Glorot一致性初始化技术[3]来初始化未经训练的全连接层。
在一个示例实施方案中，以大的学习率(0.001)将这个模型训练前100轮。这是因为由全连接层的未经训练的权重触发的大的梯度更新会破坏ResNet50层中的学习到的权重。在100轮之后，所述系统对ResNet50层进行解冻，并且以小的学习率(1-6)将整个模型另外训练200轮。应注意到，在训练期间(且如在复杂的分类问题中常见的)，研究人员发现某些示例模型存在过度拟合问题，所述问题通过在层之间引入不同正则化技术(即，退出和提前停止)的组合来补偿。示例实施方案使用提前停止技术以在连续30个轮中在0.0009的最小变化量(minimum delta)下验证精度没有提高的情况下停止训练[7]、[5]、[9]。
g).用于基于4个解剖结构而进行属分类的最终确定的架构：表3(图18)示出了针对基于胸部、腹部和翅膀解剖结构的所有三个模型的最终确定的架构的关键参数。基于腿部解剖结构的模型的架构略有不同，这在表4中示出。术语res3d_branch2b表示ResNet50架构的第75层，一直到这一层都用于NA并且res3c_branch2a表示ResNet50的第62层以用于NB。在此之后添加其余层(将在下文详细说明)，如表3(图18)中所指定。表中字段“输入尺寸”和“输出尺寸”中的条目是指对应层的输入和输出矩阵的尺寸。接着，本文公开的方法、系统和设备计算来自NA和NB的最后一个卷积层的外积。然后，本公开展示了将所述外积重塑为一维矩阵的展平的最终乘积。此外，所述方法将四个全连接层堆叠到架构中，并且执行softmax运算来计算最终属分类为三个类别(即，伊蚊属100、按蚊属115和库蚊属120)的输出概率。
表4：腿部架构
本公开还使用三种评估策略基于来自智能手机图像的解剖结构而评估用于属分类的经训练的神经网络模型。首先，该研究将从最后一个卷积层获得的特征图可视化。这种可视化将帮助模型了解模型正在学习的特征的种类。其次，所述系统导出接收者操作特性(“ROC”)图和混淆矩阵来独立地解释每个模型的性能。第三，也是最后一点，所述系统采用软投票技术来合并每个解剖模型的输出，以对全身蚊虫图像的属分类做出综合决策。
在第一个评估中，方法是确定经训练的模型实际上是否能够专注于对应于解剖图像内的解剖组成部分的像素以进行分类，同时能够排除背景像素。为此，一旦输入解剖图像在Softmax层结束之后被分类，计算机就会遍历回到模型中以识别该特定图像的特征图(在最后一个卷积层结束时)以及对应于针对图像识别的类别(即，属类型)的权重。
因此，对于卷积图像中的每个空间位置(i,j)，我们可将最后一个卷积层中的内核k处的图像的特征图表示为fk(i,j)，并且将类别c的每个内核的权重表示为wc k，然后计算表达式，
Mc(i,j)＝∑kwc kfk(i,j)， (1)。
Mc(i,j)本质上是在进行分类时计算卷积图像中每个特征图的重要性。随后，卷积图像中的Mc(i,j)值被投影回到原始图像中的对应像素上以创建热图。
Mc(i,j)值越高，对应热图中的那些对应像素的颜色越暖。这些是图像内主要用于做出分类决策的像素。因此，在分析热图时，如果大多数较高强度像素属于蚊虫图像的关键解剖组成部分，则人们能够相信模型已经过充分训练，如下文详细说明的。
在图3中，本公开特别突出显示了所有三个属类别伊蚊属300、按蚊属315和库蚊属320内的每个解剖结构的一个代表性热图图像。图3显示，无论背景、相机或图像质量如何，具有最高强度的像素都集中于图像的解剖组成部分。
关于每个解剖模型的分类精度的结果都已被独立地审查。回想一下，这个过程开始于具有来自3250个蚊虫图像的3064个胸部图像、2757个腹部图像、4459个翅膀图像和5533个腿部图像的至少一个图像数据集，所述蚊虫图像分别属于三个属-伊蚊属100、300，按蚊属115、315和库蚊属120、320。随后，相应地分离出这些图像的20％和10％以进行验证和测试。
验证精度和测试精度：表5汇总了四个基于解剖结构(胸部、腹部、翅膀和腿部)的模型中的每一者的结果，所述模型被训练来预测给定蚊虫图像的属类别。所呈现的分类精度是在连续30轮内验证损失没有减少(在此之后，训练结束)的分类精度。表中所呈现的分类精度显示了每个类别的召回(每个类别内正确识别的图像的比例)值。胸部、腹部、翅膀和腿部模型在测试数据集上的ROC(接收者操作特性)曲线的AUC(曲线下面积)值分别为0.90、0.86、0.82和0.76。AUC值等于分类器将随机选择的正实例排在比随机选择的负实例更高的排名处的概率(假设‘正’排在比“负”更高的排名处)。图4示出了混淆矩阵400并且图5示出了每个解剖模型的测试集的ROC曲线500。
所有4个基于解剖结构的模型的综合结果：本部分通过组合基于解剖结构的模型的输出来呈现所述模型的综合属分类结果。为了实现这一点，该模型从测试数据集中随机选择了300个均匀分布在三个属中的蚊虫图像。接着，目标是使用相应的解剖模型来计算每个解剖图像属于特定属-伊蚊属100、300，按蚊属115、315和库蚊属120、320的概率。一旦从每个解剖模型中收集到独立的属概率，就会接着进行软投票[8]技术来做出最终的分类决策。在软投票技术中，将从每个解剖模型获得的每个属类别的概率聚合，并且无论哪个类别取得最高概率都被选择为最终的属类别。这种方法对从测试数据集中选择的300个蚊虫样本实现了91.3％准确率。
图6示出了混淆矩阵600并且图7示出了每个解剖模型的测试集的ROC曲线700。ROC曲线的AUC值为0.93。
表5：验证和测试集准确率
解剖结构 验证集(％) 测试集(％)
胸部 88.41 87.33
腹部 81.05 81
翅膀 78.18 75.80
腿部 70.61 68.02
关于结果的讨论：在编写我们的结果时，我们取得了一些有意思的观察。首先，根据所有四个模型在训练、验证和测试图像上计算的准确率几乎相同，如表5所示。这表明所述模型是稳健的，并且既不会过度拟合也不会欠拟合，这是任何机器学习模型中最常见的两个问题。其次，本公开认识到，减小数据的偏差性的成本敏感的学习有助于我们从图4至图7所示的ROC曲线中获得更高的AUC值。从每个模型导出的混淆矩阵对于按蚊属115来说具有更高的精度。一般来说属实的是，对于专家来说，即使视觉辨别按蚊(一种疟疾媒介)也是容易的，因为它的胸部、腹部呈黑色，而且有带黑点的不同翅膀。由于其深色颜色，伊蚊100通常会与按蚊混淆。同样，伊蚊会与库蚊120混淆，因为黑斑伊蚊种看起来与库蚊属相似。第三，集成模型的表现优于每个独立的解剖模型以及本文讨论的先前的模型。本文的示例显示了经设计、训练和评估的基于解剖结构的深度神经网络模型根据智能手机图像进行蚊虫属分类的结果。神经网络模型是基于双线性CNN架构，所述架构有助于克服类内方差低的问题。另外，解剖结构分割使得模型在不同背景以及较差的相机和图像质量下具有稳健性。这些结果以及应当在其中解释结果的正确背景使人们相信所提出的系统确实是实用的。
因此，本公开展示了一种从蚊虫图像中提取解剖组成部分的深度神经网络框架，所述解剖组成部分诸如但不限于胸部、翅膀、腹部和腿部。该技术是基于图8的Mask R-CNN800的概念，其中人工智能根据图像802迭代地学习特征图808，在前景组成部分周围置放锚点(在图中被示出为边界框812，但可为任何形状)，之后对与锚点内的解剖组成部分相对应的像素进行分割820和分类824。在一些实施方案中，本公开的结果显示，当在能够收集用于对蚊虫分类的描述性形态标记的背景下解释时，该技术是有利的。
CNN和相关联术语的一般性讨论可参见以下引用的众多参考文献。例如，参考文献12(Stewart)解释了如何将由多个内核(加权矩阵)构成的过滤器卷积到原始图像上，以创建具有多个层和适应性数据密度的特征图。Shepard解释了使用特征图来通过诸如最大池化的技术将某些层池化，这会用最大值分离出那些特征图以降低复杂性。修正非线性单元(Re-LU)数据集被添加到特征图，以在从一个像素到下一个像素的变化低于过滤阈值时识别应当被考虑在内但却被遗漏的区域。用非常简单的话来说，Re-Lu是对图像发挥作用以产生可附加到如图8所示的特征图的层的激活函数。一般来说，在一些非限制性实施方案中，Re-LU可在相应的输出矩阵索引处保留特定的过滤器值，或者如果所述特定的索引值为负则插入零。因此，卷积神经网络的总体概念并入了卷积层作为原始图像的特征图、池化层和用于增加细节的ReLU层、以及作为组合起来的数据丰富的输出的全连接层。如参考文献12(Stewart)处所述，全连接层(诸如图8的非限制性示例中所示的那些)将所有信息聚合成最终复制图像。
本公开提出了一种系统来设计最先进的AI技术，即基于以掩模区域为基础的卷积神经网络的技术，以从数字图像中提取蚊虫的解剖组成部分并且基于属、种和其他分类标准而将它们永久存档。使用本公开的技术的调研人员已经生成了近30,000个蚊虫数字图像(经由智能手机拍摄)，所述数字图像基于属种类型进行了标注。一旦提取了感兴趣的解剖结构，本公开就提出新的AI技术来设计可辨别蚊虫的属种类型的模型。如果本文描述的方法和系统受到公民和专家的欢迎，并且如果调研机构可动员昆虫学家使用这些技术，则大家都会期望在全球范围内加大工作力度以包括更多的蚊虫类型，并且随着时间的推移而改进模型。
在一些方面，本公开涉及使用数字图像分析来识别昆虫样本的种的计算机化设备、计算机实施的方法和计算机化系统，所述昆虫样本诸如但不限于蚊虫。本公开提出了一种系统，其中用户(专家或普通公民)使用智能手机拍摄蚊虫或其他害虫的照片，然后立即将图像连同智能手机的GPS信息数据一起发送到中央服务器。
服务器将实施本公开中描述的算法以：a)识别蚊虫的属；b)识别蚊虫的种；c)将图像的主体部分分成感兴趣对象，如翅膀、腿部、喙、腹部、盾片等；d)向用户回馈有关种属的反馈，以及关于该物种携带什么疾病的信息，以及更有趣的如飞行范围等信息。潜在用途是蚊虫识别，因为它现在是一个令人痛苦且认知要求很高的问题。学区也可使用这个软件应用程序来向孩子们传授生物学和其他科学领域知识，因为这类科学分析技能最终在许多地区的学校里可能都是强制性的。国防和国土安全机构以及其他政府机构可能认识到了对本文描述的计算机化应用程序的需求。
本公开的一个非限制性价值主张是能够绕过人类(其目前透过显微镜观察)分类，并且替代地使用数字相机和所提出的技术来对属种类型进行自动分类。第二个价值主张是具有大规模的带有标注的公民和专家生成图像的系统能够开始对全球范围内的蚊虫的解剖结构进行数字化。这个数据库可为蚊虫，以及尤其是媒介监测方面的培训和全球信息共享带来无可估量的价值。
尽管本文详细解释了本公开的示例实施方案，但应当理解，可设想其他实施方案。因此，本公开不意图在其范围上受限于以下描述中所阐述或附图中所示出的部件的构造和布置的细节。本公开能够有其他实施方案并且能够以各种方式实践或实施。例如，测试结果和示例全部涉及根据从数字图像中提取的蚊虫性状和特征来识别蚊虫的属种。然而，在本公开中利用和要求保护的技术和概念不限于蚊虫，而是可与用于其他动物、人类、植物等的其他种类的识别过程一起使用。
ResNet已经大体上描述于He,Kaiming、Xiangyu Zhang、Shaoqing Ren和JianSun.“Deep residual learning for image recogni tion.”出自Proceedings of theIEEE conference on computer vis ion and pattern recognit ion，第770页至第778页.2016，所述参考文献以引用的方式整体并入，就好像在本文中完整阐述一样并且引用为参考文献33。ResNet的部分特征是具有非常深的网络，并且引入了残差连接以取得从上一层到下一层的输入。残差连接有助于通过检测卷积层之间的最小差异来解决梯度消失问题。下一个步骤是设计对象检测器网络，所述对象检测器网络进行三项任务：根据相应的解剖结构对边界框210、220、230、240进行分类；收紧框；以及生成每个解剖组成部分的掩模818(即，逐像素分割820)。在构建对象检测器网络的架构时，本公开的非限制性示例使用了逐像素s igmoid和二元交叉熵损失函数(以识别“k”个解剖组成部分)并且严格地训练它们。
如图8所示，本文的系统和方法包括应用边界框817，所述边界框针对图像的相应特征，诸如在本公开的示例中的蚊虫身体的相应解剖部分调节来标记特征图808。边界框812、817是根据区域提议网络816针对每个感兴趣特征来组织。如上所述，附图的示例不是限制性的，因为边界框可采用任何形状，包括但不限于矩形。在一个非限制性示例中，如参考816处所示基于计算机驱动系统而提出边界框812、817，所述计算机驱动系统从训练集中学习到，如果卷积图像层的特定区域中出现梯度，则相应的卷积图像层的像素的梯度变化可能对应于特定解剖特征。所述系统和方法利用回归过程、损失理论和从一个特征图到下一个特征图的反馈，以使边界框越来越精确，并且更适应于一个感兴趣特征(例如，昆虫的胸部、腿部、腹部、翅膀)。建议的像素分离或分割对应于这些感兴趣特征。
在某些非限制性实施方案中，边界框812、817针对构成身体部位的相应的解剖像素集进行磨合的过程与对齐过程814配对，所述对齐过程确保区域提议网络816的输出仍然与原始特征图808中显示的轮廓匹配。一旦完成这种对齐，且如图8的非限制性示例所示，本文公开的系统和方法在第二卷积神经网络818中进行掩蔽操作或像素提取。第二卷积神经网络提供分割图像820，其中某些示例产生了对应于昆虫的胸部、腹部、翅膀和腿部的解剖像素。通过区域提议网络816应用的边界框812的输出还会被馈送到全连接神经网络层822。值得注意的是，第二卷积神经网络818利用被过滤的卷积层，使得进行卷积的数据层内的每个“神经元”或矩阵索引被单独地计算并且更为稀疏。全连接层822更紧密地跟踪每个先验层并且数据更为丰富。最后一个全连接层被传输到分类器824和边界框回归器826两者。全连接层822实际上是逐层地，逐个神经元地相互连接，如箭头所示。最后的全连接层834是输出层并且包括所有层的所有数据。在分开的并行操作中，边界框回归器826和分类处理器824被应用于第一卷积神经网络806和/或第二卷积神经网络818的每个层。边界框回归器826利用误差函数分析来更准确地围绕相应的感兴趣特征回归地收紧边界框812。这种反馈回路850确保区域提议网络816的边界框812、817提供对于特征图808所探索的每个特征都不同的卷积图像层。分类器824提供自动计算机化过程以识别和标示相应的解剖像素集828，从而对来自原始图像802的对象昆虫的每个解剖部位进行标识。
所述系统利用处理器或其他计算机来将锚点812、817应用于特征图808，其中锚点标识特征图中的含有相应身体部位的相应解剖像素的相应图像数据层的部分。换句话说，特征图可为多维图像数据层，并且所述系统可对从第一卷积神经网络806产生的单独图像数据层或多组图像数据层进行操作。锚点可采用任何多边形的形式，所述多边形为图像、特征图或图像数据层内的期望的解剖像素集划定边界。在一个非限制性示例中，锚点是由计算机处理器生成并在图形显示单元上显示为在图像内或叠加在所述图像上的边界框。软件还包括对齐功能814，以将上面具有锚点812、817的层与原始特征图对齐。
所述系统使用这些锚点来生成掩模818A，所述掩模对相应的图像数据层中的相应的解剖像素进行分割。生成掩模可包括将第二卷积神经网络818B应用于相应层，其中第二卷积神经网络根据对应的各个身体部位来分割解剖像素。
掩模允许从已应用第一卷积神经网络806的相应层中提取全连接层822，并且所述系统还被配置用于将全连接层应用于回归器网络826和分类网络824，其中生成用于分割的掩模、将全连接层应用于回归器网络和将全连接层应用于分类网络是由软件进行的并行操作。在某些非限制性实施方案中，生成掩模包括将第二卷积神经网络应用于相应层，其中第二卷积神经网络根据对应的各个身体部位来分割解剖像素。
在一些非限制性实施方案中，并行操作同时发生。
回归器网络826是由计算机实施来计算关于相应层中的锚点的迭代位置的误差值的软件程序。所述系统将误差值用于反馈回路850中以围绕对应于相应身体部位的解剖像素收紧锚点812、817。回归器网络和相关联的计算机实施的软件计算关于相应层中的锚点的迭代位置的误差值，并且其中误差值来源于二元交叉熵损失函数或焦点损失函数。
锚点812、817可为边界框或任何其他形状，其源自接收特征图808作为相应的图像数据层的区域提议网络816，并且反馈回路850将误差值从回归器网络826传输到区域提议网络816以将框收紧到对应于相应身体部位的适当像素上。区域提议网络是一种图像处理软件实现方式，它利用来自特征图的数据来预测含有对应于昆虫身体部位的解剖像素的可能的图像和图像层部分。
分类网络824是由计算机实施来用于生成分类输出图像828的软件工具，并且在一些实施方案中，这些分类输出图像包括原始图像的更新版本，所述更新版本在其中具有边界多边形812、817，在上面有解剖组成部分名称的标签，以及甚至如表中所示的可能有助于属种识别的色彩编码。本文的示例实施方案显示，所述系统能识别诸如蚊虫的昆虫和解剖组成部分名称，包括对应于相应身体部位的翅膀、腿部、胸部和腹部。在一些非限制性实施方案中，分类网络利用逐像素s igmoid网络。在非限制性使用中，所述系统对存储分类网络的测试输出的数据库进行填充，其中输出包括上面带有解剖组成部分名称标签的图像版本，并且其中数据库存储相应的属种信息和与相应的属种有关的对应数据。
系统实施方案可由至少一个计算机实施，所述至少一个计算机执行从图像中提取与活体生物的解剖组成部分有关的信息的计算机化方法。图像可包括昆虫或其他动物或甚至无生命对象的数字图像，其中数字图像包括来自样本正上方以及来自相对于保持相应样本的背景成侧向的角度的相应昆虫、动物或无生命对象的视图。通过用一组训练图像(用计算机化算法进行分割)训练基于掩模区域的卷积神经网络，所述方法通过在设置的精度上识别地面实况解剖组成部分来开始。本公开中使用的卷积神经网络的训练通常包括对训练图像中的相应解剖组成部分进行分类，并且将训练图像与地面实况图像进行比较。通过收紧包围数字图像中解剖组成部分的边界框，所述方法学习如何最大化以下操作的效率和精度：最终生成用于提取第二图像集合(诸如先前已创建的特征图)的信息的掩模。为了形成地面实况图像，计算机化算法可利用被配置用于手动操作的图像注释器工具。训练迭代地更新指向训练数据集中的解剖像素的超参数。这种方法在跟踪、识别和存档昆虫的多个属中多个种的属种识别数据方面有着可靠的记录。
在一个非限制性实施方案中，用于识别昆虫的属种的系统200包括使用成像装置，诸如上述“智能”手机和收集数字图像的计算机装置之一。这些装置被配置为以方便的方式生成所讨论的昆虫的图像250，甚至可能由非专业人士进行。计算机处理器902连接到存储软件中的计算机实施的命令的存储器904。存储器904接收图像250并且软件对相应图像实施计算机化方法。所述方法包括以下步骤：使用计算机900、计算机处理器902、计算机存储器904以及甚至联网的计算机资源来将第一卷积神经网络205应用于相应图像以基于相应图像中对应的图像位置处的解剖像素而至少产生第一特征图210和第二特征图220。解剖像素对应于昆虫的身体部位。然后，计算机900继续计算第一特征图与第二特征图的外积，并且从第一特征图210和第二特征图220形成集成特征图230。本公开的人工智能被编程为从已应用第一卷积神经网络的相应的集成特征图集合中提取全连接层822。通过将全连接层应用于分类网络，可识别昆虫的属种。
卷积神经网络在根据用户所设置的标准和阈值收敛的环路中操作，因此本公开的计算机被配置为至少计算贯穿每个收集图像的多个对应的图像位置的相应的第一特征图210和相应的第二特征图220。这允许所述系统根据相应的第一特征图与相应的第二特征图计算相应的外积，并且根据外积产生相应的集成特征图230。多个对应的图像位置共同包括相应图像中的指定数量的像素，所述相应图像由成像装置收集并且调整尺寸以至少包括指定数量的像素。如上所述，第一特征图和第二特征图选自第一卷积神经网络内的不同计算层。
在另一个非限制性实施方案中，一种用于识别昆虫的属种的系统包括被配置为生成昆虫的图像的成像装置。计算机处理器连接到存储器，所述存储器存储软件中的计算机实施的命令，并且所述存储器接收图像250、802，其中软件通过以下方式来实施计算机化方法：将第一卷积神经网络205应用于相应图像250、802以至少产生第一特征图210，所述第一特征图涉及相应图像250、802中对应的图像位置处的解剖像素；并且解剖像素对应于昆虫的身体部位。还将第二卷积神经网络818应用于相应图像以至少产生第二特征图，所述第二特征图涉及相应图像中对应的图像位置处的解剖像素，所述解剖像素对应于昆虫的身体部位。所述系统计算第一特征图与第二特征图的外积，从而从第一特征图和第二特征图形成集成特征图230。如上所述，集成特征图各自可为一维特征图。通过从已应用第一卷积神经网络和第二卷积神经网络的相应的集成特征图集合中提取全连接层，分类网络824可被配置用于识别昆虫的属种。在此非限制性实施方案中，所述系统通过以下方式将两个卷积神经网络205、818应用于整个图像：计算多个对应的图像位置(图像内解剖像素的子集)的相应的第一特征图和相应的第二特征图，根据相应的第一特征图与相应的第二特征图计算相应的外积，并且根据外积产生相应的集成特征图。多个对应的图像位置共同包括整个图像或覆盖相应图像中的指定数量的像素，所述相应图像由成像装置收集并且调整尺寸以至少包括指定数量的像素。在非限制性实施方案中，第一特征图和第二特征图选自相应的卷积神经网络内的不同计算层。
将相应的权重应用于第一特征图和第二特征图可在卷积神经网络的计算中提供更均等的类别表示分布。在此方面，对于少数类别图像，权重可为较高的权重。由所述系统实施的方法可包括在所述方法的持续时间内冻结相应的权重。在任何情况下，所述系统都能访问第一卷积神经网络和第二卷积神经网络中的每一者的上文讨论的有效性和误差分析，并且所述系统可包括用于将相应的学习率降低共同倍数的计算机实施的指令，所述共同倍数取决于错误率阈值。
本公开并入了一种识别昆虫的属种的计算机化方法，所述方法可通过存储在服务器、计算机或用于存储计算机程序产品的计算机指令的任何非暂时性计算机可读介质上的计算机化指令来执行。所述方法包括以下步骤：获取昆虫的图像并且将来自图像的像素数据存储在与计算机处理器进行数据通信的计算机存储器中；以及使用计算机处理器来执行所述方法的步骤。所述步骤包括但不限于：将至少一个卷积神经网络应用于相应图像以基于相应图像中对应的图像位置处的解剖像素而至少产生第一特征图和第二特征图，所述解剖像素对应于昆虫的身体部位；计算第一特征图与第二特征图的外积；从第一特征图和第二特征图形成集成特征图；从已应用第一卷积神经网络的相应的集成特征图集合中提取全连接层；以及将全连接层应用于分类网络以识别昆虫的属种。
计算机处理器还可被配置为进一步执行额外步骤，包括计算每个特征图在已成为分类网络的对象的输出图像中的重要性系数，以及使用具有最高重要性系数的所选输出图像，将所选输出图像与相应图像进行比较以评估分类网络的精度水平。
总体而言，本公开被配置用于应用至少一个卷积神经网络，所述至少一个卷积神经网络可包括但不限于至少一个如上文所描述的双线性卷积神经网络。双线性卷积神经网络包括应用第一特征图和第二特征图来识别图像中的相应特征，以及在将全连接层应用于分类网络之前将池化函数应用于双线性卷积神经网络的输出。在一些非限制性实施方案中，所述方法包括在验证精度收敛于阈值时停止至少一个卷积神经网络的应用。所述方法可部分地且非限制地表征为将至少一个卷积神经网络应用于相应的解剖像素集，其中相应的集中的每一者对应于昆虫的相应的身体部位。所述系统将对应于相应的解剖像素集的多个输出进行合并，并且使用多个输出来对属种分类做出综合决策。
在示例实现方式中，活动的至少一些部分可在网络装置上提供的软件中实施。在一些实施方案中，这些特征中的一个或多个可在计算机硬件900中实施，在这些元件的外部提供，或者以任何适当的方式合并以实现预期的功能性。各种网络元件可包括：软件(或交互式软件(reciprocat ing software))，所述软件可协调跨诸如时间、幅度、深度等域进行的图像产生；以及各种分类措施，所述分类措施检测跨图像数据帧的移动并且进一步检测视野中的特定对象以便实现如本文所概述的操作。在再一些其他实施方案中，这些元件可包括任何合适的算法、硬件、软件、部件、模块、接口或有助于其操作的对象。
另外，本文描述和示出的计算机系统(和/或其相关联的结构)还可包括用于在网络环境中接收、传输和/或以其他方式传送数据或信息的合适的接口。此外，与各种节点相关联的处理器902和存储器元件904中的一些可被移除，或者以其他方式合并，使得单个处理器和单个存储器元件负责某些活动。在一般意义上，图中所示的布置在其表示方式上可能更合乎逻辑，而物理架构可包括这些元件的各种排列、组合和/或混合。必须注意到，可使用无数可能的设计配置来实现在此处概述的操作目标。因此，相关联的基础结构具有无数的替代布置、设计选择、装置可能性、硬件配置、软件实现方式、设备选项等。
在一些示例实施方案中，一个或多个存储器元件(例如，存储器)可存储用于本文描述的操作的数据。这包括存储器能够将指令(例如，软件、逻辑、代码等)存储在非暂时性介质中，使得指令被执行来实施本说明书中描述的活动。处理器可执行与数据相关联的任何类型的计算机可读指令，以实现本说明书中在此详述的操作。在一个示例中，处理器(例如，处理器)可使元件或项(例如，数据)从一种状态或事物转变为另一种状态或事物。在另一个示例中，本文概述的活动可用固定逻辑或可编程逻辑(例如，软件/由处理器执行的计算机指令)实施，并且本文标识的元件可为某种类型的可编程处理器、可编程数字逻辑(例如，现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))、包括数字逻辑的ASIC、软件、代码、电子指令、快闪存储器、光盘、CD-ROM、DVD ROM、磁卡或光卡、适合于存储电子指令的其他类型的机器可读介质、或其任何合适的组合。
这些装置还可在适当时并基于特定需求而将信息保存在任何合适类型的非暂时性存储介质912(例如，随机存取存储器(RAM)、只读存储器(ROM)、现场可编程门阵列(FPGA)、可擦除可编程只读存储器(EPROM)、电可擦除可编程ROM(EEPROM)等)、软件、硬件或任何其他合适的部件、装置、元件或对象中。本文讨论的任何存储器项应当被解释为涵盖在广义术语‘存储器元件’内。同样，本说明书中描述的任何潜在的处理元件、模块和机器应当被解释为涵盖在广义术语‘处理器’内。参见图9的示意性示例，其示出了输入装置908A(诸如上文描述的成像装置)和输出装置908B(诸如智能手机)的计算环境。这种计算机环境适合各种网络和云连接，如参考906处所示。
上文引用的技术也可用于识别蚊虫幼虫的属种。蚊虫经历众所周知的从卵到幼虫(蜕皮阶段)，到蛹(蛹壳内的生长阶段)，到成虫(飞行觅食和繁殖)的发育阶段，其中卵、幼虫和蛹阶段发生在水中。如果对幼虫进行适当分析，就可及早识别一群被称为“祸害”的蚊虫，并且大大地增加进行环境修复以防止对人类和其他动物造成伤害的可能性。因此，幼虫提供了在进程的早期识别蚊虫侵扰的属种以防止疾病传播的机会。
在蚊虫幼虫的图像上使用上文描述的神经网络的一个实施方案并入了人工智能(AI)和/或机器学习(ML)方法以根据数字图像对蚊虫幼虫(或任何其他昆虫)进行基于解剖结构的分类。计算机化方法的初始步骤包括单独处理每个解剖组成部分的像素，其中解剖组成部分表示昆虫的头部、胸部、腹部、鞍板、毛发、触角等。所述处理经由卷积神经网络架构来完成以标识特定类别的蚊虫仅有的特定解剖组成部分的特征图。
所述处理经由卷积神经网络架构来完成以标识特定类别的蚊虫仅有的特定解剖组成部分的特征图，如图10所示。图10示出了每一种类别的蚊虫在其头部、胸部和腹部区域中可如何具有可识别的特性。头部可显示眼睛1002和触角1004。胸部具有明显的毛发，并且腹部具有I、II、III、IV、V、VI、VII、VIII节段以及末端腹节，诸如肛刷1006、肛鳃1008、鞍板1010和管形突1012。所述方法包括单独地将边界(定位)框放置在每个解剖组成部分上，其中解剖组成部分表示昆虫的头部、胸部、腹部等。图11A、图11B和图11C分别示出了针对蚊虫身体上全部有毛发的幼虫全身、全部有毛发的幼虫尾部以及全部有毛发的头部和胸部的边界框。图11A包括对幼虫头部1101、胸部1102、腹部1103、梳尺(comb scales)1104、鞍板1105、腹刷1106、肛乳突1107、栉突(pect in)1108和管形突1109的注释。图11B包括用于下腹和末端腹节的边界框，包括梳尺1104、鞍板1105、腹刷1106、肛乳突1107、栉突1108和管形突1109。图11C包括用于幼虫头部1101和胸部1102的不同边界框。
接着，一种方法并入了针对同一类别的蚊虫经由不同的卷积神经网络架构处理同一解剖组成部分的像素或边界框中的像素，以标识单独像素和边界框两者的不同特征图。通过集成像素和边界框两者的这两个不同的特征图，计算机实施AI和/或ML以学习经由双线性CNN架构根据一个特定解剖组成部分来对特定类别的幼虫进行分类。因此，计算机被训练来输出根据特定解剖组成部分识别特定类别的幼虫的分类概率。
在一个非限制性实施方案中，计算机化方法包括针对待识别的每一种类别的幼虫的每个解剖组成部分单独地重复上述过程。接着，计算机经由每个解剖组成部分通过对该特定解剖组成部分实现适当的权重根据上下文整合幼虫的分类概率，以输出最终加权的(即，基于解剖结构的)分类。在本公开的附图中所示的一些非限制性示例中，将根据待识别的昆虫调节权重(例如，将不同权重用于蚊虫、蜜蜂、黄蜂、蝴蝶等幼虫)。具有最高加权概率的类别是在完成所有上述步骤之后对特定图像分配标签的类别。相同的步骤将识别幼虫的属种(以及潜在的亚种/品系)的类别。图18中示出了整体架构以及这个架构(和j)的超参数。
因此，相同的步骤将识别幼虫的性别，例如通过检测一个节段中的雄性性腺或不同的适当节段中的雌性生殖器来进行。这种通过图像自动区分雄性与雌性幼虫的能力优于常规方法(例如，在成虫阶段的先遗传后区分方法)，并且将为医药和农业带来巨大的商业化潜力14。例如，沃尔巴克氏体不相容和不育昆虫技术是每年产生数十亿美元的经济效益的数十亿美元的产业15。最近，发布了一项突破性的沃尔巴克氏体研究(Utarini等人，202115)，所述研究增加了本公开的商业化潜力和紧迫性两者。
相同的步骤将识别幼虫的生命阶段，特别是通过区分三龄虫与四龄虫，例如，通过检测前一阶段的宽硬化颈圈(col lar)来进行。这种能力特别有用，因为只有三龄虫才对可摄入的杀幼虫剂(如广泛使用的Bt i16)敏感，这是因为四龄虫会停止进食。这将为农药行业以及世界各地的众多蚊虫控制组织(仅美国就有约2,000个)带来引人注目的商业化潜力。
计算机实施的方法、系统和计算机程序产品可被描述为用于根据数字图像对蚊虫幼虫(或任何其他昆虫)进行基于解剖结构的分类的几何形态测量方法(GMM)。在一个非限制性实施方案中，所述方法可包括对整个解剖结构和刚毛(毛发)起始处进行同源界标标注和半界标标注(图12)，以对某些类别的数据(例如，属、种、性别、生命阶段、蜕变、保存方法和平均样本形状)进行统计分析。换句话说，根据本公开的神经网络可实施人工智能和机器学习来并入以下结果：
a.整个解剖结构和刚毛(毛发)起始处的同源界标标注和半界标标注(图12)，其用于以下类别的统计分析：
b.识别幼虫的属种(以及潜在的亚种/品系)。参见图14，例如按蚊属的斯氏按蚊和冈比亚蚊种的性状。
c.识别幼虫的性别。
d.识别幼虫的生命阶段。
e.识别整个蜕变(幼虫、蛹和成虫阶段)中的独特的形态变异性和个体发育趋势。
f.识别由于保存方法(乙醇与热处理/乙醇/甘油)所致的形态变化
g.对上文描述的子类别的平均样本形状进行估计。
本公开包括人工智能和几何形态测量方法的集成。在AI识别最关键的边界框和/或像素(类别激活图(CAM))之后，计算机处理器对关键的框/解剖组成部分进行GMM分析以便解释AI框/类别激活图结果的解剖学发现。在放置GMM界标(在关键的框/组成部分或整个昆虫中)之后，所述系统允许用户选择并指定AI算法来分析这些界标，以便识别属/种。这是可能的，因为人工智能和几何形态测量方法的组合已被开发来再次选择和/或优化界标的位置，以随后对属/种进行基于GMM的识别。一旦确定了界标的位置，所述系统就会利用图像辨别算法来使这些界标的放置自动化。如图12所示，本公开的系统、方法和产品可识别界标(在昆虫幼虫的轮廓内部编号)和半界标，它们是用带圆圈的编号直接在昆虫幼虫的轮廓上注释的更小、更微妙的标识符。因此，本文描述的计算机实施的方法、计算机化系统和计算机程序产品允许比较和记录分类精度，并且呈现实践中的使用场景。在此方面，描述至少一个实施方案的一种方式是软件应用程序使用针对不同标准和AI主导的GMM算法估计的平均参考样本对来自照片的样本进行实时界标标注和GMM。
还必须注意，除非上下文另有明确指明，否则如在本说明书和所附权利要求中所用，单数形式“一个/种(a/an)”和“所述”包括复数个指代物。所谓“包含”或“含有”或“包括”意指至少指定的化合物、元素、颗粒或方法步骤存在于组合物或制品或方法中，但不排除其他化合物、材料、颗粒、方法步骤的存在，即使其他此类化合物、材料、颗粒、方法步骤具有与所命名的那些相同的功能。
范围在本文中可表述为从“约”或“大约”一个特定值到“约”或“大约”另一个特定值。当表述这种范围时，示例性实施方案包括从一个特定值到另一个特定值。如本文所用，“约”或“大约”通常可意指在给定值或范围的20％以内，优选地在10％以内，且更优选地在5％以内，并且还可包括确切的值或范围。本文给出的数值数量可为近似值，这意味着如果没有明确说明，则可推断出术语“约”或“大约”。
在描述示例实施方案时，为了清楚起见才采用术语。每个术语意图涵盖其如本领域技术人员所理解的最广泛的含义，并且包括以类似方式操作来实现类似目的的所有技术等同物。还应当理解，对方法的一个或多个步骤的提及并不排除在明确标识的那些步骤之间存在额外的方法步骤或中间方法步骤。在不脱离本公开的范围的情况下，方法的步骤可以与本文描述的那些不同的顺序执行。同样，还应当理解，对装置或系统中一个或多个部件的提及并不排除在明确标识的那些部件之间存在额外的部件或中间部件。
参考文献
[1]Nathan D Burkett-Cadena.2013.Mosquitoes of the southeastern UnitedStates.University of Alabama Press。
[2]Jia Deng、Wei Dong、Richard Socher、Li-Jia Li、Kai Li和Li Fei-Fei.2009.Imagenet:A large-scale hierarchical image database.出自2009IEEEconference on computer vision and pattern recognition.Ieee,248-255。
[3]Xavier Glorot和Yoshua Bengio.2010.Understanding the difficulty oftraining deep feedforward neural networks.出自Proceedings of the thirteenthinternational conference on artificial intelligence and statistics.249-256。
[4]Kaiming He、Georgia Gkioxari、Piotr Dollár和Ross Girshick.2017.Maskr-cnn.出自Proceedings of the IEEE international conference on computervision.2961-2969。
[5]Sergey Ioffe和Christian Szegedy.2015.Batch normalization:Accelerating deep network training by reducing internal covariate shift.arXivpreprint arXiv:1502.03167(2015)。
[6]Tsung-Yu Lin、Aruni RoyChowdhury和Subhransu Maji.2015.Bilinear cnnmodels for fine-grained visual recognition.出自Proceedings of the IEEEinternational conference on computer vision.1449-1457。
[7]Nitish Srivastava、Geoffrey Hinton、Alex Krizhevsky、Ilya Sutskever和Ruslan Salakhutdinov.2014.Dropout:a simple way to prevent neural networksfrom overfitting.The journal of machine learning research 15,1(2014),1929-1958。
[8]Antanas Verikas、Arunas Lipnickas、Kerstin Malmqvist、MarijaBacauskiene和Adas Gelzinis.1999.Soft combination of neural classifiers:Acomparative study.Pattern recognition letters 20,4(1999),429-444。
[9]Yuan Yao、Lorenzo Rosasco和Andrea Caponnetto.2007.On early stoppingin gradient descent learning.Constructive Approximation 26,2(2007),289-315。
[10]Manzil Zaheer、Sashank Reddi、Devendra Sachan、Satyen Kale和SanjivKumar.2018.Adaptive methods for nonconvex optimization.出自Advances in neuralinformation processing systems.9793-9803。
[11]He,Kaiming、Xiangyu Zhang、Shaoqing Ren和Jian Sun."Deep residuallearning for image recognition."出自Proceedings of the IEEE conference oncomputer vision and pattern recognition，第770页至第778页，2016。
[12]Stewart,Matthew博士，Simple Introduction to Convolutional NeuralNetworks，出自Towards Data Science，地址为https://towardsdatascience.com/ simple-introduction-to-convo lutional-neural-networks-cdf8d3077bac。
[13]Emami,S.N.等人，Morphological Method for Sexing Anopheline Larvae,Journal of Vector Borne Disease，2007年12月，第245页至第249页.“The sterileinsect technique(SIT)is currently being used for the control of some medicaland agricultural pests.The SIT relies on the rearing and release of largenumbers of genetically sterile insects into a wild population.In manyapplications of autocidal control,it would be efficient to separate the malesand females before release1.Avoiding assortative mating and any increase inthe size of the natural population,and elimination of females which may bedisease vectors or which cause damage to produce or livestock are somepossible uses of sexing for genetic control operations2.If one sex could beeliminated in the egg stage(pre-zygotic sexing)or larval-pupal stage(postzygotic sexing)it could result in enormous economic benefits in the massrearing and increase the efficiency of the field operations several fold1,3.Inthis case,twice as many insects(of one sex)could be produced with a givenexpenditure for diet and labour.”
[14]https://en.wikipedia.org/wiki/Sterile_insect_techn ique#Economic_benefits
[15]Utarini A、Indriani C、Ahmad RA、Tantowijoyo W、Arguni E、Ansari MR、Supriyati E、Wardana DS、Meitika Y、Ernesia I、Nurhayati I.Efficacy of Wolbachia-infected mosquito deployments for the control of dengue.New England Journalof Medicine.2021年6月10日；384(23):2177-86.https://www.nejm.org/doi/full/10.1056/NEJMoa2030243
[16]https://www.cdc.gov/mosquitoes/mosquito-control/community/bti.html

Claims (20)

1.一种用于识别蚊虫幼虫的属种的系统，所述系统包括：
成像装置，所述成像装置被配置为生成所述蚊虫幼虫的图像；
计算机处理器，所述计算机处理器连接到存储器，所述存储器存储软件中的计算机实施的命令，所述存储器接收所述图像，其中所述软件用相应图像实施以下计算机化方法：
将第一卷积神经网络应用于所述相应图像以基于相应图像中对应的图像位置处的解剖像素而至少产生第一特征图和第二特征图，所述解剖像素对应于昆虫的身体部位；
计算所述第一特征图与所述第二特征图的外积；
从所述第一特征图和所述第二特征图形成集成特征图；
从已应用所述第一卷积神经网络的相应的集成特征图集合中提取全连接层；以及
将所述全连接层应用于分类网络以识别所述蚊虫幼虫的所述属种。
2.如权利要求1所述的系统，所述系统还包括：计算多个对应的图像位置的相应的第一特征图和相应的第二特征图；根据所述相应的第一特征图与所述相应的第二特征图计算相应的外积；以及根据所述外积产生相应的集成特征图。
3.如权利要求2所述的系统，其中所述多个对应的图像位置共同包括对应于以下各者中的至少一者的像素：所述蚊虫幼虫的头部、所述蚊虫幼虫的胸部、所述蚊虫幼虫的腹部或所述蚊虫幼虫的末端腹节。
4.如权利要求1所述的系统，其中所述第一特征图和所述第二特征图包括来自涵盖所述蚊虫幼虫的末端腹节的数字图像的像素。
5.一种用于识别昆虫幼虫的属种的系统，所述系统包括：
成像装置，所述成像装置被配置为生成所述昆虫幼虫的图像；
计算机处理器，所述计算机处理器连接到存储器，所述存储器存储软件中的计算机实施的命令，所述存储器接收所述图像，其中所述软件用相应图像实施以下计算机化方法：
将第一卷积神经网络应用于所述相应图像以至少产生第一特征图，所述第一特征图涉及所述相应图像中对应的图像位置处的解剖像素，所述解剖像素对应于所述昆虫幼虫的身体部位；
将第二卷积神经网络应用于所述相应图像以至少产生第二特征图，所述第二特征图涉及所述相应图像中对应的图像位置处的解剖像素，所述解剖像素对应于所述昆虫幼虫的身体部位；
从所述第一特征图和所述第二特征图形成集成特征图；
将边界框应用于所述图像的部分；
从所述边界框识别感兴趣区域；
从已应用所述第一卷积神经网络和所述第二卷积神经网络的相应的集成特征图集合中提取全连接层；
将所述全连接层应用于分类网络以识别所述昆虫幼虫的所述属种。
6.如权利要求5所述的系统，所述系统还包括针对来自多个所述图像的所述感兴趣区域的多个实例计算相应的第一特征图和相应的第二特征图。
7.如权利要求6所述的系统，其中来自多个所述图像的所述感兴趣区域的所述多个实例包括对应于以下各者中的至少一者的相应像素集：所述昆虫幼虫的头部、所述昆虫幼虫的胸部、所述昆虫幼虫的腹部或所述昆虫幼虫的末端腹节。
8.如权利要求7所述的系统，其中所述昆虫幼虫是蚊虫幼虫。
9.如权利要求5所述的系统，其中所述集成特征图各自都是适用于所述昆虫幼虫上的相应的感兴趣区域的一维特征图。
10.如权利要求9所述的系统，其中所述相应的感兴趣区域是所述昆虫幼虫的末端腹部区。
11.如权利要求10所述的系统，其中所述一维特征图包括用于所述第一卷积神经网络和所述第二卷积神经网络中的超参数，并且其中所述分类网络包括用以识别所述相应图像上的界标和半界标的计算机实施的软件。
12.如权利要求11所述的系统，所述系统还包括将相应权重应用于所述第一特征图和所述第二特征图。
13.如权利要求11所述的系统，所述系统还包括识别所述相应图像的对应于以下各者中的至少一者的部分上的所述界标和半界标：所述昆虫幼虫的眼睛、所述昆虫幼虫的触角、所述昆虫幼虫的肛刷、所述昆虫幼虫的肛鳃、昆虫幼虫的梳尺、所述昆虫幼虫的腹刷、所述昆虫幼虫的肛乳突、所述昆虫幼虫的栉突、所述昆虫幼虫的鞍板和所述昆虫幼虫的管形突。
14.如权利要求5所述的系统，所述系统还包括对于所述第一卷积神经网络和所述第二卷积神经网络中的每一者，将相应的学习率降低共同倍数，所述共同倍数取决于错误率阈值。
15.一种识别昆虫幼虫的属、昆虫幼虫的种、昆虫幼虫的性别或昆虫幼虫的生命阶段中的至少一者的计算机化方法，所述方法包括：
获取昆虫幼虫的图像并且将来自所述图像的像素数据存储在与计算机处理器数据通信的计算机存储器中；
使用所述计算机处理器来执行所述方法的以下步骤：
将至少一个卷积神经网络应用于相应图像以基于相应图像中对应的图像位置处的解剖像素而产生具有超参数的多个特征图，所述解剖像素对应于所述昆虫幼虫上能够从所述图像识别的至少一个界标；
从所述多个特征图形成集成特征图；
从已至少应用第一卷积神经网络的相应的集成特征图集合中提取全连接层；以及
将所述全连接层应用于分类网络以根据对应于以下各者中的至少一者的解剖像素来对所述昆虫幼虫进行分类：所述昆虫幼虫的头部、所述昆虫幼虫的胸部、所述昆虫幼虫的眼睛、所述昆虫幼虫的触角、所述昆虫幼虫的肛刷、所述昆虫幼虫的肛鳃、昆虫幼虫的梳尺、所述昆虫幼虫的腹刷、所述昆虫幼虫的肛乳突、所述昆虫幼虫的栉突、所述昆虫幼虫的鞍板和所述昆虫幼虫的管形突。
16.如权利要求15所述的计算机化方法，其中所述计算机处理器还执行额外步骤，所述额外步骤包括：
计算每个特征图在已作为所述分类网络的对象的输出图像中的重要性系数；
使用具有最高重要性系数的所选输出图像，将所述所选输出图像与相应图像进行比较以评估所述分类网络的精度水平。
17.如权利要求15所述的计算机化方法，其中所述应用至少一个卷积神经网络的步骤包括应用至少一个双线性卷积神经网络，并且其中所述昆虫幼虫上的所述至少一个界标还包括所述昆虫幼虫上能够从所述图像识别的半界标。
18.如权利要求17所述的计算机化方法，其中应用所述双线性卷积神经网络包括应用第一特征图和第二特征图来识别所述图像中的相应特征，以及在将所述全连接层应用于所述分类网络之前将池化函数应用于所述双线性卷积神经网络的输出。
19.如权利要求15所述的计算机化方法，所述计算机化方法还包括在验证精度收敛于阈值时停止所述至少一个卷积神经网络的所述应用。
20.如权利要求15所述的计算机化方法，所述计算机化方法还包括：
将所述至少一个卷积神经网络应用于相应的解剖像素集，其中所述相应的集中的每一者对应于所述昆虫幼虫的相应身体部位，其中所述相应身体部位是所述昆虫幼虫的头部、所述昆虫幼虫的胸部、所述昆虫幼虫的眼睛、所述昆虫幼虫的触角、所述昆虫幼虫的肛刷、所述昆虫幼虫的肛鳃、所述昆虫幼虫的梳尺、所述昆虫幼虫的腹刷、所述昆虫幼虫的肛乳突、所述昆虫幼虫的栉突、所述昆虫幼虫的鞍板和所述昆虫幼虫的管形突中的一者；以及
使用多个输出并且对所述昆虫幼虫的所述属、所述昆虫幼虫的所述种、所述昆虫幼虫的所述性别或所述昆虫幼虫的所述生命阶段中的至少一者做出综合决策。
CN202280033139.9A 2021-04-01 2022-02-18 基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行分类的系统和方法 Pending CN117321570A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202163200883P 2021-04-01 2021-04-01
US63/200,883 2021-04-01
PCT/US2022/017089 WO2022211925A1 (en) 2021-04-01 2022-02-18 Systems and methods for classifying mosquito larvae based on extracted masks of anatomical components from images

Publications (1)

Publication Number Publication Date
CN117321570A true CN117321570A (zh) 2023-12-29

Family

ID=83456730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280033139.9A Pending CN117321570A (zh) 2021-04-01 2022-02-18 基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行分类的系统和方法

Country Status (4)

Country Link
US (1) US20240203151A1 (zh)
EP (1) EP4315037A1 (zh)
CN (1) CN117321570A (zh)
WO (1) WO2022211925A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210073692A1 (en) * 2016-06-12 2021-03-11 Green Grid Inc. Method and system for utility infrastructure condition monitoring, detection and response
US11263490B2 (en) * 2017-04-07 2022-03-01 Intel Corporation Methods and systems for budgeted and simplified training of deep neural networks
US10552663B2 (en) * 2017-05-02 2020-02-04 Techcyte, Inc. Machine learning classification and training for digital microscopy cytology images
EP3648586A2 (en) * 2017-07-06 2020-05-13 Senecio Ltd. Method and apparatus for sex sorting of mosquitoes
US10963742B2 (en) * 2018-11-02 2021-03-30 University Of South Florida Leveraging smart-phone cameras and image processing techniques to classify mosquito genus and species
US11048928B1 (en) * 2020-02-04 2021-06-29 University Of South Florida Systems and methods of entomology classification based on extracted anatomies

Also Published As

Publication number Publication date
EP4315037A1 (en) 2024-02-07
WO2022211925A1 (en) 2022-10-06
US20240203151A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
Huang et al. Deep learning versus Object-based Image Analysis (OBIA) in weed mapping of UAV imagery
Fan et al. Automatic tobacco plant detection in UAV images via deep neural networks
Luaibi et al. Detection of citrus leaf diseases using a deep learning technique
US11048928B1 (en) Systems and methods of entomology classification based on extracted anatomies
US20220104474A1 (en) Smart mosquito trap for mosquito classification
US20230071265A1 (en) Quantifying plant infestation by estimating the number of biological objects on leaves, by convolutional neural networks that use training images obtained by a semi-supervised approach
CN111652247A (zh) 一种基于深度卷积神经网络的双翅目昆虫识别方法
Moyazzoma et al. Transfer learning approach for plant leaf disease detection using CNN with pre-trained feature extraction method Mobilnetv2
Olsvik et al. Biometric fish classification of temperate species using convolutional neural network with squeeze-and-excitation
Minakshi et al. Leveraging smart-phone cameras and image processing techniques to classify mosquito species
Kumar et al. An identification of crop disease using image segmentation
Asmai et al. Mosquito larvae detection using deep learning
Martins et al. Deep learning applied to the identification of fruit fly in intelligent traps
Zeng Research on similar animal classification based on CNN algorithm
US20230077353A1 (en) Systems and Methods for Classifying Mosquitoes Based on Extracted Masks of Anatomical Components from Images
Marasović et al. Person classification from aerial imagery using local convolutional neural network features
CN116310541A (zh) 基于卷积网络多维度学习的昆虫分类方法及系统
CN117321570A (zh) 基于从图像中提取的解剖组成部分的掩模而对蚊虫幼虫进行分类的系统和方法
Kokatam et al. Prediction of Corn and Tomato Plant Diseases Using Deep Learning Algorithm
Sheikh et al. Deep Learning Approach using Patch-based Deep Belief Network for Road Extraction from Remote Sensing Imagery.
Pidhirniak Automatic Plant Counting using Deep Neural Networks
Chen et al. Agricultural pests damage detection using deep learning
Yulita et al. Pest Detection in Plants Using Google Inception-V3 Architecture as Image Embedding
Liu et al. Pest recognition method fusion dilated dual attention and CapsNet based on U‐net
Alhassan Automated land use and land cover map production: a deep learning framework

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination