CN111065469B - 蚊子的性别分选 - Google Patents

Abstract

一种提供昆虫用于分选入多个类别或用于对已分选昆虫进行质量控制的方法，包括：在具有可封闭开口的容器(30)中提供昆虫，打开可关闭开口，将昆虫通过可封闭开口释放到漏斗气流中，该气流将昆虫带至收集位置(32)，该收集位置(32)是可输送的，并且向收集位置(32)上的昆虫施用固定剂，从而为所述分选或质量控制提供静止的昆虫。

Description

蚊子的性别分选

技术领域

本发明在其一些实施方案中涉及对蚊子的性别分选，并且更具体地但非排它性地涉及用于提供经分选的雄性蚊子的方法和设备。

背景技术

迄今为止，蚊子SIT(不育昆虫技术)已经在全球范围内的小规模项目中证明了其本身是一种有前途且有效的对抗通过蚊子传播的疾病的手段。这一设想是通过释放具有独特特性的雄性蚊子，使得它们的后代不会发育，或者分布的雄性是不育的，使其不会有任何后代。

不同的研究机构和公司已进行了在小范围内释放了数百万只雄性蚊子的小规模试验，所有这些试验都表明在每周部署经改造的雄性蚊子，在持续数周之后，该地区的蚊子种群有所减少。

为了处理大面积区域，每天需要生产数百万只蚊子。

然而，如今与饲养和搬运过程中涉及的劳动密集型活动相关的操作成本阻止了蚊子SIT扩大规模。饲养过程中的具体步骤包括：

1.性别分选步骤。当目标是取代当地种群并创造一种新型的蚊子种群时，只要求释放雄性，而不释放雌性。需要在雌性和雄性之间对蚊子进行分选，并且在释放箱中应该只含雄性，该释放箱送到田间以进行释放。

2.将蚊子装入释放箱。如今，常见的步骤是将蛹(与水一起)放在释放箱内。由于每个释放箱可以包含约700-1500只蚊子，工人需要从其它较大的容器中转移蛹，并测量转移的数量，尽管不需要对单只蚊子的分辨能力。在每天需要数百万蛹的情况下将1000个蛹转移到一个释放箱中是需要时间和人力的高度密集的工作。对于大规模操作而言，成本太高。

目前正在进行研究以优化分选过程。然而，迄今为止，大多数系统都试图在蛹阶段进行分选(基于重量、大小、颜色)。其它尝试涉及在雌性蚊子成年时将它们消灭。

问题在于，成年蚊子可能非常活跃，并且因此从分类好其性别的时刻直到进行其他操作时，蚊子可能已经移动或飞走。

在视野中还有其它蚊子时可能使任何所用的视觉传感器模糊。对蛹阶段的分选可能导致较大的附带损害(意味着许多雄性死亡)。

发明内容

本实施方案可以使用成年蚊子静止不动的时间，以便应用成像并随后挑选所需的昆虫或消灭不需要的昆虫。该时间可以是昆虫从蛹中羽化出来的时间，或者当将昆虫制冷到使它们静止的温度时的时间。在这两种情况下，昆虫会静止一段时间，该时间足够长以通过成像过程进行识别，并然后拾取或消灭，因为成像过程能够引导机械臂找到昆虫。

根据本发明的一些实施例的一个方面，提供了一种提供昆虫以便将昆虫分类以分选入多个类别或用于对所分选的昆虫进行质量控制的方法，所述方法包括：

在具有可封闭开口的容器中提供所述昆虫；

打开所述可封闭开口；

通过所述可封闭开口将所述昆虫释放到流入漏斗的气流中，所述气流和所述漏斗将所述昆虫带至收集位置，将所述昆虫收集在可输送表面上；

向所述收集位置上的昆虫施用固定剂，从而为所述分选或质量控制提供静止的昆虫；并且

从所述收集位置、在所述可输送表面上输送所述昆虫。

在一个实施方案中，所述固定剂是冷空气、二氧化碳和氨中的一者，并且是施用至所述收集表面的剂。

在一个实施方案中，所述固定剂被释放到所述漏斗中以提供固定的封闭区域，并且所述收集位置在移动的输送机上，所述封闭区域是可打开的以允许从其输送所述昆虫。

该方法可以包括在所述输送机周围提供多个成像位置，以提供被固定昆虫的图像用于分类。

该方法可以包括在所述成像位置之间提供重叠从而能够在不同成像位置之间跟踪指定昆虫。

该方法可以包括从所述成像位置获得特征提取。

该方法可以包括：从每个成像位置或从多个成像位置以及从提取中获得分类，并应用规则以在相同昆虫的不同分类之间进行决策。

在一个实施例中，所述分类是雄性和雌性，所述方法包括保留所有分类都是雄性的任何昆虫。

根据本发明的第二方面，提供了一种提供昆虫以分选入多个类别的方法，包括：

从机械臂提供所述昆虫；

将来自所述机械臂的每只昆虫以一定图案放置在移动的输送机上的预定位置上；

继续放置昆虫，直到完成所述图案；并且

将固定剂施用至所述输送机上的所述昆虫；并且

输送所述昆虫，从而提供静止昆虫流以进行分选。

在一个实施例中，所述预定位置在足够大以携带多只昆虫的收集板上，所述方法包括继续放置昆虫直到装满所述板，然后移动所述输送机。

在一个实施例中，所述图案被放置在可输送表面上。

在一个实施例中，所述可输送表面是多孔的，所述方法包括在所述板上建立压力梯度。

在一个实施方案中，所述固定剂是冷空气、二氧化碳和氨中的一者，并且是施用至所述可输送表面的流体。

在一个实施例中，所述固定剂被释放到所述移动的输送机上固定的封闭区域中，所述封闭区域被打开以允许所述输送。

实施例可包括：在所述输送机周围提供多个成像位置，以提供被固定昆虫的图像用于分类，和/或提供所述成像位置之间的重叠从而能够在不同成像位置之间跟踪指定昆虫。

在一个实施例中，所述输送机包括多个输送段。

在一个实施例中，需要所述类别中的一种，所述方法包括使用具有文丘里环的机械臂以拾取所需类别的昆虫。

实施例可以使用通过所述文丘里环进行的抽吸，所述抽吸被连续地操作，并且在拾取单个批次的昆虫之间关闭阀门。

实施例可以沿着所述移动的输送机提供一个喂食站，用于喂食所述昆虫。

在一个实施方案中，所述喂食站基本上没有所述固定剂，从而使所述昆虫能够进食。

在一个实施例中，所述固定剂是冷空气，所述输送机或所述输送表面保持在六度或以下，并且所述喂食区域保持在高于六度。

实施例可以包括将所述昆虫吸引到所述收集表面并使所述收集表面翻转。

根据本发明的第三方面，提供了一种用于使蚊子成熟的设备，包括：用于使蚊子在其内产卵的卵盘，所述卵盘可控地注入水以到达已产卵的水平线；以及用于排出卵或幼体的可控的排出管，其中所述卵盘用不粘表面包覆。

在一个实施方案中，所述卵盘排出进入幼体盘，所述幼体盘的尺寸设计成允许昆虫幼体在水中主动游动并进食。

在一个实施方案中，所述幼体盘或所述卵盘能够可控地排出进入蛹盘，所述蛹盘设计成使蛹漂浮在其表面上，并用于收集羽化的成虫。

实施例可包括用于成像的成像摄像头，所述成像的结果被用于控制所述注入或所述排出。

可以使用滑槽用于倾倒所述蛹，所述滑槽至少部分地透明以允许通过所述摄像头成像。

在一个实施例中，所述滑槽沿宽度方向延伸，根据尺寸在所述滑槽中形成蛹的行，所述设备包括在所述成像摄像头的控制下的至少一个止动件，用于插入所述行之间，以允许来自不同行的蛹被分开。

根据本发明的第四方面，提供了一种用于使蚊子成熟的设备，包括：用于使蚊子在其内产卵的卵盘，所述卵盘可控地注入水以到达已产卵的水平；以及用于将卵或幼体排出至副盘中的可控的排出管，所述副盘具有比所述卵盘更低的容量，所述副盘具有上部排水孔，以允许多余的水从其排出。

可以提供蛹盘输送机，以用于将蛹盘输送到羽化的位置。

根据本发明的第五方面，提供了一种将成年蚊子分为雄性和雌性蚊子的方法，包括：

获得多只成年蚊子；

固定所述蚊子；

对所述蚊子的身体的前部部位定位；

对所述蚊子的身体的前部部位成像；

从图像中确定触角、下颚须、和喙；

从多毛的触角、更长的下颚须、以及更长的喙中的至少一者确定雄性蚊子；并且

从光滑的触角、更短的下颚须、以及更长的喙中的至少一者确定雌性蚊子。

根据本发明的第六方面，提供了一种用于将昆虫分类以分选入多个类别或用于对所分选的昆虫进行质量控制的设备，所述方法包括：

在具有可封闭开口的容器中提供所述昆虫；

打开所述可封闭开口；

通过所述可封闭开口将所述昆虫释放到流入漏斗的气流中，所述气流和所述漏斗将所述昆虫带至收集位置，将所述昆虫收集在可输送表面上；

向所述收集位置上的昆虫施用固定剂，从而为所述分选或质量控制提供静止的昆虫；并且

从所述收集位置、在所述可输送表面上输送所述昆虫。

在实施例中，输送机路径包括喂食站，并且喂食站可以使用网和浸渍有糖水的纸。

除非另外定义，否则在此使用的所有技术术语和/或科学术语具有与本发明所属领域的普通技术人员通常理解相同的含义。虽然与在此所述的方法和材料类似或等效的方法和材料可用于本发明实施例的实践或测试中，但是下文描述了示例性方法和/或材料。在有冲突的情况下，以包括定义的专利说明书为准。此外，材料、方法和实例仅是说明性的，而不旨在是必然限制性的。

本发明实施例的机械臂的成像和引导的实现可以涉及手动地、自动地或以其组合执行或完成选定的任务。此外，根据本发明的方法和/或系统的实施例的实际所用仪器和设备，若干选定的任务可以使用操作系统，通过硬件、通过软件或通过固件或通过其组合来实施。

举例来说，用于执行根据本发明实施例的选定任务的硬件可以实施为芯片或电路。作为软件，根据本发明实施例的选定任务可以实施为多条软件指令，该多条软件指令可由计算机使用任何合适的操作系统来执行。在本发明的示例性实施例中，由数据处理器执行根据本文描述的方法和/或系统的示例性实施例的一个或多个任务，诸如用于执行多个指令的计算平台。可选地，数据处理器包括用于存储指令和/或数据的易失性存储器，和/或用于存储指令和/或数据的非易失性存储器，例如磁性硬盘和/或可移动介质。可选地，还提供网络连接。还可选地提供显示器和/或用户输入设备，诸如键盘或鼠标。

附图说明

在本文中，参考附图和图像仅以举例的方式来描述本发明的一些实施例。现在具体参考附图，要强调的是，所示出的细节是作为实例并且用于说明性地讨论本发明的实施例的目的。在这方面，结合附图进行的描述使得本领域技术人员了解如何实践本发明的实施例。

在这些附图中：

图1是示出了本实施例可应用于提供和分类蚊子流的过程的简化流程图。

图2是示出可以应用本实施例的蚊子流送(steaming)设备的简化图。

图3A至图3C是可在本实施例中使用的两端具有致动开口的容器的三个视图；

图4是根据本实施例的供应经分选的蚊子的生产线的简化示意图。

图5是根据本实施例的供应经分选的蚊子的另一条生产线的简化示意图。

图6是根据本实施例的供应经分选的蚊子的另一条生产线的简化示意图。

图7是根据本实施例的供应经分选的蚊子的另一条生产线的简化示意图。

图8是根据本实施例的供应经分选的蚊子的另一条生产线的简化示意图。

图9A和9B分别是在红外摄像头下的雄虫头和雌虫头的视图。

图10是示出根据本实施例的基于红外成像将蚊子分类为雄性和雌性的过程的简化流程图。

图11是示出本发明的实施方式的沿着输送机的喂食站的简化图。

图12是示出根据本实施方式的昆虫孵化和分选工厂的控制系统的概略框图。

图13是示出根据本实施方式的从蚊子获得卵的布置的简化图。

图14是示出根据本实施方式的产卵管理模块的管理的简化流程图。

图15显示了根据本实施方式的用于使昆虫从蛹盘进入气流的设备。

图16显示了用于说明本实施方式的对象检测和分类模块的操作。

图17显示了根据本实施例的使用连续的帧来指示昆虫的存在或不存在。

图18-29是根据本实施例的蚊子生长和分选设备的细节。

图30是示出本实施例的基于排出水的卵的孵化、幼体和蛹的管理步骤的流程图。

图31-33是示出根据本实施例的机械搬运蛹盘以管理昆虫的羽化进入流中的细节。

图34是用于在输送机上搬运成年蚊子的板的细节。并且

图35-39是输送机上的板的搬运的细节。

具体实施方式

在本发明的一些实施例中，本发明涉及对蚊子的性别分选，并且更具体地但非排它地，涉及用于提供经分选的雄性蚊子的方法和设备。

用于通过从未分选的蚊子中提取一类蚊子来对蚊子进行机械或机电或其它自动性别分选的方法和设备，该方法包括：获得未分选的蚊子；获得处在静止阶段的个体蚊子的图像；将来自该图像的个体电子地分类为雄性蚊子和/或雌性蚊子，以及还可能是未分类的对象；获得雄性蚊子类别和雌性蚊子类别中的至少一种类别的个体的坐标，以及使用机械臂伸到由获得的坐标识别的个体以储存或移除个体，从而提供经性别分选的蚊子。

静止阶段是其中蚊子不移动或几乎不移动的任何阶段。一种可能性是当昆虫被制冷并且在墙壁上保持不动时，或者进一步制冷以掉落到底板上时。另一种可能性是当成虫从蛹中羽化时。

在本文中应注意，术语“输送机”、“输送”和其他类似术语包括任何输送方式，包括使用输送带、活塞、马达和机械臂。

本实施方案涉及孵化卵、培养幼体并允许成虫从蛹中羽化、提供昆虫流并将其分类为雄性和雌性、对该昆虫进行分类并包装所需类别的多个方面。

在详细解释本发明的至少一个实施例之前，应当理解的是，本发明在其应用方面不必限于在以下描述中所阐明的和/或在附图和/或实施例中所展示的组件的构造和布置和/或方法的细节。本发明能够具有其他实施例或能够按不同方式来实践或执行。

现在参考附图，图1示出了显示本发明的一些实施例所基于的用于提供和分选蚊子的通用步骤流程图。通过从未分选的蚊子中提取一类蚊子来对蚊子进行机械性别分选的方法可以从未分选的蚊子10开始，其可以被提供在气流上。在阶段12中，使用固定流体(例如冷空气)而引发静止阶段，并且蚊子在静止阶段成像——阶段14。图像用于阶段16以对个体进行分类。使用的类别可以包括雄性和其它任何类别，或雌性和其它任何类别，或雄性、雌性和其它任何类别。在阶段18提供坐标以及目标个体的性别。在某些情况下，收集雄性，在其它情况下，移除雌性。在其他情况下，昆虫已经被分类，因此成像真正涉及的是质量控制。例如，可以预期在流中的昆虫都是雄性的，而雌性则被视为污染物，最终结果可以按样品纯度的计算。

在未分选的实施例中，机械臂可以用于伸到通过获得的坐标识别的个体以储存或移除该个体，从而提供经性别分选的蚊子——阶段22。

可以使用经训练的神经网络进行分类，并且神经网络可以是传统神经网络或深度网络，包括卷积神经网络，或任何其它种类的神经网络。

经训练的神经网络可以包括四层或更多层。

在一个实施例中，获得图像的阶段14可以涉及获得和考察单帧。或者，可以通过生成连续帧之间的差异从而将连续帧分类在一起并使用该差异来确定哪些个体处于静止阶段。因此，如果超过阈值的连续帧的差异显示连通分量具有类似蚊子的特征(例如大小和梯度(gradient))，则意味着观察到静止的蚊子。

连续帧分类可以涉及使用递归神经网络(RNN)，如下面将更详细地讨论的。

在一个实施例中，未分选的昆虫是正在羽化的蛹，而在阶段12中的的静止阶段是成虫从蛹中羽化的羽化阶段，并在阶段10的流之前发生。在另一种选择中，昆虫在羽化时进行分选，因此流为所分选的昆虫，然后在成像和分类阶段为确定样品纯度的检查。

昆虫在静止阶段不一定是绝对静止的，并且因此一个实施例使用成像来跟踪(阶段24)单个昆虫的运动以更新在阶段18中获得的坐标，从而使机械臂移动到正确的位置。可能存在多个摄像头，并且可能具有重叠的视野，因此同一只昆虫可能同时被多个摄像头观察到，从而允许移交步骤以将对指定昆虫的跟踪从一个摄像头传递到另一个摄像头。

获得用于分类的图像可以使用具有较高分辨率的第一摄像头，且追踪可以使用具有宽视场的较低分辨率第二摄像头。

或者，这两个目的可使用单个摄像头，只要能够结合足够的分辨率与足够的视野即可。

在实施例中，获得的坐标属于雄性类别，并且拾取所识别的个体并将其放入储存部，或者在盒(cartridge)中包装。机械臂可以使用抽吸设备或吹风设备以拾取所识别的个体并将它们放入储存部。

或者，获得的坐标属于雌性类别，并且消灭所识别的个体或以其它方式处置。可以保留较少数量以用于交配繁殖。机械臂可以包括用于杀灭所识别个体的灭杀器，或者可以在使用之前作为抽吸设备或吹风机。

灭杀器可以是电极或螺线管或激光器等。

在一个实施例中，如果个体在预定时间内未被分类为雄性或雌性，则将图像发送给操作员以进行判断。或者，如果个体在预定时间内未被分类为雄性，则将其分类为雌性。如将在下面更详细地讨论的，可以对给出视野的不同观点或不同图像特征的不同摄像头进行表决。因此，一个摄像头或特征可以指示雄性并且另一个指示为雌性，或者都为雄性或都为雌性。如果只需要收集出错尽可能少的雄性，那么一种解决方案是只保留那些所有参与者都表决为雄性的昆虫，并丢弃所有其余的昆虫。

在一个实施例中，为了成像，将昆虫在具有壁的容器中制冷，使得制冷的昆虫站立在壁的内侧。然后拆开箱子露出壁的内侧以用于成像。在另一实施例中，在输送机周围构造封闭区域，并且固定流体与昆虫一起被吹入该封闭区域，因此昆虫在输送机上静止不动。

现在参考图2，昆虫在具有可封闭开口(例如使用活板门)的容器30中制冷，并且活板门打开以通往保持在低温的第一移动输送机32。在一个实施例中，将输送机保持在低温下，以使昆虫一旦落在输送机上就将其固定。在另一个实施例中，将冷空气或CO₂或其他固定流体添加到流中，以使冷却的昆虫落到输送机上。第一移动输送机将昆虫运送到摄像头-成像系统35下的成像位置34。成像系统35可以包括多个摄像头，以从不同角度和不同位置观察昆虫。在一些实施例中，输送机可以在昆虫到达成像位置时停止以允许进行带有坐标的成像。在其他实施例中，当输送机移动并且将昆虫从一个位置移动到另一位置时拍摄图像。最后，机器人36拾取所选择的昆虫，在这种情况下通常是雌性，使得雄性从输送机的末端掉落到释放箱38中。在其他实施例中，被拾取的昆虫可以是雄性，其被拾取以进行包装。在其他实施例中，成像仅用于确定样品的纯度。如果纯度高于某个阈值，则将昆虫打包并使用，否则将其丢弃。在又一实施例中，如果检测到污染昆虫，则可以自动地或通过操作员干预将其去除。在这种情况下，将向操作员显示存在污染的昆虫，并且操作员可以操作机器人。操作员可以看到样品的纯度后可以决定是否值得纯化或应仅丢弃当前样品。

在一个实施例中，超出成像区域的输送机32的部分40可以是第二输送机，其从第一输送机收集蚊子，并然后更慢地行进到装填区域。通常，输送机可以被分成部分输送机，它们之间具有连接点，并且可以建立具有大量供应点、包装位置和成像位置的完整系统。因此该系统可扩展用于生产所需数量的昆虫。

第一移动输送机32可以是相对快速移动的输送机，其中速度使掉落的蚊子散开，使得昆虫不会堆积和扰乱成像，并从第一移动输送机32可以移出至在第二移动输送机40上，第二移动输送机是相对慢速移动的输送机。

更详细地，本实施例提供用于蚊子的自动或半自动检测和分类的技术。

为了能够对蚊子进行良好的分类和选择，识别的蚊子需要处于可识别为个体并且清楚看到的位置，并且然后在分选过程中，其应该保持相对静止并且在分类和被拾取或移除的时间之间确定不会飞离。

两个不同的实施例以不同方式提供这些特性。

第一实施例使用制冷来使空气变冷，使得蚊子不移动，并然后进行分类。在实施例中，温度降低至约6至12摄氏度，其足够低以使得蚊子不会飞，但其也足够高以使它们继续站立，而不是落在底板上并且彼此混杂在一起。

同一实施例的变型可进一步降低温度，或者使笼(cage)在先前的制冷水平下摇动，从而将蚊子震落在底板上。

第二实施例使用如下系统，该系统在羽化阶段附近监视蛹盘，并利用成年蚊子在完全羽化之前已经可以在视觉上识别出蚊子性别的事实。此时，蚊子静止或几乎静止，持续几分钟，从而提供足够的时间来检测、分类并随后进行选择。此系统由具有水的蛹盘、蛹和视觉系统制成。如将讨论的，图像分类的不同方法适用于不同的实施例，并且这些方法包括传统的神经网络以及卷积网络和涉及深度学习的其它网络。

本实施例可以基于分类过程自动分选和搬运成虫，以在释放盒(releasecartridge)中提供经分选的昆虫。

本实施例可以搬运雄性以供选择和进一步使用，而将雌性留下，或搬运雌性并将它们移除，留下雄性以供进一步使用。

机器人系统可以潜在地从检测和分类系统接收优先级列表，指示其首先搬运哪种蚊子，如下面将更详细描述的。

一个实施例可以包括在内部具有水和蛹的蛹盘。

可以进一步提供视觉传感器，以在蚊子羽化时检测和分类蚊子。

可选地，笼具有围绕蛹盘的网，以防止任何羽化的蚊子逃逸到外面。

机器人系统可以包含臂和用于搬运单个蚊子的搬运工具。机器人系统还包括控制器，以用于接收坐标并引导机械臂和搬运工具移动到那些坐标。这些运动可以在X-Y-Z轴上，从而为搬运工具提供能够伸到成年蚊子所站立的表面前方的所有区域的能力。

在一个实施例中，搬运工具可以包括抽吸管和具有控制器的电动机。对于直径为约6至12mm的管直径，抽吸可以是约3至8米/秒。较大的管是可能的，但是其可能吸入不仅仅是所选择的目标蚊子，从而破坏了系统的选择能力。

搬运工具行进到蚊子X-Y位置，并且抽吸管沿着Z轴下降以与蚊子相遇。

视觉系统放置在为传感器提供所需的分辨率的距离处，其是在蛹盘正上方，或者在具有透明顶的笼的上方，并具有拉进镜头的能力。

典型的摄像头分辨率可能是500万像素，也就是说，使用2000×2500像素的传感器。如果视野是长度为30厘米的区域，则除以尺寸并获得每毫米的像素数。本实施例可以沿着蚊子的区别特征的长度具有至少两个到三个像素。将摄像头与盘的距离和传感器上的像素数由此进行关联以提供灵敏度。

诸如摄像头、控制器单元和软件的视觉系统可以获取蚊子的一系列连续帧，以便检测分类和/或跟踪其位置。

由于蚊子可以以不同方式定向，并且在背景中存在一些视觉噪声，因此实施例可以使用基于卷积神经网络的深度学习方法来检测和分类蚊子性别。

在另一个实施例中，可以使用来自经典图像处理的方法来执行图像的预处理，诸如获得轮廓等。然后，向深度学习提供处理结果。

视觉模块可以处理分开且独立拍摄的多个帧中的每一个帧。或者，可以一起使用连续帧以使问题的顺序形式可用，并将输入视为视频。然而，通常认为：对于视频处理，将单个图像处理模块包装在递归神经网络(RNN)架构中可以获得更好的结果。

本实施例可以在蛹盘上方包含一个或两个摄像头，其中预期成年蚊子将在任何时刻出现在盘上，也可以提供具有激光器或任何其它灭杀器的机械臂，其可以在根据算法集合给出的蚊子坐标上执行操作。

该算法集合可以在图像和物理世界中找到蚊子从蛹中羽化的地方，并且随后可以随时间跟踪其位置。

高分辨率摄像头可以寻找蚊子的特别识别性别的特征，例如触角区域。此外，可能需要低分辨率摄像头进行跟踪。或者，如果在摄像头视场(FOV)内覆盖跟踪区域，则可以提供单个摄像头以进行检测-分类和跟踪。

用于成像和定位的输入是：来自具有蚊子和蛹在其内的水中的盘的上部投影的连续序列图像。

要求可以是：

“在任何特定时刻找到捕获盘中所有雌性蚊子的真实世界坐标”。

在这种情况下，对象将被分类为雌性或“其他”(雄性或蛹或其它视觉噪声)。这对于质量控制或仅需要提取雌性时可能是有效的。可以使用下面的算法细分并定义不同的目的：“在任何特定时刻找到捕获盘中所有雄性蚊子的真实世界坐标”，或者进一步地“在任何特定时刻找到捕获盘中的所有雄性蚊子和雌性蚊子的真实世界坐标”。

为了此目的，我们可以使用以下功能：

1)摄像头校准(一次用于系统设置，并且在维护期间根据需要校准等)

2)检测每只蚊子的ROI(目标区域)

3)对每只蚊子的性别进行分类

4)对蚊子进行优先排序

5)跟踪每个已分类的雌性蚊子

6)将像素坐标系转换为真实世界坐标系

在系统设置时，存在摄像头校准过程，以便能够找到像素的坐标系和物理坐标系之间的转换。

如果系统包括两个摄像头，例如如上所述的高分辨率摄像头和低分辨率摄像头，则可以从每个摄像头的校准参数导出每个摄像头之间的校准。

使用棋盘或其它图案的摄像头校准是已知的，并且提供此类已知方法作为示例：

“A Flexible New Technique for Camera Calibration”，Zhengyou Zhang，1998年，微软(www(dot)microsoft(dot)com/en-us/research/publication/a-flexible-new-technique-for-camera-calibration/)。

“A Four-step Camera Calibration Procedure with Implicit ImageCorrection”， Janne

和Olli Silvén，芬兰奥卢大学。

算法的实现是常识，并且示例代码是公开可用的。

在摄像头校准中，存在被分为外在参数(取向和位置)和内在参数(主要是光学参数)的模型。具有所有这些参数允许在图像坐标系和真实世界坐标系之间进行转换。

通过捕获棋盘的各种取向的若干图片或其它易于检测的图案来完成校准。通过图片的每个图片中的相应检测点或标记点，可以将优化过程转换为正确的摄像头模型参数。

一旦获得了转换参数(内在参数和外在参数)，我们就可以将蚊子位置转换为物理位置以供机械系统工作。

由于摄像头在机械上是稳定的，因此校准过程只进行一次(或者出于维护原因，每隔数月或数年进行一次)。

通过使用两个摄像头并获得用于每个摄像头的转换参数，我们计算两个摄像头的像素坐标系之间的转换。然后，我们可以使用来自高分辨率摄像头的坐标并将它们转换成低分辨率摄像头以用于跟踪算法，并输出它们以用于机械灭杀器或为人类操作员精准定位将找到分类的蚊子的位置。

校准的准确度是用于跟踪算法和机械炮(mechanical cannon)的系统参数。

可以通过以下算法中的任何算法联合解决检测(寻找蚊子在图像中的位置的任务)和分类(确定它是哪种性别的任务)：

单步多框检测器(Single Shot MultiBox Detector) (www(dot)arxiv(dot)org/abs/1512.02325作者：Wei Liu1，Dragomir Anguelov2， Dumitru Erhan3，ChristianSzegedy3，Scott Reed4，Cheng-Yang Fu1，Alexander C. Berg1，北卡罗来纳大学教堂山分校2Zoox公司3公司4密歇根大学安娜堡分校)。

Faster rcnn：www(dot)arxiv(dot)org/abs/1506.01497(“Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks”，作者：Shaoqing Ren， Kaiming He，Ross Girshick，以及Jian Sun).

Yolo：www(dot)pjreddie(dot)com/media/files/papers/yolo(dot)pdf.

这些类型的算法可以训练网络，该网络是RPN(区域提议网络)和共享相同卷积特征的分类网络的组合。RPN提出了包含具有高概率的对象的各种边界框，并且这种方式实际上告知了分类网络在图像中查看的位置。可以训练分类网络以确定对象属于哪个类别。

在本实施例中，关于蚊子的检测分类，我们可以将可能的类别定义为雄性\ 雌性\无或仅雌性\无或仅雄性\无。为了训练网络，我们可以收集包含雄性和雌性蚊子的大量标签的图片。

例如，为了训练仅一个类别，例如雌性，我们可以为网络提供雄性图片或非雌性类别的背景图片。通过这种方式，网络可以训练以寻找雌性的相关属性而不是蚊子的对雄性和雌性共有的一般属性。

背景图片可以是清水、或蛹、或性别尚不能确定的蚊子。

可以改变这些算法中的每一个算法中的分类网，并且我们可以使用迁移学习作为微调或作为特征向量，这可以使用诸如Alexnet、VGG和Inception的网络来完成。

在这些示例中描述迁移学习：

“ImageNet Classification with Deep Convolutional Neural Networks”，Alex Krizhevsky，Ilya Sutskever，Geoffrey E.Hinton(www(dot)papers(dot)nips(do t)cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks(d ot)pdf)。

“VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE I MAGE RECOGNITION”Karen Simonyan&Andrew Zisserman(www(dot)ar xiv(dot)org/pdf/1409.1556v6(dot)pdf)。

单个图像的检测和分类的输出是矩形(ROI)列表以及关于它们中的每一只蚊子是否是雌性蚊子的对应概率，或者该对象属于类别中的每个类别的一般概率。此输出是向量列表

(X_i，Y_i，W_i，H_i，[P_i_1，…P_i_n])

其中：I是ROI检测到的索引，以及n是类别的数量：

(X_i，Y_i)＝是检测到的ROI在图像中所处的坐标；

(W_i，H_i)＝是检测到的ROI的宽度和高度；以及

(P_i_1，P_i_2，...P_i_n)是ROI中的对象属于类别中的每个类别的概率列表。

可能的网络配置可以是RNN(循环神经网络)，该网络是存储状态和根据其当前状态进行不同分类的网络。

我们提出的架构适用于单个图像。众所周知，在视频处理中，使用RNN架构是有利的。以这种方式，在蚊子完全出现之前拍摄的图像的连续性影响它将是雄性或雌性的概率。来自每个帧的累积的附加知识增加了正分类的概率。

相关方法：

www(dot)cv-foundation(dot)org/openaccess/content_cvpr_2015/papers/Ng_Be yond_Short_Snippets_2015_CVPR_paper(dot)pdf。

www(dot)static(dot)googleusercontent(dot)com/media/research.google(dot)corn /en//pubs/archive/42455(dot)pdf。

进一步的实现还使用先前帧来处理当前帧，并因此属于使用视频作为输入的主题(heading)。

在该实现中，由于摄像头稳定，并且蛹几乎不移动，因此仅相邻帧的羽化区域发生变化。因此，我们能够检测羽化时刻以用于优先次序，这将在下面更详细地讨论。可以通过向RPN的损失函数添加期限来使用此类知识，其描述了连续图像帧之间的增量，进而描述了图像或特征空间的L2度量。换句话说，该实施例处罚了其中存在很小的变化的检测结果，并且对于其中存在高变化的检测结果激励RPN。

在羽化阶段，出现蚊子停止改变其形状的时间点，此点可以根据羽化的开始到结束的平均或最长时间确认，或者从蚊子的六只腿离开蛹的时刻确认。

一种方法是确定图像ROI开始更快地改变的时间，比方说，使用相邻图像 L2增量上的阈值。该方法是可行的，因为蛹图像在羽化过程开始之前是稳定的，到达羽化阶段的较老的蛹几乎不在水中移动。蛹盘可能已根据蛹化(从幼体转变为蛹)日期进行分选和标记。

第二种方法是训练分类网络以在两个以上的类别(即雄性和雌性)之间进行分类，并且替代地使用四个或更多类别：年轻雄性、成年雄性、年轻雌性和成年雌性。年轻雄性或雌性类别被定义为尚未完全看到其腿的那些蚊子，以及成年雄性或雌性是其身体完全暴露的那些蚊子。使用这种方法，类别的数量可以扩展到四个以上，以便更精细地区分不同水平的羽化。

系统可以在存储器中存储所有羽化的蚊子的实例及其时刻(根据上述规则)，并然后根据FIFO队列(先羽化，先搬运)提供下一只要搬运的蚊子。

神经网络的训练过程是可以使用大型标记数据库执行一次的过程。影响良好训练的多个因素有：选择激活函数，选择优化模型，如何初始化网的权重，确定超参数，丢失，数据增强等等。

良好训练过程的结果是神经网络权重的最终值集合，其然后可以用于对图像进行分类。

在训练数据库上使用经训练的网络可以给出自所需的羽化开始至到达成功分类的时间。

例如，可按90％概率将从羽化开始到性别分类的平均帧数(给定恒定帧速率)认知为250帧(以每秒2帧的速率)。可以在训练过程期间收集的该信息可以在之后为机器人系统服务，以知道对分类的蚊子进行操作还剩多少时间。

一旦完全羽化，蚊子可能在表面上行进并且建议跟踪以为操作员/机器人搬运工具提供正确的坐标。

跟踪算法利用包含常见速度和加速度的运动模型的信息来惩罚\激励下一帧中目标的可能位置。使用跟踪，可以补偿目标检测的部分遮蔽或错误。

用于跟踪算法的跟踪参数可以包括：

蚊子的平均/最大速度；

蚊子的平均/最大加速度；

平均/最大移动持续时间；

运动的角速度；

运动的角加速度；

用于将所有空间单位转换为像素单位的摄像头参数，诸如焦距、摄像头距离盘的距离、摄像头取向；以及

避免移动对象模糊的摄像头曝光时间。

可以使用的现有跟踪算法是基于卡尔曼滤波器的跟踪算法。

视觉传感器可以从盘捕获帧，并且深度学习算法使用该帧来对正在羽化的蚊子进行检测-分类。然后，如果蚊子移动，跟踪算法跟踪蚊子。然后可选地，可以在半自动过程中将坐标发送给操作员，或者可以将跟踪的坐标发送到机器人系统以执行蚊子的抽吸或用激光束或其它方式杀死蚊子。

替代实施例可以对昆虫起作用，因为它们被加热并慢慢变得活跃。该实施例可以包括将储存蚊子的空气制冷到6至12度的温度，使得蚊子静止，几乎不移动，但不落在地面上。或者，温度可以设定为低于6度，使得蚊子在底板上不动。

然后，视觉传感器在具有寒冷的和不动的蚊子的笼或板上操作。如在先前的实施例中，可以基于深度学习的视觉算法可以对蚊子进行检测-分类。如果温度高于6度，则可能需要跟踪，因为蚊子确实有些移动。在低于6度的温度下，没有运动，并且不需要跟踪。

如果仅训练一个类别(例如雌性)，我们可以为网络提供雄性图片或非雌性类别的背景图片。通过这种方式，网络可以训练以寻找雌性的相关属性而不是蚊子的对雄性和雌性共有的一般属性。这可以创建更高效的网络。

一个实施例可以在相同的帧上并行运行两个网络：一个网络仅对雌性进行分类，而第二个网络仅对雄性进行分类。

如上所述，使用视频而非在单帧上工作可能具有优势。

如果使用视频，则可能的网络配置是RNN(循环神经网络)，该网络是存储状态并且根据其当前状态进行不同分类的网络。在蚊子完全出现之前拍摄的图像的连续性影响它将是雄性或雌性的概率。来自每个帧的累积的附加知识增加了正分类的概率。

系统可能能够识别，即检测正在羽化的蚊子以及它在羽化过程中所处的位置，也就是说，系统可以识别蚊子首次完全羽化的时间点。可以使用的度量包括从羽化开始的平均时间。或者，可以使用对羽化过程的一部分的视觉分类。该结果用于将当前羽化的蚊子输入机器人系统的队列中，然后该机器人系统可以按顺序处理。

为了将检测和分选过程扩大到较大的量，自动系统可以连续地向视觉系统供应蚊子，但是蚊子应该处于可以清楚地对它们进行成像的状态。因此，蚊子应该彼此分开，或者至少不是一个在另一个之上，使得视觉系统能够识别个体蚊子的独特性别特征，并且提供关于对象是否是蚊子的答案，以及其是雄性蚊子或雌性蚊子的答案。

然而，为了增加系统的产量，每单位时间可以有大量的蚊子通过视觉系统。

在下文中，我们提供了两个实施例以用于连续供应蚊子而未将一个蚊子堆叠在另一个上面。

第一实施例包括：

a.制冷系统；

b.蚊子储存室；

c.运送机制，其将蚊子向前移动；

d.具有控制器的视觉系统。控制器可以连接到输送机以在需要时停止并提供坐标；

e.抽吸或鼓吹的拾取和放置机器人。例如，其可以包括普通的抽吸移管或电动空气泵或可以用作吹气或相反地用作抽吸设备的鼓风机。机器人可以抽吸雄性蚊子或雌性蚊子。或者，诸如激光束的灭杀器可以以杀死蚊子的任何其它方式刺穿或提取雌性蚊子。

在该实施例中，降低温度以使得蚊子落到下面的底板上。然而，底板在移动，因为底板是移动的输送机，并因此不会发生堆积。

在实施例中，如果视觉系统不能将蚊子分类为雌性或雄性，则它可以将图像发送给操作员，该操作员可以执行分类。其它实施例可以将未识别的蚊子与雌性一起消灭。

在实施例中，可以提供昆虫以用于分类，或者可以已经将昆虫分类，样品需要质量控制以发现不需要的分类对样品的任何污染。

可以将昆虫提供在具有可封闭开口的容器中，例如图3A至3C所示。图3A 示出了门52关闭的容器50。图3B显示容器50的两端打开，门52旋转。图3C 示出了用于容器50的示例性关闭机构的细节。磁铁54连接到门。开口机构经过并推回磁体54，从而释放门52。

当装载元件靠近开口时，关闭机构可使门打开，然后当装载元件移开时门可自动关闭。昆虫被释放到空气流中，通常通过容器吹出，然后它们被气流带向着陆点，该着陆点是收集区。收集区域可以是正在移动的输送带的表面。收集区域可以是输送带上的一块板，也可以是某种其他方式移动的板，例如带活塞的板。

该板可以是玻璃。或者，该板可以有可让空气通过而又足够小使得昆虫不会掉出的孔。表面也可以以某种方式连接到输送机，该输送机能够将板翻转到表面上或使表面振动。板的翻转允许将板倒空到容器中而无需抽吸。

可能会在收集区后面施加负压，以使气流不会在收集区周围变得太湍急。可以在气流中将固定剂(例如，冷空气)或二氧化碳或氨水施加到昆虫上，以在着陆之前固定昆虫，或者可以冷却着陆区，以在昆虫着陆后使其固定。

如所解释的，在一个实施例中，收集了所需种类的昆虫。在另一个实施例中，收集不需要的种类的昆虫，并将剩余的昆虫留在输送机上进行包装。如果已经对昆虫进行了分类，则可以进行分类以进行质量控制。可以去除已识别的污染物，或者可以计算污染物的数量，如果达到阈值，则可以丢弃整个批次。在临界情况下，可以提供污染昆虫的坐标，以允许操作员确定批次是否值得保存。

然后，如果满足质量控制阈值，则将整个批次按原样简单包装。

现在参考图4，其示出了昆虫源60，气压源62，其通过管64和漏斗66将昆虫驱动到空气流中，经过摄像头68并到达收集区域70，此处为板。摄像头 71从板下方观测。该板在推进系统72上移动，以不同的角度经过摄像头74、 76和78，经过雌性收集臂80，然后到达通用收集臂82，通用收集臂将所需的昆虫(此处为雄性)收集到收集瓶84中。

漏斗66用于引导气流。漏斗可以连接到驱动系统，例如带有伺服电动机的线性轨道，以基于感测板的位置而使漏斗在收集区域70处精确地在蚊子板上方下降和升高。

摄像头71可以是前部对象坐标检测器，以对板上的昆虫数量计数，从而在装满时触发将该板移除并用新的板更换。

通用收集臂82可以是抽吸设备或其他空气流动设备，作为示例示出了伯努利抽吸环，用于产生抽吸流以提升蚊子并将其引向收集瓶84。气压源86可提供空气流，而气压源88可从上方在文丘里环中施加伯努利效应。在分选过程中，吸气可以连续进行，并且在拾取单个批次昆虫之间可以关闭阀门。

为了有效地成像，昆虫应该直立而不是聚集在一起。使用气流而不是仅仅将昆虫从容器中倒出可能会有所帮助。另外，收集地点可以随着昆虫的分配而移动。另外，着陆区可以振动，以阻止昆虫相互堆积。使昆虫分离的另一种方法可以包括稍微加热收集区域，以使昆虫彼此分离。

固定剂可以被释放到移动的输送机上固定的受限区域中，例如由漏斗壁形成的界定区域，该漏斗壁将昆虫从释放点集中到收集点。固定流体也可以集中在漏斗区域内。

作为固定流体的替代方法，可以对收集区域(例如样品板或输送带)进行电冷却。例如，可以使用珀耳帖冷却单元。

输送机构72可以是输送带，并且在实施例中可以提供冷却表面。在实施例中，固定区域可以沿着输送机，并且可以被分成两个或更多个分开的区域。昆虫到达第一区域，并且当第一区域装满时，它们便移动至第二区域和后续区域，以进行分类、分选、喂养等。

视觉系统35可以由在输送带周围的多个成像位置处的摄像头68、71、74、 76、78构成，以提供来自不同角度的固定昆虫的图像并且在图像之间重叠。参考图5，其示出了两个摄像头100和102以及它们的视场之间的重叠区域104。摄像头之间的重叠可以使得能够在不同的成像位置之间跟随指定的昆虫，从而例如可以对特定昆虫进行分类，然后跟随其到分选位置，在该分选位置可以基于分选结果对其进行机械分选。不同的角度通过提供不同视图之间的交叉检查而有助于对昆虫进行成像，并为处于模糊位置的昆虫提供解决方案，这在使用例如从上方观察的单个摄像头时将难以起作用。跟踪可用于识别昆虫在表面上的任何运动，并确保昆虫到达具有已知坐标的分类站，该坐标可以与分类相关。可以在检测到蚊子并对其进行分类之后，通过所示的摄像头或其他专用摄像头进行所述跟踪，并且可以使用摄像头校准过程来同步摄像头坐标。

现在参考图6，其示出了具有两个昆虫112和114的板110的俯视图，每个昆虫具有分类，M或F和坐标。相对于盘坐标的蚊子坐标在分类摄像头和引导雌性机器人抽出臂80的摄像头106之间传输。

现在参考图7，该图除了使用预分类摄像头120进行预分类之外与图5相同，该预分类摄像头120具有从昆虫源看到新出现的昆虫的视图。摄像头71可以计算到达昆虫的数量。预先分类可以允许去除所有不需要的昆虫，因此不需要在输送机上进行分类。

现在参考图8，其为一个实施例，其中首先将蚊子固定在漏斗66内的固定区域/腔室内，并且不需要任何分选过程。在该实施例中，假设已经对蚊子进行了分选，以便所有到达固定区域的蚊子具有相同的性别。要么如图7所示在饲养室内进行了预分选过程，要么所有蛹都仅为雄的。固定区域处的摄像头71可以计数到达的蚊子的数量。一旦达到阈值，便会触发触发器，并且板、盘或者甚至具有正方形边界的网状结构在输送系统上移动。可形成盘的队列，并且当队列中的第一个盘到达抽吸臂82处的装载站时，可以停止输送带，或者可以从输送带上将板卸下，并且装载系统例如用直径更大的抽吸单元一并装载蚊子，但也可以将较小的抽吸单元连接到XY机械臂，该机械臂可能由摄像头引导并依次地吸蚊。然后将蚊子装入盒84中。通过从上方抽吸、或从下方吹入空气、或以上的组合而从网中抽出蚊子来进行加载。盒84可具有带有轴的门，从而将进料管124插入盒中以打开门。抽吸完成后，将该进料管124向上移动，然后门自动关闭。将盒移开，然后将另一个空盒带入，同时另一个装有蚊子的盘也被放置在装载单元下方。然后，空盘随输送机一起移动，且可以通过从上方分配水或通过手动进行自动清洗，然后再送回指定的固定站重新使用。

图像分类可以涉及从不同摄像头获得特征提取。多个摄像头意味着对相同特征的多维视图，因此可以使所得分类更加可靠。

如上所述，可以从不同的摄像头或从不同的特征单独获得分类，并且可以使用分类规则来在同一昆虫的不同分类之间做出决定。例如，下表为作用于昆虫图像的两个神经网络提供了决策策略。注意如下：

如表中所示，如果两个不同的神经网络各自使用不同的图像来查看相同的蚊子，则如果使用以下规则，该规则声明如果两个模型中的任何一个表明一个对象为雌性则该对象为雌性，则雌性的预测准确性将会提高。

在该实施例中，实际检测到雌性的准确度为90％，实际检测到雄性的准确度为80％，错误预测雄性为10％，而错误预测雌性为20％。然而，按照这种规则去除所有检测到的雌性，其准确率达到了99％，也就是说，在分类为雄性和雌性的情况下，保留所有分类均为雄性的昆虫并去除任何分类为雌性的昆虫的规则可得到非常准确的结果。

如果所使用的规则是声明蚊子是雌性的，则，如果模型中的任一者确定特定昆虫是雌性的，那么雌性的准确性就会更高。同步模块可以使用两个或更多个模型，例如神经网络，每个模型都接收相同蚊子的不同图像，并且摄像头可能处于相同角度，但是一个位于蚊子羽化的位置，另一个位于蚊子被敲落在表面上的位置，和/或摄像头可以围绕具有蚊子的表面处于不同的角度，从而以不同角度观看同一只蚊子。每个摄像头可以执行跟踪以为下一摄像头提供更新的坐标。

现在参考图9A、9B和10，它们示出了基于来自摄像头的数据融合的分类方法，其中摄像头之一是红外摄像头。图9A显示了雄性蚊子的头部特征。图 9B示出了雌性蚊子的对应特征，图10示出了使用图9A和9B中的特征将昆虫分类为雄性和雌性类别的方法的流程图。

摄像头之间可能的同步是融合来自它们视场中具有相同蚊子的摄像头的数据，而每个摄像头具有不同的光谱透镜。

例如，可以有两个摄像头，一个为红外摄像头，另一个为光学摄像头。

在摄像头输出之间形成融合，可以提高性别预测成功的准确性。

光学摄像头可以检测到昆虫，然后红外摄像头可以提供有关对象在不同区域的温度的数据，并且附加信息提高预测结果的准确性。

比较图9A和图9B，示出了在更高的温度下，与雌性相比，雄性头部上方的区域可产生更大的面积。

因此，一旦检测到蚊子130并且定位了头部132，则来自热像仪的感测可以识别头部134上方的温度并增加雄性/雌性分类的准确性。

在实施例中，可以通过将昆虫放置在板上等的机械臂(而不是气流)将昆虫呈现在收集区域上。可以将昆虫以几何方式放置以有效地填充板。昆虫可以放置在当时静止的位置或已经移动的位置。如果板静止不动，则填充该板可触发运动。

在实施例中，可在板的相对侧上提供吸力，以在蚊子站立的板的两侧之间产生压力差，以支撑空气流动通过该板。没有这种抽吸，可以有引起湍流的反压。

现在参考图11，其示出了喂食站140。沿着输送机72，可以设置喂食站140，该喂食站140是比输送机的其余部分略热的区域，以便昆虫可以进食但不会飞走。在基本上没有固定剂或冷却的区域中可以通过网142提供例如浸透在片材 141中的糖水。输送机通常可以例如保持在六度或以下，而喂食区保持在六度以上。使用平板可以帮助将一组昆虫运送到这样的喂食区或喂食站。浸透糖水的纸张可以更换，且糖水可以在输送带的帮助下散布到输送带的任何位置。

使用喂食站可以解决在喂食蚊子之前将蚊子装入盒中的问题，并确保昆虫在释放之前足够强壮。

现在参考图12，图12是根据本实施例的用于自动昆虫喂食工厂的控制系统的简化框图。中央计算机150具有用于高水平控制152、卵和孵化管理154、幼体管理156、蛹管理158、检测和分类160以及分类和包装162的模块。该计算机具有输入模块：用户界面164，跟踪摄像头166，性别分类摄像头168，雄性抽出或抽吸系统170，输送带控件172和机械臂控件174。对于输入/输出，还有卵盘传感器176，卵盘致动器178，幼体盘传感器180，幼体盘致动器182，蛹盘传感器184和蛹盘致动器186。

现在参考图13，其示出了卵盘系统190。促进雌性蚊子在装满水的卵盘中产卵。在温度控制区域192内，向昆虫提供进食区194和可替换盘196，昆虫在该可替换盘中产卵。可替换盘可具有内部斜度，以易于将水排到通向幼体盘的出口管198中。可以提供纸200以便蚊子在其上产卵，并且水入口202和相关的阀204允许水被供应到盘。距离传感器206(其可以是激光或超声波或其他接近传感器)检测当前水位，并且随着产下更多的卵而水位逐渐增加。卵通常产在水的边缘，并在被水覆盖后易于孵化。盘可能有不粘表面，以防止蚊子将卵附着到盘表面。

现在参考图14，图14是示出卵管理模块的操作的简化流程图。该过程以触发器开始，以开始卵收集过程-210。打开入口阀，并在盘中装满水-212。产下卵，且水达到卵的水平-214。卵盘排出216到幼体盘中，其尺寸允许昆虫幼体在水下可以活跃地游泳和喂食，因为卵幼体是活跃的，与卵和蛹不同。收集卵的触发器可以基于自成虫进入笼子开始产卵以来的计时。可替代地，摄像头可以识别在水的边缘处的卵架。

当水达到卵的水平时，可以触发传感器。当距离随着水充满并达到一定水平而变小时，控制器可以发出触发信号，表明水现在已经到达卵。

排出水218，直到达到预设的水位220，然后全部关闭卵盘的入口、卵盘的出口和幼体盘的入口-222。最后，在框224中，为下一个循环做准备。幼体盘可具有上部排水孔，以处理从卵盘流出的多余水。

然后幼体盘或卵盘能够可控制地排入蛹盘。蛹盘被设计为使蛹漂浮在表面上，且被布置用于收集羽化成虫。

卵或幼体盘与接收盘之间的自动排水可以考虑到每个盘中的水量不同，因此，盘可能包括上部水槽孔，以补偿剩余的水。此外，该模块可以管理和控制多个盘-水源和水槽，然后计算机可以自动打开右侧的卵/幼体盘排水设备(阀)，然后自动打开接收盘的输入阀。

在实施方式中，可以省去中间的幼体盘，卵盘直接排入蛹盘。

现在参考图15，图15示出了布置在昆虫收集系统内的蛹盘，用于将新孵化的昆虫送入分类和分选系统。蛹盘230位于漏斗形的饲养室232内，吹风机234 确保空气通过，以将经过摄像头236的昆虫清除到管238中。

可以通过从饲养室地板/表面的底部吹入空气来进行孵化昆虫的引导。

饲养室232具有入口以手动地或自动地插入蛹盘230。因此，使用可以将盘移向特定位置的输送系统，将盘在另一个输送系统上移至外部，取出并可以将另一个盘插入内部。在一些实施例中，可以自动进行将蛹充入水中。

摄像头240可以位于蚊子所在的区域内，例如在羽化期间是在用于蚊子的检测和分类步骤的饲养室内，或者它们可以位于外部，同时通过具有例如透明的漏斗表面来保持清晰视野，或在另一段上在输送机上方和外部。

如图所示，将摄像头放置在外面的好处是易于维护，并确保蚊子羽化时不会遮挡摄像头镜头。

现在考虑图像分类模块。

对象检测和分类模块是通用的，可以适用于不同的物理实施例：

该体系结构可以使用静止图像或视频帧作为输入，并且可以在摄像头之间进行同步以提高分辨率。

·每个摄像头可以是高光谱或多光谱\IR\可视摄像头

·对于某些摄像头，其具有共同的视野，而对于其他摄像头则没有(在机械系统上捕获不同的位置)。

假设我们有：1个摄像头，最后n个帧和检测到的m只蚊子，则实现了如图16所示的情况。

1)检测\跟踪：每个摄像头的最后n个全幅帧均由检测\跟踪模块处理，并输出图像裁切列表：因此cl(t)、cl(t-1)、…是最后剪切(小图像)。在第一帧中，将使用检测算法，然后用跟踪算法。在跟踪失败的情况下，可以再次应用检测算法。对于在帧中检测到的对象，然后对于接下来的n个帧以及对于这些对象，使用跟踪算法。

2)蚊子同步化：所有剪切都在摄像头之间同步。该模块的输出再次是每个摄像头的最后一个剪切，但具有对应的索引：摄像头#x中的cl与摄像头#y中的 cl是相同的蚊子。

3)单图像分类：每幅剪切都被分类(雄\雌)。该模块为每种剪切输出预测或用于预测的其他特征：f1(t)、f1(t-1)…。

这种通用架构使算法可以在这一点上完成并提供性别预测，或转到下一步：

4)高水平分类：高水平分类器使用每个蚊子的所有信息(来自之前的n帧)，并得出最终决策(雄\雌)：p1、p2、…、pm。

帧历史可以用于给信息提供时间维度。例如，可以在羽化过程的几分钟内，从同一只昆虫随时间变化的一系列帧中获得有关昆虫羽化的高水平信息。

现在参考蚊子同步化模块，该模块基于以下方法工作：

-摄像头校准(在摄像头共享相同视场的情况下)

-出现顺序，例如其中机械系统上的不同位置保留到达顺序。-控制器可以从第一摄像头收到有关蚊虫性别的通知，并且当它飞走时，接收由不同位置的另一摄像头可能检测到的某种情况。然后，另一摄像头看到蚊子到达其视场内。基于两个事件之间的延迟，可以在这两个摄像头处在蚊子之间进行同步。

-连体网络可验证来自不同的非重叠摄像头的两个蚊子是相同的。

各模块的实现可以根据下表使用算法：

现在参考图17，其示出了在新帧中识别出有新昆虫到达。图17示出了具有恒定背景的两个帧的序列，并且时不时有新对象(蚊子)出现在背景上。通过从旧帧中减去新帧来生成第三帧。

与在图像中进行对象检测的经典问题相比，检测更加容易，并且检测可基于对图像差异的形态学运算。

可能的步骤可包括：

用diff表示两个相邻帧之间的差的二进制图像。

令diff_open为对diff应用形态学开运算后的图像

存储diff_open的n个最高连接部分的位置

如果这些位置对于至少m个更多的帧是一致的，则将其视为新的蚊子。

关于分类，可以不检索整体昆虫，而是具体检索带有蚊子触角的头部区域，因为这是雄性和雌性不同的部分。

现在参考图18，其是分类和包装设备的示意图，为简单起见未示出冷却设备。孵化区域250通向固定区域252，在固定区域中使用推进力256从机架254 接收板，并从固定区域移动至凹形抽吸区258，然后移至凸形抽吸区260。分开的输送系统264移动空的盒和满的盒，并且又一个系统将空的板268带回到起点。第四输送系统270管理蛹盘，包括预分选272。

现在参考图19，其示出了具有外壳282和顶部开口284的板280。可以使供蚊子降落的整个(或部分)板被盖子盖上，该盖子具有封口，该封口在蚊子降落在表面上时会打开、然后例如当蚊子从那个位置移开时或当致动器根据命令使封口关闭时再关闭。

优点在于，不是在站点之间操纵和运送带有活蚊子的敞开的板，而是可以输送带有封口的板，并且当需要时，例如在机器人分选站，封口可以是开放的并且可以取出雌性。这样，可以将大量板转移到例如非冷却区域上，然后在需要时再次进行机器人分选和包装。

在该实施例中，板280是用于站立蚊子的表面，其底部上具有网，并且是具有开口的外壳282，该开口可以在站点之间自动打开或关闭。

图20从下部透视图示出了图18的系统。管道290可提供对板下方空气的抽吸以产生压力差，以确保空气流过固定腔，从而防止湍流。进气口292可以提供用于吹出昆虫的源。

图21是同一系统的上方透视图。一个长8米、宽2米的系统，每天可以分选和包装15万只蚊子。

图22A和图22B是从上方看的视图，示出了箭头294。箭头294表示总体流处理方向-蛹盘到达并朝着等待的空孵化室可控地移动。计算机管理哪个孵化室是空的且需要重新填充，以及哪个孵化室仍在进行蚊子孵化然后降落在固定区域中的网板上。一旦网已满，它将被移至下一个输送系统，朝着其它站点移动。

图23是孵化室和漏斗区的图。

图24是图23的孵化室和漏斗区的横截面。

图25是蛹盘管理的细节。区域300具有例如基于活塞的机构，该机构使盘从输送机垂直地以90度朝着羽化室移动。抽吸单元302位于平板区域的下方，以便柔和地吸入空气，并帮助在网状区域的上方和下方形成压力差，以确保空气向下流过网状区域，而不会(或最小化)蚊子着陆的网表面上的湍流。区域 304具有例如再次基于活塞的机构，该机构使成年蚊子盘从漏斗下方垂直移向输送系统以进行进一步处理。

现在参考图26，图26示出了幼体盘，其中蚊子作为幼体生长。当大多数已经是蛹时，它们将被转移到自动预分拣单元。或者，它们可以自动递送到单独的盘，然后从那里到孵化室，例如无需预分类。

将蛹从幼体盘306倒入蛹盘308和310中。首先，多余的水可能洒落到专用盘上或直接下沉，然后系统可从幼体盘推进幼体以自动收集幼体，然后输送系统可以移动并带动雄性盘308收集雄性蛹，然后可能再次移动以将雌性蛹收集在雌性盘310中。

图27和图28示出了将带有幼体或蛹的水从输送系统上的上盘倾倒至下盘。注意，与被抽吸相反，可以倒水。

图像处理可用于自动操纵致动器，以使三行的蛹/幼体缓慢下降，同时保持每行之间的距离，并且当每行到达底部时，将其倒入下一个等待的盘中。完成后，从上方倒入更多蛹。

可以使用多种方法来获得结果。在一个实施例中，基于图像的度量可以表示雄性蛹和雌性蛹之间的分离量。

一种选择涉及使用霍夫变换(hough transform)检测图像中的两行，该霍夫变换将图像作为输入并返回该行。

第二种选择是基于k均值检测两个(黑色对象)聚类-并输出聚类位置。

确定好这样的标准后，现在将要求最大化。

可以通过训练神经网络来实现最大化，该神经网络将当前度量作为输入并返回命令以影响水流。

另一种选择是使用恒定的图案，该图案交替地打开下部空间和上部空间，并使用行位置和间距来增加/减少玻璃之间的每个空间打开/关闭的时间。

现在参考图29，其示出了一个实施例，其中使用可移动的止动件320以提高生产率并简化自动化。同样，可以使用图像处理来识别上一行的蛹，其为雌性行。如关于图27和图28所描述那样识别该行。在使用k均值检测聚类的情况下，可以在两个聚类的高度之间插入止动件320。一旦检测到该行，就可以停止倒水，并且发送命令以将止动件320带到正确高度(其为恰好在行高度之下) 并插入，如图所示。

止动件提供了一种基于雄性和雌性蛹之间的差异大小进行预分选的方法。止动器是机械的，并且在X-Z轴上移动。

还参考图30中的流程图，一旦第一次创建了行，则可以检测上部行(雌性) 的高度。然后，将梯度Z高度设置为比上部行低几毫米(或几厘米)。沿X轴插入止动件，然后从侧面(仅在上排上方)倒水，从而冲洗掉所有雌性蛹，而止动件阻止水向下流到雄性。然后，如果需要(例如，如果还有一个幼体行)，则可以在中间行的正下方放置另一个止动件，类似地，将雄虫冲洗到可以收集它们的一侧。然后可以将收集的雄虫倒入或用作在下一站的输送机上移动的蛹容器。

在另一个实施例(未画出)中，分选板可以绕其轴线旋转，例如旋转90度或180度，以支持冲洗雌性蛹，然后是雄性，并且如果需要的话可以是幼体。

在带有两个导轨的同一Z轴上可以有两个止动件。一个可以匹配宽度，以在从上方倒水时停止收集雌性，从而在雌性行和雄性行之间分开，而另一个用于识别中间的雄性行，可以插入正下方，宽度为能够阻止雄性与幼体混合。

在另一实施例(未示出)中，不是使用两个不同的止动件，而是可以使用一个能够调节其宽度的止动件，例如，其构造类似于柔性气囊状支架元件的构造。可以调整大小以根据需要停止雌性或停止雄性。

预分选意味着在此过程之后的昆虫群体为约90％是雄性，使得进一步分选可得到更高的纯度，目标是1∶250,000。

图31示出了蛹管理。填充满的蛹盘340到达进行昆虫羽化的羽化室342，并漏至板346中进行分类和包装等。将用过的蛹盘取出作为新盘再使用344。可以沿着单个路径提供多个盘，但是如果所有都是在同时羽化，则它们会需要同时在羽化单元中。图32示出了具有多个羽化单元的实施例，使得可以容纳同时孵化的多个蛹盘。

图33是抽吸臂82的细节，抽吸臂用于从盘上拾取雄蚊并将它们放入盒中。将轨道上的移动板(其与常规输送机相反)与利用抽吸设备(例如文丘里管) 将昆虫吸到盒中(而不是让昆虫掉落)结合使用。可选地，来自下方的鼓风机可以支撑将蚊子向盒抽吸。如果盒处于冷却状态，则可以使其保持打开状态，然后再关闭，或者如上所述，可以将它们自动关闭。

图34是板70的细节，示出了在支撑元件352上具有孔的网350或类似元件。该设计使得能够快速更换板部件以进行清洁等。

现在参考图35至图39，其示出了一个实施例，其中每个板或网都设置在羽化区域上方。再次提供了连续的昆虫流。

蚊子通过轻轻向上吸(例如0.5-1米/秒)而进入漏斗中以支持蚊子向网流动。

最好使网尽可能靠近孵化盘，但也可以将其放置在更高的位置。

位于上方的传感器(例如摄像头)可触发将网或板向固定区域转移的事件。在该实施例中，固定区域不必是封闭区域，而仅仅是将冷空气吹到容纳蚊子的网或板上的区域。

然后将板转移到输送系统，并移动以进行进一步处理，如其他实施例那样，对雌性和/或雄性进行分类和提取。

图35示出了孵化区域370，在该孵化区域中，蚊子孵化然后向上移动并紧贴网。该网向外移动374并翻转376，使得蚊子站立。如果有盖的话，可以将盖移除378，并且在固定、机械分选和放置在盒中的方面不变。

图36是图35的细节。蛹的盘380被带到孵化区。蚊子孵化并飞向网382。框架或安装件384保持该网并允许附接到输送机系统。可选地，将盖386放置在上方以确保清醒的蚊子不会逃出。

图37是图35的进一步细节。抽吸单元388产生压力差以支持冷空气从上方流动通过所述网。输送带390将板向前带到下一部分。

图38是图35的进一步细节，示出了将网翻转以将蚊子清空而进入盒中。在昆虫正要倒下之前将表面网翻转392。或者，可以先使昆虫倒下，然后将网翻转。

图39是示出当网翻转时的连续位置的图。

预期在本申请成熟为专利的寿命期间，会开发出许多相关的机器人拾取技术、视觉技术和学习技术，并且相应术语的范围旨在包括所有此类新技术的先验。

术语“包含(comprises)”、“包含(comprising)”、“包括(includes)”、“包括(including)”“具有(having)”及其变化形式意味着“包括但不限于”。

术语“由…组成”意味着“包括但限制于”。

如本文所用，除非上下文另有明确规定，否则单数形式“一个”，“一种”和“该”包括复数指代物。例如，术语“化合物”或“至少一种化合物”可以包括多种化合物，包括其混合物。

应当理解，为了清楚起见而在单独实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反，为简洁起见而在单个实施例的上下文中描述的本发明的不同特征也可以被单独的或以任何合适的子组合的方式或者作为适用于本发明的任何其他描述的实施例来提供。在不同实施例的上下文中描述的某些特征不应当被认为是这些实施例的必要特征，除非该实施例在没有这些元件的情况下不起作用。

虽然已经结合本发明的特定实施例描述了本发明，但显然，许多的替代、修改和变体对于本领域技术人员将是显而易见的。相应地，所意图的是涵盖落入所附权利要求书的精神和较宽范围内的所有此类替代、修改和变体。

本说明书中提及的所有出版物、专利和专利申请均全文通过引用并入本说明书中，其程度等同于每个单独的出版物、专利或专利申请被具体和单独地被指出通过引用并入本文。另外，本申请中任何参考文献的引用或标识不应被解释为承认此种参考可用作本发明的现有技术。在使用章节标题的范围内，它们不应被解释为必需限制。

Claims (35)

1.一种提供昆虫以便将昆虫分类以分选入多个类别或用于对所分选的昆虫进行质量控制的方法，所述方法包括：

在具有可封闭开口的容器中提供所述昆虫；

将所述昆虫释放到流入漏斗的气流中，所述气流和所述漏斗将所述昆虫带至收集位置，将所述昆虫收集在可移动的输送机的可输送表面上，所述可输送表面为多孔的；

向所述收集位置上的昆虫施用固定剂，从而为所述分选或质量控制提供静止的昆虫；

在所述多孔的表面上施加压力梯度，所述压力梯度用于保证空气流动以及防止湍流；并且

从所述收集位置、在所述可输送表面上输送所述昆虫以进行分选。

2.根据权利要求1所述的方法，其中，所述固定剂是冷空气、二氧化碳和氨中的一者，并且是施用至所述收集位置的剂。

3.根据权利要求1或2所述的方法，其中，所述固定剂被释放到所述漏斗中以提供固定的封闭区域，并且所述收集位置在移动的输送机上，所述封闭区域是可打开的以允许从其输送所述昆虫。

4.根据权利要求3所述的方法，还包括在所述输送机周围提供多个成像位置，以提供被固定昆虫的图像用于分类。

5.根据权利要求4所述的方法，包括在所述成像位置之间提供重叠从而能够在不同成像位置之间跟踪特定昆虫。

6.根据权利要求4或权利要求5所述的方法，包括：从所述成像位置获得特征提取。

7.根据权利要求6所述的方法，包括：从每个成像位置或从多个成像位置以及从提取特征中获得分类，并应用规则以在相同昆虫的不同分类之间进行决策。

8.根据权利要求7所述的方法，其中，所述分类是雄性和雌性，所述方法包括保留所有分类都是雄性的任何昆虫。

9.根据权利要求1所述的方法，其中，所述输送机包括多个输送段。

10.根据权利要求1或7所述的方法，包括具有文丘里环的机械臂，用于拾取所需类别的昆虫以进行包装。

11.根据权利要求10所述的方法，包括提供与所述文丘里环相连接的阀，所述文丘里环的抽吸源被连续地操作，并且在拾取单个批次的昆虫之间关闭所述阀。

12.根据权利要求1所述的方法，包括提供沿着所述移动的输送机的喂食站，用于喂食所述昆虫。

13.根据权利要求12所述的方法，其中，所述喂食站包括网和浸渍有糖水的纸。

14.根据权利要求12所述的方法，其中，所述喂食站基本上没有所述固定剂，从而使所述昆虫能够进食。

15.根据权利要求14所述的方法，其中，所述固定剂是冷空气，所述输送机或所述输送表面保持在六度或以下，并且所述喂食站保持在高于六度。

16.一种提供昆虫以分选入多个类别的方法，包括：

从机械臂提供所述昆虫；

将来自所述机械臂的每只昆虫以一定图案放置在移动的输送机上的可输送表面的收集位置上，所述可输送表面包括多孔表面；

继续放置昆虫，直到完成所述图案；

将固定剂施用至所述可输送表面上的所述昆虫；

在所述多孔表面上施加压力梯度，所述压力梯度用于保证空气流动以及防止湍流；

输送所述昆虫，从而提供静止昆虫流以进行分选。

17.根据权利要求16所述的方法，其中，所述收集位置在足够大以携带多只昆虫的收集板上，所述方法包括继续放置昆虫直到装满所述板，然后移动所述输送机。

18.根据权利要求17所述的方法，其中，所述图案被放置在所述可输送表面上。

19.根据权利要求18所述的方法，其中，所述固定剂是冷空气、二氧化碳和氨中的一者，并且是施用至所述可输送表面的流体。

20.根据权利要求18或权利要求19所述的方法，其中，所述固定剂被释放到所述移动的输送机上固定的封闭区域中，所述封闭区域被打开以允许所述输送。

21.根据权利要求18所述的方法，还包括：在所述输送机周围提供多个成像位置，以提供被固定昆虫的图像用于分类；和/或提供所述成像位置之间的重叠从而能够在不同成像位置之间跟踪指定昆虫。

22.根据权利要求18、19和21中任一项所述的方法，其中，所述输送机包括多个输送段。

23.根据权利要求21所述的方法，包括从所述成像位置获得特征提取。

24.根据权利要求23所述的方法，包括：从每个成像位置或从多个成像位置以及从提取的特征中获得分类，并应用规则以在相同昆虫的不同分类之间进行决策。

25.根据权利要求24所述的方法，其中，所述分类是雄性和雌性，所述方法包括保留所有分类都是雄性的任何昆虫。

26.根据权利要求16所述的方法，其中，需要所述类别中的一种，所述方法包括使用具有文丘里环的机械臂以拾取所需类别的昆虫。

27.根据权利要求26所述的方法，包括使用通过所述文丘里环进行的抽吸，所述抽吸被连续地操作，并且在拾取单个批次的昆虫之间关闭阀门。

28.根据权利要求1或16所述的方法，包括将所述昆虫引导至所述收集位置并使表面在所述收集位置翻转。

29.根据权利要求1或16所述的方法，其中，所述昆虫是从蛹羽化而到达的昆虫。

30.一种用于使蚊子成熟的设备，包括：

用于使蚊子在其内产卵的卵盘，所述卵盘可控地注入水以到达已产卵的水平线；以及用于排出卵或幼体的可控的排出管，其中所述卵盘用不粘表面包覆；

多个成像摄像头；

用于从所述卵盘倾倒所述卵和幼体的蛹的滑槽，所述滑槽至少部分地透明以允许通过所述成像摄像头成像，其中所述滑槽沿宽度方向延伸，使用通过成像控制的操纵器根据尺寸在所述滑槽中形成蛹的行，所述设备包括被构造为通过所述成像控制的至少一个止动件，用于插入所述行之间，以允许来自不同行的蛹被分开，用于插入的所述控制使用基于图像的标准。

31.根据权利要求30所述的设备，其中，所述卵盘排出进入幼体盘，所述幼体盘的尺寸设计成允许昆虫幼体在水中主动游动并进食。

32.根据权利要求31所述的设备，其中，所述幼体盘或所述卵盘能够可控地排出进入蛹盘，所述蛹盘设计成使蛹漂浮在其表面上，并用于收集羽化的成虫。

33.根据权利要求30至32中任一项所述的设备，其中通过所述成像摄像头的成像的结果能够用于控制所述注入或所述排出。

34.根据权利要求32所述的设备，还包括蛹盘输送机以用于将蛹盘输送到羽化位置。

35.一种将成年蚊子分为雄性和雌性蚊子的方法，包括：

根据权利要求1-29中任一项所述的方法获得多只成年蚊子；

固定所述蚊子；

对所述蚊子的身体的前部部位定位；

对所述蚊子的身体的前部部位成像；

从图像中确定触角、下颚须、和喙；

从多毛的触角、更长的下颚须、以及更长的喙中的至少一者确定雄性蚊子；并且

从光滑的触角、更短的下颚须、以及更长的喙中的至少一者确定雌性蚊子。

Images