CN113825999A - 用于对凝胶卡反应的图片进行分类的装置和方法 - Google Patents

Abstract

一种用于对预定容器中的反应物的反应的图片进行分类的装置；该装置包括：第一神经网络，被布置用于接收预定容器中的反应物的反应的输入图片并用于针对第一多个反应类别中的每个反应类别提供输入图片示出属于所述反应类别的反应的概率；第二神经网络，被布置用于如果第一神经响应提供输入图片示出属于预定反应类别的反应的最高概率，则接收输入图片的预定部分并针对第二多个反应类别中的每个反应类别提供输入图片的所述预定部分示出属于所述反应类别的反应的概率。

Description

用于对凝胶卡反应的图片进行分类的装置和方法

技术领域

本公开涉及使用多个神经网络对图片进行分类的装置和方法；并且更具体地，涉及凝集反应的图片，诸如凝胶卡中发生的凝集反应。

背景技术

一种测试血液(例如，用于确定血样的血型)的已知方式包括：将血样引入装有分离基质的容器中，例如诸如葡聚糖丙烯酰胺凝胶之类的凝胶，顶部有液体，可以含有试剂(能够与血样中待检测的分析物复合)和/或成网剂(能够交联致敏红细胞或致敏乳胶颗粒)诸如二抗(例如，抗人球蛋白或抗人IgA抗体)，对容器进行孵育，然后对容器进行离心；其中将红细胞凝集在凝胶中的位置提供了被测试的血样的类型的信息。

图1是示例性已知“凝胶卡”10的侧视图，其由透明塑料板11制成，透明塑料板11将多个透明塑料容器或“井”12保持在一起，每个容器或“井”12包含凝胶量14和可以包含成网剂的流体，并且可选地，包含凝胶和没有成网剂的流体的控制井16。凝胶卡通过如下方式来使用：在每个井中加入一滴血样(和试剂，如果需要的话)，对卡进行孵育，然后对卡进行离心，从而使加速度被引导朝向卡的井的底部。图1图示了示例性凝胶卡，其中红细胞凝集并保留在第一个(RH2；C)、第三个(RH1；D)和第五个(RH5；e)井的顶部；或者未凝集并落到第二个(RH4；c)、第四个(RH3；E)和第六个(对照)井的底部。

图2是卡10的详细的井12的正视图；其包括用于接收待测试的血样(和试剂，如果需要的话)的顶部宽孵育室18，其通过锥形管腔而耦接至具有锥形下端的底部较窄的井20；井12的底部部分22(或反应室)，其填充有例如凝胶24的分离基质，其可以包含成网剂。图2还示出了在井12的离心作用将已反应或未反应的血样朝向底部部分22推动32之前，血样26与腔室18中的流体30中的试剂28反应。

在过去，人工操作者负责在离心之后观察井12并确定井中的反应是阳性还是阴性。然而，为了提高效率，开发了一些系统来自动确定井中的反应是阳性还是阴性。已知的系统生成井的图片，然后使用图像处理软件来将图像带到包括可识别特征的状态；然后使用可识别特征来确定井中的反应是阳性还是阴性。

基于图像处理的识别装置的一个问题是，如果装置的一个元素变化，诸如用来生成图片的相机的类型，或者凝胶卡的透明度或颜色，或者用来生成图片的光的类型，则必须重新校准装置软件以应对因元素变化而引起的图片中的任何变化。此外，基于图像处理的识别装置已经示出难以将非典型反应识别为阳性或阴性。

图3A至图3F示出了井的图片，每个井都具有通过基于图像处理的识别装置通常无法识别的非典型反应。

与已知的自动识别装置和方法相比，所需要的是允许自动识别更不典型的反应图片(例如，血液凝集图片)的装置和/或方法；以及不需要像已知识别装置和/或方法那样经常重新校准的装置和/或方法。本公开的实施例解决了这些和其他需求。

发明内容

本公开的实施例包括一种用于对图片进行分类的装置；具有第一神经网络，接收输入图片的每种颜色的每个像素作为不同的输入，并且作为返回，输出图片示出第一预定反应系列中的每个反应的概率；并且具有第二神经网络，如果由第一神经网络针对预定反应返回的概率超过预定水平，则接收输入图片的预定部分的每种颜色的每个像素作为不同输入，并且作为返回，输出图片示出第二预定反应系列中的每个反应的概率。

本公开的实施例涉及一种用于对预定容器中的反应物的反应的图片进行分类的装置；该装置包括：第一神经网络，被布置用于接收预定容器中的反应物的反应的输入图片，并用于针对第一多个反应类别中的每个反应类别提供输入图片示出属于第一多个反应类别中的所述反应类别的反应的概率；第二神经网络，被布置用于：如果第一神经响应提供输入图片示出属于第一多个反应类别中的预定反应类别的反应的最高概率(即，如果由第一神经网络所生成的概率中的最高者与第一多个反应类别的所述预定反应类别相关)，则接收输入图片的预定部分，并且针对第二多个反应类别的每个反应类别提供输入图片的所述预定部分示出属于第二多个反应类别中的所述反应类别的反应的概率。

根据本公开的实施例，该装置被布置用于：如果由第一神经网络发布的最高概率低于预定阈值，则发布指示输入图片不属于所述第一多个反应类别的控制消息。

根据本公开的实施例，该装置包括决策树，该决策树被布置用于：如果第二神经网络尚未被激活，则将输入图片分类为描绘具有由第一神经网络输出的最高概率的反应类别中的反应；并且如果第二神经网络已被激活，则将输入图片分类为描绘具有由第二神经网络输出的最高概率的反应类别中的反应。

根据本公开的实施例，该装置包括筛选级；该筛选级具有第三神经网络，被布置用于确定：如果所述输入图片适合由第一神经网络分析，则在这种情况下将输入图片提供给第一神经网络；或者如果输入图片不适合由第一神经网络分析，则在这种情况下不将输入图片提供给第一神经网络。根据本公开的实施例，如果输入图片被第三网络识别为示出对第三网络定义的反应的类型为“不合适”，则可以将其确定为“不合适”，否则将其确定为“合适”；或者反之。

根据本公开的实施例，第三神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片分类为合适或不合适的而在监督模式下训练的神经网络。

根据本公开的实施例，筛选级包括过滤器，该过滤器被布置用于：接收输入图片；基于输入图片来生成具有缩减信息的图片，并且将缩减信息的图片输入到第三神经网络中。

根据本公开的实施例，输入图片是彩色图片，并且过滤器被布置为将所述彩色图片变换成黑白图片；第三神经网络包括与黑白图片中的像素一样多的单个像素输入，其中黑白图片的每个像素耦接到第一神经网络的像素输入。

根据本公开的实施例，输入图片是红色输入图片、绿色输入图片和蓝色输入图片的组合；第一神经网络包括与红色输入图片、绿色输入图片和蓝色输入图片中总共的像素一样多的单个像素输入，其中红色输入图片、绿色输入图片和蓝色输入图片的每个像素耦接到第一神经网络的像素输入。

根据本公开的实施例，第一神经网络的每个单个像素输入包括预定数目的单个比特输入。

根据本公开的实施例，第二神经网络包括与输入图片的所述预定部分的红色输入图片、绿色输入图片和蓝色输入图片中总共的像素一样多的单个像素输入。

根据本公开的实施例，第二神经网络的每个单个像素输入包括预定数目的单个比特输入。

根据本公开的实施例，第一神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片与所述第一多个反应类别中的至少一个反应类别相关联而在监督模式下训练的神经网络。

根据本公开的实施例，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片。

根据本公开的实施例，所述多个已知图片包括原始图片集合、预定容器中的反应物的不同反应中的每个反应以及以下中的至少一个：所述原始图片集合的颜色改变；所述原始图片集合的镜像；所述预定容器的位置在所述原始图片集合中的旋转；所述原始图片集合的亮度改变；所述原始图片集合的对比度改变；所述原始图片集合的模糊；所述原始图片集合的裁剪；所述预定容器的位置在所述原始图片集合中的平移；所述原始图片集合的比例改变；以及具有所添加的噪音的所述原始图片集合。

根据本公开的实施例，第二神经网络是通过将所述多个已知图片的每个子集的所述预定部分与所述第二多个反应类别中的至少一个反应类别相关联而在监督模式下训练的网络。

根据本公开的实施例，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片；所述图片的所述预定部分是图片的包含所述井的底部的部分。

本公开的另一实施例包括容器(容器可以是凝胶卡)离心和测试设备，包括：被布置用于对至少一个容器进行离心的离心装置；用于生成离心容器的图像(例如，离心凝胶卡的每个井的图像)的成像设备；以及如上文所详述的用于对预定容器中的反应物的反应的图片进行分类的装置，其被布置用于接收离心容器的每个图像的输入。

本公开的另一实施例涉及对如上文所详述的用于对预定容器中的反应物的反应的图片进行分类的装置进行编程的方法，该方法包括：用第一已知图片系列以及每个所述第一已知图片的已知反应类别系列在监督模式下训练第一神经网络；在第一神经网络没有将至少两个反应类别彼此区分开的情况下，将所述至少两个反应类别归组为所述预定类别；并且用具有属于所述至少两个反应类别的已知反应类别的第二已知图片系列的所选图片(例如，所述第一已知图片系列的所选图片)在监督模式下训练第二神经网络，所述所选图片被裁剪到输入图片的所述预定部分；输入图片的所述预定部分是强调所述至少两个反应类别之间的至少一个差异的区域。

本公开的另一实施例涉及一种对预定容器中的反应物的反应的图片进行分类的方法；该方法包括：在第一神经网络中输入预定容器中的反应物的反应的输入图片；第一神经网络被布置用于针对第一多个反应类别中的每个反应类别提供输入图片示出属于第一多个反应类别中的所述反应类别的反应的概率；如果第一神经响应提供输入图片示出属于第一多个反应类别中的预定反应类别的反应的最高概率，则在第二神经网络中输入该输入图片的预定部分；第二神经网络被布置用于：针对第二多个反应类别中的每个反应类别提供输入图片的所述预定部分示出属于第二多个反应类别中的所述反应类别的反应的概率。

根据本公开的实施例，该方法包括：如果第一神经网络发布的最高概率低于预定阈值，则发布指示输入图片不属于所述第一多个反应类别的控制消息。

根据本公开的实施例，该方法包括：如果第二神经网络尚未被激活，则使用第一决策树来将输入图片分类为示出具有由于第一神经网络输出的最高概率的反应类别中的反应；并且如果第二神经网络已被激活，则使用第二决策树来将输入图片分类为示出具有由第二神经网络输出的最高概率的反应类别中的反应。

根据本公开的实施例，该方法包括：在将输入图片输入到第一神经网络之前，将所述输入图片输入到第三神经网络；第三神经网络被布置用于确定输入图片是否适合由第一神经网络分析；并且如果第三神经网络确定输入图片适合由第一神经网络分析，则在第一神经网络中实现所述输入图片的输入；或者如果第三神经网络确定输入图片不适合由第一神经网络分析，则在第一神经网络中不输入该输入图片。

根据本公开的实施例，第三神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片分类为合适的或不合适的而在监督模式下训练的神经网络。

根据本公开的实施例，该方法包括过滤第三神经网络中的图片输入以减少包含在第三神经网络的图片输入中的信息。

根据本公开的实施例，输入图片是彩色图片并且所述过滤包括将所述彩色图片变换成黑白图片。

根据本公开的实施例，输入图片是红色输入图片、绿色输入图片和蓝色输入图片的组合，并且其中第一神经网络包括与红色输入图片、绿色输入图片和蓝色输入图片中总共的像素一样多的单个像素输入；所述在第一神经网络中输入输入图片包括将红色输入图片、绿色输入图片和蓝色输入图片的每个像素输入到第一神经网络的不同像素输入中。

根据本公开的实施例，第二神经网络包括与输入图片的所述预定部分的红色、绿色和蓝色输入图片中的像素一样多的单个像素输入；所述在第二神经网络中输入该输入图片的预定部分包括将输入图片的红色、绿色和蓝色预定部分的每个像素输入到第二神经网络的不同像素输入中。

根据本公开的实施例，该方法包括：通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片与所述第一多个反应类别中的至少一个反应类别相关联，来在监督模式下训练第一神经网络。

根据本公开的实施例，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片。

根据本公开的实施例，该方法包括：所述多个已知图片从原始图片集合、每一个预定容器中的反应物的不同反应的每一个中形成，并且形成以下项中的至少一项：所述原始图片集合的颜色改变；所述原始图片集合的镜像；所述预定容器的位置在所述原始图片集合中的旋转；所述原始图片集合的亮度改变；所述原始图片集合的对比度改变；所述原始图片集合的模糊；所述原始图片集合的裁剪；所述预定容器的位置在所述原始图片集合中的平移；所述原始图片集合的比例改变；以及具有所添加的噪音的所述原始图片集合。

根据本公开的实施例，该方法包括通过将所述多个已知图片的每个子集的所述预定部分与所述第二多个反应类别中的至少一个反应类别相关联来在监督模式下训练第二神经网络。

根据本公开的实施例，所述已知容器是凝胶卡的井，所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片；所述图片的所述预定部分是图片的包含井的底部的部分。

根据下面的具体实施方式和附图，这些和其他特征和优点将变得更加清楚明白。在附图和描述中，附图标记指示各种特征，贯穿附图和具体实施方式两者，类似的附图标记指代类似的特征。

附图说明

图1示出了已知的凝胶卡。

图2示出了图1的凝胶卡的井的细节。

图3A至图3F示出了具有非典型反应的凝胶卡井。

图4示意性地示出了根据本公开的实施例的装置。

图5示意性地示出了根据本公开的实施例的神经网络。

图6详细地图示了如何处理输入图片以用于训练各种神经网络。

图7总体上图示了如何处理输入图片以用于训练各种神经网络。

图8示出了必须被处理以被已知的图片识别装置识别的图片，以及可以被根据本公开的装置识别的图片。

图9是根据本公开的实施例的凝胶卡离心和测试设备的示意图。

技术人员很好理解的是，附图不一定按比例绘制。附图仅为了说明性原因而被呈现，并且不应被用来限制所附权利要求的范围。

具体实施方式

在以下描述中，阐述了许多具体细节以清楚地描述本文公开的各种具体实施例。然而，本领域技术人员将理解的是，可以在没有以下讨论的所有具体细节的情况下实践当前要求保护的发明。在其他情况下，没有描述众所周知的特征以免混淆所要求保护的发明。

图4示意性地示出了根据本公开的实施例的装置40，用于对预定容器中的反应物的反应的图片42进行分类，例如在离心之后，在血样与凝胶卡井中的(多个)凝集反应物之间的反应的图片。根据本公开的实施例，装置40包括第一神经网络44，如下文所详述，其被布置用于接收输入图片42并且作为返回，用于提供输入图片42示出分别属于第一多个反应类别R1至Rn中的每一个的反应的概率X1到Xn。如图4中所示，并且如下文所详述的，图片42可以是彩色图片并且它可以由一个红色图片R、一个蓝色图片B和一个绿色图片G的组合组成。根据本公开的实施例，神经网络44被布置为使得每个概率X1到Xn被包括在0到100％之间，并且X1到Xn的总和是100。根据实施例，神经网络44也可以被布置用于输出概率X1到Xn的总体可靠性。根据本公开的实施例，值X1到Xn可以被存储在存储缓冲器R1到Rn系列46中。

根据本公开的实施例，装置40包括第一决策电路48，其被布置用于确定是否需要对图片42的进一步分析。如下文所详述，神经网络44被布置为使得反应类别R1至Rn之中的至少一个反应类别Rm涵盖难以用神经网络44进行区分的多个反应类别。根据本公开的实施例，决策电路48被布置用于接收所有值X1到Xn，包括图片42示出在反应类别Rm中包括的反应的机会的值Xm，并且用于如果值Xm是值X1到Xn中的最大值，则(例如，经由如图4中所图示的受控开关49)将图片42发送到第二神经网络50。

根据本公开的实施例，裁剪电路52被布置用于接收由决策电路48发送到第二神经网络50的图片42，用于从图片42中提取预定部分42’，以及用于将所述预定部分42’输入到第二神经网络50z2。根据本公开的实施例，裁剪电路52被布置用于将图片42仅裁剪到其下部部分，如图4中所图示。

根据本公开的实施例，并且如下文所详述，第二神经网络50被布置用于接收输入图片42的部分42’，并且作为返回，提供部分42’示出分别属于第二多个反应类别Rn+1至Rn+k之一的反应的概率Xn+1到Xn+k。根据本公开的实施例，值Xn+1到Xn+k可以被存储在存储缓冲器Rn+1到Rn+k系列51中。根据本公开的实施例，每个概率Xn+1到Xn+k被包括在0到100％之间，并且Xn+1到Xn+K的总和是100。

根据本公开的实施例，装置40包括第二决策电路53，其被布置用于：如果第二神经网络50尚未被第一决策电路48激活，则将输入图片42分类为描绘具有由第一神经网络44输出的最高概率X1-Xn的类别R1-Rn之一中的反应；并且如果第二神经网络50已被第一决策电路48激活，则将输入图片42分类为描绘具有由第二神经网络50输出的最高概率Xn+1-Xn+k的类别Rn+1-Rn+k之一中的反应。根据本公开的实施例，由决策电路48向控制开关49生成的控制信号55也可以被用来：如果第二神经网络50已被激活，则将第二决策53控制为不考虑值X1到Xn。

根据本公开的实施例，如果第一神经响应提供低于预定阈值的最高概率，则可以将诸如信号59的控制消息发送到第二决策电路53，第二决策电路53然后可以被布置为输出例如指示输入图片42可能不示出属于R1-Rn+k中任何一个的反应的消息。

根据本公开的实施例，装置40包括筛选级54，该筛选级54包括过滤器56，该过滤器56被布置为接收输入图片42，并且作为返回，生成具有缩减信息的图片42”。根据本公开的实施例，其中图片42是彩色图片，缩减信息的图片42”是黑白图片。根据本公开的实施例并且如下文所详述，筛选级54还包括第三神经网络58，其被布置用于确定输入图片42是否适合由第一神经网络44分析。根据本公开的实施例，如果神经网络58确定输入图片42适合由第一神经网络44分析，则输入图片42例如使用受控开关60而被输入到第一神经网络44中。另一方面，如果神经网络58确定输入图片42不适合由第一神经网络44分析，则可以将诸如信号59之类的控制消息发送到第二决策电路53，第二决策电路53可以被布置为输出例如指示输入图片42可能不示出属于任何R1–Rn+k的反应的消息。

应注意的是，图4示出了单个决策电路48，其被布置为监测值Xm是否是值X1到Xn中的最大值，并最终导致第二神经网络50接收和研究输入图片42的预定部分42’。然而，本公开的实施例还提供具有多于一个的决策电路48，每个决策电路被布置为监测不同概率Xi是否是值X1到Xn中的最大值(每一个都与不同的反应类别Ri相关)并最终导致不同的第二神经网络50来接收和研究输入图片42的不同预定部分42’。例如，输入图片42的第一预定部分42’可以是图片的底部，如上文所详述的，而输入图片42的第二预定部分42’可以是图片的中间部分的中间。

图5示意性地图示了装置40的第一神经网络44的实施例以及它如何接收输入图片42。根据图示的实施例，神经网络44包括输入层，该输入层具有与形成图像42的红色图像R、蓝色图像B和绿色图像G的所有像素一样多的像素输入神经元62。因此，如果例如图像R、G和B中的每一个包括50×100＝5000个像素，则神经网络44包括15.000个像素输入神经元。贯穿本公开，术语“神经元”与人工神经元电路相关，它可以作为专用硬件或专用硬件和软件的组合来实现，或者作为在标准可编程硬件(诸如计算机)上运行的软件来实现。

根据本公开的实施例，每个像素输入神经元62包括与一个像素包括编码比特一样多的单个位神经元62’。在图5中所图示的示例中，形成图片42的R、G、B图片中的每一个的每个像素被编码为8比特，并且每个像素输入神经元62包括8个单比特神经元62’，其每个被布置为在其树突上接收二进制输入。备选地，每个像素输入神经元62可以被布置为在其树突上接收单个8比特编码像素信号，该信号可以具有被包括在0和255之间的值。根据本公开的实施例，神经网络44的每个像素输入神经元62的轴突连接到隐藏神经元层64，隐藏神经元层64本身连接到由输出神经元66组成的输出神经元层，其中输出层66的每个神经元的轴突耦接到存储器寄存器R1到Rn之一的输入。

根据本公开的实施例，通过将多个已知图片连续地输入到神经网络44，并且每次将输入的已知图片与反应类别R1到Rn之一相关联，在监督模式下训练神经网络44。根据本公开的实施例，每个图片都是在反应物的孵育之后和离心之后的凝胶卡井的侧面图片。根据本公开的实施例，教导神经网络需要熟练的操作者将每个输入的已知图片识别为属于反应类别，并且所述类别在网络44中与所述输入的已知图片相关联。然而，如下文所详述，根据本公开的另一实施例，教导神经网络可能需要熟练的操作者仅将已知图片集合的子集识别为属于反应类别，例如当已知图片集合的剩余图片是通过改变(倾斜、改变颜色等)来自已知图片的所述子集中的图片的视觉外观来生成时，从而剩余图片的类别是已知的，尽管它们的外观有所改变。

图6图示了根据本公开的实施例创建被用于对神经网络44进行训练的多个已知图片的方法。原始图片70被示出。图片70可以例如由诸如以下将被用来生成图片42的相机之类的相机获得。根据本公开的实施例，通过水平翻转(镜像)图片70，从图片70形成另一图片72。根据本公开的实施例，通过使图片更暗并通过垂直移动井的位置，从图片70或72形成另一图片74。根据本公开的实施例，通过垂直移动井的图片并通过将井的图片旋转几度，从图片70或72形成另一图片76。根据本公开的实施例，通过使图片更暗并通过垂直和水平移动井的位置，从图片70或72形成另一图片78。根据本公开的实施例，通过使图片更暗、垂直移动井的图片并且将井的图片旋转几度，从图片70或72形成另一图片80。根据本公开的实施例，通过使图片更暗、垂直移动井的图片，从图片70或72形成另一图片82。根据本公开的实施例，通过以与先前照片不同的方式改变图片的颜色、将井的图片旋转几度并垂直移动井的图片，从图片70或72形成另一图片84。根据本公开的实施例，通过以与先前照片不同的方式使图片更暗、垂直移动井的图片并且将井的图片旋转几度，从图片70或72形成另一图片86。

根据本公开的实施例，用于对神经网络44进行训练的多个已知图片是通过创建包括如下中的至少一个的附加的已知图片集合(诸如图片72–86)从原始图片集合(诸如图片70)开始来形成，：所述原始图片集合的颜色改变；所述原始图片集合的镜像；所述预定容器在所述原始图片集合中的位置的旋转；所述原始图片集合的亮度改变；所述原始图片集合的对比度改变；所述原始图片集合的模糊；所述原始图片集合的裁剪；所述预定容器在所述原始图片集合中的位置的平移；所述原始图片集合的比例改变；具有所添加的噪音的所述原始图片集合。

根据本公开的实施例，可以通过随机组合上文详述的任何图片改变来自动创建附加的已知图片集合。

根据本公开的实施例，由于每个原始图片示出出与从所述原始图片生成的每个附加图片相同的反应，神经网络44可以自动馈送从每个原始图片生成的所有附加图片，并自动教导每个所述附加图片与针对所述原始图片而向神经网络教导的反应(由操作者识别)相同。以上允许熟练的操作者从单独与已知反应类别相关联的缩减大小的已知图片集合中自动生成各自与已知反应类别相关联的大型已知图片集合。根据本公开的实施例，一旦生成各自与已知反应类别相关联的大型已知图片集合，就可以使用所述大型已知图片集合和它们的已知反应类别来自动教导神经网络44。

根据本公开的实施例，一旦神经网络44已被教导，许多未知图片被馈送到神经网络44并且熟练的操作者验证每个未知图片被正确识别为示出正确的反应类别(通过发布大于其他反应类别的概率值的与正确反应类别Rj相关联的概率值Xj)。如果示出两个不同类别图片的未知图片被神经网络44错误归类，则网络44可以附加地用附加的已知图片集合进行训练，如上文所详述的。然而，如果神经网络44一直错误地表征至少两个反应类别，则所述两个反应类别可以被制成单个反应类别Rm；从而神经网络44发布输入图片42属于反应类别Rm的高概率Xm，触发由神经网络50对输入图片的预定细节/部分42’的详细分析，该部分示出所述至少两个类别之间的至少一个差异。

例如，反应类别Rm可以是对受过训练的操作者来说显得有区别但神经网络44不能很好地区分的一组多个阴性反应类别。然后输入图片的预定部分42’可以例如是输入图片的底部部分，包括井的底部，其中可以找到所述多个阴性反应类别之间的至少一个差异。

图5还通过如下操作来图示第二神经网络50以及第一神经网络44：用附图标记50和42’代替附图标记44和42，并且考虑到与以上关于神经网络44的描述一致，神经网络图50包括输入神经元层，其具有与形成预定图片部分42’的红色图片、蓝色图片和绿色图片的三个部分中的像素一样多的像素输入神经元。同样与以上对神经网络44的描述一致，神经网络50的输入神经元层连接到隐藏神经元层，该隐藏神经元层本身连接到输出神经元层；输出神经元层的每个输出神经元的轴突连接到存储器寄存器Rn+1–Rn+k之一(而不是如图所示的R1–Rn)。

神经网络50的教导可以以与神经网络44的教导相同的方式来实现，但是仅使用由操作者挑选的已知图片集合的各部分作为属于(至少)两个反应类别的已知图片，该(至少)两个反应类别未被神经网络44正确区分，并且因此向神经网络44教导为单个反应类别Rm。

备选地，根据本公开的实施例，神经网络44不需要将它没有正确区分的(至少)两个反应类别识别为单个反应类别Rm。然而，如果神经网络44的输出示出输入图片属于(最高概率输出)所述(至少)两个未被正确区分的反应类别中的任何一个，那么决策电路48必须被布置为激活神经网络50。

至于神经网络44的教导，可以通过随机改变原始已知图片的缩减集合的外观来自动生成被用于教导神经网络50的已知图片集合和对应的已知反应类别集合。至于神经网络44的教导，一旦它们从原始已知图片的缩减集合自动生成，被用于教导神经网络50的已知图片集合和它们对应的已知反应类别集合就可以被自动馈送到训练神经网络50。

图5还通过如下来图示了第三神经网络58以及第一神经网络44：用附图标记58和42”代替附图标记44和42，并且与上文关于神经网络44的描述一致地考虑，神经网络58包括输入神经元层，其具有与黑白图片42”中的像素一样多的像素输入神经元。同样与以上对神经网络44的描述一致，神经网络58的输入神经元层连接到隐藏神经元层，该隐藏神经元层本身连接到单个输出神经元；输出神经元的轴突被布置为提供信号59，信号59识别图片42适合或不适合由第一神经网络44分析。

神经网络58的教导可以以与神经网络44的教导相同的方式来实现，但是仅使用已知的黑白图片集合，每个图片具有单个“适合分析”或“不适合分析”标签。根据本公开的实施例，从已知的彩色图片集合生成已知的黑白图片集合。根据本公开的实施例，已知的彩色图片集合可以包括被识别为示出可识别反应的数个原始图片以及被识别为未示出可识别反应的数个原始图片，例如没有示出可识别反应的如图3具有气泡或如图3C中的不透明反应的图片。操作者可以将每个图片手动关联到“适合分析”或“不适合分析”的标签。备选地，“不适合分析”的图片可以从训练之后的第一和第二神经网络始终错误分析的图片集合中自动或手动选择；而“适合分析”的图片可以从训练之后的第一和第二神经网络一致正确分析的图片集合中自动或手动选择。

然后可以从原始(适合和不适合)已知图片集合自动形成原始黑白图片集合，然后可以例如通过在原始黑白图片的外观中随机引入微小改变来为了训练神经网络58而自动生成各自具有已知标签的已知黑白图片集合。

备选地，例如通过在如上文所详述的原始图片外观中随机引入微小改变来，可以从原始(适合和不适合)已知图片集合自动形成具有适合/不适合标签的已知彩色图片集合，并且可以通过过滤器56在监督模式下将这样的已知彩色图片集合馈送到神经网络58，过滤器56将每个彩色图片实时转换成黑白图片。

图7图示了用于对神经网络58进行训练的已知黑白图片集合90；用于对神经网络44进行训练的已知彩色图片集合92以及用于对神经网络50进行训练的已知彩色图片集合94可以从原始颜色图片集合96生成。

图8示出了离心之后它必须看起来可以通过已知图片识别装置进行分类的血液凝集凝胶卡的图片98，以及离心之后它可以看起来可以通过根据本公开的识别装置进行分类的血液凝集凝胶卡的图片100。

图9图示了根据本公开的实施例的凝胶卡离心和测试设备102，包括被布置用于对至少一个凝胶卡106进行离心的离心装置104；用于生成离心凝胶卡106的每个井的图像42的诸如数码相机108之类的成像设备；以及如图4中所示的装置110，用于接收离心凝胶卡的每个图像42输入，并且将其分类为示出反应类别R1至Rm-1或Rm+1至Rn或Rn+1至Rn+k之一；或者将其分类为示出不可识别的反应。

应注意，诸如图4中所示的装置40对于可能发生并导致图像42变化的变化是鲁棒的。例如，影响图片42的颜色或锐度或亮度的光学变化不会导致图片42被装置40错误分类。类似地，在拍摄图片42时凝胶卡的意外倾斜不会导致图片42被装置40错误分类。此外，可以通过裁剪新图像以匹配原始像素数目从而使得井仍然是裁剪图片的一部分来处理导致图像42中的像素数目增加的相机108的变化。一致地，可以通过拉伸新图像以匹配原始像素数来处理导致图像42中像素数目减少的相机的变化。

现在已经根据专利法规的要求描述了本发明，本领域技术人员将理解如何对本发明进行改变和修改以满足他们的特定要求或条件。在不脱离本文所公开的本发明的范围和精神的情况下，可以做出这样的改变和修改。

示例性和优选实施例的前述具体实施方式是根据法律的要求出于说明和公开的目的而呈现的。并不旨在穷举或将本发明限制为所描述的精确形式，而只是为了使本领域的其他技术人员能够理解本发明可以如何适用于特定用途或实现。修改和变体的可能性对于本领域技术人员来说是显而易见的。示例性实施例的描述不旨在限制，其可以包括公差、特征尺寸、特定操作条件、工程规范等，并且其可以在实现之间或随着现有技术的改变而变化，并且不应从中暗示限制。申请人已经就现有技术的当前状态做出了本公开，但是也设想了进步，并且未来的适配可能考虑到这些进步，即根据现有技术的当前状态。本发明的范围旨在由所编写的权利要求和适用的等效物来限定。除非明确说明，否则以单数形式提及权利要求元素并不旨在意指“一个且唯一一个”。此外，无论权利要求中是否明确叙述了该元素、组件或步骤，本公开中的任何元素、组件、方法或过程步骤均不旨在为公众所用。除非该元素使用短语“部件，用于...”，否则本文的任何权利要求元素均不应被解释为根据35U.S.C.第112节第六段；并且除非使用短语“包括……的(一个或多个)步骤”明确叙述一个或多个步骤，否则本文中的任何方法或过程步骤均不应根据这些规定进行解释。

Claims (32)

1.一种用于对预定容器中的反应物的反应的图片进行分类的装置；所述装置包括：

第一神经网络，被布置用于接收预定容器中的反应物的反应的输入图片，并且用于针对第一多个反应类别中的每个反应类别提供所述输入图片示出属于所述第一多个反应类别中的所述反应类别的反应的概率；

第二神经网络，被布置用于：如果第一神经响应提供所述输入图片示出属于所述第一多个反应类别中的预定反应类别的反应的最高概率，则接收所述输入图片的预定部分，并且针对第二多个反应类别中的每个反应类别提供所述输入图片的所述预定部分示出属于所述第二多个反应类别中的所述反应类别的反应的概率。

2.根据权利要求1所述的装置，被布置用于：如果由所述第一神经网络发布的所述最高概率低于预定阈值，则发布指示所述输入图片不属于所述第一多个反应类别的控制消息。

3.根据权利要求1或2所述的装置，包括决策树，所述决策树被布置用于：

如果所述第二神经网络尚未被激活，则将所述输入图片分类为描绘具有由所述第一神经网络输出的所述最高概率的所述反应类别中的反应；以及

如果所述第二神经网络已被激活，则将所述输入图片分类为描绘具有由所述第二神经网络输出的所述最高概率的所述反应类别中的反应。

4.根据权利要求1至3所述的装置，包括筛选级；所述筛选级具有第三神经网络，所述第三神经网络被布置用于确定：

如果所述输入图片适合由所述第一神经网络分析，则在这种情况下将所述输入图片提供给所述第一神经网络；或者

如果所述输入图片不适合由所述第一神经网络分析，则在这种情况下不将所述输入图片提供给所述第一神经网络。

5.根据权利要求4所述的装置，其中，所述第三神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片分类为合适的或不合适的而在监督模式下训练的神经网络。

6.根据权利要求4或5所述的装置，其中，所述筛选级包括过滤器，所述过滤器被布置为接收所述输入图片；基于所述输入图片来生成具有缩减信息的图片；以及将缩减信息的图片输入到所述第三神经网络中。

7.根据权利要求6所述的装置，其中，所述输入图片是彩色图片，并且其中，所述过滤器被布置为将所述彩色图片变换成黑白图片；所述第三神经网络包括与所述黑白图片中的像素一样多的单个像素输入，其中，所述黑白图片的每个像素耦接到第一神经网络的像素输入。

8.根据权利要求1至7所述的装置，其中，所述输入图片是红色输入图片、绿色输入图片和蓝色输入图片的组合；所述第一神经网络包括与所述红色输入图片、所述绿色输入图片和所述蓝色输入图片中总共的像素一样多的单个像素输入，其中所述红色输入图片、所述绿色输入图片和所述蓝色输入图片的每个像素耦接到所述第一神经网络的像素输入。

9.根据权利要求8所述的装置，其中，所述第一神经网络的每个单个像素输入包括预定数目的单个比特输入。

10.根据权利要求8或9所述的装置，其中，所述第二神经网络包括与所述输入图片的所述预定部分的所述红色输入图片、所述绿色输入图片和所述蓝色输入图片中总共的像素一样多的单个像素输入。

11.根据权利要求10所述的装置，其中，所述第二神经网络的每个单个像素输入包括预定数目的单个比特输入。

12.根据权利要求1至11所述的装置，其中，所述第一神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片与所述第一多个反应类别中的至少一个反应类别相关联而在监督模式下训练的神经网络。

13.根据权利要求12所述的装置，其中，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片。

14.根据权利要求12或13所述的装置，其中，所述多个已知图片包括原始图片集合、预定容器中的反应物的不同反应中的每个反应以及以下项中的至少一项：

所述原始图片集合的颜色改变；

所述原始图片集合的镜像；

所述预定容器的位置在所述原始图片集合中的旋转；

所述原始图片集合的亮度改变；

所述原始图片集合的对比度改变；

所述原始图片集合的模糊；

所述原始图片集合的裁剪；

所述预定容器的位置在所述原始图片集合中的平移；

所述原始图片集合的比例改变；以及

具有所添加的噪音的所述原始图片集合。

15.根据权利要求12至14所述的装置，其中，所述第二神经网络是通过将所述多个已知图片的每个子集的所述预定部分与所述第二多个反应类别中的至少一个反应类别相关联而在监督模式下训练的网络。

16.根据权利要求15所述的装置，其中，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片；所述图片的所述预定部分是所述图片的包含所述井的底部的部分。

17.一种离心和测试设备，包括：

离心装置，被布置用于对至少一个容器进行离心；

成像设备，用于生成所述容器的图像；以及

根据权利要求1至16所述的装置，用于接收离心容器的每个图像输入。

18.根据权利要求17所述的凝胶卡离心和测试设备，包括：

离心装置，被布置用于对至少一个凝胶卡进行离心；

成像设备，用于生成离心凝胶卡的每个井的图像；以及

根据权利要求1至16所述的装置，用于接收离心凝胶卡的每个图像输入。

19.一种对根据权利要求1所述的装置进行编程的方法，所述方法包括：

用第一已知图片系列和每个所述第一已知图片的已知反应类别系列在监督模式下训练所述第一神经网络；

在所述第一神经网络没有将至少两个反应类别彼此区分开的情况下，将所述至少两个反应类别归组为所述预定类别；以及

用具有属于所述至少两个反应类别的已知反应类别的第二已知图片系列的所选图片在监督模式下训练所述第二神经网络，所述所选图片被裁剪到所述输入图片的所述预定部分；所述输入图片的所述预定部分是强调所述至少两个反应类别之间的至少一个差异的区域。

20.一种用于对预定容器中的反应物的反应的图片进行分类的方法；所述方法包括：

在第一神经网络中输入预定容器中的反应物的反应的输入图片；所述第一神经网络被布置用于针对第一多个反应类别中的每个反应类别提供所述输入图片示出属于所述第一多个反应类别中的所述反应类别的反应的概率；以及

如果第一神经响应提供所述输入图片示出属于所述第一多个反应类别中的预定反应类别的反应的最高概率，则在第二神经网络中输入所述输入图片的预定部分；所述第二神经网络被布置用于：针对第二多个反应类别中的每个反应类别提供所述输入图片的所述预定部分示出属于所述第二多个反应类别中的所述反应类别的反应的概率。

21.根据权利要求20所述的方法，还包括：

如果所述第二神经网络尚未被激活，则使用第一决策树来将所述输入图片分类为示出具有由所述第一神经网络输出的所述最高概率的所述反应类别中的反应；以及

如果所述第二神经网络已被激活，则使用第二决策树将所述输入图片分类为示出具有由所述第二神经网络输出的最高概率的所述反应类别中的反应。

22.根据权利要求20或21所述的方法，还包括：在将所述输入图片输入到所述第一神经网络之前，将所述输入图片输入到第三神经网络；所述第三神经网络被布置用于确定所述输入图片是否适合由所述第一神经网络分析；以及

如果所述第三神经网络确定所述输入图片适合由所述第一神经网络分析，则在所述第一神经网络中实现所述输入图片的所述输入；或者

如果所述第三神经网络确定所述输入图片不适合由所述第一神经网络分析，则不在所述第一神经网络中输入所述输入图片。

23.根据权利要求22所述的方法，其中，所述第三神经网络是通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片分类为合适的或不合适的而在监督模式下训练的神经网络。

24.根据权利要求22或23所述的方法，包括过滤所述第三神经网络中的所述图片输入以缩减包含在到所述第三神经网络的所述图片输入中的所述信息。

25.根据权利要求24所述的方法，其中，所述输入图片是彩色图片，并且其中，所述过滤包括将所述彩色图片变换成黑白图片。

26.根据权利要求20至25所述的方法，其中，所述输入图片是红色输入图片、绿色输入图片和蓝色输入图片的组合，并且其中，所述第一神经网络包括与所述红色输入图片、所述绿色输入图片和所述蓝色输入图片中总共的像素一样多的单个像素输入；

所述在所述第一神经网络中输入输入图片包括将所述红色输入图片、所述绿色输入图片和所述蓝色输入图片的每个像素输入到所述第一神经网络的不同像素输入中。

27.根据权利要求26所述的方法，其中，所述第二神经网络包括与所述输入图片的所述预定部分的所述红色输入图片、所述绿色输入图片和所述蓝色输入图片中总共的像素一样多的单个像素输入；

所述在所述第二神经网络中输入所述输入图片的预定部分包括将输入图片的所述红色、所述绿色和所述蓝色预定部分的每个像素输入到所述第二神经网络的不同像素输入中。

28.根据权利要求20至27所述的方法，包括：通过将预定容器中的反应物的反应的多个已知输入图片中的每个已知输入图片与所述第一多个反应类别中的至少一个反应类别相关联，来在监督模式下训练所述第一神经网络。

29.根据权利要求28所述的方法，其中，所述已知容器是凝胶卡的井，并且所述已知图片以及所述输入图片是凝胶卡的井中的反应物的反应的横向图片。

30.根据权利要求28或29所述的方法，包括：所述多个已知图片从原始图片集合、预定容器中的反应物的不同反应的每个反应中形成，并且形成以下项中的至少一项：

所述原始图片集合的颜色改变；

所述原始图片集合的镜像；

所述预定容器的位置在所述原始图片集合中的旋转；

所述原始图片集合的亮度改变；

所述原始图片集合的对比度改变；

所述原始图片集合的模糊；

所述原始图片集合的裁剪；

所述预定容器的位置在所述原始图片集合中的平移；

所述原始图片集合的比例改变；以及

具有所添加的噪音的所述原始图片集合。

31.根据权利要求28至30所述的方法，包括通过将所述多个已知图片的每个子集的所述预定部分与所述第二多个反应类别中的至少一个反应类别相关联，来在监督模式下训练所述第二神经网络。

32.根据权利要求31所述的方法，其中，所述已知容器是凝胶卡的井，并且所述已知图片和所述输入图片是凝胶卡的井中的反应物的反应的横向图片；所述图片的所述预定部分是所述图片的包含所述井的底部的部分。

Images