CN116091848A - 试管分类方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种试管分类方法、装置、设备及存储介质，涉及机器学习领域，该方法包括：获取多组不同类别的目标试管图像；基于目标试管图像，构建试管分类模型；其中，试管分类模型通过训练多分支模型，并在部署中，将多分支模型转换为单路模型而构建；基于试管分类模型对待测试管图像进行识别，获得待测试管的类别。通过采集多种类别的目标试管图像，并基于这些图像训练多分支模型转换部署为单路模型后形成固定的试管分类模型，利用该试管分类模型对待测试管图像进行识别，进而获得待测试管的类别，实现了试管类型的自动化检测，减少了操作人员的工作量，提高了识别效率和准确率。

Description

试管分类方法、装置、设备及存储介质

技术领域

本申请涉及机器学习技术领域，具体而言，涉及一种试管分类方法、装置、设备及存储介质。

背景技术

随着社会的发展、医疗的进步，各种疾病的检测可以通过血液样本与特定的试剂之间发生生化反应，医生通过生化反应的结果判断患者的生体状况。各大医院每日待检测的样本往往在一千份以上，如果操作员通过人工的方式手动将试剂液滴入待测样本的试管中，这将会有一个非常大的工作量，往往需要多人参与，存在操作员由于长时间工作导致的样本漏检或误检的风险发生，且整个检测周期较长。

目前的自动化样本反应设备由于无法识别试管的类型，每轮检测都需要人工提前设定试管类型、试剂盒的坐标以及反应杯的坐标等参数，且无法设置多种试管类型，使得每一轮检测只能完成一种疾病样本的检测，当检测任务需要用到多个样本和试剂时，操作员工作量增大，效率降低。

发明内容

有鉴于此，本申请实施例的目的在于提供一种试管方法、装置、设备及存储介质，通过采集多种类别的目标试管图像，并基于这些图像通过训练多分支模型转换部署为单路模型后形成固定的试管分类模型，利用该试管分类模型对待测试管图像进行识别，进而获得待测试管的类别，实现了试管类型的自动化检测，减少了操作人员的工作量，效率高，从而解决了上述技术问题。

第一方面，本申请实施例提供一种试管分类方法，所述方法包括：获取多组不同类别的目标试管图像；基于所述目标试管图像，构建试管分类模型；其中，所述试管分类模型通过训练多分支模型，并在部署中，将所述多分支模型转换为单路模型而构建；基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别。

在上述实现过程中，通过采集多种类别的目标试管图像，并基于这些图像训练多分支模型转换部署为单路模型后形成固定的试管分类模型，利用该试管分类模型对待测试管图像进行识别，进而获得待测试管的类别，实现了试管类型的自动化检测，减少了操作人员的工作量，提高了识别效率和准确率。

可选地，所述获取多组不同类别的目标试管图像，包括：采集多组不同类别试管的拍摄图像；从所述拍摄图像中，获取所述试管的顶部区域图像和所述试管的底部区域图像；对所述试管的顶部区域图像和所述试管的底部区域图像进行拼接，获得多组拼接试管图像；基于所述多组拼接试管图像，获得目标试管图像。

在上述实现过程中，通过对采集的拍摄图像中试管的顶部区域图像和底部区域进行拼接，获得最终训练前的输入图像，避免了传统方案难以识别长试管和短试管的问题，减小了两种试管的识别误差率，提高了训练模型的精度。采用试管顶部区域和底部区域拼接的方式得到模型的输入图像，在一定程度上解决了短试管误检成长试管的问题，极大地提高了试管分类的准确率。

可选地，所述在基于所述目标试管图像，构建试管分类模型，包括：将所述目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型；其中，所述多分支模型包括：主分支的多个卷积层以及与所述卷积层平行的恒等映射分支；将所述收敛试管模型转换为单路模型进行部署，获得构建的试管分类模型；其中，所述单路模型包括：主分支的多个卷积层。

在上述实现过程中，通过采用训练多分支模型，并转换为单路模型进行部署，可以极大地提升模型的推理速度；单路结构相比于多路结构，由于并行度高，相同的计算量，运行效率要高得多；同时单路模型结构更加节省内存，整理的灵活性也更好。

可选地，所述将所述目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型，包括：将所述目标试管图像作为多分支模型的输入，并采用预热小学习率对所述多分支模型进行训练，获得相对稳定模型；采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得收敛试管模型。

在上述实现过程中，通过采集多种类别的目标试管图像，并基于这些图像利用预热学习率大方式在训练前期和后期设置不同大小的学习率，训练部署得到最终的试管分类模型，使得在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练，使得模型收敛速度变得更快，模型效果更佳，提高了模型的识别准确率。

可选地，所述采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得收敛试管模型，包括：采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得训练试管模型；计算所述训练试管模型对多组不同类别的目标试管图像的识别准确率，并与预设阈值进行比对；若判定所述识别准确率不低于所述预设阈值，则将当前的训练收敛试管模型确定为收敛试管模型。

在上述实现过程中，通过在训练试管分类模型过程中，设置识别准确率的预设阈值判断训练是否结束，提高了构建的试管分类模型的准确度。

可选地，所述基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别之后，所述方法还包括：对待测试管的类别进行判断；若所述待测试管的类别满足预设条件，则基于所述待测试管进行预设操作，并在所述预设操作后，则进行下一次识别；若所述待测试管的类别不满足预设条件，则进行下一次识别。

在上述实现过程中，通过在试管类型识别后，判断类型是否满足预设条件，如果满足预设条件可控制该类型试管进行固定的预设操作，操作结束后才进行下一次的识别，实现了试管类别识别后的某些类型的试管自动化检测，相比于人工的检测方式，该自动化反应设备在一定程度上减少了操作员的工作量，速度更快，准确率更高。

可选地，其中，所述待测试管的类别包括：长试管、短试管、反应杯、日立杯、短试管带帽、反应杯带帽以及试剂盒；所述预设条件包括所述待测试管的类别不为短试管带帽或反应杯带帽的试管类型；所述预设操作包括采集所述待测试管中的样本与试剂盒中的试剂放入反应杯中进行生化反应。

在上述实现过程中，通过在试管类型识别后，判断类型是否为短试管带帽或反应杯带帽，如果不是，可控制该类型试管自动将试管内的样本和试剂都滴入反应杯内，完成生化检测，检测结束后才进行下一次的识别，实现了自动判定类型自动化检测，相比于人工的检测方式，该自动化反应设备在一定程度上减少了操作员的工作量，速度更快，准确率更高。

可选地，所述进行下一次识别之后，所述方法还包括：判断识别的总次数是否等于待测试管的数量；若判定所述总次数等于所述待测试管的数量，则结束识别。

在上述实现过程中，通过将待测试管的数量设置为识别次数的阈值条件来自动结束识别流程，以便于对识别次数进行控制，提高了自动化检测流程的效率。

第二方面，本申请实施例提供了一种试管分类装置，所述装置包括：获取模块，用于获取多组不同类别的目标试管图像；构建模型模块，用于基于所述目标试管图像，构建试管分类模型；其中，所述试管分类模型通过训练多分支模型，并在部署中，将所述多分支模型转换为单路模型而构建；识别类别模块，用于基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别。

第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述机器可读指令被所述处理器执行时执行上述的方法的步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述的方法的步骤。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种试管分类方法的流程图；

图2为本申请实施例提供的一种试管图像裁剪示意图；

图3为本申请实施例提供的一种多分支模型的示意图；

图4为本申请实施例提供的一种单路模型的示意图；

图5为本申请实施例提供的试管分类装置的功能模块示意图；

图6为本申请实施例提供试管分类装置的电子设备的方框示意图。

图标：210-获取模块；220-构建模型模块；230-识别类别模块；300-电子设备；311-存储器；312-存储控制器；313-处理器；314-外设接口；315-输入输出单元；316-显示单元。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在介绍本申请实施例前，首先对本申请涉及的技术概念作简要介绍。

RepVGG：通过结构重参数化思想，让训练网络的多路结构(多分支模型训练时的优势——性能高)转换为推理网络的单路结构(模型推理时的好处——速度快、省内存），结构中均为3x3的卷积核，同时，CuDNN、Intel MKL计算库和硬件针对3x3卷积有深度的优化，最终可以使网络有着高效的推理速率，其中，TensorRT在构建engine阶段，对模型进行重构，底层也是应用了卷积合并、多分支融合思想，使得模型最终有着高性能的推理速率。

Cosine Warmup训练预热方法：warmup，即预热的意思，是在ResNet论文中提到的一种学习率预热的方法，它在训练开始时先选择使用一个较小的学习率，训练了一些epoches或者steps，比如4个epoches、10000steps,再修改为预先设置的学习率来进行训练。由于刚开始训练时，模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定(振荡)，选择Warmup预热学习率的方式，可以使得开始训练的几个epoches或者一些steps内学习率较小，在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练,使得模型收敛速度变得更快，模型效果更佳。例如：Resnet论文中使用一个110层的ResNet在cifar10上训练时，先用0.01的学习率训练直到训练误差低于80%(大概训练了400个steps)，然后使用0.1的学习率进行训练。

trt模型（深度学习模型inference优化之TensorRT）：是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。为了提高部署推理的速度，出现了很多模型优化的方法，如：模型压缩、剪枝、量化、知识蒸馏等，这些一般都是在训练阶段实现优化，当一个模型训练好后还可以通过优化网络计算图提高模型效率，即出现了TensorRT。

本申请发明人注意到，各种疾病的检测可以通过血液样本与特定的试剂之间发生生化反应，医生通过生化反应的结果判断患者的生体状况。各大医院每日待检测的样本往往在一千份以上，如果操作员通过人工的方式手动将试剂液滴入待测样本的试管中，这将会有一个非常大的工作量，往往需要多人参与，存在操作员由于长时间工作导致的样本漏检或误检的风险发生，且整个检测周期较长。目前，大部分医院会采购自动化样本反应设备，该设备将待测样本的试管放入反应仓，将试剂盒放入试剂仓，通过程序控制机械臂自动将样本和试剂都滴入反应杯内，完成生化检测。相比于人工的检测方式，该自动化反应设备在一定程度上减少了操作员的工作量，速度更快，准确率更高。有鉴于此，本申请实施例提供了一种如下介绍的试管分类方法。

请参阅图1，图1为本申请实施例提供的一种试管分类方法的流程图。该方法包括：步骤100、步骤120和步骤140。

步骤100：获取多组不同类别的目标试管图像；

步骤120：基于目标试管图像，构建试管分类模型；其中，试管分类模型通过训练多分支模型，并在部署中，将多分支模型转换为单路模型而构建；

步骤140：基于试管分类模型对待测试管图像进行识别，获得待测试管的类别。

示例性地，试管分类模型可以是：通过对多种不同类别的试管图像进行训练得到的多分支结构的模型，然后转换为用于后续推理识别的单路结构的模型。其可以是基于RepVGG的思想，即通过结构重参数化思想，让训练网络的多路结构转换为推理网络的单路结构，从而充分利用多分支模型训练时性能高的优势，模型推理时速度快、省内存的好处。特别地，由于RepVGG模型结构相比于传统的CNN模型，在训练和推理阶段拥有两种形态，训练采用一个多分支网络模型，多分支网络相比于单分支网络而言，具有更好的特征提取能力，可以有效地解决在训练过程中随着模型层数的增加带来的梯度消失问题，使得模型可以更好的学习到图像中的特征，在推理阶段具有更好的效果。

可选地，采集多组不同类别的目标试管图像，采用RepVGG的思想训练这些图像，将训练网络的多路结构转换为推理网络的单路结构，获得最终基于RepVGG的试管分类模型，利用基于RepVGG的试管分类模型对实际场景中的待测试管图像进行推理，对推理的结果可利用softmax算法进行处理，得到各分类结果的概率值，概率值最大的类别即为推理得到的待测试管的类别。其中，softmax算法可指如果判断输入属于某一个试管类别的概率大于属于其他试管类别的概率，那么这个试管类别对应的值就逼近于1，其他试管类别的值就逼近于0。特别地，该算法主要应用就是多分类，而且是互斥的，即只能属于其中的一个试管类别。与sigmoid类的激活函数不同的是，一般的激活函数值只能分两类，所以可以理解Softmax是sigmoid类的激活函数的扩展，其定义如下：假设有一个数组V，Vi表示V中的第i个元素，那么这个元素的Softmax值就是：

该元素的指数，与所有元素指数和的比值，所有比值之和能保证总和为1，即利用softmax算法对分类结果进行处理，所有类别结果的概率值总和为1。

特别地，利用RepVGG模型的优势，在训练阶段中使用多分支模型结构，多分支模型具有较强的特征提取能力，可以有效提取特征，提高模型性能。在部署阶段，将多分支模型转换为单路模型，单路模型由于架构的优势和较高的并行度，可以提高模型的推理速度，降低内存的占用。

通过采集多种类别的目标试管图像，并基于这些图像通过训练多分支模型转换部署为单路模型后形成固定的试管分类模型，利用该试管分类模型对待测试管图像进行识别，进而获得待测试管的类别，实现了试管类型的自动化检测，减少了操作人员的工作量，提高了识别效率和准确率。

在一个实施例中，步骤100可以包括：步骤101、步骤102、步骤103和步骤104。

步骤101：采集多组不同类别试管的拍摄图像；

步骤102：从拍摄图像中，获取试管的顶部区域图像和试管的底部区域图像；

步骤103：对试管的顶部区域图像和试管的底部区域图像进行拼接，获得多组拼接试管图像；

步骤104：基于多组拼接试管图像，获得目标试管图像。

示例性地，采集图像的方式可以是：将多组试管放在可移动的轨道上，扫码相机安装在距离待测试管20cm处，通过控制轨道将不同类别的试管展示在扫码相机前方，扫码相机进行拍摄，获取到试管上的条码信息和当前试管图像，图像尺寸为1920×1080。

如图2所示，为了减小长试管和短试管的识别误差率，需要对扫码相机获取的图像进行裁剪。因为试管的种类的不同，其中长试管和短试管只有长度不同，其他部分都相同，如果直接进行传统几何变化的方式，则会导致在识别阶段将部分短试管识别成长试管；因此，将图像中试管的顶部和底部区域裁剪出来，再进行拼接。可选地，为提高图像的清晰度和质量，可再对拼接后的试管图像进行数据增强，具体可包括添加高斯噪声，调整亮度，饱和度以及色调，图像翻转，图像小范围平移，小角度旋转等。这样可以极大地增加数据集，增加后期模型的鲁棒性，最后将图像裁剪成128x256的大小，对每一张试管图像都进行这样的处理，从而得到多组拼接试管图像，即目标试管图像。

通过对采集的拍摄图像中试管的顶部区域图像和底部区域进行拼接，获得最终训练前的输入图像，避免了传统方案难以识别长试管和短试管的问题，减小了两种试管的识别误差率，提高了训练模型的精度。采用试管顶部区域和底部区域拼接的方式得到模型的输入图像，在一定程度上解决了短试管误检成长试管的问题，极大地提高了试管分类的准确率。

在一个实施例中，步骤120可以包括：步骤121和步骤122。

步骤121：将目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型；其中，多分支模型包括：主分支的多个卷积层以及与卷积层平行的恒等映射分支；

步骤122：将收敛试管模型转换为单路模型进行部署，获得构建的试管分类模型；其中，单路模型包括：主分支的多个卷积层。

示例性地，如图3和图4所示，多分支模型可以采用RepVGG Block结构，图3的主分支总共包括四个3x3卷积层，恒等映射分支包括四个1x1卷积层。其中，该结构中的第一层为一个步长stride为2的3x3卷积层，同时和卷积层平行的还有一个1x1卷积层；第二到第四层中的每一层都是3x3卷积层、1x1卷积分支和恒等映射分支的组合。该结构类似于ResNet，不同之处在于RepVGG训练模型中每个3x3的卷积层都会添加平行的1x1卷积层或恒等分支层，而在ResNet中，通常2到3个3x3的卷积层才会添加一个1x1的卷积层或恒等分支层。

多分支模型在训练时具有较高的精度和性能，但是在实际部署中，需要考虑速度和内存。为了提高部署阶段模型的速度，并降低内存的消耗，部署阶段RepVGG采用了如图4的单路结构，将多分支的RepVGG Block转换为只有3x3卷积的单路模型，将训练收敛好的RepVGG训练模型（收敛试管模型）转换成RepVGG部署模型（试管分类模型），其可以通过将训练收敛的pth模型转为onnx模型，然后再将onnx模型转换为trt模型。具体地：1. 基于pytorch 框架训练得到收敛试管模型，保存成pt或者pth模型；2. 用pytorch 加载cnn_best.pth测试；3. 将pth转化为onnx模型；4. 验证onnx模型；5. 再将onnx模型转换为trt模型进行保存。

通过采用训练多分支模型，并转换为单路模型进行部署，可以极大地提升模型的推理速度；单路结构相比于多路结构，由于并行度高，相同的计算量，运行效率要高得多；同时单路模型结构更加节省内存，整理的灵活性也更好。

在一个实施例中，步骤121可以包括：步骤1211和步骤1212。

步骤1211：将目标试管图像作为多分支模型的输入，并采用预热小学习率对多分支模型进行训练，获得相对稳定模型；

步骤1212：采用以余弦曲线下降形式的学习率对相对稳定模型进行训练，获得收敛试管模型。

示例性地，同样地，基于RepVGG思想训练试管分类模型。训练阶段可将约4000张不同类别的目标试管图像进行步骤102-步骤104中的裁剪、数据增强后作为训练数据，输入到RepVGG多分支模型中进行训练。模型训练的具体方式可采用Cosine Warmup训练预热的方法，在训练多分支模型前20个epoch（训练次数、迭代次数）设置学习率从0.000001线性增加到0.01，得到慢慢趋于稳定的相对稳定模型；在后80个epoch里学习率保持余弦曲线的方式下降，总共训练100个epoch，得到收敛好的收敛试管模型。

通过采集多种类别的目标试管图像，并基于这些图像利用预热学习率大方式在训练前期和后期设置不同大小的学习率，训练部署得到最终的试管分类模型，使得在预热的小学习率下，模型可以慢慢趋于稳定，等模型相对稳定后再选择预先设置的学习率进行训练，使得模型收敛速度变得更快，模型效果更佳，提高了模型的识别准确率。

在一个实施例中，步骤1212可以包括：步骤1212a、步骤1212b和步骤1212c。

步骤1212a：采用以余弦曲线下降形式的学习率对相对稳定模型进行训练，获得训练试管模型；

步骤1212b：计算训练试管模型对多组不同类别的目标试管图像的识别准确率，并与预设阈值进行比对；

步骤1212c：若判定识别准确率不低于预设阈值，则将当前的训练收敛试管模型确定为收敛试管模型。

示例性地，采用步骤1211-1212的Cosine Warmup训练预热方法，在训练多分支模型前20个epoch（训练次数、迭代次数）设置学习率从0.000001线性增加到0.01，得到慢慢趋于稳定的相对稳定模型；在后面的epoch里以学习率保持余弦曲线下降的方式训练相对稳定模型，此过程得到的模型可以称为训练试管模型；训练过程中计算该模型对各类试管的识别准确率，并与设定好的预设阈值进行比较，若高于或等于设定的预设阈值，则将当前的训练收敛试管模型确定为收敛试管模型。通过在训练试管分类模型过程中，设置识别准确率的预设阈值判断训练是否结束，提高了构建的试管分类模型的准确度。

在一个实施例中，步骤140可以包括：步骤141、步骤142和步骤143。

步骤141：对待测试管的类别进行判断；

步骤142：若待测试管的类别满足预设条件，则基于待测试管进行预设操作，并在预设操作后，则进行下一次识别；

步骤143：若待测试管的类别不满足预设条件，则进行下一次识别。

示例性地，预设条件可以是：根据实际场景设置的判断待测试管的类型满足什么类型条件后，自动控制该类别试管进行相关操作。预设操作可以是：根据实际场景设置的当判断待测试管的类型满足对应条件后，自动控制该类别试管进行相关的具体操作，例如：试剂生化反应、病毒检测、疾病样本检测。

可利用基于RepVGG的试管分类模型对实际场景中的待测试管图像进行推理，对推理的结果可利用softmax算法进行处理，得到各分类结果的概率值，概率值最大的类别即为推理得到的待测试管的类别标签。获得类别标签后，判断是否满足预设条件类型，如果满足，则控制该类别试管进行试剂生化反应、病毒检测或疾病样本检测等相关操作，并在操作结束后重复进行下一个试管的类型识别；如果不满足，则无需操作，直接进行下一个试管的类型识别。

通过在试管类型识别后，判断类型是否满足预设条件，如果满足预设条件可控制该类型试管进行固定的预设操作，操作结束后才进行下一次的识别，实现了试管类别识别后的某些类型的试管自动化检测，相比于人工的检测方式，该自动化反应设备在一定程度上减少了操作员的工作量，速度更快，准确率更高。

在一个实施例中，待测试管的类别包括：长试管、短试管、反应杯、日立杯、短试管带帽、反应杯带帽以及试剂盒；预设条件包括待测试管的类别不为短试管带帽或反应杯带帽的试管类型；预设操作包括采集待测试管中的样本与试剂盒中的试剂放入反应杯中进行生化反应。

示例性地，试剂盒可以是：用于盛放检测化学成分、药物残留、病毒种类等化学试剂的盒子。反应杯可以是：由聚苯乙烯塑料杯体、不锈钢珠、固定带、固定盘和卷轴组成。试管可以是：进行一些反应物量较少的反应的容器，可以直接在酒精灯上加热。

待测试管的类别可以包括：长试管、短试管、反应杯、日立杯、短试管带帽、反应杯带帽以及试剂盒等七种，并将这七种试管的类别标签假设为1、2、3、4、5、6和7。利用基于RepVGG的试管分类模型对这些试管的待测试管图像进行推理，对推理的结果利用softmax算法进行处理，得到各分类结果的概率值，概率值最大的类别即为推理得到的待测试管的类别标签。获得类别标签后，由于不同类别的试管中放有不同的待测样本，判断识别类型结果是否为短试管带帽或反应杯带帽，如果不是，通过机械臂采集长试管或短试管中的样本与试剂盒中的试剂一起放入反应杯中进行生化反应。若识别类型结果为短试管带帽或反应杯带帽，则跳过此次采集以及后续生化反应的过程，直接进行下一次识别。

通过在试管类型识别后，判断类型是否为短试管带帽或反应杯带帽，如果不是，可控制该类型试管自动将试管内的样本和试剂都滴入反应杯内，完成生化检测，检测结束后才进行下一次的识别，实现了自动判定类型自动化检测，相比于人工的检测方式，该自动化反应设备在一定程度上减少了操作员的工作量，速度更快，准确率更高。

在一个实施例中，步骤142或143之后，该方法可以包括：步骤144和步骤145。

步骤144：判断识别的总次数是否等于待测试管的数量；

步骤145：若判定总次数等于待测试管的数量，则结束识别。

示例性地，在利用基于RepVGG的试管分类模型对这些试管的待测试管图像进行推理的过程中，可设置识别次数的阈值条件，即将待测试管的数量设置为阈值条件，进而根据该阈值条件自动中断或结束识别流程。

如果待测试管的数量为60，即此时试管架上一共有60个待测试管，若检测识别的次数达到60次，则结束识别流程，若没有达到60次则返回步骤141-143的识别流程继续识别。通过将待测试管的数量设置为识别次数的阈值条件来自动结束识别流程，以便于对识别次数进行控制，提高了自动化检测流程的效率。

请参阅图5，图5为本申请实施例提供的一种试管分类装置的模块功能结构示意图。该装置包括：获取模块210、构建模型模块220和识别类别模块230。

获取模块210，用于获取多组不同类别的目标试管图像；

构建模型模块220，用于基于所述目标试管图像，构建试管分类模型；其中，所述试管分类模型通过训练多分支模型，并在部署中，将所述多分支模型转换为单路模型而构建；

识别类别模块230，用于基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别。

可选地，获取模块210可以用于：

采集多组不同类别试管的拍摄图像；

从所述拍摄图像中，获取所述试管的顶部区域图像和所述试管的底部区域图像；

对所述试管的顶部区域图像和所述试管的底部区域图像进行拼接，获得多组拼接试管图像；

基于所述多组拼接试管图像，获得目标试管图像。

可选地，构建模型模块220可以用于：

将所述目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型；其中，所述多分支模型包括：主分支的多个卷积层以及与所述卷积层平行的恒等映射分支；

将所述收敛试管模型转换为单路模型进行部署，获得构建的试管分类模型；其中，所述单路模型包括：主分支的多个卷积层。

可选地，构建模型模块220可以用于：

将所述目标试管图像作为多分支模型的输入，并采用预热小学习率对所述多分支模型进行训练，获得相对稳定模型；

采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得收敛试管模型。

可选地，构建模型模块220可以用于：

采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得训练试管模型；

计算所述训练试管模型对多组不同类别的目标试管图像的识别准确率，并与预设阈值进行比对；

若判定所述识别准确率不低于所述预设阈值，则将当前的训练收敛试管模型确定为收敛试管模型。

可选地，识别类别模块230可以用于：

对待测试管的类别进行判断；

若所述待测试管的类别满足预设条件，则基于所述待测试管进行预设操作，并在所述预设操作后，则进行下一次识别；

若所述待测试管的类别不满足预设条件，则进行下一次识别。

可选地，其中，所述待测试管的类别包括：长试管、短试管、反应杯、日立杯、短试管带帽、反应杯带帽以及试剂盒；所述预设条件包括所述待测试管的类别不为短试管带帽或反应杯带帽的试管类型；所述预设操作包括采集所述待测试管中的样本与试剂盒中的试剂放入反应杯中进行生化反应。

可选地，识别类别模块230可以用于：

判断识别的总次数是否等于待测试管的数量；

若判定所述总次数等于所述待测试管的数量，则结束识别。

请参阅图6，图6是电子设备的方框示意图。电子设备300可以包括存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对电子设备300的结构造成限定。例如，电子设备300还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。

上述的存储器311、存储控制器312、处理器313、外设接口314、输入输出单元315、显示单元316各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器313用于执行存储器中存储的可执行模块。

其中，存储器311可以是，但不限于，随机存取存储器（Random Access Memory，简称RAM），只读存储器（Read Only Memory，简称ROM），可编程只读存储器（ProgrammableRead-Only Memory，简称PROM），可擦除只读存储器（Erasable Programmable Read-OnlyMemory，简称EPROM），电可擦除只读存储器（Electric Erasable Programmable Read-OnlyMemory，简称EEPROM）等。其中，存储器311用于存储程序，所述处理器313在接收到执行指令后，执行所述程序，本申请实施例任一实施例揭示的过程定义的电子设备300所执行的方法可以应用于处理器313中，或者由处理器313实现。

上述的处理器313可能是一种集成电路芯片，具有信号的处理能力。上述的处理器313可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(digital signalprocessor，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

上述的外设接口314将各种输入/输出装置耦合至处理器313以及存储器311。在一些实施例中，外设接口314，处理器313以及存储控制器312可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

上述的输入输出单元315用于提供给用户输入数据。所述输入输出单元315可以是，但不限于，鼠标和键盘等。

上述的显示单元316在电子设备300与用户之间提供一个交互界面（例如用户操作界面）给用户参考。在本实施例中，所述显示单元316可以是液晶显示器或触控显示器。液晶显示器或触控显示器可以对处理器执行所述程序的过程进行显示。

本实施例中的电子设备300可以用于执行本申请实施例提供的各个方法中的各个步骤。

此外，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的步骤。

本申请实施例所提供的上述方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中的步骤，具体可参见上述方法实施例，在此不再赘述。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种试管分类方法，其特征在于，所述方法包括：

获取多组不同类别的目标试管图像；

基于所述目标试管图像，构建试管分类模型；其中，所述试管分类模型通过训练多分支模型，并在部署中，将所述多分支模型转换为单路模型而构建；

基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别。

2.根据权利要求1所述的方法，其特征在于，所述获取多组不同类别的目标试管图像，包括：

采集多组不同类别试管的拍摄图像；

从所述拍摄图像中，获取所述试管的顶部区域图像和所述试管的底部区域图像；

对所述试管的顶部区域图像和所述试管的底部区域图像进行拼接，获得多组拼接试管图像；

基于所述多组拼接试管图像，获得目标试管图像。

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标试管图像，构建试管分类模型，包括：

将所述目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型；其中，所述多分支模型包括：主分支的多个卷积层以及与所述卷积层平行的恒等映射分支；

将所述收敛试管模型转换为单路模型进行部署，获得构建的试管分类模型；其中，所述单路模型包括：主分支的多个卷积层。

4.根据权利要求3所述的方法，其特征在于，所述将所述目标试管图像作为多分支模型的输入进行训练，获得收敛试管模型，包括：

将所述目标试管图像作为多分支模型的输入，并采用预热小学习率对所述多分支模型进行训练，获得相对稳定模型；

采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得收敛试管模型。

5.根据权利要求4所述的方法，其特征在于，所述采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得收敛试管模型，包括：

采用以余弦曲线下降形式的学习率对所述相对稳定模型进行训练，获得训练试管模型；

计算所述训练试管模型对多组不同类别的目标试管图像的识别准确率，并与预设阈值进行比对；

若判定所述识别准确率不低于所述预设阈值，则将当前的训练收敛试管模型确定为收敛试管模型。

6.根据权利要求1所述的方法，其特征在于，所述基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别之后，所述方法还包括：

对待测试管的类别进行判断；

若所述待测试管的类别满足预设条件，则基于所述待测试管进行预设操作，并在所述预设操作后，则进行下一次识别；

若所述待测试管的类别不满足预设条件，则进行下一次识别。

7.根据权利要求6所述的方法，其特征在于，其中，所述待测试管的类别包括：长试管、短试管、反应杯、日立杯、短试管带帽、反应杯带帽以及试剂盒；

所述预设条件包括所述待测试管的类别不为短试管带帽或反应杯带帽的试管类型；

所述预设操作包括采集所述待测试管中的样本与试剂盒中的试剂放入反应杯中进行生化反应。

8.根据权利要求6所述的方法，其特征在于，所述进行下一次识别之后，所述方法还包括：

判断识别的总次数是否等于待测试管的数量；

若判定所述总次数等于所述待测试管的数量，则结束识别。

9.一种试管分类装置，其特征在于，所述装置包括：

获取模块，用于获取多组不同类别的目标试管图像；

构建模型模块，用于基于所述目标试管图像，构建试管分类模型；其中，所述试管分类模型通过训练多分支模型，并在部署中，将所述多分支模型转换为单路模型而构建；

识别类别模块，用于基于所述试管分类模型对待测试管图像进行识别，获得待测试管的类别。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至8任一所述的方法的步骤。

Images