CN115424111A - 一种抗原检测试剂盒智能识别方法、装置、设备及介质 - Google Patents

一种抗原检测试剂盒智能识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN115424111A
CN115424111A CN202211007494.7A CN202211007494A CN115424111A CN 115424111 A CN115424111 A CN 115424111A CN 202211007494 A CN202211007494 A CN 202211007494A CN 115424111 A CN115424111 A CN 115424111A
Authority
CN
China
Prior art keywords
detection kit
antigen detection
model
image
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211007494.7A
Other languages
English (en)
Inventor
方金武
陶佳莹
蒋璐伊
郑忠斌
曾昭沛
王伟炳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Internet Innovation Center Shanghai Co ltd
Fudan University
Donghua University
Original Assignee
Industrial Internet Innovation Center Shanghai Co ltd
Fudan University
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Internet Innovation Center Shanghai Co ltd, Fudan University, Donghua University filed Critical Industrial Internet Innovation Center Shanghai Co ltd
Priority to CN202211007494.7A priority Critical patent/CN115424111A/zh
Publication of CN115424111A publication Critical patent/CN115424111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种抗原检测试剂盒智能识别方法、装置、设备及存储介质，涉及目标检测识别技术领域。该方法包括：获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。可以高效准确地识别抗原检测试剂盒的检测结果，减少浪费大量的人力资源，以及避免人工识别时发生错误，提高检测效率。

Description

一种抗原检测试剂盒智能识别方法、装置、设备及介质
技术领域
本发明涉及目标检测识别技术领域，特别涉及一种抗原检测试剂盒智能识别方法、装置、设备及存储介质。
背景技术
目前，抗原检测试剂盒检测方法广泛应用于新型冠状病毒等检测，抗原检测试剂盒检测方法，应用于社区、基层医院、机场、海关甚至家庭等几层的早期初步筛查，是由待检测人群自主操作，判定检测结果，并上传至抗原检测结果平台，并由管理部门一一人工核对筛查检测结果。对于待检测人群来说，由于新冠抗原检测试剂盒的厂商不同，试剂盒型号多样，会存在无法判定试剂盒检测结果的阴性、阳性和无效情况，对于管理部门来说，人工检查图片，核对抗原检测结果需要耗费大量的人力资源，同时还需要警惕部分人群上传的抗原检测试剂盒图片与填写结果不一致的情况。因此需要高效准确的智能识别方法来帮助使用新冠抗原检测试剂盒的人群以及抗疫管理部门。
现有的识别方法主要是人工审核，通过管理部门人眼接受信息，对比各类新冠抗原检测试剂盒的标准阴性、阳性及无效的结果以达到识别的目的。这种方法存在缺陷，人工成本高，在疫情严重的地区，每日需要识别的抗原检测试剂盒图片基本上是达到千万数量级的，使用人工审核的方式，无法帮助管理部门快速区分抗原阴性与抗原阳性人群，大大降低了抗疫工作的效率。
发明内容
有鉴于此，本发明的目的在于提供一种抗原检测试剂盒智能识别方法、装置、设备及介质，能够高效准确地识别抗原检测试剂盒的检测结果。其具体方案如下：
第一方面，本申请公开了一种抗原检测试剂盒智能识别方法，包括：
获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；
以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；
利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
可选的，所述获取包含抗原检测试剂盒的图像之后，还包括：
对所述包含抗原检测试剂盒的图像进行边缘检测、轮廓检测以确定最大面积的轮廓，然后确定所述轮廓的矩形角点，并对所述矩形角点坐标投影变换，以实现对所述图像的透视变换；
将所述包含抗原检测试剂盒的图像中的抗原检测试剂盒进行旋转，得到垂直状态的抗原检测试剂盒的图像，以实现对所述图像的垂直矫正。
可选的，所述对所述图像中试剂盒区域进行类别标注之后，还包括：
利用k-means聚类算法，针对包含所述标注的图像中的目标框的宽和高进行聚类，生成预设数量类别的初始预测框。
可选的，所述对所述图像中试剂盒区域进行类别标注之后，还包括：
通过对所述包含抗原检测试剂盒的图像进行不同预设角度的旋转，对图像数据进行数据增强。
可选的，所述利用所述训练集对所述待训练模型进行训练的过程中，包括：
利用聚类法和非极大值抑制法对模型输出的目标进行误差矫正。
可选的，所述注意力机制模块的添加过程，包括：
在所述YOLOV5网络模型的Backbone模块内添加注意力机制模块；所述注意力机制模块分别与所述Backbone模块的Backbone C3层和Neck模块的卷积层相连。
可选的，所述可变形卷积模块的添加过程，包括：
通过对所述YOLOV5网络模型内卷积核中每个采样位置添加偏移量，实现向所述YOLOV5网络模型中添加所述可变形卷积模块。
第二方面，本申请公开了一种抗原检测试剂盒智能识别装置，包括：
图像获取模块，用于获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；
模型确定模块，用于以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；
训练模块，用于利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述的抗原检测试剂盒智能识别方法。
第四方面，本申请公开了一种计算机可读存储介质，用于存储计算机程序；其中计算机程序被处理器执行时实现前述的抗原检测试剂盒智能识别方法。
本申请中，获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。可见，在YOLOV5网络模型基础上添加注意力机制模块和可变形卷积模块，通过在原始YOLOv5网络结构中加入注意力机制单元，改进YOLOv5特征图提取结构，提升有用特征值并抑制当前任务贡献不大的特征值，同时使低层网络拥有全局的感受野，从而让其也能利用全局信息；通过可变形卷积模块可以实现在当前位置附近随意采样而不局限于常规卷积的规则采样点，能够对尺度或者感受野大小进行自适应学习，精确定位目标，提高模型对形变目标的建模能力，由此可以高效准确地识别抗原检测试剂盒的检测结果，减少浪费大量的人力资源，以及避免人工识别时发生错误，提高检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请提供的一种抗原检测试剂盒智能识别方法流程图；
图2为本申请提供的一种具体的透视投影变换示意图；
图3为本申请提供的一种具体的待训练模型结构示意图；
图4为本申请提供的一种具体的可变形卷积计算流程图；
图5为本申请提供的一种具体的抗原检测试剂盒智能识别方法流程图；
图6为本申请提供的一种具体的新冠抗原检测试剂盒的检测结构示意图；
图7为本申请提供的一种抗原检测试剂盒智能识别装置结构示意图；
图8为本申请提供的一种电子设备结构图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术中，主要是人工审核，人工成本高，效率低。为克服上述技术问题，本申请提出一种高性能轻量型新冠抗原检测试剂盒智能识别方法，能够高效准确地识别抗原检测试剂盒的检测结果。
本申请实施例公开了一种抗原检测试剂盒智能识别方法，参见图1所示，该方法可以包括以下步骤：
步骤S11：获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集。
本实施例中，获取大量包含新冠抗原检测试剂盒结果为阴性、阳性及无效的三类图片数据，利用标注工具，框出图像数据中的试剂盒区域，并标注类别，生成训练所需的标注文件。
本实施例中，所述获取包含抗原检测试剂盒的图像之后，还可以包括：对所述包含抗原检测试剂盒的图像进行边缘检测、轮廓检测以确定最大面积的轮廓，然后确定所述轮廓的矩形角点，并对所述矩形角点坐标投影变换，以实现对所述图像的透视变换；将所述包含抗原检测试剂盒的图像中的抗原检测试剂盒进行旋转，得到垂直状态的抗原检测试剂盒的图像，以实现对所述图像的垂直矫正。即图片数据中试剂盒多为倾斜、变形状态，对变形的检测试剂盒进行透视变换和垂直校正，使检测试剂盒处于正面竖直的最佳状态。
本实施例中，训练数据中的抗原检测试剂盒图片多存在光线、角度的拍摄问题，检测试剂盒为倾斜变形状态，在输入网络前先进行透视变换和竖直校正。透视变换先对图片数据进行中值滤波以及二值化处理，再对其进行Canny边缘检测并提取面积最大矩形轮廓，得到变形检测试剂盒的4个角点，4个角点即为矩形标注框的四个顶点，得到4个角点后，即左上角点、右上角点、左下角点、右下角点，对应的坐标分别为(x1，y1)、(x2，y2)、(x3，y3)、(x4，y4)，对其坐标进行投影变换，4个角点的投影变换公式为：
Figure BDA0003809524420000051
变形检测试剂盒中任意其他点的投影变换公式为：
Figure BDA0003809524420000052
经过透视变换，检测试剂盒变为正面矩形状态，如图2所示。同时在透视变换将试剂棒变换为正矩形后，通过矩形长宽比，对矩形进行竖直校正，提高模型的准确度。
本实施例中，所述对所述图像中试剂盒区域进行类别标注之后，还可以包括：通过对所述包含抗原检测试剂盒的图像进行不同预设角度的旋转，对图像数据进行数据增强。本实施例中，对所有原始图片数据进行90度、180度、270度的旋转变化，同时对标注文件做相应处理，丰富数据集，增加数据量，使训练的模型能够适应各个角度的试剂盒图片。
本实施例中，所述对所述图像中试剂盒区域进行类别标注之后，还可以包括：利用k-means聚类算法，针对包含所述标注的图像中的目标框的宽和高进行聚类，生成预设数量类别的初始预测框。本实施例中，训练集所包含所有目标框的宽、高进行聚类，生成具有先验性的初始预测框，得到9个最具有代表性的宽、高组合，也即9个anchor框，然后网络在这个取值范围的基础上再去学习，以获得更精确的框信息，对网络的学习方向作了限制，因此很大程度增加了网络的稳定性以及收敛速度。
步骤S12：以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型。
本实施例中，以YOLOV5网络模型为基础，YOLOv5网络模型主要由三个主要组件组成：Backbone，同图像细粒度上聚合并形成图像特征的卷积神经网络；Neck，一系列混合和组合图像特征的网络层，并将图像特征传递到预测层；Head，对图像特征进行预测，生成边界框并预测类别定义此边界框为预测的边框；Backbone和Neck用于提取图像特征，图像特征即为输入图片预测框中新冠抗原检测试剂盒的特征，Head用于特征检测和预测类别。
本实施例中，所述注意力机制模块的添加过程，可以包括：在所述YOLOV5网络模型的Backbone模块内添加注意力机制模块；所述注意力机制模块分别与所述Backbone模块的Backbone C3层和Neck模块的卷积层相连。
例如图3所示，通过在原始YOLOV5网络模型的Backbone模块内添加注意力机制模块(SE网络单元)，改进YOLOv5特征图提取结构，具体的注意力机制模块分别与所述Backbone模块的Backbone C3层和Neck模块的卷积层相连，由此利用注意力机制模块提升有用特征值并抑制当前任务贡献不大的特征值，同时使低层网络拥有全局的感受野，从而让其也能利用全局信息。
本实施例中，所述可变形卷积模块的添加过程，可以包括：通过对所述YOLOV5网络模型内卷积核中每个采样位置添加偏移量，实现向所述YOLOV5网络模型中添加所述可变形卷积模块。常规的卷积操作主要分为2步：1)在输入的特征图上使用规则网格R进行采样；2)使用卷积核w对采样点进行加权运算。R定义了感受野的大小和扩张。在可变形卷积的操作中，例如图4所示，通过对规则网格R增加一个偏移量Δpn，{Δpn|n＝1,2,...,N}，N＝|R|进行扩张，同时对每个采样点预测一个权重Δmn，则输出的特征图上的每个位置p0的值y(p0)变为：
Figure BDA0003809524420000071
pn是对R中所列位置的枚举，p0是输出特征图y上的每个位置。
由于偏移量Δpn通常是小数，因此需要通过双线性插值法计算x的值：
Figure BDA0003809524420000072
G(q,p)＝g(qx,px)×g(qy,py)；
g(a,b)＝max(0,1-|a-b|)；
其中p＝p0+pn+Δpn，q就是p周围离p最近的4个点，a,b表示两个数字变量。
通过对比常规卷积和可变形卷积的特征点感受野可知，通过两层卷积运算，常规卷积的特征点都具有固定尺寸的感受野，而可变形卷积可自适应的学习感受野的采样位置更符合物体本身的形状和尺寸，更有利于特征提取。
步骤S13：利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
本实施例中，训练集和模型准备完成后进行模型训练。本实施例中，所述利用所述训练集对所述待训练模型进行训练的过程中，可以包括：利用聚类法和非极大值抑制法对模型输出的目标进行误差矫正。误差校正的方法主要通过聚类和非极大值抑制(NMS，nonmaximum suppression)。聚类即将预测结果聚成不同的类，选择置信度较大的结果作为最终结果，但是聚类也存在几个问题：相近的目标容易聚成一个类，并且目标总数类别未知，不知道应该聚成几个类，因此通过加入非极大值抑制的方法，筛选掉重合度较高的预测结果框。
其中训练集中图像的标注的格式可表示为(x，y，w，h，c)，分别表示预测框在图像坐标系上的x、y坐标，矩形宽width、高height，以及置信度confidence，confidence具体可以设置为1，将将训练图片和标签投入待训练模型进行训练，接受训练后的神经网络会赋予它认为重要的输入信息更高的权重值，而那些不重要的输入信息权重值则会相对较小，这些权重信息就组成了所需要的抗原检测试剂盒识别的权重文件。为了保证目标都被检测到，可以尽可能输出多个目标，后期再靠误差校正来去除错误的预测结果。
模型训练过程中，权重参数通过损失函数决定，损失函数是关于模型输出和样本标签值之差的函数，可以通过对误差函数求导来调节权重参数。YOLOv5网络模型的损失函数为GIOU_loss。使用相交尺度衡量的方式计算损失。GIOU_loss的计算公式为：
Figure BDA0003809524420000081
其中，IOU为交并比，计算的是预测的边框和真实的边框的交集和并集的比值，A表示真实矩形，B表示预测框矩形，C表示标签给定的真实边框与模型给出的预测边框两者的最小外接矩形，在进行预测时，加载训练得到的权重文件，YOLOv5网络即可对输入的图片给出输出结果(x，y，w，h，c)，将相应的矩形坐标在原图片上表示，即可得到可视化的预测结果。在训练可以采用以下方式，图片数据需包括已使用的新冠抗原检测试剂盒的阴性结果图片，阳性结果图片和无效结果图片，目标类3类，图片像素尺寸设置为640x640，将训练数据按9：1划分为训练集和验证集，载入待训练模型，进行训练。
例如图5所示，为本实施例中提供的一种具体的新冠病毒抗原检测试剂盒智能识别流程，首先进行模型训练，准备包含新冠抗原检测试剂盒的图片数据；对变形的检测试剂盒进行图像校正；用标注工具标注图片数据中试剂盒区域的类别；用Kmeans算法构建9类具有先验性的初始预测框；对图像进行数据增强；将图片数据输入到加入注意力机制和可变形卷积的YOLOv5的网络模型进行训练，获得训练好的模型权重文件。模型训练好后应用模型检测，模型应用过程步骤如下：使用拍照设备采集已使用的新冠抗原检测试剂盒的清晰、光照均匀的照片；将照片输入到训练好的网络模型进行预测，得到该新冠抗原检测试剂盒的识别结果，如图6所示。从而实现对新冠抗原检测试剂盒进行智能识别，方便对疫情防控进行管理和筛查，同时具备较高的准确率和识别速度，提高新冠抗原检测核查效率，减少浪费大量的人力资源，以及避免人工识别时发生错误。
由上可见，本实施例中获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。可见，在YOLOV5网络模型基础上添加注意力机制模块和可变形卷积模块，通过在原始YOLOv5网络结构中加入注意力机制单元，改进YOLOv5特征图提取结构，提升有用特征值并抑制当前任务贡献不大的特征值，同时使低层网络拥有全局的感受野，从而让其也能利用全局信息；通过可变形卷积模块可以实现在当前位置附近随意采样而不局限于常规卷积的规则采样点，能够对尺度或者感受野大小进行自适应学习，精确定位目标，提高模型对形变目标的建模能力，由此可以高效准确地识别抗原检测试剂盒的检测结果，减少浪费大量的人力资源，以及避免人工识别时发生错误，提高检测效率。
相应的，本申请实施例还公开了一种抗原检测试剂盒智能识别装置，参见图7所示，该装置包括：
图像获取模块11，用于获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；
模型确定模块12，用于以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；
训练模块13，用于利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
由上可见，本实施例中获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。可见，在YOLOV5网络模型基础上添加注意力机制模块和可变形卷积模块，通过在原始YOLOv5网络结构中加入注意力机制单元，改进YOLOv5特征图提取结构，提升有用特征值并抑制当前任务贡献不大的特征值，同时使低层网络拥有全局的感受野，从而让其也能利用全局信息；通过可变形卷积模块可以实现在当前位置附近随意采样而不局限于常规卷积的规则采样点，能够对尺度或者感受野大小进行自适应学习，精确定位目标，提高模型对形变目标的建模能力，由此可以高效准确地识别抗原检测试剂盒的检测结果，减少浪费大量的人力资源，以及避免人工识别时发生错误，提高检测效率。
在一些具体实施例中，所述抗原检测试剂盒智能识别装置具体可以包括：
透视变换单元，用于对所述包含抗原检测试剂盒的图像进行边缘检测、轮廓检测以确定最大面积的轮廓，然后确定所述轮廓的矩形角点，并对所述矩形角点坐标投影变换，以实现对所述图像的透视变换；
垂直校正单元，用于将所述包含抗原检测试剂盒的图像中的抗原检测试剂盒进行旋转，得到垂直状态的抗原检测试剂盒的图像，以实现对所述图像的垂直矫正。
在一些具体实施例中，所述抗原检测试剂盒智能识别装置具体可以包括：
聚类单元，用于利用k-means聚类算法，针对包含所述标注的图像中的目标框的宽和高进行聚类，生成预设数量类别的初始预测框。
在一些具体实施例中，所述抗原检测试剂盒智能识别装置具体可以包括：
数据增强单元，用于通过对所述包含抗原检测试剂盒的图像进行不同预设角度的旋转，对图像数据进行数据增强。
在一些具体实施例中，所述训练模块具体可以包括：
误差矫正单元，用于利用聚类法和非极大值抑制法对模型输出的目标进行误差矫正。
在一些具体实施例中，所述模型确定模块具体可以包括：
注意力机制模块添加单元，用于在所述YOLOV5网络模型的Backbone模块内添加注意力机制模块；所述注意力机制模块分别与所述Backbone模块的Backbone C3层和Neck模块的卷积层相连。
在一些具体实施例中，所述模型确定模块具体可以包括：
可变形卷积模块添加单元，用于通过对所述YOLOV5网络模型内卷积核中每个采样位置添加偏移量，实现向所述YOLOV5网络模型中添加所述可变形卷积模块。
进一步的，本申请实施例还公开了一种电子设备，参见图8所示，图中的内容不能被认为是对本申请的使用范围的任何限制。
图8为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的抗原检测试剂盒智能识别方法中的相关步骤。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统221、计算机程序222及包括训练集在内的数据223等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的抗原检测试剂盒智能识别方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的抗原检测试剂盒智能识别方法步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种抗原检测试剂盒智能识别方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种抗原检测试剂盒智能识别方法，其特征在于，包括：
获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；
以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；
利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
2.根据权利要求1所述的抗原检测试剂盒智能识别方法，其特征在于，所述获取包含抗原检测试剂盒的图像之后，还包括：
对所述包含抗原检测试剂盒的图像进行边缘检测、轮廓检测以确定最大面积的轮廓，然后确定所述轮廓的矩形角点，并对所述矩形角点坐标投影变换，以实现对所述图像的透视变换；
将所述包含抗原检测试剂盒的图像中的抗原检测试剂盒进行旋转，得到垂直状态的抗原检测试剂盒的图像，以实现对所述图像的垂直矫正。
3.根据权利要求1所述的抗原检测试剂盒智能识别方法，其特征在于，所述对所述图像中试剂盒区域进行类别标注之后，还包括：
利用k-means聚类算法，针对包含所述标注的图像中的目标框的宽和高进行聚类，生成预设数量类别的初始预测框。
4.根据权利要求1所述的抗原检测试剂盒智能识别方法，其特征在于，所述对所述图像中试剂盒区域进行类别标注之后，还包括：
通过对所述包含抗原检测试剂盒的图像进行不同预设角度的旋转，对图像数据进行数据增强。
5.根据权利要求1所述的抗原检测试剂盒智能识别方法，其特征在于，所述利用所述训练集对所述待训练模型进行训练的过程中，包括：
利用聚类法和非极大值抑制法对模型输出的目标进行误差矫正。
6.根据权利要求1所述的抗原检测试剂盒智能识别方法，其特征在于，所述注意力机制模块的添加过程，包括：
在所述YOLOV5网络模型的Backbone模块内添加注意力机制模块；所述注意力机制模块分别与所述Backbone模块的Backbone C3层和Neck模块的卷积层相连。
7.根据权利要求1至6任一项所述的抗原检测试剂盒智能识别方法，其特征在于，所述可变形卷积模块的添加过程，包括：
通过对所述YOLOV5网络模型内卷积核中每个采样位置添加偏移量，实现向所述YOLOV5网络模型中添加所述可变形卷积模块。
8.一种抗原检测试剂盒智能识别装置，其特征在于，包括：
图像获取模块，用于获取包含抗原检测试剂盒的图像，并对所述图像中试剂盒区域进行类别标注，得到训练集；
模型确定模块，用于以YOLOV5网络模型为基础，通过添加注意力机制模块和可变形卷积模块得到待训练模型；
训练模块，用于利用所述训练集对所述待训练模型进行训练，以得到训练后模型，并利用所述训练后模型对包含待检测抗原检测试剂盒的图像进行识别。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的抗原检测试剂盒智能识别方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机程序；其中计算机程序被处理器执行时实现如权利要求1至7任一项所述的抗原检测试剂盒智能识别方法。
CN202211007494.7A 2022-08-22 2022-08-22 一种抗原检测试剂盒智能识别方法、装置、设备及介质 Pending CN115424111A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211007494.7A CN115424111A (zh) 2022-08-22 2022-08-22 一种抗原检测试剂盒智能识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211007494.7A CN115424111A (zh) 2022-08-22 2022-08-22 一种抗原检测试剂盒智能识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN115424111A true CN115424111A (zh) 2022-12-02

Family

ID=84198519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211007494.7A Pending CN115424111A (zh) 2022-08-22 2022-08-22 一种抗原检测试剂盒智能识别方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN115424111A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237957A (zh) * 2023-11-16 2023-12-15 新视焰医疗科技(杭州)有限公司 用于检测文件方向并对倾斜或畸形文件矫正的方法及系统
CN117541561A (zh) * 2023-11-20 2024-02-09 广州方舟信息科技有限公司 一种抗原试剂盒图像处理方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237957A (zh) * 2023-11-16 2023-12-15 新视焰医疗科技(杭州)有限公司 用于检测文件方向并对倾斜或畸形文件矫正的方法及系统
CN117541561A (zh) * 2023-11-20 2024-02-09 广州方舟信息科技有限公司 一种抗原试剂盒图像处理方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN108038474B (zh) 人脸检测方法、卷积神经网络参数的训练方法、装置及介质
WO2018108129A1 (zh) 用于识别物体类别的方法及装置、电子设备
CN115424111A (zh) 一种抗原检测试剂盒智能识别方法、装置、设备及介质
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
Butenuth et al. Network snakes: graph-based object delineation with active contour models
CN111724355B (zh) 一种鲍鱼体型参数的图像测量方法
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
US20130070997A1 (en) Systems, methods, and media for on-line boosting of a classifier
CN110020650B (zh) 一种基于深度学习识别模型的倾斜车牌的识别方法及装置
CN112419202B (zh) 基于大数据及深度学习的野生动物图像自动识别系统
CN111695431A (zh) 一种人脸识别方法、装置、终端设备及存储介质
CN111626295A (zh) 车牌检测模型的训练方法和装置
CN112037180B (zh) 染色体分割方法及装置
CN113724259A (zh) 井盖异常检测方法、装置及其应用
CN114820679B (zh) 图像标注方法、装置、电子设备和存储介质
CN110675396A (zh) 遥感影像云检测方法、装置、设备及计算机可读存储介质
CN110659637A (zh) 一种结合深度神经网络和sift特征的电能表示数与标签自动识别方法
CN113723264A (zh) 一种用于辅助钢琴教学的智能识别弹奏错误的方法及系统
CN111144215A (zh) 图像处理方法、装置、电子设备及存储介质
CN111353580A (zh) 目标检测网络的训练方法、电子设备及存储介质
CN112084865A (zh) 目标检测方法、装置、电子设备和存储介质
CN111695615A (zh) 基于人工智能的车辆定损方法、装置、电子设备及介质
CN117173223A (zh) 电表断码屏的标准模板生成方法、装置、设备及介质
CN109977965B (zh) 一种在遥感机场图像中确定检测目标的方法及装置
CN113592029A (zh) 一种小样本条件下医学图像自动标注方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination