CN116824236A - 多形态免疫标记产品的检测结果识别方法、装置及介质 - Google Patents

多形态免疫标记产品的检测结果识别方法、装置及介质 Download PDF

Info

Publication number
CN116824236A
CN116824236A CN202310714631.9A CN202310714631A CN116824236A CN 116824236 A CN116824236 A CN 116824236A CN 202310714631 A CN202310714631 A CN 202310714631A CN 116824236 A CN116824236 A CN 116824236A
Authority
CN
China
Prior art keywords
detection
quality control
image
control line
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310714631.9A
Other languages
English (en)
Inventor
曾剑明
彭运平
郭诗静
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Wanfu Health Technology Co ltd
Original Assignee
Guangzhou Wanfu Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Wanfu Health Technology Co ltd filed Critical Guangzhou Wanfu Health Technology Co ltd
Priority to CN202310714631.9A priority Critical patent/CN116824236A/zh
Publication of CN116824236A publication Critical patent/CN116824236A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多形态免疫标记产品的检测结果识别方法、装置及介质,包括:获取免疫标记产品的类型,根据所述类型调用对应的检测入口;启动摄像头采集所述免疫标记产品的检测图像;获取所述检测图像对应的检测线和质控线之间的差异值;对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。本发明解决了现有免疫标记产品的电子辅助判读技术存在的价格贵、兼容性差、检测结果易出错的问题。

Description

多形态免疫标记产品的检测结果识别方法、装置及介质
技术领域
本发明涉及数据处理技术领域,尤其涉及多形态免疫标记产品的检测结果识别方法、装置及介质。
背景技术
免疫标记技术是一种显微技术,包括但不限于胶体金法、乳胶法,常用于免疫、毒物检测。该技术可用于分析流感、LH、HCG、HIV、梅毒等抗原,以及其他支气管病毒、呼吸道病毒、消化道病毒、药物毒品等目标的检测。在IVD领域,免疫标记技术可快速准确地检测病原体的抗原和抗体,实现目标物质的快速检测,促进了IVD技术的市场应用。
以抗原诊断试剂盒为例,待检人在使用免疫标记技术产品时,先取样加样,然后等待一段时间,基于反应窗口中CT线的显色强弱做定性判别。在用户端,通常使用肉眼判读的方式获取检测结果,这要求检测者具备判读的先验知识,若检测者不具备时容易产生判读错误;此外,不同人对同一样本判读结果不一致,容易导致判读结果不统一;只能定性判读,无法定量判读,也导致精度不足。针对上述问题,现有技术提供了电子辅助判读设备,然而电子辅助判断设备与试剂盒同套出售,价格贵昂;并且只能搭配原厂提供的试剂卡或试剂条,其他厂家的无法兼容;支持的试剂形态固化,只能支持特制剂卡或试剂条,更换试剂卡形状、外观、尺寸,往往容易导致无法检测或结果错误的严重后果,用户使用体验欠佳。因此,本发明采用智能终端小程序拍照+视窗辅助剪裁技术+云服务AI检测技术的方法,具有使用便捷,结果精准等优势,同时具备兼容多卡型、多尺寸、多外观、多品牌终端、多样化检测背景的优点,契合家庭自测场景的用户需求
发明内容
本发明实施例提供了一种多形态免疫标记产品的检测结果识别方法、装置及介质,以解决现有免疫标记产品的电子辅助判读技术存在的价格贵、兼容性差、检测结果易出错的问题。
一种多形态免疫标记产品的检测结果识别方法,所述方法包括:
获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
启动摄像头采集所述免疫标记产品的检测图像;
获取所述检测图像对应的检测线和质控线之间的差异值;
对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
可选地,所述启动摄像头采集所述免疫标记产品的检测图像包括:
选择相机类型,开启补光灯并在开灯时的光照瞬变触发相机完成一次对焦;
在拍照界面展示所述免疫标记产品的试剂卡及检测窗口的取景框;
根据用户操作截取完整的试剂卡图像和检测图像,其中所述检测图像为检测窗口区域图像。
可选地,所述获取所述检测图像对应的检测线和质控线之间的差异值包括:
对所述检测图像进行图像质量校验;
在所述图像质量校验合格时,采用预设的目标检测算法获取所述检测图像中的检测线区域、质控线区域、检测线的特征向量和质控线特征向量;
根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离;
根据所述检测线特征向量和质控线特征向量获取检测线和质控线之间的余弦距离;
对所述检测线和质控线之间的余弦距离、灰度比值距离进行加权融合,生成所述检测线和质控线之间的差异值。
可选地,所述预设的目标检测算法基于YOLOX检测网络,特征提取采用YOLOX的原生骨干网络提取图像的特征信息,通过neck网络融合浅层特征和深层特征,在融合后的特征上采用基于anchor base的方法,预置anchor,其中anchor的比例基于对标注样本的训练聚类得到。
可选地,所述根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离包括:
分别对所述检测线区域、质控线区域以及灰度图区域进行高斯滤波处理;
遍历所述质控线区域、检测线区域以及灰度图区域,获取每个区域中小于中位数的像素值集合,分别求取所述像素值集合的均值,得到质控线值、检测线值以及灰度值;
求取所述检测线值与灰度值之差和质控线值与灰度值之差的比值,作为所述检测线和质控线的灰度比值距离。
可选地,加权融合公式如下:
其中,value表示所述检测线和质控线之间的差异值,r表示灰度比值距离,s表示余弦距离。
可选地,所述对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息包括:
S1:获取检测图像对应的检测线和质控线之间的差异值,将所述差异值与预设栈数组中的每一个区间代表值进行比对;
S2:若所述差异值与所述区间代表值之间的欧式距离小于预设容差值,则从栈数组中获取欧式距离最小的区间代表值替换所述差异值,输出替换后的所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值;
S3:若所述差异值与所述区间代表值之间的欧式距离均大于所述预设容差值,则将所述差异值作为一个区间代表值存入所述栈数组,输出所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值。
可选地,所述的预设栈数组在首次拍摄所述免疫标记产品的检测图像时创建,并初始化为空集。
一种多形态免疫标记产品的检测结果识别方法,所述装置包括:
调用模块,用于获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
采集模块,用于启动摄像头采集所述免疫标记产品的检测图像;
获取模块,用于获取所述检测图像对应的检测线和质控线之间的差异值;
限幅模块,用于对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
映射模块,用于对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。。
一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的多形态免疫标记产品的检测结果识别方法。
本发明实施例融合智能终端侧的小程序拍照、视窗辅助剪裁技术以及云服务AI检测技术,通过获取免疫标记产品的类型,根据所述类型调用对应的检测结果识别程序;然后启动摄像头采集所述免疫标记产品的检测图像;获取所述检测图像对应的检测线和质控线之间的差异值;对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;最后对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识;从而提高了对免疫标记产品的检测结果识别准确度,且降低了电子辅助判读的设备成本,同时提升了对不同类型的免疫标记产品的兼容性,有效地解决了检测结果易出错的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的多形态免疫标记产品的检测结果识别方法的流程图;
图2是本发明一实施例提供的检测图像和试剂卡图像的取景框示意图;
图3是本发明一实施例提供的识别结果展示示意图;
图4是本发明一实施例提供的多形态免疫标记产品的检测结果识别装置的结构示意图;
图5是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的免疫标记产品的检测结果识别方法主要应用于实验室等特定环境中,对仪器内部、标准光源等参数具有一定的要求,所支持的试剂形态固化,只能支持特制试剂卡或试剂条,更换试剂卡形状、外观、尺寸,往往容易导致无法检测或结果错误的严重后果,用户使用体验欠佳。本发明实施例提供的多形态免疫标记产品的检测结果识别方法,融合智能终端侧的小程序拍照、视窗辅助剪裁技术以及云服务AI检测技术,不受免疫标记产品的形态限制,能够兼容不同类型的免疫标记产品,解决了检测结果易出错的问题,降低了电子辅助判读的设备成本,且有效地提高了对免疫标记产品的检测结果识别准确度。
以下对本实施例提供的多形态免疫标记产品的检测结果识别方法进行详细的描述。如图1所示,所述多形态免疫标记产品的检测结果识别方法包括:
步骤S101,获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
步骤S102,启动摄像头采集所述免疫标记产品的检测图像;
步骤S103,获取所述检测图像对应的检测线和质控线之间的差异值;
步骤S104,对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
步骤S105,对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
其中,在该步骤S101中,所述免疫标记产品上设置有应用的小程序名称或者应用程序名称。用户使用程序前需要预先在程序上完成用户注册。在使用免疫标记产品时,用户按照使用步骤完成样本采集、加样,等待预设时长后,在判断时间段内启用所述程序。
在这里,所述程序提供引导页面,展示所支持的免疫标记产品的类型,以提示用户选择本次免疫标记产品的类型。可选地,作为本发明的一个优选示例,所述免疫标记产品的类型包括但不限于LH、HCG、半定量LH、新冠病毒。不同类型的免疫标记产品对应不同的检测入口,所述检测入口决定了所述免疫标记产品的取图参数、算法模型参数、结果处理逻辑、结果确认页面内容。终端设备通过获取免疫标记产品的类型,根据所述类型调用对应的检测入口。
其中,在该步骤S102中,在本次免疫标记产品对应的检测结果识别程序启用后,程序启动智能终端的后置摄像装置,进入拍照识别页面,以提示用户按照操作要求进行拍照,对所述免疫标记产品采集检测图像。在本实施例中,所述检测图像为免疫标记产品的检测窗口区域,由此从免疫标记产品的试剂卡图像中分割出检测窗口区域,有利于提升算法的兼容性和稳定性。
其中,在该步骤S103中,通过所述检测图像获取检测线和质控线之间的差异值之前,本实施例对所述检测图像进行合格校验,校验合格的检测图像再识别检测线和质控线,计算对应的检测线和质控线之间的差异值。在本实施例中,所述差异值基于检测线和质控线的颜色灰度值和向量相似度生成,覆盖了检测线和质控线之间的像素差异和特征向量差异。
其中,在该步骤S104中,对于步骤S103得到的差异值,本实施例设计了一个值稳定后处理逻辑,通过对同一免疫标记产品的多个检测图像,对每一个检测图像与之前的检测图像的差异值执行限幅滤波处理,以保持结果的稳定统一,并最终生成所述检测图像中的免疫标记产品的检测结果识别信息。
其中,在该步骤S105中,本实施例预先基于不同类型的免疫标记产品设置定量分类的阈值边界,将对所述检测结果识别信息与阈值边界比较,完成进行区间映射,获取定量分类标识。可选地,所述定量分类标识包括但不限于阴性、弱阳性、阳性、强阳性。
可选地,作为本发明的一个优选示例,步骤S102中所述的启动摄像头采集所述免疫标记产品的检测图像包括:
步骤S1021,选择相机类型,开启补光灯并在开灯时的光照瞬变触发相机完成一次对焦;
步骤S1022,在拍照界面展示所述免疫标记产品的试剂卡及检测窗口的取景框;
步骤S1023,根据用户操作截取完整的试剂卡图像和检测图像,其中所述检测图像为检测窗口区域图像。
本实施例固定启用智能终端的后置摄像装置,对于多摄像头的智能终端,由终端系统软件自动选择相机类型,比如主摄相机或短焦相机,以获得最佳的自动对焦效果。自动开启补光灯,以建立照度更加充足、稳定的拍照环境,减少外部光源的干扰,并在开灯时的光照瞬变触发相机完成一次对焦。本实施例在拍照界面展示完整的试剂卡及检测窗口的取景框,提示用户将取景框对准试剂卡和准检测窗口并拍照。程序同时截取检测窗口区域图像和完整的试剂卡图像,并将所述检测窗口区域图像和试剂卡图像上传至云服务器,通过云服务器来完成对检测结果的识别任务。其中,所述检测窗口区域图像,也即检测图像,用于进行检测结果识别,所述完整的试剂卡图像用于识别结果展示及记录。在所述检测图像中,检测线在左,质控线在右。为了便于理解,图2为本发明实施例提供的检测图像和试剂卡图像的取景框示意图。
本实施例通过取景框定位并裁取出检测图像,采用检测图像进行检测结果的AI识别,只需从单一的检测窗口中识别出检测线和质控线,无需从用户环境的各种可能背景中分离出试剂卡,以及从各种形态的试剂卡中分离出检测窗口,大大地降低了对检测结果识别的复杂度、计算量和不确定性,这是因为不同形态的免疫标记产品的试剂卡在形状、尺寸、丝印、标签贴纸和用户的涂写标记都有可能影响到检测窗口的定位,从而导致对检测结果的错误识别甚至无法识别。而使用云服务器则可以迁移繁重的计算任务,在用户侧可兼容不同性能配置的终端设备,有效地降低了检测设备成本,以及扩大了服务对象的范围。
可选地,作为本发明的一个优选示例,步骤S103中所述的获取所述检测图像对应的检测线和质控线之间的差异值包括:
步骤S1031,对所述检测图像进行图像质量校验;
步骤S1032,在所述图像质量校验合格时,采用预设的目标检测算法获取所述检测图像中的检测线区域、质控线区域、检测线的特征向量和质控线特征向量;
步骤S1033,根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离;
步骤S1034,根据所述检测线特征向量和质控线特征向量获取检测线和质控线之间的余弦距离;
步骤S1035,对所述检测线和质控线之间的余弦距离、灰度比值距离进行加权融合,生成所述检测线和质控线之间的差异值。
在这里,对于步骤S1031,由于用户的拍摄习惯、相机对焦状态、镜头沾污磨损等因素影响到图像的清晰度,也可能由于光照过强或过弱、拍照区域选择不当、拍照角度和采集设备像素低等因素,检测图像存在模糊、噪声、几何变形等失真,因此需要对检测图像的质量做合格判断。可选地,作为本发明的一个优选示例,在对所述检测图像进行图像质量校验时,本实施例采用拉普拉斯算子做模糊判断,通过将检测图像转换为灰度图,采用拉普拉斯3*3的卷积核做卷积运算,从而得到一个响应图,然后计算所述响应图的方差,基于所述方差与预设方差阈值进行比较,以判断所述检测图像的质量。其中,当所述方差大于所述预设方差阈值时所述检测图像质量校验合格。可选地,所述拉普拉斯卷积核优选为
所述预设方差阈值通过对预先筛选出来的质量合格图像集计算方差集,从方差集中选取最小值得到。
在这里,对于步骤S1032,基于免疫标记产品的检测结果判断方式主要依赖于检测线(T)和质控线(C)的显色有无及比对强弱,通常T线的显色深浅与测试样本的浓度有关,浓度越大即显色越深,浓度越小即显色越浅,因此该步骤主要用于定位检测线和质控线的位置。在所述图像质量校验合格时,本实施例采用基于深度学习的目标检测算法来对检测图像进行检测线和质控线的定位。可选地,所述预设的目标检测算法基于YOLOX检测网络,特征提取采用YOLOX的原生骨干网络提取图像的特征信息,通过neck网络融合浅层特征和深层特征,在融合后的特征上采用基于anchor base的方法,预置anchor,其中anchor的比例基于对标注样本的训练聚类得到,neck网络为颈部网络,anchor base指基于预置框,anchor表示预置框。从而可减少anchor窗的数量,进而减少运算量。进一步地,为了提高对检测线和质控线的定位准确性,本实施例在训练阶段,采用已标记检测线区域和质控线区域的图像作为训练样本,根据拍照窗尺寸调整训练样本的分辨率,并对训练样本做剪枝处理取单通道灰度图进行模型训练。其中,在分辨率设置上,基于前端拍照窗尺寸进行调整,优选为320*800,同时对通道做剪枝取单通道灰度图做推理,以消除颜色的影响。可选地,训练时的损失函数包括定位损失函数和分类损失函数。定位损失函数为A表示预测框和真实框的交集,B表示预测框和真实框的并集。分类损失函数采用交叉熵损失函数最终输出的定位信息包括检测线定位信息(xt1,yt1,xt2,yt2,s1)和质控线定位信息(xc1,yc1,xc2,yc2,s2),(xt1,yt1,xt2,yt2)表示检测线的左上角和右下角的顶点坐标,s1表示检测线的分类得分,(xc1,yc1,xc2,yc2)表示质控线的左上角和右下角的顶点坐标,s2表示质控线的分类得分。
对于检测线和质控线之间的颜色差异,由于其显色受到不同批次试剂卡的影响以及不同浓度的影响,同时由于工艺问题也存在显色不均匀的现象。进一步观测中发现采用高浓度测试液时,免疫标记产品往往容易集中在样本侧,即以检测线在左质控线在右的顺序排列中,检测线和质控线的左侧显色更深,右侧显色偏浅。人眼在判断时往往关注的是显色区域中更深的位置,现有技术完全依靠颜色相似度的方式无法准确反映视觉感官。而实际操作中人眼在判读时结合了初级的颜色信息和高级的语义信息。为了准确反映出视觉上的观测结果,本实施例重新定义了检测线和质控线之间的差异值计算公式,结合底层颜色特征和高层语义,将颜色灰度值和向量相似度融合。
在这里,对于步骤S1033,如前所述,由于在所述检测图像中,检测线在左边,质控线在右边,进而可以获取检测线区域、质控线区域之间的灰度图区域(xt2,yt1,xc1,yc2),其中,(xt2,yt1,xc1,yc2)表示所述灰度图区域的左上角和右下角顶点坐标。根据所述检测线区域求取检测线值,根据所述质控线区域求取质控线值以及根据两者之间的灰度图区域求取灰度值,计算所述检测线值与灰度值之差和质控线值与灰度值之差的比值,作为所述检测线和质控线的灰度比值距离。可选地,作为本发明的一个优选示例,步骤S1033所述的根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离包括:
步骤S331,分别对所述检测线区域、质控线区域以及灰度图区域进行高斯滤波处理;
步骤S332,遍历所述质控线区域、检测线区域以及灰度图区域,获取每个区域中小于中位数的像素值集合,分别求取所述像素值集合的均值,得到质控线值、检测线值以及灰度值;
步骤S333,求取所述检测线值与灰度值之差和质控线值与灰度值之差的比值,作为所述检测线和质控线的灰度比值距离。
本发明实施例分别对所述检测线区域、质控线区域以及灰度图区域进行高斯滤波处理,其中滤波处理的参数一致,以消除异常值的影响;然后对所述检测线区域、质控线区域以及灰度图区域中的像素值,分别取小于其中位数的像素值,以消除边缘定位不精确的影响;最后对所获取的像素值进行平均,分别得到质控线值vc、检测线值vt以及灰度值vm。按照以下公式计算灰度比值距离:
其中,r表示灰度比值距离,vt表示检测线值,vc表示质控线值,vm表示灰度值。所述灰度比值距离反映了检测线T对于质控线C的差异大小和差异方向。
在这里,对于步骤S1034,对于目标检测算法输出的检测线特征向量和质控线特征向量,采用主成分分析法(Principal Component Analysis,简称PCA)降维到128维,分别记为Vectort和Vectorc,然后计算所述检测线和质控线之间的余弦距离s,计算公式为:
其中,ti,ci代表Vectort和Vectorc的各个分量,余弦距离s反映了质控线C和检测线T在高维向量空间的相似性,但无法反映差异的方向。
在这里,对于步骤S1035,本发明实施例对所述灰度比值距离r和余弦距离s进行加权融合,从而得到所述检测线和质控线之间的差异值。其中,所述权值可调。可选地,作为本发明的一个优选示例,加权融合公式如下:
其中,value表示所述检测线和质控线之间的差异值,用于度量检测线T和质控线C之间的差异,r表示灰度比值距离,s表示余弦距离。
通过步骤S103计算得到的所述检测线和质控线之间的差异值value,在实际实施过程中,由于终端设备拍照受环境光线以及其他因素的影响,会导致同一免疫标记产品在不同时刻拍摄得到的检测图像计算出不同的差异值,影响结果的统一,鉴于此,本实施例设计了一个值稳定后处理逻辑。在测试集上的统计结果发现,同一免疫标记产品在不同时刻拍摄得到的检测图像计算出的差异值收敛在一定阈值区间内,本实施例定义所述阈值为预设容差值。可选地,作为本发明的一个优选示例,步骤S104所述的对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息包括:
S1:获取检测图像对应的检测线和质控线之间的差异值,将所述差异值与预设栈数组中的每一个区间代表值进行比对;
S2:若所述差异值与所述区间代表值之间的欧式距离小于预设容差值,则从栈数组中获取欧式距离最小的区间代表值替换所述差异值,输出替换后的所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值;
S3:若所述差异值与所述区间代表值之间的欧式距离均大于所述预设容差值,则将所述差异值作为一个区间代表值存入所述栈数组,输出所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值。
在这里,本实施例维护一个固定长度的栈数组,假设为len1。可选地,所述的预设栈数组在首次拍摄所述免疫标记产品的检测图像时创建,并初始化为空集。通过维护一个栈数组,对同一免疫标记产品连续拍摄获取检测图像,对于每一所述检测图像,计算检测线和质控线之间的差异值value,计算所述差异值value与栈数组中的区间代表值之间的欧式距离。若所述欧式距离小于所述预设容差值,则通过最近邻算法查找所述栈数组中欧式距离最小的区间代表值,替换当前的差异值value,作为所述检测图像中的免疫标记产品的检测结果识别信息。若所述欧式距离均大于所述预设容差值,将所述差异值作为一个区间代表值入栈,并输出所述差异值作为所述免疫标记产品的检测结果识别信息。
可选地,为了便于理解,以下给出一个限幅滤波处理的具体应用场景。假设所述预设容差值为0.6,在首次拍摄所述免疫标记产品的检测图像时创建预设栈数组len1,并初始化为空集。若采集的首个检测图像对应的检测线和质控线之间的差异值为1.6,此时由于预设栈数组为空集,无区间代表值,默认若所述差异值与区间代表值之间的欧式距离大于所述预设容差值,将所述差异值作为一个区间代表值入栈,并输出所述差异值作为所述检测图像中的免疫标记产品的检测结果识别信息,此时所述预设栈数组中包括一个区间代表值1.6。若采集的第二个检测图像对应的检测线和质控线之间的差异值为1.8,与预设栈数组中的区间代表值1.6计算欧式距离,为0.2,小于所述预设容差值,用1.6替换1.8,并输出所述区间代表值1.6作为所述检测图像中的免疫标记产品的检测结果识别信息。若采集的第三个检测图像对应的检测线和质控线之间的差异值为1.5,与预设栈数组中的区间代表值1.6计算欧式距离,为0.1,小于所述预设容差值,用1.6替换1.5。若采集的第四个检测图像对应的检测线和质控线之间的差异值为2.1,与预设栈数组中的区间代表值1.6计算欧式距离,为0.5,小于所述预设容差值,用1.6替换2.1。若采集的第五个检测图像对应的检测线和质控线之间的差异值为2.4,与预设栈数组中的区间代表值1.6计算欧式距离,为0.8,大于所述预设容差值,将所述差异值作为一个区间代表值入栈,2.4入栈,并输出所述差异值2.4作为所述免疫标记产品的检测结果识别信息,此时所述预设栈数组中包括两个区间代表值1.6和2.4。若采集的第六个检测图像对应的检测线和质控线之间的差异值为2.6,与预设栈数组中的区间代表值1.6计算欧式距离,为1,大于所述预设容差值,与区间代表值2.4计算欧式距离,为0.2,小于所述预设容差值,则用2.4替换2.6。以此类推。
由于不同类型的免疫标记产品,对检测结果的定义和分类不相同。定性判断的免疫标记产品以是否存在检测线T是阴阳判断的依据。当检测线T显色较弱时,在通过步骤S104得到的免疫标记产品的检测结果识别信息后,若所述检测结果识别信息为0,则判定为阴性。因此,对于定性判断的免疫标记产品,若不存在检测线T,则为阴性,若存在检测线T,则根据所述检测结果识别信息进行区间映射以获取定量分类标识。对于半定量判断的免疫标记产品,则直接根据所述检测结果识别信息进行区间映射以获取定量分类标识。
可选地,作为本发明的一个优选示例,步骤S105所述的对所述检测结果识别信息进行区间映射,获取所述免疫标记产品的定量分类标识包括:
步骤S1051,获取定量分类的区间边界值;
步骤S1052,将所输出的所述差异值分别与所述区间边界值进行比较,获取差异值的映射区间;
步骤S1053,获取所述映射区间对应的定量分类标识作为所述免疫标记产品的定量分类标识。
在这里,在通过步骤S104的限幅滤波处理后,预设栈数组中的区间代表值为所述免疫标记产品的检测结果识别信息,实现了将多次拍摄的每一个检测图像对应的差异值稳定到区间代表值上。上述步骤S1052中所输出的所述差异值为经过限幅滤波处理后的每一个检测图像中的免疫标记产品的检测结果识别信息,其实际上是预设栈数组中的区间代表值。本实施例根据业务需求设定不同的定量分类,比如阴性、弱阳性、阳性、强阳性,并定义区间边界值,将所输出的差异值,也即经过限幅滤波处理后的每一个检测图像中的免疫标记产品的检测结果识别信息,与区间边界值进行比较,映射到对应的定量分类,从而得到所述检测图像中的免疫标记产品的定量分类标识。
在家庭自测领域,如何正确操作所述免疫标记产品和用户文化水平、认知水平和操作习惯有关,错误的检测结果会误导用户引起严重后果,因此本实施例进一步加入确认流程,使得检测流程更加严谨、安全、可靠。按照医疗器械的相关法规要求,免疫标记产品为辅助检测工具,检测结果仅供用户参考,实际结果以用户判断为准。作为本发明的一个优选示例,在通过步骤S105得到所述免疫标记产品的定量分类标识之后,所述方法还可以包括:通过https协议将定量分类标识返回至终端设备,在页面上展示所述免疫标记产品的试剂卡图像、检测图像及其对应的定量分类标识,并提示用户确认C/T线位置和识别结果。若识别结果与用户判断不一致,用户可选择正确的识别结果并确认保存;若C/T线位置错误或者结果异常,用户可点击重拍返回步骤S102重新拍照检测;若用户完成确认,则把免疫标记产品的试剂卡图像、检测图像及其对应的差异值和定量分类标识存入测试记录,以便于后续进行跟踪和溯源。可选地,为了便于理解,图3为本发明实施例提供的识别结果展示示意图。
本发明实施例提供的多形态免疫标记产品的检测结果识别方法,融合智能终端侧的小程序拍照、视窗辅助剪裁技术以及云服务AI检测技术,不受免疫标记产品的形态限制,能够兼容不同类型的免疫标记产品,解决了兼容性差、检测结果易出错的问题,降低了电子辅助判读的设备成本;且通过融合检测图像中检测线和质控线的颜色灰度值和向量相似度,有效地提高了对免疫标记产品的检测结果识别准确度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,本发明还提供一种多形态免疫标记产品的检测结果识别装置,该多形态免疫标记产品的检测结果识别装置与上述实施例中多形态免疫标记产品的检测结果识别方法一一对应。如图4所示,该多形态免疫标记产品的检测结果识别装置包括调用模块41、采集模块42、获取模块43、限幅模块44、映射模块45。各功能模块详细说明如下:
调用模块41,用于获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
采集模块42,用于启动摄像头采集所述免疫标记产品的检测图像;
获取模块43,用于获取所述检测图像对应的检测线和质控线之间的差异值;
限幅模块44,用于对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
映射模块45,用于对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
可选地,所述采集模块42包括:
选择相机类型,开启补光灯并在开灯时的光照瞬变触发相机完成一次对焦;
在拍照界面展示所述免疫标记产品的试剂卡及检测窗口的取景框;
根据用户操作截取完整的试剂卡图像和检测图像,其中所述检测图像为检测窗口区域图像。
可选地,所述获取模块43包括:
校验单元,用于对所述检测图像进行图像质量校验;
获取单元,用于在所述图像质量校验合格时,采用预设的目标检测算法获取所述检测图像中的检测线区域、质控线区域、检测线的特征向量和质控线特征向量;
灰度比值距离获取单元,用于根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离;
余弦距离获取单元,用于根据所述检测线特征向量和质控线特征向量获取检测线和质控线之间的余弦距离;
加权融合单元,用于对所述检测线和质控线之间的余弦距离、灰度比值距离进行加权融合,生成所述检测线和质控线之间的差异值。
可选地,所述预设的目标检测算法基于YOLOX检测网络,特征提取采用YOLOX的原生骨干网络提取图像的特征信息,通过neck网络融合浅层特征和深层特征,在融合后的特征上采用基于anchor base的方法,预置anchor,其中anchor的比例基于对标注样本的训练聚类得到。
可选地,所述灰度比值距离单元用于:
分别对所述检测线区域、质控线区域以及灰度图区域进行高斯滤波处理;
遍历所述质控线区域、检测线区域以及灰度图区域,获取每个区域中小于中位数的像素值集合,分别求取所述像素值集合的均值,得到质控线值、检测线值以及灰度值;
求取所述检测线值与灰度值之差和质控线值与灰度值之差的比值,作为所述检测线和质控线的灰度比值距离。
可选地,加权融合公式如下:
其中,value表示所述检测线和质控线之间的差异值,r表示灰度比值距离,s表示余弦距离。
可选地,所述限幅模块44用于:
S1:获取检测图像对应的检测线和质控线之间的差异值,将所述差异值与预设栈数组中的每一个区间代表值进行比对;
S2:若所述差异值与所述区间代表值之间的欧式距离小于预设容差值,则从栈数组中获取欧式距离最小的区间代表值替换所述差异值,输出替换后的所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值;
S3:若所述差异值与所述区间代表值之间的欧式距离均大于所述预设容差值,则将所述差异值作为一个区间代表值存入所述栈数组,输出所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值。
可选地,所述的预设栈数组在首次拍摄所述免疫标记产品的检测图像时创建,并初始化为空集。
关于多形态免疫标记产品的检测结果识别装置的具体限定可以参见上文中对于多形态免疫标记产品的检测结果识别方法的限定,在此不再赘述。上述多形态免疫标记产品的检测结果识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种多形态免疫标记产品的检测结果识别方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
启动摄像头采集所述免疫标记产品的检测图像;
获取所述检测图像对应的检测线和质控线之间的差异值;
对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种多形态免疫标记产品的检测结果识别方法,其特征在于,包括:
获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
启动摄像头采集所述免疫标记产品的检测图像;
获取所述检测图像对应的检测线和质控线之间的差异值;
对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
2.如权利要求1所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述启动摄像头采集所述免疫标记产品的检测图像包括:
选择相机类型,开启补光灯并在开灯时的光照瞬变触发相机完成一次对焦;
在拍照界面展示所述免疫标记产品的试剂卡及检测窗口的取景框;
根据用户操作截取完整的试剂卡图像和检测图像,其中所述检测图像为检测窗口区域图像。
3.如权利要求2所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述获取所述检测图像对应的检测线和质控线之间的差异值包括:
对所述检测图像进行图像质量校验;
在所述图像质量校验合格时,采用预设的目标检测算法获取所述检测图像中的检测线区域、质控线区域、检测线的特征向量和质控线特征向量;
根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离;
根据所述检测线特征向量和质控线特征向量获取检测线和质控线之间的余弦距离;
对所述检测线和质控线之间的余弦距离、灰度比值距离进行加权融合,生成所述检测线和质控线之间的差异值。
4.如权利要求3所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述预设的目标检测算法基于YOLOX检测网络,特征提取采用YOLOX的原生骨干网络提取图像的特征信息,通过neck网络融合浅层特征和深层特征,在融合后的特征上采用基于anchor base的方法,预置anchor,其中anchor的比例基于对标注样本的训练聚类得到。
5.如权利要求3所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述根据所述检测线区域、质控线区域以及两者之间的灰度图区域获取检测线和质控线之间的灰度比值距离包括:
分别对所述检测线区域、质控线区域以及灰度图区域进行高斯滤波处理;
遍历所述质控线区域、检测线区域以及灰度图区域,获取每个区域中小于中位数的像素值集合,分别求取所述像素值集合的均值,得到质控线值、检测线值以及灰度值;
求取所述检测线值与灰度值之差和质控线值与灰度值之差的比值,作为所述检测线和质控线的灰度比值距离。
6.如权利要求3所述的多形态免疫标记产品的检测结果识别方法,其特征在于,加权融合公式如下:
其中,value表示所述检测线和质控线之间的差异值,r表示灰度比值距离,s表示余弦距离。
7.如权利要求3所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息包括:
S1:获取检测图像对应的检测线和质控线之间的差异值,将所述差异值与预设栈数组中的每一个区间代表值进行比对;
S2:若所述差异值与所述区间代表值之间的欧式距离小于预设容差值,则从栈数组中获取欧式距离最小的区间代表值替换所述差异值,输出替换后的所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值;
S3:若所述差异值与所述区间代表值之间的欧式距离均大于所述预设容差值,则将所述差异值作为一个区间代表值存入所述栈数组,输出所述差异值作为所述免疫标记产品的检测结果识别信息,返回步骤S1等待下一个检测图像的差异值。
8.如权利要求7所述的多形态免疫标记产品的检测结果识别方法,其特征在于,所述的预设栈数组在首次拍摄所述免疫标记产品的检测图像时创建,并初始化为空集。
9.一种多形态免疫标记产品的检测结果识别装置,其特征在于,所述装置包括:
调用模块,用于获取免疫标记产品的类型,根据所述类型调用对应的检测入口;
采集模块,用于启动摄像头采集所述免疫标记产品的检测图像;
获取模块,用于获取所述检测图像对应的检测线和质控线之间的差异值;
限幅模块,用于对所述检测图像对应的检测线和质控线之间的差异值进行限幅滤波处理,生成所述检测图像中的免疫标记产品的检测结果识别信息;
映射模块,用于对所述检测结果识别信息进行区间映射,获取所述检测图像中的免疫标记产品的定量分类标识。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的多形态免疫标记产品的检测结果识别方法。
CN202310714631.9A 2023-06-15 2023-06-15 多形态免疫标记产品的检测结果识别方法、装置及介质 Pending CN116824236A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310714631.9A CN116824236A (zh) 2023-06-15 2023-06-15 多形态免疫标记产品的检测结果识别方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310714631.9A CN116824236A (zh) 2023-06-15 2023-06-15 多形态免疫标记产品的检测结果识别方法、装置及介质

Publications (1)

Publication Number Publication Date
CN116824236A true CN116824236A (zh) 2023-09-29

Family

ID=88113882

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310714631.9A Pending CN116824236A (zh) 2023-06-15 2023-06-15 多形态免疫标记产品的检测结果识别方法、装置及介质

Country Status (1)

Country Link
CN (1) CN116824236A (zh)

Similar Documents

Publication Publication Date Title
US20210407076A1 (en) Multi-sample Whole Slide Image Processing in Digital Pathology via Multi-resolution Registration and Machine Learning
US9928592B2 (en) Image-based signal detection for object metrology
US10007971B2 (en) Systems and methods for user machine interaction for image-based metrology
US20170262985A1 (en) Systems and methods for image-based quantification for allergen skin reaction
US9031317B2 (en) Method and apparatus for improved training of object detecting system
JP2020507836A (ja) 重複撮像を予測した手術アイテムの追跡
WO2020046960A1 (en) System and method for optimizing damage detection results
US20170258391A1 (en) Multimodal fusion for object detection
US20170262979A1 (en) Image correction and metrology for object quantification
CN111078908A (zh) 一种数据标注的检测方法和装置
US20170262977A1 (en) Systems and methods for image metrology and user interfaces
US20130251246A1 (en) Method and a device for training a pose classifier and an object classifier, a method and a device for object detection
CN110869944B (zh) 使用移动设备读取测试卡
US20220012884A1 (en) Image analysis system and analysis method
JP2018512567A (ja) 検査室自動化のためのサイドビューサンプルチューブ画像におけるバーコードタグ検出
CN107256410B (zh) 眼底图像分类方法及装置
CN111144372A (zh) 车辆检测方法、装置、计算机设备和存储介质
CN112884782B (zh) 生物对象分割方法、装置、计算机设备和存储介质
CN111462094A (zh) Pcba元器件检测方法、装置及计算机可读存储介质
US20230274538A1 (en) Adaptable Automated Interpretation of Rapid Diagnostic Tests Using Self-Supervised Learning and Few-Shot Learning
CN113673500A (zh) 证件图像识别方法、装置、电子设备及存储介质
CN112633255A (zh) 目标检测方法、装置及设备
CN112525355A (zh) 图像处理方法、装置及设备
CN117911827A (zh) 多模态目标检测方法、装置、设备及存储介质
WO2021205737A1 (ja) 生体検体解析装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination