CN115273152B - 一种侧向免疫层析检测方法、装置及应用 - Google Patents
一种侧向免疫层析检测方法、装置及应用 Download PDFInfo
- Publication number
- CN115273152B CN115273152B CN202211164434.6A CN202211164434A CN115273152B CN 115273152 B CN115273152 B CN 115273152B CN 202211164434 A CN202211164434 A CN 202211164434A CN 115273152 B CN115273152 B CN 115273152B
- Authority
- CN
- China
- Prior art keywords
- target window
- image
- line
- control line
- gradient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Human Computer Interaction (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Cardiology (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种侧向免疫层析检测方法、装置及应用,属于免疫层析技术领域。本发明采用深度学习网络对免疫层析条RGB图像中的目标视窗进行识别训练,目标视窗为样本跑样区域;采用训练好的深度学习网络对滴加样本后的免疫层析条RGB图像中的目标视窗进行识别,再识别目标视窗中的控制线和测试线的特征峰;在灰度图像中消除基线信号后,再对控制线和测试线的特征峰进行特征值提取,再计算C线和T线的强度。本发明采用深度学习技术,将T线和C线的识别转化为梯度图像Y方向特征峰的识别,并消除了基线信号的影响,检测速度快,检测结果准确。
Description
技术领域
本发明涉及胶体金免疫层析技术领域,尤其涉及一种侧向免疫层析检测方法、装置及应用。
背景技术
侧向免疫层析检测作为床旁诊断(Point of care test,POCT)的一种主要形式,自问世以来,发展势头非常迅猛,其中胶体金作为侧向免疫层析中一种成熟的标记技术,仅通过表征测试过程中的颜色变化即可实现目标物的定性定量分析,由于其简单快速、肉眼可判断和无需大型设备等优点,广泛应用于急诊科、临床科室、县级、乡镇医院、家庭监护和药物滥用检测等。
通常,免疫层析定性定量原理是利用抗体夹心来检测样本中的抗原,将一种抗体固定在硝化纤维素膜或其他固相上,另一种抗体用胶体金标记。当样本通过湿润后含有抗体结合物的材料时,它将释放抗体结合物。如果样本含有待检测的抗原,抗原将与抗体结合物反应并形成抗原-抗体结合物,该化合物通过毛细管作用继续移动到嵌入捕获抗体的膜上。抗体将捕获抗原-抗体结合物以形成三明治型化合物,这种三明治型化合物将在测试线(T线)和控制线(C线)处形成可见的红色或紫红色色带,多余的化合物将被进入到吸收垫。通过检测显色色带的强度从而确定被测物质的浓度信息。
色带的颜色信息可以通过专业图像采集传感器CMOS(Complementary Metal-Oxide-Semiconductor)或者电荷耦合元件(Charge-coupled Device, CCD)进行光电转换获得,结合特定的数字图像处理技术,可以自动检测T线和C线的强度,从而实现目标物的定性定量分析,例如胶体金免疫层析分析仪。专业的分析仪器不仅可满足胶体金卡条定性定量的需求,而且相比于肉眼判断,能给出更加准确的结果,尤其对弱阳性结果的判断更加快速可靠,但是专业的拍摄装置和检测结构仪器往往占用较大的体积,并且前期开发和后续维护成本较高,同时需配备专业的操作人员,因此仅适用于专业的实验室环境,无法适配家庭检测应用场景。
近年来智能终端尤其是手机技术的发展,使得手机拍摄效果与专业拍摄效果的差距不断缩小,通过分析手机拍摄照片中胶体金卡条的颜色信息也可获得目标物浓度信息,这样的研究案例甚至是产品越来越多的出现在我们的身边。专利申请文献WO2021097343A1中介绍了借助手机摄像头和视觉定位辅助卡的帮助,用于诊断的生物样本检测;在文献LiY, Zeng N, Du M. A Novel Image Methodology for Interpretation of GoldImmunochromatographic Strip[J]. J. Comput., 2011, 6(3): 540-547中,阐述了一种借助于特定的外界硬件辅助装置实现侧向层析卡条定量功能的方法;在文献Qin Q, WangK, Xu H, et al. Deep Learning on chromatographic data for Segmentation andSensitive Analysis[J]. Journal of Chromatography A, 2020, 1634: 461680中,通过深度网络进行胶体金卡条照片中T线和C线的精确分割,在文献Huang R Y, Herr D R.Quantitative circular flow immunoassays with trained object recognition todetect antibodies to SARS-CoV-2 membrane glycoprotein[J]. Biochemical andbiophysical research communications, 2021, 565: 8-13中,详细描述了将定位网络结合环形胶体金卡实现SARS-CoV-2膜糖蛋白的检测。
这些研究成果的出现为手机拍照检测胶体金免疫层析条的定性定量分析的实现奠定坚实的技术基础。纵观现有大部分研究工作和产品案例,最终结果的获得往往需要借助一些辅助专业配件(视觉定位配件或者拍照配件)才能实现,这不仅一定程度上提高了检测成本,而且不符合家用检测的简便易用的要求,并且检测结果大多停留在定性阶段。
发明内容
为了解决上述技术问题,本发明提供了一种能够准确定量检测的侧向免疫层析检测方法,包括如下步骤:采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行识别;识别目标视窗中的控制线和测试线的特征峰;在目标视窗的灰度图像上消除基线信号;在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;计算控制线和测试线的强度。本发明采用深度学习技术,将T线和C线的识别转化为梯度图像Y方向特征峰的识别,并消除了基线信号的影响,检测速度快,检测结果准确。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;
S4.在目标视窗的灰度图像上消除基线信号;
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。
优选地,步骤S4具体包括如下步骤:
优选地,所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值;或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
优选地,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
在目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
识别Y方向梯度控制线和测试线特征峰。
优选地,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
优选地,步骤S3通过对峰的极大值和控制线和测试线内部的肩峰间隔进行约束,具体为:峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布,控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
优选地,识别出的测试线和控制线宽度必须大于等于预设的宽度,测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
优选地,在步骤S3和步骤S4之间还包括如下步骤:
对目标视窗的灰度图像信号进行行加和;
对目标视窗的灰度图像信号进行平滑。
优选地,采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
优选地,截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
优选地,根据控制线和测试线的位置,以及上下像素的值,采用如下方法计算控制线和测试线的强度:
其中,
cc表示控制线的位置,c_bg表示控制线的对照位置,tt表示测试线的位置,t_bg表示测试线的对照位置;
c表示控制线的浓度峰值位置,t表示测试线的浓度峰值位置;
c_bg、t_bg用于与cc、tt做对比;
gray( )代表对图像进行灰度化处理的函数;
mean( )代表对图像特定位置的像素求平均值。
本发明提供了一种侧向免疫层析检测装置,使用上述任一侧向免疫层析检测方法,包括如下模块:
目标视窗定位模块,通过深度学习对免疫层析条RGB图像中的目标视窗识别进行训练,目标视窗为样本跑样区域,采用训练好的深度学习网络对滴加样本的免疫层析条RGB图像中的目标视窗进行定位;
控制线和测试线识别模块,识别目标视窗中的控制线和测试线的特征峰;
控制线和测试线的强度计算模块,在目标视窗的灰度图像上消除基线信号,对控制线和测试线的特征峰进行特征值提取,计算控制线和测试线的强度。
本发明提供了一种如上述任一项所述的检测方法在侧向免疫层析中的应用。
与现有技术相对比,本发明的有益效果如下:
(1)本发明将T线和C线的识别转化为梯度图像Y方向特征峰的识别,相比于灰度信号来说,基于梯度的信号的抗干扰能力更强。RGB图像经过灰度化和梯度化后,C线和T线的轮廓边界呈现效果更明显,并且在梯度行加和图中表现为典型的M形峰,更易识别。
(2)本发明通过对峰的极大值和控制线和测试线内部的尖峰间隔进行约束,峰的极大值必须满足预设的半峰宽且满足预设的Y轴分布,控制线和测试线内部的尖峰间隔需满足预设间隔宽度,使得识别速度更快。
(3)本发明在灰度图像上进行基线信号消除后再计算C线和T 线的强度,消除了基线信号对C线和T线强度的影响,使得C线和T线强度计算更准确。
附图说明
图1为本发明的实施例1-2的侧向免疫层析检测方法流程图;
图2为本发明的实施例3-6的侧向免疫层析检测方法流程图;
图3为本发明的实施例5的图像处理结果图,其中,a为目标视窗RGB图像;b为目标视窗的Sobel梯度图;c为Y方向梯度行加和图;
图4为本发明的实施例6的灰度信号消除基线信号的效果对比图;
图5a为本发明的实施例6的未消除基线信号与采用胶体金免疫层析分析仪器的T/C值对比图;横坐标为本发明未消除基线信号测得的T/C值,纵坐标为采用胶体金免疫层析分析仪器测得的T/C值;
图5b为本发明的实施例6的消除基线信号与采用胶体金免疫层析分析仪器的T/C值对比图;
图5c为本发明实施例6的消除基线信号后的T/C值回归图;直线表达式为:y=0.8851x-0.0426;R2=0.997;
图6为本发明的实施例6在不同环境下使用采用本发明的方法的手机拍照进行处理后的T/C值与采用胶体金免疫层析分析仪器测定的T/C值的对比图以及整体的回归图;直线表达式为y=1.2962x+0.0429;R2=0.9377。
具体实施方式
下面结合附图1-6对本发明的具体实施方式作详细的说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;
S4.在目标视窗的灰度图像上消除基线信号;
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。
根据本发明的一个具体实施方式,步骤S4具体包括如下步骤:
其中,
在惩罚最小二乘法(Penalized Least Squares)的基础上,在迭代的过程中达到基线拟合的效果,惩罚最小二乘法作为一个信号平滑方法,同时兼顾准确度和光滑度,其目标函数如下:
根据本发明的一个具体实施方式,所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值;或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
根据本发明的一个具体实施方式,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
在目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
识别Y方向梯度控制线和测试线特征峰。
根据本发明的一个具体实施方式,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
根据本发明的一个具体实施方式,步骤S3通过对峰的极大值和控制线和测试线内部的肩峰间隔进行约束,具体为:峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布,控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
根据本发明的一个具体实施方式,识别出的测试线和控制线宽度必须大于等于预设的宽度,测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
根据本发明的一个具体实施方式,在步骤S3和步骤S4之间还包括如下步骤:
对目标视窗的灰度图像信号进行行加和;
对目标视窗的灰度图像信号进行平滑。
根据本发明的一个具体实施方式,采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
根据本发明的一个具体实施方式,截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
根据本发明的一个具体实施方式,根据控制线和测试线的位置,以及上下像素的值,采用如下方法计算控制线和测试线的强度:
其中,
cc表示控制线的位置,c_bg表示控制线的对照位置,tt表示测试线的位置,t_bg表示测试线的对照位置;
c表示控制线的浓度峰值位置,t表示测试线的浓度峰值位置;
c_bg、t_bg用于与cc、tt做对比;
gray( )代表对图像进行灰度化处理的函数;
mean( )代表对图像特定位置的像素求平均值。
根据本发明的一个具体实施方式,采用YOLO深度学习网络V5小版本进行深度学习。
根据本发明的一个具体实施方式,RGB图像通过手机拍照进行采集。
本发明提供了一种侧向免疫层析检测装置,使用上述任一侧向免疫层析检测方法,包括如下模块:
目标视窗定位模块,通过深度学习对免疫层析条RGB图像中的目标视窗识别进行训练,目标视窗为样本跑样区域,采用训练好的深度学习网络对滴加样本的免疫层析条RGB图像中的目标视窗进行定位;
控制线和测试线识别模块,识别目标视窗中的控制线和测试线的特征峰;
控制线和测试线的强度计算模块,在目标视窗的灰度图像上消除基线信号,对控制线和测试线的特征峰进行特征值提取,计算控制线和测试线的强度。
本发明提供了一种如上述任一项所述的检测方法在侧向免疫层析中的应用。
实施例1
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测方法进行详细说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;
S4.在目标视窗的灰度图像上消除基线信号;
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。
实施例2
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测方法进行详细说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;
S4.在目标视窗的灰度图像上消除基线信号;步骤S4具体包括如下步骤:
其中,
所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值;或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。
实施例3
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测方法进行详细说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
S4.在目标视窗的灰度图像上消除基线信号;步骤S4具体包括如下步骤:
其中,
所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值;或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。
实施例4
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测方法进行详细说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
步骤S3通过对峰的极大值和控制线和测试线内部的肩峰间隔进行约束,具体为:峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布,控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。识别出的测试线和控制线宽度必须大于等于预设的宽度,测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
在步骤S3和步骤S4之间还包括如下步骤:
对目标视窗的灰度图像信号进行行加和;
对目标视窗的灰度图像信号进行平滑。
S4.在目标视窗的灰度图像上消除基线信号;步骤S4具体包括如下步骤:
其中,
所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值;或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
实施例5
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测方法进行详细说明。
本发明提供了一种侧向免疫层析检测方法,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域。
本实施例中采用Yolov5深度学习网络框架,其在输入端采用了Mosaic数据增强、自适应锚框计算、自适应图片缩放;Backbone采用Focus结构,CSP结构;Neck采用了FPN+PAN结构;在预测阶段采用了GIOU_loss。训练过程包括多种光照场景、多种拍摄角度、多种型号手机以及非目标场景的图片以丰富样本集的构成,从而提高模型的泛化能力。
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行识别。
S3.识别目标视窗测试线和控制线的特征峰;步骤S3具体还包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
步骤S3通过对峰的极大值和控制线和测试线内部的肩峰间隔进行约束,具体为:峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布,控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。识别出的测试线和控制线宽度必须大于等于预设的宽度,测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
目标视窗识别成功后,进一步定位至测试线和控制线的特征峰的位置,这种定位可以通过多种方法,例如采用灰度/梯度照片的二值化,然后对轮廓筛选获得目标峰位置;或者采用模糊C均值聚类(Fuzzy C-mean)的方式对C线和T线直接的像素级分割获得。
本实施例采用的是将识别出的目标视窗图像转为灰度图像如图3中的a,再进行梯度化后,C线和T线的轮廓边界呈现效果明显,如图3中的b所示,并且在梯度行加和图中表现为典型的M形峰如图3中的c,再进行特征峰的寻找。
本实施例中控制线和测试线特征峰的判断用极大值点进行判断,极大值点必须满足大于等于预设的半峰宽强度,在本实施例中:半峰宽大于等于2个像素点,则当前信号点i的强度必须满足大于等于i-1,i-2以及i+1,i+2对应信号点的强度;控制线和测试线内部的肩峰间隔必须满足预设宽度;识别出的测试线和控制线宽度必须大于等于预设宽度;测试线和控制线对应的梯度值必须大于等于预设梯度阈值;
S4.在目标视窗的灰度图像上消除基线信号;
加样之后的免疫层析卡存在一定程度的残留或者不均匀现象,导致C线和T线特征峰之外的基线信号并不为零,由此对目标范围内的灰度值信号产生影响,因此有必要进行基线信号的消除。在本实施例中, S4步骤中具体通过以下方法实现消除基线信号:在惩罚最小二乘法(Penalized Least Squares)的基础上,在自适应迭代加权惩罚最小二乘在迭代的过程中达到基线拟合的效果,惩罚最小二乘法作为一个信号平滑方法,同时兼顾准确度和光滑度,其目标函数如下:
其中,
所述迭代过程满足如下终止条件时终止迭代:迭代次数大于等于设定的阈值(比如50);或达到如下收敛条件:
其中,x为原始采集的所有信号点的值组成的序列。
在不断的迭代和重加权的过程中,处于峰位置的信号点将会被逐渐的消除(权重为0),不处在峰位置的信号点的权重不断的被保留下来。相比于传统的扣除基线方法,此方法不需要提供过多的先验信息和用户干预,整体的运行效果快速灵活,这种特性使其特别适用于免疫试纸上的干扰基线信号的扣除工作。
S5.在消除基线信号后的目标视窗的灰度图像上,对测试线和控制线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度。在C线和T线特征峰定位准确后需确定好C线和T线的强度表征方式,这里采用灰度信号强度作为其信号强度表征。在RGB图像获取后,截取其灰度信号C线和T线特征峰坐标内的积分或者平均值为其C线和T线强度。
实施例6
根据本发明的一个具体实施方案,下面详细说明采用本发明的方法进行胶体金免疫层析检测过程。
本发明提供了一种胶体金免疫层析检测方法,包括如下步骤:
采集不同环境下胶体金免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域。
在训练权重文件时,考虑到光照、拍摄角度、拍摄硬件对最终图像的定位可能存在影响,因此在构造样本集时特定包含多种光照场景、多种拍摄角度、多种型号手机以及非目标场景的图片以丰富样本集的构成,从而提高模型的泛化能力,最终样本集由2080张像素为544*940的照片构成,每张照片采用精灵标注工具人工标注获得对应的目标位置和标签,通过随机抽样将数据集分成训练集、验证集和测试集,对深度学习网络进行训练。
本实施例采用yolov5进行训练,训练后,将样品滴加到胶体金免疫层析卡上,跑样5分钟后,利用手机采集图像信息,利用训练后的深度学习网络初步定位C线和T线的目标区域,即对目标视窗进行识别定位。
目标视窗识别定位成功后,就要开始定位C线和T线的特征峰。
识别目标视窗成功后,进行如下步骤:
将RGB图像经过灰度化和梯度化后;
获取Y方向的梯度;
进行角度旋转校正;
Y方向梯度行加和;
Y方向梯度平滑;
此时如图3中的b所示,C线和T线的轮廓边界呈现效果明显,并且在梯度行加和图中表现为典型的M形峰。为了更快的定位好特征峰,本实施例采用约束条件和极大值判定的方式寻找C线和T线的特征峰,具体为:1,在当前采样密度下,极大值点必须满足2个像素点的半峰宽的最大(例如半峰宽等于2个像素点,则当前信号点i的强度必须满足大于等于i-1,i-2以及i+1,i+2对应点的强度);2,C线和T线内部的肩峰间隔必须满足一定宽度,例如7个像素点;3,C线和T线的检测必须满足一定要大于等于某个宽度,例如45个像素点;4,C线和T线对应的梯度值必须要大于等于某个值,例如1000个像素点;通过以上四个方面的筛选,即可获得符合要求的位置坐标,见图3中的c为 C线和T线的特征峰定位识别效果。
在C线和T线的特征峰定位之后,对灰度图像开始进行基线消除,为了达到更好的消除效果,在基线消除前对灰度图像行加和,平滑,然后利用步骤S4中的消除基线信号方法;在不断的迭代和重新加权的过程中,处于峰位置的数据点将会被逐渐的消除,权重为0,背景点的权重不断的被保留下来。相比于传统的扣除基线方法,本发明的方法不需要提供过多的先验信息和用户干预,整体的运行效果快速灵活,这种特性使其特别适用于胶体金免疫试纸上的干扰基线信号的扣除工作。
图4为采用本发明基线消除方法对灰度图像信号进行基线扣除的效果图,不难看出基线扣除效果良好。
然后,在消除基线信号后的目标视窗的灰度图像上,对测试线和控制线的特征峰进行特征值提取。
为了进一步验证上述基线扣除的效果,利用上述技术方案获得的T/C值与胶体金免疫层析分析仪器的测得的T/C值比对,为避免测试对象的变化对最终数值产生影响,特选择标准印刷胶体金免疫层析卡条作为测试对象,将每个标准胶体金免疫层析卡先用手机拍照测量3次,再用蓝勃仪器测量3次。统计所有结果得到如下的对比如图5a、图5b和图5c。
图5a为采用本发明检测方法的手机拍摄照片未扣基线T/C值与胶体金免疫层析分析仪器测得的T/C值的比较图,图5b为采用本发明检测方法的扣除基线后的结果比较图,图5c为采用本发明检测方法的手机拍摄照片T/C均值与胶体金免疫层析分析仪器测得的T/C值的回归图。由上图可得如下的结论:
1.图5a与图5b比较可进一步证明基线对最终结果产生影响,图5a中由于基线信号非零导致样本比值波动较大,而图5b中可以看到,采用本发明的基线消除方法进行基线扣除后,平行测试的信号与胶体金免疫层析分析仪器测得的信号表现更加一致;
2.图5c显示出在标准卡条上,当前处理流程获得的结果与胶体金免疫层析分析仪器的相关性良好。
截取灰度图像信号特征峰之间的积分或者平均值为其C线和T线强度,计算T/C值。
为了验证在实际胶体金免疫层析卡上测试真实尿液样本的效果,此外由于手机拍摄时,光照很难保持一致,因此进一步考察不同光照对最终测试结果是否产生影响,设计如下实验:构造5种不同的常见光照条件以模拟实际照片采集的环境,分别为:室内偏黄光照(环境1)、室内白炽灯光(环境2)、室内暗场(无光照,环境3)、室外普通光照(上午,环境4)、室外强光(中午,环境5)。在每个拍摄环境中,安排7个浓度梯度,每个梯度样本测试3次。由于胶体金免疫层析卡条结构的原因,导致室外光照在胶体金免疫层析卡条局部产生强阴影,因此环境的多变性不仅增加目标视窗的定位难度,而且也增加T线和C线位置的识别难度,本次实验利用yolov5完成测试。
图6为在5种环境下,利用尿微白蛋白胶体金测试卡条测定实际尿液样本时,采用本发明检测方法的手机的测定值与胶体金免疫层析分析仪器测定值之间的线性关系良好,符合精密度和准确度的要求。
由此可以得到以下结论:
1.当前数据处理流程获得的手机照片T/C值与标准免疫分析仪器的相关性良好;
2.当前数据处理流程获得的手机照片T/C值对拍摄的环境光照具有一定的抗干扰能力。
综上所述,本申请提供了一种在无专业设备和无辅助卡条件下,仅用手机拍摄照片即可获得胶体金免疫层析条的浓度信息,为家用检测提供一种更加便捷的实现方案。
实施例7
根据本发明的一个具体实施方案,下面对本发明的侧向免疫层析检测装置进行详细说明。
本发明提供了一种侧向免疫层析检测装置,使用上述任一侧向免疫层析检测方法,包括如下模块:
目标视窗定位模块,通过深度学习对免疫层析条RGB图像中的目标视窗识别进行训练,目标视窗为样本跑样区域,采用训练好的深度学习网络对滴加样本的免疫层析条RGB图像中的目标视窗进行定位;
控制线和测试线识别模块,识别目标视窗中的控制线和测试线的特征峰;
控制线和测试线的强度计算模块,在目标视窗的灰度图像上消除基线信号,对控制线和测试线的特征峰进行特征值提取,计算控制线和测试线的强度。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均包含在本发明的保护范围之内。
Claims (11)
1.一种侧向免疫层析检测方法,其特征在于,包括如下步骤:
S1.采集不同环境下免疫层析条RGB图像,构成图像集,通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练,目标视窗为样本跑样区域;
S2.采集滴加样本后的免疫层析条RGB图像,采用训练好的深度学习网络对滴加样本后的免疫层析条RGB图像中的目标视窗进行定位识别;
S3.识别目标视窗中的控制线和测试线的特征峰;
S4.在目标视窗的灰度图像上消除基线信号;
S5.在消除基线信号后的目标视窗的灰度图像上,对控制线和测试线的特征峰进行特征值提取;
S6.计算控制线和测试线的强度;
其中,步骤S4具体包括如下步骤:
其中:
3.根据权利要求1所述侧向免疫层析检测方法,其特征在于,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
在目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
识别Y方向梯度控制线和测试线特征峰。
4.根据权利要求3所述侧向免疫层析检测方法,其特征在于,步骤S3具体包括以下步骤:
将识别出的滴加样本后的免疫层析条图像中的目标视窗图像转换为灰度图像;
将识别出的目标视窗的灰度图像转换为梯度图像;
对目标视窗的梯度图像进行角度旋转校正;
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度;
对Y方向梯度进行行加和;
对Y方向梯度进行平滑;
识别Y方向梯度控制线和测试线特征峰。
5.根据权利要求4所述的侧向免疫层析检测方法,其特征在于,步骤S3通过对峰的极大值和控制线和测试线内部的肩峰间隔进行约束,具体为:峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布,控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
6.根据权利要求5所述的侧向免疫层析检测方法,其特征在于,识别出的测试线和控制线宽度必须大于等于预设的宽度,测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
7.根据权利要求1所述的侧向免疫层析检测方法,其特征在于,在步骤S3和步骤S4之间还包括如下步骤:
对目标视窗的灰度图像信号进行行加和;
对目标视窗的灰度图像信号进行平滑。
8.根据权利要求7所述的侧向免疫层析检测方法,其特征在于,采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
9.根据权利要求8所述的侧向免疫层析检测方法,其特征在于,截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
10.一种侧向免疫层析检测装置,其特征在于,使用权利要求1-9任一项所述的侧向免疫层析检测方法,包括如下模块:
目标视窗定位模块,通过深度学习对免疫层析条RGB图像中的目标视窗识别进行训练,目标视窗为样本跑样区域,采用训练好的深度学习网络对滴加样本的免疫层析条RGB图像中的目标视窗进行定位;
控制线和测试线识别模块,识别目标视窗中的控制线和测试线的特征峰;
控制线和测试线的强度计算模块,在目标视窗的灰度图像上消除基线信号,对控制线和测试线的特征峰进行特征值提取,计算控制线和测试线的强度。
11.一种如权利要求10所述的检测装置在侧向免疫层析中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211164434.6A CN115273152B (zh) | 2022-09-23 | 2022-09-23 | 一种侧向免疫层析检测方法、装置及应用 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211164434.6A CN115273152B (zh) | 2022-09-23 | 2022-09-23 | 一种侧向免疫层析检测方法、装置及应用 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115273152A CN115273152A (zh) | 2022-11-01 |
CN115273152B true CN115273152B (zh) | 2023-02-03 |
Family
ID=83756467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211164434.6A Active CN115273152B (zh) | 2022-09-23 | 2022-09-23 | 一种侧向免疫层析检测方法、装置及应用 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115273152B (zh) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2927688A4 (en) * | 2012-11-28 | 2016-07-27 | Furukawa Electric Co Ltd | IMMUNOCHROMATOGRAPHY AND DETECTOR AND REAGENT FOR USE THEREIN |
AU2019310186A1 (en) * | 2018-07-27 | 2021-03-11 | Lumos Diagnostics IP Pty Ltd | Lateral flow assay devices and method of use |
CN113313109A (zh) * | 2021-05-13 | 2021-08-27 | 中国计量大学 | 一种荧光免疫层析试纸的半定量分析方法 |
CN113362279A (zh) * | 2021-05-13 | 2021-09-07 | 北京理工大学 | 一种免疫层析试纸浓度智能检测方法 |
-
2022
- 2022-09-23 CN CN202211164434.6A patent/CN115273152B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115273152A (zh) | 2022-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115267180B (zh) | 一种层析免疫检测方法及装置 | |
CN107328776B (zh) | 一种免疫层析试纸卡的快速检测方法 | |
CN110161233B (zh) | 一种免疫层析试纸卡的快速定量检测方法 | |
CN100359924C (zh) | 图像处理器以及使用该图像处理器的面部检测器 | |
CN101794406B (zh) | 烟粉虱成虫密度自动计数系统 | |
US8786729B2 (en) | White balance method and apparatus thereof | |
WO2019107666A1 (ko) | 타이머를 포함하는 소변 검사용 스트립, 소변 검사용 스트립 검출 및 분석 방법 | |
CN105974120B (zh) | 一种c反应蛋白色度自动检测装置与方法 | |
WO2016078455A1 (zh) | 纸币褶皱的识别装置和方法 | |
WO2022267799A1 (zh) | 水质检测方法及水质检测装置 | |
CN114445330A (zh) | 一种元器件外观缺陷的检测方法及系统 | |
KR102094277B1 (ko) | 스마트 기기를 이용한 환경오염물질 또는 질병표지자의 측정 시스템 및 방법 | |
CN115273152B (zh) | 一种侧向免疫层析检测方法、装置及应用 | |
Thakur et al. | Development of smartphone-based lateral flow device for the quantification of LH and E3G hormones | |
US5541417A (en) | Quantative agglutination reaction analysis method | |
CN102387631B (zh) | 一种免疫层析判读记录仪中光照度的自动判断和调整方法 | |
CN115356479B (zh) | 一种金免疫层析检测方法和系统 | |
KR102082102B1 (ko) | 토양 이미지를 이용한 토양 분류 방법 및 함수비 추정 방법 | |
CN108875625B (zh) | 一种识别方法和电子设备 | |
CN113435444B (zh) | 免疫层析检测方法、装置、存储介质及计算机设备 | |
CN115100273A (zh) | 一种基于图像处理的免疫层析试纸条定量分析系统及检测方法 | |
CN103616522A (zh) | 一种基于包络面积与两次补偿的免疫层析结果识别方法 | |
Sivakumar et al. | A Novel Lateral Flow Immunoassay Identification Framework that Tackles the Challenges of Colorimetric Readout | |
CN106770225B (zh) | 一种降钙素原浓度定量测量方法及系统 | |
Garg et al. | Automated colorimetric analysis in paper based sensors |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |