CN115267180B - 一种层析免疫检测方法及装置 - Google Patents

一种层析免疫检测方法及装置 Download PDF

Info

Publication number
CN115267180B
CN115267180B CN202211164386.0A CN202211164386A CN115267180B CN 115267180 B CN115267180 B CN 115267180B CN 202211164386 A CN202211164386 A CN 202211164386A CN 115267180 B CN115267180 B CN 115267180B
Authority
CN
China
Prior art keywords
color space
target window
image
point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211164386.0A
Other languages
English (en)
Other versions
CN115267180A (zh
Inventor
杨语
翟敏
李琛
秦玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Jingjie Biotechnology Co ltd
Original Assignee
Nanjing Jingjie Biotechnology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Jingjie Biotechnology Co ltd filed Critical Nanjing Jingjie Biotechnology Co ltd
Priority to CN202211164386.0A priority Critical patent/CN115267180B/zh
Publication of CN115267180A publication Critical patent/CN115267180A/zh
Application granted granted Critical
Publication of CN115267180B publication Critical patent/CN115267180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
    • G01N33/54366—Apparatus specially adapted for solid-phase testing
    • G01N33/54386—Analytical elements
    • G01N33/54387—Immunochromatographic test strips
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Hematology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Urology & Nephrology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Cell Biology (AREA)
  • Biotechnology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种层析免疫检测方法及装置，属于胶体金免疫层析技术领域。本发明采用深度学习网络对免疫层析条图像中的目标视窗进行识别训练；采用训练好的深度学习网络对滴加样本后的目标视窗进行识别；选取一参考白点和目标白点，分别将参考白点和目标白点从当前颜色空间转换到RGB颜色空间，得到参考白点和目标白点在RGB颜色空间的三通道值；获得目标视窗的颜色校正矩阵，对目标视窗进行颜色校正；识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；计算控制线和测试线的强度。本发明可以校正不同环境光照下显色线的颜色和特性，实现控制线和测试线的准确定位以及定量分析。

Description

一种层析免疫检测方法及装置
技术领域
本发明涉及胶体金免疫层析技术领域，尤其涉及一种层析免疫检测方法及装置。
背景技术
免疫层析定性定量原理是利用抗体夹心来检测样本中的抗原，将一种抗体固定在硝化纤维素膜或其他固相上，另一种抗体用胶体金标记。当样本通过湿润后含有抗体结合物的材料时，它将释放抗体结合物。如果样本含有待检测的抗原，抗原将与抗体结合物反应并形成抗原-抗体结合物，该化合物通过毛细管作用继续移动到嵌入捕获抗体的膜上。抗体将捕获抗原-抗体结合物以形成三明治型化合物，这种三明治型化合物将在测试线（T线）和控制线（C线）处形成可见的红色或紫红色色带，多余的化合物将被进入到吸收垫。通过检测显色色带的强度从而确定被测物质的浓度信息。
色带的颜色信息通过专业图像采集传感器CMOS（Complementary Metal-Oxide-Semiconductor）或者电荷耦合元件（Charge-coupled Device， CCD）进行光电转换获得，结合特定的数字图像处理技术，可以自动检测T线和C线的强度，从而实现目标物的定性定量分析，例如胶体金免疫层析分析仪。
近年来智能终端尤其是手机技术的发展，使得手机拍摄效果与专业拍摄效果的差距不断缩小，通过分析手机拍摄照片中胶体金卡条的颜色信息也可获得目标物浓度信息，这样的研究案例甚至是产品越来越多的出现在我们的身边。专利申请文献WO2021097343A1中介绍了借助手机摄像头和视觉定位辅助卡的帮助，用于生物样本的检测；在文献Li Y,Zeng N, Du M. A Novel Image Methodology for Interpretation of GoldImmunochromatographic Strip[J]. J. Comput., 2011, 6(3): 540-547中，阐述了一种借助于特定的外界硬件辅助装置实现侧向层析卡条定量功能的方法；在文献Qin Q, WangK, Xu H, et al. Deep Learning on chromatographic data for Segmentation andSensitive Analysis[J]. Journal of Chromatography A, 2020, 1634: 461680中，通过深度网络进行胶体金卡条照片中T线和C线的精确分割，在文献Huang R Y, Herr D R.Quantitative circular flow immunoassays with trained object recognition todetect antibodies to SARS-CoV-2 membrane glycoprotein[J]. Biochemical andbiophysical research communications, 2021, 565: 8-13中，详细描述了将定位网络结合环形胶体金卡实现SARS-CoV-2膜糖蛋白的检测。
在使用智能手机拍照对试纸条的定量分析中，显色线在照片中的显色受环境受光影响较大，因此，对检测结果有较大影响。
发明内容
本发明为了解决上述技术问题，提供了一种层析免疫检测方法，在检测时，对目标视窗进行颜色校正。本发明包括如下步骤：采集不同环境下免疫层析条当前颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；采集滴加样本后的免疫层析条当前颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条图像中的目标视窗进行识别；在滴加样本后的免疫层析条图像上选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值；选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值；根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵，采用目标视窗的颜色校正矩阵对目标视窗进行颜色校正；识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；计算控制线和测试线的强度。本发明可以校正不同环境光照下显色线的颜色和特性，如梯度值，实现控制线和测试线的准确定位以及定量分析。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条当前颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条当前颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条当前颜色空间图像中的目标视窗进行识别；
S3.选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 953511DEST_PATH_IMAGE001
采用如下公式对目标视窗进行颜色校正：
Figure 413312DEST_PATH_IMAGE002
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；
S5.计算控制线和测试线的强度。
优选地，在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗内选取，或在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗外选取参考白点。
优选地，在当前颜色空间三通道内选取多个中性色块，计算选取的中性色块的平均值得到一个灰点，将该灰点作为参考白点，中性色包括黑色、白色及由黑白调和的深浅不同的灰色系列中的多个。
优选地，当前颜色空间为XYZ颜色空间。
优选地，从XYZ颜色空间到RGB颜色空间的颜色空间转换矩阵M通过XYZ缩放、Bradford以及Von Kries方法中任一个方法确定。
优选地，在步骤S4中，识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰后，在目标视窗的灰度图像上消除基线信号，再提取特征值。
优选地，所述基线信号消除方法为：
基线拟合函数
Figure 407812DEST_PATH_IMAGE003
为：
Figure 752206DEST_PATH_IMAGE004
其中：
x i 为原始采集的第i个信号点的值；
m为信号的长度；
Figure 515763DEST_PATH_IMAGE005
为第t次迭代中第i个信号点的权重系数，各个信号点的初始化权重系数均为 1；
Figure DEST_PATH_IMAGE006
为曲线准确度和光滑度之间的平衡系数；
Figure 552989DEST_PATH_IMAGE007
为第t次迭代后第i个信号点的估计值；
若t-1次迭代后第i个信号点的估计值
Figure 34786DEST_PATH_IMAGE008
小于等于原始采集的第i个信号点的 值x i ，则当前信号点i处于峰的位置，则在t次的迭代中，将第i个信号点的权重系数设为0；
若t-1次迭代后第i个信号点的估计值
Figure 917291DEST_PATH_IMAGE008
大于原始采集的第i个信号点的值x i ， 则当前信号点i不处于峰的位置，则在t次迭代中第i个信号点的权重系数按如下公式设置：
Figure 33889DEST_PATH_IMAGE009
其中：
Figure 242017DEST_PATH_IMAGE010
为第t次迭代中，原始采集的所有信号点的值与第t-1次迭代后所有信号 点的估计值的差值中为负的所有元素组成的序列。
优选地，所述迭代过程满足如下终止条件时终止迭代：迭代次数大于等于设定的阈值；或达到如下收敛条件：
Figure 945531DEST_PATH_IMAGE011
其中，x为原始采集的所有信号点的值组成的序列。
优选地，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
在梯度图像上获取Y方向梯度；
对Y方向梯度进行行加和；
检测Y方向梯度控制线和测试线特征峰。
优选地，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
对梯度图像进行角度旋转校正；
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度；
对Y方向梯度进行行加和；
对Y方向梯度进行平滑；
检测Y方向梯度控制线和测试线特征峰。
优选地，通过对特征峰的极大值和控制线、测试线内部的肩峰间隔进行约束，检测Y方向梯度控制线和测试线特征峰，具体为：峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布，控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
优选地，识别出的测试线和控制线宽度必须大于等于预设的线宽度，测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
优选地，在所述消除基线信号之前还包括如下步骤：
对目标视窗的灰度图像信号进行行加和；
对目标视窗的灰度图像信号进行平滑。
优选地，采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
优选地，截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
本发明提供了一种层析免疫检测装置，使用上述的任一层析免疫检测方法进行检测，包括如下模块：
目标视窗定位模块，通过深度学习对免疫层析条当前颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域，采用训练好的深度学习网络对滴加样本的免疫层析条当前颜色空间图像中的目标视窗进行定位；
控制线和测试线识别模块，识别目标视窗中的控制线和测试线的特征峰；
颜色校正模块，用于对目标视窗采用如下公式进行颜色校正：
Figure 162885DEST_PATH_IMAGE012
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
M A 为目标视窗的颜色校正矩阵；
目标视窗的校正矩阵M A 通过如下方法获得：
选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 635455DEST_PATH_IMAGE013
控制线和测试线的强度计算模块，在目标视窗的灰度图像上消除基线信号，对控制线和测试线的特征峰进行特征值提取，计算控制线和测试线的强度。
本发明的有益效果为：
（1）本发明提供的免疫层析检测方法中对目标视窗进行颜色校正，可以有效的降低环境光对层析免疫颜色的定量分析的影响。
（2）本发明将T线和C线的识别转化为梯度图像Y方向特征峰的识别，相比于灰度信号来说，基于梯度的信号的抗干扰能力更强。RGB图像经过灰度化和梯度化后，C线和T线的轮廓边界呈现效果更明显，并且在梯度行加和图中表现为典型的M形峰，更易识别。
（3）本发明通过对峰的极大值和控制线和测试线内部的尖峰间隔进行约束，峰的极大值必须满足预设的半峰宽且满足预设的Y轴分布，控制线和测试线内部的尖峰间隔需满足预设间隔宽度，使得识别速度更快。
（4）本发明在灰度图像上进行基线信号消除后再计算C线和T 线的强度，消除了基线信号对C线和T线强度的影响，使得C线和T线强度计算更准确。
附图说明
图1为本发明的实施例1-2的侧向免疫层析检测方法流程图；
图2为本发明的实施例3-5的侧向免疫层析检测方法流程图；
图3中a-c为本发明的实施例6的图像处理结果图，图3中的a为目标视窗RGB图像；图3中的b为目标视窗的Sobel梯度图；图3中的c为Y方向梯度行加和图；
图4为本发明的实施例6的灰度信号消除基线信号的效果对比图；
图5a为本发明的实施例6的未消除基线信号与采用胶体金免疫层析分析仪器的T/C值对比图；
图5b为本发明的实施例6的消除基线信号与采用胶体金免疫层析分析仪器的T/C值对比图；
图5c为本发明的实施例6的消除基线信号后的T/C值回归图；直线表达式为：y=0.8851x-0.0426；R2=0.997；
图6为本发明的实施例6在不同环境下采用手机拍照进行处理后的T/C值与采用胶体金免疫层析分析仪器测定的T/C值的对比图以及整体的回归图；直线表达式为y=1.2962x+0.0429；R2=0.9377。
图7为本发明的实施例6的不同环境下梯度值对比示意图；
图8为本发明的实施例6的暗场环境下颜色校正后的目标视窗中的M峰值与明场环境下颜色校正后的目标视窗中的M峰值对比示意图，其中，L-1和L-2为暗场环境，L-3和L-4为明场环境；
图9为本发明的实施例6的目标视窗中M峰的两个峰在颜色校正前后梯度值对比示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作详细的说明。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条当前颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条当前颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条当前颜色空间图像中的目标视窗进行识别；
S3.选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 748905DEST_PATH_IMAGE014
采用如下公式对目标视窗进行颜色校正：
Figure 939714DEST_PATH_IMAGE015
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；
S5.计算控制线和测试线的强度。
根据本发明的一个具体实施方案，在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗内选取，或在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗外选取参考白点。在加样后的免疫层析卡条中，目标视窗跑版不一定能跑干净，所以不一定找到的白色区域。
根据本发明的一个具体实施方案，在当前颜色空间三通道内选取多个中性色块，计算选取的中性色块的平均值得到一个灰点，将该灰点作为参考白点，中性色包括黑色、白色及由黑白调和的深浅不同的灰色系列中的多个。在使用灰点作为参考白点时，需要选取中性色块，这些中性色块一般存在于某种形态的比色卡上，这个比色卡可以是与免疫层析条分开的，也可以是印于免疫层析卡条之上的。比色卡位于免疫层析条附近，在拍摄的时候会一起进行拍摄，即中性色块与免疫层析条处于同一光源下，可以用来校正。
根据本发明的一个具体实施方案，当前颜色空间为XYZ颜色空间。
根据本发明的一个具体实施方案，从XYZ颜色空间到RGB颜色空间的颜色空间转换矩阵M通过XYZ缩放、Bradford以及Von Kries方法中任一个方法确定。
根据本发明的一个具体实施方案，在步骤S4中，识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰后，在目标视窗的灰度图像上消除基线信号，再提取特征值。
根据本发明的一个具体实施方案，所述基线信号消除方法为：
基线拟合函数
Figure 429602DEST_PATH_IMAGE003
为：
Figure 22257DEST_PATH_IMAGE016
其中：
x i 为原始采集的第i个信号点的值；
m为信号的长度；
Figure 572187DEST_PATH_IMAGE005
为第t次迭代中第i个信号点的权重系数，各个信号点的初始化权重系数均为 1；
Figure 984714DEST_PATH_IMAGE006
为曲线准确度和光滑度之间的平衡系数；
Figure 278292DEST_PATH_IMAGE007
为第t次迭代后第i个信号点的估计值；
若t-1次迭代后第i个信号点的估计值
Figure 725454DEST_PATH_IMAGE008
小于等于原始采集的第i个信号点的值x i ，则当前信号点i处于峰的位置，则在t次的迭代中，将第i个信号点的权重系数设为0；
若t-1次迭代后第i个信号点的估计值
Figure 180706DEST_PATH_IMAGE008
大于原始采集的第i个信号点的值x i ， 则当前信号点i不处于峰的位置，则在t次迭代中第i个信号点的权重系数按如下公式设置：
Figure 346108DEST_PATH_IMAGE009
其中：
Figure 177798DEST_PATH_IMAGE010
为第t次迭代中，原始采集的所有信号点的值与第t-1次迭代后所有信号 点的估计值的差值中为负的所有元素组成的序列。
根据本发明的一个具体实施方案，所述迭代过程满足如下终止条件时终止迭代：迭代次数大于等于设定的阈值；或达到如下收敛条件：
Figure 980931DEST_PATH_IMAGE011
其中，x为原始采集的所有信号点的值组成的序列。
根据本发明的一个具体实施方案，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
在梯度图像上获取Y方向梯度；
对Y方向梯度进行行加和；
检测Y方向梯度控制线和测试线特征峰。
根据本发明的一个具体实施方案，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
对梯度图像进行角度旋转校正；
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度；
对Y方向梯度进行行加和；
对Y方向梯度进行平滑；
检测Y方向梯度控制线和测试线特征峰。
根据本发明的一个具体实施方案，通过对特征峰的极大值和控制线、测试线内部的肩峰间隔进行约束，检测Y方向梯度控制线和测试线特征峰，具体为：峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布，控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
根据本发明的一个具体实施方案，识别出的测试线和控制线宽度必须大于等于预设的线宽度，测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
根据本发明的一个具体实施方案，在所述消除基线信号之前还包括如下步骤：
对目标视窗的灰度图像信号进行行加和；
对目标视窗的灰度图像信号进行平滑。
根据本发明的一个具体实施方案，采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
根据本发明的一个具体实施方案，截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
本发明提供了一种层析免疫检测装置，使用上述的任一层析免疫检测方法进行检测，包括如下模块：
目标视窗定位模块，通过深度学习对免疫层析条当前颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域，采用训练好的深度学习网络对滴加样本的免疫层析条当前颜色空间图像中的目标视窗进行定位；
控制线和测试线识别模块，识别目标视窗中的控制线和测试线的特征峰；
颜色校正模块，用于对目标视窗采用如下公式进行颜色校正：
Figure 607084DEST_PATH_IMAGE017
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
M A 为目标视窗的颜色校正矩阵；
目标视窗的校正矩阵M A 通过如下方法获得：
选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 259783DEST_PATH_IMAGE013
控制线和测试线的强度计算模块，在目标视窗的灰度图像上消除基线信号，对控制线和测试线的特征峰进行特征值提取，计算控制线和测试线的强度。
实施例1
根据本发明的一个具体实施方案，下面对本发明的层析免疫检测方法进行详细说明。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条当前颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条当前颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条当前颜色空间图像中的目标视窗进行识别；
S3.选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 629584DEST_PATH_IMAGE018
采用如下公式对目标视窗进行颜色校正：
Figure 51338DEST_PATH_IMAGE002
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；
S5.计算控制线和测试线的强度。
实施例2
根据本发明的一个具体实施方案，以当前颜色空间为HSV颜色空间为例，下面对本发明的层析免疫检测方法进行详细说明。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条HSV颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条HSV颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条HSV颜色空间图像中的目标视窗进行识别；
S3.在滴加样本后的免疫层析条HSV颜色空间图像上的目标视窗内选取一参考白点，将参考白点的三刺激值从HSV颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，通过XYZ缩放得到M矩阵，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；
选取理想光源下HSV颜色空间图像中的目标白点，将目标白点的三刺激值从HSV颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 113972DEST_PATH_IMAGE014
采用如下公式对目标视窗进行颜色校正：
Figure 988387DEST_PATH_IMAGE015
X s 、Y s 、Z s 为目标视窗在HSV颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在HSV颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，在目标视窗的灰度图像上消除基线信号后，再提取特征值；
S5.计算控制线和测试线的强度。
实施例3
根据本发明的一个具体实施方案，以当前颜色空间为XYZ颜色空间为例，下面对本发明的层析免疫检测方法进行详细说明。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条XYZ颜色空间图像，构成图像集，通过深度学习网络对免疫层析条XYZ颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条XYZ颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条XYZ颜色空间图像中的目标视窗进行识别；
S3.在滴加样本后的免疫层析条XYZ颜色空间图像上的目标视窗内选取一参考白点，将参考白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，通过XYZ缩放得到M矩阵，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；
选取理想光源下XYZ颜色空间图像中的目标白点，将目标白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 427459DEST_PATH_IMAGE018
采用如下公式对目标视窗进行颜色校正：
Figure 703719DEST_PATH_IMAGE002
X s 、Y s 、Z s 为目标视窗在XYZ颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在XYZ颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，在目标视窗的灰度图像上消除基线信号后，再提取特征值；
S5.计算控制线和测试线的强度。
所述基线信号消除方法为：
基线拟合函数
Figure 937255DEST_PATH_IMAGE003
为：
Figure 298966DEST_PATH_IMAGE019
其中：
x i 为原始采集的第i个信号点的值；
m为信号的长度；
Figure 744991DEST_PATH_IMAGE005
为第t次迭代中第i个信号点的权重系数，各个信号点的初始化权重系数均为 1；
Figure 141337DEST_PATH_IMAGE006
为曲线准确度和光滑度之间的平衡系数；
Figure 545773DEST_PATH_IMAGE007
为第t次迭代后第i个信号点的估计值；
若t-1次迭代后第i个信号点的估计值
Figure 394781DEST_PATH_IMAGE008
小于等于原始采集的第i个信号点的 值x i ，则当前信号点i处于峰的位置，则在t次的迭代中，将第i个信号点的权重系数设为0；
若t-1次迭代后第i个信号点的估计值
Figure 910076DEST_PATH_IMAGE008
大于原始采集的第i个信号点的值x i ， 则当前信号点i不处于峰的位置，则在t次迭代中第i个信号点的权重系数按如下公式设置：
Figure 895349DEST_PATH_IMAGE009
其中：
Figure 736266DEST_PATH_IMAGE010
为第t次迭代中，原始采集的所有信号点的值与第t-1次迭代后所有信号 点的估计值的差值中为负的所有元素组成的序列。
所述迭代过程满足如下终止条件时终止迭代：迭代次数大于等于设定的阈值；或达到如下收敛条件：
Figure 571105DEST_PATH_IMAGE011
其中，x为原始采集的所有信号点的值组成的序列。
识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
在梯度图像上获取Y方向梯度；
对Y方向梯度进行行加和；
检测Y方向梯度控制线和测试线特征峰。
通过对特征峰的极大值和控制线、测试线内部的肩峰间隔进行约束，检测Y方向梯度控制线和测试线特征峰，具体为：峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布，控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
识别出的测试线和控制线宽度必须大于等于预设的线宽度，测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
实施例4
根据本发明的一个具体实施方案，以当前颜色空间为XYZ颜色空间为例，下面对本发明的层析免疫检测方法进行详细说明。
本发明提供了一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条XYZ颜色空间图像，构成图像集，通过深度学习网络对免疫层析条XYZ颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条XYZ颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条XYZ颜色空间图像中的目标视窗进行识别；
S3.在XYZ颜色空间通道内选取多个中性色的平均值计算得到一个灰点，将该灰点作为步骤S3中的参考白点，中性色包括黑色、白色及由黑白调和的深浅不同的灰色系列中的多个选取一参考白点，将参考白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，通过XYZ缩放得到M矩阵，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；
选取理想光源下XYZ颜色空间图像中的目标白点，将目标白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 890091DEST_PATH_IMAGE014
采用如下公式对目标视窗进行颜色校正：
Figure 995450DEST_PATH_IMAGE015
X s 、Y s 、Z s 为目标视窗在XYZ颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在XYZ颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，对目标视窗的灰度图像信号进行行加和；对目标视窗的灰度图像信号进行平滑；在目标视窗的灰度图像上消除基线信号后，再提取特征值；
S5.计算控制线和测试线的强度。
所述基线信号消除方法为：
基线拟合函数
Figure 741689DEST_PATH_IMAGE003
为：
Figure 299709DEST_PATH_IMAGE020
其中：
x i 为原始采集的第i个信号点的值；
m为信号的长度；
Figure 156807DEST_PATH_IMAGE005
为第t次迭代中第i个信号点的权重系数，各个信号点的初始化权重系数均为 1；
Figure 116673DEST_PATH_IMAGE006
为曲线准确度和光滑度之间的平衡系数；
Figure 33813DEST_PATH_IMAGE007
为第t次迭代后第i个信号点的估计值；
若t-1次迭代后第i个信号点的估计值
Figure 344709DEST_PATH_IMAGE008
小于等于原始采集的第i个信号点的值x i ，则当前信号点i处于峰的位置，则在t次的迭代中，将第i个信号点的权重系数设为0；
若t-1次迭代后第i个信号点的估计值
Figure 5497DEST_PATH_IMAGE008
大于原始采集的第i个信号点的值x i ， 则当前信号点i不处于峰的位置，则在t次迭代中第i个信号点的权重系数按如下公式设置：
Figure 819869DEST_PATH_IMAGE009
其中：
Figure 173490DEST_PATH_IMAGE010
为第t次迭代中，原始采集的所有信号点的值与第t-1次迭代后所有信号 点的估计值的差值中为负的所有元素组成的序列。
所述迭代过程满足如下终止条件时终止迭代：迭代次数大于等于设定的阈值；或达到如下收敛条件：
Figure 706103DEST_PATH_IMAGE011
其中，x为原始采集的所有信号点的值组成的序列。
识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
对梯度图像进行角度旋转校正；
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度；
对Y方向梯度进行行加和；
对Y方向梯度进行平滑；
检测Y方向梯度控制线和测试线特征峰。
通过对特征峰的极大值和控制线、测试线内部的肩峰间隔进行约束，检测Y方向梯度控制线和测试线特征峰，具体为：峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布，控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
识别出的测试线和控制线宽度必须大于等于预设的线宽度，测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
实施例5
根据本发明的一个具体实施方案，以当前颜色空间为XYZ颜色空间为例，下面对本发明的层析免疫检测方法进行详细说明。
本发明提供了如图1所示的一种层析免疫检测方法，包括如下步骤：
S1.采集不同环境下免疫层析条XYZ颜色空间图像，构成图像集，通过深度学习网络对免疫层析条XYZ颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域。
为了方便描述本实施例的技术方案，本实施例采用Yolov5深度学习网络框架进行系统性的介绍，本领域的技术人员应该知道并不是为了限制本发明中的技术方案。
本实施例中采用Yolov5深度学习网络框架，其在输入端采用了Mosaic数据增强、自适应锚框计算、自适应图片缩放；Backbone采用Focus结构，CSP结构；Neck采用了FPN+PAN结构；在预测阶段采用了GIOU_loss。训练过程包括多种光照场景、多种拍摄角度、多种型号手机以及非目标场景的图片以丰富样本集的构成，从而提高模型的泛化能力。
S2.采集滴加样本后的免疫层析条XYZ颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条XYZ颜色空间图像中的目标视窗进行识别。
S3.在XYZ颜色空间通道内选取多个中性色的平均值计算得到一个灰点，将该灰点作为步骤S3中的参考白点，中性色包括黑色、白色及由黑白调和的深浅不同的灰色系列中的多个选取一参考白点，将参考白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，通过Bradford得到M矩阵，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；
选取理想光源下XYZ颜色空间图像中的目标白点，将目标白点的三刺激值从XYZ颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 905003DEST_PATH_IMAGE021
采用如下公式对目标视窗进行颜色校正：
Figure 839461DEST_PATH_IMAGE002
X s 、Y s 、Z s 为目标视窗在XYZ颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在XYZ颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，对目标视窗的灰度图像信号进行行加和；对目标视窗的灰度图像信号进行平滑；在目标视窗的灰度图像上消除基线信号后，提取特征值；
目标视窗识别成功后，进一步定位至测试线和控制线的特征峰的位置，这种定位通过多种方法，例如采用灰度/梯度照片的二值化，然后对轮廓筛选获得目标峰位置；或者采用模糊C均值聚类（Fuzzy C-mean）的方式对C线和T线直接的像素级分割获得。
本实施例中，将识别出的目标视窗图像转为灰度图像如图3中的a，再进行梯度化后，C线和T线的轮廓边界呈现效果明显，如图3中的b所示，并且在梯度行加和图中表现为典型的M形峰如图3中的c，再进行特征峰的寻找。
本实施例中控制线和测试线特征峰的判断用极大值点进行判断，极大值点必须满足大于等于预设的半峰宽强度，比如：半峰宽大于等于2个像素点，则当前信号点i的强度必须满足大于等于i-1,i-2以及i+1,i+2对应信号点的强度；控制线和测试线内部的肩峰间隔必须满足预设宽度；识别出的测试线和控制线宽度必须大于等于预设宽度；测试线和控制线对应的梯度值必须大于等于预设梯度阈值；
在C线和T线特征峰定位准确后需确定好C线和T线的强度表征方式，这里采用灰度信号强度作为其信号强度表征。在转换到RGB颜色空间后，截取其灰度信号C线和T线特征峰坐标内的积分或者平均值为其C线和T线强度。
S5.计算控制线和测试线的强度。
在本发明其中一个实施例中由于加样之后的免疫层析卡存在一定程度的残留或者不均匀现象，导致C线和T线特征峰之外的基线信号并不为零，由此对目标范围内的灰度值信号产生影响，因此本发明还进行基线信号的消除。
本实施例中，通过以下方法实现消除基线信号：在惩罚最小二乘法（PenalizedLeast Squares）的基础上，在迭代的过程中达到基线拟合的效果，惩罚最小二乘法作为一个信号平滑方法，同时兼顾准确度和光滑度，其目标函数如下式所示：
Figure 363983DEST_PATH_IMAGE022
其中
Figure 118313DEST_PATH_IMAGE023
为原始采集信号，
Figure 887948DEST_PATH_IMAGE024
为曲线准确度和光滑度之间的平滑系数，其中
Figure 676912DEST_PATH_IMAGE025
为估计 后（平滑后）的信号线，m为信号的长度。目标函数改为如下式所示：
Figure 106757DEST_PATH_IMAGE026
其中
Figure 348382DEST_PATH_IMAGE005
为第t次迭代后，第i个信号点的权重系数。初始化权重系数为1，即
Figure 154664DEST_PATH_IMAGE027
，
Figure 798135DEST_PATH_IMAGE028
为第t次迭代估计值。
Figure 664460DEST_PATH_IMAGE008
为在t-1次迭代估计值，如果小于等于x i ，则认为t-1次迭代中的信号点i处 于峰的位置，则在第t次的迭代开始，将权重系数调正为0，使其在迭代过程中不起作用。
若
Figure 393381DEST_PATH_IMAGE008
大于x i ，则认为t-1次迭代中的信号点i不处于峰的位置，则在第t次开始 调整权重系数，具体调整如下式所示：
Figure 3354DEST_PATH_IMAGE009
其中
Figure 766911DEST_PATH_IMAGE029
为第t次迭代中，原始采集信号x与估计矢量
Figure 538558DEST_PATH_IMAGE008
差值为负的所有元素组 成的序列。以上迭代过程的终止条件可以设定为当迭代次数大于等于某一特定值（例如 itermax=50）或者是达到如下式所示的收敛条件：
Figure 20355DEST_PATH_IMAGE030
其中，x为原始采集的所有信号点的值组成的序列。
在不断的迭代和重加权的过程中，处于峰位置的信号点将会被逐渐的消除（权重为0），不处在峰位置的信号点的权重不断的被保留下来。相比于传统的扣除基线方法，此方法不需要提供过多的先验信息和用户干预，整体的运行效果快速灵活，这种特性使其特别适用于免疫试纸上的干扰基线信号的扣除工作。
在实施例中采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
在实施例中截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
实施例6
为了进一步更清楚的描述本发明的层析检测方法，下面实施例将通过采用本发明方法的一种胶体金免疫层析检测进行说明：
在训练权重文件时，考虑到光照、拍摄角度、拍摄硬件对最终图像的定位可能存在影响，因此在构造样本集时特定包含多种光照场景、多种拍摄角度、多种型号手机或摄像设备以及非目标场景的图片以丰富样本集的构成，从而提高模型的泛化能力，最终样本集由2080张像素为544*940的照片构成，每张照片采用精灵标注工具人工标注获得对应的目标位置和标签，通过随机抽样将数据集分成训练集、验证集和测试集，对深度学习网络进行训练。
本实施例采用yolov5进行训练，前期初步定位C线和T线的目标区域，即对目标视窗进行识别定位，
目标视窗识别定位成功后，就要开始定位C线和T线的特征峰。
将样品滴加到胶体金免疫层析卡上，跑样5分钟后，利用手机采集图像信息后。识别目标视窗成功后，对目标视窗进行校正，校正方法如上述步骤S3，若拍摄图像为RGB图像，则无需进行颜色空间转换。
然后进行如下步骤：
将RGB图像经过灰度化和梯度化后；
获取Y方向的梯度；
进行角度旋转校正；
Y方向梯度行加和；
Y方向梯度平滑；
检测C线和T线的特征峰。
为了验证校正上述方法，选取四种不同环境光，分别为L-1,L-2,L-3,L-4。其中L-1和L-2为暗场环境，L-3和L-4为明场环境。在四种不同环境光下分别拍摄同一目标物。
截取图片中试纸条的显色区域，即为横向有宽度的一条线，使用sobel算子将其转为梯度图像，横向相加，即得到一列梯度值矢量。
将像素点纵向坐标位置当作x轴，绘制不同环境光下的梯度值矢量，如图7所示，不同环境光下，同一个试纸条的M形峰的梯度值差异较大。两个暗场下M形峰的梯度值显著性弱于两个明场下的值。
如图8，经颜色校正后，两个暗场下M形峰的梯度值与两个明场下的值几乎相当。
如图9，经颜色校正后，M形峰的第一个峰（峰1）的梯度值被统一校正到了1520左右；并且M形峰的第二个峰（峰2）的梯度值被统一校正到了1820左右。而在校正前，峰1和峰2在不同环境光下的梯度值有显著性差异，最大差异可达到梯度值1000以上。在定量分析中，此程度的差异极大概率会影响到显色区域的精准定位，进而影响OD值的计算。在进行颜色校正后，可在很大程度上缓解错误定位的风险。
此时如图3中的b所示，C线和T线的轮廓边界呈现效果明显，并且在梯度行加和图中表现为典型的M形峰。为了更快的定位好特征峰，本实施例采用约束条件和极大值判定的方式寻找C线和T线的特征峰，具体为：1，在当前采样密度下，极大值点必须满足2个像素点的半峰宽的最大（例如半峰宽等于2个像素点，则当前信号点i的强度必须满足大于等于i-1,i-2以及i+1,i+2对应点的强度）；2，C线和T线内部的肩峰间隔必须满足一定宽度，例如7个像素点；3，C线和T线的检测必须满足一定要大于等于某个宽度，例如45个像素点；4，C线和T线对应的梯度值必须要大于等于某个值，例如1000个像素点；通过以上四个方面的筛选，即可获得符合要求的位置坐标，见图3中的c为 C线和T线的特征峰定位识别效果。
在C线和T线的特征峰定位之后，对灰度图像开始进行基线消除，为了达到更好的消除效果，在基线消除前对灰度图像行家和，平滑，然后利用上述的消除基线信号方法；在不断的迭代和重加权的过程中，处于峰位置的数据点将会被逐渐的消除，权重为0，背景点的权重不断的被保留下来。相比于传统的扣除基线方法，本发明采用的上述基线消除方法不需要提供过多的先验信息和用户干预，整体的运行效果快速灵活，这种特性使其特别适用于胶体金免疫试纸上的干扰基线信号的扣除工作。
图4为灰度图像信号的扣除效果图，不难看出基线扣除效果良好。
为了进一步验证上述基线扣除的效果，利用上述技术方案获得的T/C值与广州蓝勃生产的胶体金免疫层析分析仪器的测得的T/C值比对，为避免测试对象的变化对最终数值产生影响，特选择标准印刷胶体金免疫层析卡条作为测试对象，将每个标准胶体金免疫层析卡先用手机拍照测量3次，再用蓝勃仪器测量3次。统计所有结果得到如下的对比如图5a、图5b和图5c。
图5a为手机拍摄照片未扣基线T/C值与蓝勃的T/C值的比较图，图5b为扣除基线后的结果比较图，图5c为手机拍摄照片T/C均值与蓝勃的T/C值的回归图。由图5a、图5b和图5c可得如下的结论：
1.图5a与图5b比较可进一步证明基线对最终结果产生影响，由于基线信号非零导致样本比值波动较大，基线扣除后平行测试的信号表现更加一致；
2.图5c显示出在标准卡条上，当前处理流程获得的结果与蓝勃的相关性良好。
截取灰度图像信号特征峰之间的积分或者平均值为其C线和T线强度，计算T/C值。
为了验证在实际胶体金免疫层析卡上测试真实尿液样本的效果，此外由于手机拍摄时，光照很难保持一致，因此进一步考察不同光照对最终测试结果是否产生影响，设计如下实验：构造5种不同的常见光照条件以模拟实际照片采集的环境，分别为：室内偏黄光照（环境1）、室内白炽灯光（环境2）、室内暗场（无光照，环境3）、室外普通光照（上午，环境4）、室外强光（中午，环境5）。在每个拍摄环境中，安排7个浓度梯度，每个梯度样本测试3次。由于胶体金免疫层析卡条结构的原因，导致室外光照在胶体金免疫层析卡条局部产生强阴影，因此环境的多变性不仅增加目标视窗的定位难度，而且也增加T线和C线位置的识别难度，本次实验利用yolov5完成测试。
图6为在5种环境下，利用尿微白蛋白胶体金测试卡条测定实际尿液样本时，手机测定值与胶体金免疫层析分析仪器测定值之间的线性关系良好，符合精密度和准确度的要求。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均包含在本发明的保护范围之内。

Claims (16)

1.一种层析免疫检测方法，其特征在于，包括如下步骤：
S1.采集不同环境下免疫层析条当前颜色空间图像，构成图像集，通过深度学习网络对免疫层析条图像中的目标视窗识别进行训练，目标视窗为样本跑样区域；
S2.采集滴加样本后的免疫层析条当前颜色空间图像，采用训练好的深度学习网络对滴加样本后的免疫层析条当前颜色空间图像中的目标视窗进行识别；
S3.选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 335539DEST_PATH_IMAGE001
采用如下公式对目标视窗进行颜色校正：
Figure 800019DEST_PATH_IMAGE002
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
S4.识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰，提取特征值；
S5.计算控制线和测试线的强度。
2.根据权利要求1所述的层析免疫检测方法，其特征在于，在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗内选取，或在滴加样本后的免疫层析条当前颜色空间图像上的目标视窗外选取参考白点。
3.根据权利要求1所述的层析免疫检测方法，其特征在于，在当前颜色空间三通道内选取多个中性色块，计算选取的中性色块的平均值得到一个灰点，将该灰点作为参考白点，中性色包括黑色、白色及由黑白调和的深浅不同的灰色系列中的多个。
4.根据权利要求1所述的层析免疫检测方法，其特征在于，当前颜色空间为XYZ颜色空间。
5.根据权利要求4所述的层析免疫检测方法，其特征在于，从XYZ颜色空间到RGB颜色空间的颜色空间转换矩阵M通过XYZ缩放、Bradford以及Von Kries方法中任一个方法确定。
6.根据权利要求1所述的层析免疫检测方法，其特征在于，在步骤S4中，识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰后，在目标视窗的灰度图像上消除基线信号，再提取特征值。
7.根据权利要求6所述的层析免疫检测方法，其特征在于，所述基线信号消除方法为：
Figure 468898DEST_PATH_IMAGE003
其中：
x i 为原始采集的第i个信号点的值；
m为信号的长度；
Figure 993420DEST_PATH_IMAGE004
为第t次迭代中第i个信号点的权重系数，各个信号点的初始化权重系数均为1；
为曲线准确度和光滑度之间的平衡系数；
为第t次迭代后第i个信号点的估计值；
若t-1次迭代后第i个信号点的估计值小于等于原始采集的第i个信号点的值x i ，则当前信号点i处于峰的位置，则在t次的迭代中，将第i个信号点的权重系数设为0；
若t-1次迭代后第i个信号点的估计值
Figure 13328DEST_PATH_IMAGE005
大于原始采集的第i个信号点的值x i ，则当前 信号点i不处于峰的位置，则在t次迭代中第i个信号点的权重系数按如下公式设置：
Figure 15919DEST_PATH_IMAGE006
其中：
Figure 804884DEST_PATH_IMAGE007
为第t次迭代中，原始采集的所有信号点的值与第t-1次迭代后所有信号点的 估计值的差值中为负的所有元素组成的序列。
8.根据权利要求7所述的层析免疫检测方法，其特征在于，所述迭代过程满足如下终止条件时终止迭代：迭代次数大于等于设定的阈值；或达到如下收敛条件：
Figure 500307DEST_PATH_IMAGE008
其中，x为原始采集的所有信号点的值组成的序列。
9.根据权利要求1-8任一项所述的层析免疫检测方法，其特征在于，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
在梯度图像上获取Y方向梯度；
对Y方向梯度进行行加和；
检测Y方向梯度控制线和测试线特征峰。
10.根据权利要求1-8任一项所述的层析免疫检测方法，其特征在于，步骤S4中识别校正后的目标视窗在梯度图像上控制线和测试线的特征峰具体包括以下步骤：
将校正后的目标视窗图像转换为灰度图像；
将灰度图像转换为梯度图像；
对梯度图像进行角度旋转校正；
在角度旋转校正后的目标视窗的梯度图像中获取Y方向梯度；
对Y方向梯度进行行加和；
对Y方向梯度进行平滑；
检测Y方向梯度控制线和测试线特征峰。
11.根据权利要求10所述的层析免疫检测方法，其特征在于，通过对特征峰的极大值和控制线、测试线内部的肩峰间隔进行约束，检测Y方向梯度控制线和测试线特征峰，具体为：峰的极大值必须满足预设的半峰宽度且满足预设的Y轴分布，控制线和测试线内部的肩峰间隔需满足预设的间隔宽度。
12.根据权利要求11所述的层析免疫检测方法，其特征在于，识别出的测试线和控制线宽度必须大于等于预设的线宽度，测试线和控制线对应的梯度值必须大于等于预设梯度阈值。
13.根据权利要求6-7任一项所述的层析免疫检测方法，其特征在于，在所述消除基线信号之前还包括如下步骤：
对目标视窗的灰度图像信号进行行加和；
对目标视窗的灰度图像信号进行平滑。
14.根据权利要求13所述的层析免疫检测方法，其特征在于，采用Y方向梯度特征峰的灰度信号强度作为控制线和测试线信号强度的表征。
15.根据权利要求14所述的层析免疫检测方法，其特征在于，截取目标视窗的灰度图像的灰度信号强度在控制线和测试线构成的坐标系内的积分或者平均值作为控制线和测试线强度。
16.一种层析免疫检测装置，其特征在于，使用权利要求1-15任一项所述的层析免疫检测方法进行检测，包括如下模块：
目标视窗定位模块，通过深度学习对免疫层析条当前颜色空间图像中的目标视窗识别进行训练，目标视窗为样本跑样区域，采用训练好的深度学习网络对滴加样本的免疫层析条当前颜色空间图像中的目标视窗进行定位；
控制线和测试线识别模块，识别目标视窗中的控制线和测试线的特征峰；
颜色校正模块，用于对目标视窗采用如下公式进行颜色校正：
Figure 476354DEST_PATH_IMAGE009
X s 、Y s 、Z s 为目标视窗在当前颜色空间的三通道值；
X d 、Y d 、Z d 为目标视窗进行颜色校正后在当前颜色空间的三通道值；
M A 为目标视窗的颜色校正矩阵；
目标视窗的校正矩阵M A 通过如下方法获得：
选取一参考白点，将参考白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到参考白点在RGB颜色空间的三通道值R ws 、G ws 和B ws ；参考白点为与免疫层析条处在当前同一光源下的白色物体上的一点或者由中性色块计算得到的灰点，该白色物体或中性色块与免疫层析条同时进行拍摄；
选取理想光源下当前颜色空间图像中的目标白点，将目标白点的三刺激值从当前颜色空间通过颜色空间转换矩阵M矩阵转换到RGB颜色空间，得到目标白点在RGB颜色空间的三通道值R wd 、G wd 和B wd ；
根据颜色空间转换后的参考白点和目标白点在RGB颜色空间的各个通道的比值组成的对角矩阵与颜色空间转换矩阵M矩阵，通过如下公式获得目标视窗的颜色校正矩阵M A ；
Figure 282636DEST_PATH_IMAGE010
控制线和测试线的强度计算模块，在目标视窗的灰度图像上消除基线信号，对控制线和测试线的特征峰进行特征值提取，计算控制线和测试线的强度。
CN202211164386.0A 2022-09-23 2022-09-23 一种层析免疫检测方法及装置 Active CN115267180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211164386.0A CN115267180B (zh) 2022-09-23 2022-09-23 一种层析免疫检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211164386.0A CN115267180B (zh) 2022-09-23 2022-09-23 一种层析免疫检测方法及装置

Publications (2)

Publication Number Publication Date
CN115267180A CN115267180A (zh) 2022-11-01
CN115267180B true CN115267180B (zh) 2023-02-03

Family

ID=83756433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211164386.0A Active CN115267180B (zh) 2022-09-23 2022-09-23 一种层析免疫检测方法及装置

Country Status (1)

Country Link
CN (1) CN115267180B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109815B (zh) * 2023-04-11 2023-07-28 深圳市易瑞生物技术股份有限公司 测试卡计算区域的定位方法、装置及终端设备
CN117475246B (zh) * 2023-12-28 2024-03-22 苏州诚检生物科技有限公司 一种多线程高通量胶体金检测系统及方法
CN117934471A (zh) * 2024-03-22 2024-04-26 北京万泰生物药业股份有限公司 一种对胶体金检测结果图的图像数字化分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939762A (zh) * 2010-06-16 2013-02-20 伊斯曼柯达公司 提供减少的散斑伪像的投影装置
CN113487681A (zh) * 2021-07-01 2021-10-08 浙江大学 基于光谱灵敏度曲线和光源光谱优化的相机颜色标定方法
CN114866754A (zh) * 2022-04-27 2022-08-05 北京奕斯伟计算技术有限公司 自动白平衡方法、装置及计算机可读存储介质和电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102939762A (zh) * 2010-06-16 2013-02-20 伊斯曼柯达公司 提供减少的散斑伪像的投影装置
CN113487681A (zh) * 2021-07-01 2021-10-08 浙江大学 基于光谱灵敏度曲线和光源光谱优化的相机颜色标定方法
CN114866754A (zh) * 2022-04-27 2022-08-05 北京奕斯伟计算技术有限公司 自动白平衡方法、装置及计算机可读存储介质和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种基于ＲＧＢ颜色空间的色彩还原方法;郝贵青等;《理论与方法》;20161130;全文 *

Also Published As

Publication number Publication date
CN115267180A (zh) 2022-11-01

Similar Documents

Publication Publication Date Title
CN115267180B (zh) 一种层析免疫检测方法及装置
JP5496509B2 (ja) 色分類および皮膚色検出のための画像処理のためのシステム、方法、および装置
US8295606B2 (en) Device and method for detecting shadow in image
CN110161233B (zh) 一种免疫层析试纸卡的快速定量检测方法
KR100311075B1 (ko) 인지광원과 하이라이트를 이용한 조명 색도 추정 및변환장치 및 그를 위한 방법
CN107328776A (zh) 一种免疫层析试纸卡的快速检测方法
CN102737370B (zh) 检测图像前景的方法及设备
CN107451969A (zh) 图像处理方法、装置、移动终端及计算机可读存储介质
CN106030653A (zh) 用于生成高动态范围图像的图像处理系统和图像处理方法
CN104101704A (zh) 一种免疫层析试纸卡定量检测方法
CN101933321A (zh) 用于估测场景光源的图像传感器装置及方法
Várkonyi-Kóczy et al. Gradient-based synthesized multiple exposure time color HDR image
CN110268420A (zh) 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品
TW201340727A (zh) 白平衡處理方法及其處理裝置
CN109886195A (zh) 基于深度相机近红外单色灰度图的皮肤识别方法
CN111624203A (zh) 一种基于机器视觉的继电器接点齐度非接触式测量方法
CN107167594A (zh) 一种免疫层析试条定量检测装置及方法
Thakur et al. Development of smartphone-based lateral flow device for the quantification of LH and E3G hormones
CN110320523A (zh) 跟随机器人的目标定位装置及方法
CN115273152B (zh) 一种侧向免疫层析检测方法、装置及应用
CN109856133B (zh) 一种利用多种光照强度、多种色彩照明的试纸检测方法
WO2022267799A1 (zh) 水质检测方法及水质检测装置
CN113435444B (zh) 免疫层析检测方法、装置、存储介质及计算机设备
CN115100273A (zh) 一种基于图像处理的免疫层析试纸条定量分析系统及检测方法
CN113936017A (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant