CN117934471A - 一种对胶体金检测结果图的图像数字化分析方法 - Google Patents
一种对胶体金检测结果图的图像数字化分析方法 Download PDFInfo
- Publication number
- CN117934471A CN117934471A CN202410332020.2A CN202410332020A CN117934471A CN 117934471 A CN117934471 A CN 117934471A CN 202410332020 A CN202410332020 A CN 202410332020A CN 117934471 A CN117934471 A CN 117934471A
- Authority
- CN
- China
- Prior art keywords
- image
- result
- evaluation function
- detection
- colloidal gold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 180
- 238000000034 method Methods 0.000 title claims abstract description 101
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 title claims abstract description 85
- 238000010252 digital analysis Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 title abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 85
- 238000007781 pre-processing Methods 0.000 claims abstract description 36
- 238000003708 edge detection Methods 0.000 claims abstract description 17
- 238000000926 separation method Methods 0.000 claims abstract description 12
- 238000002474 experimental method Methods 0.000 claims abstract description 11
- 238000012360 testing method Methods 0.000 claims description 74
- 238000004364 calculation method Methods 0.000 claims description 55
- 238000004458 analytical method Methods 0.000 claims description 48
- 238000001914 filtration Methods 0.000 claims description 22
- 239000000126 substance Substances 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000012764 semi-quantitative analysis Methods 0.000 claims description 5
- 238000003556 assay Methods 0.000 claims 1
- 238000012795 verification Methods 0.000 abstract description 8
- 238000000338 in vitro Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 70
- 241000725303 Human immunodeficiency virus Species 0.000 description 7
- 238000000605 extraction Methods 0.000 description 7
- 210000002966 serum Anatomy 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 239000003153 chemical reaction reagent Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004587 chromatography analysis Methods 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 238000012123 point-of-care testing Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000427 antigen Substances 0.000 description 2
- 102000036639 antigens Human genes 0.000 description 2
- 108091007433 antigens Proteins 0.000 description 2
- 150000001768 cations Chemical class 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000011022 Chorionic Gonadotropin Human genes 0.000 description 1
- 108010062540 Chorionic Gonadotropin Proteins 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 229960004407 chorionic gonadotrophin Drugs 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940084986 human chorionic gonadotropin Drugs 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 230000036046 immunoreaction Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种对胶体金检测结果图的图像数字化分析方法,涉及体外检测技术领域。本发明对胶体金检测结果图进行图像数字化分析步骤主要包括图像前期处理模块、图像识别模块、评价函数模块和结果输出模块,首先进行图像下采样、RGB三通道分离和图像预处理后获得绿色通道下清晰的灰度化图像;最小值法与边缘检测法结合实现对检测线的定位和图像识别,并由此获得检测线灰度均值和背景灰度均值并用于计算评价函数,结果小于或等于阈值时再经过测试线灰度直方图峰值进行修正后输出结果。本发明还可以通过浓度梯度实验的数字化定级实现对待检物的半定量检测。经过对比验证,本发明通过多方法、多对比、多验证,提高了弱阳性的检出率。
Description
技术领域
本发明涉及体外检测技术领域,特别涉及一种对胶体金检测结果图进行图像分析的方法,尤其是适合将该方法推广应用于胶体金检测所属的POCT领域。
背景技术
随着医疗水平的进步和人类健康意识的提高,能够实现随时随地、随用随检的现场诊断、即时检测(point-of-care testing,POCT)以其快速性和便捷性越来越受到大众的欢迎。其中,胶体金纸条以其低成本、稳定性、高灵敏度、快速检测以及简便易用的特点在医学诊断和生物分析领域得到广泛应用。
传统的胶体金卡条判读方法一般通过肉眼直接观察胶体金试剂卡或者试剂条上的可见光的颜色信号来判读,基于一定的判断规则,通过卡条上控制线(C线)和测试线(T线)所在位置的颜色信号,对胶体金卡条的检测结果做出判定,从而得出样本检测结果是否为阳性的定性结果。在胶体金快速检测操作方法正确的前提下,这种根据肉眼对卡条颜色信号强度进行结果判读的方法,容易受各种因素的影响和干扰,比如环境光线、个人判读误差等,导致判定结果不精准。
近年来得益于计算机视觉、深度学习和图像处理等领域的快速发展,出现一些对胶体金检测结果图片判读的新方法,比如通过高清采集胶体金卡条图片,对数字图像进行分析处理,相较于传统的肉眼判读方法,不易受外界环境光线等条件的干扰,提高了对胶体金卡条结果判读的分析准确性,缺点是图像分析方法需要配合光敏二极管等复杂光学器件,对硬件条件要求高、提高了分析成本。图像处理方面:背景文件1(“A smartphone-basedrapid quantitative detection platform for lateral flow strip of humanchorionic gonadotropin with optimized image algorithm”,Zhang T, et al,Microchemical Journal,2020,第157期,105038页)公开了从胶体金试纸条上提取颜色变化来定量检测人绒毛膜促性腺激素(hCG)的方法,其中,采用的颜色提取算法、阈值处理算法和灰度投影值算法3种结合,对HCG的理论检测限为3 ng/mL(R2=0.988),但是不同环境颜色提取的稳定性、纸条的生产批次、保存条件等变化条件下阈值的自适应性,以及弱阳性(1ng/mL)情况下检出率等方面都存在局限性。可见,无论是肉眼判读还是图像的数字分析识别,在不同条件下,尤其是弱阳的情况下,判读结果仍然存在较大误差。
发明内容
本发明的目的在于解决上述问题,至少部分地克服现有技术的缺陷,提供一种不需要依赖硬件获取高清图片的图像处理方法。
本发明的目的还在于为了提高胶体金纸条弱阳检测结果的检出率,提出了一种提取弱阳特征信号的图像分析方法。
本发明的目的还在于为了提高对图像数字化信号处理准确度、稳定性、算法自适应性的多方法多对比处理的图像数字化分析方法。
本发明提出的一种用于胶体金卡条检测的图像分析方法,实现了胶体金卡条的快速可靠检测,提高了弱阳的分辨率。
第一方面,本发明提供了一种图像数字化分析方法,用于对胶体金检测结果图进行分析,包括图像前期处理模块、图像识别模块、评价函数模块和结果输出模块,其中,图像前期处理模块包括图像下采样、RGB三通道分离和图像预处理,其中,图像预处理的内容包括图像灰度化处理、滤波、增强和去噪;图像识别模块分别实现对控制线和测试线的定位识别,定位识别的具体步骤依次为确定搜索范围、粗定位和细定位,并在定位范围内分别计算控制线灰度均值C和测试线灰度均值T;评价函数模块包括确定背景灰度均值B和计算评价函数;结果输出模块,从RGB三通道分离至计算评价函数循环重复3次,3次评价函数模块的计算结果取平均数作为数字化输出结果;在评价函数模块中,评价函数的计算结果判定为阴性时,提取弱阳特征信号。
根据本发明的一个优选实施例,所述图像下采样是对胶体金检测结果图进行裁剪,保留胶体金卡条检测结果信息集中展示区域;RGB三通道分离后对比并保留绿色通道图像;进一步地,图像预处理中滤波采用高斯滤波,增强采用CLAHE,去噪采用纹理去噪。
根据本发明的一个优选实施例,在图像预处理中,图像灰度化处理在RGB三通道分离完成后进行。
根据本发明的一个优选实施例,在图像识别模块中,确定搜索范围根据胶体金卡条的类型确定;粗定位采用最小值法;细定位采用边缘检测法,在边缘检测法中采用梯度法。
优选地,上述梯度法的计算步骤包括:在细定位范围内,当前行每一个像素点的灰度值记为P(Xi+h),下一行每一个像素点的灰度值为P(Xi),步长h为1,使用前向差分法计算当前行与下一行对应的灰度值的差值,该差值的计算公式为P(Xi+h)-P(Xi),再将所有当前行的差值的结果求和后作为梯度值(Grad),该梯度值(Grad)的计算公式如下:
;
进一步优选地,对比相邻2个当前行的梯度值(Grad),将变化最剧烈的梯度值所在当前行的像素位置作为细定位的位置。
其中,控制线(C线)上下边界的细定位位置分别记为Posc1,Posc2;测试线(T线)上下边界的细定位位置分别记为Post1,Post2。
根据本发明的一个优选实施例,在图像识别模块中,在细定位的控制线范围内计算控制线灰度均值C;在细定位的测试线的范围内计算测试线灰度均值T。
根据本发明的一个优选实施例,在评价函数模块中,根据细定位的测试线位置,向上扩展15~30行作为背景位置,取背景位置区域灰度值的平均数作为背景灰度均值B。
根据本发明的一个优选实施例,在评价函数模块中,评价函数的计算公式为(B-T)/B。
根据本发明的一个优选实施例,在评价函数模块中,当评价函数的计算结果大于阈值时,判定检测结果为阳性,直接输出评价函数作为检测结果;当评价函数的计算结果小于或等于阈值时,暂时判定检测结果为阴性,采用测试线灰度直方图峰值提取弱阳特征信号,并重新计算评价函数。
进一步优选地,评价函数的计算结果的阈值设置为0。
根据本发明的一个优选实施例,与标准品浓度梯度实验结果结合,结果输出模块对数字化输出结果进行分级,可以对胶体金检测结果进行半定量分析。
第二方面,本发明提供了上述图像数字化分析方法在胶体金检测中的应用。
本发明的有益效果:
本发明对胶体金检测结果图进行图像数字化分析步骤主要包括图像前期处理模块、图像识别模块、评价函数模块和结果输出模块。图像前期处理模块分别进行图像下采样、RGB三通道分离和图像预处理后获得绿色通道下多方法多步骤优化的灰度化图像,图像识别模块结合最小值法和边缘检测法完成对控制线和测试线的搜索、定位并计算获得定位范围内对应的检测线灰度均值(C、T),扩展取测试线上方15~30行的像素区域内的灰度值计算平均数后作为背景灰度均值(B),根据在此数据基础上计算的评价函数=(B-T)/B,对胶体金检测结果做初步的定性分析。判定为阴性结果再经过测试线灰度直方图峰值进行修正后输出检测结果,还可以通过标准品浓度梯度实验的数字化定级实现对待检物的半定量检测。本发明摆脱了对光学器件的硬件依赖,通过对图像多方法、多对比、多验证的数字化分析步骤,克服了肉眼判定可能造成的干扰、误差、不精准等缺点,而且数字化定位精准,经过验证与RTR-G100金标仪分析结果一致性很好,而且在弱阳性条件下,还提高了对弱阳性检测结果的检出率。
本发明的图像数字化分析中,当评价函数小于或等于阈值时,初步判定为阴性,并需要对该阴性分析结果做进一步的测试线灰度直方图峰值对比,从初步判定的阴性结果中提取出弱阳特征信号,从而提高了弱阳性的检出率。本发明的图像数字化分析结果可以实现数字化输出,结合标准品的浓度梯度验证,还可以实现半定量分析,提高了检测结果的灵敏度。
本发明的图像前期处理模块中,首先对所要分析的胶体金检测结果图没有明确限制性要求,彩色图像,灰色图像或普通彩色图像均可,如果图片的分辨率越高,保留的细节会更多,对应用本发明进行数字化分析更容易获得相对更精确的数据。获得胶体金检测结果图后进行图像下采样,即对图像进行裁剪,仅保留检测信息所在区域,即降低了对计算资源存储的需求,提高了算法的处理速度,还方便开发成应用程序嵌入任意AI智能设备中,摆脱对硬件的依赖性,此外,基于本发明的总体构思,还可以根据待检胶体金卡条的具体类型修改应用程序相关参数以满足对不同类型卡条分析的兼容性需求。图像下采样后、图像灰度化处理前,先进行图像RGB三通道分离,根据每一种颜色特征信号的强度,对比红、绿、蓝3个通道图像,由于绿色通道噪声少、信号强、对胶体金颗粒更敏感,因此特征信号最强的为绿色通道,故三通道分离后选取绿色通道图像做进一步处理,弱阳情况下更有助于增强对特征信号的识别。图像预处理阶段先进行图像灰度化处理,之后再进行图像滤波、增强以及去噪等处理环节,其中通过图像滤波进行图像平滑处理,平均噪声影响;通过进行图像增强处理,凸显了检测区域中肉眼难以分辨的弱阳的特征信号;通过纹理去噪,去除因图像增强产生的背景噪声;这几点优化强强结合后,不仅提高了强阳的可识别性,实验证明对弱阳卡条的检出率有很大帮助。
本发明的图像识别模块中,通过多层次搜索分析、多方法运算结合、多对比修正验证有效提高了对图像数字化信号处理的准确度、稳定性、算法自适应性。图像识别模块用于定位检测线,检测线包括控制线(C线)和测试线(T线),依次通过搜索、粗定位和细定位,提取到检测线的位置信息和灰度值,并用于计算出检测线灰度均值(C、T)。本发明对检测线的定位使用了多种算法,包括采用最小值法进行粗定位、采用边缘检测法进行细定位,在边缘检测法中,通过提取边缘位置剔除了不相关信息、并提取了有用信息,用于集中关注提取的发生显著变化的像素点,有利于大幅度地减少图像的数据量;在本发明采用的边缘检测法中,优选梯度法作为检测线细定位的方法,即通过2个梯度上的灰度值的前向差分计算,变化最剧烈的位置就是细定位的检测线位置。本发明采用了多方法多对比的结合,提高了最终分析结果的稳定性和准确性。
本发明的评价函数模块,还扩展引入背景位置作对比,根据细定位的测试线位置向上扩展一定区域作为背景位置区域,并在该区域内取灰度值计算背景灰度均值(B),根据测试线灰度均值(T)和背景灰度均值(B)计算评价函数=(B-T)/B,评价函数的计算结果用于判定胶体金检测结果:强阳、弱阳或阴性。其中,评价函数的计算结果的阈值为0,若计算结果大于0时,判定检测结果为阳性;当评价函数计算结果小于或等于0时,暂时判定检测结果为阴性、并采用测试线灰度直方图峰值提取弱阳特征信号,继续进一步分辨该阴性是否为误判的弱阳性。本发明通过提取灰度直方图峰值重新计算评价函数,作为对评价函数初步计算结果的修正,进一步提高了对弱阳性的检出率。通过对41份弱阳性样本的对比实验也验证了本发明的图像数字化分析方法,将弱阳检出率约从87.8%提升到了97.56%。
本发明的结果输出模块,将重复3次评价函数计算结果的平均值作为最终结果输出,输出的数字化结果还可以结合标准品浓度梯度实验结果进行分级,在提高分析结果的稳定性输出的基础上,实现了半定量分析。
本发明对胶体金检测结果图的图像数字化分析方法,通过4个模块共计13个步骤实现,其中,图像前期处理模块包括图像下采样、三通道分离和图像预处理这3个步骤;图像识别模块包括6个步骤,主要用于分别实现对控制线和测试线的定位识别,对2种检测线定位识别的具体步骤均包括确定搜索范围、粗定位和细定位;评价函数模块包括背景灰度均值(B)、评价函数计算和提取弱阳特征信号这3个步骤,其中,对评价函数初步判定的阴性结果中进一步采用测试线灰度直方图峰值提取弱阳特征信号,来重新计算评价函数,最后结果输出模块计算评价函数3次重复分析的平均值作为检测结果输出,还可以结合浓度梯度实验实现对检测结果的半定量分析。本发明所述图像数字化分析方法通过多方法、多对比、多验证,提高了弱阳性的检出率,有利于扩展形成稳定的应用程序嵌入智能设备,随时随地用于对胶体金检测结果进行更加准确、稳定、灵敏的结果分析,提高了胶体金检测结果的准确度。
附图说明
图1为图像数字化分析方法的总体流程图;
图2为图像数字化分析方法中图像前期处理模块的流程图;
图3为图像数字化分析方法的图像识别模块所示对检测线定位的算法示意图;
图4为图像数字化分析方法中评价函数模块的流程图;
图5为本发明评价函数模块中提取弱阳特征信号判断的流程图;
图6为本发明图像预处理中高斯滤波原理示意图;
图7为本发明检测线粗定位采用的最小值法示意图;
图8为本发明检测线细定位采用的边缘检测法示意图;
图9为弱阳性检测结果的测试线灰度均值(T)分布示意图;
图10为图像数字化分析方法中3种典型检测结果对应的测试线灰度直方图峰值的对比图,横坐标为灰度值,纵坐标为灰度值出现次数;
图11为胶体金检测结果为阴性的检测结果图;
图12为胶体金检测结果为弱阳性的检测结果图;
图13为胶体金检测结果为强阳性的检测结果图;
图14为本发明图像数字化分析方法与RTR-G100金标仪算法的标准品浓度梯度实验结果对比图;
图15为本发明图像数字化分析方法与RTR-G100金标仪算法的弱阳检出率对比图。
具体实施方式
下面结合附图详细描述本发明的实施方式,其中“最小值法”是指计算每一行像素点的灰度值之和,并通过比较每一行灰度值之和的最小值来进行边缘定位的方法。为便于清楚、完整的说明本发明对胶体金检测结果图的图像数字化分析方法的具体实施方式,阐述了许多具体细节的描述,用来全面完善并理解本发明总的发明构思,然而在其他情况下,一个或多个公知的实施方式在没有这些具体细节的情况下也可以被实施。
本发明要求保护一种对胶体金检测结果图的图像数字化分析方法及其在胶体金检测结果分析领域的应用,其中,“检测”是对胶体金卡条上的抗原或抗体特异性免疫反应结果的检测,属于体外诊断试剂领域。本发明的示例性的实施方式中,存下以下表示相同的概念或相似描述,比如控制线=C线,测试线=T线等。
本发明提供了一种对胶体金检测结果图的图像数字化分析方法,可以配套应用于胶体金卡条检测后的结果分析,用于提高阳性检出率,避免漏检。
根据总的发明构思,本发明提供了一种对胶体金检测结果图的图像数字化分析方法,数字化分析步骤包括图像前期处理模块、图像识别模块、评价函数模块和结果输出模块,其中图像前期处理模块依次引入了图像下采样、三通道分离和图像预处理,将裁剪后绿色通道的灰度值依次进行图像灰度化、图像滤波、图像增强和纹理去噪后,进入图像识别模块;图像识别模块主要通过对检测线(控制线和测试线)的多层次、多方法、多对比最终完成精确定位(确定搜索范围、粗定位和细定位),取最终控制线(C线)细定位范围内的控制线灰度均值(C)及扩展获得的背景灰度均值(B)之间的差值来初步判定胶体金检测结果的有效性;进一步根据测试线灰度均值(T)和背景灰度均值(B)计算评价函数(B-T)/B来详细区别胶体金检测结果图的强阳、弱阳或阴性这几种具体结果,其中,初步判定为阴性结果还需要进行测试线灰度直方图峰值算法分析来进一步提高对弱阳情况的检出率。
以下结合附图1-15对本发明的对胶体金检测结果图的图像数字化分析方法的具体步骤和有益效果做详细的说明。
实施例1 图像数字化分析方法
本发明的胶体金检测结果图的图像数字化分析方法中,胶体金检测结果图来源于常见的图像采集方法,比如专业相机拍摄的照片、智能手机相机功能拍摄的照片等,只要能够获得常见应用程序能够打开的图片文件即可,摆脱了图像采集过程对硬件条件的依赖,可以开发成一种嵌入式应用程序(App)。本发明在获取胶体金检测结果图后,经过图像前期处理模块、图像识别模块、评价函数模块和结果输出模块这4个模块的分析处理后,可以在任意可连接的智能终端设备查看细化的检测结果。
如图1所示,本发明的图像数字化分析方法,从获取胶体金检测结果图后开始,首先进行图像下采样,即裁剪后仅保留检测结果图的分析区域,再通过RGB三通道分离后从中选取噪声少、信号强的绿色通道图像,然后经过图像预处理实现对图像数字化后的滤波、增强和去噪。接下来开始执行本发明最重要的检测线定位算法,用于精确定位控制线和测试线这2条检测线,并获取检测线灰度均值(C、T)来初步判定胶体金检测结果的有效性。并根据检测线灰度均值(C、T)和扩展获得的背景灰度均值(B)来计算评价函数,用于进一步确定所判定的强阳、弱阳或阴性等细化分析后的检测结果,该检测结果通过3次重复分析步骤后取平均值作为最后的输出检测结果,至此即可完成对胶体金检测结果图的图像数字化分析,提高了对胶体金纸条弱阳检测结果的检出率。
具体地,本发明所述图像数字化分析方法通过4个模块共计13个步骤实现,其中,图像前期处理模块包括图像下采样、三通道分离和图像预处理这3个步骤;图像识别模块包括6个步骤,主要用于实现对检测线的定位识别,所述检测线分别是控制线和测试线,具体定位识别步骤均包括确定搜索范围、粗定位和细定位;评价函数模块包括背景灰度均值、评价函数计算和提取弱阳特征信号这3个步骤,最后结果输出模块计算评价函数3次重复分析的平均值作为检测结果输出。所述图像数字化分析方法的具体步骤如下:
在如图2所示图像前期处理模块中,还包括图像RGB三通道分离步骤,依次包括图像下采样、三通道分离和图像预处理这3个步骤,具体描述如下。
步骤一、图像下采样:将获取到的胶体金检测结果图进行图像下采样,即对胶体金检测结果图进行裁剪,仅保留胶体金卡条检测结果信息集中展示区域,即所谓的胶体金卡条的加样区,同时也是加样后控制线和测试线颜色变化的观察区,在裁剪后的图片中,默认控制线(C线)位置居上,测试线(T线)位置居下。图像下采样,裁剪排除了图片上的干扰信息,减少图片占用的存储空间,还有利于提高检测效率。
步骤二、图像RGB三通道分离:图像RGB三通道分离,即将图像分解为红色(R)、绿色(G)和蓝色(B)三个独立通道,根据每一种颜色特征信号的强度,对比红、绿、蓝3个通道图像,其中特征信号最强的为绿色通道,选取绿色通道图像做进一步处理。由于胶体金颗粒特定的吸收和散射特性,一般情况下会对绿光产生更强烈的响应,从而在绿色通道上形成更明显的特征信号图像,且绿色通道常表现出更好的信噪比,因此,选择保留噪声少、信号强的绿色通道图像,弱阳情况下,更有助于增强对胶体金颗粒敏感的特征信号的识别。
步骤三、图像预处理:先将绿色通道的特征信号进行灰度化处理,再依次进行滤波、增强和去噪即可完成图像预处理,处理方法和有益效果描述如下:
滤波:滤波方法包括中值滤波、高斯滤波等,其中最佳的方法为高斯滤波。根据图6中所示高斯滤波的原理进行滤波处理,对图像中的每个像素及其邻域内的像素值进行特定的计算,可以消除高斯噪声、以达到平滑图像的目的。图6可见:对图像中的像素值及其邻域内的像素值进行特定的计算后为其权重值,离中心像素越近的像素点权重越大,其中所谓的特定的计算是通过二维高斯函数计算出来的权重,经过这种线性滤波中的高斯滤波方法处理后,平均了噪声影响,达到平滑图像的目的。
增强:图像增强方式有CLAHE(Contrast Limited Adaptive HistogramEqualization,对比度受限的适应性直方图均衡化)、直方图均衡化、图像去雾,虽然采用这3种方法进行图像增强处理后,均可以凸显图像中的弱阳性特征信号,对比结果发现当选择CLAHE方法进行图像增强处理时,不仅对图像的中心区域实现了增强,对边缘效应明显的图像边缘区域也可以实现图像增强,即图像增强优选CLAHE法。
去噪:去噪方式也有多种,本发明发现通过纹理去噪,可以去除因图像增强产生的噪声,恢复提取图像的真实特征,进一步增强阳性结果的可识别性。
本发明优化滤波、增强和去噪的图像预处理步骤,结果发现不仅有利于增强阳性特征信号,还对提高弱阳结果的检出率有很大帮助。
完成图像前期处理模块后进入图像识别模块,图像识别模块是本发明的核心步骤,如图3所示图像识别模块展示的,通过多层次、多方法、多对比最终完成对检测线的精确定位,其中检测线分别为控制线(C线)和测试线(T线),先定位控制线、再对测试线进行定位,控制线和测试线的定位步骤依次包括确定搜索范围、粗定位和细定位,最后根据细定位的检测线范围内获得的检测线灰度均值(C、T)可以初步判定胶体金检测结果。
确定检测线搜索范围,根据胶体金卡条的类型,在一个可知的范围内确定检测线,控制线(C线)位置居上,测试线(T线)位置居下,其中“可知的范围”与胶体金卡条的类型有关,具体是指在胶体金卡条上,实际生产过程中抗原抗体在NC膜上标定的位置,可以根据经验定位、可以根据目测定位、可以根据手动测量定位、也可以根据边缘检测法等算法。
检测线的粗定位:在检测线搜索范围内进行定位搜索,搜索方向定义为自上而下进行,每一个像素点对应的灰度值记为Pj,按行累加灰度值、求行灰度值和,即将每一行的灰度值累加并计算每一行灰度值累加和,即在搜索范围内,按照图7所示最小值法进行搜索计算,当前行灰度值的累加和记为Sumi,向下一行灰度值的累加和记为Sumi+1,计算公式如图3中公式所示;对比Sumi与Sumi+1的大小,将二者中较小的一个记为Summin,上述搜索计算和对比步骤重复进行,直至到达搜索范围最后一行为止。最后选取对比Summin值最小的数据所在当前行的像素位置Posc和Post,分别记为控制线和测试线的粗定位位置。
检测线的细定位:通过上述最小值法得到检测线的粗定位位置Posc和Post后,分别向上、向下各扩展一定范围作为细定位的搜索范围。图像的边缘及其细节信息是细定位的关键,常见的边缘检测的计算方法包括梯度法、Laplace算子零交叉边缘检测法、prewitt边缘检测法以及canny边缘检测法等等,本发明通过对比上述方法的计算量、操作便捷度、计算速度等,最终优选图8所示梯度法作为对检测线细定位的计算模式。梯度法的计算步骤:在细定位的检测线搜索范围内,当前行每一个像素点的灰度值记为P(Xi+h),下一行每一个像素点的灰度值为P(Xi),步长h为1,使用前向差分法做差分计算,即按照当前行与下一行像素位置对应的灰度值差值的计算公式P(Xi+h)-P(Xi)做差分计算,再将这些差分计算的结果求和后作为差分计算结果,也就是梯度值(Grad),计算公式如下:
;
对比两行之间变化最剧烈的梯度值,取该梯度值所在当前行的像素位置作为检测线的细定位位置,其中控制线(C线)上下边界的细定位位置分别记为Posc1,Posc2;测试线(T线)上下边界的细定位位置分别记为Post1,Post2;
完成检测线的细定位后,将细定位的检测线范围内灰度值的平均值计算结果作为检测线灰度均值,其中,控制线(C线)和测试线(T线)的灰度均值分别记为C、T。
图像识别模块的具体步骤如下执行:
步骤四、确定控制线搜索范围;
步骤五、控制线粗定位:使用最小值法粗定位控制线位置Posc;
步骤六、控制线细定位:使用边缘检测法细定位控制线上下边界位置Posc1,Posc2;
步骤七、确定测试线搜索范围;
步骤八、测试线粗定位:使用最小值法粗定位测试线位置Post;
步骤九、测试线细定位:使用边缘检测法细定位测试线上下边界位置Post1,Post2。
根据图像识别模块最终对细定位的检测线范围内,通过评价函数模块对胶体金检测结果图做进一步细化的分析处理,分别包括确定背景灰度均值、计算评价函数和提取弱阳特征信号这3个主要步骤,其中,当评价函数的计算结果判定为阴性时,才需要执行提取弱阳特征信号,目的是进一步提高弱阳性结果的检出率,图4为评价函数模块的流程图,由图可见:取上述细定位的测试线范围作为测试线分析区域,在该区域内,记录并计算测试线灰度均值(T);再取细定位的测试线上方的一定范围区域作为背景位置区域,在该区域内,记录并计算背景位置区域内的灰度均值作为背景灰度均值(B);按照公式(B-T)/B计算评价函数,根据计算结果进一步分辨有效的检测结果属于强阳性、弱阳性或真阴性中的哪一种。
评价函数模块的具体步骤顺序如下:
步骤十、确定背景灰度均值:根据步骤九中细定位测试线上下边界位置Post1,Post2,向上扩展一定范围作为背景位置区域的取值范围,计算该扩展范围内的背景灰度均值(B)。
一定范围具体是扩展至测试线上方的15~30行的像素区域。因为:一方面该区域范围内的灰度值理论上应该分布均匀,且不存在弱阳性的特征信号;另一方面在胶体金纸条检测过程中,容易出现由于层析不均而导致检测图像上测试线与控制线之间区域的灰度值分布不均,为了避免该分布不均影响对检测结果判定的准确性,本发明经过验证发现当扩展范围选取测试线上方的15~30行像素区域作为背景位置区域的取值范围时,能够有效降低层析不均对检测结果准确性的干扰,弱化层析不均对检测结果准确性的影响。
计算控制线灰度均值(C)和背景灰度均值(B)之间的差值,并根据差值判定胶体金检测结果图属于有效还是无效。若差值小于50,则判定检测结果无效;若差值大于50,则判定检测结果有效。检测结果图被判定有效的情况下,还需要进一步分析区分阴性和阳性。
步骤十一、计算评价函数:取步骤九、步骤十分别获得的测试线灰度均值(T)和背景灰度均值(B),按照公式(B-T)/B计算评价函数,根据评价函数的计算结果对有效的胶体金检测结果做进一步阴、阳性的区分。
当评价函数计算结果大于0时,判定检测结果为阳性,直接进入步骤十三、将该计算结果输出至结果输出模块;当评价函数计算结果小于或等于0(本实施例中将阈值设定为0)时,暂时判定检测结果为阴性、继续执行步骤十二用于从中提取弱阳特征信号,进一步分辨该阴性是否为误判的弱阳性。
步骤十二、提取弱阳特征信号:如图5提取弱阳特征信号判定流程图所示,根据评价函数的计算结果,当评价函数在阴性数值范围内,即当评价函数的计算结果小于或等于0时,则执行提取弱阳特征信号,即计算测试线灰度直方图峰值。在步骤九Post1、Post2细定位的坐标区域内,提取测试线灰度直方图峰值,同时,平行做提取阴性标准品检测结果图的测试线灰度直方图峰值,如图10所示3种典型检测结果的对比图,3种典型胶体金检测结果图分别如图11-13所示,图11为胶体金阴性检测结果图,图12为胶体金弱阳性检测结果图,图13为胶体金强阳性检测结果图。图10中,纵坐标上的最大值即对应位置横坐标灰度值出现最多的次数,提取该对应位置横坐标上灰度值作为峰值,从而进一步判定当前检测结果是否为真阴性。
图5中的“一定范围内”是指经过标准品检测结果的分析后确认的阴性与弱阳性的测试线灰度直方图峰值的差别范围。经过标准品检测、分析、统计后,大部分真阴性和弱阳性检测结果的测试线灰度直方图峰值的阈值定为145,即图5中“是否在一定范围内”的判定标准为“测试线灰度直方图峰值是否小于或等于145”:当测试线灰度直方图峰值大于145,则判定结果为“否”,相当于评价函数依然为0,输出评价函数“0”,相当于检测结果为真阴性;当“测试线灰度直方图峰值小于或等于145”,则判定结果为“是”,并按照测试线灰度直方图峰值对应的灰度值对测试线灰度均值(T)进行重新赋值后、按照公式(B-T)/B重新计算评价函数,并输出该重新计算评价函数的计算结果。其中,测试线灰度直方图峰值的阈值,还可以根据标准品浓度梯度实验进行校正,不排除145之外的可能。
灰度直方图峰值算法的原理是:在弱阳性检测结果中,测试线灰度均值(T)呈现如图9所示较为分散的分布趋势;通过一系列算法的处理后,测试线上弱阳性的特征信号存在被消除的风险,从而导致将弱阳误判为阴性。为了弥补这种风险,通过多次对比发现若采用灰度直方图峰值算法,在细定位的测试线区域内,忽略测试线灰度均值(T),而是将测试线灰度直方图峰值作为弱阳特征信号进行二次判定,提取该区域内测试线灰度值的峰值做直方图,即所谓的灰度直方图峰值算法,该算法可以避免特征信号过弱的情况下被误判为阴性。在本发明图像数字化分析方法的评价函数模块中,对评价函数初步判定的阴性结果补充进行灰度直方图峰值算法分析,属于对评价函数的计算结果进行修正,通过对比测试线灰度直方图峰值,可以进一步从上述假阴性检测结果中分辨出若干弱阳性,提高了弱阳的检出率,还可以实现对胶体金检测结果的半定量分析,即阳性检测结果还可以进一步区分为强阳性和弱阳性。
运用标准品浓度梯度实验,把标准品倍比稀释12个浓度梯度,其中,level 12为标准品的原始浓度,level 11为标准品稀释2倍,level 10为标准品稀释4倍,level 9为标准品稀释8倍,level 8为标准品稀释16倍,level7为标准品稀释32倍,level 6为标准品稀释64倍,level 5为标准品稀释128倍,level 4为标准品稀释256倍,level 3为标准品稀释512倍,level 2为标准品稀释1024倍,level 1为标准品稀释2048倍,采用本发明对上述标准品的胶体金检测结果图进行评价函数读值,并将评价函数的读值结果进行浓度结果的对应分级,读数分12级,根据浓度从小到大依次判定为0分条、1分条、2分条、3分条、4分条、5分条、6分条、7分条、8分条、9分条,10分条、11分条;分级越接近0分条,阳性等级越弱,可判定为弱阳性;分级越接近满分条(如11分条),阳性等级越强,可判定为强阳性;并可根据标准品对应分级的浓度初步判定待测样本的浓度区间。本发明通过灰度直方图峰值算法进一步提高了1分条、2分条这种较弱的弱阳性的检出率。图15中展示的数据均为1分、2分条。
步骤十三、输出检测结果:
将上述步骤二到步骤十二重复分析3次,分别获得3个评价函数的计算结果,计算评价函数平均值作为最终的检测结果输出。
实施例2分析方法的实验验证
将本发明构思编程嵌入树莓派Zero W开发版,匹配500万像素的OV5647感光元件,大约2秒内即可获得对胶体金检测结果图的数字化分析结果。取HIV阳性标准血清样本,依次倍比稀释12个浓度梯度:level 12代表原浓度的HIV血清,level 11代表稀释2倍的HIV血清溶液,level 10代表稀释4倍的HIV血清溶液……12份浓度梯度的血清样本分别采用人类免疫缺陷病毒检测试剂(胶体金法)进行检测,获得的胶体金检测结果分别采用本发明的图像数字化分析方法和RTR-G100金标仪进行结果分析,2种方法输出的检测结果平行对比如图14所示,可见本发明的图像数字化分析方法与金标仪的分析结果基本一致,且采用本方法还可以摆脱对金标仪等硬件设备的依赖性,更有利于提高检测准确性和快检结果的标准化普及推广。
选取41份弱阳性HIV血清样本,采用人类免疫缺陷病毒检测试剂(胶体金法)进行检测,检测结果分别采用本发明的图像数字化分析方法和RTR-G100金标仪分别进行分析,结果:采用RTR-G100金标仪检出弱阳性样本有36份,采用本发明的图像数字化分析方法检出弱阳性样本有40份,弱阳检出率约从87.8%提升到了97.56%,2种方法分析结果对比如图15所示,其中,本发明分析后输出的结果阈值(即评价函数)定值为0,大于0判定为阳性,小于或等于0判定为阴性。
Claims (10)
1.一种图像数字化分析方法,其特征在于:用于对胶体金检测结果图进行分析,包括图像前期处理模块、图像识别模块、评价函数模块和结果输出模块,其中,
所述图像前期处理模块包括图像下采样、RGB三通道分离和图像预处理,其中,所述图像预处理的内容包括图像灰度化处理、滤波、增强和去噪;
所述图像识别模块分别实现对控制线和测试线的定位识别,所述定位识别的具体步骤依次为确定搜索范围、粗定位和细定位,并在定位范围内分别计算控制线灰度均值C和测试线灰度均值T;
所述评价函数模块包括确定背景灰度均值B和计算评价函数;
所述结果输出模块,从所述RGB三通道分离至所述计算评价函数循环重复3次,3次所述评价函数模块的计算结果取平均数作为数字化输出结果;
在所述评价函数模块中,评价函数的计算结果判定为阴性时,提取弱阳特征信号。
2.根据权利要求1所述的图像数字化分析方法,其特征在于:所述图像下采样是对所述胶体金检测结果图进行裁剪,保留胶体金卡条检测结果信息集中展示区域;所述RGB三通道分离后对比并保留绿色通道图像;所述图像预处理中滤波采用高斯滤波,增强采用CLAHE,去噪采用纹理去噪。
3.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述图像预处理中,所述图像灰度化处理在所述RGB三通道分离完成后进行。
4.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述图像识别模块中,所述确定搜索范围根据胶体金卡条的类型确定;粗定位采用最小值法;细定位采用边缘检测法,在所述边缘检测法中采用梯度法。
5.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述图像识别模块中,在所述细定位的控制线范围内计算所述控制线灰度均值C;在所述细定位的测试线的范围内计算所述测试线灰度均值T。
6.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述评价函数模块中,根据所述细定位的测试线位置,向上扩展15~30行作为背景位置,取所述背景位置区域灰度值的平均数作为所述背景灰度均值B。
7.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述评价函数模块中,所述评价函数的计算公式为(B-T)/B。
8.根据权利要求1所述的图像数字化分析方法,其特征在于:在所述评价函数模块中,当所述评价函数的计算结果大于阈值时,判定检测结果为阳性,直接输出所述评价函数作为检测结果;当所述评价函数的计算结果小于或等于阈值时,采用测试线灰度直方图峰值提取弱阳特征信号,并重新计算所述评价函数。
9.根据权利要求1所述的图像数字化分析方法,其特征在于:与标准品浓度梯度实验结果结合,所述结果输出模块对所述数字化输出结果进行分级,对胶体金检测结果进行半定量分析。
10.权利要求1-9任一项中所述的图像数字化分析方法在胶体金检测中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410332020.2A CN117934471B (zh) | 2024-03-22 | 2024-03-22 | 一种对胶体金检测结果图的图像数字化分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410332020.2A CN117934471B (zh) | 2024-03-22 | 2024-03-22 | 一种对胶体金检测结果图的图像数字化分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117934471A true CN117934471A (zh) | 2024-04-26 |
CN117934471B CN117934471B (zh) | 2024-07-02 |
Family
ID=90752353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410332020.2A Active CN117934471B (zh) | 2024-03-22 | 2024-03-22 | 一种对胶体金检测结果图的图像数字化分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117934471B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279263A (zh) * | 2011-05-06 | 2011-12-14 | 杭州顿力医疗器械股份有限公司 | 一种ccd型胶体金免疫层析诊断试纸定量分析系统 |
CN107064503A (zh) * | 2017-05-16 | 2017-08-18 | 上海兰卫医学检验所股份有限公司 | 一种梅毒螺旋体抗体检测结果的判断方法及装置 |
CN107862350A (zh) * | 2016-09-29 | 2018-03-30 | 网易(杭州)网络有限公司 | 试纸检测方法、装置及系统 |
CN113313109A (zh) * | 2021-05-13 | 2021-08-27 | 中国计量大学 | 一种荧光免疫层析试纸的半定量分析方法 |
CN115267180A (zh) * | 2022-09-23 | 2022-11-01 | 南京晶捷生物科技有限公司 | 一种层析免疫检测方法及装置 |
-
2024
- 2024-03-22 CN CN202410332020.2A patent/CN117934471B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102279263A (zh) * | 2011-05-06 | 2011-12-14 | 杭州顿力医疗器械股份有限公司 | 一种ccd型胶体金免疫层析诊断试纸定量分析系统 |
CN107862350A (zh) * | 2016-09-29 | 2018-03-30 | 网易(杭州)网络有限公司 | 试纸检测方法、装置及系统 |
CN107064503A (zh) * | 2017-05-16 | 2017-08-18 | 上海兰卫医学检验所股份有限公司 | 一种梅毒螺旋体抗体检测结果的判断方法及装置 |
CN113313109A (zh) * | 2021-05-13 | 2021-08-27 | 中国计量大学 | 一种荧光免疫层析试纸的半定量分析方法 |
CN115267180A (zh) * | 2022-09-23 | 2022-11-01 | 南京晶捷生物科技有限公司 | 一种层析免疫检测方法及装置 |
Non-Patent Citations (2)
Title |
---|
刘星星等: "多功能食品安全综合快速现场检测仪设计", 食品安全质量检测学报, vol. 9, no. 4, 28 February 2018 (2018-02-28), pages 868 - 877 * |
赵友全等: "一种新型便携式甲霜灵胶体金试纸条显色分析仪的研制", 仪器仪表学报, vol. 30, no. 10, 31 October 2009 (2009-10-31), pages 2175 - 2179 * |
Also Published As
Publication number | Publication date |
---|---|
CN117934471B (zh) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111292305B (zh) | 一种改进型yolo-v3的金属加工表面缺陷检测方法 | |
CN106650770B (zh) | 一种基于样本学习和人眼视觉特性的mura缺陷检测方法 | |
CN102682305B (zh) | 宫颈液基细胞学自动筛查方法和系统 | |
CN115496918B (zh) | 基于计算机视觉的高速公路路况异常检测方法及系统 | |
CN110210448B (zh) | 一种智能人脸皮肤老化程度的识别与评估方法 | |
JP4948647B2 (ja) | 尿中粒子画像の領域分割方法及び装置 | |
CN109975196B (zh) | 一种网织红细胞检测方法及其系统 | |
US11790673B2 (en) | Method for detection of cells in a cytological sample having at least one anomaly | |
CN108133481A (zh) | 一种针对荧光免疫层析试条成像系统的图像处理算法 | |
Nguyen et al. | Cell splitting with high degree of overlapping in peripheral blood smear | |
CN115620075B (zh) | 白细胞分类模型用数据集的生成方法、系统及设备 | |
CN118115496B (zh) | 晶圆缺陷检测方法及装置 | |
CN114638832B (zh) | 一种基于分水岭算法的dpcr液滴荧光检测方法 | |
CN115980095A (zh) | 一种基于机器视觉的芯片外观检测方法及系统 | |
CN117934471B (zh) | 一种对胶体金检测结果图的图像数字化分析方法 | |
CN110458042B (zh) | 一种荧光ctc中的探针数目检测方法 | |
CN114742832B (zh) | 一种MiniLED薄板的焊接缺陷检测方法 | |
CN113435444B (zh) | 免疫层析检测方法、装置、存储介质及计算机设备 | |
JPH08145871A (ja) | 粒子画像の領域分割方法及び装置 | |
CN109448012A (zh) | 一种图像边缘检测方法及装置 | |
KR101782366B1 (ko) | 스케일 보정을 통한 표본 정규화가 수행되는 학습기반의 비전검사 방법 | |
JPS5830049B2 (ja) | 網赤血球自動計測装置 | |
CN111968136A (zh) | 一种煤岩显微图像分析方法及分析系统 | |
Boudet et al. | Semi-automated image analysis of gel electrophoresis of cerebrospinal fluid for oligoclonal band detection | |
Zhang et al. | A robust and high-performance white blood cell segmentation algorithm |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |