CN109035273A - 一种免疫层析试纸卡的图像信号快速分割方法 - Google Patents
一种免疫层析试纸卡的图像信号快速分割方法 Download PDFInfo
- Publication number
- CN109035273A CN109035273A CN201810898887.9A CN201810898887A CN109035273A CN 109035273 A CN109035273 A CN 109035273A CN 201810898887 A CN201810898887 A CN 201810898887A CN 109035273 A CN109035273 A CN 109035273A
- Authority
- CN
- China
- Prior art keywords
- image
- value
- doubtful
- signal
- curve
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012360 testing method Methods 0.000 title claims abstract description 49
- 238000004587 chromatography analysis Methods 0.000 title claims abstract description 41
- 238000005192 partition Methods 0.000 title claims abstract description 15
- 238000012937 correction Methods 0.000 claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 19
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000006835 compression Effects 0.000 claims abstract description 7
- 238000007906 compression Methods 0.000 claims abstract description 7
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 238000003709 image segmentation Methods 0.000 claims description 32
- 235000013399 edible fruits Nutrition 0.000 claims description 4
- 230000011664 signaling Effects 0.000 claims description 4
- 241001269238 Data Species 0.000 claims description 3
- 238000003317 immunochromatography Methods 0.000 description 9
- 239000013598 vector Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 6
- 239000002115 aflatoxin B1 Substances 0.000 description 5
- OQIQSTLJSLGHID-WNWIJWBNSA-N aflatoxin B1 Chemical compound C=1([C@@H]2C=CO[C@@H]2OC=1C=C(C1=2)OC)C=2OC(=O)C2=C1CCC2=O OQIQSTLJSLGHID-WNWIJWBNSA-N 0.000 description 5
- 229930020125 aflatoxin-B1 Natural products 0.000 description 5
- LINOMUASTDIRTM-QGRHZQQGSA-N deoxynivalenol Chemical compound C([C@@]12[C@@]3(C[C@@H](O)[C@H]1O[C@@H]1C=C(C([C@@H](O)[C@@]13CO)=O)C)C)O2 LINOMUASTDIRTM-QGRHZQQGSA-N 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- LINOMUASTDIRTM-UHFFFAOYSA-N vomitoxin hydrate Natural products OCC12C(O)C(=O)C(C)=CC1OC1C(O)CC2(C)C11CO1 LINOMUASTDIRTM-UHFFFAOYSA-N 0.000 description 5
- 238000010521 absorption reaction Methods 0.000 description 4
- 239000004816 latex Substances 0.000 description 4
- 229920000126 latex Polymers 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000012491 analyte Substances 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000031700 light absorption Effects 0.000 description 2
- 238000012123 point-of-care testing Methods 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 230000001502 supplementing effect Effects 0.000 description 2
- 241000228197 Aspergillus flavus Species 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000006071 cream Substances 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004870 electrical engineering Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- JKKCSFJSULZNDN-UHFFFAOYSA-N gonyautoxin v Chemical compound N=C1NC(COC(=O)NS(O)(=O)=O)C2NC(=N)NC22C(O)(O)CCN21 JKKCSFJSULZNDN-UHFFFAOYSA-N 0.000 description 1
- 239000002117 illicit drug Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种免疫层析试纸卡的图像信号快速分割方法，属于生物医学检测技术领域。包括以下步骤：(1)获取原始图像并转换成灰度图像；(2)将灰度图像压缩成一维曲线；(3)对一维曲线进行基线校正；(4)记录所有峰的位置并计算对应的信号占比；(5)找出灰度图像中所有的疑似信号区域并计算灰度直方图；(6)计算所有疑似信号区域的分割阈值；(7)分割对应的疑似信号区域；(8)去除噪声干扰和补充缺失信号；(9)分割C线和T线。本发明提出方法计算量小，结果准确，而且无需设置参数，容易在普通的嵌入式仪器上实现。
Description
技术领域
本发明属于生物医学检测技术领域，更具体地，涉及一种免疫层析试纸卡的图像信号快速分割方法。
背景技术
免疫层析技术是免疫检测快速简便化发展方向的一种具体技术，它的基本原理是抗体和抗原之间的相互作用。免疫层析技术灵敏度高、特异性强、检测结果准确快速、设备操作简单，完全符合即时检测(point of care testing，POCT)要求。目前，免疫层析技术已经被广泛应用在医学检测、食品安全检测、毒品检测、环境检测等领域。
随着实验人员对检测结果要求的不断提高，免疫层析技术从只能肉眼判断定性或者半定量检测，一直发展到如今的定量检测，在这个过程中图像处理起到了极大的作用。而在使用图像处理对免疫层析图像进行定量分析时，如何从免疫层析图像中准确分割出信号是其中很重要的一个环节。
目前已经有很多方法能够实现从免疫层析图像中准确分割信号。在专利“一种基于深信度网络的免疫层析试条定量检测方法”(申请号：201610156768.7)中提出了一种免疫层析试条的图像信号分割方法：采集若干不同浓度样品液的免疫层析试条图像作为训练图像，预处理后提取包含检测线和质控线的目标区域；以像素作为样本单位，选取适当的网络输入特征量，计算出每个样本的输入量从而获得训练样本；构造基于受限玻尔兹曼机的深信度网络，输入训练样本，完成深信度网络的训练；将待测样品液试条图像进行预处理，计算输入特征量，得到测试样本；将测试样本输入到已训练的深信度网络得到待测样品液的图像分割结果。
曾念寅(曾念寅.FCM聚类算法实现金免疫层析试条定量检测的研究[C].福州大学电气工程与自动化学院,2010.)设计出了一种金免疫层析试条的图像信号分割方法：首先采用基于均值操作的自适应滤波器对金免疫层析试条图像进行去噪，然后利用canny边缘检测算子进行边缘检测和数学形态学的开、闭环运算及填充空洞的算法提取金免疫层析试条图像的检测窗口，再根据检测出的边缘的上边界把检测窗口质控线部分截取掉，最后使用模糊C均值(FCM)聚类算法进行金免疫层析试条图像中检测线的分割。
目前已有的这些分割免疫层析图像信号的方法都包含一些需要非常大计算量的步骤，比如说构建深信度网络或者模糊C均值聚类分割，它们在实际应用中很难在普通的嵌入式仪器上实现。
发明内容
本发明解决了现有技术中分割免疫图像信号的方法计算量大的技术问题，提供了一种免疫层析试纸卡的图像信号快速分割方法，其目的在于通过简单的算法来实现试纸卡图像中C线和T线的分割，使其能够在普通的嵌入式仪器上实现。
为实现上述目的，本发明提供了一种免疫层析试纸卡的图像信号快速分割方法，其特征在于，含有以下步骤：
(1)采集待测免疫层析试纸卡的显色图像，获得原始图像，再将所述原始图像转换成灰度图像；
(2)将步骤(1)所述的灰度图像压缩成一维曲线；
(3)将步骤(2)所述的一维曲线进行基线校正，得到基线校正后曲线；
(4)步骤(3)所述基线校正后曲线上两端纵坐标值为零，且该纵坐标值为零的两端点之间纵坐标值为非零的连续点组成峰；将每个峰纵坐标为零的点分别记为该峰的起始点和终止点，将所述起始点和终止点的横坐标值分别作为该峰区间范围的两个端点；并计算各个峰对应的信号占比；
(5)根据步骤(4)中每一个峰的区间范围确定步骤(1)所述的灰度图像中每一个疑似信号区域，每一个疑似信号区域包含灰度图像中对应基线校正后曲线的峰的起始点和终止点之间的所有图像数据；再计算每一个疑似信号区域对应的灰度直方图；
(6)根据步骤(5)所述的每一个疑似信号区域对应的灰度直方图与步骤(4)所述的每一个峰对应的信号占比，计算每一个疑似信号区域对应的图像分割阈值；所述疑似信号区域对应的灰度直方图中小于所述分割阈值的所有灰度值对应的数量之和，大于所述疑似信号区域对应的灰度直方图中所有灰度值对应的数量之和乘以所述信号占比；
(7)根据步骤(6)所述的图像分割阈值分割对应的疑似信号区域，得到二值图像；
(8)对步骤(7)所述的二值图像进行噪声干扰的去除和缺失信号的补充，得到新的二值图像；
(9)根据步骤(8)所述的新的二值图像从步骤(1)所述的灰度图像中分割出免疫层析试纸卡的图像检测线和质控线的信号。
优选地，步骤(4)中所述起始点和终止点的横坐标值分别记为g和e，所述区间范围记为[g e]；步骤(5)中所述疑似信号区域为灰度图像中起始列为g，且终止列为e的所有图像数据；所述步骤(4)中，根据基线校正后曲线计算每一个峰的信号占比的方法是：
首先计算基线校正后曲线的导数曲线ZP，计算公式是：
其中，n是步骤(1)所述灰度图像中任意一行的像素点总数，j是基线校正后曲线上点的横坐标值，Pj是基线校正后曲线上横坐标为j的点的纵坐标值，是得到的导数曲线ZP上横坐标为j的点的纵坐标值；然后找到导数曲线ZP上每一个[g e]范围内纵坐标值最大点对应的横坐标值top和纵坐标最小值对应的横坐标值bottom；最后计算得到每一个峰的信号占比Ratio，计算公式是：
其中[g e]为步骤(4)中任一峰的范围，Ratio为峰范围是[g e]的峰的信号占比，每一个峰对应一个Ratio值。
优选地，所述步骤(6)中根据每一个疑似信号区域的灰度直方图以及其对应的信号占比计算图像分割阈值的方法是：
(1)计算所述疑似信号区域的灰度直方图中所有灰度值对应的数量之和sum；
(2)设定图像分割阈值grayscale，grayscale的初始值为2；
(3)计算所述疑似信号区域的灰度值小于grayscale的所有灰度值对应的数量之和sum1；
(4)如果sum1/sum大于Ratio，那么所述疑似信号区域的图像分割阈值为grayscale；如果sum1/sum小于等于Ratio，那么将所述grayscale加1，然后转入步骤(3)，直到sum1/sum大于Ratio，此时的grayscale值为所述疑似信号区域的图像分割阈值。
优选地，所述步骤(7)中根据图像分割阈值分割对应疑似信号区域的方法是：将疑似信号区域内灰度值大于对应图像分割阈值的像素点的灰度值变为0，记为背景点；将疑似信号区域内灰度值小于等于对应图像分割阈值的像素点的灰度值变为1，记为信号；得到二值图像。
优选地，所述步骤(8)中对二值图像进行噪声干扰去除和缺失信号补充的方法是：
首先将二值图像中每一个疑似信号区域进行压缩，公式是 其中1≤i≤m,g≤j≤e；其中m表示所述灰度图像任意一列的像素点总数，g是所述疑似信号区域的起始列，e是所述疑似信号区域的终止列，Uij是所述灰度图像中第i行第j列的像素点的灰度值，是所述疑似信号区域的纵向一维曲线Ys中横坐标为i的点的纵坐标值；
然后计算疑似信号压缩形成的纵向一维曲线上纵坐标值大于等于对应Ratio的点的数量num；
最后判断二值图像中疑似信号区域每一列灰度值为1的像素点的总数是否大于等于所述num，如果是，把该列所有像素点的灰度值变为1，如果不是，把该列所有像素点的灰度值变为0；当二值图像中所有列都判断结束，生成新的二值图像。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
(1)本发明涉及的免疫层析试纸卡图像信号分割方法，采用阈值分割法进行图像分割，极大地减少了计算量，能大大缩短图像分割所需要的时间，而且本发明提出的方法完全不需要设置参数，具有很好的自适应性。与现有技术相比，本发明提出的方法更加适用于内存只有几十到几百兆的嵌入式仪器，能够使嵌入式仪器实现快速自动化分割图像信号以进行定量分析，可以给开发便携式检测仪的人带来极大的便利。
(2)本发明提出的一种免疫层析试纸卡的图像信号快速分割方法通过将峰检测与阈值分割法相结合，能够做到局部阈值分割，拥有准确的图像分割结果。
(3)本发明提出了一种免疫层析试纸卡的图像信号快速分割方法。这种图像分割方法先通过峰检测为图像分割提供局部阈值，然后通过阈值分割法进行免疫层析图像信号分割，不仅避免了比较复杂的运算，大大减少了图像信号分割过程中的计算量，同时还提高了分割结果的准确度，除此之外，本发明提出的方法还无需设置参数，能够在嵌入式仪器上实现自动化图像分割。
附图说明
图1是图像信号快速分割算法流程图。
图2是普通免疫层析试纸卡示意图；其中：1-待测的免疫层析试纸卡；2-样品孔；3-观察窗口；4-质控线；5-检测线。
图3是黄曲霉毒素B1胶体金免疫层析试纸卡图像的处理过程图(其中(a)为灰度图像，(b)为一维曲线，(c)为导数曲线，(d)为方波周期曲线，(e)为基线校正后曲线，(f)为基线校正后曲线的导数曲线)。
图4是黄曲霉毒素B1胶体金免疫层析试纸卡图像处理过程中迭代算法计算噪声水平的过程图(其中(a)为找到峰的一维曲线，(b)为去掉峰的一维曲线，(c)为去掉峰的一维曲线的导数曲线)。
图5是黄曲霉毒素B1胶体金免疫层析试纸卡图像分割过程图(其中(a)为找到疑似信号区域的灰度图像，(b)为疑似信号区域①的灰度直方图，(c)为疑似信号区域②的灰度直方图，(d)为二值图像，(e)为疑似信号区域①的纵向一维曲线，(f)为疑似信号区域②的纵向一维曲线，(g)是去除噪声干扰和补充缺失信号的二值图像，(h)为分割出信号(C线和T线)的灰度图像)。
图6是呕吐毒素乳胶颗粒免疫层析试纸卡图像的处理过程图(其中(a)为灰度图像，(b)为一维曲线，(c)为导数曲线，(d)为方波周期曲线，(e)为基线校正后曲线，(f)为基线校正后曲线的导数曲线)。
图7是呕吐毒素乳胶颗粒免疫层析试纸卡图像分割过程图(其中(a)为找到疑似信号区域的灰度图像，(b)为疑似信号区域①的灰度直方图，(c)为疑似信号区域②的灰度直方图，(d)为二值图像，(e)为疑似信号区域①的纵向一维曲线，(f)为疑似信号区域②的纵向一维曲线，(g)是去除噪声干扰和补充缺失信号的二值图像，(h)为分割出信号(C线和T线)的灰度图像)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例1
本实施例通过处理黄曲霉毒素B1胶体金免疫层析试纸卡，来详细介绍本发明中的免疫层析试纸卡的图像信号快速分割方法，包括以下步骤：(1)首先将待测液滴加在黄曲霉毒素B1胶体金免疫层析试纸卡样品孔上，等待3分钟后，通过数码相机采集图像，捕获试纸卡的原始图像；然后将原始图像通过公式(Gray＝0.15*R+0.8*G+0.05*B(绿色光吸收最好，蓝色光吸收最差，红色光吸收一般，所以，y最大，z最小，x取两者之间的数))转换为灰度图像，如图3中(a)；
(2)首先将灰度图像压缩成一维曲线Y，如图3中(b)，计算公式为：(m＝84,n＝370)，其中U是84行370列的灰度图像，Uij是灰度图像中第i行第j列的像素点的灰度值，Yj是灰度图像第j列数据的灰度值的平均值，也是一维曲线Y中第j个点的纵坐标值；然后计算一维曲线Y的导数曲线Z，结果如图3中(c)，计算公式是：
其中，j是一维曲线Y中第j个点的横坐标值，Yj是一维曲线Y中第j个点的纵坐标值，Zj是得到的导数曲线Z上第j个点的纵坐标值；
(3)首先，估计一维曲线Y中所有峰的范围，结果是[107 149]、[259 299]，如图4中(a)，过程是：①根据递减找到一维曲线Y中所有峰起点可能存在的位置并将结果存在向量中公式是：Yu-1≤Yu>Yu+1>Yu+2>Yu+3(2≤u≤n-3)(其中u是一维曲线Y中第u个点的横坐标值，也是向量中峰起点的位置，Yu是一维曲线Y中第u个点的纵坐标值)；②根据递增找到一维曲线Y中所有峰终点可能存在的位置并将结果存在向量中公式是：Yv-3<Yv-2<Yv-1<Yv≥Yv+1(4≤v≤n-1)(其中v是一维曲线Y中第v个点的横坐标值，也是向量中峰终点的位置，Yv是一维曲线Y中第v个点的纵坐标值)；③最后根据公式Br-1<At<Br<At+1(其中At表示向量中第t个峰起点的位置，Br表示向量中第r个峰终点的位置)计算出一维曲线Y中所有峰的范围[107 149]、[259 299]；
然后去掉一维曲线Y上所有横坐标值在范围[107 149]、[259 299]内的点，剩下的点组成新的一维曲线Ynew，结果如图4中(b)，公式是： (1≤j≤n,且1≤k≤f)，其中k表示新的一维曲线Ynew上第k个点的横坐标值，表示新的一维曲线Ynew上第k个点的纵坐标值，j表示一维曲线Y上第j个点的横坐标值，Yj表示一维曲线Y上第j个点的纵坐标值，[At Br]表示一维曲线Y上所有峰的范围[107 149]、[259 299]，f表示新的一维曲线上点的总数，f为286；
再根据新的一维曲线Ynew计算其对应的新的导数曲线Znew，结果如图4中(c)，公式是：
其中，k表示新的一维曲线Ynew上第k个点的横坐标值，表示新的一维曲线Ynew上第k个点的纵坐标值，f表示新的一维曲线Ynew上点的总数，f为286，表示新的导数曲线Znew上第k个点的纵坐标值；
最后，新的导数曲线Znew通过迭代运算得到噪声水平为0.19，方法是：①计算导数曲线Znew标准差σ；②判断导数曲线Znew上是否存在纵坐标绝对值大于3倍标准差σ(行业内，一般认为机器信号要大于噪声的标准差的3倍)的点，如果存在，将这些点去掉，剩下的点组成新的Znew曲线，然后返回步骤①，如果不存在，迭代结束，返回最后一次计算的标准差σ值，最终计算得到的噪声水平是3σ。
(4)根据噪声水平将导数曲线Z转化为方波周期曲线，结果如图3中(d)，公式是：
其中，j是导数曲线Z上第j个点的横坐标值，Zj是导数曲线Z上第j个点的纵坐标值，3σ是导数曲线的噪声水平，3σ为0.19，Sj是方波周期曲线上第j个点的纵坐标值；
(5)首先找到方波周期曲线上所有相邻负-正方波的起点和终点，结果是[93158]、[249 307]；
然后通过线性插值计算得到基线，公式是：
其中，j是一维曲线Y上第j个点的横坐标值，Yj是一维曲线Y上第j个点的纵坐标值，g和e分别代表所有相邻负-正方波的起点和终点，[g e]代表[93 158]和[249 307]，Cj是基线上第j个点的纵坐标值；
最后，通过基线对一维曲线Y进行基线校正，结果得到基线校正后曲线，如图3中(e)，公式是：Pj＝Cj-Yj(1≤j≤n)，其中Cj是基线上第j个点的纵坐标值，Yj是一维曲线Y上第j个点的纵坐标值，Pj是基线校正后曲线上第j个点的纵坐标值；
(6)首先记录所有峰的范围，基线校正后曲线上每一段纵坐标值非零的连续点组成一个峰，每一个峰的前一个点和后一个点之间的范围就是峰的范围，本实施例中，所有的峰的范围和方波周期曲线上所有相邻负方波和正方波起点和终点之间的范围一致，所以峰的范围结果是[93 158]、[249 307]，然后根据基线校正后曲线计算所有峰的信号占比，结果是Ratio＝[0.25 0.28]，具体方法是：首先计算基线校正后曲线的导数曲线ZP，结果如图3中(f)，公式是：
其中，j是基线校正后曲线中第j个点的横坐标值，Pj是基线校正后曲线中第j个点的纵坐标值，是得到的导数曲线ZP上第j个点的纵坐标值；然后找到导数曲线ZP上每一个[g e]范围内纵坐标值最大点对应的横坐标值top和纵坐标最小值对应的横坐标值bottom，结果是：范围[93 158]对应top是120，bottom是136，范围[249 307]对应top是270，bottom是286；最后通过计算，得到每一个峰的信号占比Ratio＝[0.25 0.28]，公式是：
其中[g e]代表记录的所有峰的范围，[g e]为[93 158]和[249 307]，Ratio代表峰范围是[g e]的峰的信号占比，每一个峰对应一个Ratio值。
(7)首先，根据峰的范围可以找到灰度图像中对应的两个疑似信号区域，结果如图5中(a)；然后，计算两个疑似信号区域的灰度直方图，结果如图5中(b)和(c)；
(8)根据两个疑似信号区域的灰度直方图和它们各自对应的信号占比计算得到两个疑似信号区域的图像分割阈值，它们分别是198和214，方法是：①计算灰度直方图中所有灰度值对应的数量的总数sum；②计算灰度值小于grayscale(grayscale＝2)的所有灰度值对应的数量总数sum1；③如果sum1/sum小于等于Ratio，那么grayscale的值加1，然后返回步骤②，否则，停止运算，并且返回grayscale值，grayscale值就是对应疑似信号区域的图像分割阈值。
(9)将灰度图像中疑似信号区域内灰度值大于对应图像分割阈值的像素点的灰度值变为0，记为背景点，将疑似信号区域内灰度值小于等于对应图像分割阈值的像素点的灰度值变为1，记为信号点，最后得到二值图像，如图5中(d)；
(10)首先将二值图像中每一个疑似信号区域进行压缩，结果如图5中(e)、(f)，公式是(其中，U是m行n列的灰度图像，Uij是灰度图像中第i行第j列的像素点的灰度值，g是疑似信号区域的起始列，e是疑似信号区域的终止列，是疑似信号区域的纵向一维曲线Ys中第i个点的纵坐标值)；
然后计算每一个疑似信号区域压缩形成的纵向一维曲线上纵坐标值大于等于对应Ratio的点的数量num，Ratio＝[0.25 0.28]对应的num是num＝[35 58]；
最后判断二值图像中每一个疑似信号区域内每一列上灰度值为1的像素点的总数是否大于等于对应的num，如果是，把该列所有像素点的灰度值变为1，如果不是，把该列所有像素点的灰度值变为0。当二值图像中所有列都判断结束，生成新的二值图像，结果如图5中(g)；
(11)根据步骤(10)中得到的新的二值图像从灰度图像中分割出C线和T线，结果如图5中(h)，其中黑色框内(包括边框)就是C线和T线区域。
最后，通过分割结果可以得出结论，本发明提出的免疫层析试纸卡图像信号快速分割方法能够准确分割出黄曲霉毒素B1胶体金免疫层析试纸卡图像中的C线和T线。
实施例2
本实施例通过处理呕吐毒素乳胶颗粒免疫层析试纸卡，来详细介绍本发明中的免疫层析试纸卡的图像信号快速分割方法，包括以下步骤：(1)先将待测液滴加在呕吐毒素乳胶颗粒免疫层析试纸卡样品孔上，等待5分钟后，通过扫描仪采集图像，捕获试纸卡的原始图像；然后将原始图像通过公式(Gray＝0.2*R+0.7*G+0.1*B(绿色光吸收最好，蓝色光吸收最差，红色光吸收一般，所以，y最大，z最小，x取两者之间的数))转换为灰度图像，如图6中(a)；
(2)先将灰度图像压缩成一维曲线Y，如图6中(b)，计算公式为： (m＝77,n＝367)，其中U是77行367列的灰度图像，Uij是灰度图像中第i行第j列的像素点的灰度值，Yj是灰度图像第j列数据的灰度值的平均值，也是一维曲线Y中第j个点的纵坐标值；然后计算一维曲线Y的导数曲线Z，结果如图6中(c)，计算公式是：
其中，j是一维曲线Y中第j个点的横坐标值，Yj是一维曲线Y中第j个点的纵坐标值，Zj是得到的导数曲线Z上第j个点的纵坐标值；
(3)先将导数曲线从中间分割成左右两部分，然后记录左半部分的纵坐标最大值Lmax和纵坐标最小值Lmin以及右半部分的纵坐标最大值Rmax和纵坐标最小值Rmin，最后将导数曲线转化为方波周期曲线，结果如图6中(d)，公式是：
其中，j是导数曲线Z上第j个点的横坐标值，Zj是导数曲线Z上第j个点的纵坐标值，Sj是方波周期曲线上第j个点的纵坐标值；
(4)首先找到方波周期曲线上所有相邻负-正方波的起点和终点，结果是[91127]、[233 276]；
然后通过线性插值计算得到基线,公式是：
其中，j是一维曲线Y上第j个点的横坐标值，Yj是一维曲线Y上第j个点的纵坐标值，g和e分别代表所有相邻负-正方波的起点和终点，[g e]代表[91 127]、[233 276]，Cj是基线上第j个点的纵坐标值；
最后，通过基线对一维曲线Y进行基线校正，结果得到基线校正后曲线，如图6中(e)，公式是：Pj＝Cj-Yj(1≤j≤n),其中Cj是基线上第j个点的纵坐标值，Yj是一维曲线Y上第j个点的纵坐标值，Pj是基线校正后曲线上第j个点的纵坐标值；
(5)首先记录所有峰的范围，基线校正后曲线上每一段纵坐标值非零的连续点组成一个峰，每一个峰的前一个点和后一个点之间的范围就是峰的范围，本实施例中，所有的峰的范围和方波周期曲线上所有相邻负方波和正方波起点和终点之间的范围一致，所以峰的范围结果是结果是[91 127]、[233 276]，然后根据基线校正后曲线计算所有峰的信号占比，结果是Ratio＝[0.44 0.37]，具体方法是：首先计算基线校正后曲线的导数曲线ZP，结果如图6中(f),公式是：
其中，j是基线校正后曲线中第j个点的横坐标值，Pj是基线校正后曲线中第j个点的纵坐标值，是得到的导数曲线ZP上第j个点的纵坐标值；然后找到导数曲线ZP上每一个[g e]范围内纵坐标值最大点对应的横坐标值top和纵坐标最小值对应的横坐标值bottom，结果是：范围[91 127]对应top是102，bottom是118，范围[233 276]对应top是246，bottom是262；最后通过计算，得到每一个峰的信号占比Ratio＝[0.44 0.37]，公式是：
其中[g e]代表记录的所有峰的范围，[g e]为[91 127]和[233 276]，Ratio代表峰范围是[g e]的峰的信号占比，每一个峰对应一个Ratio值。
(6)首先，根据峰的范围可以找到灰度图像中对应的两个疑似信号区域，结果如图7中(a)；然后，计算两个疑似信号区域的灰度直方图，结果如图7中(b)和(c)；
(7)根据两个疑似信号区域的灰度直方图和它们各自对应的信号占比计算得到两个疑似信号区域的图像分割阈值，它们分别是184和226，方法是：①计算灰度直方图中所有灰度值对应的数量的总数sum；②计算灰度值小于grayscale(grayscale＝2)的所有灰度值对应的数量总数sum1；③如果sum1/sum小于等于Ratio，那么grayscale的值加1，然后返回步骤②，否则，停止运算，并且返回grayscale值，grayscale值就是对应疑似信号区域的图像分割阈值。
(8)将灰度图像中疑似信号区域内灰度值大于对应图像分割阈值的像素点的灰度值变为0，记为背景点，将疑似信号区域内灰度值小于等于对应图像分割阈值的像素点的灰度值变为1，记为信号点，最后得到二值图像，如图7中(d)；
(9)首先将二值图像中每一个疑似信号区域进行压缩，结果如图7中(e)、(f)，公式是(其中，U是m行n列的灰度图像，Uij是灰度图像中第i行第j列的像素点的灰度值，g是疑似信号区域的起始列，e是疑似信号区域的终止列，是疑似信号区域的纵向一维曲线Ys中第i个点的纵坐标值)；
然后计算每一个疑似信号区域压缩形成的纵向一维曲线上纵坐标值大于等于对应Ratio的点的数量num，Ratio＝[0.34 0.36]对应的num是num＝[36 31]；
最后判断二值图像中每一个疑似信号区域每一列灰度值为1的像素点的总数是否大于等于对应的num，如果是，把该列所有像素点的灰度值变为1，如果不是，把该列所有像素点的灰度值变为0。当二值图像中所有列都判断结束，生成新的二值图像，结果如图7中(g)；
(10)根据步骤(9)中得到的新的二值图像从灰度图像中分割出C线和T线，结果如图7中(h)，其中黑色框内(包括边框)就是C线和T线区域。
最后，通过分割结果可以得出结论，本发明提出的免疫层析试纸卡图像信号快速分割方法能够准确分割出呕吐毒素乳胶颗粒免疫层析试纸卡图像中的C线和T线。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种免疫层析试纸卡的图像信号快速分割方法，其特征在于，含有以下步骤：
(1)采集待测免疫层析试纸卡的显色图像，获得原始图像，再将所述原始图像转换成灰度图像；
(2)将步骤(1)所述的灰度图像压缩成一维曲线；
(3)将步骤(2)所述的一维曲线进行基线校正，得到基线校正后曲线；
(4)步骤(3)所述基线校正后曲线上两端纵坐标值为零，且该纵坐标值为零的两端点之间纵坐标值为非零的连续点组成峰；将每个峰纵坐标为零的点分别记为该峰的起始点和终止点，将所述起始点和终止点的横坐标值分别作为该峰区间范围的两个端点；并计算各个峰对应的信号占比；
(5)根据步骤(4)中每一个峰的区间范围确定步骤(1)所述的灰度图像中每一个疑似信号区域，每一个疑似信号区域包含灰度图像中对应基线校正后曲线的峰的起始点和终止点之间的所有图像数据；再计算每一个疑似信号区域对应的灰度直方图；
(6)根据步骤(5)所述的每一个疑似信号区域对应的灰度直方图与步骤(4)所述的每一个峰对应的信号占比，计算每一个疑似信号区域对应的图像分割阈值；所述疑似信号区域对应的灰度直方图中小于所述分割阈值的所有灰度值对应的数量之和，大于所述疑似信号区域对应的灰度直方图中所有灰度值对应的数量之和乘以所述信号占比；
(7)根据步骤(6)所述的图像分割阈值分割对应的疑似信号区域，得到二值图像；
(8)对步骤(7)所述的二值图像进行噪声干扰的去除和缺失信号的补充，得到新的二值图像；
(9)根据步骤(8)所述的新的二值图像从步骤(1)所述的灰度图像中分割出免疫层析试纸卡的图像检测线和质控线的信号。
2.如权利要求1所述的免疫层析试纸卡的图像信号快速分割方法，其特征在于，步骤(4)中所述起始点和终止点的横坐标值分别记为g和e，所述区间范围记为[g e]；步骤(5)中所述疑似信号区域为灰度图像中起始列为g，且终止列为e的所有图像数据；所述步骤(4)中，根据基线校正后曲线计算每一个峰的信号占比的方法是：
首先计算基线校正后曲线的导数曲线ZP，计算公式是：
其中，n是步骤(1)所述灰度图像中任意一行的像素点总数，j是基线校正后曲线上点的横坐标值，Pj是基线校正后曲线上横坐标为j的点的纵坐标值，是得到的导数曲线ZP上横坐标为j的点的纵坐标值；然后找到导数曲线ZP上每一个[g e]范围内纵坐标值最大点对应的横坐标值top和纵坐标最小值对应的横坐标值bottom；最后计算得到每一个峰的信号占比Ratio，计算公式是：
其中[g e]为步骤(4)中任一峰的范围，Ratio为峰范围是[g e]的峰的信号占比，每一个峰对应一个Ratio值。
3.如权利要求2所述的免疫层析试纸卡的图像信号快速分割方法，其特征在于，所述步骤(6)中根据每一个疑似信号区域的灰度直方图以及其对应的信号占比计算图像分割阈值的方法是：
(1)计算所述疑似信号区域的灰度直方图中所有灰度值对应的数量之和sum；
(2)设定图像分割阈值grayscale，grayscale的初始值为2；
(3)计算所述疑似信号区域的灰度值小于grayscale的所有灰度值对应的数量之和sum1；
(4)如果sum1/sum大于Ratio，那么所述疑似信号区域的图像分割阈值为grayscale；如果sum1/sum小于等于Ratio，那么将所述grayscale加1，然后转入步骤(3)，直到sum1/sum大于Ratio，此时的grayscale值为所述疑似信号区域的图像分割阈值。
4.如权利要求3所述的免疫层析试纸卡的图像信号快速分割方法，其特征在于，所述步骤(7)中根据图像分割阈值分割对应疑似信号区域的方法是：将疑似信号区域内灰度值大于对应图像分割阈值的像素点的灰度值变为0，记为背景点；将疑似信号区域内灰度值小于等于对应图像分割阈值的像素点的灰度值变为1，记为信号；得到二值图像。
5.如权利要求4所述的免疫层析试纸卡的图像信号快速分割方法，其特征在于，所述步骤(8)中对二值图像进行噪声干扰去除和缺失信号补充的方法是：
首先将二值图像中每一个疑似信号区域进行压缩，公式是 其中1≤i≤m,g≤j≤e；其中m表示所述灰度图像任意一列的像素点总数，g是所述疑似信号区域的起始列，e是所述疑似信号区域的终止列，Uij是所述灰度图像中第i行第j列的像素点的灰度值，是所述疑似信号区域的纵向一维曲线Ys中横坐标为i的点的纵坐标值；
然后计算疑似信号压缩形成的纵向一维曲线上纵坐标值大于等于对应Ratio的点的数量num；
最后判断二值图像中疑似信号区域每一列灰度值为1的像素点的总数是否大于等于所述num，如果是，把该列所有像素点的灰度值变为1，如果不是，把该列所有像素点的灰度值变为0；当二值图像中所有列都判断结束，生成新的二值图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810898887.9A CN109035273B (zh) | 2018-08-08 | 2018-08-08 | 一种免疫层析试纸卡的图像信号快速分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810898887.9A CN109035273B (zh) | 2018-08-08 | 2018-08-08 | 一种免疫层析试纸卡的图像信号快速分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109035273A true CN109035273A (zh) | 2018-12-18 |
| CN109035273B CN109035273B (zh) | 2021-08-20 |
Family
ID=64632376
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810898887.9A Active CN109035273B (zh) | 2018-08-08 | 2018-08-08 | 一种免疫层析试纸卡的图像信号快速分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035273B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110161234A (zh) * | 2019-03-18 | 2019-08-23 | 深圳和而泰智能控制股份有限公司 | 一种胶体金试纸检测方法 |
| CN111597503A (zh) * | 2020-05-11 | 2020-08-28 | 上海艾瑞德生物科技有限公司 | 一种多模式下胶体金峰值的计算方法 |
| CN111879744A (zh) * | 2020-08-06 | 2020-11-03 | 深圳市锦瑞生物科技有限公司 | 一种检测待测物浓度的方法、荧光免疫分析仪及存储介质 |
| CN112053299A (zh) * | 2020-08-27 | 2020-12-08 | 杭州安旭生物科技股份有限公司 | 一种基于胶体金免疫层析法的图像处理方法 |
| CN113112453A (zh) * | 2021-03-22 | 2021-07-13 | 深圳市华启生物科技有限公司 | 胶体金检测卡识别方法、系统、电子设备及存储介质 |
| CN113435444A (zh) * | 2021-06-29 | 2021-09-24 | 华中科技大学 | 免疫层析检测方法、装置、存储介质及计算机设备 |
| CN113866400A (zh) * | 2021-10-09 | 2021-12-31 | 广东粤港澳大湾区国家纳米科技创新研究院 | 快速毒检方法、一分钟快速毒检装置及分布式毒检系统 |
| CN114663434A (zh) * | 2022-05-25 | 2022-06-24 | 国家海洋局北海海洋技术保障中心 | 一种侧扫声呐影像的阴影判别方法 |
| CN116109815A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市易瑞生物技术股份有限公司 | 测试卡计算区域的定位方法、装置及终端设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015073878A1 (en) * | 2013-11-15 | 2015-05-21 | Ur Diet, Llc | Real-time satiety biofeedback |
| CN104914239A (zh) * | 2015-06-29 | 2015-09-16 | 上海交通大学 | 一种免疫层析试纸条检测设备 |
| CN105844333A (zh) * | 2016-03-18 | 2016-08-10 | 厦门大学 | 一种基于深信度网络的免疫层析试条定量检测方法 |
| CN106483285A (zh) * | 2016-09-22 | 2017-03-08 | 天津博硕东创科技发展有限公司 | 一种用于试纸条快速检测技术的被检物浓度计算方法 |
| CN107328776A (zh) * | 2017-06-23 | 2017-11-07 | 华中科技大学 | 一种免疫层析试纸卡的快速检测方法 |
| CN108133481A (zh) * | 2017-12-22 | 2018-06-08 | 必欧瀚生物技术（合肥）有限公司 | 一种针对荧光免疫层析试条成像系统的图像处理算法 |
-
2018
- 2018-08-08 CN CN201810898887.9A patent/CN109035273B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015073878A1 (en) * | 2013-11-15 | 2015-05-21 | Ur Diet, Llc | Real-time satiety biofeedback |
| CN104914239A (zh) * | 2015-06-29 | 2015-09-16 | 上海交通大学 | 一种免疫层析试纸条检测设备 |
| CN105844333A (zh) * | 2016-03-18 | 2016-08-10 | 厦门大学 | 一种基于深信度网络的免疫层析试条定量检测方法 |
| CN106483285A (zh) * | 2016-09-22 | 2017-03-08 | 天津博硕东创科技发展有限公司 | 一种用于试纸条快速检测技术的被检物浓度计算方法 |
| CN107328776A (zh) * | 2017-06-23 | 2017-11-07 | 华中科技大学 | 一种免疫层析试纸卡的快速检测方法 |
| CN108133481A (zh) * | 2017-12-22 | 2018-06-08 | 必欧瀚生物技术（合肥）有限公司 | 一种针对荧光免疫层析试条成像系统的图像处理算法 |
Non-Patent Citations (2)
| Title |
|---|
| NIANYIN ZENG等: "《Image-Based Quantitative Analysis of Gold Immunochromatographic Strip via Cellular Neural Network Approach》", 《IEEE TRANSACTIONS ON MEDICAL IMAGING》 * |
| 江成彦 等: "《基于图像特征的胶体金层析定量分析法》", 《第五届全国几何设计与计算学术会议》 * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110161234A (zh) * | 2019-03-18 | 2019-08-23 | 深圳和而泰智能控制股份有限公司 | 一种胶体金试纸检测方法 |
| CN111597503A (zh) * | 2020-05-11 | 2020-08-28 | 上海艾瑞德生物科技有限公司 | 一种多模式下胶体金峰值的计算方法 |
| CN111597503B (zh) * | 2020-05-11 | 2023-11-10 | 上海艾瑞德生物科技有限公司 | 一种多模式下胶体金峰值的计算方法 |
| CN111879744A (zh) * | 2020-08-06 | 2020-11-03 | 深圳市锦瑞生物科技有限公司 | 一种检测待测物浓度的方法、荧光免疫分析仪及存储介质 |
| CN112053299B (zh) * | 2020-08-27 | 2022-07-19 | 杭州安旭生物科技股份有限公司 | 一种基于胶体金免疫层析法的图像处理方法 |
| CN112053299A (zh) * | 2020-08-27 | 2020-12-08 | 杭州安旭生物科技股份有限公司 | 一种基于胶体金免疫层析法的图像处理方法 |
| CN113112453B (zh) * | 2021-03-22 | 2022-03-22 | 深圳市华启生物科技有限公司 | 胶体金检测卡识别方法、系统、电子设备及存储介质 |
| CN113112453A (zh) * | 2021-03-22 | 2021-07-13 | 深圳市华启生物科技有限公司 | 胶体金检测卡识别方法、系统、电子设备及存储介质 |
| CN113435444A (zh) * | 2021-06-29 | 2021-09-24 | 华中科技大学 | 免疫层析检测方法、装置、存储介质及计算机设备 |
| CN113866400A (zh) * | 2021-10-09 | 2021-12-31 | 广东粤港澳大湾区国家纳米科技创新研究院 | 快速毒检方法、一分钟快速毒检装置及分布式毒检系统 |
| CN113866400B (zh) * | 2021-10-09 | 2023-09-26 | 武汉纳达康生物科技有限公司 | 快速毒检方法、一分钟快速毒检装置及分布式毒检系统 |
| CN114663434A (zh) * | 2022-05-25 | 2022-06-24 | 国家海洋局北海海洋技术保障中心 | 一种侧扫声呐影像的阴影判别方法 |
| CN116109815A (zh) * | 2023-04-11 | 2023-05-12 | 深圳市易瑞生物技术股份有限公司 | 测试卡计算区域的定位方法、装置及终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109035273B (zh) | 2021-08-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035273A (zh) | 一种免疫层析试纸卡的图像信号快速分割方法 | |
| Zahran et al. | Automatic weld defect identification from radiographic images | |
| CN109409190A (zh) | 基于梯度直方图和Canny边缘检测器的行人检测方法 | |
| CN107328776B (zh) | 一种免疫层析试纸卡的快速检测方法 | |
| US11593656B2 (en) | Using a first stain to train a model to predict the region stained by a second stain | |
| CN104198695B (zh) | 一种对胶体金试纸条显色结果分析的方法 | |
| CN103900972B (zh) | 基于多特征融合的肉类新鲜度高光谱图像可视化检测 | |
| Li et al. | Modified local entropy-based transition region extraction and thresholding | |
| CN108038513A (zh) | 一种肝脏超声图像的特征分类方法 | |
| CN110188774A (zh) | 一种基于深度学习的电涡流扫描图像分类识别方法 | |
| CN110161233A (zh) | 一种免疫层析试纸卡的快速定量检测方法 | |
| KR102141302B1 (ko) | 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치 | |
| JP7427080B2 (ja) | 細胞検出およびセグメンテーションのための弱教師ありマルチタスク学習 | |
| CN105466921A (zh) | 一种多样品同时检测的方法 | |
| CN107610119A (zh) | 基于直方图分解的带钢表面缺陷精准检测方法 | |
| CN108876772A (zh) | 一种基于大数据的肺癌图像诊断系统及方法 | |
| Wang et al. | The PAN and MS image fusion algorithm based on adaptive guided filtering and gradient information regulation | |
| CN110533025A (zh) | 基于候选区域提取网络的毫米波人体图像检测方法 | |
| CN108073940A (zh) | 一种非结构化环境中的3d目标实例物体检测的方法 | |
| El-Tokhy et al. | Classification of welding flaws in gamma radiography images based on multi-scale wavelet packet feature extraction using support vector machine | |
| CN110321869A (zh) | 基于多尺度融合网络的人员检测和提取方法 | |
| CN107300562A (zh) | 一种测量继电器成品触点间距的x射线无损检测方法 | |
| Satone et al. | Automatic bruise detection in fruits using thermal images | |
| CN112184627A (zh) | 基于图像处理与神经网络的柑橘保鲜品质检测方法及应用 | |
| CN113962968B (zh) | 面向复杂电磁环境下多源混合干扰雷达图像目标检测系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |