CN112289377A - 检测图像上的亮斑的方法、装置和计算机程序产品 - Google Patents
检测图像上的亮斑的方法、装置和计算机程序产品 Download PDFInfo
- Publication number
- CN112289377A CN112289377A CN201810963045.7A CN201810963045A CN112289377A CN 112289377 A CN112289377 A CN 112289377A CN 201810963045 A CN201810963045 A CN 201810963045A CN 112289377 A CN112289377 A CN 112289377A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- value
- pixel point
- preprocessed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004590 computer program Methods 0.000 title claims description 7
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000001514 detection method Methods 0.000 claims abstract description 54
- 150000007523 nucleic acids Chemical class 0.000 claims abstract description 31
- 238000007781 pre-processing Methods 0.000 claims abstract description 26
- 108020004707 nucleic acids Proteins 0.000 claims abstract description 24
- 102000039446 nucleic acids Human genes 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 14
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 108091028043 Nucleic acid sequence Proteins 0.000 abstract description 7
- 238000012163 sequencing technique Methods 0.000 description 33
- 230000003287 optical effect Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000012634 optical imaging Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007671 third-generation sequencing Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000001712 DNA sequencing Methods 0.000 description 1
- 238000003559 RNA-seq method Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000002773 nucleotide Substances 0.000 description 1
- 125000003729 nucleotide group Chemical group 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- PJVWKTKQMONHTI-UHFFFAOYSA-N warfarin Chemical compound OC=1C2=CC=CC=C2OC(=O)C=1C(CC(=O)C)C1=CC=CC=C1 PJVWKTKQMONHTI-UHFFFAOYSA-N 0.000 description 1
- 229960005080 warfarin Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种对图像上的亮斑进行检测的方法、装置和终端。所称图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该方法包括:预处理所述图像,获得预处理后的图像;确定临界值以简化预处理后的图像,获得简化图像;基于预处理后的图像确定第一亮斑检测阈值c1;基于预处理后的图像和简化图像识别图像上的候选亮斑,包括判定满足a)‑c)中的至少两个条件的像素点矩阵为一个候选亮斑。该方法能够快速有效地实现图像上的亮斑的准确检测,特别是对采集自核酸序列测定反应的图像。
Description
技术领域
本发明涉及图像处理领域,特别是一种检测图像上的亮斑的方法、一种检测图像上的亮斑的装置和一种计算机程序产品。
背景技术
在相关技术中,图像上的亮斑定位在基因测序仪和LED灯光点中都有重要应用。
在利用光学成像原理进行序列测定的系统中,例如核酸序列测定,图像分析是很重要的一块,依靠对图像上的亮斑的检测识别、以及将检测识别的亮斑转化成碱基/核苷酸序列以实现核酸序列的测定。图像上亮斑的检测和定位的准确性直接决定了基因测序的准确性。
在核酸序列测定应用中,如何简单、快速和/或有效地检测出图像上的亮斑以及利用该些亮斑信息或者说准确读取这些亮斑信息,有待开发和改进。
发明内容
本发明实施方式旨在至少解决相关技术中存在的技术问题之一或者至少提供一种可选择的实用方案。
依据本发明的一个实施方式,提供一种对图像上的亮斑进行检测的方法,所称图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该方法包括:预处理图像,获得预处理后的图像;确定临界值以简化预处理后的图像,包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;基于预处理后的图像确定第一亮斑检测阈值c1;基于预处理后的图像和简化图像识别图像上的候选亮斑,包括判定满足以下条件的像素点矩阵为一个候选亮斑,a)在预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,b)在简化图像中,像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为该m1*m2范围的像素,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
依据本发明的另一个实施方式,提供一种一种检测图像上的亮斑的装置,该装置用以实施上述本发明实施方式中的检测图像上的亮斑的方法,所称图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该装置包括:预处理单元,用于预处理图像,获得预处理后的图像;简化单元,用于确定临界值以简化来自预处理单元的预处理后的图像,包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;第一阈值确定单元,用于基于来自预处理单元的预处理后的图像确定第一亮斑检测阈值c1;候选亮斑确定单元,用于基于来自预处理单元的预处理后的图像和来自简化单元的简化图像识别图像上的候选亮斑,包括判定满足以下条件的像素点矩阵为一个候选亮斑,a)在预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,b)在简化图像中,像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为m1*m2范围的像素值,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
依据本发明的再一个实施方式,提供一种计算机可读存储介质,用于存储供计算机执行的程序,执行程序包括完成上述任一实施方式中的图像上的亮斑检测方法。计算机可读存储介质可以包括:只读存储器、随机存储器、磁盘或光盘等。
依据本发明的又一个实施方式,提供一种计算机程序产品,该产品包括实现图像上的亮斑的检测的指令,该指令在计算机执行程序时,使计算机执行上述本发明实施方式中的亮斑检测方法的部分或所有步骤。
所称的“亮点”或“亮斑”,指图像上的发光点,一个发光点占有至少一个像素点。所称“像素点”同“像素”。
在本发明的实施方式中,图像来自利用光学成像原理进行序列测定的测序平台,所称的测序平台包括但不限于华大基因BGI-seq、Illumina/Solexa、Life TechnologiesABI SOLiD和Roche 454等测序平台,对所称的“亮斑”的检测为对延伸碱基或碱基簇的光学信号的检测。
依据上述本发明任一实施方式提供的检测图像上的亮斑的方法、装置和系统/计算机程序产品,能够快速有效地实现图像上的亮斑(spots或者peaks)的检测,特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制,适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析,包括用以对焦追焦的图像质量评估,包括用以碱基识别的图像处理分析等,具有高准确性和高效的特点,能从图像中获取更多的代表序列的信息。
需要说明的,目前已知的测序图像上的亮斑识别定位方法和/或系统基本是针对来自二代测序平台的图像开发的,由于二代测序使用的测序芯片多数是阵列型的,即测序芯片上的探针是规则排列的,拍照获得的图像是模式(pattern)图像,通常图像上的信号是有规则的,有效信号的准确识别相对容易;另外,由于二代测序一般包含核酸模板的信号放大(例如扩增),一般一个核酸模板是以一个包含至少成百上千个拷贝的簇(cluster)的形式存在,即该核酸模板的信号是大量的该核酸模板分子的信号集,可以理解地,体现到图像上的信号较强和/或具有特定形态特征,也可以说与非目标信号差异较明显,相对易于识别定位。因此,一般的二代测序的图像上的亮斑检测不需要特别的图像处理以及不要求对对应序列信息的亮斑的识别进行全面和高准确的识别判断,就能获得大量的对应序列的亮斑信号,继而识别转化亮斑信号为序列信息。
而对于三代测序即单分子测序,受限于目前芯片表面处理相关技术的发展,其使用的测序芯片是随机型的,即测序芯片上的探针是无规则排列,拍照获得的图像是随机(random)图像,不易处理分析;而且,一般的单分子测序由于不包含核酸模板的方法,核酸模板以单个分子或少数几个分子的形式存在,体现在图像上是微弱的、易被干扰/淹没的信号,对应核酸分子的亮斑的准确识别以及识别得的亮斑的量,直接决定下机通量和有效数据量的高低,一般地,单分子测序对图像处理、亮点定位的要求高,希望图像上的所有有效亮斑都能被识别出以及准确定位,以使能够获得尽可能多的准确数据。所称的“单分子”指一个或少数几个分子,例如不超过10个分子。
本发明的实施方式的图像上的亮斑的检测方法、装置和/或相应的计算机产品,适应用于测序图像上的亮斑检测,特别是对于随机图像及高准确度要求的信号识别,尤其具有优势。
本发明实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明实施方式的实践了解到。
附图说明
图1是本发明具体实施方式中的检测图像上的亮斑的方法的流程示意图。
图2是本发明具体实施方式中的像素点矩阵和连通像素示意图。
图3是本发明具体实施方式中的简化图像上相应的以像素点矩阵的中心像素点为中心的m1*m2范围的像素值示意图。
图4是本发明具体实施方式中的检测图像上的亮斑的方法的流程示意图。
图5是本发明具体实施方式中的进行S50和不进行S50的亮斑检测结果示意图。
图6是本发明具体实施方式中的检测图像上的亮斑的装置的示意图。
图7是本发明具体实施方式中的检测图像上的亮斑的装置的示意图。
具体实施方式
下面详细描述本发明的实施方式,实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者顺序。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
本发明实施方式所称的测序,也称为序列测定,指核酸序列测定,包括DNA测序和/或RNA测序,包括长片段测序和/或短片段测序。
测序可以通过测序平台进行,测序平台可选择但不限于Illumina公司的Hisq/Miseq/Nextseq测序平台、Thermo Fisher/Life Technologies公司的Ion Torrent平台、华大基因的BGISEQ平台和单分子测序平台;测序方式可以选择单端测序,也可以选择双末端测序;获得的测序结果/数据即测读出来的片段,称为读段(reads)。读段的长度称为读长。
请参阅图1,本发明实施方式的一种对图像上的亮斑进行检测的方法,图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,该方法包括:S10预处理图像,获得预处理后的图像;S20确定临界值以简化预处理后的图像,包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;S30基于预处理后的图像确定第一亮斑检测阈值c1;S40基于预处理后的图像和简化图像识别图像上的候选亮斑,包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个候选亮斑,a)在预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,b)在简化图像中,像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为该m1*m2范围的像素,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
该检测图像上的亮斑的方法,包括判断条件或判断条件的组合是发明人通过大量数据训练确定的,该方法能够快速有效地实现图像上的亮斑的检测,特别是对采集自核酸序列测定反应的图像。该方法对待检测图像即原始输入数据没有特别的限制,适用于任何利用光学检测原理进行核酸序列测定的平台所产生的图像的处理分析,包括但不限于二代和三代测序,具有高准确性和高效的特点,能从图像中获取更多的代表序列的信息。特别是对于随机图像及高准确度要求的信号识别,尤其具有优势。
对于灰度图像,像素值同灰度值。若图像是彩色图像,彩色图像的一个像素点具有三个像素值,可以将彩色图像转化为灰度图像,再进行亮斑检测,以降低图像检测过程的计算量和复杂度。可选择但不限于利用浮点算法、整数方法、移位方法或平均值法等将非灰度图像转换成灰度图像。
在某些具体实施方式中,S10预处理图像,包括:利用开运算确定图像的背景;基于背景,利用顶帽运算将图像转化为第一图像;对第一图像进行高斯模糊处理,获得第二图像;对第二图像进行锐化,以获得所称的预处理后的图像。如此,能对图像进行有效的降噪或者说提高图像的信噪比,利于亮斑的准确检测。
开运算是一种形态学处理,即先膨胀后腐蚀的过程,腐蚀操作会使得前景(感兴趣的部分)变小,而膨胀会使得前景变大;开运算可以用来消除小物体,在纤细点处分离物体,并且在平滑较大物体的边界的同时不明显改变其面积。该实施方式对图像做开运算的结构元p1*p2(用来处理图像的基本模板)的大小不作特别限制,p1和p2为奇数。在一个示例中,结构元p1*p2可以为15*15、31*31等,最终都能够获得利于后续处理分析的预处理后的图像。
顶帽运算往往用来分离比临近点(亮点/亮斑)亮一些的斑块,在一幅图像具有大幅的背景,而微小物品比较有规律的情况下,可以使用顶帽运算进行背景提取。在一个示例中,对图像进行顶帽变换包括先对图像做开运算,进而利用原图像减去开运算结果,获得第一图像即顶帽变换后的图像。顶帽变换的数学表达式为dst=tophat(src,element)=src-open(src,element)。发明人认为,开运算的结果放大了裂缝或者局部低亮度的区域,因此从原图中减去开运算后的图,得到的图像突出了比原图轮廓周围的区域更明亮的区域,这一操作与选择的核的大小相关,可以认为与亮点/亮斑的预期大小相关,若亮点不是预期大小,处理后的效果会使得整张图产生许多小凸起,具体可以参考虚焦图片,即亮点/亮斑晕染成一团。在一个示例中,亮点的预期大小即选择的核的大小为3*3,得到的顶帽变换后的图像利于后续进一步去噪处理。
高斯模糊(Gaussian Blur)也称为高斯滤波,是一种线性平滑滤波,适用于消除高斯噪声,广泛应用于图像处理的减噪过程。通俗的讲,高斯滤波就是对整幅图像进行加权平均的过程,每一个像素点的值,都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是:用一个模板(或称卷积、掩模)扫描图像中的每一个像素,用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。在一个示例中,对第一图像进行高斯模糊处理,在OpenCV中使用高斯滤波GaussianBlur函数进行,高斯分布参数Sigma取0.9,所使用的二维滤波器矩阵(卷积核)是3*3,从图像角度看经过该高斯模糊处理后,第一图像上的小突起被抹平,图像边缘光滑。进一步地,对第二图像即高斯过滤后的图像进行锐化,例如进行二维拉普拉斯锐化,从图像角度看经过处理后,边缘被锐化,高斯模糊后的图像得以恢复。
在某些具体实施方式中,S20包括:基于背景和预处理后的图像,确定临界值;比较预处理后的图像上的像素点的像素值与临界值,对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值,获得简化图像。如此,根据发明人大量测试数据总结的确定临界值的方式以及确定的临界值,据此将预处理后的图像简化,例如二值化,利于后续亮斑准确检测,利于后续碱基准确识别、获得高质量数据等。
具体地,在某些具体实施方式中,S20包括,将S10获得的锐化后的结果除以开运算结果,获得和图像像素点对应的一组数值;通过该组数值,确定二值化预处理后的图像的临界值。例如,可将该组数值按大小升序排列,取该组数值中第20、30或40百分位数对应的数值作为二值化临界值/阈值。如此,获得的二值化图像利于后续亮斑的准确检测识别。
在一个示例中,S10图像预处理时的开运算的结构元为p1*p2,所称的将预处理后的图像(锐化后的结果)除以开运算结果,获得一组和结构元一样大小的数组/矩阵p1*p2,在每个数组中,将该数组包含的p1*p2个数值按大小升序排列,取该数组中第三十百分位数对应的数值作为该区域(数值矩阵)的二值化临界值/阈值,如此,分别确定阈值对图像上的各个区域进行二值化,最终获得的二值化结果在去噪的同时更加突出真实信息,利于后续亮斑的准确检测。
在某些具体实施方式中,S30包括利用大津法进行第一亮斑检测阈值的确定。大津法(OTSU算法)也可称为最大类间方差法,大津法利用类间方差最大来分割图像,意味着错分概率小,准确性高。假设预处理后的图像的前景和背景的分割阈值为T(c1),属于前景的像素点数占整幅图像的比例为w0,其平均灰度为μ0;属于背景的像素点数占整幅图像的比例为w1,其平均灰度为μ1。待处理图像的总平均灰度记为μ,类间方差记为var,则有:
μ=ω0*μ0+ω1*μ1;var=ω0(μ0-μ)2+ω1(μ1-μ)2,将后者代入前者,得到等价公式:var=ω0ω1(μ1-μ0)2。采用遍历的方法得到使类间方差最大的分割阈值T,即为所求的第一亮斑检测阈值c1。
在某些具体实施方式中,S40基于预处理后的图像和简化图像识别图像上的候选亮斑,包括判断同时满足a)-c)三个条件的像素点矩阵为一个候选亮斑。如此,能有效地提高后续基于亮斑信息确定核酸序列的准确性和下机数据的质量。
具体地,在一个示例中,候选亮斑的判定需要满足的条件包括a),k1、k2可以相等也可以不相等。在一个示例中,成像系统相关参数为:物镜60倍,电子传感器的尺寸为6.5μm,经过显微镜成的像再经过电子传感器,能看到的最小尺寸为0.1μm,获得的图像或者输入的图像可为512*512、1024*1024或2048*2048的16位的灰度或彩色图像,k1和k2的取值范围均为大于1且小于10。在一个示例中,在一个预处理后的图像中,依据亮斑的预期大小设置k1=k2=3;在另一个示例中,设置k1=k2=5。
在一个示例中,候选亮斑的判定需要满足的条件包括b),在简化图像中,像素点矩阵的中心像素点的像素值为第二预设值,并且该像素点矩阵的连通像素大于即中心像素点的像素值大于临界值且连通像素大于矩阵的三分之二。这里,相邻的像素值都为第二预设值的两个或多个像素为所称的相连像素/连通像素(pixel connectivity),例如,简化图像为二值化图像,第一预设值为0,第二预设值为1,如图2所示,加粗加大的表示所称的像素点矩阵的中心,粗线框表示像素点矩阵3*3,即k1=k2=3,该矩阵的中心像素点的像素值为1,连通像素为4(小于),该像素点矩阵不满足条件b),非候选亮斑。
在一个示例中,候选亮斑的判定需要满足的条件包括c),在预处理图像中,g2为修正后的m1*m2范围的像素,即为修正后的m1*m2范围像素总和。在一个例子中,依据简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行修正,例如,如图3所示,m1=m2=5,所称的简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例为13/25(13个“1”),修正后的g2为原来的13/25。如此,利于更准确的检测识别亮斑,利于后续亮斑信息的分析读取。
在某些具体实施方式中,如图4所示,该方法还包括S50确定候选亮斑是否为亮斑。在一个示例中S50包括:基于预处理后的图像确定第二亮斑检测阈值,以及判定像素值不小于第二亮斑检测阈值的候选亮斑为亮斑。在具体示例中,以候选亮斑的坐标所在的像素点的像素值作为该候选亮斑的像素值。通过利用基于预处理后的图像确定的第二亮斑检测阈值对候选亮斑的进一步筛选,能够排除掉至少一部分更可能是图像背景但亮度(强度)和/或形状表现为“亮斑”的亮斑,利于后续基于亮斑的序列的准确识别,提高下机数据的质量。
在一个示例中,可利用重心法获取候选亮斑的坐标,包括亚像素级坐标。利用双线性插值法计算候选亮斑的坐标位置的灰度值。
在某些具体示例中,S50包括:将预处理后的图像划分为预定大小的一组区域(block),对该区域中的像素点的像素值进行排序,以确定该区域对应的第二亮斑检测阈值;对于位于区域的候选亮斑,判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为亮斑。如此,区分图像的不同区域的差异比如光强的整体落差,分开进行亮斑的进一步检测识别,利于准确识别亮斑并且获得更多的亮斑。
所称的将预处理后的图像划分为预定大小的一组区域(block),block之间可以有重叠也可以没有重叠。在一个示例中,block之间没有重叠。在一些实施例中,预处理后的图像的大小不小于512*512,例如为512*512、1024*1024、1800*1800或者2056*2056等,所称预定大小的区域可以设为为200*200。如此,利于快速计算判断识别亮斑。
在一些实施例中,确定该区域对应的第二亮斑检测阈值时,对每个block中的像素点的像素值按大小进行升序排列,取p10+(p10-p1)*4.1作为该block对应的第二亮斑检测阈值,即该block的背景,p1表示第百分之一分位的像素值,p10表示第百分之十分位的像素值。该阈值是发明人通过大量数据训练测试得出的较为稳定的阈值,能够消除大量背景上的亮斑。可以理解地,当光学系统调整,图像整体像素分布发生改变时,此阈值可能需要适当调整。图5为进行该S50前后的对比示意图,即排除掉区域背景前后的亮斑检测结果示意图,图5的上半部分为进行S50的亮斑检测结果、下半部分为不进行S50的亮斑检测结果,十字标记的为候选亮斑或亮斑。
上述在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的序列表,可以具体实现在任何计算机可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读存储介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
请参阅图6,本发明实施方式的一种检测图像上的亮斑的装置1000,该装置用以实现上述本发明任一实施例中的检测图像上的亮斑的方法,所称的图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分核酸分子在图像上表现为亮斑,装置包括:预处理单元100,用于预处理图像,获得预处理后的图像;简化单元200,用于确定临界值以简化来自预处理单元的预处理后的图像,包括对小于临界值的预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于临界值的预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;第一阈值确定单元300,用于基于来自预处理单元的预处理后的图像确定第一亮斑检测阈值c1;候选亮斑确定单元400,用于基于来自预处理单元的预处理后的图像和来自简化单元的简化图像识别图像上的候选亮斑,包括判定满足以下条件的像素点矩阵为一个候选亮斑,a)在预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,b)在简化图像中,像素点矩阵的中心像素点的像素值为第二预设值并且像素点矩阵的连通像素大于以及c)在预处理后的图像中的像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为m1*m2范围的像素值,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
上述对本发明任一实施方式中的图像上的亮斑的检测方法的优点和技术特征的描述,同样适用本发明这一实施方式中的亮斑检测装置,在此不再赘述。
例如,如图7所示,在一些示例中,该装置1000还包括第二阈值确定单元500和亮斑确定单元600,第二阈值确定单元500用于基于来自预处理单元的预处理后的图像确定第二亮斑检测阈值,亮斑确定单元600用于判定像素值不小于第二亮斑检测阈值的候选亮斑为亮斑。
在一些示例中,所称的候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值。
在一些示例中,第二阈值确定单元500用于将预处理后的图像划分为预定大小的一组区域,对该区域中的像素点的像素值进行排序,以确定该区域对应的第二亮斑检测阈值;亮斑确定单元用于对于位于区域的候选亮斑,判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为亮斑。
在一些示例中,预处理单元100用于进行以下:利用开运算确定图像的背景,基于背景,利用顶帽运算将图像转化为第一图像,对第一图像进行高斯模糊处理,获得第二图像,对第二图像进行锐化,获得预处理后的图像。
在一些示例中,简化单元200用于,基于背景和预处理后的图像,确定临界值,比较预处理后的图像上的像素点的像素值与临界值,以获得简化图像。
在一些示例中,g2为修正后的m1*m2范围的像素,依据简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例以修正m1*m2范围的像素。
本发明的实施方式还提供一种计算机程序产品,该产品包括实现检测图像上的亮斑的指令,指令在计算机执行程序时,使计算机执行上述任一实施例中的检测图像上的亮斑的方法的全部或部分步骤。
本领域技术人员知晓,除了以纯计算机可读程序代码方式实现控制器/处理器外,完全可以通过将方法步骤进行逻辑变成来使得控制器以逻辑门、开关、专用集成电路、可编辑逻辑控制器和嵌入微控制器等的形式来实现相同的功能。因此,这种控制器/处理器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的的软件模块又可以是硬件部件内的结构。
在本说明书的描述中,一个实施方式、一些实施方式、一个或一些具体实施方式、一个或一些实施例、示例等的描述意指结合该实施方式或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构等特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例,本领域的普通技术人员可以理解:在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由权利要求及其等同限定。
Claims (9)
1.一种对图像上的亮斑进行检测的方法,其特征在于,所述图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分所述核酸分子在所述图像上表现为亮斑,所述方法包括:
预处理所述图像,获得预处理后的图像;
确定临界值以简化所述预处理后的图像,包括对小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;
基于所述预处理后的图像确定第一亮斑检测阈值c1;
基于所述预处理后的图像和所述简化图像识别所述图像上的候选亮斑,包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个所述候选亮斑,
a)在所述预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,所述像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,
c)在所述预处理后的图像中的所述像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以所述像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为该m1*m2范围的像素,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
2.权利要求1的方法,其特征在于,还包括判定所述候选亮斑是否为所述亮斑,包括:
基于所述预处理后的图像确定第二亮斑检测阈值,以及判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑;
任选的,所述候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值;
任选的,所述基于预处理后的图像确定第二亮斑检测阈值,判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑,包括:
将所述预处理后的图像划分为预定大小的一组区域,
对该区域中的像素点的像素值进行排序,以确定该区域对应的第二亮斑检测阈值,
对于位于所述区域的候选亮斑,判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为所述亮斑。
3.权利要求1-2任一方法,其特征在于,预处理所述图像,包括:
利用开运算确定所述图像的背景,
基于所述背景,利用顶帽运算将所述图像转化为第一图像,
对所述第一图像进行高斯模糊处理,获得第二图像,
对所述第二图像进行锐化,获得所述预处理后的图像;
任选的,所述确定临界值以简化所述预处理后的图像,获得简化图像,包括:
基于所述背景和所述预处理后的图像,确定所述临界值,
比较所述预处理后的图像上的像素点的像素值与所述临界值,以获得所述简化图像。
4.权利要求1-3任一方法,其特征在于,g2为修正后的m1*m2范围的像素,依据所述简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例进行所述修正。
5.一种检测图像上的亮斑的装置,其特征在于,所述图像采集自发生碱基延伸反应的一个视野,发生碱基延伸反应的该视野上存在多个带有光学可检测标记的核酸分子,至少一部分所述核酸分子在所述图像上表现为亮斑,所述装置包括:
预处理单元,用于预处理所述图像,获得预处理后的图像;
简化单元,用于确定临界值以简化来自所述预处理单元的预处理后的图像,包括对小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第一预设值,对不小于所述临界值的所述预处理后的图像上的像素点的像素值赋值为第二预设值,以获得简化图像;
第一阈值确定单元,用于基于来自所述预处理单元的预处理后的图像确定第一亮斑检测阈值c1;
候选亮斑确定单元,用于基于来自所述预处理单元的预处理后的图像和来自所述简化单元的简化图像识别所述图像上的候选亮斑,包括判定满足以下a)-c)中至少两个条件的像素点矩阵为一个所述候选亮斑,
a)在所述预处理后的图像中,像素点矩阵的中心像素点的像素值为最大,所述像素点矩阵可表示为k1*k2,k1和k2均为大于1的奇数,k1*k2像素点矩阵包含k1*k2个像素点,
c)在所述预处理后的图像中的所述像素点矩阵的中心像素点的像素值大于第三预设值,并且满足g1*g2>c1,g1为以所述像素点矩阵的中心像素点为中心的m1*m2范围的二维高斯分布的相关系数,g2为m1*m2范围的像素值,m1和m2均为大于1的奇数,m1*m2范围包含m1*m2个像素点。
6.权利要求5的装置,其特征在于,还包括第二阈值确定单元和亮斑确定单元,
所述第二阈值确定单元用于基于来自所述预处理单元的预处理后的图像确定第二亮斑检测阈值,
所述亮斑确定单元用于判定像素值不小于所述第二亮斑检测阈值的候选亮斑为所述亮斑;
任选的,所述候选亮斑的像素值为该候选亮斑的坐标所在的像素点的像素值;
任选的,所述第二阈值确定单元用于将所述预处理后的图像划分为预定大小的一组区域,对该区域中的像素点的像素值进行排序,以确定该区域对应的第二亮斑检测阈值;
所述亮斑确定单元用于对于位于所述区域的候选亮斑,判定像素值不小于该区域对应的第二亮斑检测阈值的候选亮斑为所述亮斑。
7.权利要求5-6任一装置,其特征在于,所述预处理单元用于进行以下:
利用开运算确定所述图像的背景,
基于所述背景,利用顶帽运算将所述图像转化为第一图像,
对所述第一图像进行高斯模糊处理,获得第二图像,
对所述第二图像进行锐化,获得所述预处理后的图像;
任选的,所述简化单元用于,
基于所述背景和所述预处理后的图像,确定所述临界值,
比较所述预处理后的图像上的像素点的像素值与所述临界值,以获得所述简化图像。
8.权利要求5-7任一装置,其特征在于,g2为修正后的m1*m2范围的像素,依据所述简化图像相应m1*m2范围中像素值为第二预设值的像素点所占的比例以修正m1*m2范围的像素。
9.一种计算机程序产品,该产品包括实现检测图像上的亮斑的指令,所述指令在所述计算机执行所述程序时,使所述计算机执行如权利要求1-4任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810963045.7A CN112289377B (zh) | 2018-08-22 | 2018-08-22 | 检测图像上的亮斑的方法、装置和计算机程序产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810963045.7A CN112289377B (zh) | 2018-08-22 | 2018-08-22 | 检测图像上的亮斑的方法、装置和计算机程序产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112289377A true CN112289377A (zh) | 2021-01-29 |
CN112289377B CN112289377B (zh) | 2022-11-15 |
Family
ID=74418973
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810963045.7A Active CN112289377B (zh) | 2018-08-22 | 2018-08-22 | 检测图像上的亮斑的方法、装置和计算机程序产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112289377B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658241A (zh) * | 2021-08-16 | 2021-11-16 | 北京的卢深视科技有限公司 | 单目结构光的深度恢复方法、电子设备及存储介质 |
CN113935962A (zh) * | 2021-09-29 | 2022-01-14 | 常州市新创智能科技有限公司 | 一种玻纤布的毛团检测方法 |
CN115294035A (zh) * | 2022-07-22 | 2022-11-04 | 深圳赛陆医疗科技有限公司 | 亮点定位方法、亮点定位装置、电子设备及存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000039329A1 (fr) * | 1998-12-28 | 2000-07-06 | Sapporo Breweries Ltd. | Procede de comptage de micro-organismes et dispositif permettant d'effectuer ledit comptage |
JP2008029271A (ja) * | 2006-07-31 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 細菌検出装置及び方法 |
US20090245604A1 (en) * | 2008-03-31 | 2009-10-01 | Hitachi High-Technologies Corporation | Nucleic acid analyzing apparatus |
US20100323350A1 (en) * | 2007-02-05 | 2010-12-23 | Intelligent Biosystems, Inc. | Methods And Devices For Sequencing Nucleic Acids In Smaller Batches |
WO2017061112A1 (ja) * | 2015-10-07 | 2017-04-13 | パナソニック株式会社 | 画像処理方法および画像処理装置 |
EP3306566A1 (en) * | 2016-10-10 | 2018-04-11 | Direct Genomics Co., Ltd. | Method and system for processing image |
CN107918931A (zh) * | 2016-10-10 | 2018-04-17 | 深圳市瀚海基因生物科技有限公司 | 图像处理方法及系统 |
CN108034699A (zh) * | 2017-11-22 | 2018-05-15 | 深圳市瀚海基因生物科技有限公司 | 一种检测核苷酸特异性和/或非特异性吸附的方法 |
CN108192953A (zh) * | 2017-11-22 | 2018-06-22 | 深圳市瀚海基因生物科技有限公司 | 检测核酸特异性和/或非特异性吸附的方法 |
-
2018
- 2018-08-22 CN CN201810963045.7A patent/CN112289377B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000039329A1 (fr) * | 1998-12-28 | 2000-07-06 | Sapporo Breweries Ltd. | Procede de comptage de micro-organismes et dispositif permettant d'effectuer ledit comptage |
JP2008029271A (ja) * | 2006-07-31 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 細菌検出装置及び方法 |
US20100323350A1 (en) * | 2007-02-05 | 2010-12-23 | Intelligent Biosystems, Inc. | Methods And Devices For Sequencing Nucleic Acids In Smaller Batches |
US20090245604A1 (en) * | 2008-03-31 | 2009-10-01 | Hitachi High-Technologies Corporation | Nucleic acid analyzing apparatus |
WO2017061112A1 (ja) * | 2015-10-07 | 2017-04-13 | パナソニック株式会社 | 画像処理方法および画像処理装置 |
EP3306566A1 (en) * | 2016-10-10 | 2018-04-11 | Direct Genomics Co., Ltd. | Method and system for processing image |
CN107918931A (zh) * | 2016-10-10 | 2018-04-17 | 深圳市瀚海基因生物科技有限公司 | 图像处理方法及系统 |
CN107945150A (zh) * | 2016-10-10 | 2018-04-20 | 深圳市瀚海基因生物科技有限公司 | 基因测序的图像处理方法及系统 |
CN108034699A (zh) * | 2017-11-22 | 2018-05-15 | 深圳市瀚海基因生物科技有限公司 | 一种检测核苷酸特异性和/或非特异性吸附的方法 |
CN108192953A (zh) * | 2017-11-22 | 2018-06-22 | 深圳市瀚海基因生物科技有限公司 | 检测核酸特异性和/或非特异性吸附的方法 |
Non-Patent Citations (2)
Title |
---|
尹宁: "基因芯片识别系统研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
马时亮等: "基于MATLAB的激光光斑图像处理算法", 《工具技术》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113658241A (zh) * | 2021-08-16 | 2021-11-16 | 北京的卢深视科技有限公司 | 单目结构光的深度恢复方法、电子设备及存储介质 |
CN113935962A (zh) * | 2021-09-29 | 2022-01-14 | 常州市新创智能科技有限公司 | 一种玻纤布的毛团检测方法 |
CN113935962B (zh) * | 2021-09-29 | 2022-10-21 | 常州市新创智能科技有限公司 | 一种玻纤布的毛团检测方法 |
CN115294035A (zh) * | 2022-07-22 | 2022-11-04 | 深圳赛陆医疗科技有限公司 | 亮点定位方法、亮点定位装置、电子设备及存储介质 |
CN115294035B (zh) * | 2022-07-22 | 2023-11-10 | 深圳赛陆医疗科技有限公司 | 亮点定位方法、亮点定位装置、电子设备及存储介质 |
WO2024016632A1 (zh) * | 2022-07-22 | 2024-01-25 | 深圳赛陆医疗科技有限公司 | 亮点定位方法、亮点定位装置、电子设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112289377B (zh) | 2022-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107918931B (zh) | 图像处理方法及系统及计算机可读存储介质 | |
US11847766B2 (en) | Method and device for detecting bright spots on image, and computer program product | |
CN112823352B (zh) | 碱基识别方法、系统和测序系统 | |
CN107844683B (zh) | 一种数字pcr液滴浓度的计算方法 | |
CN112289377B (zh) | 检测图像上的亮斑的方法、装置和计算机程序产品 | |
JP6733983B2 (ja) | 画像解析装置 | |
CN108961301B (zh) | 一种基于无监督逐像素分类的角毛藻图像分割方法 | |
CN112204615A (zh) | 荧光图像配准方法、基因测序仪及系统、存储介质 | |
WO2020037572A1 (zh) | 检测图像上的亮斑的方法和装置、图像配准方法和装置 | |
CN111444964A (zh) | 一种基于自适应roi划分的多目标快速图像匹配方法 | |
CN112289381B (zh) | 基于图像构建测序模板的方法、装置和计算机产品 | |
Marcuzzo et al. | Automated Arabidopsis plant root cell segmentation based on SVM classification and region merging | |
CN107274349B (zh) | 生物芯片荧光图像倾斜角度的确定方法及装置 | |
CN112285070B (zh) | 检测图像上的亮斑的方法和装置、图像配准方法和装置 | |
EP3843033B1 (en) | Method for constructing sequencing template based on image, and base recognition method and device | |
US20210217186A1 (en) | Method and device for image registration, and computer program product | |
WO2020037571A1 (zh) | 基于图像构建测序模板的方法、装置和计算机程序产品 | |
CN112288783B (zh) | 基于图像构建测序模板的方法、碱基识别方法和装置 | |
CN112288781A (zh) | 图像配准方法、装置和计算机程序产品 | |
Fouad et al. | Developing a new methodology for de-noising and gridding cDNA microarray images | |
JP2005250786A (ja) | 画像認識方法 | |
JP2008158904A (ja) | 線状図形の解析方法 | |
CN117911338A (zh) | 图像清晰度评价方法、装置、计算机设备及存储介质 | |
CN116932104A (zh) | 一种界面元素的对比度检测方法及装置 | |
CN113139936A (zh) | 一种图像分割处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40035909 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |