CN113052866B - 基于局部二值拟合模型的超声图像舌轮廓提取方法 - Google Patents

基于局部二值拟合模型的超声图像舌轮廓提取方法 Download PDF

Info

Publication number
CN113052866B
CN113052866B CN202110334118.8A CN202110334118A CN113052866B CN 113052866 B CN113052866 B CN 113052866B CN 202110334118 A CN202110334118 A CN 202110334118A CN 113052866 B CN113052866 B CN 113052866B
Authority
CN
China
Prior art keywords
image
tongue
ultrasonic
data
local binary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110334118.8A
Other languages
English (en)
Other versions
CN113052866A (zh
Inventor
路文焕
邹志敏
魏建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110334118.8A priority Critical patent/CN113052866B/zh
Publication of CN113052866A publication Critical patent/CN113052866A/zh
Application granted granted Critical
Publication of CN113052866B publication Critical patent/CN113052866B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing

Abstract

本发明涉及计算机视觉、超声成像原理和医学图像处理、医疗设备领域,为提出缺少由专业的语言学家标注好的数据情况下,实现超声图像舌轮廓提取,效率高、结果准确。本发明,基于局部二值拟合模型的超声图像舌轮廓提取方法,步骤如下:步骤一,数据准备:首先利用超声仪和超声探头进行数据采集,获取舌超声图像,并分别采集不同人说同一文本的数据,验证方法的鲁棒性;步骤二,数据预处理:对超声图像进行保护边缘滤波操作,突出边缘部分和降低噪声;步骤三,初步分割:利用局部二值拟合LBF模型获取一个初步的结果,这个结果包含舌体部分,通过分析得知周长最长的部分为舌体所在位置;步骤四,获取下边缘轮廓。本发明主要应用于超声图像舌轮廓提取场合。

Description

基于局部二值拟合模型的超声图像舌轮廓提取方法
技术领域
本发明涉及计算机视觉、超声成像原理和医学图像处理、医疗设备领域,并将计算机视觉技术以及成像原理与医学超声图像信息进行结合从而达到从超声图像中分割出舌体部位目的。具体涉及基于局部二值拟合模型的超声图像舌轮廓提取方法。
背景技术
对于舌体部位的运动的研究有多种应用,既可以帮助语音学家了解舌头在发音过程中是如何运动的,也可以应用在其他的相关研究领域,包括疾病影响的言语障碍、第二语言学习、语音处理和舌体建模等。直接观测舌体部位的运动是很困难的,所以需要借助其他的仪器来帮助人们观测到舌体的运动。一般来说分为侵入式和非侵入式,常见的侵入式传感器有电磁发音仪(EMA)和腭电图仪(EPG)。随着技术的发展,核磁共振成像技术(MRI)和非侵入式的超声成像(Ultrasound)也有广泛的应用。想要实时、准确、无损地获取说话者的舌头运动仍是一个十分具有挑战性的目标。
相对于其他的方法,医用超声仪有着自己独特的优点,相对于其他仪器来说,超声仪对于人体的危害很小,不像X射线(X-ray)具有辐射可能对人体带来伤害而不适合记录大量的数据,MRI虽然成像清晰,但是数据的时间分辨率较低,不能很好的记录舌体的运动轨迹,导致发音运动和语音无法同步,同时MRI技术本身的成本也较为昂贵。超声仪的安装和使用非常简单,也没有对说话人的侵入和辐射,并且获取的数据时间分辨率也比较高。但是超声图像具有固有的斑点噪声(Sparkle)、亮度不均匀和实验伪影等特点,这使得人们从超声图像中直接获取舌体轮廓变得十分困难。
传统的方法主要是使用主动轮廓模型(Active Contour Models)或者能量最小化运动曲线模型(Snake Model)来进行舌体轮廓的分割,主要思想都是基于能量泛函的分割方法,即是定义一个初始化的曲线来表示边缘,通过定义一个能量泛函,使得图像的分割过程看起来相当于整个系统从能量较高的状态转换成能量较低的状态,也就是将分割问题转换为求解能量泛函的最小值的过程。而该方法的主要缺点在于对初始轮廓较为敏感,导致函数容易限制在局部最小值从而导致错误的分割结果。
近些年来随着神经网络的发展,越来越多的人们开始尝试使用基于卷积神经网络(CNN)来进行舌超声图像轮廓提取,但是这些方法往往需要大量的标注好的数据,并且对于不同的超声仪或者人群,可能训练的结果并不一定具有广泛的适用性。
发明内容
为克服现有技术的不足,本发明旨在提出缺少由专业的语言学家标注好的数据情况下,实现超声图像舌轮廓提取,效率高、结果准确。为此,本发明采取的技术方案是,基于局部二值拟合模型的超声图像舌轮廓提取方法,步骤如下:
步骤一,数据准备:
首先利用超声仪和超声探头进行数据采集,获取舌超声图像,并分别采集不同人说同一文本的数据,验证方法的鲁棒性;
步骤二,数据预处理:
对超声图像进行保护边缘滤波操作,突出边缘部分和降低噪声;
步骤三,初步分割:
利用局部二值拟合LBF模型获取一个初步的结果,这个结果包含舌体部分,通过分析得知周长最长的部分为舌体所在位置;
步骤四,获取下边缘轮廓:
结合超声成像原理和亮带形成原因,分别获取亮带左右两边最低点,然后通过轮廓追踪获得完整的舌体轮廓。
步骤二,数据处理详细步骤如下:
首先对图像进行滤波降噪,为了达到在平滑噪声的同时,保持图像边缘的效果,使用Perona和Malik提出的P-M模型,PM模型提出的各向异性扩散方程如下:
Figure BDA0002996617760000021
其中,I代表图像,div代表散度,t代表迭代次数,
Figure BDA0002996617760000022
表示的是梯度,即是各个方向上的像素差值,C(x)代表扩散系数,如下所示:
Figure BDA0002996617760000023
其中,k为常数,通过调整k的大小来控制扩散的速度,k越小,扩散系数就越小,扩散速度就越慢,同时通过前后帧图像来进行一个加权平均,既将三张图像像素值依次相加之后再除以3以达到过滤更多噪声舌体亮带的目的;
步骤三,初步分割详细步骤如下:
首先采用局部二值拟合(LBF)模型进行一个预处理,分割出一个初步的结果,LBF模型方程如下所示:
Figure BDA0002996617760000024
上述式子中K表示高斯核函数,λ是常数,I表示图像,f1(x)、f2(x)分别表示两个区域的亮度值;
根据上述式子得到的初步分割完的结果,根据形态分析,在获得的三块区域中,处于中间的周长最长的即为舌体部位的亮带,通过OpenCV中arcLength函数计算周长,分离出舌体部位;
步骤四,获取下边缘轮廓:
在得到亮带之后,利用类似轮廓追踪的方法,提取下边缘,图像大小为640*480dp,在坐标系中可以视为640*480的横纵坐标,而舌头在偏右部分,按照横坐标将图像分块,第一部分是0-400,第二块区域为400-640,首先从x轴开始遍历图像,从底部开始循环,然后再遍历y轴,当碰触到第一个非零像素点就结束循环并输出像素点坐标,对两块区域分别遍历可以获取左右两边的图像中的最低点,即为下边缘轮廓线的起始点和终结点,将左边的节点设为起始点,顺时针开始查找第一个非零像素点,然后再以该节点为中心,向右半部分查找下一个非零像素点,重复该过程直到找到右边的终点,完成图像分割。
本发明的特点及有益效果是:
本发明主要在于提出了一个可以直接从超声图像中获取舌体轮廓的方法,该方法的好处在于可以不需要人工干预,也能从超声图像中获取一个较好的舌体轮廓的结果,而且无需像神经网络等方法需要较多的标注好的数据以及消耗大量的资源用于计算才能有一个较好的效果,从结果图来看该方法的分割结果是很接近真实的轮廓的,对于一般的实验条件来讲具有更为重要的实验价值。
附图说明:
图1超声图像原图。
图2PM模型滤波增强后图像。
图3LBF模型分割后的初步结果。
图4舌体亮带部分分割结果。
图5舌体分割的最终结果。
图6本发明流程图。
具体实施方式
舌体轮廓提取面临的主要问题是,基于传统的图像分割方法,例如snake模型或者是主动轮廓模型,都需要一个较好的初始轮廓和较长的迭代时间才能达到收敛的目的,而基于神经网络的方法是需要在前期准备大量由专业的语言学家标注好的数据,无疑是增加了大量工作在数据处理过程中,并不是所有的实验室都有相关的条件来获得这些经由专家标注好的数据,并且运行神经网络本身需要消耗大量的资源。
本实验的目的在于提出一种方法可以使得人们可以直接的从超声图像中获取准确的完整的舌体轮廓,而无需人工干预或者是需要大量的标签样本。因此本文基于局部二值拟合(LBF)方法,利用水平集函数的特性,使得我们在分割过程中无需进行轮廓初始化操作,边界曲线在自身进行演化的过程中可以和自然的发生拓扑结构的改变,然后在结束演变之后能够达到一个多目标的分割结果,并且都是闭合的曲线。由于舌体轮廓本身在超声图像的显示是非闭合的,所以我们需要在这个分割结果之上进行再处理得到一个合理的边缘。而整个过程无需人工干预和标注的数据,最终也能获得到较好的分割结果。
实现本发明目的的技术解决方案为:
基于局部二值拟合模型的舌轮廓提取方法。利用通过高斯核函数来拟合出局部的像素变化信息,从而达到解决由亮度不均而引起的分割困难的问题的目的。结束算法迭代的同时得到包括舌体部分的多个区域,通过形态学分析及计算每个区域的周长,分割出包含舌体部分的区域,作为一个初步的结果。同时利用轮廓追踪思想,分别从左右两边定位舌部的最边缘点,然后获取包含舌体亮带的区域的下边缘处得到完整的舌体轮廓。
本发明提出一种基于LBF模型的舌体轮廓提取方法,包括以下步骤:
步骤一,数据准备:
首先利用超声仪和超声探头进行数据采集,获取舌超声图像,并分别采集不同人说同一文本的数据,验证方法的鲁棒性。
步骤二,数据预处理:
为了减少之后的分割过程中无关信息的干扰,需要对超声图像进行保护边缘滤波操作,突出边缘部分和降低噪声。
步骤三,初步分割:
利用LBF模型获取一个初步的结果,这个结果包含舌体部分,通过分析可以得知周长最长的部分为舌体所在位置。
步骤四,获取下边缘轮廓:
结合超声成像原理和亮带形成原因,分别获取亮带左右两边最低点,然后通过轮廓追踪获得完整的舌体轮廓。
下面结合附图来描述本发明实施的基于局部二值拟合模型的舌轮廓提取方法,主要包含以下步骤:
步骤一,数据准备:
本发明采用Terason T3000超声仪和8MC3超声探头进行数据采集工作,主要采集说话人发音过程中的正中矢面图像,既是将超声探头放置在人的下巴处,采样帧数为每秒50帧,图像分辨率为640*480dp,尺寸为301k。
步骤二,数据处理:
通常在进行图像分割之前,为了减轻超声图像中的噪声对于分割过程的影响,以及突出舌体部分的轮廓,需要对图像进行一个预处理来提高图像的质量,因为图像的质量对于算法的分割精度有很大的影响。我们首先对图像进行滤波降噪,为了达到在平滑噪声的同时,保持图像边缘的效果,使用Perona和Malik提出的P-M模型。
PM模型提出的各向异性扩散方程如下:
Figure BDA0002996617760000041
在这个式子中,I代表图像,div代表散度,t代表迭代次数,
Figure BDA0002996617760000042
表示的是梯度,即是各个方向上的像素差值。C(x)代表扩散系数如下所示:
Figure BDA0002996617760000043
在上述式子中k一般为常数,这里选择第二种类似高斯核函数方程作为扩散系数方程,使得图像在靠近边缘时系数变小,扩散速度变快,而在非边缘区域,扩散系数变大,速度变快。同时,由于图像帧率较高,在20ms舌头的变化几乎可以忽略不计,所以可以通过前后帧图像来进行一个加权平均,既将三张图像像素值依次相加之后再除以3,可以更好的突出亮带部分。最后得到的结果如图2所示。
步骤三,初步分割:
首先采用局部二值拟合(LBF)模型进行一个预处理,分割出一个初步的结果如图3所示,根据超声成像原理,亮带形成的原因是因为超声在经过舌体部位时会被衰减并反射,并且由于上下层被膜的声阻抗差异导致舌体部位有一个较强的反射区域。LBF模型方程如下所示:
Figure BDA0002996617760000051
上述式子中K表示高斯核函数,λ是常数,I表示图像,f1(x)、f2(x)分别表示两个区域的亮度值,K我们可以取第二步骤中C(x),这样可以减少计算的次数,同样利用C(x)本身带有核函数的特点,使得点y如果与点x处的像素相差较大时y点的影响变小,使得能量函数计算时就约束在点x的周围。当正确的落在轮廓上时就能够能量泛函达到最小化。经过120次迭代之后分割的结果如图3所示。
通过上述方法分割得到结果,在图3中可以看到三块较为明亮的区域,根据超声图像成像特点以及舌体形态相对于底部的噪声区域更为狭长,于是可以得知处于中间的周长最长的即为舌体部位的亮带,通过使用arcLength函数计算周长,分离出舌体部位,最终的结果如图4所示。
步骤四,获取下边缘轮廓:
由超声成像的原理可以得知,真实的舌体轮廓是处于亮带的下边缘,紧紧贴着黑色区域的部分。所以在得到亮带之后,利用类似轮廓追踪的方法,提取下边缘。图像大小为640*480dp,在坐标系中可以视为640*480的横纵坐标,而舌头在偏右部分,按照横坐标将图像分块,第一部分是0-400,第二块区域为400-640。首先从x轴开始遍历图像,从底部开始循环,然后再遍历y轴,当碰触到第一个非零像素点就结束循环并输出像素点坐标。对两块区域分别遍历可以获取左右两边的图像中的最低点,即为下边缘轮廓线的起始点和终结点。在这张图像中左边最低点坐标为(252,313),右边的最低点为(486,320)。于是,将左边的节点设为起始点,顺时针开始查找第一个非零像素点,然后再以该节点为中心,向右半部分查找下一个非零像素点,重复该过程直到找到右边的终点,完整的图像分割结果如图5所示。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (1)

1.一种基于局部二值拟合模型的超声图像舌轮廓提取方法,其特征是,步骤如下:
步骤一,数据准备:
首先利用超声仪和超声探头进行数据采集,获取舌超声图像,并分别采集不同人说同一文本的数据,验证方法的鲁棒性;
步骤二,数据预处理:
对超声图像进行保护边缘滤波操作,突出边缘部分和降低噪声;
首先对图像进行滤波降噪,为了达到在平滑噪声的同时,保持图像边缘的效果,使用Perona和Malik提出的P-M模型,PM模型提出的各向异性扩散方程如下:
Figure FDA0003851724620000011
其中,I代表图像,div代表散度,t代表迭代次数,
Figure FDA0003851724620000012
表示的是梯度,即是各个方向上的像素差值,C(x)代表扩散系数,如下所示:
Figure FDA0003851724620000013
其中,k为常数,通过调整k的大小来控制扩散的速度,k越小,扩散系数就越小,扩散速度就越慢,同时通过前后帧图像来进行一个加权平均,即将三张图像像素值依次相加之后再除以3以达到过滤更多舌体亮带噪声的目的;
步骤三,初步分割:
利用局部二值拟合模型获取一个初步的结果,这个结果包含舌体部分,通过分析得知周长最长的部分为舌体所在位置;
首先采用局部二值拟合模型进行一个预处理,分割出一个初步的结果,局部二值拟合模型方程如下所示:
Figure FDA0003851724620000014
上述式子中K表示高斯核函数,λ是常数,I表示图像,f1(x)、f2(x)分别表示两个区域的亮度值;
根据上述式子得到的初步分割完的结果,根据形态分析,在获得的三块区域中,处于中间的周长最长的即为舌体部位的亮带,通过OpenCV中arcLength函数计算周长,分离出舌体部位;
步骤四,获取下边缘轮廓:
结合超声成像原理和亮带形成原因,分别获取亮带左右两边最低点,然后通过轮廓追踪获得完整的舌体轮廓;
在得到亮带之后,利用轮廓追踪的方法,提取下边缘,图像大小为640*480dp,在坐标系中可以视为640*480的横纵坐标,而舌头在偏右部分,按照横坐标将图像分块,第一部分是0-400,第二块区域为400-640,首先从x轴开始遍历图像,从底部开始循环,然后再遍历y轴,当碰触到第一个非零像素点就结束循环并输出像素点坐标,对两块区域分别遍历可以获取左右两边的图像中的最低点,即为下边缘轮廓线的起始点和终结点,将左边的节点设为起始点,顺时针开始查找第一个非零像素点,然后再以该节点为中心,向右半部分查找下一个非零像素点,重复该过程直到找到右边的终点,完成图像分割。
CN202110334118.8A 2021-03-29 2021-03-29 基于局部二值拟合模型的超声图像舌轮廓提取方法 Active CN113052866B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110334118.8A CN113052866B (zh) 2021-03-29 2021-03-29 基于局部二值拟合模型的超声图像舌轮廓提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110334118.8A CN113052866B (zh) 2021-03-29 2021-03-29 基于局部二值拟合模型的超声图像舌轮廓提取方法

Publications (2)

Publication Number Publication Date
CN113052866A CN113052866A (zh) 2021-06-29
CN113052866B true CN113052866B (zh) 2022-11-18

Family

ID=76516011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110334118.8A Active CN113052866B (zh) 2021-03-29 2021-03-29 基于局部二值拟合模型的超声图像舌轮廓提取方法

Country Status (1)

Country Link
CN (1) CN113052866B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082461B (zh) * 2022-08-19 2022-11-04 成都中医药大学 一种基于边缘计算的预判过滤方法及装置
CN115311312B (zh) * 2022-10-12 2023-03-24 南通鼎顺生物科技有限公司 一种用于中医舌诊的舌体精准分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804867A (zh) * 2006-01-19 2006-07-19 上海交通大学 舌图像中舌体提取方法
CN105551040A (zh) * 2015-12-15 2016-05-04 中国科学院自动化研究所 在核磁图像序列中自动提取舌位轮廓的方法和系统
CN110097610A (zh) * 2019-04-08 2019-08-06 天津大学 基于超声与磁共振成像的语音合成系统和方法
WO2020043178A1 (zh) * 2018-08-30 2020-03-05 深圳市前海安测信息技术有限公司 基于舌体轮廓线的舌体齿痕识别装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866932A (zh) * 2018-08-20 2020-03-06 深圳市前海安测信息技术有限公司 多通道舌体边缘检测装置、方法及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1804867A (zh) * 2006-01-19 2006-07-19 上海交通大学 舌图像中舌体提取方法
CN105551040A (zh) * 2015-12-15 2016-05-04 中国科学院自动化研究所 在核磁图像序列中自动提取舌位轮廓的方法和系统
WO2020043178A1 (zh) * 2018-08-30 2020-03-05 深圳市前海安测信息技术有限公司 基于舌体轮廓线的舌体齿痕识别装置及方法
CN110097610A (zh) * 2019-04-08 2019-08-06 天津大学 基于超声与磁共振成像的语音合成系统和方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Spatial Co-variation of Lip and Tongue at Strong and Weak Syllables;Ju Zhang et al;《researchgate》;20180408;全文 *
乳腺超声图像处理技术的研究与应用;叶碧;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20170115;摘要、 第2.1.1节、第3章、第4.1节 *
基于MRI研究相对舌体大小对个性化发音的影响;路文焕等;《清华大学学报(自然科学版)》;20181231;全文 *

Also Published As

Publication number Publication date
CN113052866A (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109242888B (zh) 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
KR101017611B1 (ko) 초음파 - ct 영상 정합을 위한 3차원 초음파 간 영상의 해부학적 특징을 추출하는 시스템 및 방법
CN107644420B (zh) 基于中心线提取的血管图像分割方法、核磁共振成像系统
Pang et al. Automatic lung segmentation based on texture and deep features of HRCT images with interstitial lung disease
CN113052866B (zh) 基于局部二值拟合模型的超声图像舌轮廓提取方法
WO2019071976A1 (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
CN107292835B (zh) 一种眼底图像视网膜血管自动矢量化的方法及装置
CN107767358B (zh) 一种图像中物体模糊度确定方法和装置
CN110135438A (zh) 一种基于梯度幅值预运算的改进surf算法
Vlachos et al. Finger vein segmentation from infrared images based on a modified separable mumford shah model and local entropy thresholding
Li et al. Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image
CN110766657A (zh) 一种激光干扰图像质量评价方法
Zhang et al. Boundary delineation in transrectal ultrasound image for prostate cancer
CN112162629A (zh) 基于外接矩形的实时瞳孔定位方法
Ma et al. Edge-guided cnn for denoising images from portable ultrasound devices
Ouyang et al. Research on DENOISINg of cryo-em images based on deep learning
CN109658357A (zh) 一种面向遥感卫星图像的去噪方法
CN109785340A (zh) 基于多图谱的心脏磁共振图像右心室分割计算设备及方法
Czap Impact of preprocessing features on the performance of ultrasound tongue contour tracking, via dynamic programming
CN108961171B (zh) 一种乳腺dti图像去噪方法
Qiu et al. A despeckling method for ultrasound images utilizing content-aware prior and attention-driven techniques
Choy et al. Extracting endocardial borders from sequential echocardiographic images
R S FOE NET: Segmentation of Fetal in Ultrasound Images Using V-NET
Patibandla et al. CT Image Precise Denoising Model with Edge Based Segmentation with Labeled Pixel Extraction Using CNN Based Feature Extraction for Oral Cancer Detection
Vlachos et al. A segmentation method using multiscale and multidirectional matched filters based on dyadic wavelet transform for finger vein pattern extraction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant