CN1367454A - 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 - Google Patents
基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 Download PDFInfo
- Publication number
- CN1367454A CN1367454A CN02103795A CN02103795A CN1367454A CN 1367454 A CN1367454 A CN 1367454A CN 02103795 A CN02103795 A CN 02103795A CN 02103795 A CN02103795 A CN 02103795A CN 1367454 A CN1367454 A CN 1367454A
- Authority
- CN
- China
- Prior art keywords
- tongue
- pixel
- fur
- coating
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 43
- 238000012706 support-vector machine Methods 0.000 title claims abstract description 36
- 239000003814 drug Substances 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000007417 hierarchical cluster analysis Methods 0.000 claims abstract description 7
- 210000002105 tongue Anatomy 0.000 claims description 454
- 238000000576 coating method Methods 0.000 claims description 107
- 239000011248 coating agent Substances 0.000 claims description 104
- 210000005182 tip of the tongue Anatomy 0.000 claims description 52
- 210000005181 root of the tongue Anatomy 0.000 claims description 36
- 238000002474 experimental method Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 238000003745 diagnosis Methods 0.000 claims description 13
- 229940079593 drug Drugs 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims description 9
- 238000012113 quantitative test Methods 0.000 claims description 7
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 claims description 5
- 238000013459 approach Methods 0.000 claims description 5
- 241001092500 Photinia x fraseri Species 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000003066 decision tree Methods 0.000 claims description 2
- 238000004445 quantitative analysis Methods 0.000 abstract description 2
- 235000012571 Ficus glomerata Nutrition 0.000 abstract 2
- 244000153665 Ficus glomerata Species 0.000 abstract 2
- 230000006870 function Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000007689 inspection Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000000872 buffer Substances 0.000 description 2
- 238000009672 coating analysis Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010043946 Tongue conditions Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法,应用于计算机医学图像处理领域。该方法是由数码相机进行图象采集,并通过USB接口将图象输入到计算机处理器中,在处理器中将舌体区域从舌图象中分割出来,特征在于该方法还依次包括下述步骤:在进行分级聚类分析生成聚类树并调整的基础上,采用基于聚类树的支持向量机(CTSVM)方法进行舌体区域像素识别,并把舌体区像素识别的类别数设为15种;将舌面分为五个区域,统计各区中数量最多的像素类别,及各种类型的象素数;进行舌色描述;进行舌苔色描述;进行舌苔厚定量分析和描述;最后采用文字和伪彩色图显示分析结果。该方法快速、准确达到实用,符合中医专家的诊察原则。
Description
技术领域
本发明涉及计算机医学图像处理领域,设计了一种基于多类支持向量机的中医舌图像分析系统,对舌体图象进行舌色、苔色、舌苔厚度的定量分析及定性描述,辅助中医诊断。
舌诊是中医四诊中望诊的重要内容。舌诊是靠医生对舌体进行观察,从而作出判断。这种方法带有很强的主观性、模糊性,诊察结果与医生的经验密切相关。目前人们争取对舌象特征进行客观定量的分析,克服传统目视观察的主观性,提高舌诊的可靠性,具有很大的优势。
采用计算机图象处理技术进行舌象特征分析,能够比较全面地反映舌象的情况,符合中医舌诊的习惯,便于舌诊资料的收集与保存,具有较好的实用价值。它是在一定的光照条件下,采集受试者的彩色舌图象,数字化后输入计算机,利用图象分析技术,对舌象特征进行自动分析,并将结果储存在计算机中。
已有的图像处理技术用于舌象分析时,大多只是采用舌图象颜色值简单统计分析。经过分析我们发现,舌色、苔色与厚度的分布具有局部性,在舌面上的不同区域往往表现出不同的特征,中医舌诊时先观察局部,再进行总体描述。描述时主要强调具有辩证意义的特征。
已有的模式识别技术中的支持向量机(SVM)方法是目前解决小样本识别问题比较有效的方法,基本思想可用图3的两维情况说明。图3中,实心点和空心点代表两类样本,H为分类线,H1、H2分别为过各类中离分类线最近的样本且平行于分类线的直线,它们之间的距离叫做分类间隔(margin)。所谓最优分类线就是要求分类线不但能将两类正确分开(训练错误率为0),而且使分类间隔最大。
从图3中可以看出,(b)中的分类间隔大,其分类错误的可能性较(a)中小,位于最优分类线上的样本称为支持向量,以上是线性可分情况的例子。对于非线性情况,通过非线性变换转换到高维的特征空间(Feature Space),在高维空间中构造线性判别函数来实现原空间中的非线性判别函数。
舌象样本包括采集的数字化舌图象及舌诊专家给出的临床舌诊结论。样本数量越多,临床判断越可靠,则在此基础上建立的模型越符合实际,对新的舌象进行特征分析的准确度也就越高。
然而,有些类型的舌象是非常少见的(如灰黑苔、淡白舌、青紫舌等)。因此各类样本的分布不均匀,数量有限,如采用一般的模式识别方法,势必影响舌象特征自动分析的准确性和可靠性。因此采用支持向量机(SVM)模式识别方法进行像素识别,以提高分类的准确度,减小分类错误率。
发明内容
为了解决前述问题,可自动、准确、快速分析舌体图象的舌色、苔色、舌苔厚度等特征,本发明设计了一种新的多类方法——基于聚类树的支持向量机(CTSVM)方法。这种方法采用先进行舌体区域的象素识别(局部分析),再进行总体描述的“两步法”分析步骤。像素识别时,结合了支持向量机能够有效完成小样本识别问题,以及聚类树采用分级方法将多类问题转化为两类问题的特点,因而快速、准确达到实用。总体描述依据主要像素类别进行,符合中医专家的诊察原则。同时引入了苔厚指数,使得舌苔厚度定量化。采用这种方法能够用计算机获得舌图象中舌色、苔色、舌态厚度的定性描述和定量分析。本发明的技术思路特征在于:
1、将图象处理方法用于舌象特征分析时,不同于一般的方法,而是采用了先进行舌体区域的象素识别(局部分析),再进行总体描述的“两步法”分析步骤。由于中医舌诊时先观察局部,再进行总体描述。因而该方法与中医的诊断习惯相吻合,能够有效识别舌象特征。
2、我们采用了先进行舌体区域的象素识别(局部分析),再进行总体描述的分析步骤。也即对舌质、舌苔的特征进行局部分析。将舌体上的像素根据颜色属性,采用多类支持向量机划分为不同的类别。我们把舌体区像素识别的类别数设为15种,包括舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔等。其中,前六种是舌质类型,后九种是舌苔类型。像素识别时,一般先需要给出已知类别的像素,称为样本。如果样本相对很少,这样的识别问题称为小样本问题。
针对像素识别这个多类、小样本的分类问题,采用了一种新的基于聚类树的多类支持向量机(CTSVM)方法。CTSVM的主要思想是先对训练样本集的各类中心进行分级聚类分析,生成称为聚类树的多级分类器,再据此构成(k-1)个两类SVM。利用它可以把一个复杂的多类别分类问题转化为若干个简单的分类问题来解决。聚类树的每个非叶子节点代表一个支持向量分类器。聚类树的结构可以根据人工经验确定,也可以采用分级聚类方法得到。所谓聚类,就是根据“物以类聚,人以群分”的原则,把相似性大的样本聚集为一个类型。该方法能够有效的将多类识别问题转化为个数较少、因而识别速度较快的两类分类问题,并且可以克服舌象分析中样本较少对识别率的影响,从而能够较为准确的进行像素识别,并通过分级聚类并结合中医专家经验的方法得到聚类树,参见图4。
聚类树的形式根据训练样本集的分布情况和最近距离准则自适应确定。将这种聚类树与两类模式识别SVM结合,就构成了CTSVM。在CTSVM中,每个非叶子节点(根节点和中间节点)都是一个两类支持向量机。
我们根据上述方法,结合中医专家的诊察经验确定的聚类树如图4所示。图中,H~M舌质类型,N~V是舌苔类型。图中,X称为根节点,A~G称为非叶子节点。与一个节点相连的上层节点称为父节点,相应的,该节点称为其父节点的子节点。图3中,A有两个子节点C和D,C有三个子节点H、I、J,像素识别时首先划分距离最大的两大类,再逐级进行较细的划分。即由根节点出发,用与该节点相应的分类器进行分类,将它归属与某一子节点,直至到达某个叶节点,即得到该像素的最终识别结果。在本发明中,与每一个非叶子节点相对应的分类器都采用支持向量机。如果一个非叶子节点有两个子节点,则直接采用两类支持向量机即可;如果一个非叶子节点有三个子节点,在该节点就有三个两类支持向量机完成共同像素识别任务,每个两类支持向量机将其中一个子节点代表的类与其他两个子节点代表的类分开。
3、将舌面分为五个区域,统计各区中数量最多的像素类别,对该区舌色、苔色的描述主要根据该类别,结合中医专家的经验进行。这符合中医舌诊描述时主要强调具有辩证意义的特征的原则。
4、舌苔厚度分类时,将舌体区域的每一个象素分为“无苔”、“薄苔”、“中厚苔”、“厚苔”4种类型。先逐象素舌苔厚度分类,其依据是“舌苔的厚薄以见底、不见底为标准”。再进行舌苔厚度定量化,在逐象素识别的基础上,引入苔厚指数,对整幅舌图象的舌苔厚度进行定量化描述。
5、为了使分析结果易于理解和临床应用,采用文字和伪彩色图显示分析结果。将象素识别结果表示成舌色、苔色分布伪彩色图。将逐象素的厚度分类结果表示成舌苔厚度伪彩色分布图。采用文字对舌色、苔色舌苔厚度进行定性描述,并给出舌苔厚度指数值。
本发明的技术方案见图1、图2、图5、图6、图8、图9、图10,方法步骤为由数码相机进行图象采集,并通过USB接口将图象输入到计算机处理器中,在处理器中采用通用技术,将舌体区域从舌图象中分割出来,特征在于该方法还依次包括下述步骤:1)在进行分级聚类分析生成聚类树并调整的基础上,采用基于聚类树的支持向量机(CTSVM)方法进行舌体区域像素识别;
分级聚类分析生成聚类树的方法步骤见图5:(1)对于k类样本,计算得到k个类中心集合:(
x1,
x2,Λ,
xk),(2)第1级划分是每一个类中心各成一类,即k个叶节点,(3)求每两个类中心之间的距离Dij,i=1,...k,j=1,...k,i≠j,(4)将距离最近的两个中心合并,形成新的类中心,即中间节点,(5)重复进行(3)-(4)步,直到第k-1级,所有的中心合并为1类,即根节点,(6)根据需要,调整决策树的结构,使得树的深度尽可能少;
舌体区域像素识别的方法和的步骤见图6:(1)计算输入图象中每个像素3×3邻域内的三色色度值R、G、B的均值,作为像素是别的输入特征,(2)读取舌体中一个像素的R、G、B值,(3)从根节点开始,根据该节点的SVM分类器,将该像素划分到某一分支,(4)如果分支节点不是叶节点,则重复进行(3)中的过程:根据该节点的SVM分类器,将该像素划分到某一分支,如果分支节点是叶节点,则该叶节点所代表的类即为所识别的像素的类别,各节点的分类器是两类支持向量机分类器,分类过程按照常规的方法实现,(5)重复(2)-(4)的过程,直到舌体区域的全部像素分类完毕。
可以看出,像素识别时,首先划分距离最大的两大类,再逐级进行较细的划分,直至叶节点,就得到像素得类别属性。由于减少了两类判别的次数,同时兼顾样本的分布情况,本方法能够在加快识别速度的同时保证识别的准确率。2)统计各分区中各种类型的象素数;3)进行舌色描述,见图8;4)进行苔色描述,见图9;5)进行舌苔厚定量分析和描述,见图10;6)采用文字和伪彩色图显示分析结果。为了使分析结果易于理解和临床应用,采用文字和伪彩色图显示分析结果。将象素识别结果表示成舌色、苔色分布伪彩色图。将逐象素的厚度分类结果表示成舌苔厚度伪彩色分布图。采用文字对舌色、苔色舌苔厚度进行定性描述,并给出舌苔厚度指数值。图11是显示分析结果的一个例子。
另外舌色、苔色、舌苔厚度的描述特征还在于,像素识别完成后,统计各分区中各种类型的象素数后,令Ni j代表i区中第j类象其中i=1,Λ,5分别表示舌根、舌中、舌尖、舌左侧、舌右侧等5个区域,j=1,Λ,15表示舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔等15种舌质和舌苔类型,并在此基础上,根据中医专家的舌诊习惯,进行舌色、苔色、舌苔厚度的描述。
其中舌色的描述方法为根据舌侧区与舌尖区像素的舌质类型描述舌质的颜色。由于舌质主要分布在舌侧与舌尖,因而只在舌尖、舌左侧、舌右侧等3个区域考虑舌质类型。计算舌尖、舌左侧、舌右侧等3个区域中属于各舌质类型(即属于舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫等类型)的像素总数,像素数最多的舌质类型即为该舌图象的舌质特征。根据中医的经验,舌质是否局部有暗紫和舌尖是否为红舌很重要,因此对这两种情况单独处理。方法是:计算舌尖、舌左侧、舌右侧等3个区域属于“舌质暗紫”的像素数目与整个舌面像素总数之比,若这个比值大于某个预设的值,则认定“局部暗紫”; 计算舌尖区属于“舌质红”的像素数目与整个舌面像素总数之比,若这个比值大于某个预设的值,则认定“舌质红”。具体过程为:1)计算舌面的总面积(象素的总数)A;2)分别计算舌侧与舌尖区6种舌质类型的总数 3)令
则jmax代表的舌质类型为该舌图象的舌质特征;4)计算暗紫舌质的面积比
若R6>θp且jmax≠6,则增加描述“局部暗紫”,其中θp为根据实验设定的阈值;5)计算舌尖区“舌质红”的面积比
若R3>θr且jmax≠3,则增加描述“舌尖红”,其中θr为根据实验设定的阈值。
其中苔色的描述,由于舌侧很少有舌苔分布,因而对舌苔的描述分为舌根、舌中、舌尖3个区域。计算舌根、舌中、舌尖等3个区域中属于各舌苔类型(即属于薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔等类型)的像素总数,在三个区域中,分别判断像素数最多的舌苔类型的像素数与整个舌面像素总数之比是否小于某一阈值,如果小于,则认定该区少苔,否则该舌苔类型即为该区的舌苔特征。本发明中这三个阈值由试验获得。根据中医的经验,舌根、舌中区往往呈现多种舌苔,因此也对舌根、舌中区像素数次多的舌苔类型加以判断。方法是:计算舌根、舌中区像素数次多的舌苔类型的像素数目与像素数最多的舌苔类型的像素数目之比,若这个比值大于某个预设的值,则该区增加描述第二主要类型舌苔。具体方法如下:1)计算舌面的总面积(象素的总数)A,舌根、舌中、舌尖区的面积Ai,i=1,Λ,3;2)对于舌根、舌中、舌尖区,分别计算
其中i=1,2,3,则jmax i代表的舌苔类型为该区的舌苔特征;3)计算i=1,2,3区中jmax i舌苔象素所占的面积比例
4)分别对舌根、舌中、舌尖区进行描述。对于舌根区i=1,若R(jmax 1,1)<θ1则描述为“舌根少苔”;否则描述舌根为jmax 1类型的舌苔。对于舌中区i=2,若R(jmax 2,2)<θ2,则描述为“舌中少苔”;否则描述舌中为jmax 2类型的舌苔,对于舌尖区i=3,若R(jmax 3,3)<θ3,则描述为“舌尖少苔”;否则描述舌尖为jmax 3类型的舌苔。其中θ1、θ2、θ3为根据实验设定的阈值;5)对于舌根、舌中区,分别计算第二主要类型舌苔jsec i,i=1,2,并计算jsec i类型象素面积与jmax i类型的面积比
若Rms i>θsec,则第i区增加描述第二主要类型舌苔。其中θsec为根据实验设定的阈值。
其中舌苔厚度的分析和描述分为两部分:(1)舌苔厚度分类。将舌体区域的每一个象素分为“无苔”、“薄苔”、“中厚苔”、“厚苔”4种类型。逐象素舌苔厚度分类的依据是“舌苔的厚薄以见底、不见底为标准”。(2)舌苔厚度定量化。在逐象素识别的基础上,对整幅舌图象的舌苔厚度进行定量化描述。其中,“见底不见底”以像素邻域内舌质像素的多少判定。如果像素邻域内舌质像素很多,则见底程度大。像素的舌苔类型也反映了舌苔的厚薄。属于薄白苔、薄黄苔反映该像素处为薄苔;属于白苔、黄苔、灰苔、褐苔表明该像素处为中厚苔;属于白厚苔、黄厚苔、黑苔表明该像素处为厚苔。具体步骤为:1)读取舌体像素及其5×5邻域的类别号;2)设c1、c2为根据实验设定的阈值c1>c2,且。计算该像素5×5邻域内属于舌质类型的象素数Sbody,若Sbody>c1,则该点的舌苔厚度类型定为“无苔”;3)若c1≥Sbody>c2,则该点的舌苔厚度类型定为“薄苔”,4)若Sbody≤c2,则依据该点的舌质舌苔类型j确定厚度类型,若为舌质(j<7),则为“薄苔”,若j=7(薄白苔)、10(薄黄苔),则为“薄苔”,若j=8(白苔)、11(黄苔)、13(灰苔)、14(褐苔),则为“中厚苔”;若j=9(白厚苔)、12(黄厚苔)、15(黑苔),则为“厚苔”;5)重复(1)-(3)步,直到所有像素处理完毕;6)根据象素识别的结果,计算整幅图象的苔厚指数T,作为舌苔厚度分析的定量化结果,计算方法为: 式中A表示舌体区的象素总数,
表示对舌体区域中所有象素求和,jk表示第k个象素的厚度类型,对应于“无苔”、“薄苔”、“中厚苔”、“厚苔”分别取0、1、2、3,
为权值,根据实验和中医专家的经验确定,苔厚指数能够描述舌苔的总体厚度。
由图11可以看出,本方法能够通过计算机获得的定量分析与定性描述结果,且结果与中医的目视诊察结果一致,有助于舌诊的客观化、标准化。
附图说明
图1是中医舌象舌色、苔色、苔厚分析系统框图
1、数码相机,2、USB接口,3、计算机处理器,4、输出缓存,5、舌象分析,6、显示器,7、分析结果;
图2是中医舌象分析方法主程序流程图;
图3支持向量机原理说明图
(a)分类间隔较小的分类面,(b)具有最大分类间隔的最优分类面;
图4用于分级聚类分析生成的聚类树示意图
H、舌质暗红,I、舌质淡红,J、舌质淡,K、舌质绛紫,L、舌质暗紫,M、舌质红,N、白苔,O、白厚苔,P、薄白苔,Q、黄苔,R、薄黄苔,S、黄厚苔,T、褐苔,U、灰苔,V、黑苔;
图5是图4聚类树的生成方法子程序流程图;
图6是舌体区域像素识别方法子程序流程图;
图7是舌面分区示意图;
图8是舌色描述方法子程序流程图;
图9是苔色描述方法子程序流程图;
图10是舌苔厚度分析与描述方法子程序流程图;
图11是舌图象的分析结果
(a)舌体图像,(b)舌色、苔色伪彩色图,(c)舌苔厚度伪彩色图,(d)文字描述的自动分析结果;
图12是在计算机上运行的舌象分析的程序主流程图;
图13是在计算机上运行的舌体区域像素识别子程序流程图。
具体实施方式
在图1的中医舌象分析系统框图中,数码相机和USB接口都是市售的,主要完成采集舌图象,将舌体及色标的光学信号转换为图象电信号输入到计算机,便于计算机处理、传输等操作;计算机处理主要是通过USB接口软件对舌图像进行读/写处理,处理后的舌图像输出到缓存器,便于显示。显示器是图象的输出设备,人眼可以通过显示器观看原始舌图象和分析结果。舌体分析是对计算机读入的舌图象进行舌色、苔色、苔厚的定量分析与定性描述,并输出分析结果。
原始舌图象可以是通过数码相机实时采集到的图象,也可以是实现通过数码相机采集到保存在计算机硬盘里的图象。
采用支持向量机进行像素识别,涉及的关键问题包括输入特征空间的选择、学习集的构成、核函数的选取、惩罚因子的选取等。学习集指类别已知的样本的集合。
本系统中,输入特征空间为RGB彩色空间,为避免噪声的影响,对每一个象素,取其3×3邻域的RGB均值作为特征矢量。在若干典型图象中选出一系列图象子块,由中医专家逐块确定类别后构成学习集。样本(图象子块)根据图象的具体情况而定,没有统一的大小。
本发明中SVM的惩罚因子C体现了对学习集的信任度。C越大,信任度越高,C越大,信任度越高。舌体象素识别的研究中,由于分类的类别数较多,且各类之间的可分性较差,需要通过实验选取一个合适的惩罚因子。本发明中,通过实验选取C=400。
不同的核函数对应学习机在输入空间中具有不同类型的非线性决策面。我们试验了常用的多项式、径向基函数(RBF)、神经网络等核函数形式。最终应用的核函数为RBF,其形式为: 式中σ是一个重要的参数,决定着RBF核函数的具体形式,通过实验选取σ=50。
本发明中为了使分析结果易于理解和临床应用,要进行舌质与舌苔的定性、定量描述。将舌面划分为舌根、舌中、舌尖、舌左侧、舌右侧等5个区域。划分方法是以舌尖至人字形界沟中点划分为5等分,前1/5称舌尖,中2/5称舌中,后2/5称舌根。另以舌中线与舌边的中点划一线,线外部分称舌侧。如图7所示。统计各分区中各种类型的象素数,根据中医专家的舌诊习惯,进行基于多类支持向量机的中医舌色、苔色、舌苔厚度的计算机分析方法。
舌象分析主要通过软件来实现。在计算机中完成以下程序(主程序见图12):1、读入舌体区域图象数据,读入CTSVM的支持向量及相应的系数,初始化参数θp、θr、θ1、θ2、θ3、θsec、c1、c2、w0、w1、w2、w3。其中θp、θr分别为舌色分析时判断“局部暗紫”和“舌尖红”的阈值,本发明中取θp=0.01,θr=0.06。θ1、θ2、θ3舌根、舌中、舌尖三区的阈值,本发明中取θ1=0.5、θ2=0.2、θ3=0.4。c1、c2为苔厚分析时判断舌苔的有无和舌苔类型时采用的阈值。本发明中取c1=20、c2=8。w0、w1、w2、w3为计算苔厚指数时的权系数,本发明中确定为w0=0、w1=0.2、w2=0.7、w3=1.3。2、进入像素识别子程序,采用基于聚类树的支持向量机(CTSVM)方法进行舌体区域像素识别。在此设已经通过训练得到图4所示的聚类树。树中的每一个节点都是一个支持向量机分类器,支持向量及相应的系数已经通过训练获得。对一个像素,支持向量机的分类过程如下:1)计算该像素3×3邻域内的RGB均值x=(R,G,B);2)从根节点开始,计算该像素与该节点对应的每一个支持向量的核函数内积,并乘以相应的系数和标号,对所有这些乘积求和,然后求加上常数b之后的结果的符号。即求:
式中,xi是该分类器的支持向量,αi是与支持向量对应的系数,yi是支持向量样本的标号,b是常数,本发明中b取40,K(xi,x)是核函数内积, 式中‖·‖是向量的范数,σ取50。Sign()是符号函数,如果自变量的值大于0,则函数值为1,小于0,则为-1。
如果f(x)大于0,则将它归类到左边的分支,否则归类到右边的分支;3)重复2)中的过程,直至到达某个分支节点。例如某个像素的识别过程为:X->A->D->K,则该像素被判别为“舌质绛红”;4)对每一个像素,执行2)、3),直到舌体区域中所有像素都判别完毕,每个像素都分配了一个类别号。3、舌面分区。从左至右、从上到下扫描舌体区域,得到舌体区域的外接矩形。设矩形左右两个边在舌图象中的坐标为l、r,上下两个边在舌图象中的坐标为t、b,则根据前述舌面分区的原则(将舌面划分为舌根、舌中、舌尖、舌左侧、舌右侧等5个区域,划分方法是以舌尖至人字形界沟中点划分为5等分,前1/5称舌尖,中2/5称舌中,后2/5称舌根。另以舌中线与舌边的中点划一线,线外部分称舌侧。),得到以下的分区结果:设(x,y)表示舌图象中像素的纵、横坐标,则
舌尖区:若
且(x,y)在舌体区域。4、统计各分区中各种类型的象素数Ni j。5、舌色分析与描述。根据舌侧与舌尖的舌质类型描述舌质,具体方法为:1)计算舌面的总面积(象素的总数)A;2)分别计算舌侧与舌尖区6种舌质类型的总数: 3)令
则jmax代表的舌质类型为该舌图象的舌质特征,例如jmax=2时描述为“舌质淡红”;4)计算暗紫舌质的面积比
若R6>0.01且jmax≠6,则增加描述“局部暗紫”;5)计算舌尖区“舌质红”的面积比
若R3>0.05且jmax≠3,则增加描述“舌尖红”。6、苔色分析与描述。对舌苔的描述分为舌根、舌中、舌尖3个区域,具体步骤如下:1)计算舌面的总面积(象素的总数)A,舌根、舌中、舌尖区的面积Ai,i=1,Λ,3;2)对于舌根、舌中、舌尖区,分别计算
其中i=1,2,3,则jmax i代表的舌苔类型为该区的舌苔特征;3)计算i=1,2,3区中jmax i舌苔象素所占的面积比例
4)对于舌根区i=1,若R(jmax i,i)<0.5,则描述为“舌根少苔”;对于舌中区i=2,若R(jmax i,i)<0.4,则描述为“舌中少苔”;对于舌尖区i=3,若R(jmax i,i)<0.2,则描述为“舌尖少苔”;5)若R(jmax 1,1)≥0.5,则描述舌根为jmax 1类型的舌苔。例如jmax 1=11时,描述为“舌根黄苔”。若R(jmax 2,2)≥0.4,则描述舌中为jmax 2类型的舌苔,例如jmax 2=8时,描述为“舌中白苔”。若R(jmax 3,3)≥0.2,则描述舌尖为jmax 3类型的舌苔,例如jmax 3=7时,描述为“舌尖薄白苔”;6)对于舌根、舌中区,分别计算第二主要类型舌苔jsec i,i=1,2,并计算jsec i类型象素面积与jmax i类型的面积比
若Rms i>0.3,则第i区增加描述第二主要类型舌苔。7、苔厚的定量分析与定性描述。具体步骤为:1)读取舌体像素及其5×5邻域的类别号;2)设c1、c2为根据实验设定的阈值c1>c2,且。计算该像素5×5邻域内属于舌质类型的象素数Sbody,若Sbody>c1,则该点的舌苔厚度类型定为“无苔”;3)若c1≥Sbody>c2,则该点的舌苔厚度类型定为“薄苔”;4)若Sbody≤c2,则依据该点的舌质舌苔类型j确定厚度类型。若为舌质(j<7),则为“薄苔”;若j=7(薄白苔)、10(薄黄苔),则为“薄苔”;若j=8(白苔)、11(黄苔)、13(灰苔)、14(褐苔),则为“中厚苔”;若j=9(白厚苔)、12(黄厚苔)、15(黑苔),则为“厚苔”;5)重复1)~4)步,直到所有像素处理完毕;6)根据象素识别的结果,计算整幅图象的苔厚指数T,作为舌苔厚度分析的定量化结果。计算方法为: 式中A表示舌体区的象素总数,
表示对舌体区域中所有象素求和,jk表示第k个象素的厚度类型,对应于“无苔”、“薄苔”、“中厚苔”、“厚苔”分别取0、1、2、3,
为权值,根据实验和中医专家的经验确定。本发明中确定为w0=0、w1=0.2、w2=0.7、w3=1.3。苔厚指数能够描述舌苔的总体厚度。8、分析结果的显示。为了使分析结果易于理解和临床应用,采用文字和伪彩色图显示分析结果。将象素识别结果表示成舌色、苔色分布伪彩色图。将逐象素的厚度分类结果表示成舌苔厚度伪彩色分布图。采用文字对舌色、苔色舌苔厚度进行定性描述,并给出舌苔厚度指数值。图11是显示分析结果的一个例子。
Claims (2)
1、一种基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法,是由数码相机进行图象采集,并通过USB接口将图象输入到计算机处理器中,在处理器中采用通用技术,将舌体区域从舌图象中分割出来,本发明的特征在于该方法还依次包括下述步骤:1)在进行分级聚类分析生成聚类树并调整的基础上,采用基于聚类树的支持向量机(CTSVM)方法进行舌体区域像素识别;
分级聚类分析生成聚类树的方法步骤为:(1)对于k类样本,计算得到k个类中心集合:(
x1,
x2,Λ,
xk),(2)第1级划分是每一个类中心各成一类,即k个叶节点,(3)求每两个类中心之间的距离Dij,i=1,…k,j=1,…k,i≠j,(4)将距离最近的两个中心合并,形成新的类中心,即中间节点,(5)重复进行(3)-(4)步,直到第k-1级,所有的中心合并为1类,即根节点,(6)根据需要,调整决策树的结构,使得树的深度尽可能少;
舌体区域像素识别的方法和的步骤为:(1)计算输入图象中每个像素3×3邻域内的三色色度值R、G、B的均值,作为像素识别的输入特征,(2)读取舌体中一个像素的R、G、B值,(3)从根节点开始,根据该节点的SVM分类器,将该像素划分到某一分支,(4)如果分支节点不是叶节点,则重复进行(3)中的过程:根据该节点的SVM分类器,将该像素划分到某一分支,如果分支节点是叶节点,则该叶节点所代表的类即为所识别的像素的类别,各节点的分类器是两类支持向量机分类器,分类过程按照常规的方法实现,(5)重复(2)-(4)的过程,直到舌体区域的全部像素分类完毕;2)统计各分区中各种类型的象素数;3)进行舌色描述;4)进行舌苔色描述;5)进行舌苔厚定量分析和描述;6)采用文字和伪彩色图显示分析结果。
2、根据权利要求1所述的基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法,其舌色、苔色、舌苔厚度的描述特征在于,像素识别完成后,统计各分区中各种类型的象素数后,令Ni j代表i区中第j类象其中i=1,Λ,5分别表示舌根、舌中、舌尖、舌左侧、舌右侧等5个区域,j=1,Λ,15表示舌质淡、舌质淡红、舌质红、舌质暗红、舌质绛红、舌质暗紫、薄白苔、白苔、白厚苔、薄黄苔、黄苔、黄厚苔、灰苔、褐苔、黑苔等15种舌质和舌苔类型,在此基础上,根据中医专家的舌诊习惯,进行舌色、苔色、舌苔厚度的描述;
舌色的描述方法为根据舌侧区与舌尖区像素的舌质类型描述舌质的颜色,计算舌尖、舌左侧、舌右侧等3个区域中属于各舌质类型的像素总数,像素数最多的舌质类型即为该舌图象的舌质特征,具体过程为:1)计算总面积(象素的总数)A,2)分别计算舌侧与舌尖区6种舌质类型的总数 3)令
则jmax代表的舌质类型为该舌图象的舌质特征,4)计算暗紫舌质的面积比
若R6>θp且jmax≠6,则增加描述“局部暗紫”。其中θp为根据实验设定的阈值,5)计算舌尖区“舌质红”的面积比
若R3>θr且jmax≠3,则增加描述“舌尖红”,其中θr为根据实验设定的阈值;
苔色的描述方法为计算舌根、舌中、舌尖等3个区域中属于各舌苔类型的像素总数,在三个区域中,分别判断像素数最多的舌苔类型的像素数与整个舌面像素总数之比是否小于某一阈值,确定该区的舌苔特征,具体方法如下:1)计算舌面的总面积(象素的总数)A,舌根、舌中、舌尖区的面积Ai,i=1,Λ,3,2)对于舌根、舌中、舌尖区,分别计算
其中i=1,2,3,则jmax i代表的舌苔类型为该区的舌苔特征,3)计算i=1,2,3区中jmax i舌苔象素所占的面积比例
4)分别对舌根、舌中、舌尖区进行描述。对于舌根区i=1,若R(jmax 1,1)<θ1则描述为“舌根少苔”,否则描述舌根为jmax 1类型的舌苔。对于舌中区i=2,若R(jmax 2,2)<θ2,则描述为“舌中少苔”,否则描述舌中为jmax 2类型的舌苔,对于舌尖区i=3,若R(jmax 3,3)<θ3,则描述为“舌尖少苔”,否则描述舌尖为jmax 3类型的舌苔,其中θ1、θ2、θ3为根据实验设定的阈值,5)对于舌根、舌中区,分别计算第二主要类型舌苔jsec i,i=1,2,并计算jsec i类型象素面积与jmax i类型的面积比
若Rms i>θsec,则第i区增加描述第二主要类型舌苔,其中θsec为根据实验设定的阈值;
舌苔厚度的分析和描述分为两部分:舌苔厚度分类及舌苔厚度定量化,具体步骤为:1)读取舌体像素及其5×5邻域的类别号,2)设c1、c2为根据实验设定的阈值c1>c2,且。计算该像素5×5邻域内属于舌质类型的象素数Sbody,若Sbody>c1,则该点的舌苔厚度类型定为“无苔”,3)若c1≥Sbody>c2,则该点的舌苔厚度类型定为“薄苔”,4)若Sbody≤c2,则依据该点的舌质舌苔类型j确定厚度类型,若为舌质(j<7),则为“薄苔”,若j=7(薄白苔)、10(薄黄苔),则为“薄苔”,若j=8(白苔)、11(黄苔)、13(灰苔)、14(褐苔),则为“中厚苔”,若j=9(白厚苔)、12(黄厚苔)、15(黑苔),则为“厚苔”,5)重复1)-3)步,直到所有像素处理完毕,6)根据象素识别的结果,计算整幅图象的苔厚指数T,作为舌苔厚度分析的定量化结果,计算方法为:
式中A表示舌体区的象素总数,
表示对舌体区域中所有象素求和,jk表示第k个象素的厚度类型,对应于“无苔”、“薄苔”、“中厚苔”、“厚苔”分别取0、1、2、3,
为权值,根据实验和中医专家的经验确定,苔厚指数能够描述舌苔的总体厚度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021037957A CN1162798C (zh) | 2002-03-25 | 2002-03-25 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNB021037957A CN1162798C (zh) | 2002-03-25 | 2002-03-25 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1367454A true CN1367454A (zh) | 2002-09-04 |
CN1162798C CN1162798C (zh) | 2004-08-18 |
Family
ID=4739901
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB021037957A Expired - Fee Related CN1162798C (zh) | 2002-03-25 | 2002-03-25 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1162798C (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1297942C (zh) * | 2002-12-28 | 2007-01-31 | 三星电子株式会社 | 从舌图像提取关注区的方法及相应健康监控方法和设备 |
CN1327376C (zh) * | 2004-04-08 | 2007-07-18 | 上海交通大学 | 基于支持向量机的软测量仪表建模方法 |
CN100405402C (zh) * | 2006-08-18 | 2008-07-23 | 清华大学 | 舌头彩色数码照片的舌苔的分割提取方法 |
CN100409804C (zh) * | 2006-01-19 | 2008-08-13 | 上海交通大学 | 舌像颜色自动识别方法 |
CN100418469C (zh) * | 2006-10-11 | 2008-09-17 | 哈尔滨工业大学 | 基于舌象特征的病证计算机分析系统 |
CN103705216A (zh) * | 2013-12-16 | 2014-04-09 | 北京工业大学 | 等距与类别量表结合的中医舌色感知量化分级方法 |
CN104586397A (zh) * | 2015-01-26 | 2015-05-06 | 北京工业大学 | 感觉等距法与聚类分析结合的中医舌色分类感知量化方法 |
CN105160346A (zh) * | 2015-07-06 | 2015-12-16 | 上海大学 | 一种基于纹理和分布特征的舌苔腐腻识别方法 |
CN103745217B (zh) * | 2013-12-31 | 2017-02-15 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
CN106980815A (zh) * | 2017-02-07 | 2017-07-25 | 王俊 | 基于h‑b分级评分监督下的面瘫客观评估方法 |
CN107169502A (zh) * | 2017-03-22 | 2017-09-15 | 广东工业大学 | 一种基于决策树的选项识别方法 |
CN110189383A (zh) * | 2019-06-27 | 2019-08-30 | 合肥云诊信息科技有限公司 | 基于机器学习的中医舌色苔色定量分析方法 |
CN110210319A (zh) * | 2019-05-07 | 2019-09-06 | 平安科技(深圳)有限公司 | 计算机设备、舌体照片体质识别装置及存储介质 |
CN110363072A (zh) * | 2019-05-31 | 2019-10-22 | 正和智能网络科技(广州)有限公司 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
CN110786834A (zh) * | 2019-12-09 | 2020-02-14 | 中电健康云科技有限公司 | 一种基于舌象特征和bmi指数的脂肪肝预测方法 |
CN110929740A (zh) * | 2019-11-21 | 2020-03-27 | 中电健康云科技有限公司 | 一种基于lgbm模型的舌质舌苔分离方法 |
WO2020114346A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市前海安测信息技术有限公司 | 中医舌诊舌尖红检测装置、方法及计算机存储介质 |
CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
CN115954101A (zh) * | 2023-03-14 | 2023-04-11 | 南京轶诺科技有限公司 | 一种基于ai舌诊图像处理的健康度管理系统及管理方法 |
CN116777930A (zh) * | 2023-05-24 | 2023-09-19 | 深圳汇医必达医疗科技有限公司 | 应用于舌象提取的图像分割方法、装置、设备及介质 |
-
2002
- 2002-03-25 CN CNB021037957A patent/CN1162798C/zh not_active Expired - Fee Related
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1297942C (zh) * | 2002-12-28 | 2007-01-31 | 三星电子株式会社 | 从舌图像提取关注区的方法及相应健康监控方法和设备 |
CN1327376C (zh) * | 2004-04-08 | 2007-07-18 | 上海交通大学 | 基于支持向量机的软测量仪表建模方法 |
CN100409804C (zh) * | 2006-01-19 | 2008-08-13 | 上海交通大学 | 舌像颜色自动识别方法 |
CN100405402C (zh) * | 2006-08-18 | 2008-07-23 | 清华大学 | 舌头彩色数码照片的舌苔的分割提取方法 |
CN100418469C (zh) * | 2006-10-11 | 2008-09-17 | 哈尔滨工业大学 | 基于舌象特征的病证计算机分析系统 |
CN103705216A (zh) * | 2013-12-16 | 2014-04-09 | 北京工业大学 | 等距与类别量表结合的中医舌色感知量化分级方法 |
CN103745217B (zh) * | 2013-12-31 | 2017-02-15 | 北京工业大学 | 基于图像检索的中医舌色苔色自动分析方法 |
CN104586397A (zh) * | 2015-01-26 | 2015-05-06 | 北京工业大学 | 感觉等距法与聚类分析结合的中医舌色分类感知量化方法 |
CN104586397B (zh) * | 2015-01-26 | 2017-01-18 | 北京工业大学 | 感觉等距法与聚类分析结合的中医舌色分类感知量化方法 |
CN105160346B (zh) * | 2015-07-06 | 2019-02-01 | 上海大学 | 一种基于纹理和分布特征的舌苔腐腻识别方法 |
CN105160346A (zh) * | 2015-07-06 | 2015-12-16 | 上海大学 | 一种基于纹理和分布特征的舌苔腐腻识别方法 |
CN106980815A (zh) * | 2017-02-07 | 2017-07-25 | 王俊 | 基于h‑b分级评分监督下的面瘫客观评估方法 |
CN107169502A (zh) * | 2017-03-22 | 2017-09-15 | 广东工业大学 | 一种基于决策树的选项识别方法 |
WO2020114346A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市前海安测信息技术有限公司 | 中医舌诊舌尖红检测装置、方法及计算机存储介质 |
CN110210319A (zh) * | 2019-05-07 | 2019-09-06 | 平安科技(深圳)有限公司 | 计算机设备、舌体照片体质识别装置及存储介质 |
CN110363072B (zh) * | 2019-05-31 | 2023-06-09 | 正和智能网络科技(广州)有限公司 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
CN110363072A (zh) * | 2019-05-31 | 2019-10-22 | 正和智能网络科技(广州)有限公司 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
CN110189383A (zh) * | 2019-06-27 | 2019-08-30 | 合肥云诊信息科技有限公司 | 基于机器学习的中医舌色苔色定量分析方法 |
CN110929740A (zh) * | 2019-11-21 | 2020-03-27 | 中电健康云科技有限公司 | 一种基于lgbm模型的舌质舌苔分离方法 |
CN110786834A (zh) * | 2019-12-09 | 2020-02-14 | 中电健康云科技有限公司 | 一种基于舌象特征和bmi指数的脂肪肝预测方法 |
CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
CN115954101A (zh) * | 2023-03-14 | 2023-04-11 | 南京轶诺科技有限公司 | 一种基于ai舌诊图像处理的健康度管理系统及管理方法 |
CN116777930A (zh) * | 2023-05-24 | 2023-09-19 | 深圳汇医必达医疗科技有限公司 | 应用于舌象提取的图像分割方法、装置、设备及介质 |
CN116777930B (zh) * | 2023-05-24 | 2024-01-09 | 深圳汇医必达医疗科技有限公司 | 应用于舌象提取的图像分割方法、装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN1162798C (zh) | 2004-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107977671B (zh) | 一种基于多任务卷积神经网络的舌象分类方法 | |
CN1367454A (zh) | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 | |
CN107330889B (zh) | 一种基于卷积神经网络的中医舌色苔色自动分析方法 | |
US10445557B2 (en) | Learning pixel visual context from object characteristics to generate rich semantic images | |
CN111738064B (zh) | 一种雾霾图像的雾浓度识别方法 | |
Bjornsson et al. | Associative image analysis: a method for automated quantification of 3D multi-parameter images of brain tissue | |
CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
US8687879B2 (en) | Method and apparatus for generating special-purpose image analysis algorithms | |
CN106778687B (zh) | 基于局部评估和全局优化的注视点检测方法 | |
CN109952614A (zh) | 生物粒子的分类系统和方法 | |
KR100303608B1 (ko) | 혈구세포자동인식방법및장치 | |
US7697764B2 (en) | Similar pattern searching apparatus, method of similar pattern searching, program for similar pattern searching, and fractionation apparatus | |
Haralick et al. | A spatial clustering procedure for multi-image data | |
CN110111895A (zh) | 一种鼻咽癌远端转移预测模型的建立方法 | |
CN108921092A (zh) | 一种基于卷积神经网络模型二次集成的黑色素瘤分类方法 | |
CN106022254A (zh) | 图像识别技术 | |
CN109523514A (zh) | 对逆合成孔径雷达isar的批量成像质量评估方法 | |
CN1931085A (zh) | 基于像素的舌苔舌质颜色提取及分类方法 | |
CN110288041A (zh) | 基于深度学习的中草药分类建模方法及系统 | |
CN109741351A (zh) | 一种基于深度学习的类别敏感型边缘检测方法 | |
CN106570514A (zh) | 一种基于词袋模型和支持向量机的汽车轮毂分类方法 | |
CN113011436A (zh) | 一种基于卷积神经网络的中医舌色苔色协同分类方法 | |
JPH11507565A (ja) | 画像改善装置及び方法 | |
CN110570469A (zh) | 一种汽车图片角度位置的智能识别方法 | |
CN112364844B (zh) | 一种基于计算机视觉技术的数据采集方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C19 | Lapse of patent right due to non-payment of the annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |