CN116311386B - 基于图像分割的舌型识别方法 - Google Patents
基于图像分割的舌型识别方法 Download PDFInfo
- Publication number
- CN116311386B CN116311386B CN202310570065.9A CN202310570065A CN116311386B CN 116311386 B CN116311386 B CN 116311386B CN 202310570065 A CN202310570065 A CN 202310570065A CN 116311386 B CN116311386 B CN 116311386B
- Authority
- CN
- China
- Prior art keywords
- tongue
- image
- color
- value
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000003709 image segmentation Methods 0.000 title claims abstract description 16
- 206010018388 glossodynia Diseases 0.000 claims abstract description 8
- 239000002932 luster Substances 0.000 claims abstract description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 15
- 206010042727 Swollen tongue Diseases 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000005452 bending Methods 0.000 claims description 2
- 230000007797 corrosion Effects 0.000 claims description 2
- 238000005260 corrosion Methods 0.000 claims description 2
- 238000003708 edge detection Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 230000000630 rising effect Effects 0.000 claims description 2
- 230000008961 swelling Effects 0.000 claims description 2
- 239000013598 vector Substances 0.000 claims description 2
- 210000002105 tongue Anatomy 0.000 claims 72
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims 2
- 238000012549 training Methods 0.000 abstract description 9
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 239000003814 drug Substances 0.000 description 4
- 230000036541 health Effects 0.000 description 4
- 210000005181 root of the tongue Anatomy 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010014080 Ecchymosis Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于图像分割的舌型识别方法，涉及计算机技术领域，包括S1获取舌体图像；S2检测舌体图像中的舌体进行分割获得舌像图像；S3提取舌像图像的特征参数；S4根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌；对舌体图像进行分类和分离裁剪，能准确的从舌体图像自动分割获得舌像图像；提取舌像图像的特征参数，并通过特征参数分析舌型，让经验较浅的医生来说可以精确的确定患者的舌型，以保证后续的精准判断和治疗。MaskR‑CNN使用FPN进行特征融合，在多个尺度上更好地表征目标，MaskR‑CNN训练时生成掩码与分类并行，大大缩短训练时间。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种基于图像分割的舌型识别方法。
背景技术
舌诊广泛应用于中医的临床分析和应用中已有数千年的历史，是中医望闻问切中的望诊的一部分。中医将舌诊与通过其他诊断方法收集的其他体征和症状相结合，以全面了解患者的健康状况，从而制定策略来调节身体机能的不平衡。传统的舌诊更倾向于对舌象的认识，而不是舌象的异常和疾病，中医认为舌头与人们的健康息息相关。通过检查舌头的颜色、形状和质地来判断患者的健康状况，如瘀斑、点刺、齿痕、舌裂和舌苔厚度等不同的特征能够反映身体的内部状态和器官的健康状况，但是对于舌型的判断都是基于医生的观察以及以往累积的经验，对于经验较为浅的医生来说，判断结果的准确度相对较低，因此也会影响到后续的判断和治疗。
发明内容
本发明的目的就在于为了解决上述问题设计了一种基于图像分割的舌型识别方法。
本发明通过以下技术方案来实现上述目的：
基于图像分割的舌型识别方法，包括：
S1、获取待识别的舌体图像；
S2、采用MaskR-CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；
S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；
S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌。
本发明的有益效果在于：使用MaskR-CNN对舌体图像进行分类和分离裁剪，能实现较高准确性的舌体图像的自动分割获得舌像图像；然后通过提取舌像图像的特征参数，并通过特征参数分析舌型，让经验较浅的医生来说可以精确的确定患者的舌型，以保证后续的精准判断和治疗。MaskR-CNN使用FPN进行特征融合，使模型可以在多个尺度上更好地表征目标，同时还改进了传统的池化操作，使用双线性插值解决了后者的非线性对齐问题。此外，MaskR-CNN训练时生成掩码与分类并行，使训练时间大大缩短。
附图说明
图1是本发明基于图像分割的舌型识别方法中舌体长宽比c1参数的示意图；
图2是本发明基于图像分割的舌型识别方法中舌体斜率c2参数的示意图；
图3是本发明基于图像分割的舌型识别方法中舌体轮廓均分为n段段示意图；
图4是本发明基于图像分割的舌型识别方法中舌体隆起程度的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
下面结合附图，对本发明的具体实施方式进行详细说明。
基于图像分割的舌型识别方法，包括：
S1、获取待识别的舌体图像；
S2、采用MaskR-CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；
基于深度学习的图像分割方法能够模拟人脑的阶层式结构，实现从像素级原始数据到抽象语义特征的转换，以FasterR-CNN为基础提出的MaskR-CNN目标实例分割框架是代表之一。使用MaskR-CNN对舌体图像进行分类和分离裁剪，能实现较高准确性的舌体图像的自动分割。
首先，将原始图像进行缩放处理，然后将图像输入到主干神经网络模型中，通过特征金字塔（featurepyramidnetworks,FPN)获取舌体图像不同层次的特征。然后，使用不同大小的卷积核来保证提取特征通道的一致性并消除由上采样带来的一些混叠效应。在下一阶段，先根据缩放比例还原舌体图像，使生成的锚点坐标都相对于原图。将主干神经网络生成的特征图进行分类和回归，并根据结果排序选取对应的锚面，利用回归值对锚面进行修正。将得到的每个锚面和与其相距最近的真实锚面进行对比，计算交集并集比（intersectionoverunion,IOU）。如果IOU大于0.5则为正样本，如果小于0.5则为负样本。最后，通过FPN进行回归调整得到特征图。对应真实的数据样本，计算偏移量和正样本的掩码。通过区域特征聚集方式（regionofinterestalign,ROIAlign)得到特征图，第一次生成7*7尺寸的特征图，第二次通过FPN进行坐标的回归调整和类别判断，生成14*14尺寸的特征图。
MaskR-CNN使用FPN进行特征融合，使模型可以在多个尺度上更好地表征目标，同时还改进了传统的池化操作，使用双线性插值解决了后者的非线性对齐问题。此外，MaskR-CNN训练时生成掩码与分类并行，使训练时间大大缩短。采用双线性插值方式的ROIAlign代替FasterR-CNN的ROIpooling，减小训练误差，并采用全卷积网络进行上采样，实现了舌形图像的像素级分割。
S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；
S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌。
利用Laplace算子提取舌体轮廓，使用的四邻域Laplace算子表示为：g(x,y)=4f(x,y)-[f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)]，利用颜色矩算法提取图像的色泽度特征，利用tamura算法提取图像的纹理特征。
识别胀大舌、瘦薄舌和正常舌：
1)、识别舌体轮廓的长宽比c1和舌体轮廓的斜率c2；
如图1所示，，其中d是舌体根部两角连线上舌体的宽度，a是舌尖点（舌体最低点）到舌体根部两角连线的垂直距离
如图2所示，取舌体根部右侧底角到舌尖点（舌体最低点）的一段曲线，即舌体右边缘，利用曲线积分计算曲线长度，由曲线长度的三分之一确定靠近舌尖点（舌体最低点）的三分点A。最后以舌尖点（舌体最低点）为原点，以舌体根部两角连为x轴平行方向构建坐标系，并计算三分点与原点连线斜率得到舌体斜率，表示为：c2=kAO=tanθ，其中，θ是AO连线与x轴的夹角；
2)、通过长宽比c1和斜率c2分析舌体形状评估变量T，表示为；
3)、判断舌体形状评估变量T与预设的区间[p, q]的关系，当T位于预设区间[p,q]时，舌体为正常舌；当T小于p时，舌体为瘦薄舌；当T大于q时，舌体为胀大舌。
识别老舌和嫩舌；
（1）通过舌像图像的RGB图像去计算舌体图像的颜色矩，计算得到三个低阶矩特征向量CM1、CM2和CM3，颜色矩表示为,r=1,2,3，其中，r为1时代表一阶颜色矩CM1，r为2时代表一阶颜色矩CM2，r为3时代表一阶颜色矩CM3，Ij代表舌像图像的RGB图像的j个像素，E代表舌像图像的RGB图像I的均值；
（2）根据舌像图像中的像素的光滑度计算其平均强度，表示为，其中，k=0,1,...,5，I(i,j)表示在坐标(i,j)处的舌像图像像素的强度值；
（3）分析每个像素在两个方向相互之间不重叠的强度差，表示为，/>，其中，Ek,h(x,y)是垂直方向强度差，Ek,v(x,y)是水平方向的强度差；Ak(x,y)是上一步骤求得的舌像图像中的像素平均强度；在计算每个像素时当k值为最大时可求得E值，并使得像素(x,y)大小设为Sbest=2k；
（4）计算舌像图像的平均值Sbest分析舌体的纹理特征，表示为，其中m，n分别是舌像图像的长与宽；
（5）通过SVM分类器对CM1、CM2、CM3和Sbest进行二分类识别，识别区分老舌和嫩舌。
当被区分为胀大舌时，分析舌体齿痕和舌体隆起程度识别胖大舌和肿大舌，具体为：
①、根据曲线长度将舌体轮廓均分为n段，如图3所示，记为l1、l2、...、ln；
②、计算每段曲线的曲率Ki，表示为；其中，y’表示某段曲线的一阶导数值，y’’是某段曲线的二阶导数值
③、计算n段曲线的方差表示舌体轮廓的各段弯曲程度变化剧烈程度，表示为，其中，O是n段曲线曲率Ki的均值，当S2大于预设的第一阈值时，舌体有齿痕，反之则无齿痕；
④、根据舌体轮廓的舌尖点到舌体根部两角连线的垂线段的三等分点作垂直于垂线段的直线将舌体分为上中下三部分，分别记为A、B、C，如图4所示；
⑤、把RGB颜色空间利用XYZ颜色空间转换到Lab颜色空间，表示为、/>、/>，其中，Xn、Yn、Zn均取1，且f(t)为：/>，XYZ表示舌像图像的三刺激值，Xn、Yn、Zn为CIE标准照明体照射在完全漫反射体上再反射到观察者眼中的三刺激值，t表示基于CIE标准照明体的各像素三刺激值之一；
⑥、计算A、B、C三个区域内L、a、b三个通道分量的均值，记为、/>、/>；
⑦、利用L、a、b通道分量值计算两个区域的色差，表示为：，其中，/>、/>、/>分别为区域B、C的L、a、b分量的差值，/>即为区域B、C的区域平均色差；
⑧、当舌体有齿痕时，判断区域平均色差是否小于预设的第二阈值，若是，则是胖大舌；反之则增大n值，重新执行一次步骤①-③，计算是否有齿痕，若仍有齿痕则为胖大舌，反之则为肿大舌；
当舌体无齿痕时，判断区域平均色差是否大于预设的第二阈值，若是，则是肿大舌；反之则减小n值，重新执行一次步骤①-③，计算是否有齿痕，若仍无齿痕则为肿大舌，反之则为胖大舌。
特征参数还包括舌像图像的角点坐标，采用角点检测对舌像图像进行角点检测以提取角点坐标，各个角点坐标进行颜色值判断，在预设的颜色值范围内的角点作为点刺，对舌像图像进行边缘检测，基于角点坐标附近的边缘计算圆形度排除伪点刺，计算去除伪点刺的点刺总数，判断点刺总数是否超过预设的第三阈值，若是舌体存在点刺；反之舌体无点刺。
特征参数还包括舌像图像的区域对比度，对舌体图像进行拉普拉斯增强操作以提高舌中区域对比度，突出裂纹区域，结合中值滤波法去除增强后的噪声；根据裂纹区域灰度的分布规律，利用垂直腐蚀进一步消除舌像图像中的噪声点，根据区域一致性原理判断图像中是否存在裂纹；利用局部灰度平方差分离裂纹区域与背景区域提取舌裂纹，计算裂纹区域的像素和舌体区域像素的比例，判断比例是否超过预设的第四阈值，若是舌体为裂纹舌。
使用MaskR-CNN对舌体图像进行分类和分离裁剪，能实现较高准确性的舌体图像的自动分割获得舌像图像；然后通过提取舌像图像的特征参数，并通过特征参数分析舌型，让经验较浅的医生来说可以精确的确定患者的舌型，以保证后续的精准判断和治疗。MaskR-CNN使用FPN进行特征融合，使模型可以在多个尺度上更好地表征目标，同时还改进了传统的池化操作，使用双线性插值解决了后者的非线性对齐问题。此外，MaskR-CNN训练时生成掩码与分类并行，使训练时间大大缩短。
本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。
Claims (4)
1.基于图像分割的舌型识别方法，其特征在于，包括：
S1、获取待识别的舌体图像；
S2、采用MaskR-CNN深度学习神经网络检测舌体图像中的舌体进行分割获得舌像图像；
S3、提取舌像图像的特征参数，特征参数包括舌体轮廓、色泽度特征、纹理特征；具体为利用Laplace算子提取舌体轮廓，利用颜色矩算法提取图像的色泽度特征，利用tamura算法提取图像的纹理特征；
S4、根据特征参数识别区分舌型，通过舌体轮廓识别胀大舌、瘦薄舌和正常舌，通过色泽度特征、纹理特征识别老舌和嫩舌；识别胀大舌、瘦薄舌和正常舌具体包括：
1)、识别舌体轮廓的长宽比c1和舌体轮廓的斜率c2；
2)、通过长宽比c1和斜率c2分析舌体形状评估变量T，表示为
3)、判断舌体形状评估变量T与预设的区间[p,q]的关系，当T位于预设区间[p,q]时，舌体为正常舌；当T小于p时，舌体为瘦薄舌；当T大于q时，舌体为胀大舌；
当被区分为胀大舌时，分析舌体齿痕和舌体隆起程度识别胖大舌和肿大舌，具体为：
①、根据曲线长度将舌体轮廓均分为n段，记为l1、l2、…、ln；
②、计算每段曲线的曲率Ki，表示为其中，y'表示某段曲线的一阶导数值，y”是某段曲线的二阶导数值；
③、计算n段曲线的方差表示舌体轮廓的各段弯曲程度变化剧烈程度，表示为其中，O是n段曲线曲率Ki的均值，当s2大于预设的第一阈值时，舌体有齿痕，反之则无齿痕；
④、根据舌体轮廓的舌尖点到舌体根部两角连线的垂线段的三等分点作垂直于垂线段的直线将舌体分为上中下三部分，分别记为A、B、C；
⑤、把RGB颜色空间利用XYZ颜色空间转换到Lab颜色空间，表示为 其中，Xn、Yn、Zn均取1，且f(t)为：/>XYZ表示舌像图像的三刺激值，Xn、Yn、Zn为CIE标准照明体照射在完全漫反射体上再反射到观察者眼中的三刺激值，t表示基于CIE标准照明体的各像素三刺激值之一；
⑥、计算A、B、C三个区域内L、a、b三个通道分量的均值，记为L＊ i、a＊ i、b＊ i；
⑦、利用L、a、b通道分量值计算两个区域的色差，表示为： 其中，ΔL＊、Δa＊、Δb＊分别为区域B、C的L、a、b分量的差值，ΔE＊ BC即为区域B、C的区域平均色差；
⑧、当舌体有齿痕时，判断区域平均色差ΔE＊ BC是否小于预设的第二阈值，若是，则是胖大舌；反之则增大n值，重新执行一次步骤①-③，计算是否有齿痕，若仍有齿痕则为胖大舌，反之则为肿大舌；
当舌体无齿痕时，判断区域平均色差ΔE＊ BC是否大于预设的第二阈值，若是，则是肿大舌；反之则减小n值，重新执行一次步骤①-③，计算是否有齿痕，若仍无齿痕则为肿大舌，反之则为胖大舌。
2.根据权利要求1所述的基于图像分割的舌型识别方法，其特征在于，识别老舌和嫩舌；
(1)、通过舌像图像的RGB图像去计算舌体图像的颜色矩，计算得到三个低阶矩特征向量CM1、CM2和CM3，颜色矩表示为CMr＝其中，r为1时代表一阶颜色矩CM1，r为2时代表一阶颜色矩CM2，r为3时代表一阶颜色矩CM3，Ij代表舌像图像的RGB图像的j个像素，E代表舌像图像的RGB图像I的均值；
(2)、根据舌像图像中的像素的光滑度计算其平均强度，表示为 其中，k＝0,1,…,5，I(i,j)表示在坐标(i,j)处的舌像图像像素的强度值；
(3)、分析每个像素在两个方向相互之间不重叠的强度差，表示为Ek,h(x,y)＝|Ak(x+2k -1,y)-Ak(x-2k-1,y)|，Ek,v(x,y)＝|Ak(x,y+2k-1)-Ak(x,y-2k-1)|，其中，Ek,h(x,y)是垂直方向强度差，Ek,v(x,y)是水平方向的强度差；在计算每个像素时当k值为最大时可求得E值，并使得像素(x,y)大小设为Sbest＝2k；
(4)、计算舌像图像的平均值Sbest分析舌体的纹理特征，表示为 其中m，n分别是舌像图像的长与宽；
(5)通过SVM分类器对CM1、CM2、CM3和Sbest进行二分类识别，识别区分老舌和嫩舌。
3.根据权利要求1所述的基于图像分割的舌型识别方法，其特征在于，特征参数还包括舌像图像的角点坐标，采用角点检测对舌像图像进行角点检测以提取角点坐标，各个角点坐标进行颜色值判断，在预设的颜色值范围内的角点作为点刺，对舌像图像进行边缘检测，基于角点坐标附近的边缘计算圆形度排除伪点刺，计算去除伪点刺的点刺总数，判断点刺总数是否超过预设的第三阈值，若是舌体存在点刺；反之舌体无点刺。
4.根据权利要求1所述的基于图像分割的舌型识别方法，其特征在于，特征参数还包括舌像图像的区域对比度，对舌体图像进行拉普拉斯增强操作以提高舌中区域对比度，突出裂纹区域，结合中值滤波法去除增强后的噪声，利用垂直腐蚀进一步消除舌像图像中的噪声点，根据区域一致性原理判断图像中是否存在裂纹；利用局部灰度平方差分离裂纹区域与背景区域提取舌裂纹，计算裂纹区域的像素和舌体区域像素的比例，判断比例是否超过预设的第四阈值，若是舌体为裂纹舌。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310570065.9A CN116311386B (zh) | 2023-05-19 | 2023-05-19 | 基于图像分割的舌型识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310570065.9A CN116311386B (zh) | 2023-05-19 | 2023-05-19 | 基于图像分割的舌型识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116311386A CN116311386A (zh) | 2023-06-23 |
| CN116311386B true CN116311386B (zh) | 2023-08-15 |
Family
ID=86803584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310570065.9A Active CN116311386B (zh) | 2023-05-19 | 2023-05-19 | 基于图像分割的舌型识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116311386B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110136502A (ko) * | 2010-06-15 | 2011-12-21 | 한국 한의학 연구원 | 혀 진단 영역 추출 방법 |
| JP2017148386A (ja) * | 2016-02-26 | 2017-08-31 | 大日本印刷株式会社 | 舌画像処理装置、舌画像処理方法及び舌画像処理用プログラム |
| CN108960285A (zh) * | 2018-05-31 | 2018-12-07 | 东软集团股份有限公司 | 一种分类模型生成方法、舌体图像分类方法及装置 |
| CN109528169A (zh) * | 2018-12-26 | 2019-03-29 | 北京康加科技有限公司 | 能自动调节拍摄角度的舌像抓拍系统及方法 |
| JP2019180748A (ja) * | 2018-04-09 | 2019-10-24 | 富士通株式会社 | 画像処理プログラム、画像処理装置、および画像処理方法 |
| WO2020114346A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市前海安测信息技术有限公司 | 中医舌诊舌尖红检测装置、方法及计算机存储介质 |
| CN113989269A (zh) * | 2021-11-14 | 2022-01-28 | 北京工业大学 | 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法 |
-
2023
- 2023-05-19 CN CN202310570065.9A patent/CN116311386B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110136502A (ko) * | 2010-06-15 | 2011-12-21 | 한국 한의학 연구원 | 혀 진단 영역 추출 방법 |
| JP2017148386A (ja) * | 2016-02-26 | 2017-08-31 | 大日本印刷株式会社 | 舌画像処理装置、舌画像処理方法及び舌画像処理用プログラム |
| JP2019180748A (ja) * | 2018-04-09 | 2019-10-24 | 富士通株式会社 | 画像処理プログラム、画像処理装置、および画像処理方法 |
| CN108960285A (zh) * | 2018-05-31 | 2018-12-07 | 东软集团股份有限公司 | 一种分类模型生成方法、舌体图像分类方法及装置 |
| WO2020114346A1 (zh) * | 2018-12-03 | 2020-06-11 | 深圳市前海安测信息技术有限公司 | 中医舌诊舌尖红检测装置、方法及计算机存储介质 |
| CN109528169A (zh) * | 2018-12-26 | 2019-03-29 | 北京康加科技有限公司 | 能自动调节拍摄角度的舌像抓拍系统及方法 |
| CN113989269A (zh) * | 2021-11-14 | 2022-01-28 | 北京工业大学 | 一种基于卷积神经网络多尺度特征融合的中医舌图像齿痕自动检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 吴星瑾 等.基于Mask R-CNN的舌体分割方法.《中国卫生信息管理杂志》.2017,第18卷(第6期),第843页摘要、847页第4节. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116311386A (zh) | 2023-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886179B (zh) | 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统 | |
| JP6999812B2 (ja) | 骨年齢評価と身長予測モデルの確立方法、そのシステム及びその予測方法 | |
| CN109493954B (zh) | 一种基于类别判别定位的sd-oct图像视网膜病变检测系统 | |
| EP2847738B1 (en) | Method and apparatus for image scoring and analysis | |
| CN109035283B (zh) | 一种基于随机选取分区的肺气肿精准检测与量化分析方法 | |
| CN104766316B (zh) | 中医望诊中新型嘴唇分割算法 | |
| CN115115841B (zh) | 一种阴影斑点图像处理分析方法及系统 | |
| CN106023151A (zh) | 一种开放环境下中医舌象目标检测方法 | |
| CN114757960B (zh) | 一种基于cbct图像的牙齿分割与重建方法及存储介质 | |
| CN113450305B (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN111986157B (zh) | 一种数字病理图像质量评价系统 | |
| WO2022048171A1 (zh) | 眼底图像的血管管径的测量方法及测量装置 | |
| TW201942868A (zh) | 用於辨識組織病徵影像的系統及方法 | |
| CN112270667A (zh) | 一种基于ti-rads的集成深度学习多标签识别方法 | |
| CN101551854A (zh) | 不平衡医学影像处理系统及其处理方法 | |
| CN106483130A (zh) | 一种水稻病害的检测方法及其自动检测装置 | |
| CN104933723B (zh) | 基于稀疏表示的舌图像分割方法 | |
| Suhendra et al. | A novel approach to multi-class atopic dermatitis disease severity scoring using multi-class SVM | |
| CN113012093A (zh) | 青光眼图像特征提取的训练方法及训练系统 | |
| CN114926620A (zh) | 一种红外光照下瞳孔直径测量方法及系统 | |
| CN109816665B (zh) | 一种光学相干断层扫描图像的快速分割方法及装置 | |
| CN116524315A (zh) | 一种基于Mask R-CNN的肺癌病理组织切片识别及分割方法 | |
| CN117522862A (zh) | 一种基于ct影像肺炎识别的图像处理方法及处理系统 | |
| CN116311386B (zh) | 基于图像分割的舌型识别方法 | |
| CN109893100B (zh) | 一种乳腺密度定量化计算的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |