CN113139971A - 一种基于人工智能的舌象识别方法及系统 - Google Patents
一种基于人工智能的舌象识别方法及系统 Download PDFInfo
- Publication number
- CN113139971A CN113139971A CN202110301301.8A CN202110301301A CN113139971A CN 113139971 A CN113139971 A CN 113139971A CN 202110301301 A CN202110301301 A CN 202110301301A CN 113139971 A CN113139971 A CN 113139971A
- Authority
- CN
- China
- Prior art keywords
- image
- tongue
- segmentation
- network
- tooth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 20
- 230000011218 segmentation Effects 0.000 claims abstract description 177
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 7
- 238000007781 pre-processing Methods 0.000 claims description 22
- 238000013135 deep learning Methods 0.000 claims description 18
- 238000003709 image segmentation Methods 0.000 claims description 18
- 230000000877 morphologic effect Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 239000003814 drug Substances 0.000 abstract description 14
- 238000007689 inspection Methods 0.000 abstract description 5
- 238000013527 convolutional neural network Methods 0.000 abstract description 3
- 238000003745 diagnosis Methods 0.000 description 10
- 230000036541 health Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010014080 Ecchymosis Diseases 0.000 description 1
- 208000010798 Tongue disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012567 pattern recognition method Methods 0.000 description 1
- 230000003863 physical function Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000952 spleen Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于人工智能的舌象识别方法及系统。首先对获取的原始图像进行处理，得到标注图像；然后通过对标注图像进行舌体分割，得到舌体分割图像；对标注图像进行齿痕分割，得到齿痕分割图像；对舌体分割图像以及齿痕分割图像进行二值化处理，得到舌体二值化图像和齿痕二值化图像；再构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，最后通过训练好的舌象识别网络进行舌象识别。本发明充分利用了深度卷积神经网络优越的图像表现能力；解决了中医舌诊对齿痕舌程度难以区分的问题，克服现有技术在中医舌诊运用领域齿痕特征无法有效识别的问题。
Description
技术领域
本发明涉及图像处理领域，具体涉及一种基于人工智能的舌象识别方法及系统。
背景技术
舌诊广泛应用于中医的临床分析和应用中已有数千年的历史，是中医望闻问切中的望诊的一部分。中医将舌诊与通过其他诊断方法收集的其他体征和症状相结合，以全面了解患者的健康状况，从而制定策略来调节身体机能的不平衡。传统的舌诊更倾向于对舌象的认识，而不是舌象的异常和疾病，中医认为舌头与人们的健康息息相关。通过检查舌头的颜色、形状和质地来判断患者的健康状况，如瘀斑、点刺、齿痕、舌裂和舌苔厚度等不同的特征能够反映身体的内部状态和器官的健康状况。它通过观察患者的舌头特征来获取信息，以获取健康状况。带有齿痕的舌头是最重要的舌头特征之一，与脾虚有关，可以极大地促进症状的分化和治疗选择。然而，舌头上的牙齿标记具有多种类型(例如，不同的颜色和形状)，这使得识别带有齿痕的舌头对中医具有挑战性。
然而舌诊过程受到光照、拍摄角度和医生主观原因等其他因素的影响，使得其客观化研究难以迅速取得突破。中医舌诊这种基于视觉描述的特性，在一定程度上限制了中医诊断方法和技术的发展。随着数字医学成像设备和模式识别方法的不断完善，计算机辅助舌诊通过消除对基于主观和经验的舌诊评估的依赖，提供更准确、一致和客观的临床诊断，在中医方面具有巨大的潜力。
发明内容
本发明主要考虑了中医舌诊对齿痕舌程度难以区分的问题，提出了一种基于人工智能的舌象识别方法及系统，旨在克服现有技术在中医舌诊运用领域齿痕特征无法有效识别的问题。
本发明针对上述的情况，结合了深度卷积神经网络优越的图像表现能力以及中医舌诊对齿痕舌程度区分的领域知识达到较优的性能，提出的一种基于人工智能的辅助中医齿痕舌的舌象识别方法及系统，主要包括：获取原始图像，裁剪图像，医生对图像进行齿痕程度的区分，标注舌体以及齿痕特征；舌体分割模块，得到舌体分割图像；齿痕特征分割模块，得到分割出齿痕特征的图像；图像预处理模块；最优模型选择模块，构建主网络模型，通过模型的训练与测试，选择结果准确率最高的模型为最优模型。
一种基于人工智能的舌象识别系统，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和最优模型选择模块。
所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；
所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；
所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；
所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像。对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像。
所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别。
所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像。第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像。第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征。第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征。以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
一种基于人工智能的舌象识别方法，步骤如下：
S1:通过数据获取模块对获取的原始图像进行裁剪图像、齿痕程度的区分、进行舌体区域和齿痕特征的标注，得到标注图像，具体如下：
S1-1：在获取到原始图像后，利用图像处理工具，裁剪图像，使得图像以舌体为主体，并对图像进行齿痕程度的区分，得到齿痕程度标记图像。
S1-2：然后对齿痕程度标记图像分别标注舌体的边界以及齿痕特征，得到标注图像。
S2：通过舌体分割模块的舌体分割网络对S1中得到的标注图像进行舌体分割，得到舌体分割图像。具体实施方式如下：
S2-1：选取一个深度学习图像分割网络，用于舌体分割操作。
S2-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到舌体分割网络。
S2-3：用训练好的舌体分割网络对标注图像进行舌体分割，得到舌体分割图像。
S3：通过齿痕特征分割模块的齿痕分割网络对S1中得到的标注图像进行齿痕分割，得到齿痕分割图像。具体实施方式如下：
S3-1：选取一个深度学习图像分割网络，用于齿痕分割操作。
S3-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到齿痕分割网络。
S3-3：用训练好的齿痕分割网络对齿痕标注图像进行齿痕分割，得到齿痕分割图像。
S4：通过图像预处理模块对S2中得到的舌体分割图像以及S3中得到齿痕分割图像进行图像预处理，具体如下：
S4-1：对S2中得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，该操作可提取舌体的形态信息，得到舌体的二值化图像。
S4-2：对S3中得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，该操作提取齿痕的形态信息，得到齿痕的二值化图像。
S4-3：调整所有图像的大小为统一规格。所述的所有图像包括舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像。
S5：构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，获取四个分网络以及权重网络的最优参数，以此得到训练好的舌象识别网络。
S5-1：构建舌象识别网络，具体如下：
S5-1-1：构建第一分网络，网络骨架采用ResNet-50,该网络输入为S2中获得的舌体分割图像。
S5-1-2：构建第二分网络，网络骨架也采用ResNet-50，该网络的输入为S3中获得的齿痕分割图像。
S5-1-3：构建第三分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的舌体二值化图像，该分网络主要关注舌体的形态特征。
S5-1-4：构建第四分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的齿痕二值化图像，该分网络主要关注齿痕的形态特征。
S5-1-5：权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
S5-2：将四个分网络使用在大型数据集上预训练的网络权重进行初始化，修改ResNet-50的最后一层全连接层，得到四分类分类器，输出为初步齿痕程度分类结果。将获得的舌体分割图像、齿痕分割图像、舌体二值化图像以及齿痕二值化图像分为训练集与验证集，通过训练集对S-5-1中的舌象识别网络进行训练，以验证集验证模型准确率，选择准确率最高的模型为最优模型。
S6：通过训练好的舌象识别网络进行舌象识别；
S6-1：对待检测图像进行裁剪，获得以舌体为主体的图像；
S6-2：通过舌体分割模块的舌体分割网络对S6-1获得的图像进行分割，获得待检测舌体分割图像；
S6-3：通过齿痕特征分割模块的齿痕分割网络对S6-1获得的图像进行分割，获得待检测齿痕分割图像；
S6-4：通过图像预处理模块对得到的舌体分割图像以及得到齿痕分割图像进行图像预处理，获得待检测舌体二值化图像以及待检测齿痕二值化图像；
S6-5：将得到的待检测舌体分割图像、待检测齿痕分割图像、待检测舌体二值化图像以及待检测齿痕二值化图像输入通过舌象识别模块中训练好的舌象识别网络进行检测；
进一步的，所述的齿痕分割网络采用U-net网络。
进一步的，所述的齿痕分割网络采用U-net网络。
进一步的，所述的大型数据集为ImageNet数据集。
本发明方法具有的优点及有益结果为：
本发明方法，四个分网络的输入分别为舌体分割图像、齿痕分割图像、舌体二值化图像以及齿痕二值化图像，融入了中医舌诊对齿痕舌程度区分的领域知识。同时采用了在ImageNet数据集上进行了预训练的ResNet-50，充分利用了深度卷积神经网络优越的图像表现能力。以准确率最高的模型为最优模型，增加了模型检测的准确率和可行性。本发明解决了中医舌诊对齿痕舌程度难以区分的问题，克服现有技术在中医舌诊运用领域齿痕特征无法有效识别的问题。
附图说明
图1为本发明实施例图像处理示意图；
图2为本发明实施例舌象识别网络结构示意图；
图3为本发明实施例流程图。
具体实施方式：
下面结合附图对本发明作进一步描述。
如图3所示，一种基于人工智能的舌象识别方法，步骤如下：
S1:通过数据获取模块对获取的原始图像进行裁剪图像、齿痕程度的区分、进行舌体区域和齿痕特征的标注，得到标注图像，具体如下：
S1-1：在获取到原始图像后(如图1中的1-1所示)，利用图像处理工具，裁剪图像，使得图像以舌体为主体(如图1中的1-2所示)，并由医生对图像进行齿痕程度的区分，得到齿痕程度标记图像。
S1-2：然后医生对S1-1中得到的齿痕程度标记图像分别标注舌体的边界以及齿痕特征，得到标注图像(如图1中的1-3所示)。
S2：通过舌体分割模块的舌体分割网络对S1中得到的标注图像进行舌体分割，得到舌体分割图像。具体实施方式如下：
S2-1：选取一个深度学习图像分割网络中的U-net网络，用于舌体分割操作。
S2-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集ImageNet上预训练的网络权重进行初始化，接着利用S1中得到的部分标注图像对网络参数进行微调，训练得到舌体分割网络。
S2-3：用训练好的舌体分割网络对标注图像进行舌体分割，得到舌体分割图像。
S3：通过齿痕特征分割模块的齿痕分割网络对S1中得到的标注图像进行齿痕分割，得到齿痕分割图像。具体实施方式如下：
S3-1：选取一个深度学习图像分割网络中的U-net网络，用于齿痕分割操作。
S3-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集ImageNet上预训练的网络权重进行初始化，接着利用S1中得到的部分标注图像对网络参数进行微调，训练得到齿痕特征分割网络。
S3-3：用训练好的齿痕分割网络对齿痕标注图像进行齿痕分割，得到齿痕分割图像。(如图1中的1-4所示)
S4：通过图像预处理模块对S2中得到的舌体分割图像以及S3中得到齿痕分割图像进行图像预处理，具体如下：
S4-1：对S2中得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，该操作可提取舌体的形态信息，得到舌体的二值化图像。
S4-2：对S3中得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，该操作提取齿痕的形态信息，得到齿痕的二值化图像。
S4-3：调整所有图像(舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像)的大小为统一规格200×200。
S5：构建舌象识别网络，使用之前得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，获取四个分网络的最优参数以及权重模块的最优权重参数，以此得到最优的舌象识别网络。
S5-1：构建舌象识别网络(如图2所示)，具体如下：
S5-1-1：构建第一分网络，网络骨架采用ResNet-50,该网络输入为S2中获得的舌体分割图像，网络可利用舌体的整体信息(包括但不限于舌体的形态与色泽)。
S5-1-2：构建第二分网络，网络骨架也采用ResNet-50，该网络的输入为S3中获得的齿痕分割图像，网络可利用齿痕的整体信息(包括但不限于齿痕的个数、凹陷的深浅与色泽)。
S5-1-3：构建第三分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的舌体二值化图像，该分网络主要关注舌体的形态特征。
S5-1-4：构建第四分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的齿痕二值化图像，该分网络主要关注齿痕的形态特征。
S5-1-5：权重网络，即一个全连接层，将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
S5-2：将四个分网络使用在ImageNet上预训练的网络权重进行初始化，并对ResNet-50随机选择最后一个完全连接的层中的四个神经元，删除其他神经元以及与之相连的权重，得到四分类分类器，输出为初步齿痕程度分类结果。将获得的舌体分割图像、齿痕分割图像、舌体二值化图像以及齿痕二值化图像分为训练集与验证集，通过训练集对S-5-1中的舌象识别网络进行训练，以验证集验证模型准确率，选择准确率最高的模型为最优模型。
S6：通过训练好的舌象识别网络进行舌象识别；
S6-1：对待检测图像进行裁剪，获得以舌体为主体的图像；
S6-2：通过舌体分割模块的舌体分割网络对S6-1获得的图像进行分割，获得待检测舌体分割图像；
S6-3：通过齿痕特征分割模块的齿痕分割网络对S6-1获得的图像进行分割，获得待检测齿痕分割图像；
S6-4：通过图像预处理模块对得到的舌体分割图像以及得到齿痕分割图像进行图像预处理，获得待检测舌体二值化图像以及待检测齿痕二值化图像；
S6-5：将得到的待检测舌体分割图像、待检测齿痕分割图像、待检测舌体二值化图像以及待检测齿痕二值化图像输入通过舌象识别模块中训练好的舌象识别网络进行检测；
一种基于人工智能的舌象识别系统，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和最优模型选择模块。
所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；
所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；
所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；
所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像。对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像。
所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别。
所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像。第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像。第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征。第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征。以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
Claims (10)
1.一种基于人工智能的舌象识别系统，其特征在于，包括数据获取模块、舌体分割模块、齿痕特征分割模块、图像预处理模块和舌象识别模块；
所述的数据获取模块用于对获取的原始图像进行裁剪、对图像进行齿痕程度的区分，并进行舌体区域以及齿痕特征的标注，得到具有齿痕程度分类标签和齿痕特征标注的标注图像；
所述的舌体分割模块采用深度学习图像分割网络作为舌体分割网络，对标注图像进行舌体分割，得到舌体分割图像；
所述的齿痕特征分割模块采用深度学习图像分割网络作为齿痕分割网络，对标注图像进行齿痕分割，得到齿痕分割图像；
所述的图像预处理模块用于对数据获取模块得到的舌体图像以及齿痕特征分割模块得到齿痕分割图像进行图像预处理；对得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，提取舌体的形态信息，得到舌体的二值化图像；对得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，提取齿痕的形态信息，得到齿痕的二值化图像；
所述的舌象识别模块，通过训练好的舌象识别网络，进行舌象识别；
所述的舌象识别网络包括第一分网络，网络骨架采用ResNet-50,该网络输入为舌体分割图像；第二分网络，网络骨架也采用ResNet-50，该网络的输入为齿痕分割图像；第三分网络，网络骨架采用ResNet-50，该网络的输入为舌体二值化图像，该分网络主要关注舌体的形态特征；第四分网络，网络骨架采用ResNet-50，该网络的输入为齿痕二值化图像，该分网络主要关注齿痕的形态特征；以及权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果。
2.一种基于人工智能的舌象识别方法，其特征在于，步骤如下：
S1:通过数据获取模块对获取的原始图像进行裁剪图像、齿痕程度的区分、进行舌体区域和齿痕特征的标注，得到标注图像；
S2：通过舌体分割模块的舌体分割网络对S1中得到的标注图像进行舌体分割，得到舌体分割图像；
S3：通过齿痕特征分割模块的齿痕分割网络对S1中得到的标注图像进行齿痕分割，得到齿痕分割图像；
S4：通过图像预处理模块对S2中得到的舌体分割图像以及S3中得到齿痕分割图像进行图像预处理，得到舌体二值化图像和齿痕二值化图像；
S5：构建舌象识别网络，使用得到的舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像训练舌象识别网络，获取四个分网络以及权重网络的最优参数，以此得到训练好的舌象识别网络；
S6：通过训练好的舌象识别网络进行舌象识别。
3.根据权利要求2所述的一种基于人工智能的舌象识别方法，其特征在于，S1具体操作如下：
S1-1：在获取到原始图像后，利用图像处理工具，裁剪图像，使得图像以舌体为主体，并对图像进行齿痕程度的区分，得到齿痕程度标记图像；
S1-2：然后对齿痕程度标记图像分别标注舌体的边界以及齿痕特征，得到标注图像。
4.根据权利要求3所述的一种基于人工智能的舌象识别方法，其特征在于，S2具体操作如下：
S2-1：选取一个深度学习图像分割网络，用于舌体分割操作；
S2-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到舌体分割网络；
S2-3：用训练好的舌体分割网络对标注图像进行舌体分割，得到舌体分割图像。
5.根据权利要求4所述的一种基于人工智能的舌象识别方法，其特征在于，S3具体操作如下：
S3-1：选取一个深度学习图像分割网络，用于齿痕分割操作；
S3-2：对S2-1中选取的深度学习图像分割网络使用在大型数据集上预训练的网络权重进行初始化，接着利用S1中得到的标注图像对网络参数进行微调，训练得到齿痕分割网络；
S3-3：用训练好的齿痕分割网络对齿痕标注图像进行齿痕分割，得到齿痕分割图像。
6.根据权利要求5所述的一种基于人工智能的舌象识别方法，其特征在于，S4具体操作如下：
S4-1：对S2中得到的舌体分割图像进行图像二值化操作，将非舌体部分的像素点的灰度值设置为0，将舌体部分的像素点的灰度值设置为255，该操作可提取舌体的形态信息，得到舌体的二值化图像；
S4-2：对S3中得到齿痕分割图像进行图像二值化操作，将非齿痕部分的像素点的灰度值设置为0，将齿痕部分的像素点的灰度值设置为255，该操作提取齿痕的形态信息，得到齿痕的二值化图像；
S4-3：调整所有图像的大小为统一规格；所述的所有图像包括舌体分割图像，齿痕分割图像，舌体二值化图像和齿痕二值化图像。
7.根据权利要求6所述的一种基于人工智能的舌象识别方法，其特征在于，S5具体操作如下：
S5-1：构建舌象识别网络，具体如下：
S5-1-1：构建第一分网络，网络骨架采用ResNet-50,该网络输入为S2中获得的舌体分割图像；
S5-1-2：构建第二分网络，网络骨架也采用ResNet-50，该网络的输入为S3中获得的齿痕分割图像；
S5-1-3：构建第三分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的舌体二值化图像，该分网络主要关注舌体的形态特征；
S5-1-4：构建第四分网络，网络骨架采用ResNet-50，该网络的输入为S4中获得的齿痕二值化图像，该分网络主要关注齿痕的形态特征；
S5-1-5：权重网络，即以一个全连接层将四个分网络的初步齿痕程度分类结果输出为最终的齿痕程度分类结果；
S5-2：将四个分网络使用在大型数据集上预训练的网络权重进行初始化，修改ResNet-50的最后一层全连接层，得到四分类分类器，输出为初步齿痕程度分类结果；将获得的舌体分割图像、齿痕分割图像、舌体二值化图像以及齿痕二值化图像分为训练集与验证集，通过训练集对S-5-1中的舌象识别网络进行训练，以验证集验证模型准确率，选择准确率最高的模型为最优模型。
8.根据权利要求7所述的一种基于人工智能的舌象识别方法，其特征在于，S6具体操作如下：
S6-1：对待检测图像进行裁剪，获得以舌体为主体的图像；
S6-2：通过舌体分割模块的舌体分割网络对S6-1获得的图像进行分割，获得待检测舌体分割图像；
S6-3：通过齿痕特征分割模块的齿痕分割网络对S6-1获得的图像进行分割，获得待检测齿痕分割图像；
S6-4：通过图像预处理模块对得到的舌体分割图像以及得到齿痕分割图像进行图像预处理，获得待检测舌体二值化图像以及待检测齿痕二值化图像；
S6-5：将得到的待检测舌体分割图像、待检测齿痕分割图像、待检测舌体二值化图像以及待检测齿痕二值化图像输入通过舌象识别模块中训练好的舌象识别网络进行检测。
9.根据权利要求8所述的一种基于人工智能的舌象识别方法，其特征在于，进一步的，所述的齿痕分割网络和齿痕分割网络采用U-net网络。
10.根据权利要求9所述的一种基于人工智能的舌象识别方法，其特征在于，进一步的，所述的大型数据集为ImageNet数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301301.8A CN113139971A (zh) | 2021-03-22 | 2021-03-22 | 一种基于人工智能的舌象识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110301301.8A CN113139971A (zh) | 2021-03-22 | 2021-03-22 | 一种基于人工智能的舌象识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113139971A true CN113139971A (zh) | 2021-07-20 |
Family
ID=76810072
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110301301.8A Withdrawn CN113139971A (zh) | 2021-03-22 | 2021-03-22 | 一种基于人工智能的舌象识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113139971A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808075A (zh) * | 2021-08-04 | 2021-12-17 | 上海大学 | 一种基于深度学习的两阶段舌象识别方法 |
| CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
| CN116740054A (zh) * | 2023-08-08 | 2023-09-12 | 天筛(聊城)生物科技有限公司 | 一种基于图像处理的舌象齿痕检测方法 |
| CN117593591A (zh) * | 2024-01-16 | 2024-02-23 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
-
2021
- 2021-03-22 CN CN202110301301.8A patent/CN113139971A/zh not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113808075A (zh) * | 2021-08-04 | 2021-12-17 | 上海大学 | 一种基于深度学习的两阶段舌象识别方法 |
| CN115661142A (zh) * | 2022-12-14 | 2023-01-31 | 广东工业大学 | 一种基于关键点检测的舌诊图像处理方法、设备及介质 |
| CN116740054A (zh) * | 2023-08-08 | 2023-09-12 | 天筛(聊城)生物科技有限公司 | 一种基于图像处理的舌象齿痕检测方法 |
| CN116740054B (zh) * | 2023-08-08 | 2023-10-20 | 天筛(聊城)生物科技有限公司 | 一种基于图像处理的舌象齿痕检测方法 |
| CN117593591A (zh) * | 2024-01-16 | 2024-02-23 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
| CN117593591B (zh) * | 2024-01-16 | 2024-05-31 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113139971A (zh) | 一种基于人工智能的舌象识别方法及系统 | |
| CN106056595B (zh) | 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统 | |
| Mendonça et al. | PH 2-A dermoscopic image database for research and benchmarking | |
| CN111931811B (zh) | 一种基于超像素图像相似度的计算方法 | |
| CN107368670A (zh) | 基于大数据深度学习的胃癌病理诊断支持系统和方法 | |
| CN111951221A (zh) | 一种基于深度神经网络的肾小球细胞图像识别方法 | |
| CN110647875A (zh) | 一种血细胞分割、识别模型构造的方法及血细胞识别方法 | |
| CN114331971A (zh) | 一种基于半监督自训练的超声内镜目标检测方法 | |
| Sivasankar et al. | Retracted: FCM based iris image analysis for tissue imbalance stage identification | |
| CN107330393A (zh) | 一种基于视频分析的新生儿疼痛表情识别方法 | |
| CN108009592A (zh) | 一种糖尿病性视网膜图像自动分类方法 | |
| CN109934804A (zh) | 基于卷积神经网络的阿尔茨海默病变区域的检测方法 | |
| CN110188767A (zh) | 基于深度神经网络的角膜病图像序列化特征提取与分类方法及装置 | |
| CN113130066A (zh) | 一种基于人工智能的舌诊图像识别方法 | |
| CN112102332A (zh) | 基于局部分类神经网络的癌症wsi的分割方法 | |
| Ou et al. | BFENet: A two-stream interaction CNN method for multi-label ophthalmic diseases classification with bilateral fundus images | |
| CN109241963A (zh) | 基于Adaboost机器学习的胶囊胃镜图像中出血点智能识别方法 | |
| Suhendra et al. | A novel approach to multi-class atopic dermatitis disease severity scoring using multi-class SVM | |
| CN109214388B (zh) | 一种基于个性化融合网络的肿瘤分割方法及装置 | |
| Li et al. | Research about tongue image of traditional chinese medicine (TCM) based on artificial intelligence technology | |
| CN106960199A (zh) | 一种真彩色眼象图白睛区域的完整提取方法 | |
| CN109636864A (zh) | 一种基于颜色校正与深度卷积神经网络的舌分割方法及系统 | |
| Gupta et al. | Learning self-supervised representations for label efficient cross-domain knowledge transfer on diabetic retinopathy fundus images | |
| CN112419246A (zh) | 量化食管粘膜IPCLs血管形态分布的深度检测网络 | |
| CN111951950B (zh) | 基于深度学习的三维数据医疗分类系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210720 |