CN113553991A - 一种基于深度学习的舌象识别方法 - Google Patents
一种基于深度学习的舌象识别方法 Download PDFInfo
- Publication number
- CN113553991A CN113553991A CN202110920926.2A CN202110920926A CN113553991A CN 113553991 A CN113553991 A CN 113553991A CN 202110920926 A CN202110920926 A CN 202110920926A CN 113553991 A CN113553991 A CN 113553991A
- Authority
- CN
- China
- Prior art keywords
- tongue picture
- tongue
- neural network
- network model
- picture recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 45
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000010606 normalization Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000012360 testing method Methods 0.000 claims abstract description 14
- 238000003745 diagnosis Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 9
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 239000000126 substance Substances 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 3
- 239000003814 drug Substances 0.000 abstract description 7
- 238000012797 qualification Methods 0.000 abstract description 3
- 238000009412 basement excavation Methods 0.000 abstract description 2
- 238000003062 neural network model Methods 0.000 abstract description 2
- 210000002105 tongue Anatomy 0.000 description 72
- 238000007689 inspection Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000002405 diagnostic procedure Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000002555 auscultation Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的舌象识别方法，包括如下步骤：采集若干张舌象图像作为训练图像；对所有训练图像进行尺寸归一化处理和RGB三通道数据归一化处理，得到若干个训练样本；构建舌象识别卷积神经网络模型，并将获得的训练样本作为输入，对舌象识别卷积神经网络模型进行训练；拍摄待测的舌象图像，对待测的舌象图像进行尺寸归一化处理和RGB三通道数据归一化处理，得到测试样本；将测试样本输入经过训练后的舌象识别卷积神经网络模型中，进行舌象图像的自动识别。本方案通过基于深度学习的神经网络模型对舌象图像进行合格性的分析和判断，不仅提高了中医舌诊图像的质量，而且通过深入挖掘舌象的高阶特征，进一步提升了舌体识别的准确度。
Description
技术领域
本发明涉及舌体图像识别的技术领域，特别涉及一种基于深度学习的舌象识别方法。
背景技术
中医四诊“望、闻、问、切”是中医学辩证论治的精髓，而望诊又居“四诊”之首，通过望诊就可以初步了解患者的一般状态，在中医诊断中占最重要的地位。舌诊是望诊的重要组成部分，通过观察面色以及舌头的色泽、形态的变化来辅助诊断及鉴别机体生理功能和病理变化。然而，传统的舌诊都是由人眼观察，而不是通过数字仪器记录，因此很难对舌头图像进行定量存储和处理。这一内在缺陷严重阻碍了望诊的标准化、客观化和定量化。为了解决该问题，计算机舌诊技术应运而生。
中医舌图像采集是中医舌诊客观化中最为基础和关键的部分，高质量的舌体图像的获取有助于后续详尽的舌象特征分析和高准确度的病理辅助研究。通常认为舌诊需要收集到完整的舌体图像，但是很多舌象仪没有考虑到图像的合格性判断，并没有对采集的图像进行质控，例如患者是否完全伸直了舌头，是否采集的是人脸等。
目前，常用的一些舌体检测算法是采用基于颜色空间的阈值分割法来识别舌体的。然而，这样的舌图形采集系统尚不存在通用的标准。因此，不同的采集系统，光源色温不一，显示指数不同，成像相机型号多变，成像环境有开放式、半开放式或密闭式的，这些因素都会对采集到的舌象产生不可估量的影响，进而导致其准确度较低。
发明内容
本发明要解决的技术问题是：现有的舌象识别方法对舌体图像的采集和判断合理性较差，进而导致对舌象的判断准确度较低。
本发明解决其技术问题所采用的技术方案是：
一种基于深度学习的舌象识别方法，包括如下步骤：
训练图像的采集：采集若干张舌象图像作为训练图像；
S2、获取训练样本：对所有训练图像进行尺寸归一化处理，将其处理为224*224像素，然后对训练图像的RGB三通道进行数据归一化处理，得到若干个训练样本；
S3、构建并训练舌象识别卷积神经网络模型：构建舌象识别卷积神经网络模型，并将获得的训练样本作为输入，对舌象识别卷积神经网络模型进行训练；
S4、采集舌象图像：采用舌诊仪或数码摄像头拍摄待测的舌象图像，
S5、获取测试样本：对待测的舌象图像按224*224像素进行尺寸归一化处理，然后对待测的舌象图像的RGB三通道进行数据归一化处理，得到测试样本；
S6、识别舌象图像：将测试样本输入经过训练后的舌象识别卷积神经网络模型中，进行舌象图像的自动识别。
进一步优选技术方案，所述训练图像包括三类图像，三类图像分别为舌头伸直的图像、舌头未伸直的图像以及自然非人脸的图像。
进一步优选技术方案，所述RGB三通道的数据归一化处理的具体处理公式如下：
其中，
代表调整后的RGB通道的值，
代表调整前的RGB通道的值，
代表数据的均值，
为数据的方差，数据归一化以后RGB三个通道中的数据都会处在[-1，1]区间范围之内。
进一步优选技术方案，所述构建并训练舌象识别卷积神经网络模型包括如下步骤：
S31、构建舌象识别卷积神经网络模型，所述卷积神经网络模型由17个卷积层和1个全连接层构成，具体包括：
预处理模块，所述预处理模块包括第一卷积层和一个最大池化层；所述第一卷积层的卷积核大小为7×7，步长为2；
八组卷积层模块，每组卷积层模块分别由2个卷积层构成，且卷积核大小为3×3，步长为1；
激活函数和Batch Normalization层，所述激活函数采用ReLu函数；
此外，每2层都会加入跳跃连接，即进行一次残差学习，并连接一个最大池化层；
所述最大池化层的卷积核大小为2×2，步长为2；
S32、优化舌象识别卷积神经网络模型，采用Adam优化器进行参数优化，权重衰减为1e-6，学习率为1e-4；
S33、测试舌象识别卷积神经网络模型，利用所述训练样本对舌象识别卷积神经网络模型进行准确性验证。
进一步优选技术方案，所述Adam优化器结合了AdaGrad和RMSProp两种优化算法的特点，其公式如下：
 |
(1) |
 |
(2) |
其中，
为迭代次数，
表示步长，
和
是衰弱速率，
代表模型的参数，
表示指数移动均值，
表示平方梯度，ϵ是一个非常小参数，防止在实际运算中除以0。
进一步优选技术方案，所述舌象识别卷积神经网络模型在Pytorch平台进行训练。
本发明的有益效果是：本方案通过基于深度学习的神经网络模型对舌象图像进行合格性的分析和判断，不仅提高了中医舌诊图像的质量，而且通过深入挖掘舌象的高阶特征，进一步提升舌体识别的准确度。
附图说明
图1是本发明中的舌象识别方法的流程图。
具体实施方式
以下结合附图。对本发明做进一步说明。
本发明为了解决舌体的识别问题，我们引入深度学习中的卷积神经网络，提出了一种基于深度学习的舌象识别方法，其整体包括训练样本的获取、舌象识别卷积神经网络模型的构建、舌象识别卷积神经网络模型的训练、获取测试样本、实现舌象图像的自动识别。
以上具体的讲包括如下步骤：
S1、训练图像的采集：利用舌诊仪或数码摄像头采集若干张舌象图像作为训练图像；其中，采集图像时需要为正常姿势下的人脸照片，其中，训练图像包括三类图像，三类图像分别为舌头伸直的图像、舌头未伸直的图像以及自然非人脸的图像；
S2、获取训练样本：对所有训练图像进行尺寸归一化处理，将其处理为224*224像素，随后对图像RGB三通道进行数据归一化处理，进而得到若干个训练样本；
其中，
代表调整后的RGB通道的值，
代表调整前的RGB通道的值，
代表数据的均值，
为数据的方差，数据归一化以后RGB三个通道中的数据都会处在[-1，1]区间范围之内。例如：数据的均值和方差可以分别归一化到如下值[0.485,0.456,0.406]，[0.229,0.224,0.225]，有利于后续网络的训练；
S3、构建并训练舌象识别卷积神经网络模型：构建舌象识别卷积神经网络模型，并将获得的训练样本作为输入，在Pytorch平台对舌象识别卷积神经网络模型进行训练；
S4、采集舌象图像：采用舌诊仪或数码摄像头拍摄待测的舌象图像，
S5、获取测试样本：对待测的舌象图像按224*224像素进行尺寸归一化处理，然后对待测的舌象图像的RGB三通道进行数据归一化处理，得到测试样本；
其中，对舌象图像的RGB三通道的数据归一化处理的具体公式如下：
其中，
代表调整后的RGB通道的值，
代表调整前的RGB通道的值，
代表数据的均值，
为数据的方差，数据归一化以后RGB三个通道中的数据都会处在[-1，1]区间范围之内。例如：数据的均值和方差可以分别归一化到如下值[0.485,0.456,0.406]，[0.229,0.224,0.225]，有利于后续网络的训练。
S6、识别舌象图像：将测试样本输入经过训练后的舌象识别卷积神经网络模型中，进行舌象图像的自动识别。
在上述步骤S3中，构建并训练舌象识别卷积神经网络模型包括如下步骤：
S31、构建舌象识别卷积神经网络模型，所述卷积神经网络模型由17个卷积层和1个全连接层构成，具体包括：
预处理模块，所述预处理模块包括第一卷积层和一个最大池化层；所述第一卷积层的卷积核大小为7×7，步长为2；
八组卷积层模块，每组卷积层模块分别由2个卷积层构成，且卷积核大小为3×3，步长为1；
激活函数和Batch Normalization层，所述激活函数采用ReLu函数；
此外，每2层都会加入跳跃连接，即进行一次残差学习，并连接一个最大池化层；
所述最大池化层的卷积核大小为2×2，步长为2；
S32、优化舌象识别卷积神经网络模型，采用Adam优化器进行参数优化，权重衰减为1e-6，学习率为1e-4；
其中，Adam优化器结合了AdaGrad和RMSProp两种优化算法的特点，其公式如下：
 |
(1) |
 |
(2) |
其中，
为迭代次数，
表示步长，
和
是衰弱速率，
代表模型的参数，
表示指数移动均值，
表示平方梯度，ϵ是一个非常小参数，防止在实际运算中除以0。
S33、测试舌象识别卷积神经网络模型，利用所述训练样本对舌象识别卷积神经网络模型进行准确性验证。
评价指标：准确率，精准率，召回率以及 F1值，所有指标均越高，说明分类性能越高。所有指标均为越高越好，最常评判的指标是准确率，一般高性能的方法需要高于95%。
准确率（Acc）：所有的预测正确（正类负类）的占总的比重。
精确率（Pre）：正确预测为正的占全部预测为正的比例。
召回率（Recall）：正确预测为正的占全部实际为正的比例。
F1值：F1值为算数平均数除以几何平均数
其中，TP：真阳性、FP：假阳性 、TN：真阴性、 FN：假阴性
训练参数：在Pytorch平台进行训练，GPU采用RTX Nvidia 2080Ti.利用Adam优化器，权重衰减为1e-6，学习率为1e-4，每个批次大小为4，共训练50次。
实验结果：实验结果如下表1所示，可以取得较高的分类准确率。
表1
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (6)
1.一种基于深度学习的舌象识别方法，其特征在于，包括如下步骤：
S1、训练图像的采集：采集若干张舌象图像作为训练图像；
S2、获取训练样本：对所有训练图像进行尺寸归一化处理，将其处理为224*224像素，然后对训练图像的RGB三通道进行数据归一化处理，得到若干个训练样本；
S3、构建并训练舌象识别卷积神经网络模型：构建舌象识别卷积神经网络模型，并将获得的训练样本作为输入，对舌象识别卷积神经网络模型进行训练；
S4、采集舌象图像：采用舌诊仪或数码摄像头拍摄待测的舌象图像，
S5、获取测试样本：对待测的舌象图像按224*224像素进行尺寸归一化处理，然后对待测的舌象图像的RGB三通道进行数据归一化处理，得到测试样本；
S6、识别舌象图像：将测试样本输入经过训练后的舌象识别卷积神经网络模型中，进行舌象图像的自动识别。
2.如权利要求1所述的一种基于深度学习的舌象识别方法，其特征在于，所述训练图像包括三类图像，三类图像分别为舌头伸直的图像、舌头未伸直的图像以及自然非人脸的图像。
3.如权利要求1所述的一种基于深度学习的舌象识别方法，其特征在于，所述RGB三通道的数据归一化处理的具体处理公式如下：
其中，
代表调整后的RGB通道的值，
代表调整前的RGB通道的值，
代表数据的均值，
为数据的方差，数据归一化以后RGB三个通道中的数据都会处在[-1，1]区间范围之内。
4.如权利要求1所述的一种基于深度学习的舌象识别方法，其特征在于，所述构建并训练舌象识别卷积神经网络模型包括如下步骤：
S31、构建舌象识别卷积神经网络模型，所述卷积神经网络模型由17个卷积层和1个全连接层构成，具体包括：
预处理模块，所述预处理模块包括第一卷积层和一个最大池化层；所述第一卷积层的卷积核大小为7×7，步长为2；
八组卷积层模块，每组卷积层模块分别由2个卷积层构成，且卷积核大小为3×3，步长为1；
激活函数和Batch Normalization层，所述激活函数采用ReLu函数；
此外，每2层都会加入跳跃连接，即进行一次残差学习，并连接一个最大池化层；
所述最大池化层的卷积核大小为2×2，步长为2；
S32、优化舌象识别卷积神经网络模型，采用Adam优化器进行参数优化，权重衰减为1e-6，学习率为1e-4；
S33、测试舌象识别卷积神经网络模型，利用所述训练样本对舌象识别卷积神经网络模型进行准确性验证。
5.如权利要求4所述的一种基于深度学习的舌象识别方法，其特征在于，所述Adam优化器结合了AdaGrad和RMSProp两种优化算法的特点，其公式如下：
其中，
为迭代次数，
表示步长，
和
是衰弱速率，
代表模型的参数，
表示指数移动均值，
表示平方梯度，ϵ是一个非常小参数，防止在实际运算中除以0。
6.如权利要求1所述的一种基于深度学习的舌象识别方法，其特征在于，所述舌象识别卷积神经网络模型在Pytorch平台进行训练。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920926.2A CN113553991A (zh) | 2021-08-11 | 2021-08-11 | 一种基于深度学习的舌象识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110920926.2A CN113553991A (zh) | 2021-08-11 | 2021-08-11 | 一种基于深度学习的舌象识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553991A true CN113553991A (zh) | 2021-10-26 |
Family
ID=78105608
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110920926.2A Pending CN113553991A (zh) | 2021-08-11 | 2021-08-11 | 一种基于深度学习的舌象识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553991A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082461A (zh) * | 2022-08-19 | 2022-09-20 | 成都中医药大学 | 一种基于边缘计算的预判过滤方法及装置 |
| CN117593591B (zh) * | 2024-01-16 | 2024-05-31 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472774A (zh) * | 2018-10-11 | 2019-03-15 | 上海中医药大学 | 一种基于深度学习的舌象图像质量检测方法 |
-
2021
- 2021-08-11 CN CN202110920926.2A patent/CN113553991A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109472774A (zh) * | 2018-10-11 | 2019-03-15 | 上海中医药大学 | 一种基于深度学习的舌象图像质量检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 邓天民等: "基于改进空间金字塔池化卷积神经网络的交通标志识别", 《计算机应用》, vol. 40, no. 10, pages 2872 - 2880 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115082461A (zh) * | 2022-08-19 | 2022-09-20 | 成都中医药大学 | 一种基于边缘计算的预判过滤方法及装置 |
| CN115082461B (zh) * | 2022-08-19 | 2022-11-04 | 成都中医药大学 | 一种基于边缘计算的预判过滤方法及装置 |
| CN117593591B (zh) * | 2024-01-16 | 2024-05-31 | 天津医科大学总医院 | 一种基于医学图像分割的舌象分类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109670510B (zh) | 一种基于深度学习的胃镜活检病理数据筛查系统 | |
| CN110969614B (zh) | 基于三维卷积神经网络的脑龄预测方法及系统 | |
| CN103249358A (zh) | 医用图像处理装置 | |
| CN112784856A (zh) | 胸部x射线图像的通道注意力特征提取方法和识别方法 | |
| CN110729045A (zh) | 一种基于上下文感知残差网络的舌图像分割方法 | |
| CN112465905A (zh) | 基于深度学习的磁共振成像数据的特征脑区定位方法 | |
| CN112348785A (zh) | 一种癫痫病灶定位方法及系统 | |
| WO2021212715A1 (zh) | 精神分裂症分类识别方法、运行控制装置及医疗设备 | |
| CN114359629A (zh) | 一种基于深度迁移学习的肺炎x胸片分类识别方法 | |
| CN112348839A (zh) | 一种基于深度学习的图像分割方法及系统 | |
| CN113553991A (zh) | 一种基于深度学习的舌象识别方法 | |
| CN116030063B (zh) | Mri图像的分类诊断系统、方法、电子设备及介质 | |
| CN117152152A (zh) | 检测试剂盒的生产管理系统及方法 | |
| Mohammed et al. | Esophageal Cancer Detection Using Feed-Forward Neural Network | |
| Alzu'bi et al. | A new approach for detecting eosinophils in the gastrointestinal tract and diagnosing eosinophilic colitis. | |
| Nagarhalli et al. | Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors | |
| CN113222061B (zh) | 一种基于双路小样本学习的mri图像分类方法 | |
| Tasya et al. | Breast Cancer Detection Using Convolutional Neural Network with EfficientNet Architecture | |
| CN112837807A (zh) | 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法 | |
| CN117058467B (zh) | 一种胃肠道病变类型识别方法及系统 | |
| CN115775410B (zh) | 一种眼象数据的处理方法、系统、存储介质及电子设备 | |
| US11430112B2 (en) | Systems and methods for quantitative phenotyping of fibrosis | |
| CN117789987B (zh) | 一种内分泌科康复评估模型的构建方法及系统 | |
| CN116741384B (zh) | 一种基于床旁护理的重症急性胰腺炎临床数据管理方法 | |
| CN114550860B (zh) | 一种基于流程数据与智能网络模型的就医满意度评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |