CN114581432B - 一种基于深度学习的舌象仪舌象分割方法 - Google Patents
一种基于深度学习的舌象仪舌象分割方法 Download PDFInfo
- Publication number
- CN114581432B CN114581432B CN202210272316.0A CN202210272316A CN114581432B CN 114581432 B CN114581432 B CN 114581432B CN 202210272316 A CN202210272316 A CN 202210272316A CN 114581432 B CN114581432 B CN 114581432B
- Authority
- CN
- China
- Prior art keywords
- image
- tongue
- tongue image
- deep learning
- segmentation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 title claims abstract description 16
- 238000003709 image segmentation Methods 0.000 title claims description 13
- 238000012549 training Methods 0.000 claims abstract description 25
- 238000012360 testing method Methods 0.000 claims abstract description 13
- 238000012795 verification Methods 0.000 claims abstract description 11
- 238000005259 measurement Methods 0.000 claims abstract description 3
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 206010027146 Melanoderma Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于深度学习的舌象仪舌象分割方法，包括：使用图像采集装置进行舌象数据采集；对采集到图像进行数据增强操作，扩大数据集数量，人为对扩大后数据集中的每个图像的舌体区域进行标注，并对标注后的数据集进行划分，划分为训练集、验证集与测试集；将训练集与验证集放入优化后的DeeplabV3+网络进行训练；利用训练好的模型对测试集进行预测，获得舌体图像的每个像素点的分类，与真实值进行对比，得到mIoU值衡量模型能力；对得到的像素点分类，进行新图创建与复制原图对应像素点操作获得分割后的舌象。
Description
技术领域
本发明涉及舌象仪嵌入式技术领域，具体为一种基于深度学习的舌象仪舌象分割方法。
背景技术
随着人工智能体系技术越来越成熟，深度学习的应用也不断增加，如今深度学习在医学等领域已有应用，申请号为202010034495.5，发明名称为基于U-net模型的舌体自动分割方法的专利申请提出了将其运用在舌像分割当中，但在应用时，其采用传统的网络框架，没有关注舌体的边缘信息，最终得到的图片中舌体形成锯齿或图像缺失，锯齿会使得舌体是否有齿痕以及形状是否正常变得难以判断，图像缺失会使得舌体是否有黑点，颜色是否正常变得难以确定，这些都将导致中医或人工智能在舌诊时容易误诊，因此让网络架构自适应的学习舌体边缘的特点，保证舌体图像提取的完整性、准确性是十分重要的。
发明内容
为解决背景技术中的问题，本发明提出一种基于深度学习的改良后的舌像分割方法，使用图像增强的数据处理方法，并结合优化的深度学习网络进行训练，能更加精准高效地辨别舌体边缘，减少误分割，能大大提高舌象仪分析的准确性，带来患者便利与中医技术推广的双向发展。
本发明采取如下的技术方案：
基于深度学习的舌象仪舌像分割方法，包括如下步骤：
步骤1：使用图像采集装置进行舌象数据采集；
步骤2：对步骤1采集到的图像进行数据增强操作，扩大数据集数量，人为对扩大后数据集中的每个图像的舌体区域进行标注，并对标注后的数据集进行划分，划分为训练集、验证集与测试集；
步骤3：将步骤2中的训练集与验证集放入优化后的DeeplabV3+网络进行训练；
步骤4：利用步骤3中训练好的模型对步骤2中测试集进行预测，获得舌体图像的每个像素点的分类，与真实值进行对比，得到mIoU值衡量模型能力；
步骤5：对步骤4得到的像素点分类，进行新图创建与复制原图对应像素点，获得分割后的舌象。
注意力模型最初被用于机器翻译，现在已成为神经网络领域的一个重要概念。在人工智能领域，注意力已成为神经网络结构的重要组成部分，并在自然语言处理、统计学习、语音和计算机等领域有着大量的应用。注意力模型通过允许模型动态地关注有助于执行手头任务的输入的某些部分，选取合适的注意力机制，并将其添加在恰到好处的地方，可以让网络架构强化对舌体特征的把握，划分出平滑无锯齿无黑点的完整舌体。
进一步的，所述步骤1具体包括：采用分辨率为1920×1080的相机进行图像拍摄采集，采集范围为鼻梁中间以下，下颚以上。
进一步的，所述步骤2具体包括：对采集到的图像以一定概率随机进行-15度到+15度的随机图像旋转，图片镜像翻转，图片放大缩小，以此方法将数据集图像数量扩大至原集合四倍，将数据集按照81：9：1的比例划分为训练集、验证集与测试集。
进一步的，所述步骤3具体包括：在两个特征层的融合处加入CBAM空间通道注意力机制，不改变融合时的宽高和通道数，改进了DeeplabV3+网络，然后将训练集尺寸设为512×512，程序自动放缩图片，并在空余部位填充像素默认值，输入改进的DeeplabV3+网络进行模型训练，使用BCE-Dice损失函数评估模型效果，得到训练好的模型。
进一步的，所述步骤4具体包括：输入测试集中的图像进入训练好的模型，模型读取图像后对读取图像进行自适应尺寸标准化处理，然后进行像素点分类，获得预测的像素点分类矩阵，mIoU评测函数读取文件路径中的真实值进行误差计算。
进一步的，所述步骤5具体包括：创建一幅新图像，获取分类为舌体的像素点的位置，获取对应位置的RGB值，复制到新图像的对应位置，得到只有舌体的分割图像。
本发明的有益效果在于：
本发明所述检测方法能划分出平滑无锯齿、无黑点的完整舌体，为后续的舌象诊断提供了保障。
附图说明
图1为本方法流程图；
图2为采集所得部分图片截图；
图3为labelme软件中标注的图片；
图4为添加空间通道注意力后的DeeplabV3+网络结构示意图；
图5为预测分类值和真实分类值的可视化结果；
图6为基于mIoU方法评判的正确率；
图7为舌象原图像与本发明算法处理后的图像对比，其中7a为舌象原图像，7b为经本发明算法处理后的图像。
具体实施方式
下面结合说明书附图和实施例，对本发明作进一步详细说明。
如图1所示，一种基于深度学习的舌象仪舌像分割方法,包括以下步骤：
步骤1：使用图像采集装置进行舌象数据采集，具体为：
在自然光照下，采用分辨率为1920×1080的相机进行图像拍摄采集，拍摄角度与被拍摄者持平或呈斜15度俯视。拍摄范围大致为鼻梁中间点的水平面到下颚端面。同时拍摄时有意适当调整角度和拍摄图片比例以提高网络的适用性，采集所得照片如图2所示。
步骤2：对步骤1采集到的图像以0.85的概率随机进行-15度到+15度的随机图像旋转，以0.5的概率随机进行图片镜像翻转，以0.8的概率随机进行图片放大缩小，范围为0.85-1.25倍，以此方法将数据集图像数量扩大至原集合四倍(3600张数据集)，将数据集按照81：9：1的比例划分为训练集、验证集与测试集，这样可以提升模型泛化性能，防止过早出现过拟合。标注采用label软件，标注区域应保留舌体且剔除牙齿和唇部，如图3所示。
步骤3：将步骤2中的训练集与验证集放入优化后的DeeplabV3+网络进行训练，具体为：
如图4所示为优化后的DeeplabV3+网络结构示意图，将训练集尺寸设为512×512像素，输入DeeplabV3+网络进行训练，优化后的DeeplabV3+采用Xception作为主干网络，其特点是每一个block由深度可分离卷积构成，使网络的可训练性提高，然后得到的浅层特征层通过ASPP模块得到感受野各不相同的特征层，本发明在得到不同特征层进行特征融合后，融合特征层加入空间通道注意力机制，即CBAM Block，让其网络学习到更多对于每个层来说的关注点，这样在特征融合时，可以得到更多的边缘信息。最后在与浅层特征融合时再次调用空间通道注意力机制，使融合的可训练性提高。
本发明选用BCE-Dice损失函数评估模型效果，在BCE损失的基础上加入Dice损失，可以更好的分析预测图像与真值图像的像素差异，训练出更好的权重，能让模型更优秀地进行预测。
模型共训练100轮次，前50轮次为迁移训练，即冻结主干网络训练，后50轮次为非冻结训练，模型约在90轮次收敛完毕。
步骤4：利用步骤3中训练好的模型对步骤2中测试集进行预测，获得舌体图像的每个像素点的分类，与真实值进行对比，可视化结果如图5，计算得到mIoU(平均交并比，用来衡量预测区域和真实区域之间的差距)值衡量模型能力，具体为：
导入测试集中的图像进入步骤3中训练好的模型，上述模型读取输入的图像后，对图像进行自适应尺寸处理，使舌象图片能适应网络输入，然后进行像素点预测，并与路径下的真值图进行对比，计算mIoU值，得到mIoU指标良好，如图6。
步骤5：对步骤4得到的像素点分类，进行新图创建与复制原图对应像素点获得分割后的舌象，具体为：
步骤4得到的像素点分类存储在三维矩阵中，矩阵的二维为是图像的平面大小，第三维是分类数，将原图像也转化为矩阵，在第三维的舌象层，被识别为舌体的对应像素位置的值为1，与原图像矩阵进行相乘操作，得到新的RGB三维矩阵，再转换为图片，得到分割图如图7，结果在显示器上显示出来。
应当理解的是，本发明书未详细阐述的部分均属于现有技术。
以上结合附图所示，仅为本发明的具体实施方法及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方法做出多种变化和替代，而不背离本发明的实质内容。本发明的范围仅有所附权利要求书限定。
Claims (7)
1.一种基于深度学习的舌象仪舌像分割方法，其特征在于，包括如下步骤：
步骤1：使用图像采集装置进行舌象数据采集；
步骤2：对步骤1采集到的图像进行数据增强操作，扩大数据集数量，人为对扩大后数据集中的每个图像的舌体区域进行标注，并对标注后的数据集进行划分，划分为训练集、验证集与测试集；
步骤3：将步骤2中的训练集与验证集放入优化后的DeeplabV3+网络进行训练；
步骤4：利用步骤3中训练好的模型对步骤2中测试集进行预测，获得舌体图像的每个像素点的分类，与真实值进行对比，得到mIoU值衡量模型能力；
步骤5：对步骤4得到的像素点分类，进行新图创建与复制原图对应像素点，获得分割后的舌象。
2.根据权利要求1所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，采用分辨率为1920×1080的相机进行图像拍摄采集，采集范围为鼻梁中间以下，下颚以上。
3.根据权利要求1所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，对步骤1采集到的图像以一定概率随机进行-15度到+15度的随机图像旋转，图片镜像翻转，图片放大缩小，以此方法将数据集图像数量扩大至原集合四倍，将数据集按照81：9：1的比例划分为训练集、验证集与测试集。
4.根据权利要求1所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，步骤3所述优化后的DeeplabV3+网络是在DeeplabV3+网络的两个特征层的融合处加入CBAM空间通道注意力机制，不改变融合时的宽高和通道数。
5.根据权利要求4所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，步骤3具体为：将训练集尺寸设为512×512，程序自动放缩图片，并在空余部位填充像素默认值，输入改进的DeeplabV3+网络进行模型训练，使用BCE-Dice损失函数评估模型效果，得到训练好的模型。
6.根据权利要求1所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，步骤4具体为：输入测试集中的图像进入训练好的模型，模型读取图像后对读取图像进行自适应尺寸标准化处理，然后进行像素点分类，获得预测的像素点分类矩阵，mIoU评测函数读取文件路径中的真实值进行误差计算。
7.根据权利要求1所述的一种基于深度学习的舌象仪舌像分割方法，其特征在于，步骤5具体为：创建一幅新图像，获取分类为舌体的像素点的位置，获取对应位置的RGB值，复制到新图像的对应位置，得到只有舌体的分割图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210272316.0A CN114581432B (zh) | 2022-03-18 | 2022-03-18 | 一种基于深度学习的舌象仪舌象分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210272316.0A CN114581432B (zh) | 2022-03-18 | 2022-03-18 | 一种基于深度学习的舌象仪舌象分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114581432A CN114581432A (zh) | 2022-06-03 |
| CN114581432B true CN114581432B (zh) | 2024-02-20 |
Family
ID=81776599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210272316.0A Active CN114581432B (zh) | 2022-03-18 | 2022-03-18 | 一种基于深度学习的舌象仪舌象分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114581432B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115908464B (zh) * | 2023-01-09 | 2023-05-09 | 智慧眼科技股份有限公司 | 一种舌体图像分割方法及系统 |
| CN116071373A (zh) * | 2023-03-01 | 2023-05-05 | 南通大学 | 一种基于融合PCA的U-net模型舌体自动分割方法 |
| CN117557844B (zh) * | 2023-11-14 | 2024-04-26 | 海南师范大学 | 一种基于数据增强的多模型融合舌像智能分类方法 |
| CN117576405A (zh) * | 2024-01-17 | 2024-02-20 | 深圳汇医必达医疗科技有限公司 | 舌象语义分割方法、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087313A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 一种基于深度学习的智能舌体分割方法 |
| CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
| CN112200091A (zh) * | 2020-10-13 | 2021-01-08 | 深圳市悦动天下科技有限公司 | 舌头区域识别的方法、装置及计算机存储介质 |
-
2022
- 2022-03-18 CN CN202210272316.0A patent/CN114581432B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109087313A (zh) * | 2018-08-03 | 2018-12-25 | 厦门大学 | 一种基于深度学习的智能舌体分割方法 |
| CN109584251A (zh) * | 2018-12-06 | 2019-04-05 | 湘潭大学 | 一种基于单目标区域分割的舌体图像分割方法 |
| CN112200091A (zh) * | 2020-10-13 | 2021-01-08 | 深圳市悦动天下科技有限公司 | 舌头区域识别的方法、装置及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114581432A (zh) | 2022-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114581432B (zh) | 一种基于深度学习的舌象仪舌象分割方法 | |
| JP4628882B2 (ja) | 判別器の学習方法、顔判別方法および装置並びにプログラム | |
| CN111179229A (zh) | 一种基于深度学习的工业ct缺陷检测方法 | |
| CN111666842B (zh) | 一种基于双流空洞卷积神经元网络的阴影检测方法 | |
| CN111626993A (zh) | 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统 | |
| CN110765865B (zh) | 基于改进的yolo算法的水下目标检测方法 | |
| WO2023015755A1 (zh) | 一种抠图网络训练方法及抠图方法 | |
| CN111524144A (zh) | 一种基于GAN和Unet网络的肺结节智能诊断方法 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN110619619A (zh) | 一种缺陷检测方法、装置及电子设备 | |
| CN111950457A (zh) | 油田安全生产图像识别方法及系统 | |
| CN117237279A (zh) | 一种非均匀失真全景图像盲质量评价方法及系统 | |
| CN111798359A (zh) | 一种基于深度学习的图像去水印方法 | |
| CN114841992A (zh) | 基于循环生成对抗网络和结构相似性的缺陷检测方法 | |
| CN113660484B (zh) | 基于音视频内容的音视频属性比对方法、系统、终端及介质 | |
| CN113643297A (zh) | 一种基于神经网络的计算机辅助牙龄分析方法 | |
| CN112348762A (zh) | 一种基于多尺度融合生成对抗网络的单幅图像去雨方法 | |
| CN112924037A (zh) | 基于图像配准的红外体温检测系统及检测方法 | |
| CN114529742A (zh) | 图像相似度确定方法、装置、设备及计算机可读存储介质 | |
| CN110910497A (zh) | 实现增强现实地图的方法和系统 | |
| CN110910332B (zh) | 一种视觉slam系统动态模糊处理方法 | |
| CN113724153A (zh) | 一种基于机器学习的图像多余人物消除方法 | |
| CN113159158A (zh) | 一种基于生成对抗网络的车牌矫正与重构方法及系统 | |
| CN109740618A (zh) | 基于fhog特征的络试卷分数自动统计方法和装置 | |
| CN112348807B (zh) | 一种基于轮廓像素统计的内窥镜高亮点修复方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |