CN113569855A - 一种舌象分割方法、设备及存储介质 - Google Patents
一种舌象分割方法、设备及存储介质 Download PDFInfo
- Publication number
- CN113569855A CN113569855A CN202110769867.3A CN202110769867A CN113569855A CN 113569855 A CN113569855 A CN 113569855A CN 202110769867 A CN202110769867 A CN 202110769867A CN 113569855 A CN113569855 A CN 113569855A
- Authority
- CN
- China
- Prior art keywords
- tongue
- tongue picture
- training
- network
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 132
- 230000003042 antagnostic effect Effects 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 15
- 238000010586 diagram Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013519 translation Methods 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 3
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 10
- 238000011176 pooling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000002372 labelling Methods 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种舌象分割方法、设备及存储介质，其方法包括获取舌象训练集，舌象训练集包括多张人体舌象图像；对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。本发明无需人工做标签，并且在舌象数据集小的情况下，也能够有效提供舌象分割精度。
Description
技术领域
本申请涉及图像分割技术领域，尤其是涉及一种舌象分割方法、设备及存储介质。
背景技术
中医舌诊是中医望闻问切中的第一步，也是最直观的一步，舌象能够把人体内的生理状况和病理变化一一展现给医师看，为医师诊断起到重要的作用。因此，舌诊的客观化和定量化也成为我国中医现代化研究的重要课题。
随着图像处理技术在各个领域得到越来越多的应用，舌象分割技术也越来越多，根据有无标签，分为四种网络结构：全监督分割网络结构、半监督分割网络结构、弱监督分割网络结构、无监督分割网络结构。其中全监督分割分割精度最高，但需要对每一个像素进行标注，需要花费大量的人力、物力；半监督和弱监督虽然分割进度相对较慢，但不需要对每一个像素做标签，能够节省大量的时间。
现有的舌象分割技术大部分都是基于传统技术分割方法，虽然具备训练速度快等优点，但需要根据实验手动选择特征，自动化低，识别率也不高。因此有研究开始向深度学习图像分割技术方面研究舌象分割，但这些研究都是建立在全监督分割网络结构上进行研究，需要大量的数据集与大量的时间进行像素级标注，因此，本发明人认为现有的舌象分割技术还有进一步的改进空间。
发明内容
有鉴于此，本申请提供一种舌象分割方法、设备及存储介质，用以解决现有基于深度学习的舌象分割技术中需要花费大量人力、物力进行像素级标注的问题。
为了解决上述问题，第一方面，本发明提供一种舌象分割方法，所述方法包括：
获取舌象训练集，所述舌象训练集包括多张人体舌象图像；
对所述舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
将所述舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新所述条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
获取待识别舌象图像，并输入至所述训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
可选的，获取舌象训练集包括：
获取原始舌象数据集；
对所述原始舌象数据集进行图像预处理后，得到舌象训练集，其中所述图像预处理包括图像旋转、平移交换、数据增强以及对比度归一化处理。
可选的，对所述舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集，包括：
将所述舌象训练集的每张人体舌象图像输入至预设的舌象特征提取网络，其中所述舌象特征提取网络采用训练完成的VGG16网络；
提取每张人体舌象图像经过两个预设的非连续卷积层后的舌体特征图，并将两个舌体特征图的维度和参数量处理为一致；
将两个舌体特征图进行融合后，得到舌体掩膜；由所述舌象训练集得到的舌体掩膜集作为真实标签集。
可选的，将两个舌体特征图进行融合后，得到舌体掩膜包括：
将两个舌体特征图从3D张量转换为2D矩阵，将两个结果矩阵进行融合，并将融合结果值在[0,1]区间进行缩放，得到目标矩阵，所述目标矩阵中每个元素的值作为对应像素的前景概率；由所述目标矩阵确定的图像确定为舌体掩膜；
由所述舌象训练集得到的舌体掩膜集作为真实标签集之前，所述方法还包括：
利用条件随机场对所述舌体掩膜进行平滑处理。
可选的，所述条件生成对抗网络包括生成器、判别器以及预设的对抗损失函数；
所述生成器由U-Net网络和预设的生成损失函数构成；
所述判别器由多个卷积层和一个判别层，以及预设的判别损失函数构成，其中所述多个卷积层的通道数设置随层级数依次增大。
可选的，将所述舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代训练，分别更新所述条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络，包括：
初始化迭代次数，以及初始化生成器和判别器的权值和偏置；
开始迭代训练，包括：
固定当前判别器的网络参数，对抗训练当前生成器，得到目标生成器；
固定所述目标生成器的网络参数，对抗训练当前判别器，得到目标判别器；
当迭代次数到达预设次数后，得到训练完成的条件生成对抗网络。
可选的，所述固定当前判别器的网络参数，对抗训练当前生成器，得到目标生成器，包括：
将舌象训练集中的人体舌象图像和成对的真实标签进行拼接后，得到真实舌象图像并输入至当前生成器，计算所述当前生成器的生成损失值，基于生成损失值反向传播训练所述当前生成器，以输出第一预测标签；
将第一预测标签和对应的所述舌象训练集中的人体舌象图像进行拼接后，得到第一预测舌象图像；
将所述第一预测舌象图像和所述真实舌象图像输入至所述当前判别器进行预测，得到两个不同的第一预测结果，分别是与所述第一预测舌象图像对应的第一预测结果、与所述真实舌象图像对应的第一预测结果；
根据两个不同的所述第一预测结果，计算所述条件生成对抗网络的第一对抗损失值，采用梯度下降法并根据第一对抗损失值，对所述当前生成器的网络参数进行更新，以得到目标生成器。
可选的，所述固定所述目标生成器的网络参数，对抗训练当前判别器，得到目标判别器，包括：
将所述真实舌象图像输入至目标生成器，得到第二预测标签；
将所述第二预测标签和对应的所述舌象训练集中的人体舌象图像进行拼接后，得到第二预测舌象图像；
将所述第二预测舌象图像和所述真实舌象图像输入所述当前判别器，计算所述当前判别器的判别损失值，基于所述判别损失值反向传播训练当前判别器，以输出两个不同的第二预测结果，分别是与所述第二预测舌象图像对应的第二预测结果、与所述真实舌象图像对应的第二预测结果；
根据两个不同的所述第二预测结果，计算所述条件生成对抗网络的第二对抗损失值，采用梯度下降法并根据所述第二对抗损失值，对所述当前判别器的网络参数进行更新后，得到目标判别器。
第二方面，本发明提供一种舌象分割系统，所述系统包括：
数据获取模块，用于获取舌象训练集，舌象训练集包括多张人体舌象图像；
特征提取模块，用于对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
训练模块，用于将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
舌象分割模块，用于获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
第三方面，本发明提供一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述舌象分割方法的步骤。
第四方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如所述舌象分割方法的步骤。
采用上述实施例的有益效果是：通过提取舌象训练集的特征信息即舌体掩膜，并作为网络训练的真实标签，便于引导条件生成对抗网络进行舌象分割，无需人工做标签，并且在舌象数据集小的情况下，也能够有效提高舌象分割精度。
附图说明
图1为本发明提供的舌象分割系统的应用场景示意图；
图2为本发明提供的舌象分割方法一实施例的方法流程图；
图3为本发明提供的舌象分割方法步骤S201一实施例的方法流程图；
图4为本发明提供的舌象分割方法步骤S202一实施例的方法流程图；
图5为本发明提供的舌象分割方法步骤S403一实施例的方法流程图；
图6为本发明提供的舌象分割方法步骤S203一实施例的方法流程图；
图7为本发明提供的舌象分割方法步骤S6021一实施例的方法流程图；
图8为本发明提供的舌象分割方法步骤S6022一实施例的方法流程图；
图9为本发明提供的U-Net网络和基于U-Net的条件生成对抗网络对人体舌象图像分别分割后的示意图；
图10为本发明提供的舌象分割系统一实施例的原理框图；
图11为本发明提供的计算机设备一实施例的原理框图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种舌象分割方法、系统、设备及存储介质，以下分别进行详细说明。
图1为本申请实施例所提供的舌象分割系统的场景示意图，该系统可以包括服务器100，服务器100中集成有舌象分割系统，如图1中的服务器。
本申请实施例中服务器100主要用于：
获取舌象训练集，舌象训练集包括多张人体舌象图像；对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
本申请实施例中，该服务器100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的服务器100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。
可以理解的是，本申请实施例中所使用的终端200可以是既包括接收和发射硬件的设备，即具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备。具体的终端200可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定终端200的类型。
本领域技术人员可以理解，图1中示出的应用环境，仅仅是与本申请方案一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的终端，例如图1中仅示出2个终端，可以理解的，该舌象分割系统还可以包括一个或多个其他终端，具体此处不作限定。
另外，参照图1所示，该舌象分割系统还可以包括存储器200，用于存储数据，如舌象训练集、真实标签集等。
需要说明的是，图1所示的舌象分割系统的场景示意图仅仅是一个示例，本申请实施例描述的舌象分割系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着舌象分割系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
首先，本申请实施例提供了一种舌象分割方法，该方法包括：获取舌象训练集，舌象训练集包括多张人体舌象图像；对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
参照图2，本申请提供的舌象分割方法一种实施例的方法流程图，该舌象分割方法包括下述步骤：
S201、获取舌象训练集，舌象训练集包括多张人体舌象图像；
S202、对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
S203、将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
S204、获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
本实施例的舌象分割方法通过提取舌象训练集的特征信息即舌体掩膜，并作为网络训练的真实标签，便于引导条件生成对抗网络进行舌象分割，无需人工做标签，并且在舌象数据集小的情况下，也能够有效提供舌象分割精度。
需要说明的是，对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集，该舌体掩膜集是指感兴趣区掩模集合，感兴趣区是人的舌体。将舌体掩膜集作为真实标签，并作为一种先验条件，将舌体掩膜集与舌象数据集一起输入条件生成对抗网络，便于对抗训练。
参照图3，本申请提供的步骤S201一种实施例的方法流程图，该步骤S201包括下述步骤：
S301、获取原始舌象数据集；
S302、对原始舌象数据集进行图像预处理后，得到舌象训练集，其中图像预处理包括图像旋转、平移交换、数据增强以及对比度归一化处理。
在一实施例中，原始舌象数据集可以采用互联网上公开的在线舌象数据集TongueDatasets，该数据集包含为300张人体舌象图片。对原始舌象数据集进行图像预处理，具体地，采用图像旋转，平移交换，对原始舌象数据进行扩张增强，并通过对比度增强，对图像进行归一化处理，从而降低训练数据的拟合度。
参照图4，本申请提供的步骤S202一种实施例的方法流程图，该步骤S202包括下述步骤：
S401、将舌象训练集的每张人体舌象图像输入至预设的舌象特征提取网络，其中舌象特征提取网络采用训练完成的VGG16网络；
S402、提取每张人体舌象图像经过两个预设的非连续卷积层后的舌体特征图，并将两个舌体特征图的维度和参数量处理为一致；
S403、将两个舌体特征图进行融合后，得到舌体掩膜；由舌象训练集得到的舌体掩膜集作为真实标签集。
在一实施例中，VGG16网络总共有16层，13个卷积层和3个全连接层，具体地，将某张图像输入至VGG16网络，第一步经过两次[3*3]的64通道的卷积，获得一个[512，512，64]的初步有效特征层，再经过[2*2]的最大池化，得到一个[256,256,64]的特征层；第二步经过两次[3*3]的128通道的卷积，获得一个[256，256，128]的初步有效特征层，再经过[2*2]的最大池化，得到一个[128,128,128]的特征层；第三步经过三次[3*3]的256通道的卷积，获得一个[128,128,256]的初步有效特征层，再经过2*2最大池化，得到一个[64,64,256]的特征层；第四步经过三次[3*3]的512通道的卷积，获得一个[64,64,512]的初步有效特征层，再经过[2*2]最大池化，得到一个[32,32,512]的特征层；第五步经过三次[3*3]的512通道的卷积，获得一个[32,32,512]的初步有效特征层。需要说明的是，可以采用反向传播算法预先将VGG16训练好。
在一实施例中，提取每张人体舌象图像经过两个预设的非连续卷积层后的舌体特征图，具体地，将舌象图像经过每一个卷积层提取特征后，都将对应的特征图可视化显示，通过对比分析，在图像经过第四层后卷积提取出来的特征图与舌象相吻合；进一步地，将第七层卷积后的特征图提取出来，并进行上采样操作，以恢复与第四层提取的特征图具有一样的数据维度和参数量，进一步地，将两张特征图融合成一个掩膜，亦即舌体掩膜。
参照图5，本申请提供的步骤S403一种实施例的方法流程图，该步骤S403包括下述步骤：
S501、将两个舌体特征图从3D张量转换为2D矩阵，将两个结果矩阵进行融合，并将融合结果值在[0,1]区间进行缩放，得到目标矩阵，目标矩阵中每个元素的值作为对应像素的前景概率；由目标矩阵确定的图像确定为舌体掩膜。
S502、利用条件随机场对舌体掩膜进行平滑处理。
在一实施例中，通过512卷积通道的平均池化操作将3D张量(512*W*H)转换为2D矩阵(W*H)，然后通过元素求和将两个舌体特征图的2D结果矩阵进行融合，并将融合结果值缩放到0和1之间，以此产生的目标矩阵(融合图)为像素级的前景概率分布，该融合图即为舌体掩膜。
考虑到步骤S501得到的舌体掩膜仍存在噪声，将舌体掩膜的前景概率分布输入条件随机场，对舌体掩膜进行平滑去噪，从而有助于提高后续条件生成对抗网络分割的准确率。
在本实施例中，条件生成对抗网络包括生成器、判别器以及预设的对抗损失函数；生成器由U-Net网络和预设的生成损失函数构成；判别器由多个卷积层和一个判别层，以及预设的判别损失函数构成，其中多个卷积层的通道数设置随层级数依次增大。
在一实施例中，U-Net网络由三部分组成，第一部分为主干特征提取部分，为卷积层和最大池化的堆叠，利用主干提取特征层可以获得五个初步的有效特征层。在第二部分中，利用这五个有效特征层进行特征融合，具体地，利用主干部分提取获得到的五个初步有效特征层进行上采样，并且进行特征融合，获得一个最终的，融合所有特征的有效特征层，起到加强特征作用。第三部分是预测部分，利用第二部分最终获得的有效特征层对每一个特征点进行分类。
生成器的生成损失函数具体如下：
式中，Lg表示生成损失值；xi表示舌象训练集中第i个舌象图像，yi表示xi的真实标签，G(xi)表示生成器对舌象图像xi的预测标签；λ(G(xi),yi)表示每一对生成器对舌象图像xi的预测标签G(xi)和真实标签yi的损失函数。
在一实施例中，判断器采用四层卷积层和一层判别层，第一层到第四层的通道数依次为64、128、256、512，卷积核大小均为4*4，步长为2；判别层的通道数为1，卷积核为1*1，步长为1。
判别器的判别损失函数具体如下：
式中，D(xi,yi)表示判别器对带真实标签yi的舌象图像xi的预测结果；D(xi,G(xi))表示判别器对带预测标签G(xi)的舌象图像xi的预测结果；λ(D(xi,yi),1)表示每一对判别器对带真实标签yi的舌象图像xi和生成器生成标签1的损失函数；λ(D(xi,G(xi)),0)表示每一对判别器对带预测标签G(xi)的舌象图像xi和生成器生成标签0的损失函数。
条件生成对抗网络的损失函数具体如下：
LCAGN＝Exi,yi[log D(xi,yi)]+Exi[log(1-D(xi,G(xi)))]+λExi,yi[||yi-G(xi)||1]
式中，Exi,yi表示判别器对带真实标签yi的舌象图像xi的输出期望值；Exi表示判别器对带预测标签G(xi)的舌象图像xi的反向输出期望值；||yi-G(xi)||1表示真实标签yi减去预测标签G(xi)的结果的L1范数；λ表示损失权重系数；L1范数是指向量中各个元素绝对值之和。
参照图6，本申请提供的步骤S203一种实施例的方法流程图，该步骤S203包括下述步骤：
S601、初始化迭代次数，以及初始化生成器和判别器的权值和偏置；
S602、开始迭代训练，包括：
S6021、固定当前判别器的网络参数，对抗训练当前生成器，得到目标生成器；
S6022、固定目标生成器的网络参数，对抗训练当前判别器，得到目标判别器；
S6023、当迭代次数到达预设次数后，得到训练完成的条件生成对抗网络。
在一实施例中，设迭代次数为q，最大迭代次数为Q，初始化令q＝0。当q＝Q时，则将训练好的目标生成器和目标判别器作为训练好的条件生成对抗网络，若q＜Q时，则令q＝q+1，执行步骤S6021、S6022。
参照图7，本申请提供的步骤S6021一种实施例的方法流程图，该步骤S6021包括下述步骤：
S701、将舌象训练集中的人体舌象图像和成对的真实标签进行拼接后，得到真实舌象图像并输入至当前生成器，计算当前生成器的生成损失值，基于生成损失值反向传播训练当前生成器，以输出第一预测标签；
S702、将第一预测标签和对应的舌象训练集中的人体舌象图像进行拼接后，得到第一预测舌象图像；
S703、将第一预测舌象图像和真实舌象图像输入至当前判别器进行预测，得到两个不同的第一预测结果，分别是与第一预测舌象图像对应的第一预测结果、与真实舌象图像对应的第一预测结果；
S704、根据两个不同的第一预测结果，计算条件生成对抗网络的第一对抗损失值，采用梯度下降法并根据第一对抗损失值，对当前生成器的网络参数进行更新，以得到目标生成器。
需要说明的是，第一预测标签是指当前生成器根据真实舌象图像输出的预测舌体图像；第一预测结果是指当前判别器根据第一预测舌象图像/真实舌象图像输出的真伪预测结果。
参照图8，本申请提供的步骤S6022一种实施例的方法流程图，该步骤S6022包括下述步骤：
S801、将真实舌象图像输入至目标生成器，得到第二预测标签；
S802、将第二预测标签和对应的舌象训练集中的人体舌象图像进行拼接后，得到第二预测舌象图像；
S803、将第二预测舌象图像和真实舌象图像输入当前判别器，计算当前判别器的判别损失值，基于判别损失值反向传播训练当前判别器，以输出两个不同的第二预测结果，分别是与第二预测舌象图像对应的第二预测结果、与真实舌象图像对应的第二预测结果；
S804、根据两个不同的第二预测结果，计算条件生成对抗网络的第二对抗损失值，采用梯度下降法并根据第二对抗损失值，对当前判别器的网络参数进行更新后，得到目标判别器；
需要说明的是，第二预测标签是指目标生成器根据真实舌象图像输出的预测舌体图像；第二预测结果是指当前判别器根据第二预测舌象图像/真实舌象图像输出的真伪判别结果。
可选的，对训练好的条件生成对抗网络进行测试，具体地，准备测试数据集，将测试数据集中的舌象图像作为训练好的条件生成对抗网络1的输入进行分割，得到最后分割的舌体。
如图9(a)为一张人体舌象图像，如图9(b)为U-Net网络对图9(a)人体舌象图像进行分割后得到的舌体示意图，如图9(c)为基于U-Net的条件生成对抗网络对图9(a)人体舌象图像进行分割后得到的舌体示意图，从中可以看出，通过两个方法的分割，可以大致分割出舌体图像，但使用U-Net方法进行训练分割时，虽然也能大致分割出舌体的形状，但受到舌体旁边皮肤的影响，分割边界不够明确，会分割错误；而使用基于U-Net的条件生成对抗网络时，可以较好分割出舌体的形状。
本实施例通过的舌象分割方法通过VGG16网络提取舌象训练集的特征信息即舌体掩膜，作为网络训练的真实标签，并作为一种先验条件，将舌体掩膜集与舌象数据集一起输入条件生成对抗网络，便于对抗训练，引导条件生成对抗网络进行舌象分割，无需人工做标签，并且在舌象数据集小的情况下，也能够有效提供舌象分割精度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
本实施例还提供一种舌象分割系统，该舌象分割系统与上述实施例中舌象分割方法一一对应。如图10所示，该舌象分割系统包括数据获取模块1001、特征提取模块1002、训练模块1003和舌象分割模块1004。
各功能模块详细说明如下：
数据获取模块1001，用于获取舌象训练集，舌象训练集包括多张人体舌象图像；
特征提取模块1002，用于对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
训练模块1003，用于将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
舌象分割模块1004，用于获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
关于舌象分割系统的具体限定可以参见上文中对于舌象分割方法的限定，在此不再赘述。上述舌象分割系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本实施例还提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储舌象数据集、真实标签集等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种舌象分割方法，在一实施例中，处理器执行计算机程序时实现以下步骤：
获取舌象训练集，舌象训练集包括多张人体舌象图像；
对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
本实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取舌象训练集，舌象训练集包括多张人体舌象图像；
对舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
将舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
获取待识别舌象图像，并输入至训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种舌象分割方法，其特征在于，所述方法包括：
获取舌象训练集，所述舌象训练集包括多张人体舌象图像；
对所述舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集；
将所述舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代对抗训练，分别更新所述条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络；
获取待识别舌象图像，并输入至所述训练完成的条件生成对抗网络进行舌象分割，生成舌体图像。
2.根据权利要求1所述的舌象分割方法，其特征在于，所述方法包括：获取舌象训练集包括：
获取原始舌象数据集；
对所述原始舌象数据集进行图像预处理后，得到舌象训练集，其中所述图像预处理包括图像旋转、平移交换、数据增强以及对比度归一化处理。
3.根据权利要求1所述的舌象分割方法，其特征在于，对所述舌象训练集中的人体舌象图像进行特征提取和特征融合后，得到舌体掩膜集并作为真实标签集，包括：
将所述舌象训练集的每张人体舌象图像输入至预设的舌象特征提取网络，其中所述舌象特征提取网络采用训练完成的VGG16网络；
提取每张人体舌象图像经过两个预设的非连续卷积层后的舌体特征图，并将两个舌体特征图的维度和参数量处理为一致；
将两个舌体特征图进行融合后，得到舌体掩膜；由所述舌象训练集得到的舌体掩膜集作为真实标签集。
4.根据权利要求3所述的舌象分割方法，其特征在于，将两个舌体特征图进行融合后，得到舌体掩膜包括：
将两个舌体特征图从3D张量转换为2D矩阵，将两个结果矩阵进行融合，并将融合结果值在[0,1]区间进行缩放，得到目标矩阵，所述目标矩阵中每个元素的值作为对应像素的前景概率；由所述目标矩阵确定的图像确定为舌体掩膜；
由所述舌象训练集得到的舌体掩膜集作为真实标签集之前，所述方法还包括：
利用条件随机场对所述舌体掩膜进行平滑处理。
5.根据权利要求1所述的舌象分割方法，其特征在于，所述条件生成对抗网络包括生成器、判别器以及预设的对抗损失函数；
所述生成器由U-Net网络和预设的生成损失函数构成；
所述判别器由多个卷积层和一个判别层，以及预设的判别损失函数构成，其中所述多个卷积层的通道数设置随层级数依次增大。
6.根据权利要求5所述的舌象分割方法，其特征在于，将所述舌象训练集和成对的真实标签集输入至预设的条件生成对抗网络，通过迭代训练，分别更新所述条件生成对抗网络的生成器和判别器，以得到训练完成的条件生成对抗网络，包括：
初始化迭代次数，以及初始化生成器和判别器的权值和偏置；
开始迭代训练，包括：
固定当前判别器的网络参数，对抗训练当前生成器，得到目标生成器；
固定所述目标生成器的网络参数，对抗训练当前判别器，得到目标判别器；
当迭代次数到达预设次数后，得到训练完成的条件生成对抗网络。
7.根据权利要求6所述的舌象分割方法，其特征在于，所述固定当前判别器的网络参数，对抗训练当前生成器，得到目标生成器，包括：
将舌象训练集中的人体舌象图像和成对的真实标签进行拼接后，得到真实舌象图像并输入至当前生成器，计算所述当前生成器的生成损失值，基于生成损失值反向传播训练所述当前生成器，以输出第一预测标签；
将第一预测标签和对应的所述舌象训练集中的人体舌象图像进行拼接后，得到第一预测舌象图像；
将所述第一预测舌象图像和所述真实舌象图像输入至所述当前判别器进行预测，得到两个不同的第一预测结果，分别是与所述第一预测舌象图像对应的第一预测结果、与所述真实舌象图像对应的第一预测结果；
根据两个不同的所述第一预测结果，计算所述条件生成对抗网络的第一对抗损失值，采用梯度下降法并根据第一对抗损失值，对所述当前生成器的网络参数进行更新，以得到目标生成器。
8.根据权利要求7所述的舌象分割方法，其特征在于，所述固定所述目标生成器的网络参数，对抗训练当前判别器，得到目标判别器，包括：
将所述真实舌象图像输入至目标生成器，得到第二预测标签；
将所述第二预测标签和对应的所述舌象训练集中的人体舌象图像进行拼接后，得到第二预测舌象图像；
将所述第二预测舌象图像和所述真实舌象图像输入所述当前判别器，计算所述当前判别器的判别损失值，基于所述判别损失值反向传播训练当前判别器，以输出两个不同的第二预测结果，分别是与所述第二预测舌象图像对应的第二预测结果、与所述真实舌象图像对应的第二预测结果；
根据两个不同的所述第二预测结果，计算所述条件生成对抗网络的第二对抗损失值，采用梯度下降法并根据所述第二对抗损失值，对所述当前判别器的网络参数进行更新后，得到目标判别器。
9.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述舌象分割方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述舌象分割方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110769867.3A CN113569855A (zh) | 2021-07-07 | 2021-07-07 | 一种舌象分割方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110769867.3A CN113569855A (zh) | 2021-07-07 | 2021-07-07 | 一种舌象分割方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113569855A true CN113569855A (zh) | 2021-10-29 |
Family
ID=78164007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110769867.3A Pending CN113569855A (zh) | 2021-07-07 | 2021-07-07 | 一种舌象分割方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113569855A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115860067A (zh) * | 2023-02-16 | 2023-03-28 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
| CN117392138A (zh) * | 2023-12-13 | 2024-01-12 | 四川大学 | 舌象图像处理方法、存储介质及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080139966A1 (en) * | 2006-12-07 | 2008-06-12 | The Hong Kong Polytechnic University | Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks |
| CN108109160A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于深度学习的免交互式GrabCut舌体分割方法 |
| CN108447049A (zh) * | 2018-02-27 | 2018-08-24 | 中国海洋大学 | 一种基于生成式对抗网络的数字化生理生物体分割方法 |
| CN111583276A (zh) * | 2020-05-06 | 2020-08-25 | 西安电子科技大学 | 基于cgan的空间目标isar图像部件分割方法 |
| US20210118099A1 (en) * | 2019-10-18 | 2021-04-22 | Retrace Labs | Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising |
-
2021
- 2021-07-07 CN CN202110769867.3A patent/CN113569855A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080139966A1 (en) * | 2006-12-07 | 2008-06-12 | The Hong Kong Polytechnic University | Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks |
| CN108109160A (zh) * | 2017-11-16 | 2018-06-01 | 浙江工业大学 | 一种基于深度学习的免交互式GrabCut舌体分割方法 |
| CN108447049A (zh) * | 2018-02-27 | 2018-08-24 | 中国海洋大学 | 一种基于生成式对抗网络的数字化生理生物体分割方法 |
| US20210118099A1 (en) * | 2019-10-18 | 2021-04-22 | Retrace Labs | Generative Adversarial Network for Dental Image Super-Resolution, Image Sharpening, and Denoising |
| CN111583276A (zh) * | 2020-05-06 | 2020-08-25 | 西安电子科技大学 | 基于cgan的空间目标isar图像部件分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王丽冉;汤一平;陈朋;何霞;袁公萍;: "面向舌体分割的两阶段卷积神经网络设计", 中国图象图形学报, no. 10 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115860067A (zh) * | 2023-02-16 | 2023-03-28 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
| CN115860067B (zh) * | 2023-02-16 | 2023-09-05 | 深圳华声医疗技术股份有限公司 | 生成对抗网络训练方法、装置、计算机设备及存储介质 |
| CN117392138A (zh) * | 2023-12-13 | 2024-01-12 | 四川大学 | 舌象图像处理方法、存储介质及电子设备 |
| CN117392138B (zh) * | 2023-12-13 | 2024-02-13 | 四川大学 | 舌象图像处理方法、存储介质及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11551333B2 (en) | Image reconstruction method and device | |
| CN108509915B (zh) | 人脸识别模型的生成方法和装置 | |
| WO2020199931A1 (zh) | 人脸关键点检测方法及装置、存储介质和电子设备 | |
| CN110148085B (zh) | 人脸图像超分辨率重建方法及计算机可读取的存储介质 | |
| CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| Heo et al. | Monocular depth estimation using whole strip masking and reliability-based refinement | |
| US20230177643A1 (en) | Image super-resolution | |
| CN111476806B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN110490959B (zh) | 三维图像处理方法及装置、虚拟形象生成方法以及电子设备 | |
| CN112330684B (zh) | 对象分割方法、装置、计算机设备及存储介质 | |
| CN115861462B (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN113326851B (zh) | 图像特征提取方法、装置、电子设备及存储介质 | |
| CN113569855A (zh) | 一种舌象分割方法、设备及存储介质 | |
| CN116229056A (zh) | 基于双分支特征融合的语义分割方法、装置、设备 | |
| CN112818995B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
| KR20220153667A (ko) | 특징 추출 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN111091010A (zh) | 相似度确定、网络训练、查找方法及装置和存储介质 | |
| CN110807379A (zh) | 一种语义识别方法、装置、以及计算机存储介质 | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| Qin et al. | Depth estimation by parameter transfer with a lightweight model for single still images | |
| CN113379877B (zh) | 人脸视频生成方法、装置、电子设备及存储介质 | |
| CN111582449B (zh) | 一种目标域检测网络的训练方法、装置、设备及存储介质 | |
| CN113111684B (zh) | 神经网络模型的训练方法、装置和图像处理系统 | |
| CN116402914A (zh) | 用于确定风格化图像生成模型的方法、装置及产品 | |
| CN114494782B (zh) | 图像处理方法、模型训练方法、相关装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240517 |