CN109087313A

CN109087313A - 一种基于深度学习的智能舌体分割方法

Info

Publication number: CN109087313A
Application number: CN201810877382.4A
Authority: CN
Inventors: 李绍滋; 邵尤伟; 罗志明; 苏松志; 曹冬林; 林旺庆
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2018-08-03
Filing date: 2018-08-03
Publication date: 2018-12-25

Abstract

一种基于深度学习的智能舌体分割方法，涉及图像处理。制定舌象采集标准，以此采集标准环境下的舌象数据；所述采集标准包括对设备方面、光线方面、位置方面和患者要求方面等；人工分割舌象数据，并将数据集划分为训练集和测试集以验证算法有效性；通过舌体分割网络TS‑Net的编码器获取舌象的低层特征并进行像素定位；通过舌体分割网络TS‑Net的解码器融合高低层特征并进行像素分类，获取完整的舌体区域。

Description

一种基于深度学习的智能舌体分割方法

技术领域

本发明涉及图像处理，尤其是涉及通过使用图像分割和深度学习技术，采用深度语义分割网络，实现从采集到分割的智能舌体分割方法的一种基于深度学习的智能舌体分割方法。

背景技术

图像分割(Image Segmentation)是给出一定的分割准则，将图像中的具有相似属性的像素划分到不同区域的过程。分割的目的是将图像简化为更有意义且更易于分析的内容。更确切地说，图像分割通常用于定位和提取出图像中的某一对象。图像分割是图像处理和计算机视觉的热点之一，图像分析的成功取决于分割的可靠性，它是图像识别的重要依据。

深度学习(Deep Learning)是机器学习中的子领域，涉及受大脑结构和功能(称为人工神经网络)启发的算法，主要用来训练计算机执行人类任务，例如识别语音，识别图像或进行预测。深度学习采用神经网络来改进语音识别，计算机视觉和自然语言处理等，它正在迅速成为计算机科学中最热门的领域之一。

中医舌诊与深度学习：1)舌体分割是舌诊客观化的重要前提工作，也对进一步的舌象分类和识别产生直接的影响；2)深度学习在图像处理方面取得了优秀的成果，舌体分割也可以是一项图像处理任务。

发明内容

本发明的目的在于提供从深度学习和图像处理角度理解和解决舌体提取的问题，通过获取到完整舌头图像，通过语义分割网络从图像中提取出舌体，为舌体分割乃至中医舌诊智能化提供新思路的一种基于深度学习的智能舌体分割方法。

本发明包括以下步骤：

1)制定舌象采集标准，以此采集标准环境下的舌象数据；所述采集标准包括对设备方面、光线方面、位置方面和患者要求方面等；

2)人工分割舌象数据，并将数据集划分为训练集和测试集以验证算法有效性；

3)通过舌体分割网络TS-Net的编码器获取舌象的低层特征并进行像素定位；

4)通过舌体分割网络TS-Net的解码器融合高低层特征并进行像素分类，获取完整的舌体区域。

在步骤1)中，所述制定舌象采集标准，标准包括对设备、光线、位置和患者等多方面的要求，以此采集标准环境下的舌象数据的具体步骤可为：

(1)设备方面，采集仪器密闭不透光，在设备中央放置30万像素以上的摄像机，并且在摄像机的两侧对称地定位两个D65荧光管；

(2)光线方面，在密闭的环境中拍摄，根据国际照明委员会(CIE)推荐，入射光与出射光之间的角度为45度，以便均匀照明，并且拍摄光线不宜过强或过弱，需要充足柔和的光线，尽量避免黄色白炽灯或其他颜色灯光的照射，避开有色的墙壁、窗帘等物体避免反光干扰。伸舌时可正对光亮处，使光线均匀直射舌面；

(3)位置方面，当拍摄时，舌头尽量保持在图像正中间，舌头距离摄像头的最佳位置在8～50cm之间，将下巴放在腮托上，自然伸舌，向相机展示舌头、面部和舌下静脉，通过改变下巴托的高度或位置来获得相应的图像；舌体尽量放松，水平展示舌面，使舌尖自然下垂，充分暴露舌体的同时不可过度用力伸舌，伸舌时间不应过长，通常不宜超过30s，否则会改变舌头原来的颜色；

(4)患者要求方面，由于舌诊是以观察舌体颜色为主，因此在拍摄舌象之前，不宜食用带颜色的食品或饮料，例如咖啡、绿茶、牛奶、橙汁和糖果等，也不宜食用辛辣刺激的食品，否则会影响舌头的本来颜色，降低诊断的准确性。例如牛奶可能会使舌苔覆盖一层白膜；而食用过辣食物会导致舌体偏红。有些患者刷牙时，可能会刷舌头以帮助清新呼吸，但至少在中医舌诊诊断的那天要求患者不要刷舌头。

在步骤2)中，所述人工分割舌象数据，并将数据集划分为训练集和测试集以验证算法有效性的具体方法可为：

(1)采用人工分割的方法，勾勒出彩色舌图像中的舌体轮廓；

(2)将舌体区域填充为白色，非舌体区域填充为黑色，将此图像作为舌图像的分割标记mask；

(3)将处理好的标准化且带有标签的数据集划分为训练集和测试集。

在步骤3)中，所述通过舌体分割网络TS-Net的编码器获取舌象的低层特征并进行像素定位的具体方法可为：

(1)将舌图像统一缩小到尺寸为1300×1300；

(2)将图像输入到TS-Net网络中，在TS-Net的编码器中的多层卷积操作下提取特征；

(3)采用预训练的VGG16网络作为编码器；

在步骤4)中，所述通过舌体分割网络TS-Net的解码器融合高低层特征并进行像素分类，获取完整的舌体区域的具体方法可为：

(1)在编码器与解码器之间增加快捷连接，构建Block结构融合高层和低层的特征；

(2)高层特征来自于将上一层的特征图做上采样操作；

(3)低层特征将对应编码器中对应卷积层的特征图做卷积操作；

(4)对上采样的结果与卷积结果进行点加融合；

(5)构建五个Block将低分辨率图像恢复到原来的尺寸；

(6)采用Softmax分类器对图像各个像素进行分类，分割成前景和背景；

(7)对比Ground Truth图像得到分割准确率、召回率、精度和F1测量值等分割指标：

在步骤(7)中，所述分割准确率是指分割图像前景中分割准确像素个数占分割结果中所有标记为前景的像素点的百分比；所述召回率是指分割图像前景中分割准确像素个数占Ground Truth图像中所有前景的像素点的百分比；所述精度是指分割结果前景和背景中所有分割正确的像素点个数占图像所有像像素点的比例；所述F1测量值是指准确率和召回率的调和均值，是十分重要的分割评测指标。

本发明主要有以下突出优点：

1.基于图像处理和深度学习的智能化舌体分割方法，可以让中医舌诊更加客观化，可重复性更强。

2.采用深度学习方法的智能舌体分割方法较传统机器学习方法更加精准。

3.该方法不需要先验知识，训练好的网络可以定位舌体位置。

4.该方法不需要进行人机交互，自动提取图像中的舌体。

综上，本发明所阐述的方法适用于当代中医舌诊客观化的转变，提高工作效率，实现了不需要先验知识、人机交互的自动舌体分割方法。

附图说明

图1是基于深度学习的智能舌体分割方法的算法流程图；

图2是舌体分割网络TS-Net的结构图；

图3是融合高低层特征操作Block的结构图之一；

图4是融合高低层特征操作Block的结构图之二；

图5是TS-Net与其对比方法分割舌体的实际效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合相关实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1是基于深度学习的智能舌诊算法流程图，基于此流程本实施例对756例患者数据进行了相关实验，并将各部分实验结果在图2～5和表1中进行展示。

表1 TS-Net与其对比方法进行舌体分割的准确率

S1、制定舌象采集标准，标准包括对设备、光线、位置和患者等多方面的要求，得到标准环境下的舌象数据；

S11、设备方面，采集仪器密闭不透光，在设备中央放置30万像素以上的摄像机，并且在摄像机的两侧对称地定位的两个D65荧光管。

S12、光线方面，在密闭的环境中拍摄，根据国际照明委员会(CIE)推荐，入射光与出射光之间的角度为45度，以便均匀照明，并且拍摄光线不宜过强或过弱，需要充足柔和的光线，尽量避免黄色白炽灯或其他颜色灯光的照射，避开有色的墙壁、窗帘等物体避免反光干扰。伸舌时可正对光亮处，使光线均匀直射舌面。

S13、位置方面，拍摄时，舌头尽量保持在图像正中间，舌头距离摄像头的最佳位置在8～50cm之间。将下巴放在腮托上，自然伸舌，向相机展示舌头、面部和舌下静脉，通过改变下巴托的高度或位置来获得相应的图像。舌体尽量放松，水平展示舌面，使舌尖自然下垂，充分暴露舌体的同时不可过度用力伸舌，伸舌时间不应过长，通常不宜超过30s，否则会改变舌头原来的颜色。

S14、患者要求方面，由于舌诊是以观察舌体颜色为主，因此在拍摄舌象之前，不宜食用带颜色的食品或饮料，例如咖啡、绿茶、牛奶、橙汁和糖果等，也不宜食用辛辣刺激的食品，否则会影响舌头的本来颜色，降低诊断的准确性。例如牛奶可能会使舌苔覆盖一层白膜；而食用过辣食物会导致舌体偏红。有些患者刷牙时，可能会刷舌头以帮助清新呼吸，但至少在中医舌诊诊断的那天要求患者不要刷舌头。

S2、人工分割舌象数据，并将数据集划分为训练集和测试集以验证算法有效性；

S21、采用人工分割的方法，勾勒出彩色舌图像中的舌体轮廓；

S22、将舌体区域填充为白色，非舌体区域填充为黑色，将此图像作为舌图像的分割标记mask；

S23、将处理好的标准化且带有标签的数据集划分为训练集和测试集。

S3、通过舌体分割网络TS-Net的编码器获取舌象的低层特征，进行像素定位；

S31、将舌图像统一缩小到尺寸为1300×1300；

S32、将图像输入到TS-Net网络中，在TS-Net的编码器中的多层卷积操作下提取特征；

S33、采用预训练的VGG16网络作为编码器；

S4、通过舌体分割网络TS-Net的解码器融合高低层特征并进行像素分类，获取完整的舌体区域；

S41、在编码器与解码器之间增加快捷连接，构建Block结构融合高层和低层的特征；

S42、高层特征来自于将上一层的特征图做上采样操作；

S43、低层特征将对应编码器中对应卷积层的特征图做卷积操作；

S44、对上采样的结果与卷积结果进行点加融合；

S45、构建五个Block来将低分辨率图像恢复到原来的尺寸；

S46、采用Softmax分类器对图像各个像素进行分类，分割成前景和背景；

S47、对比Ground Truth图像得到分割准确率、召回率、精度和F1测量值等分割指标：

A、准确率是指分割图像前景中分割准确像素个数占分割结果中所有标记为前景的像素点的百分比；

B、召回率是指分割图像前景中分割准确像素个数占Ground Truth图像中所有前景的像素点的百分比；

C、精度是指分割结果前景和背景中所有分割正确的像素点个数占图像所有像像素点的比例；

D、F1测量是指准确率和召回率的调和均值，是十分重要的分割评测指标。

本发明将深度学习引入到智能化舌体提取中，对标准环境下采集的舌象进行舌体分割。首先根据收集和整理的舌象采集标准，采集一定数量的舌象，并对这一批舌象进行人工分割。然后构建一个包含编码和解码结构的舌体分割网络TS-Net，在解码部分来融合舌图像低层和高层特征，以此来优化分割效果将舌体从图像中分割有效地提取出来。

Claims

1.一种基于深度学习的智能舌体分割方法，其特征在于包括以下步骤：

1)制定舌象采集标准，以此采集标准环境下的舌象数据；所述采集标准包括对设备方面、光线方面、位置方面和患者要求方面；

2.如权利要求1所述一种基于深度学习的智能舌体分割方法，其特征在于在步骤1)中，所述制定舌象采集标准，所述采集标准包括对设备、光线、位置和患者多方面的要求，以此采集标准环境下的舌象数据的具体步骤为：

(2)光线方面，在密闭的环境中拍摄，根据国际照明委员会推荐，入射光与出射光之间的角度为45度，以便均匀照明，并且拍摄光线不宜过强或过弱，需要充足柔和的光线，尽量避免黄色白炽灯或其他颜色灯光的照射，避开有色的墙壁、窗帘等物体避免反光干扰，伸舌时正对光亮处，使光线均匀直射舌面；

(4)患者要求方面，由于舌诊是以观察舌体颜色为主，因此在拍摄舌象之前，不宜食用带颜色的食品或饮料，也不宜食用辛辣刺激的食品，否则会影响舌头的本来颜色，降低诊断的准确性；而食用过辣食物会导致舌体偏红，有些患者刷牙时，会刷舌头以帮助清新呼吸，但至少在中医舌诊诊断的当天要求患者不要刷舌头；所述带颜色的食品或饮料为咖啡、绿茶、牛奶、橙汁和糖果。

3.如权利要求1所述一种基于深度学习的智能舌体分割方法，其特征在于在步骤2)中，所述人工分割舌象数据，并将数据集划分为训练集和测试集以验证算法有效性的具体方法为：

(1)采用人工分割的方法，勾勒出彩色舌图像中的舌体轮廓；

4.如权利要求1所述一种基于深度学习的智能舌体分割方法，其特征在于在步骤3)中，所述通过舌体分割网络TS-Net的编码器获取舌象的低层特征并进行像素定位的具体方法为：

(1)将舌图像统一缩小到尺寸为1300×1300；

(3)采用预训练的VGG16网络作为编码器。

5.如权利要求1所述一种基于深度学习的智能舌体分割方法，其特征在于在步骤4)中，所述通过舌体分割网络TS-Net的解码器融合高低层特征并进行像素分类，获取完整的舌体区域的具体方法为：

(2)高层特征来自于将上一层的特征图做上采样操作；

(4)对上采样的结果与卷积结果进行点加融合；

(5)构建五个Block将低分辨率图像恢复到原来的尺寸；

(7)对比Ground Truth图像得到分割准确率、召回率、精度和F1测量值分割指标。

6.如权利要求5所述一种基于深度学习的智能舌体分割方法，其特征在于在步骤(7)中，所述分割准确率是指分割图像前景中分割准确像素个数占分割结果中所有标记为前景的像素点的百分比；所述召回率是指分割图像前景中分割准确像素个数占Ground Truth图像中所有前景的像素点的百分比；所述精度是指分割结果前景和背景中所有分割正确的像素点个数占图像所有像像素点的比例；所述F1测量值是指准确率和召回率的调和均值，是十分重要的分割评测指标。