发明内容
本发明的目的在于提供一种舌体图像分割方法及系统,该方法可以有效提高分割精度以及提高分割速度、缩短消耗时长。
基于以上目的,本发明提供的技术方案如下:
一种舌体图像分割方法,包括如下步骤:
S1.获取舌体图像;
S2.选择第一网络和第二网络,并预设第一预测模块和第二预测模块;
S3.根据所述舌体图像和所述第一网络、所述第二网络、所述第一预测模块、所述第二预测模块构建第一舌体图像分割模型;
S4.将所述第一舌体图像分割模型进行多次训练,以获取所述第二舌体图像分割模型;
S5.根据所述舌体图像和所述第二舌体图像分割模型,获取舌体置信度矩阵图;
S6.根据所述舌体置信度矩阵图分割所述舌体图像,以获取舌体;
其中,所述第一预测模块为舌体分割模块,用于舌体分割,所述第二预测模块为边缘分割模块,用于边缘分割。
优选地,所述步骤S3,包括:
A1.根据所述第一网络和所述舌体图像,获取多个第一分辨率特征;
A2.根据所述第二网络和多个所述第一分辨率特征,获取多个第二分辨率特征;
A3.堆叠多个所述第二分辨率特征以获取第三分辨率特征;
A4.根据所述第三分辨率特征和所述第一预测模块、所述第二预测模块,获取所述第一舌体图像分割模型。
优选地,所述步骤S4,包括:
B1.建立样本数据集;
B2.将所述样本数据集中每个样本的舌体图像数据和舌体标签数据输入所述第一舌体图像分割模型,以获取目标损失函数;
B3.根据所述目标损失函数调整所述第一网络的预设参数和所述第二网络的预设参数;
B4.根据已调整的所述预设参数对所述第一舌体图像分割模型进行多次训练,以获取所述第二舌体图像分割模型;
其中,所述样本数据集包括所述舌体图像数据和所述舌体标签数据;
所述舌体标签数据包括舌体分割标签数据和舌体边缘标签数据。
优选地,所述步骤B2,包括:
C1.根据所述舌体分割标签数据和所述第一舌体图像分割模型预测的舌体分割标签数据获取舌体分割损失函数;
C2.根据所述舌体边缘标签数据和所述第一舌体图像分割模型预测的舌体边缘分割标签数据获取舌体边缘检测损失函数;
C3.根据所述舌体分割损失函数和所述舌体边缘检测损失函数获取目标损失函数。
优选地,所述步骤C3,包括:
D1.将所述舌体图像输入所述第一舌体图像分割模型以获取舌体图像预测结果;
D2.根据所述目标损失函数获取所述舌体图像预测结果和所述舌体标签数据的损失差值;
D3.根据所述损失差值调整调整所述第一网络的预设参数和所述第二网络的预设参数。
优选地,所述步骤S5,包括:
F1.根据所述第一网络和所述舌体图像数据,获取多个第一分辨率特征;
F2.根据所述第二网络和多个所述第一分辨率特征,获取多个第二分辨率特征;
F3.堆叠多个所述第二分辨率特征以获取第三分辨率特征;
F4.根据所述第三分辨率特征和所述第二舌体图像分割模型,获取舌体置信度矩阵图。
优选地,所述步骤S6,包括:
G1.定义所述舌体置信度矩阵图的值为连续值;
G2.将所述连续值进行二值离散化处理;
G3.根据已处理的所述连续值和预设阈值,以获取所述舌体置信度矩阵图的像素点。
优选地,所述步骤G3,包括:
H1.若所述连续值大于预设阈值,获取所述舌体置信度矩阵图中第一像素点;
H2.若所述连续值小于预设阈值,获取所述舌体置信度矩阵图中第二像素点。
一种舌体图像分割系统,其特征在于,包括获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块;
所述获取模块,用于获取舌体图像;
所述选择模块,用于选择第一网络和第二网络,并预设第一预测模块和第二预测模块;
所述构建模块,用于根据所述第一网络、所述第二网络、所述第一预测模块和所述第二预测模块构建第一舌体图像分割模型;
所述训练模块,用于将所述第一舌体图像分割模型进行多次训练,以获取所述第二舌体图像分割模型;
所述置信度矩阵图模块,用于根据所述舌体图像和所述第二舌体图像分割模型获取舌体置信度矩阵图;
所述分割模块,用于根据所述舌体置信度矩阵图分割所述舌体图像,以获取舌体;
其中,所述第一预测模块为舌体分割模块,用于舌体分割,所述第二预测模块为边缘分割模块,用于边缘分割。
本发明提供了一种舌体图像分割方法,通过获取舌体图像;然后选择第一网络和第二网络,并预设第一预测模块和第二预测模块;并根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型;将第一舌体图像分割模型进行多次训练,以获取第二舌体图像分割模型;通过舌体图像和第二舌体图像分割模型,从而获取舌体置信度矩阵图;通过舌体置信度矩阵图分割舌体图像,得到所需要的舌体。本方法通过舌体图像和构建的第二舌体图像分割模型得到的舌体置信度矩阵图来分割舌体图像,可以有效提高分割速度,缩短消耗时长以及提高舌体图像的分割精度。
本发明还提供了一种舌体图像分割系统,由于该系统与该舌体图像分割方法解决相同的技术问题,属于相同的技术构思,理应具有相同的有益效果,在此不再赘述。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供一种舌体图像分割方法,包括如下步骤:
S1.获取舌体图像;
S2.选择第一网络和第二网络,并预设第一预测模块和第二预测模块;
S3.根据舌体图像和第一网络、第二网络、第一预测模块、第二预测模块构建第一舌体图像分割模型;
S4.将第一舌体图像分割模型进行多次训练,以获取第二舌体图像分割模型;
S5.根据舌体图像和第二舌体图像分割模型,获取舌体置信度矩阵图;
S6.根据舌体置信度矩阵图分割舌体图像,以获取舌体;
其中,所述第一预测模块为舌体分割模块,用于舌体分割,所述第二预测模块为边缘分割模块,用于边缘分割。
步骤S1中,用户通过设备采集患者的舌体图像,并将采集的舌体图像缩放成112*112像素大小尺寸,便于后续使用;
具体的,设备可以是手机、电脑、摄像机等具有拍照功能的电子设备;舌体图像为舌体可见光图像;
步骤S2中,第一网络为轻量级高分辨率网络,轻量级高分辨率网络的网络结构从作为第一级的高分辨率卷积开始,逐渐地逐个添加从高到低分辨率的流作为新的级;其中,多个分辨率流是并行连接的;轻量级高分辨网络主体由一系列阶段组成,在每个阶段,跨分辨率的舌体图像信息被重复地交换;轻量级高分辨率网络的每个块由两个3×3的可分离卷积组成,步长为2;轻量级高分辨网络主体中的每一级包含一个剩余块序列和一个多分辨率融合;
第二网络为多尺度特征金字塔网络,具体的,多尺度特征金字塔网络的网络结构是将不同分辨率特征融合,即每个分辨率的特征图和上采样的低分辨率特征逐点相加,使得不同层次的特征增强;
第一预测模块为舌体分割模块,用于舌体分割;舌体分割模块是由两组卷积层,激活层,归一化层以及一个最大池化层组成;
具体的,卷积层核大小为3x3,卷积层核个数为256个;
需要说明的是,第一组卷积层、激活层、归一化层依次连接,第二组卷积层、激活层、归一化层依旧依次连接,具体的,第二组的归一化层与最大池化层连接;第一组与第二组相连接;
第二预测模块为边缘监督模块,用于边缘分割;边缘监督模块是由一组卷积层、激活层、归一化层以及一个最大池化层组成;
具体的,卷积层核大小为3x3,卷积层核个数为256个;
需要说明的是,卷积层、激活层、归一化层依次连接,最后一个归一化层与最大池化层相连接;
步骤S3中,通过轻量级高分辨率网络、多尺度特征金字塔网络、舌体分割模块和边缘监督模块构建第一舌体图像分割模型;
具体的,构建的第一舌体图像分割模型为初始舌体图像分割模型;
步骤S4中,将第一舌体图像分割模型进行多次训练,以得到最优舌体图像分割模型;
步骤S5中,将缩放后的舌体图像输入步骤S4所构建的第二舌体分割模型进行预测得到舌体置信度矩阵图。
如图2所示,优选地,所述步骤S3,包括:
A1.根据第一网络和舌体图像,获取多个第一分辨率特征;
A2.根据第二网络和多个第一分辨率特征,获取多个第二分辨率特征;
A3.堆叠多个第二分辨率特征以获取第三分辨率特征;
A4.根据第三分辨率特征和第一预测模块、第二预测模块,获取第一舌体图像分割模型。
步骤A1至A4中,将舌像图像经过轻量级高分辨率网络提取4个不同分辨率的特征,分辨率依次是112*112,56*56,28*28,14*14;将4个不同分辨率的特征通过多尺度特征金字塔网络得到4个高维分辨率112*112的特征,再将多尺度特征信息经过堆叠之后得到一个高维度特征,将高维度特征分别传入舌体分割模块和边缘监督模块以得到第一舌体图像分割模型。
如图3所示,优选地,所述步骤S4,包括:
B1.建立样本数据集;
B2.将样本数据集中每个样本的舌体图像数据和舌体标签数据输入第一舌体图像分割模型,以获取目标损失函数;
B3.根据目标损失函数调整第一网络的预设参数和第二网络的预设参数;
B4.根据已调整的预设参数对第一舌体图像分割模型进行多次训练,以获取第二舌体图像分割模型;
其中,样本数据集包括舌体图像数据和舌体标签数据;
舌体标签数据包括舌体分割标签数据和舌体边缘标签数据。
步骤B1中,通过步骤S1获取的舌体图像建立样本数据集并进行缩放;
具体的,样本数据集包括舌体图像数据和舌体标签数据;舌体标签数据包括舌体分割标签数据和舌体边缘标签数据;
步骤B2中,将舌体样本数据集中每个样本的舌体图像数据和舌体标签数据输入所述第一舌体图像分割模型获取目标损失函数;
步骤B3中,通过目标损失函数调整轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数,使得第一舌体图像分割模型预测结果更精准;
步骤B4中,通过已调整的轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数对第一舌体图像分割模型进行多次训练,以得到最优舌体图像分割模型。
实际应用中,样本数据集有44000张舌体图像标注数据,其中训练集有40000张舌体图像标注数据,验证集有2000张舌体图像标注数据,测试集有2000张舌体图像标注数据;并设训练次数为140,学习率为1e-4。
如图4所示,优选地,所述步骤B2,包括:
C1.根据舌体分割标签数据和第一舌体图像分割模型预测的舌体分割标签数据获取舌体分割损失函数;
C2.根据舌体边缘标签数据和第一舌体图像分割模型预测的舌体边缘分割标签数据获取舌体边缘检测损失函数;
C3.根据舌体分割损失函数和舌体边缘检测损失函数获取目标损失函数。
步骤C1中,通过舌体分割标签数据和第一舌体图像分割模型预测的舌体分割标签数据加权计算得到舌体分割损失函数;
具体的公式为:
,
其中,i表示n个样本舌体图像数据;
步骤C2中,通过舌体边缘标签数据和第一舌体图像分割模型预测的舌体边缘分割标签数据加权计算得到舌体边缘检测损失函数;
具体的公式为:
;
步骤C3中,通过舌体分割损失函数和舌体边缘检测损失函数获取目标损失函数;
具体的公式为:
。
如图5所示,优选地,所述步骤C3,包括:
D1.将舌体图像输入第一舌体图像分割模型以获取舌体图像预测结果;
D2.根据目标损失函数获取舌体图像预测结果和标签数据的损失差值;
D3.根据损失差值调整调整第一网络的预设参数和第二网络的预设参数。
步骤D1至D3中,基于每个样本数据和与每个样本数据对应的分割标签数据及边缘标签数据,通过目标损失函数计算出第一舌体图像分割模型预测结果与舌体标签数据之间的损失并最小化损失,通过最小化损失对轻量级高分辨率网络的预设参数以及多尺度特征金字塔网络的预设参数中的参数进行调整。
如图6所示,优选地,所述步骤S5,包括:
F1.根据第一网络和舌体图像数据,获取多个第一分辨率特征;
F2.根据第二网络和多个第一分辨率特征,获取多个第二分辨率特征;
F3.堆叠多个第二分辨率特征以获取第三分辨率特征;
F4.根据第三分辨率特征和第二舌体图像分割模型,获取舌体置信度矩阵图。
步骤F1至F4中,将舌体图像数据经过轻量级高分辨率网络提取4个不同分辨率的特征,分辨率依次是112*112,56*56,28*28,14*14。将4个不同分辨率的特征通过多尺度特征金字塔网络得到4个高维分辨率112*112的特征,再将多尺度特征信息经过堆叠之后得到一个高维度特征,将高维度特征分别传入舌体分割模块和边缘监督模块,通过分割模块输出舌体置信度矩阵图,通过边缘监督模块输出舌体边缘置信度矩阵图。
如图7所示,优选地,所述步骤S6,包括:
G1.定义舌体置信度矩阵图的值为连续值;
G2.将连续值进行二值离散化处理;
G3.根据已处理的连续值和预设阈值,以获取舌体置信度矩阵图的像素点。
步骤G1至G3中,将舌体置信度矩阵图在的值是在[0,1]之间的连续值,将舌体置信度矩阵图进行二值离散化处理,本实施例中阈值设定为0.7。
优选地,所述步骤F3,包括:
H1.若连续值大于预设阈值,获取舌体置信度矩阵图中第一像素点;
H2.若连续值小于预设阈值,获取舌体置信度矩阵图中第二像素点。
步骤H1至H2中,连续值大于阈值,输出矩阵图中对应像素点为1,代表舌体;连续值小于阈值,输出矩阵图中对应像素点为0代表非舌体。
如图8所示,一种舌体图像分割系统,包括获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块;
获取模块,用于获取舌体图像;
选择模块,用于选择第一网络和第二网络,并预设第一预测模块和第二预测模块;
构建模块,用于根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型;
训练模块,用于将第一舌体图像分割模型进行多次训练,以获取第二舌体图像分割模型;
置信度矩阵图模块,用于根据舌体图像和第二舌体图像分割模型获取舌体置信度矩阵图;
分割模块,用于根据舌体置信度矩阵图分割舌体图像,以获取舌体。
实际运用过程中,舌体图像分割系统中,设置有获取模块、选择模块、构建模块、训练模块、置信度矩阵图模块和分割模块;获取模块与选择模块、构建模块和训练模块为并列关系,并与置信度矩阵图模块连接;选择模块与构建模块相连接;构建模块与训练模块相连接;置信度矩阵图模块与分割模块连接;获取模块在获取舌体图像后,将舌体图像发送至置信度矩阵图模块中;选择模块通过选择第一网络和第二网络,并预设第一预测模块和第二预测模块,将选择后的选择第一网络和第二网络,并预设第一预测模块和第二预测模块发送至构建模块中;构建模块将根据第一网络、第二网络、第一预测模块和第二预测模块构建第一舌体图像分割模型,并将第一舌体图像分割模型发送至训练模块;训练模块将第一舌体图像分割模型进行多次训练,以获取第二舌体图像分割模型后,将第二舌体图像分割模型发送至置信度矩阵图模块中;置信度矩阵图模块将通过舌体图像和第二舌体图像分割模型获取舌体置信度矩阵图后,将舌体置信度矩阵图发送至分割模块中;分割模块将通过舌体置信度矩阵图分割舌体图像,以获取舌体。
在本申请所提供的实施例中,应该理解到,所揭露的方法和系统,可以通过其它的方式实现。以上所描述的系统实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个模块或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或模块的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
另外,在本发明各实施例中的各功能模块可以全部集成在一个处理器中,也可以是各模块分别单独作为一个器件,也可以两个或两个以上模块集成在一个器件中;本发明各实施例中的各功能模块既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成,前述的程序指令可以存储于计算机可读取存储介质中,该程序指令在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
应当理解,本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”,仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换该词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
本申请中如若使用了流程图,则该流程图是用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
以上对本发明所提供的一种舌体图像分割方法及系统进行了详细介绍。对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。