CN109785311B - 一种疾病诊断装置、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种疾病诊断装置、电子设备及存储介质，包括：获取多个已确诊的第一患者的第一舌部成像图像、以及第一舌部成像图像对应的第一语义分割图像；确定第一语义分割图像所包括的多个区域中每个区域的类别标签；将第一舌部成像图像、第一语义分割图像以及类别标签输入待训练模型进行训练，得到图像语义分割模型；将待问诊的第二患者的第二舌部成像图像输入图像语义分割模型，得到第二舌部成像图像对应的第二语义分割图像，并根据第二语义分割图像，确定第二患者的患病类型。采用本申请实施例，可以从舌部成像图像中准确分离出舌体所在的区域，降低脸部、唇部等其他图像内容对舌诊结果的干扰，提高舌诊的准确度。

Description

一种疾病诊断装置、电子设备及存储介质

技术领域

本申请涉及机器学习领域，尤其涉及一种疾病诊断装置、电子设备及存储介质。

背景技术

为了让老百姓在家中就可以运用中医医术进行疾病诊断、减轻医生的诊断工作量，基于移动客户端的人工智能舌诊应用程序(Application，App)得到广泛的研究。只需要将患者舌部成像图像输入舌诊App中就可以诊断出该患者的患病类型，如消化系统疾病、呼吸系统疾病等。人工智能舌诊技术尤其适用于为0-16岁的儿童群体检测疾病，因为该年龄段儿童群体的舌象的干扰因素较成人而言更少，更易于诊断出真正的疾病状况。

现有的人工智能舌诊技术中，一部分利用传统图像定位技术来定位用户上传的图像中的舌体，例如harr，Snake等，然而传统图像定位技术的鲁棒性差，若图像中的舌体的形状或者舌体颜色有较大的改变，可能就不能很好的定位出来。另一部分就是利用固定的仪器，在固定的环境下拍摄患者的舌部成像图像，尽管效果较好，但是成本过高，不利于推广。还有一部分使用目标检测的方法确定舌体所在的区域且确定的该区域通常是矩形，然而舌头不是矩形的，因此若只用一个矩形框来定位舌头，并基于该矩形框内的图像进行舌诊，那么这个框内的噪音将会严重影响诊断结果的准确性。

发明内容

本申请提供一种疾病诊断装置、电子设备及存储介质。可以提高舌诊的准确度、降低患者看病的成本。

本申请实施例第一方面提供了一种疾病诊断方法，包括：

获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像包括多个区域，所述多个区域包括第一舌体区域；

确定所述多个区域中每个区域的类别标签，所述类别标签用于表示所述每个区域中的分类类别，其中，所述第一舌体区域的类别标签与所述第一舌部成像图像所属的第一患者的患病类型相对应；

将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；

将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像；

根据所述第二语义分割图像，确定所述第二患者的患病类型。

其中，所述待训练模型为卷积神经网络模型，所述卷积神经网络模型包括使用标准卷积方法和深度可分离卷积方法中的至少一种方法实现的编码器。

其中，所述第二语义分割图像包括第二舌体区域；

所述根据所述第二语义分割图像，确定所述第二患者的患病类型包括：

确定所述第二舌体区域的类别标签；

根据所述第二舌体区域的类别标签，确定所述患病类型。

其中，所述根据所述第二舌体区域的类别标签，确定所述患病类型包括：

确定所述第二患者的标识信息；

根据所述标识信息，获取所述第二患者的历史诊断记录；

根据所述历史诊断记录和所述第二舌体区域的类别标签，确定所述患病类型。

其中，所述根据所述历史诊断记录和所述第二舌体区域的类别标签，确定所述患病类型包括：

根据所述第二舌体区域的类别标签，确定所述第二患者的预测患病类型；

将所述预测患病类型与所述历史诊断记录进行匹配；

若所述预测患病类型与所述历史诊断记录相匹配，则确定所述患病类型与所述预测患病类型相同。

其中，所述将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像之前，还包括：

对所述第二舌部成像图像进行预处理，所述预处理包括放缩、裁剪、旋转和归一化中的至少一项。

其中，所述根据所述第二语义分割图像，确定所述第二患者的患病类型之后，还包括：

向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知所述第二患者所述患病类型。

相应地，本申请实施例第二方面提供了一种疾病诊断装置，包括：

获取模块，用于获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像包括多个区域，所述多个区域包括第一舌体区域；

确定模块，用于确定所述多个区域中每个区域的类别标签，所述类别标签用于表示所述每个区域的分类类别，其中，所述第一舌体区域的类别标签与第一舌部成像图像所属的第一患者的患病类型相对应；

训练模块，用于将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；

诊断模块，用于将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像；

所述诊断模块，还用于根据所述第二语义分割图像，确定所述第二患者的患病类型。

其中，所述待训练模型为卷积神经网络模型，所述卷积神经网络模型包括使用标准卷积方法和深度可分离卷积方法中的至少一种方法实现的编码器。

其中，所述第二语义分割图像包括第二舌体区域；

所述诊断模块还用于：

确定所述第二舌体区域的类别标签；

根据所述第二舌体区域的类别标签，确定所述患病类型。

其中，所述诊断模块还用于：

确定所述第二患者的标识信息；

根据所述标识信息，获取所述第二患者的历史诊断记录；

根据所述历史诊断记录和所述第二舌体区域的类别标签，确定所述患病类型。

其中，所述诊断模块还用于：

根据所述第二舌体区域的类别标签，确定所述第二患者的预测患病类型；

将所述预测患病类型与所述历史诊断记录进行匹配；

若所述预测患病类型与所述历史诊断记录相匹配，则确定所述患病类型与所述预测患病类型相同。

其中，所述诊断模块还用于：

对所述第二舌部成像图像进行预处理，所述预处理包括放缩、裁剪、旋转和归一化中的至少一项。

其中，所述诊断模块还用于：

向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知所述第二患者所述患病类型。

相应地，本申请实施例提供了一种存储介质，其中，所述存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种疾病诊断方法。

相应地，本申请实施例提供了一种应用程序，其中，所述应用程序用于在运行时执行本申请实施例第一方面公开的一种疾病诊断方法。

实施本申请实施例，首先获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域；接着确定所述多个区域中每个区域的类别标签；其次将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；然后将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像，并根据所述第二语义分割图像，确定所述第二患者的患病类型。通过图像语义分割的方法，可以从患者的舌部成像图像中准确地分离出舌体所在的区域，排除脸部、唇部等其他图像内容对舌诊的干扰，从而提高舌诊的准确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种疾病诊断方法的流程示意图；

图2是本申请实施例提供的一种舌部成像图像的示意图；

图3是本申请实施例提供的一种语义分割图像的示意图；

图4是本申请实施例提供的一种深度可分离卷积的流程示意图；

图5是本申请实施例提供的另一种疾病诊断方法的流程示意图；

图6是本申请实施例提供的一种疾病诊断装置的结构示意图；

图7是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参考图1，图1是本申请实施例提供的一种疾病诊断方法的流程示意图。如图所示，本申请实施例中的方法包括：

S101，获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域。

具体实现中，所述多个区域包括第一舌体区域。如图2所示，可以利用照相机等成像设备拍摄第一患者的舌部成像图像。为了获得完整的舌像，拍摄到的舌部成像图像难以避免地将包括脸部和唇部等其他图像内容。其中，第一语义分割图像为按照第一舌部成像图像中图像内容的语义将第一舌部成像图像分割为多个区域所得到的图像，每个区域用一种颜色进行填充以便区别于其他区域、也可以直接以线条来划分区域。如图3所示，可以将第一舌部成像图像分为两个区域：第一舌体区域和其他区域(图3给出的是简易示意图，在实际中舌体所在区域的轮廓与舌部成像图像中的舌体轮廓接近)，其中，第一舌体区域为第一舌部成像图像对应的第一患者的舌体所在的区域。还可以将第一舌部成像图像分为两个以上的区域，包括第一舌体区域、脸部所在的区域、头发所在的区域等等。

S102，确定所述多个区域中每个区域的类别标签。

具体实现中，每个区域的类别标签用于表示该区域的分类类别，例如，类别标签可以为“脸部区域”、“颈部区域”等。为了简单，类别标签还可以为字母、数字和字符串等。比如，可以当类别标签为A，表示对应区域为“脸部区域”。其中，可以建立每个区域的填充颜色与类别标签对应关系，也可以直接将类别标签标注在对应区域中。例如，脸部所在区域的类别标签为A，即A表示“脸部区域”，则可以预设用黄色来填充类别标签为A的区域；唇部所在的区域的类别标签为B，即B表示“唇部区域”，则可以预设用红色来填充类别标签为B的区域。其中，所述多个区域所包括的第一舌体区域的类别标签与所述第一舌部成像图像所属的第一患者的患病类型相对应，即患病类型不同的第一患者对应的第一语义分割图像所包括的第一舌体区域的类别标签也不同。患病类型可以包括消化系统疾病、呼吸系统疾病、泌尿系统疾病心脏病和无疾病。例如，患有消化系统疾病的第一患者对应的第一语义分割图像中舌体区域的类别标签为a，即a表示消化系统疾病患者的舌体区域，则可以预设用蓝色来填充类别标签为a的区域；患有呼吸系统疾病的第一患者对应的第一语义分割图像中舌体区域的类别标签为b，即b表示呼吸系统疾病患者的舌体区域，则可以预设用褐色来填充类别标签为b的区域。

需要说明的是，类别标签可以是预先设定的。针对每种类别标签，尤其是针对不同类别标签的舌体，在获取到的多张第一舌部成像图像中至少应该包括一张包含该类别标签的图像。例如，可以采集200张患呼吸系统疾病的患者的舌部成像图像、采集200张患泌尿系统疾病的患者的舌部成像图像、采集200张舌诊结果为无疾病的患者的舌部成像图像、…。

S103，将所述第一舌部成像图像、所述第一语义分割图像和所述类别标签输入待训练模型，得到语义分割模型。

具体实现中，可以将每张第一舌部成像图像、该第一舌部成像图像对应的第一语义分割图像以及该第一语义分割图像中每个区域对应的类别标签作为一组训练样本输入待训练模型进行训练。所述待训练模型可以但不限于为卷积神经网络模型SegNet，还可以是Mask-RCNN、DeepLab、FCN等。SegNet模型包括编码器和译码器，编码器相当于卷积网络(Convolutional Network)，译码器为与编码器相对应的反卷积网络(DeconvolutionalNetwork)。为了优化延迟和减少参数数量，可以基于MobileNet模型思想，结合标准卷积方法和深度可分离卷积方法来实现SegNet的编码器，其中，深度可分离卷积是将标准卷积分为一个深度卷积和一个点卷积。例如：针对28×28×192的输入图像，通过标准卷积方法将其与256个3×3×192的卷积核进行卷积，参数数量为256×3×3×192＝44238。若要利用深度可分离达到相同的卷积效果，则可以将输入图像先与32个1×1×192的卷积核进行点卷积得到28×28×192的Feature map，再将Feature map与256个28×28×192的卷积核进行深度卷积即可，深度可分离卷积所用的参数量为32×1×1×192+256×3×3×32＝79872。需要说明的是，在常用的SegNet模型中，编码器是基于标准卷积方法实现的，本申请实施例也可以直接使用常用的SegNet模型。

其中，SegNet模型的编码器中包括多层池化层(Maxpooling)，第一层和最后两层使用标准卷积(Conv2D)，其他层的使用深度可分离卷积，深度可分离卷积可以借鉴MobileNet模型中的bottleneck结构来实现。如图4所示，bottleneck包括首先针对输入图像(input)的两次卷积(一次点卷积和一次深度卷积)，再利用线性激活函数对卷积结果进行处理得到input对应的卷积处理结果(output1)，然后将input与output1相加的结果作为Maxpooling的最终结果output。每层Maxpooling的卷积核和卷积方法如表1所示。在SegNet模型中译码器与编码器是对称的，因此译码器的卷积核和卷积方法也可以从表1中获得。此外，SegNet模型中还包括最后一层softmat层，softmat层在模型训练时根据训练样本进行分类学习。在模型训练后，结合编码器与译码器的处理结果和学习到的分类参数，确定输入该模型的图像中每个像素所属的类别，从而实现图像的语义分割。

表1.卷积核和卷积方法

S104，将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像。

具体实现中，将第二舌部成像图像输入训练好的图像语义分割模型后，图像语义分割模型将输入第二舌部成像图像的第二语义分割图像。其中，若将本申请实施中的方法应用于服务器或云端，则服务器或云端先接收用户终端发送的第二舌部成像图像，再将第二舌部成像图像输入训练好的图像语义分割模型。

其中，在将第一舌部成像图像和第一语义分割图像输入待训练模型之前，可以首先对图像进行归一化，图像归一化可以但不限于是指将图像的颜色模式从BRG模式转换为RGB模式；然后对图像进行缩放和/或旋转，其中，可以但不限于将图像的长边放缩到224像素，并且在图像的长边放缩到224像素后，若短边小于224，则用黑色填充。相应地，在将第二舌部成像图像输入图像语义分割模型之前，也可以对其进行预处理，预处理可以包括归一化、将长边放缩到224像素以及旋转(如180度旋转)中的至少一项。

S105，根据所述第二语义分割图像，确定所述第二患者的患病类型。

具体实现中，第二语义分割图像中包括第二舌体区域，第二舌体区域为所述第二患者的舌体所在的区域。因此，可以首先根据第二语义分割图像，确定第二舌体区域的类别标签，其中，可以根据区域的填充颜色与类别标签的对应关系确定类别标签；然后根据第二舌体区域的类别标签，确定第二患者的患病类型。例如，患者1的舌体所在的区域为蓝色，则确定类别标签为a，a表示该患者的患病类型为消化系统疾病。患者2的舌体所在的区域为褐色，则确定类别标签为b，b表示该患者的患病类型为呼吸系统疾病。

在本申请实施例中，首先获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域；接着确定所述多个区域中每个区域的类别标签；其次将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；然后将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像，并根据所述第二语义分割图像，确定所述第二患者的患病类型。通过图像语义分割的方法，可以从患者的舌部成像图像中准确地分离出舌体所在的区域，排除脸部、唇部等其他图像内容对舌诊的干扰，从而提高舌诊的准确度。

请参考图5，图5是本申请实施例提供的另一种疾病诊断方法的流程示意图。如图所示，本申请实施例中的方法包括：

S501，获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像包括多个区域。本步骤与上一实施例中的S101相同，本步骤不再赘述。

S502，确定所述多个区域中每个区域的类别标签。本步骤与上一实施例中的S102相同，本步骤不再赘述。

S503，将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型。本步骤与上一实施例中的S103相同，本步骤不再赘述。

S504，将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像。本步骤与上一实施例中的S104相同，本步骤不再赘述。

S505，确定所述第二语义分割图像中的第二舌体区域的类别标签、以及获取所述第二患者的历史诊断记录。

具体实现中，一方面可以根据所述第二语义分割图像中第二舌体区域的填充颜色，确定该区域的类别标签，第二舌体区域为所述第二患者的舌体所在的区域；

另一方面，在实际中可以根据本申请实施例所提供的方法生成一个舌诊应用程序，所述第二患者可以在该应用程序中注册账号，在利用该应用程序进行舌诊之前可以利用已注册的账号进行登陆。则可以首先获取所述第二患者的标识信息，该标识信息可以是账号名、昵称等；然后根据所述标识信息，获取所述第二患者的历史诊断记录。其中，可以在对每个待问诊患者进行舌诊后，将该患者的标识信息和诊断记录的数据库中，并建立标识信息和诊断结果记录的关联关系。因此，可以根据所述第二患者的标识信息从数据库中查找对应的历史诊断记录。

可选的，还可以先显示提示信息，以便提示所述第二患者输入历史诊断记录；然后接收所述第二患者输入的历史诊断记录。例如，提示患者输入是否有消化系统疾病的患病史，若有，则进一步提示患者输入患病时间和治疗结果等等。

S505，根据所述第二舌体区域的类别标签和所述历史诊断记录，确定所述第二患者的患病类型。

具体实现中，可以首先根据第二舌体区域的类别标签，确定所述第二患者的预测患病类型，例如，类别标签为a，则将a对应的消化系统疾病确定为该患者的预测患病类型；然后根据预测患病类型与所述第二患者的历史诊断记录确定所述第二患者的患病类型，其中，可以将预测患病类型与历史诊断记录进行匹配，若两者相匹配，则确定所述第二患者的患病类型与预测患病类型相同，若两者不匹配，则可以根据所述历史诊断记录确定所述预测患病类型的合理性或可信度以便提示患者就医。

例如：历史诊断数据库如表2所述，第二患者的标识信息为pear，则可以从该数据库中查找到第二患者的历史诊断记录包括：2018-06-12的诊断结果为无疾病、2018-07-29的诊断结果为呼吸系统疾病以及2018-08-03的诊断结果为呼吸系统疾病。本次根据舌部成像图像确定的预测患病类型为呼吸系统疾病，而历史诊断记录显示患者在7月底和8月初均被诊断为呼吸系统疾病，因此可以确定预测患病类型与历史诊断记录是匹配的，从而确定本次诊断结果为呼吸系统疾病。

表2.历史舌诊数据库

可选的，本申请实施例所提供的方法可以应用于服务器或云端，在确定所述第二患者的患病类型之后，还可以向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知患者所述患病类型，例如，用户终端可以语音播报和/或在显示界面上显示“本次诊断的结果为：呼吸系统疾病”。

可选的，预测患病类型与历史诊断记录不匹配可能是图像语义分割模型错误地判别舌体所在区域的类别标签造成的。因此，当出现预测患病类型与历史诊断记录不匹配的情况时，可以针对此次诊断生成一条日志，该日志中可以包括诊断的时间、舌部成像图像以及获取到的历史诊断记录。当日志的累积数量达到预设阈值(如1000)时，可以提取记录的所有日志，并向专业医师询问以评估图像语义分割模型的准确度。若准确度低于门限值(如0.8)，则重新搜集训练样本，继续训练该图像语义分割模型。例如，在1000条日志中，专业医师确认有212条是错误诊断，也就是图像语义分割模型的错误地判别了舌体所在区域的类别标签造成预测患病类型与历史诊断记录不匹配，则确定图像语义分割模型的准确度为(1000-212)/1000＝0.788。

以下通过一个例子来说明本申请所提供的诊断方法的实际实施方式和流程。

例如：可以基于本申请所提供的诊断方法生成一个智慧舌诊App，患者可以在该App上进行账号注册。当患者需要进行舌诊时，打开并登陆该App并通过用户终端(如手机)拍摄舌部成像图像。在拍摄时该App可以利用目标检测算法(如harr算法)检测是否拍摄到舌头，当舌头占成像图像的20％-40％，提示患者保持不动并进行拍摄。拍摄完成后，用户终端可以将舌部成像图像发送给该App对应的服务器。服务器可以首先对舌部成像图像进行裁剪、缩放、旋转和归一化等预处理；接着将预处理后的舌部成像图像输入训练得到的图像语义分割模型，得到对应的语义分割图像；然后根据患者此次登陆的账号，从数据库中查找该患者的历史诊断记录，并根据历史诊断记录和语义分割图像中舌体所在区域的类别标签，确定该患者的患病类型；最后向用户终端发送提示信息。用户终端则可以根据接收到的提示信息，通知患者本次舌诊结果。

在本申请实施例中，首先获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域；接着确定所述多个区域中每个区域的类别标签；其次将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；然后将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像，并根据所述第二语义分割图像，确定所述第二患者的预测患病类型；最后获取所述第二患者的历史诊断记录，并根据历史诊断记录和有损坏患病类型确定所述第二患者的患病类型。不仅可以通过语义分割的方法降低脸部、唇部等其他图像内容对基于舌部成像图像的舌诊结果的干扰，而且可以根据患者的历史诊断记录来确认基于舌部成像图像的舌诊结果是否合理，从而进一步提高舌诊的准确度。

请参考图6，图6是本申请实施例提供的一种疾病诊断装置的结构示意图。如图所示，本申请实施例中的疾病诊断装置包括：

获取模块601，用于获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域，所述多个区域包括第一舌体区域。

具体实现中，如图2所示，可以利用照相机等成像设备拍摄第一患者的舌部成像图像。为了获得完整的舌像，拍摄到的舌部成像图像难以避免地将包括脸部和唇部等其他图像内容。其中，第一语义分割图像为按照第一舌部成像图像中图像内容的语义将第一舌部成像图像分割为多个区域所得到的图像，每个区域用一种颜色进行填充以便区别于其他区域、也可以直接以线条来划分区域。如图3所示，可以将第一舌部成像图像分为两个区域：第一舌体区域和其他区域(图3给出的是简易示意图，在实际中舌体所在区域的轮廓与舌部成像图像中的舌体轮廓接近)，其中，第一舌体区域为第一舌部成像图像对应的对应的第一患者的舌体所在的区域。还可以将第一舌部成像图像分为两个以上区域，包括第一舌体区域、脸部所在的区域、头发所在的区域等等。

确定模块602，用于确定所述多个区域中每个区域的类别标签。

具体实现中，每个区域的类别标签用于该区域的分类类别，例如，类别标签可以为“脸部区域”、“颈部区域”等。为了简单，类别标签还可以为字母、数字和字符串等。比如，可以当类别标签为A时，表示对应区域为“脸部区域”。其中，可以建立每个区域的填充颜色与类别标签对应关系，也可以直接将类别标签标注在对应区域中。例如，脸部所在区域的类别标签为A，即A表示“脸部区域”，则可以预设用黄色来填充类别标签为A的区域；唇部所在的区域的类别标签为B，即B表示“唇部区域”，则可以预设用红色来填充类别标签为B的区域。其中，所述多个区域所包括的第一舌体区域的类别标签与所述第一舌部成像图像所属的第一患者的患病类型相对应，即患病类型不同的第一患者对应的第一语义分割图像所包括的第一舌体区域的类别标签也不同。患病类型可以包括消化系统疾病、呼吸系统疾病、泌尿系统疾病心脏病和无疾病。例如，患有消化系统疾病的第一患者对应的第一语义分割图像中舌体所在区域的类别标签为a，即a表示消化系统疾病患者的舌体区域，则可以预设用蓝色来填充类别标签为a的区域；患有呼吸系统疾病的第一患者对应的第一语义分割图像中舌体区域的类别标签为b，即b表示呼吸系统疾病患者的舌体区域，则可以预设用褐色来填充类别标签为b的区域。

训练模块603，用于将所述第一舌部成像图像、所述第一语义分割图像和所述类别标签输入待训练模型，得到语义分割模型。

具体实现中，可以将每张第一舌部成像图像、该第一舌部成像图像对应的第一语义分割图像以及该第一语义分割图像中每个区域对应的类别标签作为一组训练样本输入待训练模型进行训练。所述待训练模型可以但不限于为卷积神经网络模型SegNet，还可以是Mask-RCNN、DeepLab、FCN等。SegNet模型包括编码器和译码器，编码器相当于卷积网络(Convolutional Network)，译码器为与编码器相对应的反卷积网络(DeconvolutionalNetwork)。为了优化延迟和减少参数数量，可以基于MobileNet模型思想，结合标准卷积方法和深度可分离卷积方法来实现SegNet的编码器，其中，深度可分离卷积是将标准卷积分为一个深度卷积和一个点卷积。例如：针对28×28×192的输入图像，通过标准卷积方法将其与256个3×3×192的卷积核进行卷积，参数数量为256×3×3×192＝44238。若要利用深度可分离达到相同的卷积效果，则可以将输入图像先与32个1×1×192的点卷积核进行卷积得到28×28×192的Feature map，再将Feature map与256个28×28×192的卷积核进行深度卷积即可，深度可分离卷积所用的参数量为32×1×1×192+256×3×3×32＝79872。需要说明的是，在常用的SegNet模型中，编码器是基于标准卷积方法实现的，本申请实施例也可以直接使用常用的SegNet模型。

其中，SegNet模型的编码器中包括多层池化层(Maxpooling)，第一层和最后两层使用标准卷积(Conv2D)，其他层的使用深度可分离卷积，深度可分离卷积可以借鉴MobileNet模型中的bottleneck结构来实现。如图4所示，bottleneck包括首先针对输入图像(input)的两次卷积(一次点卷积和一次深度卷积)，再利用线性激活函数对卷积结果进行处理得到input对应的卷积处理结果(output1)，然后将input与output1相加的结果作为Maxpooling的最终结果output。每层Maxpooling的卷积核和卷积方法如表1所示。在SegNet模型中译码器与编码器是对称的，因此译码器的卷积核和卷积方法也可以从表1中获得。此外，SegNet模型中还包括最后一层softmat层，softmat层在模型训练时根据训练样本进行分类学习。在模型训练后，结合编码器与译码器的处理结果和学习到的分类参数，确定输入该模型的图像中每个像素所属的类别，从而实现图像的语义分割。

诊断模块604，用于将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像。

具体实现中，将第二舌部成像图像输入训练好的图像语义分割模型后，图像语义分割模型将输入第二舌部成像图像的第二语义分割图像。其中，若将本申请实施中的方法应用于服务器或云端，则服务器或云端先接收用户终端发送的第二舌部成像图像，再将第二舌部成像图像输入训练好的图像语义分割模型。

在将第一舌部成像图像和第一语义分割图像输入待训练模型之前，训练模块603可以首先对图像进行归一化，其中，可以图像归一化可以但不限于是指将图像的颜色模式从BRG模式转换为RGB模式；然后对图像进行缩放和/或旋转，其中，可以但不限于将图像的长边放缩到224像素，并且在图像的长边放缩到224像素后，若短边小于224，则用黑色填充。相应地，在将第二舌部成像图像输入图像语义分割模型之前，训练模块603也可以对其进行预处理，预处理可以包括归一化、将长边放缩到224像素以及旋转(如180度旋转)中的至少一项。

诊断模块604，还用于根据所述第二语义分割图像，确定所述第二患者的患病类型。

具体实现中，所述第二语义分割图像中包括所述第二舌体区域，第二舌体区域为所述第二患者的舌体所在的区域。因此，可以首先根据第二语义分割图像，确定第二舌体区域的类别标签，其中，可以根据区域的填充颜色与类别标签的对应关系确定类别标签；然后根据第二舌体区域的类别标签，确定第二患者的患病类型。例如，患者1的舌体所在的区域为蓝色，则确定类别标签为a，a表示该患者的患病类型为消化系统疾病。患者2的舌体所在的区域为褐色，则确定类别标签为b，b表示该患者的患病类型为呼吸系统疾病。

可选的，可以首先确定所述第二语义分割图像中所述第二舌体区域的类别标签、以及获取所述第二患者的历史诊断记录。

具体地，一方面可以根据所述第二语义分割图像中第二舌体区域的填充颜色，确定该区域的类别标签。另一方面可以首先获取所述第二患者的标识信息，该标识信息可以是账号名、患者自行设置的昵称等；然后根据所述标识信息，获取所述第二患者的历史诊断记录。其中，可以在对每个待问诊患者进行舌诊后，将该患者的标识信息和诊断记录的数据库中，并建立标识信息和诊断结果记录的关联关系。因此，可以根据所述第二患者的标识信息从数据库中查找对应的历史诊断记录。

可选的，还可以先显示提示信息，提示所述第二患者输入历史诊断记录。然后接收第二患者输入的历史诊断记录。例如，提示患者输入是否有消化系统疾病的患病史，若有，则进一步提示患者输入患病时间和治疗结果等等。

然后，根据所述第二舌体区域的类别标签和所述历史诊断记录，确定所述第二患者的患病类型。具体地，可以首先根据第二舌体区域的类别标签，确定所述第二患者的预测患病类型，例如，类别标签为a，则将a对应的消化系统疾病确定为该患者的预测患病类型；然后根据预测患病类型与所述第二患者的历史诊断记录确定所述第二患者的患病类型，其中，可以将预测患病类型与历史诊断记录进行匹配，若两者相匹配，则确定所述第二患者的患病类型与预测患病类型相同，若两者不匹配，则可以根据所述历史诊断记录确定所述预测患病类型的合理性或可信度以便提示患者就医。

可选地，诊断模块604还可以在确定所述第二患者的患病类型之后，还可以向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知所述第二患者所述患病类型。

可选的，预测患病类型与历史诊断记录不匹配可能是图像语义分割模型错误地判别舌体所在区域的类别标签造成的。因此当出现预测患病类型与历史诊断记录不匹配的情况时，训练模块603可以针对此次诊断生成一条日志，该日志中可以包括诊断的时间、舌部成像图像以及获取到的历史诊断记录。当日志的累积数量达到预设阈值(如1000)时，可以提取记录的所有日志，并向专业医师询问以评估图像语义分割模型的准确度。若准确度低于门限值(如0.8)，则重新搜集训练样本，继续训练该图像语义分割模型。

在本申请实施例中，首先获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像中包括多个区域；接着确定所述多个区域中每个区域的类别标签；其次将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；然后将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像，并根据所述第二语义分割图像，确定所述第二患者的预测患病类型；最后获取所述第二患者的历史诊断记录，并根据历史诊断记录和有损坏患病类型确定所述第二患者的患病类型。不仅可以通过语义分割的方法降低脸部、唇部等其他图像内容对舌诊结果的影响，而且可以根据患者的历史诊断记录来确认舌诊结果是否合理，从而进一步提高了机器舌诊的准确度。

请参考图7，图7是本申请实施例提供的一种电子设备的结构示意图。如图所示，该电子设备可以包括：至少一个处理器701，例如CPU，至少一个通信接口702，至少一个存储器703，至少一个总线704。其中，总线704用于实现这些组件之间的连接通信。其中，本申请实施例中电子设备的通信接口702是有线发送端口，也可以为无线设备，例如包括天线装置，用于与其他节点设备进行信令或数据的通信。存储器703可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器703可选的还可以是至少一个位于远离前述处理器701的存储装置。存储器703中存储一组程序代码，且处理器701用于调用存储器中存储的程序代码，用于执行以下操作：

获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像包括多个区域，所述多个区域包括第一舌体区域；

确定所述多个区域中每个区域的类别标签，所述类别标签用于表示所述每个区域的分类类别，其中，所述第一舌体区域的类别标签与所述第一舌部成像图像所属的第一患者的患病类型相对应；

将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；

将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像；

根据所述第二语义分割图像，确定所述第二患者的患病类型。

其中，所述第二语义分割图像包括第二舌体区域；

处理器701还用于执行如下操作步骤：

确定所述第二舌体区域的类别标签；

根据所述第二舌体区域的类别标签，确定所述患病类型。

其中，处理器701还用于执行如下操作步骤：

获取所述第二患者的历史诊断记录；

根据所述历史诊断记录和所述第二舌体区域的类别标签，确定所述患病类型。

其中，处理器701还用于执行如下操作步骤：

根据所述第二舌体区域的类别标签，确定所述第二患者的预测患病类型；

将所述预测患病类型与所述历史诊断记录进行匹配；

若所述预测患病类型与所述历史诊断记录相匹配，则确定所述患病类型与所述预测患病类型相同。

其中，处理器701还用于执行如下操作步骤：

对所述第二舌部成像图像进行预处理，所述预处理包括放缩、裁剪、旋转和归一化中的至少一项。

其中，处理器701还用于执行如下操作步骤：

向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知所述第二患者所述患病类型。

需要说明的是，本申请实施例同时也提供了一种存储介质，该存储介质用于存储应用程序，该应用程序用于在运行时执行图1和图5所示的疾病诊断方法中电子设备执行的操作。

需要说明的是，本申请实施例同时也提供了一种应用程序，该应用程序用于在运行时执行图1和图5所示的疾病诊断方法中电子设备执行的操作。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述的具体实施方式，对本申请的目的、技术方案和有益效果进行了进一步详细说明。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种疾病诊断装置，其特征在于，所述装置包括：

获取模块，用于获取多个已确诊的第一患者的第一舌部成像图像、以及所述第一舌部成像图像对应的第一语义分割图像，所述第一语义分割图像包括多个区域，所述多个区域包括第一舌体区域；

确定模块，用于确定所述多个区域中每个区域的类别标签，所述类别标签用于表示所述每个区域的分类类别，其中，所述第一舌体区域的类别标签与第一舌部成像图像所属的第一患者的患病类型相对应；

训练模块，用于将所述第一舌部成像图像、所述第一语义分割图像以及所述类别标签输入待训练模型进行训练，得到图像语义分割模型；

诊断模块，用于将待问诊的第二患者的第二舌部成像图像输入所述图像语义分割模型，得到所述第二舌部成像图像对应的第二语义分割图像，所述第二语义分割图像包括第二舌体区域；

所述诊断模块，还用于根据所述第二语义分割图像，确定所述第二患者的患病类型，包括：根据所述第二语义分割图像，确定所述第二舌体区域的类别标签，根据所述第二舌体区域的类别标签，确定所述患病类型。

2.如权利要求1所述的装置，其特征在于，所述待训练模型为卷积神经网络模型，所述卷积神经网络模型包括使用标准卷积方法和深度可分离卷积方法中的至少一种方法实现的编码器。

3.如权利要求1所述的装置，其特征在于，所述诊断模块还用于：

获取所述第二患者的历史诊断记录；

根据所述历史诊断记录和所述第二舌体区域的类别标签，确定所述患病类型。

4.如权利要求3所述的装置，其特征在于，所述诊断模块还用于：

根据所述第二舌体区域的类别标签，确定所述第二患者的预测患病类型；

将所述预测患病类型与所述历史诊断记录进行匹配；

若所述预测患病类型与所述历史诊断记录相匹配，则确定所述患病类型与所述预测患病类型相同。

5.如权利要求1所述的装置，其特征在于，所述诊断模块还用于：

对所述第二舌部成像图像进行预处理，所述预处理包括放缩、裁剪、旋转和归一化中的至少一项。

6.如权利要求1-5任一项所述的装置，其特征在于，所述诊断模块还用于：

向用户终端发送提示信息，所述提示信息用于指示所述用户终端通知所述第二患者所述患病类型。

7.一种电子设备，其特征在于，包括：处理器、存储器、通信接口和总线；

所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；

所述存储器存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-6任一项所述疾病诊断装置所执行的步骤。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-6任一项所述的疾病诊断装置所执行的步骤。

Images