CN115661142B

CN115661142B - 一种基于关键点检测的舌诊图像处理方法、设备及介质

Info

Publication number: CN115661142B
Application number: CN202211598354.1A
Authority: CN
Inventors: 廖彦斌; 王小林; 刘怡俊; 刘立程
Original assignee: Guangdong University of Technology
Current assignee: Guangdong University of Technology
Priority date: 2022-12-14
Filing date: 2022-12-14
Publication date: 2023-03-28
Anticipated expiration: 2042-12-14
Also published as: CN115661142A

Abstract

本发明公开了一种基于关键点检测的舌诊图像处理方法，包括：对获取的初始望诊图像进行预处理，得到待标注图像集；基于预设标注规则对待标注图像集进行标注，得到第一标注图像集；将待标注图像集输入预置关键点识别模型，得到第二标注图像集；基于第一标注图像集、第二标注图像集和预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型；将待处理的望诊图像输入关键点舌体定位模型，得到舌体关键点定位分割结果，将舌体关键点定位分割结果输入预先训练好的舌象特征分类器，得到舌象分类结果，解决了现有舌象分割技术得到的舌体图像，无法提供细致的舌象信息的技术问题。

Description

一种基于关键点检测的舌诊图像处理方法、设备及介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于关键点检测的舌诊图像处理方法、设备及介质。

背景技术

中医讲究望闻问切，望指的是望诊，舌诊是中医望诊中的精华，舌象能反映人体五脏六腑的生理状态和病理变化，是人体内部生理的外化表现，短时间内不容易受到外界环境的影响，因此，舌诊是比较有力地反映人体健康信息的诊断方式。

传统的舌诊依赖医生的主观判断，由于医生的经验和诊察环境的不同，不同医生对同一舌象的判断存在差异。随着人工智能的迅猛发展，智能化舌诊逐渐兴起，智能化舌诊可以对不同环境下采集的舌体图像进行处理分析，实现舌体检测，舌体割体，舌质分辨及舌苔特征检测等，辅助医生通过舌象分类结果进行诊断，提高诊断的准确性，同时，智能化舌诊可以实现无接触式的智能诊断，也避免了交叉感染。

现有技术通常采用卷积神经网络算法对舌体图像进行分割，并基于形态学的优化算法对分割结果做进一步处理，但大都是对舌体图像中的舌体整体与外部环境（牙齿，部分脸颊和上下嘴唇等）的分割，并未对舌体本身进行划分，得到的舌体图像无法为医生提供更细致的舌象信息。

发明内容

本发明提供了一种基于关键点检测的舌诊图像处理方法，用于解决现有舌象分割技术得到的舌体图像，无法提供细致的舌象信息的技术问题。

本发明提供了一种基于关键点检测的舌诊图像处理方法，包括：

S1：对获取的初始望诊图像进行预处理，得到待标注图像集；

S2：基于预设标注规则对所述待标注图像集进行标注，得到第一标注图像集；其中，所述第一标注图像集包含标注数据集；

S3：根据所述标注数据集训练初始舌体模型，得到预置舌体建模模型；

S4：将所述待标注图像集输入预置关键点识别模型，得到第二标注图像集；

S5：基于所述第一标注图像集、所述第二标注图像集和所述预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型；

S6：将待处理的望诊图像输入所述舌体关键点定位模型，得到舌体关键点定位分割结果，将所述舌体关键点定位分割结果输入预先训练好的舌象特征分类器，得到舌象分类结果。

优选地，步骤S1具体包括：

对所述初始望诊图像进行颜色校正、几何校正和图像去噪，得到待标注图像；其中，所述初始望诊图像为包含舌体的人脸图像。

优选地，舌象特征分类器的获取步骤具体包括：

对获取的初始舌体图像进行预处理，得到舌体图像集；其中，所述舌体图像集包括特征标签；

根据所述舌体图像集训练初始舌象特征分类器，得到舌象分类器；

其中，所述舌象分类器地输入为舌体图像，输出为舌象分类结果。

优选地，所述预置关键点识别模型为基于多任务级联卷积神经网络构建的人脸识别模型。

优选地，所述初始舌体模型为点分布模型。

优选地，所述舌体关键点定位分割结果为预设尺寸的舌体图像，所述舌体图像包含舌体关键点数据。

本发明还提供了一种基于关键点检测的舌诊图像处理设备，包括：

预处理单元，用于对获取的初始望诊图像进行预处理，得到待标注图像集；

标注单元，用于基于预设标注规则对所述待标注图像集进行标注，得到第一标注图像集；其中，所述第一标注图像集包含标注数据集；

舌体建模单元，用于根据所述标注数据集训练初始舌体模型，得到预置舌体建模模型；

人脸标注单元，用于将所述待标注图像集输入预置关键点识别模型，得到第二标注图像集；

舌体定位单元，用于基于所述第一标注图像集、所述第二标注图像集和所述预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型；

舌象分类单元，用于将待处理的望诊图像输入所述舌体关键点定位模型，得到舌体关键点定位分割结果，将所述舌体关键点定位分割结果输入预先训练好的舌象特征分类器，得到舌象分类结果。

优选地，所述预处理单元，具体用于：

优选地，所述舌诊图像处理设备还包括舌象特征分类器训练单元，具体用于：

本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述的基于关键点检测的舌诊图像处理方法。

从以上技术方案可以看出，本发明具有以下优点：

本申请中，提供了一种基于关键点检测的舌诊图像处理方法，包括：对获取的初始望诊图像进行预处理，得到待标注图像集；然后基于预设标注规则对待标注图像集进行标注，得到具有标注数据集的第一标注图像集；进一步根据标注数据集训练初始舌体模型，得到预置舌体建模模型，将所述待标注图像集输入预置关键点识别模型，得到第二标注图像集，然后利用第一标注图像集、第二标注图像集和预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型；最后将待处理的望诊图像输入舌体关键点定位模型，得到舌体关键点定位分割结果，将舌体关键点定位分割结果输入预先训练好的舌象特征分类器，得到舌象分类结果。通过在获取舌体关键点定位分割结果后进一步对舌体关键点定位分割结果进行舌象特征分类，解决现有舌诊图像处理方法无法提供细致的舌象信息的技术问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为申请实施例提供的一种基于关键点检测的舌诊图像处理方法的流程示意图；

图2为本申请实施例提供的第一种关键点标注示意图；

图3为本申请实施例提供的第二种关键点标注示意图；

图4为本申请实施例提供的一种基于关键点检测的舌诊图像处理设备的结构示意图。

具体实施方式

本发明实施例提供了一种基于关键点检测的舌诊图像处理方法，解决了现有舌象分割技术得到的舌体图像，无法提供细致的舌象信息的技术问题。

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请的实施例1提供了种基于关键点检测的舌诊图像处理方法，请参阅图1，在实施例1中，方法包括：

S1：对获取的初始望诊图像进行预处理，得到待标注图像集。

可以理解的是，不同的问诊人提供的望诊图像不同，例如，在不同光源下采集到的望诊图像中的舌象颜色差异较大，图像中包含的噪声会影响舌象分类结果的准确性，步骤S1在预处理的阶段主要对初始望诊图像进行颜色校正、几何校正和图像去噪，得到待标注图像。

需要注意的是，本实施例中，初始望诊图像是包含舌体的人脸图像，通过预处理后得到的待标注图像集中的图像仍是包含舌体的人脸图像。

S2：基于预设标注规则对所述待标注图像集进行标注，得到第一标注图像集；其中，所述第一标注图像集包含标注数据集。

舌体的不同区域可以反映人体不同器官的健康情况，通过对舌体进行关键点的标注，针对舌体中的舌根，舌中，舌边，舌尖等进行关键点的标注，将舌体进行区域划分，有助于提高后续的舌象分类的准确性。

需要说明的是，在本步骤中，预设标注规则设定的标注关键点数量为28个，参见附图2，其中，关键点1-8和28：用于对待标注图像中的人眼、鼻子和下巴进行定位，可以理解的是，对于人脸图像，人眼间距、人眼到鼻子的间距以及人眼到下巴的距离通常较为稳定，在进行舌体定位时，可以人眼间距、人眼到鼻子的间距以及人眼到下巴的距离为标准进行定位，避免出现较大定位偏差。

关键点9-18用于定位上唇，将上唇与舌体区分，避免影响后续的舌象分类的准确性。

关键点17-20用于定位舌根，关键点21-25用于定位舌尖，关键点23-27用于定位舌边。

S3：根据所述标注数据集训练初始舌体模型，得到预置舌体建模模型。

初始舌体模型为柔性物体关键点模型，可以理解的是，在预置舌体建模模型之前，需要根据确定的初始舌体模将标记点（标注数据集）和舌体的特征相关联。进一步，通过主成分分析方法对对齐后的目标舌体轮廓的变化进行统计分析，将影响舌体轮廓的特征值按照大小排序，然后选择影响较大的若干个特征值对应的特征向量建立预置舌体建模模型，当模型参数的变化时，则反映了舌体轮廓可能发生的变化，每一个预置舌体建模模型的参数都对应一个标注数据集；通过对预置舌体建模模型的模型参数的变化范围加以限制，使得该模型派生出的新的舌体轮廓能够始终与原始舌体轮廓相似。

S4：将所述待标注图像集输入预置关键点识别模型，得到第二标注图像集。

其中，所述预置关键点识别模型为基于多任务级联卷积神经网络构建的人脸识别模型，通过对待标注图像中人脸五个关键点的检测，可以提高步骤S5中获取的舌体关键点定位模型的分割速度与精度。其中，人脸五个关键点分别位于左右眼、鼻尖及左右嘴角。

S5：基于所述第一标注图像集、所述第二标注图像集和所述预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型。

其中，第一标注图像集和第二标注图像集作为初始舌体关键点定位模型的训练集，预置舌体建模模型为初始舌体关键点定位模型的局部约束模型，舌体关键点定位模型的输出为舌体关键点定位分割结果。可以理解的是，通过使用不同形式的训练集图像，同时采用预置舌体建模模型对舌体关键点定位模型进行约束，可以加快舌体关键点定位模型的训练过程，同时提高得到的舌体分割模型的精度。

其中，舌体关键点定位分割结果为预设尺寸的舌体图像，舌体图像中包含舌体关键点数据，舌体关键点为9个，参见附图3。

需要说明的是，上述关键点数据包含深度信息。

可以理解的是，舌象分类结果可以为医生提供更细致的舌象信息，可以辅助医生进行诊断，提高舌诊的准确性。

本发明提供的一种基于关键点检测的舌诊图像处理方法，通过对获取的初始望诊图像进行预处理并标注，得到包含标注数据的标注图像，同时利用标注数据建立局部约束模型，利用得到的标注图像和局部约束模型对初始舌体关键点定位模型进行训练，得到可以输出带有舌体关键点数据的舌体图像，通过在获取舌体关键点定位分割结果后进一步对舌体关键点定位分割结果进行舌象特征分类，得到舌象特征分类结果，解决现有舌诊图像处理方法无法提供细致的舌象信息的技术问题。

以上为本申请提供的一种基于关键点检测的舌诊图像处理方法的一个实施例，以下为本申请提供的一种基于关键点检测的舌诊图像处理方法的另一个实施例，实施例2中：

实施例1中，步骤S6中的舌象特征分类器通过训练得到，舌象特征分类器的获取步骤具体包括：

S61、对获取的初始舌体图像进行预处理，得到舌体图像集；其中，所述舌体图像集包括特征标签。

S62、根据所述舌体图像集训练初始舌象特征分类器，得到舌象分类器。

步骤S61中，初始舌体图像同样是包含舌体的人脸图像，预处理过程包括：

对所述初始舌体图像进行颜色校正、几何校正、图像去噪和图像裁剪，得到待标注舌体图像集；其中，待标注舌体图像集中图像的尺寸为预设定值，与前述舌体分割结果的尺寸一致；

进一步，基于预设的舌体标注规则对获取的待标注舌体图像进行标注，得到舌体图像集；其中，舌体图像集包含舌体关键点数据集和特征标签。

在一个优选的实施例中，预设的舌体标注规则设定的标注关键点数量可以为9个，参见附图3。

其中，关键点p1、p2、p6、p7、p8、p9用于定位舌中；关键点p1-p3、p5-p7用于定位舌边；关键点p3-p5用于定位舌尖；关键点p1、p7、p8用于定位舌根。

需要说明的是，上述标注关键点数量可以根据需要进行设置，可以通过增加标注关键点数量对舌体进行更为细致的分区，上述实例只做具体举例，而不是对其进行限制。

在一个具体的实施例中，特征标签包括以下类别：

上述特征标签中的类别与舌体标注数据集相对应，例如：类别“舌苔白”与舌体关键点数据集中关键点p1、p2、p6、p7、p8、p9相对应，类别“舌边齿印”与舌体关键点数据集中关键点p1-p3、p5-p7相对应。

步骤S62中，利用Hog特征（方向梯度直方图）结合SVM分类器构建初始舌象特征分类器，根据步骤S61中获取的舌体图像集对初始舌象特征分类器进行训练，得到舌象分类器。

其中，Hog用于对步骤S61中获取的舌体图像集中的舌体图像进行Hog特征提取，得到舌体图像的HOG特征；SVM分类器用于对所述舌体图像的HOG特征进行分类，得到舌象分类结果。

在具体的实施例中，利用舌象分类器得到舌象分类结果具体为：将提取的HOG特征分别输入到训练好的N个SVM中，对应得到N个舌象分类结果，每个舌象分类结果都有对应类别的概率，选取概率最大的类别作为舌象分类结果。

需要说明的是，训练好的舌象分类器接收来自舌体关键点定位模型输出的舌体关键点定位分割结果，上述舌体关键点定位分割结果为带有舌体关键点数据的预设尺寸彩色舌体图像，输出为舌象分类结果。

本发明提供的一种基于关键点检测的中医舌诊方法，通过在获取舌体关键点定位分割结果后，利用预先训练好的舌象分类器进一步对舌体关键点定位分割结果进行舌象特征分类，细致的舌象分类结果可以为医生提供更具针对性的舌象信息，可以辅助医生进行诊断，提高医生通过图像进行线上舌诊的准确性。

以上为本申请提供的一种基于关键点检测的舌诊图像处理方法的一个实施例，以下为本申请提供的一种基于关键点检测的舌诊图像处理设备的另一个实施例。

请参阅图4，在实施例3中，设备包括：

预处理单元1，用于对获取的初始望诊图像进行预处理，得到待标注图像集；

标注单元2，用于基于预设标注规则对所述待标注图像集进行标注，得到第一标注图像集；其中，所述第一标注图像集包含标注数据集；

舌体建模单元3，用于根据所述标注数据集训练初始舌体模型，得到预置舌体建模模型；

人脸标注单元4，用于将所述待标注图像集输入预置关键点识别模型，得到第二标注图像集；

舌体定位单元5，用于基于所述第一标注图像集、所述第二标注图像集和所述预置舌体建模模型对初始舌体关键点定位模型进行训练，得到舌体关键点定位模型；

舌象分类单元6，用于将待处理的望诊图像输入所述舌体关键点定位模型，得到舌体关键点定位分割结果，将所述舌体关键点定位分割结果输入预先训练好的舌象特征分类器，得到舌象分类结果。

在一个优选的实施例中，所述预处理单元1，具体用于对所述初始望诊图像进行颜色校正、几何校正和图像去噪，得到待标注图像；其中，所述初始望诊图像为包含舌体的人脸图像。

在一个优选的实施例中，所述中医舌诊装置还包括舌象特征分类器训练单元，具体用于：

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行前述实施例1和/或2中的舌诊图像处理方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于关键点检测的舌诊图像处理方法，其特征在于，包括：

2.根据权利要求1所述的基于关键点检测的舌诊图像处理方法，其特征在于，步骤S1具体包括：

3.根据权利要求1所述的基于关键点检测的舌诊图像处理方法，其特征在于，舌象特征分类器的获取步骤具体包括：

4.根据权利要求1所述的基于关键点检测的舌诊图像处理方法，其特征在于，所述预置关键点识别模型为基于多任务级联卷积神经网络构建的人脸识别模型。

5.根据权利要求1所述的基于关键点检测的舌诊图像处理方法，其特征在于，所述初始舌体模型为点分布模型。

6.根据权利要求1所述的基于关键点检测的舌诊图像处理方法，其特征在于，所述舌体关键点定位分割结果为预设尺寸的舌体图像，所述舌体图像包含舌体关键点数据。

7.一种基于关键点检测的舌诊图像处理设备，其特征在于，包括：

8.根据权利要求7所述的基于关键点检测的舌诊图像处理设备，其特征在于，所述预处理单元，具体用于：

9.根据权利要求7所述的基于关键点检测的舌诊图像处理设备，其特征在于，所述舌诊图像处理设备还包括舌象特征分类器训练单元，具体用于：

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-6任一项所述的基于关键点检测的舌诊图像处理方法。