CN110866932A - 多通道舌体边缘检测装置、方法及存储介质 - Google Patents

Abstract

本发明提供一种多通道舌体边缘检测装置、方法及存储介质，该方法包括步骤：利用红色区域增强算法求取舌体RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图；基于代价函数对潜在轮廓点进行遍历得到最优的初始轮廓点，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图；在初始轮廓二值图中将V通道二值图的白色区域去除得到最终轮廓二值图；基于最终轮廓二值图得到最终边缘点信息，并利用GVF‑snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。本发明能够有效地提取舌像的初始轮廓，从而提高舌像分割的准确率。

Description

多通道舌体边缘检测装置、方法及存储介质

技术领域

本发明涉及中医舌像处理的技术领域，尤其涉及一种多通道舌体边缘检测装置、方法及存储介质。

背景技术

在中医诊断过程中，主要通过“望、闻、问、切”进行确诊，而在“望诊”中，舌诊是非常重要的一部分，因为它能反映病症的很多本质。舌诊的应用范围很广，渗透到了医疗和保健领域的很多方面。自本世纪八十年代开始，各学科中医相关研究人员就致力于舌诊检测方法的研究，随着信息技术的发展，运用计算机视觉理论与图像识别技术，对传统的舌像信息进行计算机识别，建立舌像的计算机客观化识别方法成为当前研究的热点。

对舌像信息进行计算机识别，首先需要将舌体部分自动从原图中分割出来，然后再进行进一步的舌像色彩、纹理等信息的检测识别。然而，如何有效精准的将舌体部分自动从原图中分割出来，对后续舌像色彩、纹理等信息的有效检测识别起着至关重要的影响。因此，有必要提供一种有效的舌体分割算法对舌体图像进行舌体分割，提高舌体分割的准确率。

发明内容

本发明的主要目的在于提供一种基于多通道舌体边缘检测装置、方法及机存储介质，旨在解决现有技术对舌体分割的准确率不高的技术问题。

为实现上述目的，本发明提供一种多通道舌体边缘检测装置，包括适于实现各种计算机程序指令的处理器以及适于存储多条计算机程序指令的存储器，该所述计算机程序指令由处理器加载并执行如下步骤：获取需要舌体分割的舌体RGB图像；利用红色区域增强算法求取RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图；利用大津二值化法分别对R通道灰度增强图、H通道灰度图和V通道灰度图处理得分别到R通道增强二值图、H通道二值图和V通道二值图；分别对R通道增强二值图和H通道二值图的边缘点进行提取得到所有潜在的初始轮廓点；基于设定的代价函数对所有的潜在轮廓点进行遍历得到最优的初始轮廓点，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图；在初始轮廓二值图中将V通道二值图的白色区域及白色区域的上边、左边和右边的黑色区域去除得到最终轮廓二值图；基于最终轮廓二值图得到最终边缘点信息，并利用GVF-snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。

进一步地，所述红色区域增强算法具体实现公式如下：

其中，R、G、B分别代表为图像的红色通道灰度值、绿色通道灰度值、蓝色通道灰度值，I为R通道灰度增强图的灰度值。

进一步地，所述代价函数公式表示如下：

其中，N为所有边缘点的个数，E为当前遍历点的代价函数值，dis()为两个坐标点的欧式距离，pt为初始点，pt_i为当前遍历的边缘点，center为所有边缘点的中心点，abs()为绝对差公式，pt_sys_j为与当前遍历点的横坐标方向上与当前遍历点对称的所有边缘点。

进一步地，所述获取需要舌体分割的舌体RGB图像的步骤包括：通过所述多通道舌体边缘检测装置的图像采集设备从患者嘴部摄取清晰的舌体RGB图像；或者从所述存储器中获取需要舌体分割的舌体RGB图像。

另一方面，本发明还提供一种多通道舌体边缘检测方法，应用于多通道舌体边缘检测装置中，该多通道舌体边缘检测装置包括图像采集设备、存储器以及输出单元，该方法包括如下步骤：获取需要舌体分割的舌体RGB图像；利用红色区域增强算法求取RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图；利用大津二值化法分别对R通道灰度增强图、H通道灰度图和V通道灰度图处理得分别到R通道增强二值图、H通道二值图和V通道二值图；分别对R通道增强二值图和H通道二值图的边缘点进行提取得到所有潜在的初始轮廓点；基于设定的代价函数对所有的潜在轮廓点进行遍历得到最优的初始轮廓点，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图；在初始轮廓二值图中将V通道二值图的白色区域及白色区域的上边、左边和右边的黑色区域去除得到最终轮廓二值图；基于最终轮廓二值图得到最终边缘点信息，并利用GVF-snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。

进一步地，所述红色区域增强算法具体实现公式如下：

其中，R、G、B分别代表为图像的红色通道灰度值、绿色通道灰度值、蓝色通道灰度值，I为R通道灰度增强图的灰度值。

进一步地，所述代价函数公式表示如下：

其中，N为所有边缘点的个数，E为当前遍历点的代价函数值，dis()为两个坐标点的欧式距离，pt为初始点，pt_i为当前遍历的边缘点，center为所有边缘点的中心点，abs()为绝对差公式，pt_sys_j为与当前遍历点的横坐标方向上与当前遍历点对称的所有边缘点。

进一步地，所述获取需要舌体分割的舌体RGB图像的步骤包括：通过所述多通道舌体边缘检测装置的图像采集设备从患者嘴部摄取清晰的舌体RGB图像；或者从所述存储器中获取需要舌体分割的舌体RGB图像。

进一步地，所述的多通道舌体边缘检测方法还包括如下步骤：将舌体图像通过输出单元的显示屏分割出的舌体图像，通过输出单元的打印机打印舌体图像，或者将舌体图像通过通信网络发送至医生终端。

再一方面，本发明一种计算机可读存储介质，该计算机存储介质存储多条计算机程序指令，所述计算机程序指令由计算机装置的处理器加载并执行所述多通道舌体边缘检测方法。

相较于现有技术，由于初始轮廓描述的偏差会降低主动轮廓模型(snake)对舌体区域分割的准确率，本发明提出的多通道舌体边缘检测方法能够提高初始轮廓的准确率，从而提高整体舌体自动分割的准确率。对于基于主动轮廓模型的舌像分割算法，首先需要设定有效的初始轮廓才能达到预期的分割效果，本发明多通道舌体边缘检测方法可以有效地提取舌像的初始轮廓，从而提高舌像分割的准确率。为了得到一个较好的舌体边缘信息，本发明通过获取三种通道的灰度图片，然后用大津率二值算法(OTSU)将灰度图片转换为二值图片后分别对其边缘点进行提取，设定代价函数求出最优的边缘点轮廓信息，基于边缘点轮廓信息采用GVF-snake对舌体轮廓进行更进一步的拟合最终的舌体分割图像，从而提高舌体分割的准确率。

附图说明

图1是本发明多通道舌体边缘检测装置的优选实施例的方框示意图；

图2是本发明多通道舌体边缘检测方法优选实施例的流程图；

图3是从舌体图像提取R通道灰度增强图的示意图；

图4是从舌体图像提取H通道灰度图的示意图；

图5是从舌体图像提取V通道灰度图的示意图；

图6是从舌体图像提取舌体轮廓点并得到舌体分割图像的过程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明的具体实施方式、结构、特征及其功效，详细说明如下。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1所示，图1是本发明多通道舌体边缘检测装置的优选实施例的方框示意图。在本实施例中，所述多通道舌体边缘检测装置1安装有多通道舌体边缘检测系统10，所述多通道舌体边缘检测装置1可以为安装有多通道舌体边缘检测系统10的个人计算机、工作站计算机、中医四诊仪等具有数据处理功能和图像处理功能的计算机装置。

在本实施例中，所述多通道舌体边缘检测装置1包括，但不仅限于，多通道舌体边缘检测系统10、图像采集设备11、适于存储多条计算机程序指令的存储器12、执行各种计算机程序指令的处理器13以及输出单元14。所述图像采集设备11为一种至少包括步进电机和镜头的高清摄像装置，例如高清摄像机，用于从患者的舌体摄取包含舌体的舌面图像。所述存储器12可以为一种只读存储器ROM，随机存储器RAM、电可擦写存储器EEPROM、快闪存储器FLASH、磁盘或光盘等。所述处理器13为一种中央处理器(CPU)、微控制器(MCU)、数据处理芯片、或者具有数据处理功能的信息处理单元。所述输出单元14可以为一种用于显示舌体图像的显示屏，也可以为一种用于打印舌体图像的打印机。

在本实施例中，所述多通道舌体边缘检测系统10由多条计算机程序指令组成的程序模块组成，包括但不局限于，舌像获取模块101、舌像处理模块102、舌体轮廓提取模块103、舌体轮廓优化模块104和舌体分割模块105。本发明所称的模块是指一种能够被多通道舌体边缘检测装置1的处理器13执行并且能够完成固定功能的一系列计算机程序指令段，其存储在存储器12中，以下结合图2具体说明每一个模块的具体功能。

参考图2所示，是本发明多通道舌体边缘检测方法优选实施例的流程图。在本实施例中，所述多通道舌体边缘检测方法的各种方法步骤通过计算机软件程序来实现，该计算机软件程序以计算机程序指令的形式存储于计算机可读存储介质(例如存储器12)中，计算机可读存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等，所述计算机程序指令能够被处理器(例如处理器13)加载并执行如下步骤S21至步骤S27。

步骤S21，获取需要舌体分割的舌体RGB图像；在本实施例中，舌像获取模块101通过图像采集设备11从患者嘴部摄取清晰的舌体RGB图像。在其它实施例中，所述舌体RGB图像也可以预先存储在存储器12中，舌像获取模块101可以直接从存储器12中获取需要舌体分割的舌体RGB图像。

步骤S22，利用红色区域增强算法求取RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图。

由于舌体RGB图像(如图3中的a图所示)的边缘主要是红色，因此舌像处理模块102利用红色区域增强算法从舌体RGB图像中可以直接提取出R通道灰度增强图(如图3中的b图所示)，该红色区域增强算法基于蓝色通道减少了舌体与肤色对比度的原则，其具体实现公式如下：

在(1)中，R、G、B分别代表为图像的红色(Red)通道灰度值、绿色(Green)通道灰度值、蓝色(Blue)通道灰度值，I为R通道灰度增强图的灰度值。

在本实施例中，舌像处理模块102再将舌体RGB图像(如图4中的a图所示)转换成HSI图像，由于舌体RGB图像的舌体区域与肤色区域的色调存在一定差异，所以转换得到的HSI图像中的色调通道H的直方图存在双峰特性，可以将舌体和肤色区域分开出来，因此可以从HSI图像中提取出H通道灰度图(如图4中的b图所示)。

在本实施例中，舌像处理模块102然后将舌体RGB图像(如图5中的a图所示)转换成HSV图像，由于在嘴唇张开时舌体与嘴唇区域会有一部分阴影部分，由于V分量是颜色的明亮度，明亮度决定了彩色度的光强，是彩色光在量方面的度量，嘴唇与舌体中间部分的明亮度明显存在很大差异，为了有效将舌体与嘴唇区域区分开来，舌像处理模块102将舌体RGB图像转换成HSV图像，并从HSV图像中提取出V通道灰度图(如图5中的b图所示)。

步骤S23，利用大津二值化法分别对R通道灰度增强图、H通道灰度图和V通道灰度图处理得到各通道二值图；具体地，舌像处理模块102将经过增强后的R通道灰度增强图、HSI通道中H通道灰度图、HSV通道中V通道灰度图分别用大津率二值法(OTSU)求取二值化阈值得到各个通道的不同二值图，V通道得到的二值图进行反转得到的二值图，去掉肤色区域之外的区域最终得到的二值结果图，如图3中c图所示的R通道增强二值图、如图4中c图所示的H通道二值图、图5中c图所示的V通道二值图。在本实施例中，所述大津率二值法是一种现有技术的图像处理方法，即将256个亮度等级的灰度图像通过适当的阈值选取，使得所有小于该阈值的像素置为一个值，所有大于该阈值的像素置为另一个值，最终得到一张非黑即白的二值图像。

步骤S24，分别对R通道增强二值图和H通道二值图的边缘点进行提取得到所有潜在的初始轮廓点；舌体轮廓提取模块103分别对R通道增强二值图和H通道二值图按照左边从上到下、下边从左到右、右边从下到上的顺序依次提取这两幅二值图的边界的所有边缘点，得到如图6中的a图所示的所有边缘点的二值图，并将这些边缘点作为潜在的初始轮廓点。

步骤S25，基于设定的代价函数对所有的潜在轮廓点进行遍历得到最优的初始轮廓点(如图6中的b图所示)，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图(如图6中的c图所示)。为了得到一个更优的初始轮廓点信息，在本实施例中，舌体轮廓优化模块104通过设定的代价函数来寻找最优的边缘点路径，按照左边点从上到下、下边点从左到右、右边点从下到上的顺序将所有边缘点都遍历一遍，这里左边是指小于center中心点横坐标左边的点(即横坐标点值小于center横坐标的点)，下边是指center中心点纵坐标以下的点(即纵坐标值大于center纵坐标的点)，右边为center中心点横坐标右边的点(即横坐标值大于center横坐标的点)，center中心点坐标为所有边缘点的坐标平均值(如式2)，选取左边最上面的点为初始点，利用代价函数根据该点的位置按照左边点从上到下、下边点从左到右、右边点从下到上的顺序求取代价函数值，将代价函数值最小的点作为下一个初始点，以此顺序遍历所有点遍得到最终的初始轮廓点。在本实施例中，所述代价函数公式表示如下：

其中，N为所有边缘点的个数，E为当前遍历点的代价函数值，dis()为两个坐标点的欧式距离，pt为初始点，pt_i为当前遍历的边缘点，center为所有边缘点的中心点，abs()为绝对差公式，pt_sys_j为与当前遍历点的横坐标方向上与当前遍历点对称的所有边缘点，i为第i个遍历到的候选边缘点，j为与第i个遍历点相对中心点对称的第j个边缘点。

步骤S26，在初始轮廓二值图中将V通道二值图的白色区域及白色区域的上边、左边和右边的黑色区域去除得到最终轮廓二值图；在本实施例中，舌体轮廓优化模块104经过遍历后得到最优的边缘点信息，进行填充得到初始轮廓二值图，结合HSV通道中的明亮度V通道去除掉嘴唇区域及嘴唇与舌体中间部分的阴影部分，即去除掉V通道二值图中的白色区域以及白色区域左边、上边和右边的黑色区域，得到最终轮廓二值图(如图6中的d图所示)，从而得到初始轮廓边缘信息。

步骤S27，基于最终轮廓二值图得到最终边缘点信息，并利用GVF-snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。在本实施例中，所述舌体分割模块105基于最终轮廓二值图得到最终边缘点信息(如图6中的e图所示)，并利用基于梯度向量流-蛇模型(GVF-Snake)分割算法对最终边缘点信息进行处理得到最终的舌体分割图(如图6中的f图所示)。在本实施例中，所述GVF-snake分割算法为现有技术中的一种优化的Snake模型图像分割算法，能够针对有效对舌体轮廓进行精细分割处理得到最终的舌体分割图，由于是现有技术的图像分割算法，本实施例不作赘述。

此外，舌体分割模块105还将舌体图像通过输出单元14的显示屏分割出的舌体图像，或者通过打印机打印舌体图像，或者将舌体图像通过通信网络发送至医生终端，供医生通过患者的舌体图像诊断舌体的大小、形状、颜色、纹理、裂纹、胎质、以及有无齿痕等信息，从而辅助医生进行中医舌诊获得患者的健康状况。

本发明还一种计算机可读存储介质，该计算机可读存储介质存储多条计算机程序指令，所述计算机程序指令由计算机装置的处理器加载并执行本发明所述多通道舌体边缘检测方法。本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过相关程序指令完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

为了得到一个较好的舌体边缘信息，本发明所述多通道舌体边缘检测方法获取了三种通道的灰度图片，然后用大津率二值算法(OTSU)将灰度图片转换为二值图片后分别对其边缘点进行提取，设定代价函数求出最优的边缘点轮廓信息，基于边缘点轮廓信息采用GVF-snake对舌体轮廓进行更进一步的拟合最终的舌体分割图。

由于初始轮廓描述的偏差会降低主动轮廓模型(snake)对舌体区域分割的准确率，本发明提出的多通道舌体边缘检测方法能够提高初始轮廓的准确率，从而提高整体舌体自动分割的准确率。对于基于主动轮廓模型(snake)的舌像分割算法，首先需要设定有效的初始轮廓才能达到预期的分割效果，本发明多通道舌体边缘检测方法可以有效地提取舌像的初始轮廓，从而提高舌像分割的准确率。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种多通道舌体边缘检测装置，包括适于实现各种计算机程序指令的处理器以及适于存储多条计算机程序指令的存储器，其特征在于，该所述计算机程序指令由处理器加载并执行如下步骤：

获取需要舌体分割的舌体RGB图像；

利用红色区域增强算法求取RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图；

利用大津二值化法分别对R通道灰度增强图、H通道灰度图和V通道灰度图处理得分别到R通道增强二值图、H通道二值图和V通道二值图；

分别对R通道增强二值图和H通道二值图的边缘点进行提取得到所有潜在的初始轮廓点；

基于设定的代价函数对所有的潜在轮廓点进行遍历得到最优的初始轮廓点，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图；

在初始轮廓二值图中将V通道二值图的白色区域及白色区域的上边、左边和右边的黑色区域去除得到最终轮廓二值图；

基于最终轮廓二值图得到最终边缘点信息，并利用GVF-snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。

2.如权利要求1所述的多通道舌体边缘检测装置，其特征在于，所述红色区域增强算法具体实现公式如下：

其中，R、G、B分别代表为图像的红色通道灰度值、绿色通道灰度值、蓝色通道灰度值，I为R通道灰度增强图的灰度值。

3.如权利要求1所述的多通道舌体边缘检测装置，其特征在于，所述代价函数公式表示如下：

其中，N为所有边缘点的个数，E为当前遍历点的代价函数值，dis()为两个坐标点的欧式距离，pt为初始点，pt_i为当前遍历的边缘点，center为所有边缘点的中心点，abs()为绝对差公式，pt_sys_j为与当前遍历点的横坐标方向上与当前遍历点对称的所有边缘点。

4.如权利要求1所述的多通道舌体边缘检测装置，其特征在于，所述获取需要舌体分割的舌体RGB图像的步骤包括：

通过所述多通道舌体边缘检测装置的图像采集设备从患者嘴部摄取清晰的舌体RGB图像；或者

从所述存储器中获取需要舌体分割的舌体RGB图像。

5.一种多通道舌体边缘检测方法，应用于多通道舌体边缘检测装置中，该多通道舌体边缘检测装置包括图像采集设备、存储器以及输出单元，其特征在于，该方法包括如下步骤：

获取需要舌体分割的舌体RGB图像；

利用红色区域增强算法求取RGB图像的R通道灰度增强图，将RGB图像分别转化成HSI图像和HSV图像，从HSI图像中提取H通道灰度图，并从HSV图像中提取V通道灰度图；

利用大津二值化法分别对R通道灰度增强图、H通道灰度图和V通道灰度图处理得分别到R通道增强二值图、H通道二值图和V通道二值图；

分别对R通道增强二值图和H通道二值图的边缘点进行提取得到所有潜在的初始轮廓点；

基于设定的代价函数对所有的潜在轮廓点进行遍历得到最优的初始轮廓点，并对所有最优的初始轮廓点进行填充得到初始轮廓二值图；

在初始轮廓二值图中将V通道二值图的白色区域及白色区域的上边、左边和右边的黑色区域去除得到最终轮廓二值图；

基于最终轮廓二值图得到最终边缘点信息，并利用GVF-snake分割算法对最终边缘点信息进行处理得到最终的舌体分割图。

6.如权利要求5所述的多通道舌体边缘检测方法，其特征在于，所述红色区域增强算法具体实现公式如下：

其中，R、G、B分别代表为图像的红色通道灰度值、绿色通道灰度值、蓝色通道灰度值，I为R通道灰度增强图的灰度值。

7.如权利要求5所述的多通道舌体边缘检测方法，其特征在于，所述代价函数公式表示如下：

其中，N为所有边缘点的个数，E为当前遍历点的代价函数值，dis()为两个坐标点的欧式距离，pt为初始点，pt_i为当前遍历的边缘点，center为所有边缘点的中心点，abs()为绝对差公式，pt_sys_j为与当前遍历点的横坐标方向上与当前遍历点对称的所有边缘点。

8.如权利要求5所述的多通道舌体边缘检测方法，其特征在于，所述获取需要舌体分割的舌体RGB图像的步骤包括：

通过所述图像采集设备从患者嘴部摄取清晰的舌体RGB图像；或者

从所述存储器中获取需要舌体分割的舌体RGB图像。

9.如权利要求5所述的多通道舌体边缘检测方法，其特征在于，该方法还包括如下步骤：

将舌体图像通过输出单元的显示屏分割出的舌体图像，或者通过输出单元的打印机打印舌体图像，或者将舌体图像通过通信网络发送至医生终端。

10.一种计算机可读存储介质，该计算机可读存储介质存储多条计算机程序指令，其特征在于，所述计算机程序指令由计算机装置的处理器加载并执行如权利要求5至9任一项所述多通道舌体边缘检测方法。

Images