CN115187852A

CN115187852A - 一种藏医尿诊悬浮物识别方法及装置

Info

Publication number: CN115187852A
Application number: CN202210859399.3A
Authority: CN
Inventors: 杜兆威; 张云; 刘勇国; 朱嘉静; 李巧勤
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2022-07-21
Filing date: 2022-07-21
Publication date: 2022-10-14
Also published as: ZA202209770B

Abstract

本发明公开一种藏医尿诊悬浮物识别方法及装置，应用于图像处理领域，针对现有的尿液悬浮物识别结果可解释性差的问题，本发明首先采用了杯体检测分割以及液面提取矫正的方法，使模型只关注图像中部区域，减少了对无效区域的滑动扫描运算，提高模型效率；其次在液面区域中利用间隔采样进行rgb色值过滤，以及子区域划分方式进行纹理特征值过滤，高效率地对有无悬浮物进行了前置判断，减少了大多数图像进入卷积神经网络进行运算的过程；最后通过RGB间隔采样以及定义悬浮物扰动评价参数的方式，显示的表达了悬浮物的判断过程，提高了模型的可解释性。

Description

一种藏医尿诊悬浮物识别方法及装置

技术领域

本发明属于图像处理领域，特别涉及一种藏医尿诊悬浮物识别技术及装置。

背景技术

尿诊是藏医最具特色的传统诊断手段之一。纵观世界的各种传统医药，藏医尿诊是描述最为细致的一种诊断方法，包括观察尿色、尿的蒸汽、气味、漂浮物、悬浮物、尿质的稀稠等，以及搅动尿液以察看尿液气泡变化。尿诊是藏族对饮食物在体内的消化和转变的独特认识和长期在高原环境实践下总结出的一套诊断体系。早在公元八世纪形成的藏医巨著《四部医典·尿诊》记载，尿液中沉淀的戈雅(沉淀物)来自肝脏血液和胆汁，可判断寒热疾病。在临床上尿液中沉淀的戈雅(沉淀物)厚度或稀薄多少可判断肝脏血液和胆汁的代谢变化，通过戈雅(沉淀物)的变化能推断隆、赤巴、培根的增盛或紊乱。

尿诊主要使用“三时九诊”辨尿诊病法，三时即观察尿液在冷却过程中的三个阶段，按尿液冷却的不同时间分为热尿期、温尿期、凉尿期。九诊为每一时期所具体观察的内容，即第一阶段观察尿色、蒸汽、气味、泡沫；第二个阶段观察悬浮物及漂浮物；第三阶段观察尿液的变化时间与变化情形，以及变化后的色泽。从上述几点来判断证型疾病以辅助医生进一步开方治疗。其中悬浮物的状态是尿诊过程的一个重要特征。悬浮物通常分为毛状、乳酪状、马尾毛状、云状、脓液状、细沙状。

目前有研究将机器学习算法应用到液体的杂质识别。姚等人提出一种基于特征分类的液体杂质识别方法(姚康,杨平,马士青.一种基于特征分类的液体内杂质检测方法[J].半导体光电,2019,40(05):719-725)，主要包括双边滤波预处理图像、改进的多尺度小波变换检测目标边缘和挑选目标特征，用于识别液体中的杂质。

现有技术中液体杂质识别是通过算法得到气泡与杂质在图像中的多处位置信息。而对于藏医尿诊中悬浮物识别这一任务来讲，上述方法存在如下缺陷：

1)尿液中的悬浮物通常集中在尿液图像中部，这就意味着背景技术中的兴趣区域扫描过程是冗余的，效率较低；

2)实际尿液图像中存在悬浮物的病例比例较小，远远低于液体中出现气泡与杂质的概率，这就意味着如果每一张图片都经过背景技术的完整计算过程，那么平均得到一条悬浮物类别有效信息所需消耗的算力就远远高于实际存在悬浮物的图片所需算力；

3)在杂质识别的应用场景中，只关心杂质识别的准确性即可；而在尿诊的场景下，不仅关心结果的准确性，还要兼顾模型可解释性，以便于增强结果的说服力以及病理解释。

发明内容

为解决上述技术问题，本发明提出一种藏医尿诊悬浮物识别方法及装置，实现尿诊悬浮物识别的客观化，降低了平均单张图像识别时间，同时也一定程度表现了悬浮物判断的过程，提升了模型可解释性，有助于悬浮物辨识流程的传承和解释。

本发明采用的技术方案之一为：一种藏医尿诊悬浮物识别方法，包括：

S1、尿液图像采集；尿液使用统一的方形塑料透明杯子进行盛装；

S2、杯体检测分割；

S3、对经步骤S2处理后的图像进行液面提取矫正；

S4、对经步骤S3处理后的图像进行rgb色值过滤；

S5、对经步骤S4处理后的图像进行纹理特征提取；

S6、对经步骤S5处理后的图像进行纹理特征值过滤；

S7、对经步骤S6处理后的图像进行轮廓特征提取；

S8、根据步骤S3液面矫正后的图像、步骤S5提取的纹理特征、以及步骤S7提取的轮廓特征，进行悬浮物识别。

本发明采用的技术方案之二为：一种藏医尿诊悬浮物识别装置，包括：尿液图像采集模块、杯体检测分割模块、液面提取矫正模块、第一过滤模块、第一特征提取模块、第二过滤模块、第二特征提取模块、悬浮物识别模块；所述尿液图像采集模块用于采集盛装在统一的方形塑料透明杯子中的尿液图像；杯体检测分割模块用于去除尿液图像采集模块的输出结果杯体之外的无效信息；液面提取矫正模块根据杯体检测分割模块的输出进行目标区域拉伸，得到正方形杯口图像液面区域；第一过滤模块对液面提取矫正模块的输出结果滤除尿液中无悬浮物的图像；第一特征提取模块对第一过滤模块的输出结果提取纹理特征；第二过滤模块对第一特征提取模块提取的纹理特征进行过滤；第二特征提取模块用于对第二过滤模块的输出结果进行边缘检测得到二值化特征图；悬浮物识别模块根据第一特征模块的输出结果、液面矫正模块的输出结果、第二特征提取模块的输出结果进行悬浮物识别。

本发明的有益效果：本发明首先采用了杯体检测分割以及液面提取矫正的方法，使模型只关注图像中部区域，减少了对无效区域的滑动扫描运算，提高模型效率；其次在液面区域中利用间隔采样进行rgb色值过滤，以及子区域划分方式进行纹理特征值过滤，高效率地对有无悬浮物进行了前置判断，减少了大多数图像进入卷积神经网络进行运算的过程；最后通过RGB间隔采样以及定义悬浮物扰动评价参数的方式，显式地表达了悬浮物的判断过程，提高了模型的可解释性。RGB间隔采样的色值方差显式地表示了尿液图像中央区域含悬浮物的可能性，也同时符合临床上对悬浮物分布情况的特征判断点；悬浮物扰动评价参数同时也显式地表示了尿液图像中含悬浮物的可能性，也符合临床上对马尾毛状和云状等悬浮物的纹理描述，同时也将纹理特征抽取，保留至后续分类识别中使用，相较于直接使用神经网络的端到端模型的不可解释性，本发明的方法更符合临床路径具有可解释性。

附图说明

图1为网络模型整体框架；

图2为液面提取矫正的过程；

其中，(a)为杯体分割前的尿液画面；(b)为通过标记图将对应的原图部分赋值给新建的空白图，分割得到目标区域；(c)为将目标区域进行拉伸，得到正方形杯口图像液面区域；

图3为子区域划分示意图；

图4为网络结构示意图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

本发明包含尿液图像采集、杯体分割、液面提取矫正、RGB色值分析及纹理特征分析滤出样例，最后使用卷积神经网络模型对未滤出样例进行悬浮物类别的自动识别。本发明技术方案整体框架如图1所示，具体步骤如下：

1.尿液图像采集

使用统一的方形塑料透明杯子，防止圆形杯体产生的放大镜效果对结果产生不利影响。使用统一的手持拍摄装置，防止同环境下照片质量产生较大差异。拍摄距离要求：杯体与摄像头距离20-30厘米内。将尿液样本放在白色A4纸上俯拍，横向拍摄，让液面处在图像中央，完成图像采集。

此外，剔除拍摄角度不正确或者较模糊的采集图像、有强烈反光或杯体被污染(杯体外部沾有尿液或有其他记号涂写等)的采集图像以及尿量少于容器1/5和多于4/5的采集图像。

2.杯体检测分割

在所拍摄图像中，尿液画面往往在中部且只占有图像的一部分，尿液杯口外围皆为无效信息，如图2(a)所示，为了得到液面区域，首先对图像中的杯体进行检测分割。采用模版图辅助修正的轮廓提取方法实现对杯体的检测分割，模版图是指拍摄角度以及规范绝对标准的样例图片，具体如下：

1)将模版图和样本图进行高斯滤波，消除图像噪声。高斯滤波是通过3×3的高斯滤波器对目标图像进行滤波，滤波器的各个坐标位置的数值由以下公式得出：

其中，(n,m)为点坐标，在图像处理中可认为是整数，σ是标准差。

2)将模版图和样本图进行USM锐化，通过增强图像的高频部分的内容，提升图像的视觉效果，增强图像的清晰度，强化图像的轮廓与边缘，表示如下：

y(n,m)＝x(n,m)+λz(n,m)

其中，x(n,m)为输入图像，y(n,m)为输出图像，λ是用于控制增强效果的一个缩放因子，z(n,m)为校正信号，一般是通过高通滤波获取：

z(n,m)＝4x(n,m)-x(n-1,m)-x(n+1,m)-x(n,m-1)-x(n,m+1)

3)将模版图和样本图转化为灰度图，按照如下公式转化对应像素：

Gray＝0.1140*Blue+0.5870*Green+0.2989*Red

其中，Blue、Green、Red分别对应原始RGB图像中的不同通道的像素值。

4)利用拉普拉斯二阶微分算子将上述转换为灰度图后的模版图和样本图进行锐化，强调图像的边缘和细节，提高对比度，算子如下公式表示：

5)将上一步锐化后的模版图和样本图进行二值化，即像素值大于设定的阈值就为1，小于为0，则图像就只剩轮廓线条，用于后续的轮廓匹配。

6)利用模版图(A)和样本图(B)二值化后的图像进行轮廓匹配，寻找匹配值最小的轮廓，轮廓匹配值定义如下：

其中，H代表由图像生成的Hu不变矩，包含利用二阶和三阶归一化中心矩构造的7个不变矩，i用于表示Hu不变矩的序号，i＝0,1,2,3,4,5,6，||表示绝对值运算。

选择匹配值最小的轮廓，如图2(b)所示，将匹配值最小的轮廓内部填充标记，通过标记图将对应的原始样本图部分赋值给新建的空白图，分割得到目标区域。

3.液面提取矫正

为消除拍摄所带来的畸变效应，将上述目标区域进行拉伸，得到正方形杯口图像液面区域X，如图2(c)所示。

4.rgb色值过滤

结合尿诊临床中悬浮物出现位置、颜色特征与临床尿诊判别流程，悬浮物通常出现在尿液中部区域且多为白色不透明状或黑色杂质，即悬浮物颜色与尿液通常的颜色值范围差别较大且在中央区域离散分布，则采用以下步骤进行判别：

1)在X域内按照参数sample_interval_x、sample_interval_y为间隔，在Red、Green、Blue三个通道图像上进行平均采样，得到平均RGB色值。sample_interval_x、sample_interval_y均为超参数，分别表示在横、纵坐标方向的采样间隔；一般设为10。

2)为了滤除光线的影响，将RGB颜色空间映射到HSV颜色空间，将HSV颜色空间中的明度分量调到最高，再反向转换回RGB颜色空间。

3)根据调整过后各采样点的RGB色值计算方差σ，设置方差阈值θ，如果尿液中无悬浮物对图像色彩进行扰动，则σ<θ，即视为尿液中无悬浮物，滤出该图像，反之，σ>θ则视为尿液中有悬浮物，继续步骤5。θ一般取值为30。

5.纹理特征提取

结合尿诊临床表现与临床尿诊判别流程，悬浮物表现为毛状、乳酪状、马尾毛状、云状、脓液状、细沙状等，具有丰富的纹理特征，准确的提取纹理特征，不光能为悬浮物类型间的判别提供帮助，同时也是判断中央区域悬浮物存在与否的基础，采用以下步骤进行纹理特征提取：

1)首先将液面区域X划分为5行5列的25个子区域，如图3所示，并用横纵坐标表示每个子区域。

2)采用LBP算法对位于中央区域的(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)、(3,1)、(3,2)、(3,3)子区域转化，得到转化后的特征图如下：

LBP_(1,1),LBP_(1,2),LBP_(1,3),LBP_(2,1),LBP_(2,2),LBP_(2,3),LBP_(3,1),LBP_(3,2),LBP_(3,3)

考虑到悬浮物一般出现在中央区域，本步骤通过采用LBP算法对位于中央区域的9个子区域进行转化，避免了边缘区域有杯口、泡沫等因素的干扰。

3)将特征图LBP_(i,j)划分为16×16的网格；

4)对于每个网格中的一个像素，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数。

5)计算每个网格的直方图，即每个数字出现的频率；然后对该直方图进行归一化处理。

6)将得到的每个网格的统计直方图进行连接成为一个特征向量，得到中央的9个子区域各自的特征向量组成的特征向量组如下：

f_(1,1),f_(1,2),f_(1,3),f_(2,1),f_(2,2),f_(2,3),f_(3,1),f_(3,2),f_(3,3)

6.纹理特征值过滤

结合尿诊临床表现与临床尿诊判别流程，悬浮物有多种纹理丰富的类别，而悬浮物一般处于图像中央区域，则通过定义浮物扰动评价参数τ来判断图像中央是否存在纹理丰富边缘信息丰富的子块，即可显式判断有无悬浮物，则按如下步骤进行过滤操作：

1)根据纹理特征定义悬浮物扰动评价参数τ如下：

其中，d(·,·)表示欧氏几何距离：

2)设置阈值ω，如果尿液中无悬浮物对图像色彩进行扰动，则τ<ω，即视为尿液中无悬浮物滤出该图像，反之，τ>ω则视为尿液中有悬浮物，继续步骤7；ω一般取值为0.01。

7.轮廓特征提取

采用Canny算子对尿液图像做边缘检测得到二值化特征图X_canny。

8.悬浮物识别模型构建

将待识别的尿液图像经步骤3得到的液面区域X的RGB图像中不同颜色通道图X_r、X_g、X_b以及步骤5中转化后的子区域特征图LBP_(i,j)(i＝1,2,3,j＝1,2,3)和步骤7中二值化特征图X_canny共计13张特征图作为卷积神经网络的输入进行悬浮物识别；

卷积神经网络训练时，是利用带有已知标签(由经验丰富的临床医生提供藏医学上正确的悬浮物类别，包括毛状、乳酪状、马尾毛状、云状、脓液状、细沙状等标签)的“步骤3得到的液面区域X的RGB图像中不同颜色通道图X_r、X_g、X_b以及步骤5中转化后的子区域特征图LBP_(i,j)(i＝1,2,3,j＝1,2,3)和步骤7中二值化特征图X_canny共计13张特征图”图像数据训练网络模型,模型包括第一卷积单元、第二卷积单元、第三卷积单元和全连接层，第一、二卷积单元包括卷积层、局部响应归一化层和最大池化层，第三卷积单元包括三个卷积层和最大池化层，参数设置如图4所示：

第一卷积单元中的卷积层尺寸为11*11，步长为4，通道数位96，采用的激活函数为ReLU；其最大池化层的尺寸为3*3，步长为2；

第二卷积单元中的卷积层尺寸为5*5，步长为1，通道数为256，采用的激活函数为ReLU；其最大池化层的尺寸为3*3，步长为2；

第三卷积单元中的第一个与第二个卷积层尺寸均为3*3，步长均为1，通道数均为384，采用的激活函数均为ReLU；第三个卷积层尺寸为3*3，步长为1，通道数位256，采用的激活函数为ReLU；其最大池化层的尺寸为3*3，步长为2；

共包括三个全连接层，第一个、第二个全连接层中神经元均为4096个，采用的激活函数均为ReLU；第三个全连接层中的神经元个数为6个。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种藏医尿诊悬浮物识别方法，其特征在于，包括：

S1、尿液图像采集；

S2、对采集到的尿液图像进行杯体检测分割，得到目标区域；

S3、对目标区域进行液面提取矫正；具体的：将目标区域进行拉伸，得到正方形杯口图像液面区域；

S4、对液面区域进行rgb色值过滤；

S5、对经步骤S4处理后的图像进行纹理特征提取；

S6、对经步骤S5处理后的图像进行纹理特征值过滤；

S7、对经步骤S6处理后的图像进行轮廓特征提取；

2.根据权利要求1所述的一种藏医尿诊悬浮物识别方法，其特征在于，采集过程为：尿液样本使用统一的方形塑料透明杯子，将尿液样本放在白色A4纸上俯拍，横向拍摄，让液面处在图像中央，完成图像采集。

3.根据权利要求2所述的一种藏医尿诊悬浮物识别方法，其特征在于，采用模版图辅助修正的轮廓提取方法实现对杯体的检测分割，所述模版图为拍摄角度以及规范绝对标准的样例图片，具体分割过程包括如下步骤：

S21、将模版图和样本图进行高斯滤波，消除图像噪声；

S22、将经步骤S21处理后的模版图和样本图进行USM锐化，通过增强图像的高频部分的内容，增强图像的清晰度，强化图像的轮廓与边缘；

S23、将经步骤S22处理后的模版图和样本图转化为灰度图；

S24、利用拉普拉斯二阶微分算子将转换为灰度图后的模版图和样本图进行锐化；

S25、将锐化后的模版图和样本图进行二值化；

S26、利用模版图和样本图二值化后的图像进行轮廓匹配，寻找匹配值最小的轮廓；

S27、将匹配值最小的轮廓内部填充标记，通过标记图将对应的原始样本图部分赋值给新建的空白图，分割得到目标区域。

4.根据权利要求3所述的一种藏医尿诊悬浮物识别方法，其特征在于，步骤S26中轮廓的匹配值计算式为：

其中，A用于表示模版图二值化后的图像，B表示样本图二值化后的图像，

为由A生成的第i个Hu不变矩，

为由B生成的第i个Hu不变矩，i＝0,1,2,3,4,5,6，||表示绝对值运算。

5.根据权利要求4所述的一种藏医尿诊悬浮物识别方法，其特征在于，步骤S4具体包括以下分步骤：

S41、在步骤S3得到的液面区域内按照参数sample_interval_x、sample_interval_y为间隔，在Red、Green、Blue三个通道图像上进行平均采样，得到平均RGB色值；

S42、将RGB颜色空间映射到HSV颜色空间，将HSV颜色空间中的明度分量调到最高，再反向转换回RGB颜色空间；

S43、根据调整过后各采样点的RGB色值计算方差σ，设置方差阈值θ，如果σ＜θ，即视为尿液中无悬浮物，滤出该图像，反之，视为尿液中有悬浮物。

6.根据权利要求5所述的一种藏医尿诊悬浮物识别方法，其特征在于，步骤S5具体包括以下分步骤：

S51、将经步骤S4得到的液面区域划分为5行5列的25个子区域，并用横纵坐标表示每个子区域，坐标从(0,0)到(4,4)；

S52、采用LBP算法对位于中央坐标为(1,1)、(1,2)、(1,3)、(2,1)、(2,2)、(2,3)、(3,1)、(3,2)、(3,3)的子区域进行转化，得到转化后的特征图如下：

S53、将转化后的每张特征图划分为16×16的网格；

S54、对于每个网格中的一个像素点，将相邻的8个像素点的灰度值与其进行比较，若这相邻的8个像素点的灰度值大于这个像素点的灰度值，则该像素点的位置被标记为1，否则为0；

S55、计算每个网格的直方图；然后对该直方图进行归一化处理；

S56、将得到的每个网格的统计直方图进行连接成为一个特征向量。

7.根据权利要求6所述的一种藏医尿诊悬浮物识别方法，其特征在于，步骤S6具体包括以下分步骤：

S61、根据纹理特征定义悬浮物扰动评价参数τ如下：

式中，d(·,·)表示欧氏几何距离；

S62、设置阈值ω，如果τ＜ω，即视为尿液中无悬浮物滤出该图像，反之，则视为尿液中有悬浮物。

8.根据权利要求7所述的一种藏医尿诊悬浮物识别方法，其特征在于，步骤S8具体为：

S81、构建卷积神经网络；所述卷积神经网络包括：第一卷积单元、第二卷积单元、第三卷积单元和全连接单元；第一、二卷积单元均包括一个卷积层、一个局部响应归一化层和一个最大池化层；第三卷积单元包括三个卷积层和一个最大池化层；全连接单元包括三个全连接层；

S82、将步骤S3得到的液面区域的RGB图像中不同颜色通道图、步骤S5中转化后的各子区域特征图和步骤S7中二值化特征图一起作为卷积神经网络的输入；得到悬浮物的识别结果。

9.一种藏医尿诊悬浮物识别装置，其特征在于，包括：尿液图像采集模块、杯体检测分割模块、液面提取矫正模块、第一过滤模块、第一特征提取模块、第二过滤模块、第二特征提取模块、悬浮物识别模块；

所述尿液图像采集模块用于采集盛装在统一的方形塑料透明杯子中的尿液图像；杯体检测分割模块用于去除尿液图像采集模块的输出结果中杯体之外的无效信息；液面提取矫正模块根据杯体检测分割模块的输出进行目标区域拉伸，得到正方形杯口图像液面区域；第一过滤模块对液面提取矫正模块的输出结果进行滤除尿液中无悬浮物的图像；第一特征提取模块对第一过滤模块的输出结果提取纹理特征；第二过滤模块对第一特征提取模块提取的纹理特征进行过滤；第二特征提取模块用于对第二过滤模块的输出结果进行边缘检测得到二值化特征图；悬浮物识别模块根据第一特征模块的输出结果、液面矫正模块的输出结果、第二特征提取模块的输出结果进行悬浮物识别。