CN113344860B - 胃黏膜染色放大图像微结构的异常程度量化方法 - Google Patents

Abstract

本发明公开了一种胃黏膜染色放大图像微结构的异常程度量化方法。该方法包括图像分割法、密度法、单位面积法、质心偏心距法、分布对称性法。图像分割法用于提取胃镜图像中的清晰区域和微结构整图；密度法用于计算微结构整图密度；单位面积法用于计算每根微结构所占面积；质心偏心距法用于计算微结构整图等效质心相对于清晰区域形心的偏移距离；分布对称性法用于量化微结构四象限对称性。最终通过对微结构密度、微结构单位面积、微结构质心偏心距、微结构分布对称性进行加权获得微结构异常程度系数，而后根据微结构异常程度系数对微结构异常程度等级进行判定。

Description

胃黏膜染色放大图像微结构的异常程度量化方法

技术领域

本发明涉及医学领域图像处理技术领域，具体涉及一种胃黏膜染色放大图像微结构的异常程度量化方法。

背景技术

胃癌是最常见的消化道恶性肿瘤之一，为世界第三大致死性恶性肿瘤。2015年，我国胃癌发病人数达到40万，死亡人数接近30万，严重危害人民生命健康。胃癌危害人类健康的根本原因是不能早期发现。色素内镜的问世，使早癌期胃癌的内镜诊断方法确立。放大胃镜与电子染色内镜联合应用，能够观察到普通胃镜无法观察的微小血管结构及黏膜表面微细结构，为内镜下诊断早期胃癌提供了条件。病灶内镜下微结构是早期胃癌诊断的重要参考。

八尾建史在其V·S分型理论中指出，微结构(microsurface，MS)信息是放大内镜下早期胃癌诊断的重要参考指标。规则的MS表现为隐窝边缘上皮(marginal cryptepithelium，MCE)结构的形态为弯曲或椭圆形，呈均一的形状、对称分布、规则排列。不规则的MS表现为MCE的形态为弯曲或椭圆形，或在少数情况下为绒毛状，呈形状不均、分布不对称、排列不规则。但微结构形状是否均一，分布是否呈对称性等理论，均为内镜医师基于早癌诊断经验的定性描述或经验总结，并未针对各项描述给出定量化计算方法和相应结论，具有很强的主观性，学习困难。

发明内容

本发明的目的在于针对现有技术的不足，而提供一种胃黏膜染色放大图像微结构的异常程度量化方法，适用于大批量胃部微结构异常程度量化，便于胃部微结构形态的判断，具有高可靠性，可为内镜医生从微结构异常程度角度做早期胃癌诊断时提供强有力的数据支持。

为实现上述目的，本发明提供了一种胃粘膜染色放大成像的微结构异常程度量化方法，其特征在于：所述的微结构异常程度量化方法包含如下步骤：

胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述的早期胃癌诊断方法包含微结构整图密度计算方法，单位微结构面积计算方法、微结构整图质心偏心距计算方法，微结构分布对称性计算方法。具体包含以下步骤：

S1：输入待量化的胃黏膜染色放大成像原图，并采用深度学习分割模型，从原图中提取清晰区域图像；

S2：采用深度学习分割模型，从清晰区域图像提取微结构整图以及清晰区域蒙版图；

S3：通过微结构整图面积与清晰区域蒙版面积计算微结构密度；

S4：在连通域基础上获得微结构数量，通过步骤S3计算的微结构整图面积计算单位微结构面积；

S5：在连通域基础上计算每根微结构的质心、每根微结构的面积，从而计算出微结构整图等效质心，通过欧式距离求得微结构整图的质心偏心距；

S6：在连通域的基础上计算清晰区域蒙版图的形心，并以此形心将整个清晰区域分为四个象限。分别从微结构子图密度角度，微结构子图偏心角角度，微结构子图偏心距角度量化微结构分布对称性；

S7：对步骤S3-S6所求四项量化指标进行加权拟合获得微结构异常程度系数，进而根据阈值区间给出微结构异常程度等级判定结果。

进一步的，S1中采用训练好的U-Net++分割模型从图像分割方法获取胃镜图像中提取清晰区域。

进一步的，S2中采用训练好D-LinkNet模型，从步骤S1所得取清晰区域图像中分割出微结构整图。

进一步的，S3中，微结构密度计算方法，通过numpy逻辑运算处理清晰区域mask_clear掩码和微结构整图mask_W掩码进而求得微结构密度score₁；微结构密度计算方式为

score₁＝sum(mask_clear∩mask_W)/sum(mask_clear)，

其中mask_clear为全是“1”的m×n的矩阵，mask_W为包含“0”和“1”的m×n的矩阵，“∩”为numpy工具包逻辑与操作。

进一步的，S4中，单位微结构面积计算方法，在连通域的基础上，获得微结构整图面积和微结构数目，进而获得单位微结构面积score₂；计算方式为

其中area_i为第i根微结构面积，N为微结构整图中微结构总数目。

进一步的，S5中，微结构质心偏心距计算方法，计算微结构整图质心偏心距score₃，具体实施步骤如下：

S5.1：在连通域基础上，获取每根微结构质心(x_i,y_i)及每根微结构面积area_i；

S5.2：对步骤S5.1中所得每根微结构质心进行加权从而计算出所有微结构等效质心坐标P_i(x_i,y_i)，计算公式为

S5.3：通过步骤S5.2所得微结构整图等效质心从而计算出微结构整图质心偏心距，计算公式

其中，W为清晰区域外接矩形宽，H为清晰区域外接矩形高。

进一步的，S6中，微结构分布对称性计算方法，计算微结构分布对称性score₄，具体实施步骤如下：

S6.1：在连通域基础上，计算出清晰区域的形心并以此形心将整个清晰区域划分为四个象限；

S6.2：按照步骤S3计算微结构密度的方法计算微结构四象限子图密度ρ₁，ρ₂，ρ₃，ρ₄，然后从ρ₁，ρ₂，ρ₃，ρ₄中任选两项，若|ρ_i-ρ_j|≥δ₁则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_1}；

S6.3：按照步骤S5计算微结构质心偏心距的方法计算微结构四象限子图质心偏心距d₁，d₂，d₃，d₄，然后从d₁，d₂，d₃，d₄中任选两项，若|d_i-d_j|≥δ₂则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_2}；

S6.4：计算微结构四象限子图质心偏心角θ₁，θ₂，θ₃，θ₄，计算公式为

其中，W为微结构子图宽，H为微结构子图高；

然后从θ₁，θ₂，θ₃，θ₄中任选两项，若|θ_i-θ_j|≥δ₃则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_3}；

S6.5：对score_{4_1}，score_{4_2}，score_{4_3}进行加权，加权公式为

score₄＝α₁·score_{4_1}+α₂·score_{4_2}+α₃·score_{4_3}，

其中α₁+α₂+α₃＝1，本发明中α₁＝0.4，α₂＝0.4，α₃＝0.2；

进一步的，S7中，计算微结构异常程度系数τ，并进行微结构异常程度等级判定。对score₁，score₂，score₃，score₄进行加权拟合，最终微结构异常程度系数计算公式为：

τ＝λ₁·score₁+λ₂·score₂+λ₃·score₃+λ₄·score₄，

其中λ₁+λ₂+λ₃+λ₄＝1，本发明中λ₁＝0.4，λ₂＝0.3，λ₃＝0.2，λ₄＝0.1。

根据所得微结构异常程度系数τ，对微结构异常程度等级进行判定，当微结构异常程度系数τ≤0.44时，微结构为正常；当微结构异常程度系数0.44＜τ≤1.27时微结构呈一般异常；当微结构异常程度系数τ＞1.27时，微结构严重异常，即

本发明的优点及有益效果如下：

本发明提出使用图像分割法、密度法、单位面积法、质心偏心距法、分布对称性法来量化微结构异常程度，通过开发通用的且可重复的程序，提供半自动和自动图像分析，对微结构异常程度进行量化，可协助内镜医师提高胃早癌分析和诊断的可靠性和准确率。本发明根据胃部微结构形态结构，计算微结构密度、单位微结构面积、微结构质心偏心距、微结构分布对称性，获得微结构异常程度系数，最终给出与内镜医师诊断匹配度较高的微结构异常程度判定区间。本方法在整个计算过程可实现全自动化，极大的提高了量化过程的迅捷性并保证有很高的可靠性。

附图说明

图1为本发明的胃部微结构异常程度量化方法的实施示意图。

图2为本发明的胃部微结构异常程度量化的建立方法示意图。

图3为本发明的微结构整图连通域示意图。

图4为本发明的微结构四象限子图质心偏心距分布示意图。

图5为本发明的微结构四象限子图质心偏心角分布示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步详细阐述。

请参照图1，本发明提出的胃黏膜染色放大图像微结构的异常程度量化方法的实施示意图。如图1所示，本发明胃黏膜染色放大图像微结构的异常程度量化方法，包含微结构密度计算方法，单位微结构面积计算方法，微结构质心偏心距计算方法，微结构分布对称性计算方法。

请参照图2，其以本发明提出的胃黏膜染色放大图像微结构的异常程度量化方法的实施例为例，示意本发明中通过胃部微结构异常程度量化方法流程的建立，具体包含以下步骤#1-步骤#10。

步骤S1采用训练好的U-Net++分割模型从图像分割方法获取胃镜图像中提取清晰区域。

步骤S2采用采用训练好D-LinkNet模型，从步骤S1所得取清晰区域图像中分割出微结构整图。

步骤S3微结构密度计算方法，通过numpy逻辑运算处理清晰区域mask_clear掩码和微结构整图mask_W掩码进而求得微结构密度score₁；微结构密度计算方式为

score₁＝sum(mask_clear∩mask_W)/sum(mask_clear)，

其中mask_clear为全是“1”的m×n的矩阵，mask_W为包含“0”和“1”的m×n的矩阵，“∩”为numpy工具包逻辑与操作。

步骤S4如图3所示，在连通域的基础上，获得微结构整图面积和微结构数目，进而获得单位微结构面积score₂，计算方式为

其中area_i为第i根微结构面积，N为微结构整图中微结构总数目。

步骤S5微结构整图质心偏心距score₃，具体实施步骤如下：

S5.1：在连通域基础上，获取每根微结构质心(x_i,y_i)及每根微结构面积area_i；

S5.2：对步骤S5.1中所得每根微结构质心进行加权从而计算出所有微结构等效质心坐标P_i(x_i,y_i)，计算公式为

S5.3：通过步骤S5.2所得微结构整图等效质心从而计算出微结构整图质心偏心距，计算公式

其中，W为清晰区域外接矩形宽，H为清晰区域外接矩形高。

步骤S6计算微结构分布对称性score₄，具体实施步骤如下：

S6.1：在连通域基础上，计算出清晰区域的形心并以此形心将整个清晰区域划分为四个象限；

S6.2：按照步骤S3计算微结构密度的方法计算微结构四象限子图密度ρ₁，ρ₂，ρ₃，ρ₄，然后从ρ₁，ρ₂，ρ₃，ρ₄中任选两项，若|ρ_i-ρ_j|≥δ₁则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_1}；

S6.3：按照步骤S5计算微结构质心偏心距的方法计算微结构四象限子图质心偏心距d₁，d₂，d₃，d₄，如图4所示。然后从d₁，d₂，d₃，d₄中任选两项，若|d_i-d_j|≥δ₂则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_2}；

S6.4：计算微结构四象限子图质心偏心角θ₁，θ₂，θ₃，θ₄，如图5所示，计算公式为

其中，W为微结构子图宽，H为微结构子图高；

然后从θ₁，θ₂，θ₃，θ₄中任选两项，若|θ_i-θ_j|≥δ₃则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_3}；

S6.5：对score_{4_1}，score_{4_2}，score_{4_3}进行加权，加权公式为

score₄＝α₁·score_{4_1}+α₂·score_{4_2}+α₃·score_{4_3}，

其中α₁+α₂+α₃＝1，本发明中α₁＝0.4，α₂＝0.4，α₃＝0.2。

步骤S7计算微结构异常程度系数τ，并进行微结构异常程度等级判定。对score₁，score₂，score₃，score₄进行加权拟合，最终微结构异常程度系数计算公式为：

τ＝λ₁·score₁+λ₂·score₂+λ₃·score₃+λ₄·score₄，

其中λ₁+λ₂+λ₃+λ₄＝1，本发明中λ₁＝0.4，λ₂＝0.3，λ₃＝0.2，λ₄＝0.1。

根据所得微结构异常程度系数τ，对微结构异常程度等级进行判定，当微结构异常程度系数τ≤0.44时，微结构为正常；当微结构异常程度系数0.44＜τ≤1.27时微结构呈一般异常；当微结构异常程度系数τ＞1.27时，微结构严重异常，即

Claims (7)

1.一种胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：该方法包括图像分割法、密度法、单位面积法、质心偏心距法和分布对称性法，具体包含以下步骤：

S1：输入待量化的胃黏膜染色放大成像原图，并采用深度学习分割模型，从原图中提取清晰区域图像；

S2：采用深度学习分割模型，从清晰区域图像提取微结构整图以及清晰区域蒙版图；

S3：通过微结构整图面积与清晰区域蒙版面积计算微结构密度；

S4：在连通域基础上获得微结构数量，通过步骤S3计算的微结构整图面积计算单位微结构面积；

S5：在连通域基础上计算每根微结构的质心、每根微结构的面积，从而计算出微结构整图等效质心，通过欧式距离求得微结构整图的质心偏心距；

S6：在连通域的基础上计算清晰区域蒙版图的形心，并以此形心将整个清晰区域分为四个象限；分别从微结构子图密度角度，微结构子图偏心角角度，微结构子图偏心距角度量化微结构分布对称性；

S7：对步骤S3-S6所求四项量化指标进行加权拟合获得微结构异常程度系数，进而根据阈值区间给出微结构异常程度等级判定结果；

所述步骤S6中，微结构分布对称性计算方法，计算微结构分布对称性score₄，具体实施步骤如下：

S6.1：在连通域基础上，计算出清晰区域的形心并以此形心将整个清晰区域划分为四个象限；

S6.2：按照步骤S3计算微结构密度的方法计算微结构四象限子图密度ρ₁，ρ₂，ρ₃，ρ₄，然后从ρ₁，ρ₂，ρ₃，ρ₄中任选两项，若|ρ_i-ρ_j|≥δ₁则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_1}；

S6.3：按照步骤S5计算微结构质心偏心距的方法计算微结构四象限子图质心偏心距d₁，d₂，d₃，d₄，然后从d₁，d₂，d₃，d₄中任选两项，若|d_i-d_j|≥δ₂则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_2}；

S6.4：计算微结构四象限子图质心偏心角θ₁，θ₂，θ₃，θ₄，计算公式为：

其中，W为微结构子图宽，H为微结构子图高；

然后从θ₁，θ₂，θ₃，θ₄中任选两项，若|θ_i-θ_j|≥δ₃则获得0.1分，若6种情况皆对称得0分，若6种情况皆不对称得0.6分，此项最终得分score_{4_3}；

S6.5：对score_{4_1}，score_{4_2}，score_{4_3}进行加权，加权公式为：

score₄＝α₁·score_{4_1}+α₂·score_{4_2}+α₃·score_{4_3}，

其中α₁+α₂+α₃＝1，其中α₁＝0.4，α₂＝0.4，α₃＝0.2。

2.根据权利要求1所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S1中采用训练好的U-Net++分割模型从图像分割方法获取胃镜图像中提取清晰区域。

3.根据权利要求2所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S2中采用训练好D-LinkNet模型，从步骤S1所得取清晰区域图像中分割出微结构整图。

4.根据权利要求3所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S3中，微结构密度计算方法，通过numpy逻辑运算处理清晰区域mask_clear掩码和微结构整图mask_W掩码进而求得微结构密度score₁；微结构密度计算方式为：

score₁＝sum(mask_clear∩mask_W)/sum(mask_clear)，

其中mask_clear为全是“1”的m×n的矩阵，mask_W为包含“0”和“1”的m×n的矩阵，“∩”为numpy工具包逻辑与操作。

5.根据权利要求4所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S4中，单位微结构面积计算方法，在连通域的基础上，获得微结构整图面积和微结构数目，进而获得单位微结构面积score₂，计算方式为：

其中area_i为第i根微结构面积，N为微结构整图中微结构总数目。

6.根据权利要求5所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S5中，微结构质心偏心距计算方法，计算微结构整图质心偏心距score₃，具体实施步骤如下：

S5.1：在连通域基础上，获取每根微结构质心(x_i,y_i)及每根微结构面积area_i；

S5.2：对步骤S5.1中所得每根微结构质心进行加权从而计算出所有微结构等效质心坐标P_i(x_i,y_i)，计算公式为

S5.3：通过步骤S5.2所得微结构整图等效质心从而计算出微结构整图质心偏心距，计算公式

其中，W为清晰区域外接矩形宽，H为清晰区域外接矩形高。

7.根据权利要求6所述的胃黏膜染色放大图像微结构的异常程度量化方法，其特征在于：所述步骤S7中，计算微结构异常程度系数τ，并进行微结构异常程度等级判定；对score₁，score₂，score₃，score₄进行加权拟合，最终微结构异常程度系数计算公式为：

τ＝λ₁·score₁+λ₂·score₂+λ₃·score₃+λ₄·score₄，

其中λ₁+λ₂+λ₃+λ₄＝1，其中λ₁＝0.4，λ₂＝0.3，λ₃＝0.2，λ₄＝0.1；

根据所得微结构异常程度系数τ，对微结构异常程度等级进行判定，当微结构异常程度系数τ≤0.44时，微结构为正常；当微结构异常程度系数0.44＜τ≤1.27时微结构呈一般异常；当微结构异常程度系数τ＞1.27时，微结构严重异常，即

Images