CN116012394A - 一种病理切片图像去笔迹的方法、设备及存储介质 - Google Patents
一种病理切片图像去笔迹的方法、设备及存储介质 Download PDFInfo
- Publication number
- CN116012394A CN116012394A CN202310041135.1A CN202310041135A CN116012394A CN 116012394 A CN116012394 A CN 116012394A CN 202310041135 A CN202310041135 A CN 202310041135A CN 116012394 A CN116012394 A CN 116012394A
- Authority
- CN
- China
- Prior art keywords
- handwriting
- color feature
- image
- map
- newmap
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开一种病理切片图像去笔迹的方法、设备及存储介质，该方法具体包括：S1：对病理切片进行扫描，获取WSI图像；S2：将WSI图像分成多个小图像块；S3：计算每个小图像块的颜色均值，获取平均颜色特征矩阵MAP；S4：对平均颜色特征矩阵MAP进行像素聚类；S5：对分类后的结果，根据先验知识找到含有笔迹的一类；对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap；将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节；S6：将所有小图像块合并成原始大小的WSI图像。本发明通过使用多种特征联合判断的方式，找到需要去除的笔迹区域，并通过颜色调比的方式，既去掉了笔迹，又保留了图像细节。
Description
技术领域
本发明属于计算机医学图像信息处理技术领域，具体涉及一种病理切片图像去笔迹的方法、设备及存储介质。
背景技术
随着科学技术的进步和发展，依靠病理医生在显微镜下诊断的传统方式面临多种问题，例如耗时耗力，受医生主观影响比较大等，这使自动化病理诊断大规模发展。近年来，使用数字扫描仪创建病理组织的切片图像(全切片数字化成像，WholeSlideImage,WSI)，使病理医生的阅片可以不受显微镜的限制，极大地提高了病理教学、病例讨论等方面的效率，也使得远程会诊、开发病理人工智能等成为可能，全切片数字化成像(WSI)的使用因此越来越广泛。WSI图像的数据量非常大，通常WSI图像包含上亿数量级的像素。
通过病理图像快速采集设备获得清晰的样本图像至关重要。病理切片数字化积累了大量的数据，是人工智能辅助病理诊断的重要前提，每天会有大量的样本被扫描。但是在使用过程中，也产生了一些问题，比如在载玻片的制备过程中，大量的玻片，医生在显微镜下使用记号笔进行了标记，这些标记也被扫描到WSI里面，对使用造成了巨大的困扰，这也制约了WSI的临床病理应用。
由于笔迹原因导致被舍弃的载玻片在很大程度上拖累了临床病理工作流程，因为这些载玻片均需要重新制作或重新扫描，从而导致延长病理诊断的时间，造成人力、物力的浪费。若直接使用该图像，则会对疾病检测、诊断和预后等任务的分类器的开发和验证造成不利的影响，对于基于深度学习和机器学习来说尤为明显。
发明内容
为了解决上述技术问题，本发明提出了一种病理切片图像去笔迹的方法、设备及存储介质。
为了达到上述目的，本发明的技术方案如下：
一方面，本发明公开一种病理切片图像去笔迹的方法，具体包括以下步骤：
S1：对病理切片进行扫描，获取WSI图像；
S2：将WSI图像分成多个小图像块；
S3：计算每个小图像块的颜色均值，获取平均颜色特征矩阵MAP；
S4：对平均颜色特征矩阵MAP进行像素聚类；
S5：对分类后的结果，根据先验知识找到含有笔迹的一类；
对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap；
将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节；
S6：将所有小图像块合并成原始大小的WSI图像。
在上述技术方案的基础上，还可做如下改进：
作为优选的方案，S3具体通过下式得到平均颜色特征矩阵MAP；
M(i，j)＝mean(block(i,j))；
其中：M(i，j)为第i行，第j列的小图像块的平均颜色特征矩阵；
block(i,j)为第i行，第j列的小图像块。
作为优选的方案，分类后的结果包括：背景和脂肪类、笔迹类以及正常组织类。
作为优选的方案，S5中“对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap”具体包括以下内容：
对于笔迹类的平均颜色特征矩阵Map中的每个像素，使用其邻域类的RGB三个通量的中值替代其原始值，得到新的颜色特征图newMap。
作为优选的方案，S5中“将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节”具体包括以下内容：
对于笔迹类的小图像块block(k,t)，找到对应的颜色特征图newMap中的颜色参数，计算每个通道的颜色调比因子；
Kr＝R(newMap(k，t))/mr；
Kg＝G(newMap(k，t))/mg；
Kb＝B(newMap(k，t))/mb；
其中：mr、mg、mb分别为RGB的均值；
使用上述调比因子，对笔迹类的小图像block(k,t)中的所有像素，进行颜色调比；
对任意一点P，其RGB三个通道像素值如下：
R(P)＝R(P)*Kr；
G(P)＝G(P)*Kg；
B(P)＝B(P)*Kb。
作为优选的方案，S6具体包括以下内容：将所有小图像块按序合并成原始大小的WSI图像。
此外，本发明还公开一种病理切片图像去笔迹的设备，包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于上述任一种病理切片图像去笔迹的方法。
此外，本发明还公开一种存储介质，存储介质存储一个或多个程序，一个或多个程序包括指令，指令适于由存储器加载并执行上述任一种病理切片图像去笔迹的方法。
本发明一种病理切片图像去笔迹的方法、设备及存储介质，通过使用多种特征联合判断的方式，找到需要去除的笔迹区域，并通过颜色调比的方式，既去掉了笔迹，又保留了图像细节。其具有以下有益效果：
第一，本发明采用多种特征组合判断的方式，从不同粒度去提取特征。
第二，本发明采用无监督的方法，无需进行额外标注。
第三，本发明利用宏观特征和微观特征进行判断，先通过宏观特征对小图像块进行分类，减小了运算量，再使用细节特征，确定为笔迹，最后进行去除。
综上述，本发明大大提高了病理图像的使用效率，使得病理图像被广泛应用变成可能，具有极高的临床意义。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的病理切片图像去笔迹的方法的流程图。
图2为本发明实施例提供的带有笔迹的WSI图像。
图3为本发明实施例提供的将WSI图像分成多个小图像块block的示意图。
图4为本发明实施例提供的由小图像块计算平均颜色特征矩阵MAP的示意图。
图5为本发明实施例提供的对平均颜色特征矩阵MAP进行像素聚类示意图。
图6为本发明实施例提供的颜色调比前后对比图；
图6(a)为颜色调比前示意图；
图6(b)为颜色调比后示意图。
图7为本发明实施例提供的去笔迹后的WSI图像。
具体实施方式
下面结合附图详细说明本发明的优选实施方式。
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。
另外，“包括”元件的表述是“开放式”表述，该“开放式”表述仅仅是指存在对应的部件或步骤，不应当解释为排除附加的部件或步骤。
为了达到本发明的目的，一种病理切片图像去笔迹的方法、设备及存储介质的其中一些实施例中，病理切片图像去笔迹的方法具体包括以下步骤，如图1所示：
S1：对病理切片进行扫描，获取WSI图像；
S2：将WSI图像分成多个小图像块block；
S3：计算每个小图像块的颜色均值，获取平均颜色特征矩阵MAP；
S4：对平均颜色特征矩阵MAP进行像素聚类；
S5：对分类后的结果，根据先验知识找到含有笔迹的一类；
对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap；
将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节；
S6：将所有小图像块合并成原始大小的WSI图像。
下面对每个步骤进行详细阐述。
S1：对病理切片进行扫描，获取WSI图像，如图2所示。
使用扫描仪对病理切片进行扫描，获取目标病理图片，WSI图像的数据量非常大，通常WSI图像包含上亿数量级的像素。因此，将其分成多个小图像块block，以方便处理。
S2：将WSI图像分成多个小图像块block，如图3所示。
如图2所示的WSI图像，其分辨率为115072*62765，以240个像素为步长，将其分成了461*262个小图像块block。
S3：计算每个小图像块的颜色均值，获取平均颜色特征矩阵MAP。
S3具体通过下式得到平均颜色特征矩阵MAP；
M(i，j)＝mean(block(i,j))；
其中：M(i，j)为第i行，第j列的小图像块的平均颜色特征矩阵；
block(i,j)为第i行，第j列的小图像块。
针对上一步得到所有的小图像块block，计算其RGB三个颜色通道的均值，并对应的将改值赋值给平均颜色特征图Map所对应的数值。如图4所示，可以获得一个461*261*3的平均颜色特征矩阵MAP。
S4：对平均颜色特征矩阵MAP进行像素聚类。
采用像素聚类方法，将平均颜色特征矩阵Map中的像素，无监督的分为了三类，别记为cluster1，cluster2，cluster3。
S5：对分类后的结果，根据先验知识找到含有笔迹的一类，如图5所示；
对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap；
将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节，如图6所示。
分类后的结果包括：背景和脂肪类、笔迹类以及正常组织类。
具体地，由于背景和脂肪，相对来说，物质比较少，整体会接近白色，因此，对于这三个分类，计算其RGB通量和最大的分类，则该分类为背景和脂肪组织。
对于剩下的两个cluster，从细节特征进行判断。各随机抽选10个bolok，分别计算两组图像的梯度矩阵，并计算方差。
含有由于含有笔迹的小图像块block相对于正常组织较模糊，故而方差较小。由此可选择出含有笔迹的这一类，记该类为cluster_pen。
对于笔迹类的平均颜色特征矩阵Map中的每个像素，使用其邻域类的RGB三个通量的中值替代其原始值，得到新的颜色特征图newMap。
对于笔迹类的小图像块block(k,t)，找到对应的颜色特征图newMap中的颜色参数，计算每个通道的颜色调比因子；
Kr＝R(newMap(k，t))/mr；
Kg＝G(newMap(k，t))/mg；
Kb＝B(newMap(k，t))/mb；
其中：mr、mg、mb分别为RGB的均值；
使用上述调比因子，对笔迹类的小图像block(k,t)中的所有像素，进行颜色调比；
对任意一点P，其RGB三个通道像素值如下：
R(P)＝R(P)*Kr；
G(P)＝G(P)*Kg；
B(P)＝B(P)*Kb。
S6：将所有小图像块合并成原始大小的WSI图像，如图7所示。
S6具体包括以下内容：根据小图像块的编号，将所有小图像块按序合并成原始大小的WSI图像。
此外，本发明实施例还公开一种病理切片图像去笔迹的设备，包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于上述任一实施例公开的病理切片图像去笔迹的方法。
此外，本发明实施例还公开一种存储介质，存储介质存储一个或多个程序，一个或多个程序包括指令，指令适于由存储器加载并执行上述任一实施例公开的病理切片图像去笔迹的方法。
本发明一种病理切片图像去笔迹的方法、设备及存储介质，通过使用多种特征联合判断的方式，找到需要去除的笔迹区域，并通过颜色调比的方式，既去掉了笔迹，又保留了图像细节。其具有以下有益效果：
第一，本发明采用多种特征组合判断的方式，从不同粒度去提取特征。
第二，本发明采用无监督的方法，无需进行额外标注。
第三，本发明利用宏观特征和微观特征进行判断，先通过宏观特征对小图像块进行分类，减小了运算量，再使用细节特征，确定为笔迹，最后进行去除。
综上述，本发明大大提高了病理图像的使用效率，使得病理图像被广泛应用变成可能，具有极高的临床意义。
以上多种实施方式可交叉并行实现。
应当理解，这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被该机器执行时，该机器变成实践本发明的设备。
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (8)
1.一种病理切片图像去笔迹的方法，其特征在于，具体包括以下步骤：
S1：对病理切片进行扫描，获取WSI图像；
S2：将WSI图像分成多个小图像块；
S3：计算每个小图像块的颜色均值，获取平均颜色特征矩阵MAP；
S4：对平均颜色特征矩阵MAP进行像素聚类；
S5：对分类后的结果，根据先验知识找到含有笔迹的一类；
对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap；
将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节；
S6：将所有小图像块合并成原始大小的WSI图像。
2.根据权利要求1所述的方法，其特征在于，S3具体通过下式得到平均颜色特征矩阵MAP；
M(i，j)＝mean(block(i,j))；
其中：M(i，j)为第i行，第j列的小图像块的平均颜色特征矩阵；
block(i,j)为第i行，第j列的小图像块。
3.根据权利要求1所述的方法，其特征在于，S5中，分类后的结果包括：背景和脂肪类、笔迹类以及正常组织类。
4.根据权利要求1所述的方法，其特征在于，S5中“对于笔迹类的平均颜色特征矩阵Map，更新其RGB值，得到新的颜色特征图newMap”具体包括以下内容：
对于笔迹类的平均颜色特征矩阵Map中的每个像素，使用其邻域类的RGB三个通量的中值替代其原始值，得到新的颜色特征图newMap。
5.根据权利要求1所述的方法，其特征在于，S5中“将确定的笔迹类的小图像块，根据新的颜色特征图newMap，进行颜色调比，去除笔迹，保留原始图像细节”具体包括以下内容：
对于笔迹类的小图像块block(k,t)，找到对应的颜色特征图newMap中的颜色参数，计算每个通道的颜色调比因子；
Kr＝R(newMap(k，t))/mr；
Kg＝G(newMap(k，t))/mg；
Kb＝B(newMap(k，t))/mb；
其中：mr、mg、mb分别为RGB的均值；
使用上述调比因子，对笔迹类的小图像block(k,t)中的所有像素，进行颜色调比；
对任意一点P，其RGB三个通道像素值如下：
R(P)＝R(P)*Kr；
G(P)＝G(P)*Kg；
B(P)＝B(P)*Kb。
6.根据权利要求1所述的方法，其特征在于，S6具体包括以下内容：将所有小图像块按序合并成原始大小的WSI图像。
7.一种病理切片图像去笔迹的设备，其特征在于，包括：
一个或多个处理器；
存储器；
以及一个或多个程序，其中所述一个或多个程序存储在所述存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括用于上述权利要求1-6中任一所述的病理切片图像去笔迹的方法。
8.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，一个或多个所述程序包括指令，所述指令适于由存储器加载并执行上述权利要求1-6中任一所述的病理切片图像去笔迹的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310041135.1A CN116012394A (zh) | 2023-01-13 | 2023-01-13 | 一种病理切片图像去笔迹的方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310041135.1A CN116012394A (zh) | 2023-01-13 | 2023-01-13 | 一种病理切片图像去笔迹的方法、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116012394A true CN116012394A (zh) | 2023-04-25 |
Family
ID=86019134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310041135.1A Pending CN116012394A (zh) | 2023-01-13 | 2023-01-13 | 一种病理切片图像去笔迹的方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116012394A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934635A (zh) * | 2023-09-18 | 2023-10-24 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
| CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
| CN117456544A (zh) * | 2023-12-25 | 2024-01-26 | 苏州可帮基因科技有限公司 | 带笔迹病理图像的修复方法及设备 |
-
2023
- 2023-01-13 CN CN202310041135.1A patent/CN116012394A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116934635A (zh) * | 2023-09-18 | 2023-10-24 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
| CN116934635B (zh) * | 2023-09-18 | 2023-12-12 | 苏州可帮基因科技有限公司 | 基于图像处理技术的病理图像质控方法及设备 |
| CN117392693A (zh) * | 2023-12-11 | 2024-01-12 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
| CN117392693B (zh) * | 2023-12-11 | 2024-03-01 | 苏州可帮基因科技有限公司 | 病理图像去笔迹的方法及设备 |
| CN117456544A (zh) * | 2023-12-25 | 2024-01-26 | 苏州可帮基因科技有限公司 | 带笔迹病理图像的修复方法及设备 |
| CN117456544B (zh) * | 2023-12-25 | 2024-03-15 | 苏州可帮基因科技有限公司 | 带笔迹病理图像的修复方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116012394A (zh) | 一种病理切片图像去笔迹的方法、设备及存储介质 | |
| US20230419696A1 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
| CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
| CN109741346B (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| Kothari et al. | Pathology imaging informatics for quantitative analysis of whole-slide images | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| US8073189B2 (en) | Methods and systems for selecting an image application based on image content | |
| WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| JP2007510199A (ja) | 自動顕微鏡スライド組織サンプルマッピング及び画像取得 | |
| CN105760874A (zh) | 面向尘肺的ct图像处理系统及其ct图像处理方法 | |
| CN111144271B (zh) | 一种内镜下自动识别活检部位及活检数量的方法及系统 | |
| CN111583201B (zh) | 一种用于构建超分辨率病理显微镜的迁移学习方法 | |
| Zhang et al. | Dual encoder fusion u-net (defu-net) for cross-manufacturer chest x-ray segmentation | |
| CN110223279A (zh) | 一种图像处理方法和装置、电子设备 | |
| CN112348059A (zh) | 基于深度学习的多种染色病理图像分类方法及系统 | |
| CN115063592B (zh) | 一种基于多尺度的全扫描病理特征融合提取方法及系统 | |
| JP2023517058A (ja) | 画像処理に基づく腫瘍の自動検出 | |
| CN110728666A (zh) | 基于数字病理玻片进行慢性鼻窦炎的分型方法及其系统 | |
| Shakhawat et al. | Review of artifact detection methods for automated analysis and diagnosis in digital pathology | |
| Dickscheid et al. | Towards 3D reconstruction of neuronal cell distributions from histological human brain sections | |
| CN113643263A (zh) | 一种上肢骨定位与前臂骨融合畸形的识别方法及系统 | |
| CN114066850A (zh) | 一种基于分类框架的图像二值化方法 | |
| CN113222009A (zh) | 一种基于甲状腺超声视频估算结节纵横比的方法 | |
| CN117788934A (zh) | 一种医学图像分析方法、系统、存储介质及终端 | |
| CN113053521B (zh) | 基于深度学习的头颈鳞癌淋巴结转移癌诊断辅助识别系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |