CN111754537A - 一种病理组织图像的处理方法、装置及存储介质 - Google Patents
一种病理组织图像的处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111754537A CN111754537A CN202010545456.1A CN202010545456A CN111754537A CN 111754537 A CN111754537 A CN 111754537A CN 202010545456 A CN202010545456 A CN 202010545456A CN 111754537 A CN111754537 A CN 111754537A
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- sub
- pathological
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 183
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 61
- 230000011218 segmentation Effects 0.000 claims abstract description 32
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000013528 artificial neural network Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 19
- 238000011176 pooling Methods 0.000 claims description 15
- 230000036961 partial effect Effects 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000005260 corrosion Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims 1
- 210000001519 tissue Anatomy 0.000 description 148
- 206010060862 Prostate cancer Diseases 0.000 description 8
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010606 normalization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004043 dyeing Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种病理组织图像的处理方法、装置及存储介质。方法包括：获得病理组织的切片图像；通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。利用图像转换以及灰度化后的阈值分割处理能够比较彻底将切片图像中除病理组织之外的背景滤除，获得滤除后的图像，这样利用滤除后的图像就可以得到比较准确分级。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种病理组织图像的处理方法、装置及存储介质。
背景技术
对病理组织进行分级能够帮助医生了解患者的情况，以便医生能够更好的针对患者的情况设定治疗方案。
目前，可以先将病理组织的图像中的一些非病理组织滤除，比如采用图像处理的方式对病理组织和非病理组织进行识别，再采用机器学习的方式处理图像，以对病理组织进行分级。但是目前的滤除方式不能很彻底或者很准确的将病理组织的图像中所有非病理组织全部滤除，从而会影响后续对病理组织分级的准确率。
发明内容
本申请实施例的目的在于提供一种病理组织图像的处理方法、装置及存储介质，用以实现彻底的将除病理组织以外的部分滤除，以提高后续对病理组织分级的准确率。
第一方面，本申请实施例提供了一种病理组织图像的处理方法，所述方法包括：获得病理组织的切片图像；通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。利用图像转换以及灰度化后的阈值分割处理能够非常彻底将切片图像中除病理组织之外的背景滤除，获得滤除后的图像，这样利用滤除后的图像来进行分级就可以得到比较准确分级准确率。
在本申请实施例中，利用图像转换以及灰度化后的阈值分割处理能够比较彻底将切片图像中除病理组织之外的背景滤除，获得滤除后的图像，这样利用滤除后的图像就可以得到比较准确分级。
结合第一方面，在第一种可能的实现方式中，通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像，包括：通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中的物理标记滤除，获得初步过滤的图像；通过阈值分割处理，将所述初步过滤的图像中除所述病理组织以外的非病理组织滤除，获得所述滤除后的图像。
在本申请实施例中，配合图像转换以及灰度化后的阈值分割处理，能够将图像中的物理标记凸显出来，从而将图像中的物理标记滤除，进而实现比较彻底将切片图像中除病理组织之外的背景滤除。
结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，通过阈值分割处理，将所述初步过滤的图像中除所述病理组织以外的非病理组织滤除，获得所述滤除后的图像，包括：通过灰度化以及自适应阈值分割处理，在所述初步过滤的图像中确定出除所述病理组织以外的非病理组织，从而对应在所述切片图像中将所述非病理组织滤除，获得初步过滤的图像。
在本申请实施例中，由于不同的切片图像中非病理组织的颜色不一定相同，故采用自适应阈值分割处理能够针对不同颜色的非病理组织，自适应的确定出合理的阈值，以实现准确的图像分割。
结合第一方面的第一种可能的实现方式，在第三种可能的实现方式中，通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中的物理标记滤除，获得初步过滤的图像，包括：对所述切片图像进行灰度化处理，获得灰度图像，并通过阈值分割处理，在所述灰度图像中确定出一部分物理标记；对所述切片图像进行图像转换处理，获得HSV图像，并从所述HSV图像中确定出另一部分物理标记；对应在所述切片图像中将所述一部分物理标记和所述另一部分物理标记滤除，获得所述滤除后的图像。
在本申请实施例中，通过将切片图像进行图像转换成HSV图像，其可以使得一部分物理标记从图像中凸显出来，从而实现对另一部分物理标记的准确滤除。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，从所述HSV图像中确定出另一部分物理标记，包括：确定出所述HSV图像中像素值与所述物理标记的像素值匹配的区域；对所述区域进行腐蚀处理，获得腐蚀后的区域；对所述腐蚀后的区域进行膨胀处理，获得膨胀后的区域，其中，所述膨胀后的区域即表征所述另一部分物理标记。
在本申请实施例中，在转换成HSV图像时，HSV图像有一些凸显的小区域并不是物理标记，故通过腐蚀将这部分小区域滤除可以避免误判断。
结合第一方面，在第五种可能的实现方式中，在获得滤除后的图像之后，所述方法的还包括：利用预设的神经网络处理所述滤除后的图像，以获得所述病理组织的分级。
在本申请实施例中，由于滤除后的图像只剩下了病理组织，这样通过神经网络对滤除后的图像进行处理，则可以准确的病理组织进行分级。
结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，利用预设的神经网络处理所述滤除后的图像，以获得所述病理组织的分级，包括：将所述滤除后的图像分割成M张子图像，其中，M为大于1的整数；将所述M张子图像中不包含所述病理组织以及画面模糊的子图像删除，获得N张子图像，N为大于等于1且小于等于M的整数；利用所述神经网络处理所述N张子图像，获得所述病理组织的分级。
在本申请实施例中，由于滤除后的图像只剩下了病理组织，则使得图像还包括大量的空白区域。通过将这些不包含病理组织的空白区域以及画面模糊的子图像删除，可以确保输入到神经网络中子图像都是高质量的病理组织图像，从而进一步提高了分级的准确度。
结合第一方面的第六种可能的实现方式，在第七种可能的实现方式中，利用所述神经网络处理所述N张子图像，获得所述病理组织的分级，包括：利用所述神经网络对所述N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述N张子图像中每张子图像所包含的部分病理组织的分级；根据N个部分病理组织的分级，确定出所述病理组织的分级。
在本申请实施例中，通过卷积与深度可分离卷积配合，能够尽可能多的提取出信息，以确保分级的准确性。
第二方面，本申请实施例提供了一种病理组织图像的处理方法，所述方法包括：获得病理组织的切片图像；利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
在本申请实施例中，通过卷积与深度可分离卷积配合，能够尽可能多的提取出信息，以确保分级的准确性。
结合第二方面，在第一种可能的实现方式中，利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级，包括：将所述切片图像分割成M张子图像，其中，M为大于1的整数；将所述M张子图像中画面模糊的子图像删除，获得N张子图像，N为大于等于1且小于等于M的整数；利用所述神经网络对所述N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述N张子图像中每张子图像所包含的部分病理组织的分级；根据N个部分病理组织的分级，确定出所述病理组织的分级。
在本申请实施例中，通过将画面模糊的子图像删除，可以确保输入到神经网络中子图像都是高质量的病理组织图像，从而进一步提高了分级的准确度。
第三方面，本申请实施例提供了一种病理组织图像的处理装置，所述装置包括：图像获取模块，用于获得病理组织的切片图像；图像处理模块，用于通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。
第四方面，本申请实施例提供了一种病理组织图像的处理装置，所述装置包括：图像获取模块，用于获得病理组织的切片图像；图像处理模块，用于利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
第五方面，本申请实施例提供了一种非易失计算机可读储存介质，存储有程序代码，当所述程序代码被计算机运行时执行如第一方面或第一方面的任一种可能的实现方式所述的病理组织图像的处理方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种病理组织图像的处理方法的第一流程图；
图2为本申请实施例提供的一种病理组织图像的处理方法的第一应用场景图；
图3为本申请实施例提供的一种病理组织图像的处理方法的第二应用场景图；
图4为本申请实施例提供的一种病理组织图像的处理方法的第三应用场景图；
图5为本申请实施例提供的一种病理组织图像的处理方法的第二流程图；
图6为本申请实施例提供的一种病理组织图像的处理方法的第四应用场景图；
图7为本申请实施例提供的一种病理组织图像的处理方法中网络的结构框图；
图8为本申请实施例提供的一种病理组织图像的处理方法中可分离深度采样层的结构框图；
图9为本申请实施例提供的一种病理组织图像的处理方法的第三流程图；
图10为本申请实施例提供的一种病理组织图像的处理方法的第四流程图；
图11为本申请实施例提供的一种电子设备的结构框图；
图12为本申请实施例提供的一种病理组织图像的处理装置的结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参阅图1，本申请实施例提供了一种病理组织图像的处理方法，病理组织图像的处理方法可以由电子设备比如终端或者服务器执行，该病理组织图像的处理方法的流程可以包括：
步骤S100：获得病理组织的切片图像。
步骤S200：通过图像转换以及灰度化后的阈值分割处理，将该切片图像中除该病理组织之外的背景滤除，获得滤除后的图像。
下面将结合实际示例，对上述流程进行详细说明。
步骤S100：获得病理组织的切片图像。
用户(在本实施例的场景中，用户可以是医护人员或者也可以是研究人员)可以使用扫描仪对病理组织的切片进行扫描，比如在40X的倍率下对病理组织的切片进行扫描，选取0.625X作为处理倍率，从而获得病理组织的切片图像。其中，病理组织可以是癌症组织，比如前列腺癌组织、肺癌组织、肝癌组织等。
步骤S200：通过图像转换以及灰度化后的阈值分割处理，将该切片图像中除该病理组织之外的背景滤除，获得滤除后的图像。
在切片图像中，其不仅包含病理组织，其还包含非病理组织，以及还包含医护人员在切片上勾画的物理标记。因此，需要将物理标记从切片图像中滤除，使得切片图像只包含病理组织。
作为将常组织以及物理标记从切片图像中滤除的示例性方式，电子设备先通过图像转换以及灰度化后的阈值分割处理，将切片图像中的物理标记滤除，获得初步过滤的图像。电子设备再通过灰度化后的阈值分割处理，将初步过滤的图像中除病理组织以外的非病理组织滤除，获得初步过滤的图像。
具体来说，电子设备可以对切片图像进行灰度化处理，从而获得灰度图像。由于物理标记的颜色是相对固定的，比如呈蓝色或者黑色，故电子设备可以采用预设阈值的方式来进行滤除。比如，电子设备可以利用预设的阈值例如为100，确定出灰度图像中像素值小于阈值的区域，并将确定出的区域进行略微的等比缩小例如等比缩小到80％，缩小后的区域即是灰度图像中一部分物理标记所在的区域，即确定了一部分物理标记。由于确定出了一部分物理标记在灰度图像中的所在区域，电子设备便可对应在切片图像中确定出呈黑色的一部分物理标记的所在区域。
比如，图2所示，通过对切片图像进行灰度化处理，获得的灰度图像可以如图2所示。显然，在图2所示的图像中，除了物理标记B外，其它元素都成呈一个颜色，这样物理标记B便能够被准确的确定出。
此外，电子设备还可以对切片图像进行图像转换，将切片图像从RGB图像转换成HSV图像。需要说明的是，由于利用图像转换来进行滤除的另一部分物理标记在RGB图像中呈蓝色，故将切片图像转换成HSV图像时，需要确保HSV图像中H通道的值大于等于200且小于260，S通道的值大于等于0.392且小于1，而V通道的值大于等于0.196且小于1，从而使得HSV图像中蓝色的区域能够被更加明显的凸显出来。
获得HSV图像后，电子设备可以将HSV图像中各像素点的像素值与预设的物理标记的像素值匹配，从而确定出HSV图像中像素值与该物理标记的像素值匹配的区域，该区域即是HSV图像中明显呈蓝色的区域。
在确定出匹配的区域后，作为一种方式，电子设备可以直接将该匹配的区域作为是另一部分物理标记的所在区域，从而对应在切片图像中也确定出呈蓝色的另一部分物理标记的所在区域。
而作为另一种方式，由于在HSV图像中，由于另一部分物理标记是比较集中的，故一些残杂的小区域虽然也呈蓝色，但其并不是物理标记，为避免将这些残杂的小区域误判断成另一部分物理标记，在确定出匹配的区域后，电子设备可以对匹配的区域进行腐蚀处理，获得腐蚀后的区域。这样，残杂的小区域便通过腐蚀被滤除。而电子设备再以与腐蚀处理时相同的尺度，对腐蚀后的区域进行膨胀处理，获得膨胀后的区域，该膨胀后的区域即表征另一部分物理标记。利用该膨胀后的区域，电子设备便对应在切片图像中确定出呈蓝色的另一部分物理标记的所在区域。
比如，图3所示，通过对切片图像进行转换处理，获得的HSV图像可以如图3所示。显然，在图3所示的图像中，除了物理标记C外，其它元素都成呈一个颜色，这样物理标记C也能够被准确的确定出。
经过前述流程，电子设备已经确定出了两部分物理标记各自的所在区域，那么电子设备便可以在切片图像中将一部分物理标记以及另一部分物理标记滤除，从而获得初步过滤的图像。
当然，电子设备也可以在确定出一部分物理标记时便将其在切片图像中滤除，或者在确定出另一部分物理标记时便也将其在切片图像中滤除，无需等待至所有物理标记都确定出后才进行滤除。
在获得初步过滤的图像后，电子设备对初步过滤的图像先进行灰度化处理，获得灰度化的图像。再在灰度化的图像的基础上进行自适应阈值分割处理，比如采用大津算法自动计算出灰度化的图像的自适应阈值，将灰度化的图像中像素值大于自适应阈值的像素点认为是非病理组织。这样，通过统计像素值大于自适应阈值的像素点所构成的区域，便可以确定出灰度化的图像中除病理组织以外的非病理组织的所在区域，即表示确定出非病理组织。由于确定出了非病理组织在灰度化的图像中的所在区域，电子设备便可对应在初步过滤的图像中确定出非病理组织的所在区域，从而在非病理组织中将非病理组织滤除，获得初步过滤的图像。
比如，图4所示，在确定并滤除物理标记B和C之后，可以在初步过滤的图像确定出非病理组织，即确定出图4中A区域以外的区域，然后再将其滤除。
本实施例中，如图5所示，在执行步骤S100以及S200之后，电子设备还可以执行步骤S300来对病理组织候选区域进行处理，以获得该病理组织的分级。
步骤S300：利用预设的神经网络处理所述病理组织候选区域，以获得病理组织的分级。
为实现更好的处理效果，电子设备可以先将滤除后的图像进行分割，再利于训练好的神经网络处理该分割后的各子图像，并基于各子图像各自的处理结果来整体确定出该病理组织的分级。
具体的，电子设备可以采用滑动窗的方式将滤除后的图像分割成M张子图像，其中，M为大于1的整数，比如实际中M可以为384，即将滤除后的图像分割成384张子图像，每张子图像的选取倍率为20X，以便于神经网络的处理。
由于在滤除后的图像中除了病理组织外还有空白的背景区域，该空白的背景区域则使得分割得到M张子图像后，M张子图像中有些子图像不包含病理组织。将这些不包含病理组织的子图像输入到神经网络中不仅对最终得到的结果没有帮助，还会增加网络的负荷，故在利用神经网络处理前需要将不包含病理组织的子图像剔除。
具体的，包含不包含病理组织的子图像有两种情况，第一种情况是子图像几乎仅包含空白的背景，第二种情况是子图像虽然包含了一些病理组织，但病理组织提供的信息量太少，故也认为其不包含病理组织。
针对第一种情况，电子设备可以对M张子图像中的每张子图像进行灰度化处理，获得每张子灰度图像。针对每张子灰度图像，电子设备可以计算出该子灰度图像中像素值小于预设的像素下限值的像素点构成的区域，比如计算像素值小于180的像素点构成的区域，该区域即是该子灰度图像中包含病理组织的区域；电子设备再确定出该区域与该子灰度图像的比例，若该比例小于预设的比例下限值，比如小于0.05，则认为该子灰度图像几乎仅包含空白背景，从而可以将该子灰度图像对应的子图像从M张子图像中删除，反之，则保留。
针对第二种情况，针对M张子图像中的每张子图像，电子设备可以计算该子图像中所有像素点像素值的标准差，以及电子设备还可以利用预设Tenengrad评价函数，计算该子图像中所有像素点像素值的Tenengrad得分。最后，电子设备判断该标准差是否小于预设的标准差下限，比如判断标准差是否小于7，以及判断Tenengrad得分是否小于预设的得分下限，比如判断Tenengrad得分是否小于1。若标准差小于标准差下限且Tenengrad得分也小于得分下限，则说明子图像中病理组织提供的信息量太少，故将该子图像删除，反之，则保留。
此外，在M张子图像中可能有些子图像画面比较模糊，这些画面模糊的子图像输入到神经网络中反而会影响结果的准确性，因此，在将不包含所述病理组织剔除的同时，电子设备还需要将M张子图像中画面模糊的子图像也进行剔除。
具体的，电子设备可以对M张子图像中的每张子图像进行灰度化处理，获得每张子灰度图像。针对每张子灰度图像，电子设备可以利用预设的拉普拉斯算子对该子灰度图像进行处理，并计算处理完成后的该子灰度图像中所有像素点像素值的方差；若该方差大于等于预设的方差上限，则表示该子灰度图像清晰，从而将该子灰度图像对应的子图像保留，反之，则将该子图像删除。
可以理解到，通过将M张子图像中不包含病理组织以及画面模糊的子图像删除，电子设备最终可以获得N张子图像，N为大于等于1且小于等于M的整数。
一方面，电子设备可以利用预设的神经网络直接处理该N张子图像。
另一方面，由于病理组织中不同位置处的组织结构不同、染色过程的不同，会导致N张子图像的各子图像之间会有颜色和亮度上的差异，这些差异无疑会影响神经网络处理的准确性。因此，在利用神经网络处理该N张子图像之前，电子设备可以对N张子图像进行颜色的归一化处理，使得该N张子图像的颜色和亮度接近统一。比如，电子设备可以采用预设的vahadane染色归一化算法来对N张子图像中的每张子图像进行归一化处理，以获得归一化后的N张子图像。最后，电子设备便利用预设的神经网络处理归一化后的N张子图像。其中，为确保颜色和亮度接近统一，vahadane染色归一化算法中的亮度参数可以设置成0.9，SNMF(Sparse Nonnegative matrix factorization稀疏非负矩阵分解)的lamdba可以设置成0.01。
例如图6所示，图6中左上角的子图像和左下角的子图像的颜色差异比较明显，左上角的子图像较于左下角的子图像的更亮一些。通过归一化处理左上角的子图像得到右上角的子图像，以及归一化处理左下角的子图像得到右下角的子图像。显然，归一化处理后，右上角的子图像和右下角的子图像之间几乎没有颜色或者亮度的差异。
本实施例中，如图7所示，本实施例中，电子设备中预设了已经训练好的神经网络，该神经网络可以依次包括输入层，卷积层、深度可分离卷积层、池化层以及分类层。其中，图7所示的结构仅为神经网络的一种示例性结构，其并不作为限定。卷积层的数量并不限于图7所示两个，其也可以是一个或者多个，而深度可分离卷积层的数量则并不限于图7所示九个，其也可以是一个或者多个比如为六个或者七个，只要确保子图像经过卷积层以及深度可分离卷积的处理能够提取出足够多的特征即可。
本实施例中，深度可分离卷积层的结构可以如图8所示，基于深度可分离卷积层的该结构，深度可分离卷积层对其输入的特征的处理则是：先以周边填充的方式对特征进行深度卷积，将深度卷积的特征输入到BN-Relu6函数进行激活处理，再以周边填充的方式对激活后的特征进行普通的卷积，最后将普通卷积的特征输入到BN-Relu6函数进行激活处理后输出。
可以理解到，由于在深度可分离卷积时，其计算量缩减的非常多但精度的下降却很小，故设置深度可分离卷积层可以快速地提取出满足需要的特征。
回到本实施例中，在利用神经网络对N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理后，由于每张子图像中均包含切片图像中完整病理组织的一部分，故电子设备可以获得每张子图像所包含的部分病理组织的分级，一共获得N个部分病理组织的分级。最后，电子设备综合N个部分病理组织的分级，确定该病理组织的分级。
本实施例中，作为综合N个部分病理组织的分级的示例性方式，可以将每张子图像作为切片图像的一个像素点，比如，切片图像分割成384张子图像，那么切片图像则由384个像素点构成。并且，还根据每张子图像所包含的部分病理组织的分级，对应确定出该子图像对应的一个像素点的像素值；比如，分级包括A级、B级、C级和D级，那么每个像素点的像素值则可以对应为0、1、2或3。这样，电子设备便可以计算出各像素值的像素点各自所占据的区域；比如，计算出像素值为0的像素点的数量为多少，该数量则表示出像素值为0的像素点所占据的区域的大小；又比如，计算出像素值为1的像素点的数量为多少，该数量则表示出像素值为1的像素点所占据的区域的大小。可以理解到，病理组织有多少个分级，则可以对应计算出与分级数量相同的区域大小。最后，电子设备通过计算各区域的大小比例，以及根据每个区域对应的一种分级，最终确定该病理组织的分级。
下面以病理组织为前列腺癌症组织为例来进行说明，前列腺癌症组织可以分为4级，按照严重程度依次增加的趋势，分别为正常、G3级、G4级、G5级。故神经网络可以输出每张子图像所包含的部分病理组织是正常、G3级、G4级还是G5级。
电子设备将正常对应到像素值为1，将G3级对应到像素值为2，将G4级对应到像素值为3，以及将G5级对应到像素值为4。电子设备将每个子图像作为一个像素点后，通过计算像素值为1的像素点的数量可以得到前列腺癌症组织中正常的区域大小，通过计算像素值为2的像素点的数量可以得到前列腺癌症组织中G3级的区域大小，通过计算像素值为3的像素点的数量可以得到前列腺癌症组织中G4级的区域大小；以及，再通过计算像素值为4的像素点的数量可以得到前列腺癌症组织中G5级的区域大小。
最后，电子设备根据正常的区域大小、G3级的区域大小、G4级的区域大小以及G5级的区域大小相互之间的比值，便能够确定出切片图像中前列腺癌症组织的整体分级。
请参阅图9，基于同一发明构思，电子设备在获取切片图像，也可以直接利用上述的神经网络对切片图像进行处理，其流程可以包括：
步骤S101：获得病理组织的切片图像。
步骤S201：利用神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
以及图10所示，步骤S201还可以包括：
步骤S211：将该切片图像分割成M张子图像，其中，M为大于1的整数；
步骤S221：将该M张子图像中画面模糊的子图像删除，获得N张子图像，N为大于等于1且小于等于M的整数；
步骤S231：利用该神经网络对该N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理，获得该N张子图像中每张子图像所包含的部分病理组织的分级；
步骤S241：根据N个部分病理组织的分级，确定出该病理组织的分级。
可以理解到，上述方法的具体原理可以参考前述的方法实施例，在此就不再累述。
请参阅图11，基于同一发明构思，本申请实施例中还提供一种病理组织图像的处理装置100，该病理组织图像的处理装置100可以包括：
图像获取模块110，用于获得病理组织的切片图像；
图像处理模块120，用于通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。
或者，该图像处理模块120，还用于利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
请参阅图12，基于同一发明构思，本申请实施例提供了一种电子设备10，该电子设备10可以包括连接到网络的通信接口11、用于执行程序指令的一个或多个处理器12、总线13、和不同形式的存储器14，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。
存储器14用于存储程序，处理器12用于调用并运行存储器14中的程序以执行前述的病理组织图像的处理方法。
本申请一些实施例还提供了一种计算机可执行的非易失的程序代码的计算机可读储存介质，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该计算机可读存储介质上存储有程序代码，该程序代码被计算机运行时执行上述任一实施方式的病理组织图像的处理方法的步骤。
本申请实施例所提供的病理组织图像的处理方法的程序代码产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
综上所述，利用图像转换以及灰度化后的阈值分割处理能够比较彻底将切片图像中除病理组织之外的背景滤除，获得滤除后的图像，这样利用滤除后的图像就可以得到比较准确分级。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (13)
1.一种病理组织图像的处理方法，其特征在于，所述方法包括：
获得病理组织的切片图像；
通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。
2.根据权利要求1所述的病理组织图像的处理方法，其特征在于，通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像，包括：
通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中的物理标记滤除，获得初步过滤的图像；
通过阈值分割处理，将所述初步过滤的图像中除所述病理组织以外的非病理组织滤除，获得所述滤除后的图像。
3.根据权利要求2所述的病理组织图像的处理方法，其特征在于，通过阈值分割处理，将所述初步过滤的图像中除所述病理组织以外的非病理组织滤除，获得所述滤除后的图像，包括：
通过灰度化以及自适应阈值分割处理，在所述初步过滤的图像中确定出除所述病理组织以外的非病理组织，从而对应在所述切片图像中将所述非病理组织滤除，获得初步过滤的图像。
4.根据权利要求2所述的病理组织图像的处理方法，其特征在于，通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中的物理标记滤除，获得初步过滤的图像，包括：
对所述切片图像进行灰度化处理，获得灰度图像，并通过阈值分割处理，在所述灰度图像中确定出一部分物理标记；
对所述切片图像进行图像转换处理，获得HSV图像，并从所述HSV图像中确定出另一部分物理标记；
对应在所述切片图像中将所述一部分物理标记和所述另一部分物理标记滤除，获得所述滤除后的图像。
5.根据权利要求4所述的病理组织图像的处理方法，其特征在于，从所述HSV图像中确定出另一部分物理标记，包括：
确定出所述HSV图像中像素值与所述物理标记的像素值匹配的区域；
对所述区域进行腐蚀处理，获得腐蚀后的区域；
对所述腐蚀后的区域进行膨胀处理，获得膨胀后的区域，其中，所述膨胀后的区域即表征所述另一部分物理标记。
6.根据权利要求1所述的病理组织图像的处理方法，其特征在于，在获得滤除后的图像之后，所述方法的还包括：
利用预设的神经网络处理所述滤除后的图像，以获得所述病理组织的分级。
7.根据权利要求6所述的病理组织图像的处理方法，其特征在于，利用预设的神经网络处理所述滤除后的图像，以获得所述病理组织的分级，包括：
将所述滤除后的图像分割成M张子图像，其中，M为大于1的整数；
将所述M张子图像中不包含所述病理组织以及画面模糊的子图像删除，获得N张子图像，N为大于等于1且小于等于M的整数；
利用所述神经网络处理所述N张子图像，获得所述病理组织的分级。
8.根据权利要求7所述的病理组织图像的处理方法，其特征在于，利用所述神经网络处理所述N张子图像，获得所述病理组织的分级，包括：
利用所述神经网络对所述N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述N张子图像中每张子图像所包含的部分病理组织的分级；
根据N个部分病理组织的分级，确定出所述病理组织的分级。
9.一种病理组织图像的处理方法，其特征在于，所述方法包括：
获得病理组织的切片图像；
利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
10.根据权利要求9所述的病理组织图像的处理方法，其特征在于，利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级，包括：
将所述切片图像分割成M张子图像，其中，M为大于1的整数；
将所述M张子图像中画面模糊的子图像删除，获得N张子图像，N为大于等于1且小于等于M的整数；
利用所述神经网络对所述N张子图像中每张子图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述N张子图像中每张子图像所包含的部分病理组织的分级；
根据N个部分病理组织的分级，确定出所述病理组织的分级。
11.一种病理组织图像的处理装置，其特征在于，所述装置包括：
图像获取模块，用于获得病理组织的切片图像；
图像处理模块，用于通过图像转换以及灰度化后的阈值分割处理，将所述切片图像中除所述病理组织之外的背景滤除，获得滤除后的图像。
12.一种病理组织图像的处理装置，其特征在于，所述装置包括：
图像获取模块，用于获得病理组织的切片图像；
图像处理模块，用于利用预设的神经网络对所述切片图像进行卷积、深度可分离卷积、池化以及分类处理，获得所述病理组织的分级。
13.一种非易失计算机可读储存介质，其特征在于，存储有程序代码，当所述程序代码被计算机运行时执行如权利要求1-10任一权项所述的病理组织图像的处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010545456.1A CN111754537A (zh) | 2020-06-15 | 2020-06-15 | 一种病理组织图像的处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010545456.1A CN111754537A (zh) | 2020-06-15 | 2020-06-15 | 一种病理组织图像的处理方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111754537A true CN111754537A (zh) | 2020-10-09 |
Family
ID=72676203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010545456.1A Pending CN111754537A (zh) | 2020-06-15 | 2020-06-15 | 一种病理组织图像的处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754537A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651860A (zh) * | 2016-11-02 | 2017-05-10 | 帝麦克斯(苏州)医疗科技有限公司 | 一种图像分割方法及装置 |
| CN107977969A (zh) * | 2017-12-11 | 2018-05-01 | 北京数字精准医疗科技有限公司 | 一种内窥镜荧光图像的分割方法、装置及存储介质 |
| KR20180050846A (ko) * | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 칩 시스템 및 데이터 처리 방법 |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109325923A (zh) * | 2018-09-14 | 2019-02-12 | 哈尔滨理工大学 | 一种基于数字图像算法处理的糖尿病视网膜图像增强方法 |
| US20190057513A1 (en) * | 2017-08-21 | 2019-02-21 | Fotonation Cayman Limited | Systems and Methods for Hybrid Depth Regularization |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| CN110827308A (zh) * | 2019-11-05 | 2020-02-21 | 中国医学科学院肿瘤医院 | 图像处理方法，装置，电子设备及存储介质 |
| US10614318B1 (en) * | 2019-10-25 | 2020-04-07 | 7-Eleven, Inc. | Sensor mapping to a global coordinate system using a marker grid |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN111242014A (zh) * | 2020-01-10 | 2020-06-05 | 天津理工大学 | 尿沉渣细胞显微图像的液滴成像方法及装置 |
-
2020
- 2020-06-15 CN CN202010545456.1A patent/CN111754537A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106651860A (zh) * | 2016-11-02 | 2017-05-10 | 帝麦克斯(苏州)医疗科技有限公司 | 一种图像分割方法及装置 |
| KR20180050846A (ko) * | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 칩 시스템 및 데이터 처리 방법 |
| US20190057513A1 (en) * | 2017-08-21 | 2019-02-21 | Fotonation Cayman Limited | Systems and Methods for Hybrid Depth Regularization |
| CN107977969A (zh) * | 2017-12-11 | 2018-05-01 | 北京数字精准医疗科技有限公司 | 一种内窥镜荧光图像的分割方法、装置及存储介质 |
| CN108717554A (zh) * | 2018-05-22 | 2018-10-30 | 复旦大学附属肿瘤医院 | 一种甲状腺肿瘤病理组织切片图像分类方法及其装置 |
| CN109325923A (zh) * | 2018-09-14 | 2019-02-12 | 哈尔滨理工大学 | 一种基于数字图像算法处理的糖尿病视网膜图像增强方法 |
| CN111091527A (zh) * | 2018-10-24 | 2020-05-01 | 华中科技大学 | 一种病理组织切片图像中病变区域自动检测方法及系统 |
| CN110120040A (zh) * | 2019-05-13 | 2019-08-13 | 广州锟元方青医疗科技有限公司 | 切片图像处理方法、装置、计算机设备和存储介质 |
| US10614318B1 (en) * | 2019-10-25 | 2020-04-07 | 7-Eleven, Inc. | Sensor mapping to a global coordinate system using a marker grid |
| CN110827308A (zh) * | 2019-11-05 | 2020-02-21 | 中国医学科学院肿瘤医院 | 图像处理方法，装置，电子设备及存储介质 |
| CN111242014A (zh) * | 2020-01-10 | 2020-06-05 | 天津理工大学 | 尿沉渣细胞显微图像的液滴成像方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 乔铁柱: "《矿用输送带无损检测技术》", 国防工业出版社, pages: 125 - 126 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bui et al. | Single image dehazing using color ellipsoid prior | |
| CN110120040B (zh) | 切片图像处理方法、装置、计算机设备和存储介质 | |
| CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和系统 | |
| CN111145209B (zh) | 一种医学图像分割方法、装置、设备及存储介质 | |
| Veta et al. | Automatic nuclei segmentation in H&E stained breast cancer histopathology images | |
| EP1975875A2 (en) | Methods of chromogen separation-based image analysis | |
| CN111402267B (zh) | 前列腺癌病理图像中上皮细胞核的分割方法、装置和终端 | |
| CN106780522B (zh) | 一种基于深度学习的骨髓液细胞分割方法 | |
| CN108629761B (zh) | 一种乳腺癌图像识别方法、装置和用户终端 | |
| CN110889826A (zh) | 眼部oct图像病灶区域的分割方法、装置及终端设备 | |
| CN114299086B (zh) | 一种低对比度成像的图像分割处理方法、电子设备及系统 | |
| CN111080654B (zh) | 图像的病变区域分割方法、装置及服务器 | |
| Mungle et al. | Automated characterization and counting of Ki-67 protein for breast cancer prognosis: A quantitative immunohistochemistry approach | |
| CN105096347A (zh) | 图像处理装置和方法 | |
| WO2022247573A1 (zh) | 模型训练方法、图像处理方法、装置、设备及存储介质 | |
| CN110827308A (zh) | 图像处理方法，装置，电子设备及存储介质 | |
| CN116868226A (zh) | 图像中注释的感兴趣区域的检测 | |
| CN113724235B (zh) | 镜下环境改变条件时半自动化的Ki67/ER/PR阴性、阳性细胞计数系统及方法 | |
| US20230096719A1 (en) | Scalable and high precision context-guided segmentation of histological structures including ducts/glands and lumen, cluster of ducts/glands, and individual nuclei in whole slide images of tissue samples from spatial multi-parameter cellular and sub-cellular imaging platforms | |
| Schüffler et al. | Overcoming an annotation hurdle: Digitizing pen annotations from whole slide images | |
| CN114066908A (zh) | 一种用于脑肿瘤图像分割的方法及系统 | |
| CN111754537A (zh) | 一种病理组织图像的处理方法、装置及存储介质 | |
| CN111932557B (zh) | 基于集成学习和概率图模型的图像语义分割方法及装置 | |
| CN115393314A (zh) | 一种基于深度学习的口腔医疗图像识别方法及系统 | |
| CN112734701A (zh) | 眼底病灶检测方法、检测装置及终端设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Room 601-605, 6th Floor, Building J, Building 5, Yunmi City, No. 19, Ningshuang Road, Yuhuatai District, Nanjing, Jiangsu Province, 210000 Applicant after: Jiuyisanluling medical technology Nanjing Co.,Ltd. Address before: Room 305, building A3, Nanhai Science Park, 180 software Avenue, Yuhuatai District, Nanjing City, Jiangsu Province, 210000 Applicant before: Jiuyisanluling medical technology Nanjing Co.,Ltd. |
|
| CB02 | Change of applicant information |