CN115880293A - 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 - Google Patents
膀胱癌淋巴结转移的病理图像识别方法、装置、介质 Download PDFInfo
- Publication number
- CN115880293A CN115880293A CN202310149312.8A CN202310149312A CN115880293A CN 115880293 A CN115880293 A CN 115880293A CN 202310149312 A CN202310149312 A CN 202310149312A CN 115880293 A CN115880293 A CN 115880293A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- confidence map
- target image
- resampling
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000001575 pathological effect Effects 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 77
- 206010005003 Bladder cancer Diseases 0.000 title claims abstract description 13
- 208000007097 Urinary Bladder Neoplasms Diseases 0.000 title claims abstract description 13
- 201000005112 urinary bladder cancer Diseases 0.000 title claims abstract description 13
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 10
- 230000011218 segmentation Effects 0.000 claims abstract description 188
- 238000012952 Resampling Methods 0.000 claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 45
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000012935 Averaging Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 45
- 206010028980 Neoplasm Diseases 0.000 claims description 34
- 201000011510 cancer Diseases 0.000 claims description 28
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 230000007170 pathology Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 210000001165 lymph node Anatomy 0.000 abstract description 17
- 208000037819 metastatic cancer Diseases 0.000 abstract description 9
- 208000011575 metastatic malignant neoplasm Diseases 0.000 abstract description 9
- 210000004027 cell Anatomy 0.000 description 13
- 238000003745 diagnosis Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 230000009401 metastasis Effects 0.000 description 3
- 238000012163 sequencing technique Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000036210 malignancy Effects 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本申请公开了一种膀胱癌淋巴结转移的病理图像识别方法、装置、介质，包括将目标图像块输入目标分割网络，得到分割置信度图；对分割置信度图中所有像素点的值取平均值，得到分类置信度；将分类置信度的值排序，选取前N个目标图像块进行非均匀重采样处理，得到重采样图像块；将重采样置信度图进行映射处理，得到映射置信度图；将映射置信度图与目标图像块的分割置信度图融合，得到融合置信度图；将融合置信度图与目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图拼接，得到病理图像的识别结果。本申请对病理图像进行非均匀重采样处理，能够对淋巴结组织图像中的转移癌实现准确分割，提高病理图像的识别效率和准确率。
Description
技术领域
本申请涉及图像识别技术领域，特别涉及一种膀胱癌淋巴结转移的病理图像识别方法、装置、介质。
背景技术
膀胱癌是最常见的恶性肿瘤之一。精确的肿瘤-淋巴结转移分期诊断，对膀胱癌患者的治疗指导和预后评估十分重要。传统的肿瘤转移淋巴结的诊断过程依赖于病理医生在显微镜下检查所有的淋巴结切片，这是个相当耗时耗力的过程。特别是对于微转移这种情形，即少量癌细胞转移到淋巴结中，由于人类视觉系统对微小物体不敏感，因此病理医生十分容易漏诊微转移。由于肿瘤转移淋巴结的诊断过程比较艰巨，如何自动识别分割出膀胱淋巴结组织图像中的转移癌，从而提高病理图像的识别效率和准确率，是亟待解决的技术难题。
发明内容
本申请实施例提出一种膀胱癌淋巴结转移的病理图像识别方法、装置、介质，能够对淋巴结组织图像中的转移癌实现准确分割，从而提高病理图像的识别准确性。
第一方面，本申请实施例提供了一种病理图像识别方法，包括：
获取病理图像，按照预设分辨率大小对所述病理图像进行滑窗裁剪，得到M个目标图像块，其中M为大于1的自然数；
分别将M个所述目标图像块输入目标分割网络，得到M个对应于所述目标图像块的分割置信度图，其中所述分割置信度图的像素点的值表征所述像素点属于癌这一类别的概率；
对所述分割置信度图中所有像素点的值取平均值，得到所述目标图像块的分类置信度；
将M个所述目标图像块按照对应的所述分类置信度的值从大到小进行排序，并从中选取前N个所述目标图像块分别进行非均匀重采样处理，得到N个对应于所述目标图像块的重采样图像块，其中N为大于0且小于M的自然数；
分别将N个所述重采样图像块输入目标分割网络，得到N个对应于所述重采样图像块的重采样置信度图；
将所述重采样置信度图进行映射处理，得到对应于所述目标图像块的映射置信度图；
将所述映射置信度图与对应于所述目标图像块的分割置信度图进行融合，得到N个融合置信度图；
将所述N个融合置信度图与M个所述目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到所述病理图像的识别结果。
第二方面，本申请实施例还提供了一种图像识别装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的病理图像识别方法。
第三方面，本申请实施例还提供了计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行如上所述的病理图像识别方法。
本申请实施例包括：获取病理图像，对病理图像进行滑窗裁剪，得到M个目标图像块；将M个目标图像块输入目标分割网络，得到M个对应于目标图像块的分割置信度图；对分割置信度图中所有像素点的值取平均值，得到目标图像块的分类置信度；将M个目标图像块按照对应的分类置信度的值从大到小进行排序，并选取前N个目标图像块分别进行非均匀重采样处理，得到N个对应于目标图像块的重采样图像块；将N个重采样图像块输入目标分割网络，得到N个对应于重采样图像块的重采样置信度图；将重采样置信度图进行映射处理，得到对应于目标图像块的映射置信度图；将映射置信度图与对应的目标图像块的分割置信度图进行融合，得到N个融合置信度图；将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到病理图像的识别结果。根据本申请的技术方案，采用非均匀重采样的方法对病理图像进行处理，能够对淋巴结组织图像中的转移癌实现准确分割，从而提高病理图像的识别效率和准确率。
附图说明
本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本申请一个实施例提供的病理图像识别方法的流程图；
图2是本申请另一实施例提供的病理图像识别方法的流程图；
图3是本申请一个实施例提供的图像块的具体效果图；
图4是本申请另一实施例提供的图像块的具体效果图；
图5是本申请一个实施例提供的图像识别装置的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
需要说明的是，在本申请的各个具体实施方式中，当涉及到需要根据目标对象（例如用户等）的属性信息或属性信息集合等与目标对象的特性相关的数据进行相关处理时，都会先获得目标对象的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关国家和地区的相关法律法规和标准。此外，当本申请实施例需要获取目标对象的属性信息时，会通过弹窗或者跳转到确认页面等方式获得目标对象的单独许可或者单独同意，在明确获得目标对象的单独许可或者单独同意之后，再获取用于使本申请实施例能够正常运行的必要的目标对象的相关数据。
膀胱癌是最常见的恶性肿瘤之一。精确的肿瘤-淋巴结转移分期诊断，对膀胱癌患者的治疗指导和预后评估十分重要。传统的肿瘤转移淋巴结的诊断过程依赖于病理医生在显微镜下检查所有的淋巴结切片，这是个相当耗时耗力的过程。特别是对于微转移这种情形，即少量癌细胞转移到淋巴结中，由于人类视觉系统对微小物体不敏感，因此病理医生十分容易漏诊微转移。由于肿瘤转移淋巴结的诊断过程比较艰巨，如何自动识别分割出膀胱淋巴结组织图像中的转移癌，从而提高病理图像的识别效率和准确率，是亟待解决的技术难题。
本申请提供了一种膀胱癌淋巴结转移的病理图像识别方法、装置、介质，包括获取病理图像，对病理图像进行滑窗裁剪，得到M个目标图像块；将M个目标图像块输入目标分割网络，得到M个对应于目标图像块的分割置信度图；对分割置信度图中所有像素点的值取平均值，得到目标图像块的分类置信度；将M个目标图像块按照对应的分类置信度的值从大到小进行排序，并选取前N个目标图像块分别进行非均匀重采样处理，得到N个对应于目标图像块的重采样图像块；将N个重采样图像块输入目标分割网络，得到N个对应于重采样图像块的重采样置信度图；将重采样置信度图进行映射处理，得到对应于目标图像块的映射置信度图；将映射置信度图与对应的目标图像块的分割置信度图进行融合，得到N个融合置信度图；将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到病理图像的识别结果。根据本申请的技术方案，采用非均匀重采样方法对病理图像进行处理，能够对淋巴结组织图像中的转移癌实现准确分割，从而提高病理图像的识别效率和准确率。
下面结合附图，对本申请实施例作进一步阐述。
如图1所示，图1是本申请一个实施例提供的病理图像识别方法的流程图，该识别方法可以包括但不限于有步骤S110、步骤S120、步骤S130、步骤S140、步骤S150、步骤S160、步骤S170和步骤S180。
步骤S110：获取病理图像，按照预设分辨率大小对病理图像进行滑窗裁剪，得到M个目标图像块，其中M为大于1的自然数。
本步骤中，病理图像（Whole-Slide Image，WSI）指的是膀胱癌淋巴结组织病理全切片图像，预设的分辨率大小指的是大于0的自然数，例如可以是2048*2048或者是1536*1536。获取病理图像，在40倍率下对病理图像进行滑窗裁剪，得到M个目标图像块，其中M为大于1的自然数。需要说明的是，M个目标图像块能够表征病理图像的全部信息。本申请得到目标图像块有利于后续步骤中得到病理图像的识别结果。
具体地，在本实施例中，可以按照2048*2048的分辨率大小对病理图像进行滑窗裁剪，得到多个目标图像块，后续再对2048*2048分辨率的目标图像块进行缩小，以便推进后续步骤的操作。需要说明的是，预设的分辨率大小能够根据实际情况进行调整，在另一实施例中，也可以直接按照1536*1536的分辨率大小对病理图像进行滑窗裁剪，在此不作具体限定。
可以理解的是，本实施例对病理图像进行滑窗裁剪，滑窗裁剪（shift windowcrop）指的是通过相关技术中的任意技术手段实现的滑窗裁剪，例如通过OpenCV中的slidingWnd函数，从而能够对病理图像进行裁剪，得到多个目标图像块。本实施例用滑动窗口从左到右，从上到下划过，裁剪出2048*2048的目标图像块。在将目标图像块输入至目标分割网络的过程中，还需要将2048*2048的图像块缩小至尺寸1536*1536，然后输入进目标分割网络HRNet_w18，以得到对应于目标图像块的分割置信度图。
步骤S120：分别将M个目标图像块输入目标分割网络，得到M个对应于目标图像块的分割置信度图，其中分割置信度图的像素点的值表征像素点属于癌这一类别的概率。
本步骤中，目标分割网络指的是图像分割网络HRNet_w18。将M个目标图像输入训练好的图像分割网络HRNet_w18，得到M个对应于目标图像块的分割置信度图。分割置信度图中的像素点的值表征像素点属于癌这一类别的概率，需要说明的是，分割置信度图中的像素点值也可以称之为分割置信度。分割置信度，即分割置信度图中的像素点的值，可以通过将目标图像块输入至目标分割网络中得到。具体地，分割置信度图中的像素点的值的范围在[0,1]之间。根据分割置信度图的像素点的值能够判断像素点属于癌这一类别的概率，从而提高病理图像的识别效率和准确率。
本申请的另一个实施例中，目标分割网络也可以是相关技术中的任意目标分割网络，将目标图像块输入目标分割网络，能够得到对应目标图像块的分割置信度图即可，在此不作具体限定。需要说明的是，目标分割网络是经过训练得到的，训练可以采用相关中的任意训练方式实现，在此也不作具体限定。得到分割置信度图是为了便于后续步骤中得到病理图像的识别结果。
步骤S130：对分割置信度图中所有像素点的值取平均值，得到目标图像块的分类置信度。
本步骤中，分割置信度图中包括有多个像素点的值，每个像素点的值表征像素点属于癌这一类别的概率，对分割置信度图中所有像素点的值取平均值，得到目标图像块的分类置信度。需要说明的是，分类置信度指的是目标图像块整体分类成癌这一类别的概率。得到分类置信度是为了将目标图像块整体的含癌细胞的概率进行排序，以便选取含癌细胞概率大的目标图像块进行非均匀重采样处理，有利于后续步骤中得到病理图像的识别结果。
步骤S140：将M个目标图像块按照对应的分类置信度的值从大到小进行排序，并从中选取前N个目标图像块分别进行非均匀重采样处理，得到N个对应于目标图像块的重采样图像块，其中N为大于0且小于M的自然数。
本步骤中，将M个目标图像块按照对应的分类置信度的值从大到小进行排序，由于分类置信度的值表征为目标图像块整体分类成癌这一类别的概率，因此从中选取前N个目标图像块分别进行非均匀重采样处理，能够借助分类置信度选取含癌细胞概率大的目标图像块进行非均匀重采样处理，从而得到N个对应于目标图像块的重采样图像块，能够提高病理图像的识别效率和准确性。
需要说明的是，本申请重采样图像块的分辨率大小与输入至目标分割网络的目标图像块的分辨率大小相同。具体地，本实施例中，重采样图像块和输入至目标分割网络的目标图像块的分辨率大小均为1536*1536。本申请令输入至目标分割网络的目标图像块和重采样图像块的分辨率保持一致，并且只选取前N个目标图像块分别进行非均匀重采样处理，能够减少计算资源和计算时间的消耗。
步骤S150：分别将N个重采样图像块输入目标分割网络，得到N个对应于重采样图像块的重采样置信度图。
本步骤中，目标分割网络指的是图像分割网络HRNet_w18。分别将N个重采样图像块输入目标分割网络HRNet_w18，得到N个对应于重采样图像块的重采样置信度图。需要说明的是，重采样置信度图中的像素点的值也表征像素点属于癌这一类别的概率。
步骤S160：将重采样置信度图进行映射处理，得到对应于目标图像块的映射置信度图。
本步骤中，得到的映射置信度图是为了融合目标图像块与重采样图像块的各个像素点的值，以便后续步骤中得到病理图像的识别结果。需要说明的是，各个像素点的值表征为目标图像块和重采样图像块的每个像素点分类成癌这一类别的概率。
步骤S170：将映射置信度图与对应于目标图像块的分割置信度图进行融合，得到N个融合置信度图。
本步骤中，通过将映射置信度图与对应于目标图像块的分割置信度图进行融合，得到N个融合置信度图，根据N个融合置信度图能够获取N个融合置信度图中每个像素点的值，即N个融合置信度图的最终分割置信度。
步骤S180：将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到病理图像的识别结果。
本步骤中，将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，能够组成病理图像的分割置信度热力图，根据分割置信度热力图，能够得到病理图像的识别结果，辅助医生进行诊断，从而提高病理图像的识别效率和准确率。
本实施例中，通过采用包括有上述步骤S110至步骤S180的病理图像识别方法，获取病理图像，对病理图像进行滑窗裁剪，得到M个目标图像块；将M个目标图像块输入目标分割网络，得到M个对应于目标图像块的分割置信度图；对分割置信度图中所有像素点的值取平均值，得到目标图像块的分类置信度；将M个目标图像块按照对应的分类置信度的值从大到小进行排序，并选取前N个目标图像块分别进行非均匀重采样处理，得到N个对应于目标图像块的重采样图像块；将N个重采样图像块输入目标分割网络，得到N个对应于重采样图像块的重采样置信度图；将重采样置信度图进行映射处理，得到对应于目标图像块的映射置信度图；将映射置信度图与对应于目标图像块的分割置信度图进行融合，得到N张融合置信度图；将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到病理图像的识别结果。根据本申请的技术方案，采用非均匀重采样的方法对病理图像进行处理，能够对淋巴结组织图像中的转移癌实现准确分割，从而提高病理图像的识别效率和准确率。
需要说明的是，本实施例中，对目标图像块进行非均匀重采样处理能够自动放大目标图像块中的疑似病灶区域，从而呈现疑似病灶区域的更多细节；相较于其他重采样方式，例如在分割置信度图中设定阈值，直接裁剪可疑区域并放大的重采样方式，本申请使用的非均匀重采样方法，在放大可疑区域的同时，还保留了可疑区域周围的细胞与组织，有利于结合上下文的信息对病理图像的可疑区域的类型做出识别，从而提高病理图像的识别效率和准确率。
而且，在癌转移淋巴结组织图像中，转移的癌细胞有时会呈散落分布，即图像块中有多个大小不一的疑似癌细胞区域。本申请的非均匀重采样方法，可以实现同时放大所有疑似区域，并且都呈现在同一个图像块中，不需要输出多个疑似区域，从而能够提高病理图像的识别识别效率和准确率。
在一实施例中，对病理图像的识别方法作进一步的说明。非均匀重采样处理包括：
根据重采样图像块的至少一个待计算像素点的坐标，目标图像块，以及对应于目标图像块的分割置信度图，计算得出重采样图像块；
其中，重采样图像块在待计算像素点的RGB三通道像素值，与目标图像块在待计算像素点的坐标对应的转换坐标的RGB三通道像素值一致。
需要说明的是，非均匀重采样处理采用以下公式实现：
其中，
为重采样图像块中坐标为/>
的像素点，/>
为目标图像块中坐标为/>
的像素点，/>
和/>
为坐标转换函数。
在一实施例中，对病理图像的识别方法作进一步的说明。非均匀重采样处理还包括坐标转换处理，坐标转换处理包括：
根据重采样图像块的至少一个待计算像素点的坐标，目标图像块的所有像素点的坐标，以及分割置信度图，计算得出至少一个转换坐标；
其中：
转换坐标，由目标图像块每一个像素点的坐标分别乘以对应的权重，再取平均值得到；
目标图像块一个像素点的坐标对应的权重，由坐标在分割置信度图的值，以及坐标与重采样图像块的一个待计算像素点的坐标的距离共同决定。
需要说明的是，坐标转换函数
和/>
分别由以下公式计算得到：
其中，W和H为图像块的宽和高，
为目标图像块中的像素点的坐标，
为目标图像块对应的分割置信度图中坐标为/>
的像素点的值，
为高斯核函数，用于计算坐标/>
与坐标/>
的距离。
需要说明的是，在一实施例中，高斯核函数的计算公式为：
需要说明的是，图像块的宽和高能够根据实际情况进行调整，在此不作具体限定。在本申请的另一实施例中，图像块的宽和高的值为1536*1536，将图像块的宽和高代入公式（2）和公式（3）中，即可得到图像块的坐标转换函数。
可以理解的是，本实施例中的公式（2）和公式（3）需要对图像块中的每个像素点的值进行遍历，由于本实施例的输入目标分割网络的目标图像块的分辨率大小为1536*1536，因此本实施例的遍历范围为1536*1536。需要说明的是，在其他的实施例中，该遍历范围可以根据实际情况进行调整，在此不作具体限定。
具体地，在一实施例中，图像块的分辨率大小为1536*1536。在公式（1）中，给定前N个目标图像块
，以及目标图像块/>
的分割置信度图
，即可求出重采样图像块/>
的所有像素点的RGB三通道像素值。其中，R表示数学中的实数，代表目标图像块中的像素点的RGB值在实数范围，1*1536*1536代表的是一个通道的图像，而3*1536*1536代表的是RGB三个通道的图像。
可以理解的是，将重采样图像块中每个像素点的坐标输入坐标转换函数进行转换，即可得到在目标图像块中的对应坐标。对选取的前N个目标图像块进行非均匀重采样处理，能够提高病理图像的识别效率和准确率。
进一步地，坐标转换函数还需要通过公式（2）和公式（3）得到。由于分割置信度越高的像素在公式（2）和公式（3）的计算中能够有更大的权重，生成的坐标更偏向权重大的像素，因此权重大的像素有更大的机会被采样。因此，通过公式（2）和公式（3），分割置信度越高的像素，被采样的机会越大，生成的非均匀重采样图像块会自动放大目标图像块中的疑似癌细胞区域，从而呈现疑似病灶区域的更多细节，以辅助医生诊断，从而提高病理图像的识别准确性。
在一实施例中，对病理图像的识别方法作进一步的说明。映射处理包括：
根据映射置信度图的至少一个待计算像素点的坐标，重采样图像块的重采样置信度图，以及与重采样图像块对应的目标图像块的分割置信度图，计算得出对应于目标图像块的映射置信度图；
其中：
映射置信度图在一个待计算像素点上的值，由重采样置信度图每一个像素点的值分别乘以对应的权重，再求和得到；
重采样置信度图的一个像素点对应的权重，由在生成重采样置信度图的一个像素点的坐标对应的转换坐标时，映射置信度图的待计算像素点的坐标占的比重决定。
需要说明的是，本实施例的映射处理采用以下公式实现：
其中：
为映射置信度图中坐标为/>
的像素点的值，
为重采样图像块对应的重采样置信度图中坐标为/>
的像素点的值。
可以理解的是，将重采样置信度图的各个像素点的值映射至重采样前的目标图像块的对应像素点上，得到映射置信度图，映射置信度图中各个像素点的值由公式（5）计算得出。其中，每个像素点的值表征为每个像素分类成癌这一类别的概率。本实施例中，由于公式需要遍历图像块中的所有像素点的值，所以
和/>
分别表示为目标图像块对应的分割置信度图中坐标为/>
和/>
的像素点的值。映射置信度图中坐标的像素点的值由重采样图像块对应的重采样置信度图中坐标的像素点的值投影而成，计算映射置信度图中各个像素点的值有利于推进后续步骤的处理，得到病理图像的识别结果，从而提高病理图像的识别效率和准确率。
在一实施例中，融合置信度图由对应于目标图像块的映射置信度图和对应于目标图像块的分割置信度图相加后取平均得到。
需要说明的是，融合置信度图中各个像素点的值由以下公式计算得出：
其中，
为融合置信度图中坐标为/>
的像素点的值。
可以理解的是，映射置信度图与对应的目标图像块的分割置信度图进行融合后，得到融合置信度图，融合置信度图各个像素点的值由上述的公式（6）计算得出。其中，
表示目标图像块对应的分割置信度图中坐标为/>
的像素点的值，而
为映射置信度图中坐标为/>
的像素点的值。本实施例中，将目标图像块对应的分割置信度图中坐标的像素点的值，以及映射置信度图中坐标的像素点的值进行相加，再取相加得到的结果的平均值，可以得到融合置信度图中坐标为/>
的像素点的值。得到融合置信度图的像素点的值是为了便于后续步骤中得到病理图像的识别结果，将N个融合置信度图与M个目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到最终结果的病理图像，有利于辅助病理医生进行诊断，从而提高病理图像的识别效率和准确率。
在一实施中，如图2所示，对病理图像的识别方法作进一步的说明。目标分割网络采用以下训练过程得到，该训练过程可以包括但不限于步骤S210、步骤S220、步骤S230和步骤S240。
步骤S210：获取训练图像集和训练图像集对应的分割标注图，分割标注图中标注为1表示对应的像素点为癌像素，分割标注图中标注为0表示对应的像素点为非癌像素；
步骤S220：将训练图像集和分割标注图输入分割模型，输出预测的分割置信度图；
步骤S230：在进行若干轮预测训练后，对训练图像集和分割标注图分别进行非均匀重采样处理，得到重采样图像集和重采样分割标注图；
步骤S240：采用训练图像集、分割标注图、重采样图像集和重采样分割标注图对分割模型进行端到端分割训练，分割训练采用二元交叉熵损失函数。
可以理解的是，本申请的目标分割网络通过训练得到。获取用于膀胱癌淋巴结转移分割训练的图像集和训练图像集对应的分割标注图。同时，对训练的图像集中的每个坐标的像素点的值进行标注，用1表示癌像素，用0表示非癌像素，可以得到分割标注图。将训练图像集和分割标注图输入分割模型，能够输出预测的分割置信度图。具体地，分割模型指的是HRNet_w18分割网络模型。在进行多轮的训练后，对训练图像集执行基于分割置信度图的非均匀重采样处理，生成重采样图像集；同时对分割标注图也执行非均匀重采样处理，生成重采样分割标注图。利用训练图像集、分割标注图、重采样图像集和重采样分割标注图对分割模型进行端到端分割训练，能够得出相应的目标分割网络，以便进行后续步骤的处理，得出病理图像的识别结果。
进一步地，分割训练采用二元交叉熵损失函数。具体地，二元交叉熵损失函数由以下公式计算得到：
其中，在公式（7）中，i表示第i个像素点，M表示像素点的总量。本实施例中，分割损失
由训练图像集对应的分割标注图的分割损失和重采样图像集对应的重采样分割标注图的分割损失组成。
在一实施中，对病理图像的识别方法作进一步的说明。对分割标注图进行非均匀重采样处理，得到重采样分割标注图，包括：
根据重采样分割标注图的至少一个待计算像素点的坐标，分割标注图，以及对应于训练图像集的分割置信度图，计算得出重采样分割标注图；
其中，重采样分割标注图在待计算像素点的标注值，与分割标注图在待计算像素点的坐标对应的转换坐标的标注值一致。
需要说明的是，重采样分割标注图的分割标注采用以下公式实现：
其中，
为重采样分割标注图中坐标为/>
的像素点的值，/>
为分割标注图中坐标为/>
的像素点的值；/>
和/>
为坐标转换函数。
在一实施中，对病理图像的识别方法作进一步的说明。非均匀重采样处理还包括坐标转换处理，坐标转换处理包括：
根据重采样分割标注图的至少一个待计算像素点的坐标，分割标注图的所有像素点的坐标，以及对应于训练图像集的分割置信度图，计算得出至少一个转换坐标；
其中：
转换坐标，由分割标注图每一个像素点的坐标分别乘以对应的权重，再取平均值得到；
分割标注图一个像素点的坐标对应的权重，由坐标在训练图像集的分割置信度图的值，以及坐标与重采样分割标注图的一个待计算像素点的坐标的距离共同决定。
需要说明的是，坐标转换函数
和/>
分别由以下公式计算得到：
其中，W和H为训练图像集的宽和高，
为训练图像集对应的分割置信度图中坐标为/>
的像素点的值，/>
为高斯核函数，用于计算坐标/>
与坐标/>
的距离。
可以理解的是，重采样分割标注图中的分割标注值由训练图像集对应的分割标注图中的分割标注值转换得到。本申请通过训练图像集、分割标注图、重采样图像集和重采样分割标注图对分割模型进行端到端分割训练，并通过公式计算得出各个图像集中的像素点的值，令训练图像集中包括有重采样图像集，能够对训练图像集的数据进行增强，有效提高分割模型的泛化性，从而提高病理图像的识别效率和准确率。
在本申请的一个实施例中，如图3所示，目标图像块的可疑区域确定为癌细胞区域，经过非均匀重采样处理后的图像块，可以输出分割置信度高的分割置信度图。在本申请的另一实施例中，如图4所示，目标图像块的可疑区域并非是癌细胞区域，而是与癌细胞相似的细胞，经过非均匀重采样处理后的图像块，最终输出的分割置信度图的热度降低。因此，本实施例中的非均匀重采样方法能够映射图像块中像素点的值，提高或者降低分割置信度图的热度，从而提高转移癌的分割准确性和病理图像的识别效率和准确率。
另外，如图5所示，本申请的一个实施例还提供了一种图像识别装置300，该图像识别装置300包括：存储器320、处理器310及存储在存储器320上并可在处理器310上运行的计算机程序。
处理器310和存储器320可以通过总线或者其他方式连接。
存储器320作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器320可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器320可选包括相对于处理器310远程设置的存储，这些远程存储器可以通过网络连接至该处理器310。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的病理图像识别方法所需的非暂态软件程序以及指令存储在存储器320中，当被处理器310执行时，执行上述实施例中的病理图像识别方法，例如，执行以上描述的图1中的方法步骤S110至S180和图2中的方法步骤S210至S240。
此外，本申请的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器310或控制器执行，例如，被上述装置实施例中的一个处理器310执行，可使得上述处理器310执行上述实施例中的病理图像识别方法，例如，执行以上描述的图1中的方法步骤S110至S180和图2中的方法步骤S210至S240。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、基站系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质（或非暂时性介质）和通信介质（或暂时性介质）。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘（DVD）或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
Claims (10)
1.一种膀胱癌淋巴结转移的病理图像识别方法，其特征在于，包括：
获取病理图像，按照预设分辨率大小对所述病理图像进行滑窗裁剪，得到M个目标图像块，其中M为大于1的自然数；
分别将M个所述目标图像块输入目标分割网络，得到M个对应于所述目标图像块的分割置信度图，其中所述分割置信度图的像素点的值表征所述像素点属于癌这一类别的概率；
对所述分割置信度图中所有像素点的值取平均值，得到所述目标图像块的分类置信度；
将M个所述目标图像块按照对应的所述分类置信度的值从大到小进行排序，并从中选取前N个所述目标图像块分别进行非均匀重采样处理，得到N个对应于所述目标图像块的重采样图像块，其中N为大于0且小于M的自然数；
分别将N个所述重采样图像块输入目标分割网络，得到N个对应于所述重采样图像块的重采样置信度图；
将所述重采样置信度图进行映射处理，得到对应于所述目标图像块的映射置信度图；
将所述映射置信度图与对应于所述目标图像块的分割置信度图进行融合，得到N个融合置信度图；
将所述N个融合置信度图与M个所述目标图像块中未进行非均匀重采样处理的目标图像块的分割置信度图进行拼接，得到所述病理图像的识别结果。
2.根据权利要求1所述的病理图像识别方法，其特征在于，所述非均匀重采样处理包括：
根据所述重采样图像块的至少一个待计算像素点的坐标，所述目标图像块，以及对应于所述目标图像块的分割置信度图，计算得出所述重采样图像块；
其中，所述重采样图像块在待计算像素点的RGB三通道像素值，与所述目标图像块在所述待计算像素点的坐标对应的转换坐标的RGB三通道像素值一致。
3.根据权利要求1所述的病理图像识别方法，其特征在于，所述非均匀重采样处理还包括坐标转换处理，所述坐标转换处理包括：
根据所述重采样图像块的至少一个待计算像素点的坐标，所述目标图像块的所有像素点的坐标，以及所述分割置信度图，计算得出至少一个转换坐标；
其中：
所述转换坐标，由所述目标图像块每一个像素点的坐标分别乘以对应的权重，再取平均值得到；
所述目标图像块一个像素点的坐标对应的权重，由所述坐标在所述分割置信度图的值，以及所述坐标与所述重采样图像块的一个待计算像素点的坐标的距离共同决定。
4.根据权利要求3所述的病理图像识别方法，其特征在于，所述映射处理包括：
根据所述映射置信度图的至少一个待计算像素点的坐标，所述重采样图像块的重采样置信度图，以及与所述重采样图像块对应的目标图像块的分割置信度图，计算得出对应于所述目标图像块的映射置信度图；
其中：
所述映射置信度图在一个待计算像素点上的值，由所述重采样置信度图每一个像素点的值分别乘以对应的权重，再求和得到；
所述重采样置信度图的一个像素点对应的权重，由在生成所述重采样置信度图的一个像素点的坐标对应的所述转换坐标时，所述映射置信度图的待计算像素点的坐标占的比重决定。
5.根据权利要求4所述的病理图像识别方法，其特征在于，所述融合置信度图由对应于所述目标图像块的映射置信度图和对应于所述目标图像块的分割置信度图相加后取平均得到。
6.根据权利要求1所述的病理图像识别方法，其特征在于，所述目标分割网络采用以下训练过程得到：
获取训练图像集和所述训练图像集对应的分割标注图，所述分割标注图中标注为1表示对应的像素点为癌像素，所述分割标注图中标注为0表示对应的像素点为非癌像素；
将所述训练图像集和所述分割标注图输入分割模型，输出预测的分割置信度图；
在进行若干轮预测训练后，对所述训练图像集和所述分割标注图分别进行非均匀重采样处理，得到重采样图像集和重采样分割标注图；
采用所述训练图像集、所述分割标注图、所述重采样图像集和所述重采样分割标注图对所述分割模型进行端到端分割训练，所述分割训练采用二元交叉熵损失函数。
7.根据权利要求6所述的病理图像识别方法，其特征在于，所述对所述分割标注图进行非均匀重采样处理，得到重采样分割标注图，包括：
根据所述重采样分割标注图的至少一个待计算像素点的坐标，所述分割标注图，以及对应于所述训练图像集的分割置信度图，计算得出所述重采样分割标注图；
其中，所述重采样分割标注图在待计算像素点的标注值，与所述分割标注图在所述待计算像素点的坐标对应的转换坐标的标注值一致。
8.根据权利要求7所述的病理图像识别方法，其特征在于，所述非均匀重采样处理还包括坐标转换处理，所述坐标转换处理包括：
根据所述重采样分割标注图的至少一个待计算像素点的坐标，所述分割标注图的所有像素点的坐标，以及对应于所述训练图像集的分割置信度图，计算得出至少一个转换坐标；
其中：
所述转换坐标，由所述分割标注图每一个像素点的坐标分别乘以对应的权重，再取平均值得到；
所述分割标注图一个像素点的坐标对应的权重，由所述坐标在所述训练图像集的分割置信度图的值，以及所述坐标与所述重采样分割标注图的一个待计算像素点的坐标的距离共同决定。
9.一种图像识别装置，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8任意一项所述的病理图像识别方法。
10.一种计算机可读存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令用于执行权利要求1至8任意一项所述的病理图像识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310149312.8A CN115880293B (zh) | 2023-02-22 | 2023-02-22 | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310149312.8A CN115880293B (zh) | 2023-02-22 | 2023-02-22 | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115880293A true CN115880293A (zh) | 2023-03-31 |
| CN115880293B CN115880293B (zh) | 2023-05-05 |
Family
ID=85761524
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310149312.8A Active CN115880293B (zh) | 2023-02-22 | 2023-02-22 | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115880293B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036343A (zh) * | 2023-10-07 | 2023-11-10 | 北京大学人民医院 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317308A1 (en) * | 2005-06-24 | 2008-12-25 | Xiaodong Wu | System and methods for image segmentation in N-dimensional space |
| US20130272548A1 (en) * | 2012-04-13 | 2013-10-17 | Qualcomm Incorporated | Object recognition using multi-modal matching scheme |
| GB201419379D0 (en) * | 2014-10-31 | 2014-12-17 | Nokia Corp | Method for alignment of low-quality noisy depth map to the high-resolution colour image |
| CN107330918A (zh) * | 2017-06-26 | 2017-11-07 | 华中科技大学 | 一种基于在线多示例学习的足球视频球员跟踪方法 |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| AU2021107375A4 (en) * | 2021-08-25 | 2021-12-16 | Total Drain Group Pty Ltd | Methods and systems for identifying objects in images |
-
2023
- 2023-02-22 CN CN202310149312.8A patent/CN115880293B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080317308A1 (en) * | 2005-06-24 | 2008-12-25 | Xiaodong Wu | System and methods for image segmentation in N-dimensional space |
| US20130272548A1 (en) * | 2012-04-13 | 2013-10-17 | Qualcomm Incorporated | Object recognition using multi-modal matching scheme |
| GB201419379D0 (en) * | 2014-10-31 | 2014-12-17 | Nokia Corp | Method for alignment of low-quality noisy depth map to the high-resolution colour image |
| US10650520B1 (en) * | 2017-06-06 | 2020-05-12 | PathAI, Inc. | Systems and methods for training a statistical model to predict tissue characteristics for a pathology image |
| CN107330918A (zh) * | 2017-06-26 | 2017-11-07 | 华中科技大学 | 一种基于在线多示例学习的足球视频球员跟踪方法 |
| AU2021107375A4 (en) * | 2021-08-25 | 2021-12-16 | Total Drain Group Pty Ltd | Methods and systems for identifying objects in images |
Non-Patent Citations (1)
| Title |
|---|
| 陈以超;洪汉玉;王俊;张剑;王成刚;: "一种鲁棒性的遥感图像地域分类新方法", 计算机技术与发展 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036343A (zh) * | 2023-10-07 | 2023-11-10 | 北京大学人民医院 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
| CN117036343B (zh) * | 2023-10-07 | 2024-01-16 | 北京大学人民医院 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115880293B (zh) | 2023-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709420B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN111696094B (zh) | 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备 | |
| CN110298802B (zh) | 路面裂缝检测方法及装置 | |
| CN111445478B (zh) | 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法 | |
| CN111652218A (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| EP2772883B1 (en) | Road-surface height shape estimation method and system | |
| US8787642B2 (en) | Method, device and computer-readable recording medium containing program for extracting object region of interest | |
| CN107369158B (zh) | 基于rgb-d图像的室内场景布局估计及目标区域提取方法 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN110246579B (zh) | 一种病理诊断方法及装置 | |
| CN111967449B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN115170571B (zh) | 胸腹水细胞病理图像识别方法、图像识别装置、介质 | |
| CN115880293B (zh) | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 | |
| CN110974306A (zh) | 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统 | |
| CN111340831A (zh) | 点云边缘检测方法和装置 | |
| US20200327673A1 (en) | Method for thinning and connection in linear object extraction from an image | |
| CN115170518A (zh) | 基于深度学习和机器视觉的细胞检测方法及系统 | |
| CN107948721B (zh) | 推送信息的方法和装置 | |
| CN113724267B (zh) | 一种乳腺超声图像肿瘤分割方法及装置 | |
| CN117315406B (zh) | 一种样本图像处理方法、装置及设备 | |
| CN111325263A (zh) | 图像处理方法、装置、智能显微镜、可读存储介质和设备 | |
| CN112819834B (zh) | 基于人工智能的胃部病理图像的分类方法和装置 | |
| CN116385889B (zh) | 基于铁路识别的电力巡检方法、装置、电子设备 | |
| CN111210452B (zh) | 一种基于图割和均值偏移的证件照人像分割方法 | |
| CN111079624B (zh) | 一种样本信息采集的方法、装置、电子设备以及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |