CN113066080A - 切片组织识别方法、装置，细胞识别模型及组织分割模型 - Google Patents
切片组织识别方法、装置，细胞识别模型及组织分割模型 Download PDFInfo
- Publication number
- CN113066080A CN113066080A CN202110421879.7A CN202110421879A CN113066080A CN 113066080 A CN113066080 A CN 113066080A CN 202110421879 A CN202110421879 A CN 202110421879A CN 113066080 A CN113066080 A CN 113066080A
- Authority
- CN
- China
- Prior art keywords
- image
- identified
- tissue
- cell
- slice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims description 50
- 230000005859 cell recognition Effects 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 12
- 238000009432 framing Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000005192 partition Methods 0.000 claims description 3
- 230000002629 repopulating effect Effects 0.000 claims description 2
- 210000001519 tissue Anatomy 0.000 description 234
- 210000004027 cell Anatomy 0.000 description 156
- 238000002372 labelling Methods 0.000 description 17
- 230000003902 lesion Effects 0.000 description 17
- 206010054949 Metaplasia Diseases 0.000 description 10
- 230000001575 pathological effect Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 230000000762 glandular Effects 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 230000007170 pathology Effects 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 208000007882 Gastritis Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000002175 goblet cell Anatomy 0.000 description 4
- 230000000968 intestinal effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 210000004907 gland Anatomy 0.000 description 3
- 206010006187 Breast cancer Diseases 0.000 description 2
- 208000026310 Breast neoplasm Diseases 0.000 description 2
- 206010014733 Endometrial cancer Diseases 0.000 description 2
- 206010014759 Endometrial neoplasm Diseases 0.000 description 2
- 206010060862 Prostate cancer Diseases 0.000 description 2
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 2
- 206010062129 Tongue neoplasm Diseases 0.000 description 2
- 208000023652 chronic gastritis Diseases 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004347 intestinal mucosa Anatomy 0.000 description 2
- 201000007270 liver cancer Diseases 0.000 description 2
- 208000014018 liver neoplasm Diseases 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000010827 pathological analysis Methods 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 201000006134 tongue cancer Diseases 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000590002 Helicobacter pylori Species 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 208000037273 Pathologic Processes Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 210000003892 absorptive cell Anatomy 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 208000016644 chronic atrophic gastritis Diseases 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001156 gastric mucosa Anatomy 0.000 description 1
- 229940037467 helicobacter pylori Drugs 0.000 description 1
- 230000036732 histological change Effects 0.000 description 1
- 238000007489 histopathology method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000000936 intestine Anatomy 0.000 description 1
- 230000015689 metaplastic ossification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 230000009054 pathological process Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种切片组织识别方法、装置，细胞识别模型及组织分割模型。该方法包括：获取待识别切片图像；将待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息；将待识别切片图像输入至组织分割模型中，生成第一图像；其中，第一图像中包括识别出的组织区域；将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并，生成第二图像；其中，第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型；根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像中所识别出的组织区域进行分类。通过上述方式，降低病理医生的工作量，提高切片组织的识别效率以及识别的准确度。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种切片组织识别方法、装置，细胞识别模型及组织分割模型。
背景技术
病理切片是指取一定大小的病变组织，用病理组织学方法制成的薄片。制作时，通常将病变组织包埋在石蜡块里，用切片机切成薄片，再进行染色，用显微镜做进一步检查。医生需要借助高倍显微镜查阅图像，检查标本的组织或细胞的病理改变情况，探究病变发生的原因、发病机理和病发过程，最后做出病理诊断。组织病理和细胞病理不同，组织病理在诊断病变类型时，往往要看一种细胞或多类细胞在不同组织区域的分布、数量及细胞特征。
以慢性萎缩性胃炎为例，据慢性胃炎的病理诊断标准和新悉尼系统的直观模拟评分法，慢性胃炎下的五种组织学变化——Hp(幽门螺旋杆菌)、活动性、炎性反应、萎缩性和肠上皮化生。其中，肠上皮化生是指胃粘模出现了肠腺上皮。化生的肠腺上皮从一般组织病理学观察与小肠上皮的形态及功能非常相似，但也有一部分肠上皮化生则很像大肠上皮。肠化的上皮包括吸收细胞、杯状细胞及潘氏细胞等。医学上，判断腺体是否出现肠化，需要检测腺体中是否出现杯状细胞及潘氏细胞。因此，对细胞的检测以及对腺体的识别是诊断肠上皮化生这一组织学类型的诊断依据。
医生对患者做病理筛查的时候，通常情况下需要进行病理切片的检查，将观测到的组织与组织中的细胞之间进行相互印证，并通过经验判断，才能确切地对患者的症状做出诊断，该方式严重增加了病理医生的工作量，且该方式效率太低。
发明内容
本申请实施例的目的在于提供一种切片组织识别方法、装置，细胞识别模型及组织分割模型，以降低病理医生的工作量，提高切片组织的识别效率。
本发明是这样实现的：
第一方面，本申请实施例提供一种切片组织识别方法，包括：获取待识别切片图像；将所述待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息；将所述待识别切片图像输入至组织分割模型中，生成第一图像；其中，所述第一图像中包括识别出的组织区域；将所述识别出的细胞类型以及所述识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型；根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类。
在本申请实施例中，预先构建好用于识别细胞类型和细胞的位置信息的细胞识别模型以及用于识别出组织区域的组织分割模型，当获取待识别切片图像之后，将该图像分别输入至训练好的两个模型中，得到该图像中识别出的细胞类型、识别出的细胞的位置信息以及识别出的组织区域，最后将三种数据合并即可得到识别出组织区域以及识别出组织区域内部的细胞类型的第二图像，最后再根据细胞类型对组织区域进行分类，即可完成对切片组织的识别。通过上述方式，降低病理医生的工作量，提高切片组织的识别效率以及识别的准确度。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤得到所述细胞识别模型，该步骤包括：获取第一训练样本数据；其中，所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括细胞类型以及细胞的位置信息；基于所述第一训练样本数据将初始模型训练至收敛，得到所述细胞识别模型。
在本申请实施例中，在获取到多张样本切片图像后，需要对每张样本切片图像进行标注，标注出每张样本切片图像中的细胞类型以及细胞的位置信息，然后将多张样本切片图像以及各自对应的标注数据作为样本数据对初始模型进行训练。通过上述方式能够得到具有高识别能力的细胞识别模型，且训练完成的细胞识别模型也可以单独的应用于细胞识别的场景中。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，通过如下步骤得到所述组织分割模型，该步骤包括：获取第二训练样本数据；其中，所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括划分好的组织区域；基于所述第二训练样本数据将初始模型训练至收敛，得到所述组织分割模型。
在本申请实施例中，在获取到多张样本切片图像后，需要对每张样本切片图像进行标注，标注出每张样本切片图像中的组织区域，然后将多张样本切片图像以及各自对应的标注数据作为样本数据对初始模型进行训练。通过上述方式能够得到具有高识别能力的组织分割模型，且训练完成的组织分割模型也可以单独的应用于组织分割的场景中。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述获取待识别切片图像包括：获取第一组织切片图像；将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像；相应的，在得到每个所述待识别切片图像对应的第二图像的分类结果后，所述方法还包括：将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接，形成第二组织切片图像，其中，所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。
由于组织切片图像通常像素尺寸都很大，因此，于本申请实施例中，将高像素的组织切片图像划分为小像素尺寸的待识别切片图像，然后分别对各个小像素尺寸的待识别切片图像进行切片组织识别，最后再将识别后的图像进行拼接。通过将高像素的组织切片图像划分为小像素尺寸的待识别切片图像，便于后续模型的有效识别以及提高模型识别的效率，且通过将识别后的图像进行拼接，便于保持高像素的组织切片图像的完整性。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，所述根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类，包括：根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充；其中，不同细胞类型对应的组织区域所填充的像素值不同，同一细胞类型对应的组织区域填充的像素值相同。
在本申请实施例中，通过不同的像素值实现分类，也即，不同细胞类型对应的组织区域所填充的像素值不同，同一细胞类型对应的组织区域填充的像素值相同。通过上述方式，以便于医生直观的看到切片组织的识别结果。
结合上述第一方面提供的技术方案，在一些可能的实现方式中，在所述根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充之后，所述方法还包括：确定出所述第二图像中包含病变细胞类型的组织区域；计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。
在本申请实施例中，在对第二图像中所识别出的组织区域内部的细胞类型进行像素填充后，还会确定出第二图像中包含病变细胞类型的组织区域；然后计算病变细胞类型的组织区域和识别出的全部组织区域的比值，该比值可以用来确定病变等级。通过上述方式，进一步的降低病理医生的工作量，辅助医生对切片组织的判断。
第二方面，本申请实施例提供一种细胞识别模型，包括：图像特征提取层、感兴趣区域识别层、分类器以及回归层；所述图像特征提取层用于接收输入的待识别切片图像，并利用内部的卷积层提取所述待识别切片图像中的特征信息；所述感兴趣区域识别层与所述图像特征提取层连接；所述感兴趣区域识别层用于根据所述待识别切片图像中的特征信息，识别出感兴趣区域；所述分类器与所述感兴趣区域识别层连接，所述分类器用于对所述感兴趣区域进行分类；所述回归层与所述感兴趣区域识别层连接，所述回归层用于对所述感兴趣区域进行框选，并对框选区域进行修正；其中，所述框选区域包含识别的细胞。
第三方面，本申请实施例提供一种组织分割模型，包括：编码器、语义分割层以及解码器；所述编码器用于对接收输入的待识别切片图像，并提取所述待识别切片图像的图像特征；所述语义分割层与所述编码器连接，所述语义分割层用于标注所述待识别切片图像每个像素所属的对象类别；其中，所述对象类别包括组织区域类别和背景类别；所述解码器与所述语义分割层连接，所述解码器用于根据所述待识别切片图像的图像特征以及所述待识别切片图像每个像素所属的对象类别，输出组织区域分割后的图像。
第四方面，本申请实施例提供一种切片组织识别装置，包括：获取模块，用于获取待识别切片图像；细胞识别模块，用于将所述待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息；组织分割模块，用于将所述待识别切片图像输入至组织分割模型中，生成第一图像；其中，所述第一图像中包括识别出的组织区域；图像融合模块，用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型；分类模块，用于根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类。
第五方面，本申请实施例提供一种电子设备，包括：处理器和存储器，所述处理器和所述存储器连接；所述存储器用于存储程序；所述处理器用于调用存储在所述存储器中的程序，执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
第六方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序在被处理器运行时执行如上述第一方面实施例和/或结合上述第一方面实施例的一些可能的实现方式提供的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种电子设备的结构示意图。
图2为本申请实施例提供的一种切片组织识别方法的步骤流程图。
图3为本申请实施例提供的一种细胞识别模型的结构框图。
图4为本申请实施例提供的一种组织分割模型的结构框图。
图5为本申请实施例提供的一种切片组织识别的效果图。
图6为本申请实施例提供的一种切片组织识别系统的结构框图。
图7为本申请实施例提供的一种切片组织识别装置的模块框图。
图标：100-电子设备；110-处理器；120-存储器；200-细胞识别模型；201-图像特征提取层；202-感兴趣区域识别层；203-分类器；204-回归层；300-组织分割模型；301-编码器；302-语义分割层；303-解码器；400-切片组织识别系统；401-切片组织图像库；402-数据输入模块；403-数据预处理模块；404-标注模块；405-细胞识别模型训练模块；406-组织分割模型训练模块；407-细胞识别模型应用模块；408-组织分割模型应用模块；409-图像处理模块；500-切片组织识别装置；501-获取模块；502-细胞识别模块；503-组织分割模块；504-图像融合模块；505-分类模块。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
鉴于医生对患者做病理筛查的时候，通常情况下需要进行病理切片的检查，将观测到的组织与组织中的细胞之间进行相互印证，并通过经验判断，才能确切的对患者的症状做出诊断，该方式严重增加了病理医生的工作量，且该方式效率太低，本申请发明人经过研究探索，提出以下实施例以解决上述问题。
请参阅图1，本申请实施例提供的一种应用切片组织识别方法及装置的电子设备100的示意性结构框图。本申请实施例中，电子设备100可以是，但不限于个人计算机(Personal Computer，PC)、智能手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)、移动上网设备(Mobile Internet Device，MID)等。在结构上，电子设备100可以包括处理器110和存储器120。
处理器110与存储器120直接或间接地电性连接，以实现数据的传输或交互，例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。切片组织识别装置包括至少一个可以软件或固件(Firmware)的形式存储在存储器120中或固化在电子设备100的操作系统(Operating System，OS)中的软件模块。处理器110用于执行存储器120中存储的可执行模块，例如，切片组织识别装置所包括的软件功能模块及计算机程序等，以实现切片组织识别方法。处理器110可以在接收到执行指令后，执行计算机程序。
其中，处理器110可以是一种集成电路芯片，具有信号处理能力。处理器110也可以是通用处理器，例如，可以是中央处理器(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、分立门或晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。此外，通用处理器可以是微处理器或者任何常规处理器等。
存储器120可以是，但不限于，随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-OnlyMemory，PROM)、可擦可编程序只读存储器(Erasable Programmable Read-Only Memory，EPROM)，以及电可擦编程只读存储器(Electric Erasable Programmable Read-OnlyMemory，EEPROM)。存储器120用于存储程序，处理器110在接收到执行指令后，执行该程序。
需要说明的是，图1所示的结构仅为示意，本申请实施例提供的电子设备100还可以具有比图1更少或更多的组件，或是具有与图1所示不同的配置。此外，图1所示的各组件可以通过软件、硬件或其组合实现。
请参阅图2，图2为本申请实施例提供的切片组织识别方法的步骤流程图，该方法应用于图1所示的电子设备100。需要说明的是，本申请实施例提供的切片组织识别方法不以图2及以下所示的顺序为限制，该方法包括：步骤S101-步骤S105。
步骤S101：获取待识别切片图像。
首先，获取一张待识别切片图像。图像格式为常规的医学影像格式。单张图片中包含有单个病理组织的一个切面。
步骤S102：将待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息。
步骤S103：将待识别切片图像输入至组织分割模型中，生成第一图像；其中，第一图像中包括识别出的组织区域。
步骤S104：将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并，生成第二图像；其中，第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型。
该步骤中，合并可以理解根据识别出的细胞的位置信息，将对应的细胞类型添加至第一图像中，进而使得通过合并所形成的第二图像中，既包含识别出的组织区域，又包含组织区域内部的细胞类型。需要说明的是，由于两个模型均是基于待识别切片图像进行识别，因此，细胞识别模型输出的细胞的位置信息与组织分割模型输出的第一图像上的细胞的位置信息是相同的。
步骤S105：根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像中所识别出的组织区域进行分类。
最后，根据所识别出的组织区域内部的细胞类型，即可将组织区域进行分类。分类后即可确定出正常的组织以及异常的组织。
综上，在本申请实施例中，预先构建好用于识别细胞类型和细胞的位置信息的细胞识别模型以及用于识别出组织区域的组织分割模型，当获取待识别切片图像之后，将该图像分别输入至训练好的两个模型中，得到该图像中识别出的细胞类型、识别出的细胞的位置信息以及识别出的组织区域，最后将三种数据合并即可得到识别出组织区域以及识别出组织区域内部的细胞类型的第二图像，最后再根据细胞类型对组织区域进行分类，即可完成对切片组织的识别。通过上述方式，降低病理医生的工作量，提高切片组织的识别效率以及识别的准确度。
为了便于理解上述方案，首先对本申请实施例所涉及的两种模型进行说明。
其中，通过如下步骤得到细胞识别模型，该步骤包括：获取第一训练样本数据；其中，第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，标注数据包括细胞类型以及细胞的位置信息；基于第一训练样本数据将初始模型训练至收敛，得到细胞识别模型。
当获取到多张样本切片图像后，需要将多张样本切片图像交由有经验的医生或经培训过的专业人员进行标注。标注时，可以通过标注工具在样本切片图像上进行勾画。具体的，可采用框定或画轮廓等方式，获取细胞在样本切片图像中的位置信息，同时标记细胞的种类。
在本申请实施例中，细胞识别模型为一个集成的神经网络数学模型。请参阅图3，图3示出了训练完成的细胞识别模型200。细胞识别模型200的结构包括：图像特征提取层201、感兴趣区域识别层202、分类器203以及回归层204。
图像特征提取层201主要用于接收输入的待识别切片图像，并对输入的待识别切片图像进行处理，具体为利用内部的卷积层提取待识别切片图像中的特征信息。在训练过程中，内部的卷积层抽取图像中的信息，计算权重、偏移值。模型通过卷积层的运算以及卷积计算，规定相关的模型参数，比如规定相关的模型参数后，图像特征提取层201可以提取图像中的特定颜色或形状，在训练过程中可通过误差逆向传播的方法修正模型的参数。
感兴趣区域识别层202与图像特征提取层201连接；感兴趣区域识别层202用于根据待识别切片图像中的特征信息，识别出感兴趣区域。需要说明的是，感兴趣区域为可能包含目标的图像区域。其中，目标即为细胞。
分类器203与感兴趣区域识别层202连接，分类器203可用于对感兴趣区域进行分类，也即，将识别为包含细胞的区域及细胞的种类进行区分。
回归层204与感兴趣区域识别层202连接，回归层204用于对感兴趣区域进行框选，并对框选区域进行修正；其中，框选区域包含识别的细胞。具体的，回归层204主要用于回归到细胞本身，对每一个感兴趣区域中的目标进行框选，并对框选区域的大小和位置进行修正，从而得到准确的细胞的位置信息。
最后，通过分类器203和回归层204即可输出识别出的细胞类型以及识别出的细胞的位置信息。
其中，通过如下步骤得到组织分割模型，该步骤包括：获取第二训练样本数据；其中，第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，标注数据包括划分好的组织区域；基于第二训练样本数据将初始模型训练至收敛，得到组织分割模型。
当获取到多张样本切片图像后，需要将多张样本切片图像交由有经验的医生或经培训过的专业人员进行标注。标注时，可以通过标注工具在样本切片图像上进行勾画。具体的，标注时需要勾画出组织的轮廓，轮廓内为组织区域，并将其重新赋值，而在轮廓外的区域视为背景图，从而得到单通道的图像。
在本申请实施例中，组织分割模型为一个集成的神经网络数学模型。请参阅图4，图4示出了训练完成的组织分割模型300。组织分割模型300的结构包括：编码器301、语义分割层302以及解码器303。三者都含有同类型的结构，如：卷积层、激活函数(ActivateFunction)、池化层(Pooling Layer)等。
术语“卷积层”是指用卷积的方法对图像进行特征提取的结构，由若干卷积单元组成，每个卷积单元通过卷积操作，移动操作，遍历图像，获得图像信息。在一个实例中，设置卷积层的输入通道数为3，输出为64，卷积核大小为7，步长为2，填充像素为3，当输入的是512像素大小的样本切片图像时，输出就变成了256像素大小的本切片图像，做到特征提取的效果。
术语“激活函数”是指在神经网络上运行的函数，它能够把输入映射到输出端，实现非线性操作。于本申请实施例中，激活函数方面，选择“Relu”或“Leaky”函数，且分别使用“SGD”和“Adam”等优化方法进行优化。
术语“池化层”，也称取样层，是指对输入的特征图进行压缩，常用的池化方式有最大池化和均值池化。
编码器301是按照卷积层、激活函数、池化层的方式组成的卷积神经网络(Convolution Neural Networks，CNN)。编码器301用于对接收输入的待识别切片图像，并提取待识别切片图像的图像特征。
语义分割层302与编码器301连接，语义分割层302用于标注待识别切片图像每个像素所属的对象类别；其中，对象类别包括组织区域类别和背景类别。语义分割层302同样是由卷积神经网络组成，不同点在于，于本申请实施例中，语义分割层302中的卷积层，应用了膨胀卷积(Dilated Convolution)也称空洞卷积。
解码器303与语义分割层302连接，解码器303用于根据待识别切片图像的图像特征以及待识别切片图像每个像素所属的对象类别，输出组织区域分割后的图像。
于本申请实施例中，解码器303由卷积神经网络经过上采样操作，将输入的所识别到的图像特征及对象类别，还原到全分辨率的掩膜图。其中，卷积层不再对图像进行特征抽取，而是逐步减少特征层数，直到特征层数减少到分类的类别，输出的通道数为组织类型种类。在一个实例中，只需要划分一个组织，因此输出的通道数为1，在这个通道数下的图层，所有的像素点的值为0或1，1则代表着模型判定此个像素点为组织区域，而0则判定为背景。
通过上述步骤，即可完成对两个模型的训练，进而得到训练完成的细胞识别模型以及训练完成的组织分割模型，下面结合具体的示例对上述切片组织识别方法的具体步骤进行说明。
在一实施例中，步骤S101中获取到的待识别切片图像可以是已经预处理后的图像。预处理的方式可以是对图像进行脱敏处理，以去除待识别切片图像上患者的个人信息，而仅保留图像信息。上述的预处理方式还可以包括对图像进行缩放、剪裁、图像归一化、均衡化等。比如缩放的方式可以采用双线插值法等。本申请对于上述预处理的方式不作限定。
在一实施例中，步骤S101中获取待识别切片图像具体包括：获取第一组织切片图像；将第一组织切片图像分割为多个预设尺寸的待识别切片图像。
由于组织切片图像通常像素尺寸都很大，因此，于本申请实施例中，将高像素的组织切片图像划分为小像素尺寸的待识别切片图像，然后将每个小像素尺寸的待识别切片图像进行个后续的组织识别。通过将高像素的组织切片图像划分为小像素尺寸的待识别切片图像，便于后续模型的有效识别以及提高模型识别的效率，且通过将识别后的图像进行拼接，便于保持高像素的组织切片图像的完整性。
在本申请实施中，分割过程采用滑窗检测的方式进行分割，示例性的，第一组织切片图像的图像尺寸为2048*2048，则采用滑窗检测的方法可以将其分割成16张512*512大小的组织切片图像。512*512即为上述的预设尺寸。
在其他实施例中，预设尺寸还可以是其他的数值，分割时也可以是随机的对第一组织切片图像进行分割，本申请均不作限定。
当得到每个待识别切片图像对应的第二图像的分类结果后，该方法还包括：将每个待识别切片图像对应的包含分类结果的第二图像进行拼接，形成第二组织切片图像。
需要说明的是，拼接后的第二组织切片图像与第一组织切片图像中的组织区域和细胞位置一致。拼接后以便于医生直观的看到切片组织的识别结果。
在一实施例中，步骤S105根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像中所识别出的组织区域进行分类，具体包括：根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像重新进行像素填充。
需要说明的是，填充时，不同细胞类型对应的组织区域所填充的像素值不同，同一细胞类型对应的组织区域填充的像素值相同。示例性的，识别出的组织区域为腺体组织，识别出的细胞类型包括正常细胞和潘氏细胞，此时，可以将包含正常细胞的腺体组织的像素值设定为1；将包含潘氏细胞的腺体组织的像素值设定为2，而背景区域的像素值设定为0。若是识别出的细胞类型还包括杯状细胞，还可将包含杯状细胞的腺体组织的像素值设定为3。对此，本申请不作限定。具体的效果图可以参考图5，图5中，背景区域填充的像素值为0(纯黑)，其余区域的组织根据包含的不同的细胞类型，填充为不同的像素值。显示，通过该方式，可以使得医生直观的看到切片组织的识别结果。
可选地，在根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像重新进行像素填充之后，该方法还包括：确定出第二图像中包含病变细胞类型的组织区域；计算病变细胞类型的组织区域和识别出的全部组织区域的比值。
需要说明的是，计算出的比值可以用来确定病变等级。
作为一种实施方式，可以是基于病变细胞类型的组织区域的数量和识别出的全部组织区域的数量的比值，来确定出病变等级。
作为又一种实施方式，可以是基于病变细胞类型的组织区域的面积和识别出的全部组织区域的面积的比值，来确定出病变等级。
以肠上皮化生病变等级评判标准进行说明，肠上皮化生病变等级包括无、轻度、中度和重度四个等级。其中，等级无定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为0，轻度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之一以下；中度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之一至三分之二；重度定义为包含肠上皮化生病变细胞类型的组织区域和识别出的全部组织区域的数量或面积的比值为三分之二以上。因此，根据基于病变细胞类型的组织区域和识别出的全部组织区域的比值、以及肠上皮化生病变等级评判标准即可确定出对应的病变等级。通过该方式，进一步的降低病理医生的工作量，辅助医生对切片组织的判断。
在其他实施例中，上述的分类过程还可以是根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像的各区域通过文字进行标注。具体的，还可以是基于第二图像中所识别出的组织区域内部的细胞类型，将组织区域进行划分，形成第三图像，然后结合数量统计知识，得到对应的标识；其中，该标识则表征待识别切片图像的病理类别。
在其他实施例中，上述的细胞识别模型以及组织分割模型可以单独应用。
比如，本申请实施例还提供一种细胞识别方法，该方法包括：获取待识别切片图像；将待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息。
又比如，本申请实施例还提供一种组织分割方法，该方法包括：获取待识别切片图像；将待识别切片图像输入至组织分割模型中，生成第一图像；其中，第一图像中包括识别出的组织区域。
此外，在上述对细胞识别模型进行训练时，模型输出的可以是一张完成的图像，图像中包含识别出的细胞类型以及识别出的细胞的位置信息。相应的，在将识别出的细胞类型以及识别出的细胞的位置信息与第一图像进行合并时，是将两个模型输出的图像进行融合。对此，本申请不作限定。
上述的切片组织识别方法可以用于具体的病理中，比如上述方法可以用于识别胃炎病理中的肠上皮化生。当然，该系统还可以应用于肝癌、乳腺癌、前列腺癌，舌癌，子宫内膜癌等的组织识别，本申请不作限定。
请参阅图6，基于同一发明构思，本申请实施例还提供一种切片组织识别系统400。该系统包括：切片组织图像库401、数据输入模块402、数据预处理模块403、标注模块404、细胞识别模型训练模块405、组织分割模型训练模块406、细胞识别模型应用模块407、组织分割模型应用模块408、图像处理模块409。
其中，切片组织图像库401主要用于收集并存储切片图像，所述切片图像是由医生从患者体内切取、钳取或穿刺等取出病变组织，进行病理学检查，经过扫描仪扫描形成的图像。其存储设备，有硬盘、U盘或光盘等，其传输方式为有线传输或无线传输。
数据输入模块402用于从切片组织图像库401获取切片图像。切片图像格式为常规的高清晰度、高像素的医学影像格式，单张切片图像中含有单个病理组织的一个切面。在切片图像输入之前，可以对图像进行脱敏处理，去除患者个人信息，仅保留图像信息。
数据预处理模块403用于将切片图像进行预处理，以改变切片图像的数据量。比如归一化处理、图像增强处理，图像缩放处理。
标注模块404用于多切片图像进行标注，标注应用于细胞检测的数据时，可采用框定或画轮廓等方式，获取细胞在样本切片图像中的位置信息，同时标记细胞的种类。而标注时，可以通过标注工具在样本切片图像上进行勾画。标注应用于细胞检测的数据时需要勾画出组织的轮廓，轮廓内为组织区域，并将其重新赋值，而在轮廓外的区域视为背景图，从而得到单通道的图像。
细胞识别模型训练模块405用于将多张切片图像以及每张样本切片图像对应的标注数据作为训练样本数据进行训练。并将训练过程中传递效果最好的模型作为细胞识别模型应用模块407中的模型。
组织分割模型训练模块406用于将多张切片图像以及每张样本切片图像对应的标注数据作为训练样本数据进行训练。并将训练过程中传递效果最好的模型作为组织分割模型应用模块408中的模型。
上述的传递效果最好的模型可以理解为鲁棒性最好，泛化能力最强的模型作为系统应用侧的模型。
细胞识别模型应用模块407用于接收待识别切片图像，输出识别出的细胞类型以及识别出的细胞的位置信息。
组织分割模型应用模块408用于接收待识别切片图像，输出第一图像；其中，所述第一图像中包括识别出的组织区域。
图像处理模块409用于将识别出的细胞类型以及识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，第二图像中包括识别出的组织区域以及识别出的组织区域内部的细胞类型；根据第二图像中所识别出的组织区域内部的细胞类型，将第二图像中所识别出的组织区域进行分类。
上述的切片组织识别系统400可以用于具体的病理中，比如上述系统可以用于识别胃炎的肠上皮化生。当然，该系统还可以应用于肝癌、乳腺癌、前列腺癌，舌癌，子宫内膜癌等的组织识别，本申请不作限定。
请参阅图7，基于同一发明构思，本申请实施例还提供一种切片组织识别装置500，该装置包括：获取模块501、细胞识别模块502、组织分割模块503、图像融合模块504以及分类模块505。
获取模块501，用于获取待识别切片图像。
细胞识别模块502，用于将所述待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息。
组织分割模块503，用于将所述待识别切片图像输入至组织分割模型中，生成第一图像；其中，所述第一图像中包括识别出的组织区域。
图像融合模块504，用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型。
分类模块505，用于根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类。
可选地，切片组织识别装置500还包括第一训练模块。第一训练模块用于获取第一训练样本数据；其中，所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括细胞类型以及细胞的位置信息；基于所述第一训练样本数据将初始模型训练至收敛，得到所述细胞识别模型。
可选地，切片组织识别装置500还包括第二训练模块。第二训练模块用于获取第二训练样本数据；其中，所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括划分好的组织区域；基于所述第二训练样本数据将初始模型训练至收敛，得到所述组织分割模型。
可选地，获取模块501具体用于获取第一组织切片图像；将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像。相应的，切片组织识别装置500还包括拼接模块；拼接模块用于在得到每个所述待识别切片图像对应的第二图像的分类结果后，将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接，形成第二组织切片图像，其中，所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。
可选地，分类模块505具体用于根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充；其中，不同细胞类型对应的组织区域所填充的像素值不同，同一细胞类型对应的组织区域填充的像素值相同。
可选地，切片组织识别装置500还包括计算模块，计算模块用于在所述根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充之后，确定出所述第二图像中包含病变细胞类型的组织区域；计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。
需要说明的是，由于所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序在被运行时执行上述实施例中提供的方法。
该存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
在本申请所提供的实施例中，应该理解到，所揭露装置、方法和系统，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种切片组织识别方法，其特征在于，包括：
获取待识别切片图像；
将所述待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息；
将所述待识别切片图像输入至组织分割模型中，生成第一图像；其中，所述第一图像中包括识别出的组织区域；
将所述识别出的细胞类型以及所述识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型；
根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类。
2.根据权利要求1所述的方法，其特征在于，通过如下步骤得到所述细胞识别模型，该步骤包括：
获取第一训练样本数据；其中，所述第一训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括细胞类型以及细胞的位置信息；
基于所述第一训练样本数据将初始模型训练至收敛，得到所述细胞识别模型。
3.根据权利要求1所述的方法，其特征在于，通过如下步骤得到所述组织分割模型，该步骤包括：
获取第二训练样本数据；其中，所述第二训练样本数据包括多张样本切片图像以及每张样本切片图像对应的标注数据，所述标注数据包括划分好的组织区域；
基于所述第二训练样本数据将初始模型训练至收敛，得到所述组织分割模型。
4.根据权利要求1所述的方法，其特征在于，所述获取待识别切片图像包括：
获取第一组织切片图像；
将所述第一组织切片图像分割为多个预设尺寸的所述待识别切片图像；
相应的，在得到每个所述待识别切片图像对应的第二图像的分类结果后，所述方法还包括：
将每个所述待识别切片图像对应的包含分类结果的第二图像进行拼接，形成第二组织切片图像，其中，所述第二组织切片图像与所述第一组织切片图像中的组织区域和细胞位置一致。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类，包括：
根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充；
其中，不同细胞类型对应的组织区域所填充的像素值不同，同一细胞类型对应的组织区域填充的像素值相同。
6.根据权利要求5所述的方法，其特征在于，在所述根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像重新进行像素填充之后，所述方法还包括：
确定出所述第二图像中包含病变细胞类型的组织区域；
计算所述病变细胞类型的组织区域和识别出的全部组织区域的比值。
7.一种细胞识别模型，其特征在于，包括：图像特征提取层、感兴趣区域识别层、分类器以及回归层；
所述图像特征提取层用于接收输入的待识别切片图像，并利用内部的卷积层提取所述待识别切片图像中的特征信息；
所述感兴趣区域识别层与所述图像特征提取层连接；所述感兴趣区域识别层用于根据所述待识别切片图像中的特征信息，识别出感兴趣区域；
所述分类器与所述感兴趣区域识别层连接，所述分类器用于对所述感兴趣区域进行分类；
所述回归层与所述感兴趣区域识别层连接，所述回归层用于对所述感兴趣区域进行框选，并对框选区域进行修正；其中，所述框选区域包含识别的细胞。
8.一种组织分割模型，其特征在于，包括：编码器、语义分割层以及解码器；
所述编码器用于对接收输入的待识别切片图像，并提取所述待识别切片图像的图像特征；
所述语义分割层与所述编码器连接，所述语义分割层用于标注所述待识别切片图像每个像素所属的对象类别；其中，所述对象类别包括组织区域类别和背景类别；
所述解码器与所述语义分割层连接，所述解码器用于根据所述待识别切片图像的图像特征以及所述待识别切片图像每个像素所属的对象类别，输出组织区域分割后的图像。
9.一种切片组织识别装置，其特征在于，包括：
获取模块，用于获取待识别切片图像；
细胞识别模块，用于将所述待识别切片图像输入至细胞识别模型中，获取识别出的细胞类型以及识别出的细胞的位置信息；
组织分割模块，用于将所述待识别切片图像输入至组织分割模型中，生成第一图像；其中，所述第一图像中包括识别出的组织区域；
图像融合模块，用于将所述识别出的细胞类型与所述识别出的细胞的位置信息与所述第一图像进行合并，生成第二图像；其中，所述第二图像中包括所述识别出的组织区域以及所述识别出的组织区域内部的细胞类型；
分类模块，用于根据所述第二图像中所识别出的组织区域内部的细胞类型，将所述第二图像中所识别出的组织区域进行分类。
10.一种电子设备，其特征在于，包括：处理器和存储器，所述处理器和所述存储器连接；
所述存储器用于存储程序；
所述处理器用于运行存储在所述存储器中的程序，执行如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421879.7A CN113066080A (zh) | 2021-04-19 | 2021-04-19 | 切片组织识别方法、装置，细胞识别模型及组织分割模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110421879.7A CN113066080A (zh) | 2021-04-19 | 2021-04-19 | 切片组织识别方法、装置，细胞识别模型及组织分割模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113066080A true CN113066080A (zh) | 2021-07-02 |
Family
ID=76567062
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110421879.7A Pending CN113066080A (zh) | 2021-04-19 | 2021-04-19 | 切片组织识别方法、装置，细胞识别模型及组织分割模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066080A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418995A (zh) * | 2022-01-19 | 2022-04-29 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于显微镜图像的级联藻类细胞统计方法 |
| CN114972751A (zh) * | 2022-05-11 | 2022-08-30 | 平安科技（深圳）有限公司 | 一种医学图像识别方法、电子设备、存储介质 |
| CN115222734A (zh) * | 2022-09-20 | 2022-10-21 | 山东大学齐鲁医院 | 一种用于胃黏膜肠上皮化生的图像分析方法及系统 |
| CN115294426A (zh) * | 2022-10-08 | 2022-11-04 | 深圳市益心达医学新技术有限公司 | 介入医学设备的跟踪方法、装置、设备及存储介质 |
| CN115908363A (zh) * | 2022-12-07 | 2023-04-04 | 赛维森(广州)医疗科技服务有限公司 | 肿瘤细胞统计方法、装置、设备和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108140239A (zh) * | 2015-09-23 | 2018-06-08 | 皇家飞利浦有限公司 | 用于组织辨识的方法和装置 |
| CN110705403A (zh) * | 2019-09-19 | 2020-01-17 | 平安科技（深圳）有限公司 | 细胞分类方法、装置、介质及电子设备 |
| CN111417958A (zh) * | 2017-12-07 | 2020-07-14 | 文塔纳医疗系统公司 | 用于生物图像中的联合细胞和区域分类的深度学习系统和方法 |
| CN111527519A (zh) * | 2017-12-22 | 2020-08-11 | 文塔纳医疗系统公司 | 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法 |
| CN111524132A (zh) * | 2020-05-09 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 识别待检测样本中异常细胞的方法、装置和存储介质 |
| CN112581438A (zh) * | 2020-12-10 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
-
2021
- 2021-04-19 CN CN202110421879.7A patent/CN113066080A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108140239A (zh) * | 2015-09-23 | 2018-06-08 | 皇家飞利浦有限公司 | 用于组织辨识的方法和装置 |
| CN111417958A (zh) * | 2017-12-07 | 2020-07-14 | 文塔纳医疗系统公司 | 用于生物图像中的联合细胞和区域分类的深度学习系统和方法 |
| US20200342597A1 (en) * | 2017-12-07 | 2020-10-29 | Ventana Medical Systems, Inc. | Deep-learning systems and methods for joint cell and region classification in biological images |
| CN111527519A (zh) * | 2017-12-22 | 2020-08-11 | 文塔纳医疗系统公司 | 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法 |
| CN110705403A (zh) * | 2019-09-19 | 2020-01-17 | 平安科技（深圳）有限公司 | 细胞分类方法、装置、介质及电子设备 |
| CN111524132A (zh) * | 2020-05-09 | 2020-08-11 | 腾讯科技（深圳）有限公司 | 识别待检测样本中异常细胞的方法、装置和存储介质 |
| CN112581438A (zh) * | 2020-12-10 | 2021-03-30 | 腾讯科技（深圳）有限公司 | 切片图像识别方法、装置和存储介质及电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 董丹茹: "组织切片图像的细胞核分割方法", 《中国优秀硕士学位论文全文数据库 (医药卫生科技辑)》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114418995A (zh) * | 2022-01-19 | 2022-04-29 | 生态环境部长江流域生态环境监督管理局生态环境监测与科学研究中心 | 一种基于显微镜图像的级联藻类细胞统计方法 |
| CN114972751A (zh) * | 2022-05-11 | 2022-08-30 | 平安科技（深圳）有限公司 | 一种医学图像识别方法、电子设备、存储介质 |
| CN115222734A (zh) * | 2022-09-20 | 2022-10-21 | 山东大学齐鲁医院 | 一种用于胃黏膜肠上皮化生的图像分析方法及系统 |
| CN115222734B (zh) * | 2022-09-20 | 2023-01-17 | 山东大学齐鲁医院 | 一种用于胃黏膜肠上皮化生的图像分析方法及系统 |
| CN115294426A (zh) * | 2022-10-08 | 2022-11-04 | 深圳市益心达医学新技术有限公司 | 介入医学设备的跟踪方法、装置、设备及存储介质 |
| CN115294426B (zh) * | 2022-10-08 | 2022-12-06 | 深圳市益心达医学新技术有限公司 | 介入医学设备的跟踪方法、装置、设备及存储介质 |
| CN115908363A (zh) * | 2022-12-07 | 2023-04-04 | 赛维森(广州)医疗科技服务有限公司 | 肿瘤细胞统计方法、装置、设备和存储介质 |
| CN115908363B (zh) * | 2022-12-07 | 2023-09-22 | 赛维森(广州)医疗科技服务有限公司 | 肿瘤细胞统计方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113066080A (zh) | 切片组织识别方法、装置，细胞识别模型及组织分割模型 | |
| CN109741346B (zh) | 感兴趣区域提取方法、装置、设备及存储介质 | |
| CN111325739B (zh) | 肺部病灶检测的方法及装置，和图像检测模型的训练方法 | |
| CN108665456B (zh) | 基于人工智能的乳腺超声病灶区域实时标注的方法及系统 | |
| CN111553892B (zh) | 基于深度学习的肺结节分割计算方法、装置及系统 | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| CN110276408B (zh) | 3d图像的分类方法、装置、设备及存储介质 | |
| US20220383661A1 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
| WO2023241031A1 (zh) | 基于深度学习的骨性关节炎智能三维诊断方法及系统 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| CN115526834A (zh) | 免疫荧光图像检测方法及装置、设备、存储介质 | |
| CN110992439B (zh) | 纤维束追踪方法、计算机设备和存储介质 | |
| CN110060246B (zh) | 一种图像处理方法、设备及存储介质 | |
| CN110738633A (zh) | 一种机体组织的三维图像处理方法及相关设备 | |
| CN117036343B (zh) | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 | |
| CN111401102A (zh) | 深度学习模型训练方法及装置、电子设备及存储介质 | |
| CN111160442B (zh) | 图像分类方法、计算机设备和存储介质 | |
| CN109859218B (zh) | 病理图关键区域确定方法、装置、电子设备及存储介质 | |
| US11430117B2 (en) | Systems and methods to process electronic images to provide localized semantic analysis of whole slide images | |
| CN115497092A (zh) | 图像处理方法、装置及设备 | |
| CN115564750A (zh) | 术中冰冻切片图像识别方法及装置、设备、存储介质 | |
| CN116051470A (zh) | 一种基于数据增强的肝脏ct术后肿瘤分割方法及装置 | |
| CN112884762A (zh) | 基于人工智能的胃活检组织学分型系统及分型方法 | |
| CN112330627A (zh) | 一种切片图像处理方法及模型训练方法和系统 | |
| CN111429440A (zh) | 显微病理图像细胞充足检测方法、系统、设备、装置及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |