CN115063403A - 三级淋巴结构的识别方法、装置及设备 - Google Patents
三级淋巴结构的识别方法、装置及设备 Download PDFInfo
- Publication number
- CN115063403A CN115063403A CN202210888091.1A CN202210888091A CN115063403A CN 115063403 A CN115063403 A CN 115063403A CN 202210888091 A CN202210888091 A CN 202210888091A CN 115063403 A CN115063403 A CN 115063403A
- Authority
- CN
- China
- Prior art keywords
- tertiary
- detection
- image
- pathological
- lymph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000002751 lymph Anatomy 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000001514 detection method Methods 0.000 claims abstract description 202
- 230000001926 lymphatic effect Effects 0.000 claims abstract description 79
- 238000012549 training Methods 0.000 claims abstract description 31
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 11
- 230000001575 pathological effect Effects 0.000 claims description 129
- 206010028980 Neoplasm Diseases 0.000 claims description 112
- 208000033878 Tertiary Lymphoid Structures Diseases 0.000 claims description 104
- 230000000694 effects Effects 0.000 claims description 41
- 238000004445 quantitative analysis Methods 0.000 claims description 34
- 238000004393 prognosis Methods 0.000 claims description 31
- 238000004451 qualitative analysis Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 8
- 230000000875 corresponding effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 11
- 210000001519 tissue Anatomy 0.000 description 9
- 201000011510 cancer Diseases 0.000 description 7
- 238000009169 immunotherapy Methods 0.000 description 6
- 230000007170 pathology Effects 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 5
- 230000035945 sensitivity Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 206010009944 Colon cancer Diseases 0.000 description 2
- 208000001333 Colorectal Neoplasms Diseases 0.000 description 2
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000006990 cholangiocarcinoma Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 206010073071 hepatocellular carcinoma Diseases 0.000 description 2
- 231100000844 hepatocellular carcinoma Toxicity 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 206010041823 squamous cell carcinoma Diseases 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 206010006187 Breast cancer Diseases 0.000 description 1
- 208000026310 Breast neoplasm Diseases 0.000 description 1
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 1
- 206010061534 Oesophageal squamous cell carcinoma Diseases 0.000 description 1
- 206010061902 Pancreatic neoplasm Diseases 0.000 description 1
- 208000036765 Squamous cell carcinoma of the esophagus Diseases 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 210000001744 T-lymphocyte Anatomy 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000003719 b-lymphocyte Anatomy 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 1
- 208000007276 esophageal squamous cell carcinoma Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 201000010536 head and neck cancer Diseases 0.000 description 1
- 208000014829 head and neck neoplasm Diseases 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000036732 histological change Effects 0.000 description 1
- 210000002865 immune cell Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014899 intrahepatic bile duct cancer Diseases 0.000 description 1
- 201000007450 intrahepatic cholangiocarcinoma Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 201000007270 liver cancer Diseases 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 201000005202 lung cancer Diseases 0.000 description 1
- 208000020816 lung neoplasm Diseases 0.000 description 1
- 201000005243 lung squamous cell carcinoma Diseases 0.000 description 1
- 208000015486 malignant pancreatic neoplasm Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 201000002528 pancreatic cancer Diseases 0.000 description 1
- 208000008443 pancreatic carcinoma Diseases 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010186 staining Methods 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
Abstract
本申请提出一种三级淋巴结构的识别方法、装置及设备，其中，该三级淋巴结构的识别方法包括：获取待识别图像；基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。本申请实施例可以提高三级淋巴结构的识别效率和准确性。
Description
技术领域
本申请涉及一种图像处理技术领域，尤其涉及一种三级淋巴结构的识别方法、装置及设备。
背景技术
恶性肿瘤是一个威胁全球人类健康的公共问题，除血液系统肿瘤之外，实体瘤占了恶性肿瘤的绝大部分。手术是目前治疗实体瘤的重要手段，利用手术过程中获得的肿瘤组织可进行准确的病理诊断及分期，其具体方法为将手术切除的肿瘤组织制作成病理切片，病理医生通过光学显微镜观察组织结构的变异程度、细胞核的不典型性、细胞核有丝分裂象、细胞密度及细胞对周围组织结构的侵袭状态等判断该组织学变化是否为癌症、癌症的分类及组织学分级，从而实现恶性肿瘤的病理分期，以便进行术后预后预测。这种传统的依赖于组织学改变的人工评价，难免存在主观性强、可重复性差等问题。
近年研究发现，实体瘤原发灶中的免疫细胞（主要为B淋巴细胞和T淋巴细胞）聚集可形成三级淋巴结构，三级淋巴结构在实体瘤的发生和发展过程中发挥着重要作用，因而可通过观察三级淋巴结构来进行术后预后预测及免疫治疗疗效预测。但是，由于三级淋巴结构仍依靠病理医生肉眼观察其特定的结构图案来进行人工识别。为了确保识别的准确性，还需要多个医生对识别结果进行交叉验证。在面对海量病理图像时，一方面，人工识别方式无法短时间内完成大量病理图像的识别，其识别效率低；另一方面，人工识别方式容易受人体疲劳度及医疗资源等多种因素干扰，使得人工识别出现错漏，降低了识别的准确性。
发明内容
本申请实施例提供一种三级淋巴结构的识别方法、装置及设备，以解决相关技术存在的问题，技术方案如下：
第一方面，本申请实施例提供了一种三级淋巴结构的识别方法，包括：
获取待识别图像；
基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；
基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
在一种实施方式中，基于检测框、检测概率及检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，包括：
在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；
在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
第二方面，本申请实施例提供了一种病例三级淋巴结构的识别方法，包括：
按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；
确定各病理图像的肿瘤区域及癌旁区域；
将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；
基于上述任一种实施方式的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；
基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
在一种实施方式中，该病例三级淋巴结构的识别方法还包括：
对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到病例的第一定量分析结果；
对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到病例的第二定量分析结果。
在一种实施方式中，该病例三级淋巴结构的识别方法还包括：
基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。
在一种实施方式中，该病例三级淋巴结构的识别方法还包括如下至少之一：
基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；
基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
第三方面，本申请实施例提供了一种三级淋巴结构的识别装置，包括：
获取模块，用于获取待识别图像；
检测模块，用于基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；
确定模块，用于基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
第四方面，本申请实施例提供了一种病例三级淋巴结构的识别装置，包括：
扫描模块，用于按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；
第一确定模块，用于确定各病理图像的肿瘤区域及癌旁区域；
划分模块，用于将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；
识别模块，用于基于上述任一种实施方式的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；
第二确定模块，用于基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
第五方面，本申请实施例提供了一种识别设备，该识别设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的识别方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。
上述技术方案中的优点或有益效果至少包括：由于三级淋巴结构检测模型可快速、高效对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，从而可利用检测框、检测概率和检测类别从预选三级淋巴结构中快速、高效确定出待识别图像中不同成熟度的三级淋巴结构，提高了三级淋巴结构的检测效率和识别效率。并且，因三级淋巴结构检测模型的检测过程不易受到干扰，其对待识别图像的检测标准可保持一致，还有助于提高识别的准确性。如此，在面对海量病理图像时，采用本申请实施例的识别方法在短时间内可对各病理图像中不同成熟度的三级淋巴结构自动进行快速、高效、准确的识别，提高了三级淋巴结构的识别速度、识别效率和准确性，有利于减小病理医生的工作强度，节省医疗资源，更有助于病例（即患者）免疫治疗疗效和预后预测的判断。
上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本申请进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本申请公开的一些实施方式，而不应将其视为是对本申请范围的限制。
图1示出根据本申请一实施例的三级淋巴结构的识别方法的流程示意图。
图2示出训练用图像中各标注图块的效果图。
图3示出三级淋巴结构检测模型对成熟三级淋巴结构的受试者工作特性曲线的示意图及对非成熟三级淋巴结构的受试者工作特性曲线的示意图。
图4示出根据本申请一实施例的病例三级淋巴结构的识别方法的流程示意图。
图5示出标注好肿瘤区域及癌旁区域的病理图像的效果图。
图6示出图5的肿瘤区域中各第一图块的识别结果效果图。
图7示出图5的癌旁区域中各第二图块的识别结果效果图。
图8示出根据本申请一实施例的病例定性分析结果的确定流程示意图。
图9示出本申请的病例三级淋巴结构的识别方法的一个优选实施例的流程示意图。
图10示出根据本申请一实施例的三级淋巴结构的识别装置的结构框图。
图11示出根据本申请一实施例的病例三级淋巴结构的识别装置的结构框图。
具体实施方式
在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本申请的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本申请一实施例的三级淋巴结构的识别方法的流程示意图。如图1所示，该三级淋巴结构的识别方法可以包括：
步骤S110、获取待识别图像；示例性地，待识别图像可以是实体瘤病例原发灶组织的病理图像；
步骤S120、基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；
步骤S130、基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
示例性地，步骤S120可以是将待识别图像输入三级淋巴结构检测模型，使三级淋巴结构检测模型输出待识别图像中预选三级淋巴结构的检测框、检测概率及检测类别，检测框、检测概率及检测类别可构成检测结果；其中，三级淋巴结构检测模型为预先训练生成，三级淋巴结构检测模型的训练方法包括：
步骤S121、将多个训练用病理切片按照预设的放大倍数进行扫描，得到多个训练用图像，多个病理切片与多个训练用图像一一对应；例如，采用Vectra Polaris全自动定量病理成像系统、AxioScan.Z1全自动数字玻片扫描系统、Leica Aperio全自动扫描系统、江丰自动玻片扫描仪等按照40X放大倍数（每个像素的边长为0.25μm）对病理切片进行扫描成像，得到训练用图像；其中，病理切片包括但不限于食管鳞癌等实体瘤病例的原发灶苏木素伊红染色病理切片；优选地，多个病理切片可以选用不同类型实体瘤病例的病理切片，以使生成的三级淋巴结构检测模型可对不同类型实体瘤病例（即患者）的病理图像中三级淋巴结构进行目标检测。
步骤S122、将各训练用图像分别自动划分成多个图块，各图块的尺寸相同；例如，请参考图2，可使用QuPath等医学图像标注软件自动将各病理图像按照2048像素ⅹ2048像素的尺寸进行分割，使训练用图像分割成多个图块，图2左侧的效果图示出将训练用图像分割成72个图块。
步骤S123、标注出各图块中的成熟三级淋巴结构和非成熟三级淋巴结构，得到标注图块；在一个示例中，如图2所示，可采用LabelImg软件等数据标注软件对各图块进行标注，图2右侧的效果图示出第7行第7列图块的局部示意图，其中，实线矩形框标注出成熟（Mature）三级淋巴结构，虚线矩形框标注出非成熟（Immature）三级淋巴结构。
步骤S124、将标注图块按照预设比例分成训练集、验证集和测试集；例如，预设比例可以为0.8：0.15：0.05，在标注图块的数量为3852的情况下，将3082个标注图块作为训练集的样本图像，将577个标注图块作为验证集的样本图像，将193个标注图块作为验证集的样本图像；可以理解的是，标注图块的数量及预设比例也可以根据实际需要进行选择和调整，本申请实施例对此不作限制。
步骤S125、采用训练集中的样本图像对大规模卷积神经网络进行迁移学习；其中，大规模卷积神经网络包括但不限于Inception-Resnet-v2网络模型，还可采用MicrosoftCOCO（Common Objects in Context）数据集预先训练好的权重对Inception-Resnet-v2网络模型进行初始化，以进行迁移学习，如此可简化训练过程，降低训练的时间成本，有助于快速生成三级淋巴结构检测模型。
步骤S126、在迁移学习的迭代次数达到预设次数的情况下，生成三级淋巴结构检测模型。优选地，预设次数为200000次，预设次数还可以根据实际需要进行选择和调整。
采用上述训练方法训练大规模卷积神经网络所生成的三级淋巴结构检测模型对成熟三级淋巴结构检测的灵敏度（亦即敏感性）为94.4%、特异性为99%，对非成熟三级淋巴结构检测的灵敏度为96.1%、特异性为87.2%。其中，灵敏度和特异性用于判断诊断试验的结果的真实性和可靠性，灵敏度是指从真阳性病例和假阳性病例中确定出真阳性病例的比例，特异性是指从真阴性病例和假阳性病例中确定出真阴性病例的比例。如此可见，采用上述训练方法训练生成的三级淋巴结构检测模型具有良好的检测效能。此外，如图3所示，图3左侧示出三级淋巴结构检测模型对成熟三级淋巴结构的受试者工作特性曲线的示意图，图3右侧示出三级淋巴结构检测模型对非成熟三级淋巴结构的受试者工作特性曲线的示意图，其中成熟三级淋巴结构的受试者工作特性曲线（图3左侧）下面积为0.967（95%置信区间为0.946~0.982），非成熟三级淋巴结构的受试者工作特性曲线（图3右侧）下面积为0.916（95%置信区间为0.887~0.940），因而三级淋巴结构检测模型具有良好的检测性能。
在一个示例中，待识别图像的尺寸与样本图像的尺寸相同。通过设置待识别图像的尺寸与样本图像的尺寸相同，可提高三级淋巴结构检测模型对待识别图像进行目标检测的准确性。
根据本申请实施例的识别方法，由于三级淋巴结构检测模型可快速、高效对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，从而可利用检测框、检测概率和检测类别从预选三级淋巴结构中快速、高效确定出待识别图像中不同成熟度的三级淋巴结构，提高了三级淋巴结构的检测效率和识别效率。并且，因三级淋巴结构检测模型的检测过程不易受到干扰，其对待识别图像的检测标准可保持一致，还有助于提高识别的准确性。如此，在面对海量病理图像时，采用本申请实施例的识别方法在短时间内可对各病理图像中不同成熟度的三级淋巴结构自动进行快速、高效、准确的识别，提高了三级淋巴结构的识别速度、识别效率和准确性，有利于减小病理医生的工作强度，节省医疗资源，更有助于病例免疫治疗疗效和预后预测效果的判断。
在一种实施方式中，步骤S130、基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果，包括：
在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；
在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
在一种实施方式中，该三级淋巴结构的识别方法还可以包括：在检测概率小于概率阈值的情况下，删除与检测概率对应的检测框和检测类别。
示例性地，概率阈值可以是50%~~100%（包括端点值）之间的任一值，例如，概率阈值可以是50%、60%、70%、80%、90%、95%和100%中的任一值。
示例性地，以概率阈值为50%为例，预选三级淋巴结构包括一个或多个，在检测概率大于或等于50%且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构。在检测概率大于或等于50%且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。在检测概率小于50%的情况下，删除对应的检测框和检测类别。
上述方案，利用检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；以及，利用检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。如此，可提高识别成熟三级淋巴结构和非成熟三级淋巴结构的准确性
图4示出根据本申请一实施例的病例三级淋巴结构的识别方法的流程示意图。如图4所示，该病例三级淋巴结构的识别方法包括：
步骤S410、按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；示例性地，多个病理切片分别采用实体瘤病例的多个原发灶组织制成，多个病理切片与多个原发病灶组织一一对应；
步骤S420、确定各病理图像的肿瘤区域及癌旁区域；肿瘤区域为实体瘤原发灶组织中肿瘤组织的图像，癌旁区域为实体瘤原发灶组织中癌旁组织的图像；
步骤S430、将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；
步骤S440、基于三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；其中，三级淋巴结构的识别方法为前文中任一实施例的三级淋巴结构的识别方法，在此不赘述；
步骤S450、基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
示例性地，步骤S410可以是采用Vectra Polaris全自动定量病理成像系统、AxioScan.Z1全自动数字玻片扫描系统、Leica Aperio全自动扫描系统、江丰自动玻片扫描仪等按照40X放大倍数（即每个像素的边长为0.25μm）对分别对多个病理切片进行扫描成像，得到多个病理图像，多个病理图像与多个病理切片一一对应。通过将病理切片按照预设的放大倍数进行扫描成像，使得生成的病理图像可充分显示病理切片中实体瘤病例的原发灶组织的形态及微观细节，有助于提高后续三级淋巴结构识别的准确性。
示例性地，请一并参考图5，步骤S420可以是采用QuPath软件等医学图像标注软件对各病理图像进行人工标注来确定各病理图像的肿瘤区域和癌旁区域。优选地，在人工标注的过程中还可以利用医学图像标注软件记录各病理图像的肿瘤区域和癌旁区域的面积。
示例性地，请一并参考图6，步骤S430包括：按照预设的分割尺寸将肿瘤区域分割成多个第一图块；以及，请一并参考图7，按照预设的分割尺寸将癌旁区域分割成多个第二图块；其中，分割尺寸包括但不限于2048像素ⅹ2048像素，分割方式可以为使用QuPath等医学图像标注软件进行自动分割。待识别图像由于仅对肿瘤区域和癌旁区域进行图像分割，可减少图像分割的运算量，提高图像分割速度和效率。
示例性地，步骤S440中各第一图块的识别方法及各第二图块的识别方法可参考前文实施例，在此不赘述。如此，可确定出各第一图块的成熟三级淋巴结构和非成熟三级淋巴结构，以及确定出各第二图块的成熟三级淋巴结构和非成熟三级淋巴结构。例如，请一并参考图6和图7，图6右侧效果图示出第4行第4列的第一图块的成熟三级淋巴结构和非成熟三级淋巴结构（亦即第4行第4列的第一图块的识别结果，图6省略了其余第一图块的识别结果），其中，实线矩形框所框选区域为成熟（Mature）三级淋巴结构，其检测概率为99%，虚线矩形框所框选区域为非成熟（Immature）三级淋巴结构，其检测概率均为99%。图7右侧效果图示出第3行第2列的第二图块的非成熟（Immature）三级淋巴结构（亦即第3行第2列的第二图块的识别结果，图7省略了其余第二图块的识别结果），其检测概率均为99%，该第二图块不存在成熟三级淋巴结构。
示例性地，步骤S450可以包括：将所有第一图块的成熟三级淋巴结构作为肿瘤区域的成熟三级淋巴结构，以及，将所有第一图块的非成熟三级淋巴结构作为肿瘤区域的非成熟三级淋巴结构；将所有第二图块的成熟三级淋巴结构作为癌旁区域的成熟三级淋巴结构，以及，将所有第二图块的非成熟三级淋巴结构作为癌旁区域的非成熟三级淋巴结构；成熟三级淋巴结构和非成熟三级淋巴结构构成三级淋巴结构。
根据本申请实施例的识别方法，通过将病例的各病理图像的肿瘤区域划分成多个第一图块以及将各病理图像的癌旁区域划分成多个第二图块，并利用三级淋巴结构的识别方法分别对各第一图块和各第二图块进行识别，得到各第一图块和各第二图块的识别结果，从而基于各第一图块的识别结果，确定出肿瘤区域的三级淋巴结构，以及基于各第二图块的识别结果，确定出癌旁区域的三级淋巴结构，可实现肿瘤区域和癌旁区域的三级淋巴结构的分区识别。如此，可提高病例三级淋巴结果分区域识别的识别效率和准确性。
在一种实施方式中，该识别方法还可以包括：
步骤S460、对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到病例的第一定量分析结果；
步骤S470、对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到病例的第二定量分析结果。
示例性地，第一定量分析结果包括所有肿瘤区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及所有肿瘤区域内三级淋巴结构的总密度；步骤S460可以包括：
分别统计各病理图像的肿瘤区域内成熟三级淋巴结构的数量及非成熟三级淋巴结构的数量，得到所有肿瘤区域内成熟三级淋巴结构的总数量及非成熟三级淋巴结构的总数量；
基于所有肿瘤区域内成熟三级淋巴结构的总数量及所有肿瘤区域的总面积，确定所有肿瘤区域内成熟三级淋巴结构的总密度；
基于所有肿瘤区域内非成熟三级淋巴结构的数量及所有肿瘤区域的总面积，确定所有肿瘤区域内非成熟三级淋巴结构的总密度；
基于所有肿瘤区域内成熟三级淋巴结构的密度及非成熟淋巴结构的密度，确定所有肿瘤区域内三级淋巴结构的密度。
在一个示例中，所有肿瘤区域内成熟三级淋巴结构的总密度=所有肿瘤区域内成熟三级淋巴结构的总数量/所有肿瘤区域的总面积，所有肿瘤区域内非成熟三级淋巴结构的总密度=所有肿瘤区域内非成熟三级淋巴结构的数量/所有肿瘤区域的总面积，所有肿瘤区域内三级淋巴结构的总密度=所有肿瘤区域内成熟三级淋巴结构的总密度＋所有肿瘤区域内非成熟三级淋巴结构的总密度。
上述方案，通过对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，可确定出病例的所有病理图像中所有肿瘤区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及三级淋巴结构的总密度。如此，可针对所有肿瘤区域提供多种类型的第一定量分析结果，以便为实体瘤病例的预后效果及免疫治疗疗效提供全方位数据，有助于提高预后预测的准确性。
示例性地，第二定量分析结果包括所有癌旁区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及所有癌旁区域内三级淋巴结构的总密度；步骤S470可以包括：
分别统计各病理图像的癌旁区域内成熟三级淋巴结构的数量及非成熟三级淋巴结构的数量，得到所有癌旁区域内成熟三级淋巴结构的总数量及非成熟三级淋巴结构的总数量；
基于所有癌旁区域内成熟三级淋巴结构的总数量及所有癌旁区域的总面积，确定所有癌旁区域内成熟三级淋巴结构的总密度；
基于所有癌旁区域内非成熟三级淋巴结构的总数量及所有癌旁区域的总面积，确定所有癌旁区域内非成熟三级淋巴结构的总密度；
基于所有癌旁区域内成熟三级淋巴结构的总密度及非成熟淋巴结构的总密度，确定所有癌旁区域内三级淋巴结构的总密度。
示例性地，所有癌旁区域内成熟三级淋巴结构的总密度=所有癌旁区域内成熟三级淋巴结构的总数量/所有癌旁区域的总面积，所有癌旁区域内非成熟三级淋巴结构的总密度=所有癌旁区域内非成熟三级淋巴结构的总数量/所有癌旁区域的总面积，所有癌旁区域内三级淋巴结构的总密度=所有癌旁区域内成熟三级淋巴结构的总密度＋所有癌旁区域内非成熟三级淋巴结构的总密度。
上述方案，通过对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，可确定出病例的所有病理图像中所有癌旁区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及三级淋巴结构的总密度。如此，可针对所有癌旁区域提供多种类型的第二定量分析结果，以便为实体瘤病例的预后效果及免疫治疗疗效提供全方位数据，有助于提高预后预测的准确性。
在一种实施方式中，该病例三级淋巴结构的识别方法还可以包括：基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。示例性地，在任一第一图块或任一第二图块存在三级淋巴结构的情况下，确定病例的定性分析结果为阳性病例；其中，三级淋巴结构包括成熟三级淋巴结构和非成熟三级淋巴结构。在所有第一图块和所有第二图块均不存在三级淋巴结构的情况下，确定病例的定性分析结果为阴性病例。如此，可对病例进行高效地定性判定，有助于提高定性判定效率。
具体地，如图8所示，本申请实施例中确定一个病例的定性分析结果可以包括如下步骤：
步骤S810、遍历一个病例的多个病理图像；
步骤S821、标注出各病理图像的肿瘤区域；
步骤S822、标注出各病理图像的癌旁区域；
针对肿瘤区域执行如下步骤：
步骤S831、将肿瘤区域分割成多个第一图块；
步骤S841、遍历所有第一图块以进行三级淋巴结构识别；
步骤S851、判断各第一图块是否存在成熟三级淋巴结构；
步骤S861、在任一第一图块存在成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域成熟三级淋巴结构阳性病例；
步骤S871、在各第一图块均不存在成熟三级淋巴结构的情况下，判断各第一图块是否存在非成熟三级淋巴结构；
步骤S881、在任一第一图块存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域非成熟三级淋巴结构阳性病例；
步骤S891、在各第一图块均不存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域三级淋巴结构阴性病例。
针对癌旁区域执行如下步骤：
步骤S832、将癌旁区域分割成多个第二图块；
步骤S842、遍历所有第二图块以进行三级淋巴结构识别；
步骤S852、判断各第二图块是否存在成熟三级淋巴结构；
步骤S862、在任一第二图块存在成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域成熟三级淋巴结构阳性病例；
步骤S872、在各第二图块均不存在成熟三级淋巴结构的情况下，判断各第二图块是否存在非成熟三级淋巴结构；
步骤S882、在任一第二图块存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域非成熟三级淋巴结构阳性病例；
步骤S892、在各第二图块均不存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域三级淋巴结构阴性病例。
上述针对肿瘤区域和癌旁区域执行的步骤可同时执行，可提升定性分析结果的确定效率。基于此，能够病例进行快速、准确的定性分析，有助于提高预后预测的效率及准确性。
在一种优选的实施方式中，病例可以为多个，确定多个病例的定性分析结果可以包括：
遍历多个病例的病例信息，确定与各病例对应的多个病理图像；其中，各病例的病例信息与各病例的多个病例图像具有对应关系；
采用上述步骤S810~步骤S892分别确定各病例的定性分析结果。如此，能够多个病例进行快速、准确的定性分析，提高分析效率。
在一种实施方式中，该病例三级淋巴结构的识别方法还可以包括如下至少之一：
基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；
基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
示例性地，病理切片设置有二维码、条纹码等任一种标签，病例的实体瘤类型可通过扫描病理切片的标签读取得到。其中，实体瘤类型包括但不限于食管鳞癌、肺癌、结直肠癌、胃癌、肝癌和乳腺癌。实体瘤类型及其肿瘤区域内三级淋巴结构的识别结果及癌旁区域内三级淋巴结构的识别结果与预后效果之间的对应关系可通过数据库进行存储。如此，在确定实体瘤类型及其病理图像中肿瘤区域内和癌旁区域内的三级淋巴结构的识别结果的情况下，通过上述对应关系可快速确定出实体瘤病例的预后效果，提高预后预测效率。其中，预后效果包括手术治疗的预后效果和免疫治疗的预后效果。
示例性地，数据库中可存储如下第一对应关系：
肿瘤区域内或癌旁区域内存在成熟三级淋巴结构与食管鳞癌、肺鳞癌、结直肠癌、胰腺癌和头颈癌等实体瘤的较好预后效果之间的对应关系。
示例性地，数据库中可存储如下第二对应关系：
肿瘤区域内三级淋巴结构的数量及密度与肝细胞癌、肝内胆管癌的较好预后效果之间的正相关关系；
癌旁区域内三级淋巴结构的数量及密度与肝细胞癌、肝内胆管癌的不良预后效果之间的对应关系。
需要说明的是，上述实施例仅以几种实体瘤类型来说明对应关系，本申请实施例的上述对应关系还可以根据实际需要进行选择和调整，不以上述实施例为限。
下面结合附图9对本申请病例三级淋巴结构的识别方法的一个优选实施例进行说明。
如图9所示，本申请实施例的病例三级淋巴结构的识别方法可以包括训练过程和识别过程，其中，训练过程包括如下步骤：
步骤S901、扫描训练用病理切片，得到训练用图像；
步骤S902、将训练用图像分割成多个图块，并进行人工标注，得到多个样本图像；
步骤S903、采用多个样本图像对大规模卷积神经网络进行迁移学习，得到三级淋巴结构检测模型。
识别过程可以包括：
步骤S904、扫描病例的多个待检测病理切片，得到多个病理图像；
步骤S905、标注各病理图像的肿瘤区域和癌旁区域；
步骤S906、将各病理图像的肿瘤区域分割成多个第一图块；
步骤S907、将各病理图像的癌旁区域分割成多个第二图块；
步骤S908、利用三级淋巴结构检测模型分别对各第一图块和各第二图块进行目标检测，得到各第一图块的检测结果和各第二图块的检测结果；
步骤S909、基于各第一图块的检测结果，确定各病理图像的肿瘤区域内三级淋巴结构的识别结果；以及，基于各第二图块的检测结果，确定各病理图像的癌旁区域内三级淋巴结构的识别结果；
步骤S910、对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到第一定量分析结果；对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到第二定量分析结果；
步骤S911、基于第一对应关系和/或第二对应关系，确定预后效果。
上述步骤S901~步骤S911的具体实现及作用可参考前文实施例，在此不赘述。其中，步骤S906和步骤S907可同时执行，可提高执行效率。
图10示出根据本申请一实施例的三级淋巴结构的识别装置的结构框图。如图10所示，该三级淋巴结构的识别装置1000可以包括：
获取模块1010，用于获取待识别图像；
检测模块1020，用于基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；
确定模块1030，用于基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
在一种实施方式中，确定模块1030包括：
第一确定单元，用于在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；
第二确定单元，用于在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
图11示出根据本申请一实施例的病例三级淋巴结构的识别装置的结构框图。如图11所示，该病例三级淋巴结构的识别装置1100可以包括：
扫描模块1110，用于按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；
第一确定模块1120，用于确定各病理图像的肿瘤区域及癌旁区域；
划分模块1130，用于将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；
识别模块1140，用于基于上述任一实施例的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；
第二确定模块1150，用于基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括：
第一定量分析模块，用于对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到第一定量分析结果；
第二定量分析模块，用于对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到第二定量分析结果。
在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括：
定性分析模块，用于基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。
在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括如下至少之一：
第三确定模块，用于基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；
第四确定模块，用于基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
本申请实施例还提供一种识别设备，包括：处理器和存储器，存储器中存储指令，指令由处理器加载并执行，以实现本申请实施例的识别方法。
本申请实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本申请实施例中提供的方法。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM) 、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种三级淋巴结构的识别方法，其特征在于，包括：
获取待识别图像；
基于三级淋巴结构检测模型对所述待识别图像进行目标检测，得到所述待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；所述三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，所述样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，所述检测框、所述检测概率和所述检测类别之间具有对应关系；
基于所述检测框、所述检测概率和所述检测类别，从所述预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到所述待识别图像的识别结果。
2.根据权利要求1所述的识别方法，其特征在于，基于所述检测框、所述检测概率及所述检测类别，从所述预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，包括：
在所述检测概率大于或等于概率阈值且所述检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；
在所述检测概率大于或等于概率阈值且所述检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
3.一种病例三级淋巴结构的识别方法，其特征在于，包括：
按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，所述多个病理图像与所述多个病理切片一一对应；
确定各所述病理图像的肿瘤区域及癌旁区域；
将各所述病理图像的肿瘤区域划分成多个第一图块；以及，将各所述病理图像的癌旁区域划分成多个第二图块，所述第一图块和所述第二图块的尺寸相同；
基于权利要求1或2所述的三级淋巴结构的识别方法，分别对各所述病理图像的各第一图块及各第二图块进行识别，得到各所述第一图块的识别结果及各所述第二图块的识别结果；
基于各所述病理图像中各第一图块的识别结果，确定所述肿瘤区域内三级淋巴结构的识别结果；以及，基于各所述病理图像中各第二图块的识别结果，确定所述癌旁区域内三级淋巴结构的识别结果。
4.根据权利要求3所述的病例三级淋巴结构的识别方法，其特征在于，还包括：
对各所述病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到所述病例的第一定量分析结果；
对各所述病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到所述病例的第二定量分析结果。
5.根据权利要求3所述的病例三级淋巴结构的识别方法，其特征在于，还包括：
基于各所述病理图像中各第一图块的识别结果及各第二图块的识别结果，确定所述病例的定性分析结果。
6.根据权利要求4所述的病例三级淋巴结构的识别方法，其特征在于，还包括如下至少之一：
基于各所述病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、所述病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；
基于所述第一定量分析结果和/或所述第二定量分析结果、所述病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
7.一种三级淋巴结构的识别装置，其特征在于，包括：
获取模块，用于获取待识别图像；
检测模块，用于基于三级淋巴结构检测模型对所述待识别图像进行目标检测，得到所述待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；所述三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，所述样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，所述检测框、所述检测概率和所述检测类别之间具有对应关系；
确定模块，用于基于所述检测框、所述检测概率和所述检测类别，从所述预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到所述待识别图像的识别结果。
8.一种病例三级淋巴结构的识别装置，其特征在于，包括：
扫描模块，用于按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，所述多个病理图像与所述多个病理切片一一对应；
第一确定模块，用于确定各所述病理图像的肿瘤区域及癌旁区域；
划分模块，用于将各所述病理图像的肿瘤区域划分成多个第一图块；以及，将各所述病理图像的癌旁区域划分成多个第二图块，所述第一图块和所述第二图块的尺寸相同；
识别模块，用于基于权利要求1或2所述的三级淋巴结构的识别方法，分别对各所述病理图像的各第一图块及各第二图块进行识别，得到各所述第一图块的识别结果及各所述第二图块的识别结果；
第二确定模块，用于基于各所述病理图像中各第一图块的识别结果，确定所述肿瘤区域内三级淋巴结构的识别结果；以及，基于各所述病理图像中各第二图块的识别结果，确定所述癌旁区域内三级淋巴结构的识别结果。
9.一种识别设备，其特征在于，包括：处理器和存储器，所述存储器中存储指令，所述指令由处理器加载并执行，以实现如权利要求1至6中任一项所述的识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210888091.1A CN115063403A (zh) | 2022-07-27 | 2022-07-27 | 三级淋巴结构的识别方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210888091.1A CN115063403A (zh) | 2022-07-27 | 2022-07-27 | 三级淋巴结构的识别方法、装置及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115063403A true CN115063403A (zh) | 2022-09-16 |
Family
ID=83205359
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210888091.1A Pending CN115063403A (zh) | 2022-07-27 | 2022-07-27 | 三级淋巴结构的识别方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115063403A (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154509A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
| CN113362927A (zh) * | 2021-05-13 | 2021-09-07 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种基于深度学习的鳞状食道癌放化疗效果预测方法 |
-
2022
- 2022-07-27 CN CN202210888091.1A patent/CN115063403A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108154509A (zh) * | 2018-01-12 | 2018-06-12 | 平安科技（深圳）有限公司 | 癌症识别方法、装置及存储介质 |
| CN111340128A (zh) * | 2020-03-05 | 2020-06-26 | 上海市肺科医院（上海市职业病防治院） | 一种肺癌转移性淋巴结病理图像识别系统及方法 |
| CN113362927A (zh) * | 2021-05-13 | 2021-09-07 | 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） | 一种基于深度学习的鳞状食道癌放化疗效果预测方法 |
Non-Patent Citations (3)
| Title |
|---|
| KRIS D. MCCOMBE 等: "HistoClean: Open-source software for histological image pre-processing and augmentation to improve development of robust convolutional neural networks", 《COMPUTATIONAL AND STRUCTURAL BIOTECHNOLOGY JOURNAL》 * |
| QUNXING LI等: "Prognostic value of tertiary lymphoid structure and tumour infiltrating lymphocytes in oral squamous cell carcinoma", 《INTERNATIONAL JOURNAL OF ORAL SCIENCE》 * |
| Y.H.WU 等: "Features and clinical significance of tertiary lymphoid structure in cutaneous squamous cell carcinoma", 《JEADV》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2020205063A (ja) | コンテキストフィーチャを用いた画像解析システム | |
| CN111819569A (zh) | 对组织切片图像的虚拟染色 | |
| Korzynska et al. | Validation of various adaptive threshold methods of segmentation applied to follicular lymphoma digital images stained with 3, 3’-Diaminobenzidine&Haematoxylin | |
| US20220058839A1 (en) | Translation of images of stained biological material | |
| US11210782B2 (en) | System and method for generating selective stain segmentation images for cell types of interest | |
| JP2016533475A (ja) | 適応的病理組織画像分解のためのシステム及び方法 | |
| US20230186659A1 (en) | Machine learning models for cell localization and classification learned using repel coding | |
| CN115088022A (zh) | 用于训练机器学习算法和维护患者隐私的联邦学习系统 | |
| CN110796661B (zh) | 基于卷积神经网络的真菌显微图像分割检测方法及系统 | |
| JP2023510915A (ja) | 腫瘍検出および分析を支援するための非腫瘍セグメンテーション | |
| JP2023547169A (ja) | 多重化免疫蛍光画像における自己蛍光アーチファクトの識別 | |
| CN111656393A (zh) | 组织学图像分析 | |
| Höfener et al. | Automated density-based counting of FISH amplification signals for HER2 status assessment | |
| US9785848B2 (en) | Automated staining and segmentation quality control | |
| CN114235539A (zh) | 基于深度学习的pd-l1病理切片自动判读方法及系统 | |
| JP2023537971A (ja) | 多重免疫蛍光染色組織のデジタル画像における壊死領域の自動識別 | |
| CN117315654A (zh) | 端到端的基因测序方法及装置、基因测序仪及存储介质 | |
| WO2023107844A1 (en) | Label-free virtual immunohistochemical staining of tissue using deep learning | |
| Zhang et al. | Microscope based her2 scoring system | |
| CN115063403A (zh) | 三级淋巴结构的识别方法、装置及设备 | |
| US20220375606A1 (en) | Systems and methods for machine learning (ml) model diagnostic assessments based on digital pathology data | |
| CN117529750A (zh) | 使用多重免疫荧光成像的组织学染色的数字合成 | |
| US20240046473A1 (en) | Transformation of histochemically stained images into synthetic immunohistochemistry (ihc) images | |
| Asaf et al. | Dual contrastive learning based image-to-image translation of unstained skin tissue into virtually stained H&E images | |
| Chang | Generation of a HER2 breast cancer gold-standard using supervised learning from multiple experts |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220916 |