CN117036343B - 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 - Google Patents
用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 Download PDFInfo
- Publication number
- CN117036343B CN117036343B CN202311281809.1A CN202311281809A CN117036343B CN 117036343 B CN117036343 B CN 117036343B CN 202311281809 A CN202311281809 A CN 202311281809A CN 117036343 B CN117036343 B CN 117036343B
- Authority
- CN
- China
- Prior art keywords
- ffoct
- image
- target image
- cancer
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000007433 Lymphatic Metastasis Diseases 0.000 title claims abstract description 26
- 238000003703 image analysis method Methods 0.000 title claims abstract description 17
- 208000037819 metastatic cancer Diseases 0.000 claims abstract description 81
- 208000011575 metastatic malignant neoplasm Diseases 0.000 claims abstract description 81
- 210000001165 lymph node Anatomy 0.000 claims abstract description 73
- 201000011510 cancer Diseases 0.000 claims abstract description 67
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 65
- 238000013136 deep learning model Methods 0.000 claims abstract description 47
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 45
- 238000012549 training Methods 0.000 claims description 44
- 238000009826 distribution Methods 0.000 claims description 21
- 238000010276 construction Methods 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 16
- 238000012360 testing method Methods 0.000 claims description 14
- 238000010827 pathological analysis Methods 0.000 claims description 12
- 238000010191 image analysis Methods 0.000 claims description 11
- 230000000683 nonmetastatic effect Effects 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 11
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 5
- 238000003745 diagnosis Methods 0.000 abstract description 20
- 238000013135 deep learning Methods 0.000 abstract description 5
- 206010006187 Breast cancer Diseases 0.000 description 14
- 208000026310 Breast neoplasm Diseases 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000001575 pathological effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012014 optical coherence tomography Methods 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 206010027476 Metastases Diseases 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000003902 lesion Effects 0.000 description 5
- 230000009401 metastasis Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 4
- 206010025323 Lymphomas Diseases 0.000 description 4
- 208000005718 Stomach Neoplasms Diseases 0.000 description 4
- 206010017758 gastric cancer Diseases 0.000 description 4
- 208000032839 leukemia Diseases 0.000 description 4
- 201000005202 lung cancer Diseases 0.000 description 4
- 208000020816 lung neoplasm Diseases 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 201000011549 stomach cancer Diseases 0.000 description 4
- 208000024770 Thyroid neoplasm Diseases 0.000 description 3
- 210000000481 breast Anatomy 0.000 description 3
- 210000004027 cell Anatomy 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 201000001441 melanoma Diseases 0.000 description 3
- 206010061289 metastatic neoplasm Diseases 0.000 description 3
- 230000007170 pathology Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 201000002510 thyroid cancer Diseases 0.000 description 3
- 206010055113 Breast cancer metastatic Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000001574 biopsy Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000003211 malignant effect Effects 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004393 prognosis Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010002091 Anaesthesia Diseases 0.000 description 1
- 201000009030 Carcinoma Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000037005 anaesthesia Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000001099 axilla Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 230000002496 gastric effect Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 description 1
- 230000001744 histochemical effect Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 201000003265 lymphadenitis Diseases 0.000 description 1
- 208000011645 metastatic carcinoma Diseases 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012335 pathological evaluation Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000005005 sentinel lymph node Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 201000008827 tuberculosis Diseases 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了用于识别腋窝淋巴结转移癌的FFOCT图像分析方法和装置。本发明的图像分析方法包括获取和预处理FFOCT图像；目标图像块分类预测；生成FFOCT图像的二分类概率；获得识别结果。本发明采用深度学习模型对癌症患者腋窝淋巴结FFOCT图像进行深度学习并获得区分FFOCT图像为非癌/转移癌的分类阈值，在此基础上将待识别的受试者的FFOCT图像裁剪成多个目标图像块，对每个目标图像块预测非癌和转移癌的概率，获得二分类概率的比值，再与非癌或转移癌的分类阈值比较，从而获得识别结果。本发明能够对腋窝淋巴结FFOCT图像中的转移癌准确识别，提升图像识别结果的准确性，实现了无创性的快速术中诊断。
Description
技术领域
本发明属于医学图像分析技术领域，涉及用于识别腋窝淋巴结转移癌的FFOCT图像分析方法、装置、图像识别设备和存储介质。
背景技术
腋窝淋巴结是指位于腋窝处的淋巴结。 腋窝淋巴结的病变对于许多疾病的诊断具有很重要的意义，例如，淋巴结炎、良性淋巴结增生、淋巴结结核、淋巴瘤以及转移癌等。很多癌症可以转移到腋窝淋巴结，例如，乳腺癌、白血病、胃癌或肺癌等，以乳腺癌转移多见。腋窝淋巴结受累与否对于肿瘤的分期、治疗方案的制定以及预后评估有着极为重要的意义。
乳腺癌是目前世界范围内发病率最高的肿瘤。对于乳腺癌患者来说，精确的腋窝淋巴结分期诊断对于乳腺癌患者治疗的指导和预后评估都十分重要。在乳腺癌手术过程中，需要对腋窝淋巴结活检，制作冰冻切片进行病理评估以决定是否进行淋巴结清扫。传统的术中腋窝淋巴结诊断过程依赖病理医生在显微镜下对病理图像进行阅片和诊断，由于冰冻切片自身的制作特点，得到诊断结果一般需要等待30分钟至一个小时，且这一过程对于病理医生的切片制作技巧以及阅片经验要求很高。另外，术中冰冻制片过程会消耗组织样本，不利于后续的进一步病理检测和分子检测。
人工智能诊断促进了医学图像识别技术的迅速发展，越来越多的技术人员选择将深度学习应用于病理图像的处理与分类，虽然可以节省人力，但仍无法解决成像过程复杂、耗费资源、消耗标本的问题。
全场光学相干断层扫描（FFOCT）是一种非侵入性光学成像技术，具有省时、无需染色、没有组织破坏的优点，是一种很有希望被应用于术中诊断的成像方法。然而仅依赖有经验的医生对FFOCT信息进行诊断，需要医生具备丰富的病理诊断经验和FFOCT诊断培训，学习时间较长，另外肉眼诊断可能会造成大量信息的丢失。如何自动、准确地从乳腺癌患者腋窝淋巴结FFOCT图像中识别出转移癌的存在，从而提高患者术中诊断的效率和准确率，仍然是亟待解决的技术难题。
因此，本领域需要基于人工智能的分析FFOCT图像从而识别腋窝淋巴结转移癌的方法和装置。
发明内容
为了解决本领域中存在的上述难题，本发明提出了用于识别腋窝淋巴结转移癌的图像分析方法、装置、图像识别设备和存储介质，所述方法、装置、图像识别设备和存储介质基于深度学习模型对腋窝淋巴结FFOCT图像中的转移癌进行识别，不仅可以更快速地和准确地识别图像中的转移癌，提升术中诊断的速度和效率，且不消耗病理标本。
在第一个方面，本发明提供了一种用于识别腋窝淋巴结转移癌的FFOCT图像分析方法(下文中有时简称“本发明的图像分析方法”)，该方法包括以下步骤：
获取和预处理FFOCT图像：获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数；
目标图像块分类预测：将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是转移癌或非癌，并得到每个目标图像块的预测结果；
生成FFOCT图像的二分类概率：基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述腋窝淋巴结FFOCT图像的二分类概率；
获得识别结果：将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果。
在一个具体的实施方案中，所述预处理可以是按照预定的分辨率对所述FFOCT图像进行滑窗裁剪，得到M个目标图像块，其中M为大于1的自然数。本领域技术人员要理解的是，所述预定的分辨率应与进行深度学习时所选择的分辨率保持一致，且所选择的分辨率大小可由本领域技术人员根据具体情况确定。
优选地，为了避免冗余信息的产生，在处理腋窝淋巴结FFOCT图像之前，可以事先划定所述腋窝淋巴结FFOCT图像的有效区域。
在一个实施方案中，所述目标图像块分类预测步骤具体地包括以下步骤：分别将M个所述目标图像块输入已构建的深度学习模型，得到M个对应于所述目标图像块的分类置信度，所述分类置信度表征所对应的目标图像块被预测为非癌或转移癌的概率。
在一个实施方案中，所述生成FFOCT图像的二分类概率步骤包括如下步骤：基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成被预测为非癌的目标图像块和被预测为转移癌的目标图像块，计算被预测为非癌的目标图像块的数目N(注：相应地，被预测为转移癌的目标图像块的数目为M-N)与所有目标图像块的数目M的比值N/M，所述N/M值代表所述FFOCT图像的最终被预测为非转移癌的概率。
在一个实施方案中，所述获得识别结果步骤包括以下步骤：将N/M值与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较，若N/M值大于所述分类阈值，则代表所述FFOCT图像的识别结果为非转移癌，反之则为转移癌。
可以理解的是，也可以设定被预测为转移癌的目标图像块的数目为N，N/M值则代表所述FFOCT图像的最终被预测为转移癌的概率。在此情况下，将N/M值与经训练确定的非癌或转移癌的分类阈值比较，若N/M大于所述分类阈值，则代表所述FFOCT图像的识别结果为转移癌，反之则为非转移癌。
在本发明中所使用的深度学习模型可以通过如下步骤构建而成：
1）获取目标人群的腋窝淋巴结FFOCT图像，每张图像均标注有图像标签，其中所述图像标签是每张FFOCT图像对应的腋窝淋巴结的病理诊断信息；
2）划定所述FFOCT图像的有效区域，然后按照预定的分辨率对所述FFOCT图像进行裁剪，得到目标图像块；
3）将裁剪后的FFOCT目标图像块整理划分为训练集、验证集和测试集，选择合适的深度学习模型训练网络并调整网络参数，构建相应的深度学习模型；
4）在训练集、验证集中得到网络最优参数后，在验证集的FFOCT图像上计算N/M值，并结合对应的图像标签，计算不同N/M值对图像标签的识别准确度，选择有最优区分度的值作为测试集中区分FFOCT图像为非癌/转移癌的分类阈值。
在上述模型构建过程中，目标人群为经病理诊断确认的癌症患者，所述癌症患者包括具有或没有腋窝淋巴结转移癌的癌症患者，所述癌症包括但不限于乳腺癌、白血病、肺癌、黑色素瘤、恶性淋巴瘤、甲状腺癌和胃癌等的原发性癌症，所述转移癌是指原发性癌症的淋巴结转移灶。
在一个实施方案中，所述深度学习模型可以是图像分类模型，例如卷积神经网络模型等。在一个优选的实施方案中，所述图像分类模型是卷积神经网络模型。在一个具体实施方案中，训练网络采用DenseNet121模型，并用在自然图像数据集预训练得到的预训练参数初始化网络。
在一个优选的实施方案中，本发明的方法还包括生成概率分布热图步骤：根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。所述目标图像块的位置是指该目标图像块在原始FFOCT图像中的位置，例如，可以通过图像中的坐标或其他表示位置的参数来表示，也可以通过软件或插件将位置转换成这类参数。在本发明中，所述生成概率分布热图的目的是为了向使用者(例如，临床医生)提供直观的图形展示，便于使用者重点关注FFOCT图像上感兴趣的目标图像块，例如，转移癌概率大的那些目标图像块。该步骤可以在目标图像块分类预测之后和生成二分类概率之前进行，也可以在判断结果之后进行，优选在判断结果之后进行，这样使用者不仅可以了解到该腋窝淋巴结FFOCT图像中包含转移癌的概率大小，而且还可以直观地观察到转移癌的位置。
在第二个方面，本发明提供了一种用于识别腋窝淋巴结转移癌的FFOCT图像分析装置(下面有时简称为“本发明的图像分析装置”)，该装置包括：
图像获取和预处理模块：所述图像获取和预处理模块被配置成获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数；
目标图像块分类预测模块：所述目标图像块分类预测模块被配置成将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是转移癌或非癌，并得到每个目标图像块的预测结果；
二分类概率生成模块：所述二分类概率生成模块被配置成基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述腋窝淋巴结FFOCT图像的二分类概率；
识别模块：所述识别模块被配置成将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果。
在一个优选实施方案中，本发明的装置还包括概率分布热图生成模块，所述概率分布热图生成模块被配置成根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。该概率分布热图生成模块也可以视为图像识别可视化模块，该模块可以向使用者(例如，临床医生)提供直观的图形展示，便于使用者重点关注FFOCT图像上感兴趣的目标图像块。
本领域技术人员可以理解的是，本发明的图像分析装置的各个程序模块可以实现本发明的方法中相对应的各种步骤以及各步骤中涵盖的各种功能，本发明的方法中各实施方案的任意组合均适用于本发明的装置，只要能够实现相应的功能即可，在此不受限制。
在第三个方面，本发明提供了一种图像识别设备(下文中有时简称“本发明的图像识别设备”)，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的方法中所述的步骤。
在第四个方面，本发明提供了一种图像识别系统(下文中有时简称“本发明的系统”)，该系统包括本发明的图像识别设备和全场光学相干断层扫描(FFOCT)设备。在本发明中，全场光学相干断层扫描(FFOCT)设备是指采用全场光学相干断层扫描技术成像的设备，该设备可以针对受试者的被检测部位产生FFOCT图像。在本发明的系统中，由FFOCT设备生成的FFOCT图像传输至本发明的图像识别设备的处理器，所述处理器执行计算机程序对所述FFOCT图像进行处理和分析，最终输出识别结果。
在本发明中，由于FFOCT包括静态FFOCT和动态FFOCT（D-FFOCT），因此本发明中的FFOCT图像可以是通过采用静态FFOCT或动态FFOCT技术成像的设备产生的静态FFOCT图像或D-FFOCT图像。
在第五个方面，本发明提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时可以实现本发明的方法的步骤。
有益效果
病理图像一般对经过染色的切片成像，图像上染色区域和未染色区域对比度比较大，因此在病理图像识别时仅需关注染色区域(包括常规HE染色等显示的组织细胞结构和利用各种组织化学技术对标志物的显色)。而FFOCT技术不需要组织切片，也不经过染色，因此在病理图像中识别良恶性病变所关注和要解决的技术问题并不适用于FFOCT图像。简言之，病理图像基于染色区域中的感兴趣目标(例如，异常病灶)，因此对病理图像的识别从根本上要受染色质量和染色技术限制，且不会去识别未被染色的病灶。而本发明通过计算非癌/总体图像块数量的比值并与分类阈值比较的方式不受染色质量、淋巴结大小影响，兼顾了非癌和癌两种目标区域，借助于深度学习模型，能够更大程度地还原FFOCT图像上病灶的真实信息。
本发明采用深度学习模型，通过对目标人群的腋窝淋巴结FFOCT图像裁剪成的目标图像块进行训练并结合图像的图像标签获得非癌/总体的分类阈值。这样在实际诊断时，可以利用模型自动捕获受试者的FFOCT图像的目标图像块上的良恶性信息，通过基于每个目标图像块的分类置信度生成FFOCT图像的二分类概率(即非癌/总体)，再与分类阈值比较即可获得所述FFOCT图像的识别结果。
本发明将FFOCT图像和深度学习结合应用于癌症患者淋巴结诊断，解决了目前病理图像和深度学习结合应用于术中淋巴结分期的流程不够快速、制片复杂且会消耗组织的困境，能够在手术期间快速、无损地对癌症患者腋窝淋巴结进行分期。
本发明还可以通过将每个目标图像块的分类置信度(表征非癌或转移癌的概率)和位置与原始FFOCT图像进行拼接，获得概率分布热图，从而可以直观地展示非癌或转移癌在图像上的位置，实现转移癌定位，便于临床医生重点关注FFOCT图像上转移癌概率大的目标图像块和位置。
因此，本发明的方法不仅能够对腋窝淋巴结组织图像中的转移癌进行准确识别，提升FFOCT图像分类识别结果的准确性，还能够实现对患者(尤其是乳腺癌患者)腋窝淋巴结转移癌做出无创性的快速实时术中诊断。通过验证实验表明，本发明对非转移癌的特异性和预测准确性很高，因此可以帮助临床医生快速地进行术中决策，例如，对于腋窝淋巴结没有转移的患者可以及时结束手术、避免延长患者麻醉时间，对于腋窝淋巴结有转移的患者，可以继续行腋窝淋巴结清扫术，避免患者的二次手术。
附图说明
本申请的附加方面和优点结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本发明的用于识别腋窝淋巴结转移癌的FFOCT图像分析方法的一个实施方案的流程示意图。
图2是根据本发明的用于识别腋窝淋巴结转移癌的FFOCT图像分析方法的另一个实施方案的流程示意图，该实施方案可以同时获得概率分布热图。
图3是本发明的深度学习模型的构建过程实施例的示意图。
图4展示了根据本发明的一个实施方案所获得的一个概率分布热图的示例性效果图。
图5示例性展示了根据本发明的一个实施方案所获得的另一个概率分布热图的示例性效果图。
图6展示了根据本发明的图像分析装置的一个实施方案的结构示意图。
图7展示了根据本发明的图像识别设备的一个实施方案的结构示意图。
具体实施方式
下面结合具体实施方式对本发明进行进一步的详细描述，给出的实施例仅为了阐明本发明，而不是为了限制本发明的范围。以下提供的实施例可作为本技术领域普通技术人员进行进一步改进的指南，并不以任何方式构成对本发明的限制。为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，虽然在流程图中示出了逻辑顺序，但本领域技术人员可以理解的是，可以以不同于流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书中以及附图中所采用的“第一”、“第二”等描述方式仅仅用于区别不同的对象，并不意在描述特定的顺序或先后次序。
另外，需要说明的是，在本申请的各个实施方案以及具体实施例中，当涉及到需要采集目标对象(例如，用户、受试者或患者)的属性信息或集合，并对目标对象的相关特性数据进行处理分析时，根据适用法律法规的要求，对于数据的采集、使用和处理以及与这些操作相关的风险(例如，有创或无创性检测，有或无放射线辐射、进行相关操作的目的和要求、进行相关操作可能出现的并发症，等等)均告知所述目标对象，并得到了该目标对象的许可或同意(例如，签署知情同意书)。如果不需要上述书面许可或同意，在必要时，可以在实施本发明的过程中通过弹窗或跳转到确认页面等方式来获得目标对象的单独许可或同意，在获得许可或同意后，再进行后续步骤以获得数据和进一步处理分析。
本发明的图像分析方法
本发明提供了一种用于识别腋窝淋巴结转移癌的FFOCT图像分析方法，图1示出了本发明的用于识别腋窝淋巴结转移癌的FFOCT图像分析方法的流程示意图，包括以下步骤：
S100. 获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数；
S110. 将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是非癌或转移癌，并得到每个目标图像块的预测结果；
S120. 基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述腋窝淋巴结FFOCT图像的二分类概率；
S130. 将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果。
在S100步骤中，腋窝淋巴结FFOCT图像是指通过全场光学相干断层扫描技术对癌症患者腋窝淋巴结组织进行扫描得到的光学FFOCT图像。根据扫描区域的大小，得到的FFOCT图像分辨率不一。由于FFOCT仪器扫描一次的范围为1.24mm*1.24mm的矩形，不规则形状的组织成像后，会在图像边缘形成一部分无效区域。因此，优选在分析FFOCT图像之前，事先划定所述腋窝淋巴结FFOCT图像的有效区域，此后的图像裁剪将只保留含有有效区域的目标图像块。
在本发明中，对FFOCT图像进行区域划定可以通过本领域中公知的区域勾画方式来实现，例如通过QuPath软件中的自定义工具勾勒有效区域，从而实现对FFOCT图像的区域划定。
由于原始FFOCT图像的分辨率大，不适合传入深度学习模型中进行训练，因此，在有效区域划定完毕后，需要对FFOCT图像进行滑窗裁剪。此步骤中，对FFOCT图像按照预定的分辨率进行滑窗裁剪得到目标图像块，同时舍弃不含有效区域的目标图像块，最终得到M个目标图像块，其中M为大于1的自然数。需要说明的是，M个目标图像块均是含有有效区域的图像块，组合后能够表征FFOCT图像的全部信息。
在本发明中，对FFOCT图像进行滑窗裁剪可以通过本领域中公知的滑窗裁剪方法来实现，例如通过QuPath软件中的ScriptEditor模块对FFOCT图像进行裁剪，得到多个目标图像块。例如，可以用滑动窗口从左到右，从上到下划过，裁剪出1150*1150的目标图像块。在将目标图像块输入至深度学习模型的过程前，还需要将1150*1150的图像块缩小至尺寸224*224，以适应网络的输入大小。
在本发明中，由于研究的是二分类问题，深度学习模型优选是图像分类模型，例如卷积神经网络模型，诸如Densenet121。Densenet121是一种卷积神经网络，由多个DenseBlock组成。DenseNet（密集卷积网络）的核心思想是密集连接，即某层的输入除了包含前一层的输出外还包含前面所有层的输出。DenseNet-121表示的是卷积层和全连接层加起来的数目（一共120个卷积层，1个全连接层）。
图3显示了可以在本发明中使用的深度学习模型的一个构建方法实例的示意图。图3所示的构建方法实例可以包括以下步骤：
1）获取目标人群的腋窝淋巴结FFOCT图像，每张图像均有对应的病理诊断信息；
2）对目标人群的FFOCT图像进行预处理，划定所述FFOCT图像的有效区域，然后按照预定的分辨率对所述FFOCT图像进行滑窗裁剪，得到目标图像块。同时，由有阅读FFOCT图像经验的病理医生标注裁剪后的目标图像块，构成每个目标图像块的图像标签；
3）将纳入研究的患者随机洗牌，划分为训练集、验证集和测试集，来自目标人群的同一个体的预处理后的目标图像块只会进入三个数据集中的一个；
4）将训练集的目标图像块调整尺寸为224*224的大小，以适应深度学习模型的输入大小，然后将训练集的目标图像块输入Densenet121网络；
5）Densenet121网络的初始参数为在ImageNet数据库上进行了预训练后的参数，训练时的具体参数如下：批量大小（Batch size）为64，学习率为0.01，采用Adam优化器和交叉熵损失函数，训练50个轮次。每一轮次的每个批量大小内，通过网络的前向传播与反向传播过程不断更新网络模型参数；
6）训练完毕后，根据验证集上的预测结果，调整训练过程中的超参数，重复步骤5，直到得到最终的模型，最终模型的参数将用于后续的阈值筛选以及测试集的结果输出（即图3中的参数共享）；
7）在验证集的FFOCT图像上，计算N/M值，并以对应的病理诊断信息(即，图像标签)为金标准，计算不同的N/M值针对图像标签的识别准确度，选择有最优区分度（区分非转移癌淋巴结和转移癌淋巴结）的值作为测试集中区分FFOCT图像为非癌/转移癌的分类阈值（即图3中的阈值共享）；
8）将最终构建好的深度学习模型和N/M分类阈值应用于测试集中，计算测试集该模型的诊断效能。
在上述模型构建过程中，目标人群为经病理诊断确认的癌症患者，所述癌症患者包括具有或没有腋窝淋巴结转移癌的癌症患者，所述癌症包括但不限于乳腺癌、白血病、肺癌、黑色素瘤、恶性淋巴瘤、甲状腺癌和胃癌等的原发性癌症，所述转移癌是指原发性癌症的淋巴结转移灶。本领域技术人员可以理解的是，如果本发明的方法仅用于识别乳腺癌患者的腋窝淋巴结转移，则在学习模型构建中使用的目标人群可以仅纳入乳腺癌患者，识别结果可用于乳腺癌患者的快速术中分期和术中病灶定位。当然，如果供训练的样本数来源足够丰富，目标人群也可以包括其他各种原发性癌症患者，如白血病、肺癌、黑色素瘤、恶性淋巴瘤、甲状腺癌和胃癌等，这样可以更准确地发现腋窝淋巴结转移灶，可用于各种癌症患者淋巴结转移的无创性诊断以及大规模人群筛查和癌症分期等不同目的。
在一个实施方案中，在S110步骤，将M个目标图像输入到已构建的图像分类网络(例如，DenseNet121)，得到M个对应于所述目标图像块的分类置信度(例如，输出的Sigmoid激活值)，所述分类置信度表征所对应的目标图像块被预测为转移癌或非癌的概率。具体地，分类置信度的值为一个大于0且小于1的数，代表当前目标图像块预测为当前类别(例如，转移癌或非癌)的概率。需要说明的是，图像分类网络是经过训练得到的，得到M个分类置信度是为了便于后续步骤中整合得出FFOCT图像的分类结果。
在一个实施方案中，S120步骤如下实现：基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成被预测为非癌的目标图像块和被预测为转移癌的目标图像块，计算被预测为非癌的目标图像块的数目N(注：相应地，被预测为转移癌的目标图像块的数目为M-N)与所有目标图像块的数目M的比值N/M，所述N/M值代表所述FFOCT图像的最终被预测为非转移癌的概率。
由于不同FFOCT图像的大小不同(注：因淋巴结大小不同)，得到的目标图像块数量不同，因此预测为非癌的图像块数目N也会有较大差异。为了消除这一差异，在步骤S120中，计算N占M的比值，由此可以消除图像本身大小带来的差异，将不同尺寸FFOCT图像的分类结果都归一化到一个[0, 1]范围内的数。N/M值代表了FFOCT图像预测为非癌的概率。由于非癌概率的分类阈值已在训练过程中确定，因此，在步骤S130中，将该概率与非癌的分类阈值比较，如果大于分类阈值则代表的识别结果为非癌。
可以理解的是，在一个FFOCT图像内，预测为非癌的目标图像块数量越多，最终N/M的值会越大。因此，N/M值可以在一定程度上代表该FFOCT图像属于非癌分类的“可能性”。这一得到FFOCT图像的识别结果的方式，有效提升了FFOCT图像的识别结果的准确性。
在S130中，将N/M值与经训练确定的非癌或转移癌的分类阈值比较，若N/M大于所述分类阈值，则代表所述FFOCT图像的识别结果为非转移癌，反之则为转移癌。
在一个优选的实施方案中，本发明的图像分析方法还包括S200步骤。在S200步骤中，根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。可以理解的是，S200步骤可以在S130之后进行，也可以在S110之后和S120之前进行，即S200可以是独立于S120和S130的步骤，它是一个对图像的直观化步骤。优选在S130之后进行S200，这样使用者不仅可以了解到该腋窝淋巴结FFOCT图像中包含转移癌的概率大小，而且还可以直观地关注转移癌概率大的解剖学位置。其中一种实施方案在图2中示出。
在S200中，M个分类置信度中的每一个分类结果分别对应每一个目标图像块，记录M个分类置信度和位置，即可得到FFOCT图像裁剪后的M个坐标的分类结果。将分类置信度、位置进行拼接，就可以得到所述FFOCT图像的概率分布热图。这样的概率分布热图可以直观地展示FFOCT图像的M个图像块的预测结果，以便临床医生重点关注FFOCT图像上含癌细胞概率大的目标图像块。
如图4所示，图4中的左插图为一个患者的腋窝淋巴结D-FFOCT图像，其中线条勾勒内的为有效区域，右插图为对应位置的目标图像块输入训练好的图像分类网络后得到的输出结果，图中的比例尺代表目标图像块的输出值，即分类置信度。从右插图中可以看出在有效区域内大多数目标图像块，即红色部分(黑白图中为深色区域)的预测结果为转移癌，周围有小部分为蓝色图像块(黑白图中为浅色区域)的预测结果为非癌，将目标图像块的分类置信度、位置进行拼接后，可以确定比较大范围的可疑转移癌区域，临床医生可根据这一结果进一步确定癌细胞区域。而在图5中，从右图中可以看出大多数目标图像块(即，蓝色区域，黑白图中为浅色部分)的预测结果为非癌，将目标图像块的分类置信度、位置进行拼接后，概率分布热图只有很小一部分提示可能为癌，临床医生可根据这一结果进一步重点关注此区域，然后做出判断。这样可以提高临床医生对转移癌的诊断效率和准确性。
本发明的图像分析装置
如图6所示，本发明提供了一种用于识别腋窝淋巴结转移癌的FFOCT图像分析装置300，包括：
图像获取和预处理模块310：所述图像获取和预处理模块310被配置成获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数；
目标图像块分类预测模块320：所述目标图像块分类预测模块320被配置成将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是转移癌或非癌，并得到每个目标图像块的预测结果；
二分类概率生成模块330：所述二分类概率生成模块330被配置成基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述FFOCT图像的二分类概率；
识别模块340：所述识别模块340被配置成将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果。
在一个优选实施方案中，本发明的图像分析装置300还可以包括概率分布热图生成模块350，所述概率分布热图生成模块350被配置成根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。
要理解的是，尽管上面对本发明的装置的描述采用了程序模块的方式，但是要理解的是各个程序模块也可以作为功能模块全部或部分地通过软件、硬件及其组合来实现，本发明并不限制其实现方式。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明的图像识别设备
本发明还提供了一种图像识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明的方法中所述的步骤。
图7示出了本发明的图像识别设备的一个实施方案的实体结构示意图。如图7所示，图像识别设备800包括处理器810、通信接口820、存储器830和通信总线840，其中处理器810、通信接口820、存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序以执行本发明的方法中的步骤(例如，图1和图2中所示的方法)。
所述图像识别装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述图像识别设备可包括，但不限于，处理器和存储器等。本领域技术人员可以理解，上面的示例性说明并不构成对本发明的图像识别设备的限定，可以包括更多或更少的部件，或者与其他部件相组合，例如，本发明的图像识别设备还可以包括输入输出设备、网络接入设备、总线等。本发明的图像识别设备还可以与全场光学相干断层扫描(FFOCT)仪器组成图像识别系统。
本发明中所提到的处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或该处理器也可以是任何常规的处理器等。所述处理器可以是本发明的图像识别装置的控制中心，利用各种接口和线路连接整个图像识别装置的各个部分。
本发明中所提到的存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现本发明的图像识别装置的各种功能。所述存储器可以主要包括存储程序区和存储数据区，其中存储程序区可以存储操作系统、至少一个功能所需的应用程序(例如，QuPath软件，用于执行深度学习模型的TensorFlow、PyTorch、Keras等软件包，各种插件，脚本等)；存储数据区可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡(SMC)、安全数字卡(SD)、闪存卡(FC),至少一个磁盘存储器件、闪存器件，或其他易失性固态存储器件等。
本发明的图像识别系统
如上所述，本发明还可以通过将本发明的图像识别设备和全场光学相干断层扫描(FFOCT)仪器组合在一起形成图像识别系统。在该系统中，由FFOCT仪器生成的FFOCT图像传输至本发明的图像识别设备的处理器，所述处理器执行计算机程序对所述FFOCT图像进行处理和分析，最终输出识别结果。
如上所述，本发明中的FFOCT图像可以是通过采用静态FFOCT或动态FFOCT的设备产生的静态FFOCT图像或D-FFOCT图像。
本发明的非暂态计算机可读存储介质
本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行本发明的方法中的步骤(例如，图1和图2中所示的方法)。
实施例1 本发明的深度学习模型的构建方法
在本实施例中提供了一个示例性的用于本发明的深度学习模型构建过程。该深度学习模型的构建过程包括以下步骤：
A1、获取乳腺癌患者腋窝淋巴结的D-FFOCT图像，且每张图像均有对应的病理诊断结果支持，病理结果作为诊断对应淋巴结的标准。
A2、对D-FFOCT图像进行预处理，由经验丰富的病理科医生划定所述D-FFOCT图像的有效区域，然后按照1150*1150的分辨率对所述D-FFOCT图像进行滑窗裁剪，得到目标图像块。
A3、将预处理后的D-FFOCT图像块整理划分为训练集、验证集和测试集，选择卷积神经网络模型训练网络并调整网络参数，并构建相应的深度学习模型。其中卷积神经网络模型训练网络选用DenseNet121模型，并用在自然图像数据集预训练得到的预训练参数初始化网络。
A4、在训练集、验证集中得到网络最优参数后，在验证集的D-FFOCT图像上计算N/M值，并以对应的病理结果为金标准计算不同的N/M值针对病理结果的识别准确度，选择有最优区分度的值作为测试集中区分D-FFOCT图像为非癌/转移癌的分类阈值。
实施例2 本发明的深度学习模型的构建和对腋窝淋巴结转移癌/非癌的预测结果
从北京大学人民医院乳腺外科在2018年5月至2021年8月期间收治的乳腺癌患者中入组155名患者，入组标准：1、患者因诊断乳腺癌即将行腋窝手术（前哨淋巴结活检术和/或腋窝淋巴结清扫术）；2、术中切除的腋窝淋巴结组织无需进行术中快速冰冻病理诊断，可以行D-FFOCT图像扫描；3、患者签署知情同意书。从155名患者的腋窝组织中共成像腋窝淋巴结D-FFOCT图像745张，经随机分组后，采用589张D-FFOCT图像训练模型及微调，156张D-FFOCT图像进行测试。经训练构建成最终的深度学习模型。
在测试集的156张D-FFOCT图像中，其中56张经术中病理诊断乳腺癌腋窝淋巴结有转移癌，104张经术中诊断腋窝淋巴结无转移癌。采用本发明的图像分析方法通过已构建的深度学习模型对腋窝淋巴结转移状态进行识别，识别结果见下表1：
由表1可知，本发明的图像分析方法对腋窝淋巴结转移状态的预测结果准确率达到0.9以上，灵敏度、特异度也都可达0.9以上，表示本发明可以有效地对淋巴结转移状态进行评估，非常适合用于术中快速诊断，避免了患者手术期间进行长时间等待，也无需病理医生参与。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (6)
1.一种用于识别腋窝淋巴结转移癌的FFOCT图像分析方法，所述方法包括以下步骤：
获取和预处理FFOCT图像：获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数，且所述M个目标图像块均是含有有效区域的图像块；
目标图像块分类预测：将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是转移癌或非癌，并得到每个目标图像块的预测结果；
生成FFOCT图像的二分类概率：基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述腋窝淋巴结FFOCT图像的二分类概率；
获得识别结果：将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果；
其中，所述目标图像块分类预测步骤包括：分别将M个所述目标图像块输入已构建的深度学习模型，得到M个对应于所述目标图像块的分类置信度，所述分类置信度表征所对应的目标图像块被预测为非癌或转移癌的概率；
所述生成FFOCT图像的二分类概率步骤包括：基于每个目标图像块的分类置信度按照非癌和癌的预测概率分成被预测为非癌的目标图像块和被预测为转移癌的目标图像块，计算被预测为非癌的目标图像块的数目N与所有目标图像块的数目M的比值N/M，所述N/M值代表所述FFOCT图像的最终被预测为非转移癌的概率；
获得识别结果步骤包括：将N/M值与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较，若N/M值大于所述分类阈值，则代表所述FFOCT图像的识别结果为非转移癌，反之则为转移癌；并且其中
所述深度学习模型通过以下步骤构建：
1）获取目标人群的腋窝淋巴结FFOCT图像，每张FFOCT图像均标注有图像标签，其中所述图像标签是每张FFOCT图像对应的腋窝淋巴结的病理诊断信息，所述目标人群为经病理诊断确认的癌症患者，包括具有或没有腋窝淋巴结转移癌的癌症患者；
2）划定所述FFOCT图像的有效区域，然后按照预定的分辨率对所述FFOCT图像进行裁剪，得到目标图像块；
3）将裁剪后的目标图像块整理划分为训练集、验证集和测试集，选择深度学习模型训练网络并调整网络参数，构建深度学习模型；
4）在训练集、验证集中得到网络最优参数后，在验证集的FFOCT图像上计算N/M值，并结合对应的图像标签计算不同N/M值针对所述图像标签的识别准确度，选择有最优区分度的值作为测试集中区分FFOCT图像为非癌/转移癌的分类阈值。
2.根据权利要求1所述的方法，其特征在于所述方法还包括生成概率分布热图步骤：根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。
3.一种用于识别腋窝淋巴结转移癌的FFOCT图像分析装置，所述装置包括：
图像获取和预处理模块：所述图像获取和预处理模块被配置成获取待识别的受试者的腋窝淋巴结FFOCT图像，对所述腋窝淋巴结FFOCT图像进行裁剪以获得M个目标图像块，其中M为大于1的自然数，且所述M个目标图像块均是含有有效区域的图像块；
目标图像块分类预测模块：所述目标图像块分类预测模块被配置成将所述M个目标图像块输入到已构建的深度学习模型，预测每个目标图像块的类别是转移癌或非癌，并得到每个目标图像块的预测结果；
二分类概率生成模块：所述二分类概率生成模块被配置成基于每个目标图像块的分类置信度按照非癌和转移癌的预测概率分成两类目标图像块，得到所述FFOCT图像的二分类概率；
识别模块：所述识别模块被配置成将所述FFOCT图像的二分类概率与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较从而获得所述FFOCT图像的识别结果；
其中，所述目标图像块分类预测模块被配置成分别将M个所述目标图像块输入已构建的深度学习模型，得到M个对应于所述目标图像块的分类置信度，所述分类置信度表征所对应的目标图像块被预测为非癌或转移癌的概率；
所述二分类概率生成模块被配置成基于每个目标图像块的分类置信度按照非癌和癌的预测概率分成被预测为非癌的目标图像块和被预测为转移癌的目标图像块，计算被预测为非癌的目标图像块的数目N与所有目标图像块的数目M的比值N/M，所述N/M值代表所述FFOCT图像的最终被预测为非转移癌的概率；
所述识别模块被配置成将N/M值与在所述深度学习模型的构建中经训练确定的非癌或转移癌的分类阈值比较，若N/M值大于所述分类阈值，则代表所述FFOCT图像的识别结果为非转移癌，反之则为转移癌；
并且其中所述深度学习模型通过以下步骤构建：
1）获取目标人群的腋窝淋巴结FFOCT图像，每张FFOCT图像均标注有图像标签，其中所述图像标签是每张FFOCT图像对应的腋窝淋巴结的病理诊断信息，所述目标人群为经病理诊断确认的癌症患者，包括具有或没有腋窝淋巴结转移癌的癌症患者；
2）划定所述FFOCT图像的有效区域，然后按照预定的分辨率对所述FFOCT图像进行裁剪，得到目标图像块；
3）将裁剪后的目标图像块整理划分为训练集、验证集和测试集，选择深度学习模型训练网络并调整网络参数，构建深度学习模型；
4）在训练集、验证集中得到网络最优参数后，在验证集的FFOCT图像上计算N/M值，并结合对应的图像标签计算不同N/M值针对所述图像标签的识别准确度，选择有最优区分度的值作为测试集中区分FFOCT图像为非癌/转移癌的分类阈值。
4.根据权利要求3所述的FFOCT图像分析装置，其特征在于所述图像分析装置还包括概率分布热图生成模块，所述概率分布热图生成模块被配置成根据每个目标图像块的分类置信度及位置对所述M个目标图像块进行拼接，得到所述腋窝淋巴结FFOCT图像的概率分布热图。
5.一种图像识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1-2中任一项的方法中所述的步骤。
6.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储有计算机程序，所述计算机程序在被处理器执行时可以实现权利要求1-2中任一项的方法中所述的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311281809.1A CN117036343B (zh) | 2023-10-07 | 2023-10-07 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311281809.1A CN117036343B (zh) | 2023-10-07 | 2023-10-07 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117036343A CN117036343A (zh) | 2023-11-10 |
| CN117036343B true CN117036343B (zh) | 2024-01-16 |
Family
ID=88632151
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311281809.1A Active CN117036343B (zh) | 2023-10-07 | 2023-10-07 | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117036343B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117788474B (zh) * | 2024-02-27 | 2024-05-03 | 陕西省人民医院(陕西省临床医学研究院) | 一种基于机器视觉的泌尿结石图像识别方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321952A (zh) * | 2019-07-02 | 2019-10-11 | 腾讯医疗健康(深圳)有限公司 | 一种图像分类模型的训练方法及相关设备 |
| CN114027794A (zh) * | 2021-11-09 | 2022-02-11 | 新乡医学院 | 基于DenseNet网络的病理图像的乳腺癌区域检测方法及系统 |
| CN114330479A (zh) * | 2021-11-09 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 目标组织发生癌转移的预测方法、装置、设备及介质 |
| CN115880293A (zh) * | 2023-02-22 | 2023-03-31 | 中山大学孙逸仙纪念医院 | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664989B (zh) * | 2018-03-27 | 2019-11-01 | 北京达佳互联信息技术有限公司 | 图像标签确定方法、装置及终端 |
-
2023
- 2023-10-07 CN CN202311281809.1A patent/CN117036343B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110321952A (zh) * | 2019-07-02 | 2019-10-11 | 腾讯医疗健康(深圳)有限公司 | 一种图像分类模型的训练方法及相关设备 |
| CN114027794A (zh) * | 2021-11-09 | 2022-02-11 | 新乡医学院 | 基于DenseNet网络的病理图像的乳腺癌区域检测方法及系统 |
| CN114330479A (zh) * | 2021-11-09 | 2022-04-12 | 腾讯科技（深圳）有限公司 | 目标组织发生癌转移的预测方法、装置、设备及介质 |
| CN115880293A (zh) * | 2023-02-22 | 2023-03-31 | 中山大学孙逸仙纪念医院 | 膀胱癌淋巴结转移的病理图像识别方法、装置、介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117036343A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dundar et al. | Computerized classification of intraductal breast lesions using histopathological images | |
| IL272433B2 (en) | Systems and methods for tissue image analysis | |
| CN110929789A (zh) | 基于多期ct影像分析的肝肿瘤自动分类方法及装置 | |
| US20120237109A1 (en) | Histology analysis | |
| CN111028206A (zh) | 一种基于深度学习前列腺癌自动检测和分类系统 | |
| CN108846829B (zh) | 病变部位识别装置、计算机装置及可读存储介质 | |
| CN117036343B (zh) | 用于识别腋窝淋巴结转移癌的ffoct图像分析方法和装置 | |
| CN110728239B (zh) | 一种利用深度学习的胃癌增强ct图像自动识别系统 | |
| CN112990214A (zh) | 一种医学图像特征识别预测模型 | |
| Lu et al. | Automated segmentation and analysis of the epidermis area in skin histopathological images | |
| CN112263217B (zh) | 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法 | |
| Van Zon et al. | Segmentation and classification of melanoma and nevus in whole slide images | |
| CN114332132A (zh) | 图像分割方法、装置和计算机设备 | |
| Ramella | Saliency-based segmentation of dermoscopic images using colour information | |
| Rashid et al. | Automatic pathology of prostate cancer in whole mount slides incorporating individual gland classification | |
| US20230411014A1 (en) | Apparatus and method for training of machine learning models using annotated image data for pathology imaging | |
| Saito et al. | Dawn of the digital diagnosis assisting system, can it open a new age for pathology? | |
| KR102515068B1 (ko) | 기계학습을 이용한 유방암 림프절 전이 예측에 대한 정보 제공 방법 | |
| Atiyah et al. | Brain MRI Images Segmentation Based on U-Net Architecture | |
| Xue et al. | Automatic detection of oral lesion measurement ruler toward computer-aided image-based oral cancer screening | |
| KR102471515B1 (ko) | 면역조직화학 염색 이미지를 분석하기 위한 기계학습모델을 학습하는 방법 및 이를 수행하는 컴퓨팅 시스템 | |
| Wang et al. | Self-supervised learning mechanism for identification of eyelid malignant melanoma in pathologic slides with limited annotation | |
| CN113689950B (zh) | 肝癌ihc染色图的血管分布模式的识别方法、系统和存储介质 | |
| Li et al. | Computer-aided detection breast cancer in whole slide image | |
| CN114648509A (zh) | 一种基于多分类任务的甲状腺癌检出系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |