CN112634261A - 基于卷积神经网络的胃癌病灶检测方法及装置 - Google Patents
基于卷积神经网络的胃癌病灶检测方法及装置 Download PDFInfo
- Publication number
- CN112634261A CN112634261A CN202011628229.1A CN202011628229A CN112634261A CN 112634261 A CN112634261 A CN 112634261A CN 202011628229 A CN202011628229 A CN 202011628229A CN 112634261 A CN112634261 A CN 112634261A
- Authority
- CN
- China
- Prior art keywords
- image
- model
- prediction
- gastric cancer
- focus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 71
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 71
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 71
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 53
- 230000003902 lesion Effects 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 16
- 210000002784 stomach Anatomy 0.000 claims abstract description 16
- 238000004458 analytical method Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 101
- 230000011218 segmentation Effects 0.000 claims description 45
- 230000008569 process Effects 0.000 claims description 42
- 230000006870 function Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 31
- 238000010606 normalization Methods 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 abstract description 17
- 201000011510 cancer Diseases 0.000 abstract description 16
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 208000037819 metastatic cancer Diseases 0.000 abstract description 4
- 208000011575 metastatic malignant neoplasm Diseases 0.000 abstract description 4
- 238000013110 gastrectomy Methods 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 25
- 238000012360 testing method Methods 0.000 description 12
- 238000002372 labelling Methods 0.000 description 11
- 238000002271 resection Methods 0.000 description 9
- 206010027476 Metastases Diseases 0.000 description 7
- 230000009401 metastasis Effects 0.000 description 7
- 238000010827 pathological analysis Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 230000002496 gastric effect Effects 0.000 description 5
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 5
- 201000011591 microinvasive gastric cancer Diseases 0.000 description 5
- 230000008014 freezing Effects 0.000 description 4
- 238000007710 freezing Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000001156 gastric mucosa Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 206010061968 Gastric neoplasm Diseases 0.000 description 2
- 208000007433 Lymphatic Metastasis Diseases 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 210000002747 omentum Anatomy 0.000 description 2
- 230000002980 postoperative effect Effects 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 208000007107 Stomach Ulcer Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000740 bleeding effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000002919 epithelial cell Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 201000005917 gastric ulcer Diseases 0.000 description 1
- 238000002575 gastroscopy Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000001165 lymph node Anatomy 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 206010039722 scoliosis Diseases 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域，尤其涉及基于卷积神经网络的胃癌病灶检测方法及装置。本发明公开了一种基于卷积神经网络的胃癌病灶检测方法，包括下列步骤：S1、待测的胃癌样本大体图像的预处理；S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。本发明方法首创利用胃癌样本大体图像，可自动化定位胃切除标本中癌灶和胃内或胃周转移性癌灶，同时给出分析结果的置信度，辅助检验医师对标本进行准确切取病变部位，提高癌灶检出效率，减少漏诊率。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于卷积神经网络的胃癌病灶检测方法及装置。
背景技术
人工智能(artificial intelligence,AI)是计算机科学的一个分支，致力于设计并执行近似人类智能的计算机算法，使计算机算法达到与人类智能执行任务时相似的工作效果。机器学习(machine Learning,ML)是人工智能领域的分支，指所有通过非显性编程就能使机器从数据集中学习、预测阳性事件并进行决策。机器学习分为有监督学习、无监督学习、半监督学习及强化学习。深度学习(deep learning,DL)属于机器学习范畴，其中应用最广泛的深度学习模型便是卷积神经网络(convolutional neural network,CNN)，该算法是一类包括卷积计算并且具有深度网络结构的深度学习算法，在医学图像处理领域能够用于图像分类、目标检测及语义分割等多个方面。CNN具有优秀的图像特征提取能力，该类模型常作为目标检测及语义分割的特征提取骨架(backbone)对模型特征进行提取。常用的CNN模型包括VGG、Inception、ResNet、Mobilenet、Xception等。
目标检测(object detection)一直以来都是计算机视觉领域的研究热点。目标检测的目的是确定某张给定图像中是否存在给定类别的目标。例如，在医学影像领域，可以明确图像中是否有肿瘤病灶，如果该图像中存在目标病灶，目标检测算法就返回每个目标实例的空间位置和覆盖范围，返回一个目标检测预测框，并在框的上方标注置信度(confidence)。随着CNN模型的出现，结合以CNN算法作为主干特征提取网络骨架的目标检测算法应运而生。
语义分割(semantic segmentation)是通过对给定图像内的每个像素点进行识别后作出分类，能够在像素层面精确的分割图像中目标区域与背景区域。语义分割与单纯提取病灶的目标检测不同之处在于，能够对图像中的病灶区域进行精准勾勒，更符合肿瘤精准诊断与精准治疗的实际需求。常用的语义分割算法包括SegNet、UNet、PSPNet和DeepLab等。语义分割算法中的UNet算法及其衍生算法因其结构简单并能够充分利用编码(encoder)过程中提取深层及浅层图像特征，在医学图像处理分析领域具有十分广泛的应用前景。
胃肿瘤外科治疗后的手术切除标本图像是医生明确病灶数目、病灶侵犯深度、病灶扩散程度的第一手资料，需要切取准确的病灶部位制备病理切片做出精准诊断，从而指导后续的治疗方案选择。迄今为止一直依赖于外科医师和病理科医师的肉眼判断，难免存在微小病灶或者转移病灶被遗漏的现象。
随着诊疗技术的不断提高和胃镜检查等的普及，早期胃癌的检出率正在逐年提高，从而得到及时的手术切除治疗。但早期胃癌手术切除标本中病灶的精准定位是目前临床病理切取标本的难题之一，有时候只能凭借医师的经验识别，或者依靠手术医师在可疑病灶处使用缝合线作为标注提示，而对于胃内的多发性病灶或者主病灶出现胃内的多发性转移灶、以及胃周围转移淋巴结或者癌结节灶识别则是世界范围内公认的难点。
发明内容
本发明的目的在于提供一种基于卷积神经网络的胃癌病灶检测方法及装置，以解决早期胃癌手术切除标本临床病理精准切取标本的难题，以及微小病灶或者转移病灶被遗漏的现象。
为此，本发明公开了一种基于卷积神经网络的胃癌病灶检测方法，包括下列步骤：
S1、待测的胃癌样本大体图像的预处理；
S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或
S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。
进一步，所述步骤S1具体为：
S101、胃癌样本大体图像的采集，包括收集胃癌患者手术切除后标本的整体图像，同时采集全面的临床相关信息，如性别、年龄、肿瘤大体类型等等。
S102、图像裁剪。为减小图像训练过程中计算机处理的负荷，充分利用图像的每个像素，对图像裁去周围过多的无关区域信息，比如出血区、纱布区、器械区或者过多的网膜组织等等，仅保留胃部主体图像部分。同时注意裁去能提示患者个人信息部分，做好患者隐私保护。该图像裁剪预处理过程必不可少，主要是防止模型训练过程中过多无关信息会影响模型的效能。
进一步，所述目标检测模型是以CNN模型作为主干特征提取网络，构建目标检测模型。主干特征网络可使用多种CNN模型，包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等。同时可结合使用多种目标检测模型，包括SSD、FasterR-CNN、YOLO、CenterNet和Efficientdet等。具体过程包括：
(1)输入图像大小的调整。目标检测模型根据网络结构调整输入图像的大小，所需输入图像的结构为长×宽×通道数(height×width×channel)。
(2)主干特征提取网络的构建。使用主干CNN模型提取有效特征层。有效特征层的表示方法为有效特征层长×宽×通道数(height×width×channel)。主干特征模型可将采用大多数CNN模型，包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等。
(3)单脉冲多盒探测器(single shot multibox detector，SSD)目标检测模型的构建。根据主干特征模型提取的特征层结构对图像标注先验框(prior frame)，不同大小特征层标注不同数量的先验框；对于一个大小为height×width×channel的特征层，预先设定对于每个像素值设置先验框数量n，可获得height×width×n个先验框，将所有特征层所提取的先验框数量相加，可获得所有总先验框数量。而后对提取的每一个有效特征层使用两个卷积进行处理。第一个卷积是num_priors×4的卷积，使用4个参数对该特征层上的每个像素每个先验框位置进行调整；第二个卷积是num_priors×num_class的卷积，可获得该特征层上的每个像素每个先验框识别病灶的种类及置信度。
(4)最终获得所有调整后的先验框情况及每个调整后先验框里的病灶预测的置信度。
进一步，所述胃癌样本图片中病灶目标提取及置信度分析，包括下列步骤：
(1)图像大小调整(resize)。根据不同目标检测模型的结构，将图像输入尺寸调整为模型训练所需的长×宽(height×width)。Letterbox Image函数对图像尺寸归一处理，该过程不对图像进行拉伸，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像达到所需的height×width。
(2)图像归一化。将大小调整后的图像像素值归一化为[0,1]。
(3)训练权重载入。为实现对输入图像目标的预测，首先载入目标检测模型结构及模型训练权重，而后使用该训练权重对图像进行预测，获得预测结果。预测结果包括目标检测预测结果，先验框调整后预测框内病灶的置信度，先验框位置信息。
模型每层权重本质为矩阵滤波器，对原始输入层图像获得的不同通道权重处理，为每个通道施加不同权重，部分具有目标特征的通道获得较高的权值，而非重点目标权值降低，以提取出具有特征信息的特征层。权值具体作用示意图如下。
该模型结构为本专利原创设计的MobileNet-SSD模型，使用MobileNet卷积神经网络进行主干特征提取，层数为81层。同时该模型使用SSD模型进行目标检测的层数为62，本模型总层数为143层，总权重参数量达6,272,140，训练获得权值参数为6,246,796，每个权重参数均为本专利进行模型学习过程中自行建立，为本专利特有权重参数。本专利涉及权重参数量过多(附表1)，仅以模型中第2层(conv1_bn层)的权重参数为例进行列举说明。
附表1.MobileNet-SSD模型结构及参数量
以MobileNet-SSD模型中第2层(conv1_bn层)的权重参数为例进行列举说明如下：
conv1_bn层权值参数表为模型经过训练后，保存在conv1_bn层的权值参数，该参数量为128，由4个数组组成，当进行图像预测时，输入图像经过该层，获得不同的通道数，利用该参数对各通道进行权重处理，使计算机区分不同通道的权重重要性，以便提取出图像中的特征部分，传入下一层继续进行处理。该参数仅为整个模型中conv1_bn层权值参数(附表2)。
本发明中整个模型内全部权值参数总计6,272,140个，其中训练获得权值参数为6,246,796个，均为模型边训练边调整获得，为本发明所特有。
附表2.MobileNet-SSD模型conv1_bn层权值参数
(4)预测结果解码(decoder)。利用先验框和目标检测预测结果处理获得的预测框位置。将预测结果传入BBoxUtility函数进行解码，将目标检测预测结果转换为预测框。而后，对每个预测框中病灶进行分类，并且判断分类结果的置信度是否大于阈值(threshold)。结果大于阈值的预测框保留，结果小于阈值的预测框丢弃。而后进行IoU的非极大值抑制(non-maximum suppression,NMS)，筛选出置信度较高且重合程度较小的预测框。而后依照不同分类对不同框的置信度进行排序，最后挑选出置信度较高的预测框。
(5)图像复原。使用Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小。
(6)输出预测框。输出预测框内病灶分类的标签及该预测框的置信度。
本发明所述语义分割模型为以CNN模型作为主干特征提取模型构建语义分割模型；主干特征CNN模型可包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等，同时可使用多种语义分割模型，包括SegNet、UNet和PSPNet等。具体过程包括：
(1)输入图像大小调整；根据语义分割模型网络结构训练要求的图像大小，调整输入图像的长×宽×通道数(height×width×channel)。
(2)主干特征提取模型构建。使用主干特征提取网模型获取n个有效特征层。有效特征层的表示方法为有效特征层的长×宽×通道数(height×width×channel)。主干特征模型可采用CNN分类网络模型，包括VGG16、MobileNet、ResNet50、Inceptionv3、Inception-ResNet-v2和Xception等。
(3)语义分割模型构建。语义分割模型分为编码(encoder)和解码(decoder)过程。编码过程为特征提取部分，主要由主干特征提取模型进行特征提取，获得特征层(f1-fn)。解码部分为上采样过程，将特征图像恢复为与输入图像相同尺寸的携带分割信息的分割图像。
进一步，所述胃癌样本图片中目标病灶精细分割与勾勒，包括下列步骤：
(1)输入图像备份。对输入图像进行备份，便于预测结果与原始图像进行叠加观察。
(2)图像大小调整(resize)。根据不同语义分割模型结构，将图像输入尺寸调整为模型训练所需的长×宽(height×width)。图像尺寸归一过程利用Letterbox Image函数，但该过程不对图像进行拉伸处理，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像大小达到所需height×width。
(3)图像归一化。将调整大小后图像归一化，对每个像素值除以255，将像素值归一为[0,1]。
(4)训练权重载入。为实现输入图像中病灶的预测，首先载入语义分割模型结构及模型训练权重。
该模型结构为本发明原创设计的MobileNet-UNet模型，使用MobileNet卷积神经网络进行主干进行特征提取，层数为81层。同时该模型使用UNet语义分割模型进行语义分割，层数为17层，本模型总层数为98层，总权重参数量达12,346,050，其中训练获得权值参数为12,327,234，每个权重参数均为本专利进行模型训练中边训练边调整获得，为本发明特有的权重参数。由于本发明权重参数量过多(附表3)，无法完全列举，仅以模型中第2层(conv1_bn层)权重参数为例做列举说明。
附表3.MobileNet-UNet模型结构及参数量
以MobileNet-UNet模型中第2层(conv1_bn层)的权重参数为例进行列举说明如下：
MobileNet-UNet模型conv1_bn层的权值参数表(附表4)为模型经过训练后保存在conv1_bn层的权值参数，该参数量为128个，由4个数组组成，当进行图像预测时，输入图像经过该层，提取获得的通道，利用该参数进行权重处理，使计算机明确通道中具有较高权重的特征区域，以便提取出图像中的特征部分，传入下一层继续进行处理。
本发明中整个模型的权值参数有12,346,050个，其中训练获得的权值参数为12,327,234个，均是模型边训练边调整获得，为本发明所特有。
附表4.MobileNet-UNet模型conv1_bn层权值参数
(5)对传入模型的图像中每一个像素点进行预测。使用Augmax函数提取出对每个像素点预测后的分类结果。
(6)图像复原。使用Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小。
(7)结果输出。判断每个像素点的分类结果，不同分类结果像素点给予不同颜色标注，而后将手术切除的胃原始图片与模型预测的结果进行混合，获得预测结果图像。
第二方面，本发明实施例提供一种基于卷积神经网络的胃癌病灶检测装置，包括：
胃癌样本大体图像提取单元，用于提取待检测的胃癌样本大体图像；
病灶检测单元，用于将所述胃癌样本区域输入至目标检测算法模型和语义分割算法模型，得到所述病灶检测模型输出的病灶检测结果；
其中，所述病灶检测模型是基于样本胃癌大体图像中的每一像素点，以及样本病灶检测结果训练得到的；
所述病灶检测模型用于确定所述胃癌样本区域中每一像素点的区域病灶识别结果，并基于每一像素点的区域病灶识别结果，或者基于每一像素点的区域病灶识别结果和所述胃癌样本区域的候选病灶检测结果，确定所述病灶检测结果。
第三方面，本发明实施例提供一种电子设备，包括图像处理器、通信接口、存储器和总线，其中，图像处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明与现有技术相比，具有如下优点和有益效果：
1、现有技术尚缺乏对手术切除胃标本中的癌症病灶定位和转移灶预测手段。本发明基于CNN模型、目标检测和语义分割算法，其中目标检测算法可以自动化定位胃切除标本中癌症病灶和胃内或胃周转移性癌灶，在定位癌症病灶的同时还可以给出分析结果的置信度，辅助标本检验医师对标本中可能存在病变的部位进行准确切取，提高癌症病灶检出效率，减少漏诊率。
2、本发明技术方案能够实现自动化对胃切除术标本内的胃癌病灶进行定位与勾勒，能将病灶区域与背景区域清晰地分割开来。本发明的最大优势是可以识别到医师肉眼难以发现的转移病灶(包括为胃内主癌周围以及侵犯到胃癌的癌结节)，对于指导手术后医师的精准取材与后续病理学检验具有很好的指导作用。
3、本发明构建的胃癌手术切除大体标本图像不属于常规诊疗生成的临床影像数据，该图像数据集为发明者专有数据集。通过训练MobileNet-SSD目标检测网络及MobileNet-UNet语义分割网络获得的模型权值文件为本专发明专有权重文件。采用本发明内权重参数整合的模型便能够实现胃癌大体标本图像中胃癌病灶的目标检测和精准分割。
附图说明
图1为本发明总体流程图；
图2为目标检测算法模型的总体运行流程图；
图3为目标检测算法模型的图像预测运行流程图；
图4为目标检测算法模型预测结果说明图；
图5为语义分割算法模型的总体运行流程图；
图6为语义分割算法模型的的图像预测运行流程图；
图7为语义分割算法模型预测结果说明图；
图8为模型权重说明图；
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。
本发明中的相关术语如下所示：
胃癌(gastric cancer,GC)：是起源于胃黏膜上皮细胞的恶性肿瘤，胃癌恶性程度较高，在中国，胃癌发病率居所有恶性肿瘤的第二位，死亡率据所有恶性肿瘤的第三位。胃癌分为早期胃癌及进展期胃癌。
卷积神经网络CNN：是深度学习的一类模型，其基于模拟人类大脑中的神经网络结构，构建计算机模型和算法网络。CNN的基本结构由输入层、卷积层、激励函数、池化层及全连接层构成。
MobileNet：是卷积神经网络算法的一个模型，该模型属于一种可置于移动端或者嵌入式设备中轻量级CNN网络，MobileNet的基本结构为深度可分离卷积。
SSD(single shot multibox detector)目标检测算法：SSD作为目前主流的目标检测框架之一，是2016年由Wei Liu等人提出。SSD模型兼顾了YOLO及Faster R-CNN模型的优缺点，具有较快的检测速度及能与Faster R-CNN比肩的目标检出率，其借鉴了Faster R-CNN模型的先验框和特征金字塔层的感兴趣区提取方式，相比于YOLO和Faster R-CNN模型，具有比YOLO更高的准确率和漏检率，具备比Faster R-CNN模型更快的检测速度。由于SSD模型参数量较小，对于计算机显存占用率相对较小。SSD模型继承了单级式目标检测方法，在一个封装模型内完成区域建议和目标分类，较其他模型框架拥有更快的运行速度和检测精度。
UNet语义分割算法：UNet模型是目前医学影像语义分割模型中应用最为广泛的模型。UNet网络结构为一个对称结构，其结构类似于字母U，由下采样(特征提取)和上采样构成，其过程也被称为编码-解码过程。通过下采样对图像特征进行提取，而后通过上采样输出图像特征，获得图像分割结果。UNet模型结构简单，参数量少，特别适用于数据量较小的医学图像分类。因为较多的医学图像获取难度较大，若模型涉及参数过大则容易导致过拟合。因此，具有简单结构的UNet模型在大多数医学图像数据集研究上都取得了较好的表现。
本实施例是一种基于人工智能卷积神经网络的胃癌大体图像病灶提取及分割方法，包括下述步骤：
S1、胃癌切除标本大体图像的预处理，包括图像裁剪、训练集、验证集及测试集图像的划分、训练集和验证集图像的扩增。
S101、胃癌切除标本大体图像的采集。收集胃部肿瘤手术切除后大体标本，并进行数字化图像拍照。本实施例入组了171幅手术切除的胃癌大体标本图像，并同时收集性别、年龄、肿瘤分型和淋巴结转移情况等临床基本信息。
S102、图像裁剪。为减小图像训练过程中计算机处理负荷，并且充分利用图像的每个像素，使用PS手工对图像进行裁剪，裁去区域主要包括去除患者身份可识别信息条，背景垫布，多余的网膜组织，仅保留胃部主体图像。这样，可以避免凹凸不平的周围信息对模型训练产生干扰。裁去能识别患者的信息条是为了保护患者隐私。
S103、训练集、验证集及测试集的划分。根据目标检测及语义分割模型训练的需要，将采集的数据集划分为训练集、验证集及测试集。在本次模型训练过程中，目标检测模型训练集和验证集图像123幅，测试集图像42幅；在语义分割模型中训练集和验证集110幅图像，测试集47幅图像。
S104、训练集和验证集图像的扩增。由于医学图像的获取难度较大，为获得足够的数据量满足深度学习的训练需求，对训练集和验证集图像可以进行图像扩增。增强方式包括：随机旋转(rotation＝15，最大旋转角度15°)、随机水平平移(width shift＝0.1，最大值为水平平移图像宽度10％)、随机垂直平移(height shift＝0.1，最大值为垂直平移图像高度10％)、水平或垂直投影变换(shear＝0.1，最大变换比例为图像尺寸的10％)、按比例随机缩放图像尺寸(zoom＝0.1，随机缩放图像尺寸最大值为图像长或宽10％)、随机水平翻转和填充(nearest，选择最近的像素进行填充)。目标检测模型训练集和验证集扩增至2502幅图像，最终数据集结构为训练集2127幅图像，验证集375幅图像，测试集42幅图像；而语义分割模型训练集和验证集扩增至1044幅图像，最终数据集结构为训练集892幅图像，验证集158幅图像，测试集47幅图像。
S2、目标检测病灶的目标提取及置信度分析——以Mobilenet-SSD为例。
S201、数据标注及数据集的生成。原始图像格式为.jpg格式，先由有经验的医学专家对训练集、验证集及测试集的图像进行标注，标注方式为矩形框标注，标注范围为胃癌病灶，标注工具为labelImg，将标注后的标签(label)文件储存为.xml格式。VOC数据集的生成。目标检测算法模型的训练依赖于VOC训练集，以原始图像和标签文件为基础，利用算法生成对应的训练集，验证集和测试集标签.txt文件(train.txt；val.txt；test.txt)。同时生成对应图片存放位置，图像中病灶真实位置的真实框的坐标及病灶种类的.txt文件(2007_train.txt；2007_val.txt；2007_test.txt)。
S202、目标检测模型的构建。该目标检测模型以CNN模型MobileNet作为目标检测模型的特征提取骨架，构建SSD目标检测模型。采用深度可分离卷积(depthwise separableconvolution)进行图像特征的提取。具体过程包括：
(1)输入图像大小调整。SSD网络所需输入图像长×宽×通道数为300×300×3。
(2)主干特征提取网络构建。使用MobileNet主干特征提取网络进行特征提取，获取6个有效特征层；图像输入后，在不同卷积层提取特征，经过卷积操作后，共输出6个有效特征层，包括19×19×512，10×10×1024，5×5×512，3×3×256，2×2×256，1×1×256特征层。
(3)SSD目标检测。根据主干特征网络提取的特征层大小对图像标注先验框，不同大小特征层标注不同数量的先验框；19×19×512特征层每个像素设置6个先验框，共2166个先验框；10×10×1024特征层每个网格设置6个先验框，共600个先验框；5×5×512特征层每个设置6个先验框，共150个先验框；3×3×256网格每个设置6个先验框，共54先验框；2×2×256特征层每个设置6个先验框，共24个先验框；1×1×128特征层每个设置6个先验框，共6个先验框。经过该过程，总共提取的先验框数量3000个。然后对提取的每一个有效特征层使用两个卷积进行处理。第一个卷积是num_priors×4的卷积，使用4个参数对该特征层上的每个像素每个先验框进行调整；第二个卷积是num_priors×num_class的卷积，可获得该特征层上的每个像素每个先验框识别病灶的种类及置信度。
(4)最终获得所有调整后的先验框情况及每个调整后先验框里的病灶预测的置信度。
S203、目标检测模型训练。
(1)参数设置；
分类数量(num class)设置。分类病灶个数+1(背景参数)；在本实验中，num class＝2(分为两类，胃癌及背景：GC和backgroud)。
训练参数。包括ModelCheckpoint(将拥有最佳验证集损失函数值(val loss)的训练模型保存)、ReduceLROnPlateau(学习率自动调整，当验证集损失函数值(val loss)5个周期不下降、则将学习率调整为原来的1/2)、EarlyStopping(当验证集损失函数(valloss)25个周期不下降、则停止训练)和Batch size(批大小，每次实验传入多少图片进入模型，本实验设置Batch size为16)。
(2)载入预训练模型。为提高训练效率，使用迁移学习策略，将在ImageNet数据集训练完成的预训练权重(essay_mobilenet_ssd_weights.h5)加载入本模型进行训练。
(3)输入图像大小调整(input shape)。将输入图像大小调整为300×300。
(4)训练验证集划分。将输入图像划分为训练集和验证集，训练集与验证集划分比例为9：1(90％用于训练集，10％用于验证集)。
(5)使用数据生成器Generator处理图像，将图像转化为SSD模型能够训练的信息格式，为模型传入数据进行训练。
打乱读入图像信息(Shuffle)。打乱图像处理过程中生成的2007_train.txt文件中图像信息，而后依次读入图像，图像中病灶位置信息及病灶分类。
图像处理。对输入图像进行随机裁剪，随机增加噪声。
真实框编码(assign boxes)。将输入的真实框信息编码为卷积神经网络训练所需的结构。计算真实框与所有先验框的IoU，找到与真实框重合程度较高的先验框，提取出该类先验框，意味着可以通过调整该类先验框进行预测框预测；计算真实框的中心及长宽；再计算与先验框重合度较高的先验框的中心及长宽；获得真实框及先验框编码后结果。而后提取出与真实框重合程度最高的先验框，并且获得该先验框的索引信息，并将该信息保存至矩阵中。最终将真实框信息转换成与预测结果相同的信息结构，以便于与输入图像进行SSD预测后获得的预测结果进行对比，求取损失函数(loss)。
损失函数计算(MultiboxLoss)。y-true表示真实框信息；y-pred表示SSD预测结果信息，使用损失函数Softmax计算损失函数值。获得先验框病灶分类的损失函数值和位置的损失函数值；对于病灶分类损失函数的计算，首先进行正样本和负样本的筛选，筛选出的正负样本比例为1：3，分别计算置信度损失函数值，然后对总体损失函数值进行计算，获得训练后的模型。
(6)冻结训练。冻结MobileNet中前81层，主要冻结特征提取层，设置初始学习率(learning rate,lr)为5×10-4，由于该初始学习率相对较大，因此该部分训练为粗略训练，目的是对81层以后的模型进行训练。
(7)解冻训练。解除前81层冻结，设置初始学习率为1×10-5，该初始学习率相对较小，对模型进行精细训练。
S204、胃切除标本图像中胃癌病灶的定位。
(1)图像大小调整(resize)。由于SSD模型预测图像要求输入的图像尺寸为300×300×3，对于不同大小的输入图像首先进行尺寸大小调整，变成300×300×3。图像尺寸归一过程利用Letterbox Image过程，将输入图像的归一化为300×300×3，该过程不对图像进行拉伸处理，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像大小达到300×300×3。
(2)图像预处理和图像归一化。将resize后的图像归一化，像素值归一为[0,1]。
(3)预训练权重的载入。为实现输入图像预测，首先载入SSD模型结构及模型训练权重(该预训练模型是模型训练过程中获得，ep302-loss1.765-val_loss2.027.h5)。
(4)图像预测。使用该训练权重对图像进行预测，获得预测结果，预测结果包括SSD预测结果，先验框调整后预测框内病灶的置信度，先验框位置信息。
(4)预测结果解码(decoder)。利用先验框信息和SSD预测结果，处理获得预测框位置。将预测结果传入BBoxUtility函数进行解码，将SSD预测结果转换为预测框。而后，对每个预测框中病灶进行分类，并且判断分类结果置信度是否大于阈值，大于则对该预测框进行保留，小于的则放弃。而后进行IoU非极大值抑制，筛选出置信度较高且重合程度较小的预测框。而后依照不同分类对不同框的置信度进行排序，最后挑选出置信度最高的预测框。
(5)图像复原。使用SSD Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小。
(6)预测结果输出。输出预测框，预测框内病灶分类标签及该预测框置信度。
S3、语义分割目标病灶精细分割及胃内和胃周转移性癌症病灶的预测——以Mobilenet-UNet为例。
S301、数据标注及数据集生成。原始图像格式为.jpg格式，先由有经验的医师对训练集、验证集及测试图像进行标注，标注方式为勾勒出病灶边缘，标注范围为医师肉眼可见胃癌病灶，标注工具为labelme，标注后文件储存为.json格式。VOC数据集生成。语义分割模型训练也依赖于VOC训练集，以原始图像和标签文件.json为基础，利用算法生成与原始图像对应的mask图像，mask图像使用灰度图像储存图像标注信息，格式为.png图像。同时利用算法生成对应的训练集，验证集和测试集标签.txt文件(train.txt；val.txt；test.txt)。
S302、语义分割模型的构建。
(1)输入图像大小调整。UNet网络所需输入图像长×宽×通道数为416×416×3。
(2)主干特征提取网络构建。使用MobileNet主干特征提取网络进行特征提取，经过深度可分离卷积提取特征及图像压缩，获取5个有效特征层。提取的特征层(长×宽×特征通道数)包括：416×416×64(f1)；208×208×128(f2)；104×104×256(f3)；52×52×512(f4)；26×26×512(f5)。
(3)UNet语义分割模型的构建；UNet语义分割模型分为编码(encoder)和解码(decoder)过程。编码过程为特征提取部分，主要由主干特征提取网络进行特征提取，获得提取的特征层(f1，f2，f3，f4，f5)。解码部分为上采样过程，将特征图像恢复为与输入图像相同尺寸的携带分割信息的分割图像。
第一次上采样。解码过程将传入的特征层f5(26×26×512)进行零填充(ZeroPadding2D)，卷积(Conv2D)和标准化(BatchNormalization)后进行上采样，将f4特征层变为长×宽×通道数为52×52×512后，与编码过程中的f4特征层(52×52×512)进行合并连接(concatenate)后，获得52×52×1024图像结构后，再进行零填充(ZeroPadding2D)，卷积(Conv2D)和标准化(BatchNormalization)获得52×52×512特征层结构，而后进行第二次上采样。
第二次上采样。将传入的第一次上采样结果(52×52×512)进行第二次上采样，将特征层变为长×宽×通道数为104×104×512后，与编码过程中的f2特征层(104×104×256)进行合并连接(concatenate)后，获得104×104×768图像结构后，再进行零填充(ZeroPadding2D)，卷积(Conv2D)和标准化(BatchNormalization)获得104×104×256特征层结构，而后进行第三次上采样。
第三次上采样。将传入的第二次上采样结果(104×104×256)进行第三次上采样,将特征层变为长×宽×通道数为208×208×256后，与编码过程中的f2特征层(208×208×128)进行合并连接(concatenate)后，获得208×208×384图像结构后，再进行零填充(ZeroPadding2D)，卷积(Conv2D)和标准化(BatchNormalization)获得208×208×128特征层结构。
第四次上采样。将传入的第二次上采样结果(208×208×128)进行第三次上采样,将特征层变为长×宽×通道数为416×416×128后，与编码过程中的f2特征层(416×416×64)进行合并连接(concatenate)后，获得416×416×192图像结构后，再进行零填充(ZeroPadding2D)，卷积(Conv2D)和标准化(BatchNormalization)获得208×208×128图像结构，最后进行卷积输出416×416×2结构层。
最后使用Softmax函数求取每一个像素点属于每一个病灶类别的概率。
S303、语义分割模型的训练。
(1)参数设置。
分类数量(num class)设置；分类病灶个数+1(背景参数)；在本实验中，num class＝2(分为两类，胃癌及背景：GC和backgroud)。
训练参数设置。ModelCheckpoint(将拥有最佳验证集损失函数值(val loss)的训练模型保存)；ReduceLROnPlateau(学习率自动调整，当验证集损失函数值(val loss)5个周期不下降、则将学习率调整为原来的1/2)；EarlyStopping(当验证集损失函数(valloss)20个周期不下降、则停止训练)；Batch size(批大小，每次实验传入多少图片进入模型，本实验设置Batch size为8)。
(2)载入预训练模型。为提高训练效率，使用迁移学习策略，将在ImageNet数据集训练完成的预训练权重(mobilenet_1_0_224_tf.h5)加载入本模型进行训练。
(3)输入图像大小调整(input shape)。将输入图像大小调整为416×416。
(4)训练集和验证集划分。将输入的图像划分为训练集和验证集，训练集验证集比例为9：1(90％用于训练集，10％用于验证集)。
(5)冻结训练；冻结MobileNet中前81层，主要冻结特征提取层，设置初始学习率(learning rate,lr)为5×10-4，由于该初始学习率相对较大，因此该部分训练为粗略训练，目的是对81层以后的模型进行训练。
(6)解冻训练。解除前81层冻结，设置初始学习率为1×10-5，该初始学习率相对较小，对模型进行精细训练。
S304、胃手术切除标本图像中胃癌灶的定位与病灶分割。
(1)输入图像备份。对输入图像进行备份，便于预测结果输出。
(2)图像大小调整(resize)。首先读取输入图像尺寸。由于UNet预测图像要求输入的图像尺寸为416×416×3，对于不同大小的输入图像首先进行尺寸大小调整，变成416×416×3。图像尺寸归一过程利用Letterbox image过程，将输入图像的归一化为416×416×3，该过程不对图像进行拉伸处理，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像大小达到416×416×3。
(3)图像预处理和图像归一化。将Resize后的图像归一化，像素值归一为[0,1]。
(4)预训练权重的载入。为实现输入图像预测，首先载入UNet模型结构及模型训练权重(该预训练模型是模型训练过程中获得，ep289-loss0.179-val_loss0.163.h5)。
(5)图像的预测。使用该训练权重对传入模型的图像中每一个像素点进行预测。而后使用Augmax函数，提取出每个像素点预测后的分类结果。
(6)图像复原。使用Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小。
(7)结果输出。判断每个像素点的分类结果，不同分类结果像素点给予不同颜色标注(本发明的实例预测中胃癌被标注为红色；背景为灰色)。而后将原始图像与预测结果进行混合，获得预测结果图像。
基于本发明对胃癌主病灶和胃周围转移癌灶预测结果的精确性分析
我们以手术后病理诊断作为金标准，计算了本发明判别为胃癌与病理诊断为胃癌的一致性显示(附表5)，本发明的评估结果与病理诊断金标准的一致性达到98％。同样，我们以术后病理诊断作为胃周有无癌结节或者淋巴结转移作为金标准，分析了本发明预测胃周癌症病灶的转移显示，本发明判别为有胃周围癌症转移结节与病理诊断金标准的一致性为51％(附表6)。
附表6.本发明判定胃内胃癌病灶与病理诊断金标准的一致性分析
*注释：一例预测阴性为早期胃癌，浅表平坦性(Ⅱb)，病灶形态与周围正常胃黏膜差异较小，特征性欠缺故而漏检；另外一例为进展期胃癌，溃疡型。由于部位位于胃大弯侧与胃黏膜皱襞相交织而出现漏检。未来可以通过增加早期胃癌病例以及训练识别大弯侧病变得到改善。
附表7.本发明预测胃周围转移癌结节与病理诊断金标准的一致性分析
综上为本发明具体实施例的详细描述，显示本发明的预测胃内癌症病灶显示良好的准确性；对于预测胃周围转移性癌结节具有一定的一致性。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种调整或修改，这并不影响本发明的实质。
Claims (10)
1.一种基于卷积神经网络的胃癌病灶检测方法，其特征在于，包括下列步骤：
S1、待测的胃癌样本大体图像的预处理；
S2、基于目标检测算法模型的病灶目标提取及置信度分析，输出病灶检测结果；或
S3、基于语义分割算法模型的病灶目标精细分割与勾勒，输出病灶检测结果。
2.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S1包括：
S101、胃癌样本大体图像的采集；
S102、图像裁剪。
3.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S2中，目标检测模型是以CNN模型作为主干特征提取网络，构建目标检测模型。
4.如权利要求3所述的胃癌病灶检测方法，其特征在于，所述目标检测模型为MobileNet-SSD模型。
5.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S2中，胃癌样本图片中病灶目标提取及置信度分析，包括下列步骤：
(1)图像大小调整：根据不同目标检测模型的结构，将图像输入尺寸调整为模型训练所需的长×宽；Letterbox Image函数对图像尺寸归一处理，该过程不对图像进行拉伸，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像达到所需的height×width；
(2)图像归一化：将大小调整后的图像像素值归一化为[0,1]；
(3)训练权重载入：为实现对输入图像目标的预测，首先载入目标检测模型结构及模型训练权重，而后使用该训练权重对图像进行预测，获得预测结果；预测结果包括目标检测预测结果，先验框调整后预测框内病灶的置信度，先验框位置信息；
(4)预测结果解码：利用先验框和目标检测预测结果处理获得的预测框位置，将预测结果传入BBoxUtility函数进行解码，将目标检测预测结果转换为预测框；而后，对每个预测框中病灶进行分类，并且判断分类结果的置信度是否大于阈值(threshold)；结果大于阈值的预测框保留，结果小于阈值的预测框丢弃；而后进行IoU的非极大值抑制，筛选出置信度较高且重合程度较小的预测框；而后依照不同分类对不同框的置信度进行排序，最后挑选出置信度较高的预测框；
(5)图像复原：使用Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小；
(6)输出预测框：输出预测框内病灶分类的标签及该预测框的置信度。
6.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S3中，所述语义分割模型为MobileNet-UNet模型。
7.如权利要求1所述的胃癌病灶检测方法，其特征在于，所述步骤S3中，所述胃癌样本图片中目标病灶精细分割与勾勒，包括下列步骤：
(1)输入图像备份；
(2)图像大小调整：根据不同语义分割模型结构，将图像输入尺寸调整为模型训练所需的长×宽；图像尺寸归一过程利用Letterbox Image函数，但该过程不对图像进行拉伸处理，而是利用灰色像素值填充空白图像区域，获得不失真图像，使图像大小达到所需height×width；
(3)图像归一化：将调整大小后图像归一化，对每个像素值除以255，将像素值归一为[0,1]；
(4)训练权重载入：为实现输入图像中病灶的预测，首先载入语义分割模型结构及模型训练权重；
(5)对传入模型的图像中每一个像素点进行预测：使用Augmax函数提取出对每个像素点预测后的分类结果；
(6)图像复原：使用Correct Boxes函数去除尺寸大小调整过程中给原图像添加的灰色像素值，使图像恢复原来大小；
(7)结果输出：判断每个像素点的分类结果，不同分类结果像素点给予不同颜色标注，而后将手术切除的胃原始图片与模型预测的结果进行混合，获得预测结果图像。
8.一种基于卷积神经网络的胃癌病灶检测装置，其特征在于，包括：
胃癌样本大体图像提取单元，用于提取待检测的胃癌样本大体图像；
病灶检测单元，用于将所述胃癌样本区域输入至目标检测算法模型和语义分割算法模型，得到所述病灶检测模型输出的病灶检测结果；
其中，所述病灶检测模型包含目标检测算法模型单元和语义分割算法模型单元，是基于样本胃癌大体图像中的每一像素点，以及样本病灶检测结果训练得到的；
所述病灶检测模型用于确定所述胃癌样本区域中每一像素点的区域病灶识别结果，并基于每一像素点的区域病灶识别结果，或者基于每一像素点的区域病灶识别结果和所述胃癌样本区域的候选病灶检测结果，确定所述病灶检测结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一项所述胃癌病灶检测方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述胃癌病灶检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011628229.1A CN112634261A (zh) | 2020-12-30 | 2020-12-30 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011628229.1A CN112634261A (zh) | 2020-12-30 | 2020-12-30 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112634261A true CN112634261A (zh) | 2021-04-09 |
Family
ID=75290537
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011628229.1A Pending CN112634261A (zh) | 2020-12-30 | 2020-12-30 | 基于卷积神经网络的胃癌病灶检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112634261A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN113284164A (zh) * | 2021-05-19 | 2021-08-20 | 中国农业大学 | 虾群自动计数方法、装置、电子设备及存储介质 |
| CN113312978A (zh) * | 2021-04-30 | 2021-08-27 | 中国科学院计算技术研究所 | 一种显微影像下目标精确识别和分割的方法及其系统 |
| CN113436141A (zh) * | 2021-05-14 | 2021-09-24 | 紫东信息科技(苏州)有限公司 | 一种胃镜图像目标检测方法、装置、电子设备及存储介质 |
| CN113440745A (zh) * | 2021-07-21 | 2021-09-28 | 苏州雷泰医疗科技有限公司 | 一种基于深度学习的自动摆位方法、装置及放射治疗设备 |
| CN113903471A (zh) * | 2021-09-24 | 2022-01-07 | 上海交通大学 | 基于组织病理学图像和基因表达数据的胃癌患者生存风险预测方法 |
| CN113921144A (zh) * | 2021-09-23 | 2022-01-11 | 清华大学 | 疾病预测集处理方法、装置、电子设备及存储介质 |
| CN114612484A (zh) * | 2022-03-07 | 2022-06-10 | 中国科学院苏州生物医学工程技术研究所 | 基于无监督学习的视网膜oct图像分割方法 |
| CN114711181A (zh) * | 2022-03-16 | 2022-07-08 | 四川农业大学 | 一种嵌入式草鱼病灶自动分流装置及检测方法 |
| CN114862763A (zh) * | 2022-04-13 | 2022-08-05 | 华南理工大学 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
| CN114973032A (zh) * | 2022-05-27 | 2022-08-30 | 沈阳农业大学 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
| CN115311317A (zh) * | 2022-10-12 | 2022-11-08 | 广州中平智能科技有限公司 | 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统 |
| CN116091453A (zh) * | 2023-01-07 | 2023-05-09 | 成都成电金盘健康数据技术有限公司 | 一种乳腺癌的病灶检测方法 |
| CN117274242A (zh) * | 2023-11-17 | 2023-12-22 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
| CN114862763B (zh) * | 2022-04-13 | 2024-06-21 | 华南理工大学 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276767A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110826612A (zh) * | 2019-10-31 | 2020-02-21 | 上海法路源医疗器械有限公司 | 深度学习的训练识别方法 |
| CN111899229A (zh) * | 2020-07-14 | 2020-11-06 | 武汉楚精灵医疗科技有限公司 | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 |
| CN112131983A (zh) * | 2020-09-11 | 2020-12-25 | 桂林理工大学 | 一种基于改进YOLOv3网络的安全帽佩戴检测方法 |
-
2020
- 2020-12-30 CN CN202011628229.1A patent/CN112634261A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110276767A (zh) * | 2019-06-28 | 2019-09-24 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN110826612A (zh) * | 2019-10-31 | 2020-02-21 | 上海法路源医疗器械有限公司 | 深度学习的训练识别方法 |
| CN111899229A (zh) * | 2020-07-14 | 2020-11-06 | 武汉楚精灵医疗科技有限公司 | 一种基于深度学习多模型融合技术的胃早癌辅助诊断方法 |
| CN112131983A (zh) * | 2020-09-11 | 2020-12-25 | 桂林理工大学 | 一种基于改进YOLOv3网络的安全帽佩戴检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| LISHENG WEI ET AL.: "Automatic Skin Cancer Detection in Dermoscopy Images Based on Ensemble Lightweight Deep Learning Network", 《IEEE》 * |
| 李延涛: "基于深度学习的乳腺肿瘤目标检测技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112949612A (zh) * | 2021-04-22 | 2021-06-11 | 辽宁工程技术大学 | 一种基于无人机高分辨率遥感影像海岸带地物分类方法 |
| CN113312978A (zh) * | 2021-04-30 | 2021-08-27 | 中国科学院计算技术研究所 | 一种显微影像下目标精确识别和分割的方法及其系统 |
| CN113436141A (zh) * | 2021-05-14 | 2021-09-24 | 紫东信息科技(苏州)有限公司 | 一种胃镜图像目标检测方法、装置、电子设备及存储介质 |
| CN113284164A (zh) * | 2021-05-19 | 2021-08-20 | 中国农业大学 | 虾群自动计数方法、装置、电子设备及存储介质 |
| CN113256605A (zh) * | 2021-06-15 | 2021-08-13 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN113256605B (zh) * | 2021-06-15 | 2021-11-02 | 四川大学 | 一种基于深度神经网络的乳腺癌图像识别分类方法 |
| CN113440745A (zh) * | 2021-07-21 | 2021-09-28 | 苏州雷泰医疗科技有限公司 | 一种基于深度学习的自动摆位方法、装置及放射治疗设备 |
| CN113921144A (zh) * | 2021-09-23 | 2022-01-11 | 清华大学 | 疾病预测集处理方法、装置、电子设备及存储介质 |
| CN113903471A (zh) * | 2021-09-24 | 2022-01-07 | 上海交通大学 | 基于组织病理学图像和基因表达数据的胃癌患者生存风险预测方法 |
| CN114612484A (zh) * | 2022-03-07 | 2022-06-10 | 中国科学院苏州生物医学工程技术研究所 | 基于无监督学习的视网膜oct图像分割方法 |
| CN114711181A (zh) * | 2022-03-16 | 2022-07-08 | 四川农业大学 | 一种嵌入式草鱼病灶自动分流装置及检测方法 |
| CN114862763A (zh) * | 2022-04-13 | 2022-08-05 | 华南理工大学 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
| CN114862763B (zh) * | 2022-04-13 | 2024-06-21 | 华南理工大学 | 一种基于EfficientNet的胃癌病理切片图像分割预测方法 |
| CN114973032A (zh) * | 2022-05-27 | 2022-08-30 | 沈阳农业大学 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
| CN114973032B (zh) * | 2022-05-27 | 2024-06-18 | 沈阳农业大学 | 一种基于深度卷积神经网络的光伏板热斑检测方法及装置 |
| CN115311317A (zh) * | 2022-10-12 | 2022-11-08 | 广州中平智能科技有限公司 | 一种基于Scaleformer类算法的腹腔镜图像分割方法及系统 |
| CN116091453A (zh) * | 2023-01-07 | 2023-05-09 | 成都成电金盘健康数据技术有限公司 | 一种乳腺癌的病灶检测方法 |
| CN116091453B (zh) * | 2023-01-07 | 2024-03-26 | 成都成电金盘健康数据技术有限公司 | 一种乳腺癌的病灶检测方法 |
| CN117274242A (zh) * | 2023-11-17 | 2023-12-22 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
| CN117274242B (zh) * | 2023-11-17 | 2024-01-26 | 简阳市人民医院 | 一种基于图像识别的创面检测方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112634261A (zh) | 基于卷积神经网络的胃癌病灶检测方法及装置 | |
| CN109447065B (zh) | 一种乳腺影像识别的方法及装置 | |
| CN113723573B (zh) | 基于自适应比例学习的肿瘤组织病理分类系统及方法 | |
| US8712142B2 (en) | Method and apparatus for analysis of histopathology images and its application to cancer diagnosis and grading | |
| CN111127412A (zh) | 一种基于生成对抗网络的病理图像识别装置 | |
| CN105894517A (zh) | 基于特征学习的ct图像肝脏分割方法及系统 | |
| CN112862808A (zh) | 一种基于深度学习的乳腺癌超声图像的可解释性识别方法 | |
| JP7294695B2 (ja) | 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法 | |
| CN113962976B (zh) | 用于病理玻片数字图像的质量评估方法 | |
| CN110880177A (zh) | 一种图像识别方法及装置 | |
| CN111222393A (zh) | 一种基于自学习神经网络的病理切片中印戒细胞检测方法 | |
| CN115578372A (zh) | 基于目标检测和卷积变换的骨龄评估方法、设备及介质 | |
| CN115136189A (zh) | 基于图像处理的肿瘤的自动化检测 | |
| CN114841947A (zh) | 肺腺癌h&e染色病理图像肿瘤区域多尺度特征提取与预后分析方法、装置 | |
| CN114140445B (zh) | 基于重点关注区域提取的乳腺癌病理图像识别方法 | |
| JP2024027078A (ja) | マルチスケールに基づく全スライド病理特徴融合抽出方法、システム、電子機器及び記憶媒体 | |
| CN113450305A (zh) | 医疗图像的处理方法、系统、设备及可读存储介质 | |
| CN111062909A (zh) | 乳腺肿块良恶性判断方法及设备 | |
| CN114973244B (zh) | 一种乳腺癌h&e染色病理图像有丝分裂自动识别系统和方法 | |
| CN114359279B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN114037868B (zh) | 图像识别模型的生成方法及装置 | |
| CN114155399A (zh) | 基于多特征融合递进式判别的乳腺病理全切片分类方法 | |
| Mahoro et al. | Breast masses detection on mammograms using recent one-shot deep object detectors | |
| CN109948706B (zh) | 结合深度学习与特征多尺度融合的微钙化簇检测方法 | |
| CN112819042A (zh) | 一种食管鳞状上皮异型增生图像的处理方法、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210409 |
|
| RJ01 | Rejection of invention patent application after publication |