CN117218129A - 食道癌图像识别分类方法、系统、设备及介质 - Google Patents
食道癌图像识别分类方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN117218129A CN117218129A CN202311484484.7A CN202311484484A CN117218129A CN 117218129 A CN117218129 A CN 117218129A CN 202311484484 A CN202311484484 A CN 202311484484A CN 117218129 A CN117218129 A CN 117218129A
- Authority
- CN
- China
- Prior art keywords
- layer
- classification
- esophagus
- convolution layer
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 208000000461 Esophageal Neoplasms Diseases 0.000 title claims abstract description 133
- 201000004101 esophageal cancer Diseases 0.000 title claims abstract description 133
- 206010030155 Oesophageal carcinoma Diseases 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 163
- 238000013145 classification model Methods 0.000 claims abstract description 57
- 210000003238 esophagus Anatomy 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000007689 inspection Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 210000002569 neuron Anatomy 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 26
- 230000010287 polarization Effects 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 18
- 238000013138 pruning Methods 0.000 claims description 16
- 238000002372 labelling Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 230000005764 inhibitory process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000001965 increasing effect Effects 0.000 claims description 5
- ZCYVEMRRCGMTRW-UHFFFAOYSA-N 7553-56-2 Chemical compound [I] ZCYVEMRRCGMTRW-UHFFFAOYSA-N 0.000 claims description 4
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000007499 fusion processing Methods 0.000 claims description 4
- 229910052740 iodine Inorganic materials 0.000 claims description 4
- 239000011630 iodine Substances 0.000 claims description 4
- 230000001537 neural effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000000717 retained effect Effects 0.000 claims description 4
- 238000010186 staining Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 9
- 238000007781 pre-processing Methods 0.000 description 8
- 238000012216 screening Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000003902 lesion Effects 0.000 description 6
- 230000001575 pathological effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 208000018522 Gastrointestinal disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 208000028299 esophageal disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 208000025402 neoplasm of esophagus Diseases 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种食道癌图像识别分类方法、系统、设备及介质，涉及食道癌图像的识别、分类，其目的在于解决现有技术中存在的无法识别食管图像中的小目标病灶以及在处理内镜检查视频流时会产生较大延迟的技术问题。其包括获取食管检查数据样本及标签数据；构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络、特征融合网络、检测头以及识别分类网络；骨干网络对食管图像进行特征提取，并输出4层多尺度特征，特征融合网络对4层多尺度特征进行特征融合，融合后的特征经由检测头输入识别分类网络，识别分类网络输出分类结果；训练食道癌图像识别分类模型；输入实时食管检测数据，食道癌图像识别分类模型输出识别分类结果。
Description
技术领域
本发明属于人工智能技术领域，涉及食道癌图像的识别分类，尤其涉及一种食道癌图像识别分类方法、系统、设备及介质。
背景技术
随着人类生活方式和日常饮食的改变，加之现代生活快节奏性与不规律性，胃肠道疾病的发病率越来越高。食道癌是全球第七大常见癌症，是一种常发于食道内壁细胞的恶性肿瘤。早期诊断和治疗可显著提高患者的生存率，但是由于起病隐匿，大约一半食道肿瘤患者诊断时已为中晚期，错过了最佳治疗时机。
传统食道癌识别主要来源于消化科医生的手工操作和经验判断，这严重依赖于医生的工作状态以及看病经验，对于同样的病例，不同的医生可能会给出不同的食道癌诊断结果。随着人工智能技术的发展，机器学习、深度学习等多种技术也融入到食道癌的辅助分析、诊断中。现有的基于机器学习、深度学习和人工智能的食道癌模型训练时，通常会单一训练白光内镜或窄带内镜下的食道癌图像，几乎没有将不同模式下筛查的食道癌图像进行特征融合训练。另外，训练时数据集样本不足，会影响训练后模型的识别精度和泛化能力。
申请号为201811022872.2的发明专利申请就公开了一种基于卷积神经网络的食道癌病理图像自动甄别装置及其甄别方法，该装置包括图像采集模块、图像处理模块、数据存储模块、迁移学习模块、网络训练模块和甄别模块。本发明所述的甄别方法包括以下步骤：1、图像采集模块采集病理图像，构建食道癌病理切片图像库；2、通过图像处理模块对各病理图像库进行扩充；3、利用扩充后的预训练网络病理图像数据集完成迁移学习；4、在习得的卷积神经网络结构上，用扩充后的食道癌病理图像数据集训练网络并微调权值，得到判别的网络模型，用甄别模块实现智能化判别。本发明克服了因缺乏大型公开、已标记的食道癌病理图像数据集作为训练样本导致的深度学习过程中易出现的过拟合问题，提高识别率。
申请号为202010778272.X的发明专利申请就公开了一种基于人工智能的食道癌术前管理的方法和系统，包括客户端和服务端；服务端包括病例典型图片库、图片模式识别模块、高风险病灶目标识别模块、表面血管分型识别模块和AVA分割识别模块。本发明根据不同的任务构建多个深度学习模型（涉及图像分类、目标检测、语义分割），并采用级联的模型融合技术，在内镜医师进行食道疾病筛查过程中，提供全流程智能辅助诊断功能。通过在NBI远景模式下探测出食道高风险病灶，并根据内镜检查所观察到的AB分型和AVA分型，可以帮助医生更好地对患者的病情进行较为准确的评估，提供更为科学的治疗选择。
如上述专利申请一样，现有技术中大多通过机器学习、深度学习等技术只实现了对食道癌病灶的大目标识别，尚无法识别食道图像中的小目标病灶；此外，现有的食道癌识别方法大多针对于食道癌病理图像，若将其用于处理内镜检查视频流时则会产生延迟较大，算法的计算效率仍然难以满足临床应用的需求，严重限制了其在计算资源有限的环境中的应用，进而限制了基于人工智能的食道癌病变检测方法的广泛应用。因此，有必要降低食道癌病灶检测模型的计算代价，提高其实时处理性能，这对于提升人工智能在临床的可应用性具有重要意义。
发明内容
本发明的目的在于：为了解决现有技术中存在的无法识别食道图像中的小目标病灶以及在处理内镜检查视频流时会产生较大延迟的技术问题，提供一种食道癌图像识别分类方法、系统、设备及介质。
本发明为了实现上述目的具体采用以下技术方案：
一种食道癌图像识别分类方法，包括如下步骤：
步骤S1，获取样本及标签；
获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据；
步骤S2，构建食道癌图像识别分类模型；
构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；
步骤S3，训练食道癌图像识别分类模型；
采用步骤S1获取的样本数据及标签对步骤S2构建的食道癌图像识别分类模型进行训练；
步骤S4，实时分类；
获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
进一步地，步骤S1中，食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光、窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；
标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据。
进一步地，对获取的食道检查数据样本进行数据增强、图像融合处理；
数据增强包括：
步骤S1-1，先对食道检查数据样本依次进行垂直翻转、左右翻转、旋转、色度调整、亮度调整以及马赛克增强；
步骤S1-2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强；
图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型。
进一步地，步骤S2中，骨干网络模块包括依次设置的聚焦层、第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层；第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层中每一层输出的多尺度特征组成4层多尺度特征，并作为骨干网络模块的输出；
特征融合模块包括第一融合单元、第二融合单元、第三融合单元、第四融合单元，第一融合单元包括依次设置的空间金字塔池化层、可变形卷积层以及卷积层，第二融合单元、第三融合单元、第四融合单元均包括依次设置的可变形卷积层以及卷积层；第二密集跨阶层、第一密集跨阶层、第二交叉跨阶层、第一交叉跨阶层输出的多尺度特征依次输入第一融合单元、第二融合单元、第三融合单元、第四融合单元；第一融合单元的可变形卷积层的输出、第三融合单元的可变形卷积层的输出均输入第二融合单元的卷积层，第二融合单元的可变形卷积层的输出、第四融合单元的可变形卷积层的输出均输入第三融合单元的卷积层，第三融合单元的可变形卷积层的输出输入第四融合单元的卷积层；
检测头模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一融合单元、第二融合单元、第三融合单元、第四融合单元的输出分别作为第一卷积层、第二卷积层、第三卷积层、第四卷积层的输入，且第一融合单元、第二融合单元、第三融合单元的输出还分别作为第二卷积层、第三卷积层、第四卷积层的输入；
识别分类模块包括非极大值抑制层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的输出均输入非极大值抑制层，非极大值抑制层输出识别分类结果。
进一步地，步骤S3中，对训练后的食道癌图像识别分类模型进行通道剪枝处理，具体步骤为：
步骤S3-1，对食道癌图像识别分类模型中的批归一化层中所有神经元施加L1正则化，稀疏化网络；其中，该批归一化层为包含在骨干网络模块的跨层链接以及特征融合模块、检测头模块的卷积层中。
步骤S3-2，将通道系数后的XX层的标度因子进行排序，得到/>标度因子的值和分布；
步骤S3-3，将排序后的标度因子输入极化正则化器；
步骤S3-4，极化正则化器搜索裁剪阈值，修剪阈值位于最接近0峰值的神经元的尾部之前的神经元，得到通道剪枝后的食道癌图像识别分类模型。
进一步地，步骤S3-3中，极化正则化器的损失函数为：
表示神经元个数，/>表示对神经网络的训练权重施加L2正则化，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数；
当越大，损失函数值越小，极化正则化器使得批归一化层中重要神经元的推向a方向，不重要的神经元的/>趋近于0，增大了需要被修剪与保留的神经元分来的剪枝域空间。
进一步地，步骤S3中，通道剪枝的整体损失函数为：
其中，表示神经元个数，/>表示第i张图像的输入特征，/>表示第i张图像的标签，/>代表神经网络的训练权重，/>表示对神经网络的训练权重施加L2正则化，/>表示用于减少计算量的超参数，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示神经网络，/>表示网络瘦身的损失函数，表示极化正则化器的损失函数，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数。
一种食道癌图像识别分类系统，包括：
样本及标签获取模块，用于获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据；
模型构建模块，用于构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；
模型训练模块，用于采用样本及标签获取模块获取的样本数据及标签对模型构建模块构建的食道癌图像识别分类模型进行训练；
实时分类模块，用于获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述方法的步骤。
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述方法的步骤。
本发明的有益效果如下：
1、本发明的数据增强模块可以有效解决数据集不平衡或不充分数据采集困难问题；相比现有的其他方法，本发明提出的数据增强，输入食道图像后调整生成食道图像的尺寸和潜在噪声向量的维数，使得生成图像的数据分布具有连续性，从而增强生成图像区域特征的真实性；图像融合利用自动编码器结构提高生成图像的纹理清晰度，使用长跳跃连接增强网络间的浅层信息流动，从而实现生成图像中食道的细节特征补全；基于Wasserstein距离的损失函数有效解决生成对抗网络中的模式崩塌问题和训练不稳定问题，并结合空间约束、结构相似性算法和鉴别器的重构损失进一步提升模型的图像生成性能；在食道癌背景图中进行多次融合操作，扩充训练数据集，防止模型欠拟合。
2、本发明提出的多尺度特征提取改进策略，通过密集连接和跨阶段局部网络，使浅层网络的小目标病灶特征语义信息传递到网络的深层部分，增强食道对象的小目标语义信息在网络中的传递，带瓶颈结构的密集层去除冗余的输出特征图维度以降低计算量，通过分层结构实现多尺度特征提取，进一步实现了小目标食道癌病灶识别。
3、本发明提出的多尺度特征融合改进策略，将4层不同尺度的食道癌特征图作为颈部网络的输入，进行特征融合，实现小目标食道癌病灶的低级特征图和高级特征图的互补，实现不同尺寸特征图之间的相互利用，增强临床食道癌识别精度。
4、本发明提出的添加了极化正则器的网络瘦身的模型压缩方法，在保持食道癌检测精度情况下，从参数规模和模型大小角度有效地减少病灶模型的复杂度和推理计算量，使得食道癌病灶检测模型能够部署在资源受限的平台上。
5、本发明提出的食道癌识别方法在训练完成后，可以直接处理原始的食道检查视频，得到精细化的食道癌病灶识别结果。
附图说明
图1是本发明的流程示意图；
图2是本发明中食道癌图像识别分类模型的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
因此，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本实施例提供一种食道癌图像识别分类方法，其用于对食道图像怎么识别、分类，得出食道图像中病灶位置及分级。如图1所示，具体包括如下步骤：
步骤S1，获取样本及标签；
获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据。
原始数据为食道筛查视频数据，并将视频数据输入数据预处理模块（现有的模块，可直接适用现有技术中的数据预处理模块即可）进行预处理，将其逐帧处理为512*512分辨率的可训练的图像数据。此外，数据预处理模块还用于对每张图像进行标注，标注出并在的位置以及分级。
食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光、窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；
标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据。
此外，还对获取的食道检查数据样本进行数据增强、图像融合处理；
数据增强包括：
步骤S1-1，先对食道检查数据样本依次进行垂直翻转、左右翻转、旋转、色度调整、亮度调整以及马赛克增强；
步骤S1-2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强。
结合Wasserstein距离、空间约束、结构相似性算法和鉴别器重构损失函数；
将标注后的食道癌图像输入生成对抗网络算法，输出单独的食道癌病灶图像。
图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型，实现样本数据的扩充。
通过数据增强处理，丰富了模型的训练数据，通过调整预处理后的图像数据的尺寸和潜在噪声向量的维数，使得生成图像的数据分布具有连续性，从而增强生成图像区域的真实性。通过图像融合处理，提升了模块的精确性和鲁棒性，使用自动编码器结构和长跳跃连接优化数据增强网络，提高食道图像的纹理清晰度，实现食道癌生成图像的细节特征补全。
此外，还将数据增强、图像融合后的食道癌图像划分为训练集、验证集以及测试集，用于后续对模型的训练、验证以及测试。
步骤S2，构建食道癌图像识别分类模型；
如图2所示，构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果。
骨干网络模块是一个具有四输出通道的四维卷积层构成，其包括依次设置的聚焦层、第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层；其中，第一交叉跨阶层、第二交叉跨阶层均采用交叉连接，第一密集跨阶层、第二密集跨阶层均采用密集连接。第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层中每一层输出的多尺度特征组成4层多尺度特征，并作为骨干网络模块的输出。
骨干网络模块进行多尺度特征提取时，具体方法为：
使用残差连接、带瓶颈结构密集连接和跨区域网络相结合，通过长跳跃连接将模型骨干网络中的浅层网络和深层网络相连，将浅层网络提取的特征保存到深层网络。
特征融合模块负责对多尺度特征进行双向特征融合，生成四种不同尺度的融合特征。其包括第一融合单元、第二融合单元、第三融合单元、第四融合单元，第一融合单元包括依次设置的空间金字塔池化层、可变形卷积层以及卷积层，第二融合单元、第三融合单元、第四融合单元均包括依次设置的可变形卷积层以及卷积层；第二密集跨阶层、第一密集跨阶层、第二交叉跨阶层、第一交叉跨阶层输出的多尺度特征依次输入第一融合单元、第二融合单元、第三融合单元、第四融合单元；第一融合单元的可变形卷积层的输出、第三融合单元的可变形卷积层的输出均输入第二融合单元的卷积层，第二融合单元的可变形卷积层的输出、第四融合单元的可变形卷积层的输出均输入第三融合单元的卷积层，第三融合单元的可变形卷积层的输出输入第四融合单元的卷积层。
特征融合模块中，使用如下公式表示多尺度特征融合：
其中，表示第二层自上而下的输入特征，/>表示第二层自上而下的中间特征，/>表示第二层自下而上的输出特征，/>表示计算卷积核多项式乘法的函数，表示学习权重参数，其值在0和1之间，/>表示求导，/>表示一种避免数值不稳定的上采样或下采样操作、/>表示第一层自下而上的输出特征，/>表示第三层自上而下的输入特征，/>分别表示第一层、第二层神经元的学习权重参数，表示对第一层、第二层、第三层神经元学习参数求导。
检测头模块包括四层神经元构成，负责对四种不同尺度的融合特征进行分类和位置回归，通过单一的卷积层，得到具有分类概率、置信度和锚框位置的四种不同尺度的检测头特征输出。其包括第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一融合单元、第二融合单元、第三融合单元、第四融合单元的输出分别作为第一卷积层、第二卷积层、第三卷积层、第四卷积层的输入，且第一融合单元、第二融合单元、第三融合单元的输出还分别作为第二卷积层、第三卷积层、第四卷积层的输入。
识别分类模块用于选取检测头模块输出中具有最大置信度的边界框作为最终食道癌识别区域，并计算食道癌的等级和出现次数。其包括非极大值抑制层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的输出均输入非极大值抑制层，非极大值抑制层输出识别分类结果。
步骤S3，训练食道癌图像识别分类模型；
采用步骤S1获取的样本数据及标签对步骤S2构建的食道癌图像识别分类模型进行训练。
在进行食道癌图像识别分类模型的训练时，采用本领域常规的训练方法进行训练即可，无需付出创造性劳动。
此外，针对训练完成后的食道癌图像识别分类模型，还进行通道剪枝处理，对模型进行压缩。具体步骤为：
步骤S3-1，对食道癌图像识别分类模型中的批归一化层中所有神经元施加L1正则化，稀疏化网络；其中，该批归一化层为包含在骨干网络模块的跨层链接以及特征融合模块、检测头模块的卷积层中。
步骤S3-2，将通道系数后的XX层的标度因子进行排序，得到/>标度因子的值和分布；
步骤S3-3，将排序后的标度因子输入极化正则化器；
极化正则化器的损失函数为：
表示神经元个数，/>表示对神经网络的训练权重施加L2正则化，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数；
当越大，损失函数值越小，极化正则化器使得批归一化层中重要神经元的推向a方向，不重要的神经元的/>趋近于0，增大了需要被修剪与保留的神经元分来的剪枝域空间。
步骤S3-4，极化正则化器搜索裁剪阈值，修剪阈值位于最接近0峰值的神经元的尾部之前的神经元，得到通道剪枝后的食道癌图像识别分类模型。
通道剪枝的整体损失函数为：
其中，表示神经元个数，/>表示第i张图像的输入特征，/>表示第i张图像的标签，/>代表神经网络的训练权重，/>表示对神经网络的训练权重施加L2正则化，/>表示用于减少计算量的超参数，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示神经网络，/>表示网络瘦身的损失函数，表示极化正则化器的损失函数，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数。
步骤S4，实时分类；
获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
实施例2
本实施例提供一种食道癌图像识别分类系统，具体包括：
样本及标签获取模块，用于获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据。
原始数据为食道筛查视频数据，并将视频数据输入数据预处理模块（现有的模块，可直接适用现有技术中的数据预处理模块即可）进行预处理，将其逐帧处理为512*512分辨率的可训练的图像数据。此外，数据预处理模块还用于对每张图像进行标注，标注出并在的位置以及分级。
食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光、窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；
标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据。
此外，还对获取的食道检查数据样本进行数据增强、图像融合处理；
数据增强包括：
步骤S1-1，先对食道检查数据样本依次进行垂直翻转、左右翻转、旋转、色度调整、亮度调整以及马赛克增强；
步骤S1-2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强。
结合Wasserstein距离、空间约束、结构相似性算法和鉴别器重构损失函数；
将标注后的食道癌图像输入生成对抗网络算法，输出单独的食道癌病灶图像。
图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型，实现样本数据的扩充。
通过数据增强处理，丰富了模型的训练数据，通过调整预处理后的图像数据的尺寸和潜在噪声向量的维数，使得生成图像的数据分布具有连续性，从而增强生成图像区域的真实性。通过图像融合处理，提升了模块的精确性和鲁棒性，使用自动编码器结构和长跳跃连接优化数据增强网络，提高食道图像的纹理清晰度，实现食道癌生成图像的细节特征补全。
此外，还将数据增强、图像融合后的食道癌图像划分为训练集、验证集以及测试集，用于后续对模型的训练、验证以及测试。
模型构建模块，用于构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果。
骨干网络模块是一个具有四输出通道的四维卷积层构成，其包括依次设置的聚焦层、第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层；其中，第一交叉跨阶层、第二交叉跨阶层均采用交叉连接，第一密集跨阶层、第二密集跨阶层均采用密集连接。第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层中每一层输出的多尺度特征组成4层多尺度特征，并作为骨干网络模块的输出。
骨干网络模块进行多尺度特征提取时，具体方法为：
使用残差连接、带瓶颈结构密集连接和跨区域网络相结合，通过长跳跃连接将模型骨干网络中的浅层网络和深层网络相连，将浅层网络提取的特征保存到深层网络。
特征融合模块负责对多尺度特征进行双向特征融合，生成四种不同尺度的融合特征。其包括第一融合单元、第二融合单元、第三融合单元、第四融合单元，第一融合单元包括依次设置的空间金字塔池化层、可变形卷积层以及卷积层，第二融合单元、第三融合单元、第四融合单元均包括依次设置的可变形卷积层以及卷积层；第二密集跨阶层、第一密集跨阶层、第二交叉跨阶层、第一交叉跨阶层输出的多尺度特征依次输入第一融合单元、第二融合单元、第三融合单元、第四融合单元；第一融合单元的可变形卷积层的输出、第三融合单元的可变形卷积层的输出均输入第二融合单元的卷积层，第二融合单元的可变形卷积层的输出、第四融合单元的可变形卷积层的输出均输入第三融合单元的卷积层，第三融合单元的可变形卷积层的输出输入第四融合单元的卷积层。
特征融合模块中，使用如下公式表示多尺度特征融合：
其中，表示第二层自上而下的输入特征，/>表示第二层自上而下的中间特征，/>表示第二层自下而上的输出特征，/>表示计算卷积核多项式乘法的函数，表示学习权重参数，其值在0和1之间，/>表示求导，/>表示一种避免数值不稳定的上采样或下采样操作、/>表示第一层自下而上的输出特征，/>表示第三层自上而下的输入特征，/>分别表示第一层、第二层神经元的学习权重参数，表示对第一层、第二层、第三层神经元学习参数求导。
检测头模块包括四层神经元构成，负责对四种不同尺度的融合特征进行分类和位置回归，通过单一的卷积层，得到具有分类概率、置信度和锚框位置的四种不同尺度的检测头特征输出。其包括第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一融合单元、第二融合单元、第三融合单元、第四融合单元的输出分别作为第一卷积层、第二卷积层、第三卷积层、第四卷积层的输入，且第一融合单元、第二融合单元、第三融合单元的输出还分别作为第二卷积层、第三卷积层、第四卷积层的输入。
识别分类模块用于选取检测头模块输出中具有最大置信度的边界框作为最终食道癌识别区域，并计算食道癌的等级和出现次数。其包括非极大值抑制层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的输出均输入非极大值抑制层，非极大值抑制层输出识别分类结果。
模型训练模块，用于采用样本及标签获取模块获取的样本数据及标签对模型构建模块构建的食道癌图像识别分类模型进行训练。
在进行食道癌图像识别分类模型的训练时，采用本领域常规的训练方法进行训练即可，无需付出创造性劳动。
此外，针对训练完成后的食道癌图像识别分类模型，还进行通道剪枝处理，对模型进行压缩。具体步骤为：
步骤S3-1，对食道癌图像识别分类模型中的批归一化层中所有神经元施加L1正则化，稀疏化网络；
步骤S3-2，将通道系数后的XX层的标度因子进行排序，得到/>标度因子的值和分布；
步骤S3-3，将排序后的标度因子输入极化正则化器；
极化正则化器的损失函数为：
表示神经元个数，/>表示对神经网络的训练权重施加L2正则化，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数；
当越大，损失函数值越小，极化正则化器使得批归一化层中重要神经元的推向a方向，不重要的神经元的/>趋近于0，增大了需要被修剪与保留的神经元分来的剪枝域空间。
步骤S3-4，极化正则化器搜索裁剪阈值，修剪阈值位于最接近0峰值的神经元的尾部之前的神经元，得到通道剪枝后的食道癌图像识别分类模型。
通道剪枝的整体损失函数为：
其中，表示神经元个数，/>表示第i张图像的输入特征，/>表示第i张图像的标签，/>代表神经网络的训练权重，/>表示对神经网络的训练权重施加L2正则化，/>表示用于减少计算量的超参数，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示神经网络，/>表示网络瘦身的损失函数，表示极化正则化器的损失函数，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数。
实时分类模块，用于获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
实施例3
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行食道癌图像识别分类方法的步骤。
其中，所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或D界面显示存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述计算机设备的内部存储单元，例如该计算机设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡(SmartMediaCard，SMC)，安全数字(SecureDigital，SD)卡，闪存卡(FlashCard)等。当然，所述存储器还可以既包括所述计算机设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器常用于存储安装于所述计算机设备的操作系统和各类应用软件，例如所述食道癌图像识别分类方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器在一些实施例中可以是中央处理器(CentralProcessingUnit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述计算机设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如运行所述食道癌图像识别分类方法的程序代码。
实施例4
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行食道癌图像识别分类方法的步骤。
其中，所述计算机可读存储介质存储有界面显示程序，所述界面显示程序可被至少一个处理器执行，以使所述至少一个处理器执行如上述的食道癌图像识别分类方法的步骤。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器或者网络设备等)执行本申请实施例所述食道癌图像识别分类方法。
Claims (10)
1.一种食道癌图像识别分类方法，其特征在于，包括如下步骤：
步骤S1，获取样本及标签；
获取食道检查数据样本，并对食道检查数据样本进行标注，得到标签数据；
步骤S2，构建食道癌图像识别分类模型；
构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；
步骤S3，训练食道癌图像识别分类模型；
采用步骤S1获取的样本数据及标签对步骤S2构建的食道癌图像识别分类模型进行训练；
步骤S4，实时分类；
获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
2.如权利要求1所述的食道癌图像识别分类方法，其特征在于：步骤S1中，食道检查数据样本中的每例病灶均包括连续采样的多帧图像序列，图像序列包括从白光、窄带内镜和碘染三种模式下的食道筛查视频中逐帧输出的图像；
标注时，对序列中每张图像进行病灶位置以及分级进行标注，形成标签数据。
3.如权利要求2所述的食道癌图像识别分类方法，其特征在于：对获取的食道检查数据样本进行数据增强、图像融合处理；
数据增强包括：
步骤S1-1，先对食道检查数据样本依次进行垂直翻转、左右翻转、旋转、色度调整、亮度调整以及马赛克增强；
步骤S1-2，使用自动编码器和长跳跃连接优化数据增强网络，并通过数据增强网络对食道检查数据样本进行数据增强；
图像融合包括：通过图像融合的方式将食道检查数据样本中的食道癌病灶图像嵌入食道背景图像，生成融合后的新图像并用于训练食道癌图像识别分类模型。
4.如权利要求1所述的食道癌图像识别分类方法，其特征在于：步骤S2中，
骨干网络模块包括依次设置的聚焦层、第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层；第一交叉跨阶层、第二交叉跨阶层、第一密集跨阶层、第二密集跨阶层中每一层输出的多尺度特征组成4层多尺度特征，并作为骨干网络模块的输出；
特征融合模块包括第一融合单元、第二融合单元、第三融合单元、第四融合单元，第一融合单元包括依次设置的空间金字塔池化层、可变形卷积层以及卷积层，第二融合单元、第三融合单元、第四融合单元均包括依次设置的可变形卷积层以及卷积层；第二密集跨阶层、第一密集跨阶层、第二交叉跨阶层、第一交叉跨阶层输出的多尺度特征依次输入第一融合单元、第二融合单元、第三融合单元、第四融合单元；第一融合单元的可变形卷积层的输出、第三融合单元的可变形卷积层的输出均输入第二融合单元的卷积层，第二融合单元的可变形卷积层的输出、第四融合单元的可变形卷积层的输出均输入第三融合单元的卷积层，第三融合单元的可变形卷积层的输出输入第四融合单元的卷积层；
检测头模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层，第一融合单元、第二融合单元、第三融合单元、第四融合单元的输出分别作为第一卷积层、第二卷积层、第三卷积层、第四卷积层的输入，且第一融合单元、第二融合单元、第三融合单元的输出还分别作为第二卷积层、第三卷积层、第四卷积层的输入；
识别分类模块包括非极大值抑制层，第一卷积层、第二卷积层、第三卷积层、第四卷积层的输出均输入非极大值抑制层，非极大值抑制层输出识别分类结果。
5.如权利要求1所述的食道癌图像识别分类方法，其特征在于：步骤S3中，对训练后的食道癌图像识别分类模型进行通道剪枝处理，具体步骤为：
步骤S3-1，对食道癌图像识别分类模型中的批归一化层中所有神经元施加L1正则化，稀疏化网络；
步骤S3-2，将通道系数后的XX层的标度因子进行排序，得到/>标度因子的值和分布；
步骤S3-3，将排序后的标度因子输入极化正则化器；
步骤S3-4，极化正则化器搜索裁剪阈值，修剪阈值位于最接近0峰值的神经元的尾部之前的神经元，得到通道剪枝后的食道癌图像识别分类模型。
6.如权利要求5所述的食道癌图像识别分类方法，其特征在于：步骤S3-3中，极化正则化器的损失函数为：
表示神经元个数，/>表示对神经网络的训练权重施加L2正则化，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数；
当越大，损失函数值越小，极化正则化器使得批归一化层中重要神经元的/>推向a方向，不重要的神经元的/>趋近于0，增大了需要被修剪与保留的神经元分来的剪枝域空间。
7.如权利要求5所述的食道癌图像识别分类方法，其特征在于：步骤S3中，通道剪枝的整体损失函数为：
其中，表示神经元个数，/>表示第i张图像的输入特征，/>表示第i张图像的标签，/>代表神经网络的训练权重，/>表示对神经网络的训练权重施加L2正则化，/>表示用于减少计算量的超参数，/>表示控制批归一化层的标度因子/>权值的超参数，/>表示神经元i的标度因子，/>表示/>至/>的平均值，/>表示控制批归一化层的标度因子/>权值的超参数，表示由/>加权到L1正则化的原始项，/>衡量第i个标度因子与标度因子平均值的差异，/>表示神经网络，/>表示网络瘦身的损失函数，/>表示极化正则化器的损失函数，/>表示n维实数向量空间，R表示实数，/>表示大于零的某个数。
8.一种食道癌图像识别分类系统，其特征在于，包括：
样本及标签获取模块，用于获取食道检查数据样本，并对食道检查数据样本进行标注后得到标签数据；
模型构建模块，用于构建食道癌图像识别分类模型，食道癌图像识别分类模型包括骨干网络模块、特征融合模块、检测头模块以及识别分类模块；骨干网络模块对食道图像进行特征提取，并输出4层多尺度特征，特征融合模块对4层多尺度特征进行特征融合，融合后的特征经由检测头模块输入识别分类模块，识别分类模块输出分类结果；
模型训练模块，用于采用样本及标签获取模块获取的样本数据及标签对模型构建模块构建的食道癌图像识别分类模型进行训练；
实时分类模块，用于获取实时的食道检测数据，并输入食道癌图像识别分类模型，食道癌图像识别分类模型输出识别分类结果。
9.一种计算机设备，其特征在于：包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法。
10.一种计算机可读存储介质，其特征在于：存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484484.7A CN117218129B (zh) | 2023-11-09 | 2023-11-09 | 食道癌图像识别分类方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311484484.7A CN117218129B (zh) | 2023-11-09 | 2023-11-09 | 食道癌图像识别分类方法、系统、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117218129A true CN117218129A (zh) | 2023-12-12 |
| CN117218129B CN117218129B (zh) | 2024-01-26 |
Family
ID=89043030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311484484.7A Active CN117218129B (zh) | 2023-11-09 | 2023-11-09 | 食道癌图像识别分类方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117218129B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| CN112464579A (zh) * | 2021-02-02 | 2021-03-09 | 四川大学 | 基于进化神经网络结构搜索食管癌病变区域识别建模方法 |
| CN114511728A (zh) * | 2021-12-24 | 2022-05-17 | 之江实验室 | 一种电子内镜食管病灶智能检测模型建立方法 |
| CN114596274A (zh) * | 2022-03-03 | 2022-06-07 | 安徽大学 | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 |
| CN114998688A (zh) * | 2022-06-20 | 2022-09-02 | 中国科学院长春光学精密机械与物理研究所 | 一种基于YOLOv4改进算法的大视场目标检测方法 |
| CN115223143A (zh) * | 2022-07-11 | 2022-10-21 | 小米汽车科技有限公司 | 用于自动驾驶车辆的图像处理方法、装置、设备及介质 |
| CN115953387A (zh) * | 2023-02-10 | 2023-04-11 | 西南石油大学 | 一种基于深度学习的射线图像焊缝缺陷检测方法 |
| US20230154202A1 (en) * | 2020-10-23 | 2023-05-18 | Xi'an Creation Keji Co., Ltd. | Method of road detection based on internet of vehicles |
| US20230196801A1 (en) * | 2020-04-23 | 2023-06-22 | Nokia Technologies Oy | Method and device for 3d object detection |
| CN116468682A (zh) * | 2023-04-04 | 2023-07-21 | 电子科技大学 | 基于深度学习的磁控胶囊内镜图像胃部解剖结构辨识方法 |
| CN116503639A (zh) * | 2023-03-14 | 2023-07-28 | 苏州大学 | 一种视网膜oct图像病变多标签分类系统和方法 |
-
2023
- 2023-11-09 CN CN202311484484.7A patent/CN117218129B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086836A (zh) * | 2018-09-03 | 2018-12-25 | 淮阴工学院 | 一种基于卷积神经网络的食管癌病理图像自动甄别装置及其甄别方法 |
| WO2020102988A1 (zh) * | 2018-11-20 | 2020-05-28 | 西安电子科技大学 | 基于特征融合和稠密连接的红外面目标检测方法 |
| US20230196801A1 (en) * | 2020-04-23 | 2023-06-22 | Nokia Technologies Oy | Method and device for 3d object detection |
| US20230154202A1 (en) * | 2020-10-23 | 2023-05-18 | Xi'an Creation Keji Co., Ltd. | Method of road detection based on internet of vehicles |
| CN112464579A (zh) * | 2021-02-02 | 2021-03-09 | 四川大学 | 基于进化神经网络结构搜索食管癌病变区域识别建模方法 |
| CN114511728A (zh) * | 2021-12-24 | 2022-05-17 | 之江实验室 | 一种电子内镜食管病灶智能检测模型建立方法 |
| CN114596274A (zh) * | 2022-03-03 | 2022-06-07 | 安徽大学 | 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法 |
| CN114998688A (zh) * | 2022-06-20 | 2022-09-02 | 中国科学院长春光学精密机械与物理研究所 | 一种基于YOLOv4改进算法的大视场目标检测方法 |
| CN115223143A (zh) * | 2022-07-11 | 2022-10-21 | 小米汽车科技有限公司 | 用于自动驾驶车辆的图像处理方法、装置、设备及介质 |
| CN115953387A (zh) * | 2023-02-10 | 2023-04-11 | 西南石油大学 | 一种基于深度学习的射线图像焊缝缺陷检测方法 |
| CN116503639A (zh) * | 2023-03-14 | 2023-07-28 | 苏州大学 | 一种视网膜oct图像病变多标签分类系统和方法 |
| CN116468682A (zh) * | 2023-04-04 | 2023-07-21 | 电子科技大学 | 基于深度学习的磁控胶囊内镜图像胃部解剖结构辨识方法 |
Non-Patent Citations (4)
| Title |
|---|
| YUE FU等: "Efficient Esophageal Lesion Detection using Polarization Regularized Network Slimming", 《2022 IEEE 8TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND INTELLIGENT SYSTEMS》, pages 3 * |
| 冯谢星: "面向深度神经网络的数据增强和优化方法研究", 《中国博士学位论文全文数据库（工程科技Ⅱ辑）》, no. 2, pages 2 * |
| 李驰: "基于卷积神经网络的癌症图像病灶识别研究", 《中国学位论文全文数据库》, pages 4 - 73 * |
| 王博等: "可变形残差卷积与特征融合金字塔的SAR图像船舶识别", 《电子元器件与信息技术》, vol. 6, no. 1, pages 192 - 195 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117218129B (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yap et al. | Deep learning in diabetic foot ulcers detection: A comprehensive evaluation | |
| CN110689025B (zh) | 图像识别方法、装置、系统及内窥镜图像识别方法、装置 | |
| CN106529447B (zh) | 一种小样本人脸识别方法 | |
| WO2020133636A1 (zh) | 前列腺手术中外包膜智能检测和预警方法及系统 | |
| CN113724228B (zh) | 舌色苔色识别方法、装置、计算机设备及存储介质 | |
| Wu et al. | U-GAN: Generative adversarial networks with U-Net for retinal vessel segmentation | |
| CN113947127A (zh) | 一种用于陪伴机器人的多模态情感识别方法和系统 | |
| CN111415728A (zh) | 基于cnn和gan的ct图像数据自动分类方法及设备 | |
| Bozkurt | Skin lesion classification on dermatoscopic images using effective data augmentation and pre-trained deep learning approach | |
| CN114511502A (zh) | 一种基于人工智能的胃肠道内窥镜图像息肉检测系统、终端及存储介质 | |
| Zhang et al. | A survey of wound image analysis using deep learning: Classification, detection, and segmentation | |
| Sornapudi et al. | DeepCIN: attention-based cervical histology image classification with sequential feature modeling for pathologist-level accuracy | |
| CN114842238A (zh) | 一种嵌入式乳腺超声影像的识别方法 | |
| Nie et al. | Recent advances in diagnosis of skin lesions using dermoscopic images based on deep learning | |
| Zhang et al. | A comprehensive review of methods based on deep learning for diabetes-related foot ulcers | |
| Ji et al. | Lung nodule detection in medical images based on improved YOLOv5s | |
| CN113344933B (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
| Vijendran et al. | Optimal segmentation and fusion of multi-modal brain images using clustering based deep learning algorithm | |
| Yang et al. | Lesion classification of wireless capsule endoscopy images | |
| CN117036288A (zh) | 一种面向全切片病理图像的肿瘤亚型诊断方法 | |
| CN109635866B (zh) | 处理肠图像的方法 | |
| CN117218129B (zh) | 食道癌图像识别分类方法、系统、设备及介质 | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| Li et al. | Image analysis and diagnosis of skin diseases-a review | |
| Wu et al. | Mscan: Multi-scale channel attention for fundus retinal vessel segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |