CN113393445A - 乳腺癌影像确定方法及系统 - Google Patents

乳腺癌影像确定方法及系统 Download PDF

Info

Publication number
CN113393445A
CN113393445A CN202110686287.8A CN202110686287A CN113393445A CN 113393445 A CN113393445 A CN 113393445A CN 202110686287 A CN202110686287 A CN 202110686287A CN 113393445 A CN113393445 A CN 113393445A
Authority
CN
China
Prior art keywords
image
breast
identified
features
image block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110686287.8A
Other languages
English (en)
Other versions
CN113393445B (zh
Inventor
汪登斌
王丽君
罗冉
陈艳虹
高飞
王则远
刘鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Medicinovo Technology Co ltd
XinHua Hospital Affiliated To Shanghai JiaoTong University School of Medicine
Original Assignee
Beijing Medicinovo Technology Co ltd
XinHua Hospital Affiliated To Shanghai JiaoTong University School of Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Medicinovo Technology Co ltd, XinHua Hospital Affiliated To Shanghai JiaoTong University School of Medicine filed Critical Beijing Medicinovo Technology Co ltd
Priority to CN202110686287.8A priority Critical patent/CN113393445B/zh
Publication of CN113393445A publication Critical patent/CN113393445A/zh
Application granted granted Critical
Publication of CN113393445B publication Critical patent/CN113393445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种乳腺癌影像确定方法及系统，方法包括：将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。能够有效提高对乳腺癌影像的识别准确率，减少识别所需时间。

Description

乳腺癌影像确定方法及系统
技术领域
本发明涉及图像识别技术领域，尤其涉及一种乳腺癌影像确定方法及系统。
背景技术
乳腺癌是女性最高发的癌症之一，据统计，在早期阶段诊断出乳腺癌的概率不到20％，大多数患者被发现的时候是中晚期，情况十分严峻。除了人们癌症健康检查意识不强的原因外，很重要的另一方面原因由于乳腺的影像具有差异化、等级化的特点，乳腺癌的筛查依赖于临床医生的经验，十分耗时耗力，极大降低了诊断效率。专业医生的缺乏，使乳腺癌的筛查难以在基层全面推行。
随着人工智能技术的逐渐成熟，特别是人工智能(Artificial Intelligence，简称AI)在计算机视觉(computer vision，简称CV)方向取得的长足进步，计算机视觉领域技术在患者影像的识别诊断方向得到了广泛应用。利用AI和CV辅助诊断技术，进行乳腺癌辅助诊断与筛查，是实现乳腺癌早发现早治疗，改善乳腺癌患者生存率的可行方式。
目前使用较为广泛的是以卷积神经网络(Convolutional Neural Networks，简称CNN)为基础的学习网络对乳腺影像进行识别，这类方法处理带有复杂噪音影像难以真正很好的捕获远距离特征，并进行高效的并行计算，导致识别的效率和识别结果准确率较低。
因此，如何提供一种乳腺癌影像确定方法及系统，提高对乳腺癌影像的识别准确率，减少识别所需时间，成为亟待解决的问题。
发明内容
本发明提供的乳腺癌影像确定方法及系统，用于解决现有技术中存在的上述问题，提高对乳腺癌影像的识别准确率，减少识别所需时间。
本发明提供的一种乳腺癌影像确定方法，包括：
将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
根据本发明提供的乳腺癌影像确定方法，所述改进的Transformer模型包括：乳腺影像分割层、第一特征提取层、第二特征提取层和目标结果识别层；
所述基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合，具体包括：
将所述待识别乳腺影像输入乳腺影像分割层中，根据预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述提取所述待识别影像块集合中每一块影像块的内部特征和外部特征，具体包括：
将所述待识别影像块集合输入到所述第一特征提取层中，提取每一块影像块的内部特征；
将所述待识别影像块集合输入到所述第二特征提取层中，提取每一块影像块的外部特征；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入目标结果识别层中，确定目标识别结果；
基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
根据本发明提供的乳腺癌影像确定方法，所述目标结果识别层包括：第一特征识别层、第二特征识别层和识别结果确定层；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入所述第一特征识别层中，基于所述每一块影像块的内部特征和外部特征，确定每一块影像块的识别结果；
将所述确定每一块影像块的识别结果输入所述第二特征识别层中，将所有影像块映射重新组合，根据所述每一块影像块的识别结果，确定目标识别结果；
将所述目标识别结果输入所述识别结果确定层中，基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
根据本发明提供的乳腺癌影像确定方法，在所述将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息的步骤之前，还包括：训练所述改进的Transformer模型；
所述训练所述改进的Transformer模型，具体包括：
基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集；
利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新；
基于更新后的网络参数对所述改进的Transformer模型进行迭代训练直至所述改进的Transformer模型收敛。
根据本发明提供的乳腺癌影像确定方法，所述基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集，具体包括：
基于所述带标签的样本乳腺影像集，根据预设的影像分组规则，将所述样本乳腺影像集分为若干影像组；
根据所述预设的影像分割规则，对每一组内的样本乳腺影像分割，确定分割后的影像组；
基于所述分割后的影像组，根据多实例学习法，确定若干带标签的示例包，将所述带标签的示例包的集合作为所述带标签的目标样本集；其中，每个示例包对应一个影像组。
根据本发明提供的乳腺癌影像确定方法，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每一个示例包对应的权重；其中，所述权重表示检测目标在所述示例包中所占的比例；
基于所述目标样本集和所述示例包对应的权重，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
根据本发明提供的乳腺癌影像确定方法，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每个影像块对应的贡献信息；其中，所述贡献信息表示影像块在对应的乳腺影像中的贡献；
基于所述样本图像集和所述每个影像块对应的贡献信息，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
本发明还提供一种乳腺癌影像确定系统，包括：乳腺影像输入单元、乳腺影像分割单元、影像特征提取单元和影像特征识别单元；
所述乳腺影像输入单元，用于将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
所述乳腺影像分割单元，用于基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述影像特征提取单元，用于提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
所述影像特征识别单元，用于根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述乳腺癌影像确定方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述乳腺癌影像确定方法的步骤。
本发明提供的乳腺癌影像确定方法及系统，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的乳腺癌影像确定方法流程图；
图2是本发明提供的乳腺癌影像确定方法流程示意图；
图3是本发明提供的改进的Transformer模型原理示意图；
图4是本发明提供的乳腺癌影像确定系统的结构示意图；
图5是本发明提供的电子设备的实体结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，计算机视觉下的目标检测任务取得了很大的突破，较为流行的算法可大致分为两类：
(一)如Yolo、SSD的one-stage算法，其仅仅使用一个CNN网络直接预测不同目标的类别与位置，别精度较低。
(二)基于Region Proposal的R-CNN系算法，它们是two-stage的，需要先使用启发式方法(selective search)或者CNN网络产生候选框(Region Proposal)，然后再在RegionProposal上做分类回归。在第一类的基础上，精度有所提高，但识别速度较慢。
近来，将自然语言处理领域的主流模型Transformer应用在视觉领域似乎正在成为趋势，越来越多的研究开始把Transformer引入计算机视觉领域，特别是ViT和DeiT的提出，前者创造性的将图像视为patch序列，并利用Transformer编码器架构进行分类；后者则近一步探索了ViT中的数据效率和蒸馏过程，二者更加加速了Transformer在这一领域的应用尝试。
为了解决乳腺癌影像识别准确度较低，识别效率低的问题，本发明对现有的Transformer模型进行了改进，提出了一种乳腺癌影像确定方法及系统。
图1是本发明提供的乳腺癌影像确定方法流程图，如图1所示，本发明提供的一种乳腺癌影像确定方法，包括：
步骤S1，将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
步骤S2，基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
步骤S3，提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
步骤S4，根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
需要说明的是，上述方法的执行主体可以是计算机设备。
具体的，乳腺影像可基于乳腺X线钼靶、乳腺彩超、CT(Computed Tomography，即电子计算机断层扫描)及MRI(Magnetic Resonance Imaging，核磁共振成像)等检查方法获得，具体使用的影像类型以及训练模型时使用的样本影像类型可根据实际情况进行调整，本发明对此不做限定。
获取包含有待识别乳腺的图像信息的待识别乳腺影像，在步骤S1中，待识别乳腺影像输入训练好的改进的Transformer模型中。基于改进的Transformer模型能够识别该待识别乳腺影像是否为乳腺癌图像。
在步骤S2中，改进的Transformer模型对输入的待识别乳腺影像进行处理，基于预设的影像分割规则，对待识别乳腺影像进行分割，获得多个影像块，所有的影像块构成待识别影像块集合。
需要说明的是，预设的影像分割规则(如分割影像块的大小以及形状等)可根据需求情况进行设置，本发明对此不做限定。
在步骤S3中，分别提取待识别影像块集合中每一块影像块的内部特征和外部特征。
其中，内部特征用于表示影像块的图像特征，反映了该影像块局部特征。外部特征用于表示影像块的空间特征(该影像块在图中的空间位置，以及与其他影像块的关联关系)，反映了该影像块与全局的关系。
在步骤S4中，综合每一块影像块的内部特征和外部特征，进行特征识别，确定将待识别乳腺影像是否为乳腺癌影像。
需要说明的是，在使用训练好的改进的Transformer模型对待识别乳腺影像进行识别之前，还需要对改进的Transformer模型进行训练，具体的训练方法可根据实际情况进行调整，本发明对此不做限定。
本发明提供的乳腺癌影像确定方法，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。本发明提供的方法可以提高乳腺癌影像的识别精度，辅助临床医生对乳腺癌进行诊断筛查，为乳腺癌患者的早发现、早治疗提供技术支持。
可选的，根据本发明提供的乳腺癌影像确定方法，所述改进的Transformer模型包括：乳腺影像分割层、第一特征提取层、第二特征提取层和目标结果识别层；
所述基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合，具体包括：
将所述待识别乳腺影像输入乳腺影像分割层中，根据预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述提取所述待识别影像块集合中每一块影像块的内部特征和外部特征，具体包括：
将所述待识别影像块集合输入到所述第一特征提取层中，提取每一块影像块的内部特征；
将所述待识别影像块集合输入到所述第二特征提取层中，提取每一块影像块的外部特征；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入目标结果识别层中，确定目标识别结果；
基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
具体的，改进的Transformer模型为双层Transformer构建，可同时提取内部特征和外部特征，模型分为：乳腺影像分割层、第一特征提取层、第二特征提取层和目标结果识别层。
基于预设的影像分割规则，分割待识别乳腺影像，确定待识别影像块集合，具体包括：
将待识别乳腺影像输入乳腺影像分割层中，根据预设的影像分割规则，将待识别乳腺影像分割成多个影像块，将影像块的集合作为待识别影像块集合。
提取待识别影像块集合中每一块影像块的内部特征和外部特征，具体包括：
将待识别影像块集合输入到第一特征提取层中，对每一块影像块的图像特征进行提取，确定每一块影像块的内部特征。
同时，将待识别影像块集合输入到第二特征提取层中，对每一块影像块的空间特征进行提取，确定每一块影像块的外部特征。
可以理解的是，将每一个影像块进一步拆分并形成embedding序列，形成类似NLP中的tokens，利用内层Transformer(第一特征提取层)将它们编码，即获取内部特征。同时各个影像块之间同样利用外层Transformer(第二特征提取层)进行编码，获得外部特征。
根据每一块影像块的内部特征和外部特征，确定将待识别乳腺影像是否为乳腺癌影像，具体包括：
将每一块影像块的内部特征和外部特征输入目标结果识别层中，结合待识别乳腺影像所有影像块的特征，确定目标识别结果。
根据内部特征和外部特征发力于局域与全局的不同组合相应的映射，并将各自反应的信息进行空间求和，并进行识别，获得最终的目标识别结果。
基于待识别乳腺影像的目标识别结果，确定将待识别乳腺影像是否为乳腺癌影像。
可以理解的是，目标识别结果可能是模型对应输出的不同类别的概率或得分，例如：确定待识别乳腺影像为乳腺癌影像的概率为0.8，为非乳腺癌影像的概率为0.2。根据目标识别结果，可以选定预测概率更高的概率作为确定将待识别乳腺影像是否为乳腺癌影像的判断结果。
本发明提供的乳腺癌影像确定方法，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。本发明提供的方法可以提高乳腺癌影像的识别精度，辅助临床医生对乳腺癌进行诊断筛查，为乳腺癌患者的早发现、早治疗提供技术支持。
可选的，根据本发明提供的乳腺癌影像确定方法，所述目标结果识别层包括：第一特征识别层、第二特征识别层和识别结果确定层；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入所述第一特征识别层中，基于所述每一块影像块的内部特征和外部特征，确定每一块影像块的识别结果；
将所述确定每一块影像块的识别结果输入所述第二特征识别层中，将所有影像块映射重新组合，根据所述每一块影像块的识别结果，确定目标识别结果；
将所述目标识别结果输入所述识别结果确定层中，基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
具体的，目标结果识别层包括：第一特征识别层、第二特征识别层和识别结果确定层。
根据每一块影像块的内部特征和外部特征，确定将待识别乳腺影像是否为乳腺癌影像，具体包括：
将每一块影像块的内部特征和外部特征输入第一特征识别层中，基于每一块影像块的内部特征和外部特征，确定每一块影像块的识别结果。
将确定每一块影像块的识别结果输入第二特征识别层中，将所有影像块映射重新组合，根据每一块影像块的识别结果，根据每个影像块之间的空间位置联系，将每个影像块依据拆分时的规则重新进行映射组合，并根据每个影像块对应的识别结果，确定目标识别结果。
将目标识别结果输入识别结果确定层中，基于目标识别结果，判断待识别乳腺影像是否达到乳腺癌癌变确诊标准，进而准确的确定待识别乳腺影像是否为乳腺癌影像。
可以理解的是，每一个影像块均能够得到一个识别结果(如：确认是乳腺癌影像或不是乳腺癌影像，或者是乳腺癌影像的概率)，在将影像块识别结果融合最终完整影像的识别结果是，可以使用直接加权融合的方式，将不同类别的概率进行累计，确定最终的识别结果。还可以考虑乳腺癌的特性，确定所有影像块中，识别结果为乳腺癌的块数大于预设阈值，则认为完整影像为乳腺癌影像。
需要说明的是，上述根据影像块的识别结果确定完整影像的识别结果的方法，仅作为一个具体的例子对本发明进行说明，除此之外，还可根据实际需求使用其他方式(对应调整模型训练过程)，本发明对此不做限定。
本发明提供的乳腺癌影像确定方法，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够准确的反应不同影像块在影像全局中的特征，有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。
可选的，根据本发明提供的乳腺癌影像确定方法，在所述将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息的步骤之前，还包括：训练所述改进的Transformer模型；
所述训练所述改进的Transformer模型，具体包括：
基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集；
利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新；
基于更新后的网络参数对所述改进的Transformer模型进行迭代训练直至所述改进的Transformer模型收敛。
具体的，本发明对现有Transformer架构进行改进，结合多示例学习(MultiInstance Learning)概念，设计了改进的Transformer模型。改进的Transformer模型即附图中的MIL-BIOiT(Multi Instance Learning BIO-image Transformers)模型。
图2是本发明提供的乳腺癌影像确定方法流程示意图，如图2所示，在将待识别乳腺影像输入改进的Transformer模型中；其中，待识别乳腺影像包括待识别乳腺的图像信息的步骤之前，还需要训练改进的Transformer模型。
训练改进的Transformer模型的步骤，具体包括：
基于带标签的样本乳腺影像集，根据多实例学习(Multiple Instance Learning，简称MIL)法和预设的影像分割规则，利用图像分割器，将样本乳腺影像分割成多个影像块，并将影像块作为示例，确定示例包，并确定每个示例包的标签，构建多示例包数据集，将该多示例包数据集作为带标签的目标样本集(即)。
可以理解的是，在确定示例包时，来源于同一乳腺影像的影像块位于同一个示例包中，示例包带有标签，但其中的示例没有分类标签。
例如，基于医学研究员和已有的乳腺癌影像知识库确立正类影像数据与负类影像数据(例如，将乳腺癌影像作为正类影像数据，非乳腺癌影像作为负类影像数据)，如果示例包中所有的影像块都来源于负类影像数据，则将该示例包标记为负类示例包，若该示例包中存在至少一个来源于正类影像数据的影像块，则将该示例包标记为正类示例包。
需要说明的是，乳腺影像的标签划分规则，将乳腺影像划分为影像块的具体方法，基于影像块确定示例包的具体方法，均可根据实际需求进行调整，本发明对此不做限定。
利用确定的目标样本集，对改进的Transformer模型进行训练，对改进的Transformer模型的网络参数进行更新。基于更新后的网络参数对改进的Transformer模型进行迭代训练直至改进的Transformer模型收敛。
需要说明的是，在本发明中，训练改进的Transformer模型所使用的具体方法(例如：反向传播法和梯度下降法等)，以及所使用的损失函数的具体类型，均可根据实际情况进行设置，本发明对此不做限定。
其次，确定改进的Transformer模型停止训练的条件，可以是改进的Transformer模型迭代训练的次数达到预设阈值，或是模型的目标函数小于预设阈值等，可根据实际需求进行设置，本发明对此不做限定。
本发明提供的乳腺癌影像确定方法，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。在进行模型的训练时，分割样本影像并结合多实例学习的方法，使模型处理影像数据更为高效和准确。
可选的，根据本发明提供的乳腺癌影像确定方法，所述基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集，具体包括：
基于所述带标签的样本乳腺影像集，根据预设的影像分组规则，将所述样本乳腺影像集分为若干影像组；
根据所述预设的影像分割规则，对每一组内的样本乳腺影像分割，确定分割后的影像组；
基于所述分割后的影像组，根据多实例学习法，确定若干带标签的示例包，将所述带标签的示例包的集合作为所述带标签的目标样本集；其中，每个示例包对应一个影像组。
具体的，基于带标签的样本乳腺影像集，根据多实例学习法和预设的影像分割规则，确定带标签的目标样本集，具体包括：
确定样本乳腺影像集，并确定每一张乳腺影像对应的标签(标记乳腺癌、非乳腺癌)。需要说明的是，确定标签的具体方法(例如，将乳腺癌标记为正，非乳腺癌标记为负，或进行调换等)本发明不做限定。
可以理解的是，样本乳腺影像的具体类型需要与模型目标识别的识别乳腺影像类型相符，具体所使用的影像类型可根据实际需求进行选择，本发明对此不做限定。
基于确定的带标签的样本乳腺影像集，根据预设的影像分组规则，将样本乳腺影像集分为若干影像组。
可以理解的是，预设的影像分组规则(例如，样本影像集中有10000张乳腺影像，以每5张为一组进行划分，得到2000个影像组)可根据样本的数量等影像因素进行适应性的调整，具体的划分方法可根据实际需求进行设置，本发明对此不做限定。
根据预设的影像分割规则，对每一组内的样本乳腺影像分割，确定分割后的影像组。
可以理解的是，预设的影像分割规则(例如，将每一张样本乳腺影像，以10*10的规则进行划分，将每一张样本乳腺影像分割成100块影像块)可根据实际需求进行设置，本发明对此不做限定。
根据多实例学习法，以每一个分割后的影像组作为一个示例包，每一块影像块作为一个示例，确定每一个示例包的标签，将所有确定若干带标签的示例包组成的集合作为带标签的目标样本集。
本发明提供的乳腺癌影像确定方法，能够以AI赋能医学影像，将NLP领域主流的Transformer架构结合多示例学习应用到乳腺癌影像检测，在进行模型的训练时，分割样本影像并结合多实例学习的方法，使模型处理影像数据更为高效和准确。更准确快速的对患者影像进行检测筛选，降低人员的消耗，弥补专业医生不足、基层乳腺癌筛查率低的问题，辅助临床医生做出决策，及时对患者进行诊疗。
可选的，根据本发明提供的乳腺癌影像确定方法，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每一个示例包对应的权重；其中，所述权重表示检测目标在所述示例包中所占的比例；
基于所述目标样本集和所述示例包对应的权重，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
具体的，图3是本发明提供的改进的Transformer模型原理示意图，如图2和图3所示，在对模型训练时，引入示例包检测目标的权重对模型进行辅助训练，解决样本不平衡的问题。
利用目标样本集，训练改进的Transformer模型，对改进的Transformer模型的网络参数进行更新的步骤，具体包括：
目标样本集中包含有多个带标签的示例包，计算每一个示例包检测目标在示例包中所占的比例，将该比例作为示例包的权重。
可以理解的是，由于乳腺影像在进行分割之后，分割得到的影像块(如靠近边缘的影像块)可能并不包含有检测目标(即乳腺信息)，该权重即表示，在该示例包中包含有乳腺信息的影像块在示例包中所占的比例。例如：示例包中包含有100块影像块，其中有80张包含有乳腺信息，此时，示例包的权重的权重为4/5。
基于目标样本集和示例包对应的权重，训练改进的Transformer模型，对改进的Transformer模型的网络参数进行更新。
可以理解的是，由于每一个示例包中影像图像的差异将会导致不同示例包的权重不同，在训练过程中，使用目标权重贡献率分布计算器，对改进的Transformer模型进行训练时，结合示例包的权重辅助分配训练时模型对不同训练包分配的学习资源，能够解决不同示例包中样本不均衡的问题。
本发明提供的乳腺癌影像确定方法，使用改进双层Transformer配合融合了目标权重的多示例学习处理乳腺癌影像，在进行模型的训练时，分割样本影像并结合多实例学习的方法，确定示例包并计算示例包的权重，以示例包的权重调整样本模型不均衡的问题，使训练时学习资源配置更加合理，有效减少模型训练所需时间。
可选的，根据本发明提供的乳腺癌影像确定方法，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每个影像块对应的贡献信息；其中，所述贡献信息表示影像块在对应的乳腺影像中的贡献；
基于所述样本图像集和所述每个影像块对应的贡献信息，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
具体的，如图2和图3所示，由于不同乳腺影像的差异性较大，在划分成若干个影像块之后，每个影像块都包含了不同比例的检测目标，根据每个影像块示例对包的不同贡献度(即检测目标所占的比例)通过概率函数计算融合权重到多示例学习中，构建多示例分类器，通过该多实例分类器平衡对应的乳腺影像识别结果中不同影像块的贡献。
利用目标样本集，训练改进的Transformer模型，对改进的Transformer模型的网络参数进行更新，具体包括：
基于目标样本集，计算每个影像块在对应的乳腺影像中的贡献，将该贡献作为影像块对应的贡献信息。在根据BIO-image Transformers层提取得到影像块的特征后，确定多示例包分类结果，并根据影像块合并概率统计插件，根据每一张影像中影像块的识别结果，确定完整影像的最终识别结果。
例如：以检测目标在影像块中所占的比例作为计算影像块在对应的乳腺影像中的贡献的依据。将乳腺影像分为10个影像块，其中，每一个影像块对应的初始贡献为1/10，计算每个影像块中检测目标所占的比例(如：影像块中没有乳腺图像信息记为0，影像块中充满乳腺图像信息记为1)，以初始贡献乘以每个影像块中检测目标所占的比例，并重新计算对应的权重，将获得的权重作为最终每个影像块在对应的乳腺影像中的贡献。需要说明的是，上述确定影像块在对应的乳腺影像中的贡献的计算方法仅作为一个具体的例子对本发明进行说明，除此之外，还可采用其他的形式反应影像块对应的贡献信息，具体的表现形式和计算方法，以及进一步，根据每一张影像中影像块的识别结果，确定完整影像的最终识别结果的方法，可根据实际情况进行设置，本发明对此不做限定。
基于样本图像集和每个影像块对应的贡献信息，训练改进的Transformer模型，对改进的Transformer模型的网络参数进行更新。
例如，在训练过程中，在每一次获取影像块的外部特征时，确定影像块对对应的贡献信息，将该贡献信息作为蒸馏token，将其添加在每个影像块的外部特征序列前。使得新添加的蒸馏token与原token通过自注意力层交互作用并通过反向传播学习，高效地训练模型。
需要说明的是，上述基于影像块对对应的贡献信息训练改进的Transformer模型的方法，仅作为一个具体的例子对本发明进行说明，除此之外，还可以采用其他的形式将该贡献信息融入训练(例如，将其作为单独的贡献特征，结合内部特征和外部特征实现训练)，具体的实现方法可根据实际情况进行调整，本发明对此不做限定。
本发明提供的乳腺癌影像确定方法，使用改进双层Transformer配合融合了目标权重的多示例学习处理乳腺癌影像，在进行模型的训练时，分割样本影像并结合多实例学习的方法，确定每一个影像块所占的权重信息，以该权重信息作为训练的依据，以合理的分配识别结果中不同影像块所占比例，使训练时学习资源配置更加合理，有效减少模型训练所需时间，提高模型识别的效率。
本发明采用的乳腺癌影像确定方法，在ImageNet上可以针对乳腺癌影像识别准确率达到93.6％，根据各个影像块合并后识别出的检测目标总比例是否达到预设阈值从而得出结论，最终由专业医生进行最终验证，显示精度明显高于用于验证的其它目标检测算法。
图4是本发明提供的多维数据报表生成系统的结构示意图，如图4所示，本发明还提供一种乳腺癌影像确定系统，包括：乳腺影像输入单元410、乳腺影像分割单元420、影像特征提取单元430和影像特征识别单元440；
所述乳腺影像输入单元410，用于将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
所述乳腺影像分割单元420，用于基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述影像特征提取单元430，用于提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
所述影像特征识别单元440，用于根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
具体的，乳腺影像可基于乳腺X线钼靶、乳腺彩超、CT(Computed Tomography，即电子计算机断层扫描)及MRI(Magnetic Resonance Imaging，核磁共振成像)等检查方法获得，具体使用的影像类型以及训练模型时使用的样本影像类型可根据实际情况进行调整，本发明对此不做限定。
获取包含有待识别乳腺的图像信息的待识别乳腺影像，乳腺影像输入单元410，用于将待识别乳腺影像输入训练好的改进的Transformer模型中。基于改进的Transformer模型能够识别该待识别乳腺影像是否为乳腺癌图像。
乳腺影像分割单元420，用于利用改进的Transformer模型对输入的待识别乳腺影像进行处理，基于预设的影像分割规则，对待识别乳腺影像进行分割，获得多个影像块，所有的影像块构成待识别影像块集合。
需要说明的是，预设的影像分割规则(如分割影像块的大小以及形状等)可根据需求情况进行设置，本发明对此不做限定。
影像特征提取单元430，用于分别提取待识别影像块集合中每一块影像块的内部特征和外部特征。
其中，内部特征用于表示影像块的图像特征，反映了该影像块局部特征。外部特征用于表示影像块的空间特征(该影像块在图中的空间位置，以及与其他影像块的关联关系)，反映了该影像块与全局的关系。
影像特征识别单元440，用于综合每一块影像块的内部特征和外部特征，进行特征识别，确定将待识别乳腺影像是否为乳腺癌影像。
需要说明的是，在使用训练好的改进的Transformer模型对待识别乳腺影像进行识别之前，还需要对改进的Transformer模型进行训练，具体的训练方法可根据实际情况进行调整，本发明对此不做限定。
本发明提供的乳腺癌影像确定系统，通过改进的Transformer模型，对待识别乳腺影像进行分割，并通过得到的影像块的内部特征和外部特征综合实现对乳腺影像的识别。相比于直接通过神经网络提取乳腺影像特征进行识别的方法，将乳腺影像分割能够提高模型提取特征的速度。同时使用图像特征和空间特征作为影像块的特征，能够有效的提高模型提取乳腺图像特征的准确性，能够更准确、高效的实现对乳腺图像的检测，确定其是否为乳腺癌影像。本发明提供的方法可以提高乳腺癌影像的识别精度，辅助临床医生对乳腺癌进行诊断筛查，为乳腺癌患者的早发现、早治疗提供技术支持。
需要说明的是，本发明提供的乳腺癌影像确定系统用于执行上述乳腺癌影像确定方法，其具体的实施方式与方法实施方式一致，在此不再赘述。
图5是本发明提供的一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(communication interface)511、存储器(memory)512和总线(bus)513，其中，处理器510，通信接口511，存储器512通过总线513完成相互间的通信。处理器510可以调用存储器512中的逻辑指令，以执行如下方法：将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的乳腺癌影像确定方法，例如包括：将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的乳腺癌影像确定方法，例如包括：将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机电源屏(可以是个人计算机，服务器，或者网络电源屏等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种乳腺癌影像确定方法，其特征在于，包括：
将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
2.根据权利要求1所述的乳腺癌影像确定方法，其特征在于，所述改进的Transformer模型包括：乳腺影像分割层、第一特征提取层、第二特征提取层和目标结果识别层；
所述基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合，具体包括：
将所述待识别乳腺影像输入乳腺影像分割层中，根据预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述提取所述待识别影像块集合中每一块影像块的内部特征和外部特征，具体包括：
将所述待识别影像块集合输入到所述第一特征提取层中，提取每一块影像块的内部特征；
将所述待识别影像块集合输入到所述第二特征提取层中，提取每一块影像块的外部特征；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入目标结果识别层中，确定目标识别结果；
基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
3.根据权利要求2所述的乳腺癌影像确定方法，其特征在于，
所述目标结果识别层包括：第一特征识别层、第二特征识别层和识别结果确定层；
所述根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像，具体包括：
将所述每一块影像块的内部特征和外部特征输入所述第一特征识别层中，基于所述每一块影像块的内部特征和外部特征，确定每一块影像块的识别结果；
将所述确定每一块影像块的识别结果输入所述第二特征识别层中，将所有影像块映射重新组合，根据所述每一块影像块的识别结果，确定目标识别结果；
将所述目标识别结果输入所述识别结果确定层中，基于所述目标识别结果，确定所述将待识别乳腺影像是否为乳腺癌影像。
4.根据权利要求1-3任一项所述的乳腺癌影像确定方法，其特征在于，在所述将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息的步骤之前，还包括：训练所述改进的Transformer模型；
所述训练所述改进的Transformer模型，具体包括：
基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集；
利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新；
基于更新后的网络参数对所述改进的Transformer模型进行迭代训练直至所述改进的Transformer模型收敛。
5.根据权利要求4所述的乳腺癌影像确定方法，其特征在于，所述基于带标签的样本乳腺影像集，根据多实例学习法和所述预设的影像分割规则，确定带标签的目标样本集，具体包括：
基于所述带标签的样本乳腺影像集，根据预设的影像分组规则，将所述样本乳腺影像集分为若干影像组；
根据所述预设的影像分割规则，对每一组内的样本乳腺影像分割，确定分割后的影像组；
基于所述分割后的影像组，根据多实例学习法，确定若干带标签的示例包，将所述带标签的示例包的集合作为所述带标签的目标样本集；其中，每个示例包对应一个影像组。
6.根据权利要求5所述的乳腺癌影像确定方法，其特征在于，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每一个示例包对应的权重；其中，所述权重表示检测目标在所述示例包中所占的比例；
基于所述目标样本集和所述示例包对应的权重，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
7.根据权利要求5所述的乳腺癌影像确定方法，其特征在于，所述利用所述目标样本集，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新，具体包括：
基于所述目标样本集，确定每个影像块对应的贡献信息；其中，所述贡献信息表示影像块在对应的乳腺影像中的贡献；
基于所述样本图像集和所述每个影像块对应的贡献信息，训练所述改进的Transformer模型，对所述改进的Transformer模型的网络参数进行更新。
8.一种乳腺癌影像确定系统，其特征在于，包括：乳腺影像输入单元、乳腺影像分割单元、影像特征提取单元和影像特征识别单元；
所述乳腺影像输入单元，用于将待识别乳腺影像输入改进的Transformer模型中；其中，所述待识别乳腺影像包括待识别乳腺的图像信息；
所述乳腺影像分割单元，用于基于预设的影像分割规则，分割所述待识别乳腺影像，确定待识别影像块集合；
所述影像特征提取单元，用于提取所述待识别影像块集合中每一块影像块的内部特征和外部特征；其中，所述内部特征用于表示影像块的图像特征；所述外部特征用于表示影像块的空间特征；
所述影像特征识别单元，用于根据所述每一块影像块的内部特征和外部特征，确定所述将待识别乳腺影像是否为乳腺癌影像。
9.一种电子设备，其特征在于，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一项所述的乳腺癌影像确定方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述的乳腺癌影像确定方法。
CN202110686287.8A 2021-06-21 2021-06-21 乳腺癌影像确定方法及系统 Active CN113393445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686287.8A CN113393445B (zh) 2021-06-21 2021-06-21 乳腺癌影像确定方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686287.8A CN113393445B (zh) 2021-06-21 2021-06-21 乳腺癌影像确定方法及系统

Publications (2)

Publication Number Publication Date
CN113393445A true CN113393445A (zh) 2021-09-14
CN113393445B CN113393445B (zh) 2022-08-23

Family

ID=77623351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686287.8A Active CN113393445B (zh) 2021-06-21 2021-06-21 乳腺癌影像确定方法及系统

Country Status (1)

Country Link
CN (1) CN113393445B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972751A (zh) * 2022-05-11 2022-08-30 平安科技（深圳）有限公司 一种医学图像识别方法、电子设备、存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
CN110554782A (zh) * 2019-07-25 2019-12-10 北京智慧章鱼科技有限公司 一种表情输入的图像合成方法和系统
CN111783459A (zh) * 2020-05-08 2020-10-16 昆明理工大学 一种基于改进Transformer+CRF的老挝语命名实体识别方法
CN111914842A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 车牌信息的识别方法、装置、计算机设备及存储介质
CN112084796A (zh) * 2020-09-15 2020-12-15 南京文图景信息科技有限公司 一种基于Transformer深度学习模型的多语种地名词根汉译方法
US20200402507A1 (en) * 2019-06-24 2020-12-24 Google Llc Generating automated assistant responses and/or actions directly from dialog history and resources
CN112947385A (zh) * 2021-03-22 2021-06-11 华中科技大学 一种基于改进Transformer模型的飞行器故障诊断方法和系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
US20200402507A1 (en) * 2019-06-24 2020-12-24 Google Llc Generating automated assistant responses and/or actions directly from dialog history and resources
CN110554782A (zh) * 2019-07-25 2019-12-10 北京智慧章鱼科技有限公司 一种表情输入的图像合成方法和系统
CN111783459A (zh) * 2020-05-08 2020-10-16 昆明理工大学 一种基于改进Transformer+CRF的老挝语命名实体识别方法
CN111914842A (zh) * 2020-08-10 2020-11-10 深圳市视美泰技术股份有限公司 车牌信息的识别方法、装置、计算机设备及存储介质
CN112084796A (zh) * 2020-09-15 2020-12-15 南京文图景信息科技有限公司 一种基于Transformer深度学习模型的多语种地名词根汉译方法
CN112947385A (zh) * 2021-03-22 2021-06-11 华中科技大学 一种基于改进Transformer模型的飞行器故障诊断方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王智杰: "基于深度学习的人工智能技术在早期胃癌诊断中的应用", 《中华消化内镜杂志》 *
陈艳虹: "乳腺纤维瘤病的MRI特征及文献复习", 《国际医学放射学杂志》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972751A (zh) * 2022-05-11 2022-08-30 平安科技（深圳）有限公司 一种医学图像识别方法、电子设备、存储介质

Also Published As

Publication number Publication date
CN113393445B (zh) 2022-08-23

Similar Documents

Publication Publication Date Title
US11861829B2 (en) Deep learning based medical image detection method and related device
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Liu et al. A cascaded deep convolutional neural network for joint segmentation and genotype prediction of brainstem gliomas
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
Tran et al. Computational radiology in breast cancer screening and diagnosis using artificial intelligence
Zheng et al. Application of transfer learning and ensemble learning in image-level classification for breast histopathology
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
CN106530295A (zh) 一种视网膜病变的眼底图像分类方法和装置
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111899244B (zh) 图像分割、网络模型的训练方法及装置，及电子设备
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
CN110110723B (zh) 一种图像中目标区域自动提取的方法及装置
US12094188B2 (en) Methods and systems for training learning network for medical image analysis
CN111462049A (zh) 一种乳腺超声造影视频中病灶区形态自动标注方法
CN115063425B (zh) 基于读片知识图谱的结构化检查所见生成方法及系统
WO2021027152A1 (zh) 基于条件生成对抗网络合成图像的方法及相关设备
Feng et al. Deep learning for chest radiology: a review
CN113555087A (zh) 一种基于卷积神经网络算法的人工智能阅片方法
CN113889238A (zh) 一种图像识别方法、装置、电子设备及存储介质
Cao et al. Supervised contrastive pre-training formammographic triage screening models
CN113393445B (zh) 乳腺癌影像确定方法及系统
Cao et al. 3D convolutional neural networks fusion model for lung nodule detection onclinical CT scans
Kavitha et al. Volumetric analysis framework for accurate segmentation and classification (VAF-ASC) of lung tumor from CT images
CN115294426B (zh) 介入医学设备的跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant