CN111325743A - 基于联合征象的乳腺x射线影像分析方法和装置 - Google Patents

基于联合征象的乳腺x射线影像分析方法和装置 Download PDF

Info

Publication number
CN111325743A
CN111325743A CN202010147809.2A CN202010147809A CN111325743A CN 111325743 A CN111325743 A CN 111325743A CN 202010147809 A CN202010147809 A CN 202010147809A CN 111325743 A CN111325743 A CN 111325743A
Authority
CN
China
Prior art keywords
focus
image
processing
features
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010147809.2A
Other languages
English (en)
Inventor
王楚然
刚亚栋
张番栋
张笑春
俞益洲
王亦洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010147809.2A priority Critical patent/CN111325743A/zh
Publication of CN111325743A publication Critical patent/CN111325743A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例提供了一种基于联合征象的乳腺X射线影像分析方法和装置该方法包括：获取病灶区域；基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；将病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；根据病灶区域图像特征结合病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将病灶区域图像特征输入到与确定类型对应的具体征象图模型，其中，具体征象图模型包括多个征象节点，多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；获取具体征象图模型输出的图像征象特征。

Description

基于联合征象的乳腺X射线影像分析方法和装置
技术领域
本申请涉及影像分析技术领域，具体涉及一种基于联合征象的乳腺X射线影像分析方法、装置、电子设备和计算机可读存储介质。
背景技术
目前在世界范围内，乳腺癌是女性中发病率最高的癌症。乳腺X射线影像是乳腺癌早期筛查最重要的手段。由于X射线穿过人体时，被吸收的程度不同，通过人体后的X射线量就不同，这样所形成的影像便携带了人体各部密度分布的信息，在荧光屏上或摄影胶片上引起的荧光作用或感光作用的强弱就有较大差别，因而在荧光屏上或摄影胶片上(经过显影、定影)将显示出不同密度的阴影。根据阴影浓淡的对比，结合临床表现、化验结果和病理诊断，即可判断人体某一部分是否正常。当前关于乳腺X射线影像的良恶性分析的研究通常是利用不同维度的信息进行分类，网络的可解释性不强，因此分析结果的准确率低。
发明内容
有鉴于此，本申请实施例提供了一种基于联合征象的乳腺X射线影像分析方法和装置，解决了现有乳腺X射线影像分析方式可解释性不强且准确率低的问题。
根据本申请的一个方面，本申请一实施例提供的一种基于联合征象的乳腺X射线影像分析方法包括：获取病灶区域；基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将所述病灶区域图像特征输入到与所述确定类型对应的具体征象图模型，其中，所述具体征象图模型包括多个征象节点，所述多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；获取所述具体征象图模型输出的图像征象特征；以及将所述图像征象特征和所述提取的病灶图像特征进行融合处理以获得融合特征，将所述融合特征输入良恶性分类神经网络模型，以获取分析结果。
在本申请一实施例中，所述根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型包括：根据所述病灶区域图像特征进行特征变换处理以获取与所述多个征象节点对应的多个征象属性取值。
在本申请一实施例中，所述特征变换处理过程包括以下处理中的一种或多种组合：卷积处理、池化处理和全连接处理。
在本申请一实施例中，所述获取所述图模型输出的图像征象特征包括：
通过利用原始图像特征和征象之间的相关性，计算得到的当前图像的征象类别向量在本申请一实施例中，所述病灶类型结果为以下几项中的一项：肿块、钙化、不对称和结构扭曲。
在本申请一实施例中，所述肿块对应的所述图模型包括以下征象节点中的一种或多种组合：形状、边缘清晰程度、肿块密度和有无分叶毛刺；和/或，所述钙化对应的所述图模型包括以下征象节点中的一种或多种组合：钙化形态和钙化分布；和/或，所述不对称对应的所述图模型包括以下征象节点中的一种或多种组合：4种不对称类型；和/或，所述结构扭曲对应的所述图模型包括以下征象节点中的一种或多种组合：是否中心密度和典型性。
在本申请一实施例中，所述分类处理包括以下处理中的一种或多种组合：卷积处理、池化处理、全连接处理和门逻辑处理；和/或，所述融合处理包括聚合处理过程和对于聚合处理结果的特征修正过程，其中，所述聚合处理过程包括以下处理中的一种或多种组合：乘积和增加通道数，所述特征修正过程包括以下处理中的一种或多种组合：卷积处理、池化处理、非线性激活函数处理和归一化处理。
根据本申请的另一个方面，本申请一实施例提供的一种乳腺X射线影像分析装置包括：第一获取模块，配置为获取病灶区域，基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；分类处理模块，配置为将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；特征变换模块，配置为，根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将所述病灶区域图像特征输入到与所述确定类型对应的具体征象图模型，其中，所述具体征象图模型包括多个征象节点，所述多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；第二获取模块，配置为获取所述具体征象图模型输出的图像征象特征；以及融合分析模块，配置为将所述图像征象特征和所述原始计算的图像特征进行融合处理以获得融合特征，将所述融合特征输入良恶性分类神经网络模型，以获取分析结果。
在本申请一实施例中，所述特征变换模块进一步配置为：根据所述病灶区域的图像特征进行特征变换处理以获取与所述多个征象节点对应的多个征象属性取值。
在本申请一实施例中，所述特征变换处理过程包括以下处理中的一种或多种组合：卷积处理、池化处理和全连接处理。
在本申请一实施例中，所述第二获取模块进一步配置为：
在本申请一实施例中，所述病灶类型结果为以下几项中的一项：肿块、钙化、不对称和结构扭曲。
在本申请一实施例中，所述肿块对应的所述图模型包括以下征象节点中的一种或多种组合：形状、边缘清晰程度、肿块密度和有无分叶毛刺；和/或，所述钙化对应的所述图模型包括以下征象节点中的一种或多种组合：钙化形态和钙化分布；和/或，所述不对称对应的所述图模型包括以下征象节点中的一种或多种组合：4种不对称类型；和/或，所述结构扭曲对应的所述图模型包括以下征象节点中的一种或多种组合：是否中心密度和典型性。
在本申请一实施例中，所述分类处理包括以下处理中的一种或多种组合：卷积处理、池化处理、全连接处理和门逻辑处理；和/或，所述融合处理包括聚合处理过程和对于聚合处理结果的特征修正过程，其中，所述聚合处理过程包括以下处理中的一种或多种组合：乘积和增加通道数，所述特征修正过程包括以下处理中的一种或多种组合：卷积处理、池化处理、非线性激活函数处理和归一化处理。
根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的乳腺X射线影像分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的乳腺X射线影像分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的乳腺X射线影像分析方法。
本申请实施例提供的一种基于联合征象的乳腺X射线影像分析方法、装置、电子设备和计算机可读存储介质，考虑到征象属性本身以及征象属性之间的相关性通常具备直接表征良恶性的能力，因此通过对提取的病灶区域的图像特征进行特征变换以输入包括多个征象节点的图模型，不仅有效的学习到了乳腺X射线影像所含的征象属性信息，并且很好的建模了征象属性之间的关联性。然后将图模型输出的图像征象特征和病灶区域的图像特征融合处理以获取分析结果，实现了学习得到的征象属性相关的信息与图像的病灶区域的图像特征的融合，可有效提高良恶性分类神经网络模型的分析结果的准确性。
附图说明
图1所示为本申请一实施例提供的一种基于联合征象的乳腺X射线影像分析方法的流程示意图。
图2所示为本申请另一实施例提供的一种基于联合征象的乳腺X射线影像分析方法的流程示意图。
图3所示为本申请一实施例提供的基于联合征象的乳腺X射线影像分析装置的结构示意图。
图4所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本申请一实施例提供的一种基于联合征象的乳腺X射线影像分析方法的流程示意图。如图1所示，该乳腺X射线影像分析方法，包括如下步骤：
步骤101：获取病灶区域。病灶区域可基于标注得到，或者采用任何通用的检测分割算法得到。
步骤102：基于预训练的特征提取模型提取乳腺X射线影像的病灶区域的图像特征。
乳腺X射线影像，又称乳腺钼靶影像，根据投照位的不同，乳腺X射线影像可分为4个投照位，包括左侧乳腺的轴位(LCC)、右侧乳腺的轴位(RCC)，左侧乳腺的斜位(LMLO)、右侧乳腺的斜位(RMLO)。
特征提取模型为通过预训练过程建立的具备基于输入图像提取出图像特征的神经网络模型，特征提取模型可实现对于输入的乳腺X射线影像的深层特征提取，提取的结果是病灶区域的图像特征。在本申请一实施例中，特征提取模型可采用例如ResNet、AlexNet的神经网络架构。然而应当理解，特征提取模型的具体种类可根据具体应用场景的需求而选择，本申请对特征提取模型的具体种类不做严格限定。
步骤103：将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量。
图模型的设计可包括以下处理中的一种或多种组合：卷积处理、池化处理、全连接处理和门逻辑处理。通过对病灶区域的图像特征输入到病灶类型图模型中可得知与乳腺X射线影像对应的病灶类型结果，该病灶类型结果为后续完成基于征象属性的图模型建模的数据基础。在本申请一实施例中，病灶类型结果可为以下几项中的一项：肿块、钙化、不对称和结构扭曲。然而应当理解，病灶类型结果的具体可能的类别可根据具体应用场景而调整，本申请对此不做限定。
步骤104：根据病灶区域的图像结合病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将病灶区域图像特征输入到与确定类型对应的具体征象图模型。其中，图模型包括多个征象节点，多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接，相关度可以表征当下征象存在的情况下，其他征象存在的概率。以便更好的将类似肿块伴钙化、不规则边缘模糊的肿块这种组合，利用这一相关度指导最终的病灶良恶性结果分析。应当理解，征象之间是有相关性的。相关性是一种概率值，即表示当前征象存在情况下，另一种征象存在的概率。各类征象之间类似与一种层级的关系。比如病灶类型是肿块，那么肿块的形状、密度等征象是相互独立的，但是形状、密度又会具体分为不同的征象。比如形状又包括圆形、椭圆形、不规则形状。密度又包括高密度、低密度等。不同的征象组合会表征不用的良恶性的结果。比如圆形低密度的肿块，这三种征象组合在一起，就表征的是良性。又比如不规则高密度边缘模糊的肿块，就表征的是恶性。
具体而言，不同的病灶类型结果对应不同的图模型，这些图模型的具体结构可根据具体病灶类型结果的内容而预先建立。在本申请一实施例中，如图2所示，可根据病灶区域的图像特征进行特征变换处理以获取与多个征象节点对应的多个征象属性取值，然后将该多个征象属性取值输入图模型中的对应征象节点处(步骤201)，以完成基于图模型的建模过程。特征变换处理过程可包括以下处理中的一种或多种组合：卷积处理、池化处理和全连接处理。
在本申请一实施例中，肿块对应的图模型可包括以下征象节点中的一种或多种组合：形状(对应的征象属性取值范围可包括：圆形、椭圆形和不规则形状)、边缘清晰程度(对应的征象属性取值范围可包括：清晰、遮蔽、模糊)、肿块密度(对应的征象属性取值范围可包括：高、等、低、含脂肪)和是否含有分叶毛刺(对应的征象属性取值范围可包括：大分叶、小分叶、毛刺)。钙化对应的图模型包括以下征象节点中的一种或多种组合：钙化形态(对应的征象属性取值范围可包括：良性形态和恶性形态，其中良性形态包括圆形点状钙化、粗大爆米花钙化、边缘性钙化、棒状钙化、血管钙化；恶性形态包括无定形、细小多形性、粗糙不均质、细线分枝)和钙化分布(对应的征象属性取值范围可包括：弥漫、区域、团簇、线样、段样)。不对称对应的图模型包括以下征象节点中的一种或多种组合：不对称类型(对应的征象属性取值范围可包括：非对称、大范围不对称、局灶性不对称、进展性不对称)。结构扭曲对应的图模型包括以下征象节点中的一种或多种组合：是否中心密度(对应的征象属性取值范围可包括：致密、非致密)和典型性(对应的征象属性取值范围可包括：典型、非典型)。
步骤105：获取具体征象图模型输出的图像征象特征。
具体而言，获取具体征象图模型输出的图像征象特征包括：通过利用原始图像特征和征象之间的相关性，计算得到的当前图像的征象类别向量。
步骤106：将图像征象特征和病灶区域图像特征进行融合处理以获得融合特征，将融合特征输入良恶性分类神经网络模型，以获取分析结果。
融合处理可包括聚合处理过程和对于聚合处理结果的特征修正过程，其中，聚合处理过程包括以下处理中的一种或多种组合：乘积和增加通道数，特征修正过程包括以下处理中的一种或多种组合：卷积处理、池化处理、非线性激活函数处理和归一化处理。然而应当理解，聚合处理过程和特征修正过程的具体步骤内容也可根据实际应用场景需求而调整，本申请对此同样不做严格限定。
由此可见，本申请实施例提供的一种基于联合征象的乳腺X射线影像分析方法，考虑到征象属性本身以及征象属性之间的相关性通常具备直接表征良恶性的能力，因此通过对提取的病灶区域的图像特征进行特征变换以输入包括多个征象节点的图模型，不仅有效的学习到了乳腺X射线影像所含的征象属性信息，并且很好的建模了征象属性之间的关联性。然后将图模型输出的强化图像特征和病灶区域的图像特征融合处理以获取分析结果，实现了学习得到的征象属性相关的信息与图像的原始计算的图像特征的融合，可有效提高良恶性分类神经网络模型的分析结果的准确性。
图3所示为本申请一实施例提供的乳腺X射线影像分析装置的结构示意图。如图3所示，该一种基于联合征象的乳腺X射线影像分析装置30包括：
第一获取模块301，配置为获取病灶区域，基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；分类处理模块302，配置为将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；特征变换模块303，配置为根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将所述病灶区域图像特征输入到与所述确定类型对应的具体征象图模型，其中，所述具体征象图模型包括多个征象节点，所述多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；第二获取模块304，配置为获取所述具体征象图模型输出的图像征象特征；以及融合分析模块305，配置为将所述图像征象特征和所述原始计算得到的图像特征进行融合处理以获得融合特征，将所述融合特征输入良恶性分类神经网络模型，以获取分析结果。
由此可见，本申请实施例提供的一种基于联合征象的乳腺X射线影像分析装置，考虑到征象属性本身以及征象属性之间的相关性通常具备直接表征良恶性的能力，因此通过对提取的病灶区域的图像特征进行特征变换以输入包括多个征象节点的图模型，不仅有效的学习到了乳腺X射线影像所含的征象属性信息，并且很好的建模了征象属性之间的关联性。然后将图模型输出的图像征象特征和病灶区域的图像特征融合处理以获取分析结果，实现了学习得到的征象属性相关的信息与图像的病灶区域的图像特征的融合，可有效提高良恶性分类神经网络模型的分析结果的准确性。
在本申请一实施例中，所述特征变换模块303进一步配置为：根据所述计算得到的病灶类型特征结合病灶区域的图像特征进行特征变换处理以获取与所述多个征象节点对应的多个征象属性取值。
在本申请一实施例中，所述特征变换处理过程包括以下处理中的一种或多种组合：卷积处理、池化处理和全连接处理。
在本申请一实施例中，所述第二获取模块304进一步配置为：
在本申请一实施例中，所述病灶类型结果为以下几项中的一项：肿块、钙化、不对称和结构扭曲。
在本申请一实施例中，所述肿块对应的所述图模型包括以下征象节点中的一种或多种组合：形状、边缘清晰程度、肿块密度和有无分叶毛刺；和/或，所述钙化对应的所述图模型包括以下征象节点中的一种或多种组合：钙化形态和钙化分布；和/或，所述不对称对应的所述图模型包括以下征象节点中的一种或多种组合：4种不对称类型；和/或，所述结构扭曲对应的所述图模型包括以下征象节点中的一种或多种组合：中心密度和典型性。
在本申请一实施例中，所述分类处理包括以下处理中的一种或多种组合：卷积处理、池化处理、全连接处理和门逻辑处理；和/或，所述融合处理包括聚合处理过程和对于聚合处理结果的特征修正过程，其中，所述聚合处理过程包括以下处理中的一种或多种组合：乘积和增加通道数，所述特征修正过程包括以下处理中的一种或多种组合：卷积处理、池化处理、非线性激活函数处理和归一化处理。
上述乳腺X射线影像分析装置30中的各个模块的具体功能和操作已经在上面参考图1到图2描述的乳腺X射线影像分析方法中进行了详细介绍。因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的乳腺X射线影像分析装置30可以作为一个软件模块和/或硬件模块而集成到电子设备50中，换言之，该电子设备50可以包括该乳腺X射线影像分析装置30。例如，该乳腺X射线影像分析装置30可以是该电子设备50的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该乳腺X射线影像分析装置30同样可以是该电子设备50的众多硬件模块之一。
在本申请另一实施例中，该乳腺X射线影像分析装置30与该电子设备50也可以是分立的设备(例如，服务器)，并且该乳腺X射线影像分析装置30可以通过有线和/或无线网络连接到该电子设备40，并且按照约定的数据格式来传输交互信息。
图4所示为本申请一实施例提供的电子设备的结构示意图。如图4所示，该电子设备40包括：一个或多个处理器401和存储器402；以及存储在存储器402中的计算机程序指令，计算机程序指令在被处理器401运行时使得处理器401执行如上述任一实施例的乳腺X射线影像分析方法。
处理器401可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器402可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行程序指令，以实现上文的本申请的各个实施例的乳腺X射线影像分析方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备40还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(图4中未示出)互连。
例如，在该电子设备是如工业生产线上的机器人时，该输入装置403可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置403可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置403还可以包括例如键盘、鼠标、麦克风等等。
该输出装置404可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图4中仅示出了该电子设备40中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备40还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的乳腺X射线影像分析方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性乳腺X射线影像分析方法”部分中描述的根据本申请各种实施例的乳腺X射线影像分析方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种基于联合征象的乳腺X射线影像分析方法，其特征在于，包括：
获取病灶区域；
基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；
将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；
根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将所述病灶区域图像特征输入到与所述确定类型对应的具体征象图模型，其中，所述具体征象图模型包括多个征象节点，所述多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；
获取所述具体征象图模型输出的图像征象特征；以及
将所述图像征象特征和所述提取的病灶图像特征进行融合处理以获得融合特征，将所述融合特征输入良恶性分类神经网络模型，以获取分析结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型包括：
根据所述病灶区域图像特征进行特征变换处理以获取与所述多个征象节点对应的多个征象属性取值。
3.根据权利要求2所述的方法，其特征在于，所述特征变换处理过程包括以下处理中的一种或多种组合：卷积处理、池化处理和全连接处理。
4.根据权利要求1所述的方法，其特征在于，所述获取所述图模型输出的图像征象特征包括：
通过利用原始图像特征和征象之间的相关性，计算得到的当前图像的征象类别向量。
5.根据权利要求1所述的方法，其特征在于，所述病灶类型结果为以下几项中的一项：肿块、钙化、不对称和结构扭曲。
6.根据权利要求5所述的方法，其特征在于，所述肿块对应的所述图模型包括以下征象节点中的一种或多种组合：形状、边缘清晰程度、肿块密度和有无分叶毛刺；和/或，
所述钙化对应的所述图模型包括以下征象节点中的一种或多种组合：钙化形态和钙化分布；和/或，
所述不对称对应的所述图模型包括以下征象节点中的一种或多种组合：4种不对称类型；和/或，
所述结构扭曲对应的所述图模型包括以下征象节点中的一种或多种组合：中心密度和典型性。
7.根据权利要求1所述的方法，其特征在于，所述分类处理包括以下处理中的一种或多种组合：卷积处理、池化处理、全连接处理和门逻辑处理；和/或，
所述融合处理包括聚合处理过程和对于聚合处理结果的特征修正过程，其中，所述聚合处理过程包括以下处理中的一种或多种组合：乘积和增加通道数，所述特征修正过程包括以下处理中的一种或多种组合：卷积处理、池化处理、非线性激活函数处理和归一化处理。
8.一种基于联合征象的乳腺X射线影像分析装置，其特征在于，包括：
第一获取模块，配置为获取病灶区域，基于预训练的特征提取模型提取乳腺X射线影像的病灶区域图像特征；
分类处理模块，配置为将所述病灶区域图像特征输入到病灶类型图模型中以得到病灶类型表征向量；
特征变换模块，配置为根据所述病灶区域图像特征结合所述病灶类型图模型得到的病灶类型进行特征变换处理以获取病灶的确定类型，将所述病灶区域图像特征输入到与所述确定类型对应的具体征象图模型，其中，所述具体征象图模型包括多个征象节点，所述多个征象节点中至少两个征象节点之间通过用于表征相关度的连接线连接；
第二获取模块，配置为获取所述具体征象图模型输出的图像征象特征；以及
融合分析模块，配置为将所述图像征象特征和所述原始计算的图像特征进行融合处理以获得融合特征，将所述融合特征输入良恶性分类神经网络模型，以获取分析结果。
9.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至7中任一所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1至7中任一所述的方法。
CN202010147809.2A 2020-03-05 2020-03-05 基于联合征象的乳腺x射线影像分析方法和装置 Pending CN111325743A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010147809.2A CN111325743A (zh) 2020-03-05 2020-03-05 基于联合征象的乳腺x射线影像分析方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010147809.2A CN111325743A (zh) 2020-03-05 2020-03-05 基于联合征象的乳腺x射线影像分析方法和装置

Publications (1)

Publication Number Publication Date
CN111325743A true CN111325743A (zh) 2020-06-23

Family

ID=71171550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010147809.2A Pending CN111325743A (zh) 2020-03-05 2020-03-05 基于联合征象的乳腺x射线影像分析方法和装置

Country Status (1)

Country Link
CN (1) CN111325743A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109363698A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像征象识别的方法及装置
CN113539477A (zh) * 2021-06-24 2021-10-22 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
CN114255219A (zh) * 2021-12-21 2022-03-29 数坤(北京)网络科技股份有限公司 征象识别方法、装置、电子设备和存储介质
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190015059A1 (en) * 2017-07-17 2019-01-17 Siemens Healthcare Gmbh Semantic segmentation for cancer detection in digital breast tomosynthesis
CN109363698A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像征象识别的方法及装置
CN109363697A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109740652A (zh) * 2018-12-24 2019-05-10 深圳大学 一种病理图像分类方法和计算机设备
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110647947A (zh) * 2019-09-30 2020-01-03 杭州依图医疗技术有限公司 一种病灶融合的方法及装置
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110728674A (zh) * 2019-10-21 2020-01-24 清华大学 图像处理方法及装置、电子设备和计算机可读存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190015059A1 (en) * 2017-07-17 2019-01-17 Siemens Healthcare Gmbh Semantic segmentation for cancer detection in digital breast tomosynthesis
CN109363698A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像征象识别的方法及装置
CN109363697A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像病灶识别的方法及装置
CN109740652A (zh) * 2018-12-24 2019-05-10 深圳大学 一种病理图像分类方法和计算机设备
CN109978838A (zh) * 2019-03-08 2019-07-05 腾讯科技（深圳）有限公司 图像区域定位方法、装置和医学图像处理设备
CN110674866A (zh) * 2019-09-23 2020-01-10 兰州理工大学 迁移学习特征金字塔网络对X-ray乳腺病灶图像检测方法
CN110647947A (zh) * 2019-09-30 2020-01-03 杭州依图医疗技术有限公司 一种病灶融合的方法及装置
CN110728674A (zh) * 2019-10-21 2020-01-24 清华大学 图像处理方法及装置、电子设备和计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109363698A (zh) * 2018-10-16 2019-02-22 杭州依图医疗技术有限公司 一种乳腺影像征象识别的方法及装置
CN113539477A (zh) * 2021-06-24 2021-10-22 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
WO2022268231A1 (zh) * 2021-06-24 2022-12-29 杭州深睿博联科技有限公司 一种基于解耦机制的病灶良恶性预测方法及装置
CN114255219A (zh) * 2021-12-21 2022-03-29 数坤(北京)网络科技股份有限公司 征象识别方法、装置、电子设备和存储介质
CN115019110A (zh) * 2022-07-13 2022-09-06 北京深睿博联科技有限责任公司 一种基于胸部影像的病灶识别方法及装置

Similar Documents

Publication Publication Date Title
CN111325743A (zh) 基于联合征象的乳腺x射线影像分析方法和装置
Rampun et al. Breast mass classification in mammograms using ensemble convolutional neural networks
Jung et al. An automatic nuclei segmentation method based on deep convolutional neural networks for histopathology images
Şevik et al. Identification of suitable fundus images using automated quality assessment methods
US20200074632A1 (en) Assessment of density in mammography
Aurangzeb et al. Contrast enhancement of fundus images by employing modified PSO for improving the performance of deep learning models
Attallah et al. Histo-CADx: duo cascaded fusion stages for breast cancer diagnosis from histopathological images
CN105640577A (zh) 一种自动检测放射影像中局部性病变的方法和系统
Zhou et al. Learning discriminative Bayesian networks from high-dimensional continuous neuroimaging data
Peng et al. Automated mammographic mass detection using deformable convolution and multiscale features
CN112330624A (zh) 医学图像处理方法和装置
CN111127400A (zh) 一种乳腺病变检测方法和装置
CN112598086A (zh) 基于深度神经网络的常见结肠部疾病分类方法及辅助系统
CN111415333B (zh) 乳腺x射线影像反对称生成分析模型训练方法和装置
Mahapatra et al. CT image synthesis using weakly supervised segmentation and geometric inter-label relations for COVID image analysis
Tiwari et al. Optimized Ensemble of Hybrid RNN-GAN Models for Accurate and Automated Lung Tumour Detection from CT Images
CN111429406B (zh) 结合多视图推理的乳腺x射线影像病变检出方法和装置
Tahghighi et al. Automatic classification of symmetry of hemithoraces in canine and feline radiographs
Zhang et al. SMANet: multi-region ensemble of convolutional neural network model for skeletal maturity assessment
CN113705595A (zh) 异常细胞转移程度的预测方法、装置和存储介质
CN111415741B (zh) 基于隐式表观学习的乳腺x射线影像分类模型训练方法
Azam et al. An automated decision support system to analyze malignancy patterns of breast masses employing medically relevant features of ultrasound images
Chedid et al. Synthesis of fracture radiographs with deep neural networks
Lee et al. Analyzing GAN artifacts for simulating mammograms: application towards finding mammographically-occult cancer
Karlsson et al. Machine learning algorithm for classification of breast ultrasound images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination