CN111429406A - 结合多视图推理的乳腺x射线影像病变检出方法和装置 - Google Patents

结合多视图推理的乳腺x射线影像病变检出方法和装置 Download PDF

Info

Publication number
CN111429406A
CN111429406A CN202010147839.3A CN202010147839A CN111429406A CN 111429406 A CN111429406 A CN 111429406A CN 202010147839 A CN202010147839 A CN 202010147839A CN 111429406 A CN111429406 A CN 111429406A
Authority
CN
China
Prior art keywords
ray image
mammary gland
feature
mammary
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010147839.3A
Other languages
English (en)
Other versions
CN111429406B (zh
Inventor
张笑春
刘宇航
刚亚栋
张番栋
俞益洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Original Assignee
Beijing Shenrui Bolian Technology Co Ltd
Shenzhen Deepwise Bolian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shenrui Bolian Technology Co Ltd, Shenzhen Deepwise Bolian Technology Co Ltd filed Critical Beijing Shenrui Bolian Technology Co Ltd
Priority to CN202010147839.3A priority Critical patent/CN111429406B/zh
Publication of CN111429406A publication Critical patent/CN111429406A/zh
Application granted granted Critical
Publication of CN111429406B publication Critical patent/CN111429406B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种乳腺X射线影像分析方法和装置，解决了现有乳腺X射线影像分析方式无法充分利用不同投照体位的乳腺X射线影像进行分析的问题。该乳腺X射线影像分析方法包括：对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分；在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域；在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的同时满足几何约束和语义约束的特征区域进行推理，得到骨干网络的增强特征；以及将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。

Description

结合多视图推理的乳腺X射线影像病变检出方法和装置
技术领域
本申请涉及影像分析技术领域，具体涉及一种结合多视图推理的乳腺X 射线影像病变检出方法、装置、电子设备和计算机可读存储介质。
背景技术
乳腺癌是世界上女性发病率最高的癌症，对女性群体的生命健康与生活质量造成了严重的威胁。乳腺癌的定期筛查、早期诊断和治疗是防治乳腺癌的重要手段。乳腺肿块是乳腺癌早期最常见的征象。乳腺肿块的检测是一个十分困难的问题，这主要由于(1)乳腺肿块具有十分丰富的类内变化，如尺寸、边缘、位置、背景、纹理等等；(2)亚洲女性乳房中多存在致密型腺体，造成了严重的遮挡，进而影响了乳腺肿块的检测。
乳腺X射线影像是乳腺癌早期筛查最重要的手段。由于X射线穿过人体时，被吸收的程度不同，通过人体后的X射线量就不同，这样所形成的影像便携带了人体各部密度分布的信息，在荧光屏上或摄影胶片上引起的荧光作用或感光作用的强弱就有较大差别，因而在荧光屏上或摄影胶片上(经过显影、定影)将显示出不同密度的阴影。根据阴影浓淡的对比，结合临床表现、化验结果和病理诊断，即可判断人体某一部分是否正常。乳腺X射线影像一般对左右两侧乳腺分别进行摄影，每次乳腺取多个投照体位分别摄影，一般包括轴位(CC位)和内侧斜位(MLO)。由于单一投照体位的影像的局限性，如何利用不同投照体位的乳腺X射线影像的空间关系实现乳腺肿块检测分析一直是乳腺X射线影像分析的重点与难点。
发明内容
有鉴于此，本申请实施例提供了一种乳腺X射线影像分析方法和装置，解决了现有乳腺X射线影像分析方式无法充分利用不同投照体位的乳腺X 射线影像进行分析的问题。
根据本申请的一个方面，本申请一实施例提供的一种乳腺X射线影像分析方法包括：对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分；在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域；在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述的特征区域进行推理，得到骨干网络的增强特征；以及将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。
在本申请一实施例中，所述区域划分过程包括：获取所述第一乳腺X 射线影像或所述第二乳腺X射线影像中的多个空间代表点；基于所述第一乳腺X射线影像或所述第二乳腺X射线影像中的所有所述空间代表点获得冯洛诺伊图；以及对所述冯洛诺伊图中的每个所述空间代表点对应的特征区域进行池化操作以获得每个所述特征区域的特征表示信息。
在本申请一实施例中，所述获取所述第一乳腺X射线影像或所述第二乳腺X射线影像中的多个空间代表点包括：在所述第一乳腺X射线影像或所述第二乳腺X射线影像中提取乳头点和胸肌线；在所述乳头点和胸肌线之间插入多个与所述胸肌线平行且等距的平行线，所述平行线与乳腺边缘交于两个交点；在所述两个交点之间在于所述胸肌线平行的方向上均匀插入多个节点；以及对所述多个节点和所述两个交点进行排序以获得多个空间代表点。
在本申请一实施例中，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中分别找到相互满足几何约束和语义约束的两个特征区域包括：将满足几何相关性最强的区域视为满足所述几何约束
在本申请一实施例中，所述在所述几何相关性的获取过程包括：将距离同一个病灶最近的两个特征区域视为相关区域，两个区域成为相关于的概率视为所述几何相关性
在本申请一实施例中，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中分别找到相互满足几何约束和语义约束的两个特征区域包括：将特征表示信息的余弦内积计算结果最接近1的两个特征区域视为满足所述语义约束。
在本申请一实施例中，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述两个同时满足几何约束与语义约束的特征区域进行特征推理，得到骨干网络的增强特征包括：在所述任意两个同时满足几何约束和语义约束的特征区域之间进行特征变换和特征聚合来模拟临床推理过程，该特征变换和聚合方法包括但不限于概率图模型、图卷积模型、注意力机制、矩阵变换等等；将所述特征区域经过所述特征变换和特征聚合后的离散的特征区域映射为连续的空间特征；以及将所述特征区域的所述连续的空间特征与原始特征进行融合以得到增强特征。
在本申请一实施例中，所述病灶检测神经网络模型采用Mask R-CNN框架；其中，所述将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型包括：将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入所述Mask R-CNN框架的区域生成网络。
根据本申请的另一个方面，本申请一实施例提供的一种乳腺X射线影像分析装置包括：空间区域划分模块，配置为对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分；空间关联建模模块，配置为在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域；空间推理模块，配置为在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述的特征区域进行推理，得到骨干网络的增强特征；以及分析模块，配置为将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。
在本申请一实施例中，所述空间区域划分模块包括：
空间代表点获取单元，配置为获取所述第一乳腺X射线影像或所述第二乳腺X射线影像中的多个空间代表点；
区域获取单元，配置为基于所述第一乳腺X射线影像或所述第二乳腺X 射线影像中的所有所述空间代表点获得冯洛诺伊图；以及
特征信息获取单元，配置为对所述冯洛诺伊图中的每个所述空间代表点对应的特征区域进行池化操作以获得每个所述特征区域的特征表示信息。
在本申请一实施例中，所述空间代表点获取单元进一步配置为：在所述第一乳腺X射线影像或所述第二乳腺X射线影像中提取乳头点和胸肌线；在所述乳头点和胸肌线之间插入多个与所述胸肌线平行且等距的平行线，所述平行线与乳腺边缘交于两个交点；在所述两个交点之间在于所述胸肌线平行的方向上均匀插入多个节点；以及对所述多个节点和所述两个交点进行排序以获得多个空间代表点。
在本申请一实施例中，所述空间关联建模模块进一步配置为：将满足几何相关性最强的区域视为满足几何约束。
几何相关性配置为，将距离同一个病灶最近的两个特征区域视为相关区域，两个区域成为相关区域的概率视为所述几何相关性。
在本申请一实施例中，所述空间关联建模模块进一步配置为：将特征表示信息的余弦内积计算结果最接近1的两个特征区域视为满足所述语义约束。
在本申请一实施例中，所述空间推理模块包括：
推理单元，配置为在所述同时满足几何约束与语义约束的特征区域之间进行特征变换和特征聚合；
映射单元，配置为将所述特征区域经过所述特征变换和特征聚合后的离散特征区域映射为连续的空间特征；以及
融合单元，配置为将所述特征区域的所述空间特征与原始特征进行融合以得到增强特征。
在本申请一实施例中，所述病灶检测神经网络模型采用Mask R-CNN框架；
其中，所述将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型包括：
将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入所述Mask R-CNN框架的区域生成网络。
根据本申请的另一方面，本申请一实施例提供了一种电子设备，包括：处理器；存储器；以及存储在存储器中的计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一项所述的乳腺X射线影像分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如前任一所述的乳腺X射线影像分析方法。
根据本申请的另一方面，本申请一实施例提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得处理器执行如上述任一所述的乳腺X射线影像分析方法。
本申请实施例提供的一种乳腺X射线影像分析方法、装置、电子设备和计算机可读存储介质，考虑到多投照位的乳腺X射线影像可以相对全面地刻画人体组织的三维结构，减少因遮挡等因素对检测结果的影响，进而对做出综合、全面的临床诊断产生积极的意义，因而分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分。当找到满足几何约束和语义约束的两个特征区域时，则说明该两个特征区域中有较高的概率存在病灶，然后再对该两个特征区域进行特征增强后再输入病灶检测神经网络模型进行分析。由此可见，本申请实施例所提供的乳腺X射线影像分析方法能够综合利用轴位和内侧斜位的不同投照体位的乳腺X射线影像中对应的特征区域进行分析，可充分提高分析效果的准确性。
附图说明
图1所示为本申请一实施例提供的一种乳腺X射线影像分析方法的流程示意图。
图2所示为本申请一实施例提供的一种乳腺X射线影像分析方法中区域划分过程的流程示意图。
图3所示为本申请一实施例提供的一种乳腺X射线影像分析方法中空间代表点的获取流程示意图。
图4所示为本申请一实施例提供的一种乳腺X射线影像分析方法中的特征增强过程的流程示意图。
图5所示为本申请一实施例提供的乳腺X射线影像分析装置的结构示意图。
图6所示为本申请另一实施例提供的乳腺X射线影像分析装置的结构示意图。
图7所示为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本申请一实施例提供的一种乳腺X射线影像分析方法的流程示意图。如图1所示，该乳腺X射线影像分析方法包括：
步骤101：对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分。
如前所述，乳腺X射线影像根据投照体位的不同可分为轴位(CC位) 和内侧斜位(MLO)，具体而言第一乳腺X射线影像对应轴位，第二腺X 射线影像对应内侧斜位。然而应当理解，本申请实施例是要利用不同投照体位的乳腺X射线影像中对应的特征区域进行分析，因此在本申请其他实施例中第一乳腺X射线影像也可对应内侧斜位，第二乳腺X射线影像也可对应轴位，本申请对此不做限定。
区域划分会将第一乳腺X射线影像和第二乳腺X射线影像分别划分为多个特征区域，然后通过后续的步骤建立第一乳腺X射线影像的特征区域和第二乳腺X射线影像的特征区域关联关系，以用于后续的特征比对和特征融合过程。
在本申请一实施例中，如图2所示，区域划分过程可具体包括如下步骤：
步骤201：获取第一乳腺X射线影像或第二乳腺X射线影像中的多个空间代表点。
空间代表点用于后续利用冯洛诺伊图建立区域划分，划分出的每个特征区域中有一个空间代表点用于代表该特征区域。
在本申请一实施例中，如图3所示，空间代表点可通过如下步骤获取：首先，在第一乳腺X射线影像或第二乳腺X射线影像中提取乳头点和胸肌线(S1)；然后，在乳头点和胸肌线之间插入多个与胸肌线平行且等距的平行线，平行线与乳腺边缘交于两个交点(S2)；在两个交点之间在于胸肌线平行的方向上均匀插入多个节点(S3)，这些节点用于进一步划分出更多的区域；以及对多个节点和两个交点进行排序以获得多个空间代表点(S4)，排序的目的在于对所获得的空间代表点进行区分。
然而应当理解，空间代表点也可通过其他方式获取，本申请对空间代表点的获取方式并不做严格限定。
步骤202：基于第一乳腺X射线影像或第二乳腺X射线影像中的所有空间代表点获得冯洛诺伊图。
冯洛诺伊图(Voronoi图)，又叫泰森多边形，它是由一组由连接两邻点直线的垂直平分线组成的连续多边形组成。N个在平面上有区别的点(空间代表点)，按照最邻近原则划分平面；每个点(空间代表点)与它的最近邻区域相关联。
步骤203：对冯洛诺伊图中的每个空间代表点对应的特征区域进行池化操作以获得每个特征区域的特征表示信息。
池化操作后获得的特征表示信息可用于后续特征比对过程以找到满足语义约束的特征区域。
步骤102：在第一乳腺X射线影像和第二乳腺X射线影像中的每个区域，分别找到对应的同时相互满足几何约束和语义约束的特征区域。
考虑到当在不同投照体位的乳腺X射线影像中找到相类似的对应的多个特征区域时，该多个特征区域中存在同一病灶的概率便会大大提升，因此要在第一乳腺X射线影像和第二乳腺X射线影像中的每个区域，分别找到同时满足几何约束和语义约束的特征区域。具体而言，可以将几何相关性最强的区域视为满足几何约束。将距离同一个病灶最近的两个特征区域视为相关区域，两个区域成为相关区域的概率视为所述几何相关性。将特征表示信息的余弦内积计算结果最接近1的两个特征区域视为满足语义约束。同时满足结合约束和语义约束的两个特征区域中存在同一病灶的概率很高。
这里，几何相关性描述的是轴位与内侧斜位图像位置之间相关性的先验，即当发现轴位中某个位置的病灶，则该病灶出现在内侧斜位的空间位置的概率分布。几何相关性的计算是指若同一个病灶，既出现在轴位的a区域，又出现在内侧斜位的b区域(区域的定义根据上述代表点给定)，则表明a、b 两区域针对该病灶相关；类似地，可以遍历整个训练集，则可得到先验的位置之间的相关性。
步骤103：在第一乳腺X射线影像和第二乳腺X射线影像中对特征区域进行特征增强。
在本申请一实施例中，如图4所示，可通过如下步骤完成该特征增强过程：
步骤401：在任意两个同时满足几何约束与语义约束的特征区域之间进行推理。
经过若干次特征变换和特征聚合，每个特征区域具备了感知另一体位的乳腺X射线影像中对应特征区域的特性，进而模拟了临床推理的过程。
步骤402：将特征区域经过特征变换和特征聚合的离散特征区域映射为连续的空间特征。
特征映射的目的是将空间区域离散的特征映射到连续的空间特征中，进而便于后续特征融合。特征映射的做法可以是基于Voronoi图的映射关系，进行最近邻差值得到连续的空间特征。
步骤403：将特征区域的连续的空间特征与原始特征进行融合以得到增强特征。
将空间特征和原始特征融合后便可获得增强特征，以更有针对性更准确高效的进行后续的分析过程
步骤104：将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。
在本申请一实施例中，病灶检测神经网络模型可采用Mask R-CNN框架；此时将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入病灶检测神经网络模型可包括：将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入Mask R-CNN框架的区域生成网络(RPN， RegionProposalNetwork)。然而应当理解，根据具体应用场景需求的不同，病灶检测神经网络模型也可选用其他神经网络架构，本申请对病灶检测神经网络模型的具体内部结构不做严格限定。
由此可见，本申请实施例提供的一种乳腺X射线影像分析方法，考虑到多投照位的乳腺X射线影像可以相对全面地刻画人体组织的三维结构，减少因遮挡等因素对检测结果的影响，进而对做出综合、全面的临床诊断产生积极的意义，因而分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分。当找到满足几何约束和语义约束的特征区域时，则说明该两个特征区域中有较高的概率存在病灶，然后再对特征区域进行特征增强后再输入病灶检测神经网络模型进行分析。由此可见，本申请实施例所提供的乳腺X射线影像分析方法能够综合利用轴位和内侧斜位的不同投照体位的乳腺X射线影像中对应的特征区域进行分析，可充分提高分析效果的准确性。
图5所示为本申请一实施例提供的乳腺X射线影像分析装置的结构示意图。如图5所示，该一种乳腺X射线影像分析装置50包括：
空间区域划分模块501，配置为对分别对应轴位和内侧斜位的第一乳腺 X射线影像和第二乳腺X射线影像进行区域划分；
空间关联建模模块502，配置为在第一乳腺X射线影像和第二乳腺X 射线影像中的每个区域分别找到同时满足几何约束和语义约束的特征区域；
空间推理模块503，配置为在第一乳腺X射线影像和第二乳腺X射线影像中对两个特征区域进行特征增强；以及
分析模块504，配置为将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。
本申请实施例提供的一种乳腺X射线影像分析装置，考虑到多投照位的乳腺X射线影像可以相对全面地刻画人体组织的三维结构，减少因遮挡等因素对检测结果的影响，进而对做出综合、全面的临床诊断产生积极的意义，因而分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分。当找到满足几何约束和语义约束的特征区域时，则说明该特征区域中有较高的概率存在病灶，然后再对该两个特征区域进行特征增强后再输入病灶检测神经网络模型进行分析。由此可见，本申请实施例所提供的乳腺X射线影像分析方法能够综合利用轴位和内侧斜位的不同投照体位的乳腺X射线影像中对应的特征区域进行分析，可充分提高分析效果的准确性。
在本申请一实施例中，空间区域划分模块501包括：
空间代表点获取单元5011，配置为获取第一乳腺X射线影像或第二乳腺X射线影像中的多个空间代表点；
区域获取单元5012，配置为基于第一乳腺X射线影像或第二乳腺X射线影像中的所有空间代表点获得冯洛诺伊图；以及
特征信息获取单元5013，配置为对冯洛诺伊图中的每个空间代表点对应的特征区域进行池化操作以获得每个特征区域的特征表示信息。
在本申请一实施例中，空间代表点获取单元5011进一步配置为：在第一乳腺X射线影像或第二乳腺X射线影像中提取乳头点和胸肌线；在乳头点和胸肌线之间插入多个与胸肌线平行且等距的平行线，平行线与乳腺边缘交于两个交点；在两个交点之间在于胸肌线平行的方向上均匀插入多个节点；以及对多个节点和两个交点进行排序以获得多个空间代表点。
在本申请一实施例中，空间关联建模模块502进一步配置为：满足几何相关性最强的区域视为满足所述几何约束视为满足几何约束。
在本申请一实施例中，空间关联建模模块502进一步配置为：将特征表示信息的余弦内积计算结果最接近1的两个特征区域视为满足语义约束。
在本申请一实施例中，空间推理模块503包括：
推理单元5031，配置为在两个特征区域之间进行特征变换和特征聚合；
映射单元5032，配置为将特征区域经过信息传播后的离散特征映射为连续的空间特征；以及
融合单元5033，配置为将特征区域的空间特征与原始特征进行融合以得到增强特征。
在本申请一实施例中，病灶检测神经网络模型采用Mask R-CNN框架；
其中，将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入病灶检测神经网络模型包括：
将特征增强后的第一乳腺X射线影像和/或第二乳腺X射线影像输入 Mask R-CNN框架的区域生成网络。
上述乳腺X射线影像分析装置50中的各个模块的具体功能和操作已经在上面参考图1到图4描述的乳腺X射线影像分析方法中进行了详细介绍。因此，这里将省略其重复描述。
需要说明的是，根据本申请实施例的乳腺X射线影像分析装置50可以作为一个软件模块和/或硬件模块而集成到电子设备70中，换言之，该电子设备70可以包括该乳腺X射线影像分析装置50。例如，该乳腺X射线影像分析装置50可以是该电子设备70的操作系统中的一个软件模块，或者可以是针对于其所开发的一个应用程序；当然，该乳腺X射线影像分析装置50 同样可以是该电子设备70的众多硬件模块之一。
在本申请另一实施例中，该乳腺X射线影像分析装置50与该电子设备 70也可以是分立的设备(例如，服务器)，并且该乳腺X射线影像分析装置50可以通过有线和/或无线网络连接到该电子设备70，并且按照约定的数据格式来传输交互信息。
图7所示为本申请一实施例提供的电子设备的结构示意图。如图7所示，该电子设备70包括：一个或多个处理器701和存储器702；以及存储在存储器702中的计算机程序指令，计算机程序指令在被处理器701运行时使得处理器701执行如上述任一实施例的乳腺X射线影像分析方法。
处理器701可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器702可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器701可以运行程序指令，以实现上文的本申请的各个实施例的乳腺X射线影像分析方法中的步骤以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如光线强度、补偿光强度、滤光片的位置等信息。
在一个示例中，电子设备70还可以包括：输入装置703和输出装置704，这些组件通过总线系统和/或其他形式的连接机构(图7中未示出)互连。
例如，在该电子设备是如工业生产线上的机器人时，该输入装置703可以是摄像头，用于捕捉待加工零件的位置。在该电子设备是单机设备时，该输入装置703可以是通信网络连接器，用于从外部的可移动设备接收所采集的输入信号。此外，该输入装置703还可以包括例如键盘、鼠标、麦克风等等。
该输出装置704可以向外部输出各种信息，例如可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图7中仅示出了该电子设备70中与本申请有关的组件中的一些，省略了诸如总线、输入装置/输出接口等组件。除此之外，根据具体应用情况，电子设备70还可以包括任何其他适当的组件。
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行如上述任一实施例的乳腺X射线影像分析方法中的步骤。
计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行本说明书上述“示例性乳腺X射线影像分析方法”部分中描述的根据本申请各种实施例的乳腺X射线影像分析方法中的步骤。
计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器((RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种结合多视图推理的乳腺X射线影像病变检出分析方法，其特征在于，包括：
对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行自动区域划分；
在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域；
在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述的同时满足几何约束和语义约束的特征区域进行推理，得到骨干网络的增强特征；以及
将所述第一乳腺X射线影像和/或所述第二乳腺X射线影像增强特征输入病灶检测神经网络模型，以获取分析结果。
2.根据权利要求1所述的方法，其特征在于，所述区域划分过程包括：
获取所述第一乳腺X射线影像或所述第二乳腺X射线影像中的多个空间代表点；
基于所述第一乳腺X射线影像或所述第二乳腺X射线影像中的所有所述空间代表点获得冯洛诺伊图；以及
对所述冯洛诺伊图中的每个所述空间代表点对应的特征区域进行池化操作以获得每个所述特征区域的特征表示信息。
3.根据权利要求2所述的方法，其特征在于，所述获取所述第一乳腺X射线影像或所述第二乳腺X射线影像中的多个空间代表点包括：
在所述第一乳腺X射线影像或所述第二乳腺X射线影像中提取乳头点和胸肌线；
在所述乳头点和胸肌线之间插入多个与所述胸肌线平行且等距的平行线，所述平行线与乳腺边缘交于两个交点；
在所述两个交点之间在于所述胸肌线平行的方向上均匀插入多个节点；以及
对所述多个节点和所述两个交点进行排序以获得多个空间代表点。
4.根据权利要求1所述的方法，其特征在于，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中分别找到相互满足几何约束和语义约束的两个特征区域包括：
将几何相关性最强的区域视为满足所述几何约束的两个特征区域。
5.根据权利要求4所述的方法，所述几何相关性的获取过程包括：
将距离同一个病灶最近的两个特征区域视为相关区域，两个区域成为相关区域的概率视为所述几何相关性。
6.根据权利要求1所述的方法，其特征在于，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域包括：
将特征表示信息的余弦内积计算结果最接近1的两个特征区域视为满足所述语义约束。
7.根据权利要求1所述的方法，其特征在于，所述在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述两个特征区域进行特征增强包括：
在所述任意两个同时满足几何约束和语义约束的特征区域之间进行特征变换和特征聚合来模拟临床推理过程，所述特征变换和聚合方法包括以下处理方式中的一种或多种组合：概率图模型、图卷积模型、注意力机制、矩阵变换；
将所述特征区域经过所述特征变换和特征聚合后的离散的特征区域进行插值映射为连续的空间特征；以及
将所述特征区域的所述连续的空间特征与原始特征进行融合以得到增强特征。
8.根据权利要求1所述的方法，其特征在于，所述病灶检测神经网络模型采用Mask R-CNN框架；
其中，所述将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型包括：
将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入所述MaskR-CNN框架的区域生成网络。
9.一种乳腺X射线影像分析装置，其特征在于，包括：
空间区域划分模块，配置为对分别对应轴位和内侧斜位的第一乳腺X射线影像和第二乳腺X射线影像进行区域划分；
空间关联建模模块，配置为在所述第一乳腺X射线影像和所述第二乳腺X射线影像中的每个区域，分别找到对应的同时满足几何约束和语义约束的特征区域；
空间推理模块，配置为在所述第一乳腺X射线影像和所述第二乳腺X射线影像中对所述的同时满足几何约束与语义约束的特征区域进行推理，得到骨干网络的增强特征；以及
分析模块，配置为将特征增强后的所述第一乳腺X射线影像和/或所述第二乳腺X射线影像输入病灶检测神经网络模型，以获取分析结果。
10.一种电子设备，包括：
处理器；以及
存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1至7中任一所述的方法。
CN202010147839.3A 2020-03-05 2020-03-05 结合多视图推理的乳腺x射线影像病变检出方法和装置 Active CN111429406B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010147839.3A CN111429406B (zh) 2020-03-05 2020-03-05 结合多视图推理的乳腺x射线影像病变检出方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010147839.3A CN111429406B (zh) 2020-03-05 2020-03-05 结合多视图推理的乳腺x射线影像病变检出方法和装置

Publications (2)

Publication Number Publication Date
CN111429406A true CN111429406A (zh) 2020-07-17
CN111429406B CN111429406B (zh) 2023-10-27

Family

ID=71547745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010147839.3A Active CN111429406B (zh) 2020-03-05 2020-03-05 结合多视图推理的乳腺x射线影像病变检出方法和装置

Country Status (1)

Country Link
CN (1) CN111429406B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184743A (zh) * 2020-10-29 2021-01-05 中国科学院计算技术研究所厦门数据智能研究院 一种乳腺钼靶图像中胸肌和乳头区域的分割预标注方法
CN114820590A (zh) * 2022-06-06 2022-07-29 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846616A (zh) * 2006-03-13 2006-10-18 华中科技大学 一种计算机辅助预测乳腺癌风险的方法
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
US20140056502A1 (en) * 2011-03-02 2014-02-27 Thorsten Twellmann Image processing device for finding corresponding regions in two image data sets of an object
CN103815926A (zh) * 2014-03-07 2014-05-28 杭州千思科技有限公司 乳腺癌检测方法和装置
US20150043800A1 (en) * 2013-08-09 2015-02-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN110085290A (zh) * 2019-04-01 2019-08-02 东华大学 支持异构信息集成的乳腺钼靶报告语义树模型建立方法
CN110827335A (zh) * 2019-11-01 2020-02-21 北京推想科技有限公司 乳腺影像配准方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1846616A (zh) * 2006-03-13 2006-10-18 华中科技大学 一种计算机辅助预测乳腺癌风险的方法
CN101727537A (zh) * 2009-11-16 2010-06-09 杭州电子科技大学 基于双视角信息融合的乳腺cr图像的计算机确定方法
US20140056502A1 (en) * 2011-03-02 2014-02-27 Thorsten Twellmann Image processing device for finding corresponding regions in two image data sets of an object
US20150043800A1 (en) * 2013-08-09 2015-02-12 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103815926A (zh) * 2014-03-07 2014-05-28 杭州千思科技有限公司 乳腺癌检测方法和装置
CN110085290A (zh) * 2019-04-01 2019-08-02 东华大学 支持异构信息集成的乳腺钼靶报告语义树模型建立方法
CN110827335A (zh) * 2019-11-01 2020-02-21 北京推想科技有限公司 乳腺影像配准方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹霖;陈后金;李居朋;程琳;: "基于生理特征的乳腺X线图像多视图分析坐标系", vol. 39, no. 01, pages 176 - 182 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184743A (zh) * 2020-10-29 2021-01-05 中国科学院计算技术研究所厦门数据智能研究院 一种乳腺钼靶图像中胸肌和乳头区域的分割预标注方法
CN114820590A (zh) * 2022-06-06 2022-07-29 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质
CN114820590B (zh) * 2022-06-06 2023-04-07 北京医准智能科技有限公司 图像处理方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN111429406B (zh) 2023-10-27

Similar Documents

Publication Publication Date Title
US11861829B2 (en) Deep learning based medical image detection method and related device
EP3818500B1 (en) Automated determination of a canonical pose of a 3d objects and superimposition of 3d objects using deep learning
US12051199B2 (en) Image processing method and apparatus, server, medical image processing device and storage medium
Wang et al. Smartphone-based wound assessment system for patients with diabetes
WO2020228570A1 (zh) 乳腺钼靶图像处理方法、装置、系统及介质
CN110969245B (zh) 医学图像的目标检测模型训练方法和装置
KR20210002606A (ko) 의료 영상 처리 방법 및 장치, 전자 기기 및 저장 매체
CN110992376A (zh) 基于ct图像的肋骨分割方法、装置、介质及电子设备
CN110766701B (zh) 网络模型训练方法及装置、区域划分方法及装置
CN110276408B (zh) 3d图像的分类方法、装置、设备及存储介质
CN111047611A (zh) 病灶体积测量方法和装置
CN111667459B (zh) 一种基于3d可变卷积和时序特征融合的医学征象检测方法、系统、终端及存储介质
US11494908B2 (en) Medical image analysis using navigation processing
US11475568B2 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
CN111429406A (zh) 结合多视图推理的乳腺x射线影像病变检出方法和装置
Mussi et al. A novel ear elements segmentation algorithm on depth map images
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
Kirkerød et al. Unsupervised preprocessing to improve generalisation for medical image classification
CN113822846A (zh) 医学图像中确定感兴趣区域的方法、装置、设备及介质
CN111415333A (zh) 乳腺x射线影像反对称生成分析模型训练方法和装置
CN114565623B (zh) 肺血管分割方法、装置、存储介质及电子设备
Chen et al. An end-to-end framework for pulmonary nodule detection and false positive reduction from CT Images
US20240212158A1 (en) Methods and systems for fast three-dimensional image segmentation and annotation by imitating weak supervision
EP4386665A1 (en) Image processing apparatus, method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant