CN116416381B - 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 - Google Patents

基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 Download PDF

Info

Publication number
CN116416381B
CN116416381B CN202310343026.5A CN202310343026A CN116416381B CN 116416381 B CN116416381 B CN 116416381B CN 202310343026 A CN202310343026 A CN 202310343026A CN 116416381 B CN116416381 B CN 116416381B
Authority
CN
China
Prior art keywords
image
breast
segmentation
different scales
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310343026.5A
Other languages
English (en)
Other versions
CN116416381A (zh
Inventor
曹旭
石一磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maide Intelligent Technology Wuxi Co ltd
Original Assignee
Maide Intelligent Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maide Intelligent Technology Wuxi Co ltd filed Critical Maide Intelligent Technology Wuxi Co ltd
Priority to CN202310343026.5A priority Critical patent/CN116416381B/zh
Publication of CN116416381A publication Critical patent/CN116416381A/zh
Application granted granted Critical
Publication of CN116416381B publication Critical patent/CN116416381B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/032—Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及医学图像处理技术领域，具体涉及一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质，包括如下步骤：根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块中，提取不同尺度图像特征；将不同尺度的图像特征送入注意力机制模型中得到对应的新的特征；将不同尺度的图像特征分别送入对应的分割层，得到对应的分割结果；将对应的新的特征与对应的分割结果分别点乘得到点乘结果并融合为最终的分割结果图像；基于SGBM立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建，本发明可以提高结节识别的准确率和乳腺结节三维重建效率。

Description

基于乳腺超声图像的乳腺结节三维重建方法、设备及介质
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质。
背景技术
乳腺癌是全球女性最常见的癌症之一。外科手术是乳腺癌的主要治疗手段。近百年来，随着基础理论研究和治疗观念的更新，乳腺癌手术的发展从根治术、改良根治术到乳房切除术，再到保乳手术，逐渐形成了以肿瘤治愈与生活质量兼顾的个体化综合治疗模式，可使患者生理、心理、生存受益最大化。
术前准确测量乳腺肿瘤大小是选择适宜手术方式、制定个性化治疗方案、评估预后的首要环节和重要依据。根据美国癌症联合委员会的癌症分期手册(TNM分期)，肿瘤T分期是基于浸润癌的大小。目前主要采用术前评估和术后病理测量的方法来进行肿瘤大小测量，术后病理测量是最准确的方式，但是存在严重滞后性；影像学检查是术前评估乳腺肿块的重要方法，但现实情况是，浸润性肿瘤的最大尺寸可能出现在斜平面上，仅通过二维平面成像，即便是通过高分辨率、容量的乳腺成像方式，仍无法获得精准的测量结果，而目前的三维重建方式多还是通过医生阅片后通过人工方式进行重建，因此目前的乳腺结节图像三维重建方式效率较低。
发明内容
本发明的目的是提供一种基于乳腺超声图像的乳腺结节三维重建方法、设备及介质，通过对乳腺超声图像中呈现的乳腺结节影像部分的精准分割，提高结节图像识别的准确率，再进行乳腺结节图像的三维重建，提高乳腺结节图像三维重建效率。
为实现上述目的，本发明提供了如下的技术方案：
第一方面，本发明提供一种基于乳腺超声图像的乳腺结节三维重建方法，包括如下步骤：
S1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征；
S2.基于步骤S1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征；
S3.基于步骤S1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果；
S4.基于步骤S2和步骤S3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像；
S5.基于步骤S4，基于SGBM立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建。
优选的，卷积模块使用ResNet50网络作为分割网络的主干网络，用于提取不同尺度下的图像特征，分割层使用UNet网络实现结节分割。
优选的，步骤S1至步骤S4的分割网络中，损失函数为DiceLoss与BCELoss结合使用，用于在训练分割网络时，指导分割网络的参数如何调整和调优，以优化与改善分割网络的性能，提升分类网络训练的稳定性。
进一步的，步骤S5的具体方法为：将分割结果图像分割为固定大小区域，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动。
优选的，为了提高距离估计的准确性，与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法，相邻帧图像位移较小且每个区域位移存在相关性，计算运动中每个区域的位移曲线并相互比较校正。
进一步的，自适应曲线校正的具体步骤为：
S61.分别计算每个区域沿X轴和Y轴方向的SGBM曲线；
S62.基于步骤S61，将X轴和Y轴方向的SGBM曲线分别与预先基于散斑标定的标准SGBM曲线进行比较，分别计算得出X轴和Y轴方向的相干系数；
S63.基于步骤S62，调整X轴和Y轴方向的相干系数，再分别对X轴和Y轴方向的相干系数重新采样，对重新采样后的X轴和Y轴方向的相干系数进行平均并将平均后的相干系数作为Z轴方向的相干系数；
S64.基于步骤S63，通过Z轴方向的相干系数和预先基于散斑标定的标准SGBM曲线得出Z轴方向的SGBM曲线。
第二方面，本发明提供了一种乳腺结节三维重建系统，用于实现如第一方面所述的乳腺结节三维重建方法，包括：
卷积模块，用于提取不同尺度下的图像特征；
注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征；
分割模块，用于根据不同尺度下的图像特征获取对应的分割结果；
图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像；
损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性；
三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。
第三方面，本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如第一方面中任一项所述的步骤。
第四方面，一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一项所述的步骤。
本发明的有益效果是：
1)将多尺度注意力机制引入乳腺结节分割网络中，多尺度注意力神经网络可以从不同视野对图像进行特征提取，并将不同视野下的特征进行融合优化，从而使检测识别结果更加准确，提高对微小结节的识别准确率。
2)基于SGBM立体匹配算法进行乳腺结节三维重建，实现对帧间运动的精准估计，提高三维重建的效率和精细度，且是利用各帧图像间的特征关系进行匹配，不需要任何跟踪设备即可进行超声三维重建。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明总体框架示意图；
图2是图1中结节分割网络示意图；
图3是图1中三维重建网络示意图；
图4是自适应曲线校正示意图；
图5是图1中三维重建可视化示意图。
具体实施方式
实施例1
如图1-5所示，本发明提供一种基于乳腺超声图像的乳腺结节三维重建方法，包括如下步骤，如图2所示：
S1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征，在一个实施例中，卷积模块使用ResNet50网络作为分割网络的主干网络，不同尺度图像数量和尺度无具体限制，在一个实施例中，不同尺度图像为三个不同尺度，三个尺度分别为1、0.8和0.6。
S2.基于步骤S1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征。
S3.基于步骤S1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果，在一个实施例中，分割层使用UNet网络实现结节分割。
S4.基于步骤S2和步骤S3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像。
S5.如图3所示，基于步骤S4，基于SGBM立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建；
具体方法为：将分割结果图像分割为固定大小区域，在一个实施例中，分割区域大小为16*16，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动；为了提高距离估计的准确性，与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法，相邻帧图像位移较小且每个区域位移存在相关性，计算运动中每个区域的位移曲线并相互比较校正。
其中，如图4所示，自适应曲线校正的具体步骤为：
S61.分别计算每个区域沿X轴和Y轴方向的SGBM曲线；
S62.基于步骤S61，将X轴和Y轴方向的SGBM曲线分别与预先基于散斑标定的标准SGBM曲线进行比较，分别计算得出X轴和Y轴方向的相干系数；
S63.基于步骤S62，调整X轴和Y轴方向的相干系数，再分别对X轴和Y轴方向的相干系数重新采样，对重新采样后的X轴和Y轴方向的相干系数进行平均并将平均后的相干系数作为Z轴方向的相干系数；
S64.基于步骤S63，通过Z轴方向的相干系数和预先基于散斑标定的标准SGBM曲线得出当前帧Z轴方向的SGBM曲线。
在自适应曲线校正方法中，两个相邻帧可以表示为Ai和Bi，其中i是像素索引。对于相关区域，两幅图像可以表示为Ai+eB和Bi+eA，e是从0到1的相干系数，当e为0时表示没有相干性。
其中，ex(step)为X轴方向相干系数，ρxcurrent(step)为当前X轴方向SGBM曲线，ρxstandard(step)为预先基于散斑标定的标准SGBM曲线；
然后同理计算y方向相干系数ey，对ex和ey进行重采样时重采样比例分别为及/>其中，HM为在其方向上SGBM曲线最大值处的偏移距离。
步骤S1至步骤S4的分割网络中，损失函数可以为交叉熵损失函数、MS-SSIM loss、FocalTversky_loss等，在一个实施例中，损失函数为DiceLoss与BCELoss结合使用，用于在训练分割网络时，指导分割网络的参数如何调整和调优，以优化与改善分割网络的性能，更好地提升分类网络训练的稳定性。
在本实施例中，通过本实施例1的乳腺结节乳腺结节三维重建方法，可读取乳腺超声检查的Dicom图像Tag信息，获取图像x、y、z方向上的尺度信息，基于重建的三维结节图像，可以计算结节的体积、面积、三维超声造影最长径，可用于精准预测肿瘤T分期。
在一个实施例中，步骤S2和步骤S3无先后顺序之分。
实施例2
本发明提供了一种乳腺结节三维重建系统，用于实现如实施例1所述的乳腺结节三维重建方法，包括：
卷积模块，用于提取不同尺度下的图像特征。
注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征。
分割模块，用于根据不同尺度下的图像特征获取对应的分割结果。
图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像。
损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性。
三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。
实施例3
本发明提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如实施例1中任一项所述的步骤。
实施例4
本发明提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中任一项所述的步骤。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于，包括如下步骤：
S1.根据乳腺超声视频序列，依次将不同尺度的乳腺超声图像分别送入卷积模块对应的卷积层中，提取不同尺度图像特征；
S2.基于步骤S1，将不同尺度的图像特征送入注意力机制模型中得到不同尺度图像对应的新的特征；
S3.基于步骤S1，将不同尺度的图像特征分别送入不同尺度图像对应的分割层，得到对应的分割结果；
S4.基于步骤S2和步骤S3，将不同尺度图像下对应的新的特征与不同尺度图像下对应的分割结果分别点乘，得到不同尺度图像下的点乘结果并将点乘结果进行融合得到最终的分割结果图像；
S5.基于步骤S4，基于SGBM立体匹配算法，通过最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节影像的三维重建。
2.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：卷积模块使用ResNet50网络作为分割网络的主干网络，分割层使用UNet网络实现结节分割。
3.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：步骤S1至步骤S4的分割网络中，损失函数为DiceLoss与BCELoss结合使用。
4.根据权利要求1所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：步骤S5的具体方法为：将分割结果图像分割为固定大小区域，逐个区域与后帧分割结果图像进行立体匹配，获取相似度及位移量，经过刚性变换得到后帧分割结果图像相对于上一帧分割结果图像的转换矩阵，依次统计获取分割结果图像的帧间运动。
5.根据权利要求4所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：与后帧分割结果图像进行立体匹配时还使用了自适应曲线校正方法。
6.根据权利要求5所述的一种基于乳腺超声图像的乳腺结节三维重建方法，其特征在于：自适应曲线校正的具体步骤为：
S61.分别计算每个区域沿X轴和Y轴方向的SGBM曲线；
S62.基于步骤S61，将X轴和Y轴方向的SGBM曲线分别与预先基于散斑标定的标准SGBM曲线进行比较，分别计算得出X轴和Y轴方向的相干系数；
S63.基于步骤S62，调整X轴和Y轴方向的相干系数，再分别对X轴和Y轴方向的相干系数重新采样，对重新采样后的X轴和Y轴方向的相干系数进行平均并将平均后的相干系数作为Z轴方向的相干系数；
S64.基于步骤S63，通过Z轴方向的相干系数和预先基于散斑标定的标准SGBM曲线得出Z轴方向的SGBM曲线。
7.一种乳腺结节三维重建系统，用于实现如权利要求1-6所述的乳腺结节三维重建方法，其特征在于，包括：
卷积模块，用于提取不同尺度下的图像特征；
注意力机制模型，用于根据不同尺度下的图像特征提取得到新的特征；
分割模块，用于根据不同尺度下的图像特征获取对应的分割结果；
图像融合模块，用于将不同尺度下的注意力机制模型得到的新的特征与分割模块中得到的分割结果分别点乘，并将点乘结果进行融合得到最终的分割结果图像；损失函数模块，用于提升卷积模块、注意力机制模型、分割模块和图像融合模块训练的稳定性；
三维重建模块，用于根据最终的分割结果图像与后帧的分割结果图像进行立体匹配，获取超声图像的帧间运动，实现乳腺结节的三维重建。
8.一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可用在所述处理器上运行的控制程序，所述控制程序被所述处理器执行时实现如权利要求1-6中任一项所述的乳腺结节三维重建方法。
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任一项所述的乳腺结节三维重建方法。
CN202310343026.5A 2023-03-31 2023-03-31 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质 Active CN116416381B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310343026.5A CN116416381B (zh) 2023-03-31 2023-03-31 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310343026.5A CN116416381B (zh) 2023-03-31 2023-03-31 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质

Publications (2)

Publication Number Publication Date
CN116416381A CN116416381A (zh) 2023-07-11
CN116416381B true CN116416381B (zh) 2023-09-29

Family

ID=87050885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310343026.5A Active CN116416381B (zh) 2023-03-31 2023-03-31 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质

Country Status (1)

Country Link
CN (1) CN116416381B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018064248A1 (en) * 2016-09-30 2018-04-05 University Hospitals Cleveland Medical Center Apparatus and method for constructing a virtual 3d model from a 2d ultrasound video
US10380736B1 (en) * 2015-10-14 2019-08-13 Larry Partain MIP determination of solid cancer size and size changes based on contrast enhanced MRI and CT imaging
CN112086197A (zh) * 2020-09-04 2020-12-15 厦门大学附属翔安医院 基于超声医学的乳腺结节检测方法及系统
CN113421240A (zh) * 2021-06-23 2021-09-21 深圳大学 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN113724267A (zh) * 2021-07-30 2021-11-30 北京精康科技有限责任公司 一种乳腺超声图像肿瘤分割方法及装置
CN114360695A (zh) * 2021-12-24 2022-04-15 上海杏脉信息科技有限公司 乳腺超声扫查分析辅助系统、介质及设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI483711B (zh) * 2012-07-10 2015-05-11 Univ Nat Taiwan Tumor detection system and method of breast ultrasound image
US9700284B2 (en) * 2013-11-13 2017-07-11 Siemens Medical Solutions Usa, Inc. Three-dimensional ultrasound reconstruction with confidence information
US11160516B2 (en) * 2018-10-11 2021-11-02 The Regents Of The University Of California Compressive sensing absorber for breast imaging

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380736B1 (en) * 2015-10-14 2019-08-13 Larry Partain MIP determination of solid cancer size and size changes based on contrast enhanced MRI and CT imaging
WO2018064248A1 (en) * 2016-09-30 2018-04-05 University Hospitals Cleveland Medical Center Apparatus and method for constructing a virtual 3d model from a 2d ultrasound video
CN112086197A (zh) * 2020-09-04 2020-12-15 厦门大学附属翔安医院 基于超声医学的乳腺结节检测方法及系统
CN113421240A (zh) * 2021-06-23 2021-09-21 深圳大学 一种基于超声自动乳腺全容积成像的乳腺分类方法及装置
CN113724267A (zh) * 2021-07-30 2021-11-30 北京精康科技有限责任公司 一种乳腺超声图像肿瘤分割方法及装置
CN114360695A (zh) * 2021-12-24 2022-04-15 上海杏脉信息科技有限公司 乳腺超声扫查分析辅助系统、介质及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Diagnostic ultrasonography and mammography for invasive and noninvasive breast cancer in women aged 30 to 39 years;OsakoT, et al.;Breast Cancer;第14卷(第2期);全文 *
乳腺结节良恶性鉴别诊断中三维超声的应用价值;王峰;杨清;郑宇;李力君;褚平;;海南医学;第24卷(第14期);全文 *

Also Published As

Publication number Publication date
CN116416381A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
CN111932550B (zh) 一种基于深度学习的3d心室核磁共振视频分割系统
CN107886508B (zh) 差分减影方法和医学图像处理方法及系统
CN110599528A (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
CN116416381B (zh) 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质
CN113256529B (zh) 图像处理方法、装置、计算机设备及存储介质
CN111951288A (zh) 一种基于深度学习的皮肤癌病变分割方法
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
JP2009090094A (ja) 画像整合のための方法および装置
CN110533120B (zh) 器官结节的图像分类方法、装置、终端及存储介质
CN112950684B (zh) 基于表面配准的目标特征提取方法、装置、设备和介质
CN114049344A (zh) 图像分割方法及其模型的训练方法及相关装置、电子设备
CN116758087B (zh) 一种腰椎ct骨窗侧隐窝间隙检测方法及装置
CN111968108B (zh) 基于智能扫描协议的ct智能成像方法、装置及系统
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
CN109741439B (zh) 一种二维mri胎儿图像的三维重建方法
García et al. Mapping 3D breast lesions from full-field digital mammograms using subject-specific finite element models
WO2012069833A1 (en) Process and apparatus for data registration
CN116369981B (zh) 基于超声造影的保乳切缘状态预测方法、系统、设备及介质
CN111598904B (zh) 图像分割方法、装置、设备及存储介质
CN111062935B (zh) 一种乳腺肿瘤检测方法、存储介质及终端设备
CN112785632B (zh) 基于epid的图像引导放疗中dr和drr影像跨模态自动配准方法
CN117274772B (zh) 一种椎骨旋转估计模型的训练方法
CN112215814B (zh) 基于3dhog辅助卷积神经网络的前列腺图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant