CN114202514A - 乳腺超声图像分割方法及设备 - Google Patents

乳腺超声图像分割方法及设备 Download PDF

Info

Publication number
CN114202514A
CN114202514A CN202111426251.2A CN202111426251A CN114202514A CN 114202514 A CN114202514 A CN 114202514A CN 202111426251 A CN202111426251 A CN 202111426251A CN 114202514 A CN114202514 A CN 114202514A
Authority
CN
China
Prior art keywords
feature
ultrasonic image
breast
feature map
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111426251.2A
Other languages
English (en)
Inventor
王红燕
姜玉新
李建初
谷杨
刘羽西
安兴
丛龙飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mindray Bio Medical Electronics Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Shenzhen Mindray Bio Medical Electronics Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mindray Bio Medical Electronics Co Ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Shenzhen Mindray Bio Medical Electronics Co Ltd
Priority to CN202111426251.2A priority Critical patent/CN114202514A/zh
Publication of CN114202514A publication Critical patent/CN114202514A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明实施例提供一种乳腺超声图像分割方法及设备，该方法包括：获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域的超声图像；基于预先训练好的BI‑RADS特征分类模型从超声图像中提取至少一个BI‑RADS特征对应的特征图；将特征图与超声图像进行融合，得到融合特征图；基于预先训练好的乳腺病灶分割模型对融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。通过BI‑RADS特征分类模型可以准确地获取BI‑RADS特征对应的特征图，将BI‑RADS特征对应的特征图与超声图像进行融合，可以突出乳腺病灶区域和边界特征，基于融合特征图进行乳腺病灶分割，可以提高乳腺病灶区域分割的准确性。

Description

乳腺超声图像分割方法及设备
技术领域
本发明实施例涉及医用超声技术领域，具体涉及一种乳腺超声图像分割方法及设备。
背景技术
乳腺癌是发生在乳腺上皮组织的恶性肿瘤，据癌症统计数据显示乳腺癌位于女性恶性肿瘤发病率的首位，因此对于乳腺癌的早期筛查显得尤为重要。乳腺超声能够清楚地显示乳腺各层软组织及其中病灶的位置、形态、内部结构及相邻组织的改变，且具有经济、便捷、无创伤、无痛苦、无放射性和重复性强等诸多优点，已成为乳腺癌早期筛查的重要方式之一。
由美国放射协会(American College of Radiology，ACR)提出的乳腺影像报告和数据系统(Breast Imaging Reporting and Data system，BI-RADS)是目前临床中应用广泛且相对权威的分级评价标准。BI-RADS使用统一的专业术语对乳腺作为一个整体器官的所有影像学的正常与异常情况进行诊断归类。但是BI-RADS诊断规则复杂繁多，对于低年资或基层医院医生来说难于记忆，从而会影响临床诊断的效率和准确性。随着人工智能技术的飞速发展，使得计算机辅助诊断应用于乳腺超声图像智能分析成为可能。
目前基于人工智能技术进行乳腺超声图像BI-RADS智能分析时，首先需要从乳腺超声图像中将乳腺病灶区域分割出来，然后基于乳腺病灶区域进行BI-RADS智能分析。然而由于乳腺病灶征象复杂多变且形态各异，现有基于乳腺超声图像直接进行乳腺病灶区域分割方法的准确性较低，从而影响后续BI-RADS智能分析的准确性。
发明内容
本发明实施例提供一种乳腺超声图像分割方法及设备，用于解决现有方法乳腺病灶区域分割准确性低的问题。
第一方面，本发明实施例提供一种乳腺超声图像分割方法，包括：
获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域(Region ofInterest，ROI)的超声图像；
基于预先训练好的BI-RADS特征分类模型从超声图像中提取至少一个BI-RADS特征对应的特征图，其中BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的样本超声图像的特征图进行融合，使用融合后的图像对初始BI-RADS特征分类模型进行迭代训练直至初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型；
将特征图与超声图像进行融合，得到融合特征图；
基于预先训练好的乳腺病灶分割模型对融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
一种实施例中，从超声图像中提取至少一个BI-RADS特征对应的特征图包括：从超声图像中分别提取多个BI-RADS特征对应的多个特征图；将特征图与超声图像进行融合包括：将多个特征图与超声图像进行融合。
一种实施例中，从超声图像中分别提取多个BI-RADS特征对应的多个特征图包括：从超声图像中分别提取形状特征、边缘特征和后方回声特征对应的形状特征图、边缘特征图和后方回声特征图。
一种实施例中，从超声图像中提取至少一个BI-RADS特征对应的特征图包括：从超声图像中提取多个BI-RADS特征对应的综合特征图；将特征图与超声图像进行融合包括：将综合特征图与超声图像进行融合。
一种实施例中，从超声图像中提取多个BI-RADS特征对应的综合特征图包括：从超声图像中提取形状特征、边缘特征和后方回声特征对应的综合特征图。
一种实施例中，从超声图像中提取至少一个BI-RADS特征对应的特征图包括：从超声图像中提取形状特征对应的形状特征图；将特征图与超声图像进行融合包括：将形状特征图与超声图像进行融合。
一种实施例中，从超声图像中提取形状特征对应的形状特征图，包括：
基于预先训练好的形状特征分类模型从超声图像中提取形状特征对应的形状特征图，形状特征分类模型基于标注了形状特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始形状特征分类模型输出的样本超声图像的特征图进行融合，将融合后的图像输入形状特征分类模型，以标注结果与形状特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的形状特征分类模型，形状特征的类型包括圆形、椭圆形和不规则形。
一种实施例中，从超声图像中提取至少一个BI-RADS特征对应的特征图包括：从超声图像中提取边缘特征对应的边缘特征图；将特征图与超声图像进行融合包括：将边缘特征图与超声图像进行融合。
一种实施例中，从超声图像中提取边缘特征对应的边缘特征图，包括：
基于预先训练好的边缘特征分类模型从所述超声图像中提取边缘特征对应的边缘特征图，边缘特征分类模型基于标注了边缘特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始边缘特征分类模型输出的样本超声图像的特征图进行融合，将融合后的图像输入边缘特征分类模型，以标注结果与边缘特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的边缘特征分类模型，边缘特征的类型包括光整、模糊、成角、微分叶和毛刺。
一种实施例中，从超声图像中提取至少一个BI-RADS特征对应的特征图包括：从超声图像中提取后方回声特征对应的后方回声特征图；将特征图与超声图像进行融合包括：将后方回声特征图与超声图像进行融合。
一种实施例中，从超声图像中提取后方回声特征对应的后方回声特征图，包括：
基于预先训练好的后方回声特征分类模型从所述超声图像中提取后方回声特征对应的形状特征图，后方回声特征分类模型基于标注了后方回声特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始后方回声特征分类模型输出的所述样本超声图像的特征图进行融合，将融合后的图像输入后方回声特征分类模型，以标注结果与后方回声特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的后方回声特征分类模型，后方回声特征的类型包括增强、无改变、衰减和混合回声。
一种实施例中，将特征图与超声图像进行融合包括：根据特征图与超声图像各自的融合权重将特征图与超声图像进行加权融合，特征图与超声图像各自的融合权重是通过逻辑回归预测模型对特征图与超声图像各自的贡献度概率进行权值拟合得到的。
一种实施例中，基于预先训练好的乳腺病灶分割模型对融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域包括：
将融合特征图输入预先训练好的乳腺病灶分割模型中，以便在超声图像上确定乳腺病灶区域；
其中，乳腺病灶分割模型基于标注了乳腺病灶区域的样本超声图像训练得到，在训练阶段，从样本超声图像中提取至少一个BI-RADS特征对应的特征图，并将其与样本超声图像进行融合，得到样本融合特征图，将样本融合特征图输入乳腺病灶分割模型，以标注的乳腺病灶区域与乳腺病灶分割模型预测的乳腺病灶区域之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的乳腺病灶分割模型。
一种实施例中，BI-RADS特征包括：形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征。
一种实施例中，所述方法还包括：在显示界面上显示从超声图像中分割得到的乳腺病灶区域。
一种实施例中，获取被检者乳腺区域的超声图像，包括：向被检者的乳腺区域发射超声波，并接收乳腺区域返回的超声回波，得到超声回波数据，根据超声回波数据实时生成被检者乳腺区域的超声图像；或者，从存储设备中获取预先存储的被检者乳腺区域的超声图像；
获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像包括：获取被检者乳腺区域的超声图像；在乳腺区域的超声图像中通过目标检测算法自动确定乳腺病灶感兴趣区域；根据得到的乳腺病灶感兴趣区域从乳腺区域的超声图像中获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像。
第二方面，本发明实施例提供一种超声成像设备，包括：
超声探头；
发射电路，用于按照设定模式将相应的发射序列输出至超声探头，以控制超声探头发射相应的超声波；
接收电路，用于接收超声探头输出的超声回波信号，输出超声回波数据；
显示器，用于输出可视化信息；
处理器，用于执行如第一方面任一项的所述乳腺超声图像分割方法。
第三方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项所述的乳腺超声图像分割方法。
本发明实施例提供的乳腺超声图像分割方法及设备，基于预先训练好的BI-RADS特征分类模型从获取到的超声图像中提取至少一个BI-RADS特征对应的特征图，并将特征图与超声图像进行融合，得到融合特征图，然后基于预先训练好的乳腺病灶分割模型对融合特征图实现了对乳腺病灶的分割。其中，BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的样本超声图像的特征图进行融合，使用融合后的图像对初始BI-RADS特征分类模型进行迭代训练直至初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型，通过BI-RADS特征分类模型可以准确地获取BI-RADS特征对应的特征图，将BI-RADS特征对应的特征图与超声图像进行融合，可以突出乳腺病灶区域以及乳腺病灶边界的特征，基于融合特征图进行乳腺病灶分割，可以提高乳腺病灶区域分割的准确性。
附图说明
图1为本发明一实施例提供的超声成像设备的结构框图；
图2为本发明一实施例提供的乳腺超声图像分割方法的流程图；
图3为本发明一实施例提供的BI-RADS特征分类模型的训练过程示意图；
图4为本发明一实施例提供的融合特征图的示意图；
图5为本发明又一实施例提供的乳腺超声图像分割方法的流程图；
图6为本发明一实施例提供的融合过程示意图；
图7为本发明另一实施例提供的乳腺超声图像分割方法的流程图；
图8为本发明一实施例提供的乳腺病灶分割模型的训练过程示意图。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。同时，方法描述中的各步骤或者动作也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图中的各种顺序只是为了清楚描述某一个实施例，并不意味着是必须的顺序，除非另有说明其中某个顺序是必须遵循的。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接(联接)。
如图1所示，本发明提供的超声成像设备可以包括：超声探头20、发射/接收电路30(即发射电路310和接收电路320)、波束合成模块40、IQ解调模块50、存储器60、处理器70和人机交互装置。处理器70可以包括控制模块710和图像处理模块720。
超声探头20包括由阵列式排布的多个阵元组成的换能器(图中未示出)，多个阵元排列成一排构成线阵，或排布成二维矩阵构成面阵，多个阵元也可以构成凸阵列。阵元用于根据激励电信号发射超声波束，或将接收的超声波束变换为电信号。因此每个阵元可用于实现电脉冲信号和超声波束的相互转换，从而实现向人体组织的目标区域(例如本实施例中包含乳腺病灶的乳腺区域)发射超声波、也可用于接收经组织反射回的超声波的回波。在进行超声检测时，可通过发射电路310和接收电路320控制哪些阵元用于发射超声波束，哪些阵元用于接收超声波束，或者控制阵元分时隙用于发射超声波束或接收超声波束的回波。参与超声波发射的阵元可以同时被电信号激励，从而同时发射超声波；或者参与超声波发射的阵元也可以被具有一定时间间隔的若干电信号激励，从而持续发射具有一定时间间隔的超声波。
本实施例中，用户通过移动超声探头20选择合适的位置和角度向乳腺区域10发射超声波并接收由乳腺区域10返回的超声波的回波，获得并输出该回波的电信号，回波的电信号是按以接收阵元为通道所形成的通道模拟电信号，其携带有幅度信息、频率信息和时间信息。
发射电路310用于根据处理器70的控制模块710的控制产生发射序列，发射序列用于控制多个阵元中的部分或者全部向生物组织发射超声波，发射序列参数包括发射用的阵元位置、阵元数量和超声波束发射参数(例如幅度、频率、发射次数、发射间隔、发射角度、波型、聚焦位置等)。某些情况下，发射电路310还用于对发射的波束进行相位延迟，使不同的发射阵元按照不同的时间发射超声波，以便各发射超声波束能够在预定的感兴趣区域聚焦。不同的工作模式，例如B图像模式、C图像模式和D图像模式(多普勒模式)，发射序列参数可能不同，回波信号经接收电路320接收并经后续的模块和相应算法处理后，可生成反映组织解剖结构的B图像、反映组织解剖结构和血流信息的C图像以及反映多普勒频谱图像的D图像。
接收电路320用于从超声探头20接收超声回波的电信号，并对超声回波的电信号进行处理。接收电路320可以包括一个或多个放大器、模数转换器(ADC)等。放大器用于在适当增益补偿之后放大所接收到的超声回波的电信号，模数转换器用于对模拟回波信号按预定的时间间隔进行采样，从而转换成数字化的信号，数字化后的回波信号依然保留有幅度信息、频率信息和相位信息。接收电路320输出的数据可输出给波束合成模块40进行处理，或者，输出给存储器60进行存储。
波束合成模块40和接收电路320信号相连，用于对接收电路320输出的信号进行相应的延时和加权求和等波束合成处理，由于被测组织中的超声波接收点到接收阵元的距离不同，因此，不同接收阵元输出的同一接收点的通道数据具有延时差异，需要进行延时处理，将相位对齐，并将同一接收点的不同通道数据进行加权求和，得到波束合成后的超声图像数据，波束合成模块40输出的超声图像数据也称为射频数据(RF数据)。波束合成模块40将射频数据输出至IQ解调模块50。在有的实施例中，波束合成模块40也可以将射频数据输出至存储器60进行缓存或保存，或将射频数据直接输出至处理器70的图像处理模块720进行图像处理。
波束合成模块40可以采用硬件、固件或软件的方式执行上述功能，例如，波束合成模块40可以包括能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理芯片或其他任何电子部件，当波束合成模块40采用软件方式实现时，其可以执行存储在有形和非暂态计算机可读介质(例如，存储器60)上的指令，以使用任何适当波束合成方法进行波束合成计算。
IQ解调模块50通过IQ解调去除信号载波，提取信号中包含的组织结构信息，并进行滤波去除噪声，此时获取的信号称为基带信号(IQ数据对)。IQ解调模块50将IQ数据对输出至处理器70的图像处理模块720进行图像处理。在有的实施例中，IQ解调模块50还将IQ数据对输出至存储器60进行缓存或保存，以便图像处理模块720从存储器60中读出数据进行后续的图像处理。
处理器70用于配置成能够根据特定逻辑指令处理输入数据的中央控制器电路(CPU)、一个或多个微处理器、图形控制器电路(GPU)或其他任何电子部件，其可以根据输入的指令或预定的指令对外围电子部件执行控制，或对存储器60执行数据读取和/或保存，也可以通过执行存储器60中的程序对输入数据进行处理，例如根据一个或多个工作模式对采集的超声数据执行一个或多个处理操作，处理操作包括但不限于调整或限定超声探头20发出的超声波的形式，生成各种图像帧以供后续人机交互装置的显示器80进行显示，或者调整或限定在显示器80上显示的内容和形式，或者调整在显示器80上显示的一个或多个图像显示设置(例如超声图像、界面组件、定位感兴趣区域)。
图像处理模块720用于对波束合成模块40输出的数据或IQ解调模块50输出的数据进行处理，以生成扫描范围内的信号强弱变化的灰度图像，该灰度图像反映组织内部的解剖结构，称为B图像。图像处理模块720可以将B图像输出至人机交互装置的显示器80进行显示。
人机交互装置用于进行人机交互，即接收用户的输入和输出可视化信息；其接收用户的输入可采用键盘、操作按钮、鼠标、轨迹球等，也可以采用与显示器集成在一起的触控屏；其输出可视化信息采用显示器80。
存储器60可以是有形且非暂态的计算机可读介质，例如可为闪存卡、固态存储器、硬盘等，用于存储数据或者程序，例如，存储器60可以用于存储所采集的超声数据或处理器70所生成的暂不立即显示的图像帧，或者存储器60可以存储图形用户界面、一个或多个默认图像显示设置、用于处理器、波束合成模块或IQ解码模块的编程指令。
需要说明的是，图1所示的结构仅为示意，还可以包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件和/或软件实现。图1所示的超声成像设备可以用于执行本发明任一实施例所提供的乳腺超声图像分割方法。
请参考图2，本发明一实施例提供的乳腺超声图像分割方法可以包括：
S201、获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域的超声图像。
本实施例中获取到的超声图像既可以是乳腺区域的超声图像，也可以是乳腺区域中乳腺病灶感兴趣区域的超声图像。既可以通过超声成像设备实时获取超声图像，也可以从存储介质中读取预先存储的超声图像。
一种可选的实施方式中，获取被检者乳腺区域的超声图像，可以通过超声成像设备的超声探头向被检者的乳腺区域发射超声波，并接收乳腺区域返回的超声回波，得到超声回波数据，根据超声回波数据实时生成被检者乳腺区域的超声图像，具体的可以由医生在被检者乳腺充分暴露的皮肤表面涂以耦合剂，然后手持超声探头紧贴患者乳腺部皮肤进行扫查。或者还可以从存储设备中获取预先存储的被检者乳腺区域的超声图像；
一种可选的实施方式中，获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像可以首先获取被检者乳腺区域的超声图像，然后在乳腺区域的超声图像中通过目标检测算法自动确定乳腺病灶感兴趣区域，根据得到的乳腺病灶感兴趣区域从乳腺区域的超声图像中获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像。其中，获取被检者乳腺区域的超声图像具体实现方式可以参考上述可选的实施方式。而在乳腺区域的超声图像中确定乳腺病灶感兴趣区域可以采用基于深度学习、机器学习或者传统图像处理方法的目标检测算法。
采用基于深度学习的方法时，需要先基于已收集的样本超声图像及高年资医师对乳腺病灶感兴趣区域的标注结果(医师标注的乳腺病灶的感兴趣区域例如可以是乳腺病灶的最小包围框或者乳腺病灶的边界)对深度学习ROI检测模型进行训练，ROI检测模型可以采用但不限于RCNN、Faster RCNN、SSD、YOLO等。在网络训练阶段，计算迭代过程中乳腺病灶感兴趣区域的检测结果和标注结果之间的误差，并以误差最小化为目的不断更新网络中的权值，不断重复该过程，使检测结果逐渐逼近乳腺病灶ROI的真实值，得到训练好的ROI检测模型，该模型可以自动确定输入的超声图像中的乳腺病灶感兴趣区域。
采用基于机器学习的方法时，需要先基于已收集的样本超声图像及高年资医师对乳腺病灶感兴趣区域的标注结果训练机器学习ROI检测模型，ROI检测模型可以采用但不限于SVM、K-Means、C-Means等机器学习模型，ROI检测模型对像素点的灰度值或纹理值进行二分类(属于乳腺病灶感兴趣区域或不属于乳腺病灶感兴趣区域)，或对图像进行网格划分并对网格内的小图像进行二分类，再对属于乳腺病灶感兴趣区域的像素点或者网格内的小图像取分类概率最高的区域作为乳腺病灶感兴趣区域。
S202、基于预先训练好的BI-RADS特征分类模型从超声图像中提取至少一个BI-RADS特征对应的特征图。BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的样本超声图像的特征图进行融合，使用融合后的图像对初始BI-RADS特征分类模型进行迭代训练直至初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型。
BI-RADS特征包括有形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征。本实施例中可以从超声图像中提取任意一个BI-RADS特征对应的特征图，例如可以提取形状特征对应的形状特征图，或者提取方向特征对应的方向特征图，或者提取边缘特征对应的边缘特征图……依次类推，此处不再一一赘述。还可以从超声图像中提取任意多个BI-RADS特征对应的特征图。当从超声图像中提取多个BI-RADS特征对应的特征图时，一种可选的实现方式中，可以从超声图像中分别提取多个BI-RADS特征对应的多个特征图，例如可以分别提取形状特征对应的形状特征图、方向特征对应的方向特征图以及边缘特征对应的边缘特征图；另一种可选的实现方式中，可以从超声图像中提取多个BI-RADS特征对应的综合特征图，例如可以提取形状特征、方向特征以及边缘特征对应的综合特征图。
本实施例中可以基于预先训练好的BI-RADS特征分类模型从超声图像中提取至少一个BI-RADS特征对应的特征图。BI-RADS特征分类模型的训练过程可以参考图3。如图3所示，BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的样本超声图像的特征图进行融合，使用融合后的图像对初始BI-RADS特征分类模型进行迭代训练直至初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型。训练好的BI-RADS特征分类模型具有较高的分类准确率，因此基于该模型可以从超声图像中准确地捕捉相对应的特征图。
S203、将特征图与超声图像进行融合，得到融合特征图。
将步骤S202中提取到的特征图与步骤S201中获取到的超声图像进行融合，以便确定融合特征图。例如可以通过将特征图与超声图像拼接或者相加的方式进行融合。一种可选的实施方式中，将特征图与超声图像进行融合可以包括：根据特征图与超声图像各自的融合权重将特征图与超声图像进行加权融合，特征图与超声图像各自的融合权重是通过逻辑回归预测模型对特征图与超声图像各自的贡献度概率进行权值拟合得到的。
可以通过权值拟合分别拟合出特征图和超声图像各自的贡献度概率，例如可以通过逻辑回归预测模型进行权值拟合，具体的，可以采用sigmoid函数得到一个在[0,1]区间内的贡献度概率，然后对这些贡献度概率分别进行归一化，得到特征图与超声图像各自的融合权重。最后通过如下表达式确定融合特征图：
Figure BDA0003375806730000111
其中，z表示融合特征图，x0表示超声图像，w0表示超声图像的融合权重，xi表示第i个特征图，wi表示第i个特征图的融合权重，n≥1。
请参考图4，图4中左图为获取到的超声图像，右图为将特征图与超声图像进行融合，得到融合特征图。由图4可知，通过将特征图与原超声图像进行融合，可以突出乳腺病灶区域以及乳腺病灶边界的特征，便于进行乳腺病灶分割。
S204、基于预先训练好的乳腺病灶分割模型对融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
在得到融合特征图之后，便可以基于融合特征图进行乳腺病灶分割。进行乳腺病灶分割可以采用基于传统机器学习的语义分割算法、传统图像处理算法或者基于深度学习的语义分割算法等。其中基于传统机器学习的语义分割算法通常采用将图像拆分成图像块然后进行分类的思路：首先对拆分得到的图像块进行特征提取，例如可以采用PCA、LDA等算法，也可使用深度神经网络，建立特征向量；然后对特征向量进行分类，例如可以采用如k-NN、随机森林、SVM等算法；最后再将分类后的图像块拼回整个图像，得到分割结果。采用传统图像处理算法进行分割时，可以采用基于区域的分割算法例如区域生长法、分水岭算法和大津阈值法等；也可以采用基于梯度的分割算法例如sobel、canny算子等。基于深度学习的语义分割算法通常采取监督学习的策略，通过堆叠卷积层、池化层、上采样层、反卷积层和全连接层等模块，建立深度神经网络模型，基于深度神经网络模型构建乳腺病灶分割模型，将真实的分割标注信息制作成一张与输入图像尺寸一致的掩膜图作为监督信息，让深度神经网络模型学习并输出分割得到的区域，得到训练好的乳腺病灶分割模型。深度神经网络模型例如可以采用Mask R-CNN、U-Net、Solo等。
本实施例提供的乳腺超声图像分割方法，基于预先训练好的BI-RADS特征分类模型从获取到的超声图像中提取至少一个BI-RADS特征对应的特征图，并将特征图与超声图像进行融合，得到融合特征图，然后基于融合特征图实现了对乳腺病灶的分割。其中，BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的样本超声图像的特征图进行融合，使用融合后的图像对初始BI-RADS特征分类模型进行迭代训练直至初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型，通过具有较高分类准确率的BI-RADS特征分类模型可以准确地从超声图像中获取相对应的特征图，通过将BI-RADS特征对应的特征图与超声图像进行融合，可以突出乳腺病灶区域以及乳腺病灶边界的特征，基于融合特征图进行乳腺病灶分割，可以提高乳腺病灶区域分割的准确性，进而有助于提高后续基于乳腺病灶区域的BI-RADS智能分析的准确性。
可以从超声图像中分别提取多个BI-RADS特征对应的多个特征图，并将多个特征图与超声图像进行融合，然后基于得到的融合特征图进行乳腺病灶分割。而考虑到BI-RADS特征中的形状特征、边缘特征和后方回声特征对于边界情况影响较为显著，一种可选的实施方式中，可以从超声图像中分别提取形状特征、边缘特征和后方回声特征对应的形状特征图、边缘特征图和后方回声特征图用于与超声图像进行融合。请参考图5，本实施例提供的方法可以包括：
S401、获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域(Region ofInterest，ROI)的超声图像。
具体实施方式请参考S201，此处不再赘述。
S402、从超声图像中提取形状特征、边缘特征和后方回声特征对应的形状特征图、边缘特征图和后方回声特征图。
S403、将形状特征图、边缘特征图、后方回声特征图与超声图像进行融合，得到融合特征图。
请参考图6，可以采用形状特征提取器从超声图像中提取形状特征图，可以采用边缘特征提取器从超声图像中提取边缘特征图，可以采用后方回声特征提取器从超声图像中提取形状特征图，然后将提取到的形状特征图、边缘特征图、后方回声特征图与超声图像进行融合，得到融合特征图。其中，形状特征提取器、边缘特征提取器和后方回声特征提取器可以是基于深度学习方法训练得到的特征提取模型，也可以是基于传统图像处理方法得到的特征提取算子，本实施例对于其具体实现方式不做限制。具体的融合方式可以参考S203，此处不再赘述。
S404、基于融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
具体实施方式请参考S204，此处不再赘述。
本实施例提供的乳腺超声图像分割方法，通过采用对于边界情况影响较为显著的形状特征图、边缘特征图和后方回声特征图与超声图像进行融合，以使得融合特征图中的乳腺病灶区域以及乳腺病灶边界更加突出，以便进一步提高乳腺病灶区域分割的准确性。
除了上述分别提取多个BI-RADS特征对应的多个特征图之外，一种可选的实施方式中，还可以从超声图像中提取多个BI-RADS特征对应的综合特征图，并将综合特征图与超声图像进行融合，然后基于得到的融合特征图进行乳腺病灶分割。依然考虑了多个BI-RADS特征对于乳腺病灶分割的影响，但是只需要融合一个综合特征图，有助于提高融合效率，进而有助于提高乳腺病灶分割的效率。例如可以从超声图像中提取形状特征、边缘特征和后方回声特征对应的综合特征图，比如可以将图6中的形状特征提取器、边缘特征提取器和后方回声特征提取器更换为综合特征提取器，一次便可以从超声图像中提取形状特征、边缘特征和后方回声特征所对应的综合特征图。
上面已经详细阐述了从超声图像中提取多个BI-RADS特征对应的特征图用于进行乳腺病灶分割。需要说明的是，多个BI-RADS特征的具体组合方式除了上述实施例所提供的组合方式之外，还可以包括对形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征的任意组合。下面的实施例将阐述从超声图像中提取一个BI-RADS特征对应的特征图用于进行乳腺病灶分割。
请参考图7，本实施例提供的乳腺超声图像分割方法可以包括：
S601、获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域(Region ofInterest，ROI)的超声图像。
具体实施方式请参考S201，此处不再赘述。
S602、基于预先训练好的形状特征分类模型从超声图像中提取形状特征对应的形状特征图。
可以采用基于深度学习、机器学习或者传统图像处理的方法从超声图像中提取形状特征对应的形状特征图。一种可选的实施方式中，可以将超声图像输入预先训练好的形状特征分类模型中，形状特征分类模型例如可以包括前端形状特征提取网络和后端形状特征分类网络，前端形状特征提取网络用于从超声图像中提取形状特征图，后端形状特征分类网络用于根据形状特征图输出形状特征的类型；根据前端形状特征提取网络的输出确定形状特征图。
其中，形状特征分类模型基于标注了形状特征的类型的样本超声图像训练得到。其训练过程可以参考图3所示的BI-RADS特征分类模型的训练过程，在训练阶段，将样本超声图像以及经初始形状特征分类模型输出的样本超声图像的特征图进行融合，将融合后的图像输入形状特征分类模型，以标注结果与形状特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的形状特征分类模型，形状特征的类型包括圆形、椭圆形和不规则形。其中，预设条件可以是形状特征分类模型对于形状特征的分类准确率大于预设准确率阈值。为了准确地获取超声图像中的形状特征图，可以设置较高的准确率阈值。
需要说明的是，本实施例中基于预先训练好的形状特征分类模型从超声图像中提取形状特征图的方法可以用于图5所示实施例中，即图6中的形状特征提取器的具体实现方式可以为本实施例中训练好的形状特征分类模型。
S603、将形状特征图与超声图像进行融合，得到融合特征图。
具体的融合方式可以参考S203，此处不再赘述。
S604、基于融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
具体实施方式请参考S204，此处不再赘述。
本实施例提供的乳腺超声图像分割方法，基于预先训练好的形状特征分类模型准确地从超声图像中提取对于边界情况影响较为显著的形状特征图，并将形状特征图与超声图像进行融合，使得融合特征图中的乳腺病灶区域以及乳腺病灶边界更加突出，基于融合特征图进行乳腺病灶分割兼顾了分割效率和分割准确性，可以高效、准确地从超声图像中分割出乳腺病灶区域。
本发明实施例还提供一种乳腺超声图像分割方法，包括：
S701、获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域(Region ofInterest，ROI)的超声图像。
具体实施方式请参考S201，此处不再赘述。
S702、基于预先训练好的边缘特征分类模型从超声图像中提取边缘特征对应的边缘特征图。
可以采用基于深度学习、机器学习或者传统图像处理的方法从超声图像中提取边缘特征对应的边缘特征图。一种可选的实施方式中，可以将超声图像输入预先训练好的边缘特征分类模型中，边缘特征分类模型例如可以包括前端边缘特征提取网络和后端边缘特征分类网络，前端边缘特征提取网络用于从超声图像中提取边缘特征图，后端边缘特征分类网络用于根据边缘特征图输出边缘特征的类型；根据前端边缘特征提取网络的输出确定边缘特征图。
其中，边缘特征分类模型基于标注了边缘特征的类型的样本超声图像训练得到。其训练过程可以参考图3所示的BI-RADS特征分类模型的训练过程，在训练阶段，将样本超声图像以及经初始边缘特征分类模型输出的样本超声图像的特征图进行融合，将融合后的图像输入边缘特征分类模型，以标注结果与边缘特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的边缘特征分类模型，边缘特征的类型包括光整、模糊、成角、微分叶和毛刺。其中，预设条件可以是边缘特征分类模型对于边缘特征的分类准确率大于预设准确率阈值。为了准确地获取超声图像中的边缘特征图，可以设置较高的准确率阈值。
需要说明的是，本实施例中基于预先训练好的边缘特征分类模型从超声图像中提取边缘特征图的方法可以用于图5所示实施例中，即图6中的边缘特征提取器的具体实现方式可以为本实施例中训练好的前端边缘特征提取网络。
S703、将边缘特征图与超声图像进行融合，得到融合特征图。
具体的融合方式可以参考S203，此处不再赘述。
S704、基于融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
具体实施方式请参考S204，此处不再赘述。
本实施例提供的乳腺超声图像分割方法，基于预先训练好的边缘特征分类模型准确地从超声图像中提取对于边界情况影响较为显著的边缘特征图，并将边缘特征图与超声图像进行融合，使得融合特征图中的乳腺病灶区域以及乳腺病灶边界更加突出，基于融合特征图进行乳腺病灶分割兼顾了分割效率和分割准确性，可以高效、准确地从超声图像中分割出乳腺病灶区域。
本发明实施例还提供一种乳腺超声图像分割方法，包括：
S801、获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域(Region ofInterest，ROI)的超声图像。
具体实施方式请参考S201，此处不再赘述。
S802、基于预先训练好的后方回声特征分类模型从超声图像中提取后方回声特征对应的后方回声特征图。
可以采用基于深度学习、机器学习或者传统图像处理的方法从超声图像中提取后方回声特征对应的后方回声特征图。一种可选的实施方式中，可以将超声图像输入预先训练好的后方回声特征分类模型中，后方回声特征分类模型例如可以包括前端后方回声特征提取网络和后端后方回声特征分类网络，前端后方回声特征提取网络用于从超声图像中提取后方回声特征图，后端后方回声特征分类网络用于根据后方回声特征图输出后方回声特征的类型；根据前端后方回声特征提取网络的输出确定后方回声特征图。
其中，后方回声特征分类模型基于标注了后方回声特征的类型的样本超声图像训练得到。其训练过程可以参考图3所示的BI-RADS特征分类模型的训练过程，在训练阶段，将样本超声图像以及经初始后方回声特征分类模型输出的样本超声图像的特征图进行融合，将融合后的图像输入后方回声特征分类模型，以标注结果与后方回声特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的后方回声特征分类模型，后方回声特征的类型包括增强、无改变、衰减和混合回声。其中，预设条件可以是后方回声特征分类模型对于后方回声特征的分类准确率大于预设准确率阈值。为了准确地获取超声图像中的后方回声特征图，可以设置较高的准确率阈值。
需要说明的是，本实施例中基于预先训练好的后方回声特征分类模型从超声图像中提取后方回声特征图的方法可以用于图5所示实施例中，即图6中的后方回声特征提取器的具体实现方式可以为本实施例中训练好的后方回声特征分类模型。
S803、将后方回声特征图与超声图像进行融合，得到融合特征图。
具体的融合方式可以参考S203，此处不再赘述。
S804、基于融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域。
具体实施方式请参考S204，此处不再赘述。
本实施例提供的乳腺超声图像分割方法，基于预先训练好的后方回声特征分类模型准确地从超声图像中提取对于边界情况影响较为显著的后方回声特征图，并将后方回声特征图与超声图像进行融合，使得融合特征图中的乳腺病灶区域以及乳腺病灶边界更加突出，基于融合特征图进行乳腺病灶分割兼顾了分割效率和分割准确性，可以高效、准确地从超声图像中分割出乳腺病灶区域。
上面分别阐述了如何从超声图像中提取形状特征对应的形状特征图、边缘特征对应的边缘特征图或者后方回声特征对应的后方回声特征图，用于进行乳腺病灶分割。需要说明的是，可以采用相似的方法从超声图像中提取方向特征对应的方向特征图、内部回声特征对应的内部回声特征图、钙化特征对应的钙化特征图或者血流特征对应的血流特征图，用于进行乳腺病灶分析，此处不再一一赘述。
在上述任一实施例的基础上，本实施例提供的乳腺超声图像分割方法中，基于融合特征图进行乳腺病灶分割，在超声图像上确定乳腺病灶区域可以包括：将融合特征图输入预先训练好的乳腺病灶分割模型中，以便在超声图像上确定乳腺病灶区域。
其中，乳腺病灶分割模型基于标注了乳腺病灶区域的样本超声图像训练得到，具体训练过程可以参考图8。如图8所示，在训练阶段，从样本超声图像中提取至少一个BI-RADS特征对应的特征图，并将其与样本超声图像进行融合，得到样本融合特征图，将样本融合特征图输入乳腺病灶分割模型，以标注的乳腺病灶区域与乳腺病灶分割模型预测的乳腺病灶区域之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的乳腺病灶分割模型。
为了便于用户查看超声图像中的乳腺病灶区域，在上述任一实施例的基础上，本实施例提供的方法还可以包括：在显示界面上显示从超声图像中分割得到的乳腺病灶区域。例如可以在超声图像中显示乳腺病灶区域的边界；也可以对乳腺病灶区域进行高亮显示；还可以将分割得到的乳腺病灶区域在显示界面上进行单独显示。
本文参照了各种示范实施例进行说明。然而，本领域的技术人员将认识到，在不脱离本文范围的情况下，可以对示范性实施例做出改变和修正。例如，各种操作步骤以及用于执行操作步骤的组件，可以根据特定的应用或考虑与系统的操作相关联的任何数量的成本函数以不同的方式实现(例如一个或多个步骤可以被删除、修改或结合到其他步骤中)。
另外，如本领域技术人员所理解的，本文的原理可以反映在计算机可读存储介质上的计算机程序产品中，该可读存储介质预装有计算机可读程序代码。任何有形的、非暂时性的计算机可读存储介质皆可被使用，包括磁存储设备(硬盘、软盘等)、光学存储设备(CD-ROM、DVD、Blu Ray盘等)、闪存和/或诸如此类。这些计算机程序指令可被加载到通用计算机、专用计算机或其他可编程数据处理设备上以形成机器，使得这些在计算机上或其他可编程数据处理装置上执行的指令可以生成实现指定的功能的装置。这些计算机程序指令也可以存储在计算机可读存储器中，该计算机可读存储器可以指示计算机或其他可编程数据处理设备以特定的方式运行，这样存储在计算机可读存储器中的指令就可以形成一件制造品，包括实现指定功能的实现装置。计算机程序指令也可以加载到计算机或其他可编程数据处理设备上，从而在计算机或其他可编程设备上执行一系列操作步骤以产生一个计算机实现的进程，使得在计算机或其他可编程设备上执行的指令可以提供用于实现指定功能的步骤。
虽然在各种实施例中已经示出了本文的原理，但是许多特别适用于特定环境和操作要求的结构、布置、比例、元件、材料和部件的修改可以在不脱离本披露的原则和范围内使用。以上修改和其他改变或修正将被包含在本文的范围之内。
前述具体说明已参照各种实施例进行了描述。然而，本领域技术人员将认识到，可以在不脱离本披露的范围的情况下进行各种修正和改变。因此，对于本披露的考虑将是说明性的而非限制性的意义上的，并且所有这些修改都将被包含在其范围内。同样，有关于各种实施例的优点、其他优点和问题的解决方案已如上所述。然而，益处、优点、问题的解决方案以及任何能产生这些的要素，或使其变得更明确的解决方案都不应被解释为关键的、必需的或必要的。本文中所用的术语“包括”和其任何其他变体，皆属于非排他性包含，这样包括要素列表的过程、方法、文章或设备不仅包括这些要素，还包括未明确列出的或不属于该过程、方法、系统、文章或设备的其他要素。此外，本文中所使用的术语“耦合”和其任何其他变体都是指物理连接、电连接、磁连接、光连接、通信连接、功能连接和/或任何其他连接。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (18)

1.一种乳腺超声图像分割方法，其特征在于，包括：
获取被检者乳腺区域或者乳腺区域中乳腺病灶感兴趣区域的超声图像；
基于预先训练好的BI-RADS特征分类模型从所述超声图像中提取至少一个BI-RADS特征对应的特征图，其中所述BI-RADS特征分类模型是通过将样本超声图像以及经初始BI-RADS特征分类模型输出的所述样本超声图像的特征图进行融合，使用融合后的图像对所述初始BI-RADS特征分类模型进行迭代训练直至所述初始BI-RADS特征分类模型的分类准确率大于预设准确率阈值，而得到的训练好的BI-RADS特征分类模型；
将所述特征图与所述超声图像进行融合，得到融合特征图；
基于预先训练好的乳腺病灶分割模型对所述融合特征图进行乳腺病灶分割，在所述超声图像上确定乳腺病灶区域。
2.如权利要求1所述的方法，其特征在于，所述从所述超声图像中提取至少一个BI-RADS特征对应的特征图包括：从所述超声图像中分别提取多个BI-RADS特征对应的多个特征图；所述将所述特征图与所述超声图像进行融合包括：将多个所述特征图与所述超声图像进行融合。
3.如权利要求2所述的方法，其特征在于，所述从所述超声图像中分别提取多个BI-RADS特征对应的多个特征图包括：从所述超声图像中分别提取形状特征、边缘特征和后方回声特征对应的形状特征图、边缘特征图和后方回声特征图。
4.如权利要求1所述的方法，其特征在于，所述从所述超声图像中提取至少一个BI-RADS特征对应的特征图包括：从所述超声图像中提取多个BI-RADS特征对应的综合特征图；所述将所述特征图与所述超声图像进行融合包括：将所述综合特征图与所述超声图像进行融合。
5.如权利要求4所述的方法，其特征在于，所述从所述超声图像中提取多个BI-RADS特征对应的综合特征图包括：从所述超声图像中提取形状特征、边缘特征和后方回声特征对应的综合特征图。
6.如权利要求1所述的方法，其特征在于，所述从所述超声图像中提取至少一个BI-RADS特征对应的特征图包括：从所述超声图像中提取形状特征对应的形状特征图；所述将所述特征图与所述超声图像进行融合包括：将所述形状特征图与所述超声图像进行融合。
7.如权利要求3或6所述的方法，其特征在于，从所述超声图像中提取形状特征对应的形状特征图，包括：
基于预先训练好的形状特征分类模型从所述超声图像中提取形状特征对应的形状特征图，所述形状特征分类模型基于标注了形状特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始形状特征分类模型输出的所述样本超声图像的特征图进行融合，将融合后的图像输入所述形状特征分类模型，以标注结果与所述形状特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的形状特征分类模型，所述形状特征的类型包括圆形、椭圆形和不规则形。
8.如权利要求1所述的方法，其特征在于，所述从所述超声图像中提取至少一个BI-RADS特征对应的特征图包括：从所述超声图像中提取边缘特征对应的边缘特征图；所述将所述特征图与所述超声图像进行融合包括：将所述边缘特征图与所述超声图像进行融合。
9.如权利要求3或8所述的方法，其特征在于，从所述超声图像中提取边缘特征对应的边缘特征图，包括：
基于预先训练好的边缘特征分类模型从所述超声图像中提取边缘特征对应的边缘特征图，所述边缘特征分类模型基于标注了边缘特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始边缘特征分类模型输出的所述样本超声图像的特征图进行融合，将融合后的图像输入所述边缘特征分类模型，以标注结果与所述边缘特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的边缘特征分类模型，所述边缘特征的类型包括光整、模糊、成角、微分叶和毛刺。
10.如权利要求1所述的方法，其特征在于，所述从所述超声图像中提取至少一个BI-RADS特征对应的特征图包括：从所述超声图像中提取后方回声特征对应的后方回声特征图；所述将所述特征图与所述超声图像进行融合包括：将所述后方回声特征图与所述超声图像进行融合。
11.如权利要求3或10所述的方法，其特征在于，从所述超声图像中提取后方回声特征对应的后方回声特征图，包括：
基于预先训练好的后方回声特征分类模型从所述超声图像中提取后方回声特征对应的形状特征图，所述后方回声特征分类模型基于标注了后方回声特征的类型的样本超声图像训练得到，在训练阶段，将样本超声图像以及经初始后方回声特征分类模型输出的所述样本超声图像的特征图进行融合，将融合后的图像输入所述后方回声特征分类模型，以标注结果与所述后方回声特征分类模型的预测结果之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的后方回声特征分类模型，所述后方回声特征的类型包括增强、无改变、衰减和混合回声。
12.如权利要求1所述的方法，其特征在于，所述将所述特征图与所述超声图像进行融合包括：根据所述特征图与所述超声图像各自的融合权重将所述特征图与所述超声图像进行加权融合，所述特征图与所述超声图像各自的融合权重是通过逻辑回归预测模型对所述特征图与所述超声图像各自的贡献度概率进行权值拟合得到的。
13.如权利要求1所述的方法，其特征在于，所述基于预先训练好的乳腺病灶分割模型对所述融合特征图进行乳腺病灶分割，在所述超声图像上确定乳腺病灶区域包括：
将所述融合特征图输入预先训练好的乳腺病灶分割模型中，以便在所述超声图像上确定乳腺病灶区域；
其中，所述乳腺病灶分割模型基于标注了乳腺病灶区域的样本超声图像训练得到，在训练阶段，从所述样本超声图像中提取至少一个BI-RADS特征对应的特征图，并将其与所述样本超声图像进行融合，得到样本融合特征图，将所述样本融合特征图输入所述乳腺病灶分割模型，以标注的乳腺病灶区域与所述乳腺病灶分割模型预测的乳腺病灶区域之间的误差最小为目标进行迭代训练，直至满足预设条件时得到训练好的乳腺病灶分割模型。
14.如权利要求1所述的方法，其特征在于，所述BI-RADS特征包括：形状特征、方向特征、边缘特征、内部回声特征、后方回声特征、钙化特征和血流特征。
15.如权利要求1所述的方法，其特征在于，所述方法还包括：在显示界面上显示从所述超声图像中分割得到的乳腺病灶区域。
16.如权利要求1所述的方法，其特征在于，获取被检者乳腺区域的超声图像，包括：向所述被检者的乳腺区域发射超声波，并接收所述乳腺区域返回的超声回波，得到超声回波数据，根据所述超声回波数据实时生成所述被检者乳腺区域的超声图像；或者，从存储设备中获取预先存储的被检者乳腺区域的超声图像；
获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像包括：获取被检者乳腺区域的超声图像；在所述乳腺区域的超声图像中通过目标检测算法自动确定乳腺病灶感兴趣区域；根据得到的乳腺病灶感兴趣区域从所述乳腺区域的超声图像中获取被检者乳腺区域中乳腺病灶感兴趣区域的超声图像。
17.一种超声成像设备，其特征在于，包括：
超声探头；
发射电路，用于按照设定模式将相应的发射序列输出至所述超声探头，以控制所述超声探头发射相应的超声波；
接收电路，用于接收所述超声探头输出的超声回波信号，输出超声回波数据；
显示器，用于输出可视化信息；
处理器，用于执行如权利要求1-16任一项所述的乳腺超声图像分割方法。
18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-16任一项所述的乳腺超声图像分割方法。
CN202111426251.2A 2021-11-25 2021-11-25 乳腺超声图像分割方法及设备 Pending CN114202514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111426251.2A CN114202514A (zh) 2021-11-25 2021-11-25 乳腺超声图像分割方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111426251.2A CN114202514A (zh) 2021-11-25 2021-11-25 乳腺超声图像分割方法及设备

Publications (1)

Publication Number Publication Date
CN114202514A true CN114202514A (zh) 2022-03-18

Family

ID=80649222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111426251.2A Pending CN114202514A (zh) 2021-11-25 2021-11-25 乳腺超声图像分割方法及设备

Country Status (1)

Country Link
CN (1) CN114202514A (zh)

Similar Documents

Publication Publication Date Title
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
KR101906916B1 (ko) 지식-기반 초음파 이미지 개선
CN110473186B (zh) 一种基于医学图像的检测方法、模型训练的方法及装置
CN111000590B (zh) 超声心脏多普勒研究自动化
US9277902B2 (en) Method and system for lesion detection in ultrasound images
EP1690230B1 (en) Automatic multi-dimensional intravascular ultrasound image segmentation method
CN111583320B (zh) 融合深度卷积网络和影像组学特征的乳腺癌超声图分型方法、系统及存储介质
EP2016905B1 (en) Ultrasound diagnostic apparatus
Nurmaini et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation
US10405832B2 (en) Ultrasound diagnosis apparatus and method
KR20150111697A (ko) 초음파 장치 및 초음파 장치의 영상 인식 방법
CN111681210A (zh) 基于深度学习的剪切波弹性图鉴别乳腺结节良恶性的方法
Jarosik et al. Breast lesion classification based on ultrasonic radio-frequency signals using convolutional neural networks
US20200196987A1 (en) Method and system to manage beamforming parameters based on tissue density
Koundal et al. Advanced neutrosophic set-based ultrasound image analysis
Zou et al. A robust breast ultrasound segmentation method under noisy annotations
Gao et al. Segmentation of ultrasonic breast tumors based on homogeneous patch
KR20120102447A (ko) 진단장치 및 방법
CN114159099A (zh) 乳腺超声成像方法及设备
US12051195B2 (en) Method and system to assess medical images for suitability in clinical interpretation
Kumar et al. A Novel Approach for Breast Cancer Detection by Mammograms
CN113768544A (zh) 乳腺的超声成像方法及设备
US20240212132A1 (en) Predicting a likelihood that an individual has one or more lesions
Vasanthselvakumar et al. Detection and classification of kidney disorders using deep learning method
CN114202514A (zh) 乳腺超声图像分割方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination