CN114360695B - 乳腺超声扫查分析辅助系统、介质及设备 - Google Patents

乳腺超声扫查分析辅助系统、介质及设备 Download PDF

Info

Publication number
CN114360695B
CN114360695B CN202111600808.XA CN202111600808A CN114360695B CN 114360695 B CN114360695 B CN 114360695B CN 202111600808 A CN202111600808 A CN 202111600808A CN 114360695 B CN114360695 B CN 114360695B
Authority
CN
China
Prior art keywords
breast
nodule
frames
ultrasonic
nodules
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111600808.XA
Other languages
English (en)
Other versions
CN114360695A (zh
Inventor
何川
谷晓林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Xingmai Information Technology Co ltd
Original Assignee
Shanghai Xingmai Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Xingmai Information Technology Co ltd filed Critical Shanghai Xingmai Information Technology Co ltd
Priority to CN202111600808.XA priority Critical patent/CN114360695B/zh
Publication of CN114360695A publication Critical patent/CN114360695A/zh
Application granted granted Critical
Publication of CN114360695B publication Critical patent/CN114360695B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30068—Mammography; Breast

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明提供一种乳腺超声扫查分析辅助系统、介质及设备。所述系统包括：图像获取模块，用于获取超声图像；结节检出模块，用于对至少两帧所述超声图像进行处理以获取其中的乳腺结节；结节重建模块，用于对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；结节聚合模块，用于对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。所述系统能够辅助医务人员完成乳腺疾病的筛查和诊断。

Description

乳腺超声扫查分析辅助系统、介质及设备
技术领域
本发明属于医学图像处理领域，涉及乳腺超声扫查分析辅助系统、介质及设备。
背景技术
超声是乳腺疾病检查的重要影像学工具，具有经济、安全、便捷等显著优势，目前已广泛应用于乳腺疾病的筛查、诊断、随访等环节。然而，发明人在实际应用中发现，基于超声扫查的乳腺疾病筛查和诊断对医务人员的经验和水平要求较高，这就限制了超声扫查在实际中的应用。
发明内容
本发明的目的之一在于提供一种乳腺超声扫查分析辅助系统、介质及设备，用于解决现有技术中存在的上述问题。
为实现上述目的及其他相关目的，本发明的第一方面提供一种乳腺超声扫查分析辅助系统，所述系统包括：图像获取模块，用于获取超声图像；结节检出模块，用于对至少两帧所述超声图像进行处理以获取其中的乳腺结节；结节重建模块，用于对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；结节聚合模块，用于对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。
于所述第一方面的一实施例中，所述系统还包括：扫查部位识别模块，用于对所述超声图像进行处理以获取超声扫查设备的扫查部位；扫查操作提示模块，用于在所述超声扫查设备的扫查部位为乳腺时提示乳腺扫查规范。
于所述第一方面的一实施例中，所述结节重建模块包括：目标图像获取单元，用于从至少两帧所述超声图像中获取包含同一乳腺结节的超声图像作为目标图像；乳腺结节重建单元，用于根据所述目标图像进行乳腺结节的三维重建以获取所述三维重建后的乳腺结节。
于所述第一方面的一实施例中，对于任意两帧超声图像，若该两帧超声图像的扫查时间间隔小于时间阈值，且该两帧超声图像包含的乳腺结节之间的距离满足距离条件，则所述目标图像获取单元判定该两帧超声图像包含同一乳腺结节，否则，判定该两帧超声图像包含不同的乳腺结节。
于所述第一方面的一实施例中，所述目标图像获取单元包括：种子图像获取单元，用于从至少两帧所述超声图像中获取一包含乳腺结节的超声图像作为种子图像；种子图像扩展单元，用于分别沿第一方向和/或所述第二方向对所述种子图像进行扩展，以获取与所述种子图像包含相同乳腺结节的超声图像作为所述目标图像。
于所述第一方面的一实施例中，所述结节聚合模块包括：特征向量获取单元，用于获取所述三维重建后的乳腺结节对应的图像特征向量；乳腺结节匹配单元，用于根据所述三维重建后的乳腺结节对应的图像特征向量进行乳腺结节匹配，以获取匹配的乳腺结节；乳腺结节聚合单元，用于将所述匹配的乳腺结节进行聚合以获取所述乳腺结节的完整三维模型。
于所述第一方面的一实施例中，所述系统还包括超声报告生成模块，所述超声报告生成模块用于根据所述乳腺结节的完整三维模型生成乳腺超声报告。
于所述第一方面的一实施例中，所述超声报告生成模块包括：乳腺结节尺寸获取单元，用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的尺寸；乳腺结节特征获取单元，用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的结节性质和特征；乳腺超声报告生成单元，用于根据所述乳腺结节的尺寸、所述乳腺结节的结节性质和特征生成所述乳腺超声报告。
本发明的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一乳腺超声扫查分析辅助方法，所述方法包括：获取超声图像；对至少两帧所述超声图像进行处理以获取其中的乳腺结节；对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。
本发明的第三方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行一乳腺超声扫查分析辅助方法，所述方法包括：获取超声图像；对至少两帧所述超声图像进行处理以获取其中的乳腺结节；对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。
如上所述，本发明一个或多个实施例中所述乳腺超声扫查分析辅助系统具有以下有益效果：
所述乳腺超声扫查分析辅助系统能够根据超声图像自动获取乳腺结节的完整三维模型，基于所述乳腺结节的完整三维模型能够辅助医务人员完成乳腺疾病的筛查和诊断，从而降低乳腺疾病筛查和诊断对医务人员的经验和水平要求，有利于扩大超声扫查在实际中的应用。
附图说明
图1显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中的结构示意图。
图2显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中对结节检出模型进行训练的流程图。
图3A显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中结节重建模块的结构示意图。
图3B显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中目标图像获取单元的结构示意图。
图4显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中结节聚合模块的结构示意图。
图5A显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中的结构示意图。
图5B显示为本发明所述乳腺超声扫查分析辅助系统于一具体实施例中超声报告生成模块的结构示意图。
图6显示为本发明所述乳腺超声扫查分析辅助方法于一具体实施例中的流程图。
图7显示为本发明所述电子设备于一具体实施例中的结构示意图。
元件标号说明
1 乳腺超声扫查分析辅助系统
11 图像获取模块
12 结节检出模块
13 结节重建模块
131 目标图像获取单元
1311 种子图像获取子单元
1312 种子图像扩展子单元
132 乳腺结节重建单元
14 结节聚合模块
141 特征向量获取单元
142 乳腺结节匹配单元
143 乳腺结节聚合单元
15 扫查部位识别模块
16 扫查操作提示模块
17 超声报告生成模块
171 乳腺结节尺寸获取单元
172 乳腺结节特征获取单元
173 乳腺超声报告生成单元
700 电子设备
710 存储器
720 处理器
730 显示器
S21～S23 步骤
S61～S64 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。此外，在本文中，诸如“第一”、“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
基于超声扫查的乳腺疾病筛查和诊断对医务人员的经验和水平要求较高，这就限制了超声扫查在实际中的应用。针对这一问题，本发明的一实施例中提供一种乳腺超声扫查分析辅助系统。请参阅图1，本实施例中所述乳腺超声扫查分析辅助系统1包括图像获取模块11、结节检出模块12、结节重建模块13和结节聚合模块14。
所述图像获取模块11用于获取超声图像。例如，所述图像获取模块11可以与超声扫查设备相连，用于实时获取所述超声扫查设备采集到的超声图像。此外，所述图像获取模块11也可以包含超声扫查设备，用于对患者进行超声扫查来实时获取超声图像。
所述结节检出模块12与所述图像获取模块11相连，用于对至少两帧所述超声图像进行处理以获取其中的乳腺结节。可选地，所述结节检出模块12还用于获取乳腺结节的空间方位信息和扫查时间信息。
所述结节重建模块13与所述结节检出模块12相连，用于对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节。
所述结节聚合模块14与所述结节重建模块13相连，用于对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。具体地，在所述结节检出模块12和/或所述结节重建模块13中，同一个乳腺结节可能被割裂成两个或者多个部分，此时所述三维重建后的乳腺结节中会包含各部分的三维模型，所述结节聚合模块14用于将属于同一个乳腺结节的各部分的三维模型进行聚合来得到所述乳腺结节的完整三维模型。
根据以上描述可知，本实施例中所述乳腺超声扫查分析辅助系统1能够根据超声图像自动获取乳腺结节的完整三维模型，基于所述乳腺结节的完整三维模型能够辅助医务人员完成乳腺疾病的筛查和诊断，从而降低了基于超声扫查的乳腺疾病筛查和诊断对医务人员的经验和水平要求，有利于扩大超声扫查在实际中的应用。
于本发明的一实施例中，所述结节检出模块12利用一基于神经网络的结节检出模型对所述超声图像进行处理以获取其中的乳腺结节。请参阅图2，本实施例中所述检出模型的训练方法包括：
S21，构建由神经网络组成的结节检出模型。
S22，获取训练数据，所述训练数据包括超声图像及各超声图像中的乳腺结节标注结果，其中，对超声图像中乳腺结节的标注可以采用人工标注等方式实现。
S23，利用所述训练数据对所述结节检出模型进行训练。
训练完成后，所述结节检出模型即具备乳腺结节的检出能力。通过将任一超声图像输入所述结节检出模型即可获取其中的乳腺结节。
请参阅图3A，于本发明的一实施例中，所述结节重建模块13包括目标图像获取单元131和乳腺结节重建单元132。
所述目标图像获取单元131与所述图像获取模块11相连，用于从至少两帧所述超声图像中获取包含同一乳腺结节的超声图像作为目标图像。其中，所述目标图像与乳腺结节相对应，每组目标图像中可以包含一帧或多帧超声图像，且每组目标图像中所包含的超声图像均包含同一乳腺结节。
所述乳腺结节重建单元132与所述目标图像获取单元131相连，用于根据所述目标图像进行乳腺结节的三维重建以获取所述三维重建后的乳腺结节。具体应用中，可以对每一组所述目标图像均进行三维重建来获取多个乳腺结节的三维重建结果，也可以仅针对一组或多组感兴趣的目标图像进行三维重建来获取一个或多个目标乳腺结节的三维重建结果。
可选地，所述乳腺结节重建单元132可以将包含同一乳腺结节的目标图像按照扫查时间进行排序，并根据排序后的目标图像进行三维重建来得到三维重建后的乳腺结节。
可选地，所述乳腺结节重建单元132可以根据所述结节检出模块12获取到的乳腺结节的图像以及空间方位信息和时间信息来对乳腺结节进行三维重建。
可选地，所述目标图像获取单元131可以通过以下方式来判断两帧超声图像是否包含同一乳腺结节：若该两帧超声图像的扫查时间间隔小于时间阈值，且该两帧超声图像包含的乳腺结节之间的距离满足距离条件，则判定该两帧超声图像包含同一乳腺结节，二者属于同一组目标图像，否则，判定该两帧超声图像不包含同一乳腺结节，二者属于不同的目标图像。其中，超声图像的扫查时间例如可以根据超声图像内的时间戳得到。所述距离条件例如为该两帧超声图像包含的乳腺结节之间的距离大于或小于距离阈值。所述时间阈值和所述距离阈值可以为预设值，也可以根据实际需求或者经验设置。
可选地，对于任意两帧超声图像，二者所包含的乳腺结节之间的距离可以包括第一距离和/或第二距离。所述第一距离的计算方式为： 表示该两帧超声图像中第一帧所包含的乳腺结节的特征向量，表示该两帧超声图像中第二帧所包含的乳腺结节的特征向量，其中，n为正整数。所述第二距离的计算方式为：/>所述距离条件例如为该两帧超声图像所包含的乳腺结节之间的第一距离小于第一距离阈值，和/或该两帧超声图像所包含的乳腺结节之间的第二距离大于第二距离阈值。所述第一距离阈值和所述第二距离阈值可以为预设值，也可以根据实际需求或者经验设置。
可选地，对于任一帧超声图像，获取该超声图像中所包含的乳腺结节的特征向量的方法例如为：对该帧超声图像进行分割以获取其中所包含的乳腺结节；获取该乳腺结节的多尺度特征并根据该多尺度特征获取该乳腺结节的特征向量。其中，该乳腺结节不同尺度的特征可用于表示该乳腺结节的图像纹理等抽象特征和/或结节边缘等具象特征，因而根据该乳腺结节的多尺度特征获取到的特征向量能够表示该乳腺结节的图像纹理等抽象特征和/或病灶边缘等具象特征。
本实施例中获取该乳腺结节的多尺度特征并根据该多尺度特征获取该乳腺结节的特征向量的一种方式例如为：利用神经网络提取该乳腺结节的多尺度特征，并对每一尺度对应的特征层进行池化处理以获取每一尺度对应的特征向量，将每一尺度对应的特征向量进行融合即可获取该乳腺结节的特征向量。例如，可以选取该神经网络中最后一个多尺度特征层(例如为M个尺度)并对该最后一个多尺度特征层中的每一个尺度对应的特征层做最大池化操作，从而获得N维特征向量，其中M为大于1的正整数，N为正整数且其数值取决于该神经网络卷积核的数量，将M个尺度的N维特征向量进行融合即可得到一M×N维的特征向量，该特征向量即为该乳腺结节的特征向量。
可选地，请参阅图3B，所述目标图像获取单元131包括种子图像获取子单元1311和种子图像扩展子单元1312。
所述种子图像获取子单元1311用于从至少两帧所述超声图像中获取一包含乳腺结节的超声图像作为种子图像。例如，所述种子图像获取子单元1311可以从两帧所述超声图像中任意选取一包含目标乳腺结节的超声图像作为所述种子图像。
所述种子图像扩展子单元1312与所述种子图像获取子单元1311相连，用于分别沿第一方向和/或第二方向对所述种子图像进行扩展以获取与所述种子图像包含相同乳腺结节的超声图像作为所述目标图像。所述第一方向例如为扫查时间依次递减的方向，此时，沿所述第一方向依次为所述种子图像、所述种子图像的前一帧图像、所述种子的前两帧图像，以此类推。所述第二方向例如为所述扫查时间依次递增的方向，此时，沿所述第二方向依次为所述种子图像、所述种子图像的后一帧图像、所述种子的后两帧图像，以此类推。
可选地，所述图像扩展子单元1312沿第一方向对所述种子图像进行扩展的实现方法例如为：
S31，沿第一方向获取所述种子图像的相邻图像。
S32，若所述种子图像的相邻图像与所述种子图像满足循环条件，则将所述种子图像的相邻图像作为新的种子图像。循环执行步骤S31和步骤S32，直到所述种子图像的相邻图像与所述种子图像不满足所述循环条件，此后，获取所有的种子图像作为所述目标图像。所述循环条件例如为：所述种子图像的相邻图像与所述种子图像的扫查时间间隔小于时间阈值，且所述种子图像的相邻图像与所述种子图像中包含的乳腺结节的距离满足距离条件。
以上提供了沿第一方向对所述种子图像进行扩展的方法，应当理解的是，沿第二方向对所述种子图像进行扩展的方法与上述方法类似，此处不做过多赘述。
请参阅图4，于本发明的一实施例中，所述结节聚合模块14包括特征向量获取单元141、乳腺结节匹配单元142和乳腺结节聚合单元143。
所述特征向量获取单元141用于获取所述三维重建后的乳腺结节对应的图像特征向量。例如，可以获取所述三维重建后的乳腺结节的多尺度特征并根据该多尺度特征获取其对应的图像特征向量。
所述乳腺结节匹配单元142与所述特征向量获取单元141相连，用于根据所述三维重建后的乳腺结节对应的图像特征向量进行乳腺结节匹配，以获取匹配的乳腺结节。其中，匹配的乳腺结节可以认为是同一个乳腺结节的彼此割裂的不同组成部分。例如，对于任一三维重建后的乳腺结节A，可以获取该三维重建后的目标乳腺结节A与其余三维重建后的乳腺结节之间的第一距离和/或第二距离。若该三维重建后的目标乳腺结节A与另一三维重建后的乳腺结节B之间的第一距离小于第三距离阈值和/或第二距离大于第四距离阈值，则认为该三维重建后的目标乳腺结节A与该三维重建后的乳腺结节B为匹配的乳腺结节。所述第三距离阈值和/或所述第四距离阈值可以为预设值，也可以根据实际需求或者经验设置。
所述乳腺结节聚合单元143与所述乳腺结节匹配单元142相连，用于将所述匹配的乳腺结节进行聚合以获取所述乳腺结节的完整三维模型。具体地，通过将所述匹配的乳腺结节进行聚合能够将属于同一个乳腺结节的彼此割裂的不同组成部分进行合并，从而得到乳腺结节的完整三维模型。
请参阅图5A，于本发明的一实施例中，所述乳腺超声扫查分析辅助系统1还包括扫查部位识别模块15和扫查操作提示模块16。
所述扫查部位识别模块15与所述图像获取模块11相连，用于对所述图像获取模块11获取到的超声图像进行处理以获取超声扫查设备的扫查部位。
可选地，所述扫查部位识别模块15利用一基于神经网络的扫查部位识别模型来获取所述超声扫查设备的扫查部位。所述扫查部位识别模型可以利用标注有扫查部位的超声图像进行训练，训练完成之后所述扫查部位识别模型即可对所述超声图像进行处理来获取其中的扫查部位。
所述扫查操作提示模块16与所述扫查部位识别模块15相连，用于在所述超声扫查设备的扫查部位为乳腺时提示乳腺扫查规范。
可选地，所述扫查从操作提示模块16可以采用视频、声音等方式提示所述乳腺扫查规范。
请继续参阅图5A，于本发明的一实施例中，所述乳腺超声扫查分析辅助系统1还包括超声报告生成模块17，所述超声报告生成模块17用于根据所述乳腺结节的完整三维模型生成乳腺超声报告。
可选地，请参阅图5B，所述超声报告生成模块17可以包括乳腺结节尺寸获取单元171、乳腺结节特征获取单元172和乳腺超声报告生成单元173。
所述乳腺结节获取单元171用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的尺寸。所述乳腺结节的尺寸例如为所述乳腺结节的面积和/或长短径，所述乳腺结节获取单元171可以利用基于神经网络的结节分割模型来获取所述乳腺结节的尺寸。
所述乳腺结节特征获取单元172用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的结节性质和特征。所述乳腺结节特征获取单元172例如可以采用基于神经网络的结节分类模型来进行乳腺结节性质的分类和特征分级。
所述乳腺超声报告生成单元173用于根据所述乳腺结节的尺寸、所述乳腺结节的结节性质和特征生成所述乳腺超声报告。例如，所述乳腺超声报告生成单元173可以将所述结节的尺寸、所述结节的结节性质和特征自动写入乳腺超声报告模板中，从而自动生成所述乳腺超声报告。
可选地，所述乳腺超声报告生成单元173还可用于打印所述乳腺超声报告。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现一乳腺超声扫查分析辅助方法。
可选地，请参阅图6，所述乳腺超声扫查分析辅助方法包括：
S61，获取超声图像。
S62，对至少两帧所述超声图像进行处理以获取其中的乳腺结节。
S63，对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节。
S64，对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型。
需要说明的是，上述步骤S61～S64与图1所示乳腺超声扫查分析系统1中的相应模块一一对应，此处不做过多赘述。
本发明还提供一种电子设备。请参阅图7，于本发明的一实施例中，电子设备700包括存储器710和处理器720。所述存储器710存储有一计算机程序，所述处理器720与所述存储器710通信相连，调用所述计算机程序时执行图6所示的乳腺超声扫查分析辅助方法。
可选地，所述电子设备700还包括显示器730，所述显示器730与所述存储器710和所述处理器720通信相连，用于显示所述乳腺超声扫查分析辅助方法的相关GUI交互界面。
综上所述，本发明一个或多个实施例中所述乳腺超声扫查分析辅助系统能够根据超声图像自动获取乳腺结节的完整三维模型，基于所述乳腺结节的完整三维模型能够辅助医务人员完成乳腺疾病的筛查和诊断，从而降低了基于超声扫查的乳腺疾病筛查和诊断对医务人员的经验和水平要求，有利于扩大超声扫查在实际中的应用。
此外，本发明一个或多个实施例中所述乳腺超声扫查分析辅助系统还能够提示乳腺扫查规范，医务人员只需要按照乳腺扫查规范进行乳腺扫查即可获得乳腺的超声图像，从而避免漏诊、误诊等情况的发生。再者，所述乳腺超声扫查分析辅助系统还可以自动生成乳腺超声报告，使得医务人员只需关注超声扫查设备的操作即可，有利于进一步提升超声扫查过程的规范性。
因此，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种乳腺超声扫查分析辅助系统，其特征在于，所述系统包括：
图像获取模块，用于获取超声图像；
结节检出模块，用于对至少两帧所述超声图像进行处理以获取其中的乳腺结节；
结节重建模块，用于对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；
结节聚合模块，用于对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型；
所述结节重建模块包括目标图像获取单元和乳腺结节重建单元，所述目标图像获取单元用于从至少两帧所述超声图像中获取包含同一乳腺结节的超声图像作为目标图像，所述乳腺结节重建单元用于根据所述目标图像进行乳腺结节的三维重建以获取所述三维重建后的乳腺结节；
其中，对于任意两帧超声图像，若该两帧超声图像的扫查时间间隔小于时间阈值，且该两帧超声图像包含的乳腺结节之间的距离满足距离条件，则所述目标图像获取单元判定该两帧超声图像包含同一乳腺结节，否则，判定该两帧超声图像包含不同的乳腺结节；
该两帧超声图像包含的乳腺结节之间的距离满足距离条件为：该两帧超声图像所包含的乳腺结节之间的第一距离小于第一距离阈值，且该两帧超声图像所包含的乳腺结节之间的第二距离大于第二距离阈值；
所述第一距离的计算方式为所述第二距离的计算方式为其中/>表示该两帧超声图像中第一帧所包含的乳腺结节的特征向量，/>表示该两帧超声图像中第二帧所包含的乳腺结节的特征向量，其中n为正整数。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
扫查部位识别模块，用于对所述超声图像进行处理以获取超声扫查设备的扫查部位；
扫查操作提示模块，用于在所述超声扫查设备的扫查部位为乳腺时提示乳腺扫查规范。
3.根据权利要求1所述的系统，其特征在于，所述目标图像获取单元包括：
种子图像获取单元，用于从至少两帧所述超声图像中获取一包含乳腺结节的超声图像作为种子图像；
种子图像扩展单元，用于分别沿第一方向和/或第二方向对所述种子图像进行扩展，以获取与所述种子图像包含相同乳腺结节的超声图像作为所述目标图像。
4.根据权利要求1所述的系统，其特征在于，所述结节聚合模块包括：
特征向量获取单元，用于获取所述三维重建后的乳腺结节对应的图像特征向量；
乳腺结节匹配单元，用于根据所述三维重建后的乳腺结节对应的图像特征向量进行乳腺结节匹配，以获取匹配的乳腺结节；
乳腺结节聚合单元，用于将所述匹配的乳腺结节进行聚合以获取所述乳腺结节的完整三维模型。
5.根据权利要求1所述的系统，其特征在于：所述系统还包括超声报告生成模块，所述超声报告生成模块用于根据所述乳腺结节的完整三维模型生成乳腺超声报告。
6.根据权利要求5所述的系统，其特征在于，所述超声报告生成模块包括：
乳腺结节尺寸获取单元，用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的尺寸；
乳腺结节特征获取单元，用于根据所述乳腺结节的完整三维模型获取所述乳腺结节的结节性质和特征；
乳腺超声报告生成单元，用于根据所述乳腺结节的尺寸、所述乳腺结节的结节性质和特征生成所述乳腺超声报告。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现一乳腺超声扫查分析辅助方法，所述方法包括：
获取超声图像；
对至少两帧所述超声图像进行处理以获取其中的乳腺结节；
对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；
对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型；
对至少两帧所述超声图像进行处理以获取其中的乳腺结节包括：从至少两帧所述超声图像中获取包含同一乳腺结节的超声图像作为目标图像，根据所述目标图像进行乳腺结节的三维重建以获取所述三维重建后的乳腺结节；
其中，对于任意两帧超声图像，若该两帧超声图像的扫查时间间隔小于时间阈值，且该两帧超声图像包含的乳腺结节之间的距离满足距离条件，则判定该两帧超声图像包含同一乳腺结节，否则，判定该两帧超声图像包含不同的乳腺结节；
该两帧超声图像包含的乳腺结节之间的距离满足距离条件为：该两帧超声图像所包含的乳腺结节之间的第一距离小于第一距离阈值，且该两帧超声图像所包含的乳腺结节之间的第二距离大于第二距离阈值；所述第一距离的计算方式为所述第二距离的计算方式为/>其中/>表示该两帧超声图像中第一帧所包含的乳腺结节的特征向量，/>表示该两帧超声图像中第二帧所包含的乳腺结节的特征向量，其中n为正整数。
8.一种电子设备，其特征在于，所述电子设备包括：
存储器，存储有一计算机程序；
处理器，与所述存储器通信相连，调用所述计算机程序时执行一乳腺超声扫查分析辅助方法，所述方法包括：
获取超声图像；
对至少两帧所述超声图像进行处理以获取其中的乳腺结节；
对至少两帧所述超声图像中的乳腺结节进行三维重建以获取三维重建后的乳腺结节；
对所述重建后的三维乳腺结节进行聚合以获取乳腺结节的完整三维模型；
对至少两帧所述超声图像进行处理以获取其中的乳腺结节包括：从至少两帧所述超声图像中获取包含同一乳腺结节的超声图像作为目标图像，根据所述目标图像进行乳腺结节的三维重建以获取所述三维重建后的乳腺结节；
其中，对于任意两帧超声图像，若该两帧超声图像的扫查时间间隔小于时间阈值，且该两帧超声图像包含的乳腺结节之间的距离满足距离条件，则判定该两帧超声图像包含同一乳腺结节，否则，判定该两帧超声图像包含不同的乳腺结节；
该两帧超声图像包含的乳腺结节之间的距离满足距离条件为：该两帧超声图像所包含的乳腺结节之间的第一距离小于第一距离阈值，且该两帧超声图像所包含的乳腺结节之间的第二距离大于第二距离阈值；所述第一距离的计算方式为所述第二距离的计算方式为/>其中/>表示该两帧超声图像中第一帧所包含的乳腺结节的特征向量，/>表示该两帧超声图像中第二帧所包含的乳腺结节的特征向量，其中n为正整数。
CN202111600808.XA 2021-12-24 2021-12-24 乳腺超声扫查分析辅助系统、介质及设备 Active CN114360695B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111600808.XA CN114360695B (zh) 2021-12-24 2021-12-24 乳腺超声扫查分析辅助系统、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111600808.XA CN114360695B (zh) 2021-12-24 2021-12-24 乳腺超声扫查分析辅助系统、介质及设备

Publications (2)

Publication Number Publication Date
CN114360695A CN114360695A (zh) 2022-04-15
CN114360695B true CN114360695B (zh) 2023-07-28

Family

ID=81100792

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111600808.XA Active CN114360695B (zh) 2021-12-24 2021-12-24 乳腺超声扫查分析辅助系统、介质及设备

Country Status (1)

Country Link
CN (1) CN114360695B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116416381B (zh) * 2023-03-31 2023-09-29 脉得智能科技(无锡)有限公司 基于乳腺超声图像的乳腺结节三维重建方法、设备及介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000325347A (ja) * 1999-05-24 2000-11-28 Toshiba Corp 超音波診断装置および３次元画像データの再構築方法
CN110338840B (zh) * 2015-02-16 2022-06-21 深圳迈瑞生物医疗电子股份有限公司 三维成像数据的显示处理方法和三维超声成像方法及系统
WO2019225084A1 (ja) * 2018-05-23 2019-11-28 Eizo株式会社 情報処理装置、情報処理方法、コンピュータプログラム
CN113229851A (zh) * 2019-10-24 2021-08-10 深圳迈瑞生物医疗电子股份有限公司 一种超声图像的处理装置
CN111493932B (zh) * 2019-12-23 2021-08-06 深圳迈瑞生物医疗电子股份有限公司 一种超声成像的方法和系统
CN112086197B (zh) * 2020-09-04 2022-05-10 厦门大学附属翔安医院 基于超声医学的乳腺结节检测方法及系统
CN113239951B (zh) * 2021-03-26 2024-01-30 无锡祥生医疗科技股份有限公司 超声乳腺病灶的分类方法、装置及存储介质

Also Published As

Publication number Publication date
CN114360695A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
Frid-Adar et al. GAN-based synthetic medical image augmentation for increased CNN performance in liver lesion classification
WO2021036616A1 (zh) 一种医疗图像处理方法、医疗图像识别方法及装置
CN110232383B (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
CN106682435B (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN107895367B (zh) 一种骨龄识别方法、系统及电子设备
Reddy et al. A novel computer-aided diagnosis framework using deep learning for classification of fatty liver disease in ultrasound imaging
JP7246898B2 (ja) データ解析処理装置及びデータ解析処理プログラム
Wang et al. Multi-level nested pyramid network for mass segmentation in mammograms
US10706534B2 (en) Method and apparatus for classifying a data point in imaging data
Patel Predicting invasive ductal carcinoma using a reinforcement sample learning strategy using deep learning
Singhal et al. Interpretation and localization of Thorax diseases using DCNN in Chest X-Ray
Khan et al. PMED-net: Pyramid based multi-scale encoder-decoder network for medical image segmentation
CN111242921A (zh) 一种医学超声图像辅助诊断系统自动更新的方法及系统
Cai et al. Identifying architectural distortion in mammogram images via a se-densenet model and twice transfer learning
CN114360695B (zh) 乳腺超声扫查分析辅助系统、介质及设备
Nurmaini et al. An improved semantic segmentation with region proposal network for cardiac defect interpretation
Rasheed et al. Use of transfer learning and wavelet transform for breast cancer detection
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
WO2024126468A1 (en) Echocardiogram classification with machine learning
Yu et al. Convolutional neural network design for breast cancer medical image classification
CN111461158B (zh) 用于识别超声图像中特征的方法、装置、存储介质和系统
Wang et al. Semantic label prediction of mammography based on cc and mlo views
Tawfeeq et al. Predication of Most Significant Features in Medical Image by Utilized CNN and Heatmap.
Subramanian et al. Design and Evaluation of a Deep Learning Aided Approach for Kidney Stone Detection in CT scan Images
Hossain et al. A Novel Attention Mechanism Using Anatomical Prior Probability Maps for Thoracic Disease Classification from X-Ray Images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant