CN112334076A - 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法 - Google Patents

利用超声成像进行活检预测和引导以及相关联的设备、系统和方法 Download PDF

Info

Publication number
CN112334076A
CN112334076A CN201980044030.3A CN201980044030A CN112334076A CN 112334076 A CN112334076 A CN 112334076A CN 201980044030 A CN201980044030 A CN 201980044030A CN 112334076 A CN112334076 A CN 112334076A
Authority
CN
China
Prior art keywords
biopsy
locations
malignancy
subject
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980044030.3A
Other languages
English (en)
Inventor
S·巴拉特
G·A·托波雷克
C·埃里克
M·A·巴利茨基
M·阮
C·阿马多尔卡拉斯卡尔
R·斯里尼瓦萨奈杜
王海波
谢华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112334076A publication Critical patent/CN112334076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Physiology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了超声图像设备、系统和方法。一种超声成像系统包括：通信接口，其与超声成像设备通信并被配置为接收对象的解剖结构的超声图像；以及处理器，其与所述通信接口通信并被配置为：将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与所述处理器通信的显示器，以引导针对所述对象的解剖结构的活检确定。

Description

利用超声成像进行活检预测和引导以及相关联的设备、系统 和方法
技术领域
本公开内容总体上涉及超声成像，并且特别涉及提供用于引导活检的自动化系统和方法。
背景技术
超声在筛查和诊断不同解剖结构中的许多状况中具有重要作用。从活检针引导的观点以及从目标识别的观点来看，超声也经常用于引导活检流程。在甲状腺中，例如，使用亮度模式(B模式)超声特征(例如，大小、回音强度、形状、钙化、边距以及是否存在囊性成分)将结节分类为良性或恶性。除了B模式超声特征以外，还可以使用弹性特征。
疑似恶性的甲状腺通常包括多个活检候选位置(例如，多个结节或大结节内的多个位置)。通常由临床医生使用临床医生的专业知识来确定给定结节中的癌症疑似水平和/或使用基于结节大小的算法来建议是否指示该患者进行活检，从而识别是否需要进行活检并且识别活检位置。例如，对于高度疑似的结节，指示对小至约1厘米(cm)的结节进行活检，而对于疑似度很低的结节，则指示应对直径大于2cm的结节进行活检。一旦识别出活检位置，就能够在超声引导下向目标推进针。
能够使用两种技术中的一种技术来获取活检样本——毛细管技术或抽吸技术。毛细管技术和抽吸技术具有相似的工作流程，但在样本收集方式上有所不同。通常，使用具有斜角形尖端的空心针和10立方厘米(cc)的鲁尔锁(Luer Lock)注射器。针的长度能够在约1.25英寸至约1.5英寸之间。针的粗度能够在约23G(表压)至约27G之间。较粗的针(例如，约20G或22G)能够导致患者创伤和/或血液污染。因此，推荐使用至少约24G至约25G的针。在一些情况下，对于更深的插入和/或对于脖子较粗的患者，能够将比针短的实心管心针插入针(例如，中空针)中以提供支持。
由于疑似恶性的甲状腺能够包括多个活检候选位置，因此需要临床医生选择优选位置。另外，临床上表明在一次活检中允许不超过n遍或n次尝试(其中，n通常可以约为5)，以最大程度地减少患者的创伤。活检位置的选择还可以基于结节和/或针路径与围绕甲状腺的许多关键结构之一(例如，颈静脉、颈动脉、气管和食道)的接近度。正因如此，活检通常无法进行诊断或者可能难以根据活检样本来做出明确诊断。另一个问题是假阴性活检结果，其中，甲状腺恶性可能获得良性结果。一些用户缺乏超声经验也会导致长时间的介入和/或难以进行的介入，从而给临床医生带来患者创伤和挫败感。
发明内容
虽然已经证明现有的超声成像对临床引导和诊断很有用，但是临床上仍然需要用于提供自动化活检引导工具的改进的系统和技术。本公开内容的实施例提供了深度学习框架以辅助和引导用户确定和进行活检。所公开的实施例可以识别实况超声图像中的一个或多个疑似癌症的位置以及由于预期的非诊断性/良性结果而被排除的一个或多个位置。所公开的实施例可以显示叠加在实况超声图像上的具有针对每个像素的恶性预测概率的癌症疑似图以及用于该预测的对应的置信度图。深度学习预测网络还能够识别实况超声图像中的危及器官(OAR)或关键结构。所公开的实施例可以确定实况超声图像中的一个或多个最优活检路径，其能够使产量最大化并且避开关键结构。所公开的实施例能够经由情境用户接口来显示最优活检路径，例如提供相对于使用中的超声成像探头的位置和/或相对于目标活检位置的针路径的显示。所公开的实施例可以提供用户接口以引导用户将超声成像探头从次优位置操纵到能够提供用于引导活检样本的最优图像的位置。当用户试图将针插入可能危及OAR的轨迹或可能不会到达目标的轨迹时，所公开的实施例可以向用户提供警告。
在一个实施例中，一种超声成像系统包括：通信接口，其与超声成像设备通信并被配置为接收对象的解剖结构的超声图像；以及处理器，其与所述通信接口通信并被配置为：将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与所述处理器通信的显示器，以引导针对所述对象的解剖结构的活检确定。
在一些实施例中，其中，所述超声图像包括以下各项中的至少一项：亮度模式(B模式)信息、应变信息、弹性信息或组织多普勒信息。在一些实施例中，其中，所述处理器还被配置为将所述预测网络应用于所述超声图像以进行以下操作：识别所述对象的解剖结构的要避免进行活检的关键区域；并且确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平。在一些实施例中，其中，所述处理器还被配置为将所述超声图像上的所述多个潜在恶性位置、所述多个恶性可能性、所述多个置信度水平或所述关键区域中的至少一个的指示的叠加物输出到所述显示器。在一些实施例中，所述系统还包括显示器，所述显示器被配置为显示第一图和第二图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物，所述第二图包括在所述超声图像的第二实例上的所述多个潜在恶性位置处的所述多个置信度水平的指示的叠加物。在一些实施例中，其中，所述处理器还被配置为基于所述对象的解剖结构中的所述多个潜在恶性位置、所述关键区域或目标活检位置中的至少一个来确定用于对所述对象的解剖结构进行活检的活检针路径。在一些实施例中，其中，所述处理器还被配置为基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定针对所述对象的解剖结构的目标活检位置，并且其中，还基于所确定的目标活检位置来确定所述活检针路径。在一些实施例中，所述系统还包括与所述处理器通信并被配置为接收所述目标活检位置的选择的用户接口。在一些实施例中，其中，所述处理器还被配置为将所确定的活检针路径作为所述超声图像上的叠加物而输出到所述显示器。在一些实施例中，其中，所述处理器还被配置为将所述预测网络应用于所述超声图像以确定所述活检针路径。在一些实施例中，其中，所述处理器还被配置为：确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且将所述活检针与所述关键区域之间的潜在碰撞的指示输出到所述显示器。在一些实施例中，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述处理器还被配置为：将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且将用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符输出到所述显示器。在一些实施例中，其中，通过以下操作来训练所述预测网络：提供测试对象的解剖结构的多幅测试超声图像、在测试对象的解剖结构上进行的活检的活检位置以及在所述活检位置处进行的所述活检的病理结果；并且基于所述活检位置和所述病理结果将分数分配给所述多幅测试超声图像的像素。在一些实施例中，其中，所述处理器还被配置为基于以下各项中的至少一项来更新所述预测网络：针对基于所述多个潜在恶性位置和所述多个恶性可能性确定的活检的目标活检位置；或者所述活检的病理结果。在一些实施例中，其中，所述对象的解剖结构包括甲状腺的至少部分。
在一个实施例中，一种超声成像的方法包括：从超声成像设备接收对象的解剖结构的超声图像；将预测网络应用于所述超声图像以识别所述对象的解剖结构中的多个潜在恶性位置并确定所述多个潜在恶性位置处的多个恶性可能性；并且通过显示器显示所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性，以引导对所述对象的解剖结构的活检确定。
在一些实施例中，其中，应用所述预测网络包括：识别所述对象的解剖结构的要避免进行活检的关键区域；并且确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平，并且其中，所述显示包括：显示第一图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物；并且显示第二图，所述第二图包括在所述超声图像的第二实例上的与所述多个潜在恶性位置相对应的所述多个置信度水平的指示的叠加物。在一些实施例中，所述方法还包括：基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定用于对所述对象的解剖结构进行活检的目标活检位置；基于所述对象的解剖结构的所述多个潜在恶性位置、所述关键区域或所述目标活检位置中的至少一个来确定用于进行所述活检的活检针路径；并且通过所述显示器将所确定的活检针路径显示为所述第一图上的叠加物。在一些实施例中，所述方法还包括：确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且通过所述显示器来显示所述活检针与所述关键区域之间的潜在碰撞的指示。在一些实施例中，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述方法还包括：将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且通过所述显示器显示用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符。
根据以下详细描述，本公开内容的其他方面、特征和优点将变得显而易见。
附图说明
将参考附图来描述本公开内容的说明性实施例，在附图中：
图1是根据本公开内容的一些方面的超声成像系统的示意图。
图2是根据本公开内容的一些方面的患者的甲状腺和周围区的超声图像。
图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径预测方案的示意图。
图4是根据本公开内容的一些方面的用于超声图像的恶性潜在图的图形显示。
图5是根据本公开内容的一些方面的用于超声图像的恶性可能性置信度图的图形显示。
图6是根据本公开内容的一些方面的具有用于活检针路径的视觉指示符的恶性潜在图的图形显示。
图7是根据本公开内容的一些方面的情境显示的图形显示，其包括与超声探头和针进入点有关的建议的活检针路径。
图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案的示意图。
图9是根据本公开内容的一些方面的用于引导探头定位的用户接口的图形显示。
图10是图示根据本公开内容的一些方面的深度学习网络的配置的示意图。
图11是图示根据本公开内容的一些方面的深度学习网络训练方案的示意图。
图12是图示根据本公开内容的一些方面的深度学习网络微调方案的示意图。
图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法的流程图。
图14是根据本公开内容的一些方面的引导活检的方法的流程图。
具体实施方式
为了促进对本公开内容的原理的理解，现在将参考附图中图示的实施例，并且将使用特定语言来描述这些实施例。然而，应当理解，并不旨在限制本公开内容的范围。如本公开内容所涉及的领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开内容的原理的任何进一步应用都被充分预想到并被包括在本公开内容内。特别地，完全预想到，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开内容的其他实施例描述的特征、部件和/或步骤进行组合。然而，为了简洁起见，将不单独描述这些组合的众多迭代形式。
图1是根据本公开内容的一些方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器阵列112、波束形成器114、处理部件116和通信接口118。主机130包括显示器132、处理部件134和通信接口136。
在示例性实施例中，探头110是外部超声成像设备，其包括被配置为由用户手持操作的壳体。换能器阵列112能够被配置为在用户抓住探头110的壳体而使得换能器阵列112被定位为与患者的皮肤相邻和/或与患者的皮肤接触时获得超声数据。探头110被配置为在探头110被定位在患者体外时获得患者体内的解剖结构的超声数据。
换能器阵列112朝向解剖目标105发射超声信号并接收从目标105反射传回换能器阵列112的回波信号。超声换能器阵列112能够包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些情况下，换能器阵列112包括单个声学元件。在一些情况下，换能器阵列112可以包括声学元件的阵列，该声学元件的阵列具有任何适当配置的任何数量的声学元件。例如，换能器阵列112能够包括1个声学元件至1000个声学元件，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件和/或其他更大值和更小值之类的数量值的声学元件。在一些情况下，换能器阵列112可以包括具有任何适当配置的任何数量的声学元件的声学元件的阵列，例如，线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如，1.5D阵列)或二维(2D)阵列。能够统一或独立地控制和激活声学元件的阵列(例如，一行或多行、一列或多列和/或一个或多个取向)。换能器阵列112能够被配置为获得患者的解剖结构的一维、二维和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
波束形成器114被耦合到换能器阵列112。例如，波束形成器114控制换能器阵列112以用于超声信号的发射和超声回波信号的接收。波束形成器114基于响应或所接收的超声回波信号将图像信号提供给处理部件116。波束形成器114可以包括多个阶段的波束形成。波束形成能够减少用于耦合到处理部件116的信号线的数量。在一些实施例中，与波束形成器114组合的换能器阵列112可以被称为超声成像部件。
在一些实施例中，目标105可以包括患者的甲状腺的进行活检的至少部分。在其他实施例中，目标105可以包括患者的适合用于超声成像检查的任何解剖结构(例如，肺、血管、心脏、肾脏和/或肝脏)。
处理部件116被耦合到波束形成器114。处理部件116可以包括被配置为执行本文描述的操作的中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一硬件设备、固件设备或其任意组合。处理部件134还可以被实施为计算设备的组合(例如，DSP和微处理器、多个微处理器、与DSP核结合的一个或多个微处理器的组合或任何其他这样的配置)。处理部件116被配置为处理波束形成的图像信号。例如，处理部件116可以执行滤波和/或正交解调以调控图像信号。处理部件116和/或134能够被配置为控制阵列112以获得与目标105相关联的超声数据。
通信接口118被耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发器和/或用于发射和/或接收通信信号的电路。通信接口118能够包括实施适合用于通过通信链路120将信号传输到主机130的特定通信协议的硬件部件和/或软件部件。通信接口118能够被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，例如，通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，例如，超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如，工作站、个人计算机(PC)、膝上型计算机、平板电脑或移动电话。
处理部件134被耦合到通信接口136。处理部件134可以被实施为软件部件与硬件部件的组合。处理部件134可以包括被配置为执行本文描述的操作的中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或其任何组合。处理部件134还可以被实施为计算设备的组合(例如，DSP和微处理器、多个微处理器、与DSP核结合的一个或多个微处理器的组合或任何其他这样的配置)。处理部件134能够被配置为根据从探头110接收的图像信号来生成图像数据。处理部件134能够将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理部件134能够根据图像数据来形成三维(3D)体积图像。在一些实施例中，处理部件134能够对图像数据执行实时处理以提供目标105的超声图像的流视频。
在一些实施例中，处理部件134能够对图像数据或图像帧执行图像分析以用于活检确定。例如，处理部件134能够接收包括患者的组织的目标105的超声图像。处理部件134能够应用基于深度学习的技术来确定在患者组织处的潜在恶性或异常的位置，确定是否需要活检，识别目标活检位置和/或建议避开关键器官或组织区而到达目标位置的潜在的针路径。处理部件134能够应用基于深度学习的技术来确定成像平面是否能够提供目标活检位置的最优视图以及如何在操纵探头110时将用户引导到用于引导活检的最优视图。处理部件134能够监视由临床医生选择的活检针的插入点或进入点，确定会发生碰撞而到达组织的关键区域的活检针的轨迹，并且/或者在活检针的轨迹与关键区域之间会发生碰撞时向临床医生生成警告。本文更详细地描述了预测和引导活检的机制。
显示器132被耦合到处理部件134。显示器132可以是监视器或任何合适的显示器。显示器132被配置为显示超声图像、图像视频和/或如本文更详细地描述的与潜在恶性组织位置、目标活检位置、建议的活检针路径、用于将探头110移动至用于活检的最优成像视图的指令和/或关于由处理部件134生成的活检的警告相关联的信息。
系统100能够被配置用于基于超声成像的活检预测和引导流程的各个阶段。在一个实施例中，系统100可以用于收集超声图像以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，存储器138可以是任何合适的存储设备，例如，高速缓冲存储器(例如，处理部件134的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪速存储器、固态存储设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138能够被配置为存储用于基于深度学习的训练的图像数据集140。
在一些实施例中，系统100可以用于训练深度学习网络以进行活检预测和引导。例如，可以使用组织的超声图像来训练深度学习网络，所述组织的超声图像包括潜在恶性区、应用组织活检的目标位置和/或从活检获得的对应病理结果。可以训练深度学习网络来识别潜在恶性组织位置，识别要避免进行活检的关键区域(例如，危及器官(OAR))和/或确定恶性概率和所识别的位置处的相关联的置信度水平。可以训练深度学习网络以基于所识别的潜在恶性组织位置来确定活检目标位置和/或确定避开关键区域而到达目标的一条或多条活检针路径。可以训练深度学习网络以确定用于将探头110操纵到适合用于引导活检的成像平面的移动。
在一些实施例中，系统100可以在临床环境中用于实况活检流程，其中，可以应用经训练的深度学习网络以确定是否需要活检，识别潜在恶性组织位置，确定目标活检位置并且/或者建议避开关键区域而进行活检的一条或多条针路径。本文更详细地描述了用于基于深度学习的技术来自动且系统地预测和引导活检流程的机制。
图2是根据本公开内容的一些方面的患者的甲状腺210和周围区的超声图像200。可以使用类似于系统100的系统来捕获图像200。图像200示出了患者甲状腺中的结节212和靠近患者甲状腺的结构和/或组织。结节212能够是恶性的或良性的。可能需要对结节212进行活检以确定结节212是恶性还是良性的。一些结构和/或组织是需要避开活检针路径的关键结构或危及器官(OAR)。如图所示，颈内静脉220、颈动脉230和气管240接近甲状腺210。颈内静脉220、颈动脉230和气管240是关键结构。因此，当在结节212上进行活检时，颈内静脉220、颈动脉230和气管240不能沿着活检针路径。
图3-12共同说明了在活检工作流程中使用基于深度学习的技术来自动地且系统地预测活检位置、活检针路径并引导活检流程。
图3是图示根据本公开内容的一些方面的自动化像素级超声图像注释和针路径预测方案300的示意图。方案300由系统100来实施。方案300能够(例如在插入针之前)向准备进行活检检查的临床医生提供活检引导。临床医生可以在使用探头110进行潜在活检检查下捕获患者组织(例如，目标105)的一幅或多幅图像302。在一个实施例中，组织能够包括患者甲状腺(例如，甲状腺210)的至少部分，活检能够是甲状腺活检以确定甲状腺是否包括异常细胞(例如，恶性肿瘤)。能够使用B模式并且任选地结合各种超声成像模态来捕获图像302。图像302可以提供各种成像信息，包括B模式成像信息、应变成像信息、模量成像信息、多普勒成像信息(例如，功率多普勒、彩色血流和频谱多普勒)以及组织多普勒成像(TDI)信息和/或任何能够促进成像数据分析以定位潜在恶性肿瘤并预测和引导活检的合适成像信息。为了说明和讨论的简单起见，图3图示了四幅图像302。然而，临床医生可以以任何合适数量的(例如，大约5个、6个或更多个)超声成像模态捕获任何合适数量的(例如，5幅、6幅或更多幅)图像302以进行活检流程。作为示例，图像302可以包括使用B模式捕获的图像A、使用应变成像模式捕获的图像B、使用剪切/杨氏模量成像模式捕获的图像C 302以及TDI模式下的图像D 302。
在一个实施例中，各种模态(例如，应变、模量、多普勒和TDI)的图像B、C和D 302能够被配准到基础B模式图像A 302。系统100能够被配置为通过将应变、模量、多普勒和TDI模态中的一种或多种模态与B模式成像交错进行来以不同的模态捕获图像302。系统100能够在显示器132上显示图像302中的任何图像。在一些实施例中，临床医生可以选择B模式图像A 302以在显示器132上显示。B模式图像A 302能够类似于图像200。
图像302被发送到主机130处的处理部件134。处理部件134接收图像302并将深度学习网络310应用于接收到的图像302。如本文更详细地描述的，训练深度学习网络310以针对输入图像(例如，图像302)上的每个像素预测恶性概率。深度学习网络310可以从通过图像302捕获的患者组织中识别出疑似恶性的组织位置。深度学习网络310可以识别活检针路径需要避开的患者组织中的关键区域或OAR(例如，颈内静脉220、颈动脉230和气管240)。深度学习网络310可以确定所识别的潜在恶性组织位置处的恶性可能性。深度学习网络310可以确定针对在所识别的潜在恶性组织位置处的恶性可能性的预测或确定的置信度水平。在一些实施例中，深度学习网络310能够从通过图像302捕获的患者组织中识别出非诊断性和/或良性的组织位置。能够将非诊断性和/或良性组织位置从目标活检位置选择中排除。本文将更详细地描述深度学习网络310的架构和深度学习网络310的训练。在一些实施例中，代替使用深度学习网络310，可以使用诸如阈值化、活动轮廓和/或基于机器学习的分割方法之类的任何合适的OAR分割方法来计算关键区域或OAR。
深度学习网络310基于所识别的潜在恶性组织位置、所识别的关键区域、所确定的恶性可能性和对应的置信度水平来输出恶性潜在图320和置信度图330。恶性潜在图320能够被称为疑似图。在下文描述的图4和图5中示出了恶性潜在图320和置信度图330的示例。处理部件134能够将恶性潜在图320和置信度图330输出到用户接口360(例如，显示器132)。
图4是根据本公开内容的一些方面的用于基础超声图像440的恶性潜在图400的图形显示。恶性潜在图400可以对应于图3的恶性潜在图320。图像440可以对应于图3的B模式图像A 302。恶性潜在图400能够被显示在显示器132或用户接口360上。恶性潜在图400包括图像440上的OAR 410和潜在恶性组织位置420以及对应的恶性可能性的叠加物。潜在恶性组织位置420被示为闭合表面形状。OAR 410被示为闭合表面形状和开放表面形状。如图所示，恶性图400能够包括用于OAR 410的文本注释。OAR 410与潜在恶性组织位置420之间的间隙表示没有从预测中获得与恶性和/或活检有关的特定信息。能够根据恶性可能性对潜在恶性组织位置420进行颜色编码。例如，颜色方案430能够使用第一颜色(例如，绿色)来表示低恶性可能性，并且逐渐过渡到第二颜色(例如，红色)来表示高恶性可能性。
图5是根据本公开内容的一些方面的用于基础超声图像440的恶性可能性置信度图500的图形显示。置信度图500可以对应于图3的置信度图330。能够在显示器132或用户接口360上显示置信度图500。置信度图500包括图像440上的与图4的潜在恶性位置420处的恶性可能性相对应的置信度水平510(被示为闭合表面形状)的叠加物。类似于恶性潜在图400，能够对置信度水平510进行颜色编码。例如，颜色方案520能够使用第一颜色(例如，浅蓝色)来表示低置信度水平，并且逐渐过渡到第二颜色(例如，深蓝色)红色来表示高置信度水平。
置信度图500可以与恶性潜在图400(例如在像素级上)具有一一对应关系。置信度图500和恶性潜在图400能够被同时显示在显示器132上。虽然图4和图5图示了在B模式图像440上叠加的恶性潜在图400和置信度图500，但在一些其他实施例中，能够将恶性潜在图400和置信度图500叠加在另一超声成像模态(例如，TDI、应变或模量)的超声图像上。
从图4和图5中能够观察到，能够以高置信度水平预测具有低恶性可能性(例如，对癌症具有低疑似度)的区，能够以低置信度水平预测具有高恶性可能性(例如，对癌症具有高疑似度)的区，能够以合理的置信度预测具有中等恶性可能性(例如，对癌症具有中等疑似度)的区。
返回图3，在确定恶性潜在图320和对应的置信度图330之后，能够使用各种机制从恶性潜在图320和对应的置信度图330中识别出目标活检位置340和一条或多条活检针路径350。
在图3中被标示为1的圆圈所标记的第一示例中，临床医生可以基于恶性潜在图320和对应的置信度图330来选择目标活检位置340。例如，临床医生可以从具有中等恶性可能性的组织区域中选择目标活检位置340a，因为具有中等恶性可能性的区域最有可能为病理学检验提供足够的样本量。临床医生可以经由用户接口360输入对目标活检位置340a的选择。能够将用户选择的目标活检位置340a输入到深度学习网络310中。深度学习网络310能够基于用户选择的目标活检位置340a和所识别的关键区域(例如，避开OAR 410)来预测一条或多条活检针路径350a(1)。如本文中更详细地描述的，训练深度学习网络310以识别到达活检目标的最优活检针路径。
在图3中被标示为2的圆圈所标记的第二示例中，能够将用户选择的目标活检位置340a输入到活检路径确定单元370中。活检路径确定单元370能够计算可以安全到达所识别的目标活检位置340而不与任何一个关键区域(例如，OAR 410)相交的一条或多条活检针路径350b。活检路径确定单元370能够基于某些约束(例如使用图像分析算法和数值优化算法)来确定针对针路径350b的轨迹。
在图3中被标示为3的圆圈所标记的第三示例中，活检路径确定单元370能够基于恶性潜在图320中的恶性可能性与置信度图330中的对应置信度水平的加权组合来确定目标活检位置。活检路径确定单元370能够基于轨迹计算来确定到达所确定的活检位置的一条或多条活检针路径350c。
在图3中被标示为4的圆圈所标记的第四示例中，能够基于所识别的潜在恶性组织位置420、所识别的关键区域或OAR 410、所确定的恶性可能性和对应的置信度水平来训练深度学习网络310，以预测目标活检位置以及到达所预测的活检目标位置的一条或多条活检针路径350d。例如，能够训练深度学习网络310以选择能够使收益最大化并避免与任何关键结构(例如，OAR 410)相交的活检针路径350d。换句话说，深度学习网络310能够根据图像302中的一幅或多幅图像来自动建议一条或多条活检针路径350d。
通常，恶性潜在图320和置信度图330能够辅助临床医生选择目标活检位置340和/或活检针路径350。可以为临床医生提供使用以下各项的任何合适组合的选项：用户定义的选择、(例如通过深度学习网络310进行的)基于深度学习的预测以及(例如通过活检路径确定单元370进行的)数值计算。
如下面描述的图6所示，处理部件134能够将所确定的或所建议的活检针路径350输出到显示器132。
图6是根据本公开内容的一些方面的具有用于活检针路径610的视觉指示符的恶性潜在图600的图形显示。恶性潜在图600可以对应于恶性潜在图400。活检针路径610被示为到达活检目标620(如虚线椭圆所示)。活检目标620和活检针路径610可以对应于活检针路径350，并且活检目标620可以对应于目标活检位置340和活检针路径350。虽然图6被示为具有两条针路径610a和610b，但是在一些实施例中，任何合适数量的(例如，大约1个、3个或更多个)针路径610能够被叠加在恶性潜在图600上。
在一些实施例中，方案300还可以在使用中相对于关于患者的皮肤和/或探头110的针进入点显示所建议的针路径350，以便为用户提供对针路径350的更多情境可视化，如下面所描述的图7中所示。
图7是根据本公开内容的一些方面的情境显示的图形显示700，包括相对于超声探头710和针进入点720的建议的活检针路径610。显示700可以对应于显示器132上的显示视图。探头710可以对应于探头110。活检针路径610与潜在恶性组织位置420一起叠加在B模式图像440上，并且延伸超过图像440。针进入点720a和720b可以对应于分别进入针路径610a和610b的皮肤进入点。例如，针路径610a可能要求在针进入点720a处以与患者皮肤成约30度的角度插入针，而针路径610b可能要求在针进入点720b处以与患者皮肤成约15度的角度插入针。
在一些实施例中，方案300在确定活检针路径350时可以考虑其他因素。其他因素可以包括临床医生是左撇子还是右撇子，临床医生相对于检查中的患者的位置和/或进行活检的结节(例如，结节212)相对于探头110的位置(例如，探头110是朝向结节的左侧还是右侧)。
图8是图示根据本公开内容的一些方面的自动化超声探头位置引导方案800的示意图。方案800由系统100来实施。方案800类似于方案300，但是可以(例如在插入针之前)向准备进行活检检查的临床医生额外提供超声探头位置引导。在方案800中，临床医生可以选择探头(例如，探头110)捕获图像302的初始探头位置810(1)。处理部件134可以确定探头位置810(1)可以提供用于引导活检的次优图像平面(例如由于活检目标(例如，结节212)未充分出现在图像平面中和/或一个或多个OAR(例如，颈内静脉220、颈动脉230、气管240和OAR410)的位置可能不允许针容易和/或安全地到达目标而不会损伤OAR)。
在检测到次优图像平面时，处理部件134能够应用深度学习网络310来确定运动控制配置820，以操纵探头到达用于进行活检的最优图像平面。运动控制配置820可以包括用于将探头相对于患者从初始位置810(1)平移和/或旋转到下一位置810(2)的移动向量。深度学习网络310能够在训练深度学习网络310期间学习OAR相对于一个或多个甲状腺叶的位置。最优标准(例如，到达最优成像平面)能够包括到达目标活检位置并与所有OAR保持一定距离的能力。处理部件134能够将具有视觉指示符的指令输出到显示器132，以向临床医生提供关于如何实时操控探头位置的反馈和/或建议，如下文描述的图9中所示。
在一些情况下，提供移动指令(例如，运动控制配置820)和操纵探头的过程能够包括多次迭代。例如，临床医生可以根据由深度学习网络310提供的指令将探头从第一位置移动到第二位置。在临床医生将探头移动到第二位置之后，临床医生可以捕获另一图像302的集合，并且深度学习网络310可能会尝试从新捕获的图像302中定位活检目标和针路径。当新捕获的图像302无法(例如基于由深度学习网络310输出的恶性潜在图320和置信度映射330)提供用于引导活检的最优视图时，能够重复确定运动控制配置820的过程，如箭头802所示。
图9是根据本公开内容的一些方面的用于引导探头定位的用户接口900的图形显示。用户接口900可以被显示在显示器132或用户接口360上。用户接口900包括当探头(例如，探头110)被定位在初始成像位置(例如，探头位置810(1))时的恶性潜在图(例如，恶性潜在图320和400)的第一图像视图910。由于OAR 912(例如，OAR 410)与潜在恶性组织位置914(例如，潜在恶性组织位置420)接近，因此第一图像视图910可能是次优的。潜在恶性组织位置914被示为闭合表面形状。OAR 912被示为闭合表面形状和开放表面形状。
用户接口900可以包括如视觉指示符902所示的围绕探头的主手柄轴旋转探头的建议。临床医生可以跟随视觉指示符902(例如从探头位置810(1)到探头位置810(2))旋转探头。在临床医生旋转探头之后，可以捕获一幅或多幅图像(例如，图像302)。能够应用深度学习网络310来生成另一恶性潜在图，如第二图像视图920中所示，其中。
在一些实施例中，用户接口900能够通过在第一次优图像视图910旁边包括红点930并在第二次优图像视图920旁边包括绿点932来指示次优。在一些其他情况下，用户接口900可以使用任何合适的形状和/或颜色的视觉指示符来指示图像视图的次优和/或最优。在获得第二最优图像视图920之后，用户接口900能够在第二最优图像视图920中示出建议的针路径940(例如，活检针路径350、610和940)。
图10是图示根据本公开内容的一些方面的深度学习网络310的配置1000的示意图。深度学习网络310可以包括一个或多个卷积神经网络(CNN)1010。CNN 1010可以对类似于图像302的一幅或多幅超声图像1002进行操作。例如，图像1002可以包括使用B模式捕获的图像A以及使用应变成像模式捕获的图像B、使用剪切/杨氏模量成像模式捕获的图像C302和在TDI模式下的图像D 302中的一个或多个的组合。
CNN 1010可以包括N个卷积层1020的集合，然后是K个全连接层1030的集合，其中，N和K可以是任何正整数。值N和K可以根据实施例而变化。在一些情况下，值N和K可以取决于训练和/或验证数据集(例如，图像数据集140)的大小。每个卷积层1020可以包括被配置为从输入图像中提取特征的滤波器1022的集合。虽然在图10中未示出，但是在一些实施例中，卷积层1020可以与空间池化层交错，每个空间池化层包括可以降低所提取的成像特征的维数的下采样操作的集合。另外，每个卷积层512可以包括被配置为提取经校正的特征图的非线性功能(例如包括经校正的非线性(ReLU)操作)。另外，每个卷积层1020可以包括批量归一化功能以加速CNN 1010的训练。全连接层1030可以是非线性的，并且可以逐渐缩小最后的卷积层1020(N)的高维输出以产生输出1050。
在一个实施例中，训练CNN 1010以预测针对输入图像(例如，图像302和1002)上的每个像素的恶性概率。在一个实施例中，训练CNN 1010以根据输入图像和/或从输入图像到达活检目标的活检针路径(例如，活检针路径350、610和940)来预测活检目标(例如，目标活检位置340和活检目标620)。在一个实施例中，训练CNN 1010以预测用于将探头(例如，探头110)从当前位置移动到最优成像位置的运动控制配置(例如，运动控制配置820)，以在探头位于当前位置时在给定由该探头捕获的输入图像的情况下引导活检。本文对CNN 1010的训练进行了更详细的描述。
虽然CNN 1010被图示为完全卷积神经网络(FCN)，但是在一些实施例中，能够将CNN 1010配置为编码器-解码器类型的网络(例如，U-net架构)或任何其他合适的基于学习的预测网络来实现类似的功能。
图11是图示根据本公开内容的一些方面的深度学习网络训练方案1100的示意图。方案1100由系统100来实施。方案1100图示了深度学习网络310的训练以预测针对输入图像302上的每个像素的恶性概率。为了训练深度学习网络310，可以将组织(例如包括甲状腺)的带注释或标签的超声图像1110输入到深度学习网络310。带注释的超声图像1110可以包括进行活检的一个或多个活检位置1120。每个活检位置1120被示为闭合表面形状。可以基于在活检位置1120处获得的对应病理结果1150为每个活检位置1120分配恶性确定性。病理结果1150可以指示在活检位置1120处收集的组织样本是恶性的、良性的还是其他的(例如，不确定的)。换句话说，带注释的超声图像1110包括针对由图像1110捕获的基础组织的空间恶性确定性图。
活检位置1120是离散的组织位置，并且病理结果1150是针对对应活检位置1120的离散结果。在一个实施例中，能够将2D高斯函数1140应用于每个活检位置1120处的病理结果1150以提供具有较高空间维度的恶性可能性信息。高斯函数1140的峰值1142可以被映射到获取活检样本的活检位置1120。例如，针对活检位置1120a的病理结果1150是恶性的。在将高斯函数1140应用于活检位置1120a之后，在活检位置1120处存在最高的恶性确定性(例如，高斯函数1140的峰值1142)，并且恶性确定性随着距活检位置1120a的距离的增加而降低。恶性确定性降低的速率可以取决于高斯函数1140的方差。取决于训练数据(例如，训练数据140)的大小，高斯函数1140的方差能够更保守或更不保守。例如，当存在更少量的训练数据(例如，训练数据140)时，高斯方差可以更保守，但是结果得到的数据标签可以具有更大的确定性。另一方面，当存在大量训练数据时，高斯方差可能更不保守，但是结果得到的数据标签的确定性可能较小。通常，高斯函数1140的方差能够是可变的，这例如取决于活检位置1120。例如，能够学习在给定的活检位置1120处获取的病理学样本与对应的超声成像特征之间的相关性，以估计针对给定活检位置1120处的高斯函数1140的最优方差。在一些情况下，高斯函数1140的方差能够在训练阶段期间由用户定义。
在训练期间，能够例如使用正向传播将深度学习网络310应用于图像1110，以获得针对图像1110上的每个像素的输出或分数，其中，该分数可以指示针对像素的恶性确定性或概率。能够例如通过使用反向传播来调节针对卷积层1020中的滤波器1022的系数和全连接层1030中的权重以使输出误差最小化。换句话说，能够调节卷积层1020中的系数和/或全连接层1030中的权重以匹配活检位置1120中的每个活检位置处的病理结果1150。
在一个实施例中，带注释的超声图像1140还可以包括针对OAR 1130(例如，OAR410和912)的注释或标签。类似地，深度学习网络310能够例如使用前向传播而应用于图像1110，以获得针对图像1110上的每个像素的输出或分数，其中，该分数可以指示图像1110上的每个像素是否对应到关键区域。能够调节卷积层1020中的系数和/或全连接层1030中的权重以识别在带注释的OAR 1130的位置处的OAR。
在一个实施例中，系统100能够用于捕获具有恶性肿瘤的检验组织的图像并基于活检结果为图像生成注释。系统100可以将类似于图像1110的带注释的图像作为训练数据集140而保存在存储器138中。通过使用训练数据集140，能够将方案1100应用于训练深度学习网络310。
在一个实施例中，可以使用与方案1100中的训练机制类似的训练机制来训练深度学习网络310，以根据输入图像(例如，图像302和1002)预测活检目标(例如，目标活检位置340和活检目标620)和/或根据输入图像预测到达预测的活检目标的活检针路径(例如，活检针路径350、610和940)。在这样的实施例中，在训练期间，可以向深度学习网络310输入用OAR(例如，OAR 410和1130)、活检位置(例如，活检位置340、913和1120)和用于到达对应的活检位置的活检针路径(例如，活检针路径350、610和940)注释的图像。
在一个实施例中，可以使用与方案1100中的训练机制类似的训练机制来训练深度学习网络310，以预测用于将探头(例如，探头110)从当前位置移动到最优成像位置的运动控制配置(例如，运动控制配置820)，以在探头处于当前位置时在给定由探头捕获的输入图像的情况下引导活检。在这样的实施例中，在训练期间，可以向深度学习网络310输入某些成像平面的图像，每个成像平面与用于将探头从对应图像的成像平面操控到最优成像平面来用于引导活检到达活检位置(例如，目标活检位置340和目标活检620)的一个或多个运动控制配置相关联。在一个实施例中，能够基于从多个患者和/或多个对象捕获的超声图像来训练深度学习网络310。能够使用关于甲状腺(例如，甲状腺210)以及周围的关键结构或OAR的几何形状的基于群体的训练来训练深度学习网络310，以建议最优成像平面。
在一些实施例中，深度学习网络310可以包括多个CNN 1010，例如，可以训练第一CNN 1010以预测针对输入图像(例如，图像302和1002)的每个像素的恶性概率(例如，恶性潜在图320和400以及置信度图330和500)，可以训练第二CNN 1010以预测目标活检位置(例如，目标活检位置340和620)和/或活检针路径(例如，活检针路径350、610和940)，可以训练第三CNN 1010以预测用于操控探头(例如，探头110)到达用于引导活检的最优成像视图(例如，成像视图920)的运动控制配置(例如，运动控制配置820)。
图12是图示根据本公开内容的一些方面的深度学习网络微调方案1200的示意图。方案1200由系统100来实施。能够在从由方案300引导的活检1210获得病理结果1220(例如，病理结果1150)之后执行方案1200。例如，临床医生可以采用方案300中的深度学习网络310以确定目标活检位置340。临床医生可以进行活检1210以在目标活检位置340处收集组织样本。随后，可以从在目标活检位置340处收集的组织获得病理结果1220。目标活检位置340和对应的病理结果1220可以被反馈到深度学习网络310以对深度学习网络310进行微调。微调可以包括调节卷积层1020处和/或全连接层1030处的系数和/或权重。
在一些情况下，临床医生可以选择与深度学习网络310所建议的活检位置340不同的活检位置。临床医生选择的活检位置和对应的病理结果也能够被馈入到深度学习网络310中，以对深度学习网络310进行微调。
例如，在每次活检之后并且当可获得病理结果时，微调能够是连续过程。因此，微调能够改善深度学习网络310的预测性能。
类似地，微调能够应用于针路径预测和/或成像探头定位预测。例如，用于到达针对活检的目标活检位置的活检针路径和/或用于操控探头到达用于引导活检的最优成像平面的移动能够被反馈给深度学习网络310以进行微调。
图13是根据本公开内容的一些方面的在活检检查中提供用户警告的方法1300的流程图。方法1300的步骤能够由主机(例如，主机130)的计算设备(例如，处理器、处理电路和/或其他合适的部件)来运行。如图所示，方法1300包括多个列举的步骤，但是方法1300的实施例可以在所列举的步骤之前、之后以及之间包括额外的步骤。在一些实施例中，所列举的步骤中的一个或多个步骤可以被省略掉或以不同的顺序执行。如上所述，临床医生可以基于恶性潜在图(例如，恶性潜在图320和400)和对应的置信度图(例如，置信度图330和500)来确定用于在患者的解剖结构(例如，甲状腺)上进行活检检查的目标活检位置(例如，目标活检位置340和620)。在一些情况下，临床医生可以选择活检针插入点和/或到达目标活检位置的活检针路径。方法1300能够用于向临床医生提供与患者的解剖结构的关键区域(例如，OAR 410和912)相交的警告。
在步骤1310处，方法1300包括接收表示患者的解剖结构(例如，目标105)和活检针的插入的超声图像(例如，图像302和1002)。
在步骤1320处，方法1300包括确定可能与患者的解剖结构的关键区域发生碰撞的活检针的可能轨迹。
在步骤1330处，方法1300包括检测活检针的轨迹是沿着可能与患者的解剖结构的关键区域发生碰撞的所确定的轨迹中的一条轨迹的。
在步骤1340处，方法1300包括在显示器(例如，显示器132)上基于检测向临床医生显示警告。例如，警告能够是红灯或显示器上的任何其他合适的视觉指示符的形式。
在一个实施例中，方法1300能够在显示器(例如，显示器132)上显示可能与患者的解剖结构的关键区域发生碰撞的所有确定的轨迹。在沿着轨迹中的一条轨迹检测到活检针的轨迹时，方法1300能够突出显示检测到的轨迹并请求临床医生改变进入点的位置。因此，方法1300能够用于改变用户选择的活检针路径，从而能够安全地进行活检。
图14是根据本公开内容的一些方面的引导活检的方法1400的流程图。方法1400的步骤能够由超声成像探头(例如，探头110)或主机(例如，主机130)的计算设备(例如，处理器、处理电路和/或其他合适的部件)来运行。方法1400可以采用与方案300、800、1100和1200，配置1000以及分别关于图3、图8、图11、图12和图10所描述的方法1300类似的机制。如图所示，方法1400包括多个列举的步骤，但是方法1400的实施例可以在列举的步骤之前、之后以及之间包括额外的步骤。在一些实施例中，所列举的步骤中的一个或多个步骤可以被省略掉或以不同的顺序执行。
在步骤1410处，方法1400包括从超声成像设备(例如，探头110)接收对象的解剖结构(例如，目标105)的第一超声图像(例如，图像302和1002)。
在步骤1420处，方法1400包括将预测网络(例如，深度学习网络310)应用于第一超声图像，以识别对象的解剖结构中的多个潜在恶性位置(例如，位置420和914)并确定多个潜在恶性位置处的多个恶性可能性。
在步骤1430处，方法1400包括通过显示器(例如，显示器132)显示多个潜在恶性位置以及针对多个潜在恶性位置的多个恶性可能性，以引导对对象的解剖结构的活检确定。
在一个实施例中，预测网络能够应用于识别对象的解剖结构的要避免进行活检的关键区域(例如，OAR 410和912)，并且确定针对多个潜在恶性位置处的多个恶性可能性的多个置信度水平。该显示可以包括第一图(例如，恶性潜在图320、400和600)和第二图(例如，置信度图330和500)。第一图可以包括在第一超声图像的实例(例如，副本或版本)上的多个潜在恶性位置、多个恶性可能性以及关键区域的指示的叠加物(例如，如图4所示)。第二图可以包括在第一超声图像的不同实例(例如，不同的副本或不同的版本)上的与多个潜在恶性位置相对应的多个置信度水平的指示的叠加物(例如，如图5所示)。在一些实施例中，能够(例如使用阿尔法-混合和/或其他合适的图像处理)在第一超声图像的相同实例上组合第一图和第二图，以包括在第一超声图像上的多个潜在恶性位置、多个恶性可能性、关键区域和多个置信度水平的指示的叠加物。
在一个实施例中，方法1400可以包括基于多个潜在恶性位置处的多个恶性可能性或针对多个恶性可能性的多个置信度水平中的至少一个来确定用于对对象的解剖结构进行活检的目标活检位置(例如，目标活检位置340和620)。方法1400可以包括基于对象的解剖结构的多个潜在恶性位置、关键区域或目标活检位置中的至少一个来确定用于进行活检的活检针路径(例如，活检针路径350、610和940)。方法1400可以包括通过显示器将所确定的活检针路径显示为第一图上的叠加物(例如，如图6所示)。
在一个实施例中，方法1400可以包括确定关键区域是沿着指向对象的解剖结构的活检针的轨迹路径的。方法1400可以包括通过显示器显示活检针与关键区域之间的潜在碰撞的指示(例如，警告)。在一个实施例中，能够在插入活检针的情况下从对象的解剖结构的第二超声图像获得活检针的轨迹路径。在一个实施例中，能够在插入活检针之前(例如在用户将活检针定位在患者皮肤上之后，但在穿透患者皮肤之前)，根据相机跟踪、光学跟踪、电磁(EM)跟踪或超声图像中的任何合适的跟踪来获得活检针的轨迹路径。
在一个实施例中，在超声成像设备被定位在相对于对象的解剖结构的第一成像位置时，接收第一超声图像。方法1400能够包括将预测网络应用于第一超声图像以确定运动控制配置(例如，运动控制配置820)，该运动控制配置用于将超声成像设备从第一成像位置重新定位到第二成像位置以进行活检。方法1400可以包括通过显示器显示视觉指示符(例如，视觉指示符902)，该视觉指示符用于基于运动控制配置来重新定位超声成像设备。
本公开内容的各个方面能够提供若干益处。例如，使用深度学习自动识别潜在恶性位置和相关联的恶性可能性以及对应的置信度水平以及显示恶性潜在图和置信度图能够辅助临床医生确定对活检和/或目标活检位置的需要情况。另外，使用深度学习自动建议最优活检针路径，显示建议的活检针路径和/或显示警告指示能够引导临床医生进行活检以安全地到达目标活检位置。另外，使用深度学习自动建议探头重新定位以及显示建议的移动能够将临床医生引导到用于进行活检的最优成像视图。所公开的实施例能够允许临床医生进行成功的活检而无需进行许多尝试(例如，达到临床允许的尝试)，因此也可以减少患者的创伤。虽然在甲状腺活检的背景下描述了所公开的实施例，但是所公开的实施例也能够应用于在身体的其他部分中引导活检。
本领域技术人员将认识到：能够以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到：本公开内容涵盖的实施例不限于上述特定示例性实施例。在这方面，虽然已经示出和描述了示例性实施例，但是在前述公开内容中可以想到各种各样的修改、改变和替换。应当理解，在不脱离本公开内容的范围的情况下，可以对前述内容进行这样的变化。因此，适当的是：以与本公开内容一致的方式广义地解释权利要求。

Claims (20)

1.一种超声成像系统，包括：
通信接口，其与超声成像设备通信并被配置为接收对象的解剖结构的超声图像；以及
处理器，其与所述通信接口通信并被配置为：
将预测网络应用于所述超声图像以进行以下操作：
识别所述对象的解剖结构中的多个潜在恶性位置；并且
确定所述多个潜在恶性位置处的多个恶性可能性；并且
将所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性输出到与所述处理器通信的显示器，以引导针对所述对象的解剖结构的活检确定。
2.根据权利要求1所述的系统，其中，所述超声图像包括以下各项中的至少一项：亮度模式(B模式)信息、应变信息、弹性信息或组织多普勒信息。
3.根据权利要求1所述的系统，其中，所述处理器还被配置为：
将所述预测网络应用于所述超声图像以进行以下操作：
识别所述对象的解剖结构的要避免进行活检的关键区域；并且
确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平。
4.根据权利要求3所述的系统，其中，所述处理器还被配置为：
将所述超声图像上的所述多个潜在恶性位置、所述多个恶性可能性、所述多个置信度水平或所述关键区域中的至少一个的指示的叠加物输出到所述显示器。
5.根据权利要求4所述的系统，还包括：
所述显示器，其被配置为显示：
第一图，其包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物；以及
第二图，其包括在所述超声图像的第二实例上的所述多个潜在恶性位置处的所述多个置信度水平的指示的叠加物。
6.根据权利要求4所述的系统，其中，所述处理器还被配置为：
基于所述对象的解剖结构中的所述多个潜在恶性位置、所述关键区域或目标活检位置中的至少一个来确定用于对所述对象的解剖结构进行活检的活检针路径。
7.根据权利要求6所述的系统，其中，所述处理器还被配置为：
基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定针对所述对象的解剖结构的目标活检位置，并且
其中，还基于所确定的目标活检位置来确定所述活检针路径。
8.根据权利要求6所述的系统，还包括：
用户接口，其与所述处理器通信并被配置为接收所述目标活检位置的选择。
9.根据权利要求6所述的系统，其中，所述处理器还被配置为：
将所确定的活检针路径作为所述超声图像上的叠加物而输出到所述显示器。
10.根据权利要求6所述的系统，其中，所述处理器还被配置为将所述预测网络应用于所述超声图像以确定所述活检针路径。
11.根据权利要求6所述的系统，
其中，所述处理器还被配置为：
确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且
将所述活检针与所述关键区域之间的潜在碰撞的指示输出到所述显示器。
12.根据权利要求6所述的系统，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述处理器还被配置为：
将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且
将用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符输出到所述显示器。
13.根据权利要求1所述的系统，其中，通过以下操作来训练所述预测网络：
提供测试对象的解剖结构的多幅测试超声图像、在测试对象的解剖结构上进行的活检的活检位置以及在所述活检位置处进行的所述活检的病理结果；并且
基于所述活检位置和所述病理结果将分数分配给所述多幅测试超声图像的像素。
14.根据权利要求1所述的系统，其中，所述处理器还被配置为：
基于以下各项中的至少一项来更新所述预测网络：
针对基于所述多个潜在恶性位置和所述多个恶性可能性确定的活检的目标活检位置；或者
所述活检的病理结果。
15.根据权利要求1所述的系统，其中，所述对象的解剖结构包括甲状腺的至少部分。
16.一种超声成像的方法，包括：
从超声成像设备接收对象的解剖结构的超声图像；
将预测网络应用于所述超声图像以进行以下操作：
识别所述对象的解剖结构中的多个潜在恶性位置；并且
确定所述多个潜在恶性位置处的多个恶性可能性；并且
通过显示器显示所述多个潜在恶性位置和针对所述多个潜在恶性位置的所述多个恶性可能性，以引导对所述对象的解剖结构的活检确定。
17.根据权利要求16所述的方法，其中，应用所述预测网络包括：
识别所述对象的解剖结构的要避免进行活检的关键区域；并且
确定针对所述多个潜在恶性位置处的所述多个恶性可能性的多个置信度水平，并且
其中，所述显示包括：
显示第一图，所述第一图包括在所述超声图像的第一实例上的所述多个潜在恶性位置、所述多个恶性可能性和所述关键区域的指示的叠加物；并且
显示第二图，所述第二图包括在所述超声图像的第二实例上的与所述多个潜在恶性位置相对应的所述多个置信度水平的指示的叠加物。
18.根据权利要求17所述的方法，还包括：
基于所述多个潜在恶性位置处的所述多个恶性可能性或针对所述多个恶性可能性的所述多个置信度水平中的至少一个来确定用于对所述对象的解剖结构进行活检的目标活检位置；
基于所述对象的解剖结构的所述多个潜在恶性位置、所述关键区域或所述目标活检位置中的至少一个来确定用于进行所述活检的活检针路径；并且
通过所述显示器将所确定的活检针路径显示为所述第一图上的叠加物。
19.根据权利要求18所述的方法，还包括：
确定所述关键区域是沿着指向所述对象的解剖结构的活检针的轨迹路径的；并且
通过所述显示器来显示所述活检针与所述关键区域之间的潜在碰撞的指示。
20.根据权利要求18所述的方法，其中，在所述超声成像设备相对于所述对象的解剖结构被定位在第一成像位置处时接收所述超声图像，并且其中，所述方法还包括：
将所述预测网络应用于所述超声图像以确定运动控制配置，所述运动控制配置用于将所述超声成像设备从所述第一成像位置重新定位到第二成像位置以进行所述活检；并且
通过所述显示器显示用于基于所述运动控制配置来重新定位所述超声成像设备的视觉指示符。
CN201980044030.3A 2018-06-29 2019-06-28 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法 Pending CN112334076A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862691688P 2018-06-29 2018-06-29
US62/691,688 2018-06-29
US201862693808P 2018-07-03 2018-07-03
US62/693,808 2018-07-03
PCT/EP2019/067366 WO2020002620A1 (en) 2018-06-29 2019-06-28 Biopsy prediction and guidance with ultrasound imaging and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN112334076A true CN112334076A (zh) 2021-02-05

Family

ID=67139741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044030.3A Pending CN112334076A (zh) 2018-06-29 2019-06-28 利用超声成像进行活检预测和引导以及相关联的设备、系统和方法

Country Status (5)

Country Link
US (1) US20210259660A1 (zh)
EP (1) EP3813676B1 (zh)
JP (1) JP7357015B2 (zh)
CN (1) CN112334076A (zh)
WO (1) WO2020002620A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033667A (zh) * 2021-03-26 2021-06-25 九江学院 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103987735B (zh) 2011-10-21 2017-10-31 索尔维美国有限公司 通过氧化聚合合成共轭聚合物的改进方法和相关组合物
US11471151B2 (en) 2018-07-16 2022-10-18 Cilag Gmbh International Safety logic for surgical suturing systems
US11375984B2 (en) * 2018-08-31 2022-07-05 Seno Medical Instruments, Inc. Method and system for managing feature reading and scoring in ultrasound and/or optoacoustic images
EP4095797B1 (en) * 2018-11-08 2024-01-24 Augmedics Inc. Autonomous segmentation of three-dimensional nervous system structures from medical images
KR102403397B1 (ko) * 2019-05-31 2022-05-31 페이지.에이아이, 인크. 디지털 병리학을 위한 슬라이드들의 처리된 이미지들을 자동으로 우선순위화하기 위해 슬라이드들의 이미지들을 처리하기 위한 시스템들 및 방법들
US11129588B2 (en) * 2019-06-19 2021-09-28 Paul Adams Ultrasound probe with an integrated needle assembly and a computer program product, a method and a system for providing a path for inserting a needle of the ultrasound probe
WO2021055289A1 (en) 2019-09-20 2021-03-25 Bard Access Systems, Inc. Automatic vessel detection tools and methods
US11776144B2 (en) 2019-12-30 2023-10-03 Cilag Gmbh International System and method for determining, adjusting, and managing resection margin about a subject tissue
US11219501B2 (en) 2019-12-30 2022-01-11 Cilag Gmbh International Visualization systems using structured light
US11648060B2 (en) 2019-12-30 2023-05-16 Cilag Gmbh International Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ
US12002571B2 (en) 2019-12-30 2024-06-04 Cilag Gmbh International Dynamic surgical visualization systems
US11284963B2 (en) 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
US11832996B2 (en) 2019-12-30 2023-12-05 Cilag Gmbh International Analyzing surgical trends by a surgical system
US11759283B2 (en) 2019-12-30 2023-09-19 Cilag Gmbh International Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto
US11744667B2 (en) 2019-12-30 2023-09-05 Cilag Gmbh International Adaptive visualization by a surgical system
US11896442B2 (en) 2019-12-30 2024-02-13 Cilag Gmbh International Surgical systems for proposing and corroborating organ portion removals
KR102246966B1 (ko) * 2020-01-29 2021-04-30 주식회사 아티큐 신체의 목적 타겟 위치 확인 방법
JP7457571B2 (ja) * 2020-05-19 2024-03-28 富士フイルムヘルスケア株式会社 超音波診断装置及び診断支援方法
WO2022020351A1 (en) 2020-07-21 2022-01-27 Bard Access Systems, Inc. System, method and apparatus for magnetic tracking of ultrasound probe and generation of 3d visualization thereof
US11890139B2 (en) 2020-09-03 2024-02-06 Bard Access Systems, Inc. Portable ultrasound systems
CN216135922U (zh) 2020-09-08 2022-03-29 巴德阿克塞斯系统股份有限公司 动态调整超声成像系统
CN114246614A (zh) 2020-09-25 2022-03-29 巴德阿克塞斯系统股份有限公司 超声成像系统和最小导管长度工具
US20220096055A1 (en) * 2020-09-29 2022-03-31 The Board Of Trustees Of The Leland Stanford Junior University Functional ultrasound imaging of the brain using deep learning and sparse data
EP4247267A1 (en) * 2020-11-24 2023-09-27 Bard Access Systems, Inc. Ultrasound system with target and medical instrument awareness
JP2023077827A (ja) * 2021-11-25 2023-06-06 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
CN114587416A (zh) * 2022-03-10 2022-06-07 山东大学齐鲁医院 基于深度学习多目标检测的胃肠道粘膜下肿瘤诊断系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
US20030097066A1 (en) * 2001-11-19 2003-05-22 Advanced Diagnostics, Inc. System and method for tissue biopsy using ultrasonic imaging
US20100174185A1 (en) * 2006-05-02 2010-07-08 Shih-Ping Wang Ultrasound scanning and ultrasound-assisted biopsy
US20110087096A1 (en) * 2008-12-29 2011-04-14 Perseus-BioMed Ltd. Method and system for tissue recognition
US20120059260A1 (en) * 2009-04-28 2012-03-08 Koninklijke Philips Electronics N.V. Biopsy guide system with an ultrasound transducer and method of using same
US20150366546A1 (en) * 2014-06-18 2015-12-24 Siemens Medical Solutions Usa, Inc. System and method for real-time ultrasound guided prostate needle biopsies using a compliant robotic arm
US20180000446A1 (en) * 2014-12-24 2018-01-04 Koninklijke Philips N.V. Needle trajectory prediction for target biopsy

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5260871A (en) * 1991-07-31 1993-11-09 Mayo Foundation For Medical Education And Research Method and apparatus for diagnosis of breast tumors
US6058322A (en) * 1997-07-25 2000-05-02 Arch Development Corporation Methods for improving the accuracy in differential diagnosis on radiologic examinations
US6317617B1 (en) * 1997-07-25 2001-11-13 Arch Development Corporation Method, computer program product, and system for the automated analysis of lesions in magnetic resonance, mammogram and ultrasound images
US20030135115A1 (en) * 1997-11-24 2003-07-17 Burdette Everette C. Method and apparatus for spatial registration and mapping of a biopsy needle during a tissue biopsy
US7640051B2 (en) * 2003-06-25 2009-12-29 Siemens Medical Solutions Usa, Inc. Systems and methods for automated diagnosis and decision support for breast imaging
WO2007137179A2 (en) * 2006-05-18 2007-11-29 Eigen Improved system and method for 3-d biopsy
US8175350B2 (en) * 2007-01-15 2012-05-08 Eigen, Inc. Method for tissue culture extraction
JP5416900B2 (ja) * 2007-11-22 2014-02-12 株式会社東芝 超音波診断装置及び穿刺支援用制御プログラム
US9301736B2 (en) * 2009-04-30 2016-04-05 Joseph G. Rusnak Fine needle biopsy with adaptor
US8366619B2 (en) * 2009-05-13 2013-02-05 University Of Washington Nodule screening using ultrasound elastography
CN103747729B (zh) * 2011-06-13 2016-07-13 皇家飞利浦有限公司 利用二维成像探头的三维针定位
JP5908852B2 (ja) * 2013-02-06 2016-04-26 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー 超音波診断装置及びその制御プログラム
US10147180B2 (en) * 2013-12-19 2018-12-04 Axon Dx, Llc Cell detection, capture and isolation methods and apparatus
JP6612861B2 (ja) * 2014-07-02 2019-11-27 コーニンクレッカ フィリップス エヌ ヴェ 組織を識別するシステム及び方法
WO2016125032A1 (en) * 2015-02-02 2016-08-11 Yale University Integrated painless bone marrow biopsy device
CN107645927B (zh) * 2015-02-17 2021-10-08 皇家飞利浦有限公司 用于辅助组织消融的设备和方法
CN107683113B (zh) * 2015-06-04 2021-06-15 皇家飞利浦有限公司 用于通过癌症分级绘图增强的精确诊断和治疗的系统和方法
WO2016209398A1 (en) * 2015-06-25 2016-12-29 Rivanna Medical Llc Ultrasonic guidance of a probe with respect to anatomical features
JP6670607B2 (ja) * 2015-12-28 2020-03-25 キヤノンメディカルシステムズ株式会社 超音波診断装置
CN110167449A (zh) * 2016-11-16 2019-08-23 德拉工业公司 便携式超声系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5984870A (en) * 1997-07-25 1999-11-16 Arch Development Corporation Method and system for the automated analysis of lesions in ultrasound images
US20030097066A1 (en) * 2001-11-19 2003-05-22 Advanced Diagnostics, Inc. System and method for tissue biopsy using ultrasonic imaging
US20100174185A1 (en) * 2006-05-02 2010-07-08 Shih-Ping Wang Ultrasound scanning and ultrasound-assisted biopsy
US20110087096A1 (en) * 2008-12-29 2011-04-14 Perseus-BioMed Ltd. Method and system for tissue recognition
US20120059260A1 (en) * 2009-04-28 2012-03-08 Koninklijke Philips Electronics N.V. Biopsy guide system with an ultrasound transducer and method of using same
US20150366546A1 (en) * 2014-06-18 2015-12-24 Siemens Medical Solutions Usa, Inc. System and method for real-time ultrasound guided prostate needle biopsies using a compliant robotic arm
US20180000446A1 (en) * 2014-12-24 2018-01-04 Koninklijke Philips N.V. Needle trajectory prediction for target biopsy

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033667A (zh) * 2021-03-26 2021-06-25 九江学院 一种超声图像两阶段深度学习的乳腺肿瘤分类方法和装置

Also Published As

Publication number Publication date
WO2020002620A1 (en) 2020-01-02
EP3813676B1 (en) 2023-11-08
US20210259660A1 (en) 2021-08-26
JP7357015B2 (ja) 2023-10-05
JP2021528158A (ja) 2021-10-21
EP3813676A1 (en) 2021-05-05

Similar Documents

Publication Publication Date Title
JP7357015B2 (ja) 生検予測及び超音波撮像によるガイド並びに関連するデバイス、システム、及び方法
JP7407790B2 (ja) 誘導肝イメージングのための人工ニューラルネットワークを有する超音波システム
EP2878270B1 (en) Method and ultrasound apparatus for providing ultrasound elastography image
CN111315301B (zh) 用于将超声乳房图像与其他成像模态的乳房图像相关的超声系统和方法
CN114096199B (zh) 在超声探头的瞄准期间对目标的表示
US9324155B2 (en) Systems and methods for determining parameters for image analysis
US11607200B2 (en) Methods and system for camera-aided ultrasound scan setup and control
EP3017765B1 (en) Ultrasound diagnosis apparatus and method
EP4018936B1 (en) Ultrasonic diagnostic apparatus and control method for ultrasonic diagnostic apparatus
US20210312652A1 (en) Automated prostate analysis system
US11317895B2 (en) Ultrasound diagnosis apparatus and method of operating the same
US20170206653A1 (en) Medical imaging device and method of operating the same
US20200345325A1 (en) Automated path correction during multi-modal fusion targeted biopsy
US20220160335A1 (en) Ultrasound diagnostic apparatus and method of controlling ultrasound diagnostic apparatus
EP3866697B1 (en) Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods
CN107809956B (zh) 超声设备及其操作方法
US11096667B2 (en) Ultrasound imaging apparatus and method of controlling the same
KR20170042195A (ko) 초음파 장치 및 그 제어방법
EP3015073B1 (en) Ultrasound imaging apparatus and method of operating the same
JP2019115487A (ja) 超音波撮像装置、画像処理装置、及び方法
CN113349819A (zh) 用于检测医学图像中的异常的方法和系统
US20210038184A1 (en) Ultrasound diagnostic device and ultrasound image processing method
KR20220012462A (ko) 담낭 용종의 진단에 대한 정보 제공 방법 및 이를 이용한 담낭 용종의 진단에 대한 정보 제공용 디바이스

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination