CN103908300B - 诊断超声成像中的针增强 - Google Patents

诊断超声成像中的针增强 Download PDF

Info

Publication number
CN103908300B
CN103908300B CN201410002917.5A CN201410002917A CN103908300B CN 103908300 B CN103908300 B CN 103908300B CN 201410002917 A CN201410002917 A CN 201410002917A CN 103908300 B CN103908300 B CN 103908300B
Authority
CN
China
Prior art keywords
pin
frame
candidate
ultrasound data
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410002917.5A
Other languages
English (en)
Other versions
CN103908300A (zh
Inventor
王鹏
T.陈
A.卡门
J.斯托尔
D.科马尼丘
S.古德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Medical Solutions USA Inc
Original Assignee
Siemens AG
Siemens Medical Solutions USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG, Siemens Medical Solutions USA Inc filed Critical Siemens AG
Publication of CN103908300A publication Critical patent/CN103908300A/zh
Application granted granted Critical
Publication of CN103908300B publication Critical patent/CN103908300B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

增强医疗诊断超声图像中的针。通过来自多个超声图像的复合，适应性地增加和/或增强与图像中的针关联的图像强度。过滤方法和概率方法被用于定位可能的针定位。在一种途径中，在以相同的时间但在不同波束定向上获取的组成帧中找出可能的针。跨组成帧来将可能的针相互关联，并且基于关联去除误检测。在超声组成帧中的针检测的一个实施例中，首先找出线。然后对线进行搜索以找出可能的针线段。在另一实施中，可能使用来自不同时间的数据以找出针运动以及与基准的差异，从而除了来自单个组成帧的特征以外还提供这些特征用于针检测。

Description

诊断超声成像中的针增强
技术领域
本实施例涉及在超声图像中识别针的定位。
背景技术
在活体检查、药物递送或其它医疗处置期间，将针插入患者内。医师经常将超声图像用于引导以避免刺破没有在被治疗的器官、改善精度以及/或者改善成果。由于在超声图像中的噪声的原因，可能难以可靠地查看针。针的可见性取决于针定向和超声波束定向之间的角度。当超声波束垂直于针定向时，针反射被最大化。针和超声探头定位是通过解剖学阐释的，因此可能不会提供垂直的扫描布置，尤其是针对被深度插入的针。
被主动地操控的超声波束可以被用于增加可见性。所得到的扫描数据可以被用于检测针。哈夫（Hough）变换被用于检测可能的针，可能的针被参数化为线。假定只有一个针存在，则最可能的针被检测为针。所检测的针被从操控的图像中剪切并且然后与在所选择的视图处的超声图像取平均以增强针的可见性。然而，哈夫变换可能易受超声图像中的噪声影响。
诸如电磁或磁性传感器的传感器可能被连接至针。这些传感器被用于追踪针的位置。可能对医师高亮显示该位置。然而，附加的传感器增加成本，要求定期的校准，并且可能改变已存在的临床工作流程。
发明内容
通过介绍的方式，以下描述的优选实施例包括用于增强医疗诊断超声图像中的针的方法、系统、指令和计算机可读介质。通过从多个超声图像进行复合来适应性地增加和/或增强与图像中的针关联的图像强度。过滤方法和概率方法被用于定位可能的针定位。在一种途径中，在以相同的时间但在不同的波束定向上获取的组成帧中找出可能的针。跨组成帧来将可能的针相互关联，并且基于所述关联去除误检测。在超声组成帧中的针检测的一个实施例中，首先找出线。然后对线进行搜索以找出可能的针线段。在另一实施中，可能使用来自不同时间的数据以找出针运动以及与基准的差异，从而除了来自单个组成帧的特征以外还提供这些特征用于针检测。
在第一方面中，提供了用于增强医疗诊断超声图像中的针的方法。分别利用不同的波束定向获取多个超声数据帧。多个超声帧表示患者和患者内的针。在多个超声数据帧中检测针候选。将一个超声数据帧中的针候选与其它超声数据帧中的其它针候选相关联。基于该关联去除多个数据帧中的针候选中的一些。显示患者和针的图像。被显示的针是来自在被关联的针的定位处的多个超声数据帧的加权的复合（compounding）的函数。
在第二方面中，非暂态计算机可读存储介质已经将表示可由被编程的处理器执行的、用于增强医疗诊断超声图像中的针的指令的数据存储在其中。该存储介质包括用于如下的指令：针对由用于不同图像的超声数据表示的多个可能的针中的每一个来计算第一概率；针对跨不同图像的可能的针的每种组合确定第二概率，第二概率是第一概率和位移惩罚的函数；去除其中第二概率在阈值以下的组合；以及根据在针的定位处的超声数据的加权的复合来生成图像，该加权是针对剩余的一个组合的第二概率的函数。
在第三方面中，提供了用于增强医疗诊断超声图像中的针的系统。存储器在操作中存储表示患者的在不同时间的区域以及在该区域中的针的数据。处理器被配置成在表示在不同时间中的第一个时间时的该区域的数据中识别线候选、基于像素对线候选打分、搜索具有高于阈值的得分的线候选以搜寻候选线段、基于在不同时间上的运动和与基准数据的差异对候选线段打分、以及增加沿着一个或多个候选线段的数据的强度（intensity）。显示器在操作中显示作为所增加的强度的函数的图像。
本发明由后面的权利要求定义，并且本部分中不存在应当被当作对那些权利要求的限制的内容。以下结合优选的实施例讨论本发明的进一步的方面和优点并且可以在稍后独立地或组合地要求这些方面和优点的权益。
附图说明
组成和图不必是按比例的，相反重点被放在图解本发明的原理上。此外，在图中，贯穿不同的视图相似的附图标记标识相对应的部分。
图1是用于检测和增强医疗诊断超声图像中的针的方法的一个实施例的流程图；
图2是用于增强医疗诊断超声图像中的针的系统的一个实施例的框图；
图3是患者内的针的图形表示；以及
图4是用于检测医疗诊断超声图像中的针的方法的一个实施例的流程图。
具体实施方式
针或其它线结构的可见性在通过徒手或其它超声探头获取的超声图像中被增强。针是根据超声数据定位的并且被增强以用于超声成像。不是尝试初始地在每个给定的图像中识别单个定位，而是在一个或多个图像中识别可能的定位的集合。为了更精确地在每个给定的图像中识别针定位，使用来自不同图像的可能的定位。通过使用多个可能的定位，可以提供更精确的检测。从多个候选中选择最佳的可能的定位。
使用活体检查针作为例子。途径并不被限制于针而是可以被应用于具有线结构的任意类型的装置。
在一个实施例中，在利用不同的波束定向获取的被操控的超声图像中检测一个或多个针。可操控过滤特征和黑森（Hessian）特征被用于在多个被操控图像中估计位置和定向。在每个所获取的被操控超声图像处检测针候选。跨不同的被操控图像建立在针候选当中的关联。被关联的针候选被假定为对应于在不同图像中的相同的针。去除误检测，并且基于针候选关联恢复缺失的检测。针检测结果被用于通过复合多个被操控的图像或通过在一个超声图像中增强可见性来增强针可见性。可以通过针检测结果自动地调整超声成像参数。
在针检测的一个实施例中，一个或多个针被定位在层次化检测框架中的超声图像中。首先检测线候选。线候选包括目标针，并且还可以包括看起来类似于线的其它结构。融合多个过滤结果以在单个超声图像中检测具有线结构的装置。然后，沿着线候选针对表示目标装置的线线段执行搜索。层次化的线线段检测框架可以提供计算上的效率。
在任一实施例中，从多个超声图像中检测针可以改善针检测精确度。可以检测并增强相同图像中的多个针。可以利用徒手超声探头执行针检测。
图1示出用于检测和增强医疗诊断超声图像中的针的方法的一个实施例。该方法由图2的系统或不同的系统执行。以所示出的顺序或不同的顺序执行该方法。例如，在动作34之前执行动作36。可以提供附加的、不同的或更少的动作。例如，不提供动作40。作为另一例子，在没有动作38的加权的复合的情况下增强针。在又一例子中，针对要被在时间上过滤的图像序列而不是针对被操控的空间复合来提供方法。
在动作30中，获取超声数据。超声数据是通过二维或三维地进行扫描（例如，平面或体积扫描）而获取的。超声数据表示患者的区域。区域包括被引入到患者内的针或其它线性结构。通过对区域进行扫描，还扫描针的一部分或整个针。
超声数据被获取为数据帧。帧表示患者在给定时间的整个扫描区域、平面区域或体积区域。通过重复扫描，获取表示在不同时间的相同区域的数据帧。可以使用除帧以外的其它分组。
针对被操控的空间复合获取数据组成帧。数据组成帧具有不同的空间响应。数据组成帧被电操控、机械操控或者通过换能器的空间放置来操控数据组成帧。在不同的操控角度上获取被操控的数据组成帧中的每个或多个。如通过利用或者不利用有意的摆动将换能器维持在相同的位置，来使数据组成帧中的每一个跨越目标的区域的基本上相同的空间范围。对于数据组成帧中的每一个而言，超过90%的大半部或几乎整个被扫描区域与其它组成帧的被扫描区域交迭。
数据组成帧中的一个相较于数据组成帧中的另一个对相对于被扫描区域中的至少一个定位的至少一个不同的扫描线角度作出响应。对于患者内的至少一些定位而言，来自不同的组成帧的交叉的扫描线至少针对组成帧中的两个处于不同的角度。从不同的方向扫描定位提供不同的空间响应。
在替选的实施例中，使换能器在获取数据的序列帧期间运动，诸如与扩展的成像视场关联地。在使用非线性扫描模式的情况下、在换能器被转动而且平移的情况下、或者在多个换能器被空间地放置以获取目标图像的情况下，不同的数据组成帧可以从不同角度表示交迭的区域，从而提供不同的空间响应。通过组合用于交迭的区域的数据，提供被操控的复合。
获取表示相同或不同区域的两个或更多个数据帧。例如，三个数据组成帧的扫描线具有相同的格式，但扫描不同的、交迭的区域。可以以任意的格式—诸如线性、弯曲线性、扇形、弯曲扇形、Vector®、弯曲的Vector®以及它们的组合—获取扫描线。例如，分别针对三个数据组成帧，以线性或一般地矩形或平行四边形的扫描格式在三个不同的角度上（例如，+/-10度和正交）操控利用线性换能器获取的扫描线。
对于一个数据组成帧而言，扫描线起源于在换能器上的不同位置处，但两个或更多个扫描线可以起源于相同的位置。使用线性格式，扫描线是平行的并且相对于扫描线与换能器上的原点的交叉在相同的方向上。每个组成帧的扫描线的大半部在相同的方向上延伸。作为另一例子，通过针对扇形或Vector®格式利用在换能器14上或在换能器14后面的扫描线顶点位置进行扫描来提供与换能器的面所成的不同角度。沿着换能器表面的扫描线密度要么是均匀的要么作为扫描线位置的函数而改变。对于一个数据帧而言的扫描线密度不同于对于另一数据帧的扫描线密度，诸如具有不同的均匀密度或者在密度的改变上具有差异。
数据组成帧中的每一个对应于不同的操控角度或空间响应。例如，针对一个数据组成帧扫描线的大部分在第一方向上—诸如从换能器向左10度—延伸。针对另一数据组成帧扫描线的大部分在从换能器向右10度上延伸。针对第三数据组成帧扫描线的大部分正交于换能器。对于两个、三个、四个或更多的组成帧可以使用除了正10度或负10度以及零之外的不同的操控角度。
数据帧包括表示视场或被扫描区域的样本。超声数据是在检测之前的波束成形的数据、在扫描转换之前的被检测数据（例如，B型、流动型、速率、能量或改变）、在扫描转换之后的数据、或者被作为图像显示的数据。超声数据是用于显示的图像数据，但图像数据可以是被获取以生成图像的数据。术语像素和图像可以被用于指实际被显示的图像或者指用于生成显示的定位和数据帧。
在动作32中，超声数据帧被用于检测一个或多个针。通过首先向数据帧应用可操控的过滤器并且然后通过使用基于学习的检测器剪除过滤结果来检测针。
在多个数据帧中检测针候选。例如，在用于被操控的空间复合的多个组成帧的每一个中检测一个或多个针候选。替选地可以在数据帧的序列的每一个中检测针候选。
针对每个数据帧的检测可以独立于针对其它数据帧的检测。在一个帧中对候选针的初始检测不依赖于在另一帧中对该候选针的检测。在替选的实施例中，提供了在多个帧中对针候选的联合检测。
可以使用任意的线结构检测。针被表示为在灰度等级（例如，B型）超声图像或数据帧中的脊状模型。针被记作R（W,L,K,θ,xc,yc），其中W和L是针的宽度和长度，K是被表示为图像强度的针反射，θ是图像中的针定向，并且（xc,yc）是针的中心位置。可以使用针的其它参数设定。被参数化的针R可以被看作为2D强度函数（intensity function）。针的检测是根据超声数据帧来估计针参数集合X={W,L,K,θ,xc,yc}。
在一个实施例中，可操控的过滤方法被用于检测针。利用用于识别线结构的方向过滤来对每个数据帧进行过滤。对数据组成帧进行过滤。可操控的过滤提供对通过图像中的点的线的定向和强度（strength）的估计。能够使用多等级可操控过滤来估计针宽度。可以使用能够估计针的一部分的定向和强度的其它过滤方法。在一个实施例中应用黑森过滤。
可操控过滤在三个定向上计算过滤器的响应，并且在不同于三个定向的任意其它定向上对过滤响应进行插值。在一个实施例中，过滤器是高斯函数的二阶导数。调整高斯函数的内核大小以与针宽度配合。在多等级可操控过滤中使用多个内核大小。可以根据多个过滤结果估计针宽度。其它的过滤器可以被用于可操控过滤。在可操控过滤器中的三个定向可以是水平的、竖直的以及对角的或者其它。附加的定向可以被用于过滤。
可操控过滤的结果被用于计算点属于针的概率。由于噪声的原因，该图像过滤方法可能仍会产生误检测。训练基于学习的检测器以进一步在低质量图像中识别脊状候选。
可以使用任意的机器训练。被机器训练的分类器是任意的一个或多个分类器。可以使用单类或二值分类器、不同分类器的集合、级联分类器、层次化分类器、多类分类器、基于模型的分类器、基于机器学习的分类器或者它们的组合。多类分类器包括CART、K-最近邻、神经网络（例如，多层感知器）、混合模型或者其它。可以使用概率提升树。
在检测期间，被训练的针检测器验证来自可操控过滤的候选是属于真实的针还是由噪声产生。分类器输出概率P(X)和估计的、与图像中的每个点X关联的定向。
属于真实针的、要么来自过滤要么来自检测器的点候选被用于检测针。在一个实施例中，检测器能够被训练以基于点候选来检测针。可以使用任意的机器训练。可以使用单类或二值分类器、不同分类器的集合、级联分类器、层次化分类器、基于模型的分类器、基于机器学习的分类器或者它们的组合。可以使用概率提升树。到分类器的输入可以包括与线候选关联的数据、过滤结果、点候选的估计结果。
图4示出用于检测医疗诊断超声图像中的针的另一方法。在层次化检测框架中，首先检测线候选。线候选包括针24，并且还可以包括看起来类似于线的其它结构。然后，对线候选进行搜索以搜寻表示针24的线线段。层次化检测框架可以提供计算上的效率。
通过图2的系统或者不同的系统来执行该方法。以所示出的顺序或者不同的顺序执行该方法。可以提供附加的、不同的或更少的动作。例如，不提供动作62。作为另一例子，在没有动作60的强度（intensity）增加的情况下增强针。图2的方法的方面可以被用在图4的方法中，诸如被操控的空间复合以及跨图像关联。图4的方法的方面可以被用在图2的方法中，诸如将线-线段层次化用于检测各个针候选以及/或者将运动历史或与基准的差异用于在多个帧中的检测。
在动作50中，获取超声数据的一个或多个帧。帧不被用于被操控的空间复合。相反，帧表示在没有进行不同操控的序列中的区域和针24。在替选的实施例中，帧是用于被操控的空间复合的组成帧。可以只获取单个帧。可以使用除帧以外的其它的数据分组。可以使用以上讨论的用于动作30的任意的获取。可以通过扫描或通过从存储器传递来获取数据。
在动作52中识别线候选。从表示患者区域的超声数据中识别线候选。在单个帧中识别线候选。对于在多个帧中进行识别而言，提供针对每个帧的分离的或者独立的识别。替选地，提供跨帧的联合识别。
线候选是没有端点的直线。线候选从被扫描区域的一个边缘延伸到另一边缘。线候选被定义为L=（ρ，θ），其中θ是线定向，并且ρ是从原点到线的最短距离。图3示出由线段和尾部构成的线。
在一个实施例中，使用可操控的过滤识别沿着线候选的点。例如，使用以上针对图1讨论的可操控过滤。在替选的实施例中，使用另一类型的过滤以检测与线关联的数据。例如，应用黑森过滤器。与可操控过滤一样，黑森过滤器被设计成检测线结构。可以组合不同类型的过滤，诸如针对针检测执行黑森过滤和可操控过滤这两者。
过滤被设定成去除不与线关联的数据并且保留与线关联的数据。结果是检测沿着用于针的线候选的点。针24具有宽度。可以基于所期待的针24的宽度和扫描的等级来对过滤—诸如内核的大小—进行设定。替选地，可以从多等级过滤中推断宽度。使用宽度信息可以避免识别到诸如与骨骼关联的过宽的线。
在动作54中，对线候选打分。得分指示线候选的强度（strength）。得分可以是概率、被归一化的加权或者所计算的数值。针对每个线候选确定得分。
得分基于沿着线的数据。就图像来说，得分基于线的像素。对来自每个定位的贡献求和以提供得分。来自动作52的过滤的输出或者在动作52的过滤之前的数据被用于得分。
可以使用任意的得分。在一个实施例中，对可操控的过滤的结果应用哈夫变换。多个过滤器可以被用于给定的线候选。假定像素被标注为p，则来自用于该像素的过滤器的响应被分别标注为针对幅度和定向的Mag（p）和Ori（p）。来自第i个过滤器的对候选线L的投票为C（p）：
Ci(p)=Magi(p)cos(θ-Orii(p)) (1)
线候选的得分C(L)是沿着线L的所有像素的得分的和：
Ci(L)=∑Ci(p)，其中p在集合L中 (2)
可以针对每个过滤器将投票得分归一化为[0, 1]。在使用多个过滤器的情况下，对得分进行组合。可以使用诸如平均的任意的组合。可以使用加权的平均。例如，一种类型的过滤器可以被考虑为更具决定性，因此来自该过滤的得分被相对更高地加权。最终的线候选投票置信得分可以被给出为：
C(L)=∑iwiCi(L) (3)
其中wi是第i个过滤器的加权。
找出具有最大置信得分的线候选。识别对应于最大置信得分的线候选。使用阈值，因此可以定位任意数量的、具有足够得分的线候选。在其它实施例中，数量被限制，诸如为5个或更少的线候选。在多于5个的线候选超出阈值的情况下，选择前5个线候选。可以使用其它的阈值分割或选择。
在动作56中，从所选择的线候选中找出线段候选。针对每个线候选找出一个或多个线段。在一个实施例中，针对每个线候选只找出一个线段候选。线段是线的一部分。线段具有一个或多个端点。线段被定义为S=(ρ, θ, Seg)，其中Seg定义在线上的线段。图3示出在由ρ，θ定义的线上的线段Seg。线的并非是线段Seg的部分的其它部分是尾部。线段对应于针24沿着线的定位。
在识别出线候选之后，对线进行搜索以找出针对于针参数S=(ρ, θ, Seg)的线段。可以使用任意的搜索标准。例如，计算沿着线的被过滤结果在强度（intensity）上的差异。可能的端头定位被放在沿着线的不同定位处并且对在线的每一侧上的强度求和。具有总和方面的最大差异的定位指示将线段与尾部分离的端头定位。在另一途径中，计算沿着线的梯度。选择在多个定位窗口上的最大梯度。
在动作58中，对线段候选打分。从线候选中识别线段候选可以是部分地或者整个地基于得分。例如，针对沿着线的不同的可能线段计算得分。具有最大得分的线段被选择为针对给定线候选的线段候选。
在一个实施例中，对于沿着线L的每个线段候选S而言，得分被定义为：
C(S)=(((∑集合S中的pC(p))/|S|)-((∑集合S中的p'C(p'))/|S|)|S|的平方根 (4)
其中T是沿着线L的在线段S外部的尾部部分。针对每个候选线，选择具有最大得分的候选线段。
为了定位单个针，选择所有线候选当中的具有最大得分的线段候选作为最终的针检测结果。对于多个针，选择高于阈值得分的任意线段或者前X个线段，其中X是作为针数量由用户输入的。
在单个帧中的线结构检测可能遭受差的质量。在一个实施例中，为了应对其中质量非最佳的那些情况，可以使用使用多个帧的检测。按时间序列相继地获取多个帧。多个帧包括在当前时间以及/或者在当前时间之前获取的组成帧。在一个实施例中，在相同的波束定向上获取多个帧。在另一实施例中，在不同的波束定向上获取多个帧，并且多个帧在空间上被对准。与在单个帧中的检测相比，该方法使用从多个帧中提取的更多特征。使用基于对各个帧中的线和线段的检测的得分，但提供基于其它特征的附加得分。其它特征基于帧之间的对比。
在一个实施例中，基于在来自不同时间的帧上的运动对候选线段打分。针24有可能随时间的推移而连贯地运动。针对每个候选线段，识别将候选线段与尾部分离的点沿着线候选的连贯运动。在时间为t的帧处，通过对帧差异It-It-1进行阈值分割来获得运动像素（p，t），其中I是超声图像。对于给定的候选线L=（ρ，θ），在1D线坐标中将该线中的定位p=（x，y）定义为d，其中d=xsin(θ)+ycos(θ)。运动像素的连贯序列被定义为：
(di,ti)(ρ,θ) 1≤i≤m，其中ti<ti+1，并且di<di+1 (5)
运动像素的序列被用于表示由针运动引起的连贯运动轨迹。最长的运动像素序列的长度被用于量化该连贯运动。找出每条线上的最长运动序列是有向图中的最长路径问题。
在一个实施例中，通过考虑在时间t的运动像素（x，y，t）来找出最长的连贯运动序列。针对通过（x，y，t）的每条线，将该像素转换为线坐标（d, t）。新的运动像素（d, t, s）被添加到这条线，其中s是以这个像素结束的最长运动像素序列的长度。如果在这个像素之前不存在运动像素，则s=1。否则对于ti<t以及di<d，s=1+max Si。在更新运动记录之后，针对在每条线上的每个d，找出最长的运动线段，即最大的s。
可以使用其它途径来识别经过序列以及沿着线的线段的运动。例如，计算端头的速率，并且对该速率进行阈值分割以找出连贯速率的帧的数量。
针对每个线段候选对运动或运动历史打分。可以使用任意的得分，诸如连贯运动的时间量。在一个实施例中，根据运动历史的投票得分被定义为根据线段计算的最大运动路径和在包括相对应的尾部时的最大运动路径之间的差异。更小的差异指示更好的线段候选。可以通过诸如反演的函数或者高斯函数将更小的差异转换成更大的投票得分，以允许在较大得分更有可能反映针24的情况下使用其它特征的得分。
在附加的或替选的实施例中，对与基准数据的差异打分。将当前候选线和/或帧的候选线段与基准数据相比较。例如，将模板、序列中的第一、初始、中间或其它数据帧选择为基准。将当前数据帧与基准进行比较。可以将减法用于比较，但是可以使用类似度或差异的相关或其它测量。比较可以被限定为候选线和/或线段，诸如在过滤之后计算沿着当前帧和基准帧中的候选线的差异。
在一个实施例中，提取在当前帧和在图像获取开始时的帧之间的差异。基准帧或初始帧被标注为I0。在探头不过多运动的假定下，较大的差异意味着由在当前图像和开始帧之间的针运动引起的更多的运动。得分的一个例子被定义为：
Ci(S)=(∑|It(p)-I0(p)|)/|S| (6)
可以使用其它得分。
从多个图像提取用于打分的特征。这样的特征包括运动历史、2D/3D过滤（来自动作56的得分），以及帧差异。可以包括附加的、不同的或者更少的得分。用于在多个帧中的检测的特征不被限制于以上列举的那些。携带装置的时间和/或空间信息的任意类型的特征可以被用于投票。
计算针对每个特征的投票得分。为了对线段候选打分，组合用于不同特征的不同得分。例如，组合针对线段候选的得分、针对运动历史的得分以及针对基准差异的得分。可以使用诸如总和或平均的任意组合。加权的平均可以被用于将一个或多个得分相对于其它得分更强地加权，诸如与其它特征得分相比更强地加权动作56的线段得分。
针对每个候选线段或针对所选择的候选线段数量提供组合的得分。如果最大的得分超过阈值，则相对应的线段被输出为针24。在可能存在多个针的情况下，输出所有具有在阈值之上的得分的线段。在针的数量已知或者需要多个针候选的情况下，相对应数量的具有更大得分的线段被选择为检测结果。
参考图1，针对数据组成帧中的每一个的针候选确定概率。针对每个候选提供概率。所有的候选可以被用于进一步识别如在数据帧中表示的实际针。替选地，可以去除一个或多个候选。例如，阈值可以被应用于概率。该阈值可以被预定或者可以基于选择一定百分比或一定数量的具有更高概率的候选。
在动作34中，对用于不同数据帧的针候选进行关联。该关联识别多个数据帧中的相同的针候选。在一个数据帧中的针候选被与在另一数据帧中的针候选配对或关联。在各个被操控的帧处的候选针的检测可能易于受噪声影响。诸如哈夫变换的简单的投票和阈值分割方法可能引起缺失和误检测。即使利用可操控过滤和基于学习的检测，在各个帧处也可能仍存在误差。在不同帧处的多个针检测结果被相互关联以确认真实的针并进一步去除误检测。
计算在不同帧中的针候选之间的变换。根据该变换确定最有可能或最佳的匹配。在第i个帧处，第j个针候选被表达为Xi,j。来自不同图像的针候选对Xib,jb和Xia,ja之间的变换被记作T(a,b)。针关联是识别针对应以及利用下述的最大概率来估计它们之间的变换：
(7)
替选地，帧中的针候选的每一个被与在其它帧中的所有针候选关联。针对每个可能的匹配来确定变换。
为了针对该变换求解，由分类器或其它源输出的概率被用于计算针对跨帧的针候选组合的概率。可以确定针对每个可能组合的概率以识别具有最大或足够的概率的组合。
为了避免匹配具有实质上不同的定向以及/或者空间位置的候选针，可以用定向和/或位移差异的量来对针对组合的概率加权。这种加权惩罚更大的位移和/或转动。
假定针候选的检测独立于不同图像之间的运动，则等式(7)可以被表示为：
(8)
每个针候选的概率P(X)是来自各个针检测的概率。该概率由机器学习的分类器输出，但可以来自诸如脊状建模的其它源。定义P(T)以惩罚两个候选之间较大的位移。在一个实施例中，P(T)是中心在一个针候选上的高斯型，但可以使用其它的加权函数。设定高斯型的大小或分布以提供基于位移和/或定向的惩罚。可以使用诸如一个用于位移并且一个用于定向的多个惩罚项。
因为可以在不同时间获取组成帧，所以这些帧可能由于患者和/或换能器的运动的原因而未被对准。使用相关或基于传感器的测量，可以确定帧之间的空间偏移。可以诸如通过变更不同图像中的候选针之间的位移和/或定向的测量，来将这种空间偏移合并到惩罚项中。
候选针关联可以被延伸到多于两个图像中的多个针候选，诸如用于三个候选针与三个组成帧的组合。在这样的情况下，可以使用概率数据关联（PDA）或基于图形的优化方法来求解更复杂的关联问题。
在动作36中，去除一个或多个针候选。在使用贪婪方法、基于图形的优化方法或PDA的情况下，针候选中的一个或多个可以不被关联。这些针候选被作为噪声去除。可以通过向针对各个针候选的概率应用阈值来去除其它的针候选。在替选的实施例中，诸如在其中各个检测可能更精确的低噪声状况下，没有针候选被作为各个候选去除。
针对该关联计算的变换或概率被用于去除一个或多个针候选。可以通过根据该关联进行阈值分割来去除针候选。阈值被应用于不同的针候选组合中的每一个。仅与阈值以下的组合关联的针候选被去除。
候选关联和去除可以被迭代。在开始时，在N个不同的超声数据帧处的多个针候选被相互关联。关联的针候选的集合被记作Pool（池）= 。基于候选关联，识别出界外值并将界外值从针池去除。界外值由于缺少关联或仅在阈值以下的组合中使用而被去除。例如，当针的关联概率小于阈值： （其中b=a并且θ 是预定的阈值）时该针为界外值。所有的关联或关联的子集合被阈值分割。
在阈值分割并去除一个或多个针候选之后，确定新的候选关联。然后利用对被更新的候选集合的使用，来精炼关联的针的集合以及它们的变换。剩余的针候选被跨帧匹配并且计算相对应的概率。概率可能由于更少的针候选的原因而不同。可以在更小的区域中搜索关联。可以通过减小惩罚项的带宽或分布或者通过将候选针限制于这样的候选的大半部或半数剩余在池中的区域，来实现更小的区域。
迭代一直继续到关联的针的集合稳定为止。在每次迭代中，执行动作34的关联和动作36的去除。对于每次迭代，区域或惩罚项是相同或者不同的。例如，区域被收缩到设定的水平并且然后保持在相同的水平。一旦在迭代中不再发生去除，则处理被稳定。
以上的方法被应用于超声组成帧的组以检测每个存在的针。剩余的关联的候选被认为是实际的针。如果候选被包括在多于一组关联中，则选择具有更大概率的组并且不使用其它的关联。替选地，候选被认为表示交迭或相邻的针并且两个组都被维持。给定组表示组成帧中的每个中的相同的针。
在动作38中，增强所检测的针。在一个实施例中，将多个组成帧复合在一起来增强针。因为相同的针被表示在每个组成帧中，噪声的效果由于被操控的空间复合而被相对降低。因为针响应构建性地求和而更随机的噪声可能不会构建性地求和到相同强度和/或空间的程度，所以复合增加（一个或多个）针的可见性。被复合的帧可以具有会由一个视图或组成帧所隐藏的更多信息。
对于被操控的空间复合，组合输入或最初获取的组成帧。组成帧可以被低通滤波或者否则在组合前被处理。在其它实施例中，组合由可操控的过滤输出的帧。
组成帧包括表示特定的定位的数据。帧的对准可以被假定为是精确的或者可以在组合之前执行进一步的对准。数据相关或换能器位置传感器可以被用于确定组成帧之间的平移和/或定向改变。
在数据帧表示相同的定位或栅格的情况下，组合来自每个帧的表示给定定位的数值。在一个实施例中，将被检测到的以及被扫描转换的数据帧复合在一起。因为使用被扫描转换的信息，所以组成帧中的每一个的数据为相同的格式和栅格模式或者空间定位取样。在数据帧表示沿着不同栅格取样的情况下，使用最近邻或插值以选择或计算被用于组合的数值。如果在扫描转换之前复合数据，则使用插值、外插或其它处理以复合表示相邻的或类似的但并非相同空间定位的任意数据。
针对沿着帧的每个定位进行组合。数据帧表示至少是在交迭区域中的相同定位。针对表示显示或交迭区域的空间定位来将组成帧复合在一起。不同的定位可以与不同数量的帧以及相对应的数值关联。例如，生成表示多于交迭区域的图像。由于操控的原因，更少的组成帧表示在所有组成帧的交迭区域外部的定位。任意数量的组成帧可以被用于确定针对给定定位的数值，诸如针对交迭区域使用所有的帧，并且针对其它定位使用与所有相比更少的帧。
对组合加权。在一个实施例中，使用相等的加权。组合是针对每个定位的数据的平均。在其它实施例中，使用加权以提供（一个或多个）针的进一步的增强。一个组成帧可以比另一个组成帧更多地被强调。强调可以按照定位改变，诸如针对一个定位一个组成帧高于另一组成帧地被强调并且针对又一定位该另一组成帧高于所述一个组成帧地被强调。替选地，针对组成帧的交迭区域应用相同的加权。
基于在动作36中的去除之后剩余的针候选来选择加权。例如，针对被识别为在不同组成帧中的相同针的候选的关联或组的概率被用于选择加权。作为另一例子，基于针对组成中的各个针候选的概率的相对加权来分配加权。在针在一个组成帧中具有更高概率的情况下，相比于其它组成帧该组成帧被更重地加权。加权的选择可以使用来自概率或其它标准的线性或非线性映射。
在一个实施例中，剩余的针被变换为或者是复合帧或者是组成帧的所选择的超声帧Ic。基于下述的针的权重来变换针：
(9)
其中xb是被变换的针（即，其中第a个图像被用于显示被增强的针）。Pb是被检测的针的概率，根据复合来归一化Pb：
(10)。
概率联系着两个帧中的被关联的针，但可以针对任意数量的帧。归一化合并在不同超声波束定向上的针检测和几何关联，因此实现鲁棒性。可以替选地或附加地使用其它增强。在一个实施例中，增加沿着所选择的（一个或多个）线段的数据的强度或标量值。可以使用任意的增加，诸如通过用常量来进行增加。例如，图像I(p)=I(p)+α，其中α为常量。所得到的沿着线的数值可以被低通滤波以去除更高的频率改变。
在一个实施例中，用作为对可操控过滤的响应的幅度和/或定向的适应性函数的数值来进行增加。例如，用常量和用过滤结果这两者来增加沿着线段的强度：
(11)
其中βi是常量或加权。过滤结果是在针检测中使用的过滤器的所有或子集合，诸如针对一个带宽以及/或者针对与所选择的线段最紧密关联的方向的过滤结果。
可以使用附加或替选类型的增强。例如，在线段定位处覆盖图形。作为另一例子，与针关联的定位被不同地上色。
在动作40中显示图像。利用来自超声图像的被定位的针，使针的表示被增强并且被可视化以用于图像引导。针的增强被显示在选择的超声图像中。该图像是被扫描的区域。患者的组织和（一个或多个）针都被表示在图像中。例如，加权的复合帧被用于生成被操控的空间复合图像。作为另一例子，组成帧被用于生成没有复合的图像。图像可以是被针对给定类型的扫描或应用优化的超声图像。针和患者的组织被在图像中示出。与未检测到针相比，由于增强的原因，图像更可见地示出（一个或多个）针。
对于被操控的空间复合，具有表示在患者中的定位的数值的复合帧被用于确定像素或图像数值。图像为交迭区域，但可以包括其它定位。图像是根据组合的视图生成的空间复合图像。从动作38的复合输出复合帧。可以使用进一步的处理，诸如空间地和/或在时间上过滤复合的数据帧。
为了进一步改善（一个或多个）针的可见性，超声换能器或探头可以被运动到不同的定位并且重复图1的方法。在其它实施例中，探头被运动以获取组成帧或者在不同的探头位置处获取不同的组成帧组。定位传感器（例如，磁位置传感器）被附接到超声探头上并且/或者基于数据的配准被用于确定来自不同探头位置的组成帧的相对空间位置。然后在不同探头位置处的针候选被空间地对准以用于关联和复合。
作为图像增强的替选或者附加，可以基于在动作42中的被检测的针来控制超声系统。波束操控方向和/或用于扫描的其它参数被设定为候选线段中的一个或多个的函数。例如，线段候选被选择为针。在给定当前探头位置以及感兴趣区域的情况下与针最为垂直的操控被用于扫描。
超声图像特性可能影响装置检测结果。超声图像特性由超声机器参数定义。这些参数可以被自动地设定以协助检测针。可以在针检测开始时，诸如在动作54中选择线候选之后或者在图4的方法的第一次迭代之后，自动地适配超声机器参数。响应于触发器事件、响应于用户激励而周期性地执行适配，或者在扫描期间连续地执行适配。
一个参数是波束操控角。当开始针检测时，首先在所有可能的角度上搜索波束操控角。可能的角度范围取决于超声机器的物理参数并且可能针对不同的机器和/或换能器而改变。在以多个角度获取的帧处运行针检测。根据基于帧的针检测的置信得分被比较，并且选择根据检测产生最佳置信得分的操控角作为优化的操控角。该参数被用在后续的数据获取中，诸如用来获取帧序列。
参数优化可以以持续进行的方式继续或者可以只在被取样的帧处执行以降低操控波束所要求的时间。在任一情况下，根据检测或追踪的得分被用于优化参数。
超声系统16的其它可调节参数包括但不被限制于超声焦距和频率。可以测试不同的设定以确定对得分的效果和得到的针可见性。联合地执行所有参数的优化，或者以贪婪方式执行所有参数的优化。在联合优化中，在如下的帧集合上获取参数，该帧集合是在所有可调节参数的联合集合上获取的。在贪婪优化中，参数首先被优化并固定。然后后续地优化其它参数。参数优化可以在图像获取期间被连续地执行或者在被取样的帧处执行。
在图像获取期间可能有多个参数设定。针对如以上描述的针检测自动地优化一个参数集合。针对临床兴趣或特定于应用而优化另一参数集合。临床兴趣的参数优化可以是由用户手动地作出的、预定的或者是适应性的。在图像获取期间，使用不同参数的帧在每一时间瞬时被同时地获取或者被相互交错地获取。可以通过在一个换能器的多个超声参数集合之间进行自动切换，或者通过在探头上物理地提供多个换能器来实现同时的图像获取。
图2示出用于增强医疗诊断超声图像中的针的系统。系统10包括存储器12、超声系统16、换能器18、处理器26以及显示器28。换能器18被用于扫描针24，并且处理器26根据扫描数据检测针24。可以提供附加的、不同的或者更少的组成。例如，提供网络或网络连接，诸如用于与医疗成像网络或数据档案系统联网。作为另一例子，提供用户界面。
处理器26、存储器12以及显示器28是医疗成像系统—诸如诊断或治疗超声系统16或其它系统—的一部分。替选地，处理器26、存储器12和/或显示器28是档案和/或图像处理系统的一部分，诸如与医疗记录数据库工作站或服务器关联。在其它实施例中，处理器26、存储器12和/或显示器28是个人计算机，诸如桌上型或便携型、工作站、服务器、网络或者它们的组合。可以在不具有用于实现方法的其它组件的情况下提供处理器26、显示器28以及存储器12。
超声系统16是任意的现在已知或者要在稍后被研制的超声成像系统。例如，超声系统16包括用于在声能量和电能量之间进行转换的换能器18。传送和接收波束形成器针对换能器18的不同元件相对地延迟并切趾信号。对被波束形成的信号执行B型、多普勒或其它检测。可以提供扫描转换器、存储器、三维成像处理器以及/或者其它组件。
换能器18是压电或电容性膜元件的一维、二维或多维阵列。例如，换能器18是在手持探头内的元件的一维阵列。在另一实施例中，换能器18是用于在患者内使用的探头—诸如经食管探头或者心脏导管探头—的一部分。
存储器12是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、它们的组合，或者其它现在已知或者要在稍后被研制的用于存储数据或视频信息的存储器装置。存储器12是成像系统的一部分、与处理器26关联的计算机的一部分、数据库的一部分、另一系统的一部分、图片档案存储器或者是单独的装置。
存储器12存储表示患者的在不同时间和/或来自不同操控方向的区域的数据。可以存储数据的单个帧或多个帧。数据包括表示当时在区域中的针24的信息。针24可能相对于区域中的其它结构难以被认出。区域是二维或三维的区域。区域是患者的任意部分，诸如在胸腔、腹部、腿、头、手臂或者它们的组合内的区域。
数据来自利用超声对区域进行的扫描。数据表示在治疗之前、在治疗期间或者在治疗之后的患者。例如，在活体检查期间获取超声数据帧。在针被插入患者内并且在患者内运动之前以及随着针被插入患者内并且在患者内运动，获取超声数据帧的序列。帧可以被操控用于被操控的空间复合或者利用相同的波束操控顺序扫描相同的区域。
存储器12可以存储被处理的数据。例如，存储可操控过滤的结果。作为另一例子，存储被检测的候选定位和/或相对应的概率。可以存储关联。可以存储用于增强针在显示的图像中的可见性的阈值、加权或其它信息。
替选地或附加地，存储器12或其它存储器是存储表示可由被编程的处理器26执行的、用于增强医疗诊断超声图像中的针的指令的数据的计算机可读存储介质。用于实现在此讨论的处理、方法和/或技术的指令被提供在非暂态计算机可读存储介质或存储器—诸如缓存、缓冲器、RAM、可去除的介质、硬盘驱动器或其它计算机可读存储介质—上。非暂态计算机可读存储介质包括各种类型的易失和非易失性存储介质。响应于存储在计算机可读存储介质中或者在计算机可读存储介质上的一个或多个指令集合来执行在图中图解的或者在此描述的函数、动作或任务。函数、动作或任务独立于特定类型的指令集合、存储介质、处理器或处理策略并且可以由软件、硬件、集成电路、固件和微代码等被独自操作或组合地执行。同样地，处理策略可以包括多个处理、多个任务和并行处理等。
在一个实施例中，指令被存储在可去除的介质装置上以用于由本地或远程系统读取。在其它实施例中，指令被存储在远程定位处以用于经计算机网络或在电话线上传递。在再一实施例中，指令被存储在给定的计算机、CPU、GPU或系统内。
显示器28是监视器、LCD、投影仪、等离子显示器、CRT、打印机或其它现在已知或要在稍后被研制的用于输出可视信息的装置。显示器28从处理器26、存储器12或超声系统16接收图像、图形或其它信息。
显示相对于患者区域表示针位置的一个或多个图像。图像可以为定位，诸如显示用于针的坐标。图像可以是表示患者的区域的医疗扫描。医疗装置的定位被高亮显示、被用图形标记或者否则被指示在图像上。在图像序列被显示的情况下，在图像的每一个中指示每个医疗装置的定位。
图像可以是二维图像。在图像中表示平面的或面积的区域。在其它实施例中，表示体积。表示不同平面的多个平面扫描被堆叠或使用以形成体积。可以在三维中执行针检测，诸如使用3D过滤或特征提取。图像是根据体积的渲染。
处理器26是一般的处理器、中央处理单元、控制处理器、图形处理器、数字信号处理器、三维渲染处理器、图像处理器、专用集成电路、现场可编程门阵列、数字电路、模拟电路、它们的组合，或者其它现在已知或要在稍后被研制的用于生成增强的针超声图像的装置。处理器26是串行、并行或分离地操作的单个装置或多个装置。处理器26可以是诸如便携型或桌上型计算机的计算机的主处理器，或者可以是用于应对更大系统中的—诸如成像系统中的—一些任务的处理器。处理器26被由指令、设计、硬件和/或软件配置以能够执行在此讨论的动作，诸如概率函数的迭代方案以从针候选的组中选择定位。
处理器26被配置成从一个或多个超声帧或其它数据组中检测（一个或多个）针24。例如，处理器26被配置成实现图1的方法。超声系统16在动作30中获取数据，然后处理器26执行动作32-38，并且然后显示器28在动作40中显示图像。在另一实施例中，处理器26实现用于针检测的图4的方法。超声系统16在动作50中获取数据，然后处理器26执行动作52-60，并且然后显示器28在动作62中显示图像。
为了协助在序列的其它帧中识别候选，可以在其它帧中追踪来自一个帧的线段。一旦针线段被初始化，就利用追踪模块在后续的帧中连续地定位针。追踪处置被表述为迭代搜索问题：在给出在先前帧中的针线段的情况下，在当前帧中的所生成的假设当中找出最佳匹配。在一个实施例中，两级假设生成框架加快运行时间同时维持性能。在第一级中，在所有线候选当中找出最佳线：
L* t =arg max关于is(Li)·Φ(Lt-1,Li) (12)
其中s(Li)是针沿着Li的可能性（例如，得分），并且Φ(Lt-1,Li)是正规化项或者空间加权以避免较大的角度改变。具有类似位置和得分的线候选被识别为在其它帧中的相同候选。
在第二级中，在线段候选当中找出最佳线段（例如，针端头）。
S* t =arg max关于is(Si)·Φ(St-1,Si) (13)
其中s(Si)是针端头在Si处的可能性（例如，得分），并且Φ(St-1,Si)是正规化项以避免较大的沿着线的针端头位移。
用来自帧序列的观测集合计算可能性函数。例如，可能性包括：第一帧和当前帧之间的差异图像；先前帧和当前帧之间的差异图像；可操控的过滤响应；模板匹配；以及/或者光学流动。模板匹配将当前线段或线信息与所期待线段或线信息的模板进行比较。光学流动是观察者和场景（帧）之间的运动的测量。可以使用用于可能性的附加的、不同的或更少的得分。
替代或附加于在组成帧中进行检测（例如，在单个操控波束方向上），可以对复合的帧应用检测。这些方法可以被应用于3D和3D+t超声帧。在3D中，借助3D过滤（例如，3D可操控过滤和3D黑森过滤）来应用在单个帧处的检测算法。在3D+t图像中，可以借助与基准的差异以及体积之间的运动历史，来应用在于时域中相继地获取的多个体积处的检测算法。当在3D中检测线结构时，像素定位和定向也是3D的。
尽管以上已经通过参照各种实施例描述了本发明，但应当理解可以在不脱离本发明的范围的情况下作出许多改变和修改。因此意图在于将前述的详细描述视为是图解性的而不是限制，并且应理解意图由后面的权利要求，包括所有的等同来定义本发明的精神和范围。

Claims (11)

1.一种用于增强医疗诊断超声图像中的针的方法，所述方法包括：
分别利用不同的第一和第二操控来获取第一和第二超声数据帧，使得对第一和第二超声数据帧两者共同的扫描区域内的位置具有来自不同角度的交叉扫描线，所述第一和第二超声数据帧表示患者和所述患者内的针；
由处理器在第一超声数据帧中检测针候选；
由所述处理器并且与从所述第一超声数据帧中的所述检测分开地从第二超声数据帧中检测针候选；
将来自所述第一超声数据帧的针候选与来自所述第二超声数据帧的针候选配对，来自第一和第二超声数据帧的针候选的所述配对是在从第一和第二超声数据帧中分离地检测之后进行的；
显示所述患者的图像，所述图像具有基于所述第一超声数据帧中的针候选与所述第二超声数据帧中的针候选的配对的被增强的针；以及
适配超声扫描参数以用于随后的获取，所述适配基于来自所述检测和配对的所述被增强的针，所述超声扫描参数是波束操控角、焦距或频率。
2.根据权利要求1所述的方法，其中获取包括针对被操控的空间复合进行获取，并且其中显示包括将所述图像显示为被操控的空间复合图像。
3.根据权利要求1所述的方法，其中在所述第一和第二超声数据帧中检测针候选包括可操控地过滤所述第一和第二超声数据帧，根据可操控过滤的结果计算特征，以及利用机器学习的分类器根据所述特征计算概率，其中根据所述概率检测针候选。
4.根据权利要求1所述的方法，其中在所述第一和第二超声数据帧中检测针候选包括检测针的层次化框架。
5.根据权利要求4所述的方法，其中在所述第一和第二超声数据帧中检测针候选包括方向过滤，基于多个过滤结果的哈夫投票，根据多个帧计算特征，以及执行层次化的检测。
6.根据权利要求1所述的方法，其中所述配对还包括计算在所述第一超声数据帧中的针候选与在所述第二超声数据帧中的针候选的每一个之间的变换。
7.根据权利要求1所述的方法，其中所述配对还包括针对跨所述第一和第二超声数据帧的针候选的不同组合中的每一个计算概率，利用位移量加权所述概率，并且进一步包括基于被应用于所述不同组合的概率的阈值来去除针候选的子集合。
8.根据权利要求7所述的方法，进一步包括重复所述配对和去除，在被去除的针候选内进行所述重复。
9.根据权利要求1所述的方法，进一步包括计算加权，针对所述第一和第二超声数据帧中的每一个的所述加权包括归一化的概率。
10.根据权利要求1所述的方法，其中基于所述针来适配超声扫描参数包括周期性地进行适配。
11.一种非暂态计算机可读存储介质，在其中存储了指令，所述指令在被执行时促使处理器执行根据权利要求1至10中任一项所述的方法。
CN201410002917.5A 2013-01-03 2014-01-03 诊断超声成像中的针增强 Active CN103908300B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/733,310 US9642592B2 (en) 2013-01-03 2013-01-03 Needle enhancement in diagnostic ultrasound imaging
US13/733310 2013-01-03
US13/733,310 2013-01-03

Publications (2)

Publication Number Publication Date
CN103908300A CN103908300A (zh) 2014-07-09
CN103908300B true CN103908300B (zh) 2018-04-24

Family

ID=50928526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410002917.5A Active CN103908300B (zh) 2013-01-03 2014-01-03 诊断超声成像中的针增强

Country Status (5)

Country Link
US (1) US9642592B2 (zh)
JP (1) JP6230917B2 (zh)
KR (1) KR101907550B1 (zh)
CN (1) CN103908300B (zh)
DE (1) DE102013021729B4 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101478623B1 (ko) * 2012-11-07 2015-01-02 삼성메디슨 주식회사 니들의 가이드 라인을 제공하는 초음파 시스템 및 방법
US20140296694A1 (en) * 2013-04-02 2014-10-02 General Electric Company Method and system for ultrasound needle guidance
JP6123458B2 (ja) * 2013-04-25 2017-05-10 コニカミノルタ株式会社 超音波画像診断装置及び超音波画像診断装置の作動方法
CN105491955B (zh) * 2013-08-30 2018-07-03 富士胶片株式会社 超声波诊断装置及超声波图像生成方法
JP6447071B2 (ja) * 2013-12-11 2019-01-09 コニカミノルタ株式会社 超音波診断装置、超音波画像処理方法、および、プログラム
CN106413565B (zh) * 2013-12-20 2019-12-17 皇家飞利浦有限公司 自动超声波束操纵和探针伪影抑制
JP6364942B2 (ja) * 2014-05-08 2018-08-01 コニカミノルタ株式会社 超音波画像処理方法及びそれを用いた超音波診断装置
JP6274001B2 (ja) * 2014-05-08 2018-02-07 コニカミノルタ株式会社 超音波画像処理方法及びそれを用いた超音波診断装置
TWI521225B (zh) 2014-10-01 2016-02-11 佳世達科技股份有限公司 超音波掃描方法及超音波掃描系統
CN104287777B (zh) * 2014-10-17 2017-09-26 苏州佳世达电通有限公司 超音波扫描方法及超音波扫描系统
JP6705134B2 (ja) * 2015-08-21 2020-06-03 コニカミノルタ株式会社 超音波画像診断装置、超音波画像処理方法及び超音波画像処理プログラム
EP3309752B1 (en) * 2015-10-09 2021-01-27 IHI Corporation Line segment detection method
KR20170060852A (ko) * 2015-11-25 2017-06-02 삼성메디슨 주식회사 초음파 영상을 제공하는 방법 및 이를 위한 초음파 장치
CN105806473B (zh) * 2016-03-14 2018-12-11 苏州佳世达电通有限公司 超音波探头的参数设定方法
DE102016221220B4 (de) * 2016-10-27 2023-09-28 Siemens Healthcare Gmbh Verfahren zur Ermittlung eines darzustellenden Überlagerungsbildes, Darstellungseinrichtung, Computerprogramm und Datenträger
US10932749B2 (en) * 2016-11-09 2021-03-02 Fujifilm Sonosite, Inc. Ultrasound system for enhanced instrument visualization
US11832969B2 (en) 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
US11953593B2 (en) * 2017-02-10 2024-04-09 Covidien Lp Systems, methods, and computer readable media for processing and compounding ultrasound images in the presence of motion
US10588596B2 (en) * 2017-03-14 2020-03-17 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging
US10102452B2 (en) 2017-03-14 2018-10-16 Clarius Mobile Health Corp. Systems and methods for identifying an imaged needle in an ultrasound image
US11642097B2 (en) * 2017-06-19 2023-05-09 Koninklijke Philips N.V. Interleaved imaging and tracking sequences for ultrasound-based instrument tracking
JP6836652B2 (ja) * 2017-08-25 2021-03-03 富士フイルム株式会社 音響波診断装置および音響波診断装置の制御方法
CN111629672B (zh) * 2018-01-23 2024-08-23 皇家飞利浦有限公司 提供针插入引导的超声成像系统
KR102219890B1 (ko) 2018-02-28 2021-02-24 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
WO2019168310A1 (ko) * 2018-02-28 2019-09-06 서울대학교산학협력단 딥러닝을 이용한 의료영상의 공간 정규화 장치 및 그 방법
KR102133695B1 (ko) * 2018-07-11 2020-07-14 동국대학교 경주캠퍼스 산학협력단 니들 가이드 시스템 및 그 방법
US20210267577A1 (en) * 2018-07-19 2021-09-02 Mayo Foundation For Medical Education And Research Systems and Methods for Removing Noise-Induced Bias in Ultrasound Blood Flow Imaging
KR102160443B1 (ko) * 2018-07-31 2020-09-28 한양대학교 산학협력단 탄성파 자료를 처리하는 방법, 이를 이용하는 탄성파 처리 장치, 및 프로그램
US20210251602A1 (en) * 2018-08-22 2021-08-19 Koninklijke Philips N.V. System, device and method for constraining sensor tracking estimates in interventional acoustic imaging
US11896424B2 (en) * 2018-12-05 2024-02-13 Fujifilm Sonosite, Inc. Automated needle entry detection
CN109589145A (zh) * 2018-12-28 2019-04-09 吴莹 一种智能化肾穿刺控制系统
US20210015448A1 (en) * 2019-07-15 2021-01-21 GE Precision Healthcare LLC Methods and systems for imaging a needle from ultrasound imaging data
CN110236652B (zh) * 2019-07-16 2020-12-22 无锡祥生医疗科技股份有限公司 穿刺针增强显示装置、方法及存储介质
EP4033987A1 (en) 2019-09-26 2022-08-03 Koninklijke Philips N.V. Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
JP7427902B2 (ja) * 2019-10-02 2024-02-06 コニカミノルタ株式会社 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置
WO2021072041A1 (en) * 2019-10-08 2021-04-15 Smith & Nephew, Inc. Methods for improved ultrasound imaging to emphasize structures of interest and devices thereof
US20240164742A1 (en) * 2021-03-24 2024-05-23 John Michael Galeotti System and Method for Tracking a Curved Needle
CN113040878B (zh) * 2021-03-25 2022-08-02 青岛海信医疗设备股份有限公司 超声穿刺针的位置信息处理方法、超声设备及存储介质
CN113534095B (zh) * 2021-06-18 2024-05-07 北京电子工程总体研究所 一种激光雷达地图构建方法和机器人自主导航方法
CN113208710B (zh) * 2021-07-08 2021-08-31 深圳华声医疗技术股份有限公司 穿刺针显影增强方法、装置、超声设备及存储介质
US20230131115A1 (en) * 2021-10-21 2023-04-27 GE Precision Healthcare LLC System and Method for Displaying Position of Echogenic Needles
WO2023101707A1 (en) 2021-12-02 2023-06-08 Poplaw Steven System for color-coding medical instrumentation and methods of use

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525547A (zh) * 2010-12-27 2012-07-04 通用电气公司 用于增强超声成像中针可视化的方法与装置
CN102727257A (zh) * 2011-03-31 2012-10-17 通用电气公司 穿刺针可视化方法和装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4763652A (en) * 1986-04-16 1988-08-16 Northgate Research, Inc. Aiming system for kidney stone disintegrator
US6951542B2 (en) 2002-06-26 2005-10-04 Esaote S.P.A. Method and apparatus for ultrasound imaging of a biopsy needle or the like during an ultrasound imaging examination
CA2559053C (en) 2004-03-09 2015-11-03 Robarts Research Institute An apparatus and computing device for performing brachytherapy and methods of imaging using the same
JP4575033B2 (ja) * 2004-06-02 2010-11-04 株式会社東芝 超音波診断装置及び超音波診断装置の作動方法
US20060078196A1 (en) * 2004-10-13 2006-04-13 Siemens Medical Solutions Usa, Inc. Distributed apexes for 3-D ultrasound scan geometry
US8343053B2 (en) * 2009-07-21 2013-01-01 Siemens Medical Solutions Usa, Inc. Detection of structure in ultrasound M-mode imaging
US8787635B2 (en) * 2010-05-03 2014-07-22 Siemens Aktiengesellschaft Optimization of multiple candidates in medical device or feature tracking
US8526691B2 (en) * 2010-06-09 2013-09-03 Siemens Aktiengesellschaft System and method for passive medical device navigation under real-time MRI guidance
US8737725B2 (en) 2010-09-20 2014-05-27 Siemens Aktiengesellschaft Method and system for learning based object detection in medical images
US9226729B2 (en) * 2010-09-28 2016-01-05 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP5645628B2 (ja) * 2010-12-09 2014-12-24 富士フイルム株式会社 超音波診断装置
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102525547A (zh) * 2010-12-27 2012-07-04 通用电气公司 用于增强超声成像中针可视化的方法与装置
CN102727257A (zh) * 2011-03-31 2012-10-17 通用电气公司 穿刺针可视化方法和装置

Also Published As

Publication number Publication date
JP2014138847A (ja) 2014-07-31
DE102013021729A1 (de) 2014-07-03
DE102013021729B4 (de) 2024-05-02
CN103908300A (zh) 2014-07-09
JP6230917B2 (ja) 2017-11-15
KR101907550B1 (ko) 2018-10-12
KR20140088840A (ko) 2014-07-11
US20140187942A1 (en) 2014-07-03
US9642592B2 (en) 2017-05-09

Similar Documents

Publication Publication Date Title
CN103908300B (zh) 诊断超声成像中的针增强
KR101908520B1 (ko) 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출
KR101565311B1 (ko) 3 차원 심초음파 검사 데이터로부터 평면들의 자동 검출
CN109584350A (zh) 医学诊断成像中的测量点确定
JP5748636B2 (ja) 画像処理装置および方法並びにプログラム
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
Wen et al. An adaptive kernel regression method for 3D ultrasound reconstruction using speckle prior and parallel GPU implementation
CN103919571B (zh) 超声图像分割
CN101297326A (zh) 从三维图像生成用于显示的二维超声心动图显象视图的系统与方法
Negahdaripour et al. Opti-acoustic stereo imaging, system calibration and 3-d reconstruction
Schwab et al. Multimodal medical image registration using particle swarm optimization with influence of the data's initial orientation
Kang et al. Simulating liver deformation during respiration using sparse local features
EP3869458A1 (en) Annular structure representation
Amadou et al. Cardiac ultrasound simulation for autonomous ultrasound navigation
Xu 3D tongue motion visualization based on the B-mode ultrasound tongue images
Lu et al. Three-dimensional multimodal image non-rigid registration and fusion in a high intensity focused ultrasound system
WO2021137115A1 (en) Method and apparatus for registering live medical image with anatomical model
Song et al. Abdominal Multi-Organ Segmentation Based on Feature Pyramid Network and Spatial Recurrent Neural Network
CN117409151B (zh) 一种二维心内超声导管图像的三维表面重建方法及装置
Aase Graph Convolutional Neural Networks for Automated Echocardiography View Recognition: A Holistic Approach
Zhao et al. Dual Generative Adversarial Network For Ultrasound Localization Microscopy
Lawley Automation for patient screening
Mandal et al. Using attention-based convolutional auto-encoders for catheter path reconstruction in ultrasound images
Thomas et al. Graph Convolutional Neural Networks for Automated Echocardiography View Recognition: A Holistic Approach
Cai et al. A feature point extraction and matching algorithm for Wireless Capsule Endoscope image

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220120

Address after: Pennsylvania, America

Patentee after: SIEMENS MEDICAL SOLUTIONS USA, Inc.

Address before: new jersey

Patentee before: SIEMENS AG

Patentee before: SIEMENS medical solutions company