CN109715071A - 用于检测介入工具的装置和方法 - Google Patents

用于检测介入工具的装置和方法 Download PDF

Info

Publication number
CN109715071A
CN109715071A CN201780056859.6A CN201780056859A CN109715071A CN 109715071 A CN109715071 A CN 109715071A CN 201780056859 A CN201780056859 A CN 201780056859A CN 109715071 A CN109715071 A CN 109715071A
Authority
CN
China
Prior art keywords
tool
ultrasound image
image
shadow region
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780056859.6A
Other languages
English (en)
Other versions
CN109715071B (zh
Inventor
M·P·J·屈嫩
N·米哈伊洛维奇
A·普塔黑里安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Priority claimed from PCT/EP2017/073425 external-priority patent/WO2018050885A1/en
Publication of CN109715071A publication Critical patent/CN109715071A/zh
Application granted granted Critical
Publication of CN109715071B publication Critical patent/CN109715071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A61B8/145—Echo-tomography characterised by scanning multiple planes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4461—Features of the scanning mechanism, e.g. for moving the transducer within the housing of the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34—Trocars; Puncturing needles
    • A61B17/3403—Needle locating or guiding means
    • A61B2017/3413—Needle locating or guiding means guided by ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30021—Catheter; Guide wire

Abstract

装置适于基于针对包括所述工具的体积区域内的不同波束操纵角重建的至少两幅超声图像来检测介入工具的尖端。装置包括图像处理单元，所述图像处理单元包括尖端检测模块，所述尖端检测模块被配置为执行尖端工具检测流程。尖端工具检测流程涉及识别至少两幅超声图像中的工具的阴影区域并且计算体积区域内的工具的尖端的位置。

Description

用于检测介入工具的装置和方法
技术领域
本发明涉及一种用于检测包括工具的尖端的工具的装置和方法，并且具体地涉及一种用于使用通过超声成像获得的图像对介入工具进行成像的装置和方法。
背景技术
超声成像是用于工具引导应用的最流行的成像系统之一。超声成像可以用于对工具进行成像，所述工具诸如为针、腹腔镜、支架和用于近距离放射治疗的放射性种子。例如，超声成像可以用于麻醉学、组织消融中的针引导或用于活检引导，因为针用于采取组织样本，并且将药物或电能输送到患者体内的目标组织。在这些流流程期间，针及其尖端的可视化非常重要，以便最小化患者的风险并改进健康结果。
通常，2D超声引导用于在实行手术时可视化介入工具。然而，该成像模式具有多个缺点。具体地，2D成像具有有限的视场；在超声图像中的工具的成功对准和定位之后并且在移动工具或评估目标时，实行流程的人的任何不期望的手部运动能够导致工具和超声换能器的未对准，使得工具的部分从超声图像中被排除。这能够导致工具的不正确放置。此外，在流程期间，操作者的焦点可以从处置转移，因为他们能够由在超声图像中搜索工具而分心。
外部工具跟踪系统还具有多个缺点，因为其需要额外的装备，这增加了超声成像系统的成本。此外，需要包括额外的传感器的专用针。限制医生使用专用针可能将增加流程的成本。
已经在基于方向敏感谱变换的3D超声中提出了工具检测技术，其被示出为对于噪声更鲁棒并且可以在具有挑战性的情况下检测针(例如，A.Pourtaherian等人的“Gabor-Based Needle Detection and Tracking in Three-Dimensional Ultrasound DataVolumes，”(在Proc.IEEE ICIP，pp 3602-6，2014中))。此外，检测技术中的大多数基于针的轴识别来导出超声图像内的工具的顶部的位置，这在高精度情况下并不总是可能的。
然而，当工具的插入角(入射超声辐射与工具之间的角)很大时，这些建议不实现对工具的检测。在这些情况下，入射波束以大角度反射，并且因此，不由超声成像系统检测到。因此，工具在采集的数据集中几乎不可见。
图1A和1B示出了典型的超声成像系统并且图示了工具1的插入角以及工具1的对应的超声图像。包括超声发射器(超声阵列)和图像传感器的超声装置3被布置为朝向对象发射超声波5。它们形成针对对象的入射超声辐射。超声装置3采集基于反射的超声辐射用于对工具1进行成像的数据集。在该范例中发射的超声辐射在基本垂直于超声装置3的超声阵列的发射表面7的方向上传播。
工具1以与超声阵列的发射表面7的一角度插入，在该图示中假设发射表面7与超声装置3的表面一致。工具的插入角是超声装置3的发射表面7与工具1之间的角，其中，超声阵列的发射表面是垂直于入射超声辐射5的传输方向的平面。
在图1A中，工具以小插入角示出；工具基本上平行于超声阵列的发射表面7布置。在这种情况下，工具1的插入角为大约0°。超声辐射5由工具1的表面反射，并且朝向超声阵列传播回去，其中，其由图像传感器(被包括在超声阵列中的超声换能器)检测到。由于工具强烈反射入射超声辐射，因此其表现为超声图像数据中的明亮区域。
在图1B中，工具1和超声装置3以不同的布置提供，其中，工具1的插入角大。在这种情况下，超声阵列的发射表面7与工具1之间的角为大约45°。超声辐射5朝向工具1传播并且入射在工具1的反射表面上。超声辐射中的一些以大角度反射，使得其被引导远离超声阵列。因此，工具1在由超声装置3产生的超声图像中几乎不可见。还可以意识到，当工具在组织中的前进期间工具的尖端进一步远离超声阵列的表面时，反射的超声辐射被引导远离超声阵列的机会增加。
因此，需要一种用于检测工具及其尖端的装置和方法，甚至当工具相对于超声装置的发射表面以大角度插入时，也具有改进的2D或3D超声成像技术。
发明内容
本发明由权利要求定义。
在本发明的一个方面中，提供了一种用于检测工具的位置的装置，所述工具包括所述工具的尖端，所述装置包括：
图像处理单元(15)，其适于从超声阵列接收所述体积区域的超声图像数据，所述图像处理单元包括：
尖端工具检测模块(17)，其被配置为：
-根据所述超声图像数据来重建具有第一工具阴影区域的第一超声图像，其中，所述第一超声图像对应于相对于所述超声阵列的表面的超声波束的第一操纵角，并且根据所述超声图像数据来重建具有第二工具阴影区域的第二超声图像，其中，所述第二超声图像对应于不同于所述第一操纵角的所述超声波束的第二操纵角；
-基于所述第一阴影区域与所述第二阴影区域之间的相对差异来识别所述体积区域内的差分阴影区域；并且
基于所述差分阴影区域来确定所述工具的所述尖端的位置。
该实施例基于以下思想：利用相对于超声阵列的发射表面以不同角(也称为声透射角)操纵的超声波束采集的超声图像数据提供对应于相对于体积区域并且相应地相对于介入工具的主轴的不同操纵角的超声图像。由于每幅超声图像由在不同角下指向工具的超声波束(辐射)形成，因此每幅超声图像内的工具的阴影区域将根据波束与工具的主轴之间的入射角而不同。装置的图像处理单元被布置为处理包括不同操纵角的超声数据，并且基于在不同图像帧中观察到的两个不同阴影区域之间的相对差异，根据所述数据导出至少一个差分阴影区域。根据超声数据重建的对应的超声图像内的每个阴影区域的位置和面积由所述图像的操纵角确定。由于针对包括相同解剖结构的相同体积区域采集超声数据，因此两幅重建超声图像在其阴影区域中将基本不同。因此，图像处理单元还被布置为分析两幅不同重建图像的阴影区域中的相对差异，并且导出与体积区域内的区域对应的差分阴影区域，其中，一幅图像内的工具的阴影区域与另一图像内的工具的阴影区域不同。基于体积区域内的差分阴影区域的所识别的位置，成像处理单元可以独立于工具的插入角以高精度确定工具在体积区域内的位置。该实施例可以应用于二维(2D)和三维(3D)成像两者中。在该背景下，重建超声图像可以源自于2D或3D超声图像。
在本发明的另一方面中，尖端工具检测模块还被配置为：
-重建具有第三工具阴影区域的第三超声图像，其中，所述第三超声图像对应于不同于所述第二操纵角的所述超声波束的第三操纵角，
-基于所述第三阴影区域与所述第一阴影区域和所述第二阴影区域中的任一阴影区域之间的相对差异来识别所述体积区域内的第二差分阴影区域；并且
-将所述第一差分阴影区域与所述第二差分阴影区域相关，其中，对所述工具的所述尖端的所述位置的进一步确定是基于所述差分阴影区域的相关的。
本发明允许通过比较根据不同的两对重建超声图像导出的不同差分阴影区域，进一步改进工具的位置检测的精度。这些区域彼此(即区域参数，诸如面积、大小及其在相应的重建超声图像内的位置)的相关，以及与这些区域被识别的对应的图像的操纵角的相关，允许成像处理单元以甚至更好的精度确定工具在体积区域内的位置。
根据本发明的另一方面，尖端工具检测模块被布置为在通过将来自所述第一超声图像和所述第二超声图像的相应像素的强度相减所获得的减影图像中识别所述差分阴影区域。
该实施例基于阴影区域外部的非阴影图像区将包括具有与来自针对相同体积区域重建的其他超声图像中的非阴影区的像素相似强度(除了不同的散斑图案)的像素。其中所有重建超声图像具有空间上一致的阴影区域的区也将具有带类似特性的像素。然而，其中在第一角下存在阴影区域而在第二角下不存在阴影区域的区中，形成重建图像的像素的强度存在区别差异。因此，将来自公共坐标系中的不同超声图像(空间对准的超声图像)中的相应像素的强度相减给出减影图像，其中，可以基于其区别强度容易地识别差分阴影区域。
在另一实施例中，接收到的超声图像数据可包括体积区域的3D超声图像数据，其中，第一超声图像、第二超声图像和第三超声图像属于形成体积区域的3D超声图像的多个图像平面。
在3D超声成像中，3D超声成像装置被布置成控制超声阵列以朝向对象发射超声辐射(换言之，操纵波束)并且检测由对象反射的辐射以产生表示对象的3D体积的3D超声体积数据集。以这种方式，3D成像装置产生3D体积的图像。基于所采集的3D超声图像数据，图像处理单元被布置为重建包括多个图像平面的3D超声图像。尖端工具检测模块还可以被布置为从所述多个平面中选择对应于不同操纵角的至少两个图像平面，其中，平面中的每个包括工具阴影区域。因此，通过采集一幅3D超声图像，可以检测工具的尖端，从而简化介入工作流程。
在又一实施例中，尖端工具检测模块还被配置为基于所确定的工具的尖端的位置来确定所述3D超声图像数据内的工具平面截面的位置，其中，所述工具平面截面表示体积区域的3D图像内的平面，工具的整个长度存在于所述平面中。
图像处理单元适于处理3D超声图像数据以确定3D图像的哪个平面表示包括工具的整个长度的3D体积的平面，所述工具包括工具的尖端。该平面称为工具平面截面。通过检测工具平面截面的位置，能够可视化工具的长轴视图。尖端工具检测模块基于表示工具的阴影的3D超声数据集的区域来定位工具平面截面。以这种方式，甚至当工具的插入角为大时可以检测工具的位置，因为工具的阴影都是可识别的，而无论插入角。此外，可以相对于工具平面截面确定工具的其他视图。例如，可以识别包括工具的短轴的平面，因为其是基本垂直于工具平面截面并且位于工具的尖端的位置处的平面。此外，由于图像处理单元处理典型的3D超声图像以确定工具平面截面的位置，因此装置可以被并入到典型的3D超声成像系统中，而不需要修改系统的任何其他元件。
在本发明的另一方面中，尖端工具检测模块还被配置为通过检测所述多个平面截面中存在的暗区域并确定所述暗区域是否对应于工具的阴影来识别多个工具阴影区域，其中，第一、第二和第三阴影区域属于多个工具阴影区域。
工具阴影区域是对应于工具的阴影的暗区域。尖端工具检测模块可以分析平面截面中的至少一个中的检测到的暗区域，以确定暗区域是否可能表示工具的阴影，例如通过检查暗区域的大小、宽度和/或形状并将其与工具的阴影的预期尺寸、宽度和/或形状进行比较。尖端工具检测模块可以基于工具阴影区域的位置来计算3D超声数据内的平面截面的位置，所述平面截面包括工具的整个长度或存在于体积区域中的工具的尖端。3D体积数据的该截面是“工具平面截面”。
装置还可包括第二工具检测模块，所述第二工具检测模块被配置为执行第二工具检测流程，包括：
基于超声图像中的工具的表示来检测工具，优选地使用基于强度和/或频率的算法。
在浅插入角处，工具在重建超声图像中高度可见，并且因此可以从所述图像直接识别工具。工具强烈地将入射超声辐射反射朝向图像传感器，并且因此工具的位置在超声图像中表示为亮区域，其可以使用适当的算法来检测。通过以浅角以及陡角提供工具检测的功能，装置可以用于在一插入角范围上检测工具，并且因此适于许多不同的应用。
当工具与超声阵列的发射表面之间的角是小角时，该第二工具检测流程适于识别工具的位置，使得可以从超声图像数据直接识别工具。工具足够可见以进行直接检测的插入角范围将取决于3D成像装置的精确布置。然而，在典型的布置中，在大于30°的插入角处工具不太可能可见。
在另一实施例中，超声图像数据包括多幅3D超声图像，并且其中，第一超声图像、第二超声图像和第三超声图像中的每个是根据来自所述多幅3D超声图像的不同3D超声图像重建的。
在该实施例中，图像处理单元适于从超声阵列接收包括多幅3D超声图像的图像数据，其中，尖端工具检测模块被配置为重建体积区域的3D超声图像，从而执行三维中差分阴影区域的识别。通过接收相对于阵列的表面以不同波束操纵角采集的至少两幅3D超声图像的数据，尖端工具检测模块允许基于差分阴影区域确定工具的尖端的位置，所述差分阴影区域在该实施例中是3D区域。这样，可以实现更精确的尖端工具检测。
在备选实施例中，超声图像数据可以包括多个2D超声图像平面，并且其中，所述第一超声图像、所述第二超声图像和所述第三超声图像中的每个是根据来自所述多个2D超声图像平面的不同的2D超声图像重建的。
可以针对多个2D超声图像数据实践本发明。在优选实施例中，图像中的至少一幅包括工具的整个长度，从而提供更加区别的阴影区域以用于处理。
一个实施例，用于检测工具的位置的装置可以与超声阵列组合，所述工具包括工具尖端，所述超声阵列被布置成操纵超声波束朝向体积区域并将超声图像数据提供到图像处理单元。
在该实施例中，装置可以被并入到适于执行图像处理单元的功能的外部设备中，其中，耦合到所述装置的超声阵列将用于采集超声图像数据。
装置还可以包括用于显示超声图像的显示单元，其中，图像处理单元被配置为将工具的尖端的图像传递到显示单元。一旦工具平面的尖端的位置是通过图像处理单元，其将尖端(工具)的图像发送到显示单元。以这种方式，工具可以被可视化并用于引导。
根据本发明的方面，提供了一种用于在体积区域中检测工具的方法，所述工具包括工具的尖端，所述方法包括：
获得所述体积区域的超声图像数据；
根据所述超声图像数据来重建具有第一工具阴影区域的第一超声图像，其中，所述第一超声图像对应于相对于所述超声阵列的表面的超声波束的第一操纵角，并且根据所述超声图像数据来重建具有第二工具阴影区域的第二超声图像，其中，所述第二超声图像对应于不同于所述第一操纵角的所述超声波束的第二操纵角；
基于所述第一阴影区域与所述第二阴影区域之间的相对差异来识别所述体积区域内的差分阴影区域；并且
基于所述差分阴影区域来确定所述工具的所述尖端的位置。
通过执行该方法，可以快速识别体积内的推进工具的尖端，使得能够将工具快速可视化到操作者。而且，方法对噪声较不敏感，并且因此提供在各种情况下检测工具的位置的可靠方式。此外，方法可以用于在高噪声环境中检测工具。方法涉及处理超声图像，并且在不需要来自医学专业人员的任何输入的情况下被执行。
本发明还提供了一种包括代码模块的计算机程序，所述代码模块适于在所述程序在计算机上运行时执行上述方法。
通过提供计算机程序，可以改变现有图像处理单元的功能以检测工具并定位工具平面截面，而无需改变用于3D超声成像的典型的现有设备中的任何。
附图说明
图1A示出了超声成像装置，其具有以介入工具的小插入角设置的工具；
图1B示出了超声成像装置，其具有以介入工具的大插入角设置的工具；
图2以框图形式图示了根据本发明的方面的超声引导成像系统；
图3图示了包括介入工具的体积区域的3D视场；
图4图示了本发明的示范性实施方式；
图5A至E图示了本发明的实际应用；
图6A图示了在仰角方向上获得的多个扇形平面；
图6B图示了在仰角方向上获得的多个直线切片；
图6C图示了在仰角方向上不同角增量处的多个切片；
图6D图示了在仰角方向以及方位角方向上不同角增量处的多个切片；
图7图示了根据范例的用于检测工具的方法；
图8A示出了通过超声成像获得的体积的3D图像；
图8B示出了图4B的体积的平面截面；
图9示出了3D体积的一组范例平面图像，其中，针以小插入角设置；
图10示出了3D体积的一组范例平面图像，其中，针以大插入角设置；
图11是根据范例的用于检测工具的装置的示意图；并且
图12示出了适于实施由装置执行的处理的计算机。
具体实施方式
本发明的装置可以与2D或3D超声成像系统和探头一起使用。图2示出了超声成像系统9的示意性框图，超声成像系统9可以与本发明的装置11组合使用。超声成像系统9具有探头10，探头10包括超声换能器阵列12，超声换能器阵列12被布置为在体积区域上以由虚线矩形和平行四边形指代的不同角操纵(发送)超声波束。在该范例中，在图中指示形成多幅超声图像的扫描线的三个组，被标记为I、II和III，其中，每个组以相对于探头或阵列12的发射表面的不同角操纵。这些超声图像数据可以使用机械操纵阵列或借助于电子超声波束操纵来采集。波束的发送由发射器14控制，发射器14控制阵列换能器的元件中的每个的定相和致动时间，从而沿着阵列以预定角从预定原点发送每个波束。
应当理解，本发明的应用不限于特定的超声成像方法，诸如聚焦波束成像、发散或平面波成像等。例如，在图6A中，以透视图示出体积区域，其中，可以检测到包括工具的尖端的工具的位置。在该范例中，体积区域是扇形的并且包含多个平面扇形区，其在本文中称为体积切片。在该范例中图示了四个切片52-56。切片在仰角方向上彼此平行被取向，其方位角和仰角尺寸被指示到图的右侧。可以通过在方位角方向上跨切片12-16发送s个连续扫描线并且在仰角方向上从切片到切片前进，由被定位于体积区域之上的换能器阵列12扫描每个切片。图6B图示了直线体积区域，其还包括在仰角方向上平行取向的多个切片。在图中示出了四个这样的切片72-78。可以由被定位于体积区域之上的换能器阵列以与图6B的切片相同的方式扫描这些切片。在该范例中，通过方位角方向上的平行扫描线扫描切片，而不是通过来自公共原点的角递增的扫描线，如图6A的范例中的情况。图6C提供了体积区域的切片的另一范例。这些切片具有金字塔形的体积区域，在体积的顶部具有顶点84。在该范例中，四个扇形切片S1-S4以“边缘开放”视图示出。亦即，切片的仰角方向由箭头82指示，并且方位角方向进入图的平面中。相对于阵列的方位角和仰角方向被示出在换能器阵列之上。在该范例中，相邻仰角切片以角增量分开。图6D图示了其中可以在仰角方向(由角增量指示)以及在方位角方向(由角增量Δθ指示)上以不同的角增量采集多个切片的方式，其中，体积区域的顶点由84指示。
返回参考图2，沿着每条扫描线返回的回波由阵列的元件(换能器)接收，如通过模数转换数字化，并且耦合到数字波束形成器16。数字波束形成器延迟并加和来自阵列元件的回波，以沿每条扫描线形成一系列聚焦的相干数字回波样本。发射器14和波束形成器16在系统控制器18的控制下操作，系统控制器18继而响应于由超声系统的用户结合本发明的装置操作的用户接口20上的控制的设置。系统控制器控制发射器以期望的角、发送能量和频率发送期望数量的扫描线组。系统控制器还控制数字波束形成器以针对所使用的孔径和图像深度适当地延迟和组合接收到的回波信号。扫描线回波信号由可编程数字滤波器22滤波，可编程数字滤波器22定义感兴趣频率的频带。当对谐波造影剂进行成像或执行组织谐波成像时，滤波器22的通带被设置为通过发送频带的谐波。然后由检测器24检测经滤波的信号。在优选实施例中，滤波器和检测器包括多个滤波器和检测器，使得接收到的信号可以被分离到多个通带中，个体地被检测并且重新组合以通过频率复合来减少图像散斑。对于B模式成像，检测器24将执行回波信号包络的幅度检测。对于多普勒成像，回波的系综针对图像中的每个点组装，并且被多普勒处理以估计多普勒频移或多普勒功率强度。
图3和图4图示了发明构思在两个范例中的应用。在图3中，包括介入工具1的体积区域以2D超声阵列12成像，2D超声阵列12被布置为在视场61内电子操纵超声波束。可以实现3D超声数据采集的操纵方式，如图6D图示的。包括这样的2D阵列12的探头被布置为提供与沿着仰角维度Z和/或方位角维度采集的体积区域的多个横截面(切片)对应的超声图像数据。在仰角(和/或方位角)方向上逐步采集的每个给定超声切片相对于超声阵列(发射器)的表面的法向向量具有不同的倾斜角。还可以使用1D阵列来采集多个这些超声切片，其中，借助于阵列沿着仰角维度Z的机械移动来研究体积区域的横截面。所采集的超声图像数据还可以由3D图像数据单元32处理，以便重建体积区域的3D超声图像。
如图3图示的，工具在视场61内投射阴影19，该阴影在视场内的位置由用于超声数据采集的超声波束的操纵角确定，其中，操纵角被定义为超声波束的方向与阵列表面的法向向量之间的角。在该图中，视场直接被定位于阵列发射表面之下。
超声图像数据或体积区域的3D超声图像可以由图像处理单元15接收。图像处理单元15包括尖端工具检测模块17，尖端工具检测模块17被配置为根据接收到的超声图像数据重建具有第一工具阴影区域的第一超声图像，其中，第一超声图像对应于超声波束相对于超声阵列的表面的第一操纵角，并且重建具有第二工具阴影区域的第二超声图像，其中，第二超声图像对应于与第一操纵角不同的超声波束的第二操纵角。
图4以2D表示图示了本发明的原理，其中，示出了两个超声图像平面63和62。平面63被重建以对应于相对于阵列的法向向量的正倾斜角，并且平面62被重建以对应于相对于法向向量的负倾斜角。由于对应于相应平面的超声波束与介入工具1之间的不同入射角，该工具的阴影区域从一个平面到另一平面变化。除了不同的散斑图案之外，没有任何阴影的图像区(非阴影图像区)将具有类似的图像参数，诸如强度。其中所有图像具有空间上一致的阴影区域的图像区也将具有类似的特性。然而，在其中在第一角下存在阴影区域而在第二角下不存在阴影区域的区中，第一和第二重建图像之间的图像特性中将存在区别差异。例如，在超声平面62中，第一阴影区域的2D横截面由平行六面体ABB’D定义，而在超声平面63中，工具投射由平行六面体ACEA’定义的第二阴影区域。两个阴影区域共享由平行六面体ACB’D定义的空间交叠区。因此，通过比较彼此之间的阴影区域和在图像的公共坐标系内的它们相对位置两者，能够精确地确定工具的尖端的位置。该比较可以基于沿着差分阴影区域(ABC)的扫描线执行的强度加和来完成：沿着差分阴影工具区域的扫描线AC和AB，其中，平面63的阴影区域不同于平面62的阴影区域。这为不同的偏移水平提供了加和强度的一维阵列，其特征在于在期望偏移处的跳跃。通过计算该加和强度在偏移水平上的导数，可以容易地检测到该跳跃。当两条阴影扫描线(AC和AB)的偏移已知时，可以在两条阴影扫描线的相交处找到工具的尖端。
应该注意的是，该概念可以工作于具有尖端的任何介入工具，诸如导管或针。该原理也适用于3D超声图像，其中，每幅3D超声图像将根据在不同波束操纵角处采集的3D超声图像数据来重建。这可以通过提供能够进行3D超声成像的超声系统来实现，所述超声系统被布置为控制视场61从图3所示的其位置向侧面的操纵，并且采集针对体积区域内的不同视场取向的多个3D图像帧。3D图像数据单元32还可以包括图像存储器单元。图像存储器是帧存储缓冲器，并且可以被实施为双端口存储器，其可以同时写入和读取。使用这样的存储器使得由换能器阵列和波束形成器采集的新超声图像帧能够被写入存储器的一个区，同时读出并分析先前存储在存储器中的其他图像帧的数据。
在该实施例中，尖端工具检测模块17被配置为根据接收到的3D超声图像数据重建3D超声图像，其中，所识别的差分阴影区域将是三维的，并且将在3D空间中确定工具的尖端的位置。
在另一实施例中，尖端工具检测模块17可以被配置为根据3D超声图像数据重建2D图像平面。在该实施例中，第一超声图像和第二超声图像将属于形成适于可视化的3D超声图像的多个2D图像平面。尖端工具检测模块17可以被布置为在所述多个平面中识别对应于超声波束的不同操纵角的至少两个图像平面，其中，平面中的每个包括阴影区域。在这种情况下，仅采集一幅3D超声图像对于装置9而言将足以确定工具的尖端的位置，从而简化了介入工作流程。
在本发明的又一实施方式中，尖端工具检测模块17将根据在第一超声波束发送事件(第一3D超声图像帧)处采集的3D超声图像数据重建第一超声图像平面；并且根据在第二超声波束发送事件(第二3D超声图像帧)处采集的3D超声图像数据重建第一超声图像平面。因此，提供源自两个不同3D超声图像帧的两个超声图像平面(优选地在不同的波束操纵角处采集的)。
图像处理单元15可以被布置为以多个2D超声图像平面的形式接收超声图像数据，并且其中，根据来自所述多个的不同的2D超声图像重建第一超声图像、第二超声图像和第三超声图像中的每个。尖端工具检测单元17还可以被布置成重建那些超声图像平面，其中，基于工具的阴影区域检测工具的整个长度。
返回参考图2，其中，用于检测工具的尖端的位置的装置11被图示为与超声成像系统9的其余部分任选地分离的单元。装置包括适于接收体积区域的超声图像数据的图像处理单元15。装置还包括尖端工具检测模块17，尖端工具检测模块17被配置为执行检测流程，所述检测流程包括识别要重建的超声图像中的工具的阴影区域，并且计算工具的尖端在体积区域内的位置。流程包括：基于第一和第二阴影区域之间的相对差异来识别体积区域内的差分阴影区域。这可以通过例如将两幅不同的超声图像的像素配准到公共坐标系并从另一图像中减去一幅图像的像素强度来完成，从而形成差分图像。尖端工具检测模块17还被布置为分析差分图像并检测被定位于其中的差分阴影区域(诸如，ACB)。基于公共坐标系内的差分阴影区域的位置和形状，可以确定工具的尖端的位置。
尖端工具检测模块17可以额外地被配置为：重建具有第三工具阴影区域的第三超声图像，其中，第三超声图像对应于不同于第二操纵角的超声波束的第三操纵角；基于第三阴影区域与第一和第二阴影区域中的任一个之间的相对差异识别体积区域内的第二差分阴影区域；并且将第一差分阴影区域与第二差分阴影区域相关，其中，工具的尖端的位置的进一步确定基于差分阴影区域的相关。
本发明允许还通过比较根据不同的两对重建超声图像导出的不同差分阴影区域来改进尖端的位置检测的精度。这些区域与彼此(即区域参数，诸如面积、大小及其在公共坐标系内的位置)的相关，以及与这些区域被识别的相应超声图像的操纵角的相关，允许成像处理单元以甚至更好的精度确定工具在体积区域内的位置。相关可以基于更多重建超声图像来实现，以便提供工具检测的甚至更高的精度。在紧接着工具的尖端的位置的该处，可以更容易地确定所述工具的主轴，从而使得装置11能够估计推进工具在体积区域中的轨迹。工具检测模块17被布置成使来自重建2D超声图像以及来自重建3D超声图像的工具阴影区域相关，在后一种情况下，将体积阴影区域彼此比较。在本范例中，模块17被示出为装置11的单独单元，在备选实施例中，模块17也可以是图像处理单元15的部分。此外，超声图像可以由扫描转换器40在2D或3D超声图像显示格式中转换。超声图像可以以估计或显示像素形式存储在电影回放存储器42中。如果以估计形式存储，则当从电影回放(Cineloop)存储器重放以进行显示时，可以对图像进行扫描转换。在扫描转换之后，图像由视频处理器44处理以显示并显示在图像显示器16上。超声系统还可以经由耦合到装置11的系统控制器18为到工具识别过程中的用户输入提供可能性。
尖端工具检测模块17可以处理超声图像数据以检测超声图像是否包括任何暗区域。检测到的暗区域可以包括与工具阴影无关的暗区域。然后可以分析在不同超声图像中检测到的暗区域的相对位置，以进一步将该组暗区域缩小到形成整体工具阴影的子集。因此，尖端工具检测模块可以基于其他检测到的暗区域的相对位置来确定暗区域是否对应于工具阴影。彼此最一致的该组暗区域可以被识别为工具阴影区域，其形成整体工具阴影。
图5图示了由第一工具检测模块17执行的相关和检测步骤的范例。图5A和5B分别示出了以0°和10°的倾斜框架角采集的B模式图像。在图5C中示出了彼此相减的两幅超声图像导致差分B模式图像，其中，明亮的三角形区域(类似于图4中的三角形ABC)对应于图像的部分，其中，阴影仅在操纵角之一下被观察到。注意，取决于两幅图像相减的顺序，差分阴影区域可以具有与减去的像素强度具有相反符号的像素。因此，可以在差分阴影区域的识别期间构造尖端检测单元，以将差分图像的强度与阈值强度值进行比较。图5D示出了差分图像上用于平滑和降噪的后处理步骤(诸如阈值化和形态学)的结果。为了识别在前一步骤中检测到的三角形区域的边界，第一检测模块17可以实施边缘检测算法，之后是线检测器，诸如，Hough或Gabor变换等。基于阴影区域，可以能够估计完整的针轨迹，并将其显示在超声图像中。
在图像处理单元15接收3D超声图像数据的情况下，工具检测模块17还可以被配置为检测3D超声图像数据内的工具平面截面的位置。工具平面截面基于检测到的工具的尖端来表示3D图像内的平面，其中，存在工具的整个长度。然后，这使得工具能够以最有效的方式针对系统的用户可视化。工具平面检测涉及基于所确定的工具的尖端的位置来识别3D图像数据中的工具的阴影并计算其中工具的整个长度被表示的3D图像的“工具平面截面”的位置。工具检测流程使得能够快速定位工具平面截面。以这种方式，图像处理单元能够高效地检测工具截面平面，同时对噪声鲁棒。通过获得该信息，在显示器16上实现了工具的快速和准确的可视化。
装置11可以被并入到超声引导系统9中，而不需要修改超声成像装置的其他部件。装置11还可以作为单独的模块出售，其被布置为与便携式显示设备和不同的超声探头一起实施。装置11被配置为与超声成像系统9或其可以耦合到的便携式显示设备进行通信。装置11的另一优点是其可用于在大的插入角范围上检测工具。在典型的超声引导流程中，通过检测表示工具的超声图像的明亮区域来定位工具。然而，由于通过检测反射辐射来对3D体积进行成像，因此在工具的插入角为大的情况下工具难以检测。这是因为超声辐射由工具以大角反射，并且因此未由图像传感器检测到(如由图1B图示的)。因此，在大的插入角处，工具在超声图像中的可见性可能为差。
图像处理单元15通过识别体积区域内的差分阴影区域来检测工具的尖端。这使得甚至当工具以这样的方式取向时能够检测工具的尖端：工具的可见性为差(例如在45度和90度之间)。随着增加插入角，针的可见性显着降低。因此，对于大于30°的插入角，正常针(非特殊针或回声针)的检测很可能失败或不可靠。
图像处理单元还可以被布置成检测工具平面截面。工具的外表面强烈地反射入射超声辐射，并且因此入射在工具上的大多数超声辐射被反射，而无论工具的取向。入射辐射中的一些被透射，但是透射波束的强度显著低于反射波束的强度。因此，图像的表示工具的与超声辐射入射的侧相对的侧的区域相对为暗。当工具的插入角为大时，该效应尤其强，因为较大比例的入射超声波束被反射离开图像传感器。因此，在工具的尖端旁边，可以在宽插入角范围上检测工具的阴影。
图7图示了由根据本发明的范例的图像处理单元执行的工具检测流程。
在工具检测流程的第一步骤(18A)中，超声工具的尖端的位置被确定。此外，根据由超声阵列生成的3D超声图像数据重建多个2D平面。2D平面表示垂直于超声成像系统发射的超声辐射的传输方向的被成像的3D体积的平面。在3D图像的这些平面截面中，工具的阴影最可见。因此，使用这些平面截面来定位工具使得能够快速并准确地识别工具阴影。在3D图像的不同深度处获得平面截面，从而提供一组平面截面。
接下来，在步骤18B中，在步骤18A中获得的2D平面被分析以检测可以表示工具的阴影的2D平面的暗区域。分析已经使用所确定的尖端位置作为输入，以便限制要评估的2D平面的数量。在针下面的平面中，针的阴影将表现为椭圆形斑点，其对于3D图像的相邻区域相对为暗。因此，在对图像进行去噪并执行诸如负阈值化、线检测或分割技术的分析技术之后，可以识别具有工具阴影的典型性质的暗区域。可以通过检查暗区域的大小、宽度和形状来实现另外的增强，因为针的大小、宽度和形状是已知的，并且因此可以计算阴影的预期大小、宽度和形状。然而，并非平面截面中存在的所有暗区域对应于工具的阴影。因此，检测到的暗区域中的一些不形成工具阴影的部分。
接下来，在步骤18C中，处理在步骤18B中检测到的暗区域以识别哪些暗区域对应于工具阴影。通过识别至少一个工具阴影区域，能够确定3D图像的平面的位置，其表示针沿着体积的纵轴的全长。注意，本文公开的工具阴影分析技术可以适用于以下两者：差分阴影区域识别中使用的阴影区域检测以及工具平面截面中使用的阴影区域检测。
可以基于单个检测到的工具阴影区域的位置或者一起形成检测到的整体阴影的来自不同2D平面的多个工具阴影区域的位置来确定工具截面平面的位置。
存在同的方式来处理超声图像以识别作为工具阴影的暗区域。这些工具阴影区域是检测到的暗区域的子集。为了识别该子集，对数据集执行随机样本和一致性算法(RANSAC)。在RANSAC方法中，确定拟合模型并检查数据集的元素以确定哪些元素与拟合模型一致。工具阴影区域子集是具有最小异常值的数据集的子集。
在一个范例中，为了定位工具阴影区域子集，选择可能的工具平面，并且对垂直于工具平面截面的与可能的工具平面截面一致的2D平面中的检测到的暗区域的数量进行计数。备选地或额外地，对垂直于由超声成像系统发射的超声辐射的传输方向的、包括与可能的工具平面一致的暗区域的平面的数量进行计数。
在多次迭代内重复该过程，直到具有最大内点数量的可能的工具平面被识别；这是实际的工具平面。与工具平面截面相交的暗区域是形成整个工具阴影的工具阴影区域。因此，通过识别包括整个工具阴影的平面，基于工具阴影区域来确定工具平面截面的取向。
在步骤18D中，体积的与超声波束平行并且包含确定的尖端的位置和检测到的整体阴影的全长的平面被计算，并且可视化给用户。该截面是工具平面，其包含全长针和尖端。还可以基于工具平面截面的位置来定位针的其他视图。
图8A示出了包括针19的阴影的针1的3D超声图像的范例。
图8B示出了图8A的图像的平面截面，其中，平面截面位于针的下面。平面截面由图像处理单元15获得，并且随后经受降噪图像处理。暗区域被检测并分析以确定暗区域是否表示工具的阴影。而且，平面截面垂直于用于创建图像的入射超声波束的方向，因为该取向的平面截面提供了工具的阴影19的最独特的表示。
图9示出了3D图像内的平面截面的范例，其中，针1相对于超声辐射的传输方向以小角设置。针1具有与换能器的表面的大约20°的相对角。在这种情况下，阴影很强但针1也仍然可见。因此，基于强度和基于阴影的检测技术两者实现正确的长轴针平面。因此，任一技术可以用于检测针。
左侧的图像对是3D体积的横截面，其中，顶部图像是与超声波束的传播的方向平行的横截面，而下部图像是垂直于超声波束的传播的方向的横截面。下部图像中的虚线示出上部图像的横截面。在下部图像中，针1的小截面可见为两个亮圆圈。圆圈表示平面与针的下壁和上壁的相交。阴影19的小部分也是可见的。在上部图像中，针和针的阴影都不可见，因为上部图像是3D体积的不与针或针的阴影相交的横截面(如虚线与下部图像中的针/阴影之间的分隔所示)。
中央图像对是3D体积的横截面，其中，下部图像是垂直于位于针之下的超声波束的横截面。针阴影可见为区域19。顶部图像再次是与超声波束平行的横截面。下图中的虚线再次示出了上部图像的横截面。因此，上部图像再次是3D体积的不与针相交的横截面；横截面远离针定位。注意，对于左侧和中央下部图像两者，虚线的位置是相同的。因此，左侧和中央上部图像是相同的。
右手侧的图像对示出检测到的针截面平面。顶部图像是与超声波束平行的横截面，并且下部图像是垂直于超声波束的横截面。
上部图像横截面被旋转使得针完全位于平面中。这可以从下部图像中看出，其中，虚线沿着针阴影19通过。这是为什么图像与其他两幅图像相比顺时针旋转。在右上图像中，针1完全位于图像的平面中。这通过控制垂直切片(即平行于传播方向的切片)的旋转角而可能。
因此，“工具平面截面”是包括工具的尖端以及以下两者的平面：平行于超声辐射的传播的方向的向量和平行于工具的细长轴的向量。工具平面截面与工具相交。总是可以定义这两个二维向量相交的平面。因此，通过控制成像平面的位置和旋转-关于平行于传播的方向的轴-可以形成“工具平面截面”，其中，工具的一般轴方向被定位。针可以清楚地由二维向量表示。然而，方法也适用于具有一般细长轴的更多三维工具。通过将该一般细长轴定位在“工具平面截面”中，工具变得尽可能可见。
此外，通过定位工具平面截面，能够定位包括针的截面的其他平面。而且，基于工具平面截面的位置，可以构造包含整个工具的图像的非平面截面。
图10示出了3D体积的范例2D超声图像平面，其中，针相对于超声辐射的传输方向以大角设置；针以大约45°的陡角插入。如所示的，不管针的差可见性，阴影19非常强并且可以用于高效且准确地将工具平面截面定位在3D图像内。
左侧的图像对是3D体积的平面截面。顶部图像是与超声波束的传播的方向平行的横截面，并且下部图像是与超声波束的传播的方向垂直的截面。下部横截面位于针之上，其在图像中不能看到。注意，左下图像的右下部的亮白线表示软组织。在患者的临床超声图像中，还可以存在其他亮的结构，诸如骨骼、脂肪结构、神经和静脉。
中央图像对是3D体积的横截面。顶部图像是与超声波束平行的横截面，并且下部图像是垂直于超声波束的横截面。现在可以看到阴影19。
右侧的该对图像显示检测到的针截面平面。顶部图像是与超声波束平行的横截面，下部图像是垂直于超声波束的横截面。
对于图9的范例，上部图像横截面被定位并旋转，使得针完全位于平面中。这可以从下部图像中看到，其中，虚线沿着针影19通过。
在右上图像中，针1现在是可见的并且完全在图像的平面中。这通过控制垂直切片(即平行于传播方向的切片)的位置和旋转角而可能。
图11示出了作为图像处理器的装置11的另一范例。在该范例中，图像处理单元15包括第二工具检测模块21，第二工具检测模块21与尖端工具检测模块17协同操作，以高效且鲁棒地检测3D超声体积中的长轴针平面。第二工具检测模块21也图示在图2的范例中，其中，第二模块被布置为执行与来自图11的范例中相同的功能。
尖端工具检测模块检查表示工具的阴影的超声图像的暗区域的体积。该方法在大插入角的情况下是最有利的，但也能够用于以小插入角检测工具。因此，基于阴影的工具检测适合于检测任何插入角处的工具。
第二模块适于在针以小插入角取向时基于其3D外观来检测针。例如，第二模块可以被配置为使用基于强度和频率的算法来检测工具。在H.H.M.Korsten，P.H.N.de With和J.W.M.Bergmans的“Needle detection in medical image data”(2012)和A.Pourtaherian，S.Zinger,P.H.N.de With，H.H.M.Korsten和N.Mihajlovic的“Gabor-Based Needle Detection and Tracking in Three-Dimensional Ultrasound DataVolumes”(在Proc.IEEE Int.Conf.Image Processing(ICIP)，2014，第3602—6页中)中讨论了这样的算法。如上所述，基于阴影的检测可以用于识别任何插入角的针。通过提供能够通过任一方法进行工具检测的装置11，可以以对噪声的增加的鲁棒性和检测的可靠性检测工具。
装置11还包括控制器，所述控制器被配置为控制尖端和第二工具检测模块以执行其对应的工具检测流程。控制器可以被配置为控制图像处理单元以确定工具在超声图像数据内是否可见。如果工具可见，则控制器可以命令第二工具检测单元来执行第二工具检测流程。在范例中，装置包括用于显示超声图像的显示单元。一旦图像处理单元已经确定了工具平面截面的位置，其就将图像发送到显示单元，以将工具平面截面可视化给用户。
装置可以是图像处理器。备选地，在一些范例中，装置包括用于生成超声图像的超声成像系统，并且图像处理单元被配置为与超声成像系统通信以接收由3D超声成像系统生成的超声图像数据并且对接收的数据执行尖端工具检测流程。
装置可以适于与可以通过超声辐射成像的任何类型的工具一起使用。例如，金属工具或具有反射涂层的工具。例如，工具可以是针、导管、电极或腹腔镜。工具可见性的角范围可以取决于工具的类型。
如上所述，图像处理可以由控制器实施。控制器可以包括计算机30，如图8所示。
计算机30包括但不限于PC、工作站、膝上型计算机、PDA、掌上设备、服务器、存储设备等。通常，在硬件架构方面，计算机30可以包括一个或多个处理器31、存储器32’以及一个或多个I/O设备33，其经由本地接口(未示出)通信地耦合。本地接口可以是，例如但不限于，一个或多个总线或其他有线或无线连接，如本领域中已知的。本地接口可以具有额外的元件，诸如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器，以实现通信。此外，本地接口可以包括地址、控制和/或数据连接，以实现上述部件中间的适当通信。
处理器31是用于运行可以存储在存储器32中的软件的硬件设备。处理器31实际上可以是在与计算机30相关联的若干处理器中间的任何定制的或商业上可用的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或辅助处理器，并且处理器31可以是基于半导体的微处理器(采取微芯片的形式)或微处理器。
存储器32’可以包括以下项中的任一项或组合：易失性存储器元件(例如，随机存取存储器(RAM)，诸如动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如，ROM、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、光盘只读存储器(CD-ROM)、磁盘、软盘、磁带盒、盒式磁带或类似物等)。此外，存储器32可以包含电子、磁性、光学和/或其他类型的存储介质。注意，存储器32可以具有分布式架构，其中，各种部件彼此远离设置，但是可以由处理器31访问。
存储器32’中的软件可以包括一个或多个单独的程序，其中每个包括用于实施逻辑功能的可执行指令的有序列表。根据示范性实施例，存储器32中的软件包括合适的操作系统(O/S)34、编译器35、源代码36和一个或多个应用37。
应用37包括许多功能部件，诸如计算单元、逻辑、功能单元、过程、操作、虚拟实体和/或模块。
操作系统34控制计算机程序的运行，并且提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。
应用37可以是源程序、可执行程序(目标代码)、脚本或包括要执行的一组指令的任何其他实体。当源程序时，然后程序通常经由编译器(诸如，编译器350)、汇编器、解释器等翻译，其可以被包括于或不被包括于存储器320内，从而结合操作系统340正确地操作。此外，应用37可以被编写为面向对象的编程语言(其具有数据和方法的类)，或过程性编程语言(其具有例程、子例程和/或函数)，例如但不限于，C、C++、C#、Pascal、BASIC、API调用、HTML、XHTML、XML、ASP脚本、JavaScript、FORTRAN、COBOL、Perl、Java、ADA、.NET等。
I/O设备33可以包括输入设备，例如但不限于鼠标、键盘、扫描器、麦克风、相机等。此外，I/O设备33还可以包括输出设备，例如但不限于打印机、显示器等。最后，I/O设备33还可以包括与输入部和输出部两者通信的设备，例如但不限于网络接口控制器(NIC)或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)，射频(RF)或其他收发器、电话接口、桥、路由器等。I/O设备33还包括用于通过各种网络(诸如因特网或内联网)通信的部件。
当计算机30在操作中时，处理器31被配置为运行存储在存储器32’内的软件，以将数据传递到存储器32’和从存储器32’传递数据，并且通常根据软件控制计算机30的操作。应用37和操作系统34全部或部分地由处理器31读取，可能在处理器31内缓冲，并且然后运行。
当应用37以软件实施时，应该注意，应用37实际上可以存储在任何计算机可读介质上，以供任何计算机相关系统或方法使用或与之结合使用。在该文档的背景下，计算机可读介质可以是电子、磁性、光学或其他物理设备或模块，其可以包含或存储计算机程序。

Claims (19)

1.一种用于在体积区域中检测工具的位置的装置(11)，所述工具包括所述工具的尖端，所述装置包括：
图像处理单元(15)，其适于从超声阵列接收所述体积区域的超声图像数据，所述图像处理单元包括：
尖端工具检测模块(17)，其被配置为：
-根据所述超声图像数据来重建具有第一工具阴影区域的第一超声图像，其中，所述第一超声图像对应于相对于所述超声阵列的表面的超声波束的第一操纵角，并且根据所述超声图像数据来重建具有第二工具阴影区域的第二超声图像，其中，所述第二超声图像对应于不同于所述第一操纵角的所述超声波束的第二操纵角；
-基于所述第一阴影区域与所述第二阴影区域之间的相对差异来识别所述体积区域内的差分阴影区域(ACB)；并且
基于所述差分阴影区域来确定所述工具的所述尖端的位置。
2.根据权利要求1所述的装置，其中，所述尖端工具检测模块(17)还被配置为：
-重建具有第三工具阴影区域的第三超声图像，其中，所述第三超声图像对应于不同于所述第二操纵角的所述超声波束的第三操纵角，
-基于所述第三阴影区域与所述第一阴影区域和所述第二阴影区域中的任一阴影区域之间的相对差异来识别所述体积区域内的第二差分阴影区域；并且
-将所述第一差分阴影区域与所述第二差分阴影区域相关，其中，对所述工具的所述尖端的所述位置的进一步确定是基于所述差分阴影区域的相关的。
3.根据权利要求1或2所述的装置，其中，所述尖端工具检测模块被布置为在通过将来自所述第一超声图像和所述第二超声图像的相应像素的强度相减所获得的减影图像中识别所述差分阴影区域。
4.根据权利要求3所述的装置，其中，所述减影图像中的所述差分阴影区域包括具有高于阈值强度值的强度值的图像像素。
5.根据权利要求3所述的装置，其中，所述减影图像内的所述差分阴影区域包括具有低于阈值强度值的强度值的图像像素。
6.根据任一前述权利要求所述的装置(11)，其中，接收到的超声图像数据包括所述体积区域的3D超声图像数据。
7.根据权利要求6所述的装置，其中，所述第一超声图像、所述第二超声图像和所述第三超声图像属于形成所述体积区域的3D超声图像的多个图像平面。
8.根据权利要求6所述的装置，其中，所述尖端工具检测模块(17)还被配置为基于所确定的所述工具的所述尖端的位置来确定所述3D超声图像数据内的工具平面截面的位置，其中，所述工具平面截面表示所述体积区域的3D超声图像内的平面，所述工具的整个长度存在于所述平面中。
9.根据权利要求8所述的装置，所述尖端工具检测模块(17)还被配置为重建短轴平面，所述短轴平面包括所述工具的短轴和所确定的所述工具的所述尖端的位置。
10.根据权利要求7所述的装置，其中，所述尖端工具检测模块(17)还被配置为通过检测所述多个平面截面中存在的暗区域并且确定所述暗区域是否对应于所述工具的阴影来识别多个工具阴影区域，其中，所述第一阴影区域、所述第二阴影区域和所述第三阴影区域属于所述多个工具阴影区域。
11.根据权利要求1至5所述的装置，其中，所述超声图像数据包括多个3D超声图像帧，并且其中，所述第一超声图像、所述第二超声图像和所述第三超声图像中的每个超声图像是根据来自所述多个3D超声图像帧的不同的3D超声帧来重建的。
12.根据权利要求1至5所述的装置，其中，所述超声图像数据包括多个2D超声图像平面，并且其中，所述第一超声图像、所述第二超声图像和所述第三超声图像中的每个超声图像是根据来自所述多个2D超声图像平面的不同的2D超声图像来重建的。
13.根据任一前述权利要求所述的装置，还包括第二工具检测模块(21)，所述第二工具检测模块被配置为执行第二工具检测流程，所述第二工具检测流程包括：
基于所述超声图像中的所述工具的表示，优选地使用基于强度和/或频率的算法，来检测工具。
14.一种超声系统(9)，包括：
根据任一前述权利要求所述的装置；
超声阵列(12)，其被布置为操纵所述超声波束朝向所述体积区域，并且将所述超声图像数据提供到所述图像处理单元。
15.根据权利要求8或9所述的超声系统，还包括用于显示超声图像的显示单元(16)，其中，所述图像处理单元被配置为将所述工具的所述尖端的平面和/或所述工具平面截面的图像发送到所述显示单元。
16.一种用于在体积区域中检测工具的方法，所述工具包括所述工具的尖端，所述方法包括：
获得所述体积区域的超声图像数据；
根据所述超声图像数据来重建具有第一工具阴影区域的第一超声图像，其中，所述第一超声图像对应于相对于所述超声阵列的表面的超声波束的第一操纵角，并且根据所述超声图像数据来重建具有第二工具阴影区域的第二超声图像，其中，所述第二超声图像对应于不同于所述第一操纵角的所述超声波束的第二操纵角；
基于所述第一阴影区域与所述第二阴影区域之间的相对差异来识别所述体积区域内的差分阴影区域(ACB)；并且
基于所述差分阴影区域来确定所述工具的所述尖端的位置。
17.根据权利要求16所述的方法，其中，识别所述差分阴影区域包括将来自所述第一超声图像与所述第二超声图像的相应像素的强度相减，从而获得减影图像。
18.根据任一前述权利要求所述的方法，其中，所述体积区域的所获得的超声图像数据是3D超声图像；并且所述方法还包括：
基于所确定的所述工具的所述尖端的位置来确定所述3D超声图像内的工具平面截面的位置，其中，所述工具平面截面表示所述3D图像内的平面，所述工具的整个长度存在于所述平面中。
19.一种包括代码模块的计算机程序，所述代码模块适于当所述程序在计算机上运行时执行根据权利要求16至18中的任一项所述的方法。
CN201780056859.6A 2016-09-16 2017-09-18 用于检测介入工具的装置和方法 Active CN109715071B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662395597P 2016-09-16 2016-09-16
US62/395,597 2016-09-16
EP17175503 2017-06-12
EP17175503.6 2017-06-12
PCT/EP2017/073425 WO2018050885A1 (en) 2016-09-16 2017-09-18 An apparatus and method for detecting an interventional tool

Publications (2)

Publication Number Publication Date
CN109715071A true CN109715071A (zh) 2019-05-03
CN109715071B CN109715071B (zh) 2022-08-02

Family

ID=59930341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780056859.6A Active CN109715071B (zh) 2016-09-16 2017-09-18 用于检测介入工具的装置和方法

Country Status (4)

Country Link
US (1) US11766297B2 (zh)
EP (1) EP3512432B1 (zh)
JP (1) JP6882458B2 (zh)
CN (1) CN109715071B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3544538B1 (en) * 2016-11-23 2022-01-05 Clear Guide Medical, Inc. System for navigating interventional instrumentation
GB201701363D0 (en) * 2017-01-27 2017-03-15 Secr Defence Apparatus and method for registering recorded images
US10588596B2 (en) * 2017-03-14 2020-03-17 Clarius Mobile Health Corp. Systems and methods for detecting and enhancing viewing of a needle during ultrasound imaging
EP3566670A1 (en) * 2018-05-07 2019-11-13 Koninklijke Philips N.V. Safety system for surgical robot
US11647980B2 (en) * 2018-12-27 2023-05-16 Avent, Inc. Methods for needle identification on an ultrasound display screen by determining a meta-frame rate of the data signals
JP7211150B2 (ja) * 2019-02-21 2023-01-24 コニカミノルタ株式会社 超音波診断装置、超音波画像生成方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080287799A1 (en) * 2007-05-16 2008-11-20 General Electric Company Method and apparatus for measuring volumetric flow
US20120253181A1 (en) * 2011-04-01 2012-10-04 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and controlling method
CN102920476A (zh) * 2011-08-11 2013-02-13 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法及装置
CN105338906A (zh) * 2013-06-28 2016-02-17 皇家飞利浦有限公司 到超声图像中的形状注入以实时校准波束样式
US20160199025A1 (en) * 2015-01-09 2016-07-14 Konica Minolta, Inc. Ultrasound diagnosis apparatus

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005092197A1 (en) * 2004-03-09 2005-10-06 Robarts Research Institute An apparatus and computing device for performing brachytherapy and methods of imaging using the same
EP2363071A1 (en) * 2010-03-03 2011-09-07 Technische Universiteit Eindhoven Needle detection in medical image data
EP2797514A1 (en) * 2011-12-30 2014-11-05 Koninklijke Philips N.V. Method and apparatus for needle visualization enhancement in ultrasound imaging
CN103889337B (zh) * 2012-10-23 2016-11-02 东芝医疗系统株式会社 超声波诊断装置以及超声波诊断装置控制方法
GB201307551D0 (en) 2013-04-26 2013-06-12 Ucl Business Plc A method and apparatus for determining the location of a medical instrument with respect to ultrasound imaging and a medical instrument
JP6110760B2 (ja) * 2013-08-27 2017-04-05 富士フイルム株式会社 超音波診断装置および超音波診断装置の作動方法
WO2017097682A1 (en) 2015-12-07 2017-06-15 Koninklijke Philips N.V. An apparatus and method for detecting a tool
US10292684B2 (en) * 2016-02-26 2019-05-21 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and image processing method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080287799A1 (en) * 2007-05-16 2008-11-20 General Electric Company Method and apparatus for measuring volumetric flow
US20120253181A1 (en) * 2011-04-01 2012-10-04 Toshiba Medical Systems Corporation Ultrasound diagnosis apparatus and controlling method
CN102920476A (zh) * 2011-08-11 2013-02-13 深圳迈瑞生物医疗电子股份有限公司 一种超声成像方法及装置
CN105338906A (zh) * 2013-06-28 2016-02-17 皇家飞利浦有限公司 到超声图像中的形状注入以实时校准波束样式
US20160199025A1 (en) * 2015-01-09 2016-07-14 Konica Minolta, Inc. Ultrasound diagnosis apparatus

Also Published As

Publication number Publication date
CN109715071B (zh) 2022-08-02
JP6882458B2 (ja) 2021-06-02
EP3512432B1 (en) 2021-02-24
US20190201110A1 (en) 2019-07-04
JP2019528881A (ja) 2019-10-17
EP3512432A1 (en) 2019-07-24
US11766297B2 (en) 2023-09-26

Similar Documents

Publication Publication Date Title
CN109715071A (zh) 用于检测介入工具的装置和方法
Carr Surface reconstruction in 3D medical imaging
RU2674228C2 (ru) Анатомически интеллектуальная эхокардиография для места оказания медицинского обслуживания
US7887485B2 (en) Ultrasonic image boundary extracting method, ultrasonic image boundary extracting apparatus, and ultrasonic imaging apparatus
US8133181B2 (en) Device, system and method to measure abdominal aortic aneurysm diameter
EP3577491B1 (en) System and method for speed and attenuation reconstruction in ultrasound imaging
JP6205056B2 (ja) 非イメージング２次元アレイプローブ及び頸動脈狭窄を分類するシステム
CN101273903A (zh) 超声波成像装置以及超声波速度优化方法
CN105491959A (zh) 弹性成像测量系统和方法
CN110192893A (zh) 量化超声成像的感兴趣区域放置
CN107212903A (zh) 医学诊断超声中的相对背向散射系数
US20070100238A1 (en) System and method for forming 3-dimensional images using multiple sectional plane images
US11761928B2 (en) Method and system for ultrasonic characterization of a medium
US9448100B2 (en) Signal processing apparatus
AU2021209266A1 (en) Method and system for ultrasonic characterization of a medium
KR20220036863A (ko) 매질의 초음파 특성화 방법 및 시스템
US8343054B1 (en) Methods and apparatus for ultrasound imaging
US20200315588A1 (en) Ultrasonic diagnostic device, signal processing device, and program
WO2018050885A1 (en) An apparatus and method for detecting an interventional tool
US20230061869A1 (en) System and methods for beamforming sound speed selection
Jensen Linear description of ultrasound imaging systems: Notes for the international summer school on advanced ultrasound imaging at the technical university of denmark
AU2021346246A1 (en) Method and system for ultrasonic characterising of a medium
CA3127873A1 (en) Method and system for ultrasonic characterization of a medium
CN108366779A (zh) 用于检测工具的装置和方法
US8372006B1 (en) Method for detecting and locating a target using phase information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant