CN108366779B - 用于检测工具的装置和方法 - Google Patents

用于检测工具的装置和方法 Download PDF

Info

Publication number
CN108366779B
CN108366779B CN201680071653.6A CN201680071653A CN108366779B CN 108366779 B CN108366779 B CN 108366779B CN 201680071653 A CN201680071653 A CN 201680071653A CN 108366779 B CN108366779 B CN 108366779B
Authority
CN
China
Prior art keywords
tool
image
ultrasound
section
cross
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680071653.6A
Other languages
English (en)
Other versions
CN108366779A (zh
Inventor
A·普塔黑里安
H·H·M·科斯滕
N·米哈伊洛维奇
J·黄
P·H·N·德维特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN108366779A publication Critical patent/CN108366779A/zh
Application granted granted Critical
Publication of CN108366779B publication Critical patent/CN108366779B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
    • A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种装置适于基于由3D超声成像系统获得的3D图像来检测工具。所述装置包括图像处理单元，所述图像处理单元包括被配置为执行工具检测流程的工具检测模块。所述工具检测流程涉及识别所述工具在3D图像中的阴影，以及计算所述3D图像中表示所述工具的整个长度的“工具平面截面”的位置。

Description

用于检测工具的装置和方法
技术领域
本发明涉及用于检测工具的装置和方法，并且具体涉及用于使用通过超声成像获得的图像来对介入工具进行成像的装置和方法。
背景技术
超声成像是针对工具引导应用的最流行的成像系统之一。超声成像可以用于对诸如针、腹腔镜、支架和用于近距离放射治疗的放射性种子的工具进行成像。例如，超声成像可以用于麻醉学、组织消融中的针引导或者用于活检引导，这是因为针用于采集组织样本并将药物或电能递送到患者体内的目标组织。在这些流程中，为了最大限度地降低对患者的风险并改善健康预后，针和针头的可视化非常重要。
通常，在进行流程时，2D超声引导用于对工具进行可视化。然而，这种成像模式有许多缺点。尤其是，2D成像具有有限的视场；在将工具在超声图像中成功对准和定位之后并且在移动工具或评估目标的同时，进行该流程的人的任何不期望的手部运动可能会导致工具未对准超声换能器，使得该工具的部件被排除在超声图像之外。这可能会导致未能正确地放置该工具。此外，在流程期间，操作者的注意力可能偏离处置，因为他们可能由于在超声图像中搜索工具而分心。
外部工具跟踪系统也有许多缺点，因为它们需要额外的仪器，这增加了超声成像系统的成本。另外，需要包括额外的传感器的专用针。将医生限于使用专用针可能会增加手术费用。
3D超声成像可以用作对2D超声系统的备选方案。3D超声系统具有大的视场，因此能够轻松捕捉工具，从而改善针引导。为了提供对3D超声系统的引导，需要进行适当的基于图像的分析以对工具进行检测和可视化。检测工具的长轴平面尤为重要。通过检测长轴平面，能够对工具进行定位并将包括该工具的平面可视化给用户。基于图像的工具检测的性能有限；超声成像的固有问题包括图像中的低信噪比、斑点噪声和各向异性。因此，在实际临床情况下用超声成像来检测工具是困难的。
最近，已经在3D超声中提出了基于方向敏感的谱变换的工具检测技术，其显示出对噪声更鲁棒并且能够在具有挑战性的情况下检测到针。
尽管如此，当工具的插入角度(入射超声辐射与工具之间的角度)很大时，这些提议不能检测到工具。在这些情况下，入射波束以大角度反射，结果超声成像系统无法检测到。因此，该工具在采集到的数据集中几乎不可见。
图1A和图1B示出了典型的超声成像系统并且图示了工具1的插入角度以及工具1的对应的超声图像。包括超声发射器和图像传感器的超声装置3被布置为朝向对象发射超声波5。超声波5形成针对对象的入射超声辐射。超声装置3采集数据集，该数据集基于反射的超声辐射，用于对工具1进行成像。所发射的超声辐射在基本上垂直于超声装置3的发射表面7的方向上传播。
工具1与超声装置3的发射表面7成一定角度插入。工具的插入角度是超声装置3的发射表面7与工具1之间的角度，其中，超声装置3的发射表面是垂直于入射超声辐射5的发射方向的平面。
在图1A中，工具以小的插入角度显示；该工具被布置为基本上平行于超声装置3的发射表面7。在这种情况下，工具1的插入角度大约为0°。超声辐射5被工具1的表面反射，并且朝向超声装置3反向传播，在超声装置3处被图像传感器检测到。由于该工具强烈地反射入射的超声辐射，因此该工具在超声图像中显现为亮区。
在图1B中，工具1和超声装置3以不同的布置来提供，其中，工具1的插入角度大。在这种情况下，超声装置3的发射表面7与工具1之间的角度大约为45°。超声辐射5朝向工具1传播并且入射在工具1的反射表面上。超声辐射中的一些以大角度被反射，导致它被导向远离图像传感器。结果，工具1在超声装置3产生的超声图像中几乎不可见。
因此，需要用于即使在相对于超声装置的发射表面以大角度插入工具时也能够利用3D超声成像来检测工具的装置和方法。
在文章“Ultrasonic scanning of straight micro tools in soft biologicaltissues:Methodology and implementation”(Ultrasonics，第51卷，2011年，第532-638页)中公开了一种方法，通过该方法，通过创建衰减的图像来检测由工具引起的声学线。
发明内容
本发明由权利要求来定义。
根据范例，根据本发明的一个方面，提供了一种用于检测工具的装置，包括：图像处理单元，其适于基于3D超声图像来检测工具，所述图像处理单元包括：第一工具检测模块，其被配置为执行第一工具检测流程，所述第一工具检测流程包括：从所述3D超声图像获得平面截面的集合；识别存在于平面截面的所述集合的平面截面中的工具阴影区域；并且基于检测到的工具阴影区域来确定3D图像内的工具平面截面的位置，其中，所述工具平面截面表示所述3D图像内的所述工具的整个长度存在于其中的平面。
在3D超声成像中，3D超声成像装置被布置为朝向对象发射超声辐射并且检测由所述对象反射的辐射以产生表示所述对象的3D体积的3D体积数据集。通过这种方式，3D成像装置产生3D体积的图像。
图像处理单元适于处理由3D超声成像装置获得的3D图像，以确定3D图像的哪个平面表示包括工具的整个长度(包括工具的顶端)的3D体积的平面。这个平面被称为工具平面截面。通过执行第一工具检测流程，能够快速识别工具平面截面，从而使得能够高效且可靠地确定工具的位置和取向。通过检测工具平面截面的位置，能够对工具的长轴视图进行可视化。另外，能够确定工具关于工具平面截面的其他视图。例如，由于包括工具的短轴的平面是垂直于工具平面截面的平面，因此能够识别包括工具的短轴的平面。另外，由于图像处理单元处理典型的3D超声图像以确定工具平面截面的位置，因此该装置能够并入到典型的3D超声成像系统中，而不需要修改系统的任何其他元件。
第一工具检测模块基于表示工具阴影的3D数据集的区域来定位工具平面截面。通过这种方式，即使当工具的插入角度较大时，也能够检测到工具的位置，这是因为无论插入角度如何，工具的阴影都是可识别的。
第一工具检测模块被配置为从3D超声图像获得表示3D体积的与入射在3D体积上的超声辐射的透射方向垂直的部分的平面截面的集合。第一工具检测模块可以通过在工具的与入射在工具上的超声辐射相对的一侧上选择位于工具下方的平面截面来选择3D图像的这些平面截面的子集。
在已经选择了平面截面之后，第一工具检测模块被配置为检测平面截面中的至少一个平面截面的暗区并且从检测到的暗区识别工具阴影区域。工具阴影区域是对应于工具的阴影的暗区。
所述第一工具检测模块可以例如通过检查暗区的尺寸、宽度和/或形状并将所检查的暗区的尺寸、宽度和/或形状与工具的阴影的预期尺寸、宽度和/或形状进行比较来分析检测到的暗区以确定所述暗区是否可能表示工具的阴影。
所述第一工具检测模块基于工具阴影区域的位置来计算3D体积数据集的包括存在于被成像的3D体积中的工具或工具的部分的整个长度的平面截面的位置。3D体积数据的这种截面是“工具平面截面”。
所述第一工具检测模块可以被配置为通过检测存在于多个平面截面中的暗区并确定所述暗区是否对应于所述工具的阴影来识别多个工具阴影区域。具体地，如果暗区确实对应于工具阴影，则在其他平面截面会出现对应的暗截面。通过这种方式，避免了从一个平面截面错误识别工具的风险。一旦确定了工具阴影，一个平面截面就足以识别其取向。
所述第一工具检测模块可以处理平面截面以检测平面截面是否包括任何暗区。检测到的暗区可能包括与工具阴影无关的暗区。然后可以分析在不同平面截面中检测到的暗区的相对位置，以将暗区的集合进一步缩小为形成整个工具阴影的子集。因此，第一工具检测模块可以基于其他检测到的暗区的相对位置来确定该暗区是否对应于工具阴影。可以将彼此最一致的暗区的集合识别为工具阴影区域，这个工具阴影区域形成整个工具阴影。
所述第一工具检测模块可以被配置为基于所述多个工具阴影区域或者基于所述平面截面中的仅一个平面截面中的所述工具阴影来确定所述工具平面截面的取向。第一工具检测单元可以通过例如使用RANSAC(随机样本一致性)确定平面截面中暗区最一致的取向来确定平面是否是工具平面截面。
所述装置还进一步包括第二工具检测模块，所述第二工具检测模块被配置为执行第二工具检测流程，所述第二工具检测流程包括：
优选使用基于强度和/或频率的算法，基于所述工具在所述3D图像中的表示来检测所述工具。
在浅插入角度下，该工具在3D图像中是高度可见的，因此能够从3D图像直接识别该工具。该工具强烈反映了朝向图像传感器的入射的超声辐射，因此工具的位置在3D图像中被表示为亮区，能够使用适当的算法来检测亮区。通过提供浅角度下和陡角度下的工具检测的功能，所述装置能够用于在一定范围的插入角度下检测工具，因此适合用于许多不同的应用。
当工具与3D超声成像装置的超声发射器的面之间的角度是小角度时，第二工具检测流程适合用于识别工具的位置，使得能够从3D图像直接识别工具。关于工具足够可见以便直接检测的插入角度的范围直接取决于3D成像装置的确切布置。然而，在典型的布置中，在插入角度大于30°时，该工具可能不可见。
所述3D图像是3D体积数据集并且包括多个体积元素。所述第二工具检测模块可以被配置为通过以下操作来执行所述第二工具检测流程：
对3D体积数据集执行Gabor变换；
针对所述3D体积数据集的每个体积元素实施特征向量；并且
对所述3D数据集的所述多个体积元素进行分类以提取多个候选工具体积元素。
通过这种方式，识别出3D数据集中可能对应于针的区域。通过使用方向敏感的谱变换，该检测方法对噪声不太敏感，因此能够在更具挑战性的情况下检测到工具。第二工具检测流程还可以包括识别不对应于工具的候选工具体积元素并丢弃这些元素。第二工具检测模块可以被配置为仅对体积元素的子集执行分类。例如，为了加速处理，工具检测模块可以被配置为对每一个其他体积元素执行分类。
所述装置还可以包括：
控制器，其被配置为：
控制所述图像处理单元以确定所述工具是否在所述3D图像中可见；
如果所述工具不可见，则控制所述第一工具检测单元以执行所述第一工具检测流程；并且
如果所述工具可见，则控制所述第二工具检测单元以执行所述第二工具检测流程。
第一工具检测模块和第二工具检测模块可以被配置为确定工具是处于小插入角度取向还是处于大插入角度取向。控制器被配置为基于检测到的工具的取向来启动第一工具检测流程和/或第二工具检测流程。通过这种方式，工具检测模块被配置为针对工具的插入角度自动选择适当的工具检测流程。这允许快速识别工具平面截面，从而实现工具平面截面的快速定位以及工具对用户的可视化。在小插入角度下，可以使用两种工具检测流程来提高准确度。
所述装置还可以包括：
超声发射器，其被布置为将超声辐射导向3D体积；以及
图像传感器，其适于检测由所述3D体积反射的超声辐射并基于检测到的超声辐射来生成3D图像，并且其中，所述图像传感器被配置为将所述3D图像传送到所述图像处理单元。
因此，所述装置可以提供用于对其中淹没了工具的至少部分的3D体积进行成像的超声引导系统。超声发射器将超声波导向待成像的3D体积，并且图像传感器检测由3D体积反射的超声波并使用采集到的数据集来产生3D体积的图像。然后将这些图像发送给图像处理单元，所述图像处理单元对这些图像进行处理以快速定位其中显示工具的整个长度的图像的平面截面(工具平面截面)。
所述装置还可以包括用于显示超声图像的显示单元，其中，所述图像处理单元被配置为将所述工具平面截面的图像传送到所述显示单元。一旦图像处理单元识别出3D图像中的工具平面截面的位置，图像处理单元就将该工具平面截面的图像发送到显示单元。通过这种方式，能够将工具平面截面可视化并用于引导。
根据本发明的一个方面，提供了一种用于使用超声辐射来检测工具的方法，包括：
获得3D体积数据集；并且
执行第一工具检测流程，其包括：
获得所述3D体积数据集的平面截面的集合，其中，每个平面截面表示与所述超声辐射的透射方向垂直的平面；
在平面截面中识别工具阴影区域；并且
基于检测到的工具阴影区域来确定所述3D体积数据集内的工具平面截面的位置，其中，所述工具平面截面表示所述工具的整个长度存在于其中的平面。
通过执行所述方法，能够快速识别包含工具的整个长度的3D图像的平面，从而实现工具对操作者的快速可视化。而且，所述方法对噪声不太敏感，因此提供了一种可靠的方法来检测工具在各种情况下的位置。另外，所述方法能够用于在高噪声环境中检测工具。
所述方法涉及处理超声图像，并且可在不需要医学专业人员的任何输入的情况下执行。
可以识别多个工具阴影区域，并且可以基于所述工具阴影区域来计算所述工具平面截面的所述位置。
识别多个工具阴影区域包括：检测存在于所述平面截面中的暗区，以及确定所述暗区是否对应于所述工具的阴影。可以通过找到彼此一致的暗区的集合来识别工具阴影区域。可以通过识别暗区与该平面最一致地对齐的平面取向来检测工具平面截面。
可以通过确定平面截面中的一个或多个平面截面中的暗区的取向来确定工具平面截面的位置。
所述方法还可以包括：在执行所述第一工具检测流程之前，确定所述工具是否在所述3D图像中可见，并且如果所述工具不可见，则执行所述第一工具检测流程。
本发明还提供了一种包括代码模块的计算机程序，所述代码模块适于当所述程序在计算机上运行时执行上文定义的方法。
通过提供计算机程序，能够改变现有图像处理单元的功能以检测工具并定位工具平面截面，而无需改变用于3D超声成像的任何典型的现有仪器。
附图说明
图1A示出了工具以介入工具的小插入角度布置的超声成像装置；
图1B示出了工具以介入工具的大插入角度布置的超声成像装置；
图2是根据范例的包括用于检测工具的装置的超声引导系统的示意图；
图3图示了根据范例的用于检测工具的方法；
图4A示出了通过超声成像获得的体积的3D图像；
图4B示出了图4B的体积的平面截面；
图5示出了3D体积的范例平面图像的集合，其中，针以小的插入角度布置；
图6示出了3D体积的范例平面图像的集合，其中，针以大插入角度布置；
图7是根据范例的用于检测工具的装置的示意图；并且
图8示出了适合用于实施由该装置执行的处理的计算机。
具体实施方式
本发明提供了一种用于检测工具的装置，其中，通过从3D超声图像获得平面截面的集合来处理3D超声图像。识别存在于平面截面中的工具阴影区域，并且确定3D超声图像内的工具平面截面的位置。基于检测到的工具阴影区域，工具平面截面表示3D图像内的工具的整个长度存在于其中的平面。这样可以使该工具以对系统用户最有效的方式进行可视化。
图2是图示根据范例的包括装置11的超声引导系统9的示意性框图。装置11适于检测由包括超声发射器13a和图像传感器13b的3D超声成像系统13获得的3D图像内的工具。3D超声系统可以包括超声探头(未示出)。超声发射器13a和图像传感器13b可以位于超声探头内作为超声阵列的部分。探头还可以包括被布置为在超声波束发射(发射)和接收期间控制阵列的集成电路。探头可以部分(或完全)处理与由3D体积反射的超声辐射相对应的信号，该信号可以被进一步传送到超声系统13的主单元(未示出)。超声系统的主单元被布置为基于部分(完全)处理的信号来生成体积的3D超声图像，然后将所述3D图像传送到图像处理单元15。
装置11包括图像处理单元15，图像处理单元15包括被配置为执行工具检测流程的工具检测模块17。工具检测流程涉及识别3D图像中工具的阴影，以及计算3D图像中表示工具的整个长度的“工具平面截面”的位置。工具检测流程使得能够快速定位工具平面截面。通过这种方式，图像处理单元能够高效地检测工具截面平面，同时对噪声鲁棒。通过获得该信息，使得能够在显示器16上对工具进行快速且准确的可视化。
在图2中，该装置是图像处理器。在这种情况下，装置11能够并入超声引导系统9中，而不需要修改超声成像仪器的其他部件。
装置11被配置为与3D超声成像系统13通信。该装置被配置为从3D超声成像系统接收3D图像并使用图像处理单元15来处理3D图像。例如，3D超声成像系统例如适合用于对介入工具(例如，针)进行成像。
该装置的另外的优点是它能够用于在大范围的插入角度上检测工具。在典型的超声引导流程中，通过检测表示该工具的3D图像的亮区来定位该工具。但是，由于是通过检测反射的辐射来对3D体积进行成像的，因此在工具的插入角度大的情况下难以检测到工具。这是由于超声辐射是被工具以大角度反射的，因此不会被图像传感器检测到(如图1B所示)。因此，在大的插入角度下，3D图像中工具的可视性较差。
图像处理单元通过检测3D图像中的工具的阴影来检测工具截面平面。这使得工具能够被检测到，即使当工具被定向为使得工具的可视性差(例如在45度至90度之间)时也是如此。随着插入角度的增加，针的可视性显著降低。因此，对于大于30°的插入角度，检测正常针(非特殊或回波)很可能失败或不可靠。
工具的外表面强烈地反射入射的超声辐射，因此入射在工具上的大部分超声辐射被反射，而与工具的取向无关。入射辐射中的一些入射辐射发生透射，但是透射波束的强度显著低于反射波束的强度。因此，表示与超声辐射的入射侧相对的工具侧的图像区域相对较暗。当工具的插入角度很大时，这种效果尤其强烈，这是因为入射超声波束的较大比例被反射离开图像传感器。因此，工具的阴影能够在宽范围的插入角度上被检测到。
图3图示了根据本发明的范例的由图像处理单元执行的工具检测流程。
在工具检测流程的第一步骤(18A)中，从由3D超声成像系统生成的3D超声图像获得平面截面的集合。平面截面表示位于工具下方的被成像3D体积的截面，其垂直于由超声成像系统发射的超声辐射的透射方向。该工具的阴影在3D图像的这些平面截面中最为明显。因此，使用这些平面截面来定位工具使得能够快速且准确地识别工具阴影。平面截面是在3D图像的不同深度处获得的，从而提供了平面截面的集合。
接下来，在步骤18B中，分析在步骤18A中获得的平面截面，以检测可以表示工具的阴影的平面截面的暗区。在针下面的截面中，针的阴影将显现为椭圆形斑点，其相对于3D图像的相邻区域较暗。因此，在对图像进行去噪和执行诸如负阈值化、线检测或分割技术的分析技术之后，能够识别具有工具阴影的典型属性的暗区。由于针的尺寸、宽度和形状是已知的并且由此能够计算阴影的预期尺寸、宽度和形状，因此能够通过检查暗区的尺寸、宽度和形状来实施进一步的增强。然而，并非所有在平面截面中存在的暗区都对应于工具的阴影。因此，检测到的暗区中的一些暗区不构成工具阴影的部分。
接下来，在步骤18C中，处理在步骤18B中检测到的暗区，以识别暗区中的哪个暗区对应于工具阴影。通过识别至少一个工具阴影区域，能够确定表示沿着体积的纵向轴线的针的全长的3D图像的平面的位置。
可以基于单个检测到的工具阴影区域的位置或一起形成检测到的总体阴影的来自不同平面截面的多个工具阴影区域来确定工具截面平面的位置。
有多种方法处理平面截面来识别作为工具阴影的暗区。这些工具阴影区域是检测到的暗区的子集。为了识别该子集，在数据集上执行随机采样和一致性算法(RANSAC)。在RANSAC方法中，确定拟合模型并检查数据集的元素以确定哪些元素与拟合模型一致。工具阴影区域子集是具有最少离群值的数据集的子集。
在一个范例中，为了定位工具阴影区域子集，选择可能的工具平面，并且对与工具平面截面垂直的截面中与可能的工具平面截面一致的检测到的暗区的数量进行计数。备选地或额外地，对包括与可能的工具平面一致的暗区的、与由超声成像系统发射的超声辐射的透射方向垂直的截面的数量进行计数。
通过若干次迭代对该过程进行重复，直到识别出具有最大数量的内嵌物的可能的工具平面为止；这是实际的工具平面。与工具平面截面相交的暗区是形成整个工具阴影的工具阴影区域。因此，通过识别包括整个工具阴影的平面，可以基于工具阴影区域来确定工具平面截面的取向。
在步骤18D中，计算与超声波束平行且包含检测到的整个阴影的全长的体积的截面并使其对用户可视化。该截面是工具平面，其包含全长的针和顶端。针的其他视图也可以基于工具平面截面的位置来定位。
图4A示出了包括针19的阴影的针1的3D超声图像的范例。
图4B示出了图4A的图像的平面截面，其中，平面截面位于针的下方。平面截面由第一工具检测模块获得，并且随后经受降噪图像处理。检测并分析暗区以确定暗区是否表示工具的阴影。而且，平面截面垂直于用于生成图像的入射超声波束的方向，因为该取向的平面截面提供了工具阴影19的最独特的表示。
图5示出了3D图像内的平面截面的范例，其中，针1相对于超声辐射的透射方向以小角度布置。针1与换能器的面具有约20°的相对角度。在这种情况下，阴影化很强，但针1仍然可见。因此，基于强度的检测技术和基于阴影的检测技术两者都会产生正确的长轴针平面。因此，任一种技术都能够用于检测针。
左侧的一对图像是3D体积的横截面，其中，顶部图像是与超声波束的传播方向平行的横截面，并且下部图像是与超声波束的传播方向垂直的横截面。下部图像中的虚线表示上部图像的横截面平面。在下部图像中，针1的小截面可见，为两个明亮的圆圈。该圆圈表示平面与针的下壁和上壁的交点。阴影19的一小部分也是可见的。由于上部图像是3D体积的不与针或针的阴影相交(如虚线与下部图像中的针/阴影之间的间隔所示)的横截面，因此针和针的阴影在上部图像中均不可见。
中间的一对图像是3D体积的横截面，其中，下部图像是与位于针下方的超声波束垂直的横截面。针阴影可见，为区域19。顶部图像再次是与超声波束平行的横截面。下部图像中的虚线再次显示上部图像的横截面。因此，上部图像再次是3D体积的不与针相交的横截面；该横截面被定位为远离针。请注意，左侧和中间的下部图像的虚线位置相同。因此，左侧和中间的上部图像相同。
右侧的一对图像显示检测到的针截面平面。顶部图像是与超声波束平行的横截面，并且下部图像是与超声波束垂直的横截面。
旋转上部图像横截面，使得针完全位于平面中。这能够从下部图像中看出，其中，虚线穿过针状阴影19。这就是为什么图像与其他两幅图像相比顺时针旋转的原因。在右上部的图像中，针1完全处于图像的平面中。这可以通过控制垂直切片(即，与传播方向平行的切片)的旋转角度来实现。
因此，“工具平面截面”是包括与超声辐射的传播方向平行的向量和与工具的细长轴平行的向量这两者的平面。工具平面截面与工具相交。总是能够定义这两个二维向量相交的平面。因此，通过控制成像平面的位置和围绕与传播方向平行的轴的旋转，能够形成工具的总体轴向位于其中的“工具平面截面”。针能够清楚地由二维向量来表示。然而，该方法也适用于具有总体细长轴的更多三维工具。通过将这个总体细长轴定位在“工具平面截面”中，尽可能地使工具变得可见。
另外，通过定位工具平面截面，可以定位包括针的截面的其他平面。而且，基于工具平面截面的位置，能够构建包含整个工具的图像的非平面截面。
图6示出了3D体积的范例平面图像，其中，针相对于超声辐射的透射方向以大角度布置；针以大约45°的陡角插入。如图所示，尽管针的可视性较差，但是阴影化19非常强，并且能够用于高效且准确地定位3D图像内的工具平面截面。
左侧的一对图像是3D体积的平面截面。顶部图像是与超声波束的传播方向平行的截面，并且下部图像是与超声波束的传播方向垂直的截面。下部横截面位于针上方，图像中无法看到它。请注意，左下方图像的右下角处的亮白线表示软组织。在患者的临床超声图像中，也能够存在其他明亮的结构，例如，骨骼、脂肪结构、神经和静脉。
中间的一对图像是3D体积的横截面。顶部图像是与超声波束平行的横截面，并且下部图像是与超声波束垂直的横截面。现在能够看到阴影19。
右侧的一对图像显示检测到的针截面平面。顶部图像是与超声波束平行的横截面，并且下部图像是与超声波束垂直的横截面。
关于图5的范例，对上部图像横截面进行定位并旋转，使得针完全位于平面中。这能够从虚线穿过针状阴影19的下部图像中看出。
在右上方图像中，针1现在是可见的并且完全处于图像的平面中。这可以通过控制垂直切片(即，与传播方向平行的切片)的位置和旋转角度来实现。
图7示出了用于检测3D超声图像内的工具的装置的范例。装置11是图像处理器。在该范例中，图像处理单元15包括第二工具检测模块21，第二工具检测模块21与第一工具检测模块17协作操作以高效且鲁棒地检测3D超声体积中的长轴针平面。
第一工具检测模块检查针对表示工具的阴影的3D图像的暗区的体积。该方法在插入角度较大的情况下最为有利，但是也可以用于检测以小角度插入的工具。因此，基于阴影的工具检测适合用于检测以任何角度插入的工具。
当针以小的插入角度定向时，第二模块适于基于其3D外观来检测针。例如，第二模块可以被配置为使用基于强度和频率的算法来检测工具。这种算法在例如H.H.M Korsten、P.H.N.de With和J.W.M Bergmans的“Needle detection in medical image data”(2012年)以及A.Pourtaherian、S.Zinger、P.H.N de With、H.H.M Korsten和N.Mihajlovic的“Gabor-Based Needle Detection and Tracking in Three-Dimensional UltrasoundData Volumes”(Proc.IEEE Int.Conf，Image Processing(ICIP)，2014年，第3602-3606页)中进行了论述。如上所述，基于阴影的检测能够用于识别针对任何插入角度的针。通过提供能够通过任一种方法进行工具检测的装置11，能够以增加对噪声的鲁棒性和检测的可靠性来检测工具。
装置11还包括控制器，所述控制器被配置为控制第一工具检测模块和第二工具检测模块以分别执行第一工具检测流程和第二工具检测流程。控制器可以被配置为控制图像处理单元以确定工具是否从3D图像中可见。如果工具是可见的，则控制器可命令第二工具检测单元以执行第二工具检测流程。备选地，控制器可以使第一工具检测单元和第二工具检测单元执行工具检测，因为基于阴影的检测能够用于任何工具插入角度。如果图像处理单元确定工具不可见，则控制器可以使第一工具检测单元以执行第二工具检测流程。
在范例中，该装置包括用于显示超声图像的显示单元。一旦图像处理单元确定了工具平面截面的位置，图像处理单元就将图像发送到显示单元，以便将工具平面截面可视化给用户。
该装置可以是图像处理器。备选地，在一些范例中，该装置包括用于生成3D图像的3D超声成像系统，并且图像处理单元被配置为与3D超声成像系统通信以接收由3D超声成像系统生成的3D图像，并且对接收到的3D图像执行第一工具检测流程。
该装置可以适合用于能够通过超声辐射成像的任何类型的工具。例如，金属工具或具有反射涂层的工具。例如，工具可以是针、导管、电极或腹腔镜。工具的可见度的角度范围可以取决于工具的类型。
图像处理单元可以被配置为检测仅针对从3D超声图像获得的平面截面的子集的暗区。
图像处理单元可以基于工具阴影截面的子集来确定工具平面截面的位置。
如上所述，图像处理可以由控制器来实施。控制器可以包括计算机30，如图8所示。
计算机30包括但不限于PC、工作站、膝上型电脑、PDA、掌上设备、服务器、存储设备等。通常，就硬件架构而言，计算机30可以包括经由本地接口(未示出)通信性地耦合的一个或多个处理器31、存储器32以及一个或多个I/O设备33。如本领域中已知的，本地接口能够是例如但不限于一个或多个总线或其他有线或无线连接。本地接口可以具有额外的元件(例如，控制器、缓冲器(高速缓冲存储器)、驱动器、中继器和接收器)以实现通信。另外，本地接口可以包括地址、控制和/或数据连接以实现上述组件之间的适当通信。
处理器31是用于运行能够被存储在存储器32中的软件的硬件设备。处理器31实际上能够是任何定制的或可商业获得的处理器、中央处理单元(CPU)、数字信号处理器(DSP)或与计算机30相关联的若干处理器中的辅助处理器，并且处理器31可以是基于半导体的微处理器(以微芯片的形式)或微处理器。
存储器32能够包括以下中的任一种或组合：易失性存储器元件(例如，随机存取存储器(RAM)，例如，动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)等)和非易失性存储器元件(例如，ROM、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁带、压缩盘只读存储器(CD-ROM)、磁盘、软盘、录音带盒、盒式磁带等)。此外，存储器32可以包含电子、磁性、光学和/或其他类型的存储媒介。注意，存储器32能够具有分布式架构，其中，各种部件彼此远离，但是能够由处理器31访问。
存储器32中的软件可以包括一个或多个单独的程序，这些程序中的每个程序都包括用于实施逻辑功能的可执行指令的有序列表。根据示范性实施例，存储器32中的软件包括合适的操作系统(O/S)34、编译器35、源代码36以及一个或多个应用程序37。
应用程序37包括许多功能部件，例如，计算单元、逻辑单元、功能单元、过程、操作、虚拟实体和/或模块。
操作系统34控制计算机程序的运行并提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。
应用程序37可以是源程序、可执行程序(目标代码)、脚本或包括要执行的指令集的任何其他实体。当为源程序时，程序通常经由编译器(例如，编译器350)、汇编器、解释器等(它们可以被包括或不被包括在存储器320内)进行转译，以便与操作系统340相结合来正确操作。此外，应用程序37能够被编写为具有数据和方法的类的面向对象的编程语言，或具有例程、子例程和/或函数的过程编程语言，例如但不限于C、C++、C#、Pascal、BASIC、API调用、HTML、XHTML、XML、ASP脚本、JavaScript、FORTRAN、COBOL、Perl、Java、ADA、.NET等。
I/O设备33可以包括输入设备，例如但不限于鼠标、键盘、扫描仪、麦克风、相机等。此外，I/O设备33还可以包括输出设备，例如但不限于打印机、显示器等。最后，I/O设备33还可以包括传送输入和输出两者的设备，例如但不限于网络接口控制器(NIC)或调制器/解调器(用于访问远程设备、其他文件、设备、系统或网络)、射频(RF)或其他收发器、电话接口、网桥、路由器等。I/O设备33还包括用于通过各种网络(例如，互联网或内联网)进行通信的部件。
当计算机30正在操作时，处理器31被配置为：运行被存储在存储器320内的软件，将数据传送到存储器320和从存储器320传送数据，并且通常依据软件来控制计算机30的操作。应用程序37和操作系统34整体或部分地由处理器310读取，可能被缓冲在处理器310内，然后被运行。
当应用程序37以软件实施时，应当注意，应用程序37实际上能够被存储任何计算机可读介质上以供任何计算机相关的系统或方法使用或与其结合使用。在本文件的上下文中，计算机可读介质可以是电子、磁性、光学或其他物理设备或器件，其能够包含或存储供计算机相关的系统或方法使用或与计算机相关的系统或方法结合使用的计算机程序。
本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的其他变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记都不应被解释为对范围的限制。

Claims (13)

1.一种用于检测工具的装置(11)，包括：
图像处理单元(15)，其适于基于3D超声图像来检测工具，所述图像处理单元包括：
第一工具检测模块(17)，其被配置为执行第一工具检测流程，所述第一工具检测流程包括：
从所述3D超声图像获得平面截面的集合；
识别存在于平面截面的所述集合的平面截面中的工具阴影区域(19)；并且
基于检测到的工具阴影区域来确定所述3D超声图像内的工具平面截面的位置，其中，所述工具平面截面表示所述3D超声图像内的所述工具的整个长度存在于其中的平面；
第二工具检测模块(21)，其被配置为执行第二工具检测流程，所述第二工具检测流程包括：
基于所述工具在所述3D超声图像中的表示来检测所述工具。
2.根据权利要求1所述的装置，其中，所述第一工具检测模块(17)被配置为通过检测存在于多个平面截面中的暗区并确定所述暗区是否对应于所述工具的阴影来识别多个工具阴影区域。
3.根据权利要求2所述的装置，其中，所述第一工具检测模块(17)被配置为基于所述多个工具阴影区域来确定所述工具平面截面的取向。
4.根据任一前述权利要求所述的装置，其中，由所述第二工具检测模块(21)基于所述工具在所述3D超声图像中的表示来检测所述工具包括：使用基于强度和/或频率的算法。
5.根据权利要求1-3中任一项所述的装置，其中，所述3D超声图像是3D体积数据集并且包括多个体积元素，并且所述第二工具检测模块被配置为通过以下操作来执行所述第二工具检测流程：
执行对3D体积数据集的Gabor变换；
针对所述3D体积数据集的每个体积元素实施特征向量；并且
对所述3D体积数据集的所述多个体积元素进行分类以提取多个候选工具体积元素。
6.根据权利要求1-3中任一项所述的装置，还包括：
控制器，其被配置为：
控制所述图像处理单元以确定所述工具是否在所述3D超声图像中可见；
如果所述工具不可见，则控制所述第一工具检测模块以执行所述第一工具检测流程；并且
如果所述工具可见，则控制所述第二工具检测模块以执行所述第二工具检测流程。
7.一种超声系统，包括：
根据任一前述权利要求所述的装置；
超声发射器(13a)，其被布置为将超声辐射导向3D体积；以及
图像传感器(13b)，其适于检测由所述3D体积反射的超声辐射，其中，所述超声系统被配置为基于检测到的超声辐射来生成3D图像并将所述3D图像传送到所述图像处理单元。
8.根据权利要求7所述的超声系统，还包括用于显示超声图像的显示单元(16)，其中，所述图像处理单元被配置为将所述工具平面截面的图像发送到所述显示单元。
9.一种用于使用超声辐射来检测工具的方法，包括：
获得3D体积数据集；并且
在执行第一工具检测流程之前，确定所述工具在所述3D体积数据集中是否可见，并且如果所述工具不可见，则执行所述第一工具检测流程；
其中，执行所述第一工具检测流程包括：
获得所述3D体积数据集的平面截面的集合，其中，每个平面截面表示与所述超声辐射的透射方向垂直的平面；
在平面截面的所述集合的平面截面中识别工具阴影区域(19)；并且
基于检测到的工具阴影区域来确定所述3D体积数据集内的工具平面截面的位置，其中，所述工具平面截面表示所述工具的整个长度存在于其中的平面。
10.根据权利要求9所述的方法，其中，识别多个工具阴影区域(19)，并且基于所述工具阴影区域来计算所述工具平面截面的所述位置。
11.根据权利要求10所述的方法，其中，识别多个工具阴影区域(19)包括：检测存在于所述平面截面中的暗区，以及确定所述暗区是否对应于所述工具的阴影。
12.根据权利要求11所述的方法，其中，确定一个平面截面中的暗区是否对应于所述工具的阴影包括：确定所述暗区是否与其他平面截面的暗区一致。
13.一种存储包括代码模块的计算机程序的计算机可读介质，所述代码模块适于当所述计算机程序在计算机上运行时执行根据权利要求9至12中的任一项所述的方法。
CN201680071653.6A 2015-12-07 2016-12-05 用于检测工具的装置和方法 Active CN108366779B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15198142 2015-12-07
EP15198142.0 2015-12-07
PCT/EP2016/079691 WO2017097682A1 (en) 2015-12-07 2016-12-05 An apparatus and method for detecting a tool

Publications (2)

Publication Number Publication Date
CN108366779A CN108366779A (zh) 2018-08-03
CN108366779B true CN108366779B (zh) 2021-08-10

Family

ID=54783489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680071653.6A Active CN108366779B (zh) 2015-12-07 2016-12-05 用于检测工具的装置和方法

Country Status (5)

Country Link
US (1) US11452495B2 (zh)
EP (1) EP3386396B1 (zh)
JP (1) JP6858190B2 (zh)
CN (1) CN108366779B (zh)
WO (1) WO2017097682A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11766297B2 (en) 2016-09-16 2023-09-26 Koninklijke Philips N.V. Apparatus and method for detecting an interventional tool

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5817022A (en) 1995-03-28 1998-10-06 Sonometrics Corporation System for displaying a 2-D ultrasound image within a 3-D viewing environment
US7556602B2 (en) * 2000-11-24 2009-07-07 U-Systems, Inc. Breast cancer screening with adjunctive ultrasound mammography
JP5373612B2 (ja) * 2006-09-29 2013-12-18 コーニンクレッカ フィリップス エヌ ヴェ ３ｄ連結シャドウ・マウス・ポインタ
KR101423071B1 (ko) 2008-07-29 2014-07-25 코코 리서치 피티와이 엘티디 에코발생 의료용 바늘
EP2363071A1 (en) * 2010-03-03 2011-09-07 Technische Universiteit Eindhoven Needle detection in medical image data
EP2640275A1 (en) 2010-11-19 2013-09-25 Koninklijke Philips N.V. Three dimensional ultrasonic guidance of surgical instruments
JP5778429B2 (ja) * 2011-01-04 2015-09-16 株式会社東芝 超音波診断装置
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
JP2013027481A (ja) 2011-07-27 2013-02-07 Fujifilm Corp 光音響撮像システムおよび装置並びにそれらに使用されるプローブユニット
US20130218024A1 (en) 2011-10-09 2013-08-22 Clear Guide Medical, Llc Interventional In-Situ Image-Guidance by Fusing Ultrasound and Video
JP2013099386A (ja) 2011-11-07 2013-05-23 Toshiba Corp 超音波診断装置および医用画像処理装置
US8795178B2 (en) 2012-12-31 2014-08-05 General Electric Company Ultrasound imaging system and method for identifying data from a shadow region
US9949701B2 (en) * 2013-02-14 2018-04-24 Siemens Aktiengesellschaft Registration for tracked medical tools and X-ray systems
KR20150002932A (ko) 2013-06-26 2015-01-08 삼성전자주식회사 초음파 영상 디스플레이 방법 및 장치

Also Published As

Publication number Publication date
US20200297303A1 (en) 2020-09-24
US11452495B2 (en) 2022-09-27
EP3386396B1 (en) 2020-08-12
WO2017097682A1 (en) 2017-06-15
CN108366779A (zh) 2018-08-03
JP2018536493A (ja) 2018-12-13
EP3386396A1 (en) 2018-10-17
JP6858190B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
US8880151B1 (en) Surgical needle for a surgical system with optical recognition
JP6882458B2 (ja) インターベンショナルツールを検出する機器および方法
JP6985371B2 (ja) 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出
US9265587B2 (en) Method for determining an insertion trajectory of a tool in a deformable tissular matrix and robotic system executing the method
US9622720B2 (en) Ultrasound system with stereo image guidance or tracking
Zhao et al. Evaluation and comparison of current biopsy needle localization and tracking methods using 3D ultrasound
Gillies et al. Deep learning segmentation of general interventional tools in two‐dimensional ultrasound images
US9844360B2 (en) System and devices for image targeting
JP2014124319A (ja) 超音波キャリブレーションシステム及び超音波キャリブレーション方法
CN106687048A (zh) 医学成像装置
CN108366779B (zh) 用于检测工具的装置和方法
WO2018050885A1 (en) An apparatus and method for detecting an interventional tool
CN112137693B (zh) 四维超声引导穿刺的成像方法及装置
KR102616368B1 (ko) 진단 프로브 및 이를 이용한 의료용 초음파 스캐너
Pourtaherian et al. Automated in-plane visualization of steep needles from 3D ultrasound data volumes
US20190271771A1 (en) Segmented common anatomical structure based navigation in ultrasound imaging
JP7299100B2 (ja) 超音波診断装置及び超音波画像処理方法
Mwikirize Towards a 3D Ultrasound Imaging System for Needle-Guided Minimally Invasive Procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant