CN114126493A - 通过超声探头检测组织接触的系统和方法 - Google Patents

通过超声探头检测组织接触的系统和方法 Download PDF

Info

Publication number
CN114126493A
CN114126493A CN202080050755.6A CN202080050755A CN114126493A CN 114126493 A CN114126493 A CN 114126493A CN 202080050755 A CN202080050755 A CN 202080050755A CN 114126493 A CN114126493 A CN 114126493A
Authority
CN
China
Prior art keywords
tissue
ultrasound
ultrasound probe
pixels
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080050755.6A
Other languages
English (en)
Inventor
A·J·麦克劳德
P·施拉兹安
D·普若克斯
M·阿兹安
A·沙德曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intuitive Surgical Operations Inc
Original Assignee
Intuitive Surgical Operations Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intuitive Surgical Operations Inc filed Critical Intuitive Surgical Operations Inc
Publication of CN114126493A publication Critical patent/CN114126493A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/4281—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by sound-transmitting media or devices for coupling the transducer to the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

接触检测系统(300)包括存储指令(306)的存储器(302)以及处理器(304)，该处理器通信耦合到存储器并被配置为执行指令以：将通过位于患者体内的超声探头捕获的超声图像中的每个像素分类为显示组织或显示非组织，并且基于分类确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。基于确定的接触状态，接触检测系统可以例如控制超声图像在通过显示设备显示的可视图像内的显示、设置连接到超声探头的超声机器的参数，和/或生成控制信号，该控制信号被配置为通过计算机辅助外科手术系统使用来控制超声探头的定位。

Description

通过超声探头检测组织接触的系统和方法
相关发明
本申请要求于2019年5月31日提交的题为“SYSTEMS AND METHODS FOR DETECTINGTISSUE CONTACT BY AN ULTRASOUND PROBE(通过超声探头检测组织接触的系统和方法)”的美国临时专利申请号62/855，881的优先权，其内容通过引用整体并入本文。
背景技术
在外科手术过程中，内窥镜可以定位在患者体内以捕获患者体内外科手术区域的内窥镜图像。内窥镜图像可以通过显示设备呈现给外科医生，使得外科医生可以在执行外科手术过程的同时可视化患者体内的内部解剖结构和其他类型组织的外表面。
在一些情境中，超声探头也可以定位在患者体内，以在外科手术过程中捕获患者体内的超声图像。超声图像可以与内窥镜图像同时呈现给外科医生(例如，通过显示内窥镜图像的同一显示设备)。以这种方式，外科医生可以在执行外科手术过程的同时可视化外科手术区域中包括的组织的外表面(使用内窥镜图像)和外科手术区域中的组织内部的结构(使用超声图像)两者。
为了捕获有用的超声图像，超声探头必须与组织进行良好的物理接触。超声探头与组织接触不良将导致超声图像以噪声为主(例如，通过电子部件产生的噪声和/或出现在超声探头的换能器表面附近的信号伪影)。如果超声探头没有与组织良好接触，则在外科手术过程期间将超声图像呈现给外科医生可能会分散注意力和/或无用。
发明内容
示例性系统包括存储指令的存储器；和处理器，该处理器通信地耦合到存储器并且被配置为执行指令以：将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；并且基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，该接触状态指示超声探头是否与患者的组织处于手术物理接触。
另一个示例性系统包括存储指令的存储器和处理器，该处理器通信地耦合到存储器并被配置为执行指令以：基于通过位于患者体内的超声探头捕获的超声图像确定超声探头的接触状态的处理器，接触状态指示超声探头是否与患者的组织处于手术物理接触；并且基于超声探头的接触状态控制超声图像在显示设备显示的可视图像内的显示。
示例性方法包括通过接触检测系统将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；并且通过接触检测系统基于将多个像素中的每个像素分类为显示组织或显示非组织，确定超声探头的接触状态，该接触状态指示超声探头是否与患者的组织处于手术物理接触。
附图说明
附图说明了各种实施方案，是本说明书的一部分。所说明的实施方案只是示例，并不限制本公开的范围。在整个附图中，相同或相似的参考号表示相同或相似的元素。
图1示出了根据本文描述的原理的示例性超声成像系统的各种部件。
图2A至图2C示出了根据本文描述的原理的超声探头相对于组织的不同的可能的物理状态。
图3示出了根据本文描述的原理的示例性接触检测系统。
图4A示出了根据本文描述的原理的超声图像的详细视图。
图4B示出了根据本文描述的原理的在图4A的超声图像内的示例性感兴趣区域。
图5A至图5B示出了根据本文描述的原理的通过显示设备显示的示例性可视图像。
图6A至图6B示出了根据本文描述的原理的通过显示设备显示的示例性可视图像。
图7示出了根据本文描述的原理的示例性计算机辅助外科手术系统。
图8至图12示出了根据本文描述的原理的示例性方法。
图13示出了根据本文描述的原理的示例性计算设备。
具体实施方式
本文描述了通过超声探头检测组织接触的系统和方法。例如，接触检测系统可以被配置为将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织，并且基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态。该接触状态指示超声探头是否与患者的组织处于手术物理接触。
在一些示例中，接触检测系统可以确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值并且使用局部描述符值来执行分类。如本文所述，局部描述符值可以表征多个像素中的每个像素的强度分布和/或空间自相关。
如本文所用，手术物理接触是指当超声探头进行充分足够的组织接触以捕获有用的超声图像(即，至少包括代替噪声或除噪声之外的阈值量有用信息的超声图像，其中可以以本文所述的任何方式来确定阈值量)。因此，超声探头可以通过与组织的完全物理接触或与组织的部分物理接触来与组织处于手术物理接触，只要部分物理接触足以呈现有用的超声图像。当超声探头没有进行足够的组织接触以捕获有用的超声图像时，超声探头就没有与组织处于手术物理接触。
基于所确定的超声探头的接触状态，接触检测系统可以执行一个或多个操作。例如，基于超声探头的接触状态，接触检测系统可以控制超声图像在显示设备显示的可视图像内的显示、设置连接到超声探头的超声机器的参数和/或生成被配置为通过计算机辅助外科手术系统使用以控制超声探头的定位的控制信号。本文描述了可以通过接触检测系统基于所确定的超声探头的接触状态执行的这些和其他操作。
本文描述的系统和方法可以提供各种优点和益处。例如，当超声图像不包括有用信息时，本文描述的系统和方法可以智能地防止超声图像被包括在呈现给用户(例如，外科医生)的可视图像中，从而在外科手术过程期间为用户提供改进的视觉体验。附加地或可替代地，本文描述的系统和方法可以自动优化在外科手术期间使用的超声机器的一个或多个设置，从而提高通过超声机器生成的超声图像的质量。附加地或可替代地，本文描述的系统和方法可以促进超声探头在患者体内的最佳定位。这些操作中的每一个都可以提高外科手术过程的效率和有效性。
本文描述的系统和方法有利地仅基于超声图像(也称为B模式图像)的内容来确定超声探头是否与组织处于手术物理接触。特别地，本文描述的系统和方法可以被配置为区分散斑(超声图像中通过从组织内的结构反射的声波的建设性和破坏性相干产生的内容)和包括在超声图像中的无用噪声。尽管散斑在视觉上可能与噪声相似，但超声图像内的散斑的强度分布和空间自相关与噪声不同。该系统和方法利用这种区别来确定超声探头是否与组织处于手术物理接触。这可以有利地导致对超声探头的接触状态的基本上实时的确定。
本文描述的系统和方法的这些和其他优点和益处将在本文中显而易见。
图1图示了示例性超声成像系统100的各种部件。如图所示，超声成像系统100可以包括超声机器102、超声探头104和显示设备106。超声机器102通过通信链路108通信地耦合到超声探头104，并且通过通信链路110通信地耦合到显示设备106。通信链路108和110可以通过任何合适的有线和/或无线部件实现。例如，通信链路108可以实现为电缆、轴或其他结构，其承载将超声机器102和超声探头104通信互连的一根或多根导线。
超声机器102可以包括被配置为促进超声图像的生成的计算部件。例如，超声机器102可以包括控制器，该控制器被配置为通过引导超声探头104发射和检测声波来控制超声探头104的操作。在一些示例中，控制器和/或超声机器102的任何其他部件被配置为根据一个或多个可定义的(例如，可调整的)参数操作。例如，超声机器102可以被配置为引导超声探头104发射具有可定义频率的声波和/或以特定增益接收声波。作为另一个示例，超声机器102还可以被配置为指定超声图像114的扇形深度。
超声机器102可以附加地或可替代地包括一个或多个图像处理部件，该一个或多个图像处理部件被配置为基于由超声探头104检测到的声波而生成超声图像数据112。如图所示，超声机器102可以通过通信链路110将超声图像数据112传输到显示设备106。显示设备106可以使用超声图像数据112来生成和显示超声图像114。
在一些示例中，超声机器102连接到外科手术系统、集成到外科手术系统中或通过外科手术系统实现。例如，超声机器102可以连接到、集成到计算机辅助外科手术系统中或通过其实现，该计算机辅助外科手术系统利用机器人和/或远程操作技术来执行外科手术程序(例如，微创手术程序)。本文描述了示例性计算机辅助外科手术系统。
超声探头104(也称为换能器)被配置为通过发射声波并在声波从身体内部的结构(例如，患者体内的器官或其他组织的内部结构)反射后检测该声波来捕获超声图像。超声探头104可以具有任何合适的形状和/或尺寸，以服务于特定的实现。在一些示例中，超声探头104可具有允许超声探头104通过患者体壁中的端口插入患者的形状和尺寸。在这些示例中，可以手动控制超声探头104在患者内的定位(例如，通过手动操纵超声探头104连接到的轴)。附加地或可替代地，可以以计算机辅助方式(例如，通过利用机器人和/或远程操作技术的计算机辅助外科手术系统)来控制超声探头104的定位。
显示设备106可以通过被配置为基于超声图像数据112渲染或显示超声图像114的任何合适的设备来实现。如本文所述，显示设备106还可以被配置为显示附加的或替代的图像和/或信息。例如，在一些情境中，显示设备106可以显示包括超声图像114以及通过内窥镜获取的内窥镜图像一起的的可视图像和/或与内窥镜图像配准的患者解剖结构的术前模型(例如，3D模型)。
如上所述，超声探头104必须与患者的组织处于手术物理接触以捕获有用的超声图像。为了说明，图2A至图2C图示了超声探头104相对于组织202的不同的可能的接触状态。组织202可以表示患者的任何器官或解剖学特征。
图2A图示了第一接触状态，其中超声探头104与组织202处于手术物理接触。如图所示，超声探头104的整个底表面204(其在本文提供的示例中为凸形)与组织202进行物理接触。在这种接触状态下，超声探头104和组织202之间存在充分的声学耦合以捕获有用的超声图像。
图2B图示了第二接触状态，其中超声探头104不与组织202处于手术物理接触。如图所示，超声探头104的底表面204与组织202分离间隙206。在这种接触状态中，因为超声探头104和组织202之间没有物理接触，超声探头104捕获的超声图像将以噪声为主，因此对用户没有用。
图2C图示了第二接触状态的另一个实例，其中超声探头104没有与组织202处于手术物理接触。在图2C中，仅超声探头104的底表面204的小部分与组织202进行物理接触。由此，如果超声探头104生成的超声图像中包括的有用信息的量低于特定阈值，则可以确定超声探头104未与组织202处于手术物理接触。因此，如图2C所示，即使超声探头104至少部分地接触组织202，超声探头104有时也可能不与组织202处于手术物理接触。
图3示出了示例性接触检测系统300(“系统300”)，其可以被配置为通过超声探头(例如，超声探头104)来检测组织接触。系统300可被包括在任何外科手术系统、超声机器或本文所述的其它计算系统中、或通过其实现、或与其连接。例如，系统300可以通过计算机辅助外科手术系统和/或超声机器102实现。如另一个示例，接触检测系统300可以通过通信地耦合到计算机辅助外科手术系统和/或超声机器102的独立计算系统来实现。
如图所示，系统300可以包括但不限于选择性地和通信地彼此耦合的存储设施302和处理设施304。设施302和304可以各自包括硬件和/或软件部件(例如，处理器、存储器、通信接口、存储在存储器中以供处理器执行的指令等)或通过其实现。例如，设施302和304可以通过计算机辅助外科手术系统中的任何部件实现。在一些示例中，设施302和304可以分布在多个设备和/或多个位置之间，以服务于特定的实现方式。
存储设施302可以维护(例如，存储)处理设施304使用的可执行数据以执行本文描述的任何操作。例如，存储设施302可存储可通过处理设施304执行的指令306以执行本文所述的任何操作。指令306可以通过任何合适的应用程序、软件、代码和/或其他可执行数据实例来实现。存储设施302还可以维护通过处理设施304接收、生成、管理、使用和/或传输的任何数据。
处理设施304可以被配置为执行(例如，执行存储在存储设施302中的指令306以执行)与通过超声探头检测组织接触相关联的各种操作。例如，处理设施304可以被配置为将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织。处理设施304进一步可被配置将为基于多个像素中的每个像素分类为显示组织或显示非组织，确定超声探头的接触状态。本文描述了可以通过处理设施304执行的这些和其他操作。在下面的描述中，对通过系统300执行的操作的任何引用都可以理解为通过系统300的处理设施304执行。
图4A图示了超声图像114的详细视图。如图所示，超声图像114包括多个像素(例如，像素402)。每个像素具有通过超声图像数据112定义的强度值。术语“像素”在本文中用于指超声图像114的任何合适大小和/或形状的区域，以服务于特定的实现方式。
在一些示例中，系统300可以出于确定超声探头104的接触状态的目的将其的像素处理限制为特定感兴趣区域内的像素。例如，图4B示出了超声图像114内的示例性感兴趣区域404。在这种情况下，系统300可以仅仅确定感兴趣区域404内的像素而不是感兴趣区域404外的一组像素的局部描述符值。这可以限制超声探头表面附近的伪影(图4B中的区域A)和超声图像114中更深的信号丢失(图4B中的区域B)的影响，因为这两个区域都会混淆系统300处理局部描述符值的结果。如图所示，超声图像114的左右边界区域(图4B中的区域C)也可以从感兴趣区域404中排除。可替代地，边界处理试探法可以用于在处理中包括边界区域像素。感兴趣区域404可以包括任何合适数量的像素，以可以服务于特定的实现方式。在一些示例中，感兴趣区域404包括超声图像114中包括的所有像素。在其他示例中，超声图像114中可以包括多个感兴趣区域。
系统300可以以任何合适的方式为包括在感兴趣区域404中的每个像素确定一个或多个局部描述符值。局部描述符值表征感兴趣区域404中的每个像素的强度分布和/或感兴趣区域404中的每个像素的空间自相关。表征像素强度分布的示例性局部描述符值包括像素强度分布的矩(例如，局部方差和/或平均值)和/或表示像素强度分布的任何其他度量。表征空间自相关的示例性局部描述符值包括自相关值(例如，自协方差函数的一个或多个项)和/或表示像素的空间自相关的任何其他度量。
在一些示例中，通过系统300确定的自相关值是空间自相关值(例如，在竖直(y)或水平(x)方向上的滞后1自相关值)。附加地或可替代地，自相关值可以是时间的。在本文提供的示例中，将假设自相关值是空间的。
在一些示例中，系统300可以为感兴趣区域404中的每个像素确定多个局部描述符值。例如，系统300可以确定包括在感兴趣区域404中的每个像素的局部方差值和自相关值。在一些替代示例中，系统300可以仅为每个像素确定单个局部描述符值。例如，系统300可以仅仅确定包括在感兴趣区域404中的每个像素的局部方差值。本文描述了确定像素的局部描述符值的示例。
系统300可以基于局部描述符值以任何合适的方式将像素分类为显示组织或显示非组织。系统300可以可替代地以任何其他合适的方式将像素分类为显示组织或显示非组织。例如，一个或多个图像处理技术、机器学习技术等可用于将像素分类为显示组织或显示非组织。然而，用于说明的目的，本文的分类示例是基于局部描述符值。
例如，系统300可以将局部描述符值与一个或多个阈值进行比较。为了说明，系统300可以将具有高于局部描述符阈值的局部描述符值的像素分类为显示组织，并将具有低于局部描述符阈值的局部描述符值的像素分类为显示非组织。
作为示例，通过系统300确定的局部描述符可以包括局部方差值和自相关值。在该示例中，系统300可以将具有高于方差阈值的局部方差值和高于自相关阈值的自相关值的像素分类为显示组织。同样，系统300可以将具有低于方差阈值的局部方差值和/或低于自相关阈值的自相关值的像素分类为显示非组织。这些阈值可以以多种不同方式确定，其中一些在本文中描述。
作为另一个示例，系统300可以仅仅确定每个像素的局部方差值。在该示例中，系统300可以将具有高于方差阈值的局部方差值的像素分类为显示组织并且将具有低于方差阈值的局部方差值的像素分类为显示非组织。
附加地或可替代地，系统300可以通过提供局部描述符值作为机器学习模型的输入，并基于机器学习模型的输出，将感兴趣区404中的每个像素分类为显示组织或显示非组织，来将像素分类为显示组织或显示非组织。机器学习模型可以是有监督的和/或无监督的，并且可以通过任何合适的算法来实现，例如逻辑回归、分类和回归树、随机森林和/或神经网络。
附加地或可替代地，系统300可以通过评估可服务于特定的实现方式的任何其他类型的函数来将像素分类为显示组织或显示非组织。该函数可输出显示组织或非组织的二元分类或指示像素显示组织或非组织的概率的模糊值。在后一种情况下，然后可以将概率与阈值进行比较，以进行显示组织或非组织的二元分类。
一旦感兴趣区域404中的像素被分类为显示组织或显示非组织，系统300就可以基于每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态。接触状态指示超声探头是否与患者的组织处于手术物理接触。
系统300可以使用每个像素的分类为显示组织或显示非组织，来以任何合适的方式确定接触状态。例如，系统300可以确定平均像素分类，其表示被分类为显示组织的像素的数量与被分类为显示非组织的像素的数量相比较。平均像素分类可以是被分类为显示组织的像素与被分类为显示非组织的像素的比率，并且将该比率与接触状态阈值进行比较，接触状态阈值可以以如本文所述的多种不同方式来确定。附加地或可替代地，平均像素分类可以是均值、中值或其他合适的度量。
如果平均像素分类高于接触状态阈值，则系统300可以确定超声探头104处于第一接触状态，其指示超声探头104与患者的组织处于手术物理接触。如果平均像素分类低于接触状态阈值，则系统300可以确定超声探头104处于第二接触状态，其指示超声探头104与患者的组织未处于手术物理接触。
在一些示例中，系统300可以使用两个不同的接触状态阈值用于去抖动目的。例如，系统100可以最初将平均像素分类与第一接触状态阈值进行比较。一旦平均像素分类高于第一接触状态阈值，系统300就可以确定超声探头104处于指示超声探头104与患者组织处于手术物理接触的第一接触状态。当超声探头104处于第一接触状态的同时，平均像素分类必须低于第二接触状态阈值(第二接触状态阈值低于系统300的第一接触状态阈值)以确定超声探头104处于超声探头104与患者的组织未处于手术物理接触的第二接触状态。
系统300可以以任何其它合适的方式确定超声探头104的接触状态。例如，系统300可以向机器学习模型提供分类，并使用机器学习模型的输出来确定超声探头104的接触状态。作为另一个示例，系统300可基于分类来评估任何合适的函数，以确定超声探头104的接触状态。
在一些示例中，在确定局部描述符值之前，系统300可以可选地确定超声图像114的背景强度并且通过从超声图像114中减去背景强度来生成降低的超声图像。然后系统300可以通过确定包括在降低的超声图像中的像素的局部描述符值，来确定超声图像114中的像素的局部描述符值。
现在将描述可以通过系统300根据本文描述的原理执行以确定超声探头104的接触状态的特定处理试探法。将认识到，处理试探法是可通过系统300执行以确定超声探头104的接触状态的各种不同处理试探法的示例。
如前所述，由于散斑，超声图像可能看起来很嘈杂。然而，散斑的强度分布和空间自相关与噪声的不同。由于图像内容和增益设置可以在整个图像中变化，自协方差函数可以根据以下方程进行局部评估：Wj，k(x，y)＝E[(I(x，y)-μ(x，y))(I(x+j，y+k)-μ(x+j，y+k))]。
在方程中，Wj，k(x，y)是位置x和y处的空间自协方差，I(x，y)是图像强度值，以及μ(x，y)是局部平均强度。
为了在噪声和斑点(表示组织)之间区分，系统300可以确定局部平均强度和自协方差函数的一项或多项(也称为系数)。
例如，系统300可以首先对超声图像114执行背景减法。为了说明，系统300可以使用箱式滤波器H1(例如，7×7像素滤波器)来评估背景强度，然后从原始超声图像114中减去背景强度以产生降低的图像，
Figure BDA0003466443120000091
其中，
Figure BDA0003466443120000092
系统300然后可以确定自协方差函数的一项或多项。例如，系统300可以确定每个像素周围的局部邻域内的评估值
Figure BDA0003466443120000093
例如，系统300可以根据以下方程
Figure BDA0003466443120000094
和
Figure BDA0003466443120000095
使用第二箱式滤波器H2(例如，13×13像素滤波器)。
系统300然后可以生成二进制组织图T(x，y)，其显示哪些像素与来自从组织反射或反向散射的超声波的信号一致。例如，二进制组织图可以根据以下方程生成：
Figure BDA0003466443120000096
在这个方程中，v和AC1是对应于竖直方向的最小方差和滞后1自相关的阈值参数。在本文的示例中，自相关是通过方差归一化的自协方差函数(即，
Figure BDA0003466443120000101
)。
系统300可以可选地应用形态学处理以从T(x，y)中去除孤立像素并产生更平滑的图。可以以任何合适的方式执行形态学处理。
系统300可以使用感兴趣区域404(在该区域检测到组织)内的像素比率，根据以下方程来确定超声探头104的接触状态：∑ROI T(x，y)/NROI。
在一些示例中，为了防止接触状态之间的抖动，系统300可以使用两个阈值。例如，如果∑ROI T(x，y)/NROI高于第一接触状态阈值，系统300可以确定超声波探头104处于指示超声波探头104与患者的组织处于手术物理接触的第一接触状态。一旦处于此状态，在系统300确定超声探头104处于指示超声探头104与患者的组织未处于手术物理接触的第二接触状态之前，∑ROI T(x，y)/NROI必须低于第二接触状态阈值(其低于第一接触状态阈值)。
在一些替代实施例中，系统300可通过使用基于短时傅立叶变换(STFT)或小波变换的频域方法来获得自协方差函数的局部评估。STFT系数或另一个小波变换的系数可直接用于生成本文所述的组织图。在一些示例中，本文所述的自协方差函数的系数可以用STFT或小波变换的系数来替换。
在一些示例中，可以通过系统300响应于用户输入来设置本文所述的任何阈值(例如，本文所述的局部描述符阈值和接触状态阈值)。以这种方式，用户可以手动地调整阈值到合适的水平。附加地或可替代地，本文所述的任何阈值可以基于机器学习模型的输出来设置。本文所述的阈值可以附加地或替代地以任何其他方式确定。
系统300可以基于超声探头104的接触状态执行各种操作。例如，基于超声探头104的接触状态，系统300可以控制在通过显示设备106显示的可视图像内的超声图像114的显示。
为了说明，图5A至图5B示出了通过显示设备106显示的示例性可视图像502。可视图像502包括通过内窥镜捕获的患者体内的外科手术区域的内窥镜图像。如在图5A至图5B两者所示，内窥镜图像描绘了组织504(例如，患者体内的器官)、被配置为响应于用户输入来操纵组织504的外科手术工具506以及超声探头104。尽管可视图像502在图5A至图5B中被描绘为二维图像，将认识到，在其他示例中，可视图像502可以可替代地为三维图像。
在一些示例中，可视图像502进一步可以包括在可视图像502中描绘的外科手术区域内的患者解剖结构的术前模型。这在美国临时专利申请号62/855，755中有更完整的描述，其内容通过引用整体并入本文。术前模型可以与内窥镜图像配准，使得模型位于可视图像502内的定位对应于患者解剖结构的实际定位。例如，术前模型可以包括基于术前成像(例如，MRI和/或CT扫描成像)生成的组织504内部结构的三维模型。
在图5A中，超声探头104与组织504处于手术物理接触。因此，系统300可以确定超声探头104的接触状态指示超声探头104与组织504处于手术物理接触。基于此确定并且如图5A中所示，系统300可以显示可视图像502内的超声图像114。如图所示，超声图像114可以位于可视图像502内的一个定位处，该定位看起来直接在超声探头104的底表面下方。通过以这种方式定位超声图像114，系统300可以允许用户更容易地查明组织504内部的并且包括在超声图像114内的结构的相对位置，其中可视图像502中示出了其他内容。可替代地，超声成像器114可以位于可视图像502内的任何其他定位，以用于特定的实现方式。
图5B示出了超声探头104已经被重新定位到不与组织504处于物理接触的位置。这种重新定位可以响应于用户对超声探头104的操纵和/或以任何其他方式发生。响应于重新定位，系统300可以确定超声探头的接触状态现在指示超声探头未与组织504处于手术物理接触。在响应中并且如图5B所示，系统300可以放弃在可视图像502中显示(例如，通过隐藏或以其他方式不显示)超声图像114。
通过以这种方式智能地控制超声图像114的显示，系统300可以确保超声图像114仅在其包括对用户有用的信息时才被显示。否则，超声图像114被隐藏，以便不遮挡可视图像502中的其他内容。
在一些示例中，系统300可以响应于确定超声探头104的接触状态指示超声探头104与组织504处于手术物理接触而仅显示超声图像114的一部分。例如，如果超声图像114的特定区域(例如，饼形切片)包括有用信息，但是超声图像114的其余部分不包括，这可以表明仅超声图像的一部分与组织504处于手术物理接触。在响应中，系统300可以生成和显示仅包括超声图像114的一部分的裁剪超声图像。裁剪超声图像可以包括包含有用信息的区域，并且可以基于像素的分类为显示组织或显示非组织被确定。
为了说明，图6A示出了通过显示设备106显示的可视图像502。如图所示，代替在可视图像502内显示全超声图像114，系统300在可视图像502内显示裁剪超声图像602。为了比较，在图6A中示出了表示全超声图像114在显示时的样子的虚线轮廓604。虚线轮廓604可以或可以不实际显示在可视图像502中，以用于特定的实现方式。
图6B示出了在可视图像502中仅显示超声图像114的一部分的另一个示例。在该示例中，系统300显示裁剪超声图像606代替全超声图像114，全超声图像114再次通过虚线604表示，虚线604可以或可以不实际显示在可视图像502中。如图所示，裁剪超声图像606不包括全超声图像114的远端区域。这种类型的裁剪超声图像606可能有利于在较深的组织区域导致信号丢失致使全超声图像114的远端区域包括比有用内容更多的噪声的情境中显示。
系统300可以附加地或替代地基于超声探头104的接触状态设置(例如，调整)超声成像机器102的参数。例如，系统300可以基于超声探头104的接触状态设置通过超声探头104发射或接收的声音的频率和/或增益。系统300可以基于超声探头104的接触状态附加地或替代地设置超声图像114的扇形深度。通过基于超声探头104的接触状态设置一个或多个参数，系统300可以被配置为自动获取质量更好的超声图像114。
例如，超声探头104的接触状态可以指示超声探头102几乎没有与组织504处于手术物理接触(例如，如果上述比率仅仅高于接触状态阈值)。在这种情境中，系统300可以增加超声探头104接收到的声音的增益以提高超声图像114的图像质量。
系统300可以附加地或替代地基于超声探头104的接触状态生成控制信号，该控制信号被配置为通过计算机辅助外科手术系统使用以控制超声探头104的定位(例如，以实现和/或维持组织接触)。例如，超声探头104的轴可以耦合到计算机辅助外科手术系统的操纵器臂。在此示例中，计算机辅助外科手术系统可以被配置为通过重新定位操纵器臂基于控制信号来调整超声探头104的定位。作为另一个示例，可通过计算机辅助外科手术系统控制的不同外科手术工具(例如，抓钳)可以被配置为保持和重新定位超声探头104。在任一示例中，控制信号可以指示超声探头102未与组织504处于手术物理接触。在响应中，计算机辅助外科手术系统可以重新定位超声探头104，直到控制信号指示超声探头102与组织504处于手术物理接触。
图7示出了示例性计算机辅助外科手术系统700(“外科手术系统700”)。如本文所述，超声机器102和系统300可以通过外科手术系统700实现、连接到外科手术系统700，和/或以其他方式与外科手术系统700结合使用。
如图所示，外科手术系统700可以包括相互通信耦合的操纵系统702、用户控制系统704和辅助系统706。外科手术系统700可以被外科手术团队用来对患者708执行计算机辅助的外科手术程序。如图所示，外科手术团队可以包括外科医生710-1、助理710-2、护士710-3和麻醉师710-4，他们都可以被统称为“外科手术团队成员710”。附加的或替代的外科手术团队成员可以在外科手术会诊中出现以用于特定的实现方式。
虽然图7示出了正在进行的微创外科手术程序，但应当理解，外科手术系统700可类似地用于执行开放式外科手术程序或可类似地受益于外科手术系统700的准确性和便利性的其他类型的外科手术程序。此外，应当理解，可以采用外科手术系统700的整个外科手术会诊可以不仅包括外科手术程序的手术阶段，如图7所示，而且也可以包括手术前、手术后和/或其他合适的阶段。外科手术程序可以包括对患者使用手动和/或器械技术以检查或治疗患者的身体状况的任何程序。
如图7所示，操纵系统702可包括多个操纵器臂712(例如，操纵器臂712-1至712-4)，多个外科手术器械可耦合到这些操纵器臂。每个外科手术器械可以由任何合适的外科手术工具(例如，具有组织相互作用功能的工具)、医疗工具、成像设备(例如，内窥镜)、传感器械(例如，力传感外科手术器械)、诊断器械等来实现，这些外科手术器械可以用于对患者708进行计算机辅助外科手术程序(例如，通过至少部分地插入患者708体内并被操纵以对患者708执行计算机辅助外科手术程序)。虽然操纵系统702在本文中被描绘和描述为包括四个操纵器臂712，但是应当认识到，操纵系统702可以仅包括单个操纵器臂712或可以用于特定实现方式的任何其他数量的操纵器臂。
操纵器臂712和/或附接到操纵器臂712的外科手术器械可以包括用于生成天然(即，未校正)运动学信息的一个或多个位移传感器、取向传感器和/或定位传感器。外科手术系统700的一个或多个部件可以被配置为使用运动学信息来跟踪(例如，确定其定位)和/或控制外科手术器械。
用户控制系统704可以被配置为便于外科医生710-1控制操纵器臂712和附接到操纵器臂712的外科手术器械。例如，外科医生710-1可以与用户控制系统704交互以远程移动或操纵操纵器臂712和外科手术器械。为此，用户控制系统704可以向外科医生710-1提供通过成像系统(例如，本文描述的任何医学成像系统)捕获的与患者708相关联的外科手术区域的影像(例如，高分辨率的3D影像)。在某些示例中，用户控制系统704可以包括具有两个显示器的立体查看器，其中与患者708相关联并且通过立体成像系统生成的外科手术区域的立体图像可以被外科医生710-1查看。外科医生710-1可以利用影像使用附接到操纵器臂712的一个或多个外科手术器械执行一个或多个程序。
为了便于控制外科手术器械，用户控制系统704可以包括一组主控件。这些主控件可通过外科医生710-1操纵以控制外科手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控件可以被配置为检测外科医生710-1的各种手、手腕和手指运动。以这种方式，外科医生710-1可以使用一个或多个外科手术器械直观地执行程序。
辅助系统706可以包括一个或多个计算设备，该一个或多个计算设备被配置为执行外科手术系统700的主要处理操作。在这样的配置中，辅助系统706中包括的一个或多个计算设备可以控制和/或协调通过外科手术系统700的各种其他部件(例如，操纵系统702和用户控制系统704)执行的操作。例如，用户控制系统704中包括的计算设备可以通过辅助系统706中包括的一个或多个计算设备传输指令到操纵系统702。作为另一个示例，辅助系统706可以从操纵系统702接收和处理表示通过附接到操纵器臂712之一的成像设备捕获的影像的图像数据。
在一些示例中，辅助系统706可以被配置为向可能无法访问在用户控制系统704处提供给外科医生710-1的图像的外科手术团队成员710呈现视觉内容。为此，辅助系统706可以包括显示监视器714，其被配置为显示一个或多个用户界面，例如外科手术区域的图像(例如，2D图像)、与患者708和/或外科手术程序相关联的信息，和/或任何其他视觉内容，以用于特定的实现方式。例如，显示监视器714可以一起显示外科手术区域的图像以及与图像同时显示的附加内容(例如，图形内容、上下文信息等)。在一些实施例中，显示监视器714通过触摸屏显示器实现，外科手术团队成员710可以与其交互(例如，通过触摸手势)以向外科手术系统700提供用户输入。
操纵系统702、用户控制系统704和辅助系统706可以以任何合适的方式彼此通信耦合。例如，如图7所示，操纵系统702、用户控制系统704和辅助系统706可以通过控制线716通信耦合，控制线716可以表示任何有线或无线通信链路，以用于特定的实现方式。为此，操纵系统702、用户控制系统704和辅助系统706可以各自包括一个或多个有线或无线通信接口，例如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图8示出了示例性方法800。虽然图8示出了根据一个实施例的示例性操作，但是其他实施例可以省略、添加、重新排序、组合和/或修改图8中所示的任何步骤。图8所示的一个或多个操作可以通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
在操作802中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作802可以以本文描述的任何方式来执行。
在操作804中，接触检测系统基于局部描述符值将多个像素中的每个像素分类为显示组织或显示非组织。操作804可以以本文描述的任何方式来执行。
在操作806中，接触检测系统基于多个像素中每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，接触状态指示超声探头是否与患者组织处于手术物理接触。操作806可以以本文描述的任何方式来执行。
图9示出了另一个示例性方法900。虽然图9示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图9中所示的任何步骤。图9中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
在操作902中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作902可以以本文描述的任何方式来执行。
在操作904中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作904可以以本文描述的任何方式来执行。
在操作906中，接触检测系统基于超声探头的接触状态控制超声图像在显示设备显示的可视图像内的显示。操作906可以以本文描述的任何方式来执行。
图10示出了另一个示例性方法1000。虽然图10示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图10中所示的任何步骤。图10中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
在操作1002中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作1002可以以本文描述的任何方式来执行。
在操作1004中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1004可以以本文描述的任何方式来执行。
在操作1006中，接触检测系统基于超声探头的接触状态设置连接到超声探头的超声成像机器的参数。操作1006可以以本文描述的任何方式来执行。
图11示出了另一个示例性方法1100。虽然图11示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图11中所示的任何步骤。图11中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
在操作1102中，接触检测系统确定包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素的局部描述符值。操作1102可以以本文描述的任何方式来执行。
在操作1104中，接触检测系统基于局部描述符值确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1104可以以本文描述的任何方式来执行。
在操作1106中，接触检测系统基于超声探头的接触状态生成控制信号，该控制信号被配置为通过计算机辅助外科手术系统使用以控制超声探头的定位。操作1106可以以本文描述的任何方式来执行。
图12示出了另一个示例性方法1200。虽然图12示出了根据一个实施例的示例性操作，但其他实施例可以省略、添加、重新排序、组合和/或修改图12中所示的任何步骤。图12中所示的一个或多个操作可通过系统300、其中包括的任何部件和/或其任何实施方式来执行。
在操作1202中，接触检测系统将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织。操作1202可以以本文描述的任何方式来执行。
在操作1204中，接触检测系统基于多个像素中的每个像素的分类为显示组织或显示非组织，确定超声探头的接触状态，接触状态指示超声探头是否与患者的组织处于手术物理接触。操作1204可以以本文描述的任何方式来执行。
在一些示例中，可以根据本文描述的原理提供存储计算机可读指令的非暂时性计算机可读介质。当通过计算设备的处理器执行时，指令可以引导处理器和/或计算设备执行一个或多个操作，包括本文描述的一个或多个操作。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这样的指令。
本文所指的非暂时性计算机可读介质可以包括参与提供可通过计算设备(例如，通过计算设备的处理器)读取和/或执行的数据(例如，指令)的任何非暂时性存储介质。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电体随机存取存储器(“RAM”)和光盘(例如，压缩盘、数字视频盘、蓝光光盘等)。示例性易失性存储介质包括但不限于RAM(例如，动态RAM)。
图13示出了示例性计算设备1300，该计算设备1300可以被具体配置为执行本文描述的一个或多个过程。本文描述的任何系统、单元、计算设备和/或其他部件可以通过计算设备1300实现。
如图13所示，计算设备1300可以包括经由通信基础设施1310彼此通信连接的通信接口1302、处理器1304、存储设备1306和输入/输出(“I/O”)模块1308。尽管图13中示出了示例性计算设备1300，但图13中所示的部件不旨在进行限制。在其他实施例中可以使用附加的或替代的部件。现在将更详细地描述图13中所示的计算设备1300的部件。
通信接口1302可以被配置为与一个或多个计算设备通信。通信接口1302的示例包括但不限于有线网络接口(例如网络接口卡)、无线网络接口(例如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器1304通常表示能够处理数据和/或解释、执行和/或引导本文描述的一个或多个指令、过程和/或操作的执行的任何类型或形式的处理单元。处理器1304可以通过执行存储在存储设备1306中的计算机可执行指令1312(例如，应用程序、软件、代码和/或其他可执行数据实例)来执行操作。
存储设备1306可以包括一个或多个数据存储介质、设备或配置并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如，存储设备1306可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。包括本文描述的数据的电子数据可以临时和/或永久地存储在存储设备1306中。例如，表示被配置为引导处理器1304执行本文描述的任何操作的计算机可执行指令1312的数据可以存储在存储设备1306内。在一些示例中，数据可以被布置在驻存于存储设备1306内的一个或多个数据库中。
I/O模块1308可以包括一个或多个I/O模块，该一个或多个I/O模块被配置为接收用户输入并提供用户输出。I/O模块1308可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，I/O模块1308可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块1308可以包括用于向用户呈现输出的一个或多个设备，包括但不限于图形引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中，I/O模块1308被配置为向显示器提供图形数据用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或以用于特定的实现方式的任何其他图形内容。
在前面的描述中，已经参考附图描述了各种示例性实施例。然而，显而易见的是，可以对其进行各种修改和改变，并且可以实现附加的实施例，而不脱离所附权利要求中阐述的本发明的范围。例如，本文描述的一个实施例的某些特征可以与本文描述的另一个实施例的特征组合或替代。因此，描述和附图被认为是说明性的而不是限制性的。

Claims (26)

1.一种系统，包括：
存储器，其存储指令；以及
处理器，其通信耦合到所述存储器并被配置为执行所述指令以：
将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；以及
基于所述多个像素中的每个像素的所述分类为显示组织或显示非组织，确定所述超声探头的接触状态，所述接触状态指示所述超声探头是否与所述患者的组织处于手术物理接触。
2.根据权利要求1所述的系统，其中：
所述处理器进一步被配置为执行所述指令以确定包括在所述超声图像中的所述多个像素的局部描述符值；并且
所述分类基于所述局部描述符值。
3.根据权利要求2所述的系统，其中所述局部描述符值表征所述多个像素中的每个像素的强度分布和空间自相关中的至少一个。
4.根据权利要求2所述的系统，其中所述分类包括：
将所述超声图像中具有高于局部描述符阈值的局部描述符值的像素分类为显示组织；和
将所述超声图像中具有低于所述局部描述符阈值的局部描述符值的像素分类为显示非组织。
5.根据权利要求2所述的系统，其中所述分类包括：
提供所述局部描述符值作为机器学习模型的输入，以及
基于所述机器学习模型的输出，将所述多个像素中的每个像素分类为显示组织或显示非组织。
6.根据权利要求2所述的系统，其中所述局部描述符值包括所述多个像素的局部方差值或所述多个像素的自相关值中的一个或多个。
7.根据权利要求6所述的系统，其中：
所述确定所述多个像素的所述局部描述符值包括确定包括在所述多个像素中的每个像素的局部方差值和自相关值两者；
所述分类包括
将所述超声图像中具有高于方差阈值的局部方差值和高于自相关阈值的自相关值的像素分类为显示组织，以及
将所述超声图像中具有低于所述方差阈值的局部方差值或低于所述自相关阈值的自相关值的像素分类为显示非组织。
8.根据权利要求2所述的系统，其中：
所述处理器进一步被配置为执行所述指令以
确定所述超声图像的背景强度，以及
通过从所述超声图像中减去所述背景强度生成降低的超声图像；并且
所述确定所述多个像素的所述局部描述符值包括确定包括在所述降低的超声图像中的像素的所述局部描述符值。
9.根据权利要求1所述的系统，其中所述确定所述超声探头的所述接触状态包括：
确定平均像素分类，所述平均像素分类表示分类为显示组织的像素的数量与分类为显示非组织的像素的数量相比较；以及
基于所述平均像素分类确定所述接触状态。
10.根据权利要求9所述的系统，其中基于所述平均像素分类确定所述接触状态包括：
如果所述平均像素分类高于第一接触状态阈值，则确定所述超声探头处于指示所述超声探头与所述患者的所述组织处于手术物理接触的第一接触状态；以及
如果所述平均像素分类低于第二接触状态阈值，则确定所述超声探头处于指示所述超声探头未与所述患者的所述组织处于手术物理接触的第二接触状态。
11.根据权利要求10所述的系统，其中在所述超声探头处于所述第一接触状态的同时，所述第二接触状态阈值低于所述第一接触状态阈值。
12.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以基于所述超声探头的所述接触状态控制所述超声图像在通过显示设备显示的可视图像内的显示。
13.根据权利要求12所述的系统，其中所述可视图像包括如通过内窥镜捕获的所述患者体内的外科手术区域的内窥镜图像。
14.根据权利要求12所述的系统，其中所述可视图像进一步包括所述患者的所述外科手术区域内的患者解剖结构的术前模型，所述术前模型与所述内窥镜图像配准。
15.根据权利要求12所述的系统，其中所述控制在所述可视图像内的所述超声图像的所述显示包括：
如果所述接触状态指示所述超声探头与所述患者的所述组织处于手术物理接触，则在所述可视图像内显示所述超声图像；以及
如果所述接触状态指示所述超声探头未与所述患者的所述组织处于手术物理接触，则放弃在所述可视图像内显示所述超声图像。
16.根据权利要求12所述的系统，其中所述控制在所述可视图像内的所述超声图像的所述显示包括：
确定指示所述超声探头与所述患者的所述组织处于手术物理接触的所述接触状态；
响应于所述确定指示所述超声探头与所述患者的所述组织处于手术物理接触的所述接触状态并且基于所述像素的所述分类为显示组织或显示非组织，生成裁剪的超声图像，所述裁剪的超声图像仅包括所述超声图像的一部分；以及
在所述可视图像内显示所述裁剪的超声图像。
17.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以基于所述超声探头的所述接触状态设置连接到所述超声探头的超声成像机器的参数。
18.根据权利要求17所述的系统，其中所述参数包括通过所述超声探头发射的声音的频率、通过所述超声探头接收的所述声音的增益和所述超声图像的扇形深度中的至少一个。
19.根据权利要求1所述的系统，其中所述处理器进一步被配置为执行所述指令以基于所述超声探头的所述接触状态生成控制信号，所述控制信号被配置为通过计算机辅助外科手术系统使用以控制所述超声探头的定位。
20.根据权利要求1所述的系统，其中所述多个像素被包括在所述超声图像内的感兴趣区域中，所述感兴趣区域不包括所述超声图像内的一组像素。
21.一种系统，包括：
存储器，其存储指令；以及
处理器，其通信耦合到所述存储器并被配置为执行所述指令以：
基于通过位于患者体内的超声探头捕获的超声图像，确定所述超声探头的接触状态，所述接触状态指示所述超声探头是否与所述患者的组织处于手术物理接触。
基于所述超声探头的所述接触状态，控制所述超声图像在通过显示设备显示的可视图像内的显示。
22.根据权利要求21所述的系统，其中所述处理器进一步被配置为执行所述指令以：
确定包括在通过所述超声探头捕获的所述超声图像中的多个像素的局部描述符值，所述局部描述符值表征所述多个像素中的每个像素的强度分布和空间自相关中的至少一个；
其中所述确定所述接触状态基于所述局部描述符值。
23.根据权利要求21所述的系统，其中所述可视图像包括通过内窥镜捕获的所述患者体内的外科手术区域的内窥镜图像。
24.一种方法，包括：
通过接触检测系统将包括在通过位于患者体内的超声探头捕获的超声图像中的多个像素中的每个像素分类为显示组织或显示非组织；以及
通过所述接触检测系统基于所述多个像素中的每个像素分类为显示组织或显示非组织，确定所述超声探头的接触状态，所述接触状态指示所述超声探头是否与所述患者的组织处于手术物理接触。
25.根据权利要求24所述的方法，进一步包括：
通过所述接触检测系统确定包括在所述超声图像中的多个像素的局部描述符值，所述局部描述符值表征所述多个像素中的每个像素的强度分布和空间自相关中的至少一个；
其中所述分类基于所述局部描述符值。
26.根据权利要求24所述的方法，进一步包括通过所述接触检测系统基于所述超声探头的所述接触状态控制所述超声图像在通过显示设备显示的可视图像内的显示。
CN202080050755.6A 2019-05-31 2020-05-29 通过超声探头检测组织接触的系统和方法 Pending CN114126493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962855881P 2019-05-31 2019-05-31
US62/855,881 2019-05-31
PCT/US2020/035217 WO2020243493A1 (en) 2019-05-31 2020-05-29 Systems and methods for detecting tissue contact by an ultrasound probe

Publications (1)

Publication Number Publication Date
CN114126493A true CN114126493A (zh) 2022-03-01

Family

ID=71787078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080050755.6A Pending CN114126493A (zh) 2019-05-31 2020-05-29 通过超声探头检测组织接触的系统和方法

Country Status (4)

Country Link
US (1) US20220175346A1 (zh)
EP (1) EP3975868A1 (zh)
CN (1) CN114126493A (zh)
WO (1) WO2020243493A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117237268A (zh) * 2022-11-18 2023-12-15 杭州海康慧影科技有限公司 一种超声图像处理方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US20140037168A1 (en) * 2011-04-13 2014-02-06 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same and storage medium
WO2016013454A1 (ja) * 2014-07-23 2016-01-28 日立アロカメディカル株式会社 超音波診断装置及び超音波診断装置の作動方法
US20160358314A1 (en) * 2015-06-03 2016-12-08 Zhengping Ji Method and apparatus of multi-frame super resolution robust to local and global motion
EP3298967A1 (en) * 2016-09-27 2018-03-28 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same
CN109788944A (zh) * 2016-09-26 2019-05-21 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4253494B2 (ja) * 2002-11-08 2009-04-15 株式会社東芝 超音波診断装置
JP4583952B2 (ja) * 2005-02-02 2010-11-17 パナソニック株式会社 超音波診断装置
JP5441795B2 (ja) * 2010-03-31 2014-03-12 キヤノン株式会社 イメージング装置及びイメージング方法
US10034614B2 (en) * 2012-02-29 2018-07-31 General Electric Company Fractional flow reserve estimation
CN105163684B (zh) * 2013-03-15 2018-02-02 圣纳普医疗(巴巴多斯)公司 手术数据的联运同步
WO2014210431A1 (en) * 2013-06-28 2014-12-31 Tractus Corporation Image recording system
JP6460652B2 (ja) * 2014-06-09 2019-01-30 キヤノンメディカルシステムズ株式会社 超音波診断装置及び医用画像処理装置
JP6389963B2 (ja) * 2015-08-31 2018-09-12 富士フイルム株式会社 超音波診断装置および超音波診断装置の制御方法
JP2020039646A (ja) * 2018-09-11 2020-03-19 株式会社日立製作所 超音波診断装置及びボリュームデータ取込方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101193603A (zh) * 2005-06-06 2008-06-04 直观外科手术公司 腹腔镜的超声机器人外科手术系统
US20140037168A1 (en) * 2011-04-13 2014-02-06 Canon Kabushiki Kaisha Image processing apparatus, method of controlling the same and storage medium
WO2016013454A1 (ja) * 2014-07-23 2016-01-28 日立アロカメディカル株式会社 超音波診断装置及び超音波診断装置の作動方法
US20160358314A1 (en) * 2015-06-03 2016-12-08 Zhengping Ji Method and apparatus of multi-frame super resolution robust to local and global motion
CN109788944A (zh) * 2016-09-26 2019-05-21 富士胶片株式会社 超声波诊断装置及超声波诊断装置的控制方法
EP3298967A1 (en) * 2016-09-27 2018-03-28 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same
US20180085090A1 (en) * 2016-09-27 2018-03-29 Samsung Medison Co., Ltd. Ultrasound diagnosis apparatus and method of operating the same

Also Published As

Publication number Publication date
EP3975868A1 (en) 2022-04-06
US20220175346A1 (en) 2022-06-09
WO2020243493A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
JP6395995B2 (ja) 医療映像処理方法及び装置
WO2019181632A1 (en) Surgical assistance apparatus, surgical method, non-transitory computer readable medium and surgical assistance system
JP2019517291A (ja) 内視鏡画像及び超音波画像の画像ベースの融合
JP4921826B2 (ja) 超音波診断装置及びその制御方法
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
JP5002181B2 (ja) 超音波診断装置及び超音波診断装置制御方法
US20080097155A1 (en) Surgical instrument path computation and display for endoluminal surgery
US10405832B2 (en) Ultrasound diagnosis apparatus and method
JP2020527374A (ja) 医用イメージングシステム、方法およびコンピュータプログラム製品
WO2020165978A1 (ja) 画像記録装置、画像記録方法および画像記録プログラム
US20230050857A1 (en) Systems and methods for masking a recognized object during an application of a synthetic element to an original image
US20220215539A1 (en) Composite medical imaging systems and methods
US20230020596A1 (en) Computer program, information processing method, information processing device, and method for generating model
JP5527841B2 (ja) 医療画像処理システム
JP7457415B2 (ja) コンピュータプログラム、学習モデルの生成方法、及び支援装置
US20220175346A1 (en) Systems and methods for detecting tissue contact by an ultrasound probe
US20240000432A1 (en) Medical image processing apparatus, endoscope system, medical image processing method, and medical image processing program
US8858442B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing apparatus
US20230147826A1 (en) Interactive augmented reality system for laparoscopic and video assisted surgeries
US20220148209A1 (en) Medical system, signal processing device, and signal processing method
US20220409300A1 (en) Systems and methods for providing surgical assistance based on operational context
JP2021157108A (ja) トレーニングシステム、画像処理装置、画像処理方法および画像処理プログラム
JP2009100996A (ja) 超音波診断システム
JP2005111081A (ja) 内視鏡画像表示処理装置
WO2022239529A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination