CN114945327A - 用于引导超声探头的系统和方法 - Google Patents

用于引导超声探头的系统和方法 Download PDF

Info

Publication number
CN114945327A
CN114945327A CN202080092882.2A CN202080092882A CN114945327A CN 114945327 A CN114945327 A CN 114945327A CN 202080092882 A CN202080092882 A CN 202080092882A CN 114945327 A CN114945327 A CN 114945327A
Authority
CN
China
Prior art keywords
ultrasound
ultrasound transducer
view
keyframe
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080092882.2A
Other languages
English (en)
Inventor
M·A·巴利茨
P·西恩帕波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN114945327A publication Critical patent/CN114945327A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00147—Holding or positioning arrangements
    • A61B1/0016—Holding or positioning arrangements using motor drive units
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/445—Details of catheter construction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2059—Mechanical position encoders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/464—Displaying means of special interest involving a plurality of displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/468—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means allowing annotation or message recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/485—Diagnostic techniques involving measuring strain or elastic properties
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种超声设备(10)包括探头(12)，该探头包括被设定尺寸以用于插入患者体内的管(14)和被设置在管的远端(16)处的超声换能器(18)。摄像头(20)以相对于超声换能器固定的空间关系被安装在管的远端处。至少一个电子处理器(28)被编程为：控制超声换能器和摄像头，以在超声换能器被设置于患者体内时分别获取超声图像(19)和摄像头图像(21)；并构建代表超声换能器的体内位置的关键帧(36)，该关键帧至少包括从在超声换能器的体内位置处获取的超声图像中的至少一个提取的超声图像特征(38)和从在超声换能器的体内位置处获取的摄像头图像中的一个提取的摄像头图像特征(40)。

Description

用于引导超声探头的系统和方法
技术领域
以下内容总体上涉及超声技术、超声成像技术、超声探头技术、超声探头引导技术、超声导管技术、经食道超声检查(TEE)技术以及相关技术。
背景技术
采用安装在插入管的端部上的超声换能器阵列的超声成像，尤其是经食道超声心动图(TEE)，是一种现有的成像方法，其具有各种用途，最常见的是用于心脏病患者的诊断目的和用于在基于导管的心脏介入手术中提供图像引导。TEE涉及一种用于心脏超声成像的方法，其中超声探头包括线缆或管，超声换能器被设置于线缆或管的末端处。TEE探头被插入食道，以将超声换能器放置在靠近心脏的其远侧末端处。
在基于导管的结构性心脏介入治疗中，TEE已被广泛地用作用于对在治疗结构性心脏病中使用的介入导管器械进行成像的可靠方法。三维(3D)经食道超声(US)被用于导管室手术中的介入引导，因为与利用B模式超声的二维(2D)切片成像相比，它提供了实时的体积成像，这增强了心脏解剖结构的可视化，并提供了特别的软组织可视化，这是X射线中所缺乏的。对于许多结构性心脏病(SHD)的介入治疗(如二尖瓣置换)，通常使用TEE。
通常，TEE探头由受过训练的超声技师(或心脏病专家)插入食道，并被手动地朝向一些标准的观察位置调整，使得心脏的特定解剖结构和视角处于US设备的视场内。不同的测量或检查可能需要同一解剖结构的不同视场/视角，在这种情况下，探头需要被重新定位。在介入治疗期间，探头经常在观察位置之间移动，以适应X射线成像，以及随着设备被操纵而跟踪介入治疗的进展。有时，探头会因生理运动而被偶然移动，或因其他原因而被无意中移动，且必须将其恢复到期望的观察位置。
TEE探头通常包括位于探头的远端处的线缆驱动的机械关节，该机械关节可以通过TEE探头的手柄上的旋钮来手动操作。这些关节提供的远侧灵活性，加上手动控制的TEE探头的旋转和插入距离，以及超声成像平面的电子波束转向，为定位超声换能器和成像平面提供了相当大的灵活性，以便获取期望的心脏视图。然而，担心的问题包括食道穿孔的风险，难以操纵许多控制度以获得期望的临床视图，以及TEE操作者在介入治疗期间暴露于X射线源的有害辐射。
除TEE外，其他类型的超声成像采用的是具有被设定尺寸以用于插入患者体内的管(即导管)的探头，且在管的远端处设置有超声换能器，探头包括：心内回声(ICE)探头，其通常比TEE探头薄且被插入血管内，以使超声换能器阵列在心脏内移动；以及血管内超声(IVUS)探头，其也薄且被插入血管内，以从内部有利位置对各种解剖结构成像。
下面公开了克服这些问题和其他问题的某些改进。
发明内容
在一个方面，一种超声设备包括探头，该探头包括管和超声换能器，管被设定尺寸以用于插入患者体内，超声换能器被设置在管的远端处。摄像头以相对于超声换能器固定的空间关系被安装在管的远端处。至少一个电子处理器被编程为：控制超声换能器和摄像头，以在超声换能器被设置在患者体内时分别获取超声图像和摄像头图像；以及构建代表超声换能器的体内位置的关键帧，该关键帧至少包括从在超声换能器的体内位置处获取的超声图像中的至少一个提取的超声图像特征和从在超声换能器的体内位置处获取的摄像头图像中的一个提取的摄像头图像特征。
在另一方面，一种超声设备包括探头，该探头包括管和超声换能器，管被设定尺寸以用于插入患者体内，超声换能器被设置在管的远端处并被布置成侧向发射。摄像头以相对于超声换能器固定的空间关系被安装在管的远端处并被布置成朝向前方。至少一个电子处理器被编程为：控制超声换能器和摄像头，以在超声换能器被设置在患者体内时分别获取超声图像和摄像头图像；以及构建代表超声换能器的体内位置的关键帧，该关键帧至少包括从在超声换能器的体内位置处获取的超声图像中的至少一个提取的超声图像特征和从在超声换能器的体内位置处获取的摄像头图像中的一个提取的摄像头图像特征。
在另一方面，公开了一种控制超声设备的方法，该超声设备包括探头，该探头：包括管，其被设定尺寸以用于插入患者体内；超声换能器，其被设置在管的远端处；和摄像头，其以相对于超声换能器固定的空间关系被安装在管的远端处。该方法包括：控制超声换能器和摄像头，以在超声换能器被设置于患者体内时分别获取超声图像和摄像头图像；构建代表包括超声换能器的第一体内位置的第一视图的关键帧，该关键帧至少包括超声图像、摄像头图像、从在超声换能器的体内位置处获取的超声图像中的至少一个提取的超声图像特征以及从在超声换能器的体内位置处获取的摄像头图像中的一个提取的摄像头图像特征；在超声换能器从第一视图到包括超声换能器的第二体内位置的第二视图的穿越期间，构建代表超声换能器的中间位置的关键帧；以及在穿越结束时，构建代表第二视图的关键帧。
一个优点在于提供了超声探头的适当定位，以在特定的视图获取心脏图像。
另一优点在于提供一种具有多个图像设备的超声探头以获取心脏图像。
另一优点在于提供一种超声探头，其向用户提供操纵超声探头的反馈。
另一优点在于提供一种操作复杂性较低的超声探头，从而减少错误和成本。
另一优点在于提供一种带有伺服马达的超声探头，该伺服马达可自动操纵超声探头穿过食道、血管或具有可穿越管腔的解剖结构。
另一优点在于，通过致动超声探头以远程和/或自动控制，减少了超声设备的操作者的X射线暴露。
给定的实施例可以不提供、提供一个、两个、更多个或所有的上述优点，并且/或者可以提供本领域普通技术人员在阅读和理解本公开后将变得明显的其他优点。
附图说明
本公开可采取各种部件和部件的布置，以及各种步骤和步骤的排布的形式。附图仅用于例示说明优选实施例的目的，不应被理解为对本公开的限制。
图1和图2示出了根据一个方面的超声设备的示例性实施例。
图3示出了图1和图2的超声设备的示例性流程图操作。
图4示出了图1和图2的超声设备的潜在可移动轴线。
图5示出了图1和图2的超声设备的另一示例性流程图操作。
图6示出了图1和图2的超声设备的示例性使用。
具体实施方式
本文公开的系统和方法提供了关键帧。如本文所用的，关键帧(及其变体)是指代表TEE探头(或其他基于导管的超声探头)的具体位置的图像特征。本文认识到，仅靠超声图像可能不足以生成可靠的关键帧，因为超声成像可能是断续的，并提供相对低分辨率的图像。为了提供更强的关键帧，视频摄像头被集成到探头末端，与超声换能器附接，或与其紧贴地被定位在探头上，以便一起移动。
在典型的工作流程中，TEE探头在沿食道穿越的各点处获取关键帧。例如，在每次图像损失(由于移动和/或电子波束转向)大于图像特征(例如在超声图像或摄像头图像中)的阈值部分时，可获取一个新的关键帧。可选地，当医师到达期望的视图时，关键帧可以被手动获取，并被标记上该视图。替代性地，可以基于图像分析自动地识别定义图像特征来自动地识别视图，并将相应的关键帧标记上该视图。它也可以通过停留时间来定义，在停留时间里，探头没有大的运动变化。如果这时医师想回到以前的视图，则伺服马达反转，以使探头末端向后移动，并将获取的图像与沿途的关键点进行比较，以自动地跟踪和调整(如果需要的话)回溯穿越过程。在其他实施例中，伺服马达经由对应于关键帧转换的伺服运动序列来移动，这些关键帧转换将当前视图与期望的视图联系起来。在一些示例中，视觉伺服方法补充了从关键帧到关键帧的开环运动。关键帧运动包括(但不限于)探头的物理运动和电子波束转向。该运动还可包括成像设置(例如，超声参数、摄像头设置等)。
在本文公开的一些实施例中，实施了手动模式。在这种情况下，TEE探头是手动操作的探头，具有用于控制TEE探头的关节的旋钮，并且该系统基于通过比较实时图像和先前获取的关键帧获得的反馈来提供控制提示，如“前进插入”、“缩回”、“旋转”、“弯曲”、“在视图处”等。在其他实施例中，TEE探头是部分或完全机器人化的，利用伺服马达代替机械操纵来操作TEE探头，如远侧关节控制、插入、旋转等。在这种情况下，该系统可以直接控制伺服马达来执行期望的TEE探头操纵。该系统还可以控制超声成像参数(例如，成像深度、波束转向角、增益等)，以调取以前针对给定视图的设置。
在本文公开的一些实施例中，超声换能器是侧向发射的，而视频摄像头是前视的，这是一种方便的布置结构，因为侧向发射的超声换能器可以很好地放置以对心脏进行成像，而前视的视频摄像头则提供了侧向发射的换能器所不能提供的优点。尤其有价值的是，前视的摄像头可以检测将阻碍TEE探头进一步插入的障碍物，并可以使适当的动作(例如转动探头的关节)可视化，以避免与障碍物相撞。
图1和图2示出了用于医疗操作(尤其是心脏成像操作)的超声设备10的一个示例性实施例。虽然在此被称为TEE超声设备，但超声设备10可以是任何合适的基于导管的超声设备(例如，用于心内回声(ICE)操作、血管内US操作等的超声设备)。如图1所示，超声设备10包括探头12，其配置为例如柔性线缆或管，用作插入患者的管腔(例如，管腔可以是食道管腔，或血管管腔等)内的导管。探头12可以是任何合适的、商业上可获得的探头(例如，飞利浦x7-2 TEE探头，可从荷兰的埃因霍温的Koninklijke Philips N.V.获得)。如本文所述，探头12被描述为用于TEE操作中，TEE操作包括将探头插入患者的食道以获取患者心脏的图像，但应理解的是，探头可以被插入患者的任何部分内以获取任何目标组织的图像。
探头12包括管14，该管被设定尺寸以用于插入患者的一部分(例如，食道)内。管14可以是柔性的或刚性的。在一些示例中，管14具有手柄15，手柄被设置在患者外部并由用户操纵。管14包括远端16，且超声换能器18被设置在远端处。超声换能器18被配置为获取目标组织(例如，心脏或周围血管)的超声图像19。在管14的远端16处还设置了摄像头20(例如，视频摄像头，如RGB或其他彩色摄像头、单色摄像头、红外(IR)摄像头、立体摄像头、深度摄像头、光谱摄像头、光学相干断层扫描(OCT)摄像头等)。摄像头20被配置为获取目标组织的摄像头(例如，静态和/或视频)图像21。摄像头20可以是任何合适的、商业上可获得的摄像头(例如在Pattison等人的“Atrial pacing thresholds measured in anesthetizedpatients with the use of an esophagus stethoscope modified for pacing”(Journal of Clinical Anesthesia，第9卷，第6期，492)中所述的摄像头)。
摄像头20以相对于超声换能器18固定的空间关系被安装。在一个示例性实施例中，超声换能器18和摄像头20彼此附接，或者如图1和图2所示，被容纳或以其他方式固定在设置于管14的远端16处的公共壳体22上。尤其是，如图2所示，超声换能器18被布置成侧面发射，摄像头20被布置成朝向前方。有利地，如图1所示的这种布置结构提供了侧面发射的超声换能器18被很好地放置以对心脏进行成像，而前视的摄像头20则提供了侧面发射的换能器所不能提供的优势(例如，心脏的)。在其他实施例中，摄像头20可以使用机器人致动，或使用线缆或其他手段，如反射镜透镜(未示出)而是可转向的。在另一示例中，超声换能器18和摄像头20可以通过一些其他机构(例如，柔性线缆)连接，并被相对于彼此跟踪。
超声设备10还包括电子控制器24，其可包括工作站，例如电子处理设备、工作站计算机、智能平板电脑，或更一般的计算机。在非限制性的例示说明性示例中，电子控制器24是飞利浦的EPIQ级超声工作站。(注意，超声工作站24和TEE探头12被以不同的比例示出)。电子控制器24可以控制超声设备10的操作，例如包括控制超声换能器18和/或摄像头20来获取图像，以及通过控制超声设备10的一个或多个伺服马达26来控制探头12移动穿过食道，这些伺服马达被连接以驱动其铰接关节(未示出)和/或旋转和/或延伸和缩回管14。替代性地，可以提供一个或多个旋钮27，用户通过该旋钮手动操作驱动关节，以操纵探头穿过食道。
虽然图1出于用于例示说明性的目的示出了旋钮和伺服马达部件26、27，但通常超声探头12将是手动的(仅具有旋钮)或机器人化的(仅具有伺服马达)，但设想到手动/机器人化的混合设计，例如其中用户手动延伸/缩回管14，然而设置伺服马达以机器人化地操作探头位置及其关节的设计。
工作站24包括典型的部件，例如至少一个电子处理器28(例如微处理器)，其包括用于插入超声探头的连接器29(图1中的虚线线缆示意地指示出TEE探头12与超声工作站24连接)，至少一个用户输入设备(例如，鼠标、操纵杆、键盘、轨迹球和/或类似设备)30，和至少一个显示设备32(例如，LCD显示器、等离子显示器、平视显示器、增强现实显示器、阴极射线管显示器和/或等等)。例示说明性的超声工作站24包括两个显示设备32：一个较大的上部显示设备，其上面显示超声图像；和一个较小的下部显示设备，其上面显示用于控制工作站24的图形用户界面(GUI)48。在一些实施例中，显示设备32可以是与工作站24分开的部件。显示设备32也可以包括两个或更多个显示设备。在一些实施例中，用户输入设备30可以是与工作站24分开的部件，在某些情况下可以是虚拟的，在增强现实系统内提供。
电子处理器28与一个或多个非暂时性存储介质34操作性地连接。通过非限制性的例示说明性示例，非暂时性存储介质34可包括磁盘、RAID或其他磁性存储介质；固态驱动器、闪存驱动器、电子可擦除只读存储器(EEROM)或其他电子存储器；光盘或其他光学存储装置；其各种组合等中的一种或多种；并且可以是例如网络存储装置、工作站24的内部硬盘驱动器、其各种组合等。虽然与控制器24分开示出，但在一些实施例中，一个或多个非暂时性存储介质34的一部分或全部可以与超声工作站24(例如包括内部硬盘驱动器或固态驱动器)成为一体。应进一步理解，这里提到的任何非暂时性介质或媒介34应被广泛地理解为包括单个介质或相同或不同类型的多个介质。同样，电子处理器28可被实现为单个电子处理器或两个或更多个电子处理器。非暂时性存储介质34存储可由至少一个电子处理器28执行的指令。
如上所述，超声设备10被配置为执行用于控制探头12的移动的控制方法或过程100。非暂时性存储介质32存储指令，该指令可由工作站24的至少一个电子处理器28读取和执行，以执行所公开的操作，其包括执行控制方法或过程100。在一些示例中，控制方法100可以至少部分地通过云处理来执行。
现在参考图3，并继续参考图1和图2，控制方法或过程100的例示说明性实施例被示意性地示为流程图。在操作102处，至少一个电子处理器28被编程为控制超声换能器18和摄像头20，以在超声换能器(以及摄像头20和公共刚性外壳22)被放置在患者的食道内在体内时分别获取超声图像19和摄像头图像21。
在操作104处，至少一个电子处理器28被编程为构建代表超声换能器18的体内位置(例如，在食道内)的关键帧36。为了构建关键帧36，至少一个电子处理器28被编程为从超声图像19中的至少一个提取超声图像特征38，和/或从摄像头图像21中的至少一个提取摄像头图像特征40。在另一示例中，关键帧36可包括超声图像19和/或摄像头图像21本身。超声图像19和摄像头图像21可被存储在一个或多个非暂时性计算机介质34中，和/或显示在显示设备32上。提取过程可包括用于在至少一个超声图像特征38和至少一个摄像头图像特征40之间提取特征集的算法。这样的算法可包括，例如，标度不变量特征转换(SIFT)算法、多标度定向斑块(MOPS)算法、血管跟踪算法或本领域已知的任何其他合适的匹配算法。在一个变体实施例中，操作102使用超声换能器18仅获取超声图像(在这种情况下，可以可选地省略摄像头20)，并且操作104使用仅从超声图像中提取的特征38来构建关键帧。然而，希望使用从超声图像19和摄像头图像21两者中提取的特征来构建关键帧36将为关键帧36提供更高水平的区别性，以用于唯一地识别给定的视图，此外，摄像头图像21在超声图像具有低对比度或以其他方式具有信息缺陷特征的情况下是有用的(反之亦然，如果摄像头图像是信息缺陷的，那么这将由从超声图像提取的特征来补偿)。
在一个示例中，关键帧36还可包括包括在换能器的体内位置处的超声图像19的获取时间时的超声换能器18的一个或多个设置(例如，波束转向、深度、分辨率、宽度等)，图像特征38被从超声图像19中提取。在另一示例中，关键帧36可包括在超声图像19和/或摄像头图像21中的一个或多个的获取时间时的探头12的旋转设置和/或插入设置和/或探头的关节位置设置。关节位置设置可包括，例如，诸如“插入”、“旋转”、“弯曲”等设置。这些设置可以从与探头12的形状和位置相关的位置反馈设备(未示出)，例如编码器)和/或传感器反馈设备(未示出)，例如力传感器或扭矩传感器来确定。
在一些示例性实施例中，操作104包括响应于满足一个或多个关键帧获取标准42(其可被存储在一个或多个非暂时性计算机可读介质34中)而构建关键帧36。在一个示例中，关键帧获取标准42可包括“最后获取的”关键帧36和当前获取的超声图像19和/或当前获取的摄像头图像21之间的比较。在另一个示例中，关键帧获取标准42可包括在预设的先前时间量时获取的关键帧36(例如，先前例如30秒获取的关键帧)和当前获取的超声图像19和/或当前获取的摄像头图像21之间的比较。关键帧36可被存储在一个或多个非暂时性计算机介质34中，和/或显示在显示设备32上。一旦被存储，关键帧36可以在任何时候由用户通过工作站24访问。比较可包括最后获取的关键帧36与超声图像19/摄像头图像21之间的特征数量变化的比较，超声图像19中的一个或摄像头图像中的一个与最后获取的关键帧的空间移动等。在另一示例中，关键帧获取标准42可包括对当前超声图像19中成像的目标组织(例如，左或右心室、左或右主动脉、患者心脏的具体血管，如主动脉或腔静脉，等等)的定义图像特征的识别。比较过程可包括用于分别匹配至少一个超声图像19和至少一个摄像头图像21的特征集38和40的匹配算法。这种算法可包括，例如，使用平方差之和(SSD)算法。在一些示例中，本领域已知的可变形配准算法，该算法使用特征集38和40来改善多个关键帧36之间的匹配。为了提高关键帧匹配的稳健性，在匹配过程中使用最近生成的关键帧36的序列。
在可选的操作106中，至少一个电子处理器28被编程为在经由工作站24的至少一个用户输入设备30接收来自用户的用户输入时，用标签44标记代表超声换能器18的体内位置的关键帧36。在一种方法中，GUI 48可以提供标准解剖学视图(食道中段(ME)四室视图、ME(长轴(LAX)视图、经胃(TG)乳头肌中部短轴(SAX)视图等)的下拉列表式GUI对话框，用户可以选择所列项之一作为标签44。替代性地，可以提供自由格式的文本输入式GUI对话框，用户通过该对话框输入标签44，或进一步对从下拉列表中选择的标签进行注释。此外，关键帧36也可以被标记为指示或代表超声换能器18的中间位置(例如，在“相邻的”超声图像19和/或摄像头图像21中显示的位置之间的位置中的超声换能器的位置)。在另一示例中，可以显示探头12的典范视图的2D或3D视觉表示，其中显示了探头的当前状态，而其他先前获取的探头的视图可以被用户选择显示。标签44和标记的关键帧36可被存储在一个或多个非暂时性计算机可读介质34中。
在一些示例中，而不是(或除了)采用手动标记，至少一个电子处理器28可以被编程为根据图像中显示的具体解剖视图(例如，ME四室视图、ME LAX视图、TG乳头肌中部SAX视图等)对超声图像19和/或摄像图像21进行标记或以其他方式分类。图像19和21可以由用户经由至少一个用户输入设备30手动标记，或者使用本领域中已知的超声图像匹配算法自动地标记。
现在简要地参考图4，并继续参考图1至图3，探头12可以以各种方式进行操纵(手动地使用旋钮27或其他手动操纵，和/或机器人化地使用伺服马达26，这取决于实施例)。探头12能够沿“插入”方向(即进入食道)前进(在图3中沿轴线1(a)标记)；和沿轴线1(b)的“缩回”方向；沿轴线2(a)的前角方向旋转/转动，和沿轴线2(b)的后角方向旋转/转动。探头12的远端16被配置为沿轴线3(a)和3(b)在前/后弯曲方向上移动(经由用户对旋钮27的操作)；沿轴线4(a)4(b)在右/左方向上移动。探头12可以通过用户直接操纵探头沿轴线1(a)、1(b)、2(a)、2(b)移动，且使用旋钮27沿轴线3(a)、3(b)、4(a)、4(b)移动。这些是例示说明性的自由度；具体的超声探头实现方式可以提供更多、更少和/或不同的自由度以用于操纵体内的探头位置，而这些自由度的子集可以是手动致动的，而其他的可以是被动实施的。
返回到图1至图3，在另一可选的操作108中，至少一个电子处理器28被编程为通过构建多个关键帧36来引导(和，在机器人实施例的情况下，控制)探头12穿过食道的移动。为此，至少一个电子处理器28被编程为构建关键帧36，该关键帧代表包括超声换能器18的第一体内位置的第一视图。在超声换能器18从第一视图到包括超声换能器的第二体内位置的第二视图的穿越期间，至少一个电子处理器28被编程为构建代表超声换能器的“中间”位置(例如，第一视图和第二视图之间的位置)的关键帧36。在一个示例中，这些中间位置被隐含地包括在超声图像19和摄像头图像21中，在这种情况下，探头12可以被移动以匹配目标关键帧36。在另一个示例中，中间位置可以是相对于超声体积、摄像头图像空间，或笛卡尔或关节空间中的运动学转换，或这些的任何组合，从一个关键帧36到下一个关键帧的运动的估计。在超声换能器18的穿越结束时，至少一个电子处理器28被编程以构建代表第二视图的第二关键帧36。
操作108可包括这样的操作，即，其中至少一个电子处理器28被编程为检测何时应该获取和保存代表“中间位置”的新的关键帧36(即，在从第一视图到第二视图的转换期间)。为此，最近构建的关键帧36与最近获取的超声图像19和最近获取的摄像头图像21进行比较。在一个示例中，如果图像19、21中的特征(例如，解剖特征等)的数量相对于关键帧36中的特征数量以超过预定比较阈值(25％的特征)的方式变化，则生成新的关键帧。在另一示例中，获取的图像19，21中的平均像素位移相对于关键帧36的像素位移变化了预定的比较阈值(例如，图像大小的x％)，则生成新的关键帧。其他示例可包括本领域已知的可变形匹配算法，以改善图像19，21进行图像跟踪。这些阈值可以根据经验进行调整。
在一个示例性实施例中，操作108是以手动模式实施的。为此，至少一个电子处理器28被编程为在手动执行(例如通过旋钮27)超声换能器18从第二视图回到第一视图(或两者之间的中间视图)的回溯穿越(即“反向”移动)期间提供人类可感知的引导46。引导46基于超声图像19和摄像头图像21(在回溯穿越期间获取的)与代表中间位置的关键帧36和代表第一视图的关键帧的比较。引导46可包括命令，命令包括以下中的一个或多个：超声设备10穿过食道前进(例如，“前进”及其变体)；超声设备穿过食道缩回(例如，“反向”及其变体)，“转动”，“捕获关键帧”等。引导46可以在显示设备32上以视觉方式输出，通过扬声器(未示出)以听觉方式输出等。此外，引导46可被显示为与在显示设备32上显示的图像19和21重叠。
在另一个示例性实施例中，操作108是以自动模式实施的，其中探头12通过伺服马达26的动作自动地移动穿过食道。为此，至少一个电子处理器28被编程为控制探头12的一个或多个伺服马达26，以执行超声换能器18从第一视图到第二视图的穿越。然后，至少一个电子处理器28被编程为控制探头12的伺服马达26，以基于超声图像19和摄像头图像21(在回溯穿越期间获得的)与代表中间位置的关键帧36以及代表第一视图的关键帧的比较，执行超声换能器18从第二视图回到第一视图的回溯穿越。
在手动模式和自动模式中，至少一个电子处理器28被编程为通过生成用于在显示设备32上显示的GUI 48来引导用户关于探头12穿过食道的移动。用户可以使用GUI 48，使用至少一个用户输入设备30来选择关键帧36的期望视图。关键帧36的期望视图可包括先前获取并存储在非暂时性计算机可读介质34中的关键帧，在当前操作中获取的关键帧，或被存储在非暂时性计算机可读介质中的预定义的关键帧。图像特征集38、40的匹配算法可被用于寻找最接近如显示设备30上所示的当前获取的关键帧的一组关键帧36。例如，从“视图A”到“视图N”的关键帧36由用户在操作开始时创建，并被保存在非暂时性计算机可读介质34中。相邻视图之间的视图(例如，“视图A”到“视图B”，“视图B”到“视图C”等等)使用“中间”关键帧36联系。为此，在当前关键帧(例如，“视图B”)和下一个关键帧(例如，“视图C”)之间的增量运动使用，例如，运动估计方法(如特征的基本光流)来估计探头12应该以何种方式移动。将探头12移动到下一个关键帧到期望的视图所需的增量运动方向在GUI 48上实现。增量运动可以相对于例如摄像头20的视图、超声换能器18的视图、探头12的模型、心脏的模型、患者的模型等给出。增量运动可以例如作为指示出移动方向的三维区域来显示。
在一些实施例中，一旦接近期望的最终视图，可以使用基于波束形成的图像转向过程来获得期望的最终视图。
在其他实施例中，旋钮27可被用来将探头的弯曲和延伸设置改变到图像特征38、40的相关数据集，以改善关键帧36和生成的引导46的匹配。旋钮27可以被操纵(即转动或切换)，而弯曲和延伸设置可被包括在GUI 48中。
在进一步的实施例中，电子处理器28可以使用伺服马达26对超声探头12进行机器人化的控制。通过添加关键帧36跟踪和引导46作为对机器人控制的反馈，可以使用笛卡尔速度控制环来平稳和可靠地将探头12移动到期望的视图。这允许在不同视图之间实现高效、精确和安全的探头12的自动定位。在一些实施例中，机器人的前向运动学姿态可被用作关键帧36的生成中的另一特征。在超声图像或摄像头图像与关键帧36匹配不佳的情况下，预存的运动学姿态信息可被用于转换到下一个关键帧。
在一些实施例中，可以使用数据驱动的方法相对于存储在非暂时性计算机可读介质34中的来自许多患者的关键帧图集(未示出)来估计当前的关键帧36。这将能够在患者中实现引导，而无需首先看到期望的视图和建立关键帧36。
在其他实施例中，例如，在图像19、21的序列显示图像接近已知序列中的期望的摄像头图像，但是包含新的信息，例如血液，或脱色，或新的解剖学地形特征(如撕裂)时，可以在GUI 48上显示不良事件的检测。
在一些实施例中，估计的探头12的运动可被用于多个超声图像38的特殊体积拼接。在3D数据的情况下，它可以提供优良的初始化信息。
在进一步的实施例中，可以根据来自关键帧36位置的探头12的姿态和叠加的超声图像19创建3D模型(未示出)。用户可以在3D模型上选择具体的关键帧36作为期望的视图，或者为了获得更多的信息而查看与该区域相关的存储的图像19。
在一些实施例中，探头12可包括集成的力感测机构(未示出)，其可被用于各种操作，包括：调取涉及食道上的压力的期望的视图；保持接触和漂移，限制食道上的变形以管理穿孔风险；弹性成像，创建食道或胃的力负荷区域的3D热图。
图5示出了移动操作108的示例性流程图。在操作50处，获取探头12的被标记为“视图A”的视图。在操作52处，保存超声换能器18、摄像头20和探头12的任何关节位置(未示出)在视图A处的位置。在操作54处，探头12从视图A朝向被标记为“视图B”的新的期望的视图移动。在操作56处，超声换能器18、摄像头20以及探头12的任何关节位置(未示出)在其从视图A移动到视图B时的位置。在操作58处，创建在视图A和视图B之间有50％的变化的中间关键帧36。在操作60处，探头12被移动，直到它到达视图B。在操作62处，使用GUI 48上的视觉伺服，按照中间关键帧36的相反序列，使探头12从B视图朝向A视图往回移动。在操作64处，探头12被移动，以便穿过中间关键帧36中显示的预定义的中间视图。在操作66处，当探头12靠近视图A时，探头12被切换到基于超声的伺服过程。在操作68处，探头12被移动，直到它到达视图A。除了从视图B到视图A的穿越(例如，操作64、66和68)，关键帧36可以被更新或添加到描述从A到B的穿越的集合，反之亦然。这些可用于丰富关键帧36的分辨率和丰富性。
图6示出了将超声设备10体内插入患者的食道内的示例性使用。如图6所示，探头12被向下插入患者的食道，使得超声换能器18和摄像头20可以获取患者心脏的相应的超声图像19和摄像头图像21。应理解的是，这仅仅是所公开的用于引导基于导管的超声探头的方法的一个具体应用。例如，心内回声(ICE)或血管内超声(IVUS)探头可被类似地引导穿过患者的主要血管，以到达期望的解剖学视图，并回溯到之前的解剖学视图。
已经参考优选实施例对本公开进行了描述。在阅读和理解前面的详细描述后，其他人可以进行修改和变更。旨在将示例性实施例解释为包括所有这些修改和变更，只要它们在所附权利要求或其等同方案的范围内。

Claims (20)

1.一种超声设备(10)，包括：
探头(12)，其包括管(14)和超声换能器(18)，所述管被设定尺寸以用于插入患者体内，所述超声换能器被设置在所述管的远端(16)处；
摄像头(20)，其以相对于所述超声换能器固定的空间关系被安装在所述管的所述远端处；以及
至少一个电子处理器(28)，所述电子处理器被编程为：
控制所述超声换能器和所述摄像头，以在所述超声换能器被设置在所述患者体内时分别获取超声图像(19)和摄像头图像(21)；以及
构建代表所述超声换能器的体内位置的关键帧(36)，所述关键帧至少包括从在所述超声换能器的所述体内位置处获取的所述超声图像中的至少一个提取的超声图像特征(38)和从在所述超声换能器的所述体内位置处获取的所述摄像头图像中的一个提取的摄像头图像特征(40)。
2.根据权利要求1所述的超声设备(10)，其中，所述关键帧(36)还包括在所述超声换能器的所述体内位置处获取的所述超声图像(19)的获取时间时的所述超声换能器(18)的一个或多个设置。
3.根据权利要求1和2中的任一项所述的超声设备(10)，其中，所述关键帧(36)还包括在所述超声换能器(18)的所述体内位置处获取的所述超声图像(19)的所述获取时间时的所述探头(12)的旋转设置、插入设置和关节位置设置。
4.根据权利要求1-3中的任一项所述的超声设备(10)，其中，所述超声换能器(18)和所述摄像头(20)被彼此附接，或被容置在或被固定到被设置在所述管(14)的所述远端(16)处的公共刚性壳体(22)中。
5.根据权利要求4所述的超声设备(10)，其中，所述超声换能器(18)被布置在所述管(14)的所述远端(16)处以侧向发射，而所述摄像头(20)被布置在所述管的所述远端处以面向前方。
6.根据权利要求1-5中的任一项所述的超声设备(10)，其中，所述至少一个电子处理器(28)被编程为响应于满足关键帧获取标准(42)而构建所述关键帧(36)。
7.根据权利要求6所述的超声设备(10)，其中，所述关键帧获取标准(42)包括最后的关键帧(36)与当前获取的超声图像(19)和摄像头图像(21)之间的比较。
8.根据权利要求6所述的超声设备(10)，其中，所述关键帧获取标准(42)包括对在当前的超声图像(19)中成像的目标组织的定义图像特征的识别。
9.根据权利要求1-8中的任一项所述的超声设备(10)，其中，所述超声设备还包括至少一个用户输入设备(30)；且所述至少一个电子处理器(28)被编程为：
在经由所述至少一个用户输入设备接收到用户输入时，标记代表所述超声换能器(18)的所述体内位置的所述关键帧(36)。
10.根据权利要求1-9中的任一项所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
构建代表第一视图的关键帧(36)，所述第一视图包括所述超声换能器(18)的第一体内位置；
在所述超声换能器从所述第一视图到包括所述超声换能器的第二体内位置的第二视图的穿越期间，构建代表所述超声换能器的中间位置的关键帧；和
在所述穿越结束时，构建代表所述第二视图的关键帧。
11.根据权利要求10所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
在所述超声换能器(18)从所述第二视图返回到所述第一视图或两者之间的中间视图的回溯穿越期间，基于在回溯穿越期间获取的超声图像(19)和摄像头图像(21)与代表所述中间位置的关键帧(36)和代表所述第一视图的关键帧的比较，为所述探头(12)的手动控制提供人类可感知的引导(46)。
12.根据权利要求11所述的超声设备(10)，其中，所述人类可感知的引导(46)包括命令，所述命令包括所述超声设备穿过食道的一个或多个推进、所述超声设备穿过所述食道的缩回和捕获关键帧(36)。
13.根据权利要求10所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
控制所述探头(12)的伺服马达(26)，以执行所述超声换能器(18)从所述第一视图到所述第二视图的穿越；和
控制所述探头的所述伺服马达，以基于在回溯穿越期间获取的超声图像(19)和摄像头图像(21)与代表所述中间位置的关键帧(36)和代表所述第一视图的关键帧的比较，执行所述超声换能器从所述第二视图返回到所述第一视图的所述回溯穿越。
14.根据权利要求1-13中的任一项所述的超声设备(10)，其中，所述探头(12)包括经食道超声心动图(TEE)探头。
15.一种超声设备(10)，包括：
探头(12)，其包括管(14)和超声换能器(18)，所述管被设定尺寸以用于插入患者体内，所述超声换能器被设置在所述管的远端(16)处并被布置成为侧向发射；
摄像头(20)，其以相对于所述超声换能器固定的空间关系被安装在所述管的所述远端处，并被布置成朝向前方；以及
至少一个电子处理器(28)，其被编程为：
控制所述超声换能器和所述摄像头，以在所述超声换能器被设置在所述患者体内时分别获取超声图像(19)和摄像头图像(21)；和
构建代表所述超声换能器的体内位置的关键帧(36)，所述关键帧至少包括从在所述超声换能器的所述体内位置处获取的所述超声图像中的至少一个提取的超声图像特征(38)和从在所述超声换能器的所述体内位置处获取的所述摄像头图像中的一个提取的摄像头图像特征(40)。
16.根据权利要求15所述的超声设备(10)，其中，所述关键帧(36)还包括以下中的一项或多项：
所述超声换能器(18)的一个或多个设置、所述探头(12)的旋转设置、所述探头的插入设置，以及在所述超声换能器的所述体内位置处获取的所述超声图像(19)的获取时间时的所述探头的关节位置设置。
17.根据权利要求15和16中的任一项所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
构建代表第一视图的关键帧(36)，所述第一视图包括所述超声换能器(18)的第一体内位置；
在所述超声换能器从所述第一视图到包括所述超声换能器的第二体内位置的第二视图的穿越期间，构建代表所述超声换能器的中间位置的关键帧；和
在所述穿越结束时，构建代表所述第二视图的关键帧。
18.根据权利要求17所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
在所述超声换能器(18)从所述第二视图返回到所述第一视图的回溯穿越期间，基于在回溯穿越期间获取的超声图像(19)和摄像头图像(21)与代表所述中间位置的关键帧(36)和代表所述第一视图的关键帧的比较，为所述探头(12)的手动控制提供人类可感知的引导(46)。
19.根据权利要求17所述的超声设备(10)，其中，所述至少一个电子处理器(28)还被编程为：
控制所述探头(12)的伺服马达(26)，以执行所述超声换能器(18)从所述第一视图到所述第二视图的穿越；和
控制所述探头的所述伺服马达，以基于在回溯穿越期间获取的超声图像(19)和摄像头图像(21)与代表所述中间位置的关键帧(36)和代表所述第一视图的关键帧的比较，执行所述超声换能器从所述第二视图返回到所述第一视图的所述回溯穿越。
20.一种控制超声设备(10)的方法(100)，所述超声设备包括：探头(12)，所述探头包括被设定尺寸以用于插入患者体内的管(14)和被设置在所述管的远端(16)处的超声换能器(18)；以及以相对于所述超声换能器固定的空间关系被安装在所述管的所述远端处的摄像头(20)，所述方法包括：
控制所述超声换能器和所述摄像头，以在所述超声换能器被设置于所述患者体内时分别获取超声图像(19)和摄像头图像(21)；
构建代表第一视图的关键帧(36)，所述第一视图包括所述超声换能器的第一体内位置，所述关键帧至少包括所述超声图像、所述摄像头图像、从在所述超声换能器的所述体内位置处获取的所述超声图像中的至少一个提取的超声图像特征(38)和从在所述超声换能器的所述体内位置处获取的所述摄像头图像中的一个提取的摄像头图像特征(40)；
在所述超声换能器从所述第一视图到包括所述超声换能器的第二体内位置的第二视图的穿越期间，构建代表所述超声换能器的中间位置的关键帧；和
在所述穿越结束时，构建代表所述第二视图的关键帧。
CN202080092882.2A 2019-12-12 2020-12-12 用于引导超声探头的系统和方法 Pending CN114945327A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962947162P 2019-12-12 2019-12-12
US62/947,162 2019-12-12
PCT/EP2020/085869 WO2021116474A1 (en) 2019-12-12 2020-12-12 Systems and methods for guiding an ultrasound probe

Publications (1)

Publication Number Publication Date
CN114945327A true CN114945327A (zh) 2022-08-26

Family

ID=74130157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080092882.2A Pending CN114945327A (zh) 2019-12-12 2020-12-12 用于引导超声探头的系统和方法

Country Status (5)

Country Link
US (1) US20220409292A1 (zh)
EP (1) EP4072430A1 (zh)
JP (1) JP2023505466A (zh)
CN (1) CN114945327A (zh)
WO (1) WO2021116474A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9089256B2 (en) * 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
JP5118455B2 (ja) * 2007-12-03 2013-01-16 日立アロカメディカル株式会社 内視装置
US20120302875A1 (en) * 2012-08-08 2012-11-29 Gregory Allen Kohring System and method for inserting intracranial catheters
EP3096671B1 (en) * 2014-01-24 2023-08-09 Koninklijke Philips N.V. Robotic actuator for transesophageal echocardiography probe
WO2016086145A1 (en) * 2014-11-26 2016-06-02 Marmor David B Apparatus, system and methods for proper transesophageal echocardiography probe positioning by using camera for ultrasound imaging
US10045758B2 (en) * 2014-11-26 2018-08-14 Visura Technologies, LLC Apparatus, systems and methods for proper transesophageal echocardiography probe positioning by using camera for ultrasound imaging
WO2016207692A1 (en) * 2015-06-22 2016-12-29 B-K Medical Aps Us imaging probe with an us transducer array and an integrated optical imaging sub-system
US11304685B2 (en) * 2017-07-05 2022-04-19 Regents Of The University Of Minnesota Lung biopsy devices, systems and methods for locating and biopsying an object
US11529116B2 (en) * 2018-06-19 2022-12-20 Fujifilm Sonosite, Inc. Ultrasound imaging system with automatic image saving
US10682108B1 (en) * 2019-07-16 2020-06-16 The University Of North Carolina At Chapel Hill Methods, systems, and computer readable media for three-dimensional (3D) reconstruction of colonoscopic surfaces for determining missing regions

Also Published As

Publication number Publication date
EP4072430A1 (en) 2022-10-19
JP2023505466A (ja) 2023-02-09
US20220409292A1 (en) 2022-12-29
WO2021116474A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
Hennersperger et al. Towards MRI-based autonomous robotic US acquisitions: a first feasibility study
JP7493528B2 (ja) エンドエフェクタのフィードバック連続配置制御
US7961924B2 (en) Method of three-dimensional device localization using single-plane imaging
EP3363365B1 (en) Automatic imaging plane selection for echocardiography
US8787635B2 (en) Optimization of multiple candidates in medical device or feature tracking
US9936896B2 (en) Active system and method for imaging with an intra-patient probe
US11707255B2 (en) Image-based probe positioning
Zhan et al. Autonomous tissue scanning under free-form motion for intraoperative tissue characterisation
Ramadani et al. A survey of catheter tracking concepts and methodologies
EP3558151B1 (en) Navigation platform for an intracardiac catheter
EP4271305A1 (en) Systems for image-based registration and associated methods
CN114945327A (zh) 用于引导超声探头的系统和方法
US12016724B2 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
WO2018115200A1 (en) Navigation platform for a medical device, particularly an intracardiac catheter
US20230010773A1 (en) Systems and methods for guiding an ultrasound probe
US20230012353A1 (en) Hybrid robotic-image plane control of a tee probe
US20230190382A1 (en) Directing an ultrasound probe using known positions of anatomical structures
JP7515495B2 (ja) 機械学習モデルのための訓練データ収集
Housden et al. X-ray fluoroscopy–echocardiography
WO2023275175A1 (en) Systems and apparatuses for for navigation and procedural guidance of laser leaflet resection under intracardiac echocardiography

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination