CN112888370A - 基于深度学习的超声成像引导和关联的设备、系统和方法 - Google Patents

基于深度学习的超声成像引导和关联的设备、系统和方法 Download PDF

Info

Publication number
CN112888370A
CN112888370A CN201980069173.XA CN201980069173A CN112888370A CN 112888370 A CN112888370 A CN 112888370A CN 201980069173 A CN201980069173 A CN 201980069173A CN 112888370 A CN112888370 A CN 112888370A
Authority
CN
China
Prior art keywords
motion control
control configuration
ultrasound imaging
coordinate system
probe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980069173.XA
Other languages
English (en)
Inventor
G·A·托波雷克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN112888370A publication Critical patent/CN112888370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

提供了超声成像设备、系统和方法。一种用于获得超声图像的引导系统，包括与相机和显示器通信的处理器，所述处理器被配置为：获得第一运动控制配置，以将超声成像设备从第一位置朝向对象的解剖结构的目标图像视图重新定位，所述第一运动控制配置是基于第一预测网络来确定的；基于由所述相机捕获的图像来确定与所述超声成像设备相关联的位置信息，所述图像包括所述对象的解剖结构和被定位于所述第一位置处的超声成像设备；并且向所述显示器输出指令以基于所述第一运动控制配置和与所述超声成像设备相关联的所述位置信息将所述超声成像设备从所述第一位置重新定位到第二位置。

Description

基于深度学习的超声成像引导和关联的设备、系统和方法
技术领域
本公开总体上涉及超声成像，并且尤其涉及提供用于将超声换能器定位到期望成像平面的视觉引导或反馈。
背景技术
超声成像是无创医学测试，其帮助医师诊断和处置医学状况。超声成像使用高频声波来产生人体内的组织、器官和/或血流的图像。超声成像系统可以包括超声换能器或换能器阵列，其可以被激发或触发以朝向目标身体部分(例如，组织和器官)发送声波并记录反射回的回波，从而定义了目标身体位置的大小、形状和质量。超声成像系统可以使用各种各样的成像模式，例如B模式和多普勒流。对于B模式成像，超声成像系统可以创建组织的二维图像，其中，像素的亮度基于反射回波的强度。对于多普勒流成像，超声系统可以基于多普勒效应来确定流体(例如血液)或组织的移动，其中，反射回波相对于入射波在频率上移位。
最近，床边的即时护理(POC)超声成像已在重症监护病房(ICU)和紧急情况下用于各种类型的诊断(例如，与心脏、肝脏和/或肺相关的诊断)方面获得普及。在POC超声成像系统中，超声换能器可以采取连接到移动设备的手持式超声探头的形式，其中，超声图像可以显示在移动设备上。在临床评估期间，临床医师可沿笛卡尔平面移动手持式探头，以定位最佳成像视图，以对特定解剖结构进行成像以用于评估。然而，由于探头处的多个自由度，对于临床医师而言找到最佳视图可能是耗时且具有挑战性的。缩短的查看平面或成像平面会导致误诊和/或不必要的检查重复。
发明内容
尽管已经证明现有的超声成像可用于临床检查和诊断，但是临床上仍然需要改进的系统和技术，以提供将成像部件对准期望的成像平面的有效、准确和自动的流程。本公开的实施例提供了一种混合自动探头定位引导方法，以辅助和引导用户将超声成像探头定位到用于超声检查的最佳位置。所公开的实施例利用深度学习网络来提供利用相机跟踪的基于成像的运动预测，以提高运动预测的准确性。例如，临床医师可以将成像探头相对于感兴趣的患者解剖结构定位在第一位置，并捕获患者解剖结构的超声图像。同时，相机可以捕获成像探头和患者的相机图像。可以将深度学习网络应用于超声图像，以预测第一运动控制配置，以将成像探头朝向期望的成像视图操纵。可以将跟踪算法应用于相机图像，以确定用于将成像探头朝向期望的成像视图操纵的第二运动控制配置。所公开的实施例结合了来自深度学习的第一运动控制配置和来自跟踪的第二运动控制配置，以提供自动探头引导。该结合可以提高自动探头引导的准确性。所公开的实施例可以使用叠加在相机图像上的图形表示来实时显示探头引导指令。所公开的实施例可以通过在应用深度学习网络之前滤出不相关和/或图像质量差的图像数据来进一步改进基于深度学习的运动检测。图像数据的过滤可以降低深度学习网络的复杂性和/或提高基于深度学习的运动预测的性能。所公开的实施例可以应用于任何超声成像系统。
在一个实施例中，一种用于获得超声图像的引导系统，包括：处理器，其与相机和显示器通信，所述处理器被配置为：获得第一运动控制配置，以将超声成像设备从第一位置朝向对象的解剖结构的目标图像视图重新定位，所述第一运动控制配置是基于第一预测网络来确定的；基于由所述相机捕获的图像来确定与所述超声成像设备相关联的位置信息，所述图像包括所述对象的解剖结构和被定位于所述第一位置处的所述超声成像设备；并且向所述显示器输出指令以基于所述第一运动控制配置和与所述超声成像设备相关联的所述位置信息将所述超声成像设备从所述第一位置重新定位到第二位置。
在一些实施例中，其中，所述第一预测网络基于第一坐标系来表示所述第一位置，其中，由所述相机捕获的所述图像基于第二坐标系来表示所述第一位置，其中，所述处理器被配置为：基于所述位置信息来确定所述第一坐标系与所述第二坐标系之间的坐标系变换；基于所述第一运动控制配置和所述坐标系变换来确定第二运动控制配置；并且基于所述第一运动控制配置和所述第二运动控制配置来确定所述指令。在一些实施例中，其中，所述处理器被配置为：通过将所述第一运动控制配置与所述第二运动控制配置进行组合来确定所述指令。在一些实施例中，其中，所述处理器被配置为：基于所述第一运动控制配置和所述第二运动控制配置之间的比较来确定所述指令。在一些实施例中，其中，所述超声成像设备被耦合到标记，其中，所述图像包括所述标记，并且其中，所述处理器被配置为：基于所述超声成像设备与所述标记之间的相对位置来确定所述坐标系变换。在一些实施例中，其中，所述处理器被配置为：基于所述相机与所述对象的解剖结构之间的相对位置来确定所述坐标系变换。在一些实施例中，其中，所述处理器被配置为：基于所述相机与被定位于所述对象上的标记之间的相对位置来确定所述坐标系变换。在一些实施例中，其中，所述第一控制运动配置包括第一旋转或第一平移中的至少一项。在一些实施例中，其中，所述处理器被配置为：输出所述指令以显示：包括所述对象的解剖结构和所述超声成像设备的所述图像；以及旋转或平移中的至少一项的图形表示的叠加，以将所述超声成像设备重新定位到所述第二位置。在一些实施例中，权利要求的系统还包括相机；以及显示器。在一些实施例中，所述系统还包括移动设备，所述移动设备包括相机、处理器和显示器。在一些实施例中，其中，所述处理器与所述超声成像设备通信，并且其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：在所述超声成像设备被定位于所述第一位置处时从所述超声成像设备接收表示所述对象的解剖结构的超声图像；并且将所述第一预测网络应用于所述超声图像以产生所述第一运动控制配置。在一些实施例中，其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：将所述第一预测网络应用于所述超声图像的感兴趣区域(ROI)以产生所述第一运动控制配置。在一些实施例中，其中，所述处理器被配置为通过以下操作中的至少一项来获得所述第一运动控制配置：从与所述处理器通信的用户接口接收对所述ROI的选择；或者基于第二预测网络来确定所述ROI。在一些实施例中，其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：应用所述第一预测网络以确定所述超声图像内的感兴趣区域(ROI)，并且基于所确定的ROI来确定所述第一运动控制配置。。
在一个实施例中，一种提供超声成像引导的方法，所述方法包括：获得第一运动控制配置，以将定位的超声成像设备从第一位置朝向对象的解剖结构的目标图像视图重新定位，所述第一运动控制配置是基于第一预测网络来确定的；基于由相机捕获的图像来确定与所述超声成像设备相关联的位置信息，所述图像包括所述对象的解剖结构和被定位于所述第一位置处的所述超声成像设备；并且在显示器上显示指令以基于所述第一运动控制配置和与所述超声成像设备相关联的所述位置信息将所述超声成像设备从所述第一位置重新定位到第二位置。
在一些实施例中，其中，所述第一预测网络基于第一坐标系来表示所述第一位置，其中，由所述相机捕获的所述图像基于第二坐标系来表示所述第一位置，其中，所述方法还包括：基于所述位置信息来确定所述第一坐标系与所述第二坐标系之间的坐标系变换；并且至少基于所述第一运动控制配置和所述坐标系变换来确定所述指令。在一些实施例中，该方法还包括基于所述第一运动控制配置和所述坐标系变换来确定第二运动控制配置；并且通过应用以下各项中的至少一项来确定所述指令：针对所述第一运动控制配置和所述第二运动控制配置的组合功能；或者针对所述第一运动控制配置和所述第二运动控制配置的比较功能。在一些实施例中，其中，所述超声成像设备被耦合到标记，其中，所述图像包括所述标记，并且其中，所述方法还包括：基于所述超声成像设备与所述标记之间的相对位置来确定所述坐标系变换。在一些实施例中，该方法还包括基于所述相机与所述对象的解剖结构之间的相对位置来确定所述坐标系变换。
根据以下详细描述，本公开的额外的方面、特征和优点将变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开的方面的超声成像系统的示意图。
图2是图示根据本公开的方面的基于深度学习的自动探头定位引导方案的示意图。
图3图示了根据本公开的方面的用于基于深度学习的自动探头定位引导方案的用例情形。
图4是根据本公开的方面的自动探头定位引导方法的流程图。
图5图示了根据本公开的方面的从自动探头定位引导方法捕获的超声图像。
图6是根据本公开的方面的自动探头定位引导方法的流程图。
图7是图示根据本公开的方面的训练数据采集方案的示意图。
图8是图示根据本公开的方面的利用增强现实(AR)标记和相机跟踪实现基于成像的运动预测的混合自动探头定位引导方案的示意图。
图9图示了根据本公开的方面的用于混合探头定位引导的用例情形。
图10图示了根据本公开的方面的提供自动探头定位引导的超声系统中的显示视图。
图11A图示了根据本公开的方面的提供自动探头定位引导的成像系统中的显示视图。
图11B图示了根据本公开的方面的提供自动探头定位引导的成像系统中的显示视图。
图11C图示了根据本公开的方面的提供自动探头定位引导的成像系统中的显示视图。
图11D图示了根据本公开的方面的提供自动探头定位引导的成像系统中的显示视图。
图11E图示了根据本公开的方面的提供自动探头定位引导的成像系统中的显示视图。
图12是根据本公开的方面的混合自动探头定位引导方法的流程图。
具体实施方式
为了促进对本公开原理的理解的目的，现在将参考附图中图示的实施例，并且将使用特定语言来描述其。然而应理解，不旨在限制本公开的范围。如本公开涉及领域的技术人员通常会想到的，对所描述的设备、系统和方法的任何改变和进一步的修改以及对本公开的原理的任何进一步应用被充分地预期并包括在本公开内。特别地，完全预期，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。然而，为了简洁起见，将不单独描述这些组合的许多迭代。
图1是根据本公开的方面的超声成像系统100的示意图。系统100用于扫描患者身体的区或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110包括换能器112、波束形成器114、处理部件116和通信接口118。主机130包括用户接口(UI)/显示器132、处理部件134和通信接口136。
探头110可以采取任何合适的形式以用于在被定位于患者身体内部或外部时对患者的各个身体部分成像。在实施例中，探头110是包括被配置用于由用户手持操作的壳体的外部超声成像设备。换能器112可以被配置成在用户抓握探头110的壳体时获得超声数据，使得换能器112被定位成邻近患者的皮肤和/或与患者的皮肤接触。探头110被配置为在探头110被定位于患者身体外部时获得患者身体内的解剖结构的超声数据。在一些其他实施例中，探头110可以采取导管、血管内超声(IVUS)导管、心内超声心动图(ICE)导管、经食道超声心动图(TEE)探头、经胸超声心动图(TTE)探头、腔内探头、手持式超声扫描器或基于片块的超声设备的形式。
换能器112朝向解剖物体105发射超声信号并且接收从物体105反射回换能器112的回波信号。超声换能器112可以包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些实例中，换能器112包括单个声学元件。在一些实例中，换能器112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列。例如，换能器112可以包括在1个声学元件和1000个声学元件之间，包括诸如2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件的值和/或更大和更小两者的其他值。在一些实例中，换能器112可以包括具有任何适当配置中的任何数量的声学元件的声学元件的阵列，诸如线性阵列、平面阵列、弯曲阵列、曲线阵列、圆周阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.x维阵列(例如1.5D阵列)或二维(2D)阵列。可以一致或独立地控制和激活的声学元件的阵列(例如，一个或多个行、一个或多个列和/或一个或多个取向)。换能器112可以被配置为获得患者解剖结构的一维图像、二维图像和/或三维图像。在一些实施例中，换能器112可以包括压电微机械超声换能器(PMUT)、电容性微机械超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型和/或其组合。
波束形成器114耦合到换能器112。例如，波束形成器114控制换能器112以用于超声信号的发送和超声回波信号的接收。波束形成器114基于响应或接收到的超声回波信号将图像信号提供给处理部件116。波束形成器114可以包括波束形成的多个阶段。波束形成可以减少用于耦合到处理部件116的信号线的数量。在一些实施例中，与波束形成器114结合的换能器112可以被称为超声成像部件。
在一些实施例中，物体105可以包括患者心脏的至少部分，以用于心脏性能评估。在其他实施例中，物体105可以包括适于超声成像检查的患者的任何解剖结构(例如，肺、血管、心脏、肾脏和/或肝脏)。
处理部件116耦合到波束形成器114。处理部件116可以包括中央处理单元(CPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一个硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件116被配置为处理波束形成信号。例如，处理部件116可以执行滤波和/或正交解调以调节图像信号。处理部件116和/或134可以被配置为控制换能器112以获得与物体105相关联的超声数据。
通信接口118耦合到处理部件116。通信接口118可以包括一个或多个发射器、一个或多个接收器、一个或多个收发机和/或用于发送和/或接收通信信号的电路。通信接口118可以包括硬件部件和/或软件部件，其实施适于通过通信链路120将信号传输到主机130的特定通信协议。通信接口118可以被称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，诸如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，诸如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型计算机、平板电脑、移动电话、手持式个人计算机、移动设备和/或超声控制台。
处理部件134耦合到通信接口136。处理部件134可以被实施为软件部件和硬件部件的组合。处理部件134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备或被配置为执行本文所描述的操作的其任何组合。处理部件134还可以被实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP核结合的一个或多个微处理器、或任何其他此类配置。处理部件134可以被配置为根据从探头110接收的图像信号生成图像数据。处理部件134可以将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理部件134可以根据图像数据形成三维(3D)体积图像。在一些实施例中，处理部件134可以对图像数据执行实时处理以提供物体105的超声图像的流视频。
在一些实施例中，处理部件134可以在将探头110定位到用于捕获物体105的最佳视图的位置中提供自动引导。处理部件134可以应用基于深度学习的技术(例如，预测网络)以确定运动控制配置或移动向量(例如，旋转和/或平移)，以基于当前位置处的当前成像视图和包括用于检查的某种临床性质的目标成像视图来将探头110从当前位置操纵到最佳位置，如本文更详细地描述的。
在一些实施例中，系统100包括耦合到主机130或集成在主机130内的相机150。在超声检查期间，相机150可以被配置为在超声检查下捕获探头110和患者的图像。处理部件134可以被配置为跟踪探头110相对于患者的位置(例如，在检查下的患者的特定身体部分或解剖结构)。处理部件134可以使用预测网络来生成用于操纵探头110的运动控制配置，跟踪根据由相机150捕获的图像生成的信息，并基于运动控制配置和相机跟踪信息生成指令以引导临床医师将探头110移动到用于超声检查的最佳视图，如本文更详细地描述的。
UI/显示器132耦合到处理部件134。显示器132可以是监测器或任何合适的显示器。UI/显示器132被配置为显示超声图像、相机捕获的图像和/或用于定位探头110以实时获得最佳成像视图的指令，如本文中更详细描述的。
在实施例中，系统100是POC系统。主机130可以是平板电脑、智能电话和/或其他合适的移动设备，包括内置数字相机150和集成的UI/显示器132。例如，POC可以在ICU中，在ER中，在紧急情况下位于医院/诊所外部。在其他实施例中，系统100是被配置用于除POC之外的医院房间或诊所中使用的成像系统。在实施例中，系统100是POC超声心动图系统。POC超声心动图是指由处置医师在患者床旁执行以回答特定的临床问题的、聚焦的、针对目标的经胸超声心动图。POC超声(POCUS)可以提供若干益处。例如，POCUS给予急诊医生(EP)对实时临床信息的访问权，其可以帮助减少诊断时间。时间始终是急诊室(ED)的宝贵资源。快速和准确的床旁超声检查可以帮助避免严重的并发症，并让即时护理医师将患者转移到专门部门进行进一步评价。
在实施例中，系统100可以在服务器-客户端环境中操作，其中，主机130可以是位于与患者的位置不同的远程位置并且采集患者的图像的服务器。服务器可以接收采集的图像并通过应用深度学习网络来确定探头引导指令。UI/显示器132可以是与主机130分离的设备。例如，UI/显示器132可以是平板电脑。UI/显示器132可以位于患者的位置。UI/显示器132可以执行与服务器通信的web客户端应用程序。web客户端应用程序可以从服务器接收探头引导指令，并提供显示探头引导指令的图形接口。在患者位置处执行检查的临床医师可以从UI/显示器132读取探头引导指令，并相应地操纵探头110。
系统100可以被配置用于在超声成像的各个阶段中使用。在实施例中，系统100可以用于收集超声图像并跟踪探头110的移动以形成用于深度学习网络训练的训练数据集。例如，主机130可以包括存储器138，其可以是任何合适的存储设备，诸如高速缓冲存储器(例如，处理部件134的高速缓冲存储器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存、固态存储器器件、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器或不同类型的存储器的组合。存储器138可以被配置为存储训练数据集140以用于基于深度学习的训练。
在一些实施例中，系统100可以用于训练深度学习网络以进行探头定位。例如，可以通过将探头位置与对应的图像视图和目标图像视图相关联来训练深度学习网络。可以训练深度学习网络以预测最佳移动(例如，旋转和/或平移)以将探头(例如，探头110)移向目标图像视图。经训练的深度学习网络可以存储在存储器138中以供后续使用。
在一些实施例中，系统100可以在用于实况超声检查的临床环境中使用，其中，可以将经训练的深度学习网络应用于提供自动探头定位引导，并且相机150可以用于捕获探头110的图像以用于基于图像的跟踪。基于深度学习的预测的移动以及基于图像的跟踪信息可以用于引导临床医师来确定用于超声检查的最佳视图。本文更详细地描述了用于收集训练数据，训练深度学习网络以及将深度学习技术和基于图像的跟踪技术应用于自动探头定位引导的机制。
尽管系统100被图示为具有分别由波束形成器114和处理部件116在探头110处执行的波束形成和信号处理功能，但是在一些实施例中，可以在主机130上执行至少一些波束形成和/或信号处理功能。在一些其他实施例中，探头110可以例如利用一些增益控制和/或滤波将超声回波信号转移到主机130以进行处理。此外，探头110处的通信接口118可以是工业标准物理连接器和/或专有的物理连接器，并且通信链路120可以包括任何工业标准线缆、同轴线缆和/或专有的线缆。通常，系统100可以表示任何类型的超声成像系统，其中，超声成像功能可以以任何合适的方式跨探头(例如，包括换能器112)、主机和/或在探头与主机之间的任何中间处理子系统划分。此外，尽管系统100被图示为具有用于跟踪探头相对于患者的移动的相机150，但是在一些实施例中，系统100可以包括在患者上，在探头110上或定位在正在执行检查的任何适当位置处的任何适当的跟踪设备。
通常，系统100和探头110和/或本文所述的其他设备可以用于检查患者身体的任何合适的解剖结构和/或管腔。在一些实例中，探头110可以定位在患者身体的解剖结构和/或管腔内。在其他实例中，探头110可以定位在体外，以检查体内的解剖结构和/或管腔。对于解剖结构和/或管腔，可以表示自然的和人造两者的流体填充或被包围的结构。例如，本公开的探头可以定位在患者的食道内和/或用于检查患者的食道。在一些实施例中，本公开的探头可以用于检查任何数量的解剖位置和组织类型，包括但不限于：器官，包括肝脏、心脏、肾脏、胆囊、胰腺、肺；管道；肠；神经系统结构，包括大脑、硬脑膜囊、脊髓和周围神经；尿路；以及血液、心脏的腔室或其他部位和/或身体的其他系统内的瓣膜。身体内部的解剖结构和/或管腔可以是血管，作为患者血管系统的动脉或静脉，包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脉管系统和/或身体内部的任何其他合适的管腔。除了自然结构之外，本公开的探头可以用于检查人造结构，例如但不限于心脏瓣膜、支架、分流器、过滤器和其他设备。
图2是示出根据本公开的方面的基于深度学习的自动探头定位引导方案200的示意图。该方案可以由系统100实现。方案200包括深度学习网络204。深度学习网络204可以包括一个或多个卷积神经网络(CNN)210。可以训练CNN 210以提供一组移动，用于将超声成像探头(例如，探头110)移动到用于基于当前成像视图来捕获患者的解剖结构(例如，患者的心脏)的特定视图的最佳成像位置或成像平面。
作为示例，临床医师可以选择目标图像视图，并且可以将探头相对于患者的心脏定位在第一位置处。探头可以在第一位置捕获患者心脏的图像202(例如，当前图像视图)。方案200可以将经训练的CNN 210应用于图像202。CNN 210可以基于在第一位置捕获的当前图像202来输出运动控制配置206。运动控制配置206可以包括刚体运动的任何向量参数化和/或非向量参数化。参数化可以采取欧拉角、四元数、矩阵、指数图和/或表示将探头移向目标图像视图的旋转和/或平移(例如，包括平移的方向和幅度)的角度轴的形式。
CNN 210可以包括一组N个卷积层220，然后是一组K个全连接层240，其中，N和K可以是任何正整数。每个全连接层240可以包括M个神经元，其中，M可以是任何正整数。值N、K和M可以根据实施例而变化。在一些实例中，N可以是大约8，K可以是大约2，并且M可以是大约1000。每个卷积层220实施非线性变换，其可以是操作的复合函数，例如批量归一化、整流线性单位(ReLU)、池化、丢失或卷积。每个卷积层可以包括一组滤波器222，其被配置为从图像202提取特征。此外，每个卷积层220可以包括非线性函数(例如，包括整流非线性(ReLU)操作)，该非线性函数被配置为提取经整流的特征图。全连接层240可以是非线性的，并且可以逐渐缩小最后一个卷积层220(N)的高维输出以产生一组候选运动控制配置252(例如，每个包括旋转和/或平移)，用于将探头移向目标图像视图。CNN 210可以输出运动控制配置206的向量或非向量参数表示，其描述了探头朝向目标图像视图的运动。
可以使用训练数据集来训练CNN 210，该训练数据集包括从模拟数据生成的图像，在控制设置中从体模采集的图像、在临床环境期间采集的实况图像或其组合。训练数据集还包括图像与对应的探头移动之间的关联。CNN 210的训练通过调节滤波器222和232的系数从图像和相关联的探头移动中提取和学习特征(例如，临床特性)，如本文中更详细地描述的。
图3图示了用于基于深度学习的自动探头定位引导方案200的用例情形300。在情形300中，当将探头(例如，探头110)放置在相对于患者的第一位置处时，捕获患者心脏的当前图像视图310。当前图像视图310可以对应于方案200中的图像202。CNN 210被应用于当前图像视图310。CNN 210产生运动控制配置320(例如，运动控制配置206)。运动控制配置320可以表达为如下所示：
T∈SE(3)， (1)
其中，T表示用于移动探头的刚体(例如，候选运动控制配置252)的输出最优运动控制配置320(例如，旋转和/或平移)，而SE(3)表示特殊的欧几里得组。
在获得运动控制配置320之后，临床医师可以根据运动控制配置320将探头重新定位到下一位置。在将探头重新定位到下一位置(例如，对应于最佳成像位置)之后，可以捕获患者心脏的目标图像视图330。如可以看出的，目标图像视图330提供了心脏腔室的清晰视图。
尽管情形300图示了运动控制配置320将探头引导到最佳成像位置以在CNN 210的单次尝试或单次应用中捕获目标成像视图，但是在一些实施例中，可以将CNN 210重新应用于下一捕获的图像视图。换句话说，基于CNN 210的多次应用，可能需要临床医师多次重新定位探头，以达到最佳成像位置。
利用深度学习的基于成像的运动预测可以提供若干优点。例如，由于在CNN 210的端到端学习或训练期间提取的丰富特征，运动预测性能独立于解剖学差异(例如，患者的大小和/或心脏位置)。然而，运动预测性能例如，由于不良的声学耦合、不良的声学窗口定位(例如，心脏检查中的肋骨阴影效应)和/或次佳的呼吸状态，而可能会受到具有不良质量的输入图像的影响。因此，本公开提供了在将深度学习网络用于运动预测之前过滤出与特定检查无关的图像数据或质量较差的图像数据的技术。
图4是根据本公开的方面的自动探头定位引导方法400的流程图。可以使用例如由处理部件134执行的系统100来执行方法400的步骤。如图所示，方法400包括多个列举步骤，但是方法400的实施例可以在列举步骤之前、之后以及之间包括额外步骤。在一些实施例中，所列举的步骤中一个或多个可以被省略或以不同的顺序执行。方法400可以采用与关于图2描述的方案200中类似的机制。方法400额外地从输入图像检测感兴趣区域(ROI)(例如，临床相关特征)，并将深度学习网络应用于ROI以进行运动预测。图5图示了根据本公开的方面的从自动探头定位引导方法400采集的超声图像510、520和530。下面参考图5描述方法400。
在步骤410，方法400包括采集患者解剖结构的图像(例如，图像202和当前图像视图310)。例如，临床医师可以将探头(例如，探头110)放置在靠近正在检查的患者解剖结构的第一位置。作为范例，临床医师可以对患者执行心脏检查，并采集患者心脏的图像510。
在步骤420，方法400包括从图像510检测ROI 512。ROI 512包括图像510对应于患者心脏的区域。
在步骤430，方法400包括将深度学习网络(例如，深度学习网络204)应用于图像510的ROI 512。深度学习网络产生运动控制配置(例如，运动控制配置206和320)，用于基于图像510中的ROI 512定位探头。
在步骤440，方法400包括例如以指示探头的旋转和/或平移的图形接口的形式将运动控制配置输出到显示器(例如，UI/显示器132)。因此，临床医师可以按照显示的指令重新放置探头。
方法400可以重复步骤410-440，直到捕获到最佳成像视图。例如，在方法400的第一迭代之后，捕获图像520。可以重复方法400以从图像520检测ROI 522，并将深度学习网络应用于ROI522。在第二迭代之后，捕获图像530。再次，方法400可以被重复以从图像530检测ROI 532，并且将深度学习网络应用于ROI 532。如可以观察到的，在每次迭代之后，捕获了心脏腔室的更佳成像视图。
将深度学习网络限制为在ROI 512、522和532上操作以进行运动预测可以提供若干优点。例如，可以减少计算负荷，可以减少深度学习网络的大小，和/或可以增加帧速率。降低的复杂度可以使得能够在成本更低，性能更低和/或更小尺寸的处理部件上实施基于深度学习的运动预测。
在实施例中，可以经由类似于深度学习网络204的预测网络来实现步骤420中的ROI检测。在另一个实施例中，可以训练单个深度学习网络以提供RIO检测和运动预测。
图6是根据本公开的方面的自动探头定位引导方法600的流程图。可以使用例如由处理部件134执行的系统100来执行方法600的步骤。如图所示，方法600包括多个列举步骤，但是方法600的实施例可以在列举步骤之前，之后以及之间包括额外步骤。在一些实施例中，所列举的步骤中一个或多个可以被省略或以不同的顺序执行。方法600可以采用与关于图2描述的方案200中类似的机制。在将深度学习网络用于运动预测之前，方法600还滤除质量较差的输入图像。
在步骤610，方法600包括采集患者解剖结构的图像(例如，图像202、510、520和530以及当前图像视图310)。例如，临床医师可以将探头(例如，探头110)放置在靠近正在检查的患者解剖结构的第一位置。
在步骤620，方法600包括例如基于图像质量量度对图像进行分类。在一些实例中，softmax函数可以被应用于分类。
在步骤630，方法600确定图像是否具有良好的质量。
当图像具有良好的质量时，方法600进行到步骤640。在步骤640，600包括将深度学习网络(例如，深度学习网络204)应用于图像。深度学习网络产生运动控制配置(例如，运动控制配置206和320)，用于将探头朝向最佳成像视图定位。
在步骤650，方法600包括例如以指示探头的旋转和/或平移的图形接口的形式将运动控制配置输出到显示器(例如，UI/显示器132)。因此，临床医师可以按照显示的指示重新放置探头。
返回步骤620，当图像具有差质量时，方法600丢弃该图像，并返回步骤610，以采集下一图像。
在实施例中，可以经由类似于深度学习网络204的预测网络来实现步骤620中的分类。在另一个实施例中，可以训练单个深度学习网络以提供图像分类和运动预测。
在一些实施例中，方法600可以与方法400结合使用。在一个示例中，可以经由一个或多个预测网络以任何合适的组合来实现ROI检测、图像分类和运动预测。在另一示例中，ROI检测和/或图像分类可以由临床医师在应用深度学习网络之前执行。
基于成像的运动预测的准确性能够容易受到图像质量的影响。例如，对于某些成像位置对于难以适用(例如，由于肥胖和/或小的肋间隙)的某些患者，可能难以获得高质量图像。因此，本公开提供了通过将AR标记与基于成像的运动预测相结合来向基于成像的运动预测提供辅助的技术。
图7是图示根据本公开的方面的训练数据获取方案700的示意图。可以离线实施方案700以收集用于训练深度学习网络(例如，深度学习网络204)以提供自动探头引导中的运动预测的训练数据(例如，训练数据集140)。方案700使用体模702收集训练数据。方案700可以备选地被配置为从临床超声图检查收集训练数据。
作为示例，方案700收集用于心脏检查的训练数据。患者跟踪器740位于体模702上，标记体模702的心脏的位置。患者跟踪器740通过带条730被绑在体模702上。方案700使用探头750采集体模702的心脏的图像。探头750可以类似于探头110。探头750耦合到移动设备720(例如，平板电脑或智能电话)，其中，所采集的图像可以被转移到移动设备720以创建训练数据集。移动设备720可以类似于主机130。探头跟踪器760附接到探头750。方案700还利用光学捕获设备710或相机(例如，相机150)来分别经由探头跟踪器760和患者跟踪器740参考体模702的心脏跟踪探头750的移动。光学捕获设备710可以通信地耦合到跟踪系统770。方案700可以备选地或额外地采用位置测量系统，例如电磁跟踪系统，以跟踪探头750的移动。
移动设备720可以利用位于各种成像位置的探头750收集体模702的心脏的图像。跟踪系统770可以包括计算和处理部件(例如，主机130)，该计算和处理部件被配置为记录探头跟踪器760相对于患者跟踪器740的移动(例如，旋转和/或平移)。移动设备720可以对收集的图像进行时间戳记。类似地，跟踪系统770可以对重新编码的运动进行时间戳记。方案700可以基于图像的时间戳记和移动的时间戳记来将收集的图像与探头的对应移动进行同步和关联。在同步之后，方案700可以通过将图像与对应移动相关联来创建训练数据集。
尽管方案700使用患者跟踪器740和探头跟踪器760来辅助跟踪探头750相对于体模702的心脏的移动，但是患者跟踪器740和/或探头跟踪器760的使用可以是任选的。此外，方案700可以应用于收集任何合适的解剖结构(例如，肺、肾、肝和/或任何器官、组织、血管)的图像，并跟踪探头的移动以生成训练数据集。
在收集训练数据集之后，可以例如使用前向传播将训练数据集馈入深度学习网络204。深度学习网络204的训练的输入是2元组(例如，包括图像和姿势或运动控制配置)。可以例如通过使用向后传播或反向传播来调节滤波器222和232的系数，以最小化网络204的输出误差。
图8是图示了根据本公开的方面的利用AR标记和相机跟踪实现基于成像的运动预测的混合自动探头定位引导方案800的示意图。方案800可以由系统100实现。方案800采用类似于探头110和750的探头802来采集患者的解剖结构(例如心脏、肺、肝、肾和/或任何器官、血管、组织或结构)的图像(例如图像202、510、520和530)。AR标记804耦合到探头802。方案800采用类似于光学捕获设备710和相机150的相机801，以同时实时地捕获探头802和探头标记器804的位置和移动的相机图像。
在方案800中，临床医师可以将探头802放置在第一位置以捕获正在检查的患者解剖结构的图像806。同时，相机801实时地捕获探头802的相机图像808(例如，位置和/或移动)。
图像806被输入到类似于深度学习网络204的深度学习网络810。深度学习网络810产生第一运动控制配置812，用于将探头802朝向期望或目标成像位置重新定位。运动控制配置812可以包括相对于第一坐标系(例如，深度学习网络810的输出的坐标系)的旋转和/或平移。可以在深度学习网络810的训练期间定义第一坐标系。第一坐标系可以是由在训练期间采集的图像(例如，包括心尖四腔视图)上识别的特征所定义的心脏的局部坐标系。
跟踪算法820基于实况相机图像808确定AR标记804的坐标系与相机801(例如，光学跟踪)的坐标系之间的坐标系变换822。相机801的坐标系被称为第二坐标系。例如，跟踪算法820可以应用图像处理技术来识别AR标记804并跟踪与探头802的移动相对应的AR标记804的移动。AR标记804可以被印有可以易于通过图像处理算法识别或标识的某些视觉图案。
在实施例中，可以对着超声探头802校准AR标记804以获得探头802和AR标记坐标系之间的变换。跟踪算法820在第二坐标系中相对于患者的解剖结构跟踪与探头802相关联的位置信息。坐标系变换822可以包括相对于第二坐标系的旋转和/或平移。
第一坐标系和第二坐标系可以不同。第一运动控制配置812和坐标系变换822被输入到坐标系变换部件830。坐标系变换部件830将坐标系变换822应用于第一运动控制配置812以产生相对于第一坐标系的经变换的运动控制配置，其被称为第二运动控制配置832。坐标系变换可以包括坐标系的旋转和/或平移，使得坐标系与参考坐标系对准。
在实施例中，坐标系变换部件830可以应用如下所示的变换：
相机TDL＝相机T标记×标记T探头×探头TDL， (2)
其中，探头TDL表示从局部解剖学定义的坐标系(例如，深度学习网络810的第一坐标系)到探头802的坐标系变换。可以在训练过程中任意选择基于局部解剖结构的坐标系。标记T探头表示从探头802到AR标记804的坐标系变换。相机T标记表示从AR标记804到相机801的坐标系变换(例如，坐标系变换822)。相机TDL表示由坐标系统变换部件830执行的坐标系变换，即深度学习网络810输出的第一运动控制配置812(例如，相对于感兴趣的解剖结构(例如患者的心脏)的局部坐标)与基于相机的跟踪算法820之间的变换。因此，变换相机TDL表示深度学习网络810与相机801之间的坐标系配准。
在实施例中，变换标记T探头可以是固定的，并且可以在探头802的生产期间利用耦合的AR标记804进行校准。在另一实施例中，AR标记804可以经由可以提供可重复定位的安装机构在系统的操作期间附接到探头801(例如，当实现方案800时)。在一些其他实施例中，可以使用具有已知雕刻的内部界标的外部超声体模将AR标记804校准到超声探头802和图像(例如，相机图像)。
在实施例中，可以在检查开始时确定变换相机TDL，并在检查期间对其进行更新。应当注意，等式(2)假设在超声图检查期间相机801相对于患者位于固定位置。
在实施例中，相机801可以在检查期间移动。因此，需要坐标系变换822来考虑相机801在不同位置的移动。在这样的实施例中，坐标系变换部件830可以应用如下所示的变换：
患者TDL＝患者T相机×相机T标记×标记T探头×探头TDL， (3)
其中，患者T相机表示从相机801到在检查下的患者的坐标变换。可以由类似于患者标记760的患者标记定义患者坐标系。
通常，坐标系变换部件830应用变换以将第一坐标系(例如，用于表示第一运动控制配置812)和第二坐标系(例如，相机801的坐标系)对准到公共参考坐标系。
在应用了变换之后，可以应用组合功能840以将第一运动控制配置812与第二运动控制配置832组合以产生第三运动控制配置842。在实施例中，组合功能840对第一运动控制配置812与第二运动控制配置832进行平均。在实施例中，组合功能840将第一运动控制配置812和第二运动控制配置832以一定的权重进行组合。在示例中，可以将第一运动控制配置812与第二运动控制配置832进行比较，以验证由深度学习网络810预测的第一运动控制配置812的准确性，其中，组合功能840可以取决于该比较。例如，如果比较满足某个阈值，则第一运动控制配置812可以与第二运动控制配置832取平均或替换为第二运动控制配置832。可以将第三运动控制配置842输出到图形接口(例如，UI/显示器132)，以向临床医师提供探头定位引导，如下文更详细地描述的。
临床医师可以根据探头定位引导指令来重新放置探头802。临床医师可以重复方案800以重新定位探头802，直到到达用于检查的最佳成像位置。
在一些实施例中，在临床医师想要召回用于检查的探头重新定位序列的情况下，方案800可以基于跟踪坐标系(例如，第二坐标系)来存储用于检查的探头重新定位序列。
在一些实施例中，方案800可以与方法400和/或600结合使用。例如，除了探头运动预测之外，深度学习网络810还可以包括方法400中所示的ROI检测和/或如方法600中所示的图像分类。
在实施例中，超声医师可以使用基于成像的引导(例如，基于深度学习的运动预测)找到四尖瓣腔的视图。在找到四尖瓣腔的视图之后，例如，如等式(2)或等式(3)所示，执行深度学习网络810与相机之间的配准。配准后，可以将相机保持在相同位置(例如固定位置)。否则，可以重复配准。由深度学习网络810预测的运动可以与从相机801获得的跟踪信息进行组合。该组合可以包括将平均函数应用于预测的运动和跟踪信息。备选地，组合可以使用跟踪作为对预测运动的确认(例如，健全性检查)。在一些实例中，在用户想召回探头802的位置的情况下，参考位置可以保持在跟踪器坐标系(例如，第二坐标系)中。
图9图示了根据本公开的方面的用于混合探头定位引导的用例情形900。情形900可以对应于使用方案800的超声检查中的场景。在情形900中，临床医师使用探头910(例如，探头802)对患者902执行超声检查。临床医师可以使用配备有背面相机(例如，相机150和801以及光学捕获设备710)的移动设备920来捕获探头910和在检查下的患者902的解剖结构的相机图像，如移动设备920的显示器上所示。作为示例，探头910被放置在患者902的心脏的位置904附近，以进行心脏超声检查。移动设备920可以实现以上关于图8描述的方案800。例如，移动设备920可以接收由探头910采集的图像并且应用深度学习网络(例如，深度学习网络204和810)以预测第一运动控制配置(例如，第一运动控制配置812)以将探头910操纵到最佳成像位置。移动设备920可以实施跟踪算法820以确定坐标系变换(例如，坐标系变换822)，并将坐标系变换应用于深度学习预测运动控制配置。移动设备920可以使用图形表示来显示探头引导指令，如下面更详细地描述的。
图10图示了根据本公开的方面的成像系统中的显示视图1000，其提供自动探头定位引导。显示视图1000可以对应于实现方案800的移动设备920上的显示视图。显示视图1000包括探头910的相机图像1010(例如，相机图像808)以及叠加在探头910的图像之上的探头引导指令(例如，旋转1012)。旋转1012可以对应于第三运动控制配置842。显示视图1000还包括例如在第一成像位置以及随后的成像位置处由探头910采集的超声图像1020。因此，临床医师可以基于显示视图1000上的指令(例如，旋转1012)来操纵探头910，并且当探头910从一个位置改变到另一位置时，同时观察超声图像1020。尽管使用移动设备920图示了显示视图1000，但是可以在系统100中的UI/显示器132上或者在超声成像系统中的任何显示器上提供类似的显示视图。
图11A-11E图示了由方案800提供的探头定位引导方案的若干示例。图11A图示了根据本公开的方面的成像系统(例如，系统100)中的显示视图1110，显示视图1110提供了自动探头定位引导。显示视图1110可以对应于移动设备920的屏幕上的显示视图。显示视图1110类似于显示视图1000，但是图示了不正确的探头位置的指示，如由交叉1112所示的。交叉1112用作图像质量可能不足以提供基于图像的引导的警告。图像质量差能够归因于不适当的声学窗口、差的声学耦合以及相关的解剖结构(小的肋间隙或特定解剖异常)。
图11B图示了根据本公开的方面的成像系统(例如，系统100)中的显示视图1120，显示视图1120提供自动探头定位引导。显示视图1120可以对应于移动设备920的屏幕上的显示视图。显示视图1120类似于显示视图1000，但是图示了平移指令，以如由箭头1122所示向左向侧面地移动探头910。
图11C图示了根据本公开的方面的成像系统(例如，系统100)中的显示视图1130，显示视图1130提供自动探头定位引导。显示视图1130可以对应于移动设备920的屏幕上的显示视图。显示视图1130类似于显示视图1000，但是图示了旋转指令，以沿逆时针方向旋转探头910，如由旋转符号1132所示。
图11D图示了根据本公开的方面的成像系统(例如，系统100)中的显示视图1140，显示视图1140提供自动探头定位引导。显示视图1140可以对应于移动设备920的屏幕上的显示视图。显示视图1140类似于显示视图1000，但是提供了不同的GUI视图。显示视图1140图示了在逆时针方向上旋转探头910的旋转指令，如由旋转符号1142所示的。显示视图1140包括由探头910捕获的超声图像1144。
图11E图示了根据本公开的方面的成像系统(例如，系统100)中的显示视图1150，显示视图1150提供自动探头定位引导。显示视图1150可以对应于移动设备920的屏幕上的显示视图。显示视图1150类似于显示视图1140。例如，显示视图1150图示了如旋转符号1152所示以逆时针方向旋转探头910的旋转指令以及由探头910捕获的超声图像1154。然而，通过将探头910叠加在表示在检查下的解剖结构的体模图像1156的顶部上，显示视图1150额外地包括探头910相对于解剖结构(例如患者的心脏)的位置的图示。当如显示视图1140和1150中所示利用GUI时，可能不需要AR标记(例如，标记804)的使用，因为引导信息直接显示在移动设备920的屏幕上。
图12是根据本公开的方面的混合自动探头定位引导方法的流程图。方法1200的步骤可以由诸如探头110、750、802和910的超声成像探头或主机(例如主机130和移动设备920)的计算设备(例如，处理器、处理电路和/或其他合适的部件)执行。方法1200可以采用与方法400和600、方案800、情形900和分别关于图4、图6、图8、图9、图10、图11A、图11B和图11C所描述的显示视图1000、1110、1120和1130类似的机制。如图所示，方法1200包括多个列举的步骤，但是方法1200的实施例可以在列举的步骤之前、之后以及之间包括额外步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略或以不同的顺序执行。
在步骤1210，方法1200包括获得第一运动控制配置(例如，第一运动控制配置812)，以重新定位从第一位置朝向对象的解剖结构(例如，物体105或患者的心脏位置904)的目标图像视图定位的超声成像设备(例如，探头110、750、802和910)。基于第一预测网络(例如，深度学习网络204和810)来确定第一运动控制配置。
在步骤1220，方法1200包括基于由相机(例如相机150和801)和光学捕获设备710捕获的图像(例如相机图像808和1010)来确定与超声成像设备关联的位置信息。该图像包括对象的解剖结构和位于第一位置的超声成像设备。
在步骤1230，方法1200包括在显示器(例如，UI/显示器132或移动设备920)上显示基于第一运动控制配置和位置信息将超声成像设备从第一位置重新定位到第二位置的指令。可以如显示视图1000、1110、1120和1130中所示显示指令。
在实施例中，第一预测网络基于第一坐标系表示第一位置，并且由相机捕获的图像基于第二坐标系表示第一位置。方法1200还包括基于位置信息确定在第一坐标系与第二坐标系之间的坐标系变换(例如，变换822)。坐标系变换可以类似于上述等式(2)和(3)。方法1200还包括至少基于第一运动控制配置和坐标系变换来确定指令。
在实施例中，方法1200还包括基于第一运动控制配置和坐标系变换来确定第二运动控制配置(例如，经变换的或第二运动控制配置832)。方法1200还包括通过将组合功能(例如，组合功能840)应用于第一运动控制配置和第二运动控制配置或者将比较功能应用于第一运动控制配置和第二运动控制配置中的至少一项来确定指令。
在实施例中，超声成像设备耦合到标记(例如，AR标记804)，其中，图像包括标记。方法1200还包括基于超声成像设备与标记(例如，标记T探头)之间的相对位置来确定坐标系变换。
在实施例中，方法1200还包括例如当相机相对于对象的解剖结构移动时，基于相机和对象的解剖结构(例如，患者T相机)之间的相对位置来确定坐标系变换。
尽管本公开描述了使用相机(例如，相机150和801)或光学捕获设备(例如，光学捕获设备710)来跟踪相对于在检查下的对象的探头移动，但是可以通过使用利用任何合适的介质(例如合适的电磁辐射(例如，红外线、无线电等))的任何合适的跟踪设备来实现跟踪。
本公开的各方面可以提供若干益处。例如，使用深度学习网络来自动化探头定位引导可以帮助临床医师为超声检查定位最佳成像视图。由深度学习网络学习到的丰富特征可以提供与患者体型和/或解剖结构无关的探头位置引导。包括ROI检测和/或图像分类可以将深度学习网络的操作限制为临床相关数据和高质量输入图像，因此可以减小深度学习网络的大小和/或复杂性和/或提高运动预测性能。除了基于深度学习的运动预测之外包括相机跟踪可以提高自动探头引导的准确性，并为临床医师提供视觉反馈。同时实时显示包括探头、患者和探头引导指令的相机视图以及包括一系列超声图像的超声视图(例如，如显示视图1000、1110、1120、1130、1140以及1150所示)可以简化超声检查的工作流程，并且向临床医师提供清晰易用的指令。本公开适用于经胸超声心动图(TTE)中，以例如帮助用户准确地放置超声换能器(例如，相对于患者的心脏解剖结构处于正确的位置和取向)。本公开提供了基于图像的引导，而不依赖于任何外部跟踪设备，例如光学或电磁跟踪。因此，基于成像的引导适用于低成本便携式设备中的实现。
本领域技术人员将认识到，可以以各种方式修改上述装置、系统和方法。因此，本领域普通技术人员将意识到，由本公开涵盖的实施例不限于上述特定示例性实施例。就这一点而言，尽管已经示出和描述了说明性实施例，但是在前述公开中预期各种各样的修改、改变和替换。应该理解，在不脱离本公开的范围的情况下，可以对前述内容做出这样的变化。因此，适当的是，以与本公开一致的方式广义地解释所附权利要求。

Claims (20)

1.一种用于获得超声图像的引导系统，包括：
处理器，其与相机和显示器通信，所述处理器被配置为：
获得第一运动控制配置，以将超声成像设备从第一位置朝向对象的解剖结构的目标图像视图重新定位，所述第一运动控制配置是基于第一预测网络来确定的；
基于由所述相机捕获的图像来确定与所述超声成像设备相关联的位置信息，所述图像包括所述对象的解剖结构和被定位于所述第一位置处的所述超声成像设备；并且
向所述显示器输出指令以基于所述第一运动控制配置和与所述超声成像设备相关联的所述位置信息将所述超声成像设备从所述第一位置重新定位到第二位置。
2.根据权利要求1所述的系统，其中，所述第一预测网络基于第一坐标系来表示所述第一位置，其中，由所述相机捕获的所述图像基于第二坐标系来表示所述第一位置，其中，所述处理器被配置为：
基于所述位置信息来确定所述第一坐标系与所述第二坐标系之间的坐标系变换；
基于所述第一运动控制配置和所述坐标系变换来确定第二运动控制配置；并且
基于所述第一运动控制配置和所述第二运动控制配置来确定所述指令。
3.根据权利要求2所述的系统，其中，所述处理器被配置为：
通过将所述第一运动控制配置与所述第二运动控制配置进行组合来确定所述指令。
4.根据权利要求2所述的系统，其中，所述处理器被配置为：
基于所述第一运动控制配置和所述第二运动控制配置之间的比较来确定所述指令。
5.根据权利要求2所述的系统，其中，所述超声成像设备被耦合到标记，其中，所述图像包括所述标记，并且其中，所述处理器被配置为：
基于所述超声成像设备与所述标记之间的相对位置来确定所述坐标系变换。
6.根据权利要求2所述的系统，其中，所述处理器被配置为：
基于所述相机与所述对象的解剖结构之间的相对位置来确定所述坐标系变换。
7.根据权利要求2所述的系统，其中，所述处理器被配置为：
基于所述相机与被定位于所述对象上的标记之间的相对位置来确定所述坐标系变换。
8.根据权利要求1所述的系统，其中，所述第一控制运动配置包括第一旋转或第一平移中的至少一项。
9.根据权利要求1所述的系统，其中，所述处理器被配置为：
输出所述指令以显示：
包括所述对象的解剖结构和所述超声成像设备的所述图像；以及
旋转或平移中的至少一项的图形表示的叠加，以将所述超声成像设备重新定位到所述第二位置。
10.根据权利要求1所述的系统，还包括：
所述相机；以及
所述显示器。
11.根据权利要求1所述的系统，还包括：
包括所述相机、所述处理器和所述显示器的移动设备。
12.根据权利要求1所述的系统，其中，所述处理器与所述超声成像设备通信，并且其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：
在所述超声成像设备被定位于所述第一位置处时从所述超声成像设备接收表示所述对象的解剖结构的超声图像；并且
将所述第一预测网络应用于所述超声图像以产生所述第一运动控制配置。
13.根据权利要求12所述的系统，其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：
将所述第一预测网络应用于所述超声图像的感兴趣区域(ROI)以产生所述第一运动控制配置。
14.根据权利要求13所述的系统，其中，所述处理器被配置为通过以下操作中的至少一项来获得所述第一运动控制配置：
从与所述处理器通信的用户接口接收对所述ROI的选择；或者
基于第二预测网络来确定所述ROI。
15.根据权利要求12所述的系统，其中，所述处理器被配置为通过以下操作来获得所述第一运动控制配置：
应用所述第一预测网络以确定所述超声图像内的感兴趣区域(ROI)，并且基于所确定的ROI来确定所述第一运动控制配置。
16.一种提供超声成像引导的方法，所述方法包括：
获得第一运动控制配置，以将定位的超声成像设备从第一位置朝向对象的解剖结构的目标图像视图重新定位，所述第一运动控制配置是基于第一预测网络来确定的；
基于由相机捕获的图像来确定与所述超声成像设备相关联的位置信息，所述图像包括所述对象的解剖结构和被定位于所述第一位置处的所述超声成像设备；并且
在显示器上显示指令以基于所述第一运动控制配置和与所述超声成像设备相关联的所述位置信息将所述超声成像设备从所述第一位置重新定位到第二位置。
17.根据权利要求16所述的方法，其中，所述第一预测网络基于第一坐标系来表示所述第一位置，其中，由所述相机捕获的所述图像基于第二坐标系来表示所述第一位置，其中，所述方法还包括：
基于所述位置信息来确定所述第一坐标系与所述第二坐标系之间的坐标系变换；并且
至少基于所述第一运动控制配置和所述坐标系变换来确定所述指令。
18.根据权利要求17所述的方法，还包括：
基于所述第一运动控制配置和所述坐标系变换来确定第二运动控制配置；并且
通过应用以下各项中的至少一项来确定所述指令：
针对所述第一运动控制配置和所述第二运动控制配置的组合功能；或者
针对所述第一运动控制配置和所述第二运动控制配置的比较功能。
19.根据权利要求17所述的方法，其中，所述超声成像设备被耦合到标记，其中，所述图像包括所述标记，并且其中，所述方法还包括：
基于所述超声成像设备与所述标记之间的相对位置来确定所述坐标系变换。
20.根据权利要求17所述的方法，还包括：
基于所述相机与所述对象的解剖结构之间的相对位置来确定所述坐标系变换。
CN201980069173.XA 2018-10-16 2019-10-16 基于深度学习的超声成像引导和关联的设备、系统和方法 Pending CN112888370A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862746042P 2018-10-16 2018-10-16
US62/746,042 2018-10-16
PCT/EP2019/078079 WO2020079077A1 (en) 2018-10-16 2019-10-16 Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods

Publications (1)

Publication Number Publication Date
CN112888370A true CN112888370A (zh) 2021-06-01

Family

ID=68296466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980069173.XA Pending CN112888370A (zh) 2018-10-16 2019-10-16 基于深度学习的超声成像引导和关联的设备、系统和方法

Country Status (5)

Country Link
US (1) US20210369249A1 (zh)
EP (1) EP3866697B1 (zh)
JP (1) JP7462624B2 (zh)
CN (1) CN112888370A (zh)
WO (1) WO2020079077A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693623A (zh) * 2021-08-25 2021-11-26 上海深至信息科技有限公司 一种基于增强现实的超声扫查引导方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220211347A1 (en) * 2021-01-04 2022-07-07 GE Precision Healthcare LLC Method and system for automatically detecting an apex point in apical ultrasound image views to provide a foreshortening warning
US20220296219A1 (en) * 2021-03-22 2022-09-22 GE Precision Healthcare LLC System and methods for adaptive guidance for medical imaging
EP4260811A1 (en) 2022-04-12 2023-10-18 Koninklijke Philips N.V. Graphical user interface for providing ultrasound imaging guidance

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279486A (ja) * 2009-06-03 2010-12-16 Konica Minolta Medical & Graphic Inc 超音波診断装置
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images
WO2015150932A1 (en) * 2014-03-31 2015-10-08 Koninklijke Philips N.V. Haptic feedback for ultrasound image acquisition
US20160030008A1 (en) * 2014-07-30 2016-02-04 General Electric Company System and method for registering ultrasound information to an x-ray image
US20170265843A1 (en) * 2016-03-17 2017-09-21 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
US20170360402A1 (en) * 2016-06-20 2017-12-21 Matthew de Jonge Augmented reality interface for assisting a user to operate an ultrasound device
US20180153505A1 (en) * 2016-12-07 2018-06-07 Bay Labs, Inc. Guided navigation of an ultrasound probe
JP2018134386A (ja) * 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6491632B1 (en) * 2001-06-26 2002-12-10 Geoffrey L. Taylor Method and apparatus for photogrammetric orientation of ultrasound images
EP2763591A4 (en) * 2011-10-09 2015-05-06 Clear Guide Medical Llc GUIDING INTERVENTIONAL IN SITU IMAGES BY FUSIONING AN ULTRASONIC VIDEO
WO2013161277A1 (ja) * 2012-04-23 2013-10-31 パナソニック株式会社 超音波診断装置およびその制御方法
CN106794007B (zh) * 2014-08-18 2021-03-09 毛伊图像公司 基于网络的超声成像系统
US20180368686A1 (en) * 2015-12-14 2018-12-27 The Governors Of The University Of Alberta Apparatus and method for generating a fused scan image of a patient
CN112957074A (zh) * 2016-03-09 2021-06-15 安科诺思公司 利用人工智能网络的超声图像识别系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010279486A (ja) * 2009-06-03 2010-12-16 Konica Minolta Medical & Graphic Inc 超音波診断装置
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images
WO2015150932A1 (en) * 2014-03-31 2015-10-08 Koninklijke Philips N.V. Haptic feedback for ultrasound image acquisition
US20160030008A1 (en) * 2014-07-30 2016-02-04 General Electric Company System and method for registering ultrasound information to an x-ray image
US20170265843A1 (en) * 2016-03-17 2017-09-21 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
US20170360402A1 (en) * 2016-06-20 2017-12-21 Matthew de Jonge Augmented reality interface for assisting a user to operate an ultrasound device
US20180153505A1 (en) * 2016-12-07 2018-06-07 Bay Labs, Inc. Guided navigation of an ultrasound probe
EP3332712A1 (en) * 2016-12-07 2018-06-13 Bay Labs, Inc. Guided navigation of an ultrasound probe
JP2018134386A (ja) * 2016-12-07 2018-08-30 ベイラブス， インク．Ｂａｙ Ｌａｂｓ， Ｉｎｃ． 超音波探触子の誘導ナビゲーション

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113693623A (zh) * 2021-08-25 2021-11-26 上海深至信息科技有限公司 一种基于增强现实的超声扫查引导方法及系统
CN113693623B (zh) * 2021-08-25 2024-04-05 上海深至信息科技有限公司 一种基于增强现实的超声扫查引导方法及系统

Also Published As

Publication number Publication date
JP7462624B2 (ja) 2024-04-05
EP3866697A1 (en) 2021-08-25
WO2020079077A1 (en) 2020-04-23
JP2022504878A (ja) 2022-01-13
EP3866697B1 (en) 2024-03-20
US20210369249A1 (en) 2021-12-02

Similar Documents

Publication Publication Date Title
EP3866697B1 (en) Deep learning-based ultrasound imaging guidance and associated devices, systems, and methods
US11540718B2 (en) Imaging view steering using model-based segmentation
JP7253560B2 (ja) ニューラルネットワークを用いた案内付き経頭蓋超音波撮像ならびに関連する装置、システムおよび方法
CN110678933B (zh) 超声临床特征检测与相关联的设备、系统和方法
US20220401062A1 (en) Point-of-care ultrasound (pocus) scan assistance and associated devices, systems, and methods
WO2019174953A1 (en) Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
JP7401447B2 (ja) ニューラルネットワークを使用した超音波撮像平面整列並びに関連するデバイス、システム、及び方法
EP4115389B1 (en) Multi-modal medical image registration and associated devices, systems, and methods
EP3764909A1 (en) Ultrasound imaging plane alignment guidance for neural networks and associated devices, systems, and methods
US20230281837A1 (en) Method and system for registering images acquired with different modalities for generating fusion images from registered images acquired with different modalities
US12016724B2 (en) Automatic closed-loop ultrasound plane steering for target localization in ultrasound imaging and associated devices, systems, and methods
CN113081030B (zh) 用于基于m模式分析进行辅助超声扫描平面识别的方法和系统
US20240053470A1 (en) Ultrasound imaging with anatomy-based acoustic settings
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination