CN117279573A - 机器人化成像系统 - Google Patents

机器人化成像系统 Download PDF

Info

Publication number
CN117279573A
CN117279573A CN202280014393.4A CN202280014393A CN117279573A CN 117279573 A CN117279573 A CN 117279573A CN 202280014393 A CN202280014393 A CN 202280014393A CN 117279573 A CN117279573 A CN 117279573A
Authority
CN
China
Prior art keywords
probe
robotic
target
direction information
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280014393.4A
Other languages
English (en)
Inventor
E·罗纳
R·里泽博斯
K·特里普
F·拜勒斯特
Y·张
J·威廉斯范戴克
N·范斯泰恩
R·克拉辛加
S·达伦德拉帕蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coptis Private Ltd
Original Assignee
Coptis Private Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coptis Private Ltd filed Critical Coptis Private Ltd
Publication of CN117279573A publication Critical patent/CN117279573A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4209—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames
    • A61B8/4218—Details of probe positioning or probe attachment to the patient by using holders, e.g. positioning frames characterised by articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/40—Positioning of patients, e.g. means for holding or immobilising parts of the patient's body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4272—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue
    • A61B8/429—Details of probe positioning or probe attachment to the patient involving the acoustic interface between the transducer and the tissue characterised by determining or monitoring the contact between the transducer and the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5284—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving retrospective matching to a physiological signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Abstract

描述了一种机器人化超声成像系统，包括：机器人系统，被配置为将超声探头抵靠诸如人类对象的对象的身体部位进行定位，该对象被定位在支撑结构上，优选地，被定位在水平支撑结构上，并且机器人系统被配置为在身体部位上移动超声探头；以及计算机系统，包括：数据生成模块，被配置为控制机器人系统以生成用于机器学习算法的临床训练数据，该临床训练数据包括与对象的内部组织和/或器官的一个或多个目标视图相关联的超声图像，每个目标视图与超声探头的目标位置相关联，该训练数据针对每个目标位置还包括探头相对于目标位置的多个训练位置并且包括与多个训练位置相关联的方向信息，该方向信息针对每个训练位置限定指向目标位置的方向，优选地，限定指向目标位置的矢量；机器学习模块，包括经训练的机器学习算法，该经训练的机器学习算法是基于临床训练数据进行训练的，该机器学习模块被配置为接收当探头在对象的身体部位的表面上移动时由探头在当前探头位置处捕获的一个或多个超声图像，并且被配置为针对当前探头位置基于一个或多个超声图像确定估计方向信息，优选地，确定估计矢量，该估计方向信息限定从当前探头位置指向与目标视图相关联的估计探头位置的方向；以及，执行模块，被配置为自主地控制机器人系统，该控制包括：在对象的身体部位的表面上移动探头，以基于由经训练的机器学习算法针对不同探头位置生成的估计方向信息来找到针对一个或多个目标视图中的每个目标视图的最佳探头位置，并且在针对一个或多个目标视图中的每个目标视图的最佳探头位置处捕获内部组织和/或器官的一个或多个图像。

Description

机器人化成像系统
技术领域
本公开中的实施例涉及机器人化成像系统，并且特别地但不排他地，涉及用于机器人化成像系统的方法和系统，优选地，涉及机器人化成像系统，诸如机器人化回波描记系统，以及用于执行此方法的计算机程序产品。
背景技术
心血管疾病是世界范围内死亡的首要原因。用于识别此疾病的基本手段是被称为超声心动图(echocardiography)的超声成像系统，一种用于生成超声心动图的声学成像技术。更一般地，超声检查(sonography)或超声波检查(ultrasonography)是用于许多医疗程序的重要诊断成像技术，其中，超声波用于创建内部身体结构(诸如肌腱、肌肉、关节、血管和内部器官)的图像。制作和解释声像图是一项技术工作。例如，在医学专家对心脏的全面检查期间捕获14个至多达37个不同视图方向上的超声图像，其中，这些视图中的每个视图与探头相对于身体的不同位置和定向相关联。
在该过程期间，医学专家将手动地将超声探头定位在预定位置处，使得在显示器上示出目标视图方向。当显示器显示正确的图像时，将记录显示心脏运动的短视频。将针对每个所需视图重复该过程。为了最小化由于靠近心脏的对象和/或组织(诸如胸腔和肺组织(的部分))而导致的图像中的干扰效应，患者的姿势(以特定姿势仰卧或侧躺)将根据所记录的视图方向而改变。
检查的结果是可以由医学专家分析的与不同视图方向相关联的一组超声图像。然而，由于缺乏熟练的医学专家，患者进行扫描的阈值高和/或等待时间相对长，从而增加了患者住院的风险，并且有时增加了严重医疗后果。
为了减轻医学专家的压力，需要使针对常规患者的医学成像方案(诸如超声心动图方案)自动化，使得不需要人为干扰或至少使人为干扰最小化。其中包括成像探头的机器人臂被控制以产生患者的图像的机器人化成像系统是已知的。例如，WO2019/174953描述了一种包括机器人臂的机器人化成像系统，该机器人臂能够被控制以将成像探头定位在仰卧(处于仰卧位置)于床上的患者的身体部位处的预定位置处。机器人系统被配置为基于神经网络系统来控制机器人臂，该神经网络系统被训练以接收由探头生成的超声图像并且产生用于机器人系统的控制信号以使探头在目标位置的方向上移动。
神经网络系统包括需要基于数据来训练的不同功能的神经网络，该数据的很大一部分与基于体模产生的合成数据相关，并且另一部分与手动标记的临床数据相关。随后使用该数据来训练神经网络以将探头定位在与预定临床性质相关联的目标位置处。然而，该系统不适于在多个视图方向上自主地产生患者心脏的医学检查，以产生与由熟练的超声医师产生的那些类似或基本类似的一系列多视图超声心动图。
另一个问题涉及以下事实：为超声医师的全面检查所需的针对大量视图训练神经网络需要大量标记数据，优选地，需要特定质量的临床数据。这样的数据是不可获得的，并且手动产生这样的数据量是困难且昂贵的。
因此，从上文可以看出，本领域需要用于机器人化超声成像系统(诸如超声波超声心动图系统(ultrasound echocardiographic system))的改进的方法和系统，特别是需要用于机器人化超声成像的方法和系统，其被配置为自主地确定针对不同视图的一组完整的超声心动图图像，该一组完整的超声心动图图像具有与由超声医师使用常规超声心动图系统确定的一组图像相同的质量。
发明内容
如本领域技术人员将理解的，本发明的各方面可以体现为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)或组合软件和硬件方面的实施例的形式，这些实施例在本文中通常都可以被称为“电路”、“模块”或“系统”。本公开中描述的功能可以被实现为由计算机的微处理器执行的算法。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质具有体现(例如，存储)在其上的计算机可读程序代码。
可以利用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、设备或装置，或者前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁存储装置或前述的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的程序。
计算机可读信号介质可以包括具有体现在其中的计算机可读程序代码的传播数据信号，例如，在基带中或作为载波的一部分。这样的传播信号可以采取各种形式中的任何一种，包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是不是计算机可读存储介质并且可以通信、传播或传输程序以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用的任何计算机可读介质。
包含在计算机可读介质上的程序代码可以使用任何适当的介质来传输，包括但不限于无线、有线、光纤、电缆、RF等或前述的任何合适的组合。用于执行本发明的各方面的操作的计算机程序代码可以以一种或多种编程语言的任何组合来编写，其包括诸如Java(TM)、Smalltalk、C++等的面向对象的编程语言以及诸如“C”编程语言或类似编程语言的常规过程编程语言。程序代码可以完全在用户的计算机上执行，部分地在用户的计算机上执行，作为独立的软件包执行，部分地在用户的计算机上部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。
下面参考根据本发明的实施例的方法、设备(系统)和计算机程序产品的流程图和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机程序指令实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或用于生产机器的其他可编程数据处理设备的处理器，特别是微处理器或中央处理单元(CPU)或图形处理单元(GPU)，使得经由计算机的处理器、其他可编程数据处理设备或其他装置执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的方法。
这些计算机程序指令还可以存储在计算机可读介质中，该计算机可读介质可以指示计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图的一个或多个框中指定的功能/动作的指令的制品。
计算机程序指令还可以被加载到计算机、其他可编程数据处理设备或其他装置上，以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机或其他可编程设备上执行的指令提供用于实现流程图和/或框图的一个或多个框中指定的功能/动作的过程。另外，指令可以由任何类型的处理器执行，包含但不限于一个或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FP-GA)或其他等效集成或离散逻辑电路。
附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示代码的模块、区段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。还应当注意，在一些替代实施方式中，框中指出的功能可以不按图中指出的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
本申请中的实施例的目的是提供用于机器人化医学成像(诸如超声回波描记术)的方法和系统，从而允许自主确定不同目标视图的一组完整图像。
在一方面，实施例涉及一种机器人化超声成像系统，包括：机器人系统，被配置为将超声探头抵靠对象(例如，人类对象)的身体部位进行定位，该对象被定位在支撑结构(优选地，水平支撑结构)上，并且被配置为在身体部位上移动超声探头；以及，计算机系统，包括数据生成模块，该数据生成模块被配置为控制机器人系统以生成用于机器学习算法的临床训练数据，该临床训练数据包括与对象的内部组织和/或器官的一个或多个目标视图相关联的超声图像，每个目标视图与超声探头的目标位置相关联，该训练数据针对每个目标位置还包括探头相对于目标位置的多个训练位置，并且包括与多个训练位置相关联的方向信息，该方向信息针对每个训练位置限定指向目标位置的方向，优选地，限定指向目标位置的矢量。
在实施例中，所述机器人化超声成像系统还可以包括机器学习模块，该机器学习模块包括经训练的机器学习算法，该经训练的机器学习算法是基于临床训练数据进行训练的，该机器学习模块被配置为接收当探头在对象的身体部位的表面上移动时由探头在当前探头位置处捕获的一个或多个超声图像，并且被配置为针对当前探头位置基于一个或多个超声图像来确定估计方向信息，优选地确定估计矢量，该估计方向信息限定从当前探头位置指向与目标视图相关联的估计探头位置的方向；以及，
在实施例中，所述机器人化超声成像系统还可以包括执行模块，该执行模块被配置为自主地控制机器人系统，该控制包括：在对象的身体部位的表面上移动探头，以基于由经训练的机器学习算法针对不同探头位置生成的估计方向信息找到针对一个或多个目标视图中的每个目标视图的最佳探头位置，并且在针对一个或多个目标视图中的每个目标视图的最佳探头位置处捕获内部组织和/或器官的一个或多个图像。
在实施例中，数据生成模块还可以被配置为：确定探头在目标位置周围限定的预定数据收集区域内的多个训练位置；将探头移动到训练位置中的每个训练位置并且捕获针对训练位置中的每个训练位置的一个或多个图像；将与训练位置相关联的一个或多个图像与方向信息相关联，方向信息包括从训练位置指向目标位置的矢量的坐标；并且，将一个或多个图像和相关联的方向信息作为临床训练数据存储在存储介质上。
在实施例中，该系统还可以包括训练模块，该训练模块被配置为：向机器学习算法的输入提供与训练位置相关联的图像，该图像与方向信息相关联，该方向信息限定从训练位置指向目标位置的目标方向，优选地，限定从训练位置指向目标位置的目标矢量；从机器学习算法的输出接收估计方向信息，优选地，接收估计矢量，并且基于目标矢量和损失函数评估估计方向信息；基于对估计方向信息的评估调整机器学习算法的训练参数；并且，重复向机器学习算法的输入提供图像、评估深度神经网络的输出以及调整训练参数的过程，直到评估表明估计矢量与该矢量基本匹配。
在实施例中，执行模块可以被配置为：将探头移动至抵靠患者的身体部位的第一探头位置，并且在第一探头位置处捕获一个或多个第一图像；将一个或多个第一图像提供至深度神经网络以确定与第一探头位置相关联的估计方向信息，该估计位置信息限定从第一探头位置指向目标视图的估计探头位置的估计方向；将第一探头位置和估计方向信息存储在存储器中；重复将探头移动至另一探头位置、使用经训练的深度神经网络确定针对该另一探头位置的估计方向信息以及存储探头位置和相关联的估计方向信息的步骤，直到收集到一组探头位置和相关联的估计方向信息；并且，基于收集到的探头位置和估计方向信息确定目标视图的最佳探头位置，并且将探头移动到最佳探头位置以捕获目标视图的一个或多个图像。
在实施例中，机器学习算法可以是深度神经网络或包括多个级联的深度神经网络的深度神经网络系统。
在实施例中，卷积神经网络或卷积神经网络系统可以被配置为回归算法或分类算法。
在实施例中，深度神经网络或深度神经网络系统可以包括用于从由探头捕获的超声图像中提取特征的一个或多个卷积神经网络；和/或，其中，深度神经网络或深度神经网络系统包括密集连接的层的网络，用于将与在探头位置处捕获的超声图像相关联的特征转换为估计方向信息，其中，估计方向信息限定从探头位置指向目标位置的估计探头位置的方向。
在实施例中，临床训练数据还可以包括与捕获的一个或多个超声图像相关联的一个或多个生命体征信号的一个或多个特征，优选地，一个或多个特征包括心电图ECG信号的特征和/或呼吸信号的特征。
在实施例中，支撑结构可以被配置为将对象定位在俯卧位，支撑结构包括开口或凹部，该开口或凹部将对象的一部分，优选地，将对象的胸部，暴露于探头，更优选地，机器人系统的至少一部分被布置在支撑结构下方。
与已知的机器人化回波描记系统相比，该实施例依赖于以下事实：人类对象被定位在支撑结构上，该支撑结构包括开口，该开口提供机器人化探头以接近位于支撑结构上的处于俯卧位的人类对象的胸部。在某些观察方向上，俯卧位扫描可能是有利的。例如，在俯卧位的超声心动图成像期间，心脏被肺组织模糊的程度会降低，如人类对象仰卧时的情况一样。
因此，对处于俯卧位的患者进行成像将生成改进的图像，即，具有较少的由于肺组织而导致的失真和/或干扰的图像。此外，支撑结构中的开口允许准确地定位和固定需要被扫描的人类对象。由数据收集器模块生成的处于俯卧位的人类对象的内部组织和/或器官的超声图像可以用于生成用于训练模型的训练数据。基于所生成的训练数据来训练算法可以产生经训练的算法，该经训练的算法能够用于对用于确定目标视图的超声图像的最佳探头位置进行准确估计。
该系统的另一个优点涉及人类对象的安全性。与已知的机器人化成像系统相比，人类对象不被定位于支撑结构、床和探头之间。相反，探头通过支撑结构的开口接近患者，使得患者不能卡在探头和床之间，从而降低机器人的故障可能导致患者可能受伤的情况的风险。下面更详细地描述系统和由系统执行的方法的其他实施例和相关联的优点。
在实施例中，机器人系统可以包括：机器人臂，连接到成像探头以用于在平移方向和旋转方向上移动探头；或线性机器人系统，优选地被布置在支撑结构下方，其中，机器人系统包括线性机器人系统，该线性机器人系统被配置为在平移方向上移动包括成像探头的探头台，并且其中，探头台被配置为在角度方向上移动成像探头。
在实施例中，机器人系统可以使用估计方向信息在平行于支撑结构的平面的一个或多个第一方向(优选地，x、y方向)上移动探头。
在实施例中，与探头相关联的压力传感器或力传感器的传感器信号可以用于在基本垂直于一个或多个第一方向的第二方向(优选地，z方向)上移动探头，优选地，传感器信号被用于当探头在一个或多个第一方向上移动时以恒定力将探头按压抵靠在身体部位上。
在实施例中，探头台可以包括用于保持成像探头的探头保持器，该探头保持器包括压力传感器或力传感器，优选地，该压力传感器或力传感器包括弹簧结构，使得当探头被按压抵靠在对象的身体部位上时，一个弹簧结构将被压缩，其中，弹簧结构的压缩表示探头被按压抵靠在身体部位上的力的值。
在实施例中，方向信息可以包括用于在平移方向上移动成像探头的一组平移坐标和用于在角度方向上移动成像探头的一组角度坐标。
在实施例中，远程控制器可以被成形为手动回波描记探头(manual echographyprobe)，该手动回波描记探头包括一个或多个传感器。
在实施例中，传感器可以是一个或多个加速度计传感器、一个或多个光学导航传感器和/或倾斜度传感器，以用于将手动回波描记探头的位置转变为位置信息，以用于控制机器人系统将成像探头移动至根据位置信息的位置。
在一方面，本发明可以涉及一种机器人化成像系统，包括：机器人系统，被配置为将成像探头抵靠被定位在支撑结构上的患者的身体部位进行定位并且被配置为在身体部位上移动探头；连接到机器人系统的计算机，该计算机包括计算机可读存储介质，该计算机可读存储介质具有与其一起体现的计算机可读程序代码；以及处理器，耦合到计算机可读存储介质，其中，响应于执行计算机可读程序代码，处理器被配置为执行可执行操作，该可执行操作包括：确定探头在目标位置周围限定的预定数据收集区域内的多个训练位置；将探头移动到训练位置中的每个训练位置并且捕获针对训练位置中的每个训练位置的一个或多个图像；将与训练位置相关联的一个或多个图像与方向信息相关联，方向信息限定从训练位置指向目标位置的方向(例如矢量)；以及，将一个或多个图像和相关联的方向信息作为临床训练数据存储在存储介质上。
在一方面，本发明可以涉及一种机器人化成像系统，包括：机器人系统，被配置为将成像探头抵靠被定位在支撑结构上的患者的身体部位进行定位并且被配置为在身体部位上移动探头；连接到机器人系统的计算机，该计算机包括计算机可读存储介质，该计算机可读存储介质具有与其一起体现的计算机可读程序代码；以及处理器，耦合到计算机可读存储介质，其中，响应于执行计算机可读程序代码，处理器被配置为执行可执行操作，该可执行操作包括：向机器学习算法的输入提供与训练位置相关联的图像，该图像与方向信息相关联，该方向信息限定从训练位置指向目标位置的方向(优选地，目标矢量)；从机器学习算法的输出接收估计方向信息，优选地，接收估计矢量，并且基于目标矢量和损失函数来评估估计方向信息；基于对估计方向信息的评估调整机器学习算法的训练参数；以及，重复向机器学习算法的输入提供图像、评估深度神经网络的输出以及调整训练参数的过程，直到评估表明估计矢量与目标矢量基本匹配。
在一方面，本发明可以涉及一种机器人化超声成像系统，包括：机器人系统，被配置为将成像探头抵靠被定位在支撑结构上的患者的身体部位进行定位并且被配置为在身体部位上移动探头；连接到机器人系统的计算机，该计算机包括计算机可读存储介质，该计算机可读存储介质具有与其一起体现的计算机可读程序代码；以及处理器，耦合到计算机可读存储介质，其中，响应于执行计算机可读程序代码，处理器被配置为执行可执行操作，该可执行操作包括：
将探头移动至抵靠患者的身体部位的第一探头位置，并且在第一探头位置处捕获一个或多个第一图像；将一个或多个第一图像提供至深度神经网络以确定与第一探头位置相关联的估计方向信息，该估计位置信息限定从第一探头位置指向目标视图的估计探头位置的估计方向；将第一探头位置和估计方向信息存储在存储器中；重复将探头移动至另一探头位置、使用经训练的深度神经网络确定针对该另一探头位置的估计方向信息、以及存储探头位置和相关联的估计方向信息的步骤，直到收集到一组探头位置和相关联的估计方向信息；以及，基于收集到的探头位置和估计方向信息确定目标视图的最佳探头位置，并且将探头移动至最佳探头位置以捕获目标视图的一个或多个图像。
实施例还可以涉及由如上所述的机器人化超声成像系统的计算机执行的方法。
本发明还可以涉及一种包括软件代码部分的计算机程序产品，该软件代码部分被配置为当在计算机的存储器中运行时执行根据上述任何处理步骤的方法步骤。
将参考附图进一步说明本发明，附图将示意性地示出根据本发明的实施例。应当理解，本发明不以任何方式限于这些具体实施例。
附图说明
图1示出了根据实施例的机器人化超声回波描记系统；
图2A和图2B描绘了根据实施例的用于为机器人化回波描记系统生成标记的训练数据的方法的流程图；
图3A和图3B示出了根据实施例的与训练数据的生成相关联的图片；
图4示出了根据实施例的用于训练神经网络的方法；
图5A和图5B描绘了根据实施例的用于执行自主生成患者的身体部位的一组图像的过程的过程；
图6描绘了用于确定用于将探头移动到目标位置的矢量的图像的示例；
图7A-图7C描绘了根据各种实施例的用于控制机器人化回波描记系统的深度神经网络的示例；
图8A和图8B描绘了根据实施例的机器人化超声回波描记系统的示例；
图9A-图9C描绘了根据实施例的用于机器人化超声回波描记系统的可旋转探头的各种视图；
图10A和图10B示出了根据实施例的机器人化回波描记系统。
具体实施方式
本公开中的实施例涉及机器人化成像系统，特别是医学机器人化成像系统，诸如机器人化超声成像系统。这样的成像系统被配置为确定对象(例如，人或动物)的内部组织和/或器官的图像，以用于医疗程序或身体检查。这样的系统可以例如包括超声成像系统，该超声成像系统被配置为使用超声成像探头来确定心脏的超声图像，通常是2D切片。成像探头产生声波，该声波进入身体并被组织和/或流体(例如血液)反射回来，其由成像探头中的超声检测器检测到。组织和/或流体的类型确定反射的强度，其在回波视图中被视为更亮或更暗的斑点。通常，血液反射非常少，而肌肉反射更多。这意味着，考虑到其他内部组织(例如，胸腔或肺)的组织可能干扰在不同视图方向上获得心脏(的部分)的清晰图片，可以使用超声波检查法对诸如心脏(主要由肌肉和血液组成)的器官的结构进行成像。
超声探头以扇形图案生成其所瞄准的任何东西的2D切片的形式的图像。可以看到该扇形从探头的头部突出，切入身体中。为了查看身体部位(例如，心脏)的不同部位，超声医师能够围绕任何轴线或在任何轴线上手动地旋转和/或横向平移探头。在超声心动描记术中，限定了多个预定的“视图”。这些视图方向的轴线是相对于心脏的固定位置，使得超声医师能够一致地使用不同的视图来进行诊断并将一组图像与另一组图像进行比较。例如，所谓的心尖4腔室视图(A4C)通过心尖从下方观察心脏，示出了心脏的所有四个腔室。另一视图是胸骨旁长轴视图(PLAX)。为了产生针对该视图的超声图像，超声探头垂直于胸部(或胸骨)的中心放置，并使其旋转，使得两个腔室可见：左心室和左心房。
超声探头可以以大于每秒30个的速率捕获图像(也称为视频帧)，从而允许制作与特定视图方向相关联的心脏切片的视频。结果是运动中的心脏的近实况视频，这允许超声心动描记器诊断心脏的复杂问题。因此，回波描记系统可以被配置为根据预定的标准视图方向来生成和处理心脏的图像。通常，可以在超声医师的全面检查期间捕获14个至多达37个不同视图方向的图像。在任何情况下，需要至少五个视图方向来可靠地识别问题。超声医师将探头定位在预定位置处，使得在显示器上示出目标视图方向。当显示器示出正确的图像时，超声医师将记录短视频以示出心脏的运动。超声医师将针对每个所需视图重复该过程，其中，对于每个视图，超声医师将以特定姿势定位患者，以便实现清晰的图像。为了最小化内部组织(诸如胸腔和肺组织(的部分))的干扰，超声医师将根据所记录的视图方向来改变患者的位置(以某一姿势仰卧或侧躺)。超声医师的检查结果是与不同视图相关联的一组超声图像，其能够由心脏病专家进行分析。
从上面可以看出，由超声医师进行的全面超声心动图检查需要在多个视图方向上记录心脏，其中患者必须在不同的时间被重新定位，这是费力的并且身体上精疲力尽，特别是当在一天内检查多个患者时。此外，缺乏熟练技术的超声医师导致患者等待时间长。本申请中的实施例旨在基于常规的回波描记系统来解决与回波描记检查(特别是超声心动描记检查)相关的至少部分问题。特别地，实施例涉及机器人化回波描记系统、机器人化超声成像系统，其允许在不需要人为干预或至少最小的人为干预的预定视图方向上的自主回波描记检查。
虽然参考机器人化回波描记系统解释了附图中的示例，但是提出本申请中的实施例不限于机器人化超声成像，并且还可以与用于对内部组织成像的其他类型的机器人化医学成像系统一起使用，诸如光子声学成像、断层摄影成像、射线照相成像、x射线成像、磁共振成像等。
图1示出了根据本发明的实施例的机器人化回波描记系统100。该系统可以包括支撑结构102，例如床，用于将患者定位在用于回波描记术的姿势中。在该特定实施例中，支撑系统可以被配置为使得患者被定位在俯卧位。此外，支撑系统可以包括一个或多个开口104，使得当患者以俯卧位躺在支撑系统上时，患者的至少一部分(例如胸部)被定位在一个或多个开口上方。这样，患者的一个或多个身体部位经由定位结构中的一个或多个开口暴露于被连接到机器人系统106的成像探头。
在图1的实施例中，机器人系统可以至少部分地布置在支撑结构下方。机器人系统可以被布置成使超声探头10相对于与患者的身体部位对准的支撑系统定位和移动8。特别地，机器人系统可以被布置成使探头相对于支撑系统在三个轴向方向上移动(平移)。可以基于合适的坐标系(例如笛卡尔坐标系)来限定探头在时间实例处的位置。探头的位置可以包括用于在三维中平移探头的坐标(x,y,z)。此外，探头的位置还可以包括用于在特定指向方向上旋转探头的角度部分(角度方向)。例如，欧拉角(α,β,γ)可以限定探头相对于坐标系的轴线的偏转、俯仰和滚动。因此，可以基于包括平移和旋转坐标的矢量(x,y,z,α,β,γ)来描述探头的移动，即，每个时间实例处的位置(的变化)。
该系统还包括计算机系统109，该计算机系统包括用于执行不同模块(例如与用于自主控制机器人系统的模型相关联的控制器和/或模块)的处理器115。例如，计算机系统可以包括用于控制机器人系统的机器人控制器110。机器人控制器可以被配置为基于从机器学习模型114或远程控制器122接收的信息来控制机器人系统的致动器和/或马达以相对于支撑系统(以及定位在支撑系统上的患者)移动和定位探头。这里，机器学习模型可以包括一个或多个深度神经网络的系统，该一个或多个深度神经网络被训练以将探头从当前位置朝向估计目标位置移动。机器学习模型114可以用于自主地控制机器人系统。在这种情况下，计算机系统的处理器可以将系统设置在自主模式中，其中，基于由超声探头产生的超声图像，机器人控制器可以向机器人系统发送指令以将探头从第一位置移动到第二位置。可替代地，远程控制器可以用于以人为控模式来控制系统，其中，人可以手动控制机器人系统。
机器人系统还可以包括传感器，例如力传感器、扭矩传感器、压力传感器、位置传感器和/或加速度计，用于在扫描期间实现对探头的控制。例如，当探头抵靠患者的身体进行定位时，力传感器可以用于在z方向上对身体施加预定力。例如，机器人控制器可以从机器人系统接收传感器信号，并使用该信号作为力(或压力)反馈信号。力反馈可以使得探头控制器能够以恒定的力和/或扭矩抵靠躺在支撑结构上的患者的身体来定位和移动探头。另外，力反馈将确保施加到患者的身体部位上的压力不超过一(阈值)值，使得当由机器学习模型或由使用远程控制器的人控制时都可以安全地执行探头的定位。这样，可以控制探头以通过在躺在支撑结构上的患者的身体部位上移动探头来扫描患者，同时捕获图像，该图像可以由计算机处理以产生坐标，例如以矢量的形式。平移坐标(例如，x和y方向)和角度坐标的至少一部分可以由机器学习模型产生。平移坐标的另一部分(例如，z方向)可以由如上所述的力反馈系统控制。在另一实施例中，光学导航传感器可以用于准确地确定探头的位置，例如探头的平移运动。
在人为控制模式中，连接到系统的合适的用户接口UI(例如，远程控制器122和显示器124)可以由超声医师使用从而手动地将机器人化回波描记系统的探头移动到特定视图方向上的预定位置，同时探头产生在显示器上示出的图像。在实施例中，远程控制器可以被设计成使得它可以用作被配置为检测平移和/或旋转移动的常规手持式探头。这样，远程控制器可以具有在执行常规超声检查时使用的常规手动探头的外观和感觉。
如下面将更详细地描述的，图1中描绘的系统可以被配置为沿着预定视图轴(例如，在超声心动图的情况下的A4C和PLAX视图方向)自主地创建一组或多组图像。计算机系统还可以包括图像处理器112，用于处理当探头相对于患者的胸部定位时生成的图像，即，2D像素化图片，以获得预定视图方向上的心脏的图像。
可以基于由机器学习模型114(例如，诸如深度神经网络或深度神经网络系统的机器学习模型)确定的信息来控制机器人控制器。可以训练模型以控制机器人系统移动并定向探头，使得能够确定不同目标视图的图像。对于每个目标视图，可以确定目标(例如，诸如心脏的器官)的最佳图像。这样，内部组织或器官的2D切片的图像可以在不同的视图方向上获得，例如，超声医师在检查期间使用的视图方向。为此，模型可以被配置为接收与第一探头位置相关联的内部组织的一个或多个图像，并且基于与第一视图相关联的一个或多个图像产生输出信号，该输出信号限定可以由机器人控制器使用以使探头朝向第二探头位置移动的信息，该第二探头位置能够用于以第二视图捕获图像。这样，基于由模型提供的信息，机器人控制器能够将探头朝向与目标视图相关联的探头位置移动。在实施例中，输出信号可以包括方向信息，例如矢量或用于确定矢量的信息，机器人控制器能够使用该方向信息将探头从第一(当前)探头位置移动到第二探头位置。
可以基于可存储在存储介质126上的训练数据来训练机器学习模型。需要足够量的训练数据(优选地，与患者的异质组相关联的临床训练数据)来训练模型，使得其能够可靠地控制探头以针对不同体型、性别和年龄的患者产生针对不同预定视图方向的图像。为了实现自主扫描，需要不仅包括不同视图方向上的图像而且还包括位置标签的大数据集。因此，为了训练模型(例如深度神经网络)以确定当向其输入提供图像时以哪种方式移动探头，每个图像可以用方向信息(例如矢量)标记，该方向信息限定相对于与目标视图相关联的最佳目标位置的位置。这样，模型能够学习基于超声心动图图像来确定方向信息，例如指向目标位置的矢量。
由于没有具有这种性质的外部数据集可用，因此计算机系统可以被配置为生成标记的临床训练数据集本身。为此，计算机可以包括数据收集器模块116，该数据收集器模块被配置为生成标记的临床数据，即，捕获和存储患者的图像，并将这些图像与探头的位置和定向相关联，例如以如前所述的矢量的格式。计算机系统还可以包括训练模块118，该训练模块被配置为基于训练数据来训练模型。取决于模型的类型，例如，深度神经网络(DNN)(诸如深度卷积神经网络(CNN))可以被迭代地训练，其中，标记的图像被输入到CNN，并且输出通过损失函数来评估，并且DNN的权重基于梯度下降方法(例如随机梯度下降方法)来进行调整。计算机系统还可以包括执行模块120，用于执行基于经训练的模型在不同的视图方向上自主地生成患者的一部分(例如，诸如心脏的器官)的一组图像的过程。
提出了图1中的计算机系统可以以任何形式实现。例如，计算机系统的一个或多个部分可以在网络中实现，例如作为(远程)服务器应用程序或云应用程序。此外，计算机系统可以是分布式系统，其中，一些模块(例如，用于训练神经网络的训练模块)可以在远程计算机上运行。
数据收集器模块可以被配置为控制机器人化回波描记系统以生成训练数据。图2A描绘了根据本发明的实施例的用于为机器人化回波描记系统生成标记的训练数据的方法的流程图。特别地，该过程可以以用户控制机器人化回波描记系统开始，例如参考图1所描述。当患者躺在系统的支撑结构上时，用户(例如，超声医师)可以使用系统的远程控制器来开始生成标记的训练数据的过程。在第一步骤202中，用户可以使用远程控制器来控制机器人系统并将探头引导到与沿着某个视轴的目标视图相关联的目标位置，同时在屏幕上显示图像。这里，目标位置可以包括平移位置(例如，以笛卡尔坐标表示)和定向(例如，以偏转、俯仰、滚动表示)。因此，沿着特定视图方向的内部组织(例如器官)的目标位置和相关联的目标视图可以由超声医师使用系统的远程控制器来确定。例如，目标视图可以涉及沿着预定视图轴(例如，在超声心动图的情况下的A4C或PLAX视图方向)的一组视图。超声医师可以使用远程控制器将该位置标记为目标位置(步骤202)，该目标位置与内部组织(例如，诸如心脏的器官)的目标视图相关联。
一旦限定了目标视图和相关联的目标位置，数据收集器模块就可以基于探头的目标位置开始数据收集(步骤204)。数据收集过程可以包括数据收集器模块向机器人控制器提供多个位置指令(步骤206)。位置指令可以相对于目标位置在训练位置处移动探头(步骤208)。当执行位置指令时，可以在目标位置周围的预定区域内选择训练位置。当探头在平移和/或角度方向上移动时，可以针对探头的训练位置生成一个或多个图像。在实施例中，探头到预定区域内的不同训练位置的移动可以基于(伪)随机值。在另一实施例中，该移动可以基于预定函数。
这些图像中的每个图像可以用方向信息标记(步骤2101)，其中，方向信息可以限定方向，并且可选地，限定训练位置与目标位置之间的距离。因此，方向信息可以包括由探头的(当前)位置和目标位置限定的矢量，矢量的长度越小，探头越接近期望的目标位置。因此，与图像相关联的方向信息指示从当前位置朝向估计目标位置的方向。这些标记的图像可以作为临床训练数据存储在系统的存储介质上。
可以多次重复执行位置指令的过程(步骤2082,3,…)，即，将探头移动到训练位置并捕获图像，以及将图像与方向信息相关联(例如，标记)(步骤2102,3,…)的过程，使得可以生成大量标记图像。一旦生成了足够数量的标记图像，就可以将这些图像和相关联的方向信息存储为训练数据，并且可以停止与该目标视图相关联的数据收集(步骤212、214)。可以针对不同的目标视图重复该数据生成过程，使得可以以有效的方式生成目标(诸如心脏)的不同视图方向的多组标记图像数据。此外，可以针对不同体型、年龄和性别的异质患者组重复数据生成过程。因此，每组标记数据可以限定通过相对于目标位置移动探头而捕获的不同图像。
在数据生成期间，探头到不同训练位置的移动可以是目标位置周围的预定区域内的随机移动。可替代地，探头到目标位置周围的预定区域内的不同训练位置的力矩可以基于预定函数。一旦提供了目标的一个或多个目标视图，数据收集模块就可以针对每个相应的目标视图自主地生成训练数据，即，标记数据的大集合，该训练数据可以用于训练用于控制探头的模型，例如深度神经网络。
图2B描绘了用于使用如参考本公开中的实施例描述的机器人化回波描记系统来生成临床训练数据的方法的流程图。该过程可以包括使用远程控制器来控制机器人系统以将探头引导到患者身上的目标位置的第一步骤220。目标位置可以与沿着特定观察轴线的内部组织和/或器官的目标视图相关联。然后，在步骤222中，可以在目标位置周围确定探头的训练位置，例如随机训练位置或由特定函数描述的训练位置。这些训练位置可以限于目标位置周围的预定区域，并且可以包括目标位置。可以将探头移动到这些训练位置中的每个训练位置，使得在训练位置中的每个训练位置处的一个或多个图像能够由探头确定(步骤224)。然后，可以确定训练位置中的每个训练位置的方向信息，其中，方向信息可以基于训练位置和目标位置限定方向，例如矢量(步骤226)。此外，可以将一个或多个图像、相关联的训练位置和方向信息以及关于目标位置的信息作为临床训练数据存储在存储介质上(步骤228)。
图3A和图3B示出了根据本发明的实施例的与训练数据的生成相关联的图片。特别地，这些图示出了相对于目标位置的路径的示例，探头可以在数据收集过程期间基于数据收集器模块的位置指令遵循该路径。图3A描绘了路径的示例，其中，可以通过将探头的位置(在某些限制内)改变一定量来获得路径上的每个后续位置。探头的位置的变化可以包括探头的x、y坐标的平移变化和/或探头的角度坐标的旋转变化。在一些实施例中，z方向可以通过如上所述的传感器反馈来控制。探头坐标的变化可以限定探头移动的方向(航向)。可以添加另外的条件，使得路径停留在预定区域302内，该预定区域可以被称为数据收集区域。在探头的移动期间，可以在相对于目标位置的不同训练位置处捕获一个或多个图像，其中，不同的训练位置可以包括不同的平移和/或旋转(角度)位置。
可以使用不同的算法来控制图像数据的生成。例如，在实施例中，探头方向的变化可以基于探头位置和目标位置之间的距离。在另一实施例中，如果方向将探头移动得更靠近目标位置，则该方向可以是更优选的。该优选可以取决于探头相对于目标位置的距离。例如，将探头移动得更靠近目标位置的优选可以变得更强，探头从目标位置移除得越远。图3B示出了探头可以被配置为在数据收集区域302内移动，探头朝向数据收集区域内的最佳位置(通过最高峰值的位置可视化)移动得越近，探头可以捕获的图像越多。该图示出了作为探头相对于目标视图的位置的函数的标记图像的数量。离目标位置越远，生成越少的标记图像。可以使用许多不同的算法来实现该效果。这样，可以精确地控制在目标位置周围的不同位置处生成的标记图像的数量。
图4描绘了根据本发明的实施例的用于基于标记的训练数据来训练深度神经网络的过程。该过程可以由训练模块基于可由如参考图1-图3所描述的数据收集模块生成的训练数据来执行。如图4所示，在第一步骤400中，可以将向在机器人化回波描记系统的计算机系统上实现的深度神经网络的输入提供作为临床训练数据的一部分并且由探头在训练位置处拍摄的图像。图像可以与方向信息相关联(以方向信息进行标记)，例如，从训练位置指向目标位置的目标矢量。这里，探头的位置可以包括平移部分和角度部分，并且可以基于如上面参考图1所述的矢量来表示。因此，可以向深度神经网络的输入提供与矢量相关联的标记图像，用于训练深度神经网络以生成估计矢量，机器人控制器能够使用该估计矢量来将探头从当前位置移动到另一位置。可以基于矢量和损失函数来评估神经网络的输出，即，估计矢量(步骤402)。例如，可以基于估计矢量和与向深度神经网络的输入提供的图像相关联的矢量之间的归一化差来计算损失。
基于通过损失函数的评估，可以使用基于反向传播和梯度下降的公知算法来调整训练参数(例如，神经网络的激活函数的权重)(步骤404)。可以重复向深度神经网络的输入提供标记图像、基于损失函数评估深度神经网络的输出以及调整深度神经网络的训练参数的过程(步骤406)，直到估计矢量足够接近与输入图像相关联的矢量(步骤408)。这里，停止训练过程的决定可以基于所计算的损失小于某个阈值和/或减少的损失由于过度拟合何时开始增加。该过程产生经训练的神经网络，其被配置为在其输入处接收来自探头的图像并产生能够用于将探头移动到另一探头位置的矢量。
在一些实施例中，由机器人化回波描记系统使用的神经网络系统可以包括多个深度神经网络，其中，针对特定目标位置训练每个神经网络。在这种情况下，当执行系统时，每个经训练的神经网络用于为某个患者在预定观察方向上找到图像的目标位置。
图5A和图5B描绘了根据本发明的实施例的用于执行自主生成患者部位的内部组织和/或器官的不同目标视图的图像的过程的过程。该过程可以由如参考图1描述的执行模块执行。该过程可以控制机器人化回波描记系统自主地捕获被定位并固定在支撑结构(例如床)上的患者的身体部位的目标视图的多个图像，即，与视角相关联的图片。每个目标视图可以与回波描记术领域中已知的预定视图方向相关。例如，在超声心动图中，这些预定视图方向可以包括胸骨旁视图、心尖视图、肋下视图和胸骨上视图。
如图5A所示，该过程可以开始于将探头移动到抵靠患者身体的第一初始位置并且在第一探头位置处捕获一个或多个第一图像(步骤502)。该步骤在图5B中示意性地示出，该图示出了需要由系统自主生成特定目标视图的图像的患者。该目标视图与最佳探头位置514相关联，系统需要基于由经训练的神经网络确定的方向信息来确定该最佳探头位置。为此，探头可以自主地朝向第一初始位置5161移动，该第一初始位置位于目标视图的未知最佳探头位置周围的特定区域512中。系统可以使用与探头相关联的压力传感器信号来在横向方向(例如，z方向)上提供抵靠身体的恒定压力，同时探头可以在平移方向(例如，x和y方向)和旋转方向上移动。因为患者相对于探头处于固定位置，所以可以限定一个或多个初始位置。可以选择这样的初始位置，使得探头在包含最佳探头位置514的区域512内与患者接触，以生成期望的目标视图的图像。
可以向经训练的神经网络的输入馈送一个或多个第一图像，其生成包括与第一探头位置相关联的第一估计方向信息的输出信号(步骤504)。第一估计方向信息在图5B中由第一矢量5161示意性地描绘，该第一矢量限定从第一探头位置指向目标视图的估计探头位置的第一方向。
图6中示出了向深度神经网络的输入提供的超声图像的示例和能够从深度神经网络的输出导出的方向信息的示例。估计方向信息可以是第一矢量的形式，或者可以包括从第一探头位置指向目标视图的估计探头位置的第一矢量。可以将第一探头位置和第一方向信息存储在存储器中(步骤506)。
然后，基于第一方向信息，可以将探头移动到第二探头位置。当将探头移动到第二位置时，可以捕获一个或多个第二图像并将其馈送给经训练的神经网络的输入，这将产生包括从第二探头位置指向目标视图的估计提议的第二矢量的第二估计方向信息。同样，第二估计探头位置和第二方向信息可以被存储并用于将探头移动到第三探头位置。
可以重复将探头移动到另一探头位置、确定包括从当前探头位置指向与目标视图相关联的另一估计位置的另一矢量的另一方向信息、以及存储探头位置以及方向信息的过程，直到收集到一组探头位置和相关联的估计方向信息(步骤508)。基于所收集到的位置和方向信息，可以确定目标视图的最佳探头位置，并且可以将探头移动到最佳探头位置以捕获目标视图的一个或多个图像(步骤510)。
该过程也在图5B中示出，该图示出了移动探头的路径518，其包括捕获图像的探头位置5161-3和基于捕获的图像由经训练的神经网络生成的矢量5201-3形式的方向信息。可以确定一个或多个另外的探头位置，例如另外的探头位置5164，用于确定另外的方向信息。每个矢量大致指向目标视图的估计探头位置514。如图所示，探头位置和矢量可以用于确定用于捕获目标视图的图像的最佳探头位置。增加测量的探头位置和相关联的矢量的数量将增加能够确定目标视图的探头位置的准确度。
在一些实施例中，附加的信息(特别是生命体征信息，诸如来自ECG和/或呼吸信号的信息)可以用于训练深度神经网络。
如上所述，可以训练深度神经网络以基于超声图像来预测探头相对于目标位置的方向。如下面将更详细地示出的，在一些实施例中，还可以基于诸如ECG和/或呼吸信号的生命体征信号来训练深度神经网络。在实施例中，可以使用一个或多个卷积神经网络(CNN)，CNN特别适合于图像处理。可以选择各种CNN架构来向网络提供准确度预测。下面参考图7A-图7C更详细地描述可以与本申请中的实施例一起使用的深度神经网络的示例性实施例。
如图7A所示，网络700可以包括多个子网络，包括卷积子网络703和密集堆积的子网络707。卷积子网络可以包括多个卷积块7021-5，其中，卷积子网络的输入被配置为接收一个或多个图像701。此外，每个卷积块可以包括一个或多个卷积层710，该一个或多个卷积层可以连接到一个或多个最大池化层712和一个或多个丢弃层714。在向包括多个密集连接层7061-3的密集连接子网络707的输入提供之前，卷积子网络的输出可以由平坦化层704转换为一维阵列。在实施例中，密集连接层可以与丢弃层7081-3交错。在一些实施例中，sigmoid函数可以用于最终激活层7063。在另一实施例中，ReLU激活函数可以用于其他(中间层)卷积层和密集连接层。
深度神经网络的输入层可以被配置为接收图像数据形式的输入数据，通常是表示患者的内部组织和/或器官的切片的像素化2D图像。在一个实施例中，输入层可以被配置为及时接收图像序列，该图像序列可以在递归模型中使用。在另一实施例中，输入层可以被配置为接收单个图像。
在实施例中，除了图像数据之外，还可以基于其他数据(例如，诸如ECG信号和/或呼吸信号的生命体征信号)来训练深度神经网络。该数据可以被添加到由平坦化层704产生的一维阵列。
在一些实施例中，深度神经网络不能处理时间相关现象，如器官(如心脏)的移动。心跳可能导致心脏的部分在不同方向上移动。这可能导致由经训练的神经网络计算的方向信息的不准确性。可以通过向训练数据添加关于移动的附加信息来解决该问题。因此，可以从ECG信号中提取可以帮助深度神经网络解释超声图像的特征。ECG信号的一个特征是心跳的相位(其是周期性信号)。心跳的相位可以用作附加信息，该附加信息能够用于训练深度神经网络，以便获得能够基于心脏的输入图像(例如，2D切片)更准确地确定方向信息的模型。
在另一实施例中，呼吸信息可以用作训练深度神经网络的附加信息。呼吸信息可以有益于深度神经网络识别由于呼吸而导致的图像中的影响。例如，如果患者吸气，则肺将膨胀，这将在图像中作为“暗点”可见。该信息可以被添加到训练数据并且在深度神经网络的训练期间使用，如参考图4所描述的。
在图7B中示出ECG和呼吸信号的示例。可以基于在捕获图像期间拍摄的一个或多个原始ECG信号720来确定平均ECG信号722和导数(derivative)ECG信号726。这些信号可以用于确定锯齿信号形式的心脏相位信号726。以类似的方式，可以确定呼吸信号728。因此，在训练数据的生成期间，可以利用探头位置、方向信息和生命体征信息(诸如心跳的相位和/或呼吸的测量)来标记图像。可以基于该训练数据来训练深度神经网络，使得深度神经网络对于由于心跳和/或呼吸而导致的组织移动的影响更具有鲁棒性。
图7C描绘了由经训练的神经网络处理超声图像的高级方案，该经训练的神经网络被配置为自主地控制机器人化超声成像系统。如图所示，与探头位置相关联的超声图像730可以由经训练的深度神经网络或经训练的深度神经网络的一部分(由箭头734表示)处理成图像特征7381。如图7A所示，该处理可以由经训练的卷积神经网络或任何其他合适的深度神经网络架构来执行。类似地，在一些实施例中，可以处理与超声图像相关联的生命体征信号以提取生命体征特征7382，例如图7B所示的ECG和/或呼吸特征。可以使用任何类型的特征提取算法736从生命体征信号中提取特征。在一些实施例中，特征提取算法可以是经训练的神经网络，其被训练用于从生命体征信号中提取有用特征。
随后，特征7381,2可以由经训练的深度神经网络进行处理740，该经训练的深度神经网络被配置为生成一组坐标形式的方向信息742，该方向信息可以被认为是探头能够移动的空间中的矢量，其中，矢量在捕获图像的探头的位置处具有原点，并且其中，坐标提供指向用于目标视图的估计探头位置的矢量的方向。
应当认为，附图仅是非限制性示例，并且在不脱离本发明的本质的情况下存在许多不同的变型。例如，在实施例中，图7A中描绘的网络架构或其至少一部分可以被配置为回归模型。在该情况下，卷积子网络中的卷积块的数量可以是五个或更多个。模型的输出可以包括若干参数，包括平移参数和角度参数。
在其他实施例中，神经网络被配置为分类模型。在该情况下，平移轴线和旋转轴线可以被划分为预定数量的容器(bin)。为此，网络可以对每个轴线(x、y、z、偏转、俯仰、滚动和，可选的，距离)的情况进行分类。容器的数量可以对模型的准确性和训练复杂度二者都具有实质性影响。例如，两个容器可以暗示对一个轴线的简单决定：“向左”或“向右”，三个容器可以允许第三选择，“不移动”。将bin的数量增加到五个提供了更多的粒度，允许针对“远左”、“稍微左”、“不移动”、“稍微右”和“远右”的类别。容器的数量是训练的容易性(少量容器)与输出的精度性(许多容器)之间的权衡。
平移轴线可能需要比旋转轴线更多的粒度。因此，x轴、y轴、z轴可以例如被划分为五个容器，并且偏转、俯仰、滚动轴线可以被划分为较少数量的容器，例如三个容器。此外，二进制交叉熵可以用于损失函数并跟踪问题的总准确度。对于反向传播，可以使用公知的随机梯度下降方案。
如已经参考图7B讨论的，时间数据可以与检测探头的位置相关，因为像心跳的属性可以显著地有助于预测。因此，在另一实施例中，模型可以被配置为循环卷积神经网络(RCNN)。这样的模型可以被配置为考虑由于心跳和/或呼吸而导致的内部组织和/或器官的移动来处理为图像的时间序列(例如，视频剪辑)。可以将长短期记忆(LSTM)层添加到RCNN以提高系统的准确性。
图8A和图8B描绘了根据本发明的实施例的机器人化超声回波描记系统800的示例。如图8A所示，患者802可以以俯卧位定位并固定在支撑结构上。支撑结构可以被实现为包括框架812和水平支撑表面804的床，该水平支撑表面包括开口808，使得患者的身体部位暴露于计算机控制的探头810，该探头被配置为在平移方向和旋转方向上移动。
图8B更详细地描绘了包括计算机控制的探头的框架。如图所示，探头台810可以安装到线性机器人系统，例如笛卡尔坐标机器人，从而允许该台在x、y、z方向上的平移移动。探头台的移动可以通过控制线性机器人系统的电动机和/或致动器814、815、816来实现。探头台的平移运动可以由旋转马达通过齿轮或滑轮来实现。探头台还可以包括万向节结构，该万向节结构被设计成基于合适的角度坐标系将探头820定位在任何期望的角度位置：在xy平面中、在yz平面中以及在垂直于探头的纵向轴线811的平面中的旋转。
探头应抵靠患者的皮肤来进行定位，使得在患者身上施加力。控制施加到患者身上的力对于获得良好的图像质量是重要的。该力可以在从非常轻的接触力开始到强的力的范围之间是可控制的，该强的力仍然在患者舒适的范围内。
为了允许探头状态进行与人手腕相同的运动，偏转运动应该独立于滚动和俯仰运动。因此，为了实现偏转、俯仰和滚动运动，偏转致动器被控制为三个串联连接的致动器中的最后一个致动器(在与患者接触之前)。偏转方向提供类似于人手腕的运动效果。
图9A-图9C描绘了根据本发明的实施例的用于机器人化超声回波描记系统的可旋转探头的各种视图。图9A表示包括安装在探头保持器903中的探头902的台的侧视图。探头可以是任何类型的探头，包括市售的手动回波描记探头。探头保持器将探头固定到探头台。如图所示，探头保持器基于固定装置906连接到第一可旋转盘904，该固定装置包括具有已知弹簧常数的可压缩弹簧。固定装置允许探头相对于探头台在平行于探头的纵向轴线905的方向上移动。因此，当探头与患者柔性接触时，能够通过确定弹簧的压缩并基于测量的弹簧压缩和弹簧常数计算力来确定施加的力。第一可旋转盘904可以经由轴可旋转地连接到第一驱动滑轮908。第一马达920的输出滑轮920可以经由传动装置(例如，皮带型传动装置)连接到驱动滑轮，如图9C所描绘的。这样，第一马达可以控制探头围绕其纵向轴线(其与第一驱动滑轮908的旋转轴线重合)的旋转运动。
此外，探头保持器还可以可旋转地连接到安装结构912，该安装结构附接到线性机器人，如参考图8所述。如图9B所示，可旋转连接件将探头保持器可旋转地连接到安装结构。第二马达的输出滑轮916可以连接到第二驱动滑轮910，该第二驱动滑轮具有垂直于第一驱动滑轮908的旋转轴线的旋转轴线911。这样，第二马达可以控制探头围绕垂直于探头的纵向轴线的旋转轴线的旋转运动。
因此，与已知的机器人化回波描记系统相比，参考图8和图9描述的回波描记系统需要将患者定位在支撑结构上，该支撑结构包括开口，该开口提供机器人化探头以接近躺在支撑结构上处于俯卧位的患者的身体部位，例如胸部。该俯卧位对于回波描记成像是特别有利的，因为器官(例如，肠或心脏)不会被其他组织(例如，在心脏的情况下的肺组织)模糊或至少较少模糊，就像患者仰卧的情况一样。因此，对处于俯卧位的患者进行成像将生成改进的图像，即，具有较少的由于肺组织而导致的失真和/或干扰的图像。对于某些观察方向，将不需要将患者定位在不同的姿势中以用于对不同视图进行成像。此外，支撑结构中的开口有助于定位和固定需要被扫描的患者。由数据收集器模块生成的处于俯卧位的患者的图像用于生成用于训练模型的训练数据。基于由此生成的训练数据来训练模型将产生改进性能的训练模型。
图8和图9中描绘的系统的另一个优点涉及患者的安全。与已知的机器人化超声心动描记系统相比，患者不被定位在支撑结构、床和探头之间。相反，探头通过支撑结构的开口接近患者，使得患者不能卡在探头和床之间，从而降低机器人的故障可能导致患者可能受伤的情况的风险。
图10A和图10B示出了根据本发明的实施例的机器人化回波描记系统。该系统可以类似于参考图1描述的系统，其包括支撑结构，例如床，该支撑结构用于将患者定位在俯卧位，使得探头能够经由开口接近身体部位。在该实施例中，图10B中的数据收集区域1004可以包括不允许探头的一个或多个标记区域1006，在数据收集区域1004中探头在目标点周围移动。这样，能够避免敏感区域，例如包括乳房组织的区域。
在实施例中，这样的禁止区域可以由系统通过力反馈系统识别。例如，当探头在目标点周围移动时，探头的垂直z轴的大于特定阈值的变化可以指示探头移动到包括乳房组织的区域中。在这种情况下，探头可以移动到数据收集区域中具有较低z轴值的位置。在另一实施例中，禁止区域可以由连接到支撑结构的机械元件标记。例如，在实施例中，乳房可以抵靠合适的弯曲保持器1002放置，该弯曲保持器可以机械地安装到床上。保持器可以防止探头移动到禁止的探头区域中。
当对位于心脏的左下边界处并且位于乳房正下方的心尖进行成像时，这些实施例可能是特别有用的。为了避免探头在乳房组织上行进，探头可以仅从横向区域和远端区域接近目标区域，从预期顶点的位置接近目标区域，而不是从乳房组织上方/从乳房组织接近目标区域。可以通过使用胸骨旁信息来找到该区域(远离顶点或横向于顶点)，该胸骨旁信息也示出顶点的位置。这样，搜索和数据收集可以限于数据收集区域的一部分，而不是目标位置周围的完整数据收集区域。
提出本申请中的实施例不限于图中所示的实施例。例如，虽然附图示出了机器人化回波描记系统，其中患者以俯卧位定位在支撑结构上，但是在一些实施例中，当患者以另一姿势置于支撑结构上时系统可以扫描身体部位，例如，患者仰卧或侧躺也是可能的。此外，取代将探头布置在支撑结构下方，在一些实施例中，还可以将包括机器人的机器人系统布置在患者上方。在该情况下，支撑系统不需要具有用于提供探头接近患者的一个或多个身体部位的一个或多个开口或凹部。
本公开的技术可以在各种各样的装置或设备中实现。本公开中描述各种部件、模块或单元以强调被配置为执行所披露技术的装置的功能方面，但不必需要由不同硬件单元实现。相反，如上文所描述，各种单元可以结合合适的软件和/或固件，组合在编解码器硬件单元中，或通过互操作硬件单元(包括如上文所描述的一或多个处理器)的集合来提供。
本文使用的术语仅用于描述特定实施例的目的，并不旨在限制本发明。如本文所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组的存在或添加。
以下权利要求中的所有装置或步骤加功能元件的对应结构、材料、动作和等同物旨在包括用于结合具体要求保护的其他要求保护的元件执行功能的任何结构、材料或动作。已经出于说明和描述的目的呈现了本发明的描述，但是并不旨在穷举或将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并且使本领域的其他普通技术人员能够理解本发明的具有适合于预期的特定用途的各种修改的各种实施例。

Claims (14)

1.一种机器人化超声成像系统，包括：
机器人系统，被配置为将超声探头抵靠诸如人类对象的对象的身体部位进行定位，所述对象被定位在支撑结构上，优选地被定位在水平支撑结构，并且所述机器人系统被配置为在所述身体部位上移动所述超声探头；以及，计算机系统，包括：
数据生成模块，被配置为控制所述机器人系统以生成用于机器学习算法的临床训练数据，所述临床训练数据包括与所述对象的内部组织和/或器官的一个或多个目标视图相关联的超声图像，每个目标视图与所述超声探头的目标位置相关联，训练数据针对每个目标位置还包括探头相对于所述目标位置的多个训练位置，并且包括与所述多个训练位置相关联的方向信息，所述方向信息针对每个训练位置限定指向所述目标位置的方向，优选地，限定指向所述目标位置的矢量；
机器学习模块，包括经训练的机器学习算法，所述经训练的机器学习算法是基于所述临床训练数据进行训练的，所述机器学习模块被配置为接收当所述探头在所述对象的身体部位的表面上移动时由所述探头在当前探头位置处捕获的一个或多个超声图像，并且被配置为针对所述当前探头位置基于所述一个或多个超声图像确定估计方向信息，优选地，确定估计矢量，所述估计方向信息限定从所述当前探头位置指向与所述目标视图相关联的估计探头位置的方向；以及，
执行模块，被配置为自主地控制所述机器人系统，所述控制包括：在所述对象的身体部位的表面上移动所述探头，以基于由所述经训练的机器学习算法针对不同探头位置生成的所述估计方向信息找到针对所述一个或多个目标视图中的每个目标视图的最佳探头位置，并且在针对所述一个或多个目标视图中的每个目标视图的所述最佳探头位置处捕获所述内部组织和/或器官的一个或多个图像。
2.根据权利要求1所述的机器人化成像系统，其中，所述数据生成模块还被配置为：
确定所述探头在目标位置周围限定的预定数据收集区域内的多个训练位置；
将所述探头移动至所述训练位置中的每个训练位置并且捕获针对所述训练位置中的每个训练位置的一个或多个图像；
将与训练位置相关联的所述一个或多个图像与方向信息相关联，所述方向信息包括从所述训练位置指向所述目标位置的矢量的坐标；并且，
将所述一个或多个图像和相关联的方向信息作为临床训练数据存储在存储介质上。
3.根据权利要求1或2所述的机器人化成像系统，其中，所述系统包括训练模块，所述训练模块被配置为：
向所述机器学习算法的输入提供与训练位置相关联的图像，所述图像与方向信息相关联，所述方向信息限定从所述训练位置指向目标位置的方向，优选地，限定从所述训练位置指向目标位置的矢量；
从所述机器学习算法的输出接收估计方向信息，优选地，接收估计矢量，并基于所述矢量和损失函数评估所述估计方向信息；
基于对所述估计方向信息的评估调整所述机器学习算法的训练参数；并且，
重复向所述机器学习算法的输入提供图像、评估深度神经网络的输出以及调整所述训练参数的过程，直到评估表明所述估计矢量与所述矢量基本匹配。
4.根据权利要求1-3中任一项所述的机器人化成像系统，其中，所述执行模块被配置为：
将所述探头移动至抵靠患者的身体部位的第一探头位置，并且在所述第一探头位置处捕获一个或多个第一图像；
将所述一个或多个第一图像提供至深度神经网络以确定与所述第一探头位置相关联的估计方向信息，所述估计位置信息限定从所述第一探头位置指向所述目标视图的估计探头位置的估计方向；
将所述第一探头位置和所述估计方向信息存储在存储器中；
重复将所述探头移动至另一探头位置、使用经训练的深度神经网络确定针对所述另一探头位置的估计方向信息以及存储探头位置和相关联的估计方向信息的步骤，直到收集到一组探头位置和相关联的估计方向信息；并且，
基于收集到的探头位置和估计方向信息确定所述目标视图的最佳探头位置，并且将所述探头移动至所述最佳探头位置以捕获所述目标视图的一个或多个图像。
5.根据权利要求1-4中任一项所述的机器人化成像系统，其中，所述机器学习算法是深度神经网络或包括多个级联的深度神经网络的深度神经网络系统，优选地，卷积神经网络或卷积神经网络系统被配置为回归算法或分类算法。
6.根据权利要求5所述的机器人化成像系统，其中，所述深度神经网络或所述深度神经网络系统包括用于从由所述探头捕获的超声图像中提取特征的一个或多个卷积神经网络；和/或，其中，所述深度神经网络或所述深度神经网络系统包括密集连接的层的网络，用于将与在探头位置处捕获的超声图像相关联的特征转换为估计方向信息，其中，所述估计方向信息限定从所述探头位置指向所述目标视图的估计探头位置的方向。
7.根据权利要求1-6中任一项所述的机器人化成像系统，其中，所述临床训练数据还包括与捕获的所述一个或多个超声图像相关联的一个或多个生命体征信号的一个或多个特征，优选地，所述一个或多个特征包括ECG信号的特征和/或呼吸信号的特征。
8.根据权利要求1-7中任一项所述的机器人化成像系统，其中，所述支撑结构被配置为将所述对象定位在俯卧位，所述支撑结构包括开口或凹部，所述开口或凹部将所述对象的一部分，优选地，将所述对象的胸部，暴露于所述探头，更优选地，所述机器人系统的至少一部分被布置在所述支撑结构下方。
9.根据权利要求1-7中任一项所述的机器人化成像系统，其中，所述机器人系统包括：机器人臂，连接到成像探头以用于在平移方向和旋转方向上移动所述探头；或，线性机器人系统，优选地，被布置在所述支撑结构下方，其中，所述机器人系统包括线性机器人系统，所述线性机器人系统被配置为在平移方向上移动包括所述成像探头的探头台，并且其中，所述探头台被配置为在角度方向上移动所述成像探头。
10.根据权利要求9所述的机器人化成像系统，其中，所述机器人系统使用所述方向信息以在平行于所述支撑结构的平面的一个或多个第一方向(优选地，x、y方向)上移动所述探头。
11.根据权利要求9或10所述的机器人化成像系统，其中，与所述探头相关联的压力传感器或力传感器的传感器信号被用于在基本垂直于所述一个或多个第一方向的第二方向(优选地，z方向)上移动所述探头，优选地，所述传感器信号被用于当所述探头在所述一个或多个第一方向上移动时以恒定力将所述探头按压抵靠在所述身体部位上。
12.根据权利要求9-11中任一项所述的机器人化成像系统，其中，所述探头台包括用于保持所述成像探头的探头保持器，所述探头保持器包括压力传感器或力传感器，优选地，所述压力传感器或力传感器包括弹簧结构，使得当所述探头被按压抵靠在所述对象的身体部位上时，一个弹簧结构将被压缩，其中，所述弹簧结构的压缩表示所述探头被按压抵靠在所述身体部位上的力的值。
13.根据权利要求1-12中任一项所述的机器人化成像系统，其中，所述方向信息包括用于在平移方向上移动成像探头的一组平移坐标和用于在角度方向上移动成像探头的一组角度坐标。
14.根据权利要求1-13中任一项所述的机器人化成像系统，其中，远程控制器被成形为手动回波描记探头，所述手动回波描记探头包括一个或多个传感器，优选地，包括一个或多个加速度计传感器、一个或多个光学导航传感器和/或倾斜度传感器，以用于将所述手动回波描记探头的位置转变为位置信息，以用于控制所述机器人系统将成像探头移动至根据所述位置信息的位置。
CN202280014393.4A 2021-07-06 2022-07-06 机器人化成像系统 Pending CN117279573A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
NL2028640A NL2028640B1 (en) 2021-07-06 2021-07-06 Robotized imaging system
NL2028640 2021-07-06
PCT/NL2022/050388 WO2023282743A1 (en) 2021-07-06 2022-07-06 Robotized imaging system

Publications (1)

Publication Number Publication Date
CN117279573A true CN117279573A (zh) 2023-12-22

Family

ID=78135055

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280014393.4A Pending CN117279573A (zh) 2021-07-06 2022-07-06 机器人化成像系统

Country Status (5)

Country Link
US (1) US20240115235A1 (zh)
EP (1) EP4255311A1 (zh)
CN (1) CN117279573A (zh)
NL (1) NL2028640B1 (zh)
WO (1) WO2023282743A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116152610B (zh) * 2023-04-04 2023-06-23 北京智源人工智能研究院 智能心脏超声探头位姿预估模型训练方法及位姿预估方法
CN117481682B (zh) * 2023-09-12 2024-04-09 中山大学 彩超探头的遥控方法和装置、系统、电子设备及介质
CN117058267B (zh) * 2023-10-12 2024-02-06 北京智源人工智能研究院 基于强化学习的自主超声扫描系统、方法、存储器和设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11471124B2 (en) * 2016-11-16 2022-10-18 Regeneron Pharmaceuticals, Inc. Medical imaging table, table support assembly, probe support assembly, system, and method of use
US20210038321A1 (en) 2018-03-12 2021-02-11 Koninklijke Philips N.V. Ultrasound imaging dataset acquisition for neural network training and associated devices, systems, and methods
US20200194117A1 (en) * 2018-12-13 2020-06-18 University Of Maryland, College Park Systems, methods, and media for remote trauma assessment
FR3094124B1 (fr) * 2019-03-21 2022-08-12 Squaremind Procede de guidage d’un bras robot, systeme de guidage

Also Published As

Publication number Publication date
EP4255311A1 (en) 2023-10-11
NL2028640B1 (en) 2023-01-12
WO2023282743A1 (en) 2023-01-12
US20240115235A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
CN109077752B (zh) 移动机器臂
CN117279573A (zh) 机器人化成像系统
US9717474B2 (en) Image processing apparatus, ultrasound diagnosis apparatus, and image processing method
US9747689B2 (en) Image processing system, X-ray diagnostic apparatus, and image processing method
CN106163409A (zh) 用于超声图像采集的触觉反馈
CN1494873A (zh) 超声波诊断装置、超声波探针和超声波图像摄影支持方法
CN111166387B (zh) 甲状腺的超声成像方法和装置
KR20210011005A (ko) 초음파 영상 촬영을 안내하기 위한 시스템 및 방법
JP6489637B2 (ja) 生体内運動追跡装置
US11903760B2 (en) Systems and methods for scan plane prediction in ultrasound images
JP7286773B2 (ja) ３ｄ超音波撮像を使用した定量的腹部大動脈瘤分析のためのシステム及び方法
US20220273267A1 (en) Ultrasonic imaging method and ultrasonic imaging system
JP2022504878A (ja) 深層学習に基づく超音波撮像ガイダンス並びに関連するデバイス、システム、及び方法
US10573009B2 (en) In vivo movement tracking apparatus
US20230320700A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
WO2021183194A1 (en) Apparatus and method for automatic ultrasound segmentation for visualization and measurement
US20220296219A1 (en) System and methods for adaptive guidance for medical imaging
US20230380812A1 (en) Medical imaging method, apparatus, and system
Pahl Linear Robot as The Approach towards Individual Abdominal Ultrasound Scanning in Developing Countries?
US20230125779A1 (en) Automatic depth selection for ultrasound imaging
US20230263501A1 (en) Determining heart rate based on a sequence of ultrasound images
Degirmenci Robotic Acquisition and Enhancement of Ultrasound Images
WO2022128759A2 (en) Ultrasound imaging with anatomy-based acoustic settings
CN117197290A (zh) 基于超声图像的整体图像生成方法、装置及电子设备
Roxo 3D Heart Reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication