CN113543718B - 用于确定超声探头的包括前后方向性的运动的装置和方法 - Google Patents

用于确定超声探头的包括前后方向性的运动的装置和方法 Download PDF

Info

Publication number
CN113543718B
CN113543718B CN202080018599.5A CN202080018599A CN113543718B CN 113543718 B CN113543718 B CN 113543718B CN 202080018599 A CN202080018599 A CN 202080018599A CN 113543718 B CN113543718 B CN 113543718B
Authority
CN
China
Prior art keywords
motion
directionality
ultrasound
data
ultrasound image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080018599.5A
Other languages
English (en)
Other versions
CN113543718A (zh
Inventor
罗伯特·鲍尔
弗雷德里克·本德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Piur Imaging Co ltd
Original Assignee
Piur Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Piur Imaging Co ltd filed Critical Piur Imaging Co ltd
Publication of CN113543718A publication Critical patent/CN113543718A/zh
Application granted granted Critical
Publication of CN113543718B publication Critical patent/CN113543718B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5292—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves using additional data, e.g. patient information, image labeling, acquisition parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于确定三维定向确定运动的方法和装置，所述运动包括前后方向性，表征可移动超声探头(10)在由所述超声探头采集体积部分(2)的超声图像期间的运动。所述方法包括通过机器学习模块(50)确定指示超声图像帧(22)之间的三维运动的运动指示符(60)；以及通过方向性确定系统(56)确定超声图像帧(22)之间的三维运动的方向性指示符(66)。所述方法还包括确定方向性确定的运动指示符(96)，其指示在来自运动指示符(60)与方向性指示符(66)的超声图像帧(22)之间的三维定向确定运动，所述运动包括确定的运动的前后方向性。

Description

用于确定超声探头的包括前后方向性的运动的装置和方法
本申请的方面总体上涉及一种确定可移动超声探头的三维定向确定运动的方法，即包括关于运动(相对于超声探头)的前后方向性的信息。该方法特别是在由超声探头采集体积部分的超声图像期间执行。该方法特别包括确定指示超声图像帧之间的相对三维定向确定运动的三维定向确定运动指示符。本申请的方面还涉及一种用于确定超声探头的三维定向确定运动的相应装置。
背景技术
超声成像(超声波)因其独特的特性——可负担性、可用性、安全性和实时性，成为诊断和介入应用的主要医疗方式之一。然而，长期以来，无法以简单且可靠的方式获取3D图像，这种限制缩小了超声的临床应用范围。解决方法是通过扫描感兴趣的区域并随后将它们组合成单个体积来获取一系列2D图像。
例如，在WO 2015/191871 A1中描述了一种这样的实施方式。这种实施方式需要提供探头位置信息的定位系统。基于外部传感器的解决方案(通常使用光学跟踪或电磁跟踪)能够提供对超声探头运动的良好估计，并因此被主要使用。然而，这些解决方案是以牺牲实用性和价格为代价的。
因此，通过使用纯图像处理算法估计两个图像的相对位置，已经进行了对于估计超声探头运动(即，超声探头从一个图像到下一个图像的相对位置和方向)的研究，而无需额外的硬件。已经发现如“光流”的算法允许非常可靠地估计平面内的运动。然而，估计平面外运动(高程位移)仍然是一个挑战。
例如在US6012458中描述的一种用于估计平面外运动的一种方法是利用超声图像中可见的散斑噪声图案，因此被称为“散斑去相关”。“散斑去相关”基于以下假设，即能够通过从超声图像中选择和分离散斑，并且通过比较连续图像的散斑来估计高程距离：散斑之间的相关性越高，高程距离越低。然而，一个挑战仍然是散斑的定义及其在图像之间的对应关系。由于这些原因，现有的“散斑去相关”方法仅在相当专业的情况下成功应用，并且可能无法在所有现实生活场景中成功。
上述方法和其他基于评估几个连续超声图像的方法的共同点在于，该算法可能需要大量的训练数据和/或可能难以区分向前运动和向后运动(在向后运动中，运动矢量相对于向前运动乘以(-1))。
发明内容
本发明旨在克服上述问题中的至少一些。该目的通过根据权利要求1所述的方法和根据权利要求17所述的装置来解决。本发明的另外的优点、特征、方面和细节从从属权利要求、说明书和附图中显而易见。
因此，根据本发明的一个方面的方法旨在绕过基于超声图像的预选部分或特征的先前的方法，诸如散斑去相关模型。相反，根据该方面，该方法提供了一种具有完全基于机器学习的方法的端到端解决方案，其使用表示整个超声图像帧的图像数据作为输入，而不选择任何图像部分或特征。此外，本发明的方面不需要关于图像内容的任何假设，诸如散斑的存在。因此，该方法适用于广泛的应用。
此外，根据本发明的一个方面的方法允许确定前后方向性，即区分向前的运动和向后的运动。在此，“向前”和“向后”是指超声探头沿垂直于超声图像平面的线的(任意指定的)相对侧。前向运动通过前后对称性(例如，运动矢量乘以(-1))与对应的后向运动相关。
事实证明，虽然超声图像包含有关超声探头的相对运动的丰富信息，但关于前后对称性的潜在的问题是不变的或不可知的。这是基于评估少数连续超声图像的机器学习方法可能难以区分向前运动和向后运动的原因。根据本发明的一个方面，提出了一种以有效的方式利用基于机器学习的方法的方式来解决这种歧义的方法。
附图说明
结合附图参考以下对本发明实施例的描述，将更好地理解本发明，其中：
图1a示意性地示出了根据本发明的实施例的方法中使用的超声探头；
图1b示意性地示出了由图1a的探头获得的复合三维超声图像；
图1c示意性地示出了图1b的复合三维超声图像的前后方向性的两个选项；
图2示意性地示出了图1a所示的用于采集三维图像的方法的细节；
图3a示意性地示出了在图2所示的方法中用作输入的表示多个超声图像帧的图像数据，；
图3b示意性地示出了由图2所示的方法获得的复合三维超声图像；
图4a示意性地示出了根据本发明的实施例的用于确定超声探头的三维运动的装置；
图4b示意性地示出了根据本发明的实施例的用于确定超声探头的三维定向确定运动的装置；
图5和图6示意性地示出了根据本发明的各个实施例的机器学习模块的神经网络架构；
图7分别示出了根据对比示例和根据本发明的实施例的立面平移的预测；以及
图8a-8c分别示出了根据对比示例和根据本发明的实施例的跟踪超声扫描的3D可视化；
图9示意性地示出了跟踪超声探头的位置以便接收方向性指示数据的光学跟踪系统。
图10示意性地示出了附接到超声探头以便接收方向性指示数据的光电传感器。
图11示意性地示出了用于接收方向性指示数据的多行超声阵列。
图12示意性地示出了根据本发明的各个实施例的用于确定运动的前后方向性的第二机器学习模块的神经网络架构。
具体实施方式
图1a示出了沿着体积部分2移动的超声探头10。在此，体积部分2是患者的身体部分。探头的运动由箭头12指示，该箭头表示从起始位置(图1a左侧所示的探头10)到运动的最终位置(图1a右侧所示的探头10)的运动。在运动期间，探头10收集表示连续超声图像帧的超声图像数据。每个超声图像帧在特定成像区域或图像平面22中，即，在体积部分2的二维或三维子空间中，提供超声图像(即，超声反射率特性的图形表示信息)。成像区域22具有相对于超声探头10的预定形状和位置，并且成像区域与超声探头10共同移动。通过移动超声探头10，图像区域22在体积部分2上移动，使得超声图像帧提供体积部分2的各个部分的超声图像。
在此，超声图像帧被定义为使用超声探头在给定时间拍摄的二维或三维超声图像。图像帧表示由超声探头采集的预定义尺寸的整个图像。随后的图像帧通常具有相同的分辨率。相反，根据图像内容选择并且可能具有可变尺寸的超声图像帧的动态选择的子集不是图像帧。通常，时间戳与超声图像帧相关联。探头10收集超声图像数据作为表示连续超声图像帧的数据流。
图1b示出了所提出的发明的一个输出，即复合三维超声图像。复合三维超声图像是从采集的超声图像帧和针对所采集的超声图像帧22中的每个所确定的超声探头10的运动(位置和方向)中获得的指示被扫描的体积部分中的超声反射特性的三维图像。复合的三维超声图像能够例如被可视化为定位在空间中的图像帧的集合，或者在用诸如下面进一步描述的3D重建之类的复合算法进一步处理的情况下被可视化为完整的3D图像。
在图1c的中间，再次示出了图1b的复合三维超声图像，其中指示了两个后续图像帧A和B，其中超声图像帧B被示出为在超声图像帧A的“前”侧(在图1c中为右侧)。通常，向前和向后方向性指示垂直于超声探头的图像平面的运动方向。因此，向前运动和向后运动是相对于超声探头定义的。因此，超声探头在图像平面的一侧(例如，探头10相对于图1a中的图像平面22的右侧)具有前侧，并且在图像平面的另一侧具有后侧(例如，探头10相对于图1a中的图像平面22的左侧)；并且向前或向后运动是向探头10的相应(向前或向后)侧的运动。
在图1c的中间，复合三维超声图像已经包括了超声图像帧B是在超声图像帧A的前方还是后方(右侧还是左侧)的假设，即从超声图像帧A到超声图像帧B的运动是向前运动还是向后运动的假设。运动是向前还是向后，由运动的前后方向性来描述。
然而，图1c中示出的前后方向性尚未被可靠地确定。换句话说，由于从两个连续超声图像确定运动的固有前后对称性，当单独考虑两个连续超声图像帧时，可能无法判断运动是否前后翻转。在这种情况下，运动可能没有(或只是任意或默认的)前后方向性，即不携带运动实际上是向前还是向后的信息。这种前后方向性不一定确定的运动，也被称为前后方向性未确定运动。
为了确定前向后向性确定的运动，建议获得进一步的信息并将该信息与从超声图像获得的信息组合，以便明确确定从超声图像帧A到超声图像帧B的运动是否是向前运动F还是向后运动B，分别如图1c的上部或下部所示。
图2更详细地描绘了获得前后方向性未确定运动的具有挑战性的技术问题，这是本发明的方面旨在解决的一个子问题。在采集期间，超声探头(10)移动并且图像帧22的图像内容因此改变。本发明的一个目的是仅使用来自在两个时刻t1和t2之间获取的图像数据I1和I2的信息来恢复探头12在这两个时刻之间的运动。所估计的运动能够被表示为矩阵M12，该矩阵对一个帧C1的坐标系和另一个帧C2的坐标系之间的相对变换进行建模。然后能够对整个系列的图像重复这个过程。
通常，运动具有六个自由度(三个平移和三个旋转)，并且矩阵M12能够通过6个参数进行参数化。
图3a表示机器学习模型50的输入，即超声数据20，其包括表示超声图像帧22的超声图像帧数据的时间序列和相应的时间信息(例如，时间戳或时间索引)。此外，超声数据20还可包括元数据，例如，其指示超声设置和/或预设置，诸如超声图像帧22的增益、频率和/或动态范围。元数据也可以部分或全部作为时间序列提供。此外，机器学习模型50的输入可以可选地包括传感器数据24，例如，传感器数据的时间序列和对应的时间信息，如关于图4a更详细地描述的。
图3b对应于图1b，图1b的描述也适用于图3b。
图4a示出了所提出的发明的整个工作流程的一部分。其中，可选步骤用虚线表示。系统的主要输入是由超声系统11从探头10产生的图像数据20。这样的图像可以用各种算法30进行预处理，如图像重采样、图像过滤或其他高级分析。来自多个帧的预处理数据40然后能够输入到机器学习模块50中，该模块根据先前的学习数据52被训练以产生不同输入图像帧之间的探头的运动的估计60。对采集的所有帧重复这种过程，然后对机器学习模型的输出进行后处理70以产生探头80的轨迹。
来自先前学习数据52的训练在其利用之前执行并且包括调整模型参数的值以使其输出值尽可能接近期望值，如本领域中已知的。换句话说，训练包括解决最小化问题，以最小化与期望值相关的偏差函数(例如，L2范数)。
可选地，当外部传感器14安装在超声探头上时，其数据24也能够被预处理34并且被用作机器学习模块50的附加输入44。为此目的，例如，通过使用时间戳将数据24与图像数据20同步。
由于以上讨论的原因，图4a因此描述了本发明的用于确定前后方向性未确定运动的第一子方法(其包括以默认的或任意的方式，但不一定以可靠的方式分配前后方向性的方法)。
现在转向图4b，下面描述如何获得前后方向性确定的运动。图4b包含以上描述的图4a的方法，作为子方法。该第一子方法的结果与可能与第一子方法并行运行的第二子方法组合。结合两个子方法的输出以获得三维定向确定运动。
第二子方法的主要输入是由跟踪系统16生成的方向性指示数据26。在本文中，术语“追踪系统”用于生成方向性指示数据26(即，对于前后对称性不可知的数据)的任何系统。例如，追踪系统16可以是外部传感器14或附加的外部传感器18，如下面关于图9和10更详细地描述的。此外，如关于图11更详细地描述的，方向性指示数据能够由超声探头10本身接收。
方向性指示数据26可以可选地用各种算法36进行预处理。
(预处理的)方向性指示数据46然后被输入到下文更详细描述的方向性确定系统56中。例如，方向性确定系统56可以包括计算(预处理的)方向性指示数据46的两个数据集之间的相关性的算法和/或将(预处理的)方向性指示数据26转换成二元变量的算法。方向性确定系统56也可以是第二机器学习模块58。方向性确定系统56生成方向性指示符66，其通常是具有第一值和第二值的二元变量，例如“+1”和“-1”，其中第一值表示运动的前向性，而第二值表示运动的后向性。
能够使用由运动的方向性未确定的估计60(即，三维(前后方向性未确定的)运动)和方向性指示符66给出的信息将方向性指示符66输入到确定模块86中，以便确定方向性确定的运动指示符96，其估计不同输入图像帧之间的探头的运动，同时指定前后方向性。
通常，对采集的所有帧重复该过程，然后对机器学习模型的输出进行后处理98以产生探头99的最终轨迹。在这种后处理之前或之后，确定模块86能够将方向性指示符66的信息与利用第一子方法(参见图4a)确定的探头80的轨迹组合。
图5表示(第一)机器学习模块50的示例，其在本发明的实施例中用于确定指示三维(前后方向性未确定的)运动的运动指示符(例如，用作图4b中所示的运动指示符60)的第一子方法。机器学习模块50包括卷积神经网络。双通道图像(表示两个连续的超声帧)是神经网络的输入，并经过一系列卷积层(具有5x5或3x3像素核和64个输出通道)、激活层(此处为整流线性单元)和2x2像素的最大池化层。在网络的末端，两个全连接层将来自整个特征图的信息聚合到表示3个平移和3个旋转参数的6个数字的最终输出。这六个数字参数化了上述矩阵M12。
机器学习模型的参数(这里是卷积核和全连接层的系数)被设置为训练过程的最终状态。给定一组训练数据(每个训练数据样本能够由以下组成：(i)一对连续的超声帧，以及(ii)这两个帧之间的探头运动的非常准确的估计，其例如从跟踪系统获得，并且参数化为六个数字)，训练过程能够旨在最小化网络的6维输出与实际测量的探头运动的6个参数之间的差矢量的平方范数的所有训练数据样本的总和。这个最小化问题能够通过随机梯度下降或其变体之一解决，如动量为90％、批量大小为500且没有权重衰减的AdaGrad[JohnDuchi,Elad Hazan et Yoram Singer,《Adaptive subgradient methods for onlinelearning and stochastic optimization》,JMLR,vol.12,2011,p.2121–2159]。根据具有0均值和0.01标准差的高斯分布，能够随机选择网络参数的初始值。
可选地，能使用已知技术将平面内平移的估计预先计算为两个图像之间的光流(参见下文另外引用的Gunnar Farneback的文章)。这种光流的预计算的输出是2D矢量场，其能够被编码为2个额外的光流通道。这2个额外的光流通道用作神经网络的额外输入通道(除了上述2个图像通道)。
与图5类似，图6表示神经网络架构的示例，该神经网络架构不仅会考虑图像数据，还会考虑一些外部IMU传感器信息。这两种架构大多相似，但在产生最终输出之前，传感器的9维测量值会连接到网络的末端的聚合特征矢量。
当单独使用时，图6的方法与本发明不同，即使附加传感器数据也可以允许区分向前和向后运动。与单独采取的图6的方法相反，根据本发明的各个方面，通过将(方向性未确定的)运动指示符与单独确定的方向性指示符组合，在单独的步骤中确定方向性确定的运动指示符(即，与确定(方向性未确定的)运动指示符分开)。本发明的该方面的优点在于，确定(方向性未确定的)运动指示符的机器学习问题不受用附加传感器数据打破前后模糊的任务的影响。因此，机器学习算法能够从给定量的训练数据中产生更可靠的结果。
接下来，讨论根据本发明的一个方面的示例实施方式与现有技术实施方式相比的测试结果。为了获得这些测试结果，使用了以下描述的设置。
数据集采集和基线方法：利用Cephasonics公司(美国加利福尼亚州圣克拉拉市)的Cicada-64研究用超声波机捕获了示例实施方式中使用的所有扫描。其中，使用了128个元素的线性探头。探头调谐为9MHz，以生成超声图像。所有图像的深度设置为5cm(焦距为2cm)，每个图像捕获256条扫描线。
使用B模式图像时不进行任何滤波或反向扫描转换，以0.3mm的各向同性分辨率重新采样。该探头配备了由跟踪系统Stryker导航系统III精确跟踪的光学目标。
使用该跟踪系统，并在空间和时间图像到传感器校准之后，发明人能够获得绝对定位精度约为0.2mm的真值转换。由于美国研究所系统的数字接口和适当的时钟同步，还确保时间校准不会显示任何抖动或漂移。因此，真值在帧与帧之间具有足够的精度。
实验基于三个数据集：
-在BluePhantom超声活检幻影上采集的一组20次超声扫描(共7168帧)。图像主要包含散斑，但也包含各种高回波或低回波的团块；
-在12名志愿者的前臂上采集的一组88次活体跟踪超声扫描(共41869帧)。两个不同的操作者在每个参与者的两个前臂上进行了至少三次扫描；
-在志愿者子集的小腿上采集的另一12次活体跟踪扫描(共6647帧)。最后一组用于评估网络如何泛化到其他解剖结构。
所有扫描都是以固定方向(从近端到远端)采集的。在反向扫描上应用该算法将产生镜像结果。然而，根据本发明的方法不限于任何特定的扫描方向。
将根据本发明的算法与两种比较方法进行比较：
-线性运动，其是操作者在扫描方向上的预期运动。这意味着所有参数都被设置为其所有采集的平均值：旋转和平面内平移几乎为零，而高度平移tz恒定为2cm/s左右；
-散斑去相关方法，根据目前的技术水平：在这种比较方法中，每个图像都经过滤波，以使散斑图案更加明显，如Afsham,N.,Rasoulian,A.,Najafi,M.,Abolmaesumi,P.,Rohling,R.:Nonlocal means filter-based speckle tracking.IEEE transactions onultrasonics,ferroelectrics,and frequency control 62(8)(2015)1501-1515中所述。然后，每张图像被分成15x15个块，并计算相应的块级互相关。然后，计算基于标准指数的模型以从相关值推导出相应的z位移。最后，RANSAC被用于计算6个变换参数与位移场的稳健拟合。这些方法步骤在Prager,R.W.,Gee,A.H.,Treece,G.M.,Cash,C.J.,Berman,L.H.:Sensorless freehand 3-d ultrasound using regression of the echointensity.Ultrasound in medicine&biology 29(3)(2003)437-446中描述。
这些比较方法与本发明的实施例的两种实施方式进行了比较：被称为“标准CNN”的第一种实施方式使用上面参考图5描述的卷积神经网络方法，其具有两个输入字段(要确定其间的相对运动的两个图像)。被称为“具有光流的CNN”的第二种实施方式与“标准CNN”的不同之处在于，它进一步使用了预先计算的光流，并因此如上面参考图5所述总共使用了四个输入字段。
对于这些方法和数据集中的每个，计算了三维运动指标(三个平移tx、ty、tz和三个旋转θx、θy、θz)。此外，这些参数的误差度量是通过将它们与来自上述跟踪系统的数据进行比较来计算的。相对于扫描的第一帧，计算并平均每个帧的参数级误差。此外，计算最终漂移，其被定义为具有估计跟踪的最后一个图像中心与真值之间的距离。
结果总结在下表1-3中：
Figure BDA0003245148690000101
当比较上述方法时，能够看出，线性运动方法给出了四种方法中最差的结果，主要是由于平面外平移tz。这是意料之中的，因为保持恒定速度是困难的，因此预计该部件具有最大的可变性。散斑去相关方法通过利用帧之间的相关性显著减少了所有估计误差；尽管如此，tz上的平面外误差以及因此整体漂移仍然相当高。
另一方面，标准CNN方法(没有光流通道)能够产生已经比对比示例更好的结果。然而，能够注意到tx和ty误差有点高，尤其是在前臂扫描中。这个错误可以通过附加训练数据来减少，这允许系统通过更大的数据集更准确地学习整个转换。通过添加光流作为输入通道(具有光流方法的CNN)，这个问题也大大减少了。事实上，对于具有光流的CNN方法，例如tx和ty被更准确地估计；并且tz的估计甚至得到了进一步的改进。
因此，我们在真实的临床图像上观察到，在长度超过20cm的序列上的最终漂移仅为1.45cm，其精确度是对比示例的两倍。方法的层次结构(从低精度到高精度：线性；散斑去相关；标准CNN；具有光流的CNN)通过成对的有符号秩Wilcoxon检验得到证实，这些检验都产生了低于10-6的p值。
接下来，讨论噪声滤波的影响。为了测试散斑噪声的重要性，我们比较了在应用Cephasonics超声系统中内置的散斑滤波器之前和之后应用于图像的方法。如我们在上面的表2的最后一行中能够看到的，在未经滤波的图像上学习和测试会产生更好的跟踪估计。这表明散斑图案对于神经网络，特别是对于平面外平移的估计很重要。另一方面，在经滤波的图像上的CNN方法已经给出了比对比方法更好的结果。因此，能够得出结论，散斑确实非常有用，但对于估计平面外运动并不是绝对必要的。
对其他解剖结构的泛化：另一个有趣的问题是机器学习方法在多大程度上能够泛化到其他应用：它真的从一般统计中学习运动，还是它过度拟合图像中存在的某些解剖结构？
结果在上面的表3中报告。在此，训练数据基于前臂数据集，但结果报告的是小腿数据集。与表2相比，这些结果表明所有方法的准确性都显著下降。对于对比方法，这是由于不正确的校准(因为它们是在前臂数据集上校准的)。对于根据本发明的方法，退化甚至更严重(因为它们是在前臂数据集上学习的)。更详细地说，平面内位移仍然以合理的精度恢复，但平面外平移tz的误差已大大增加。
然而，根据本发明的方法仍然比其他方法更好地泛化到新类型的图像。该初步实验表明，准确性在很大程度上取决于目标解剖结构，但为机器学习方法的能力带来了希望。
为了进行比较，在表3的最后一行，我们还报告了利用在此特定数据集上训练的CNN获得的准确率，其仅比前臂略差(由于数据集较小)。
接下来，讨论图7。在此，使用了上面针对表1-3讨论的相同方法。为了在具有挑战性的环境下测试平面外估计，这些方法的预测被示出为单独扫描，其具有故意强烈变化的速度：前100帧和后150帧以0.3mm/帧的平均速度记录，而中间的速度几乎翻倍。图7示出了高程平移的不同预测。
正如所料，线性运动方法假设速度恒定，并将因此产生主要的重建伪影。散斑去相关方法确实检测到速度变化，但严重低估了大运动。只有根据本发明的实施例的方法能够准确地跟随探头速度。
图8a-8c示出了样本扫描上重建的轨迹的定性比较。具体地，图8a-8c示出了所跟踪的超声扫描的各个3D可视化。超声帧已经显示了它们的真实位置，并且它们的轨迹用黑色轮廓强调。相比之下，利用其他方法获得的轨迹的轮廓也以其他颜色示出：红色表示线性运动方法，蓝色表示我们实施的散斑去相关方法，绿色表示我们提出的基于深度学习的方法。
图8a表示我们的方法在性能(更特别地是最终漂移)方面的中间情况，图8b对应于所测试的前臂数据集的最佳情况，图8c对应于其最坏情况。他们在跟踪估计精度方面突出了不同方法的层次结构。
根据本发明的方面的示例实施方式的测试结果的另外的示例能够在出版物“3Dfreehand ultrasound without external tracking using deep learning”,in:MedialImaga Analysis(August 2018),Volume 48,Pages 187–202中找到，其可在http://doi.org/10.1016/j.media.2018.06.003检索，其全部内容在此通过引用并入本文。
关于这种方法的另外的细节也在R.Prevost et al.,“Deep Learning forSensorless 3D Freehand Ultrasound Imaging”,in:M.Descoteaux et al.(Eds.),MICCAI 2017,Part II,LNCS 10434,pp.628-636,2017,DOI:10.1007/978-3-319-66185-8_71中描述，其全部内容在此通过引用并入本文。
接下来，参考图9至图11，用于确定运动的前后方向性26的示例方法。这些方法中的任何一种都能够由跟踪系统16实现以生成图4b所示的前后方向性指示符66。该前后方向性指示符66随后能够与运动指示符60(参见图4b)组合(相乘)，以获得最终的方向性确定的三维运动。
图9示出了用作跟踪系统的(光学)跟踪系统。该方法可以例如使用与标记或标记集组合的光学相机。标记集可以是专用标记。或者，标记集可以是相机的视场中的一般特征或地标，其允许通过模式识别/跟踪进行一般特征跟踪，特别是皮肤特征跟踪。此外，超声探头本身或超声探头的至少一部分可以是或包括标记集。例如，如图9所示，相机能够静止地跟踪固定到超声探头的标记集。在该示例中，探头10配备有标记91，并且相机90跟踪探头12的运动和方向，在不同时间点捕获两个图像92。或者，相机可以附接到超声探头并被配置为跟踪其环境中的标记集。图9示出了利用光学相机和探头上的标记来跟踪探头运动的一种选择。
在校准相机并知道相机的视角后，能够通过已知方法获得相机采集的后续图像之间的标记图案的运动(和方向)。这种运动和方向一起允许确定超声探头是向前移动还是向后移动。因此，能够确定所需的运动的前后方向性(例如正或负的总体符号)。
在另一实施例中，相机能够附接到面向环境并跟踪环境中的固定标记集的超声探头。面向环境的相机可以被配置为检测环境中的标记集并且使用同时定位与建图(SLAM)方法，以便确定超声探头的运动的前后方向性。利用光学跟踪系统跟踪运动的前后方向性可能是有利的，因为它相对容易实现和使用。
确定运动的前后方向性的另一种方法包括使用加速度计。加速度计能够包含在IMU传感器中，包括加速度计和陀螺仪的组合。为了确定运动的前后方向性，算法能够确定加速度的方向性。随着时间的推移积分给出了速度。通过加速度计信号的积分，能够通过平均波动来降低噪声。诸如此类的增量计算倾向于随时间累积误差，因此可以使用其他数据(诸如来自超声图像或来自诸如陀螺仪之类的传感器的数据)周期性地重置和/或校准速度数据。为了执行数值积分，需要初始速度。初始速度能够假设为零(即从静止开始超声探头的运动)或者例如能够从第一子方法中获得。例如，在由第一子方法确定的运动的幅度低于预定阈值的情况下，能够将速度设置为零。除了简单的集成，还可以进行卡尔曼滤波。
图10示出了一种使用检测相对于下表面(例如患者的皮肤)的一维或二维运动的外部传感器来确定运动的前后方向性的方法。一种这样的传感器能够是光电传感器。光电传感器通常与照明源或光发射器，特别是LED或激光结合使用。图10表示使用光电传感器确定运动的前后方向性的示例方法。光电传感器93可以附接到超声探头10。光电传感器连续地将图案投射到下表面上，并且它采集该投射的低分辨率图像94。通过随后在探头12的移动期间与照明源一起采集下表面的低分辨率图像94，光电传感器能够通过已知用于例如确定电脑鼠标的运动的任何算法来确定运动的前后方向性。
可以以类似的方式使用用于电脑鼠标的任何其他传感器来确定相对于下表面的一维或二维表面运动。示例包括用于通过检测旋转元件(诸如球体或轮子)的角运动来确定该表面运动的传感器。例如，这种传感器能够是里程表或旋转编码器。里程表通常机械地和/或电子地确定所覆盖的距离，并且可以提供数字输出信号。旋转编码器也转换旋转元件数字输出信号的角位置或运动。旋转编码器可以是电子的、机械的、光学的、磁的、电容的或它们的组合。旋转编码器可以是增量式或绝对式编码器。旋转元件可以附接到超声探头，使其例如由于与下表面的接触而通过超声探头的运动(即通过在下表面上滑动)而被驱动旋转。超声探头的运动的前后方向性影响在下表面滑动的旋转元件的旋转方向。根据旋转方向，旋转编码器发出的相应数字信号允许确定运动的前后方向性。
图11示出了使用具有多行超声阵列的超声探头来确定运动的前后方向性的另一种方法。通常，多行超声阵列可以提高跟踪的准确性。多行超声阵列探头10的使用允许直接从超声图像数据确定前后方向性，并且不需要额外的硬件。在图11中，多行超声阵列探头10在移动方向12上在下表面上移动并采集原始超声信号。为了从阵列的不同换能器行获得信号，必须访问原始IQ数据，特别地，可能需要原始通道数据。
图11示出了一种简单的情况，其说明了来自多行超声阵列探头10的多行超声图像包含用于确定运动的前后方向性的足够信息的事实：在图11的情况下，在时间t1处，探头10在换能器行95a处检测到回波，而在换能器行95b上没有信号；并且在稍后的时间t2处，换能器行95b检测到相同的回波，而换能器行95a没有接收到来自体积部分的回波信号。这表明超声探头在组织上移动，使得引起回波信号的组织部分在时间t1时在换能器行95a处，并且在时间t2时在换能器行95b处。换句话说，因为超声探头中的换能器行95a、95b的相对位置和方向是已知的，所以能够从超声图像确定探头在图11中向上移动。如果换能器行接收到的信号的顺序颠倒，则会观察到运动的相反的前后方向性，即相反的符号。
更一般地，通过计算第一换能器行95a在时间t1处接收的信号与换能器行95b在时间t2处接收的信号的相关性，可以检测来自下表面上的相同点的信号之间的相关性；并且从该相关性可以确定运动的前后方向性(例如，通过类似于图5或图6或图12中所示的另外的机器学习模块，其被训练以确定前后方向性指示符)。
图12示出了用于本发明的实施例中的第二机器学习模块58(参见图4b)。类似于图5或图6的第一机器学习模块50，第二机器学习模块58可以使用由超声探头10接收的一大组超声图像数据作为输入，例如，至少五个超声图像帧，其优选跨越要执行图像合成的总体积的主要部分(在前后方向上超过长度的50％)。利用该数据，可以训练第二机器学习模块58以确定运动的前后方向性。
不同于图4b的第一机器学习模块50(例如，根据图5或图6实现的)，第二机器学习模块58的输入数据具有关于运动的前后方向性的信息，因为它不仅包含几个(两个或三个)超声图像，还包含跨越大量包含有关人体的解剖特征的信息的多个图像。例如，当超声探头从手移到肩部时，在超声图像帧中腕骨先于肱骨被看到。因此，机器学习模块58能够通过识别肱骨之前或之后的腕骨来学习识别图像帧之间的前后方向性。
一般而言，图4b的第二机器学习模块58的训练使用在人体上采集的超声图像序列，其包含指示前后方向性的伴随人体解剖结构的特定特征。同样，图11的第二机器学习模块的使用与单独在图6中说明的方法有很大不同。通过具有分别确定(方向性未确定的)运动指示符和方向性指示符的两个单独的(即，第一和第二)机器学习模块，由第一机器学习模块确定(方向性未确定的)运动指示符的机器学习问题从打破前后歧义的任务中解脱出来，并且因此可以从给定量的训练数据中产生更可靠的结果。
优选地，第二机器学习模块58可以包括神经网络，优选是卷积神经网络。可用于通过使用已知解剖信息来确定运动的缺失的前后方向性的神经网络模型能够具有如图12所示的架构。该网络的输入将由一系列N个随后从超声探头采集的超声图像(即超声视频)组成。它使用与图5或图6中的网络类似的元素，诸如卷积层和池化层以及全连接层，以及ReLU和sigmoid非线性。此外，诸如LSTM层之类的循环层可以与卷积层结合使用，其利用数据的顺序性。由于超声图像序列是在用于训练网络的人体解剖结构上采集的，并且因为人体解剖结构表现出一定的方向性，例如在远离心脏的运动期间的血管的分支，网络能够从图像序列确定探头的运动的前后方向性。该模型的输出可能由描述运动的向前或向后方向性的二元变量组成。通常，这种方法将需要后处理，因为与利用例如仅两个连续的超声图像帧接收的估计相比，对于整个超声图像数据流的前后方向性的确定将更加准确。
其他方面的说明：
接下来，更详细地限定本发明的各种更一般的方面。除非明确指出相反，否则如此定义的每个方面都可以与任何其他实施例或与任何其他方面组合。参考附图的附图标记仅用于说明，并非旨在将各个方面限制于附图中所示的实施例。
根据一个方面，确定超声探头10的三维运动。根据一个方面，三维运动具有六个自由度，并且包括位移(三个自由度)和旋转(三个自由度)。位移包括平面内位移和高程位移；旋转包括平面内旋转和平面外旋转。在此，术语平面内和平面外是指由超声探头10采集的图像帧22定义的图像平面。三维运动指示符可以是这些自由度或者至少是这些自由度的子集的任何参数化。根据一个方面，超声探头是一种徒手探头，并且具有完整的六个自由度。根据另一方面，超声探头受到约束，将自由度限制为小于6。
该方法包括从超声探头10接收超声图像数据流，以及将表示多个超声图像帧的超声图像数据的至少一个子集输入到机器学习模块中。超声图像数据(的子集)可以以任何其他方式进行预处理、滤波或改变。术语“至少一个子集”要求来自超声探头的超声图像数据中包含的信息至少部分输入到机器学习模块中。
根据一个方面，甚至将完整图像数据或其子集作为输入子集。在子集的情况下，无论超声图像帧的图像内容如何，都会获取该子集，并且因此不需要任何图像分析。
接下来，描述与超声图像数据的预处理相关的方面。根据一个方面，该方法包括在至少将超声图像数据的子集输入到机器学习模块之前预处理超声图像数据。例如，预处理可以包括预计算运动指示数据。运动指示数据的示例是表示在超声图像的至少两个之间的平面内位移的平面内位移数据。然后，该方法可以包括将作为附加输入的运动指示数据(诸如平面内位移数据)输入到机器学习模块。例如，运动指示数据可以是诸如矢量场之类的二维数据集，并且可以作为附加图像通道被输入到机器学习模块。
该方面的优点在于，通过向机器学习模块输入明确表示运动的一些容易计算的方面的数据，机器学习模块可以能够更可靠地和/或以更少的训练数据提供关于其余方面的信息。
平面内位移的预计算可以通过任何已知的方法来进行。根据一个方面，预计算是通过“光流”方法进行的，诸如在[Gunnar Farneback,Two-frame motion estimationbased on polynomial expansion,Lecture Notes in Computer Science,2003,(2749),363-370]中所描述的方法。因此，平面内位移数据可以被计算为表示至少两个超声图像之间的子像素密集光流的光流矢量场。
根据另外的方面，能够使用以下至少一项对超声图像数据进行预处理：
-重采样：超声图像数据可以被重采样为给定大小或使其像素中的每个具有给定分辨率。这样做是为了使系统对超声系统的某些设置(如所使用的扫描线的深度或数量)具有鲁棒性。
-图像滤波：这包括任何局部滤波器(如低通或高通滤波器)、自适应滤波器(如散斑去噪、增强或屏蔽)或全局图像变换(如直方图均衡化)。
-分割：另一种预处理将包括对图像进行分割，即将所有像素分类为多个类别中的一个，并使用这种概率图作为附加输入。例如，在医学应用中，一个示例是分割皮肤、脂肪、肌肉和骨骼像素。
-任何预计算的特征：例如，如前所述，用作光流矢量场作为模型输入的附加通道。
根据另外的方面，如果输入附加传感器数据，则能够使用以上至少一项对传感器数据进行预处理。
根据一个替代方面，在至少将超声图像数据的子集输入到机器学习模块之前，没有对超声图像数据进行预处理。
接下来，描述与机器学习模型相关的方面。根据一个方面，机器学习模型包括神经网络。特别地，机器学习模块可以包括卷积神经网络。
根据另外的方面，卷积神经网络具有输出多个特征图的卷积层，每个特征图均是与层输入的特定内核卷积的结果。在整个本申请中，不定冠词“a”在“至少一个”的意义下使用，并且特别包括多个的可能性。卷积神经网络可以具有多个卷积层，例如，两个、三个或四个卷积层，其彼此串联连接，并且可选地在卷积层的至少一些之间具有池化层。
根据另外的方面，卷积神经网络还包括激活层(例如sigmoid或整流单元层)和/或全连接层，该全连接层输出全局特征矢量或网络最终预测。例如，卷积神经网络可以包括多个(例如两个)全连接层，该全连接层从卷积层和/或池化层接收输入，并且提供运动数据(例如，表示3个平移和3个旋转参数的6个数字)作为输出。
根据另外的方面，神经网络是具有动态时间行为的循环神经网络(即网络对给定超声图像数据的预测取决于已输入网络的先前的帧)。例如，一种流行的架构选择是长短期记忆(LSTM)网络。
虽然根据本发明的机器学习模块主要通过神经网络进行了说明，但其并不限于神经网络。相反，也可以使用其他类型的机器学习模块。例如，根据另外的方面，机器学习模块还可以包括例如随机森林算法。
接下来，描述与来自超声探头的输入数据的进一步的细节相关的方面。
根据一个方面，该方法包括将对应于(连续)图像帧的一对(或子集)的局部图像数据输入到机器学习模块，以用于确定超声图像帧的该对(子集)之间的相对三维运动，以及对图像帧的连续对或子集重复该过程。
根据一个替代方面，该方法包括将基本上跨越整组图像帧的一组全局图像数据输入到机器学习模块，以用于确定超声图像帧的第一帧与最后一帧之间的相对三维运动。因此，例如超声图像数据的完整流可以输入到机器学习模块中。
根据另外的方面，该方法可以包括跳过诸如每个第二帧之类的帧。从而可以减少对计算能力的需求，同时仍然提供及时的信息。
根据另外的方面，该方法可以包括向机器学习模块输入基本上跨越整组图像帧的一组全局图像数据。然后，机器学习模块可以确定在诸如超声图像帧的第一帧与最后一帧之类的一些超声图像帧之间的相对三维运动。
根据另外的方面，图像数据是二维或三维的，即它描述了二维图像帧或三维图像帧。例如，三维图像帧可以通过使用能够对小的3D超声体积成像的探头来产生，例如通过矩阵阵列超声换能器或通过摆动超声系统。
根据另外的方面，图像数据可以包括通过至少一种超声成像模式获得的数据，诸如A模式、B模式、连续谐波成像、彩色多普勒模式、平波成像等。根据另外的方面，图像数据可以包括原始射频数据。根据另外的方面，例如在散斑噪声滤波步骤之前，在处理流水线的各个点处从超声系统提取图像数据。
根据另外的方面，图像数据可以包括包含速度信息的多普勒数据。多普勒数据可以通过附加的具有多普勒能力的超声传感器获得。
根据另外的方面，图像数据可以包括指示超声设置的元数据，例如诸如增益、频率和/或动态范围之类的预设。
接下来，描述与另外的(非超声)传感器数据的使用相关的方面。
根据一个方面，可以提供附加传感器(例如，其固定到超声探头)，并且该方法可以包括将来自附加传感器的传感器数据输入到机器学习模块。图像数据的上述描述也可以可选地应用于机器学习模块的传感器数据。
例如，附加传感器可以包括加速度传感器，该方法包括通过附接到超声探头的加速度传感器检测超声探头的加速度；以及将对应于至少两个超声图像帧的加速度输入机器学习模块。加速度数据可以被预处理，例如用于检测机器学习模块可能不太能够处理的突然运动，并且用于在检测到突然运动的情况下生成突然运动信号。
代替来自加速度传感器的数据或除了来自加速度传感器的数据之外，还可以使用任何其他传感器数据，特别是从IMU传感器获得的传感器数据，诸如加速度、陀螺、磁场、气压数据，尤其是加速度和/或陀螺。
根据另外的方面，附加传感器可以包括用于检测超声探头的旋转的旋转传感器。
根据另外的方面，该方法可以包括跟踪超声探头的位置(通过诸如光学跟踪系统之类的跟踪系统，例如，静止的并跟踪附接到探头的标记集的由内向外跟踪器，或者附接到探头并跟踪固定的标记集的由外向内跟踪器)。然后，可以将探头运动指示符与跟踪数据进行比较和/或组合以识别和/或补偿误差。另一种操作模式是检测跟踪系统是否失败(例如，跟踪标记是否被遮挡)，并且如果确定跟踪系统失败，则使用确定的探头运动指示符作为备份，通过用从三维运动指示符(60)确定的探头位置和方向代替来自跟踪系统的跟踪位置信息。因此，根据该方面的方法可以用于使现有的跟踪系统更鲁棒或更精确。
根据另外的方面，附加传感器包括光学设备(例如相机或基于激光的运动检测系统)。
根据另外的方面，该方法包括生成探头运动指示符的可靠性指示符来作为跟踪数据与探头运动指示符之间的比较结果。例如，该方法可以包括检测所确定的三维运动与传感器数据之间的不一致，并且在检测到不一致的情况下，生成输出不可靠的指示。
根据另外的方面，不提供外部跟踪器。
接下来，描述与超声探头相关的方面。根据一个方面，超声探头包括超声换能器阵列，以用于发射超声束并检测在扫描平面中的多个样本体积处从体积部分的对象体积反射的超声回波。根据另外的方面，超声图像数据源自通过所述身体部分从多个扫描平面中的每一个平面反射的超声回波。
接下来，描述与训练数据和采集协议相关的方面。
根据一个方面，机器学习模块已经使用训练图像数据流进行训练，该训练图像数据流使用预定采集方向获得，并且该方法包括当超声探头根据预定采集方向沿着身体部分移动的同时从超声探头接收超声图像数据流。可选地，传感器数据是同步的。
根据另外的方面，训练数据是通过使用为每个图像帧输出探头的跟踪位置和/或运动的单独的跟踪系统，以及与训练图像数据一起输入探头的跟踪位置和/或运动的指示符作为真值来生成的。因此，根据一个方面，训练数据包括(1)超声图像数据，(2)作为真值的跟踪数据，以及(3)可选的传感器数据。
机器学习模块的训练能够根据任何已知的机器学习系统来实现。机器学习模块通常包括依赖于模型参数的模型函数(例如，神经网络)，其中模型函数的输入是机器学习模块的图像数据和其他可选输入，输出是作为输入和参数的函数的运动数据。通常，通过使用训练数据解决模型函数的优化问题来训练机器学习模块，即，该训练数据为具有已知“真”输出(真值，例如，来自精确跟踪系统的已知运动数据)的模型函数的输入。优化问题在于找到一组最小化成本函数的f模型参数，其被定义为模型函数的输出与真值之间的误差度量。这种误差度量的一个示例是平方L2范数，即，机器学习模块的模型函数预测的3个平移和3个旋转参数与根据跟踪数据计算的参数之间的平均平方差。
接下来，描述与对探头运动指示符的进一步处理相关的方面。根据一个方面，该方法包括根据探头运动指示符(根据超声图像帧之间的相对三维位移和旋转)确定超声探头的探头位置和方向。探头位置和方向可以通过多个探头运动指示符的离散积分来获得。
根据另外的方面，该方法包括对确定的探头位置和方向进行滤波。例如，该方法可以包括例如通过比较和/或平均由机器学习模块获得的多个估计来进一步细化和调整探头运动指示符或所确定的探头的位置和方向。
根据另外的方面，该方法可以包括例如通过任何已知的3D超声体积复合和/或重建算法来使用确定的探头位置和方向以及超声图像数据流重建三维超声图像，参见[Nicholas Rohling,Robert.(1999).3D Freehand Ultrasound:Reconstruction andSpatial Compounding]。
接下来，描述一些另外的方面。根据一个方面，体积部分是患者的身体部分。例如，身体部分可以包括诸如患者的前臂部分和/或腿部部分之类的肢体部分，例如，用于旁路手术的外周静脉映射或AV-瘘映射的临床应用。
或者，体积部分也可以是待非破坏性检查的物品的一部分。
根据另外的方面，该方法包括根据超声图像流直接预测超声探头运动，无需任何外部跟踪系统的输入，并且可选地仅基于图像数据，即，无需输入除图像数据之外的任何传感器数据。
根据另外的方面，该方法在由超声探头采集体积部分的超声图像期间(即，在其上下文中)执行。这包括对先前采集和存储的图像数据的评估。优选地，当采集超声数据时，以至少部分重叠的方式执行该方法(并且特别是确定步骤)。
根据另外的方面，提供了一种用于在超声探头采集体积部分的超声图像期间确定可移动超声探头10的三维运动的装置。该装置包括：探头输入接口，其用于当超声探头沿体积部分移动时从超声探头10接收超声图像数据流20；以及机器学习模块50。机器学习模块50具有：输入部分，其适于接收表示多个超声图像帧22的超声图像数据20、40的至少一个子集作为输入；以及训练存储器部分，其包含训练存储器，该训练存储器已经被训练以确定超声图像帧之间的相对三维运动。这些部分能够由软件或由硬件或由软件和硬件的组合提供。机器学习模块50适于根据输入并使用训练存储器来确定指示超声图像帧之间的相对三维运动的三维运动指示符。
根据另外的方面，此处描述的装置，特别是机器学习模块50，适于执行根据此处描述的任何实施例和方面的方法。因此，该装置可以具有用于执行此处描述的每个方法步骤的装置部件(模块)。这些方法步骤可以通过硬件部件、通过适当软件编程的计算机、通过两者的任何组合或以任何其他方式来执行。因此，特别地，该装置包括：探头输入接口，其用于当超声探头沿体积部分移动时从超声探头10接收超声图像数据流20。该装置还包括机器学习模块50，其具有：输入部分，其适于接收表示多个超声图像帧22的超声图像数据20、40的至少一个子集作为输入；以及训练存储器部分，其包含训练存储器，该训练存储器已经被训练以确定超声图像帧之间的相对三维运动。因此，机器学习模块50适于根据输入并使用训练存储器来确定指示超声图像帧之间的相对三维运动的三维运动指示符。
根据另外的方面，运动指示符60可能不完全由机器学习模块50确定。特别地，如果机器学习模块是卷积神经网络，则它可能很难直接从机器学习模块的输出中识别运动指示符的前后方向性(由于问题的潜在前后对称性，如上所述)。例如，运动指示符可以是描述从一个图像帧A到另一图像帧B的运动的矢量或轨迹。通常，由卷积神经网络确定的运动指示符用一个符号来指示运动的方向，其中该符号与运动的前后方向性相关。例如，运动指示符可能缺少关于图像帧A是在图像帧B的左侧还是右侧的信息，或者换句话说，缺少关于图像帧A与图像帧B之间的运动是向前运动还是向后运动的信息。
接下来，描述与确定三维定向确定运动(其包括前后方向)的方法相关的一般方面。
根据一个方面，前后方向性指示运动的两个选项之一，其能够相对于超声探头向前或向后。运动包括通常一方面由路径、曲线或矢量轴给出，另一方面由前后方向性给出的方向。前后方向性指示运动是在例如由给定矢量或轨迹确定的方向上，还是在完全相反的方向上。换句话说，前后方向性与前向运动与后向运动之间的对称变换相关。前后方向性指示方向的符号，其中，例如，矢量的符号变化对应于前后方向性的反转。例如，根据参考(系统)，前后方向性被理解为指示运动是向前还是向后、是从左到右还是从右到左、是从上到下还是从下到上、是顺时针还是逆时针。
根据一个方面，方向性指示数据是与运动指示符分离的数据项。方向性指示数据可以例如包含二进制格式的指示前后方向性的二进制信息。根据一个方面，方向性指示数据是从与运动指示符不同的源(例如，诸如不同的传感器和/或算法之类的不同的数据源)获得的。
根据一个方面，指示运动的前后方向性的方向性指示数据是从与所采集的超声图像分离的数据源获得的，例如，从诸如光学传感器之类的单独的传感器获得。根据一个方面，指示运动的前后方向性的方向性指示数据是从光学传感器获得的，特别是攻击超声探头的光学传感器和/或指示相对于诸如皮肤表面之类的表面的运动的光学传感器。光学传感器可以例如是激光传感器(类似于鼠标中使用的激光传感器)或具有处理单元的相机传感器，该处理单元被配置为识别相机传感器相对于表面的二维运动，并且从该二维运动提取前后分量。
根据一个方面，三维定向确定运动是具有明确确定的前后方向性的运动。这与作为模糊确定的运动的三维运动(其中未明确确定前后方向性)形成对比。虽然三维运动包括前后方向性，但它是默认的或任意的。
根据一个方面，三维定向确定运动利用方向性确定的运动指示符96来描述。方向性确定的运动指示符96可以是两个图像帧之间的矢量或轨迹。特别地，与运动指示符60相关的方面也可以与方向性确定的运动指示符96相关(与前后方向性相关的方面除外)。需要强调的是，方向性确定的运动指示符96的确定不一定需要确定诸如方向性确定的矢量之类的新的数据值，但还能够包括例如计算规则。因此，方向性确定的运动指示符96的确定指示由方向性指示符66产生的功能。例如，方向性指示符能够具有取决于运动的前后方向性的信息“+1”或“-1”。如果运动指示符60包括方向性模糊确定的矢量，该矢量原则上描述位置A和B处的图像帧之间的运动，但缺少前后方向性信息，则方向性指示符能够用于确定是将运动指示符添加到位置A(“+1”)还是从位置A(“-1”)中减去运动指示符，以到达位置B。这样，能够在不计算方向性确定的矢量的情况下确定图像帧的相对位置。
根据一个方面，三维定向确定运动指示符通过使用用于确定运动指示符60的方法和一些附加步骤来确定，该附加步骤包括接收方向性指示数据、将方向性指示数据的至少一个子集输入到方向性确定系统中以及确定方向性指示符。优选地，方向性指示符是具有第一值和第二值的二元变量，例如“+1”和“-1”，其中第一值表示向前运动，而第二值表示向后运动。
根据本发明的一个方面，前后方向性是在机器学习模块50之外获得的，并且仅在后期才与机器学习模块50的结果结合。在这方面，以与馈入机器学习模块的其他外部传感器数据根本不同的方式来确定和处理前后方向性。这种分离的处理考虑了这样一个观点，即从少量连续超声图像帧中确定(前后未确定的)运动的问题是一个独立于前后方向性的变化(并因此对其视而不见)的良好近似。因此，独立于前一个问题来解决确定前后方向性的问题是有利的。独立地确定运动的前后方向性可以是有利的，因为机器学习模块可以更精简且更有效。此外，此处公开的确定运动的前后方向性的方向性确定系统相对较快，并且允许(除了使用第二机器学习模块的实施方式之外)即时确定三维定向确定运动，即在超声探头沿体积部分移动时即兴地进行。对于即时的实施方式，可以在超声探头沿体积部分移动的同时，针对连续的超声图像对分别重复地确定方向性指示符66和方向性确定的运动指示符96。
根据一个方面，接收超声图像数据流、输入超声图像数据的至少一个子集以及确定运动指示符的步骤定义了第一子方法，接收方向性指示数据、输入方向性指示数据的至少一个子集以及确定方向性指示符的步骤定义了第二子方法。第一子方法和第二子方法可以彼此并行运行并且基本上彼此解耦。这些方法不必完全解耦，因为方向性指示数据能够通过超声波探头，即接收图像数据的同一传感器来接收。
接下来，描述与接收方向性指示数据相关的方面。
根据一个方面，方向性指示数据能够从跟踪系统16接收，该跟踪系统是以下之一或其组合：超声探头10、外部传感器14、18，其中，可选地，后者能够与从机器学习模块50接收的数据相结合。例如，如果加速度计具有足够的精度，并且诸如卡尔曼滤波器之类的滤波方法用于对加速度进行积分以获得速度，则加速度计原则上能够确定运动的前后方向性。然而，与机器学习模块的组合仍然有效，也可以用于卡尔曼滤波器以改进速度估计(并因此改进前后估计)。
根据另外的方面，方向性指示数据26作为数据流被接收，其至少部分地与超声图像数据流20同步。至少部分同步意味着方向性指示数据的至少一个子集与超声图像数据的至少一个子集同步，子集在时间上散布在相应数据的大部分中；在理想情况下，所有接收到的数据都附有时间戳，使得超声图像数据和方向性指示数据的各个信号能够同步。同样，另一外部传感器的数据能够包括时间戳，以便同步数据流。
根据另外的方面，确定运动的前后方向性的方法包括使用超声探头本身。在一个实施例中，运动的前后方向性能够用具有多行超声阵列的超声探头确定，该阵列包括具有多个换能器行的阵列，其中使用来自原始IQ数据的来自各个换能器行的信号。在另一实施例中，由超声探头10接收的超声图像数据的至少一个子集被用作第二机器学习模块58的输入。第二机器学习模块58可以被训练以确定运动的前后方向性。
接下来，描述与利用外部传感器接收方向性指示数据相关的方面。
根据一个方面，方向性指示数据能够从外部传感器14或18接收。外部传感器可以检测位置，该位置也包括超声探头的角位置。外部传感器也可以检测超声探头的角速度和/或平移速度。根据一个方面，外部传感器可以检测超声探头的旋转或平移运动的加速度。外部传感器，特别地，也可以检测超声探头10在超声图像帧之间的位移。
根据一个方面，方向性指示数据从外部传感器接收，该外部传感器是以下之一或其组合：光学相机、里程表、旋转编码器、位置传感器、光电传感器、加速度计。根据一个方面，方向性指示数据从外部传感器接收，该外部传感器与如球体或轮子的旋转元件结合使用。外部传感器可以将旋转元件的角位置或运动转换为数字输出信号。这种外部传感器可以是位置传感器、旋转编码器或里程表。根据一个方面，由于与界定扫描体积部分的下表面接触，旋转元件被驱动旋转。根据一个方面，旋转元件在下表面滑动。
根据一个方面，方向性指示数据从检测加速度的外部传感器接收。这种传感器可以是加速度计。根据一个方面，加速度计可以与陀螺仪相结合。根据一个方面，加速度计用于根据加速度确定速度。卡尔曼滤波器可以用于根据加速度确定速度。由于卡尔曼滤波器是一个通用框架，因此还可以将来自机器学习模块的输出及其对速度的估计应用于滤波器以确定前后运动。使用机器学习模型从图像数据和IMU数据的融合来确定运动的一种选择在https://arxiv.org/pdf/1803.05850.pdf中描述。
接下来，描述与方向性确定系统相关的方面。
根据另外的方面，方向性确定系统56不是机器学习模块50。通常，方向性确定系统56是以下之一或其组合：第二机器学习模块58、计算方向性指示数据26的两个数据集之间的相关性的算法和/或将方向性指示数据转换成二元变量的算法。计算两个数据集之间的相关性可以允许确定运动的前后方向性。相关性是对例如在不同位置或时间接收的两个数据集的关系或相似性的度量。相关性能够是一种估计诸如图像之类的两个数据集之间的相对位移的方法。计算相关性可以包括使用互相关来测量数据集中的偏移的概念。通常，互相关会产生一维或二维信号，其轴对应于相应方向上的位移。通过找到该图像中最大值的位置，能够确定最可能的位移。然后，前后方向性，例如“+1”或“-1”信息，将由互相关的最大值的位置给出(无论是在相应方向上的中心左侧还是右侧)。在实际应用中，通常使用傅立叶变换方法计算相关阵列，因为这些方法比直接计算相关的方法要快得多。
根据一个方面，方向性确定系统56是第二机器学习模块58，其被训练以确定运动的前后方向性。对于该实施方式，方向性指示数据可以是已经输入到第一机器学习模块50中的超声图像数据。根据一个方面，方向性指示数据包括具有多个图像帧的超声图像数据的全局序列，其允许识别体积部分的性能特征，特别是解剖学特征。超声图像数据的全局序列可以在体积部分的长度上延伸，该长度在至少两个相关解剖标志上延伸，例如血管、骨骼、关节或器官。这例如对于具有许多可识别器官的腹部可能是大约2cm的非常小的长度，或者例如在手臂或腿上可能是超过5cm的较大长度。根据一个方面，第二机器学习模块的训练使用在人体上采集的超声图像序列，使得特定的解剖标志与人体解剖结构一起指示向前或向后的方向性。
应当理解，与本文中的任何方法、子方法或实施例一起示出的元件或特征对于特定方法或实施例是示例性的，并且可以用于本文公开的其他方法、子方法或实施例或与本文公开的其他方法、子方法或实施例组合使用。特别地，本文进一步公开的是以下条款的主题：
1、一种在可移动超声探头(10)采集体积部分(2)的超声图像期间确定超声探头的三维运动的方法，所述方法包括：
-当所述超声探头(10)沿所述体积部分(2)移动时从所述超声探头接收超声图像数据流(20)；
-获得至少表示所述超声探头沿所述体积部分(2)的运动方向的运动指示输入数据；
-将表示多个超声图像帧(22)的超声图像数据(20、40)的至少一个子集输入到机器学习模块(50)中，其中，
所述机器学习模块(50)已经被训练以确定超声图像帧(22)之间的相对三维运动；
-将传感器数据输入到所述机器学习模块(50)中，其中，(当所述超声探头沿所述体积部分(2)移动时)所述传感器数据关于所述超声探头相对于所述体积部分(2)的方向来描述所述超声探头的平移运动；以及
-通过所述机器学习模块(50)确定指示所述超声图像帧之间的相对三维运动的三维运动指示符(60)。
2、根据条款1所述的方法，还包括预处理所述超声图像数据，所述预处理包括图像滤波、图像重采样和图像分割中的至少一种。
3、根据前述条款中任一项所述的方法，其中，所述机器学习模块(50)包括神经网络，优选包括卷积神经网络。
4、根据前述条款中任一项所述的方法，其中，
输入所述超声图像数据(20、40)的至少一个子集的步骤包括将对应于一对超声图像帧(22)的局部图像数据输入到所述机器学习模块(50)，并且其中，
所述三维运动指示器符(60)指示该一对超声图像帧(22)之间的相对三维运动，并且其中，
对连续的图像帧对或子集重复输入和确定步骤。
5、根据前述条款中任一项所述的方法，其中，
输入所述超声图像数据(20、40)的至少一个子集的步骤包括将基本上跨越整个超声图像帧集(22)的全局图像数据集输入到所述机器学习模块(50)，并且其中，
所述三维运动指示符(60)指示相对三维运动，以用于确定所述超声图像帧(22)的每个相对于第一个超声图像帧的相对三维运动。
6、根据前述条款中任一项所述的方法，其中，所述超声图像数据(20、40)包括A模式数据、B模式数据、连续谐波成像数据、多普勒数据、平波成像数据和原始射频数据中的至少一种。
7、根据前述条款中任一项所述的方法，还包括将另外的传感器数据输入到机器学习模块(50)中，其中，所述另外的传感器数据与所述超声图像数据(20、40)同步。
8、根据前述条款所述的方法，其中，所述另外的传感器数据包括以下的至少一个：例如由跟踪系统获得的位置数据、表示与至少两个超声图像帧相对应的加速度的加速度数据、陀螺仪数据、磁测量数据和气压计数据。
9、根据前两项条款中任一项所述的方法，还包括检测确定的三维运动指示符(60)与传感器数据之间的不一致性。
10、根据前述条款中任一项所述的方法，还包括根据三维运动指示符(60)确定每个图像帧(22)的超声探头(10)的探头位置和方向。
11、根据前述条款所述的方法，还包括：通过另外的跟踪系统跟踪可移动超声探头(10)的位置从而生成跟踪位置信息；检测跟踪系统是否失效；以及如果确定所述跟踪系统失效，则用根据所述三维运动指示符(60)确定的探头位置和方向代替所述跟踪位置信息。
12、根据前两项条款中任一项所述的方法，还包括使用超声图像数据流和根据所述三维运动指示符(60)确定的探头位置和方向来重建三维超声图像。
13、根据前述条款中任一项所述的方法，其中，所述方法包括使用所述三维运动指示符(60)根据超声图像流直接预测超声探头运动，而不使用另外的跟踪系统。
14、一种用于在可移动超声探头(10)采集体积部分的超声图像期间确定超声探头的三维运动的装置，所述装置包括：
-探头输入接口，其用于当所述超声探头(10)沿所述体积部分移动时从所述超声探头接收超声图像数据流(20)；以及
-机器学习模块(50)，其具有
(a)输入部分，其适于接收表示多个超声图像帧(22)的超声图像数据(20、40)的至少一个子集作为输入，
(b)训练存储器部分，其包含已被训练以确定超声图像帧之间的相对三维运动的训练存储器，其中，
所述机器学习模块(50)适于根据输入并使用所述训练存储器来确定指示所述超声图像帧之间的相对三维运动的三维运动指示符。
附图标记
2 体积部分/身体部分
10 超声探头
11 超声系统
12 超声探头的运动
14 传感器
16 跟踪系统
20 超声图像数据
22 图像帧的图像区域(图像平面)
24 传感器数据
26 方向性指示数据
30 (图像数据)预处理模块
34 (传感器数据)预处理模块
36 (方向性指示数据)预处理模块
40 预处理的超声图像数据
44 预处理的传感器数据
46 (预处理的)方向性指示数据
50 机器学习模块
52 训练数据
56 方向性确定系统
60 运动指示符
66 方向性指示符
70 后处理模块
80 后处理轨迹数据
82 确定的图像帧空间排列
86 (方向性确定的运动指示符)确定模块
90 相机
91 标记
92 图像
93 光电传感器
94 低分辨率图像
95a、b 换能器行
96 方向性确定的运动指示符
98 (方向性确定的运动指示符)后处理模块
99 (方向性确定的运动指示符)后处理轨迹数据
I1、I2、…、IN 图像帧
C1、C2、…、CN 确定的图像帧坐标系空间排列
M12 图像帧坐标系的坐标变换函数

Claims (18)

1.一种在可移动超声探头(10)采集体积部分(2)的超声图像期间确定描述所述超声探头的运动的三维定向确定运动的方法，所述运动包括前后方向性，所述方法包括：
-当所述超声探头沿所述体积部分(2)移动时从所述超声探头(10)接收超声图像数据(20)的流；
-将表示多个超声图像帧(22)的超声图像数据(20、40)的至少一个子集输入到机器学习模块(50)中，其中，
所述机器学习模块(50)已经被训练以确定超声图像帧之间的三维运动；
-通过所述机器学习模块(50)确定指示所述超声图像帧(22)之间的三维运动的运动指示符(60)；
-从与所采集的超声图像数据(20)分离的数据源接收指示运动的前后方向性的方向性指示数据(26)；
-将方向性指示数据(26、46)的至少一个子集输入到方向性确定系统(56)中；以及
-通过所述方向性确定系统(56)确定所述超声图像帧(22)之间的三维运动的方向性指示符(66)；以及
-确定方向性确定的运动指示符(96)，其指示在来自所述运动指示符(60)与所述方向性指示符(66)的超声图像帧(22)之间的三维定向确定运动，包括所确定的运动的前后方向性，其中，前和后是指所述超声探头的沿着垂直于超声图像平面的线的相对侧。
2.根据权利要求1所述的方法，其中，所述方向性指示数据(26)作为数据流被接收，其至少部分地与所述超声图像数据(20)流同步。
3.根据权利要求1所述的方法，其中，所述方向性指示符(66)是具有第一值和第二值的二元变量，其中，所述第一值指示运动的向前运动，而所述第二值指示运动的向后运动。
4.根据权利要求1所述的方法，其中，接收超声图像数据流、输入所述超声图像数据的至少一个子集以及确定运动指示符的步骤定义了第一子方法，接收方向性指示数据、输入所述方向性指示数据的至少一个子集以及确定方向性指示符的步骤定义了第二子方法；并且其中，所述第一子方法和所述第二子方法彼此并行运行并且基本上彼此解耦。
5.根据权利要求1所述的方法，其中，在所述超声探头沿所述体积部分(2)移动时，针对连续的超声图像对分别重复地确定所述运动指示符(60)、所述方向性指示符(66)和所述方向性确定的运动指示符(96)。
6.根据权利要求1所述的方法，其中，所述方向性指示数据由所述超声探头(10)接收，并且其中，将所述方向性指示数据(26、46)的至少一个子集输入方向性确定系统(56)的步骤包括将所述超声图像数据(20、40(26)的子集输入到第二机器学习模块(58)中，其中，所述第二机器学习模块(58)已经被训练以确定运动的前后方向性。
7.根据权利要求1所述的方法，其中，所述方向性指示数据的子集包括具有多个图像帧的超声图像数据的全局序列，其允许识别所述体积部分的解剖学特征。
8.根据权利要求1所述的方法，其中，所述超声探头(10)包括多行超声阵列，并且其中，从来自阵列的各个行接收的原始超声数据接收所述方向性指示数据(26)。
9.根据权利要求1-7中任一项所述的方法，其中，当所述超声探头沿所述体积部分(2)移动时，从外部传感器接收所述方向性指示数据；其中，所述外部传感器检测所述超声探头(10)的位置、速度、加速度和/或位移。
10.根据权利要求1-7中任一项所述的方法，其中，从跟踪所述超声探头的位置的外部跟踪系统接收所述方向性指示数据。
11.根据权利要求10所述的方法，其中，所述外部跟踪系统是光学跟踪系统。
12.根据权利要求11所述的方法，其中，所述外部跟踪系统是与标记集结合使用的光学相机。
13.根据权利要求12所述的方法，其中，所述光学跟踪系统是静止的并跟踪固定到所述超声探头(10)的标记集，或者其中，所述光学跟踪系统附接到所述超声探头(10)并跟踪环境中的标记集。
14.根据权利要求1所述的方法，其中，所述方向性指示数据是从光学跟踪系统接收的。
15.根据权利要求1-7中任一项所述的方法，其中，从以下的至少一项中接收所述方向性指示数据：
-外部传感器，其附接到所述超声探头(10)，其中，所述外部传感器适于检测相对于界定所述体积部分的下表面的一维或二维运动；
-光电传感器，其与光发射器结合使用，其中，所述光电传感器从界定所述体积部分的下表面接收图案图像(94)；
-外部传感器，其检测旋转元件的角运动；其中，由于所述超声探头(10)在界定所述体积部分的下表面上的运动，所述旋转元件被驱动旋转，所述旋转元件包括球体或轮子。
16.根据权利要求1-7中任一项所述的方法，其中，方向性指示数据为加速度计接收的加速度数据，其中，所述加速度数据表示与至少两个超声图像帧相对应的加速度，并且其中，确定方向性指示符(66)的步骤包括对所述加速度数据进行积分。
17.根据权利要求1-7中任一项所述的方法，还包括将另外的传感器数据(24、44)输入到所述机器学习模块(50)中，其中，所述另外的传感器数据(24、44)与所述超声图像数据(20、40)同步，并且其中，所述机器学习模块(50)包括卷积神经网络，并且其中，传感器数据(24、44)是在多个卷积层和最大池化层之后、在最终输出层和/或最终全连接层之前输入的。
18.一种用于在由可移动超声探头(10)采集体积部分的超声图像期间确定所述超声探头的三维运动的装置，所述运动包括运动的前后方向性，所述装置包括：
-探头输入接口，其用于当所述超声探头(10)沿所述体积部分移动时从所述超声探头接收超声图像数据(20)的流；
-跟踪系统(16)，其被配置为从与所采集的超声图像数据(20)分离的数据源接收指示运动的前后方向性的方向性指示数据(26)；
-机器学习模块(50)，其具有
(a)输入部分，其适于接收表示多个超声图像帧(22)的超声图像数据(20、40)的至少一个子集作为输入，
(b)训练存储器部分，其包含已被训练以确定超声图像帧之间的相对三维运动的训练存储器，
其中，所述机器学习模块(50)适于根据所述输入并使用所述训练存储器来确定指示所述超声图像帧之间的相对三维运动的三维运动指示符；
-方向性确定系统(56)，其被配置为通过使用所述方向性指示数据(26)的至少一个子集来确定所述超声图像帧(22)之间的三维运动的方向性指示符(66)；
-运动确定系统(56)，其被配置为通过使用所述超声图像帧(22)之间的三维运动的运动指示符(60)和方向性指示符(66)来确定指示所述超声图像帧(22)之间的三维运动的方向性确定的运动指示符(96)；
-其中，前和后是指所述超声探头的沿着垂直于超声图像平面的线的相对侧。
CN202080018599.5A 2019-03-06 2020-03-06 用于确定超声探头的包括前后方向性的运动的装置和方法 Active CN113543718B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19161053.4 2019-03-06
EP19161053.4A EP3705049A1 (en) 2019-03-06 2019-03-06 Apparatus and method for determining motion of an ultrasound probe including a forward-backward directedness
PCT/EP2020/056106 WO2020178445A1 (en) 2019-03-06 2020-03-06 Apparatus and method for determining motion of an ultrasound probe including a forward-backward directedness

Publications (2)

Publication Number Publication Date
CN113543718A CN113543718A (zh) 2021-10-22
CN113543718B true CN113543718B (zh) 2022-11-08

Family

ID=65717911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080018599.5A Active CN113543718B (zh) 2019-03-06 2020-03-06 用于确定超声探头的包括前后方向性的运动的装置和方法

Country Status (6)

Country Link
US (1) US20220148199A1 (zh)
EP (2) EP3705049A1 (zh)
CN (1) CN113543718B (zh)
AU (1) AU2020231128B2 (zh)
CA (1) CA3129631C (zh)
WO (1) WO2020178445A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11534138B2 (en) * 2017-09-07 2022-12-27 Piur Imaging Gmbh Apparatus and method for determining motion of an ultrasound probe
EP4027890A4 (en) * 2019-09-10 2023-08-30 Metritrack, Inc. SYSTEM AND METHOD FOR TRACKING COMPLETENESS OF CO-REGISTERED MEDICAL IMAGE DATA
CN114845642A (zh) * 2019-11-22 2022-08-02 皇家飞利浦有限公司 用于超声成像的智能测量辅助以及相关联的设备、系统和方法
CN113822818B (zh) * 2021-09-28 2022-08-12 合肥的卢深视科技有限公司 散斑提取方法、装置、电子设备及存储介质
CN114403925A (zh) * 2022-01-21 2022-04-29 山东黄金职业病防治院 一种乳腺癌超声检测系统
CN114241013B (zh) * 2022-02-25 2022-05-10 北京影创信息科技有限公司 物体锚定方法、锚定系统及存储介质
EP4356839A1 (en) 2022-10-19 2024-04-24 piur imaging GmbH Apparatus and method for determining a motion path of an ultrasound probe

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6012458A (en) 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US20070167821A1 (en) * 2005-11-30 2007-07-19 Warren Lee Rotatable transducer array for volumetric ultrasound
US8172753B2 (en) * 2008-07-11 2012-05-08 General Electric Company Systems and methods for visualization of an ultrasound probe relative to an object
KR101908520B1 (ko) * 2014-06-09 2018-10-16 지멘스 메디컬 솔루션즈 유에스에이, 인크. 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출
WO2015191871A1 (en) 2014-06-11 2015-12-17 The Johns Hopkins University Synthetic aperture ultrasound system
US20170086785A1 (en) * 2015-09-30 2017-03-30 General Electric Company System and method for providing tactile feedback via a probe of a medical imaging system
US20170252002A1 (en) * 2016-03-07 2017-09-07 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus and ultrasonic diagnosis support apparatus
KR20180097270A (ko) * 2017-02-23 2018-08-31 삼성메디슨 주식회사 초음파 진단 장치 및 그 제어 방법
CN114947932A (zh) * 2021-02-26 2022-08-30 通用电气精准医疗有限责任公司 一种超声成像方法及超声成像系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
3D freehand ultrasound without external tracking using deep learning;Prevost, Raphael;《Medical Image Analysis》;20180831;187-202 *

Also Published As

Publication number Publication date
AU2020231128B2 (en) 2022-07-07
US20220148199A1 (en) 2022-05-12
EP3731762A1 (en) 2020-11-04
CN113543718A (zh) 2021-10-22
AU2020231128A1 (en) 2021-09-09
EP3705049A1 (en) 2020-09-09
CA3129631A1 (en) 2020-09-10
WO2020178445A1 (en) 2020-09-10
EP3731762B1 (en) 2022-10-19
CA3129631C (en) 2023-06-13

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
CN113543718B (zh) 用于确定超声探头的包括前后方向性的运动的装置和方法
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
US11373303B2 (en) Systems and methods for ultrasound imaging
US20170273665A1 (en) Pose Recovery of an Ultrasound Transducer
US20080095417A1 (en) Method for registering images of a sequence of images, particularly ultrasound diagnostic images
CN105025803A (zh) 从多个三维视图对大对象的分割
KR20110128197A (ko) 심장 ｍ-모드 뷰들의 자동 분석
Sun et al. Probe localization for freehand 3D ultrasound by tracking skin features
US10548564B2 (en) System and method for ultrasound imaging of regions containing bone structure
CN112022202A (zh) 用于确定超声探头运动的技术
Goldsmith et al. An inertial-optical tracking system for portable, quantitative, 3D ultrasound
EP1772825A1 (en) Method for registering images of a sequence of images, particularly ultrasound diagnostic images
Ito et al. Probe localization using structure from motion for 3D ultrasound image reconstruction
WO2013063465A1 (en) Method for obtaining a three-dimensional velocity measurement of a tissue
Spears et al. Determining underwater vehicle movement from sonar data in relatively featureless seafloor tracking missions
Sun Ultrasound probe localization by tracking skin features
EP4356839A1 (en) Apparatus and method for determining a motion path of an ultrasound probe
Lu High accuracy in 3D reconstruction by fusion of IMU and imaging data: application in health medicine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant