CN111432733A - 用于确定超声探头的运动的设备和方法 - Google Patents

用于确定超声探头的运动的设备和方法 Download PDF

Info

Publication number
CN111432733A
CN111432733A CN201880058068.1A CN201880058068A CN111432733A CN 111432733 A CN111432733 A CN 111432733A CN 201880058068 A CN201880058068 A CN 201880058068A CN 111432733 A CN111432733 A CN 111432733A
Authority
CN
China
Prior art keywords
ultrasound
data
ultrasound image
probe
dimensional motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880058068.1A
Other languages
English (en)
Other versions
CN111432733B (zh
Inventor
朱利安·施普龙
罗伯特·鲍尔
拉斐尔·普雷沃斯特
沃尔夫冈·魏因
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motivity Co ltd
Piur Imaging Co ltd
Original Assignee
Motivity Co ltd
Piur Imaging Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motivity Co ltd, Piur Imaging Co ltd filed Critical Motivity Co ltd
Publication of CN111432733A publication Critical patent/CN111432733A/zh
Application granted granted Critical
Publication of CN111432733B publication Critical patent/CN111432733B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

一种确定可移动超声探头(10)的三维运动的方法。所述方法在通过超声探头采集体积部分(2)的超声图像期间执行。该方法包括：当所述超声探头沿体积部分(2)移动时，从所述超声探头(10)接收超声图像数据(20)流；将表示多个超声图像帧(22)的超声图像数据(20、40)的至少子集输入到机器学习模块(50)中，其中所述机器学习模块(50)已经被训练以确定所述超声图像帧(22)之间的相对三维运动；并且通过所述机器学习模块(50)确定指示所述超声图像帧之间的相对三维运动的三维运动指标(60)。

Description

用于确定超声探头的运动的设备和方法
本申请的方面总体上涉及一种确定可移动超声探头的三维运动的方法。该方法尤其是在通过超声探头采集体积部分的超声图像期间执行。该方法尤其包括确定指示超声图像帧之间的相对三维运动的三维运动指标。本申请的方面还涉及一种用于确定超声探头的三维运动的相应设备。
背景技术
超声成像(超声)由于其独特的特性-可负担性、可用性、安全性和实时功能，是用于诊断和介入应用的主要医疗方式之一。但是，很长一段时间以来，不可能以简单可靠的方式采集3D图像，并且这种局限性缩小了超声的临床应用范围。解决方法是通过扫描目标区域并后来将其合并为单个体积来采集一系列2D图像。
例如，在WO 2015/191871 A1中描述了一种这样的实施方式。该实施方式需要提供探头位置信息的定位系统。基于外部传感器的解决方案(通常使用光学或电磁跟踪)能够很好地估计超声探头的运动，因此已被广泛使用。但是，这些解决方案是以实用性和价格为代价的。
因此，已经进行了研究，在无需另外的硬件的情况下，以通过使用纯图像处理算法估计两个图像的相对位置来估计超声探头的运动，即，超声探头从一个图像到下一图像的相对位置和取向。已经发现，诸如“光流”之类的算法允许相当可靠地估计平面内运动。但是，估计平面外运动(高程位移)仍然是一个挑战。
例如在US6012458中描述的一种用于估计平面外运动的方法已经利用了在超声图像中可见的散斑噪声图案，因此被称为“散斑去相关”。“散斑去相关”基于这样的假设：可以通过从超声图像中选择和隔离散斑，并通过比较连续图像的散斑来估计高程距离：散斑之间的相关性越高，高程距离越低。然而，一个挑战仍然是散斑的定义及其在图像中的对应关系。由于这些原因，现有的“散斑去相关”方法仅在相当特殊的情况下才成功应用，并且可能无法在所有现实情况下都成功。
发明内容
本发明旨在克服以上问题中的至少一些。该目的通过根据权利要求1的方法和通过根据权利要求14的设备来解决。从从属权利要求、说明书和附图中，本发明的其他优点、特征、方面和细节是显而易见的。
因此，根据本发明的一个方面的方法旨在绕过基于超声图像的预选部分或特征的诸如散斑去相关模型之类的先前方法。取而代之，根据该方面，该方法提供了一种基于完全机器学习的方法的端到端解决方案，使用表示整个超声图像帧的图像数据作为输入，而无需选择任何图像部分或特征。
此外，本发明的方面不需要关于图像内容的任何假设，例如散斑的存在。因此，该方法具有广泛的应用范围。
附图说明
通过参考以下结合附图对本发明实施例的描述，将更好地理解本发明，其中：
图1a示意性地示出了在根据本发明实施例的方法中使用的超声探头；
图1b示意性地示出了由图1a的探头获得的复合三维超声图像；
图2示意性地示出了用于采集图1a所示的三维图像的方法的细节；
图3a示意性地示出了在图2所示的方法中用作输入的表示多个超声图像帧的图像数据；
图3b示意性地示出了通过图2所示的方法获得的合成的三维超声图像；
图4示意性地示出了根据本发明实施例的用于确定超声探头的三维运动的设备；
图5和6示意性地示出了根据本发明的各个实施例的用于机器学习模块的神经网络架构；
图7分别示出了根据比较例和根据本发明的实施例的高程平移的预测；和
图8a-8c分别示出了根据比较示例和根据本发明的实施例的跟踪的超声扫描的3D可视化。
具体实施方式
图1a示出了沿着体积部分2移动的超声探头10。这里，体积部分2是患者的身体部分。探头的运动由箭头12表示，其表示从开始位置(图1a左侧显示的探头10)到最终运动位置(图1a右侧显示的探头10)的运动。在运动期间，探头10收集表示连续超声图像帧的超声图像数据。每个超声图像帧在特定成像区域或图像平面22中，即在体积部分2的二维或三维子空间中，提供超声图像(即，超声反射特性的图形可表示信息)。成像区域22相对于超声探头10具有预定的形状和位置，并且成像区域与超声探头10一起移动。通过移动超声探头10，图像区域22在体积部分2上移动，使得超声图像帧提供体积部分2的各个部分的超声图像。
此处，超声图像帧定义为使用超声探头在给定时间拍摄的二维或三维超声图像。图像帧表示由超声探头采集的具有预定尺寸的整个图像。后续图像帧通常具有相同的分辨率。相比之下，根据图像内容选择并且可能具有可变大小的超声图像帧的动态选择子集不是图像帧。通常，时间戳与超声图像帧相关联。探头10收集超声图像数据作为表示连续超声图像帧的数据流。
图1b示出了所提出的发明的输出，复合的三维超声图像。复合三维超声图像是表示在扫描的体积部分中的超声反射特性的三维图像，所述超声反射特性从采集的超声图像帧以及针对每个采集的超声图像帧22确定的超声探头10的运动(位置和方向)得到。如果使用诸如将在下面描述的3D重构等复合算法进一步处理，则复合三维超声图像可以例如显示为定位在空间中的图像帧集或完整的3D图像。
图2更详细地描绘了本发明旨在解决的具有挑战性的技术问题。在采集期间，超声探头(10)移动并且因此图像帧22的图像内容改变。本发明的目的是仅使用来自在这样的时刻采集的图像数据I1和I2的信息来恢复探头12在两个时刻t1和t2之间的运动。估计的运动可以表示为对一个帧C1的坐标系与另一帧C2的坐标系之间的相对变换建模的矩阵M12。然后可以对整个图像系列重复此过程。
通常，该运动具有六个自由度(三个平移和三个旋转)，并且矩阵M12可以通过6个参数进行参数设置。
图3a表示到机器学习模型50的输入，即超声数据20，其包括表示超声图像帧22的超声图像帧数据时间序列和相应的时间信息(例如，时间戳或时间索引)。另外，超声数据20还可以包括元数据，例如，指示超声设置和/或预设，诸如超声图像帧22的增益、频率和/或动态范围。元数据可以作为时间序列被部分地或全部地提供。另外，到机器学习模型50的输入可以可选地包括传感器数据24，例如，如关于图4更详细地描述的传感器数据的时间序列和相应的时间信息。
图3b对应于图1b，并且图1b的描述也适用于图3b。
图4示出了所提出的发明的总体工作流程。其中，可选步骤用虚线表示。系统的主要输入是由超声系统11从探头10生成的图像数据20。可以使用诸如图像重采样、图像滤波或其他高级分析之类的各种算法30对这些图像进行预处理。然后可以将来自多个帧的预处理数据40输入到机器学习模块50中，该机器学习模块根据先前的学习数据52进行训练，以产生不同输入图像帧之间的探头运动的估计60。对于采集的所有帧都重复此过程，然后对机器学习模型的输出进行后处理70，以生成探头的最终轨迹80。
如现有技术中所知，来自先前学习数据52的训练是在其利用之前进行的，并且包括调整模型参数的值，使得其输出值尽可能接近期望值。换句话说，训练包括解决最小化问题，以使关于期望值的偏差函数(例如，L2范数)最小化。
可选地，当外部传感器14安装在超声探头上时，其数据24也可以被预处理34，并被用作机器学习模块50的另外输入44。为此目的，例如通过使用时间戳，数据24与图像数据同步20。
图5表示在本发明的实施例中使用的机器学习模块50的示例。机器学习模块50包括卷积神经网络。双通道图像(表示两个连续的超声帧)是神经网络的输入，并经过一系列卷积层(具有5x5或3x3像素内核和64个输出通道)、激活层(在此为整流线性单元)和2x2像素最大池化层。在网络的末端，两个完全连接的层将来自整个要素地图的信息聚合到具有六个数字的最终输出中，这六个数字表示3个平移和3个旋转参数。这六个数字使上述矩阵M12参数化。
机器学习模型的参数(这里是卷积核和完全连接层的系数)被设置为训练过程的最终状态。给定一组训练数据(每个训练数据样本可以包括(i)一对连续的超声帧，以及(ii)例如从跟踪系统获得的这两个帧之间的探头运动的非常准确的、并被参数化为六个数字的估算)，训练过程的目标可以是使网络的6维输出与实际测得的探头运动的6个参数之间的差矢量平方范数的所有训练数据样本的总和最小。该最小化问题可以通过动量为90％，批次大小为500且没有重量衰减的随机梯度下降或其一种变体来解决，例如AdaGrad[John Duchi、Elad Hazan和Yoram Singer等人的“Adaptive subgradient methods foronline learning and stochastic optimization”，JMLR，vol.12，2011，p.2121–2159]。网络参数的初始值可以根据均值为0和0.01标准偏差的高斯分布来随机选择。
可选地，可以使用已知技术将平面内平移的估计值预先计算为两个图像之间的光流(请参见Gunnar Farneback的文章，在下文中进一步引用)。光流的预先计算的输出是2D矢量场，可以将其编码为2个另外的光流通道。这2个另外的光流通道被用作神经网络的另外的输入通道(除了上述2个图像通道之外)。
与图5相似，图6表示神经网络架构的示例，该架构不仅会考虑图像数据，还会考虑一些外部IMU传感器信息。两种架构基本相似，但在生成最终输出之前，传感器的9维测量值在网络的末端与聚合的特征向量相连。
接下来，与现有技术的实施方式相比，讨论了根据本发明的一个方面的示例性实施方式的测试结果。为了获得这些测试结果，使用以下描述的设置。
数据集采集和基线方法：示例性实施方式中使用的所有扫描都是由Cephasonics(美国加利福尼亚州圣塔克拉拉)的Cicada-64研究型超声仪采集的。其中，使用了线性的128元素探头。探头在9MHz处调谐以生成超声图像。所有图像的深度均设置为5cm(焦点位于2cm)，对于每个图像采集256条扫描线。
使用B模式图像时，不进行任何滤波或反向扫描转换，以0.3mm的各向同性分辨率重新采样。探头配备有光学目标，该光学目标可以通过跟踪系统Stryker NavigationSystem III进行精确跟踪。
使用该跟踪系统，并且在空间和时间图像到传感器的校准之后，发明人能够获得绝对定位精度为约0.2mm的真实数据(ground truth)变换。由于研究美国系统的数字接口和适当的时钟同步，还确保了时间校准完全没有抖动或漂移。因此，每一帧的真实数据都具有足够的精度。
实验基于三个数据集：
-在BluePhantom超声活检体模上采集了20个US扫描集(总共7168帧)。图像主要包含散斑，但也包含各种高回声或低回声的团块；
-在12名志愿者的前臂上进行了88次体内跟踪扫描(共41869帧)。两名不同的操作员在每个参与者的两个前臂上采集了至少三次扫描；
-在一部分志愿者的小腿上获得了另外12个体内跟踪扫描(总共6647帧)。最后一组用于评估网络如何推广到其他解剖结构。
所有扫描都沿固定方向(从近端到远端)采集。将算法应用于反向扫描将产生镜像结果。然而，根据本发明的方法不限于任何特定的扫描方向。
将根据本发明的算法与两种比较方法进行了比较：
-线性运动，这是操作员在扫描方向上的预期运动。这意味着在所有采集中，所有参数均设置为其平均值：转动和平面内平移几乎为零，而高程平移tz恒定在2cm/s左右；
-散斑去相关方法，根据当前技术水平：在这种比较方法中，如Afsham，N.、Rasoulian，A.、Najafi，M.、Abolmaesumi，P.、Rohling，R.：Nonlocal means filter-basedspeckle tracking.IEEE transactions on ultrasonics,ferroelectrics,andfrequency control 62(8)(2015)1501-1515所描述将每隔图像过滤以使散斑图案更显眼。然后，将每个图像被划分为15x15的色块，并计算相应的色块互相关。然后，计算基于标准指数的模型，以从相关值推导相应的z位移。最后，使用RANSAC计算6个变换参数对位移场的鲁棒拟合。这些方法步骤在Prager，R.W.、Gee，A.H.、Treece，G.M.、Cash，C.J.、Berman，L.H.：Sensorless freehand 3-d ultrasound using regression of the echointensity.Ultrasound in medicine&biology 29(3)(2003)437-446中描述。
将这些比较方法与本发明实施例的两种实施方式进行了比较：第一种实施方式称为“标准CNN”，其使用上面参考图5所述的卷积神经网络方法，具有两个输入字段(两个图像，待确定这两个图像之间的相对运动)。第二种实施方式称为“具有光流的CNN”，与“标准CNN”的不同之处在于，它进一步使用了预先计算的光流，因此，如以上参考图5所述，总共使用了四个输入字段。
对于这些方法和数据集中的每一个，都计算了三维运动指标(三个平移tx、ty、tz和三个转动角度θx、θy、θz)。此外，通过将这些参数与来自上述跟踪系统的数据进行比较来计算误差度量。相对于扫描的第一帧，为每一帧计算并取平均参数误差。此外，计算出最终漂移，该最终漂移定义为具有估计轨迹的最后一个图像中心与真实数据之间的距离。
结果总结在下面的表1-3中：
Figure BDA0002402532850000071
Figure BDA0002402532850000072
Figure BDA0002402532850000081
比较上述方法时，可以看出线性运动方法给出了四种方法中最差的结果，主要是由于平面外平移tz所致。因为很难保持恒定的速度，因此该分量的可变性最大，这是可以预期的。通过利用帧之间的相关性，散斑去相关方法显著减少所有估计误差；但是，在tz上的平面外误差和因此的总体漂移仍然很高。
另一方面，标准的CNN方法(无光流通道)能够产生已经比对比例更好的结果。然而，人们可能会注意到，tx和ty误差有些高，尤其是在前臂扫描中。可以通过另外的训练数据来减少此错误，从而使系统可以通过较大的数据集更准确地学习整个变换。通过添加光流作为输入通道(使用光流方法的CNN)，也大大减少了该问题。实际上，对于使用光流方法的CNN，例如tx和ty的估算更为准确；tz的估计甚至进一步提高。
因此，在真实的临床图像上观察到，在长于20cm的序列上最终漂移仅为1.45cm，是比较例的两倍。方法的等级(从低到高精度：线性；散斑去相关；标准CNN；使用光流的CNN)已通过成对的带符号秩的Wilcoxon测试得到证实，所述测试都产生低于10-6的p-值。
接下来，讨论噪声滤波的影响。为了测试散斑噪声的重要性，我们比较了在应用Cephasonics超声系统中内置的散斑滤波器之前和之后对图像应用的方法。正如我们在上面表2的最后一行中看到的那样，对未经滤波的图像进行学习和测试可产生更好的跟踪估计。这表明散斑图案对于神经网络很重要，特别是对于平面外平移的估计而言。另一方面，在滤波后的图像上的CNN方法已经比比较方法提供了更好的结果。因此，可以得出结论，散斑确实非常有用，但对于估计平面外运动并不是绝对必要的。
推广到其他解剖结构：另一个有趣的问题是机器学习方法可以推广到其他应用程序的程度如何：它是否真的从一般统计信息中学习了运动，还是过度适合了图像中存在的某些解剖结构？
结果在以上表3中报告。在这里，训练数据基于前臂数据集，但报告的结果是小腿数据集。与表2相比，这些结果表明所有方法的准确度均显着下降。对于比较方法，这是由于不正确的校准(因为它们已在前臂数据集中进行了校准)。对于根据本发明的方法，下降甚至更加严重(因为已经在前臂数据集上获悉了下降)。更详细地，仍然以合理的精度恢复了平面内位移，但是平面外平移tz的误差已大大增加。
然而，根据本发明的方法仍然比其他方法更好地推广到新型图像。这项初步实验表明，准确性在很大程度上取决于目标解剖结构，但对机器学习方法的功能带来了希望。
为了进行比较，在表3的最后一行中，我们还报告了利用在此特定数据集上训练的CNN所获得的准确性，该准确性仅比在前臂上稍差(由于数据集较小)。
接下来，讨论图7。在此，已经使用了以上针对表1-3讨论的相同方法。为了在挑战性的环境下测试平面外估计，针对具有故意剧烈变化的速度的单独扫描显示了这些方法的预测结果：前100帧和后150帧的平均速度记录为0.3毫米/帧，而两者之间的速度几乎提高了一倍。图7显示了高程平移的不同预测。
可以预期，线性运动方法假定速度恒定，因此会产生大量的重建伪影。散斑去相关方法确实检测到速度变化，但严重低估了大运动。仅根据本发明的实施例的方法能够准确地遵循探头速度。
图8a-8c显示了在样本扫描上重建轨迹的定性比较。具体而言，图8a-8c分别显示了跟踪的超声扫描的3D可视化。已经显示了超声帧的真实数据位置，并以黑色轮廓强调了它们的轨迹。相比之下，用其他方法获得的轨迹的轮廓也用其他颜色显示：红色表示线性运动方法，蓝色表示我们的散斑去相关方法的实施方式，绿色表示我们的基于深度学习的方法。
图8a表示我们方法的性能(尤其是最终漂移)方面的中位数情况，图8b对应于测试前臂数据集的最佳情况，图8c对应于最坏情况。它们在跟踪估计精度方面突出了不同方法的等级。
根据本发明方面的示例性实施方式的测试结果的更多示例可在以下出版物中找到：“3D freehand ultrasound without external tracking using deep learning”,于:Medial Imaga Analysis(August 2018),Volume 48,Pages 187–202，可在http://doi.org/10.1016/j.media.2018.06.003上检索到，其全部内容通过引用合并于此。
其他方面的描述：
接下来，更详细地定义本发明的各种更一般的方面。如此定义的每个方面可以与任何其他实施例或任何其他方面结合，除非明确地相反地指出。参照附图的附图标记仅用于说明，而无意将各个方面限制为附图中所示的实施例。
根据一个方面，确定了超声探头10的三维运动。根据一个方面，三维运动具有六个自由度，并且包括位移(三个自由度)和转动(三个自由度)。位移包括平面内位移和高程位移；转动包括平面内转动和平面外转动。这里，术语平面内和平面外是指由超声探头10采集的图像帧22定义的图像平面。三维运动指标可以是这些自由度的任何参数化，或者至少是这些自由度的子集的任何参数化。根据一个方面，超声探头是手持探头并且具有完整的六个自由度。根据另一方面，超声探头受到将自由度限制为小于六个的约束。
方法包括：从超声探头10接收超声图像数据流；以及将表示多个超声图像帧的超声图像数据的至少子集输入到机器学习模块中。超声图像数据(的子集)可以以任何其他方式被预处理、滤波或改变。术语“至少子集”要求包含在来自超声探头的超声图像数据中的信息至少部分地输入到机器学习模块中。
根据一个方面，甚至整个图像数据或其子集也被用作输入子集。在子集的情况下，无论超声图像帧的图像内容如何都采集子集，因此不需要任何图像分析。
接下来，描述与超声图像数据的预处理有关的方面。根据一个方面，该方法包括在将超声图像数据的至少子集输入到机器学习模块之前，对超声图像数据进行预处理。例如，预处理可以包括预先计算运动指示数据。运动指示数据的示例是表示至少两个超声图像之间的平面内位移的平面内位移数据。该方法然后可以包括输入运动指示数据(例如平面内位移数据)作为对机器学习模块的另外的输入。例如，运动指示数据可以是诸如矢量场之类的二维数据集，并且可以作为另外的图像通道被输入到机器学习模块。
该方面的优点是，通过向机器学习模块输入明确表示运动的一些容易计算的方面的数据，可以使机器学习模块能够更可靠地和/或以较少的训练数据提供关于其余方面的信息。
平面内位移的预先计算可以通过任何已知方法来执行。根据一个方面，通过诸如在[Gunnar Farneback,Two-frame motion estimation based on polynomialexpansion,Lecture Notes in Computer Science,2003,(2749),363-370]中描述的方法之类的“光流”方法来执行预先计算。因此，可以将平面内位移数据计算为表示至少两个超声图像之间的子像素密集光流的光流矢量场。
根据另一方面，可以使用以下至少之一对超声图像数据进行预处理：
-重采样：可以对超声图像数据重采样为给定大小，或者使其每个像素具有给定分辨率。这样做是为了使系统对超声系统的某些设置(例如深度或使用的扫描线数量)具有鲁棒性。
-图像滤波：包括任何局部滤波器(例如低通或高通滤波器)、自适应滤波器(例如散斑去噪、增强或掩蔽)或全局图像变换(例如直方图均衡化)。
-分割：另一预处理会包括分割图像，即，将所有像素分类为多个类别之一，并且使用这种概率图作为另外的输入。例如，在医疗应用中，一个示例是分割皮肤、脂肪、肌肉和骨骼像素。
-任何预先计算的功能：例如，如前所述，将光流矢量场作为模型输入的另外的通道
根据另一方面，如果输入了另外的传感器数据，则可以使用以上至少之一对传感器数据进行预处理。
根据替代方面，在将超声图像数据的至少子集输入到机器学习模块之前，不进行超声图像数据的预处理。
接下来，描述与机器学习模块有关的方面。根据一个方面，机器学习模块包括神经网络。特别地，机器学习模块可以包括卷积神经网络。
根据另一方面，卷积神经网络具有输出多个特征图的卷积层，每个特征图是与层输入的特定内核进行卷积的结果。在整个本申请中，不定冠词“一”以“至少一个”的意义使用，并且特别地包括复数的可能性。卷积神经网络可以具有多个卷积层，例如两个、三个或四个卷积层，它们彼此串联连接，并且可选地在至少一些卷积层之间具有池化层。
根据另一方面，卷积神经网络还包括激活层(例如，S形或整流的单元层)和/或输出网络的全局特征向量或最终预测的完全连接的层。卷积神经网络可以例如包括多个(例如两个)完全连接的层，这些层从一个或更多个卷积层和/或池化层接收输入，并提供运动数据(例如表示3个平移和3个转动参数的六个数字)作为输出。
根据另一方面，神经网络是具有动态时间行为(即，对于给定的超声图像数据的网络预测取决于已经在网络中输入的先前帧)的循环神经网络。一种流行的架构选择是例如长短期记忆(LSTM)网络。
尽管根据本发明的机器学习模块主要通过神经网络进行了说明，但它并不限于神经网络。反而，也可以使用其他类型的机器学习模块。例如，根据另一方面，机器学习模块还可包括例如随机森林算法。
接下来，描述与来自超声探头的输入数据的更多细节有关的方面。
根据一个方面，该方法包括将与(连续)图像帧对(或子集)相对应的局部图像数据输入到机器学习模块，以确定超声图像帧对(子集)之间的相对三维运动，并对连续的图像帧对或子集重复此过程。
根据一个替代方面，该方法包括将基本跨越整个图像帧集的全局图像数据集输入到机器学习模块，以确定超声图像帧中的第一个和最后一个之间的相对三维运动。因此，例如，超声图像数据的全部流可以被输入到机器学习模块中。
根据另一方面，该方法可以包括跳过诸如每个第二帧的帧。因此，可以减少对计算能力的需求，同时仍然提供及时的信息。
根据另一方面，该方法可以包括将基本跨越整个图像帧集的全局图像数据集输入到机器学习模块。然后，机器学习模块可以确定一些超声图像帧(例如，超声图像帧中的第一个和最后一个)之间的相对三维运动。
根据另一方面，图像数据是二维或三维的，即它描述了二维图像帧或三维图像帧。例如，可以通过使用能够对小的3D超声体积进行成像的探头、例如通过矩阵阵列超声换能器或摇摆超声系统来产生3D图像帧。
根据另一方面，图像数据可以包括通过至少一种超声成像模式获得的数据，诸如A模式、B模式、连续谐波成像、彩色多普勒模式、普通波成像等。根据另一方面，图像数据可以包括原始射频数据。根据另一方面，例如在斑点噪声滤波步骤之前，在处理管线的各个点处从超声系统提取图像数据。
根据另一方面，图像数据可以包括包含速度信息的多普勒数据。可以通过另外的多普勒功能超声传感器获得多普勒数据。
根据另一方面，图像数据可以包括指示超声设置的元数据，例如诸如增益、频率和/或动态范围之类的预设。
接下来，描述与使用其他(非超声)传感器数据有关的方面。
根据一个方面，可以提供另外传感器(例如，固定到超声探头)，并且该方法可以包括将来自另外传感器的传感器数据输入到机器学习模块。图像数据的以上描述也可以可选地应用于机器学习模块的传感器数据。
例如，另外的传感器可以包括加速度传感器，该方法包括通过附接到超声探头的加速度传感器来检测超声探头的加速度；将所述至少两个超声图像帧对应的加速度输入所述机器学习模块。可以对加速度数据进行预处理，例如，以检测机器学习模块可能更无法处理的突变运动，并在检测到突变运动的情况下生成突变运动信号。
代替或除了来自加速度传感器的数据之外，还可以使用任何其他传感器数据，特别是从IMU传感器获得的传感器数据，例如加速度、陀螺仪、磁场、气压数据、尤其是加速度和/或陀螺仪。
根据另一方面，另外的传感器可以包括用于检测超声探头的转动的转动传感器。
根据另一方面，该方法可以包括(通过诸如光学跟踪系统之类的跟踪系统，例如，固定的由内而外的跟踪器并且跟踪附接到探头的标记集，或连接到探头的由外而内的跟踪器并跟踪固定的标记集)跟踪超声探头的位置。然后可以将探头运动指标与跟踪数据进行比较和/或组合，以识别和/或补偿误差。另一种操作模式是检测跟踪系统是否发生故障(例如，跟踪标记是否被遮挡)，并且如果跟踪系统被确定为故障，使用确定的探头运动指标作为备用，通过将来自跟踪系统的跟踪位置信息替换为从三维运动指标确定的探头位置和取向(60)。因此，根据该方面的方法可以用于使现有的跟踪系统更加鲁棒或精确。
根据另一方面，另外的传感器包括光学装置(例如照相机或基于激光的运动检测系统)。
根据另一方面，该方法包括生成探头运动指标的可靠性指标来作为跟踪数据和探头运动指标之间的比较的结果。例如，该方法可以包括检测所确定的三维运动与传感器数据之间的不一致，并且在检测到不一致的情况下，生成输出不可靠的指示。
根据另一个替代方面，没有提供外部跟踪器。
接下来，描述与超声探头有关的方面。根据一个方面，超声探头包括超声换能器阵列，该超声换能器阵列用于传输超声束并检测在扫描平面中的多个样本体积处从体积部分的目标体积反射的超声回波。根据另一方面，超声图像数据是从通过所述身体部分从多个扫描平面中的每个扫描平面反射的超声回波导出的。
接下来，描述与训练数据和采集协议有关的方面。
根据一个方面，已经使用通过预定采集方向获得的训练图像数据流来训练机器学习模块，并且该方法包括当超声探头根据预定的采集方向沿身体部分移动时从超声探头接收超声图像数据流。可选地，传感器数据被同步。
根据另一方面，通过使用单独的跟踪系统生成训练数据，该跟踪系统针对每个图像帧输出探头的追踪位置和/或运动，并输入探头的追踪位置和/或运动的指标作为真实数据以及训练图像数据。因此，根据一个方面，训练数据包括(1)超声图像数据，(2)作为真实数据的跟踪数据，以及(3)可选地，传感器数据。
可以根据任何已知的机器学习系统来实施机器学习模块的训练。机器学习模块通常包括取决于模型参数的模型函数(例如神经网络)，其中模型函数的输入是图像数据和机器学习模块的其他可选输入，而输出是作为输入和参数的函数的运动数据。通常，机器学习模块通过使用训练数据解决模型函数的优化问题来训练，即，将已知的“真实”输出(真实数据，例如，来自精确跟踪系统的已知运动数据)输入到模型函数。优化问题在于找到使成本函数最小的一组f个模型参数，其被定义为模型函数的输出与真实数据之间的误差度量。这种误差度量的一个示例是平方L2范数，即机器学习模块的模型函数预测的3个平移参数和3个转动参数之间的均方差，以及根据跟踪数据计算出的均方差。
接下来，描述与探头运动指标的进一步处理有关的方面。根据一个方面，该方法包括从探头运动指标(从超声图像帧之间的相对三维位移和转动)确定超声探头的探头位置和取向。探头的位置和取向可以通过多个探头运动指标的离散积分来获得。
根据另一方面，该方法包括对所确定的探头位置和取向的过滤。例如，该方法可以包括例如通过比较和/或平均由机器学习模块获得的多个估计值来进一步细化和规范化探头运动指标或所确定的探头的位置和取向。
根据另一方面，该方法可以包括例如通过任何已知的3D超声体积复合和/或重建算法，使用所确定的探头位置和取向以及超声图像数据流来重建三维超声图像，参见[Nicholas Rohling,Robert.(1999).3D Freehand Ultrasound:Reconstruction andSpatial Compounding]。
接下来，描述一些其他方面。根据一个方面，体积部分是患者的身体部分。例如，身体部分可以包括例如患者的前臂部分和/或腿部的肢体部分，例如，用于临床上用于旁路手术或AV-瘘管标测的外周静脉标测。
替代地，该体积部分还可以是将被无损检查的物品的一部分。
根据另一方面，该方法包括直接从超声图像流中预测超声探头的运动，而无需任何外部跟踪系统的输入，并且可选地仅基于图像数据，即，无需输入除图像数据以外的其他传感器数据。
根据另一方面，该方法在由超声探头采集体积部分的超声图像期间(即在该背景中)执行。这包括评估先前采集和存储的图像数据。优选地，在采集超声数据的同时以至少部分重叠的方式执行该方法(特别是确定步骤)。
根据另一方面，提供了一种设备，该设备用于在通过超声探头采集体积部分的超声图像期间确定可移动超声探头10的三维运动。该设备包括探头输入接口，以用于在沿着体积部分移动超声探头时从超声探头10接收超声图像20数据流；以及机器学习模块50。机器学习模块50具有输入部分，该输入部分适于接收表示多个超声图像帧22的超声图像数据20、40的至少子集作为输入，并且具有包含训练存储器的训练存储器部分，该训练存储器已经过训练以确定超声图像帧之间的相对三维运动。这些部分可以通过软件或硬件或通过软件和硬件的组合来提供。机器学习模块50适于根据输入并使用训练存储器来确定指示超声图像帧之间的相对三维运动的三维运动指标。
根据另一方面，本文描述的设备、特别是机器学习模块50适于执行根据本文描述的实施例和方面中的任何一个的方法。因此，该设备可以具有用于执行本文所述的每个方法步骤的设备部件(模块)。这些方法步骤可以通过硬件组件、通过适当软件编程的计算机，通过两者的任何组合或以任何其他方式来执行。因此，特别地，该设备包括探头输入接口，以用于在超声探头沿着体积部分移动时从超声探头10接收超声图像20数据流。该设备还包括机器学习模块50，其具有适于接收表示多个超声图像帧22的超声图像数据20、40的至少子集作为输入，并且具有包含训练存储器的训练存储器部分，该训练存储器已经过训练以确定超声图像帧之间的相对三维运动。从而，机器学习模块50适于根据输入并使用训练存储器来确定指示超声图像帧之间的相对三维运动的三维运动指标。
附图标记
2 体积部分/身体部分
10 超声探头
11 超声系统
12 超声探头的运动
14 传感器
20 超声图像数据
22 图像帧的成像区域(图像平面)
24 传感器数据
30 (图像数据)预处理模块
34 (传感器数据)预处理模块
40 预处理传感器图像数据
44 预处理传感器数据
50 机器学习模块
52 训练数据
60 运动指标
70 后处理模块
80 后处理轨迹数据
82 确定的图像帧的空间布置
I1,I2,…IN 图像帧
C1,C2,…CN 确定的图像帧坐标系统的空间布置
M12 图像帧坐标系统的坐标变换函数

Claims (14)

1.一种在通过超声探头采集体积部分(2)的超声图像期间确定可移动超声探头(10)的三维运动的方法，该方法包括：
-当所述超声探头沿体积部分(2)移动时，从所述超声探头(10)接收超声图像数据(20)流；
-将表示多个超声图像帧(22)的超声图像数据(20、40)的至少子集输入到机器学习模块(50)中，其中
所述机器学习模块(50)已经被训练以确定所述超声图像帧(22)之间的相对三维运动；并且
-通过所述机器学习模块(50)确定指示所述超声图像帧之间的相对三维运动的三维运动指标(60)。
2.根据权利要求1所述的方法，还包括对超声图像数据进行预处理，所述预处理包括图像滤波、图像重采样和图像分割中的至少一项。
3.根据前述权利要求中任一项所述的方法，其中，所述机器学习模块(50)包括神经网络，优选地是卷积神经网络。
4.根据前述权利要求中任一项所述的方法，其中，
输入超声图像数据(20、40)的至少子集的步骤包括将与一对超声图像帧(22)相对应的局部图像数据输入到所述机器学习模块(50)，并且其中
所述三维运动指标(60)指示这对超声图像帧(22)之间的相对三维运动，并且其中
对于图像帧的连续对或子集重复输入和确定步骤。
5.根据前述权利要求中任一项所述的方法，其中，
输入超声图像数据(20、40)的至少子集的步骤包括将基本跨越整个超声图像帧(22)集的全局图像数据集输入到所述机器学习模块(50)，并且其中
所述三维运动指标(60)指示相对三维运动，以确定所述超声图像帧(22)中的每个相对于所述超声图像帧中的第一个的相对三维运动。
6.根据前述权利要求中任一项所述的方法，其中，所述超声图像数据(20、40)包括A模式数据、B模式数据、连续谐波成像数据、多普勒数据、平波成像数据、和原始射频数据中的至少一种。
7.根据前述权利要求中任一项所述的方法，还包括将另外的传感器数据输入到机器学习模块(50)中，其中，所述另外的传感器数据与所述超声图像数据(20、40)同步。
8.根据前一权利要求所述的方法，其中，所述另外的传感器数据包括例如由跟踪系统获得的位置数据、表示与所述至少两个超声图像帧相对应的加速度的加速度数据、陀螺仪数据、磁测量数据和气压计数据中的至少一个。
9.根据前述权利要求中任一项所述的方法，还包括：检测所确定的三维运动指标(60)与所述传感器数据之间的不一致。
10.根据前述权利要求中任一项所述的方法，还包括：从所述三维运动指标(60)确定每个图像帧(22)的超声探头(10)的探头位置和取向。
11.根据前一权利要求所述的方法，还包括由另外的跟踪系统跟踪所述可移动超声探头(10)的位置从而生成跟踪位置信息，检测所述跟踪系统是否故障，以及如果所述跟踪系统故障，将跟踪位置信息替换为从所述三维运动指标(60)确定的探头位置和取向。
12.根据前述权利要求中任一项所述的方法，还包括：使用所述超声图像数据流和从所述三维运动指标(60)确定的探头位置和取向来重建三维超声图像。
13.根据前述权利要求中任一项所述的方法，其中，所述方法包括：在不使用另外的跟踪系统的情况下，使用所述三维运动指标(60)从所述超声图像流中直接预测所述超声探头的运动。
14.一种用于在通过超声探头采集体积部分的超声图像期间确定可移动超声探头(10)的三维运动的设备，该设备包括：
-探头输入接口，用于在超声探头沿体积部分移动时从所述超声探头(10)接收超声图像数据(20)流；和
-具有以下部分的机器学习模块(50)：
(a)输入部分，其适于接收表示多个超声图像帧(22)的超声图像数据(20、40)的至少子集作为输入，
(b)包含训练存储器的训练存储器部分，所述训练存储器已经被训练以确定超声图像帧之间的相对三维运动，其中
机器学习模块(50)适于根据输入并使用训练存储器来确定指示所述超声图像帧之间的相对三维运动的三维运动指标。
CN201880058068.1A 2017-09-07 2018-09-05 用于确定超声探头的运动的设备和方法 Active CN111432733B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ATA60088/2017 2017-09-07
AT600882017 2017-09-07
PCT/EP2018/073875 WO2019048482A1 (en) 2017-09-07 2018-09-05 APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE

Publications (2)

Publication Number Publication Date
CN111432733A true CN111432733A (zh) 2020-07-17
CN111432733B CN111432733B (zh) 2021-10-26

Family

ID=63517885

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880058068.1A Active CN111432733B (zh) 2017-09-07 2018-09-05 用于确定超声探头的运动的设备和方法

Country Status (6)

Country Link
US (1) US11534138B2 (zh)
EP (1) EP3522789B1 (zh)
CN (1) CN111432733B (zh)
AU (1) AU2018328799B2 (zh)
CA (1) CA3075334C (zh)
WO (1) WO2019048482A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190972A (zh) * 2020-09-18 2022-03-18 苏州佳世达电通有限公司 超声波影像物件的体积计算方法及应用其的超声波系统
CN114403925A (zh) * 2022-01-21 2022-04-29 山东黄金职业病防治院 一种乳腺癌超声检测系统
WO2023230999A1 (zh) * 2022-05-30 2023-12-07 汕头市超声仪器研究所股份有限公司 凸阵线阵双平面探头及其在前列腺体积计算的应用方法
CN117898764A (zh) * 2024-03-20 2024-04-19 北京智源人工智能研究院 一种超声探查装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019048482A1 (en) * 2017-09-07 2019-03-14 Piur Imaging Gmbh APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE
US11660069B2 (en) * 2017-12-19 2023-05-30 Koninklijke Philips N.V. Combining image based and inertial probe tracking
EP3891704A1 (en) * 2018-12-07 2021-10-13 Mayo Foundation for Medical Education and Research Systems and methods for quantifying vessel features in ultrasound doppler images
US20220207743A1 (en) * 2019-04-25 2022-06-30 Koninklijke Philips N.V. System and method for two dimensional acoustic image compounding via deep learning
WO2020239979A1 (en) * 2019-05-31 2020-12-03 Koninklijke Philips N.V. Methods and systems for guiding the acquisition of cranial ultrasound data
US11216150B2 (en) * 2019-06-28 2022-01-04 Wen-Chieh Geoffrey Lee Pervasive 3D graphical user interface with vector field functionality
US20220287686A1 (en) * 2019-07-31 2022-09-15 Koninklijke Philips N.V. System and method for real-time fusion of acoustic image with reference image
CN114430671A (zh) * 2019-09-26 2022-05-03 皇家飞利浦有限公司 用于超声成像中的目标定位的自动闭环超声平面转向以及相关联的设备、系统和方法
CN114760929A (zh) * 2019-11-21 2022-07-15 皇家飞利浦有限公司 用于获得医学超声图像的系统和方法
WO2021099449A1 (en) * 2019-11-22 2021-05-27 Koninklijke Philips N.V. Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US11983844B2 (en) * 2019-12-31 2024-05-14 Chison Medical Technologies Co. Ltd. Panoramic stitching method, apparatus, and storage medium
US11246569B2 (en) * 2020-03-09 2022-02-15 Verdure Imaging, Inc. Apparatus and method for automatic ultrasound segmentation for visualization and measurement
EP3878368A1 (en) 2020-03-10 2021-09-15 piur imaging GmbH Method and apparatus for generating a combined three-dimensional ultrasound image
CN111860267B (zh) * 2020-07-13 2022-06-14 浙大城市学院 一种基于人体骨骼关节点位的多通道健身运动识别方法
US11819363B2 (en) * 2020-09-01 2023-11-21 GE Precision Healthcare LLC Systems and methods to improve resolution of ultrasound images with a neural network
EP4005492A1 (en) * 2020-11-30 2022-06-01 Koninklijke Philips N.V. Guided acquisition of a 3d representation of an anatomical structure
US11804020B2 (en) 2020-12-28 2023-10-31 Clarius Mobile Health Corp. Systems and methods for rendering models based on medical imaging data
CN112731359B (zh) * 2020-12-31 2024-04-09 无锡祥生医疗科技股份有限公司 超声探头的速度确定方法、装置及存储介质
ES2923108B2 (es) * 2021-03-10 2023-03-01 Consejo Superior Investigacion Metodo y sistema de calibracion de un sistema de inspeccion mediante ultrasonidos
US20220296219A1 (en) * 2021-03-22 2022-09-22 GE Precision Healthcare LLC System and methods for adaptive guidance for medical imaging
CN113171118B (zh) * 2021-04-06 2023-07-14 上海深至信息科技有限公司 一种基于生成式对抗网络的超声检查操作引导方法
CN114224388B (zh) * 2021-12-31 2023-07-28 山东大学 基于多频率超声的颈动脉三维重建方法及系统
EP4356839A1 (en) 2022-10-19 2024-04-24 piur imaging GmbH Apparatus and method for determining a motion path of an ultrasound probe

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6012458A (en) * 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US20110301466A1 (en) * 2010-06-04 2011-12-08 Siemens Medical Solutions Usa, Inc. Cardiac flow quantification with volumetric imaging data
CN104739452A (zh) * 2013-12-30 2015-07-01 深圳迈瑞生物医疗电子股份有限公司 一种超声成像装置及方法
WO2015191871A1 (en) * 2014-06-11 2015-12-17 The Johns Hopkins University Synthetic aperture ultrasound system
WO2017039663A1 (en) * 2015-09-03 2017-03-09 Siemens Healthcare Gmbh Multi-view, multi-source registration of moving anatomies and devices

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030135115A1 (en) * 1997-11-24 2003-07-17 Burdette Everette C. Method and apparatus for spatial registration and mapping of a biopsy needle during a tissue biopsy
US8297983B2 (en) * 2004-11-30 2012-10-30 The Regents Of The University Of California Multimodal ultrasound training system
US8556814B2 (en) 2007-10-04 2013-10-15 Siemens Medical Solutions Usa, Inc. Automated fetal measurement from three-dimensional ultrasound data
EP2194506B1 (en) 2008-12-02 2016-03-09 Samsung Medison Co., Ltd. Image based registration
US20110184684A1 (en) * 2009-07-21 2011-07-28 Eigen, Inc. 3-d self-correcting freehand ultrasound tracking system
US9113817B2 (en) * 2010-10-20 2015-08-25 Siemens Medical Solutions Usa, Inc. System for locating anatomical objects in ultrasound imaging
US20140100452A1 (en) * 2011-06-27 2014-04-10 Koninklijke Philips Electronics N.V. Ultrasound-image-guide system and volume-motion-base calibration method
EP2807978A1 (en) * 2013-05-28 2014-12-03 Universität Bern Method and system for 3D acquisition of ultrasound images
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
WO2015103388A1 (en) * 2014-01-02 2015-07-09 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data
US10492767B2 (en) * 2014-01-20 2019-12-03 General Electric Company Method and system for sequential needle recalibration
KR102294734B1 (ko) 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
KR102328269B1 (ko) 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
WO2018002109A1 (en) * 2016-06-30 2018-01-04 Koninklijke Philips N.V. Medical navigation system employing optical position sensing and method of operation thereof
US11237635B2 (en) * 2017-04-26 2022-02-01 Cognixion Nonverbal multi-input and feedback devices for user intended computer control and communication of text, graphics and audio
US11647983B2 (en) * 2017-05-05 2023-05-16 International Business Machines Corporation Automating ultrasound examination of a vascular system
WO2019048482A1 (en) * 2017-09-07 2019-03-14 Piur Imaging Gmbh APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE
CN112040876B (zh) * 2018-04-20 2024-10-11 皇家飞利浦有限公司 自适应超声扫描
JP7008845B2 (ja) * 2018-05-02 2022-01-25 コーニンクレッカ フィリップス エヌ ヴェ 新生児のシミュレーション画像の生成
US10675005B2 (en) * 2018-08-02 2020-06-09 General Electric Company Method and system for synchronizing caliper measurements in a multi-frame two dimensional image and a motion mode image
EP3705049A1 (en) * 2019-03-06 2020-09-09 Piur Imaging GmbH Apparatus and method for determining motion of an ultrasound probe including a forward-backward directedness
US11839511B2 (en) * 2019-09-10 2023-12-12 Metritrack, Inc. System and method for tracking completeness of co-registered medical image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6012458A (en) * 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US20110301466A1 (en) * 2010-06-04 2011-12-08 Siemens Medical Solutions Usa, Inc. Cardiac flow quantification with volumetric imaging data
CN104739452A (zh) * 2013-12-30 2015-07-01 深圳迈瑞生物医疗电子股份有限公司 一种超声成像装置及方法
WO2015191871A1 (en) * 2014-06-11 2015-12-17 The Johns Hopkins University Synthetic aperture ultrasound system
WO2017039663A1 (en) * 2015-09-03 2017-03-09 Siemens Healthcare Gmbh Multi-view, multi-source registration of moving anatomies and devices

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114190972A (zh) * 2020-09-18 2022-03-18 苏州佳世达电通有限公司 超声波影像物件的体积计算方法及应用其的超声波系统
CN114190972B (zh) * 2020-09-18 2024-03-22 苏州佳世达电通有限公司 超声波影像物件的体积计算方法及应用其的超声波系统
CN114403925A (zh) * 2022-01-21 2022-04-29 山东黄金职业病防治院 一种乳腺癌超声检测系统
WO2023230999A1 (zh) * 2022-05-30 2023-12-07 汕头市超声仪器研究所股份有限公司 凸阵线阵双平面探头及其在前列腺体积计算的应用方法
CN117898764A (zh) * 2024-03-20 2024-04-19 北京智源人工智能研究院 一种超声探查装置

Also Published As

Publication number Publication date
US11534138B2 (en) 2022-12-27
WO2019048482A1 (en) 2019-03-14
CA3075334A1 (en) 2019-03-14
CN111432733B (zh) 2021-10-26
CA3075334C (en) 2021-08-31
EP3522789B1 (en) 2020-11-04
US20200196984A1 (en) 2020-06-25
EP3522789A1 (en) 2019-08-14
AU2018328799B2 (en) 2020-10-22
AU2018328799A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
CN113543718B (zh) 用于确定超声探头的包括前后方向性的运动的装置和方法
Prevost et al. 3D freehand ultrasound without external tracking using deep learning
US11373303B2 (en) Systems and methods for ultrasound imaging
US10561403B2 (en) Sensor coordinate calibration in an ultrasound system
US10548564B2 (en) System and method for ultrasound imaging of regions containing bone structure
KR20110128197A (ko) 심장 ｍ-모드 뷰들의 자동 분석
US20130158403A1 (en) Method for Obtaining a Three-Dimensional Velocity Measurement of a Tissue
EP1772825A1 (en) Method for registering images of a sequence of images, particularly ultrasound diagnostic images
EP2168494A1 (en) Ultrasound volume data processing
WO2024083931A1 (en) Apparatus and method for determining a motion path of an ultrasound probe

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant