CN111655156B - 组合基于图像的和惯性探头跟踪 - Google Patents

组合基于图像的和惯性探头跟踪 Download PDF

Info

Publication number
CN111655156B
CN111655156B CN201880087569.2A CN201880087569A CN111655156B CN 111655156 B CN111655156 B CN 111655156B CN 201880087569 A CN201880087569 A CN 201880087569A CN 111655156 B CN111655156 B CN 111655156B
Authority
CN
China
Prior art keywords
plane
inertial
image
data stream
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880087569.2A
Other languages
English (en)
Other versions
CN111655156A (zh
Inventor
F·C·梅拉尔
J·克吕克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111655156A publication Critical patent/CN111655156A/zh
Application granted granted Critical
Publication of CN111655156B publication Critical patent/CN111655156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4263—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors not mounted on the probe, e.g. mounted on an external reference frame
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种具有被刚性地固定到超声探头(10)的惯性跟踪传感器(20)的超声成像系统。在第一实施例中，实时姿态估计单元(32)使用惯性数据流来增强基于图像的跟踪以计算平面外旋转角度，并且通过利用改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面来确定平面外平移，计算通过散斑分析计算的子平面距离与所选择的平面之间的差，最小化针对所有所选择的平面的所述差的均方根。在另一实施例中，所述实时姿态估计单元使用超声图像数据流来增强惯性跟踪以估计平面内旋转角度；以及用所述平面内旋转角度代替使用所述惯性数据流估计的旋转角度。

Description

组合基于图像的和惯性探头跟踪
技术领域
本发明涉及超声探头跟踪的领域，并且更具体涉及使用集成的基于超声图像的和惯性跟踪数据的超声探头跟踪。
背景技术
在医学程序中，经常需要关于医学设备的空间位置和取向(即“姿态”)的实时信息。通常，这种信息使用光学、电磁或超声跟踪系统来获得。这样的系统是昂贵的，并且有时需要显著的设置时间和努力。对于一些程序，要被跟踪的设备是成像设备(例如超声探头)，对于设备位置跟踪的准确性的要求是更不严格的，并且任何误差能够被操作者容易地识别并交互地校正。针对这种程序的一个范例是超声引导的前列腺活检，具体地，使用飞利浦Invivo系统的超声-MRI融合活检。对于这样的程序，希望使用容易设置且满足程序的适度准确性要求的更低成本的空间跟踪系统和方法。
基于超声图像的跟踪方法在本领域中是已知的。能够在Housden,R.J.等人的“Sensorless reconstruction ofunconstrained freehand 3D ultrasound data”(Ultrasound in Medicine and Biology 33(3),408-419(2007))中找到基于超声的跟踪的描述。
基于超声图像的跟踪方法能够用来估计成像平面内的平面内运动(沿图像x和图像y的平移和围绕垂直于成像平面的轴线的旋转)以及成像平面外的运动。平面内估计与图像配准的问题完全相同。平面外运动估计使用更复杂的散斑去相关方法。在这种方法中，两幅图像之间的平面外距离能够基于从之前获得的具有已知帧间距的图像集的校准来估计。
近年来已经出现了微机电(MEMS)惯性跟踪传感器(三轴加速度计和三轴陀螺仪组件)或惯性测量单元(IMU)，其能够以极其低的成本被大规模生产，其已经到达针对线性加速度的大约毫-g(即10mm/s2)的准确性水平和针对旋转的几度每小时的偏置稳定性。
使用陀螺仪和加速度计传感器(惯性测量单元或“IMU”传感器、或MEMS)用于超声探头跟踪和超声图像的体积重建是吸引人的。然而，与这些惯性传感器相关联的偏置和噪声限制了其准确性。使用IMU传感器和重力加速度作为参考的传感器融合方法证明了针对姿态估计的显著改善。然而，由于缺少可靠的辅助参考(诸如地球的磁场，由于大的畸变，在室内或在临床环境中地球的磁场不是用作参考的理想候选)，这些方法是欠定的。
基于超声图像的跟踪与被附接到超声探头的惯性传感器(IMU、陀螺仪、MEMS)的组合能够被用于“低成本跟踪”，即以比常规跟踪方法(诸如电磁(EM)跟踪)低得多的成本用于探头位置的空间定位。
发明内容
尤其沿平面外方向的基于图像的跟踪对于徒手扫描来说变得复杂，其中探头运动能够包括六个自由度(DOF)，即三个平移和三个旋转。这些复杂的扫描几何导致不准确且不可靠的跟踪性能。关于基于图像的跟踪的最具挑战性问题中的一个与欠定的基于去相关的距离估计的方向性(即朝向当前图像平面的“前面”或“后面”的平面外运动)有关。当两个图像平面与通过初始图像平面的最终图像平面相对于初始图像平面的旋转轴线相交时，平面外方向性问题的特别复杂的情况发生。
根据本发明的第一实施例的第一方面，提供了一种具有增强超声成像探头跟踪的超声成像系统。所述超声成像系统包括：超声成像探头，其提供顺序图像帧的图像数据流；惯性跟踪单元，其被刚性地固定到所述超声探头并且提供惯性数据流；以及实时姿态估计单元，其接收并处理所述图像数据流和所述惯性数据流以估计针对相继图像帧的超声探头姿态。为了估计所述超声探头姿态，所述姿态估计单元：计算初始图像帧与相继图像帧之间的平面内配准以根据成像数据来确定平面内平移和平面内旋转；将所述初始图像帧和所配准的相继图像帧划分成子平面的矩阵；使用散斑去相关分析来估计针对每个子平面的平面外绝对距离；根据所述惯性数据来估计平面外旋转；通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面，针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，计算通过散斑分析计算的子平面绝对距离与根据惯性数据导出的旋转和所选择的平面计算的那些之间的差，并且最小化针对所有所选择的平面的所述差的均方根。
在一个优选实施例中，所述惯性跟踪单元是包括三个互相垂直的角加速度传感器和三个互相垂直的陀螺仪传感器的惯性测量单元(IMU)，并且所述惯性数据流包括来自所述加速度传感器的角加速度数据和来自所述陀螺仪传感器的取向或两者的组合。
在一个优选实施例中，所述姿态估计单元在工作站中被实现。所述工作站可以还包括应用单元，所述应用单元应用所估计的超声探头姿态来将针对每个姿态的图像数据与图像体积进行融合以生成融合图像并且将所述融合图像显示在显示器上。
根据另一方面，提供了一种用于跟踪超声成像探头的方法。所述方法包括以下步骤：接收来自所述超声探头的包括相继图像帧的图像数据流和来自被刚性地附接到所述超声成像探头的惯性传感器单元的惯性数据流；计算初始图像帧与相继图像帧之间的平面内配准以根据成像数据来确定平面内平移和平面内旋转；将所述初始图像帧和所配准的相继图像帧划分成子平面的矩阵；使用散斑去相关分析来估计针对每个子平面的平面外绝对距离；根据所述惯性数据来估计平面外旋转；通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面，针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，计算通过散斑分析计算的子平面绝对距离与根据惯性数据导出的旋转和所选择的平面计算的那些之间的差，以及最小化针对所有所选择的平面的所述差的均方根。
在一个优选实施例中，所述方法还包括以下步骤：分配具有所述差的最小均方根的所述平面作为最终姿态估计；以及应用所述最终姿态以融合用于在成像程序期间显示的相继图像。
惯性传感器融合算法使用重力和地球的磁场作为参考来考虑陀螺仪角度的漂移。然而，地球的磁场对于室内应用或临床环境来说不是可靠的参考。这些算法被设计用于全球导航和航空应用。在室内临床环境中，附近的金属物体和具有它们自己的电磁场的电子设备扭曲地球的磁场，使得它用作参考不是可靠的。重力仍然为成像物体的俯仰和滚动旋转提供有用的参考。缺少水平平面内的参考，仅重力不足以获得成像探头的精确姿态。累积传感器偏置然后能够在数据采集的延长时段内引起围绕垂直轴线的显著漂移。如果惯性传感器被附接到成像设备(诸如超声成像探头)，那么来自基于图像的跟踪的鲁棒信息(特别地，成像平面内的旋转)能够在传感器融合之前用对应惯性(陀螺仪)数据来代替。这导致在融合之后的更准确估计。
根据另一本发明的实施例，提供了具有增强超声成像探头跟踪的另一超声成像系统。该超声成像系统包括：超声成像探头，其提供顺序图像平面的图像数据流；惯性跟踪单元，其被刚性地固定到所述超声探头并且提供惯性数据流，所述惯性跟踪单元测量针对三个互相垂直的轴线的角加速度和倾斜；实时姿态估计单元，其接收并处理所述图像数据流和所述惯性数据流以估计超声探头姿态。所述姿态估计单元通过以下操作来估计超声探头姿态：使用所述超声图像数据流来估计平面内旋转角度；并且使用所述惯性跟踪数据流来执行惯性跟踪，用根据所述超声图像数据流估计的所述平面内旋转角度代替使用所述惯性数据流估计的旋转角度。
根据一个优选实施例，所述惯性跟踪单元是包括三个互相垂直的角加速度传感器和三个互相垂直的陀螺仪传感器的惯性测量单元(IMU)，并且所述惯性数据流包括来自所述加速度传感器的角加速度数据和来自所述陀螺仪传感器的取向或两者的组合。
在一个优选实施例中，所述姿态估计单元在工作站中被实现。所述工作站可以还包括应用单元，所述应用单元应用所估计的超声探头姿态来将针对每个姿态的图像数据与图像体积进行融合以生成融合图像并且将所述融合图像显示在显示器上。
根据另一方面，提供了一种用于跟踪超声成像探头的方法。所述方法包括以下步骤：接收来自所述超声探头的包括相继图像平面的图像数据流和来自惯性传感器单元的惯性数据流；使用所述超声图像数据流来估计平面内旋转角度；以及使用所述惯性跟踪数据流来执行惯性跟踪，用根据所述超声图像数据流估计的所述平面内旋转角度代替使用所述惯性数据流估计的旋转角度。
根据一个优选实施例，来自所述超声成像数据的所述旋转角度估计被上采样以通过内插来匹配惯性传感器数据采样率。
附图说明
当结合附图阅读时，根据优选实施例的以下详细描述将更清楚地理解本发明的特征和优点。被包括在附图中的是以下图：
图1是根据本发明的实施例的超声成像系统的方框图；
图2是根据本发明的实施例的包含姿态估计和应用单元的工作站的方框图；
图3是示出根据本发明的实施例的成像平面序列的平面外旋转和子平面的创建的示意图；
图4是示出实际的平面外旋转与使用未增强散斑去相关的所估计的平面外旋转之间的差的示意图；
图5是示出图像平面的实际的初始和最终姿态的示意图，其中，所述图像平面与初始图像平面相交并且旋转轴线延伸通过初始图像平面；
图6是示出图5的实际的初始姿态和图像平面的所估计的最终姿态的示意图，其中，所述图像平面与初始图像平面相交并且旋转轴线延伸通过初始图像平面，其中，所述最终姿态使用散斑去相关来估计；
图7是示出根据本发明的实施例的图像平面的初始姿态和使用惯性传感器数据确定的具有平面外旋转角度的一系列可能最终姿态的示意图，其中，所述图像平面与初始图像平面相交并且旋转轴线延伸通过初始图像平面；
图8是根据本发明的实施例的使用惯性数据来优化最终姿态的基于图像的跟踪的方法的流程图；
图9是示出根据本发明的实施例的围绕Z传感器轴线旋转的超声成像探头和相关联的平面内图像旋转的示意图；
图10是如通过基于图像的跟踪并且通过惯性传感器跟踪确定的图像的平面内旋转角度的曲线图；
图11是示出三组三个欧拉角的曲线图，其中，对于每个欧拉角，提供了表示以下的曲线：(1)使用惯性传感器来估计三个旋转的跟踪；(2)根据本发明的实施例的通过用基于图像的平面内旋转代替陀螺仪z-轴线测量结果的使用基于惯性和图像的跟踪的跟踪，以及(3)地面真值EM跟踪；
图12是使用惯性跟踪补偿的EM跟踪的超声图像位置的线框重建的图像；
图13是与EM跟踪相比较的根据本发明的实施例的使用针对两个轴线的惯性跟踪和平面内旋转的基于图像的跟踪的线框重建的图像；以及
图14是使用惯性传感器进行跟踪的方法的流程图，其中，基于图像的平面内旋转角度正在代替来自陀螺仪轴中的一个的测量结果。
具体实施方式
图1示出了根据本发明的实施例的具有增强超声成像探头跟踪的超声成像系统。手持超声成像探头10包括超声扫描器12，其是如本领域中已知的执行超声图像平面60的2D扫描的换能器。运动被应用于超声成像探头10以生成一系列相继的超声图像平面。这些相继的图像平面或“帧”由超声成像探头被发送为成像数据流2。
惯性跟踪传感器20被刚性地固定到超声成像探头10。惯性跟踪传感器可以使用任何合适的固定技术(例如，结合、机械紧固件、条带、被一体地嵌入在探头中等)来固定。优选地，惯性跟踪传感器可以是能够测量线性加速度和倾斜/旋转两者的惯性测量单元(IMU)或微机电系统(MEMS)导航传感器。包括关于互相垂直的轴线的旋转角度的惯性传感器数据流1由惯性传感器20发送。
在一个优选实施例中，惯性跟踪传感器20被固定为使得传感器轴线与超声成像探头的图像轴线对齐。备选地，惯性跟踪传感器20的轴线能够在跟踪之前被校准到图像轴线。
超声成像探头10和惯性跟踪传感器20被操作性地连接到姿态估计单元32。姿态估计单元可以与工作站30(诸如飞利浦Invivo系统)一体，其中姿态估计单元32以在工作站30中的处理器35上运行的软件被实现，如图2中示出的。备选地，姿态估计单元32可以以运行一体软件或远程存储的软件程序的独立处理器中的固件或如本领域中已知的任何其他合适配置被实现。
超声图像探头10和惯性跟踪单元20与姿态估计单元32的操作性连接通过接口31来实现，该接口可以是物理线缆(诸如适合于传输传感器数据的以太网线缆)和相关联的连接器。备选地，接口31可以被配置为使用RF、IR或其他无线通信技术无线地传输超声成像数据和惯性传感器数据。
姿态估计单元32使用图像数据流2来估计来自图像数据流的相继或最终图像帧相对于初始图像帧的平面内运动。平面内运动估计通过将相继图像帧配准到初始图像帧来执行，如本领域中已知的。初始图像帧和所配准的相继图像帧然后被划分成子平面的矩阵，如本领域中已知的。绝对平面外距离针对每个子平面使用散斑去相关来估计，如本领域中已知的。
并行于平面内运动估计和平面外距离估计，姿态估计单元根据惯性传感器数据来估计平面外旋转角度。
然后，姿态估计单元借助于通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面来确定相继图像帧之间的平面外平移。平面外偏移是平面外平移的估计。然后，姿态估计单元针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，并且计算通过散斑分析计算的子平面绝对距离与从惯性数据导出的旋转和所选择的平面计算的那些之间的差。最后，姿态估计单元最小化针对所有所选择的平面的差的均方根。
根据本发明的示范性实施例，应用单元34使用一系列图像帧的姿态来应用成像平面内的图像数据以执行成像程序。例如，姿态能够用来将成像数据与成像空间的3D模型进行融合以便呈现在显示器36上，如本领域中已知的。备选地，姿态能够用来提供被配准到显示器36上的超声图像上不可见的特征的成像数据，如本领域中已知的。
根据本发明的实施例，姿态估计单元32接收基于图像的跟踪数据2和惯性传感器数据1，并且根据基于图像的跟踪数据来执行针对一系列图像平面的姿态估计，其中所述图像平面与初始成像平面相交并且最终图像平面围绕初始图像平面的旋转轴线通过初始成像平面。
现在参考图3和图4，示出了来自超声成像数据的初始图像平面IIP。初始成像平面能够被划分成子平面(nXm)矩阵，在图3中被示为子平面SP11–SP33。相应子平面的围绕旋转轴线AOR的平面外运动被示为距离D11–D33，其中到旋转轴线D11、D12、D21、D22和D31的左侧的距离进入页面(到成像平面的后面)，并且到旋转轴线的右侧的距离从页面中出来(到成像平面的前面)。当成像探头10围绕通过初始成像平面的轴线被旋转时，如图3中示出的，子平面的距离或位移是沿不同的方向的。然而，针对散斑去相关分析获得的距离估计是无方向的。这些种类的旋转(其中旋转轴线通过初始成像平面)在临床上是常见的且必要的，例如以将视图从“轴向”改变到“矢状”。在这种情况下，依赖于找到整个图像平面的平面外运动的单个方向的方法将不行，因为平面的一部分正在一个方向上移动而平面的另一个部分正在相反方向上移动。
在图4中沿一个维度观看成像平面IIP，平面IIP围绕初始图像平面上的枢转点被旋转一旋转角度ROT，使得一些距离D1 D3是沿向上或正方向的而一些距离D4-D6是沿相反的向下或负方向的。虽然在该简化的图示中旋转的枢转点被示出在平面上，但是本领域技术人员将理解，旋转轴线通常不会沿着其整个长度位于初始成像平面上。然而，散斑分解分析假设所有距离都是正的，因此针对正运动的所估计的距离D1-D3将与实际距离相同，但是针对沿相反方向的运动的所估计的距离D4E–D6E将不与实际距离相同。
为了更准确地估计当旋转轴线AOR通过初始成像平面或与初始成像平面相交时一对姿态中的最终姿态，本发明的实施例使用来自被刚性地附接到超声探头10的惯性传感器20的数据来增强基于图像的跟踪，如下。
初始成像平面IIP上的成像感兴趣区域(ROI)被划分成多幅子图像或子平面SP11–SP33，以估计图像的不同位置处的平面外运动。针对每个子平面的绝对距离使用散斑去相关来估计。最终平面的所估计的斜度的平面被拟合到来自子平面SP11–SP33的被迭代地分配以方向性的这些个体估计。
在该平面拟合期间引入旋转轴线AOR，其中旋转轴线的一侧相对于旋转轴线的另一侧具有相反的平面外位移。旋转轴线具有已知的斜度，但是具有未知的与初始成像平面的交点。在该平面拟合期间计算的RMS误差被最小化以获得与旋转轴线的最佳拟合。
根据本发明的实施例，姿态估计单元32同时处理成像数据流2和惯性传感器数据流1。基于图像的跟踪过程将最后i个图像帧缓冲在存储器33中，并且针对平面内和平面外运动估计处理这些图像帧。优选地，i小于10，例如i＝8。在最后I个帧之间执行平面内跟踪。然后，对数解压和散斑滤波器被应用以从非镜面反射体遮蔽图像区域。
先前i-1帧中的每帧相对于第i帧被对齐。即，帧被配准到彼此。两个相继帧通过优化被配准到彼此，其中目标是最小化参考帧(例如帧1)与遭受变换T的经变换的模板帧(例如帧2)之间的差，所述变换能够是刚性的、仿射的、弹性的、等等…。变换矩阵的参数能够使用任何非线性求解器被迭代地求解。这种配准提供了相继图像帧相对于初始图像帧的平面内平移和平面内旋转。
在i帧与i-j帧对之间执行去相关计算，其中(j＝1，…(i-1))。对子图像(即，子平面)的(mXn)矩阵的每幅子图像执行去相关计算。子图像可以在每个图像平面内是交叠的或非交叠的。
位移(或平面外距离)估计基于利用已知帧间距采集的先前获得的校准扫描来进行。校准扫描通过将成像探头安装在定位器阶段上并且以已知的增量(例如0.1mm)移动来执行。在每个位置处新的图像帧被采集。校准图像也被划分成多幅子图像，并且它们之间的去相关被计算。对于一组N帧，N-1个1-滞后去相关、N-2个2-滞后去相关等…被计算。所有n-滞后去相关用来限定关于帧间距的高斯校准曲线。
已知的平面拟合优化方法仅依赖于基于图像的跟踪。因此，平面拟合优化是不准确的。在本发明的实施例中，具有来自惯性跟踪的已知角度姿态的平面外平移被迭代地假设。旋转轴线也被迭代地假设。然后，子平面在旋转轴线的一侧(左侧)的位移被假设为是正的，而子平面在旋转轴线的相反侧的位移被假设为是负的。与基于散斑去相关分析计算并且被迭代地分配以方向性的平面相比具有最小RMS差的平面外运动候选被拾取。
参考图5和图6，初始成像姿态IIP和最终成像姿态相交，如图5中示出的。如6中示出的仅根据基于图像的跟踪数据的所估计的最终成像姿态EFIP是不准确的。如果最终图像平面(姿态)是未知的，则在仅使用基于图像的跟踪的优化方法中，优化是三个自由度问题(两个平面外旋转和一个平面外平移)。该问题是计算昂贵的且不是非常鲁棒的。
在本发明的实施例中，最终成像平面FIP的斜度通过惯性传感器数据来知晓。具体地，来自被刚性地附接到超声探头的惯性传感器的陀螺仪测量结果能够用来计算超声探头的取向和垂直于超声探头的成像平面。这减少了对一个自由度问题(确定平面外平移(即，确定具有已知旋转角度的一系列平行平面中的一个))的优化。
图像平面的姿态通过将平面拟合到针对每个子平面的个体绝对平面外位移D11–D33来估计。最终成像平面FIP的斜度(平面外旋转角度)是已知的。旋转轴线与初始成像平面的截距是被迭代地求解的平面外平移的函数。具有最小RMS误差的最终成像平面FIP限定平面外平移，并且与基于图像的平面内平移和平面内旋转以及基于惯性传感器的平面外旋转角度一起用来限定最终姿态。
根据本发明的实施例，来自姿态估计单元32的姿态估计被提供给应用单元34。应用单元应用姿态估计以在显示器36处提供用于在成像程序期间使用的图像。例如，应用单元34可以使用姿态估计以将来自成像数据2的2D图像帧融合到3D图像体积，诸如预先采集的x-射线扫描等。
备选地，这些姿态估计能够用来重建感兴趣区域(例如前列腺、乳房等…)的3D体积数据集。以与当前Uronav产品类似的方式，所创建的3D前列腺体积使用通过电磁EM跟踪获得的姿态信息。
现在参考图8，描述了根据本发明的实施例的用于跟踪超声成像探头的方法。姿态估计单元32接收来自超声探头10的包括相继图像平面的图像数据流2和来自惯性传感器单元20的惯性数据流1(步骤101)。
平面内平移和平面内旋转由姿态估计单元根据图像数据来估计(步骤102)。这些平面内运动使用图像配准来估计，如本领域中已知的。
姿态估计单元32将图像数据流的初始图像帧和图像数据流的相继或最终图像帧划分成子图像或子平面SP11–SP33的矩阵(步骤103)。然后，姿态估计单元32使用图像数据流的散斑去相关分析来估计针对每个子平面的绝对平面外距离，并且通过迭代地将方向性分配给绝对平面外距离来估计平面外距离(步骤104)。
与将图像平面划分成子平面并且估计平面外距离同时，姿态估计单元32根据惯性数据流来估计相继或最终图像帧的平面外旋转角度(步骤105)，并且计算最终平面自旋转轴线的斜度(步骤106)。
旋转轴线的斜度关于图9中的角度进行限定。如果探头仅围绕Y-传感器被旋转，那么对应的AOR是零度。围绕Z-传感器的旋转限定AOR的斜度(即tan(χ)，其中χ是由Z-传感器测量的旋转角度)。
然后，姿态估计单元32借助于通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面来确定相继图像帧之间的平面外平移。平面外偏移是平面外平移的估计。然后，姿态估计单元针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，并且计算通过散斑分析计算的子平面绝对距离与根据惯性数据导出的旋转和所选择的平面计算的那些之间的差。最后，姿态估计单元最小化针对所有所选择的平面的差的均方根。
该平面外平移与根据图像数据估计的平面内平移和平面内旋转以及根据惯性传感器数据估计的平面外旋转角度进行组合，以提供相继或最终图像帧相对于初始图像帧的姿态。
根据另一本发明的实施例，惯性传感器20被刚性地固定到超声探头10，并且超声探头和传感器两者分别被可操作地附接到姿态估计单元32以提供惯性数据和成像数据，如图1中示出的。在该实施例中，超声探头使用惯性数据来跟踪，其中平面内旋转角度θ使用成像数据来估计并且被代入惯性数据。惯性传感器20能够以相对于成像平面的任何相对取向被固定到超声探头10。然而，出于以下描述的目的，成像轴线x图像和y图像平行于传感器轴线x传感器和y传感器的情况将被考虑。
图像数据2和惯性传感器数据1两者被发送给姿态估计单元32。图像数据包括相继图像帧或2D超声图像平面的流。图像帧相对于彼此被配准，以计算平面内平移和旋转。
参考图9至14，图像数据2由姿态估计单元接收为相继图像或图像帧的流。这些图像帧相对于彼此被配准，以计算帧k和k-1之间的平面内平移Δx图像和Δy图像以及平面内旋转Δθ。本领域中已知的任何配准方法可以用来配准相继图像帧。而且，介质的任何可变形性假设(诸如刚性、仿射或弹性)可以与本发明一起使用。一旦帧k和k-1之间的图像旋转Δθ从图像数据获得，图像旋转就用来代替来自惯性传感器数据的围绕传感器的z-轴线的旋转。围绕传感器的z-轴线的旋转也是针对所假设的平行轴线情况的围绕图像的z-轴线的惯性旋转。
在该实施例中，惯性传感器20包括陀螺仪和加速度计(IMU或MEMS)。通常，惯性传感器具有大约100Hz的采集速率，而图像采集速率为大约20Hz。陀螺仪数据被缓存直至图像数据可用。由于惯性传感器的更高采样率改善了传感器融合算法的性能，所以代替将现有的陀螺仪和加速度计数据下采样到图像帧率，从超声图像获得的旋转角度数据被上采样到惯性传感器采样率。一旦基于图像的Δθ被计算出并且可用，它就被内插以估计惯性传感器采样实例之间的对应dθ。代替角速率然后被计算为ω图像＝dθ/dt。图10示出了根据陀螺仪数据10的直接积分计算的角度位置202对比基于图像的计算201的累积。陀螺仪偏置在积分之后是明显的，因为陀螺仪曲线202漂移远离基于图像的角度201。
代替角度θ(从图像数据计算的平面内旋转)然后在融合算法中用来估计图像平面姿态。在图11中示出了融合算法的结果。使用图像信息来部分地代替陀螺仪数据的曲线(本实施例被示为实线)211a、212a、213a与仅使用陀螺仪数据的曲线(点线)211c、212c、213c和来自电磁跟踪的地面真值曲线(虚线)211b、212b、213b一起示出。如图11中展示的，当来自超声成像数据的平面内角度代替来自陀螺仪数据的一个旋转轴线被使用时，欧拉角跟踪更靠近基于地面真值EM的欧拉角。
在该实施例中，使用针对平面内旋转角度的基于图像的估计的姿态估计被提供给应用单元36。应用单元使用图像帧和所估计的姿态来执行线框3D体积重建，然后将线框重建显示在显示器36上。使用平面内旋转的基于图像的估计的姿态给出了与地面真值EM跟踪的帧相比更好的RMS误差。仅使用惯性传感器数据来估计姿态的RMS误差是2.96mm。代替根据成像数据估计的平面内旋转角度的本实施例将RMS误差降至2.76mm。如图12和图13中示出的，使用仅根据惯性传感器数据估计的姿态的重建302具有自EM地面真值301的角度失配(图12)，而使用其中平面内旋转使用超声成像数据来估计的姿态的重建303具有自EM地面真值301的更小失配(图13)。
本发明可以采取可从计算机可用介质或计算机可读介质存取的计算机程序产品的形式，所述计算机程序产品提供用于由计算机或任何指令执行系统或设备使用的或与其结合使用的程序代码。出于本说明书的目的，计算机可用介质或计算机可读介质可以是能够包含、存储、传递、传播、或传输用于由指令执行系统、装置或设备使用的或与其结合使用的程序的任何装置。
前述方法可以通过包括机器可读介质的程序产品来实现，所述机器可读介质具有机器可执行程序的指令，其在被机器(例如计算机)运行时，执行所述方法的步骤。该程序产品可以被存储在各种已知机器可读介质中的任何上，所述介质包括但不限于光盘、软盘、USB存储器设备，等等。
介质能够是电子、磁性、光学、电磁、红外或半导体系统(或装置或设备)。计算机可读介质的范例包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘、光盘。光盘的当前范例包括压缩盘-只读存储器(CD-ROM)、压缩盘-读/写(CD-R/W)和DVD。
前面的描述和附图旨在是说明性的而非限制本发明。本发明的范围旨在涵盖对随附权利要求的完整范围的等价变型和配置。

Claims (12)

1.一种具有增强超声成像探头跟踪的超声成像系统，包括：
超声成像探头(10)，其提供图像平面上的顺序图像帧的图像数据流(2)；
惯性跟踪单元(20)，其被刚性地固定到所述超声探头并且提供惯性数据流(1)；
实时姿态估计单元(32)，其接收并处理所述图像数据流和所述惯性数据流以通过以下操作来估计针对相继图像帧的超声探头姿态：
通过将相继图像帧配准到初始图像帧根据所述图像数据流来估计所述初始图像帧与所述相继图像帧之间的平面内平移和旋转；
将所述初始图像帧和所配准的相继图像帧划分成子平面的矩阵；
使用散斑去相关分析来估计针对每个子平面的平面外距离；
根据所述惯性数据流来估计相继图像帧之间的平面外旋转；并且
借助于通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面来确定相继图像帧之间的平面外平移，针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，计算通过散斑分析计算的子平面距离与根据惯性数据导出的旋转和所选择的平面计算的那些之间的差，并且最小化针对所有所选择的平面的差的均方根。
2.根据权利要求1所述的超声成像系统，其中，所述惯性跟踪单元是包括三个互相垂直的线性加速度传感器和三个互相垂直的陀螺仪传感器的惯性测量单元(IMU)，并且所述惯性数据流包括来自所述加速度传感器的线性加速度数据和来自所述陀螺仪传感器的取向或两者的组合。
3.根据权利要求1所述的超声成像系统，其中，所述姿态估计单元在工作站中被实现。
4.根据权利要求3所述的超声成像系统，所述工作站还包括应用单元，所述应用单元应用所估计的超声探头姿态来将针对每个姿态的图像数据与图像体积进行融合以生成融合图像并且将所述融合图像显示在显示器上。
5.一种用于跟踪超声成像探头的方法，包括以下步骤：
接收来自所述超声探头的包括相继图像帧的图像数据流和来自被刚性地附接到所述超声成像探头的惯性传感器单元的惯性数据流；
通过将相继图像帧配准到初始图像帧来估计相继图像帧之间的平面内平移和旋转；
将所述图像数据流的所述初始图像帧和所配准的相继图像帧划分成子平面的矩阵；
使用所述图像数据流的散斑去相关分析来估计针对每个子平面的平面外距离；
根据所述惯性传感器数据来估计平面外旋转角度；以及
借助于通过改变平面外偏移而迭代地选择具有所估计的平面外旋转的平面来确定相继图像帧之间的平面外平移，针对所估计的平面外旋转和所选择的平面计算每个子平面的运动，计算通过散斑分析计算的子平面距离与根据惯性数据导出的旋转和所选择的平面计算的那些之间的差，以及
最小化针对所有所选择的平面的差的均方根。
6.根据权利要求5所述的方法，还包括以下步骤：
分配具有差的最小均方根的所述平面作为最终姿态估计；以及
应用所述最终姿态以融合用于在成像程序期间显示的相继图像。
7.一种具有增强超声成像探头跟踪的超声成像系统，包括：
超声成像探头(10)，其提供顺序图像平面的图像数据流(2)；
惯性跟踪单元(20)，其被刚性地固定到所述超声探头并且提供惯性数据流(1)，所述惯性跟踪单元测量针对三个互相垂直的轴线的加速度和旋转速度；
实时姿态估计单元(32)，其接收并处理所述图像数据流和所述惯性数据流以通过以下操作来估计超声探头姿态：
使用所述超声图像数据流来估计平面内旋转角度；并且
使用所述惯性跟踪数据流来执行惯性跟踪，用根据所述超声图像数据流估计的所述平面内旋转角度代替使用所述惯性数据流估计的旋转角度。
8.根据权利要求7所述的超声成像系统，其中，所述惯性跟踪单元是包括三个互相垂直的线性加速度传感器和三个互相垂直的陀螺仪传感器的惯性测量单元(IMU)，并且所述惯性数据流包括来自所述加速度传感器的加速度数据和来自所述陀螺仪传感器的旋转速度。
9.根据权利要求7所述的超声成像系统，其中，所述姿态估计单元在工作站中被实现。
10.根据权利要求9所述的超声成像系统，所述工作站还包括应用单元，所述应用单元应用所估计的超声探头姿态来将针对每个姿态的图像数据与图像体积进行融合以生成融合图像并且将所述融合图像显示在显示器上。
11.一种用于跟踪超声成像探头的方法，包括以下步骤：
接收来自所述超声探头的包括相继图像平面的图像数据流和来自惯性传感器单元的惯性数据流；
使用所述超声图像数据流来估计平面内旋转角度；以及
使用所述惯性跟踪数据流来执行惯性跟踪，用根据所述超声图像数据流估计的所述平面内旋转角度代替使用所述惯性数据流估计的旋转角度。
12.根据权利要求11所述的方法，其中，来自所述超声成像数据的所述旋转角度估计被上采样以通过内插来匹配惯性传感器数据采样率。
CN201880087569.2A 2017-12-19 2018-12-11 组合基于图像的和惯性探头跟踪 Active CN111655156B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762607395P 2017-12-19 2017-12-19
US62/607395 2017-12-19
PCT/EP2018/084255 WO2019121127A1 (en) 2017-12-19 2018-12-11 Combining image based and inertial probe tracking

Publications (2)

Publication Number Publication Date
CN111655156A CN111655156A (zh) 2020-09-11
CN111655156B true CN111655156B (zh) 2024-05-07

Family

ID=64900850

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880087569.2A Active CN111655156B (zh) 2017-12-19 2018-12-11 组合基于图像的和惯性探头跟踪

Country Status (5)

Country Link
US (2) US11660069B2 (zh)
EP (1) EP3727158B1 (zh)
JP (1) JP7061669B6 (zh)
CN (1) CN111655156B (zh)
WO (1) WO2019121127A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3975859B1 (en) * 2019-05-30 2024-02-28 Koninklijke Philips N.V. Relative location determining for passive ultrasound sensors
EP3771432A1 (en) * 2019-07-31 2021-02-03 Koninklijke Philips N.V. Relative location determining for passive ultrasound sensors
EP4135587A1 (en) * 2020-04-16 2023-02-22 Koninklijke Philips N.V. Bi-plane and three-dimensional ultrasound image acquisition for generating roadmap images, and associated systems and devices
IL274382A (en) * 2020-05-01 2021-12-01 Pulsenmore Ltd A system and method for assisting an unskilled patient in performing ultrasound scans himself
WO2022263215A1 (en) * 2021-06-16 2022-12-22 Koninklijke Philips N.V. User load balancing

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122538A (en) * 1997-01-16 2000-09-19 Acuson Corporation Motion--Monitoring method and system for medical devices
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
CN103648397A (zh) * 2011-06-27 2014-03-19 皇家飞利浦有限公司 超声图像引导的系统与基于体积运动的校准方法
CN105025803A (zh) * 2013-02-28 2015-11-04 皇家飞利浦有限公司 从多个三维视图对大对象的分割
WO2017102761A1 (en) * 2015-12-14 2017-06-22 Koninklijke Philips N.V. System and method for medical device tracking
CN106999146A (zh) * 2014-11-18 2017-08-01 C·R·巴德公司 具有自动图像呈现的超声成像系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL6901659A (zh) 1969-02-01 1970-08-04
GB9025431D0 (en) * 1990-11-22 1991-01-09 Advanced Tech Lab Three dimensional ultrasonic imaging
DE69736549T2 (de) * 1996-02-29 2007-08-23 Acuson Corp., Mountain View System, verfahren und wandler zum ausrichten mehrerer ultraschallbilder
US6315724B1 (en) 1999-10-19 2001-11-13 Biomedicom Ltd 3-dimensional ultrasonic imaging
US10726741B2 (en) * 2004-11-30 2020-07-28 The Regents Of The University Of California System and method for converting handheld diagnostic ultrasound systems into ultrasound training systems
WO2006127142A2 (en) 2005-03-30 2006-11-30 Worcester Polytechnic Institute Free-hand three-dimensional ultrasound diagnostic imaging with position and angle determination sensors
US20080146942A1 (en) 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
NZ583806A (en) * 2007-08-31 2012-03-30 Signostics Ltd Displaying data from an ultrasound scanning device containing position and orientation sensors
US20160328998A1 (en) * 2008-03-17 2016-11-10 Worcester Polytechnic Institute Virtual interactive system for ultrasound training
WO2009149499A1 (en) 2008-06-13 2009-12-17 Signostics Limited Improved scan display
IT1392888B1 (it) 2008-07-24 2012-04-02 Esaote Spa Dispositivo e metodo di guida di utensili chirurgici mediante imaging ecografico.
AU2011100208A4 (en) 2010-03-05 2011-03-24 Signostics Limited Operator movement compensated scanning method and apparatus
US9610063B2 (en) * 2010-03-26 2017-04-04 The Johns Hopkins University Methods and apparatus for ultrasound strain imaging
FR2967644B1 (fr) 2010-11-19 2012-12-14 Airbus Operations Sas Hublot de cabine a deformation programmee, procede de fabrication d'un tel hublot et aeronef incorporant un tel hublot
US20120277588A1 (en) * 2011-04-26 2012-11-01 General Electric Company Systems and methods for fusing sensor and image data for three-dimensional volume reconstruction
US20140128739A1 (en) 2012-11-07 2014-05-08 General Electric Company Ultrasound imaging system and method
JP6745796B2 (ja) 2014-10-17 2020-08-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 介入治療内で器具を挿入する間の実時間の臓器区分化及び器具ナビゲーションのためのシステム、並びにその作動方法
US10105107B2 (en) * 2015-01-08 2018-10-23 St. Jude Medical International Holding S.À R.L. Medical system having combined and synergized data output from multiple independent inputs
JP6472719B2 (ja) 2015-06-22 2019-02-20 キヤノンメディカルシステムズ株式会社 超音波診断装置
CN108601582B (zh) 2016-01-26 2022-07-08 加利福尼亚大学董事会 用于膛外局部激光治疗的系统
US20170273665A1 (en) * 2016-03-28 2017-09-28 Siemens Medical Solutions Usa, Inc. Pose Recovery of an Ultrasound Transducer
CN109475386B (zh) 2016-06-30 2021-10-26 皇家飞利浦有限公司 内部设备跟踪系统以及操作其的方法
US10806391B2 (en) * 2016-09-26 2020-10-20 General Electric Company Method and system for measuring a volume of an organ of interest
WO2019048482A1 (en) * 2017-09-07 2019-03-14 Piur Imaging Gmbh APPARATUS AND METHOD FOR DETERMINING THE MOTION OF AN ULTRASONIC PROBE

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122538A (en) * 1997-01-16 2000-09-19 Acuson Corporation Motion--Monitoring method and system for medical devices
WO2012117381A1 (en) * 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
CN103402453A (zh) * 2011-03-03 2013-11-20 皇家飞利浦有限公司 用于导航系统的自动初始化和配准的系统和方法
CN103648397A (zh) * 2011-06-27 2014-03-19 皇家飞利浦有限公司 超声图像引导的系统与基于体积运动的校准方法
CN105025803A (zh) * 2013-02-28 2015-11-04 皇家飞利浦有限公司 从多个三维视图对大对象的分割
CN106999146A (zh) * 2014-11-18 2017-08-01 C·R·巴德公司 具有自动图像呈现的超声成像系统
WO2017102761A1 (en) * 2015-12-14 2017-06-22 Koninklijke Philips N.V. System and method for medical device tracking

Also Published As

Publication number Publication date
EP3727158A1 (en) 2020-10-28
US20200337673A1 (en) 2020-10-29
EP3727158B1 (en) 2022-02-09
CN111655156A (zh) 2020-09-11
WO2019121127A1 (en) 2019-06-27
JP7061669B6 (ja) 2022-06-06
US11660069B2 (en) 2023-05-30
US20230255589A1 (en) 2023-08-17
JP7061669B2 (ja) 2022-04-28
JP2021506457A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
CN111655156B (zh) 组合基于图像的和惯性探头跟踪
US9990726B2 (en) Method of determining a position and orientation of a device associated with a capturing device for capturing at least one image
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
Kok et al. An optimization-based approach to human body motion capture using inertial sensors
US8965057B2 (en) Scene structure-based self-pose estimation
CN109475386B (zh) 内部设备跟踪系统以及操作其的方法
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
US20040176925A1 (en) Position/orientation measurement method, and position/orientation measurement apparatus
KR101715780B1 (ko) 복셀 맵 생성기 및 그 방법
CN113543718B (zh) 用于确定超声探头的包括前后方向性的运动的装置和方法
CN108413917B (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
JP2014529727A (ja) 自動シーン較正
AU2015334707B2 (en) Optical Inertial Measurement Apparatus and Method
JP6441346B2 (ja) 光学追跡
CN105324792B (zh) 用于估计移动元件相对于参考方向的角偏差的方法
EP3155369B1 (en) System and method for measuring a displacement of a mobile platform
JP2017532695A (ja) Ｒｇｂ−ｄセンサを使用して物体を走査する方法とシステム
CN112022202A (zh) 用于确定超声探头运动的技术
Goldsmith et al. An inertial-optical tracking system for portable, quantitative, 3D ultrasound
KR20120028416A (ko) 통합 움직임 감지 장치
Aksoy et al. Uncertainty modeling for efficient visual odometry via inertial sensors on mobile devices
CN113628279A (zh) 一种全景视觉slam建图方法
Zhang et al. Inertial Guided Visual Sample Consensus based wearable orientation estimation for body motion tracking

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant