CN112022202A - 用于确定超声探头运动的技术 - Google Patents

用于确定超声探头运动的技术 Download PDF

Info

Publication number
CN112022202A
CN112022202A CN202010497636.7A CN202010497636A CN112022202A CN 112022202 A CN112022202 A CN 112022202A CN 202010497636 A CN202010497636 A CN 202010497636A CN 112022202 A CN112022202 A CN 112022202A
Authority
CN
China
Prior art keywords
motion
ultrasound
images
probe
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010497636.7A
Other languages
English (en)
Inventor
彼得·威廉·洛林
大卫·安德鲁·肖迪
阿莎·辛加纳马利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
General Electric Co
Original Assignee
General Electric Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by General Electric Co filed Critical General Electric Co
Publication of CN112022202A publication Critical patent/CN112022202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8934—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration
    • G01S15/8936—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a dynamic transducer configuration using transducers mounted for mechanical movement in three dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8993—Three dimensional imaging systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/5205—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明题为“用于确定超声探头运动的技术”。本公开涉及从所采集的超声图像帧提取探头运动估计值。此类经图像提取的探头运动数据可单独使用或与所感测的运动数据组合使用，该感测的运动数据诸如使用惯性测量单元(IMU)采集。在某些实施方式中，该经图像提取的探头运动可用于提供或维持图像序列中的解剖背景或向用户提供指导。

Description

用于确定超声探头运动的技术
背景技术
本文所公开的主题涉及导出超声探头的运动估计值。
超声成像系统通常包括施用至患者身体的超声探头和可操作地耦接至超声探头的工作站或监视器。超声探头可由超声成像系统的操作者控制，并且被配置为发射和接收由工作站或监视器处理成超声图像的超声信号。操作者定位超声探头以在目标扫描平面中采集感兴趣的目标解剖结构或区域(例如，待成像的期望组织或身体区域)。例如，通过在超声成像系统的监视器或单独显示器上查看所采集的超声数据的实时图像，操作者可将超声探头调整至适当位置中，以用于对感兴趣的目标区域的目标扫描平面进行成像。
在实践中，将超声探头的移动与所显示的图像相关联以理解被成像的底层三维结构是技术人员的训练和心智过程的一部分。因此，经验不足的技术人员或未经训练的个体可能难以从图像帧至图像帧跟踪感兴趣的解剖结构和/或完全合成对正在进行成像的解剖结构的三维理解。
发明内容
下文概述了与最初要求保护的主题相称的某些实施方案。这些实施方案并非旨在限制要求保护的主题的范围，而是这些实施方案仅旨在提供可能的实施方案的简要概述。实际上，本发明可包括多种形式，这些形式可类似于或不同于下文所述的实施方案。
在一个实施方案中，提供了用于估计超声探头的运动的方法。根据该实施方案，在相对于成像体积移动超声探头的同时采集超声图像序列。对于以不同时间间隔采集的超声图像，从超声图像上的相应变化提取超声探头的一个或多个运动估计值。使用一个或多个运动估计值关于序列中的其他图像和患者的内部解剖结构来定位当前探头位置。
在又一个实施方案中，提供了用于处理超声图像序列的方法。根据该实施方案，在相对于成像体积移动超声探头的同时采集超声图像序列。在超声图像序列的至少一个图像中识别一个或多个感兴趣的特征。从超声图像序列提取超声探头的一个或多个运动估计值。基于一个或多个运动估计值和一个或多个感兴趣的特征，分析或合成序列的超声图像。
在另一个实施方案中，提供了超声成像系统。根据该实施方案，超声成像系统包括：超声探头和监视器，该监视器包括存储器和处理器。处理器通信地耦接至超声探头并且被配置为：从在相对于成像体积移动超声探头的同时所采集的超声数据生成超声图像序列；从超声图像上的相应变化提取超声探头的一个或多个运动估计值；以及向用户提供反馈，该反馈传达关于使用一个或多个运动估计值导出的超声探头的运动的信息。
附图说明
当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
图1是根据本公开的各方面的超声系统的框图的实施方案；
图2描绘了超声图像采集过程的常规处理流程；
图3描绘了根据本公开的各方面的用于采集和利用与超声探头运动有关的运动数据的当前模型；
图4描绘了根据本公开的各方面的一组图像，其中使用边界框检测并定位解剖特征；
图5描绘了根据本公开的各方面的超声图像采集过程的处理流程；
图6描绘了根据本公开的各方面的超声探头以及相关联的移动轴线和取向；
图7描绘了根据本公开的各方面的可用超声探头执行的扭转运动；
图8描绘了根据本公开的各方面的用于确定与超声探头相关联的扭转的视觉处理流程；
图9描绘了根据本公开的各方面的从基于图像的源(散斑处理)和从运动传感器导出的超声探头头部的扭转运动的对应测量值；
图10描绘了根据本公开的各方面的从基于图像的源(散斑处理)和从运动传感器导出的超声探头头部的扭转运动的另外对应测量值；
图11描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的扭转运动的估计值；
图12描绘了根据本公开的各方面的可用超声探头执行的倾斜运动；
图13描绘了根据本公开的各方面的从基于图像的源(散斑处理)和从运动传感器导出的超声探头头部的倾斜运动的对应测量值；
图14描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的倾斜运动的估计值；
图15描绘了根据本公开的各方面的可用超声探头执行的摇摆运动；
图16描绘了根据本公开的各方面的在超声探头的摇摆运动的不同点处所采集的图像；
图17描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的摇摆运动的估计值；
图18描绘了根据本公开的各方面的在超声探头的平面内(方位角)平移运动的不同点处所采集的图像；
图19描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的平面内(方位角)平移运动的估计值；
图20描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的平面外(仰角)平移运动的估计值；并且
图21描绘了根据本公开的各方面的从图像相似性处理导出的超声探头头部的压缩运动的估计值。
具体实施方式
在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，可能未在说明书中描述实际具体实施的所有特征。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
当介绍本发明的各种实施方案的元件时，冠词“一个”、“一种”、“该”和“所述”旨在表示存在元件中的一个或多个。术语“包含”、“包括”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。
如本文所讨论的，本技术涉及从所采集的图像数据提取或估计超声探头运动和取向变化。以举例的方式，所述的两种技术涉及利用散斑处理(例如，连续图像帧中的散斑图案的变化)和/或此类连续图像帧中的图像相似性度量来提取探头运动数据。所提取的运动数据可单独使用，或者可与从其他源(诸如作为超声探头的一部分提供的运动传感器)提取的运动数据融合(或以其他方式用于补充从这些源提取的运动数据)。以举例的方式，运动数据可用于提供对图像内容的背景理解和/或对感兴趣的解剖特征的条件检测或跟踪。例如，所提取或估计的运动数据可与所采集的图像帧结合使用，以实现语义分割和/或自动化理解例程，该例程允许在连续图像帧(包括其中特征可能不容易辨别或识别的帧)中可视地跟踪或标记解剖特征。以这种方式，运动数据可通过利用所提取的探头运动而有利于合成或理解图像序列的内容，使得解剖特征可在原本可能无法区分它们的图像中被标记或识别。
考虑到前述内容，图1示出了超声成像系统10的实施方案的框图，该超声成像系统能够提取和/或利用从一个或多个源(包括从所采集的图像数据本身)导出的运动信息。在所示实施方案中，超声系统10是数字采集和波束形成器系统，但是在其他实施方案中，超声系统10可以是任何合适类型的超声系统，不限于所示类型。超声系统10可包括超声探头14和工作站16(例如，监视器、控制台、用户界面)，该工作站可控制超声探头14的操作并且可处理由超声探头14所采集的图像数据。超声探头14可通过任何合适的技术耦接至工作站16，该技术用于在超声探头14和工作站16之间传输图像数据和控制信号，诸如无线、光学、同轴或其他合适的连接。
超声探头14在超声检查期间接触患者。超声探头14可包括面向患者或接触患者的表面，该表面包括换能器阵列18，该换能器阵列具有多个换能器元件20，该多个换能器元件能够在发射模式和接收模式之间以切换方式操作。每个单独的换能器元件20均可以能够将电能转换为用于发射的机械能，以及将机械能转换为用于接收的电能。应当指出的是，换能器阵列18可被配置为双向换能器，当超声波探头14被放置成与患者22接触时，该双向换能器能够在操作期间将超声波发射至受检者或患者22中以及从受检者或患者22接收此类能量。更具体地讲，换能器元件20可将来自超声探头14的电能转换为超声波(例如，超声能量、声波)并将超声波发射至患者22体内。超声波可诸如从患者22的组织被反射回换能器阵列18，并且换能器元件20可将从患者22接收的超声能量(反射的信号或回波)转换为电信号，用于由超声探头14和工作站16发射并处理，以提供可被分析的超声图像。换能器阵列18中的换能器元件20的数量和换能器元件20操作的频率可取决于应用而变化。
如先前所讨论的，超声探头14通信地耦接至超声成像系统10的工作站16，以有利于图像收集和处理。如将了解的，工作站16可包括多个元件以控制超声探头14的操作，有利于超声探头14的放置引导，并且有利于超声图像的产生和/或解释。例如，如所示出的，工作站16可包括控制器24、处理电路26、一个或多个用户输入设备28和显示器20。在某些实施方案中，工作站16可包括图1中未示出的附加元件，诸如附加数据采集和处理控件、附加图像显示面板、多个用户界面等。
控制器24可包括存储器32和处理器34。在一些实施方案中，存储器32可包括一个或多个有形的、非暂态计算机可读介质，该介质存储能够由处理器34执行的指令和/或待由处理器34处理的数据。例如，存储器32可包括随机存取存储器(RAM)、只读存储器(ROM)、可重写非易失性存储器(诸如闪速存储器)、硬盘驱动器、光盘和/或类似物。另外，处理器34可包括一个或多个通用微处理器、一个或多个专用处理器(ASIC)、一个或多个现场可编程逻辑阵列(FPGA)或它们的任意组合。控制器24可控制超声波经由换能器阵列18传输至患者22体内。另外，控制器24可处理所采集的数据以生成超声图像序列，可从此类图像序列提取运动数据(其可或可不与其他运动数据(诸如从惯性测量单元(IMU)、(多个)加速度计、(多个)陀螺仪、(多个)磁力仪、(多个)电磁跟踪器、(多个)光学跟踪器等导出的运动数据)融合或以其他方式组合)，和/或可基于图像序列和所导出的运动中的一者或两者来导出解剖背景或其他解释数据，如下文更详细讨论的。
处理电路26可包括接收和转换电路。处理电路26可从超声探头14的换能器阵列18接收表示从患者22体内的组织界面返回的反射超声能量的电信号数据。处理电路26可处理来自换能器阵列18的数据，诸如校正噪声伪影等。处理电路26然后可将信号数据转换成超声图像以用于经由显示器30呈现。控制器24可使一个或多个超声图像(或者基于此类图像或原始图像数据生成的构造或模型)显示，该图像由处理电路26根据从超声探头14的换能器阵列18接收的信号数据产生。
在操作中，控制器24可经由工作站16的一个或多个用户输入设备28接收指示患者22的目标解剖结构和/或目标解剖结构的目标扫描平面的信号。一个或多个用户输入设备28可包括键盘、触摸屏、鼠标、按钮、开关或适于允许操作者输入目标解剖结构和/或目标解剖结构的期望扫描平面的其他设备。基于目标解剖结构和/或目标解剖结构的目标扫描平面，控制器24可向超声探头14的换能器阵列18输出信号，该信号指示指令，以将来自超声探头14的电能转换为超声波并且将超声波发射至患者22体内以及检测从患者22体内的组织界面反射回的超声能量。
超声成像探头14可另外包括运动传感器36，诸如IMU，该运动传感器可生成指示探头随时间推移的相对运动的数据。在一个实施方案中，此类IMU可使用加速度计、陀螺仪和/或磁力仪的组合来生成加速度、角速率、取向、速度等的测量值，这些测量值表征探头14所经历的随时间推移的运动。另选地，除了IMU之外或代替IMU，可提供一个或多个加速度计、陀螺仪和/或磁力仪，并且可充当此类运动传感器36。因此，在更一般的意义上，运动传感器36可以是位置传感器、取向传感器(诸如陀螺仪)、惯性跟踪机构、电磁跟踪传感器、光学跟踪传感器或可允许检测超声探头14随时间推移的移动或运动的任何其他合适的传感器。运动传感器36可经由有线或无线连接通信地耦接至控制器24，并且可向控制器24发送指示超声探头14随时间推移的运动的一个或多个信号。控制器24可将从运动传感器36导出的运动数据与从超声图像本身的序列提取的运动数据进行比较和/或融合，如本文所讨论的。在一些实施方案中，控制器24可控制换能器阵列18和处理电路26以获得和生成超声图像，同时控制器24从超声图像序列导出运动数据和/或解剖背景。
考虑到前述内容，并且转至图2，示出了生成超声图像(诸如使用如图1中所示的系统10)的常规方法的示例。在该方法中，声谱仪操作者移动患者22身上的探头14以采集感兴趣的解剖区域的超声数据。此类移动可包括探头14的侧向移动、探头14的倾斜或旋转运动、探头14的压缩或释放等。作为图像采集的一部分，并且转至图2，换能器阵列18的换能器20可在发射模式和接收模式之间切换(在图2的框80处表示为击发换能器)，使得超声波生成至组织中并且在换能器20处接收来自边界区域或边界层的反弹或反射。所接收的信号可被记录(步骤82)为换能器阵列18两端的波形，并且该数据用于合成(步骤86)二维图像90以用于显示(步骤92)。这些步骤可在检查过程中重复(如图2中所示)，其中每次迭代随时间推移而产生二维图像90序列的图像90。
物理移动探头14并查看所显示的图像90的序列的声谱仪操作者可基于其移动将相应的视图心智地合成为对成像区域的三维解释，从而允许声谱仪操作者对感兴趣的器官或区域进行成像以及以其他方式采集所需的医疗数据。然而，此类心智合成是不精确的，并且高度取决于声谱仪操作者的技能和经验。这种主观性和声谱仪操作者依赖性在此类超声成像技术的有效性和采用方面带来挑战。
考虑到前述背景，并且转至图3，提供了用于在超声成像程序期间提取和使用运动信息的本技术的示例。在该示例中，在超声图像数据的采集和分析中使用三种不同类型的信息或数据，诸如以提供探头运动数据(例如，原始、校正或融合运动数据)和/或解剖背景(例如，标记的组织或器官)，其由参考标号116联合表示。
可从可(任选地)存在于探头14上的一个或多个IMU 100(或其他类型的运动传感器36)获得第一类型的运动信息。如本文所讨论的，此类IMU 100可使用加速度计、陀螺仪和/或磁力仪的组合来生成加速度、角速率、取向、速度等的测量值，这些测量值表征探头14所经历的随时间推移的运动。此类IMU设备在存在肯定或主动移动的情况下可能最可靠，但在小移动或无移动的背景中不太有用，其中漂移效应可能会给IMU测量带来不确定性。在此类背景中，将此类IMU运动数据(当存在时)与通过如本文所讨论的其他技术导出的数据进行验证和/或融合可能是有用的。
如图3上所示的一种此类技术从所采集的超声图像90的序列提取运动数据104。以举例的方式，并且如本文更详细讨论的，可基于图像90之间的变化(例如，可使用两个或更多个图像(包括顺序或非顺序图像)导出的差值或Δ图像)，诸如基于散斑处理或图像相似性分析中的一者或两者来提取运动数据104。所处理的图像可以是在某个时间间隔内采集的图像对或图像序列。此类运动提取可使用机器学习例程或基于物理学的方法来执行，并且可用于针对相应六个自由度中的一些或全部提取运动数据，探头14可以该六个自由度移动(即平移(平面内和/或平面外)、压缩、倾斜、摇摆和旋转/扭转运动)，它们对应于还可由探头14中的IMU 100(如果存在)测量的运动。
在所描绘的示例中，可基于序列中的先验图像90生成的先验信息120可用于补充运动数据和/或提供或导出解剖背景。以举例的方式，先验信息120可包括在一个或多个先验图像90中识别和/或标记感兴趣的器官、组织或基准。在一种实施方式中，为此目的，可采用器官定位处理器实现的例程来定位和识别图像90内的器官。例如，并且转至图4，可训练此类神经网络以在图像90内检测和/或识别器官122(或其他感兴趣的解剖特征)，并且在所识别的器官或特征周围绘制边界框124以用于定位。以举例的方式，图4示出了超声图像的四个屏幕截图，其中已经在一系列图像90中(在脾脏、肾脏和肝脏上)执行了此类识别和定位。
在某些实施方式中，可对图像或一组图像执行语义分割例程，以提供附加功能。如本文所用，语义分割是指将图像(例如，超声图像90)中的每个像素标记为属于相应类(例如，背景/前景蒙板、相应器官或解剖特征等)。
如本文所讨论的，一旦结构已被定位和/或分割，就可以在后续(或先前)图像帧中对其进行跟踪。如下文更详细讨论的，运动数据可与此类定位和/或分割一起使用以有利于此类跟踪。例如，结合从超声图像90和/或IMU 100中的一者或两者导出的运动数据，定位和/或分割信息可用于识别或跟踪在其他图像中识别的组织、器官或基准，该组织、器官或基准在该其他图像中原本可能不容易识别。也就是说，可保留在一个图像中看到的感兴趣的特征的位置信息，并结合所提取或测量的运动数据，关于当前视图使用该位置信息来定位或识别当前视图中的相同特征。以这种方式，即使在可能难以辨别的图像中，也可获得感兴趣的区域的视觉连续性。
图3中示意性示出并在上文中总体描述的技术可彼此独立地使用或彼此结合使用。例如，不同的技术可与不同的弱点和优点相关联，并且因此互补的技术可用于通过另一种技术验证测量，和/或组合不同技术的测量以改善测量的稳健性。以举例的方式，如下文更详细讨论的，基于图像相似性分析(例如，基于基于图像的配准技术)从超声图像提取的运动数据对于确定运动是否已发生可能是有用的，但是对于确定运动的尺度或方向可能不太有用。然而，此类验证可用于识别由IMU进行的与漂移(其可在低运动背景中发生)相关联的运动测量。在此类背景中，与漂移相关联的IMU测量可在单独采用时或在与其他运动数据融合或组合时被降低权重(underweighted)或被给予零权重(或以其他方式被补偿)。
在其他示例中，如本文所讨论的散斑导出的运动项可与对应的IMU运动输出组合(即，融合)，诸如使用扩展的卡尔曼滤波(Kalman filtering)。与使用图像相似性分析所提取的运动一样，如本文所讨论的此类基于散斑的运动提取类似地具有相关联的益处和权衡。例如，确定单独从散斑处理导出的运动的极性可能是不可行的。在此类背景中，依赖于不同的运动数据源(例如，IMU运动数据或使用诸如基于配准的技术的其他基于图像的技术导出的运动数据)来推断运动的方向性可能是有用的。类似地，采用对内部成像解剖结构的背景理解的技术可用于解释(多个)图像如何响应于检测到的(多个)自由度的运动而改变，以及由此推断散斑导出运动项的方向性。
考虑到前述内容，其中散斑导出的运动提取提供比IMU更可靠或更稳健的运动测量的那些场景(诸如在低运动或缓慢运动背景中)，并且反之亦然，可鉴于不同运动测量输出的组合，提供更可靠的运动测量。另外，在技术人员可采用复杂的运动图案(即，不仅仅是一个自由度的运动)程度上，使用不同技术采集的组合运动测量可有利于识别或提取此类运动。例如，使用IMU和本文所讨论的基于图像的运动提取方法(其补充基于IMU的运动测量中的弱点)所导出的运动测量的组合可允许对此类复杂运动的识别和表征。
这些概念反映在图5中所示的处理流程中。在该流程中，可在图像合成步骤86中使用先验信息120(如果存在)，诸如以有利于或改善合成步骤本身和/或有助于对合成图像90中的结构进行标记或分类。在该示例中，可包括从先验信息120导出的各方面的合成图像90在显示器上被更新(步骤130)或以其他方式显示。另外，可处理合成图像90(步骤140)，诸如使用机器学习例程、神经网络、基于规则的处理等，以生成或更新用于下一个采集和合成步骤的先验信息102，如图5中所示。如本文所讨论的，处理(步骤140)(多个)图像90以生成先验信息120可涉及在一个或多个先验图像90中识别和/或标记感兴趣的器官、组织或基准，使得可诸如结合基于IMU的运动数据或经图像提取的运动数据，在其他图像90(例如，后续图像)中识别和/或跟踪所考虑的结构。
为了有利于与超声探头14的运动有关的讨论，图6描绘了自由度和运动轴线关于如本文所用的超声探头的图示。如图6中所示，三个运动轴线(和对应的自由度)可表示为仰角(例如，在患者身上向后和向前移动探头头部)、方位角(例如，在患者身上从左向右移动探头头部)、压缩(在患者身上向下(压缩)和向上(释放)移动探头头部)。这些轴线还可用于描述与探头头部关于患者的旋转或取向有关的三种不同的运动，这等同于三个附加的自由度：倾斜(例如，在向后和向前移动柄部的同时将探头头部保持就位)；摇摆(例如，在左右移动柄部的同时将探头头部保持就位)，以及围绕大体上对应于由探头柄部限定的轴线的旋转轴线旋转或扭转(例如，顺时针或逆时针旋转)探头。
考虑到这种相对运动命名，本方法允许从图像数据本身提取运动数据，这可补充或可不补充还由运动传感器(诸如IMU)获得的运动数据。如本文所涵盖的，可使用一种或多种技术从图像数据提取运动，并且可针对上述不同类型的运动中的一些或全部来提取运动。
例如，并且转至图7，示出了探头头部相对于患者的扭转运动的两个示例。在左侧，示出了以旋转轴线160为中心的对探头头部的扭转的示例，该旋转轴线160以探头14的柄部轴线为中心和/或与探头14的柄部轴线重合。相反，在右侧，旋转轴线160从中心162偏移(偏移距离164)，诸如由于运动干扰或其他因素。
根据本技术，与此类扭转运动相关联的运动可从运动传感器36(诸如IMU 100，其中陀螺传感器测量扭转)采集，或者可从图像数据(包括通过从另一个图像帧(包括但不限于时间上相邻或接近的图像帧)减去一个图像帧，或者通过对较长图像序列的类似差值确定处理而生成的减法图像数据或差值图像数据)提取。基于所采集的图像90的运动提取的一个示例可基于散斑处理，其中超声处理背景中的散斑被理解为在给定图像90中观察到的超声成像器中的相干接收器两端的散射超声的干扰。此类散斑图案是一致的或恒定的，而不存在探头的位置或取向的变化，因为它们是由传播的声波与组织结构的相互作用引起的，通常在超声成像会话过程中不改变。据此，在用于扭转运动的运动提取的背景中，可预期散斑在旋转轴线160附近(其中运动不存在或最小)变化最小，并且在图像中从旋转轴线160行进得越远，变化越大。因此，对于中心旋转轴线160，散斑在图像90的边缘附近变化最大，而在图像90的中心(在该示例中为旋转轴线160)附近变化最小。
该过程的示例在图8中以过程链示出，该过程链开始于左侧的图像步骤180并且结束于右上方的图像步骤182。在该示例中，初始图像诸如最近采集的图像90(在步骤180处示出)用于生成差值图像184，该差值图像示出了利用一个或多个先验图像90导出的差值。在一个示例中，通过从在时间上接近第一图像(诸如相邻的顺序图像帧或由序列中的两个、三个、四个等帧隔开的图像帧)采集的第二图像减去相应的第一图像来采集差值图像。
具体地讲，在超声成像器中，散射的声音由相干接收器检测。给定空间位置处的波束求和数据是由振幅和相位表示的复数，或者另选地由对应于实数振幅和复数振幅的IQ对表示的复数。以举例的方式，在一种实施方式中，差值图像184的每个像素的像素强度值I可由如以下的公式给出：
(1)I＝abs(IQ(t)-IQ(t+3))
其中t表示对应于图像序列中的帧的时间；并且IQ(t)是波束和图像形成算法的复数输出。虽然这里的差值是在复数图像对之间形成的，但是也可代替地采用涉及经整流或以其他方式处理的数据的另选方法。基于图像之间的差值，可测量对应于差值图像184中所见的像素强度，并且可将这些值拟合至统计模型(此处为高斯拟合模型(Gauss fitmodel))并平滑化(此处基于多项式拟合函数)。关于这些拟合测量值，可确定最小值(例如，方位角去相关的最小值)，其中该最小值对应于旋转轴线160。前进至所描绘的过程链中的最后两个图，示出了差值图像184，其中所观察到的关于轴线160的运动190重叠。在该链中的最终步骤中，示出了相应的原始图像，其中所测量的旋转轴线160和所观察到的关于轴线160的运动190重叠。以这种方式，可在图像之间针对旋转、扭转运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
在图9和图10中提供了从采集的图像90提取运动数据的这种方法的验证。在这些图中，对于第一数据集(图9)和第二数据集(图10)，使用散斑导出的旋转测量和并发IMU旋转测量(即，陀螺仪测量)两者的扭转角运动检测的测量值被示出为彼此对准。在图9中，提供了所描绘的竖直线以示出峰的对应关系。如上所述，在全部这些图和类似的基于散斑的运动曲线图中，散斑导出的运动测量值是单极的(即，没有推断的方向性)，其中所描绘的振幅指示运动的程度或尺度，而非方向。示出了IMU运动数据的绝对值以示出对应关系。
在与扭转运动有关的本示例中，数据由用户采用周期性(即，重复的)徒手扭转运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。如图中所示，由两种不同技术从两个数据集确定的旋转运动(峰)和非旋转运动(谷)通常对应，指示两种技术均检测到探头14的旋转运动事件。此外，如上所述，基于IMU的技术关于缓慢或轻微运动可能表现不佳，而基于图像的技术或者如同图像相似性度量一样测量绝对位置，或者即使在非常低的速度下也给出差分运动(速度)。据此，在两个运动数据源均可用的程度上，两种不同形式的导出的扭转或旋转运动可以是互补的，并且可一起使用(例如，融合或以其他方式组合)以提供改善的运动信息。
在基于所采集的图像90的扭转运动提取的第二示例中，可附加地或另选地基于图像90之间的图像相似性的量度(或此类量度的变化)来提取扭转运动。以举例的方式，图像帧90之间的互相关可提供可用于提取运动的图像帧之间的相对偏移的量度。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。
为了使用图像相似性技术最佳地描述运动提取，本文提供并描述了对应于不同类型运动的各种示例性曲线图，并且将在下文更详细地讨论。出于解释的目的，这些曲线图示出了沿着z轴线(中间图)和x轴线(底部图)观察到的运动以及所计算的均方误差(MSE)(顶部图)。在实践中，MSE可用作“运动”或“无运动”的指标(即，用作是否观察到运动的定性指标)。此类运动/无运动的定性指示对于促进“无运动”周期期间IMU漂移的动态补偿可能特别有用，诸如用于基于图像相似性观察的数据融合算法中，其中指示“无运动”的MSE可允许将可归因于漂移的IMU测量归零或以其他方式降低权重，以免基于此类漂移产生错误的运动测量值。
关于z轴线(移位_Z)和x轴线(移位_X)曲线图，所描绘的曲线图基于基于图像的配准，并且出于本讨论的目的，主要可用于示出平面内运动(例如，摇摆、平移-方位角、压缩)的作用，并且因此可提供在该背景内的实际运动估计值。在此类单轴线运动背景中，基于图像相似性确定(即，估计)的运动可与使用IMU观察或测量的运动成比例。然而，就描绘来讲，运动在多个平面中的作用可能是复杂的。然而，基于观察，并且如与使用图像相似性技术的运动提取有关的本图中所描绘的，对于所定义的运动(或运动和解剖结构)，可观察与运动或运动和解剖结构的组合相关的某些可识别图案，并且将其用于提取运动数据。
据此，转至与扭转运动有关的图11，由于感兴趣的特征通常随着此类运动在平面外移动，因此未预期或观察到移位_Z曲线图或移位_X曲线图中的图案。然而，如上所述，有时可观察到解剖结构特定的有用图案。
虽然前面描述了使用不同的基于图像的技术提取基于扭转的运动数据，但是如本文所述，还可使用这些技术提取其他运动。例如，转至图12，示出了关于探头14的倾斜运动(例如，诸如在仰角方向上向前和向后倾斜探头柄部)。
在与倾斜运动有关的本示例中，数据由用户采用周期性(即，重复的)徒手倾斜运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。根据本技术，与此类倾斜相关联的运动可从运动传感器36(诸如IMU 100，其中陀螺传感器测量围绕旋转轴线160的倾斜)采集，或者可从图像数据(包括通过从时间上相邻或接近的图像帧减去一个图像帧而生成的减法图像数据或差值图像数据)提取。以举例的方式，如从差值图像导出并且如本文所述的散斑处理可用于测量倾斜运动。例如，在用于倾斜运动的运动提取的背景中，可预期散斑在旋转轴线160附近(例如，在患者表面附近，其中运动不存在或最小)变化最小，并且从旋转轴线160行进得越远(例如，更深地进入患者解剖结构中)，变化越大，即，去相关随着范围或距离而增加。因此，在倾斜运动的背景中，散斑在图像90的底部边缘附近变化最大，而在图像90的顶部附近变化最小。以这种方式，可在图像之间针对倾斜运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
图13中提供了从所采集的图像90提取倾斜运动数据的这种方法的验证。在该图中，对于数据集，使用散斑导出的旋转测量和并发IMU旋转测量(即，陀螺仪测量)两者的倾斜角运动检测的测量值被示出为彼此对准。在图13中，提供了所描绘的竖直虚线以示出峰的对应关系。如图中所示，使用两种不同技术确定的倾斜(峰)和非倾斜(谷)事件通常对应，指示两种技术均检测到探头14的倾斜运动事件。此外，如上所述，基于IMU的技术关于缓慢或轻微运动可能表现不佳，而基于图像的技术不具有相同的限制，而是反映移动或运动的程度，而不是移动发生的速度。据此，在两个运动数据源均可用的程度上，两种不同形式的导出的倾斜运动可以是互补的，并且可一起使用(例如，融合或以其他方式组合)以提供改善的运动信息。
在基于所采集的图像90的倾斜运动提取的第二示例中，可基于图像90之间的图像相似性的量度(或此类量度的变化)来提取或验证倾斜运动。图像帧90之间的互相关可提供可用于提取或验证运动的图像相似性的量度，该运动可包括倾斜运动。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。以举例的方式，图14示出了对倾斜运动(向前倾斜和中性倾斜运动)的MSE确认(顶部图)与沿着z轴线(中间图)和x轴线(底部图)观察到的运动。在所描绘的示例中，可在移位_Z曲线图中观察到对应于倾斜运动的图案。在某些背景中，此类图案可能取决于解剖结构。例如，当察看血管的横截面时，可观察到所观察到的图案，但是对于其他解剖特征可能观察不到。在所描绘的示例中，在移位_X的曲线图中没有观察到图案，但这也可能取决于解剖结构。
如本文所述的，还可使用这些技术提取其他运动。例如，转至图15，关于探头14示出了摇摆运动(例如，诸如在方位角方向上向右和向左移动探头柄部，使得旋转围绕垂直于图像平面的轴线)。在与摇摆运动有关的本示例中，数据由用户采用周期性(即，重复的)徒手摇摆运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。结合探头14的取向变化，图15还示出了此类摇摆运动如何导致图像(90A和90B)内保留在视野内的对象的位置的相对变化。
如本文所讨论的，与摇摆运动相关联的运动可从运动传感器36(诸如IMU100，其中陀螺传感器测量围绕旋转轴线160的摇摆)采集，或者可从图像数据(包括通过从时间上相邻或接近的图像帧减去一个图像帧而生成的减法图像数据或差值图像数据)提取。以举例的方式，如从差值图像导出并且如本文所述的散斑处理可用于测量摇摆运动。
在用于摇摆运动的运动提取的背景中，可预期散斑在旋转轴线附近变化最小，并且在图像中从旋转轴线行进得越远，变化越大，即，去相关随着范围或距离而增加。因此，在摇摆运动的背景中，散斑在图像90的底部边缘附近变化最大，而在图像90的顶部的中心附近变化最小。以这种方式，可在图像之间针对摇摆运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
在摇摆运动提取的第二示例中，基于所采集的图像90，并且转至图16和图17，可基于图像90(例如，图像90A和图像90B)之间的图像相似性的量度(或此类量度的变化)来提取或确认摇摆运动。作为该过程的一部分，并且如图16中所示，时间上相邻或接近的图像90可被配准，并且图像之间的配准可用于识别和定量由于探头14的摇摆引起的对象的旋转(如在图像90B中由方向箭头所示)。转至图17，由图像配准过程识别的此类运动可通过MSE分析来确认。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。此外，在该示例中，图17在移位_Z曲线图和移位_X曲线图两者中示出了可观察到的图案，这可预期作为基于图像的配准或特征提取算法的输出，其中摇摆运动在很大程度上是平面内的。
除了上述探头头部取向或与旋转有关的运动程度之外，还可从所采集的图像数据提取探头14的非旋转运动(例如，探头14在x维度、y维度或z维度上的平移或侧向移动)。例如，转至图18，关于探头14示出了方位角(即，x)维度上(即，平面内)的平移。在与方位角维度上的平移有关的本示例中，数据由用户采用周期性(即，重复的)徒手运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。根据本技术，与此类方位角平移相关联的运动可从运动传感器36(诸如IMU 100，该IMU测量沿着x方向(这里表示方位角)的运动采集，或者可从图像数据(包括通过从时间上相邻或接近的图像帧减去一个图像帧而生成的减法图像数据或差值图像数据)提取。以举例的方式，如从差值图像导出并且如本文所述的散斑处理可用于测量此类平移运动。
例如，在用于平移运动的运动提取的背景中，并且转至图18(其中探头移动随时间在x方向上示出)，相邻图像切片(在t1和t2处采集)之间的最大散斑相关性发生在Δx处，并且方位角的变化跟踪相关峰，其中：
(2)v＝Δx/Δt。
以这种方式，可在图像之间针对方位角平移运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
在基于所采集的图像90的平移运动提取的第二示例中，并且转至图19，可基于在时间上相邻或接近的图像帧之间的图像相似性的量度(或此类量度的变化)来提取或确认平移运动。作为该过程的一部分，可配准时间上相邻或接近的图像90，并且可使用图像之间的配准来识别和定量探头14在方位角方向上的平移，诸如基于x曲线图(底部图，图19)中的移位。如在前述方法中，此类运动可通过MSE分析来确认或验证。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。此外，在该示例中，图19描绘了在移位_X曲线图中观察到的指示平移运动的有效的或可识别的图案，但在移位_Z曲线图中没有辨别到显著的图案或运动。
另外，还可从图像数据提取探头14在仰角(即，y)维度(即，平面外)上的平移。在与仰角维度上的平移有关的本示例中，数据由用户采用周期性(即，重复的)徒手运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。根据本技术，与此类仰角平移相关联的运动可从运动传感器36(诸如IMU 100，该IMU测量沿着y方向(这里表示仰角)的运动采集，或者可从图像数据(包括通过从时间上相邻或接近的图像帧减去一个图像帧而生成的减法图像数据或差值图像数据)提取。以举例的方式，如从差值图像导出并且如本文所述的散斑处理可用于测量此类平移运动。
例如，在用于仰角平移的运动提取的背景中，可确定相邻图像帧90的散斑相关性。对于方位角和范围，该相关性在相邻图像上均匀地减小，并且相关性变化的速率或程度可用作仰角维度上的运动的指示。以这种方式，可在图像之间针对仰角平移运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
在对应于仰角平移并且基于所采集的图像90的运动提取的第二示例中，可基于图像90之间的图像相似性的量度(或此类量度的变化)来提取仰角平移运动。以举例的方式，图像帧90之间的互相关可提供可用于提取仰角平移运动的图像相似性的量度。以举例的方式，图20示出了对运动的MSE确认或验证(顶部图)。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。关于移位_X曲线图和移位_Z曲线图，在仰角平移背景(即，平面外)中观察到的任何图案都取决于解剖结构。
类似地，还可从图像数据提取探头14的压缩/释放(即，z上的运动)维度。在与压缩有关的本示例中，数据由用户采用周期性(即，重复的)徒手压缩运动并且尽可能地将运动约束为仅感兴趣的运动(例如，一个自由度)来生成。根据本技术，与此类压缩或释放相关联的运动还可从运动传感器36(诸如IMU 100，该IMU测量沿着z方向(这里表示压缩(朝向患者)或释放(远离患者))的运动采集，或者可从图像数据(包括通过从时间上相邻或接近的图像帧减去一个图像帧而生成的减法图像数据或差值图像数据)提取。以举例的方式，如从差值图像导出并且如本文所述的散斑处理可用于测量此类压缩或释放。
例如，在用于压缩/释放平移的运动提取的背景中，可确定相邻图像帧90的散斑相关性。在存在压缩或释放的情况下，在整个图像上存在均匀的去相关。去相关的变化速率或变化程度可用作z维度上的压缩运动或释放的指示。以这种方式，可在图像之间针对对应于压缩或释放的平移运动来评估图像90或图像90序列，并且可评估运动的性质和程度并将其用于下游过程，诸如运动校正过程和/或在一系列图像90内跟踪或标记结构。
在基于所采集的图像90的压缩/释放运动提取的第二示例中，并且转至图21，可基于在时间上相邻或接近的图像之间的图像相似性的量度(或此类量度的变化)来提取或确认压缩或释放运动。作为该过程的一部分，时间上相邻或接近的图像90可被配准，并且图像之间的配准可用于当特征在深度(即，如由z维度上的移位所确定的)上移动和挤压时跟踪它们，这可用于识别和定量探头14在深度(即，z)上的平移。如在前述方法中，此类运动可通过MSE分析来确认或验证。在所描绘的示例中，竖直虚线指示每个重复运动循环的起点/终点。在该示例中，图21示出了对在深度维度上发生的运动的MSE确认(顶部图)。关于移位_Z曲线图和移位_X曲线图，所描绘的移位_Z图案是典型的压缩运动(即，平面内运动)。在这种情况下，如果此类运动在移位_X相对于移位_Z上产生低量值，则除了可能确认压缩之外，移位_X图案携带很少的信息。
本发明的技术效果包括但不限于从所采集的超声图像帧序列提取探头运动估计值。来自基于各种超声图像的技术的这些运动估计可与IMU或其他跟踪器信息在改善的混合估计中组合，该改善的混合估计提供优于任何单一方法的改善性能。在某些实施方式中，经图像提取的探头运动数据可用于提供或维持图像序列中的解剖背景。另外，经图像提取的探头运动数据可附加地或另选地用于向用户提供指导或建议，诸如沿着轨线移动探头，以及确定用户何时已完成沿着轨线的运动。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种用于估计超声探头的运动的方法，包括以下步骤：
在相对于成像体积移动所述超声探头的同时采集超声图像序列；
对于以不同时间间隔采集的超声图像，从所述超声图像上的相应变化提取所述超声探头的一个或多个运动估计值；以及
使用所述一个或多个运动估计值关于所述序列中的其他图像和患者的内部解剖结构来定位当前探头位置。
2.根据权利要求1所述的方法，其中所述运动估计值包括运动已发生或未发生的指示。
3.根据权利要求1所述的方法，其中仅使用所述超声图像序列来提取所述超声探头的所述一个或多个运动估计值。
4.根据权利要求1所述的方法，其中使用所述超声图像序列和探头运动数据的一个或多个附加源来提取所述超声探头的所述一个或多个运动估计值。
5.根据权利要求1所述的方法，其中所述一个或多个运动估计值包括以下中的一者或多者的估计值：在平面外平移所述超声探头、在平面内平移所述超声探头、在深度维度上压缩和/或释放所述超声探头、向前和向后倾斜所述超声探头、左右摇摆所述超声探头、或在顺时针和/或逆时针方向上旋转所述超声探头。
6.根据权利要求1所述的方法，其中处理以不同时间间隔采集的所述超声图像以形成相应的差值图像，从所述差值图像提取所述超声探头的所述一个或多个运动估计值。
7.根据权利要求1所述的方法，其中提取所述超声探头的一个或多个运动估计值包括对以不同时间间隔采集的超声图像执行散斑处理。
8.根据权利要求1所述的方法，其中提取所述超声探头的一个或多个运动估计值包括对以不同时间间隔采集的超声图像使用图像相似性驱动的图像配准。
9.根据权利要求1所述的方法，其中将所述一个或多个运动估计值与其他运动估计值组合使用，以关于所述序列中的所述其他图像和所述患者的内部解剖结构来定位所述当前探头位置。
10.根据权利要求1所述的方法，进一步包括以下步骤：
从一个或多个运动传感器采集所感测的运动数据；以及
与从所述超声图像提取的所述超声探头的所述一个或多个运动估计值组合使用所感测的运动数据来分析或合成所述序列的超声图像。
11.根据权利要求10所述的方法，其中所述分析或合成的动作包括基于用于合成或显示所述序列的超声图像的所述一个或多个运动估计值来生成或更新先验信息，其中所述先验信息包括保留在所述序列的超声图像之间的解剖背景或标记。
12.根据权利要求10所述的方法，其中所述一个或多个运动传感器包括所述超声探头内或附接至所述超声探头的一个或多个惯性测量单元(IMU)、加速度计、陀螺仪、磁力仪、电磁跟踪器或光学跟踪器。
13.一种用于处理超声图像序列的方法，包括以下步骤：
在相对于成像体积移动超声探头的同时采集超声图像序列；
识别所述超声图像序列的至少一个图像中的一个或多个感兴趣的特征；
从所述超声图像序列提取所述超声探头的一个或多个运动估计值；以及
基于所述一个或多个运动估计值和所述一个或多个感兴趣的特征，分析或合成所述序列的超声图像。
14.根据权利要求13所述的方法，其中分析或合成所述序列的超声图像包括在所述超声图像序列中识别或标记一个或多个感兴趣的解剖特征。
15.根据权利要求13所述的方法，其中提取所述一个或多个运动估计值包括对从所述超声图像序列生成的差值图像执行散斑处理。
16.根据权利要求13所述的方法，其中提取所述一个或多个运动估计值包括对以不同时间间隔采集的超声图像使用图像相似性驱动的图像配准技术来验证或更新其他运动估计值。
17.一种超声成像系统，包括：
超声探头；
监视器，所述监视器包括存储器和处理器，其中所述处理器通信地耦接至所述超声探头并且被配置为：
从在相对于成像体积移动所述超声探头的同时所采集的超声数据生成超声图像序列；
从所述超声图像上的相应变化提取所述超声探头的一个或多个运动估计值；以及
向用户提供反馈，所述反馈传达关于使用所述一个或多个运动估计值导出的所述超声探头的所述运动的信息。
18.根据权利要求17所述的超声成像系统，其中通过对从所述超声图像序列生成的差值图像执行散斑处理来提取所述超声探头的所述一个或多个运动估计值。
19.根据权利要求17所述的超声成像系统，其中所述超声探头的所述一个或多个运动估计值包括对以不同时间间隔采集的超声图像使用图像相似性驱动的图像配准。
20.根据权利要求17所述的超声成像系统，其中所述反馈包括所显示的解剖背景或标记，所述显示的解剖背景或标记基于所述一个或多个运动估计值保留在所述序列的超声图像之间。
CN202010497636.7A 2019-06-03 2020-06-03 用于确定超声探头运动的技术 Pending CN112022202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/430,108 US11911213B2 (en) 2019-06-03 2019-06-03 Techniques for determining ultrasound probe motion
US16/430,108 2019-06-03

Publications (1)

Publication Number Publication Date
CN112022202A true CN112022202A (zh) 2020-12-04

Family

ID=73549460

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010497636.7A Pending CN112022202A (zh) 2019-06-03 2020-06-03 用于确定超声探头运动的技术

Country Status (2)

Country Link
US (1) US11911213B2 (zh)
CN (1) CN112022202A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210086282A1 (en) * 2019-09-24 2021-03-25 Kabushiki Kaisha Toshiba Processing system, processing method, and storage medium
CN117159032A (zh) * 2023-11-03 2023-12-05 首都医科大学宣武医院 一种胎心监护系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3908193B1 (en) * 2019-01-11 2023-11-15 Mayo Foundation for Medical Education and Research Methods for microvessel ultrasound imaging
US20220296219A1 (en) * 2021-03-22 2022-09-22 GE Precision Healthcare LLC System and methods for adaptive guidance for medical imaging

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5645077A (en) * 1994-06-16 1997-07-08 Massachusetts Institute Of Technology Inertial orientation tracker apparatus having automatic drift compensation for tracking human head and other similarly sized body
US5899861A (en) * 1995-03-31 1999-05-04 Siemens Medical Systems, Inc. 3-dimensional volume by aggregating ultrasound fields of view
US6095976A (en) * 1997-06-19 2000-08-01 Medinol Ltd. Method for enhancing an image derived from reflected ultrasound signals produced by an ultrasound transmitter and detector inserted in a bodily lumen
US5876342A (en) 1997-06-30 1999-03-02 Siemens Medical Systems, Inc. System and method for 3-D ultrasound imaging and motion estimation
US6012458A (en) 1998-03-20 2000-01-11 Mo; Larry Y. L. Method and apparatus for tracking scan plane motion in free-hand three-dimensional ultrasound scanning using adaptive speckle correlation
US20060100518A1 (en) 2004-10-21 2006-05-11 Sriram Krishnan Automated diastolic function analysis with ultrasound
US8699765B2 (en) * 2006-11-13 2014-04-15 Siemens Medical Solutions Usa, Inc. Reducing jittering in medical diagnostic ultrasound imaging
US7925068B2 (en) * 2007-02-01 2011-04-12 General Electric Company Method and apparatus for forming a guide image for an ultrasound image scanner
US7780601B2 (en) * 2007-06-05 2010-08-24 Siemens Medical Solutions Usa, Inc. Adaptive clinical marker preservation in spatial compound ultrasound imaging
US8444564B2 (en) 2009-02-02 2013-05-21 Jointvue, Llc Noninvasive diagnostic system
US20140100452A1 (en) * 2011-06-27 2014-04-10 Koninklijke Philips Electronics N.V. Ultrasound-image-guide system and volume-motion-base calibration method
EP4140414A1 (en) 2012-03-07 2023-03-01 Ziteo, Inc. Methods and systems for tracking and guiding sensors and instruments
KR20150002932A (ko) * 2013-06-26 2015-01-08 삼성전자주식회사 초음파 영상 디스플레이 방법 및 장치
CA2855440A1 (en) 2013-06-28 2014-12-28 Kelly J. Stegman Tissue displacement estimation by ultrasound speckle tracking
US11185305B2 (en) 2016-06-30 2021-11-30 Koninklijke Philips N.V. Intertial device tracking system and method of operation thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210086282A1 (en) * 2019-09-24 2021-03-25 Kabushiki Kaisha Toshiba Processing system, processing method, and storage medium
US11980975B2 (en) * 2019-09-24 2024-05-14 Kabushiki Kaisha Toshiba Processing system, processing method, and storage medium
CN117159032A (zh) * 2023-11-03 2023-12-05 首都医科大学宣武医院 一种胎心监护系统
CN117159032B (zh) * 2023-11-03 2024-01-30 首都医科大学宣武医院 一种胎心监护系统

Also Published As

Publication number Publication date
US11911213B2 (en) 2024-02-27
US20200375571A1 (en) 2020-12-03

Similar Documents

Publication Publication Date Title
CN111432733B (zh) 用于确定超声探头的运动的设备和方法
CN112022202A (zh) 用于确定超声探头运动的技术
US9468422B2 (en) Sensor coordinate calibration in an ultrasound system
CN111035408B (zh) 用于超声探头定位反馈的增强的可视化的方法和系统
CN113543718B (zh) 用于确定超声探头的包括前后方向性的运动的装置和方法
US11013495B2 (en) Method and apparatus for registering medical images
CN101449985B (zh) 根据3-d图像和表面标测的解剖建模
CN107238396A (zh) 超声换能器的姿态恢复
CN105025803A (zh) 从多个三维视图对大对象的分割
CN105407811A (zh) 用于超声图像的3d获取的方法和系统
KR20110128197A (ko) 심장 ｍ-모드 뷰들의 자동 분석
CN107072635A (zh) 用于中间用户反馈的多跳超声心动图采集的质量度量
CN111292277A (zh) 超声融合成像方法及超声融合成像导航系统
EP3727158B1 (en) Combining image based and inertial probe tracking
EP2716230A1 (en) Ultrasound image-generating apparatus and ultrasound image-generating method
US20240335183A1 (en) Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program
CN112545551A (zh) 用于医学成像设备的方法和系统
CN101297326A (zh) 从三维图像生成用于显示的二维超声心动图显象视图的系统与方法
Abbas et al. MEMS Gyroscope and the Ego-Motion Estimation Information Fusion for the Low-Cost Freehand Ultrasound Scanner
CN112545549A (zh) 超声波影像系统
CN117838192A (zh) 一种基于惯导模块的三维b型超声成像的方法与装置
JP3795899B2 (ja) 超音波診断装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination