CN116634935A - 减少时间运动伪影 - Google Patents

减少时间运动伪影 Download PDF

Info

Publication number
CN116634935A
CN116634935A CN202180087015.4A CN202180087015A CN116634935A CN 116634935 A CN116634935 A CN 116634935A CN 202180087015 A CN202180087015 A CN 202180087015A CN 116634935 A CN116634935 A CN 116634935A
Authority
CN
China
Prior art keywords
data
motion
temporal
time
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180087015.4A
Other languages
English (en)
Inventor
L·萨利希
G·A·托波雷克
A·辛哈
A·S·潘斯
R·Q·埃尔坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116634935A publication Critical patent/CN116634935A/zh
Pending legal-status Critical Current

Links

Classifications

    • G06T5/73—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • A61B8/5276—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts due to motion
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0036—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room including treatment, e.g., using an implantable medical device, ablating, ventilating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/28—Bioelectric electrodes therefor specially adapted for particular uses for electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0883—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of the heart
    • G06T5/60—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac

Abstract

一种减少时间心内传感器数据中的时间运动伪影的计算机实施的方法，包括：将时间心内传感器数据(110)输入(S120)到神经网络(130)中，所述神经网络(130)被训练为根据所述时间心内传感器数据(110)预测表示所述时间运动伪影(120)的时间运动数据(140、150)；并且，基于所预测的时间运动数据(140、150)来补偿(S130)所接收的时间心内传感器数据(110)中的所述时间运动伪影(120)。

Description

减少时间运动伪影
技术领域
本公开涉及减少时间心内传感器数据中的时间运动伪影。公开了一种计算机实施的方法、处理装置、系统和计算机程序产品。
背景技术
在医学领域中心内传感器用于各种医学研究。例如，在电生理学“EP”(也称为EP映射和电解剖映射“EAM”过程)研究中，设置在心内导管上的电传感器用于感测心脏内的电活动，而设置在导管上的位置传感器提供位置数据。电活动和位置数据用于构建心脏电活动的三维图。EP研究用于调查诸如心律失常的心律问题，并确定最有效的处置方案。
心脏消融术是处置心律失常的常见过程，并且涉及终止来自心脏部分的故障电路。由EP研究提供的电活动图通常用于定位心律失常，从而确定执行消融的最佳位置。EP研究可以事先进行，或者与处置同时进行。处置心律失常是通过使用射频“RF”消融、微波消融“MV”或冷冻消融，或最近的不可逆电穿孔，在识别出的心律失常的源处创建透壁损伤，以将其与心肌组织的剩余部分隔离。在心脏消融过程期间，也可以使用其他类型的心内传感器来测量与处置相关的参数。例如，温度传感器可以被设置在消融导管上，并用于测量心脏壁的温度。消融导管还可以包括电压传感器和/或电流传感器，或者阻抗测量电路，以测量心脏内组织的状态，例如病变质量。类似地，力传感器可以被包括在消融导管上，并用于测量心脏探头和心脏壁之间的接触力。
在EP研究、心脏消融过程和其他心内过程期间，还可以使用其他类型的心内传感器，包括血流传感器、麦克风、测量血液温度的温度传感器、等等。
心内传感器经常受到时间运动伪影的影响，这降低了其测量值的准确性。例如，心脏运动和/或呼吸运动降低了来自心内位置传感器的数据的准确性，所述数据用于在EP研究期间构建心脏的电活动的三维图。
减少这种时间运动伪影的常规方法包括使用滤波器来抑制由心脏和呼吸运动引起的伪影。然而，滤波器可能给信号处理链增加延迟。在手术期间，心率和呼吸频率也可能发生变化。使用具有恒定系数的滤波器可以导致从传感器测量值中不能完整地去除不想要的频率。诸如Kalman滤波器之类的常规自适应滤波器的使用还可能导致响应于传感器输入的突然改变(例如，当传感器的位置改变时)的不可预测的表现。
因此，仍然需要减少时间心内传感器数据中的时间运动伪影。
发明内容
根据本公开的一个方面，提供一种减少时间心内传感器数据中的时间运动伪影的计算机实施的方法。方法包括：
接收时间心内传感器数据，所述时间心内传感器数据包括时间运动伪影；
将所述时间心内传感器数据输入到神经网络中，所述神经网络被训练为根据所述时间心内传感器数据来预测表示所述时间运动伪影的时间运动数据；并且
基于所预测的时间运动数据来补偿所接收的时间心内传感器数据中的所述时间运动伪影。
根据本公开的另一个方面，提供一种提供用于根据时间心内传感器数据预测表示时间运动伪影的时间运动数据的神经网络的计算机实施的方法。所述方法包括：
接收时间心内传感器训练数据，所述时间心内传感器训练数据包括时间运动伪影；
接收表示时间运动伪影的真实情况(ground truth)时间运动数据；
将所接收的时间心内传感器训练数据输入到神经网络中，并基于损失函数来调整所述神经网络的参数，所述损失函数表示由神经网络预测的表示时间运动伪影的时间运动数据与表示时间运动伪影的所接收的真实情况时间运动数据之间的差异。
本公开的其他方面、特征和优点将从以下参考附图对范例进行的描述中变得显而易见。
附图说明
图1是示出心脏左心房的电解剖图的两个视图的示意图，包括心内导管100；
图2示出了由消融导管生成的时间心内传感器数据110(力，上，阻抗，下)的范例，所述数据包括时间运动伪影120；
图3是根据本公开一些方面的减少时间心内传感器数据中的时间运动伪影的范例方法的过程图；
图4是示出了根据本公开一些方面的减少时间心内传感器数据中的时间运动伪影的范例方法的示意图；
图5是示出了根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第一范例的示意图；
图6是示出了根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第二范例的示意图；
图7是示出了根据本公开一些方面将神经网络训练为预测表示时间运动伪影的时间运动数据140、150的范例方法的过程图；
图8是示出了根据本公开一些方面将神经网络训练为预测表示时间运动伪影的时间运动数据140、150的范例方法的示意图；
图9是示出了根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第三范例的示意图；
图10是示出了根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第四范例的示意图。
具体实施方式
参考以下说明书和附图提供本公开的范例。在本说明书中，为了解释的目的，阐述了某些范例的许多具体细节。说明书中对“范例”、“实施方式”或类似语言的引用是指结合范例描述的特征、结构或特性包括在至少一个范例中。还应当理解，关于一个范例描述的特征也可以用在另一个范例中，并且为了简洁起见，不必在每个范例中复制所有特征。例如，关于计算机实施的方法描述的特征可以以对应的方式实施在处理布置中、在系统中、和在计算机程序产品中。
在以下说明书中，参考计算机实施的方法，所述计算机实施的方法涉及减少时间心内传感器数据中的时间运动伪影。参考在EP映射过程期间由设置在心内导管上的范例性心内位置传感器生成的数据。然而，应当理解，计算机实施的方法的范例可以与和位置传感器不同的其它类型的心内传感器一起使用，并且使用和导管不同的其它类型的介入设备，并且利用在除了EP映射之外的心内过程期间根据这些传感器生成的数据。例如，根据本公开的心内传感器的范例包括测量电活动和与心脏有关的其他参数的电压、电流和阻抗的电传感器、温度传感器、力传感器、血流传感器、等等。这些传感器可以被设置在心内介入设备上，例如导丝、血压设备、血流传感器设备、处置设备(例如心脏消融设备)、等等。根据本公开的心内传感器的范例总体上可以用于心内过程，包括例如EP映射过程、心脏消融过程、等等。
应当注意，本文公开的计算机实施的方法可以提供为包括存储在其上的计算机可读指令的非暂时性计算机可读存储介质，当由至少一个处理器执行时，所述计算机可读指令使至少一个处理器执行所述方法。换言之，计算机实施的方法可以实施在计算机程序产品中。计算机程序产品能够由专用硬件提供，或者由与适当的软件相关联地能够运行软件的硬件来提供。当由处理器或“处理装置”提供时，方法特征的功能能够由单个专用处理器、单个共享处理器或其中一些处理器能够共享的多个单独的处理器提供。术语“处理器”或“控制器”的明确使用不应被解释为仅指能够运行软件的硬件，而是能够隐含地包括但不限于，数字信号处理器“DSP”硬件、用于存储软件的只读存储器“ROM”、随机存取存储器“RAM”、非易失性存储设备等。此外，本公开的范例能够采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，计算机程序产品提供供计算机或任何指令执行系统使用或与计算机或任何指令执行系统结合使用的过程代码。为了本说明书的目的，计算机可用存储介质或计算机可读存储介质能够是任何装置，其能够包括、存储、通信、传播或传输由指令执行系统、装置或设备使用或与指令执行系统或设备结合使用的过程。介质能够是电子、磁性、光学、电磁、红外或半导体系统或设备或传播介质。计算机可读介质的范例包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器“RAM”、只读存储器“ROM”、刚性磁盘、以及光盘。目前光盘的范例包括光盘只读存储器“CD-ROM”、光盘读/写“CD-R/W”、Blu-RayTM和DVD。
图1是示出了心脏左心房的电解剖图的两个视图的示意图，并且包括心内导管100。心内导管100表示映射或消融导管，并且可以用于生成EP图，如图1中所示。心内导管100包括用于感测心脏内的电活动的电传感器和生成指示电传感器的位置的位置数据的位置传感器。电传感器例如可以是电压传感器或电流传感器。电压传感器和电流传感器一起可以被配置为提供阻抗测量电路，用于测量心脏壁并由此确定组织状态。消融导管可以额外地包括传感器，例如用于监测心脏壁的温度或血液温度的温度传感器。还可以在消融导管上提供其他传感器。位置传感器例如可以是电磁跟踪的位置传感器或另一类型的位置传感器。在图1中，图1中的阴影区域表示心脏的每个区域相对于心动周期中的参考时间的激活时间，并且点表示进行电测量的位置。如图1所示的EP图可以是在EP映射过程期间由EP映射系统生成的。
还示出了第二心内导管朝向图1中每个视图的右侧，并且这表示冠状窦导管。冠状窦导管可以用于在生成EP图的同时提供参考位置。因此，图1所示的冠状窦导管可以包括位置传感器。与消融导管100一样，冠状窦导管同样可以包括额外的传感器，例如用于测量心脏壁并由此确定组织状态的电压传感器和/或电流传感器和/或阻抗测量电路，以及用于监测心脏壁的温度或血液温度的温度传感器。
采用诸如参考图1所述的那些传感器的范例EP映射系统包括，美国PhilipsHealthcare正在开发的KODEX-EPD心脏成像和映射系统，以及美国Abbott Laboratories销售的EnSite PrecisionTM心脏映射系统。
可以理解，心内传感器(诸如上面参考图1中的心内导管100描述的位置传感器和电传感器)容易受到时间运动伪影的影响，这降低了其测量的准确性。例如，心脏运动和/或呼吸运动具有降低由图1中的位置传感器生成的位置数据的准确性的影响。
以范例的方式，图2示出了由消融导管生成的时间心内传感器数据110(力，上，阻抗，下)的范例，并且所述数据包括时间运动伪影120。图2中所示的时间心内传感器数据110可以由上文参考图1所述的消融导管生成。在图2中，上部图形表示心脏消融过程期间心内力传感器与心脏壁之间的接触力。下部图形表示心脏壁的阻抗，并指示消融过程期间组织的状态。心脏消融从时间戳“消融开启”开始，到时间戳“消融关闭”结束。图2中所示的力数据可以用于确认消融探头与心脏壁接触，从而确认图2中下部图形中的阻抗数据表示心脏壁的阻抗的有效测量值。在心脏消融过程期间，当确定心脏壁的阻抗已经下降了规定的量时，可以终止消融。然而，来自两个周期性干扰信号的运动伪影在图2中所示的图形中是可见的，并且阻碍这种确定。在图2中，心脏运动伪影以大约1个时间戳单位的相对较短的周期可见，并且呼吸运动伪影以大约4个时间戳单位的相对较长的周期可见。如可以在图2中看到的，来自这些运动伪影的干扰甚至可以主导接触力和阻抗信号中较小的变化，其测量值是需要。
发明人已经确定了一种减少时间心内传感器数据中的时间运动伪影的方法。所述方法可用于各种心内系统，包括上述EP映射和心脏消融系统。
参考图3描述该方法，图3是根据本公开一些方面的减少时间心内传感器数据中的时间运动伪影的范例方法的过程图。所述方法可以由计算机来实施，并且包括：
接收S110时间心内传感器数据，所述时间心内传感器数据包括时间运动伪影；
将时间心内传感器数据输入S120到神经网络中，所述神经网络被训练为根据时间心内传感器数据来预测表示时间运动伪影的时间运动数据；并且
基于所预测的时间运动数据来补偿S130所接收的时间心内传感器数据110中的时间运动伪影。
可以从各种源接收在图3的方法中接收的时间心内传感器数据，包括心内传感器、数据库、计算机可读存储介质、云端、等等。数据可以使用任何形式的数据通信来接收，例如有线或无线数据通信，并且可以经由因特网、以太网，或者通过便携式计算机可读存储介质(例如USB存储设备、光盘或磁盘等)来传输数据。
在一些范例中，图3的方法中接收的时间心内传感器数据可以表示以下中的一个或多个：
位置数据，其表示一个或多个心内位置传感器的位置；
心内电活动数据，其由一个或多个心内电传感器生成；
接触力数据，其表示心脏壁与一个或多个力传感器之间的接触力；以及
温度数据，其表示一个或多个心内温度传感器的温度。
可以以类似的方式接收来自其他类型的心内传感器的心内传感器数据。在一些范例中，可以计算心内传感器数据。例如，传感器数据可以表示偏航、俯仰、滚动、三维位置或四元数，并且这可以从诸如陀螺仪和加速度计之类的传感器来计算，以提供关于具有多个自由度的模型的位置表示。诸如5个或6个自由度“5DOF”或“6DOF”模型的模型通常与EP导管结合使用。以类似的方式，阻抗数据可以通过数学上将电压除以电流，从电压和电流的电测量值来计算。
在图3的方法中，当时间心内传感器数据包括位置数据时，位置数据可以由各种定位或“跟踪”系统生成。以范例的方式，在文献WO 2015/165736A1中公开了一种范例电磁跟踪系统，其使用被机械耦合到介入设备的一个或多个电磁跟踪传感器或发射器来生成位置数据。在文献US 2019/254564A1中公开了一种范例介电映射跟踪系统，其使用被机械耦合到介入设备的一个或多个介电阻抗测量电路来生成位置数据。在文献WO 2020/030557A1中公开了一种范例超声跟踪系统，其使用被机械耦合到介入设备的一个或多个超声跟踪传感器或发射器来生成位置数据。在文献WO2007/109778A1中公开了一种范例光纤形状感测定位系统，其使用被机械耦合到介入设备的多个光纤形状传感器来生成位置数据。来自连续机器人系统的运动学模型的位置数据同样可以由诸如被耦合到机器人系统的旋转编码器和线性编码器的传感器生成。
在图3的方法中，当时间心内传感器数据包括心内电活动数据时，可以使用各种电传感器(如电压、电流和电荷传感器)生成数据。在生成这样的数据的电传感器可以包括电接触，所述电接触被布置为直接地或经由介电层间接地耦合到诸如血液或心脏组织的介质。可以从这些测量值确定诸如阻抗之类的参数。
当时间心内传感器数据包括接触力数据和温度数据时，可以适当地使用合适的已知力和温度传感器。可以使用适当的传感器来生成其他时间心内传感器数据。
如通过图2中的范例时间心内传感器数据110方式所示的，时间心内传感器数据110包括时间运动伪影120。时间运动伪影120可以包括心脏运动伪影和/或呼吸运动伪影。来自其他源的运动伪影也可以包括在时间心内传感器数据110中。
参考图3，在操作S120中，将时间心内传感器数据110输入神经网络130，所述神经网络130被训练为根据时间心内传感器数据110来预测表示时间运动伪影120的时间运动数据140、150。
在一些实施方式中，将时间心内传感器数据110在时域中输入到神经网络130中，而在其他实施方式中，将时间心内传感器数据110在频域中输入到神经元网络130中。在将时间心内传感器数据110输入到神经网络130之前，可以使用傅里叶变换或其他变换将其从时域转换到频域。在一些实施方式中，神经网络可以将时域中输入的时间心内传感器数据110转换到频域。可以使用频域表示，例如谱图、Mel谱图、小波表示、等等。
参考图3，在操作S130中，基于预测的时间运动数据140、150来补偿所接收的时间心内传感器数据110中的时间运动伪影120。在操作S130中执行的补偿可以包括各种技术，并且这些技术可以在神经网络130内部或外部执行。补偿可以在时域中执行，也可以在频域中执行。
在一些实施方式中，由神经网络130预测的所预测的时间运动数据140、150可以具有时域表示。在这些实施方式中，在操作S130中执行的补偿可以包括从时间心内传感器数据110的时域表示中减去预测的时间运动数据140、150的时域表示。
在其他实施方式中，由神经网络130预测的时间运动数据140、150可以具有频域表示。在这些实施方式中，在预测的时间运动数据140、150的这种频域表示中存在的频率指示运动伪影。在这些实施方式中，在操作S130中执行的补偿可以包括生成表示预测的时间运动数据140、150的频域表示中的运动伪影频率的掩模，以及将掩模乘以时间心内传感器数据110的频域表示。在这样做的过程中，可以减少时间心内传感器数据110中的时间运动伪影120。
补偿操作S130的结果是时间运动补偿的心内传感器数据160。时间运动补偿的心内传感器数据表示具有减少的时间运动伪影的时间心内传感器的数据110。根据需要，可以输出时间运动补偿的心内传感器数据160。输出可以包括在时域或频域中输出时间运动补偿的心内传感器数据160。逆傅里叶变换可以例如用于从频域转换到时域。例如，输出可以包括在显示器上显示数据，或者将数据存储到计算机可读存储设备，等等。
还可以输出表示时间运动伪影120的时间运动数据140、150。该数据同样可以在时域表示或频域表示中输出。
图4是示出根据本公开一些方面的减少时间心内传感器数据中的时间运动伪影的范例方法的示意图。图4的示意图对应于图3的方法，并在操作S120中示出将时间心内传感器数据110输入到神经网络130中。图4中的时间心内传感器数据110表示位置数据，并标记为“设备位置x/y/z”，还包括时间运动伪影120，如心脏运动伪影和/或呼吸运动伪影。图4、以及图6和图8-10中所示的位置数据表示用于笛卡尔坐标系中的单个维度(即x、y或z维度)的范例位置数据，为了便于说明运动伪影120，在这些图中示出单个维度。然而，应当理解，可以以类似的方式输入在一维、二维或多维中以及在笛卡尔坐标系或其他坐标系中的位置数据。
在图4中，时间心内传感器数据110示出为在时域中输入。然而，也可以在频域中输入该数据。
图4中的神经网络130输出预测的时间运动数据140、150。预测的时间运动数据140、150可以将时间运动伪影120分别表示为表示心脏运动伪影的时间心脏运动信号140和/或表示呼吸运动伪影的时间呼吸运动伪影150。在操作S130中，基于预测的时间运动数据140、150来补偿所接收的时间心内传感器数据110中的时间运动伪影120。
在图4所示的范例中，操作S130中的补偿是在神经网络130外部执行的，尽管补偿也可以可选地由神经网络执行。在图4所示的范例中，随后输出时间运动补偿的心内传感器数据160。如由图4中表示心内传感器数据160的虚线所示，在本范例中，时间运动补偿的心内传感器的数据160或更具体地笛卡尔位置数据的x分量经历线性增加。在输入的时间心内传感器数据110中能够被视为噪声半周期振荡的时间运动伪影在输出的时间运动补偿的心内传感器信息160中显著减少。
可以设想神经网络130的各种实施方式。这些是参考图5、图6、图9和图10中所示的神经网络进行描述的。在这些图中的每一个中，神经网络130被训练为生成频域掩模，所述频域掩模用于提取与呼吸和/或心脏运动伪影相对应的时间心内传感器数据110的频谱图中的频率。如图5和图9所示，通过将掩模乘以时间心内传感器数据110的频域表示来提取与呼吸和/或心脏运动伪影相对应的频率，或者将掩模转换为时域掩模，所述时域掩模与时间心内传感器数据110的时域表示进行卷积，如图6和图10所示。神经网络130的元素可以例如由卷积神经网络“CNN”、或者由递归神经网络“RNN”、或者通过时间卷积网络“TCN”、或者通过变换器、或者通过其他类型的神经网络提供。
图5是根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据150的神经网络130的第一范例的示意图。图5中的范例神经网络130被训练为预测表示呼吸运动伪影的时间呼吸运动信号150。表示心脏运动伪影的时间心脏运动信号140可以由神经网络130以类似的方式预测。图5中所示的范例神经网络130包括卷积层、双向长短期记忆“LSTM”层和完全连接的“FC”层，并且可以使用在标题为“Looking to listen at the cocktailparty：Aspeaker-independent audio-visual model for speech separation”(ACMTrans.Graph.，2018年第4期第37卷，doi:10.1145/3197517.3201357)的Ephrat，a.等人的出版物中公开的原理，根据所谓的弱标记数据进行训练。
参考图7，图7是根据本公开一些方面的将神经网络训练为预测表示时间运动伪影的时间运动数据140、150的范例方法的过程图，在一些实施方式中，神经网络130通过以下方式进行训练：
接收S210时间心内传感器训练数据210，所述时间心内传感器训练数据210包括时间运动伪影120；
接收S220表示时间运动伪影120的真实情况时间运动数据220；并且
将所接收的时间心内传感器训练数据210输入S230到神经网络130中，并且基于损失函数来调整S240神经网络130的参数，所述损失函数表示由神经网络130预测的表示时间运动伪影120的时间运动数据140、150与表示时间运动伪影120的所接收的真实情况时间运动数据220之间的差异。
参考图8进一步描述了训练方法，图8是根据本公开一些方面的示意图，示出将神经网络训练为预测表示时间运动伪影的时间运动数据140、150的范例方法。更详细地说，参考图8和上述训练方法，神经网络130的训练涉及将真实情况时间运动数据220输入到损失函数中。真实情况时间运动数据220可以包括表示心脏运动伪影的真实情况心脏运动数据270和/或表示呼吸运动伪影的真实情况呼吸运动数据280。
参考图8和图5，在这些图示的范例中，输入到神经网络130的时间心内传感器训练数据210是在时域中，并且，神经网络130对时间心内传感训练数据210进行时间到频率的转换，以生成由神经网络130处理的频谱图。在备选实施方式中，时间到频率的转换可以在神经网络之外发生，或者时间心内传感器训练数据210可以在频域中输入，并且不执行时间到频率的转换。如果输入的时间心内传感器训练数据210是在时域中，则神经网络130可以计算时间心内传感器训练数据210的短时傅里叶变换STFT，以便使用卷积神经网络CNN获得频谱图，并且由此识别与时间心内传感器训练数据210相关联的特征。由CNN执行的卷积在时间轴上执行，以捕获时间心内传感器训练数据210随时间的表现。参考图5，CNN的输出被输入到双向LSTM(BLSTM)中，这是一种类型的递归神经网络RNN。其他类型的RNN(例如，长短期存储器LSTM网络)可以备选地代替长短期存储器LSTM网络来使用。神经网络130中的每个中间层可以包括线性卷积运算、批量归一化、BN、丢弃、非线性(例如ReLU、sigmoid等)、以及其他运算。神经网络130的输出包括表示时间运动伪影120的预测的时间运动数据150。由所示神经网络预测的时间运动数据150包括表示呼吸运动伪影的时间呼吸运动信号150。
图5的神经网络以以下方式运行。输入的时间心内传感器数据110是在时域中，并且初始将时间到频率的转换应用于该数据以生成频谱图。神经网络130被训练为生成频域掩模，所述频域掩模用于提取频谱图中对应于呼吸运动伪影的频率。为了补偿时间运动伪影，将该掩模乘以输入的时间心内传感器数据110的频谱图，并且将结果转换到时域以生成可以被输出的时间呼吸运动信号150。将掩模逆函数应用于呼吸掩模，以便创建能够输出残差信号(具体地，输出时间运动补偿的心内传感器数据160)的另一个掩模。尽管图5中未示出，但可以以类似的方式预测和输出时间心脏运动信号140。
图5的神经网络的输出的确定性可以通过将表示例如心脏运动数据和/或呼吸运动数据的额外数据输入到神经网络中来改善。这种心脏运动可以是例如从结合到心内导管中的一个或多个电磁位置传感器采集的。呼吸运动数据可以例如由被配置为对患者的躯干进行成像的一个或多个相机生成的图像流来提供。
如上所述，图5中所示的神经网络130可以额外地或备选地以表示心脏运动伪影的时间心脏运动信号140的形式来预测时间运动数据。这些信号可以通过将神经网络训练为生成一个或多个频率掩模“复掩模”来生成，所述一个或多个频率掩模当与输入的时间心内传感器训练数据210相乘时，生成时间心脏运动信号140和/或时间呼吸运动信号150的频域表示。每个掩模可以包括实通道和虚通道。时间心脏运动信号140和/或时间呼吸运动信号150的时域表示可以通过对频域表示执行逆傅里叶变换来获得。
图5的实施方式在频域中执行对时间心内传感器数据110中的时间运动伪影的补偿。在另一种实施方式中，可以在时域中执行对时间心内传感器数据110中的时间运动伪影的补偿。因此，图6是根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第二范例的示意图。图6中使用与图5中相同标签标记的项目指的是相同的项目。
如图5所示，在由神经网络进一步处理之前，将输入到图6中的神经网络130的时间心内传感器数据110初始从时域转换到频域，以提供频谱图。在备选范例中，时间到频率的转换可以在神经网络130外部发生，或者时间心内传感器数据110可以在频域中输入而不执行时间到频率的转换。在图6的实施方式中，神经网络被训练为生成频域掩码，所述频域掩码用于提取频谱图中对应于呼吸运动伪影的频率。将该掩模转换为时域掩模，并将结果与输入的时域时间心内传感器数据110进行卷积，以生成可以输出的时间呼吸运动信号150。将掩模逆函数应用于呼吸掩模，以创建其他掩模，所述其他掩模随后可以转换为时域掩模，并与时间心内传感器数据110进行卷积，以生成残差信号，具体地，生成时间运动补偿的心内传感器数据160。尽管图5中未示出，但可以以类似的方式预测和输出时间心脏运动信号140。
如关于图5所示，图6中的神经网络130的输出的确定性可以通过将表示例如心脏运动数据和/或呼吸运动数据的额外数据输入到神经网络中来改善。这种心脏运动可以是例如从结合到心内导管中的一个或多个电磁位置传感器采集的。呼吸运动数据可以例如由被配置为对患者的躯干进行成像的一个或多个相机生成的图像流来提供。
回到图8，在训练图5和图6中的神经网络130期间，将时间心脏运动信号140和/或时间呼吸运动信号150的时域或频域表示输入到损失函数，并且损失函数的值用作反馈，以调整神经网络130的权重和偏差，即“参数”。损失函数计算由神经网络130预测的时间运动数据140、150与所接收的真实情况时间运动数据220之间的差异。
可以使用诸如负对数似然损失、L2损失、或Huber损失、或交叉熵损失等函数来计算损失函数的值。在训练期间，损失函数的值通常被最小化，并且当损失函数的值满足停止标准时，训练终止。有时，当损失函数的值满足多个标准中的一个或多个时，训练终止。
已知用于解决损失最小化问题的各种方法，例如梯度下降、拟牛顿方法等等。已经开发了各种算法来实施这些方法及其变体，包括但不限于，随机梯度下降“SGD”、批量梯度下降、小批量梯度下降，高斯-牛顿法、列文伯格-马夸尔特法、动量法(Momentum)、Adam、Nadam、Adagrad、Adadelta、RMSProp、以及Adamax“优化器”。这些算法使用链式规则计算损失函数相对于模型参数的导数。这个过程被称为反向传播，因为导数是从最后一层或输出层开始计算，向第一层或输入层移动。这些导数告知算法必须如何调整模型参数以使误差函数最小化。即，从输出层开始，并在网络中反向工作，直到到达输入层对模型参数进行调整。在第一次训练迭代中，初始权重和偏差通常是随机的。然后，神经网络预测输出数据，这同样是随机的。然后使用反向传播来调整权重和偏差。训练过程是通过在每次迭代中对权重和偏差进行调整来迭代执行的。当预测的输出数据与预期的输出数据之间的误差或差在用于训练数据或用于某些验证数据的可接受范围内时，训练终止。随后，可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据准确地预测预期的输出数据。
在训练期间输入到神经网络130的时间心内传感器训练数据210可以由在对象上测量的数据或者由模拟数据提供。测量数据中的时间运动伪影120是固有的。具有时间运动伪影的模拟训练数据210可以通过将无运动伪影的传感器数据与表示来自例如心脏和/或呼吸运动的运动的信号相加来提供。
表示心脏运动伪影的真实情况心脏运动数据270和真实情况呼吸运动数据280可以源自各种源。用于训练神经网络130的真实情况心脏运动数据270可以例如由以下各项提供：
心内探头，其被配置为检测心内激活信号；或者
体外心电图传感器；或者
一个或多个相机，其被配置为检测血流引起的皮肤颜色变化；或
经胸超声心动图TTE成像系统；或者
经食道超声心动图TEE成像系统；或者麦克风。麦克风可以是体内的，例如被布置为设置在心脏区域内，或者是体外的。
用于训练神经网络130的真实情况呼吸运动数据280可以例如通过以下方式提供：
一个或多个体外阻抗测量电路，其被配置为测量对象的胸腔或腹腔的电导率；或者
一个或多个相机，其被配置为对对象的胸腔或腹腔进行成像；或者
阻抗带，其被机械耦合到对象的胸腔或腹腔；或者
机械通气辅助设备，其被耦合到对象；或者
位置感测系统，其被配置为检测设置在对象的胸腔或腹腔上的一个或多个体外标记的位置。
一个或多个相机可以包括被布置为观察对象躯干的单眼相机或立体相机，其可以是RGB、灰度、高光谱、飞行时间或红外相机。一个或多个相机可以包括图像处理控制器，其被配置为从由一个或多个相机生成的所采集的图像帧中提取呼吸模式。阻抗带可以包括围绕对象的躯干或腹腔的弹性条带。阻抗带使用信号处理模块将胸廓或腹腔的膨胀和收缩转换为呼吸波形。体外标记物可以包括光学标记物，例如回射的固定在皮肤上的(skin-mounted)标记物或电磁线圈，其位置可以分别由立体定向光学导航系统和电磁跟踪系统测量。
图9是根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第三范例的示意图。图9中的范例神经网络130被训练为预测表示呼吸运动伪影的时间呼吸运动信号150。图9中所示的神经网络130对应于图5中的神经网络，并且同样被训练为预测表示呼吸运动伪影的时间呼吸运动信号150。如图5所示，图9中的神经网络130被训练为根据输入的时间心内传感器数据110来预测时间呼吸运动信号150。图9中的神经网络130也被训练为根据输入的呼吸运动数据180来预测时间呼吸运动信号150。表示心脏运动伪影的时间心脏运动信号140也以类似的方式由神经网络130预测。
图9中的神经网络以与上文关于图5所述相同的方式操作，并且额外地包括用于处理输入的呼吸运动数据180的卷积神经网络。在训练期间，该CNN学习呼吸运动的特征表示。在该CNN中执行的卷积在时间轴上执行，以捕捉呼吸运动随时间的表现。参考图9，然后将这些表示级联并输入到双向LSTM(BLSTM)，如上文参考图5所述。因此，与图5的神经网络130相比，图9中所示的神经网络额外地使用输入的呼吸运动数据180来预测时间呼吸运动信号150。额外的输入的呼吸运动数据180的使用微调神经网络的预测的准确性。
与图5所示的神经网络相比，在图9中，呼吸运动数据180也被输入到神经网络130，心内传感器数据110也是这样。神经网络130被训练为生成频域掩模，所述频域掩模用于提取频谱图中对应于呼吸运动伪影的频率。将两个掩模的组合反转并乘以输入的时间心内传感器数据110的频谱图，以生成具有减少的呼吸运动伪影和具有减少的心脏运动伪影的心内传感器数据的频谱图。然后可以将该频谱图转换到时域，以提供时间运动补偿的心内传感器数据160。以类似的方式，除了呼吸运动数据180之外，或者代替呼吸运动数据180，也可以将图9中未示出的心脏运动数据170输入到神经网络130中，以补偿心脏运动。以与上面关于图5描述的方式类似的方式，对于时间呼吸运动信号150，图9中所示的神经网络130也预测表示心脏运动伪影的时间心脏运动信号140。预测的时间心脏运动信号140和/或时间呼吸运动信号150可以额外地或备选地基于输入的心脏运动数据170来预测。输入的心脏运动数据170可以由卷积神经网络处理，换言之，以与输入的呼吸运动数据180类似的方式处理。
图9的实施方式在频域中对时间心内传感器数据110中的时间运动伪影执行补偿。在另一种实施方式中，在时域中执行对时间心内传感器数据110中的时间运动伪影的补偿。因此，图10是示出根据本公开一些方面的用于预测表示时间运动伪影的时间运动数据140、150的神经网络130的第四范例的示意图。使用与图9中相同标签标记的图10中的项目指的是相同的项目。如图9所示，在图10中，呼吸运动数据180以及心内传感器数据110被输入到神经网络130中。图10中的神经网络处理心内传感器数据110的频谱图以及呼吸运动数据。神经网络130被训练为生成被转换为时域掩模的频域掩模，所述时域掩模通过与输入的时域心内传感器数据110卷积来提取呼吸运动伪影和心脏运动伪影。两个掩模的组合在图10中被反转，并且被转换为时域掩模，所述时域掩模与心内传感器数据110进行卷积，以生成没有呼吸运动伪影或心脏运动伪影的心内传感器数据。然后，该数据可以转换到时域，具体地，用于提供时间运动补偿的心内传感器数据160，并被输出。
心脏运动数据170和呼吸运动数据180可以通过以上分别针对真实情况心脏运动数据270和真实情况呼吸运动数据280描述的任何源提供。例如，心脏运动数据170可以例如由被配置为检测心内激活信号的心内探头提供，并且呼吸运动数据180可以例如由被配置为测量对象的胸腔或腹腔的电导率的一个或多个体外阻抗测量电路提供。
在参考图9的神经网络期间，与图3中所述的操作相比，关于图5执行各种额外操作。在参考图9的实施方式期间，所述方法还可以包括：
将所接收的时间心内传感器数据110转换为频域表示；并且其中，时间运动伪影120包括心脏运动伪影和/或呼吸运动伪影；并且其中，神经网络130被训练为根据时间心内传感器数据110来预测表示时间运动伪影120的时间运动数据140、150，分别作为表示心脏运动伪影的时间心脏运动信号140和/或表示呼吸运动伪影的时间呼吸运动信号150；并且其中，时间心脏运动信号140和/或时间呼吸运动信号150包括所述数据的频域表示的时间变化；
并且其中，通过利用时间心脏运动信号140的频域表示和/或时间呼吸运动信号150的频域表示来掩蔽所接收的时间心内传感器数据110的频域表示来执行补偿S130。
图9中所示的神经网络130的训练同样包括上文参考图7所述的与图5中的神经网络130相关的额外操作。在图9的神经网络130中，由神经网络预测的时间运动数据140、150包括表示心脏运动伪影的时间心脏运动信号140和/或表示呼吸运动伪影的时间呼吸运动信号150，并且，表示时间运动伪影120的真实情况时间运动数据220包括分别表示心脏运动伪影和呼吸运动伪影的真实情况心脏运动数据270和/或真实情况呼吸运动数据280，并且神经网络130被训练为根据时间心内传感器数据110并且根据心脏运动数据170和/或与时间运动伪影120相对应的呼吸运动数据180来预测心脏运动信号140和/或时间呼吸运动信号150。与图5的神经网络相比，图9的神经网络130的训练还包括：
将与心脏运动数据170相对应的心脏运动训练数据290和/或与呼吸运动数据180相对应的呼吸运动训练数据300输入到神经网络130中；
并且其中，损失函数分别基于由神经网络130预测的时间心脏运动信号140和/或时间呼吸运动信号150与所接收的真实情况心脏运动数据270和/或真实情况呼吸运动数据280之间的差异。
图9的神经网络的训练也可以以与图8中所描述的相同的方式进行。通过运动训练数据290、300与神经网络130之间的虚线箭头示出了图9的神经网络与训练图5的神经网络在训练中的差异。虚线箭头指示图9的神经网络的训练还包括将真实情况时间运动数据220输入到损失函数中，并且将运动训练数据(如心脏运动训练数据290和/或呼吸运动训练数据300)输入到神经网络130中。
在推理和/或训练期间，还可以提供和使用以上在图5和图9中描述的神经网络130的额外输入数据，以进一步改善其预测的准确性。例如，可以向神经网络输入位置数据，所述位置数据指示所接收的时间心内传感器数据110在心脏内的起源。这可以例如通过神经网络来使用，以将其对时间运动数据140、150的预测微调到具体心脏区域中预期的那些数据。到神经网络的额外输入数据同样可以包括，例如与诸如心律失常的医疗状况、心律失常的心室、时间心内传感器数据是否对应于血池中的位置、时间心脏内传感器数据是否对应于与组织接触的位置、心律失常的类型等有关的信息。
在上述任何方法中，可以计算由神经网络130预测的时间运动数据140、150的估计的确定性。估计的确定性可以基于以下各项中的一项或多项：
预测输出140、150和在训练期间输入的真实情况时间运动数据220之间的差异；
预测输出140、150的标准偏差。例如，高标准偏差可以指示预测输出140、150中的低确定性，因为例如，输入的时间心内传感器数据110具有轻微的干扰水平；用于确定心脏运动数据170和呼吸运动数据180的相机图像的质量。例如，如果对象的皮肤在图像中不是清晰可见的，则神经网络输出的确定性可能较低，因为心脏信号可能是不准确的。
作为贝叶斯近似丢弃，其中，忽略神经网络中的多个神经元的输出，并且对输入数据执行多次推理和计算输出的平均值和标准偏差。高标准偏差可以指示预测输出中的低确定性，而低标准偏差可以指示预测输出中的高确定性。
根据本公开还提供一种用于减少来自时间心内传感器数据的时间运动伪影的系统。所述系统包括一个或多个处理器，其被配置为执行上述方法的一个或多个元素。
还提供一种训练上述神经网络的方法。为此，提供用于根据时间心内传感器数据来预测表示时间运动伪影的时间运动数据的神经网络的计算机实施的方法，包括：
接收S210时间心内传感器训练数据210，所述时间心内传感器训练数据210包括时间运动伪影120；
接收S220表示时间运动伪影120的真实情况时间运动数据220；
将所接收的时间心内传感器训练数据210输入S230到神经网络130中，并且基于表示由神经网络130预测的表示时间运动伪影120的时间运动数据140、150与表示时间运动伪影120的所接收的真实情况时间运动数据220之间的差异的损失函数来调整S240神经网络130的参数。
训练方法可以结合上面关于经训练的神经网络130描述的一个或多个操作。例如，表示时间运动伪影120的真实情况时间运动数据220可以包括表示心脏运动伪影的真实情况心脏运动数据270和/或表示呼吸运动伪影的真实情况呼吸运动数据280。
以范例方式，在训练期间，由神经网络预测的时间运动数据140、150可以包括表示心脏运动伪影的时间心脏运动信号140和/或表示呼吸运动伪影的时间呼吸运动信号150，并且表示时间运动伪影120的真实情况时间运动数据220可以包括分别表示心脏运动伪影和呼吸运动伪影的真实情况心脏运动数据270和/或真实情况呼吸运动数据280，并且神经网络130被训练为根据时间心内传感器数据110并且根据与时间运动伪影120相对应的心脏运动数据170和/或呼吸运动数据180来预测心脏运动信号140和/或时间呼吸运动信号150；
在一些范例中，运动训练数据290、300还可以在训练期间被输入到神经网络130中。在这些范例中，所述方法还可以包括：将与心脏运动数据170相对应的心脏运动训练数据290和/或与呼吸运动数据180相对应的呼吸运动训练数据300输入到神经网络130中；
并且其中，损失函数分别基于由神经网络130预测的时间心脏运动信号140和/或时间呼吸运动信号150与所接收的真实情况心脏运动数据270和/或真实情况呼吸运动数据280之间的差异。
在另一个范例中，提供一种用于提供神经网络的处理装置，所述神经网络用于根据时间心内传感器数据来预测表示时间运动伪影的时间运动数据。所述处理装置包括被配置为执行上述训练方法的一个或多个处理器。
以上范例应当理解为本公开的说明性范例而非限制性范例。还考虑其他范例。例如，关于计算机实施的方法描述的范例也可以由计算机程序产品、或者由计算机可读存储介质、或者由处理装置、或者由系统以对应的方式提供。应当理解，关于任何一个范例描述的特征可以单独使用，或者与其他描述的特征组合使用，并且还可以与另一个范例的一个或多个特征组合使用，或者与其他范例组合使用。此外，在不脱离在所附权利要求中定义的本发明保护范围的情况下，也可以采用上面未描述的等效物和修改。在权利要求中，“包含”一词不排除其他元素或操作，不定冠词“一”或“一个”不排除复数。仅在相互不同的从属权利要求中列举某些特征这一事实并不表明这些特征的组合不能用于有利的目的。权利要求中的任何附图标记不应被解释为限制其范围。。

Claims (15)

1.一种减少时间心内传感器数据中的时间运动伪影的计算机实施的方法，所述方法包括：
接收(S110)时间心内传感器数据(110)，所述时间心内传感器数据(110)包括时间运动伪影(120)；
将所述时间心内传感器数据(110)输入(S120)到神经网络(130)中，所述神经网络被训练为根据所述时间心内传感器数据预测表示所述时间运动伪影(120)的时间运动数据(140、150)；并且
基于所预测的时间运动数据(140、150)来补偿(S130)在所接收的时间心内传感器数据(110)中的所述时间运动伪影(120)。
2.根据权利要求1所述的计算机实施的方法，其中，所述时间运动伪影(120)包括心脏运动伪影和/或呼吸运动伪影；并且其中，所述神经网络(130)被训练为根据所述时间心内传感器数据(110)将表示所述时间运动伪影(120)的所述时间运动数据(140、150)分别预测为表示所述心脏运动伪影的时间心脏运动信号(140)和/或表示所述呼吸运动伪影的时间呼吸运动信号(150)。
3.根据权利要求1所述的计算机实施的方法，包括将所接收的时间心内传感器数据(110)转换为频域表示；并且其中，所述时间运动伪影(120)包括心脏运动伪影和/或呼吸运动伪影；并且其中，所述神经网络(130)被训练为根据所述时间心内传感器数据(110)将表示所述时间运动伪影(120)的所述时间运动数据(140、150)分别预测为表示所述心脏运动伪影的时间心脏运动信号(140)和/或表示所述呼吸运动伪影的时间呼吸运动信号(150)；并且其中，所述时间心脏运动信号(140)和/或所述时间呼吸运动信号(150)包括所述数据的频域表示的时间变化；
并且其中，所述补偿(S130)是通过利用所述时间心脏运动信号(140)的所述频域表示和/或所述时间呼吸运动信号(150)的所述频域表示来掩蔽所接收的时间心内传感器数据(110)的所述频域表示来执行的。
4.根据权利要求1-3中的任一项所述的计算机实施的方法，包括输出表示所述时间运动伪影(120)的所述时间运动数据(140、150)；和/或其中，对所述时间运动伪影(120)的所述补偿(S130)包括输出时间运动补偿的心内传感器数据(160)。
5.根据权利要求1所述的计算机实施的方法，其中，所述时间心内传感器数据(110)表示以下中的一个或多个：
表示一个或多个心内位置传感器的位置的位置数据；
由一个或多个心内电传感器生成的心内电活动数据；
表示心脏壁与一个或多个力传感器之间的接触力的接触力数据；以及
表示一个或多个心内温度传感器的温度的温度数据。
6.根据权利要求1所述的计算机实施的方法，其中，所述神经网络(130)通过以下步骤来训练：
接收(S210)时间心内传感器训练数据(210)，所述时间心内传感器训练数据(210)包括时间运动伪影(120)；
接收(S220)表示所述时间运动伪影(120)的真实情况时间运动数据(220)；并且
将所接收的时间心内传感器训练数据(210)输入(S230)到所述神经网络(130)中，并且基于表示由所述神经网络(130)预测的表示所述时间运动伪影(120)的所述时间运动数据(140、150)与表示所述时间运动伪影(120)的所接收的真实情况时间运动数据(220)之间的差异的损失函数来调整(S240)所述神经网路(130)的参数。
7.根据权利要求6所述的计算机实施的方法，其中，由所述神经网络预测的所述时间运动数据(140、150)包括表示心脏运动伪影的时间心脏运动信号(140)，并且其中，表示所述时间运动伪影(120)的所述真实情况时间运动数据(220)包括表示所述心脏运动伪影的真实情况心脏运动数据(270)，并且其中，所述神经网络(130)被训练为根据所述时间心内传感器数据(110)并根据心脏运动数据(170)来预测所述心脏运动信号(140)；
并且其中，所述神经网络(130)还通过以下方式来训练：
将与所述心脏运动数据(170)相对应的心脏运动训练数据(290)输入到所述神经网络(130)中；
并且其中，所述损失函数基于由所述神经网络(130)预测的所述时间心脏运动信号(140)与所接收的真实情况心脏运动数据(270)之间的差异。
8.根据权利要求6所述的计算机实施的方法，其中，由所述神经网络预测的所述时间运动数据(140、150)包括表示呼吸运动伪影的时间呼吸运动信号(150)，并且其中，表示所述时间运动伪影(120)的所述真实情况时间运动数据(220)包括表示所述呼吸运动伪影的真实情况呼吸运动数据(280)，并且其中，所述神经网络(130)被训练为根据所述时间心内传感器数据(110)并且根据与所述时间运动伪影(120)相对应的呼吸运动数据(180)来预测所述时间呼吸运动信号(150)；
并且其中，所述神经网络(130)还通过以下方式来训练：
将与所述呼吸运动数据(180)相对应的呼吸运动训练数据(300)输入到所述神经网络(130)中；
并且其中，所述损失函数基于由所述神经网络(130)预测的所述时间呼吸运动信号(150)与所接收的真实情况呼吸运动数据(280)之间的差异。
9.根据权利要求7所述的计算机实施的方法，其中，所述心脏运动数据(170)通过以下方式提供：
心内探头，其被配置为检测心内激活信号；或者
体外心电图传感器；
一个或多个相机，其被配置为检测血流引起的皮肤颜色变化；或者
经胸超声心动图TTE成像系统；或者
经食道超声心动图TEE成像系统；或者
麦克风。
10.根据权利要求8所述的计算机实施的方法，其中，所述呼吸运动数据(180)由以下各项提供：
一个或多个体外阻抗测量电路，其被配置为测量对象的胸腔或腹腔的电导率；或者
一个或多个相机，其被配置为对对象的胸腔或腹腔进行成像；或者
阻抗带，其被机械地耦合到对象的胸腔或腹腔；或者
机械通气辅助设备，其被耦合到所述对象；或者
位置感测系统，其被配置为检测设置在对象的胸腔或腹腔上的一个或多个体外标记的位置。
11.根据前述权利要求中的任一项所述的计算机实施的方法，还包括：在所述数据输入(S230)到所述神经网络(130)之前，将所接收的时间心内传感器数据(110)和/或所接收的时间心内传感器训练数据(210)和/或所接收的心脏运动数据(170)和/或呼吸运动数据(180)转换为频域表示；和/或在计算所述损失函数之前将所接收的真实情况时间运动数据转换为频域表示。
12.根据权利要求1所述的计算机实施的方法，包括：计算由所述神经网络(130)预测的表示所述时间运动伪影(120)的所述时间运动数据(140、150)的估计的确定性。
13.一种提供用于根据时间心内传感器数据来预测表示时间运动伪影的时间运动数据的神经网络的计算机实施的方法，所述方法包括：
接收(S210)时间心内传感器训练数据(210)，所述时间心内传感器训练数据(210)包括时间运动伪影(120)；
接收(S220)表示所述时间运动伪影(120)的真实情况时间运动数据(220)；
将所接收的时间心内传感器训练数据(210)输入(S230)到神经网络(130)中，并且基于表示由所述神经网络(30)预测的表示所述时间运动伪影(120)的时间运动数据(140、150)与表示所述时间运动伪影(120)的所接收的真实情况时间运动数据(220)之间的差异的损失函数来调整(S240)所述神经网络(130)的参数。
14.一种用于提供神经网络的处理装置，所述神经网络用于根据时间心内传感器数据预测表示时间运动伪影的时间运动数据，所述处理装置包括被配置为执行根据权利要求13所述的方法的一个或多个处理器。
15.一种包括指令的计算机程序产品，当由一个或多个处理器执行时，所述指令使所述一个或多个处理器执行根据权利要求1或权利要求13所述的方法。
CN202180087015.4A 2020-12-22 2021-12-14 减少时间运动伪影 Pending CN116634935A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063129364P 2020-12-22 2020-12-22
US63/129,364 2020-12-22
PCT/EP2021/085582 WO2022136011A1 (en) 2020-12-22 2021-12-14 Reducing temporal motion artifacts

Publications (1)

Publication Number Publication Date
CN116634935A true CN116634935A (zh) 2023-08-22

Family

ID=79230890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180087015.4A Pending CN116634935A (zh) 2020-12-22 2021-12-14 减少时间运动伪影

Country Status (5)

Country Link
US (1) US20240057978A1 (zh)
EP (1) EP4266980A1 (zh)
JP (1) JP2024500827A (zh)
CN (1) CN116634935A (zh)
WO (1) WO2022136011A1 (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5631585B2 (ja) 2006-03-22 2014-11-26 コーニンクレッカ フィリップス エレクトロニクス エヌ．ヴィ． 光ファイバ機器センシングシステム
EP3136960A1 (en) 2014-04-29 2017-03-08 Koninklijke Philips N.V. Device for determining a specific position of a catheter
US10278616B2 (en) 2015-05-12 2019-05-07 Navix International Limited Systems and methods for tracking an intrabody catheter
US11484239B2 (en) * 2016-09-07 2022-11-01 Ablacon Inc. Systems, devices, components and methods for detecting the locations of sources of cardiac rhythm disorders in a patient's heart
US11832969B2 (en) * 2016-12-22 2023-12-05 The Johns Hopkins University Machine learning approach to beamforming
US10782378B2 (en) * 2018-05-16 2020-09-22 Siemens Healthcare Gmbh Deep learning reconstruction of free breathing perfusion
WO2020030557A1 (en) 2018-08-08 2020-02-13 Koninklijke Philips N.V. Tracking an interventional device respective an ultrasound image plane
US10664979B2 (en) * 2018-09-14 2020-05-26 Siemens Healthcare Gmbh Method and system for deep motion model learning in medical images
EP3861560A1 (en) * 2018-10-05 2021-08-11 Imperial College Of Science, Technology And Medicine Method for detecting adverse cardiac events
US11468538B2 (en) * 2019-04-05 2022-10-11 Baker Hughes Oilfield Operations Llc Segmentation and prediction of low-level temporal plume patterns

Also Published As

Publication number Publication date
EP4266980A1 (en) 2023-11-01
WO2022136011A1 (en) 2022-06-30
US20240057978A1 (en) 2024-02-22
JP2024500827A (ja) 2024-01-10

Similar Documents

Publication Publication Date Title
US20200367785A1 (en) Magnetic field distortion detection and correction in a magnetic localization system
JP6227684B2 (ja) インピーダンスおよび磁界の測定を使用するカテーテルのナビゲーション
JP5323397B2 (ja) 移動補整付き体内位置特定システム
US10271810B2 (en) Enhanced compensation of motion in a moving organ using processed reference sensor data
CN107750148B (zh) 阻抗位移及漂移检测和校正
US11596324B2 (en) Combined active current location (ACL) and tissue proximity indication (TPI) system
JP2007319691A (ja) モデルに基づく位置測定値の修正
US11432739B2 (en) Magnetic field distortion detection and correction in a magnetic localization system
US20230397958A1 (en) Generating a mapping function for tracking a position of an electrode
CN110403605B (zh) 改进的活动电压定位(avl)分辨率
TW201821021A (zh) 生理訊號量測方法及生理訊號量測裝置
JP7423284B2 (ja) システムおよびその作動方法
CN116634935A (zh) 减少时间运动伪影
US11185274B2 (en) Identifying orthogonal sets of active current location (ACL) patches
RU2676435C2 (ru) Устройство определения полости
WO2021161093A1 (en) Respiration compensation
JP2022071856A (ja) 位置マップを構築している間での心臓除細動のインスタンスの同定
US20230363643A1 (en) Electro-anatomical mapping without acquiring a reference signal
US20220183669A1 (en) Probe-cavity motion modeling
Bogatyrenko et al. Reliable estimation of heart surface motion under stochastic and unknown but bounded systematic uncertainties

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination