CN114847959A - 一种远程心脏介入手术中的心梗定位系统及方法 - Google Patents

一种远程心脏介入手术中的心梗定位系统及方法 Download PDF

Info

Publication number
CN114847959A
CN114847959A CN202210291251.4A CN202210291251A CN114847959A CN 114847959 A CN114847959 A CN 114847959A CN 202210291251 A CN202210291251 A CN 202210291251A CN 114847959 A CN114847959 A CN 114847959A
Authority
CN
China
Prior art keywords
branch
myocardial infarction
module
attention
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210291251.4A
Other languages
English (en)
Inventor
袁志勇
单楚栋
赵俭辉
杜博
何紫阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202210291251.4A priority Critical patent/CN114847959A/zh
Publication of CN114847959A publication Critical patent/CN114847959A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346—Analysis of electrocardiograms
    • A61B5/349—Detecting specific parameters of the electrocardiograph cycle
    • A61B5/352—Detecting R peaks, e.g. for synchronising diagnostic apparatus; Estimating R-R interval
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Abstract

本发明公开了一种远程心脏介入手术中的心梗定位系统及方法，首先利用ECG信号采集装置采集心脏介入手术过程中12导联ECG信号并通过Wi‑Fi传输至云服务器；在云服务器上进行ECG信号预处理，将预处理后的ECG信号中每个导联作为云服务器上部署的多分支Mobi‑Trans心梗位置分类模型每个对应分支的输入，每个分支先利用改进的轻量级MobileNetV3模块提取特征，其次使用改进的Transformer模块使模型更关注ECG信号中更重要的位置，最后使用分支注意力模块使模型能够更加关注对分类贡献更大的分支并得到心梗位置的分类结果。本发明通过12个并行分支结合轻量级卷积模块和改进的自注意力模块以及分支注意力机制，为远程心脏介入手术中的心梗定位提供了一种有效的技术手段。

Description

一种远程心脏介入手术中的心梗定位系统及方法
技术领域
本发明属于图片识别分类技术领域，涉及一种心电图(ECG)信号采集、传输、预处理、自动分类系统及方法，具体涉及一种远程心脏介入手术中的心梗定位系统及方法。
背景技术
介入手术作为一种新兴的治疗方式，以其适应症广、微创、疗效确切、并发症小等特点，相较于传统内科药物治疗和外科手术治疗都具有无可比拟的优势。并且随着5G通信技术的高速发展使得远程介入手术成为可能，ECG是用于心梗诊断的一种主要工具，并且具有非侵入性和经济实惠等优点([文献1])，由于心梗按照发生位置可以划分为前壁心梗(AMI)，前间壁心梗(ASMI)，前侧壁心梗(ALMI)，心尖部心梗(APMI)，侧壁心梗(LMI)，下壁心梗(IMI)，下侧壁心梗(ILMI)等种类([文献2])，利用12导联ECG能够区分这些类别从而能够为心脏介入手术确定病灶位置，有利于提前进行介入式导管在人体血管内的路径规划。同时12导联ECG能够监护病人在心脏介入手术中的身体状况以及梗死部位是否疏通，从而有利于医生把握手术进度，因此在心脏介入手术中实时ECG监护是十分有必要的。
以往的12导联ECG需要有经验的医生人工确定心梗的位置类别，但这一方法很难适用于类似心脏介入手术中长时间的ECG实时监护。对于类似于心脏介入手术过程中的长时间的ECG监护，连续的计算机辅助12导联ECG记录是一种更加可靠的手段([文献3])。此前有许多学者对计算机辅助心梗位置的自动分类进行过研究，并提出了许多的方法，这些方法大致分为两类，第一类是需要进行ECG波形特征定位和特征提取的传统机器学习方法，另外一类则是可以自动提取ECG特征的深度学习方法。对于传统的机器学习方法，例如Arif等人提出了一种使用KNN分类器进行心梗的自动检测和定位的算法([文献4])，使用小波变换提取了Q波振幅、ST水平偏差和T波振幅等特征作为KNN分类器的输入，实现了98.8％的总体分类准确率。但是心梗检测和定位在很大程度上取决于对时域特征的正确提取，并且文中的ST段特征提取使用的是根据经验确定的J点后的时间段，但是这个时间段是会随着心率改变而发生变化的。总而言之，这些传统的机器学习方法通常都需要作者按照自身经验进行手工的特征选择和提取，这些作者自己的特征提取算法可能会因为患者的性别和年龄的因素的不同而产生不同的提取性能，而特征提取的性能将极大地影响分类器的分类性能。
近年来随着深度学习方法的兴起许多学者将诸如CNN、RNN等在图像分类和机器翻译等领域取得很好性能的深度学习方法应用于ECG信号的分类领域，相较于传统的机器学习方法，这些深度方法具备自动学习输入数据的特征的能力，从而省去了繁琐的特征提取过程，并且具有比传统机器学习算法更好的泛化能力。Natesan等人在2020年提出了一种多层深度卷积神经网络结构用于多导联ECG信号的心梗分类([文献5])。这种多层卷积堆叠的方法能够提取ECG图中的局部特征，但是不能很好地建模ECG信号中各区域之间的相对关系。Prabhakararao等人提出了一种用于心梗诊断的基于注意力的RNN网络([文献6])，使用导联内和导联间注意模块在PTB数据集上实现了98.3％的总体准确率，但是RNN模型往往必须按顺序计算，无法并行计算，当模型具有更深的深度和更多的参数的情况下性能较低。
参考文献：
[文献1]Acharya U R,Kannathal N,Hua L M,et al.Study of heart ratevariability signals at sitting and lying postures[J].Journal of Bodywork&Movement Therapies,2005,9(2):134-141.
[文献2]Namprempre C.Electrocardiography in DICOM.ChurchillLivingstone,1997.
[文献3]Thygesen K,Alpert J S,Jaffe A S.Third universal definition ofmyocardial infarction[J].European Heart Journal,2012,50(20):2173-2195.
[文献4]Arif M,Malagore I,Afsar F.Detection and localization ofmyocardial infarction using k-nearest neighbor classifier[J].Journal ofMedical Systems,2010:1-11.
[文献5]Natesan P,VV Priya,Gothai E.Classification of Multi-Lead ECGSignals to Predict Myocardial Infarction Using CNN[C]//2020 FourthInternational Conference on Computing Methodologies and Communication(ICCMC).2020.
[文献6]Prabhakararao E,Dandapat S.Attentive RNN-Based Network to Fuse12-Lead ECG and Clinical Features for Improved Myocardial InfarctionDiagnosis[J].IEEE Signal Processing Letters,2020,27:2029-2033.
发明内容
为了解决上述技术问题，本发明提出了一种远程心脏介入手术中的心梗定位系统及方法。
本发明的系统所采用的技术方案是：一种远程心脏介入手术中的心梗定位系统，包括病人端、云服务器和医生端；
所述病人端，包括12导联ECG信号采集装置和Wi-Fi远程传输装置，用于采集心脏介入手术过程中12导联ECG信号并通过Wi-Fi传输至云服务器；
所述云服务器，包括ECG信号预处理模块和多分支Mobi-Trans心梗位置分类模型，用于进行ECG信号预处理，将预处理后的ECG信号中每个导联作为云服务器上部署的多分支Mobi-Trans心梗位置分类模型每个对应分支的输入，提取特征，得到心梗位置的分类结果；
所述医生端，用于接收预处理后ECG信号及心梗位置的分类结果，实时可视化ECG波形和心梗位置的分类结果。
本发明的方法所采用的技术方案是：一种远程心脏介入手术中的心梗定位方法，包括以下步骤：
步骤1：获取从心脏介入手术病人身上采集到的一段预设长度的12导联ECG信号；
步骤2：对预设长度的12导联ECG信号中的各个导联ECG信号进行去噪处理，识别R峰并分割为心拍，将分割后的心拍降采样为320个采样点；
去噪处理利用现有的小波去噪方法，使用现有的Pan-Tompkins算法来识别R峰的位置，并且取R峰前199个点和R峰后400个点，包括R峰在内一共600个点作为一个心拍。分割心拍的采样点个数视ECG信号采样频率的情况而定，当ECG采样频率为1000Hz时按照上述方法分割采样点为600的心拍。
步骤3：将步骤2的输出输入多分支Mobi-Trans心梗位置分类模型中12个对应分支，获得心梗位置的分类结果。
与现有技术相比，本发明所具有的创新及优势如下：
1.为了实现介入手术过程中的远程ECG监护以及更好地利用采集设备采集到的ECG信号各导联中所包含的特征，设计了一种可以配合远程无线传输12导联ECG信号采集设备使用的多分支Mobi-Trans心梗位置分类模型。
2.Mobi-Trans模型有效地结合了CNN和Transformer的优点，将二者完美融合用于一维ECG信号的分类。其中CNN部分利用改进的MobileNetV3提取特征模块使得参数的使用量比传统卷积有大幅下降，对于使用绝对位置编码的原始Transformer模型当输入图像例如ECG信号往水平方向发生平移时，模型对于相同的波形也可能产生不同的结果，因为ECG信号中每个采样点的绝对位置发生了改变。本发明中使用的Transformer部分使用相对位置表示代替了原始Transformer模型的绝对位置编码克服了以往用于图像分类的VisionTransformer模型的缺乏平移不变性问题。
3.本发明提出的Mobi-Trans模型中多处使用到了注意力机制，包括通道注意力机制、位置注意力机制、分支注意力机制，使模型能够更加关注ECG信号中更加有用的区域、特征提取过程中更有用的通道、以及12导联ECG信号中更有用的导联。
附图说明
图1为本发明实施例的系统原理图。
图2为本发明实施例中多分支Mobi-Trans心梗位置分类模型网络结构示意图；
图3为本发明实施例中多分支Mobi-Trans心梗位置分类模型中bneck模块网络结构示意图；
图4为本发明实施例中多分支Mobi-Trans心梗位置分类模型中分支注意力模块网络结构示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种远程心脏介入手术中的心梗定位系统，包括病人端、云服务器和医生端；
病人端，包括12导联ECG信号采集装置和Wi-Fi远程传输装置，用于采集心脏介入手术过程中12导联ECG信号并通过Wi-Fi传输至云服务器；
云服务器，包括ECG信号预处理模块和多分支Mobi-Trans心梗位置分类模型，用于进行ECG信号预处理，将预处理后的ECG信号中每个导联作为云服务器上部署的多分支Mobi-Trans心梗位置分类模型每个对应分支的输入，每个分支先利用改进的轻量级MobileNetV3模块提取特征，其次使用改进的Transformer模块使模型更关注ECG信号中更重要的位置，最后使用分支注意力模块使模型能够更加关注对分类贡献更大的分支并得到心梗位置的分类结果；
医生端，用于接收预处理后ECG信号及心梗位置的分类结果，实时可视化ECG波形和心梗位置的分类结果。
本实施例中ECG信号采集装置中的信号采集模块使用ADS1298芯片、Wi-Fi远程传输装置使用ESP32 MCU。首先启动ECG信号采集装置采集心脏介入手术过程中12导联ECG信号并通过Wi-Fi远程传输装置将其传输至云服务器，云服务器上部署ECG信号小波去噪算法和基于Pan-Tompkins算法进行R峰识别的心拍分割算法对12导联ECG信号进行预处理，同时部署训练好的多分支Mobi-Trans心梗位置分类模型对预处理后的ECG信号进行心梗位置的分类。
本实施例的多分支Mobi-Trans心梗位置分类模型，设置有12个并行分支、拼接层、分支注意力模块、Flatten层、全连接层和Softmax函数层；每个分支接收12导联ECG信号中对应导联的长度为320个采样点的心拍，通过拼接层将12个分支提取到的特征进行拼接，拼接后的特征图有12个通道，其中每个通道代表对应分支提取到的特征，通过分支注意力模块对各分支特征进行注意力操作；利用Flatten层将分支注意力模块后的输出特征图进行展平操作，利用全连接层和Softmax函数层得到心梗位置分类结果。
本实施例的分支由改进的轻量级MobileNetV3提取特征模块和改进的Transformer注意力模块组成；
MobileNetV3模型由谷歌团队提出，提出时有两种参数配置，一种是small，一种是large，本实施例使用small模型并在其基础上进行改进。本实施例的改进的轻量级MobileNetV3提取特征模块，参数设置和MobileNetV3(small)模型一致，同时将MobileNetV3(small)模型修改为适用于一维信号处理且删除了模型后半部分，只保留了具有线性瓶颈的逆残差结构的bneck模块之前的部分；改进的轻量级MobileNetV3提取特征模块首先利用一维卷积层提升单通道ECG信号的通道数，并减少信号长度，然后再使用BN层进行归一化操作，经过归一化后的特征图将使用如下所示的h-swish函数进行激活，之后11个堆叠的bneck模块将用于进一步轻量级的特征提取；
Figure BDA0003560315560000061
其中，x表示输入h-swish函数的自变量，ReLU 6()函数表达式为：对于输入自变量x，ReLU 6(x)＝min(max(x,0),6)。
本实施例中多分支Mobi-Trans心梗位置分类模型包含内部组成结构一致的12个并行分支，并且这些并行分支所训练得到的参数各自独立而不是共用同一套参数。每个分支接收预处理好之后的12导联ECG信号中的对应导联的长度为320个采样点的一维ECG心拍信号，首先利用改进的轻量级MobileNetV3模块进行特征提取，MobileNetV3模块首先使用卷积核个数为16、尺寸为3、步长为2的一维卷积层提升单通道ECG信号的通道数，并减少信号长度，然后再使用BN层进行归一化操作，经过归一化后的特征图将使用hswish函数进行激活。之后11个堆叠的bneck模块将用于进一步轻量级的特征提取，bneck的内部组成结构如图3所示。图3中第一列和第二列是bneck模块的两种形式，他们之间的区别就是中间depthwise convolution的步长不同并且是否存在直连(shortcut)将bneck的输入与输出相加形成残差模块。所述bneck模块首先利用卷积核大小为1，步长为1的一维卷积层来提升特征图的通道数并且保证一维特征图的长度不变，然后再使用BN层进行归一化操作，再使用非线性激活函数None linear，其次便是使用depthwise convolution对于特征图每个通道将会有与之对应的各不相同的单通道的卷积核对每个通道进行一维卷积操作。depthwise convolution之后同样再使用BN层和None linear激活函数，随后紧接着有一个卷积核大小为1，步长为1的pointwise convolution对之前输出的特征图进行逐点一维卷积操作，这里使用的卷积核个数将决定bneck模块最终输出的特征图通道数。depthwiseconvolution之后再使用BN层进行归一化操作，之后使用SENet模块进行squeeze和excitation操作实现通道注意力机制，SENet模块的组成部分如图3最右侧一列所示，squeeze操作通过全局平均池化来实现，excitation操作首先通过一个卷积核尺寸为1、步长为1的一维卷积层将通道数降为输入SENet模块的特征图通道数的1/4从而降低计算量，通过BN层归一化和ReLU函数激活后再使用一个卷积核尺寸为1、步长为1的一维卷积层将通道数恢复为输入SENet模块的特征图通道数，然后再使用如下式中的hsigmoid函数进行激活操作得到特征图，这个特征图是由模型学习到的最开始输入SENet模块中的特征图每个通道的权重，将其与原始输入进行基于通道的乘积可以得到基于通道注意力的特征图。
Figure BDA0003560315560000071
在bneck模块中，SENet模块是可选的，而残差连接(shortcut)也只depthwiseconvolution卷积核步长为1时才有，对于如图3中的None linear激活函数，本实施例在前三个bneck模块中使用的是ReLU函数，在后8个bneck模块中使用的是h-swish函数，因此并不是实施例中使用的11个bneck模块的内部组成均一致，如下表1所示为11个bneck模块的参数。
表1
Figure BDA0003560315560000072
本实施例的改进的Transformer注意力模块，使用传统Transformer模型中的编码器encoder部分，并且修改编码器部分中多头自注意力为具有相对位置表示的多头自注意力；改进的Transformer注意力模块包含5个堆叠的编码器；
相对于传统的Transformer模型中使用的绝对位置编码的自注意力如以下公式所示：
Figure BDA0003560315560000081
其中，Q表示查询向量Query，K表示键向量Key，V表示值向量Value，dk表示键向量Key的维度的算术平方根。
对于一组含有n个元素的输入x＝(x1,…,xn)，使用上述自注意力公式计算得到的一组输出A＝(A1,…,An)，其中第i个元素Ai的表达公式如下：
Figure BDA0003560315560000082
Figure BDA0003560315560000083
其中，xi表示n个元素的输入x＝(x1,…,xn)中的第i个元素，xj表示n个元素的输入x＝(x1,…,xn)中的第j个元素，WQ、WK表示权重矩阵，xi与WQ、WK权重矩阵相乘分别得到与之相关的查询向量和键向量。eij表示xi与xj之间的注意力得分。
具有相对位置表示的自注意力为修改上式中的eij如下所示：
Figure BDA0003560315560000084
上式中引入相对位置表示wi-j指的是对于长度为L的一维ECG特征图，当使用多头注意力机制时，每个头中都有一个可训练的长度为2L-1的参数P＝(P1,…,P2L-1)，当要计算一维ECG特征图中位置为第i个和第j个点之间的相对位置偏置时，将选取P中第i-j+L个元素Pi-j+L作为wi-j的值；1≤i≤L，1≤j≤L。
图2中FFN指的是前馈神经网络，首先使用Linear层将输入FFN模块的特征图通道数扩大至原有输入如图1所示Rel-Attention(具有相对位置表示的自注意力)模块的通道数的4倍，然后再使用GELU函数进行激活，再使用Linear层将特征图通道数缩小至如图2所示Rel-Attention模块输出特征图通道数，从而使得Rel-Attention模块输出与FFN模块的输出可以相加。所述改进的Transformer注意力模块包含5个堆叠的编码器，每个编码器由图1中的Rel-Attention模块和FFN模块组成并且使用8头注意力机制。5个堆叠的编码器中的第一个编码器对输入的特征图进行尺寸为3，步长为2的池化操作实现特征图的降采样使得特征图的长度变为5，同时使用尺寸为1，步长为1的卷积将输入特征图的通道数提升至192，后4个编码器没有降采样和升维操作，因此后四个编码器输入和输出特征图的尺寸均为192×5。
本实施例中Mobi-Trans模型的分支注意力模块实现流程如图4所示，每个分支中的ECG信号在经过改进的轻量级MobileNetV3模块和改进的Transformer模块之后将变为通道数为192，长度为5的特征图，本实施例首先用全局平均池化将其尺寸变为192×1，然后再将转置为单通道，长度为192的特征图，最后将12个分支中的特征图进行拼接得到尺寸为12×192的特征图，再将其输入图3中下半部分的分支注意力模块。对于分支注意力模块，本实施例首先将输入特征图A和它的转置B相乘得到尺寸为12×12的矩阵C，然后取C中每行的最大值替换每行的其它值得到D，将D减去C得到注意力矩阵E，利用Softmax函数将矩阵E变为权重矩阵F，将F和A相乘得到尺寸为12×192的特征图G，将G于一个可训练的变量β相乘得到H，再将H和A相加得到经过分支注意力操作后的结果。
本实施例提供一种远程心脏介入手术中的心梗定位方法，医生通过连接在电脑上的手柄将远程介入手术导管控制指令通过5G网络和MQTT协议传输至云服务器，云服务器将控制指令传输至病人端，同时病人端的ECG采集装置将采集到的12导联ECG信号通过5G网络和MQTT协议传输至云服务器，经过云服务器上的ECG预处理函数进行预处理并且利用云服务器上部署的Mobi-Trans模型进行心梗位置分类，最后将预处理后的ECG信号和对应的心梗定位结果发送至医生客户端模块，医生客户端模块接收云服务器传输的预处理后的ECG信号和对应的心梗定位结果，使得医生可以使用电脑查看实时可视化ECG波形和心梗定位结果。
本实施例采用的多分支Mobi-Trans心梗位置分类模型，为训练好的多分支Mobi-Trans心梗位置分类模型；
训练过程是：将经过专业医生标注的从不同心梗患者身上采集到的带有心梗位置标签的12导联ECG信号进行去噪处理，识别R峰并分割为心拍，将分割后的心拍降采样为320个采样点；并将其作为数据集用于训练多分支Mobi-Trans心梗位置分类模型；当验证集上的loss不再下降的时候停止训练。
本发明提出了一种用于心梗定位的多分支Mobi-Trans模型，每个分支先利用改进的轻量级MobileNetV3模块提取特征，其次使用改进的Transformer模块使模型更关注ECG信号中更重要的位置，最后使用分支注意力模块使模型能够更加关注对分类贡献更大的分支并得到心梗位置的分类结果。本发明通过12个并行分支结合轻量级卷积模块和改进的自注意力模块以及分支注意力机制，为远程心脏介入手术中的心梗定位提供了一种有效的技术手段。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种远程心脏介入手术中的心梗定位系统，其特征在于：包括病人端、云服务器和医生端；
所述病人端，包括12导联ECG信号采集装置和Wi-Fi远程传输装置，用于采集心脏介入手术过程中12导联ECG信号并通过Wi-Fi传输至云服务器；
所述云服务器，包括ECG信号预处理模块和多分支Mobi-Trans心梗位置分类模型，用于进行ECG信号预处理，将预处理后的ECG信号中每个导联作为云服务器上部署的多分支Mobi-Trans心梗位置分类模型每个对应分支的输入，提取特征，得到心梗位置的分类结果；
所述医生端，用于接收预处理后ECG信号及心梗位置的分类结果，实时可视化ECG波形和心梗位置的分类结果。
2.根据权利要求1所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述多分支Mobi-Trans心梗位置分类模型，设置有12个并行分支、拼接层、分支注意力模块、Flatten层、全连接层和Softmax函数层；每个所述分支接收12导联ECG信号中对应导联的长度为320个采样点的心拍，通过所述拼接层将12个分支提取到的特征进行拼接，拼接后的特征图有12个通道，其中每个通道代表对应分支提取到的特征，通过所述分支注意力模块对各分支特征进行注意力操作；利用Flatten层将所述分支注意力模块后的输出特征图进行展平操作，利用全连接层和Softmax函数层得到心梗位置分类结果。
3.根据权利要求2所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述分支由改进的轻量级MobileNetV3提取特征模块和改进的Transformer注意力模块组成；
所述改进的轻量级MobileNetV3提取特征模块，参数设置和MobileNetV3small模型一致，同时将MobileNetV3 small模型修改为适用于一维信号处理且删除了模型后半部分，只保留了具有线性瓶颈的逆残差结构的bneck模块之前的部分；改进的轻量级MobileNetV3提取特征模块首先利用一维卷积层提升单通道ECG信号的通道数，并减少信号长度，然后再使用BN层进行归一化操作，经过归一化后的特征图将使用如下所示的h-swish函数进行激活，之后11个堆叠的bneck模块将用于进一步轻量级的特征提取；
Figure FDA0003560315550000011
其中，x表示输入h-swish函数的自变量，ReLU 6()函数表达式为：对于输入自变量x，ReLU 6(x)＝min(max(x,0),6)。
4.根据权利要求3所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述bneck模块，首先利用卷积核大小为1，步长为1的一维卷积层来提升特征图的通道数并且保证一维特征图的长度不变，然后再使用BN层进行归一化操作，再使用非线性激活函数Nonelinear；其次使用depthwise convolution对于特征图每个通道将会有与之对应的各不相同的单通道的卷积核对每个通道进行一维卷积操作，depthwise convolution之后同样再使用BN层和None linear激活函数，随后紧接着有一个卷积核大小为1，步长为1的pointwise convolution对之前输出的特征图进行逐点一维卷积操作；depthwiseconvolution之后再使用BN层进行归一化操作，之后使用SENet模块进行squeeze和excitation操作实现通道注意力机制；其中，squeeze操作通过全局平均池化来实现，excitation操作首先通过一个卷积核尺寸为1、步长为1的一维卷积层将通道数降为输入SENet模块的特征图通道数的1/4从而降低计算量，通过BN层归一化和ReLU函数激活后再使用一个卷积核尺寸为1、步长为1的一维卷积层将通道数恢复为输入SENet模块的特征图通道数，然后再使用hsigmoid(x)函数进行激活操作得到特征图，这个特征图是由模型学习到的最开始输入SENet模块中的特征图每个通道的权重，将其与原始输入进行基于通道的乘积得到基于通道注意力的特征图；
所述bneck模块中，SENet模块是可选的，而残差连接shortcut也只depthwiseconvolution卷积核步长为1时才有。
5.根据权利要求2所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述分支由改进的轻量级MobileNetV3提取特征模块和改进的Transformer注意力模块组成；
所述改进的Transformer注意力模块，使用传统Transformer模型中的编码器encoder部分，并且修改编码器部分中多头自注意力为具有相对位置表示的多头自注意力；所述改进的Transformer注意力模块包含5个堆叠的编码器；
相对于传统的Transformer模型中使用的绝对位置编码的自注意力如以下公式所示：
Figure FDA0003560315550000021
其中，Q表示查询向量Query，K表示键向量Key，V表示值向量Value，dk表示键向量Key的维度的算术平方根；
对于一组含有n个元素的输入x＝(x1,…,xn)，使用上述自注意力公式计算得到的一组输出A＝(A1,…,An)，其中第i个元素Ai的表达公式如下：
Figure FDA0003560315550000031
Figure FDA0003560315550000032
其中，xi表示n个元素的输入x＝(x1,…,xn)中的第i个元素，xj表示n个元素的输入x＝(x1,…,xn)中的第j个元素，WQ、WK表示权重矩阵，xi与WQ、WK权重矩阵相乘分别得到与之相关的查询向量和键向量；eij表示xi与xj之间的注意力得分；
所述具有相对位置表示的自注意力为修改上式中的eij如下所示：
Figure FDA0003560315550000033
上式中引入相对位置表示wi-j指的是对于长度为L的一维ECG特征图，当使用多头注意力机制时，每个头中都有一个可训练的长度为2L-1的参数P＝(P1,…,P2L-1)，当要计算一维ECG特征图中位置为第i个和第j个点之间的相对位置偏置时，将选取P中第i-j+L个元素Pi-j+L作为所述wi-j的值；1≤i≤L，1≤j≤L。
6.根据权利要求2所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述分支注意力模块，首先将输入特征图A和它的转置B相乘得到矩阵C，然后取C中每行的最大值替换每行的其它值得到D，将D减去C得到注意力矩阵E，利用Softmax函数将矩阵E变为权重矩阵F，将F和A相乘得到特征图G，将G于一个可训练的变量β相乘得到H，再将H和A相加得到经过分支注意力操作后的结果。
7.根据权利要求1-6任意一项所述的远程心脏介入手术中的心梗定位系统，其特征在于：所述多分支Mobi-Trans心梗位置分类模型，为训练好的多分支Mobi-Trans心梗位置分类模型；
所述训练过程是：将经过专业医生标注的从不同心梗患者身上采集到的带有心梗位置标签的12导联ECG信号进行去噪处理，识别R峰并分割为心拍，将分割后的心拍降采样为320个采样点；并将其作为数据集用于训练多分支Mobi-Trans心梗位置分类模型；当验证集上的loss不再下降的时候停止训练。
8.一种远程心脏介入手术中的心梗定位方法，其特征在于，包括以下步骤：
步骤1：获取从心脏介入手术病人身上采集到的一段预设长度的12导联ECG信号；
步骤2：对预设长度的12导联ECG信号中的各个导联ECG信号进行去噪处理，识别R峰并分割为心拍，将分割后的心拍降采样为320个采样点；
步骤3：将步骤2的输出输入多分支Mobi-Trans心梗位置分类模型中12个对应分支，获得心梗位置的分类结果。
CN202210291251.4A 2022-03-23 2022-03-23 一种远程心脏介入手术中的心梗定位系统及方法 Pending CN114847959A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210291251.4A CN114847959A (zh) 2022-03-23 2022-03-23 一种远程心脏介入手术中的心梗定位系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210291251.4A CN114847959A (zh) 2022-03-23 2022-03-23 一种远程心脏介入手术中的心梗定位系统及方法

Publications (1)

Publication Number Publication Date
CN114847959A true CN114847959A (zh) 2022-08-05

Family

ID=82627365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210291251.4A Pending CN114847959A (zh) 2022-03-23 2022-03-23 一种远程心脏介入手术中的心梗定位系统及方法

Country Status (1)

Country Link
CN (1) CN114847959A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115721318A (zh) * 2022-11-24 2023-03-03 西安工程大学 一种心电信号降噪处理方法、系统、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115721318A (zh) * 2022-11-24 2023-03-03 西安工程大学 一种心电信号降噪处理方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
US20220233129A1 (en) Method for constructing intracardiac abnormal activation point location model based on cnn and lstm
US20190090774A1 (en) System and method for localization of origins of cardiac arrhythmia using electrocardiography and neural networks
US20210085215A1 (en) Ecg-based cardiac wall thickness estimation
CN110619322A (zh) 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统
CN111248882B (zh) 一种预测血压的方法和装置
CN109259756B (zh) 基于非平衡训练的二级神经网络的ecg信号处理方法
Gawande et al. Heart diseases classification using convolutional neural network
CN113901893B (zh) 基于多重级联深度神经网络的心电信号的识别与分类方法
CN112906748A (zh) 基于残差网络的12导联ecg心律失常检测分类模型构建方法
Gao Diagnosing abnormal electrocardiogram (ECG) via deep learning
CN114847959A (zh) 一种远程心脏介入手术中的心梗定位系统及方法
CN115500841A (zh) 一种融合时域与频域特征深度学习的室性早搏定位方法
US20220181025A1 (en) Setting an automatic window of interest based on a learning data analysis
Xu et al. Arrhythmia detection using gated recurrent unit network with ECG signals
CN113180688A (zh) 基于残差神经网络的冠心病心电图筛查系统及方法
CN116269426A (zh) 一种十二导联ecg辅助的心脏疾病多模态融合筛查方法
JP2023104885A (ja) グラフ畳み込みに基づく心電図心拍数マルチタイプの予測方法
US20220005198A1 (en) Automatic contiguity estimation of wide area circumferential ablation points
Banta et al. A novel convolutional neural network for reconstructing surface electrocardiograms from intracardiac electrograms and vice versa
Rajesh et al. A Silent Cardiac Atrial Fibrillation Detection and Classification using Deep Learning Approach
Lodhi et al. Detection of Myocardial Infarction in ECG Base Leads using Deep Convolutional Neural Networks
US20220238203A1 (en) Adaptive navigation and registration interface for medical imaging
Ran et al. Multi-label classification of abnormalities in 12-lead ECG using deep learning
EPMoghaddam et al. A novel method for 12-lead ECG reconstruction
US20230042941A1 (en) Graphical user interface template for reducing setup time of electrophysiological procedures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination