CN111523502B - 一种心电图图像处理方法、设备、介质和心电图仪 - Google Patents

一种心电图图像处理方法、设备、介质和心电图仪 Download PDF

Info

Publication number
CN111523502B
CN111523502B CN202010361140.7A CN202010361140A CN111523502B CN 111523502 B CN111523502 B CN 111523502B CN 202010361140 A CN202010361140 A CN 202010361140A CN 111523502 B CN111523502 B CN 111523502B
Authority
CN
China
Prior art keywords
attention
image
electrocardiographic
feature
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010361140.7A
Other languages
English (en)
Other versions
CN111523502A (zh
Inventor
陈康
曹青
杜楠
刘楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Original Assignee
Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd filed Critical Ruinjin Hospital Affiliated to Shanghai Jiaotong University School of Medicine Co Ltd
Priority to CN202010361140.7A priority Critical patent/CN111523502B/zh
Publication of CN111523502A publication Critical patent/CN111523502A/zh
Priority to US17/921,929 priority patent/US20230293079A1/en
Priority to PCT/CN2021/090113 priority patent/WO2021218943A1/zh
Application granted granted Critical
Publication of CN111523502B publication Critical patent/CN111523502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Cardiology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)

Abstract

本申请涉及图像处理领域，公开了一种心电图图像处理方法、设备、介质和心电图仪。本申请的心电图图像处理方法包括：接收心电图图像，提取心电图图像的特征图，并对特征图进行降维处理得到注意力图，使用双线性注意力池处理从特征图和注意力图提取特征矩阵，使用多头自注意力处理对特征矩阵进行自适应的权重学习并加权融合得到表达矩阵，基于所述表达矩阵，对心电图图像进行多标签分类。本申请可以对心电图图像进行直接判读，而不局限在使用传统的数字信号，同时能抓住心电图片中细微的差异性，从而进行心电异常的分类，抗噪能力强。

Description

一种心电图图像处理方法、设备、介质和心电图仪
技术领域
本申请涉及图像处理领域，特别涉及一种心电图图像处理方法、设备、介质和心电图仪。
背景技术
心电图用于反应心脏的电激动过程，是医生进行心脏检查和诊断的一个重要的临床手段，一般分为静态心电图，动态心电图和运动心电图三种。现有技术中，通过深度学习的人工智能框架对心电信号进行学习及处理，从而进行各种异常类型的推理，且主要服务于心贴产品，基于心贴产品的单导联心电图进行常见的心律不齐异常分析。因而现有技术中存在以下不足：一方面，信号处理基于数字信号输入，而因为心电图设备的限制和医院信息系统的存储设置，大量心电图在临床系统中都是以图片的格式进行存储，基于数字信号限制了在实际场景中的应用，且大多应用在心贴设备上，与设备独家合作，所以才能直接获取该设备的数字信号，使得可拓展性较低；另一方面，现有技术中多基于单导联心电图，而不是临床级别的12导联心电图，因而只能进行有限的心律不齐识别。
发明内容
本申请实施例提供了一种心电图图像处理方法、设备、介质和心电图仪。
第一方面，本申请实施例提供了一种心电图图像处理方法，所述方法包括：
接收心电图图像；
提取所述心电图图像的特征图，并对所述特征图进行降维处理得到注意力图，所述注意力图表示所述心电图图像中的特定部位；
使用双线性注意力池处理从所述特征图和所述注意力图提取特征矩阵，所述特征矩阵由表示所述特定部位所对应的特征量构成；
使用多头自注意力处理对所述特征矩阵进行自适应的权重学习并加权融合得到表达矩阵，所述表达矩阵表示所述心电图图像中异常部位；
基于所述表达矩阵，对所述心电图图像进行多标签分类，所述多标签表示所述异常部位对应的异常类型。
在上述第一方面的一种可能的实现中，提取所述心电图图像的特征图，并对所述特征图进行降维得到注意力图，包括：
基于inception-v3框架提取所述心电图图像的所述特征图，所述特征图表示为F∈RH×W×M，其中，F代表所述特征图，R代表所述心电图图像，H代表所述心电图图像尺寸的高度，W代表所述心电图图像尺寸的宽度，M代表所述心电图图像的通道数。
在上述第一方面的一种可能的实现中，所述特征图经过一个核大小为1的卷积运算，降维得到所述注意力图，所降维度可被配置为1-32中任一值。
在上述第一方面的一种可能的实现中，使用双线性注意力池处理从所述特征图和所述注意力图提取特征矩阵，所述特征矩阵由表示所述特定波形的不同特征量构成，包括：
如下式所示，分割所述注意力图：
Figure BDA0002475116340000021
其中，A∈RH×W×N代表所述注意力图，ai∈RH×W代表所述心电图图像的第i部位，N代表将所述注意力图分割成的图的个数；
将所述注意力图中的每个元素ai与所述特征图分别相乘，得到与第i部位相对应的矩阵pi，如下所示：
pi＝g(ai⊙F)(k＝1，2，...，N)， (2)
其中，⊙代表元素式乘法，g(.)代表池化操作；
并在所述M个信道上池化N次，依次得到矩阵p1，p2，...,pN，并将所述矩阵p1，p2，...,pN，组合成N×M的特征矩阵P∈RN×M。
在上述第一方面的一种可能的实现中，使用多头自注意力处理对所述特征矩阵进行自适应的权重学习并加权融合得到表达矩阵，所述表达矩阵表示所述心电图图像中异常部位，包括：
首先，使用如下公式计算注意力函数：
Figure BDA0002475116340000022
其中Q＝V＝K＝P，Attention代表注意力函数，softmax代表名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，KT代表矩阵K的转置，d代表隐藏单位的数量；
然后，使用h个头部来聚焦值向量信道的不同部位，对于第i个头，输出注意力矩阵计算如下所示：
Figure BDA0002475116340000031
其中，Headi代表第i个自注意力机制的输出向量，
Figure BDA0002475116340000032
分别代表第i个自注意力机制的输出向量的与向量Q，K，V相对应的权重；
最后，将h个所述注意力矩阵相加，并经过线性层的一维化操作，得到所述表达矩阵。
所述多头自注意力处理将多个自注意力机制的输出向量拼接到一起，经过线性层的一维化操作，得到所述表达矩阵。
在上述第一方面的一种可能的实现中，基于所述表达矩阵，对所述心电图图像进行多标签分类，包括：
基于所述表达矩阵，采用长短期记忆模型，生成第一标签，并基于所述心电图图像和所述第一标签，生成第二标签，从而得到所述多标签。
在上述第一方面的一种可能的实现中，上述方法还包括：在接收所述心电图图像之后，将图像转化成预设格式，并对图像进行去除背景水印，去除横纵轴辅助线，对导联数据进行精准分割中的至少一种的预处理。
第二方面，本申请实施例提供了一种心电图图像处理设备，上述心电图图像处理设备包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施上述第一方面的任意一种可能的方法。
第三方面，本申请实施例提供了一种计算机可读介质，计算机可读介质上存储有指令，该指令在计算机上执行时可以使计算机执行上述第一方面的任意一种可能的方法。
第四方面，本申请实施例提供了一种心电图仪，上述心电图仪包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图图像，并针对所述心电图图像执行所述指令以实施上述第一方面的任意一种可能的方法。
本申请与现有技术相比，其效果在于：
本申请通过对心电图图像的处理，采用端到端的训练方式，即从图片输入到最后形成判读结果，期间无需人工干预，实现对心电图图像进行直接判读，而不局限在使用传统的数字信号，同时能抓住心电图片中细微的差异性，从而进行心电异常的分类，抗噪能力强。
附图说明
图1根据本申请的一些实施例，示出了一种心电图图像处理方法的应用场景图；
图2根据本申请的一些实施例，示出了一种心电图图像处理方法的网络结构图；
图3根据本申请的一些实施例，示出了一种心电图图像处理方法的硬件结构框图；
图4根据本申请的一些实施例，示出了训练数据集中的一个样本数据；
图5根据本申请的一些实施例，示出了一种心电图图像处理方法的流程图；
图6(a)根据本申请的一些实施例，示出了一种T波段变化图像生成的注意力热效图；
图6(b)根据本申请的一些实施例，示出了一种ST波段变化图像生成的注意力热效图；
图7根据本申请的一些实施例，示出了一种经过双线性注意力池处理操作的心电图图像示意图；
图8根据本申请的一些实施例，示出了一种经过多头自注意力处理操作的心电图图像示意图。
具体实施方式
本申请的说明性实施例包括但不限于一种心电图图像处理方法、设备、介质和心电图仪。
可以理解，本申请提供的心电图图像处理方法可以在各种电子设备上实施，包括但不限于，服务器、多个服务器组成的分布式服务器集群、手机、平板电脑、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
可以理解，本申请提供的心电图图像处理方法可针对于静态心电图，动态心电图和运动心电图三种，在应用于时间更长的动态心电图和运动心电图时，可按特定长度的时间(如5s，10s)进行切片，每一个切片以图像的形式作为输入即可。
可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
下面将结合附图对本申请的实施例作进一步地详细描述。
图1根据本申请的一些实施例，示出了一种心电图图像处理的场景图。具体的，如图1所示，该心电图图像处理方法应用于心电图图像处理系统。该心电图图像处理系统包括终端110、服务器120和心电图设备130。终端110、服务器120和心电图设备130之间通过网络连接，网络连接可以包括各种连接类型，例如有线、无线通信链路、云或者光纤电缆等等，上述的网络具体实例可包括终端110的通信供应商提供的互联网。
终端110可以是安装有端到端的智能预检分诊系统或计算机辅助临床决策支持系统的设备，具体可以是台式终端或移动终端，移动终端具体是可以手机、平板电脑、笔记本电脑等中的至少一种。
服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
心电图设备130是将心脏活动时心肌激动产生的生物电信号(心电信号)自动记录下来，并形成心电图图像的医疗设备，为临床诊断和科研所常用。根据本申请的方法提供的图像处理方法的原理，也可以用于其他医疗设备输出的图像，因此这里的设备130可以替换为CT(Computed Tomography，电子计算机断层扫描)机、MRI(Magnetic ResonanceImaging，磁共振成像)设备和超声诊断仪、X光机、心电图设备和脑电图设备等。
通过电极采集体表的心电信息，经导联线传送到心电图设备130，心电图设备130将采集到的体表心电信息形成心电图图像，并将心电图图像传输到服务器120，服务器120存储心电图图像并将其传输给终端110，终端110从服务器120上接收心电图图像并针对该图形通过本申请的心电图图像处理方法进行处理，最终输出包含多个标签的心电图图像。
下面根据本申请的一些实施例，详细说明应用于图1所示的场景，对应于图2所示的心电图图像处理方法的网络结构的技术方案。本申请的方法的目的是从心电图图像中识别提取部位，然后根据他们在医学领域图像异常分类的重要性进行自适应的多标签分类。如图2所示，该网络结构主要包括四个模块，特征提取模块1111，通过表示学习的方式对图像进行高维度特征学习，提取到特征图，并基于细粒度表示使用注意力机制得到注意力图，用于将心电图图像中的部位表示出来；特征矩阵学习模块1112，基于弱监督的双线性注意力池处理从部位中学习得到表示特定波形的特征矩阵，该处的特定部位根据输入的样本数据集所对应的多标签进行自适应的判别，可以是一个特定的波，间隔或波段，样本数据集及其所对应的多标签将在下文详细讲述；异常部位学习模块1113，基于多头自注意力处理，对特定部位进行进权重学习，并将得到的矩阵进行一维化线性操作得到表示心电图图像中异常部位的表达矩阵；分类学习模块1114，基于长短记忆网络，将异常部位进行多标签分类，得到标有多个标签的心电图图像。
本申请方式所提供的方法实施方式可以在终端110中执行，图3根据本申请的一些实施例，示出了一种心电图图像处理方法的硬件结构框图。如图3所示，终端110可以包括一个或多个(图中仅示出一个)处理器111(处理器111可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口112、用于存储数据的存储器113、以及用于通信功能的传输装置114。本领域技术人员可以理解，图3所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，终端110还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。
输入输出接口112可以连接一个或多个显示器、触控屏等，用于显示从终端110传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。
存储器113可用于存储数据库、队列、应用软件的软件程序以及模块，如本申请的一些实施例中的心电图图像处理方法对应的程序指令/模块，处理器111通过运行存储在存储器113内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的心电图图像处理方法。存储器113可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器113可进一步包括相对于处理器111远程设置的存储器，这些远程存储器可以通过网络连接至终端110。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置114用于经由网络接收由服务器120传输的经心电图设备130上传的心电图图像或者发送处理后的数据到服务器120，网络可以包括各种连接类型，例如有线、无线通信链路、云或者光纤电缆等等。上述的网络具体实例可包括终端110的通信供应商提供的互联网。
在解释根据本申请的心电图图像处理方法之前，需要对数据集进行训练，图4根据本申请的一些实施例，示出了训练数据集中的一个样本数据。本申请收集了国内某一级医院2015年1月——2015年3月的数据组成初始据集。在该数据集中有27271个心电图图像，涉及27120个参与者。年龄分布为57.6±17.9岁，其中女性占比52.5％，男性占比46.6％。每个记录被存储为12导联的心电图图像，其中在心电图图像中呈现四个波形：前三个中的每一个均由具有10秒持续时间和每导联2.5秒持续时间的四个导联信号组成；第四个是用于II引线的10秒持续时间信号。不同的导联提供不同的信号幅度和间隔。12导联心电图图像是临床上最广泛使用的心电图图像记录技术，其包含6个前导联(V1，V2，V3，V4，V5，V6)，3个肢体导联(I，II，iii)和三个增强的Limb导联(aVR，aVL，aVF)。每个导联从不同的角度观察心脏。所有图像都以便携式网络图形(PNG)格式存储。所有这些心电图图像被标记用于三个单独的分类任务：噪声，节律和ST段异常(ST)。下面的表1示出了每个类的详细统计结果。每个心电图图像记录由多个临床心电图图像专家进行注释，所述临床心电图图像专家使用基于web的心电图图像注释工具，所述基于web的心电图图像注释工具被设计用于所述标签。为了保证不同专家之间的标注一致性，采用了多数投票策略。
表1
Figure BDA0002475116340000071
在该数据集的基础上，采用数据增强来生成更健壮的训练数据集。图像数据增强是一种可以用于通过创建修改版本的图像来人为地扩展训练数据集的大小，从而可以使用它们来建立更好的深度学习模型的技术。值得注意的是，大多数先前的心电图图像处理工作不能直接将增强的数据添加到训练集中，因为它们对时间数字数据的失真非常敏感，这可能显著降低测试集中的性能。然而，由于本申请中输入是二维心电图图像，因此通过适当的增强来修改图像，可以有效地减少过拟合并且保持类之间的平衡分布。
该优点在医学数据分析中特别重要，因为大多数医学数据是不平衡的，具有大量正常情况和非常少的异常情况的特点。随着数据的增加，我们可以实现高特异性和敏感性。由于心电图的特点，本申请主要通过移位来增加心电数据。向左，向右，向上或向下移动心电图图像可以避免数据中的位置偏移。例如，如果训练数据集中存在的所有异常部位都居中，而没有移位，则很难处理仅在拐角处存在异常部位的测试样本，因而设置训练图像可在横向10％宽度和纵向5％高度的范围内随机移动。
基于心电图图像训练数据集以及所对应的图像标签，本申请旨在从心电图图像中提取可区分的部位，该可区分的部位表示可能存在异常的部位，然后根据所提取出的可区分部位进行自适应的权重学习，使得异常部位更加突出，而后进行特征的加权融合，以及一维化处理，从而对心电图图像进行多标签分类，即在进行标签分类的基础上，基于前一个标签和心电图图像，得出下一个标签。
图5根据本申请的一些实施例，示出了一种心电图图像处理方法的流程图。如图5所示，在某些实施例中，心电图图像处理方法可以包括：
S1接收心电图图像。给定输入的心电图图像，常见的图像格式为jpg，svg，png，pdf等，图片的格式和大小均可根据需求自行设置，例如，我们可以将其统一转化为150*300的png图像作为输入。
S2对心电图图像进行预处理。例如，去除背景水印，去除横纵轴辅助线，对导联数据进行精准分割。例如，通过图像提取和分割的方式从一张包含12导联的图像中提取出全部导联或者感兴趣的部分导联的信息，得到多个单独的导联的具体表征。
S3提取心电图图像的特征图。与其他卷积神经网络相比，inception-v3具有更高的精度和效率，因此，为了能够提取尽可能完整反映心电图图像的内容的全局变量，本申请采用inception-v3作为骨干框架。首先基于骨干框架inception-v3，通过表示学习，从输入的原始心电图图像中聚合特征以学习该心电图图像的特征图，将心电图图像特征图表示为F∈RH×W×M其中，F代表所述特征图，R代表所述心电图图像，H代表所述心电图图像尺寸的高度，W代表所述心电图图像尺寸的宽度，M代表所述心电图图像的通道数；此时，输入的心电图图像由一组特征图表示，每个特征图表示在给定的空间模式上与心电图图像的匹配程度，这一过程有效的增加了图像中包含的内部表示的信息。
S4对特征图进行降维处理得到注意力图。为了得到潜在的可辨别部分的细粒度表示，采用注意机制来发现每个特征图的重要性，即以从特征图中学习识别特定部位，形成注意力图；注意力图通过特征图进行一个或者多个卷积层操作得到，注意力图中的每个元素代表心电图图像的一个部位，该部位可以是一个特定的波，间隔，波段，或者波的长度。特征图经过一个核大小为1的卷积运算，降维得到注意力图，所降维度可被配置为1-32中任一值，一般设置为32。
S5使用双线性注意力池处理从特征图和注意力图中提取特征矩阵。对于没有任何注释的分类，需要从部位得到部分表示的集合。为了滤除用于检测异常的不相关或弱相关的区域，例如背景和不信息信号段，本申请中引入了一种注意力机制，通过一系列卷积操作应用注意力图来从学习的特征图中识别关键部分，即从部位中提取细粒度的特征矩阵。称之为双线性注意力池操作(BilinearAttention Pooling，简称BAP)，通过组合来自两个信息源的特征来提取特征矩阵，在本申请中，第一信息源是基于骨干特征网络的输出特征，即特征图；第二信息源，是由特征图经过一层或者多层卷积得到的注意力图，对注意力图进行监督以学习心电图图像的特征分布。将注意力图逐元素地与特征图相乘，然后，在每个部分应用双线性注意力池，并将生成的特征矩阵平坦化和级联化。最终特征矩阵中的每行提取到不同的波形部分。具体来说，操作如下：
将所述注意力图分割成如公式(1)所示的N个图：
Figure BDA0002475116340000091
其中，A∈RH×W×N代表所述注意力图，ai∈RH×W代表所述心电图图像的第i部位，N代表将所述注意力图分割成的图的个数；
将所述注意力图中的每个元素ai与所述特征图分别相乘，得到与第i部位相对应的矩阵pi，如下所示：
pi＝g(ai⊙F)(k＝1，2，...，N)， (2)
其中，⊙代表元素式乘法，g(.)代表池化操作；
并在所述M个信道上池化N次，依次得到矩阵p1，p2，...,pN，并将所述矩阵p1，p2，...,pN，组合成N×M的特征矩阵P∈RN×M。
由此，我们得到了表示每个注意力图的特定波形部分的不同特征量。此过程是完全无监督的，具有可缩放成大规模数据的优点。图6(a)根据本申请的一些实施例，示出了一种T波段变化图像生成的注意力热效图，图6(b)根据本申请的一些实施例，示出了一种ST波段变化图像生成的注意力热效图。在图6(a)和图6(b)中，展示了在心电图图像上自动学习得到的注意力图，有助于直观的观察弱监督的注意力学习的有效性。根据BAP操作，该方法从原图中提取预设好数量的特征矩阵，例如，我们将从注意力图中发现的特征矩阵数设置为32，然后选择注意力最高的前5个特征矩阵。具体地，图6(a)中主要突出显示了五个部分，这是示出T波异常变化的心电图图像。我们可以观察到大多数这些高光部分具有相同的x坐标，但却位于不同的引线上。这是因为，当T波异常发生时，有可能同时被多根引线采集，这符合心电图专家对这种异常类型的临床现象和审查方式。类似地，在图6(b)中，用于ST段变化检测的发现部分也同时存在，这表明该方法可以找到有意义的判别部分。
图7根据本申请的一些实施例，示出了一种经过双线性注意力池操作的心电图图像示意图，当我们将从注意力图中发现的特征矩阵数设置为10时，其心电图图像如图7所示，特征矩阵P的每一行表示一个特定部位，此时，特征矩阵有10行。
S6使用多头自注意力处理对特征矩阵进行自适应的权重学习并加权融合得到表达矩阵。在得到特征矩阵之后，自适应的进行加权融合以得到更多的区别特征，多头自注意力机制(multi-head self-attention)是一种与单个序列的不同位置相关的注意力机制，目的是计算相同序列的表示。它的有效性已经在各种应用中得到了证明，例如自然语言理解，抽象摘要和图像描述生成。与此不同的是，本申请利用多头自注意力机制来更好地整合来自多个发现部分的信息。与将其应用于序列到序列生成任务的原始工作不同，我们将这种机制用于图像分类任务。
多头自注意力机制包括两个主要组成部分：自注意力和多头。自注意力机制允许所有部分相互交互，并找出它们应该更多注意的地方。并输出这些交互作用和注意力得分的汇总。多头自注意力机制是监督学习，因此也要进行训练，使用多头自注意力机制对特征矩阵进行自适应的权重学习并融合得到表达矩阵，表达矩阵表示心电图图像中异常部位，包括：特定的波，间隔或波段中的至少一种。
使用公式(4)计算注意力函数：
Figure BDA0002475116340000101
其中Q＝V＝K＝P，Attention代表注意力函数，softmax代表名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，KT代表矩阵K的转置，d代表隐藏单位的数量；
在公式(4)中，运用了按比例点乘注意力层，其输出为值的加权和，每个值的权重由在所有队列中查询到的点乘确定。
使用h个头部来聚焦值向量信道的不同部位，对于第i个头，输出注意力矩阵计算如下所示：
Figure BDA0002475116340000102
其中，Headi代表第i个自注意力机制的输出向量，
Figure BDA0002475116340000103
分别代表第i个自注意力机制的输出向量的与向量Q，K，V相对应的权重；
将h个所述注意力矩阵相加，并经过线性层的一维化操作，得到表达矩阵。其中，MultiHead代表多头自注意力处理，Concat代表将矩阵相加，h代表自注意力机制的输出向量个数，Wh代表与相加后矩阵进行矩阵乘法操作的权重；
图8根据本申请的一些实施例，示出了一种经过多头自注意力机制操作的心电图图像示意图，如图8所示，经过多头自注意力机制对每个异常部分进行自适应的权重学习，使得权重越高的部分说明该异常重要性越高，对应图8中边框较粗的部分；权重越低的部分说明该异常重要性越低，对应图8中边框较细的部分。
多头自注意力处理将多个自注意力机制的输出向量拼接到一起，经过线性层的一维化操作，得到所述表达矩阵。
多头自注意力机制将多个自注意力机制的输出向量拼接到一起，经过线性层的一维化操作，得到所述表达矩阵。多头自注意力机制与CNN相比有许多优势。首先，与CNN不同，多头自注意力机制不限于固定的窗口大小，这意味着可以更容易融合任何学习到的部分，而不管这些特征在图像中的原始位置。其次，多头自注意力机制使用加权和运算生成输出向量，这比卷积运算更容易传播梯度。
S7基于表达矩阵，对心电图图像进行多标签分类。基于长短期记忆模型，进行迭代推理，依次生成异常标签。即每次生成一个，基于图片和前一个标签，得到下一个标签。例如，第一次：基于图片特征得到标签为avl qr型，第二次：基于图片特征和avl qr标签得到窦性心律标签，直到得到所有可能的标签为止。而当得到心率过缓的标签之后，那么与之相悖的心率过速的标签就不可能被得到，因而保证了标签的准确度，传统技术上一张心电图图像只可得到一张标签，而经过本申请的技术方案，可以得到多张标签，从而大幅减少漏诊以及误诊率。
为此，我们也进行了大量的实验验证，提出的模型和基线在带有TensorFlow的Python中实现。此外，我们的实验系统包含两个Intel Xeon E5 CPU，64GB主存储器和2个NVIDIA K20m GPU。相应软件的版本是TensorFlow r1.15，CUDA 10.0和CUDNN 7.5。
首先，我们设置注意力图由特征图进行一个1×1的卷积降维得到，设置h为32。使用Adam优化器，其中β1＝0.9，并且β2＝0.999，批次大小设置为32。初始学习速率设定为0.001，随后在每20个时期之后衰减因子为0.1。为了缓解数据不均衡，对最后一层应用了最优偏置初始化。
考虑到该方法涉及心电图图像分类，精细学习和一般图像分类的任务，所选择的基线可分为三类。
第一组是细粒度图像分类方法，包括：
1.A3M：对于A3M，全局特征由类分类学习，而局部特征由属性预测学习。然后，这两个特征通过属性类互惠注意力模块被细化为最终特征。因此，A3M需要附加的属性注释。
2.B-CNN:B-CNN从两个独立的CNN主链提取特征图并经由双线性汇集组合它们。然后将双线性组合归一化并用于分类任务。
3.WS-BAN：为了通过弱监督学习来提取区别的局部特征，WS-BAN通过注意力正则化和注意力缺失来学习注意力映射。然后执行双线性注意池来提取被认为是分类任务的最终特征表示的顺序部位特征。
4.PC：引入了对偶混淆(PC)正则化，使预测的概率分布更加接近，提高了模型的泛化性能。
第二组包含心电图图像分类方法，包括：
1.心电图图像-CNN：它是用于心电图图像心律失常分类的深二维CNN，包括6个卷积层，3个最大汇集层和2个密集层。它使用Xavier初始化和指数线性单位(ELU)。
2.34层CNN：网络包含33层的卷积，随后是完全连接的层和Sofmax，并且以原始心电图图像信号的时间序列作为输入。我们用2D卷积层代替所有的1D卷积层进行比较。
最后，由于输入是关于图像分类，本申请还与一些广泛使用的一般图像分类框架进行了比较，包括VGG16，Inception-v3，Resnet50和Eficient Net-b0。注意，为了进行公平的比较，我们不包括使用附加数据和关键部位注释的方法。并且除非另有说明，否则所有基线共享相同的主链。
在所有的实验和评估中，我们使用5倍交叉验证，在图像水平方向上进行案例分离。并使用总体精度，召回和F1评估分类性能。另外，我们计算混淆矩阵并测量每个特定类的预约和召回。所有这些测量结果在以下等式中给出：
Figure BDA0002475116340000121
Figure BDA0002475116340000122
Figure BDA0002475116340000123
其中Precision表示精度，Recall表示召回率，TP表示真阳性，FP表示假阳性，TN表示真阴性，FN表示假阴性。
将所提出的方法与在所收集的心电图图像数据中的上述三个异常检测任务上的基线进行比较。结果分别在表2、表3和表4中示出。对于每个表，分别列出了具有精确性，召回和F1得分的类内测量(表的左侧)和总体测量(表的右侧)。由于空间限制，只列出了包含大多数实例的前3个类。
表2：与对节律异常类型进行分类的基线的比较
Figure BDA0002475116340000131
表3：与噪声类型分类的基线的比较
Figure BDA0002475116340000132
表4：与用于分类ST异常类型的基线方法的比较
Figure BDA0002475116340000133
从表2-表4中可以看出，本申请所提出的方法在所有的总体测量和最有类内测量中都优于所有的基线方法。对于所有任务，在精确度，召回以及F1得分方面将基线结果提高约3％。此外，我们可以观察到基于数字的心电图图像分类方法：心电图图像-CNN和34层CNN在所有任务中均没有达到令人满意的性能。另一个有趣的发现是，细粒度分类组的平均性能在三个任务中的两个中优于普通图像分类组，除了节律异常检测任务之外。其主要原因在于，在噪声和ST异常分类的任务中，关键部位通常相对较小和细微，这更容易通过基于细粒度的方法来发现。但是节律异常检测更多的是测量波形的整体频率，而不是找到局部判别部位，因而基于细粒度的方法的优势不能体现。即使这样，因为本申请中作为基于细粒度的方法在所学习的部位上具有空间注意机制，该空间注意机制仍然能够通过对连续的部位分配一系列更精确的高度注意来获取整个频率信息，从而使得本申请中的方法仍具有较好的整体鲁棒性。
本申请的第二实施方式涉及一种心电图图像处理设备，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第三实施方式涉及一种使用计算机程序编码的计算机存储介质，计算机可读介质上存储有指令，该指令在计算机上执行时可以使计算机执行上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第四实施方式涉及一种心电图仪，上述心电图仪包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图图像，并针对所述心电图图像执行所述指令以实施上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是，本申请的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本申请是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically ErasableProgrammable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
需要说明的是，本申请各设备实施方式中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部位，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部位，本申请上述各设备实施方式并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施方式，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。

Claims (9)

1.一种心电图图像处理方法，其特征在于，所述方法包括：
接收心电图图像；
提取所述心电图图像的特征图，并对所述特征图进行降维处理得到注意力图，所述注意力图表示所述心电图图像中的特定部位；
使用双线性注意力池处理从所述特征图和所述注意力图提取特征矩阵，所述特征矩阵由表示所述特定部位所对应的特征量构成；
使用多头自注意力处理对所述特征矩阵进行自适应的权重学习并加权融合得到表达矩阵，所述表达矩阵表示所述心电图图像中异常部位；
基于所述表达矩阵，对所述心电图图像进行多标签分类，所述多标签表示所述异常部位对应的异常类型；
其中，基于所述表达矩阵，采用长短期记忆模型，生成第一标签，并基于所述心电图图像和所述第一标签，生成第二标签，从而得到所述多标签。
2.根据权利要求1所述的方法，其特征在于，提取所述心电图图像的特征图，包括：
基于inception-v3框架提取所述心电图图像的所述特征图，所述特征图表示为F∈RH ×W×M，其中，F代表所述特征图，R代表所述心电图图像，H代表所述心电图图像尺寸的高度，W代表所述心电图图像尺寸的宽度，M代表所述心电图图像的通道数。
3.根据权利要求2所述的方法，其特征在于，对所述特征图进行降维处理得到注意力图，所述注意力图表示所述心电图图像中的特定波形，包括：
所述特征图经过一个核大小为1的卷积运算，降维得到所述注意力图，所降维度可被配置为1-32中任一值。
4.根据权利要求3所述的方法，其特征在于，使用双线性注意力池处理从所述特征图和所述注意力图提取特征矩阵，所述特征矩阵由表示所述特定波形的不同特征量构成，包括：
如下式所示，分割所述注意力图：
Figure FDA0004159017650000021
其中，A∈RH×W×N代表所述注意力图，ai∈RH×W代表所述心电图图像的第i部位，N代表将所述注意力图分割成的图的个数；
将所述注意力图中的每个元素ai与所述特征图分别相乘，得到与第i部位相对应的矩阵pi，如下所示：
pi＝g(ai⊙F)(k＝1，2，...，N)，
其中，⊙代表元素式乘法，g(.)代表池化操作；
并在所述M个信道上池化N次，依次得到矩阵p1，p2，...，pN，并将所述矩阵p1，p2，...，pN，组合成N×M的特征矩阵P∈RN×M。
5.根据权利要求4所述的方法，其特征在于，使用多头自注意力处理对所述特征矩阵进行自适应的权重学习并加权融合得到表达矩阵，所述表达矩阵表示所述心电图图像中异常部位，包括：
使用如下公式计算注意力函数：
Figure FDA0004159017650000022
其中Q＝V＝K＝P，Attention代表注意力函数，softmax代表名为softmax的数学函数，该函数将输入的向量数据转化为(0，1)之间的概率值，KT代表矩阵K的转置，d代表隐藏单位的数量；
使用h个头部来聚焦值向量信道的不同部位，对于第i个头，输出注意力矩阵计算如下所示：
Headi＝Attention(QWi Q，KWi K，VWi V)，
其中，Headi代表第i个自注意力机制的输出向量，Wi Q∈RN×d/h，Wi K∈RN×d/h，Wi V∈RN×d/h分别代表第i个自注意力机制的输出向量的与向量Q，K，V相对应的权重；
将h个所述注意力矩阵相加，并经过线性层的一维化操作，得到所述表达矩阵；
所述多头自注意力处理将多个自注意力机制的输出向量拼接到一起，经过线性层的一维化操作，得到所述表达矩阵。
6.根据权利要求5所述的方法，其特征在于，在接收所述心电图图像之后，将图像转化成预设格式，并对图像进行去除背景水印，去除横纵轴辅助线，对导联数据进行精准分割中的至少一种的预处理。
7.一种心电图图像处理设备，其特征在于，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施权利要求1-6中任一项所述的心电图图像处理方法。
8.一种使用计算机程序编码的计算机可读存储介质，其特征在于，所述计算机可读介质上存储有指令，所述指令在计算机上执行时使计算机执行权利要求1-6中任一项所述的心电图图像处理方法。
9.一种心电图仪，其特征在于，包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图图像，并针对所述心电图图像执行所述指令以实施权利要求1-6中任一项所述的心电图图像处理方法。
CN202010361140.7A 2020-04-30 2020-04-30 一种心电图图像处理方法、设备、介质和心电图仪 Active CN111523502B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010361140.7A CN111523502B (zh) 2020-04-30 2020-04-30 一种心电图图像处理方法、设备、介质和心电图仪
US17/921,929 US20230293079A1 (en) 2020-04-30 2021-04-27 Electrocardiogram image processing method and device, medium, and electrocardiograph
PCT/CN2021/090113 WO2021218943A1 (zh) 2020-04-30 2021-04-27 一种心电图图像处理方法、设备、介质和心电图仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010361140.7A CN111523502B (zh) 2020-04-30 2020-04-30 一种心电图图像处理方法、设备、介质和心电图仪

Publications (2)

Publication Number Publication Date
CN111523502A CN111523502A (zh) 2020-08-11
CN111523502B true CN111523502B (zh) 2023-06-20

Family

ID=71908247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010361140.7A Active CN111523502B (zh) 2020-04-30 2020-04-30 一种心电图图像处理方法、设备、介质和心电图仪

Country Status (3)

Country Link
US (1) US20230293079A1 (zh)
CN (1) CN111523502B (zh)
WO (1) WO2021218943A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111523502B (zh) * 2020-04-30 2023-06-20 上海交通大学医学院附属瑞金医院 一种心电图图像处理方法、设备、介质和心电图仪
CN112037179B (zh) * 2020-08-11 2021-05-11 深圳大学 一种脑疾病诊断模型的生成方法、系统及设备
CN113080988B (zh) * 2021-03-26 2024-01-16 京东方科技集团股份有限公司 基于注意力机制的12导联心电图整体分类方法和装置
CN113077472B (zh) * 2021-04-07 2023-02-10 华南理工大学 一种纸质心电图曲线图像分割方法、系统、装置及介质
CN113762251B (zh) * 2021-08-17 2024-05-10 慧影医疗科技(北京)股份有限公司 一种基于注意力机制的目标分类方法及系统
CN114041800B (zh) * 2021-10-21 2024-01-30 吉林大学 心电信号实时分类方法、装置及可读存储介质
CN116458897B (zh) * 2023-04-18 2024-01-26 山东省人工智能研究院 基于二维图像和注意力机制的心电信号质量评估方法
CN116584951B (zh) * 2023-04-23 2023-12-12 山东省人工智能研究院 一种基于弱监督学习的心电信号检测和定位方法
CN117796817A (zh) * 2024-02-29 2024-04-02 山东大学齐鲁医院 一种急性心肌梗死快速检测和预警的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971154A (zh) * 2017-03-16 2017-07-21 天津大学 基于长短记忆型递归神经网络的行人属性预测方法
CN110974214A (zh) * 2019-12-20 2020-04-10 华中科技大学 一种基于深度学习的自动心电图分类方法、系统及设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11013470B2 (en) * 2018-06-08 2021-05-25 Cambridge Heartwear Limited Detecting abnormalities in ECG signals
CN109389055B (zh) * 2018-09-21 2021-07-20 西安电子科技大学 基于混合卷积和注意力机制的视频分类方法
CN109620205B (zh) * 2018-12-26 2022-10-28 上海联影智能医疗科技有限公司 心电数据分类方法、装置、计算机设备和存储介质
CN110251120B (zh) * 2019-06-06 2021-03-30 山东省计算中心（国家超级计算济南中心） 基于注意力机制的深度残差神经网络的心电图分类方法
CN110141243A (zh) * 2019-06-20 2019-08-20 鲁东大学 一种心电图身份识别处理方法
CN110378895A (zh) * 2019-07-25 2019-10-25 山东浪潮人工智能研究院有限公司 一种基于深度注意力学习的乳腺癌图像识别方法
CN110432892A (zh) * 2019-08-05 2019-11-12 苏州米特希赛尔人工智能有限公司 机器学习心电图自动诊断系统
CN110507311B (zh) * 2019-08-27 2022-07-19 中科麦迪人工智能研究院(苏州)有限公司 一种基于图像信息的心电分析方法、装置、设备及介质
CN111523502B (zh) * 2020-04-30 2023-06-20 上海交通大学医学院附属瑞金医院 一种心电图图像处理方法、设备、介质和心电图仪

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106971154A (zh) * 2017-03-16 2017-07-21 天津大学 基于长短记忆型递归神经网络的行人属性预测方法
CN110974214A (zh) * 2019-12-20 2020-04-10 华中科技大学 一种基于深度学习的自动心电图分类方法、系统及设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Attention Augmented Convolutional Networks;Irwan Bello 等;《arXiv》;20190422;正文第1-3节 *
See Better Before Looking Closer: Weakly Supervised Data Augmentation Network for Fine-Grained Visual Classification;Tao Hu 等;《arXiv》;20190323;正文第3-4节 *

Also Published As

Publication number Publication date
CN111523502A (zh) 2020-08-11
WO2021218943A1 (zh) 2021-11-04
US20230293079A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
CN111523502B (zh) 一种心电图图像处理方法、设备、介质和心电图仪
Hao et al. Multi-branch fusion network for Myocardial infarction screening from 12-lead ECG images
Cai et al. Accurate detection of atrial fibrillation from 12-lead ECG using deep neural network
Remeseiro et al. A review of feature selection methods in medical applications
Wang et al. A deep learning algorithm for automatic detection and classification of acute intracranial hemorrhages in head CT scans
Li et al. High-performance personalized heartbeat classification model for long-term ECG signal
Du et al. FM-ECG: A fine-grained multi-label framework for ECG image classification
CN112869753B (zh) 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪
Xia et al. Generative adversarial network with transformer generator for boosting ECG classification
Feng et al. Unsupervised semantic-aware adaptive feature fusion network for arrhythmia detection
Liu et al. Using the VQ-VAE to improve the recognition of abnormalities in short-duration 12-lead electrocardiogram records
Ullah et al. An End‐to‐End Cardiac Arrhythmia Recognition Method with an Effective DenseNet Model on Imbalanced Datasets Using ECG Signal
Khan et al. ECG classification using 1-D convolutional deep residual neural network
Li et al. DeepECG: Image-based electrocardiogram interpretation with deep convolutional neural networks
Tong et al. Locating abnormal heartbeats in ECG segments based on deep weakly supervised learning
Duong et al. Fusion of edge detection and graph neural networks to classifying electrocardiogram signals
Berger et al. Generative adversarial networks in electrocardiogram synthesis: Recent developments and challenges
Kuş et al. Evolutionary architecture optimization for retinal vessel segmentation
Jiang et al. A deep neural network based on multi-model and multi-scale for arrhythmia classification
Islam et al. Cat-net: Convolution, attention, and transformer based network for single-lead ecg arrhythmia classification
Kavak et al. Application of CNN for detection and localization of STEMI using 12-lead ECG images
Syeda-Mahmood et al. AALIM: Multimodal mining for cardiac decision support
Li et al. Fusing deep metric learning with KNN for 12-lead multi-labelled ECG classification
Thomas et al. Deep learning and multimodal artificial neural network architectures for disease diagnosis and clinical applications
Darapaneni et al. Multi-lesion detection using deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant