CN112869753B - 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 - Google Patents
一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 Download PDFInfo
- Publication number
- CN112869753B CN112869753B CN202110184821.5A CN202110184821A CN112869753B CN 112869753 B CN112869753 B CN 112869753B CN 202110184821 A CN202110184821 A CN 202110184821A CN 112869753 B CN112869753 B CN 112869753B
- Authority
- CN
- China
- Prior art keywords
- wave
- segment
- feature map
- electrocardiogram
- lead
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013145 classification model Methods 0.000 claims abstract description 6
- 238000002372 labelling Methods 0.000 claims abstract description 5
- 230000004927 fusion Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000010586 diagram Methods 0.000 claims description 21
- 230000005856 abnormality Effects 0.000 claims description 11
- 238000004891 communication Methods 0.000 claims description 8
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 208000024172 Cardiovascular disease Diseases 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 230000034994 death Effects 0.000 description 3
- 231100000517 death Toxicity 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000019687 Lamb Nutrition 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035876 healing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 208000031225 myocardial ischemia Diseases 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229940126701 oral medication Drugs 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000718 qrs complex Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Mathematical Physics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请涉及医疗人工智能领域，公开了一种针对心电图QRST波形的分析方法、设备、介质和心电图仪。本申请的针对心电图QRST波形的分析方法包括：接收多个导联的心电图信号；利用波群分割模型，将每个导联的心电图信号分割成多个波群，并标注，得到第二心电图信号；提取第二心电图信号中的ST段，所述T波；利用分类模型，将提取的ST段和T波分成具体的类，分别得到ST段和T波的分类结果。本申请通过对心电图信号的处理，实现精确的对导联甚至是具体波群的分析，并且可以识别出常见的ST段异常和T波异常，提升了STT异常分析的精细度，具有更高的临床价值。
Description
技术领域
本申请涉及医疗人工智能领域，特别涉及一种针对心电图QRST波形的分析方法、设备、介质和心电图仪。
背景技术
据权威调查显示，心血管疾病已经成为世界人口死亡的主要原因之一。每年死于心血管疾病的人数占死亡总人数的三分之一。心电图机将心脏活动的电信号提取为数字信号，并用心电图的形式展现出来，是医生进行心脏检查和诊断的一个重要的临床手段，一般分为静态心电图，动态心电图和运动心电图三种。
随着人工智能领域特别是深度学习技术的发展，分析数字心电信号的技术越来越丰富和成熟。现有技术中通过深度学习的人工智能框架对心电信号进行分析和预测，从而处理ST段异常和T波异常类别(以下统称STT异常)，主要以全导联信号分析为主。但存在以下不足：一方面，仅能分析整个心电图是否包含STT异常，而无法对具体哪个导联的异常进行定位；另一方面，预测的STT异常类别过于单一，目前的算法多数是预测ST段和T波是否异常的简单二分类，而很难有效去区分ST段异常和T波异常的细分类。因而，设计出贴进临床需求可对STT异常类别精确到导联的心电图智能分析方法及系统，有着重大的社会效益和经济效益。
发明内容
本申请实施例提供了一种针对心电图QRST波形的分析方法、设备、介质和心电图仪。
第一方面，本申请实施例提供了一种针对心电图QRST波形的分析方法，所述方法包括：
接收多个导联的心电图信号；
对于每个导联的心电图信号，利用波群分割模型，将所述心电图信号分割成多个波群，并且对所获得的多个波群进行标注，得到第二心电图信号，其中，所述多个波群包括分别对应于正常信号、P波、QRS波、T波的波群；
提取所述第二心电图信号中的ST段，所述T波；其中，所述ST段是指所述QRS波终了至所述T波开始之间的一段；
对于提取的所述ST段和所述T波，利用分类模型，将所述ST段和所述T波分成具体的类，分别得到所述ST段和所述T波的分类结果。
在上述第一方面的一种可能的实现中，对每个导联心电图信号，利用波群分割模型，进行波群分割，包括：通过一个或多个第一一维卷积层，扩展所述心电图信号通道，得到初始特征图；对于所述初始特征图，利用多个多尺度卷积核模块，学习所述心电图信号的用以表征语义的高维特征，输出第一分支特征图；将所述初始特征图通过一个或多个第二一维卷积层，学习所述心电图信号的细节特征，输出第二分支特征图；将所述第一分支特征图和所述第二分支特征图输入多特征融合模块，进行特征融合，输出多特征融合特征图；将所述多特征融合特征图输入第三一维卷积层，得到分类特征图，以及所述正常信号，所述P波，所述QRS波，所述T波在所述每个导联中的位置。
在上述第一方面的一种可能的实现中，对于所述初始特征图，利用多个多尺度卷积核模块，学习所述心电图信号的用以表征语义的高维特征，输出第一分支特征图，包括：特征通道随着所述多个多尺度卷积核模块中卷积层深度的增加而增加，并将多个尺度的卷积核所表征的特征进行融合合并。
在上述第一方面的一种可能的实现中，将所述第一分支特征图和所述第二分支特征图输入多特征融合模块，进行特征融合，输出多特征融合特征图，包括：将所述第一分支特征图通过一个或多个反卷积层进行上采样，并和所述第二分支特征图相乘融合，得到第一融合特征图；将所述第二分支特征图通过平均池化层和所述第三一维卷积层，并和所述第一分支特征图相乘融合，并通过所述反卷积层进行上采样得到第二融合特征图；将所述第一融合特征图和所述第二融合特征图相加，并通过一个或多个所述反卷积层，得到并输出所述多特征融合特征图。
在上述第一方面的一种可能的实现中，还包括：以每个导联为单位，输出所述每个导联中所述ST段和所述T波的分类结果。
在上述第一方面的一种可能的实现中，根据每个导联中的每一个所述ST段和所述T波的分类结果，统计所述每个导联中ST段异常和T波异常的分布，分别选出最大置信度的分类结果作为所述每个导联的分类结果。
在上述第一方面的一种可能的实现中，还包括：对于提取的所述ST段和所述T波，分别画出ST段波形图和T波波形图；基于所述ST段波形图和所述T波波形图对所述ST段和所述T波分类。
在上述第一方面的一种可能的实现中，所述ST段分类结果为ST段正常，ST段弓背样抬高，ST段抬高，ST段水平型压低，ST段上斜型压低，ST段下斜型压低中的一种；所述T波分类结果为T波正常，T波倒置，T波双向，T波高尖中的一种。
第二方面，本申请实施例提供了一种针对心电图QRST波形的分析设备，上述针对心电图QRST波形的分析设备包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施上述第一方面的任意一种可能的方法。
第三方面，本申请实施例提供了一种计算机可读介质，计算机可读介质上存储有指令，该指令在计算机上执行时可以使计算机执行上述第一方面的任意一种可能的方法。
第四方面，本申请实施例提供了一种心电图仪，上述心电图仪包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图信号，并针对所述心电图信号执行所述指令以实施上述第一方面的任意一种可能的方法。
本申请与现有技术相比，其效果在于：
本申请通过对心电图信号的处理，实现精确的对导联甚至是具体波群的分析，并且可以识别出常见的ST段异常和T波异常，提升了STT异常分析的精细度，具有更高的临床价值。
附图说明
图1根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析方法的应用场景图；
图2根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析方法的硬件结构框图；
图3根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析方法的流程图；
图4根据本申请的一些实施例，示出了一种波群分割模型示意图；
图5根据本申请的一些实施例，示出了一种波群分割模型中多尺度卷积核模块示意图；
图6根据本申请的一些实施例，示出了一种波群分割模型中的卷积层A的示意图；
图7根据本申请的一些实施例，示出了一种波群分割模型中的卷积层B的示意图；
图8根据本申请的一些实施例，示出了一种波群分割模型中多特征融合模块示意图；
图9根据本申请的一些实施例，示出了一种12导联波群分割效果图；
图10根据本申请的一些实施例，示出了一段导联波群分割和ST段提取效果图；
图11根据本申请的一些实施例，示出了一种ST段波形图；
图12根据本申请的一些实施例，示出了一种T波波形图。
具体实施方式
本申请的说明性实施例包括但不限于一种针对心电图QRST波形的分析方法、设备、介质和心电图仪。
可以理解，本申请提供的针对心电图QRST波形的分析方法可以在各种电子设备上实施，包括但不限于，服务器、多个服务器组成的分布式服务器集群、手机、平板电脑、膝上型计算机、台式计算机、可穿戴设备、头戴式显示器、移动电子邮件设备、便携式游戏机、便携式音乐播放器、阅读器设备、个人数字助理、虚拟现实或者增强现实设备、其中嵌入或耦接有一个或多个处理器的电视机等电子设备等。
可以理解，本申请提供的针对心电图QRST波形的分析方法可针对于静态心电图，动态心电图和运动心电图三种，在应用于时间更长的动态心电图和运动心电图时，可按特定长度的时间(如5s，10s)进行切片，每一个切片以图像的形式作为输入即可。
可以理解，在本申请各实施例中，处理器可以是微处理器、数字信号处理器、微控制器等，和/或其任何组合。根据另一个方面，所述处理器可以是单核处理器，多核处理器等，和/或其任何组合。
下面将结合附图对本申请的实施例作进一步地详细描述。
图1根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析的场景图。具体的，如图1所示，该针对心电图QRST波形的分析方法应用于针对心电图QRST波形的分析系统。该针对心电图QRST波形的分析系统包括终端110、服务器120和心电图设备130。终端110、服务器120和心电图设备130之间通过网络连接，网络连接可以包括各种连接类型，例如有线、无线通信链路、云或者光纤电缆等等，上述的网络具体实例可包括终端110的通信供应商提供的互联网。
终端110可以是安装有端到端的智能预检分诊系统或计算机辅助临床决策支持系统的电子设备，具体可以是台式终端或移动终端，移动终端具体是可以手机、平板电脑、笔记本电脑等中的至少一种。
服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现，用于存储并传输心电图信号。
心电图设备130是将心脏活动时心肌激动产生的生物电信号(心电信号)自动记录下来，并形成心电图信号的医疗设备，为临床诊断和科研所常用。根据本申请的方法提供的图像处理方法的原理，也可以用于其他医疗设备输出的图像，因此这里的设备130可以替换为CT(Computed Tomography，电子计算机断层扫描)机、MRI(Magnetic ResonanceImaging，磁共振成像)设备和超声诊断仪、X光机、心电图设备和脑电图设备等。
通过电极采集体表的心电信息，经导联线传送到心电图设备130，心电图设备130将采集到的体表心电信息形成心电图信号，并将心电图信号传输到服务器120，服务器120存储心电图信号并将其传输给终端110，终端110从服务器120上接收心电图信号并针对该信号通过本申请的针对心电图QRST波形的分析方法进行处理，最终以导联为单位输出每个导联中ST段和T波的分类结果。
在对根据本申请的针对心电图QRST波形的分析方法进行详细的阐述之前，需要对数据集进行训练，例如，某医院某一时间段的门诊数据记录组成初始据集。每个记录被存储为12导联的心电图信号，由12个每导联2.5秒持续时间的导联信号组成以及一个用于II引线的10秒持续时间的导联信号组成，且在每个导联中呈现四个波群：正常信号，P波，QST波和T波。不同的导联提供不同的信号幅度和间隔。12导联心电图信号是临床上最广泛使用的心电图信号记录技术，其包含6个前导联(V1，V2，V3，V4，V5，V6)，3个肢体导联(I，II，iii)和三个增强的Limb导联(aVR，aVL，aVF)。每个导联从不同的角度观察心脏。每个心电图信号记录由多个临床心电图信号专家进行注释，所述临床心电图信号专家使用基于web的心电图信号注释工具，所述基于web的心电图信号注释工具被设计用于所述标签。为了保证不同专家之间的标注一致性，采用了多数投票策略。其中从2017年门诊数据三万多张心电信号中通过心电图诊断筛除出包含STT段异常的类别进行精细化标注，其中分割标注约500张，STT异常标注约400张，其中，6000段2.5s信号，500段10s信号，共计提取ST段22568个，T波数量22568个。
因为该医院的心电图实际情况是由12个2.5s导联信号,加上一个II导10s信号组成，根据输入信号的两种长度，对应训练两种的模型，一种负责10s长度的信号，一种负责2.5s长度的信号。两个模型的训练参数为学习率0.001,批尺寸(batch size)为128,优化器是Adam,两个模型输入分别是(1250*1)和(5000*1)。两个模型的训练结果见表1，从表1可以看出，通过本申请中的模型，使得两种时长的导联信号的准确率均在90％以上，准确率明显高于目前的系统心电图读取判断方法，具有很重要的临床价值。
表1
| 模型 | 平均准确率 | 正常类 | P波 | QRS波 | T波 |
| 5000长度 | 93.35 | 93.91 | 93.23 | 92.96 | 93.46 |
| 1250长度 | 90.41 | 90.95 | 91.64 | 89.51 | 88.27 |
在临床中，医生通过观察导联中信号所传递的信息推算到缺血病灶，再由此推算到血管，并根据血管做治疗选择和愈后判断。比如，如果ST段变化轻微，口服药物就可以改善，而无需采取手术的方式；如果多个导联中ST段均有变化，或压低幅度深，或抬高幅度高，则反应心肌缺血变化。ST段波形复杂，诊断的准确性很低，但却对临床价值很高。目前来看，医学领域中针对心血管疾病的治疗方法很完整，但是对其的诊断上尚不完善，诊断不到位会导致治疗过度或过轻。现有技术中，只把ST段放在心电信号读取系统中进行机器分析，准确率极低。因为算法使用的数据标签不够精确，其标注是针对整个心电图信号的，而不是精确到某个导联，比如一个12导联10秒的心电信号会被标注为ST段抬高，但通常只是几个导联有异常，其余导联都是正常。而且STT异常只发生在ST段和T波，而不是整个心电信号，所以当把整个心电信号给模型分析的时候,真正的STT异常特征只是在其中很小一部分，这导致算法模型很难有效学习STT异常类特征。目前多数采用人工智能读取心电信号的方式，虽然无法取代水平高超的医生，但是可以在急诊，预检初检时进行初步筛选，克服人工上的疲劳所造成的误判。但是在对ST段进行判断的时候，不管是人工还是机器分析，准确率都很低，一是因为个体差异很大，每个人的血管都不是标准化的，二是STT是动态变化的，并且需要4-5种图形才可描述一个病症，微小的差别会导致对病人的诊断完全不一样，从而导致风险很高。因此，专门把ST段从全导联心电信号中取出，对STT异常类别精确到导联进行细节智能分析，十分有必要。
本申请采用人工智能深度学习模型，针对目前方法的局限性，在数据标签上使用精细化的针对每个波群的标签。可以精确的对导联甚至是具体波群进行分析，并且可以识别出常见的ST段异常和T波异常分类。提升了目前算法分析的精细度，具有更高的临床价值。
本申请方式所提供的方法实施方式可以在终端110中执行，图2根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析方法的硬件结构框图。如图2所示，终端110可以包括一个或多个(图中仅示出一个)处理器111(处理器111可以包括但不限于中央处理器CPU、图像处理器GPU、数字信号处理器DSP、微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于与用户交互的输入输出接口112、用于存储数据的存储器113、以及用于通信功能的传输装置114。本领域技术人员可以理解，图2所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，终端110还可包括比图2中所示更多或者更少的组件，或者具有与图2所示不同的配置。
输入输出接口112可以连接一个或多个显示器、触控屏等，用于显示从终端110传送的数据，还可以连接键盘、触控笔、触控板和/或鼠标等，用于输入诸如，选择、创建、编辑等的用户指令。
存储器113可用于存储数据库、队列、应用软件的软件程序以及模块，如本申请的一些实施例中的针对心电图QRST波形的分析方法对应的程序指令/模块，处理器111通过运行存储在存储器113内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的针对心电图QRST波形的分析方法。存储器113可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器113可进一步包括相对于处理器111远程设置的存储器，这些远程存储器可以通过网络连接至终端110。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置114用于经由网络接收由服务器120传输的经心电图设备130上传的心电图信号或者发送处理后的数据到服务器120，网络可以包括各种连接类型，例如有线、无线通信链路、云或者光纤电缆等等。上述的网络具体实例可包括终端110的通信供应商提供的互联网。
图3根据本申请的一些实施例，示出了一种针对心电图QRST波形的分析方法的流程图。如图3所示，在某些实施例中，针对心电图QRST波形的分析方法可以包括：
步骤202：接收多个导联的心电图信号。通常的心电图输出为二维图像数据，在实际进行分析的过程中，所需要的波群信息通过一维数字信号便可获取，因此，在本申请中，接收该心电图信号为一维的数字信号，使得在提高效率，降低时间复杂度的同时，提高了准确率。
步骤204：以每个导联为单位对心电图信号进行处理，对于每个导联的心电图信号，利用波群分割模型，将心电图信号分割成多个波群，并且对所获得的多个波群进行标注，得到第二心电图信号，其中，所述多个波群包括分别对应于正常信号、P波、QRS波、T波的波群。
步骤206：提取第二心电图信号中的ST段，T波，基线位置；其中，ST段是指QRS波终了至所述T波开始之间的一段，基线是由每个导联中的P波结束点和QRS波起点的平均值确定，通过基线位置，为后续的STT分类结果提供参考基准。
步骤208：对于提取的ST段和T波，利用分类模型，将ST段和T波分成具体的类，结合基线的确定位置，可将ST段分类为ST段正常，ST段弓背样抬高，ST段抬高，ST段水平型压低，ST段上斜型压低，ST段下斜型压低中的一种；将T波分类为T波正常，T波倒置，T波双向，T波高尖中的一种，分别得到ST段和T波的分类结果。
下面结合附图，对本申请的一个实施例进行详细阐述。
图4根据本申请的一些实施例，示出了一种波群分割模型示意图，如图4所示，波群分割模型可以是多分支多尺度卷积核融合一维语义分割模型，其中，多分支是指模型中间由第一第二两个通道组成，多尺度卷积核融合是指使用3种不同卷积核捕获不同尺度的特征。
首先，接收采集装置采集到的心电信息，形成长度为L的12导联心电图数字信号，并将该信号转换成(L,1)的矩阵输入该模型。具体地，可输入长度为L的2.5秒12个导联心电图数字信号，也就是(L,12)的形状,此处L＝1250,还有一个长度为M的10秒II导联(单导联)心电图数字信号。此处M＝5000，也就是(M,1)。接下来会对每个导联单独预测，对于12个2.5秒导联依次选择其中一个导联(L,1)输入模型(也就是输入为(1250，1)的模型)。同理对于一个导联的10s的心电信号，直接输入(5000,1)的模型。经过3个第一一维卷积层A，卷积核分别是15,13和11，用扩展心电图信号通道，此处的通道是每个卷积层中卷积核的数量，如果原始输入信号是一个导联，就是输入为一个通道，通过初步的卷积层，会扩展为多个通道，具体数量为卷积层中卷积核的数量，通道对应模型图中的C参数,表示为channel。现有技术中通常会使用3，7大小的卷积核，这里使用了较大的卷积核，使得模型能够捕获更大范围的粗粒度特征，增加模型的感受野。并且，卷积层仅使用8,16,16的特征通道数,以保持模型参数的轻量级，在经过3个第一一维卷积层A后，输出为(L,16)的矩阵，也就是长度为L,通道为16的初始特征图。
接下来将初始特征图分别进行第一分支和第二分支的计算。第一分支由5个多尺度卷积核模块组成，用于学习信号的高维度的语义特征，语义特征指的是信号经过多次卷积后的高纬度特征，具有高维的抽象特征，相比低纬度特征，具有更大的感受野。如图4所示，特征通道随深度的增加而增加，从16一直增加到128。第一分支输出为(L/32,128)矩阵的第一分支特征图。
第二分支是由3组第二一维卷积层B组成，输出为(L/8,128)矩阵的特征图。
之后，将第一分支(L/32,128)的特征，第二分支(L/8,128)进行融合。因为两个通道尺寸大小不一致，所以加入多特征融合模块。并最终通过第三一维卷积层得到(L,4)的分类特征图，这里的4就是类别数量，也就是正常信号，P波，QRS波，T波，4个类。
以下结合图5解释用于上述第一分支中的多尺度卷积核的示例性结构。图5根据本申请的一些实施例，示出了一种波群分割模型中多尺度卷积核模块示意图。如图5所示，在多尺度卷积核模块中，使用了大小分别为3、5、7的共3种不同尺寸的卷积核，生成三个卷积核大小分别为3、5、7的一维卷积层，不同卷积核大小的卷积层分别进行三次卷积操作，并在进行卷积操作的同时，将3种大小不同的卷积核特征进行融合合并，使得在下一个卷积层能够接受不同尺度的特征，模型能够学习更为丰富的表征，进一步提高表征学习能力。然后，将融合合并后的结果通过一个第三一维卷积层与右侧的第三一维卷积层相加，以完成对心电图信号进行多尺度的融合
以下结合图6解释用于上述第一分支中的第一一维卷积层的示例性结构。图6根据本申请的一些实施例，示出了一种波群分割模型中的卷积层A的示意图。如图6所示，第一一维卷积层A由通道为n的一维卷积层、批标准化处理、激活函数Relu、通道为1的第三一维卷积层、批标准化处理、激活函数Relu顺次组成，并最后相加输出为大小尺寸保持不变的矩阵(L,C)，第一一维卷积层A主要有两个一维卷基层组成，很浅，而且通道数量设置的也不高。可通过较少的参数量和计算量，达到快速的提取信号中的低纬度特征的显著的技术效果。
以下结合图7解释用于上述第二分支中的第二一维卷积层的示例性结构。图7根据本申请的一些实施例，示出了一种波群分割模型中的卷积层B的示意图。如图7所示，第二一维卷积层在第一一维卷积层的基础上加入了残差结构，具体地，增加了一个通道为c，卷积核为1的一维卷积层分支，并将其与第一一维卷积层的结果相加输出，作为第二一维卷积层B的输出结果。这一过程使得模型学习到信号的细节特征。
以下结合图8解释用于上述分割模型中的多特征融合模块的示例性结构。图8根据本申请的一些实施例，示出了一种波群分割模型中多特征融合模块示意图。如图8所示，将第一分支的低长度特征(L/32,128)通过两次反卷积层进行上采样到(L/8,128)尺寸大小的矩阵，然后将其和第二分支进行相乘融合，并通过反卷积层上采样到得到(L/8,128)矩阵；与此同时，将第二分支的特征图通过平均池化层和第三一维卷积层把长度降到(L/32,128)，然后将其和第一分支的特征相乘融合得到(L/8,128)矩阵；将两边通道相加融合后，再逐步通过反卷积层上采样到(L/4,64)->(L/2,32)->(L,16)。最终融合模块输出为(L,16)尺寸的多特征融合特征图。
目前的分割网络都是针对图片进行设计二维卷积层，而本申请中处理的是一维信号，单纯的将现有的二维卷积分割模型变成一维卷积进行处理，不能有效的学习一维信号的数据特点。现有技术中，图片的二维卷积层中的卷积核尺寸描述是n*n(比如3*3,7*7)，而这个卷积核尺寸并不一定适合一维的ECG信号，考虑到一维信号对不同卷积核尺寸更加敏感，本申请设计了多尺度卷积核融合模块，采用的一维卷积层中的卷积核尺寸描述是n(比如1,3)，使得通过融合不同尺度卷积核的特征提高了模型的表征学习能力。并且通过该波群分类模型，使得模型捕获高维的特征的同时，仍然不丢失来自低维的信号特征。由于信号长度会随着模型的深度增加而减少，同时维度也会随之增加，因而使得模型能够捕获高维度的表征。但是在由短信号长度恢复到长信号长度中，会有细节的丢失。针对这个问题，本申请加入了一个通道专门学习低维的信号特征，也就是第二分支。这个通道由3个连续的第二一维卷积层组成，信号的长度降到原来的1/8，可以在保持信号长度不大幅度下降的同时，学习丰富的低维特征。
图9根据本申请的一些实施例，示出了一种导联波群分割效果图，如图9所示，可找到导联中每一个ST段和T波位置，每2.5s一个导联大概有3-4个T波。其中，T波位置可直接从模型结果得出，图中深色矩形框中为T波；因对于一个心博来说，QRS波在前T波在后，所以我们把QRS波群的结束点和T波起点之间的信号定义为ST段。找出当前导联的每一个QRS波群和后面对应的T波之间的线段，这样就得到当前导联的ST段，图中紧邻深色矩形框之前的浅色矩形框为ST段，ST段之前幅度比较大的为QST波，紧邻深色矩形框之后的波形变化微弱的为正常信号，正常信号与QST波之间为P波，找出每个导联的P波结束点，QRS波起点，并求出平均值，得到当前导联的基线位置。
具体的，在步骤208中，使用深度学习模型进行分类，模型选用经典的残差网络Resnet34，并根据ST段和T波分别训练了两个分类模型。训练参数为学习率0.001,批尺寸(batch size)为64,优化器是Adam。和其他模型输入STT画图不同，该实施例中不对STT波进行波行画图，而是直接进行STT信号分类,现有技术中使用的模型包括EcgNet,Resnet34，Resnet341d,efficient_b0,inception_v3,GeNet,Resnetst。表2示出了Res34相比其他图片模型在ST段和T波的验证结果上，如表2所示，结果差别不大。但是考虑到Res34因为模型结构较为经典简洁，参数较少，整体运算速度很快，因而在本申请中选择Resnet34模型。
表2
具体的，基于Resnet34模型，根据导联的每一个ST段和T波结果，统计ST段异常和T波异常的分布，各自选出分布最大的分类作为导联的分类。比如一个导联，共有4个ST段，会得到4个ST段的分类结果，选择4个分类中频率最高的即最大置信度的类别作为该导联的分类结果输出。具体的，将波群分割模型中得到的分类特征图，通过对(L,4)选择最大置信度的类别输出矩阵为(L,1)的分类结果，评价指标采用F1，ST段分类和T波的验证F1以及平均F1,见表3，如表2所示，ST段分类结果为ST段正常，ST段弓背样抬高，ST段抬高，ST段水平型压低，ST段上斜型压低，ST段下斜型压低中的一种；T波分类结果为T波正常，T波倒置，T波双向，T波高尖中的一种。
表3
在一些实施例中，可对于提取的ST段和T波，分别画出ST段波形图和T波波形图；基于ST段波形图和T波波形图对ST段和T波分类。
具体的，图10根据本申请的一些实施例，示出了一段导联波群分割和ST段提取效果图，如图10所示，将一段信号分割输出，并分别提取其中的ST段和T波，画出如图1和图12所示的波形图，并基于波形图，可对ST段和T波进行细节的分析，从而进行分类的细化。又因为ST段或者T波异常不仅仅要看所在线段的本身形态，还要观察周围波群的影响，因而在选取ST段或T波时，向左右分别延长若干个信号单位，比如图11和图12中延长了160个信号单位，以加入周围信号的信息，捕获足够的信息进行分析。
画图方格的比例严格遵照国际心电图画图标准，也就是横向每细格代表0.04s,粗线一大格(也就是5*5个小格)代表0.2s,纵向每小格代表0.1mV,粗线一大格代表0.5mV。因为ST段波幅较小,T波波幅较大，ST段我们选用2*2的大格格式。T波选用4*7的大格格式。图11和图12中，导联信号中的黑色横线是基线，背景大框代表心电图的一大格，大格中的黑点位置代表小格位置。
本申请的第二实施方式涉及一种针对心电图QRST波形的分析设备，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第三实施方式涉及一种使用计算机程序编码的计算机存储介质，计算机可读介质上存储有指令，该指令在计算机上执行时可以使计算机执行上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
本申请的第四实施方式涉及一种心电图仪，上述心电图仪包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图信号，并针对所述心电图信号执行所述指令以实施上述第一方面的任意一种可能的方法。
第一实施方式是与本实施方式相对应的方法实施方式，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
需要说明的是，本申请的各方法实施方式均可以以软件、硬件、固件等方式实现。不管本申请是以软件、硬件、还是固件方式实现，指令代码都可以存储在任何类型的计算机可访问的存储器中(例如永久的或者可修改的，易失性的或者非易失性的，固态的或者非固态的，固定的或者可更换的介质等等)。同样，存储器可以例如是可编程阵列逻辑(Programmable Array Logic，简称“PAL”)、随机存取存储器(Random Access Memory，简称“RAM”)、可编程只读存储器(Programmable Read Only Memory，简称“PROM”)、只读存储器(Read-Only Memory，简称“ROM”)、电可擦除可编程只读存储器(Electrically ErasableProgrammable ROM，简称“EEPROM”)、磁盘、光盘、数字通用光盘(Digital Versatile Disc，简称“DVD”)等等。
需要说明的是，本申请各设备实施方式中提到的各单元/模块都是逻辑单元/模块，在物理上，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部位，还可以以多个物理单元的组合实现，这些逻辑单元本身的物理实现方式并不是最重要的，这些逻辑单元所实现的功能的组合才是解决本申请所提出的技术问题的关键。此外，为了突出本申请的创新部位，本申请上述各设备实施方式并没有将与解决本申请所提出的技术问题关系不太密切的单元引入，这并不表明上述设备实施方式并不存在其它的单元。
需要说明的是，在本专利的权利要求和说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
虽然通过参照本申请的某些优选实施方式，已经对本申请进行了图示和描述，但本领域的普通技术人员应该明白，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。
Claims (10)
1.一种针对心电图QRST波形的分析方法，用于电子设备，其特征在于，所述方法包括：
接收多个导联的心电图信号；
对于每个导联的心电图信号，利用波群分割模型，将所述心电图信号分割成多个波群，并且对所获得的多个波群进行标注，得到第二心电图信号，其中，所述多个波群包括分别对应于正常信号、P波、QRS波、T波的波群；
提取所述第二心电图信号中的ST段，所述T波；其中，所述ST段是指所述QRS波终了至所述T波开始之间的一段；
对于提取的所述ST段和所述T波，利用分类模型，分别得到所述ST段和所述T波的分类结果；
其中，对每个导联心电图信号，利用波群分割模型，进行波群分割，包括：
通过一个或多个第一一维卷积层，扩展所述心电图信号通道，得到初始特征图；
对于所述初始特征图，利用多个多尺度卷积核模块，学习所述心电图信号的用以表征语义的高维特征，输出第一分支特征图；
将所述初始特征图通过一个或多个第二一维卷积层，学习所述心电图信号的细节特征，输出第二分支特征图；
将所述第一分支特征图和所述第二分支特征图输入多特征融合模块，进行特征融合，输出多特征融合特征图；
将所述多特征融合特征图输入第三一维卷积层，得到分类特征图，以及所述正常信号，所述P波，所述QRS波，所述T波在所述每个导联中的位置。
2.根据权利要求1所述的方法，其特征在于，对于所述初始特征图，利用多个多尺度卷积核模块，学习所述心电图信号的用以表征语义的高维特征，输出第一分支特征图，包括：特征通道随着所述多个多尺度卷积核模块中卷积层深度的增加而增加，并将多个尺度的卷积核所表征的特征进行融合合并。
3.根据权利要求1所述的方法，其特征在于，将所述第一分支特征图和所述第二分支特征图输入多特征融合模块，进行特征融合，输出多特征融合特征图，包括：
将所述第一分支特征图通过一个或多个反卷积层进行上采样，并和所述第二分支特征图相乘融合，得到第一融合特征图；
将所述第二分支特征图通过平均池化层和所述第三一维卷积层，并和所述第一分支特征图相乘融合，并通过所述反卷积层进行上采样得到第二融合特征图；
将所述第一融合特征图和所述第二融合特征图相加，并通过一个或多个所述反卷积层，得到并输出所述多特征融合特征图。
4.根据权利要求1所述的方法，其特征在于，还包括：
以每个导联为单位，输出所述每个导联中所述ST段和所述T波的分类结果。
5.根据权利要求4所述的方法，其特征在于，根据每个导联中的每一个所述ST段和所述T波的分类结果，统计所述每个导联中ST段异常和T波异常的分布，分别选出最大置信度的分类结果作为所述每个导联的分类结果。
6.根据权利要求1所述的方法，其特征在于，还包括：
对于提取的所述ST段和所述T波，分别画出ST段波形图和T波波形图；
基于所述ST段波形图和所述T波波形图对所述ST段和所述T波分类。
7.根据权利要求1所述的方法，其特征在于，所述ST段分类结果为ST段正常，ST段弓背样抬高，ST段抬高，ST段水平型压低，ST段上斜型压低，ST段下斜型压低中的一种；
所述T波分类结果为T波正常，T波倒置，T波双向，T波高尖中的一种。
8.一种针对心电图QRST波形的分析设备，其特征在于，包括：
存储器，用于存储由系统的一个或多个处理器执行的指令，以及
处理器，是系统的处理器之一，用于执行所述指令以实施权利要求1-7中任一项所述的针对心电图QRST波形的分析方法。
9.一种使用计算机程序编码的计算机可读存储介质，其特征在于，所述计算机可读介质上存储有指令，所述指令在计算机上执行时使计算机执行权利要求1-7中任一项所述的针对心电图QRST波形的分析方法。
10.一种心电图仪，其特征在于，包括：
采集装置，采集体表心电信息；
处理装置，与所述采集装置通信连接，以接收所述体表心电信息，并且，所述处理装置包括存储器与处理器，
所述存储器，用于存储由系统的一个或多个处理器执行的指令，
所述处理器，基于所述心电信息形成心电图信号，并针对所述心电图信号执行所述指令以实施权利要求1-7中任一项所述的针对心电图QRST波形的分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184821.5A CN112869753B (zh) | 2021-02-10 | 2021-02-10 | 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184821.5A CN112869753B (zh) | 2021-02-10 | 2021-02-10 | 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112869753A CN112869753A (zh) | 2021-06-01 |
| CN112869753B true CN112869753B (zh) | 2023-03-07 |
Family
ID=76057594
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110184821.5A Active CN112869753B (zh) | 2021-02-10 | 2021-02-10 | 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112869753B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113768516B (zh) * | 2021-09-27 | 2024-05-14 | 吉林省辰一科技有限公司 | 一种基于人工智能的心电图异常程度检测方法及系统 |
| CN114595731B (zh) * | 2022-05-09 | 2022-08-19 | 南京信息工程大学 | 基于持续学习的非线性医疗传感器数据的语义分割方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105997055A (zh) * | 2016-07-11 | 2016-10-12 | 吉林大学 | 一种心电信号st段的自动分类方法、系统及装置 |
| CN107184200A (zh) * | 2017-07-10 | 2017-09-22 | 北京蓬阳丰业医疗设备有限公司 | 全导联智能预分析方法 |
| CN107714023A (zh) * | 2017-11-27 | 2018-02-23 | 乐普（北京）医疗器械股份有限公司 | 基于人工智能自学习的静态心电图分析方法和装置 |
| CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普（北京）医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
| WO2020114068A1 (zh) * | 2018-12-07 | 2020-06-11 | 上海数创医疗科技有限公司 | 基于人工智能技术的心电信号st段自动判断方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108577830B (zh) * | 2018-03-15 | 2021-10-26 | 上海乐普云智科技股份有限公司 | 一种面向用户的体征信息动态监护方法和动态监护系统 |
| CN110269625B (zh) * | 2019-05-31 | 2022-02-11 | 杭州电子科技大学 | 一种新型的多特征融合的心电认证方法及系统 |
-
2021
- 2021-02-10 CN CN202110184821.5A patent/CN112869753B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105997055A (zh) * | 2016-07-11 | 2016-10-12 | 吉林大学 | 一种心电信号st段的自动分类方法、系统及装置 |
| CN107184200A (zh) * | 2017-07-10 | 2017-09-22 | 北京蓬阳丰业医疗设备有限公司 | 全导联智能预分析方法 |
| CN107714023A (zh) * | 2017-11-27 | 2018-02-23 | 乐普（北京）医疗器械股份有限公司 | 基于人工智能自学习的静态心电图分析方法和装置 |
| CN107981858A (zh) * | 2017-11-27 | 2018-05-04 | 乐普（北京）医疗器械股份有限公司 | 基于人工智能的心电图心搏自动识别分类方法 |
| WO2020114068A1 (zh) * | 2018-12-07 | 2020-06-11 | 上海数创医疗科技有限公司 | 基于人工智能技术的心电信号st段自动判断方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于集成学习的室性早博识别方法;周飞燕，金林鹏，董军;《电子学报》;20170228;第45卷(第2期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112869753A (zh) | 2021-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523502B (zh) | 一种心电图图像处理方法、设备、介质和心电图仪 | |
| JP7018133B2 (ja) | 人工知能に基づく心電図心拍自動識別分類方法 | |
| Hao et al. | Multi-branch fusion network for Myocardial infarction screening from 12-lead ECG images | |
| JP2022523741A (ja) | 描写および分類のための心電図処理システム | |
| Xia et al. | Generative adversarial network with transformer generator for boosting ECG classification | |
| Bergquist et al. | Body surface potential mapping: contemporary applications and future perspectives | |
| CN112869753B (zh) | 一种针对心电图qrst波形的分析方法、设备、介质和心电图仪 | |
| CN114901143A (zh) | 使用深度神经网络和基于规则的系统进行缩减导联心电图诊断的系统和方法 | |
| CN102831288B (zh) | 生理参数指标运算系统及方法 | |
| CN111631704B (zh) | 基于心电与脑电信息结合的糖尿病前期检测系统和方法 | |
| Klug et al. | The BeMoBIL Pipeline for automated analyses of multimodal mobile brain and body imaging data | |
| CN105574322B (zh) | 生理参数指标运算系统及方法 | |
| Neri et al. | Electrocardiogram monitoring wearable devices and artificial-intelligence-enabled diagnostic capabilities: a review | |
| Ullah et al. | An End‐to‐End Cardiac Arrhythmia Recognition Method with an Effective DenseNet Model on Imbalanced Datasets Using ECG Signal | |
| Tong et al. | Locating abnormal heartbeats in ECG segments based on deep weakly supervised learning | |
| Cao et al. | Smile: A system to support machine learning on EEG data at scale | |
| CN116012568A (zh) | 一种通过拍照心电图获取心电节律信息的系统 | |
| Wang et al. | Multiscale residual network based on channel spatial attention mechanism for multilabel ECG classification | |
| Valderrama et al. | Template-based quality assessment of the Doppler ultrasound signal for fetal monitoring | |
| Santamónica et al. | ECGMiner: A flexible software for accurately digitizing ECG | |
| Kavak et al. | Application of CNN for detection and localization of STEMI using 12-lead ECG images | |
| Goharrizi et al. | Multi-lead ECG heartbeat classification of heart disease based on HOG local feature descriptor | |
| Li et al. | Diagnosis of atrial fibrillation based on lightweight detail-semantic network | |
| Jiang et al. | A deep neural network based on multi-model and multi-scale for arrhythmia classification | |
| Neifar et al. | Deep Generative Models for Physiological Signals: A Systematic Literature Review |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |