CN111261278A - 一种基于三维图像的深度学习模型的心脏疾病检测方法 - Google Patents

一种基于三维图像的深度学习模型的心脏疾病检测方法 Download PDF

Info

Publication number
CN111261278A
CN111261278A CN201811448568.4A CN201811448568A CN111261278A CN 111261278 A CN111261278 A CN 111261278A CN 201811448568 A CN201811448568 A CN 201811448568A CN 111261278 A CN111261278 A CN 111261278A
Authority
CN
China
Prior art keywords
heart disease
deep learning
model
electrocardiogram
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811448568.4A
Other languages
English (en)
Inventor
王云霞
何毅钒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Medai Health Technology Co ltd
Original Assignee
Shanghai Turing Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Turing Medical Technology Co ltd filed Critical Shanghai Turing Medical Technology Co ltd
Priority to CN201811448568.4A priority Critical patent/CN111261278A/zh
Publication of CN111261278A publication Critical patent/CN111261278A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30048Heart; Cardiac

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供一种基于三维图像的深度学习模型的心脏疾病检测方法,通过构建心电图、心电向量图及心电非线性系统动态图的深度学习判定模型,并采用迁移学习等方法对深度学习判定模型的参数进行调整,然后优化深度学习判定模型输出结果的权重分配,获得心脏疾病检测的综合判定结果,从而解决心脏电活动连续的动态信号图像的模型处理方法及不同来源数据的模型分析的技术难题。有益效果:本发明所述基于三维图像的深度学习模型的心脏疾病检测方法,完成了对心脏疾病病理特征的自动提取和智能诊断,具备较高的准确性和检测效率。

Description

一种基于三维图像的深度学习模型的心脏疾病检测方法
技术领域
本发明涉及心脏疾病的检测领域,特别是涉及基于三维图像的深度学习模型的心脏疾病检测方法。
背景技术
当前,我国社会逐渐步入老龄化的社会,饮食习惯的变化和脑力劳动者数量不断增加等因素,使得我国的心血管疾病的发病率和病死率逐年上升;因此,对于心脏疾病患者的医学筛查至关重要。然而,现有心脏疾病监测和检测手段繁琐复杂,检测成本偏高,微弱症状的早期心脏疾病筛查并不能及时有效地进行筛选。对于被检测者而言,现有的心脏疾病检测手段既浪费了患者的诊疗时间,提高了心脏疾病患者的诊断成本,又不能对患者自身的心脏疾病进行准确的识别,这严重地危害了心脏疾病患者的生命安全。因此,亟需开发一种心脏疾病检测方法,充分有效地利用现有的病理数据,改善心脏疾病监测的准确性和敏感性,帮助医生后期对待测人员的心脏疾病病情进行早期干预以及精准治疗。
中国发明专利CN107348971A公开了一种基于心音检测和深度学习算法的心脏病筛查系统,包括信号采集模块、心音数据分析模块和数据库模块;该发明能够实现非入侵式的心脏病筛查,利用简单便携的心音采集器,能够解决就医时排队耗时且费用昂贵的现状。
然而,对于心脏疾病的检测方法,既需要能对心脏疾病的病理数据信息的利用上进行充分挖掘,又需要在心脏电活动的动态病理特征的分析过程中能充分分析出心脏的动态病理信息,以全面地呈现复杂的心脏电活动过程。因此,有必要提供改进的技术方案以克服现有技术中存在的技术问题。
发明内容
本发明提供一种基于三维图像的深度学习模型的心脏疾病检测方法,主要用于解决提高心脏疾病检测的准确性以及对连续的心脏疾病的动态信号进行处理的问题。本发明通过构建心电图(ECG)、心电向量图(VCG)和心电非线性系统动态图的深度学习模型以及迁移学习和权重分配等技术手段,解决现有心脏疾病检测方法的准确性低、无法分析连续的心脏疾病的动态信号等方面的技术难题,提高了心脏疾病检测的准确性和检测效率,并可分析连续的心脏疾病的动态信号,有利于医生后期对待测人员的心脏疾病病情进行早期干预和精准治疗。
为了实现前述目的,本发明一方面提供了一种基于三维图像的深度学习模型的心脏疾病检测方法,包括以下步骤:
步骤1.获取样本数据,所述样本数据包括特定心脏疾病的病理特征的图像数据,所述特定心脏疾病的病理特征的图像数据包括心电非线性系统动态图和/或心电向量图;
步骤2.对步骤1获取的样本数据进行深度学习,获得特定心脏疾病的深度学习判定模型。
可选地,在如前所述的基于三维图像的深度学习模型的心脏疾病检测方法中,步骤2中所述特定心脏疾病的深度学习判定模型包括卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、全连接网络、无监督预训练网络、深度信念网络、深度玻尔兹曼机和神经张量网络中的至少一种;优选地,步骤2还包括:对所述特定心脏疾病的深度学习判定模型进行迁移学习的训练步骤。
可选地,在如前所述的基于三维图像的深度学习模型的心脏疾病检测方法中,步骤1中所述特定心脏疾病的病理特征的图像数据还包括心电图;优选地,所述特定心脏疾病的病理特征的图像数据还包括心电向量图的二维平面投影图、和/或心电非线性系统动态图的二维平面投影图。
可选地,在如前所述的基于三维图像的深度学习模型的心脏疾病检测方法中,还包括步骤3:采集待测人员的心电图、和/或心电向量图、和/或心电非线性系统动态图,输入到步骤2中所述特定心脏疾病的深度学习判定模型,得到待测人员的心脏疾病检测结果:待测人员的心电图的特定心脏疾病的深度学习判定模型输出结果、和/或心电向量图的特定心脏疾病的深度学习判定模型输出结果、和/或心电非线性系统动态图的特定心脏疾病的深度学习判定模型输出结果。
可选地,在如前所述的基于三维图像的深度学习模型的心脏疾病检测方法中,步骤3所述待测人员的心脏疾病检测结果还包括:选取待测人员的心电图的特定心脏疾病的深度学习判定模型输出结果、心电向量图的特定心脏疾病的深度学习判定模型输出结果、和心电非线性系统动态图的特定心脏疾病的深度学习判定模型输出结果中的至少两种用于所述心脏疾病检测方法时,需被赋以适应特定心脏疾病的权重值。
本发明另一方面提供了一种基于三维图像的深度学习模型的心脏疾病检测方法,包括以下步骤:
步骤1.获取样本数据,所述样本数据包括心电图、心电向量图、心电非线性系统动态图中的至少一种;
步骤2.对步骤1获取的样本数据进行预处理,得到预处理的样本数据;
步骤3.对从步骤2得到的预处理的样本数据进行深度学习,获取特定心脏疾病的深度学习判定模型;
步骤4.对从步骤3获得的特定心脏疾病的深度学习判定模型进行迁移学习,得到特定心脏疾病的自动鉴别模型;所述特定心脏疾病的自动鉴别模型是能够反映步骤1所述特定心脏疾病的病理特征的图像数据与特定心脏疾病对应关系的模型。
可选地,在如前所述的基于三维图像的深度学习模型的心脏疾病检测方法中,所述特定心脏疾病的深度学习判定模型包括卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、全连接网络、无监督预训练网络、深度信念网络、深度玻尔兹曼机和神经张量网络中至少一种。
本发明再一方面提供了一种基于深度学习模型的心脏疾病检测系统,包括数据获取模块、数据处理模块和疾病识别模块;其中,所述数据获取模块用于获取待测人员的心电非线性系统动态图、和/或心电向量图、和/或心电图;所述数据处理模块用于分析所述数据获取模块获取的图像,采用的分析工具为特定心脏疾病的深度学习判定模型;所述疾病识别模块根据所述数据处理模块的分析结果输出对应的心脏疾病的病情信息;优选地,所述特定心脏疾病的深度学习判定模型是通过前述心脏疾病检测方法构建。
本发明再一方面提供了一种心脏疾病的检测产品,所述检测产品使用了前述心脏疾病检测方法。
本发明再一方面提供了一种前述检测产品在心脏疾病检测上的应用。
本发明所述基于三维图像的深度学习模型的心脏疾病检测方法,具有以下的技术效果:
1)采用深度学习的技术,完成心脏疾病病理特征的自动提取和智能诊断,具备较高的准确性,并且随着扩充进数据库中病理特征的指标数据的增多,其诊断效果会随之不断提升。
2)考量的心脏疾病的动态病理信息特征更加丰富,检测的准确性等性能有了明显的提高;减少了诊断用时,并可对连续的动态信号进行处理,而非静态信号处理;有利于医生后期对待测人员的心脏疾病病情进行早期干预和精准治疗。
3)诊断过程中无需专业医生的介入,普通用户可以简单方便地完成自我诊断、自我监测,也可以作为计算机辅助诊断系统部署在社区医院或乡镇医院等缺少专业医生的场所。
具体实施方式
针对现有的心脏疾病检测方法对心脏疾病病理数据信息挖掘不足、心脏疾病检测的准确性低、无法分析连续心脏疾病动态信号等方面的不足,发明人提取了心电图(ECG)、心电向量图(VCG)和心电非线性系统动态图数据,构建心脏疾病的深度学习判定模型,并采用迁移学习的方法对深度学习判定模型的参数进行调整,然后优化不同深度学习判定模型输出结果的权重分配,获得针对特定心脏疾病的自动鉴别模型,其可分析连续的心脏疾病的动态信号,并可完成心脏疾病病理特征的自动提取和智能诊断,具备较高的准确性和检测效率,并且随着扩充进数据库中病理特征的指标数据的增多,其诊断效果会随之不断提升。
以下结合具体实施例,对本发明作进一步说明。应理解,以下优选的实施例仅用于说明本发明而非用于限定本发明的范围。
下列实施例中未注明具体条件的实验方法,通常按照国家标准测定。若没有相应的国家标准,则按照通用的国际标准、常规条件、或按照制造厂商所建议的条件进行。
除非另有定义或说明,本文中所使用的所有专业与科学用语与本领域技术人员所熟悉的意义相同。此外任何与所记载内容相似或均等的方法及材料皆可应用于本发明方法中。
本发明中,术语“含有”或“包括”表示各种方法可一起应用于本发明的方法中。因此,术语“主要由...组成”和“由...组成”包含在术语“含有”或“包括”中。
本文所公开的“范围”以下限和上限的形式。可以分别为一个或多个下限,和一个或多个上限。给定范围是通过选定一个下限和一个上限进行限定的。选定的下限和上限限定了特别范围的边界。所有可以这种方式进行限定的范围是包含和可组合的,即任何下限可以与任何上限组合形成一个范围。例如,如果列出的最小范围值1和2,和如果列出了最大范围值3,4和5,则下面的范围可全部预料到:1-3、1-4、1-5、2-3、2-4、2-5以及数值范围内的点值。
在本发明中,除非有其他说明,数值范围“a-b”表示a到b之间、包括端点的任意实数组合的缩略表示,其中a和b都是实数。例如数值范围“0-5”表示本文中已经全部列出了“0-5”之间的全部实数以及数值范围内的点值,“0-5”只是这些数值组合的缩略表示。
在本发明中,除非有其他说明,数值范围“c-d”表示c到d之间、包括端点的任意实数组合的缩略表示。例如数值范围“0-1”表示本文中已经全部列出了“0-1”之间的全部数值范围内的点值,“0-1”只是这些数值组合的缩略表示;数值范围“0-1”包括但不限于0、0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8、0.9、或1;数值范围“0-1”还包括但不限于0-0.1、0-0.5、0-0.7、0-0.9、0.2-0.4、0.2-0.6、0.2-0.6、0.2-0.8、0.2-1等之间的任意值。
在本发明中,如果没有特别指出,本说明书所用的术语“一种”指“至少一种”。
在本发明中,如果没有特别的说明,本文所提到的所有实施方式以及优选实施方式可以相互组合形成新的技术方案。
在本发明中,如果没有特别的说明,本文所提到的所有技术特征以及优选特征可以相互组合形成新的技术方案。
在本发明中,如果没有特别的说明,本文所提到的心电向量图,包括但不限于:心电向量图、预处理的心电向量图和截取的心电向量图。预处理的心电向量图,包括但不限于:压缩的心电向量图、改变对比度的心电向量图、对心电向量图的图像进行数据增强得到的图像、缩小的心电向量图、或放大的心电向量图等。截取的心电向量图,包括但不限于:存在心电向量图上任意大小和/或任意形状的一部分。
在本发明中,如果没有特别的说明,本文所提到的心电非线性系统动态图包括但不限于:将心电非线性系统动态数据进行可视化所获取的图像;所述心电非线性系统动态数据是通过将心电向量数据或心电数据经过数学运算后获取的;所述的数学运算采用了建模方法,所述建模方法包括但不限于自适应系统辨识方法,所述自适应系统系统辨识方法包括但不限于神经网络方法、调节函数法、最小二乘法、极大似然法、回归方程、或预报误差法等。所述心电数据包括但不限于:截取P波、和/或R波、和/或QRS波群、和/或S波、和/或T波、和/或U波、和/或PR段、和/或ST段、和/或PR间期、和/或ST间期、和/或QT间期等数据后的心电数据;所述心电数据还包括但不限于:所有波、段和间期的完整的心电数据;所述心电向量数据包括但不限于:截取P波、和/或R波、和/或QRS波群、和/或S波、和/或T波、和/或U波、和/或PR段、和/或ST段、和/或PR间期、和/或ST间期、和/或QT间期等数据后的心电向量数据;所述心电向量数据还包括但不限于:所有波、段和间期的完整的心电向量数据。本文所提到的心电非线性系统动态图还包括但不限于:心电动力学图、预处理的心电动力学图、截取的心电动力学图、完整的心电非线性系统动态图、预处理的心电非线性系统动态图和截取的心电非线性系统动态图。预处理的心电非线性系统动态图,包括但不限于:压缩的心电非线性系统动态图、对心电非线性系统动态图的图像进行数据增强得到的图像、改变对比度的心电非线性系统动态图、缩小的心电非线性系统动态图、或放大的心电非线性系统动态图等。截取的心电非线性系统动态图,包括但不限于:存在于心电非线性系统动态图上任意大小和/或任意形状的一部分。
在本发明中,如果没有特别的说明,本文所提到的卷积神经网络模型,包括但不限于:选自心电向量图的三维卷积神经网络模型、心电动力学图的三维卷积神经网络模型、心电非线性系统动态图的三维卷积神经网络模型、心电动力学图的二维平面投影的卷积神经网络模型、心电向量图的二维平面投影的卷积神经网络模型和心电非线性系统动态图的二维平面投影的卷积神经网络模型中一种或几种。在本发明中,如果没有特别的说明,本文所提到的心电向量图的二维平面投影,包括但不限于:心电向量图进行任意角度的平面投影。在本发明中,如果没有特别的说明,本文所提到的心电非线性系统动态图的二维平面投影,包括但不限于:对心电非线性系统动态图进行任意角度的平面投影。
在本发明中,如果没有特别的说明,本文所提到的构建深度学习判定模型的深度学习方法,采用了包括但不限于卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、全连接网络、无监督预训练网络、深度信念网络、深度玻尔兹曼机和神经张量网络中等方法中的一种或几种,还包括但不限于本领域人员可以轻易联想得到的其它机器学习方法,如贝叶斯方法、随机森林、支持向量机、蒙特卡洛树搜索算法或聚类算法等。
在本发明中,如果没有特别的说明,本文所提到的基于三维图像的深度学习模型的心脏疾病检测方法还可以用在心脏疾病检测的人工智能设备上,包括但不限于穿戴设备,如手环、手表、指环、手套、腕带、鞋、袜子、将来的其他腿上佩戴产品,眼镜、头盔、头带等以头部为支撑的穿戴设备,智能服装、书包、拐杖、配饰等穿戴设备。
以下结合具体实施例,对本发明作进一步说明。应理解,以下优选的实施例仅用于说明本发明而非用于限定本发明的范围。
实施例1.样本集构建和样本数据的预处理
1.样本集的建立
首先,对用于深度学习判定模型的样本集数据进行构建,具体构建方法如下:
1.1样本集的构成
纳入n个临床已知心脏健康个体(n>500)以及m个临床已知某种心脏疾病个体(m>1000)作为样本人群;采集与特定心脏疾病相关的样本人群的图像数据,作为样本集数据;其中,样本人群的图像数据包括但不限于心电图、心电向量图和心电非线性系统动态图。
1.2样本标签的设定
采用心脏疾病的金标准指标的指标数据,并参考行业内的专家共识和不同三甲医院的医生的诊断信息,共同来确定样本数据的疾病标签。样本数据的标签确定准则,包括但不限于如下信息:
1.2.1.心脏疾病的金标准指标及阈值判定标准
在心血管疾病中,采用的金标准指标包括但不限于高敏C反应蛋白和心肌酶等。
a.高敏C反应蛋白:≥2mg/L有较大风险罹患心血管疾病。
b.心肌酶:心肌酶是存在于心肌的多种酶的总称,包括天门冬氨酸氨基转移酶(AST)、乳酸脱氢酶(LD或LDH)、肌酸激酶(CK)及同工酶、a-羟丁酸脱氢酶(a-HBD)等,急性心肌梗死时因心肌细胞坏死而释放出心肌内多种酶。
c.其它生化指标:包括但不限于肌红蛋白、肌酸激酶、肌酸激酶同工酶、C反应蛋白、甘三脂、高密度脂蛋白、低密度脂蛋白和乳酸脱氢酶等。
特定心脏疾病的金标准指标,是指特定心脏疾病公认的影像学指标和代谢标志物等。如对于心肌缺血的检测,采用血流储备分数FFR作为指标;心肌梗死的检测指标肌钙蛋白、肌酸激酶同工酶和影像学指标等;冠心病的检测的冠状动脉造影的指标等。
1.2.2.心脏疾病的专家共识
根据2009年心电图标准化及解析指南(Wagner GS,Macfarlane P,Wellens H,etal.AHA/ACCF/HRS recommendations for the standardization and interpretation ofthe electrocardiogram:part VI:acute ischemia/infarction:a scientificstatement from the American Heart Association Electrocardiography andArrhythmias Committee,Council on Clinical Cardiology;the American College ofCardiology Foundation;and the Heart Rhythm Society[J].J Am Coll Cardiol,2009,53:1003),不同疾病对应不同的指标参数判定信息。如心肌梗死伴完全性左束支传导阻滞,心肌梗死伴完全性左束支传导阻滞的诊断标准:(a)QRS波主波向上导联ST段抬高≥0.1mV;(b)V1-V3导联ST段压低≥0.1mV,使S波显著;上两条为ST段的一致性改变。(c)QRS波主波向下导联ST段抬高≥0.5mV,称为不协调的ST段改变。
2.样本数据的预处理
在获得前述样本集数据之后,开始对样本集数据进行预处理,具体为:对获得的样本数据进行中值滤波和小波变换滤波等预处理,根据不同的数据要求进行数据加工,获得符合要求的样本数据。对于心肌缺血检测的样本数据,要求采集的样本数据是10s的心电数据,10s的心电数据的时间处理需满足心电数据通用的规范性要求。心电数据的预处理是指常规滤波操作,以使随后的操作充分稳定和可靠,使用何种滤波方法并不影响本发明方法的有效性。
实施例2.特定心脏疾病有关属性的多种病理特征的图像数据的获取
在获得实施例1中预处理的样本集数据后,进行特定心脏疾病的病理特征图像数据的获取。特定心脏疾病的病理特征图像数据包括心电非线性系统动态图、心电向量图和心电图等;具体的操作过程按照以下步骤进行:
心电图的获取:采集带标签的心脏电信号数据,将采集的心脏电信号数据进行滤波等预处理,获得预处理后的心电图。
心电向量图的获取:采集带标签的心脏电信号数据,将采集的心脏电信号数据进行预处理,然后进行转换获得心电向量图(VCG),具体的转换方法采用Kors J.A.等在1990年发表在European Heart Journal杂志的11(12):1083的论文所述方法和参数。
心电非线性系统动态图的获取:采集带标签的心脏电信号数据e(t),t=1,2,…T;将采集的心脏电信号数据进行滤波和基线漂移等预处理,然后获得心电数据进行多维转换,获得心电向量数据。将心电向量数据(或截取的心电向量数据)进行数学运算,获得心电向量数据(或截取的心电向量数据)的神经网络模型:
Figure BDA0001886253120000091
其中,S(X(t))、S(Y(t))和S(Z(t))都是高斯径向基函数;
Figure BDA0001886253120000092
Figure BDA0001886253120000093
是通过海量带标签数据进行动态学习后获得的不同维度的最优权重值。接着将获得的心电向量数据(或截取的心电向量数据)的神经网络模型进行三维可视化,得到一种心电非线性系统动态图。在本实施例中,所述数学运算的方法包括但不限于自适应系统辨识方法;所述自适应系统辨识方法采用包括但不限于建模方法,所述建模方法包括但不限于高斯径向基函数神经网络建模的方法。
实施例3.对预处理的心脏疾病病理特征的图像数据进行深度学习模型的构建和优化
1.构建特定心脏疾病的深度学习判定模型
将实施例2中得到的特定心脏疾病的病理特征的图像数据作为输入数据,进行深度学习,构建适应特定心脏疾病的深度学习模型,实现每种病理特征的量化指标数据和特定心脏疾病相关属性之间的一一对应关系;具体为:构建心电非线性系统动态图、心电向量图和心电图的深度学习判定模型。心电非线性系统动态图、心电向量图或心电图的深度学习判定模型,包括至少一个输入层、至少一个隐含层和至少一个输出层组成。
在一些实施方式中,构建深度学习判定模型的深度学习方法,采用了包括但不限于卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、全连接网络、无监督预训练网络、深度信念网络、深度玻尔兹曼机和神经张量网络中等方法中的一种或几种,还包括但不限于本领域人员可以轻易联想得到的其它机器学习方法,如贝叶斯方法、随机森林、支持向量机、蒙特卡洛树搜索算法或聚类算法等。
在一些实施方式中,所述隐含层包括但不限于卷积层、池化层和全连接层。
1.1构建特定心脏疾病的卷积神经网络和循环神经网络识别模型
对于心电向量图(VCG)或心电非线性系统动态图的三维神经网络识别模型构建方法,其包括如下的步骤:
1.2.1心电非线性系统动态图(或VCG)三维卷积神经网络的构建
通过实施例2所述方法,获取心电向量图(VCG)和心电非线性系统动态图。
心电非线性系统动态图(或VCG)深度卷积神经网络识别模型包括:
(1)输入三维卷积层:规定输入的图像形状为28*28*28,卷积层有3个,对输入的图像进行卷积,卷积核的尺寸都是3*3*3;池化层2个,大小为2*2*2。
(2)激活层:设置激活函数为relu。
(3)最大三维池化层(可替换为平均池化层):减少特征维度。
(4)防过拟合层:在每次训练时都断开一定百分比数值的神经元用于防止数据过拟合。
(5)全连接层:全连接层有1个。
在本发明中,所述池化层采用最大池化法。激活函数采用ReLu激活函数。
心电非线性系统动态图(或VCG)的卷积神经网络模型,包括以下步骤:
1)创建元数据库:将带健康或疾病标签的心电非线性系统动态图(或VCG)存入元数据库中。
2)搭建以带健康或疾病标签三维心电非线性系统动态图(或VCG)为输入的深度卷积神经网络。
3)将元数据库中的心电非线性系统动态图(或VCG)带入到深度卷积神经网络中进行训练,建立三维心电非线性系统动态图(或VCG)分类模型。
3.1)从元数据库中提取数据;
3.2)使用深度卷积神经网络建模,调整参数,得到最终模型结构。
所述的深度卷积神经网络,采用三维矩阵图像作为输入,最大化地保留三维心电非线性系统动态图(或VCG)的三维空间信息:在网络的输入部分使用三维卷积层、三维卷积核对三维矩阵进行空间上的特征提取,接着进行下一步操作。
1.2.2心电非线性系统动态图(或VCG)循环神经网络的构建
循环神经网络包括三层:输入层、隐藏层和输出层,输入层接收心电非线性系统动态图(或VCG)的卷积神经网络输出结果作为输入值,通过激活函数更新网络隐含层节点状态,由输出层做出预测检测样本的心脏疾病信息;其中隐含层的状态存储了大量样本的心脏疾病的信息,可以挖掘出大量样本的心脏疾病的信息与当前时刻信息之间的关系,循环神经网络RNN的t时刻心脏疾病判断方法为:
根据循环神经网络结构输入对应的信息,使用前向传播算法,计算yt实现心脏疾病判断,时间步长为6,时间连续的xt-5……xt生成一次序列预测结果yt;t时刻心脏疾病状态的输出yt由时刻t-5起逐次向前传递计算得出,计算关系如下:
ht=σ(Uxt+Wxt-1+b)
其中,ht是t时刻RNN模型的隐藏状态,230维;xt是t时刻心脏疾病状态向量,192维;σ是tanh激活函数,b是230维线性关系偏置向量,U、W、V三矩阵是RNN的参数,U大小192*230,W大小230*230,V大小230*1,每个阶段共享;
t时刻模型输出Ot为:Ot=Vht+c,c是一维偏置量;
t时刻预测输出yt为:yt=θ(Ot);θ是softmax激活函数。
第一次使用需要训练RNN网络参数,循环神经网络RNN的训练过程为:将参数U、W、V、线性关系偏置向量b、一维偏置量c由反向传播算法通过梯度下降法一轮轮的迭代得到。
所述反向传播算法定义损失函数L:
Figure BDA0001886253120000111
时间步长τ=6,进而得出
反向传播V、c梯度公式:
Figure BDA0001886253120000112
Figure BDA0001886253120000113
其中:yt是t时刻预测输出,
Figure BDA0001886253120000114
是t时刻实际输出,
定义序列t时刻的隐藏状态的梯度为:
Figure BDA0001886253120000115
故:
Figure BDA0001886253120000116
反向传播W、U、b的梯度计算表达式:
Figure BDA0001886253120000117
Figure BDA0001886253120000121
Figure BDA0001886253120000122
其中:xt是t时刻心脏疾病状态向量,ht是t时刻RNN模型的隐藏状态,序列t时刻的隐藏状态的梯度是
Figure BDA0001886253120000123
所述循环神经网络RNN的训练过程如下:
1)初始化各U、W、V、b、c的值为一个随机值,取值范围[0,1]
2)for iter to 1to训练迭代步数(200)
3)for start=1to数据采集数量-5
4)利用前向传播算法计算yt
5)计算损失函数L
6)反向传播算法过程利用输出层结点值计算所有隐藏层结点的偏导值,更新U、W、V、b、c;
循环结束;
循环结束;
结束。
输出判断结果。
1.2.3心电图(ECG)的卷积神经网络和循环神经网络识别模型的构建
采集带标签的心脏电信号,将心脏电信号数据进行预处理,获得预处理的ECG图,ECG的卷积神经网络识别模型有1个输入层,2个隐藏层和1个输出层。输入图像的大小为28*28,卷积层设置有2个,对输入图像进行卷积,卷积核的大小是3*3;池化层有1个,大小为2*2。激活函数采用ReLu激活函数。
心电图(ECG)的循环神经网络包括三层:输入层、隐藏层和输出层,输入层接收ECG的卷积神经网络输出结果作为输入值,通过激活函数更新网络隐含层节点状态,由输出层做出预测检测样本的心脏疾病信息;其中隐含层的状态存储了大量样本的心脏疾病的信息,可以挖掘出大量样本的心脏疾病的信息与当前时刻信息之间的关系,循环神经网络RNN的t时刻心脏疾病判断方法,参照前述心电非线性系统动态图(或VCG)的循环神经网络RNN的t时刻心脏疾病判断方法。
2.特定心脏疾病的深度学习判定模型的优化
(1)训练和优化模型
对于特定心脏疾病的病理特征图像的深度学习判定模型,通过大量已知标签的样本数据不断进行训练,并进行大量的权重实验,获得特定心脏疾病的相关属性的各个病理特征的量化指标的最优权重分配。
(2)对模型的测试
在训练优化后的深度学习模型中,输入一批已知标签的样本数据测试训练优化后的模型。
实施例4.对特定心脏疾病的深度学习判定模型进行评价
为了综合评价深度学习模型的性能,采用心脏疾病检测的准确度、灵敏度和特异度指标来衡量实施例3中获取的训练优化后的模型,在训练优化后的深度学习模型中,输入大量已知标签的样本数据,输出相关的判定结果。根据深度学习模型输出的判定结果,来检测深度学习判定模型的准确度、灵敏度和特异度的情况;对特定心脏疾病的深度学习判定模型的应用性能和不足进行综合评判和优化,完成对特定心脏疾病的深度学习判定模型的建立。
深度学习判定模型的检测结果的准确度、灵敏度和特异度的定义具体如下:
准确度=(真阳性样本数+真阴性样本数)/(真阳性样本数+假阳性样本数+真阴性样本数+假阴性样本数);
灵敏度=真阳性样本数/(真阳性样本数+假阴性样本数);
特异度=真阴性样本数/(真阴性样本数+假阳性样本数);
其中,真阳性样本数表示实际患心脏病并被检测为患心脏病的样本数;假阳性样本数表示实际未患心脏病而被检测为患心脏病的样本数;真阴性样本数表示实际未患心脏病并被检测为未患心脏病的样本数;假阴性样本数表示实际患心脏病而被检测为未患心脏病的样本数;对于心脏病检测模型,三个指标越高,代表该模型对于心脏病能越好,模型效果越优。
通过以上方式,获得优化后的深度学习判定模型,具体为特定心脏疾病的心电图(ECG)的卷积神经网络模型、心电向量图(VCG)的卷积神经网络模型、心电非线性系统动态图的卷积神经网络模型、心电图(ECG)的卷积神经网络和循环神经网络识别模型、心电向量图(VCG)的卷积神经网络和循环神经网络识别模型以及心电非线性系统动态图的卷积神经网络和循环神经网络识别模型。
发明人选用了1714个样本数据,对构建的卷积神经网络和循环神经网络识别模型进行评价,获得心电非线性系统动态图的卷积神经网络和循环神经网络识别模型评价的实验数据,具体如表1所示;实验结果表明,心电非线性系统动态图的卷积神经网络和循环神经网络识别模型的准确度为89.0%,敏感度为91.7%,特异度为81.5%;是几个模型中最优的深度学习判定模型;VCG(或ECG)的卷积神经网络和循环神经网络识别模型等其它模型的评价的实验数据,在此未列出。
表1.心电非线性系统动态图的卷积神经网络和循环神经网络识别模型的评价
Figure BDA0001886253120000141
实施例5.心脏疾病的判定结果输出的权重优化
将大量已知标签的样本数据输入到实施例4中优化筛选的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型中,获得对应的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型的输出结果,将这些结果赋以适应特定心脏疾病的权重值,然后进行具有统计学意义的权重分配实验,获得不同输出结果(心电非线性系统动态图、或VCG、或ECG))的卷积神经网络和循环神经网络识别模型输出结果的最优权重分配,并进行针对该种特定心脏疾病的不同输出结果的最优权值进行储存,获得特定心脏疾病的带优化权值的综合判定体系,即带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系。
实施例6.通过深度学习判定模型进行心脏疾病的辅助检测
在本实施例中,采集待测人员特定心脏疾病的病理特征的图像数据,输入到实施例5构建的特定心脏疾病的带优化权值的综合判定体系中,进行不同心脏疾病的准确检测和快速识别。对于本实施例涉及的深度学习判定模型进行心脏疾病的辅助检测的具体方法,按照以下几个步骤进行操作:
(一)采集待测人员多种病理特征的图像数据及预处理
采集待测人员的特定心脏疾病的病理特征的图像数据,并对采集的待测人员的病理特征的图像数据进行相应的预处理,预处理的方法依照实施例1和实施例2的记载,使之成为适用于深度学习判定模型的规范数据;其中,对于特定心脏疾病的病理特征的图像数据的选用,需根据具体的心脏疾病来筛选确定。
(二)特定心脏疾病有关属性的多种病理特征的量化指标数据的获取
采用实施例2所述的方法,从步骤(一)处获得的预处理的多种病理特征的规范数据中,获得待测人员的ECG/VCG/心电非线性系统动态图的图像数据。
(三)特定心脏疾病判定结果的输出
将步骤(二)中获取的特定心脏疾病有关的ECG/VCG/心电非线性系统动态图的图像数据输入到实施例5构建的特定心脏疾病的带优化权值的综合判定体系中,输出最终相应心脏疾病的综合判定结果,得出待测人员的心脏健康的检测信息。
实施例7.本发明提供方法与传统方法技术效果的对比
本实施例采用30名不同三甲医院的普通心脏科室医生的诊断和实施例6中所述的检测方法,分别对三组待测人员(#1Trial组、#2Trial组和#3Trial组)罹患心肌缺血的情况进行检测,每组待测人员的人数选用120个;三组待测人员都选用待测人员的心电图的图像数据、心电向量图的图像数据和心电非线性系统动态图的图像数据。其中,心电向量图的图像数据和心电非线性系统动态图的图像数据是基于心电图的ST-T段的心电数据进行实施例2所述的对应处理和运算得到。
在#1Trial组中,年龄40岁以上的人数有60个,男性为30个(吸烟且饮酒的15个,不吸烟且不饮酒的15个),女性为30个(吸烟且饮酒的15个,不吸烟且不饮酒的15个);年龄40岁以下的人数有60个,男性为30个(吸烟且饮酒的15个,不吸烟且不饮酒的15个),女性为30个(吸烟且饮酒的15个,不吸烟且不饮酒的15个);同样,#2Trial组和在#3Trial组中的待测人员的选用要求,与#1Trial组的选用要求相同。在本实施例中,ECG的卷积神经网络和循环神经网络识别模型输出结果、VCG的卷积神经网络和循环神经网络识别模型输出结果、心电非线性系统动态图的卷积神经网络和循环神经网络识别模型输出结果的权重值分别为0.4、0.3和0.3。
如表2和表3所示,在#1Trial组实验中,测试了120个待测人员,通过冠脉造影和血流储备分数这两个技术手段都确定为心肌缺血个体数为90个;不同三甲医院的普通心脏科室的医生们,平均每名医生诊断出心肌缺血个体数为46个,每名医生的总计耗时平均为270min;采用实施例6中所述的方法检测出心肌缺血个体的平均数为81个,总计耗时2.4min。在#2Trial组实验中,又测试了120个待测人员,通过冠脉造影和血流储备分数这两个技术手段都确定为心肌缺血个体数为80个;30名不同三甲医院的普通心脏科室医生们,平均每名医生诊断出心肌缺血个体数为40个,每名医生的总计耗时平均为240min;采用实施例6中所述的方法检测出心肌缺血个体的平均数为70个,总计耗时2.1min。在#3Trial组实验中,又测试了120个待测人员,通过冠脉造影和血流储备分数这两个技术手段都确定为心肌缺血个体数为70个;30名不同三甲医院的普通心脏科室医生们,平均每名医生诊断出心肌缺血个体数为34个,每名医生的总计耗时平均为210min;采用实施例6中所述的方法检测出心肌缺血个体的平均数为61个,总计耗时1.9min。以上实验结果表明,本发明所述方法在检测心肌缺血情况时,其在检测准确性和检测耗时以及对动态信息的连续处理等方面的性能有了显著性提高和明显的进步。
表2.本发明提供方法与传统方法的检测效果的对比
Figure BDA0001886253120000161
表3.本发明提供方法与传统方法的检测效果的对比
Figure BDA0001886253120000162
由此可见,实施例6所述方法和现有技术相比存在多个方面的优势:检测的准确性和检测效率等有了明显的提高,并可对连续的动态信号进行处理;测定的心脏疾病的动态病理特征信息更加丰富。
实施例8.一种用于心脏疾病检测的穿戴设备
本实施例描述了一种用于心脏疾病检测的穿戴设备,包括穿戴式衣服、心脏信号传感器、与所述心脏信号传感器相连的监测芯片、导电电极和电连接导线,其中,穿戴式衣服为双层结构,导电电极嵌入穿戴式衣服的夹层内,并通过电连接导线与心脏信号传感器相连;导电电极包括十个电极,其中四个为肢体电极,六个为胸部电极;监测芯片用于获取心脏信号传感器实时监测的心冲击信号和心电信号。监测芯片还需全部或部分地采用了实施例1至实施例6中所述的方法进行心电信号的分析和处理。
在一些改进方案中,本实施例提供的穿戴设备可应用的疾病或症状检测,包括但不限于急性冠脉综合征、心肌缺血、心肌梗塞、心源性猝死、心肌炎、心律失常、心肌梗死、心绞痛、冠心病、冠状动脉疾病和心力衰竭等。
在一些改进方案中,监测芯片可通过WIFI或者蓝牙与心脏信号传感器相连,获取传感器监测的信号,蓝牙可采用HC-05串口蓝牙;
在一些改进方案中,监测芯片包括:信号监测模块(用于获取所述心脏信号传感器实时监测的待测人员的心冲击信号和心电信号)、模型处理模块(根据所述心电信号进行实施例1至实施例6中所述的方法的分析和处理)和心脏疾病识别模块(用于根据模型处理模块的结果预测待测人员的心脏疾病)。
在一些改进方案中,信号监测模块采用AD7061模数转换芯片和AD8232芯片;模型处理模块采用AD7061模数转换芯、MAX4472集成运算放大器、三星KMR7X0001M-B511FLASH存储芯片和三星的S3C2410ARM9嵌入式处理器芯片。
实施例9.基于人工智能自学习的心肌缺血的检测方法
本实施例是关于基于人工智能自学习的心肌缺血的检测方法的描述,其包括以下步骤:
步骤S1.采集了心肌缺血样本人群的心电向量图,所述心肌缺血样本人群均为通过心电图无法诊断的心肌缺血病人。
步骤S2.构建心肌缺血检测的心电向量图的卷积神经网络模型,心电向量图的卷积神经网络模型的设置参数具体如下:
(1)输入三维卷积层:规定输入心电向量图的形状为28*28*28,卷积层有3个,对输入的图像进行卷积,卷积核的尺寸都是3*3*3;池化层2个,大小为2*2*2,池化层采用最大池化法。
(2)激活层:设置激活函数为ReLu。
(3)最大三维池化层(可替换为平均池化层):减少特征维度。
(4)防过拟合层:在每次训练时都断开一定百分比数值的神经元用于防止数据过拟合。
(5)降维层:将多维输入一维化,使得数据符合全连接层的输入形式。
(6)全连接层和Softmax激活层:全连接层有1个,用于最终的分类,将得到的结果映射到输入数据的类型空间中。
心电向量图的卷积神经网络模型,包括以下步骤:
1)创建元数据库:将带健康或疾病标签的三维心电向量图存入元数据库中。
2)搭建以带健康或疾病标签三维心电向量图为输入的深度卷积神经网络。
3)将元数据库中的心电向量图带入到深度卷积神经网络中进行训练,建立三维心电向量图分类模型。
3.1)从元数据库中提取数据;
3.2)使用深度卷积神经网络建模,调整参数,得到最终模型结构。
所述的深度卷积神经网络,采用三维矩阵图像作为输入,最大化地保留三维心电向量图的三维空间信息:在网络的输入部分使用三维卷积层、三维卷积核对三维矩阵进行空间上的特征提取,接着进行下一步操作。
通过采集实施例7所述的待测人员的心电向量图进行本实施例的实验,发现本实施例所述心电向量图的卷积神经网络模型的心肌缺血检测准确率和30名不同三甲医院的普通心脏科室医生的平均诊断准确率相比,提高了至少10%。
在以上的实验基础上,发明人进行了进一步的论证实验,通过采集实施例7所述的待测人员的心电非线性系统动态图,输入到实施例3所述心电非线性系统动态图的卷积神经网络模型,发现心电非线性系统动态图的卷积神经网络模型的心肌缺血检测准确率和30名不同三甲医院的普通心脏科室医生的平均诊断准确率相比,提高了至少12%;最后,将本实施例所述心电向量图的卷积神经网络模型的输出结果和心电非线性系统动态图卷积神经网络模型的输出结果的权重值分配为0.5和0.5,心肌缺血检测的准确率和30名不同三甲医院的普通心脏科室医生的平均诊断准确率相比,提高了至少33%。
实施例10.基于人工智能自学习的心肌梗死伴完全性左束支传导阻滞的检测方法
本实施例主要是关于基于人工智能自学习的心肌梗死伴完全性左束支传导阻滞的检测方法,其包括以下步骤:
步骤S1.获取心肌梗死伴完全性左束支传导阻滞多病理特征的图像数据,所述心肌梗死伴完全性左束支传导阻滞多病理特征的图像数据为心电非线性系统动态图;
步骤S2.对步骤S1获取的心肌梗死伴完全性左束支传导阻滞多病理特征的图像数据进行深度学习,构建心肌梗死伴完全性左束支传导阻滞的循环神经网络模型,具体参数与实施例3的参数相同。
通过采集实施例7所述的待测人员的心电非线性系统动态图进行实验,发现本实施例所述心电非线性系统动态图的循环神经网络模型的心肌梗死伴完全性左束支传导阻滞的检测准确率和30名不同三甲医院的普通心脏科室医生的平均诊断准确率相比,提高了至少15%。
在一些实施方式中,前述心肌梗死伴完全性左束支传导阻滞的循环神经网络模型还可更换为生成式对抗网络、堆叠自动编码器、全连接结构、无监督预训练网络、深度信念网络、深度玻尔兹曼机和神经张量网络;其中,可通过神经张量网络层(NTN)将不同向量通过张量进行直接交互计算,实现特征表示与相似度匹配;在这里略去了发明人具体的实验数据。
实施例11.基于深度学习模型间迁移学习的心肌缺血的检测方法
迁移学习是指将已经学到的模型参数(或模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率的方式,迁移学习用于解决通过深度卷积神经网络对训练样本图像进行训练得到的模型出现过度拟合的问题,实现模型优化,得到图像类别识别模型,从而识别待识别图像的类别,并输出识别结果,识别结果包括待识别物品所属疾病类别。
采用实施例5所述带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系,利用迁移学习技术,将少量并含多种已标记标签的心电图像样本数据作为训练样本,放入实施例5所述带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系模型中训练,得到一个可区分多种心脏疾病的鉴别模型,将含有大量噪音标签的心脏疾病图像样本数据作为测试集,用此模型进行测试,模型可对这些具有噪音标签的图像进行准确分类。结果表明迁移学习后的多种心脏疾病的鉴别模型对心脏疾病的鉴别率较未训练前有了较大的提升。
基于深度学习模型间迁移学习的心肌缺血的检测方法,包括如下几个步骤:
1)使用迁移学习方法将种子样本数据加载到带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系上进行训练,对种子样本数据中的各种特征进行学习与计算,使用梯度下降与误差反向传播算法调整全连接层的权值,得到相对应心脏疾病的自动鉴别模型;对带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系进行知识迁移的方法为:将已经预先训练好的带权值的心电非线性系统动态图(或VCG、或ECG)的卷积神经网络和循环神经网络识别模型输出结果的综合判定体系纵向划分为各个子网络(即各组卷积层和池化层)。在使用心电非线性系统动态图(或VCG、或ECG)图像进行训练时,只训练调整最后全连接层的权值而维持其他各子网络的权值不变。
梯度下降法的具体步骤为:计算损失函数对各个权值的梯度,从任一点开始,沿该点梯度的反方向运动一段距离,在新位置继续沿梯度反方向运行一段距离,这样不断的更新网络的权值。误差反向传播算法的具体步骤为:在利用梯度下降法迭代更新卷积神经网络各层的权值时,梯度根据链式求导法则从网络的最后一层依次向前传播。
2)用步骤1)的模型对含有噪音标签的样本数据中的所有图像进行测试,总共有N张图像,得到每张图像的置信度;
3)对所有图像的置信度进行降序排序,选择置信度排名在前K的图像,选择原有标签与模型诊断标签一致的图像,将这些图像标识为具有正确标签的图像;选择原有标签与模型鉴别标签不一致的图像,并将其标识为错误标签的图像,然后对该图像的标签进行纠正;将纠正后的图像与标签正确的图像添加到增量样本数据中,并从原来含有噪音标签的样本数据中移除这两部分图像;
4)将种子样本数据与增量样本数据合并为新的种子样本数据,判断含有噪音标签的样本数据中是否还有图像,若有,返回执行步骤1);若没有,则结束。
在步骤4)中,我们在置信度为前K名中的图像中选择正确标签的图像和错误标签的图像,假设第二部分样本数据的图像数量为N张,则整个实验将进行N/K次迭代,即重复N/K次本步骤,直到该部分样本数据无剩余图片。如N为400,若K取200,执行步骤次数为4次;若K取200,执行步骤次数为2次。这时所有的噪音标签都被模型进行训练并纠正。
实施例12.心电非线性系统动态图的二维平面投影的卷积神经网络识别模型的构建
本实施例是关于心电非线性系统动态图的二维平面投影的卷积神经网络识别模型构建方法的描述。
心电非线性系统动态图二维平面投影的卷积神经网络识别模型构建方法,包括:
步骤一、根据实施例1和实施例2所述方法,获得心电非线性系统动态图;
步骤二、将获得所有样本数据的心电非线性系统动态图分别放在统一大小的XYZ坐标空间中的同一位置,对于每一个心电非线性系统动态图依次进行同样的XY平面投影、YZ平面投影和XZ平面投影,获得每一个心电非线性系统动态图的不同平面的二维投影。
步骤三、将获得心电非线性系统动态图二维平面投影进行预处理,将所有预处理后的心电非线性系统动态图的二维平面投影的形状调整为28*28;
步骤四、构建卷积神经网络识别模型:1个输入层,2个隐藏层和1个输出层。输入图像的大小为28*28,卷积层设置有2个,对输入图像进行卷积,卷积核的大小是3*3;输出层采用softmax分类器;激活函数采用ReLu激活函数。
步骤五、输出心脏疾病分类结果。
发明人发现,将心电非线性系统动态图二维平面投影的卷积神经网络识别模型用于心肌缺血检测,心肌缺血检测的准确率和传统方法相比提高了至少10%;如果结合实施例5所述的特定心脏疾病的带优化权值的综合判定体系,并分配心电非线性系统动态图二维平面投影的卷积神经网络识别模型输出结果(模型内部的输出结果赋以相同的权重值)、心电非线性系统动态图的卷积神经网络和循环神经网络识别模型输出结果、VCG的卷积神经网络和循环神经网络识别模型输出结果和ECG的卷积神经网络和循环神经网络识别模型输出结果的权值分别为0.2、0.2、0.3和0.3,心肌缺血检测的准确率和传统方法相比提高了至少25%。
实施例13.基于生成式对抗网络的心肌梗死伴完全性左束支传导阻滞的检测方法
本实施例主要是关于基于生成式对抗网络的心肌梗死伴完全性左束支传导阻滞的检测方法,其包括以下步骤:
步骤1.获取心肌梗死伴完全性左束支传导阻滞病理特征数据,所述心肌梗死伴完全性左束支传导阻滞病理特征数据为心电非线性系统动态图;
步骤2.采用k-means算法将心电非线性系统动态图聚类成多个集群,每个集群中包含100个心电非线性系统动态图,针对每个集群中的所有心电非线性系统动态图,计算并判断任意两个心电非线性系统动态图之间的欧式距离,若该欧式距离小于1.0,表示该两个心电非线性系统动态图重复,则删除该两个心电非线性系统动态图中的其中一个,以实现对心电非线性系统动态图的去重,去重处理可以在一定程度上缩小训练样本规模,然后将所有心电非线性系统动态图归一化至[0,1]区间。最后,按照心电非线性系统动态图的重要度,删除每个信息心电非线性系统动态图和目标心电非线性系统动态图中重要度排在靠后的心电非线性系统动态图。
步骤3.构建心电非线性系统动态图生成模型G,具体如下:
心电非线性系统动态图卷积神经网络包括输入层、隐藏层和输出层,用于生成虚拟目标心电非线性系统动态图,过程如下:首先,将预处理后的心电非线性系统动态图转化为的目标维度的数据矩阵;然后,定义卷积操作,即通过卷积核在原输入矩阵上的滑动与计算得到输出矩阵,可得到维度更小的输出矩阵,实现数据的特征提取;其中,卷积核为一个维度较小的n*n矩阵(一般取3*3),也称为权重矩阵,其矩阵元素的值可进行预设,滑动的步长可设置(一般为1),输出矩阵中每一个元素值即为卷积核与其当前覆盖的原输入矩阵的乘积;接下来,定义反卷积操作,其形式与卷积操作相似,即通过由卷积核得到的转置矩阵与输入矩阵相乘,转化得到输出矩阵,一般情况下可得到维度更大的矩阵,实现数据的扩充;最后,将目标维度心电非线性系统动态图数据矩阵进行3层不同结构的卷积处理,包括不同步长的卷积与反卷积,得到n*m维的数据,并对其进行sigmoid处理,输出n*m维的输出矩阵,该n*m维的输出矩阵构成虚拟目标心电非线性系统动态图数据集。
步骤4.构建心电非线性系统动态图判别模型D,具体如下:
心电非线性系统动态图判别模型,用于对输入的虚拟目标心电非线性系统动态图和目标心电非线性系统动态图真实性进行判断。
将虚拟目标心电非线性系统动态图和目标心电非线性系统动态图作为心电非线性系统动态图判别模型的输入,定义最大池化层和卷积层,利用卷积层实现输入数据的扩维特征提取,卷积层的卷积核为5*5的矩阵,步长为1或2,最大池化层实现对输入数据的降维特征提取,即通过窗口对具有较大维度的输入矩阵进行数值提取与降维,得到维度较小的输出矩阵,其中,窗口取3*3,数值提取即在该窗口在原数据矩阵上对应的每一个区域内选取最大的数值,作为输出矩阵的元素。
对维度为n*m的目标心电非线性系统动态图的数据矩阵和虚拟目标心电非线性系统动态图的数据矩阵进行不同结构的卷积与池化操作,并通过全连接处理计算得到概率值,其中,该概率值的范围为[0,1],即当数据被判别为目标心电非线性系统动态图时,概率为1,被判别为虚拟目标心电非线性系统动态图时,概率为0。
对抗训练由所述心电非线性系统动态图生成模型和所述心电非线性系统动态图判别模型构成的生成对抗网络。通过交替训练的训练策略实现生成式对抗网络的对抗与优化。在训练的过程中,心电非线性系统动态图判别模型D的训练目的是尽量最大化自身的判别准确率,即当概率为1时,说明该数据被判别为来自目标心电非线性系统动态图,标注1;概率为0时,该数据被判别为来自于虚拟目标心电非线性系统动态图,即由心电动力学生成模型G生成,标注为0。心电非线性系统动态图生成模型G的训练目标是是最小化心电非线性系统动态图判别模型D的判别准确率。
实施例14.基于堆叠自动编码器的心肌梗死伴完全性左束支传导阻滞的检测方法
本实施例提供的基于堆叠自动编码器的心肌梗死伴完全性左束支传导阻滞的检测方法,至少包括步骤:
S1、将训练样本的无标签的心电向量图和同样训练样本的实际标签的心电向量图作为共同输入,经过多层编码解码后得到同样的输出,然后将输出中的带实际标签的心电向量图作为目标检测结果;
S2、降噪堆叠自动编码器网络包括多层,第一层作为输入端和输出端,经过简单的编码解码而没有降噪功能,中间若干层通过多次编码解码,找到不同维度间的联系,从样本中学习从无标签的心电向量图中恢复实际标签的心电向量图具有的功能,得到无标签的心电向量图的实际标签;具体实施时,S2还包括步骤:
A1、生成第一层自动编码器,将输入信息经过编码和解码后得到与原始输入一样的输出信息,将无标签的心电向量图和同样训练样本的实际标签的心电向量图作为共同输入F1,经过编码O1=s1(W1F1+b1)成为中间层O1,然后解码重构成F1’=s1(W2O1+b2),模型的参数应该尽可能使重构数据逼近原始向量,即
Figure BDA0001886253120000241
用平方差表示表示重构数据与原始向量间的差异Loss,再加入L1限制,即稀疏要求,约束每一层中的大部分节点为0,少数不为0。因此上式演变成
Figure BDA0001886253120000242
纯净、无噪声的原始数据下,W2≈W1T;
A2、将第一层编码器的输出当成第二层降噪自动编码器的输入,同样最小化第二层降噪自动编码器的重构误差,使得第二层经过编码、解码后所重构的输出与第二层输入一样;
A3、生成中间若干层降噪自动编码器;
A4、堆叠各层降噪自动编码器,输入依次经过第一层编码、第二层编码…第n层编码,再依次经过第n层解码…第二层解码、第一层编码,输出与输入一样的信息;
A5、使用时,用训练样本的无标签的心电向量图和同样训练样本的实际标签的心电向量图作为共同输入,将同样训练样本的实际标签的心电向量图作为噪声干扰下的丢失信息或者遮挡住的信息,经过多层的降噪自动编码器,从训练样本的无标签的心电向量图恢复丢失的信息,在最后一层得到训练样本的无标签的心电向量图和同样训练样本的实际标签的心电向量图,但只取同样训练样本的实际标签的心电向量图作为输出;
S3、降噪堆叠自动编码器网络逐层抽取特征并恢复丢失信息。通过逐层抽取特征并恢复丢失信息,可以提高所述采用降噪堆叠自动编码器网络的检测精度。本发明通过以上实施例的设计,可以做到降噪堆叠自动编码器网络包括多层,逐层抽取特征并恢复丢失信息,可以提高检测精度。
实施例15.基于深度信念网络的心肌梗死伴完全性左束支传导阻滞的检测方法
本发明实施例提供了一种基于深度信念网络(DBN)的心肌梗死伴完全性左束支传导阻滞的检测方法。DBN模型是通过训练多层受限玻尔兹曼机RBM学习得到的神经网络结构,该模型是采用模拟人脑多层结构的方式,对输入数据从底层到高层渐进地进行特征提取,最终形成适合模式分类的较理想特征,从而提升分类的准确率。即将多维度可信特征向量输入深度信念网络DBN判别模型中后,该DBN判别模型能够快速准确的输出表示初步可信心电非线性系统动态图的可信性的判别结果。
一种基于深度信念网络(DBN)的心肌梗死伴完全性左束支传导阻滞的检测方法,其操作方法包括以下不走:
S1,获取待检测心电非线性系统动态图,根据待检测心电非线性系统动态图的类别,获取与其对应的验证心电非线性系统动态图集。
每一个待检测心电非线性系统动态图都有一个与其相对应的验证心电非线性系统动态图集,在获得待检测心电非线性系统动态图后,可以根据该待检测心电非线性系统动态图的类别,从相同类别的样本库中获取用于验证该待检测心电非线性系统动态图的验证心电非线性系统动态图集。其中,该验证心电非线性系统动态图集包含多个可信的验证心电非线性系统动态图,这些可信的验证心电非线性系统动态图的内容包括疾病标签和心电非线性系统动态图的描述信息,并且是预先存储在服务器端内的。
S2,根据内容验证一致性识别算法,计算待检测心电非线性系统动态图与验证心电非线性系统动态图之间的相似度值。采用如下公式计算待检测心电非线性系统动态图与验证心电非线性系统动态图之间的相似度值:
S=θ1*Stime2*Ssource+(1-θ12)*Sdesc
其中,S为待检测心电非线性系统动态图与验证心电非线性系统动态图之间的相似度值,Stime为待检测心电非线性系统动态图与验证心电非线性系统动态图之间时间的相似度值,Ssource为待检测心电非线性系统动态图与验证心电非线性系统动态图之间来源的相似度值,Sdesc为待检测心电非线性系统动态图与验证心电非线性系统动态图之间描述信息的相似度值,θ1、θ2为根据待检测心电非线性系统动态图的类别设定的权重。
S3,比较相似度值与预设的阈值的大小,将相似度值大于阈值的待检测心电非线性系统动态图确定为初步可信心电非线性系统动态图。
S4,提取初步可信心电非线性系统动态图的多维度可信特征,并构建多维度可信特征向量。
S5,将多维度可信特征向量输入深度信念网络DBN判别模型中,输出表示初步可信心电非线性系统动态图的可信性的判别结果。
虽然在本公开中已提供数个实施例,但应理解所公开系统和方法可在不偏离本公开的精神或范围的情况下以许多其它特定形式体现。这些实例将视为的示例性而非限制性的,并且并不旨在限于本文中给出的细节。例如,各种方法或参数范围可组合或整合于另一系统中,各种方法或参数范围可组合或整合于另一方法中,各种方法或参数范围可组合或整合于本领域或其它领域的产品中,或者某些特征可省略或不实施,都属于本领域技术人员可以基于本发明所可轻易拓展或实施的技术手段。
而且,在各种实施例中描述且示出为分立或单独的技术、系统、子系统和方法可在不偏离本公开的范围的情况下与其它系统、模块、技术或方法组合或整合。示出或讨论为彼此直接耦合或通信的其它项可通过某一接口、设备或中间组件以电力方式、以机械方式或以其它方式间接耦合或通信。改变、替换和变更的其它实例可由所属领域的技术人员确定并且可在不偏离本文中所公开精神和范围的情况下做出。

Claims (10)

1.一种基于三维图像的深度学习模型的心脏疾病检测方法,其特征在于,包括以下步骤:
步骤1. 获取样本数据,所述样本数据包括特定心脏疾病的病理特征的图像数据,所述特定心脏疾病的病理特征的图像数据包括心电非线性系统动态图和/或心电向量图;
步骤2. 对步骤1获取的样本数据进行深度学习,获得特定心脏疾病的深度学习判定模型。
2.根据权利要求1所述心脏疾病检测方法,其特征在于,步骤2中所述特定心脏疾病的深度学习判定模型包括卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、深度信念网络、深度玻尔兹曼机和神经张量网络中的至少一种;优选地,步骤2还包括:对所述特定心脏疾病的深度学习判定模型进行迁移学习的训练步骤。
3.根据权利要求1所述心脏疾病检测方法,其特征在于,步骤1中所述特定心脏疾病的病理特征的图像数据还包括心电图;优选地,所述特定心脏疾病的病理特征的图像数据还包括心电向量图的二维平面投影图、和/或心电非线性系统动态图的二维平面投影图。
4.根据权利要求3所述心脏疾病检测方法,其特征在于,还包括步骤3:采集待测人员的心电图、和/或心电向量图、和/或心电非线性系统动态图,输入到步骤2中所述特定心脏疾病的深度学习判定模型,得到待测人员的心脏疾病检测结果:待测人员的心电图的特定心脏疾病的深度学习判定模型输出结果、和/或心电向量图的特定心脏疾病的深度学习判定模型输出结果、和/或心电非线性系统动态图特定心脏疾病的深度学习判定模型输出结果。
5.根据权利要求4所述心脏疾病检测方法,其特征在于,步骤3所述待测人员的心脏疾病检测结果还包括:选取待测人员的心电图的特定心脏疾病的深度学习判定模型输出结果、心电向量图的特定心脏疾病的深度学习判定模型输出结果、和心电非线性系统动态图的特定心脏疾病的深度学习判定模型输出结果中的至少两种用于所述心脏疾病检测方法时,需被赋以适应特定心脏疾病的权重值。
6.一种基于三维图像的深度学习模型的心脏疾病检测方法,其特征在于,包括以下步骤:
步骤1. 获取样本数据,所述样本数据包括心电图、心电向量图、心电非线性系统动态图中的至少一种;
步骤2. 对步骤1获取的样本数据进行预处理,得到预处理的样本数据;
步骤3. 对从步骤2得到的预处理的样本数据进行深度学习,获取特定心脏疾病的深度学习判定模型;
步骤4. 对从步骤3获得的特定心脏疾病的深度学习判定模型进行迁移学习,得到特定心脏疾病的自动鉴别模型;所述特定心脏疾病的自动鉴别模型是能够反映步骤1所述特定心脏疾病的病理特征的图像数据与特定心脏疾病对应关系的模型。
7.根据权利要求6所述心脏疾病检测方法,其特征在于,所述特定心脏疾病的深度学习判定模型包括卷积神经网络、循环神经网络、生成式对抗网络、堆叠自动编码器、深度信念网络、深度玻尔兹曼机和神经张量网络中至少一种。
8.一种基于深度学习模型的心脏疾病检测系统,其特征在于,包括数据获取模块、数据处理模块和疾病识别模块;其中,所述数据获取模块用于获取待测人员的心电非线性系统动态图、和/或心电向量图、和/或心电图;所述数据处理模块用于分析所述数据获取模块获取的图像,采用的分析工具为特定心脏疾病的深度学习判定模型;所述疾病识别模块根据所述数据处理模块的分析结果输出对应的心脏疾病的病情信息;
优选地,所述特定心脏疾病的深度学习判定模型是通过权力要求1-7任一权项所述心脏疾病检测方法构建。
9.一种心脏疾病的检测产品,其特征在于,所述检测产品使用了权利要求1-7任一权项所述心脏疾病检测方法。
10.一种根据权利要求9所述检测产品在心脏疾病检测上的应用。
CN201811448568.4A 2018-11-30 2018-11-30 一种基于三维图像的深度学习模型的心脏疾病检测方法 Pending CN111261278A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811448568.4A CN111261278A (zh) 2018-11-30 2018-11-30 一种基于三维图像的深度学习模型的心脏疾病检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811448568.4A CN111261278A (zh) 2018-11-30 2018-11-30 一种基于三维图像的深度学习模型的心脏疾病检测方法

Publications (1)

Publication Number Publication Date
CN111261278A true CN111261278A (zh) 2020-06-09

Family

ID=70948260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811448568.4A Pending CN111261278A (zh) 2018-11-30 2018-11-30 一种基于三维图像的深度学习模型的心脏疾病检测方法

Country Status (1)

Country Link
CN (1) CN111261278A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111329467A (zh) * 2018-12-18 2020-06-26 上海图灵医疗科技有限公司 一种基于人工智能的心脏疾病辅助检测方法
CN112233750A (zh) * 2020-10-20 2021-01-15 吾征智能技术(北京)有限公司 一种基于咯血性状及疾病的信息匹配系统
CN112353398A (zh) * 2020-12-01 2021-02-12 山东众阳健康科技集团有限公司 一种基于无监督学习的心电向量重建方法
CN114469120A (zh) * 2022-01-12 2022-05-13 大连海事大学 一种基于相似度阈值迁移的多尺度Dtw-BiLstm-Gan心电信号生成方法
WO2024108577A1 (zh) * 2022-11-25 2024-05-30 深圳先进技术研究院 利用分层相关性传播对胰腺炎诊断模型进行解释的方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092343A (en) * 1988-02-17 1992-03-03 Wayne State University Waveform analysis apparatus and method using neural network techniques
CN104866727A (zh) * 2015-06-02 2015-08-26 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
CN106108889A (zh) * 2016-07-20 2016-11-16 杨平 基于深度学习算法的心电图分类方法
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
WO2017072250A1 (en) * 2015-10-27 2017-05-04 CardioLogs Technologies An automatic method to delineate or categorize an electrocardiogram
CN107260161A (zh) * 2017-07-18 2017-10-20 上海图灵医疗科技有限公司 一种心电动力学数据量化分析方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5092343A (en) * 1988-02-17 1992-03-03 Wayne State University Waveform analysis apparatus and method using neural network techniques
CN104866727A (zh) * 2015-06-02 2015-08-26 陈宽 基于深度学习对医疗数据进行分析的方法及其智能分析仪
US20180137941A1 (en) * 2015-06-02 2018-05-17 Infervision Co., Ltd. Method For Analysing Medical Treatment Data Based On Deep Learning and Intelligence Analyser Thereof
US20160364862A1 (en) * 2015-06-12 2016-12-15 Merge Healthcare Incorporated Methods and Systems for Performing Image Analytics Using Graphical Reporting Associated with Clinical Images
WO2017072250A1 (en) * 2015-10-27 2017-05-04 CardioLogs Technologies An automatic method to delineate or categorize an electrocardiogram
CN106108889A (zh) * 2016-07-20 2016-11-16 杨平 基于深度学习算法的心电图分类方法
CN107260161A (zh) * 2017-07-18 2017-10-20 上海图灵医疗科技有限公司 一种心电动力学数据量化分析方法
CN107909095A (zh) * 2017-11-07 2018-04-13 江苏大学 一种基于深度学习的图像识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭伯凯等: ""马拉松爱好者运动习惯、家族病史与心电信号特征的关系研究"" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111329467A (zh) * 2018-12-18 2020-06-26 上海图灵医疗科技有限公司 一种基于人工智能的心脏疾病辅助检测方法
CN112233750A (zh) * 2020-10-20 2021-01-15 吾征智能技术(北京)有限公司 一种基于咯血性状及疾病的信息匹配系统
CN112233750B (zh) * 2020-10-20 2024-02-02 吾征智能技术(北京)有限公司 一种基于咯血性状及疾病的信息匹配系统
CN112353398A (zh) * 2020-12-01 2021-02-12 山东众阳健康科技集团有限公司 一种基于无监督学习的心电向量重建方法
CN114469120A (zh) * 2022-01-12 2022-05-13 大连海事大学 一种基于相似度阈值迁移的多尺度Dtw-BiLstm-Gan心电信号生成方法
WO2024108577A1 (zh) * 2022-11-25 2024-05-30 深圳先进技术研究院 利用分层相关性传播对胰腺炎诊断模型进行解释的方法

Similar Documents

Publication Publication Date Title
Oh et al. Automated diagnosis of arrhythmia using combination of CNN and LSTM techniques with variable length heart beats
Petmezas et al. Automated atrial fibrillation detection using a hybrid CNN-LSTM network on imbalanced ECG datasets
Wang et al. A high-precision arrhythmia classification method based on dual fully connected neural network
Nurmaini et al. Robust detection of atrial fibrillation from short-term electrocardiogram using convolutional neural networks
Xu et al. Interpretation of electrocardiogram (ECG) rhythm by combined CNN and BiLSTM
CN111261289A (zh) 一种基于人工智能模型的心脏疾病的检测方法
CN111261277A (zh) 一种基于深度学习模型的心脏疾病的检测方法
Wang et al. Arrhythmia classification algorithm based on multi-head self-attention mechanism
Hammad et al. Deep learning models for arrhythmia detection in IoT healthcare applications
CN111261278A (zh) 一种基于三维图像的深度学习模型的心脏疾病检测方法
Wang An intelligent computer-aided approach for atrial fibrillation and atrial flutter signals classification using modified bidirectional LSTM network
Xia et al. A novel wearable electrocardiogram classification system using convolutional neural networks and active learning
CN110090012A (zh) 一种基于机器学习的人体疾病检测方法及检测产品
CN108090509B (zh) 一种数据长度自适应的心电图分类方法
Liu et al. Arrhythmias classification by integrating stacked bidirectional LSTM and two-dimensional CNN
Banerjee et al. A hybrid CNN-LSTM architecture for detection of coronary artery disease from ECG
Sarvan et al. ECG Beat Arrhythmia Classification by using 1-D CNN in case of Class Imbalance
CN112932433A (zh) 一种心电图的心律失常自动分类方法
Lu et al. An arrhythmia classification algorithm using C-LSTM in physiological parameters monitoring system under internet of health things environment
Huang et al. A multiview feature fusion model for heartbeat classification
Al Rahhal et al. Automatic premature ventricular contractions detection for multi-lead electrocardiogram signal
Al-Huseiny et al. Diagnosis of arrhythmia based on ECG analysis using CNN
CN111329467A (zh) 一种基于人工智能的心脏疾病辅助检测方法
Singh et al. Short and noisy electrocardiogram classification based on deep learning
Song et al. [Retracted] A Multimodel Fusion Method for Cardiovascular Disease Detection Using ECG

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210111

Address after: 050011 Room 102 and 14, construction investment company, 72 Industrial Street, circular chemical industry park, Shijiazhuang City, Hebei Province

Applicant after: Hebei medai Health Technology Co.,Ltd.

Address before: Room 1129, C Building, 555 Dongchuan Road, Minhang District, Shanghai, 200241

Applicant before: SHANGHAI TURING MEDICAL TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200609

WD01 Invention patent application deemed withdrawn after publication