CN111798944A - 基于emr/ehr和心电图的心脏异常分析多模式框架 - Google Patents
基于emr/ehr和心电图的心脏异常分析多模式框架 Download PDFInfo
- Publication number
- CN111798944A CN111798944A CN202010127654.6A CN202010127654A CN111798944A CN 111798944 A CN111798944 A CN 111798944A CN 202010127654 A CN202010127654 A CN 202010127654A CN 111798944 A CN111798944 A CN 111798944A
- Authority
- CN
- China
- Prior art keywords
- information
- learning
- representations
- signal
- generated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 50
- 230000000747 cardiac effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 42
- 230000036541 health Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000012706 support-vector machine Methods 0.000 claims description 12
- 238000007637 random forest analysis Methods 0.000 claims description 8
- 230000005856 abnormality Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000002565 electrocardiography Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000004476 Acute Coronary Syndrome Diseases 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 206010003658 Atrial Fibrillation Diseases 0.000 description 1
- 108091005515 EGF module-containing mucin-like hormone receptors Proteins 0.000 description 1
- 238000003070 Statistical process control Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000002079 electron magnetic resonance spectroscopy Methods 0.000 description 1
- 238000002001 electrophysiology Methods 0.000 description 1
- 230000007831 electrophysiology Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
一种执行心脏异常分析的方法，包括：从用户的电子病历(EMR)和/或电子健康记录(EHR)学习文本信息，从用户的心电图(ECG)信号数据学习信号信息，将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的一个或多个表示，以及对所生成的一个或多个表示执行心脏异常分析。
Description
本申请要求2019年04月09日递交的第16/378,772号美国申请的优先权，其全部内容通过引用并入本文中。
技术领域
本申请涉及医学分析领域，特别是涉及一种基于EMR/EHR和心电图的心脏异常分析多模式框架。
背景技术
心电图(Electrocardiography，ECG)检查是可以帮助医生诊断许多心脏病，包括心房纤维性颤动、心肌梗塞和急性冠状动脉综合征(Acute Coronary Syndrome，ACS)的最常见的医疗程序之一。每年记录约3亿个ECG。用于ECG分析的常规方法倾向于使用数字信号处理算法，例如，小波变换，以计算ECG信号的特征。最近，越来越多的方法采用卷积神经网络(Convolutional Neural Network，CNN)和递归神经网络(Recurrent Neural Network，RNN)等深度神经网络，并且对于基于ECG信号的多类别分类任务，达到了良好的准确性。然而，大多数现有的工作只能对电信号信息起作用，这不能提供患者健康状态的全面信息。
发明内容
根据本申请实施例，一种执行心脏异常分析的方法包括：从用户的电子病历(EMR)和/或电子健康记录(EHR)学习文本信息，从所述用户的心电图(ECG)信号数据学习信号信息，将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的一个或多个表示，以及对所生成的一个或多个表示执行所述心脏异常分析。
根据本申请实施例，一种用于执行心脏异常分析的装置，包括：
第一学习模块，用于从用户的电子病历EMR和/或电子健康记录EHR学习文本信息；
第二学习模块，用于从所述用户的心电图ECG信号数据学习信号信息；
合并模块，用于将所学习的文本信息和所学习的信号信息合并，以生成合并后的所述文本信息和所述信号信息的一个或多个表示；以及
执行模块，用于对所生成的一个或多个表示执行所述心脏异常分析。
根据本申请实施例，一种用于执行心脏异常分析的装置包括：至少一个存储器，用于存储程序代码；以及至少一个处理器，用于读取所述程序代码，并按照所述程序代码的指示进行操作。所述程序代码包括：第一学习代码，用于使所述至少一个处理器从用户的电子病历(EMR)和/或电子健康记录(EHR)学习文本信息；第二学习代码，用于使所述至少一个处理器从所述用户的心电图(ECG)信号数据学习信号信息；合并代码，用于使所述至少一个处理器将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的表示；以及执行代码，用于使所述至少一个处理器对所生成的表示执行所述心脏异常分析。
根据本申请实施例，一种非易失性计算机可读存储介质，存储有指令，当所述指令由设备的至少一个处理器执行时，使得所述至少一个处理器从用户的电子病历(EMR)和/或电子健康记录(EHR)学习文本信息，从所述用户的心电图(ECG)信号数据学习信号信息，将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的表示，以及对所生成的表示执行心脏异常分析。
通过本申请实施例的执行心脏异常分析的方法、装置和非易失性计算机可读存储介质，可以从用户的文本格式的EMR和/或EHR数据和信号格式的ECG数据两者，提取和学习信息，可以提供更全面、准确的心脏异常分析。
附图说明
图1是根据本申请实施例的可以实施本申请中描述的方法、装置和系统的环境的示意图。
图2是图1的一个或多个设备的示例组件的示意图。
图3是根据本申请实施例的用于基于患者的EMR和/或EHR和ECG信号数据的心脏异常分析的多模式框架的示意图。
图4是根据本申请实施例的执行心脏异常分析的方法的流程图。
图5是根据本申请实施例的用于执行心脏异常分析的装置的示意图。
具体实施方式
多模式心脏异常分析(Multimodal Heart Abnormalities Analysis，MHAA)是一种利用患者的文本格式的EMR/EHR数据和信号格式的ECG数据两者，训练分析模型的新框架。MHAA可以广泛应用于ECG分类、计算机辅助诊断、床边警报、患者ECG监护。
标准的ECG报告含有来自12根不同导线的信号，这12根不同导线需要10个电极与身体接触。这些电极位于身体的不同特定位置上。利用这种几何布置，ECG可以在每次心跳期间，测量和跟踪电生理图。此外，从电极采集的电变化用于得到多个轴上的波形信号。
本申请描述的实施例包括一种用于肌电图(Electromyography，EMG)/ECG分析的新模型训练框架，其接受综合的多导线ECG信号，并采用ECG检查中的电极的几何性质。具体地，这些特征通过三种技术：分组模块、多轴特征提取模块、以及专用于综合任务的分析模块实现，如以下参考图3所描述的。
当前用于ECG分析的训练框架仅依赖于电信号，其忽略了患者的病史和背景。本申请中描述的框架结合电子病历和信号数据两者的优点，实现ECG分析的多个目标，例如，ECG监护和报警以及计算机辅助诊断。
图1是根据本申请实施例的可以实施本申请中描述的方法、装置和系统的环境100的示意图。如图1所示，环境100可以包括用户设备110、平台120和网络130。环境100的设备可以通过有线连接、无线连接、或有线和无线连接的组合进行互连。
用户设备110包括一个或多个设备，该一个或多个设备能够接收、生成、存储、处理、和/或提供平台120的相关信息。例如，用户设备110可以包括计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器等)、移动电话(例如，智能电话、无线电话等)、可穿戴设备(例如，智能眼镜或智能手表)或类似设备。在一些实施方式中，用户设备110可以从平台120接收信息和/或向其发送信息。
平台120包括如本申请其它地方所描述的一个或多个设备。在一些实施方式中，平台120可以包括一个云服务器或一组云服务器。在一些实施方式中，平台120可以设计成模块化的，以便可以根据具体需要，换入或换出软件组件。这样，可以容易地和/或快速地为不同的用途重新配置平台120。
在一些实施方式中，如图1所示，平台120可以被托管在云计算环境122中。特别地，虽然在本申请中描述的实施方式将平台120描述为托管在云计算环境122中，但是在一些实施方式中，平台120并不是基于云的(即，可以在云计算环境外部实施)，或者可以是部分基于云的。
云计算环境122包括托管平台120的环境。云计算环境122可以提供计算、软件、数据访问、存储等服务，这些服务不需要终端用户(例如，用户设备110)知道托管平台120的系统和/或设备的物理位置和配置。如图1所示，云计算环境122可以包括一组计算资源124(统称为“计算资源124”并分别称为“计算资源124”)。
计算资源124包括一个或多个个人计算机、工作站计算机、服务器设备或其它类型的计算和/或通信设备。在一些实施方式中，计算资源124可以托管平台120。云资源可以包括：在计算资源124中执行的计算实例、在计算资源124中提供的存储设备、由计算资源124提供的数据传输设备等。在一些实施方式中，计算资源124可以通过有线连接、无线连接、或有线和无线连接的组合，与其它计算资源124通信。
如图1进一步所示，计算资源124包括一组云资源，例如，一个或多个应用程序(“APP”)124-1、一个或多个虚拟机(“VM”)124-2、虚拟化存储器(“VS”)124-3、一个或多个管理程序(Hypervisor，“HYP”)124-4等。
应用程序124-1包括一个或多个软件应用程序，该一个或多个软件应用程序可以提供给用户设备110和/或平台120，或由用户设备和/或平台访问。应用程序124-1可以消除在用户设备110上安装和执行软件应用程序的需要。例如，应用程序124-1可以包括与平台120相关联的软件和/或任何其它能够经由云计算环境122提供的软件。在一些实施方式中，一个应用程序124-1可以经由虚拟机124-2向/从一个或多个其它应用程序124-1发送/接收信息。
虚拟机124-2包括执行程序的机器(例如，计算机)的软件实现，类似于物理机。虚拟机124-2可以是系统虚拟机或进程虚拟机，取决于虚拟机124-2对任何真实机器的使用和对应程度。系统虚拟机可以提供完整的系统平台，支持执行完整的操作系统(“OS”)。进程虚拟机可以执行单个程序，并且可以支持单个进程。在一些实施方式中，虚拟机124-2可以代表用户(例如，用户设备110)执行，并且可以管理云计算环境122的基础设施，例如，数据管理、同步、或长时间的数据传输。
虚拟化存储器124-3包括一个或多个存储系统和/或一个或多个设备，该一个或多个存储系统和/或一个或多个设备在计算资源124的存储系统或设备内，使用虚拟化技术。在一些实施方式中，在存储系统的上下文，虚拟化的类型可以包括块虚拟化和文件虚拟化。块虚拟化可以指，从物理存储器抽象(或分离)出逻辑存储器，使得可以在不考虑物理存储器或异类结构的情况下，访问存储系统。所述分离可以允许存储系统的管理员在管理员如何管理终端用户的存储方面，具有灵活性。文件虚拟化可以消除在文件级别存取的数据与文件的物理存储位置之间的依赖性。这样能够优化存储器的使用、服务器的整合、和/或无中断文件迁移的性能。
管理程序124-4可以提供硬件虚拟化技术，硬件虚拟化技术允许多个操作系统(例如，“客户操作系统”)同时在例如计算资源124的主计算机上执行。管理程序124-4可以给客户操作系统提供虚拟操作平台，并且可以管理客户操作系统的执行。多种操作系统的多个实例可以共享虚拟化硬件资源。
网络130包括一个或多个有线和/或无线网络。例如，网络130可以包括蜂窝网络(例如，第五代(Fifth Generation，5G)网络、长期演进(Long-term Evolution，LTE)网络、第三代(Third Generation，3G)网络、码分多址(Code Division Multiple Access，CDMA)网络等)、公共陆地移动网络(Public Land Mobile Network，PLMN)、局域网(Local AreaNetwork，LAN)、广域网(Wide Area Network，WAN)、城域网(Metropolitan Area Network，MAN)、电话网络(例如，公共交换电话网络(Public Switched Telephone Network，PSTN))、专用网络、混合网络、内网、因特网、基于光纤的网络等等，和/或这些或其它类型的网络的组合。
图1所示的设备和网络的数量和布置是作为示例提供的。实际上，与图1所示的设备和/或网络相比，可以存在额外的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或不同布置的设备和/或网络。此外，图1所示的两个或更多个设备可以在单个设备内实施，或者图1所示的单个设备可以实施为多个分布式设备。另外或替代地，环境100的一组设备(例如，一个或多个设备)可以执行被描述为由环境100的另一组设备执行的一个或多个功能。
图2是图1的一个或多个设备的示例组件的示意图。设备200可以对应于用户设备110和/或平台120。如图2所示，设备200可以包括总线210、处理器220、存储器230、存储组件240、输入组件250、输出组件260和通信接口270。
总线210包括允许设备200的组件之间进行通信的组件。处理器220以硬件、固件或硬件和软件的组合的方式实施。处理器220是中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、应用专用集成电路(ASIC)或另一类型的处理组件。在一些实施方式中，处理器220包括能够被编程以执行功能的一个或多个处理器。存储器230包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储设备(例如，闪存、磁存储器和/或光存储器)。
存储组件240存储与设备200的操作和使用有关的信息和/或软件。例如，存储组件240可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一类型的非易失性计算机可读存储介质，以及相应的驱动器。
输入组件250包括允许设备200例如经由用户输入(例如，触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)接收信息的组件。另外或替代地，输入组件250可以包括用于感测信息的传感器(例如，全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。输出组件260包括提供设备200的输出信息的组件(例如，显示器、扬声器、和/或一个或多个发光二极管(LED))。
通信接口270包括类似于收发器的组件(例如，收发器和/或单独的接收器和发送器)，该组件使设备200能够例如通过无线连接、有线连接、或无线连接与有线连接的组合，与其他设备通信。通信接口270可以包括以太网接口、光接口、同轴接口、红外接口、射频接口、通用串行总线接口、Wi-Fi接口、蜂窝网络接口等。
设备200可以执行本申请中描述的一个或多个处理过程。设备200可以响应于处理器220执行存储器230和/或存储组件240等非易失性计算机可读存储介质存储的软件指令，执行这些处理过程。计算机可读存储介质在本申请中定义为非易失性存储器设备。存储器设备包括单个物理存储设备内的存储空间，或分布在多个物理存储设备上的存储空间。
软件指令可以经由通信接口270，从另一计算机可读存储介质或另一设备，读入存储器230和/或存储组件240。当存储在存储器230和/或存储组件240中的软件指令执行时，可以使处理器220执行本申请中所描述的一个或多个处理过程。另外或替代地，可以使用硬连线电路代替软件指令，或与软件指令组合，以执行本申请中所描述的一个或多个处理过程。因此，本申请中所描述的实施方式不限于硬件电路和软件的任何特定组合。
图2所示的组件的数量和布置是作为示例提供的。实际上，与图2所示的组件相比，设备200可以包括额外的组件、更少的组件、不同的组件、或不同布置的组件。另外或替代地，设备200的一组组件(例如，一个或多个组件)可以执行被描述为由设备200的另一组组件执行的一个或多个功能。
本申请中描述的实施例设计为，利用病历文本和ECG信号数据两者，实现多个数据分析任务。多模式框架使用一个联合学习模块，该联合学习模型同步合并病历文本和ECG信号数据两者的信息。联合学习模块对病历文本和ECG信号数据，分别采用独立的学习模块，从这些不同的数据源提取数据特征，用于最终的推理模块。因此，多模式框架可以广泛地应用于各种类型的分析任务。它还可以使用背景知识，例如，几何性质和本体，进行分析。
图3是根据本申请实施例的用于基于患者的EMR和/或EHR和ECG信号数据的心脏异常分析的多模式框架300的示意图。
参考图3，多模式框架300包括文本学习模块310、信号学习模块320、联合学习模块330和分析模块340。
文本学习模块310从患者或用户的EMR和/或EHR提取第一情报信息，例如，症状、先前病史等。具体地，文本学习模块310从文本格式的EMR和/或EHR学习有价值的信息。在患者的病史记录中，特别是在他或她先前的病史和症状中，存在着用于心脏异常分析的线索。因此，文本学习模块310从这些记录中学习此第一情报信息。
信号学习模块320从患者的ECG信号数据中提取第二情报信息，第二情报信息表示波形样式、信号特性等。具体地，信号学习模块320接受不同格式(例如，单根导线、12根导线)的经预处理的ECG信号数据，作为输入，并生成特征向量，作为输出。
在模型方面，文本学习模块310和信号学习模块320中每一个模块都可以使用任何机器学习方法，例如，支持向量机(SVM)、随机森林(RF)、或者CNN和RNN等深度学习(DL)模型。分别训练文本学习模块310和信号学习模块320中每一个模块的参数，以获取专用于分组的提取方法。
联合学习模块330将从文本侧和信号侧提取的第一情报信息和第二情报信息合并，并生成和输出一个或多个特定表示(Representation)，即，一个或多个特征向量。具体地，在从病历侧和ECG信号侧两者提取第一情报信息和第二情报信息之后，联合学习模块330将所述信息组合在一起，用于最终分析。这些组合特征可以支持最终的心脏异常分析。
分析模块340基于一个或多个表示，执行并完成特定任务，例如，聚类、分类、预测等，然后实现多模式框架300的最终目标。具体地，分析模块340可以是ECG异常分析模块，其基于一个或多个表示，接受所提取的特征，并产生最终结果，例如，分类结果、异常值警报、和/或预测诊断。专用于任务的模块池是不同模型的集合，这些不同的模型用于各种与ECG相关的任务。例如，在专用于任务的模块池中，可以有若干种用于ECG监护和报警的统计过程控制算法、若干种用于计算机辅助诊断的预测模型和分类器模型、以及一些用于病理状态计算的统计工具。根据使用多模式框架300的目标，分析模块340从专用于任务的模块池中部署适当的工具，以完成端到端框架，并实现最终目标。
训练多模式框架300是端到端框架。与现有的ECG分析模型方法相比，多模式框架300可以从文本和信号数据两者学习和提取信息，以提供更准确的分析。
此外，多模式框架300可以接受不同类型的病历数据(例如，EMR和EHR)和不同类型的ECG数据(例如，单根导线、12根导线)，这些病例数据和ECG数据可以提供综合信息，以提高模型性能。
在本申请实施例中，文本学习模块310可以包括任何机器学习算法，例如，RNN、CNN或SVM。
在本申请实施例中，信号学习模块320可以包括任何机器学习算法，例如，RNN、CNN或SVM。
在本申请实施例中，联合学习模块330可以使用灵活的联合策略，例如，基于模型学习或专业知识的级联和加权组合。
多模式框架300被设计为端到端程序，其中，整个多模式框架300可以同时优化和改变。替代方案是一个逐步训练过程，其中，可以例如使用编码器和解码器结构，分别训练文本学习模块310和信号学习模块320中的每一个模块。
多模式框架300可以扩展到其它具有异类输入源的应用。
图4是根据本申请实施例的执行心脏异常分析的方法400的流程图。在一些实施方式中，图4的一个或多个处理框可以由平台120执行。在一些实施方式中，图4的一个或多个处理框可以由与平台120分开或包括平台的另一设备或一组设备(例如，用户设备110)执行。
如图4所示，在操作410中，方法400包括从用户的EMR和/或EHR学习文本信息。
在操作420中，方法400包括从用户的ECG信号数据学习信号信息。
在操作430中，方法400包括将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的一个或多个表示。
在操作440中，方法400包括对所生成的一个或多个表示执行心脏异常分析。
ECG信号数据可以包括单根导线ECG信号数据和12根导线ECG信号数据两者之一或两者。
信号信息可以包括一个或多个特征向量，该一个或多个特征向量表示波形样式和/或一个或多个信号特性。
学习文本信息和学习信号信息中的每一种学习，都可以包括使用SVM、RF、DL模型(包括CNN和RNN)中的任何一个或其任何组合，生成文本信息和包括一个或多个特征向量的信号信息中的相应一种信息。
将所学习的文本信息和所学习的信号信息合并可以包括：使用基于模型学习或专业知识的级联和加权组合，生成包括一个或多个特征向量的一个或多个表示。
执行心脏异常分析可以包括执行以下各项中的任一项或任意组合：对所生成的一个或多个表示进行聚类、对所生成的一个或多个表示进行分类、基于所生成的一个或多个表示进行诊断预测、以及基于所生成的一个或多个表示生成异常值警报。
学习文本信息、学习信号信息、将所学习的文本信息和所学习的信号信息合并、执行心脏异常分析是可以同步执行的。
虽然图4示出了方法400的示例性框，但是在一些实施方式中，与图4中所描绘的框相比，方法400可以包括额外的框、更少的框、不同的框、或布置不同的框。另外或替代地，方法400的两个或更多个框可以同步执行。
图5是根据本申请实施例的执行心脏异常分析的装置500的示意图。如图5所示，装置500包括第一学习代码510、第二学习代码520、合并代码530、执行代码540。
第一学习代码510用于从用户的EMR和/或EHR学习文本信息。
第二学习代码520用于从用户的ECG信号数据学习信号信息。
合并代码530用于将所学习的文本信息和所学习的信号信息合并，以生成合并后的文本信息和信号信息的表示。
执行代码540用于对所生成的表示执行心脏异常分析。
ECG信号数据可以包括单根导线的ECG信号数据和12根导线的ECG信号数据两者之一或两者。
信号信息可以包括一个或多个特征向量，该一个或多个特征向量表示波形样式和/或一个或多个信号特性。
第一学习代码和第二学习代码中的每一个代码可以进一步用于，使用SVM、RF、DL模型(包括CNN和RNN)中的任何一个或任何组合，生成文本信息和包括一个或多个特征向量的信号信息中的相应一种信息。
合并代码可以进一步用于使用基于模型学习或专业知识的级联和加权组合，生成包括一个或多个特征向量的一个或多个表示。
执行代码可以进一步用于执行以下各项中的任一项或任意组合：对所生成的一个或多个表示进行聚类、对所生成的一个或多个表示进行分类、基于所生成的一个或多个表示进行诊断预测、以及基于所生成的一个或多个表示生成异常值警报。
本申请实施例还提供了一种用于执行心脏异常分析的装置。所述装置包括：
第一学习模块，用于从用户的电子病历EMR和/或电子健康记录EHR学习文本信息；
第二学习模块，用于从所述用户的心电图ECG信号数据学习信号信息；
合并模块，用于将所学习的文本信息和所学习的信号信息合并，以生成合并后的所述文本信息和所述信号信息的一个或多个表示；以及
执行模块，用于对所生成的一个或多个表示执行所述心脏异常分析。
其中，所述ECG信号数据包括单根导线的ECG信号数据和12根导线的ECG信号数据两者之一或两者。
其中，所述信号信息包括一个或多个特征向量，该一个或多个特征向量表示波形样式和/或一个或多个信号特性。
其中，所述第一学习模块和所述第二学习模块中的每一个模块进一步用于，使用支持向量机SVM、随机森林RF、包括卷积神经网络CNN和递归神经网络RNN的深度学习DL模型中的任何一个或任何组合，生成所述文本信息和包括一个或多个特征向量的所述信号信息中的相应一种信息。
其中，所述合并模块进一步用于，使用基于模型学习或专业知识的级联和加权组合，生成包括一个或多个特征向量的所述一个或多个表示。
其中，所述执行模块进一步用于执行以下各项中的任一项或任何组合：对所生成的一个或多个表示进行聚类、对所生成的一个或多个表示进行分类、基于所生成的一个或多个表示进行诊断预测、基于所生成的一个或多个表示生成异常值警报。
前面的说明书提供了阐述和描述，但并不旨在穷举或将实施方式限制为所公开的精确形式。根据上述说明书，修改和变化是可能的，或者是可以从实践实施方式中获得。
如本申请中所使用的，术语“组件”旨在广义地解释为硬件、固件、或硬件和软件的组合。
很明显，本申请中描述的系统和/或方法可以以硬件、固件、或硬件和软件的组合的不同形式实施。用于实施这些系统和/或方法的实际专用控制硬件或软件代码并不限制实施方式。因此，在本申请中描述了系统和/或方法的操作和性能，而没有参考具体的软件代码——应理解，可以基于本申请中的描述，将软件和硬件设计为实施所述系统和/或方法。
即使权利要求中记载了特征的组合和/或在说明书中公开了特征的组合，这些组合也不旨在限制对可能的实施方式的公开。实际上，这些特征中的许多特征，可以以没有在权利要求中具体记载的方式和/或在说明书中公开的方式组合。虽然每个从属权利要求可以直接仅从属于一个权利要求，但是可能的实施方式的公开包括权利要求集中的每个从属权利要求与每个其它权利要求的组合。
本申请中使用的元件、动作、或指令，不应解释为关键的或必须的，除非明确说明。此外，如本申请中所使用，冠词“一个(a)”和“一个(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本申请中所使用，术语“集(set)”旨在包括一个或多个项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”互换使用。在仅意指一个项的情况下，使用术语“一个(one)”或类似语言。此外，如本申请中所使用，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在为开放式术语。此外，短语“基于”旨在表示“至少部分地基于”，除非另有明确说明。
Claims (14)
1.一种执行心脏异常分析的方法，其特征在于，所述方法包括：
从用户的电子病历EMR和/或电子健康记录EHR学习文本信息；
从所述用户的心电图ECG信号数据学习信号信息；
将所学习的文本信息和所学习的信号信息合并，以生成合并后的所述文本信息和所述信号信息的一个或多个表示；以及
对所生成的一个或多个表示执行所述心脏异常分析。
2.根据权利要求1所述的方法，其特征在于，所述ECG信号数据包括单根导线的ECG信号数据和12根导线的ECG信号数据两者之一或两者。
3.根据权利要求1所述的方法，其特征在于，所述信号信息包括一个或多个特征向量，该一个或多个特征向量表示波形样式和/或一个或多个信号特性。
4.根据权利要求1所述的方法，其特征在于，所述学习所述文本信息和所述学习所述信号信息中的每一种学习，包括使用支持向量机SVM、随机森林RF、包括卷积神经网络CNN和递归神经网络RNN的深度学习DL模型中的任何一个或任何组合，生成所述文本信息和包括一个或多个特征向量的所述信号信息中的相应一种信息。
5.根据权利要求1所述的方法，其特征在于，所述将所学习的文本信息和所学习的信号信息合并包括：使用基于模型学习或专业知识的级联和加权组合，生成包括一个或多个特征向量的所述一个或多个表示。
6.根据权利要求1所述的方法，其特征在于，所述执行所述心脏异常分析包括执行以下各项中的任一项或任何组合：对所生成的一个或多个表示进行聚类、对所生成的一个或多个表示进行分类、基于所生成的一个或多个表示进行诊断预测、基于所生成的一个或多个表示生成异常值警报。
7.根据权利要求1至6任一项权利要求所述的方法，其特征在于，所述学习所述文本信息、所述学习所述信号信息、所述将所学习的文本信息和所学习的信号信息合并、所述执行所述心脏异常分析是同步执行的。
8.一种用于执行心脏异常分析的装置，其特征在于，所述装置包括：
第一学习模块，用于从用户的电子病历EMR和/或电子健康记录EHR学习文本信息；
第二学习模块，用于从所述用户的心电图ECG信号数据学习信号信息；
合并模块，用于将所学习的文本信息和所学习的信号信息合并，以生成合并后的所述文本信息和所述信号信息的一个或多个表示；以及
执行模块，用于对所生成的一个或多个表示执行所述心脏异常分析。
9.根据权利要求8所述的装置，其特征在于，所述ECG信号数据包括单根导线的ECG信号数据和12根导线的ECG信号数据两者之一或两者。
10.根据权利要求8所述的装置，其特征在于，所述信号信息包括一个或多个特征向量，该一个或多个特征向量表示波形样式和/或一个或多个信号特性。
11.根据权利要求8所述的装置，其特征在于，所述第一学习模块和所述第二学习模块中的每一个模块进一步用于，使用支持向量机SVM、随机森林RF、包括卷积神经网络CNN和递归神经网络RNN的深度学习DL模型中的任何一个或任何组合，生成所述文本信息和包括一个或多个特征向量的所述信号信息中的相应一种信息。
12.根据权利要求8所述的装置，其特征在于，所述合并模块进一步用于，使用基于模型学习或专业知识的级联和加权组合，生成包括一个或多个特征向量的所述一个或多个表示。
13.根据权利要求8至12任一项权利要求所述的装置，其特征在于，所述执行模块进一步用于执行以下各项中的任一项或任何组合：对所生成的一个或多个表示进行聚类、对所生成的一个或多个表示进行分类、基于所生成的一个或多个表示进行诊断预测、基于所生成的一个或多个表示生成异常值警报。
14.一种非易失性计算机可读存储介质，存储有指令，其特征在于，当所述指令由设备的至少一个处理器执行时，使得所述至少一个处理器执行权利要求1至7任一项的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/378,772 US20200327985A1 (en) | 2019-04-09 | 2019-04-09 | Multimodal framework for heart abnormalities analysis based on emr/ehr and electrocardiography |
| US16/378,772 | 2019-04-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111798944A true CN111798944A (zh) | 2020-10-20 |
Family
ID=72747528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010127654.6A Pending CN111798944A (zh) | 2019-04-09 | 2020-02-28 | 基于emr/ehr和心电图的心脏异常分析多模式框架 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20200327985A1 (zh) |
| CN (1) | CN111798944A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113509185A (zh) * | 2021-04-25 | 2021-10-19 | 安徽十锎信息科技有限公司 | 基于多模态病人信息注意力建模的心肌梗塞分类方法 |
| TWI834286B (zh) * | 2022-09-12 | 2024-03-01 | 長庚醫療財團法人林口長庚紀念醫院 | 重大心血管疾病預測系統及重大心血管疾病預測方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818315B (zh) * | 2021-02-26 | 2022-03-15 | 山东大学 | 一种融合多特征信息的心电信号身份识别方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106901723A (zh) * | 2017-04-20 | 2017-06-30 | 济南浪潮高新科技投资发展有限公司 | 一种心电图异常自动诊断方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11514244B2 (en) * | 2015-11-11 | 2022-11-29 | Adobe Inc. | Structured knowledge modeling and extraction from images |
| JP6450032B2 (ja) * | 2016-01-27 | 2019-01-09 | 日本電信電話株式会社 | 作成装置、作成方法、および作成プログラム |
-
2019
- 2019-04-09 US US16/378,772 patent/US20200327985A1/en not_active Abandoned
-
2020
- 2020-02-28 CN CN202010127654.6A patent/CN111798944A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106901723A (zh) * | 2017-04-20 | 2017-06-30 | 济南浪潮高新科技投资发展有限公司 | 一种心电图异常自动诊断方法 |
Non-Patent Citations (2)
| Title |
|---|
| ZHEN-JIE YAO 等: "Applying Deep Learning to Individual and Community Health Monitoring Data: A Survey", INTERNATIONAL JOURNAL OF AUTOMATION AND COMPUTING, vol. 15, no. 6, 31 December 2018 (2018-12-31), pages 643 - 655, XP036635912, DOI: 10.1007/s11633-018-1136-9 * |
| 胡丹青: "基于电子病历的急性冠脉综合征患者主要不良心血管事件预测", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 8, 15 August 2017 (2017-08-15), pages 062 - 39 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113509185A (zh) * | 2021-04-25 | 2021-10-19 | 安徽十锎信息科技有限公司 | 基于多模态病人信息注意力建模的心肌梗塞分类方法 |
| TWI834286B (zh) * | 2022-09-12 | 2024-03-01 | 長庚醫療財團法人林口長庚紀念醫院 | 重大心血管疾病預測系統及重大心血管疾病預測方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20200327985A1 (en) | 2020-10-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jahmunah et al. | Explainable detection of myocardial infarction using deep learning models with Grad-CAM technique on ECG signals | |
| Sevakula et al. | State‐of‐the‐art machine learning techniques aiming to improve patient outcomes pertaining to the cardiovascular system | |
| CN111798944A (zh) | 基于emr/ehr和心电图的心脏异常分析多模式框架 | |
| CA3069891A1 (en) | Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions | |
| Xiong et al. | Deep learning for detecting and locating myocardial infarction by electrocardiogram: A literature review | |
| CN107714024A (zh) | 用于监测心脏活动的方法、系统及装置 | |
| CN111095232A (zh) | 发掘用于机器学习技术中的基因组 | |
| US11596344B2 (en) | Deep neural network on ECG Poincare plot for atrial fibrillation classification | |
| Li et al. | Enabling health monitoring as a service in the cloud | |
| CN111358460A (zh) | 心律失常的识别方法、装置及电子设备 | |
| KR101977745B1 (ko) | 심장 부정맥을 분류하기 위한 방법 및 장치 | |
| CN113693611B (zh) | 基于机器学习的心电数据分类方法及装置 | |
| Ilbeigipour et al. | Real‐Time Heart Arrhythmia Detection Using Apache Spark Structured Streaming | |
| Rouhani et al. | A comparison of different feature extraction methods for diagnosis of valvular heart diseases using PCG signals | |
| US11521743B2 (en) | Framework for performing electrocardiography analysis | |
| US11763944B2 (en) | System and method for clinical decision support system with inquiry based on reinforcement learning | |
| KR102589471B1 (ko) | 데이터 증강 장치 및 방법 | |
| US11672467B2 (en) | User device based Parkinson's disease detection | |
| US11986307B2 (en) | Digital signal processing assistant modeling method for biosignal analysis | |
| US11450424B2 (en) | Training framework for multi-group electrocardiography (MG-ECG) analysis | |
| Feng et al. | A High-Performance Anti-Noise Algorithm for Arrhythmia Recognition | |
| Gan et al. | An arrhythmia classification method based on deep learning parallel network model | |
| Vu et al. | Real-time arrhythmia detection using convolutional neural networks | |
| US11324457B2 (en) | Explainable artificial intelligence framework for electrocardiography analysis | |
| JP2018110725A (ja) | 波形表示装置、波形表示方法、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Du Nan Inventor after: Wang Kun Inventor after: Tu Min Inventor after: Zhang Shangqing Inventor after: Tang Hui Inventor after: Lin Siyao Inventor after: Fan Wei Inventor before: Du Nan Inventor before: Wang Kun Inventor before: Tu Min Inventor before: Zhang Shangqing Inventor before: Tan Hui Inventor before: Lin Siyao Inventor before: Fan Wei |