CN110507311A - 一种基于图像信息的心电分析方法、装置、设备及介质 - Google Patents
一种基于图像信息的心电分析方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN110507311A CN110507311A CN201910798503.0A CN201910798503A CN110507311A CN 110507311 A CN110507311 A CN 110507311A CN 201910798503 A CN201910798503 A CN 201910798503A CN 110507311 A CN110507311 A CN 110507311A
- Authority
- CN
- China
- Prior art keywords
- electrocardiogram
- image
- pieces
- subgraph
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/321—Accessories or supplementary instruments therefor, e.g. cord hangers
- A61B5/322—Physical templates or devices for measuring ECG waveforms, e.g. electrocardiograph rulers or calipers
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
- A61B5/346—Analysis of electrocardiograms
- A61B5/349—Detecting specific parameters of the electrocardiograph cycle
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Cardiology (AREA)
- Physics & Mathematics (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Artificial Intelligence (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本发明实施例公开了一种基于图像信息的心电分析方法、装置、设备及介质,所述方法包括:获取图片格式的心电图图像;将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。通过采用上述技术方案,实现了基于图片心电图的智能分析,极大地扩展了心电分析方法的应用场景。
Description
技术领域
本发明实施例涉及心电分析领域,尤其涉及一种基于图像信息的心电分析方法、装置、设备及介质。
背景技术
心电图检查根据临床使用情况可以分成:静态心电图、动态心电图和运动心电图。其中,静态心电图采用12导联记录一段时间内的心电信号进行分析,对各种心律失常和传导阻滞的诊断分析具有肯定价值,是冠心病诊断中最常用的诊断方法。
静态心电图的检查装置主要由心电信号采集记录仪、导联系统和计算机软件三部分组成。心电信号采集记录仪负责采集测量并记录患者的心电图数据,由于在患者接受心电图检查过程中,很容易受到外界的各种干扰,因此,对心电信号采集记录仪的采样频率、分辨率以及抗干扰等性能的要求较高。高性能的心电信号采集记录仪采集的静态心电信号波形信噪比高、信号保真强,这对于后续的分析计算有非常大的帮助。导联系统包括电极片和导联线。计算机软件用于基于心电信号采集记录仪所采集的心电信号进行心电图的波形显示。
目前,基于静态心电图的诊断方法主要是依靠经验资深的专业医生通过观察生成的心电图报告进行诊断。但在各级基础医院,由于没有足够多的经验资深的专业医生,导致无法高效地基于静态心电图对患者的身体状态进行诊断。针对该问题,出现了基于人工智能的心电图分析方法,但是,目前的基于人工智能的心电图分析方法存在如下问题:一方面,训练好的智能异常心电分类模型只能接收波形数据,例如基于波形的幅值等数据进行心电图的智能分析,而通常只有医院或者配有电子心电图管理系统的机构才能获取到心电图的波形数据,因此上述约束条件极大地限制了智能异常心电分类模型的应用场景。
发明内容
本发明实施例提供一种基于图像信息的心电分析方法、装置、设备及介质,通过所述方法实现了基于图片心电图的智能分析,极大地扩展了心电分析方法的应用场景。
第一方面,本发明实施例提供了一种基于图像信息的心电分析方法,所述方法包括:
获取图片格式的心电图图像;
将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;
将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;
将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
第二方面,本发明实施例提供了一种基于图像信息的心电分析装置,所述装置包括:
获取模块,用于获取图片格式的心电图图像;
切割模块,用于将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;
叠加模块,用于将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;
分析模块,用于将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
第三方面,本发明实施例提供了一种电子设备,包括第一存储器、第一处理器及存储在存储器上并可在第一处理器上运行的计算机程序,所述第一处理器执行所述计算机程序时实现如上述第一方面所述的基于图像信息的心电分析方法。
第四方面,本发明实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时实现如上述第一方面所述的基于图像信息的心电分析方法。
本发明实施例提供的一种基于图像信息的心电分析方法,通过获取图片格式的心电图图像;将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息的技术手段,实现了基于图片心电图的智能分析,极大地扩展了心电分析方法的应用场景。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对本发明实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据本发明实施例的内容和这些附图获得其他的附图。
图1为本发明实施例一提供的一种基于图像信息的心电分析方法流程示意图;
图2为本发明实施例一提供的一种心电图示意图;
图3为本发明实施例一提供的一种由三块子图像叠加而成的心电图子图像包的显示示意图;
图4为本发明实施例一提供的另一种基于图像信息的心电分析方法流程示意图;
图5为本发明实施例二提供的一种异常心电分类模型的生成过程示意图;
图6为本发明实施例三提供的一种基于图像信息的心电分析装置结构示意图;
图7为本发明实施例四提供的一种电子设备的结构示意图。
具体实施方式
为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚,下面将结合附图对本发明实施例的技术方案作进一步的详细描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
图1为本发明实施例一提供的一种基于图像信息的心电分析方法流程示意图。本实施例公开的基于图像信息的心电分析方法可适用于对图片格式的心电图图像进行智能分析的场景,所述图片格式的心电图例如包括用户通过手机拍照、屏幕截图等方式获取到的心电图图像。所述基于图像信息的心电分析方法可以由基于图像信息的心电分析装置来执行,其中该装置可由软件和/或硬件实现。具体参见图1所示,该方法包括如下步骤:
步骤110、获取图片格式的心电图图像。
其中,获取图片格式的心电图图像,包括:
通过屏幕截图获取心电图图像;
或者,通过拍照获取心电图图像;
或者,从心电图管理系统直接导出心电图图像。
图片格式的心电图图像在任何场景下都能容易获取,例如,在路上,车上或者其他任何地方,只要用户有纸质心电图图像或者电子版的心电图图像,均可以通过拍照或者截图的方式获得图片格式的心电图图像。本实施例提供的心电分析方法可以基于图片格式的心电图图像进行心电的智能分析,极大地扩展了心电分析方法的应用场景,提高了该方法的实用性。
所述心电图图像包括12导联静态心电图图像。静态心电图一般使用标准12导联体系,包括Ⅰ、Ⅱ和Ⅲ三个肢体导联,V1、V2、V3、V4、V5和V6六个胸导联,以及aVR、aVL和aVF三个加压导联。具体可参见图2所示的一种心电图示意图,为了清晰显示心电图波形,图2中仅示出了部分导联的心电波形供参考。
步骤120、将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像。
例如,所述心电图图像的尺寸为900*900像素,通过对所述心电图图像进行均匀切割,可得到三块300*300像素的心电图子图像。
深度学习网络通常处理尺寸为224*224像素的图片,当所述心电图图像的尺寸超过或者小于224*224时,需要对所述心电图图像进行均匀切割,以得到尺寸等于或者接近224*224像素的心电图子图像,适配异常心电分类模型的输入要求。
需要说明的是,对所述心电图图像的尺寸进行调整还可通过对所述心电图图像进行压缩或者放大的方式实现,该种方式以牺牲图像信息为代价,通常压缩或者放大的尺度越大,处理后的图像清晰度下降的越多。因此,本实施例的方案中优选通过对所述心电图图像进行均匀切割的方式实现对所述心电图图像尺寸的调整。
示例性的,所述心电图子图像的数量为3块,对应该3块所述心电图子图像的颜色通道分别为红色通道、绿色通道及蓝色通道。
具体的,参见图2所示的心电图示意图,心电图的横轴表示时间,纵轴表示幅值,本实施例采用的图像切割方法具体是在心电图的横向,即时间方向,将心电图平均切割为三块尺寸相等的心电图子图像。
进一步的,若所述心电图子图像的尺寸与设定值不符,对所述心电图子图像进行预处理,得到尺寸符合设定值的心电图子图像;
对应的,下述步骤130具体为:将至少两块所述尺寸符合设定值的心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述符合设定值的心电图子图像叠加而成的心电图子图像包。
所述预处理具体为对所述心电图子图像进行压缩处理,以使其尺寸所述设定值。需要说明的是,由于深度学习网络通常处理224*224像素的图片,而心电图图像的尺寸往往比224*224像素大的多,因此,本实施例的方案中优先对所述心电图图像进行均匀切割,以达到缩小所述心电图图像尺寸的目的。而目前在图像处理领域,彩色图像显示是通过R通道、G通道和B通道,即红色通道、绿色通道和蓝色通道实现的,通过R通道的图像被显示为红色,通过G通道的图像被显示为绿色,通过B通道的图像被显示为蓝色。因此,最多只能将所述心电图图像均匀切割为尺寸相等的3块子图像,若切割后得到的子图像的尺寸仍然大于设定值(例如224*224),则再对所述子图像进行缩放处理,以得到尺寸小于或者等于(优选为等于,因为对子图像缩放的尺度越大,图像信息损失的越多)设定值的子图像。由于经过切割得到的子图像的尺寸小于所述心电图图像的尺寸,因此先对所述心电图图像进行切割,再对切割得到的子图像进行压缩处理,得到尺寸等于所述设定值的子图像,相比于直接对所述心电图图像进行压缩处理,得到尺寸等于所述设定值的图像,对原有图像信息的损失较小。
步骤130、将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包。
例如,所述心电图子图像的数量为3块,分别标记为图像1、图像2和图像3,则可将图像1放置在R通道,将图像2放置在G通道,将图像3放置在B通道,得到由图像1、图像2和图像3叠加而成的心电图子图像包。具体的,可参见图3所示的一种由三块子图像叠加而成的心电图子图像包的显示示意图。
本实施例通过将三块心电图子图像放置在不同的颜色通道,实现了对整副心电图图像的叠加,进而实现了将整幅心电图图像输入至训练好的异常心电分类模型的目的,充分利用了不同导联的心电波形信息,通过不同通道信号的叠加,充分利用了不同导联内包含的信息,从而实现了对整幅心电图图像的智能分类。
步骤140、将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
其中,所述异常心电分类信息包括:正常、室性早搏、心室预激波、完全性左束支阻滞、完全性右束支阻滞、心房颤动、心房扑动、房性逸搏、房性早搏或者房性心动过速中的至少一种。
所述训练好的异常心电分类模型基于训练样本训练得到,所述训练样本包括标注有异常心电分类信息的心电图图像,所述心电图图像的格式为图片格式;
所述训练好的异常心电分类模型基于Keras框架的Resnet-Master类库进行学习得到。
基于训练样本对异常心电分类模型进行训练包括:
将训练样本进行均匀切割,得到至少两块尺寸相等的子样本;
若所述子样本的尺寸仍然不符合设定值,则对所述子样本分别进行缩放或者放大处理,以得到尺寸符合设定值的子样本;
将所述至少两块尺寸符合设定值的子样本分别通过对应不同的颜色通道,以形成由至少两块所述子样本叠加而成的心电图子图像包;
将所述心电图子图像包输入至异常心电分类模型,对异常心电分类模型进行训练。
若输入至深度学习网络的图像太大时,会耗费深度学习网络较多的计算资源,进而导致深度学习网络的运算速度变慢。本实施例通过对心电图图像进行切割,并将切割后的子图像通过三个不同的颜色通道输入至深度学习网络,在不损失原始图像信息的前提下,减小了图像尺寸,提高了深度学习网络的运算速度。
本实施例提供的基于图像信息的心电分析方法,是将整幅待识别心电图图像一次输入至异常心电分类模型,异常心电分类模型根据整幅心电图图像的特征进行异常心电分类信息的分类,而不是根据整幅心电图图像的局部特征单独进行异常心电分类信息的分类,然后再对分类得到的异常心电分类信息进行汇总得到整幅心电图图像对应的异常心电分类信息。
具体的,参见图4所示的另一种基于图像信息的心电分析方法的流程示意图:所述方法包括:
步骤410、获取图片格式的心电图图像。
步骤420、若所述心电图图像的尺寸超过设定值,对所述心电图图像进行均匀切割,得到3块尺寸相等的心电图子图像。
步骤430a、若所述心电图子图像的尺寸符合设定值(具体指小于或者等于设定值),则将所述3块尺寸相等的心电图子图像确定为所述待识别心电图图像。
步骤430b、若所述心电图子图像的尺寸不符合所述设定值,则对所述3块心电图子图分别进行压缩处理,以得到尺寸符合设定值的待识别心电图图像。
具体的,若所述心电图子图像的尺寸仍然超过所述设定值,则对所述3块心电图子图分别进行压缩处理,以得到尺寸符合设定值的待识别心电图图像;
步骤440、将所述3块尺寸相等的待识别心电图图像通过三个不同的颜色通道输入至训练好的异常心电分类模型,得到异常心电分类信息。
本实施例提供的一种基于图像信息的心电分析方法,可基于图片格式的心电图图像进行异常心电分类信息的识别,极大地扩展了该方法的应用场景及实用性;若原始心电图图像的尺寸超过异常心电分类模型可兼容的尺寸时,通过将原始心电图图像均匀切割成三块尺寸相等的子图像,在不损失图像信息的基础上实现了缩小心电图图像尺寸的目的;通过将三块尺寸相等的子图像放置在三个不同的颜色通道,实现了通过不同的显示颜色对整幅心电图图像的叠加,进而实现了将整幅心电图图像一次输入至异常心电分类模型的目的,实现了基于整幅心电图图像进行异常心电分类信息的识别,提高了识别精度。
实施例二
图5为本发明实施例二提供的一种上述实施例所采用的异常心电分类模型的生成过程示意图。具体参见图5所示,所述异常心电分类模型生成过程包括如下阶段:
510、心电图图像采集阶段。
本实施例采集的是10秒的12导联静态心电图,其格式可以为任意图片格式,例如:bmp.、jpg.或者png.等,图片格式是比较通用的数据格式,在任何场景下均能轻易获取,可以直接从心电图管理系统导出,屏幕截图或者手机拍照等,而无需为了获取心电图图像而开发与心电图机适配的专用接口,降低了心电图图像数据获取难度,缩短了采集周期。为了保证样本的有效性和均衡性,可以有针对性地采集心电图图像,例如每种异常心电分类信息对应的心电图图像各5000份,可以由医生手动筛选,也可以通过编制小程序自动完成数据筛选。采集阶段所采集的心电图图像均为以往患者的心电图图像,其上标注有对应的异常心电分类信息。
为了降低样本数据需求量,可对同一幅心电图图像进行数据增强变换,以基于同一幅心电图图像得到多幅训练样本图像。例如对同一幅心电图图像进行平移、缩放、旋转或者亮度调整等操作,可得到多幅心电图图像样本。同时该操作还有效解决了手机在不同光照环境、不同拍摄角度下拍摄导致的图像干扰问题。
520、心电图图像预处理阶段。
由于目前深度学习网络通常处理224*224像素的图片,而一幅完整的心电图图像比这个尺寸(224*224像素)要大很多,本方案将单通道心电图图像切割后,再叠加为RGB三通道心电图,这样设计的好处是将大尺寸心电图图片在不损失图像信息的情况下缩小了3倍,对应的学习网络的处理能力增大3倍。以上是本方案的独创之处,目前其他的机器学习方法都是将心电图图像以心跳为粒度切割成几十个小块,针对每个小块进行单独学习,缺乏小块之间的上下文信息,因此学习精度较低。
具体的,本实施例通过将每幅心电图图像在横向,即在时间方向均匀切割为3块尺寸相等的子图像,然后将3块子图像分别放置在不同的颜色通道,通过不同的颜色进行叠加显示,实现了将整幅心电图图像输入至学习网络进行特征学习。
对于像通过手机拍摄得到的心电图图像,图像质量参差不齐,而且很多12导联的心电图图像波形会发生交叉重叠的现象,即使是人工区分也很难将其分割开来,若采用传统的处理方式,将一幅心电图图像以心跳为粒度切割为几十个图像小块,再分别单独进行学习,不仅在切割环节会有很大的误差,同时由于缺乏心跳之间的联系信息,学习效果也较差。针对此,本实施例的技术方案是将一幅12导联的心电图图像作为一个整体输入给学习网络进行特征学习,而不是将心电图图像切割成单独的小块输入给学习网络进行单独学习,提高了特征学习精度。
530、机器学习阶段。
在机器学习建模方面,本申请提出的一种有效的异常心电分类信息分类方法是基于ResNet残差网络,最近的研究表明其在模式识别上有显著的性能表现。每个12导联的心电图图像被转化为一副RGB彩色图作为ResNet的输入数据。同时训练样本并不需要经过类似噪声滤波、特征提取等形式的预处理,减少了训练样本的预处理操作,降低了复杂度。
在模型训练方面,本实施例采用基于Keras框架的Resnet-Master类库,进行多分类的学习。本案取20%的数据作为测试数据集、80%的数据作为训练数据集。同时为了保证测试的有效性,来自同一幅心电图的样本不会同时被分配到训练集和测试集。为了获得较佳的模型,我们在训练数据中抽取20%作为验证集,采用自动判断停止器,若连续5轮精度不提升,损失函数不减少,则停止训练。为了提升训练速度,本案使用4块Nvidia 1080Ti显卡并行训练。
在模型评估方面,本案共标注和训练了包括正常在内的10类异常心电分类信息,分别是正常、室性早搏、心室预激波、完全性左束支阻滞、完全性右束支阻滞、心房颤动、心房扑动、房性逸搏、房性早搏、房性心动过速。其中正常、完全性左束支阻滞、完全性右束支阻滞、心室预激波由于在形态特征上较为显著,所以较容易识别,模型的预测效果最好。
本实施例提供的异常心电分类模型生成方案中,以整幅心电图为输入数据,结合相应的诊断策略,本案可对静态心电图提供有参考价值的诊断结果,可辅助医生进行心电图的诊断,降低误诊率。同时可在多种苛刻环境下,如急救车内,通过手机或摄像头拍照的方式进行心电图的智能诊断;在动态心电图的应用方面,本案提供的异常心电分类模型可做到秒级响应,可在动态心电监测中进行实时的检测和预警,大大减少医生分析动态心电图的时间,提高诊断效率。
实施例三
图6为本发明实施例三提供的一种基于图像信息的心电分析装置结构示意图。参见图6所示,所述装置包括:获取模块610、切割模块620、叠加模块630和分析模块640;
其中,获取模块610,用于获取图片格式的心电图图像;切割模块620,用于将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;叠加模块630,用于将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;分析模块640,用于将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
进一步的,所述心电图子图像的数量为3块,对应该3块所述心电图子图像的颜色通道分别为红色通道、绿色通道及蓝色通道。
进一步的,所述装置还包括:预处理模块,用于将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包之前,若所述心电图子图像的尺寸与设定值不符,对所述心电图子图像进行预处理,得到尺寸符合设定值的心电图子图像;
对应的,叠加模块630具体用于:
将至少两块所述尺寸符合设定值的心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述符合设定值的心电图子图像叠加而成的心电图子图像包。
进一步的,获取模块610具体用于:
通过屏幕截图获取心电图图像;
或者通过拍照获取心电图图像。
进一步的,所述训练好的异常心电分类模型基于训练样本训练得到,所述训练样本包括标注有异常心电分类信息的心电图图像,所述心电图图像的格式为图片格式;
所述训练好的异常心电分类模型基于Keras框架的Resnet-Master类库进行学习得到。
进一步的,所述装置还包括训练样本获取模块,用于获取训练样本;
所述训练样本获取模块包括:
变换单元,用于对当前心电图图像进行平移、缩放、旋转或者亮度调节操作,得到至少一张当前心电图图像的变换图像;
确定单元,用于将当前心电图图像、以及所述至少一张当前心电图图像的变换图像确定为训练样本。
进一步的,所述装置还包括训练模块,用于基于训练样本对异常心电分类模型进行训练,具体包括:
切割单元,用于将训练样本进行均匀切割,得到至少两块尺寸相等的子样本;
压缩单元,用于若所述子样本的尺寸仍然不符合设定值,则对所述子样本分别进行压缩处理,以得到尺寸符合设定值的子样本;
叠加单元,用于将所述至少两块尺寸符合设定值的子样本分别通过对应不同的颜色通道,以形成由至少两块所述子样本叠加而成的心电图子图像包;
输入单元,用于将所述心电图子图像包输入至异常心电分类模型,对异常心电分类模型进行训练。
本实施例提供的基于图像信息的心电分析装置,可基于图片格式的心电图图像进行异常心电分类信息的识别,极大地扩展了该方法的应用场景及实用性;若原始心电图图像的尺寸超过异常心电分类模型可接受的尺寸时,通过将原始心电图图像均匀切割成三块尺寸相等的子图像,在不损失图像信息的基础上实现了缩小心电图图像尺寸的目的;通过将三块尺寸相等的子图像放置在三个不同的颜色通道,实现了通过不同的显示颜色对整幅心电图图像的叠加,进而实现了将整幅心电图图像一次输入至异常心电分类模型的目的,实现了基于整幅心电图图像进行异常心电分类信息的识别,提高了识别精度。
本实施例提供的基于图像信息的心电分析装置可执行上述任一实施例所提供的基于图像信息的心电分析方法,具备相应的功能模块,未在本实施例解释清楚的内容可参考上述方法实施例。
实施例四
图7为本发明实施例四提供的一种电子设备的结构示意图。如图7所示,该电子设备包括:第一处理器670、第一存储器671及存储在第一存储器671上并可在第一处理器670上运行的计算机程序;其中,第一处理器670的数量可以是一个或多个,图7中以一个第一处理器670为例;第一处理器670执行所述计算机程序时实现如上述实施例一中所述的基于图像信息的心电分析方法。如图7所示,所述电子设备还可以包括第一输入装置672和第一输出装置673。第一处理器670、第一存储器671、第一输入装置672和第一输出装置673可以通过总线或其他方式连接,图7中以通过总线连接为例。
第一存储器671作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中基于图像信息的心电分析装置/模块(例如,基于图像信息的心电分析装置中的获取模块610、切割模块620、叠加模块630和分析模块640等)。第一处理器670通过运行存储在第一存储器671中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述的基于图像信息的心电分析方法。
第一存储器671可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,第一存储器671可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,第一存储器671可进一步包括相对于第一处理器670远程设置的存储器,这些远程存储器可以通过网络连接至电子设备/存储介质。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
第一输入装置672可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。第一输出装置673可包括显示屏等显示设备。
实施例五
本发明实施例五还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像信息的心电分析方法,该方法包括:
获取图片格式的心电图图像;
将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;
将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;
将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的基于图像信息的心电分析相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,存储介质,或者网络设备等)执行本发明各个实施例所述的。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于图像信息的心电分析方法,其特征在于,包括:
获取图片格式的心电图图像;
将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;
将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;
将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
2.根据权利要求1所述的基于图像信息的心电分析方法,其特征在于,所述心电图子图像的数量为3块,对应该3块所述心电图子图像的颜色通道分别为红色通道、绿色通道及蓝色通道。
3.根据权利要求1所述的基于图像信息的心电分析方法,其特征在于,将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包之前,所述方法还包括:
若所述心电图子图像的尺寸与设定值不符,对所述心电图子图像进行预处理,得到尺寸符合设定值的心电图子图像;
对应的,将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包,包括:将至少两块所述尺寸符合设定值的心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述符合设定值的心电图子图像叠加而成的心电图子图像包。
4.根据权利要求1所述的方法,其特征在于,所述获取图片格式的心电图图像,包括:
通过屏幕截图获取心电图图像;
或者通过拍照获取心电图图像。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述训练好的异常心电分类模型基于训练样本训练得到,所述训练样本包括标注有异常心电分类信息的心电图图像,所述心电图图像的格式为图片格式;
所述训练好的异常心电分类模型基于Keras框架的Resnet-Master类库进行学习得到。
6.根据权利要求5所述的方法,其特征在于,还包括:获取训练样本,
所述获取训练样本包括:
对当前心电图图像进行平移、缩放、旋转或者亮度调节操作,得到至少一张当前心电图图像的变换图像;
将当前心电图图像、以及所述至少一张当前心电图图像的变换图像确定为训练样本。
7.根据权利要求5所述的方法,其特征在于,还包括:基于训练样本对异常心电分类模型进行训练,
所述基于训练样本对异常心电分类模型进行训练包括:
将训练样本进行均匀切割,得到至少两块尺寸相等的子样本;
若所述子样本的尺寸仍然不符合设定值,则对所述子样本分别进行压缩处理,以得到尺寸符合设定值的子样本;
将所述至少两块尺寸符合设定值的子样本分别通过对应不同的颜色通道,以形成由至少两块所述子样本叠加而成的心电图子图像包;
将所述心电图子图像包输入至异常心电分类模型,对异常心电分类模型进行训练。
8.一种基于图像信息的心电分析装置,其特征在于,所述装置包括:
获取模块,用于获取图片格式的心电图图像;
切割模块,用于将所述心电图图像均匀切割,以形成至少两块尺寸相等的心电图子图像;
叠加模块,用于将至少两块所述心电图子图像分别通过对应不同的颜色通道,以形成由至少两块所述心电图子图像叠加而成的心电图子图像包;
分析模块,用于将所述心电图子图像包输入至训练好的异常心电分类模型,得到异常心电分类信息。
9.一种电子设备,包括第一存储器、第一处理器及存储在存储器上并可在第一处理器上运行的计算机程序,其特征在于,所述第一处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的基于图像信息的心电分析方法。
10.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时实现如权利要求1-7中任一项所述的基于图像信息的心电分析方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910798503.0A CN110507311B (zh) | 2019-08-27 | 2019-08-27 | 一种基于图像信息的心电分析方法、装置、设备及介质 |
PCT/CN2020/111581 WO2021037101A1 (zh) | 2019-08-27 | 2020-08-27 | 基于图像信息的心电分析方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910798503.0A CN110507311B (zh) | 2019-08-27 | 2019-08-27 | 一种基于图像信息的心电分析方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110507311A true CN110507311A (zh) | 2019-11-29 |
CN110507311B CN110507311B (zh) | 2022-07-19 |
Family
ID=68628162
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910798503.0A Active CN110507311B (zh) | 2019-08-27 | 2019-08-27 | 一种基于图像信息的心电分析方法、装置、设备及介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110507311B (zh) |
WO (1) | WO2021037101A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111523502A (zh) * | 2020-04-30 | 2020-08-11 | 上海交通大学医学院附属瑞金医院 | 一种心电图图像处理方法、设备、介质和心电图仪 |
WO2021037101A1 (zh) * | 2019-08-27 | 2021-03-04 | 中科麦迪人工智能研究院(苏州)有限公司 | 基于图像信息的心电分析方法、装置、设备及介质 |
CN115736939A (zh) * | 2022-11-24 | 2023-03-07 | 北京哈特瑞姆医疗技术服务有限公司 | 房颤患病概率生成方法、装置、电子设备和存储介质 |
CN118398178A (zh) * | 2024-06-28 | 2024-07-26 | 贵州众致合一科技发展有限公司 | 一种处理心电力图干扰波形的辅助系统 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1393204A (zh) * | 2001-06-26 | 2003-01-29 | 陈士良 | 心电频谱图测量仪 |
US20070276274A1 (en) * | 2006-05-26 | 2007-11-29 | Hiroshi Kawada | Electrocardiogram analyzer |
CN101336844A (zh) * | 2007-07-05 | 2009-01-07 | 株式会社东芝 | 医用图像处理装置以及医用图像诊断装置 |
CN101452578A (zh) * | 2007-12-06 | 2009-06-10 | 精工爱普生株式会社 | 用于在图形环境中进行颜色格式转换的系统和方法 |
US20110176710A1 (en) * | 2005-10-25 | 2011-07-21 | Bracco Imaging S.P.A. | Method and system for automatic processing and evaluation of images, particularly diagnostic images |
JP2011147469A (ja) * | 2010-01-19 | 2011-08-04 | Rohm Co Ltd | 生体情報取得装置 |
US20120300050A1 (en) * | 2011-05-27 | 2012-11-29 | Lvmh Recherche | Method for characterizing the tone of the skin and integuments |
CN103637795A (zh) * | 2013-12-30 | 2014-03-19 | 中国人民解放军总医院 | 心电图机自动诊断功能检测方法 |
CN104061907A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
US20150302605A1 (en) * | 2014-04-18 | 2015-10-22 | Kabushiki Kaisha Toshiba | Medical image diagnosis apparatus and medical image processing apparatus |
CN105321171A (zh) * | 2014-08-01 | 2016-02-10 | 奥多比公司 | 针对实况相机馈送的图像分割 |
WO2016207745A1 (en) * | 2015-06-22 | 2016-12-29 | D-Heart S.R.L.S. | Electronic system to control the acquisition of an electrocardiogram |
CN107220644A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种心电图扫描图像倾斜度校正方法 |
WO2018160839A1 (en) * | 2017-03-01 | 2018-09-07 | The Regents Of The University Of California | System and method for improved diffusion-weighted imaging |
US20180262744A1 (en) * | 2017-02-07 | 2018-09-13 | Mindmaze Holding Sa | Systems, methods and apparatuses for stereo vision |
US10123738B1 (en) * | 2017-07-03 | 2018-11-13 | Spyros Kokolis | Methods and apparatus for skin color patient monitoring |
CN108968951A (zh) * | 2018-08-15 | 2018-12-11 | 武汉中旗生物医疗电子有限公司 | 心电图检测方法、装置及系统 |
CN109497986A (zh) * | 2018-11-22 | 2019-03-22 | 杭州脉流科技有限公司 | 基于深度神经网络的心电图智能分析方法、装置、计算机设备和系统 |
US20190246930A1 (en) * | 2016-05-03 | 2019-08-15 | Acutus Medical, Inc. | Cardiac information dynamic display system and method |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0624085D0 (en) * | 2006-12-01 | 2007-01-10 | Oxford Biosignals Ltd | Biomedical signal analysis method |
CN106778685A (zh) * | 2017-01-12 | 2017-05-31 | 司马大大(北京)智能系统有限公司 | 心电图图像识别方法、装置及服务终端 |
CN108175402A (zh) * | 2017-12-26 | 2018-06-19 | 智慧康源(厦门)科技有限公司 | 基于残差网络的心电数据的智能识别方法 |
CN109044322A (zh) * | 2018-08-29 | 2018-12-21 | 北京航空航天大学 | 一种非接触式心率变异性测量方法 |
CN110507311B (zh) * | 2019-08-27 | 2022-07-19 | 中科麦迪人工智能研究院(苏州)有限公司 | 一种基于图像信息的心电分析方法、装置、设备及介质 |
-
2019
- 2019-08-27 CN CN201910798503.0A patent/CN110507311B/zh active Active
-
2020
- 2020-08-27 WO PCT/CN2020/111581 patent/WO2021037101A1/zh active Application Filing
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1393204A (zh) * | 2001-06-26 | 2003-01-29 | 陈士良 | 心电频谱图测量仪 |
US20110176710A1 (en) * | 2005-10-25 | 2011-07-21 | Bracco Imaging S.P.A. | Method and system for automatic processing and evaluation of images, particularly diagnostic images |
US20070276274A1 (en) * | 2006-05-26 | 2007-11-29 | Hiroshi Kawada | Electrocardiogram analyzer |
CN101336844A (zh) * | 2007-07-05 | 2009-01-07 | 株式会社东芝 | 医用图像处理装置以及医用图像诊断装置 |
CN101452578A (zh) * | 2007-12-06 | 2009-06-10 | 精工爱普生株式会社 | 用于在图形环境中进行颜色格式转换的系统和方法 |
JP2011147469A (ja) * | 2010-01-19 | 2011-08-04 | Rohm Co Ltd | 生体情報取得装置 |
US20120300050A1 (en) * | 2011-05-27 | 2012-11-29 | Lvmh Recherche | Method for characterizing the tone of the skin and integuments |
CN103637795A (zh) * | 2013-12-30 | 2014-03-19 | 中国人民解放军总医院 | 心电图机自动诊断功能检测方法 |
US20150302605A1 (en) * | 2014-04-18 | 2015-10-22 | Kabushiki Kaisha Toshiba | Medical image diagnosis apparatus and medical image processing apparatus |
CN104061907A (zh) * | 2014-07-16 | 2014-09-24 | 中南大学 | 基于步态三维轮廓匹配合成的视角大幅可变步态识别方法 |
CN105321171A (zh) * | 2014-08-01 | 2016-02-10 | 奥多比公司 | 针对实况相机馈送的图像分割 |
WO2016207745A1 (en) * | 2015-06-22 | 2016-12-29 | D-Heart S.R.L.S. | Electronic system to control the acquisition of an electrocardiogram |
US20190246930A1 (en) * | 2016-05-03 | 2019-08-15 | Acutus Medical, Inc. | Cardiac information dynamic display system and method |
US20180262744A1 (en) * | 2017-02-07 | 2018-09-13 | Mindmaze Holding Sa | Systems, methods and apparatuses for stereo vision |
WO2018160839A1 (en) * | 2017-03-01 | 2018-09-07 | The Regents Of The University Of California | System and method for improved diffusion-weighted imaging |
CN107220644A (zh) * | 2017-04-18 | 2017-09-29 | 天津大学 | 一种心电图扫描图像倾斜度校正方法 |
US10123738B1 (en) * | 2017-07-03 | 2018-11-13 | Spyros Kokolis | Methods and apparatus for skin color patient monitoring |
CN108968951A (zh) * | 2018-08-15 | 2018-12-11 | 武汉中旗生物医疗电子有限公司 | 心电图检测方法、装置及系统 |
CN109497986A (zh) * | 2018-11-22 | 2019-03-22 | 杭州脉流科技有限公司 | 基于深度神经网络的心电图智能分析方法、装置、计算机设备和系统 |
Non-Patent Citations (2)
Title |
---|
王世伟: "《医学影像实用技术教程》", 31 August 2007 * |
韩晓微: ""彩色图像处理关键技术研究"", 《中国博士学位论文全文数据库信息科技辑》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021037101A1 (zh) * | 2019-08-27 | 2021-03-04 | 中科麦迪人工智能研究院(苏州)有限公司 | 基于图像信息的心电分析方法、装置、设备及介质 |
CN111523502A (zh) * | 2020-04-30 | 2020-08-11 | 上海交通大学医学院附属瑞金医院 | 一种心电图图像处理方法、设备、介质和心电图仪 |
CN115736939A (zh) * | 2022-11-24 | 2023-03-07 | 北京哈特瑞姆医疗技术服务有限公司 | 房颤患病概率生成方法、装置、电子设备和存储介质 |
CN118398178A (zh) * | 2024-06-28 | 2024-07-26 | 贵州众致合一科技发展有限公司 | 一种处理心电力图干扰波形的辅助系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110507311B (zh) | 2022-07-19 |
WO2021037101A1 (zh) | 2021-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10758139B2 (en) | Automatic method to delineate or categorize an electrocardiogram | |
CN110495872B (zh) | 基于图片及心搏信息的心电分析方法、装置、设备及介质 | |
US20190167143A1 (en) | Electrocardiogram processing system for delineation and classification | |
CN108836314A (zh) | 一种基于网络和人工智能的动态心电图分析方法及系统 | |
CN110507311A (zh) | 一种基于图像信息的心电分析方法、装置、设备及介质 | |
Tadejko et al. | Mathematical morphology based ECG feature extraction for the purpose of heartbeat classification | |
US20040093192A1 (en) | Apparatus and method for effecient representation of periodic and nearly periodic signals for analysis | |
CN109411041A (zh) | 心电信息处理方法和心电工作站系统 | |
DE10235805A1 (de) | Verfahren und Vorrichtung zur Anzeige und Analyse eines physiologischen Signals | |
CN109411042A (zh) | 心电信息处理方法和心电工作站 | |
CN106815570A (zh) | 一种基于动态模式识别的心电信号st‑t段识别方法 | |
CN110432892A (zh) | 机器学习心电图自动诊断系统 | |
CN111126350B (zh) | 一种心搏分类结果的生成方法和装置 | |
CN114052746A (zh) | 运动心电数据处理方法、装置、计算机设备和存储介质 | |
CN113128585B (zh) | 一种基于多尺寸卷积核的深度神经网络实现心电异常检测分类方法 | |
CN113080996A (zh) | 一种基于目标检测的心电图分析方法及装置 | |
CN110327034B (zh) | 一种基于深度特征融合网络的心动过速心电图的筛查方法 | |
CN113647959B (zh) | 一种心电波形信号的波形识别方法、装置及设备 | |
US11672464B2 (en) | Electrocardiogram processing system for delineation and classification | |
CN111667921A (zh) | 人工智能ecg房颤与心律不齐检测系统 | |
CN111345814A (zh) | 一种心电信号中心拍的分析方法、装置、设备和存储介质 | |
CN115553777B (zh) | 一种非接触式精神压力检测方法及系统 | |
CN114999638B (zh) | 基于人工智能医疗诊断用的大数据可视化处理方法及系统 | |
CN110141214A (zh) | 一种心电图识别的标注方法及其应用 | |
Al Fahoum | Complex Wavelet-enhanced Convolutional Neural Networks for Electrocardiogram-based Detection of Paroxysmal Atrial Fibrillation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |