CN115517686A - 家庭环境心电图图像分析方法、装置、设备、介质和系统 - Google Patents

Abstract

本公开提供一种家庭环境心电图图像分析方法、装置、设备、介质和系统。该方法通过在终端设备中指定待分析图像以向服务器发起心电图图像分析请求，再由服务器对待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，再基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息，最后在终端设备呈现从服务器收到的心脏病诊断结果信息。该方法实现了在终端设备将纸质心电图拍照后形成待分析图像，通过云端服务器即时对纸质心电图图像进行分析并返回心脏病诊断结果，方便了在终端设备及时获取纸质心电图对应的心脏病诊断结果。

Description

家庭环境心电图图像分析方法、装置、设备、介质和系统

技术领域

本公开的实施例涉及医学图像分析技术领域，具体涉及家庭环境心电图图像分析方法、装置、存储介质、终端设备、服务器和系统。

背景技术

心电图是目前临床上一种简单且常用的心血管疾病检测技术。人工智能技术的发展促进了心电信号分析方法的不断更新。在心电信号分析领域，人工智能对心律失常的诊断已经逐渐成熟。

然而，在部分国家或地区，与心电信号相比纸质心电图仍然是患者与医生最常见的心电图记录方式。在某些情境下，用户可以获得纸质心电图，并希望知道相应的诊断结果，却因条件限制而无法及时获得准确的诊断结果。

例如，个人在体检中心体检得到纸质心电图，而体检中心不具备心脏病诊断能力。

又例如，个人在一些医疗水平相对落后地区的医院做了心电图，但当地医生医疗水平有限，无法给出准确的诊断结果。

发明内容

本公开的实施例提出了家庭环境心电图图像分析方法、装置、存储介质、终端设备、服务器和系统。

第一方面，本公开的实施例提供了一种家庭环境心电图图像分析方法，应用于第一终端设备，上述方法包括：获取待分析图像；响应于检测到针对上述待分析图像的心电图图像分析操作，基于上述待分析图像生成心电图图像分析请求；将上述心电图图像分析请求发送给服务器，其中，上述服务器响应于确定上述待分析图像为心电图图像，将对上述待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，以及基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息；响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息，呈现上述心脏病诊断结果信息。

在一些可选的实施方式中，上述获取待分析图像，包括：响应于检测到针对上述第一终端设备中相机拍摄的第一图像的选中操作，将上述第一图像确定为上述待分析图像；或者响应于检测到针对上述第一终端设备本地相册中第二图像的选中操作，将上述第二图像确定为上述待分析图像。

在一些可选的实施方式中，上述方法还包括：响应于收到上述服务器发送的用于表征上述待分析图像不是心电图图像的提示信息，呈现上述提示信息。

在一些可选的实施方式中，上述心脏病诊断结果信息用于表征确诊患有N种预设心脏病中的心脏病，或者用于表征患有N种预设心脏病中每种心脏病的患病概率，上述N为正整数。

在一些可选的实施方式中，上述心电图分析模型为深度神经网络；以及上述响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息，呈现上述心脏病诊断结果信息，包括：响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现上述心脏病诊断结果信息和上述内部特征可视化图像，其中，上述内部特征可视化图像为上述服务器基于对上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播得到的权重热图和上述心电图波形区域图像的叠加而生成的。

在一些可选的实施方式中，在上述呈现上述心脏病诊断结果信息和上述内部特征可视化图像之后，上述方法还包括：响应于检测到进一步诊断操作，基于上述待分析图像、上述心脏病诊断结果信息和上述内部特征可视化图像生成进一步诊断请求，以及将上述进一步诊断请求发送给上述服务器，其中，上述服务器将上述进一步诊断请求转发给第二终端设备，以及响应于从上述第二终端设备收到上述第二终端设备响应于上述进一步诊断请求而发送的进一步诊断建议信息，将上述进一步诊断建议信息发送给上述第一终端设备；响应于接收到上述服务器发送的进一步诊断建议信息，呈现上述进一步诊断建议信息。

第二方面，本公开的实施例提供了一种家庭环境心电图图像分析方法，应用于服务器，该方法包括：响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定上述待分析图像是否为心电图图像；响应于确定是心电图图像，对上述待分析图像进行预处理得到心电图波形区域图像；将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果，其中，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率，上述心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，上述N为正整数；基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息；以及将上述心脏病诊断结果信息发送给上述第一终端设备。

在一些可选的实施方式中，上述对上述待分析图像进行预处理得到心电图波形区域图像，包括：对上述待分析图像进行波形分割，得到波形分割结果，上述波形分割结果用于区分上述待分析图像中的波形和背景部分；基于上述波形分割结果生成与上述待分析图像对应的二值化图像；检测上述二值化图像中的心电图波形区域；按照上述心电图波形区域在上述二值化图像中截取图像；基于上述截取图像生成心电图波形区域图像。

在一些可选的实施方式中，上述方法还包括：响应于确定不是心电图图像，生成用于指示上述待分析图像不是心电图图像的提示信息；将上述提示信息发送给上述第一终端设备。

在一些可选的实施方式中，上述基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息，包括：根据所得到的心脏病患病概率预测结果，确定上述N种预设心脏病中的确诊心脏病，其中，所得到的心脏病患病概率预测结果表征患有确诊心脏病的患病概率大于预设患病概率阈值，以及生成用于指示确诊患有各上述确诊心脏病的心脏病诊断结果信息；或者将上述所得到的心脏病患病概率预测结果作为上述心脏病诊断结果信息。

在一些可选的实施方式中，上述心电图分析模型为深度神经网络；以及在将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果之后，上述方法还包括：将上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播，得到权重热图；叠加上述权重热图和上述心电图波形区域图像得到内部特征可视化图像；以及上述将上述心脏病诊断结果信息发送给上述第一终端设备，包括：将上述心脏病诊断结果信息和内部特征可视化图像发送给上述第一终端设备。

第三方面，本公开的实施例提供了一种家庭环境心电图图像分析装置，应用于第一终端设备，该装置包括：图像获取单元，被配置成获取待分析图像；请求生成单元，被配置成响应于检测到针对上述待分析图像的心电图图像分析操作，基于上述待分析图像生成心电图图像分析请求；请求发送单元，被配置成将上述心电图图像分析请求发送给服务器，其中，上述服务器响应于确定上述待分析图像为心电图图像，将对上述待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，以及基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息；结果信息呈现单元，被配置成响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息，呈现上述心脏病诊断结果信息。

在一些可选的实施方式中，上述图像获取单元进一步被配置成：响应于检测到针对上述第一终端设备中相机拍摄的第一图像的选中操作，将上述第一图像确定为上述待分析图像；或者响应于检测到针对上述第一终端设备本地相册中第二图像的选中操作，将上述第二图像确定为上述待分析图像。

在一些可选的实施方式中，上述装置还包括：提示信息呈现单元，被配置成响应于收到上述服务器发送的用于表征上述待分析图像不是心电图图像的提示信息，呈现上述提示信息。

在一些可选的实施方式中，上述心脏病诊断结果信息用于表征确诊患有N种预设心脏病中的心脏病，或者用于表征患有N种预设心脏病中每种心脏病的患病概率，上述N为正整数。

在一些可选的实施方式中，上述心电图分析模型为深度神经网络；以及上述结果信息呈现单元进一步被配置成：响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现上述心脏病诊断结果信息和上述内部特征可视化图像，其中，上述内部特征可视化图像为上述服务器基于对上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播得到的权重热图和上述心电图波形区域图像的叠加而生成的。

在一些可选的实施方式中，上述装置还包括：进一步诊断单元，被配置成在上述呈现上述心脏病诊断结果信息和上述内部特征可视化图像之后，响应于检测到进一步诊断操作，基于上述待分析图像、上述心脏病诊断结果信息和上述内部特征可视化图像生成进一步诊断请求，以及将上述进一步诊断请求发送给上述服务器，其中，上述服务器将上述进一步诊断请求转发给第二终端设备，以及响应于从上述第二终端设备收到上述第二终端设备响应于上述进一步诊断请求而发送的进一步诊断建议信息，将上述进一步诊断建议信息发送给上述第一终端设备；诊断建议呈现单元，被配置成响应于接收到上述服务器发送的进一步诊断建议信息，呈现上述进一步诊断建议信息。

第四方面，本公开的实施例提供了一种家庭环境心电图图像分析装置，应用于服务器，上述装置包括：图像识别单元，被配置成响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定上述待分析图像是否为心电图图像；波形提取单元，被配置成响应于确定是心电图图像，对上述待分析图像进行预处理得到心电图波形区域图像；概率预测单元，被配置成将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果，其中，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率，上述心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，上述N为正整数；诊断结果生成单元，被配置成基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息；以及诊断结果发送单元，被配置成将上述心脏病诊断结果信息发送给上述第一终端设备。

在一些可选的实施方式中，上述波形提取单元进一步被配置成：对上述待分析图像进行波形分割，得到波形分割结果，上述波形分割结果用于区分上述待分析图像中的波形和背景部分；基于上述波形分割结果生成与上述待分析图像对应的二值化图像；检测上述二值化图像中的心电图波形区域；按照上述心电图波形区域在上述二值化图像中截取图像；基于上述截取图像生成心电图波形区域图像。

在一些可选的实施方式中，上述装置还包括：提示信息生成单元，被配置成响应于确定不是心电图图像，生成用于指示上述待分析图像不是心电图图像的提示信息；提示信息发送单元，被配置成将上述提示信息发送给上述第一终端设备。

在一些可选的实施方式中，上述诊断结果生成单元进一步被配置成：根据所得到的心脏病患病概率预测结果，确定上述N种预设心脏病中的确诊心脏病，其中，所得到的心脏病患病概率预测结果表征患有确诊心脏病的患病概率大于预设患病概率阈值，以及生成用于指示确诊患有各上述确诊心脏病的心脏病诊断结果信息；或者将上述所得到的心脏病患病概率预测结果作为上述心脏病诊断结果信息。

在一些可选的实施方式中，上述心电图分析模型为深度神经网络；以及上述装置还包括热图生成单元，被配置成在将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果之后：将上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播，得到权重热图；叠加上述权重热图和上述心电图波形区域图像得到内部特征可视化图像；以及上述诊断结果发送单元进一步被配置成：将上述心脏病诊断结果信息和内部特征可视化图像发送给上述第一终端设备。

第五方面，本公开的实施例提供了一种终端设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第一方面中任一实现方式描述的方法。

第六方面，本公开的实施例提供了一种服务器，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现如第二方面中任一实现方式描述的方法。

第七方面，本公开的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中，该计算机程序被一个或多个处理器执行时实现如第一方面中任一实现方式描述的方法和/或第二方面中任一实现方式描述的方法。

第八方面，本公开的实施例提供了一种家庭环境心电图图像分析系统，包括如第五方面中任一实现方式描述的终端设备和第六方面中任一实现方式描述的服务器。

为解决现有技术中用户可以获得纸质心电图，并希望知道相应的诊断结果，却因条件限制而无法及时获得准确的诊断结果的问题，本公开的实施例提供的家庭环境心电图图像分析方法、装置、存储介质、终端设备、服务器和系统，通过在第一终端设备中指定待分析图像以向服务器发起心电图图像分析请求，再由服务器在确定待分析图像为心电图图像的情况下，将对待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，再基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息，并最终在第一终端设备呈现从服务器收到的诊断结果信息。从而实现了在第一终端设备将纸质心电图拍照后形成待分析图像，通过云端服务器实时对纸质心电图图像进行分析并返回心脏病诊断结果信息，方便了在第一终端设备及时获取纸质心电图对应的心脏病诊断结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图仅用于示出具体实施方式的目的，而并不认为是对本发明的限制。在附图中：

图1是根据本公开的家庭环境心电图图像分析系统的一个实施例的系统架构图；

图2A是根据本公开的家庭环境心电图图像分析系统的一个实施例的时序图；

图2B是根据本公开的步骤205的一个实施例的分解流程图；

图2C是根据本公开的步骤207的一个实施例的分解流程图；

图3是根据本公开的应用于第一终端设备的家庭环境心电图图像分析方法的一个实施例的流程图；

图4是根据本公开的应用于服务器的家庭环境心电图图像分析方法的一个实施例的流程图；

图5是根据本公开的应用于第一终端设备的家庭环境心电图图像分析装置的一个实施例的结构示意图；

图6是根据本公开的应用于服务器的家庭环境心电图图像分析装置的一个实施例的结构示意图；

图7是适于用来实现本公开的实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的家庭环境心电图图像分析系统的一个实施例的示例性系统架构100。

如图1所示，家庭环境心电图图像分析系统100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如家庭环境心电图图像分析类应用、音视频会议类应用、图像采集类应用、图像处理类应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。

第一终端设备101、第二终端设备102、第三终端设备103可以是硬件，也可以是软件。当第一终端设备101、第二终端设备102、第三终端设备103为硬件时，可以是具有显示屏并且支持声音采集和/或视频采集的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器（Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3）、MP4（Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4）播放器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块（例如用来提供家庭环境心电图图像分析类服务），也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对第一终端设备101、第二终端设备102、第三终端设备103上显示的家庭环境心电图图像分析类应用提供支持的后台服务器。后台服务器可以对接收到的心电图图像分析请求等数据进行分析等处理，并将处理结果（例如心脏病诊断结果信息）反馈给终端设备。

需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块（例如用来提供心电图图像分析类服务），也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本公开所提供的应用于第一终端设备的家庭环境心电图图像分析方法一般由第一终端设备101、第二终端设备102、第三终端设备103执行，相应地，应用于第一终端设备的家庭环境心电图图像分析装置一般设置于第一终端设备101、第二终端设备102、第三终端设备103中。

需要说明的是，本公开中，第一终端设备可以是普通用户在家庭环境中所使用的终端设备，或者可以是医疗技术相对落后地区的医生在医疗环境中所使用的终端设备。本公开所提供的应用于第一终端设备的家庭环境心电图图像分析方法、装置、存储介质和终端设备，也并不限定于家庭环境中的终端设备，也可以是医疗技术相对落后地区的医疗环境中的终端设备。

需要说明的是，本公开所提供的应用于服务器的家庭环境心电图图像分析方法一般由服务器105执行，相应地，应用于服务器的家庭环境心电图图像分析装置一般设置于服务器105中。

应该理解，图1中的终端设备（包括第一终端设备101、第二终端设备102、第三终端设备103）、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2A，其示出了根据本公开的家庭环境心电图图像分析系统的一个实施例的时序200。本公开实施例中的家庭环境心电图图像分析系统可以包括第一终端设备和服务器。该时序200包括以下步骤：

步骤201，第一终端设备获取待分析图像。

在本实施例中，第一终端设备（例如图1所示的终端设备101，102，103）可以采用各种实现方式获取待分析图像。

这里，第一终端设备可以本地或者远程地从与第一终端设备网络连接的其他电子设备获取待分析图像。

在一些可选的实施方式中，步骤201可以如下执行：

响应于检测到针对第一终端设备中相机拍摄的第一图像的选中操作，将第一图像确定为待分析图像。

在一些可选的实施方式中，步骤201也可以如下执行：

响应于检测到针对第一终端设备本地相册中第二图像的选中操作，将第二图像确定为待分析图像。

步骤202，第一终端设备响应于检测到针对待分析图像的心电图图像分析操作，基于待分析图像生成心电图图像分析请求。

在本实施例中，针对待分析图像的心电图图像分析操作可以是各种预设的用于触发基于待分析图像生成心电图图像分析请求的操作。例如，首先呈现心电图分析操作显示对象（例如，确认提交心电图图像分析请求的图标或按钮），如果检测到针对上述心电图分析操作显示对象的第一预设选中操作（例如，单击、双击、滑动、悬停、拖动等）则确定检测到针对待分析图像的心电图图像分析操作。又例如，还可以实时获取第一终端设备的麦克风采集的语音数据，并识别上述语音数据，若语音识别结果包括预设心电图分析指令语句（例如，分析心电图），也可确定检测到针对待分析图像的心电图图像分析操作。

这里，可以采用各种实现方式基于待分析图像生成心电图图像分析请求。心电图图像分析请求中可以包括待分析图像。可选地，心电图图像分析请求中除包括待分析图像外，还可以包括第一终端设备的当前登录且验证通过的当前用户的当前用户标识。

步骤203，第一终端设备将心电图图像分析请求发送给服务器。

在本实施例中，第一终端设备可以将步骤202中生成的心电图图像分析请求发送给服务器。这里，服务器可以是提供心电图图像分析服务的服务器。

步骤204，服务器响应于接收到第一终端设备发送的心电图图像分析请求，确定待分析图像是否为心电图图像。

在本实施例中，服务器可以在收到第一终端设备发送的心电图图像分析请求的情况下，首先解析上述心电图图像分析请求，得到待分析图像，然后可以采用各种实现方式确定待分析图像是否为心电图图像。

实践中，由于心电图图像具有背景部分和波形部分。且，背景部分和波形部分之间具有明显的图形规律差异，因此可以采用各种预设的心电图图像确定规则来确定待分析图像是否为心电图图像。

可选地，服务器可以将待分析图像输入预先训练的心电图图像识别模型，得到用于表征待分析图像是否为心电图图像的识别结果。这里，心电图图像识别模型可以通过如下第一训练步骤预先训练得到：

首先，获取第一样本数据集以及确定初始心电图图像识别模型的模型结构和模型参数。

这里，第一样本数据集中的第一样本数据包括样本图像和相应的用于表征样本图像是否为心电图图像的第一标注信息。

作为示例，样本图像可以通过以下至少一种方式得到：

第一，将开源的心电信号数据绘制成心电图图像。

第二，从医院的临床环境中获取纸质心电图，并将其扫描或拍摄成心电图图像。

第三，从开源自然图像数据集获取自然图像。

第一样本数据中的第一标注信息可以通过人工标注得到。比如，将上述第一种方式和第二种方式得到的样本图像标注为心电图图像，将上述第三种方式得到的样本图像标注为非心电图图像。

这里，初始心电图图像识别模型可以是各种机器学习模型，本公开对此不做具体限定。初始心电图图像识别模型用于表征图像和用于表征样本图像是否为心电图图像的识别结果之间的对应关系。作为示例，初始心电图图像识别模型可以是深度神经网络。

然后，将第一样本数据集划分为第一训练数据集、第一验证数据集和第一测试数据集。

最后，基于上述第一训练数据集、第一验证数据集和第一测试数据集，利用机器学习方法，对初始心电图图像识别模型进行训练得到训练后的心电图图像识别模型。

步骤205，服务器响应于确定是心电图图像，对待分析图像进行预处理得到心电图波形区域图像。

实践中，用户通过第一终端设备上传的待分析图像中除了包括心电图图像外，还可能包括其他内容。例如，当纸质心电图放置在桌面上，则拍摄得到的待分析图像中可能包括桌面部分。另外，即使待分析图像中全部为心电图图像，实践中，心电图图像中除了心电图波形区域以外，还可能包括其他内容，例如，用户信息和心电图采集时间等。为了提高后续对心脏病患病概率的预测效果，如果服务器在步骤204中确定待分析图像为心电图图像，则可以对待分析图像进行预处理得到心电图波形区域图像。这里，心电图波形区域图像用于表征待分析图像中的心电图波形区域。

在一些可选的实施方式中，步骤205可以包括如图2B所示的步骤2051到步骤2055：

步骤2051，对待分析图像进行波形分割，得到波形分割结果。

这里，波形分割结果用于区分待分析图像中的波形部分和背景部分。

实践中，纸质心电图中除了有心电图的波形图像外，还可能存在背景网格以及背景纸的颜色，不利于后续处理。为了方便后续处理，这里，可以采用各种图像前景分割算法对待分析图像进行波形分割，得到波形分割结果。其中，波形分割结果用于区分待分析图像中的波形部分和背景部分。

例如，假设待分析图像的图像尺寸为m×n，这里，波形分割结果可以用m×n的矩阵来表示，矩阵中的元素可以为0或1，当矩阵元素为0时，表明待分析图像中相应坐标位置处的像素点为背景部分。反之，当矩阵元素为1时，表明待分析图像中相应坐标位置处的像素点为波形部分。

可选地，步骤2051，对待分析图像进行波形分割，得到波形分割结果，可以将待分析图像输入心电图波形分割模型，得到波形分割结果。

这里，心电图波形分割模型可以通过如下第二训练步骤预先训练得到：

首先，获取第二样本数据集以及确定初始心电图波形分割模型的模型结构和模型参数。

这里，第二样本数据可以包括样本心电图图像和相应标注心电图波形分割结果。其中，标注心电图波形分割结果用于区分样本心电图图像中的波形部分和背景部分。实践中，可以由人工对样本心电图图像进行标注，以标注出其中的心电图波形部分和背景部分。

这里，初始心电图波形分割模型可以是各种机器学习模型，本公开对此不做具体限定。初始心电图波形分割模型用于表征心电图图像和波形分割结果之间的对应关系。作为示例，初始心电图波形分割模型可以为深度神经网络。

然后，将第二样本数据集划分为第二训练数据集、第二验证数据集和第二测试数据集。

最后，基于上述第二训练数据集、第二验证数据集和第二测试数据集，利用机器学习方法，对初始心电图波形分割模型进行训练得到训练后的心电图波形分割模型。

步骤2052，基于波形分割结果生成与待分析图像对应的二值化图像。

这里，所生成的二值化图像中的像素点取值可以为用于表征心电图波形的波形像素值或用于表征背景的背景像素值。即，所生成的二值化图像为包括波形像素点和背景像素点的二值图像。

步骤2053，检测二值化图像中的心电图波形区域。

实践中，一般而言纸质心电图中心电图波形不会占据全部面积。为了提高对心电图进行分析进而得出患有不同心脏病的患病概率的准确度，可以首先检测出待分析图像中的心电图波形区域。心电图波形区域可以采用各种数据形式来表征。心电图波形区域可以是待分析图像中的坐标集合。心电图波形区域也可以是形状标识以及用于表征该形状标识所指示的形状在待分析图像中的坐标范围的特征数值。例如，心电图波形区域可以用矩形标识以及矩形心电图波形区域的四个顶点坐标来表征。

这里，上述执行主体可以采用各种目标检测算法，检测待分析图像中的心电图波形区域。

例如，心电图波形区域可以为矩形，而心电图波形区域可以包括矩形心电图波形区域的四个顶点坐标。

可选地，步骤2053可以如下执行：将待分析图像输入预先训练的心电图波形区域检测模型，得到待分析图像中的心电图波形区域。

这里，心电图波形区域检测模型可以通过如下第三训练步骤预先训练得到：

首先，获取第三样本数据集以及确定初始心电图波形区域检测模型的模型结构和模型参数。

这里，第三样本数据可以包括样本心电图图像和相应标注心电图波形区域。其中，标注心电图波形区域用于表征相应样本心电图图像中的心电图波形区域。实践中，可以由人工对样本心电图图像进行标注，以标注出其中的心电图波形区域。

第三样本数据集中的样本心电图图像可以包括来自不同类型心电图机、对不同受检者进行检测的心电图图像。可选地，第三样本数据集中的样本心电图图像还可以包括各种不同类型相机在不同光照环境条件下拍摄的、或者不同类型扫描仪扫描的心电图图像。进而保证训练得到的心电图波形区域检测模型的鲁棒性较高。

这里，初始心电图波形区域检测模型可以是各种机器学习模型，本公开对此不做具体限定。初始心电图波形区域检测模型用于表征心电图图像和心电图波形区域之间的对应关系。作为示例，初始心电图波形区域检测模型可以是深度神经网络。

然后，将第三样本数据集划分为第三训练数据集、第三验证数据集和第三测试数据集。

最后，基于上述第三训练数据集、第三验证数据集和第三测试数据集，利用机器学习方法，对初始心电图波形区域检测模型进行训练得到训练后的心电图波形区域检测模型。

步骤2054，按照心电图波形区域在二值化图像中截取图像。

步骤2055，基于截取图像生成心电图波形区域图像。

这里，可以根据心电图分析模型的输入数据要求，基于步骤2054得到的截取得到心电图波形区域图像。

例如，这里可以将步骤2054得到的截取图像作为心电图波形区域图像。

又例如，这里还可以首先将步骤2054得到的截取图像缩放到心电图分析模型所适于输入的预设图像尺寸，再将缩放后的截取图像作为心电图波形区域图像。

还例如，这里还可以首先将步骤2054得到的截取图像缩放到心电图分析模型所适于输入的预设图像尺寸，再对缩放后的截取图像进行归一化处理，再将归一化处理后的图像作为心电图波形区域图像。

采用上述可选实施方式得到的心电图波形区域图像可以得到符合心电图分析模型的数据输入要求的图像。

步骤206，服务器将心电图波形区域图像输入预先训练的心电图分析模型，得到与心电图波形区域图像对应的心脏病患病概率预测结果。

这里，心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，其中，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率。其中，N为正整数。可选地，心脏病患病概率预测结果可以为N维向量，N维向量中的N个分量分别与N种预设心脏病一一对应，每个分量用于表征患有N种预设心脏病相应预设心脏病的概率。比如，这里心脏病患病概率预测结果中的分量可以为0到1之间的数值，上述数值越接近1，表明患有相应预设心脏病的可能性越大。

实践中，心脏病可分为各种不同类型。这里，N种预设心脏病可为N种不同类型的心脏病。可选地，N为大于等于2的正整数。如此，心电图分析模型可输出大于等于两种以上心脏病的患病概率。

作为示例，心电图分析模型可以是由技术人员基于大量的实践中确诊患有N种预设心脏病中不同心脏病的病人的心电图波形区域图像进行统计分析后，而预先制定的、对心电图波形区域图像进行计算并得到N种不同预设心脏病患病概率的计算公式。

在一些可选的实施方式中，心电图分析模型也可以通过如下第四训练步骤预先训练得到：

首先，获取第四样本数据集以及确定初始心电图分析模型的模型结构和模型参数。

这里，第四样本数据可以包括样本心电图波形区域图像和相应标注心脏病患病概率预测结果。其中，标注心脏病患病概率预测结果用于表征相应样本心电图波形区域图像对应受检者患有N种预设心脏病中每种心脏病的患病概率。实践中，可以由具有专业医疗知识的医生或技术人员对样本心电图波形区域图像进行标注得到标注心脏病患病概率预测结果。

然后，将第四样本数据集划分为第四训练数据集、第四验证数据集和第四测试数据集。

最后，基于上述第四训练数据集、第四验证数据集和第四测试数据集，利用机器学习方法，对初始心电图分析模型进行训练得到训练后的心电图分析模型。

步骤207，服务器基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息。

这里，上述服务器可根据具体应用场景的需要采用各种方式基于步骤207所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息。

这里，心脏病诊断结果信息可以是各种形式。例如，可以包括但不限于文本、图像和语音数据。

这里，心脏病诊断结果信息可以是各种与心脏病诊断相关的信息。心脏病诊断结果信息可以用于指示确诊患有某种预设心脏病，或者未确诊患有某种预设心脏病，或者还可以用于指示患有某种预设心脏病的程度。这里程度信息既可以用数值来表示，也可以用文字来表示。例如，程度信息可以是0到1之间的程度数值。程度信息还可以是例如“患有某种预设心脏病的风险非常高”、“患有某种预设心脏病的风险较高”、“患有某种预设心脏病的风险较低”、“患有某种预设心脏病的风险很低”等等。

作为示例，服务器可以对于N种预设心脏病中每种心脏病，按照与该预设心脏病对应的患病概率范围与心脏病诊断结果之间的对应关系，确定心脏病患病概率预测结果中患有该预设心脏病的心脏病患病概率对应的心脏病诊断结果。然后，将所确定的每个心脏病诊断结果确定为心脏病诊断结果信息。

在一些可选的实施方式中，步骤207也可以包括如图2C所示的以下步骤2071和步骤2072：

步骤2071，根据所得到的心脏病患病概率预测结果，确定N种预设心脏病中的确诊心脏病。

这里，所得到的心脏病患病概率预测结果中患有N种预设心脏病中确诊心脏病的患病概率大于预设患病概率阈值。即，如果步骤206中所得到的心脏病患病概率预测结果显示患有一种预设心脏病的患病概率大于预设患病概率阈值，则可以将该种预设心脏病确定为确诊心脏病。

步骤2072，生成用于指示确诊患有各确诊心脏病的心脏病诊断结果信息。

这里，假设步骤2071中将N种预设心脏病中的M种心脏病确定为确诊心脏病，这里服务器可以生成用于指示确诊患有哪些具体M种心脏病的心脏病诊断结果信息。例如，可以生成用于指示确诊患有窦性心动过速（SNT，Sinus tachycardia）和房性早搏（PAC，Premature atrial contraction）的心脏病诊断结果信息。

或者，在一些可选的实施方式中，步骤207也可以如下执行：将所得到的心脏病患病概率预测结果作为心脏病诊断结果信息。即，心脏病诊断结果信息中包括患有N种预设心脏病中每种心脏病的概率值。

步骤208，服务器将心脏病诊断结果信息发送给第一终端设备。

这里，服务器可以将步骤207中生成的心脏病诊断结果信息发送给步骤204中收到的心电图图像分析请求所来自的第一终端设备，作为心电图图像分析请求的反馈信息。

步骤209，第一终端设备响应于接收到服务器响应于心电图图像分析请求而发送的心脏病诊断结果信息，呈现心脏病诊断结果信息。

这里，第一终端设备可以采用各种实现方式呈现收到的心脏病诊断结果信息。

具体地，可以在显示设备上呈现心脏病诊断结果信息，例如可以以文字或图像形式呈现。也可以在声音播放设备上播放心脏病诊断结果信息对应的语音。本公开对此不做具体限定。

经过步骤201到步骤209，可以在第一终端设备中指定待分析图像以向服务器发起心电图图像分析请求，再由服务器在确定待分析图像为心电图图像的情况下，将对待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，再基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息，并最终在第一终端设备呈现从服务器收到的心脏病诊断结果信息。从而实现了普通用户在家庭环境中，或者医疗技术相对落后地区的医生，使用第一终端设备将纸质心电图拍照后形成待分析图像，通过云端服务器实时对纸质心电图图像进行分析并返回心脏病诊断结果，方便了普通用户或医疗技术相对落后地区的医生，可以实时获取纸质心电图对应的心脏病诊断结果。基于所得到的心脏病诊断结果，可协助用户或医生进行后续医疗决策。例如，用户若为患者，可选择是否进一步就医。又例如，用户若为医生，可根据自身医疗知识和心脏病诊断结果进行综合诊断。

在一些可选的实施方式中，上述时序流程200还可以在步骤204中确定待分析图像不是心电图图像的情况下，执行以下步骤210到步骤212：

步骤210，服务器响应于确定不是心电图图像，生成用于指示待分析图像不是心电图图像的提示信息。

即，如果在步骤204中确定待分析图像不是心电图图像，则生成用于指示待分析图像不是心电图图像的提示信息。

步骤211，服务器将提示信息发送给第一终端设备。

步骤212，第一终端设备呈现提示信息。

采用步骤210到步骤212的可选实施方式，可以在第一终端设备上传的待分析图像不是心电图图像的情况下，给出提示信息，以提醒第一终端设备的用户上传有效心电图图像。

在一些可选的实施方式中，心电图分析模型可以为深度神经网络。由于深度神经网络的可解释性较差，为了对心电图分析模型给出的心脏病患病概率预测结果进行解释（例如，解释心电图分析模型之所以针对心电图波形区域图像给出相应的心脏病患病概率预测结果，是因为心电图分析模型“看到”心电图波形区域中哪些部分可能存在问题，或者说，因为心电图分析模型“看到”心电图波形区域中哪些部分可能与健康心电图有差异，引起某种心脏病的可能性较高），在服务器执行完步骤206之后，上述时序流程200还可以包括以下步骤213和步骤214：

步骤213，服务器将心脏病患病概率预测结果在心电图分析模型进行反向传播，得到权重热图。

这里，可以采用各种现在已知或者未来开发的、对深度神经网络进行解释的权重热图生成方法，将心脏病患病概率预测结果对应的深度神经网络内部特征（例如，心脏病患病概率预测结果对应的深度神经网络的最后一层或称全连接层输出的特征）在心电图分析模型进行反向传播，得到权重热图，本公开对此不做具体限定。例如，包括但不限于以下方法：显著图(Saliency map)方法、导向反向传播(Guided Back Propagation ,GBP)方法、LRP(Layer-wise relevance propagation)方法、Grad-CAM(Gradient-weighted ClassActivation Mapping)方法等等。

步骤214，服务器叠加权重热图和心电图波形区域图像得到内部特征可视化图像。

这里，可以采用各种图像叠加方法生成内部特征可视化图像。

实践中，权重热图一般为与心电图波形区域图像大小相同的特征图像，权重热图中各像素点的像素值可以为0到1之间的数值，像素值越接近于1，表明心电图分析模型越关注心电图波形区域图像中与该像素点相同位置的像素点，或者表明心电图波形区域图像中与该像素点相同位置的像素点为病灶像素点的可能性越大。

作为示例，叠加权重热图和心电图波形区域图像得到内部特征可视化图像，可以如下执行：

首先，生成与权重热图对应的病灶程度特征图像。

其中，所生成的病灶程度特征图像中每个像素点与权重热图中像素点一一对应，且病灶程度特征图像中每个像素点的像素值为根据权重热图中相同位置像素点的像素值确定的。例如，权重热图中像素点的像素值越小，则病灶程度特征图像中相应像素点的像素值越接近用于表征第一预设颜色（例如，蓝色）的像素值；反之，权重热图中像素点的像素值越大，则病灶程度特征图像中相应像素点的像素值越接近用于表征第二预设颜色（例如，红色）的像素值。

然后，将病灶程度特征图像按照预设透明度覆盖在心电图波形区域图像上，得到内部特征可视化图像。

通过内部特征可视化图像可以直观看出心电图波形区域图像中不同的像素点为病灶像素点的程度，即，可以直观对心电图分析模型进行解释。

需要说明的是，这里，步骤213和步骤214可以与步骤207同步执行；或者，也可以先执行步骤213和步骤214，再执行步骤207；或者，还可以先执行步骤207，再执行步骤213和步骤214。本公开对此不做具体限定。

如此，步骤208中，服务器将心脏病诊断结果信息发送给第一终端设备，也可以是服务器将心脏病诊断结果信息和内部特征可视化图像发送给第一终端设备。相应地，步骤209，第一终端设备响应于接收到服务器响应于心电图图像分析请求而发送的心脏病诊断结果信息，呈现心脏病诊断结果信息，也可以是：第一终端设备响应于接收到服务器响应于心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现心脏病诊断结果信息和内部特征可视化图像。

从而，还可以在第一终端设备呈现内部特征可视化图像，以方便第一终端设备用户获得心电图分析模型关注的区域，协助用户综合根据心脏病诊断结果信息和内部特征可视化图像决定是否进一步就医、问诊或者给出诊断依据，即，实现人工智能在医疗上用的辅助诊断功能。

基于上述可选实施方式，可选地，上述时序流程200还可以包括以下步骤215到步骤217：

步骤215，第一终端设备响应于检测到进一步诊断操作，基于待分析图像、心脏病诊断结果信息和内部特征可视化图像生成进一步诊断请求，以及将进一步诊断请求发送给服务器。

这里，进一步诊断操作可以是各种预设的用于触发生成进一步诊断请求的操作。例如，首先呈现进一步诊断操作显示对象（例如，确认提交进一步诊断请求的图标或按钮），如果检测到针对上述进一步诊断操作显示对象的第二预设选中操作（例如，单击、双击、滑动、悬停、拖动等）则确定检测到进一步诊断操作。又例如，还可以实时获取第一终端设备的麦克风采集的语音数据，并识别上述语音数据，若语音识别结果包括预设进一步诊断指令语句（例如，进一步寻求医生帮助），也可确定检测到进一步诊断操作。

这里，可以采用各种实现方式基于待分析图像、心脏病诊断结果信息和内部特征可视化图像生成进一步诊断请求。进一步诊断请求中可以包括待分析图像、心脏病诊断结果信息和内部特征可视化图像。可选地，进一步诊断请求中除包括待分析图像、心脏病诊断结果信息和内部特征可视化图像外，还可以包括第一终端设备的当前登录且验证通过的当前用户的当前用户标识。又可选地，第一终端设备的当前用户还可以利用第一终端设备指定寻求进一步诊断的医院、医院的具体科室或者医生，则这里生成的进一步诊断请求中还可以包括当前用户所指定医院的医院标识、科室的科室标识或者医生的医生身份标识等。

步骤216，服务器将进一步诊断请求转发给第二终端设备，以及响应于从第二终端设备收到第二终端设备响应于进一步诊断请求而发送的进一步诊断建议信息，将进一步诊断建议信息发送给第一终端设备。

这里，第二终端设备可以是各种可提供进一步诊断服务的电子设备。例如，第二终端设备可以为经验证通过具备医疗资质的医生终端设备。又例如，当第一终端设备的当前用户在第一终端设备指定了寻求进一步诊断的医生时，这里第二终端设备则可以为进一步诊断请求中医生身份标识所指示的终端设备。而第二终端设备则可以在收到上述进一步诊断请求后，结合专业医学知识，在待分析图像、心脏病诊断结果信息以及内部特征可视化图像的基础上，给出进一步诊断建议信息，进而第二终端设备可以将进一步诊断建议信息发送给服务器，而服务器则可以将从第二终端设备收到的进一步诊断建议信息转发给第一终端设备。

步骤217，第一终端设备响应于接收到服务器发送的进一步诊断建议信息，呈现进一步诊断建议信息。

经过步骤215到步骤217，用户可以在对服务器给出的心脏病诊断结果信息基础上，确定需要进一步诊断的情况下，经服务器从第二终端设备获得进一步诊断建议信息。

继续参考图3，其示出了根据本公开的家庭环境心电图图像分析方法的一个实施例的流程300。该家庭环境心电图图像分析方法，应用于第一终端设备，包括以下步骤：

步骤301，获取待分析图像。

步骤302，响应于检测到针对待分析图像的心电图图像分析操作，基于待分析图像生成心电图图像分析请求。

步骤303，将心电图图像分析请求发送给服务器。

步骤304，响应于接收到服务器响应于心电图图像分析请求而发送的心脏病诊断结果信息，呈现心脏病诊断结果信息。

在本实施例中，步骤301、步骤302、步骤303和步骤304的具体操作及其所产生的技术效果与图2A所示的实施例中步骤201、步骤202、步骤203和步骤209的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，步骤301可以如下进行：

响应于检测到针对第一终端设备中相机拍摄的第一图像的选中操作，将第一图像确定为待分析图像；或者

响应于检测到针对第一终端设备本地相册中第二图像的选中操作，将第二图像确定为待分析图像。

这里，步骤301的上述可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中相应可选实施方式中记载的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，上述方法流程300还可以包括以下步骤305：

步骤305，响应于收到服务器发送的用于表征待分析图像不是心电图图像的提示信息，呈现提示信息。

这里，步骤305的具体操作及其所产生的技术效果与图2A所示的实施例中步骤212中记载的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，心脏病诊断结果信息可以用于表征确诊患有N种预设心脏病中的心脏病，或者用于表征患有N种预设心脏病中每种心脏病的患病概率，N为正整数。

在一些可选的实施方式中，心电图分析模型可以为深度神经网络。相应地，步骤304可以如下执行：响应于接收到服务器响应于心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现心脏病诊断结果信息和内部特征可视化图像。

这里，内部特征可视化图像为服务器基于对心脏病患病概率预测结果在心电图分析模型进行反向传播得到的权重热图和心电图波形区域图像的叠加而生成的。该步骤304可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中步骤209相应可选实施方式中记载的操作及效果基本相同，在此不再赘述。

基于上述步骤304的可选实施方式，在一些可选的实施方式中，在步骤304之后，方法流程300还可以包括以下步骤306：

步骤306，响应于检测到进一步诊断操作，基于待分析图像、心脏病诊断结果信息和内部特征可视化图像生成进一步诊断请求，以及将进一步诊断请求发送给服务器。

这里，服务器将进一步诊断请求转发给第二终端设备，以及响应于从第二终端设备收到第二终端设备响应于进一步诊断请求而发送的进一步诊断建议信息，将进一步诊断建议信息发送给第一终端设备。

步骤307，响应于接收到服务器发送的进一步诊断建议信息，呈现进一步诊断建议信息。

这里，步骤306和步骤307的可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中步骤215到步骤217中记载的操作及效果基本相同，在此不再赘述。

本公开的上述实施例提供的家庭环境心电图图像分析方法通过在第一终端设备上发起心电图分析请求，并将从服务器收到的响应于上述心电图分析请求而发送的心脏病诊断结果信息进行呈现，实现了在第一终端设备上实时获得心电图图像对应的心脏病诊断结果信息。

继续参考图4，其示出了根据本公开的家庭环境心电图图像分析方法的一个实施例的流程400。该家庭环境心电图图像分析方法，应用于服务器，包括以下步骤：

步骤401，响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定待分析图像是否为心电图图像。

步骤402，响应于确定是心电图图像，对待分析图像进行预处理得到心电图波形区域图像。

步骤403，将心电图波形区域图像输入预先训练的心电图分析模型，得到与心电图波形区域图像对应的心脏病患病概率预测结果。

这里，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率，心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，N为正整数。

步骤404，基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息。

步骤405，将心脏病诊断结果信息发送给第一终端设备。

在本实施例中，步骤401、步骤402、步骤403、步骤404和步骤405的具体操作及其所产生的技术效果与图2A所示的实施例中步骤204、步骤205、步骤206、步骤207和步骤208的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，步骤402可以包括如图2B所示的步骤2051到步骤2055。

这里，步骤402的上述可选实施方式的具体操作及其所产生的技术效果与图2A所示的步骤205的相应可选实施方式的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，上述方法流程400还可以包括以下步骤406和步骤407：

步骤406，响应于确定不是心电图图像，生成用于指示待分析图像不是心电图图像的提示信息。

步骤407，将提示信息发送给第一终端设备。

这里，步骤406和步骤407的上述可选实施方式的具体操作及其所产生的技术效果与图2A所示的步骤210和步骤211的相应可选实施方式的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，步骤404可以包括图2C所示的步骤2071和步骤2072。步骤404的上述可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中步骤207的相应可选实施方式的操作及效果基本相同，在此不再赘述。

在一些可选的实施方式中，心电图分析模型可以为深度神经网络。相应地，在步骤403之后，上述方法流程400还可以包括以下步骤408和步骤409：

步骤408，将心脏病患病概率预测结果在心电图分析模型进行反向传播，得到权重热图。

步骤409，叠加权重热图和心电图波形区域图像得到内部特征可视化图像。

这里，步骤408和步骤409的可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中步骤213和步骤214的操作及效果基本相同，在此不再赘述。

相应地，步骤405，将心脏病诊断结果信息发送给第一终端设备，可以如下执行：将心脏病诊断结果信息和内部特征可视化图像发送给第一终端设备。

这里，步骤405的可选实施方式的具体操作及其所产生的技术效果与图2A所示的实施例中步骤208的相应可选实施方式的操作及效果基本相同，在此不再赘述。

本公开的上述实施例提供的家庭环境心电图分析方法通过在服务器上对第一终端设备发送的心电图图像分析请求进行处理，并将心脏病诊断结果信息反馈给第一终端设备，使得第一终端设备实时获得待分析图像对应的心脏病诊断结果信息。

进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种家庭环境心电图图像分析装置的一个实施例，该装置实施例与图3所示的方法实施例相对应，该装置具体可以应用于各种终端设备中。

如图5所示，本实施例的家庭环境心电图图像分析装置500包括：图像获取单元501、请求生成单元502、请求发送单元503和结果信息呈现单元504。其中，图像获取单元501，被配置成获取待分析图像；请求生成单元502，被配置成响应于检测到针对上述待分析图像的心电图图像分析操作，基于上述待分析图像生成心电图图像分析请求；请求发送单元503，被配置成将上述心电图图像分析请求发送给服务器，其中，上述服务器响应于确定上述待分析图像为心电图图像，将对上述待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，以及基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息；结果信息呈现单元504，被配置成响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息，呈现上述心脏病诊断结果信息。

在本实施例中，家庭环境心电图图像分析装置500的图像获取单元501、请求生成单元502、请求发送单元503和结果信息呈现单元504的具体处理及其所带来的技术效果可分别参考图3对应实施例中步骤301、步骤302、步骤303和步骤304的相关说明，在此不再赘述。

在一些可选的实施方式中，上述图像获取单元501可以进一步被配置成：响应于检测到针对上述第一终端设备中相机拍摄的第一图像的选中操作，将上述第一图像确定为上述待分析图像；或者响应于检测到针对上述第一终端设备本地相册中第二图像的选中操作，将上述第二图像确定为上述待分析图像。

在一些可选的实施方式中，上述装置500还可以包括：提示信息呈现单元（图5中未示出），被配置成响应于收到上述服务器发送的用于表征上述待分析图像不是心电图图像的提示信息，呈现上述提示信息。

在一些可选的实施方式中，上述心脏病诊断结果信息可以用于表征确诊患有N种预设心脏病中的心脏病，或者可以用于表征患有N种预设心脏病中每种心脏病的患病概率。

在一些可选的实施方式中，上述心电图分析模型可以为深度神经网络；以及上述结果信息呈现单元可以进一步被配置成：响应于接收到上述服务器响应于上述心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现上述心脏病诊断结果信息和上述内部特征可视化图像，其中，上述内部特征可视化图像为上述服务器基于对上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播得到的权重热图和上述心电图波形区域图像的叠加而生成的。

在一些可选的实施方式中，上述装置500还可以包括：进一步诊断单元（图5中未示出），被配置成在上述呈现上述心脏病诊断结果信息和上述内部特征可视化图像之后，响应于检测到进一步诊断操作，基于上述待分析图像、上述心脏病诊断结果信息和上述内部特征可视化图像生成进一步诊断请求，以及将上述进一步诊断请求发送给上述服务器，其中，上述服务器将上述进一步诊断请求转发给第二终端设备，以及响应于从上述第二终端设备收到上述第二终端设备响应于上述进一步诊断请求而发送的进一步诊断建议信息，将上述进一步诊断建议信息发送给上述第一终端设备；诊断建议呈现单元（图5中未示出），被配置成响应于接收到上述服务器发送的进一步诊断建议信息，呈现上述进一步诊断建议信息。

需要说明的是，本公开的实施例提供的家庭环境心电图图像分析装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明，在此不再赘述。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种家庭环境心电图图像分析装置的一个实施例，该装置实施例与图4所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的家庭环境心电图图像分析装置600包括：图像识别单元601、波形提取单元602、概率预测单元603、诊断结果生成单元604和诊断结果发送单元605。其中，图像识别单元601，被配置成响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定上述待分析图像是否为心电图图像；波形提取单元602，被配置成响应于确定是心电图图像，对上述待分析图像进行预处理得到心电图波形区域图像；概率预测单元603，被配置成将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果，其中，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率，上述心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，上述N为正整数；诊断结果生成单元604，被配置成基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息；而诊断结果发送单元605，被配置成将上述心脏病诊断结果信息发送给上述第一终端设备。

在本实施例中，家庭环境心电图图像分析装置600的图像识别单元601、波形提取单元602、概率预测单元603、诊断结果生成单元604和诊断结果发送单元605的具体处理及其所带来的技术效果可分别参考图4对应实施例中步骤401、步骤402、步骤403、步骤404和步骤405的相关说明，在此不再赘述。

在一些可选的实施方式中，上述波形提取单元602可以进一步被配置成：对上述待分析图像进行波形分割，得到波形分割结果，上述波形分割结果用于区分上述待分析图像中的波形和背景部分；基于上述波形分割结果生成与上述待分析图像对应的二值化图像；检测上述二值化图像中的心电图波形区域；按照上述心电图波形区域在上述二值化图像中截取图像；基于上述截取图像生成心电图波形区域图像。

在一些可选的实施方式中，上述装置600还可以包括：提示信息生成单元（图6中未示出），被配置成响应于确定不是心电图图像，生成用于指示上述待分析图像不是心电图图像的提示信息；提示信息发送单元，被配置成将上述提示信息发送给上述第一终端设备。

在一些可选的实施方式中，上述诊断结果生成单元604可以进一步被配置成：根据所得到的心脏病患病概率预测结果，确定上述N种预设心脏病中的确诊心脏病，其中，所得到的心脏病患病概率预测结果表征患有确诊心脏病的患病概率大于预设患病概率阈值，以及生成用于指示确诊患有各上述确诊心脏病的心脏病诊断结果信息；或者将上述所得到的心脏病患病概率预测结果作为上述心脏病诊断结果信息。

在一些可选的实施方式中，上述心电图分析模型可以为深度神经网络；以及上述装置600还可以包括热图生成单元（图6中未示出），被配置成在将上述心电图波形区域图像输入预先训练的心电图分析模型，得到与上述心电图波形区域图像对应的心脏病患病概率预测结果之后：将上述心脏病患病概率预测结果在上述心电图分析模型进行反向传播，得到权重热图；叠加上述权重热图和上述心电图波形区域图像得到内部特征可视化图像；以及上述诊断结果发送单元605可以进一步被配置成：将上述心脏病诊断结果信息和内部特征可视化图像发送给上述第一终端设备。

需要说明的是，本公开的实施例提供的家庭环境心电图图像分析装置中各单元的实现细节和技术效果可以参考本公开中其它实施例的说明，在此不再赘述。

下面参考图7，其示出了适于用来实现本公开的实施例的终端设备或服务器的计算机系统700的结构示意图。图7示出的计算机系统700仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统700可以包括处理装置（例如中央处理器、图形处理器等）701，其可以根据存储在只读存储器（ROM）702中的程序或者从存储装置708加载到随机访问存储器（RAM）703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

通常，以下装置可以连接至I/O接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风等的输入装置706；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许计算机系统700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的计算机系统700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从ROM 702被安装。在该计算机程序被处理装置701执行时，执行本公开的实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备实现如图3所示的实施例及其可选实施方式示出的家庭环境心电图图像分析方法，和/或，如图4所示的实施例及其可选实施方式示出的家庭环境心电图图像分析方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开的实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像获取单元还可以被描述为“获取待分析图像的单元”。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种家庭环境心电图图像分析方法，应用于第一终端设备，所述方法包括：

获取待分析图像；

响应于检测到针对所述待分析图像的心电图图像分析操作，基于所述待分析图像生成心电图图像分析请求；

将所述心电图图像分析请求发送给服务器，其中，所述服务器响应于确定所述待分析图像为心电图图像，将对所述待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，以及基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息；

响应于接收到所述服务器响应于所述心电图图像分析请求而发送的心脏病诊断结果信息，呈现所述心脏病诊断结果信息；以及

响应于收到所述服务器发送的用于表征所述待分析图像不是心电图图像的提示信息，呈现所述提示信息。

2.根据权利要求1所述的方法，其中，所述获取待分析图像，包括：

响应于检测到针对所述第一终端设备中相机拍摄的第一图像的选中操作，将所述第一图像确定为所述待分析图像；或者

响应于检测到针对所述第一终端设备本地相册中第二图像的选中操作，将所述第二图像确定为所述待分析图像。

3.根据权利要求1所述的方法，其中，所述心脏病诊断结果信息用于表征确诊患有N种预设心脏病中的心脏病，或者用于表征患有N种预设心脏病中每种心脏病的患病概率，所述N为正整数。

4.根据权利要求1所述的方法，其中，所述心电图分析模型为深度神经网络；以及

所述响应于接收到所述服务器响应于所述心电图图像分析请求而发送的心脏病诊断结果信息，呈现所述心脏病诊断结果信息，包括：

响应于接收到所述服务器响应于所述心电图图像分析请求而发送的心脏病诊断结果信息和内部特征可视化图像，呈现所述心脏病诊断结果信息和所述内部特征可视化图像，其中，所述内部特征可视化图像为所述服务器基于对所述心脏病患病概率预测结果在所述心电图分析模型进行反向传播得到的权重热图和所述心电图波形区域图像的叠加而生成的。

5.根据权利要求4所述的方法，其中，在所述呈现所述心脏病诊断结果信息和所述内部特征可视化图像之后，所述方法还包括：

响应于检测到进一步诊断操作，基于所述待分析图像、所述心脏病诊断结果信息和所述内部特征可视化图像生成进一步诊断请求，以及将所述进一步诊断请求发送给所述服务器，其中，所述服务器将所述进一步诊断请求转发给第二终端设备，以及响应于从所述第二终端设备收到所述第二终端设备响应于所述进一步诊断请求而发送的进一步诊断建议信息，将所述进一步诊断建议信息发送给所述第一终端设备；

响应于接收到所述服务器发送的进一步诊断建议信息，呈现所述进一步诊断建议信息。

6.一种家庭环境心电图图像分析方法，应用于服务器，所述方法包括：

响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定所述待分析图像是否为心电图图像；

响应于确定是心电图图像，对所述待分析图像进行预处理得到心电图波形区域图像；

将所述心电图波形区域图像输入预先训练的心电图分析模型，得到与所述心电图波形区域图像对应的心脏病患病概率预测结果，其中，心脏病患病概率预测结果用于表征患有N种心脏病中每种预设心脏病的概率，所述心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，所述N为正整数；

基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息；

将所述心脏病诊断结果信息发送给所述第一终端设备；

响应于确定不是心电图图像，生成用于指示所述待分析图像不是心电图图像的提示信息；以及

将所述提示信息发送给所述第一终端设备。

7.根据权利要求6所述的方法，其中，所述对所述待分析图像进行预处理得到心电图波形区域图像，包括：

对所述待分析图像进行波形分割，得到波形分割结果，所述波形分割结果用于区分所述待分析图像中的波形和背景部分；

基于所述波形分割结果生成与所述待分析图像对应的二值化图像；

检测所述二值化图像中的心电图波形区域；

按照所述心电图波形区域在所述二值化图像中截取图像；

基于所述截取图像生成心电图波形区域图像。

8.根据权利要求6所述的方法，其中，所述基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息，包括：

根据所得到的心脏病患病概率预测结果，确定所述N种预设心脏病中的确诊心脏病，其中，所得到的心脏病患病概率预测结果表征患有确诊心脏病的患病概率大于预设患病概率阈值，以及生成用于指示确诊患有各所述确诊心脏病的心脏病诊断结果信息；或者

将所述所得到的心脏病患病概率预测结果作为所述心脏病诊断结果信息。

9.根据权利要求6所述的方法，其中，所述心电图分析模型为深度神经网络；以及

在将所述心电图波形区域图像输入预先训练的心电图分析模型，得到与所述心电图波形区域图像对应的心脏病患病概率预测结果之后，所述方法还包括：

将所述心脏病患病概率预测结果在所述心电图分析模型进行反向传播，得到权重热图；

叠加所述权重热图和所述心电图波形区域图像得到内部特征可视化图像；以及

所述将所述心脏病诊断结果信息发送给所述第一终端设备，包括：

将所述心脏病诊断结果信息和内部特征可视化图像发送给所述第一终端设备。

10.一种家庭环境心电图图像分析装置，应用于第一终端设备，所述装置包括：

图像获取单元，被配置成获取待分析图像；

请求生成单元，被配置成响应于检测到针对所述待分析图像的心电图图像分析操作，基于所述待分析图像生成心电图图像分析请求；

请求发送单元，被配置成将所述心电图图像分析请求发送给服务器，其中，所述服务器响应于确定所述待分析图像为心电图图像，将对所述待分析图像进行预处理得到的心电图波形区域图像输入预先训练的心电图分析模型，得到心脏病患病概率预测结果，以及基于所得到的心脏病患病概率预测结果，生成并返回心脏病诊断结果信息；

结果信息呈现单元，被配置成响应于接收到所述服务器响应于所述心电图图像分析请求而发送的心脏病诊断结果信息，呈现所述心脏病诊断结果信息；以及

提示信息呈现单元，被配置成响应于收到所述服务器发送的用于表征所述待分析图像不是心电图图像的提示信息，呈现所述提示信息。

11.一种家庭环境心电图图像分析装置，应用于服务器，所述装置包括：

图像识别单元，被配置成响应于接收到第一终端设备发送的基于待分析图像而生成的心电图图像分析请求，确定所述待分析图像是否为心电图图像；

波形提取单元，被配置成响应于确定是心电图图像，对所述待分析图像进行预处理得到心电图波形区域图像；

概率预测单元，被配置成将所述心电图波形区域图像输入预先训练的心电图分析模型，得到与所述心电图波形区域图像对应的心脏病患病概率预测结果，其中，心脏病患病概率预测结果用于表征患有N种预设心脏病中每种预设心脏病的概率，所述心电图分析模型用于表征心电图波形区域图像与心脏病患病概率预测结果之间的对应关系，所述N为正整数；

诊断结果生成单元，被配置成基于所得到的心脏病患病概率预测结果，生成心脏病诊断结果信息；以及

诊断结果发送单元，被配置成将所述心脏病诊断结果信息发送给所述第一终端设备；

提示信息生成单元，被配置成响应于确定不是心电图图像，生成用于指示所述待分析图像不是心电图图像的提示信息；以及

提示信息发送单元，被配置成将所述提示信息发送给所述第一终端设备。

12.一种终端设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

13.一种服务器，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求6-9中任一所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被一个或多个处理器执行时实现如权利要求1-5中任一所述的方法和/或如权利要求6-9中任一所述的方法。

15.一种家庭环境心电图图像分析系统，包括如权利要求12所述的终端设备和如权利要求13所述的服务器。

Images