CN114119968B - 基于深度神经网络的纸质心电图信号区域提取方法及系统 - Google Patents

Abstract

本发明公开了一种基于深度神经网络的纸质心电图信号区域提取方法及系统，属于心电学技术领域。本发明包括对纸质心电图上的信号区域进行标注得到信号区域的范围；对纸质心电图进行预处理；根据预处理后的纸质心电图构建深度神经网络；初始化所述深度神经网络，定义损失函数和设定优化算法；结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；微调模型的预测结果以获得准确的信号区域；根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。本发明能够对纸质心电图中信号区域进行精准提取。

Description

基于深度神经网络的纸质心电图信号区域提取方法及系统

技术领域

本发明涉及心电学技术领域，具体涉及一种基于深度神经网络的纸质心电图信号区域提取方法。

背景技术

心电图因其方便快捷的检测方式、较低的检测价格和准确的检测效果而被广泛使用于不同医疗的场景中。目前，心电图最常见的存储方式是将心电图机获得的心电信号打印在热敏纸上形成纸质心电图，这使得医疗机构每天会产生大量的心电报告。

随着我国数字化医疗建设工作的推进，纸质心电图的数字化不仅有利于医院对病人信息的管理，还对临床医生的教学科研工作有大的帮助。此外，医疗机构还能够利用大数据来对心脏疾病进行更为精细化的统计分析，为患者提供更好的治疗计划和预后分析。目前建立数字化心电图数据库的需要非常迫切，远程在线医疗诊断的服务需求也在不断增长，对纸质心电图的信息提取并数字化是一个亟待解决并具有实际应用需求的问题。然而，目前纸质心电图数字化的工作仍然存在一些困难，主要是以下三个关键的问题阻碍着纸质心电图数字化进程。

(1)在纸质心电图中，除了信号区域外还存在有患者的其他信息及心电参数，这些信息增加了心电信号数字化的难度，甚至会影响数字化结果的准确性。

(2)不同医疗机构的纸质心电图有着不同的排布，这使得针对某一种纸质心电图排布的数字化方法很难适用于其他排布的纸质心电图中去。

(3)在纸质心电图的采集过程中，部分区域可能会产生一定的噪音，这些噪音会使获取的图像中局部区域的像素值大小发生改变，极大的影响到数字化的结果。

发明内容

技术问题：针对上述问题，本发明提供一种基于深度神经网络的纸质心电图信号区域提取方法和系统，通过将纸质心电图中的信号区域提取出来降低无关区域对纸质心电图数字化过程的干扰，提高纸质心电图数字化结果的准确率。

技术方案：第一方面，本发明提供一种基于深度神经网络的纸质心电图信号区域提取方法，其特征在于，包括：

获取纸质心电图；

对纸质心电图上的信号区域进行标注得到信号区域的范围；

对纸质心电图进行预处理；

根据预处理后的纸质心电图构建深度神经网络；

初始化所述深度神经网络，定义损失函数和设定优化算法；

结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；

将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；

微调深度神经网络模型的预测结果以获得准确的信号区域；

根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。

进一步地，所述对纸质心电图上的信号区域进行标注得到信号区域的范围包括：

从纸质心电图中框选出心电信号区域，用于作为训练深度神经网络的标签；所述纸质心电图为任意大小。

进一步地，所述对纸质心电图进行预处理包括：

将图像采样至随机大小，并使用灰色图像覆盖图像中的部分区域；

使用随机概率来选择是否对覆盖后的图像进行翻转；

对图像的色彩空间进行转换；

对图像进行归一化操作使图像的像素值大小缩放到0-1之间并将其转换为张量。

进一步地，所述根据预处理后的纸质心电图构建深度神经网络包括：

深度神经网络的输入为所述张量；输出为预测概率和信号区域的范围。

进一步地，所述的初始化所述深度神经网络，定义损失函数和设定优化算法包括：

采用均值为0、方差为1的正态分布随机初始化深度神经网络中的参数；

定义损失函数来衡量真实标签和预测结果之间的差异；

通过对损失函数求最优解，使用Adam优化算法对深度神经网络中的参数进行更新直至深度神经网络收敛；

将预处理后的纸质心电图和真实标签输入到深度神经网络。

进一步地，所述结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛包括：

通过前向传播算法提取纸质心电图特征，以预测纸质心电图中的信号区域，并得到预测结果；

通过损失函数求得预测结果和真实标签之间的差异，该差异被具体量化为损失值；

结合基于链式求导法则的反向传播算法和adam优化算法来对深度神经网络中的权重参数进行梯度更新；

使用权重参数更新过的深度神经网络重复迭代训练，直至深度神经网络收敛；

在权重参数更新的过程中，记录损失值得变化曲线，并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络。

进一步地，所述待提取纸质心电图为标注数据以外的数据。

进一步地，所述的微调模型的预测结果以获得准确的信号区域包括：

首先对深度神经网络所预测信号区域的上下左右边界进行扩张；

然后逐步缩小边界范围，直至达到最优的结果。

进一步地，所述根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域包括：

使用模板匹配算法将获取到的信号区域与已获取的导联名称模板相互匹配，得到各个导联的匹配结果；

根据关键导联名称的坐标位置来判断该纸质心电图上导联位置的布局；

通过对纸质心电图中像素值进行行求和与列求和来确定导联位置，结合导联名称的坐标和导联位置的起始点来获取每个导联的初始位置；

根据导联间距和导联的初始位置在纸质心电图的信号区域中获的每个导联的信号区域，实现信号区域的精准获取。

第二方面，本发明提供一种基于深度神经网络的纸质心电图信号区域提取系统，根据本发明所提供的任一所述的基于深度神经网络的纸质心电图信号区域提取方法对纸质心电图信号区域进行提取，包括：

数据获取单元，用于获取纸质心电图；

标注单元，用于对纸质心电图上的信号区域进行标注得到信号区域的范围；

预处理单元，用于对纸质心电图进行预处理；

模型构建单元，用于根据预处理后的纸质心电图构建深度神经网络；

预设单元，用于初始化所述深度神经网络，定义损失函数和设定优化算法；

训练单元，用于结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；

预测单元，用于将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；

微调单元，用于微调深度神经网络模型的预测结果以获得准确的信号区域；

信号区域获取单元，用于根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。

有益效果：本发明与现有技术相比，通过训练的深度神经网络，对纸质心电图中的信号区域提取，从而获取纸质心电图中的信号区域。结合设计的微调算法和导联名称匹配方法优化信号区域范围，进而实现纸质心电图中信号区域的精准获取。

附图说明

图1是本发明实施例中基于深度神经网络的纸质心电图信号区域提取方法的流程示意图；

图2为本发明实施例中所提出基于深度神经网络的纸质心电图信号区域提取方法实施场景示意图。

具体实施方式

下面结合实施例和说明书附图对本发明作进一步的说明。

图1示出了本发明的实施例中基于深度神经网络的纸质心电图信号区域提取方法的流程图。图2为本发明实施例中所提出基于深度神经网络的纸质心电图信号区域提取方法实施场景示意图。结合图1和图2所示，本发明的实施例中，该方法包括如下步骤，见步骤S100～S900：

步骤S100：获取纸质心电图。在本发明的实施例中，纸质心电图的形式可以是任意形式，大小不限，尺寸不限。

步骤S200：对纸质心电图上的信号区域进行标注得到信号区域的范围。在本发明的实施例中，从纸质心电图中框选出心电信号区域，用于作为训练深度神经网络的标签；其中纸质心电图为任意大小，并不做过多限制。在标注时，可以采用人工标注的方式。具体的，纸质心电图被表示为

其中，h和w分别是图像的长和宽。通过划定心电信号区域的上下左右(top,left,bottom,right)四条边作为真实标签，其中，top和bottom代表心电信号区域的上下边界(即，top和bottom是心电信号区域在图像的宽w上投影的两个边界点)，left和righ代表心电信号区域的左右边界(即，left和righ是心电信号区域在图像的长h上投影的两个边界点)。

步骤S300：对纸质心电图进行预处理。该步骤目的是为了增加噪声数据量，提高模型的泛化能力和鲁棒性，避免过拟合。

具体的，在本发明的实施例中，对纸质心电图进行预处理可按照如下步骤进行，见步骤S310～S340。

步骤S310：将图像采样至随机大小，并使用灰色图像覆盖图像中的部分区域；具体的，将一个服从标准正态分布的随机样本值作为尺度来调整图像大小，并构建一个一定大小的纯灰色图像来覆盖图像中的部分区域。可以构建如式(1)所示的公式计算出对图像缩放的尺度，其中，α∈(0,1)，b和a分别是预先设定的数值。具体的，结合不同设置的scale来对图像进行缩放并调整图像大小，使用灰色像素将调整后的结果填充至固定大小。

scale的计算方式为：

scale＝α(b-a)+a (1)

步骤S320：使用随机概率来选择是否对覆盖后的图像进行翻转；具体的，在本发明的实施例中，设定0.5为阈值来判断是否对图像进行翻转操作，若大于0.5，则对图像进行翻转，反之，则不进行操作。

步骤S330：对图像的色彩空间进行转换。具体的，将一个服从标准正态分布的随机样本值作为尺度来对图像的色彩空间进行转换，将图像由RGB图像转换到HSV色域上进行色域扭曲操作，在完成色域扭曲操作后将图像重新由HSV转换至RGB图像。

步骤S340：对图像进行归一化操作使图像的像素值大小缩放到0-1之间并将其转换为张量，也就是将数据格式转换为张量。

步骤S400：根据预处理后的纸质心电图构建深度神经网络Z。在本发明的实施例中，深度神经网络Z的结构不做限制，可以为现有的深度神经网络结构形式，即包括输入层、隐藏层、输出层，至于隐藏层的层数，可以根据具体情况，调整隐藏层的层数。只需其输入为X_i，输出为预测概率P_i和信号区域的范围P_{(top,left,bottom,right)}，其中，

其中，b是输入网络的批次大小，c是纸质心电图的通道数，nh和nw是预处理后纸质心电图的长度和宽度，top和bottom代表预测心电信号区域的上下边界，left和right代表预测心电信号区域的左右边界。

步骤S500：初始化所述深度神经网络Z，定义损失函数和设定优化算法。具体的，在本发明的实施例中，可按照步骤S510～S540进行。

步骤S510：采用均值为0、方差为1的正态分布随机初始化深度神经网络Z中的参数。

步骤S520：定义损失函数LF来衡量真实标签P_{(top,left,bottom,right)}和预测结果T_{(top,left,bottom,right)}之间的差异，在本发明的实施例中，损失函数为：

其中，m为纸质心电图的数量，α和γ分别为权重参数。P_i是深度神经网络Z对纸质心电图的预测概率。

步骤S530：通过对损失函数LF求最优解，使用Adam优化算法对深度神经网络Z中的参数进行更新直至深度神经网络Z收敛；

步骤S540：将预处理后的纸质心电图和真实标签输入到深度神经网络Z。

步骤S600：结合训练数据和所定义的损失函数对深度神经网络Z进行迭代训练直至收敛。具体的，在本发明的实施例中，可按照步骤S610～S650进行。

步骤S610：通过前向传播算法来实现对纸质心电图特征的提取以预测纸质心电图中的信号区域，并得到预测结果P_{(top，left，bottom，right)}，其实现方式为：

P_{(top,left,bottom,right)}＝W_n(W_n-1(…(W₁X₁+b₁)…)+b_n-1)+B_n

其中，W₁,W₂,W₃,…,W_n是深度神经网络Z中不同层的权重，b₁,b₂,b₃,…,b_n是深度神经网络Z中不同层的偏置项。

步骤S620：通过损失函数LF求得预测结果P_{(top，left，bottom，right)}和真实标签T_{(top，left，bottom，right)}之间的差异，该差异被具体量化为损失值，其实现方式为：

Loss＝LF(P_{(top,left,bottom,right)},T_{(top,left,bottom,right)})

步骤S630：结合基于链式求导法则的反向传播算法和Adam优化算法来对深度神经网络Z中的权重参数W_i进行梯度更新。

步骤S640：使用权重参数更新过的深度神经网络Z重复S610-S630的步骤，直至深度神经网络Z收敛。

步骤S650：在权重参数更新的过程中，记录损失值得变化曲线，并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络模型。

步骤S700：将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果。在本发明的实施例中，待提取纸质心电图为标注数据以外的数据，可以是任意来源的纸质心电图。

步骤S800：微调模型的预测结果以获得准确的信号区域。在本发明的实施例中，具体为：首先对深度神经网络的所预测信号区域的P_{(top,left,bottom,right)}的上下左右边界进行扩张，然后逐步缩小边界范围，直至达到最优的结果。该步骤中，具体是利用逐步长对比的思路设计了上述的纸质心电图中信号区域的微调算法；然后通过所设计微调算法来优化深度神经网络的预测结果以实现纸质心电图中完整信号区域的获取；最后根据优化后的信号区域范围从原始纸质心电图中获得完整的信号区域。

步骤S900：根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。在本发明的实施例中，可按照步骤S910～S940进行。其中，“导联”是在心电图领域的专业术语，将记录心电图时电极在人体体表的放置位置及电极与放大器的连接方式称为心电图的导联。

步骤S910：使用模板匹配算法将获取到的信号区域与已获取的导联名称模板相互匹配，得到各个导联的匹配结果P_{(confidence,rectangle,result)}。

步骤S920：根据关键导联名称的坐标位置来判断该纸质心电图上导联位置的布局。

步骤S930：通过对纸质心电图中像素值进行行求和与列求和来确定导联位置，结合导联名称的坐标和导联位置的起始点来获取每个导联的初始位置。

步骤S940：根据导联间距和导联的初始位置在纸质心电图的信号区域中获的每个导联的信号区域，实现信号区域的精准获取。

另一方面，本发明的实施例中提供了一种基于深度神经网络的纸质心电图信号区域提取系统，该系统根据上述任一实施方式所述的基于深度神经网络的纸质心电图信号区域提取方法对纸质心电图信号区域进行提取，该系统包括：数据获取单元，用于获取纸质心电图；

标注单元，用于对纸质心电图上的信号区域进行标注得到信号区域的范围；

预处理单元，用于对纸质心电图进行预处理；

模型构建单元，用于根据预处理后的纸质心电图构建深度神经网络；

预设单元，用于初始化所述深度神经网络，定义损失函数和设定优化算法；

训练单元，用于结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；

预测单元，用于将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；

微调单元，用于微调深度神经网络模型的预测结果以获得准确的信号区域；

信号区域获取单元，用于根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。

上述实施例仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (9)

1.一种基于深度神经网络的纸质心电图信号区域提取方法，其特征在于，包括：

获取纸质心电图；

对纸质心电图上的信号区域进行标注得到信号区域的范围；

对纸质心电图进行预处理；

根据预处理后的纸质心电图构建深度神经网络；

初始化所述深度神经网络，定义损失函数和设定优化算法；

结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；

将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；

微调深度神经网络模型的预测结果以获得准确的信号区域；

根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域，包括：使用模板匹配算法将获取到的信号区域与已获取的导联名称模板相互匹配，得到各个导联的匹配结果；根据关键导联名称的坐标位置来判断该纸质心电图上导联位置的布局；通过对纸质心电图中像素值进行行求和与列求和来确定导联位置，结合导联名称的坐标和导联位置的起始点来获取每个导联的初始位置；根据导联间距和导联的初始位置在纸质心电图的信号区域中获的每个导联的信号区域，实现信号区域的精准获取。

2.根据权利要求1所述的方法，其特征在于，所述对纸质心电图上的信号区域进行标注得到信号区域的范围包括：

从纸质心电图中框选出心电信号区域，用于作为训练深度神经网络的标签；所述纸质心电图为任意大小。

3.根据权利要求2所述的方法，其特征在于，所述对纸质心电图进行预处理包括：

将图像采样至随机大小，并使用灰色图像覆盖图像中的部分区域；

使用随机概率来选择是否对覆盖后的图像进行翻转；

对图像的色彩空间进行转换；

对图像进行归一化操作使图像的像素值大小缩放到0-1之间并将其转换为张量。

4.根据权利要求3所述的方法，其特征在于，所述根据预处理后的纸质心电图构建深度神经网络包括：

深度神经网络的输入为所述张量；输出为预测概率和信号区域的范围。

5.根据权利要求4所述的方法，其特征在于，所述的初始化所述深度神经网络，定义损失函数和设定优化算法包括：

采用均值为0、方差为1的正态分布随机初始化深度神经网络中的参数；

定义损失函数来衡量真实标签和预测结果之间的差异；

通过对损失函数求最优解，使用Adam优化算法对深度神经网络中的参数进行更新直至深度神经网络收敛；

将预处理后的纸质心电图和真实标签输入到深度神经网络。

6.根据权利要求5所述的方法，其特征在于，所述结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛包括：

通过前向传播算法提取纸质心电图特征，以预测纸质心电图中的信号区域，并得到预测结果；

通过损失函数求得预测结果和真实标签之间的差异，该差异被具体量化为损失值；

结合基于链式求导法则的反向传播算法和Adam优化算法来对深度神经网络中的权重参数进行梯度更新；

使用权重参数更新过的深度神经网络重复迭代训练，直至深度神经网络收敛；

在权重参数更新的过程中，记录损失值得变化曲线，并通过对损失值预设相应的阈值来保存权重参数得到最终的深度神经网络。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述待提取纸质心电图为标注数据以外的数据。

8.根据权利要求7所述的方法，其特征在于，所述的微调模型的预测结果以获得准确的信号区域包括：

首先对深度神经网络所预测信号区域的上下左右边界进行扩张；

然后逐步缩小边界范围，直至达到最优的结果。

9.一种基于深度神经网络的纸质心电图信号区域提取系统，根据权利要求1-8任一项所述的基于深度神经网络的纸质心电图信号区域提取方法对纸质心电图信号区域进行提取，其特征在于，包括：

数据获取单元，用于获取纸质心电图；

标注单元，用于对纸质心电图上的信号区域进行标注得到信号区域的范围；

预处理单元，用于对纸质心电图进行预处理；

模型构建单元，用于根据预处理后的纸质心电图构建深度神经网络；

预设单元，用于初始化所述深度神经网络，定义损失函数和设定优化算法；

训练单元，用于结合训练数据和所定义的损失函数对深度神经网络进行迭代训练直至收敛；

预测单元，用于将待提取纸质心电图输入已训练完成的深度神经网络，获取模型的预测结果；

微调单元，用于微调深度神经网络模型的预测结果以获得准确的信号区域；

信号区域获取单元，用于根据模板匹配算法、导联排布预测算法和导联定位算法确定纸质心电图排布并获得每个导联的信号区域。

Images