CN116503509B - 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质 - Google Patents

一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质 Download PDF

Info

Publication number
CN116503509B
CN116503509B CN202310773009.5A CN202310773009A CN116503509B CN 116503509 B CN116503509 B CN 116503509B CN 202310773009 A CN202310773009 A CN 202310773009A CN 116503509 B CN116503509 B CN 116503509B
Authority
CN
China
Prior art keywords
image
heart
layer
neural network
artifact image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310773009.5A
Other languages
English (en)
Other versions
CN116503509A (zh
Inventor
韩冰
戴跃跃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yilian Shuke Medical Technology Jiangsu Co ltd
Original Assignee
Yilian Shuke Medical Technology Jiangsu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yilian Shuke Medical Technology Jiangsu Co ltd filed Critical Yilian Shuke Medical Technology Jiangsu Co ltd
Priority to CN202310773009.5A priority Critical patent/CN116503509B/zh
Publication of CN116503509A publication Critical patent/CN116503509A/zh
Application granted granted Critical
Publication of CN116503509B publication Critical patent/CN116503509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提出一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质，涉及人工智能及医疗图像处理技术领域，该方法包括：获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，将心电信号平均划分为M个子段心电信号，根据生成时间，每一张心脏图像对应一个子段心电信号，构成M个心脏图像‑心电信号组合，基于每一个子段心电信号的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像；将初步心脏伪影图像与对应的子段心电信号输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中，神经网络模型采用基于心电信号优化的损失函数训练得到。采用了两步生成方式，提高了生成心脏伪影图像的性能。

Description

一种基于神经网络的心脏伪影图像的生成方法、装置及存储 介质
技术领域
本发明涉及人工智能及医疗图像处理技术领域，具体涉及一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质。
背景技术
CT图像伪影指图像上与实际解剖结构不相符的密度异常变化，它涉及CT机部件故障、校准不够及算法误差甚至错误等项目，要消除此类伪影，需根据图像伪影的形状、密度变化值及扫描参数等进行具体问题具体分析，第三代CT机的图像伪影具有一定的普遍性，又特别以环状伪影为最常见。
因此，伪影图像对于CT机等医疗设备的故障检测、医疗图像的判断、诊断具有重要的作用。
现有技术中，一般采用故障模拟的方式生成伪影图像，或者采用GAN网络生成伪影图像，但生成的伪影图像效果较差，纠其原因，是因为在生成时，没有考虑到心脏的状态。
发明内容
本发明针对上述现有技术中一个或多个技术缺陷，提出了如下技术方案。
一种基于神经网络的心脏伪影图像的生成方法，该方法包括：
获取步骤，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理步骤，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一个子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成步骤，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成步骤，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中，所述神经网络模型采用基于心电信号优化的损失函数训练得到。
更进一步地，所述医疗设备为CT机、彩超机或MRI机器。
更进一步地，所述预生成步骤的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai。
更进一步地，在所述生成步骤中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai。
更进一步地，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的样本数量，第一样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的样本数量，第二样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的样本数量，第三样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练集中的第k个训练样本，/>表示第二训练集中的第/>个训练样本，/>表示第三训练集中的第p个训练样本，/>、/>、/>分别表示样本标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，/>表示权值，n、m、q均大于1。
更进一步地，的值基于每个训练样本集中的波峰、波谷的总数量确定：
；
;
;
其中，Hnm、Hmm分别表示第二训练样本集中的波谷、波峰的总数量，Hnq、Hmq分别表示第三训练样本集中的波谷、波峰的总数量。
本发明还提出了一种基于神经网络的心脏伪影图像的生成装置，该装置包括：
获取单元，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理单元，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一个子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成单元，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成单元，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中，所述神经网络模型采用基于心电信号优化的损失函数训练得到。
更进一步地，所述医疗设备为CT机、彩超机或MRI机器。
更进一步地，所述预生成单元的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai。
更进一步地，在所述生成单元中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai。
更进一步地，在所述生成步骤中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai。
更进一步地，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的样本数量，第一样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的样本数量，第二样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的样本数量，第三样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练集中的第k个训练样本，/>表示第二训练集中的第/>个训练样本，/>表示第三训练集中的第p个训练样本，/>、/>、/>分别表示样本标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，/>表示权值，n、m、q均大于1。
更进一步地，的值基于每个训练样本集中的波峰、波谷的总数量确定：
；
;
;
其中，Hnm、Hmm分别表示第二训练样本集中的波谷、波峰的总数量，Hnq、Hmq分别表示第三训练样本集中的波谷、波峰的总数量。
本发明还提出了一种计算机可读存储介质，所述存储介质上存储有计算机程序代码，当所述计算机程序代码被计算机执行时执行上述之任一的方法。
本发明的技术效果在于：本发明的一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质，该方法包括：获取步骤S101，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；预处理步骤S102，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；预生成步骤S103，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；生成步骤S104，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中所述神经网络模型采用基于心电信号优化的损失函数训练得到。本发明创造性提出了基于实时采集的心脏图像及对应的心电图信号生成心脏伪影图像，本发明，先实时采集的心脏图像及对应的心电图信号，并将心脏图像与心电图信号进行对应关联，然后基于关联的心电信号对心脏图像进行初步处理得到初步心脏伪影图像，然后再使用训练的人工神经网络基于初步心脏伪影图像及关联的心电信号生成心脏伪影图像，由于采用了两步生成方式，且神经网络模型采用基于心电信号优化的损失函数训练得到，从而使得生成的心脏伪影图像更加逼真，提高了生成心脏伪影图像的性能，该生成的心脏伪影图像可用于训练其他神经网络模型，比如判读心脏图像的神经网络模型，以提高心脏图像判读的准确度；本发明中，先统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，基于二者的关系对原始的心脏图像进行不同方向的平移，平移后与原始图像进行叠加，从而生成初步心脏伪影图像，由于初步伪影图像已经与心电信号相关联，使得生成的初步心脏伪影图像比较客观，再进一步地使用神经网络对其进行优化，生成效果更佳心脏伪影图像；本发明中，在神经网络生成心脏伪影图像时，还判断子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像，在心电信号出现抖动时，该心脏图像出现的伪影一般来说比较大，因此，将初步心脏伪影图像进行翻转再输入至人工神经网络，从而生成的伪影图像更加符合此时心脏的状态；本发明一个重要的发明构思是基于训练样本的子段心电信号中的波峰与波谷的数量关系将训练样本集分为三类，每类中的进而基于每类训练样本中的波峰、波谷的数量构建了对应的损失函数，即本发明针对心脏伪影图像生成的不准确改进了相应损失函数，该损失函数基于心电信号进行了优化，从而使得生成的心脏伪影图像更加准确。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。
图1是根据本发明的实施例的一种基于神经网络的心脏伪影图像的生成方法的流程图。
图2是根据本发明的实施例的一种基于神经网络的心脏伪影图像的生成装置的结构图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了本发明的一种基于神经网络的心脏伪影图像的生成方法，该方法包括：
获取步骤S101，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理步骤S102，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成步骤S103，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成步骤S104，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中所述神经网络模型采用基于心电信号优化的损失函数训练得到。
本发明创造性提出了基于实时采集的心脏图像及对应的心电图信号生成心脏伪影图像，该方法基于采集的M张心脏图像，并采集该时间段内对应的心电信号，然后将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中所述神经网络模型采用基于心电信号优化的损失函数训练得到。本发明，先实时采集的心脏图像及对应的心电图信号，并将心脏图像与心电图信号进行对应关联，然后基于关联的心电信号对心脏图像进行初步处理得到初步心脏伪影图像，然后再使用训练的人工神经网络基于初步心脏伪影图像及关联的心电信号生成心脏伪影图像，由于采用了两步生成方式，且神经网络模型采用基于心电信号优化的损失函数训练得到，从而使得生成的心脏伪影图像更加逼真，提高了生成心脏伪影图像的性能，该生成的心脏伪影图像可用于训练其他神经网络模型，比如判读心脏图像的神经网络模型，以提高心脏图像判读的准确度，这是本发明的重要发明构思之一。
在一个实施例中，所述医疗设备为CT机、彩超机或MRI机器。
在一个实施例中，所述预生成步骤S103的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai。
本发明中，先统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，基于二者的关系对原始的心脏图像进行不同方向的平移，平移后与原始图像进行叠加，从而生成初步心脏伪影图像，由于初步伪影图像已经与心电信号相关联，使得生成的初步心脏伪影图像比较客观，再进一步地使用神经网络对其进行优化，生成效果更佳心脏伪影图像，这是本发明的另一个重要发明构思之体现。
在一个实施例中，在所述生成步骤S104中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai。
本发明中，在神经网络生成心脏伪影图像时，还判断子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像，在心电信号出现抖动时，该心脏图像出现的伪影一般来说比较大，因此，将初步心脏伪影图像进行翻转再输入至人工神经网络，从而生成的伪影图像更加符合此时心脏的状态，这是本发明的另一重要发明构思之体现。
在一个实施例中，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的样本数量，第一样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的样本数量，第二样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的样本数量，第三样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练集中的第k个训练样本，/>表示第二训练集中的第/>个训练样本，/>表示第三训练集中的第p个训练样本，/>、/>、/>分别表示样本标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，/>表示权值，n、m、q均大于1。
在一个实施例中，的值基于每个训练样本集中的波峰、波谷的总数量确定：
；
;
;
其中，Hnm、Hmm分别表示第二训练样本集中的波谷、波峰的总数量，Hnq、Hmq分别表示第三训练样本集中的波谷、波峰的总数量。
在一个实施例中，构建所述神经网络模型的结构为：依次连接的预处理层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层、反卷积层和输出层，预处理层用于对输入的初步心脏伪影图像CPImai与对应的子段心电信号HSi进行预处理，预处理包括图像噪声过滤、异常心电信号过滤等，第一卷积层采用的卷积核为3*3，第二卷积层采用的卷积核为2*2，第三卷积层采用的卷积核为3*3，第一池化层、第二池化层采用均值池化方法进行池化，第三池化层采用最大值池化方法进行池化，全连接层用于连接第三池化层的输出，反卷积层的卷积核为3*3，输出层用于输出生成的心脏伪影图像。
所述神经网络的训练过程为：将训练样本集划分为第一、二、三训练样本集，每个训练样本集分别有n、m、q个训练样本，使用三个训练样本集交叉对所述神经网络模型训练，最小训练速率设置为0.85，允许的误差设置为0.0001-0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，训练完毕；迭代次数设置为2000次，当迭代结果不收敛时，允许最大的迭代次数，Sigmoid激励参数设置为0.85-0.95之间。
本发明一个重要的发明构思是基于训练样本的子段心电信号中的波峰与波谷的数量关系将训练样本集分为三类，每类中的进而基于每类训练样本中的波峰、波谷的数量构建了对应的损失函数，该损失函数针对样本集中心电信号波峰、波谷不相等的样本的权重与波峰、波谷的数量相关，即本发明针对心脏伪影图像生成的不准确改进了相应损失函数，该损失函数基于心电信号进行了优化，从而使得生成的心脏伪影图像更加准确，因此，该损失函数的具体方式及含义是本发明的一个重要发明构思。
图2示出了本发明的一种基于神经网络的心脏伪影图像的生成装置，该装置包括：
获取单元201，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理单元202，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成单元203，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成单元204，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中所述神经网络模型采用基于心电信号优化的损失函数训练得到。
本发明创造性提出了基于实时采集的心脏图像及对应的心电图信号生成心脏伪影图像，该方法基于采集的M张心脏图像，并采集该时间段内对应的心电信号，然后将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中所述神经网络模型采用基于心电信号优化的损失函数训练得到。本发明，先实时采集的心脏图像及对应的心电图信号，并将心脏图像与心电图信号进行对应关联，然后基于关联的心电信号对心脏图像进行初步处理得到初步心脏伪影图像，然后再使用训练的人工神经网络基于初步心脏伪影图像及关联的心电信号生成心脏伪影图像，由于采用了两步生成方式，且神经网络模型采用基于心电信号优化的损失函数训练得到，从而使得生成的心脏伪影图像更加逼真，提高了生成心脏伪影图像的性能，该生成的心脏伪影图像可用于训练其他神经网络模型，比如判读心脏图像的神经网络模型，以提高心脏图像判读的准确度，这是本发明的重要发明构思之一。
在一个实施例中，所述医疗设备为CT机、彩超机或MRI机器。
在一个实施例中，所述预生成单元203的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai。
本发明中，先统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，基于二者的关系对原始的心脏图像进行不同方向的平移，平移后与原始图像进行叠加，从而生成初步心脏伪影图像，由于初步伪影图像已经与心电信号相关联，使得生成的初步心脏伪影图像比较客观，再进一步地使用神经网络对其进行优化，生成效果更佳心脏伪影图像，这是本发明的另一个重要发明构思之体现。
在一个实施例中，在所述生成单元204中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai。
本发明中，在神经网络生成心脏伪影图像时，还判断子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像，在心电信号出现抖动时，该心脏图像出现的伪影一般来说比较大，因此，将初步心脏伪影图像进行翻转再输入至人工神经网络，从而生成的伪影图像更加符合此时心脏的状态，这是本发明的另一重要发明构思之体现。
在一个实施例中，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的样本数量，第一样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的样本数量，第二样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的样本数量，第三样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练集中的第k个训练样本，/>表示第二训练集中的第/>个训练样本，/>表示第三训练集中的第p个训练样本，/>、/>、/>分别表示样本标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，/>表示权值，n、m、q均大于1。
在一个实施例中，的值基于每个训练样本集中的波峰、波谷的总数量确定：
；
;
;
其中，Hnm、Hmm分别表示第二训练样本集中的波谷、波峰的总数量，Hnq、Hmq分别表示第三训练样本集中的波谷、波峰的总数量。
在一个实施例中，构建所述神经网络模型的结构为：依次连接的预处理层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层、反卷积层和输出层，预处理层用于对输入的初步心脏伪影图像CPImai与对应的子段心电信号HSi进行预处理，预处理包括图像噪声过滤、异常心电信号过滤等，第一卷积层采用的卷积核为3*3，第二卷积层采用的卷积核为2*2，第三卷积层采用的卷积核为3*3，第一池化层、第二池化层采用均值池化方法进行池化，第三池化层采用最大值池化方法进行池化，全连接层用于连接第三池化层的输出，反卷积层的卷积核为3*3，输出层用于输出生成的心脏伪影图像。
所述神经网络的训练过程为：将训练样本集划分为第一、二、三训练样本集，每个训练样本集分别有n、m、q个训练样本，使用三个训练样本集交叉对所述神经网络模型训练，最小训练速率设置为0.85，允许的误差设置为0.0001-0.00001，当2次迭代结果的误差小于该值时，系统结束迭代计算，训练完毕；迭代次数设置为2000次，当迭代结果不收敛时，允许最大的迭代次数，Sigmoid激励参数设置为0.85-0.95之间。
本发明一个重要的发明构思是基于训练样本的子段心电信号中的波峰与波谷的数量关系将训练样本集分为三类，每类中的进而基于每类训练样本中的波峰、波谷的数量构建了对应的损失函数，该损失函数针对样本集中心电信号波峰、波谷不相等的样本的权重与波峰、波谷的数量相关，即本发明针对心脏伪影图像生成的不准确改进了相应损失函数，该损失函数基于心电信号进行了优化，从而使得生成的心脏伪影图像更加准确，因此，该损失函数的具体方式及含义是本发明的一个重要发明构思。
本发明一个实施例中提出了一种计算机存储介质，所述计算机存储介质上存储有计算机程序，当所述计算机存储介质上的计算机程序被处理器执行时实现上述的方法，该计算机存储介质可以是硬盘、DVD、CD、闪存等等存储器。
本发明的为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例或者实施例的某些部分所述的装置。
最后所应说明的是：以上实施例仅以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种基于神经网络的心脏伪影图像的生成方法，其特征在于，该方法包括：
获取步骤，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理步骤，将所述心电信号平均划分为M个子段心电信号，根据生成时间，每一张心脏图像对应一个子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成步骤，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成步骤，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中，所述神经网络模型采用基于心电信号优化的损失函数训练得到；
其中，所述预生成步骤的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai；
其中，所述神经网络模型的结构为：依次连接的预处理层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层、反卷积层和输出层，预处理层用于对输入的初步心脏伪影图像CPImai与对应的子段心电信号HSi进行预处理，第一卷积层采用的卷积核为3*3，第二卷积层采用的卷积核为2*2，第三卷积层采用的卷积核为3*3，第一池化层、第二池化层采用均值池化方法进行池化，第三池化层采用最大值池化方法进行池化，全连接层用于连接第三池化层的输出，反卷积层的卷积核为3*3，输出层用于输出生成的心脏伪影图像PImai；
在所述生成步骤中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai；
其中，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的训练样本数量，第一训练样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的训练样本数量，第二训练样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的训练样本数量，第三训练样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练样本集中的第k个训练样本，/>表示第二训练样本集中的第/>个训练样本，/>表示第三训练样本集中的第p个训练样本，/>、/>、/>分别表示训练样本的标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，表示权值，n、m、q均大于1。
2.根据权利要求1所述的方法，其特征在于，所述医疗设备为CT机、彩超机或MRI机器。
3.一种基于神经网络的心脏伪影图像的生成装置，其特征在于，该装置包括：
获取单元，获取医疗设备在一个时间段内采集的M张心脏图像，并采集该时间段内的心电信号，其中，2≤M；
预处理单元，将所述心电信号平均划分为M个子段心电信号，根据生成时间每一张心脏图像对应一个子段心电信号，构成M个心脏图像-心电信号组合（Imai，HSi），其中，1≤i≤M；
预生成单元，基于每一个子段心电信号HSi的变化趋势对相应的心脏图像Imai进行处理生成对应的初步心脏伪影图像CPImai；
生成单元，将初步心脏伪影图像CPImai与对应的子段心电信号HSi输入至经训练后的神经网络模型中生成心脏伪影图像PImai，其中，所述神经网络模型采用基于心电信号优化的损失函数训练得到；
其中，所述预生成单元的操作为：统计一个子段心电信号HSi中的波峰的数量Hmi和波谷的数量Hni，如果Hmi≤Hni，则将心脏图像Imai向左平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai，否则，则将心脏图像Imai向右平移Hni像素后与心脏图像Imai叠加得到初步心脏伪影图像CPImai；
其中，所述神经网络模型的结构为：依次连接的预处理层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层、反卷积层和输出层，预处理层用于对输入的初步心脏伪影图像CPImai与对应的子段心电信号HSi进行预处理，第一卷积层采用的卷积核为3*3，第二卷积层采用的卷积核为2*2，第三卷积层采用的卷积核为3*3，第一池化层、第二池化层采用均值池化方法进行池化，第三池化层采用最大值池化方法进行池化，全连接层用于连接第三池化层的输出，反卷积层的卷积核为3*3，输出层用于输出生成的心脏伪影图像PImai；
在所述生成单元中，判断所述子段心电信号HSi是否具有抖动信号，如果是，则将初步心脏伪影图像CPImai进行翻转后再输入至经训练后的神经网络模型中生成心脏伪影图像PImai，如果否，则直接将初步心脏伪影图像CPImai输入至经训练后的神经网络模型中生成心脏伪影图像PImai；
其中，所述基于心电信号优化的损失函数为：
；
其中，n表示第一训练样本集中的训练样本数量，第一训练样本集中的训练样本的子段心电信号中的波峰的数量等于波谷的数量；m表示第二训练样本集中的训练样本数量，第二训练样本集中的训练样本的子段心电信号中的波峰的数量大于波谷的数量；q表示第三训练样本集中的训练样本数量，第三训练样本集中的训练样本的子段心电信号中的波峰的数量小于波谷的数量的样本数量；表示第一训练样本集中的第k个训练样本，/>表示第二训练样本集中的第/>个训练样本，/>表示第三训练样本集中的第p个训练样本，/>、/>、/>分别表示训练样本的标签值，/>、/>、/>分别表示神经网络生成的心脏伪影图像，表示权值，n、m、q均大于1。
4.根据权利要求3所述的装置，其特征在于，所述医疗设备为CT机、彩超机或MRI机器。
5.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有计算机程序，当所述计算机存储介质上的计算机程序被处理器执行时实现权利要求1-2任一项所述的方法。
CN202310773009.5A 2023-06-28 2023-06-28 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质 Active CN116503509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310773009.5A CN116503509B (zh) 2023-06-28 2023-06-28 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310773009.5A CN116503509B (zh) 2023-06-28 2023-06-28 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN116503509A CN116503509A (zh) 2023-07-28
CN116503509B true CN116503509B (zh) 2023-09-19

Family

ID=87325298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310773009.5A Active CN116503509B (zh) 2023-06-28 2023-06-28 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116503509B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182720A (zh) * 2017-12-28 2018-06-19 上海联影医疗科技有限公司 心脏图像的重建方法及医疗影像系统
CN111462020A (zh) * 2020-04-24 2020-07-28 上海联影医疗科技有限公司 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN114782384A (zh) * 2022-04-28 2022-07-22 东南大学 一种基于半监督方法的心脏腔室图像分割方法及装置
CN116309524A (zh) * 2023-04-07 2023-06-23 上海交通大学 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108182720A (zh) * 2017-12-28 2018-06-19 上海联影医疗科技有限公司 心脏图像的重建方法及医疗影像系统
CN111462020A (zh) * 2020-04-24 2020-07-28 上海联影医疗科技有限公司 心脏图像的运动伪影校正方法、系统、存储介质和设备
CN114782384A (zh) * 2022-04-28 2022-07-22 东南大学 一种基于半监督方法的心脏腔室图像分割方法及装置
CN116309524A (zh) * 2023-04-07 2023-06-23 上海交通大学 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统

Also Published As

Publication number Publication date
CN116503509A (zh) 2023-07-28

Similar Documents

Publication Publication Date Title
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
US10859657B2 (en) MRI reconstruction using deep learning, generative adversarial network and acquisition signal model
CN108537794B (zh) 医学图像数据处理方法、装置和计算机可读存储介质
CN110991636B (zh) 生成式对抗网络的训练方法及装置、图像增强方法及设备
CN110097968A (zh) 基于静息态功能磁共振影像的婴儿脑龄预测方法、系统
WO2015128803A2 (en) System and method for auto-contouring in adaptive radiotherapy
CN112734887A (zh) 基于深度学习的人脸混合-变形生成方法和装置
CN116712056B (zh) 心电图数据的特征图像生成与识别方法、设备及存储介质
CN111724365B (zh) 血管内动脉瘤修复手术的介入器械检测方法、系统及装置
CN114648048A (zh) 基于变分自编码和PixelCNN模型的心电信号降噪方法
CN113239022A (zh) 医疗诊断缺失数据补全方法及补全装置、电子设备、介质
CN111814891A (zh) 医学图像合成方法、装置及存储介质
CN110060315A (zh) 一种基于人工智能的图像运动伪影消除方法及系统
CN115578427A (zh) 基于深度学习的无监督单模态医学图像配准方法
CN117611453A (zh) 一种核磁共振图像超分辨率恢复方法及模型构建方法
CN116578843A (zh) 离心泵诊断模型训练方法、诊断方法、系统、装置及介质
EP3660789B1 (en) Model-based image reconstruction using analytic models learned by artificial-neural-networks
CN116503509B (zh) 一种基于神经网络的心脏伪影图像的生成方法、装置及存储介质
CN113628147A (zh) 一种基于噪声生成网络的牙齿ct图像盲去噪方法
CN116935009B (zh) 基于历史数据分析进行预测的手术导航系统
CN111311531B (zh) 图像增强方法、装置、控制台设备及医学成像系统
CN117291835A (zh) 基于图像内容感知先验和注意力驱动的去噪网络模型
CN111063000A (zh) 基于神经网络结构搜索的磁共振快速成像方法和装置
CN114926366A (zh) 使用人工神经网络的运动伪影校正的方法和设备
US20220107256A1 (en) Method and apparatus for predicting fluid flow through a subject conduit

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant