CN115886766A - 一种基于注意力机制与ctg图像的胎儿、新生儿缺氧无创诊断系统 - Google Patents
一种基于注意力机制与ctg图像的胎儿、新生儿缺氧无创诊断系统 Download PDFInfo
- Publication number
- CN115886766A CN115886766A CN202211518126.9A CN202211518126A CN115886766A CN 115886766 A CN115886766 A CN 115886766A CN 202211518126 A CN202211518126 A CN 202211518126A CN 115886766 A CN115886766 A CN 115886766A
- Authority
- CN
- China
- Prior art keywords
- module
- signal
- ctg
- time sequence
- fhr
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003745 diagnosis Methods 0.000 title claims abstract description 33
- 230000001605 fetal effect Effects 0.000 title claims abstract description 23
- 208000006893 Fetal Hypoxia Diseases 0.000 title claims abstract description 22
- 230000007246 mechanism Effects 0.000 title claims abstract description 22
- 206010050081 Neonatal hypoxia Diseases 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 45
- 210000004369 blood Anatomy 0.000 claims abstract description 44
- 239000008280 blood Substances 0.000 claims abstract description 44
- 210000001644 umbilical artery Anatomy 0.000 claims abstract description 43
- 210000003754 fetus Anatomy 0.000 claims abstract description 29
- 208000036029 Uterine contractions during pregnancy Diseases 0.000 claims abstract description 28
- 210000002458 fetal heart Anatomy 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 49
- 238000010586 diagram Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 30
- 238000003062 neural network model Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 22
- 230000009467 reduction Effects 0.000 claims description 22
- 238000011176 pooling Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000015556 catabolic process Effects 0.000 claims description 4
- 238000006731 degradation reaction Methods 0.000 claims description 4
- 230000008034 disappearance Effects 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 238000005065 mining Methods 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 2
- 206010021143 Hypoxia Diseases 0.000 abstract description 10
- 230000007954 hypoxia Effects 0.000 abstract description 4
- 208000008784 apnea Diseases 0.000 abstract description 2
- 239000000523 sample Substances 0.000 description 18
- 210000004027 cell Anatomy 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 230000009977 dual effect Effects 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 7
- 206010003497 Asphyxia Diseases 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 208000010444 Acidosis Diseases 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000001146 hypoxic effect Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000007950 acidosis Effects 0.000 description 2
- 208000026545 acidosis disease Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 208000007502 anemia Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000006213 oxygenation reaction Methods 0.000 description 2
- 230000032696 parturition Effects 0.000 description 2
- 210000004761 scalp Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 210000003954 umbilical cord Anatomy 0.000 description 2
- 208000013824 Acidemia Diseases 0.000 description 1
- 208000032943 Fetal Distress Diseases 0.000 description 1
- 206010016855 Foetal distress syndrome Diseases 0.000 description 1
- 206010049816 Muscle tightness Diseases 0.000 description 1
- 208000001300 Perinatal Death Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000000758 acidotic effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000003513 alkali Substances 0.000 description 1
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 239000002585 base Substances 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012054 celltiter-glo Methods 0.000 description 1
- 230000035606 childbirth Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003722 extracellular fluid Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004700 fetal blood Anatomy 0.000 description 1
- 238000004868 gas analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000003169 placental effect Effects 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012883 sequential measurement Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000000472 traumatic effect Effects 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其中的胎儿心率信号测量模块用于测量胎儿、新生儿心率，孕妇宫缩信号测量模块用于测量孕妇宫缩信号，并将测量数据输送给数据处理模块；数据处理模块用于将接收到的FHR和UC信号转换为二维特征图像；数据处理模块的输出接脐动脉血pH值与Apgar评分推理模块；脐动脉血pH值与Apgar评分推理模块输出需要的脐动脉血pH值与Apgar评分；显示模块用于显示相关信息。本系统能够快速、准确、客观、无创地检测出新生儿的脐动脉血pH值和Apgar评分等指标参数，实现胎儿、新生儿缺氧窒息诊断，提升诊断治疗效率。
Description
技术领域
本发明涉及胎儿出生后的脐动脉血pH值以及判断新生儿是否存在缺氧窒息的Apgar评分的预测，具体涉及使用注意力机制、融合时空域两种数据增强技术等深度学习方法训练神经网络模型，训练完成后给模型输入CTG特征图像即可快速、准确、客观、无创地预测出pH值和Apgar评分等指标，属于人工智能与医疗系统研发的交叉领域。
背景技术
在孕妇的产程中，如果发生胎儿脐带绕颈打结、胎盘早剥、羊水量异常、宫缩不协调等异常情况，胎儿将存在持续性缺氧以及酸中毒的危险，分娩后新生儿可能会出现呼吸循环困难、器官功能性损伤，严重时可能危及新生儿的生命以及未来生活质量。胎儿缺氧的发生率高达3.5％，致死率极高，被公认为新生儿死亡的首位原因。因此，在孕妇的产程中监测胎儿的氧合状况，以及待孕妇分娩后对新生儿进行窒息诊断是非常重要的。
目前临床上主要是对孕妇进行持续胎心监护(cardiotocography，CTG)来评估胎儿的氧合状况，CTG记录了孕妇产程中的胎儿心率信号(FHR)和宫缩信号(UC)的变化情况。根据产时胎心率波形，国际上对CTG进行了三级分类，I类CTG波形表示监护正常；III类CTG波形表示监护不正常，这一结果可能与胎儿缺氧性酸血症有关，必要时需采取宫内复苏或立即分娩等手段来保障孕妇和胎儿的生命安全；II类包含排除I类和III类的所有CTG波形。现在对II类CTG波形没有统一的处理流程，甚至同一医生在不同时间对II类CTG的处理方式都不一致，只能靠产科医生依据产妇的临床表现结合其它技术手段来诊断胎儿是否有持续缺氧现象。此外，临床产科医生一般是从形态学、时频域和非线性等方面对CTG波形进行分析解读，CTG波形虽然是客观的，但医生对波形的解读却受主观意识影响，故此过程不仅十分耗时费力，且存在经验性、主观性的风险。
随着计算机技术和人工智能技术的快速发展，为了缓解产科医生人工解读CTG波形并作出临床决策时的主观差异性，利用计算机和相关算法对CTG进行自动化分析分类的相关研究得到了重大进展。Siira等通过分析CTG中的胎儿心率变异性(HRV)的频率特异性变化来诊断胎儿是否发生酸中毒。Georgoulas等从CTG中的胎儿心率信号中提取时域和频域的特征以及相关的形态学特征，并使用支持向量机来识别出处于缺氧或酸中毒的胎儿。Spilka等使用常规和样本熵等非线性特征结合的方式对胎儿心率信号进行分析，提高了对正常与缺氧胎儿的分类准确率。Georgieva等将提取的6个FHR特征与6个临床参数结合成12维特征，再通过主成分分析降维成6维特征后放入前馈人工神经网络(ANNs)进行训练，最后对正常和异常胎儿的分类准确率达到了64％。Warmerdam等使用具有收缩依赖性的HRV特征提高了胎儿窘迫的分类准确率。Zhao等利用二维CNN模型分析经小波变化后的FHR图像，免去了复杂的特征提取工程，相比传统机器学习方法，此方法对正常与缺氧胎儿的分类准确率得到了提高。然而，上述研究工作都是以不同的CTG数据库进行的胎儿分类实验，并且他们都以不同的特征参数和指标将数据库中的胎儿划分为正常与缺氧胎儿。目前世界各国对胎儿缺氧没有完全一致的诊断标准，直接按照其中某一标准进行分类缺乏科学严谨性，且不同异常结果需要不同的治疗方案，此类方法在临床实际中尚未得到广泛应用。
目前临床上对新生儿的窒息诊断主要有两种方法：第一种是待产妇分娩后，立即抽取新生儿的脐动脉血对其进行脐动脉血气分析，主要是为获得新生儿的脐动脉血pH值、细胞外液碱缺失(BDecf)和碱基缺乏(BE)等能诊断新生儿是否窒息的指标参数。显然，对新生儿进行脐动脉血采集的过程是有创伤的，需要断脐取1毫升脐动脉血，但是在胎儿经分娩后立即断脐会导致胎儿血容量降低，严重时会造成新生儿贫血，此外整个采集过程对采血人员有较高的操作要求，否则有可能在新生儿活动的情况下对新生儿造成伤害，甚至对远期的神经系统造成一定的损伤。第二种是新生儿出生后，对其分别做1分钟、5分钟的Apgar评分，即综合考虑肌张力(Activity)、脉搏(Pulse)、对外界刺激的反应(Grimace)、肤色(Appearance)、呼吸(Respiration)的情况进行评分，医学界认定新生儿的Apgar评分在7-10分之间为正常，7分以下有患轻度窒息的风险，4分以下有患严重窒息的可能。但考虑到Apgar评分是由产科医生通过自己的专业医学知识对新生儿的身体状况进行的评分，整个过程可能会受到经验和心理等主观性因素的影响，故直接使用医生给出的Apgar评分可能会导致误诊或漏诊，并且此过程比较耗时。
总之，现有的胎儿、新生儿缺氧窒息诊断方法技术中只有脐动脉血气分析得到的结果是客观的，但整个过程具有创伤性和一定风险。而获得CTG的人工解读结果与Apgar评分的过程不仅耗时费力，并且由于融入了医生的主观性因素，容易造成误诊或漏诊，严重时不仅会给产妇和新生儿的安全产生威胁。在CTG参数不充分的前提下，利用计算机技术对CTG依据某种指标直接进行胎儿分类缺乏科学严谨性，且现有的CTG公开数据集数量较少，分类算法模型也存在不少局限性。
发明内容
针对现有技术存在的上述不足，本发明的目的在于提出一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，本系统能够快速、准确、客观、无创地检测出新生儿的脐动脉血pH值和Apgar评分等指标参数，实现胎儿、新生儿缺氧窒息诊断，提升诊断治疗效率。
本发明的技术方案是这样实现的：
一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，包括数据采集控制模块、胎儿心率信号测量模块、孕妇宫缩信号测量模块、数据处理模块、脐动脉血pH值与Apgar评分推理模块和显示模块；
数据采集控制模块分别与胎儿心率信号测量模块和孕妇宫缩信号测量模块连接，以控制相应模块的启动与终止，并控制相应模块将测量数据输送给数据处理模块；
胎儿心率信号测量模块用于测量胎儿、新生儿心率，并将测量数据输送给数据处理模块；
孕妇宫缩信号测量模块用于测量孕妇宫缩信号，并将测量数据输送给数据处理模块；
数据处理模块用于将接收到的胎儿心率信号FHR和孕妇宫缩信号UC这两个一维时序信号转换为二维特征图像；数据处理模块的输出接脐动脉血pH值与Apgar评分推理模块；
脐动脉血pH值与Apgar评分推理模块内置有评分推理神经网络模型，将数据处理模块的输出作为脐动脉血pH值与Apgar评分推理模块的输入输入给评分推理神经网络模型，在评分推理神经网络模型的输出端即得到需要的脐动脉血pH值与Apgar评分；
显示模块与脐动脉血pH值与Apgar评分推理模块连接，用于显示脐动脉血pH值与Apgar评分推理模块输出的脐动脉血pH值与Apgar评分以及其他需要显示的信息。
进一步地，所述数据处理模块包括CTG特征图像转换子模块；
CTG特征图像转换子模块通过执行以下步骤实现将两个一维时序信号转换为二维特征图像，
设时序信号FHR和时序信号UC对应的一维时序信号为X＝[x1，x2，...，xn]，
第一步：将时序信号里每个值的范围缩放到[-1,1]，公式如下
其中max(x)和min(x)为时序信号中的最大值和最小值；
第二步：将缩放后的时序信号转换到极坐标系统，时序信号中的每个数据点xi转换成夹角余弦值
时间步长转换成半径r，公式如下
N是时序信号的采样点个数，ti是时间步长；
第三步：根据不同点之间的角度差将长度为n的时序信号转换为大小为[n，n]的Gram矩阵，公式如下
Gram矩阵代表一张二维图像，Gram矩阵中的每个值对应着二维图像中的一个像素点；由此分别得到时序信号FHR和时序信号UC对应的一张二维图像，将时序信号FHR对应的二维图像和时序信号UC对应的二维图像合并，即得到所述二维特征图像。
进一步地，所述数据处理模块还包括数据降噪子模块，数据降噪子模块包括FHR信号降噪子模块和UC信号降噪子模块；数据处理模块将降噪后的FHR信号和UC信号再转换为一张二维特征图像；
FHR信号降噪子模块按如下方法降噪，
1)当时序信号FHR中出现连续60个以上采样点的值为0时，则直接移除这部分采样点，否则对其进行线性插样；
2)当时序信号FHR不稳定时，即相邻两个采样点的绝对值差大于25bpm，则在起始采样点和下一个稳定部分的第一个采样点之间进行线性插值；
3)当时序信号FHR的值大于200bpm或者小于50bpm时，则使用Hermite插值法进行填补；
UC信号降噪子模块按如下方法降噪，对时序信号UC进行中值滤波处理，在保留时序信号UC曲线变化特征的基础上对毛刺进行有效的去除。
进一步地，所述评分推理神经网络模型按如下方法训练得到：将时序CTG数据集通过数据处理模块处理得到对应的二维特征图像，然后将得到的所有二维特征图像与相应的pH值和Apgar评分标签投入预先确定的神经网络模型中，并采用RMSprop优化器和平均绝对误差损失函数训练模型，当输出满足设定条件时，即训练得到所述评分推理神经网络模型；所述时序CTG数据集由若干时序CTG数据构成，每个时序CTG数据均由胎儿心率信号FHR和孕妇宫缩信号UC组成。
进一步地，将训练用的胎儿心率信号FHR和孕妇宫缩信号UC按如下方法进行时域数据增强，以得到增强的时序CTG数据集：先采用定长滑窗分割方式分别将组成每个时序CTG数据的FHR信号与UC信号分成若干个子信号；滑窗的步长是X个采样点，每个子信号的基准长度是滑窗步长的整数倍，当FHR信号或UC信号的总长度小于基准长度时，将不做分割处理；当滑窗截取的最后一个子信号的长度小于基准长度时，则舍弃这个子信号；
假设利用定长滑窗分割方式将某个时序CTG数据里的源FHR信号分解成M个FHR子信号，将源UC信号分解成N个UC子信号；分解得到的M个FHR子信号与N个UC子信号之间两两配对，形成M*N个组合，每个组合构成与源时序CTG数据具有相同作用的时序CTG子数据，从而得到增强的时序CTG数据集。
更进一步地，所述评分推理神经网络模型由一个卷积层、两个池化层、四个FGA-Layer层、一个LSTM层和一个全连接层组合而成，其中每个FGA-Layer层由多个粒度级残差结构FGA-Block串联组成；粒度级残差结构FGA-Block引入CBAM注意力机制模块，用于提取特征图里重要的通道和空间信息；LSTM层位于平均池化层与全连接层之间，LSTM层引入门函数和记忆单元，用于挖掘特征图中相对较长间隔的时序变化规律。
所述CBAM注意力机制模块由两个子模块级联组成，第一个模块是通道注意力模块，用于表征特征图各通道与关键信息的相关度，权重越大，则表示相关度越高；第二个模块是空间注意力模块，用于获取特征图不同区域信息的重要程度。
在通道注意力模块中，输入大小为H×W×C的特征图在层维度上分别经过最大池化层MaxPool和平均池化层AvgPool处理以获得表征全局信息的1×1×C向量，再将该向量送到多层感知机MLP以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘来强化信息量大的特征，并抑制无用的特征；计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(X)))
Yc＝Ac(X)·X
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数。
在空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行最大池化层MaxPool和平均池化层AvgPool处理以产生两个代表不同信息的H×W×1特征图，两者通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强；计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))]))
Ys＝As(Yc)·Yc
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
所述粒度级残差结构FGA-Block由一个残差分支与一个跳层分支组成，其中在残差分支内构造分层的类残差连接，即在1×1Conv之后对特征图通道进行分组，对每个通道单独用3×3Conv提取特征，并把当前通道的卷积输出以类残差方式与下个通道相加进行特征融合，之后将每个通道的卷积输出通过Concat操作恢复原来的通道数，再将其通过1×1Conv后的输出经过CBAM注意力机制模块得到残差分支的输出；粒度级残差结构FGA-Block用参数s控制通道组数实现以粒度级别表示多尺度特性，且增加了每个网络层的感受野范围，跳层分支使得输入信号可以不经过残差分支直接到达残差分支的末端，以防止网络层数过深导致的梯度消失和网络退化问题。
本发明提出一种融入了卷积块注意力机制(CBAM)、粒度级的残差结构和长短时记忆网络(LSTM)的神经网络模型(命名为LA-Res2Net神经网络模型)来预测胎儿的脐动脉血pH值和Apgar评分等指标参数。其中使用格拉米角场(Gramian Angular Field，GAF)将每个CTG样本中的时序信号FHR和UC都转换为具有时间依赖特性的二维特征图像数据并让两者拼接成一个CTG图像作为模型的输入。整套方法无需人工提取CTG的特征，只需将经预处理后的CTG特征图像投入训练好的LA-Res2Net模型，即可快速、准确、客观、无创地预测出新生儿的脐动脉血pH值和Apgar评分等指标参数，辅助临床医生的诊断，降低误诊率，提升诊断治疗效率。
相比现有技术，本发明具有如下有益效果：
1、与临床上对新生儿进行脐动脉血气分析相比，本系统无需在产妇分娩后立即对新生儿断脐抽血，能避免新生儿出现贫血或当医护人员操作不当引起的新生儿损伤，且本系统预测出的脐动脉血pH值等指标与真实值的误差极小。
2、与临床上对新生儿获取Apgar评分相比，本系统使用神经网络模型根据CTG信号预测出的Apgar评分在避免涉及临床医生自身主观性因素影响的前提下，也保证结果客观真实性。
3、与人工解读CTG和利用现有计算机辅助系统帮助医生分析CTG相比，本系统不局限于只考虑临床监护指南中定义的形态学参数，也不需要人工提取CTG特征，而是使用人工智能的方法设计神经网络模型去自动提取更有效、更抽象的特征。
4、与现有直接对胎儿进行分类的机器学习和深度学习方法相比，本系统有三大优势：第一是模型的优越性a)CBAM注意力机制能在空间和通道双重维度上让模型关注与当前任务相关的重要信息；b)相比普通的残差结构，粒度级的残差结构以更细粒度的方式产生多尺度感受野的组合，对特征信息有更深度的挖掘能力；c)LSTM能挖掘特征图中相对较长间隔的时序变化规律。第二是本方法不是直接训练原始的CTG时序信号数据集，而是利用时域和空间域双重数据增强方法改善样本多样性，并用GADF算法将CTG时序信号编码成CTG特征图像投入模型训练，大幅度提高模型的泛化能力。第三是考虑到不同国家地区对胎儿、新生儿的分类标准不同，且不同的异常结果需要不同的治疗手段，故本系统不直接给出胎儿、新生儿的分类结果，而是在胎儿分娩前或产出后准确预测出其脐动脉血pH值和Apgar评分等指标结果，使医护人员能将预测结果与产妇和新生儿的临床表现结合考虑，对不同异常结果进行针对性治疗，达到一个更好的辅助诊断效果。
附图说明
图1为本发明提供的胎儿、新生儿缺氧无创诊断装置系统的结构框图。
图2为本发明提供的UC和FHR信号经过数据降噪前后的结果对比图。
图3为本发明提供的粒度级残差结构FGA-Block示意图。
图4为本发明提供的LA-Res2Net神经网络模型示意图。
图5为本发明提供的CBAM模块示意图。
图6为本发明提供的LSTM模块示意图。
图7为本发明提供的时域数据增强中定长滑窗分割示意图。
图8为本发明提供的时域数据增强中新CTG样本生成示意图。
图9为本发明提供的RUN-AENet模型示意图。
图10为本发明提供的利用RUN-AENet重构的新CTG样本示意图。
图11为本发明提供的上位机软件实际界面图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统由数据采集控制模块、胎儿心率信号测量模块、孕妇宫缩信号测量模块、数据处理模块、脐动脉血pH值与Apgar评分推理模块、显示模块等组成，该胎儿、新生儿缺氧无创诊断系统的结构框图如图1所示。
1、数据采集控制模块
数据采集控制模块控制其他模块的顺序测量与处理，包括胎儿心率信号(FHR)测量模块与孕妇宫缩信号(UC)测量模块的启动与终止，并控制这两个模块的测量数据输送给数据处理模块。
2、胎儿心率信号测量模块
胎儿心率信号测量模块有多普勒超声探头与动态心电图两种选择，第一种的使用方法是将多普勒超声探头放置在孕妇的腹部处采集获得胎儿心率信号；另一种是通过动态心电图内部测量的头皮电极连接到胎儿头皮处采集所得胎儿的心率信号。
3、孕妇宫缩信号测量模块
孕妇宫缩信号测量模块主要是由宫缩压力探头组成，工作机制是将宫缩压力探头绑缚在孕妇腹部处，从而采集由子宫收缩引起的孕妇腹部轮廓变化。
4、数据处理模块
数据处理模块负责CTG信号(胎儿心率信号和孕妇宫缩信号)的数据降噪与两时序信号转二维特征图像的编码功能。
a)数据降噪
由于受到采集的环境、方法、设备等因素的影响，例如孕妇和胎儿移动、环境噪声以及传感器放置位置不当，采集到的FHR信号和UC信号容易受到噪声的干扰，因此为了使后面的处理结果更准确，需要对之前采集的FHR信号和UC信号消除噪声。
FHR信号的噪声主要为丢失值(FHR的值为0)和尖刺(spiky artifacts)两种形式，本发明采用插值法对FHR信号进行去噪处理，具体过程如下：
1)当FHR信号中出现连续60个以上采样点的值为0时，则直接移除这部分采样点，否则对其进行线性插样；
2)当FHR信号不稳定时，即相邻两个采样点的绝对值差大于25bpm，则在起始采样点和下一个稳定部分的第一个采样点之间进行线性插值；
3)当FHR的值大于200bpm或者小于50bpm时，则使用Hermite插值法进行填补。
UC信号的噪声主要是由胎儿活动和孕妇呼吸引起的“毛刺”，故本发明对UC信号进行中值滤波处理，在保留UC信号的曲线变化特征的基础上对“毛刺”进行有效的去除。将某个CTG样本的UC和FHR信号经过数据降噪前后的结果对比如图2所示。
b)CTG特征图像编码
本发明使用角度差式格拉米角场法(GADF)将一维时序CTG信号编码成二维特征图像，假设时序信号FHR或UC为X＝[x1，x2，...，xn]，GADF实现步骤如下：
第一步：将时序数据里每个值的范围缩放到[-1,1]，公式如下
第二步：将缩放后的序列数据转换到极坐标系统，序列的每个数据点xi转换成夹角余弦值
时间步长转换成半径r，公式如下
N是时序信号的采样点个数，ti是时间步长(最小值为1，最大值为N)；本步是将时序信号转换到极坐标系，而极坐标系是由角度
和半径r构成，对应转换公式如上。
第三步：根据不同点之间的角度差将长度为n的时序数据转换为大小为[n，n]的Gram矩阵，公式如下
因为输入的是X＝[x1，x2，...，xn]，
是X归一化后的转置矩阵，
表示输出的二维图像矩阵与原输入X的逻辑关系。
相比于笛卡尔坐标，极坐标保持有绝对的时间关系，并且由GADF生成的Gram矩阵可知，时间随着矩阵元素从左上角到右下角的移动而增加，故时间维度信息被编码在Gram矩阵的几何结构中，即利用由GADF生成的Gram矩阵保留了时间依赖性，为之后能利用LSTM提取特征图中的时序变化规律提供了理论依据。
本发明使用格拉米角场法(GADF)将每个CTG信号中的FHR时序信号和UC时序信号分别编码成具有时间依赖特性的二维特征图像，最后将两者在水平方向进行拼接，形成一个同时包含FHR与UC信息的CTG特征图像，相比直接处理一维的时序信号，现有的深度学习方法处理二维图像数据更加相比高效和成熟。
5、脐动脉血pH值与Apgar评分推理模块
本装置的推理模块对脐动脉血pH值和Apgar评分的推理能力是神经网络模型(本发明命名为LA-Res2Net)在采用时间域与空间域两种数据增强技术训练所得。
神经网络模型在训练阶段仅需少量带有pH值和Apgar评分标签的时序CTG数据集，首先将CTG数据集采用数据降噪技术、CTG特征图像编码技术、时空域双重数据增强技术来提高数据有效性、改善样本多样性，然后将经数据增强后的CTG二维特征图像与相应的pH值和Apgar评分标签投入神经网络模型LA-Res2Net，并采用RMSprop优化器和平均绝对误差(MAE)损失函数训练模型。
在推理阶段，仅需将胎儿心率信号测量模块、孕妇宫缩信号测量模块获取的FHR与UC信号经过数据处理模块完成数据降噪和CTG特征图像编码后即可传送给训练好的神经网络模型，即可快速、准确、客观、无创地推理出pH值与Apgar评分等结果。
5.1神经网络模型LA-Res2Net
LA-Res2Net神经网络模型用于回归预测，输入的三通道CTG图像经过神经网络模型预测出胎儿或新生儿的脐动脉血pH和Apgar评分。LA-Res2Net神经网络模型(图4)由1个卷积层、2个池化层、4个FGA-Layer层、1个LSTM层和1个全连接层组合而成，其中每个FGA-Layer层由多个粒度级残差结构FGA-Block串联组成。LA-Res2Net模型结构的主体是粒度级残差结构FGA-Block，其结构如图3所示。FGA-Block引入了CBAM(Convolutional BlockAttention Module)注意力机制模块，用于提取特征图里重要的通道和空间信息；因为受限于卷积核的尺寸大小，导致FGA-Layer很难学习到隐藏在CTG图像数据中的时间前后依赖关系，故LA-Res2Net模型在平均池化层与全连接层中间加入了一个LSTM层，LSTM引入了门函数和记忆单元，可以挖掘特征图中相对较长间隔的时序变化规律。
5.1.1 CBAM注意力机制
为了使模型准确学习到CTG特征图像与pH值、Apgar评分复杂的隐藏关系，本发明选择设计深层的网络模型，但随着生成网络层的堆叠，网络层输出的特征图通道数愈多。为了从“又宽又深”的特征图中快速有效地找到信息量更大的区域，本发明使用CBAM注意力机制同时从通道和空间维度去关注与关键信息相关度高的特征区域，从而提高模型的特征获取能力。
CBAM是一种融合了通道与空间信息交互的注意力机制模块，整个模块由两个子模块级联组成。其结构如图5所示。第一个模块是通道注意力模块，用于表征特征图各通道与关键信息的相关度，权重越大，则表示相关度越高；第二个模块是空间注意力模块，用于获取特征图不同区域信息的重要程度。
在通道注意力模块中，输入大小为H×W×C的特征图在层维度上分别经过MaxPool和AvgPool处理以获得表征全局信息的1×1×C向量，再将向量送到多层感知机(MLP)以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘来强化信息量大的特征，并抑制无用的特征。计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(x))) (4)
Yc＝Ac(X)·X (5)
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数。
在空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行MaxPool和AvgPool处理以产生两个代表不同信息的H×W×1特征图，两者通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强。计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))])) (6)
Ys＝As(Yc)·Yc (7)
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
5.1.2粒度级残差结构FGA-Block
FGA-Block(图3)由一个残差分支与一个跳层分支组成，其中在残差分支内构造分层的类残差连接，即在1×1Conv之后对特征图通道进行分组，对每个通道单独用3×3Conv提取特征，并把当前通道的卷积输出以类残差方式与下个通道相加进行特征融合，之后将每个通道的卷积输出通过Concat操作恢复原来的通道数，再将其通过1×1Conv后的输出经过CBAM注意力模块得到残差分支的输出。FGA-Block用参数s控制通道组数实现以粒度级别表示多尺度特性，且增加了每个网络层的感受野范围，跳层分支使得输入信号可以不经过残差分支直接到达残差分支的末端，有效地防止了网络层数过深导致的梯度消失和网络退化问题。
考虑到模型的深度带来的负面影响，本发明设计的模型主体结构FGA-Block是一种细粒度级的残差网络结构，其不仅在普通残差网络结构的基础上能防止因网络层数过深导致的梯度消失和网络退化问题，且能控制通道组数实现以粒度级别表示多尺度特性，增加每个网络层的感受野范围，使得网络模型的特征获取能力进一步提高。
5.1.3长短时记忆网络LSTM
LSTM的内部结构如图6所示，其中xt为当前时刻的网络输入；c为记忆细胞，作为网络的“传送带”来控制信息的传递；i为输入门，它控制当前时刻的输入xt含有的信息传递到当前时刻记忆细胞ct的比例；f为遗忘门，它控制上一时刻记忆细胞ct-1的信息保留至当前时刻ct的比例；o为输出门，它控制ct存储的信息留存至当前时刻输出ht的比例；ht-1表示上一时刻的输出；σ和tanh均为激活函数，其中σ为Sigmoid函数，tanh为双曲正切函数。LSTM单元的计算如公式(8)至公式(13)所示。
输入门的公式为
it＝σ(Wixxt+Wihht-1+bi) (8)
遗忘门的公式为
ft＝σ(Wfxxt+Wfhht-1+bf) (9)
输出门的公式为
ot＝σ(Woxxt+Wohht-1+bo) (10)
候选记忆细胞状态
的公式
当前时刻的记忆细胞状态值由上一时刻的记忆细胞状态值按元素乘以遗忘门，再加上当前候选记忆细胞状态值按元素乘以输入门，符号·表示按元素乘。公式为
LSTM最终的输出结果，由输出门和记忆细胞共同决定，公式为
ht＝ot·tanh(ct) (13)
其中Wix、Wih和bi，Wfx、Wfh和bf，Wox、Woh和bo，Wcx、Wch和bc分别为输入门、遗忘门、输出门和候选记忆细胞当前时刻输入的权重矩阵、上一时刻输出的权重矩阵和偏置矩阵。
网络模型的输入是CTG特征图像，由于其是FHR与UC时序信号通过GADF法编码得到，故时间维度信息被编码在CTG特征图像的几何结构中，即利用由GADF生成的CTG图像保留了时间依赖性。考虑到LSTM引入了门控单元控制神经元的遗忘、输入和输出，可以挖掘特征图中相对较长间隔的时序变化规律，因此本发明使用LSTM来提升模型整体的泛化能力，实验结果也表明加入了LSTM能在一定程度上提高模型的预测精度，且能大幅度加快模型的收敛速度。
5.2时空域双重数据增强
由于目前带有准确标签信息的公开CTG数据集很少，且深度学习方法需要大量的数据作为支撑，故本发明针对CTG信号的特点独创和使用了时间域与空间域的双重数据增强方法，以改善CTG样本的多样性，提高神经网络模型的泛化能力。
5.2.1时域数据增强
一个完整合格的CTG信号一般需要用采样频率为4Hz的专业仪器采样20-30分钟，故每个FHR或UC信号拥有4800个采样点就符合要求。本发明采用定长滑窗分割方式分别将每个CTG样本的FHR与UC信号分成若干个子信号。实施例中每个子信号的基准长度是8000个采样点，滑窗的步长是2000个采样点，当FHR或UC信号的总长度小于基准长度时，将不做分割处理；当滑窗截取的最后一个子信号的长度小于7000个采样点时，则舍弃这个子信号。例如长度为14280个采样点的FHR信号经过定长滑窗分割方式分解成4个子信号的过程如图7所示。因为基准长度是8000，最后一个子信号的长度如果少于8000太多，训练效果可能会受影响。实验表明，最后一个子信号的长度设置成7000后的训练效果不错，所以本发明实施例中把这个阈值设置为7000。
假设利用定长滑窗分割方式将某个CTG样本里的源FHR信号分解成M个FHR子信号，将源UC信号分解成N个UC子信号，由图7可知，由上述方法分割出的子信号之间至少有2000个采样点的差距，且重叠区域位于各子信号完全不同的位置，因此提取的特征也不同。利用这种方法得到的各子信号不仅都能有效代表源样本信号，同时增加了样本多样性。考虑到每个CTG样本由一个FHR与一个UC信号组成，故分解产生的M个FHR子信号与N个UC子信号之间两两配对能组合成M*N个与源CTG样本具有相同作用的CTG子样本，该过程如图8所示。
5.2.2空间域数据增强
本发明采用一种改进的卷积自编码器RUN-AENet的空间域数据增强方法对CTG图像数据集进行扩展，尽可能实现样本集的相对平衡。RUN-AENet是由编码器和解码器两部分组成，编码器的功能是将高维的输入X编码成低维的隐含变量H，从而迫使神经网络尽可能学习到信息量最大的特征；解码器的作用是将隐含层的隐含变量H恢复到原始维数。利用RUN-AENet生成新CTG图像的过程如图9所示。
RUN-AENet的编码器由两个编码模块组成，第一个编码模块E0包含一个二维卷积层和一个最大池化层；第二个编码模块E1由FGA-Block模块和最大池化层构成。输入图像经过E0和E1后获得CTG图像的隐含特征图H，与以往的自编码器不同的是，本文在获得的隐含特征图H后加入了随机高斯噪声，保证了当自编码器RUN-AENet训练完成固定了网络权重后，同一个CTG图像每次投入RUN-AENet都能重构出不同的新CTG图像，如图10所示，左边是源CTG图像，右边是RUN-AENet对同一CTG图像生成的三个新CTG图像。
解码器包含两个解码模块，第一个解码模块D1由FGA-Block模块和上采样层构成；第二个解码模块D0由二维卷积层和上采样层组成。其中上采样层选用Upsampling2D，其作用是对上一层输出数据的维度放大，恢复同层编码器中池化层对数据减少的维度大小。此外，编码模块E0中卷积层的输出通过CBAM模块后以“跳跃连接”方式与解码模块D0中卷积层的输入连接，因此D0的输出结果由上个解码模块D1和同层的编码模块E0共同决定，由于D0包含了输入图像经过编码模块E0卷积层的输出特征，这能帮助解码器更准确地重构出CTG图像。其中RUN-AENet使用的损失函数是输入图像与输出图像的均方误差(MSE)。
本发明使用RUN-AENet实现对CTG图像的第一步空间域数据增强，之后再对增强后的CTG图像采用随机缩放实现第二步空间域数据增强。
6、推理结果可视化模块
本装置的推理结果可视化模块主要是由上位机软件(图11)组成，上位机通过串口接收由胎儿心率测量装置与宫缩信号测量装置发送的FHR和UC信号，然后将其传送给数据处理模块和推理模块，最终数据处理模块将原始CTG信号的降噪结果和推理模块将推理得到的新生儿脐动脉血pH值和Apgar评分结果传送给上位机进行可视化显示。
表1为本发明提供的不同网络模型对新生儿脐动脉血pH值与Apgar评分预测结果的平均绝对误差MAE对比表。通过表1可以看出，本发明在无数据增强、单独的时域数据增强以及时域+空间双重数据增强三种情形下的脐动脉血pH值与Apgar评分对应的平均绝对误差MAE都明显要优于其他模型，表明本发明的无创诊断系统良好的可靠性，具有可以直接采用的可信赖的诊断结果，诊断结果可以作为参考数据用于临床处理。关于pH值、Apgar评分等真实标签可以参见CTG开源数据库，《Open access intrapartum ctg database》。
表2为本发明提供的LA-Res2Net模型在无数据增强、单独的时域数据增强以及时域+空间双重数据增强三种情形下对8个不同的CTG数据源预测的脐动脉血pH值与其真值对比表。通过表2可以看出，本发明在使用时域与空间域双重数据增强下能在一定程度上提高模型的预测精确度。
表1
表2
最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管申请人参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。
Claims (10)
1.一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：包括数据采集控制模块、胎儿心率信号测量模块、孕妇宫缩信号测量模块、数据处理模块、脐动脉血pH值与Apgar评分推理模块和显示模块；
数据采集控制模块分别与胎儿心率信号测量模块和孕妇宫缩信号测量模块连接，以控制相应模块的启动与终止，并控制相应模块将测量数据输送给数据处理模块；
胎儿心率信号测量模块用于测量胎儿、新生儿心率，并将测量数据输送给数据处理模块；
孕妇宫缩信号测量模块用于测量孕妇宫缩信号，并将测量数据输送给数据处理模块；
数据处理模块用于将接收到的胎儿心率信号FHR和孕妇宫缩信号UC这两个一维时序信号转换为二维特征图像；数据处理模块的输出接脐动脉血pH值与Apgar评分推理模块；
脐动脉血pH值与Apgar评分推理模块内置有评分推理神经网络模型，将数据处理模块的输出作为脐动脉血pH值与Apgar评分推理模块的输入输入给评分推理神经网络模型，在评分推理神经网络模型的输出端即得到需要的脐动脉血pH值与Apgar评分；
显示模块与脐动脉血pH值与Apgar评分推理模块连接，用于显示脐动脉血pH值与Apgar评分推理模块输出的脐动脉血pH值与Apgar评分以及其他需要显示的信息。
2.根据权利要求1所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述数据处理模块包括CTG特征图像转换子模块；
CTG特征图像转换子模块通过执行以下步骤实现将两个一维时序信号转换为二维特征图像，
设时序信号FHR和时序信号UC对应的一维时序信号为X＝[x1，x2，...，xn]，
第一步：将时序信号里每个值的范围缩放到[-1,1]，公式如下
其中max(x)和min(x)为时序信号中的最大值和最小值；
第二步：将缩放后的时序信号转换到极坐标系统，时序信号中的每个数据点xi转换成夹角余弦值
时间步长转换成半径r，公式如下
N是时序信号的采样点个数，ti是时间步长；
第三步：根据不同点之间的角度差将长度为n的时序信号转换为大小为[n，n]的Gram矩阵，公式如下
Gram矩阵代表一张二维图像，Gram矩阵中的每个值对应着二维图像中的一个像素点；由此分别得到时序信号FHR和时序信号UC对应的一张二维图像，将时序信号FHR对应的二维图像和时序信号UC对应的二维图像合并，即得到所述二维特征图像。
3.根据权利要求1所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述数据处理模块还包括数据降噪子模块，数据降噪子模块包括FHR信号降噪子模块和UC信号降噪子模块；数据处理模块将降噪后的FHR信号和UC信号再转换为一张二维特征图像；
FHR信号降噪子模块按如下方法降噪，
1)当时序信号FHR中出现连续60个以上采样点的值为0时，则直接移除这部分采样点，否则对其进行线性插样；
2)当时序信号FHR不稳定时，即相邻两个采样点的绝对值差大于25bpm，则在起始采样点和下一个稳定部分的第一个采样点之间进行线性插值；
3)当时序信号FHR的值大于200bpm或者小于50bpm时，则使用Hermite插值法进行填补；
UC信号降噪子模块按如下方法降噪，对时序信号UC进行中值滤波处理，在保留时序信号UC曲线变化特征的基础上对毛刺进行有效的去除。
4.根据权利要求1所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述评分推理神经网络模型按如下方法训练得到：将时序CTG数据集通过数据处理模块处理得到对应的二维特征图像，然后将得到的所有二维特征图像与相应的pH值和Apgar评分标签投入预先确定的神经网络模型中，并采用RMSprop优化器和平均绝对误差损失函数训练模型，当输出满足设定条件时，即训练得到所述评分推理神经网络模型；所述时序CTG数据集由若干时序CTG数据构成，每个时序CTG数据均由胎儿心率信号FHR和孕妇宫缩信号UC组成。
5.根据权利要求4所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：将训练用的胎儿心率信号FHR和孕妇宫缩信号UC按如下方法进行时域数据增强，以得到增强的时序CTG数据集：先采用定长滑窗分割方式分别将组成每个时序CTG数据的FHR信号与UC信号分成若干个子信号；滑窗的步长是X个采样点，每个子信号的基准长度是滑窗步长的整数倍，当FHR信号或UC信号的总长度小于基准长度时，将不做分割处理；当滑窗截取的最后一个子信号的长度小于基准长度时，则舍弃这个子信号；
假设利用定长滑窗分割方式将某个时序CTG数据里的源FHR信号分解成M个FHR子信号，将源UC信号分解成N个UC子信号；分解得到的M个FHR子信号与N个UC子信号之间两两配对，形成M*N个组合，每个组合构成与源时序CTG数据具有相同作用的时序CTG子数据，从而得到增强的时序CTG数据集。
6.根据权利要求1所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述评分推理神经网络模型由一个卷积层、两个池化层、四个FGA-Layer层、一个LSTM层和一个全连接层组合而成，其中每个FGA-Layer层由多个粒度级残差结构FGA-Block串联组成；粒度级残差结构FGA-Block引入CBAM注意力机制模块，用于提取特征图里重要的通道和空间信息；LSTM层位于平均池化层与全连接层之间，LSTM层引入门函数和记忆单元，用于挖掘特征图中相对较长间隔的时序变化规律。
7.根据权利要求6所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述CBAM注意力机制模块由两个子模块级联组成，第一个模块是通道注意力模块，用于表征特征图各通道与关键信息的相关度，权重越大，则表示相关度越高；第二个模块是空间注意力模块，用于获取特征图不同区域信息的重要程度。
8.根据权利要求7所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：在通道注意力模块中，输入大小为H×W×C的特征图在层维度上分别经过最大池化层MaxPool和平均池化层AvgPool处理以获得表征全局信息的1×1×C向量，再将该向量送到多层感知机MLP以学习不同通道间的关联性，最后将这两者的输出相加并送入到Sigmoid函数得到1×1×C的通道权重，且与H×W×C的原始特征图以乘法加权的方式相乘来强化信息量大的特征，并抑制无用的特征；计算过程如下：
Ac(X)＝σ(MLP(MaxPool(X))+MLP(AvgPool(X)))
Yc＝Ac(X)·X
其中X和Yc分别是通道注意力模块的输入和输出，Ac(X)是通道权重，σ是Sigmoid函数。
9.根据权利要求7所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：在空间注意力模块中，通道注意力模块的输出特征图在通道维度上分别进行最大池化层MaxPool和平均池化层AvgPool处理以产生两个代表不同信息的H×W×1特征图，两者通过Concat运算合并成H×W×2特征图，再通过卷积层进行特征融合，最后使用Sigmoid函数得到表征空间区域信息重要程度的权重图，将其与模块的输入特征图相乘加权，实现目标区域的增强；计算过程如下：
As(Yc)＝σ(Conv([((MaxPool(Yc)；AvgPool(Yc))])
Ys＝As(Yc)·Yc
其中Yc和Ys分别是空间注意力模块的输入和输出，As(Yc)是空间信息权重图，Conv是卷积核大小为7×7的卷积操作。
10.根据权利要求6所述的一种基于注意力机制与CTG图像的胎儿、新生儿缺氧无创诊断系统，其特征在于：所述粒度级残差结构FGA-Block由一个残差分支与一个跳层分支组成，其中在残差分支内构造分层的类残差连接，即在1×1Conv之后对特征图通道进行分组，对每个通道单独用3×3Conv提取特征，并把当前通道的卷积输出以类残差方式与下个通道相加进行特征融合，之后将每个通道的卷积输出通过Concat操作恢复原来的通道数，再将其通过1×1Conv后的输出经过CBAM注意力机制模块得到残差分支的输出；粒度级残差结构FGA-Block用参数s控制通道组数实现以粒度级别表示多尺度特性，且增加了每个网络层的感受野范围，跳层分支使得输入信号可以不经过残差分支直接到达残差分支的末端，以防止网络层数过深导致的梯度消失和网络退化问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211518126.9A CN115886766A (zh) | 2022-11-29 | 2022-11-29 | 一种基于注意力机制与ctg图像的胎儿、新生儿缺氧无创诊断系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211518126.9A CN115886766A (zh) | 2022-11-29 | 2022-11-29 | 一种基于注意力机制与ctg图像的胎儿、新生儿缺氧无创诊断系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115886766A true CN115886766A (zh) | 2023-04-04 |
Family
ID=86492302
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211518126.9A Pending CN115886766A (zh) | 2022-11-29 | 2022-11-29 | 一种基于注意力机制与ctg图像的胎儿、新生儿缺氧无创诊断系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115886766A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003088837A1 (en) * | 2002-03-04 | 2003-10-30 | Medexa Diagnostisk Service Ab | A device and a method for monitoring a foetus |
| US20060074329A1 (en) * | 2003-02-12 | 2006-04-06 | Ferguson James E Ii | Quantitative fetal heart rate and cardiotocographic monitoring system and related method thereof |
| US20100174152A1 (en) * | 2009-01-02 | 2010-07-08 | Cerner Innovation, Inc. | Predicting neonatal hyperbilirubinemia |
| US20150223748A1 (en) * | 2012-08-27 | 2015-08-13 | Philip WARRICK | Method and apparatus for monitoring a fetus during labor |
| US20190133536A1 (en) * | 2017-10-08 | 2019-05-09 | Cerner Innovation, Inc. | Forecasting neonatal vitality |
| US20200113470A1 (en) * | 2017-02-28 | 2020-04-16 | Mayo Foundation For Medical Education And Research | Systems and methods for fetal monitoring |
| CN113379706A (zh) * | 2021-06-09 | 2021-09-10 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
| US20210296002A1 (en) * | 2019-06-27 | 2021-09-23 | Ping An Technology (Shenzhen) Co., Ltd. | Long short-term memory model-based disease prediction method and apparatus, and computer device |
| US20220007999A1 (en) * | 2018-11-14 | 2022-01-13 | Mark Evans | Method and apparatus for reducing the risk of neonatal neurological injury |
| US20220175324A1 (en) * | 2020-12-09 | 2022-06-09 | Marani Health, Inc. | Computer-based prediction of fetal and maternal outcomes |
| CN114929099A (zh) * | 2019-08-01 | 2022-08-19 | 马克·埃文斯 | 用于在分娩期间和分娩之前降低人类胎儿神经损伤风险及鉴定神经损伤存在的方法和设备 |
-
2022
- 2022-11-29 CN CN202211518126.9A patent/CN115886766A/zh active Pending
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003088837A1 (en) * | 2002-03-04 | 2003-10-30 | Medexa Diagnostisk Service Ab | A device and a method for monitoring a foetus |
| US20060074329A1 (en) * | 2003-02-12 | 2006-04-06 | Ferguson James E Ii | Quantitative fetal heart rate and cardiotocographic monitoring system and related method thereof |
| US20100174152A1 (en) * | 2009-01-02 | 2010-07-08 | Cerner Innovation, Inc. | Predicting neonatal hyperbilirubinemia |
| US20150223748A1 (en) * | 2012-08-27 | 2015-08-13 | Philip WARRICK | Method and apparatus for monitoring a fetus during labor |
| US20200113470A1 (en) * | 2017-02-28 | 2020-04-16 | Mayo Foundation For Medical Education And Research | Systems and methods for fetal monitoring |
| US20190133536A1 (en) * | 2017-10-08 | 2019-05-09 | Cerner Innovation, Inc. | Forecasting neonatal vitality |
| US20220007999A1 (en) * | 2018-11-14 | 2022-01-13 | Mark Evans | Method and apparatus for reducing the risk of neonatal neurological injury |
| US20210296002A1 (en) * | 2019-06-27 | 2021-09-23 | Ping An Technology (Shenzhen) Co., Ltd. | Long short-term memory model-based disease prediction method and apparatus, and computer device |
| CN114929099A (zh) * | 2019-08-01 | 2022-08-19 | 马克·埃文斯 | 用于在分娩期间和分娩之前降低人类胎儿神经损伤风险及鉴定神经损伤存在的方法和设备 |
| US20220277853A1 (en) * | 2019-08-01 | 2022-09-01 | Mark Evans | Methods and apparatus for reducing the risk, and identifying the existence, of neurological injury to a human fetus during and before labor |
| US20220175324A1 (en) * | 2020-12-09 | 2022-06-09 | Marani Health, Inc. | Computer-based prediction of fetal and maternal outcomes |
| CN113379706A (zh) * | 2021-06-09 | 2021-09-10 | 苏州大学 | 一种胚胎发育预测方法、装置、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 肖汉光;何为;刘兴华;李松浓;毕喜飞;: "利用输入阻抗预测体动脉狭窄的仿真研究", 重庆理工大学学报(自然科学), no. 06, 15 June 2011 (2011-06-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | An attention-based CNN-BiLSTM hybrid neural network enhanced with features of discrete wavelet transformation for fetal acidosis classification | |
| Jager et al. | Characterization and automatic classification of preterm and term uterine records | |
| Petrozziello et al. | Multimodal convolutional neural networks to detect fetal compromise during labor and delivery | |
| CN108024730B (zh) | 使用数学分析和机器学习来诊断疾病的方法和系统 | |
| Zeng et al. | Cardiotocography signal abnormality classification using time-frequency features and Ensemble Cost-sensitive SVM classifier | |
| Marzbanrad et al. | Cardiotocography and beyond: a review of one-dimensional Doppler ultrasound application in fetal monitoring | |
| Fotiadou et al. | Multi-channel fetal ECG denoising with deep convolutional neural networks | |
| CN112826513B (zh) | 一种基于深度学习和特异性矫正在fecg上胎儿心率检测系统 | |
| Zhao et al. | An IoT-based wearable system using accelerometers and machine learning for fetal movement monitoring | |
| Subramaniam et al. | A review of significant researches on prediction of preterm birth using uterine electromyogram signal | |
| Baghel et al. | 1D-FHRNet: automatic diagnosis of fetal acidosis from fetal heart rate signals | |
| Lu et al. | Estimation of the foetal heart rate baseline based on singular spectrum analysis and empirical mode decomposition | |
| Georgoulas et al. | Feature extraction and classification of fetal heart rate using wavelet analysis and support vector machines | |
| Anisha et al. | Detection of fetal cardiac anomaly from composite abdominal electrocardiogram | |
| Abel et al. | A comprehensive survey on signal processing and machine learning techniques for non-invasive fetal ECG extraction | |
| Zarmehri et al. | On the prediction of foetal acidaemia: a spectral analysis-based approach | |
| Magesh et al. | Ensemble feature extraction-based prediction of fetal arrhythmia using cardiotocographic signals | |
| Basak et al. | A novel deep learning technique for morphology preserved fetal ECG extraction from mother ECG using 1D-CycleGAN | |
| Magenes et al. | Multivariate analysis based on linear and non-linear FHR parameters for the identification of IUGR fetuses | |
| Liu et al. | Baseline/acceleration/deceleration determination of fetal heart rate signals using a novel ensemble LCResU-net | |
| Biloborodova et al. | Fetal ECG signal processing and identification of hypoxic pregnancy conditions in-utero | |
| Chen et al. | Toward automated analysis of fetal phonocardiograms: Comparing heartbeat detection from fetal doppler and digital stethoscope signals | |
| de Micheaux et al. | Residual convolutional autoencoder combined with a non-negative matrix factorization to estimate fetal heart rate | |
| Illanes et al. | Fetal heart rate feature extraction from cardiotocographic recordings through autoregressive model's power spectral-and pole-based analysis | |
| Fergus et al. | Prediction of intrapartum hypoxia from cardiotocography data using machine learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |