CN109214437A - 一种基于机器学习的ivf-et早孕胚胎发育预测系统 - Google Patents

Abstract

本发明公开了一种基于机器学习的IVF‑ET早孕胚胎发育预测系统，包括如下数据处理步骤：获取历史病例数据并提取相应的特征数据集，对数据集进行预处理和特征工程，根据已知的临床诊断结果进行正、异常标记；接着按照一定的比例划分训练集和测试集，针对训练集的少量样本采用随机采样的方式使得不同类型样本达到均衡，引入机器模型训练处理后的平衡数据，利用测试集评价模型，最终得到最优的预测结果和模型。本发明构建了一种基于机器学习的IVF‑ET早孕胚胎发育预测系统，为B超影像科室的进一步诊断提供了决策支持。

Description

一种基于机器学习的IVF-ET早孕胚胎发育预测系统

技术领域

发明涉及智慧医疗技术领域，特别是涉及一种基于机器学习的IVF-ET早孕胚胎发育预测系统。

背景内容

现有研究表明，普通人群中早孕期间的流产率高达15-30％，即使在检测到胚胎有正常的心率活动后，有3-4％的胚胎依然无法正常妊娠。因此对于早孕人群，尤其是那些曾经承受巨大的心理压力和焦虑的不孕患者，准确判断早孕期间胚胎的发育情况对胎儿正常妊娠尤为重要。

随着现代阴道彩超技术的飞速发展，医生通过B超影像可以获得更多重要的怀孕早期的信息，比如，胎心率可通过阴道彩超技术精确测量出来，这些病例信息与早孕期间胚胎的发育情况有着密切的关系。例如，曾有研究提出，胎心率过缓与早期流产有很大的关联，尤其是胎心率低于每分钟90下时；一个非常大、过小，甚至没有卵黄囊的情况会对最终的妊娠结局产生不利的影响。

更进一步，早孕期间胚胎发育情况预测的灵敏性、可靠性直接依赖于对病例数据的合理运用。现有的胚胎发育情况判断方法效率较低，且其准确性也受不同医生的经验影响。虽然有少量研究将简单逻辑回归运用到对早孕期间胚胎发育情况预测的问题上，但这些模型都是较为简单的单一模型，有用的病例信息也没得到完全挖掘，其分类精度依然有很大的提升空间。

因此，针对现有技术不足，提供一种基于机器学习的IVF-ET早孕胚胎发育预测系统以解决现有技术不足甚为必要。

名词解释：

异常样本：即指实际发育结果不理想，终止妊娠的胚胎。

五折交叉验证：5折交叉验证将样本随机、均匀的分成5份，轮流用其中的4份训练模型，1份用于测试模型的准确率，用5个准确率的均值作为最终的准确率。

网格搜索方法：参数调节方法，输入多个参数的取值区间，通过网格搜索可以找到最优值下的各参数的值。

SMO算法：一种二次规划优化算法。

发明内容

本发明克服现有技术存在的不足，本发明公开了一种快捷、高效的基于机器学习的IVF-ET早孕胚胎发育预测系统，能够提高对IVF-ET早孕胚胎预测的准确率和效率。

为解决上述技术问题，本发明所采用的技术方案为：

一种基于机器学习的IVF-ET早孕胚胎发育预测系统，包括用于输入历史病例数据并形成结构化数据集的数据输入单元；输入单元还用于输入新病例数据、用于对结构化数据集进行预处理和提取特征的预处理单元、根据已知的临床诊断结果，对历史病例数据进行正常或异常标记的数据标记单元、根据对历史病例数据进行正常或异常标记的数据对训练预测模型的训练单元和对新病例数据给出预测结构的预测单元；训练单元对抽取结构化数据集数据形成训练集，对训练集的异常样本采用SMOTE采样方法使样本达到均衡。

进一步的改进，所述结构化数据集，包含6W正常样本，2.5W异常样本；预处理单元对结构化数据集进行异常值、缺失值的检查和处理。

进一步的改进，所述预处理单元的预处理步骤如下：

步骤S21：分层随机采样填补缺失值，将历史病例数据按照某特征的特征值划分为N层进行抽样，第i层的非缺失样本数为A_i，缺失样本数为B_i，对于第i层，每次从A_i中随机采样1个样本来填充缺失值，共采样B_i次，第i层的采样公式为b_ij＝sample(A_i,B_i)，i＝1，2....N，j＝0,1,2....B，b_ij表示第i层的第j个采样；sample()表示随机采样函数；B表示采样次数；

步骤S22：对历史病例数据的离散值进行独热编码向量化；

步骤S23：病例特征Z-score标准化：x_i为病例特征，则标准化结果如下：

其中为标准化后的特征值，为病例特征的平均值，为病例特征的标准差，处理后值域在区间[-1,1]内。

进一步的改进，所述数据标记单元按照胚胎实际发育情况：正常标记为0，,异常为1。

进一步的改进，训练单元对异常样本采用SMOTE采样方法包括以下步骤：

步骤S41：异常样本数为T，针对异常样本c，其特征向量为N_c，c∈{1,...,T}；

步骤S42：首先从全部异常样本T中采用欧式距离找到N_c的k个近邻，记为N_c(near),near∈{1,...,k}；

步骤S43：然后从k个近邻中随机选择一个样本N_c(nn)，再生成一个0到1之间的随机数ζ₁，从而合成一个新的样本N_c1：

N_c1＝N_c+ζ₁·(N_c(nn)-N_c)

步骤S44：重复步骤S43M次，从而可以合成M个新样本：N_cnew,new∈1,...,M，对于全部的T个异常样本进行上述操作，即可合成MT个新样本。

进一步的改进，所述训练模型为单一模型或BP神经网络模型或集成模型。

进一步的改进，采用五折交叉验证、网格搜索方法对单一模型、BP神经网络模型和集成模型进行调参，将多个模型的输出结果进行比较，选择评价指标最高的模型作为最终的预测模型。

进一步的改进，所述单一模型采用的是带核函数的SVM分类模型，具体构建步骤如下：

步骤S51：选择核函数K(x_d,x_e)和一个惩罚系数C＞0，构造约束优化问题：

上式中，α_d、α_e表示拉格朗日系数，m表示样本数，y_d、y_e表示样本标签，K(x_d,x_e)表示核函数；

步骤S52：用SMO算法求出式(1)最小值时对应的α向量的最优值向量；

步骤S53：计算得到w^*表示分类超平面的系数，_iθ()表示低维空间到高维希尔伯特空间的映射；

步骤S54：计算出每个支持向量(x_s,y_s)对应的x_s表示第s个特征向量，y_s表示第S个样本标签，表示分类超平面的系数；

根据计算出对应的平均值

K(x_d,x_s)表示核函数；

步骤S55：得到最终的分类决策函数：

f(x)表示分类决策函数，sign()为符号函数。

进一步的改进，所述最终的预测模型为集成模型，集成模型具体构建步骤如下：

步骤S56：输入病例集T＝{(x₁,y₁),(x₂,y₂),...)(x_m,y_m)}，输出为T＝{-1,+1}，弱分类器迭代次数为K；x_m表示第m个样本的特征向量，y_m表示第m个样本的标签；m表示样本个数；

步骤S57：初始化样本集权重为D(1)＝(w₁₁,w₁₂,...w_1m)；w_1i＝1/m；i＝1,2...m；w_1m表示第一轮第m个权重系数；

步骤S58：对于k＝1，2，…K：

a、利用带权重D_k的病例集训练，输出弱分类器G_k(x)，；

b、计算G_k(x)的分类误差e_k：

P、I表示分类误差函数，G_k(x_i)表示弱分类器，w_ki表示样本权重；y_i表示样本标签；

c、计算弱分类器的系数α_K：

d、更新病例的权重：

Z_K为规范化因子，

步骤S59：得到最终的分类决策函数：

有益效果：

本发明通过运用机器学习的方法对IVF-ET早孕胚胎进行有效分类，该方法实现灵活，具有较强的实用性，能够提高对IVF-ET早孕胚胎预测的准确率和效率。

附图说明

图1显示为本发明的一种基于机器学习的IVF-ET早孕胚胎发育预测系统的处理流程示意图。

图2显示为本发明的一种基于集成学习的IVF-ET早孕胚胎发育预测系统的学习过程流程框图。

图3显示为本发明的一种基于机器学习的IVF-ET早孕胚胎发育预测系统中不同训练模型的分类结果对比图。

具体实施方式

实施例1

针对IVF-ET早孕胚胎发育预测问题，本实施例提供一种基于机器学习的IVF-ET早孕胚胎发育预测系统，能够提高对预测的准确率和工作效率。

本发明的基本思路在于，收集病例历史数据形成结构化数据集，对构建的数据集进行预处理、特征工程，通过SMOTE采样方法平衡样本数据后，采用五折交叉验证和网格搜索方法确定各模型参数，输入新病例数据时，模型给出预测结果。

本实施例提供的一种基于机器学习的IVF-ET早孕胚胎发育预测系统采用多种机器学习模型独立训练，经过测试数据集(7244例正常胚胎和3831例异常胚胎)验证，最优模型的精确率、查准率、查全率均可达95％。

图1所示，本实例提供了一种基于机器学习的IVF-ET早孕胚胎发育预测系统对数据的处理流程。

本发明的基于机器学习的IVF-ET早孕胚胎发育预测系统，包括用于输入历史病例数据并形成结构化数据集的数据输入单元；输入单元还用于输入新病例数据、用于对结构化数据集进行预处理和提取特征的预处理单元、根据已知的临床诊断结果，对历史病例数据进行正常或异常标记的数据标记单元、根据对历史病例数据进行正常或异常标记的数据对训练预测模型的训练单元和对新病例数据给出预测结构的预测单元；训练单元对抽取结构化数据集数据形成训练集，对训练

结构化数据集，包含6W正常样本，2.5W异常样本；预处理单元对结构化数据集进行异常值、缺失值的检查和处理。

预处理单元的预处理步骤如下：

步骤S21：将历史病例数据按照某特征的特征值划分为N层进行抽样，第i层的非缺失样本数为A_i，缺失样本数为B_i，对于第i层，每次从A_i中随机采样1个样本来填充缺失值，共采样B_i次，第i层的采样公式为b_ij＝sample(A_i,B_i)，i＝1，2....N，j＝0,1,2....B，b_ij表示第i层的第j个采样；sample()表示随机采样函数；B表示采样次数；

步骤S22：对历史病例数据的离散值进行独热编码向量化；

步骤S23：病例特征Z-score标准化：x_i为病例特征，则标准化结果如下：

其中为标准化后的特征值，为病例特征的平均值，为病例特征的标准差，处理后值域在区间[-1,1]内。

所述数据标记单元按照胚胎实际发育情况：正常标记为0，,异常为1。

训练单元对异常样本采用SMOTE采样方法包括以下步骤：

步骤S41：异常样本数为T，针对异常样本c，其特征向量为N_c，c∈{1,...,T}；

步骤S42：首先从全部异常样本T中采用欧式距离找到N_c的k个近邻，记为N_c(near),near∈{1,...,k}；

步骤S43：然后从k个近邻中随机选择一个样本N_c(nn)，再生成一个0到1之间的随机数ζ₁，从而合成一个新的样本N_c1：

N_c1＝N_c+ζ₁·(N_c(nn)-N_c)

步骤S44：重复步骤S43M次，从而可以合成M个新样本：N_cnew,new∈1,...,M，对于全部的T个异常样本进行上述操作，即可合成MT个新样本。

训练模型为单一模型或BP神经网络模型或集成模型。

采用五折交叉验证、网格搜索方法对单一模型、BP神经网络模型和集成模型进行调参，将多个模型的输出结果进行比较，选择评价指标最高的模型作为最终的预测模型。

单一模型采用的是带核函数的SVM分类模型，具体构建步骤如下：

步骤S51：选择核函数K(x_d,x_e)和一个惩罚系数C＞0，构造约束优化问题：

上式中，α_d、α_e表示拉格朗日系数，m表示样本数，y_d、y_e表示样本标签，K(x_d,x_e)表示核函数；

步骤S52：用SMO算法求出式(1)最小值时对应的α向量的最优值向量；

步骤S53：计算得到w^*表示分类超平面的系数，_iθ()表示低维空间到高维希尔伯特空间的映射；

步骤S54：计算出每个支持向量(x_s,y_s)对应的x_s表示第s个特征向量，y_s表示第S个样本标签，表示分类超平面的系数；

根据计算出对应的平均值

K(x_d,x_s)表示核函数；

步骤S55：得到最终的分类决策函数：f(x)表示分类决策函数，sign()为符号函数。

集成模型具体构建步骤如下：

步骤S56：输入病例集T＝{(x₁,y₁),(x₂,y₂),...)(x_m,y_m)}，输出为T＝{-1,+1}，弱分类器迭代次数为K；x_m表示第m个样本的特征向量，y_m表示第m个样本的标签；m表示样本个数；

步骤S57：初始化样本集权重为D(1)＝(w₁₁,w₁₂,...w_1m)；w_1i＝1/m；i＝1,2...m；w_1m表示第一轮第m个权重系数；

步骤S58：对于k＝1，2，…K：

a、利用带权重D_k的病例集训练，输出弱分类器G_k(x)，；

b、计算G_k(x)的分类误差e_k：

P、I表示分类误差函数，G_k(x)表示弱分类器，w_ki表示样本权重；y_i表示样本标签；

c、计算弱分类器的系数α_K：

d、更新病例的权重：

Z_K为规范化因子，

步骤S59：得到最终的分类决策函数：

于本实施例中，采用五折交叉验证、网格搜索方法对各学习模型分别进行调参，训练并保存模型，输入新病例数据时，模型给出预测结果。

运用相同的测试数据集，各模型的预测精度不同，其中集成学习预测结果最优。于本实施例中，集成模型的基模型采用的是CART决策树，图2给出了集成模型的具体流程。

将所述多个模型的测试输出结果进行比较，通过引入相应评价指标，对比各模型最终的预测效果，如图3给出了各模型的预测结果对比。

综上所述，本发明通过运用机器学习的方法对IVF-ET早孕胚胎进行有效分类，该方法实现灵活，具有较强的实用性，能够提高对IVF-ET早孕胚胎预测的准确率和效率。

以上所述仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (9)

1.一种基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，包括用于输入历史病例数据并形成结构化数据集的数据输入单元；输入单元还用于输入新病例数据、用于对结构化数据集进行预处理和提取特征的预处理单元、根据已知的临床诊断结果，对历史病例数据进行正常或异常标记的数据标记单元、根据对历史病例数据进行正常或异常标记的数据对训练预测模型的训练单元和对新病例数据给出预测结构的预测单元；训练单元对抽取结构化数据集数据形成训练集，对训练集的异常样本采用SMOTE采样方法使样本达到均衡。

2.如权利要求1所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述结构化数据集，包含6W正常样本，2.5W异常样本；预处理单元对结构化数据集进行异常值、缺失值的检查和处理。

3.如权利要求2所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述预处理单元的预处理步骤如下：

步骤S21：将历史病例数据按照某特征的特征值划分为N层进行抽样，第i层的非缺失样本数为A_i，缺失样本数为B_i，对于第i层，每次从A_i中随机采样1个样本来填充缺失值，共采样B_i次，第i层的采样公式为b_ij＝sample(A_i,B_i)，i＝1，2....N，j＝0,1,2....B；b_ij表示第i层的第j个采样；sample()表示随机采样函数；B表示采样次数；

步骤S22：对历史病例数据的离散值进行独热编码向量化；

步骤S23：病例特征Z-score标准化：x_i为病例特征，则标准化结果如下：

i＝1，2，3...n.

其中为标准化后的特征值，为病例特征的平均值；为病例特征的标准差，处理后值域在区间[-1,1]内。

4.如权利要求1所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述数据标记单元按照胚胎实际发育情况：正常标记为0，异常为1。

5.如权利要求1所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，训练单元对异常样本采用SMOTE采样方法包括以下步骤：

步骤S41：异常样本数为T，针对异常样本c，其特征向量为N_c，c∈{1,...,T}；

步骤S42：首先从全部异常样本T中采用欧式距离找到N_c的k个近邻，记为N_c(near),near∈{1,...,k}；

步骤S43：然后从k个近邻中随机选择一个样本N_c(nn)，再生成一个0到1之间的随机数ζ₁，从而合成一个新的样本N_c1：

N_c1＝N_c+ζ₁·(N_c(nn)-N_c)

步骤S44：重复步骤S43M次，从而可以合成M个新样本：N_cnew,new∈1,...,M，对于全部的T个异常样本进行上述操作，即可合成MT个新样本。

6.如权利要求1所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述训练模型为单一模型或BP神经网络模型或集成模型。

7.如权利要求6所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，采用五折交叉验证、网格搜索方法对单一模型、BP神经网络模型和集成模型进行调参，将多个模型的输出结果进行比较，选择评价指标最高的模型作为最终的预测模型。

8.如权利要求7所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述单一模型采用的是带核函数的SVM分类模型，具体构建步骤如下：

步骤S51：选择核函数K(x_d,x_e)和一个惩罚系数C＞0，构造约束优化问题：

上式中，α_d、α_e表示拉格朗日系数，m表示样本数，x_d表示第d个特征向量，x_e表示第e个特征向量；y_d、y_e表示样本标签，K(x_d,x_e)表示核函数；

步骤S52：用SMO算法求出式(1)最小值时对应的α向量的最优值向量；

步骤S53：计算得到w^*表示分类超平面的系数，θ()表示低维空间到高维希尔伯特空间的映射；

步骤S54：计算出每个支持向量(x_s,y_s)对应的x_s表示第s个特征向量，y_s表示第s个样本标签，表示分类超平面的系数；

根据计算出对应的平均值K(x_d,x_s)表示核函数；

步骤S55：得到最终的分类决策函数：f(x)表示分类决策函数；f(x)为1则表示异常，为0表示正常，sign()为符号函数。

9.根据权利要求7所述的基于机器学习的IVF-ET早孕胚胎发育预测系统，其特征在于，所述最终的预测模型为集成模型，集成模型具体构建步骤如下：

步骤S56：输入病例集T＝{(x₁,y₁),(x₂,y₂),...)(x_m,y_m)}，输出为T＝{-1,+1}，弱分类器迭代次数为K；x_m表示第m个样本的特征向量，y_m表示第m个样本的标签；m表示样本个数；

步骤S57：初始化样本集权重为D(1)＝(w₁₁,w₁₂,...w_1m)；w_1i＝1/m；i＝1,2...m；w_1m表示第一轮第m个权重系数；

步骤S58：对于k＝1，2，…K：

a、利用带权重D_k的病例集训练，输出弱分类器G_k(x)，；

b、计算G_k(x)的分类误差e_k：

P、I表示分类误差函数，G_k(x_i)表示弱分类器，w_ki表示样本权重；y_i表示样本标签；

c、计算弱分类器的系数α_K：

d、更新病例的权重：

i＝1,2,...m

Z_K为规范化因子，

步骤S59：得到最终的分类决策函数：f(x)为1则表示异常，为0表示正常。