CN115568845A - 一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 - Google Patents
一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 Download PDFInfo
- Publication number
- CN115568845A CN115568845A CN202211244620.0A CN202211244620A CN115568845A CN 115568845 A CN115568845 A CN 115568845A CN 202211244620 A CN202211244620 A CN 202211244620A CN 115568845 A CN115568845 A CN 115568845A
- Authority
- CN
- China
- Prior art keywords
- model
- liver transplantation
- prediction
- decision tree
- respiratory distress
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
- A61B5/0826—Detecting or evaluating apnoea events
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Software Systems (AREA)
- Pulmonology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Investigating Or Analysing Biological Materials (AREA)
Abstract
本发明旨在开发和验证肝移植受者LT术后7天内发生急性呼吸窘迫综合征的预测模型和相关诊断试剂盒。通过回顾性提取中山大学附属第三医院大数据平台2015年1月至2020年2月接受LT的755例患者资料。利用受体年龄、BMI、MELD分数、总胆红素、凝血酶原时间、手术时间、标准尿量、总入量、红细胞输注量等9个变量来预测肝移植术后ARDS,将有望在未来的临床应用中预测肝移植受体的术后ARDS,有助于临床工作中对ARDS的早期决策。
Description
技术领域
本发明属于疾病诊断领域,具体涉及一种针对肝移植患者术后ARDS的早期预测方法、试剂盒和系统。
背景技术
肝移植术是目前终末期肝病的主要治疗方法,肝移植后约35%-50%的患者发生术后肺部并发症。在术后肺部并发症中,以肺炎最为常见,而ARDS最为严重。已有国内研究表明肝移植术后ARDS发病率约20%-40%,病死率约25%-30%。患者病情重、自身肺功能储备较差以及内环境的稳态失衡等可导致肺功能脆弱而易发生多种肺部并发症,进一步发展为ARDS。此外,肝移植手术对于上腹部正常解剖的改变与术中循环容量的急剧变化均可增加呼吸功能损伤的风险。由于肝移植术后ARDS患者比普通患者的平均ICU治疗时间更长、治疗难度更大、所需治疗措施更复杂,故成为患者总住院时间延长、疾病负担加重的重要原因,同时对患者所植入新肝的正常功能产生不利影响,从而影响患者的整体预后。长期随访ARDS治愈出院患者的研究发现,患者的康复水平和生活质量较未发生ARDS的普通患者均有所下降,并且出现了程度不一的身心障碍。通过大样本的相关因素分析,早期识别ARDS的高危因素并进行预防或早期干预可以明显改善患者预后,降低疾病的发病率和死亡率,对于肝移植术后ARDS的诊治具有重要意义。现有技术已经存在针对普通患者的传统的肺损伤预测评分方法。现有的肺损伤预测评分方法针对肝移植术后急性呼吸窘迫综合征的预测准确性和特异性欠佳,且无法在早期预测肝移植术后的急性呼吸窘迫综合征。因此,迫切需要一种可靠的针对肝移植患者术后急性呼吸窘迫综合征的早期预测模型来指导预防性干预和治疗。
因此,本发明建立了一种针对肝移植术后急性呼吸窘迫综合征的早期预测模型、方法、系统和试剂盒,对于围手术期急性呼吸窘迫综合征处理、改善肝移植患者预后具有极其重要的意义。本发明旨在利用机器学习(ML)技术开发和验证肝移植受者LT术后7天内发生急性呼吸窘迫综合征的预测模型。这将有助于肝移植患者术后ARDS的早期预防性干预。
发明内容
为了克服现有技术中的不足,本发明提供了一种科学可靠、特异性高、模型性能好、敏感度高的可以对肝移植患者术后ARDS的进行预测的模型、方法、试剂盒和系统。本研究建立了一个基于随机森林算法的预测模型,该模型纳入了9个变量来预测肝移植术后ARDS,将有望在未来的临床应用中预测肝移植受体的术后ARDS,有助于临床工作中对ARDS的早期决策。本发明通过分析肝移植术后ARDS的预测相关因素,进一步开发不同的机器学习预测模型,并将其与传统的肺损伤预测评分的预测效能进行对比,从而构建最佳预测模型。
提供以下定义帮助理解本申请。
随机森林或随机决策森林是一种用于分类、回归和其他任务的集成学习方法,其操作方法是在训练时构造大量决策树,并输出作为单个树的类(分类)或均值预测(回归)模式的类。决策树在缩放和特征值的各种其他转换下是不变的,它们过度拟合其训练集,即具有低偏差,但具有非常高的方差。随机决策林纠正了决策树过度拟合其训练集的习性。在随机森林中,根据属性对新对象进行分类,每个树都给出分类,然后对这些树的结果进行“投票”,最终选择投票得数最多的类别。这是以偏差的小幅增加和可解释性的损失为代价的,但通常会大大提高最终模型的性能。
本发明的术前、术中、术后时间以首次肝移植手术时间为基准,分别为术前最后一次、术中,术后7天内。
标准尿量是指手术期间平均每小时患者公斤体重的所对应的尿量(mL/kg/h)。
总入量是指手术期间所有输入体内的液体总量(晶体、胶体、血制品等)。
受试者工作特征曲线下面积(Area Under the Receiver OperatingCharacteristic,AUROC):最常用的评价指标,为均匀抽取的随机阳性患者样本排名在均匀抽取的随机阴性患者样本之前的期望。
准确率(Accuracy):准确率是所有患者样本中,预测正确的概率,表示为“TP+TN/(TP+TN+FN+FP)”。
特异性(Precision):特异性是在预测为阳性患者的样本中,真正阳性患者的概率,表示为“TN/(TN+FP)”。
敏感性(Sensitivity):敏感性是在阳性患者的样本中,能够正确预测为阳性患者的概率,计算方法为“TP/(TP+FN)”。
F1分数(F1 score):F1分数是基于特异性和敏感性的综合评价指标,计算方法为“2*(Precision*Sensitivity)/(Precision+Sensitivity)”。
本发明中急性呼吸窘迫综合征(ARDS)的诊断:采用2012年发表在《美国医学会杂志》上的ARDS柏林定义[2]进行判定,见表1。ARDS最先于1994年由美欧共识会议定义,使用共识过程,鉴于其局限性与疾病定义的定期审查,欧洲重症监护医学会召集了一个国际专家小组来修改ARDS定义,制定了柏林定义,重点关注可行性、可靠性、有效性,该定义得到了美国胸科学会和重症监护学会的认可。
表1急性呼吸窘迫综合征柏林定义
附注:(1)*胸部影像学包括胸片或CT;(2)PEEP:呼气末正压;CPAP:持续气道正压;PaO2:外周血氧饱和度;FiO2:吸入氧浓度。
为了达到上述发明目的,本发明采用以下技术方案:
本发明的一个方面是提供一种用于预测肝移植术后急性呼吸窘迫综合征的产品或者试剂盒,其包括检测肝移植患者的手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间的检测试剂和检测仪器。其中,所述检测试剂和检测仪器为本领域常用的检测试剂和检测仪器。其中,患者的受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间为患者术前变量情况,患者的手术时间、标准尿量、总入量、红细胞输注量为患者术中变量。
本发明的另一个方面是提供一种肝移植术后急性呼吸窘迫综合征预测的方法,包括以下步骤:
(a)获取肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平和凝血酶原时间这9个指标的测量值。
(b)将步骤(a)中的9个指标的测量值输入到在线风险计算器中,即可获取肝移植患者LT后急性呼吸窘迫综合征风险的预测值。结果输出形式为1/0(0-1),“1”表示肝移植后急性呼吸窘迫综合征阳性结果,“0”表示阴性结果,括号内的值为肝移植后急性呼吸窘迫综合征的发生概率;所述线风险计算器的网页地址为http://wb.aidcloud.cn/zssy/ards.html。
本发明的另一个方面是提供一种肝移植术后急性呼吸窘迫综合征预测的方法,所述方法包括如下步骤:a)获取肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的测量值;b)将步骤a)中的9个指标进行标准化处理,并加载已训练好的随机森林模型,将标准化的9个指标的结果参数输入到已训练好的随机森林模型中,随机森林模型包含100棵不同的决策树,每棵决策树分别对输入样本进行预测,得到100个预测结果,最终采用投票法得到模型预测结果;其中随机森林计算方法如下:在已训练好的100棵决策树基础模型中输入已标准化处理好的9个指标的结果参数,分别代入各决策树相应的需求属性,分别得到各决策树模型的预测类别和概率结果,所述随机森林模型的预测规则为对100棵决策树的预测分类结果进行投票,得到最终的预测分类结果,对100棵决策树的预测概率结果进行均值计算,得到最终的预测风险概率结果;所述随机森林模型的训练过程包括如下步骤:首先,从原始训练集中分别随机选取s个样本,随机选取k个属性组成的样本集训练建立决策树基础模型;其次,运用Bootstrap方法进行N次抽样建立N棵决策树基础模型,最后对于每个样本,分别代入训练好的N棵决策树基础模型得到N个预测分类结果,根据分类结果对每个样本进行投票;最后确定分类,其中I(·)是一个线性函数;其公式如下:
给定一组分类模型m1(x)、m2(x)、…mN(x),每个分类的训练数据从原始数据(X,Y)抽样得到;用残差函数f(X,Y)来求正确分类大于错误分类的具体情况,其公式如下:
由此可知,f(X,Y)和分类预测结果密切相关,f(X,Y)越大,预测结果越准确。因此模型的外推误差为:
PE*=PX,Y[f(X,Y)<0],
随着决策树分类数量的增加,泛化误差增大,所有决策树都收敛于公式:
上式中,n为森林中决策树的数量。随着决策树变大,泛化误差PE趋于上界,即随机森林算法具有良好的收敛性和防止过拟合的能力。
本发明的另一个方面是提供一种肝移植术后急性呼吸窘迫综合征的预测系统,该系统包括输入器和处理器以及计算机可读介质,所述计算机可读介质储存多个指令,所述输入器用于获取被测肝移植患者相关检测指标的测量值;所述处理器与输入器相连,所述处理器用于对输入器获取的数据进行处理,输出患急性呼吸窘迫综合征风险的预测值;所述指令指示所述输入器和处理器执行肝移植术后急性呼吸窘迫综合征预测的方法;所述方法包括如下步骤:a)获取肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的测量值;b)将步骤a)中的9个指标进行标准化处理,并加载已训练好的随机森林模型,将标准化的9个指标的结果参数输入到已训练好的随机森林模型中,随机森林模型包含100棵不同的决策树,每棵决策树分别对输入样本进行预测,得到100个预测结果,最终采用投票法得到模型预测结果;其中随机森林计算方法如下:在已训练好的100棵决策树基础模型中输入已标准化处理好的9个指标的结果参数,分别代入各决策树相应的需求属性,分别得到各决策树模型的预测类别和概率结果,所述随机森林模型的预测规则为对100棵决策树的预测分类结果进行投票,得到最终的预测分类结果,对100棵决策树的预测概率结果进行均值计算,得到最终的预测风险概率结果;所述随机森林模型的训练过程包括如下步骤:随机森林在训练分类模型时,首先,从原始训练集中分别随机选取s个样本,随机选取k个属性组成的样本集训练建立决策树基础模型;其次,运用Bootstrap方法进行N次抽样建立N棵决策树基础模型,最后对于每个样本,分别代入训练好的N棵决策树基础模型得到N个预测分类结果,根据分类结果对每个样本进行投票;最后确定分类,其中I(·)是一个线性函数。公式如下:
给定一组分类模型m1(x)、m2(x)、…mN(x),每个分类的训练数据从原始数据(X,Y)抽样得到。所以,用残差函数f(X,Y)来求正确分类大于错误分类的具体情况,其公式如下:
由此可知,f(X,Y)和分类预测结果密切相关,f(X,Y)越大,预测结果越准确。因此模型的外推误差为:
PE*=PX,Y[f(X,Y)<0]
随着决策树分类数量的增加,泛化误差增大,所有决策树都收敛于公式:
上式中,n为森林中决策树的数量。随着决策树变大,泛化误差PE趋于上界,即随机森林算法具有良好的收敛性和防止过拟合的能力。
本发明的另一个方面是提供检测肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间的检测试剂和仪器在制备用于预测肝移植术后急性呼吸窘迫综合征的产品或试剂盒中的应用。
本发明最终获取了可用于早期阶段预测肝移植患者术后急性呼吸窘迫综合征的风险评估的9个重要指标,分别为术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间,使用来自患者数据进行术后ARDS的风险预测,有助于疾病的预防与及时诊治。将所述9个重要指标用于随机森林模型,可以对肝移植后急性呼吸窘迫综合征风险进行早期预测。
附图说明
图1为病例纳入排除流程图;
图2为RFE筛选变量数图;
图3为筛选变量重要性排序图;
图4为各机器学习算法测试数据集的内部验证情况;
图5为随机森林预测模型的SHAP变量相关性图;
图6为时间序列验证集病例纳入排除流程图;
图7为各机器学习算法时间序列验证集的外部验证情况图;
图8为肝移植术后急性呼吸窘迫综合征的机器学习预测模型的在线计算界面图;
图9为肝移植病例1的预测模型网页操作演示界面图;
图10为肝移植病例2的预测模型网页操作演示界面图。
具体实施方式
为了更清楚地说明本发明实施例,下面将对照附图说明本发明的具体实施方式。
实施例1
肝移植术后急性呼吸窘迫综合征相关因素分析
病例纳入排除流程如图1所示。2015年1月至2020年12月间在中山大学附属第三医院接受肝移植术共952例患者。其中18岁及以下111例、肝肾联合移植13例、资料不全者49例、术前患有ARDS者24例。我们的分析共包括755例患者,其中234例(30.99%)术后患ARDS,521例(69.01%)术后未患ARDS。将研究对象分为非ARDS组521例,ARDS组234例。
(1)两组肝移植患者单因素分析结果:
①两组肝移植患者术前基础情况对比。其中ARDS组的受体年龄(p=0.011)、BMI(p=0.001)更高,在肝移植原因中非ARDS组肝细胞癌(p<0.001)和胆汁淤积性肝硬化(p=0.043)占比更大,而ARDS组急性肝功能衰竭(p<0.001)的占比更大。两组患者情况见表2。
表2两组患者基础情况对比
②两组肝移植患者术前病史对比。其中ARDS组患者的肺部感染发生率(p<0.001)、肝性脑病发生率(p<0.001)、肝肾综合征发生率(p<0.001)、自发性细菌性腹膜炎发生率(p=0.002)、MELD分数(p<0.001)、Child–Pugh分数(p<0.001)更高,患者有吸烟史(p=0.002)、饮酒史(p=0.006)的占比更大,行术前血液透析(p<0.001)、术前血浆置换(p<0.001)、术前使用呼吸机(p<0.001)的患者比例均较非ARDS组更高。而非ARDS组肺部结节发生率(p=0.001)、胃底食管静脉曲张发生率(p=0.026)更大。两组肝移植患者术前病史见表3。
表3两组患者术前病史对比
③两组肝移植患者术前检验对比。其中ARDS组血中天冬氨酸氨基转移酶(p<0.001)、丙氨酸氨基转移酶(p=0.003)、总胆红素(p<0.001)、凝血酶原时间(p<0.001)、国际标准化比值(p<0.001)含量均较非ARDS组更高。而非ARDS组血红细胞(p=0.001)、血小板(p=0.023)、血红蛋白(p=0.022)含量更高。此外,两组的血白细胞(p<0.001)、钙离子浓度(p=0.006)、尿素氮(p<0.001)、纤维蛋白原浓度(p=0.043)虽有统计学差异,但实际数值均在临床正常值范围内,故不进入下一步独立相关因素筛选。两组肝移植患者术前检验对比见表4。
表4两组患者术前检验对比
④两组肝移植患者术中数据对比。其中ARDS组手术时间(p<0.001)、麻醉时间(p<0.001)更长,碳酸氢钠输注量(p<0.001)、失血量(p<0.001)、腹水量(p<0.001)、总入量(p<0.001)、总出量(p<0.001)、红细胞输注量(p<0.001)、新鲜冷冻血浆输注量(p<0.001)、冷沉淀输注量(p<0.001)、血小板输注量(p=0.005)均较非ARDS组更大。而非ARDS组的尿量(p<0.001)、标准尿量(p<0.001)相比更多。两组肝移植患者术中数据见表5。
表5两组患者术中数据对比
(2)两组肝移植患者多因素分析结果:
①经单因素分析筛选,共39项变量进入独立相关因素分析。应用RFE法结合五折交叉验证进行变量筛选,常规选择随机森林模型作为变量筛选基础模型。因为F1分数为综合评价指标且更加关注阳性样本的识别,符合本研究目的,故选择F1分数作为变量筛选的主要评价指标。图2中折线最高点对应的变量数为结局指标预测性能最佳时的变量数,故最后选择了9个变量,分别为肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间,变量重要性排序见图3。体重指数(BMI)是常见的临床人口学特征之一,可以通过体重与身高平方的比值计算得出。本研究发现术后发生ARDS的患者术后7天、1月、6月、1年的生存率均显著下降。根据统计分析结果可知,肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间是肝移植术后发生ARDS的独立相关因素,临床诊疗过程中可关注上述独立相关因素,并采取积极的预防和治疗措施,以改善肝移植患者预后,提高患者生存率。根据实施例1筛选出的9项独立相关因素作为最终建立模型的变量,这9个重要指标的最终选择是本发明的创新所在,保证了预测结果的准确可靠。
实施例2
针对肝移植术后急性呼吸窘迫综合征的早期预测模型的构建方法,包括以下步骤:
S1.数据获取:数据集样本来源于中山大学第三附属医院(中国广州)大数据平台上的肝移植记录,包括2015年1月至2020年12月间在该医院接受异体肝移植的患者。所有肝移植受者均在中国器官移植反应系统(www.cot.org.cn)中注册。采用的纳入标准是:(1)年龄≥18岁;(2)同种异体移植肝移植。具有以下条件的患者被排除在本研究之外:(1)联合肝肾移植;(2)病历资料不全;(3)术前患有ARDS。
S2.数据预处理:拷贝获得以上数据后,通过手动查阅病案系统进行数据校正与缺失值填补,填补后缺失值比例>5%的数据项予以剔除,并人工二次审核有无错漏项。最终纳入术前基础情况、术前病史、术前检验、术中数据共72项变量进入单因素分析:连续变量中正态分布资料采用两独立样本T检验,非正态分布资料采用Wilcoxon秩和检验进行分析;分类变量采用Pearson卡方检验。将单因素分析中有统计学差异(p<0.05)的相关变量纳入行多因素分析,利用递归特征消除法结合5折交叉验证筛选出9项主要预测变量,包括手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间。此9项主要预测变量作为建模变量用于构建机器学习预测模型。
S3.机器学习模型的开发:将包含755项病例的建模数据集分为80%的训练数据集和20%的测试数据集,其中训练数据集用于开发机器学习预测模型,其中测试数据集用于验证和比较训练数据集开发的模型的性能。通过500次bootstrap多次循环抽样划分抽取训练数据集和测试数据集。用于在肝移植后7天内预测急性呼吸窘迫综合征的机器学习模型的构建。使用肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个预测变量进行模型训练,其中训练模型选自逻辑回归算法、决策树算法、随机森林算法、梯度提升决策树算法、朴素贝叶斯算法、轻梯度提升机算法和极端梯度提升算法等7种经典机器学习模型算法中的一种或多种;对所述训练模型使用网格搜索法结合K折交叉验证方法进行最优参数组合选择,首先设定各个模型需要进行网格搜索的参数以及参数值列表,进行交叉组合,随后对训练集随机划分为5等份,分别以其中1等份作为测试集,其余4等份作为训练集,对特定参数组合下的模型进行训练和测试,计算相应模型的评价指标的平均值作为该参数组合的模型得分,通过比较各参数组合的模型得分,最终可获取每个模型的最佳参数组合。
S4.模型的性能评价:根据上述建立的机器学习模型,获取测试数据集的混淆矩阵。对于二分类的混淆矩阵,总共包含四个不同的结果:真阳性(true positive,TP)、假阳性(false positive,FP)、真阴性(true negative,TN)、假阴性(false negative,FN)。使用测试集进行测试,并使用bootstrap重采样方法,对测试集进行500次有放回的重采样,得到500份测试数据集;使用所述500份测试数据集对模型进行测试评估,模型评价使用ROC曲线下面积(AUC)、准确率(Accuracy)、特异性(sensitivity)、敏感性(specificity)和F1分数进行评价等5种评价方法中的一种或多种验证模型的有效性,500次测试评估指标以“中位数(2.5%分位数,97.5%分位数)”形式表示。
对比分析测试数据集七种不同模型的AUROC、特异性、准确率、敏感性、F1分数指标,指标数值范围均为0-1,其中越接近0说明预测效能越低,越接近1说明预测效能越高,综合考虑各指标平衡性和稳定性以选择最佳预测模型。确定最佳模型后进一步得到变量相关性判定的SHAP图(SHapley Additive exPlanations),其对建模的各变量进行重要性排序,并可解释各变量的正相关或者负相关性。
结果表明,应用逻辑回归(LR)、决策树(DT)、随机森林(RF)、梯度提升决策树(GBDT)、朴素贝叶斯(NB)、轻梯度提升机(LGBM)和极端梯度提升(XGB)分别建立机器学习预测模型,各机器学习算法的测试数据集AUROC、准确率、特异性、敏感性和F1分数如表6和图4所示。其中LGBM算法AUROC最大(0.768,95%CI 0.698-0.829),其次为RF算法AUROC较大(0.765,95%CI 0.694-0.826);DT算法AUROC最小(0.707,95%CI 0.621-0.788)。XGB算法准确率最高(0.735,95%CI 0.669-0.795);LR算法准确率最低(0.649,95%CI 0.583-0.709)。LGBM算法特异性最高(0.705,95%CI 0.413-1.000);LR算法特异性最低(0.455,95%CI 0.356-0.557)。LR算法敏感性最高(0.674,95%CI 0.539-0.800);LGBM算法敏感性最低(0.245,95%CI 0.019-0.439)。RF算法F1分数最高(0.574,95%CI 0.472-0.673);LGBM算法F1分数最低(0.361,95%CI 0.037-0.535)。综合考虑各指标的平衡性和稳定性,最佳机器学习预测模型为随机森林算法所构建的预测模型。
表6各机器学习算法测试数据集的内部验证情况
确定最佳机器学习预测模型为随机森林模型后,得到随机森林模型变量相关性判定的SHAP图,见图5。SHAP图中每一点都对应数据集中的一位患者;排名越靠上的变量,重要性程度越高,对结局指标的影响越大;位于纵坐标轴右侧的数值表示与结局指标正相关,位于纵坐标轴左侧的数值表示与结局指标负相关;红色表示数值大,蓝色表示数值小,红蓝点越分散即颜色区分度越大,说明该变量的正负相关关系的可解释性越强。如图5所示,MELD分数、凝血酶原时间、红细胞输注量、总胆红素、受体年龄、总入量、BMI、手术时间的数值均与肝移植术后急性呼吸窘迫综合征的发生呈正相关关系;而标准尿量的数值与肝移植术后急性呼吸窘迫综合征的发生呈负相关关系。
实施例3
预测模型的时间序列验证集验证结果
时间序列验证集的筛选过程:2020年3月至2020年12月间在我院接受肝移植术共143例患者。其中18岁及以下21例、肝肾联合移植1例、资料不全者4例、术前患有ARDS者2例。我们的分析共包括115例患者,其中28例(24.35%)患有ARDS,87例(75.65%)未患ARDS。病例筛选过程见图6。
时间序列验证集与建模数据集的对比:时间序列集的患者数据和建模数据集的患者数据分布对比如下。其中时间序列集肺部感染(p=0.041)、肺部结节(p<0.001)、胸腔积液(p<0.001)发生率更高。而建模数据集的天冬氨酸氨基转移酶(p=0.017)、手术时间(p<0.001)、冷缺血时间(p=0.026)、胶体(p=0.006)、碳酸氢钠输注量(p<0.001)、白蛋白输注量(p=0.021)、失血量(p<0.001)、腹水量(p<0.001)、总入量(p=0.024)、红细胞输注量(p<0.001)、新鲜冷冻血浆输注量(p<0.001)更高。此外,两组的尿素氮(p<0.001)、纤维蛋白原浓度(p<0.001)虽有统计学差异,但实际数值均在临床正常值范围内,见表7。
表7时间序列集的与建模数据集的对比
时间序列验证集的各模型验证情况:各机器学习算法的测试数据集AUROC、准确率、特异性、敏感性和F1分数如表8和图7所示。其中LGBM算法AUROC最大(0.850,95%CI0.829-0.864),其次为RF算法AUROC较大(0.842,95%CI 0.823-0.860);DT算法AUROC最小(0.788,95%CI 0.646-0.852)。NB算法准确率最高(0.826,95%CI 0.817-0.835),LR算法准确率最低(0.748,95%CI 0.713-0.783)。LGBM算法特异性最高(0.667,95%CI 0.414-1.000),LR算法特异性最低(0.489,95%CI 0.450-0.535)。LR算法敏感性最高(0.821,95%CI 0.750-0.857),LGBM算法敏感性最低(0.321,95%CI 0.036-0.571)。RF算法F1分数最高(0.646,95%CI 0.606-0.689),LGBM算法F1分数最低(0.419,95%CI 0.067-0.615)。综合考虑各指标的平衡性和稳定性,最佳机器学习预测模型仍然为本发明的随机森林算法所构建的预测模型。
表8各机器学习算法时间序列验证集的外部验证情况
实施例4
预测模型与肺损伤预测评分的性能对比结果
肺损伤预测评分(LIPS)在测试数据集的预测表现:AUROC为0.689,95%CI 0.601-0.774;准确率为0.722,95%CI 0.695-0.748;特异性为0.608,95%CI 0.500-0.696;敏感性为0.370,95%CI 0.300-0.462;F1分数为0.459,95%CI 0.390-0.507。在时间序列验证集的预测表现:AUROC为0.776,95%CI 0.657-0.880;准确率为0.809,95%CI 0.783-0.843;特异性为0.688,95%CI 0.588-0.786;敏感性为0.458,95%CI 0.387-0.519;F1分数为0.531,95%CI 0.468-0.593。与各型机器学习算法相比,肺损伤预测评分的预测效能均更低。结果见表6、表8、图4、图7。由此可见,与肺损伤预测评分以及逻辑回归算法LR(Logistic Regression)、决策树算法(DT)、梯度提升决策树算法(GBDT)、朴素贝叶斯算法(NB)、轻梯度提升机算法(LGBM)、随机森林(RF)和极端梯度提升机算法(XGB)这7种模型算法相比,本申请的随机森林模型预测效能最佳。
实施例5
一种肝移植术后急性呼吸窘迫综合征预测的方法
本发明最终选择了随机森林模型进行进一步的分析和应用。本申请提供一种肝移植术后急性呼吸窘迫综合征预测的方法;所述方法包括如下步骤:a)获取肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的测量值;b)将步骤a)中的9个指标进行标准化处理,并加载已训练好的随机森林模型,将标准化的9个指标的结果参数输入到已训练好的随机森林模型中,随机森林模型包含100棵不同的决策树,每棵决策树分别对输入样本进行预测,得到100个预测结果,最终采用投票法得到模型预测结果;其中随机森林计算方法如下:在已训练好的100棵决策树基础模型中输入已标准化处理好的9个指标的结果参数,分别代入各决策树相应的需求属性,分别得到各决策树模型的预测类别和概率结果,所述随机森林模型的预测规则为对100棵决策树的预测分类结果进行投票,得到最终的预测分类结果,对100棵决策树的预测概率结果进行均值计算,得到最终的预测风险概率结果;所述随机森林模型的训练过程包括如下步骤:
首先,从原始训练集中分别随机选取s个样本,随机选取k个属性组成的样本集训练建立决策树基础模型;其次,运用Bootstrap方法进行N次抽样建立N棵决策树基础模型,最后对于每个样本,分别代入训练好的N棵决策树基础模型得到N个预测分类结果,根据分类结果对每个样本进行投票;最后,确定分类,其中I(·)是一个线性函数。公式如下:
给定一组分类模型m1(x),m2(x),…,mN(x),每个分类的训练数据从原始数据(X,Y)抽样得到。所以,用残差函数f(X,Y)来求正确分类大于错误分类的具体情况,其公式如下:
由此可知,f(X,Y)和分类预测结果密切相关,f(X,Y)越大,预测结果越准确。因此模型的外推误差为:
PE*=PX,Y[f(X,Y)<0]
随着决策树分类数量的增加,泛化误差增大,所有决策树都收敛于公式:
肝移植病例1:收集患者的9种预测因素的具体数据,分别为:受体年龄59岁、BMI26.64kg/m2、MELD分数13、总胆红素2.98umol/L、凝血酶原时间14.7s、手术时间390min、标准尿量2.31mL/kg/h、总入量6158ml、红细胞输注量1063ml。
肝移植病例2:收集患者的9种预测因素的具体数据,分别为:受体年龄32岁、BMI26.30kg/m2、MELD分数36、总胆红素620umol/L、凝血酶原时间39.2s、手术时间465min、标准尿量3.38mL/kg/h、总入量6132ml、红细胞输注量812ml。
使用所述肝移植术后急性呼吸窘迫综合征预测的方法分别将肝移植病例1和肝移植病例2的进行预测;肝移植病例1经过机器学习模型预测后结果为:术后急性呼吸窘迫综合征判定为0,发生概率为85.2%;肝移植病例2经过机器学习模型预测后结果为:术后急性呼吸窘迫综合征判定为1,发生概率为55.1%。
实施例6
最佳预测模型可视化及实际病例演示
(1)肝移植术后ARDS的最佳预测模型可视化:经过计算机程序开发后,最佳预测模型为随机森林模型,将其可视化为风险计算器网页。所述风险计算器的算法是固定的。预测肝移植术后ARDS发生的风险计算器网页地址为:http://wb.aidcloud.cn/zssy/ards.html,见图8。所述风险计算器的算法是固定的。该在线风险计算器可以让世界各地的麻醉师和同行都可以使用此模型。将肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的结果参数输入到在线风险计算器中,即可获取肝移植患者LT后急性呼吸窘迫综合征风险的预测值。结果输出形式为1/0(0-1)。“1”表示肝移植后急性呼吸窘迫综合征阳性结果,“0”表示阴性结果,括号内的值为肝移植后急性呼吸窘迫综合征的发生概率。
(2)实际病例的网页使用演示:
肝移植病例1:收集患者的9种预测因素的具体数据,分别为:受体年龄59岁、BMI26.64kg/m2、MELD分数13、总胆红素2.98umol/L、凝血酶原时间14.7s、手术时间390min、标准尿量2.31mL/kg/h、总入量6158ml、红细胞输注量1063ml。经过机器学习预测模型的在线计算结果为:术后急性呼吸窘迫综合征判定为0,发生概率为85.2%。见图9。
肝移植病例2:收集患者的9种预测因素的具体数据,分别为:受体年龄32岁、BMI26.30kg/m2、MELD分数36、总胆红素620umol/L、凝血酶原时间39.2s、手术时间465min、标准尿量3.38mL/kg/h、总入量6132ml、红细胞输注量812ml。经过机器学习预测模型的在线计算结果为:术后急性呼吸窘迫综合征判定为1,发生概率为55.1%。见图10。
由于本发明模型中纳入的9个重要指标可以在临床实践中轻松获得,从而方便地计算LT后急性呼吸窘迫综合征的风险。
本发明提供一种针对肝移植术后急性呼吸窘迫综合征的预测系统,该系统包括a)输入器和处理器;以及b)计算机可读介质,所述计算机可读介质储存多个指令,所述输入器用于获取被测肝移植患者相关检测指标的测量值;所述处理器与输入器相连,所述处理器用于对输入器获取的数据进行处理并输出急性呼吸窘迫综合征风险的预测值;所述指令指示所述输入器和处理器执行肝移植术后急性呼吸窘迫综合征预测的方法;所述方法包括如下步骤:(a)检测肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的测量值;(b)将步骤(a)中的9个指标的测量值进行标准化处理,并加载已训练好的随机森林(RF)模型,将标准化的9个指标的结果参数输入到已训练好的随机森林(RF)模型中,随机森林(RF)模型包含100棵不同的决策树,每棵决策树分别对输入样本进行预测,得到100个预测结果,最终采用投票法得到模型预测结果;其中随机森林算法的步骤如下:在已训练好的N棵决策树基础模型中输入已标准化处理好的9个指标的结果参数,分别代入各决策树相应的需求属性,分别得到各决策树模型的预测类别和概率结果,所述随机森林模型的预测规则为对N棵决策树的预测分类结果进行投票,得到最终的预测分类结果,对N棵决策树的预测概率结果进行均值计算,得到最终的预测概率结果。结果表明,使用该系统和基于肝移植术后急性呼吸窘迫综合征预测的方法开发的在线风险计算器获取的患者的预测结果一致。
以上所述仅是对本发明的优选实施例及原理进行了详细说明,对本领域的普通技术人员而言,依据本发明提供的思想,在具体实施方式上会有改变之处,而这些改变也应视为本发明的保护范围。
Claims (7)
1.一种肝移植术后急性呼吸窘迫综合征的预测系统,该系统包括输入器和处理器以及计算机可读介质,所述计算机可读介质储存多个指令,所述输入器用于获取被测肝移植患者相关检测指标的测量值;所述处理器与输入器相连,所述处理器用于对输入器获取的数据进行处理,输出患急性呼吸窘迫综合征风险的预测值;所述指令指示所述输入器和处理器执行肝移植术后急性呼吸窘迫综合征预测的方法;所述方法包括如下步骤:a)获取肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间这9个指标的测量值;b)将步骤a)中的9个指标进行标准化处理,并加载已训练好的随机森林模型,将标准化的9个指标的结果参数输入到已训练好的随机森林模型中,随机森林模型包含100棵不同的决策树,每棵决策树分别对输入样本进行预测,得到100个预测结果,最终采用投票法得到模型预测结果;其中随机森林计算方法如下:在已训练好的100棵决策树基础模型中输入已标准化处理好的9个指标的结果参数,分别代入各决策树相应的需求属性,分别得到各决策树模型的预测类别和概率结果,所述随机森林模型的预测规则为对100棵决策树的预测分类结果进行投票,得到最终的预测分类结果,对100棵决策树的预测概率结果进行均值计算,得到最终的预测风险概率结果。
2.根据权利要求1所述的系统,其特征在于,所述随机森林模型的训练过程包括如下步骤:随机森林在训练分类模型时,首先,从原始训练集中分别随机选取s个样本,随机选取k个属性组成的样本集训练建立决策树基础模型;其次,运用Bootstrap方法进行N次抽样建立N棵决策树基础模型,最后对于每个样本,分别代入训练好的N棵决策树基础模型得到N个预测分类结果,根据分类结果对每个样本进行投票;最后确定分类。
3.根据权利要求1所述的系统,其特征在于,所述随机森林模型的训练过程包括如下步骤:随机森林在训练分类模型时,首先,从原始训练集中分别随机选取s个样本,随机选取k个属性组成的样本集训练建立决策树基础模型;其次,运用Bootstrap方法进行N次抽样建立N棵决策树基础模型,最后对于每个样本,分别代入训练好的N棵决策树基础模型得到N个预测分类结果,根据分类结果对每个样本进行投票;最后确定分类,其中I(·)是一个线性函数,I(·)的公式如下:
给定一组分类模型m1(x)、m2(x)、…mN(x),每个分类的训练数据从原始数据(X,Y)抽样得到,用残差函数f(X,Y)来求正确分类大于错误分类的具体情况,其公式如下:
模型的外推误差为:
PE*=PX,Y[f(X,Y)<0]
随着决策树分类数量的增加,泛化误差增大,所有决策树都收敛于公式:
其中n为森林中决策树的数量。
4.一种针对肝移植术后急性呼吸窘迫综合征的早期预测模型的构建方法,其特征在于,该预测模型为早期预测模型,该方法包括以下步骤:包括以下步骤:S1.数据获取:数据集样本来源于大数据平台上接受异体肝移植患者的记录,所有肝移植受者均在中国器官移植反应系统中注册;患者的纳入标准是:(1)年龄≥18岁;(2)同种异体移植肝移植;具有以下条件的患者被排除在本研究之外:(1)联合肝肾移植;(2)病历资料不全;(3)术前患有ARDS;将包含所有病例的建模数据集分为80%的训练数据集和20%的测试数据集,所述训练数据集用于开发机器学习预测模型,所述测试数据集用于验证和比较训练数据集开发的模型的性能;通过500次bootstrap多次循环抽样划分抽取训练数据集和测试数据集,将抽取的训练数据集和测试数据集用于在肝移植后7天内预测急性呼吸窘迫综合征的机器学习模型的构建;
S2.数据预处理:排除资料不齐全的病例,对类别变量进行映射处理,将“有”、“是”、“男性”映射为1,将“无”、“否”、“女性”映射为0;对连续型变量使用标准差标准化方法进行数据标准化处理,具体计算公式为x’=x-mean/std,对连续型变量使用均值填补缺失值,对类别变量使用众数填补缺失值,并保证训练集和测试集中的脓毒血症发生率一致;
S3.机器学习模型的开发:使用肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平和凝血酶原时间这9个重要变量进行模型训练,其中训练模型选自逻辑回归算法、决策树算法、随机森林算法、梯度提升决策树算法、朴素贝叶斯算法、轻梯度提升机算法和极端梯度提升算法等7种经典机器学习模型算法中的一种或多种;对所述训练模型使用网格搜索法结合K折交叉验证方法进行最优参数组合选择,首先设定各个模型需要进行网格搜索的参数以及参数值列表,进行交叉组合,随后对训练集随机划分为5等份,分别以其中1等份作为测试集,其余4等份作为训练集,对特定参数组合下的模型进行训练和测试,计算相应模型的评价指标的平均值作为该参数组合的模型得分,通过比较各参数组合的模型得分,最终可获取每个模型的最佳参数组合;
S4.模型的性能评价:根据建立的机器学习模型,获取测试数据集的混淆矩阵;对于二分类的混淆矩阵,总共包含四个不同的结果:真阳性、假阳性、真阴性、假阴性;使用测试集进行测试,并使用bootstrap重采样方法,对测试集进行500次有放回的重采样,得到500份测试数据集;使用所述500份测试数据集对模型进行测试评估,模型评价使用ROC曲线下面积(AUC)、准确率(Accuracy)、精准度(sensitivity)、召回率(specificity)和F1分数进行评价,来验证模型的有效性,500次测试评估指标以“中位数”的形式表示。
5.一种针对肝移植术后急性呼吸窘迫综合征的早期预测模型的构建系统,该系统包括一个或多个计算机处理器以及计算机可读介质,所述计算机可读介质储存多个指令,所述多个指令指示所述一个或多个计算机处理器执行权利要求3所述的针对肝移植术后急性呼吸窘迫综合征的早期预测模型的构建方法。
6.一种用于预测肝移植术后急性呼吸窘迫综合征的试剂盒,其包括检测肝移植患者的手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间的检测试剂和检测仪器。
7.检测肝移植患者肝移植手术中手术时间、标准尿量、总入量、红细胞输注量和手术前受体年龄、BMI、MELD分数、总胆红素水平、凝血酶原时间的检测试剂和仪器在制备用于预测肝移植术后急性呼吸窘迫综合征的产品或试剂盒中的应用。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211244620.0A CN115568845A (zh) | 2022-10-12 | 2022-10-12 | 一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211244620.0A CN115568845A (zh) | 2022-10-12 | 2022-10-12 | 一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115568845A true CN115568845A (zh) | 2023-01-06 |
Family
ID=84586014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211244620.0A Pending CN115568845A (zh) | 2022-10-12 | 2022-10-12 | 一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115568845A (zh) |
-
2022
- 2022-10-12 CN CN202211244620.0A patent/CN115568845A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al‐Khamis et al. | Modified frailty index predicts early outcomes after colorectal surgery: an ACS‐NSQIP study | |
JP2009535644A (ja) | バイオマーカーを使用して疾患状況を同定するための方法および装置 | |
US20100099999A1 (en) | Oral end tidal carbon dioxide probe | |
CN114023441A (zh) | 基于可解释机器学习模型的严重aki早期风险评估模型、装置及其开发方法 | |
CN114220540A (zh) | 一种糖尿病肾病风险预测模型的构建方法及应用 | |
CN115099331A (zh) | 基于可解释性机器学习算法的恶性胸腔积液辅助诊断系统 | |
CN115083604B (zh) | 一种术后不良事件预测模型的构建方法、系统和预测装置 | |
CN112183572A (zh) | 一种生成预测肺炎严重程度的预测模型的方法及装置 | |
CN115295151A (zh) | 脓毒症预测系统、预测模型构建方法及系统、试剂盒 | |
CN115410716A (zh) | 一种脑出血患者神经功能预后预测模型的建立方法及系统 | |
CN115602327A (zh) | 一种肺结节发生肺癌风险的预测模型的构建方法 | |
CN116825366A (zh) | 基于生理功能特征模型的个性化拔管风险预测模型构建方法及装置 | |
Eskandari et al. | Detection of sepsis using biomarkers based on machine learning | |
CN118039171A (zh) | 一种急性肾损伤患者早期预后预测模型及其建立方法 | |
CN117116475A (zh) | 缺血性脑卒中的风险预测方法、系统、终端及存储介质 | |
CN115568845A (zh) | 一种针对肝移植术后的急性呼吸窘迫综合征的预测方法、试剂盒和系统 | |
Wang et al. | Method of non-invasive parameters for predicting the probability of early in-hospital death of patients in intensive care unit | |
Saberian et al. | Arterial versus venous blood gas analysis comparisons, appropriateness, and alternatives in different acid/base clinical settings: a systematic review | |
CN115240852A (zh) | 脑出血患者90天死亡率风险预测模型的建立方法及系统 | |
CN113066547B (zh) | 一种基于常规无创参数的ards早期动态预警方法与系统 | |
CN114974562A (zh) | 一种基于机器学习的重症胰腺炎的临床预测模型构建方法 | |
Umut et al. | Prediction of sepsis disease by Artificial Neural Networks | |
Meyer et al. | A Supervised Machine Learning Approach with Feature Selection for Sex-Specific Biomarker Prediction | |
CN110504030A (zh) | 一种创伤性凝血病预测方法 | |
CN111986806B (zh) | 一种基于临床-生物指标的急性心梗后感染风险的预测模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |