CN111968744B - 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法 - Google Patents

基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法 Download PDF

Info

Publication number
CN111968744B
CN111968744B CN202011135298.9A CN202011135298A CN111968744B CN 111968744 B CN111968744 B CN 111968744B CN 202011135298 A CN202011135298 A CN 202011135298A CN 111968744 B CN111968744 B CN 111968744B
Authority
CN
China
Prior art keywords
parameter
candidate
candidate parameter
parameters
error value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011135298.9A
Other languages
English (en)
Other versions
CN111968744A (zh
Inventor
李坚强
陈杰
陈颖如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202011135298.9A priority Critical patent/CN111968744B/zh
Publication of CN111968744A publication Critical patent/CN111968744A/zh
Priority to PCT/CN2020/140897 priority patent/WO2022083002A1/zh
Application granted granted Critical
Publication of CN111968744B publication Critical patent/CN111968744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，通过预先对第一候选参数进行误差评估，确定最小误差值，根据已评估的第一候选参数和未评估的第二候选参数确定均值函数和标准差，再根据所述均值函数、标准差以及最小误差值确定目标参数。本发明的参数优化方法根据已评估的第一候选参数来预测下一次可能出现最优性能的参数，将所述可能出现最优性能的参数进行误差评估以确定实际性能最优的目标参数，可以更快速并准确地找到脑卒中风险预测模型的最优参数，提高风险预测模型的训练速度。

Description

基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法
技术领域
本发明涉及脑卒中与慢性病模型的参数优化，尤其涉及一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法。
背景技术
脑卒中是当前危害中老年人生命与健康的主要疾病之一。开发脑卒中风险预测系统的目的是及时发现检测对象是否有患脑卒中的风险，并反馈给医生及患者，让其采取相应的措施降低脑卒中疾病带来的危害。基于网络迁移的脑卒中风险预测模型的训练方法涉及到模型参数的选择，但由于参数的搜索空间较大，因此寻找合适的参数会十分耗时。传统的参数选择方法有manual search（手动搜索）、grid search（网格搜索）、random search（随机搜索）等。manual search需要领域内专家的专业知识，并且需要手动的对参数进行设计；grid search与random search虽然不需要手动对参数进行选择，但其选择过程是随机的，因此无法高效快速地找到最适合的参数。并且现有的参数选择方法如遗传算法，尽管其能够找到接近最优的参数，但每个迭代需要执行多个参数组合的评估，因此遗传算法在时间上花费较大。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，旨在提高脑卒中风险预测模型的参数选择速率。
本发明的技术方案如下：
一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，包括步骤：
获取候选参数集、训练数据集以及验证数据集，所述候选参数集包括第一候选参数集和第二候选参数集；
基于所述训练数据集和所述验证数据集，对所述第一候选参数集中第一候选参数进行误差评估，确定当前最小误差值；
根据所述第一候选参数集和所述第二候选参数集确定均值函数和标准差，其中，所述第二候选参数集中的第二候选参数为未评估参数；
根据所述均值函数、所述标准差以及所述当前最小误差值，确定目标参数。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述候选参数集中，每个候选参数包括顺序子参数和层数子参数。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述基于所述训练数据集和所述验证数据集，对所述第一候选参数集中第一候选参数进行误差评估，确定当前最小误差值的步骤包括：
针对每一个第一候选参数，通过所述第一候选参数的第一顺序子参数和第一层数子参数构建预设深度神经网络模型；
基于所述训练数据集和所述验证数据集对所述预设深度神经网络模型进行训练，得到所述第一候选参数对应的误差值；
将所有第一候选参数对应的误差值中的最小的误差值作为当前最小误差值。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述根据所述第一候选参数集和所述第二候选参数集确定均值函数和标准差的步骤包括：
根据第一候选参数集和第二候选参数集确定高斯过程的协方差矩阵；
根据所述协方差矩阵和第一候选参数对应的误差值确定均值函数；
根据所述协方差矩阵确定标准差。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述根据第一候选参数集和第二候选参数集确定高斯过程的协方差矩阵包括步骤：
将第一候选参数的顺序子参数和第二候选参数的顺序子参数同时映射到欧氏距离空间，得到第一低维顺序子参数和第二低维顺序子参数；
对所述第一低维顺序子参数和所述第一候选参数的层数子参数进行标准化，得到第一标准化候选参数集；对所述第二低维顺序子参数和所述第二候选参数的层数子参数进行标准化，得到第二标准化候选参数集；
根据所述第一标准化候选参数集和第二标准化候选参数集确定高斯过程的协方差矩阵。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述协方差矩阵的元素为所述高斯过程的核函数的值，所述核函数的值的计算方式为：
Figure 515780DEST_PATH_IMAGE001
，
其中，a，b为第一标准化候选参数或第二标准化候选参数，δ表示自由参数。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述均值函数的计算方式为：
Figure 3131DEST_PATH_IMAGE002
；
所述标准差的计算方式为：
Figure 397204DEST_PATH_IMAGE003
；
其中，c表示第一标准化候选参数，c'表示第二标准化候选参数，
Figure 965719DEST_PATH_IMAGE004
和
Figure 761637DEST_PATH_IMAGE005
表 示第一标准化候选参数集
Figure 639463DEST_PATH_IMAGE006
与第二标准化候选参数集
Figure 520831DEST_PATH_IMAGE007
的协方差矩阵，
Figure 125994DEST_PATH_IMAGE008
和
Figure 41997DEST_PATH_IMAGE005
互 为转置矩阵，
Figure 966091DEST_PATH_IMAGE009
是第一标准化候选参数集
Figure 724968DEST_PATH_IMAGE006
的协方差矩阵，
Figure 759921DEST_PATH_IMAGE010
是第二标准化候选参 数集
Figure 530430DEST_PATH_IMAGE007
的协方差矩阵，
Figure 500792DEST_PATH_IMAGE011
是第一标准化候选参数对应的误差值。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述根据所述均值、所述标准差以及所述当前最小误差值，确定目标参数的步骤包括：
根据所述均值函数、所述标准差以及所述当前最小误差值，得到各个第二候选参数的期望值；
将最大期望值对应的第二候选参数作为参考目标参数；
基于所述训练数据集和所述验证数据集，对所述参考目标参数进行误差评估，根据所述参考目标参数的误差值与所述当前最小误差值，更新当前最小误差值，并将更新的最小误差值对应的候选参数作为目标参数。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述期望值的计算公式为：
Figure 622331DEST_PATH_IMAGE013
，
其中，
Figure 320029DEST_PATH_IMAGE014
表示标准正态分布的累积分布函数，
Figure 945045DEST_PATH_IMAGE015
表示标准正态分布的概率 密度函数，
Figure 476521DEST_PATH_IMAGE016
表示第二标准化候选参数对应的均值，
Figure 928100DEST_PATH_IMAGE017
表示当前最小误差值，
Figure 836013DEST_PATH_IMAGE018
表示第二标准化候选参数对应的标准差。
所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其中，所述候选参数集根据慢性病源域的数据确定，所述训练数据集为脑卒中的训练数据集，所述验证数据集为脑卒中的验证数据集。
有益效果：本发明通过预先对第一候选参数进行误差评估，确定最小误差值，根据已评估的第一候选参数和未评估的第二候选参数确定均值函数和标准差，再根据所述均值函数、标准差以及最小误差值确定目标参数。本发明的参数优化方法根据已评估的第一候选参数来预测下一次可能出现最优性能的参数，将所述可能出现最优性能的参数进行误差评估以确定实际性能最优的目标参数，可以更快速并准确地找到脑卒中风险预测模型的最优参数，提高风险预测模型的训练速度。
附图说明
图1为本实施例提供的一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法的流程示意图。
图2为为本实施例提供的一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法的迁移结构图。
具体实施方式
本发明提供一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本实施例提供了一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，如图1所示，所述参数优化方法包括步骤：
S10、获取候选参数集、训练数据集以及验证数据集，所述候选参数集包括第一候选参数集和第二候选参数集；
S20、基于所述训练数据集和所述验证数据集，对所述第一候选参数集中第一候选参数进行误差评估，确定当前最小误差值；
S30、根据所述第一候选参数集和所述第二候选参数集确定均值函数和标准差，其中，所述第二候选参数集中的第二候选参数为未评估参数；
S40、根据所述均值函数、所述标准差以及所述当前最小误差值，确定目标参数。
具体地，如图2所示，假定慢性病源域中有n个源域S，有脑卒中目标域T ST 。为了构造 脑卒中风险预测模型M ST ，将深度神经网络的迁移参数定义为
Figure 440170DEST_PATH_IMAGE019
，也就是候选参 数，所述迁移参数由多个源域之间的迁移顺序参数o与各个源域迁移的层数l确定，也就是 说，所述候选参数集中的候选参数包括顺序子参数o和层数子参数l，其中，所述顺序子参数 和层数子参数根据慢性病源域的数据确定。将顺序子参数和层数子参数分别定义为
Figure 142546DEST_PATH_IMAGE020
和
Figure 707520DEST_PATH_IMAGE021
，其中，
Figure 497752DEST_PATH_IMAGE022
，
Figure 362940DEST_PATH_IMAGE023
，n表示源域的个数，M表示构建深度神经网络的层数。同时，由于最多 有n个源域会被选择，因此i≤n，o i ≠o j 表示每个源域在每次评估中最多加入一次。举例来 说，当o i =g且l i =h时，表示第g个源域将会被选择到本次评估的第i个位置上，并且这个源域 的前h层的权重会被迁移到下一个源域的深度神经网络中。
由于在高斯建模之前需要有已评估的候选参数，因此需要对若干个候选参数进行误差评估，以得到已评估的候选参数集。将候选参数集分为第一候选参数集和第二候选参数集，对所述第一候选参数集进行评估，得到已评估参数集，也就是说，第一候选参数集为已评估参数集，第二候选参数集为未评估参数集。
进一步，所述步骤S20具体包括：
S21、针对每一个第一候选参数，通过所述第一候选参数的第一顺序子参数和第一层数子参数构建预设深度神经网络模型；
S22、基于所述训练数据集和所述验证数据集对所述预设深度神经网络模型进行训练，得到所述第一候选参数对应的误差值；
S23、将所有第一候选参数对应的误差值中的最小的误差值作为当前最小误差值。
具体地，对于每一个第一候选参数，通过将第一候选参数的第一顺序子参数和第一层数子参数配置于原始深度神经网络，得到预设深度神经网络模型，基于训练数据集和验证数据集，对所述预设神经网络进行训练，以训练过程中第一候选参数在验证集上的验证误差值作为评估标准，将最小验证误差值作为当前最小误差值，所述最小误差值对应的候选参数就是当前性能最好的参数，其中，所述训练数据集为脑卒中的训练数据集，所述验证数据集为脑卒中的验证数据集。
所述目标函数
Figure 95273DEST_PATH_IMAGE024
由高斯过程（GP）建模。所述步骤S30具体包括：
S31根据第一候选参数集和第二候选参数集确定高斯过程的协方差矩阵；
S32根据所述协方差矩阵和第一候选参数对应的误差值确定均值函数；
S33根据所述协方差矩阵确定标准差。
本实施例中，由于无法在非欧式距离下直接获得最终的目标参数，因此要将第一 候选参数的顺序子参数和第二候选参数的顺序子参数同时映射到欧式距离的空间中。首 先，对于任意两个顺序子参数
Figure 413122DEST_PATH_IMAGE025
与o′，计算两者的最小编辑距离。因此，给定N个顺序子参 数，可以计算一个N×N的最小编辑距离矩阵，其中，最小编辑距离矩阵的每个元素表示任以 两个顺序子参数之间的最小编辑距离。其次，采用多维尺度变换算法对所述最小编辑距离 矩阵进行降维，如降到K维，其中，最小编辑距离矩阵中的每个K维向量表示欧式距离的空间 中的低维顺序子参数，对应于第一候选参数和第二候选参数，也就得到了第一低维顺序子 参数和第二低维顺序子参数。
定义目标函数
Figure 131679DEST_PATH_IMAGE024
的输出为候选参数在验证集上的验证误差，首先将第一候选 参数集中的第一低维顺序子参数和层数子参数，以及第二候选参数集中的第二低维顺序子 参数和层数子参数分别标准化为0~1之间的数，得到与第一候选参数集对应的第一标准化 候选参数集和与第二候选参数集对应第二标准化候选参数集，定义每个标准化候选参数为
Figure 225275DEST_PATH_IMAGE026
，其中k表示源域的个数，
Figure 3875DEST_PATH_IMAGE027
表示顺序子参数。因此，评估到的当前最好 的参数，也就是当前最小误差值对应的候选参数可以表示为：
Figure 809020DEST_PATH_IMAGE028
其中，
Figure 455902DEST_PATH_IMAGE029
表示标准化参数c经过训练数据集
Figure 764523DEST_PATH_IMAGE030
和验证数据集
Figure 854970DEST_PATH_IMAGE031
评 估后的误差值，最小误差值表示为f(c*)，其中c*表示与
Figure 616253DEST_PATH_IMAGE032
*对应的标准化候选参数。
高斯过程由均值函数和核函数完全唯一确定。均值函数为0，核函数采用高斯核函数进行计算，所述核函数的值作为高斯过程的协方差矩阵的元素，从而确定协方差矩阵，同时结合第一候选参数对应的误差值，确定均值函数和标准差。所述核函数的值的计算方式为：
Figure 207771DEST_PATH_IMAGE033
，
其中，a，b为第一标准化候选参数或第二标准化候选参数，δ表示自由参数。
定义第一标准化候选参数集为
Figure 761112DEST_PATH_IMAGE034
，第二候标准化选参数集 为
Figure 881515DEST_PATH_IMAGE035
，协方差矩阵包括第一标准化候选参数集
Figure 661252DEST_PATH_IMAGE036
与第二标准化候 选参数集
Figure 899204DEST_PATH_IMAGE037
的协方差矩阵
Figure 182418DEST_PATH_IMAGE038
、
Figure 863935DEST_PATH_IMAGE039
，第一标准化候选参数集
Figure 599810DEST_PATH_IMAGE036
的协方差矩阵
Figure 267552DEST_PATH_IMAGE040
以及 第二标准化候选参数集
Figure 546218DEST_PATH_IMAGE037
的协方差矩阵
Figure 274002DEST_PATH_IMAGE041
。
Figure 497173DEST_PATH_IMAGE038
中的每一个元素是核函数值
Figure 93240DEST_PATH_IMAGE042
，
Figure 351046DEST_PATH_IMAGE039
中的每一个元素是核函数值
Figure 358054DEST_PATH_IMAGE043
，
Figure 334100DEST_PATH_IMAGE040
中的每一个元素是核函数 值
Figure 343644DEST_PATH_IMAGE044
，
Figure 580590DEST_PATH_IMAGE041
中的每一个元素是核函数值
Figure 650178DEST_PATH_IMAGE045
，其中，
Figure 457728DEST_PATH_IMAGE046
，
Figure 270963DEST_PATH_IMAGE047
，
Figure 503361DEST_PATH_IMAGE038
和
Figure 602904DEST_PATH_IMAGE039
互为转置矩阵。因此给定未评估的第二标准化候选参 数集
Figure 553543DEST_PATH_IMAGE037
，根据已评估的第一标准化候选参数集
Figure 278791DEST_PATH_IMAGE048
的实际误差分布
Figure 365696DEST_PATH_IMAGE049
，得到第二标准化候选 参数集
Figure 511506DEST_PATH_IMAGE037
对应的预测误差分布
Figure 808495DEST_PATH_IMAGE050
，这个高斯过程表示为：
Figure 963533DEST_PATH_IMAGE051
因此，根据第二标准化候选参数集
Figure 904944DEST_PATH_IMAGE037
对应的预测误差分布
Figure 628181DEST_PATH_IMAGE052
，得到第二标准化 候选参数对应的预测误差分布
Figure 22253DEST_PATH_IMAGE053
，所述
Figure 840036DEST_PATH_IMAGE053
是一个均值函数为
Figure 901533DEST_PATH_IMAGE054
，标准差为
Figure 654726DEST_PATH_IMAGE055
的正态分布，其中，均值函数的计算方式为
Figure 909995DEST_PATH_IMAGE056
，其中，
Figure 672415DEST_PATH_IMAGE057
是第一标准化候选参数对应的误差值，标准差的计算方式为
Figure 322839DEST_PATH_IMAGE058
。
进一步，所述步骤S40具体包括：
S41、根据所述均值函数、所述标准差以及所述当前最小误差值，得到各个第二候选参数对应的期望值；
S42、将最大期望值对应的第二候选参数作为参考目标参数；
S43、基于所述训练数据集和所述验证数据集，对所述参考目标参数进行误差评估，根据所述参考目标参数的误差值与所述当前最小误差值，更新当前最小误差值，并将更新的最小误差值对应的候选参数作为目标参数。
具体地，为了权衡搜索空间的探索和当前有希望提升区域的利用，需要采用acquisition function（获得函数）寻找第二候选参数集中可能的性能最好的参数。采用期望提升函数作为贝叶斯优化的acquisition function，所述期望提升函数，也就是期望值的计算方式为：
Figure 637146DEST_PATH_IMAGE059
，
其中，
Figure 5810DEST_PATH_IMAGE060
表示标准正态分布的累积分布函数，
Figure 306342DEST_PATH_IMAGE061
表示标准正态分布的概率 密度函数，
Figure 686639DEST_PATH_IMAGE054
表示第二标准化候选参数对应的均值函数，
Figure 47213DEST_PATH_IMAGE062
表示当前最小误差 值，
Figure 762228DEST_PATH_IMAGE055
表示第二标准化候选参数对应的标准差。将最大期望值对应的第二标准化候选 参数作为标准化参考目标参数，其表示为：
Figure 866450DEST_PATH_IMAGE063
需要说明的是，由于第一标准化候选参数集对应于第一候选参数集，第二标准化候选参数集对应于第二候选参数集，因此上述提到的第一标准化候选参数对应的项也可以是第一候选参数对应的项，第二标准化候选参数对应的项也可以是第二候选参数对应的项。
由于
Figure 491466DEST_PATH_IMAGE064
是标准化的参考目标参数，因此要确定
Figure 131264DEST_PATH_IMAGE064
对应的实际的参考目标参数。 实际的参考目标参数的确定方式为：给定标准化的参考目标参数
Figure 474521DEST_PATH_IMAGE065
，对于顺序子参数，在标准化后的空间中采用参数
Figure 975909DEST_PATH_IMAGE066
到
Figure 721011DEST_PATH_IMAGE067
计算每一个参数与所有顺序子参数的欧式距离，其中与参数
Figure 423388DEST_PATH_IMAGE066
到
Figure 863728DEST_PATH_IMAGE068
距离最近的顺序子参 数将会被映射到原始空间，得到实际顺序子参数o′。对于层数子参数，在标准化后的空间中 采用参数
Figure 309753DEST_PATH_IMAGE069
到
Figure 909361DEST_PATH_IMAGE070
计算每一个参数与所有层数子参数的欧式距离，其中与参数
Figure 907273DEST_PATH_IMAGE069
到
Figure 693964DEST_PATH_IMAGE071
距离最近的层数子参数将会被映射到原始空间，得到实际层数子参数l′， 将最终得到实际的参考目标参数
Figure 943679DEST_PATH_IMAGE072
作为参考目标参数。
基于所述训练数据集和所述验证数据集，对所述参考目标参数进行误差评估，将所述参考目标参数的误差值与所述当前最小误差值进行比较，取两者中较小的误差值作为最小误差值，更新当前最小误差值，并将更新的最小误差值对应的候选参数作为目标参数。
在一种实现方式中，可以通过迭代的方式找到性能更好的目标参数。具体地，在步骤执行前预设迭代次数，将在上一次迭代过程中找到的目标参数对应的误差值作为下一次迭代过程的当前最小误差值，并将所述标准化参考目标参数从第二标准化候选参数集转移至第一标准化候选参数集，将更新后的第一标准化候选参数集和第二标准化候选参数集作为下一次迭代过程的第一候选参数集和第二候选参数集，并继续执行根据所述第一标准化候选参数集和第二准化候选参数集确定高斯过程的协方差矩阵，直至执行完成预设迭代次数。将最终更新的最小误差值对应的候选参数确定为目标参数。
综上所述，本发明通过预先对第一候选参数进行误差评估，确定最小误差值，根据已评估的第一候选参数和未评估的第二候选参数确定均值函数和标准差，再根据所述均值函数、标准差以及最小误差值确定目标参数。本发明的参数优化方法根据已评估的第一候选参数来预测下一次可能出现最优性能的参数，将所述可能出现最优性能的参数进行误差评估以确定实际性能最优的目标参数，可以更快速并准确地找到脑卒中风险预测模型的最优参数，提高风险预测模型的训练速度。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，包括步骤：
获取候选参数集、训练数据集以及验证数据集，所述候选参数集包括第一候选参数集和第二候选参数集；
基于所述训练数据集和所述验证数据集，对所述第一候选参数集中第一候选参数进行误差评估，确定当前最小误差值；
根据所述第一候选参数集和所述第二候选参数集确定均值函数和标准差，其中，所述第二候选参数集中的第二候选参数为未评估参数；
根据所述均值函数、所述标准差以及所述当前最小误差值，确定目标参数；
所述候选参数集中，每个候选参数为顺序子参数和层数子参数；
所述根据所述第一候选参数集和所述第二候选参数集确定均值函数和标准差的步骤包括：
将第一候选参数的顺序子参数和第二候选参数的顺序子参数同时映射到欧氏距离空间，得到第一低维顺序子参数和第二低维顺序子参数；
对所述第一低维顺序子参数和所述第一候选参数的层数子参数进行标准化为0~1之间的数，得到第一标准化候选参数集；对所述第二低维顺序子参数和所述第二候选参数的层数子参数进行标准化为0~1之间的数，得到第二标准化候选参数集；
根据所述第一标准化候选参数集和第二标准化候选参数集确定高斯过程的协方差矩阵；
根据所述协方差矩阵和第一候选参数对应的误差值确定均值函数；
根据所述协方差矩阵确定标准差；
所述将第一候选参数的顺序子参数和第二候选参数的顺序子参数同时映射到欧氏距离空间，得到第一低维顺序子参数和第二低维顺序子参数包括：
计算任意两个顺序子参数的最小编辑距离，构建N×N的最小编辑距离矩阵，其中N为所有顺序子参数的数量；
采用多维尺度变换算法将所述最小编辑距离矩阵降到K维，将降维后的最小编辑距离矩阵中的每个K维向量作为欧式距离的空间中的低维顺序子参数，得到第一低维顺序子参数和第二低维顺序子参数。
2.根据权利要求1所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述基于所述训练数据集和所述验证数据集，对所述第一候选参数集中第一候选参数进行误差评估，确定当前最小误差值的步骤包括：
针对每一个第一候选参数，通过所述第一候选参数的第一顺序子参数和第一层数子参数构建预设深度神经网络模型；
基于所述训练数据集和验证数据集对所述预设深度神经网络模型进行训练，得到所述第一候选参数对应的误差值；
将所有第一候选参数对应的误差值中的最小的误差值作为当前最小误差值。
3.根据权利要求1所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述协方差矩阵的元素为所述高斯过程的核函数的值，所述核函数的值的计算方式为：
Figure DEST_PATH_IMAGE002
，
其中，a，b为第一标准化候选参数或第二标准化候选参数，δ表示自由参数。
4.根据权利要求3所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述均值函数的计算方式为：
Figure DEST_PATH_IMAGE004
；
所述标准差的计算方式为：
Figure DEST_PATH_IMAGE006
；
其中，c表示第一标准化候选参数，c'表示第二标准化候选参数，
Figure DEST_PATH_IMAGE008
和
Figure DEST_PATH_IMAGE010
表示第一候标准化选参数集
Figure DEST_PATH_IMAGE012
与第二标准化候选参数集
Figure DEST_PATH_IMAGE014
的协方差矩阵，
Figure 344494DEST_PATH_IMAGE008
和
Figure 730476DEST_PATH_IMAGE010
互为转置矩阵，
Figure DEST_PATH_IMAGE016
是第一标准化候选参数集
Figure 572530DEST_PATH_IMAGE012
的协方差矩阵，
Figure DEST_PATH_IMAGE018
是第二标准化候选参数集
Figure 301495DEST_PATH_IMAGE014
的协方差矩阵，
Figure DEST_PATH_IMAGE020
是第一标准化候选参数对应的误差值。
5.根据权利要求4所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述根据所述均值、所述标准差以及所述当前最小误差值，确定目标参数的步骤包括：
根据所述均值函数、所述标准差以及所述当前最小误差值，得到各个第二候选参数对应的期望值；
将最大期望值对应的第二候选参数作为参考目标参数；
基于所述训练数据集和所述验证数据集，对所述参考目标参数进行误差评估，根据所述参考目标参数的误差值与所述当前最小误差值，更新当前最小误差值，并将更新的最小误差值对应的候选参数作为目标参数。
6.根据权利要求5所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述期望值的计算公式为：
Figure DEST_PATH_IMAGE022
，
其中，
Figure DEST_PATH_IMAGE024
表示标准正态分布的累积分布函数，
Figure DEST_PATH_IMAGE026
表示标准正态分布的概率密度函数，
Figure DEST_PATH_IMAGE028
表示第二标准化候选参数对应的均值，
Figure DEST_PATH_IMAGE030
表示当前最小误差值，
Figure DEST_PATH_IMAGE032
表示第二标准化候选参数对应的标准差。
7.根据权利要求1-6任一所述的基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法，其特征在于，所述候选参数集根据慢性病源域的数据确定，所述训练数据集为脑卒中的训练数据集，所述验证数据集为脑卒中的验证数据集。
CN202011135298.9A 2020-10-22 2020-10-22 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法 Active CN111968744B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011135298.9A CN111968744B (zh) 2020-10-22 2020-10-22 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法
PCT/CN2020/140897 WO2022083002A1 (zh) 2020-10-22 2020-12-29 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011135298.9A CN111968744B (zh) 2020-10-22 2020-10-22 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法

Publications (2)

Publication Number Publication Date
CN111968744A CN111968744A (zh) 2020-11-20
CN111968744B true CN111968744B (zh) 2021-02-19

Family

ID=73387661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011135298.9A Active CN111968744B (zh) 2020-10-22 2020-10-22 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法

Country Status (2)

Country Link
CN (1) CN111968744B (zh)
WO (1) WO2022083002A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111968744B (zh) * 2020-10-22 2021-02-19 深圳大学 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法
CN114994651B (zh) * 2022-05-18 2024-02-06 电子科技大学 一种存在通道幅相误差的双基地互质mimo雷达目标定位方法
CN117174313B (zh) * 2023-09-03 2024-05-10 南通市康复医院(南通市第二人民医院) 一种脑出血患者神经功能预后预测模型的建立方法及系统
CN117747104A (zh) * 2023-12-20 2024-03-22 三亚学院 一种基于大数据的脑卒中数字智能化预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427845A (zh) * 2018-03-16 2018-08-21 中南大学 一种铅锌矿采矿过程碳排放短期预测方法
CN109864745A (zh) * 2019-01-08 2019-06-11 国家康复辅具研究中心 一种新型的脑卒中风险评估方法与系统
CN110363286A (zh) * 2019-06-27 2019-10-22 腾讯科技（深圳）有限公司 神经网络模型的生成方法及装置
US10671884B2 (en) * 2018-07-06 2020-06-02 Capital One Services, Llc Systems and methods to improve data clustering using a meta-clustering model

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596475B2 (en) * 2004-12-06 2009-09-29 Microsoft Corporation Efficient gradient computation for conditional Gaussian graphical models
CN108804423B (zh) * 2018-05-30 2023-09-08 深圳平安医疗健康科技服务有限公司 医疗文本特征提取与自动匹配方法和系统
CN111430029B (zh) * 2020-03-24 2021-04-16 浙江达美生物技术有限公司 基于人工智能的多维度脑卒中预防筛查方法
CN111968744B (zh) * 2020-10-22 2021-02-19 深圳大学 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427845A (zh) * 2018-03-16 2018-08-21 中南大学 一种铅锌矿采矿过程碳排放短期预测方法
US10671884B2 (en) * 2018-07-06 2020-06-02 Capital One Services, Llc Systems and methods to improve data clustering using a meta-clustering model
CN109864745A (zh) * 2019-01-08 2019-06-11 国家康复辅具研究中心 一种新型的脑卒中风险评估方法与系统
CN110363286A (zh) * 2019-06-27 2019-10-22 腾讯科技（深圳）有限公司 神经网络模型的生成方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Optimizing Neural Network Hyperparameters with Gaussian Processes for Dialog Act Classification;Franck Dernoncourt,et al;《IEEE SLT 2016》;20160927;第1-8页 *
基于集成知识蒸馏的肺病分析;李坚强等;《控制理论与应用》;20200927;第37卷;第1-8页 *
贝叶斯优;馒头and花卷;《https://www.cnblogs.com/MTandHJ/p/10526055.html 20190313》;20190313;第1-43页 *

Also Published As

Publication number Publication date
CN111968744A (zh) 2020-11-20
WO2022083002A1 (zh) 2022-04-28

Similar Documents

Publication Publication Date Title
CN111968744B (zh) 基于贝叶斯优化的脑卒中与慢性病模型的参数优化方法
JP6794593B2 (ja) 多階層ニューラルネットワークモデルを最適化して適用する方法及び装置、及び記憶媒体
WO2021007812A1 (zh) 一种深度神经网络超参数优化方法、电子设备及存储介质
WO2022033072A1 (zh) 一种面向知识图谱表示学习训练的局部训练方法
WO2023217290A1 (zh) 基于图神经网络的基因表型预测
US20210133378A1 (en) Methods and systems for the estimation of the computational cost of simulation
WO2022105108A1 (zh) 一种网络数据分类方法、装置、设备及可读存储介质
JP6950756B2 (ja) ニューラルネットワークのランク最適化装置および最適化方法
CN112966114A (zh) 基于对称图卷积神经网络的文献分类方法和装置
CN108877947B (zh) 基于迭代均值聚类的深度样本学习方法
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN116741397B (zh) 基于多组学数据融合的癌症分型方法、系统及存储介质
WO2022028004A1 (zh) 面向铜锍吹炼过程的操作模式多层分级匹配优化方法
US11847389B2 (en) Device and method for optimizing an input parameter in a processing of a semiconductor
CN114168318A (zh) 存储释放模型的训练方法、存储释放方法及设备
KR102507014B1 (ko) 에너지 보존을 통한 심층 신경망 경량화 기법 및 장치
CN117710385B (zh) 基于层次化多轮驱动模糊聚类的图像分割方法及系统
WO2024078299A1 (zh) 发明名称：特征提取模型处理及特征提取方法、装置和计算机设备
US20240078361A1 (en) Method and apparatus with circuit design parameter generation
CN117253238B (zh) 训练样本的确定、神经网络训练、版图优化方法及装置
CN113506593B (zh) 一种面向大规模基因调控网络的智能推断方法
WO2022190301A1 (ja) 学習装置、学習方法、及びコンピュータ可読媒体
Pollard et al. Supervised distance matrices
CN114898169A (zh) 一种基于深度学习的光刻opc数据库建立方法
Sun et al. Deep Neural Architecture Pruning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Li Jianqiang

Inventor after: Chen Jie

Inventor after: Chen Yingru

Inventor before: Chen Jie

Inventor before: Chen Yingru

Inventor before: Li Jianqiang

GR01 Patent grant
GR01 Patent grant