CN113723518B - 基于迁移学习的任务分级部署方法、装置及计算机设备 - Google Patents
基于迁移学习的任务分级部署方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN113723518B CN113723518B CN202111015955.0A CN202111015955A CN113723518B CN 113723518 B CN113723518 B CN 113723518B CN 202111015955 A CN202111015955 A CN 202111015955A CN 113723518 B CN113723518 B CN 113723518B
- Authority
- CN
- China
- Prior art keywords
- sample data
- task
- model
- disease
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013526 transfer learning Methods 0.000 title claims abstract description 34
- 201000010099 disease Diseases 0.000 claims abstract description 172
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 172
- 238000011156 evaluation Methods 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000004364 calculation method Methods 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 17
- 238000012417 linear regression Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 238000007635 classification algorithm Methods 0.000 claims description 5
- 238000011161 development Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 17
- 238000010276 construction Methods 0.000 description 10
- 238000013508 migration Methods 0.000 description 10
- 230000005012 migration Effects 0.000 description 10
- 230000018109 developmental process Effects 0.000 description 8
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 241000711573 Coronaviridae Species 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 206010022000 influenza Diseases 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 208000017667 Chronic Disease Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002565 electrocardiography Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 210000002216 heart Anatomy 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000033772 system development Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请公开了一种基于迁移学习的任务分级部署方法、装置及计算机设备,可解决系统任务分级部署开发成本高、效率低的技术问题。包括:获取与系统任务匹配的样本数据,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据;在源域中根据第一样本数据创建并训练第一任务模型;利用变分自编码器对第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及第一任务模型,在目标域中部署生成第二任务模型,第二任务模型与第一任务模型的模型部署类型相同;按照预设评估规则计算第一任务模型和第二任务模型的分级部署评估分值,并在分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
Description
技术领域
本申请涉及人工智能技术领域,尤其涉及到一种基于迁移学习的任务分级部署方法、装置及计算机设备。
背景技术
在计算机领域中,系统开发部署往往是有针对性的,往往局限在相同业务场景下进行部署。然而在许多业务场景中,业务方常常有分级部署使用的需求,比如省级的社会重大安全事件预警系统,有下沉到地市使用的需求,此时需要在省级和地市实现针对同一预警系统任务的分级部署。
在系统的开发应用场景中,系统任务的分级部署存在两大难点:一是不同级别系统涉及的业务需求可能存在差异,二是不同级别系统对接的数据可能存在差异。在这种情况下,往往现实中会采用地市单独重新开发部署预警系统的方式,进而导致系统任务分级部署的开发成本较高、部署效率较低,且不同级别系统的关联性较差。
发明内容
有鉴于此,本申请提供了一种基于迁移学习的任务分级部署方法、装置及计算机设备,可用于解决目前已有的系统任务分级部署方式,导致系统任务分级部署的开发成本高、部署效率低,且不同级别系统的关联性差的技术问题。
根据本申请的一个方面,提供了一种基于迁移学习的任务分级部署方法,该方法包括:
获取与系统任务匹配的样本数据,其中,所述样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,所述源域的任务级别大于所述目标域,所述第一样本数据的特征维度大于所述第二样本数据的特征维度;
在所述源域中根据所述第一样本数据创建并训练第一任务模型;
利用变分自编码器对所述第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及所述第一任务模型,在所述目标域中部署生成第二任务模型,其中,所述第二任务模型与所述第一任务模型的模型部署类型相同;
按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并在所述分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
根据本申请的另一个方面,提供了一种基于迁移学习的任务分级部署装置,该装置包括:
获取模块,用于获取与系统任务匹配的样本数据,其中,所述样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,所述源域的任务级别大于所述目标域,所述第一样本数据的特征维度大于所述第二样本数据的特征维度;
训练模块,用于在所述源域中根据所述第一样本数据创建并训练第一任务模型;
生成模块,用于利用变分自编码器对所述第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及所述第一任务模型,在所述目标域中部署生成第二任务模型,其中,所述第二任务模型与所述第一任务模型的模型部署类型相同;
计算模块,用于按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并在所述分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
根据本申请的又一个方面,提供了一种存储介质,其上存储有计算机程序,所述程序被处理器执行时实现上述基于迁移学习的任务分级部署方法。
根据本申请的再一个方面,提供了一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述基于迁移学习的任务分级部署方法。
借由上述技术方案,本申请提供的一种基于迁移学习的任务分级部署方法、装置及计算机设备,与目前系统任务分级部署的方式相比,本申请可预先基于第一样本数据在任务级别最高的源域中创建并训练第一任务模型,进而可利用变分自编码器对目标域对应的第二样本数据进行特征变换处理处理,以使第二样本数据在变换域内的数据分布与第一样本数据较为接近,进而可利用变换域处理后的第二样本数据更新训练第一任务模型,得到目标域对应的第二任务模型;最后可通过按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并依据分级部署评估分值判断疾病预警系统是否完成任务分级部署,进而可保证不同级别系统的关联性和统一性。在本申请中,可应用于迁移学习技术,通过在源域进行一次源域模型的构建,在目标域中可直接基于源域模型的模型构建知识,自动进行相同系统任务下的目标域模型部署,可简化系统任务的分级部署流程,进而能够降低开发成本、提高部署效率。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本地申请的不当限定。在附图中:
图1示出了本申请实施例提供的一种基于迁移学习的任务分级部署方法的流程示意图;
图2示出了本申请实施例提供的另一种基于迁移学习的任务分级部署方法的流程示意图;
图3示出了本申请实施例提供的一种基于迁移学习的任务分级部署装置的结构示意图;
图4示出了本申请实施例提供的另一种基于迁移学习的任务分级部署装置的结构示意图。
具体实施方式
本申请实施例可以基于人工智能技术实现对慢病随访的智能化监管。其中,人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
对于本申请实施例,可应用于迁移学习技术,实现对系统的任务分级部署。迁移学习(transfer learning)是机器学习中的一大类学习方法,通俗来讲,就是运用已有的知识来学习新的知识,核心是找到已有知识和新知识之间的相似性,用成语来说就是举一反三。由于直接对目标域从头开始学习成本太高,我们故而转向运用已有的相关知识来辅助尽快地学习新知识。具体地,在迁移学习中,已有的知识叫做源域(source domain),要学习的新知识叫目标域(target domain)。迁移学习研究如何把源域的知识迁移到目标域上。特别地,在机器学习领域中,迁移学习研究如何将已有模型应用到新的不同的、但是有一定关联的领域中。在本申请中,可利用迁移学习,在系统级别较高的部署任务完成后,通过将系统级别较高的任务部署知识迁移到同系统下系统级别较低的任务部署中。
下文将参考附图并结合实施例来详细说明本申请。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合。
针对目前已有的系统任务分级部署方式,导致系统任务分级部署的开发成本高、部署效率低,且不同级别系统的关联性差的技术问题,本申请提供了一种基于迁移学习的任务分级部署方法,如图1所示,该方法包括:
101、获取与系统任务匹配的样本数据,其中,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,源域的任务级别大于目标域,第一样本数据的特征维度大于第二样本数据的特征维度。
在一种可能的实现方式中,样本数据可为医疗数据,如个人健康档案、处方、检查报告等数据。根据系统任务的不同,医疗数据可分为医疗文本数据和/或医疗影像数据,医疗文本数据可以是医疗电子记录(Electronic Healthcare Record),电子化的个人健康记录,包括病历、心电图、医学影像等一系列具备保存备查价值的电子化记录,医疗影像数据包含的对象所属类型为病灶,即机体上发生病变的部分。医学影像是指为了医疗或医学研究,以非侵入方式取得的内部组织,例如,胃部、腹部、心脏、膝盖、脑部的影像,比如,CT(Computed Tomography,电子计算机断层扫描)、MRI(Magnetic Resonance Imaging,磁共振成像)、US(ultrasonic,超声)、X光图像、脑电图以及光学摄影灯由医学仪器生成的图像。在本申请中,可通过根据与系统任务匹配的医疗数据,并应用于迁移学习技术,实现对医疗系统的任务分级部署。
对于本实施例,对于具体的系统分级部署场景,可包括一个源域,以及一个或多个从属于源域的较低级别的目标域。本申请的目的在于利用源域中的任务部署,高效实现对目标域中的任务部署,进而简化系统分级部署流程,提高部署效率,减低部署成本,同时保证不同级别任务部署的关联性以及统一性。如,在许多业务场景中,业务方常常有分级部署使用的需求,比如省级的疾病预警系统,有下沉到地市使用的需求,此时源域可以为省级疾病预警系统,目标域可以为地市疾病预警系统,在源域对应的省级疾病预警系统完成后,目标域可通过迁移学习技术,将省级疾病预警系统的模型构建知识应用于地市疾病预警系统模型的快速构建中。
对于本实施例,具体在确定出系统任务后,可进一步依据系统任务匹配对应的样本数据,其中,系统任务可对应待部署的任务类型,样本数据具体可为配置有相关任务标签的训练数据,以便利用样本数据实现对系统任务下相关任务模型的有监督训练。对于本实施,系统任务可适用于疾病预警任务,相应的,第一样本数据可为较高层级下疾病预警系统相关的标签数据,如可包括疾病的历史发病率、地理信息、以及疾病相关的影响因素,比如温度、湿度、病媒密度等多个特征维度,第二样本数据可为较低层级下疾病预警系统相关的标签数据。根据系统分级任务的部署要求,鉴于最高层级下的系统处理权限往往高于较低层级下的系统处理权限,故第一样本数据的特征维度往往大于第二样本数据的特征维度,相应的也会造成数据分布的差异。第一样本数据和第二样本数据可根据实际分级化应用需求进行数据维度的差异化设定。需要说明的,本申请中的任务分级部署方式还可应用于其他预警类或非预警类系统任务的分级部署中,如安全预警系统的任务分级部署、自然灾害预警系统的任务分级部署、平台搭建系统的任务分级部署等,在此不再穷举。在本方案的下述实施例中,以疾病预警系统分级部署为例进行说明。
对于本申请的执行主体可为用于进行系统任务分级部署的装置,可配置在客户端侧或服务端侧,可在源域中根据第一样本数据创建并训练第一任务模型,进而利用变分自编码器对第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及第一任务模型,在目标域中部署生成第二任务模型。此外,还可通过计算第一任务模型和第二任务模型的分级部署评估分值,判断是否完成疾病预警系统的任务分级部署。
102、在源域中根据第一样本数据创建并训练第一任务模型。
对于本实施例,可针对源域中的系统任务选择合适的方法进行建模,针对不同业务可能有不同的建模方式,在本实施例中以疾病预警系统分级部署为例,针对预警任务可以采用分类算法创建第一疾病预警模型,还可以采用时间序列回归算法创建第一疾病预测模型。其中,第一疾病预警模型可用于对某一疾病或某一类型疾病进行分析预警,如流感预警、新型冠状病毒肺炎预警等;第一疾病预测模型可用于对未来预设时间段内(如未来一周)的疾病发病率进行预测,如未来一周的流感发病率、新型冠状病毒肺炎感染率等。对于本实施例,为实现对疾病预警任务的分级部署,可通过在源域中创建第一疾病预警模型和第一疾病预测模型中的至少一个模型,且在第二任务模型中部署与第一任务模型的模型类型相同的第二疾病预警模型和/或第二疾病预测模型,即当在源域中部署第一疾病预警模型时,同样在目标域中部署第二疾病预警模型;当在源域中部署第一疾病预测模型时,同样在目标域中部署第二疾病预测模型;当在源域中同时部署第一疾病预警模型和第一疾病预测模型时,在目标域中也同时部署第二疾病预警模型和第二疾病预测模型。其中,具体部署方式取决于实际应用需求,在此不进行具体的限定。
103、利用变分自编码器对第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及第一任务模型,在目标域中部署生成第二任务模型,其中,第二任务模型与第一任务模型的模型部署类型相同。
对于本申请中,可应用于迁移学习技术,迁移学习按照学习方式可以分为基于样本的迁移,基于特征的迁移,基于模型的迁移,以及基于关系的迁移。对于本申请,可应用基于特征的迁移,即通过将源域和目标域映射到相同的空间(或者将其中之一映射到另一个的空间中)并最小化源域和目标域的数据分布距离来完成知识迁移。
对于本实施例,可借鉴于变分自编码器的原理,对第二样本数据进行特征变换处理,得到与第一样本数据的数据分布较为相近的编码隐向量。此时,由于第二样本数据变换处理后的编码隐向量与第一样本数据的数据分布比较接近,故基于第一样本数据训练得到的第一任务模型的构建知识,可直接应用于目标域中第二任务模型的构建中,具体可应用于第一任务模型的构建知识,将第一任务模型作为目标域中任务模型构建的起点,利用变换域下的编码隐向量训练得到目标域中的第二任务模型,进而可节省重新开发任务模型计算量和时间成本。
例如,源域对应第一样本数据的数据分布为以16个数据维度进行均匀分布的数据矩阵,目标域对应第二样本数据的数据分布为14个数据维度的散列分布数据。对于本实施例,可以第一样本数据的数据分布作为监督信号,对第二样本数据的数据分布进行特征变换处理,使其变换为14个数据维度下数据矩阵或16个数据维度下数据矩阵对应的编码隐变量,且保证变换后的编码隐变量的数据分布与第一样本数据的数据分布较为接近,此时编码隐变量可同样适用于源域中的第一任务模型的构建知识,即可通过模型构建知识的迁移,进一步实现对目标域中第二任务模型的构建。
104、按照预设评估规则计算第一任务模型和第二任务模型的分级部署评估分值,并在分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
对于本实施例,在构建得到第一任务模型和第二任务模型后,可进一步按照预设评估规则计算第一任务模型和第二任务模型的分级部署评估分值,并利用分级部署评估分值来判定是否完成疾病预警系统的任务分级部署,以保证任务分级部署的准确性以及可行性。
其中,预设评估规则具体可为按照第一评价指标、第二评价指标、第三评价指标三个维度综合计算分级部署评估分值,其中第一评价指标是第一样本数据与第二样本数据的特征匹配程度,第二评价指标是源域中第一任务模型的模型评价指标(可以为准确率、AUC等),第三评价指标是目标域中第二任务模型的模型评价指标(同样也可以为准确率、AUC等)。
通过本实施例中基于迁移学习的任务分级部署方法,可预先基于第一样本数据在任务级别最高的源域中创建并训练第一任务模型,进而可利用变分自编码器对目标域对应的第二样本数据进行特征变换处理处理,以使第二样本数据在变换域内的数据分布与第一样本数据较为接近,进而可利用变换域处理后的第二样本数据更新训练第一任务模型,得到目标域对应的第二任务模型;最后可通过按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并依据分级部署评估分值判断疾病预警系统是否完成任务分级部署,进而可保证不同级别系统的关联性和统一性。在本申请中,可应用于迁移学习技术,通过在源域进行一次源域模型的构建,在目标域中可直接基于源域模型的模型构建知识,自动进行相同系统任务下的目标域模型部署,可简化系统任务的分级部署流程,进而能够降低开发成本、提高部署效率。
进一步的,作为上述实施例具体实施方式的细化和扩展,为了完整说明本实施例中的具体实施过程,提供了另一种基于迁移学习的任务分级部署方法,如图2所示,该方法包括:
201、获取与系统任务匹配的样本数据,其中,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,源域的任务级别大于目标域,第一样本数据的特征维度大于第二样本数据的特征维度。
对于本实施例,在获取与系统任务匹配的样本数据时,具体可基于系统任务对应的任务属性标识,在预设样本数据列表中提取与系统任务匹配的样本数据,其中,预设样本数据列表中预先存储有与不同任务属性标识匹配的样本数据,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,源域的任务级别大于目标域,第一样本数据的特征维度大于第二样本数据的特征维度。为保证样本数据的隐私性和安全性,可将预设样本数据列表存储在区块链的节点,此外,还可将预设样本数据列表存储于其他任何存储设备对应的存储节点中,在此针对存储方式不进行具体的限定。
202、在源域中根据第一样本数据创建并训练第一任务模型。
对于本实施例,第一任务模型可包括第一疾病预警模型,在源域中根据第一样本数据创建并训练第一疾病预警模型时,可首先构建由5层隐含单元的RNN网络层+1层分类层组成的第一疾病预警模型。在利用第一样本数据训练第一任务模型时,可首先对第一样本数据进行预处理,即按照最小地理单元对第一样本数据进行处理,若区域内的地理单元可以划分成n*m,每个地理单元有k个数据特征,则输入数据的格式为n*m*k的向量。数据的标签为每个地理单元的发病数是否超过阈值,其中阈值的设定需针对不同疾病设置,针对低发传染病(每年爆发少于100例)采用单病例预警,针对相对多发传染病(每年爆发大于100例)采用移动百分位超过75%作为判断标准。进一步的,可将预处理后的第一样本数据输入第一疾病预警模型中,利用第一疾病预警模型中的RNN网络层提取第一样本数据对应的特征向量,进而利用分类层基于特征向量训练输出疾病预警分类结果,利用疾病预警分类结果与第一样本数据中携带的疾病标签计算损失函数,并依据损失函数判定第一疾病预警模型是否训练完成。相应的,实施例步骤202具体可以包括:将第一样本数据输入基于分类算法创建的第一疾病预警模型中,训练输出疾病预警分类结果,第一疾病预警模型包括RNN网络层和分类层,其中,RNN网络层用于特征向量提取,分类层用于根据RNN网络层提取的特征向量输出疾病预警分类结果;判断第一疾病预警模型的损失函数是否小于第一预设阈值,若是,则判定第一疾病预警模型训练完成。
相应的,第一任务模型还可包括第一疾病预测模型,在源域中根据第一样本数据创建并训练第一疾病预测模型时,可首先构建由5层隐含单元的RNN网络层+1层线性回归层组成的第一疾病预测模型。在利用第一样本数据训练第一任务模型时,可首先对第一样本数据进行预处理,即将第一样本数据处理成一维向量,并采用滑窗的方式对第一样本数据进行切分,比如历史4周的数据作为训练数据,未来一周的疾病发病率作为预测目标。进一步的,可将切分后的训练数据输入第一疾病预测模型中,利用第一疾病预测模型中的RNN网络层提取训练数据对应的特征向量,进而利用线性回归层基于特征向量训练输出预未来一周内的疾病预测结果,并基于疾病预测结果与预测目标计算损失函数,依据损失函数判定第一疾病预测模型是否训练完成。相应的,实施例步骤202具体可以包括:将第一样本数据输入基于时间序列回归算法创建的第一疾病预测模型中,训练输出疾病预测结果,第一疾病预测模型包括RNN网络层和线性回归层,其中,RNN网络层用于特征向量提取,线性回归层用于根据RNN网络层提取的特征向量输出预设未来时间段内的疾病预测结果;判断第一疾病预测模型的损失函数是否小于第二预设阈值,若是,则判定第一疾病预测模型训练完成。
需要说明的是,对于第一任务模型,可包括第一疾病预警模型和第一疾病预测模型中的至少一种,还可包括基于其它机器学习算法训练得到的能够应用于疾病预警中的其他机器学习模型,在此不进行具体的限定。仅需要在源域中部署第一任务模型后,根据第一任务模型的模型部署类型,在目标域中同样部署相同模型部署类型下的第二任务模型。
203、将第一样本数据和第二样本数据输入变分自编码器,利用变分自编码器以第一样本数据作为监督信号,在变换域对第二样本数据进行非线性变换处理,使得第二样本数据经非线性变换处理得到的编码隐变量与第一样本数据的数据分布距离小于预设距离阈值。
其中,对于本实施例,可利用变分自编码器中的编码器模块,以第一样本数据作为监督信号,在变换域实现对第二样本数据的非线性变换处理。编码器模块的作用是将输入特征空间中的向量压缩到隐藏特征空间中得到隐藏变量。对于本实施例,可将第一样本数据和第二样本数据分别输入编码器模块,进而以第一样本数据作为监督信号,对第二样本数据进行非线性变换处理,得到与第一样本数据的数据分布距离小于第一预设阈值的编码隐变量,其中,编码隐变量不仅能够包含一些输入数据的信息(降维的作用),还可以代表一些非线性信息(隐含信息)。在计算数据分布距离时,可采用任何适用于度量的距离函数,如可包括欧几里得距离(Euclidean Distance)、曼哈顿距离(Manhattan Distance)、杰卡德距离(Jaccard Distance)、马氏距离(Mahalanobis distance)等,具体可根据实际应用场景进行选择,在此不进行具体的限定。
对于本实施,在利用变分自编码器中的编码器模块,以第一样本数据作为监督信号,在变换域对第二样本数据进行非线性变换处理,使得第二样本数据经非线性变换处理得到的编码隐变量与第一样本数据的数据分布距离小于第一预设阈值时,具体可包括:将第二样本数据输入编码器,编码器经过处理后输出中间隐层信息,即编码隐变量;将编码隐变量与第一样本数据做损失函数计算,损失函数采用交叉熵;损失函数组成了变分自编码器的最低下界,使用梯度下降法将变分自编码器的最低下界回传给编码器模块,反向回传后会更新编码器模块中神经网络的参数;进而,编码器模块利用更新过的网络参数再次进行对第二样本数据的非线性变换处理,生成调整后的编码隐变量。重复上述过程,直至当反向回传的交叉熵达到收敛状态时,判定此时生成的编码隐变量与第一样本数据的数据分布距离小于预设距离阈值。其中,预设距离阈值数值可根据实际应用需求进行设定。
其中,在将第二样本数据输入编码器模块,编码器模块经过处理后输出中间隐层信息,即编码隐变量时,具体可以包括:将第二样本数据xi输入编码器模块,得到高斯分布qΦ(z|x=xi),取这个高斯分布的峰值点zi就是降维后的数据,即编码隐变量。
204、将编码隐变量输入至第一任务模型,并利用编码隐变量将第一任务模型更新训练为第二任务模型。
对于本实施例,作为一种可选方式,鉴于第二样本数据降维处理得到的编码隐变量与第一样本数据的数据分布比较接近,故基于第一样本数据训练得到的第一任务模型可直接应用于目标域中第二任务模型的构建,由于编码隐变量对应的特征维度与第一样本数据存在差异,故可利用变换域下的编码隐向量对第一任务模型进行二次训练,得到目标域中的第二任务模型,具体训练过程可参见实施例步骤202中的相关描述,在此不再赘述。具体的,可在目标域中同步部署第一任务模型,通过将编码隐变量输入至同步部署的第一任务模型中,在第一任务模型的模型架构基础上更新训练得到第二任务模型。其中,所述第一任务模型可包括第一疾病预警模型,相应的,实施例步骤204具体可以包括:将编码隐变量输入至第一疾病预警模型,利用编码隐变量将第一疾病预警模型更新训练为第二疾病预警模型;此外,第一任务模型还可包括第一疾病预测模型,相应的,实施例步骤204具体可以包括:将编码隐变量输入至第一疾病预测模型,利用编码隐变量将第一疾病预测模型更新训练为第二疾病预测模型。
205、按照预设评估规则计算第一任务模型和第二任务模型的分级部署评估分值,并在分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
对于本实施例,实施例步骤205具体可以包括:根据第一预设计算公式计算第一样本数据和第二样本数据关于特征匹配度的第一评价指标值;利用第二预设计算公式计算第一任务模型关于模型精准度的第二评价指标值,以及利用第三预设计算公式计算第二任务模型关于模型精准度的第三评价指标值;根据第四预设计算公式并基于第一评价指标值、第二评价指标值、第三评价指标值,计算第一任务模型和第二任务模型的分级部署评估分值;将分级部署评估分值与预设评估阈值进行对比,若分级部署评估分值大于或等于预设评估阈值,则判定疾病预警系统的任务分级部署完成。
鉴于在本申请中,第一任务模型可包括第一疾病预警模型和第一疾病预测模型中的至少一种,第二任务模型与所述第一任务模型的模型部署类型相同,可包括第二疾病预警模型和第二疾病预测模型中的至少一种,故在对源域以及目标域进行建模评估时,应针对疾病预警模型和疾病预测模型分别进行评价:
作为一种可选方式,若第一任务模型包括第一疾病预警模型,第二任务模型包括第二疾病预警模型,在进行任务分级部署判定时,具体实现过程如下:
(1)计算关于第一样本数据和第二样本数据的特征匹配度的第一评价指标值:
对于本实施例,评价第一样本数据和第二样本数据在变换域的匹配程度可基于KL散度的评估法。
对于与源域(Q)中相同的目标域(P)数据项xi,源域中此数据的分布为:
对于目标域中存在,且源域中不存在的特征xj,对应的数据分布为:
进而基于第一预设计算公式计算第一样本数据和第二样本数据在变换域的匹配程度为:
(2)计算关于第一疾病预警模型的模型精准度的第二评价指标值:
采用如下第二预设计算公式对第一疾病预警模型的分类任务进行评价:
Acc_Y=(TP+TN)/(P+N),其中,P为阳性样本数,N为阴性样本数,TP为预测正确的阳性样本数,TN为预测正确的阴性样本数。
(3)计算关于第二疾病预警模型的模型精准度的第三评价指标值:
采用如下第三预设计算公式对第二疾病预警模型的分类任务进行评价:
Acc_X=(TP+TN)/(P+N),其中,P为阳性样本数,N为阴性样本数,TP为预测正确的阳性样本数,TN为预测正确的阴性样本数。
(4)采用如下第四预设计算公式并基于第一评价指标值、第二评价指标值、第三评价指标值,计算第一疾病预警模型和第二疾病预警模型的分级部署评估分值:
最终评价指标=KL*(1/2(Acc_Y+Acc_X)
具体的,可在判定分级部署评估分值大于第一预设评估阈值时,判定第一疾病预警模型和第二疾病预警模型对应的分级部署任务完成。
作为另一种可选方式,若第一任务模型包括第一疾病预测模型,第二任务模型包括第二疾病预测模型,在进行任务分级部署判定时,具体实现过程如下:
(1)计算关于第一样本数据和第二样本数据的特征匹配度的第一评价指标值:
对于本实施例,评价第一样本数据和第二样本数据在变换域的匹配程度可基于KL散度的评估法。
对于与源域(Q)中相同的目标域(P)数据项xi,源域中此数据的分布为:
对于目标域中存在,且源域中不存在的特征xj,对应的数据分布为:
进而基于第一预设计算公式计算第一样本数据和第二样本数据在变换域的匹配程度为:
(2)计算关于第一疾病预测模型的模型精准度的第二评价指标值:
采用如下第二预设计算公式对第一疾病预测模型的回归任务进行评价:
其中,m为样本数,yi为模型目标预测值,yi-pred为模型预测值。
(3)计算关于第二疾病预测模型的模型精准度的第三评价指标值:
采用如下第三预设计算公式对第二疾病预测模型的回归任务进行评价:
其中,m为样本数,xi为模型目标预测值,xi-pred为模型预测值。
(4)采用如下第四预设计算公式并基于第一评价指标值、第二评价指标值、第三评价指标值,计算第一疾病预测模型和第二疾病预测模型的分级部署评估分值:
最终评价指标=KL*(1/2(MSE_Y+MSE_X)
具体的,可在判定分级部署评估分值大于第二预设评估阈值时,判定第一疾病预测模型和第二疾病预测模型对应的分级部署任务完成。其中,第一预设评估阈值和第二预设评估阈值对应的数值可相同或不同,具体可根据实际应用场景进行设定。
借由上述基于迁移学习的任务分级部署方法,可预先基于第一样本数据在任务级别最高的源域中创建并训练第一任务模型,进而可利用变分自编码器对目标域对应的第二样本数据进行特征变换处理处理,以使第二样本数据在变换域内的数据分布与第一样本数据较为接近,进而可利用变换域处理后的第二样本数据更新训练第一任务模型,得到目标域对应的第二任务模型;最后可通过按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并依据分级部署评估分值判断疾病预警系统是否完成任务分级部署,进而可保证不同级别系统的关联性和统一性。在本申请中,可应用于迁移学习技术,通过在源域进行一次源域模型的构建,在目标域中可直接基于源域模型的模型构建知识,自动进行相同系统任务下的目标域模型部署,可简化系统任务的分级部署流程,进而能够降低开发成本、提高部署效率。
进一步的,作为图1和图2所示方法的具体实现,本申请实施例提供了一种基于迁移学习的任务分级部署装置,如图3所示,该装置包括:获取模块31、训练模块32、生成模块33、计算模块34;
获取模块31,可用于获取与系统任务匹配的样本数据,其中,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,源域的任务级别大于目标域,第一样本数据的特征维度大于第二样本数据的特征维度;
训练模块32,可用于在源域中根据第一样本数据创建并训练第一任务模型;
生成模块33,可用于利用变分自编码器对第二样本数据进行特征变换处理,并基于特征变换处理后的第二样本数据以及第一任务模型,在目标域中部署生成第二任务模型,其中,第二任务模型与第一任务模型的模型部署类型相同;
计算模块34,可用于按照预设评估规则计算第一任务模型和第二任务模型的分级部署评估分值,并在分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成。
在具体的应用场景中,如图4所示,生成模块33,具体可包括:变换单元331、生成单元332;
变换单元331,可用于将第一样本数据和第二样本数据输入变分自编码器,利用变分自编码器以第一样本数据作为监督信号,在变换域对第二样本数据进行非线性变换处理,使得第二样本数据经非线性变换处理得到的编码隐变量与第一样本数据的数据分布距离小于预设距离阈值;
生成单元332,可用于将编码隐变量输入至第一任务模型,并利用编码隐变量将第一任务模型更新训练为第二任务模型。
在具体的应用场景中,如图4所示,计算模块34,具体可包括:第一计算单元341、第二计算单元342、第三计算单元343、对比单元344;
第一计算单元341,可用于根据第一预设计算公式计算第一样本数据和第二样本数据关于特征匹配度的第一评价指标值;
第二计算单元342,可用于利用第二预设计算公式计算第一任务模型关于模型精准度的第二评价指标值,以及利用第三预设计算公式计算第二任务模型关于模型精准度的第三评价指标值;
第三计算单元343,可用于根据第四预设计算公式并基于第一评价指标值、第二评价指标值、第三评价指标值,计算第一任务模型和第二任务模型的分级部署评估分值;
对比单元344,可用于将分级部署评估分值与预设评估阈值进行对比,若分级部署评估分值大于或等于预设评估阈值,则判定疾病预警系统的任务分级部署完成。
在具体的应用场景中,获取模块31,具体可用于确定与系统任务匹配的任务属性标识,并根据任务属性标识在预设样本数据列表中提取与系统任务匹配的样本数据,其中,预设样本数据列表中预先存储有与不同任务属性标识匹配的样本数据,样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,源域的任务级别大于目标域。
在具体的应用场景中,第一任务模型可包括第一疾病预警模型,相应的,训练模块32,具体可用于将第一样本数据输入基于分类算法创建的第一疾病预警模型中,训练输出疾病预警分类结果,第一疾病预警模型包括RNN网络层和分类层,其中,RNN网络层用于特征向量提取,分类层用于根据RNN网络层提取的特征向量输出疾病预警分类结果;判断第一疾病预警模型的损失函数是否小于第一预设阈值,若是,则判定第一疾病预警模型训练完成。
在具体的应用场景中,第一任务模型可包括第一疾病预测模型,相应的,训练模块32,具体可用于将第一样本数据输入基于时间序列回归算法创建的第一疾病预测模型中,训练输出疾病预测结果,第一疾病预测模型包括RNN网络层和线性回归层,其中,RNN网络层用于特征向量提取,线性回归层用于根据RNN网络层提取的特征向量输出预设未来时间段内的疾病预测结果;判断第一疾病预测模型的损失函数是否小于第二预设阈值,若是,则判定第一疾病预测模型训练完成。
相应的,在将编码隐变量输入至第一任务模型,并利用编码隐变量将第一任务模型更新训练为第二任务模型时,生成单元332,具体可用于将编码隐变量输入至第一疾病预警模型,利用编码隐变量将第一疾病预警模型更新训练为第二疾病预警模型;和/或,将编码隐变量输入至第一疾病预测模型,利用编码隐变量将第一疾病预测模型更新训练为第二疾病预测模型。
需要说明的是,本实施例提供的一种基于迁移学习的任务分级部署装置所涉及各功能单元的其他相应描述,可以参考图1至图2的对应描述,在此不再赘述。
基于上述如图1至图2所示方法,相应的,本实施例还提供了一种存储介质,存储介质具体可为易失性或非易失性,其上存储有计算机可读指令,该可读指令被处理器执行时实现上述如图1至图2所示的基于迁移学习的任务分级部署方法。
基于这样的理解,本申请的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施场景的方法。
基于上述如图1至图2所示的方法和图3、图4所示的虚拟装置实施例,为了实现上述目的,本实施例还提供了一种计算机设备,该计算机设备包括存储介质和处理器;存储介质,用于存储计算机程序;处理器,用于执行计算机程序以实现上述如图1至图2所示的基于迁移学习的任务分级部署方法。
可选的,该计算机设备还可以包括用户接口、网络接口、摄像头、射频(RadioFrequency,RF)电路,传感器、音频电路、WI-FI模块等等。用户接口可以包括显示屏(Display)、输入单元比如键盘(Keyboard)等,可选用户接口还可以包括USB接口、读卡器接口等。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)等。
本领域技术人员可以理解,本实施例提供的一种计算机设备结构并不构成对该实体设备的限定,可以包括更多或更少的部件,或者组合某些部件,或者不同的部件布置。
存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述计算机设备硬件和软件资源的程序,支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信,以及与信息处理实体设备中其它硬件和软件之间通信。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到本申请可以借助软件加必要的通用硬件平台的方式来实现,也可以通过硬件实现。
通过应用本申请的技术方案,与目前现有技术相比,本申请可预先基于第一样本数据在任务级别最高的源域中创建并训练第一任务模型,进而可利用变分自编码器对目标域对应的第二样本数据进行特征变换处理处理,以使第二样本数据在变换域内的数据分布与第一样本数据较为接近,进而可利用变换域处理后的第二样本数据更新训练第一任务模型,得到目标域对应的第二任务模型;最后可通过按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并依据分级部署评估分值判断疾病预警系统是否完成任务分级部署,进而可保证不同级别系统的关联性和统一性。在本申请中,可应用于迁移学习技术,通过在源域进行一次源域模型的构建,在目标域中可直接基于源域模型的模型构建知识,自动进行相同系统任务下的目标域模型部署,可简化系统任务的分级部署流程,进而能够降低开发成本、提高部署效率。
本领域技术人员可以理解附图只是一个优选实施场景的示意图,附图中的模块或流程并不一定是实施本申请所必须的。本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中,也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块,也可以进一步拆分成多个子模块。
上述本申请序号仅仅为了描述,不代表实施场景的优劣。以上公开的仅为本申请的几个具体实施场景,但是,本申请并非局限于此,任何本领域的技术人员能思之的变化都应落入本申请的保护范围。
Claims (7)
1.一种基于迁移学习的任务分级部署方法,其特征在于,包括:
获取与系统任务匹配的样本数据,其中,所述样本数据为文本数据,所述样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,所述源域的任务级别大于所述目标域,所述第一样本数据的特征维度大于所述第二样本数据的特征维度;
在所述源域中根据所述第一样本数据创建并训练第一任务模型;
将所述第一样本数据和所述第二样本数据输入变分自编码器,利用所述变分自编码器以所述第一样本数据作为监督信号,在变换域对所述第二样本数据进行非线性变换处理,使得所述第二样本数据经非线性变换处理得到的编码隐变量与所述第一样本数据的数据分布距离小于预设距离阈值;将所述编码隐变量输入至所述第一任务模型,并利用所述编码隐变量将所述第一任务模型更新训练为第二任务模型,其中,所述第二任务模型与所述第一任务模型的模型部署类型相同;
按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并在所述分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成;
其中,所述第一任务模型包括第一疾病预警模型,所述在所述源域中根据所述第一样本数据创建并训练第一任务模型,包括:将所述第一样本数据输入基于分类算法创建的第一疾病预警模型中,训练输出疾病预警分类结果,所述第一疾病预警模型包括RNN网络层和分类层,其中,所述RNN网络层用于特征向量提取,所述分类层用于根据所述RNN网络层提取的特征向量输出疾病预警分类结果;判断所述第一疾病预警模型的损失函数是否小于第一预设阈值,若是,则判定所述第一疾病预警模型训练完成;或者,
所述第一任务模型包括第一疾病预测模型,所述在所述源域中根据所述第一样本数据创建并训练第一任务模型,包括:将所述第一样本数据输入基于时间序列回归算法创建的第一疾病预测模型中,训练输出疾病预测结果,所述第一疾病预测模型包括RNN网络层和线性回归层,其中,所述RNN网络层用于特征向量提取,所述线性回归层用于根据所述RNN网络层提取的特征向量输出预设未来时间段内的疾病预测结果;判断所述第一疾病预测模型的损失函数是否小于第二预设阈值,若是,则判定所述第一疾病预测模型训练完成。
2.根据权利要求1所述的方法,其特征在于,所述按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并在所述分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成,包括:
根据第一预设计算公式计算所述第一样本数据和所述第二样本数据关于特征匹配度的第一评价指标值;
利用第二预设计算公式计算所述第一任务模型关于模型精准度的第二评价指标值,以及利用第三预设计算公式计算所述第二任务模型关于模型精准度的第三评价指标值;
根据第四预设计算公式并基于所述第一评价指标值、所述第二评价指标值、所述第三评价指标值,计算所述第一任务模型和所述第二任务模型的分级部署评估分值;
将所述分级部署评估分值与预设评估阈值进行对比,若所述分级部署评估分值大于或等于所述预设评估阈值,则判定疾病预警系统的任务分级部署完成。
3.根据权利要求1所述的方法,其特征在于,所述获取与系统任务匹配的样本数据,包括:
确定与系统任务匹配的任务属性标识,并根据任务属性标识在预设样本数据列表中提取与系统任务匹配的样本数据,其中,所述预设样本数据列表中预先存储有与不同任务属性标识匹配的样本数据,所述样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,所述第一样本数据的特征维度大于或等于所述第二样本数据的特征维度。
4.根据权利要求1所述的方法,其特征在于,所述将所述编码隐变量输入至所述第一任务模型,并利用所述编码隐变量将所述第一任务模型更新训练为第二任务模型,包括:
将所述编码隐变量输入至所述第一疾病预警模型,利用所述编码隐变量将所述第一疾病预警模型更新训练为第二疾病预警模型;和/或,
将所述编码隐变量输入至所述第一疾病预测模型,利用所述编码隐变量将所述第一疾病预测模型更新训练为第二疾病预测模型。
5.一种基于迁移学习的任务分级部署装置,其特征在于,包括:
获取模块,用于获取与系统任务匹配的样本数据,其中,所述样本数据包括源域对应的第一样本数据以及至少一目标域对应的第二样本数据,所述源域的任务级别大于所述目标域,所述第一样本数据的特征维度大于所述第二样本数据的特征维度;
训练模块,用于在所述源域中根据所述第一样本数据创建并训练第一任务模型;
生成模块,用于将所述第一样本数据和所述第二样本数据输入变分自编码器,利用所述变分自编码器以所述第一样本数据作为监督信号,在变换域对所述第二样本数据进行非线性变换处理,使得所述第二样本数据经非线性变换处理得到的编码隐变量与所述第一样本数据的数据分布距离小于预设距离阈值;将所述编码隐变量输入至所述第一任务模型,并利用所述编码隐变量将所述第一任务模型更新训练为第二任务模型,其中,所述第二任务模型与所述第一任务模型的模型部署类型相同;
计算模块,用于按照预设评估规则计算所述第一任务模型和所述第二任务模型的分级部署评估分值,并在所述分级部署评估分值大于或等于预设评估阈值时,判定疾病预警系统的任务分级部署完成;
其中,所述第一任务模型包括第一疾病预警模型,所述在所述源域中根据所述第一样本数据创建并训练第一任务模型,包括:将所述第一样本数据输入基于分类算法创建的第一疾病预警模型中,训练输出疾病预警分类结果,所述第一疾病预警模型包括RNN网络层和分类层,其中,所述RNN网络层用于特征向量提取,所述分类层用于根据所述RNN网络层提取的特征向量输出疾病预警分类结果;判断所述第一疾病预警模型的损失函数是否小于第一预设阈值,若是,则判定所述第一疾病预警模型训练完成;或者,
所述第一任务模型包括第一疾病预测模型,所述在所述源域中根据所述第一样本数据创建并训练第一任务模型,包括:将所述第一样本数据输入基于时间序列回归算法创建的第一疾病预测模型中,训练输出疾病预测结果,所述第一疾病预测模型包括RNN网络层和线性回归层,其中,所述RNN网络层用于特征向量提取,所述线性回归层用于根据所述RNN网络层提取的特征向量输出预设未来时间段内的疾病预测结果;判断所述第一疾病预测模型的损失函数是否小于第二预设阈值,若是,则判定所述第一疾病预测模型训练完成。
6.一种存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至4中任一项所述的基于迁移学习的任务分级部署方法。
7.一种计算机设备,包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至4中任一项所述的基于迁移学习的任务分级部署方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015955.0A CN113723518B (zh) | 2021-08-31 | 2021-08-31 | 基于迁移学习的任务分级部署方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111015955.0A CN113723518B (zh) | 2021-08-31 | 2021-08-31 | 基于迁移学习的任务分级部署方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723518A CN113723518A (zh) | 2021-11-30 |
CN113723518B true CN113723518B (zh) | 2024-03-19 |
Family
ID=78680037
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111015955.0A Active CN113723518B (zh) | 2021-08-31 | 2021-08-31 | 基于迁移学习的任务分级部署方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113723518B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670303A (zh) * | 2018-12-26 | 2019-04-23 | 网智天元科技集团股份有限公司 | 基于条件变分自编码的密码攻击评估方法 |
CN111291803A (zh) * | 2020-01-21 | 2020-06-16 | 中国科学技术大学 | 一种图像分级粒度迁移方法、系统、设备和介质 |
CN111428039A (zh) * | 2020-03-31 | 2020-07-17 | 中国科学技术大学 | 一种方面级别的跨领域情感分类方法及系统 |
CN111651576A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大学 | 一种基于迁移学习的多轮阅读理解方法 |
CN111667025A (zh) * | 2020-06-30 | 2020-09-15 | 北京同邦卓益科技有限公司 | 模型的迁移学习方法、装置、电子设备及计算机可读介质 |
CN111724083A (zh) * | 2020-07-21 | 2020-09-29 | 腾讯科技(深圳)有限公司 | 金融风险识别模型的训练方法、装置、计算机设备及介质 |
CN113240506A (zh) * | 2021-05-10 | 2021-08-10 | 浙江大学 | 一种基于无监督领域自适应的金融风控冷启动建模方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11593632B2 (en) * | 2016-12-15 | 2023-02-28 | WaveOne Inc. | Deep learning based on image encoding and decoding |
-
2021
- 2021-08-31 CN CN202111015955.0A patent/CN113723518B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109670303A (zh) * | 2018-12-26 | 2019-04-23 | 网智天元科技集团股份有限公司 | 基于条件变分自编码的密码攻击评估方法 |
CN111291803A (zh) * | 2020-01-21 | 2020-06-16 | 中国科学技术大学 | 一种图像分级粒度迁移方法、系统、设备和介质 |
CN111428039A (zh) * | 2020-03-31 | 2020-07-17 | 中国科学技术大学 | 一种方面级别的跨领域情感分类方法及系统 |
CN111651576A (zh) * | 2020-05-29 | 2020-09-11 | 浙江大学 | 一种基于迁移学习的多轮阅读理解方法 |
CN111667025A (zh) * | 2020-06-30 | 2020-09-15 | 北京同邦卓益科技有限公司 | 模型的迁移学习方法、装置、电子设备及计算机可读介质 |
CN111724083A (zh) * | 2020-07-21 | 2020-09-29 | 腾讯科技(深圳)有限公司 | 金融风险识别模型的训练方法、装置、计算机设备及介质 |
CN113240506A (zh) * | 2021-05-10 | 2021-08-10 | 浙江大学 | 一种基于无监督领域自适应的金融风控冷启动建模方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113723518A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zheng et al. | A graph-transformer for whole slide image classification | |
Wells et al. | Artificial intelligence in dermatopathology: Diagnosis, education, and research | |
CN112949786A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
Bird et al. | Cifake: Image classification and explainable identification of ai-generated synthetic images | |
KR102011788B1 (ko) | 계층적 시각 특징을 이용한 시각 질의 응답 장치 및 방법 | |
JP2019075108A (ja) | 情報処理方法及び装置、並びに情報検出方法及び装置 | |
CN113821668A (zh) | 数据分类识别方法、装置、设备及可读存储介质 | |
CN113822792A (zh) | 图像配准方法、装置、设备及存储介质 | |
Singh et al. | Object classification to analyze medical imaging data using deep learning | |
CN114612902A (zh) | 图像语义分割方法、装置、设备、存储介质及程序产品 | |
CN113469981A (zh) | 图像处理方法、装置及存储介质 | |
CN114298997B (zh) | 一种伪造图片检测方法、装置及存储介质 | |
Creagh et al. | Interpretable deep learning for the remote characterisation of ambulation in multiple sclerosis using smartphones | |
US20240005650A1 (en) | Representation learning | |
KR20220131808A (ko) | 이미지 분류 모델 생성 방법 및 장치 | |
CN114283110A (zh) | 用于医学图像的图像处理方法、装置、设备及存储介质 | |
Raza et al. | Novel Transfer Learning Based Deep Features for Diagnosis of Down Syndrome in Children Using Facial Images | |
CN113722507A (zh) | 基于知识图谱的住院费用预测方法、装置及计算机设备 | |
CN111382807B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
Henderson et al. | Analyzing chest X-ray to detect the evidence of lung abnormality due to infectious disease | |
CN113723518B (zh) | 基于迁移学习的任务分级部署方法、装置及计算机设备 | |
Hao et al. | Iris segmentation using feature channel optimization for noisy environments | |
Gurevich et al. | Algebraic interpretation of image analysis operations | |
Jabbar et al. | Machine Learning Methods for Signal, Image and Speech Processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |