CN116701935A - 敏感度预测模型训练方法、敏感信息处理方法及装置 - Google Patents
敏感度预测模型训练方法、敏感信息处理方法及装置 Download PDFInfo
- Publication number
- CN116701935A CN116701935A CN202310666141.6A CN202310666141A CN116701935A CN 116701935 A CN116701935 A CN 116701935A CN 202310666141 A CN202310666141 A CN 202310666141A CN 116701935 A CN116701935 A CN 116701935A
- Authority
- CN
- China
- Prior art keywords
- data set
- target
- sensitivity
- allergy
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035945 sensitivity Effects 0.000 title claims abstract description 182
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012549 training Methods 0.000 title claims abstract description 54
- 230000010365 information processing Effects 0.000 title claims abstract description 40
- 238000003672 processing method Methods 0.000 title abstract description 23
- 206010020751 Hypersensitivity Diseases 0.000 claims abstract description 120
- 208000026935 allergic disease Diseases 0.000 claims abstract description 120
- 230000007815 allergy Effects 0.000 claims abstract description 120
- 238000013139 quantization Methods 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000000172 allergic effect Effects 0.000 claims abstract description 18
- 208000010668 atopic eczema Diseases 0.000 claims abstract description 18
- 230000007613 environmental effect Effects 0.000 claims description 45
- 238000012216 screening Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000007781 pre-processing Methods 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000009469 supplementation Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 15
- 230000015654 memory Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 239000013598 vector Substances 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000002354 daily effect Effects 0.000 description 3
- 230000003203 everyday effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000035285 Allergic Seasonal Rhinitis Diseases 0.000 description 2
- 206010048908 Seasonal allergy Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 201000004338 pollen allergy Diseases 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 206010039101 Rhinorrhoea Diseases 0.000 description 1
- 238000003915 air pollution Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 208000010753 nasal discharge Diseases 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/909—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Epidemiology (AREA)
- Remote Sensing (AREA)
- Library & Information Science (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种敏感度预测模型训练方法、敏感信息处理方法及装置,可以应用于人工智能和金融科技领域。该方法包括:获取历史敏感数据集,历史敏感数据集包括过敏数据集和环境数据集,环境数据集包括多种类型大气环境参数;对过敏数据集中多个过敏数据量化处理,得到多个在第一数值范围内的目标过敏数据;针对任一类型大气环境参数,对大气环境参数进行量化处理得到多个在第二数值范围内的目标环境参数;将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中输出预测敏感度;将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中得到模型损失值;基于模型损失值对初始敏感度预测模型的模型参数调整得到目标敏感度预测模型。
Description
技术领域
本公开涉及人工智能和金融科技领域,尤其涉及一种敏感度预测模型训练方法、敏感信息处理方法及装置。
背景技术
基于环境因素对当前环境的敏感度进行预测,使得用户能够得知在当前环境下发生过敏的可能性,便于用户提前做一些防护措施。相关技术中,通过对环境中的花粉浓度进行检测,利用敏感度预测模型对花粉浓度进行分析,进而得到当前环境的敏感度。
在实现本公开构思的过程中,发明人发现相关技术中至少存在如下问题:仅基于花粉浓度对敏感度进行预测较为单一,使得敏感度预测模型的预测结果准确率较低。
发明内容
鉴于上述问题,本公开提供了敏感度预测模型训练方法、敏感信息处理方法、装置、设备、介质和程序产品。
根据本公开的第一个方面,提供了一种敏感度预测模型训练方法,包括:获取历史敏感数据集,其中,上述历史敏感数据集包括过敏数据集和环境数据集,其中,上述过敏数据集包括与目标人群对应的数据集,上述环境数据集包括多种类型的大气环境参数;对上述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据;针对任一类型的上述大气环境参数,对上述大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数;将多个上述目标过敏数据和上述目标环境参数输入初始敏感度预测模型中,输出预测敏感度;将上述预测敏感度和与上述历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值;基于上述模型损失值对上述初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
根据本公开的实施例,在上述获取历史敏感数据集之后,还包括:对上述历史敏感数据集中的数据进行预处理操作,得到预处理数据集,以利用上述预处理数据集对上述初始敏感度预测模型进行训练,其中,上述预处理操作包括离群值去除、缺失值补充和噪声最小化。
根据本公开的实施例,上述第一数值范围大于上述第二数值范围,上述将多个上述目标过敏数据和上述目标环境参数输入初始敏感度预测模型中,包括:将上述第一数值范围内的多个目标过敏数据和上述第二数值范围内的多个目标环境参数进行向量化处理,得到预设维度的矩阵;将上述预设维度的矩阵输入上述初始敏感度预测模型中。
根据本公开的实施例,上述将上述预测敏感度和与上述历史敏感数据集对应的真实敏感数据集输入损失函数中,包括:对上述真实敏感数据集中与上述历史敏感数据集对应的环境数据集和过敏数据集分别进行量化处理,得到量化数据集;将上述量化数据集和上述预测敏感度输入上述损失函数中。
根据本公开的实施例,在上述对上述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据之前,还包括:将上述过敏数据集和上述环境数据集中的最大值和最小值分别进行去除,得到去除数据集,以对上述去除数据集进行量化处理。
本公开的第二方面提供了一种敏感信息处理方法,包括:获取待测数据集和与上述待测数据集对应的历史数据集,其中,上述待测数据集中包括待测环境数据和待测过敏数据,上述历史数据集中包括与上述待测环境数据对应的历史环境数据,和与上述待测过敏数据对应的历史过敏数据;对上述历史数据集进行量化处理,得到目标数据集;将上述目标数据集输入上述的目标敏感度预测模型中,输出与上述待测数据集对应的敏感度;对上述敏感度进行可视化展示。
根据本公开的实施例,敏感信息处理方法还包括:基于预设关键词在数据库中确定多个目标敏感信息;利用关键词抽取技术,确定每个上述目标敏感信息的目标主题;利用余弦相似度算法确定上述目标主题与上述预设主题的相似度,其中,上述预设主题是基于时间信息和过敏信息列表确定的,上述过敏信息列表中包括与每个时间信息对应的过敏源;基于上述相似度和预设排列规则对多个上述目标敏感信息进行排序,得到每个上述目标敏感信息的序号;利用预设筛选规则,基于上述序号对多个上述目标敏感信息进行筛选,得到多个筛选敏感信息;将与多个上述筛选敏感信息对应的信息标题进行可视化展示,以基于上述信息标题对上述筛选敏感信息进行查看。
根据本公开的实施例,敏感信息处理方法还包括:响应于接收到的来自目标对象发送的位置信息,利用地图插件查询与上述位置信息关联的多个目标位置;将与多个上述目标位置对应的位置名称进行可视化展示,以使得能够基于上述位置名称调用相关服务。
本公开的第三方面提供了一种敏感度预测模型训练装置,包括:第一获取模块,用于获取历史敏感数据集,其中,上述历史敏感数据集包括过敏数据集和环境数据集,其中,上述过敏数据集包括与目标人群对应的数据集,上述环境数据集包括多种类型的大气环境参数;第一量化模块,用于对上述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据;第二量化模块,用于针对任一类型的上述大气环境参数,对上述大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数;第一预测模块,用于将多个上述目标过敏数据和上述目标环境参数输入初始敏感度预测模型中,输出预测敏感度;损失确定模块,用于将上述预测敏感度和与上述历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值;模型训练模块,用于基于上述模型损失值对上述初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
本公开的第四方面提供了一种敏感信息处理装置,包括:第二获取模块,用于获取待测数据集和与上述待测数据集对应的历史数据集,其中,上述待测数据集中包括待测环境数据和待测过敏数据,上述历史数据集中包括与上述待测环境数据对应的历史环境数据,和与上述待测过敏数据对应的历史过敏数据;第三量化模块,用于对上述历史数据集进行量化处理,得到目标数据集;第二预测模块,用于将上述目标数据集输入上述的目标敏感度预测模型中,输出与上述待测数据集对应的敏感度;第一展示模块,用于对上述敏感度进行可视化展示。
本公开的第五方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当上述一个或多个程序被上述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本公开的第六方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
本公开的第七方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
根据本公开提供的敏感度预测模型训练方法、敏感信息处理方法、装置、设备、介质和程序产品,通过对过敏数据和大气环境参数分别进行量化处理,便于初始敏感度预测模型对数据的学习,有效提高了模型的学习效率。且初始敏感度预测模型在训练过程中,涉及对过敏数据集和多种类型的大气环境参数进行学习,至少部分的解决了数据单一的技术问题,使得训练得到的目标敏感度预测模型对敏感度的预测更加精准。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的敏感度预测模型训练方法或敏感信息处理方法的应用场景图;
图2示意性示出了根据本公开实施例的敏感度预测模型训练方法的流程图;
图3示意性示出了根据本公开实施例的敏感信息处理方法的流程图;
图4示意性示出了根据本公开实施例的敏感度预测模型的结构示意图;
图5示意性示出了根据本公开实施例的敏感度的结果展示图;
图6示意性示出了根据本公开实施例的信息标题的结果展示图;
图7示意性示出了根据本公开实施例的位置名称的结果展示图;
图8示意性示出了根据本公开实施例的敏感度预测模型训练装置的结构框图;
图9示意性示出了根据本公开实施例的敏感信息处理装置的结构框图;
图10示意性示出了根据本公开实施例的适于实现敏感度预测模型训练方法或敏感信息处理方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本公开实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本公开的技术方案中,所涉及的数据(如包括但不限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
常见的过敏因素有花粉过敏、尘螨过敏、紫外线过敏,另外跟季节、温度、湿度、空气污染程度、尾气浓度、动物毛发等空气指数息息相关。相关技术中,对敏感度的预测方法往往是基于花粉浓度的高低,对敏感度分为“极不易发/不易发/较易发/易发/极易发”五个等级。
在对敏感度预测的过程中,由于使用的数据较为单一,导致预测精度较低。除了花粉浓度外,还需要综合考虑天气现象、温度、湿度、风力、花粉浓度、pm2.5、汽车尾气等。其次,仅提供了花粉浓度和过敏易发等级,而没有集成相关辅助信息,使得用户获取的信息有限,用户粘性不高。
有鉴于此,本公开的实施例提供了一种敏感度预测模型训练方法、一种敏感信息处理方法、一种敏感度预测模型训练装置、一种敏感信息处理装置、一种电子设备、一种可读存储介质和一种计算机程序产品。其中,敏感度预测模型训练方法,包括:获取历史敏感数据集,其中,历史敏感数据集包括过敏数据集和环境数据集,其中,过敏数据集包括与目标人群对应的数据集,环境数据集包括多种类型的大气环境参数;对过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据;针对任一类型的大气环境参数,对大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数;将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中,输出预测敏感度;将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值;基于模型损失值对初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
图1示意性示出了根据本公开实施例的敏感度预测模型训练方法或敏感信息处理方法的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括包括第一终端设备101、第二终端设备102、第三终端设备103,网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的敏感度预测模型训练方法或敏感信息处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的敏感度预测模型训练装置或敏感信息处理装置一般可以设置于服务器105中。本公开实施例所提供的敏感度预测模型训练方法或敏感信息处理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的敏感度预测模型训练装置或敏感信息处理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2对公开实施例的敏感度预测模型训练方法进行详细描述。
图2示意性示出了根据本公开实施例的敏感度预测模型训练方法的流程图。
如图2所示,该实施例的敏感度预测模型训练方法包括操作S210~操作S260。
在操作S210,获取历史敏感数据集,其中,历史敏感数据集包括过敏数据集和环境数据集,其中,过敏数据集包括与目标人群对应的数据集,环境数据集包括多种类型的大气环境参数。
在操作S220,对过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据。
在操作S230,针对任一类型的大气环境参数,对大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数。
在操作S240,将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中,输出预测敏感度。
在操作S250,将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值。
在操作S260,基于模型损失值对初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
根据本公开的实施例,在获取过敏数据集的过程中,由于过敏数据集包括与目标人群对应的数据集,其中,目标人群可以是产生过敏症状的人群,因此,可以从一些皮肤专科医院或人流量较大医院的数据库中获取。具体地,过敏数据集中包括历史一年内每天过敏患者的人数。例如:在Y1-M1-D1过敏患者的人数为200人。需要说明的是,获取过敏患者的数据均符合相关法律法规的规定,采取了必要的保密措施。且在获取之前均获取了患者的授权或同意。
根据本公开的实施例,在获取环境数据集的过程中,可以从数据库或者云服务器中获取历史一年内的大气环境参数。其中,大气环境参数包括多种类型,例如:花粉浓度、温度、湿度、风力、pm2.5和汽车尾气浓度。
根据本公开的实施例,对过敏数据集中的多个过敏数据进行量化处理,基于历史一年内每天过敏患者的人数的值,将过敏数据集中的所有人数量化成0~100之间的值。在量化之前,可以将最大值和最小值进行去除,以使得量化结果更加的准确。
根据本公开的实施例,针对每一种类型的大气环境参数,对大气环境参数进行量化处理。例如:针对历史一年内每天的温度值,将温度值量化为0~10之间的值;针对历史一年内每天的风力值,将风力值量化为0~10之间的值。在量化之前,可以将最大值和最小值进行去除,以使得量化结果更加的准确。
根据本公开的实施例,将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中,初始敏感度预测模型对其进行学习分析,输出预测敏感度。其中,预测敏感度表示历史一年内每天的预测敏感度。在对初始敏感度预测模型训练的过程中,为了训练出预测能力更准确的模型,需要保证预测值和实际值尽可能一致。因此,将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值。基于模型损失值对初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
根据本公开的实施例,通过对过敏数据和大气环境参数分别进行量化处理,便于初始敏感度预测模型对数据的学习,有效提高了模型的学习效率。且初始敏感度预测模型在训练过程中,涉及对过敏数据集和多种类型的大气环境参数进行学习,至少部分的解决了数据单一的技术问题,使得训练得到的目标敏感度预测模型对敏感度的预测更加精准。
根据本公开的实施例,在获取历史敏感数据集之后,还可以包括如下操作:
对历史敏感数据集中的数据进行预处理操作,得到预处理数据集,以利用预处理数据集对初始敏感度预测模型进行训练,其中,预处理操作包括离群值去除、缺失值补充和噪声最小化。
根据本公开的实施例,在对数据预处理的过程中,可以基于统计滚动的方法对离群值进行检测,从而将其去除。可以基于时间差值的方法对数据进行检测,从而将数据在时间轴上补充完整,以完成缺失值补充的操作。可以利用滚动平均值的方法最小化时间序列数据中的噪声,进而使得噪声最小化。通过对数据进行预处理,便于对其进行量化处理,同时使得量化处理的结果更加准确。
根据本公开的实施例,第一数值范围大于第二数值范围,将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中,可以包括如下操作:
将第一数值范围内的多个目标过敏数据和第二数值范围内的多个目标环境参数进行向量化处理,得到预设维度的矩阵;将预设维度的矩阵输入初始敏感度预测模型中。
根据本公开的实施例,将历史一年内每天的目标过敏数据和目标环境数据进行向量化处理,由于目标环境数据中包括量化后的花粉浓度、温度、湿度、风力、pm2.5和汽车尾气浓度。因此,向量化处理后得到一个7维的矩阵。将7维的矩阵作为初始敏感度预测模型的输入,输入初始敏感度预测模型中,初始敏感度模型输出与7维矩阵对应的预测敏感度。
根据本公开的实施例,将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中,可以包括如下操作:
对真实敏感数据集中与历史敏感数据集对应的环境数据集和过敏数据集分别进行量化处理,得到量化数据集;将量化数据集和预测敏感度输入损失函数中。
根据本公开的实施例,真实敏感数据集与历史数据集对应,例如:历史敏感数据集为Y1-M1-D1~Y1-M1-D2每天的过敏数据集和环境数据集。真实敏感数据集为Y2-M1-D1~Y2-M1-D2每天的过敏数据集和环境数据集。其中,历史敏感数据集对应的时间比真实敏感数据集对应的时间早一年。对真实敏感数据集中的环境数据集和过敏数据集分别进行量化处理,将过敏数据集中每天过敏患者的人数量化为0~100之间的值。将环境数据集中的各种类型的大气环境参数分别量化为0~10之间的值。
根据本公开的实施例,将量化处理后的量化数据集和预测敏感度输入损失函数中,得到模型损失值。通过调整初始敏感度预测模型模型参数,使得模型损失值尽可能小,进而使得模型预测的更加准确。计算公式如下:
其中,M表示训练样本的总数,y表示量化数据集,y’表示预测敏感度,L表示模型损失值。
以下将基于图1描述的场景,通过图3~图6对公开实施例的敏感信息处理方法进行详细描述。
图3示意性示出了根据本公开实施例的敏感信息处理方法的流程图。
如图3所示,该实施例的敏感信息处理方法包括操作S310~操作S340。
在操作S310,获取待测数据集和与待测数据集对应的历史数据集,其中,待测数据集中包括待测环境数据和待测过敏数据,历史数据集中包括与待测环境数据对应的历史环境数据,和与待测过敏数据对应的历史过敏数据。
在操作S320,对历史数据集进行量化处理,得到目标数据集。
在操作S330,将目标数据集输入目标敏感度预测模型中,输出与待测数据集对应的敏感度。
在操作S340,对敏感度进行可视化展示。
根据本公开的实施例,获取待测数据集和与待测数据集对应的历史数据集,例如:待测数据集为Y2-M1-D1对应的环境数据和过敏数据,历史数据集为Y1-M1-D1对应的环境数据和过敏数据,其中历史数据集对应的时间比待测数据集对应的时间早一年。将历史数据集中的环境数据和过敏数据分别进行量化处理。将过敏数据集中每天过敏患者的人数量化为0~100之间的值。将环境数据集中的各种类型的大气环境参数分别量化为0~10之间的值。
图4示意性示出了根据本公开实施例的敏感度预测模型的结构示意图。
根据本公开的实施例,如图4所示,将量化后的过敏数据yback和环境数据X输入目标敏感度预测模型中,输出与待测数据对应的敏感度(Global Forecast)。目标敏感度预测模型包括多个stack(堆栈)。在预测后得到每个stack的输出,并以曲线的形式显示。分别包括Stack1对应的输出Trend,Stack2对应的输出seasonally和StackS对应的输出exogenous。通过对多条曲线进行拟合,从而得到模型的最终输出曲线(Forecast Period),将其与历史数据(Backcast Period)进行比对,进而得到预测数据和历史数据的差距。
根据本公开的实施例,每个stack包括多个block(块),每个block是模型的最基础结构模块,由多个全连接层(FC Stack)组成。每个block包含两个主要部分,第一个部分将输入的时间序列映射成expansion coefficients(存储了时间序列内在的信息形成的一个低维向量),第二部分将expansion coefficients映射回时间序列。具体计算公式如下:
其中,目标敏感度预测模型的输入为(yback,X),yback表示量化后的过敏数据,X表示量化后的环境数据。s表示第s个stack,b表示第b个block。每个block的输入,是上一个block的输入减去上一个block的输出,通过这种方式,模型每需要处理的是之前层无法正确拟合的残差(Stack Residual),而最终的预测结果,是各个block的预测结果的加和。hs,b表示由第b-1个block的输出和Xb-1经过全连接神经网络FCNN中FC Stack的参数FC,然后分别经过两个线性函数得到扩展系数/>和/>
其中,表示第s个stack第b个block对未来的预测值,/>表示第s个stack第b个block对过去的预测值。V表示线性映射向量,将在训练过程中进行拟合。
其中,表示真实的历史值,残差/>输入到下一个block中,第s个stack对未来的预测值是所有block预测值的和。
其中,敏感度是所有stack输出值的和,表示待测数据对应的敏感度。
图5示意性示出了根据本公开实施例的敏感度的结果展示图。
根据本公开的实施例,如图5所示,对敏感度进行可视化展示,过敏指数预测表示目标敏感度预测模型输出的敏感度。通过弧形由左到右分别表示程度增加,体现当前敏感度的严重程度。在弧形下方展示了每天的敏感度,也即过敏指数。且同时展示了环境数据中的花粉浓度、温度、湿度和pm2.5数值,以及对应的每天的日期,以便于作为敏感度的参考。该可视化界面可以在相关的金融办公软件上进行展示。其中,金融办公软件可以用于移动或远程办公、信息交流、学习培训等操作。用户可以通过点击金融办公软件上的相关图标,并进一步点击“过敏指数”图标,进而调用该可视化界面,以查看敏感度和环境数据的相关信息。
根据本公开的实施例,敏感信息处理方法还可以包括如下操作:
基于预设关键词在数据库中确定多个目标敏感信息;利用关键词抽取技术,确定每个目标敏感信息的目标主题;利用余弦相似度算法确定目标主题与预设主题的相似度,其中,预设主题是基于时间信息和过敏信息列表确定的,过敏信息列表中包括与每个时间信息对应的过敏源;基于相似度和预设排列规则对多个目标敏感信息进行排序,得到每个目标敏感信息的序号;利用预设筛选规则,基于序号对多个目标敏感信息进行筛选,得到多个筛选敏感信息;将与多个筛选敏感信息对应的信息标题进行可视化展示,以基于信息标题对筛选敏感信息进行查看。
根据本公开的实施例,利用爬虫技术下载标题中包含预设关键词“过敏”的目标敏感信息。其中,目标敏感信息可以是相关文章,可以从专业的医学相关网站中获取。利用tf-idf技术(term frequency–inverse document frequency,一种用于信息检索与数据挖掘的常用加权技术)确定每个目标敏感信息的目标主题。例如:文章1的目标主题为“北京、植物、宠物、过敏、药物、喷嚏”,文章2的目标主题为“花粉、过敏、症状、鼻涕、预防、医院”。
根据本公开的实施例,利用余弦相似度算法确定目标主题与预设主题的相似度,其中,预设主题是基于时间信息和过敏信息列表确定的,随着时间信息的改变,在过敏信息列表中确定的对应的过敏源不同,进而使得预设主题不同。
根据本公开的实施例,在确定目标主题和预设主题相似度的过程中,假设文章1的目标主题为A,预设主题为B。A和B是两个n维向量,A是[A1,A2,...An],B是[B1,B2,...Bn],那么A和B的夹角θ的余弦即为A和B的余弦相似度,公式表示为:
根据本公开的实施例,将预设主题的关键词用向量表示[1 1 1 11 1]。在文章1的关键词中出现,则表示为1,否则表示为0,那么文章A关键词可以用向量表示[1 0 0 0 01],文章2关键词表示为[1 1 1 01 1]。按照公式(6),便可计算文章1和文章2关键字向量和预设关键字向量的余弦相似度。
图6示意性示出了根据本公开实施例的信息标题的结果展示图。
根据本公开的实施例,按照相似度的大小进行排序,得到每个目标敏感信息的序号,将相似度由高到低序号前十的目标敏感信息进行筛选,得到10篇筛选敏感信息。将10篇筛选敏感信息对应的信息标题进行可视化展示,用户点击便可以查看筛选敏感信息的原文。该可视化界面可以在相关的金融办公软件上进行展示。用户可以通过点击金融办公软件上的相关图标,并进一步点击“科普文章”图标,进而调用该可视化界面,以查看目标敏感信息。如图6所示,可视化展示了十篇文章,例如:第一篇文章的信息标题为花粉过敏的预防。
图7示意性示出了根据本公开实施例的位置名称的结果展示图。
根据本公开的实施例,敏感信息处理方法还可以包括如下操作:
响应于接收到的来自目标对象发送的位置信息,利用地图插件查询与位置信息关联的多个目标位置;将与多个目标位置对应的位置名称进行可视化展示,以使得能够基于位置名称调用相关服务。
根据本公开的实施例,如图7所示,接收来自目标对象发送的位置信息,引入地图插件进行结果呈现,展示与位置信息关联的多个目标位置。例如:附近的医院和药房。将位置名称进行展示,并提供相关服务,例如:针对医院提供挂号的跳转连接,同时能够提供到达该医院的路线,进而为用户提供全面的信息,增加用户粘性。该可视化界面可以在相关的金融办公软件上进行展示。用户可以通过点击金融办公软件上的相关图标,并进一步点击“附近”图标,进而调用该可视化界面,以查看位置名称和与位置名称对应的关联服务。
基于上述敏感度预测模型训练方法,本公开还提供了一种敏感度预测模型训练装置。以下将结合图7对该装置进行详细描述。
图8示意性示出了根据本公开实施例的敏感度预测模型训练装置的结构框图。
如图8所示,该实施例的敏感度预测模型训练装置800包括第一获取模块810、第一量化模块820、第二量化模块820、第一预测模块830、损失确定模块840和模型训练模块850。
第一获取模块810,用于获取历史敏感数据集,其中,历史敏感数据集包括过敏数据集和环境数据集,其中,过敏数据集包括与目标人群对应的数据集,环境数据集包括多种类型的大气环境参数。在一实施例中,第一获取模块810可以用于执行前文描述的操作S210,在此不再赘述。
第一量化模块820,用于对过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据。在一实施例中,第一量化模块820可以用于执行前文描述的操作S220,在此不再赘述。
第二量化模块830,用于针对任一类型的大气环境参数,对大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数。在一实施例中,第二量化模块830可以用于执行前文描述的操作S230,在此不再赘述。
第一预测模块840,用于将多个目标过敏数据和目标环境参数输入初始敏感度预测模型中,输出预测敏感度。在一实施例中,第一预测模块840可以用于执行前文描述的操作S240,在此不再赘述。
损失确定模块850,用于将预测敏感度和与历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值。在一实施例中,损失确定模块850可以用于执行前文描述的操作S250,在此不再赘述。
模型训练模块860,用于基于模型损失值对初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。在一实施例中,模型训练模块860可以用于执行前文描述的操作S260,在此不再赘述。
根据本公开的实施例,通过对过敏数据和大气环境参数分别进行量化处理,便于初始敏感度预测模型对数据的学习,有效提高了模型的学习效率。且初始敏感度预测模型在训练过程中,涉及对过敏数据集和多种类型的大气环境参数进行学习,至少部分的解决了数据单一的技术问题,使得训练得到的目标敏感度预测模型对敏感度的预测更加精准。
根据本公开的实施例,敏感度预测模型训练装置800还包括预处理模块。
预处理模块,用于对历史敏感数据集中的数据进行预处理操作,得到预处理数据集,以利用预处理数据集对初始敏感度预测模型进行训练,其中,预处理操作包括离群值去除、缺失值补充和噪声最小化。
根据本公开的实施例,第一预测模块840包括矩阵确定子模块和第一输入子模块。
矩阵确定子模块,用于将第一数值范围内的多个目标过敏数据和第二数值范围内的多个目标环境参数进行向量化处理,得到预设维度的矩阵。
第一输入子模块,用于将预设维度的矩阵输入初始敏感度预测模型中。
根据本公开的实施例,损失确定模块850包括真实量化子模块和第二输入子模块。
真实量化子模块,用于对真实敏感数据集中与历史敏感数据集对应的环境数据集和过敏数据集分别进行量化处理,得到量化数据集。
第二输入子模块,用于将量化数据集和预测敏感度输入损失函数中。
根据本公开的实施例,敏感度预测模型训练装置800还包括去除模块。
去除模块,用于将过敏数据集和环境数据集中的最大值和最小值分别进行去除,得到去除数据集,以对去除数据集进行量化处理。
基于上述敏感信息处理方法,本公开还提供了一种敏感信息处理装置。以下将结合图9对该装置进行详细描述。
图9示意性示出了根据本公开实施例的敏感度预测模型训练装置的结构框图。
如图9所示,该实施例的敏感信息处理装置900包括第二获取模块910、第三量化模块920、第二预测模块930和第一展示模块940。
第二获取模块910,用于获取待测数据集和与待测数据集对应的历史数据集,其中,待测数据集中包括待测环境数据和待测过敏数据,历史数据集中包括与待测环境数据对应的历史环境数据,和与待测过敏数据对应的历史过敏数据。在一实施例中,第二获取模块910可以用于执行前文描述的操作S310,在此不再赘述。
第三量化模块920,用于对历史数据集进行量化处理,得到目标数据集。在一实施例中,第三量化模块920可以用于执行前文描述的操作S320,在此不再赘述。
第二预测模块930,用于将目标数据集输入目标敏感度预测模型中,输出与待测数据集对应的敏感度。在一实施例中,第二预测模块930可以用于执行前文描述的操作S330,在此不再赘述。
第一展示模块940,用于对敏感度进行可视化展示。在一实施例中,第一展示模块940可以用于执行前文描述的操作S340,在此不再赘述。
根据本公开的实施例,敏感信息处理装置900还包括信息确定模块、主题确定模块、相似度确定模块、排序模块、筛选模块和第二展示模块。
信息确定模块,用于基于预设关键词在数据库中确定多个目标敏感信息。
主题确定模块,用于利用关键词抽取技术,确定每个目标敏感信息的目标主题。
相似度确定模块,用于利用余弦相似度算法确定目标主题与预设主题的相似度,其中,预设主题是基于时间信息和过敏信息列表确定的,过敏信息列表中包括与每个时间信息对应的过敏源。
排序模块,用于基于相似度和预设排列规则对多个目标敏感信息进行排序,得到每个目标敏感信息的序号。
筛选模块,用于利用预设筛选规则,基于序号对多个目标敏感信息进行筛选,得到多个筛选敏感信息。
第二展示模块,用于将与多个筛选敏感信息对应的信息标题进行可视化展示,以基于信息标题对筛选敏感信息进行查看。
根据本公开的实施例,敏感信息处理装置900还包括位置确定模块和第三展示模块。
位置确定模块,用于响应于接收到的来自目标对象发送的位置信息,利用地图插件查询与位置信息关联的多个目标位置。
第三展示模块,用于将与多个目标位置对应的位置名称进行可视化展示,以使得能够基于位置名称调用相关服务。
根据本公开的实施例,第一获取模块810、第一量化模块820、第二量化模块820、第一预测模块830、损失确定模块840和模型训练模块850,或第二获取模块910、第三量化模块920、第二预测模块930和第一展示模块940中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本公开的实施例,第一获取模块810、第一量化模块820、第二量化模块820、第一预测模块830、损失确定模块840和模型训练模块850,或第二获取模块910、第三量化模块920、第二预测模块930和第一展示模块940中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,第一获取模块810、第一量化模块820、第二量化模块820、第一预测模块830、损失确定模块840和模型训练模块850,或第二获取模块910、第三量化模块920、第二预测模块930和第一展示模块940中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图10示意性示出了根据本公开实施例的适于实现敏感度预测模型训练方法或敏感信息处理方法的电子设备的方框图。
如图10所示,根据本公开实施例的电子设备1000包括处理器1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。处理器1001例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1001还可以包括用于缓存用途的板载存储器。处理器1001可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1003中,存储有电子设备1000操作所需的各种程序和数据。处理器1001、ROM 1002以及RAM 1003通过总线1004彼此相连。处理器1001通过执行ROM 1002和/或RAM1003中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意,所述程序也可以存储在除ROM 1002和RAM 1003以外的一个或多个存储器中。处理器1001也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
根据本公开的实施例,电子设备1000还可以包括输入/输出(I/O)接口1005,输入/输出(I/O)接口1005也连接至总线1004。电子设备1000还可以包括连接至输入/输出(I/O)接口1005的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至输入/输出(I/O)接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的方法。
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本公开的实施例,计算机可读存储介质可以包括上文描述的ROM 1002和/或RAM 1003和/或ROM 1002和RAM 1003以外的一个或多个存储器。
本公开的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本公开实施例所提供的敏感度预测模型训练方法或敏感信息处理方法。
在该计算机程序被处理器1001执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1009被下载和安装,和/或从可拆卸介质1011被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被处理器1001执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本公开的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本公开中。特别地,在不脱离本公开精神和教导的情况下,本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。
Claims (13)
1.一种敏感度预测模型训练方法,包括:
获取历史敏感数据集,其中,所述历史敏感数据集包括过敏数据集和环境数据集,其中,所述过敏数据集包括与目标人群对应的数据集,所述环境数据集包括多种类型的大气环境参数;
对所述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据;
针对任一类型的所述大气环境参数,对所述大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数;
将多个所述目标过敏数据和所述目标环境参数输入初始敏感度预测模型中,输出预测敏感度;
将所述预测敏感度和与所述历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值;
基于所述模型损失值对所述初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
2.根据权利要求1所述的方法,其中,在所述获取历史敏感数据集之后,还包括:
对所述历史敏感数据集中的数据进行预处理操作,得到预处理数据集,以利用所述预处理数据集对所述初始敏感度预测模型进行训练,其中,所述预处理操作包括离群值去除、缺失值补充和噪声最小化。
3.根据权利要求1或2所述的方法,其中,所述第一数值范围大于所述第二数值范围,所述将多个所述目标过敏数据和所述目标环境参数输入初始敏感度预测模型中,包括:
将所述第一数值范围内的多个目标过敏数据和所述第二数值范围内的多个目标环境参数进行向量化处理,得到预设维度的矩阵;
将所述预设维度的矩阵输入所述初始敏感度预测模型中。
4.根据权利要求1或2所述的方法,其中,所述将所述预测敏感度和与所述历史敏感数据集对应的真实敏感数据集输入损失函数中,包括:
对所述真实敏感数据集中与所述历史敏感数据集对应的环境数据集和过敏数据集分别进行量化处理,得到量化数据集;
将所述量化数据集和所述预测敏感度输入所述损失函数中。
5.根据权利要求1或2所述的方法,其中,在所述对所述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据之前,还包括:
将所述过敏数据集和所述环境数据集中的最大值和最小值分别进行去除,得到去除数据集,以对所述去除数据集进行量化处理。
6.一种敏感信息处理方法,包括:
获取待测数据集和与所述待测数据集对应的历史数据集,其中,所述待测数据集中包括待测环境数据和待测过敏数据,所述历史数据集中包括与所述待测环境数据对应的历史环境数据,和与所述待测过敏数据对应的历史过敏数据;
对所述历史数据集进行量化处理,得到目标数据集;
将所述目标数据集输入权利要求1~5中任一项所述的目标敏感度预测模型中,输出与所述待测数据集对应的敏感度;
对所述敏感度进行可视化展示。
7.根据权利要求6所述的方法,还包括:
基于预设关键词在数据库中确定多个目标敏感信息;
利用关键词抽取技术,确定每个所述目标敏感信息的目标主题;
利用余弦相似度算法确定所述目标主题与所述预设主题的相似度,其中,所述预设主题是基于时间信息和过敏信息列表确定的,所述过敏信息列表中包括与每个时间信息对应的过敏源;
基于所述相似度和预设排列规则对多个所述目标敏感信息进行排序,得到每个所述目标敏感信息的序号;
利用预设筛选规则,基于所述序号对多个所述目标敏感信息进行筛选,得到多个筛选敏感信息;
将与多个所述筛选敏感信息对应的信息标题进行可视化展示,以基于所述信息标题对所述筛选敏感信息进行查看。
8.根据权利要求6所述的方法,还包括:
响应于接收到的来自目标对象发送的位置信息,利用地图插件查询与所述位置信息关联的多个目标位置;
将与多个所述目标位置对应的位置名称进行可视化展示,以使得能够基于所述位置名称调用相关服务。
9.一种敏感度预测模型训练装置,包括:
第一获取模块,用于获取历史敏感数据集,其中,所述历史敏感数据集包括过敏数据集和环境数据集,其中,所述过敏数据集包括与目标人群对应的数据集,所述环境数据集包括多种类型的大气环境参数;
第一量化模块,用于对所述过敏数据集中的多个过敏数据进行量化处理,得到多个在第一数值范围内的目标过敏数据;
第二量化模块,用于针对任一类型的所述大气环境参数,对所述大气环境参数进行量化处理,得到多个在第二数值范围内的目标环境参数;
第一预测模块,用于将多个所述目标过敏数据和所述目标环境参数输入初始敏感度预测模型中,输出预测敏感度;
损失确定模块,用于将所述预测敏感度和与所述历史敏感数据集对应的真实敏感数据集输入损失函数中,得到模型损失值;
模型训练模块,用于基于所述模型损失值对所述初始敏感度预测模型的模型参数进行调整,得到目标敏感度预测模型。
10.一种敏感信息处理装置,包括:
第二获取模块,用于获取待测数据集和与所述待测数据集对应的历史数据集,其中,所述待测数据集中包括待测环境数据和待测过敏数据,所述历史数据集中包括与所述待测环境数据对应的历史环境数据,和与所述待测过敏数据对应的历史过敏数据;
第三量化模块,用于对所述历史数据集进行量化处理,得到目标数据集;
第二预测模块,用于将所述目标数据集输入权利要求1~5中任一项所述的目标敏感度预测模型中,输出与所述待测数据集对应的敏感度;
第一展示模块,用于对所述敏感度进行可视化展示。
11.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~5中或6~8中任一项所述的方法。
12.一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~5中或6~8中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据权利要求1~5中或6~8中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310666141.6A CN116701935A (zh) | 2023-06-06 | 2023-06-06 | 敏感度预测模型训练方法、敏感信息处理方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310666141.6A CN116701935A (zh) | 2023-06-06 | 2023-06-06 | 敏感度预测模型训练方法、敏感信息处理方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116701935A true CN116701935A (zh) | 2023-09-05 |
Family
ID=87836818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310666141.6A Pending CN116701935A (zh) | 2023-06-06 | 2023-06-06 | 敏感度预测模型训练方法、敏感信息处理方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116701935A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117520902A (zh) * | 2023-12-05 | 2024-02-06 | 中国人民解放军63796部队 | 基于机器学习的南海台风生成预测方法 |
-
2023
- 2023-06-06 CN CN202310666141.6A patent/CN116701935A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117520902A (zh) * | 2023-12-05 | 2024-02-06 | 中国人民解放军63796部队 | 基于机器学习的南海台风生成预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109858740B (zh) | 企业风险的评估方法、装置、计算机设备及存储介质 | |
CN110598157B (zh) | 目标信息识别方法、装置、设备及存储介质 | |
CN112818218B (zh) | 信息推荐方法、装置、终端设备及计算机可读存储介质 | |
CN109087138A (zh) | 数据处理方法及系统、计算机系统和可读存储介质 | |
CN113393306A (zh) | 产品推荐方法、装置、电子设备及计算机可读介质 | |
CN114565196B (zh) | 基于政务热线的多事件趋势预判方法、装置、设备及介质 | |
CN116701935A (zh) | 敏感度预测模型训练方法、敏感信息处理方法及装置 | |
WO2021003187A1 (en) | Analysis of intellectual-property data in relation to products and services | |
Hirata et al. | Uncovering the impact of COVID-19 on shipping and logistics | |
CN113807728A (zh) | 基于神经网络的绩效考核方法、装置、设备及存储介质 | |
CN116155628B (zh) | 网络安全检测方法、训练方法、装置、电子设备和介质 | |
Huang et al. | Deep residual network training for reinforced concrete defects intelligent classifier | |
CN107766537A (zh) | 一种职位搜索排序方法及计算设备 | |
WO2023050143A1 (zh) | 一种推荐模型训练方法及装置 | |
CN110737749B (zh) | 创业计划评价方法、装置、计算机设备及存储介质 | |
CN110262906B (zh) | 接口标签推荐方法、装置、存储介质和电子设备 | |
CN113780675A (zh) | 一种消耗预测方法、装置、存储介质及电子设备 | |
Dimopoulos et al. | Artificial intelligence for mass appraisals of residential properties in Nicosia: mathematical modelling and algorithmic implementation | |
Capeletti et al. | Identification of nontechnical losses in distribution systems adding exogenous data and artificial intelligence | |
Stefanowski et al. | Final remarks on big data analysis and its impact on society and science | |
CN114637921B (zh) | 基于建模偶然不确定性的物品推荐方法、装置和设备 | |
JP6948425B2 (ja) | 判定装置、判定方法及び判定プログラム | |
Maruyama et al. | A method of finding characteristic ocean-satellite-image groups using autoencoder | |
JP2022078311A (ja) | 情報処理システム、情報処理方法、およびプログラム | |
CN117634885A (zh) | 数据检测方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |