CN111667104A - 一种突发水质污染环境下的贝叶斯迁移学习方法 - Google Patents
一种突发水质污染环境下的贝叶斯迁移学习方法 Download PDFInfo
- Publication number
- CN111667104A CN111667104A CN202010472457.8A CN202010472457A CN111667104A CN 111667104 A CN111667104 A CN 111667104A CN 202010472457 A CN202010472457 A CN 202010472457A CN 111667104 A CN111667104 A CN 111667104A
- Authority
- CN
- China
- Prior art keywords
- bayesian
- pollution environment
- sudden
- water quality
- learning method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
- G06F18/24155—Bayesian classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Abstract
本发明公开了一种突发水质污染环境下的贝叶斯迁移学习方法,包括以下步骤:S1:收集历史数据,形成数据集;S2:对数据集进行原域贝叶斯网络建模;S3:使用迁移学习方法将贝叶斯网络迁移到目标域中突发水质污染环境数据中;S4:突发污染环境下的水质预测结果输出。本发明具有较强的时效性、解释性和预测精度。
Description
技术领域
本发明涉及水质预测领域,尤其涉及一种突发水质污染环境下的贝叶斯迁移学习方法。
背景技术
水质预测是水污染防控的重要组成部分,是一种辅助和改善各种社会经济、环境等决策过程的有利工具,使得水资源的开发建设活动建立在环境协调和可持续发展的基础上,在水环境管理中起着重要的作用。通过对水质的预测可以了解其变化状况,特别是突发水污染环境下的水质预测,其准确的预测可以及时地采取有效的处理措施,对预防疾病,提高人民健康水平,保证社会稳定,为社会经济环境可持续发展提供技术保障。
针对这一问题,管理者和研究者建立了很多预测模型,例如回归分析、灰色模型、机器学习、人工神经网络等,在预测建模中,数据样本量的大小直接影响建模效果,突发污染环境下,可利用的数据较少,在数据样本量较少的情况下,提出一种迁移学习的贝叶斯网络,解决样本缺失条件下的突发水质污染预测问题。
发明内容
针对上述现有技术的不足,本专利申请提出一种突发水质污染环境下的贝叶斯迁移学习方法化。
为了实现上述目的,本发明采用了如下技术方案:
一种突发水质污染环境下的贝叶斯迁移学习方法,包括以下步骤:
S1:收集历史数据,形成数据集;
S2:对数据集进行原域贝叶斯网络建模;
S3:使用迁移学习方法将贝叶斯网络迁移到目标域中突发水质污染环境数据中;
S4:突发污染环境下的水质预测结果输出。
进一步的,步骤S1中收集历史数据的步骤还包括:将数据集分为大样本的常规水质数据集与小样本的突发水质污染环境下的数据集。
进一步的,步骤S2的具体步骤为:
A1:确定贝叶斯网络的节点;
A2:确定贝叶斯网络结构;
A3:确定条件概率表。
进一步的,步骤A1中,对水质进行区域划分使用地表水环境质量标准现值,得到水质类别,作为目标节点,其余属性为影响节点。
进一步的,所述步骤A2中使用K2算法进行贝叶斯网络结构学习,具体步骤为:
B1:确定最大父节点数(数据集属性个数)以及顺序(目标节点为最后一个);
B2:计算网络得分,计算公式如下:
其中,属性Xi有ri个状态,父节点集合pxi有qi个状态,Nijk是属性Xi的第k个状态。
B3:开始搜索父节点,并计算新的网络得分;
B4:与之前的网络得分进行比较,若大于以前的网络得分则保留该父节点,若小于则丢弃该父节点;
B5:重复步骤B2至步骤B4,直到搜索完所有的节点。
进一步的,所述步骤A3中使用最大似然参数估计方法进行贝叶斯网络参数学习,得到贝叶斯网络每个节点的条件概率表,具体计算方式如下:对于给定的参数x,数据D的条件概率P(D|x)称为x的似然度,被记为L(x|D)=P(D|x);称为x的似然函数。使L(x|D)达到最大的那个值x*就是参数x的最大似然估计。
进一步的,步骤S3的具体步骤为:
C1:衡量两个数据集之间的分布差异;
C2:更新迁移贝叶斯网络。
进一步的,所述步骤C1中衡量两个数据集之间的分布差异,使用最大均值差异(Maximum mean discrepancy,MMD),度量两个样本在再生希尔伯特空间中两个分布的距离,要求计算值足够小,计算如下:
其中,k(.)是映射,用于把原变量映射到高维空间中,X表示大样本的常规水质数据集,Y表示小样本的突发水质污染环境下的数据集,m,n分表表示X,Y的样本个数。
进一步的,所述步骤C2所述的更新迁移贝叶斯网络使用小样本的突发水质污染环境下的数据集更新迁移贝叶斯网络的节点参数,使用贝叶斯方法更新参数,具体方法如下:
其中P(O)是权利要求6中贝叶斯网络训练的参数分布,data为小样本的突发水质污染环境下的数据集。
进一步的,所述的突发污染环境下的水质预测结果输出具体步骤为:按照训练输入-输出模式,将新的数据输入迁移贝叶斯网络中,模型输出即为突发污染环境下的水质预测结果。
有益效果
(1)贝叶斯网络在模型中建立各变量之间的依赖关系时,能够处理缺失数据,其因果学习能力让它能够很好的理解领域问题,具有较强的解释性;
(2)迁移学习使得突发污染境下的水质数据集能够使用贝叶斯网络的网络结构与参数,解决了样本缺失条件下的突发水质污染预测问题;
(3)为解决其他小样本预测问题提供了一种有效途径。
附图说明:
图1为本发明所述一种突发水质污染环境下的贝叶斯迁移学习方法的系统流程图;
图2为本发明所述一种突发水质污染环境下的贝叶斯迁移学习方法的算法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
参照图1-图2,一种突发水质污染环境下的贝叶斯迁移学习方法,包括以下步骤:
S1:收集历史数据,形成数据集;
S2:对数据集进行原域贝叶斯网络建模;
S3:使用迁移学习方法将贝叶斯网络迁移到目标域中突发水质污染环境数据中;
S4:突发污染环境下的水质预测结果输出。
优化的,步骤S1中收集历史数据的步骤还包括:将数据集分为大样本的常规水质数据集与小样本的突发水质污染环境下的数据集。
优化的,步骤S2的具体步骤为:
A1:确定贝叶斯网络的节点;
A2:确定贝叶斯网络结构;
A3:确定条件概率表。
优化的,步骤A1中,对水质进行区域划分使用地表水环境质量标准现值,得到水质类别,作为目标节点,其余属性为影响节点。
优化的,所述步骤A2中使用K2算法进行贝叶斯网络结构学习,具体步骤为:
B1:确定最大父节点数(数据集属性个数)以及顺序(目标节点为最后一个);
B2:计算网络得分,计算公式如下:
其中,属性Xi有ri个状态,父节点集合pxi有qi个状态,Nijk是属性Xi的第k个状态。
B3:开始搜索父节点,并计算新的网络得分;
B4:与之前的网络得分进行比较,若大于以前的网络得分则保留该父节点,若小于则丢弃该父节点;
B5:重复步骤B2至步骤B4,直到搜索完所有的节点。
优化的,所述步骤A3中使用最大似然参数估计方法进行贝叶斯网络参数学习,得到贝叶斯网络每个节点的条件概率表,具体计算方式如下:对于给定的参数x,数据D的条件概率P(D|x)称为x的似然度,被记为L(x|D)=P(D|x);称为x的似然函数。使L(x|D)达到最大的那个值x*就是参数x的最大似然估计。
优化的,步骤S3的具体步骤为:
C1:衡量两个数据集之间的分布差异;
C2:更新迁移贝叶斯网络。
优化的,所述步骤C1中衡量两个数据集之间的分布差异,使用最大均值差异(Maximum mean discrepancy,MMD),度量两个样本在再生希尔伯特空间中两个分布的距离,要求计算值足够小,计算如下:
其中,k(.)是映射,用于把原变量映射到高维空间中,X表示大样本的常规水质数据集,Y表示小样本的突发水质污染环境下的数据集,m,n分表表示X,Y的样本个数。
优化的,所述步骤C2所述的更新迁移贝叶斯网络使用小样本的突发水质污染环境下的数据集更新迁移贝叶斯网络的节点参数,使用贝叶斯方法更新参数,具体方法如下:
其中P(O)是权利要求6中贝叶斯网络训练的参数分布,data为小样本的突发水质污染环境下的数据集。
优化的,所述的突发污染环境下的水质预测结果输出具体步骤为:按照训练输入-输出模式,将新的数据输入迁移贝叶斯网络中,模型输出即为突发污染环境下的水质预测结果。
有益效果
(1)贝叶斯网络在模型中建立各变量之间的依赖关系时,能够处理缺失数据,其因果学习能力让它能够很好的理解领域问题,具有较强的解释性;
(2)迁移学习使得突发污染境下的水质数据集能够使用贝叶斯网络的网络结构与参数,解决了样本缺失条件下的突发水质污染预测问题;
(3)为解决其他小样本预测问题提供了一种有效途径。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于:包括以下步骤:
S1:收集历史数据,形成数据集;
S2:对数据集进行原域贝叶斯网络建模;
S3:使用迁移学习方法将贝叶斯网络迁移到目标域中突发水质污染环境数据中;
S4:突发污染环境下的水质预测结果输出。
2.根据权利要求1所述的一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于,步骤S1中收集历史数据的步骤还包括:将数据集分为大样本的常规水质数据集与小样本的突发水质污染环境下的数据集。
3.根据权利要求2所述的一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于,步骤S2的具体步骤为:
A1:确定贝叶斯网络的节点;
A2:确定贝叶斯网络结构;
A3:确定条件概率表。
4.根据权利要求3所述的一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于,步骤A1中,对水质进行区域划分使用地表水环境质量标准现值,得到水质类别,作为目标节点,其余属性为影响节点。
7.根据权利要求6所述的一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于,步骤S3的具体步骤为:
C1:衡量两个数据集之间的分布差异;
C2:更新迁移贝叶斯网络。
10.根据权利要求9所述的一种突发水质污染环境下的贝叶斯迁移学习方法,其特征在于,所述的突发污染环境下的水质预测结果输出具体步骤为:按照训练输入-输出模式,将新的数据输入迁移贝叶斯网络中,模型输出即为突发污染环境下的水质预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010472457.8A CN111667104B (zh) | 2020-05-29 | 2020-05-29 | 一种突发水质污染环境下的贝叶斯迁移学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010472457.8A CN111667104B (zh) | 2020-05-29 | 2020-05-29 | 一种突发水质污染环境下的贝叶斯迁移学习方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111667104A true CN111667104A (zh) | 2020-09-15 |
CN111667104B CN111667104B (zh) | 2023-08-04 |
Family
ID=72385217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010472457.8A Active CN111667104B (zh) | 2020-05-29 | 2020-05-29 | 一种突发水质污染环境下的贝叶斯迁移学习方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111667104B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100834187B1 (ko) * | 2007-01-17 | 2008-06-10 | 부산대학교 산학협력단 | 베이지안 네트워크를 이용한 하ㆍ폐수 처리공정의 진단시스템 |
CN105005688A (zh) * | 2015-06-30 | 2015-10-28 | 北京师范大学 | 基于贝叶斯网络模型的水质污染判断方法 |
CN106526112A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 一种基于鱼类活性分析的水质毒性检测方法 |
CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
CN108414226A (zh) * | 2017-12-25 | 2018-08-17 | 哈尔滨理工大学 | 基于特征迁移学习的变工况下滚动轴承故障诊断方法 |
CN109190865A (zh) * | 2018-06-25 | 2019-01-11 | 西南交通大学 | 贝叶斯网络水质指标评价方法、水域水质等级评价方法、水质指标预测方法 |
CN109375999A (zh) * | 2018-10-23 | 2019-02-22 | 北京工业大学 | 一种基于贝叶斯网络的mec随机任务迁移方法 |
CN110148296A (zh) * | 2019-04-16 | 2019-08-20 | 南京航空航天大学 | 一种基于深度迁移学习的跨城市交通流量联合预测方法 |
-
2020
- 2020-05-29 CN CN202010472457.8A patent/CN111667104B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100834187B1 (ko) * | 2007-01-17 | 2008-06-10 | 부산대학교 산학협력단 | 베이지안 네트워크를 이용한 하ㆍ폐수 처리공정의 진단시스템 |
CN105005688A (zh) * | 2015-06-30 | 2015-10-28 | 北京师范大学 | 基于贝叶斯网络模型的水质污染判断方法 |
CN106526112A (zh) * | 2016-10-25 | 2017-03-22 | 浙江工业大学 | 一种基于鱼类活性分析的水质毒性检测方法 |
CN106872657A (zh) * | 2017-01-05 | 2017-06-20 | 河海大学 | 一种多变量水质参数时序数据异常事件检测方法 |
CN108414226A (zh) * | 2017-12-25 | 2018-08-17 | 哈尔滨理工大学 | 基于特征迁移学习的变工况下滚动轴承故障诊断方法 |
CN109190865A (zh) * | 2018-06-25 | 2019-01-11 | 西南交通大学 | 贝叶斯网络水质指标评价方法、水域水质等级评价方法、水质指标预测方法 |
CN109375999A (zh) * | 2018-10-23 | 2019-02-22 | 北京工业大学 | 一种基于贝叶斯网络的mec随机任务迁移方法 |
CN110148296A (zh) * | 2019-04-16 | 2019-08-20 | 南京航空航天大学 | 一种基于深度迁移学习的跨城市交通流量联合预测方法 |
Non-Patent Citations (4)
Title |
---|
刘彬 等: "一种通过节点序寻优进行贝叶斯网络结构学习的算法", 《电子与信息学报》 * |
孙鹏程 等: "基于贝叶斯网络的河流突发性水质污染事故风险评估", 《环境科学》 * |
靳春玲等: "突发水污染风险的马尔科夫链贝叶斯网络预测", 《人民黄河》 * |
韩敏等: "改进贝叶斯ARTMAP的迁移学习遥感影像分类算法", 《电子学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN111667104B (zh) | 2023-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108399748B (zh) | 一种基于随机森林与聚类算法的道路旅行时间预测方法 | |
CN109697512B (zh) | 基于贝叶斯网络的个人数据分析方法及计算机存储介质 | |
CN109241291A (zh) | 基于深度强化学习的知识图谱最优路径查询系统及其方法 | |
CN104408518B (zh) | 基于粒子群优化算法的神经网络学习优化方法 | |
CN106529818B (zh) | 基于模糊小波神经网络的水质评价预测方法 | |
CN109523021A (zh) | 一种基于长短时记忆网络的动态网络结构预测方法 | |
CN110504676B (zh) | 一种基于apso-bp的配电网状态估计方法 | |
CN111652425A (zh) | 一种基于粗糙集和长短期记忆网络的河流水质预测方法 | |
CN109743196A (zh) | 一种基于跨双层网络随机游走的网络表征方法 | |
CN112149990B (zh) | 一种基于预测的模糊供需匹配方法 | |
Davarynejad et al. | A novel general framework for evolutionary optimization: Adaptive fuzzy fitness granulation | |
CN108460462A (zh) | 一种基于区间参数优化的区间神经网络学习方法 | |
CN106934242A (zh) | 基于交叉熵法的多模式下设备的健康度评估方法及系统 | |
CN108898257A (zh) | 一种基于粒子群优化的灰色预测方法 | |
CN110852435A (zh) | 一种基于神经进化计算模型 | |
CN116992779B (zh) | 基于数字孪生模型的光伏储能系统仿真方法及系统 | |
CN104537224B (zh) | 基于自适应学习算法的多状态系统可靠性分析方法及系统 | |
CN109740221B (zh) | 一种基于搜索树的智能工业设计算法 | |
CN111667104B (zh) | 一种突发水质污染环境下的贝叶斯迁移学习方法 | |
CN115620046A (zh) | 一种基于半监督性能预测器的多目标神经架构搜索方法 | |
CN108596781A (zh) | 一种电力系统数据挖掘与预测整合方法 | |
CN109711040B (zh) | 一种基于搜索方向学习的智能工业设计强化学习算法 | |
Seresht et al. | Application of fuzzy logic integrated with system dynamics in construction modeling | |
CN112132259A (zh) | 神经网络模型输入参量降维方法及计算机可读存储介质 | |
JP4267726B2 (ja) | 制御装置における動作信号と操作量との関係を決定する装置、制御装置、データ生成装置、入出力特性決定装置及び相関関係評価装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |