CN117951584A - 一种基于ai和物联网技术的海洋数据处理和信息调度系统 - Google Patents

一种基于ai和物联网技术的海洋数据处理和信息调度系统 Download PDF

Info

Publication number
CN117951584A
CN117951584A CN202410284969.XA CN202410284969A CN117951584A CN 117951584 A CN117951584 A CN 117951584A CN 202410284969 A CN202410284969 A CN 202410284969A CN 117951584 A CN117951584 A CN 117951584A
Authority
CN
China
Prior art keywords
data
module
layer
internet
marine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410284969.XA
Other languages
English (en)
Other versions
CN117951584B (zh
Inventor
刘刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Qiho Information Technology Co ltd
Original Assignee
Qingdao Qiho Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Qiho Information Technology Co ltd filed Critical Qingdao Qiho Information Technology Co ltd
Priority to CN202410284969.XA priority Critical patent/CN117951584B/zh
Publication of CN117951584A publication Critical patent/CN117951584A/zh
Application granted granted Critical
Publication of CN117951584B publication Critical patent/CN117951584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及数据处理技术领域,具体涉及一种基于AI和物联网技术的海洋数据处理和信息调度系统,包括数据采集模块、数据预处理模块、数据分析模块以及信息调度模块,其中;所述数据采集模块利用物联网设备,实时收集海洋环境数据;所述数据预处理模块对收集到的数据进行清洗、筛选和格式化,以去除噪声;所述数据分析模块对预处理后的数据进行分析,具体包括:异常检测子模块;微量污染物识别与追踪子模块;所述信息调度模块基于数据分析模块提供的分析,制定和调整海洋资源管理和保护策略,本发明,确保海洋保护措施的科学性和有效性,提高对环境变化和潜在威胁的响应能力。

Description

一种基于AI和物联网技术的海洋数据处理和信息调度系统
技术领域
本发明涉及数据处理技术领域,尤其涉及一种基于AI和物联网技术的海洋数据处理和信息调度系统。
背景技术
海洋环境的监测和保护面临诸多挑战,特别是在识别和追踪污染物、评估其对生态系统的影响以及制定有效的管理和保护措施方面,传统方法依赖大量现场采样和实验室分析,这些方法通常耗时耗力,且难以实现实时监测和快速响应,随着物联网信息技术和环境科学的发展,利用高级数据处理技术对海洋环境数据进行分析成为了一个新的趋势。
然而,直接应用传统的数据分析方法在海洋环境监测中仍面临诸多限制。一方面,海洋环境数据的高维性和复杂性要求数据分析方法能有效处理大规模、多变量的数据集;另一方面,监测数据的特性要求数据分析方法具有高度的灵敏度和适应性,此外,由于海洋环境的动态变化,数据分析方法还需要能够捕捉与环境事件相关的异常模式。
在这样的背景下,需要一种既能处理高维复杂数据,又能灵敏识别异常模式的高级数据分析方法,此外,为了提高数据分析结果的可解释性和应用价值,还需要能够从数据中提取关键信息,以指导海洋资源管理和保护策略的制定和调整。
发明内容
基于上述目的,本发明提供了一种基于AI和物联网技术的海洋数据处理和信息调度系统。
一种基于AI和物联网技术的海洋数据处理和信息调度系统,包括数据采集模块、数据预处理模块、数据分析模块以及信息调度模块,其中;
所述数据采集模块利用物联网设备,实时收集海洋环境数据;
所述数据预处理模块对收集到的数据进行清洗、筛选和格式化,以去除噪声,纠正错误,确保数据一致性,为后续分析提供输入数据;
所述数据分析模块对预处理后的数据进行分析,具体包括:
a.异常检测子模块:采用改进自动编码器算法,识别数据中的异常点和异常模式,指示潜在的环境问题或设备故障;
b.微量污染物识别与追踪子模块:在异常检测的基础上,结合化学和生物传感器技术,以及分析算法,识别和追踪海洋中的微量污染物;
所述信息调度模块基于数据分析模块提供的分析,制定和调整海洋资源管理和保护策略,实现资源的优化配置和利用。
进一步的,所述数据采集模块具体包括利用浮标、潜水器和卫星传感器物联网设备,按照预定时间间隔和地理位置参数,实时收集海洋环境数据,所述浮标装备有温度和盐度传感器,用于测量海水表面的温度和盐度;潜水器装备有流速传感器和生物分布探测器,在不同深度收集海水的流速数据以及生物分布情况;卫星传感器则从空中监测大范围的海洋表面温度、盐度和海流模式。
进一步的,所述改进自动编码器算法具体包括数据重构,自动编码器算法通过编码器f(x)将输入数据x转换为隐藏表示h,然后通过解码器g(h)尝试重构输入,即编码器f(x)和解码器g(h)基于深度神经网络,所述编码器f(x)通过多层表示,每一层l的输出h(l)表示为前一层输出h(l-1)的非线性变换:h(l)=σ(W(l)h(l-1)+b(l)),其中,σ是非线性激活函数,如ReLU或Sigmoid,W(l)和b(l)分别是第l层的权重和偏置,h(0)是输入数据x;所述解码器g(h)结构镜像编码器,每一层从隐藏表示重构数据,直到输出层重构出/>h(l′)=σ(W(l′)h(l′-1)+b(l′)),解码器的最后一层输出/>其中L′是解码器的最后一层,为了使自动编码器适合海洋数据处理,同时在编码器的输入层或某一中间层加入海洋数据的上下文信息c,如时间、地点、季节,通过拼接上下文信息到相应层的输出上实现:/>其中,lc表示选择加入上下文信息的层,concat是拼接操作;
所述编码器f(x)和解码器g(h)的参数分别由θf和θg表示,数据的重构表示为:其中,x是原始输入数据,/>是重构数据;
进而通过异常评分机制识别异常。
进一步的,所述编码器f(x)的参数θf包括所有编码层的权重和偏置:
θf={(W(1),b(1)),(W(2),b(2)),…),(W(L),b(L))},其中,L是编码器的最后一层,每一对(W(l),b(l))代表第l层的权重和偏置;
所述解码器g(h)的参数θg包括所有解码层的权重和偏置:
θg={(W(1′),b(1′)),(W(2′),b(2′)),…,(W(L′),b(L′))},其中,L′是解码器的最后一层,每一对(W(l′),b(l′))代表第l′层的权重和偏置;
当引入海洋数据的上下文信息c时,c被视为额外的输入层或通过拼接加入到某一层的输出,若选择在第lc层引入上下文信息,那么该层的输出将变为因此,从该层开始,直到网络的最后一层,所有相关层的权重和偏置也将相应地调整以适应增强后的输出,因此,引入上下文信息后,编码器和解码器的参数θf和θg将包括调整后的权重和偏置,以及与上下文信息整合相关的参数。
进一步的,所述异常评分机制结合了重构误差和上下文异常指标,重构误差Er衡量原始输入数据x与重构数据之间的差异,采用均方误差MSE来计算:其中,N是数据点的数量;
上下文异常指标Ec考虑数据的上下文特性,包括季节性变化和地理位置相关性,设C(x)为上下文特征函数,包括时间戳、地理位置上下文信息,则上下文异常指标表示为与预期上下文特征cexp的偏差:Ec(x)=‖C(x)-cexp‖,综合考虑重构误差和上下文异常指标,总的异常评分S表示为:
其中,α和β是用于平衡两种误差影响的权重系数;
异常评分S综合考虑数据的重构质量和上下文相关性,提供一个综合的异常指示,当S(x)超过预定的阈值时,数据点x被认为是异常的,指示环境问题或设备故障。
进一步的,所述微量污染物识别与追踪子模块具体包括:
当异常检测子模块通过改进自动编码器算法识别出数据中的异常点或模式时,微量污染物识别与追踪子模块激活,对异常数据点进行分析;
利用与物联网设备集成的化学传感器和生物传感器,对异常数据点周围的海水样本进行采集和测试,在低浓度水平下检测特定的污染物,提供化学和生物标志物数据;
结合化学和生物传感器提供的数据,使用分析算法对污染物的类型、浓度和来源进行识别,根据历史数据和已知污染物的特征模式,对新检测到的污染物进行分类和来源分析,利用海洋流动模型预测污染物的传播路径和潜在影响区域。
进一步的,所述化学传感器包括:
电化学传感器:通过测量溶液中的电化学活性来检测特定化学物质,检测溶解在海水中的重金属离子;
质谱传感器:利用质谱技术对样品中的元素和同位素进行精确分析,检测微量的重金属和无机污染物,通过测量不同质量/电荷比的离子强度,来识别和定量元素;
光学化学传感器:基于荧光传感器和拉曼光谱传感器,检测有机污染物和无机物质,通过测量样品对特定波长光的吸收、发射或散射来检测污染物;
所述生物传感器具体包括:
酶基传感器:利用特定酶的生物催化活性来检测目标污染物,使用有机磷酶(对有机磷农药敏感)或重金属离子酶(对特定重金属敏感)来检测相应的污染物;
微生物传感器:利用微生物的代谢活动来检测特定的化学物质,当微生物接触到目标污染物时,代谢活动会发生变化,该变化通过测量微生物产生的生物电流、荧光或其他生物标记物来检测。
进一步的,所述分析算法基于稀疏PCA(主成分分析)技术,具体包括:
利用化学和生物传感器收集的海洋环境数据进行预处理确保数据在相同的尺度上进行分析;
稀疏PCA模型建立:约束稀疏性,在PCA的目标函数中引入L1正则化项,以促进解的稀疏性,稀疏PCA的优化问题表示为:
其中,X是经过预处理的数据集(矩阵),wk是第k个主成分的权重向量,λ是控制稀疏程度的正则化参数,‖wk1≤λ是稀疏性约束,限制wk中非零权重数量不超过λ,‖·‖1和‖·‖2分别表示L1和L2范数,通过求解优化问题,提取若干个稀疏主成分,每个主成分都是原始变量的稀疏线性组合,仅包括少数非零权重的变量;
污染物识别与分类:使用提取的稀疏主成分作为新的特征集,对污染物进行识别和分类,这些主成分突出了原始数据中最重要的变量,有助于揭示污染物的主要特征,结合历史污染数据和已知的污染物特征模式,通过监督学习方法建立分类模型,将稀疏主成分作为输入,进行污染物的类型和来源分析。
进一步的,所述监督学习方法建立分类模型具体包括:
设从数据集X中提取了m个稀疏主成分,得到了一个新的特征矩阵XsPCA,其中每一列对应一个稀疏主成分,每一行代表一个样本在主成分上的投影;
选择逻辑回归模型的监督学习算法,表示为:
其中,x是输入特征向量(在这里指稀疏主成分构成的特征向量),w是模型参数,p(y=1|x;w)是给定输入x下样本属于正类(某一特定污染物类型或来源)的概率;
训练分类模型:使用提取的稀疏主成分XsPCA作为新特征集输入到选择的逻辑回归模型中,准备对应的标签数据y,则,使用yi表示第i个样本的污染物类型或来源,模型训练的目标是最小化损失函数,采用交叉熵损失,表述为:
其中,pi=p(y=1|xi;w),N是样本数量,第二项是L2正则化项,用于防止过拟合,λ是正则化参数。
进一步的,所述信息调度模块具体包括:
识别受影响区域:基于数据分析模块提供的污染物分布和浓度信息,识别出受污染和潜在受威胁的海洋区域;
评估环境影响:利用数据分析模块提供的关于污染物对海洋生态影响信息,评估污染事件对生物多样性、渔业资源和海洋生态服务的潜在影响;
制定应急措施:根据污染事件的严重程度和影响范围,信息调度模块制定应急措施,包括启动污染清理行动、设置禁渔区和发布公众预警。
本发明的有益效果:
本发明,采用的改进自动编码器算法通过引入上下文信息和特定的异常评分机制,显著提高了海洋环境数据异常检测的准确性和效率,能够有效识别海洋数据中的异常点和模式,从而及时指示潜在的环境问题或设备故障,这对于实时监控海洋环境状况、预防和应对突发环境事件至关重要,为海洋资源管理和保护提供了强大的数据支持。
本发明,通过使用稀疏主成分分析(Sparse PCA)技术,能够从复杂的海洋环境数据中提取出最关键的特征,同时保持特征的稀疏性,从而简化了数据并提高了分析的解释性,不仅有助于高效地处理大量数据,还使得污染物的类型、浓度和来源分析更加准确和直观,特别是在识别和追踪特定污染事件,稀疏PCA技术能够突出与事件相关的关键指标,为采取有效的应对措施提供了可靠依据。
本发明,结合改进的自动编码器和稀疏PCA技术,信息调度模块能够基于深入的数据分析结果,动态制定和调整海洋资源管理和保护策略,这种数据驱动的管理方法能够确保海洋保护措施的科学性和有效性,提高对环境变化和潜在威胁的响应能力。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的系统功能模块示意图;
图2为本发明实施例的改进自动编码器算法流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,对本发明进一步详细说明。
需要说明的是,除非另外定义,本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如图1-2所示,一种基于AI和物联网技术的海洋数据处理和信息调度系统,包括数据采集模块、数据预处理模块、数据分析模块以及信息调度模块,其中;
数据采集模块利用物联网设备,实时收集海洋环境数据;
数据预处理模块对收集到的数据进行清洗、筛选和格式化,以去除噪声,纠正错误,确保数据一致性,为后续分析提供输入数据;
数据分析模块对预处理后的数据进行分析,具体包括:
a.异常检测子模块:采用改进自动编码器算法,识别数据中的异常点和异常模式,指示潜在的环境问题或设备故障;
b.微量污染物识别与追踪子模块:在异常检测的基础上,结合化学和生物传感器技术,以及分析算法,识别和追踪海洋中的微量污染物,如重金属和微塑料,评估其对海洋生态系统的潜在影响;
信息调度模块基于数据分析模块提供的分析,制定和调整海洋资源管理和保护策略,实现资源的优化配置和利用。
数据采集模块具体包括利用浮标、潜水器和卫星传感器物联网设备,按照预定时间间隔和地理位置参数,实时收集海洋环境数据,浮标装备有温度和盐度传感器,用于测量海水表面的温度和盐度;潜水器装备有流速传感器和生物分布探测器,在不同深度收集海水的流速数据以及生物分布情况;卫星传感器则从空中监测大范围的海洋表面温度、盐度和海流模式,这些物联网设备通过无线或卫星通讯技术,将收集到的数据实时传输至数据预处理模块,以供数据预处理模块进一步处理。此外,数据采集模块还包括一个动态调整机制,根据实时数据和历史数据分析结果,自动调整物联网设备的采集频率和采集位置,以优化数据采集效率和准确性。
改进自动编码器算法具体包括数据重构,自动编码器算法通过编码器f(x)将输入数据x转换为隐藏表示h,然后通过解码器g(h)尝试重构输入,即 编码器f(x)和解码器g(h)基于深度神经网络,编码器f(x)通过多层表示,每一层l的输出h(l)表示为前一层输出h(l-1)的非线性变换:h(l)=σ(W(l)h(l-1)+b(l)),其中,σ是非线性激活函数,如ReLU或Sigmoid,W(l)和b(l)分别是第l层的权重和偏置,h(0)是输入数据x;解码器g(h)结构镜像编码器,每一层从隐藏表示重构数据,直到输出层重构出/>h(l′)=σ(W(l′)h(l′-1)+b(l′)),解码器的最后一层输出/>其中L′是解码器的最后一层,为了使自动编码器适合海洋数据处理,同时在编码器的输入层或某一中间层加入海洋数据的上下文信息c,如时间、地点、季节,通过拼接上下文信息到相应层的输出上实现:/>其中,lc表示选择加入上下文信息的层,concat是拼接操作;
编码器f(x)和解码器g(h)的参数分别由θf和θg表示,数据的重构表示为:其中,x是原始输入数据,/>是重构数据;
进而通过异常评分机制识别异常。
编码器f(x)的参数θf包括所有编码层的权重和偏置:
θf={(W(1),b(1)),(W(2),b(2)),…,(W(L),b(L))},其中,L是编码器的最后一层,每一对(W(l),b(l))代表第l层的权重和偏置;
解码器g(h)的参数θg包括所有解码层的权重和偏置:
θg={(W(1′),b(1′)),(W(2′),b(2′)),…,(W(L′),b(L′))},其中,L′是解码器的最后一层,每一对(W(l′),b(l′))代表第l′层的权重和偏置;
当引入海洋数据的上下文信息c时,c被视为额外的输入层或通过拼接加入到某一层的输出,若选择在第lc层引入上下文信息,那么该层的输出将变为因此,从该层开始,直到网络的最后一层,所有相关层的权重和偏置也将相应地调整以适应增强后的输出,因此,引入上下文信息后,编码器和解码器的参数θf和θg将包括调整后的权重和偏置,以及与上下文信息整合相关的参数(如果有的话),例如,如果在编码器的第lc层引入上下文信息,则θf将包括这一层及之后所有层调整后的权重和偏置。
异常评分机制结合了重构误差和上下文异常指标,重构误差Er衡量原始输入数据x与重构数据之间的差异,采用均方误差MSE来计算:/> 其中,N是数据点的数量;
上下文异常指标Ec考虑数据的上下文特性,包括季节性变化和地理位置相关性,设C(x为上下文特征函数,包括时间戳、地理位置上下文信息,则上下文异常指标表示为与预期上下文特征cexp的偏差:Ec(x)=‖C(x)-cexp‖,综合考虑重构误差和上下文异常指标,总的异常评分S表示为:
其中,α和β是用于平衡两种误差影响的权重系数;
异常评分S综合考虑数据的重构质量和上下文相关性,提供一个综合的异常指示,当S(x)超过预定的阈值时,数据点x被认为是异常的,指示环境问题或设备故障。
在海洋环境监测与保护项目中,需要实时监测海洋环境的变化,以便及时发现和响应可能的污染事件、生态系统变化或异常现象,海洋数据的类型繁多,包括水温、盐度、海流速度、污染物浓度、生物多样性指标等,而且这些数据受季节变化、地理位置和天气条件等因素影响。
采用改进的自动编码器算法,构建一个海洋环境数据处理和分析单元。通过物联网设备实时收集海洋环境数据,这些数据经过预处理后,输入到改进的自动编码器中进行分析,包括:
数据重构:自动编码器通过深度学习模型学习输入数据的复杂特征,并尝试重构输入数据,以验证数据的一致性和完整性,通过这一步,能够学习到海洋环境数据的正常模式。
异常评分机制:结合重构误差和上下文异常指标,能够识别出与正常模式显著不同的数据点,这表示环境问题或设备故障,上下文信息,如季节性变化和特定地理位置的历史数据,被用于增强异常评分的准确性。
设在某一特定海域部署了一套监测系统,在夏季期间收集到的数据显示,某个区域的水温突然升高,而且该变化与历史数据和周围区域的数据都显著不同,改进的自动编码器在处理这些数据时,首先通过编码器和解码器重构水温数据,然后,异常评分机制结合重构误差和水温变化的上下文信息(如该区域的季节性水温变化范围和速度),计算出异常评分。
当异常评分超过预设的阈值时,标记该数据点为异常,并触发警报,随后决策者接收到这一警报,采取进一步调查和应对措施,如到现场采样分析,以确定是否有污染事件发生,或者是其他自然或人为因素导致的环境变化。
通过这种应用,改进的自动编码器算法不仅能够有效地处理和分析海洋环境数据,还能提高对异常事件的响应速度和准确性,从而为海洋环境的监测与保护提供有力的技术支持。
微量污染物识别与追踪子模块具体包括:
当异常检测子模块通过改进自动编码器算法识别出数据中的异常点或模式时,微量污染物识别与追踪子模块激活,对异常数据点进行分析;
利用与物联网设备集成的化学传感器和生物传感器,对异常数据点周围的海水样本进行采集和测试,在低浓度水平下检测特定的污染物,提供化学和生物标志物数据;
结合化学和生物传感器提供的数据,使用分析算法对污染物的类型、浓度和来源进行识别,根据历史数据和已知污染物的特征模式,对新检测到的污染物进行分类和来源分析,利用海洋流动模型预测污染物的传播路径和潜在影响区域。
生成详细的污染物识别和追踪报告,包括污染物类型、浓度、检测位置、预测的传播路径和潜在影响,该报告被用于指导后续的应对措施和决策制定,如清理行动、长期监测计划和政策调整。
化学传感器包括:
电化学传感器:通过测量溶液中的电化学活性来检测特定化学物质,检测溶解在海水中的重金属离子,如铅、汞和砷;
质谱传感器:利用质谱技术(电感耦合等离子体质谱仪,ICP-MS)对样品中的元素和同位素进行精确分析,检测微量的重金属和无机污染物,通过测量不同质量/电荷比的离子强度,来识别和定量元素;
光学化学传感器:基于荧光传感器和拉曼光谱传感器,检测有机污染物和无机物质,通过测量样品对特定波长光的吸收、发射或散射来检测污染物,对于检测海水中的石油烃、多环芳烃等有机污染物特别有效;
生物传感器具体包括:
酶基传感器:利用特定酶的生物催化活性来检测目标污染物,使用有机磷酶(对有机磷农药敏感)或重金属离子酶(对特定重金属敏感)来检测相应的污染物,酶的活性变化通过电化学、光学或其他方法进行检测;
微生物传感器:利用微生物的代谢活动来检测特定的化学物质,当微生物接触到目标污染物时,代谢活动会发生变化,该变化通过测量微生物产生的生物电流、荧光或其他生物标记物来检测,微生物传感器适用于检测各种有机污染物和重金属。
通过结合使用这些高灵敏度的化学和生物传感器,微量污染物识别与追踪子模块能够在极低的浓度水平下检测和识别海水样本中的特定污染物,从而对异常数据点进行深入分析并采取相应的应对措施。这种方法的关键是选择与目标污染物相匹配的传感器类型,并采用适当的信号放大和数据处理技术,以提高检测的准确性和灵敏度。
分析算法基于稀疏PCA(主成分分析)技术,具体包括:
利用化学和生物传感器收集的海洋环境数据进行预处理确保数据在相同的尺度上进行分析;
稀疏PCA模型建立:约束稀疏性,在PCA的目标函数中引入L1正则化项,以促进解的稀疏性,稀疏PCA的优化问题表示为:
其中,X是经过预处理的数据集(矩阵),wk是第k个主成分的权重向量,λ是控制稀疏程度的正则化参数,‖wk1≤λ是稀疏性约束,限制wk中非零权重数量不超过λ,‖·‖1和‖·‖2分别表示L1和L2范数,通过求解优化问题,提取若干个稀疏主成分,每个主成分都是原始变量的稀疏线性组合,仅包括少数非零权重的变量;
污染物识别与分类:使用提取的稀疏主成分作为新的特征集,对污染物进行识别和分类,这些主成分突出了原始数据中最重要的变量,有助于揭示污染物的主要特征,结合历史污染数据和已知的污染物特征模式,通过监督学习方法建立分类模型,将稀疏主成分作为输入,进行污染物的类型和来源分析;
由于稀疏PCA提取的主成分仅包含少数关键变量,结果的可解释性大大提高,通过分析这些变量及其对应的权重,可以更容易地识别污染物的来源和类型,为海洋环境保护提供有力的数据支持。
求解优化问题具体如下:
中心化海洋环境数据X,使每个变量的平均值为0。
构建优化问题;
求解优化问题:使用数值优化方法(稀疏PCA求解器)来求解优化问题,获得第一个稀疏主成分的载荷权重向量wk
提取多个主成分:通过对数据应用去相关化处理(即从数据中去除已提取的主成分的贡献),并重复上述过程,可以依次提取多个稀疏主成分。
监督学习方法建立分类模型具体包括:
设从数据集X中提取了m个稀疏主成分,得到了一个新的特征矩阵XsPCA,其中每一列对应一个稀疏主成分,每一行代表一个样本在主成分上的投影;
选择逻辑回归模型的监督学习算法,表示为:
其中,x是输入特征向量(在这里指稀疏主成分构成的特征向量),w是模型参数,p(y=1|x;w)是给定输入x下样本属于正类(某一特定污染物类型或来源)的概率;
训练分类模型:使用提取的稀疏主成分XsPCA作为新特征集输入到选择的逻辑回归模型中,准备对应的标签数据y,则,使用yi表示第i个样本的污染物类型或来源,模型训练的目标是最小化损失函数,采用交叉熵损失,表述为:
其中,pi=p(y=1|xi;w),N是样本数量,第二项是L2正则化项,用于防止过拟合,λ是正则化参数。使用一部分数据进行模型训练,另一部分数据进行测试和验证,评估模型的性能。
分类模型示例如下:
设某海域,发生了一起未被立即发现的油溢事件,导致原油泄漏进入海洋环境,通过部署在该海域的一系列物联网设备,如浮标和潜水器,配备了化学和生物传感器,实时收集海水中的化学成分和生物指标数据,数据包括水中的石油烃浓度、重金属含量、溶解氧水平和海洋生物的生物标记物。
利用收集到的海洋环境数据,应用稀疏PCA技术提取关键特征,以降维并突出与油溢事件相关的数据变化,生成一组稀疏主成分,主成分反映了数据中最重要的变异方向,特别强调与油溢事件相关的化学和生物指标。
利用监督学习分类模型,以稀疏PCA提取的主成分作为特征输入,模型训练使用历史数据集,其中包含已知的油溢事件和非事件情况的相应特征和标签,通过这种方式,模型学习区分油溢事件与正常海洋环境或其他类型的污染事件。
当新的海洋环境数据通过物联网设备收集并通过稀疏PCA处理后,使用训练好的分类模型对新数据进行分析,以识别是否发生了油溢事件,如果模型预测某个数据点或一系列数据点与油溢事件相关,自动标记位置,并利用海洋流动模型预测油污的可能扩散路径。
一旦油溢事件被识别和追踪,管理机构将获得包括油溢位置、预测的扩散范围、受影响范围等详细信息的报告。
信息调度模块具体包括:
识别受影响区域:基于数据分析模块提供的污染物分布和浓度信息,识别出受污染和潜在受威胁的海洋区域;
评估环境影响:利用数据分析模块提供的关于污染物对海洋生态影响信息,评估污染事件对生物多样性、渔业资源和海洋生态服务的潜在影响;
制定应急措施:根据污染事件的严重程度和影响范围,信息调度模块制定应急措施,包括启动污染清理行动、设置禁渔区和发布公众预警;
结合历史数据和当前事件分析,信息调度模块调整和优化长期的海洋资源管理和保护计划,包括调整保护区划分、制定海洋环境恢复项目和更新渔业管理政策。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本发明的范围被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。
本发明旨在涵盖落入权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,包括数据采集模块、数据预处理模块、数据分析模块以及信息调度模块,其中;
所述数据采集模块利用物联网设备,实时收集海洋环境数据;
所述数据预处理模块对收集到的数据进行清洗、筛选和格式化,以去除噪声,纠正错误,确保数据一致性,为后续分析提供输入数据;
所述数据分析模块对预处理后的数据进行分析,具体包括:
a.异常检测子模块:采用改进自动编码器算法,识别数据中的异常点和异常模式,指示潜在的环境问题或设备故障;
b.微量污染物识别与追踪子模块:在异常检测的基础上,结合化学和生物传感器技术,以及分析算法,识别和追踪海洋中的微量污染物;
所述信息调度模块基于数据分析模块提供的分析,制定和调整海洋资源管理和保护策略,实现资源的优化配置和利用。
2.根据权利要求1所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述数据采集模块具体包括利用浮标、潜水器和卫星传感器物联网设备,按照预定时间间隔和地理位置参数,实时收集海洋环境数据,所述浮标装备有温度和盐度传感器,用于测量海水表面的温度和盐度;潜水器装备有流速传感器和生物分布探测器,在不同深度收集海水的流速数据以及生物分布情况;卫星传感器则从空中监测大范围的海洋表面温度、盐度和海流模式。
3.根据权利要求2所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述改进自动编码器算法具体包括数据重构,自动编码器算法通过编码器f(x)将输入数据x转换为隐藏表示h,然后通过解码器g(h)尝试重构输入,即编码器f(x)和解码器g(h)基于深度神经网络,所述编码器f(x)通过多层表示,每一层l的输出h(l)表示为前一层输出h(l-1)的非线性变换:h(l)=σ(W(l)h(l-1)+b(l)),其中,σ是非线性激活函数,W(l)和b(l)分别是第l层的权重和偏置,h(0)是输入数据x;所述解码器g(h)结构镜像编码器,每一层从隐藏表示重构数据,直到输出层重构出/>h(l′)=σ(W(l′)h(l′-1)+b(l′)),解码器的最后一层输出/>其中L′是解码器的最后一层,同时在编码器的输入层或某一中间层加入海洋数据的上下文信息c,通过拼接上下文信息到相应层的输出上实现:其中,lc表示选择加入上下文信息的层,concat是拼接操作;
所述编码器f(x)和解码器g(h)的参数分别由θf和θg表示,数据的重构表示为:其中,x是原始输入数据,/>是重构数据;
进而通过异常评分机制识别异常。
4.根据权利要求3所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述编码器f(x)的参数θf包括所有编码层的权重和偏置:
θf={(W(1),b(1)),(W(2),b(2)),…,(W(L),b(L))},其中,L是编码器的最后一层,每一对(W(l),b(l))代表第l层的权重和偏置;
所述解码器g(h)的参数θg包括所有解码层的权重和偏置:
θg={(W(1′),b(1′)),(W(2′),b(2′)),…,(W(L′),b(L′))},其中,L′是解码器的最后一层,每一对(W(l′),b(l′))代表第l′层的权重和偏置;
当引入海洋数据的上下文信息c时,c被视为额外的输入层或通过拼接加入到某一层的输出,若选择在第lc层引入上下文信息,那么该层的输出将变为因此,从该层开始,直到网络的最后一层,所有相关层的权重和偏置也相应调整以适应增强后的输出,因此,引入上下文信息后,编码器和解码器的参数θf和θg包括调整后的权重和偏置,以及与上下文信息整合相关的参数。
5.根据权利要求3所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述异常评分机制结合了重构误差和上下文异常指标,重构误差Er衡量原始输入数据x与重构数据之间的差异,采用均方误差MSE来计算:其中,N是数据点的数量;
上下文异常指标Ec考虑数据的上下文特性,包括季节性变化和地理位置相关性,设C(x)为上下文特征函数,包括时间戳、地理位置上下文信息,则上下文异常指标表示为与预期上下文特征cexp的偏差:Ec(x)=‖C(x)-cexp‖,综合考虑重构误差和上下文异常指标,总的异常评分S表示为:
其中,α和β是用于平衡两种误差影响的权重系数;
异常评分S综合考虑数据的重构质量和上下文相关性,提供一个综合的异常指示,当S(x)超过预定的阈值时,数据点x被认为是异常的,指示环境问题或设备故障。
6.根据权利要求1所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述微量污染物识别与追踪子模块具体包括:
当异常检测子模块通过改进自动编码器算法识别出数据中的异常点或模式时,微量污染物识别与追踪子模块激活,对异常数据点进行分析;
利用与物联网设备集成的化学传感器和生物传感器,对异常数据点周围的海水样本进行采集和测试,在低浓度水平下检测特定的污染物,提供化学和生物标志物数据;
结合化学和生物传感器提供的数据,使用分析算法对污染物的类型、浓度和来源进行识别,根据历史数据和已知污染物的特征模式,对新检测到的污染物进行分类和来源分析,利用海洋流动模型预测污染物的传播路径和潜在影响区域。
7.根据权利要求6所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述化学传感器包括:
电化学传感器:通过测量溶液中的电化学活性来检测特定化学物质,检测溶解在海水中的重金属离子;
质谱传感器:利用质谱技术对样品中的元素和同位素进行精确分析,检测微量的重金属和无机污染物,通过测量不同质量/电荷比的离子强度,来识别和定量元素;
光学化学传感器:基于荧光传感器和拉曼光谱传感器,检测有机污染物和无机物质,通过测量样品对特定波长光的吸收、发射或散射来检测污染物;
所述生物传感器具体包括:
酶基传感器:利用特定酶的生物催化活性来检测目标污染物,使用有机磷酶或重金属离子酶来检测相应的污染物;
微生物传感器:利用微生物的代谢活动来检测特定的化学物质,当微生物接触到目标污染物时,代谢活动会发生变化,该变化通过测量微生物产生的生物电流、荧光或其他生物标记物来检测。
8.根据权利要求6所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述分析算法基于稀疏PCA技术,具体包括:
利用化学和生物传感器收集的海洋环境数据进行预处理确保数据在相同的尺度上进行分析;
稀疏PCA模型建立:约束稀疏性,在PCA的目标函数中引入L1正则化项,以促进解的稀疏性,稀疏PCA的优化问题表示为:
其中,X是经过预处理的数据集,wk是第k个主成分的权重向量,λ是控制稀疏程度的正则化参数,‖wk1≤λ是稀疏性约束,限制wk中非零权重数量不超过λ,‖·‖1和‖·‖2分别表示L1和L2范数,通过求解优化问题,提取若干个稀疏主成分,每个主成分都是原始变量的稀疏线性组合,仅包括少数非零权重的变量;
污染物识别与分类:使用提取的稀疏主成分作为新的特征集,对污染物进行识别和分类,结合历史污染数据和已知的污染物特征模式,通过监督学习方法建立分类模型,将稀疏主成分作为输入,进行污染物的类型和来源分析。
9.根据权利要求8所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述监督学习方法建立分类模型具体包括:
设从数据集X中提取了m个稀疏主成分,得到了一个新的特征矩阵XsPCA,其中每一列对应一个稀疏主成分,每一行代表一个样本在主成分上的投影;
选择逻辑回归模型的监督学习算法,表示为:
其中,x是输入特征向量,w是模型参数,p(y=1|x;w)是给定输入c下样本属于正类的概率;
训练分类模型:使用提取的稀疏主成分XsPCA作为新特征集输入到选择的逻辑回归模型中,准备对应的标签数据y,则,使用yi表示第i个样本的污染物类型或来源,模型训练的目标是最小化损失函数,采用交叉熵损失,表述为:
其中,pi=p(y=1|xi;w),N是样本数量,第二项是L2正则化项,用于防止过拟合,λ是正则化参数。
10.根据权利要求9所述的一种基于AI和物联网技术的海洋数据处理和信息调度系统,其特征在于,所述信息调度模块具体包括:
识别受影响区域:基于数据分析模块提供的污染物分布和浓度信息,识别出受污染和潜在受威胁的海洋区域;
评估环境影响:利用数据分析模块提供的关于污染物对海洋生态影响信息,评估污染事件对生物多样性、渔业资源和海洋生态服务的潜在影响;
制定应急措施:根据污染事件的严重程度和影响范围,信息调度模块制定应急措施,包括启动污染清理行动、设置禁渔区和发布公众预警。
CN202410284969.XA 2024-03-13 2024-03-13 一种基于ai和物联网技术的海洋数据处理和信息调度系统 Active CN117951584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410284969.XA CN117951584B (zh) 2024-03-13 2024-03-13 一种基于ai和物联网技术的海洋数据处理和信息调度系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410284969.XA CN117951584B (zh) 2024-03-13 2024-03-13 一种基于ai和物联网技术的海洋数据处理和信息调度系统

Publications (2)

Publication Number Publication Date
CN117951584A true CN117951584A (zh) 2024-04-30
CN117951584B CN117951584B (zh) 2024-07-23

Family

ID=90794550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410284969.XA Active CN117951584B (zh) 2024-03-13 2024-03-13 一种基于ai和物联网技术的海洋数据处理和信息调度系统

Country Status (1)

Country Link
CN (1) CN117951584B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118379611A (zh) * 2024-06-19 2024-07-23 广东海洋大学 一种基于图像识别的海洋污染预警方法
CN118503787A (zh) * 2024-06-14 2024-08-16 广东粤海水务检测技术有限公司 一种基于电活性微生物检测的数据分析方法及装置
CN118503787B (zh) * 2024-06-14 2024-11-08 广东粤海水务检测技术有限公司 一种基于电活性微生物检测的数据分析方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2443001C1 (ru) * 2010-08-05 2012-02-20 Сергей Петрович Алексеев Способ сбора информации об экологическом состоянии региона и автоматизированная система аварийного и экологического мониторинга окружающей среды региона
EP3188111A1 (en) * 2015-12-28 2017-07-05 Deutsche Telekom AG A method for extracting latent context patterns from sensors
CN114462509A (zh) * 2022-01-12 2022-05-10 重庆邮电大学 一种分布式物联网设备异常检测方法
CN116625327A (zh) * 2023-07-24 2023-08-22 海南智慧海事科技有限公司 一种大数据驱动的海洋环境监测与预警方法
CN117574308A (zh) * 2024-01-17 2024-02-20 江西金格信安云技术有限公司 基于人工智能的计量芯片异常检测方法及系统
CN117670051A (zh) * 2023-12-08 2024-03-08 江苏派菲克智慧水务有限公司 一种无人值守城乡供水运维分析系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2443001C1 (ru) * 2010-08-05 2012-02-20 Сергей Петрович Алексеев Способ сбора информации об экологическом состоянии региона и автоматизированная система аварийного и экологического мониторинга окружающей среды региона
EP3188111A1 (en) * 2015-12-28 2017-07-05 Deutsche Telekom AG A method for extracting latent context patterns from sensors
CN114462509A (zh) * 2022-01-12 2022-05-10 重庆邮电大学 一种分布式物联网设备异常检测方法
CN116625327A (zh) * 2023-07-24 2023-08-22 海南智慧海事科技有限公司 一种大数据驱动的海洋环境监测与预警方法
CN117670051A (zh) * 2023-12-08 2024-03-08 江苏派菲克智慧水务有限公司 一种无人值守城乡供水运维分析系统
CN117574308A (zh) * 2024-01-17 2024-02-20 江西金格信安云技术有限公司 基于人工智能的计量芯片异常检测方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118503787A (zh) * 2024-06-14 2024-08-16 广东粤海水务检测技术有限公司 一种基于电活性微生物检测的数据分析方法及装置
CN118503787B (zh) * 2024-06-14 2024-11-08 广东粤海水务检测技术有限公司 一种基于电活性微生物检测的数据分析方法及装置
CN118379611A (zh) * 2024-06-19 2024-07-23 广东海洋大学 一种基于图像识别的海洋污染预警方法
CN118379611B (zh) * 2024-06-19 2024-08-23 广东海洋大学 一种基于图像识别的海洋污染预警方法

Also Published As

Publication number Publication date
CN117951584B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
Jiang et al. Uncovering flooding mechanisms across the contiguous United States through interpretive deep learning on representative catchments
Smith et al. Benthic response index for assessing infaunal communities on the southern California mainland shelf
CN117951584B (zh) 一种基于ai和物联网技术的海洋数据处理和信息调度系统
US5646863A (en) Method and apparatus for detecting and classifying contaminants in water
Horrigan et al. Response of stream macroinvertebrates to changes in salinity and the development of a salinity index
Kang et al. Data-driven water quality analysis and prediction: A survey
Giglioni et al. Autoencoders for unsupervised real‐time bridge health assessment
Zhu et al. A hybrid decomposition and Machine learning model for forecasting Chlorophyll-a and total nitrogen concentration in coastal waters
CN117195135B (zh) 一种水污染异常溯源检测方法及系统
US11079368B2 (en) Optical-based monitoring and characterization of natural water
Hou et al. Online Monitoring of Water‐Quality Anomaly in Water Distribution Systems Based on Probabilistic Principal Component Analysis by UV‐Vis Absorption Spectroscopy
CN118393097A (zh) 地下水污染场地风险评估系统
CN117875573A (zh) 一种基于生物毒性和生物有效性的水环境评价方法和系统
CN117368434A (zh) 一种基于大数据的水质监测系统
Liu et al. A method of detecting contamination events using multiple conventional water quality sensors
Leonila et al. Dynamic Water Quality Monitoring via IoT Sensor Networks and Machine Learning Technique
Yu et al. Detection of water contamination events using fluorescence spectroscopy and alternating trilinear decomposition algorithm
Stevenson et al. Designing data collection for ecological assessments
Fatema et al. Detection of estuarine benthic macroinvertebrates communities using artificial neural network
Seis et al. A new Bayesian approach for managing bathing water quality at river bathing locations vulnerable to short-term pollution
Ahmad et al. A Comparative Study of Outlier Detection of Yamuna River Delhi India by Classical Statistics and Statistical Quality Control
CN118070234B (zh) 一种水质状态融合感知与预测溯源方法
CN118657497A (zh) 一种基于数字孪生的河口海湾预警管理方法和系统
Vosburgh Pattern-based drift detection applied to continuous online water quality monitoring
CN118914098A (zh) 水质异常监测方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant