CN118171135A - 基于多源数据融合的水产养殖环境监测方法 - Google Patents
基于多源数据融合的水产养殖环境监测方法 Download PDFInfo
- Publication number
- CN118171135A CN118171135A CN202410564852.7A CN202410564852A CN118171135A CN 118171135 A CN118171135 A CN 118171135A CN 202410564852 A CN202410564852 A CN 202410564852A CN 118171135 A CN118171135 A CN 118171135A
- Authority
- CN
- China
- Prior art keywords
- environment
- data
- node
- type
- expressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 238000009360 aquaculture Methods 0.000 title claims abstract description 33
- 244000144974 aquaculture Species 0.000 title claims abstract description 33
- 230000004927 fusion Effects 0.000 title claims abstract description 19
- 238000012937 correction Methods 0.000 claims abstract description 35
- 238000005070 sampling Methods 0.000 claims abstract description 26
- 230000007613 environmental effect Effects 0.000 claims description 96
- 238000004458 analytical method Methods 0.000 claims description 41
- 238000004891 communication Methods 0.000 claims description 34
- 238000010606 normalization Methods 0.000 claims description 20
- 230000002159 abnormal effect Effects 0.000 claims description 19
- 230000005856 abnormality Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 14
- 239000006185 dispersion Substances 0.000 claims description 13
- 241000894007 species Species 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 2
- 230000001419 dependent effect Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000012512 characterization method Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 244000005700 microbiome Species 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及多维数据聚类技术领域,具体涉及基于多源数据融合的水产养殖环境监测方法。该方法在基于连通图动态分裂的聚类算法对多维环境数据进行聚类时,根据多源环境数据间波动变化和时间差异,得到多源环境数据间的关联影响度;基于多源环境数据的关联影响和时序分布情况,分析不同种类环境数据的局部相关特征,得到连通图中节点的相关分布指标;通过对节点与连通节点之间距离,以及在相关分布特征和采样时间上的差异情况,得到分裂修正系数自适应调整每个节点的分裂情况,得到更准确的聚类结果进行监测,本发明通过分析多源环境数据间的关联影响以及时序特征,调整分裂聚类过程,得到更优的聚类结果,使对异常的监测更可靠。
Description
技术领域
本发明涉及多维数据聚类技术领域,具体涉及基于多源数据融合的水产养殖环境监测方法。
背景技术
在进行水产养殖时,环境信息对整体养殖过程是至关重要,通过多种传感器获取的水产养殖时的环境信息进行监测,通过对监测的信息进行分析判断水产养殖过程中的环境变化情况对环境信息进行调整,帮助其制定合理的养殖策略和应对措施,保障水产养殖的生产安全和环境可持续性。由于水产养殖环境的复杂性,采集的环境数据通常具有较多的噪声,在对环境信息进行监测前需要对获取的环境数据进行预处理,对预处理后的数据信息进行监测可以提高监测预警的准确性,避免由于噪声或者其它异常导致的获取的数据进行异常的预警行为。
由于水产养殖环境数据的多源异构性,采用基于连通图动态分裂的聚类算法,能够高效识别数据结构并处理大量的环境信息,并在分裂聚类过程中考虑数据间的连通性,保障聚类的稳定性,有效的去除噪声。但是水产养殖的环境数据具有时间分布属性,在时间序列上具有一定的分布趋势,且多源数据之间具有不同程度的相互影响,若不考虑这些因素仅根据数据分布的相关性进行分裂,这将导致最终的聚类数据产生一定的偏移,影响图结构变化和连通性,使得到的聚类结果不准确,进而影响后续对异常数据的监测。
发明内容
为了解决现有技术中使得到的聚类结果不准确,进而影响后续对异常数据的监测的技术问题,本发明的目的在于提供一种基于多源数据融合的水产养殖环境监测方法,所采用的技术方案具体如下:
本发明实施例提供了一种基于多源数据融合的水产养殖环境监测方法,所述方法包括:
在每个采样时刻下,获取水产养殖场景中每种环境类型的环境数据;根据每个采样时刻下所有环境类型的环境数据获取时序环境连通图;
根据每两种环境类型在环境数据上的波动变化差异和连续波动的时间差异情况,获得每两种环境类型的关联影响度;对于时序环境连通图中的每个节点,根据节点对应的每种环境类型与每种其他环境类型之间的关联影响度和在时序邻域上的分布差异情况,获得每个节点的相关分布指标;
根据时序环境连通图中每个节点与连通节点之间的距离,以及在采样时间与相关分布指标上的差异情况,获得每个节点的分裂修正系数;基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果;根据聚类结果进行监测。
进一步地,所述关联影响度的获取方法包括:
获取每种环境类型的环境数据在时序上的拐点;在每种环境类型中将每相邻两个拐点之间的环境数据作为每种环境类型的波动区间;将每种环境类型中每个环境数据的斜率的绝对值,作为每个环境数据的变化值;
对于任意两种不相同的环境类型,对该两种环境类型之间的波动区间通过DTW算法进行匹配,获得该两种环境类型的匹配区间对;匹配区间对中每个环境数据至少对应一个匹配的环境数据,将每两个互相匹配的环境数据作为一个数据匹配对;
计算每个匹配区间对中两个波动区间之间的时间中值的差异,作为每个匹配区间对的时间差异;计算所有匹配区间对的时间差异的平均值,获得该两种环境类型的时间均差值;
依次将每个匹配区间对作为分析区间对,计算分析区间对的时间差异与时间均差值的差异,获得分析区间对的时间偏差;
计算分析区间对中每个数据匹配对中两个环境数据的变化值的差异,获得分析区间对的每个数据匹配对的变化差异;计算分析区间对中所有数据匹配对的变化差异的累加值并归一化处理,获得分析区间对的变化指标;
计算分析区间对的时间偏差和变化指标的乘积,进行负相关映射并归一化处理,获得分析区间对的区间关联度;
计算该两种环境类型的所有匹配区间对的区间关联度的平均值,获得该两种环境类型的关联影响度。
进一步地,所述相关分布指标的获取方法包括:
依次将时序环境连通图中每个节点作为目标点,依次将目标点处对应任意一种环境类型的环境数据作为参考数据,将参考数据在时序上的预设邻域范围内的环境数据,作为参考数据的邻域时序数据;
对于任意一种除参考数据所在环境类型外的其他环境类型,在参考数据与该其他环境类型组成的数据匹配对中,计算参考类型匹配的该其他环境类型的环境数据的平均值,获得参考类型与该其他环境类型的匹配值;
根据参考数据与每个邻域时序数据的差异情况,参考数据与每个邻域时序数据在该其他环境类型对应的匹配值的差异情况,以及参考数据所在环境类型与该其他环境类型的关联影响度,获得参考数据所在环境类型的类型相关指标;
将目标点处所有环境类型的类型相关指标的累加值进行归一化处理,获得目标点的相关分布指标。
进一步地,所述类型相关指标的表达式为:
;式中,/>表示为时序环境连通图中第/>个节点处第/>种环境类型的类型相关指标,/>表示为第/>个节点处第/>种环境类型的环境数据的邻域时序数据的总数量,/>表示为除第/>种环境类型外的其他环境类型的总数量,/>表示为第/>种环境类型和第/>种环境类型之间的关联影响度,表示为第/>个节点处第/>种环境类型的环境数据,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据,/>表示为第/>个节点处第/>种环境类型的环境数据与第/>种环境类型的匹配值,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据与第/>种环境类型的匹配值,/>表示为绝对值提取函数,/>表示为预设调节系数。
进一步地,所述分裂修正系数的获取方法包括:
对于时序环境连通图中任意一个节点,将与该节点连接的节点作为该节点的连通节点;
将该节点与每个连通节点之间距离的反比例值作为该节点与每个连通节点之间的距离权重;根据该节点与所有连通节点之间在相关分布指标和对应采样时刻的差异情况和距离权重,获得该节点的分裂修正系数。
进一步地,所述分裂修正系数的表达式为:
;式中,/>表示为时序环境连通图中第/>个节点的分裂修正系数,/>表示为时序环境连通图中第/>个节点的相关分布指标,/>表示为时序环境连通图中第/>个节点对应的采样时刻,/>表示为第/>个节点的连通节点的总数量,/>表示为第/>个节点的第/>个连通节点的相关分布指标,/>表示为第/>个节点的第/>个连通节点对应的采样时刻,/>表示为第/>个节点与第/>个连通节点之间的距离,表示为绝对值提取函数,/>表示为归一化函数。
进一步地,所述基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果,包括:
将每个节点负相关映射的分裂修正系数作为每个节点的修正权重;将每个节点的修正权重与预设分裂阈值的乘积作为每个节点的自适应分裂阈值;
基于每个节点的自适应分裂阈值通过连通图动态分裂的聚类算法进行划分聚类,将最终的聚类簇作为聚类结果。
进一步地,所述根据聚类结果进行监测,包括:
对于聚类结果的任意一个聚类簇,统计该聚类簇中节点数量,获得该聚类簇的数据分布数量;将该聚类簇的数据分布数量与时序环境连通图中所有节点数量的比值作为该聚类簇的分布占比;
计算该聚类簇中所有节点之间在环境数据上的方差,获得该聚类簇的离散度;
根据该聚类簇的分布占比和离散度,获得该聚类簇的异常指标;分布占比与异常指标呈负相关,离散度与异常指标呈正相关;
当异常指标大于预设异常阈值时,将对应聚类簇记为异常聚类簇;若异常聚类簇的数量大于预设监测数量阈值时,进行监测警报。
进一步地,所述预设邻域范围设置为以参考数据为中心且边长为4的窗口范围。
进一步地,所述预设异常阈值设置为0.7。
本发明具有如下有益效果:
本发明在基于连通图动态分裂的聚类算法进行聚类对环境数据监测时,考虑到多源环境数据的互相关联影响,得到多源环境数据之间的关联影响度,基于关联影响以及多源环境数据的波动特征,对连通图中节点对应的环境数据分析受到不同种类环境数据的影响情况和时序上波动分布情况,得到节点的相关分布指标,反映连通图中无法反映出的节点之间在时序上的相关分布特征,通过对节点与连通节点之间距离,以及在相关分布特征和采样时间上的差异情况,得到分裂修正系数自适应调整每个节点的分裂情况,得到更准确的聚类结果进行监测,本发明通过分析多源环境数据间的关联影响以及时序特征,调整分裂聚类过程,得到更优的聚类结果,使对异常的监测更可靠。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于多源数据融合的水产养殖环境监测方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于多源数据融合的水产养殖环境监测方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于多源数据融合的水产养殖环境监测方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于多源数据融合的水产养殖环境监测方法流程图,该方法包括以下步骤:
S1:在每个采样时刻下,获取水产养殖场景中每种环境类型的环境数据;根据每个采样时刻下所有环境类型的环境数据获取时序环境连通图。
在本发明实施例中,通过在水产养殖场景的水中及其周围放置多种传感器获取多种环境数据,由于环境数据是由时间变化的,因此设置数据采集的频率为5分钟一次,每个采集的时刻作为采样时刻,也即为在每个采样时刻下,获取水产养殖场景中每种环境类型的环境数据,环境数据的环境类型包括:水温、pH值、浊度、溶解氧、氨氮等指标、气象数据和光照数据等。每种环境类型的环境数据均为时序数据,需要说明的是,为了便于后续计算,所有环境数据均已进行去量纲处理,消除不同量纲的影响,去量纲处理为本领域技术人员熟知的技术手段,如采用归一化处理等,在此不做赘述。
基于连通图动态分裂的聚类算法是一种利用图论的知识来进行数据的聚类分析,其聚类的主要过程可以分为两个阶段:首先是根据数据点之间的相似关系构建连通图,然后是对多个连通图进行逐一的分裂,直到不满足分裂条件。由于分裂主要基于连通图中节点位置的承受系数以及分裂阈值进行判断,当节点的承受系数大于分裂阈值时,说明该节点的局部相关较弱,对相关性不够强的弱边缘进行断裂,因此分裂阈值的大小会影响聚类质量,而通常分裂阈值为预设阈值。
故需通过连通图中节点处未考虑到的时间因素的相关影响和多源数据之间的关联影响进行调整,使每个节点处的分裂程度更可信,因此需要先根据每个采样时刻下所有环境类型的环境数据获取时序环境连通图,在本发明实施例中,基于每个采样时刻下所有环境类型的环境数据构建连通图,获得时序环境连通图,时序环境连通图中每个节点表示每个采样时刻的数据点,每个节点包含对应采样时刻下的所有环境类型的环境数据。
至此,获得环境数据的连通图,后续通过连通图中节点之间环境类型的关联影响以及时间分布的影响,对每个节点的可分裂判断进行调整。
S2:根据每两种环境类型在环境数据上的波动变化差异和连续波动的时间差异情况,获得每两种环境类型的关联影响度;对于时序环境连通图中的每个节点,根据节点对应的每种环境类型与每种其他环境类型之间的关联影响度和在时序邻域上的分布差异情况,获得每个节点的相关分布指标;
由于环境数据在实际变化过程中存在相互关联影响的关系,例如温度会影响水中的微生物的繁殖情况,随着温度的升高,微生物的代谢活动会增强,繁殖速度也会加快,进而影响水中的氧含量等情况。同时环境数据间的影响是具有一定时间滞后性,在连通图中的节点仅仅根据数据的分布相关程度进行判断,使具有关联影响之间的环境类型在分布相关上判断并不准确,导致图结构偏移,故在调整节点的分裂情况时,需考虑环境类型之间的关联情况,也即根据每两种环境类型在环境数据上的波动变化差异和连续波动的时间差异情况,获得每两种环境类型的关联影响度。
优选地,由于采集的环境数据为时序上的数据,因此每种环境类型的环境数据在时序上为曲线分布,获取每种环境类型的环境数据在时序上的拐点,在每种环境类型中将每相邻两个拐点之间的环境数据作为每种环境类型的波动区间,对相邻拐点之间的单个波动情况进行分析。将每种环境类型中每个环境数据的斜率的绝对值,作为每个环境数据的变化值,基于每个环境数据的变化程度进行相关度的判断。需要说明的是,拐点和斜率的获取均为本领域技术人员熟知的技术手段,在此不做赘述。
对于任意两种不相同的环境类型,对每两种环境类型计算其之间的关联情况,考虑到环境类型之间的变化影响情况基本存在一定的时间滞后性,对该两种环境类型之间的波动区间通过DTW算法进行匹配,获得该两种环境类型的匹配区间对,通过DTW算法可根据波动情况对两种环境类型的波动区间进行最匹配,将最匹配的两个波动区间作为一个匹配区间对,需要说明的是,DTW算法是本领域技术人员熟知的技术手段,在此不做赘述。由于区间匹配实际对环境数据做匹配分析,因此匹配区间对中每个环境数据至少对应一个匹配的环境数据,将每两个互相匹配的环境数据作为一组数据匹配对,虽然匹配过程中除一对一的匹配关系外,还存在一对多的匹配关系,但不影响相互匹配的两个环境数据作为一个数据匹配对,当出现一对多的关系时,可得到多个数据匹配对,例如一个环境数据在另一种环境类型中对应两个匹配的环境数据,则能够获得两个数据匹配对。
计算每个匹配区间对中两个波动区间之间的时间中值的差异,作为每个匹配区间对的时间差异,时间差异反映两个匹配的波动区间在时间分布的时间差异程度。计算所有匹配区间对的时间差异的平均值,获得该两种环境类型的时间均差值,反映两种环境类型在匹配波动下的整体关联的时间差异情况,当两种环境类型中的匹配区间对的时间差异情况整体趋于一致,说明匹配的波动情况在时间滞后性上具有稳定性,两种环境类型的关联影响是越大的。
依次将每个匹配区间对作为分析区间对,对所有匹配区间对均进行分析,计算分析区间对的时间差异与时间均差值的差异,获得分析区间对的时间偏差,通过分析区间对的时间差异与整体的偏差情况,反映分析区间对在时间关联上的偏离程度。计算分析区间对中每个数据匹配对中两个环境数据的变化值的差异,获得分析区间对的每个数据匹配对的变化差异,变化差异反映在匹配情况下,数据变动的程度差异情况。计算分析区间对中所有数据匹配对的变化差异的累加值并归一化处理,获得分析区间对的变化指标,通过分析区间对中匹配的环境数据之间的变化程度整体差异情况,反映环境数据间的匹配优选程度,当变化差异整体越小,说明分析区间对中环境数据的匹配情况越优,相关变化情况越相似,故变化指标越小;
计算分析区间对的时间偏差和变化指标的乘积,进行负相关映射并归一化处理,获得分析区间对的区间关联度,当变化指标越小,也即为分析区间对中匹配情况越优,说明在分析区间对之间数据波动情况越相似,且数据波动匹配情况越好,当时间偏差越小时,说明分析区间对时间偏差越接近均值情况,分析区间对表征的时间差异较为稳定,进而分析区间对越关联。计算该两种环境类型的所有匹配区间对的区间关联度的平均值,获得该两种环境类型的关联影响度,关联影响度反映两种环境数据之间关联影响变化的一致程度。在本发明实施例中,关联影响度的表达式为:
式中,表示为第/>种环境类型和第/>种环境类型之间的关联影响度,/>表示为第/>种环境类型和第/>种环境类型之间的匹配区间对的总数量,/>表示为第/>个匹配区间对中数据匹配对的总数量,/>表示为第/>个数据匹配对中第/>种环境类型的环境数据的变化值,/>表示为第/>个数据匹配对中第/>种环境类型的环境数据的变化值,/>表示为第/>个匹配区间对的时间差异,/>表示为第/>种环境类型和第/>种环境类型之间的时间均差值,/>表示为以自然常数为底的指数函数,/>表示为绝对值提取函数。/>表示为归一化函数,需要说明的是,归一化为本领域技术人员熟知的技术手段,归一化函数的选择可以为线性归一化或标准归一化等,具体的归一化方法在此不做限定。第/>种环境类型和第/>种环境类型不相同。
其中,表示为第/>个匹配区间对中第/>个数据匹配对的变化差异,表示为第/>个匹配区间对的变化指标,/>表示为第个匹配区间对的时间偏差,/>表示为第/>个匹配区间对的区间关联度。当两种环境类型之中的区间关联度均越大,说明数据的整体变化越相近,且时间滞后分布情况越稳定,两种环境类型的关联度是越高的。
进一步地,结合环境类型之间的关联变化情况,进一步分析每个节点的相关情况,以便于后续根据相关分布情况调整节点的局部特征。对于时序环境连通图中的每个节点,根据节点对应的每种环境类型与每种其他环境类型之间的关联影响度和在时序邻域上的分布差异情况,获得每个节点的相关分布指标。
优选地,依次将时序环境连通图中每个节点作为目标点,依次对每个节点进行分析,由于每个节点对应为每个采样时刻,故每个节点在所有环境类型均对应一个环境数据,依次将目标点处对应任意一种环境类型的环境数据作为参考数据,将参考数据在时序上的预设邻域范围内的其他环境数据,作为参考数据的邻域时序数据,对于变化的环境信息数据而言,需要考虑数据的波动特征使相关性的判断更全面准确,因此在时序上考虑邻域数据。在本发明一个实施例中,预设邻域范围设置为以参考数据为中心且边长为4的窗口范围,也即为参考数据在时序上左右分别相邻的两个环境数据。
进一步地了,环境类型之间的关联情况也作为相关分布的影响情况之一,对于任意一种除参考数据所在环境类型外的其他环境类型,在参考数据与该其他环境类型组成的数据匹配对中,计算参考类型匹配的该其他环境类型的环境数据的平均值,获得参考类型与该其他环境类型的匹配值,根据每两种环境类型之间关联情况分析过程中环境数据的匹配情况,得到环境数据与对应其他环境类型的匹配的环境数据,由于匹配时可能出现一对多的情况,因此通过平均值,综合得到参考数据对应的匹配的环境数据的数值。
进一步根据参考数据与每个邻域时序数据的差异情况,参考数据与每个邻域时序数据在该其他环境类型对应的匹配值的差异情况,以及参考数据所在环境类型与该其他环境类型的关联影响度,获得参考数据所在环境类型的类型相关指标,类型相关指标即为考虑了环境数据在时序上的波动情况和受其他环境类型的相关影响情况得到目标点处该环境类型的相关分布特征。在本发明实施例中,类型相关指标的表达式为:
式中,表示为时序环境连通图中第/>个节点处第/>种环境类型的类型相关指标,/>表示为第/>个节点处第/>种环境类型的环境数据的邻域时序数据的总数量,/>表示为除第/>种环境类型外的其他环境类型的总数量,/>表示为第/>种环境类型和第/>种环境类型之间的关联影响度,/>表示为第/>个节点处第/>种环境类型的环境数据,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据,/>表示为第/>个节点处第种环境类型的环境数据与第/>种环境类型的匹配值,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据与第/>种环境类型的匹配值,/>表示为绝对值提取函数,/>表示为预设调节系数,在本发明实施例设置为0.001,其目的是防止分母为零使公式无意义的情况。
其中,当反映第/>个节点处第/>种环境类型与一个邻域时序数据间的局部分布情况,也即为反映第/>个节点处第/>种环境类型的局部相关分布特征,同时当越大,说明第/>种环境类型和第/>种环境类型之间关联度越高,因此对第/>种环境类型分析时,同时考虑第/>种环境类型的影响越多,当/>越大,说明与第/>种环境类型匹配的第/>种环境类型的环境分布也越紧密,当/>越大,说明综合反映了第/>种环境类型关联影响越多,通过第/>种环境类型带来的关联影响情况,将其作为第种环境类型与第/>种环境类型之间的关联影响权重,也即反映受到第/>种环境类型影响后第/>种环境类型的局部相关分布情况,综合所有其他环境类型后,表征第/>种环境类型受每种其他环境类型综合影响下的局部相关分布特征,最终反映第/>种环境类型与每个邻域时序数据间的局部相关分布情况,综合表征第/>个节点处第/>种环境类型的整体相关分布特征,得到类型相关指标。
最终将目标点处所有环境类型的类型相关指标的累加值进行归一化处理,获得目标点的相关分布指标,综合所有类型相关指标表征目标点处的相关分布特征。在本发明实施例中,相关分布特征的表达式为:
式中,表示为时序环境连通图中第/>个节点的相关分布指标,/>表示为时序环境连通图中第/>个节点处第/>种环境类型的类型相关指标,/>表示为所有环境类型的总数量,/>表示为归一化函数。
至此,完成对每个节点处相关分布特征的分析,可进一步根据相关分布特征对节点处的分裂情况进行调整。
S3:根据时序环境连通图中每个节点与连通节点之间的距离,以及在采样时间与相关分布指标上的差异情况,获得每个节点的分裂修正系数;基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果;根据聚类结果进行监测。
为了能够使每个节点分裂的情况越准确,通过节点之间的相关分布情况结合时间与距离差异,综合分析得到修正系数,也即根据时序环境连通图中每个节点与连通节点之间的距离,以及在采样时间与相关分布指标上的差异情况,获得每个节点的分裂修正系数。
优选地,对于时序环境连通图中任意一个节点,将与该节点连接的节点作为该节点的连通节点,在时序环境连通图中节点与连通节点通过边的形式连接。将该节点与每个连通节点之间距离的反比例值作为该节点与每个连通节点之间的距离权重,对于分布越接近的节点,其连通性更强,此时考虑节点之间的时间相关性的差异更多,根据该节点与所有连通节点之间在相关分布指标和对应采样时刻的差异情况和距离权重,获得该节点的分裂修正系数,在本发明实施例中,分裂修正系数的表达式为:
式中,表示为时序环境连通图中第/>个节点的分裂修正系数,/>表示为时序环境连通图中第/>个节点的相关分布指标,/>表示为时序环境连通图中第/>个节点对应的采样时刻,/>表示为第/>个节点的连通节点的总数量,/>表示为第/>个节点的第/>个连通节点的相关分布指标,/>表示为第/>个节点的第/>个连通节点对应的采样时刻,/>表示为第/>个节点与第/>个连通节点之间的距离,/>表示为绝对值提取函数,/>表示为归一化函数。
其中,表示为第/>个节点与第/>个连通节点的距离权重,/>反映了第/>个节点与第/>个连通节点之间综合相关分布和时间的特征情况,对于分布越相近的节点,其相似分布的时间也是较为相近的,当在数据分布上较为相近时,针对节点的时间分布以及相关分布进一步进行调整。当分裂修正系数越小,说明节点之间的时间和相关性分布较为接近,则该节点需要被划分的可能性小,分裂阈值需要越高,而当分裂修正系数越大,说明节点之间的时间和相关性分布区别较大,则该节点需要被划分的可能性也更高,因此分裂阈值需要进一步调高,/>为对分裂修正系数进行数值范围调整,使分裂修正系数的范围在0.5至1.5内。
故进一步基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果。在本发明一个实施例中,将每个节点负相关映射的分裂修正系数作为每个节点的修正权重,将每个节点的修正权重与预设分裂阈值的乘积作为每个节点的自适应分裂阈值,对预设分裂阈值进行自适应调整,需要说明的是,预设分裂阈值为实施者可根据具体实施情况自行调控设置,在此不做限制。基于每个节点的自适应分裂阈值通过连通图动态分裂的聚类算法进行划分聚类,对于每个节点,当自适应分裂阈值越高,节点越不易被划分,当自适应分裂阈值越低,节点越容易被划分,将最终的聚类簇作为聚类结果。
最终,根据聚类结果进行监测,优选地,对于聚类结果的任意一个聚类簇,统计该聚类簇中节点数量,获得该聚类簇的数据分布数量,将该聚类簇的数据分布数量与时序环境连通图中所有节点数量的比值作为该聚类簇的分布占比,当聚类簇中的节点占比越低时,说明此环境数据的变化较少,极有可能为异常时刻对应的环境数据情况。计算该聚类簇中所有节点之间在环境数据上的方差,获得该聚类簇的离散度,每个节点对应为一组所有环境类型对应的环境数据向量,通过方差反映数据的分布分散情况,当时刻间的数据分布越离散,说明该聚类簇越可能表现为异常情况。根据该聚类簇的分布占比和离散度,获得该聚类簇的异常指标,通过异常指标反映聚类簇的异常程度,分布占比与异常指标呈负相关,离散度与异常指标呈正相关,在本发明实施例中,异常指标的表达式为:
式中,表示为第/>个聚类簇的异常指标,/>表示为第/>个聚类簇的数据分布数量,/>表示为时序环境连通图中节点的总数量,/>表示为第/>个聚类簇的离散度,/>表示为以自然常数为底的指数函数,/>表示为归一化函数。
其中,表示为第/>个聚类簇的分布占比,当分布占比越小,离散度越大,说明聚类簇中的节点数据分布较少,且数据离散情况较大,故聚类簇的异常程度越高,异常指标越大。因此当异常指标大于预设异常阈值时,说明其聚类簇的异常程度较高,将对应聚类簇即为异常聚类簇,若异常聚类簇的数量大于预设监测数量阈值时,说明环境数据中整体出现了极高的异常变化,需要进行监测警报处理。在本发明实施例中,预设异常阈值设置为0.7,预设监测数量阈值设置为3,具体数值实施者可根据具体实施情况进行调整,在此不做限制。
综上,本发明在基于连通图动态分裂的聚类算法进行聚类对环境数据监测时,考虑到多源环境数据的互相关联影响,得到多源环境数据之间的关联影响度,基于关联影响以及多源环境数据的波动特征,对连通图中节点对应的环境数据分析受到不同种类环境数据的影响情况和时序上波动分布情况,得到节点的相关分布指标,反映连通图中无法反映出的节点之间在时序上的相关分布特征,通过对节点与连通节点之间距离,以及在相关分布特征和采样时间上的差异情况,得到分裂修正系数自适应调整每个节点的分裂情况,得到更准确的聚类结果进行监测,本发明通过分析多源环境数据间的关联影响以及时序特征,调整分裂聚类过程,得到更优的聚类结果,使对异常的监测更可靠。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (10)
1.一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述方法包括:
在每个采样时刻下,获取水产养殖场景中每种环境类型的环境数据;根据每个采样时刻下所有环境类型的环境数据获取时序环境连通图;
根据每两种环境类型在环境数据上的波动变化差异和连续波动的时间差异情况,获得每两种环境类型的关联影响度;对于时序环境连通图中的每个节点,根据节点对应的每种环境类型与每种其他环境类型之间的关联影响度和在时序邻域上的分布差异情况,获得每个节点的相关分布指标;
根据时序环境连通图中每个节点与连通节点之间的距离,以及在采样时间与相关分布指标上的差异情况,获得每个节点的分裂修正系数;基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果;根据聚类结果进行监测。
2.根据权利要求1所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述关联影响度的获取方法包括:
获取每种环境类型的环境数据在时序上的拐点;在每种环境类型中将每相邻两个拐点之间的环境数据作为每种环境类型的波动区间;将每种环境类型中每个环境数据的斜率的绝对值,作为每个环境数据的变化值;
对于任意两种不相同的环境类型,对该两种环境类型之间的波动区间通过DTW算法进行匹配,获得该两种环境类型的匹配区间对;匹配区间对中每个环境数据至少对应一个匹配的环境数据,将每两个互相匹配的环境数据作为一个数据匹配对;
计算每个匹配区间对中两个波动区间之间的时间中值的差异,作为每个匹配区间对的时间差异;计算所有匹配区间对的时间差异的平均值,获得该两种环境类型的时间均差值;
依次将每个匹配区间对作为分析区间对,计算分析区间对的时间差异与时间均差值的差异,获得分析区间对的时间偏差;
计算分析区间对中每个数据匹配对中两个环境数据的变化值的差异,获得分析区间对的每个数据匹配对的变化差异;计算分析区间对中所有数据匹配对的变化差异的累加值并归一化处理,获得分析区间对的变化指标;
计算分析区间对的时间偏差和变化指标的乘积,进行负相关映射并归一化处理,获得分析区间对的区间关联度;
计算该两种环境类型的所有匹配区间对的区间关联度的平均值,获得该两种环境类型的关联影响度。
3.根据权利要求2所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述相关分布指标的获取方法包括:
依次将时序环境连通图中每个节点作为目标点,依次将目标点处对应任意一种环境类型的环境数据作为参考数据,将参考数据在时序上的预设邻域范围内的环境数据,作为参考数据的邻域时序数据;
对于任意一种除参考数据所在环境类型外的其他环境类型,在参考数据与该其他环境类型组成的数据匹配对中,计算参考类型匹配的该其他环境类型的环境数据的平均值,获得参考类型与该其他环境类型的匹配值;
根据参考数据与每个邻域时序数据的差异情况,参考数据与每个邻域时序数据在该其他环境类型对应的匹配值的差异情况,以及参考数据所在环境类型与该其他环境类型的关联影响度,获得参考数据所在环境类型的类型相关指标;
将目标点处所有环境类型的类型相关指标的累加值进行归一化处理,获得目标点的相关分布指标。
4.根据权利要求3所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述类型相关指标的表达式为:
;式中,/>表示为时序环境连通图中第/>个节点处第/>种环境类型的类型相关指标,/>表示为第/>个节点处第/>种环境类型的环境数据的邻域时序数据的总数量,/>表示为除第/>种环境类型外的其他环境类型的总数量,/>表示为第/>种环境类型和第/>种环境类型之间的关联影响度,/>表示为第/>个节点处第/>种环境类型的环境数据,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据,/>表示为第/>个节点处第/>种环境类型的环境数据与第种环境类型的匹配值,/>表示为第/>个节点处第/>种环境类型的环境数据的第/>个邻域时序数据与第/>种环境类型的匹配值,/>表示为绝对值提取函数,/>表示为预设调节系数。
5.根据权利要求1所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述分裂修正系数的获取方法包括:
对于时序环境连通图中任意一个节点,将与该节点连接的节点作为该节点的连通节点;
将该节点与每个连通节点之间距离的反比例值作为该节点与每个连通节点之间的距离权重;根据该节点与所有连通节点之间在相关分布指标和对应采样时刻的差异情况和距离权重,获得该节点的分裂修正系数。
6.根据权利要求5所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述分裂修正系数的表达式为:
;式中,/>表示为时序环境连通图中第/>个节点的分裂修正系数,/>表示为时序环境连通图中第/>个节点的相关分布指标,/>表示为时序环境连通图中第/>个节点对应的采样时刻,/>表示为第/>个节点的连通节点的总数量,/>表示为第/>个节点的第/>个连通节点的相关分布指标,/>表示为第/>个节点的第/>个连通节点对应的采样时刻,/>表示为第/>个节点与第/>个连通节点之间的距离,/>表示为绝对值提取函数,/>表示为归一化函数。
7.根据权利要求1所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述基于每个节点的分裂修正系数采用基于连通图动态分裂的聚类算法,获得聚类结果,包括:
将每个节点负相关映射的分裂修正系数作为每个节点的修正权重;将每个节点的修正权重与预设分裂阈值的乘积作为每个节点的自适应分裂阈值;
基于每个节点的自适应分裂阈值通过连通图动态分裂的聚类算法进行划分聚类,将最终的聚类簇作为聚类结果。
8.根据权利要求1所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述根据聚类结果进行监测,包括:
对于聚类结果的任意一个聚类簇,统计该聚类簇中节点数量,获得该聚类簇的数据分布数量;将该聚类簇的数据分布数量与时序环境连通图中所有节点数量的比值作为该聚类簇的分布占比;
计算该聚类簇中所有节点之间在环境数据上的方差,获得该聚类簇的离散度;
根据该聚类簇的分布占比和离散度,获得该聚类簇的异常指标;分布占比与异常指标呈负相关,离散度与异常指标呈正相关;
当异常指标大于预设异常阈值时,将对应聚类簇记为异常聚类簇;若异常聚类簇的数量大于预设监测数量阈值时,进行监测警报。
9.根据权利要求3所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述预设邻域范围设置为以参考数据为中心且边长为4的窗口范围。
10.根据权利要求8所述一种基于多源数据融合的水产养殖环境监测方法,其特征在于,所述预设异常阈值设置为0.7。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410564852.7A CN118171135B (zh) | 2024-05-09 | 基于多源数据融合的水产养殖环境监测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410564852.7A CN118171135B (zh) | 2024-05-09 | 基于多源数据融合的水产养殖环境监测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN118171135A true CN118171135A (zh) | 2024-06-11 |
CN118171135B CN118171135B (zh) | 2024-07-09 |
Family
ID=
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567279A (zh) * | 2011-12-22 | 2012-07-11 | 清华大学 | 一种动态可重构阵列时序配置信息的生成方法 |
CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
CN113515512A (zh) * | 2021-06-22 | 2021-10-19 | 国网辽宁省电力有限公司鞍山供电公司 | 一种工业互联网平台数据的质量治理及提升方法 |
CN114727353A (zh) * | 2022-02-28 | 2022-07-08 | 宁波城市职业技术学院 | 基于遗传算法的移动机会传感器网络自适应信息传输方法 |
CN116342063A (zh) * | 2023-03-29 | 2023-06-27 | 重庆市农业科学院 | 应用于智慧农业的数据处理方法 |
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102567279A (zh) * | 2011-12-22 | 2012-07-11 | 清华大学 | 一种动态可重构阵列时序配置信息的生成方法 |
CN111225354A (zh) * | 2020-02-14 | 2020-06-02 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
WO2021160189A1 (zh) * | 2020-02-14 | 2021-08-19 | 重庆邮电大学 | WiFi干扰环境下的CSI人体跌倒识别方法 |
CN113515512A (zh) * | 2021-06-22 | 2021-10-19 | 国网辽宁省电力有限公司鞍山供电公司 | 一种工业互联网平台数据的质量治理及提升方法 |
CN114727353A (zh) * | 2022-02-28 | 2022-07-08 | 宁波城市职业技术学院 | 基于遗传算法的移动机会传感器网络自适应信息传输方法 |
CN116342063A (zh) * | 2023-03-29 | 2023-06-27 | 重庆市农业科学院 | 应用于智慧农业的数据处理方法 |
Non-Patent Citations (2)
Title |
---|
张怡;: "基于模糊聚类的颜色块自动模式识别方法研究", 浙江水利水电学院学报, no. 05, 25 October 2016 (2016-10-25) * |
李宏俊;张晶晶;袁秀堂;张安国;柳圭泽;邵魁双;王立俊;: "利用线粒体COI和微卫星标记分析文蛤7个地理群体的遗传变异", 生态学报, no. 02, 23 January 2016 (2016-01-23) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117238058B (zh) | 基于数据分析的汽车用起动机监测方法 | |
CN105205112A (zh) | 一种时序数据异常特征的挖掘系统及方法 | |
CN117609929B (zh) | 基于大数据的工业生产线故障在线诊断方法及系统 | |
CN117235548B (zh) | 基于激光灼烧的煤质数据处理方法及智能化系统 | |
CN117556279B (zh) | 基于电参数分析的匀胶显影机运行状态监测方法及系统 | |
CN116404186B (zh) | 一种功率型锂锰电池生产系统 | |
CN117538491A (zh) | 一种站房空气质量智能监测方法及系统 | |
CN116237817A (zh) | 基于物联网的五轴联动数控机床智能监测系统 | |
CN117332341A (zh) | 基于物联网的飞机轮挡数据智能管理方法及系统 | |
CN117454085A (zh) | 一种车辆在线监控方法及系统 | |
CN112765550A (zh) | 一种基于Wi-Fi信道状态信息的目标行为分割方法 | |
CN117786325B (zh) | 一种大口径物联网水表的环境温度智慧预警系统 | |
CN117633697B (zh) | 基于物联网的生猪智能监测方法及系统 | |
CN117473351B (zh) | 基于物联网的电源信息远程传输系统 | |
CN118171135B (zh) | 基于多源数据融合的水产养殖环境监测方法 | |
CN113127464B (zh) | 农业大数据环境特征处理方法、装置及电子设备 | |
CN117289778B (zh) | 一种工控主机电源健康状态的实时监测方法 | |
CN116823125B (zh) | 基于多源数据的白酒仓储异常预警系统 | |
CN118171135A (zh) | 基于多源数据融合的水产养殖环境监测方法 | |
CN117313017A (zh) | 一种彩叶研发数据处理方法及系统 | |
CN117290718A (zh) | 一种地质矿产勘查数据提取方法及系统 | |
CN116561692A (zh) | 一种动态更新的实时量测数据检测方法 | |
CN117786584B (zh) | 基于大数据分析的畜牧业水源污染监测预警方法及系统 | |
CN117762106B (zh) | 基于物联网的蓄禽血制品加工过程监控方法 | |
CN117971625B (zh) | 基于计算机云平台的性能数据智能监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |