CN117216722B - 基于传感器时序数据多源异构数据融合系统 - Google Patents
基于传感器时序数据多源异构数据融合系统 Download PDFInfo
- Publication number
- CN117216722B CN117216722B CN202311484115.8A CN202311484115A CN117216722B CN 117216722 B CN117216722 B CN 117216722B CN 202311484115 A CN202311484115 A CN 202311484115A CN 117216722 B CN117216722 B CN 117216722B
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- fusion
- situation
- ontology
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 109
- 238000012544 monitoring process Methods 0.000 claims abstract description 22
- 239000012634 fragment Substances 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 25
- 238000007499 fusion processing Methods 0.000 claims description 22
- 238000000034 method Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000002688 persistence Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000006317 isomerization reaction Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 2
- 230000008447 perception Effects 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000012549 training Methods 0.000 description 12
- 238000007500 overflow downdraw method Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 208000005156 Dehydration Diseases 0.000 description 1
- AZFKQCNGMSSWDS-UHFFFAOYSA-N MCPA-thioethyl Chemical compound CCSC(=O)COC1=CC=C(Cl)C=C1C AZFKQCNGMSSWDS-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000012098 association analyses Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Abstract
本发明涉及基于传感器时序数据多源异构数据融合系统,属于机器学习领域。所述系统针对采集的时序数据多数据源和异构数据源,其存在数据类型异构化、数据质量不一、数据产生速度快等问题,通过多数据源异构数据汇聚‑融合‑应用,通过对多传感器数据的优化组合来提高传感器数据融合系统的有效性,从而发掘出关于传感器监测目标的更多的有效信息推动在智慧工厂、智慧农业的数据应用和决策。
Description
技术领域
本发明涉及机器学习领域。具体为基于传感器时序数据多源异构数据融合系统。
背景技术
传感器网络收集的数据是智慧农业、智慧家居的基础,也是大多数项目应用的运行基础。为了提高数据的准确性,需要在特定监视区域设置大量各类的传感器来采集数据。在当前模式下,传感器数据的实时准确对做出智能决策十分重要。然而部分传感器节点往往会部署在恶劣的自然环境中,容易受到外界干扰从而产生准确性差、无效甚至具有误导性的数据。
物联网终端凭借其与监测环境距离近特点,能够有效获取与分析感知数据,为上层应用设备提供准确的感知数据。但物联网终端在设计时需要对成本以及功耗进行考虑,分配的资源有限并不支持复杂运算。因此在设计物联网终端数据融合方法时需要考虑资源消耗以及运行时间等因素,提高终端运行效率、减少异常以及故障的发生多源异构数据融合技术的基本原理就是通过对多传感器数据进行合理的融合推理,并结合具体的应用实际进行支配和使用,把多传感器数据在时空上的冗余和互补信息充分的利用起来,最终形成关于监测对象的一致性描述或者监测事件的一致性解释。多传感器数据融合的目标是通过对多传感器数据的优化组合来提高传感器数据融合系统的有效性,从而发掘出关于传感器监测目标的更多的有效信息。
现有技术:
常见的数据融合方法有:
(1)加权平均融合算法。该方法的核心思想在于根据感知数据的特点以及实际运行情况动态改变每条数据的权值,根据分配给感知数据的权值进行加权融合计算。该方法关键在于根据需要设定相应的权值分配规则,典型的方法有加权最小二乘法以及自适应加权融合算法等。
(2)D-S证据推理法。D-S(Dempster-Shafer)证据理论法这种数据融合方法通过推理的形式,将采集的每一条感知数据看作支撑推理结论的证据,综合各项数据证据得到融合结果。根据其融合特点可以看出,D-S证据理论更适合决策级的数据融合,能够根据采集的感知数据做出准确的决策。基于D-S证据理论提出了入侵检测算法,利用数据间的在时空方面的关联特征进行融合实现对入侵行为的决策判断。
(3)神经网络能够实现数据间的非线性映射,利用自身的学习能力,使其能够在不同环境下都能良好运行的适应能力。神经网络能够提取数据间的关联特点在网络中以权值的形式表现,得到的结果具备较高的准确性。BP神经网络是其中一种常见的算法,由于简单的结构以及较强的非线性映射能力,在多个领域得到应用。采用BP神经网络训练模型表示温室日光温度与其他关联因素间的非线性关系,通过输入关联因素数据值来获得准确的日光温度,实现对温室精准调控。
现有技术的缺点:
(1)单一来源数据因为受外部因素干扰,会存在测量误差,而多源数据具有冗余性,因而对测量目标的描述更加准确,能够通过数据融合技术避免测量误差对测量目标描述的影响,得到正确的决策,能够有效提高系统的鲁棒性。
(2)单一来源数据仅提供测量目标的某一方面的描述信息,而无法对目标进行整体描述,多源数据具有互补性,能够互相补充单一数据源所缺失描述信息,最终获得对目标更全面的描述。
发明内容
本发明为了解决背景技术中存在的问题,目的在于提供了基于传感器时序数据多源异构数据融合系统,针对采集的时序数据多数据源和异构数据源,其存在数据类型异构化、数据质量不一、数据产生速度快等问题,通过多数据源异构数据汇聚-融合-应用,通过对多传感器数据的优化组合来提高传感器数据融合系统的有效性,从而发掘出关于传感器监测目标的更多的有效信息推动在智慧工厂、智慧农业的数据应用和决策,用以解决上述情况。
用于解决问题的方案
基于传感器时序数据多源异构数据融合系统,所述系统包括:
对获取的传感器元数据进行数据级融合处理,得到传感器数据的结构化文件;
对传感器数据的结构化文件进行特征级数据融合处理,得到态势报告;
基于预设的领域知识库,对态势报告进行决策集数据融合处理,得到当前态势的决策结果。
进一步,所述系统还包括:从分布在不同位置的传感器获取传感器元数据。
进一步,所述进行数据级融合处理,具体包括:
对获取的传感器元数据进行预处理,得到预处理后的传感器元数据;
对预处理后的传感器元数据进行聚类分群操作,得到分群后的传感器元数据;
对各分群后的传感器元数据进行时空对齐操作,得到分群后传感器数据的矩阵;
对分群后传感器数据的矩阵数据进行持久化处理,得到数据存储结果即传感器数据的结构化文件。
进一步,所述进行特征级数据融合处理,具体包括:
对传感器数据的结构化文件进行数据模型转换,得到不同的传感器关于监测目标的本体描述片段;
将不同的传感器关于监测目标的本体描述片段进行属性融合和特征提取,得到关于特定场景下的态势本体片段即得到态势报告。
进一步,所述进行决策集数据融合处理,具体包括:
对态势报告利用BP神经网络进行融合处理,得到当前场景的全局态势本体描述结果;
基于当前场景的全局态势本体描述结果和预设的领域知识库,进行态势评估,得到当前态势的决策结果。
进一步,对获取的传感器元数据进行误差配准操作,得到预处理后的传感器元数据。
进一步,所述进行聚类分群的原则为:根据基于目标对象分群、根据空间位置分群、根据传感器之间的相互作用分群。
进一步,进行持久化处理,具体为:对不同的传感器数据以格式化的文件进行存储。
有益效果:
上述技术方案的有益效果在于:
针对采集的时序数据多数据源和异构数据源,其存在数据类型异构化、数据质量不一、数据产生速度快等问题,通过多数据源异构数据汇聚-融合-应用,通过对多传感器数据的优化组合来提高传感器数据融合系统的有效性,从而发掘出关于传感器监测目标的更多的有效信息推动在智慧工厂、智慧农业的数据应用和决策,用以解决上述情况。
附图说明
图1是本发明整体方法处理流程框图。
具体实施方式
下面结合实施例描述本发明具体实施方式:
需要说明的是,本说明书所示意的结构、比例、大小等,均仅用以配合说明书所揭示的内容,以供熟悉此技术的人士了解与阅读,并非用以限定本发明可实施的限定条件,任何结构的修饰、比例关系的改变或大小的调整,在不影响本发明所能产生的功效及所能达成的目的下,均应仍落在本发明所揭示的技术内容能涵盖的范围内。
同时,本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语,亦仅为便于叙述的明了,而非用以限定本发明可实施的范围,其相对关系的改变或调整,在无实质变更技术内容下,当亦视为本发明可实施的范畴。
实施例1
如图1所示,根据数据融合的目的,智能场景中的多数据源时序数据进行融合分为三类:
从分布在不同位置的传感器获取的传感器元数据,经过数据获取之后进入数据级数据融合阶段,传感器元数据包含了传感器的基本信息以便于后续处理考虑到不同传感器的物理特性有针对性的设置参数属性。在数据级数据融合阶段中传感器元数据需要经过预处理操作,这样的预处理主要是误差配准操作。接下来对经过预处理的数据进行聚类分群操作,聚类分群的原则可以分为根据基于目标对象分群,根据空间位置分群,根据传感器之间的相互作用分群。这些分群原则从不同的抽象级别就可以对群内的从不同的传感器获得的经过预处理的数据进行时空对齐操作,这些操作会将相关时空属性信息进行评估与综合,最终得到分群后的传感器数据的矩阵表示,数据的持久化处理就是对不同的传感器数据以格式化的文件进行存储。
数据级融合阶段的最终结果是关于传感器数据的结构化文件并作为特征级数据融合阶段的输入。
在特征级数据融合阶段的输入是来自数据级数据融合阶段输出的结构化数据文件,为了方便传感器数据的特征提取和关联,同时也为了传感器数据在接下来的融合处理中的共享,需要将传感器的数据进行统一描述,也就是进行数据模型转换。本发明在所有的传感器数据进行统一描述之后就可以形成关于当前场景下某一目标相关特征的本体描述片段(View),然后再将不同的传感器关于监测目标的本体描述片段进行属性融合和特征提取,以此形成关于特定场景下的态势本体片段(Report)。态势指的是关于当前环境的由事件、时间、位置、状态和活动对象等要素组成的场景描述,这里提到的态势报告是关于当前场景下的传感器监测的目标所具有的状态描述片段。这些采用本体描述的态势报告是决策级数据融合阶段的输入,对于最终决策的生成具有重要的作用。决策级数据融合阶段接受来自特征级数据融合阶段的态势报告(Report),这些态势报告只是当前场景的某一方面的态势描述,为了获取当前场景下的全局态势,需要将这些态势本体片段进行融合处理,融合之后态势本体具有了针对当前场景的全局态势描述,接下来就可以在全局态势本体描述的帮助下进行态势评估了,态势评估是数据在更高级别的抽象。最终决策的生成就是基于当前的态势评估,然后在基于规则的本体推理之后的全局态势本体中查询关于当前态势的决策信息。
数据级别的数据融合:该数据融合基于设备感知层,域内感知数据间的关联性进行分析,根据不同数据的特点对感知数据进行融合处理,之后再进行特征提取为之后的业务处理提供依据。采用数据级融合数据进行数据处理。首先根据数据间的数值关联特征进行数据级融合,将融合后的结果上报至网关设备。最后利用已有的数据信息,网关设备提取其中的环境特征数据,对当前的环境状态进行判断。
在监测区域内布置多个数据采集终端,终端间能够通过时间同步机制来实现数据传输的同步。区域内的终端位置相近,采集的环境参数之间具备较强的耦合性,即在检测区域内各个终端的感知数据间具有空间关联性。单个采集终端的感知数据可构成一个时间序列,通过对时间序列分析可发现,一定时间内的感知数据具备较强的时间关联性。因此邻近检测区域内的终端所采集的感知数据具备较强的时空关联性。
采用了加权数据融合的方式来对终端同构数据进行处理,但加权数据融合结果的准确性与数据权值分配高度相关。加权数据融合需要根据感知数据的价值进行权值分配,其关键在于如何有效衡量感知数据间的时空关联性,因此需要根据终端数据时空特点进行分析。
同一时间点上两个邻近终端间的数据具备空间关联性,终端在一段连续采样时间内的数据具备时间关联性,可以通过计算两个具备空间关联终端在一段连续时间内的时间数据序列在各个采样时间点的空间距离,反映序列在时空上的相似程度。
各采集终端通过融合其他关联终端的同构感知数据,提高自身传感器采集数据的精确度。由于本文是基于传感器的时序数据进行数据融合,使用资源需求较小的加权数据融合法。
融合步骤:
(1)首先采用动态时间规划距离法(DTW)来计算一段时间内终端数据在各个时间点上空间的距离。
(2)通过计算各终端数据的距离,采用中位数绝对离差法(MAD)设置关联度阈值,超过阈值的低关联终端数据将不参与本次的数据融合。
(3)根据计算得到的动态时间规划距离计算各终端数据间的关联度,根据关联度的强弱进行权值分配,其中终端感知数据间的关联度越高,则分配的权重就越大。
(4)根据权值的大小对当前采集的感知数据进行加权数据融合,实现提高感知数据准确性的目的。
同构数据融合方法采用了加权数据融合的形式,根据终端数据间的时空关联性为每个参与融合的终端数据都设定了权值系数,该权重对应这各终端间的时空关联性。采用该方式进行数据融合,能够有效利用数据间的时空关联性,对于不同关联强弱的数据给予不同的权值,能够最大化利用每个终端数据的价值,实现多源同构数据融合,保障数据的准确。
模拟融合结果:
利用指数函数来量化数据间的时空关联程度。然后通过中位数绝对离差法来设置阈值来剔除时空关联度较低的终端同构数据。最后根据同构数据间的时空关联度分配权值,进行加权数据融合,得到的融合结果作为最终测量值。
确定传感器数据描述的各个实体类以及各个实体类所具有的属性以及各个属性之间的关系,然后再添加类的实例。为了更好地描述传感器及其特性、监测值、监测对象和有关时间、空间、主题等信息,以语义化的描述方式最大程度的支持传感器信息的共享和重用。
(2)特征级别的数据融合
将感知数据进行抽象处理。通过分析得到数据之间的关联特征值,将监测区域内的感知数据抽象化来提取对应的数据特征,为上层应用设备执行决策任务时提供依据。通过将监测区域的感知数据进行抽象化处理,并提取各类型感知数据的关键特征信息,通过利用这些特征信息的关联进行特征级数据融合,特征级数据融合在目标识别以及事件检测方面应用较多。
多传感器数据在经过数据级融合处理和在特征级数据融合阶段经过了语义化的本体描述处理之后,每一种传感器都形成了关于自己所关注领域的View的本体片段,此时为了使后续的决策级数据融合系统可以得到更全面的数据信息,需要将子系统中的本体片段进行融合处理,得到某一子系统的所关注领域的态势报告。不同的View本体片段描述的属性可能是同质传感器的数据也可能是不同质传感器的,其中同质传感器数据的View本体片段之间属性融合可以使用贝叶斯理论、Depster-shafer理论等经典的数据融合方法进行处理,在本小结所描述的关于同质传感器本体实例数据之间的融合统一使用dataPropertyFusion函数进行表示。不同质传感器数据的View片段描述的是关于传感器监测目标不同维度、不同方面的信息,对于这类View本体片段可以使用基于时间、基于空间或者是基于主题的特征提取方法对不同维度的信息进行属性融合与特征提取。经过上述的对传感器本体实例的属性融合和特征提取之后所形成的本体片段已经实现了传感器数据的压缩,这对于减轻传感器数据的传输压力有很大的好处,此时我们可以将经过传感器本体实例的属性融合和特征提取的传感器实例的本体描述片段称之为Report本体片段,此Report反映了当前环境的某一方面的局部态势信息。
该算法中首先设置传感器本体中实例片段View的时效性阈值和View属性的相似度阈值。时效性阈值是为了对超过时效性阈值的传感器数据进行过滤保证每次进行属性融合和特征提取的传感器信息都是符合融合系统的时间约束。属性的相似度阈值的设置是为了在不同View本体片段中进行属性相似度计算时提供判断的标准。该算法中还对不同的View本体片段中的属性类型进行判断,只有属性的类型一致才可以进行接下来的属性融合过程,如果属性的类型不一致则不进行属性的融合计算,直接将此属性信息添加到传感器本体的Report片段中。该算法还针对不同的属性值类型进行了不同的处理,其中如果属性值类型为文本描述类型时,将对不同的描述信息进行并操作,如果属性值类型为概率类型时,将利用dataPropertyFusion函数进行属性值之间的融合处理,该函数可以采用不同的融合思路进行实现,如贝叶斯理论、Depster-shafer理论等。经过属性融合函数的计算之后将属性融合的结果作为相同属性的属性值放入传感器本体的Report片段中。
通过对传感器本体实例基于时间、基于空间或者是基于主题的属性融合和特征提取,得到多个传感器共同监测环境的多维度信息,反映了当前监测环境某一个领域的态势信息的Report片段等。
(3)决策级别数据融合
先将监测区域内的感知数据进行特征提取,根据特征信息得到决策信息,利用这些信息的关联在数据处理中心进行决策级数据融合,为项目的控制、识别提供依据。该类型融合方法的优点在于能够结合前两种融合方式的优点,将节点感知数据进行对应的特征提取后,再根据信息特征进行决策融合,能够及其地进行决策判断对特殊情况采取措施。决策级数据融合能够提高在信息判别以及决策方面的可靠性,根据不同的应用场景选择合适的决策来应对,能够较好地提高结果的准确性。
异构数据来源于检测区域内不同类型传感器节点,这些不同类型的感知数据间会存在一定物理属性关联,这些异构数据的数值变化会引起其他异构数据变化。异构数据融合的关键在于感知数据间的属性关联性,能否有效获取异构感知数据间的物理属性关联对数据融合结果准确性影响较大。对于异构数据间的物理属性关联进行分析研究时更多需要考虑的是提取数据间的非线性关系,数据间的非线性关联映射受到的干扰因素较多,为能有效获取数据间的关联特征,神经网络是较为合适的处理方法。
BP神经网络是一种常见的数据融合算法,由于简单的结构以及较强的非线性映射能力,在多个领域得到应用。BP神经网络能够实现数据间的非线性映射,利用自身的学习能力,使其能够在不同环境下都能良好运行的适应能力。在多源数据融合中,感知数据来自不同的节点且种类各异,BP神经网络能够提取异构数据间的非线性属性关联并在网络中以权值的形式表现,
因此采用BP神经网络训练融合模型,实现异构数据融合。首先对异构数据间的物理属性关联进行分析,然后选择关联性强的异构数据采用BP神经网络进行模型训练,将训练好的模型放入物联网终端进行异构数据融合,提高数据的准确性。
采用三层的BP神经网络来建立,由输入层、输出层以及隐藏层组成。BP神经网络训练从输入具有物理属性关联性的异构数据集开始,利用隐藏层的激励函数对数据集进行处理,输出层为数据融合的结果即需要提高准确性的目标异构数据值。BP神经网络的核心是利用梯度下降法沿着期望值与实际输出值的误差进行反向传播,在每一次的训练过程中调整对应的神经网络参数,直到输出数据与预期输出间的误差满足需求,从而使融合模型达到最优。
(1)训练样本。BP神经网络融合结果的准确性与训练数据集的质量有关。在选择传感器领域最常见的温度湿度以及光线强度三种异构数据作为训练样本,同时该三种异构数据间在物理上具备较强的关联性,经过灰色关联分析关联性较高。
(2)输入输出层设计。采用了灰色关联法对异构数据间的物理属性关联性进行了分析,筛选出其中物理属性关联较强的异构数据作为BP神经网络模型输入层,需要提高准确性的异构数据作为输出,因此输出层为1。输入层设计应根据实际运行情况动态设计输入数据的个数,根据周围数据关联性以及输入异构数据的种类决定。同时需要考虑到传感器本身资源限制问题,过多的输入层数量会加大神经网络的资源消耗,导致无法在一些资源较少的物联网终端运行,需要考虑模型开销。
(3)隐藏层设计。通过实验证明了,一到两层的隐藏层足以解决任何非线性问题。隐藏层的数量过多会增加神经网络的复杂性和训练时间以及增加物联网终端的资源消耗,隐藏层的数量太少会导致融合结果不能满足需求。隐藏层神经元不应超过输入层神经元两倍,并且合适的隐藏层能更好地保证训练时间同时减少模型资源开销,因此选择构建一层隐藏层神经模型。隐藏层神经元个数通常根据经验公式与实际模型测试相结合,确定最终的参数取值,具体隐藏层节点数量将会在仿真实验参数设置中给出。
(4)激活函数的选择。
Relu函数功能为取最大值,计算速度较快,只需判断输入是否大于0。函数的表达式为式
Relu(x)=max(0,x)。
(4)学习率的选择
在神经网络模型训练时,学习率对融合模型结果的准确性有重大影响。在神经网络中,学习率设置过大会导致收敛速度较慢并引起震荡的现象,在模型训练造成负面影响。因此通常会将学习率设置为一个常数,并通过不断的训练调整学习率,使模型达到满意的效果。
(5)神经网络初始权值选择
BP神经网络训练时需要选取初始化的权值,但对于初始化权值的设定目前暂无统一的理论指导,通常按照经验法进行。目前常见的选取方法与激活函数的选取有关,由于激活函数选择了Sigmoid函数,因此可以将初始值设定为[-1,1]之间,通过随机数的方式选取。
构建感知数据,提出了一种基于物理属性关联性的异构数据融合方法。利用异构数据间的物理属性关联采用BP神经网络算法设计异构数据融合模型,采用了灰色关联分析将关联性较强的异构数据作为神经网络输入需要提高准确性的异构数据作为输出,得到异构数据融合模型。
通过三级数据融合实现智慧农业零一态势可视化。知识库中存储的主要是智慧农业领域知识和态势评估阶段中需要使用的规则。在进行态势评估时需要使用到各个事件主体的特征属性之间的相互关联,这些关联关系就是通过知识库中的规则进行表达的。通过使用这些规则进行推理就可以对某个态势进行结果预测或者是评估。在态势评估阶段使用了知识库中的规则,这些规则表达了各种局部态势之间的关联关系,每一条规则都对态势信息之间的关系进行了抽象的表达。应用推理规则进行态势评估,所以说知识库中的规则是进行态势评估的主要依据,也是对态势的潜在意义进行深度发掘、分析和理解的主要辅助工具。
实施例2
以智慧农业光照和温度为例,说明数据融合、特征融合和决策融合。
在某一个时刻融合系统收到了特征级融合阶段生成的局部态势本体片段ReportOnto,其中的传感器实例中的数据反映了当前的大棚环境的当前局部态势。
为了将局部态势本体ReportOnto和全局态势本体SmartHomeOnto进行映射以便于全局态势评估的进行,将ReportOnto和SmartHomeOnto导入DFS原型工具中进行一致性验证之后再进行本体映射。
在获取到映射结果之后将ReportOnto中与SmartHomeOnto形成映射关系的本体实例在SmartHomeOnto本体中进行添加,在SmartHomeOnto添加本体实例之后便可以进行本体推理操作。其中在SmartHomeOnto态势本体中添加实例数据后在protégé中的可视化。
如果有不同的Report本体片段的话重复上述步骤,将不同的局部态势本体片段依次与SmartHomeOnto进行映射并将本体实例添加到SmartHomeOnto中以便于获取全局的态势信息。由于传感器数据具有不确定性的特征,在某些非完全信息下对部分态势信息进行判断可以使用决策级数据融合方法。部分推理规则定义了各种不同条件下事件发生的置信度标记,此时我们使用提出的决策级数据融合方法根据某些推理规则的置信度进行部分态势的判断。
根据上述的结果,当光照度大于8000Lx且温度大于30度,定为大棚温度过高,植物产生水胁迫,而根据该态势所作出的决策信息为打开大棚排风扇、放开大棚卷扬帘,并通过信息传得系统报警和通知大棚管理员。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
Claims (7)
1.基于传感器时序数据多源异构数据融合系统,其特征在于,所述系统包括:
对获取的传感器元数据进行数据级融合处理,得到传感器数据的结构化文件;
进行数据级融合处理包括:对获取的传感器元数据进行预处理,得到预处理后的传感器元数据;对预处理后的传感器元数据进行聚类分群操作,得到分群后的传感器元数据;对各分群后的传感器元数据进行时空对齐操作,得到分群后传感器数据的矩阵;对分群后传感器数据的矩阵数据进行持久化处理,得到数据存储结果即传感器数据的结构化文件;对传感器数据的结构化文件进行特征级数据融合处理,得到态势报告;基于预设的领域知识库,对态势报告进行决策级数据融合处理,得到当前态势的决策结果。
2.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,所述系统还包括:从分布在不同位置的传感器获取传感器元数据。
3.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,所述进行特征级数据融合处理,包括:
对传感器数据的结构化文件进行数据模型转换,得到不同的传感器关于监测目标的本体描述片段;
将不同的传感器关于监测目标的本体描述片段进行属性融合和特征提取,得到关于特定场景下的态势本体片段即得到态势报告;
具体包括:在特征级数据融合阶段的输入是来自数据级数据融合阶段输出的结构化数据文件,在所有的传感器数据进行统一描述之后形成关于当前场景下某一目标相关特征的本体描述片段View,然后再将不同的传感器关于监测目标的本体描述片段进行属性融合和特征提取,以此形成关于特定场景下的态势本体片段Report;态势指的是关于当前环境的由事件、时间、位置、状态和活动对象要素组成的场景描述,态势报告是关于当前场景下的传感器监测的目标所具有的状态描述片段,采用本体描述的所述态势报告是决策级数据融合阶段的输入,决策级数据融合阶段接受来自特征级数据融合阶段的态势报告Report,为了获取当前场景下的全局态势,将态势本体片段进行融合处理,融合之后态势本体具有了针对当前场景的全局态势描述,接下来在全局态势本体描述下进行态势评估。
4.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,所述进行决策级数据融合处理,具体包括:
对态势报告利用BP神经网络进行融合处理,得到当前场景的全局态势本体描述结果;
基于当前场景的全局态势本体描述结果和预设的领域知识库,进行态势评估,得到当前态势的决策结果。
5.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,对获取的传感器元数据进行误差配准操作,得到预处理后的传感器元数据。
6.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,所述进行聚类分群的原则为:根据基于目标对象分群、根据空间位置分群、根据传感器之间的相互作用分群。
7.根据权利要求1所述的基于传感器时序数据多源异构数据融合系统,其特征在于,进行持久化处理,具体为:对不同的传感器数据以格式化的文件进行存储。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311484115.8A CN117216722B (zh) | 2023-11-09 | 2023-11-09 | 基于传感器时序数据多源异构数据融合系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311484115.8A CN117216722B (zh) | 2023-11-09 | 2023-11-09 | 基于传感器时序数据多源异构数据融合系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117216722A CN117216722A (zh) | 2023-12-12 |
CN117216722B true CN117216722B (zh) | 2024-02-27 |
Family
ID=89039372
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311484115.8A Active CN117216722B (zh) | 2023-11-09 | 2023-11-09 | 基于传感器时序数据多源异构数据融合系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117216722B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108175389A (zh) * | 2017-12-22 | 2018-06-19 | 北京农业信息技术研究中心 | 一种多源信息融合奶牛行为监测系统及方法 |
CN109360136A (zh) * | 2018-09-05 | 2019-02-19 | 中电科大数据研究院有限公司 | 一种政务数据统一融合系统 |
CN109732603A (zh) * | 2019-01-12 | 2019-05-10 | 无锡物联网产业研究院 | 基于多源异构信息融合的机械手控制方法 |
CN111640280A (zh) * | 2020-04-21 | 2020-09-08 | 北京北大千方科技有限公司 | 一种基于多源信息融合的地铁站污染物预警方法 |
CN112348054A (zh) * | 2020-10-12 | 2021-02-09 | 北京国电通网络技术有限公司 | 多类型传感器的数据处理方法、装置、介质和系统 |
CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
CN114970667A (zh) * | 2022-03-30 | 2022-08-30 | 国网吉林省电力有限公司 | 一种多源异构能源数据融合方法 |
CN115293428A (zh) * | 2022-08-08 | 2022-11-04 | 中国科学技术大学 | 一种基于多模态数据融合的交通预测方法及应用 |
CN115436371A (zh) * | 2022-09-29 | 2022-12-06 | 浙江大学 | 基于多源信息融合的Autoformer烧结矿FeO含量软测量方法 |
CN116992103A (zh) * | 2023-06-27 | 2023-11-03 | 河北深保投资发展有限公司 | 一种多源异构数据融合存储系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090208A (zh) * | 2017-12-29 | 2018-05-29 | 广东欧珀移动通信有限公司 | 融合数据处理方法及装置 |
-
2023
- 2023-11-09 CN CN202311484115.8A patent/CN117216722B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108175389A (zh) * | 2017-12-22 | 2018-06-19 | 北京农业信息技术研究中心 | 一种多源信息融合奶牛行为监测系统及方法 |
CN109360136A (zh) * | 2018-09-05 | 2019-02-19 | 中电科大数据研究院有限公司 | 一种政务数据统一融合系统 |
CN109732603A (zh) * | 2019-01-12 | 2019-05-10 | 无锡物联网产业研究院 | 基于多源异构信息融合的机械手控制方法 |
CN111640280A (zh) * | 2020-04-21 | 2020-09-08 | 北京北大千方科技有限公司 | 一种基于多源信息融合的地铁站污染物预警方法 |
CN112348054A (zh) * | 2020-10-12 | 2021-02-09 | 北京国电通网络技术有限公司 | 多类型传感器的数据处理方法、装置、介质和系统 |
CN113408625A (zh) * | 2021-06-22 | 2021-09-17 | 之江实验室 | 应用于无人系统的多源异构数据单帧融合与一致表征方法 |
CN114970667A (zh) * | 2022-03-30 | 2022-08-30 | 国网吉林省电力有限公司 | 一种多源异构能源数据融合方法 |
CN115293428A (zh) * | 2022-08-08 | 2022-11-04 | 中国科学技术大学 | 一种基于多模态数据融合的交通预测方法及应用 |
CN115436371A (zh) * | 2022-09-29 | 2022-12-06 | 浙江大学 | 基于多源信息融合的Autoformer烧结矿FeO含量软测量方法 |
CN116992103A (zh) * | 2023-06-27 | 2023-11-03 | 河北深保投资发展有限公司 | 一种多源异构数据融合存储系统 |
Non-Patent Citations (5)
Title |
---|
A General Multi-Source Data Fusion Framework;Weiming Liu;《Proceedings of the 2019 11th International Conference on Machine Learning and Computing》;全文 * |
基于多源异构传感器的网络安全态势感知系统设计;陈锴;;现代电子技术(20);全文 * |
基于数据融合的Bayes估计算法研究;商娟叶;;自动化与仪器仪表(02);全文 * |
基于神经网络的目标分群及目标运动状态预测;张永利;刘楠楠;王兆伟;;舰船电子对抗;20200625(03);全文 * |
复杂系统多传感器数据融合技术及应用研究;罗蓉;徐红兵;田涛;;中国测试技术(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117216722A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Jiang et al. | Ensemble prediction algorithm of anomaly monitoring based on big data analysis platform of open-pit mine slope | |
CN108418841B (zh) | 基于ai的下一代关键信息基础设施网络安全态势感知系统 | |
CN106453293B (zh) | 一种基于改进bpnn的网络安全态势预测方法 | |
Izakian et al. | Anomaly detection and characterization in spatial time series data: A cluster-centric approach | |
CN109714324B (zh) | 基于机器学习算法的用户网络异常行为发现方法及系统 | |
CN109872003A (zh) | 对象状态预测方法、系统、计算机设备及存储介质 | |
Domb et al. | Lightweight adaptive Random-Forest for IoT rule generation and execution | |
CN105825271A (zh) | 基于证据推理的卫星故障诊断与预测方法 | |
CN112966714A (zh) | 一种边缘时序数据异常检测和网络可编程控制方法 | |
Li et al. | A cloud-fog-edge closed-loop feedback security risk prediction method | |
Moshtaghi et al. | An adaptive elliptical anomaly detection model for wireless sensor networks | |
Chang et al. | Internet of things security detection technology based on grey association decision algorithm | |
Wang | Research on real-time reliability evaluation of CPS system based on machine learning | |
Li et al. | A LSTM-based method for comprehension and evaluation of network security situation | |
CN117216722B (zh) | 基于传感器时序数据多源异构数据融合系统 | |
Li et al. | Information granularity with the self-emergence mechanism for event detection in WSN-based tunnel health monitoring | |
KR102383144B1 (ko) | 대상 시스템을 기술하는 모델을 구현하고 동작시키는 컴퓨팅 시스템 및 이를 이용한 대상 시스템의 동작 예측 방법 | |
EP3686812A1 (en) | System and method for context-based training of a machine learning model | |
CN115964503A (zh) | 基于社区设备设施的安全风险预测方法及系统 | |
Mohammadi et al. | Exploiting the spatio-temporal patterns in IoT data to establish a dynamic ensemble of distributed learners | |
Yan et al. | Autonomous coordinated control strategy for complex process of traffic information physical fusion system based on big data | |
Moore et al. | Predicting intelligence using hybrid artificial neural networks in context-aware tunneling systems under risk and uncertain geological environment | |
Kea et al. | Enhancing anomaly detection in distributed power systems using autoencoder-based federated learning | |
Aftabi et al. | A variational autoencoder framework for robust, physics-informed cyberattack recognition in industrial cyber-physical systems | |
DAniello et al. | Employing fuzzy consensus for assessing reliability of sensor data in situation awareness frameworks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |