CN104834813A - 物联网多源异构数据统计分析处理方法和装置 - Google Patents

物联网多源异构数据统计分析处理方法和装置 Download PDF

Info

Publication number
CN104834813A
CN104834813A CN201510207805.8A CN201510207805A CN104834813A CN 104834813 A CN104834813 A CN 104834813A CN 201510207805 A CN201510207805 A CN 201510207805A CN 104834813 A CN104834813 A CN 104834813A
Authority
CN
China
Prior art keywords
data
internet
things
statistic analysis
analysis processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510207805.8A
Other languages
English (en)
Other versions
CN104834813B (zh
Inventor
刘斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201510207805.8A priority Critical patent/CN104834813B/zh
Publication of CN104834813A publication Critical patent/CN104834813A/zh
Application granted granted Critical
Publication of CN104834813B publication Critical patent/CN104834813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种物联网多源异构数据统计分析处理方法和装置，为物联网多源异构数据提供一种较佳的信息整合、数据处理的方式。本发明对物联网海量多源异构数据进行统一化有限集表示与建模，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件；又采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。本发明的实施将对物联网相关技术的产业化应用具有正面促进作用。

Description

物联网多源异构数据统计分析处理方法和装置
技术领域
本发明涉及一种数据建模与统计分析处理方法和装置，属于物联网信息融合与数据处理技术领域。
背景技术
物联网是一个基于互联网、传统电信网等信息载体，让所有能被独立寻址的普通物理对象实现互联互通的网络。普通对象设备化、自治终端互联化和普适服务智能化是其三个重要特征。根据信息生成、传输、处理和应用可将物联网分为感知识别层、网络构建层、信息整合层和综合应用层。信息整合层位于感知识别和网络构建层之上，综合应用层之下。人们通常把物联网应用冠以“智能”的名称，如智能电网、智能交通、智能物流、智能家居等，其中的智慧就来自这一层。当感知识别层生成的大量数据经过网络层传输汇聚到信息整合层，如果不能有效地整合与利用，将无异于入宝山而空返，望“数据的海洋”而兴叹。因此信息整合性能的好坏、数据利用程度的高低将直接影响物联网整体“智慧”的程度。
物联网数据具有海量性、多源、多态、异构、复杂时空特性的特点，这为实施有效的信息整合带来了严峻的挑战。目前我国已启动的一批科研项目，如国家重点基础研究发展计划(973计划)项目《物联网体系结构基础研究》(起止时间：2010年9月至2015年9月)和《物联网的基础理论与实践研究》(起止时间：2011年1月至2013年8月)，将多源信息融合、异质网元信息交互等相关课题列为关键性科学问题进行研究。尽管如此，相较于数据感知与应用，针对信息整合层的信息融合和数据挖掘尚没有得到国内业界应有的重视，并且有被忽视的趋势。
发明内容
为了解决上述问题，针对物联网数据海量、多源、多态、异构的特点，本发明提供了一种物联网多源异构数据统计分析处理方法和装置，具体采用的技术方案如下：
本发明的物联网多源异构数据统计分析处理方法主要包括如下步骤：
S1：在中心服务器端，实时收集物联网传感器终端发送而来的观测数据；
S2：在中心服务器端，利用随机有限集统计模型对上述观测数据进行统一建模与表示；
S3：在中心服务器端，采用贝叶斯统计分析原理对上述有限集表示数据进行统计分析处理，输出模型参数后验概率密度分布；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取及最优决策。
进一步，在步骤S1中，中心服务器采用标准的无线传感网数据通信与传输协议来实时收集由物联网传感器终端发送而来的多源异构观测数据。
进一步，在步骤S2中，采用随机有限集统计模型对收集到的所有传感器观测数据进行统一化的建模与表示，也就是将所有的观测数据统一转换、表示为随机有限集的形式。观测中所包含的不精确、不确定和模糊性因素由随机有限集模型统一表示。
进一步，在步骤S3中，采用贝叶斯方法对由随机有限集表示的观测数据进行统计分析与处理的具体过程为：对各个传感终端发送来的观测数据依次进行处理，将对前一终端观测数据进行处理后生成的模型参数概率分布作为处理当前观测数据时的先验分布，定义似然函数描述模型参数与当前观测数据的相互依赖关系，基于贝叶斯公式融合先验分布和似然函数，计算得到后验分布，该后验分布作为处理下一终端观测数据时的先验分布。该方法的输出为模型参数的后验概率密度分布。
进一步，在步骤S3中，数据统计分析处理操作包括各种统计聚类、分类、预测、估计、试验设计操作。
进一步，在步骤S4中，利用后验分布采样技术，包括马尔科夫链蒙特卡洛方法和序列蒙特卡洛采样算法，对由S3步骤输出的模型参数后验概率密度分布进行统计采样，然后基于采样样本进行统计推断与最优决策。
本发明的物联网多源异构数据统计分析处理装置
实时物联网终端数据接收与存储模块：由集成电路和存储芯片构成，用于采集、存储物联网终端所发送的实时观测数据；
数据统一化建模与表示模块：负责处理终端数据，该模块将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块：负责对有限集形式观测数据进行统计建模、分析与处理。
知识提取与最优决策模块：用于输出在数据统计分析处理过程中产生的知识，和所做的最优决策。知识与决策的生成过程也通过贝叶斯原则得出。
本发明对物联网海量多源异构数据进行统一化有限集表示与建模，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件；又采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。本发明为物联网多源异构数据的表示、分析、处理提供了统一的模型算法框架，将对物联网相关技术的产业化应用具有正面促进作用。
附图说明
图1是本发明方法的流程图。
图2是本发明系统的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细说明。
实施例一
如图1所示，本发明方法包括以下步骤：
S1：在中心服务器端，实时收集物联网传感终端发送而来的观测数据；
在步骤S1中，物联网传感终端包括各种类型的传感器、有数据采集传输功能的移动通信设备(如手机)、摄像头等。这些设备采用特定的数据通信传输标准与中心服务器进行互联通信，将观测数据传送给中心服务器。中心服务器是指具有一定数据存储、计算功能的电子设备，如个人电脑、工作站或大型服务器等。
S2：在中心服务器端，利用随机有限集统计模型对上述观测数据进行统一建模与表示；
在步骤S2中，采用随机有限集模型对收集到的各种观测数据进行统一建模与表示。观测中所隐含的各种不确定、不精确和模糊性都涵盖于有限集表示模型之下。
S3：在中心服务器端，采用贝叶斯统计分析原理对上述有限集表示数据进行统计分析处理；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取或最优决策。
在本发明方法的步骤S2中对物联网海量多源异构数据进行统一化有限集表示与建模，也就是说，多源异构数据被转化成相同的表示形式，变成了“同构”数据，为后续的统计分析处理提供了前提条件。在步骤S3和S4中，采用贝叶斯统计工具对所有的观测数据进行融合分析处理，有助于充分地利用数据信息，挖掘知识进而做出最优决策。
本发明主要针对现有数据统计分析方法在处理物联网多源异构数据方面存在的不足，提供了一种有效的异构数据统计建模及分析处理方法装置，该发明将对物联网相关技术的产业化应用具有正面促进作用。
实施例二
如图2所示，本发明装置由实时物联网终端数据接收与存储模块、数据统计化建模与表示模块、数据统计分析处理模块和知识提取与最优决策模块构成。
实时物联网终端数据接收与存储模块是用于采集、存储物联网终端所发送的实时观测数据的终端设备，由集成电路和存储芯片构成；
数据统一化建模与表示模块是运行特定算法的终端数据处理装置，该装置将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块是运行特定算法的终端数据处理装置。用于对有限集形式的观测数据进行统计建模、分析与处理，进而实现统计聚类、分类、预测、估计、试验设计的目的。
知识提取与最优决策模块用于输出在数据统计分析处理过程中产生的知识，和所做的最优决策。
本发明不限于上述实施例，一切采用等同替换或等效替换形成的技术方案均属于本发明要求保护的范围。

Claims (6)

1.一种物联网多源异构数据统计分析处理方法，其特征在于，包括如下步骤：
S1：在中心服务器端，实时收集物联网传感器终端发送而来的观测数据；
S2：在中心服务器端，利用随机有限集统计模型对所述观测数据进行统一建模与表示，得到有限集表示数据；
S3：在中心服务器端，采用贝叶斯统计分析原理对所述有限集表示数据进行统计分析处理，输出模型参数后验概率密度分布；
S4：在中心服务器端，基于上述统计分析处理结果，进行知识提取及最优决策。
2.根据权利要求1所述的方法，其特征是，在步骤S2中，将所有的观测数据统一转换、表示为随机有限集的形式；观测中所包含的不精确、不确定和模糊性因素由随机有限集模型统一表示。
3.根据权利要求1或2所述的方法，其特征是，在步骤S3中，采用贝叶斯方法对由随机有限集表示的观测数据进行统计分析与处理的具体过程为：将对前一终端观测数据进行处理后生成的模型参数概率分布作为处理当前观测数据时的先验分布，定义似然函数描述模型参数与当前观测数据的相互依赖关系，基于贝叶斯公式融合先验分布和似然函数，计算得到后验分布，该后验分布作为处理下一终端观测数据时的先验分布。
4.根据权利要求3所述的方法，其特征是，数据统计分析处理操作包括统计聚类、分类、预测、估计、试验设计操作。
5.根据权利要求3所述的方法，其特征是，步骤S4具体为：利用后验分布采样技术，对由S3步骤输出的模型参数后验概率密度分布进行统计采样，然后基于采样样本进行统计推断与最优决策。
6.一种物联网多源异构数据统计分析处理装置，其特征在于，包括实时物联网终端数据接收与存储模块、数据统一化建模与表示模块、数据统计分析处理模块以及知识提取与最优决策模块，其中：
实时物联网终端数据接收与存储模块由集成电路和存储芯片构成，负责采集、存储物联网终端所发送的实时观测数据；
数据统一化建模与表示模块负责处理终端数据，该模块将多源异构的物联网观测数据统一表示成随机有限集形式；
数据统计分析处理模块负责对有限集形式观测数据进行统计建模、分析与处理；
知识提取与最优决策模块负责输出在数据统计分析处理过程中产生的知识和所做的最优决策。
CN201510207805.8A 2015-04-28 2015-04-28 物联网多源异构数据统计分析处理方法和装置 Active CN104834813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510207805.8A CN104834813B (zh) 2015-04-28 2015-04-28 物联网多源异构数据统计分析处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510207805.8A CN104834813B (zh) 2015-04-28 2015-04-28 物联网多源异构数据统计分析处理方法和装置

Publications (2)

Publication Number Publication Date
CN104834813A true CN104834813A (zh) 2015-08-12
CN104834813B CN104834813B (zh) 2018-08-21

Family

ID=53812696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510207805.8A Active CN104834813B (zh) 2015-04-28 2015-04-28 物联网多源异构数据统计分析处理方法和装置

Country Status (1)

Country Link
CN (1) CN104834813B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476503A (zh) * 2020-04-24 2020-07-31 中科天盛卫星技术服务有限公司 利用多源异构数据预测油棕原油产量的方法和系统
CN113609360A (zh) * 2021-08-19 2021-11-05 武汉东湖大数据交易中心股份有限公司 一种基于场景化多源数据融合分析的方法和系统
CN113746855A (zh) * 2021-09-09 2021-12-03 国网电子商务有限公司 一种能源工业云网的数据接入方法及相关设备
CN117932533A (zh) * 2024-01-16 2024-04-26 中国地质调查局自然资源综合调查指挥中心 基于贝叶斯统计的地球科学多源数据融合方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035041A (zh) * 2007-02-02 2007-09-12 南京邮电大学 基于贝叶斯方法的无线传感器网络的节点失效预警方法
US20080010232A1 (en) * 2006-05-08 2008-01-10 Shashi Kant Apparatus and method for learning and reasoning for systems with temporal and non-temporal variables
US20100138368A1 (en) * 2008-12-03 2010-06-03 Schlumberger Technology Corporation Methods and systems for self-improving reasoning tools
CN102243497A (zh) * 2011-07-25 2011-11-16 江苏吉美思物联网产业股份有限公司 用于工程机械的基于物联网技术的远程智能分析服务系统
CN104484410A (zh) * 2014-12-16 2015-04-01 芜湖乐锐思信息咨询有限公司 应用于大数据系统的数据融合方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080010232A1 (en) * 2006-05-08 2008-01-10 Shashi Kant Apparatus and method for learning and reasoning for systems with temporal and non-temporal variables
CN101035041A (zh) * 2007-02-02 2007-09-12 南京邮电大学 基于贝叶斯方法的无线传感器网络的节点失效预警方法
US20100138368A1 (en) * 2008-12-03 2010-06-03 Schlumberger Technology Corporation Methods and systems for self-improving reasoning tools
CN102243497A (zh) * 2011-07-25 2011-11-16 江苏吉美思物联网产业股份有限公司 用于工程机械的基于物联网技术的远程智能分析服务系统
CN104484410A (zh) * 2014-12-16 2015-04-01 芜湖乐锐思信息咨询有限公司 应用于大数据系统的数据融合方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孟宇龙: "基于本体的多源异构安全数据聚合", 《中国博士学位论文全文数据库（信息科技辑）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476503A (zh) * 2020-04-24 2020-07-31 中科天盛卫星技术服务有限公司 利用多源异构数据预测油棕原油产量的方法和系统
CN111476503B (zh) * 2020-04-24 2021-04-30 中科天盛卫星技术服务有限公司 利用多源异构数据预测油棕原油产量的方法和系统
CN113609360A (zh) * 2021-08-19 2021-11-05 武汉东湖大数据交易中心股份有限公司 一种基于场景化多源数据融合分析的方法和系统
CN113746855A (zh) * 2021-09-09 2021-12-03 国网电子商务有限公司 一种能源工业云网的数据接入方法及相关设备
CN117932533A (zh) * 2024-01-16 2024-04-26 中国地质调查局自然资源综合调查指挥中心 基于贝叶斯统计的地球科学多源数据融合方法及系统
CN117932533B (zh) * 2024-01-16 2024-09-06 中国地质调查局自然资源综合调查指挥中心 基于贝叶斯统计的地球科学多源数据融合方法及系统

Also Published As

Publication number Publication date
CN104834813B (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
CN107770263B (zh) 一种基于边缘计算的物联网终端安全接入方法及系统
Chen et al. An edge traffic flow detection scheme based on deep learning in an intelligent transportation system
CN110263280B (zh) 一种基于多视图的动态链路预测深度模型及应用
US11694431B2 (en) Systems and methods for skyline prediction for cyber-physical photovoltaic array control
Liu et al. A class-oriented feature selection approach for multi-class imbalanced network traffic datasets based on local and global metrics fusion
CN110348526B (zh) 一种基于半监督聚类算法的设备类型识别方法和装置
CN105871832A (zh) 一种基于协议属性的网络应用加密流量识别方法及其装置
CN104834813A (zh) 物联网多源异构数据统计分析处理方法和装置
CN106294738B (zh) 一种智能家居场景配置方法
CN112801411B (zh) 一种基于生成对抗网络的网络流量预测方法
Lv et al. Internet of Things and augmented reality in the age of 5G
CN113687610B (zh) 一种gan-cnn电力监测系统终端信息防护法方法
Xia et al. The interplay between artificial intelligence and fog radio access networks
CN115660538B (zh) 一种货物运输方法及系统
CN108668265B (zh) 基于循环神经网络预测移动用户间相遇概率的方法
Huang et al. Multisource data acquisition based on single-chip microcomputer and sensor technology
CN111241054B (zh) 基于虚拟数据库的电力通信网络异地异构数据源整合方法
CN106250907A (zh) 云计算环境基于过采样修正的大规模图像聚类方法
Rossi et al. Energy efficient data collection via supervised in-network classification of sensor data
CN104361060A (zh) 一种应用于制造物联网的数据挖掘方法及系统
Albekairi A Comprehensive Mutable Analytics Approach to Distinguish Sensor Data on the Internet of Underwater Things
CN118399553B (zh) 5g基站储能系统的soc偏移优化控制方法及系统
Singh et al. Wireless Multimedia Sensor Networks and Data Fusion: An Overview
Yu et al. Hybrid Hierarchical Communication Network Optimal Placement for Transmission Line Online Monitoring in Smart Grid.
Behzad et al. Toward performance optimization in IoT-based next-Gen wireless sensor networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20150812

Assignee: NANJING CHENGQIN EDUCATION TECHNOLOGY Co.,Ltd.

Assignor: NANJING University OF POSTS AND TELECOMMUNICATIONS

Contract record no.: X2020980007039

Denomination of invention: Method and device for statistical analysis and processing of multi-source heterogeneous data in Internet of things

Granted publication date: 20180821

License type: Common License

Record date: 20201023