CN113239979A - 一种物联网传感器数据采集的方法及装置 - Google Patents
一种物联网传感器数据采集的方法及装置 Download PDFInfo
- Publication number
- CN113239979A CN113239979A CN202110439883.6A CN202110439883A CN113239979A CN 113239979 A CN113239979 A CN 113239979A CN 202110439883 A CN202110439883 A CN 202110439883A CN 113239979 A CN113239979 A CN 113239979A
- Authority
- CN
- China
- Prior art keywords
- data
- sensor
- unknown
- sensors
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012544 monitoring process Methods 0.000 claims abstract description 116
- 238000004891 communication Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 12
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 12
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 claims abstract description 4
- 229910052744 lithium Inorganic materials 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 235000018185 Betula X alpestris Nutrition 0.000 claims description 6
- 235000018212 Betula X uliginosa Nutrition 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 3
- 230000005540 biological transmission Effects 0.000 description 7
- 238000013461 design Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000002912 waste gas Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000002351 wastewater Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
Abstract
本发明公开了一种物联网传感器数据采集的方法，包括自适应的传感器数据采集方法和信息融合方法；自适应的传感器数据采集方法包括建立已知传感器数据库、已知传感器数据分析、未知传感器类别判定、未知传感器监测因子判定，未知传感器监测因子数值判定。本发明还提供一种物联网传感器数据采集的装置，包括太阳能电池、太阳能BMS控制器、锂电池、接口模块、自适应数据采集模块、信息融合模块、通讯模块。本发明的目的是实现物联网传感器的自适应数据采集和信息融合。
Description
技术领域
本发明涉及数据采集领域，具体涉及物联网传感器数据采集。
背景技术
气象、水文、应急、农业、环保等机构大量的使用智能物联网装置例如雨量、流速、温湿度、水位、风速、大气压强、空气PM2.5及视频等。这些物联网传感器有以下几个缺点：
1、接口标准不统一，各类型传感器使用RS-485/422、RS-232C、SDI-12、以太网及光信号等接口，对于统一的数据采集造成了很大的困难。
2、生产厂商的数据协议不统一：现阶段的传感器基本都是针对一些特定的应用场景进行定制开发的，缺乏共性解决方案，而且大多数装置采用有线设备进行数据的采集和传输，很大程度上影响了物联网系统的兼容性与适应性，无法做到真正的数据采集，并且每个厂家的传感器输出的信号方式及相关字节的定义不同，通常会造成每个传感器都需要配套自己通信采集模块，造成资源的浪费及行业垄断；
3、信息融合度不高：传感器是物联网的重要基础，由于传感技术的多样性和复杂性，不同传感器收集到的数据整合和预处理是当今物联网技术开发中的一个难题。
发明内容
针对背景技术中存在的问题，本发明提供一种物联网传感器数据采集的方法及装置，目的是实现物联网传感器的自适应数据采集和信息融合。
为实现上述目的，本发明提供了一种物联网传感器数据采集的方法，包括自适应的传感器数据采集方法和信息融合方法；
所述自适应的传感器数据采集方法包括以下步骤：
步骤1，建立已知传感器数据库；
步骤2，已知传感器数据分析；
步骤3，未知传感器类别判定；
步骤4，未知传感器监测因子判定；
步骤5，未知传感器监测因子数值判定；
具体的，所述建立已知传感器数据库包括以下步骤：
步骤101，获取传感器坐标位置；
步骤102，通过已知传感器已有资料，获得该传感器的监测因子，并根据标准规范监测因子；
步骤103，建立数据库，实时记录已知传感器数据，所述传感器数据包括：传感器坐标位置、检测因子、检测数据、发送时间；
所述已知传感器数据分析包括以下步骤：
步骤201，收集所有的已知和未知的传感器坐标位置，将所有的传感器按照位置分成不同的类，得到热点位置信息，所述热点位置包括一个圆心坐标和半径信息；
步骤202，将所述热点位置和地理位置信息系统GIS对照，提取位置信息，给该热点位置标注位置标签；
步骤203，对相同位置标签的所有传感器按照类别进行统计，计算出不同类别的百分数占比；
所述未知传感器类别判定包括以下步骤：
步骤301，获得未知传感器的坐标位置，获得对应的位置标签，和该位置标签对应已知传感器类别及其占比Ps；
步骤302，存储一段时间未知传感器的数据，将这些数据和已知传感器数据组成样本集；
步骤303，归一化所有传感器的频率f；
步骤304，将未知传感器的数据长度和该长度出现的次数作为二维数据，生成一条曲线；
步骤305，已知传感器数据用同法生成已知传感器曲线；
步骤306，用frechet算法计算出每一个已知传感器曲线和未知传感器曲线的相似度δ；
步骤307，所有传感器都用向量(f，δ)标识，用聚类算法分类；具体的，聚类算法为birch算法；
步骤308，和未知传感器分在一类的传感器，计算出不同类别在其中的比例Pt；
步骤309，计算出不同类别的综合概率Pt*Ps，按照综合概率的大小对不同类别做排序；
所述未知传感器监测因子判定，包括以下步骤：
步骤401，找出现频率最高且位置固定的字节判定为数据头或停止位；
步骤402，利用数据头和停止位对未知传感器数据分句；
步骤403，对数据分句的字节进行概率分析，找到表示数据长度的字节，去掉该字节；
步骤404，用穷举法找出数据分句校验和字节，去掉该字节；
步骤405，根据步骤301得到的已知传感器类别，将该类别下所有传感器的数据按照步骤402～404去掉无效数据，得到数据分句，并按照传感器分类；
步骤406，根据未知传感器的数据分句频率归一化所有数据分句频率；
步骤407，将未知传感器数据分句的数据长度和该长度出现的次数作为二维数据，生成一条曲线；
步骤408，已知传感器数据分句也用同样方法做出对应的曲线；
步骤409，用frechet算法计算出已知传感器数据分句曲线和未知传感器数据分句曲线的相似度δ；
步骤410，将步骤405中获得的某个传感器分类下数据分句都用向量(f，δ)标识，用聚类算法对所有的数据分句分类；具体的，聚类算法为birch算法；
步骤411，计算未知传感器数据分句到聚类中心的距离L；
步骤412，根据步骤301得到的多个已知传感器类别，按照重新执行步骤410～411；
步骤413，如果距离L小于设定阈值，进入步骤414，否则进入步骤415；
步骤414，用未知传感器数据分句所属分类确定传感器类别、传感器名称、监测因子；
步骤415，平均距离都大于设定阈值，无法判定传感器，提示人工介入；
所述未知传感器监测因子数值判定，包括以下步骤：
步骤501，找到未知监控因子所有的数据分句，对其某个值和其出现的次数做二维数据，生成一条曲线；
步骤502，找到所有和未知传感器位置标签相同的已知监控因子的数据分句，用同法生成一条曲线；
步骤503，用frechet算法计算出已知传感器监控因子曲线和未知传感器监控因子曲线的相似度δs；
步骤504，δs小于阈值，进入步骤505，否则进入步骤506；
步骤505，数值匹配成功，已知传感器监控因子曲线上的各点数值可以对应未知传感器曲线上的各点数值；
步骤506，匹配失败，提示人工介入。
所述信息融合方法包括以下步骤：
步骤S1，确定传感器所在位置的位置标签；
步骤S2，找出和该位置标签相关的监测因子数据分句；
步骤S3，对所有的监测因子数据的发送时间做归一化处理；
步骤S4，监测时间间隔是否固定，进入步骤S5，否则进入步骤S6；
步骤S5，以间隔时间作为标准，间隔时间差小于百分比阈值的，判定为相关的监测因子，进入步骤S7；
步骤S6，对所有监测因子的监测时间做聚类计算，两个监控因子聚类中心的距离小于阈值的，判定为相关监测因子，进入步骤S7；
步骤S7，相关监测因子数据按照固定格式重新打包上传。
本发明还提供了一种物联网传感器数据采集的装置，其特征在于包括太阳能电池、太阳能BMS控制器、锂电池、接口模块、自适应数据采集模块、信息融合模块、通讯模块；
所述接口模块提供多种数据接口，接收不同传感器信息；具体的，所述的数据接口为RS-485/422、RS-232C、SDI-12、以太网或光信号。
所述自适应数据采集模块利用以上所述自适应的传感器数据采集方法，根据事先设定的阈值，自动识别未知传感器的监测因子，解析其数据结构，将其数据转换为标准的数据格式；对于无法识别的传感器提示人工介入；
所述信息融合模块利用以上所述信息融合方法，将相关的监测因子数据打包上传；
通讯模块通过Modbus-RTU和SDI-12通信协议，可选的插接通讯模块与总数数据处理中心的通讯。具体的，所述的通讯模块为GPRS、4GLTE、5G、ZigBee、LoRa、NB-Lot。
本发明的有益效果是：
(1)能够实现多种接口输入。
(2)通过自适应的传感器数据采集方法，自适应的识别不同厂家的数据，并提供判断标准，提示识别度不高的传感器，避免造成数据的错误提取。
(3)通过信息融合方法，融合相关数据，即减轻了后端数据处理的压力，又节约了信道资源。
(4)融合多种通讯方式，能够适应不同的应用场景。
附图说明
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的限定。
图1自适应的传感器数据采集方法的示意图。
图2为未知传感器类别判定示意图。
图3为未知传感器监测因子判定示意图。
图4未知传感器监测因子数值判定示意图。
图5信息融合方法示意图。
图6数据融合协议。
图7一种物联网传感器数据采集的装置示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。
需要注意的是，在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以有其他实施方式以及其变形，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
市面上有大量的物联网传感器，有一些属于知名厂家生产的，数据协议为大众熟知，这一类的已知传感器，较容易处理，只是按照预先设定的数据协议，上传系统，保存于数据库即可。另一类传感器，知名度较低，通常是小厂家生产，熟悉这些传感器数据协议人数较少，(本发明称这些传感器为未知传感器)，但是这里厂家数量众多，把每一家的数据协议都保存在程序中不太现实，所以需要采用自适应的方法自动采集处理数据。
所述自适应的传感器数据采集方法，如图1所示，步骤如下：
步骤1，建立已知传感器数据库，因为协议内容已知，需要做的就是同一监测因子的名称，再按照协议拆解监控因子，保存数据；
步骤2，已知传感器数据分析，因为未知传感器通常都是一些小厂家的产品，这些厂家虽然数据协议和大厂不同，但是在产品设计思路上常常参考大厂的设计，所以其产品和已知传感器有很多相似的特征；
步骤3，未知传感器类别判定，这一步的目的是判断未知传感器的大类，因为传感器的监控因子太多了，如果预先能够锁定一个范围，可以大大的减少后续的计算量；
步骤4，未知传感器监测因子判定，判定监测因子是自适应采集传感器数据关键的一步，因为不同的监控因子有不同的特征，例如监控风速可能要实时监控，监控二氧化碳则不需要，且不同的监控因子数据特征也是不一样的，利用这些特征和已知传感器进行聚类，可以判定未知传感器的监控因子；
步骤5，未知传感器监测因子数值判定，因为同一个监控因子在不同设计目的下值的范围可能不同，但大致还是可以分成几类的，且很多小厂会参考大厂的设计，这样就可以通过和已知传感器数据的比较，判定未知传感器监控因子的数值；
所述建立已知传感器数据库包括以下步骤：
步骤101，通过gps或北斗获取传感器坐标位置；
步骤102，通过已知传感器已有资料，获得该传感器的监测因子，“污染物在线监控(监测)系统数据传输标准212-2017”标准中有的监测因子，例如废气、温度、湿度、林格曼黑度、氧气含量、二氧化氮、昼夜等效声级，用标准中规范的名称，标准中没有的监测因子，标注非标。
步骤103，建立数据库，实时记录已知传感器信息，包括：传感器坐标位置、检测因子、检测数据、发送时间，本步骤的目标即是为了后续判定未知传感器，也是为了综合分析获取的数据，整体的获得城市的污染状况或者是对不同地区污染的关联性。
所述已知传感器数据分析包括以下步骤：
步骤201，收集所有的已知和未知的传感器坐标位置，将所有的传感器按照位置分成不同的类，得到热点位置，热点位置是一个圆心和半径；在工程实践中，传感器的放置有很明显的地域特征，找到热点位置，并对其中的传感器进行分析，对后续的未知传感器判定和信息融合有很大的好处；
步骤202，将所述热点位置和地理位置信息系统GIS对照，提取位置信息，给与该热点位置标签。位置标签可以是工厂、矿区、住宅、商业区等，在某些位置可能有多个位置信息，多个标签需要人工介入进行筛选；不同的位置，传感器类别和数量都会有很大的不同，例如市中心会更侧重监测空气质量、噪声等污染问题，而在工厂周围，会更多的监控废水废气的排放，风向等指标
步骤203，对相同位置标签的所有传感器按照类别进行统计，计算出不同类别的百分数占比Ps，本步骤的目的方便后续判定未知传感器，因为出现在相同位置标签的传感器通常就那么几种，未知传感器大概率是这几种中的一种；
在完成上述已知传感器的分析后，可以对未知传感器的数据协议进行分析，以便提取有效数据。对于未知传感器，有效数据的提取，核心是监控因子和其数值判定，但是监控因子太多了，很有可能出现完全不同的监控因子却具有很相识的数据特征的情况，所以如果能够预先进行未知传感器类别判定，能够大大减少监控因子判定错误的概率；
所述未知传感器类别判定如图2所示，包括以下步骤：
步骤301，获得未知传感器的坐标位置，根据步骤202的结果得到位置标签，再通过步骤203的结果得到传感器类别及其百分数占比Ps；这样做的好处是，通过相同的位置标签，预判出可能的类别，百分数占比Ps的作用是该类别出现的概率，通常从概率高的类别开始判断，能够节约时间；
步骤302，存储一段时间未知传感器的数据，将这些数据和已知传感器数据作为样本集用于分析；不同的传感器数据频率不一样，所需要的时间也不一样，通常通过相同位置标签中可能出现的传感器类别来定存储时间；
步骤303，根据未知传感器的频率特征，归一化所有传感器的频率f，例如，未知传感器频率是分钟级别的，那么以分钟为单位，归一化所有传感器的频率，这样可以避免不合理的归一化，在计算机计算过程中去掉重要特征；
步骤304，将未知传感器的数据长度进行统计，记录在一定时间内出现某个长度的次数，以x轴为长度，y轴为次数，做成一条曲线；不同的传感器除了频率上差异很大，其监控因子的数据长度、监控因子的个数都有很大差异，这都会在整个数据包的长度中体现，通过对数据包的长度特征分析，能够划分出不同的传感器类别；
步骤305，已知传感器也用同样方法做出对应的曲线；
步骤306，用frechet算法计算出未知传感器曲线和未知传感器曲线的相似度δ；frechet算法是基于曲线距离的算法，能够判断两条曲线的相似度，在数据量较小的情况下，效果比Hausdorff算法好；
步骤307，将已知和未知的传感器都用向量(f，δ)标识，用聚类算法对所有的传感器分类。聚类算法可以采用birch算法，采用birch算法的好处是其较合适类别比较多的分类，计算速度也比较快；
步骤308，和未知传感器分在一类的传感器，可能分属不同的类别，按照其在该类中的数量，计算出不同类别的比例Pt；
步骤309，计算出不同类别的综合概率Pt*Ps，按照综合概率的大小对不同类别做排序；这么做的目的是，最大限度的利用已知传感器类别信息加上聚类出的类别信息，减低判别未知传感器的计算量；
所述未知传感器监测因子判定，如图3，包括以下步骤：
步骤401，对未知传感器的数据进行分析，找出现频率最高且位置固定的字节判定为数据头或停止位；通常一个数据包里会有很多和数据无关，但和协议有关的字节，这些字节的目的是能够方便数据传输和解析，其中最常见的就是数据头和停止位，其标识了数据开始和结束，且出现的频率很高，可以利用其将数据包拆分成数据分句。
步骤402，利用数据头和停止位对未知传感器数据分句；一个数据包通常都由几个监控因子组成，每个监控因子都有固定的数据头和停止位，分完句的一个数据分句包含一个监控因子；
步骤403，对数据分句的每个字节进行概率分析，找到某些固定字节某些数值出现的概率较高，分析该数值和数据分句的长度关系，该数值和数据分句长度能建立固定函数关系的该字节表示数据长度，在数据分句中去掉该字节；在传感器的数据协议中，为了保证数据传输的正确性，通常设定有数据长度字节，表示后续数据的长度，这也属于无效数据，需要去掉；
步骤404，假设数据分句字节数为n,倒数a个字节是校验和，(a为1～4)，用穷举法对数据分句的1～(n-a)字节累加，比较是否和倒数a个字节一样，如果一样倒数a个字节即为校验和，在数据分句中去掉该字节；在传感器的数据协议中，为了保证数据传输的正确性，通常设定有校验和，表示一串数据的累加和，通常是1～4字节，这也属于无效数据，需要去掉；
步骤405，根据步骤301得到的已知传感器类别，将该类别下所有传感器的数据按照步骤402～404去掉无效数据，得到数据分句，并按照传感器分类；
步骤406，根据未知传感器的数据分句频率归一化所有数据分句频率；
步骤407，将未知传感器的数据分句长度进行统计，记录在一定时间内出现某个长度的次数，以x轴为长度，y轴为次数，做成一条曲线；
步骤408，已知传感器数据分句也用同样方法做出对应的曲线；
步骤409，用frechet算法计算出已知传感器数据分句曲线和未知传感器数据分句曲线的相似度δ；
步骤410，将步骤405中获得的某个传感器分类下数据分句都用向量(f，δ)标识，用聚类算法对所有的传感器分类；聚类算法可以采用birch算法；只对单个传感器类别下的数据分句做分类，是为了避免其他分类数据造成干扰，会得到很多矛盾的分类；
步骤411，计算未知传感器数据分句到聚类中心的距离L；虽然已经用聚类算法把未知传感器数据分句分到某一类，但这有可能是数据样本的原因，强行将其分类，其实其到聚类中心的距离很远，该分类不合理，所以需要用距离L来判断是否合适；
步骤412，根据步骤301得到的多个已知传感器类别，按照重新执行步骤410～411；本步骤选取传感器分类时，按照步骤309计算出的概率从高到低选择传感器分类；
步骤413，如果距离L小于设定阈值，进入步骤414，否则进入步骤415；
步骤414，用未知传感器数据分句所属分类确定传感器类别、传感器名称、监测因子；在之前，传感器类别并没有完全确定，当数据分句判定为一个监控因子时，传感器的类别、名称都确定下来；
步骤415，平均距离都大于设定阈值，无法判定传感器，提示人工介入；
知道监控因子后，需要利用特征分析的方法进一步判断监控因子的数据。
所述未知传感器监测因子数值判定，如图4，包括以下步骤：
步骤501，找到未知监控因子所有的数据分句，对其一定时间内某个值出现的次数做统计，并以x轴为数值，y轴为次数做一条曲线；
步骤502，找到所有和未知传感器位置标签相同的已知监控因子的数据分句，对其一定时间内某个值出现的次数做统计，并以x轴为数值，y轴为次数做一条曲线；因为同一位置的传感器数量较少，很难匹配出规律，所以选取相同位置标签的监控因子数据；
步骤503，用frechet算法计算出已知传感器监控因子曲线和未知传感器监控因子曲线的相似度δs，因为同一个监控因子在不同设计目的下值的范围可能不同，但大致还是可以分成几类的，且很多小厂会参考大厂的设计，这样就可以通过和已知传感器数据的比较，判定未知传感器监控因子的数值；
步骤504，δs小于阈值，进入步骤505，否则进入步骤506；
步骤505，数值匹配成功，已知传感器监控因子曲线上的各点数值可以对应未知传感器曲线上的各点数值；
步骤506，匹配失败，提示人工介入；
通常传感器会将同一类型的监测因子数据一起上传，但是有些地区不同的传感器的不同监测因子有很强的相关性，统一上传有利于简化后端系统的处理。由此可知，信息融合方法即减轻了后端数据处理的压力，又节约了信道资源。
所述信息融合方法如图5所示，包括以下步骤：
步骤S1，确定传感器所在位置的位置标签；
步骤S2，找出和该位置标签相关的监测因子数据，不同位置标签的相关性较差，为了减少计算量，只选取相同位置标签的数据；
步骤S3，对所有的监测因子数据的监控时间做归一化处理，即将一天24小时都折算成秒，所有的发送时间按照秒计算；利用发送时间作为相关性的判断标签，一是因为很多相同的监测目标通常要求相同的监测频率，二是发送时间相近，方便将数据打包在一起，节约传送信道资源；
步骤S4，监测时间间隔是否固定，进入步骤S5，否则进入步骤S6；
步骤S5，以间隔时间作为标准，间隔时间差小于百分比阈值的，判定为相关的监测因子，进入步骤S7；
步骤S6，对所有监测因子的监测时间做聚类计算，两个监控因子聚类中心的距离小于阈值的，判定为相关监测因子，进入步骤S7；
步骤S7，相关监测因子数据按照固定格式重新打包上传；图6为方案设定的格式，其中传感器类别和传感器名词用代码表示，具体的内容保存在数据库种以节约信道资源。同样的，原来监控因子单独打包，每个监控因子都需要校验码，现在多个监控因子打包在一起，只用一个校验码，节约了信道资源。
本发明还提供了一种物联网传感器数据采集的装置，如图7所示，包括：太阳能电池、太阳能BMS控制器、锂电池、接口模块、自适应数据采集模块、信息融合模块、通讯模块。
所述接口模块提供多种数据接口，例如RS-485/422、RS-232C、SDI-12、以太网及光信号，接收不同传感器信息；现有的传感器通常都会根据其数据量、传输速率、成本、抗干扰性来选择不同的接口，但是这造成了数据采集的困难，本模块提供了多种的输入接口，极大的提高了适用环境。
所述自适应数据采集模块能够利用前述自适应的传感器数据采集方法，根据事先设定的阈值，自动识别未知传感器的监测因子，解析其数据结构，将其数据转换为标准的数据格式；对于无法识别的传感器提示人工介入；本模块解决了以前只能够处理已知传感器数据，而对更大量未知传感器数据无能为力的问题，尽可能地利用人工智能技术，减少人员的工作量。
所述信息融合模块利用前述的信息融合方法，将相关联的监测因子数据打包上传。通常的数据采集器只管采集，不管处理，造成后端数据处理繁杂，实时性不高，而本模块即简化了后端系统数据处理的工作量，提高了数据的相关性，又节约了信道资源；
通讯模块负责本装置与总数数据处理中心的通讯，采用Modbus-RTU和SDI-12通信协议，可以灵活的插接GPRS、4GLTE、5G、ZigBee、LoRa、NB-Lot等通讯模块，保证本装置通讯方式的灵活性，适用于不同的应用场景。
本发明方法中的步骤可根据实际需要进行顺序调整、合并和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种物联网传感器数据采集的方法，其特征在于包括自适应的传感器数据采集方法和信息融合方法；
所述自适应的传感器数据采集方法包括以下步骤：
步骤1，建立已知传感器数据库；
步骤2，已知传感器数据分析；
步骤3，未知传感器类别判定；
步骤4，未知传感器监测因子判定；
步骤5，未知传感器监测因子数值判定；
所述信息融合方法包括以下步骤：
步骤S1，确定传感器所在位置的位置标签；
步骤S2，找出和该位置标签相关的监测因子数据分句；
步骤S3，对所有的监测因子数据的发送时间做归一化处理；
步骤S4，监测时间间隔是否固定，进入步骤S5，否则进入步骤S6；
步骤S5，以间隔时间作为标准，间隔时间差小于百分比阈值的，判定为相关的监测因子，进入步骤S7；
步骤S6，对所有监测因子的监测时间做聚类计算，两个监控因子聚类中心的距离小于阈值的，判定为相关监测因子，进入步骤S7；
步骤S7，相关监测因子数据按照固定格式重新打包上传。
2.根据权利要求1所述的物联网传感器数据采集的方法，其特征在于所述建立已知传感器数据库包括以下步骤：
步骤101，获取传感器坐标位置；
步骤102，通过已知传感器已有资料，获得该传感器的监测因子，并根据标准规范监测因子；
步骤103，建立数据库，实时记录已知传感器数据，所述传感器数据包括：传感器坐标位置、检测因子、检测数据、发送时间；
所述已知传感器数据分析包括以下步骤：
步骤201，收集所有的已知和未知的传感器坐标位置，将所有的传感器按照位置分成不同的类，得到热点位置信息，所述热点位置包括一个圆心坐标和半径信息；
步骤202，将所述热点位置和地理位置信息系统GIS对照，提取位置信息，给该热点位置标注位置标签；
步骤203，对相同位置标签的所有传感器按照类别进行统计，计算出不同类别的百分数占比；
所述未知传感器类别判定包括以下步骤：
步骤301，获得未知传感器的坐标位置，获得对应的位置标签，和该位置标签对应已知传感器类别及其占比Ps；
步骤302，存储一段时间未知传感器的数据，将这些数据和已知传感器数据组成样本集；
步骤303，归一化所有传感器的频率f；
步骤304，将未知传感器的数据长度和该长度出现的次数作为二维数据，生成一条曲线；
步骤305，已知传感器数据用同法生成已知传感器曲线；
步骤306，用frechet算法计算出每一个已知传感器曲线和未知传感器曲线的相似度δ；
步骤307，所有传感器都用向量(f，δ)标识，用聚类算法分类；
步骤308，和未知传感器分在一类的传感器，计算出不同类别在其中的比例Pt；
步骤309，计算出不同类别的综合概率Pt*Ps，按照综合概率的大小对不同类别做排序；
所述未知传感器监测因子判定，包括以下步骤：
步骤401，找出现频率最高且位置固定的字节判定为数据头或停止位；
步骤402，利用数据头和停止位对未知传感器数据分句；
步骤403，对数据分句的字节进行概率分析，找到表示数据长度的字节，去掉该字节；
步骤404，用穷举法找出数据分句校验和字节，去掉该字节；
步骤405，根据步骤301得到的已知传感器类别，将该类别下所有传感器的数据按照步骤402～404去掉无效数据，得到数据分句，并按照传感器分类；
步骤406，根据未知传感器的数据分句频率归一化所有数据分句频率；
步骤407，将未知传感器数据分句的数据长度和该长度出现的次数作为二维数据，生成一条曲线；
步骤408，已知传感器数据分句也用同样方法做出对应的曲线；
步骤409，用frechet算法计算出已知传感器数据分句曲线和未知传感器数据分句曲线的相似度δ；
步骤410，将步骤405中获得的某个传感器分类下数据分句都用向量(f，δ)标识，用聚类算法对所有的数据分句分类；
步骤411，计算未知传感器数据分句到聚类中心的距离L；
步骤412，根据步骤301得到的多个已知传感器类别，按照重新执行步骤410～411；
步骤413，如果距离L小于设定阈值，进入步骤414，否则进入步骤415；
步骤414，用未知传感器数据分句所属分类确定传感器类别、传感器名称、监测因子；
步骤415，平均距离都大于设定阈值，无法判定传感器，提示人工介入；
所述未知传感器监测因子数值判定，包括以下步骤：
步骤501，找到未知监控因子所有的数据分句，对其某个值和其出现的次数做二维数据，生成一条曲线；
步骤502，找到所有和未知传感器位置标签相同的已知监控因子的数据分句，用同法生成一条曲线；
步骤503，用frechet算法计算出已知传感器监控因子曲线和未知传感器监控因子曲线的相似度δs；
步骤504，δs小于阈值，进入步骤505，否则进入步骤506；
步骤505，数值匹配成功，已知传感器监控因子曲线上的各点数值可以对应未知传感器曲线上的各点数值；
步骤506，匹配失败，提示人工介入。
3.根据权利要求2所述的物联网传感器数据采集的方法，其特征在于步骤307和步骤410所述的聚类算法为birch算法。
4.一种物联网传感器数据采集的装置，其特征在于包括太阳能电池、太阳能BMS控制器、锂电池、接口模块、自适应数据采集模块、信息融合模块、通讯模块；
所述接口模块提供多种数据接口，接收不同传感器信息；
所述自适应数据采集模块利用权利要求1-3中任一项所述自适应的传感器数据采集方法，根据事先设定的阈值，自动识别未知传感器的监测因子，解析其数据结构，将其数据转换为标准的数据格式；对于无法识别的传感器提示人工介入；
所述信息融合模块利用权利要求1-3中任一项所述信息融合方法，将相关的监测因子数据打包上传；
通讯模块通过Modbus-RTU和SDI-12通信协议，可选的插接通讯模块与总数数据处理中心的通讯。
5.根据权利要求4所述的物联网传感器数据采集的装置，其特征在于所述的数据接口为RS-485/422、RS-232C、SDI-12、以太网或光信号。
6.根据权利要求4所述的物联网传感器数据采集的装置，其特征在于所述的通讯模块为GPRS、4GLTE、5G、ZigBee、LoRa、NB-Lot。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439883.6A CN113239979B (zh) | 2021-04-23 | 2021-04-23 | 一种物联网传感器数据采集的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110439883.6A CN113239979B (zh) | 2021-04-23 | 2021-04-23 | 一种物联网传感器数据采集的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113239979A true CN113239979A (zh) | 2021-08-10 |
| CN113239979B CN113239979B (zh) | 2024-01-09 |
Family
ID=77128912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110439883.6A Active CN113239979B (zh) | 2021-04-23 | 2021-04-23 | 一种物联网传感器数据采集的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113239979B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971875A (zh) * | 2021-09-29 | 2022-01-25 | 杭州华岘科技有限公司 | 一种多功能物联智能报警控制方法、终端、储存介质及系统 |
| CN114390093A (zh) * | 2021-12-20 | 2022-04-22 | 深圳市精优达科技有限公司 | 一种虚拟网关模拟系统 |
| CN114462536A (zh) * | 2022-02-09 | 2022-05-10 | 国网宁夏电力有限公司吴忠供电公司 | 一种实体场景生成标注数据集的方法和系统 |
| CN115186158A (zh) * | 2022-07-18 | 2022-10-14 | 山东云天安全技术有限公司 | 一种异常数据确定方法、电子设备及存储介质 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410662A (zh) * | 2014-10-23 | 2015-03-11 | 山东大学 | 物联网并行海量数据传输中间件及其工作方法 |
| CN105426461A (zh) * | 2015-11-12 | 2016-03-23 | 中国科学院遥感与数字地球研究所 | 基于空间大数据进行知识挖掘的地图可视化系统及方法 |
| CN105792110A (zh) * | 2016-03-30 | 2016-07-20 | 上海申腾信息技术有限公司 | 一种多数据来源的数据融合、智能搜索的处理方法 |
| CN105911219A (zh) * | 2016-04-08 | 2016-08-31 | 北京盈盛恒泰科技有限责任公司 | 一种污染气体监测预警系统及方法 |
| CN106997605A (zh) * | 2017-03-22 | 2017-08-01 | 浙江大学 | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 |
| CN109000930A (zh) * | 2018-06-04 | 2018-12-14 | 哈尔滨工业大学 | 一种基于堆叠去噪自编码器的涡轮发动机性能退化评估方法 |
| US20190033847A1 (en) * | 2016-05-09 | 2019-01-31 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for detection in an industrial internet of things data collection environment with a self-organizing adaptive sensor swarm for industrial processes |
| CN109571141A (zh) * | 2018-11-01 | 2019-04-05 | 北京理工大学 | 一种基于机器学习的刀具磨损状态监测方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN111259332A (zh) * | 2020-01-13 | 2020-06-09 | 中山大学 | 一种杂波环境下的模糊数据关联方法及多目标跟踪方法 |
| CN112232375A (zh) * | 2020-09-21 | 2021-01-15 | 西北工业大学 | 一种基于证据理论的未知类型目标识别方法 |
| CN112348054A (zh) * | 2020-10-12 | 2021-02-09 | 北京国电通网络技术有限公司 | 多类型传感器的数据处理方法、装置、介质和系统 |
-
2021
- 2021-04-23 CN CN202110439883.6A patent/CN113239979B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104410662A (zh) * | 2014-10-23 | 2015-03-11 | 山东大学 | 物联网并行海量数据传输中间件及其工作方法 |
| CN105426461A (zh) * | 2015-11-12 | 2016-03-23 | 中国科学院遥感与数字地球研究所 | 基于空间大数据进行知识挖掘的地图可视化系统及方法 |
| CN105792110A (zh) * | 2016-03-30 | 2016-07-20 | 上海申腾信息技术有限公司 | 一种多数据来源的数据融合、智能搜索的处理方法 |
| CN105911219A (zh) * | 2016-04-08 | 2016-08-31 | 北京盈盛恒泰科技有限责任公司 | 一种污染气体监测预警系统及方法 |
| US20190033847A1 (en) * | 2016-05-09 | 2019-01-31 | Strong Force Iot Portfolio 2016, Llc | Methods and systems for detection in an industrial internet of things data collection environment with a self-organizing adaptive sensor swarm for industrial processes |
| CN106997605A (zh) * | 2017-03-22 | 2017-08-01 | 浙江大学 | 一种通过智能手机采集脚型视频和传感器数据获取三维脚型的方法 |
| CN110073301A (zh) * | 2017-08-02 | 2019-07-30 | 强力物联网投资组合2016有限公司 | 工业物联网中具有大数据集的数据收集环境下的检测方法和系统 |
| CN109000930A (zh) * | 2018-06-04 | 2018-12-14 | 哈尔滨工业大学 | 一种基于堆叠去噪自编码器的涡轮发动机性能退化评估方法 |
| CN109571141A (zh) * | 2018-11-01 | 2019-04-05 | 北京理工大学 | 一种基于机器学习的刀具磨损状态监测方法 |
| CN111259332A (zh) * | 2020-01-13 | 2020-06-09 | 中山大学 | 一种杂波环境下的模糊数据关联方法及多目标跟踪方法 |
| CN112232375A (zh) * | 2020-09-21 | 2021-01-15 | 西北工业大学 | 一种基于证据理论的未知类型目标识别方法 |
| CN112348054A (zh) * | 2020-10-12 | 2021-02-09 | 北京国电通网络技术有限公司 | 多类型传感器的数据处理方法、装置、介质和系统 |
Non-Patent Citations (5)
| Title |
|---|
| RAJALAKSHMI KRISHNAMURTHI 等: "An Overview of IoT Sensor Data Processing, Fusion, and Analysis Techniques", 《SENSORS》, pages 1 - 23 * |
| 张云菲: "多源道路网与兴趣点的一致性整合方法", 《中国博士论文全文数据库 基础科技辑》, pages 008 - 7 * |
| 李国刚 等: "物联网技术发展与环境自动监控系统建设", 《中国环境监测》, pages 5 - 10 * |
| 梁家烨 等: "基于物联网的堆叠式可重构无线传感装置的设计", 《物联网技术》, pages 15 - 17 * |
| 生建: "室内环境监测处理系统的设计与实现", 《中国优秀硕士学位论文全文数据库 工程科技II辑》, pages 038 - 1069 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113971875A (zh) * | 2021-09-29 | 2022-01-25 | 杭州华岘科技有限公司 | 一种多功能物联智能报警控制方法、终端、储存介质及系统 |
| CN114390093A (zh) * | 2021-12-20 | 2022-04-22 | 深圳市精优达科技有限公司 | 一种虚拟网关模拟系统 |
| CN114390093B (zh) * | 2021-12-20 | 2024-05-24 | 深圳市精优达科技有限公司 | 一种虚拟网关模拟系统 |
| CN114462536A (zh) * | 2022-02-09 | 2022-05-10 | 国网宁夏电力有限公司吴忠供电公司 | 一种实体场景生成标注数据集的方法和系统 |
| CN115186158A (zh) * | 2022-07-18 | 2022-10-14 | 山东云天安全技术有限公司 | 一种异常数据确定方法、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113239979B (zh) | 2024-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113239979A (zh) | 一种物联网传感器数据采集的方法及装置 | |
| CN110380989B (zh) | 网络流量指纹特征二阶段多分类的物联网设备识别方法 | |
| CN111507376A (zh) | 一种基于多种无监督方法融合的单指标异常检测方法 | |
| KR100628329B1 (ko) | 네트워크 세션 특성 정보에 대한 공격 행위 탐지규칙 생성장치 및 그 방법 | |
| CN107423746B (zh) | 基于聚类分析的电力线通信用电量数据分析方法及系统 | |
| CN116148679A (zh) | 一种电池健康状态的预测方法及相关装置 | |
| CN112528774B (zh) | 一种复杂电磁环境下未知雷达信号智能分选系统及方法 | |
| CN114443863B (zh) | 工控网络中基于机器学习的攻击向量生成方法及系统 | |
| CN114371353A (zh) | 一种基于声纹识别的电力设备异常监测方法及系统 | |
| CN115330268A (zh) | 一种应对矿山灾难的综合性应急指挥方法及系统 | |
| CN111401218A (zh) | 一种智慧城市监控方法及系统 | |
| CN116484052B (zh) | 一种基于大数据的教育资源共享系统 | |
| CN111817935B (zh) | 一种互联网智能家居数据处理方法及系统 | |
| CN116318457B (zh) | 一种无线电信号监测方法及系统 | |
| CN116845863A (zh) | 基于时空轨迹的末端电网异常设备接入告警方法及装置 | |
| CN116126807A (zh) | 一种日志分析方法及相关装置 | |
| CN115622926A (zh) | 一种基于网络流量的工控协议逆向分析方法 | |
| CN115630357A (zh) | 一种应用程序越界收集个人信息行为的判定方法 | |
| CN115277159A (zh) | 一种基于改进随机森林的工业互联网安全态势评估方法 | |
| CN111626508A (zh) | 基于xgboost模型的轨道交通车载数据预测方法 | |
| CN115471902B (zh) | 基于智慧校园的人脸识别防护方法及系统 | |
| CN117633675B (zh) | 一种基于模型级联的网络公害网站发现方法及系统 | |
| CN117347791B (zh) | 基于大数据的电力电网故障在线识别系统及方法 | |
| CN116737991B (zh) | 网络视频监控数据处理方法及系统 | |
| CN114756660B (zh) | 自然灾害事件的抽取方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |