CN104301435A - 分布式集群传感器的数据集群编组方法和系统 - Google Patents
分布式集群传感器的数据集群编组方法和系统 Download PDFInfo
- Publication number
- CN104301435A CN104301435A CN201410608207.7A CN201410608207A CN104301435A CN 104301435 A CN104301435 A CN 104301435A CN 201410608207 A CN201410608207 A CN 201410608207A CN 104301435 A CN104301435 A CN 104301435A
- Authority
- CN
- China
- Prior art keywords
- data
- information
- aggregation node
- transducer
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000003860 storage Methods 0.000 claims abstract description 3
- 230000002776 aggregation Effects 0.000 claims description 68
- 238000004220 aggregation Methods 0.000 claims description 68
- 230000000712 assembly Effects 0.000 claims description 17
- 238000000429 assembly Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 15
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 7
- 238000013523 data management Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000036760 body temperature Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/566—Grouping or aggregating service requests, e.g. for unified processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/565—Conversion or adaptation of application format or content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式集群传感器的数据集群编组方法和系统，其中：传感器节点将采集数据定时发送给汇聚节点，汇聚节点为数据装订前缀和后缀信息，并对数据进行临时存储；当汇聚节点所辖范围内所有传感器所采集的数据全部传送至汇聚节点后，汇聚节点按照约定规则将不同传感器采集到的数据进行集群化编组，形成一条完整的数据码流，并进行临时存储；数据最后经由控制中心发送至存储中心进行存储；所述前缀信息代表数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息。本发明将零散的采样数据合成一条完整的数据流，以此形态完成数据的传输，存储，交换与共享，提高了资料的共享与传输效率。
Description
技术领域
本发明涉及物联网技术领域，具体地，涉及一种方便数据共享与传输的分布式集群传感器的数据集群编组方法和系统。
背景技术
物联网是在互联网基础上的延伸和扩展的网络，它将终端延伸和扩展到了任何物品与物品之间。计算机和互联网的出现创造了大量数据，物联网创造出的数据将远多于互联网，物联网包含了数以亿计的节点，代表各种对象，从小型的无处不在的传感器设备、手持设备到大型网络服务器和超级计算机集群，数据每时每刻都在大量产生，且形式多样，如结构化数据、半结构化数据、流数据和多维数据等，有对决策贡献大的数据，也有贡献较小的数据，还有噪声数据，各种数据性质不同，处理的方式、存储的手段以及在此之上的信息提取方法各不相同，这些数据在不同的系统或场合中被使用、重用或引用，比如数据的查询、分析等。对如此海量数据的有效处理、传输、存储和管理是物联网得以广泛应用的关键所在。
物联网涉及领域多，遍及智慧交通、环境保护、政府工作、公共安全、平安家居、智慧消防、工业监测、环境监测、老人护理、个人健康、花卉栽培、水系监测、食品溯源、敌情侦查和情报搜集等多个领域，每个领域都有各自不同的特点，同时领域之间还有合作。在众多物联网数据中，大多数据具有24小时在线，数据采集密集，单个数据的信息量小，但数据的总数量大，并且大多数传感器以分布式集群的方式分布。例如在环境保护方面，需要多种类型的传感器对不同污染物进行测量；平安家居需要对外来入侵，火灾，有害气体等一系列数据进行采集；老人护理需要对老人的血压、体温、心率、呼吸等多项生理指标数据进行测量。
此类型传感器所产生的数据进行单独传送会造成大量的冗余数据，浪费网络资源，并且所产生的网络等待时间会对数据的应用产生障碍，阻碍物联网的进一步发展。这就需要在数据采集处对数据进行打包处理。然而简单的打包或数据融合处理，虽然在一定程度上解决了数据的传输问题，但却无法真正提高数据交换与共享的效率，不同应用领域，不同行业之间的数据交流仍然存在较大困难。
发明内容
为解决上述问题，本发明的目的是提供一种物联网通用的数据集群编组方法及系统，解决目前各种集群分布的物联网终端，大量小数据的集群编组问题，以及实现数据在不同行业，不同领域之间高效交换与共享的问题。
根据本发明的一方面，提供一种分布式集群传感器的数据集群编组方法，该方法中：传感器采集并自动生成具有统一标准格式的数据，通过集群化编组后，能进行高效的数据交换与共享；
所述集群化编组是指：汇聚节点所辖范围内所有传感器的数据采集完成后，均自动生成编码并临时存储在汇聚节点，当所有数据采集完成后，汇聚节点将不同传感器采集得到的数据按照约定的规则合并在一条形码流当中，将零散的小数据组合成一条包含所有信息的数据码流进行集中传输、存储、交换与共享，减少冗余代码流，并提高数据利用的效率。
优选地，所述具有统一标准格式的数据，包括数据的前缀信息、采样数据本身、数据后缀信息；数据前缀信息用于标示数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息。
优选地，所述的约定的规则，是指：汇聚节点所辖范围内传感器数据按照特定顺序进行编组，假设，所辖范围内有三个传感器，分别为传感器1，传感器2，传感器3，约定规则：当对三个传感器的采样数据进行编组时均按照“传感器2采样数据，传感器1采样数据，传感器3采样数据”的顺序进行编组，在应用过程中，所有产生的数据均按照该顺序进行编组，并增加前缀与后缀后形成一条码流，进行统一的数据传送与共享。
优选地，所述的自动生成编码并临时存储在汇聚节点，其步骤包括：
步骤101：接入物联网的传感器节点进行数据采集；
步骤102：传感器节点定时将具有时、空信息即后缀信息的采样数据发送至汇聚节点；
步骤103：汇聚节点接收到数据后，对数据信息进行分析，判断数据类型；
步骤104：汇聚节点根据数据类型为信息装订上数据源信息、数据分类信息、管理权限信息；
步骤汇聚节点对编码后的数据进行临时存储。
优选地，所述自动生成编码，在步骤101之前，进一步包括预处理：
步骤01：传感器节点向汇聚节点发送信息，进一步传送至控制中心，建立传感器节点、汇聚节点与控制中心之间的映射关系；
步骤02：控制中心对传感器节点数据类型与分类信息进行定义，当出现新的数据类型时，控制中心与服务平台联系，为数据类型与分类进行定义；
步骤03：控制中心将对应传感器节点所涉及数据的数据源信息，数据分类信息，管理权限信息的编码代码信息加载到汇聚节点的存储模块进行存储，
步骤04：控制中心将所辖范围内所有传感器节点采样数据的特征进行提取，根据特征定义所属传感器以及它的数据类型，并存储在存储中心用于后续接收数据的数据类型判断；
步骤控制中心为传感器节点进行时间校正，并加载空间信息；
步骤控制中心为数据集群编组制定规则，即约定集群编组时数据的顺序。
根据本发明的另一个方面，提供一种分布式集群传感器的数据集群编组系统，该系统包括：传感器节点，汇聚节点，控制中心和存储中心；其中：
传感器节点接入物联网，将采集数据定时发送给汇聚节点；
汇聚节点为数据装订前缀信息和后缀信息，并对数据进行临时存储；所述前缀信息代表数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息，其中时间信息与空间信息在传感器节点部分进行装订；当汇聚节点所辖范围内所有传感器所采集的数据全部传送至汇聚节点后，汇聚节点按照约定规则将不同传感器采集到的数据进行集群化编组，形成一条包含所有传感器数据信息的数据码流，并进行临时存储；
控制中心将汇聚节点处理后的数据发送至存储中心进行存储。
优选地，所述系统进一步包括服务平台，用于提供数据分类信息服务，当出现数据分类困难时，服务平台为传感器接入提供数据分类信息定义的帮助。
优选地，所述存储中心为分布式存储系统，根据数据的分类为存储中心进行分区，不同区域存储不同的数据，便于数据的索引与调用，当数据传输路径稳定后，汇聚节点根据控制中心指令直接将数据传送至存储中心进行存储提高数据管理与应用的效率。
与现有技术相比，本发明具有如下的有益效果：
本发明采用数据集群编组的方法对数据进行处理，将一定区域内所有零散数据按照约定的协议进行编组，并合并成统一的码流，在使用过程中，可以根据协议在码流的特定位置调取所需数据，而不再需要对数据进行处理，将零散的小数据形成一条完整的数据流，以此形态完成数据的传输，存储，交换与共享，以此减少冗余信息，提高数据的管理效率与网络资源的利用率。
本发明通过为数据增加前缀信息(数据源信息、数据分类信息)和后缀资讯(管理权限、时间信息、空间信息)使数据实现全系统的标准化，使系统中运行的数据信息均成为标准格式，在整个物联网系统中可进行跨领域，跨行业的多样化的应用，有效的解决了信息孤岛问题，该方法对数据信息进行有效整合，减少数据冗余，最大化资源利用，提高目前的数据传输速度，减少重复数据处理浪费的大量服务器和能源资源。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例的系统组成示意图；
图2为本发明一实施例中涉及的汇聚节点的架构示意图；
图3为本发明一实施例的数据编码结构示意图；
图4为本发明一实施例的集群编码示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
本发明以标准化的数据编码格式以及数据编码的自动生成技术为基础，所述内容适用于以分布式集群方式进行应用的传感器群组的数据编码，将所辖范围内的所有传感器的数据按照事先约定好的规则进行编码后，将零散的小数据形成一条包含所有传感器数据信息的数据流，进而以此形态完成数据的传输，存储，交换与共享，减少冗余的数据信息，提高数据的管理效率与网络资源的利用率。
如图1所示，一种分布式集群传感器的数据集群编组系统，该系统包括：传感器节点，汇聚节点，控制中心、服务平台和存储中心；其中：
传感器节点接入物联网，将采集数据定时发送给汇聚节点；
汇聚节点为数据装订前缀信息和后缀信息，并对数据进行临时存储；所述前缀信息代表数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息，其中时间信息与空间信息在传感器节点部分进行装订；
当汇聚节点所辖范围内所有传感器所采集的数据全部传送至汇聚节点后，汇聚节点按照约定规则将不同传感器采集到的数据进行集群化编组，形成一条包含所有传感器数据信息的数据码流，并进行临时存储；
控制中心将汇聚节点处理后的数据发送至存储中心进行存储。
在一优选实施方式中，所述系统可以进一步包括服务平台，当出现数据分类困难时，服务平台为传感器接入提供数据分类信息定义的说明。
所述系统中，传感器节点为分布式集群的分布方式，所有数据可选择多种方式传输至汇聚节点。
所述系统中，存储中心为分布式存储系统，根据数据的分类为存储中心进行分区，不同区域存储不同的数据，便于数据的索引与调用，当数据传输路径稳定后，汇聚节点可根据控制中心指令直接将数据传送至存储中心进行存储提高数据管理与应用的效率。
如图2所示，为本发明系统另一实施例中的汇聚节点结构图，存储模块用于对传感器节点传送来的数据，以及用于为数据装订的信息进行临时存储。当传感器节点将数据传送至汇聚节点后，汇聚节点的数据处理模块将传送过来的数据与预存信息进行比对，进而判断数据类型，并根据数据类型来为数据装订预留信息。
所述汇聚节点对数据的处理具体步骤如下：
步骤201：汇聚节点对传感器节点传送过来并完成编码后的数据进行汇总，当所有传感器节点数据全部传送完成后，进行步骤202；
步骤202：从编码数据中提取数据前缀信息与后缀信息，增加在整体码流当中；
步骤203：根据约定的规则，将各传感器采样数据按照约定顺序编辑在整体码流当中；
步骤204：汇聚节点将整体码流临时存储在自身存储模块当中；
步骤205：汇聚节点定时或接到控制中心指令后，自动发送数据至控制中心；
步骤206：控制中心将汇聚节点数据传送至存储中心进行存储。
当数据传送关系稳定后，控制中心可对汇聚节点发送直接存储指令，汇聚节点直接将数据发送至存储中心进行存储。
所述约定的规则是指：所辖范围内存在多种类型的传感器，所采集的数据各不相同，根据行业与应用需要，将具有相同前缀与后缀信息的数据进行合并，并按照先后顺序进行编码，所有同一应用环境的分布式集群传感器均按照此规则对数据进行编码，可有效去除数据的冗余信息，并且有利于后续应用过程中，数据的交换与共享。
本实施例中首先基于一种信息分类体系：所有数据采用多维分类的方法进行分类，通过面向对象集中、面向应用集中等多样的方式进行分类，所有的社会数据均可在此分类体系中找到定位，并且在不同的应用环境中可使用不同的分类路径对数据进行查找。用时间、空间、功能等基本属性特征作为分类的基本准则，良好地规避了社会事物和形态的多模化及差异性，实现了在数据环境中的明晰分类，有效地包容了数据定义一定范围内的模糊性。
具体来说，可通过多层分类来说明。本实施例分类体系内所有的社会数据均可通过若干层的分类来进行定义。首先在数据分类的第一层，将所有社会数据依据其基本属性分为若干类型(如人、社会、自然等)，当对某一数据进行分类时，首先应找到它在该层中的定位，然后在该类型中再进行细分，如第二层的社会则可根据不同数据在社会中的分工不同分为(政府、城市、企业等)，第三层的政府又可根据分属不同机构进行分类(分为党、政、军等)。如果一个数据仅可通过“社会+政府+党”的分类找到定位，那它的寻址就是一维的，如果一个数据在“人”，“社会”，“自然”三个基本属性中均可找到定位，或者只在社会分类中可以找到，但是在第二层的“政府”、“城市”、“企业”均有定义，那么它就可以进行三维分类，形成三条分类路径对其进行描述。其数据也可以在三个分类当中自由地进行数据的交换与共享。如新生产的数据采集设备，其所采集的数据是未被定义的，只有将其应用到实际环境中，所产生的数据才具有定义，在其入网的同时，完成所属数据信息的定义分类信息。同一数据在不同应用环境当中则使用不同的路径进行定位。当其应用环境发生变化时，其时间信息，管理权限中的隶属关系，数据的空间信息等均会随之发生变化，相应的，其所属的分类信息应随之进行更改，以保证数据的正确描述，并使数据保持标准格式，始终处于标准数据分类体系之内。
本实施例分类体系，在以上模型层面上，通过多模分类和多维分类共存，形成一种分类立体结构，通过层和维的交汇保证了分类的准确性。
以往的数据应用之所以出现信息孤岛，是因为人们在进行数据分类时，将应用与数据本身割裂开了，由于数据本身就是应用主体与事物在应用过程中发生交互作用产生的。将事物同应用之间的关系定义完善以后，再对数据进行分类则不会出现信息孤岛。
如一辆汽车，按照所属人来分类，可通过“所属人(身份证号)+车辆识别号”方式进行划分，以这一维的方式可以标定一部分车，当车辆属于政府、单位时则无法使用这种方式。那么则增加新的维度“社会分工”来进行标定，如“社会+政府+交通部(车辆主管单位)+车辆识别号”、而对于未销售的车辆又可以通过“社会+加工制造+车辆识别号(识别号中包含生产企业信息)”，以此类推，可以将社会上存在的所有车辆进行分类，并可以通过多样的方式进行数据查询。
又如，去医院测量体温。按照所属人分类，可通过“所属人(身份证号)+时间+体温”进行划分，又可以通过“社会+医院+病人+时间+体温”进行划分。通过多维的分类方式，可保证所有的社会数据均可在分类体系中找到定位，有效的避免信息孤岛的发生。
如图3所示，所述标准化的数据编码格式：其中包括数据的前缀信息、采样数据本身、数据后缀信息；数据前缀信息主要代表数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息；
此处举例，采样数据为北京市天安门广场PM2.5数值，数据源为PM2.5测试传感器(信息分类代号，举例为0101)，数据分类信息为“自然+大气+PM2.5”(信息分类代号，举例为0202)，数据的管理权限为“社会+政府+气象局”(信息分类代号，举例为0303)，时间信息为2014年8月1日12点整(信息代号20140801120000)，空间信息为“中国+北京+天安门广场”(信息分类代号，举例为0404)。此处假设2014年8月1日12点整，天安门广场PM2.5数值为150，对此数据进行标准化编码以后的得到的数据编码为0101 0202 150 0303 20140801120000 0404，
所述数据编码自动生成步骤如下：
步骤101：传感器节点向汇聚节点发送信息，进一步传送至控制中心，建立传感器节点、汇聚节点与控制中心之间的映射关系；
步骤102：控制中心对传感器节点数据类型与分类信息进行定义，当出现新的数据类型时，控制中心与服务平台联系，为数据类型与分类进行定义；
步骤103：控制中心将对应传感器节点所涉及数据的数据源信息，数据分类信息，管理权限信息的编码代码等信息加载到汇聚节点的存储模块进行存储，
步骤104：将所辖范围内所有传感器节点采样数据的特征进行提取，根据其特征定义其所属传感器以及它的数据类型，并存储在存储中心用于后续接收数据的数据类型判断；
步骤105：控制中心为传感器节点进行时间校正，并加载空间信息；
步骤106：传感器节点进行数据采集，并为数据装订时、空信息；
步骤107：传感器节点向汇聚节点发送采样数据信息；
步骤108：汇聚节点接收到数据后，通过与存储中心中预留的数据特征进行比对，进而对数据信息进行分析，判断出数据所属的传感器与其数据类型；
步骤109：汇聚节点根据数据类型为其装订数据源信息、数据分类信息、管理权限信息；
步骤110：汇聚节点对编码后的数据进行临时存储。
所述集群化编组：如图4所示，为集群化编组的通用方式，将在统一编组内的所有数据按照约定的方式进行排列，并进行编码，形成格式固定的码流，在应用过程中按照约定方式进行特定数据调取，高效地完成数据的传输，交换与共享。
此处举例，采样数据为北京市天安门广场气象数据采集，气象数据包括：温度，相对湿度，风力，降水，PM2.5，数据来源为气象条件测量传感器(信息分类代号，举例为0101)，数据分类信息为“自然+大气”(信息分类代号，举例为0200)，数据的管理权限为“社会+政府+气象局”(信息分类代号，举例为0303)，时间信息为2014年8月1日12点整(信息代号20140801120000)，空间信息为“中国+北京+天安门广场”(信息分类代号，举例为0404)。此处假设2014年8月1日12点整，天安门广场气象数据分别为：温度20℃、相对湿度50％、风力2级、降水0mm、PM2.5数值为150，数据采集完成后进行编码，得到一系列采样数据：
1、0101 0200 20 0303 20140801120000 0404，
2、0101 0200 50 0303 20140801120000 0404，
3、0101 0200 2 0303 20140801120000 0404，
4、0101 0200 0 0303 20140801120000 0404，
5、0101 0200 150 0303 20140801120000 0404，
本实施例中，汇聚节点根据约定规则：每次进行数据集群编组时，按照温度、相对湿度、风力、降水、PM2.5的顺序进行编组，并提取出数据的前缀与后缀信息作为最终码流的前缀与后缀，组合后得到包含所有传感器信息的完整码流：
0101 0200 20 50 2 0 1500303 20140801120000 0404。
本发明可解决目前分布式集群分布传感器数据传输、交换与共享的问题，通过将零散数据进行整合，形成一条整体的数据码流，有效减少冗余信息，提高数据的传输效率与利用率，并为网络交换和应用及网络协议形成奠定了基础。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
Claims (9)
1.一种分布式集群传感器的数据集群编组方法，其特征在于：传感器采集并自动生成具有统一标准格式的数据，通过集群化编组后，能进行高效的数据交换与共享；
所述集群化编组是指：汇聚节点所辖范围内所有传感器的数据采集完成后，均自动生成编码并临时存储在汇聚节点，当所有数据采集完成后，汇聚节点将不同传感器采集得到的数据按照约定的规则合并在一条形码流当中，将零散的小数据组合成一条包含所有信息的数据码流进行集中传输、存储、交换与共享，减少冗余代码流，并提高数据利用的效率。
2.根据权利要求1所述的分布式集群传感器的数据集群编组方法，其特征在于，所述具有统一标准格式的数据，包括数据的前缀信息、采样数据本身、数据后缀信息；数据前缀信息用于标示数据源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息。
3.根据权利要求1所述的分布式集群传感器的数据集群编组方法，其特征在于，所述的约定的规则，是指：汇聚节点所辖范围内传感器数据按照特定顺序进行编组，假设，所辖范围内有三个传感器，分别为传感器1，传感器2，传感器3，约定规则：当对三个传感器的采样数据进行编组时均按照“传感器2采样数据，传感器1采样数据，传感器3采样数据”的顺序进行编组，在应用过程中，所有产生的数据均按照该顺序进行编组，并增加前缀与后缀后形成一条码流，进行统一的数据传送与共享。
4.根据权利要求1-3任一项所述的分布式集群传感器的数据集群编组方法，其特征在于，所述的自动生成编码并临时存储在汇聚节点，其步骤包括：
步骤101：接入物联网的传感器节点进行数据采集；
步骤102：传感器节点定时将具有时、空信息即后缀信息的采样数据发送至汇聚节点；
步骤103：汇聚节点接收到数据后，对数据信息进行分析，判断数据类型；
步骤104：汇聚节点根据数据类型为信息装订上数据源信息、数据分类信息、管理权限信息；
步骤105：汇聚节点对编码后的数据进行临时存储。
5.根据权利要求4所述的分布式集群传感器的数据集群编组方法，其特征在于，所述自动生成编码，在步骤101之前，进一步包括预处理：
步骤01：传感器节点向汇聚节点发送信息，进一步传送至控制中心，建立传感器节点、汇聚节点与控制中心之间的映射关系；
步骤02：控制中心对传感器节点数据类型与分类信息进行定义，当出现新的数据类型时，控制中心与服务平台联系，为数据类型与分类进行定义；
步骤03：控制中心将对应传感器节点所涉及数据的数据源信息，数据分类信息，管理权限信息的编码代码信息加载到汇聚节点的存储模块进行存储，
步骤04：控制中心将所辖范围内所有传感器节点采样数据的特征进行提取，根据特征定义所属传感器以及它的数据类型，并存储在存储中心用于后续接收数据的数据类型判断；
步骤05：控制中心为传感器节点进行时间校正，并加载空间信息；
步骤06：控制中心为数据集群编组制定规则，即约定集群编组时数据的顺序。
6.根据权利要求2所述的分布式集群传感器的数据集群编组方法，其特征在于，所述数据分类信息，其中所有资料采用多维分类的方法进行分类，所有的社会数据均能在此分类体系中找到定位，并且在不同的应用环境中可使用不同的分类路径对数据进行查找；用时间、空间、功能基本属性特征作为分类的基本准则。
7.一种分布式集群传感器的数据集群编组系统，其特征在于，该系统包括：传感器节点，汇聚节点，控制中心和存储中心；其中：
传感器节点接入物联网，将采集数据定时发送给汇聚节点；
汇聚节点为数据装订前缀信息和后缀信息，并对数据进行临时存储；所述前缀信息代表数据来源信息、数据分类信息，后缀信息用于标示数据的管理权限、时间信息、空间信息，其中时间信息与空间信息在传感器节点部分进行装订；当汇聚节点所辖范围内所有传感器所采集的数据全部传送至汇聚节点后，汇聚节点按照约定规则将不同传感器采集到的数据进行集群化编组，形成一条包含所有传感器数据信息的数据码流，并进行临时存储；
控制中心将汇聚节点处理后的数据发送至存储中心进行存储。
8.根据权利要求7所述的分布式集群传感器的数据集群编组系统，其特征在于，所述系统进一步包括服务平台，用于提供数据分类信息服务，当出现数据分类困难时，服务平台为传感器接入提供数据分类信息定义的帮助。
9.根据权利要求7或8所述的分布式集群传感器的数据集群编组系统，其特征在于，所述存储中心为分布式存储系统，根据数据的分类为存储中心进行分区，不同区域存储不同的数据，便于数据的索引与调用，当数据传输路径稳定后，汇聚节点根据控制中心指令直接将数据传送至存储中心进行存储提高数据管理与应用的效率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410608207.7A CN104301435B (zh) | 2014-10-31 | 2014-10-31 | 分布式集群传感器的数据集群编组方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410608207.7A CN104301435B (zh) | 2014-10-31 | 2014-10-31 | 分布式集群传感器的数据集群编组方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104301435A true CN104301435A (zh) | 2015-01-21 |
| CN104301435B CN104301435B (zh) | 2018-01-30 |
Family
ID=52320998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410608207.7A Expired - Fee Related CN104301435B (zh) | 2014-10-31 | 2014-10-31 | 分布式集群传感器的数据集群编组方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104301435B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107733875A (zh) * | 2017-09-21 | 2018-02-23 | 深圳市盛路物联通讯技术有限公司 | 一种数据传输方法及系统 |
| CN109413606A (zh) * | 2018-10-29 | 2019-03-01 | 天津市农业科学院信息研究所 | 温室系统多点采集数据更新方法、装置、介质和电子设备 |
| CN110209884A (zh) * | 2018-01-10 | 2019-09-06 | 杭州海康威视数字技术股份有限公司 | 一种索引校对方法和装置 |
| CN110347655A (zh) * | 2019-06-12 | 2019-10-18 | 江苏富山软件科技有限公司 | 一种分布式文件系统访问框架 |
| CN114040352A (zh) * | 2021-11-17 | 2022-02-11 | 广州新华学院 | 一种基于大数据的信息采集方法、系统及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100131445A1 (en) * | 2008-11-26 | 2010-05-27 | Institute For Information Industry | Method of data transmission with differential data fusion |
| CN101801114A (zh) * | 2009-11-03 | 2010-08-11 | 上海大学 | 链式多跳无线传感器网络的快速分簇数据传输方法 |
| CN102523240A (zh) * | 2012-01-06 | 2012-06-27 | 北京邮电大学 | 一种基于物联网的传感器资源整合机制 |
| CN103118097A (zh) * | 2013-01-25 | 2013-05-22 | 电子科技大学 | 无线传感器网络中的数据传输方法 |
-
2014
- 2014-10-31 CN CN201410608207.7A patent/CN104301435B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100131445A1 (en) * | 2008-11-26 | 2010-05-27 | Institute For Information Industry | Method of data transmission with differential data fusion |
| CN101801114A (zh) * | 2009-11-03 | 2010-08-11 | 上海大学 | 链式多跳无线传感器网络的快速分簇数据传输方法 |
| CN102523240A (zh) * | 2012-01-06 | 2012-06-27 | 北京邮电大学 | 一种基于物联网的传感器资源整合机制 |
| CN103118097A (zh) * | 2013-01-25 | 2013-05-22 | 电子科技大学 | 无线传感器网络中的数据传输方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107733875A (zh) * | 2017-09-21 | 2018-02-23 | 深圳市盛路物联通讯技术有限公司 | 一种数据传输方法及系统 |
| CN110209884A (zh) * | 2018-01-10 | 2019-09-06 | 杭州海康威视数字技术股份有限公司 | 一种索引校对方法和装置 |
| CN110209884B (zh) * | 2018-01-10 | 2022-08-05 | 杭州海康威视数字技术股份有限公司 | 一种索引校对方法和装置 |
| CN109413606A (zh) * | 2018-10-29 | 2019-03-01 | 天津市农业科学院信息研究所 | 温室系统多点采集数据更新方法、装置、介质和电子设备 |
| CN110347655A (zh) * | 2019-06-12 | 2019-10-18 | 江苏富山软件科技有限公司 | 一种分布式文件系统访问框架 |
| CN114040352A (zh) * | 2021-11-17 | 2022-02-11 | 广州新华学院 | 一种基于大数据的信息采集方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104301435B (zh) | 2018-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ren et al. | Data query mechanism based on hash computing power of blockchain in internet of things | |
| Qin et al. | When things matter: A survey on data-centric internet of things | |
| Bin et al. | Optimal energy resources allocation method of wireless sensor networks for intelligent railway systems | |
| CN104301435A (zh) | 分布式集群传感器的数据集群编组方法和系统 | |
| CN104468711A (zh) | 物联网通用的数据管理编码方法及系统 | |
| Xu et al. | A latency and coverage optimized data collection scheme for smart cities based on vehicular ad-hoc networks | |
| CN106547882A (zh) | 一种智能电网中营销大数据的实时处理方法及系统 | |
| CN108964996A (zh) | 城乡一体化信息栅格系统及基于其的信息共享方法 | |
| Bagula et al. | Service-aware clustering: An energy-efficient model for the internet-of-things | |
| CN113033082A (zh) | 基于异构算力感知的去中心化联邦学习框架及建模方法 | |
| Din et al. | An architecture to analyze big data in the internet of things | |
| Aly et al. | Big data on internet of things: applications, architecture, technologies, techniques, and future directions | |
| CN110580670A (zh) | 基于物联网的智慧城市管理系统 | |
| Wang et al. | A new data fusion algorithm for wireless sensor networks inspired by hesitant fuzzy entropy | |
| Rehman et al. | Mobility support 5G architecture with real-time routing for sustainable smart cities | |
| CN111190982A (zh) | 一种基于大数据的共享单车管理方法及系统 | |
| Chen et al. | Evolution and evaluation of the Guangzhou metro network topology based on an integration of complex network analysis and GIS | |
| Kim et al. | Branch-based centralized data collection for smart grids using wireless sensor networks | |
| Yang et al. | Edge intelligence based digital twins for internet of autonomous unmanned vehicles | |
| Niu et al. | Economic spatial structure in China: evidence from railway transport network | |
| CN102629352B (zh) | 面向实时感知环境的复合事件模式匹配方法及系统 | |
| Liu et al. | Anomaly Recognition, Diagnosis and Prediction of Massive Data Flow Based on Time-GAN and DBSCAN for Power Dispatching Automation System | |
| Tang et al. | Anomaly detection in social-aware IoT networks | |
| CN105516355A (zh) | 基于喷泉码的智能电能表误差大数据安全存储装置及方法 | |
| CN111953546B (zh) | 基于区块链系统的物联网设备管理方法和智能家居系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20180130 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |