CN114003896B - 一种物联大数据分析处理装置和方法 - Google Patents

一种物联大数据分析处理装置和方法 Download PDF

Info

Publication number
CN114003896B
CN114003896B CN202111268774.9A CN202111268774A CN114003896B CN 114003896 B CN114003896 B CN 114003896B CN 202111268774 A CN202111268774 A CN 202111268774A CN 114003896 B CN114003896 B CN 114003896B
Authority
CN
China
Prior art keywords
data
information
path
transmission
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111268774.9A
Other languages
English (en)
Other versions
CN114003896A (zh
Inventor
田洁
李阿芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong College Of Information Technology
Original Assignee
Shandong College Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong College Of Information Technology filed Critical Shandong College Of Information Technology
Priority to CN202111268774.9A priority Critical patent/CN114003896B/zh
Publication of CN114003896A publication Critical patent/CN114003896A/zh
Application granted granted Critical
Publication of CN114003896B publication Critical patent/CN114003896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/45Structures or tools for the administration of authentication
    • G06F21/46Structures or tools for the administration of authentication by designing passwords or checking the strength of passwords
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/602Providing cryptographic facilities or services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58Random or pseudo-random number generators
    • G06F7/582Pseudo-random number generators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58Random or pseudo-random number generators
    • G06F7/588Random number generators, i.e. based on natural stochastic processes
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00Economic sectors
    • G16Y10/75Information technology; Communication
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00Information sensed or collected by the things
    • G16Y20/40Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16YINFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00IoT characterised by the purpose of the information processing
    • G16Y40/20Analytics; Diagnosis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Bioethics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一种物联大数据分析处理装置和方法,包括:数据采集器,用于采集物联大数据信息;传输终端,用于将数据分别对应的以多个传输路径传输;中心服务器和/或分节点服务器终端,用于接收来数据组进行分析处理,可以实现精确数据处理,高效率传输和精细化管控。

Description

一种物联大数据分析处理装置和方法
技术领域
本发明涉及大数据分析处理领域,具体涉及一种物联大数据分析处理装置和方法。
背景技术
当前,物联网传感设备处于快速增长阶段,根据统计及预测,2016年全球物联网设备数量达到64亿,2017年达到84亿,年增长率31%,2020年全球物联网设备数量达到208亿,2020年以后全球物联网设备数量还将继续快速的增长,预计年增长率将高于40%的速度快速增长。物联网技术覆盖的领域包括家用、安防、智慧城市、平安城市等,物联网的快速发展导致了物联网设备类型的多样性,包括日常使用的空调、风扇、空气净化器、吸尘器、智能插座、智能手机、指纹机、门控、摄像头、报警器等类型。物联网设备的急速增长,催生了物联网平台建设,由于物联网是一个相对较新的领域,针对物联网设备的标准相对缺乏,即使某类设备有标准,各厂商对标准的支持力度不一,导致了接入的复杂性。
大数据(big data)是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据有五大特点,即大量(Volume)、高速(Velocity)、多样(Variety)、低价值密度(Value)、真实性(Veracity)。它并没有统计学的抽样方法,只是观察和追踪发生的事情。大数据的用法倾向于预测分析、用户行为分析或某些其他高级数据分析方法的使用。
目前大数据技术可以有效的支持物联网技术的发展,二者紧密的结合在一起。物联网产生大量数据,这些数据不仅对拥有或操作生成数据的物联网设备的组织而且对其他组织也有用。然而,虽然目前物联通讯的架构已经基本成型,但是其具体的应用还有待提高,其数据处理的精度,管理化程度,以及传输的效率都比较低。
发明内容
本发明的目的在于克服现有技术的不足,提供一种物联大数据分析处理装置和方法,其可以实现精确数据处理,高效率传输和精细化管控。
本发明提供了一种物联大数据分析处理装置,包括:
数据采集器,用于采集物联大数据信息;
数据采集器包括预处理器和数据传输接口:其中,预处理器用于将采集的物联大数据信息进行放大和滤波处理,将其转换出符合要求的采集数据;数据传输接口用于将转换后的采集数据分别发送至传输终端;
传输终端,用于将数据分别对应的以多个传输路径传输;
传输终端的后端设置有预处理服务终端,用于对接收到的数据中添加经过编译的查询信息和经过加密的加密信息;其中,处理服务终端包括随机数生成器,用于基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数,并分别进行编译后生成对应的随机码验证信息和随机码双重验证信息;还用于基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息;同时,将采集数据、随机码验证信息、随机码双重验证信息、查询指针信息整合生成数据组发送;
中心服务器和/或分节点服务器终端,用于接收来数据组进行分析处理。
其中,数据采集器包括多种采集器,分别用于采集用户用电信息,设备状态信息,智慧交通数据信息,照明路灯信息,用户用水、用气,用热信息,远程监控信息中的一种或多种。
其中,预处理器,还用于将采集到的采集的物联大数据信息输入值和输出值进行求差值,根据差值与预设的阈值进行比较,根据比较结果来动态的调整放大的倍数,输出放大稳定的输出值。
其中,所述多个传输路径具体为两个,其中第一路径的传输速度大于第二路径,第一路径的带宽小于第二路径,第一、二路径上的传输数据的数据量的比值和第一、二路径的带宽比值相同。
其中,传输终端为多个,分别对应有多个传输路径。
其中,传输终端还包括分配处理器,用于识别采集终端对应的类型ID和数据信息标记,并基于类型ID和数据信息标记将接收到的采集的数据按照预设方式分配至对应的第一路径或第二路径。
其中,预处理服务终端在编译时具体为:两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,生成经过两组编译后的随机码验证信息,同时一组伪随机数按照区别于第一、第二编译规则进行编译,生成经过编译后的随机码双重验证信息。
其中,预处理服务终端还用于基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息,其中查询指针信息设置包括具备三级查询等级的查询指针,三级查询指针分别定位于接收到的数据的不同数据内容对应的查询位置。
本发明还提供了一种物联大数据分析处理方法,其特征在于,包括:
(1)采集物联通讯的大数据信息;在采集终端接入物联网时,对应的针对其采集的数据类型分配类型ID,并针对类型ID分配对应的数据信息标记;
(2)在采集终端处对采集数据进行自调整放大处理,分别对应的发送传输至多个传输终端;
(3)识别采集终端对应的类型ID和数据信息标记,基于类型ID和数据信息标记将接收到的采集数据按照预设方式分配至对应的第一路径或第二路径进行传输;
(4)对接收到的数据进行预处理,在数据中添加经过编译的查询信息和经过加密的加密信息;基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数,并分别进行编译后生成对应的随机码验证信息和随机码双重验证信息;基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息;将采集数据、随机码验证信息、随机码双重验证信息、查询指针信息整合生成数据组发送;
(5)接收来数据组进行分析处理。
其中所述步骤(4)还包括:将两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,生成经过两组编译后的随机码验证信息,同时将一组伪随机数按照区别于第一、第二编译规则的方式进行编译,生成经过编译后的随机码双重验证信息。
本发明的物联大数据分析处理装置和方法,可以实现:
1)提供了阈值比较的方式,能在采集端动态的调整采集数据信号的放大率,从而最终输出放大稳定的输出值,保证数据的精度;
2) 基于类型ID和数据信息标记对数据进行分类标记,提供了不同匹配参数的多路径传输方式,传输效率高且速度快,以高效的方式分配传输数据,去除冗余且同时方式传输堵塞;
3)在数据中添加经过编译的查询信息和经过加密的加密信息,可以针对性的将数据进行预处理,使得数据后期可以快速查询和并具备保密优势,在后端对应的管控方可以快速的将需要的数据提取,同时保证其他非相关管控方或其他对象无法提取有效数据,从而可以进行精细化的处理分析和管控;
4)在现有随机数加密方式的基础上进行改进,提供了利用了两种针对不同对象的编译规则进行了编译,从而使得针对特定管控方和非特定管控方提供不同的数据内容,从而实现了特定内容的加密,提供给特定管控方专有的权限。
附图说明
图1为现有技术中物联网通讯连接示意图;
图2为物联大数据分析处理装置和方法流程示意图。
具体实施方式
下面详细说明本发明的具体实施,有必要在此指出的是,以下实施只是用于本发明的进一步说明,不能理解为对本发明保护范围的限制,该领域技术熟练人员根据上述本发明内容对本发明做出的一些非本质的改进和调整,仍然属于本发明的保护范围。
根据以下参考附图对实施例的详细描述,本申请的各种优点和特征以及实现本申请的方法将变得显而易见。然而,本申请不限于在此公开的实施例,而是可以以各种形式实现本申请。实施例已经使本申请的公开完整,并且提供实施例使得本领域技术人员可以容易地理解本申请的范围。因此,本申请将由所附权利要求的范围来限定。在整个说明书中,相似的参考标记表示相似的元件。
此外,可以理解的是,可以由计算机程序指令执行处理流程图的每个框和流程图的组合。由于这些计算机程序指令可以被安装在用于通用计算机、专用计算机或其他可编程数据处理装置的处理器中,因此由用于计算机或其他可编程数据处理装置的处理器执行的这些指令创建了执行流程图的框中描述的功能的方法。由于这些计算机程序指令还可以存储在计算机或其他可编程数据处理装置的计算机可用或计算机可读存储器中以便以特定方案实现功能,因此存储在计算机可用或计算机可读存储器中的计算机程序指令也可以生产包括指令方法的制造物品,该指令方法执行流程图的框中描述的功能。由于计算机程序指令也可以被安装在计算机或其他可编程数据处理装置上,因此在计算机或其他可编程数据处理装置上执行一系列操作步骤以创建被计算机执行的处理从而执行计算机或其他可编程数据处理装置的指令还可以提供用于执行流程图的框中描述的功能的步骤。
在下文中,将参考附图详细描述本申请的实施例。当确定与本申请相关的已知功能或配置的详细描述可能使本申请的主旨不清楚时,将省略其详细描述。此外,考虑到本申请中的功能来定义以下术语,并且可以通过用户和操作者的意图或实践以不同的方式来解释以下术语。因此,应当基于整个说明书的内容来解释其定义。
在此基础上,本发明提供了一种物联大数据分析处理装置和方法,其具体的示意性的处理流程如附图2所示,其为物联大数据分析处理装置和方法的流程示意图,图1是现有技术中物联网通讯连接示意图,下面进一步的说明。
本发明提供了一种物联大数据分析处理装置和方法,其中装置包括数据采集器,用于采集物联大数据信息。
首先,在数据采集端,包括多种采集终端,其中多种采集终端分别用于采集物联通讯的大数据信息,大数据信息可以包括用户用电信息,设备状态信息,智慧交通数据信息,照明路灯信息,用户用水、用气、用热信息,远程监控信息等。采集终端包括数据传输接口,通过数据传输接口将采集终端采集的数据分别发送至传输终端。即在数据采集端设置所述多种采集终端,分别采集物联通讯的大数据信息;在采集终端接入物联网时,对应的针对其采集的数据类型分配类型ID,并针对类型ID分配对应的数据信息标记;
采集终端采集的采集数据需要进行前端处理,使其满足采集的需求。在现有的处理方式中,通常是直接将终端采集的采集数据进行放大、滤波等处理,将其转换出符合要求的采集数据,对于放大的过程,可以采用在将采集到的数据输入值和输出值进行求差值,根据差值与预设的阈值进行比较,根据比较结果来动态的调整放大的倍数,从而最终输出放大稳定的输出值,保证数据的精度。本申请进行在此基础上进行了改进,具体的在采集终端对采集数据进行自调整放大处理,包括对基于间隔一个采集周期的前后两个采集周期的采集数据的输入值求差,根据求差结果与预设的第一差阈值进行比较,当大于或等于第一差阈值时调整放大率;当小于第一差阈值时,对与基于间隔一个采集周期的前后两个采集周期的采集数据对应的输出值求差,根据求差结果与预设的第二差阈值进行比较,当大于或等于第二差阈值时调整放大率;当小于第二差阈值时,求得输入值的求差结果和输出值的求差结果的比值,将比值与预设的阈比值进行比较,当小于阈比值时调整放大率,当大于或等于阈比值时,则重新采集数据。即此过程可表述为在采集终端处对采集数据进行自调整放大处理,包括:对基于间隔一个采集周期的前后两个采集周期的采集数据的输入值求差,根据求差结果与预设的第一差阈值进行比较,当大于或等于第一差阈值时调整放大率;当小于第一差阈值时,对与基于间隔一个采集周期的前后两个采集周期的采集数据对应的输出值求差,根据求差结果与预设的第二差阈值进行比较,当大于或等于第二差阈值时调整放大率;当小于第二差阈值时,求得输入值的求差结果和输出值的求差结果的比值,将比值与预设的阈比值进行比较,当小于阈比值时调整放大率,当大于或等于阈比值时,则返回重新采集数据;将经过上步骤处理后的采集数据分别对应的发送传输至多个传输终端中;
由于在数据采集端采集的数据种类较多,并且数据量较大,在数据传输的过程中,需要有效高速的将数据进行发送。然而,对于不同种类的数据,其传输的数据类型不同时,每个数据类型中对应的传输数据的格式和数据量都不相同,例如用户用电量需要传输的信息包括时间、电量等,而设备状态信息需要传输的信息包括设备是否出现故障的信息等,显然这两个数据类型中对应的数传输数据的格式和数据量都不同。因此在采集终端接入物联网时,就对应的针对其采集的数据类型分配类型ID,并针对类型ID分配对应的数据信息标记(此处的标记形式根据具体的处理方式设定,例如数组形式的数据集、状态故障形式的标记等)。
现有的传输终端通常通过路由器、集线器、无线传输模块等,以5G、4G、WIFI等无线方式,或者以太网等有线传输的方式进行,然后直接将数据直接传输到后端进行处理,其在此过程中并没有针对数据量、占用带宽等信息进行针对性的分配,因此无论是并行、串行传输,其传输形式都导致传输效率低,速度慢,即现有的传输终端只起到数据的转发分配传输的方式,并没有进行高效的分配处理。因此,本发明在多个传输终端处,分别对应的设置两个传输路径,其中第一路径具有高的传输速度和小的带宽,第二路径具有低的传输速度和大的带宽,第一、二路径上的传输数据的数据量的比值和第一、二路径的带宽比值相同,此次需要强调的是高和低、小与大是相对于第一、二路径而言,其具体的高和低是基于物联网规划根据实际情况配置的,此处不再赘述。第一、二路径对应的传输的方式,则是以串行和并行的方式分别传输,但是在第一路径上传输的实际带宽小于第一路径的带宽时,则第一路径切换为并行的方式;具体实现则可表述为在多个传输终端处,分别对应的设置两个传输路径,其中第一路径具有高的传输速度和小的带宽,第二路径具有低的传输速度和大的带宽,第一、二路径上的传输数据的数据量的比值和第一、二路径的带宽比值相同。
每个传输终端还包括分配处理器,采集终端将采集的数据发送到对应的传输终端后,分配处理器识别采集终端对应的类型ID和数据信息标记,基于类型ID和数据信息标记将接收到的采集的数据按照预设方式分配至对应的第一路径或第二路径,从而对应的从第一路径或第二路径进行后续的传输。
其中,分配处理器识别采集终端对应的类型ID和数据信息标记的具体方法包括:预先在分配处理器处建立类型ID和数据信息标记数据库,在数据库中以对照表的形式保存;接收到由采集终端采集的数据后,判断采集终端对应的类型ID和数据信息标记是否存在于对照表中:如果存在,则按照预设方式分配至对应的第一路径或第二路径中进行传输;如果不存在,则对应的类型ID和数据信息标记打包好直接传输至中心服务器。此时,中心服务器判断对应的类型ID和数据信息标记是否满足组网要求,如果满足则对应发出联网指令至传输终端,传输终端收到联网指令后将对应的类型ID和数据信息标记存入对照表中,并建立与对应的采集终端的连接使得对应的采集终端重新连接至物联网后,再次发送采集的数据至传输终端,传输终端接收到由采集终端采集的数据后直接按照预设方式分配至对应的第一路径或第二路径中进行传输。再具体的实现则可表述为利用传输终端中设置的分配处理器,识别采集终端对应的类型ID和数据信息标记,基于类型ID和数据信息标记将接收到的采集数据按照预设方式分配至对应的第一路径或第二路径进行传
其次,传输终端通过第一路径或第二路径将数据传输至预处理服务终端。现有的方式中,对于不同种类的数据而言,通常都是直接传输至中心服务器处进行集中的处理,或者设置分布式且与中心服务器功能类似的分节点服务器终端进行处理,从而减轻中心服务器的负担。但是,不同种类或/或不同的多个种类的数据对应的管控方通常不同,因此在经中心服务器和/或分节点服务器终端进行处理后,由于在查询搜索的过程中需要对完整数据进行查询,效率低速度慢,因此本申请在传输终端的后端设置预处理服务终端,通过预处理服务终端对接收到的数据进行预处理,在数据中添加经过编译的查询信息和经过加密的加密信息,可以针对性的将数据进行预处理,使得数据后期可以快速查询和并具备保密优势,在后端对应的管控方可以快速的将需要的数据提取,同时保证其他非相关管控方或其他对象无法提取有效数据,从而可以进行精细化的处理分析和管控。
处理服务终端包括随机数生成器,在具体的预处理过程中,随机数生成器基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数。具体的,两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,从而生成经过两组编译后的随机码验证信息,同时一组伪随机数按照区别于第一、第二编译规则进行编译,从而生成经过编译后的随机码双重验证信息。在后期的验证中,通过对随机码双重验证信息和两组编译后的随机码验证信息对应解码后,将对随机码双重验证信息作为随机码验证信息的验证信息,在保证二者都验证正确时则验证成功;对于两组编译后的随机码验证信息,由于利用了两种针对不同对象的编译规则进行了编译,从而使得针对特定管控方和非特定管控方提供不同的数据内容,从而实现了特定内容的加密,提供给特定管控方转有的权限。同时,基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息,其中查询指针信息设置包括具备三级查询等级的查询指针,三级查询指针分别定位于接收到的数据的不同数据内容对应的查询位置,例如数据的头部、中部和尾部,或者以等分的形式设置于三段数据的头部等形式。从而,在后期查询的过程中可以快速定位。 在具体的实现过程中,则为在传输终端的后端设置预处理服务终端,通过预处理服务终端对接收到的数据进行预处理,在数据中添加经过编译的查询信息和经过加密的加密信息,具体包括:预处理服务终端中设置随机数生成器,随机数生成器基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数;将两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,生成经过两组编译后的随机码验证信息,同时将一组伪随机数按照区别于第一、第二编译规则的方式进行编译,生成经过编译后的随机码双重验证信息;基于接收到的采集数据对应的类型ID和数据信息标记,生成查询指针信息;
在此基础上,进一步地将采集数据、随机码验证信息、随机码双重验证信息、查询指针信息整合生成数据组,从而将数据组发送至中心服务器和/或分节点服务器终端。
尽管为了说明的目的,已描述了本发明的示例性实施方式,但是本领域的技术人员将理解,不脱离所附权利要求中公开的发明的范围和精神的情况下,可以在形式和细节上进行各种修改、添加和替换等的改变,而所有这些改变都应属于本发明所附权利要求的保护范围,并且本发明要求保护的产品各个部门和方法中的各个步骤,可以以任意组合的形式组合在一起。因此,对本发明中所公开的实施方式的描述并非为了限制本发明的范围,而是用于描述本发明。相应地,本发明的范围不受以上实施方式的限制,而是由权利要求或其等同物进行限定。

Claims (11)

1.一种物联大数据分析处理装置,其特征在于,包括:
数据采集器,用于仅采集用户用电信息,设备状态信息和智慧交通数据信息,其中用户用电信息包括时间和电量,设备状态信息包括是否出现出现故障的信息;
数据采集器包括预处理器和数据传输接口:其中,预处理器用于将采集的物联大数据信息进行放大和滤波处理,将其转换出符合要求的采集数据;数据传输接口用于将转换后的采集数据分别发送至传输终端;
传输终端,用于将采集数据按照预设方式分配至其对应的传输路径进行传输;具体的,传输终端包括分配处理器,用于识别采集终端对应的类型ID和数据信息标记,并基于类型ID和数据信息标记将接收到的采集的数据按照预设方式分配至对应的第一路径或第二路径;
传输终端的后端设置有预处理服务终端,用于对接收到的数据中添加经过编译的查询信息和经过加密的加密信息;其中,预处理服务终端包括随机数生成器,用于基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数,并分别进行编译后生成对应的随机码验证信息和随机码双重验证信息;还用于基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息;同时,将采集数据、随机码验证信息、随机码双重验证信息、查询指针信息整合生成数据组发送;
中心服务器和/或分节点服务器终端,用于接收数据组进行分析处理;
其中所述传输路径具体为两个,其中第一路径的传输速度大于第二路径,第一路径的带宽小于第二路径,第一、二路径上的传输数据的数据量的比值和第一、二路径的带宽比值相同。
2.如权利要求1所述的装置,其特征在于:预处理器,还用于将采集到的采集的物联大数据信息输入值和输出值进行求差值,根据差值与预设的阈值进行比较,根据比较结果来动态的调整放大的倍数,输出放大稳定的输出值。
3.如权利要求2所述的装置,其特征在于:传输终端为多个,分别对应有多个传输路径。
4.如权利要求3所述的装置,其特征在于:预处理服务终端在编译时具体为:两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,生成经过两组编译后的随机码验证信息,同时一组伪随机数按照区别于第一、第二编译规则进行编译,生成经过编译后的随机码双重验证信息。
5.如权利要求4所述的装置,其特征在于:预处理服务终端还用于基于接收到的数据对应的类型ID和数据信息标记,生成查询指针信息,其中查询指针信息设置包括具备三级查询等级的查询指针,三级查询指针分别定位于接收到的数据的不同数据内容对应的查询位置。
6.一种利用权利要求1-5任一项所述的物联大数据分析处理装置实现的物联大数据分析处理方法,其特征在于,包括:
(1)在数据采集端设置多种采集终端,分别采集物联通讯的大数据信息;在采集终端接入物联网时,对应的针对其采集的数据类型分配类型ID,并针对类型ID分配对应的数据信息标记;
(2)在采集终端处对采集数据进行自调整放大处理,包括:
对基于间隔一个采集周期的前后两个采集周期的采集数据的输入值求差,根据求差结果与预设的第一差阈值进行比较,当大于或等于第一差阈值时调整放大率;当小于第一差阈值时,对与基于间隔一个采集周期的前后两个采集周期的采集数据对应的输出值求差,根据求差结果与预设的第二差阈值进行比较,当大于或等于第二差阈值时调整放大率;当小于第二差阈值时,求得输入值的求差结果和输出值的求差结果的比值,将比值与预设的阈比值进行比较,当小于阈比值时调整放大率,当大于或等于阈比值时,则返回步骤(1)重新采集数据;
(3)将经过步骤(2)处理后的采集数据分别对应的发送传输至多个传输终端中;
(4)在多个传输终端处,分别对应的设置两个传输路径,其中第一路径具有高的传输速度和小的带宽,第二路径具有低的传输速度和大的带宽,第一、二路径上的传输数据的数据量的比值和第一、二路径的带宽比值相同;
(5)利用传输终端中设置的分配处理器,识别采集终端对应的类型ID和数据信息标记,基于类型ID和数据信息标记将接收到的采集数据按照预设方式分配至对应的第一路径或第二路径进行传输;
(6)在传输终端的后端设置预处理服务终端,通过预处理服务终端对接收到的数据进行预处理,在数据中添加经过编译的查询信息和经过加密的加密信息,具体包括:
(6.1)预处理服务终端中设置随机数生成器,随机数生成器基于接收到的数据随机生成三组随机数,其中两组包括真随机数,一组包括伪随机数;
(6.2)将两组真随机数分别按照中心服务器和/或分节点服务器终端设置的第一编译规则、以及按照特定管控方设置的第二编译规则进行编译,生成经过两组编译后的随机码验证信息,同时将一组伪随机数按照区别于第一、第二编译规则的方式进行编译,生成经过编译后的随机码双重验证信息;
(6.3)基于接收到的采集数据对应的类型ID和数据信息标记,生成查询指针信息;
(7)将步骤(6)中的采集数据、随机码验证信息、随机码双重验证信息、查询指针信息整合生成数据组,将数据组发送至中心服务器和/或分节点服务器终端进行。
7.如权利要求6所述的方法,其特征在于:所述步骤(4)中第一、二路径对应的传输的方式,以串行和并行的方式分别传输。
8.如权利要求7所述的方法,其特征在于:所述步骤(4)中在第一路径上传输的实际带宽小于第一路径的带宽时,则第一路径切换为并行的方式。
9.如权利要求8所述的方法,其特征在于:所述步骤(4)中分配处理器识别采集终端对应的类型ID和数据信息标记的具体方法包括:
(4.1)预先在分配处理器处建立类型ID和数据信息标记数据库,在数据库中以对照表的形式保存;
(4.2)接收到由采集终端采集的采集数据后,判断采集终端对应的类型ID和数据信息标记是否存在于对照表中:如果存在,则按照预设方式分配至对应的第一路径或第二路径中进行传输;如果不存在,则对应的类型ID和数据信息标记打包好直接传输至中心服务器;
(4.3)中心服务器判断对应的类型ID和数据信息标记是否满足组网要求,如果满足则对应发出联网指令至传输终端,传输终端收到联网指令后将对应的类型ID和数据信息标记存入对照表中,并建立与对应的采集终端的连接使得对应的采集终端重新连接至物联网后,再次发送采集的数据至传输终端,传输终端接收到由采集终端采集的数据后直接按照预设方式分配至对应的第一路径或第二路径中进行传输。
10.如权利要求9所述的方法,其特征在于:所述步骤(7)中包括验证步骤,具体为:通过对随机码双重验证信息和两组编译后的随机码验证信息对应解码后,将对随机码双重验证信息作为随机码验证信息的验证信息,二者都验证正确时则验证成功。
11.如权利要求9所述的方法,其特征在于:所述步骤(6)中的查询指针信息设置包括具备三级查询等级的查询指针,三级查询指针分别定位于接收到的数据的不同数据内容对应的查询位置。
CN202111268774.9A 2021-10-29 2021-10-29 一种物联大数据分析处理装置和方法 Active CN114003896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111268774.9A CN114003896B (zh) 2021-10-29 2021-10-29 一种物联大数据分析处理装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111268774.9A CN114003896B (zh) 2021-10-29 2021-10-29 一种物联大数据分析处理装置和方法

Publications (2)

Publication Number Publication Date
CN114003896A CN114003896A (zh) 2022-02-01
CN114003896B true CN114003896B (zh) 2022-07-15

Family

ID=79924950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111268774.9A Active CN114003896B (zh) 2021-10-29 2021-10-29 一种物联大数据分析处理装置和方法

Country Status (1)

Country Link
CN (1) CN114003896B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114650565B (zh) * 2022-05-23 2022-08-16 深圳市天翊瑞霖智能科技有限公司 一种基于数据分析的智能网关用智能流控管理系统
CN115903714B (zh) * 2023-01-06 2023-06-20 济南市计量检定测试院 一种工业污染源排放全过程监控调节装置及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911119A (zh) * 2017-12-12 2018-04-13 成都互聚科技有限公司 一种应用于安防监控装置的采集数据处理系统
CN109347638A (zh) * 2018-11-30 2019-02-15 山东三江电子工程有限公司 一种大数据量快速安全数据传输的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104505938B (zh) * 2014-12-12 2017-07-14 国家电网公司 一种电网终端通信系统
CN104929864A (zh) * 2015-02-06 2015-09-23 青岛科技大学 基于fpga的嵌入式风力发电机组运行状态监测及故障诊断系统
US10721650B2 (en) * 2017-06-09 2020-07-21 Samsung Electronics Co., Ltd. Method and apparatus for accelerating data processing in wireless communication system
CN111343131B (zh) * 2018-12-19 2022-06-14 中国移动通信集团湖南有限公司 一种数据传输方法及装置
WO2020248274A1 (zh) * 2019-06-14 2020-12-17 胡永生 智慧物联网信息采集传输系统
CN112052149B (zh) * 2020-09-06 2022-02-22 厦门理工学院 一种大数据信息采集系统及使用方法
CN112637838A (zh) * 2020-12-07 2021-04-09 苏州始祖鸟网络科技有限公司 一种低延迟的物联网数据通信实现方法
CN112672342B (zh) * 2021-01-11 2023-03-24 金卡智能集团股份有限公司 数据传输方法、装置、设备、系统和存储介质
CN113316263A (zh) * 2021-04-20 2021-08-27 阿里巴巴新加坡控股有限公司 数据传输方法、装置、设备和存储介质
CN114070871A (zh) * 2021-10-22 2022-02-18 山东佳安保全安防科技有限公司 一种安全防护联网报警装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107911119A (zh) * 2017-12-12 2018-04-13 成都互聚科技有限公司 一种应用于安防监控装置的采集数据处理系统
CN109347638A (zh) * 2018-11-30 2019-02-15 山东三江电子工程有限公司 一种大数据量快速安全数据传输的方法

Also Published As

Publication number Publication date
CN114003896A (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN114003896B (zh) 一种物联大数据分析处理装置和方法
CN107547633B (zh) 一种用户常驻点的处理方法、装置和存储介质
CN105578488B (zh) 网络数据采集系统及方法
CN109067617B (zh) 一种v2x协议一致性测试方法、装置及系统
CN107623754B (zh) 基于真伪MAC识别的WiFi采集系统及其方法
CN103546343B (zh) 网络流量分析系统的网络流量展示方法和系统
CN111404914A (zh) 一种特定攻击场景下泛在电力物联网终端安全防护方法
JP2015028742A (ja) センサデータ収集システム
US10050881B2 (en) Method and apparatus for transmitting and receiving data in communication system
CN111930598B (zh) 基于区块链和大数据分析的信息处理方法及大数据平台
CN110430159B (zh) 一种平台服务器防火墙策略开放范围过大预警方法
CN109271793A (zh) 物联网云平台设备类别识别方法及系统
CN110224865A (zh) 一种基于流式处理的日志告警系统
CN108900374A (zh) 一种应用于dpi设备的数据处理方法和装置
CN114070871A (zh) 一种安全防护联网报警装置
CN110011962A (zh) 一种车联网业务数据的识别方法
CN113241848B (zh) 配电网综合监控系统
CN105357334B (zh) 一种基于ipv6地址划分的ipv6地址存储及快速查询方法
CN104811959A (zh) 基于大数据的移动网络用户感知分析系统和方法
CN106304122B (zh) 一种业务数据分析方法及系统
CN105187490B (zh) 一种物联网数据的中转处理方法
CN109493251B (zh) 一种电力无线公网监控系统
CN111756642A (zh) 一种基于dpi和机器学习的网络流量调度系统及方法
CN114050645B (zh) 一种智慧联网的用电安全监控装置
CN115665218A (zh) 一种物联网设备远程控制方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant