发明内容
本发明提供了一种数据处理方法及系统,可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理。
为达到上述目的,本发明提供了如下技术方案:
一种数据处理方法,其特征在于,包括:
接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;
根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;
对所述指标数据进行数据过滤,得到统一标准的场景数据。
优选的,预先配置采集设备的过程,包括:
对所述采集设备的参数进行配置,所述参数包括所述采集设备的数据上报URL地址、所述采集设备的设备编码及所述采集设备的数据上报频率。
优选的,所述数据处理方法,还包括:
储存所述统一标准的场景数据。
优选的,所述根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据,包括:
获取所述数据分析请求中携带的所述场景数据;
根据预设的Modbus协议指标段截取所述场景数据中对应所述预设的Modbus协议指标段的指标数据。
优选的,对所述指标数据进行数据过滤,包括:
清除所述指标数据中的无效数据或错误数据。
一种数据处理系统,其特征在于,包括:
解析服务器,用于接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;
数据过滤器,用于对所述指标数据进行数据过滤,得到统一标准的场景数据。
优选的,所述数据处理系统,还包括:
配置设备,用于对所述采集设备的参数进行配置,所述参数包括所述采集设备的数据上报URL地址、所述采集设备的设备编码及所述采集设备的数据上报频率。
优选的,所述数据处理系统,还包括:
储存单元,用于储存所述统一标准的场景数据。
优选的,所述解析服务器用于获取所述数据分析请求中携带的所述场景数据;根据预设的Modbus协议指标段截取所述场景数据中对应所述预设的Modbus协议指标段的指标数据。
优选的,所述对所述指标数据进行数据过滤的数据过滤器,用于清除所述指标数据中的无效数据或错误数据。
经由上述技术方案可知,本发明公开了一种数据处理方法及系统,接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;对所述指标数据进行数据过滤,得到统一标准的场景数据。该方法可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
随着国家智慧城市概念的提出,物联网技术作为一种战略新兴产业,慢慢演变为当今社会中一个新的经济增长点,其中,场景数据的采集分析是实现物联网普及过程中极为重要的一环。由背景技术可知,现有技术中,场景数据采集设备没有统一的数据采集标准,导致难以进行后续的整合分析工作。
因此,本发明提供了一种数据处理方法及系统,可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理。
本发明提供的数据处理方法及系统应用的智慧场景包括智慧工地、智慧城市、智慧商场等物联网场景,可以支持任何使用RS485接口的场景数据采集设备。
本发明提供的数据处理方法及系统基于包含核心服务解析组件(Core GatherRunner,CGR)和数据过滤器的构架对采集到的标准不统一数据进行处理。
如图1所示,为本发明实施例公开了一种数据处理方法的流程图,该方法包括以下步骤:
步骤S101:解析服务器接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据。
在具体应用中,该解析服务器相当于CGR。
步骤S101中涉及的预先配置的采集设备,针对其的预先配置过程包括:
通过配置设备对所述采集设备的参数进行配置,所述参数包括所述采集设备的数据上报URL地址、所述采集设备的设备编码及所述采集设备的数据上报频率。
在具体应用中,该配置设备中承载有驱动配置程序,配置设备可以通过驱动配置程序完成对采集设备的参数配置工作。
步骤S102:解析服务器根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据。
在步骤S102中,所述设备协议为Modbus协议。Modbus协议是应用于电子控制器上的一种通用语言。通过此协议,控制器相互之间、控制器经由网络(例如以太网)和其它设备之间可以通信。
在具体应用中,采集设备采集场景数据,但是不同的采集设备传输数据存储位是不同的,需要参照设备协议中预设的指标段解析出相应的指标数据。
以气象采集为例,气象传感器采集到气象数据之后,通过RS485接口,按照MODBUS协议发送字节码,如#QX0000110001……0000,其中前4个字节QX00表示的是气象传感器,后续每隔4个字节表示采集到的各项数据的指标数值,比如0011表示场景空气中的粉尘指标,0011为二进制,转十进制后的结果为3,后续指标数值依次类推。
在具体应用中,解析服务器根据设备协议解析所述场景数据的过程具体为:
在获取所述数据分析请求中携带的所述场景数据后,按照预设MODBUS协议指标段截取场景数据字节码中对应所述预设的Modbus协议指标段的指标数据。
步骤S103:数据过滤器对所述指标数据进行数据过滤,得到统一标准的场景数据。
由于智慧场景环境比较复杂,采集设备在采集数据的过程中容易发生数据偏差,甚至是数据错误,通过对解析服务器截取指标信息后得到的指标数据进行过滤,可以清除指标数据中的无效数据或错误数据,使所述指标数据更加准确。
需要说明的是,对于任意使用RS485接口采集设备按照如上步骤操作,均可完成场景数据的处理工作,得到统一标准的场景数据。本发明实施例公开了一种数据处理方法,通过解析服务器接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;解析服务器根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;数据过滤器对所述指标数据进行数据过滤,得到统一标准的场景数据。该方法可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理。
如图2所示,为本发明实施例公开了另一种数据处理方法的流程图,该方法包括以下步骤:
步骤S201:解析服务器接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据。
步骤S202:解析服务器根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据。
步骤S203:数据过滤器对所述指标数据进行数据过滤,得到统一标准的场景数据。
此处步骤S201到S203与图1中示出的步骤S101到S103的执行过程以及原理相同,这里不再赘述。
步骤S204:储存单元储存所述统一标准的场景数据。
在具体应用中,CGR将经过数据过滤器过滤后得到的统一标准的场景数据进行持久化储存,便于后续对各采集设备采集到的场景数据进行整合分析。
进一步的,所述解析服务器还包括数据动态展示、报表信息查看、历史信息追踪等功能。任何支持RS485的采集设备采集的场景数据均可通过本实施例公开的数据处理方法获得统一标准的场景数据。再由解析服务器完成对各种场景数据的整合,最终达到将各不同标准场景数据统一集成的目的,便于后续分析处理工作的高效进行。
本发明实施例公开了一种数据处理方法,解析服务器接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;解析服务器根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;数据过滤器对所述指标数据进行数据过滤,得到统一标准的场景数据;储存单元储存所述统一标准的场景数据。该方法可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理,并且场景数据的持久化储存便于后续整合分析工作的进行。
为便于理解,基于上述本发明提供的数据处理方法和图3所示的执行该数据处理方法的架构,以物联网络作为目标场景为例,对该数据处理过程进行详细说明。该架构中包括:采集设备301,CGR302和数据过滤器303。
需要说明的是,在该目标场景中部署物联网络通道或物联4g网络,通过驱动配置程序完成采集设备的参数配置。具体数据处理过程如下:
首先,预先配置的采集设备301按照配置的数据上报URL地址、设备编码及数据上报频率向CGR302发送数据分析请求,该数据分析请求中携带有所述预先配置的采集设备301采集的场景数据
然后,CGR302在接收预先配置的采集设备301发送的数据分析请求后,按照预设MODBUS协议指标段截取场景数据字节码中对应所述预设的Modbus协议指标段的指标数据。
然后,数据过滤器303对所述指标数据进行数据过滤,得到统一标准的场景数据。
最后,储存单元将经过数据过滤器303过滤后得到的统一标准的场景数据进行持久化储存。
进一步的,CGR302还支持场景数据的动态展示、报表信息查看及历史数据追踪等功能,可以根据需要进行扩展。
本发明实施例通过CGR302和数据过滤器303的工作,解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,各采集设备采集的场景数据按照上述操作处理,均可获得统一标准的场景数据,再由CGR302完成对各种场景数据的整合,最终达到将各不同标准场景数据统一集成的目的,便于后续分析处理工作的高效进行。
基于上述本发明实施例公开的数据处理方法,图4具体公开了应用该数据处理方法的数据处理系统。
如图4所示,本发明实施例提供了一种数据处理系统的示意图,该系统包括:
解析服务器401,用于接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;
数据过滤器402,用于对所述指标数据进行数据过滤,得到统一标准的场景数据。
具体的,可以采用Fleter数据过滤器完成对指标数据的过滤工作。
可选的,所述数据处理系统,还包括:
配置设备,用于对所述采集设备的参数进行配置,所述参数包括所述采集设备的数据上报URL地址、所述采集设备的设备编码及所述采集设备的数据上报频率。
可选的,所述数据处理系统,还包括:
储存单元,用于储存所述统一标准的场景数据。
可选的,所述解析服务器401用于获取所述数据分析请求中携带的所述场景数据;根据预设的Modbus协议指标段截取所述场景数据中对应所述预设的Modbus协议指标段的指标数据。
可选的,所述对所述指标数据进行数据过滤的数据过滤器402,用于清除所述指标数据中的无效数据或错误数据。
以上本发明实施例公开的一种数据处理系统中的解析服务器401和数据过滤器402的具体执行过程以及执行原理可参见本发明上述实施例公开的数据处理方法中解析服务器401和数据过滤器402涉及的部分,这里不再进行赘述。
综上所述,本发明公开了一种数据处理方法和系统,通过解析服务器接收预先配置的采集设备发送的数据分析请求,所述数据分析请求中携带所述预先配置的采集设备采集的场景数据;解析服务器根据设备协议解析所述场景数据,获得所述场景数据中对应预设指标段的指标数据;数据过滤器对所述指标数据进行数据过滤,得到统一标准的场景数据;储存单元储存所述统一标准的场景数据。该系统可以解决现有技术中由于采集数据标准不统一造成的难以整合分析的问题,能够更高效的对采集到的数据进行分析处理,并且场景数据的持久化储存便于后续整合分析工作的进行。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。