CN107948194A - 一种数据接入方法及系统 - Google Patents

一种数据接入方法及系统 Download PDF

Info

Publication number
CN107948194A
CN107948194A CN201711408388.9A CN201711408388A CN107948194A CN 107948194 A CN107948194 A CN 107948194A CN 201711408388 A CN201711408388 A CN 201711408388A CN 107948194 A CN107948194 A CN 107948194A
Authority
CN
China
Prior art keywords
data
target
target data
type
converter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711408388.9A
Other languages
English (en)
Other versions
CN107948194B (zh
Inventor
姜舒文
董静
陈天恩
张驰
王登位
王聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Research Center for Information Technology in Agriculture
Original Assignee
Beijing Research Center for Information Technology in Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Research Center for Information Technology in Agriculture filed Critical Beijing Research Center for Information Technology in Agriculture
Priority to CN201711408388.9A priority Critical patent/CN107948194B/zh
Publication of CN107948194A publication Critical patent/CN107948194A/zh
Application granted granted Critical
Publication of CN107948194B publication Critical patent/CN107948194B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/08Protocols for interworking; Protocol conversion

Abstract

本发明提供一种数据接入方法及系统,方法包括:接收目标设备对目标数据的传输请求,注册目标设备的相关参数信息,相关参数信息至少包括目标数据的类型和传输协议模式;创建与目标设备对应的数据接收入口并利用数据接收入口接收目标设备传输的目标数据;根据目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的目标数据;根据目标数据的类型选择对应的映射规则,利用映射规则解析转换后的目标数据,能够对不同设备传输的数据进行动态接入,无需进行二次开发,实现方式简单高效,能对多源异构的农业物联网数据进行简单高效稳定的接入,一定程度上为农业生产部门和农业企业提供了便利。

Description

一种数据接入方法及系统
技术领域
本发明涉及数据传输技术领域,更具体地,涉及一种数据接入方法及系统。
背景技术
随着物联网技术的发展,物联网在农业领域中的应用不断深入。农业物联网的体系包含感知层、传输层和应用层;传输层和感知层进行农业生产感知数据的釆集,应用层对感知数据进行处理应用。感知层釆集的数据包含了设施、大田、水产和果园等农业各生产领域,加之数据的传输协议各异,使得农业感知数据具有了来源多、异构性强等特点。
另外,农业物联网的应用覆盖面越来越广,接入的物联网设备数量越来越多、采集频率越来越高,农业物联网数据已经呈现为大数据的趋势,而且在实际的农业生产、经营和管理中,对农业物联网数据的需求也不再单一,如在农业数据挖掘、病虫害预警决策、农产品质量追溯等领域,往往需要对农业物联网数据进行高效稳定的数据接入和存储分析。目前在物联网数据接入的架构设计上,主要有以下两种架构方法:
第一种是基于同构设备类型的WSN网络的物联网数据接入方法,此类物联网数据接入方法要求物联网设备高度严格同构一致,针对特定的智能设备,来设计和开发适应性的物联网数据接入方式。但是在实际大规模农业物联网应用中,可能存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备,这些物联网设备采用的数据转化模式和格式都不相同,如温室大棚多采用网关和无线传感器节点模式,数据发送多采用IP地址网络直传或者是网关中心节点发布web数据服务,数据服务多为webservice、http等;如在田间气象观测应用中,多采用田间气象站,由于农田生产环境区别于工业生产环境,田间气象站采用太阳能和基于GPRS的数据发送模式是较为常见和成熟的。面对这样一种物联网智能设备在农业生产中实际应用的现状问题,单一同构化的物联网智能设备已经满足不了农业生产的需求。
第二种是混合型物联网数据接入的解决方案,采用此接入方法,虽然标准化组件、中间件和适配器模式能针对不同物联网产品进行统一接入,但是其原理是提供面向数据平台的统一数据接入接口,这就要求物联网厂商要重新针对统一接口对物联网设备进行重新编码,或又者是对中间件和适配器进行扩展和重编写,在设备厂商产品趋于成熟稳定的情况下,这给大规模的农业物联网设备数据接入带来了一定的难度,同时智能设备扩展性受到农业企业二次开发能力的制约。同时当农业物联网设备的数量和数据的采集频率到达一定的峰值时,此方法采用的多线程接入方法一方面会消耗大量服务器资源,另一方面容易造成数据堵塞,出现数据丢失问题。
发明内容
本发明为了克服现有技术中的数据接入方法所存在的在实现异构物联网设备接入时需进行二次开发,且复杂低效的问题,提供一种数据接入方法及系统。
一方面,本发明提供一种数据接入方法,包括:
S1,接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
S2,创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
S3,根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的所述目标数据;
S4,根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析转换后的所述目标数据。
优选地,所述步骤S2之前还包括:根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选;
相应地,利用所述数据接收入口接收筛选后的所述目标数据。
优选地,所述步骤S3之前还包括:根据所述目标数据的类型和传输协议模式配置对应的数据转换器,将所述对应的数据转换器加入所述数据转换器库。
优选地,所述步骤S4之后,还包括:S5,将解析后的所述目标数据加入分布式消息队列中。
优选地,所述步骤S5之后还包括:S6,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
优选地,所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。
优选地,所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。
一方面,本发明提供一种数据接入系统,包括:
设备注册模块,用于接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
数据接收模块,用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
数据转换模块,用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的所述目标数据;
规则映射模块,用于根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析转换后的所述目标数据。
优选地,还包括:数据清洗模块,用于根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选。
优选地,还包括:数据分发模块,用于将解析后的所述目标数据加入分布式消息队列中,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
本发明提供的数据接入方法及系统针对不同的目标设备创建不同的数据接收入口,根据不同目标设备的传输协议选择对应的数据转换器,并根据传输的目标数据类型选择对应的映射规则,最终根据数据转换器和映射规则反向解析目标数据,能够对不同设备传输的数据进行动态接入,仅需针对不同的设备选择或配置对应的数据转换器和映射规则,无需进行二次开发,实现方式简单高效,能对多源异构的农业物联网数据进行简单高效稳定的接入,一定程度上为农业生产部门和农业企业提供了便利。同时将解析后的目标数据加入消息队列,并采用负载均衡调度的策略进行消息队列的调度,并结合目标数据对应的发布接口对目标数据进行分发,提高数据分发效率的同时还能够确保数据的安全性、一致性和稳定性。
附图说明
图1为本发明实施例的一种数据接入方法的整体流程示意图;
图2为本发明实施例的一种数据接入系统的整体结构示意图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明,但不用来限制本发明的范围。
图1为本发明实施例的一种数据接入方法的整体流程示意图,如图1所示,本发明提供一种数据接入方法,包括:
S1,接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
S2,创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
S3,根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,利用所述数据转换器将所述目标数据转换为数据包或数据文件;
S4,根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析所述目标数据。
在实际大规模农业物联网应用中,存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备,这些物联网设备采用的数据转化模式和格式都不相同,如温室大棚多采用网关和无线传感器节点模式,数据发送多采用IP地址网络直传或者是网关中心节点发布web数据服务等;如在田间气象观测应用中,多采用田间气象站,由于农田生产环境区别于工业生产环境,田间气象站采用太阳能和基于GPRS的数据发送模式是较为常见和成熟的。
有鉴于此,本发明实现异构物联网设备数据的具体实现如下:
当接收到某一目标设备的数据传输请求时,需首先对目标设备进行注册,具体为注册目标设备的相关参数信息,包括目标设备请求传输的目标数据的类型和传输协议模式。此外,还需对目标设备的IP地址和数据传输端口进行注册,以便于根据注册的IP地址从注册端口接收目标数据,具体的注册信息可以根据实际需求进行设置,此处不做具体限定。
进一步地,针对上述注册的目标设备,对每个目标设备创建对应的数据接收入口,即创建目标设备的数据发送的目标地址,数据接收入口具体包括系统IP地址、数据接收端口和数据接收的http地址等。目标设备可以根据系统IP地址和数据接收端口将目标数据发送给系统,此外系统也可以根据数据接收的http地址获取目标数据。在创建了目标设备对应的数据接收入口后,利用数据接收入口接收目标设备传输的目标数据。
进一步的,在接收到目标数据的基础上,根据目标数据的类型和传输协议模式,从预先配置并存储的数据转换器库中选择对应的数据转换器,选择的数据转换器能够将目标设备在传输协议模式下传输的目标数据转换为可读的字符串,即获得转换后的目标数据。其中,数据转换器库中预先存储了基本的数据转换器,主要包括如下几种类型:Http传输协议数据转换器,适用以Http为数据传输协议的农业物联网设备的数据接入源;Socket传输协议数据转换器,适用以Socket为数据传输协议的数据接入源;WebService传输协议数据转换器,适用以WSDL为数据传输协议的数据接入源;XML数据协议数据转换器,适用以WebService和以XML为数据格式的数据接入源;JSON数据协议数据转化器,适用REST、HTTP、WebService等以JSON为数据格式的接入数据源。此外,数据转换器库中还可以根据实际需求预先配置并存储其他的数据转换器,此处不做具体限定。
进一步地,在获得了转换后的目标数据的基础上,获取目标数据的类型,根据目标数据的类型,选择与目标数据的类型对应的映射规则,映射规则中预先存储了目标数据的可读字符串与目标数据的具体参数值的映射关系,利用对应的映射规则,则可对转换后的目标数据进行解析,获得目标数据的具体参数值。
本发明提供的数据接入方法针对不同的目标设备创建不同的数据接收入口,根据不同目标设备的传输协议选择对应的数据转换器,并根据传输的目标数据类型选择对应的映射规则,最终根据数据转换器和映射规则反向解析目标数据,能够对不同设备传输的数据进行动态接入,仅需针对不同的设备选择或配置对应的数据转换器和映射规则,无需进行二次开发,实现方式简单高效,能对多源异构的农业物联网数据进行简单高效稳定的接入,一定程度上为农业生产部门和农业企业提供了便利。
基于上述任一实施例,提供一种数据接入方法,所述步骤S2之前还包括:根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选;
相应地,利用所述数据接收入口接收筛选后的所述目标数据。
具体地,在针对目标设备创建数据接收入口之前,为了避免接收无效的数据,还需对目标设备发送的目标数据进行清洗,本实施例中通过获取目标设备的类型,根据目标设备的类型配置相应的清洗规则,再利用清洗规则对目标数据进行筛选,筛选出合格的目标数据,将不合格的目标数据进行丢弃。最后,将筛选出的合格的目标数据通过创建的数据接收入口进行接收。
本发明提供的一种数据接入方法,能够根据接收数据的类型配置对应的清洗规则,并根据清洗规则筛选出合格的数据进行接收,对不合格的数据进行丢弃,一定程度上降低了系统数据接收的负担,有利于提高数据接入的整体效率。
基于上述任一实施例,提高一种数据接入方法,所述步骤S3之前还包括:根据所述目标数据的类型和传输协议模式配置对应的数据转换器,将所述对应的数据转换器加入所述数据转换器库。
具体地,由于不同目标设备所采用的数据传输协议模式和传输的数据类型不尽相同,如温室大棚多采用网关和无线传感器节点模式,数据发送多采用IP地址网络直传或者是网关中心节点发布web数据服务;如在田间气象观测应用中,多采用田间气象站,由于农田生产环境区别于工业生产环境,田间气象站采用太阳能和基于GPRS的数据发送模式是较为常见和成熟的。有鉴于此,为了能够对不同目标设备传输的目标数据进行接入,需利用与目标设备所采用的传输协议模式相对应的数据转换器,数据转换器库中存在一些基本的数据转换器,若数据转换器库中不存在当前目标设备对应的数据转换器,则需首先根据目标数据的类型和所采用的数据传输协议模式配置对应的数据转换器,以利用对应的数据转换器对目标设备传输的目标数据进行转换,将目标数据转换为可读的字符串等。同时,还可以将配置好的数据转换器加入数据转换器库中,有效丰富了数据转换器库,以便于后续从数据转换器库中选择对应的数据转化器。
本发明提供的一种数据接入方法,能够根据目标设备所传输的目标数据的类型和数据传输协议模式配置对应的数据转换器,故而能够实现对不同目标设备所传输的不同目标数据的接入,无需进行二次开发,实现方式简单高效。
基于上述任一实施例,提供一种数据接入方法,所述步骤S4之后,还包括:S5,将解析后的所述目标数据加入分布式消息队列中。
具体地,利用映射规则对目标数据进行反向解析之后,则可获取到目标数据的具体参数,在实际应用中,往往需要将解析后的目标数据分发至其他数据应用系统,有鉴于此,本实施例中,采用分布式消息队列的策略,将解析后的目标数据加入分布式消息队列中进行分发,同时采用均衡负载调度对不同服务器上分布的消息队列进行调度,确保消息队列在高并发下的数据的安全性、一致性和稳定性,提升了服务器的资源利用率。
进一步地,可以对上述分布式消息队列进行配置,包括消息队列的名称、生命周期、启用状态和最大存储空间等,具体配置可以根据实际需求进行设置,此处不做具体限定。
本发明提供的一种数据接入方法,通过将解析后的目标数据加入消息队列,并采用负载均衡调度的策略进行消息队列的调度,有利于通过消息队列对目标数据进行分发,提高分发效率的同时还能够确保数据的安全性、一致性和稳定性。
基于上述任一实施例,提供一种数据接入方法,所述步骤S5之后还包括:S6,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
具体地,为了满足其他数据应用系统对目标数据的调用需求,本实施例中,针对解析获取的目标数据创建对应的数据发布接口,故而系统可以将存储于分布式消息队列中的目标数据传输至对应的发布接口,利用发布接口对目标数据进行分发,其他数据应用系统也可以通过目标数据对应的数据发布接口,对目标数据进行存储、转发、查询和分析等具体的应用。
此外,系统可以为每个创建的数据发布接口进行管理,包括启用数据发布接口,停用数据发布接口或删除数据发布接口等,可以根据实际需求进行配置,此处不做具体限定。
本发明提供的一种数据接入方法,针对不同设备构建负载均衡的分布式消息队列,并针对不同的目标设备传输的目标数据创建对应的发布接口,有利于其他数据应用系统对目标数据进行存储、转发、查询和分析等,实现了对目标数据的高效分发,同时确保了目标数据的安全性、一致性和稳定性。
基于上述任一实施例,提供一种数据接入方法,所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。
具体地,本实施例中的数据接入方法应用于农业物联网数据的接入,对于农业物联网数据中所涉及的数据类型包括温度数据、湿度数据、风速数据和风向数据等,不同数据对应的采集设备不同,其中温度采集设备可用于采集温度数据,温度数据包括气温数据和土壤温度数据,湿度采集装置用于采集湿度数据,包括空气湿度数据和土壤湿度数据。此外,在实际应用中,不同的设备所采集并传输的数据类型不同,目标数据的具体类型可以根据目标设备进行确定,此处不做具体限定。
本发明提供的一种数据接入方法,目标数据的类型包括温度数据、湿度数据、风速数据和风向数据等,能够实现对多源异构的农业物联网数据进行接入。
基于上述任一实施例,提供一种数据接入方法,所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。
具体地,针对不同目标设备传输的目标数据,根据目标数据的类型,并结合实际需求,可以为目标数据配置对应的清洗规则,清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。其中利用异常数据清洗规则可以筛选出明显错误的异常数据,例如,温室大棚中采集的温度数据为零下二十度,而实际情况下温室大棚中的温度不可能出现零下二十度的情况,故而可将异常的零下二十度数据进行丢弃;利用不规则数据清洗规则可以筛选出不符合数据规律的数据,例如,温度采集设备采集一整天的气温变化值,若一组温度数据中早晚温度明显高于正午温度,则利用不规则数据清洗规则可筛选出该组数据,并将该组数据进行丢弃;利用时间清洗规则可以筛选出符合预设时间段的数据,将不在预设时间段的数据进行丢弃。此外,在实际应用中,可以根据不同的目标数据配置不同的清洗规则,此处不做具体限定。
本发明提供的一种数据接入方法,通过预先配置的异常数据清洗规则、不规则数据清洗规则和时间清洗规则对目标数据进行筛选,能够将明显异常的数据和不规则的数据以及不符合预设时间段的数据进行丢弃,避免系统对无效的数据进行接入,节省了系统的资源。
图2为本发明实施例的一种数据接入系统的整体结构示意图,如图2所示,本发明提供一种数据接入系统,包括:
设备注册模块1,用于接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
数据接收模块2,用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
数据转换模块3,用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的所述目标数据;
规则映射模块4,用于根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析转换后的所述目标数据。
具体地,在实际应用中,上述任一实施例中的数据接入方法是通过本实施例的数据接入系统进行实现的,本实施例的数据接入系统包括设备注册模块1、数据接收模块2、协议解析模块3和规则映射模块4,数据接入系统的各模块实现异构物联网设备数据的具体过程如下:
当接收到某一目标设备的数据传输请求时,首先利用设备注册模块1对目标设备进行注册,具体为注册目标设备的相关参数信息,包括目标设备请求传输的目标数据的类型和传输协议模式。此外,设备注册模块1还需对目标设备的IP地址和数据传输端口进行注册,以便于根据注册的IP地址从注册端口接收目标数据,具体的注册信息可以根据实际需求进行设置,此处不做具体限定。
进一步地,针对上述设备注册模块1注册的目标设备,利用数据接收模块2对每个目标设备创建对应的数据接收入口,即创建目标设备的数据发送的目标地址,数据接收入口具体包括系统IP地址、数据接收端口和数据接收的http地址等。目标设备可以根据系统IP地址和数据接收端口将目标数据发送给数据接收模块2,此外数据接收模块2也可以根据数据接收的http地址获取目标数据。在创建了目标设备对应的数据接收入口后,利用数据接收入口接收目标设备传输的目标数据。
进一步的,在数据接收模块2接收到目标数据的基础上,利用数据转换模块3根据目标数据的类型和传输协议模式,从预先配置并存储的数据转换器库中选择对应的数据转换器,选择的数据转换器能够将目标设备在传输协议模式下传输的目标数据转换为可读的字符串,即获得转换后的目标数据。其中,数据转换器库中预先存储了基本的数据转换器,主要包括如下几种类型:Http传输协议数据转换器,适用以Http为数据传输协议的农业物联网设备的数据接入源;Socket传输协议数据转换器,适用以Socket为数据传输协议的数据接入源;WebService传输协议数据转换器,适用以WSDL为数据传输协议的数据接入源;XML数据协议数据转换器,适用以WebService和以XML为数据格式的数据接入源;JSON数据协议数据转化器,适用REST、HTTP、WebService等以JSON为数据格式的接入数据源。此外,数据转换器库中还可以根据实际需求预先配置并存储其他的数据转换器,此处不做具体限定。
进一步地,在数据转换模块3获得了转换后的目标数据的基础上,利用规则映射模块4获取目标数据的类型,根据目标数据的类型,选择与目标数据的类型对应的映射规则,映射规则中预先存储了目标数据的可读字符串与目标数据的具体参数值的映射关系,利用对应的映射规则,则可对转换后的目标数据进行解析,获得目标数据的具体参数值。
本发明提供的数据接入系统针对不同的目标设备创建不同的数据接收入口,根据不同目标设备的传输协议选择对应的数据转换器,并根据传输的目标数据类型选择对应的映射规则,最终根据数据转换器和映射规则反向解析目标数据,能够对不同设备传输的数据进行动态接入,仅需针对不同的设备选择或配置对应的数据转换器和映射规则,无需进行二次开发,实现方式简单高效,能对多源异构的农业物联网数据进行简单高效稳定的接入,一定程度上为农业生产部门和农业企业提供了便利。
基于上述任一实施例,提供一种数据接入系统,还包括:数据清洗模块,用于根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选。
具体地,在利用数据接收模块针对目标设备创建数据接收入口之前,为了避免数据接收模块接收无效的数据,还需对目标设备发送的目标数据进行清洗。本实施例中,利用数据清洗模块获取目标设备的类型,根据目标设备的类型配置相应的清洗规则,再利用清洗规则对目标数据进行筛选,筛选出合格的目标数据,将不合格的目标数据进行丢弃。最后,利用数据接收模块接收筛选出的合格的目标数据。
本发明提供的一种数据接入系统,能够根据接收数据的类型配置对应的清洗规则,并根据清洗规则筛选出合格的数据进行接收,对不合格的数据进行丢弃,一定程度上降低了系统数据接收的负担,有利于提高数据接入的整效率。
基于上述任一实施例,提供一种数据接入系统,还包括:数据分发模块,用于将解析后的所述目标数据加入分布式消息队列中,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
具体地,利用规则映射模块对目标数据进行反向解析之后,则可获取到目标数据的具体参数,在实际应用中,往往需要将解析后的目标数据分发至其他数据应用系统,有鉴于此,本实施例中,采用分布式消息队列的策略,利用分发模块将解析后的目标数据加入分布式消息队列中进行分发,同时采用均衡负载调度对不同服务器上分布的消息队列进行调度,确保消息队列在高并发下的数据的安全性、一致性和稳定性,提升了服务器的资源利用率。此外,可以对上述分布式消息队列进行配置,包括消息队列的名称、生命周期、启用状态和最大存储空间等,具体配置可以根据实际需求进行设置,此处不做具体限定。
进一步地,为了满足其他数据应用系统对目标数据的调用需求,本实施例中,利用分发模块针对解析获取的目标数据创建对应的数据发布接口,故而分发模块可以将存储于分布式消息队列中的目标数据传输至对应的发布接口,利用发布接口对目标数据进行分发,其他数据应用系统也可以通过目标数据对应的数据发布接口,对目标数据进行存储、转发、查询和分析等具体的应用。此外,分发模块可以为每个创建的数据发布接口进行管理,包括启用数据发布接口,停用数据发布接口或删除数据发布接口等,可以根据实际需求进行配置,此处不做具体限定。
本发明提供的一种数据接入系统,针对不同设备构建负载均衡的分布式消息队列,并针对不同的目标设备传输的目标数据创建对应的发布接口,有利于其他数据应用系统对目标数据进行存储、转发、查询和分析等,实现了对目标数据的高效分发,同时确保了目标数据的安全性、一致性和稳定性。
综合上述,本发明提供的数据接入方法及系统针对不同的目标设备创建不同的数据接收入口,根据不同目标设备的传输协议选择对应的数据转换器,并根据传输的目标数据类型选择对应的映射规则,最终根据数据转换器和映射规则反向解析目标数据,能够对不同设备传输的数据进行动态接入,仅需针对不同的设备选择或配置对应的数据转换器和映射规则,无需进行二次开发,实现方式简单高效,能对多源异构的农业物联网数据进行简单高效稳定的接入,一定程度上为农业生产部门和农业企业提供了便利。同时将解析后的目标数据加入消息队列,并采用负载均衡调度的策略进行消息队列的调度,并结合目标数据对应的发布接口对目标数据进行分发,提高数据分发效率的同时还能够确保数据的安全性、一致性和稳定性。
最后,本申请的方法仅为较佳的实施方案,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据接入方法,其特征在于,包括:
S1,接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
S2,创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
S3,根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的所述目标数据;
S4,根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析转换后的所述目标数据。
2.根据权利要求1所述的方法,其特征在于,所述步骤S2之前还包括:根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选;
相应地,利用所述数据接收入口接收筛选后的所述目标数据。
3.根据权利要求1所述的方法,其特征在于,所述步骤S3之前还包括:根据所述目标数据的类型和传输协议模式配置对应的数据转换器,将所述对应的数据转换器加入所述数据转换器库。
4.根据权利要求1所述的方法,其特征在于,所述步骤S4之后,还包括:S5,将解析后的所述目标数据加入分布式消息队列中。
5.根据权利要求4所述的方法,其特征在于,所述步骤S5之后还包括:S6,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
6.根据权利要求1所述的方法,其特征在于,所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。
7.根据权利要求1所述的方法,其特征在于,所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。
8.一种数据接入系统,其特征在于,包括:
设备注册模块,用于接收目标设备对目标数据的传输请求,注册所述目标设备的相关参数信息,所述相关参数信息至少包括所述目标数据的类型和传输协议模式;
数据接收模块,用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据;
数据转换模块,用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器,获取转换后的所述目标数据;
规则映射模块,用于根据所述目标数据的类型选择对应的映射规则,利用所述映射规则解析转换后的所述目标数据。
9.根据权利要求8所述的方法,其特征在于,还包括:数据清洗模块,用于根据所述目标数据的类型配置对应的清洗规则,利用所述清洗规则对所述目标数据进行筛选。
10.根据权利要求8所述的方法,其特征在于,还包括:数据分发模块,用于将解析后的所述目标数据加入分布式消息队列中,根据解析后的所述目标数据创建对应的发布接口,基于所述分布式消息队列,利用所述发布接口对解析后的所述目标数据进行分发。
CN201711408388.9A 2017-12-22 2017-12-22 一种数据接入方法及系统 Active CN107948194B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711408388.9A CN107948194B (zh) 2017-12-22 2017-12-22 一种数据接入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711408388.9A CN107948194B (zh) 2017-12-22 2017-12-22 一种数据接入方法及系统

Publications (2)

Publication Number Publication Date
CN107948194A true CN107948194A (zh) 2018-04-20
CN107948194B CN107948194B (zh) 2020-06-30

Family

ID=61939719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711408388.9A Active CN107948194B (zh) 2017-12-22 2017-12-22 一种数据接入方法及系统

Country Status (1)

Country Link
CN (1) CN107948194B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547240A (zh) * 2018-11-14 2019-03-29 重庆忽米网络科技有限公司 基于边缘计算的智能设备以及接入与设备的解析方法
CN109814501A (zh) * 2018-12-29 2019-05-28 北京农业信息技术研究中心 一种现场检测设备灵活接入的信息采集系统及方法
CN110417760A (zh) * 2019-07-16 2019-11-05 工业互联网创新中心(上海)有限公司 工业互联网中边缘层的互操作方法及中间件
CN110417734A (zh) * 2019-06-24 2019-11-05 广州迈峰网络科技有限公司 远程设备数据采集方法、装置和系统
CN110505292A (zh) * 2019-08-13 2019-11-26 珠海格力电器股份有限公司 数据传输控制方法、装置及设备
CN112148782A (zh) * 2020-09-24 2020-12-29 建信金融科技有限责任公司 市场数据接入方法及装置
CN112235326A (zh) * 2020-12-15 2021-01-15 长沙树根互联技术有限公司 物联网设备数据的解析方法、装置和电子设备
CN112328675A (zh) * 2020-11-25 2021-02-05 上海市计算技术研究所 异构数据转换方法、装置、设备及存储介质
CN113626489A (zh) * 2021-08-10 2021-11-09 深圳市玄羽科技有限公司 传感器数据的搜索方法、系统及计算机介质
CN114785764A (zh) * 2022-05-05 2022-07-22 字春燕 一种基于大数据的请求传输系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770442A (zh) * 2008-12-30 2010-07-07 易视芯科技(北京)有限公司 具有多个外设接口的数据交互系统和方法
EP2533494A1 (en) * 2011-06-08 2012-12-12 Hill-Rom Services, Inc. System and method of bed data aggregation, normalization and communication to third parties
CN104135533A (zh) * 2014-08-13 2014-11-05 北京金鸿泰科技有限公司 一种工业数据传输的系统和方法
CN104253840A (zh) * 2013-06-28 2014-12-31 中国银联股份有限公司 用于支持多种类型安全载体之间通信的装置及其通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101770442A (zh) * 2008-12-30 2010-07-07 易视芯科技(北京)有限公司 具有多个外设接口的数据交互系统和方法
EP2533494A1 (en) * 2011-06-08 2012-12-12 Hill-Rom Services, Inc. System and method of bed data aggregation, normalization and communication to third parties
CN104253840A (zh) * 2013-06-28 2014-12-31 中国银联股份有限公司 用于支持多种类型安全载体之间通信的装置及其通信方法
CN104135533A (zh) * 2014-08-13 2014-11-05 北京金鸿泰科技有限公司 一种工业数据传输的系统和方法

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547240B (zh) * 2018-11-14 2022-01-25 重庆忽米网络科技有限公司 基于边缘计算的智能设备以及接入与设备的解析方法
CN109547240A (zh) * 2018-11-14 2019-03-29 重庆忽米网络科技有限公司 基于边缘计算的智能设备以及接入与设备的解析方法
CN109814501A (zh) * 2018-12-29 2019-05-28 北京农业信息技术研究中心 一种现场检测设备灵活接入的信息采集系统及方法
CN110417734A (zh) * 2019-06-24 2019-11-05 广州迈峰网络科技有限公司 远程设备数据采集方法、装置和系统
CN110417760A (zh) * 2019-07-16 2019-11-05 工业互联网创新中心(上海)有限公司 工业互联网中边缘层的互操作方法及中间件
CN110417760B (zh) * 2019-07-16 2022-12-13 工业互联网创新中心(上海)有限公司 工业互联网中边缘层的互操作方法及中间件
CN110505292A (zh) * 2019-08-13 2019-11-26 珠海格力电器股份有限公司 数据传输控制方法、装置及设备
CN112148782A (zh) * 2020-09-24 2020-12-29 建信金融科技有限责任公司 市场数据接入方法及装置
CN112148782B (zh) * 2020-09-24 2023-01-20 建信金融科技有限责任公司 市场数据接入方法及装置
CN112328675A (zh) * 2020-11-25 2021-02-05 上海市计算技术研究所 异构数据转换方法、装置、设备及存储介质
CN112235326A (zh) * 2020-12-15 2021-01-15 长沙树根互联技术有限公司 物联网设备数据的解析方法、装置和电子设备
CN112235326B (zh) * 2020-12-15 2021-03-16 长沙树根互联技术有限公司 物联网设备数据的解析方法、装置和电子设备
CN113626489A (zh) * 2021-08-10 2021-11-09 深圳市玄羽科技有限公司 传感器数据的搜索方法、系统及计算机介质
CN114785764A (zh) * 2022-05-05 2022-07-22 字春燕 一种基于大数据的请求传输系统及方法
CN114785764B (zh) * 2022-05-05 2023-07-21 西安禧九网络科技有限公司 一种基于大数据的请求传输系统及方法

Also Published As

Publication number Publication date
CN107948194B (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
CN107948194A (zh) 一种数据接入方法及系统
Chen et al. Exploiting massive D2D collaboration for energy-efficient mobile edge computing
Ndiaye et al. Software defined networking for improved wireless sensor network management: A survey
Fernandes et al. A framework for wireless sensor networks management for precision viticulture and agriculture based on IEEE 1451 standard
CN104598425B (zh) 一种通用多机并行计算方法及系统
CN108769121A (zh) 智能工业装备物联网数据采集系统及采集数据的上传方法
Li et al. The greenhouse environment monitoring system based on wireless sensor network technology
CN104052759A (zh) 一种物联网即加即用技术的实现系统
CN103906044A (zh) 无线用电信息采集自组网的组网方法
Silva et al. Web based water quality monitoring with sensor network: Employing ZigBee and WiMax technologies
WO2014055486A1 (en) System and method for support of one-way endpoints in two-way wireless networks
CN103297256B (zh) 一种物联网感知层节点的管理方法及系统
CN103795575B (zh) 一种面向多数据中心的系统监控方法
CN106953923A (zh) 一种工业物联网智能系统
CN102647294A (zh) 一种远端串口监控系统
Mohamed et al. Service-oriented middleware approaches for wireless sensor networks
CN110099102A (zh) 物联网端到端网络质量监控方法、系统及存储介质
CN108401004A (zh) 一种农业物联网智能网关设计方法
CN101848240A (zh) 西瓜育苗环境参数监测系统及方法
Khan Introduction to IoT systems
CN117751567A (zh) 公用设施通信网络的动态处理分发
CN110213089A (zh) 一种大规模远端零配置设备接入网管的方法及系统
CN108234674A (zh) 智能蔬菜家电物联网系统
CN202871059U (zh) 基于Zigbee技术的远程抄表系统
CN102651863B (zh) 6LoWPAN无线传感器网络系统的实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant