CN115883648A - 一种数据集成方法、装置、设备及存储介质 - Google Patents
一种数据集成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115883648A CN115883648A CN202110910254.7A CN202110910254A CN115883648A CN 115883648 A CN115883648 A CN 115883648A CN 202110910254 A CN202110910254 A CN 202110910254A CN 115883648 A CN115883648 A CN 115883648A
- Authority
- CN
- China
- Prior art keywords
- identification information
- internet
- target
- things platform
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010354 integration Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013506 data mapping Methods 0.000 claims abstract description 18
- 238000013507 mapping Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请实施例公开了一种数据集成方法、装置、设备及存储介质,该方法包括:获取源物联网平台的目标设备的第一标识信息;根据第一标识信息确定目标设备在目标物联网平台对应的第二标识信息;获取目标设备的设备数据;根据数据映射规则,将设备数据的数据格式转换成目标物联网平台规定的数据格式;将第二标识信息和转换后设备数据存储至目标物联网平台。如此,通过将源物联网平台中目标设备的第一标识信息和数据转化为其在目标物联网平台中的对应的第二标识信息和数据格式,当目标设备在不同物联网平台中表示方式及数据格式不同时,实现目标设备的信息在各个物联网平台之间的共享,进而实现不同物联网平台之间的合作。
Description
技术领域
本发明涉及数据集成技术领域,尤其涉及一种数据集成方法、装置、设备及存储介质。
背景技术
物联网是新一代信息技术的重要组成部分。设备接入是物联网平台的基本功能,设备通过各种物联网协议与物联网平台连接,上报并存储传感器数据。一些小型的物联网平台在建设初期只需要简单的设备接入功能,随着业务的发展,这些小型的物联网平台逐渐有了其他需求。由于扩展平台的功能需要大量的研发工作,因而不少平台会选择与其他平台合作。由于不同平台中产品或设备的表示方式可能不同,为不同平台间的数据同步带来了问题。
发明内容
为解决上述技术问题,本申请实施例期望提供一种数据集成方法、装置、设备及存储介质。
本申请的技术方案是这样实现的:
第一方面,提供了一种数据集成方法,方法包括:
获取源物联网平台的目标设备的第一标识信息;
根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息;
获取所述目标设备的设备数据;
根据所述源物联网平台和所述目标物联网平台之间的数据映射规则,将所述设备数据的数据格式转换成所述目标物联网平台规定的数据格式,得到转换后设备数据;
将所述目标设备的第二标识信息和所述转换后设备数据存储至所述目标物联网平台。
上述方案中,所述根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息,包括:
基于所述第一标识信息和预设映射关系,查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息;若存在所述第二标识信息,获取所述第二标识信息;若不存在所述第二标识信息,则在所述目标物联网平台中创建所述第二标识信息;其中,所述映射关系为所述源物联网平台和所述目标物联网平台设备之间的映射关系。
上述方案中,所述第一标识信息包括第一产品关键字和第一设备关键字;所述第二标识信息包括第二产品关键字和第二设备关键字;所述查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息,包括:
基于所述第一产品关键字和第一映射关系,查询所述目标物联网平台是否存在所述第一产品关键字对应的第二产品关键字;基于所述第一设备关键字和第二映射关系,查询所述目标物联网平台是否存在所述第一设备关键字对应的第二设备关键字;所述目标物联网同时存在所述第二产品关键字和所述第二设备关键字,确定存在所述第二标识信息;否则,确定不存在所述第二标识信息。
上述方案中,所述查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息,包括:
从全局缓存中查询是否存在所述第一标识信息对应的第二标识信息;若不存在,则通过所述目标物联网平台提供的查询接口查询是否存在所述第一标识信息对应的第二标识信息。
上述方案中,所述方法还包括:通过所述源物联网平台的第一接口获取所述目标设备的设备信息;其中,所述设备信息包括所述第一标识信息和所述设备数据;将所述设备信息存储于全局缓存;所述获取源物联网平台的目标设备的第一标识信息,包括:从所述全局缓存中获取所述第一标识信息。
上述方案中,所述通过所述源物联网平台的第一接口获取所述目标设备的设备信息,包括:
从所述全局缓存中检查是否存在所述源物联网平台的Token;确定存在所述源物联网平台的Token,通过所述第一接口获取所述设备信息。
上述方案中,所述方法还包括:确定不存在所述源物联网平台的Token,通过所述源物联网平台的第二接口获取所述源物联网平台的Token;将所述源物联网平台的Token存储于所述全局缓存。
上述方案中,所述方法还包括:配置启动数据集成任务的时间周期,配置所述数据映射规则,配置所述映射关系。
第二方面,提供了一种数据集成装置,其特征在于,所述装置包括:
获取模块,用于获取源物联网平台的目标设备的第一标识信息;
处理模块,用于根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息;
所述获取模块,还用于获取所述目标设备的设备数据;
所述处理模块,还用于根据所述源物联网平台和所述目标物联网平台之间的数据映射规则,将所述设备数据的数据格式转换成所述目标物联网平台规定的数据格式,得到转换后设备数据;
所述处理模块,还用于将所述目标设备的第二标识信息和所述转换后设备数据存储至所述目标物联网平台。
第三方面,提供了一种数据集成设备,所述设备包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器配置为运行所述计算机程序时,执行前述任一项所述方法的步骤。
第四方面,提供了一种计算机存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现前述方法的步骤。
本申请公开了一种数据集成方法,该方法包括:获取源物联网平台的目标设备的第一标识信息;根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息;获取所述目标设备的设备数据;根据所述源物联网平台和所述目标物联网平台之间的数据映射规则,将所述设备数据的数据格式转换成所述目标物联网平台规定的数据格式,得到转换后设备数据;将所述目标设备的第二标识信息和所述转换后设备数据存储至所述目标物联网平台。如此,通过将源物联网平台中目标设备的第一标识信息和数据转化为其在目标物联网平台中的对应的第二标识信息和数据格式,当目标设备在不同物联网平台中表示方式及数据格式不同时,实现目标设备的信息在各个物联网平台之间的共享,进而实现不同物联网平台之间的合作。
附图说明
图1为本申请实施例中数据集成方法的第一流程示意图;
图2为本申请实施例中数据集成方法的第二流程示意图;
图3为本申请实施例中获取第二标识信息的流程示意图;
图4为本申请实施例中数据集成方法的第三流程示意图;
图5为本申请实施例中数据集成方法的第四流程示意图;
图6为本申请实施例中数据集成装置的组成结构示意图;
图7为本申请实施例中数据集成设备的组成结构示意图。
具体实施方式
为了能够更加详尽地了解本申请实施例的特点与技术内容,下面结合附图对本申请实施例的实现进行详细阐述,所附附图仅供参考说明之用,并非用来限定本申请实施例。
图1为本申请实施例中数据集成方法的第一流程示意图,如图1所示,数据集成方法具体可以包括:
步骤101:获取源物联网平台的目标设备的第一标识信息。
这里,第一标识信息为目标设备在源物联网平台中对应的标识信息,用于在源物联网平台中唯一表征该目标设备。
示例性的,在一些实施例中,第一标识信息包括第一产品关键字和第一设备关键字。其中,一个物联网平台下包含多个产品,一个产品下包括多个设备。第一产品关键字和第一设备关键字结合,唯一表征该目标设备。
示例性的,在一些实施例中,该方法还包括:通过源物联网平台的第一接口获取目标设备的设备信息。示例性的,该第一接口为源物联网平台提供的获取设备信息的API(应用程序编程接口)。
示例性的,在一些实施例中,获取设备信息的API设置了Token功能,以此来增加了物联网平台中数据的安全性。在通过源物联网平台的第一接口获取目标设备的设备信息时,需要验证Token。因此,在一些实施例中,该数据集成方法还包括:获取Token信息。
步骤102:根据第一标识信息确定目标设备在目标物联网平台对应的第二标识信息。
这里,第二标识信息为目标设备在源物联网平台中对应的标识信息,用于在目标物联网平台中唯一表征该目标设备。
示例性的,在一些实施例中,第二标识信息包括第二产品关键字和第二设备关键字。其中,一个物联网平台下包含多个产品,一个产品下包括多个设备。第一产品关键字和第一设备关键字结合,唯一表征该目标设备。
步骤103:获取目标设备的设备数据。
这里,目标设备的设备数据为目标设备的相关数据。示例性的,该设备数据可以为目标设备的所有设备信息中除了标识信息的数据。
步骤104:根据源物联网平台和目标物联网平台之间的数据映射规则,将设备数据的数据格式转换成目标物联网平台规定的数据格式,得到转换后设备数据。
这里,通过根据源物联网平台和目标物联网平台之间的数据映射规则,将目标设备的设备数据的数据格式转换成目标物联网平台规定的数据格式,可以实现不同数据格式的物联网平台之间的数据转换,进而实现不同物联网平台之间数据共享及数据集成。
步骤105:将目标设备的第二标识信息和转换后设备数据存储至目标物联网平台。
这里,将目标设备的第二标识信息和转换后设备数据存储至目标物联网平台,可以实现将源物联网平台的接入设备的设备数据集成到目标物联网平台,实现不同物联网平台之间设备数据的共享及集成。
示例性的,在一些实施例中,获取源物联网平台的目标设备的第一标识信息之前,该方法还包括:启动数据集成任务。
示例性的,在一些实施例中,该方法还包括:配置启动数据集成任务的时间周期,配置数据映射规则,配置映射关系。
这里,步骤101至步骤105的执行主体可以为数据集成设备的处理器。
本申请的技术方案,通过将源物联网平台中目标设备的第一标识信息和数据转化为其在目标物联网平台中的对应的第二标识信息和数据格式,当目标设备在不同物联网平台中表示方式及数据格式不同时,实现目标设备的信息在各个物联网平台之间的共享,进而实现不同物联网平台之间的合作。
为了能更加体现本申请的目的,在本申请上实施例的基础上,进行进一步的举例说明,图2为本申请实施例中数据集成方法的第二流程示意图。如图2所示,数据集成方法具体包括:
步骤201:启动数据集成任务。
这里,数据集成任务用于将源物联网平台的目标设备的设备信息集成到目标物联网平台。源物联网平台与目标物联网平台为两个不同的物联网平台,目标设备为源物联网平台的接入设备。
示例性的,在一些实施例中,该数据集成方法还包括:配置启动数据集成任务的时间周期。
步骤202:获取源物联网平台的目标设备的第一标识信息。
这里,第一标识信息为目标设备在源物联网平台中对应的标识信息,用于在源物联网平台中唯一表征该目标设备。
示例性的,在一些实施例中,第一标识信息包括第一产品关键字和第一设备关键字。其中,一个物联网平台下包含多个产品,一个产品下包括多个设备。第一产品关键字和第一设备关键字结合,唯一表征该目标设备。
示例性的,在一些实施例中,该方法还包括:通过源物联网平台的第一接口获取目标设备的设备信息;其中,设备信息包括第一标识信息和设备数据;将设备信息存储于全局缓存。获取源物联网平台的目标设备的第一标识信息,包括:从全局缓存中获取第一标识信息。从全局缓存中获取第一标识信息,包括:从全局缓存中检查是否存在源物联网平台的Token;确定存在源物联网平台的Token,通过第一接口获取目标设备的设备信息;其中,所述设备信息包括第一标识信息和设备数据。
示例性的,在一些实施例中,该方法还包括:确定不存在源物联网平台的Token,通过源物联网平台的第二接口获取源物联网平台的Token;将源物联网平台的Token存储于全局缓存。通过进行Token的获取和存储,使得该数据集成方法可以支持通过Token鉴权的数据采集API。
步骤203:基于第一标识信息和预设映射关系,查询目标物联网平台是否存在第一标识信息对应的第二标识信息。若存在,执行步骤205;若不存在,执行步骤204。
这里,映射关系为源物联网平台和目标物联网平台设备之间的映射关系。即一个设备在源物联网平台所唯一对应的标识与在目标物联网平台唯一对应的标识之间的关系。
示例性的,在一些实施例中,第一标识信息包括第一产品关键字和第一设备关键字;第二标识信息包括第二产品关键字和第二设备关键字。查询目标物联网平台是否存在第一标识信息对应的第二标识信息,包括:
基于第一产品关键字和第一映射关系,查询目标物联网平台是否存在第一产品关键字对应的第二产品关键字;基于第一设备关键字和第二映射关系,查询目标物联网平台是否存在第一设备关键字对应的第二设备关键字;目标物联网同时存在第二产品关键字和第二设备关键字,确定存在第二标识信息;否则,确定不存在第二标识信息。
这里,第一映射关系为目标设备在源物联网平台对应的第一产品关键字与目标设备在目标物联网平台对应的第二产品关键字之间的一一对应关系;第二映射关系为目标设备在源物联网平台对应的第一设备关键字与目标设备在目标物联网平台对应的第二设备关键字之间的一一对应关系。
当物联网平台下存在多个产品,一个产品下包含多个设备时,可以由上述技术方案来确定目标物联网平台是否存在第一标识信息对应的第二标识信息。为后续第二标识信息的获取和创建提供基础。需要说明的是,不存在第二标识信息可以是存在第二产品关键字不存在第二设备关键字,也可以是不存在第二关键字和第二设备关键字。
示例性的,在一些实施例中,查询目标物联网平台是否存在第一标识信息对应的第二标识信息,包括:从全局缓存中查询是否存在第一标识信息对应的第二标识信息;若不存在,则通过目标物联网平台提供的查询接口查询是否存在第一标识信息对应的第二标识信息。
通过先从任务的全局缓存中查询是否存在第二标识信息,再通过第二目标物联网平台提供的查询接口查询,可以有效减少目标物联网平台提供的查询接口的调用,提高数据集成的速度。
示例性的,在一些实施例中,目标物联网平台提供的查询接口包括产品查询接口和设备查询接口;其中,产品查询接口用于查询第二产品关键字,设备查询接口用于查询第二设备关键字。
步骤204:在目标物联网平台中创建第二标识信息。
示例性的,在一些实施例中,在目标物联网平台中创建第二标识信息之后,方法还包括:将第二标识信息存储至数据集成任务的全局缓存中。
示例性的,在一些实施例中,在目标物联网平台中创建第二标识信息之后,方法还包括:更新映射关系。
示例性的,在一些实施例中,第二标识信息包括:第二产品关键字和第二设备关键字;在目标物联网平台中创建第二标识信息包括:若不存在第二产品关键字,则在目标物联网平台中创建第二产品关键字和第二设备关键字;若存在第二产品关键字且不存在第二设备关键字,则在目标物联网平台中创建第二设备关键字。
示例性的,在一些实施例中,第一标识信息包括第一标识信息包括第一产品关键字和第一设备关键字;第二标识信息包括第二产品关键字和第二设备关键字。示例性的,可以通过以下步骤211-215获取第二标识信息。图3为本申请实施例中获取第二标识信息的流程示意图,具体的:
步骤211:获取源物联网平台的目标设备的第一产品关键字和第一设备关键字。
步骤212:基于第一产品关键字和第一映射关系,查询目标物联网平台是否存在第一产品关键字对应的第二产品关键字;若存在,执行步骤213;若不存在,执行步骤214。
步骤213:基于第一设备关键字和第二映射关系,查询目标物联网平台是否存在第一设备关键字对应的第二设备关键字;若存在,则执行步骤216;若不存在执行步骤215。
步骤214:在目标物联网平台中创建第二产品关键字。
步骤215:在目标物联网平台中创建第二设备关键字。
步骤216:得到第二标识信息。
通过先查询目标物联网平台是否存在第一产品关键字对应的第二产品关键字,再查询目标物联网平台是否存在第一设备关键字对应的第二设备关键字,可以在不存在第二产品关键字时之间进行第二产品关键字和第二设备关键字的创建,而无需再进行第二设备关键字的查询,可以有效提升数据集成速度。
步骤205:获取目标设备的设备数据。
这里,目标设备的设备数据为目标设备的相关数据。示例性的,该设备数据可以为目标设备的所有设备信息中除了标识信息的数据。
步骤206:根据源物联网平台和目标物联网平台之间的数据映射规则,将设备数据的数据格式转换成目标物联网平台规定的数据格式,得到转换后设备数据。
步骤207:将目标设备的第二标识信息和转换后设备数据存储至目标物联网平台。
这里,步骤201至步骤207及步骤211至步骤216的执行主体可以为数据集成设备的处理器。
本申请的技术方案,在进行目标设备的数据集成时,通过当在目标物联网平台不存在目标设备对应的第二标识信息时,系统可以自动在目标物联网平台进行创建第二标识信息,使得在目标物联网没有目标设备的相关信息时,无须提前手动创建目标设备在目标物联网平台的相关信息,进而实现不同物联网平台之间数据集成的自动化;当目标设备在不同物联网平台中表示方式及数据格式不同时,实现目标设备的设备信息在各个物联网平台之间的共享,进而实现不同物联网平台之间的合作。
为了能更加体现本申请的目的,在本申请上述实施例的基础上,进行进一步的举例说明,图4为本申请实施例中数据集成方法的第三流程示意图,如图4所示,数据集成方法具体包括:
步骤301:启动数据集成任务;
步骤302:从全局缓存中检查是否存在源物联网平台的Token;若是,则执行步骤304;若否,则执行步骤303;
步骤303:通过源物联网平台的第二接口获取源物联网平台的Token并将Token存储于全局缓存;
这里,源物联网平台的第二接口为获取Token的API。示例性的,将源物联网平台的Token存储于全局缓存可以是将Token存储于全局缓存的全局变量中。示例性的,将源物联网平台的Token存储于全局缓存之后,方法还包括:设置Token的过期时间。
通过进行Token的获取和存储,使得该数据集成方法可以支持通过Token鉴权的数据采集API。
步骤304:通过源物联网平台的第一接口获取设备信息;
其中,设备信息包括第一标识信息和设备数据。
这里,源物联网平台的第一接口可以为获取设备信息的API。通过获取设备信息的API获取目标设备的设备信息,可以在无需访问源码,或理解源物联网平台内部工作机制细节的基础上访问源物联网平台中目标设备的设备信息。通过将获取到的设备信息存储到全局缓存中,可以在后续需要使用该信息时直接在全局缓存中进行调用,为后续根据该第一标识信息和设备数据的使用提供信息基础。
步骤305:将设备信息存储于全局缓存并从全局缓存中获取第一标识信息;
步骤306:根据第一标识信息确定目标设备在目标物联网平台对应的第二标识信息;
步骤307:获取目标设备的设备数据;
步骤308:根据源物联网平台和目标物联网平台之间的数据映射规则,将设备数据的数据格式转换成目标物联网平台规定的数据格式,得到转换后设备数据。
步骤309:将目标设备的第二标识信息和转换后设备数据存储至目标物联网平台。
这里,步骤301至步骤309的执行主体可以为数据集成设备的处理器。
本申请的技术方案,通过进行Token的获取和存储,使得该数据集成方法可以支持通过Token鉴权的数据采集API;通过将源物联网平台中目标设备的第一标识信息和数据转化为其在目标物联网平台中的对应的第二标识信息和数据格式,当目标设备在不同物联网平台中表示方式及数据格式不同时,实现目标设备的信息在各个物联网平台之间的共享,进而实现不同物联网平台之间的合作。
为了能更加体现本申请的目的,在本申请上述实施例的基础上,进行进一步的举例说明,图5为本申请实施例中数据集成方法的第四流程示意图,如图5所示,数据集成方法具体包括:
步骤401:开始。
步骤402:启动定时任务。
定时任务通过cron表达式来配置,可以周期性执行,也可在指定的时间执行。其中,定时任务用于定时启动数据集成任务。
步骤403:检查是否有Token功能。若是,执行步骤404,若否,执行步骤406。
具体的,数据集成任务被调度后,检查获取设备信息的API是否配置了Token的功能。
步骤404:缓存中是否存在Token。若是,则转到步骤406,若否,则转到步骤405。
具体的,从数据集成任务的全局缓存中检查Token是否存在。
步骤405:调用获取Token的API获取Token,将Token存于全局缓存中。
具体的,如果有过期时间还需要设置Token的过期时间。
步骤406:调用获取设备信息的API获取设备信息。
步骤407:从获取的设备信息中获取第一产品关键字。
步骤408:全局缓存中是否有第一产品关键字对应的第二产品关键字;若是,执行步骤412;若否,则执行步骤409。
具体的,利用获取的第一产品关键字,从全局缓存中查询是否有对应的第二产品关键字。
步骤409:利用第一产品关键字调用查询产品关键字的接口获取第二产品关键字。
具体的,利用第一产品关键字和目标物联网平台提供的查询产品关键字的接口获取第二产品关键字。
步骤410:是否获取成功;若是,执行步骤412;若否,执行步骤411。
具体的,如果获取成功则缓存到数据集成任务的全局缓存中,并执行412。
步骤411,利用第一产品关键字调用创建产品接口创建第二产品关键字并缓存。
具体的,利用第一产品关键字和目标物联网平台提供的创建产品的接口创建第二产品关键字,并将创建的第二产品关键字缓存到任务的全局缓存中。同时,将第二产品关键字存放到上下文变量$ctx.product中。
步骤412:从设备信息中获取第一设备关键字。
步骤413:全局缓存中是否有第一设备关键字对应的第二设备关键字;若是则转到步骤417;若否,执行步骤414。
具体的,利用获取的第一设备关键字,从全局缓存中查询是否有对应的第二设备关键字。
步骤414:利用第一设备关键字调用查询设备关键字的接口获取第二设备关键字。
具体的,利用第一设备关键字和目标物联网平台提供的查询设备关键字的接口获取第二设备关键字。
步骤415:是否获取成功;若是,执行步骤417;若否,执行步骤416。
具体的,如果获取成功则缓存到数据集成任务的全局缓存中,并执行417。
步骤416,利用第一设备关键字调用创建设备接口创建第二设备关键字并缓存。
具体的,利用第一设备关键字和目标物联网平台提供的创建设备的接口创建第二设备关键字,并将创建的第二设备关键字缓存到任务的全局缓存中。同时,将第二设备关键字存放到上下文变量中$ctx.device中。
步骤417:根据数据映射规则做设备数据的转换。
具体的,根据配置的数据映射规则,将采集的设备信息中的设备数据转换成目标物联网平台所规定的数据格式,存放于上下文变量$ctx.payload中。
步骤418:调用上传数据接口上传数据。
具体的,集成服务利用上下文变量中的转换后的第二产品关键字、第二设备关键字和转换后设备数据,调用目标物联网平台提供的数据上传API,进行数据上传,完成设备数据集成工作。
步骤419:结束。
示例性的,在一些实施例中,上述数据集成任务启动之前,数据集成方法还包括:进行数据集成任务的配置。其中,数据集成任务的配置包括:
配置501:配置数据集成的周期,即每隔多久进行一次数据集成,采用cron表达式。
配置502:配置获取Token的API信息,包括API地址,Token在返回的数据中的变量名(不同的系统可能有不同的命名规则)以及过期时间等。集成服务会自动将此信息存储到Redis(远程字典服务)中,同时设置过期时间。后续的步骤可以通过全局变量$global.token来访问此变量。此配置502可选,如果源物联网平台查询设备信息不需要Token或者可以用固定的鉴权信息则可以不配置。
配置503:配置获取设备信息的API信息,包括配置API地址、配置参数等。其中,参数可以配置成常量,也可以配置为变量。变量分为全局变量和上下文变量,分别用$global和$ctx来引用。如果需要用到Token信息,则可以通过变量$global.token来引用。全局变量用于存储Token等信息,这些信息在后续任务被再次调度的时候依然有效。上下文变量用于存储获取设备信息的API所返回的设备信息等,用户需要指定上下文变量中的哪个字段为第一产品关键字和第一设备关键字。系统在调用获取设备信息的API后,会根据用户所指定的第一产品关键字,从当前的全局缓存中查询此第一关键字是否有对应的第二产品关键字,如果没有则调用目标物联网平台提供的查询产品的API查询对应的第二产品关键字,查到则缓存到全局变量中,未查到则调用创建产品的API创建第二产品关键字。同时,系统也会调用目标物联网平台查询设备的API查询对应的第二设备关键字,查到则缓存到全局变量中,未查到则调用创建设备的API创建第二设备关键字。查询到的或者通过创建接口创建的第二产品关键字和第二设备关键字会追加到上下文变量中的product和device字段中,后续可通过$ctx.product和$ctx.device来引用。
配置504:根据目标物联网平台的数据格式配置数据映射规则,规则用于将采集到的设备数据转换为目标物联网平台所规则的数据格式。
这里,步骤401至步骤419及配置501至配置504的执行主体可以为数据集成设备的处理器。
本申请的技术方案,可以通过物联网平台提供的API进行数据集成,无须直接访问数据库,更加安全;通过提供Token获取及缓存方案,能满足物联网平台比较常见的Token鉴权方式;通过提供物联网平台产品和设备的自动映射解决方案,当源物联网平台上有新增产品或设备时,自动在目标物联网平台上创建,无须手动干预,简单方便;可以实现将源物联网平台的接入设备的设备信息集成到目标物联网平台,实现不同物联网平台之间设备信息的共享及集成,进而实现不同物联网平台之间的合作。
为实现本申请实施例的方法,本申请实施例还提供了一种数据集成装置60,如图6所示,该装置包括:
获取模块601,用于获取源物联网平台的目标设备的第一标识信息;
处理模块602,用于根据第一标识信息确定目标设备在目标物联网平台对应的第二标识信息;
获取模块601,还用于获取目标设备的设备数据;
处理模块602,还用于根据源物联网平台和目标物联网平台之间的数据映射规则,将设备数据的数据格式转换成目标物联网平台规定的数据格式,得到转换后设备数据;
处理模块602,还用于将目标设备的第二标识信息和转换后设备数据存储至目标物联网平台。
本申请的技术方案,通过将源物联网平台中目标设备的第一标识信息和设备数据转换成目标物联网平台对应的第二标识信息和转换后设备数据并存储至目标物联网平台,以实现将源物联网平台的接入设备的设备信息集成到目标物联网平台,实现不同物联网平台之间设备信息的共享及集成,进而实现不同物联网平台之间的合作。
在一些实施例中,处理模块602,用于基于第一标识信息和预设映射关系,查询目标物联网平台是否存在第一标识信息对应的第二标识信息;若存在第二标识信息,获取第二标识信息;若不存在第二标识信息,则在目标物联网平台中创建第二标识信息;其中,映射关系为源物联网平台和目标物联网平台设备之间的映射关系。
在一些实施例中,第一标识信息包括第一产品关键字和第一设备关键字;第二标识信息包括第二产品关键字和第二设备关键字;处理模块602,用于基于第一产品关键字和第一映射关系,查询目标物联网平台是否存在第一产品关键字对应的第二产品关键字;基于第一设备关键字和第二映射关系,查询目标物联网平台是否存在第一设备关键字对应的第二设备关键字;目标物联网同时存在第二产品关键字和第二设备关键字,确定存在第二标识信息;否则,确定不存在第二标识信息。
在一些实施例中,处理模块602,用于从全局缓存中查询是否存在第一标识信息对应的第二标识信息;若不存在,则通过目标物联网平台提供的查询接口查询是否存在第一标识信息对应的第二标识信息。
在一些实施例中,获取模块601,还用于通过源物联网平台的第一接口获取目标设备的设备信息;其中,设备信息包括第一标识信息和设备数据;将设备信息存储于全局缓存。获取模块602,用于从全局缓存中获取第一标识信息。
在一些实施例中,获取模块601,用于从全局缓存中检查是否存在源物联网平台的Token;确定存在源物联网平台的Token,通过第一接口获取目标设备的设备信息。
在一些实施例中,获取模块601,还用于确定不存在源物联网平台的Token,通过源物联网平台的第二接口获取源物联网平台的Token;将源物联网平台的Token存储于全局缓存。
在一些实施例中,处理模块602,还用于配置启动数据集成任务的时间周期,配置数据映射规则,配置映射关系。
基于上述数据集成中各单元的硬件实现,本申请实施例还提供了一种数据集成设备70,如图7所示,该数据集成设备包括:处理器701和配置为存储能够在处理器上运行的计算机程序的存储器702;其中,处理器701配置为运行计算机程序时,执行前述实施例中的方法步骤。
当然,实际应用时,如图7所示,该数据集成设备中的各个组件通过总线系统703耦合在一起。可理解,总线系统703用于实现这些组件之间的连接通信。总线系统703除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图7中将各种总线都标为总线系统703。
在实际应用中,上述处理器可以为特定用途集成电路(ASIC,ApplicationSpecific Integrated Circuit)、数字信号处理装置(DSPD,Digital Signal ProcessingDevice)、可编程逻辑装置(PLD,Programmable Logic Device)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的设备,用于实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述存储器可以是易失性存储器(volatile memory),例如随机存取存储器(RAM,Random-Access Memory);或者非易失性存储器(non-volatile memory),例如只读存储器(ROM,Read-Only Memory),快闪存储器(flash memory),硬盘(HDD,Hard Disk Drive)或固态硬盘(SSD,Solid-State Drive);或者上述种类的存储器的组合,并向处理器提供指令和数据。
在示例性实施例中,本申请实施例还提供了一种计算机可读存储介质,例如包括计算机程序的存储器,计算机程序可由数据集成设备的处理器执行,以完成前述方法的步骤。
应当理解,在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本申请中表述“具有”、“可以具有”、“包括”和“包含”、或者“可以包括”和“可以包含”在本文中可以用于指示存在对应的特征(例如,诸如数值、功能、操作或组件等元素),但不排除附加特征的存在。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开,不必用于描述特定的顺序或先后次序。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。
本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法、装置和设备,可以通过其它的方式实现。以上所描述的实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (11)
1.一种数据集成方法,其特征在于,所述方法包括:
获取源物联网平台的目标设备的第一标识信息;
根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息;
获取所述目标设备的设备数据;
根据所述源物联网平台和所述目标物联网平台之间的数据映射规则,将所述设备数据的数据格式转换成所述目标物联网平台规定的数据格式,得到转换后设备数据;
将所述目标设备的第二标识信息和所述转换后设备数据存储至所述目标物联网平台。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息,包括:
基于所述第一标识信息和预设映射关系,查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息;
若存在所述第二标识信息,获取所述第二标识信息;
若不存在所述第二标识信息,则在所述目标物联网平台中创建所述第二标识信息;
其中,所述映射关系为所述源物联网平台和所述目标物联网平台之间设备的映射关系。
3.根据权利要求2所述的方法,其特征在于,所述第一标识信息包括第一产品关键字和第一设备关键字;所述第二标识信息包括第二产品关键字和第二设备关键字;
所述查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息,包括:
基于所述第一产品关键字和第一映射关系,查询所述目标物联网平台是否存在所述第一产品关键字对应的第二产品关键字;
基于所述第一设备关键字和第二映射关系,查询所述目标物联网平台是否存在所述第一设备关键字对应的第二设备关键字;
所述目标物联网同时存在所述第二产品关键字和所述第二设备关键字,确定存在所述第二标识信息;
否则,确定不存在所述第二标识信息。
4.根据权利要求2所述的方法,其特征在于,所述查询所述目标物联网平台是否存在所述第一标识信息对应的第二标识信息,包括:
从全局缓存中查询是否存在所述第一标识信息对应的第二标识信息;
若不存在,则通过所述目标物联网平台提供的查询接口查询是否存在所述第一标识信息对应的第二标识信息。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
通过所述源物联网平台的第一接口获取所述目标设备的设备信息;其中,所述设备信息包括所述第一标识信息和所述设备数据;
将所述设备信息存储于全局缓存;
所述获取源物联网平台的目标设备的第一标识信息,包括:
从所述全局缓存中获取所述第一标识信息。
6.根据权利要求5所述的方法,其特征在于,所述通过所述源物联网平台的第一接口获取所述目标设备的设备信息,包括:
从所述全局缓存中检查是否存在所述源物联网平台的Token;
确定存在所述源物联网平台的Token,通过所述第一接口获取所述设备信息。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
确定不存在所述源物联网平台的Token,通过所述源物联网平台的第二接口获取所述源物联网平台的Token;
将所述源物联网平台的Token存储于所述全局缓存。
8.根据权利要求2所述的方法,其特征在于,所述方法还包括:配置启动数据集成任务的时间周期,配置所述数据映射规则,配置所述映射关系。
9.一种数据集成装置,其特征在于,所述装置包括:
获取模块,用于获取源物联网平台的目标设备的第一标识信息;
处理模块,用于根据所述第一标识信息确定所述目标设备在目标物联网平台对应的第二标识信息;
所述获取模块,还用于获取所述目标设备的设备数据;
所述处理模块,还用于根据所述源物联网平台和所述目标物联网平台之间的数据映射规则,将所述设备数据的数据格式转换成所述目标物联网平台规定的数据格式,得到转换后设备数据;
所述处理模块,还用于将所述目标设备的第二标识信息和所述转换后设备数据存储至所述目标物联网平台。
10.一种数据集成设备,其特征在于,所述设备包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器配置为运行所述计算机程序时,执行权利要求1-8任一项所述方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1-8任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110910254.7A CN115883648A (zh) | 2021-08-09 | 2021-08-09 | 一种数据集成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110910254.7A CN115883648A (zh) | 2021-08-09 | 2021-08-09 | 一种数据集成方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115883648A true CN115883648A (zh) | 2023-03-31 |
Family
ID=85762151
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110910254.7A Pending CN115883648A (zh) | 2021-08-09 | 2021-08-09 | 一种数据集成方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115883648A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180049008A1 (en) * | 2015-04-23 | 2018-02-15 | Sk Planet Co., Ltd. | Platform device and distributed processing method |
WO2020019987A1 (zh) * | 2018-07-27 | 2020-01-30 | 华为技术有限公司 | 一种物联网中传输eUICC数据的方法、装置 |
CN110955715A (zh) * | 2019-12-03 | 2020-04-03 | 望海康信(北京)科技股份公司 | Erp系统和目标平台的数据转换方法、装置以及电子设备 |
CN111083225A (zh) * | 2019-12-19 | 2020-04-28 | 远景智能国际私人投资有限公司 | 在物联网平台中的数据处理方法、装置及物联网平台 |
WO2021107256A1 (ko) * | 2019-11-26 | 2021-06-03 | 부산대학교 산학협력단 | 이종 사물인터넷 플랫폼 장치 간 상호 연동을 위한 인터페이스 제공 방법 및 이종 사물인터넷 플랫폼 장치 간 상호 연동을 위한 인터페이스 제공 시스템 |
-
2021
- 2021-08-09 CN CN202110910254.7A patent/CN115883648A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180049008A1 (en) * | 2015-04-23 | 2018-02-15 | Sk Planet Co., Ltd. | Platform device and distributed processing method |
WO2020019987A1 (zh) * | 2018-07-27 | 2020-01-30 | 华为技术有限公司 | 一种物联网中传输eUICC数据的方法、装置 |
WO2021107256A1 (ko) * | 2019-11-26 | 2021-06-03 | 부산대학교 산학협력단 | 이종 사물인터넷 플랫폼 장치 간 상호 연동을 위한 인터페이스 제공 방법 및 이종 사물인터넷 플랫폼 장치 간 상호 연동을 위한 인터페이스 제공 시스템 |
CN110955715A (zh) * | 2019-12-03 | 2020-04-03 | 望海康信(北京)科技股份公司 | Erp系统和目标平台的数据转换方法、装置以及电子设备 |
CN111083225A (zh) * | 2019-12-19 | 2020-04-28 | 远景智能国际私人投资有限公司 | 在物联网平台中的数据处理方法、装置及物联网平台 |
Non-Patent Citations (2)
Title |
---|
SUNGMIN CHO: "Size efficient big data sharing among Internet of Things devices", 《2017 IEEE INTERNATIONAL CONFERENCE ON PERVASIVE COMPUTING AND COMMUNICATIONS WORKSHOPS (PERCOM WORKSHOPS)》, 4 May 2017 (2017-05-04) * |
盛俊阳: "物联网设备接入管理平台关键技术研究与实现", 《中国优秀硕士学位论文全文库》, 15 March 2020 (2020-03-15) * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2615057C2 (ru) | Способ и устройство для доступа к web-странице и маршрутизатор | |
CN110427386B (zh) | 数据处理方法、装置及计算机存储介质 | |
CN111309785A (zh) | 基于Spring框架的数据库访问方法、装置、计算机设备和介质 | |
CN105335472A (zh) | 一种更新数据查询引擎配置列表的方法及装置 | |
CN107480260B (zh) | 大数据实时分析方法、装置、计算设备及计算机存储介质 | |
CN114286988A (zh) | 处理数据库系统的数据 | |
CN105389616A (zh) | 一种车载电子产品故障诊断与维修信息的共享方法及系统 | |
CN114490630A (zh) | 一种查询处理方法、数据源注册方法及查询引擎 | |
CN114461955A (zh) | 一种基于web页面配置自动生成http接口的方法 | |
CN108154024B (zh) | 一种数据检索方法、装置及电子设备 | |
CN113407560B (zh) | 更新消息处理方法、数据同步方法、配置信息配置方法 | |
CN107172039B (zh) | 协议键值的获取方法、装置和系统 | |
CN109271193B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN107807976B (zh) | Ip归属地查询方法和装置 | |
CN112052144B (zh) | 信息管理方法、装置、电子设备及存储介质 | |
CN111339720B (zh) | 基于大数据采集的芯片信息生成方法、装置及计算机设备 | |
CN115883648A (zh) | 一种数据集成方法、装置、设备及存储介质 | |
CN113067853A (zh) | 一种数据推送方法、装置、电子设备及存储介质 | |
CN110389966B (zh) | 一种信息处理方法及装置 | |
CN116781719A (zh) | 容器镜像预热方法、电子设备及存储介质 | |
CN114565285A (zh) | 一种流程控制方法及系统 | |
CN111078139B (zh) | 一种实现s3标准对象存储接口的方法及装置 | |
CN113312412A (zh) | 一种统计数据的获取方法、装置、电子设备及存储介质 | |
CN112381518A (zh) | 事件驱动预警方法、装置、设备及存储介质 | |
CN105468758A (zh) | 数据检索方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |