CN114945020A - 一种基于云平台的云边协同数据接入方法以及系统 - Google Patents
一种基于云平台的云边协同数据接入方法以及系统 Download PDFInfo
- Publication number
- CN114945020A CN114945020A CN202210538593.1A CN202210538593A CN114945020A CN 114945020 A CN114945020 A CN 114945020A CN 202210538593 A CN202210538593 A CN 202210538593A CN 114945020 A CN114945020 A CN 114945020A
- Authority
- CN
- China
- Prior art keywords
- data
- cloud platform
- accessed
- ftp server
- cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请提供了一种基于云平台的云边协同数据接入方法以及系统,用于在基于云平台的数据管理服务中,通过FTP服务的简洁、高效的系统处理架构,实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点,从而具有显著提高的实用性。方法应用于基于云平台的云边协同数据接入系统,系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台,方法包括:节点设备从数据采集对象处采集数据,作为待接入数据;节点设备将待接入数据上传至FTP服务器;FTP服务器将待接入数据上传至云平台的指定目录;节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息;云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入。
Description
技术领域
本申请涉及数据管理领域,具体涉及一种基于云平台的云边协同数据接入方法以及系统。
背景技术
在公司内部,用户可以通过云平台来提供相关数据管理服务;或者,也可面向市场,向用户推出基于云平台的数据管理服务的相关产品。
对于用户而言,可以在一个设备上将相关数据上传至云平台,再在另外一个设备上查阅云平台上存储的该数据,相比于以前本地的数据管理,基于云平台的数据管理服务,对本地设备的软硬件条件的要求显著降低,在使用上也具有更为灵活的特点。
而在现有的相关技术的研究过程中,发明人发现,基于云平台的数据管理服务,目前是通过HTTP协议接口的方式进行同步数据的,存在数据量大、同步时间长、容易造成接口不稳定、数据丢失等问题,导致实用性较差。
发明内容
本申请提供了一种基于云平台的云边协同数据接入方法以及系统,用于在基于云平台的数据管理服务中,通过文件传输协议(FileTransferProtocol,FTP)服务的简洁、高效的系统处理架构,实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点,从而具有显著提高的实用性。
第一方面,本申请提供了一种基于云平台的云边协同数据接入方法,方法应用于基于云平台的云边协同数据接入系统,系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台,方法包括:
节点设备从数据采集对象处采集数据,作为待接入数据;
节点设备将待接入数据上传至FTP服务器;
FTP服务器将待接入数据上传至云平台的指定目录;
节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息;
云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入。
结合本申请第一方面,在本申请第一方面第一种可能的实现方式中,节点设备从数据采集对象处采集数据,作为待接入数据,包括:
节点设备从数据采集对象处采集初始数据;
节点设备对初始数据,按照约定分表字段将数据以表为单位,拆分成多个逗号分隔值(Comma Separated Values,CSV)文件,作为待接入数据,在CSV文件中,第一行为数据字段名,第二行之后为数据内容。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第二种可能的实现方式中,节点设备将待接入数据上传至FTP服务器的过程中,包括:
FTP服务器按照文件存储目录结构要求,生成每一个CSV文件的存储目录,并建立对应的HIVE数据库表,以存储待接入数据。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第三种可能的实现方式中,云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,包括:
云平台在通知消息的指示下,根据FTP服务器为多个CSV文件配置的任务状态段(Task State Segment,TSS)任务调度配置信息,从指定目录中读取多个CSV文件;
云平台解析多个CSV文件,并写入对应的HIVE数据库。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第四种可能的实现方式中,方法还包括:
云平台预先建立HIVE数据库;
云平台在HIVE数据库中按照约定分表字段,建立相应数据库表,供后续的数据进行存储。
结合本申请第一方面第一种可能的实现方式,在本申请第一方面第五种可能的实现方式中,通知消息中具体包括多个CSV文件的路径。
结合本申请第一方面,在本申请第一方面第六种可能的实现方式中,节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息,包括:
节点设备通过云平台预先分配的应用程序接口(Application ProgrammingInterface,API),向云平台上报将待接入数据上传至FTP服务器的通知消息。
结合本申请第一方面,在本申请第一方面第七种可能的实现方式中,节点设备具体为边缘节点设备或者业务系统。
第二方面,本申请提供了一种基于云平台的云边协同数据接入系统,包括处理器和存储器,系统包括多个本地的节点设备、采用FTP的FTP服务器以及云平台,用于执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
第三方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
从以上内容可得出,本申请具有以下的有益效果:
针对在基于云平台的数据管理服务,本申请在用户与云平台之间配置了FTP服务对应的FTP服务器,用户侧的节点设备从数据采集对象处采集数据后,一方面作为待接入数据上传至FTP服务器,由FTP服务器将该待接入数据上传至云平台的指定目录,另一方面节点设备又向云平台上报将待接入数据上传至FTP服务器的通知消息,此时云平台在该通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入,在这过程中,通过FTP服务器在各节点设备进行数据的初步对接,再转由云平台进行数据存储,通过该FTP服务的简洁、高效的系统处理架构,实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点,因其容易操作、实用性强,易于推广,从而具有显著提高的实用性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请基于云平台的云边协同数据接入方法的一种流程示意图;
图2为本申请基于云平台的云边协同数据接入系统的一种系统架构示意图;
图3为本申请基于云平台的云边协同数据接入系统中相关设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号,并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤,已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序,只要能达到相同或者相类似的技术效果即可。
本申请中所出现的模块的划分,是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式,例如多个模块可以结合成或集成在另一个系统中,或一些特征可以忽略,或不执行,另外,所显示的或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,模块之间的间接耦合或通信连接可以是电性或其他类似的形式,本申请中均不作限定。并且,作为分离部件说明的模块或子模块可以是也可以不是物理上的分离,可以是也可以不是物理模块,或者可以分布到多个电路模块中,可以根据实际的需要选择其中的部分或全部模块来实现本申请方案的目的。
在介绍本申请提供的基于云平台的云边协同数据接入方法之前,首先介绍本申请所涉及的背景内容。
本申请提供的基于云平台的云边协同数据接入方法以及计算机可读存储介质,可应用于基于云平台的云边协同数据接入系统,用于在基于云平台的数据管理服务中,通过FTP服务的简洁、高效的系统处理架构,实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点,从而具有显著提高的实用性。
本申请提及的基于云平台的云边协同数据接入方法,其执行主体可以为基于云平台的云边协同数据接入系统,而该系统可以包括多个本地的节点设备、采用FTP的FTP服务器以及云平台,对于节点设备,其具体可以为服务器、物理主机或者用户设备(UserEquipment,UE)等不同类型的硬件设备、边缘节点设备,其中,UE具体可以为智能手机、平板电脑、笔记本电脑、台式电脑或者个人数字助理(Personal Digital Assistant,PDA)等终端设备,FTP服务器或者云平台还可以通过设备集群的方式设置。
下面,开始介绍本申请提供的基于云平台的云边协同数据接入方法。
首先,参阅图1,图1示出了本申请基于云平台的云边协同数据接入方法的一种流程示意图,本申请提供的基于云平台的云边协同数据接入方法,应用于基于云平台的云边协同数据接入系统,而该系统主要包括三个方面,即多个本地的节点设备、采用FTP的FTP服务器以及云平台,对应的,本申请所提供的基于云平台的云边协同数据接入方法,可以包括如下步骤S101至步骤S105:
步骤S101,节点设备从数据采集对象处采集数据,作为待接入数据;
可以理解,本申请涉及到的是基于云平台的数据管理服务的应用场景,对应的,本申请所提供的基于云平台的云边协同数据接入方法,则从数据最开始的采集说起。
节点设备,可以理解为整个系统架构中的底层,主要负责的是最初的数据的采集工作。
节点设备其本申请可以根据数据采集需求配置有对应的传感器,以从数据采集对象处采集相应的数据;或者,节点设备也可通过根据数据采集需求配置有对应的传感器的其他设备,以间接的方式从数据采集对象处采集相应的数据;又或者,除了基于传感器的数据采集方式,节点设备所执行的数据采集工作,也可以直接针对自身或者其他设备在工作过程中产生的相应数据,例如节点设备所处的业务系统中展开业务时产生的业务数据,又例如与节点设备搭建了链接的业务系统中展开业务时产生的业务数据。
从此处可以看到,作为实际应用中的一种具体实现方式,节点设备,其具体可以为边缘节点设备或者业务系统。
而数据采集对象,从上面的内容容易看出,既可能是相关的工作环境,也可能是相关的设备,具体可以随实际需要调整,在此不做具体限定。
当节点设备从数据采集对象采集到数据后,则可将其作为整个系统的待接入数据,可以通过后续的数据处理上报至云平台进行存储。
此外,在节点设备本地,还可以对从数据采集对象采集到的初始数据进行一定的数据加工工作,以便对其实现精简化或者标准化等方面的预处理效果。
示例性的,作为又一种示例性的实现方式,节点设备从数据采集对象处采集数据,作为待接入数据的过程中,可以涉及到以下的处理内容:
节点设备从数据采集对象处采集初始数据;
节点设备对初始数据,按照约定分表字段将数据以表为单位,拆分成多个CSV文件,作为待接入数据,在CSV文件中,第一行为数据字段名,第二行之后为数据内容。
可以看到,节点设备在通过相关的数据提取处理从数据采集对象采集到初始数据后,还可对其进行数据的对齐处理(按照约定分表字段将数据以表为单位)以及拆分处理(拆分成多个CSV文件),如此形成后台系统方便传输、方便识别且方便处理的小单位文件。
步骤S102,节点设备将待接入数据上传至FTP服务器;
而在确定了待接入数据后,节点设备则可通过FTP服务器相应的FTP程序或者客户端,将其上传至系统预先配置的FTP服务器上,由FTP服务器进行该待接入数据的中转处理。
此外,对应上面的CSV文件的处理,在FTP服务器侧,作为又一种适于实用的实现方式,FTP服务器还可按照文件存储目录结构要求,生成每一个CSV文件的存储目录,并建立对应的HIVE数据库表,以存储待接入数据。
可以理解,该处理可以由节点设备在上传待接入数据之前或者之后进行触发,或者也可以由节点设备在上传待接入数据过程中进行触发。
当然,也可以是FTP服务器在确定节点设备要上传待接入数据进行触发,或者在接收节点设备上传的待接入数据的过程中甚至完成接收之后进行触发。
而在该存储目录以及HIVE数据库表的设置下,则可有助于对CSV文件性质的待接入数据实现高效、精确的处理效果。
步骤S103,FTP服务器将待接入数据上传至云平台的指定目录;
在本申请所涉及的数据接入机制中,待接入数据从节点设备上传至FTP服务器后,还可继续进行转发,也就是说,FTP服务器对于众多的节点设备来说,是起到在云平台之前进行统一的数据接收工作,后续的数据接入、数据存储则可由系统后台的FTP服务器与云平台进行对接处理,如此避免现有技术中节点设备直接将数据上传至云平台所带来的数据量大、同步时间长、容易造成接口不稳定、数据丢失等问题。
步骤S104,节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息;
与此同时,待接入数据通过FTP服务器转发至云平台后,还可涉及到数据的精准抓取、精准存储的处理,在该情况下,节点设备则可以通知的形式(通知消息),告知云平台节点设备关于本次待接入数据如数据标识、数据上传时间或者数据存储方式等内容。
步骤S105,云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入。
云平台在收到节点设备关于本次待接入数据的通知消息后,则可根据其消息中指示的如数据标识、数据上传时间或者数据存储方式等内容,精准定位到本地的该待接入数据,并在预设的存储策略下进行相应的数据存储工作,完成系统一次高效率的数据接入工作。
而作为又一种适于实用的实现方式,节点设备所发出的通知消息,其消息中具体可以包括多个CSV文件的路径,也就是说,以路径的标识方式简洁精确地标识出如数据标识、数据上传时间或者数据存储方式等内容,如此云平台可以更为高效地获知相关待接入数据(CSV文件)的去处,更好地完成数据接入工作。
此外,对于通知消息的发送,为便于及时发送以及精确发送,还可以通过预先配置的接口来实现,例如,节点设备具体可以通过云平台预先分配的API,向云平台上报将待接入数据上传至FTP服务器的通知消息,可以理解,由云平台预先分配API,则可让云平台对于接口的调整具有更高的、更灵活的把控性。
而对应于上面CSV文件的处理,云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储的过程中,具体还可涉及一高效的处理机制,即:
云平台在通知消息的指示下,根据FTP服务器为多个CSV文件配置的TSS任务调度配置信息,从指定目录中读取多个CSV文件;
云平台解析多个CSV文件,并写入对应的HIVE数据库。
可以发现,除了HIVE数据库的数据库存储方式或者说数据库运行方式,FTP服务器将待接入数据传输至云平台的过程中,还可涉及到TSS任务调度的设置,TSS为任务状态段,其TSS任务调度可以理解为是指在云平台的操作系统进程管理的过程中,任务(进程/线程)切换时保存任务线程信息,以此进行高效、精准的任务处理,后续也可以高效、精准地针对任务进行相应数据的提取。
如此,云平台可以从TSS任务调度配置信息中,结合通知消息所指示的如数据标识、数据上传时间或者数据存储方式等内容,高效、精准地从本地专门用于初步存储数据的指定目录中提取出本次所需进行数据接入工作的待接入数据(CSV文件)。
此外,为实现上面CSV文件在HIVE数据库中的存储,在云平台的后台,作为又一种适于实用的实现方式,还可配置有以下的预先设置:
云平台预先建立HIVE数据库;
云平台在HIVE数据库中按照约定分表字段,建立相应数据库表,供后续的数据进行存储。
可以理解,为便于执行大量的数据接入工作,云平台可以预先建立HIVE数据库并在其中建立具体的数据库表,如此在后续工作中若出现需要进行数据接入的数据时,则可更快地进行其数据接入工作。
当然,在后续的工作过程中,云平台也还可涉及到新的HIVE数据库的跟新(包括建立)或者新的数据库表的更新(包括建立)。
为方便理解以上内容,还可结合图2示出的本申请基于云平台的云边协同数据接入系统的一种系统架构示意图进行理解,在图2中,也可看出本申请基于云平台的云边协同数据接入方法在数据接入工作中的相应数据处理。
从图1所示实施例可看出,针对在基于云平台的数据管理服务,本申请在用户与云平台之间配置了FTP服务对应的FTP服务器,用户侧的节点设备从数据采集对象处采集数据后,一方面作为待接入数据上传至FTP服务器,由FTP服务器将该待接入数据上传至云平台的指定目录,另一方面节点设备又向云平台上报将待接入数据上传至FTP服务器的通知消息,此时云平台在该通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入,在这过程中,通过FTP服务器在各节点设备进行数据的初步对接,再转由云平台进行数据存储,通过该FTP服务的简洁、高效的系统处理架构,实现存储量小、传输方便快捷、对网络带宽要求低、易解析的优点,因其容易操作、实用性强,易于推广,从而具有显著提高的实用性。
本申请还从硬件结构角度提供了一种基于云平台的云边协同数据接入系统,在该系统中,主要包括三个方面,即节点设备、FTP服务器以及云平台,这三者具体都是硬件设备的形式存在的。
具体的,对于节点设备、FTP服务器以及云平台这三者的硬件存在形式,参阅3,图3示出了本申请基于云平台的云边协同数据接入系统中相关设备的一种结构示意图,具体的,本申请基于云平台的云边协同数据接入系统中相关设备可包括处理器301、存储器302以及输入输出设备303,处理器301用于执行存储器302中存储的计算机程序时实现如图1对应实施例中方法涉及的步骤。
示例性的,计算机程序可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器302中,并由处理器301执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序在计算机装置中的执行过程。
本申请基于云平台的云边协同数据接入系统中相关设备可包括,但不仅限于处理器301、存储器302、输入输出设备303。本领域技术人员可以理解,示意仅仅是本申请基于云平台的云边协同数据接入系统中相关设备的示例,并不构成对本申请基于云平台的云边协同数据接入系统中相关设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如本申请基于云平台的云边协同数据接入系统中相关设备还可以包括网络接入设备、总线等,处理器301、存储器302、输入输出设备303等通过总线相连。
处理器301可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,处理器是本申请基于云平台的云边协同数据接入系统中相关设备的控制中心,利用各种接口和线路连接整个设备的各个部分。
存储器302可用于存储计算机程序和/或模块,处理器301通过运行或执行存储在存储器302内的计算机程序和/或模块,以及调用存储在存储器302内的数据,实现计算机装置的各种功能。存储器302可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据本申请基于云平台的云边协同数据接入系统中相关设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器301用于执行存储器302中存储的计算机程序时,具体可实现以下对应节点设备、FTP服务器或者云平台的功能:
节点设备从数据采集对象处采集数据,作为待接入数据;
节点设备将待接入数据上传至FTP服务器;
FTP服务器将待接入数据上传至云平台的指定目录;
节点设备向云平台上报将待接入数据上传至FTP服务器的通知消息;
云平台在通知消息的指示下,对从FTP服务器接收到的待接入数据进行存储,完成数据接入。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的基于云平台的云边协同数据接入系统的具体工作过程,可以参考如图1对应实施例中基于云平台的云边协同数据接入方法的说明,具体在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请如图1对应实施例中基于云平台的云边协同数据接入方法的步骤,具体操作可参考如图1对应实施例中基于云平台的云边协同数据接入方法的说明,在此不再赘述。
其中,该计算机可读存储介质可以包括:只读存储器(Read Only Memory,ROM)、随机存取记忆体(Random Access Memory,RAM)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请如图1对应实施例中基于云平台的云边协同数据接入方法的步骤,因此,可以实现本申请如图1对应实施例中基于云平台的云边协同数据接入方法所能实现的有益效果,详见前面的说明,在此不再赘述。
以上对本申请提供的基于云平台的云边协同数据接入方法、系统以及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于云平台的云边协同数据接入方法,其特征在于,所述方法应用于基于云平台的云边协同数据接入系统,所述系统包括多个本地的节点设备、采用文件传输协议FTP的FTP服务器以及云平台,所述方法包括:
所述节点设备从数据采集对象处采集数据,作为待接入数据;
所述节点设备将所述待接入数据上传至所述FTP服务器;
所述FTP服务器将所述待接入数据上传至所述云平台的指定目录;
所述节点设备向所述云平台上报将所述待接入数据上传至所述FTP服务器的通知消息;
所述云平台在所述通知消息的指示下,对从所述FTP服务器接收到的所述待接入数据进行存储,完成数据接入。
2.根据权利要求1所述的方法,其特征在于,所述节点设备从数据采集对象处采集数据,作为待接入数据,包括:
所述节点设备从所述数据采集对象处采集初始数据;
所述节点设备对所述初始数据,按照约定分表字段将数据以表为单位,拆分成多个逗号分隔值CSV文件,作为所述待接入数据,在所述CSV文件中,第一行为数据字段名,第二行之后为数据内容。
3.根据权利要求2所述的方法,其特征在于,所述节点设备将所述待接入数据上传至所述FTP服务器的过程中,包括:
所述FTP服务器按照文件存储目录结构要求,生成每一个所述CSV文件的存储目录,并建立对应的HIVE数据库表,以存储所述待接入数据。
4.根据权利要求2所述的方法,其特征在于,所述云平台在所述通知消息的指示下,对从所述FTP服务器接收到的所述待接入数据进行存储,包括:
所述云平台在所述通知消息的指示下,根据所述FTP服务器为多个所述CSV文件配置的任务状态段TSS任务调度配置信息,从所述指定目录中读取多个所述CSV文件;
所述云平台解析多个所述CSV文件,并写入对应的HIVE数据库。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述云平台预先建立HIVE数据库;
所述云平台在所述HIVE数据库中按照约定分表字段,建立相应数据库表,供后续的数据进行存储。
6.根据权利要求2所述的方法,其特征在于,所述通知消息中具体包括多个所述CSV文件的路径。
7.根据权利要求1所述的方法,其特征在于,所述节点设备向所述云平台上报将所述待接入数据上传至所述FTP服务器的通知消息,包括:
所述节点设备通过所述云平台预先分配的应用程序接口API,向所述云平台上报将所述待接入数据上传至所述FTP服务器的通知消息。
8.根据权利要求1所述的方法,其特征在于,所述节点设备具体为边缘节点设备或者业务系统。
9.一种基于云平台的云边协同数据接入系统,其特征在于,包括处理器和存储器,所述系统包括多个本地的节点设备、采用文件传输协议FTP的FTP服务器以及云平台,用于执行如权利要求1至8任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210538593.1A CN114945020B (zh) | 2022-05-17 | 2022-05-17 | 一种基于云平台的云边协同数据接入方法以及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210538593.1A CN114945020B (zh) | 2022-05-17 | 2022-05-17 | 一种基于云平台的云边协同数据接入方法以及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114945020A true CN114945020A (zh) | 2022-08-26 |
CN114945020B CN114945020B (zh) | 2023-08-08 |
Family
ID=82906277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210538593.1A Active CN114945020B (zh) | 2022-05-17 | 2022-05-17 | 一种基于云平台的云边协同数据接入方法以及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114945020B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459526A (zh) * | 2023-12-25 | 2024-01-26 | 中建三局集团有限公司 | 无固定公网基于云边端的模型协同传输方法、系统及介质 |
Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050005000A1 (en) * | 2003-02-14 | 2005-01-06 | Ryuzo Nakazumi | System and method for distributing digital contents, and an edge server |
US20130018904A1 (en) * | 2011-07-12 | 2013-01-17 | Salesforce.Com, Inc. | Method and system for document integration |
US20130204450A1 (en) * | 2011-10-04 | 2013-08-08 | Electro Industries/Gauge Tech | Systems and methods for collecting, analyzing, billing, and reporting data from intelligent electronic devices |
US20140181051A1 (en) * | 2012-12-21 | 2014-06-26 | Zetta, Inc. | Systems and methods for on-line backup and disaster recovery with local copy |
US8782174B1 (en) * | 2011-03-31 | 2014-07-15 | Emc Corporation | Uploading and downloading unsecured files via a virtual machine environment |
CN106777398A (zh) * | 2017-03-02 | 2017-05-31 | 北京微影时代科技有限公司 | 一种csv文件的生成方法及装置 |
KR20170089579A (ko) * | 2016-01-27 | 2017-08-04 | 한국전자통신연구원 | 단방향 파일 전송 시스템 및 방법 |
CN107888695A (zh) * | 2017-11-23 | 2018-04-06 | 新华三云计算技术有限公司 | 云平台创建镜像的方法和云平台设备 |
CN108604278A (zh) * | 2015-10-23 | 2018-09-28 | 甲骨文国际公司 | 具有对共享数据表的支持的自描述配置 |
CN108897270A (zh) * | 2018-06-12 | 2018-11-27 | 苏州赛腾精密电子股份有限公司 | 产品数据的上传方法、装置、plc、存储介质及系统 |
US10203937B1 (en) * | 2016-06-03 | 2019-02-12 | HM Health Solutions Inc. | Grand unified processor |
CN109491976A (zh) * | 2018-11-23 | 2019-03-19 | 郑州云海信息技术有限公司 | 一种存储数据解析方法、装置及相关设备 |
US20190124141A1 (en) * | 2017-10-23 | 2019-04-25 | Salesforce.Com, Inc. | Technologies for low latency messaging |
CN109688190A (zh) * | 2018-10-23 | 2019-04-26 | 深圳壹账通智能科技有限公司 | 传输金融数据的方法、装置、计算机设备和存储介质 |
CN111416875A (zh) * | 2020-04-10 | 2020-07-14 | 中国人民解放军国防科技大学 | 一种面向云边协同的服务目录同步方法及系统 |
WO2020253465A1 (zh) * | 2019-06-17 | 2020-12-24 | 深圳前海微众银行股份有限公司 | 一种文件交互处理方法、装置及系统 |
CN112468511A (zh) * | 2020-12-11 | 2021-03-09 | 建信金融科技有限责任公司 | 文件传输方法和装置 |
CN112579351A (zh) * | 2020-11-16 | 2021-03-30 | 麒麟软件有限公司 | 一种云硬盘备份系统 |
CN112953988A (zh) * | 2019-12-10 | 2021-06-11 | 浙江宇视科技有限公司 | 一种基于ftp的数据对接方法及装置 |
US20210224254A1 (en) * | 2020-01-22 | 2021-07-22 | Salesforce.Com, Inc. | Intelligent data-loader for management of data in database systems |
WO2021184586A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技(深圳)有限公司 | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 |
CN113630748A (zh) * | 2021-08-18 | 2021-11-09 | 南斗六星系统集成有限公司 | 一种智能网联车辆文件中转传输方法及系统 |
-
2022
- 2022-05-17 CN CN202210538593.1A patent/CN114945020B/zh active Active
Patent Citations (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050005000A1 (en) * | 2003-02-14 | 2005-01-06 | Ryuzo Nakazumi | System and method for distributing digital contents, and an edge server |
US8782174B1 (en) * | 2011-03-31 | 2014-07-15 | Emc Corporation | Uploading and downloading unsecured files via a virtual machine environment |
US20130018904A1 (en) * | 2011-07-12 | 2013-01-17 | Salesforce.Com, Inc. | Method and system for document integration |
US20130204450A1 (en) * | 2011-10-04 | 2013-08-08 | Electro Industries/Gauge Tech | Systems and methods for collecting, analyzing, billing, and reporting data from intelligent electronic devices |
US20140181051A1 (en) * | 2012-12-21 | 2014-06-26 | Zetta, Inc. | Systems and methods for on-line backup and disaster recovery with local copy |
CN108604278A (zh) * | 2015-10-23 | 2018-09-28 | 甲骨文国际公司 | 具有对共享数据表的支持的自描述配置 |
KR20170089579A (ko) * | 2016-01-27 | 2017-08-04 | 한국전자통신연구원 | 단방향 파일 전송 시스템 및 방법 |
US10203937B1 (en) * | 2016-06-03 | 2019-02-12 | HM Health Solutions Inc. | Grand unified processor |
CN106777398A (zh) * | 2017-03-02 | 2017-05-31 | 北京微影时代科技有限公司 | 一种csv文件的生成方法及装置 |
US20190124141A1 (en) * | 2017-10-23 | 2019-04-25 | Salesforce.Com, Inc. | Technologies for low latency messaging |
CN107888695A (zh) * | 2017-11-23 | 2018-04-06 | 新华三云计算技术有限公司 | 云平台创建镜像的方法和云平台设备 |
CN108897270A (zh) * | 2018-06-12 | 2018-11-27 | 苏州赛腾精密电子股份有限公司 | 产品数据的上传方法、装置、plc、存储介质及系统 |
CN109688190A (zh) * | 2018-10-23 | 2019-04-26 | 深圳壹账通智能科技有限公司 | 传输金融数据的方法、装置、计算机设备和存储介质 |
CN109491976A (zh) * | 2018-11-23 | 2019-03-19 | 郑州云海信息技术有限公司 | 一种存储数据解析方法、装置及相关设备 |
WO2020253465A1 (zh) * | 2019-06-17 | 2020-12-24 | 深圳前海微众银行股份有限公司 | 一种文件交互处理方法、装置及系统 |
CN112953988A (zh) * | 2019-12-10 | 2021-06-11 | 浙江宇视科技有限公司 | 一种基于ftp的数据对接方法及装置 |
US20210224254A1 (en) * | 2020-01-22 | 2021-07-22 | Salesforce.Com, Inc. | Intelligent data-loader for management of data in database systems |
WO2021184586A1 (zh) * | 2020-03-18 | 2021-09-23 | 平安科技(深圳)有限公司 | 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质 |
CN111416875A (zh) * | 2020-04-10 | 2020-07-14 | 中国人民解放军国防科技大学 | 一种面向云边协同的服务目录同步方法及系统 |
CN112579351A (zh) * | 2020-11-16 | 2021-03-30 | 麒麟软件有限公司 | 一种云硬盘备份系统 |
CN112468511A (zh) * | 2020-12-11 | 2021-03-09 | 建信金融科技有限责任公司 | 文件传输方法和装置 |
CN113630748A (zh) * | 2021-08-18 | 2021-11-09 | 南斗六星系统集成有限公司 | 一种智能网联车辆文件中转传输方法及系统 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117459526A (zh) * | 2023-12-25 | 2024-01-26 | 中建三局集团有限公司 | 无固定公网基于云边端的模型协同传输方法、系统及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114945020B (zh) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20170331867A1 (en) | Method, device and system for pushing file | |
CN108365967B (zh) | 动态配置通讯参数的方法、系统、终端及计算机可读存储介质 | |
KR20210005043A (ko) | 입력 및 출력 스키마 매핑 | |
CN110275775A (zh) | 容器应用的资源配置方法、系统及存储介质 | |
US20210209069A1 (en) | Method, device, and system for processing distributed data, and machine readable medium | |
CN114785685B (zh) | 软件差分升级方法、装置、电子设备及可读存储介质 | |
CN105208065A (zh) | 文件发送方法及装置 | |
CN106406755A (zh) | 一种应用文件存储方法及终端 | |
CN114945020A (zh) | 一种基于云平台的云边协同数据接入方法以及系统 | |
US10938773B2 (en) | Method and apparatus for synchronizing contact information and medium | |
CN110460668B (zh) | 一种文件上传方法、装置、计算机设备和存储介质 | |
CN106686117B (zh) | 一种分布式计算集群的数据存储处理系统及方法 | |
CN109981697B (zh) | 一种文件转存方法、系统、服务器及存储介质 | |
CN103220331B (zh) | 一种发送大量图片方法及移动智能终端 | |
CN106936660B (zh) | 数据采集方法和装置 | |
CN109697281A (zh) | 在线合并文档的方法、装置及电子设备 | |
CN111431951B (zh) | 一种数据处理方法、节点设备、系统及存储介质 | |
CN111367916A (zh) | 一种数据存储方法及装置 | |
CN110032499B (zh) | 页面用户流失的分析方法、装置、服务器及可读存储介质 | |
CN103220327B (zh) | 用户信息存储方法及装置 | |
CN110417860A (zh) | 文件传输管理方法、装置、设备及存储介质 | |
CN110457202A (zh) | 快速建立odbc连接的tpc-e测试方法以及驱动器设备 | |
CN104753938A (zh) | 一种信息处理方法及电子设备 | |
CN114564211A (zh) | 集群部署方法、集群部署装置、设备及介质 | |
CN113315801B (zh) | 存储区块链数据的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |