CN114362999A - 数据传输方法、系统、电子设备及存储介质 - Google Patents

数据传输方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN114362999A
CN114362999A CN202111465952.7A CN202111465952A CN114362999A CN 114362999 A CN114362999 A CN 114362999A CN 202111465952 A CN202111465952 A CN 202111465952A CN 114362999 A CN114362999 A CN 114362999A
Authority
CN
China
Prior art keywords
data
sending
transmission
target
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111465952.7A
Other languages
English (en)
Inventor
宿荣全
支涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN202111465952.7A priority Critical patent/CN114362999A/zh
Publication of CN114362999A publication Critical patent/CN114362999A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

本申请提供一种数据传输方法、系统、电子设备及存储介质,涉及数据处理技术领域。该方法包括:根据需要传输的目标数据,确定对应的目标适配器;基于目标适配器对目标数据进行转换,得到统一数据形态的发送数据;基于发送端的类型确定发送数据对应的发送方式,对发送数据进行传输。该系统包括:用于执行数据传输方法的发送端,和用于对发送数据进行处理,以得到传输数据的接收端。本申请通过对发送端与接收端之间的多种不同类型的数据进行归一化处理,能够让多种不同类型的数据以统一的数据形态进行传输,在对数据传输进行维护时,能够直接对多种传输方式进行同时维护,降低数据传输的维护成本,提高数据传输的稳定性。

Description

数据传输方法、系统、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域,具体而言,涉及一种数据传输方法、系统、电子设备及存储介质。
背景技术
由于网络传输的数据量越来越大,为了提高网络数据的传输效率,各种业务公用的云平台(Cloud Computing Platform)应运而生。
现有技术中,云平台与外部设备的数据传输方式分为两类,一类为云平台间的数据传输;另一类为终端到云平台的数据传输。其中,云平台间的数据传输具有API(Application Programming Interface,应用程序接口)、Kafka、文件等多种传输方式,终端到云平台的数据传输具有长连接和短连接等多种传输方式。云平台在进行不同类型的数据传输时,需要对多种传输方式分别进行维护,导致云平台的数据传输维护难度较大,维护成本较高。
发明内容
有鉴于此,本申请实施例的目的在于提供一种数据传输方法、系统、电子设备及存储介质,以改善现有技术中存在的数据传输维护成本较高的问题。
为了解决上述问题,第一方面,本申请实施例提供了一种数据传输方法,应用于发送端,包括:
根据需要传输的目标数据,确定对应的目标适配器;
基于所述目标适配器对所述目标数据进行转换,得到统一数据形态的发送数据;
基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输。
在上述实现方式中,发送端针对不同类型的数据分别具有每种数据对应的适配器,通过对需要传输的目标数据进行匹配,能够确定出该数据类型对应的目标适配器。通过目标适配器对目标数据进行归一化地转换处理,能够将目标数据转换为预设好的统一数据形态的发送数据,便于进行统一传输。由于不同的发送端具有不同的发送方式,根据每种发送端对应的发送方式对发送数据进行传输,能够让多种不同类型的数据以统一的数据形态进行传输。从而在对数据传输进行维护时,能够直接对多种传输方式进行同时维护,降低数据传输的维护成本,提高数据传输的稳定性。
可选地,所述基于所述目标适配器对所述目标数据进行转换,得到统一数据形态的发送数据,包括:
基于所述目标适配器对所述目标数据进行处理,得到统一数据形态的规范数据;
将所述规范数据添加到记录队列;
对所述记录队列中的所述规范数据进行加密,得到对应的发送数据,其中,多种所述目标数据对应的多种所述发送数据的数据形态相同。
在上述实现方式中,在对目标数据进行归一化地转换处理时,先通过目标适配器对目标数据进行数据规范地处理,将目标数据转换为统一数据形态的规范数据,再通过将规范数据添加到记录队列中,能够让一个或多个规范数据在记录队列中等待加密,以在需要加密时根据记录队列的数据顺序对规范数据进行加密,得到最终的发送数据,多种目标数据对应的多种发送数据的数据形态相同,都为预设的统一数据形态的数据。通过加密对传输的数据进行保护,提高了传输数据的安全性。
可选地,所述对所述记录队列中的所述规范数据进行加密,得到对应的发送数据,包括:
将所述记录队列中的一个或多个所述规范数据进行加密,得到对应的加密数据;
根据所述发送端的类型确定对应的发送队列;
将所述加密数据添加到所述发送队列中,得到等待发送的发送数据。
在上述实现方式中,在进行加密时,由于发送端的类型不同,因此不同发送端在对信息进行发送时,对应的发送队列也不相同。通过对记录队列中的一个或多个规范数据进行加密,得到对应的加密数据,再将加密数据添加到对应的发送队列中,以得到统一数据形态的发送数据,能够让发送数据在发送队列中等待发送,从而实现数据的有序发送,提高了对数据进行发送时的稳定性。
可选地,所述发送端包括云平台;所述基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输,包括:
所述云平台以字节序列发送方式对所述发送数据进行传输。
在上述实现方式中,由于不同类型的发送端中的发送数据特性不同,因此针对不同类型的发送端具有不同的发送方式。当发送端的类型为云平台时,需要对数据量较大的发送数据进行传输,由于云平台中设置有相应的处理平台,能够与接收端中对应的处理平台进行连接以实现数据传输。通过字节序列的发送方式,能够使发送数据由云平台的处理平台发送到接收端中的处理平台中,从而实现数据量较大的数据传输,提高数据传输的效率和质量。
可选地,所述发送端包括终端设备;所述基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输,包括:
所述终端设备以字节流发送方式对所述发送数据进行传输。
在上述实现方式中,当发送端的类型为终端设备时,由于一些较小的终端设备中并没有配套相应的处理平台,且终端设备中的发送数据的数据量较小,因此,终端设备通过字节流的发送方式将发送数据传输到接收端中,能够实现数据量较小的数据传输,提高数据传输的效率和质量。
可选地,所述根据需要传输的目标数据,确定对应的目标适配器,包括:
对需要传输的目标数据的类型进行分类,得到数据源类型;
根据所述数据源类型确定出所述目标数据对应的目标适配器。
在上述实现方式中,不同的发送端中具有多种不同类型的数据源,目标适配器的类型由目标数据的数据源类型决定。通过对目标数据的类型进行分类,得到目标数据所属的数据源类型,并根据数据源类型确定出其对应的目标适配器,能够在发送端的多个适配器中快速地确定出能够与目标数据匹配的目标适配器,以供后续目标适配器对目标数据进行归一化转换,有效地提高了发送端中数据处理的效率和有效性。
第二方面,本申请实施例还提供了一种数据传输系统,所述系统包括:发送端和接收端;
所述发送端执行上述数据传输方法中任一项所述方法中的步骤;
所述接收端,用于对所述发送数据进行处理,得到传输数据。
在上述实现方式中,通过发送端对需要进行传输的数据进行处理后发送,通过接收端对发送端发送的接收数据进行处理,得到对应的传输数据,以完成数据传输的发送与接收流程,能够让多种不同类型的数据以统一的数据形态在发送端和接收端中进行发送和接收,在发送端和接收端中实现对多种传输方式的同时维护,减少发送端与接收端中针对多种传输方式分别进行维护的维护成本。
可选地,在所述发送端为云平台时,所述接收端包括接收单元和解密单元;
所述接收单元,用于接收所述发送数据;
所述解密单元,对所述发送数据进行解密,得到解密后的传输数据。
在上述实现方式中,由于发送端类型的不同,其发送的发送数据虽然数据形态相同,但是数据种类不相同,接收端能够根据发送端的种类对发送数据进行对应地处理,以实现对应地接收工作。在发送端的类型为云平台时,通过接收端中的接收单元实现对发送数据的接收,由于发送数据在发送前进行了加密处理,还能够通过解密单元实现对数据的解密,以完成对发送数据的接收和处理,得到最终的传输数据。
可选地,在所述发送端为终端设备时,所述发送数据的数据源类型包括长连接数据源和短连接数据源;所述接收端包括切割单元、收集单元、接收单元和解密单元;
所述切割单元,用于在所述发送数据属于所述长连接数据源时,对所述发送数据进行切割,得到切割数据;
所述收集单元,用于在所述发送数据属于所述短连接数据源时,接收所述发送数据,并对所述切割数据或所述发送数据进行收集,得到等待接收的收集数据;
所述接收单元,用于接收所述收集单元中的所述收集数据;
所述解密单元,用于对所述收集数据进行解密,得到解密后的传输数据。
在上述实现方式中,在发送端的类型为终端设备时,发送数据的数据源类型包括长连接数据源和短连接数据源,需要接收端对长连接数据源和短连接数据源进行对应地处理后再进行接收和解密。针对长连接数据源,通过切割单元进行切割得到切割数据,针对短连接数据源,通过收集单元直接进行接收,并在收集单元中进行收集,得到等待接收的收集数据。在接收单元对收集单元中的收集数据进行接收后,再通过解密单元进行解密,得到最终的传输数据,能够针对不同类型的发送端以及数据源进行对应地操作,提高了接收端的接收和处理操作,以提高系统整体的数据传输效率和准确性。
第三方面,本申请实施例还提供了一种电子设备,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行上述数据传输方法中任一实现方式中的步骤。
本申请实施例还提供了一种计算机可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行上述数据传输方法中任一实现方式中的步骤。
综上所述,本申请提供了一种数据传输方法、系统、电子设备及存储介质,通过在发送端中多种不同类型的数据进行归一化处理,能够让多种不同类型的数据以统一的数据形态在发送端和接收端中进行传输,从而在对数据传输进行维护时,能够直接对多种传输方式进行同时维护,降低数据传输的维护成本,提高数据传输的稳定性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种数据传输方法的方法流程示意图;
图2为本申请实施例提供的一种步骤S1的详细流程示意图;
图3为本申请实施例提供的一种步骤S2的详细流程示意图;
图4为本申请实施例提供的一种步骤S23的详细流程示意图;
图5为本申请实施例提供的一种交互流程示意图;
图6为本申请实施例提供的一种数据传输系统的运行示意图。
图标:500-发送端;600-接收端。
具体实施方式
下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请实施例的一部分实施例,而不是全部的实施例。基于本申请实施例的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请实施例保护的范围。
本申请实施例提供了一种数据传输方法,应用于发送端,发送端可以为云平台和终端设备,终端设备可以为服务器、个人电脑(Personal Computer,PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant,PDA)等具有逻辑计算功能的电子设备,能够多种不同类型的数据进行归一化处理,让多种不同类型的数据以统一的数据形态进行传输。
请参阅图1,图1为本申请实施例提供的一种数据传输方法的方法流程示意图,应用于发送端,该方法可以包括以下步骤:
步骤S1,根据需要传输的目标数据,确定对应的目标适配器。
其中,由于发送端与数据的类型不同,并且目标数据的采集方式不同,因此具有多种不同类型的数据,不同类型的数据的数据结构之间可能存在差异。因此,每一种类型的数据都具有与之对应的适配器,以对不同类型的数据进行分别处理。
可选地,请参阅图2,图2为本申请实施例提供的一种步骤S1的详细流程示意图,步骤S1可以包括步骤S11-S12:
步骤S11,对需要传输的目标数据的类型进行分类,得到数据源类型。
值得说明的是,目标数据的数据源与发送端的类型有关。发送端可以包括云平台和终端设备,云平台适用于传输数据量较大的数据,终端设备适用于传输数据量较小的数据。因此,针对传输任务的不同,不同的发送端中能够具有不同类型的数据源。
可选地,在发送端的类型为云平台时,由于接收端也为云平台,因此发送端进行发送时是云平台间的数据传输,云平台中的目标数据的数据源可以包括:API(ApplicationProgramming Interface,应用程序接口)数据源(是一些预先定义的接口,例如函数、HTTP接口等,或软件系统中不同组成部分衔接的约定数据)、文件数据源以及Kafka(Kafka是由Apache软件基金会开发的一个开源流处理平台,设置在云平台中,由Scala和Java编写)数据源(一种高吞吐量的数据,可以处理消费者在网站中的所有动作流数据)等多种不同类型的数据。
示例地,API数据可以为发送端基于如下格式的URL(Uniform Resource Locator,统一资源定位器,网络地址)获取的数据,例如:http://serverIP:8200/srcId_20210412001?{json data};文件数据可以为发送端中指定目录中的存储文件,发送端能够依据设定的规格从该目录中读取文件数据;Kafka数据可以为云平台的处理平台中生成的数据。
可选地,在发送端的类型为终端设备时,该终端设备还可以为机器人、电梯等设备,在终端设备进行数据传输时,由于接收端为云平台,终端设备需要与云平台进行连接,以实现数据传输。终端设备与云平台的连接中包括长连接和短连接,长连接为在一个连接上可以连续发送多个数据包,在连接保持期间,如果没有数据包发送,需要双方发链路检测包;短连接是指通讯双方有数据交互时,就建立一个连接,数据发送完成后,则断开此连接,即每次连接只完成一项业务的发送。用户可以根据数据和终端设备的实际情况选择长连接和/或短连接,长连接适用于操作频繁,点对点的通讯情况,短连接不需要长期占用通道,适用于通讯业务频率不高的情况。因此,终端设备中目标数据的数据源可以进行长连接时的长连接数据源和进行短连接时的短连接数据源。
步骤S12,根据所述数据源类型确定出所述目标数据对应的目标适配器。
其中,发送端中针对每一种数据源类型具有对应的适配器,适配器用于对数据源使用适当的语句映射进行更改和转换处理。通过目标数据的数据源类型确定出发送端中对应的目标适配器,能够让目标数据在对应的适配器中进行处理,提高数据处理的针对性和准确性。
可选地,在发送端的类型为云平台时,云平台中的适配器可以包括API数据源对应的API适配器、文件数据源对应的文件适配器和Kafka数据源对应的Kafka适配器等;在发送端的类型为终端设备时,终端设备中的适配器可以包括长连接数据源对应的长连接适配器和短连接数据源对应的短连接适配器等。
在图2所示的实施例中,能够在发送端的多个适配器中快速地确定出能够与目标数据匹配的目标适配器,以供后续目标适配器对目标数据进行归一化转换,有效地提高了发送端中数据处理的效率和有效性。
在执行完步骤S1后,继续执行步骤S2。
步骤S2,基于所述目标适配器对所述目标数据进行转换,得到统一数据形态的发送数据。
其中,通过与目标数据对应的目标适配器对目标数据进行归一化地转换处理,将目标数据转换为具有统一的数据形态的发送数据,以对多种不同类型的数据进行统一形式地传输。
可选地,请参阅图3,图3为本申请实施例提供的一种步骤S2的详细流程示意图,步骤S2还可以包括步骤S21-S23:
步骤S21,基于所述目标适配器对所述目标数据进行处理,得到统一数据形态的规范数据。
其中,目标适配器能够对目标数据进行数据规范处理,将不同类型的目标数据都转换为数据形态相同的规范数据。示例地,规范数据的数据格式可以为:{topic+时间戳+srcld+json(JavaScript Object Notation,一种轻量级的数据交换格式)数据实体消息}的形式,也可以为其他格式,规范数据的格式可以由工作人员或用户根据自身需求或实际情况在适配器中进行设定。
步骤S22,将所述规范数据添加到记录队列。
其中,由于生成的规范数据较多,在进行发送时,需要先将规范数据添加到记录队列中,对规范数据进行保存,让规范数据在记录队列中等待下一步处理。
可选地,将规范数据添加到记录队列时,还可以将多种目标数据对应的规范数据放在不同的记录队列中进行存储和等待。
步骤S23,对所述记录队列中的所述规范数据进行加密,得到对应的发送数据。
其中,考虑到数据传输时的安全性,还能够对记录队列中的规范数据进行加密,以得到加密后的用于发送的发送数据,多种目标数据对应的多种发送数据的数据形态相同,都为预设的统一数据形态的数据。
在图3所示的实施例中,通过加密对传输的数据进行保护,提高了传输数据的安全性。
可选地,请参阅图4,图4为本申请实施例提供的一种步骤S23的详细流程示意图,步骤S23还可以包括步骤S231-S233:
步骤S231,将所述记录队列中的一个或多个所述规范数据进行加密,得到对应的加密数据。
其中,在进行加密时,由于记录队列中存储有多个规范数据,因此可以根据规范数据添加到记录队列中的时间、规范数据的加密要求、规范数据的编号等信息确定出加密顺序,在记录队列中按照加密顺序对一个或多个规范数据进行分别加密,以提高加密的有效性。
步骤S232,根据所述发送端的类型确定对应的发送队列。
其中,由于发送端的类型不同,因此不同发送端在对信息进行发送时,对应的发送队列也不相同。将加密数据添加到对应的发送队列中,以得到统一数据形态的发送数据。
可选地,在发送端的类型为云平台时,由于云平台中进行传输的发送数据的数据量较大,因此云平台中的发送队列可以为消息发送队列;在发送端的类型为终端设备时,由于终端设备中进行传输的发送数据的数据量较小,因此终端设备中的发送队列可以为Socket(套接字,对不同终端上的应用进程之间进行双向通信的端点的抽象,提供了应用层进程利用网络协议交换数据的机制,是应用程序与网络协议根进行交互的接口)发送队列。
步骤S233,将所述加密数据添加到所述发送队列中,得到等待发送的发送数据。
其中,确定对应的发送队列之后,将加密数据添加到对应的发送队列中,以得到统一数据形态的发送数据,让发送数据在发送队列中等待发送。示例地,发送数据中包括加密数据以及其他与发送相关的数据,例如目标数据的发送要求、发送时间、发送序列等数据。
在图4所述的实施例中,能够实现数据的有序发送,提高了对数据进行发送时的稳定性。
在执行完步骤S2之后,继续执行步骤S3。
步骤S3,基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输。
其中,由于不同类型的发送端中的发送数据特性不同,因此针对不同类型的发送端具有不同的发送方式。根据发送端的类型采用对应的发送方式对发送数据进行传输,能够有效地提高发送数据的传输效率和质量。
可选地,当发送端包括云平台时,云平台以字节序列发送方式对发送数据进行传输。其中,云平台之间的数据传输,需要对数据量较大的发送数据进行传输,由于云平台中设置有相应的处理平台,能够与接收端中对应的处理平台进行连接。通过字节序列的发送方式,能够使发送数据由云平台的处理平台发送到接收端中的处理平台中,从而实现数据量较大的数据传输,提高数据传输的效率和质量。
可选地,当发送端包括终端设备时,终端设备以字节流发送方式对发送数据进行传输。其中,由于一些较小的终端设备中并没有配套相应的处理平台,且终端设备中的发送数据的数据量较小,因此,终端设备通过字节流的发送方式将发送数据传输到接收端中,能够实现数据量较小的数据传输,提高数据传输的效率和质量。
在图1所示的实施例中,对目标数据进行归一化地转换处理,能够基于对应的目标适配器将目标数据转换为预设好的统一数据形态的发送数据,便于进行统一传输,并根据每种发送端对应的发送方式对发送数据进行传输,能够让多种不同类型的数据以统一的数据形态进行传输。
请参阅图5,图5为本申请实施例提供的一种交互流程示意图,图5中的交互以图1-图4中的数据传输方法为基础,包括发送端和接收端。
其中,在发送端中执行步骤S1-S3的数据传输方法,对需要进行传输的目标数据进行处理,根据需要传输的目标数据,确定对应的目标适配器;基于目标适配器对目标数据进行转换,得到统一数据形态的发送数据;基于发送端的类型确定发送数据对应的发送方式,对发送数据进行传输。
可选地,在交互中,接收端中还可以执行步骤S4:用于对所述发送数据进行处理,得到传输数据。
发送端中将处理完后的发送数据发送给接收端,接收端对发送数据进行接收和处理,得到最终的传输数据,以完成数据传输的发送与接收流程,实现数据交互。
请参阅图6,图6为本申请实施例提供的一种数据传输系统的运行示意图,数据传输系统中包括以下交互设备:发送端500和接收端600。
可选地,接收端600与一个或多个发送端500通过网络连接,以进行数据传输,对多个类型相同或者不同的发送端500发送的发送数据都进行接收和处理。
其中,发送端500用于执行上述图1-图4中任意一项实施例中的数据传输方法,将发送数据传输给接收端600。发送端500可以为云平台和终端设备,终端设备可以为多种电子设备、机器人、电梯等。接收端600为各种云平台,接收端600用于对发送端500发送的发送数据进行处理,以得到最终的传输数据,完成数据的接收工作。
值得说明的是,由于发送端500类型的不同,其发送的发送数据虽然数据形态相同,但是数据种类不相同,接收端600能够根据发送端500的种类对发送数据进行对应地处理,以实现对应地接收工作。
在一可选的实施方式中,发送端500的类型为云平台,与接收端600进行数据传输时,属于云平台间数据传输的应用场景。在进行数据传输时,由于发送端500与接收端600中都可以设置有Kafka处理平台进行数据的发送和接收,因此,在发送端500的类型为云平台时,接收端600中还可以包括接收单元和解密单元,通过接收端600中的接收单元实现对发送数据的接收。并且,由于发送数据在发送端500中进行了加密处理,还能够通过接收端600中的解密单元实现对数据的解密,以完成对发送数据的接收和处理,得到最终的传输数据。
在一可选的实施方式中,发送端500的类型为终端设备,与接收端600进行数据传输时,属于终端到云平台间的数据传输的应用场景。在进行数据传输时,由于终端设备中的发送数据的数据源类型包括长连接数据源和短连接数据源,因此,需要接收端600对长连接数据源和短连接数据源进行对应地处理后再进行接收和解密。在发送端500的类型为终端设备时,接收端600中包括切割单元、收集单元、接收单元和解密单元。针对长连接数据源,由于长连接数据源的数据链接较长,为了便于进行存储,通过切割单元进行切割得到切割数据,将长连接数据切割为多个短连接数据;针对短连接数据源,由于短连接数据源的数据链较短,因此无需进行切割,直接通过收集单元对短连接数据源的发送数据进行接收,再通过收集单元对切割数据或发送数据进行收集,得到等待接收的收集数据,由接收单元对收集单元发送的收集数据进行接收,再通过解密单元进行解密,得到最终的传输数据。
可选地,收集单元可以为各种型号的Data Collector(数据收集器)。
在上述两种可选的实施方式中,接收单元中可以包括Kafka处理平台和SparkStreaming(Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理),以对发送数据进行实时地接收。
值得说明的是,针对不同类型的发送端500以及数据源,能够在接收端600中进行对应地操作,提高了接收端600的接收和处理操作,以提高数据传输系统整体的数据传输效率和准确性。
可选地,在解密单元对发送数据进行解密以后,接收端600还可以将解密后的传输数据保存在HDFS(Hadoop Distributed File System,一种被设计成适合运行在通用硬件上的分布式文件系统)中,以对传输数据进行高容错性、高吞吐量的存储。
在图6所示的实施例中,通过发送端500对需要进行传输的数据进行处理后发送,通过接收端600对发送端发送的接收数据进行处理,得到对应的传输数据,以完成数据传输的发送与接收流程,能够让多种不同类型的数据以统一的数据形态在发送端500和接收端600中进行发送和接收,在发送端500和接收端600中实现对多种传输方式的同时维护,减少发送端500与接收端600中针对多种传输方式分别进行维护的维护成本。
本申请实施例还提供了一种电子设备,该电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器读取并运行所述程序指令时,执行本实施例提供的数据传输方法中任一项所述方法中的步骤。
应当理解是,该电子设备可以是个人电脑、平板电脑、智能手机、个人数字助理等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种计算机可读取存储介质,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行本实施例提供的数据传输方法中任一项所述方法中的步骤。
综上所述,本申请实施例提供了一种数据传输方法、系统、电子设备及存储介质,通过在发送端中多种不同类型的数据进行归一化处理,能够让多种不同类型的数据以统一的数据形态在发送端和接收端中进行传输,从而在对数据传输进行维护时,能够直接对多种传输方式进行同时维护,降低数据传输的维护成本,提高数据传输的稳定性。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上,框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图中的每个方框、以及框图的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器读取并运行时,执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种数据传输方法,其特征在于,应用于发送端,包括:
根据需要传输的目标数据,确定对应的目标适配器;
基于所述目标适配器对所述目标数据进行转换,得到统一数据形态的发送数据;
基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标适配器对所述目标数据进行转换,得到统一数据形态的发送数据,包括:
基于所述目标适配器对所述目标数据进行处理,得到统一数据形态的规范数据;
将所述规范数据添加到记录队列;
对所述记录队列中的所述规范数据进行加密,得到对应的发送数据,其中,多种所述目标数据对应的多种所述发送数据的数据形态相同。
3.根据权利要求2所述的方法,其特征在于,所述对所述记录队列中的所述规范数据进行加密,得到对应的发送数据,包括:
将所述记录队列中的一个或多个所述规范数据进行加密,得到对应的加密数据;
根据所述发送端的类型确定对应的发送队列;
将所述加密数据添加到所述发送队列中,得到等待发送的发送数据。
4.根据权利要求1所述的方法,其特征在于,所述发送端包括云平台;所述基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输,包括:
所述云平台以字节序列发送方式对所述发送数据进行传输。
5.根据权利要求1所述的方法,其特征在于,所述发送端包括终端设备;所述基于所述发送端的类型确定所述发送数据对应的发送方式,对所述发送数据进行传输,包括:
所述终端设备以字节流发送方式对所述发送数据进行传输。
6.根据权利要求1所述的方法,其特征在于,所述根据需要传输的目标数据,确定对应的目标适配器,包括:
对需要传输的目标数据的类型进行分类,得到数据源类型;
根据所述数据源类型确定出所述目标数据对应的目标适配器。
7.一种数据传输系统,其特征在于,所述系统包括:发送端和接收端;
所述发送端执行权利要求1-6中任一项所述方法中的步骤;
所述接收端,用于对所述发送数据进行处理,得到传输数据。
8.根据权利要求7所述的系统,其特征在于,在所述发送端为云平台时,所述接收端包括接收单元和解密单元;
所述接收单元,用于接收所述发送数据;
所述解密单元,对所述发送数据进行解密,得到解密后的传输数据。
9.根据权利要求7所述的系统,其特征在于,在所述发送端为终端设备时,所述发送数据的数据源类型包括长连接数据源和短连接数据源;所述接收端包括切割单元、收集单元、接收单元和解密单元;
所述切割单元,用于在所述发送数据属于所述长连接数据源时,对所述发送数据进行切割,得到切割数据;
所述收集单元,用于在所述发送数据属于所述短连接数据源时,接收所述发送数据,并对所述切割数据或所述发送数据进行收集,得到等待接收的收集数据;
所述接收单元,用于接收所述收集单元中的所述收集数据;
所述解密单元,用于对所述收集数据进行解密,得到解密后的传输数据。
10.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,所述存储器中存储有程序指令,所述处理器运行所述程序指令时,执行权利要求1-6中任一项所述方法中的步骤。
11.一种计算机可读取存储介质,其特征在于,所述可读取存储介质中存储有计算机程序指令,所述计算机程序指令被一处理器运行时,执行权利要求1-6任一项所述方法中的步骤。
CN202111465952.7A 2021-12-03 2021-12-03 数据传输方法、系统、电子设备及存储介质 Pending CN114362999A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111465952.7A CN114362999A (zh) 2021-12-03 2021-12-03 数据传输方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111465952.7A CN114362999A (zh) 2021-12-03 2021-12-03 数据传输方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114362999A true CN114362999A (zh) 2022-04-15

Family

ID=81098083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111465952.7A Pending CN114362999A (zh) 2021-12-03 2021-12-03 数据传输方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114362999A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325143A (zh) * 2011-09-19 2012-01-18 北京理工大学 一种基于云平台的信息收集存储和加密检索系统
CN103051710A (zh) * 2012-12-20 2013-04-17 中国科学院深圳先进技术研究院 一种虚拟云平台管理系统及方法
WO2013141883A1 (en) * 2012-03-23 2013-09-26 Itron, Inc. Communication packet conversion
CN108123994A (zh) * 2016-11-28 2018-06-05 中国科学院沈阳自动化研究所 一种面向工业领域的云平台架构
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法
CN113037802A (zh) * 2021-01-27 2021-06-25 东南大学 一种用于电力物联网的云边数据协同方法
CN113472893A (zh) * 2021-07-22 2021-10-01 咪咕数字传媒有限公司 数据处理方法、装置、计算设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102325143A (zh) * 2011-09-19 2012-01-18 北京理工大学 一种基于云平台的信息收集存储和加密检索系统
WO2013141883A1 (en) * 2012-03-23 2013-09-26 Itron, Inc. Communication packet conversion
CN103051710A (zh) * 2012-12-20 2013-04-17 中国科学院深圳先进技术研究院 一种虚拟云平台管理系统及方法
CN108123994A (zh) * 2016-11-28 2018-06-05 中国科学院沈阳自动化研究所 一种面向工业领域的云平台架构
CN109889551A (zh) * 2019-04-16 2019-06-14 湖南树华环保科技有限公司 一种智能硬件接入的物联网云平台的方法
CN113037802A (zh) * 2021-01-27 2021-06-25 东南大学 一种用于电力物联网的云边数据协同方法
CN113472893A (zh) * 2021-07-22 2021-10-01 咪咕数字传媒有限公司 数据处理方法、装置、计算设备及计算机存储介质

Similar Documents

Publication Publication Date Title
CN108520183B (zh) 一种数据存储方法及装置
WO2019005985A1 (en) SYSTEM AND METHOD FOR USING A GATEWAY OF DISTRIBUTED REGISTERS
CN110324351B (zh) 一种网络协同制造中信息互联的系统及方法
CN115529130B (zh) 数据处理方法、终端、服务器、系统、设备、介质和产品
JP2010507266A (ja) マルチメディアセッション情報によってソフトウェアおよびハードウェア暗号モジュールのうちの一方を選択するためのネットワークセキュリティ処理方法およびシステム
CN112689020B (zh) 一种消息传输方法、消息中间件、电子设备及存储介质
US9838496B2 (en) Managing data acquisition
Montella et al. Performance, resilience, and security in moving data from the fog to the cloud: the DYNAMO transfer framework approach
CN111917835A (zh) 一种监控网络数据的系统、方法和装置
CN109995782B (zh) 一种信息处理方法、设备、系统及计算机存储介质
CN109819026B (zh) 用于传输信息的方法及装置
CN114362999A (zh) 数据传输方法、系统、电子设备及存储介质
CN110719233A (zh) 用于发送信息的方法及装置
CN114338527B (zh) IPv6主动标识符处理方法及系统
US20230418470A1 (en) Data processing method and apparatus, and electronic device
CN111526171A (zh) 一种基于协议节点的工业互联网平台
Fakhrazeev et al. Big telemetry data processing in the scope of modern Internet of Things
JP2006018430A (ja) 情報処理装置、ネットワークシステム、プログラム、データ構造及び記憶媒体
CN113810397A (zh) 协议数据的处理方法及装置
CN109788249B (zh) 基于工业互联网操作系统的视频监控控制方法
KR101949761B1 (ko) 통합 복제 시스템
CN115914417B (zh) 暗网威胁情报的获取方法、装置、设备及介质
CN114745367B (zh) 数据传输方法、装置、电子设备和存储介质
CN114915668B (zh) 全连接端口扫描方法及扫描器、系统、电子设备和介质
Duan et al. Research for Building High Performance Communication Service Based on Netty Protocol in Smart Health

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination