CN117170899A - 一种数据传输方法、装置、电子设备及计算机可读介质 - Google Patents
一种数据传输方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN117170899A CN117170899A CN202311106449.1A CN202311106449A CN117170899A CN 117170899 A CN117170899 A CN 117170899A CN 202311106449 A CN202311106449 A CN 202311106449A CN 117170899 A CN117170899 A CN 117170899A
- Authority
- CN
- China
- Prior art keywords
- target
- data stream
- data
- plug
- binary data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000008569 process Effects 0.000 claims abstract description 15
- 238000012546 transfer Methods 0.000 claims description 35
- 238000007906 compression Methods 0.000 claims description 18
- 230000006835 compression Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 238000013144 data compression Methods 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了数据传输方法、装置、电子设备及计算机可读介质,涉及大数据数据采集技术领域,一具体实施方式包括接收数据传输请求,获取对应的服务地址标识和待传输数据;将待传输数据进行压缩,以得到对应的二进制数据流;根据服务地址标识,确定目标插件;将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;传输目标格式数据流至目标容器。从而实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
Description
技术领域
本申请涉及大数据数据采集技术领域,尤其涉及一种数据传输方法、装置、电子设备及计算机可读介质。
背景技术
目前,市面上的开源的服务监控系统和时间序列数据库远程存储写入分布式消息存储系统,读取数据慢,可扩展性差,数据量大的时候抗压能力差,会出现丢数据的情况。
发明内容
有鉴于此,本申请实施例提供一种数据传输方法、装置、电子设备及计算机可读介质,能够解决现有的数据远程传输存储读取数据慢,可扩展性差,数据量大的时候抗压能力差,会出现丢数据的问题。
为实现上述目的,根据本申请实施例的一个方面,提供了一种数据传输方法,包括:
接收数据传输请求,获取对应的服务地址标识和待传输数据;
将待传输数据进行压缩,以得到对应的二进制数据流;
根据服务地址标识,确定目标插件;
将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;
传输目标格式数据流至目标容器。
可选地,基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流,包括:
调用目标插件以对二进制数据流进行解压缩,得到解压缩后的二进制数据流;
将解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
可选地,将二进制数据流传输至目标插件,包括:
调用表单标签控件,以基于二进制数据流生成目标参数;
将目标参数放入请求体中,以生成对应的目标超文本传输协议;
发送目标超文本传输协议至目标插件。
可选地,发送目标超文本传输协议至目标插件,包括:
基于目标超文本传输协议生成异步发送任务;
调用异步任务线程池执行异步发送任务,以将目标超文本传输协议发送至目标插件。
可选地,确定目标插件,包括:
调用键值对数据库,以从键值对数据库中匹配得到与服务地址标识对应的插件,进而将插件确定为目标插件,其中,键值对数据库用于表征服务地址标识与插件的对应关系。
可选地,将待传输数据进行压缩,以得到对应的二进制数据流,包括:
获取数据传输请求对应的压缩率;
基于压缩率对待传输数据进行压缩,以得到压缩后的二进制数据流。
另外,本申请还提供了一种数据传输装置,包括:
接收单元,被配置成接收数据传输请求,获取对应的服务地址标识和待传输数据;
数据压缩单元,被配置成将待传输数据进行压缩,以得到对应的二进制数据流;
目标插件确定单元,被配置成根据服务地址标识,确定目标插件;
格式化单元,被配置成将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;
数据流传输单元,被配置成传输目标格式数据流至目标容器。
可选地,格式化单元进一步被配置成:
调用目标插件以对二进制数据流进行解压缩,得到解压缩后的二进制数据流;
将解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
可选地,格式化单元进一步被配置成:
调用表单标签控件,以基于二进制数据流生成目标参数;
将目标参数放入请求体中,以生成对应的目标超文本传输协议;
发送目标超文本传输协议至目标插件。
可选地,格式化单元进一步被配置成:
基于目标超文本传输协议生成异步发送任务;
调用异步任务线程池执行异步发送任务,以将目标超文本传输协议发送至目标插件。
可选地,目标插件确定单元进一步被配置成:
调用键值对数据库,以从键值对数据库中匹配得到与服务地址标识对应的插件,进而将插件确定为目标插件,其中,键值对数据库用于表征服务地址标识与插件的对应关系。
可选地,数据压缩单元进一步被配置成:
获取数据传输请求对应的压缩率;
基于压缩率对待传输数据进行压缩,以得到压缩后的二进制数据流。
另外,本申请还提供了一种数据传输电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如上述的数据传输方法。
另外,本申请还提供了一种计算机可读介质,其上存储有计算机程序,程序被处理器执行时实现如上述的数据传输方法。
为实现上述目的,根据本申请实施例的又一个方面,提供了一种计算机程序产品。
本申请实施例的一种计算机程序产品,包括计算机程序,程序被处理器执行时实现本申请实施例提供的数据传输方法。
上述发明中的一个实施例具有如下优点或有益效果:本申请通过接收数据传输请求,获取对应的服务地址标识和待传输数据;将待传输数据进行压缩,以得到对应的二进制数据流;根据服务地址标识,确定目标插件;将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;传输目标格式数据流至目标容器。从而实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本申请,不构成对本申请的不当限定。其中:
图1是根据本申请一个实施例的数据传输方法的主要流程的示意图;
图2是根据本申请一个实施例的数据传输方法的主要流程的示意图;
图3是根据本申请一个实施例的数据传输方法的主要流程示意图;
图4是根据本申请实施例的数据传输装置的主要单元的示意图;
图5是本申请实施例可以应用于其中的示例性系统架构图;
图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,本申请的技术方案中,所涉及的用户个人信息的采集、分析、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法且合理的用途,不在这些合法使用等方面之外共享、泄露或出售,并且接受监管部门的监督管理。应当对用户个人信息采取必要措施,以防止对此类个人信息数据的非法访问,确保有权访问个人信息数据的人员遵守相关法律法规的规定,确保用户个人信息安全。一旦不再需要这些用户个人信息数据,应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。
当使用时,包括在某些相关应用程序中,通过对数据去标识来保护用户隐私,例如在使用时通过移除特定标识符、控制所存储数据的量或特异性、控制数据如何被存储、和/或其他方法去标识。
图1是根据本申请一个实施例的数据传输方法的主要流程的示意图,如图1所示,数据传输方法包括:
步骤S101,接收数据传输请求,获取对应的服务地址标识和待传输数据。
本实施例中,数据传输方法的执行主体(例如,可以是服务器)可以通过有线连接或无线连接的方式,接收数据传输请求。数据传输请求可以是对数据进行远程传输存储的请求。执行主体在接收到数据传输请求后,可以获取该请求中携带的服务地址标识和待传输数据。其中,服务地址标识用于表征所需要使用到的插件的类型或者插件的名称等。待传输数据例如可以是监控数据或者交易数据,本申请实施例对待传输数据不做具体限定。
步骤S102,将待传输数据进行压缩,以得到对应的二进制数据流。
执行主体可以调用二进制压缩算法以将待传输数据压缩得到对应的二进制数据流。以减少待传输数据的存储空间和传输带宽,从而提高待传输数据的传输效率和存储效率。
具体地,若待传输数据为文本数据,则执行主体可以调用二进制压缩算法,以将待传输数据中重复的单词或者短语替换为更短的代码,可以大大减少数据的存储空间。若待传输数据为图像或视频数据,则执行主体可以调用二进制压缩算法以将图像或者视频数据中的重复的像素值和颜色值进行编码以压缩为更小的二进制形式。
步骤S103,根据服务地址标识,确定目标插件。
服务地址标识可以是目标插件所在处的索引或者目标插件所在处的名称,本申请实施例对服务地址标识的形式和内容不做具体限定。
目标插件,例如可以是telegraf插件。telegraf插件是驱动的服务器代理,可以从大量输入中收集指标并将它们写入大量输出中,是用于数据收集和输出的插件驱动,易于扩展。telegraf插件是一个编译好的独立二进制文件,可以在任何系统上执行,不需要外部依赖,不需要npm、pip、gem或其他包管理工具。
步骤S104,将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流。
具体地,将二进制数据流传输至目标插件,包括:调用表单标签控件,以基于二进制数据流生成目标参数;将目标参数放入请求体中,以生成对应的目标超文本传输协议;发送目标超文本传输协议至目标插件。
目标超文本传输协议,例如HTTP协议。本申请实施例的数据传输方法利用HTTP的形式传输二进制数据流。具体可以是调用表单标签控件,例如form标签控件,将二进制数据流转换生成目标参数。其中,目标参数可以是与目标超文本传输协议相匹配的格式的参数。将目标参数放入请求体中,使用webkit协议进行包裹,以生成目标超文本传输协议,将携带有目标参数的目标超文本传输协议发送至目标插件,例如telegraf插件。进而基于配置文件prometheus数据格式化目标插件,以将对应的二进制数据流格式化为目标格式数据流,例如格式化为json格式的数据流,以更易于阅读和编写,同时也更易于机器解析和生成(网络传输速度快)。可以理解的是,目标格式数据流还可以是TXT、Excel、CSV或XML格式数据流,本申请实施例对目标格式数据流不做具体限定。
具体地,发送目标超文本传输协议至目标插件,包括:基于目标超文本传输协议生成异步发送任务;调用异步任务线程池执行异步发送任务,以将目标超文本传输协议发送至目标插件。
通过在发送目标超文本传输协议时使用异步发送任务,可以提高数据传输系统响应速度,降低数据传输系统响应用户请求的延迟,提升用户体验。
步骤S105,传输目标格式数据流至目标容器。
目标容器例如可以是一种高吞吐量的分布式发布订阅消息系统是一个分布式集群Kafka。
本实施例通过接收数据传输请求,获取对应的服务地址标识和待传输数据;将待传输数据进行压缩,以得到对应的二进制数据流;根据服务地址标识,确定目标插件;将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;传输目标格式数据流至目标容器。从而实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
图2是根据本申请一个实施例的数据传输方法的主要流程示意图,如图2所示,数据传输方法包括:
步骤S201,接收数据传输请求,获取对应的服务地址标识和待传输数据。
数据传输请求,可以是对本地数据进行传输的请求。服务地址标识可以用于表征用于辅助传输数据的插件的位置或者名称,本申请实施例对服务地址标识不做具体限定。待传输数据例如可以是监控数据或者交易数据等,本申请实施例对待传输数据不做具体限定。
步骤S202,将待传输数据进行压缩,以得到对应的二进制数据流。
具体地,将待传输数据进行压缩,以得到对应的二进制数据流,包括:获取数据传输请求对应的压缩率;基于压缩率对待传输数据进行压缩,以得到压缩后的二进制数据流。
根据用户发起的数据传输请求中的压缩率对待传输数据进行压缩,可以实现定制化的数据压缩,实现个性化数据传输,提升用户体验。
步骤S203,根据服务地址标识,确定目标插件。
具体地,确定目标插件,包括:调用键值对数据库,以从键值对数据库中匹配得到与服务地址标识对应的插件,进而将插件确定为目标插件,其中,键值对数据库用于表征服务地址标识与插件的对应关系。
示例的,服务地址标识可以是目标插件的位置、目标插件的类型或者目标插件的名称等,本申请实施例对服务地址标识不做具体限定。执行主体通过比较目标地址标识与键值对数据库,以得到键值对数据库中与目标地址标识对应的插件,进而将该对应的插件确定为目标插件。目标插件即为本申请中需要用来进行数据传输的插件。本申请实施例对目标插件的类型不做具体限定。
步骤S204,将二进制数据流传输至目标插件。
执行主体在确定出目标插件后,可以将二进制数据通过异步任务的方式传输至目标插件,以提升数据传输系统的响应速度和处理待传输数据的速度。
步骤S205,调用目标插件以对二进制数据流进行解压缩,得到解压缩后的二进制数据流。
示例的,执行主体可以调用目标插件以将接收来的数据进行snappy.uncompress解压缩,得到解压缩后的二进制byte[]数据流,再根据注册到插件telegraf的gogo.proto格式化插件来格式化目标插件中解压缩后的二进制byte[]数据流。
步骤S206,将解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
将解压缩并格式化后的二进制byte[]数据流转化为json的格式。
步骤S207,传输目标格式数据流至目标容器。
将转化目标格式的数据流即json格式的数据流写入到目标容器kafka。本申请实施例可以实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
图3是根据本申请一个实施例的数据传输方法的应用场景示意图。本申请实施例的数据传输方法,应用于数据远程传输存储的场景。首先在配置文件prometheus.yml中配置目标插件telegraf的服务地址,配置文件prometheus会根据配置的地址将prometheus采集到的待传输数据通过HTTP的形式发送给目标插件telegraf。为了加快传输速度,在传输之前将待传输数据进行snappy压缩成二进制的byte[]数据流;目标插件telegraf收到压缩成二进制的byte[]数据流后先进行snappy解压缩,得到解压缩后的byte[]数据流,再根据添加到目标插件telegra中的promtheus数据格式化目标插件,将解压缩后的byte[]数据流进行格式化,然后转化为json格式的数据传输到目标容器kafka。snappy是由google开发的压缩/解压C++库,注重压缩速度。从而实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
图4是根据本申请实施例的数据传输装置的主要单元的示意图。如图4所示,数据传输装置400包括接收单元401、数据压缩单元402、目标插件确定单元403、格式化单元404和数据流传输单元405。
接收单元401,被配置成接收数据传输请求,获取对应的服务地址标识和待传输数据。
数据压缩单元402,被配置成将待传输数据进行压缩,以得到对应的二进制数据流。
目标插件确定单元403,被配置成根据服务地址标识,确定目标插件。
格式化单元404,被配置成将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流。
数据流传输单元405,被配置成传输目标格式数据流至目标容器。
在一些实施例中,格式化单元404进一步被配置成:调用目标插件以对二进制数据流进行解压缩,得到解压缩后的二进制数据流;将解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
在一些实施例中,格式化单元404进一步被配置成:调用表单标签控件,以基于二进制数据流生成目标参数;将目标参数放入请求体中,以生成对应的目标超文本传输协议;发送目标超文本传输协议至目标插件。
在一些实施例中,格式化单元404进一步被配置成:基于目标超文本传输协议生成异步发送任务;调用异步任务线程池执行异步发送任务,以将目标超文本传输协议发送至目标插件。
在一些实施例中,目标插件确定单元403进一步被配置成:调用键值对数据库,以从键值对数据库中匹配得到与服务地址标识对应的插件,进而将插件确定为目标插件,其中,键值对数据库用于表征服务地址标识与插件的对应关系。
在一些实施例中,数据压缩单元402进一步被配置成:获取数据传输请求对应的压缩率;基于压缩率对待传输数据进行压缩,以得到压缩后的二进制数据流。
需要说明的是,本申请的数据传输方法和数据传输装置在具体实施内容上具有相应关系,故重复内容不再说明。
图5示出了可以应用本申请实施例的数据传输方法或数据传输装置的示例性系统架构500。
如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备501、502、503可以是具有数据传输处理屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所提交的数据传输请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以接收数据传输请求,获取对应的服务地址标识和待传输数据;将待传输数据进行压缩,以得到对应的二进制数据流;根据服务地址标识,确定目标插件;将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;传输目标格式数据流至目标容器。从而实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
需要说明的是,本申请实施例所提供的数据传输方法一般由服务器505执行,相应地,数据传输装置一般设置于服务器505中。
应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
下面参考图6,其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地,根据本申请公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括接收单元、数据压缩单元、目标插件确定单元、格式化单元和数据流传输单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备接收数据传输请求,获取对应的服务地址标识和待传输数据;将待传输数据进行压缩,以得到对应的二进制数据流;根据服务地址标识,确定目标插件;将二进制数据流传输至目标插件,以基于目标插件执行格式化进程,将二进制数据流格式化为目标格式数据流;传输目标格式数据流至目标容器。
本申请的计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例中的数据传输方法。
根据本申请实施例的技术方案,可以实现在进行数据传输过程中提高读取速度,增强可扩展性,在数据量大的时候增强抗压能力,数据实时性强,不会丢失数据。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (15)
1.一种数据传输方法,其特征在于,包括:
接收数据传输请求,获取对应的服务地址标识和待传输数据;
将所述待传输数据进行压缩,以得到对应的二进制数据流;
根据所述服务地址标识,确定目标插件;
将所述二进制数据流传输至所述目标插件,以基于所述目标插件执行格式化进程,将所述二进制数据流格式化为目标格式数据流;
传输所述目标格式数据流至目标容器。
2.根据权利要求1所述的方法,其特征在于,所述基于所述目标插件执行格式化进程,将所述二进制数据流格式化为目标格式数据流,包括:
调用所述目标插件以对所述二进制数据流进行解压缩,得到解压缩后的二进制数据流;
将所述解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
3.根据权利要求1所述的方法,其特征在于,所述将所述二进制数据流传输至所述目标插件,包括:
调用表单标签控件,以基于所述二进制数据流生成目标参数;
将所述目标参数放入请求体中,以生成对应的目标超文本传输协议;
发送所述目标超文本传输协议至所述目标插件。
4.根据权利要求3所述的方法,其特征在于,所述发送所述目标超文本传输协议至所述目标插件,包括:
基于所述目标超文本传输协议生成异步发送任务;
调用异步任务线程池执行所述异步发送任务,以将所述目标超文本传输协议发送至所述目标插件。
5.根据权利要求1所述的方法,其特征在于,所述确定目标插件,包括:
调用键值对数据库,以从所述键值对数据库中匹配得到与所述服务地址标识对应的插件,进而将所述插件确定为目标插件,其中,所述键值对数据库用于表征服务地址标识与插件的对应关系。
6.根据权利要求1所述的方法,其特征在于,所述将所述待传输数据进行压缩,以得到对应的二进制数据流,包括:
获取所述数据传输请求对应的压缩率;
基于所述压缩率对所述待传输数据进行压缩,以得到压缩后的二进制数据流。
7.一种数据传输装置,其特征在于,包括:
接收单元,被配置成接收数据传输请求,获取对应的服务地址标识和待传输数据;
数据压缩单元,被配置成将所述待传输数据进行压缩,以得到对应的二进制数据流;
目标插件确定单元,被配置成根据所述服务地址标识,确定目标插件;
格式化单元,被配置成将所述二进制数据流传输至所述目标插件,以基于所述目标插件执行格式化进程,将所述二进制数据流格式化为目标格式数据流;
数据流传输单元,被配置成传输所述目标格式数据流至目标容器。
8.根据权利要求7所述的装置,其特征在于,所述格式化单元进一步被配置成:
调用所述目标插件以对所述二进制数据流进行解压缩,得到解压缩后的二进制数据流;
将所述解压缩后的二进制数据流基于预设的转化格式转化为目标格式数据流。
9.根据权利要求7所述的装置,其特征在于,所述格式化单元进一步被配置成:
调用表单标签控件,以基于所述二进制数据流生成目标参数;
将所述目标参数放入请求体中,以生成对应的目标超文本传输协议;
发送所述目标超文本传输协议至所述目标插件。
10.根据权利要求9所述的装置,其特征在于,所述格式化单元进一步被配置成:
基于所述目标超文本传输协议生成异步发送任务;
调用异步任务线程池执行所述异步发送任务,以将所述目标超文本传输协议发送至所述目标插件。
11.根据权利要求7所述的装置,其特征在于,所述目标插件确定单元进一步被配置成:
调用键值对数据库,以从所述键值对数据库中匹配得到与所述服务地址标识对应的插件,进而将所述插件确定为目标插件,其中,所述键值对数据库用于表征服务地址标识与插件的对应关系。
12.根据权利要求7所述的装置,其特征在于,所述数据压缩单元进一步被配置成:
获取所述数据传输请求对应的压缩率;
基于所述压缩率对所述待传输数据进行压缩,以得到压缩后的二进制数据流。
13.一种数据传输电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。
14.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
15.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311106449.1A CN117170899A (zh) | 2023-08-30 | 2023-08-30 | 一种数据传输方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311106449.1A CN117170899A (zh) | 2023-08-30 | 2023-08-30 | 一种数据传输方法、装置、电子设备及计算机可读介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117170899A true CN117170899A (zh) | 2023-12-05 |
Family
ID=88938808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311106449.1A Pending CN117170899A (zh) | 2023-08-30 | 2023-08-30 | 一种数据传输方法、装置、电子设备及计算机可读介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117170899A (zh) |
-
2023
- 2023-08-30 CN CN202311106449.1A patent/CN117170899A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10901950B2 (en) | Efficient data compression and analysis as a service | |
CN105718540B (zh) | 数据加载方法和装置 | |
CN112184367B (zh) | 一种订单处理方法和装置 | |
CN110445860B (zh) | 一种报文发送方法、装置、终端设备及存储介质 | |
CN109510754B (zh) | 在线文档生成方法、装置、系统和电子设备 | |
JP7437517B2 (ja) | 予測情報を生成する方法、装置、電子機器及びコンピュータ可読媒体 | |
CN114979295B (zh) | 一种网关管理的方法和装置 | |
CN111104776A (zh) | 一种浮点数处理方法、装置及电子设备 | |
CN112311720B (zh) | 数据的传输方法及装置 | |
CN104572964A (zh) | 一种压缩文件的解压方法和装置 | |
CN112685481B (zh) | 一种数据处理方法和装置 | |
AU2018403361B2 (en) | Data transmission | |
CN114449523B (zh) | 用于卫星测控系统的流量过滤方法、装置、设备及介质 | |
CN117170899A (zh) | 一种数据传输方法、装置、电子设备及计算机可读介质 | |
CN113485902B (zh) | 测试业务平台的方法、装置、设备和计算机可读介质 | |
CN111984616B (zh) | 一种更新共享文件的方法、装置和系统 | |
CN113779018A (zh) | 一种数据处理方法和装置 | |
CN113973139A (zh) | 一种消息处理的方法和装置 | |
CN113761566A (zh) | 一种数据处理方法和装置 | |
CN112784139A (zh) | 查询方法、装置、电子设备和计算机可读介质 | |
CN112749353A (zh) | 网页图标的处理方法和装置 | |
CN115118765B (zh) | 服务处理的方法、装置、电子设备和存储介质 | |
CN114726564B (zh) | 安全检测方法、安全检测装置、电子设备及介质 | |
CN114745367B (zh) | 数据传输方法、装置、电子设备和存储介质 | |
CN118138643A (zh) | 处理请求的方法、装置、电子设备和计算机可读介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |