CN112714181A - 一种数据传输方法及装置 - Google Patents

Abstract

本发明所提供的一种数据传输方法和装置，包括：基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括：与所述传输通道对应的网络地址；获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。也就是说，本方案在获取待传输数据前，先向数据库发送插入语句，使服务器与数据库之间建立传输通道，传输通道建立后，直接进行数据传输，不需要获取大量待传输数据存储在本地服务器的内存中，而是直接传输至对应的数据库中，从而更加高效、灵活的进行数据传输。

Description

一种数据传输方法及装置

技术领域

本发明涉及一种数据传输技术，尤其涉及一种数据传输方法及装置。

背景技术

随着社会的发展，时代的进步，数据传输业务越来越重要。但是，传统的数据传输方式，在服务器获取到传输数据后，先将数据存储在本地服务器的内存中，再建立服务器与数据库之间的传输通道，再将需要传输的数据从本地服务器中取出，最后通过传输通道传输至远端服务器，此种传输方式效率低，且灵活性低。

发明内容

本发明提供一种数据传输方法及装置，以解决现有技术中数据传输效率低、灵活性低的技术问题。为达到上述目的，根据本发明实施例的一方面，提供一种数据传输方法及装置，所述方法包括：基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括：与所述传输通道对应的网络地址；获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。

上述方案中，所述基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：

所述基于预设的网络传输协议向数据库发送插入语句，以便于所述数据库得到所述插入语句并解析，得到所述外部表名称；根据所述外部表名称，得到所述传输通道对应的网络地址；根据所述传输通道对应的网络地址，所述数据库与所述服务器之间建立传输通道。

上述方案中，根据所述外部表名称，得到所述传输通道对应的网络地址后，包括：接收至少一个子数据库发送的连接请求，从而建立所述至少一个子数据库与所述服务器之间的所述传输通道；其中，所述数据库包括至少一个子数据库。

上述方案中，基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：基于预设的网络传输协议向所述数据库发送至少两条插入语句，以使得所述数据库与所述服务器之间建立至少两组传输通道；其中，每条插入语句建立一组传输通道，所述一组传输通道包括至少两条传输通道。

上述方案中，获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库，包括：如果满足切换条件，则从第一组传输通道切换到第二组传输通道。

上述方案中，所述满足切换条件包括如下至少一种：所述传输通道传输数据的传输时长满足预设时长；所述传输通道传输数据的传输速度满足预设速度；所述传输通道传输数据的传输功率满足预设功率。

上述方案中，从第一组传输通道切换到第二组传输通道，还包括：当接收到切换信号，则停止读取向所述第一组传输通道传输的待传输数据，并向所述第一组传输通道对应的子数据库发送结束连接的请求。

上述方案中，所述从第一组传输通道切换到第二组传输通道后，包括：所述第一组传输通道传输的数据进行数据入库；当所述第一组传输通道传输的数据完成所述数据入库后，所述数据库与所述服务器之间重新建立所述第一组传输通道。

根据本发明实施例的另一方面，提供一种数据传输装置，所述装置包括：传输模块，用于基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括与所述传输通道对应的网络地址；获取模块，用于获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。

根据本发明实施例的另一方面，提供一种电子设备，所述电子设备包括：存储器、处理器以及存储在存储器被处理器运行的可响应程序，所述处理器运行所述可响应程序时响应上述任一项所述的快速展示图纸的数据传输方法的步骤。

本发明所提供的一种数据传输方法和装置，基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括：与所述传输通道对应的网络地址；获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。也就是说，本方案在获取待传输数据前，先向数据库发送插入语句，使服务器与数据库之间建立传输通道，传输通道建立后，直接进行数据传输，不需要获取大量待传输数据存储在本地服务器的内存中，而是直接传输至对应的数据库中，从而更加高效、灵活的进行数据传输。

附图说明

图1为本发明实施例提供的一种数据传输方法的实现流程示意图；

图2为本发明实施例提供的另一实现流程示意图；

图3为本发明实施例提供的另一实现流程示意图；

图4为本发明实施例提供的另一具体场景的示意图。

具体实施方式

为了能够更加详尽地了解本发明的特点与技术内容，下面结合附图对本发明的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本发明。

图1为本发明实施例提供的一种快速展示图纸的数据传输方法的实现流程示意图，如图1所示，方法包括：

步骤S101，基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括：与所述传输通道对应的网络地址；

具体来说，与现有技术不同在于本发明在获取待传输数据前，进行的传输通道连接，在传输通道建立完成后，再获取待传输数据，进而传输至数据库。

进一步，本地服务器安装有数据库工具，数据库工具启动后,本地服务器首先向数据库发送插入语句，也就是，本地服务器向数据库发送insert语句，在数据库获取insert语句后，对insert语句进行解析，从而获取到insert语句中的目标表和外部表，外部表中包含指定的网络地址。也就是说，insert语句相当于给数据库发出了一个命令，指挥数据库从外部表读取数据，这时数据库的既有逻辑会主动让所有数据库的子数据库连接外部表中指定的网络地址，从而形成传输通道。

步骤S102，获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库；

具体来说，服务器与数据库之间形成传输通道后，服务器再从来源客户端获取的待传输数据，将所述待传输数据通过传输通道直接传输至数据库，无需在服务器的内存中存储。

进一步，在服务器获取待传输数据前，来源客户端(数据采集设备)可以通过HTTP建立与服务器的连接，实时通过网络向服务器请求发送数据。服务器使用高并发技术可以同时服务数万客户端。每个正在被服务的客户端会在服务器处有一个协程服务。

在另一实施例中，如图2所示，所述基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：

步骤S201，所述基于预设的网络传输协议向数据库发送插入语句，以便于所述数据库得到所述插入语句并解析，得到所述外部表名称；

步骤S202，根据所述外部表名称，得到所述传输通道对应的网络地址；

步骤S203，根据所述传输通道对应的网络地址，所述数据库与所述服务器之间建立传输通道；

具体来说，插入语句的完整的语句是insert into<目标表>select...from<外部表>；首先发起并维持多个INSERT INTO<目标表>SELECT*FROM<外部表>的语句。此处与以往现有技术均不相同，并非遵循数据接收＝》整理＝》存储＝》加载的常规思路，而是提前发起加载的SQL语句。

在另一实施例中，根据所述外部表名称，得到所述传输通道对应的网络地址后，包括：接收至少一个子数据库发送的连接请求，从而建立所述至少一个子数据库与所述服务器之间的所述传输通道；其中，所述数据库包括至少一个子数据库。

具体来说，数据库拥有至少一个子数据库，当insert语句发起后，由外部表既有特性，每个insert语句会使每个子数据库的实例Segment发起一个到服务器的连接。该模块会对每个连接使用一个协程进行服务。因此当此模块发起了M个insert语句，且数据库集群包括N个Segment时，同时会收到M*N个请求，每个请求由一个协程服务。此模块的功能是向数据库传输数据，数据库一端收到数据会完成后续解析、分发、压缩、写盘等操作(复用GPFDist和外部表既有功能)。

在另一实施例中，基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：基于预设的网络传输协议向所述数据库发送至少两条插入语句，以使得所述数据库与所述服务器之间建立至少两组传输通道；其中，每条插入语句建立一组传输通道，所述一组传输通道包括至少两条传输通道。

具体来说，当发起的M个insert语句中，我们给每个insert编号如I1，I2，I3...，此处I1相当于第一组传输通道，I2相当于第二组传输通道，在服务的每个连接都属于一个确定的insert语句，可以记为I1(C1,C2,...Cn)，此处C1相当于第一组中的第一条传输通道，此处C2相当于第二组中的第二条传输通道。引入一个当前insert语句的概念，当加载一开始，当前insert语句是1号，其他2～M号insert是等待状态。

在另一实施例中，还包括：数据通信管道，设数据注入模块有X个协程，每个协程接收了一个微批的数据需要加载。引入一个高效无锁通信管道，将X个数据输入模块的数据无锁地导向当前insert语句所创建的N个数据连接服务模块I1(C1,C2,...Cn)。每个微批会且只会被一个连接C接收到，进而传输到某个Segment上入库。

现实中此管道模块可以(并非必须)用Golang语言的channel特性实现。Channel一方面允许多个并发的协程写入一个Channel，而不会相互干扰或竞争，另一方面允许多个并发的协程从该Channel读取数据，当一条数据被某一个读取者读到，则其他读取者不会重复读取本条数据，且只要有读取者，就会保证所有数据都被读到，不会遗漏。同时该Channel内部实现保证所有N个读取者都有均等的机会读取到数据，不发生明显的倾斜。

在另一实施例中，获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库，包括：如果满足切换条件，则从第一组传输通道切换到第二组传输通道。

具体来说，当一组传输通道传输状态到达一定程度时，需要从第一传输通道切换到第二传输通道，从而保证传输通道拥有良好的传输状态，同时方便用户使用。

在另一实施例中，所述满足切换条件包括如下至少一种：所述传输通道传输数据的传输时长满足预设时长；所述传输通道传输数据的传输速度满足预设速度；所述传输通道传输数据的传输功率满足预设功率。

具体来说，可以根据传输时长判断是否应该切换传输通道，例如：当传输通道的传输时长到达1秒，则切换传输通道；也可以是当传输通道的传输时长到达0.5秒，则切换传输通道；可以是根据传输速度判断是否应该切换传输通道，例如：当传输速度低于10M/s，则切换传输通道；还可以是当传输速度高于30M/s，则切换传输通道；可以是根据传输功率判断是否应该切换传输通道，例如：当传输功率低于1W/s，则切换传输通道；还可以是当传输功率高于5W/s，则切换传输通道。

在另一实施例中，从第一组传输通道切换到第二组传输通道，还包括：当接收到切换信号，则停止读取向所述第一组传输通道传输的待传输数据，并向所述第一组传输通道对应的子数据库发送结束连接的请求。

具体来说，当接收到切换信号后，首先停止读取当前传输通道的待传输数据，并发出结束连接的请求，从而在切换通道的过程中实现无缝切换。

在另一实施例中，所述从第一组传输通道切换到第二组传输通道后，包括：

步骤S301，所述第一组传输通道传输的数据进行数据入库；

步骤S302，当所述第一组传输通道传输的数据完成所述数据入库后，所述数据库与所述服务器之间重新建立所述第一组传输通道；

具体来说，当前传输通路传输一定时长后，第一组传输通道需要切换至第二组传输通道，目的是为了可以使第一传输通道进行入库，在入库完成后，用户才可以查看入库的传输数据，从而实现传输的过程中不影响用户的使用。当第一传输通道入库完成后，第一传输通道重新建立，传输通道可能刚从第二传输通道切换至第三传输通道，当第一传输通道建立成功后等待轮询，当第三传输通道切换至第四传输通道后，从第四传输通道切换至第一传输通道，此时，第四传输通道进行入库，完成入库后重新建立第四传输通道，以此类推，轮询切换。

在另一个实施例中，如图4所示，一种具体场景，状态建立后，流式数据由X个来源注入时，可以立即被C1～Cn接收并传输到数据库的各个Segment，此过程中间环节不发生数据写入文件或磁盘，在内存中驻留的时间也极短，不需要开辟专门的内存块进行暂存。此过程持续一段时间后(通常是几毫秒到几秒，由用户或程序设置)或发送了一定量的数据口(由用户或程序设置)，控制调度模块发出一次信号，I1下的C1～Cn接收到信号，不再读取数据通信管道的数据，并向Segment发送EOF结束连接。与此同时I2的C1～Cn接收到信号，开始读取数据通信管道，I2成为当前insert。此控制逻辑使得数据通信管道始终有一个当前的insert语句在读取数据，使得数据注入端的数据始终能被迅速处理发送到Segment，保证了流式加载的平稳和低延迟。与此同时，I1这个insert语句的所有C1～Cn在发送EOF后，Segment侧接会结束连接，然后结束insert语句，最终I1插入的数据最终完成入库。

控制调度模块发现I1完成后，会再提交一个新的insert语句，记为I1-1，同样会建立C1～Cn。

当I2接收一定数量的数据、或达到一定时间时，控制调度模块再次发出信号，I2结束、I3成为当前insert。如此迭代。

此后每当一个insert语句完成后，控制调度模块都立即发出一个新的insert语句替代已结束的位置。

如此重复，当Im结束时，I1-1成为当前insert。I1-*到Im-*逻辑上组成一个环状，依次成为当前insert，无限循环下去。此过程中，始终保持有一个当前的insert语句存在，其连接C1～Cn在读取数据通信管道的数据。即可保证数据注入侧的数据始终可以被实时地发送到数据库Segments。

与现有技术区别，本发明在数据到达之前，提前发起INSERT语句，建立通了往数据库Segment的数据通道。

这个特点保证了数据到达时无需再进行暂存、转储，而是直接进入数据库。这个方法带来的明显优势是：1.去除中间环节的资源开销、从而使单位数据量的处理效率更高，成本更低，速度更快；2.实时性最优，在高吞吐量的同时，到达的数据可以即时入库，延时在毫秒～秒级，不像COPY或GPFDist将大批量历史数据进行集中加载，延时在小时～天级。

在另一个实施例中，本发明提供了一种数据传输装置，装置包括：传输模块，用于基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括与所述传输通道对应的网络地址；获取模块，用于获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。

在另一个实施例中，本发明还提供一种电子设备，电子设备包括：存储器、处理器以及存储在存储器被处理器运行的可响应程序，其特征在于，处理器运行可响应程序时响应的快速展示图纸的数据传输方法的步骤。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必须的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出的贡献的部分可以以软件产品的形式展现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

最后，还需要说明的是，在本文中，诸如第一、第二、第三和第四等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，二不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种数据传输方法，其特征在于，应用于服务器，所述方法包括：

基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括：与所述传输通道对应的网络地址；

获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。

2.根据权利要求1所述的方法，其特征在于，所述基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：

所述基于预设的网络传输协议向数据库发送插入语句，以便于所述数据库得到所述插入语句并解析，得到所述外部表名称；

根据所述外部表名称，得到所述传输通道对应的网络地址；

根据所述传输通道对应的网络地址，所述数据库与所述服务器之间建立传输通道。

3.根据权利要求2所述的方法，其特征在于，根据所述外部表名称，得到所述传输通道对应的网络地址后，包括：

接收至少一个子数据库发送的连接请求，从而建立所述至少一个子数据库与所述服务器之间的所述传输通道；

其中，所述数据库包括至少一个子数据库。

4.根据权利要求3所述的方法，其特征在于，基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道，包括：

基于预设的网络传输协议向所述数据库发送至少两条插入语句，以使得所述数据库与所述服务器之间建立至少两组传输通道；

其中，每条插入语句建立一组传输通道，所述一组传输通道包括至少两条传输通道。

5.根据权利要求4所述的方法，其特征在于，获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库，包括：

如果满足切换条件，则从第一组传输通道切换到第二组传输通道。

6.根据权利要求5所述的方法，其特征在于，所述满足切换条件包括如下至少一种：

所述传输通道传输数据的传输时长满足预设时长；

所述传输通道传输数据的传输速度满足预设速度；

所述传输通道传输数据的传输功率满足预设功率。

7.根据权利要求6所述的方法，其特征在于，从第一组传输通道切换到第二组传输通道，还包括：

当接收到切换信号，则停止读取向所述第一组传输通道传输的待传输数据，并向所述第一组传输通道对应的子数据库发送结束连接的请求。

8.根据权利要求7所述的方法，其特征在于，所述从第一组传输通道切换到第二组传输通道后，包括：

所述第一组传输通道传输的数据进行数据入库；

当所述第一组传输通道传输的数据完成所述数据入库后，所述数据库与所述服务器之间重新建立所述第一组传输通道。

9.一种数据传输装置，其特征在于，所述装置包括：

传输模块，用于基于预设的网络传输协议向数据库发送插入语句，以使得所述数据库与所述服务器之间建立传输通道；其中，所述插入语句包括与所述传输通道对应的网络地址；

获取模块，用于获取待传输数据，基于所述传输通道传输所述待传输数据至所述数据库。

10.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器以及存储在存储器被处理器运行的可响应程序，其特征在于，所述处理器运行所述可响应程序时响应如权利要求1至8任一项所述的数据传输方法的步骤。

Images