CN103945013A

CN103945013A - 数据传输接口装置和数据传输方法

Info

Publication number: CN103945013A
Application number: CN201310018321.XA
Authority: CN
Inventors: 吴雨果; 聂志; 李晓阳; 朱庆昌
Original assignee: FOUNDER BROADBAND NETWORK SERVICE Co Ltd
Current assignee: FOUNDER BROADBAND NETWORK SERVICE Co Ltd
Priority date: 2013-01-17
Filing date: 2013-01-17
Publication date: 2014-07-23

Abstract

本发明提供了一种数据传输接口装置，所述数据传输接口装置连接在缓存系统和数据库之间，包括：数据接收单元，用于接收来自所述缓存系统的消息数据；数据解析单元，用于对所述消息数据进行解析，以获取消息内容；数据写入单元，用于将所述消息内容写入所述数据库。本发明还提出了一种数据传输方法。通过本发明的技术方案，可以通过独立的数据传输接口实现缓存数据向数据库的写入，避免数据写入速度对缓存系统造成性能限制。

Description

数据传输接口装置和数据传输方法

技术领域

本发明涉及数据传输技术领域，具体而言，涉及一种数据传输接口装置和一种数据传输方法。

背景技术

在ISP（Internet Service Provider，互联网服务提供商）提供服务的网络内，需要由缓存系统对用户请求的网络资源进行内部缓存，从而当其他用户再次请求同样资源时，系统可以通过捕获用户请求，将已缓存资源提供给用户，使用户不必再通过网关出口向外部互联网请求，从而达到增强用户体验，节约带宽成本的目的。

但缓存系统在运行过程中，需要记录大量数据并存入数据库，作为缓存记录及用以数据分析。由于系统与数据库交互的I/O（Input/Output，输入/输出）时间相对较长，在高并发的状态下，数据库I/O可能成为性能瓶颈。

因此，需要一种新的数据传输技术，可以通过独立的数据传输接口实现缓存数据向数据库的写入，避免数据写入速度对缓存系统造成性能限制。

发明内容

本发明正是基于上述问题，提出了一种新的数据传输技术，可以通过独立的数据传输接口实现缓存数据向数据库的写入，避免数据写入速度对缓存系统造成性能限制。

有鉴于此，本发明提出了一种数据传输接口装置，所述数据传输接口装置连接在缓存系统和数据库之间，包括：数据接收单元，用于接收来自所述缓存系统的消息数据；数据解析单元，用于对所述消息数据进行解析，以获取消息内容；数据写入单元，用于将所述消息内容写入所述数据库。

在该技术方案中，缓存系统中用于对用户网络请求起到实际缓存作用的功能模块位于ISP运营的整个范围，其模式为后台运行。缓存系统通过将系统实时连接数、系统历史流量记录、系统日志、缓存文件相关信息等写入到数据库中，从而对于网络管理员等，可以通过网页系统（如基于php的网页系统）对写入数据库中的信息进行查看以及统计图的绘制等。由于数据库写入并不一定要求高效率实时更新，因而通过建立单独于缓存系统和数据库的数据传输接口，可以实时高速地获取来自缓存系统的消息数据，同时当数据库的写入速度一定的情况下，可以将消息数据暂存在数据传输接口中，不会对消息数据的接收造成影响，避免形成数据传输瓶颈，从而保证缓存系统的性能高效。具体地，这里的消息数据包括系统实时连接数，系统产生流量，系统日志，缓存文件信息等。

根据本发明的又一方面，还提出了一种数据传输方法，包括：步骤202，接收来自缓存系统的消息数据；步骤204，对所述消息数据进行解析，以获取消息内容；步骤206，将所述消息内容写入数据库。

在该技术方案中，缓存系统中用于对用户网络请求起到实际缓存作用的功能模块位于ISP运营的整个范围，其模式为后台运行。缓存系统通过将系统实时连接数、系统历史流量记录、系统日志、缓存文件相关信息等写入到数据库中，从而对于网络管理员等，可以通过网页系统（如基于php的网页系统）对写入数据库中的信息进行查看以及统计图的绘制等由于数据库写入并不一定要求高效率实时更新，因而通过建立单独于缓存系统和数据库的数据传输接口，可以实时高速地获取来自缓存系统的消息数据，同时当数据库的写入速度一定的情况下，可以将消息数据暂存在数据传输接口中，不会对消息数据的接收造成影响，避免形成数据传输瓶颈，从而保证缓存系统的性能高效。具体地，这里的消息数据包括系统实时连接数，系统产生流量，系统日志，缓存文件信息等。

通过以上技术方案，可以通过独立的数据传输接口实现缓存数据向数据库的写入，避免数据写入速度对缓存系统造成性能限制。

附图说明

图1示出了根据本发明的实施例的数据传输接口装置的框图；

图2示出了根据本发明的实施例的数据传输方法的流程图；

图3示出了根据本发明的实施例的消息数据的结构示意图；

图4示出了根据本发明的实施例的消息数据的消息内容的结构示意图；

图5示出了根据本发明的实施例的临时表的结构示意图；

图6示出了根据本发明的实施例的接收消息数据的流程图；

图7示出了根据本发明的实施例的将消息内容插入临时表的流程图；

图8示出了根据本发明的实施例的将临时表中的消息内容写入数据库的流程图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。

图1示出了根据本发明的实施例的数据传输接口装置的框图。

如图1所示，根据本发明的实施例的数据传输接口装置100，所述数据传输接口装置100连接在缓存系统和数据库之间，包括：数据接收单元102，用于接收来自所述缓存系统的消息数据；数据解析单元104，用于对所述消息数据进行解析，以获取消息内容；数据写入单元106，用于将所述消息内容写入所述数据库。

在上述技术方案中，优选地，所述数据接收单元102采用进程间通信（IPC，Inter-Process Communication）的方式接收所述消息数据。

在该技术方案中，通过采用进程间通信的方式获取消息数据，尤其可以采用命名管道机制，从而更好地实现对来自缓存系统的消息数据的循环接收，避免消息数据的阻塞。

在上述技术方案中，优选地，所述数据接收单元102还建立消息队列，并将接收到的所述消息数据加入所述消息队列中，以由所述数据解析单元104从所述消息队列中获取所述消息数据。

在该技术方案中，通过建立消息队列，可以建立基于该消息队列的缓冲机制，从而便于快速响应对消息数据的接收，避免发生数据阻塞而导致效率降低。

在上述技术方案中，优选地，还包括：数据暂存单元108，用于将所述消息内容存储至临时表中，以由所述数据写入单元106按照预设时间间隔将所述临时表中指定位置的消息内容写入所述数据库。

在该技术方案中，由于数据传输接口作为程序，与数据库接口交互的效率不高。在实际运行环境中，每秒可能有成百上千用户请求，若每个请求产生n个消息数据，则会产生n倍于用户请求的数据库消息，而频繁交互会带来性能下降。因此采用的方法是将解析后的消息内容先存入临时表中，并定时从临时表取出消息内容以进行批量写入数据库的操作，减轻数据库I/O负荷，提高写入效率。

在上述技术方案中，优选地，所述临时表包含多个节点，则所述数据暂存单元108包括：节点确定子单元1082，用于在所述多个节点中确定每条消息内容的当前插入节点；数据插入子单元1084，用于将所述消息内容存储至所述当前插入节点；以及所述数据写入单元106将所述多个节点中的头节点内的消息内容写入所述数据库，并依次将其余节点的位置前移以填充所述头节点。

在该技术方案中，将临时表建立为多个节点的形式，头节点即位于一端的第一个节点，设定每次从这个节点中取出消息内容并写入数据库，然后将之后的节点前移，比如第二个节点变成头节点，第三个节点变成第二个节点，以便执行下次写入操作。

在上述技术方案中，优选地，还包括：数量记录单元110，用于在所述数据写入单元106将所述消息内容写入所述数据库前后，分别记录所述临时表中的节点总数；以及时间间隔调整单元112，用于根据前后记录的节点总数之差，调整所述时间间隔的大小。

在该技术方案中，通过对节点总数的记录，从而判断出当前的消息数据的获取和写入速度的快慢，从而当获取速度快时，缩短时间间隔以加快写入速度，当获取速度慢时，增加时间间隔以降低写入速度，从而使临时表中的容量保持动态平衡，同时保证数据库I/O动作频率适中，提升效率。

在上述技术方案中，优选地，还包括：数据转换单元114，用于将所述消息内容转换为符合所述数据库的存储特性的数据结构，以由所述数据暂存单元108将转换后的数据结构存储至所述临时表中。

在该技术方案中，通过对消息内容的格式转换，从而方便直接将其写入数据库中，有利于加快写入速度，提升运行效率。

图2示出了根据本发明的实施例的数据传输方法的流程图。

如图2所示，根据本发明的实施例的数据传输方法，包括：步骤202，接收来自缓存系统的消息数据；步骤204，对所述消息数据进行解析，以获取消息内容；步骤206，将所述消息内容写入数据库。

在该技术方案中，缓存系统中用于对用户网络请求起到实际缓存作用的功能模块位于ISP运营的整个范围，其模式为后台运行。缓存系统通过将系统实时连接数、系统历史流量记录、系统日志、缓存文件相关信息等写入到数据库中，从而对于网络管理员等，可以通过网页系统（如基于php的网页系统）对写入数据库中的信息进行查看以及统计图的绘制等由于数据库写入并不一定要求高效率实时更新，因而通过建立单独于缓存系统和数据库的数据传输接口，可以实时高速地获取来自缓存系统的消息数据，同时当数据库的写入速度一定的情况下，可以将消息数据暂存在数据传输接口中，不会对消息数据的接收造成影响，避免形成数据传输瓶颈，从而保证缓存系统的性能高效。

在上述技术方案中，优选地，所述步骤202包括：采用进程间通信的方式接收所述消息数据。

其中，为了便于在不同模块之间进行消息数据的传输，还可以在缓存系统中对消息数据的结构进行统一设置。比如这里的消息数据主要包括系统实时连接数，系统产生流量，系统日志，缓存文件信息等，可以在生成这些消息数据时，使用同一的数据结构。具体如图3所示，可以将消息数据分为消息头和消息内容。消息头又分为“类型”和“消息内容长度”，其中，“类型”占用1byte（字节），“消息内容长度”占用4byte，因此可以首先接收5byte的数据流，从中解析出具体的“类型”和“消息内容长度”之后，比如“消息内容长度”为20byte，则再接收20byte的数据，从而完整地实现了对该条消息数据的接收。

在上述技术方案中，优选地，所述步骤202还包括：建立消息队列，将所述消息数据加入所述消息队列中；以及所述步骤204还包括：从所述消息队列中获取所述消息数据，以供解析出所述消息内容。

在上述技术方案中，优选地，所述步骤204之后，还包括：将所述消息内容存储至临时表中；以及所述步骤206包括：按照预设时间间隔将所述临时表中指定位置的消息内容写入所述数据库。

具体地，在获取图3所示结构的消息数据之后，还需要对其进行进一步解析才能存入临时表中。为了便于解析，可以对“消息内容”的数据格式进行预先设定，比如图4所示，对于连接数信息、流量信息、日志信息等，前10byte为时间戳，对于缓存文件信息，前4byte为url长度。因此，根据对消息数据的消息头进行解析后，假定当前解析得到该消息数据为日志信息，且消息内容长度为20byte，则可以自动获取前10byte的“时间戳”，剩余10byte即为“日志格式”信息。然后基于得到的各类消息数据，存储为对应形式的数据结构，比如：

连接数={1，-1}

流量信息=<上传流量，下载流量>

日志信息=原始消息字符串

缓存信息=<字段1，值>-><字段2，值>-><字段3，值>-><字段4，值>->……

最后，根据上述数据结构，从而将其存入临时表中。

在上述技术方案中，优选地，所述临时表包含多个节点，则所述将所述消息内容存储至临时表中的步骤包括：在所述多个节点中确定每条消息内容的当前插入节点，并将所述消息内容存储至所述当前插入节点；以及在所述步骤206中，将所述多个节点中的头节点内的消息内容写入所述数据库，并依次将其余节点的位置前移以填充所述头节点。

具体地，临时表是一个以一系列一维数组为节点的一维数组，其结构如图5所示，每列（如head、head+1等）为一个数组，多个“内容”构成一个数组。每个“内容”为一个二元的复合数据结构，即<key,content>，其中对流量/日志/连接数，key为时间戳，对缓存文件信息，key为url；content即为上述所示的各类型消息数据的消息内容的数据结构（如流量信息=<上传流量，下载流量>）。每个数据列为一个节点，临时表中的head节点即头节点，是起始端，tail节点为尾节点，是结尾端，而当前插入点则指向了当前消息数据允许插入的节点位置。

在上述技术方案中，优选地，还包括：在所述步骤206前后，分别记录所述临时表中的节点总数，并根据前后记录的节点总数之差，调整所述时间间隔的大小。

在上述技术方案中，优选地，所述步骤204还包括：将所述消息内容转换为符合所述数据库的存储特性的数据结构，从而将转换后的数据结构存储至所述临时表中。

图6示出了根据本发明的实施例的接收消息数据的流程图。

如图6所示，根据本发明的实施例的接收消息数据的流程包括：

步骤602，初始化数据库信息。

步骤604，初始化通信接口。

步骤606，申请临时表队列内容空间。

步骤608，初始化线程池，设置线程优先级。

步骤610，经过上述所有步骤，实现了对整个缓存系统、数据库、数据传输接口装置构成的系统的初始化，则数据传输接口装置可以开始从缓存系统接收消息数据。在缓存系统中，关注的信息主要包括四类：系统实时连接数、系统产生流量、系统日志、缓存文件信息，因此在接收时，为提高处理效率，可以设置四个线程分别对每类信息进行接收。

在接收消息数据的过程中，可以采用IPC方式循环接收缓存系统发送的消息数据。linux平台下IPC的方式包括socket，管道，共享内存，消息队列等。对这些方式筛选如下：

a.本接口与缓存系统部署在同一台服务器，因此不采用通讯效率相对低的socket方式。

b.本接口并不是缓存程序fork的子进程，因此不能使用匿名管道。

c.由于缓存系统需要保持高并发高处理效率，且每次处理请求后内存都会进行重置，不适合使用共享内存。

d.消息队列在读取时需要考虑残留信息，增加程序复杂度。

e.命名管道机制的效率高于socket，适用于任何进程，不必考虑残留信息。

综上所述，选择采用命名管道机制进行IPC通信。

此外，接收消息数据之后，并不立刻进行后续处理，而是暂时放入一个消息队列（非IPC中的消息队列），后续功能模块再从消息队列中取出数据进行处理。此机制目的在于以消息队列作为缓冲，可以快速响应缓存系统的消息事件，不会因为发生阻塞而降低效率。

图7示出了根据本发明的实施例的将消息内容插入临时表的流程图。

如图7所示，根据本发明的实施例的将消息内容插入临时表的流程包括：

步骤702，取出队列头信息，即结构如图3所示的消息数据。由于对消息数据的解析和存入临时表的流程是串行的，因而为提高处理效率，可以采用多线程抢占的方式来获取消息队列头。若干线程抢占一个线程锁，抢到锁的线程取出队列头，然后释放锁，进行数据解析。其余线程继续抢锁。

步骤704，解析消息数据，包括对消息头和消息内容的解析。

步骤706，判断临时表是否处于写保护状态，若是，则继续等待，若为否，则进入步骤708。

步骤708，确定当前需要插入临时表中的消息数据，并为临时表加锁，即设置写保护，避免其他消息数据的插入。

步骤710，确定当前插入节点，具体地，可以采用二分插入法确定位置。

步骤712，由于在实际环境下，连接数、流量等可能在单位时间内有多条信息产生，因此在插入的过程中，对于相同时间戳的以上信息，需要将其对应的值进行累计。如在时间戳为10000的时刻内有三条连接数信息，分别为连接数+1，+1，-1，则插入到临时表中的某节点，其key=10000，content=1，以此类推。

步骤714，将累计值覆盖原数据。

步骤716，插入临时表队列。

步骤718，记录队列中的消息数量。

步骤720，临时表的每列存在一个预设的最大数量，若达到该最大数量，则进入步骤722，否则进入步骤724。

步骤722，移动插入点，具体地，可以将当前插入点向后移动一位，下次插入时则向该位置对应的列插入，比如从head+3列移动至head+4列。

步骤724，释放写保护，并返回步骤702，执行下一条消息数据的解析和插入。

如图8所示，根据本发明的实施例的将临时表中的消息内容写入数据库的流程包括：

步骤802，设置定时时长，以便按照该时长定时将临时表中指定位置的数据写入数据库中。

定时时长对应于步骤804的睡眠时间。睡眠时间是动态变化的，具体变化规则为：首先有一个初始睡眠时间，如1秒。当一次将临时表中的数据写入数据库的操作完成后，记录当前临时表总数据节点数n1，获取上一次记录的临时表总数据节点数n2（通常为上一次将消息数据写入临时表的操作完成后记录的），若n1>n2，则在初始睡眠时间的基础上减去一个时间微量，即缩短睡眠时间；若n1<n2，则加上一个时间微量，即延长睡眠时间；若n1=n2，则睡眠时间不变。设定此机制的原因在于根据当前数据流入（将数据插入临时表）量的变换调整数据流出（取出临时表中的数据写入数据库）量，使临时表容量保持动态平衡，同时保证数据库I/O动作频率适中，提升效率。

步骤804，若未达到预设时长对应的时间点，则睡眠，若到达时间点，则进入步骤806。

步骤806，判断当前临时表是否为空，若是，则返回步骤804，否则进入步骤808。

步骤808，判断头指针是否等于当前插入点，即判断是否存在消息数据对应的当前插入点为头节点，若是，则为了避免插入时线程不安全，可以将当前插入点向后移一位，并对临时表的写入线程进行写保护。若判断为否，则进入步骤812。

步骤810，设置写保护。

步骤812，取出临时表队列头，即头节点中的数据。

步骤814，将队列头对应的表内容存入数据库。

步骤816，释放写保护。同时，对于临时表而言，写入完毕后，清空临时表头节点对应的数据列，并将其的位置设置为tail，其余各节点的位置依次向前提一位，即原来head+1变为head，原来head+2变为head+1，以此类推。

以上结合附图详细说明了本发明的技术方案，考虑到相关技术中的缓存系统与数据库之间的数据交互效率受限，因此，本发明提供了一种数据传输接口装置和一种数据传输方法可以通过独立的数据传输接口实现缓存数据向数据库的写入，避免数据写入速度对缓存系统造成性能限制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据传输接口装置，其特征在于，所述数据传输接口装置连接在缓存系统和数据库之间，包括：

数据接收单元，用于接收来自所述缓存系统的消息数据；

数据解析单元，用于对所述消息数据进行解析，以获取消息内容；

数据写入单元，用于将所述消息内容写入所述数据库。

2.根据权利要求1所述的数据传输接口装置，其特征在于，所述数据接收单元采用进程间通信的方式接收所述消息数据。

3.根据权利要求1或2所述的数据传输接口装置，其特征在于，所述数据接收单元还建立消息队列，并将接收到的所述消息数据加入所述消息队列中，以由所述数据解析单元从所述消息队列中获取所述消息数据。

4.根据权利要求1或2所述的数据传输接口装置，其特征在于，还包括：

数据暂存单元，用于将所述消息内容存储至临时表中，以由所述数据写入单元按照预设时间间隔将所述临时表中指定位置的消息内容写入所述数据库。

5.根据权利要求4所述的数据传输接口装置，其特征在于，所述临时表包含多个节点，则所述数据暂存单元包括：

节点确定子单元，用于在所述多个节点中确定每条消息内容的当前插入节点；

数据插入子单元，用于将所述消息内容存储至所述当前插入节点；以及

所述数据写入单元将所述多个节点中的头节点内的消息内容写入所述数据库，并依次将其余节点的位置前移以填充所述头节点。

6.根据权利要求5所述的数据传输接口装置，其特征在于，还包括：

数量记录单元，用于在所述数据写入单元将所述消息内容写入所述数据库前后，分别记录所述临时表中的节点总数；以及

时间间隔调整单元，用于根据前后记录的节点总数之差，调整所述时间间隔的大小。

7.根据权利要求4所述的数据传输接口装置，其特征在于，还包括：

数据转换单元，用于将所述消息内容转换为符合所述数据库的存储特性的数据结构，以由所述数据暂存单元将转换后的数据结构存储至所述临时表中。

8.一种数据传输方法，其特征在于，包括：

步骤202，接收来自缓存系统的消息数据；

步骤204，对所述消息数据进行解析，以获取消息内容；

步骤206，将所述消息内容写入数据库。

9.根据权利要求8所述的数据传输方法，其特征在于，所述步骤202包括：

采用进程间通信的方式接收所述消息数据。

10.根据权利要求8或9所述的数据传输方法，其特征在于，所述步骤202还包括：

建立消息队列，将所述消息数据加入所述消息队列中；以及

所述步骤204还包括：

从所述消息队列中获取所述消息数据，以供解析出所述消息内容。

11.根据权利要求8或9所述的数据传输方法，其特征在于，所述步骤204之后，还包括：

将所述消息内容存储至临时表中；以及

所述步骤206包括：

按照预设时间间隔将所述临时表中指定位置的消息内容写入所述数据库。

12.根据权利要求11所述的数据传输方法，其特征在于，所述临时表包含多个节点，则所述将所述消息内容存储至临时表中的步骤包括：

在所述多个节点中确定每条消息内容的当前插入节点，并将所述消息内容存储至所述当前插入节点；以及

在所述步骤206中，将所述多个节点中的头节点内的消息内容写入所述数据库，并依次将其余节点的位置前移以填充所述头节点。

13.根据权利要求12所述的数据传输方法，其特征在于，还包括：

在所述步骤206前后，分别记录所述临时表中的节点总数，并根据前后记录的节点总数之差，调整所述时间间隔的大小。

14.根据权利要求11所述的数据传输方法，其特征在于，所述步骤204还包括：

将所述消息内容转换为符合所述数据库的存储特性的数据结构，从而将转换后的数据结构存储至所述临时表中。