CN101656726A - 一种数据传输方法、服务器和数据传输系统 - Google Patents

Abstract

本发明提供了一种数据传输方法、服务器和数据传输系统，其中的传输方法用于在第一服务器与第二服务器之间进行数据的传输，包括：所述第一服务器执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；所述定时器启动后，所述第一服务器对所述发送操作进行扫描；所述定时器到时后，所述第一服务器判断是否能扫描到所述发送操作；在所述第一服务器能够扫描到所述发送操作时，所述第一服务器重新执行所述发送操作。本发明避免了由于各节点服务器数据大量传输数据至中心管理服务器时消息堵塞而发生数据丢失的情况。通过对该情况数据丢失的处理，保证了业务的连续性，保护了系统业务正常运行。

Description

一种数据传输方法、服务器和数据传输系统

技术领域

本发明涉及多媒体技术领域，尤其涉及一种基于完全分布式网络的视频监控系统中的数据传输方法、服务器和数据传输系统。

背景技术

近年来，随着计算机、网络以及图像处理、传输技术的飞速发展，视频监控技术也有了长足的发展。这种基于宽带网络或移动网络的图像远程传输、管理的新增值业务被越来越多的用户所接受。

该业务利用宽带网络，将分散、独立的图像采集点进行联网，实现跨地域、全范围内的统一监控、统一存储、统一管理、资源共享。

为了满足不断扩展的业务需要，当前的视频监控系统需要采用基于完全分布式的体系结构支持大容量前端设备接入、媒体转发、客户接入及录像存储，以保证在大容量情况下的长期稳定运行。

由于视频监控系统下大量视频监控前端和视频监控客户端都会通过各节点服务器与中心管理服务器进行通信，来存储某些重要数据至中心管理服务器的视频监控业务数据库，这就要求在通过HTTP+XML或者TCP+XML方式传送数据至视频监控业务数据库的过程中防止数据丢失显得尤为重要。而现有的数据传输过程中缺乏一种有效的处理和保护机制来防止各节点服务器与中心管理服务器数据传送过程中的数据丢失。

发明内容

为了解决大量数据在视频监控系统中传输时容易丢失的问题，本发明提供了一种数据传输方法，用于在第一服务器与第二服务器之间进行数据的传输，包括以下步骤：

所述第一服务器执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

所述定时器启动后，所述第一服务器对所述发送操作进行扫描；

所述定时器到时后，所述第一服务器判断是否能扫描到所述发送操作；

在所述第一服务器能够扫描到所述发送操作时，所述第一服务器重新执行所述发送操作。

所述启动一定时器的步骤之前进一步包括步骤：

所述第一服务器接收并存储所述待发送数据。

所述待发送数据存储在所述第一服务器的哈希表中。

所述重新执行所述发送操作的步骤之后进一步包括步骤：

所述第一服务器接收来自所述第二服务器的反馈信息；

所述反馈信息用于通知所述第一服务器删除已经发送出去的所述待发送数据。

所述数据传输方法应用于视频监控系统，所述第一服务器为节点服务器，所述第二服务器为中心管理服务器。

本发明还提供了一种服务器，为第一服务器，用于发送数据给第二服务器，包括：

第一发送模块，用于执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

扫描模块，用于在所述定时器启动后，对所述发送操作进行扫描；

判断模块，用于在所述定时器到时后，判断所述扫描模块是否能扫描到所述发送操作；

第二发送模块，用于在所述扫描模块能够扫描到所述发送操作时，重新执行所述发送操作。

所述第一服务器应用于视频监控系统，所述第一服务器为节点服务器，所述第二服务器为中心管理服务器；

所述第一服务器进一步包括：

第一接收模块，用于接收所述待发送数据；

存储模块，用于将接收到的所述待发送数据进行存储；

所述发送均为转发。

所述待发送数据存储在哈希表中。

所述的服务器进一步包括：

第二接收模块，用于接收来自所述第二服务器的反馈信息；

数据删除模块，用于根据所述反馈信息删除已经发送到所述第二服务器的数据。

本发明进一步提供了一种数据传输系统，包括：第一服务器和第二服务器，所述第一服务器用于发送数据给第二服务器，所述第一服务器包括：

第一发送模块，用于执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

扫描模块，用于在所述定时器启动后，对所述发送操作进行扫描；

判断模块，用于在所述定时器到时后，判断所述扫描模块是否能扫描到所述发送操作；

第二发送模块，用于在所述扫描模块能够扫描到所述发送操作时，重新执行所述发送操作。与现有技术相比，本发明具有以下有益效果：

本发明实施例在视频监控系统的各节点服务器与中心管理服务器之间进行数据传输的过程中，增加了数据存储和定时扫描的过程，通过对存储下来的数据进行定时扫描，将超过业务处理周期的数据重新发送，从而防止了由于大量消息发送至中心管理服务器导致消息堵塞而使得消息丢失的异常情况。通过对该情况下数据丢失的处理，保证了业务的连续性，保护了系统业务的正常运行。本发明还通过删除已经成功发送到中心管理服务器的数据，保证了数据不会重复发送。本发明不仅用于视频监控系统，还可以用于其它需要进行软件业务防止数据丢失的领域。

附图说明

图1为本发明的数据传输方法流程图；

图2为本发明实施例的应用环境部署示意图；

图3为本发明实施例的业务实现流程图；

图4为本发明的服务器结构示意图；

图5为本发明实施例的视频监控系统(包括节点服务器和中心管理服务器)结构示意图。

具体实施方式

本发明的数据传输方法用于第一服务器向第二服务器传输数据，并且防止在数据传输过程中数据丢失。

下面结合附图对本发明的具体实施方式作进一步详细说明。

参考图1，图1为本发明的数据传输方法流程图，包括以下步骤：

步骤1，第一服务器执行将待发送数据发送到第二服务器的发送操作，并启动一定时器；

这里第一服务器发送的待发送数据可以是第一服务器本地存储的数据。启动定时器之后就开始记录本次发送操作的业务流程处理时间。

步骤2，定时器启动后，第一服务器对发送操作进行扫描；

步骤3，定时器到时后，第一服务器判断是否能扫描到发送操作；

第一服务器对发送操作进行扫描的目的是为了判断在待发送数据的业务流程处理时间内是否完成了对待发送数据的发送操作，如果能够扫描到该发送操作，证明数据没有发送成功，如果不能够扫描到该发送操作，则证明数据已经发送成功。

这里的定时器启动后并不是表示一种状态，而是指的一个时间段，定时器启动后进行扫描的含义是指定时器刚开始启动就进行扫描，或者是定时器到时后再扫描，由第一服务器判断是否能扫描到发送操作。

步骤4，在第一服务器能够扫描到发送操作时，第一服务器重新执行发送操作。

第一服务器重新执行发送操作可以保证将所有待发送数据都发送出去，而不会出现数据丢失的情况。

下面以将第一服务器和第二服务器应用于视频监控系统为例，对本发明的数据传输方法进行详细说明。参考图2，图2为本发明实施例的应用环境部署示意图。当应用于视频监控系统中时，第一服务器为节点服务器，第二服务器为中心管理服务器。视频监控前端1和视频监控客户端1通过网络(可以通过移动网络或固定网络)分别与各节点服务器1连接，视频监控系统中可以包括N个视频监控前端以及N个视频监控客户端，分别都通过以上方式与节点服务器连接，各节点服务器再与中心管理服务器相连，来完成向中心管理服务器转发数据。

参考图3，图3为本发明实施例的业务实现流程图，为了实现节点服务器向中心管理服务器转发数据的过程中不发生数据丢失，本发明的数据传输方法在步骤1之前进一步包括：

步骤1’，节点服务器接收待发送数据；

在视频监控系统中，节点服务器接收的待发送数据可以是：视频监控前端或视频监控客户端修改、删除或新增的数据，这些数据具体为：视频监控前端的上下线信息、视频监控前端的配置信息、录像计划、录像文件信息等。这些数据以HTTP+XML方式发送至各节点服务器的业务主线程。

各节点服务器的业务主线程将上述数据信息以TCP+XML方式转发到新开启的ICMS线程。

步骤1”，节点服务器将接收到的待发送数据进行存储；

节点服务器将待发送数据保存在HASH表中。同时，将当前系统时间也进行保存，以便扫描使用。

步骤1具体为：ICMS线程对节点服务器业务主线程传送过来的数据进行转发，并且启动一定时器。

而步骤2具体为：

定时器启动后，ICMS线程定时扫描该HASH表。

步骤3具体为：

定时器到时后，ICMS线程判断数据的转发时间是否超过其业务流程处理所需时间。即，如果转发时间超过其业务流程处理所需时间，则ICMS线程还能够扫描到发送数据的操作，证明本次没有将数据成功发送给中心管理服务器；如果转发时间没有超过其业务流程处理所需时间，则ICMS线程扫描不到发送数据的操作，证明本次成功将数据发送给了中心管理服务器。

步骤4具体为：

在ICMS线程能够扫描到发送数据的操作时，ICMS线程重新将HASH表中该条消息数据取出并发送至中心管理服务器的CMS线程；假如扫描不到发送数据的操作，则退出并等待下一次扫描。

为了保证不对数据进行重复发送，在步骤4之后进一步包括：

步骤5，节点服务器的ICMS线程接收来自中心管理服务器的CMS线程的反馈信息；CMS线程接收ICMS线程发送过来的数据并进行业务处理，CMS线程处理成功数据后回复成功处理消息至ICMS线程。

步骤6，节点服务器根据反馈信息删除已经发送到中心管理服务器的数据，即删除HASH表中已成功发送的数据。

ICMS线程在收到CMS线程成功处理的反馈消息后，删除HASH表中对应消息数据。并且该业务流程处理成功后ICMS线程定时扫描到HASH表中该条消息为空。

参考图4，图4为本发明的服务器结构示意图，本发明的服务器为第一服务器，用于发送数据给第二服务器，并保证在数据发送过程中没有数据丢失，包括：

第一发送模块，用于执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

这里的待发送数据可以是第一服务器本地存储的数据。启动定时器之后就开始记录本次发送操作的业务流程处理时间。

扫描模块，用于在所述定时器启动后，对所述发送操作进行扫描；

判断模块，用于在所述定时器到时后，判断所述扫描模块是否能扫描到所述发送操作；

扫描模块对发送操作进行扫描的目的是为了判断在待发送数据的业务流程处理时间内是否完成了对待发送数据的发送操作，如果能够扫描到该发送操作，证明数据没有发送成功，如果不能够扫描到该发送操作，则证明数据已经发送成功。

第二发送模块，用于在所述扫描模块能够扫描到所述发送操作时，重新执行所述发送操作。

第二发送模块重新执行发送操作可以保证将所有待发送数据都发送出去，而不会出现数据丢失的情况。

第一服务器和第二服务器应用于视频监控系统中时，第一服务器为节点服务器，第二服务器为中心管理服务器。参考图5，图5为本发明实施例的视频监控系统(包括节点服务器和中心管理服务器)结构示意图，图5的节点服务器在图4的基础上，进一步包括：第一接收模块、存储模块、第二接收模块和数据删除模块，其中：

第一接收模块，用于接收所述待发送数据；

在视频监控系统中，第一接收模块接收的待发送数据可以是：视频监控前端或视频监控客户端修改、删除或新增的数据，这些数据具体为：视频监控前端的上下线信息、视频监控前端的配置信息、录像计划、录像文件信息等。这些数据以HTTP+XML方式发送至各节点服务器的业务主线程。

各节点服务器的业务主线程将上述数据信息以TCP+XML方式转发到新开启的ICMS线程。

存储模块，用于将接收到的所述待发送数据进行存储；

存储模块将待发送数据保存在HASH表中。同时，将当前系统时间也进行保存，以便扫描使用。

而第一发送模块，扫描模块，判断模块和第二发送模块的具体实现过程分别对应于步骤1至4所述的流程，在此不再赘述。

第二接收模块和数据删除模块的作用是为了保证不对数据进行重复发送，其中：

第二接收模块，用于接收来自中心管理服务器的反馈信息；

中心管理服务器的CMS线程接收到节点服务器的第二发送模块发送来的数据后，会向节点服务器反馈已经接收到该数据的消息，节点服务器的第二接收模块接收来自中心管理服务器的该反馈信息。

数据删除模块，用于根据所述反馈信息删除已经发送到中心管理服务器的数据。

本发明的中心管理服务器与现有的中心管理服务器的区别在于，在现有技术中，中心管理服务器的CMS线程与节点服务器的业务主线程发生联系，而在本发明中，由于节点服务器为了实现防止数据在传输过程中丢失的目的，新开启了一个ICMS线程，因此，本发明的中心管理服务器开启的CMS线程与节点服务器新开启的ICMS线程发生联系。

并且，为了实现防止数据重复发送的功能，本发明的中心管理服务器增加了反馈功能，该功能可以由反馈模块实现，反馈模块用于在接收到来自节点服务器的监控数据后，向节点服务器发送反馈信息，以使节点服务器根据所述反馈信息删除已经发送到中心管理服务器的监控数据。

本实施例基于完全分布式的网络视频监控系统，各节点服务器向中心管理服务器转发数据防止各节点服务器与中心管理服务器数据传送过程中数据丢失的方法及系统实现，保证了视频监控客户端和视频监控前端在同时修改、新增或删除某些重要数据后无丢失入库。在传输过程中引入增加存储HASH表和定时扫描的方式，防止了由于大量消息发送至中心管理服务器导致消息堵塞而使得消息丢失的异常情况。

本发明不仅仅适用于视频监控业务中实现对中心管理服务器与各节点服务器在数据传输过程中的数据丢失的保护，通过简单变形，该方法也可以应用其它需要进行软件业务防止数据丢失的领域。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种数据传输方法，用于在第一服务器与第二服务器之间进行数据的传输，其特征在于，包括以下步骤：

所述第一服务器执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

所述定时器启动后，所述第一服务器对所述发送操作进行扫描；

所述定时器到时后，所述第一服务器判断是否能扫描到所述发送操作；

在所述第一服务器能够扫描到所述发送操作时，所述第一服务器重新执行所述发送操作。

2.如权利要求1所述的数据传输方法，其特征在于，所述启动一定时器的步骤之前进一步包括步骤：

所述第一服务器接收并存储所述待发送数据。

3.如权利要求1所述的数据传输方法，其特征在于，所述待发送数据存储在所述第一服务器的哈希表中。

4.如权利要求1所述的数据传输方法，其特征在于，所述重新执行所述发送操作的步骤之后进一步包括步骤：

所述第一服务器接收来自所述第二服务器的反馈信息并根据所述反馈信息删除已经发送出去的所述待发送数据。

5.如权利要求2至4中任一项所述的数据传输方法，其特征在于，所述数据传输方法应用于视频监控系统，所述第一服务器为节点服务器，所述第二服务器为中心管理服务器。

6.一种服务器，为第一服务器，用于发送数据给第二服务器，其特征在于，包括：

第一发送模块，用于执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

扫描模块，用于在所述定时器启动后，对所述发送操作进行扫描；

判断模块，用于在所述定时器到时后，判断所述扫描模块是否能扫描到所述发送操作；

第二发送模块，用于在所述扫描模块能够扫描到所述发送操作时，重新执行所述发送操作。

7.如权利要求6所述的服务器，其特征在于，所述第一服务器应用于视频监控系统，所述第一服务器为节点服务器，所述第二服务器为中心管理服务器；

所述第一服务器进一步包括：

第一接收模块，用于接收所述待发送数据；

存储模块，用于将接收到的所述待发送数据进行存储。

8.如权利要求6所述的服务器，其特征在于，所述待发送数据存储在哈希表中。

9.如权利要求5所述的服务器，其特征在于，进一步包括：

第二接收模块，用于接收来自所述第二服务器的反馈信息；

数据删除模块，用于根据所述反馈信息删除已经发送到所述第二服务器的所述待发送数据。

10.一种数据传输系统，其特征在于，包括：第一服务器和第二服务器，所述第一服务器用于发送数据给第二服务器，所述第一服务器包括：

第一发送模块，用于执行将待发送数据发送到所述第二服务器的发送操作，并启动一定时器；

扫描模块，用于在所述定时器启动后，对所述发送操作进行扫描；

判断模块，用于在所述定时器到时后，判断所述扫描模块是否能扫描到所述发送操作；

第二发送模块，用于在所述扫描模块能够扫描到所述发送操作时，重新执行所述发送操作。

Images