CN103795803A

CN103795803A - 一种跨网络环境远程部署分布式数据采集节点的方法

Info

Publication number: CN103795803A
Application number: CN201410051160.9A
Authority: CN
Inventors: 张明; 李建明; 卢向辉
Original assignee: Inspur Communication Information System Co Ltd
Current assignee: Inspur Communication Information System Co Ltd
Priority date: 2014-02-14
Filing date: 2014-02-14
Publication date: 2014-05-14
Anticipated expiration: 2034-02-14
Also published as: CN103795803B

Abstract

本发明提供一种跨网络环境远程部署分布式数据采集节点的方法，该方法用于针对数据采集系统与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议SFTP的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议SFTP把文件传输到数据采集系统中，在保证数据安全性的同时，实现了边采集边传输。

Description

一种跨网络环境远程部署分布式数据采集节点的方法

技术领域

本发明涉及一种计算机应用技术领域, 具体地说是一种跨网络环境远程部署分布式数据采集节点的方法。

背景技术

在信息行业快速发展的今天，数据采集已经被广泛应用于各个行业领域，如电信、教育、医药卫生、交通运输等等。尤其是在电信领域中，有很多业务支撑系统，例如网络性能管理系统（NPM）、设备管理系统（FM）等，都是通过数据采集来获取原始数据。

上述数据采集具有下列特点：

1）数据源分布地域广阔，与数据采集系统相距很远，从数据源到数据采集系统之间路由经过的网络环境复杂，存在网速不稳定、网络易掉线等情况，对数据传输质量产生很大影响；

2）数据源数量众多，并且每个数据源在单位时间内需要输出的原始数据量很大，直接导致采集节点采集到数据量巨大，最终汇总到数据采集系统的数据量为海量数据；

3）采集节点采集的原始数据需要及时传回到后端的数据采集系统中，以确保采集数据的时效性，并且在远程文件传输过程中，需要确保不会造成文件内容的丢失，被窃取或篡改，保证采集数据的完整性；

因此，当前迫切需要一种全新的数据采集机制，来解决远程跨网络采集、海量数据传输、数据时效性和完整性要求高等难题。

发明内容

本发明的目的是提供一种跨网络环境远程部署分布式数据采集节点的方法。

本发明的目的是按以下方式实现的，如图1所示。数据采集系统基于安全文件传送协议（SFTP）向各个前置采集节点下发采集任务（包括数据采集规则、数据采集周期等），前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议（SFTP）上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集系统接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用。

按照上述描述的技术方案，具体的执行步骤如图2所示，说明如下：

步骤101：数据采集系统定期将各个采集节点的采集任务，以安全文件传送协议（SFTP方式下发到各个节点上，采集任务内容包括数据采集规则、数据采集周期等。

步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率。

步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，如果有，进入到步骤104；如果没有，进入到步骤109。

步骤104：将待上传的数据文件进行压缩，然后通过安全文件传送协议（SFTP）传输方式上传到数据采集系统的指定目录下。在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件。如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集系统中。

步骤105：数据采集系统检测到有新上传的采集数据压缩文件后，对压缩文件进行解压处理。

步骤106：数据采集系统将解压后的原始数据文件，存放到指定目录下，供其他上层应用系统使用。

步骤107：前置采集节点将成功上传的原始数据文件名称，记录到已上传文件列表中。

步骤108：前置采集节点根据已采集数据文件列表，判断本次数据采集任务是否已经完成，如果已完成，则进入到步骤109；如果未完成，则进入到步骤103。

步骤109：前置采集节点完成本次采集任务后，会将本次采集到的原始数据文件名称，全部记录到已采集文件列表，供下次采集任务过滤使用。

从上面具体处理过程可以看出，通过采集节点前置，数据采集过程边采集边上传，上传失败的文件能跟随下次采集任务自动上传，以及利用网络空闲通过均匀上传数据文件等措施，可以有效解决跨网络远程采集数据的难题。

本发明的有益效果如下：

本数据采集机制，是针对电信、教育、医药卫生等行业领域的采集特点，如数据源分布地域广阔、数据源数量众多、海量数据传输、数据实时性、安全性、完整性要求高等，提供了一种充分利用现有互联网（internet）网络优势，通过远程分布式部署采集节点，利用安全文件传送协议（SFTP）来上传数据文件的采集机制，比较完善的解决跨网络远程数据采集问题的方法。针对跨网络远程数据采集的问题，针对数据源的位置远程分布式部署采集节点，充分利用现有互联网（internet）网络覆盖面广的优势，通过安全文件传送协议（SFTP）传输文件来保障信息安全，支持文件断点续传，支持大数据量的传输，支持边采集边传输来提高数据的时效性。基于跨网络远程部署分布式数据采集机制，具有的优势是：

1）分布式部署采集节点，拉近与数据源的距离，提高数据采集效率；

2）基于互联网（internet）网络进行安全文件传送协议（SFTP）的文件传输方式，一方面保证文件内容的安全性，另一方面充分利用互联网（internet）网络资源优势，免去了网络专线建设费用；

3）文件上传支持中断续传，能够适应跨网络环境恶劣，网速不稳定的情况；

4）充分利用网络空闲，均匀上传数据文件，避免了文件集中上传带来的网络拥挤；

5）通过边采集边上传原始数据文件，缩短了从数据源到数据采集系统之间的时延，提高采集数据的时效性。

附图说明

图1是本发明的示意框架图；

图2是本发明的具体处理步骤流程图；

图3是本发明针对电信网络的性能管理系统的数据采集的具体实施方式。

具体实施方式：

该方法用于针对数据采集系统与数据源相距很远,连接二者的网络环境复杂，网速不稳定的情况下，将采集节点前置，进行基于安全文件传送协议（Secure File Transfer Protocol，简称SFTP）的文件传输方式的数据采集，针对数据采集的远程跨网络采集、海量数据传输、采集数据时效性和完整性要求高的特点，提供一种跨网络环境远程部署分布式数据采集节点的机制，通过将数据采集节点远程部署，拉近采集节点与数据源的距离，规避了网络环境因素的影响，提高了对原始数据的采集效率。同时采集节点将已经采集好的原始数据进行打包压缩后，基于安全文件传送协议（SFTP）把文件传输到数据采集系统中，在保证数据安全性的同时，实现了边采集边传输。由此带来的好处，一方面保证了采集数据的时效性，使已采集的原始数据能及早进入到数据采集系统中，另一方面充分利用网络带宽空闲，使原始数据以比较均匀的传输速率传输到数据采集系统中，避免了文件集中传输时造成的网络拥挤，从总体上提高数据采集可用性、时效性、安全性、完整性。

以电信领域综合网络管理的性能管理系统（PM系统）为例，来说明本发明的具体应用。性能管理系统是用于对电信网络全网承载的网络负荷管理为基础的管理系统。管理内容包括网络负荷的流量流向管理、网络运行的效率管理、网络资源的配置使用情况管理、呼叫失败的原因分析等。电信网络具有全网覆盖地域广阔，网络设备众多等特点，性能管理系统为了实现对电信网络的有效管理，就必须通过数据采集系统，对网络设备的工作状态包括流量负荷、资源分配、呼叫失败等指标数据进行采集，并将采集数据及时汇总到性能管理系统中，由性能管理系统加工处理后，以监控窗口、报表、告警等方式呈现给网络管理人员。而对于电信网络设备性能指标数据的采集要求，完全符合跨网络环境远程部署分布式数据采集的特征。

如图3所示，针对电信网络的跨网络环境远程部署分布式数据采集的具体实施方式如下：

步骤201：电信网络设备在大多数情况下由设备厂商提供的网元管理系统（简称EMS系统）进行管理，而采集节点需要和EMS系统进行对接，来采集性能数据。所以首先需要和EMS系统制定性能数据文件命名格式、北向文件接口协议。

步骤202：在获取性能文件命名格式和北向文件接口（提供给其他厂家或运营商进行接入和管理的接口）协议之后，需要针对具体的EMS系统，来制定性能数据的采集规则，而采集规则将指导前置采集节点正确的完成性能数据的采集任务。需要注意的是，不同设备厂商的EMS系统要求不同，对应的采集规则也不同相同，甚至同一设备厂商的设备，由于EMS系统的版本不同，也会存在采集规则不相同的情况。

步骤203：安装数据采集的主服务，数据采集主服务器一般都是安装在中心机房，开启安全文件传送协议（SFTP）服务，为各个前置采集节点设置安全外壳协议（Secure Shell，简称SSH）鉴权证书，并且确保主服务器的IP地址能穿过防火墙。

步骤204：安装前置采集节点的应用服务，前置采集服务器一般与EMS系统的服务器相距比较近，开启安全文件传送协议（SFTP）服务，确保能够穿过防火墙。

通过上面的实施方式，完成跨网络环境远程部署分布式数据采集的实施，一旦数据采集系统，下发采集任务到前置采集节点，则采集节点会采集任务进行性能数据文件的采集，并最终完成性能数据文件上传，由数据采集系统汇集所有性能文件，转交给性能管理系统的上层应用模块继续进行处理。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims

1.一种跨网络环境远程部署分布式数据采集节点的方法, 其特征在于内容包括：

数据采集系统基于安全文件传送协议SFTP向各个前置采集节点下发采集任务，任务包括：数据采集规则、数据采集周期，前置采集节点根据采集任务对数据源进行数据采集，在采集数据的同时，前置采集节点对已完成采集的原始数据文件，先进行压缩处理，然后通过安全文件传送协议SFTP上传压缩文件，如果在传输过程中，出现网络异常导致传输失败，前置采集节点记录已传输完成文件列表，下次上传时只传输未上传的文件，数据采集系统接收到上传的压缩文件后，先进行解压处理，然后将解压后原始数据文件，存放到指定目录，后继供上层应用使用；

具体的执行步骤说明如下：

步骤101：数据采集系统定期将各个前置采集节点的采集任务，以安全文件传送协议SFTP方式下发到各个前置采集节点上，采集任务内容包括数据采集规则、数据采集周期；

步骤102：前置采集节点根据采集任务对数据源进行数据采集，采集过程中，根据采集规则和已采集文件列表对数据进行过滤，数据采集周期决定采集节点访问数据源的频率；

步骤103：前置采集节点根据已采集数据文件列表和已上传文件列表，来判断当前是否需要上传文件，有，进入到步骤104；没有，进入到步骤109；

步骤104：前置采集节点将待上传的数据文件进行压缩，然后通过安全文件传送协议SFTP传输方式上传到数据采集系统的指定目录下，在文件上传过程中，先作为临时文件命名方式上传，等文件完全上传成功后，在重命名为正式文件，如果本次上传过程中由于异常原因中止，则下次采集任务的执行过程中，会将未完成上传的文件，一并上传到数据采集系统中；

步骤105：数据采集系统检测到有新上传的采集数据压缩文件后，对压缩文件进行解压处理；

步骤106：数据采集系统将解压后的原始数据文件，存放到指定目录下，供其他上层应用系统使用；

步骤107：前置数采集节点将成功上传的原始数据文件名称，记录到已上传文件列表中；

步骤108：前置数采集节点根据已采集数据文件列表，判断本次数据采集任务是否已经完成，如果已完成，则进入到步骤109；如果未完成，则进入到步骤103；

步骤109：前置数采集节点完成本次采集任务后，会将本次采集到的原始数据文件名称，全部记录到已采集文件列表，供下次采集任务过滤使用。

2.根据权利要求1所述的方法，其特征在于，前置数采集节点与数据源对接。

3.根据权利要求1所述的方法，其特征在于，前置数采集节点上传数据文件时，先核对已上传文件列表，对已上传文件不再重新上传。

4.根据权利要求1所述的方法，其特征在于，前置数采集节点执行数据采集的同时，并发进行数据文件的上传。

5.根据权利要求1所述的处理方法，其特征在于，前置数采集节点数据采集频率可设置，包括并不限于：5分钟、15分钟、30分钟、60分钟。