CN104768174A - 一种基于文件列表比对机制的移动网管数据文件采集方法 - Google Patents
一种基于文件列表比对机制的移动网管数据文件采集方法 Download PDFInfo
- Publication number
- CN104768174A CN104768174A CN201510142496.0A CN201510142496A CN104768174A CN 104768174 A CN104768174 A CN 104768174A CN 201510142496 A CN201510142496 A CN 201510142496A CN 104768174 A CN104768174 A CN 104768174A
- Authority
- CN
- China
- Prior art keywords
- file
- downloaded
- download
- network management
- listed files
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000007246 mechanism Effects 0.000 title claims abstract description 12
- 230000004048 modification Effects 0.000 claims description 8
- 238000012986 modification Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000005059 dormancy Effects 0.000 claims description 3
- 238000010295 mobile communication Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W24/00—Supervisory, monitoring or testing arrangements
- H04W24/02—Arrangements for optimising operational condition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本发明涉及移动通信网络管理的数据文件采集领域，特别涉及一种基于文件列表比对机制的移动网管数据文件采集方法。本发明采用不间断轮询的方式获取网络设备上的文件列表，同时本地记录一份已下载的文件列表和下载出错的文件列表，一旦发现网络设备上有新的文件生成且在本地已下载的文件列表和下载出错的文件列表中均没有该文件，即可对该文件进行下载。以此保证只要网络设备上有新的文件生成，不论它是属于哪一个时间周期的，只要未被下载过都能够被下载下来，从而避免了由于网络设备文件生成延迟导致网管系统漏采文件的情况发生，进一步保证了网管系统的数据完整性，提升网管系统的可用性。
Description
技术领域
本发明涉及移动通信网络管理的数据文件采集领域，特别涉及一种基于文件列表比对机制的移动网管数据文件采集方法。
背景技术
在移动通信的网络管理中，一个非常重要的环节就是从移动通信的网络设备上定时采集数据文件，以此作为网络管理的基础数据。
一般来说，网络设备生成文件的周期和时延是固定的，比如网络设备一般每15分钟会生成一批文件，耗时约5分钟左右时间即可生成完成。因此，网管系统在网络设备生成文件之后再延迟若干分钟即可通过FTP协议下载本周期生成的文件，例如网管系在文件生成后再延迟5分钟启动本周期的文件采集。正常情况下遵循该时延限制可完整的采集到网络设备生成的本周期的所有文件。
但是，由于网络设备负荷过高、程序出错等各种异常原因，会导致设备侧无法按时生成文件，文件生成完成的时延变长，且该时延具体有多长不可预知，从几分钟到几小时不等。鉴于以上原因，网管系统基于时延周期性采集网络设备文件的方法，经常会在设备侧文件还没有完全生成完的时候就进行了采集，因此产生了文件漏采的问题，导致网管系统数据缺失，对网络管理工作造成很大影响。
发明内容
为了解决现有技术的问题，本发明提供了一种基于文件列表比对机制的移动网管数据文件采集方法，避免了由于网络设备文件生成延迟导致网管系统漏采文件的情况发生，进一步保证了网管系统的数据完整性，提升网管系统的可用性。
本发明所采用的技术方案如下：
一种基于文件列表比对机制的移动网管数据文件采集方法，是采用不间断轮询的方式获取网络设备上的文件列表，同时本地记录一份已下载的文件列表和下载出错的文件列表，一旦发现网络设备上有新的文件生成且在本地已下载的文件列表和下载出错的文件列表中均没有该文件，即可对该文件进行下载。
方法具体包括以下步骤：
A、连接FTP服务器并切换到指定目录下；
B、上传一个空文件至该目录，紧接着在再从FTP服务器上获取刚上传的文件的最后修改时间，以此作为FTP服务器的当前时间；
C、列出该目录下所有的文件及文件夹，针对每一个文件或文件夹，进入下一步判断；
D、判断如果是文件，则进入步骤E，如果是文件夹则返回步骤C递归执行；
E、如果文件同时满足以下条件则下载该文件，否则转到步骤J处理下一个文件：
条件1：该文件名是符合预先设置的下载过滤条件；
条件2：该文件最后修改时间与ftp服务器系统当前时间差符合预先设置的条件；
条件3：“已下载文件列表”及“下载出错文件列表”中均未包含该文件，表明文件未被下载过；
F、如果该文件下载尝试次数少于3次，则进入步骤G，否则将该文件记入“下载出错文件列表”并转入步骤J处理下一个文件；
G、下载前将本地文件命名为：FTP文件原名+.tmp后缀，然后下载该文件；
H、如果下载到本地的文件大小与FTP服务器上文件大小相同，则表示文件下载成功，可进入下一步，否则将文件下载尝试次数加1并返回步骤E；
I、文件下载成功，将下载完成后文件改回原名，同时将该文件记入“已下载文件列表”；
J、如果还有待下载的文件，则返回步骤D，否则进入下一步；
K、断开FTP连接，程序休眠30秒，之后重新返回步骤A轮询执行该方法。
条件2具体是：该文件最后修改时间—ftp服务器系统当前时间>20秒钟。
本发明采用不间断轮询的方式获取网络设备上的文件列表，同时本地记录一份已下载的文件列表和下载出错的文件列表，一旦发现网络设备上有新的文件生成且在本地已下载的文件列表和下载出错的文件列表中均没有该文件，即可对该文件进行下载。以此保证只要网络设备上有新的文件生成，不论它是属于哪一个时间周期的，只要未被下载过都能够被下载下来，从而避免了由于网络设备文件生成延迟导致网管系统漏采文件的情况发生，进一步保证了网管系统的数据完整性，提升网管系统的可用性。
本发明提供的技术方案带来的有益效果是：
通过基于文件列表比对机制的通信网管数据文件采集方法，实现了网管系统中数据文件采集完整性的提升，文件采集完整性从原来的85%提升到了100%，进一步保证了网管系统中的数据完整性和系统的可用性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明的一种基于文件列表比对机制的移动网管数据文件采集方法的方法流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
如附图1所示，本发明的一种基于文件列表比对机制的移动网管数据文件采集方法包括以下步骤：
第1步：连接FTP服务器并切换到指定目录下。
第2步：上传一个空文件CheckTme.txt至该目录，紧接着在再从FTP服务器上获取刚上传的CheckTme.txt文件的最后修改时间，以此作为FTP服务器的当前时间。
第3步：列出该目录下所有的文件及文件夹，针对每一个文件或文件夹，进入下一步。
第4步：如果是文件则进入下一步，如果是文件夹则返回第3步递归执行。
第5步：如果文件同时满足以下条件则下载该文件，否则转到第10步处理下一个文件：
条件1：该文件名是符合预先设置的下载过滤条件；
条件2：该文件最后修改时间-ftp服务器系统当前时间>20秒钟，表明文件已超过20秒未被改动，防止文件在写入的过程中被下载；
条件3：“已下载文件列表”及“下载出错文件列表”中均未包含该文件，表明文件未被下载过。
第6步：如果该文件下载尝试次数少于3次，则进入下一步，否则将该文件记入“下载出错文件列表”并转入第10步处理下一个文件。
第7步：下载前将本地文件命名为：FTP文件原名+.tmp后缀，然后下载该文件。
第8步：如果下载到本地的文件大小与FTP服务器上文件大小相同，则表示文件下载成功可进入下一步，否则将文件下载尝试次数加1并返回地5步。
第9步：文件下载成功，将下载完成后文件改回原名，同时将该文件记入“已下载文件列表”。
第10步：如果还有待下载的文件，则返回第4步，否则进入下一步。
第11步：断开FTP连接，程序休眠30秒，之后重新返回第一步轮询执行该方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于文件列表比对机制的移动网管数据文件采集方法，是采用不间断轮询的方式获取网络设备上的文件列表，同时本地记录一份已下载的文件列表和下载出错的文件列表，一旦发现网络设备上有新的文件生成且在本地已下载的文件列表和下载出错的文件列表中均没有该文件，即可对该文件进行下载。
2.根据权利要求1所述的一种基于文件列表比对机制的移动网管数据文件采集方法，其特征在于，所述的方法具体包括以下步骤：
A、连接FTP服务器并切换到指定目录下；
B、上传一个空文件至该目录，紧接着在再从FTP服务器上获取刚上传的文件的最后修改时间，以此作为FTP服务器的当前时间；
C、列出该目录下所有的文件及文件夹，针对每一个文件或文件夹，进入下一步判断；
D、判断如果是文件，则进入步骤E，如果是文件夹则返回步骤C递归执行；
E、如果文件同时满足以下条件则下载该文件，否则转到步骤J处理下一个文件：
条件1：该文件名是符合预先设置的下载过滤条件；
条件2：该文件最后修改时间与ftp服务器系统当前时间差符合预先设置的条件；
条件3：“已下载文件列表”及“下载出错文件列表”中均未包含该文件，表明文件未被下载过；
F、如果该文件下载尝试次数少于3次，则进入步骤G，否则将该文件记入“下载出错文件列表”并转入步骤J处理下一个文件；
G、下载前将本地文件命名为：FTP文件原名+.tmp后缀，然后下载该文件；
H、如果下载到本地的文件大小与FTP服务器上文件大小相同，则表示文件下载成功，可进入下一步，否则将文件下载尝试次数加1并返回步骤E；
I、文件下载成功，将下载完成后文件改回原名，同时将该文件记入“已下载文件列表”；
J、如果还有待下载的文件，则返回步骤D，否则进入下一步；
K、断开FTP连接，程序休眠30秒，之后重新返回步骤A轮询执行该方法。
3.根据权利要求2所述的一种基于文件列表比对机制的移动网管数据文件采集方法，其特征在于，所述的条件2具体是：该文件最后修改时间—ftp服务器系统当前时间>20秒钟。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510142496.0A CN104768174A (zh) | 2015-03-30 | 2015-03-30 | 一种基于文件列表比对机制的移动网管数据文件采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510142496.0A CN104768174A (zh) | 2015-03-30 | 2015-03-30 | 一种基于文件列表比对机制的移动网管数据文件采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104768174A true CN104768174A (zh) | 2015-07-08 |
Family
ID=53649703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510142496.0A Pending CN104768174A (zh) | 2015-03-30 | 2015-03-30 | 一种基于文件列表比对机制的移动网管数据文件采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104768174A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106993026A (zh) * | 2017-03-10 | 2017-07-28 | 太极计算机股份有限公司 | 一种ftp服务器新增文件检测下载方法及装置 |
| CN107145452A (zh) * | 2017-05-25 | 2017-09-08 | 努比亚技术有限公司 | 碎片整理的方法、终端设备及计算机可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902439A (zh) * | 2009-05-26 | 2010-12-01 | 北京金山软件有限公司 | 更新客户端上业务服务器信息的方法、系统和装置 |
| CN102611743A (zh) * | 2012-02-20 | 2012-07-25 | 南方电网科学研究院有限责任公司 | 一种用于电能质量监测系统的数据同步传输方法 |
| WO2014101487A1 (zh) * | 2012-12-28 | 2014-07-03 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
-
2015
- 2015-03-30 CN CN201510142496.0A patent/CN104768174A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101902439A (zh) * | 2009-05-26 | 2010-12-01 | 北京金山软件有限公司 | 更新客户端上业务服务器信息的方法、系统和装置 |
| CN102611743A (zh) * | 2012-02-20 | 2012-07-25 | 南方电网科学研究院有限责任公司 | 一种用于电能质量监测系统的数据同步传输方法 |
| WO2014101487A1 (zh) * | 2012-12-28 | 2014-07-03 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106993026A (zh) * | 2017-03-10 | 2017-07-28 | 太极计算机股份有限公司 | 一种ftp服务器新增文件检测下载方法及装置 |
| CN107145452A (zh) * | 2017-05-25 | 2017-09-08 | 努比亚技术有限公司 | 碎片整理的方法、终端设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10469620B2 (en) | Method for transferring a new software version to at least one electricity meter via a communication network | |
| CN103200314B (zh) | 一种移动终端的智能休眠方法及装置 | |
| CN102664950B (zh) | 一种焊接电源与计算机之间进行数据通信的方法 | |
| CN105094875A (zh) | 一种软件升级方法及装置 | |
| CN102790727B (zh) | 一种动态推送用户个人标签的方法和系统 | |
| CN106068665A (zh) | 多sim通信装置处的基站选择 | |
| CN105320527A (zh) | 基于zookeeper分布式搜索引擎的配置文件更新方法、装置及系统 | |
| CN102915249A (zh) | 远程地实现固件升级的方法和装置 | |
| CN101877650A (zh) | 一种自动更新软件版本的方法及系统 | |
| CN112737847B (zh) | 节点升级方法及装置、存储介质及电子装置 | |
| CN104768174A (zh) | 一种基于文件列表比对机制的移动网管数据文件采集方法 | |
| CN102136941A (zh) | 一种综合接入设备备份数据方法、设备以及系统 | |
| CN110460668B (zh) | 一种文件上传方法、装置、计算机设备和存储介质 | |
| CN113452772A (zh) | 智能场景的处理方法、装置、存储介质及电子设备 | |
| CN104601376B (zh) | 心跳报文发送方法及装置 | |
| CN107591850B (zh) | 无线传感器网络充电方法及装置 | |
| EP3660679A1 (en) | Data backup method, device and system | |
| CN103516767A (zh) | 软件跨云部署机制及系统 | |
| CN101163230A (zh) | 通过网络摄像机进行现场直播及客户端节点调配方法 | |
| CN102638419A (zh) | 即时通信消息数据转移的方法、客户端及系统 | |
| CN104394220A (zh) | 一种智能电网的升级方法和智能电网 | |
| CN107908408A (zh) | 一种远程云手机应用安装方法 | |
| CN111586660A (zh) | 信息显示方法和装置、存储介质及电子设备 | |
| CN103312745A (zh) | 一种挖掘潜在好友信息的方法、系统和设备 | |
| CN104602047A (zh) | Epg数据的分享方法、服务器、终端及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150708 |
|
| WD01 | Invention patent application deemed withdrawn after publication |