CN104750811A - 一种移动通信数据文件多线程实时采集方法 - Google Patents
一种移动通信数据文件多线程实时采集方法 Download PDFInfo
- Publication number
- CN104750811A CN104750811A CN201510143076.4A CN201510143076A CN104750811A CN 104750811 A CN104750811 A CN 104750811A CN 201510143076 A CN201510143076 A CN 201510143076A CN 104750811 A CN104750811 A CN 104750811A
- Authority
- CN
- China
- Prior art keywords
- file
- time
- server
- download
- data file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000010295 mobile communication Methods 0.000 title abstract description 9
- 238000012423 maintenance Methods 0.000 claims abstract description 6
- 230000004048 modification Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 4
- 230000001934 delay Effects 0.000 abstract 2
- 238000013480 data collection Methods 0.000 abstract 1
- 238000013515 script Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Abstract
本发明涉及移动通信网中网管系统，尤其涉及移动通信网中网管系统的数据采集系统，特别涉及一种移动通信数据文件多线程实时采集方法。它包括服务器时间同步方式、服务器文件完整性判定方式、服务器目录递归实时扫描获取尚未采集文件的方法、通过连接池下载尚未采集的文件、服务器连接池维护、服务器连接超时监控器、服务器采集记录器、采集系统运行日志系统。本发明具有完善的运行日志系统，使用方法简单，通过简单配置即可添加采集任务，通过数据库脚本即可查询本发明运行情况以及每个时段各个服务器采集到文件情况、各个文件的生成延迟以及采集延迟，对维护人员的要求低，维护成本低，生产效率高，适用于服务器设备多、数据文件量大、实时性要求高等特点的文件采集要求。
Description
技术领域
本发明涉及移动通信网中网管系统，尤其涉及移动通信网中网管系统的数据采集系统，特别涉及一种移动通信数据文件多线程实时采集方法。
背景技术
移动通信中，网管系统负责对电信网络设备进行配置、检察、控制、诊断、操作权限检察，跟踪设备的运行状况，收集分析网络设备的运行数据。为了将设备运行数据的采集跟网络设备进行解耦，目前在移动通信行业中大多是通过文件缓存进行处理的。网络设备将各类运行数据按照规则生成相应的文件，以供上层网管使用。移动通信中各类网络设备繁多，运行生成的数据文件周期频繁且数量非常大。要保证网管系统能够及时的获取到数据，数据文件实时、高效、安全、可靠的获取是非常必要的。
随着网络扩容，网络设备不断变化，数据文件所在设备服务器也在跟随不断变化。这就带来一个问题，如何快速采集一个新的服务器上的文件以及如何保障采集的完整性。传统的方式是每个服务器要单独适配一套采集程序，并且不方便查看采集日志信息。
发明内容
为了解决现有技术的问题，本发明提供了一种移动通信数据文件多线程实时采集方法，其能够方便查询采集详情，能够实时自动补采漏掉的文件，从而实时、高效、安全、可靠的为上层网管系统提供数据支撑。
本发明所采用的技术方案如下：
一种移动通信数据文件多线程实时采集方法，包括以下步骤：
A、维护一个服务器配置文件；
B、维护一个系统配置文件；
C、初始化系统，读取配置信息，将最近两日下载内容关联到系统；
D、依据配置连接服务器，每个服务器开启一个扫描线程，每个扫描线程轮询扫描配置的文件目录，并把扫描线程纳入采集线程超时监控器进行监控；
E、每次扫描首先同步系统时间；
F、每次扫描递归文件目录，获取所有文件的信息；
G、依据获取的文件信息判断文件的完整性，完整的进入下一步；
H、依据获取的文件信息判断文件是否在下载时间窗内，在下载时间窗内的进入下一步；
I、依据获取的文件信息判断文件是否已经下载过，未下载过的进入下一步；
J、对于未下载过的文件进行下载；
K、记录单文件下载日志；
L、扫描完毕后符合下载条件的所有文件下载完毕后记录当次整体下载记录。
步骤A中的配置文件包含所有需要采集服务器的相关信息，具体包含服务器IP、用户名、密码、采集根目录、协议、采集模式。
步骤B中的配置文件包含系统级别配置服务器扫描间隔、文件采集时间窗、日志数据库配置信息，将采集系统运行日志写入到数据库中。
步骤D中将扫描线程添加到超时监控器进行监控，超时监控器是通过一个单独的线程来完成，该线程轮询核查每个扫描线程的最后活动时间，对于最后活动时间过期的扫描线程进行重启。
步骤E中同步时间是通过生成一个临时文件上传到服务器，然后获取服务器上该文件的最后修改时间来完成的。
步骤G中判断文件的完整性是通过一个函数完成的，该函数判断文件的最后修改时间是否超过20秒，超过20秒则任务文件是完整的，否则不完整。
步骤H中判断文件是否在下载时间窗内是通过一个函数完成的，该函数根据文件最后修改时间判断是否在时间窗内。
步骤J中下载文件可以利用当前扫描线程进行单线程下载，也可以基于线程池技术，把需要下载的文件纳入线程池进行下载。
步骤K中记录下载日志是基于apache的log4j组件进行扩展而实现的。
本发明提供的技术方案带来的有益效果是：
采用本发明所述方法，与现有技术相比，可以实时、高效、安全、可靠的采集数据文件。实时是指发明中的方法能够轮询扫描配置的文件目录从而能够实时的发现新生成的文件。
高效是指两方面：
一、新增或者文件服务器发生变化时，只需新增或调整相应的服务器配置即可；
二、对于扫描到的文件可以多线程采集。安全是指采集过程不会对文件所在服务器做任何修改，仅仅是采集文件。
可靠是指两方面：
一、能够自动判断文件的完整性，校验文件下载的完整性，自动补采漏掉的文件；
二、可以通过查询采集日志来统计采集信息，包括文件生成延迟、下载延迟、每个周期下载的文件数量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种移动通信数据文件多线程实时采集方法的方法流程图。
图2是本发明的一种移动通信数据文件多线程实时采集方法的技术人员实施具体流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
如附图1所示，一种移动通信数据文件多线程实时采集方法，包括以下步骤：
1.1 维护一个服务器配置文件；服务器配置文件包含所有需要采集服务器的相关信息具体包含服务器IP、用户名、密码、采集根目录、协议、采集模式。
1.2 维护一个系统配置文件；系统配置文件包含系统级别配置服务器扫描间隔、文件采集时间窗、日志数据库配置信息，将采集系统运行日志写入到数据库中。
1.3 初始化系统，读取配置信息，将最近两日下载内容关联到系统。
1.4 依据配置连接服务器，每个服务器开启一个扫描线程，每个扫描线程轮询扫描配置的文件目录，并把扫描线程纳入采集线程超时监控器进行监控；将扫描线程添加到超时监控器进行监控，超时监控器是通过一个单独的线程来完成，该线程轮询核查每个扫描线程的最后活动时间，对于最后活动时间过期的扫描线程进行重启。
1.5每次扫面首先同步系统时间；同步时间是通过生成一个临时文件上传到服务器，然后获取服务器上该文件的最后修改时间来完成的。
1.6每次扫描递归文件目录，获取所有文件的信息。
1.7 依据获取的文件信息判断文件的完整性，完整的进入下一步；判断文件的完整性是通过一个函数完成的，该函数判断文件的最后修改时间是否超过20秒，超过20秒则任务文件是完整的，否则不完整。
1.8 依据获取的文件信息判断文件是否在下载时间窗内，在下载时间窗内的进入下一步；判断文件是否在下载时间窗内是通过一个函数完成的，该函数根据文件最后修改时间判断是否在时间窗内。
1.9 依据获取的文件信息判断文件是否已经下载过，未下载过的进入下一步。
1.10对于未下载过的文件进行下载；下载文件可以利用当前扫描线程进行单线程下载，也可以基于线程池技术，把需要下载的文件纳入线程池进行下载。
1.11记录单文件下载日志；记录下载日志是基于apache的log4j组件进行扩展而实现的。
1.12扫描完毕后符合下载条件的所有文件下载完毕后记录当次整体下载记录。
图2介绍了在现场，技术人员实施数据文件多线程实时采集时的具体操作流程。首先调研获取需要采集的文件所在服务器相关信息，这些信息包括文件服务器连接方式例如FTP、SFTP等，服务器IP地址，相应的连接帐号和密码，文件所在目录，文件的数量以及周期；其次部署本发明到采集机，由于本发明是使用java语言实现的，日志需要保存到数据库中，因此要求采集机器上需要安装jdk1.6及以上，同时能够连接一个数据库，用以记录日志信息；再次，根据调研信息，设置采集服务器的相关信息；最后启动该方法对应的服务，文件便能按照既定要求下载到指定位置。在使用过程中可查询数据库中相应的日志表查看下载结果，如有问题可根据日志进行核查。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种移动通信数据文件多线程实时采集方法，包括以下步骤：
A、维护一个服务器配置文件；
B、维护一个系统配置文件；
C、初始化系统，读取配置信息，将最近两日下载内容关联到系统；
D、依据配置连接服务器，每个服务器开启一个扫描线程，每个扫描线程轮询扫描配置的文件目录，并把扫描线程纳入采集线程超时监控器进行监控；
E、每次扫描首先同步系统时间；
F、每次扫描递归文件目录，获取所有文件的信息；
G、依据获取的文件信息判断文件的完整性，完整的进入下一步；
H、依据获取的文件信息判断文件是否在下载时间窗内，在下载时间窗内的进入下一步；
I、依据获取的文件信息判断文件是否已经下载过，未下载过的进入下一步；
J、对于未下载过的文件进行下载；
K、记录单文件下载日志；
L、扫描完毕后符合下载条件的所有文件下载完毕后记录当次整体下载记录。
2.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤A中的配置文件包含所有需要采集服务器的相关信息，具体包含服务器IP、用户名、密码、采集根目录、协议、采集模式。
3.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤B中的配置文件包含系统级别配置服务器扫描间隔、文件采集时间窗、日志数据库配置信息，将采集系统运行日志写入到数据库中。
4.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤D中将扫描线程添加到超时监控器进行监控，超时监控器是通过一个单独的线程来完成，该线程轮询核查每个扫描线程的最后活动时间，对于最后活动时间过期的扫描线程进行重启。
5.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤E中同步时间是通过生成一个临时文件上传到服务器，然后获取服务器上该文件的最后修改时间来完成的。
6.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤G中判断文件的完整性是通过一个函数完成的，该函数判断文件的最后修改时间是否超过20秒，超过20秒则任务文件是完整的，否则不完整。
7.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤H中判断文件是否在下载时间窗内是通过一个函数完成的，该函数根据文件最后修改时间判断是否在时间窗内。
8.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤J中下载文件可以利用当前扫描线程进行单线程下载，也可以基于线程池技术，把需要下载的文件纳入线程池进行下载。
9.根据权利要求1所述的一种移动通信数据文件多线程实时采集方法，其特征在于，所述步骤K中记录下载日志是基于apache的log4j组件进行扩展而实现的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510143076.4A CN104750811A (zh) | 2015-03-30 | 2015-03-30 | 一种移动通信数据文件多线程实时采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510143076.4A CN104750811A (zh) | 2015-03-30 | 2015-03-30 | 一种移动通信数据文件多线程实时采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104750811A true CN104750811A (zh) | 2015-07-01 |
Family
ID=53590495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510143076.4A Pending CN104750811A (zh) | 2015-03-30 | 2015-03-30 | 一种移动通信数据文件多线程实时采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104750811A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787018A (zh) * | 2016-02-24 | 2016-07-20 | 浪潮通信信息系统有限公司 | 一种移动通信数据文件解析方法 |
| CN106815223A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种海量图片管理方法和装置 |
| CN107943942A (zh) * | 2017-11-23 | 2018-04-20 | 苏州优圣美智能系统有限公司 | 一种基于事件驱动的多轮转文件采集系统 |
| CN108256120A (zh) * | 2018-02-22 | 2018-07-06 | 中国银行股份有限公司 | 数据采集和文件下传的控制方法和装置 |
| CN109426564A (zh) * | 2017-09-01 | 2019-03-05 | 上海宝信软件股份有限公司 | 一种it资源数据采集统一超时控制方法及系统 |
| CN113766006A (zh) * | 2021-07-29 | 2021-12-07 | 北京思特奇信息技术股份有限公司 | 一种基于ftp协议的实时文件传输方法及系统 |
| CN117171102A (zh) * | 2023-09-07 | 2023-12-05 | 山东九州信泰信息科技股份有限公司 | 一种多线程无锁高速写文件的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1901568A (zh) * | 2005-07-22 | 2007-01-24 | 中兴通讯股份有限公司 | 一种网管系统中实现历史性能采集的方法 |
| CN101321089A (zh) * | 2008-07-07 | 2008-12-10 | 中兴通讯股份有限公司 | 一种电信网管系统中性能数据的入库方法 |
| CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| WO2014101487A1 (zh) * | 2012-12-28 | 2014-07-03 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
-
2015
- 2015-03-30 CN CN201510143076.4A patent/CN104750811A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1901568A (zh) * | 2005-07-22 | 2007-01-24 | 中兴通讯股份有限公司 | 一种网管系统中实现历史性能采集的方法 |
| CN101321089A (zh) * | 2008-07-07 | 2008-12-10 | 中兴通讯股份有限公司 | 一种电信网管系统中性能数据的入库方法 |
| CN102780726A (zh) * | 2011-05-13 | 2012-11-14 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| WO2014101487A1 (zh) * | 2012-12-28 | 2014-07-03 | 中兴通讯股份有限公司 | 一种数据采集方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 刘志杰: "移动通信中综合网管的数据采集设计", 《中国优秀硕士学位论文全文数据库》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106815223A (zh) * | 2015-11-27 | 2017-06-09 | 阿里巴巴集团控股有限公司 | 一种海量图片管理方法和装置 |
| CN105787018A (zh) * | 2016-02-24 | 2016-07-20 | 浪潮通信信息系统有限公司 | 一种移动通信数据文件解析方法 |
| CN109426564A (zh) * | 2017-09-01 | 2019-03-05 | 上海宝信软件股份有限公司 | 一种it资源数据采集统一超时控制方法及系统 |
| CN107943942A (zh) * | 2017-11-23 | 2018-04-20 | 苏州优圣美智能系统有限公司 | 一种基于事件驱动的多轮转文件采集系统 |
| CN107943942B (zh) * | 2017-11-23 | 2020-08-28 | 苏州优圣美智能系统有限公司 | 一种基于事件驱动的多轮转文件采集系统 |
| CN108256120A (zh) * | 2018-02-22 | 2018-07-06 | 中国银行股份有限公司 | 数据采集和文件下传的控制方法和装置 |
| CN108256120B (zh) * | 2018-02-22 | 2022-02-18 | 中国银行股份有限公司 | 数据采集和文件下传的控制方法和装置 |
| CN113766006A (zh) * | 2021-07-29 | 2021-12-07 | 北京思特奇信息技术股份有限公司 | 一种基于ftp协议的实时文件传输方法及系统 |
| CN113766006B (zh) * | 2021-07-29 | 2024-02-23 | 北京思特奇信息技术股份有限公司 | 一种基于ftp协议的实时文件传输方法及系统 |
| CN117171102A (zh) * | 2023-09-07 | 2023-12-05 | 山东九州信泰信息科技股份有限公司 | 一种多线程无锁高速写文件的方法 |
| CN117171102B (zh) * | 2023-09-07 | 2024-01-26 | 山东九州信泰信息科技股份有限公司 | 一种多线程无锁高速写文件的方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104750811A (zh) | 一种移动通信数据文件多线程实时采集方法 | |
| CN109600406B (zh) | 环境辐射监测站系统 | |
| CN106992903B (zh) | 一种基于网络设备的数据采集系统及方法 | |
| CN103248512B (zh) | 通信网络中应用层拓扑结构的生成方法和系统 | |
| EP2661014A1 (en) | Polling sub-system and polling method for communication network system and communication apparatus | |
| CN106407076A (zh) | 基于国产cpu和操作系统环境的软硬件运行信息监控方法 | |
| CN103699063B (zh) | 一种制造执行系统mes中离线数据的采集装置和方法 | |
| CN101184309A (zh) | 直放站设备嵌入式系统远程升级方法 | |
| CN105554163A (zh) | 一种基于云计算的远程监测系统及远程监测方法 | |
| US10887408B2 (en) | Remote monitoring of network communication devices | |
| CN104215853A (zh) | 一种电能质量监测系统数据采集方法 | |
| CN103310154B (zh) | 信息安全处理的方法、设备和系统 | |
| CN110245020A (zh) | 基于多个取证设备的手机内容取证方法和系统 | |
| CN107979647B (zh) | 一种实现无缆存储式地震仪的数据回收方法 | |
| CN107179977A (zh) | 基于mpm模型的数据库全自动监控系统 | |
| CN104219100A (zh) | 一种信息采集方法和装置 | |
| CN110362055A (zh) | 一种终端可扩展的工业数据采集系统及方法 | |
| CN109213657A (zh) | 一种电网运行数据云储存装置 | |
| CN105607606A (zh) | 一种基于双主板架构的数据采集装置及方法 | |
| CN104714875A (zh) | 一种分布式的自动化采集的方法 | |
| CN110727441A (zh) | 一种flume代理安装方法、系统及存储介质 | |
| CN111177239A (zh) | 一种基于hdp大数据集群的统一日志处理方法及系统 | |
| CN105376091A (zh) | 一种服务器下线系统及方法 | |
| CN105490879A (zh) | 一种大规模集成级网络的自动化分布式性能测试系统 | |
| CN105743675A (zh) | 信息采集方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150701 |