CN109656794A - 网站数据动态定时页面数据采集方法 - Google Patents
网站数据动态定时页面数据采集方法 Download PDFInfo
- Publication number
- CN109656794A CN109656794A CN201811416859.5A CN201811416859A CN109656794A CN 109656794 A CN109656794 A CN 109656794A CN 201811416859 A CN201811416859 A CN 201811416859A CN 109656794 A CN109656794 A CN 109656794A
- Authority
- CN
- China
- Prior art keywords
- data
- performance
- website
- dynamic timing
- acquisition method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
- G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种网站数据动态定时页面数据采集方法。在一个采集周期内，每隔10‑15分钟的时间间隔，智能识别并采网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。本发明将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快；同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。
Description
技术领域
本发明涉及一种数据采集方法，尤其是一种网站数据动态定时页面数据采集方法。
背景技术
现有采集方案的网站数据采集方式中，下载解析和保存入库这两个步骤比较缓慢，因为是每小时定点时刻采集一次数据，设置的时刻一般是所有OMC的所有数据都齐全的安全时刻去采，这样势必导致采集数据延时，数据及时性不高，虽然保证了数据的完整性，但性能告警不及时，不利于及时发现网站问题处理问题。
发明内容
针对现有技术中存在的问题，本发明的目的在于提供一种间隔式追加采集移动通信网站性能数据的方法的技术方案。
所述的网站数据动态定时页面数据采集方法，在一个采集周期内，每10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。
所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
所述网站数据动态定时页面数据采集方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存60天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
所述网站数据动态定时页面数据采集方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。
本发明通过对移动通信OMC设备在一个采集周期内，按一定的间隔时间，多次采集，智能识别,追加获取最新数据，将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快,为诸如出告警等之类的上层应用提高了应用性，同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。
本发明与现有技术相比：
1.自动采集性能数据：极大的提高了网站指标告警的及时性，基本达到了实时的效果，独创性的间隔式追加采集机制，既提高了数据的及时性又保证了数据的完整性；
2.自动补采性能数据：更加有力地保证了全天的数据完整性；比现有技术方案更智能更完备，采集也更快速；
3.手动补采性能数据：更大的灵活性，采集更迅速，采集过程耗时更短。
通过对设备数据源OMC的详细分析，了解OMC出数据现状如下：图片OMC一个时段的数据文件，会从整点开始，从各个BSC等设备陆续汇总到OMC，文件从整点1分开始就逐渐新增，且某几分集中出现；框架OMC一个时段的数据，从整点后几分钟内，先离散的出部分行数据记录，后集中一段时间出大批量数据。
具体实施方式
网站数据动态定时页面数据采集方法，在一个采集周期内，每隔10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。
所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
所述网站数据动态定时页面数据采集方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存60天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
所述网站数据动态定时页面数据采集方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。
本发明通过对移动通信OMC设备在一个采集周期内，按一定的间隔时间，多次采集，智能识别,追加获取最新数据，将原本一次采集的数据量，分成多次采集，减少服务器负荷，每个时间片，采集的数据量很少，下载时间快，获取最新数据快,为诸如出告警等之类的上层应用提高了应用性，同时优化的数据库数据保存机制，使得下载的数据只做插入和更新操作，不再执行删除，提高数据底层存储的连续性。
本发明与现有技术相比：
1.自动采集性能数据：极大的提高了网站指标告警的及时性，基本达到了实时的效果，独创性的间隔式追加采集机制，既提高了数据的及时性又保证了数据的完整性；
2.自动补采性能数据：更加有力地保证了全天的数据完整性；比现有技术方案更智能更完备，采集也更快速；
3.手动补采性能数据：更大的灵活性，采集更迅速，采集过程耗时更短。具体实施方式。
Claims (4)
1.网站数据动态定时页面数据采集方法，其特征在于：在一个采集周期内，每隔10-15分钟的时间间隔，智能识别并采集网站产生的最新性能原始数据，该最新性能原始数据包括图片或框架，运用追加原则，保存至本地数据库，然后自动处理，按日常KPI指标公式进行计算得到性能指标，按日常性能告警门限集，全自动产生最新性能告警。
2.根据权利要求1所述网站数据动态定时页面数据采集方法，其特征在于所述的全自动产生最新性能告警是在一个采集周期中，反复多次间隔式追加，实现快速性能告警，先产生的数据先告警，后产生的数据后告警，批次化告警。
3.根据权利要求1或2所述网站数据动态定时页面数据采集方法，其特征在于所述的保存至本地数据库时，通过对新数据插入，已存在的数据更新，不进行删除操作，OMC上每个文件或表对应本地的一张表，保存60天的数据；每张表建成分区表，按天分区；每类级别的数据文件，逻辑上分组存放，物理上分文件存放，使每个级别的数据存放于不同的分组和文件。
4.根据权利要求3所述网站数据动态定时页面数据采集方法，其特征在于所述的数据采集分为三种模式，分别为：自动采集性能数据模式、自动补采性能数据模式和手动补采性能数据模式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811416859.5A CN109656794A (zh) | 2018-11-26 | 2018-11-26 | 网站数据动态定时页面数据采集方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811416859.5A CN109656794A (zh) | 2018-11-26 | 2018-11-26 | 网站数据动态定时页面数据采集方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109656794A true CN109656794A (zh) | 2019-04-19 |
Family
ID=66112341
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811416859.5A Withdrawn CN109656794A (zh) | 2018-11-26 | 2018-11-26 | 网站数据动态定时页面数据采集方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109656794A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516180A (zh) * | 2019-08-21 | 2019-11-29 | 北京拉勾网络技术有限公司 | 一种内容显示方法、装置和计算设备 |
-
2018
- 2018-11-26 CN CN201811416859.5A patent/CN109656794A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110516180A (zh) * | 2019-08-21 | 2019-11-29 | 北京拉勾网络技术有限公司 | 一种内容显示方法、装置和计算设备 |
| CN110516180B (zh) * | 2019-08-21 | 2023-04-07 | 北京拉勾网络技术有限公司 | 一种内容显示方法、装置和计算设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2019072289A3 (en) | Blockchain smart contract updates using decentralized decision | |
| CN108874803B (zh) | 数据存储方法、装置及存储介质 | |
| CN104834648B (zh) | 日志查询方法和装置 | |
| CN103259737B (zh) | 一种并行存储高速网络流量的快速定位方法 | |
| CN103559300A (zh) | 数据的查询方法和查询装置 | |
| CN109656794A (zh) | 网站数据动态定时页面数据采集方法 | |
| CN107832169A (zh) | 内存数据迁移方法、装置、终端设备和存储介质 | |
| CN104899249A (zh) | 一种海量数据下可靠索引更新系统及方法 | |
| CN103870875A (zh) | 一种分离时频域混合信号的方法 | |
| CN105787090A (zh) | 一种电力数据的olap系统的索引建立方法和系统 | |
| CN106990914A (zh) | 数据删除方法及装置 | |
| CN114676130B (zh) | 时序数据的存储方法、计算设备及存储介质 | |
| CN105701128B (zh) | 一种查询语句的优化方法和装置 | |
| TWI748989B (zh) | 資料聚合方法及裝置 | |
| CN105630629B (zh) | 数据备份方法和系统 | |
| CN103997753A (zh) | 间隔式追加采集移动通信无线网络性能数据的方法 | |
| CN113360576A (zh) | 一种基于Flink Streaming的电网海量数据实时处理方法及装置 | |
| CN109992708B (zh) | 一种元数据查询的方法、装置、设备以及存储介质 | |
| CN110019168B (zh) | 文件合并方法和系统 | |
| CN104467939A (zh) | 一种优化多天线接收的方法及装置 | |
| CN109308605B (zh) | 一种基于区块链的电子时间胶囊管理方法及系统 | |
| CN111161064A (zh) | 一种区块链交易记录的处理方法及装置 | |
| JP2012147435A5 (zh) | ||
| US20170139969A1 (en) | Method for filtering and analyzing big data, electronic device, and non-transitory computer-readable storage medium | |
| CN116975117A (zh) | 一种日志数据管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20190419 |
|
| WW01 | Invention patent application withdrawn after publication |