CN101163046A - 一种分布式网站日志数据采集方法和分布式网站系统 - Google Patents
一种分布式网站日志数据采集方法和分布式网站系统 Download PDFInfo
- Publication number
- CN101163046A CN101163046A CNA2007101779395A CN200710177939A CN101163046A CN 101163046 A CN101163046 A CN 101163046A CN A2007101779395 A CNA2007101779395 A CN A2007101779395A CN 200710177939 A CN200710177939 A CN 200710177939A CN 101163046 A CN101163046 A CN 101163046A
- Authority
- CN
- China
- Prior art keywords
- log data
- server
- web server
- centralized processing
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000000746 purification Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 47
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 3
- 238000005202 decontamination Methods 0.000 claims 1
- 238000011012 sanitization Methods 0.000 claims 1
- 238000013480 data collection Methods 0.000 abstract 1
- 230000007423 decrease Effects 0.000 abstract 1
- 238000007405 data analysis Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013144 data compression Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明实施例提供了一种分布式网站日志数据采集方法和分布式网站系统，目的在于降低网络日志数据统计的复杂度，并且提高分布式网站的可扩展性。所述方法包括：对WEB服务器的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；集中处理服务器将收到的日志数据文件合并为一个文件。本发明减小了集中处理服务器的工作负荷；使得WEB服务器具有较高的安全性；并且，本发明的系统部署简单，提高了系统的可扩展性。
Description
技术领域
本发明涉及互联网数据处理技术，尤其是分布式网站日志采集方法。
背景技术
随着互联网的普及，为了提高互联网应用中数据处理速度以及满足数据量越来越大的要求，很多大型网站逐步采用了分布式的网络结构主要在于实现负载的均衡。
所述分布式的结构是使用多个同样角色的服务器做前台的WEB服务，这种结构大大方便了服务的分布规划和扩展性。但另一方面，多个服务器的分布设置使得网络日志数据的分析统计也变得有些麻烦。
例如采用现有较通用的一款网页分析工具webalizer，那么对于分布式的网络结构，就需要对每台服务器分别做日志数据统计，从而带来以下的问题：
1、数据的汇总带来很多麻烦，比如：统计的总访问量需要将服务器1(SERVER1)、服务器2(SERVER2)......上指定期限内的数据相加；
2、对于唯一访客数unique visits，唯一站点数unique sites的等指标的统计造成影响，基于网络分布式的网络结构特点以及负载均衡的机制，上述这些指标的统计并非是将几台服务器上数据的代数相加。
并且，在上述问题基础上，在每台服务器上配置日志数据分析功能将提高服务器的环境的复杂度，降低服务器运行的安全性能；并且，分布式结构中各服务器的日志数据分析功能需要保持一致，当变更某一服务器上的日志数据分析功能后，为了实现全网数据的统计，不得不将所有服务器上的日志数据分析功能进行适应性的变更，使得数据完整性不易监控，并提高了维护成本。因此，在一定程度上限制了分布式网站的可扩展性和部署。
发明内容
本发明实施例要提供分布式网站日志采集方法。目的在于降低网络日志数据统计的复杂度，并且提高分布式网站的可扩展性。
为解决上述技术问题，本发明所提供的分布式网站日志采集方法实施例是通过以下技术方案实现的：
一种分布式网站日志数据采集方法，包括：对WEB服务器的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；集中处理服务器将收到的日志数据文件合并为一个文件。
上述方法中，WEB服务器上传日志数据前，对净化后的日志数据进行压缩，并标记服务器的标识；集中处理服务器依据服务器列表，根据所述服务器标识判断预定执行日志数据上传的WEB服务器的日志数据是否到达。
上述方法基础上，WEB服务器上传日志数据前，进一步对压缩后得到的日志数据文件生成第一校验文件，以及将所述第一校验文件发送到集中处理服务器；集中处理服务器采用与WEB服务器相同的校验算法对获取到的日志数据文件生成第二校验文件，若所述第一校验文件与所述第二校验文件不同，则触发WEB服务器重新上传日志数据文件。
相应的本发明实施例还提供了分布式网站系统，包括：WEB服务器，集中处理服务器；其中，WEB服务器，用于对已保存的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；集中处理服务器将收到的日志数据文件合并为一个文件。
在上述系统结构基础上，WEB服务器，进一步用于对净化后的日志数据进行压缩，并标记服务器的标识；集中处理服务器，用于依据服务器列表，根据所述服务器标识判断预定执行日志数据上传的WEB服务器的日志数据是否到达。
进一步的，WEB服务器，还包括：对压缩后得到的日志数据文件生成第一校验文件，以及将所述第一校验文件发送到集中处理服务器；集中处理服务器，还用于采用与WEB服务器相同的校验算法对获取到的日志数据文件生成第二校验文件，若所述第一校验文件与所述第二校验文件不同，则触发WEB服务器重新上传日志数据文件。
由以上技术方案可以看出，本发明中在各WEB服务器上报日志数据之前对待上报的日志数据进行净化处理，因而，减小了集中处理服务器的工作负荷；并且，由于本发明中各WEB服务器仅需要在上报日志数据前进行净化处理，与现有技术相比，不需要在WEB服务器配置太多的CGI环境(所述CGI环境是一种运行在网络服务器上的程序环境，该程序用于超文本传输协议HTTP服务器与其它终端上的程序进行交互)或者其他特殊要求，仅利用系统本身的功能就可达到本方案的要求，使得本发明WEB服务器具有较高的安全性，并且，本发明不会出现现有技术中“为了实现全网数据的统计，不得不将所有服务器上的日志数据分析功能进行统一化的变更”，因此使得本发明的系统部署简单，提高了系统的可扩展性。
进一步的，基于上述方法实现的基础上，使得本发明集中处理服务器可以机将采集到的日志数据文件进行合并处理，因而可以避免由于用户访问记录有可能在两台以上的服务器上保存而导致数据统计的不准确，最终提高了日志数据分析的准确性。
附图说明
图1为本发明实施例方法示意图。
具体实施方式
本发明目的在于降低网络日志数据统计的复杂度，并且提高分布式网站的可扩展性。
为实现上述发明目的，参照图1，以下具体说明本发明实施例的实现方式。
如图1所示，本发明实施例系统包括：WEB服务器和集中处理服务器，该系统满足分布式的结构，即多个同样角色的服务器用于前台的WEB服务。所述方法包括以下步骤。
步骤11，对于已保存的日志数据，WEB服务器对其进行净化处理。
所述净化处理的目的在于过滤掉对于日志数据分析无用的数据，以减少日志数据的大小。所述过滤方法很多，例如对于Linux服务器，可以直接采用SHELL命令，过虑掉诸如样式、图片等一些不需要的日志记录。因为往往一个用户请求一个页面中含有大量的脚本、样式、图片数据，所以通过数据净化后，能大大减少日志文件大小，进而减少了网络传输的时间，并且有助于提高对日志数据的分析效率。
所述执行日志数据净化处理的时机可以选择在WEB服务器负载低峰时段，所述服务器低峰时段可根据统计数据分析得到，并且随着网络应用的发展可根据统计数据结果进行调整。
步骤12，对净化处理后的日志数据，WEB服务器对其进行压缩处理生成日志数据压缩文件，所述压缩文件名附加上本服务器的标识，以便在集中处理服务器上能够区分不同WEB服务器发送的网络日志数据压缩文件。本实施例中采用IP地址用于区分不同服务器的日志数据压缩文件。除此之外，也可以为每台服务器编号作标识或者采用其他标识方法。
步骤13，为了防止文件网络传输的时候，传输不完整或者出错，因此需要把压缩后的文件做个文件验证，生成第一校验码。本实施例中采用MD5校验方法，然而本发明并无意对具体采用的校验方法进行限制。
步骤14，将所述日志数据压缩文件以及所述的第一校验码发送到集中处理服务器。本实施例中采用FTP方法传送所述日志数据压缩文件以及所述点第一校验码。本发明也可采用其他方法传送，如HTTP等。
步骤15，集中处理服务器检查收到的各服务器的日志数据文件(被压缩后的)。具体包括以下步骤：
由于本发明实施例中采用IP地址作为区分各WEB服务器日志数据文件的标识，因此集中处理服务器需下载WEB服务器的IP地址配置列表，且本实施例中采用FTP方式传送数据，因此所述配置文件格式如：
210.121.123.123ftpuser ftppasswd
210.121.123.124ftpuser ftppasswd
其中，ftpuser是ftp用户名，ftppasswd是ftp验证码。
根据配置文件列表，集中处理服务器在指定的时间段内，循环校验个WEB服务器的日志数据文件是否已经到达，如果到达，则根据WEB服务器采用的验证方式对收到的日志数据文件进行验证，如果所述日志数据文件还未到达集中处理服务器，则等待预置的时长后再行检测。
本实施例中，集中处理服务器对收到的日志数据压缩文件进行验证的方法具体包括：
按照MD5校验方法，根据获取到的日志数据压缩文件生成第二校验码，若所述第二校验码与所述第一校验码相同，则表明所述日志数据压缩文件传送正确；若所述第二校验码与所述第一校验码不同，则集中处理服务器可以执行步骤17，即主动触发WEB服务器对日志数据压缩文件进行重传。
在上述重传机制基础上，本发明实施例中进一步对重传次数设置了门限值，当重传次数达到所述门限值时，且获取到的日志数据压缩文件仍然未能通过MD5验证时，则集中处理服务器可停止对该WEB服务器的日志数据压缩文件进行处理，并发出告警。所述告警形式可包括：发送邮件或者短信报警，以使得网站维护人员可以根据实际情况进行处理，以保证整个网站日志的完整性。
步骤16，若集中处理服务器判断已获取到预定的WEB服务器的日志数据压缩文件，则把所述压缩文件进行解压；并且，因为用户访问记录有可能在两台以上的WEB服务器存在，为了保证数据的准确性，集中处理服务器要将各WEB服务器的日志文件合并到一个文件当中。
由以上技术方案可以看出，本发明中在各WEB服务器上报日志数据之前对待上报的日志数据进行净化处理，从而减少了很多不必要的记录。这样在以后的日志分析过程中，将提高日志数据的分析效率，减小集中处理服务器的工作负荷。
并且，由于本发明中各WEB服务器仅需要在上报日志数据前进行净化处理，不需要在WEB服务器配置太多的CGI环境或者其他特殊要求，仅利用系统本身的功能就可达到本方案的要求。理论上，越多的环境配置，安全性就会相应的下降，因此，本发明WEB服务器具有较高的安全性。
因为分布式网站采用的WEB服务器端较多，采用现有的技术，则改变一点需求，则需要对每台WEB端的脚本和程序进行调整，这样的调整过程容易出错。而且每台服务器的日志不容易作监控，如果某台服务器日志出现了不正常，很难发现到底是哪台WEB服务端出现了问题。相比现有技术，本发明不会出现现有技术中“为了实现全网数据的统计，不得不将所有服务器上的日志数据分析功能进行统一化的变更”，因此使得本发明的系统部署简单，提高了系统的可扩展性。并且由于日志数据集中在集中处理服务器中进行处理，因此更容易确定问题并进行解决。
相应的，本发明还提供了一种分布式网站系统，其特征在于，包括：WEB服务器，集中处理服务器；其中，WEB服务器，用于对已保存的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；集中处理服务器将收到的日志数据文件合并为一个文件。
其中，所述净化处理包括：过滤日志数据中的样式或/和图片数据。
在上述系统结构基础上，所述WEB服务器，进一步用于对净化后的日志数据进行压缩，并标记服务器的标识；
以及，所述集中处理服务器，用于依据服务器列表，根据所述服务器标识判断预定执行日志数据上传的WEB服务器的日志数据是否到达。
在上述系统结构基础上，所述WEB服务器，还包括：对压缩后得到的日志数据文件生成第一校验码，以及将所述第一校验码发送到集中处理服务器；
以及，所述集中处理服务器，还用于采用与WEB服务器相同的校验算法对获取到的日志数据文件生成第二校验码，若所述第一校验码与所述第二校验码不同，则触发WEB服务器重新上传日志数据文件。
以上对本发明实施例所提供的一种分布式网站日志数据采集方法和分布式网站系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的实现方式；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上可能会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种分布式网站日志数据采集方法，其特征在于，包括：
对WEB服务器的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；
集中处理服务器将收到的日志数据文件合并为一个文件。
2.如权利要求1所述的方法，其特征在于，所述净化处理包括：过滤日志数据中的样式或/和图片数据。
3.如权利要求1所述的方法，其特征在于：
WEB服务器上传日志数据前，对净化后的日志数据进行压缩，并标记服务器的标识；
集中处理服务器依据服务器列表，根据所述服务器标识判断预定执行日志数据上传的WEB服务器的日志数据是否到达。
4.如权利要求3所述的方法，其特征在于：
WEB服务器上传日志数据前，进一步对压缩后得到的日志数据文件生成第一校验码，以及将所述第一校验码发送到集中处理服务器；
集中处理服务器采用与WEB服务器相同的校验算法对获取到的日志数据文件生成第二校验文件，若所述第一校验码与所述第二校验码不同，则触发WEB服务器重新上传日志数据文件。
5.如权利要求1所述的方法，其特征在于：
在预置的时间或者在服务器负载低于预置门限时启动所述的日志数据净化处理。
6.一种分布式网站系统，其特征在于，包括：WEB服务器，集中处理服务器；其中，
WEB服务器，用于对已保存的日志数据进行净化处理，并将净化处理后的日志数据上传到集中处理服务器；
集中处理服务器将收到的日志数据文件合并为一个文件。
7.如权利要求6所述的网站系统，其特征在于，所述净化处理包括：过滤日志数据中的样式或/和图片数据。
8.如权利要求6所述的网站系统，其特征在于，
WEB服务器，进一步用于对净化后的日志数据进行压缩，并标记服务器的标识；
集中处理服务器，用于依据服务器列表，根据所述服务器标识判断预定执行日志数据上传的WEB服务器的日志数据是否到达。
9.如权利要求6所述的网站系统，其特征在于，
WEB服务器，还包括：对压缩后得到的日志数据文件生成第一校验码，以及将所述第一校验码发送到集中处理服务器；
集中处理服务器，还用于采用与WEB服务器相同的校验算法对获取到的日志数据文件生成第二校验码，若所述第一校验码与所述第二校验码不同，则触发WEB服务器重新上传日志数据文件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101779395A CN101163046A (zh) | 2007-11-22 | 2007-11-22 | 一种分布式网站日志数据采集方法和分布式网站系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNA2007101779395A CN101163046A (zh) | 2007-11-22 | 2007-11-22 | 一种分布式网站日志数据采集方法和分布式网站系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101163046A true CN101163046A (zh) | 2008-04-16 |
Family
ID=39297880
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNA2007101779395A Pending CN101163046A (zh) | 2007-11-22 | 2007-11-22 | 一种分布式网站日志数据采集方法和分布式网站系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101163046A (zh) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534213B (zh) * | 2009-04-09 | 2011-02-02 | 成都市华为赛门铁克科技有限公司 | 一种日志的获取方法及日志服务器 |
| CN102117454A (zh) * | 2009-12-30 | 2011-07-06 | 中国银联股份有限公司 | 银行卡安全支付方法及系统 |
| CN102307111A (zh) * | 2011-09-02 | 2012-01-04 | 深圳中兴网信科技有限公司 | 一种日志分布式采集分析方法及系统 |
| CN102710769A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种Web Service客户端及其大批量数据传输方法 |
| WO2012155455A1 (zh) * | 2011-05-13 | 2012-11-22 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| CN101902505B (zh) * | 2009-05-31 | 2013-02-27 | 中国科学院计算机网络信息中心 | 一种分布式dns查询日志的实时统计装置及方法 |
| CN103379136A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
| CN103647676A (zh) * | 2013-12-30 | 2014-03-19 | 中国科学院计算机网络信息中心 | 域名系统数据处理方法 |
| CN103729479A (zh) * | 2014-01-26 | 2014-04-16 | 北京北纬通信科技股份有限公司 | 基于分布式文件存储的网站页面内容统计的方法和系统 |
| CN103873438A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 压缩包上传去重系统及方法 |
| CN103873504A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块存储至分布式服务器的系统及方法 |
| CN104660427A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机系统有限公司 | 日志实时统计方法及装置 |
| CN104881349A (zh) * | 2014-02-28 | 2015-09-02 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
| CN105554181A (zh) * | 2016-01-27 | 2016-05-04 | 久远谦长（北京）技术服务有限公司 | 一种dns日志压缩方法和装置 |
| CN105635301A (zh) * | 2016-01-14 | 2016-06-01 | 郑州悉知信息科技股份有限公司 | 一种访问日志合并方法、日志处理服务器及系统 |
| CN105677552A (zh) * | 2016-01-04 | 2016-06-15 | 杭州亚美利嘉科技有限公司 | 一种机器人日志管理方法及服务器 |
| CN106095864A (zh) * | 2016-06-03 | 2016-11-09 | 中国工商银行股份有限公司 | 一种日志处理系统及方法 |
| CN103685589B (zh) * | 2012-09-07 | 2017-01-25 | 中国科学院计算机网络信息中心 | 基于二进制编码的dns数据压缩、解压缩方法及系统 |
| CN106790181A (zh) * | 2016-12-30 | 2017-05-31 | 北京天健源达科技有限公司 | 电子病历文件的验证方法、服务器和终端设备 |
| CN107391762A (zh) * | 2017-08-28 | 2017-11-24 | 京信通信系统（中国）有限公司 | 日志数据的处理方法及装置 |
| CN110659488A (zh) * | 2019-09-12 | 2020-01-07 | 北京市天元网络技术股份有限公司 | 基于shell脚本文件完整性保护方法以及装置 |
| CN110995835A (zh) * | 2019-12-02 | 2020-04-10 | 杭州麦达电子有限公司 | 一种实时采集已购电子资源数据库访问记录的方法 |
| CN112329273A (zh) * | 2020-12-17 | 2021-02-05 | 深圳市芯天下技术有限公司 | 一种提升芯片验证效率的方法、装置、存储介质和终端 |
-
2007
- 2007-11-22 CN CNA2007101779395A patent/CN101163046A/zh active Pending
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101534213B (zh) * | 2009-04-09 | 2011-02-02 | 成都市华为赛门铁克科技有限公司 | 一种日志的获取方法及日志服务器 |
| CN101902505B (zh) * | 2009-05-31 | 2013-02-27 | 中国科学院计算机网络信息中心 | 一种分布式dns查询日志的实时统计装置及方法 |
| CN102117454A (zh) * | 2009-12-30 | 2011-07-06 | 中国银联股份有限公司 | 银行卡安全支付方法及系统 |
| WO2012155455A1 (zh) * | 2011-05-13 | 2012-11-22 | 中兴通讯股份有限公司 | 一种基于web平台的日志分析方法及系统 |
| CN102307111A (zh) * | 2011-09-02 | 2012-01-04 | 深圳中兴网信科技有限公司 | 一种日志分布式采集分析方法及系统 |
| CN103379136A (zh) * | 2012-04-17 | 2013-10-30 | 中国移动通信集团公司 | 一种日志采集数据压缩方法、解压缩方法及装置 |
| CN102710769A (zh) * | 2012-05-31 | 2012-10-03 | 深圳市远行科技有限公司 | 一种Web Service客户端及其大批量数据传输方法 |
| CN103685589B (zh) * | 2012-09-07 | 2017-01-25 | 中国科学院计算机网络信息中心 | 基于二进制编码的dns数据压缩、解压缩方法及系统 |
| CN103873438A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 压缩包上传去重系统及方法 |
| CN103873504A (zh) * | 2012-12-12 | 2014-06-18 | 鸿富锦精密工业（深圳）有限公司 | 数据分块存储至分布式服务器的系统及方法 |
| CN104660427A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机系统有限公司 | 日志实时统计方法及装置 |
| CN103647676A (zh) * | 2013-12-30 | 2014-03-19 | 中国科学院计算机网络信息中心 | 域名系统数据处理方法 |
| CN103647676B (zh) * | 2013-12-30 | 2016-09-14 | 中国科学院计算机网络信息中心 | 域名系统数据处理方法 |
| CN103729479A (zh) * | 2014-01-26 | 2014-04-16 | 北京北纬通信科技股份有限公司 | 基于分布式文件存储的网站页面内容统计的方法和系统 |
| CN104881349A (zh) * | 2014-02-28 | 2015-09-02 | 东芝泰格有限公司 | 信息处理装置及其控制方法 |
| CN105677552A (zh) * | 2016-01-04 | 2016-06-15 | 杭州亚美利嘉科技有限公司 | 一种机器人日志管理方法及服务器 |
| CN105635301A (zh) * | 2016-01-14 | 2016-06-01 | 郑州悉知信息科技股份有限公司 | 一种访问日志合并方法、日志处理服务器及系统 |
| CN105635301B (zh) * | 2016-01-14 | 2018-12-21 | 郑州悉知信息科技股份有限公司 | 一种访问日志合并方法、日志处理服务器及系统 |
| CN105554181A (zh) * | 2016-01-27 | 2016-05-04 | 久远谦长（北京）技术服务有限公司 | 一种dns日志压缩方法和装置 |
| CN105554181B (zh) * | 2016-01-27 | 2019-03-26 | 久远谦长（北京）技术服务有限公司 | 一种dns日志压缩方法和装置 |
| CN106095864A (zh) * | 2016-06-03 | 2016-11-09 | 中国工商银行股份有限公司 | 一种日志处理系统及方法 |
| CN106790181A (zh) * | 2016-12-30 | 2017-05-31 | 北京天健源达科技有限公司 | 电子病历文件的验证方法、服务器和终端设备 |
| CN107391762A (zh) * | 2017-08-28 | 2017-11-24 | 京信通信系统（中国）有限公司 | 日志数据的处理方法及装置 |
| CN107391762B (zh) * | 2017-08-28 | 2021-02-05 | 京信通信系统（中国）有限公司 | 日志数据的处理方法及装置 |
| CN110659488A (zh) * | 2019-09-12 | 2020-01-07 | 北京市天元网络技术股份有限公司 | 基于shell脚本文件完整性保护方法以及装置 |
| CN110995835A (zh) * | 2019-12-02 | 2020-04-10 | 杭州麦达电子有限公司 | 一种实时采集已购电子资源数据库访问记录的方法 |
| CN110995835B (zh) * | 2019-12-02 | 2022-08-19 | 杭州麦达电子有限公司 | 一种实时采集已购电子资源数据库访问记录的方法 |
| CN112329273A (zh) * | 2020-12-17 | 2021-02-05 | 深圳市芯天下技术有限公司 | 一种提升芯片验证效率的方法、装置、存储介质和终端 |
| CN112329273B (zh) * | 2020-12-17 | 2023-10-24 | 芯天下技术股份有限公司 | 一种提升芯片验证效率的方法、装置、存储介质和终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101163046A (zh) | 一种分布式网站日志数据采集方法和分布式网站系统 | |
| CN101674293B (zh) | 一种分布式应用中处理非正常请求的方法及系统 | |
| CN106227780B (zh) | 一种海量网页的自动化截图取证方法和系统 | |
| CN104113519A (zh) | 网络攻击检测方法及其装置 | |
| KR20140113705A (ko) | 웹 호스트에 의해 제공된 웹 콘텐츠의 진본성을 보장하기 위한 방법, 디바이스, 시스템 및 컴퓨터 판독가능 저장 매체 | |
| CN111740868B (zh) | 告警数据的处理方法和装置及存储介质 | |
| CN112788270B (zh) | 视频回溯方法、装置、计算机设备及存储介质 | |
| CN107294919A (zh) | 一种水平权限漏洞的检测方法及装置 | |
| CN111901192A (zh) | 一种页面访问数据的统计方法及装置 | |
| CN103368978A (zh) | 实现智能移动终端应用漏洞和通信安全检测的系统及方法 | |
| CN113139884B (zh) | 智能建筑管理系统方法、系统、存储介质及电子设备 | |
| CN111694828A (zh) | 数据处理方法、设备、系统及存储介质 | |
| CN104348578B (zh) | 数据处理的方法及装置 | |
| EP3195552A1 (de) | Vorrichtung und verfahren zum verwalten eines netzwerks | |
| CN114465741B (zh) | 一种异常检测方法、装置、计算机设备及存储介质 | |
| CN113225339B (zh) | 网络安全监测方法、装置、计算机设备及存储介质 | |
| CN105577670A (zh) | 一种撞库攻击的告警系统 | |
| CN101741846A (zh) | 文件下载的方法、装置及系统 | |
| JP6665503B2 (ja) | データ収集システム、データ収集装置及びデータ収集方法 | |
| CN108289041B (zh) | 一种服务器信息的处理方法以及相关装置 | |
| CN105530137A (zh) | 流量数据分析方法及流量数据分析系统 | |
| CN112738188A (zh) | 一种数据跨网传输方法及装置 | |
| CN102299958A (zh) | 通过ie浏览监控视频的方法、客户端及系统 | |
| CN108616594B (zh) | 基于dpdk的http旁路阻断方法 | |
| CN113965385B (zh) | 一种异常网站的监控处理方法、装置、设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C12 | Rejection of a patent application after its publication | ||
| RJ01 | Rejection of invention patent application after publication |
Open date: 20080416 |