CN103475519B - 一种大数据量的日志记录方法及装置 - Google Patents

一种大数据量的日志记录方法及装置 Download PDF

Info

Publication number
CN103475519B
CN103475519B CN201310407729.6A CN201310407729A CN103475519B CN 103475519 B CN103475519 B CN 103475519B CN 201310407729 A CN201310407729 A CN 201310407729A CN 103475519 B CN103475519 B CN 103475519B
Authority
CN
China
Prior art keywords
log
access
access request
data base
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310407729.6A
Other languages
English (en)
Other versions
CN103475519A (zh
Inventor
陆洋智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Si Tech Information Technology Co Ltd
Original Assignee
Beijing Si Tech Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Si Tech Information Technology Co Ltd filed Critical Beijing Si Tech Information Technology Co Ltd
Priority to CN201310407729.6A priority Critical patent/CN103475519B/zh
Publication of CN103475519A publication Critical patent/CN103475519A/zh
Application granted granted Critical
Publication of CN103475519B publication Critical patent/CN103475519B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明涉及一种大数据量的日志记录方法及装置，包括以下步骤：客户端向互联网网站发送访问请求，互联网网站根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；互联网网站将访问请求保存成访问日志，并将访问日志发送给日志模块；日志模块对访问日志进行解析，并将解析后的访问日志保存到日志文件中；在预定的时间段内重复执行步骤1至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；导入模块将每个预定的时间段内保存于日志模块中的日志文件导入数据库。本发明能够大大地提高在大并发量大数据量的环境下日志处理的性能，降低了数据库的压力，减少了系统因日志产生的额外的性能消耗。

Description

一种大数据量的日志记录方法及装置
技术领域
本发明涉及一种日志记录方法，特别涉及一种大数据量的日志记录方法。
背景技术
随着互联网的发展，许多企事业单位都拥有自己的IT网站系统。然而在网站的运营过程中，运营分析是必不可少的。分析的过程必然依赖着原始记录的日志，一旦大并发情况下，日志的处理将显得尤为重要。采用传统的过滤器拦截实时入库的日志记录方式必然会大量占用系统资源，影响系统业务的处理效率。而本发明就针对大并发时提供的高性能的记录与查询技术，最小程度地影响被监控系统本身的性能。
存在问题：在处理小并发时，代码的编写和处理过程显得过于繁琐，因而显得没必要。
发明内容
本发明所要解决的技术问题是提供一种能够高效的处理大并发大数据量下的对日志进行记录的大数据量的日志记录方法及装置。
本发明解决上述技术问题的技术方案如下：一种大数据量的日志记录方法，包括以下步骤：
步骤1：客户端向互联网网站发送访问请求，互联网网站根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；
步骤2：互联网网站将访问请求保存成访问日志，并将访问日志发送给日志模块；
步骤3：日志模块对访问日志进行解析，并将解析后的访问日志保存到日志文件中；
步骤4：在预定的时间段内重复执行步骤1至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；
步骤5：导入模块将每个预定的时间段内保存于日志模块中的日志文件导入数据库。
本发明的有益效果是：本发明能够大大地提高在大并发量大数据量的环境下日志处理的性能，降低了数据库的压力，减少了系统因日志产生的额外的性能消耗。
在上述技术方案的基础上，本发明还可以做如下改进。
进一步，所述步骤1和步骤2采用异步方式同时进行。
进一步，导入模块具体为SQLLDR导入命令。
进一步，所述步骤4中预定的时间为1小时。
进一步，一种大数据量的日志记录装置，包括客户端，互联网网站，日志模块，导入模块和数据库；
所述客户端，用于向互联网网站发送访问请求，接收响应信息；
所述互联网网站，用于不断接收访问请求，根据访问请求访问数据库，得到响应信息，并将响应信息返回给客户端；将访问请求保存成访问日志，并将访问日志发送给日志模块；
所述日志模块，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块中的日志文件中；
所述导入模块，用于将每个预定的时间段内保存于日志模块中的日志文件导入数据库；
所述数据库，用于接收日志文件，并记录日志文件。
进一步，互联网网站采用异步方式同时执行根据访问请求访问数据库、得到响应信息、并将响应信息返回给客户端和将访问请求保存成访问日志，并将访问日志发送给日志模块。
进一步，导入模块具体为SQLLDR导入命令。
进一步，所述导入模块中预定的时间为1小时。
附图说明
图1为本发明方法步骤流程图；
图2为本发明装置结构图。
附图中，各标号所代表的部件列表如下：
1、客户端，2、互联网网站，3、日志模块，4、导入模块，5、数据库。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，为本发明方法步骤流程图，图2为本发明装置结构图。
实施例1
一种大数据量的日志记录方法，包括以下步骤：
步骤1：客户端1向互联网网站2发送访问请求，互联网网站2根据访问请求访问数据库5，得到响应信息，并将响应信息返回给客户端1；
步骤2：互联网网站2将访问请求保存成访问日志，并将访问日志发送给日志模块3；
步骤3：日志模块3对访问日志进行解析，并将解析后的访问日志保存到日志文件中；
步骤4：在预定的时间段内重复执行步骤1至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；
步骤5：导入模块4将每个预定的时间段内保存于日志模块中的日志文件导入数据库5。
所述步骤1和步骤2采用异步方式同时进行。导入模块4具体为SQLLDR导入命令。所述步骤4中预定的时间为1小时。
一种大数据量的日志记录装置，包括客户端1，互联网网站2，日志模块3，导入模块4和数据库5；
所述客户端1，用于向互联网网站2发送访问请求，接收响应信息，
所述互联网网站2，用于不断接收访问请求，根据访问请求访问数据库5，得到响应信息，并将响应信息返回给客户端1；将访问请求保存成访问日志，并将访问日志发送给日志模块3；
所述日志模块3，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块3中的日志文件中；
所述导入模块4，用于将每个预定的时间段内保存于日志模块3中的日志文件导入数据库5；
所述数据库5，用于接收日志文件，并记录日志文件。
互联网网站2采用异步方式同时执行根据访问请求访问数据库5、得到响应信息、并将响应信息返回给客户端1和将访问请求保存成访问日志，并将访问日志发送给日志模块3。
导入模块4具体为SQLLDR导入命令。所述导入模块4中预定的时间为1小时。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种大数据量的日志记录方法，其特征在于，包括以下步骤：
步骤1：客户端(1)向互联网网站(2)发送访问请求，互联网网站(2)根据访问请求访问数据库(5)，得到响应信息，并将响应信息返回给客户端(1)；
步骤2：互联网网站(2)将访问请求保存成访问日志，并将访问日志发送给日志模块(3),所述步骤1和步骤2采用异步方式同时进行；
步骤3：日志模块(3)对访问日志进行解析，并将解析后的访问日志保存到日志文件中；
步骤4：在预定的时间段内重复执行步骤1至步骤3，分别将每次接收到访问请求后得到的访问日志保存到日志文件中；
步骤5：导入模块(4)将每个预定的时间段内保存于日志模块中的日志文件导入数据库(5)。
2.根据权利要求1所述的日志记录方法，其特征在于：导入模块(4)具体为SQLLDR导入命令。
3.根据权利要求2所述的日志记录方法，其特征在于：所述步骤4中预定的时间为1小时。
4.一种大数据量的日志记录装置，其特征在于：包括客户端(1)，互联网网站(2)，日志模块(3)，导入模块(4)和数据库(5)；
所述客户端(1)，用于向互联网网站(2)发送访问请求，接收响应信息，
所述互联网网站(2)，用于不断接收访问请求，根据访问请求访问数据库(5)，得到响应信息，并将响应信息返回给客户端(1)；将访问请求保存成访问日志，并将访问日志发送给日志模块(3),互联网网站(2)采用异步方式同时执行根据访问请求访问数据库(5)、得到响应信息、并将响应信息返回给客户端(1)和将访问请求保存成访问日志，并将访问日志发送给日志模块(3)；
所述日志模块(3)，用于不断接收访问日志，对访问日志进行解析，并将在每个预定的时间段内、每次解析后的访问日志保存到日志模块(3)中的日志文件中；
所述导入模块(4)，用于将每个预定的时间段内保存于日志模块(3)中的日志文件导入数据库(5)；
所述数据库(5)，用于接收日志文件，并记录日志文件。
5.根据权利要求4所述的日志记录装置，其特征在于：导入模块(4)具体为SQLLDR导入命令。
6.根据权利要求5所述的日志记录装置，其特征在于：所述导入模块(4)中预定的时间为1小时。
CN201310407729.6A 2013-09-09 2013-09-09 一种大数据量的日志记录方法及装置 Active CN103475519B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310407729.6A CN103475519B (zh) 2013-09-09 2013-09-09 一种大数据量的日志记录方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310407729.6A CN103475519B (zh) 2013-09-09 2013-09-09 一种大数据量的日志记录方法及装置

Publications (2)

Publication Number Publication Date
CN103475519A CN103475519A (zh) 2013-12-25
CN103475519B true CN103475519B (zh) 2016-09-14

Family

ID=49800229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310407729.6A Active CN103475519B (zh) 2013-09-09 2013-09-09 一种大数据量的日志记录方法及装置

Country Status (1)

Country Link
CN (1) CN103475519B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899278B (zh) * 2015-05-29 2019-05-03 北京京东尚科信息技术有限公司 一种Hbase数据库数据操作日志的生成方法及装置
CN106897156A (zh) * 2016-12-28 2017-06-27 南京欣网互联信息技术有限公司 基于统计平台的统计用户行为形成日志的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932812A (zh) * 2005-09-16 2007-03-21 腾讯科技（深圳）有限公司 一种日志保存方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1932812A (zh) * 2005-09-16 2007-03-21 腾讯科技（深圳）有限公司 一种日志保存方法及装置

Also Published As

Publication number Publication date
CN103475519A (zh) 2013-12-25

Similar Documents

Publication Publication Date Title
CN102789470B (zh) 加载网页中的图片的方法和装置
US20190222603A1 (en) Method and apparatus for network forensics compression and storage
CN100449543C (zh) 一种日志保存方法及装置
CN104092770B (zh) 基于云计算的企业内部通讯录管理方法和系统
CA2931525C (en) Data stream identifying method and device
US9275156B2 (en) Trending topic identification from social communications
US10255371B2 (en) Methods and systems for identifying multiple devices belonging to a single user by merging deterministic and probabilistic data to generate a cross device data structure
WO2010113043A3 (en) Dynamic content linked to contact identifiers
WO2015021873A1 (en) Method, platform server, and system of data pushing
CN103617267A (zh) 社交化扩展搜索方法及装置、系统
CN103095530A (zh) 一种基于前置网关的敏感信息监测及防泄漏方法及系统
CN103024090A (zh) 一种识别用户终端的方法和系统
CN105930502B (zh) 一种收集数据的系统、客户端和方法
CN103475519B (zh) 一种大数据量的日志记录方法及装置
CN103513986A (zh) 一种在无操作系统设备中利用CGI技术实现动态web服务器的方法
CN105392021A (zh) 一种海量视频推送系统的推送方法及系统
CN103236938A (zh) 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN105554181A (zh) 一种dns日志压缩方法和装置
KR101830504B1 (ko) 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템
CN107818145A (zh) 一种基于动态爬虫的用户行为分类标签提取方法
CN103577434B (zh) 一种数据文件的管理方法和装置
CN103312785B (zh) 一种访问关系的确定方法及装置
CN102521379A (zh) 基于主动推技术的互联网信息采集方法和装置
Junior et al. Cost optimization on public cloud provider for big geospatial data
CN101901273B (zh) 一种基于内存磁盘的高性能存储方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant