CN1932812A - 一种日志保存方法及装置 - Google Patents
一种日志保存方法及装置 Download PDFInfo
- Publication number
- CN1932812A CN1932812A CN 200510103323 CN200510103323A CN1932812A CN 1932812 A CN1932812 A CN 1932812A CN 200510103323 CN200510103323 CN 200510103323 CN 200510103323 A CN200510103323 A CN 200510103323A CN 1932812 A CN1932812 A CN 1932812A
- Authority
- CN
- China
- Prior art keywords
- daily record
- buffer memory
- journal file
- database
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种日志保存方法及装置，用以解决现有技术在进行日志保存过程中日志容易丢失、日志入库耗时过长的问题。所述方法包括步骤：A.接收并缓存日志产生装置产生的日志；B.读取缓存中的日志，将其保存在二进制形式的日志文件中；C.将所述二进制形式的日志文件转换为文本形式的日志文件，将该文本形式的日志文件导入数据库中进行保存；所述装置包括：日志接收模块、日志导出模块、数据转换模块、数据库导入模块；本发明完全解决了日志入库时间过长的问题，且硬件资源消耗很少。
Description
技术领域
本发明涉及日志保存技术，尤其涉及一种日志保存方法及装置。
背景技术
日志保存是一种用于记录用户在网络中的行为的技术，采用日志保存技术后可以方便的对用户在网络中的行为进行查询、跟踪和分析。日志保存技术在即时通信系统、银行系统、电话系统以及网站系统等网络系统中都得到了广泛的应用，例如，在电话系统中，日志系统会记录每次通话的双方号码、起始时间、产生的话费等内容；在银行系统中，日志系统会记录用户的存取款记录；在网站系统中，日志系统会记录网站的访问记录；在即时通信系统中，日志系统会记录即使通信软件的登录记录等。
图1所示为日志系统的结构示意图，由图中可见，日志系统主要包括日志产生装置和日志保存装置，其中日志产生装置用于产生日志，可以是处理业务的终端(如ATM机)，也可以是处理业务的后台服务器(如电话交换机、计费服务器等)；日志保存装置用于接收日志产生装置产生的日志并对其进行保存，日志可以保存在文件中，也可以保存在数据库中，其中后者因为其易管理性而成为主流。
现有技术的日志系统中，日志保存装置可以设置在日志产生装置中，也可以独立于日志产生装置作为一个单独的功能实体，下面分别予以说明：
将日志保存装置设置在日志产生装置中即是将日志产生装置产生的日志直接保存在本地磁盘中，例如，常见的门户网站系统由一个或多个网站服务器组成，这些网站服务器就是日志产生装置。当有一个用户访问网站时，网站服务器把用户的访问日志记录(如时间、IP等)直接保存在本地磁盘，以后再定时汇总这些日志信息。这种将日志保存装置设置在日志产生装置中的日志保存方式的实现简单，不用在日志产生装置和日志保存装置之间设计专门的日志发送/接收网络协议，但是其缺点也很明显，由于日志产生装置的主要使命是响应和处理用户的业务请求，频繁的日志保存操作(通常是很慢的磁盘操作)会大大影响日志产生装置的业务处理能力。因此，这种将日志保存装置设置在日志产生装置中的日志保存方式只适合日志量较小，或者只需抽样记录部分日志的应用环境。
图2所示为独立设置日志保存装置的日志系统的结构示意图，由图中可见，日志产生装置和日志保存装置为各自独立的功能实体，日志产生装置和日志保存装置之间通过特定的网络端口连接，一个日志保存装置与多个日志产生装置相对应，可保存多个日志产生装置产生的日志。日志产生装置和日志保存装置之间需要预先设定日志发送/接收网络协议，日志产生装置负责把日志发送到日志保存装置特定的网络端口，日志保存装置负责监听特定的网络端口，一旦有日志到达，就把日志接收下来并将其保存到磁盘。
日志保存装置中的日志接收模块将日志保存到磁盘的方式主用有三种，第一种方式是将日志直接插入到数据库，由于多了一层数据库操作，所以保存速度比较缓慢；第二种方式是将日志直接保存到文件，这种方式的保存速度比第一种方式要快，但是文件形式的日志不方便汇总和查询；第三种方式是先将日志保存到文件，再读取文件内容，把日志一次一行地或一次多行地插入到数据库中，一次多行的操作方法能够大大提高数据库插入速度。无论采取上述三种保存方式中的哪一种，都面临一个重要的问题，由于磁盘I/O(Input/Output，输入/输出)的速度赶不上网络I/O的速度，因此在日志量很大的情况下，会导致日志来不及写入磁盘而丢失。
现有技术中通常采用日志保存装置集群的方式来解决磁盘I/O赶不上网络I/O而丢失日志的问题，图3所示为采用集群式日志保存装置的日志系统的结构示意图，由图中可见，多个日志保存装置组成一个集群，集群中的每个日志保存装置与一组日志产生装置相对应，不同组的日志产生装置把日志发到对应的日志保存装置，从而减轻了单个日志保存装置的负担。这种方式的优点是可以平行扩展，只要增加足够数量的日志保存装置，就可以解决日志丢失的问题。但在增加日志保存装置的同时日志系统的成本也会大大提高，并且由于日志分散保存在不同的日志保存装置中，不方便进行日志的汇总和查询。
发明内容
本发明提供一种日志保存方法及装置，用以解决现有技术在进行日志保存过程中日志容易丢失、日志入库耗时过长的问题。
本发明方法包括：
一种日志保存方法，所述日志由日志产生装置产生，包括步骤：
接收并缓存日志产生装置产生的日志；
读取缓存中的日志，将其保存在二进制形式的日志文件中；
将所述二进制形式的日志文件转换为文本形式的日志文件，将该文本形式的日志文件导入数据库中进行保存。
每间隔预定时间读取一次缓存，将缓存中保存的日志全部读出。
当缓存中保存的日志所占用的存储空间达到预定数值时读取一次缓存，将缓存中保存的日志全部读出。
每个二进制形式的日志文件中保存了设定时长内从缓存中读出的全部日志。
每个二进制形式的日志文件中保存了设定数量的从缓存中读出的日志。
调用数据库底层接口将文本形式的日志文件批量导入数据库中。
一种日志保存装置，用于保存日志产生装置产生的日志，包括：
日志接收模块，用于接收日志产生装置产生的日志，将其保存在缓存中；
日志导出模块，用于读取缓存中的日志，将其保存在二进制形式的日志文件中；
数据转换模块，用于将二进制形式的日志文件转换为文本形式的日志文件；
数据库导入模块，用于将文本形式的日志文件导入数据库中进行保存。
所述缓存设置在日志接收模块中，或者为所述装置中的单独设置的模块。
所述日志接收模块实时接收日志产生装置产生的日志。
所述日志导出模块每间隔预定时间读取一次缓存，将缓存中保存的日志全部读出。
所述日志导出模块在缓存中保存的日志占用的存储空间达到预定数值时读取一次缓存，将缓存中保存的日志全部读出。
所述数据库导入模块调用数据库底层接口将文本形式的日志文件批量导入数据库中。
本发明有益效果如下：
本发明采用缓存技术对接收到的日志产生装置产生的日志进行缓存，采用批量写的方式一次性地把从缓存中读出的日志全部写到磁盘上的二进制形式的日志文件中，将二进制形式的日志文件转换为文本形式的日志文件后，利用数据库的批量导入工具将该文本形式的日志文件批量导入数据库中进行保存。由于缓存的存取速度远远大于网络速度，因此可以保证不会丢失日志产生装置产生的日志，采用批量写的方式一次性地把从缓存中读出的日志全部写到磁盘上的二进制形式的日志文件中，可以保证磁盘写入的最大速度，避免了由于磁盘速度导致的日志丢失问题；利用数据库的批量导入工具将文本形式的日志文件批量导入数据库中进行保存可以缩短日志入库的时间，本发明完全解决了日志入库时间过长的问题，且硬件资源消耗很少。
附图说明
图1为日志系统的结构示意图；
图2为独立设置日志保存装置的日志系统的结构示意图；
图3为采用集群式日志保存装置的日志系统的结构示意图；
图4为本发明的日志保存装置的结构示意图；
图5为本发明的日志保存的流程图。
具体实施方式
本发明针对现有技术的缺陷，提出一种适用于日志量很大的情况下的日志保存方法及装置，下面将结合各个附图对本发明的主要实现原理及其具体实施方式进行详细的阐述。
图4所示为本发明的日志保存装置的结构示意图，由图中可见，本发明的日志保存装置的结构主要包括：
日志接收模块，接收日志产生装置产生的日志，将其保存在缓存中；
日志导出模块，读取缓存中的日志，将其保存在磁盘上的二进制形式的日志文件中；
数据转换模块，将磁盘上的二进制形式的日志文件转换并保存为文本形式的日志文件；
数据库导入模块，将文本形式的日志文件导入磁盘的数据库中进行保存。
上述缓存即可以设置在日志接收模块中，也可以单独设置，作为日志保存装置中的独立模块。
图5所示为本发明的日志保存的流程图，参见图5并结合图4，本发明的日志保存的主要实现过程如下：
步骤S10、日志接收模块实时监听日志产生装置和日志保存装置之间的特定网络端口，接收日志产生装置发送过来的日志。
步骤S11、日志接收模块将接收到的日志保存到一块缓存区里，由于内存的存取速度远远大于网络速度，因此可以保证不会丢失日志；
缓存区用“共享内存”技术实现，缓存区在数据结构上是一个环，假设缓存区的大小是K字节，缓存区当前的头部是第H字节，尾部是第T字节，日志接收模块总是把接收到的日志写到缓存区的尾部，即从第(T+1)％K个字节开始写，其中，％表示对括号里面的数值进行取余操作。也就是说，如果T+1＝K，那么从缓存区的第0个字节开始写，这样就实现了环状缓存区；
一般来讲，日志的格式都是比较固定的，在设计时通常设计成定长的二进制数据(每一条日志占用相同大小的存储空间)，因此，缓存区的内容是二进制数据，这主要是由于二进制数据比表示相同内容的文本数据节省存储空间，可以减少对缓存区大小的要求。比如，电话号码88888888，如果用文本数据表示，需要8个字节，而用二进制数据表示时，其数据形式为00000101010011000101011000111000，只需要4个字节。
步骤S12、日志导出模块从缓存区的头部开始读取日志，将其写入磁盘内的二进制形式的日志文件中；
日志导出模块每间隔预定时间或者在缓存中保存的日志占用的存储空间达到预定数值时读取一次缓存区，将缓存区中保存的日志全部读出，日志导出模块采用了批量写的方式一次性地把从缓存区中读出的日志全部写到磁盘上的二进制形式的日志文件中，批量写技术可以保证磁盘写入的最大速度，避免了由于磁盘速度导致的日志丢失问题。
二进制形式的日志文件的保存方式主要有两种，一种方式是每个二进制形式的日志文件中保存设定时长(如24小时)内从缓存中读出的全部日志，即设定时长内从缓存中读出的全部日志形成一个二进制形式的日志文件；另一种方式是每个二进制形式的日志文件中保存设定数量(如1000万条)的从缓存中读出的日志，即每当从缓存中读出的日志达到设定数量即形成一个二进制形式的日志文件。
假设缓存区的大小是K字节，当前的头部是第H字节，尾部是第T字节，那么需要导出的内容是：
1)如果H＜＝T，需要导出的内容是[H，T]；
2)如果H＞T，那么需要导出的内容是[H，K-1]和[0，T]。
日志导出模块用标准C函数库的fwrite()函数可以方便地实现批量写，例如，fwrite(pszBuffer，iLogLen，iLogCount，pfOutputFile)，表示把缓存区pszBuffe的内容写到文件pfOutputFile中，写iLogCount条日志，每条日志iLogLen个字节。
步骤S13、数据转换模块将磁盘上的二进制形式的日志文件转换并保存为文本形式的日志文件；
日志保存在二进制文件中，不方便做各种查询、追踪和分析，我们需要把它们放到数据库中，以方便查询，大部分数据库产品(如Oracle、DB2、SQLServer、MySQL等)都提供了批量导入的工具，但这些数据库产品只能批量导入文本文件，因此，需要数据转换模块将二进制形式的日志文件转换并保存为符合数据库导入格式要求的文本形式的日志文件。
例如，对于论坛登录日志：用户ID(整数)、登录时间(整数)、登录IP(整数)
其二进制形式的日志内容为：
00000101 01001100 01010110 00111000
01000011 00001100 10001110 01101011
11001010 10000100 00100010 00100111
其转换后的文本形式的日志内容为：
88888888，2005-08-2423：12：43，202.132.34.39
步骤S14、数据库导入模块将文本形式的日志文件导入磁盘的数据库中进行保存；
本发明主要用于日志量很大的应用环境中，如每天10亿条，如果用数据库的Insert语句插入大量的日志数据，入库时间会非常长，约需要10个小时左右。即时使用“一次插入多行”的插入方式，也需要5个小时左右。插入慢的原因是数据库需要频繁对待插入的表进行加锁/解锁操作，需要频繁地做表文件空间的查找/分配操作。
大部分数据库产品(如Oracle，DB2，SQL Server，MySQL)都提供了批量导入的工具，如MySQL的Load Data In file语句，SQL Server的Bulk Insert语句等；
例如，MySQL的批量导入的语句为：Load Data infile‘/tmp/source.txt’intotable TargetTableName fields terminated by‘，’；
SQL Server的批量导入的语句为：Bulk insert TargetTableName from″/tmp/source.txt″with(FIELDTERMINATOR＝′，′)；
在本发明中，数据库导入模块调用数据库提供的接口或者SQL语句，如上述Load Data Infile语句或者Bulk Insert...From语句，使用批量导入方式将文本形式的日志文件导入数据库中，由于这种方式直接调用数据库底层接口对数据库进行写操作，因此这种方式的导入速度比Insert语句快10～1000倍，使10亿条日志仅用约30分钟就可以全部入库。
本发明采用缓存技术、批量写技术以及批量导入数据库技术进行日志的保存，解决了日志入库时间过长的问题，完全避免了因为磁盘速度小于网络速度造成的日志丢失，且硬件资源消耗很少。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (12)
1、一种日志保存方法，所述日志由日志产生装置产生，其特征在于，包括步骤：
接收并缓存日志产生装置产生的日志；
读取缓存中的日志，将其保存在二进制形式的日志文件中；
将所述二进制形式的日志文件转换为文本形式的日志文件，将该文本形式的日志文件导入数据库中进行保存。
2、根据权利要求1所述的日志保存方法，其特征在于，每间隔预定时间读取一次缓存，将缓存中保存的日志全部读出。
3、根据权利要求1所述的日志保存方法，其特征在于，当缓存中保存的日志所占用的存储空间达到预定数值时读取一次缓存，将缓存中保存的日志全部读出。
4、根据权利要求1、2或3所述的日志保存方法，其特征在于，每个二进制形式的日志文件中保存了设定时长内从缓存中读出的全部日志。
5、根据权利要求1、2或3所述的日志保存方法，其特征在于，每个二进制形式的日志文件中保存了设定数量的从缓存中读出的日志。
6、根据权利要求1所述的日志保存方法，其特征在于，调用数据库底层接口将文本形式的日志文件批量导入数据库中。
7、一种日志保存装置，用于保存日志产生装置产生的日志，其特征在于，包括：
日志接收模块，用于接收日志产生装置产生的日志，将其保存在缓存中；
日志导出模块，用于读取缓存中的日志，将其保存在二进制形式的日志文件中；
数据转换模块，用于将二进制形式的日志文件转换为文本形式的日志文件；
数据库导入模块，用于将文本形式的日志文件导入数据库中进行保存。
8、根据权利要求7所述的日志保存装置，其特征在于，所述缓存设置在日志接收模块中，或者为所述装置中的单独设置的模块。
9、根据权利要求7所述的日志保存装置，其特征在于，所述日志接收模块实时接收日志产生装置产生的日志。
10、根据权利要求7所述的日志保存装置，其特征在于，所述日志导出模块每间隔预定时间读取一次缓存，将缓存中保存的日志全部读出。
11、根据权利要求7所述的日志保存装置，其特征在于，所述日志导出模块在缓存中保存的日志占用的存储空间达到预定数值时读取一次缓存，将缓存中保存的日志全部读出。
12、根据权利要求7所述的日志保存装置，其特征在于，所述数据库导入模块调用数据库底层接口将文本形式的日志文件批量导入数据库中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005101033234A CN100449543C (zh) | 2005-09-16 | 2005-09-16 | 一种日志保存方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CNB2005101033234A CN100449543C (zh) | 2005-09-16 | 2005-09-16 | 一种日志保存方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN1932812A true CN1932812A (zh) | 2007-03-21 |
| CN100449543C CN100449543C (zh) | 2009-01-07 |
Family
ID=37878647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CNB2005101033234A Active CN100449543C (zh) | 2005-09-16 | 2005-09-16 | 一种日志保存方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN100449543C (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101267338B (zh) * | 2008-04-23 | 2010-10-13 | 杭州思福迪信息技术有限公司 | 高性能日志及行为审计系统 |
| CN101388790B (zh) * | 2007-09-14 | 2010-12-08 | 中兴通讯股份有限公司 | 一种导入无线网络性能数据的方法 |
| CN101969386A (zh) * | 2010-11-09 | 2011-02-09 | 道有道(北京)科技有限公司 | 一种日志采集装置和日志采集方法 |
| CN101321089B (zh) * | 2008-07-07 | 2011-04-20 | 中兴通讯股份有限公司 | 一种电信网管系统中性能数据的入库方法 |
| CN102110167A (zh) * | 2011-03-01 | 2011-06-29 | 上海奈凯电子科技有限公司 | 数控系统中实现日志信息管理的方法 |
| CN102118268A (zh) * | 2011-02-18 | 2011-07-06 | 中兴通讯股份有限公司 | 一种保存话务数据的方法及系统 |
| CN102195795A (zh) * | 2010-03-19 | 2011-09-21 | Tcl集团股份有限公司 | 智能小区日志系统及其日志记录方法 |
| CN103064779A (zh) * | 2012-12-26 | 2013-04-24 | 北京思特奇信息技术股份有限公司 | 一种快速处理日志信息的方法 |
| CN103176888A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103186475A (zh) * | 2011-12-29 | 2013-07-03 | 深圳市快播科技有限公司 | 海量数据的接收存储方法及系统 |
| CN103309767A (zh) * | 2012-03-08 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
| CN103475519A (zh) * | 2013-09-09 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种大数据量的日志记录方法及装置 |
| CN103532943A (zh) * | 2013-10-08 | 2014-01-22 | 北京神州绿盟信息安全科技股份有限公司 | web应用防火墙设备和安全防护日志的异步处理方法 |
| CN103593440A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 日志文件的读写方法及装置 |
| CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及系统 |
| CN104657366A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机系统有限公司 | 海量日志写入数据库的方法、装置和日志容灾系统 |
| CN105022822A (zh) * | 2015-07-17 | 2015-11-04 | 成都视达科信息技术有限公司 | 一种基于php收集及存储日志的方法和系统 |
| CN105045839A (zh) * | 2015-06-30 | 2015-11-11 | 上海瀚之友信息技术服务有限公司 | 一种数据批量操作方法 |
| CN105404472A (zh) * | 2015-11-23 | 2016-03-16 | 天脉聚源(北京)传媒科技有限公司 | 一种压缩日志时间数据的存储空间的方法及装置 |
| CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和系统 |
| WO2016169145A1 (zh) * | 2015-04-21 | 2016-10-27 | 中兴通讯股份有限公司 | 一种云终端日志处理方法、装置及系统 |
| CN106874160A (zh) * | 2017-01-23 | 2017-06-20 | 上海斐讯数据通信技术有限公司 | 日志服务器及其管理方法 |
| CN107895039A (zh) * | 2017-11-29 | 2018-04-10 | 华中科技大学 | 一种校园网认证系统日志数据库的构建方法 |
| CN110716695A (zh) * | 2019-09-12 | 2020-01-21 | 北京浪潮数据技术有限公司 | 一种节点日志的存储方法、系统、电子设备及存储介质 |
| CN113703665A (zh) * | 2021-07-12 | 2021-11-26 | 深圳市有为信息技术发展有限公司 | 控制终端数据在网关崩溃后减少丢失的方法、装置及电子设备 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101788948B (zh) * | 2010-02-05 | 2013-08-21 | 瑞斯康达科技发展股份有限公司 | 一种日志信息的动态存储系统及方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5499367A (en) * | 1991-11-15 | 1996-03-12 | Oracle Corporation | System for database integrity with multiple logs assigned to client subsets |
| US6832229B2 (en) * | 2001-03-09 | 2004-12-14 | Oracle International Corporation | System and method for maintaining large-grained database concurrency with a log monitor incorporating dynamically redefinable business logic |
| CN1150717C (zh) * | 2001-06-21 | 2004-05-19 | 华为技术有限公司 | 综合网管设备日志管理系统 |
| JP4387087B2 (ja) * | 2002-07-25 | 2009-12-16 | 三洋電機株式会社 | データ記憶装置 |
| US20040193654A1 (en) * | 2003-03-31 | 2004-09-30 | Nitzan Peleg | Logical range logging |
| CN1211980C (zh) * | 2003-07-31 | 2005-07-20 | 港湾网络有限公司 | 日志信息的扩展保存方法 |
| CN100341285C (zh) * | 2003-08-30 | 2007-10-03 | 华为技术有限公司 | 安全日志的实现方法 |
| CN1633080A (zh) * | 2003-12-24 | 2005-06-29 | 华为技术有限公司 | 在网络管理系统中实现日志的方法 |
| CN1635520B (zh) * | 2003-12-27 | 2010-04-14 | 鸿富锦精密工业（深圳）有限公司 | 数据处理系统及方法 |
| CN1564138A (zh) * | 2004-03-26 | 2005-01-12 | 清华大学 | 快速同步高性能日志设备及其同步写操作方法 |
-
2005
- 2005-09-16 CN CNB2005101033234A patent/CN100449543C/zh active Active
Cited By (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101388790B (zh) * | 2007-09-14 | 2010-12-08 | 中兴通讯股份有限公司 | 一种导入无线网络性能数据的方法 |
| CN101267338B (zh) * | 2008-04-23 | 2010-10-13 | 杭州思福迪信息技术有限公司 | 高性能日志及行为审计系统 |
| CN101321089B (zh) * | 2008-07-07 | 2011-04-20 | 中兴通讯股份有限公司 | 一种电信网管系统中性能数据的入库方法 |
| CN102195795B (zh) * | 2010-03-19 | 2014-03-12 | Tcl集团股份有限公司 | 智能小区日志系统及其日志记录方法 |
| CN102195795A (zh) * | 2010-03-19 | 2011-09-21 | Tcl集团股份有限公司 | 智能小区日志系统及其日志记录方法 |
| CN101969386A (zh) * | 2010-11-09 | 2011-02-09 | 道有道(北京)科技有限公司 | 一种日志采集装置和日志采集方法 |
| CN102118268A (zh) * | 2011-02-18 | 2011-07-06 | 中兴通讯股份有限公司 | 一种保存话务数据的方法及系统 |
| WO2012109915A1 (zh) * | 2011-02-18 | 2012-08-23 | 中兴通讯股份有限公司 | 一种保存话务数据的方法及系统 |
| CN102110167A (zh) * | 2011-03-01 | 2011-06-29 | 上海奈凯电子科技有限公司 | 数控系统中实现日志信息管理的方法 |
| CN102110167B (zh) * | 2011-03-01 | 2013-07-31 | 上海维宏电子科技股份有限公司 | 数控系统中实现日志信息管理的方法 |
| CN103176888B (zh) * | 2011-12-22 | 2018-01-23 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103176888A (zh) * | 2011-12-22 | 2013-06-26 | 阿里巴巴集团控股有限公司 | 一种日志记录的方法和系统 |
| CN103186475A (zh) * | 2011-12-29 | 2013-07-03 | 深圳市快播科技有限公司 | 海量数据的接收存储方法及系统 |
| CN103309767A (zh) * | 2012-03-08 | 2013-09-18 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
| CN103309767B (zh) * | 2012-03-08 | 2016-01-13 | 阿里巴巴集团控股有限公司 | 一种客户端日志处理方法和装置 |
| CN103064779B (zh) * | 2012-12-26 | 2016-08-03 | 北京思特奇信息技术股份有限公司 | 一种快速处理日志信息的方法 |
| CN103064779A (zh) * | 2012-12-26 | 2013-04-24 | 北京思特奇信息技术股份有限公司 | 一种快速处理日志信息的方法 |
| CN104301360A (zh) * | 2013-07-19 | 2015-01-21 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及系统 |
| CN104301360B (zh) * | 2013-07-19 | 2019-03-12 | 阿里巴巴集团控股有限公司 | 一种日志数据记录的方法、日志服务器及系统 |
| CN103475519A (zh) * | 2013-09-09 | 2013-12-25 | 北京思特奇信息技术股份有限公司 | 一种大数据量的日志记录方法及装置 |
| CN103475519B (zh) * | 2013-09-09 | 2016-09-14 | 北京思特奇信息技术股份有限公司 | 一种大数据量的日志记录方法及装置 |
| CN103532943A (zh) * | 2013-10-08 | 2014-01-22 | 北京神州绿盟信息安全科技股份有限公司 | web应用防火墙设备和安全防护日志的异步处理方法 |
| CN103593440A (zh) * | 2013-11-15 | 2014-02-19 | 北京国双科技有限公司 | 日志文件的读写方法及装置 |
| CN104657366A (zh) * | 2013-11-18 | 2015-05-27 | 深圳市腾讯计算机系统有限公司 | 海量日志写入数据库的方法、装置和日志容灾系统 |
| CN104657366B (zh) * | 2013-11-18 | 2019-05-24 | 深圳市腾讯计算机系统有限公司 | 海量日志写入数据库的方法、装置和日志容灾系统 |
| WO2016169145A1 (zh) * | 2015-04-21 | 2016-10-27 | 中兴通讯股份有限公司 | 一种云终端日志处理方法、装置及系统 |
| CN105045839A (zh) * | 2015-06-30 | 2015-11-11 | 上海瀚之友信息技术服务有限公司 | 一种数据批量操作方法 |
| CN105045839B (zh) * | 2015-06-30 | 2018-09-04 | 上海瀚之友信息技术服务有限公司 | 一种数据批量操作方法 |
| CN105022822A (zh) * | 2015-07-17 | 2015-11-04 | 成都视达科信息技术有限公司 | 一种基于php收集及存储日志的方法和系统 |
| CN105430534A (zh) * | 2015-10-29 | 2016-03-23 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和系统 |
| CN105430534B (zh) * | 2015-10-29 | 2019-12-10 | Tcl集团股份有限公司 | 一种智能设备上报数据的方法和系统 |
| CN105404472A (zh) * | 2015-11-23 | 2016-03-16 | 天脉聚源(北京)传媒科技有限公司 | 一种压缩日志时间数据的存储空间的方法及装置 |
| CN106874160A (zh) * | 2017-01-23 | 2017-06-20 | 上海斐讯数据通信技术有限公司 | 日志服务器及其管理方法 |
| CN107895039A (zh) * | 2017-11-29 | 2018-04-10 | 华中科技大学 | 一种校园网认证系统日志数据库的构建方法 |
| CN110716695A (zh) * | 2019-09-12 | 2020-01-21 | 北京浪潮数据技术有限公司 | 一种节点日志的存储方法、系统、电子设备及存储介质 |
| CN113703665A (zh) * | 2021-07-12 | 2021-11-26 | 深圳市有为信息技术发展有限公司 | 控制终端数据在网关崩溃后减少丢失的方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN100449543C (zh) | 2009-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN1932812A (zh) | 一种日志保存方法及装置 | |
| CN109063196B (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
| CN104125163B (zh) | 一种数据处理方法、装置及终端 | |
| CN1687922A (zh) | 分布式数据源数据集成系统及方法 | |
| CN104850640A (zh) | 一种基于HBase的电网设备状态监测数据存储和查询方法及系统 | |
| CN107317838A (zh) | 一种基于流式数据处理架构的天文元数据归档方法及系统 | |
| CN103646073A (zh) | 一种基于HBase表的条件查询优化方法 | |
| CN101080056A (zh) | 一种移动终端的网络浏览器收藏夹的管理方法及系统 | |
| CN104699723A (zh) | 数据交换适配器、异构系统之间数据同步系统和方法 | |
| WO2023273544A1 (zh) | 日志文件的存储方法、装置、设备和存储介质 | |
| CN111241049B (zh) | 一种基于微服务架构分布式操作日志实现系统 | |
| CN106502875A (zh) | 一种基于云计算的日志生成方法及系统 | |
| CN1567248A (zh) | 应用程序日志记录方法及系统 | |
| CN105610917A (zh) | 实现系统中同步数据修复的方法及系统 | |
| CN114138792A (zh) | 一种Key-value分离存储方法及系统 | |
| CN109582659A (zh) | 请求处理环节的记录方法、系统、装置及可读存储介质 | |
| KR101830504B1 (ko) | 분산 환경 기반 빅데이터 실시간 분석을 위한 인-메모리 db 연결 지원형 스케줄링 방법 및 시스템 | |
| CN103236938A (zh) | 一种基于缓存及异步处理技术的用户行为采集方法及系统 | |
| CN114168445A (zh) | 一种日志分析方法、装置、系统及可读存储介质 | |
| CN103475519B (zh) | 一种大数据量的日志记录方法及装置 | |
| US10185729B2 (en) | Index creation method and system | |
| CN112231376A (zh) | 一种用于离线数据采集的方法和装置 | |
| CN205356414U (zh) | 一种跨平台的语音和手下答题过程录制系统 | |
| CN111563123A (zh) | 一种hive仓库元数据实时同步方法 | |
| CN1859686A (zh) | 一种记录小区日志的实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190807 Address after: 518057 Nanshan District science and technology zone, Guangdong, Zhejiang Province, science and technology in the Tencent Building on the 1st floor of the 35 layer Co-patentee after: Tencent cloud computing (Beijing) limited liability company Patentee after: Tencent Technology (Shenzhen) Co., Ltd. Address before: 2, 518044, East 410 room, SEG science and Technology Park, Zhenxing Road, Shenzhen, Guangdong, Futian District Patentee before: Tencent Technology (Shenzhen) Co., Ltd. |