CN101808121A - 一种移动终端服务器日志写入数据库的方法和装置 - Google Patents
一种移动终端服务器日志写入数据库的方法和装置 Download PDFInfo
- Publication number
- CN101808121A CN101808121A CN 201010119166 CN201010119166A CN101808121A CN 101808121 A CN101808121 A CN 101808121A CN 201010119166 CN201010119166 CN 201010119166 CN 201010119166 A CN201010119166 A CN 201010119166A CN 101808121 A CN101808121 A CN 101808121A
- Authority
- CN
- China
- Prior art keywords
- server
- data
- access log
- log data
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种移动终端服务器日志写入数据库的方法和装置，其中，方法包括：步骤1：应用服务器将访问日志数据同步写入中间服务器；步骤2：所述中间服务器对所述访问日志数据按照预定协议进行解析后将其写入数据库服务器。本发明提出的移动终端服务器日志写入数据库的方法和装置，是在应用服务器和数据库服务器之间增加中间服务器，通过中间服务器集中管理数据库的各个连接，从而解决了日志数据从应用服务器到数据库服务器的入库过程中，由于web服务器进程过多所导致的数据库连接不够用的问题。
Description
技术领域
本发明涉及移动终端服务器领域，特别是涉及一种移动终端服务器日志写入数据库的方法和装置。
背景技术
目前，移动终端的服务器存储日志数据大都采用文件的方式，这导致在需要对日志数据进行数据库处理的时，需要专门的程序将日志数据写入数据库。将日志文件写入到数据库的入库过程烦琐、缓慢、效率不高，且没有实时性。虽然一些服务器提供了直接用数据库的方式存储日志，减少数据入库这一环节，但是在特定条件下，该方式也有缺陷，其具体表现为：以进程方式启动服务器，在各进程无法共用数据库连接时，若进程较多，很容易会导致数据库可用连接数不够用，从而导致入库失败。
以WEB服务器apache进程为例，在apache上加载直接写日志到数据库的MOD之后，假设每个apache进程占用6-10个数据库连接。那么当web服务器的数量增加到300台或者apache进程增加到300个的时候，数据库连接数就会增加到1800-3000个连接，从而导致数据库连不够用。虽可以通过在数据库中增加允许连接数解决，但因数据库连接数量有限，且连接过多时数据库效率下降，因此该方法治标不治本，不能从根本解决问题。
发明内容
针对现有技术中存在的缺陷和不足，本发明的目的是提出一种移动终端服务器日志写入数据库的方法和装置，解决由于应用服务器直接连接数据库，导致数据库的可用连接数不够的问题。
为了达到上述目的，本发明提出一种移动终端服务器日志写入数据库的方法，包括：
步骤1：应用服务器将访问日志数据同步写入中间服务器；
步骤2：所述中间服务器对所述访问日志数据按照预定协议进行解析后将其写入数据库服务器。
作为上述技术方案的优选，所述步骤1具体为：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在应用服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在应用服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
应用服务器将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
作为上述技术方案的优选，所述步骤2具体为：
所述中间服务器每接收一条访问日志数据后就将其解析并写入数据库服务器；
或所述中间服务器将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或所述中间服务器将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
作为上述技术方案的优选，所述中间服务器为一个服务器或多个服务器集群或级联而成。
本发明还提出一种移动终端服务器日志写入数据库的装置，包括：
应用服务器，用于将移动终端访问所述应用服务器所产生的访问日志数据同步写入中间服务器；
中间服务器，用于对所述访问日志数据按照预定协议进行解析后将其写入数据库服务器。
作为上述技术方案的优选，所述应用服务器具体用于：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
作为上述技术方案的优选，所述中间服务器具体用于：
每接收一条访问日志数据后就将其解析并写入数据库服务器；
或将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
作为上述技术方案的优选，所述中间服务器为一个服务器或集群或级联组成的多个服务器。
作为上述技术方案的优选，所述中间服务器还用于写文件，或将访问日志数据转发到其他服务器。
本发明提出的移动终端服务器日志写入数据库的方法和装置，是在应用服务器和数据库服务器之间增加中间服务器，通过中间服务器集中管理数据库的各个连接，从而解决了日志数据从应用服务器到数据库服务器的入库过程中，由于web服务器进程过多所导致的数据库连接不够用的问题。
下面结合附图，对本发明的具体实施方式作进一步的详细说明。对于所属技术领域的技术人员而言，从对本发明的详细说明中，本发明的上述和其他目的、特征和优点将显而易见。
附图说明
图1为本发明的一种移动终端服务器日志写入数据库的方法的流程图；
图2为本发明的一种移动终端服务器日志写入数据库的装置的第一优选实施例示意图；
图3为本发明的一种移动终端服务器日志写入数据库的装置的第二优选实施例示意图；
具体实施方式
如图1所示，一种移动终端服务器日志写入数据库的方法，是在应用服务器和数据库服务器之间增加中间服务器来集中管理数据库的各个连接，具体包括：
步骤1：应用服务器将访问日志数据同步写入中间服务器；
例如，用户每次通过移动终端访问运营商的服务器时，都会生成一条访问日志，并存储在web服务器中。访问日志包括各种资源的浏览/试听数据、下载数据，动态页面、搜索关键字等数据。
步骤2：中间服务器对所述访问日志数据按预定协议进行解析后将处理后的访问日志数据写入数据库服务器。
具体地，对于访问日志数据中的各种不同的数据，应用服务器将其写入中间服务器的方法具体为：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
其中，TCP和UDP是两种网络传输方式。TCP是面向连接的，就是发送的一方跟接收的一方要建立连接，UDP是不面向连接的，告诉系统发送数据给谁即可。
具体地，中间服务器将接收到的访问日志数据写入数据库服务器的方式可以具体为：
中间服务器每接收一条访问日志数据后就将其解析并写入数据库服务器；
或者，中间服务器将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或者，中间服务器将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
上述3种方式中，后两种方式的效率较高。
在上述实施例中，中间服务器的数量是灵活的，如果单台中间服务器压力过大，可以通过中间服务器集群或级联的方式对系统进行扩充。并且，如图3所示，中间服务器对日志数据的处理除了写入数据库之外，还可以进行写文件。
如图2所示，一种移动终端服务器日志写入数据库的装置，包括：
应用服务器201，用于将移动终端访问所述应用服务器所产生的访问日志数据同步写入中间服务器202；
其中，应用服务器可以是产生日志的服务器群，可以是单台物理服务器上的多个服务器进程，也可以是多台物理服务器上的多个服务器进程；
中间服务器202，用于对所述访问日志数据按预定协议进行解析后将其写入数据库服务器203；
其中，数据库服务器203是最终接收日志数据的存储器。
所述应用服务器具体用于：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
所述中间服务器具体用于：
每接收一条访问日志数据后就将其解析并写入数据库服务器；
或者，将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或者，将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
所述中间服务器为一个服务器或集群或级联组成的多个服务器。
所述中间服务器还用于写文件，或将访问日志数据转发到其他服务器。
本发明在web服务器和数据库中间增加了中间服务器，由于中间服务器和数据库服务器中间的连接可以自行设置，且是一直连接的，当有日志数据时就进行写操作，没有日志数据时，就让连接闲置。因此，不会发生数据库连接数量不够用的情况。
虽然，本发明已通过以上实施例及其附图而清楚说明，然而在不背离本发明精神及其实质的情况下，所属技术领域的技术人员当可根据本发明作出各种相应的变化和修正，但这些相应的变化和修正都应属于本发明的权利要求的保护范围。
Claims (9)
1.一种移动终端服务器日志写入数据库的方法，其特征在于，包括：
步骤1：应用服务器将访问日志数据同步写入中间服务器；
步骤2：所述中间服务器对所述访问日志数据按照预定协议进行解析后将其写入数据库服务器。
2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在应用服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在应用服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
应用服务器将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
3.根据权利要求1所述的方法，其特征在于，所述步骤2具体为：
所述中间服务器每接收一条访问日志数据后就将其解析并写入数据库服务器；
或所述中间服务器将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或所述中间服务器将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
4.根据权利要求1所述的方法，其特征在于，所述中间服务器为一个服务器或多个服务器集群或级联而成。
5.一种移动终端服务器日志写入数据库的装置，其特征在于，包括：
应用服务器，用于将移动终端访问所述应用服务器所产生的访问日志数据同步写入中间服务器；
中间服务器，用于对所述访问日志数据按照预定协议进行解析后将其写入数据库服务器。
6.根据权利要求5所述的装置，其特征在于，所述应用服务器具体用于：
对于所述访问日志数据中的各种资源的浏览和试听、下载数据，通过在服务器的apache进程加载日志拦截模式，将拦截到的日志通过UDP或TCP的方式写入中间服务器；或者
对于所述访问日志数据中的用户的动态页面、搜索关键字等数据，通过在服务器的tomcat进程加载过滤器，对请求进行拦截，将tomcat页面访问数据通过UDP或TCP的方式写入中间服务器；或者
将所述访问日志数据中的实时数据同步通过UDP或TCP的方式写入到中间服务器中，其中，所述实时数据包括各种产品类报表数据、交叉链接数据、计费数据中的一种或多种。
7.根据权利要求5所述的装置，其特征在于，所述中间服务器具体用于：
每接收一条访问日志数据后就将其解析并写入数据库服务器；
或将接收的访问日志数据均列入到队列里，然后由另一个线程到队列里把数据读出来，统一解析后再写入数据库服务器；
或将接收的访问日志数据解析后放入缓存，等缓存中积累到预定大小时再一起写入数据库服务器。
8.根据权利要求5所述的装置，其特征在于，所述中间服务器为一个服务器或集群或级联组成的多个服务器。
9.根据权利要求5所述的装置，其特征在于，所述中间服务器还用于写文件，或将访问日志数据转发到其他服务器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010119166 CN101808121A (zh) | 2010-02-24 | 2010-02-24 | 一种移动终端服务器日志写入数据库的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN 201010119166 CN101808121A (zh) | 2010-02-24 | 2010-02-24 | 一种移动终端服务器日志写入数据库的方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN101808121A true CN101808121A (zh) | 2010-08-18 |
Family
ID=42609740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN 201010119166 Pending CN101808121A (zh) | 2010-02-24 | 2010-02-24 | 一种移动终端服务器日志写入数据库的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101808121A (zh) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012840A (zh) * | 2010-12-23 | 2011-04-13 | 中国农业银行股份有限公司 | 一种数据的批量调度方法和系统 |
| CN102546668A (zh) * | 2012-02-29 | 2012-07-04 | 北京蓝汛通信技术有限责任公司 | 一种独立访问者的统计方法、装置及系统 |
| CN103944744A (zh) * | 2013-01-21 | 2014-07-23 | 博雅网络游戏开发（深圳）有限公司 | 日志采集方法和系统 |
| CN104125252A (zh) * | 2013-04-27 | 2014-10-29 | 博雅网络游戏开发（深圳）有限公司 | 数据存储系统及方法 |
| CN105376289A (zh) * | 2014-09-01 | 2016-03-02 | 重庆好吃狗云计算科技有限公司 | 一种无损快速恢复数据和系统运行的方法 |
| CN105955972A (zh) * | 2016-02-01 | 2016-09-21 | 上海华测导航技术股份有限公司 | 一种接收机日志管理系统及方法 |
| CN106060115A (zh) * | 2016-05-12 | 2016-10-26 | 广西尊达电子商务有限公司 | 一种基于多web服务器的服务器系统 |
| CN106776617A (zh) * | 2015-11-20 | 2017-05-31 | 北京国双科技有限公司 | 日志文件的保存方法和装置 |
| CN108595121A (zh) * | 2018-04-17 | 2018-09-28 | 湖北文理学院 | 数据存储方法和装置 |
| CN109271448A (zh) * | 2018-09-25 | 2019-01-25 | 武汉达梦数据库有限公司 | 基于数据库为平台的数据同步系统及方法 |
| CN109525632A (zh) * | 2018-09-30 | 2019-03-26 | 珠海派诺科技股份有限公司 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
| CN109800207A (zh) * | 2019-01-14 | 2019-05-24 | 深圳前海微众银行股份有限公司 | 日志解析方法、装置、设备及计算机可读存储介质 |
| WO2020010702A1 (zh) * | 2018-07-11 | 2020-01-16 | 平安科技（深圳）有限公司 | 日志搜索方法、系统、计算机设备和存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101369283A (zh) * | 2008-09-25 | 2009-02-18 | 中兴通讯股份有限公司 | 一种内存数据库与物理数据库间的数据同步方法及系统 |
-
2010
- 2010-02-24 CN CN 201010119166 patent/CN101808121A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101369283A (zh) * | 2008-09-25 | 2009-02-18 | 中兴通讯股份有限公司 | 一种内存数据库与物理数据库间的数据同步方法及系统 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102012840A (zh) * | 2010-12-23 | 2011-04-13 | 中国农业银行股份有限公司 | 一种数据的批量调度方法和系统 |
| CN102546668A (zh) * | 2012-02-29 | 2012-07-04 | 北京蓝汛通信技术有限责任公司 | 一种独立访问者的统计方法、装置及系统 |
| CN103944744A (zh) * | 2013-01-21 | 2014-07-23 | 博雅网络游戏开发（深圳）有限公司 | 日志采集方法和系统 |
| CN103944744B (zh) * | 2013-01-21 | 2019-02-19 | 博雅网络游戏开发（深圳）有限公司 | 日志采集方法和系统 |
| CN104125252B (zh) * | 2013-04-27 | 2017-12-01 | 博雅网络游戏开发（深圳）有限公司 | 数据存储系统及方法 |
| CN104125252A (zh) * | 2013-04-27 | 2014-10-29 | 博雅网络游戏开发（深圳）有限公司 | 数据存储系统及方法 |
| CN105376289A (zh) * | 2014-09-01 | 2016-03-02 | 重庆好吃狗云计算科技有限公司 | 一种无损快速恢复数据和系统运行的方法 |
| CN106776617A (zh) * | 2015-11-20 | 2017-05-31 | 北京国双科技有限公司 | 日志文件的保存方法和装置 |
| CN106776617B (zh) * | 2015-11-20 | 2020-11-06 | 北京国双科技有限公司 | 日志文件的保存方法和装置 |
| CN105955972A (zh) * | 2016-02-01 | 2016-09-21 | 上海华测导航技术股份有限公司 | 一种接收机日志管理系统及方法 |
| CN106060115A (zh) * | 2016-05-12 | 2016-10-26 | 广西尊达电子商务有限公司 | 一种基于多web服务器的服务器系统 |
| CN108595121A (zh) * | 2018-04-17 | 2018-09-28 | 湖北文理学院 | 数据存储方法和装置 |
| WO2020010702A1 (zh) * | 2018-07-11 | 2020-01-16 | 平安科技（深圳）有限公司 | 日志搜索方法、系统、计算机设备和存储介质 |
| CN109271448A (zh) * | 2018-09-25 | 2019-01-25 | 武汉达梦数据库有限公司 | 基于数据库为平台的数据同步系统及方法 |
| CN109525632A (zh) * | 2018-09-30 | 2019-03-26 | 珠海派诺科技股份有限公司 | 网关数据上传数据库连接数控制方法、装置、设备及介质 |
| CN109800207A (zh) * | 2019-01-14 | 2019-05-24 | 深圳前海微众银行股份有限公司 | 日志解析方法、装置、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101808121A (zh) | 一种移动终端服务器日志写入数据库的方法和装置 | |
| CN101917490B (zh) | 一种读取缓存数据的方法及系统 | |
| CN103995755A (zh) | 基于移动终端的服务器优化方法及服务器系统 | |
| CN104331492B (zh) | 一种缓存多实例数据的方法及装置 | |
| CN101557427A (zh) | 提供分流信息、实现客户端分流的方法、系统及服务器 | |
| US20230109969A1 (en) | Data processing method and apparatus based on node internal memory, device and medium | |
| CN103902467B (zh) | 压缩内存访问控制方法、装置及系统 | |
| CN106933871A (zh) | 短链接处理方法、装置及短链接服务器 | |
| CN102737065A (zh) | 数据的获取方法和装置 | |
| CN101958838A (zh) | 数据访问方法及装置 | |
| CN101277211A (zh) | 数据缓存方法及装置 | |
| CN103368986A (zh) | 一种信息推荐方法及信息推荐装置 | |
| CN101383839A (zh) | 基于数据服务器的数据分发系统及其实现方法 | |
| CN111130801A (zh) | 一种数据处理方法、装置、节点设备及计算机存储介质 | |
| CN104202423A (zh) | 一种通过软件架构扩展缓存的系统 | |
| CN102087664A (zh) | 一种移动终端访问网络的优化方法、系统及移动终端 | |
| CN103326958A (zh) | 监控数据缓存方法及系统 | |
| CN107800767A (zh) | 一种访问响应管理方法、服务器及计算机可读存储介质 | |
| CN104462483A (zh) | 数据同步方法、装置及系统 | |
| CN106357791A (zh) | 业务处理方法、装置及系统 | |
| CN104598615A (zh) | 一种支持数据持久化的内存存取方法和装置 | |
| CN101923571A (zh) | 管理终端数据记录的方法及装置 | |
| TW201729113A (zh) | 使用滑動臨限值位址用於記憶體通道交錯之系統及方法 | |
| CN107807830A (zh) | 基于集群的医疗软件更新方法及服务器 | |
| CN100451974C (zh) | 会话表管理方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20100818 |