CN106897156A - 基于统计平台的统计用户行为形成日志的方法 - Google Patents

基于统计平台的统计用户行为形成日志的方法 Download PDF

Info

Publication number
CN106897156A
CN106897156A CN201611236605.6A CN201611236605A CN106897156A CN 106897156 A CN106897156 A CN 106897156A CN 201611236605 A CN201611236605 A CN 201611236605A CN 106897156 A CN106897156 A CN 106897156A
Authority
CN
China
Prior art keywords
daily record
data
user behavior
request
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611236605.6A
Other languages
English (en)
Inventor
石光捷
张莉
葛建科
陆萍
汪双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xinwang Internet Information Technology Co Ltd
Original Assignee
Nanjing Xinwang Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xinwang Internet Information Technology Co Ltd filed Critical Nanjing Xinwang Internet Information Technology Co Ltd
Priority to CN201611236605.6A priority Critical patent/CN106897156A/zh
Publication of CN106897156A publication Critical patent/CN106897156A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明属于互联网领域，特别涉及基于统计平台的统计用户行为形成日志的方法。本发明提供了一种基于统计平台的统计用户行为形成日志的方法，包括以下步骤：第一步:用户向客户端发出请求后，服务器将请求转化为数据请求，第二步，服务器另一端系统定期抓取等待的数据请求，存入系统，主程序在日志队列中把日志数据入库并记录日志；第三步:服务器通过数据库大量数据分析用户行为，用于判断调用接口是否成功等情况。异步处理用户请求数据，减少用户访问等待时间，降低服务器压力，服务器能够处理大量客户访问，而导致服务器不会不响应。

Description

基于统计平台的统计用户行为形成日志的方法
技术领域
本发明属于互联网领域，特别涉及基于统计平台的统计用户行为形成日志的方法。
背景技术
现有的基于统计平台的统计用户行为形成日志的方法为从应用服务器日志中查看，应用服务器日志就是通过从服务器所产生的日志文件来获取有用的数据，所述服务器日志就是用来记录Web服务器的活动，提供了详细的客户和服务器的交互活动日志，其中包括客户的请求和服务器的响应。由于所有的信息都存在一个日志里面，当抓取相关关键字，但应用服务器存在着大量的数据包括在大量的数据中导致抓取查看不方。当大量客户进行访问时，由于都到应用服务器日志中查看，导致服务器处理不过来，导致服务器不响应，最终导致数据容易丢失。
发明内容
1、所要解决的技术问题：
当大量客户进行访问时，由于都到应用服务器日志中查看，导致服务器处理不过来，导致服务器不响应，最终导致数据容易丢失。
2、 技术方案：
为了解决以上本体，本发明提供了一种基于统计平台的统计用户行为形成日志的方法，包括以下步骤：第一步:用户向客户端发出请求后，服务器将请求转化为数据请求，;第二步，服务器另一端系统定期抓取等待的数据请求，存入系统，主程序在日志队列中把日志数据入库并记录日志；第三步:服务器通过数据库大量数据分析用户行为，用于判断调用接口是否成功等情况。
所述服务端结合密钥机制解析转化为相关数据请求。
所述主程序在记录日志时为异步写到一个信息队列中。
判断的方法为按接口的地址。用户手机号进行查询。
所述异步处理客户端日志时，数据入库对数据分析处理，后台有页面能够看到，能够做相关查询。
系统中设有定时器用于单独处理队列，设有监听器用于把剩余的队列处理完。
3、有益效果：
异步处理用户请求数据，减少用户访问等待时间，降低服务器压力，服务器能够处理大量客户访问，而导致服务器不会不响应。
具体实施方式
下面对本发明进行详细说明。
本发明提供了一种基于统计平台的统计用户行为形成日志的方法，包括以下步骤：第一步:用户向客户端发出请求后，服务器将请求转化为数据请求，;第二步，服务器另一端系统定期抓取等待的数据请求，存入系统，主程序在日志队列中把日志数据入库并记录日志；第三步:服务器通过数据库大量数据分析用户行为，用于判断调用接口是否成功等情况。
用户向客户端请求之后，服务端结合密钥机制解析转化为相关数据请求，为了数据安全性，不至于产生非客户端产生的请求。
通过数据库大量数据分析用户行为，入库之后，可以按接口的地址。用户手机号进行查询，比方此手机号调用此接口返回的数据是什么，从而判断调用接口是否成功等情况。
主程序在记录日志时是异步写到一个信息队列中。这样子保证主应用运行不会受到影响。对于此信息队列的消化也是通过另一个系统定时完成。
队列异步处理客户端日志的，数据入库可以对数据分析处理 后台有页面可以看到，可以做相关查询，用户请求日志处理机制清晰。
有个定时器单独处理队列，和其他请求分开，不受干扰，服务停止，也有监听器也会把剩余的队列处理完,也不会造成数据的丢失。所数据的准确性比较高，所以数据并发量大时，用户日志相互不受干扰，准确性高。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (6)

1.一种基于统计平台的统计用户行为形成日志的方法，包括以下步骤：第一步:用户向客户端发出请求后，服务器将请求转化为数据请求，;第二步，服务器另一端系统定期抓取等待的数据请求，存入系统，主程序在日志队列中把日志数据入库并记录日志；第三步:服务器通过数据库大量数据分析用户行为，用于判断调用接口是否成功等情况。
2.如权利要求1所述的基于统计平台的统计用户行为形成日志的方法，其特征在于：所述服务端结合密钥机制解析转化为相关数据请求。
3.如权利要求1或2所述的基于统计平台的统计用户行为形成日志的方法，其特征在于：所述主程序在记录日志时为异步写到一个信息队列中。
4.如权利要求1或2所述的基于统计平台的统计用户行为形成日志的方法，其特征在于： 判断的方法为按接口的地址、用户手机号进行查询。
5.如权利要求3所述的基于统计平台的统计用户行为形成日志的方法，其特征在于：所述异步处理客户端日志时，数据入库对数据分析处理，后台有页面能够看到，能够做相关查询。
6.如权利要求1或2所述的基于统计平台的统计用户行为形成日志的方法，其特征在于：系统中设有定时器用于单独处理队列，设有监听器用于把剩余的队列处理完。
CN201611236605.6A 2016-12-28 2016-12-28 基于统计平台的统计用户行为形成日志的方法 Pending CN106897156A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611236605.6A CN106897156A (zh) 2016-12-28 2016-12-28 基于统计平台的统计用户行为形成日志的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611236605.6A CN106897156A (zh) 2016-12-28 2016-12-28 基于统计平台的统计用户行为形成日志的方法

Publications (1)

Publication Number Publication Date
CN106897156A true CN106897156A (zh) 2017-06-27

Family

ID=59198324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611236605.6A Pending CN106897156A (zh) 2016-12-28 2016-12-28 基于统计平台的统计用户行为形成日志的方法

Country Status (1)

Country Link
CN (1) CN106897156A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729222A (zh) * 2017-07-26 2018-02-23 上海壹账通金融科技有限公司 用户行为统计方法、系统、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642104A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种系统日志实现方法和装置
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN103236938A (zh) * 2013-03-27 2013-08-07 广东全通教育股份有限公司 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN103475519A (zh) * 2013-09-09 2013-12-25 北京思特奇信息技术股份有限公司 一种大数据量的日志记录方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1642104A (zh) * 2004-01-05 2005-07-20 华为技术有限公司 一种系统日志实现方法和装置
CN101969386A (zh) * 2010-11-09 2011-02-09 道有道(北京)科技有限公司 一种日志采集装置和日志采集方法
CN103236938A (zh) * 2013-03-27 2013-08-07 广东全通教育股份有限公司 一种基于缓存及异步处理技术的用户行为采集方法及系统
CN103475519A (zh) * 2013-09-09 2013-12-25 北京思特奇信息技术股份有限公司 一种大数据量的日志记录方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729222A (zh) * 2017-07-26 2018-02-23 上海壹账通金融科技有限公司 用户行为统计方法、系统、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN108712426B (zh) 基于用户行为埋点的爬虫识别方法及系统
US10477012B2 (en) Fraud detection system and method
US9659105B2 (en) Methods and apparatus to track web browsing sessions
CN111752965B (zh) 一种基于微服务的实时数据库数据交互方法和系统
CN101345751B (zh) 确定作为数据库活动的起源的应用程序用户
CN106295382B (zh) 一种信息风险防控方法及装置
US10887261B2 (en) Dynamic attachment delivery in emails for advanced malicious content filtering
CN108052824B (zh) 一种风险防控方法、装置及电子设备
CN108650334B (zh) 一种会话失效的设置方法及装置
CN110609937A (zh) 一种爬虫识别方法及装置
JP2012504288A (ja) オンライン・マーケティング効率の評価
US20140101739A1 (en) Semantic challenge for audio human interactive proof
CN104980421B (zh) 一种批量请求处理方法及系统
CN110708339B (zh) 一种基于web日志的关联分析方法
CN104933069A (zh) 一种桌面终端上网浏览统计的分析方法和系统
US20180203927A1 (en) System and method for determining an authority rank for real time searching
WO2019114246A1 (zh) 一种身份认证方法、服务器及客户端设备
AU2011101296A4 (en) Hardware identification through cookies
CN111200637B (zh) 一种缓存的处理方法及装置
CN114386037A (zh) 基于Web前端页面的恶意请求防御方法及相关设备
CN106897156A (zh) 基于统计平台的统计用户行为形成日志的方法
CN110233843B (zh) 一种用户请求的处理方法及装置
CN110719337A (zh) 业务系统、业务请求处理方法、装置及服务器
US20140047014A1 (en) Network access system
US9582368B2 (en) Method and apparatus for text input protection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170627