CN101651707A - 一种网络用户行为日志自动获取方法 - Google Patents
一种网络用户行为日志自动获取方法 Download PDFInfo
- Publication number
- CN101651707A CN101651707A CN200910023982A CN200910023982A CN101651707A CN 101651707 A CN101651707 A CN 101651707A CN 200910023982 A CN200910023982 A CN 200910023982A CN 200910023982 A CN200910023982 A CN 200910023982A CN 101651707 A CN101651707 A CN 101651707A
- Authority
- CN
- China
- Prior art keywords
- user
- user behavior
- behavior
- server
- daily record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明公开了一种网络用户行为日志自动获取方法，其特征在于：在客户端与Web服务器之间加上一代理服务器，代理服务器第一次接受Web服务器返回的响应正文为HTML格式的用户响应即HTTP响应，在该HTTP响应中加入用户行为日志采集模块，发送到客户端，用户行为日志采集模块在客户端充当用户行为日志的数据采集端，而代理服务器充当用户行为日志的数据处理端。本发明基于中间“代理服务器”策略，重点解决了客户端日志捕获、代理服务器策略部署、日志获取的可视化配置等关键技术。与传统的日志记录的方案相比，本发明可以很好的关联用户，而且扩展性很好，通过可视化UI方便灵活的定制目标系统需要采集的用户行为日志，也可为进一步的日志挖掘提供数据基础。
Description
技术领域
本发明涉及一种网络资源获取方法，特别涉及一种网络用户行为日志的自动获取方法。
背景技术
随着Web信息的日益增长，人们不得不花费大量的时间去搜索、浏览自己需要的、感兴趣的信息。为解决此问题，自动识别用户兴趣，实现个性化的资源推荐就成为个性化服务领域的研究热点。在这方面的研究也取得了显著的成就。个性化服务研究大多数都是以用户访问行为的日志数据为基础开展研究，用户访问行为的日志数据为个性化服务中用户兴趣发现、资源推荐等研究提供很好的数据支持，是这些研究很关键的前提，而目前用户访问行为的日志获取方法的研究仍不太成熟，可移植性很差，日志记录可重用性很低。目前用户访问行为的日志获取方法如下：
第一种常见的日志获取方法是利用Web服务器日志进行过滤。Web服务器日志记录了用户访问站点的数据，每当站点上的页面被访问一次，Web服务器就在日志中增加一条相应的记录。
另外一种常见的日志获取方法，是嵌套在网站中，通过编写相应的日志记录代码获取所需要采集的用户访问行为的日志数据。
上述现有系统在通信方面存在以下四方面的问题：
1.日志记录不能很好的和用户关联起来；
2.缺乏用户访问行为的定制，数据往往比较冗余繁杂；
3.日志记录控制不能灵活的增加和减少需要采集的用户行为；
4.对不同的系统，日志获取模块重用性很低。
发明内容
本发明的目的是解决现有技术日志获取中可扩展性和可移植性不高的缺陷，提供一种基于C/S(客户端/服务器)模式的可移植性较好的用户行为日志获取的方法。
为达到以上目的，本发明是采取如下技术方案予以实现的：
一种网络用户行为日志自动获取方法，其特征在于：在客户端与Web服务器之间加上一代理服务器，代理服务器第一次接受Web服务器返回的响应正文为HTML格式的用户响应即HTTP响应(HTTP响应包括三部分内容：响应状态码，响应头部和响应正文)，在该HTTP响应中加入用户行为日志采集模块，发送到客户端，用户行为日志采集模块在客户端充当用户行为日志的数据采集端，而代理服务器充当用户行为日志的数据处理端；引入代理服务器以后的信息交换模式具体包括下述步骤：
1)用户通过客户端向Web服务器发送HTTP请求；
2)代理服务器截获该HTTP请求并解析该HTTP请求的类型，以决定是否转发该HTTP请求，具体情况如下：
a.当请求为调用Web服务器资源，则：
Step1：代理服务器转发该请求至Web服务器；
Step2：转至步骤3)；
b.当请求为调用用户行为日志采集模块，则：
Step1：代理服务器构建包含用户行为日志采集模块的HTTP响应；
Step2：转至步骤5)；
c.当请求为发送采集的日志数据，则：
Step1：代理服务器接收发送的日志数据；
Step2：日志数据交由代理服务器上的日志处理模块处理；
Step3：处理后的日志数据储存到代理服务器的日志文件中；
Step4：代理服务器构建包含接收日志数据成功标志的HTTP响应；
Step5：转至步骤5)；
3)代理服务器接收来自Web服务器返回的HTTP响应并判断该HTTP响应正文的类型：
a.如果响应正文为HTML网页，转至步骤4)；
b.否则转至步骤5)；
4)代理服务器解析HTTP响应，并在该响应中修改HTTP响应头部的长度信息、在该响应正文中加入客户端日志采集模块；
5)代理服务器将步骤2)包含用户行为日志采集模块的HTTP响应、包含接收日志数据成功标志的HTTP响应、步骤3)Web服务器返回的HTTP响应或者步骤4)修改后的HTTP响应发送至客户端。
上述方案中，所述代理服务器与原来的Web服务器为同一台服务器；或不同于Web服务器，而作为一个独立的日志获取服务器。
所述用户行为日志采集模块采用事件驱动模型，代理服务器提供可视化用户接口UI定制目标系统需要采集的用户行为，存储在用户行为描述文件中，当用户定制完需要采集的行为之后，用户行为描述文件被存放到代理服务器上，最后，在客户端充当用户行为日志数据采集端的用户行为日志采集模块动态加载位于代理服务器上的用户行为描述文件，依据定制的用户行为来采集用户在目标系统的这些行为日志数据。
其中每种用户行为可通过下述两种方法之一来描述：
①通过用户在页面有序的操作序列集合来标识定制的行为；
②通过统一资源定位符URL来过滤得到定制行为；
以上两种方式都可以唯一的标识某个行为。
与上述提到的背景技术作对比，我们来分析下本发明的优势。
不同的系统需要采集的行为往往有所不同，为了提高日志记录模块的可重用性，这就需要提供一种机制灵活的增加或减少系统中需要采集的行为，并且在用户行为日志采集过程中，需要灵活的配置和描述需要采集的行为。而且为了适应更多的系统，除有一些基本的用户行为(如搜索行为，评价行为，浏览行为等)，还应可以定制一些其他行为。但目前日志记录并没有很好的对不同的行为进行分类，也不能灵活的自定义系统需要采集的用户行为，更没有提供一种有效的方法来描述一种用户行为。
本发明用户行为日志采集模块采用事件驱动模型，针对页面对用户行为进行监听，它可以借助于浏览器直接运行，主要好处在于它允许更大的灵活性，因为处理程序完全是独立的，当事件发生时，它只需要发送给统一的处理程序，而不需要了解具体是哪个子程序在执行，哪个子程序是什么功能。
至于描述用户的行为，本发明提供了一个数据格式——用户行为的描述文件，在这个文件中通过可扩展标记语言XML来描述和存储需采集的用户行为。并且提出每种行为可通过两种简单的方式来描述：该两种方式都可以唯一的标识某个行为。有了上述用户行为描述文件，就可灵活的定制需要采集的用户行为，并提供对用户行为的描述机制及方便用户配置的可视化用户接口UI。最后用户行为日志采集模块动态加载用户行为描述文件，而我们只需在用户行为描述文件里增加或减少相应的行为即可达到灵活的增加或减少需要采集的用户行为。
与现有技术的对比，本发明的特点是：
1.实现可扩展的系统，灵活定制需要采集的用户行为；
2.对不同的系统，该方法移植性较高；
3.容易部署，从而为系统提供透明的日志记录服务；使后期的日志数据预处理及数据挖掘更容易。
附图说明
图1为本发明方法涉及的网络系统框图。
图2为本发明用户行为日志数据采集端和用户行为日志数据处理端的设计框架图。
图3为本发明用户行为日志采集模块可扩展的设计结构。
图4为本发明代理服务器的工作流程图。
图5为正常上网资源请求时序图。
图6为客户端对用户行为采集模块的请求时序图。
图7为客户端发送采集的行为日志时序图。
图8为用户行为日志采集基本行为配置图。
具体实施方式
为了更清楚的理解本发明，以下结合附图对本发明作进一步的详细描述。
如图1所示，在客户端与Web服务器之间加上一“代理服务器”，用户通过客户端向Web服务器发送请求；代理服务器截获该请求并转发至Web服务器；Web服务器返回HTTP响应至代理服务器；代理服务器处理Web服务器返回的HTTP响应，并在该HTTP响应中加入用户行为日志采集模块，然后发送至客户端。
本发明采用C/S模式，考虑可扩展，可移植这两个特性，用户行为日志获取的方法主要包括两方面的设计：用户行为日志的数据采集端和用户行为日志的数据处理端(如图2所示)。以下予以分述：
①充当用户行为日志数据采集端的用户行为日志采集模块的设计(图2客户端)：
用户行为日志数据采集端主要是针对页面进行监听以捕获行为日志，为此我们要采用客户端脚本语言JavaScript，该技术对页面元素能很好的支持，并且扩展性要好，支持“事件驱动”。客户端脚本语言JavaScript是动态的，它可以直接对用户或客户在页面的输入做出响应，无须经过Web服务程序；而且更重要的它是采用以事件驱动的方式进行的；而且它是一种基于对象的语言，这样可以使程序的可读性更高，维护起来很方便，而且易扩展；它还是跨平台的，只依赖于浏览器本身，与操作环境无关。
另外我们还需要一种交互式网页应用的网页开发技术用来把客户端捕获的用户行为日志发送给用户行为日志的数据处理端。我们选用AJAX(异步JavaScript和XML(可扩展标记语言))来满足这个需求，而且AJAX和客户端脚本语言JavaScript结合性很好。客户端脚本语言JavaScript是一种粘合剂使AJAX应用的各部分集成在一起。在AJAX中客户端脚本语言(如JavaScript)主要被用来传递用户界面上的数据到服务端并返回结果。
下面进一步划分模块介绍：
[1]关联用户
上面提到Web服务器日志缺乏用户ID这个重要信息，而且我们记录日志的目的是要给用户分析其兴趣并为其推荐资源，所以我们一定要有能标识用户的信息。在这通过捕获得到用户登录时的ID来标识用户，如果用户匿名登录，则以IP(网络协议)地址来标识该用户。
[2]动态加载用户行为描述文件
用户行为描述文件是通过可扩展标记语言XML文件进行描述的。每种行为可通过下述两种方法之一来描述：一种是按照页面元素标签的触发顺序来标志某种行为；一种是按照URL来过滤出某种行为。两种方式都可以唯一的标识某个行为。我们加载用户行为描述文件，这样用户行为日志采集模块可以只捕获用户行为描述文件中定制的这些行为操作。
[3]事件监听
事件监听模块使用事件驱动模型来实现，事件驱动模型的三大要素包括：事件源：能够接收外部事件的源体；侦听器：能够接收事件源通知的对象；事件处理程序：用于处理事件的对象。我们给用户行为描述文件定制的这些用户行为注册事件侦听器，并把事件侦听程序和事件处理程序独立开来。
我们以一个具体事例来解释事件驱动模型，如图3所示，当我们为一个特定的按钮元素注册点击的事件侦听器，当用户点击这个按钮时，会将事件传递给侦听器，这意味着事件源调用侦听器对象中的一个特定方法(侦听器对象可以侦听一个特定对象的事件(比如一个按钮))，并以事件对象作为实参，然后交给事件处理程序按照一定业务逻辑执行。
②用户行为日志数据处理端的设计：
首先我们先了解一下充当用户行为日志数据处理端的“代理服务器”工作流程(如图4所示)：
1)用户通过客户端向Web服务器发送HTTP请求；
2)代理服务器截获该HTTP请求并解析该HTTP请求的类型，以决定是否转发该HTTP请求，具体情况如下：
a.当请求为调用Web服务器资源，则：
Step1：代理服务器转发该请求至Web服务器；
Step2：转至步骤3)；
b.当请求为调用用户行为日志采集模块，则：
Step1：代理服务器构建包含用户行为日志采集模块的HTTP响应；
Step2：转至步骤5)；
c.当请求为发送采集的日志数据，则：
Step1：代理服务器接收发送的日志数据；
Step2：日志数据交由代理服务器上的日志处理模块处理；
Step3：处理后的日志数据储存到代理服务器的日志文件中；
Step4：代理服务器构建包含接收日志数据成功标志的HTTP响应；
Step5：转至步骤5)；
3)代理服务器接收来自Web服务器返回的HTTP响应并判断该HTTP响应正文的类型：
a.如果响应正文为HTML网页，转至步骤4)；
b.否则转至步骤5)；
4)代理服务器解析HTTP响应，并在该响应中修改HTTP响应头部的长度信息、在该响应正文中加入客户端日志采集模块；
5)代理服务器将步骤2)包含用户行为日志采集模块的HTTP响应、包含接收日志数据成功标志的HTTP响应、步骤3)Web服务器返回的HTTP响应或者步骤4)修改后的HTTP响应发送至客户端。
我们使用socket(套接字)技术，通过监听客户端端口或Web服务器端口实现上述流程。当用户自客户端通过浏览器发送HTTP请求时，代理服务器首先接受客户端的连接，并建立一个新的线程，接收HTTP请求，并按照HTTP协议的格式对HTTP请求和HTTP响应作简单的解析，以决定代理服务器是否转发该请求、是否修改来自Web服务器的用户HTTP响应。
由于我们的主要目的是为了获取用户的日志数据。针对上述流程中步骤2)中第c种情况进一步的描述(参见图2中用户行为日志数据处理端)，每当用户行为日志数据采集端向用户行为日志数据处理端发送捕获到的行为记录时，用户行为日志数据处理端会给其分配一个接收数据线程，当多条行为记录同时发送时，则采用多线程并行处理以加快执行速度，之后接收数据线程会将数据交由日志数据处理器，由数据处理器按照日志格式对接收到的数据进行处理并将处理后的用户行为日志数据存储到日志数据库中。
另外我们提到代理服务器提供可视化用户接口UI方便用户定制目标系统需要采集的行为(UI如图8所示)。
用户可以根据项目的需求定制一些在项目中要采集的行为。最后生成一个定制目标系统需采集行为的用户行为描述文件。用户行为描述主要采用两种方式：一种是按照用户在页面有序的操作序列集合来标识定制的行为；一种是按照URL来过滤出定制的行为。
举例说明如下：搜索行为是通过用户在页面有序的操作序列来描述的。即记录了用户在页面完成搜索行为需要执行的有序的操作集合。一般搜索行为需要两个有序的操作：输入关键字，提交查询内容。输入关键字这个操作关联页面上输入关键字的文本框，提交查询内容这个操作关联页面上的提交按钮根据超文本标记语言HTML的规范我们知道，页面元素由其id属性唯一标识。我们通过有序集合A＝{输入关键字的文本框的id属性、提交按钮的id属性}就可以标识该搜索行为。
评价行为我们通过URL进行描述的。我们都知道URL为统一资源定位符(Uniform Resource Locator的缩写)，它可以唯一的标识一个资源。首先给出评价行为的URL，然后对其参数进行描述。一般评价行为包含三个参数：评价资源的用户的标识，被评价的资源的标识，评分。我们通过URL加上其参数就可以标识该评价行为。
注：这个三个参数也是为了适应个性化服务中的推荐模型。
Claims (4)
1.一种网络用户行为日志自动获取方法，其特征在于：在客户端与Web服务器之间加上一代理服务器，代理服务器第一次接受Web服务器返回的响应正文为HTML格式的用户响应即HTTP响应，在该HTTP响应中加入用户行为日志采集模块，发送到客户端，用户行为日志采集模块在客户端充当用户行为日志的数据采集端，而代理服务器充当用户行为日志的数据处理端；引入代理服务器以后的信息交换模式具体包括下述步骤：
1)用户通过客户端向Web服务器发送HTTP请求；
2)代理服务器截获该HTTP请求并解析该HTTP请求的类型，以决定是否转发该HTTP请求：
a.当请求为调用Web服务器资源，则：
Step1：代理服务器转发该请求至Web服务器；
Step2：转至步骤3)；
b.当请求为调用用户行为日志采集模块，则：
Step1：代理服务器构建包含用户行为日志采集模块的HTTP响应；
Step2：转至步骤5)；
c.当请求为发送采集的日志数据，则：
Step1：代理服务器接收发送的日志数据；
Step2：日志数据交由代理服务器上的日志处理模块处理；
Step3：处理后的日志数据储存到代理服务器的日志文件中；
Step4：代理服务器构建包含接收日志数据成功标志的HTTP响应；
Step5：转至步骤5)；
3)代理服务器接收来自Web服务器返回的HTTP响应并判断该HTTP响应正文的类型：
a.如果响应正文为HTML网页，转至步骤4)；
b.否则转至步骤5)；
4)代理服务器解析HTTP响应，并在该响应中修改HTTP响应头部的长度信息、在该响应正文中加入客户端日志采集模块；
5)代理服务器将步骤2)包含用户行为日志采集模块的HTTP响应、包含接收日志数据成功标志的HTTP响应、步骤3)Web服务器返回的HTTP响应或者步骤4)修改后的HTTP响应发送至客户端。
2.根据权利要求1所述的网络用户行为日志自动获取方法，其特征在于：所述代理服务器与原来的Web服务器为同一台服务器；或不同于Web服务器，而作为一个独立的日志获取服务器。
3、根据权利要求1所述的网络用户行为日志自动获取方法，其特征在于：所述用户行为日志采集模块采用事件驱动模型，代理服务器提供可视化用户接口UI定制目标系统需要采集的用户行为，存储在用户行为描述文件中，当用户定制完需要采集的行为之后，用户行为描述文件被存放到代理服务器上，最后，在客户端充当用户行为日志数据采集端的用户行为日志采集模块动态加载位于代理服务器上的用户行为描述文件，依据定制的用户行为来采集用户在目标系统的这些行为日志数据。
4、根据权利要求3所述的网络用户行为日志自动获取方法，其特征在于：所述目标系统需要采集的用户行为通过下述两种方法之一来描述：
①通过用户在页面有序的操作序列集合来标识定制的行为；
②通过统一资源定位符URL来过滤得到定制行为；
以上两种方式都可以唯一的标识某个行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100239825A CN101651707B (zh) | 2009-09-22 | 2009-09-22 | 一种网络用户行为日志自动获取方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100239825A CN101651707B (zh) | 2009-09-22 | 2009-09-22 | 一种网络用户行为日志自动获取方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101651707A true CN101651707A (zh) | 2010-02-17 |
| CN101651707B CN101651707B (zh) | 2012-05-23 |
Family
ID=41673812
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100239825A Expired - Fee Related CN101651707B (zh) | 2009-09-22 | 2009-09-22 | 一种网络用户行为日志自动获取方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101651707B (zh) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102164178A (zh) * | 2011-03-28 | 2011-08-24 | 华为技术有限公司 | 内容获取方法及客户端 |
| CN102255895A (zh) * | 2011-06-29 | 2011-11-23 | 北京思创银联科技股份有限公司 | 客户端和服务端之间的数据通信方法及系统 |
| WO2012022215A1 (zh) * | 2010-08-16 | 2012-02-23 | 腾讯科技（深圳）有限公司 | 一种互联网中互动信息的交互方法、装置及系统 |
| CN102664935A (zh) * | 2012-04-06 | 2012-09-12 | 北京锐安科技有限公司 | 一种web类用户行为和用户信息的关联输出方法及系统 |
| CN102710748A (zh) * | 2012-05-02 | 2012-10-03 | 华为技术有限公司 | 数据获取方法、系统及设备 |
| CN102722581A (zh) * | 2012-06-07 | 2012-10-10 | 重庆电力设计院 | 数据处理的方法、代理装置及系统 |
| CN102790686A (zh) * | 2011-05-17 | 2012-11-21 | 浙江核新同花顺网络信息股份有限公司 | 日志数据采集方法、系统及服务器 |
| CN102843389A (zh) * | 2011-06-21 | 2012-12-26 | 国承斌 | 基于事件驱动的web系统和方法 |
| CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技（深圳）有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
| CN103236938A (zh) * | 2013-03-27 | 2013-08-07 | 广东全通教育股份有限公司 | 一种基于缓存及异步处理技术的用户行为采集方法及系统 |
| CN103678321A (zh) * | 2012-09-03 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 页面元素确定方法及设备、用户行为路径确定方法及装置 |
| CN103684909A (zh) * | 2013-11-30 | 2014-03-26 | 广州西维尔计算机系统有限公司 | 基于事件源的信息处理方法 |
| CN103731399A (zh) * | 2012-10-11 | 2014-04-16 | 北京百度网讯科技有限公司 | 基于cdn网络的数据访问方法、系统及装置 |
| CN103905379A (zh) * | 2012-12-25 | 2014-07-02 | 腾讯科技（深圳）有限公司 | 一种标识互联网用户的方法，及装置 |
| CN104050266A (zh) * | 2014-06-20 | 2014-09-17 | 小米科技有限责任公司 | 用户行为记录方法、装置和网页浏览器 |
| CN104239197A (zh) * | 2014-10-10 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于大数据日志分析的管理用户异常行为发现方法 |
| CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
| CN104967696A (zh) * | 2015-07-29 | 2015-10-07 | 网神信息技术（北京）股份有限公司 | 日志发送方法和装置 |
| CN105100015A (zh) * | 2014-05-16 | 2015-11-25 | 林琳 | 一种采集互联网访问数据的方法及装置 |
| CN105446867A (zh) * | 2014-08-22 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种测试数据的生成方法及装置 |
| CN106528423A (zh) * | 2016-11-10 | 2017-03-22 | 北京百家互联科技有限公司 | 动态日志记录方法及装置 |
| CN106846051A (zh) * | 2017-01-12 | 2017-06-13 | 安徽大尺度网络传媒有限公司 | 一种基于互联网的市场调研系统及其处理方法 |
| CN107734006A (zh) * | 2017-09-27 | 2018-02-23 | 北京奇艺世纪科技有限公司 | 一种统计日志发送方法、装置及电子设备 |
| CN108052452A (zh) * | 2017-12-29 | 2018-05-18 | 北京酷我科技有限公司 | 一种日志验收的可视优化方法 |
| CN108491300A (zh) * | 2018-01-10 | 2018-09-04 | 北京掌阔移动传媒科技有限公司 | 一种基于分布式的日志处理系统 |
| CN108733720A (zh) * | 2017-04-24 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 多数据库类型的sql查询的在线校验方法和校验系统 |
| CN108810057A (zh) * | 2017-05-05 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 用户行为数据的采集方法、装置及存储介质 |
| CN109218407A (zh) * | 2018-08-14 | 2019-01-15 | 平安普惠企业管理有限公司 | 基于日志监控技术的代码管控方法及终端设备 |
| CN110020690A (zh) * | 2019-04-11 | 2019-07-16 | 广州华多网络科技有限公司 | 一种作弊行为检测方法、装置及存储介质 |
| CN110545296A (zh) * | 2018-05-28 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种日志数据获取方法、装置及其设备 |
| CN110795322A (zh) * | 2019-10-28 | 2020-02-14 | 深圳前海环融联易信息科技服务有限公司 | 服务监控方法、装置、计算机设备及存储介质 |
| CN112000405A (zh) * | 2020-07-29 | 2020-11-27 | 深圳市智微智能软件开发有限公司 | 一种便捷获取系统日志的方法、设备和存储介质 |
| CN112100042A (zh) * | 2020-08-26 | 2020-12-18 | 北京天空卫士网络安全技术有限公司 | 一种监控方法、装置和系统 |
| CN112528206A (zh) * | 2020-12-25 | 2021-03-19 | 平安普惠企业管理有限公司 | 网页日志收集方法、装置、电子设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1801817A (zh) * | 2005-12-21 | 2006-07-12 | 阿里巴巴公司 | 日志文件的生成方法和系统 |
| CN101179441A (zh) * | 2007-12-12 | 2008-05-14 | 北京亿企通信息技术有限公司 | 一种在即时通信工具中用户记录日志的方法及系统 |
-
2009
- 2009-09-22 CN CN2009100239825A patent/CN101651707B/zh not_active Expired - Fee Related
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012022215A1 (zh) * | 2010-08-16 | 2012-02-23 | 腾讯科技（深圳）有限公司 | 一种互联网中互动信息的交互方法、装置及系统 |
| CN102164178A (zh) * | 2011-03-28 | 2011-08-24 | 华为技术有限公司 | 内容获取方法及客户端 |
| CN102790686B (zh) * | 2011-05-17 | 2015-09-16 | 浙江核新同花顺网络信息股份有限公司 | 日志数据采集方法、系统及服务器 |
| CN102790686A (zh) * | 2011-05-17 | 2012-11-21 | 浙江核新同花顺网络信息股份有限公司 | 日志数据采集方法、系统及服务器 |
| CN102843389B (zh) * | 2011-06-21 | 2015-08-26 | 国承斌 | 基于事件驱动的web系统和方法 |
| CN102843389A (zh) * | 2011-06-21 | 2012-12-26 | 国承斌 | 基于事件驱动的web系统和方法 |
| CN102255895A (zh) * | 2011-06-29 | 2011-11-23 | 北京思创银联科技股份有限公司 | 客户端和服务端之间的数据通信方法及系统 |
| CN102891873A (zh) * | 2011-07-21 | 2013-01-23 | 腾讯科技（深圳）有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
| CN102891873B (zh) * | 2011-07-21 | 2017-02-15 | 腾讯科技（深圳）有限公司 | 一种存储日志数据的方法及日志数据存储系统 |
| CN102664935A (zh) * | 2012-04-06 | 2012-09-12 | 北京锐安科技有限公司 | 一种web类用户行为和用户信息的关联输出方法及系统 |
| CN102664935B (zh) * | 2012-04-06 | 2014-10-01 | 北京锐安科技有限公司 | 一种web类用户行为和用户信息的关联输出方法及系统 |
| CN102710748A (zh) * | 2012-05-02 | 2012-10-03 | 华为技术有限公司 | 数据获取方法、系统及设备 |
| CN102710748B (zh) * | 2012-05-02 | 2016-01-27 | 华为技术有限公司 | 数据获取方法、系统及设备 |
| CN102722581A (zh) * | 2012-06-07 | 2012-10-10 | 重庆电力设计院 | 数据处理的方法、代理装置及系统 |
| CN103678321B (zh) * | 2012-09-03 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 页面元素确定方法及设备、用户行为路径确定方法及装置 |
| CN103678321A (zh) * | 2012-09-03 | 2014-03-26 | 阿里巴巴集团控股有限公司 | 页面元素确定方法及设备、用户行为路径确定方法及装置 |
| CN103731399A (zh) * | 2012-10-11 | 2014-04-16 | 北京百度网讯科技有限公司 | 基于cdn网络的数据访问方法、系统及装置 |
| CN103905379A (zh) * | 2012-12-25 | 2014-07-02 | 腾讯科技（深圳）有限公司 | 一种标识互联网用户的方法，及装置 |
| CN103236938A (zh) * | 2013-03-27 | 2013-08-07 | 广东全通教育股份有限公司 | 一种基于缓存及异步处理技术的用户行为采集方法及系统 |
| CN103684909A (zh) * | 2013-11-30 | 2014-03-26 | 广州西维尔计算机系统有限公司 | 基于事件源的信息处理方法 |
| CN105100015B (zh) * | 2014-05-16 | 2018-07-03 | 林琳 | 一种采集互联网访问数据的方法及装置 |
| CN105100015A (zh) * | 2014-05-16 | 2015-11-25 | 林琳 | 一种采集互联网访问数据的方法及装置 |
| CN104050266B (zh) * | 2014-06-20 | 2017-11-10 | 小米科技有限责任公司 | 用户行为记录方法、装置和网页浏览器 |
| CN104050266A (zh) * | 2014-06-20 | 2014-09-17 | 小米科技有限责任公司 | 用户行为记录方法、装置和网页浏览器 |
| CN105446867A (zh) * | 2014-08-22 | 2016-03-30 | 阿里巴巴集团控股有限公司 | 一种测试数据的生成方法及装置 |
| CN104239197A (zh) * | 2014-10-10 | 2014-12-24 | 浪潮电子信息产业股份有限公司 | 一种基于大数据日志分析的管理用户异常行为发现方法 |
| CN104572978A (zh) * | 2014-12-31 | 2015-04-29 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
| CN104572978B (zh) * | 2014-12-31 | 2018-07-13 | 国家电网公司 | 基于日志的电力调度自动化系统用户行为统计方法 |
| CN104967696A (zh) * | 2015-07-29 | 2015-10-07 | 网神信息技术（北京）股份有限公司 | 日志发送方法和装置 |
| CN106528423A (zh) * | 2016-11-10 | 2017-03-22 | 北京百家互联科技有限公司 | 动态日志记录方法及装置 |
| CN106528423B (zh) * | 2016-11-10 | 2019-03-15 | 北京百家互联科技有限公司 | 动态日志记录方法及装置 |
| CN106846051A (zh) * | 2017-01-12 | 2017-06-13 | 安徽大尺度网络传媒有限公司 | 一种基于互联网的市场调研系统及其处理方法 |
| CN108733720A (zh) * | 2017-04-24 | 2018-11-02 | 北京京东尚科信息技术有限公司 | 多数据库类型的sql查询的在线校验方法和校验系统 |
| CN108810057A (zh) * | 2017-05-05 | 2018-11-13 | 腾讯科技（深圳）有限公司 | 用户行为数据的采集方法、装置及存储介质 |
| CN107734006A (zh) * | 2017-09-27 | 2018-02-23 | 北京奇艺世纪科技有限公司 | 一种统计日志发送方法、装置及电子设备 |
| CN108052452A (zh) * | 2017-12-29 | 2018-05-18 | 北京酷我科技有限公司 | 一种日志验收的可视优化方法 |
| CN108491300A (zh) * | 2018-01-10 | 2018-09-04 | 北京掌阔移动传媒科技有限公司 | 一种基于分布式的日志处理系统 |
| CN110545296A (zh) * | 2018-05-28 | 2019-12-06 | 阿里巴巴集团控股有限公司 | 一种日志数据获取方法、装置及其设备 |
| CN109218407B (zh) * | 2018-08-14 | 2022-10-25 | 平安普惠企业管理有限公司 | 基于日志监控技术的代码管控方法及终端设备 |
| CN109218407A (zh) * | 2018-08-14 | 2019-01-15 | 平安普惠企业管理有限公司 | 基于日志监控技术的代码管控方法及终端设备 |
| CN110020690A (zh) * | 2019-04-11 | 2019-07-16 | 广州华多网络科技有限公司 | 一种作弊行为检测方法、装置及存储介质 |
| CN110795322A (zh) * | 2019-10-28 | 2020-02-14 | 深圳前海环融联易信息科技服务有限公司 | 服务监控方法、装置、计算机设备及存储介质 |
| CN112000405A (zh) * | 2020-07-29 | 2020-11-27 | 深圳市智微智能软件开发有限公司 | 一种便捷获取系统日志的方法、设备和存储介质 |
| CN112100042A (zh) * | 2020-08-26 | 2020-12-18 | 北京天空卫士网络安全技术有限公司 | 一种监控方法、装置和系统 |
| CN112528206A (zh) * | 2020-12-25 | 2021-03-19 | 平安普惠企业管理有限公司 | 网页日志收集方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101651707B (zh) | 2012-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101651707B (zh) | 一种网络用户行为日志自动获取方法 | |
| CN105243159B (zh) | 一种基于可视化脚本编辑器的分布式网络爬虫系统 | |
| CN101605056B (zh) | 一种j2ee服务器监控装置及采用该装置的监控方法 | |
| CN101846985B (zh) | 远程数据采集系统及方法 | |
| CN101222349B (zh) | 收集web用户行为及性能数据的方法及系统 | |
| Mayer et al. | An approach to extract the architecture of microservice-based software systems | |
| CN102654885B (zh) | 移动终端网页适配系统和方法 | |
| CN1949259B (zh) | 通过在网页中嵌入代码来采集网页的点击信息的方法 | |
| CN106407076B (zh) | 基于国产cpu和操作系统环境的软硬件运行信息监控方法 | |
| CN103399908B (zh) | 业务数据抓取方法和系统 | |
| CN103853743A (zh) | 一种分布式系统及其日志查询方法 | |
| CN102663062A (zh) | 一种处理搜索结果中无效链接的方法及装置 | |
| CN102867266B (zh) | 一种讯价方法及装置 | |
| CN101441629A (zh) | 一种非结构化网页信息的自动采集方法 | |
| CN101615270B (zh) | 一种基于b/s模式的工作流分析和呈现的系统及方法 | |
| CN102591874B (zh) | 提示方法、终端和服务器 | |
| KR102222287B1 (ko) | 은닉 url에 포함된 정형 및 비정형 데이터의 수집을 위한 웹 크롤러 시스템 | |
| CN111382023A (zh) | 代码故障定位方法、装置、设备及存储介质 | |
| CN103546330A (zh) | 一种浏览器兼容性检测方法、装置及系统 | |
| CN102663049A (zh) | 一种更新搜索引擎网址库方法及装置 | |
| CN103077107A (zh) | 一种数据维护方法及系统 | |
| CN114528457A (zh) | Web指纹检测方法及相关设备 | |
| CN100470546C (zh) | 资料中心服务器、资料服务系统及实现资料查询方法 | |
| CN104317857A (zh) | 一种房屋信息采集服务系统 | |
| CN112506969A (zh) | 一种bmc地址查询方法、系统、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120523 Termination date: 20140922 |
|
| EXPY | Termination of patent right or utility model |