CN112486708B - 页面操作数据的处理方法和处理系统 - Google Patents
页面操作数据的处理方法和处理系统 Download PDFInfo
- Publication number
- CN112486708B CN112486708B CN202011492683.9A CN202011492683A CN112486708B CN 112486708 B CN112486708 B CN 112486708B CN 202011492683 A CN202011492683 A CN 202011492683A CN 112486708 B CN112486708 B CN 112486708B
- Authority
- CN
- China
- Prior art keywords
- page operation
- operation data
- data
- page
- database
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title abstract description 8
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000005540 biological transmission Effects 0.000 claims abstract description 16
- 230000004044 response Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 abstract description 13
- 238000004458 analytical method Methods 0.000 abstract description 8
- 230000000903 blocking effect Effects 0.000 abstract description 2
- 230000006399 behavior Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000013480 data collection Methods 0.000 description 11
- 238000007405 data analysis Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002547 anomalous effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 235000014510 cooky Nutrition 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000009933 burial Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/54—Interprogram communication
- G06F9/546—Message passing systems or structures, e.g. queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本申请公开了信息采集领域中一种页面操作数据的处理方法及处理系统。本申请提供的技术方案中，采用消息队列的方式将采集的前端页面操作数据异步传输到后端的数据库服务器中，避免了业务堵塞，提高了数据传输效率。进一步地，本方案通过设计JavaScript埋点脚本和自定义埋点配置，对前端的页面操作数据进行采集，丰富了采集页面操作数据的类型，为后续对用户的行为分析等方面提供了基础。此外，本申请中数据库服务器将存储的页面操作数据实时同步到搜索引擎服务器中，搜索引擎服务器对页面操作数据进行数据处理，得到页面操作行为分析结果，避免了因页面操作数据过多导致的数据库资源不够用的情况，提高了数据处理效率。
Description
技术领域
本申请涉及信息采集领域，尤其涉及页面操作数据的处理方法和处理系统。
背景技术
随着电子商务网站对于电子商务目标的统计分析的需求越来越强烈，电子商务系统需要从前端采集大量的用户页面操作数据，并传输给后端的数据库服务器，数据库服务器可以根据接收的页面操作数据分析用户的行为偏好，并以此提升系统的功能，从而为用户提供精准营销，为系统的发展方向及公司效益提供无形的价值。
当页面操作数据量巨大或多个前端同时向后端数据库服务器发送页面操作数据时，传统的数据传输方式容易出现业务堵塞的情况，导致数据传输效率较低。
发明内容
本申请提出了信息采集领域中一种页面操作数据的处理方法及处理系统。
第一方面，本申请提供了一种页面操作数据的处理方法。该方法包括：前端接收页面操作；所述前端根据运行的埋点脚本采集页面操作数据；所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据；所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类；所述后端将分类后的页面操作数据写入数据库中。
结合第一方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；相应地，所述前端接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据，包括：所述前端接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。
结合第一种可能的实现方式，在第二种可能的实现方式中，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。
结合第一方面或上述任意一种可能的实现方式，在第三种可能的实现方式中，所述方法还包括：所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。
结合第三种可能的实现方式，在第四种可能的实现方式中，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。
第二方面，本申请提供一种页面操作数据的处理系统，包括前端和后端。所述前端用于：接收页面操作，根据运行的埋点脚本采集页面操作数据，向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据。所述后端用于：在接收到所述异步请求消息之后，向所述前端发送响应消息。所述前端还用于：在接收到所述响应消息之后，向所述后端的消息队列发送所述页面操作数据。所述后端还用于：依次读取所述消息队列中的页面操作数据，将所述消息队列中的页面操作数据按照对应的页面元素类型进行分类，将分类后的页面操作数据写入数据库中。
结合第二方面，在第一种可能的实现方式中，所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据。
相应地，所述前端具体用于：在接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据。
结合第一种可能的实现方式，在第二种可能的实现方式中，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。
结合第二方面或上述任意一种可能的实现方式，所述处理系统还包括数据库和搜索引擎服务器。所述数据库用于，在数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据。所述搜索引擎服务器用于：对接收到的页面操作数据进行存储、查询和检索处理。
结合第三种可能的实现方式，在第四种可能的实现方式中，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。
第三方面，本申请提供一种计算机可读介质，该计算机可读介质存储用于设备执行的程序代码，该程序代码包括用于执行如第一方面或其中任意一种可能的实现方式所述的方法。
第四方面，本申请提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行如第一方面或其中任意一种可能的实现方式所述的方法。
第五方面，本申请提供一种计算系统，包括至少一个处理器和通信接口，所述通信接口和所述至少一个处理器通过线路互联，所述通信接口与目标系统通信，所述至少一个处理器用于运行计算机程序或指令，以执行如第一方面或其中任意一种可能的实现方式所述的方法。
本申请提供的技术方案中，采用消息队列的方式将采集的前端页面操作数据异步传输到后端的数据库服务器中，避免了业务堵塞，提高了数据传输效率。进一步地，本方案通过设计JavaScript埋点脚本和自定义埋点配置，对前端的页面操作数据进行采集，丰富了采集页面操作数据的类型，为后续对用户的行为分析等方面提供了基础。此外，本申请中数据库服务器将存储的页面操作数据实时同步到搜索引擎服务器中，搜索引擎服务器对页面操作数据进行数据处理，得到页面操作行为分析结果，避免了因页面操作数据过多导致的数据库资源不够用的情况，提高了数据处理效率。
附图说明
图1为本申请实施例的一种应用场景的示意图；
图2为本申请实施例的一种页面操作数据的处理方法的流程示意图；
图3为一种使用本方案提供的页面操作数据的处理方法进行数据处理的流程示意图；
图4为本申请一个实施例的一种页面操作数据的处理系统的示意性结构图；
图5为本申请另一个实施例的一种页面操作数据的处理系统的示意性结构图。
具体实施方式
为了便于对本申请的理解，首先对本申请涉及的概念进行解释说明。
JavaScript埋点技术：是指使用JavaScript编程语句针对特定的用户行为或事件进行捕获、处理和发送的相关技术及其实施过程。例如，用户行为或事件可以包括用户对页面中某个图标(icon)的点击次数或浏览某个页面的时长等。
以用户在页面中的操作为打开网页为例，当网页被打开，页面中的JavaScript埋点脚本会被执行，用户在网页中加入一段JavaScript代码，这个代码片段会动态创建一个脚本(script)标签，并将script指向一个单独的JavaScript数据采集文件，例如，JavaScript数据文件可以为dot.js。此时这个JavaScript数据收集文件会被浏览器请求并执行，进行数据采集操作。当数据采集完成后，JavaScript埋点脚本会请求一个后端的数据采集脚本，例如，数据采集脚本可以是一个伪装成图片格式的动态脚本程序，可以由超文本预处理器(hypertext preprocessor，PHP)、python或其它服务端语言进行编写，JavaScript会将采集到的页面操作数据通过超文本传输协议(hyper text transferprotocol，HTTP)参数的方式传递给后端脚本，后端脚本解析参数并按固定格式记录到访问日志中。
用户的页面操作数据可以包括：
1、用户的点击数据。通过事件代理，可以采集到页面发生的所有点击事件，并获取到点击元素。
2、用户的输入操作。通过输入(input)、获得焦点(focus)和失去焦点(blur)等事件来获取输入框中的内容，以及用户的操作。
3、页面的访问数据。通过记录页面的统一资源定位器(uniform resourcelocator，URL)并上报，可以实现页面浏览量(page view，PV)的数据统计；搭配通用唯一识别码(universally unique identifier，uuid)可以实现独立访客(unique visitor，UV)的统计。
4、页面中的代码异常情况。通过window.onerror语句可以采集压面代码中发生的异常情况。
5、页面中失败或异常的接口数据。通过代理异步Javascript和可扩展标记语言(asynchronous javascript and extensible markup language，ajax)的方法，在error语句执行之前上报请求页面中失败或异常的接口数据参数与结果。
6、页面性能数据。通过前端性能监控(performance)接口来计算域名系统(domainname system，DNS)解析、传输控制协议(transmission control protocol，TCP)的链接时间、白屏时间和文档对象模型(document object model，DOM)解析耗时等页面性能数据。
图1为本申请的实施例的一种应用场景的示意图。图1所示的场景是对用户在政企电商门户页面中的操作行为数据进行采集、传输和分析的场景。该场景包括用户101、政企电商门户页面102、前端103、消息队列服务器104、数据库服务器105和数据分析服务器106，其中，政企电商门户页面102和前端103在系统的前端，消息队列服务器104、数据库服务器105和数据分析服务器106在系统的后端。
用户101通过访问请求访问政企电商门户页面102，并在网页中进行各项操作，例如，访问请求可以包括HTTP请求，用户在网页中进行的操作可以包括浏览网页信息、点击网页中的链接和在网页中的输入框中输入查询内容等。前端103根据政企电商门户页面102中的JavaScript埋点脚本的设计，对用户101在政企电商门户页面102中的操作进行监控，并对页面操作数据进行采集。前端103通过消息队列服务器104将采集的页面操作数据传输到数据库服务器105中，例如，数据库服务器可以为分布式关系型(distribute relationaldatabase service，DRDS)数据库等。数据库服务器105对页面操作数据进行存储，并将该页面操作数据实时同步到数据分析服务器106中，数据分析服务器106对页面监控数据进行数据处理，可以得到该用户的操作行为分析报表。其中，数据分析服务器可以为elasticsearch(ES)搜索引擎服务器等。
可以理解的是，图1的场景仅是一种示例，本申请的技术方案还可以应用于其它场景，只要该场景涉及对用户的页面操作数据进行采集、传输和分析即可。
图2为本申请的实施例提供的一种页面操作数据的处理方法的流程示意图。参见图2，该方法可以包括S201至S208。
S201，前端根据运行的JavaScript埋点脚本采集页面操作数据。
例如，前端接收到页面操作后，根据运行的JavaScript埋点脚本采集页面操作数据。该页面操作可以包括点击页面元素，向页面数据框输入内容，浏览页面内容等等。
作为一种示例，JavaScript埋点脚本中可以包含页面自定义埋点配置，前端可以执行JavaScript埋点脚本并根据页面自定义埋点配置采集页面操作数据。
页面自定义埋点配置可以包括页面的访问类型、触发方式和关键点位置等配置。
页面的访问类型可以包括点击、登录、浏览和输入等。
页面的触发方式可以包括点击触发、登录触发、浏览网页触发和输入触发等。
页面的关键点位置设置是指在页面中设置一个或多个关键点，当用户触发这些关键点时，前端根据JavaScript埋点脚本可以采集到这些关键点的相关操作数据。例如，一个页面中有10个按钮，若将其中的2个按钮设置为关键点，且这2个按钮的触发方式均配置为点击触发，则当用户点击这2个按钮时，终端基于JavaScript埋点脚本会采集这两个按钮对应的操作数据，而用户触发另外8个没有被设置为关键点的按钮时，前端基于JavaScript埋点脚本不会采集这8个按钮的相关操作数据。
页面自定义埋点配置可以记录在JavaScript数据采集文件中。JavaScript数据采集文件中可以包括页面元素的数据采集属性。
页面元素可以包括按钮、输入框和链接等，对应的，页面中元素的数据采集属性可以包括按钮的点击采集属性、输入框的输入采集属性和链接的链接采集属性等。
可以在页面代码的超级文本标记语言(hyper text markup language，HTML)中对页面元素的数据采集属性进行设置。
页面元素的数据采集属性可以包括属性内容、属性值和属性说明等。属性内容可以包括是否对该元素进行采集或采集该元素的哪些内容等；属性值可以包括“是”、“否”和具体的数字或字段等；属性说明是对元素的数据采集属性内容和对应的属性值进行详细介绍。
示例性的，对按钮的点击采集属性进行设置，属性内容可以为：是否对该按钮的点击数据进行采集；属性值可以为“是”或“否”；属性说明可以为若属性值为是，则对该按钮的点击数据进行采集，若属性值为否，则不对该按钮的点击数据进行采集。
示例性的，对输入框的输入采集属性进行设置，数据采集属性内容可以为对输入框中输入的哪些字段进行数据采集；属性值可以为“搜索”和“查询”；属性说明可以为当输入框中的输入字段包括“搜索”和“查询”时，对该输入框中的内容进行数据采集。
前端运行JavaScript埋点脚本之后，当页面被用户按照JavaScript埋点脚本中设置的触发方式打开时，前端会根据JavaScript数据采集文件对页面操作数据进行采集。
示例性的，前端可以通过浏览器内置的JavaScript对象采集页面的基本信息，例如，通过document.title语句采集页面标题(title)、通过页面中的链接采集URL、通过windows.screen语句采集用户显示器的分辨率和通过document.cookie语句采集cookie信息等。
前端接收到页面操作请求之后，可以根据JavaScript数据采集文件对页面操作数据进行采集。
S202，前端向后端发送异步请求消息，异步请求消息用于请求向后端发送页面操作数据。相应地，后端接收该异步请求消息。
例如，前端可以向后端的springMVC发送ajax异步请求，请求的内容为使用消息队列的方式向DRDS数据库发送页面操作数据。
前端向后端springMVC发送的ajax异步请求可以包括请求的主题、请求的内容、请求响应的时间和请求响应的途径等。
示例性的，前端向后端springMVC发送的ajax异步请求可以为请求数据库接收页面操作数据、请求通过消息队列的方式进行数据传输和请求数据库接收页面操作数据的频率为2分钟每次等。
前端将采集的页面操作数据根据数据处理类型的不同进行分类，并对每一类别赋予一个唯一的标识。数据处理类型可以包括日志处理类型、请求处理类型和访问处理类型等。作为一种示例，页面操作数据可以分类为请求处理类型。
S203，后端向前端发送响应消息。相应地，前端接收该响应消息。
例如，后端的springMVC接收前端发送的ajax异步请求后，可以向前端发送一个表示接收到前端发送的ajax异步请求并接受页面操作数据的返回值的响应消息。
S204，前端向后端的消息队列发送页面操作数据。
作为一种示例，消息队列可以对应一个单独的服务器，该服务器可以称为消息服务器。消息队列中可以设置有不同的主题，例如，消息队列中的主题可以包括日志处理的主题、请求处理的主题和访问处理的主题等，用来区分不同的数据处理类型。相应地，前端向后端发送页面操作数据时，可以同时发送该页面操作数据对应的数据处理类型的标识。这样，后端接收到该页面数据之后，可以基于该标识获知数据处理类型，将页面操作数据放入消息队列中与该数据处理类型对应的主题中。例如，后端可以将页面操作数据放入数据处理类型对应的主题中。
S205，后端依次读取消息队列中的页面操作数据，并将消息队列中的页面操作数据按照对应的页面元素类型进行分类。
例如，消费者读取消息服务器中的页面操作数据，将消息队列中不同主题的页面操作数据根据不同的操作元素进行再分类。
消费者读取消息服务器中的页面操作数据，对消息队列中不同主题中的每一个主题中的页面操作数据根据操作元素的不同进行再分类，再分类的过程可以包括对页面操作数据进行拆分和整合。
拆分是将页面操作数据按照对应的元素类型进行拆解分类。例如，页面操作数据可以分为按钮的页面操作数据、输入框的页面操作数据和链接的页面操作数据等。
整合是将同一操作元素类型的页面操作数据进行汇总归纳，形成一个新的数据组。例如，将消息队列里访问处理主题中所有按钮的页面操作数据进行整合，形成一个新的数据组，该数据组中包括消息队列里访问处理主题中所有对按钮的操作数据。
S206，后端将分类后的页面操作数据写入数据库中。
作为一种示例，后端可以将分类后的页面操作数据写入DRDS数据库。DRDS数据库中可以包括多个库表，不同库表用于记录不同页面元素对应的页面操作数据。后端可以根据页面操作数据对应的页面元素类型将该页面操作数据新增到DRDS数据库中对应的库表中。若在DRDS数据库中没有对应的类别库表，则可以将该类别的页面操作数据新增到“默认”库表中。
S207，数据库将页面操作数据同步至搜索引擎服务器。
作为一种示例，DRDS数据库中可以部署有数据传输服务(data transmissionservice，DTS)软件，该软件通过DRDS数据库的日志对DRDS数据库中的数据变化进行监听，并将变化的数据实时同步到ES搜索引擎服务器中。
ES搜索引擎服务器对同步的页面操作数据创建语句时，可以对页面操作数据进行创建索引操作，例如，索引可以包括查询类型和查询方式等。从DRDS数据库同步到ES搜索引擎服务器时，ES搜索引擎服务器根据DRDS数据库中的类别标识自动生成索引。
S208，搜索引擎服务器对页面操作数据进行数据处理。
作为一个示例，ES搜索引擎服务器可以对页面操作数据进行存储、查询、检索和分析等。
ES搜索引擎服务器适用于大数据量的数据处理，可以通过多条件或自定义条件等方式对数据进行查询，并能快速实现结果数据的检索和分析。
本申请提供的页面操作数据的处理方法，用户对整个处理过程无感知，并且使用消息队列的方式对用户的页面操作数据进行异步传输，提高了数据传输效率，节约了资源；通过设计JavaScript埋点脚本、自定义埋点配置和JavaScript数据采集文件，对前端的页面操作数据进行采集，提高了页面操作数据的采集效率；其次将页面操作数据同步到ES搜索引擎进行数据处理操作，提高了数据检索和分析的速度，为后期系统的精准营销创造了条件。
图3为一种使用本方案提供的页面操作数据的处理方法进行数据处理的流程示意图。参见图3，该数据处理操作可以包括S301至S307。
S301，用户访问政企电商门户页面，并进行页面操作。
用户可以通过HTTP请求的方式访问政企电商门户网页。用户在政企电商门户网页中进行的页面操作可以包括点击、输入和浏览等。
S302，判断页面操作是否触发自定义埋点。
S201中制定了JavaScript埋点脚本，并在脚本中进行了自定义埋点配置。自定义埋点配置设置了哪些页面操作行为能够触发自定义埋点，前端只采集能够触发自定义埋点的页面操作行为的数据信息，而无法采集不能够触发自定义埋点的页面操作行为的数据信息。
若页面操作行为没有触发自定义埋点，则执行S303；
若页面操作行为触发了自定义埋点，则执行S304。
S303，前端不对用户的页面操作数据进行采集。
S304，前端对用户的页面操作数据进行采集。
S202中的JavaScript数据采集文件中设置了页面中元素的数据采集属性，前端根据JavaScript数据采集文件中的设置进行数据采集操作。
S305，前端将采集的页面操作数据通过消息队列发送到DRDS数据库。
S306，DRDS数据库将接收的页面操作数据更新到对应的库表中，并将页面操作数据发送给数据分析服务器。
S307，数据分析服务器对接收的页面操作数据进行分析，得到页面操作行为分析报表。
需要说明的是，S305至S307的执行过程可以参见S204至S207的执行过程，此处不再进行赘述。
图4为本申请一个实施例的一种页面操作数据的处理系统的示意性结构图。如图4所示，处理系统400可以包括前端401、后端402、数据库403和搜索引擎服务器404。
处理系统400可以用于实现图2或图3所示的方法。
图5为本申请另一个实施例的一种页面操作数据的处理系统的示意性结构图。图5所示的处理系统500可以用于执行前述任一实施例所述的方法。
如图5所示，本实施例的装置500包括：至少一个存储器501、至少一个处理器502、通信接口503以及总线504。其中，存储器501、处理器502、通信接口503通过总线504实现彼此之间的通信连接。
存储器501可以是只读存储器(read only memory，ROM)，静态存储设备，动态存储设备或者随机存取存储器(random access memory，RAM)。存储器501可以存储程序，当存储器501中存储的程序被处理器502执行时，处理器502可以用于执行图2或图3所示的方法的各个步骤。
处理器502可以采用通用的中央处理器(central processing unit，CPU)，微处理器，应用专用集成电路(application specific integrated circuit，ASIC)，或者一个或多个集成电路，用于执行相关程序，以实现本申请方法实施例的推理车道的方法或训练车道推理模型的方法。
处理器502还可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本申请各个实施例的方法的各个步骤可以通过处理器502中的硬件的集成逻辑电路或者软件形式的指令完成。
上述处理器502还可以是通用处理器、数字信号处理器(digital signalprocessing，DSP)、专用集成电路(ASIC)、现成可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器501，处理器502读取存储器501中的信息，结合其硬件完成本申请实施例中各个方法所需执行的功能，例如，可以执行图2或图3所示实施例的各个步骤/功能。
通信接口503可以使用但不限于收发器一类的收发装置，来实现装置500与其他设备或通信网络之间的通信。
总线504可以包括在装置500各个部件(例如，存储器501、处理器502、通信接口503)之间传送信息的通路。
应理解，本申请实施例所示的装置500可以是电子设备，或者，也可以是配置于电子设备中的芯片。
应理解，本申请实施例中的处理器可以为中央处理单元(central processingunit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
还应理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random accessmemory，RAM)可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DR RAM)。
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质。半导体介质可以是固态硬盘。
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A,B可以是单数或者复数。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系，但也可能表示的是一种“和/或”的关系，具体可参考前后文进行理解。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a,b,或c中的至少一项(个)，可以表示：a,b,c,a-b,a-c,b-c,或a-b-c，其中a,b,c可以是单个，也可以是多个。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种页面操作数据的处理方法，其特征在于，包括：
前端接收页面操作；
所述前端执行埋点脚本，根据页面自定义埋点配置和页面元素的数据采集属性采集页面操作数据；所述页面元素包括按钮、输入框和链接中的至少一种；所述数据采集属性包括属性内容、属性值和属性说明；
所述前端向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；
所述后端接收到所述异步请求消息之后，向所述前端发送响应消息；
所述前端接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据；所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；
所述后端依次读取所述消息队列中的页面操作数据，并将所述消息队列中不同主题的每个主题的页面操作数据按照对应的页面元素类型进行分类；
所述后端将分类后的页面操作数据写入数据库中。
2.根据权利要求1所述的方法，其特征在于，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。
3.根据权利要求1或2任一项所述的方法，其特征在于，所述方法还包括：
所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；
所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。
4.根据权利要求3所述的方法，其特征在于，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。
5.一种页面操作数据的处理系统，其特征在于，包括前端和后端；
所述前端用于：接收页面操作，执行埋点脚本，根据页面自定义埋点配置和页面元素的数据采集属性采集页面操作数据，向后端发送异步请求消息，所述异步请求消息用于请求向所述后端发送所述页面操作数据；其中，所述页面元素包括按钮、输入框和链接中的至少一种；所述数据采集属性包括属性内容、属性值和属性说明；
所述后端用于：在接收到所述异步请求消息之后，向所述前端发送响应消息；
所述前端还用于：在接收到所述响应消息之后，向所述后端的消息队列中与所述页面操作数据的数据处理类型对应的主题队列发送所述页面操作数据；所述消息队列包括不同的主题队列，所述不同的主题队列对应不同数据处理类型的页面操作数据；
所述后端还用于：依次读取所述消息队列中的页面操作数据，将所述消息队列中不同主题的每个主题的页面操作数据按照对应的页面元素类型进行分类，将分类后的页面操作数据写入数据库中。
6.根据权利要求5所述的处理系统，其特征在于，所述数据处理类型包括日志处理类型、请求处理类型和访问处理类型。
7.根据权利要求5或6所述的处理系统，其特征在于，所述处理系统还包括数据库和搜索引擎服务器：
所述数据库的数据传输服务监听到所述数据库中的页面操作数据发生变化时，向搜索引擎服务器发送发生变化的页面操作数据；
所述搜索引擎服务器对接收到的页面操作数据进行存储、查询和检索处理。
8.根据权利要求7所述的处理系统，其特征在于，所述数据库为分布式关系型，所述搜索引擎服务器为分布式多能力用户全文搜索引擎。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011492683.9A CN112486708B (zh) | 2020-12-16 | 2020-12-16 | 页面操作数据的处理方法和处理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011492683.9A CN112486708B (zh) | 2020-12-16 | 2020-12-16 | 页面操作数据的处理方法和处理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112486708A CN112486708A (zh) | 2021-03-12 |
| CN112486708B true CN112486708B (zh) | 2023-11-07 |
Family
ID=74917607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011492683.9A Active CN112486708B (zh) | 2020-12-16 | 2020-12-16 | 页面操作数据的处理方法和处理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112486708B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113886200B (zh) * | 2021-09-06 | 2024-01-30 | 浪潮软件科技有限公司 | 基于埋点的页面分组识别及统计系统及方法 |
| CN115033825A (zh) * | 2022-06-21 | 2022-09-09 | 北京达佳互联信息技术有限公司 | 页面数据处理方法、装置、设备及介质 |
| WO2024074891A1 (en) * | 2022-10-03 | 2024-04-11 | Soroco India Private Limited | Systems and methods for identifying attributes for process discovery |
| CN116882345A (zh) * | 2023-07-06 | 2023-10-13 | 合芯科技(苏州)有限公司 | 电路仿真数据搜集方法、系统、介质及电子设备 |
| CN116610531B (zh) * | 2023-07-14 | 2023-09-29 | 江苏数字看点科技有限公司 | 基于代码探针采集数据埋点及请求图片上传数据的方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8166026B1 (en) * | 2006-12-26 | 2012-04-24 | uAffect.org LLC | User-centric, user-weighted method and apparatus for improving relevance and analysis of information sharing and searching |
| CN106878397A (zh) * | 2017-01-21 | 2017-06-20 | 浙江沛宏网络科技有限公司 | 一种web用户行为反馈方法及系统 |
| CN107153681A (zh) * | 2017-04-19 | 2017-09-12 | 畅捷通信息技术股份有限公司 | 一种用户注册转换方法及系统 |
| CN109918441A (zh) * | 2019-04-03 | 2019-06-21 | 颜沿（上海）智能科技有限公司 | 一种终端信息处理展示方法及系统 |
| CN110309469A (zh) * | 2019-05-09 | 2019-10-08 | 重庆天蓬网络有限公司 | 一种用户点击行为可视化分析方法、系统、介质和电子设备 |
| CN110557291A (zh) * | 2019-09-18 | 2019-12-10 | 神州数码融信软件有限公司 | 一种网络服务监控系统 |
| CN111367692A (zh) * | 2020-03-09 | 2020-07-03 | 政采云有限公司 | 一种搜索引擎数据处理方法、装置、电子设备及介质 |
| CN111460333A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种实时搜索数据分析系统 |
| CN112052247A (zh) * | 2020-09-29 | 2020-12-08 | 微医云(杭州)控股有限公司 | 搜索引擎的索引更新系统、方法、装置、电子设备、存储介质 |
-
2020
- 2020-12-16 CN CN202011492683.9A patent/CN112486708B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8166026B1 (en) * | 2006-12-26 | 2012-04-24 | uAffect.org LLC | User-centric, user-weighted method and apparatus for improving relevance and analysis of information sharing and searching |
| CN106878397A (zh) * | 2017-01-21 | 2017-06-20 | 浙江沛宏网络科技有限公司 | 一种web用户行为反馈方法及系统 |
| CN107153681A (zh) * | 2017-04-19 | 2017-09-12 | 畅捷通信息技术股份有限公司 | 一种用户注册转换方法及系统 |
| CN109918441A (zh) * | 2019-04-03 | 2019-06-21 | 颜沿（上海）智能科技有限公司 | 一种终端信息处理展示方法及系统 |
| CN110309469A (zh) * | 2019-05-09 | 2019-10-08 | 重庆天蓬网络有限公司 | 一种用户点击行为可视化分析方法、系统、介质和电子设备 |
| CN110557291A (zh) * | 2019-09-18 | 2019-12-10 | 神州数码融信软件有限公司 | 一种网络服务监控系统 |
| CN111367692A (zh) * | 2020-03-09 | 2020-07-03 | 政采云有限公司 | 一种搜索引擎数据处理方法、装置、电子设备及介质 |
| CN111460333A (zh) * | 2020-03-30 | 2020-07-28 | 北京工业大学 | 一种实时搜索数据分析系统 |
| CN112052247A (zh) * | 2020-09-29 | 2020-12-08 | 微医云(杭州)控股有限公司 | 搜索引擎的索引更新系统、方法、装置、电子设备、存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 分布式消息队列在客服系统中的应用;肖育军;《电信技术》;138-143 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112486708A (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112486708B (zh) | 页面操作数据的处理方法和处理系统 | |
| CN111522922B (zh) | 日志信息查询方法、装置、存储介质及计算机设备 | |
| US8719255B1 (en) | Method and system for determining interest levels of online content based on rates of change of content access | |
| CN108304410B (zh) | 一种异常访问页面的检测方法、装置及数据分析方法 | |
| US8671097B2 (en) | Method and system for log file analysis based on distributed computing network | |
| US7860895B1 (en) | Method and system for determining interest spaces among online content sources | |
| CN111901192B (zh) | 一种页面访问数据的统计方法及装置 | |
| US20150180891A1 (en) | Using network locations obtained from multiple threat lists to evaluate network data or machine data | |
| CN106021583B (zh) | 页面流量数据的统计方法及其系统 | |
| KR102504075B1 (ko) | 사용자 디바이스 이벤트의 매칭 및 속성 | |
| CN103618696B (zh) | 对cookie信息进行处理的方法和服务器 | |
| CN102436564A (zh) | 一种识别被篡改网页的方法及装置 | |
| CA3152018A1 (en) | Business parameter collecting method, device, computer equipment and storage medium | |
| CN107085549B (zh) | 故障信息生成的方法和装置 | |
| WO2017124692A1 (zh) | 查找表单页面和目标页面转化关系的方法和装置 | |
| CN111858255A (zh) | 基于屏幕截图的用户行为采集方法及相关设备 | |
| US10140377B2 (en) | Data processing, data collection | |
| CN113779571A (zh) | WebShell检测装置、WebShell检测方法及计算机可读存储介质 | |
| CN111240847A (zh) | 数据处理方法、装置、介质和计算设备 | |
| CN103618761B (zh) | 对cookie信息进行处理的方法和浏览器 | |
| US20140337069A1 (en) | Deriving business transactions from web logs | |
| CN111245880B (zh) | 基于行为轨迹重建的用户体验监控方法及装置 | |
| Murínová | Application log analysis | |
| CN115686904A (zh) | 网页诊断方法、设备及系统 | |
| Liu et al. | WRT: Constructing Users' Web Request Trees from HTTP Header Logs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |