CN112613067A - 用户行为数据采集方法、装置、计算机设备及存储介质 - Google Patents

用户行为数据采集方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112613067A
CN112613067A CN202011484884.4A CN202011484884A CN112613067A CN 112613067 A CN112613067 A CN 112613067A CN 202011484884 A CN202011484884 A CN 202011484884A CN 112613067 A CN112613067 A CN 112613067A
Authority
CN
China
Prior art keywords
behavior data
page
user behavior
user
trigger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011484884.4A
Other languages
English (en)
Inventor
黄康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202011484884.4A priority Critical patent/CN112613067A/zh
Publication of CN112613067A publication Critical patent/CN112613067A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G06F16/986—Document structures and storage, e.g. HTML extensions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种用户行为数据采集方法、装置、计算机设备及存储介质，通过响应用户的页面操作行为，生成用户操作指令，用户操作指令包括页面操作行为的触发时间和触发位置；基于触发位置确定目标节点元素，获取目标节点元素的自定义属性；将所述触发时间记录为目标节点元素的触发时间戳，并基于目标节点元素的自定义属性和触发时间戳生成用户行为数据；按照设定时间策略将用户行为数据发送至服务端；通过将用户行为数据采集工具加到需进行用户行为数据采集页面所处根目录下，从而实现无需人工埋点即可自动化采集用户页面操作行为，解决因对用户行为数据无法做到脱敏采集，从而发生数据泄露风险的问题。

Description

用户行为数据采集方法、装置、计算机设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种用户行为数据采集方法、装置、计算机设备及存储介质。
背景技术
随着互联网和智能移动终端技术的发展，越来越多的人热衷于线上学习或线上交流，因此收集用户在网站页面上的操作行为数据就变得极其重要。现有技术中，通常是通过埋点数据分析用户点击事件的执行的顺序，以此来分析用户在页面上的操作行为，或者通过监听整个页面的点击事件，收集页面上所点击元素的对应的文案，以此来分析客户页面操作行为，进而实现户行为数据采集。然而，现有技术中的上述用户行为数据采集方法，由于需要开发人员额外进行埋点代码的编写，需要额外投入人力，且在对用户行为数据采集的过程中无法做到脱敏，存在直接将页面上与用户有关的敏感数据上传到监控系统进而发生泄露的风险。
发明内容
基于此，有必要针对上述技术问题，提供一种用户行为数据采集方法、装置、计算机设备及存储介质，以解决因对用户行为数据无法做到脱敏采集，从而发生数据泄露风险的问题。
一种用户行为数据采集方法，包括：
响应用户的页面操作行为，生成用户操作指令，所述用户操作指令包括页面操作行为的触发时间和触发位置；
基于所述触发位置确定目标节点元素，获取所述目标节点元素的自定义属性；
将所述触发时间记录为所述目标节点元素的触发时间戳，并基于所述目标节点元素的所述自定义属性和所述触发时间戳生成用户行为数据；
按照设定时间策略将所述用户行为数据发送至服务端。
一种用户行为数据采集装置，包括：
第一响应模块，用于响应用户的页面操作行为，生成用户操作指令，所述用户操作指令包括页面操作行为的触发时间和触发位置；
自定义属性获取模块，用于基于所述触发位置确定目标节点元素，获取所述目标节点元素的自定义属性；
用户行为数据生成模块，用于将所述触发时间记录为所述目标节点元素的触发时间戳，并基于所述目标节点元素的所述自定义属性和所述触发时间戳生成用户行为数据；
发送模块，用于按照设定时间策略将所述用户行为数据发送至服务端。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现上述用户行为数据方法。
一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如上述用户行为数据方法。
上述用户行为数据采集方法、装置、计算机设备及存储介质，通过响应用户的页面操作行为，生成用户操作指令，用户操作指令包括页面操作行为的触发时间和触发位置；基于触发位置确定目标节点元素，获取目标节点元素的自定义属性；将所述触发时间记录为目标节点元素的触发时间戳，并基于目标节点元素的自定义属性和触发时间戳生成用户行为数据；按照设定时间策略将用户行为数据发送至服务端；通过将用户行为数据采集工具加到需进行用户行为数据采集页面所处根目录下，从而实现无需人工埋点即可自动化采集用户页面操作行为，解决因对用户行为数据无法做到脱敏采集，从而发生数据泄露风险的问题。且由于客户端发送/上传数据时可自定义时间的节流方式，还节省了用户流量，减轻了服务器压力。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中用户行为数据采集方法的一应用环境示意图；
图2是本发明一实施例中用户行为数据采集方法的一流程示意图；
图3是本发明一实施例中用户行为数据采集方法的另一流程示意图；
图4是本发明一实施例中用户行为数据采集方法的另一流程示意图；
图5是本发明一实施例中用户行为数据采集方法的另一流程示意图；
图6是本发明一实施例中用户行为数据采集方法的另一流程示意图；
图7是本发明一实施例中用户行为数据采集装置的另一流程示意图；
图8是本发明一实施例中用户行为数据采集装置的一结构示意图；
图9是本发明一实施例中用户行为数据采集装置的另一结构示意图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例提供的用户行为数据采集方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种用户行为数据采集方法，以该方法应用在图1中的客户端为例进行说明，包括如下步骤：
S10：响应用户的页面操作行为，生成用户操作指令，用户操作指令包括页面操作行为的触发时间和触发位置。
其中，用户的页面操作行为可以为用户进入客户端页面后在触摸屏上对该页面的触摸、点击、滑动、框选或输入等操作行为，也可以体现为用户在客户端页面的鼠标点击、滑动、框选或键盘输入等操作行为。在本实施例中，通过设置document.onclick方法，从而实现监听用户在客户端页面的页面操作行为，并通过预先将用户行为数据采集工具添加到客户端中需进行用户行为数据采集页面所处根目录下，从而实现响应用户的页面操作行为，生成用户操作指令。用户操作指令包括触发时间和触发位置。其中，触发时间为用户执行页面操作行为的时间。触发位置指用户在客户端的页面上执行页面操作行为的具体位置。可选地，可以通过在页面构建直角坐标系并通过坐标点来体现触发位置。
在本步骤中，由于预先已将用户行为数据采集工具加到需进行用户行为数据采集页面所处根目录下，并且默认自动加入并下载框架转换需要的依赖文件，因此，当用户进入客户端页面执行页面操作行为时，可实现无需人工埋点，即可自动化收集用户的页面操作行为数据，操作过程简单方便，且不额外占用网络资源。
S20：基于触发位置确定目标节点元素，获取目标节点元素的自定义属性。
具体地，将用户在客户端的页面上执行页面操作行为的具体触发位置所对应的页面节点元素确定为目标节点元素。示例性地，以用户输入查询信息为例，用户在客户端页面输入查询信息时，可以应用页面上的网址输入栏输入想要查询的网址信息，也可以在页面上的搜索框内输入想要查询的内容，然后搜索到想要获得的内容。在这里，目标节点元素分别为网址输入栏和搜索框。
在一具体实施例中，已预先给需要进行用户行为数据采集的页面中的所有页面节点元素赋予对应的唯一的自定义属性(collect-id)。其中，自定义属性为预先为客户端页面中的每一页面节点元素配置的属性标识。自定义属性可以由页面标识+唯一的随机标识组成，唯一的随机标识可以为数字、大小写字母等任意唯一标识。因此，客户端页面中的每一页面节点元素都具有唯一的自定义属性。
在一具体实施例中，给客户端页面中的页面节点元素赋予对应的唯一的自定义属性可通过先确定需进行用户行为数据的页面，然后获取每一页面的页面地址，查找到每一页面对应的原始配置文件(html文件)，再遍历每一页面的原始配置文件(html文件)中的<html></html>标签，以给每一页面中的所有页面节点元素加上唯一的自定义属性,从而得到每一页面对应的页面配置文件。在本实施例中，每一页面对应的页面配置文件中包括该页面的所有页面节点元素和每一页面节点元素对应的自定义属性。由于需进行用户行为数据的页面可能包括多个页面，因此，为了便于管理和查询，将所有需进行用户行为数据的页面对应的页面配置文件组成页面配置文件库。
由于页面配置文件库中包含需进行用户行为数据的所有页面的所有页面节点元素和对应的自定义属性。因此，在本步骤中，可直接通过getAttribute方法在页面配置文件库进行查询，即可获取到目标节点元素的自定义属性。
S30：将所述触发时间记录为目标节点元素的触发时间戳，并基于目标节点元素的自定义属性和触发时间戳生成用户行为数据。
具体地，将用户操作指令中的触发时间记录为对应的目标节点元素的触发时间戳，并将该目标节点元素的自定义属性和触发时间戳进行组合生成用户行为数据。可以理解地，每一条用户行为数据都是由目标节点元素的自定义属性和触发时间戳组成。
在一具体实施例中，若一个目标节点元素对应有两个触发时间戳，即用户在同一个目标节点元素中点击/输入两次，则会生成2条用户行为数据，不同用户行为数据之间的自定义属性相同，触发时间戳不同。
S40：按照设定时间策略将用户行为数据发送至服务端。
其中，设定时间策略为预先根据实际情况设定的将用户行为数据自动发送/上传至服务端的时间间隔策略。为了避免用户连续点击或者在短时间内在页面点击多个地方造成频繁请求接口以发送用户行为数据至服务端。在本实施例中，预先按照设定时间策略设置将用户行为数据自动发送/上传至服务端的间隔时间，进行上传频率的节流。比如：设定时间策略可以为预先设置若5秒内没有监听到再次执行触发点击，则将当前本地缓存的一条或多条用户行为数据发送至服务端。将用户行为数据发送至服务端后，则清空当前本地缓存的数据。
在本实施例中，通过响应用户的页面操作行为，生成用户操作指令，用户操作指令包括页面操作行为的触发时间和触发位置；基于触发位置确定目标节点元素，获取目标节点元素的自定义属性；将所述触发时间记录为目标节点元素的触发时间戳，并基于目标节点元素的自定义属性和触发时间戳生成用户行为数据；按照设定时间策略将用户行为数据发送至服务端；通过将用户行为数据采集工具加到需进行用户行为数据采集页面所处根目录下，从而实现无需人工埋点即可自动化采集用户页面操作行为，解决因对用户行为数据无法做到脱敏采集，从而发生数据泄露风险的问题。且由于客户端发送/上传数据时可自定义时间的节流方式，还节省了用户流量，减轻了服务器压力。
在一实施例中，如图3所示，用户行为数据采集方法应用于客户端，在响应用户的页面操作行为之前，用户行为数据采集方法，还具体包括如下步骤：
S11：获取项目配置文档，项目配置文档包括页面地址。
其中，项目配置文档为对用户行为数据采集工具进行配置时所需用到的文件。用户行为数据采集工具根据每个项目根目录生成项目配置文档，在用户行为数据采集工具上做的任何配置都会写入到这个文档中；可通过使用项目根目录的项目配置文档以对项目进行配置。项目配置文档包括页面地址。其中，页面地址为需进行用户行为数据采集的页面所对应的URL地址。每一页面对应的页面地址都是唯一的，项目配置文件中包含多个需要进行用户行为数据采集的页面的页面地址。
S12：通过页面地址获取对应的页面配置文件。
其中，页面配置文件为页面的html文件。html文件是可以被多种网页浏览器读取，产生网页传递各类资讯的文件。网络浏览器能够解释html文件来显示网页，当使用浏览器在互联网上浏览网页时，浏览器软件就自动完成html文件到网页的转换。
在一具体实例中，每一页面的页面地址和对应的页面配置文件是固定对应关联的。因此，在本步骤中可直接通过页面地址获取到对应的页面配置文件。需要说明的是，本步骤中获取的页面的页面配置文件为原始html文件，即该页面配置文件中的所有页面节点元素还未赋予自定义属性。
S13：遍历页面配置文件中的页面节点元素，给页面配置文件中的每一页面节点元素赋予自定义属性。
具体地，遍历页面配置文件中的所有页面节点元素，给页面配置文件中的所有页面节点元素赋予自定义属性(collect-id),该自定义属性对于每一页面节点元素都是唯一的。其中，自定义属性为预先为每一页面节点元素配置的属性标识。自定义属性可以由页面标识+唯一的随机标识组成，唯一的随机标识可以为数字、大小写字母等任意唯一标识。页面标识为页面节点元素所在页面的标识。在本实施例中，页面标识即为该页面对应的URL地址。可以理解地，若两个页面节点元素所在的页面不同，则所对应的页面标识不同，若两个页面节点元素在同一页面，则所对应的页面标识相同。在本实施例中，客户端页面中的每一页面节点元素都具有唯一的自定义属性。
在本实施例中，获取项目配置文档，项目配置文档包括页面地址；通过页面地址获取对应的页面配置文件；遍历页面配置文件中的页面节点元素，给页面配置文件中的每一页面节点元素赋予自定义属性；通过给项目配置文件中的每一页面节点元素赋予自定义属性，从而便于后续在进行数据上传/传输时可以不上传/传输具体的页面节点元素，只上页面节点元素的自定义属性，然后通过自定义属性即可反查出对应的页面节点元素，从而达到了脱敏效果。
在一实施例中，如图4所示，用户行为数据采集方法应用于客户端，在获取项目配置文档之前之前，用户行为数据采集方法，还具体包括如下步骤：
S111：响应用户触发指令，设置项目配置文档，得到配置参数，配置参数包括页面地址、传输接口地址和传输时间间隔。
其中，用户触发指令为触发对项目配置文档进行设置的指令。具体地，设置项目配置文件主要包括设置对用户行为数据进行采集所需的配置参数。配置参数包括页面地址，其中，页面地址为需要进行用户行为数据采集的页面在预设的项目根目录下的地址，目录地址可以为每个页面对应的URL地址。传输接口地址为将采集的用户行为数据上传至服务端的接口地址。传输时间间隔为将用户行为数据自动上传至服务端的间隔时间。传输时间间隔可以为5秒、10秒或者30秒等；用户可根据实际情况自定义设定。
S112：根据配置参数配置用户行为数据采集工具。
具体地，根据配置参数配置用户行为数据采集工具，并将用户行为数据采集工具加到需进行用户行为数据采集页面所处的根目录下，当用户在命令行中键入用户行为数据采集工具的工具添加命令(比如：npm i pa-collect-user-data--save-dev)之后，执行该工具添加命令，并且默认自动加入并下载框架转换需要的依赖文件。在该步骤中，由于用户行为数据采集工具加到需进行用户行为数据采集页面所处根目录下，来实现无需人工埋点，自动化收集用户页面操作行为，操作过程简单方便，且不额外占用网络资源。
在本实施例中，响应用户触发指令，设置项目配置文档，得到配置参数，配置参数包括页面目录地址，传输接口地址和传输时间间隔；根据配置参数配置用户行为数据采集工具；用户可根据不同需求设置配置参数，以实现对用户行为操作数据的采集和上传；在保证有效采集用户行为操作数据的情况下，还能最大程度的节省资源。
在一实施例中，如图5所示，用户行为数据采集方法应用于客户端，在根据配置参数配置用户行为数据采集工具之后，以及在响应用户的页面操作行为之前，用户行为数据采集方法，还具体包括如下步骤：
S113：获取页面触发请求，页面触发请求包括采集页面地址。
当用户点击进入客户端的页面，在客户端的页面执行页面操作行为时，客户端会向服务端发送页面触发请求，其中，该页面触发请求携带有用户执行面操作行为所在页面的地址。采集页面地址可以为该页面对应的URL地址。
S114：采用用户行为数据采集工具判断采集页面地址对应的页面是否符合用户行为数据采集条件。
由于用户行为数据采集工具在采集用户行为数据过程中需要消耗一定的资源，因此，对于用户的无关紧要或者不需进行用户行为数据的页面，可通过预先在配置用户行为数据采集工具的过程中配置项目配置文档中的配置参数，来控制用户行为数据采集工具的数据采集/关闭功能。具体地，采用用户行为数据采集工具判断数据采集页面地址对应的页面是否符合页面操作数据采集条件包括：将数据采集页面地址与数据采集工具的项目配置文档的根目录下的页面目录地址进行匹配，若该采集页面地址与项目配置文档的根目录下的任意一页面目录地址相匹配，则判断得出该采集页面地址对应的页面符合用户行为数据采集条件；若该采集页面地址与项目配置文档的根目录下的任意一页面目录地址不匹配，则判断得出该采集页面地址对应的页面不符合用户行为数据采集条件。
S115：若采集页面地址对应的页面符合用户行为数据采集条件，则执行响应用户的页面操作行为的步骤。
具体地，若该采集页面地址对应的页面符合用户行为数据采集条件，则指示该页面为需要进行用户行为数据采集的页面，则执行响应用户的页面操作行为，生成用户操作指令的步骤。
在另一具体实施例中，若该采集页面地址对应的页面不符合用户行为数据采集条件，则不执行响应用户的页面操作行为，生成用户操作指令的步骤。
在本实施例中，获取页面触发请求，页面触发请求包括采集页面地址；采用用户行为数据采集工具判断采集页面地址对应的页面是否符合用户行为数据采集条件；若采集页面地址对应的页面符合用户行为数据采集条件，则执行响应用户的页面操作行为的步骤；从而可避免后续用户行为数据采集工具采集到无效的用户行为数据，提高监采集用户行为数据的效率。
在一实施例中，如图6所示，用户行为数据采集方法应用于服务端，在按照设定时间策略将用户行为数据发送至服务端之后，用户行为数据采集方法，还具体包括如下步骤：
S50：接收客户端发送的用户行为数据集，用户行为数据集包括N条用户行为数据，每一用户行为数据包括自定义属性和触发时间戳。
接收客户端发送的用户行为数据集。其中，用户行为数据集为指示用户在客户端页面的操作行为的数据集。用户行为数据集包括N条用户行为数据，每一用户行为数据包括自定义属性和触发时间戳。可以理解地，用户在客户端页面每执行一次页面操作行为即可生成一条用户行为数据，每一用户行为数据包括自定义属性和触发时间戳。其中，自定义属性为预先为客户端页面中的每一页面节点元素配置的属性标识。自定义属性可以由页面标识+唯一的随机标识组成，唯一的随机标识可以为数字、大小写字母等任意唯一标识。因此，客户端页面中的每一页面节点元素都具有唯一的自定义属性。触发时间戳为执行页面操作行为时的时间点。例如：用户在客户端页面的不同位置连续执行两次点击操作，则接收的用户行为数据包括两条用户行为数据，第一条用户行为数据包括用户执行第一次点击操作行为所对应的页面节点元素的自定义属性和执行第一次点击行为时的触发时间戳，第二条用户行为数据包括用户执行第二次点击操作行为所对应的页面节点元素的自定义属性和执行第二次点击行为时的触发时间戳。
S60：根据触发时间戳对用户行为数据集中的每一用户行为数据进行排序，生成用户行为数据序列。
由于触发时间戳为用户行为数据中执行对应的页面操作行为时的时间点，因此，根据触发时间戳对用户行为数据中的每一用户行为数据进行排序，即将用户行为数据中的每一用户行为数据按照触发时间戳的先后顺序排序，将触发时间戳较早的用户行为数据排在前，将触发时间戳较晚的用户行为数据排在后，生成用户行为数据序列。
S70：提取用户行为数据序列中每一自定义属性中的页面标识，基于页面标识在项目配置文档中进行匹配，确定每一用户行为数据对应的页面配置文件。
由于自定义属性是由页面标识+唯一的随机标识组成的，因此，可提取用户行为数据序列中每一自定义属性中的页面标识，作为每一自定义属性中对应的用户行为数据的页面标识；然后基于页面标识在预设的项目配置文档中进行匹配，确定每一用户行为数据对应的页面配置文件。在本实施例中，由于项目配置文档中包括有每一页面对应的页面地址和对应关联的页面配置文件，而组成自定义属性中的页面标识即为每一页面对应的页面地址。因此，可基于页面标识在项目配置文档中进行匹配，即将页面标识与项目配置文档中的每一页面地址进行匹配，将与页面标识匹配成功的页面地址所对应关联的页面配置文件确定为该页面标识所对应的用户行为数据的页面配置文件。
S80：根据每一用户行为数据的自定义属性，在对应的页面配置文件中进行定位查询，获取用户行为数据集中每一用户行为数据的文案标签数据。
在确定了每一用户行为数据的页面配置文件之后，根据每一用户行为数据的自定义属性，在对应的页面配置文件中定位到具体的页面节点元素(dom)。可以理解地，由于在本实施例中，每一页面节点元素都预先配置有唯一的自定义属性，因此可根据每一用户行为数据的自定义属性，在对应的页面配置文件中定位到对应的的页面节点元素(dom)。然后再通过定位的页面节点元素(dom)查找到与该页面节点元素(dom)关联的文案标签数据。相比较传统的用户行为数据采集方法在采集用户行为数据时会通过上报整个页面节点元素至服务端来定位用户具体的操作位置，本方案通过不上报具体的页面节点元素，只上传自定义属性(collect-id)，然后通过自定义属性(collect-id)反查出对应的页面节点元素的文案标签数据，页面节点元素的文案标签数据中不包含用户输入的敏感信息，从而达到了脱敏的目的。
在本实施例中，接收客户端发送的用户行为数据集，用户行为数据集包括N条用户行为数据，每一用户行为数据包括自定义属性和触发时间戳；根据触发时间戳对用户行为数据集中的每一用户行为数据进行排序，生成用户行为数据序列；提取用户行为数据序列中每一自定义属性中的页面标识，基于页面标识在项目配置文档中进行匹配，确定每一用户行为数据对应的页面配置文件；根据每一用户行为数据的自定义属性，在对应的页面配置文件中进行定位查询，获取用户行为数据集中每一用户行为数据的文案标签数据；通过反向查找页面节点元素的方式，从而定位到用户执行页面操作行为时的页面节点元素，由于与页面节点元素相关联的文案标签数据中不会包含有用户输入的敏感数据；从而实现了脱敏效果。
在一实施例中，如图7所示，用户行为数据采集方法应用于服务端，基于页面标识在所述项目配置文档中进行匹配，确定每一用户行为数据对应的页面配置文件，具体包括如下步骤：
S701：获取页面标识。
S702：将页面标识与项目配置文档中的每一页面地址进行匹配。
S703：将与页面标识相匹配的页面地址对应的页面配置文件，确定为页面标识对应的用户行为数据的页面配置文件。
在本实施例中，通过将获取的用户行为数据序列中每一自定义属性中的页面标识，与项目配置文档中的每一页面地址进行匹配，并将与页面标识相匹配的页面地址对应的页面配置文件，确定为页面标识对应的用户行为数据的页面配置文件，通过自定义属性即可查找到对应的页面配置文件，而不需要确定用户执行页面操作行为时的页面节点元素，从而避免了发生用户行为数据的泄露。
在一实施例中，用户行为数据采集方法应用于服务端，在获取用户行为数据集中每一用户行为数据的文案标签数据之后，用户行为数据采集方法，还具体包括如下步骤：
将用户行为数据集中每一用户行为数据的文案标签数据存储至区块链系统的区块链上。
其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
在本实施例中，在获取用户行为数据集中每一用户行为数据的文案标签数据之后，通过将获取的用户行为数据集中每一用户行为数据的文案标签数据存储至区块链系统的区块链上，从而进一步避免了数据的泄露风险，提高了数据的安全性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种用户行为数据采集装置，该用户行为数据采集装置与上述实施例中用户行为数据采集方法一一对应。如图8所示，该用户行为数据采集装置包括第一响应模块10、自定义属性获取模块20、用户行为数据生成模块30和发送模块40。各功能模块详细说明如下：
第一响应模块10，用于响应用户的页面操作行为，生成用户操作指令，所述用户操作指令包括页面操作行为的触发时间和触发位置；
自定义属性获取模块20，用于基于所述触发位置确定目标节点元素，获取所述目标节点元素的自定义属性；
用户行为数据生成模块30，用于将所述触发时间记录为所述目标节点元素的触发时间戳，并基于所述目标节点元素的所述自定义属性和所述触发时间戳生成用户行为数据；
发送模块40，用于按照设定时间策略将所述用户行为数据发送至服务端。
优选地，如图9所示，用户行为数据采集装置还包括：
项目配置文档获取模块11，用于获取项目配置文档，所述项目配置文档包括页面地址；
页面配置文件获取模块12，用于通过所述页面地址获取对应的页面配置文件；
遍历模块13，用于遍历所述页面配置文件中的页面节点元素，给所述页面配置文件中的每一页面节点元素赋予自定义属性。
优选地，用户行为数据采集装置还包括：
第二响应模块111，用于响应用户触发指令，设置项目配置文档，得到配置参数，所述配置参数包括页面地址、传输接口地址和传输时间间隔；
配置模块112，用于根据所述配置参数配置用户行为数据采集工具。
优选地，用户行为数据采集装置还包括：
页面触发请求获取模块，用于获取页面触发请求，所述页面触发请求包括采集页面地址；
判断模块，用于采用所述用户行为数据采集工具判断所述采集页面地址对应的页面是否符合用户行为数据采集条件；
执行模块，用于在所述采集页面地址对应的页面符合用户行为数据采集条件时，执行响应用户的页面操作行为的步骤。
优选地，用户行为数据采集装置还包括：
接收模块，用于接收客户端发送的用户行为数据集，所述用户行为数据集包括N条用户行为数据，每一所述用户行为数据包括自定义属性和触发时间戳；
排序模块，用于根据所述触发时间戳对所述用户行为数据集中的每一所述用户行为数据进行排序，生成用户行为数据序列；
提取模块，用于提取所述用户行为数据序列中每一所述自定义属性中的页面标识，基于所述页面标识在所述项目配置文档中进行匹配，确定每一所述用户行为数据对应的页面配置文件。定位查询模块，用于根据每一所述用户行为数据的所述自定义属性，在对应的所述页面配置文件中进行定位查询，获取所述用户行为数据集中每一所述用户行为数据的文案标签数据。
优选地，提取模块包括：
获取单元，用于获取所述页面标识；
匹配单元，用于将所述页面标识与所述项目配置文档中的每一页面地址进行匹配，
确定单元，将与所述页面标识相匹配的所述页面地址对应的页面配置文件，确定为所述页面标识对应的所述用户行为数据的页面配置文件。
关于用户行为数据采集装置的具体限定可以参见上文中对于用户行为数据采集方法的限定，在此不再赘述。上述用户行为数据采集装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机可读指令被处理器执行时以实现一种用户行为数据采集方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令，处理器执行计算机可读指令时实现上述用户行为数据采集方法中的实施例。
在一个实施例中，提供了一个或多个存储有计算机可读指令的计算机可读存储介质，本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时实现上述用户行为数据采集方法中的实施例。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于客户端，包括：
响应用户的页面操作行为，生成用户操作指令，所述用户操作指令包括页面操作行为的触发时间和触发位置；
基于所述触发位置确定目标节点元素，获取所述目标节点元素的自定义属性；
将所述触发时间记录为所述目标节点元素的触发时间戳，并基于所述目标节点元素的所述自定义属性和所述触发时间戳生成用户行为数据；
按照设定时间策略将所述用户行为数据发送至服务端。
2.如权利要求1所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于客户端，所述在响应用户的页面操作行为之前，所述用户行为数据采集方法还包括：
获取项目配置文档，所述项目配置文档包括页面地址；
通过所述页面地址获取对应的页面配置文件；
遍历所述页面配置文件中的页面节点元素，给所述页面配置文件中的每一页面节点元素赋予自定义属性。
3.如权利要求2所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于客户端，所述在获取项目配置文档之前，所述用户行为数据采集方法还包括：
响应用户触发指令，设置项目配置文档，得到配置参数，所述配置参数包括页面地址、传输接口地址和传输时间间隔；
根据所述配置参数配置用户行为数据采集工具。
4.如权利要求1所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于客户端，所述在根据所述配置参数配置用户行为数据采集工具之后，以及在响应用户的页面操作行为之前，所述用户行为数据采集方法还包括：
获取页面触发请求，所述页面触发请求包括采集页面地址；
采用所述用户行为数据采集工具判断所述采集页面地址对应的页面是否符合用户行为数据采集条件；
若所述采集页面地址对应的页面符合用户行为数据采集条件，则执行响应用户的页面操作行为的步骤。
5.如权利要求1所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于服务端，所述在按照设定时间策略将所述用户行为数据发送至服务端之后，所述用户行为数据采集方法还包括：
接收客户端发送的用户行为数据集，所述用户行为数据集包括N条用户行为数据，每一所述用户行为数据包括自定义属性和触发时间戳；
根据所述触发时间戳对所述用户行为数据集中的每一所述用户行为数据进行排序，生成用户行为数据序列；
提取所述用户行为数据序列中每一所述自定义属性中的页面标识，基于所述页面标识在所述项目配置文档中进行匹配，确定每一所述用户行为数据对应的页面配置文件。
根据每一所述用户行为数据的所述自定义属性，在对应的所述页面配置文件中进行定位查询，获取所述用户行为数据集中每一所述用户行为数据的文案标签数据。
6.如权利要求5所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于服务端，所述基于所述页面标识在所述项目配置文档中进行匹配，确定每一所述用户行为数据对应的页面配置文件，包括：
获取所述页面标识；
将所述页面标识与所述项目配置文档中的每一页面地址进行匹配；
将与所述页面标识相匹配的所述页面地址对应的页面配置文件，确定为所述页面标识对应的所述用户行为数据的页面配置文件。
7.如权利要求5所述的用户行为数据采集方法，其特征在于，所述用户行为数据采集方法应用于服务端，所述在获取所述用户行为数据集中每一所述用户行为数据的文案标签数据之后，所述用户行为数据采集方法还包括：
将所述用户行为数据集中每一所述用户行为数据的文案标签数据存储至区块链系统的区块链上。
8.一种用户行为数据采集装置，其特征在于，包括：
第一响应模块，用于响应用户的页面操作行为，生成用户操作指令，所述用户操作指令包括页面操作行为的触发时间和触发位置；
自定义属性获取模块，用于基于所述触发位置确定目标节点元素，获取所述目标节点元素的自定义属性；
用户行为数据生成模块，用于将所述触发时间记录为所述目标节点元素的触发时间戳，并基于所述目标节点元素的所述自定义属性和所述触发时间戳生成用户行为数据；
发送模块，用于按照设定时间策略将所述用户行为数据发送至服务端。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述用户行为数据采集方法。
10.一个或多个存储有计算机可读指令的可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至7中任一项所述用户行为数据采集方法。
CN202011484884.4A 2020-12-16 2020-12-16 用户行为数据采集方法、装置、计算机设备及存储介质 Pending CN112613067A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011484884.4A CN112613067A (zh) 2020-12-16 2020-12-16 用户行为数据采集方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011484884.4A CN112613067A (zh) 2020-12-16 2020-12-16 用户行为数据采集方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN112613067A true CN112613067A (zh) 2021-04-06

Family

ID=75239690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011484884.4A Pending CN112613067A (zh) 2020-12-16 2020-12-16 用户行为数据采集方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112613067A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094248A (zh) * 2021-04-28 2021-07-09 深圳市网旭科技有限公司 用户行为数据分析方法、装置、电子设备及介质
CN113342629A (zh) * 2021-06-08 2021-09-03 微民保险代理有限公司 操作轨迹还原方法、装置、计算机设备和存储介质
CN113377634A (zh) * 2021-05-25 2021-09-10 北京猿力教育科技有限公司 用于回溯用户操作的监听方法、用户操作回溯方法和设备
CN113886204A (zh) * 2021-09-29 2022-01-04 平安普惠企业管理有限公司 用户行为数据收集方法、装置、电子设备及可读存储介质
CN114398243A (zh) * 2021-12-21 2022-04-26 广州佰锐网络科技有限公司 一种关于用户操作轨迹的回溯方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113094248A (zh) * 2021-04-28 2021-07-09 深圳市网旭科技有限公司 用户行为数据分析方法、装置、电子设备及介质
CN113094248B (zh) * 2021-04-28 2023-04-25 深圳市网旭科技有限公司 用户行为数据分析方法、装置、电子设备及介质
CN113377634A (zh) * 2021-05-25 2021-09-10 北京猿力教育科技有限公司 用于回溯用户操作的监听方法、用户操作回溯方法和设备
CN113342629A (zh) * 2021-06-08 2021-09-03 微民保险代理有限公司 操作轨迹还原方法、装置、计算机设备和存储介质
CN113342629B (zh) * 2021-06-08 2023-03-07 微民保险代理有限公司 操作轨迹还原方法、装置、计算机设备和存储介质
CN113886204A (zh) * 2021-09-29 2022-01-04 平安普惠企业管理有限公司 用户行为数据收集方法、装置、电子设备及可读存储介质
CN114398243A (zh) * 2021-12-21 2022-04-26 广州佰锐网络科技有限公司 一种关于用户操作轨迹的回溯方法及系统

Similar Documents

Publication Publication Date Title
CN112613067A (zh) 用户行为数据采集方法、装置、计算机设备及存储介质
CN108304498B (zh) 网页数据采集方法、装置、计算机设备和存储介质
CN110535971B (zh) 基于区块链的接口配置处理方法、装置、设备及存储介质
CN112540811B (zh) 缓存数据的检测方法、装置、计算机设备和存储介质
CN110688598B (zh) 业务参数采集方法、装置、计算机设备和存储介质
CN111310427A (zh) 业务数据配置处理方法、装置、计算机设备和存储介质
CN111737963B (zh) 基于配置文件的表单填写方法、装置和计算机设备
CN113326081A (zh) 静态资源的处理方法、装置、计算机设备和存储介质
US20070078841A1 (en) System and method for network resource management
CN110597541B (zh) 基于区块链的接口更新处理方法、装置、设备及存储介质
CN113918526A (zh) 日志处理方法、装置、计算机设备和存储介质
CN112017007A (zh) 用户行为数据的处理方法及装置、计算机设备、存储介质
CN112668041A (zh) 单证文件的生成方法、装置、计算机设备和存储介质
CN112394908A (zh) 埋点页面自动生成的方法、装置、计算机设备及存储介质
CN112380286B (zh) 数据库的数据对象关系图谱生成方法、装置、设备及介质
CN111488394A (zh) 一种数据导入方法、装置、计算机设备及存储介质
CN112069384A (zh) 一种埋点数据处理方法、服务器及可读存储介质
CN114090408A (zh) 数据监控分析方法、装置、计算机设备和存储介质
CN114840387A (zh) 微服务监控方法、装置、计算机设备和存储介质
CN111222153B (zh) 应用程序权限管理方法、装置和存储介质
CN114996675A (zh) 数据查询方法、装置、计算机设备及存储介质
CN112650659B (zh) 埋点设置方法、装置、计算机设备和存储介质
CN111597422A (zh) 埋点映射方法、装置、计算机设备和存储介质
CN110598475A (zh) 基于区块链的作品属性信息获取方法、装置和计算机设备
CN112632432B (zh) 基于终端的页面刷新方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination