CN113489766A - 客户端行为的采集与视频回溯方法、系统、设备及介质 - Google Patents

客户端行为的采集与视频回溯方法、系统、设备及介质 Download PDF

Info

Publication number
CN113489766A
CN113489766A CN202110717894.6A CN202110717894A CN113489766A CN 113489766 A CN113489766 A CN 113489766A CN 202110717894 A CN202110717894 A CN 202110717894A CN 113489766 A CN113489766 A CN 113489766A
Authority
CN
China
Prior art keywords
user behavior
behavior data
video
backtracking
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110717894.6A
Other languages
English (en)
Inventor
陈佳立
杨佳玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Pudong Development Bank Co Ltd
Original Assignee
Shanghai Pudong Development Bank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Pudong Development Bank Co Ltd filed Critical Shanghai Pudong Development Bank Co Ltd
Priority to CN202110717894.6A priority Critical patent/CN113489766A/zh
Publication of CN113489766A publication Critical patent/CN113489766A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/02—Network architectures or network communication protocols for network security for separating internal from external traffic, e.g. firewalls
    • H04L63/0281—Proxies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/12—Applying verification of the received information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及一种客户端行为的采集与视频回溯方法、系统、设备及介质，所述的方法包括S1：获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据；S2：将用户行为数据存储在内网存储区中；S3：获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据；S4：将用户行为数据进行视频组装，获取回溯视频。与现有技术相比，本发明能够提供有效的客户端行为回溯视频，保证数据的完整性，更有表现力和证明力。

Description

客户端行为的采集与视频回溯方法、系统、设备及介质
技术领域
本发明涉及计算机数据处理领域，尤其是涉及一种客户端行为的采集与视频回溯方法、系统、设备及介质。
背景技术
随着互联网金融领域客户端的发展需求，通常需要对客户端的行为进行采集和行为追溯。目前客户端用户行为采集通常通过埋点形式，即页面通过html、javascript等语言进行埋点，用户行为触发客户端埋点后，通过http异步请求，以文本形式发送至服务端完成数据采集，服务端完成数据清洗处理后，通过可视化报表或其他形式进行用户行为展示。客户端行为回溯主要是通过上述埋点方法完成数据采集后，以报表、日志等形式进行展示分析，用以追溯用户行为操作记录。
现有技术可以满足常规数据分析需求，但是对于客户端交易系统，一旦产生争议，通过日志、报表等形式的记录可能出现不完备、缺失，以及证明力、表现力不足等缺陷。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种客户端行为的采集与视频回溯方法、系统、设备及介质。
本发明的目的可以通过以下技术方案来实现：
一种客户端行为的采集与视频回溯方法，包括以下步骤：
S1：获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据；
S2：将用户行为数据存储在内网存储区中；
S3：获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据；
S4：将用户行为数据进行视频组装，获取回溯视频。
优选地，所述的步骤S1中采用rrweb组件将前端用户操作行为生成操作流并将用户行为转换为文本形式的数据，获取用户行为数据。
优选地，所述的步骤S1中获取用户行为数据后，判断用户行为数据的完整性，若完整进入步骤S2，否则返回步骤S1。
优选地，所述的步骤S2具体包括：
S21：将用户行为数据存入Kafka集群；
S22：利用数据采集模块将Kafka集群中的数据写入内网存储区。
优选地，所述的内网储存区中包括存储检索模块和备份存储模块，所述的存储检索模块存储用户行为数据，并提供检索引擎进行检索，所述的备存存储模块中以存储检索模块的数据格式存储用户行为数据用于备份。
优选地，所述的用户行为数据的内容包括订单号、证件号、操作流、开始时间、结束时间、插入时间、页面url和进入页面时间。
优选地，所述的步骤S3具体包括：
S31：获取溯源请求，其中包括需要进行视频回溯的操作流；
S32：从内网存储区中匹配并获取操作流对应的所有用户行为数据。
优选地，所述的步骤S4中采用rrweb组件对用户行为数据进行视频组装。
一种客户端行为的采集与视频回溯系统，包括用户行为数据获取模块、内网存储区、搜索模块、视频组装模块，
所述的用户行为数据获取模块获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据，
所述的内网存储区用于存储用户行为数据，
所述的搜索模块获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据
所述的视频组装模块将用户行为数据进行视频组装，获取回溯视频。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种客户端行为的采集与视频回溯方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种客户端行为的采集与视频回溯方法的步骤。
与现有技术相比，本发明具有如下优点：
(1)本发明利用rrweb组件对客户端的用户行为数据进行采集，并进行数据的完整储存，根据溯源请求基于rrweb组件将用户行为数据组装回溯视频，能够对用户的客户端行为进行记录，进行视频形式的回溯，数据记录完整，证明力和表现力强。
(2)本发明利用存储检索模块和备份存储模块实现对用户行为数据的双重存储，如果存储检索模块和出现数据丢失，可以直接将备份存储模块中的数据写入存储检索模块，提高用户数据存储的稳定性和可靠性，进一步提高回溯视频的证明力；
(3)本发明的用户行为数据包括订单号、证件号、操作流等内容，基于操作流数据对用户行为数据进行匹配、回溯，数据完整性好，匹配效率高，视频生成效率高。
附图说明
图1为本发明的流程图。
图2为本发明实施例中的具体实施流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明并不限定于以下的实施方式。
实施例
一种客户端行为的采集与视频回溯方法，如1所示，包括以下步骤：
(1)获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据。
如图2为本实施例中本发明的流程，本方法通过在用户客户端如手机客户端页面引入rrweb组件，rrweb组件生成用户操作行为的操作流，并将用户行为转换为json文本形式，发送至Web服务区域的Nginx代理模块，Nginx代理模块用于拦截非法请求，将合法请求透传至其他应用服务。
本实施例中获取的用户行为数据包括：a.订单号(交易业务的订单流水编号，可选)；b.证件号(行为主体的个人身份识别信息，可脱敏)；c.操作流id(主键)；d.开始时间(用户操作开始时间)；e.结束时间(用户操作结束时间)；f.插入时间(服务端接收到前端请求的时间)；g.渠道(拓展字段，用于根据不同渠道存入Kafka不同的topic)；h.rrweb版本号(用于在管理台视频回溯时，根据rrweb组件记录信息时的版本，进行还原的兼容)；i.页面url(记录前端操作页面的url)；j.进入页面时间(记录用户进入需要录屏的页面的时间)。
本实施例中，步骤(1)中获取用户行为数据后，先判断用户行为数据的完整性，若完整进入步骤(2)，否则报错或重新采集。
(2)将用户行为数据存储在内网存储区中。
Nginx代理过滤非法请求，并透传合法请求至App区域溯源服务，将获取的用户行为数据，写入Kafka集群中。本实施例中提供溯源服务模块，根据用户行为对象中的不同渠道发送kafka不同topic的方法，将Nginx透传的请求写入对应的kafkatopic，使用zookeeper对Kafka集群所有的broker进行管理；本实施例利用Logstash服务将Kafka集群中的用户行为数据写入内网存储区。
内网储存区中包括存储检索模块和备份存储模块，存储检索模块存储用户行为数据，并提供检索引擎进行检索，备份存储模块中以存储检索模块的数据格式存储用户行为数据用于备份。
本实施例中的存储检索模块为ElasticSearch集群，储存用户行为数据并提供检索引擎。备份存储模块以ElasticSearch的数据格式存储用户数据格式存储用户行为数据用于备份。
本实施例中的备份存储模块对用户行为数据进行异地备份，并在ElasticSearch发生数据灾难时，通过内网服务区域Logstash服务将备份数据写入ElasticSearch进行恢复。
(3)获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据。
选择进行视频回溯的视频的操作流id，利用ElasticSearch集群查询匹配并获取操作流id的所有用户行为数据。
本实施例中的Kafka集群启用ack机制，接收到溯源服务的请求并落地成功后，将响应发送至溯源服务。当Kafka集群开启ack机制时，kafka明确处理完请求后会向请求方发送ack响应，业务流程中可以根据ack响应判断用户行为数据是否记录成功，从而决定业务流程的下一步操作。为保障用户行为数据不丢失，获取用户行为数据->记录用户行为数据成功->下一步业务操作应当是串行的，从而避免管理台视频回溯时出现因行为数据丢失导致的视频缺失。
(4)将用户行为数据进行视频组装，获取回溯视频。
引入rrweb组件，使用rrweb组件将该操作流id对应的所有用户行为数据组装呈视频，获取回溯视频。
一种客户端行为的采集与视频回溯系统，包括用户行为数据获取模块、内网存储区、搜索模块、视频组装模块，用户行为数据获取模块获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据，内网存储区用于存储用户行为数据，搜索模块获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据，视频组装模块将用户行为数据进行视频组装，获取回溯视频。
本实施例中的各步骤串行执行，如出现数据缺失、报错等停止服务，保障视频回溯的完整性与准确性。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述一种客户端行为的采集与视频回溯方法的步骤。
一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种客户端行为的采集与视频回溯方法的步骤。上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变更。

Claims (10)

1.一种客户端行为的采集与视频回溯方法，其特征在于，包括以下步骤：
S1：获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据；
S2：将用户行为数据存储在内网存储区中；
S3：获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据；
S4：将用户行为数据进行视频组装，获取回溯视频。
2.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的步骤S1中采用rrweb组件将前端用户操作行为生成操作流并将用户行为转换为文本形式的数据，获取用户行为数据。
3.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的步骤S2具体包括：
S21：将用户行为数据存入Kafka集群；
S22：利用数据采集模块将Kafka集群中的数据写入内网存储区。
4.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的内网储存区中包括存储检索模块和备份存储模块，所述的存储检索模块存储用户行为数据，并提供检索引擎进行检索，所述的备存存储模块中以存储检索模块的数据格式存储用户行为数据用于备份。
5.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的用户行为数据的内容包括订单号、证件号、操作流、开始时间、结束时间、插入时间、页面url和进入页面时间。
6.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的步骤S3具体包括：
S31：获取溯源请求，其中包括需要进行视频回溯的操作流；
S32：从内网存储区中匹配并获取操作流对应的所有用户行为数据。
7.根据权利要求1所述的一种客户端行为的采集与视频回溯方法，其特征在于，所述的步骤S4中采用rrweb组件对用户行为数据进行视频组装。
8.一种客户端行为的采集与视频回溯系统，其特征在于，包括用户行为数据获取模块、内网存储区、搜索模块、视频组装模块，
所述的用户行为数据获取模块获取客户端的前端用户操作行为并进行文本转化，获取用户行为数据，
所述的内网存储区用于存储用户行为数据，
所述的搜索模块获取溯源请求，根据溯源请求从内网储存区中获取对应的用户行为数据，
所述的视频组装模块将用户行为数据进行视频组装，获取回溯视频。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110717894.6A 2021-06-28 2021-06-28 客户端行为的采集与视频回溯方法、系统、设备及介质 Pending CN113489766A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110717894.6A CN113489766A (zh) 2021-06-28 2021-06-28 客户端行为的采集与视频回溯方法、系统、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717894.6A CN113489766A (zh) 2021-06-28 2021-06-28 客户端行为的采集与视频回溯方法、系统、设备及介质

Publications (1)

Publication Number Publication Date
CN113489766A true CN113489766A (zh) 2021-10-08

Family

ID=77936169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717894.6A Pending CN113489766A (zh) 2021-06-28 2021-06-28 客户端行为的采集与视频回溯方法、系统、设备及介质

Country Status (1)

Country Link
CN (1) CN113489766A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149361A (zh) * 2019-04-02 2019-08-20 众安信息技术服务有限公司 一种互联网业务操作过程回溯方法、系统以及装置
CN112241506A (zh) * 2020-12-11 2021-01-19 支付宝(杭州)信息技术有限公司 用户行为的回溯方法、装置、设备及系统
CN112445757A (zh) * 2020-09-08 2021-03-05 微民保险代理有限公司 可视化日志存储和回溯方法、装置和计算机设备
CN112527748A (zh) * 2020-12-24 2021-03-19 北京百度网讯科技有限公司 用于分析用户操作行为的方法、装置、设备以及存储介质
CN112685672A (zh) * 2020-12-24 2021-04-20 京东数字科技控股股份有限公司 页面会话行为轨迹的回溯方法、装置及电子设备
CN112788270A (zh) * 2020-12-31 2021-05-11 平安养老保险股份有限公司 视频回溯方法、装置、计算机设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149361A (zh) * 2019-04-02 2019-08-20 众安信息技术服务有限公司 一种互联网业务操作过程回溯方法、系统以及装置
CN112445757A (zh) * 2020-09-08 2021-03-05 微民保险代理有限公司 可视化日志存储和回溯方法、装置和计算机设备
CN112241506A (zh) * 2020-12-11 2021-01-19 支付宝(杭州)信息技术有限公司 用户行为的回溯方法、装置、设备及系统
CN112527748A (zh) * 2020-12-24 2021-03-19 北京百度网讯科技有限公司 用于分析用户操作行为的方法、装置、设备以及存储介质
CN112685672A (zh) * 2020-12-24 2021-04-20 京东数字科技控股股份有限公司 页面会话行为轨迹的回溯方法、装置及电子设备
CN112788270A (zh) * 2020-12-31 2021-05-11 平安养老保险股份有限公司 视频回溯方法、装置、计算机设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
辛超等: "一种面向Chrome浏览器的视频云笔记插件", 《计算机科学》 *

Similar Documents

Publication Publication Date Title
CN111522922B (zh) 日志信息查询方法、装置、存储介质及计算机设备
CN109034993B (zh) 对账方法、设备、系统及计算机可读存储介质
CN107273267A (zh) 基于elastic组件的日志分析方法
CN102999314A (zh) 立即延迟跟踪器工具
CN106844204A (zh) 一种利用移动终端生成缺陷报告的方法及系统
CN112084249B (zh) 一种访问记录提取方法及装置
CN105119762A (zh) 云平台基于日志实现交易回放和重做的系统及方法
CN112486708B (zh) 页面操作数据的处理方法和处理系统
Sukumar et al. Review on modern Data Preprocessing techniques in Web usage mining (WUM)
CN108322350B (zh) 业务监控方法及装置和电子设备
CN108509326A (zh) 一种基于nginx日志的服务状态统计方法及系统
CN111061696A (zh) 一种交易报文日志的解析方法及装置
CN114692049A (zh) 基于浏览器的录屏方法及装置、电子设备、存储介质
CN115580607A (zh) 彩票系统链路监控方法、装置及系统
CN109165193B (zh) 日志数据的存储方法、装置、客户端及服务器
CN111198806A (zh) 一种基于服务开放平台的服务调用数据统计分析方法及系统
CN113760734A (zh) 一种数据准备方法及装置、设备、存储介质
CN117609174A (zh) 一种可读性操作日志记录系统及方法
CN113489766A (zh) 客户端行为的采集与视频回溯方法、系统、设备及介质
US7653742B1 (en) Defining and detecting network application business activities
CN111930385A (zh) 数据采集方法、装置、设备及存储介质
CN111352821A (zh) 业务测试方法、装置、电子设备和计算机可读存储介质
CN105227644A (zh) 项目文件生成方法及装置
CN116126808A (zh) 行为日志记录方法、装置、计算机设备和存储介质
KR101471522B1 (ko) 콘텐츠의 생성 및 소비에 기반한 개인 정보 제공 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211008

RJ01 Rejection of invention patent application after publication