CN113342825A - 埋点数据处理方法、装置、设备及计算机可读存储介质 - Google Patents

埋点数据处理方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113342825A
CN113342825A CN202110743109.4A CN202110743109A CN113342825A CN 113342825 A CN113342825 A CN 113342825A CN 202110743109 A CN202110743109 A CN 202110743109A CN 113342825 A CN113342825 A CN 113342825A
Authority
CN
China
Prior art keywords
channel
point data
user operation
starting point
buried
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110743109.4A
Other languages
English (en)
Inventor
程应洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110743109.4A priority Critical patent/CN113342825A/zh
Publication of CN113342825A publication Critical patent/CN113342825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2282Tablespace storage structures; Management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1448Management of the data involved in backup or backup restore

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及金融科技(Fintech)技术领域,公开了一种埋点数据处理方法、装置、设备及计算机可读存储介质,该方法包括:按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。本发明无需对埋点数据中的所有数据进行识别以及标识,减少了埋点数据的存储成本。

Description

埋点数据处理方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及金融科技(Fintech)技术领域,尤其涉及一种埋点数据处理方法、装置、设备及计算机可读存储介质。
背景技术
随着计算机技术的发展,越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域,传统金融业正在逐步向金融科技(Fintech)转变,但由于金融行业的安全性、实时性要求,也对埋点数据处理技术提出了更高的要求。
在数据统计领域,对埋点数据的处理通常比较简单,这是由于埋点数据属于日志类数据,没有状态的更新,且通常不用关联其他数据进行复杂计算,只需要进行简单的聚合运算。
随着埋点数据应用的越来越广,埋点数据变得越来越复杂,由原来简单的统计,变成分渠道、分流程的统计。比如,在银行开户的埋点数据中,每一个渠道的开户流程(包括新用户开户流程,存量用户开户流程,二类户开户流程,三类户开户流程等)大同小异,且同一个用户在一个渠道开户失败,可以去另一个渠道再试。而在埋点数据中,除了第一步知道埋点数据属于哪个渠道以及哪个流程,除了第一步之后的每一步都不知道属于哪个渠道以及哪个流程,也就是说,埋点数据中无法知道每一步来源于哪个渠道以及哪个流程。
现有的解决方法通常是系统提前给埋点数据中每一步打上渠道标记和流程标记,以根据埋点数据可以知道埋点数据其中的每一步来源于哪个渠道以及哪个流程。但是,这样一来现有的系统就得改造,并且这种提前给埋点数据中每一步打上渠道标记和流程标记的方式需要存储额外的标记,增加了额外的存储成本。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种埋点数据处理方法、装置、设备及计算机可读存储介质,旨在解决现有的埋点数据处理方式的存储成本高的技术问题。
为实现上述目的,本发明提供一种埋点数据处理方法,所述埋点数据处理方法包括以下步骤:
按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
可选地,所述根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤包括:
根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记;
获取目标用户操作对应的埋点数据;
根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道。
可选地,所述根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记的步骤包括:
按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号;
提取所述埋点数据的渠道起点,得到目标埋点数据,并按照时间顺序,将所述目标埋点数据打上序列号,得到渠道起点序列号;
将标记了所述起点序列号的目标埋点数据进行备份,得到与所述目标埋点数据相同的临时埋点数据,其中,所述临时埋点数据标记了与所述起点序列号相同的临时序列号;
确定增加预设值后的临时序列号对应的用户操作第一序列号,其中,所述预设值为相邻的两个渠道起点对应的起点序列号之间的差值;
确定所述起点序列号对应的用户操作第二序列号;
将所述用户操作第一序列号对应的渠道起点标记作为与所述用户操作第二序列号对应的渠道起点标记相对应的渠道终点标记。
可选地,所述根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤包括:
根据所述渠道起点标记以及所述渠道终点标记,确定所述目标用户操作对应的埋点数据所对应的目标渠道起点标记和目标渠道终点标记;
基于所述目标渠道起点标记和所述目标渠道终点标记,确定所述目标用户操作所属的渠道。
可选地,所述按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号的步骤包括:
从数据库中获取开窗函数,并设置所述开窗函数的函数参数;
通过所述开窗函数,按照时间顺序将所述埋点数据打上序列号,得到用户操作序列号。
可选地,所述根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点的步骤包括:
若所述埋点数据中记录的用户操作行为信息包含渠道来源信息,则将包含所述渠道来源信息对应的埋点数据作为渠道起点,并筛选出所述埋点数据中的渠道起点;和/或,
若所述埋点数据中记录的用户操作行为信息包含流程起点信息,则将包含所述流程起点信息对应的埋点数据作为流程起点,并筛选出所述埋点数据中的流程起点。
可选地,所述根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤之后,还包括:
根据所述目标用户操作所属的渠道,确定所述目标用户操作对应的用户操作结果;
根据所述用户操作结果,统计所述用户操作在所属的渠道的转化率。
此外,为实现上述目的,本发明还提供一种埋点数据处理装置,所述埋点数据处理装置包括:
记录模块,用于按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
筛选模块,用于根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
渠道确定模块,用于根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
流程确定模块,用于根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
此外,为实现上述目的,本发明还提供一种埋点数据处理设备,所述埋点数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的埋点数据处理程序,所述埋点数据处理程序被所述处理器执行时实现如上述的埋点数据处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有埋点数据处理程序,所述埋点数据处理程序被处理器执行时实现如上述的埋点数据处理方法的步骤。
本发明通过按照用户操作触发的时间顺序,通过按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。本发明中,通过对埋点数据中的渠道起点和/或流程起点进行标记,以通过渠道起点标记将埋点数据分成了不同渠道的埋点数据,和/或,通过流程起点标记将埋点数据分成了不同流程的埋点数据,因此根据渠道起点标记和目标用户操作对应的埋点数据,能够确定目标用户操作所属渠道,和/或,根据流程起点标记和目标用户操作对应的埋点数据,能够确定目标用户操作所属流程,因此对埋点数据中的渠道起点和/或流程起点进行标记即可,无需对埋点数据中的所有数据进行识别以及标识,减少了埋点数据的存储成本,以及减少了埋点数据处理的计算成本。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的埋点数据处理设备结构示意图;
图2为本发明埋点数据处理方法第一实施例的流程示意图;
图3为本发明埋点数据处理方法第二实施例的流程示意图;
图4为本发明埋点数据处理装置一实施例的系统结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的埋点数据处理设备结构示意图。
本发明实施例埋点数据处理设备可以是PC,也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示,该埋点数据处理设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,埋点数据处理设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。
本领域技术人员可以理解,图1中示出的埋点数据处理设备结构并不构成对埋点数据处理设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及埋点数据处理程序。
在图1所示的埋点数据处理设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的埋点数据处理程序,并执行本发明实施例提供的埋点数据处理方法。
本发明还提供一种埋点数据处理方法,参照图2,图2为本发明埋点数据处理方法第一实施例的流程示意图。
在本实施例中,该埋点数据处理方法包括以下步骤:
步骤S10,按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
在本实施例中,用户可以通过本系统触发系列的用户操作,以实现特定的任务流程,且通过本系统可以实现不同类型的任务流程,且可以通过不同的渠道进入本系统执行不同类型的任务流程。例如,任务流程可以是开户流程,且开户流程包括不同类型的开户流程,例如开户流程可以包括新用户开户流程,存量用户开户流程,二类户开户流程,三类户开户流程等。因此,需要记录在本系统触发用户操作时产生的埋点数据,以供后续对埋点数据进行处理,以根据埋点数据,能够知道埋点数据中每一步用户操作所属的渠道和流程,即知道埋点数据中每一步用户操作来源于哪个渠道以及来源哪个流程。
当用户在本系统触发用户操作时,按照用户触发的时间顺序记录该用户在本系统所触发的用户操作对应的埋点数据。进一步地,可以通过用户操作对应的页面ID来记录用户在本系统所触发的用户操作,埋点数据包含用户操作对应的页面ID,页面ID为用户操作对应的用户操作页面的编号。
步骤S20,根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
在本实施例中,得到埋点数据之后,在埋点数据中,根据埋点数据中记录的用户操作行为信息,筛选出埋点数据中的渠道起点和/或流程起点;之后,将埋点数据中的各渠道起点打上渠道起点标记,和/或将流程起点打上流程起点标记,得到标记了渠道起点标记和/或流程起点标记的埋点数据。本实施例中确定埋点数据中的渠道起点后对埋点数据的渠道起点进行标记,以及在确定埋点数据中的流程起点后对埋点数据的流程起点进行标记,以供后续根据埋点数据对应的渠道起点标记和流程起点标记,可以从埋点数据中快速定位到埋点数据中的渠道起点和流程起点。其中,用户操作行为信息包含埋点数据中所记录的所有的用户操作的行为特征。
本实施例中通过将渠道起点打上渠道起点标记,能够根据渠道起点标记分辨出埋点数据所属的渠道,这是因为用户有可能中途退出,从另一个渠道重新进入本系统,因此标记要打在第一步进来对应的用户操作对应的埋点数据,方便后边的辨别;以及通过将流程起点打上流程起点标记,能够根据流程起点标记分辨出埋点数据所属的流程,这是因为用户有可能中途从一个任务流程换至另一个任务流程,因此通过确定埋点数据中的流程起点并将流程起点进行标记,以方便后边的辨别。
进一步地,所述步骤S20包括:
步骤S21,若所述埋点数据中记录的用户操作行为信息包含渠道来源信息,则将包含所述渠道来源信息对应的埋点数据作为渠道起点,并筛选出所述埋点数据中的渠道起点;和/或,
步骤S22,若所述埋点数据中记录的用户操作行为信息包含流程起点信息,则将包含所述流程起点信息对应的埋点数据作为流程起点,并筛选出所述埋点数据中的流程起点。
在本实施例中,筛选埋点数据中的渠道起点的步骤具体为:获取渠道来源信息,根据渠道来源信息对埋点数据进行筛选渠道起点,若埋点数据中记录的用户操作行为信息包含渠道来源信息,则将包含渠道来源信息对应的埋点数据作为渠道起点。其中,可以通过本系统对应的数据库来获取渠道起点对应的渠道来源信息。若通过小程序进入本系统,则该渠道起点对应的渠道来源为小程序;若通过公众号进入本系统,则该渠道起点对应的渠道来源为公众号,将该渠道起点对应的渠道来源标记为公众号;或者,若通过合作方广告渠道进入本系统,则该渠道起点对应的渠道来源为合作方广告渠道,将该渠道起点对应的渠道来源标记为合作方广告渠道。
筛选埋点数据中的流程起点的步骤具体为:获取流程来源信息,根据流程来源信息对埋点数据进行筛选流程起点,若埋点数据中记录的用户操作行为信息包含流程起点信息,则将包含流程起点信息对应的埋点数据作为流程起点。通过流程起点信息所包含的用户操作特征来在埋点数据筛选出流程起点。
步骤S30,根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
在本实施例中,在确定埋点数据中的各渠道起点,并标记渠道起点后,能够得到埋点数据中的所有渠道起点,根据埋点数据中渠道起点标记,确定用户操作所属的渠道。需要说明的是,由于埋点数据中标志了各个渠道起点,也就是说,埋点数据被渠道起点标记分成了不同渠道的埋点数据,因此,根据渠道起点标记和目标用户操作对应的埋点数据,可以确定目标用户操作所属的渠道。
步骤S40,根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
在本实施例中,在确定埋点数据中的各流程起点,并标记流程起点后,能够得到埋点数据中的所有流程起点,根据埋点数据中流程起点标记,确定目标用户操作对应的埋点数据所属的流程。需要说明的是,由于埋点数据中标志了各个流程起点,也就是说,埋点数据被流程起点标记分成了不同流程的埋点数据,因此,根据流程起点标记和目标用户操作对应的埋点数据,可以确定目标用户操作所属的流程。
需要说明的是,现有技术中通常解决方法是系统提前给对埋点数据中的每一步操作均打上渠道标记和流程标记,也就是说,现有技术中系统需要在用户操作时识别用户操作并给每一步用户操作打上其所来源于何种渠道对应的渠道标记和所属何种流程对应的流程标记,使得所产生的埋点数据的每一条操作日志均打上渠道标记和流程标记,以此来识别到埋点数据中操作日志对应的用户操作所属于哪个流程或者哪个渠道,但是通常大多系统均没有对用户操作进行标识的功能,现有技术还需要通过改造系统,才能使得现有技术具备标识的功能,而通常改造系统对于金融领域来说风险极大,导致系统不稳定以及容易遭受攻击等。
另外,现有的方案中,由于系统需要在用户操作时识别用户操作并给每一步用户操作打上其所来源于何种渠道对应的渠道标记和所属何种流程对应的流程标记,所以,每一步都要进行判断,必然的,线上接口的设计就需要加上判断功能,而从底层结构来看,必然需要对接口进行改造,导致成本高,整体的流程也更加复杂耗时。
本实施例提出的埋点数据处理方法,通过对埋点数据中的渠道起点和/或流程起点进行标记,以通过渠道起点标记将埋点数据分成了不同渠道的埋点数据,和/或,通过流程起点标记将埋点数据分成了不同流程的埋点数据,因此根据渠道起点标记和目标用户操作对应的埋点数据,能够确定目标用户操作所属渠道,和/或,根据流程起点标记和目标用户操作对应的埋点数据,能够确定目标用户操作所属流程。与现有技术不同的是,本发明仅需获取本系统所产生的埋点数据,并对埋点数据中的渠道起点和/或流程起点进行标记即可,无需通过改造系统来使系统对埋点数据中的所有数据进行识别以及标识,也无需对埋点数据中的每一个用户操作对应的埋点数据进行标识,也无需存储额外的标识,不仅减少了埋点数据的存储成本,减少改造系统的风险,还减少了埋点数据处理的计算成本。此外,也降低了线上接口改造成本高的问题,并且整体的埋点数据处理流程更加简洁高效。
基于第一实施例,提出本发明埋点数据处理方法的第二实施例,参照图3,在本实施例中,步骤S30包括:
步骤S31,根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记;
步骤S32,获取目标用户操作对应的埋点数据;
步骤S33,根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道。
在本实施例中,在对埋点数据标记渠道起点后,首先根据渠道起点标记,确定与渠道起点标记对应的渠道终点标记,其中,需要说明的是,若埋点数据落在该渠道起点标记和与该渠道起点标记对应的渠道终点标记之间,则该埋点数据对应的用户操作属于该渠道起点标记对应的渠道,也就是说,渠道终点标记和渠道起点标记分别为与其对应的渠道的起点和终点的标记。之后,获取目标用户操作对应的埋点数据,并根据渠道起点标记、渠道终点标记和目标用户操作对应的埋点数据,确定目标用户操作所属的渠道。需要说明的是,由于埋点数据中标志了各个渠道起点,也就是说,埋点数据被渠道起点标记分成了不同渠道的埋点数据,而一个渠道的起点也是其对应的上一个渠道的终点,因此,根据渠道起点标记可以确定与其对应的渠道终点标记,从而根据各渠道起点标记和与各渠道起点标记对应的渠道终点标记,能够确定埋点数据中的目标用户操作所属的渠道。
本实施例中在标记渠道起点标记后,通过根据渠道起点标记确定与该渠道起点标记对应的渠道终点标记,能够根据渠道起点标记和与该渠道起点标记对应的渠道终点标记,来确定埋点数据中目标用户操作对应的目标渠道起点标记和目标渠道起点标记,从而能够确定埋点数据中所有用户操作所属渠道,无需对埋点数据中的所有数据进行识别以及标识,减少了埋点数据的存储成本,以及减少了埋点数据处理的计算成本。
进一步地,所述步骤S31包括:
步骤S311,按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号;
步骤S312,提取所述埋点数据的渠道起点,得到目标埋点数据,并按照时间顺序,将所述目标埋点数据打上序列号,得到渠道起点序列号;
步骤S313,将标记了所述起点序列号的目标埋点数据进行备份,得到与所述目标埋点数据相同的临时埋点数据,其中,所述临时埋点数据标记了与所述起点序列号相同的临时序列号;
步骤S314,确定增加预设值后的临时序列号对应的用户操作第一序列号,其中,所述预设值为相邻的两个渠道起点对应的起点序列号之间的差值;
步骤S315,确定所述起点序列号对应的用户操作第二序列号;
步骤S316,将所述用户操作第一序列号对应的渠道起点标记作为与所述用户操作第二序列号对应的渠道起点标记相对应的渠道终点标记。
在本实施例中,根据渠道起点标记,确定与渠道起点标记对应的渠道终点标记的具体步骤为:按照时间顺序,先将埋点数据打上序列号,得到用户操作序列号;之后,单独取出渠道起点标记对应的埋点数据,并将取出的渠道起点标记对应的埋点数据作为目标埋点数据;按照目标埋点数据对应的用户操作对应的触发的时间顺序,将目标埋点数据打上序列号,也就是将渠道起点打上序列号,得到渠道起点序列号以及标记了渠道起点序列号的目标埋点数据,需要说明的是,对单独提取出来的渠道起点进行标记,以便于后续对所有的渠道起点确定其对应的渠道终点。
将标记了起点序列号的目标埋点数据进行备份,得到与目标埋点数据相同的临时埋点数据,其中,临时埋点数据标记了与起点序列号相同的临时序列号。之后,将增加预设值后的临时序列号对应的渠道起点标记与起点序列号对应的渠道起点标记进行关联,其中,预设值为相邻的两个渠道起点对应的起点序列号之间的差值:确定增加预设值后的临时序列号对应的用户操作第一序列号,以及确定起点序列号对应的用户操作第二序列号,再将用户操作第一序列号对应的渠道起点标记作为与用户操作第二序列号对应的渠道起点标记相对应的渠道终点标记,将渠道起点和与其对应的下一个渠道起点进行关联,从而实现将埋点数据中的渠道起点和与其对应的渠道起点关联起来,能够根据渠道起点确定与其对应的渠道终点。
进一步地,若相邻的起点序列号之间的差值为1,则预设值为1。
进一步地,所述步骤S33包括:
步骤S331,根据所述渠道起点标记以及所述渠道终点标记,确定所述目标用户操作对应的埋点数据所对应的目标渠道起点标记和目标渠道终点标记;
步骤S332,基于所述目标渠道起点标记和所述目标渠道终点标记,确定所述目标用户操作所属的渠道。
在对埋点数据标记渠道起点后,首先根据渠道起点标记,确定与渠道起点标记对应的渠道终点标记;之后,获取目标用户操作对应的埋点数据,并根据渠道起点标记、渠道终点标记和目标用户操作对应的埋点数据,确定目标用户操作所对应的目标渠道起点标记和目标渠道终点标记;根据目标用户操作对应的目标渠道起点标记和目标渠道终点标记,确定目标用户操作所属的渠道。
进一步地,所述步骤S311包括:
步骤S3111,从数据库中获取开窗函数,并设置所述开窗函数的函数参数;
步骤S3112,通过所述开窗函数,按照时间顺序将所述埋点数据打上序列号,得到用户操作序列号。
在本实施例中,可以通过数据库的开窗函数将埋点数据打上序列号。具体地,从本系统对应的数据库中获取开窗函数,并根据预设标记规则设置开窗函数的函数参数,以供后续根据开窗函数将埋点数据打上序列号,得到用户操作序列号。
进一步地,所述步骤S40之后,还包括:
步骤S50,根据所述目标用户操作所属的渠道,确定所述目标用户操作对应的用户操作结果;
步骤S60,根据所述用户操作结果,统计所述用户操作在所属的渠道的转化率。
在本实施例中,在确定目标用户操作所属渠道后,根据目标用户操作所属渠道对应的渠道终点,确定埋点数据中各渠道的用户操作结果。若目标用户操作所属渠道对应的渠道终点对应的终点页面为结束页面,则目标用户操作对应的用户操作结果为执行成功;若目标用户操作所属渠道对应的渠道终点对应的终点页面不属于结束页面,则目标用户操作对应的用户操作结果为执行失败。之后,可以根据渠道流程的用户操作结果,来统计目标用户操作在该渠道的转化率。
本实施例通过计算目标用户操作在该渠道的转化率,来分析各个渠道进入本系统的可靠度。
另外,需要说明的是,本发明实施例的技术方案,由于不用每一条日志都打上渠道流程标签,那么后续在进行数据存储和数据传输时,尤其是在海量数据的场景下,可以明显减少了存储空间的耗费,也提升了数据传输的效率。
此外,本发明实施例还提出一种埋点数据处理装置,参照图4,所述埋点数据处理装置包括:
记录模块100,用于按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
筛选模块200,用于根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
渠道确定模块300,用于根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
流程确定模块400,用于根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
进一步地,所述渠道确定模块还用于:
根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记;
获取目标用户操作对应的埋点数据;
根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道。
进一步地,所述渠道确定模块还用于:
按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号;
提取所述埋点数据的渠道起点,得到目标埋点数据,并按照时间顺序,将所述目标埋点数据打上序列号,得到渠道起点序列号;
将标记了所述起点序列号的目标埋点数据进行备份,得到与所述目标埋点数据相同的临时埋点数据,其中,所述临时埋点数据标记了与所述起点序列号相同的临时序列号;
确定增加预设值后的临时序列号对应的用户操作第一序列号,其中,所述预设值为相邻的两个渠道起点对应的起点序列号之间的差值;
确定所述起点序列号对应的用户操作第二序列号;
将所述用户操作第一序列号对应的渠道起点标记作为与所述用户操作第二序列号对应的渠道起点标记相对应的渠道终点标记。
进一步地,所述渠道确定模块还用于:
根据所述渠道起点标记以及所述渠道终点标记,确定所述目标用户操作对应的埋点数据所对应的目标渠道起点标记和目标渠道终点标记;
基于所述目标渠道起点标记和所述目标渠道终点标记,确定所述目标用户操作所属的渠道。
进一步地,所述渠道确定模块还用于:
从数据库中获取开窗函数,并设置所述开窗函数的函数参数;
通过所述开窗函数,按照时间顺序将所述埋点数据打上序列号,得到用户操作序列号。
进一步地,所述筛选模块,还用于:
若所述埋点数据中记录的用户操作行为信息包含渠道来源信息,则将包含所述渠道来源信息对应的埋点数据作为渠道起点,并筛选出所述埋点数据中的渠道起点;和/或,
若所述埋点数据中记录的用户操作行为信息包含流程起点信息,则将包含所述流程起点信息对应的埋点数据作为流程起点,并筛选出所述埋点数据中的流程起点。
进一步地,所述埋点数据处理装置还包括:
用户操作结果确定模块,用于根据所述目标用户操作所属的渠道,确定所述目标用户操作对应的用户操作结果;
统计模块,用于根据所述用户操作结果,统计所述用户操作在所属的渠道的转化率。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有埋点数据处理程序,所述埋点数据处理程序被处理器执行时实现如上述中任一项所述的埋点数据处理方法的步骤。
本发明计算机可读存储介质具体实施例与上述埋点数据处理方法的各实施例基本相同,在此不再详细赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种埋点数据处理方法,其特征在于,所述埋点数据处理方法包括以下步骤:
按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
2.如权利要求1所述的埋点数据处理方法,其特征在于,所述根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤包括:
根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记;
获取目标用户操作对应的埋点数据;
根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道。
3.如权利要求2所述的埋点数据处理方法,其特征在于,所述根据所述渠道起点标记,确定与所述渠道起点标记对应的渠道终点标记的步骤包括:
按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号;
提取所述埋点数据的渠道起点,得到目标埋点数据,并按照时间顺序,将所述目标埋点数据打上序列号,得到渠道起点序列号;
将标记了所述起点序列号的目标埋点数据进行备份,得到与所述目标埋点数据相同的临时埋点数据,其中,所述临时埋点数据标记了与所述起点序列号相同的临时序列号;
确定增加预设值后的临时序列号对应的用户操作第一序列号,其中,所述预设值为相邻的两个渠道起点对应的起点序列号之间的差值;
确定所述起点序列号对应的用户操作第二序列号;
将所述用户操作第一序列号对应的渠道起点标记作为与所述用户操作第二序列号对应的渠道起点标记相对应的渠道终点标记。
4.如权利要求2所述的埋点数据处理方法,其特征在于,所述根据所述渠道起点标记、所述渠道终点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤包括:
根据所述渠道起点标记以及所述渠道终点标记,确定所述目标用户操作对应的埋点数据所对应的目标渠道起点标记和目标渠道终点标记;
基于所述目标渠道起点标记和所述目标渠道终点标记,确定所述目标用户操作所属的渠道。
5.如权利要求3所述的埋点数据处理方法,其特征在于,所述按照时间顺序,将所述埋点数据打上序列号,得到用户操作序列号的步骤包括:
从数据库中获取开窗函数,并设置所述开窗函数的函数参数;
通过所述开窗函数,按照时间顺序将所述埋点数据打上序列号,得到用户操作序列号。
6.如权利要求1所述的埋点数据处理方法,其特征在于,所述根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点的步骤包括:
若所述埋点数据中记录的用户操作行为信息包含渠道来源信息,则将包含所述渠道来源信息对应的埋点数据作为渠道起点,并筛选出所述埋点数据中的渠道起点;和/或,
若所述埋点数据中记录的用户操作行为信息包含流程起点信息,则将包含所述流程起点信息对应的埋点数据作为流程起点,并筛选出所述埋点数据中的流程起点。
7.如权利要求1至6任一项所述的埋点数据处理方法,其特征在于,所述根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道的步骤之后,还包括:
根据所述目标用户操作所属的渠道,确定所述目标用户操作对应的用户操作结果;
根据所述用户操作结果,统计所述用户操作在所属的渠道的转化率。
8.一种埋点数据处理装置,其特征在于,所述埋点数据处理装置包括:
记录模块,用于按照触发的时间顺序记录在本系统所触发用户操作对应的埋点数据;
筛选模块,用于根据所述埋点数据中记录的用户操作行为信息,筛选出所述埋点数据中的渠道起点和/或流程起点,将所述渠道起点打上渠道起点标记,以及将所述流程起点打上流程起点标记;
渠道确定模块,用于根据所述渠道起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的渠道;和/或,
流程确定模块,用于根据所述流程起点标记和目标用户操作对应的埋点数据,确定所述目标用户操作所属的流程。
9.一种埋点数据处理设备,其特征在于,所述埋点数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的埋点数据处理程序,所述埋点数据处理程序被所述处理器执行时实现如权利要求1至7中任一项所述的埋点数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有埋点数据处理程序,所述埋点数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的埋点数据处理方法的步骤。
CN202110743109.4A 2021-06-30 2021-06-30 埋点数据处理方法、装置、设备及计算机可读存储介质 Pending CN113342825A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110743109.4A CN113342825A (zh) 2021-06-30 2021-06-30 埋点数据处理方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110743109.4A CN113342825A (zh) 2021-06-30 2021-06-30 埋点数据处理方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113342825A true CN113342825A (zh) 2021-09-03

Family

ID=77482029

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110743109.4A Pending CN113342825A (zh) 2021-06-30 2021-06-30 埋点数据处理方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113342825A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484189A (zh) * 2022-08-31 2022-12-16 未来电视有限公司 数据合规测试方法、装置、电子设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115484189A (zh) * 2022-08-31 2022-12-16 未来电视有限公司 数据合规测试方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108804299B (zh) 应用程序异常处理方法及装置
CN109711396B (zh) Ocr训练样本的生成方法、装置、设备及可读存储介质
CN107832041B (zh) 专题页面制作方法、装置、设备及可读存储介质
CN111552633A (zh) 接口的异常调用测试方法、装置、计算机设备及存储介质
CN112052733A (zh) 数据库构建方法、人脸识别方法、装置及电子设备
CN112597020A (zh) 接口测试方法、装置、计算机设备及存储介质
CN105989144A (zh) 通知消息管理方法、装置、系统及终端设备
CN111191201A (zh) 基于数据埋点的用户识别方法、装置、设备及存储介质
CN108833515B (zh) 区块链节点优化方法、装置及计算机可读存储介质
CN106227483B (zh) 一种显示控制方法及移动终端
CN107861765B (zh) 产品配置方法、设备和计算机可读存储介质
US9665574B1 (en) Automatically scraping and adding contact information
CN113342825A (zh) 埋点数据处理方法、装置、设备及计算机可读存储介质
CN107294905B (zh) 一种识别用户的方法及装置
CN112541645B (zh) 伴随车辆产品项目开发的数据处理方法、系统及相关装置
CN111931186A (zh) 软件风险识别方法及装置
CN115984853A (zh) 文字识别方法及装置
CN108268545B (zh) 一种分级的用户标签库的创建的方法和装置
CN111641756B (zh) 诈骗识别方法、装置及计算机可读存储介质
CN115481002A (zh) 异常行为的识别方法、装置、设备及存储介质
CN112653612B (zh) 消息处理方法、设备以及系统、消息服务器
CN111552634A (zh) 前端系统的测试方法、装置及存储介质
CN113760764A (zh) 应用程序检测方法、装置、电子设备及存储介质
CN109284097B (zh) 实现复杂数据分析的方法、设备、系统及存储介质
CN108052525B (zh) 获取音频信息的方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination