CN115713223A - 一种业务数据处理方法、装置、电子设备和存储介质 - Google Patents
一种业务数据处理方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN115713223A CN115713223A CN202211291563.1A CN202211291563A CN115713223A CN 115713223 A CN115713223 A CN 115713223A CN 202211291563 A CN202211291563 A CN 202211291563A CN 115713223 A CN115713223 A CN 115713223A
- Authority
- CN
- China
- Prior art keywords
- data
- behavior
- behavior sequence
- sequence label
- query
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种业务数据处理方法、装置、电子设备和存储介质,所述方法包括:通过数据生产引擎生产决策数据,其中,所述决策数据是根据用户在前置业务中产生的行为数据得到的;基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签,其中,所述行为序列标签指示用户的行为特征;在下游消费业务中,确定当前场景对应的目标行为序列标签;对所述目标行为序列标签对应的行为数据进行处理。增强了业务的联防联控能力。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种业务数据处理方法、装置、电子设备和存储介质。
背景技术
随着互联网的发展,多业务之间往往存在关联关系。如果在前置业务中出现某些行为,那么下游业务往往也会受到影响。
例如在风控体系中,多业务之间的风险往往存在关联关系。登陆环节存在某些聚集性特征的用户会去会员活动中刷量以获取利益,类似此类的不法行为从登陆到获利往往在几秒内完成,下游业务无法及时检测并阻止此类不法行为,导致业务的联防联控能力差。
针对上下游业务之间关联能力弱的问题,目前尚无良好的解决方案。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种业务数据处理方法、装置、电子设备和存储介质。
第一方面,本申请提供了一种业务数据处理方法,所述方法包括:
通过数据生产引擎生产决策数据,其中,所述决策数据是根据用户在前置业务中产生的行为数据得到的;
基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签,其中,所述行为序列标签指示用户的行为特征;
在下游消费业务中,确定当前场景对应的目标行为序列标签;
对所述目标行为序列标签对应的行为数据进行处理。
可选地,所述通过数据生产引擎生产决策数据包括:
获取用户在前置业务中产生的行为数据;
采用数据生产引擎对所述行为数据执行如下操作:
根据所述行为数据命中的规则,得到命中规则参数;
对所述行为数据进行关联数据填充,得到关联参数;
对所述行为数据进行分析,得到系统参数;
将所述命中规则参数、所述关联参数、所述系统参数和所述行为数据作为所述决策数据。
可选地,所述根据所述行为数据命中的规则,得到命中规则参数包括:
在风险系统中,根据所述行为数据命中的风险点,得到风险点参数。
可选地,基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签包括:在风险系统中,基于数据标注引擎,采用风险标注的方式对所述决策数据进行标注,得到恶意行为序列标签,其中,所述恶意行为序列标签指示用户的恶意行为;
对所述目标行为序列标签对应的行为数据进行处理包括:对所述目标行为序列标签对应的恶意行为数据进行拦截。
可选地,得到行为序列标签之后,所述方法还包括:
将所述行为序列标签存储至Redis数据库,其中,所述Redis数据库采用ZSet的数据结构;
确定所述行为序列标签对应的决策数据的生产时间戳;
依据所述生产时间戳,采用ZSet记录数据流水,其中,所述数据流水记录有行为序列标签和对应的生产时间戳,所述数据流水按照所述生产时间戳由近到远的顺序进行排序。
可选地,得到行为序列标签之后,所述方法还包括:
将所述行为序列标签和所述决策数据存储至Hbase数据库,其中,所述Hbase数据库的行为数据明细存储能力高于所述Redis数据库的行为数据明细存储能力;
基于所述Hbase数据库,提供标签统一查询服务和数据查询服务。
可选地,所述方法还包括:
在接收到标签查询请求的情况下,确定当前查询时刻,其中,所述标签查询请求中携带有待查询的行为序列标签和所述待查询的行为序列标签对应的查询决策数据;
确定当前查询时刻和所述查询决策数据的生产时间戳之间的时间差值;
若所述时间差值大于时长阈值,进行标签查询熔断,其中,所述标签查询熔断指示不对所述待查询的行为序列标签进行查询。
可选地,所述方法还包括:
根据所述生产时间戳,确定缓存数据库中的数据缓存周期超过预设时长的过期数据;
采用离线spark任务,对所述过期数据进行批量删除。
第二方面,提供了一种业务数据处理装置,所述装置包括:
生产模块,用于通过数据生产引擎生产决策数据,其中,所述决策数据是根据用户在前置业务中产生的行为数据得到的;
标注模块,用于基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签,其中,所述行为序列标签指示用户的行为特征;
确定模块,用于在下游消费业务中,确定当前场景对应的目标行为序列标签;
处理模块,用于对所述目标行为序列标签对应的行为数据进行处理。
第三方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现任一所述的业务数据处理方法步骤。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现任一所述的业务数据处理方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
本申请实施例提供的该方法,服务器通过在前置业务中,根据用户的行为,对决策数据进行打标,然后在下游消费业务中,根据场景选取对应的目标行为序列标签,并对目标行为序列标签对应的行为数据进行处理,打通上、下游业务之间的行为数据,增强了业务的联防联控能力。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种业务数据处理方法的流程图;
图2为本申请实施例提供的风控场景中业务数据处理流程图;
图3为本申请实施例提供的风控场景中业务数据处理框图;
图4为本申请实施例提供的一种业务数据处理装置的结构示意图;
图5为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
在后续的描述中,使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明,其本身并没有特定的意义。因此,“模块”与“部件”可以混合地使用。
为了解决背景技术中提及的问题,根据本申请实施例的一方面,提供了一种业务数据处理方法的实施例。
本申请实施例中的一种业务数据处理方法可以由服务器来执行,。
下面将结合具体实施方式,对本申请实施例提供的一种业务数据处理方法进行详细的说明,如图1所示,具体步骤如下:
步骤101:通过数据生产引擎生产决策数据。
其中,决策数据是根据用户在前置业务中产生的行为数据得到的。
用户可以在前置业务中执行一系列行为动作,从而产生行为数据。例如,用户在APP上从登陆到退出之间产生的所有行为动作,包括观影、改密、换绑手机、参与会员任务、充值等。
服务器通过数据生产引擎对行为数据进行操作,包括确定命中代理规则,系统性分析,数据扩充等,得到决策数据。
步骤102:基于数据标注引擎,对决策数据进行标注,得到行为序列标签。
其中,行为序列标签指示用户的行为特征。
服务器通过数据标注引擎,对决策数据进行标注,得到行为序列标签,由于决策数据是根据能够体现用户行为的行为数据得到的,因此行为序列标签能够体现用户的行为特征,例如用户为恶意刷量以获取利益的人员,或用户为观影频次较多的人员。
其中,同一决策数据,可以对应多种行为序列标签,同一行为序列标签,也可以对应不同的决策数据。
步骤103:在下游消费业务中,确定当前场景对应的目标行为序列标签。
在下游消费业务中,技术人员可以根据当前场景或当前业务,确定所需要的目标行为序列标签。例如,当前场景为影片预约业务,技术人员可以从多个标签中,选取标记为恶意刷量的标签。
步骤104:对目标行为序列标签对应的行为数据进行处理。
目标行为序列标签具有对应的行为数据,服务器对该行为数据进行处理,处理可以是对行为数据进行拦截,也可以对行为数据发放奖励,处理方式根据具体应用场景决定,本申请不做限制。
示例性地,在风控场景中,服务器在登陆环节对命中代理IP标签以及注册地为xx的账号进行打标,行为序列标签为恶意刷量,在影片预约业务中,对标签为恶意刷量的行为数据进行拦截。
在奖励场景中,服务器在观影环节对观影频次较多的账号进行打标,行为序列标签为观影常客,在发放奖励业务中,对标签为观影常客的行为数据进行发放奖励。
在本申请中,服务器通过在前置业务中,根据用户的行为,对决策数据进行打标,然后在下游消费业务中,根据场景选取对应的目标行为序列标签,并对目标行为序列标签对应的行为数据进行处理,打通上、下游业务之间的行为数据,增强了业务的联防联控能力。
作为一种可选的实施方式,通过数据生产引擎生产决策数据包括:获取用户在前置业务中产生的行为数据;采用数据生产引擎对行为数据执行如下操作:根据行为数据命中的规则,得到命中规则参数;对行为数据进行关联数据填充,得到关联参数;对行为数据进行分析,得到系统参数。
在本申请中,决策数据包括:命中规则参数、关联参数、系统参数和行为参数。其中,命中规则参数指的是决策数据中命中某些规则的参数,关联参数指的是原始的行为参数通过数据生产引擎后扩充的参数,系统参数指的是业务名、请求时间与请求ID,行为参数就是行为数据。这些参数都可以作为数据标注的特征。
数据库中具有预先设定的规则,服务器确定决策数据命中了哪些规则,得到命中规则参数,例如,不法分子采用代理ip的方式进入App对影片预约活动进行刷量。在登陆环节,在风控引擎产出的决策数据中,不法分子使用的ip命中代理ip标签和聚集性标签。
命中规则参数根据场景设置,示例性地,在风险系统中,根据行为数据命中的风险点,得到风险点参数。
服务器对行为数据进行关联数据填充,得到关联参数,关联参数扩充了行为数据的数据内容,从而能够更多的体现用户特征,使得决策数据打标更准确,也增加了决策数据对应的标签。例如,服务器根据用户ip扩充得到ip归属地。
服务器对行为数据进行分析,得到行为数据的请求时间、请求ID和操作业务名称。
在本申请中,服务器基于数据生产引擎,通过对行为数据的分析得到决策数据,扩充了数据内容,深挖数据行为,能够提高打标精准性和中标数量。
作为一种可选地实施方式,本申请应用于风险系统,通过风控引擎生产决策数据,基于数据标注引擎,采用风险标注的方式对决策数据进行标注,得到恶意行为序列标签,恶意行为序列标签指示用户的恶意行为;在下游消费业务中,根据当前场景或当前业务,确定所需要的目标行为序列标签,对目标行为序列标签对应的恶意行为数据进行拦截。本申请通过行为序列标签的方式,对上下游业务的风险进行了关联,增强拦截时效性,提高了拦截率。
作为一种可选的实施方式,得到行为序列标签之后,方法还包括:服务器将行为序列标签沉淀至数据库,下游业务从数据库中获取行为序列标签,一方面提供行为序列标签的存储空间,避免数据堆积在下游业务,另一方面,数据库中存储有一段时间内的行为序列标签,便于技术人员对某时段的行为序列标签进行筛查分析。
将行为序列标签沉淀至数据库包括两种实施方式,
在一种实施方式中,将行为序列标签存储至Redis数据库,其中,Redis数据库采用ZSet的数据结构;确定行为序列标签对应的决策数据的生产时间戳;依据生产时间戳,采用ZSet记录数据流水,其中,数据流水记录有行为序列标签和对应的生产时间戳,数据流水按照生产时间戳由近到远的顺序进行排序。
数据库采用Redis,Redis将数据存储在内存中,能提供毫秒级别的查询响应,保证行为数据从生产到消费在秒级完成,提高数据消费效率。针对风险案件来说,提高风险拦截率。
另外,Redis数据库采用ZSet的数据结构,ZSet能够将数据按照分值排列,在本申请实施例中,分值为决策数据的生产时间戳。具体的,针对行为序列标签对应的决策数据,决策数据中记录有生产时间戳(请求时间),该生产时间戳也可以认为是行为序列标签的时间戳,服务器按照生产时间戳由近到远的顺序,对行为序列标签进行排序,得到数据流水,也就是说,数据流水为按时间排列的多个数据记录,数据记录包括:行为序列标签&生产时间戳。
Redis数据库提供数据流水,使数据流水简洁明了,也便于技术人员按照时间顺序查找行为序列标签。
在另一种实施方式中,将行为序列标签和决策数据存储至Hbase数据库,其中,Hbase数据库的行为数据明细存储能力高于Redis数据库的行为数据明细存储能力;基于Hbase数据库,提供标签统一查询服务和数据查询服务。
数据库采用Hbase,Hbase将数据存储在磁盘中,能提供大容量的内存空间,其行为数据明细存储能力高于Redis数据库,这样不但可以将行为数据标签和生产时间戳记录在Hbase中,还可以将决策数据存储在Hbase中。这样可以提供标签统一查询服务和数据查询服务,丰富下游的查询服务。
作为一种可选的实施方式,方法还包括:在接收到标签查询请求的情况下,确定当前查询时刻,其中,标签查询请求中携带有待查询的行为序列标签和待查询的行为序列标签对应的查询决策数据;确定当前查询时刻和查询决策数据的生产时间戳之间的时间差值;若时间差值大于时长阈值,进行标签查询熔断,其中,标签查询熔断指示不对待查询的行为序列标签进行查询。
由于某些场景对数据实效性有较高的要求,因此下游消费业务支持标签查询熔断,即该标签不做查询也不产生结果。
技术人员如果对针对标签进行数据查询,服务器会接收到标签查询请求,并确定当前查询时刻。服务器根据标签查询请求,确定待查询的行为序列标签和待查询的行为序列标签对应的查询决策数据,查询决策数据具有生产时间戳。
服务器确定当前查询时刻和生产时间戳之间的时间差值,若时间差值小于等于时长阈值,表明决策数据的生产时刻距离当前查询时刻较近,数据依然具有时效性,则反馈查询结果。若时间差值大于时长阈值,表明数据已失去时效性,则进行标签查询熔断,即不对待查询的行为序列标签进行查询。
作为一种可选的实施方式,方法还包括:根据生产时间戳,确定缓存数据库中的数据缓存周期超过预设时长的过期数据;采用离线spark任务,对过期数据进行批量删除。
在业务联防联控中,数据的生命周期较短,一般不会超过一周,同时考虑到缓存数据的成本,本申请在数据缓存周期超过预设时长时认为该数据为过期数据,采用离线spark任务,对过期数据进行批量删除。
基于相同的技术构思,本申请实施例还提供了风控场景中业务数据处理流程图,如图2所示,原始参数(行为数据)通过风控引擎生产得到决策数据,标注引擎对决策数据进行标注,并将其沉淀至Redis数据库,在Redis数据库中根据生产时间戳进行数据排序,将生产时间戳也作为一种数据标签,Redis数据库提供统一查询服务。下游业务从Redis数据库获取数据,进行数据决策。
基于相同的技术构思,本申请实施例还提供了风控场景中业务数据处理框图,如图3所示,风控引擎对原始参数进行处理,得到风险点参数,数据参数(扩充参数),系统参数和传入参数(原始参数),数据标签引擎对上述数据进行标注,然后采用标签缓存方式存储在Hbase数据库中,Hbase数据库提供标签查询服务,下游消费业务对数据库中的数据进行消费。
基于相同的技术构思,本申请实施例还提供了一种业务数据处理装置,如图4所示,该装置包括:
生产模块401,用于通过数据生产引擎生产决策数据,其中,决策数据是根据用户在前置业务中产生的行为数据得到的;
标注模块402,用于基于数据标注引擎,对决策数据进行标注,得到行为序列标签,其中,行为序列标签指示用户的行为特征;
确定模块403,用于在下游消费业务中,确定当前场景对应的目标行为序列标签;
处理模块404,用于对目标行为序列标签对应的行为数据进行处理。
可选地,生产模块401用于:
获取用户在前置业务中产生的行为数据;
采用数据生产引擎对行为数据执行如下操作:
根据行为数据命中的规则,得到命中规则参数;
对行为数据进行关联数据填充,得到关联参数;
对行为数据进行分析,得到系统参数。
将命中规则参数、关联参数、系统参数和行为数据作为决策数据。
可选地,生产模块401用于:
在风险系统中,根据行为数据命中的风险点,得到风险点参数。
可选地,标注模块402用于:在风险系统中,基于数据标注引擎,采用风险标注的方式对决策数据进行标注,得到恶意行为序列标签,其中,恶意行为序列标签指示用户的恶意行为;
处理模块404用于:对目标行为序列标签对应的恶意行为数据进行拦截。
可选地,该装置还用于:
将行为序列标签存储至Redis数据库,其中,Redis数据库采用ZSet的数据结构;
确定行为序列标签对应的决策数据的生产时间戳;
依据生产时间戳,采用ZSet记录数据流水,其中,数据流水记录有行为序列标签和对应的生产时间戳,数据流水按照生产时间戳由近到远的顺序进行排序。
可选地,该装置还用于:
将行为序列标签和决策数据存储至Hbase数据库,其中,Hbase数据库的行为数据明细存储能力高于Redis数据库的行为数据明细存储能力;
基于Hbase数据库,提供标签统一查询服务和数据查询服务。
可选地,该装置还用于:
在接收到标签查询请求的情况下,确定当前查询时刻,其中,标签查询请求中携带有待查询的行为序列标签和待查询的行为序列标签对应的查询决策数据;
确定当前查询时刻和查询决策数据的生产时间戳之间的时间差值;
若时间差值大于时长阈值,进行标签查询熔断,其中,标签查询熔断指示不对待查询的行为序列标签进行查询。
可选地,该装置还用于:
根据生产时间戳,确定缓存数据库中的数据缓存周期超过预设时长的过期数据;
采用离线spark任务,对过期数据进行批量删除。
基于相同的技术构思,本发明实施例还提供了一种电子设备,如图5所示,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,
存储器503,用于存放计算机程序;
处理器501,用于执行存储器503上所存放的程序时,实现上述步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法的步骤。
在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (11)
1.一种业务数据处理方法,其特征在于,所述方法包括:
通过数据生产引擎生产决策数据,其中,所述决策数据是根据用户在前置业务中产生的行为数据得到的;
基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签,其中,所述行为序列标签指示用户的行为特征;
在下游消费业务中,确定当前场景对应的目标行为序列标签;
对所述目标行为序列标签对应的行为数据进行处理。
2.根据权利要求1所述的方法,其特征在于,所述通过数据生产引擎生产决策数据包括:
获取用户在前置业务中产生的行为数据;
采用数据生产引擎对所述行为数据执行如下操作:
根据所述行为数据命中的规则,得到命中规则参数;
对所述行为数据进行关联数据填充,得到关联参数;
对所述行为数据进行分析,得到系统参数;
将所述命中规则参数、所述关联参数、所述系统参数和所述行为数据作为所述决策数据。
3.根据权利要求2所述的方法,其特征在于,所述根据所述行为数据命中的规则,得到命中规则参数包括:
在风险系统中,根据所述行为数据命中的风险点,得到风险点参数。
4.根据权利要求1所述的方法,其特征在于,
基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签包括:在风险系统中,基于数据标注引擎,采用风险标注的方式对所述决策数据进行标注,得到恶意行为序列标签,其中,所述恶意行为序列标签指示用户的恶意行为;
对所述目标行为序列标签对应的行为数据进行处理包括:对所述目标行为序列标签对应的恶意行为数据进行拦截。
5.根据权利要求1所述的方法,其特征在于,得到行为序列标签之后,所述方法还包括:
将所述行为序列标签存储至Redis数据库,其中,所述Redis数据库采用ZSet的数据结构;
确定所述行为序列标签对应的决策数据的生产时间戳;
依据所述生产时间戳,采用ZSet记录数据流水,其中,所述数据流水记录有行为序列标签和对应的生产时间戳,所述数据流水按照所述生产时间戳由近到远的顺序进行排序。
6.根据权利要求5所述的方法,其特征在于,得到行为序列标签之后,所述方法还包括:
将所述行为序列标签和所述决策数据存储至Hbase数据库,其中,所述Hbase数据库的行为数据明细存储能力高于所述Redis数据库的行为数据明细存储能力;
基于所述Hbase数据库,提供标签统一查询服务和数据查询服务。
7.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:
在接收到标签查询请求的情况下,确定当前查询时刻,其中,所述标签查询请求中携带有待查询的行为序列标签和所述待查询的行为序列标签对应的查询决策数据;
确定当前查询时刻和所述查询决策数据的生产时间戳之间的时间差值;
若所述时间差值大于时长阈值,进行标签查询熔断,其中,所述标签查询熔断指示不对所述待查询的行为序列标签进行查询。
8.根据权利要求5或6所述的方法,其特征在于,所述方法还包括:
根据所述生产时间戳,确定缓存数据库中的数据缓存周期超过预设时长的过期数据;
采用离线spark任务,对所述过期数据进行批量删除。
9.一种业务数据处理装置,其特征在于,所述装置包括:
生产模块,用于通过数据生产引擎生产决策数据,其中,所述决策数据是根据用户在前置业务中产生的行为数据得到的;
标注模块,用于基于数据标注引擎,对所述决策数据进行标注,得到行为序列标签,其中,所述行为序列标签指示用户的行为特征;
确定模块,用于在下游消费业务中,确定当前场景对应的目标行为序列标签;
处理模块,用于对所述目标行为序列标签对应的行为数据进行处理。
10.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-8任一方法步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211291563.1A CN115713223A (zh) | 2022-10-19 | 2022-10-19 | 一种业务数据处理方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211291563.1A CN115713223A (zh) | 2022-10-19 | 2022-10-19 | 一种业务数据处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115713223A true CN115713223A (zh) | 2023-02-24 |
Family
ID=85231371
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211291563.1A Pending CN115713223A (zh) | 2022-10-19 | 2022-10-19 | 一种业务数据处理方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115713223A (zh) |
-
2022
- 2022-10-19 CN CN202211291563.1A patent/CN115713223A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103686237B (zh) | 推荐视频资源的方法及系统 | |
WO2020248508A1 (zh) | 广告渠道的评估方法、装置、设备和存储介质 | |
US20170286539A1 (en) | User profile stitching | |
US10540660B1 (en) | Keyword analysis using social media data | |
US9442984B2 (en) | Social media contributor weight | |
US9449050B1 (en) | Identifying relevant messages in a conversation graph | |
US11816172B2 (en) | Data processing method, server, and computer storage medium | |
CN112364202B (zh) | 视频推荐方法、装置及电子设备 | |
US9418117B1 (en) | Displaying relevant messages of a conversation graph | |
EP2225861A1 (en) | Method and system using keyword vectors and associated metrics for learning and prediction of user correlation of targeted content messages in a mobile environment | |
JP2011512695A (ja) | モバイル環境におけるユーザプロファイル更新を用いた短距離通信トランザクション | |
CN104836781A (zh) | 区分访问用户身份的方法及装置 | |
JP2003523578A (ja) | ネットワーク上の対話の妥当性を決定するためのシステムおよび方法 | |
CN111371672B (zh) | 消息推送方法及装置 | |
CN110941738A (zh) | 推荐方法、装置、电子设备及计算机可读存储介质 | |
CN104574130A (zh) | 一种基于客户资源库的广告精准投放方法及系统 | |
CN112733045B (zh) | 用户行为的分析方法、装置及电子设备 | |
CN111090810A (zh) | 一种应用消息的推送方法、装置及电子设备 | |
US10733244B2 (en) | Data retrieval system | |
CN107911447A (zh) | 业务系统扩容方法及装置 | |
KR102327383B1 (ko) | 소셜 빅데이터를 활용한 콘텐츠 마케팅 효과 분석 시스템 | |
CN114629929A (zh) | 一种日志记录方法、装置及系统 | |
CN114065090A (zh) | 分类数据库的更新方法、系统、存储介质及计算机设备 | |
CN109756762B (zh) | 一种终端类别的确定方法及装置 | |
WO2023151426A1 (zh) | 直播间人数统计方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |