CN109284321B - 数据加载方法、装置、计算设备和计算机可读存储介质 - Google Patents

数据加载方法、装置、计算设备和计算机可读存储介质 Download PDF

Info

Publication number
CN109284321B
CN109284321B CN201810962622.0A CN201810962622A CN109284321B CN 109284321 B CN109284321 B CN 109284321B CN 201810962622 A CN201810962622 A CN 201810962622A CN 109284321 B CN109284321 B CN 109284321B
Authority
CN
China
Prior art keywords
data
service
request
user
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810962622.0A
Other languages
English (en)
Other versions
CN109284321A (zh
Inventor
毕文智
谢波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN201810962622.0A priority Critical patent/CN109284321B/zh
Publication of CN109284321A publication Critical patent/CN109284321A/zh
Application granted granted Critical
Publication of CN109284321B publication Critical patent/CN109284321B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及数据加载方法、装置、计算设备和计算机可读存储介质。所述数据加载方法包括:响应于来自应用的服务预请求,将与所述服务预请求对应的数据加载到缓存系统中,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;以及响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。通过本申请的各实施例,能够缩短应用平台的数据加载时间,提供了对分布存储技术的优化应用。

Description

数据加载方法、装置、计算设备和计算机可读存储介质
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据加载方法、装置、计算设备和计算机可读存储介质。
背景技术
一般地,应用平台具有外部数据库和缓存系统。在提供服务时,应用平台需要调用相关的用户数据。由于缓存系统的容量有限,无法存储服务所需的所有用户数据,因此,在收到服务请求时应用平台往往需要去数据库中取数,从数据库加载数据所需的时间远大于从缓存加载所需的时间(因为每次都需要扫描所有数据),这导致加载时间过长,有时无法满足服务的时效性要求。
发明内容
为解决以上问题中的一个或多个,本发明实施例提供了一种数据加载方法、装置、计算设备和计算机可读存储介质。
根据本申请的第一方面,提供一种数据加载方法,其包括:
响应于来自应用的服务预请求,将与所述服务预请求对应的数据加载到缓存系统中,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;以及
响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。
根据一示例性实施例,所述响应于来自应用的服务预请求将与所述服务预请求对应的数据加载到缓存系统中,包括:
识别所述服务预请求中包含的所述埋点的标识和所述用户的标识;
根据所述埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段;
根据所述用户的标识将所述用户的对应于所述数据字段的数据加载到缓存系统。
根据一示例性实施例,在所述响应于来自应用的服务预请求将与所述服务预请求对应的数据加载到缓存系统中之前,所述方法还包括:
确定所述应用的用户可操作界面上用于设置埋点的一个或多个可操作项。
根据一示例性实施例,所述确定用于设置埋点的所述应用的用户可操作界面上的一个或多个可操作项包括:
通过分析用户历史数据确定每个候选可操作项与服务正式请求的触发的关联性得分;
从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置。
根据一示例性实施例,所述将与所述服务预请求对应的数据加载到缓存系统中包括如下中的至少一个:
将所述数据从数据库加载到缓存系统;
将所述数据从缓存系统的最后一级缓存加载到其上一级缓存中。
根据一示例性实施例,在所述响应于来自应用的服务预请求将与所述服务预请求对应的数据加载到缓存系统中之前,所述方法还包括:
根据通过缓存配置页面输入的埋点标识和相对应的需提前导入的数据的数据字段,生成并保存所述埋点-提前导入数据对应表。
根据一示例性实施例,所述通过分析用户历史数据确定每个候选可操作项与服务正式请求的触发的关联性得分包括:
对于每个候选可操作项,统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作的概率,以得到该候选可操作项的概率关联性评分;
对于每个候选可操作项,统计从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间值,以得到该候选可操作项的时间关联性评分;
将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分。
根据本申请的第二方面,提供一种数据加载装置,其包括:
数据加载模块,其被配置为:响应于来自应用的服务预请求,将与所述服务预请求对应的数据加载到缓存系统中,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;以及
服务提供模块,其被配置为:响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。
根据一示例性实施例,所述数据加载模块包括:
识别单元,其被配置为:识别所述服务预请求中包含的所述埋点的标识和所述用户的标识;
数据字段确定单元,其被配置为:根据所述埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段;
数据加载单元,其被配置为:根据所述用户的标识将所述用户的对应于所述数据字段的数据加载到缓存系统。
根据一示例性实施例,所述数据加载装置还包括:
埋点确定模块,其被配置为:确定所述应用的用户可操作界面上用于设置埋点的一个或多个可操作项。
根据一示例性实施例,所述埋点确定模块包括:
关联性得分确定单元,其被配置为:通过分析用户历史数据确定每个候选可操作项与服务正式请求的触发的关联性得分;
埋点选择单元,其被配置为:从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置。
根据一示例性实施例,所述数据加载单元包括如下中的至少一个:
第一加载子单元,其被配置为:将所述数据从数据库加载到缓存系统;
第二加载子单元,其被配置为:将所述数据从缓存系统的最后一级缓存加载到其上一级缓存中。
根据一示例性实施例,所述数据加载装置还包括:
对应表生成模块,其被配置为:根据通过缓存配置页面输入的埋点标识和相对应的需提前导入的数据的数据字段,生成并保存所述埋点-提前导入数据对应表。
根据一示例性实施例,所述关联性得分确定单元包括:
概率关联性评分子单元,其被配置为:对于每个候选可操作项,统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作的概率,以得到该候选可操作项的概率关联性评分;
时间关联性评分子单元,其被配置为:对于每个候选可操作项,统计从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间值,以得到该候选可操作项的时间关联性评分;
关联性得分计算子单元,其被配置为:将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分。
根据本申请的第三方面,提供一种计算设备,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述计算机可读指令在被所述处理器执行时,使得所述计算设备执行应用平台执行的如上所述的方法实施例中的任一个。
根据本申请的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被一个或多个处理器执行时实现如上所述的方法实施例中的任一个。
本申请的实施例提供的技术方案可以包括以下有益效果:
通过本申请如上所述以及如下所述的各实施例,可以缩短应用平台的数据加载时间。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本公开。
附图说明
图1是根据一示例性实施例示出的本申请所涉及的实施环境的示意简图。
图2是根据本申请一示例性实施例示出的数据加载方法的示意流程图。
图3是根据本申请一示例性实施例示出的数据加载方法在图2中的步骤S210之前还可以包括的步骤的示意流程图。
图4是根据图2对应实施例示出的数据加载方法中步骤S210的一种示例性具体实现方式的示意流程图。
图5是根据本申请一示例性实施例示出的数据加载装置的示意组成框图。
图6是根据本申请一示例性实施例示出的计算设备的示意组成框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明的示例性实施例进行进一步详细说明。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
图1是根据一示例性实施例示出的本申请所涉及的实施环境的示意简图。如图1所示,应用平台(例如业务风险决策平台)110对接入的一个或多个应用120提供服务(例如风险决策服务)。应用平台110和应用120分别可以部署在一个或多个设备上。用户可以在终端设备上通过应用120的人机交互界面(例如,浏览器页面、客户端APP软件界面等)与应用120进行交互,用户的某些特定操作(例如,点击了“购买”按钮)会触发应用120向应用平台110发送服务请求,应用平台110响应于服务请求而从其缓存系统111和/或数据库112获取相关数据以提供所请求的服务。一般地,应用平台110先从缓存系统111中获取所需的数据,如果缓存系统111中不存在所需的数据,则从数据库112中查询并获取。从数据库112中获取数据的时间大于从缓存系统111中获取数据的时间。缓存系统111可以是单级缓存系统,也可以是多级缓存系统,例如,包括作为一级缓存的本地缓存和作为二级缓存的内存缓存。图1及以上描述只是本公开所涉及的实施环境的示例性实施例,可以理解的是,适用于本申请的实施环境存在多种变形。
图2是根据本申请的一示例性实施例示出的数据加载方法的示意流程图。如图2的示例性实施例所示,该方法可以包括步骤:
S210,响应于来自应用的服务预请求,应用平台将与所述服务预请求对应的数据加载到应用平台的缓存系统中。
服务预请求并不是正式的服务请求,而只是表示接下来可能会有正式的服务请求。应用平台在收到服务预请求时无需提供服务,而是可以为接下来可能会提供的服务作准备,例如,将服务所需的数据提前从数据库加载到缓存系统中,以缩短真正需要时数据加载的时间。服务预请求是由于用户的操作触发了预置在应用中的埋点而导致的。所谓埋点是预先设置在应用中、当用户在埋点位置进行操作时能够被触发的触发点,埋点的触发能够使得应用向应用平台发送服务预请求。
在一个实施例中,可以在应用的用户可操作界面(例如,浏览器页面、客户端APP软件界面等)中预先设置埋点,当用户在用户可操作界面上的操作触发了埋点时,应用会向应用平台发送服务预请求,服务预请求中可以包含用户的标识和埋点的标识。
在一个实施例中,该方法在步骤S210之前还可以包括确定应用的用户可操作界面上用于设置埋点的一个或多个可操作项的步骤。埋点可以设置在用户可操作界面上的可操作项处,所述可操作项例如可以是按钮、菜单、选择框、输入框和图,或它们的组合。触发埋点的操作例如可以是对设置有埋点的可操作项实施的有效的点击、选择、拖拽、滑动或它们的组合。可以将埋点设置在与服务正式请求的触发有关联性的可操作项处。例如,可以在“加入购物车”按钮处设置埋点,因为如果用户点击了这个按钮,表明用户接下来很有可能有购买操作,而购买操作会触发应用向应用平台发送风控服务请求。在设置该埋点后,如果用户点击了“加入购物车”按钮,就触发了该埋点,应用会向应用平台发送服务预请求,应用平台会将接下来极有可能发生的购买操作会触发的风控服务所需的数据提前加载到缓存系统。
在一个实施例中,响应于服务预请求应用平台将相应的数据从数据库加载到缓存系统。在另一实施例中,缓存系统包括多级缓存,响应于服务预请求应用平台将相应的数据从缓存系统的最后一级缓存加载到其上一级缓存。例如,缓存系统包括作为一级缓存的本地缓存,作为二级缓存的内存缓存,应用平台将相应的数据从二级缓存加载到一级缓存。再例如,缓存系统包括作为一级缓存的本地缓存,作为二级缓存的内存缓存,作为三级缓存的数据库缓存(例如关系型数据库缓存),应用平台将相应的数据从三级缓存加载到二级缓存。从数据库获取数据的时间长于从缓存系统获取的时间,从缓存系统的最后一级缓存获取数据的时间长于从其上一级缓存获取的时间,因此,在收到服务预请求时就将数据提取导入,能够缩短对服务正式请求的响应时间。
S220,响应于来自所述应用的服务正式请求,应用平台使用缓存系统中所加载的所述数据进行服务。
在服务预请求发送后,如果该用户的后续操作(例如,该用户点击了“购买”按钮)导致应用向应用平台发送服务正式请求,应用平台就可以使用在步骤S210中已经提前导入的数据来对应用提供服务。由于数据已经在收到服务正式请求之前提前导入到了加载时间更短的缓存系统,因此,可以缩短数据加载时间,提高了对服务正式请求的时间响应性。
图3是根据本申请一示例性实施例示出的数据加载方法在图2中的步骤S210之前还可以包括的确定埋点位置的步骤的示意流程图。确定埋点位置的步骤可以由应用平台来执行,也可以由其他主体、例如应用的数据管理模块来执行。如图3的实施例中所示,确定埋点位置的步骤可以包括:
S310,通过分析用户历史数据确定每个候选可操作项与服务正式请求的触发的关联性得分。
在一个示例中,可以从应用的数据库中获取记录用户在应用上的历史操作的用户历史数据,对于每个候选可操作项(例如,“查看商品”按钮和“加入购物车”按钮),统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作(例如,“购买”按钮)的概率,概率越高,该可操作项的概率关联性评分越高,说明其与服务正式请求的触发的概率关联性越大。在另一示例中,在确定关联性时还考虑从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间,例如平均时间、中值时间、或出现概率最高的时间等,根据该统计时间给出时间关联性评分。在一个示例中,根据该统计时间与预估的数据加载时间之间的误差,而给出时间关联性评分。可以将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分。
也可以使用其他方式来确定可操作项与服务正式请求的触发的关联性。
S320,从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置。
图4是根据图2对应实施例示出的数据加载方法中步骤S210的一种示例性具体实现方式的示意流程图。在该实施例中,步骤S210可以包括步骤:
S410,应用平台识别服务预请求中包含的埋点的标识和用户的标识。
S420,应用平台根据埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段。
不同的埋点所对应的服务场景可能不同,即其所对应的最终服务正式请求可能不同,应用平台针对不同的服务正式请求所需的数据字段可能是不同的。因此,需要记载埋点标识与需要提前导入的数据字段之间的对应关系的埋点-提前导入数据对应表,以便在收到服务预请求时根据埋点的标识查找相对应的数据字段。埋点-提前导入数据对应表是预先配置并保存在应用平台中的,例如,可以保存在应用平台的缓存系统中。
在一个示例中,确定每个服务场景所对应的服务正式请求和/或引发该服务正式请求的可操作项,进而如上所述地那样确定埋点位置。之后,可以赋予每个埋点一个唯一的标识,根据与该埋点相对应的服务正式请求确定需要提前导入的数据的数据字段,并将埋点标识与数据字段的对应关系记载到埋点-提前导入数据对应表中。
在一个示例中,可以通过应用平台的缓存配置页面接收用户输入的埋点标识和相对应的需提前导入的数据的数据字段,应用平台根据该输入生成并保存埋点-提前导入数据对应表。
下面是一个配置并生成埋点-提前导入数据对应表的示例。在确定埋点位置为应用的用户可操作界面的某按钮处(比如在交易确认页面的“加入购物车”按钮处设置埋点,将其埋点标识设置为“#1201”)的情况下,在应用平台侧,可以通过缓存配置页面配置该埋点以及触发该埋点时应用平台需要提前导入哪些数据(例如,输入需要提前导入数据的字段名称,如代表手机号的“phone_no”等),并将二者的对应关系存储到埋点-提前导入数据对应表中。在还没有埋点-提前导入数据对应表的情况下,应用平台会根据输入的配置信息新建埋点-提前导入数据对应表。
S430,应用平台根据用户的标识将该用户的对应于所述数据字段的数据加载到缓存系统。
应用平台响应于服务预请求并不是将所有用户的数据都提前加载,而是只加载触发服务预请求的用户的相关数据,并且只包括对应于在步骤S420中所确定出的数据字段的数据。
下面是一个数据加载方法的具体示例。当我们需要针对资金交易场景进行风险识别时,可确定埋点位置为应用的交易页面中的“查看商品”按钮。在该位置处设置埋点,其标识为“#abc”。当用户点击“查看商品”按钮时就会触发该埋点“#abc”。在应用平台的缓存配置页面可以输入埋点标识“#abc”,以及相应的需要提前导入的数据的数据字段:用户常用设备字段“device_id”、用户常用地址字段“ip_address”、用户每笔交易平均金额字段“avg_amount”,等等。此处的数据字段可根据需求配置多个,此处只例举3个需要导入的字段作为示例。应用平台将这些输入的配置信息生成并保存为埋点-提前导入数据对应表。然后,当某用户点击交易页面中的“查看商品”按钮时,应用会先向应用平台发送携带埋点标识“#abc”和用户标识的风控预请求,应用平台会将根据埋点-提前导入数据对应表将该用户的相应业务数据(device_id、ip_address、avg_amount字段的值,如上面所配置的)加载到应用平台的缓存系统。例如,将相关数据从数据库(例如,可以是关系型数据库,其方便管理大量数据,但查询速度有限)加载到缓存系统的二级缓存(内存数据库缓存,其查询速度快,但不能管理大量数据)。等该用户点击“购买”按钮后,应用向应用平台发起风控正式请求,应用平台就可以直接从二级缓存中获取相关数据进行风险预判。这样,缩短了应用平台针对服务正式请求提供服务的数据加载时间,使得满足服务时效性成为可能。
在如上各个实施例中,可以将缓存系统配置为:当数据在缓存系统中的存储时间超过有效期之后,将该数据从缓存系统中移除,从而及时释放资源。
图5是根据一示例性实施例示出的数据加载装置的示意组成框图。该示例数据加载装置501用于执行如上所述的数据加载方法的各实施例。在一个示例中,数据加载装置501为应用平台或其一部分。在另一示例中,数据加载装置501为应用平台和应用的至少一部分的组合。或者说,装置501实现在部署有应用平台或其一部分的一个或多个设备上,或者分散地实现在部署有应用平台的一个或多个设备和部署有应用的一个或多个设备上。如图5的示例中所示,该装置501可以包括:
数据加载模块510,其被配置为:响应于来自应用的服务预请求,将与所述服务预请求对应的数据加载到缓存系统中,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;以及
服务提供模块520,其被配置为:响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。
在图5所示的实施例中,数据加载模块510进一步包括:
识别单元511,其被配置为:识别所述服务预请求中包含的所述埋点的标识和所述用户的标识;
数据字段确定单元512,其被配置为:根据所述埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段;
数据加载单元513,其被配置为:根据所述用户的标识将所述用户的对应于所述数据字段的数据加载到缓存系统。
在图5所示的实施例中,数据加载装置501还包括:
埋点确定模块530,其被配置为:确定所述应用的用户可操作界面上用于设置埋点的一个或多个可操作项。
在图5所示的实施例中,埋点确定模块530进一步包括:
关联性得分确定单元531,其被配置为:通过分析用户历史数据确定每个候选可操作项与服务正式请求的触发的关联性得分;
埋点选择单元532,其被配置为:从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置。
在图5所示的实施例中,关联性得分确定单元531进一步包括:
概率关联性评分子单元5311,其被配置为:对于每个候选可操作项,统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作的概率,以得到该候选可操作项的概率关联性评分;
时间关联性评分子单元5312,其被配置为:对于每个候选可操作项,统计从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间值,以得到该候选可操作项的时间关联性评分;
关联性得分计算子单元5313,其被配置为:将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分。
在图5所示的实施例中,数据加载单元513进一步包括如下中的至少一个:
第一加载子单元5131,其被配置为:将所述数据从数据库加载到缓存系统;
第二加载子单元5132,其被配置为:将所述数据从缓存系统的最后一级缓存加载到其上一级缓存中。
在图5所示的实施例中,数据加载装置501还包括:
对应表生成模块540,其被配置为:根据通过缓存配置页面输入的埋点标识和相对应的需提前导入的数据的数据字段,生成并保存所述埋点-提前导入数据对应表。
上述装置中各个单元/模块的功能和作用的实现过程以及相关细节具体详见上述方法实施例中对应步骤的实现过程,在此不再赘述。
以上各实施例中的装置实施例可以通过硬件、软件、固件或其组合的方式来实现,并且其可以被实现为一个单独的装置,也可以被实现为各组成单元/模块分散在一个或多个计算设备中并分别执行相应功能的逻辑集成系统。
以上各实施例中组成该装置的各单元/模块是根据逻辑功能而划分的,它们可以根据逻辑功能被重新划分,例如可以通过更多或更少的单元/模块来实现该装置。这些组成单元/模块分别可以通过硬件、软件、固件或其组合的方式来实现,它们可以是分别的独立部件,也可以是多个组件组合起来执行相应的逻辑功能的集成单元/模块。所述硬件、软件、固件或其组合的方式可以包括:分离的硬件组件,通过编程方式实现的功能模块、通过可编程逻辑器件实现的功能模块,等等,或者以上方式的组合。
根据一个示例性实施例,该装置可被实现为一种计算设备,该计算设备包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序在被所述处理器执行时,使得所述计算设备执行如上所述的各方法实施例中的任一个,即,所述计算机程序在被所述处理器执行时使得该计算设备实现如上所述的数据加载装置各实施例的组成单元/模块所实现的功能。
上面的实施例中所述的处理器可以指单个的处理单元,如中央处理单元CPU,也可以是包括多个分散的处理单元的分布式处理器系统。
上面的实施例中所述的存储器可以包括一个或多个存储器,其可以是计算设备的内部存储器,例如暂态或非暂态的各种存储器,也可以是通过存储器接口连接到计算设备的外部存储装置。
图6示出了这样的计算设备601的一个示例性实施例的示意组成框图。如图6所示,计算设备601可以包括:处理器610、通信接口620、存储器630和总线640。存储器630内存储有可被处理器610执行的计算机程序。处理器610执行所述计算机程序时实现上述实施例中的方法及装置的功能。存储器630和处理器610的数量分别可以为一个或多个。通信接口620用于处理器610与外部设备之间的通信。
其中,处理器610可以是中央处理单元、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的流程步骤、功能单元/模块和/或电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合、数字信号处理器等等。
存储器630可以包括易失性存储器和/或非易失性存储器,例如非易失性动态随机存取存储器、相变随机存取存储器、磁阻式随机存取存储器、磁盘存储器、电子可擦除可编程只读存储器、闪存器件、半导体器件(例如固态硬盘)等。存储器630可选地还可以是外部远程存储装置。
总线640可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,Peripheral Component)总线或扩展工业标准体系结构(EISA,Extended Industry Standard Component)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。可选地,如果存储器630、处理器610及通信接口620集成在一块芯片上,则存储器630、处理器610及通信接口620可以通过内部接口完成相互间的通信。
以上各方法和装置实施例还可以被实现为计算机程序的形式,被存储在存储介质上,并且可被分发。因此,根据本公开的另一方面,还提供一种计算机可读存储介质,其上存储有可供处理器执行的计算机程序,所述计算机程序在被处理器执行时实现如上所述的各方法和装置实施例中的任一个。根据本申请的又一方面,还提供一种计算机程序产品,该计算机程序产品被存储在计算机可读存储介质上,并且在被处理器执行时实现如上所述的各方法和装置实施例中的任一个。
该计算机可读存储介质可以是任何可以保持和存储可由指令执行设备使用的指令的有形设备。例如,其可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机程序/计算机指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
本公开中所述的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本发明的各个方面。
这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。但本领域技术人员应当清楚的是,上述各实施例可以根据需要单独使用或者相互结合使用。另外,对于装置实施例而言,由于其是与方法实施例相对应,所以描述得比较简单,相关之处参见方法实施例的对应部分的说明即可。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种数据加载方法,其特征在于,包括:
对于每个候选可操作项,统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作的概率,以得到该候选可操作项的概率关联性评分;
对于每个候选可操作项,统计从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间值,以得到该候选可操作项的时间关联性评分;
将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分;
从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置;
识别来自应用的服务预请求中包含的埋点的标识和用户的标识,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;所述应用中预置的埋点包括对应于不同服务场景的埋点,不同服务场景所需要的数据不同;
根据所述埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段;
根据所述用户的标识将所述用户的对应于所述数据字段的数据加载到缓存系统;
响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。
2.如权利要求1所述的数据加载方法,其特征在于,所述方法还包括:
确定所述应用的用户可操作界面上用于设置埋点的一个或多个可操作项。
3.如权利要求1或2所述的数据加载方法,其特征在于,所述将与所述服务预请求对应的数据加载到缓存系统中包括如下中的至少一个:
将所述数据从数据库加载到缓存系统;
将所述数据从缓存系统的最后一级缓存加载到其上一级缓存中。
4.如权利要求1所述的数据加载方法,其特征在于,在所述响应于来自应用的服务预请求将与所述服务预请求对应的数据加载到缓存系统中之前,所述方法还包括:
根据通过缓存配置页面输入的埋点标识和相对应的需提前导入的数据的数据字段,生成并保存所述埋点-提前导入数据对应表。
5.一种数据加载装置,其特征在于,包括:
数据加载模块,其被配置为:对于每个候选可操作项,统计用户在操作了该可操作项后最终又进行了触发服务正式请求的后续操作的概率,以得到该候选可操作项的概率关联性评分;对于每个候选可操作项,统计从操作该可操作项到最终进行触发服务正式请求的后续操作之间的统计时间值,以得到该候选可操作项的时间关联性评分;将每个候选可操作项的概率关联性评分、时间关联性评分或者二者的加权和作为该候选可操作项的关联性得分;从候选可操作项中选择关联性得分最大的一个可操作项或者关联性较大的多个可操作项作为用于设置埋点的位置;识别来自应用的服务预请求中包含的埋点的标识和用户的标识,其中,所述服务预请求是由于用户的操作触发了所述应用中预置的埋点而导致的;所述应用中预置的埋点包括对应于不同服务场景的埋点,不同服务场景所需要的数据不同;根据所述埋点的标识查找预先配置的埋点-提前导入数据对应表,以确定需要提前导入的数据的数据字段;根据所述用户的标识将所述用户的对应于所述数据字段的数据加载到缓存系统;
服务提供模块,其被配置为:响应于来自所述应用的服务正式请求,使用缓存系统中所加载的所述数据进行服务,其中所述服务正式请求是所述用户的后续操作导致的。
6.一种计算设备,所述计算设备包括存储器和处理器,所述存储器中存储有计算机程序,所述计算机程序在被所述处理器执行时,使得所述计算设备执行如权利要求1至4中任一项所述的数据加载方法。
7.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被一个或多个处理器执行时实现如权利要求1至4中任一项所述的数据加载方法。
CN201810962622.0A 2018-08-22 2018-08-22 数据加载方法、装置、计算设备和计算机可读存储介质 Active CN109284321B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810962622.0A CN109284321B (zh) 2018-08-22 2018-08-22 数据加载方法、装置、计算设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810962622.0A CN109284321B (zh) 2018-08-22 2018-08-22 数据加载方法、装置、计算设备和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109284321A CN109284321A (zh) 2019-01-29
CN109284321B true CN109284321B (zh) 2024-02-02

Family

ID=65183376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810962622.0A Active CN109284321B (zh) 2018-08-22 2018-08-22 数据加载方法、装置、计算设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109284321B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569462A (zh) * 2019-07-31 2019-12-13 深圳市富途网络科技有限公司 一种网络请求数据管理方法、数据管理设备及可读介质
CN110661681B (zh) * 2019-09-12 2021-06-04 北京市天元网络技术股份有限公司 埋点设计方法和设备
CN110674173A (zh) * 2019-09-24 2020-01-10 支付宝(杭州)信息技术有限公司 一种风控云上的数据缓存的方法和系统
CN111731207A (zh) * 2020-06-18 2020-10-02 北京百度网讯科技有限公司 车辆配置信息的获取方法、装置、设备以及存储介质
CN113761410A (zh) * 2020-07-23 2021-12-07 北京京东振世信息技术有限公司 数据处理方法及装置
CN112667681A (zh) * 2020-12-21 2021-04-16 北京字跳网络技术有限公司 数据缓存方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348650A (zh) * 2013-08-05 2015-02-11 腾讯科技(深圳)有限公司 网站的监控方法、业务装置及系统
CN107196788A (zh) * 2017-05-02 2017-09-22 阿里巴巴集团控股有限公司 一种埋点数据的处理方法、装置、服务器及客户端
CN107609184A (zh) * 2017-09-30 2018-01-19 北京奇虎科技有限公司 基于网页浏览行为的数据加载方法及装置
CN108132814A (zh) * 2017-12-22 2018-06-08 平安养老保险股份有限公司 应用程序的页面加载方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104348650A (zh) * 2013-08-05 2015-02-11 腾讯科技(深圳)有限公司 网站的监控方法、业务装置及系统
CN107196788A (zh) * 2017-05-02 2017-09-22 阿里巴巴集团控股有限公司 一种埋点数据的处理方法、装置、服务器及客户端
CN107609184A (zh) * 2017-09-30 2018-01-19 北京奇虎科技有限公司 基于网页浏览行为的数据加载方法及装置
CN108132814A (zh) * 2017-12-22 2018-06-08 平安养老保险股份有限公司 应用程序的页面加载方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN109284321A (zh) 2019-01-29

Similar Documents

Publication Publication Date Title
CN109284321B (zh) 数据加载方法、装置、计算设备和计算机可读存储介质
CN111738737B (zh) 数字物权凭证的生成方法、装置及设备
CN110162512B (zh) 一种日志检索方法、装置及存储介质
CN104834660A (zh) 基于区间的模糊数据库搜索
CN113495797A (zh) 一种消息队列及消费者动态创建方法及系统
CN106202440B (zh) 数据处理方法、装置及设备
CN115599386A (zh) 代码生成方法、装置、设备及存储介质
CN109213782B (zh) 搜索界面的配置、显示方法、装置及通信设备
CN111694992A (zh) 一种数据处理方法和装置
CN113434063A (zh) 一种信息显示方法、装置及设备
CN113408254A (zh) 一种页面表单信息填写方法、装置、设备和可读介质
CN112258295A (zh) 记录处理方法、装置及设备
CN109284833B (zh) 为机器学习模型获取特征数据的方法、设备和存储介质
CN110427538B (zh) 一种数据查询方法、存储方法、装置及电子设备
US11023426B1 (en) Method and system for detection of open source web application version
CN114611039B (zh) 异步加载规则的解析方法、装置、存储介质和电子设备
US20220229858A1 (en) Multi-cloud object store access
CN114493799A (zh) 一种分库分表管理专车订单数据的方法及系统
CN112966029A (zh) 一种信息显示和发送方法、装置、设备和可读介质
EP2990960A1 (en) Data retrieval via a telecommunication network
CN111367703A (zh) 故障排查方法及装置
CN113420037B (zh) 资产数据实时变更方法及装置
CN111414162B (zh) 一种数据处理方法、装置及其设备
CN114356292A (zh) 交互信息处理方法、装置及计算机设备
CN115310994A (zh) 基于标签的评价方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant