CN113051448A - 数据处理方法、装置、电子设备及存储介质 - Google Patents

数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113051448A
CN113051448A CN202110287222.6A CN202110287222A CN113051448A CN 113051448 A CN113051448 A CN 113051448A CN 202110287222 A CN202110287222 A CN 202110287222A CN 113051448 A CN113051448 A CN 113051448A
Authority
CN
China
Prior art keywords
data
target
static
processing
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110287222.6A
Other languages
English (en)
Inventor
李祖正
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202110287222.6A priority Critical patent/CN113051448A/zh
Publication of CN113051448A publication Critical patent/CN113051448A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Technology Law (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及数据处理技术,尤其涉及一种数据处理方法、装置、电子设备及存储介质,该方法包括:获取目标业务类型;确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;对所述静态数据进行第一处理,得到目标静态数据;对所述动态数据进行第二处理,得到目标动态数据;依据所述目标静态数据和所述目标动态数据进行展示操作。采用本申请实施例能够提升数据展示效率。

Description

数据处理方法、装置、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域,具体涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
数据监控视图,也就是俗称的大盘,为一些后台管理系统提供了实时查看监控生产运营数据的窗口,从而可以及时把握趋势,进行业务策略调整。然而不管界面各种统计汇总视图如何丰富和花哨都离不开后台高效的查询计算逻辑。后台审批系统有一个进件监控大盘页面,需要树形展示贷款进件当天实时各种处理状态数量,例如提交量,待分配量,挂起量等。树形结构包含事业部,机构,城市,渠道和抵押情况5级维度。由于这几个维度的属性并没有保存在同一张业务表中,也不适合建立索引。后台统计结构化查询语言(Structured Query Language,SQL)耗时较长,尤其随着数据的增多,愈发影响大盘页面的加载速度,故针对这种场景,提出如下优化方案。如何提升数据展示效率的问题亟待解决。
发明内容
本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质,能够提升数据展示效率。
第一方面,本申请实施例提供一种数据处理方法,所述方法包括:
获取目标业务类型;
确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
对所述静态数据进行第一处理,得到目标静态数据;
对所述动态数据进行第二处理,得到目标动态数据;
依据所述目标静态数据和所述目标动态数据进行展示操作。
第二方面,本申请实施例提供一种数据处理装置,所述装置包括:获取单元、确定单元、第一处理单元、第二处理单元和展示单元,其中,
所述获取单元,用于获取目标业务类型;
所述确定单元,用于确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
所述第一处理单元,用于对所述静态数据进行第一处理,得到目标静态数据;
所述第二处理单元,用于对所述动态数据进行第二处理,得到目标动态数据;
所述展示单元,用于依据所述目标静态数据和所述目标动态数据进行展示操作。
第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中所描述的数据处理方法、装置、电子设备及存储介质,获取目标业务类型,确定与目标业务类型对应的参考数据,参考数据包括静态数据和动态数据,静态数据为存储于第一指定存储区域的数据,动态数据为存储于第二指定存储区域的数据,对静态数据进行第一处理,得到目标静态数据,对动态数据进行第二处理,得到目标动态数据,依据目标静态数据和目标动态数据进行展示操作,从而,针对业务数据将其数据划分静态数据和动态数据,由于静态数据和动态数据作用不一样,将静态数据和动态数据实现分类以及区别处理,有助于减少数据量以及实现数据批量处理,再将处理后的数据进行展示,由于前期数据处理速度得以提升,且降低了待展示数据量,进而,有助于提升数据展示效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图;
图2是本申请实施例提供的另一种数据处理方法的流程示意图;
图3是本申请实施例提供的一种电子设备的结构示意图;
图4是本申请实施例提供的一种数据处理装置的功能单元组成框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是在一个可能地示例中还包括没有列出的步骤或单元,或在一个可能地示例中还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备(如手机、平板电脑、POS机等等)、台式机、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、AI机器人、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,UE),移动台(mobilestation,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1,图1是本申请实施例提供的一种数据处理方法的流程示意图,如图所示,应用于电子设备,本数据处理方法包括:
101、获取目标业务类型。
其中,目标业务类型可以金融类、教育类等业务类型,本实施例以金融类为例,目标业务类型可以为以下至少一种业务:贷款业务、还款业务、保险业务、申诉业务等等,在此不作限定。具体实现中,电子设备可以进行监控大盘页面,该监控大盘页面中可以包括多个业务类型,可以选取其中的一个业务类型作为目标业务类型。
在一个可能地示例中,上述步骤101,获取目标业务类型,可以包括如下步骤:
11、获取目标触控参数;
12、按照预设的触控参数与业务类型之间的映射关系,确定与所述目标触控参数对应的所述目标业务类型。
其中,触控参数可以为以下至少一种:触控力度、触控次数、触控面积、触控时间、触控轨迹、触控位置等等,在此不作限定,触控力度可以为触控时间处于预设时间段内的平均触控力度,触控面积可以为触控力度处于预设触控力度范围内的平均触控面积、触控时间可以为触控位置处于预设位置且触控力度大于预设力度的触控时长等等,在此不作限定,预设时间段、预设触控力度范围、预设位置、预设力度均可以由用户自行设置或者系统默认。
具体实现中,电子设备中可以预先存储预设的触控参数与业务类型之间的映射关系,进而,电子设备可以获取目标触控参数,按照该映射关系,确定目标触控参数对应的目标业务类型,进而,实现通过触控操作以实现业务类型选择。
102、确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据。
具体实现中,上述第一指定存储区域和第二指定存储区域可以由用户自行设置或者系统默认。第一指定存储区域用于存储静态数据,第二指定存储区域用于存储动态数据。静态数据可以是指在运行过程中主要作为控制或参考用的数据,它们在很长的一段时间内不会变化,一般不随运行而变。动态数据可以包括所有在运行中发生变化的数据以及在运行中需要输入、输出的数据及在连机操作中要改变的数据。电子设备可以从第一指定存储区域中获取静态数据,还可以从第二指定存储区域中获取动态数据,不同的业务类型可以对应不同的数据,数据可以包括静态数据和动态数据。数据可以以树形结构的形式进行展示。大部分时候很多子节点数据其实是没有的,即指标量为0。静态数据和动态数据均可以以树形结构呈现。例如,以贷款业务为例,可以以树形展示贷款进件当天实时各种处理状态数量,例如提交量,待分配量,挂起量等等。
举例说明下,各个维度的总数据量:事业部数*机构数*城市数*渠道数*抵押情况。如果查询全部,即使所有统计指标都为0,也要在后台查询组装数千条记录传到前台展示。目前查询全部进件监控指标要耗时1-2分钟左右。事业部机构城市保存在配置基表中,渠道保存在案件扩展表中,抵押情况保存在房产信息表中。3个表关联很明显会产生笛卡儿积,造成每统计一个指标都得添加去重函数distinc进行关键字去重。distinct在oracle数据库中又比较消耗性能。
在一个可能地示例中,上述步骤102,确定与所述目标业务类型对应的参考数据,可以包括如下步骤:
21、获取用户的目标身份信息;
22、按照预设的身份信息与获取权限之间的映射关系,确定所述目标身份信息对应的目标获取权限;
23、依据所述目标获取权限获取预设数据库中获取相应的存储区域标识,依据所述存储区域标识从所述预设数据库中获取第一数据;
24、从所述第一数据中获取与所述目标类型数据对应的所述参考数据。
其中,身份信息可以为以下至少一种:指纹图像、虹膜图像、人脸图像、字符串、用户名、MAC地址等等,在此不做限定。电子设备中可以预先存储预设的身份信息与获取权限之间的映射关系。预设数据库中可以预先存储各种数据。
进一步地,电子设备可以获取用户的目标身份信息,并按照预设的身份信息与获取权限之间的映射关系,确定目标身份信息对应的目标获取权限,不同的权限,其对应的存储区域标识不一样,即电子设备中可以预先存储权限与存储区域标识之间的映射关系,进而,可以依据该映射关系获取目标获取权限对应的存储区域标识,再从预设数据库中获取与该存储区域标识对应的第一数据,由于数据均有对应的数据类型,进而,可以从第一数据中获取与目标类型数据对应的参考数据,如此,可以获取与用户身份相应的数据。
103、对所述静态数据进行第一处理,得到目标静态数据。
具体实现中,针对静态数据,电子设备可以将全部维度的子节点指标初始化为0,系统启动的时候就将其放入redis缓存中,例如,设置失效时间为1小时。因为机构城市是可以动态配置的,初始化数据不是一成不变的,所以,需要设置一下失效时间,并提供手动触发缓存刷新功能。这样除了失效需要重新加载一次,节省了其余每次统计都要去数据库中捞取数千条记录的耗时。
在一个可能地示例中,上述步骤103,对所述静态数据进行第一处理,得到目标静态数据,可以包括如下步骤:
31、将所述静态数据对应的子节点初始化为0,并将初始化后的静态数据存入预设缓存;
32、配置所述静态数据中的每一数据的失效时间;
33、依据所述失效时间对所述预设缓存中的所述静态数据进行处理以清除失效数据,将剩余的有效数据作为所述目标静态数据。
其中,预设缓存可以为一个缓存区域,其可以由用户自行设置或者系统默认。例如,预设缓存可以为redis缓存区域,其失效时间可以为一个时间段或者为一个时长,在此不作限定。具体地,电子设备可以将静态数据对应的子节点初始化为0,并将初始化后的静态数据存入预设缓存,并且还可配置静态数据中的每一数据的失效时间,即缓存数据只在失效时间对应的时间段内有效,在失效时间外的缓存数据则可以被清理掉,依据失效时间对预设缓存中的静态数据进行处理以清除失效数据,进而,可以将剩余的有效数据作为目标静态数据,如此,可以实现对数据静态处理,减少数据监控量,且可以保证数据的新鲜程度。
104、对所述动态数据进行第二处理,得到目标动态数据。
具体实现中,针对动态数据,电子设备可以将当天符合条件的指标统计出来即可,该条件可以由用户自行设置或者系统默认,在条件有用户设置时,其可以根据自身的喜好或者操作习惯配置相应的条件,第二处理的处理方式可以为筛选、分类、关联、过滤、合并、删除等等,在此不作限定。因为不再需要全量捞取数据,只需要根据申请主表去外关联其它维度信息表,关联字段建立索引,大大提高了查询性能。同时,可以根据各种不同的指标特性,充分利用关联表索引分组分SQL统计。例如:处理中量,挂起量,回退量和下户量只是状态的不同,关联表条件都是一致的,可归为一组;通过量,拒绝量都要从历史结论表过滤,归为一组。第一处理方式与第二处理方式不一样,第一处理方式适用于静态数据处理,第二处理方式适用于动态数据处理。
在一个可能地示例中,上述步骤104,对所述动态数据进行第二处理,得到目标动态数据,可以包括如下步骤:
41、获取目标需求参数;
42、按照预设的需求参数与数据属性之间的映射关系,确定所述目标需求参数对应的目标数据属性;
43、依据所述目标数据属性对所述动态数据进行筛选处理,得到所述目标动态数据。
其中,具体实现中,需求参数则可以表示用户意愿,即通过需求参数可以实现获取用户需要的动态数据,需求参数可以为以下至少一种:时间段、数据类型、数据类源、业务类型、数据用途等等,在此不作限定,数据属性可以为以下至少一种:索引位置、数据类型、数据生成时间、数据存在时长、数据的存储区域等等,在此不作限定。需求参数可以由用户自行设置或者系统默认,例如,不同的控件可以对应不同的需求参数,用户通过控件实现人机互动,以选取相应的需求参数。
具体实现中,电子设备中可以预先存储预设的需求参数与数据属性之间的映射关系,电子设备可以获取目标需求参数,按照预设的需求参数与数据属性之间的映射关系,确定目标需求参数对应的目标数据属性,依据目标数据属性对动态数据进行筛选处理,得到目标动态数据,即得到用户需要的动态数据,如此,可以实现对数据动态处理,尽可能得到与用户需求相关的数据。
105、依据所述目标静态数据和所述目标动态数据进行展示操作。
具体地,电子设备可以取出缓存目标静态数据的节点统计指标,将每一个节点记录5级维度合并成一个唯一的key,去匹配目标动态数据中动态统计出来的节点信息,然后,覆盖目标动态数据中对应指标,同时,各子节点可以按默认字符规则排序,组装树形结构返回前端展示,默认字符规则可以预先保存在电子设备中。
具体实现中,以监控大盘页面为例,因为该界面提供了查询条件,动态数据和静态数据都可以分别根据条件去匹配。静态部分可以从缓存中直接在jvm中过滤,处理速度极快。动态数据因为有条件地过滤,本身也可以减少统计的数据量,加快SQL查询速度,从而,整体实现数据展示效率。本申请实施例针对动态数据和静态数据差异化处理,具体地,可以采用一个进程或者线程处理动态数据,以及采用另一个进程或者线程处理静态数据,进而,利用双进程或者双线程能够实现快速数据处理,提升后续数据展示效率。
在一个可能地示例中,上述步骤105,依据所述目标静态数据和所述目标动态数据进行展示操作,可以包括如下步骤:
51、获取所述目标静态数据对应的树形结构,并确定所述树形结构对应的第一节点信息;
52、依据所述第一节点信息进行哈希运算,得到目标关键信息;
53、依据所述目标关键信息确定所述目标动态数据中对应的第二节点信息;
54、依据所述第一节点信息和所述第二节点信息进行展示操作。
其中,电子设备可以获取目标静态数据中的部分或者全部节点作为第一节点,并获取其对应的节点信息,依据这些节点信息进行哈希运算,可以得到其对应的目标关键信息,即Key,然后,可以依据该目标关键信息对目标动态数据进行节点匹配,得到匹配的节点,并获取其节点信息,即第二节点信息,依据第一节点信息和第二节点信息可以组装成树形结构,例如,第一节点信息及其后续节点则可以对应一个树形结构,第二节点信息及其后续节点也可以对应一个树形结构,则可以将该两个树形结构组装,得到组装后的树形结构,最后,可以展示组装后的树形结构,进而,可以实现快速展示。
在一个可能地示例中,在步骤102确定与所述目标业务类型对应的参考数据之后,以及步骤103,对所述静态数据进行第一处理,得到目标静态数据之前,还可以包括如下步骤:
A1、确定所述参考数据的当前数据量;
A2、确定所述参考数据的数据增速;
A3、获取所述目标业务类型对应的参考数据量;
A4、确定所述参考数据量与所述当前数据量之间的差值,将所述差值与所述数据增速之间的比值作为倒计时;
A5、在所述倒计时结束时,执行所述对所述静态数据进行第一处理,得到目标静态数据的步骤。
其中,电子设备可以获取参考数据的当前数据量,还可以获取一段时间内参考数据的变化曲线,基于该变化曲线确定参考数据的数据增速,例如,将变化曲线进行拟合,得到拟合直线,将该拟合直线的斜率作为数据增速,或者,也可以将变化曲线进行均匀采样,得到多个采样点,确定相邻采样点之间的变化值,将得到的变化值的均值作为数据增速,不同业务类型其对应的参考数据量不一样,电子设备中可以预先存储业务类型与参考数据量之间的映射关系,进而,依据该映射关系确定目标业务类型对应的参考数据量,再结合当前数据量、数据增速以及参考数据量确定倒计时,具体地,可以按照如下公式实现:
倒计时=(参考数据量-当前数据量)/数据增速
进而,在倒计时结束时,倒计时在一定程度上可以理解为当前数据量若要增长到参考数据量的一个预估时间,在倒计时结束时,说明当前数据量达到了参考数据量,参考数据量可以理解为数据量足够大,需要采用本申请步骤103以及其后续步骤进行展示以提升展示效率,当然,当前数据量未达到参考数据量,则说明缓存数据还未达到数据量大的标准,则可以直接展示,不必进行步骤103及其后续处理,如此,能够依据数据增长速率,设置倒计时,以实现数据量较大时,将动静数据区别处理,数据量较小时,则可以常规展示,有助于提升数据展示效率,以及提升数据展示的灵活性。
可以看出,本申请实施例中所描述的数据处理方法,获取目标业务类型,确定与目标业务类型对应的参考数据,参考数据包括静态数据和动态数据,对静态数据进行第一处理,得到目标静态数据,对动态数据进行第二处理,得到目标动态数据,依据目标静态数据和目标动态数据进行展示操作,从而,针对业务数据将其数据划分静态数据和动态数据,由于静态数据和动态数据作用不一样,将静态数据和动态数据实现分类以及区别处理,有助于减少数据量以及实现数据批量处理,再将处理后的数据进行展示,由于前期数据处理速度得以提升,且降低了待展示数据量,进而,有助于提升数据展示效率。
请参阅图2,图2是本申请实施例提供的一种数据处理方法的流程示意图,应用于电子设备,如图所示,本数据处理方法包括:
201、获取目标业务类型。
202、确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据。
203、确定所述参考数据的当前数据量。
204、确定所述参考数据的数据增速。
205、获取所述目标业务类型对应的参考数据量。
206、依据所述当前数据量、所述数据增速和所述参考数据量确定倒计时。
207、在所述倒计时结束时,对所述静态数据进行第一处理,得到目标静态数据。
208、对所述动态数据进行第二处理,得到目标动态数据。
209、依据所述目标静态数据和所述目标动态数据进行展示操作。
其中,上述步骤201-步骤209的具体描述可以参照上述图1所描述的相应步骤,在此不再赘述。
可以看出,本申请实施例中所描述的数据处理方法,获取目标业务类型,确定与目标业务类型对应的参考数据,参考数据包括静态数据和动态数据,静态数据为存储于第一指定存储区域的数据,动态数据为存储于第二指定存储区域的数据,确定参考数据的当前数据量,确定参考数据的数据增速,获取目标业务类型对应的参考数据量,依据当前数据量、数据增速和参考数据量确定倒计时,在倒计时结束时,对静态数据进行第一处理,得到目标静态数据,对动态数据进行第二处理,得到目标动态数据,依据目标静态数据和目标动态数据进行展示操作,一方面能够将数据划分静态数据和动态数据,还能够将其区别处理,将处理后的数据进行展示,从而,针对业务数据将其数据划分静态数据和动态数据,由于静态数据和动态数据作用不一样,将静态数据和动态数据实现分类以及区别处理,有助于减少数据量以及实现数据批量处理,再将处理后的数据进行展示,由于前期数据处理速度得以提升,且降低了待展示数据量,进而,有助于提升数据展示效率。
与上述实施例一致地,请参阅图3,图3是本申请实施例提供的一种电子设备的结构示意图,如图所示,该电子设备包括处理器、存储器、通信接口以及一个或多个程序,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
获取目标业务类型;
确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
对所述静态数据进行第一处理,得到目标静态数据;
对所述动态数据进行第二处理,得到目标动态数据;
依据所述目标静态数据和所述目标动态数据进行展示操作。
可以看出,本申请实施例中所描述的电子设备,获取目标业务类型,确定与目标业务类型对应的参考数据,参考数据包括静态数据和动态数据,静态数据为存储于第一指定存储区域的数据,动态数据为存储于第二指定存储区域的数据,对静态数据进行第一处理,得到目标静态数据,对动态数据进行第二处理,得到目标动态数据,依据目标静态数据和目标动态数据进行展示操作,从而,针对业务数据将其数据划分静态数据和动态数据,由于静态数据和动态数据作用不一样,将静态数据和动态数据实现分类以及区别处理,有助于减少数据量以及实现数据批量处理,再将处理后的数据进行展示,由于前期数据处理速度得以提升,且降低了待展示数据量,进而,有助于提升数据展示效率。
在一个可能地示例中,在所述对所述静态数据进行第一处理,得到目标静态数据方面,上述程序包括用于执行以下步骤的指令:
将所述静态数据对应的子节点初始化为0,并将初始化后的静态数据存入预设缓存;
配置所述静态数据中的每一数据的失效时间;
依据所述失效时间对所述预设缓存中的所述静态数据进行处理以清除失效数据,将剩余的有效数据作为所述目标静态数据。
在一个可能地示例中,在所述对所述动态数据进行第二处理,得到目标动态数据方面,上述程序包括用于执行以下步骤的指令:
获取目标需求参数;
按照预设的需求参数与数据属性之间的映射关系,确定所述目标需求参数对应的目标数据属性;
依据所述目标数据属性对所述动态数据进行筛选处理,得到所述目标动态数据。
在一个可能地示例中,在所述依据所述目标静态数据和所述目标动态数据进行展示操作方面,上述程序包括用于执行以下步骤的指令:
获取所述目标静态数据对应的树形结构,并确定所述树形结构对应的第一节点信息;
依据所述第一节点信息进行哈希运算,得到目标关键信息;
依据所述目标关键信息确定所述目标动态数据中对应的第二节点信息;
依据所述第一节点信息和所述第二节点信息进行展示操作。
在一个可能地示例中,在所述获取目标业务类型方面,上述程序包括用于执行以下步骤的指令:
获取目标触控参数;
按照预设的触控参数与业务类型之间的映射关系,确定与所述目标触控参数对应的所述目标业务类型。
在一个可能地示例中,在所述确定与所述目标业务类型对应的参考数据方面,上述程序包括用于执行以下步骤的指令:
获取用户的目标身份信息;
按照预设的身份信息与获取权限之间的映射关系,确定所述目标身份信息对应的目标获取权限;
依据所述目标获取权限获取预设数据库中获取相应的存储区域标识,依据所述存储区域标识从所述预设数据库中获取第一数据;
从所述第一数据中获取与所述目标类型数据对应的所述参考数据。
在一个可能地示例中,在所述确定与所述目标业务类型对应的参考数据之后,以及所述对所述静态数据进行第一处理,得到目标静态数据之前,上述程序还包括用于执行以下步骤的指令:
确定所述参考数据的当前数据量;
确定所述参考数据的数据增速;
获取所述目标业务类型对应的参考数据量;
确定所述参考数据量与所述当前数据量之间的差值,将所述差值与所述数据增速之间的比值作为倒计时;
在所述倒计时结束时,执行所述对所述静态数据进行第一处理,得到目标静态数据的步骤。
上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图4是本申请实施例中所涉及的数据处理装置400的功能单元组成框图。该数据处理装置400,所述装置400包括:获取单元401、确定单元402、第一处理单元403、第二处理单元404和展示单元405,其中,
所述获取单元401,用于获取目标业务类型;
所述确定单元402,用于确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
所述第一处理单元403,用于对所述静态数据进行第一处理,得到目标静态数据;
所述第二处理单元404,用于对所述动态数据进行第二处理,得到目标动态数据;
所述展示单元405,用于依据所述目标静态数据和所述目标动态数据进行展示操作。
可以看出,本申请实施例中所描述的数据处理装置,获取目标业务类型,确定与目标业务类型对应的参考数据,参考数据包括静态数据和动态数据,对静态数据进行第一处理,得到目标静态数据,静态数据为存储于第一指定存储区域的数据,动态数据为存储于第二指定存储区域的数据,对动态数据进行第二处理,得到目标动态数据,依据目标静态数据和目标动态数据进行展示操作,从而,针对业务数据将其数据划分静态数据和动态数据,由于静态数据和动态数据作用不一样,将静态数据和动态数据实现分类以及区别处理,有助于减少数据量以及实现数据批量处理,再将处理后的数据进行展示,由于前期数据处理速度得以提升,且降低了待展示数据量,进而,有助于提升数据展示效率。
在一个可能地示例中,在所述对所述静态数据进行第一处理,得到目标静态数据方面,所述第一处理单元403具体用于:
将所述静态数据对应的子节点初始化为0,并将初始化后的静态数据存入预设缓存;
配置所述静态数据中的每一数据的失效时间;
依据所述失效时间对所述预设缓存中的所述静态数据进行处理以清除失效数据,将剩余的有效数据作为所述目标静态数据。
在一个可能地示例中,在所述对所述动态数据进行第二处理,得到目标动态数据方面,所述第二处理单元404具体用于:
获取目标需求参数;
按照预设的需求参数与数据属性之间的映射关系,确定所述目标需求参数对应的目标数据属性;
依据所述目标数据属性对所述动态数据进行筛选处理,得到所述目标动态数据。
在一个可能地示例中,在所述依据所述目标静态数据和所述目标动态数据进行展示操作方面,所述展示单元405具体用于:
获取所述目标静态数据对应的树形结构,并确定所述树形结构对应的第一节点信息;
依据所述第一节点信息进行哈希运算,得到目标关键信息;
依据所述目标关键信息确定所述目标动态数据中对应的第二节点信息;
依据所述第一节点信息和所述第二节点信息进行展示操作。
在一个可能地示例中,在所述获取目标业务类型方面,所述获取单元401具体用于:
获取目标触控参数;
按照预设的触控参数与业务类型之间的映射关系,确定与所述目标触控参数对应的所述目标业务类型。
在一个可能地示例中,在所述确定与所述目标业务类型对应的参考数据方面,所述确定单元402具体用于:
获取用户的目标身份信息;
按照预设的身份信息与获取权限之间的映射关系,确定所述目标身份信息对应的目标获取权限;
依据所述目标获取权限获取预设数据库中获取相应的存储区域标识,依据所述存储区域标识从所述预设数据库中获取第一数据;
从所述第一数据中获取与所述目标类型数据对应的所述参考数据。
在一个可能地示例中,在所述确定与所述目标业务类型对应的参考数据之后,以及所述对所述静态数据进行第一处理,得到目标静态数据之前,所述装置400还具体用于:
确定所述参考数据的当前数据量;
确定所述参考数据的数据增速;
获取所述目标业务类型对应的参考数据量;
确定所述参考数据量与所述当前数据量之间的差值,将所述差值与所述数据增速之间的比值作为倒计时;
在所述倒计时结束时,执行所述对所述静态数据进行第一处理,得到目标静态数据的步骤。
可以理解的是,本实施例的数据处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、电子设备或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取目标业务类型;
确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
对所述静态数据进行第一处理,得到目标静态数据;
对所述动态数据进行第二处理,得到目标动态数据;
依据所述目标静态数据和所述目标动态数据进行展示操作。
2.根据权利要求1所述的方法,其特征在于,所述对所述静态数据进行第一处理,得到目标静态数据,包括:
将所述静态数据对应的子节点初始化为0,并将初始化后的静态数据存入预设缓存;
配置所述静态数据中的每一数据的失效时间;
依据所述失效时间对所述预设缓存中的所述静态数据进行处理以清除失效数据,将剩余的有效数据作为所述目标静态数据。
3.根据权利要求1或2所述的方法,其特征在于,所述对所述动态数据进行第二处理,得到目标动态数据,包括:
获取目标需求参数;
按照预设的需求参数与数据属性之间的映射关系,确定所述目标需求参数对应的目标数据属性;
依据所述目标数据属性对所述动态数据进行筛选处理,得到所述目标动态数据。
4.根据权利要求1或2所述的方法,其特征在于,所述依据所述目标静态数据和所述目标动态数据进行展示操作,包括:
获取所述目标静态数据对应的树形结构,并确定所述树形结构对应的第一节点信息;
依据所述第一节点信息进行哈希运算,得到目标关键信息;
依据所述目标关键信息确定所述目标动态数据中对应的第二节点信息;
依据所述第一节点信息和所述第二节点信息进行展示操作。
5.根据权利要求1或2所述的方法,其特征在于,所述获取目标业务类型,包括:
获取目标触控参数;
按照预设的触控参数与业务类型之间的映射关系,确定与所述目标触控参数对应的所述目标业务类型。
6.根据权利要求1或2所述的方法,其特征在于,所述确定与所述目标业务类型对应的参考数据,包括:
获取用户的目标身份信息;
按照预设的身份信息与获取权限之间的映射关系,确定所述目标身份信息对应的目标获取权限;
依据所述目标获取权限获取预设数据库中获取相应的存储区域标识,依据所述存储区域标识从所述预设数据库中获取第一数据;
从所述第一数据中获取与所述目标类型数据对应的所述参考数据。
7.根据权利要求1或2所述的方法,其特征在于,在所述确定与所述目标业务类型对应的参考数据之后,以及所述对所述静态数据进行第一处理,得到目标静态数据之前,所述方法还包括:
确定所述参考数据的当前数据量;
确定所述参考数据的数据增速;
获取所述目标业务类型对应的参考数据量;
确定所述参考数据量与所述当前数据量之间的差值,将所述差值与所述数据增速之间的比值作为倒计时;
在所述倒计时结束时,执行所述对所述静态数据进行第一处理,得到目标静态数据的步骤。
8.一种数据处理装置,其特征在于,所述装置包括:获取单元、确定单元、第一处理单元、第二处理单元和展示单元,其中,
所述获取单元,用于获取目标业务类型;
所述确定单元,用于确定与所述目标业务类型对应的参考数据,所述参考数据包括静态数据和动态数据,所述静态数据为存储于第一指定存储区域的数据,所述动态数据为存储于第二指定存储区域的数据;
所述第一处理单元,用于对所述静态数据进行第一处理,得到目标静态数据;
所述第二处理单元,用于对所述动态数据进行第二处理,得到目标动态数据;
所述展示单元,用于依据所述目标静态数据和所述目标动态数据进行展示操作。
9.一种电子设备,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN202110287222.6A 2021-03-17 2021-03-17 数据处理方法、装置、电子设备及存储介质 Pending CN113051448A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287222.6A CN113051448A (zh) 2021-03-17 2021-03-17 数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287222.6A CN113051448A (zh) 2021-03-17 2021-03-17 数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113051448A true CN113051448A (zh) 2021-06-29

Family

ID=76513293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287222.6A Pending CN113051448A (zh) 2021-03-17 2021-03-17 数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113051448A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592293A (zh) * 2021-07-29 2021-11-02 上海掌门科技有限公司 风险识别处理方法、电子设备及计算机可读存储介质
CN114415878A (zh) * 2022-01-26 2022-04-29 厦门雅基软件有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN114637565A (zh) * 2022-03-18 2022-06-17 中国建设银行股份有限公司 界面生成方法、装置、设备及计算机可读存储介质
CN114822076A (zh) * 2022-06-01 2022-07-29 杭州极豆科技有限公司 车位选择方法、装置、设备及存储介质
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254270A1 (en) * 2012-10-05 2015-09-10 Tomtom International B.V. Method for distributing data associated with objects in digital map data
CN107609156A (zh) * 2017-09-26 2018-01-19 微梦创科网络科技(中国)有限公司 一种页面搭建的方法及装置
WO2020140940A1 (zh) * 2019-01-06 2020-07-09 阿里巴巴集团控股有限公司 代码的生成方法、装置、设备及存储介质
CN112073405A (zh) * 2020-09-03 2020-12-11 中国平安财产保险股份有限公司 网页数据加载方法、装置、计算机设备及存储介质
CN112182004A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 实时查看数据方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150254270A1 (en) * 2012-10-05 2015-09-10 Tomtom International B.V. Method for distributing data associated with objects in digital map data
CN107609156A (zh) * 2017-09-26 2018-01-19 微梦创科网络科技(中国)有限公司 一种页面搭建的方法及装置
WO2020140940A1 (zh) * 2019-01-06 2020-07-09 阿里巴巴集团控股有限公司 代码的生成方法、装置、设备及存储介质
CN112073405A (zh) * 2020-09-03 2020-12-11 中国平安财产保险股份有限公司 网页数据加载方法、装置、计算机设备及存储介质
CN112182004A (zh) * 2020-09-29 2021-01-05 中国平安人寿保险股份有限公司 实时查看数据方法、装置、计算机设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113592293A (zh) * 2021-07-29 2021-11-02 上海掌门科技有限公司 风险识别处理方法、电子设备及计算机可读存储介质
CN114415878A (zh) * 2022-01-26 2022-04-29 厦门雅基软件有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN114415878B (zh) * 2022-01-26 2023-09-22 厦门雅基软件有限公司 数据处理方法、装置、电子设备及计算机可读存储介质
CN114637565A (zh) * 2022-03-18 2022-06-17 中国建设银行股份有限公司 界面生成方法、装置、设备及计算机可读存储介质
CN114822076A (zh) * 2022-06-01 2022-07-29 杭州极豆科技有限公司 车位选择方法、装置、设备及存储介质
CN117714475A (zh) * 2023-12-08 2024-03-15 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统
CN117714475B (zh) * 2023-12-08 2024-05-14 江苏云工场信息技术有限公司 用于边缘云存储的智能管理方法及系统

Similar Documents

Publication Publication Date Title
CN113051448A (zh) 数据处理方法、装置、电子设备及存储介质
US10482285B2 (en) Event processing system
CN110705683B (zh) 随机森林模型的构造方法、装置、电子设备及存储介质
US10182024B1 (en) Reallocating users in content sharing environments
CN111260257A (zh) 风控模型构建方法、风控审核方法、装置及计算机设备
US20200175403A1 (en) Systems and methods for expediting rule-based data processing
CN107679718A (zh) 名单分配方法、设备以及计算机可读存储介质
CN111625561B (zh) 一种数据查询方法及装置
CN109918678B (zh) 一种字段含义识别方法和装置
CN110727857A (zh) 针对业务对象识别潜在用户的关键特征的方法及装置
US20210133215A1 (en) Data processing method and system
CN109951541A (zh) 一种流水号生成方法及服务器
TW202020756A (zh) 數據權限管控方法及系統、計算機裝置及可讀存儲介質
CN110943883B (zh) 网络流量统计方法、系统、网关及计算机可读存储介质
WO2019127772A1 (zh) 数据字典展示方法、装置、终端设备及存储介质
CN112182004A (zh) 实时查看数据方法、装置、计算机设备及存储介质
Maruseac et al. Precision-enhanced differentially-private mining of high-confidence association rules
CN112966756A (zh) 一种可视化的准入规则的生成方法、装置、机器可读介质及设备
CN112084262A (zh) 数据信息筛选方法、装置、计算机设备及存储介质
CN113918577B (zh) 数据表识别方法、装置、电子设备及存储介质
WO2023279801A9 (zh) 时序数据库的分区调整方法、装置、设备及可读存储介质
CN111951011B (zh) 监控系统阈值确定方法及装置
KR102343848B1 (ko) 이용자 상태 벡터를 이용한 전환 전략 탐색 방법 및 운영 장치
US12001456B2 (en) Mutual exclusion data class analysis in data governance
CN114036192A (zh) 数据缓存方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination