CN116089474B - 自定义编辑模式下的数据缓存方法、装置、设备及介质 - Google Patents

自定义编辑模式下的数据缓存方法、装置、设备及介质 Download PDF

Info

Publication number
CN116089474B
CN116089474B CN202310209063.7A CN202310209063A CN116089474B CN 116089474 B CN116089474 B CN 116089474B CN 202310209063 A CN202310209063 A CN 202310209063A CN 116089474 B CN116089474 B CN 116089474B
Authority
CN
China
Prior art keywords
data
data model
factor set
selectable
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310209063.7A
Other languages
English (en)
Other versions
CN116089474A (zh
Inventor
温桂龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Mingyuan Cloud Technology Co Ltd
Original Assignee
Shenzhen Mingyuan Cloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Mingyuan Cloud Technology Co Ltd filed Critical Shenzhen Mingyuan Cloud Technology Co Ltd
Priority to CN202310209063.7A priority Critical patent/CN116089474B/zh
Publication of CN116089474A publication Critical patent/CN116089474A/zh
Application granted granted Critical
Publication of CN116089474B publication Critical patent/CN116089474B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24552Database cache management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • G06F16/211Schema design and management
    • G06F16/212Schema design and management with details for data modelling support
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种自定义编辑模式下的数据缓存方法、装置、设备及介质,该方法包括:基于自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;将自定义编辑模式下使用频率大于预设频率阈值的可选数据模型作为目标数据模型;缓存目标数据模型对应的数据值。可以理解的是,本申请方案细分了缓存的对象,即根据可选的各维度和各指标进行组合得到较小颗粒度的数据模型,再将使用频率较高,即使用频率大于预设频率阈值的可选数据模型作为目标数据,再缓存目标数据模型对应的数据值。实现在有限的缓存空间中尽可能提高自定义报表获取数据的速度,从而加快报表的生成速度或者分析速度,提高用户体验。

Description

自定义编辑模式下的数据缓存方法、装置、设备及介质
技术领域
本申请涉及BI(BusinessIntelligence,商业智能)领域,尤其涉及一种自定义编辑模式下的数据缓存方法、装置、设备及介质。
背景技术
在大数据时代,BI分析技术为各行各业提供决策过程的支持能力,逐渐成为大数据技术体系中的基础能力之一。目前,传统的BI报表的流程可以包括,清洗数据:连接数据源、通过SQL(Structured Query Language,构化查询语言)语句等构建数据集,得到明确的数据;制作报表:报表工程师,拖拽数据集中的维度、指标等,制作报表;查看报表:用户查看报表。此外,为满足用户个性化需求,还出现一种允许用户自助进行探索分析的报表自助模式,在自助模式下用户可以根据自身需求编辑自定义报表。但不管在哪种模式下的BI报表,通常都会结合大数据使用,而在大数据场景下,往往需要进行数据的缓存。其中,传统BI报表由于数据集、报表的定义已经固定,其取数的SQL往往是固定的,故数据缓存十分方便。但是基于自助分析的特征,报表中的维度、指标最终将会如何组合成何种数据,是由用户最终拖拽决定的,如果穷举报表的每种可能并进行缓存,则会浪费大量的空间资源,因此,自助分析场景下的报表数据缓存成为亟待解决的问题。
上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。
发明内容
本申请的主要目的在于提供一种自定义编辑模式下的数据缓存方法、装置、设备及计算机可读存储介质,旨在解决自助分析场景下的报表数据缓存难的技术问题。
为实现上述目的,本申请提供一种自定义编辑模式下的数据缓存方法,所述自定义编辑模式下的数据缓存方法包括以下步骤:
基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存所述目标数据模型对应的数据值。
进一步的,所述可选数据模型包括单元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤包括:
遍历各所述可选数据维度和各所述可选数据指标组合得到各所述单元数据模型,其中,所述单元数据模型由一个所述可选数据维度和一个所述可选数据指标组成。
进一步的所述可选数据模型还包括多元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤还包括:
基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成。
进一步的,在所述缓存所述目标数据模型对应的数据值的步骤之后,所述方法包括:
若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集;
基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。
进一步的,所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集的步骤包括:
保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
进一步的,所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤包括:
统计近时段内各所述可选数据模型被选中参与自定义报表编辑过程的所述使用频率,其中,所述近时段内是指在当前时刻之前的预设时间段内;
将所述使用频率大于所述预设频率阈值的所述可选数据模型作为所述目标数据模型。
进一步的,所述可选数据模型还配置有运算方式,所述缓存所述目标数据模型对应的数据值的步骤包括:
基于所述目标数据模型中的数据维度和数据指标从数据库中获取基础数据;
基于所述目标数据模型配置的运算方式对所述基础数据进行运算得到所述数据值,并将所述数据值和所述目标数据模型关联缓存。
此外,为实现上述目的,本申请还提供一种自定义编辑模式下的数据缓存装置,所述自定义编辑模式下的数据缓存装置包括:
生成模块,用于基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
判断模块,用于将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存模块,用于缓存所述目标数据模型对应的数据值。
此外,为实现上述目的,本申请还提供一种自定义编辑模式下的数据缓存设备,所述自定义编辑模式下的数据缓存设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被所述处理器执行时实现如上述的自定义编辑模式下的数据缓存方法的步骤。
此外,为实现上述目的,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被处理器执行时实现如上述的自定义编辑模式下的数据缓存方法的步骤。
本申请实施例提出的一种自定义编辑模式下的数据缓存方法、装置、设备及介质,本申请基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;缓存所述目标数据模型对应的数据值。可以理解的是,相比与传统BI报表模式下对整个报表的数据进行缓存的方式,本申请方案细分了缓存的对象,即根据可选的各维度和各指标进行组合得到较小颗粒度的数据模型,再将使用频率较高,即使用频率大于预设频率阈值的可选数据模型作为目标数据,再缓存目标数据模型对应的数据值。从而在有限的缓存空间中,尽可能的提高自定义编辑模式下报表获取数据的速度,从而加快报表的生成速度或者分析速度,提高用户体验。
附图说明
图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图;
图2为本申请自定义编辑模式下的数据缓存方法的第一实施例的流程示意图;
图3为本申请自定义编辑模式下的数据缓存方法的第二实施例的流程示意图;
图4为本申请自定义编辑模式下的数据缓存方法中第三实施例的流程示意图;
图5为本申请自定义编辑模式下的数据缓存方法中一自定义报表示意图。
本申请目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
如图1所示,图1是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
本申请实施例设备可以是服务器,也可以是智能手机、PC、平板电脑、便携计算机等电子终端设备。
如图1所示,该设备可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatilememory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地,设备还可以包括摄像头、RF(Radio Frequency,射频)电路,传感器、音频电路、WiFi模块等等。其中,传感器比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示屏的亮度,接近传感器可在移动终端移动到耳边时,关闭显示屏和/或背光。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;当然,移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
本领域技术人员可以理解,图1中示出的设备结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自定义编辑模式下的数据缓存程序。
在图1所示的设备中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的自定义编辑模式下的数据缓存程序,并执行以下操作:
基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存所述目标数据模型对应的数据值。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
所述可选数据模型包括单元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤包括:
遍历各所述可选数据维度和各所述可选数据指标组合得到各所述单元数据模型,其中,所述单元数据模型由一个所述可选数据维度和一个所述可选数据指标组成。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
所述可选数据模型还包括多元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤还包括:
基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
在所述缓存所述目标数据模型对应的数据值的步骤之后,所述方法包括:
若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集;
基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集的步骤包括:
保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤包括:
统计近时段内各所述可选数据模型被选中参与自定义报表编辑过程的所述使用频率,其中,所述近时段内是指在当前时刻之前的预设时间段内;
将所述使用频率大于所述预设频率阈值的所述可选数据模型作为所述目标数据模型。
进一步地,处理器1001可以调用存储器1005中存储的自定义编辑模式下的数据缓存程序,还执行以下操作:
所述可选数据模型还配置有运算方式,所述缓存所述目标数据模型对应的数据值的步骤包括:
基于所述目标数据模型中的数据维度和数据指标从数据库中获取基础数据;
基于所述目标数据模型配置的运算方式对所述基础数据进行运算得到所述数据值,并将所述数据值和所述目标数据模型关联缓存。
参照图2,本申请自定义编辑模式下的数据缓存方法的第一实施例,所述自定义编辑模式下的数据缓存方法包括:
步骤S10,基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
需要说明的是,上述自定义编辑模式可以是对BI报表的自定义编辑,即用户选择自助分析时,会编辑报表中所需数据的维度和所需数据的指标,再通过编辑完成的报表完成分析。可以理解的是,在不同的分析场景下,或者针对不同的用户,上述数据维度和数据指标不同,如在销售场景中,数据维度可以是:省份、季度、产业类别、行业、公司性质等,数据指标可以是:营业额、销售额、毛利润、净利润、纳税额等,在实际使用过程中,数据维度和数据指标的数量远不止于此,故可能生成的报表种类也就十分庞大,若将每种报表或者每种组合的数据均进行缓存,则会占用大量缓存空间,造成不必要的浪费或者造成数据缓存难以实施。故本实施例中提出一种自定义编辑模式下的数据缓存方法以解决上述问题。
具体的,基于自定义边编辑模式下所涉及到的可选数据维度和可选数据指标进行组合得到各可选数据模型,其中,可选数据模型中包括至少一个可选数据维度和至少一个可选数据指标,例如,一个可选数据维度+一个可选数据指标表形式的可选数据模型可以是省份+营业额,此外,可选数据模型的形式还可以是,多个可选数据维度+一个可选数据指标、一个可选数据维度+一个可选数据指标或者多个可选数据维度+多个可选数据指标,此处不再一一赘述。
步骤S20,将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
具体的,在本实施例中,方法应用的初期各可选数据模型使用频率初始值可设置为0,再基于一定的统计频率统计各目标数据模型在统计时段参与自定义报表编辑过程中被用户使用的频率,如可以每天、每周或者每月进行一次统计,也可以设置时间滑动窗口进行统计。其中,使用频率可以是在该可选数据模型在统计时间段中被使用次数与所有可选数据模型在相同统计时间段中被使用次数之比,对应的,预设频率阈值可设置为0.1至0.3等,具体也可有技术人员根据实际情况进行设置。将使用频率较大于预设频率阈值的可选数据模型作为目标数据模型。
进一步的,所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤包括:
步骤S210,统计近时段内各所述可选数据模型被选中参与自定义报表编辑过程的所述使用频率,其中,所述近时段内是指在当前时刻之前的预设时间段内;
步骤S220,将所述使用频率大于所述预设频率阈值的所述可选数据模型作为所述目标数据模型。
具体的,上述近时段是指在进行统计时的当前时刻之前的预设时间段,统计当前时刻之前预设时段内各选数据模型被用户选中参与自定义报表编辑过程的使用频率。参照图5,为一自定义报表示意图,在一个自定义报表中通常会使用多个可选数据模型。如图5中自定义报表,使用了营业额+省份的数据模型、营业额+季度的数据模型、营业额+产业类别的数据模型等,此处不一一说明。可以理解的是,若在统计时段内用户自定义编辑的如图5所示的一张报表,则该统计时间段内业额+省份、营业额+季度、营业额+产业类别等数据模型的使用次数就可以加一。若经过统计得到一可选数据模型使用频率大于预设频率阈值,则可将该可选数据模型作为目标数据模型。
步骤S30,缓存所述目标数据模型对应的数据值。
具体的,上述数据值可以基于各目标数据模型中维度和指标获取到的数据,也可以是各目标数据模型在报表中需要呈现的数据。
进一步的,所述可选数据模型还配置有运算方式,所述缓存所述目标数据模型对应的数据值的步骤包括:
步骤S301,基于所述目标数据模型中的数据维度和数据指标从数据库中获取基础数据;
步骤S302,基于所述目标数据模型配置的运算方式对所述基础数据进行运算得到所述数据值,并将所述数据值和所述目标数据模型关联缓存。
需要说明的是,各可选数据模型还配置有运算方式,运算方式可以包括求和、计数、平均值、最大值、最小值等,以营业额+省份的数据模型配置求和运算方式为例,该数据模型在报表中数据值的呈现则是各省份营业额之和,对应的,该数据模型对应的数据值则可以是各省份营业额之和。其中,可选数据模型配置的运算方式同样可根据可选数据模型各运算方式的使用频率确定,如将使用频率最高的运算方式配置给该可选数据模型。
此外,当各目标数据模型确定好后,对于任意一个目标数据模型的数据值的步骤如下:
根据目标数据模型中的数据维度和数据指标数据库中获取基础数据,如每个目标数据模型对应有一个取数SQL,取数SQL的内容即包括了数据维度和数据指标,通过取数SQL从数据库中获取到基础的数据,例如以营业额+省份的数据模型为例,此时,获取到的基础数据即为各省份的营业额。进一步的,再基于该数据模型配置的运算方式对基础数据进行运算得到最后的数据值,如同样基于上述例子,假设营业额+省份的数据模型配置了求和的运算方式,则将各省份的营业额相加得到该数据模型在报表中呈现的数据值。可以理解的是,当对高频使用的数据模型的数据进行缓存后,可提高大部分自定义报表数据获取速度,从而加快其生成或者分析过程。
在本实施例中,基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;缓存所述目标数据模型对应的数据值。可以理解的是,相比与传统BI报表模式下对整个报表的数据进行缓存的方式,本申请方案细分了缓存的对象,即根据可选的各维度和各指标进行组合得到较小颗粒度的数据模型,再将使用频率较高,即使用频率大于预设频率阈值的可选数据模型作为目标数据,再缓存目标数据模型对应的数据值。从而在有限的缓存空间中,尽可能的提高自定义编辑模式下报表获取数据的速度,从而加快报表的生成速度或者分析速度,提高用户体验。
进一步的,参照图3,基于本申请自定义编辑模式下的数据缓存方法的第一实施例提出本申请自定义编辑模式下的数据缓存方法的第二实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述。所述可选数据模型包括单元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤包括:
步骤A10,遍历各所述可选数据维度和各所述可选数据指标组合得到各所述单元数据模型,其中,所述单元数据模型由一个所述可选数据维度和一个所述可选数据指标组成。
具体的,在本实施例中,可选数据模型可以是单元数据模型,单元数据模型由一个可选数据维度和一个可选数据指标组成。在生成单元数据模型时。可以遍历每个可选数据维度和每个可选数据指标并一一组合可得到每种单元数据模型。可以理解的是,对于单元数据模型的情况,若穷举每个单元数据模型得到的数据模型的数量为:可选数据维度数量×可选数据维度数量,远小于穷举多元数据模型得到的数据模型数量,而且通常情况下,单元数据模型被使用的频率要高于多元数据模型的使用频率,故实施例中会穷举每种单元数据模型。穷举单元数据模型后,同样会执行将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。可以理解的是,虽然通过穷举的方式得到的单元数据模型中会有一些单元数据模型对报表制作而言是没有意义的,但是在后续步骤中会通过使用频率从各可选数据模型中确定目标数据模型,从而可以将无意义的单元数据模型剔除掉,从而避免缓存无意义的数据。
此外,由于单元数据模型的数量相对较少,故在方案应用的初期,每个单元数据模型可配置默认运算方式(如求和),并将每个单元数据模型的数据值都缓存。
进一步的,参照图4,基于本申请自定义编辑模式下的数据缓存方法的第而实施例提出本申请自定义编辑模式下的数据缓存方法的第三实施例。本实施例中与上述实施例相同部分可参考上文内容,此处不再赘述。所述可选数据模型还包括多元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤还包括:
步骤B10,基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成。
具体的,可选数据模型还可以是多元数据模型,多元数据模型则至少由一个可选数据维度和至少一个可选数据指标组成。可以理解的是,如基于全部的可选数据维度和全部的可选数据指标进行组合得到的数据模型数量相对较多。故为了限制可选数据模型的数量,本实施例中,设置有预设组合因子合集,预设组合因子合集中的元素可以是可选数据维度也可以是可选数据指标。根据预设组合因子合集中的元素进行组合,得到各多元数据模型。其中,预设组合因子合集中初始元素可以是技术人员设置的使用频率相对较高的数据维度和数据指标,也可以是随机选取的数据维度和数据指标。此外,需要说明的是,从预设组合因子合集中挑选元素进行组合得到多元数据模型在一些情况下可能与得到的单元数据模型相同,故可对通过两种方式得到的可选数据模型进行去重处理,避免缓存相同的数据。
进一步的,在所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤之后,所述方法包括:
步骤B40,若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集;
具体的,若对各目标数据模型对应的数据值进行缓存后,各数据值未完全占据预设缓存空间,即还可以继续缓存数据值,则更新预设组合因子合集中的元素,如替换掉预设组合因子合集中部分元素,以生成新的预设组合因子合集,从而便于可生成新的可选数据模型。
进一步的,所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集的步骤包括:
步骤B410,保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
步骤B420,加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
需要说明的是,预设组合因子合集中的元素将限制有最大数量,即避免生成过多的多元数据模型,导致缓存空间不足。故最大数量可根据缓存空间确定,即缓存空间越大,对应的最大数量也就越大,故具体最大数量可由技术根据实际情况进行设置。
上述预设组合因子合集更新方式有多种,如可保留当前的预设组合因子合集中与各目标数据模型相关的元素,与目标数据模型无关的元素即可删除,如一目标数据模型由省份和营业额组成,则预设组合因子合集中省份和营业额则可以保留并删除无关元素,再向该预设组合因子合集中加入新的可选数据维度或/和新的可选数据指标(新的可选数据维度或/和新的可选数据指标是指未参与多元数据模型组合的可选数据维度或/和可选数据指标),直到到该预设组合因子合集中元素数量达到上述最大数量,而此时得到的预设组合因子合集即为新的预设组合因子合集。
同时,预设组合因子合集更新方式还可以是,删除预设组合因子合集中与非目标数据模型相关的元素,可以理解的是,在各可选数据模型中除目标数据模型外即为非目标数据模型,同样的再向该预设组合因子合集中加入新的可选数据维度或/和新的可选数据指标直到到该预设组合因子合集中元素数量达到上述最大数量,而此时得到的预设组合因子合集即为新的预设组合因子合集。
可以理解的是,在本实施例中,可任选一种更新方式对预设组合因子合集进行更新,也可结合两种更新方式对预设组合因子合集进行更新,例如当执行“保留所述预设组合因子合集中与各所述目标数据模型相关的元素”的方式或者步骤对预设组合因子合集进行更新后新的预设组合因子合集中的元素不再发生变化后,则执行“删除所述预设组合因子合集中与非目标数据模型相关的元素”的方式或者步骤对预设组合因子合集进行更新。可以理解是,上述更新方式的顺序可尽可能的使得所述预设组合因子合集中的元素为高频使用元素,从而尽可能的缓存高频率的数据值。
步骤B50,基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
步骤B60,执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。
具体的,在基于新的预设组合因子合集中的各元素进行组合得到多元数据模型,同样的,再执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。具体可参照上述内容,此处不再赘述。
此外,本申请实施例还提供一种自定义编辑模式下的数据缓存装置,所述自定义编辑模式下的数据缓存装置包括:
生成模块,用于基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
判断模块,用于将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存模块,用于缓存所述目标数据模型对应的数据值。
可选地,所述可选数据模型包括单元数据模型,所述生成模块还用于:
遍历各所述可选数据维度和各所述可选数据指标组合得到各所述单元数据模型,其中,所述单元数据模型由一个所述可选数据维度和一个所述可选数据指标组成。
可选地,所述可选数据模型还包括多元数据模型,所述生成模块还用于:
基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成。
可选地,所述生成模块还用于:
若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集;
基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤。
可选地,所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述生成模块还用于:
保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
可选地,所述判断模块还用于:
统计近时段内各所述可选数据模型被选中参与自定义报表编辑过程的所述使用频率,其中,所述近时段内是指在当前时刻之前的预设时间段内;
将所述使用频率大于所述预设频率阈值的所述可选数据模型作为所述目标数据模型。
可选地,所述可选数据模型还配置有运算方式,所述缓存模块还用于:
基于所述目标数据模型中的数据维度和数据指标从数据库中获取基础数据;
基于所述目标数据模型配置的运算方式对所述基础数据进行运算得到所述数据值,并将所述数据值和所述目标数据模型关联缓存。
本申请提供的自定义编辑模式下的数据缓存装置,采用上述实施例中的自定义编辑模式下的数据缓存方法,旨在解决自助分析场景下的报表数据缓存难的诗书问题。与现有技术相比,本申请实施例提供的自定义编辑模式下的数据缓存装置的有益效果与上述实施例提供的自定义编辑模式下的数据缓存方法的有益效果相同,且该自定义编辑模式下的数据缓存装置中的其他技术特征与上述实施例方法公开的特征相同,在此不做赘述。
此外,为实现上述目的,本申请还提供一种自定义编辑模式下的数据缓存设备,所述自定义编辑模式下的数据缓存设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被所述处理器执行时实现如上述的自定义编辑模式下的数据缓存方法的步骤。
本申请自定义编辑模式下的数据缓存设备的具体实施方式与上述自定义编辑模式下的数据缓存方法各实施例基本相同,在此不再赘述。
此外,为实现上述目的,本申请还提供一种计算机介质,所述计算机介质上存储有自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被处理器执行时实现如上述的自定义编辑模式下的数据缓存方法的步骤。
本申请计算机介质具体实施方式与上述自定义编辑模式下的数据缓存方法各实施例基本相同,在此不再赘述。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (7)

1.一种自定义编辑模式下的数据缓存方法,其特征在于,所述自定义编辑模式下的数据缓存方法包括以下步骤:
基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存所述目标数据模型对应的数据值;
其中,所述可选数据模型包括多元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤还包括:
基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成;
其中,在所述缓存所述目标数据模型对应的数据值的步骤之后,所述方法包括:
若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集,其中,更新所述预设组合因子合集中的所述元素包括替换掉预设组合因子合集中部分元素;
基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤;
其中,所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集的步骤包括:
保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
2.如权利要求1所述的自定义编辑模式下的数据缓存方法,其特征在于,所述可选数据模型包括单元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤包括:
遍历各所述可选数据维度和各所述可选数据指标组合得到各所述单元数据模型,其中,所述单元数据模型由一个所述可选数据维度和一个所述可选数据指标组成。
3.如权利要求1所述的自定义编辑模式下的数据缓存方法,其特征在于,所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤包括:
统计近时段内各所述可选数据模型被选中参与自定义报表编辑过程的所述使用频率,其中,所述近时段内是指在当前时刻之前的预设时间段内;
将所述使用频率大于所述预设频率阈值的所述可选数据模型作为所述目标数据模型。
4.如权利要求3所述的自定义编辑模式下的数据缓存方法,其特征在于,所述可选数据模型还配置有运算方式,所述缓存所述目标数据模型对应的数据值的步骤包括:
基于所述目标数据模型中的数据维度和数据指标从数据库中获取基础数据;
基于所述目标数据模型配置的运算方式对所述基础数据进行运算得到所述数据值,并将所述数据值和所述目标数据模型关联缓存。
5.一种自定义编辑模式下的数据缓存装置,其特征在于,所述自定义编辑模式下的数据缓存装置包括:
生成模块,用于基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型;
判断模块,用于将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型;
缓存模块,用于缓存所述目标数据模型对应的数据值;
其中,所述可选数据模型包括多元数据模型,所述基于所述自定义编辑模式下的各可选数据维度和各可选数据指标生成各可选数据模型的步骤还包括:
基于预设组合因子合集中的各元素进行组合得到各所述多元数据模型,其中,所述预设组合因子合集至少包括一个所述可选数据维度和一个所述可选数据指标,所述元素为所述可选数据维度或所述可选数据指标,所述多元数据模型至少由一个所述可选数据维度和一个所述可选数据指标组成;
其中,在所述缓存所述目标数据模型对应的数据值的步骤之后,
若各所述目标数据模型对应的数据值所占用空间小于预设缓存空间,则更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集,其中,更新所述预设组合因子合集中的所述元素包括替换掉预设组合因子合集中部分元素;
基于所述新的预设组合因子合集中的各元素进行组合得到所述多元数据模型;
执行所述将所述自定义编辑模式下使用频率大于预设频率阈值的所述可选数据模型作为目标数据模型的步骤;
其中,所述预设组合因子合集中元素的最大数量基于所述预设缓存空间确定,所述更新所述预设组合因子合集中的所述元素生成新的预设组合因子合集的步骤包括:
保留所述预设组合因子合集中与各所述目标数据模型相关的元素,或删除所述预设组合因子合集中与非目标数据模型相关的元素;
加入新的可选数据维度或/和新的可选数据指标至所述预设组合因子合集中,直至所述预设组合因子合集中的元素数量达到所述最大数量,以生成所述新的预设组合因子合集。
6.一种自定义编辑模式下的数据缓存设备,其特征在于,所述自定义编辑模式下的数据缓存设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被所述处理器执行时实现如权利要求1至4中任一项所述的自定义编辑模式下的数据缓存方法的步骤。
7.一种介质,其特征在于,所述介质上存储有自定义编辑模式下的数据缓存程序,所述自定义编辑模式下的数据缓存程序被处理器执行时实现如权利要求1至4中任一项所述的自定义编辑模式下的数据缓存方法的步骤。
CN202310209063.7A 2023-03-07 2023-03-07 自定义编辑模式下的数据缓存方法、装置、设备及介质 Active CN116089474B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310209063.7A CN116089474B (zh) 2023-03-07 2023-03-07 自定义编辑模式下的数据缓存方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310209063.7A CN116089474B (zh) 2023-03-07 2023-03-07 自定义编辑模式下的数据缓存方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116089474A CN116089474A (zh) 2023-05-09
CN116089474B true CN116089474B (zh) 2023-08-04

Family

ID=86204593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310209063.7A Active CN116089474B (zh) 2023-03-07 2023-03-07 自定义编辑模式下的数据缓存方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116089474B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184689A1 (zh) * 2020-03-16 2021-09-23 平安科技(深圳)有限公司 模型数据处理方法、装置、设备及计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110489449B (zh) * 2019-07-30 2022-02-22 北京百分点科技集团股份有限公司 一种图表推荐方法、装置和电子设备
CN113763502B (zh) * 2020-11-13 2024-04-16 北京京东尚科信息技术有限公司 一种图表生成方法、装置、设备和存储介质
CN113946620A (zh) * 2021-10-14 2022-01-18 车智互联(北京)科技有限公司 一种可视化数据创建方法、装置及计算设备
CN114840531B (zh) * 2022-05-30 2024-05-28 中国平安财产保险股份有限公司 基于血缘关系的数据模型重构方法、装置、设备及介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021184689A1 (zh) * 2020-03-16 2021-09-23 平安科技(深圳)有限公司 模型数据处理方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN116089474A (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
CN103248705B (zh) 服务器、客户端及视频处理方法
CN109993627B (zh) 推荐方法、推荐模型的训练方法、装置和存储介质
CN109784365B (zh) 一种特征选择方法、终端、可读介质及计算机程序
CN112434188B (zh) 一种异构数据库的数据集成方法、装置及存储介质
CN113986933A (zh) 物化视图的创建方法、装置、存储介质及电子设备
CN114118192A (zh) 用户预测模型的训练方法、预测方法、装置及存储介质
CN113807926A (zh) 推荐信息生成方法、装置、电子设备和计算机可读介质
CN116089474B (zh) 自定义编辑模式下的数据缓存方法、装置、设备及介质
CN113535939A (zh) 文本处理方法和装置、电子设备以及计算机可读存储介质
CN114428589B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112785418B (zh) 信贷风险建模方法、装置、设备及计算机可读存储介质
CN115422203A (zh) 区块链分布式系统的数据管理方法、装置、设备及介质
CN112100553B (zh) 一种网页页面配置方法、装置、电子设备及存储介质
CN115526953A (zh) 生成视图的方法、装置、电子设备及存储介质
CN114995875A (zh) 页面组件配置方法、装置、电子设备及存储介质
CN114143590A (zh) 一种视频播放方法、服务器及存储介质
CN113515701A (zh) 信息推荐方法及装置
CN113408632A (zh) 提高图像分类准确性的方法、装置、电子设备及存储介质
CN114820011A (zh) 用户群体聚类方法、装置、计算机设备和存储介质
CN116561735B (zh) 一种基于多认证源的互信认证方法、系统及电子设备
CN112882929B (zh) 测试方法、装置、计算机设备和存储介质
CN112631752B (zh) 一种基于操作优先度的列表操作方法及装置
CN114915850B (zh) 一种视频播放控制方法、装置、电子设备及存储介质
KR102343848B1 (ko) 이용자 상태 벡터를 이용한 전환 전략 탐색 방법 및 운영 장치
CN117911074A (zh) 一种用户满意度预测方法、装置和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant