CN109086279A - 报表缓存方法和装置 - Google Patents

报表缓存方法和装置 Download PDF

Info

Publication number
CN109086279A
CN109086279A CN201710441608.1A CN201710441608A CN109086279A CN 109086279 A CN109086279 A CN 109086279A CN 201710441608 A CN201710441608 A CN 201710441608A CN 109086279 A CN109086279 A CN 109086279A
Authority
CN
China
Prior art keywords
report
caching
cache
cached
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710441608.1A
Other languages
English (en)
Other versions
CN109086279B (zh
Inventor
张爱芸
刘彦伟
高廉墀
刘荣明
张蛟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201710441608.1A priority Critical patent/CN109086279B/zh
Publication of CN109086279A publication Critical patent/CN109086279A/zh
Application granted granted Critical
Publication of CN109086279B publication Critical patent/CN109086279B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种报表缓存方法和装置,能够保证所有报表数据的可读性和准确性,且能够全方位覆盖报表数据,能够避免人工配置报表的误操作或不合理设置。该方法包括:获取报表;根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;根据报表分类结果,对所述报表进行缓存操作。

Description

报表缓存方法和装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种报表缓存方法和装置。
背景技术
数据库中运行着千万级甚至亿级数量的报表,通过直接连接数据库查询报表时,一个页面有时会有十几二十张甚至更多的报表,当打开页面,所有报表同时进行查询时,很难避免因为多线程同时连接数据库,导致数据库异常或者获取数据较慢的情况,进而导致页面卡顿,用户体验差。为了让用户及时的看见报表数据,从而增加了报表缓存机制。
现有报表缓存机制让用户人工定义报表是否缓存、缓存周期以及缓存有效期,然后根据缓存周期、缓存有效期,报表缓存机制缓存数据库中所有报表到缓存服务器。
在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
1.由于用户水平参差不齐,设置并不是全部合理,有的报表会出现虽设置了缓存,但由于用户设置偏差,导致缓存报表有误的情况;
2.对于已缓存的报表,两个缓存周期之间的数据更新,要在后一次缓存之后才能查看;
3.报表的数据延误时,会有缓存空数据,导致用户在后一次缓存之后才能查看此数据的情况。
发明内容
有鉴于此,本发明实施例提供一种报表缓存方法和装置,能够保证所有报表数据的可读性和准确性,且能够全方位覆盖报表数据,能够避免人工配置报表的误操作或不合理设置。
为实现上述目的,根据本发明实施例的一个方面,提供了一种报表缓存方法。
本发明实施例一种报表缓存方法包括:获取报表;根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;根据报表分类结果,对所述报表进行缓存操作。
可选地,所述缓存操作包括:将所述缓存报表缓存到缓存服务器;当轮询机制被触发时,对所述待缓存报表进行轮询操作。
可选地,所述轮询操作包括:匹配所述待缓存报表的时间类型字段,根据匹配结果将所述待缓存报表重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对所述报表进行缓存操作。
可选地,所述轮询机制在预设时间或用户查询时被触发。
可选地,所述根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表是通过实时计算任务实现的。
可选地,根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表包括:通过正则表达式匹配每个所述报表中的时间类型字段或者通过直接比对每个所述报表中的时间类型字段,根据匹配结果或者比对结果,将所述报表分类为缓存报表、不缓存报表与待缓存报表。
可选地,所述缓存报表为前一日的报表;所述不缓存报表为当日的报表;所述待缓存报表为其他的报表。
可选地,还包括:在对所述报表进行缓存操作之后,根据用户查询,展现所述报表的数据;其中,缓存报表的数据通过缓存服务器获取;不缓存或待缓存报表的数据通过数据库获取。
可选地,所述缓存服务器为Redis存储系统。
为实现上述目的,根据本发明实施例的一个方面,提供了一种报表缓存装置。
本发明实施例一种报表缓存装置包括:数据获取模块,用于获取报表;数据计算模块,用于根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;缓存模块,用于根据报表分类结果,对所述报表进行缓存操作。
可选地,所述缓存模块还用于:将所述缓存报表缓存到缓存服务器;当轮询机制被触发时,对所述待缓存报表进行轮询操作。
可选地,所述缓存模块还用于:匹配所述待缓存报表的时间类型字段,根据匹配结果将所述待缓存报表重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对所述报表进行缓存操作。
可选地,所述轮询机制在预设时间或用户查询时被触发。
可选地,所述数据计算模块是通过实时计算任务实现的。
可选地,所述缓存模块还用于:通过正则表达式匹配每个所述报表中的时间类型字段或者通过直接比对每个所述报表中的时间类型字段,根据匹配结果或者比对结果,将所述报表分类为缓存报表、不缓存报表与待缓存报表。
可选地,所述缓存报表为前一日的报表;所述不缓存报表为当日的报表;所述待缓存报表为其他的报表。
可选地,还包括:报表展现模块,用于在缓存模块之后,根据用户查询,展现所述报表的数据;其中,缓存报表的数据通过缓存服务器获取;不缓存或待缓存报表的数据通过数据库获取。
可选地,所述缓存服务器为Redis存储系统。
为实现上述目的,根据本发明实施例的再一方面,提供了一种实现报表缓存方法的电子设备。
本发明实施例的一种电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的报表缓存方法。
为实现上述目的,根据本发明实施例的又一方面,提供了一种计算机可读介质。
本发明实施例的一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的报表缓存方法。
上述发明中的一个实施例具有如下优点或有益效果:因为采用通过匹配报表的时间类型字段,根据匹配结果将报表分类为当日报表、前一日报表和其他报表,然后分别进行缓存,根据缓存结果判断从缓存服务器或数据库获取报表数据并展现的技术手段,所以克服了对缓存过的报表或数据延迟时,需要在下一次缓存之后才能得到准确报表数据的技术问题,进而达到保证所有报表数据的可读性与准确性,能够全方位覆盖报表数据,且能够提高报表打开速率的技术效果;通过采用轮询操作仅对待缓存报表进一步进行缓存操作的技术手段,从而能够在适当降低计算量的同时,进一步提升报表打开速率;通过采用实时计算任务和采用正则表达式匹配报表的时间类型字段的技术手段,从而能够减小计算成本,提升缓存效率;通过系统自动完成报表缓存,从而能够降低用户使用成本,避免人工配置报表的误操作或不合理设置。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的报表缓存方法的主要步骤的示意图;
图2是根据本发明实施例的报表缓存装置的主要模块的示意图;
图3是根据本发明实施例的报表缓存方法的缓存逻辑的示意图;
图4是根据本发明实施例的报表缓存方法的模块关系的示意图;
图5是根据本发明实施例的报表缓存方法的缓存模块的示意图;
图6是根据本发明实施例的报表缓存方法的报表展现逻辑的示意图;
图7是本发明实施例可以应用于其中的示例性系统架构图;
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本发明实施例的技术方案利用正则表达式匹配报表中的时间类型字段,将报表分类为T-0(当日)日期报表、T-1(前一日)日期报表、其他报表;然后将T-0日期报表标记为不缓存,对T-1日期报表进行缓存到Redis并标记为已缓存,将其他报表标记为待缓存;用户通过报表id、缓存状态标识、缓存日期和查询条件来查询报表数据;其中,缓存状态标识为“不缓存”的数据从数据库中直接查询,缓存状态标识为“已缓存”的数据从缓存服务器中查询,缓存状态标识为“待缓存”的数据从数据库中直接查询,并对缓存状态标识为“待缓存”的数据重新通过匹配时间类型字段来判断是否缓存。
图1是根据本发明实施例的报表缓存方法的主要步骤的示意图;
如图1所示,本发明实施例的报表缓存方法主要包括如下步骤:
步骤S101:获取报表。在本步骤中,可以通过JDBC(Java Data BaseConnectivity,Java数据库连接)连接访问MySQL或Presto数据源获取报表。
步骤S102:根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表。在本步骤中,可以通过正则表达式匹配报表中的时间类型字段或根据直接比对报表中的时间类型字段,根据匹配结果或比对结果,将报表分类为缓存报表、不缓存报表与待缓存报表;其中,缓存报表为前一日的报表,不缓存报表为当日的报表,待缓存报表为其他的报表。
步骤S103:根据报表分类结果,对所述报表进行缓存操作。在本步骤中,可以将缓存报表缓存到缓存服务器,对不缓存报表不作处理,对待缓存报表,在预设时间或用户查询时,重新匹配其时间类型字段,根据匹配结果将其重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对其进行缓存操作。
下面将结合具体的实施例介绍本发明技术方案的具体实施过程。
本实施例默认的缓存时间是每天早8:00,考虑到0:00-8:00间打开报表的用户较少,且数据完成加工的报表较少,所以从8:00开始缓存,到24:00清除。每日八点重复进行本发明所有步骤。
本实施例采取离线按天(可按周、月等,对于实际应用场景,用“天”较为合适)缓存的策略,即今日缓存昨日的数据,对结果集(即报表查询SQL语句查出的报表中的数据)进行扫描,当报表结果集中仅出现T-1日数据时,才对报表进行缓存。其中T表示今天,T-1表示昨天,以此类推。
本实施例将日期作为key值,有效期为24小时,当天打开报表时,均可使用该缓存。
本实施例增加轮询机制,即从每日8:00开始扫描,10:00进行最后一次扫描。8:00开始通过实时任务(实时计算任务),查询所有报表,由于各个报表的数据加工时间不同,有些报表可能在第一次查询时,查无数据,或者无法判断其日期是否将会包含T-1(可能会由于数据库本身的执行策略,导致暂无报表日期的情况),因此会给每个报表打上不同的标识,包括已缓存、待缓存、不缓存,每半小时重新查询一次待缓存的报表,重新判断待缓存报表的状态,场景示例如下:
扫描结果集时间 待缓存报表数量 已缓存报表数量 不缓存报表数量 总计
8:00 8000 0 0 8000
8:30 5000 2000 1000 8000
9:00 4000 2500 1500 8000
9:30 3000 3000 2000 8000
10:00 2000 4000 2000 8000
本实施例的实现方案具体如下:
1.报表数据获取(数据获取模块)
通过JDBC(Java Data Base Connectivity,Java数据库连接)连接访问MySQL或Presto数据源(可替换为其他数据库)获取报表。
2.报表数据分类(数据计算模块)
通过实时计算任务,将每一个报表id载入实时计算任务,任务中(即实时计算任务)根据报表id获取报表的查询SQL语句,根据查询SQL语句查询报表的数据,并对获取的报表进行下述计算。
实时计算任务是依托于实时计算平台的脚本任务,具有高性能、高容错、低延迟的特点,可以支撑海量数据的流式计算、分析。
图3是根据本发明实施例的报表缓存方法的缓存逻辑的示意图;
如图3所示,每日8:00启动报表扫描,通过实时计算任务进行计算,包括:
1)初次查询机制
(1)判断每张报表的结果集中,是否有date、datetime、int、string类型的字段,即时间类型字段。对没有对应字段的报表不作处理。
(2)在上述类型字段中,基于正则表达式从左到右匹配字段格式,是否符合yyyyMMdd*或yyyy?MM?dd,其中yyyy代表四位数年,MM代表两位数月,dd代表日期。
需要说明的是除正则之外,还可以直接获取时间类型字段的值进行比对。
(3)判断符合上述类型的字段值是否只包含当天(T)的数据(即当天的报表)或包含前一天(T-1)的数据(即前一天的报表)。给当天的报表、时间类型字段不符合形式的或无时间类型字段的报表打上不缓存标识。给前一天的报表打上缓存标识。
2)轮询机制(轮询操作)
即8:00对所有任务进行扫描处理后,每半小时对时间类型字段既不包含当日日期也不包含前一日日期的报表,进行重新查询判断,判断条件与初次查询机制相同,直至10:00结束轮询。给10:00后时间类型字段既不包含当日日期也不包含前一日日期的报表打上待缓存标识。
之所以10:00结束,是从用户报表重要性、机器性能以及用户体验多方面综合考虑得出的结论,我们认为重要性较高的报表通常会在上班前(9:00)完成数据加工,在上班时可直接看到前一天的报表数据,这样对用户更具有指导意义,同时用户在白天对平台操作较为频繁,考虑到机器性能并且尽量降低进程的并发数,让用户获得更多的资源,我们的轮询机制到10:00结束,尽可能的保证不影响用户使用,并且尽可能多的缓存可以缓存的报表,进而提升用户体验,减轻数据库查询压力。
3.报表数据缓存(缓存模块)
负责根据报表分类结果分别对报表进行缓存,缓存共分为3种类型,包括:
(1)不缓存:Report_data_none_cache_20170517,其中none_cache表示不缓存,结尾日期为当天日期。此类缓存中,value对应的是不缓存的报表id,打了不缓存标识的报表,通常为实时类报表,即数据更新频率为小时或分钟级,亦即当天就需要展示当天的数据,为保证此类报表的数据准确性,此类报表不应也不做缓存。
(2)待缓存:Report_data_todo_cache_20170510,其中todo_cache表示待缓存,结尾日期为当天日期。此类缓存中,value对应的是待缓存的报表id,轮询机制每次都是从此value中获取报表id进行二次查询,以减少不必要的报表二次计算查询。因为每张报表的加工时间不同,有的报表可能早上5:00就加工完成了前一天的数据,有的报表则要在12:00才能加工完成前一天数据的加工,因此当报表中未出现今天日期的数据并且未出现昨天日期的数据时,就将报表定为待缓存状态(即没有日期信息和日期信息为T-1之前的所有报表),每次打开报表或者每次轮询的时候,都会对其进行轮询操作,根据判断结果,决定报表是放入不缓存、缓存还是待缓存。
要说明的是,有些报表是按周或月加工的,但日期格式又符合我们的判断逻辑,比如日期间隔为2017-05-07,2017-05-01,以此类推,此类报表可能在一周的7天之内,仅有一天可以被缓存成功,其他几日都会放在待缓存状态中,虽会重复增加计算,但是已最大限度的保证了数据的准确性。
(3)缓存:Report_data_cache_19791_20170517_id=17342,其中cache代表已加入缓存,19791为报表id,20170517为当天日期,id=17342表示报表的默认查询条件为id=17342。因为报表可以配置筛选器,筛选器可以赋予默认值,如报表不支持按筛选条件查询或无默认值,则无筛选条件部分。当用户在前台变更查询条件时,会新增一条报表缓存数据,即id=17342会替换成另外的查询条件,即增加一个筛选条件。
需要说明的是,待缓存报表可以被用户查询,在无法确定其为不缓存还是缓存状态时,将一直从数据库查询,与不缓存报表的不同是不缓存报表不用再走逻辑判断,而待缓存的每次都要对其结果集进行一次计算,另外缓存对数据查询是没有影响的,只是提高页面打开速率,提升用户体验,因此不存在用户查询不到数据的问题。
图5是根据本发明实施例的报表缓存方法的缓存模块的示意图;
如图5所示,id标识报表id,data默认为缓存日期,term为筛选条件。
Report_data_cache_id1_data_Term1和Report_data_cache_id2_data_Term1表示两个不同的报表id的缓存,Report_data_cache_id2_data_Term1和Report_data_cache_id2_data_Term2表示相同报表的不同筛选条件的缓存,此种情况通常是由于不同用户或相同用户对同一张报表,执行了不同的查询条件导致。
4.报表数据展现(报表展现模块)
图6是根据本发明实施例的报表缓存方法的报表展现逻辑的示意图;
如图6所示,报表数据展现主要包括以下部分:
(1)判断报表是否处于启用状态,若报表已禁用则不执行任何操作,报表启用、禁用由用户在前台操作造成,禁用报表在前台不提供数据查询,因此缓存无意义,故禁用报表不执行任何操作。
(2)判断报表缓存标识,通过已有key值获取是否存在符合条件的缓存,如果能完全匹配key,则直接读取缓存数据,并在前台展现;若未找到匹配数据,则连接数据库进行查询,将数据实时展现给用户。
(3)轮询机制,在与缓存key无法完全匹配时,将不缓存和待缓存的value列表,即相关报表id获取到内存中,再通过程序加以匹配计算。如果获取到当前页面的报表id在待缓存中,则在查询数据库获取报表数据并展示给前端页面的同时,再通过实时计算任务,将获取到的结果集进行再次判断,并放入对应的缓存标识。缓存标识判断即报表数据分类。
因为Redis本身是提供存储服务的数据库,在模糊查询上支持的并不是很好,如需模糊查询可以将数据放入内存中,通过程序进行逻辑判断,但此种方案又会占用系统资源,会给机器性能带来一定的影响进而影响用户体验和报表展现,因此可以选择实时任务重新计算,既不占用资源,又能保证数据的准确,根据计算结果,将对应的结果数据(报表)放入对应的缓存模块中,遵循前文提到的报表数据缓存逻辑,此处不再赘述。
根据本发明实施例的报表缓存方法可以看出,因为采用通过匹配报表的时间类型字段,根据匹配结果将报表分类为当日报表、前一日报表和其他报表,然后分别进行缓存,根据缓存结果判断从缓存服务器或数据库获取报表数据并展现的技术手段,所以克服了对缓存过的报表或数据延迟时,需要在下一次缓存之后才能得到准确报表数据的技术问题,进而达到保证所有报表数据的可读性与准确性,能够全方位覆盖报表数据,且能够提高报表打开速率的技术效果;通过采用轮询操作仅对待缓存报表进一步进行缓存操作的技术手段,从而能够在适当降低计算量的同时,进一步提升报表打开速率;通过采用实时计算任务和采用正则表达式匹配报表的时间类型字段的技术手段,从而能够减小计算成本,提升缓存效率;通过系统自动完成报表缓存,从而能够降低用户使用成本,避免人工配置报表的误操作或不合理设置。
图2是根据本发明实施例的报表缓存装置的主要模块的示意图;
如图2所示,本发明实施例的报表缓存装置200主要包括:数据获取模块201、数据计算模块202、缓存模块203。其中:
数据获取模块201可用于获取报表;数据计算模块202可用于根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;缓存模块203可用于根据报表分类结果,对所述报表进行缓存操作。
此外,缓存模块203还可用于:将所述缓存报表缓存到缓存服务器;当轮询机制被触发时,对所述待缓存报表进行轮询操作。在预设时间或用户查询时,匹配所述待缓存报表的时间类型字段,根据匹配结果将所述待缓存报表重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对所述报表进行缓存操作。
此外,缓存模块203还可用于:通过正则表达式匹配每个所述报表中的时间类型字段或者通过直接比对每个所述报表中的时间类型字段,根据匹配结果或者比对结果,将所述报表分类为缓存报表、不缓存报表与待缓存报表。
图4是根据本发明实施例的报表缓存方法的模块关系的示意图;
从以上描述可以看出,因为采用通过匹配报表的时间类型字段,根据匹配结果将报表分类为当日报表、前一日报表和其他报表,然后分别进行缓存,根据缓存结果判断从缓存服务器或数据库获取报表数据并展现的技术手段,所以克服了对缓存过的报表或数据延迟时,需要在下一次缓存之后才能得到准确报表数据的技术问题,进而达到保证所有报表数据的可读性与准确性,能够全方位覆盖报表数据,且能够提高报表打开速率的技术效果;通过采用轮询操作仅对待缓存报表进一步进行缓存操作的技术手段,从而能够在适当降低计算量的同时,进一步提升报表打开速率;通过采用实时计算任务和采用正则表达式匹配报表的时间类型字段的技术手段,从而能够减小计算成本,提升缓存效率;通过系统自动完成报表缓存,从而能够降低用户使用成本,避免人工配置报表的误操作或不合理设置。
根据本发明的实施例,本发明还提供了一种电子设备和一种可读介质。
本发明的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现本发明实施例的报表缓存方法。
本发明的计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时用于实现使所述计算机执行本发明实施例的报表缓存方法。
图7示出了可以应用本发明实施例的报表缓存方法或报表缓存装置的示例性系统架构700。
如图7所示,系统架构700可以包括终端设备701、702、703,网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备701、702、703通过网络704与服务器705交互,以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器705可以是提供各种服务的服务器,例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的报表数据查询请求等数据进行分析等处理,并将处理结果(例如当日报表数据、前一日报表数据--仅为示例)反馈给终端设备。
需要说明的是,本发明实施例所提供的报表缓存方法一般由服务器705执行,相应地,报表缓存装置一般设置于服务器705中。
应该理解,图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
如图8所示,其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示,计算机系统800包括中央处理单元(CPU)801,其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中,还存储有系统800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
以下部件连接至I/O接口805:包括键盘、鼠标等的输入部分806;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807;包括硬盘等的存储部分808;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器810上,以便于从其上读出的计算机程序根据需要被安装入存储部分808。
特别地,根据本发明公开的实施例,上文缓存逻辑、报表展现逻辑的示意图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行缓存逻辑、报表展现逻辑的示意图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分809从网络上被下载和安装,和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括数据获取模块、数据计算模块、缓存模块和报表展现模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,数据获取模块还可以被描述为“获取报表的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:获取报表;根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;根据报表分类结果,对所述报表进行缓存操作。
上述产品可执行本发明实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本发明实施例所提供的方法。
根据本发明实施例的技术方案,因为采用通过匹配报表的时间类型字段,根据匹配结果将报表分类为当日报表、前一日报表和其他报表,然后分别进行缓存,根据缓存结果判断从缓存服务器或数据库获取报表数据并展现的技术手段,所以克服了对缓存过的报表或数据延迟时,需要在下一次缓存之后才能得到准确报表数据的技术问题,进而达到保证所有报表数据的可读性与准确性,能够全方位覆盖报表数据,且能够提高报表打开速率的技术效果;通过采用轮询操作仅对待缓存报表进一步进行缓存操作的技术手段,从而能够在适当降低计算量的同时,进一步提升报表打开速率;通过采用实时计算任务和采用正则表达式匹配报表的时间类型字段的技术手段,从而能够减小计算成本,提升缓存效率;通过系统自动完成报表缓存,从而能够降低用户使用成本,避免人工配置报表的误操作或不合理设置。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (20)

1.一种报表缓存方法,其特征在于,包括:
获取报表;
根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;
根据报表分类结果,对所述报表进行缓存操作。
2.根据权利要求1所述的方法,其特征在于,所述缓存操作包括:
将所述缓存报表缓存到缓存服务器;
当轮询机制被触发时,对所述待缓存报表进行轮询操作。
3.根据权利要求2所述的方法,其特征在于,所述轮询操作包括:
根据每个所述待缓存报表的时间类型字段,将所述待缓存报表重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对所述报表进行缓存操作。
4.根据权利要求2所述的方法,其特征在于,所述轮询机制在预设时间或用户查询时被触发。
5.根据权利要求1所述的方法,其特征在于,所述根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表是通过实时计算任务实现的。
6.根据权利要求1所述的方法,其特征在于,根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表包括:
通过正则表达式匹配每个所述报表中的时间类型字段或者通过直接比对每个所述报表中的时间类型字段,根据匹配结果或者比对结果,将所述报表分类为缓存报表、不缓存报表与待缓存报表。
7.根据权利要求1所述的方法,其特征在于,所述缓存报表为前一日的报表;所述不缓存报表为当日的报表;所述待缓存报表为其他的报表。
8.根据权利要求1所述的方法,其特征在于,还包括:
在对所述报表进行缓存操作之后,根据用户查询,展现所述报表的数据;其中,
缓存报表的数据通过缓存服务器获取;不缓存或待缓存报表的数据通过数据库获取。
9.根据权利要求2或8所述,其特征在于,所述缓存服务器为Redis存储系统。
10.一种报表缓存装置,其特征在于,包括:
数据获取模块,用于获取报表;
数据计算模块,用于根据每个所述报表中的时间类型字段,将所述报表分类为缓存报表、不缓存报表与待缓存报表;
缓存模块,用于根据报表分类结果,对所述报表进行缓存操作。
11.根据权利要求10所述的方法,其特征在于,所述缓存模块还用于:
将所述缓存报表缓存到缓存服务器;
当轮询机制被触发时,对所述待缓存报表进行轮询操作。
12.根据权利要求11所述的方法,其特征在于,所述缓存模块还用于:
匹配所述待缓存报表的时间类型字段,根据匹配结果将所述待缓存报表重新分类为缓存报表、不缓存报表与待缓存报表,并根据新的报表分类结果,对所述报表进行缓存操作。
13.根据权利要求11所述的方法,其特征在于,所述轮询机制在预设时间或用户查询时被触发。
14.根据权利要求10所述的方法,其特征在于,所述数据计算模块是通过实时计算任务实现的。
15.根据权利要求10所述的方法,所述缓存模块还用于:
通过正则表达式匹配每个所述报表中的时间类型字段或者通过直接比对每个所述报表中的时间类型字段,根据匹配结果或者比对结果,将所述报表分类为缓存报表、不缓存报表与待缓存报表。
16.根据权利要求10所述的方法,其特征在于,所述缓存报表为前一日的报表;所述不缓存报表为当日的报表;所述待缓存报表为其他的报表。
17.根据权利要求10所述的方法,其特征在于,还包括:
报表展现模块,用于在缓存模块之后,根据用户查询,展现所述报表的数据;其中,
缓存报表的数据通过缓存服务器获取;不缓存或待缓存报表的数据通过数据库获取。
18.根据权利要求11或17所述,其特征在于,所述缓存服务器为Redis存储系统。
19.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-9中任一所述的方法。
20.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
CN201710441608.1A 2017-06-13 2017-06-13 报表缓存方法和装置 Active CN109086279B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710441608.1A CN109086279B (zh) 2017-06-13 2017-06-13 报表缓存方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710441608.1A CN109086279B (zh) 2017-06-13 2017-06-13 报表缓存方法和装置

Publications (2)

Publication Number Publication Date
CN109086279A true CN109086279A (zh) 2018-12-25
CN109086279B CN109086279B (zh) 2021-10-15

Family

ID=64838999

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710441608.1A Active CN109086279B (zh) 2017-06-13 2017-06-13 报表缓存方法和装置

Country Status (1)

Country Link
CN (1) CN109086279B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770354A (zh) * 2020-12-31 2021-05-07 厦门骐俊物联科技股份有限公司 一种基于redis实现的蜂窝通信物联网终端数据上传方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264945A (ja) * 1991-02-20 1992-09-21 Pfu Ltd データバッファリング処理方式
CN1670737A (zh) * 2004-03-16 2005-09-21 华为技术有限公司 一种报表系统及发布报表的方法
CN101334795A (zh) * 2008-08-07 2008-12-31 金蝶软件(中国)有限公司 数据存储方法和装置
CN102789475A (zh) * 2012-05-08 2012-11-21 华为技术有限公司 数据库服务器端结果集缓存的数据同步方法及装置
CN103488693A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 数据处理装置和数据处理方法
CN103631891A (zh) * 2013-11-15 2014-03-12 北京奇虎科技有限公司 浏览器磁盘缓存的处理方法与浏览器
CN104657143A (zh) * 2015-02-12 2015-05-27 中復保有限公司 高性能数据缓存方法
CN104714985A (zh) * 2013-12-17 2015-06-17 远光软件股份有限公司 一种提升表单审批效率的方法及装置
WO2015172533A1 (zh) * 2014-05-12 2015-11-19 华为技术有限公司 数据库查询方法和服务器
CN105260282A (zh) * 2015-09-23 2016-01-20 浪潮(北京)电子信息产业有限公司 一种应用读写特征分析方法及装置
CN105302895A (zh) * 2015-10-21 2016-02-03 浪潮通用软件有限公司 一种数据缓存同步方法、服务器和客户端
CN105357297A (zh) * 2015-11-03 2016-02-24 国网技术学院 一种数据缓存的系统及方法
CN105677698A (zh) * 2015-12-11 2016-06-15 重庆川仪自动化股份有限公司 一种报表数据导出方法
CN105740383A (zh) * 2016-01-27 2016-07-06 中国科学院计算技术研究所 一种大数据平台下数据库与缓存的数据一致性方法及系统
CN106055640A (zh) * 2016-05-31 2016-10-26 乐视控股(北京)有限公司 缓存的管理方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04264945A (ja) * 1991-02-20 1992-09-21 Pfu Ltd データバッファリング処理方式
CN1670737A (zh) * 2004-03-16 2005-09-21 华为技术有限公司 一种报表系统及发布报表的方法
CN101334795A (zh) * 2008-08-07 2008-12-31 金蝶软件(中国)有限公司 数据存储方法和装置
CN102789475A (zh) * 2012-05-08 2012-11-21 华为技术有限公司 数据库服务器端结果集缓存的数据同步方法及装置
CN103488693A (zh) * 2013-09-02 2014-01-01 用友软件股份有限公司 数据处理装置和数据处理方法
CN103631891A (zh) * 2013-11-15 2014-03-12 北京奇虎科技有限公司 浏览器磁盘缓存的处理方法与浏览器
CN104714985A (zh) * 2013-12-17 2015-06-17 远光软件股份有限公司 一种提升表单审批效率的方法及装置
WO2015172533A1 (zh) * 2014-05-12 2015-11-19 华为技术有限公司 数据库查询方法和服务器
CN104657143A (zh) * 2015-02-12 2015-05-27 中復保有限公司 高性能数据缓存方法
CN105260282A (zh) * 2015-09-23 2016-01-20 浪潮(北京)电子信息产业有限公司 一种应用读写特征分析方法及装置
CN105302895A (zh) * 2015-10-21 2016-02-03 浪潮通用软件有限公司 一种数据缓存同步方法、服务器和客户端
CN105357297A (zh) * 2015-11-03 2016-02-24 国网技术学院 一种数据缓存的系统及方法
CN105677698A (zh) * 2015-12-11 2016-06-15 重庆川仪自动化股份有限公司 一种报表数据导出方法
CN105740383A (zh) * 2016-01-27 2016-07-06 中国科学院计算技术研究所 一种大数据平台下数据库与缓存的数据一致性方法及系统
CN106055640A (zh) * 2016-05-31 2016-10-26 乐视控股(北京)有限公司 缓存的管理方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘兴兴: "省级电网电站资料管理系统可扩展设计", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
刘博宇: "基于ArcGIS Engine的数字城市系统平台搭建研究", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112770354A (zh) * 2020-12-31 2021-05-07 厦门骐俊物联科技股份有限公司 一种基于redis实现的蜂窝通信物联网终端数据上传方法

Also Published As

Publication number Publication date
CN109086279B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
US11615087B2 (en) Search time estimate in a data intake and query system
US11341131B2 (en) Query scheduling based on a query-resource allocation and resource availability
US11580107B2 (en) Bucket data distribution for exporting data to worker nodes
US11599541B2 (en) Determining records generated by a processing task of a query
US11593377B2 (en) Assigning processing tasks in a data intake and query system
CN109189835A (zh) 实时生成数据宽表的方法和装置
US20190258637A1 (en) Partitioning and reducing records at ingest of a worker node
US20210117425A1 (en) Management of distributed computing framework components in a data fabric service system
CN110019211A (zh) 关联索引的方法、装置和系统
CN110019087A (zh) 数据处理方法及其系统
CN110209677A (zh) 更新数据的方法和装置
CN110334036A (zh) 一种实现缓存数据调度的方法和装置
CN103729385B (zh) 一种报表自动更新的方法和装置
US8849745B2 (en) Decision support methods and apparatus
CN109039817A (zh) 一种用于流量监控的信息处理方法和装置
CN109597810A (zh) 一种任务切分方法、装置、介质及电子设备
CN109933422A (zh) 处理任务的方法、装置、介质及电子设备
CN109002925A (zh) 业务量预测方法和装置
CN107463642A (zh) 提升数据仓库工具资源利用率的方法和装置
CN110019214A (zh) 对数据拆分结果进行校验的方法和装置
CN110019367A (zh) 一种统计数据特征的方法和装置
CN110083457A (zh) 一种数据获取方法、装置以及数据分析方法、装置
CN109977139A (zh) 基于类结构化查询语句的数据处理方法和装置
CN108985805A (zh) 一种选择性执行推送任务的方法和装置
CN109086279A (zh) 报表缓存方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant