CN113407287A - 可视化页面的快速生成方法、装置、设备及存储介质 - Google Patents

可视化页面的快速生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113407287A
CN113407287A CN202110729117.3A CN202110729117A CN113407287A CN 113407287 A CN113407287 A CN 113407287A CN 202110729117 A CN202110729117 A CN 202110729117A CN 113407287 A CN113407287 A CN 113407287A
Authority
CN
China
Prior art keywords
data
target
data table
original data
visualization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110729117.3A
Other languages
English (en)
Inventor
林雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202110729117.3A priority Critical patent/CN113407287A/zh
Publication of CN113407287A publication Critical patent/CN113407287A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种可视化页面的快速生成方法,应用于数据表格处理领域,用于解决在实时生成统计表等的任务,会对数据库造成极大的负荷的问题。本发明提供的方法包括:获取需要存入数据库的原始数据;按照预设分类规则对原始数据进行分类;根据分类后的类别将原始数据转换为第一数据表格;将第一数据表格保存到缓存文件夹;建立保存有第一数据表格的述原始数据之间位置对应关系的第一数据映射表;根据第一数据映射表以及预设的可视化规则,在第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将目标原始数据生成可视化页面。本发明能够使得在后续如果需要该表格的话可以直接读取使用,不用再从数据库中提取,从而降低数据库的负荷。

Description

可视化页面的快速生成方法、装置、设备及存储介质
技术领域
本发明涉及数据可视化领域,尤其涉及一种可视化页面的快速生成方法、装置、计算机设备及存储介质。
背景技术
目前,为了给用户更多个性化的选择,企业所使用的订单所包含的数据越来越多,上述订单多存储在企业的数据库中。另一方面,大数据在各个企业中也愈发得到重视,企业内的工作人员往往需要对企业在销售中所积累的订单进行分析,以得到过往业绩的趋势并且对未来策略的制定起到参考作用。
但是,对于大数据分析的要求,使得对数据库的性能要求越来越高,尤其是在实时生成统计表等的任务,会对数据库造成极大的负荷。如果数据量过大时,导致每次加载数据时,时间过长,甚至无法加载到数据。
发明内容
本发明实施例提供一种可视化页面的快速生成方法、装置、计算机设备及存储介质,以解决在实时生成统计表等的任务,会对数据库造成极大的负荷的问题。
在本发明的第一方面,提供了一种可视化页面的快速生成方法,包括:
获取需要存入数据库的原始数据;
按照预设分类规则对所述原始数据进行分类;
根据分类后的类别将所述原始数据转换为第一数据表格;
将所述第一数据表格保存到缓存文件夹;
建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表;
根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
在本发明的的第二方面,提供了一种可视化页面的快速生成装置,包括:
原始数据获取模块,用于获取需要存入数据库的原始数据;
原始数据分类模块,用于按照预设分类规则对所述原始数据进行分类;
原始数据转换模块,用于根据分类后的类别将所述原始数据转换为第一数据表格;
数据表格保存模块,用于将所述第一数据表格保存到缓存文件夹;
第一数据映射表建立模块,用于建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表;
可视化页面生成模块,用于根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
在本发明的第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述可视化页面的快速生成方法的步骤。
在本发明的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述可视化页面的快速生成方法的步骤。
上述可视化页面的快速生成方法、装置、计算机设备及存储介质,能够对需要录入数据库的原始数据按照预设的规则进行分类,并将分类后的数据转换为第一数据表格,然后在保存到缓存文件夹中,并且建立保存有第一数据表格的位置与原始数据之间关系的第一数据映射表。通过上述步骤生成的第一数据表格以及第一数据映射表,分析人员在分析数据的时候,可以快速地通过所预先保存的第一数据表格以及记载了时间与数据维度的第一数据表格,根据自身需求选择的维度类型快速地生成可视化表格。此外,若还需要上述原始数据进行另外的分析,可以再次直接从第一数据表格以及第一数据映射表中快速地获取所需要的维度类型,并生成可视化页面,而不用重新从数据库中提取,从而降低数据库的负荷。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中可视化页面的快速生成方法的应用环境示意图;
图2是本发明一实施例中可视化页面的快速生成方法的流程图;
图3是本发明另一实施例中可视化页面的快速生成方法的流程图;
图4是本发明另一实施例中可视化页面的快速生成方法的流程图;
图5是本发明一实施例中可视化页面的快速生成装置的结构示意图;
图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请提供的可视化页面的快速生成方法,可应用在如图1的应用环境中,其中,计算机设备通过网络与服务器进行通信。其中,计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种可视化页面的快速生成方法,以该方法应用在图1中的服务器为例进行说明,包括如下步骤:本提案提供了一种可视化页面的快速生成方法,包括以下步骤:
S1:获取需要存入数据库的原始数据。
具体地,上述原始数据是指用于报表的各个维度的原始数据,例如保单数据及其所包括的信息,具体可以是保单的金额、用户信息等的原始数据。
S2:按照预设分类规则对所述原始数据进行分类。
具体地,为了生成最终的可视化报表,首先需要按照预设的规则将上述原始数据进行分类,在一个具体的实施例中,上述分类可以是首先提取某一个时间段内的保单数据,然后进一步地提取上述保单数据内的多个所需要的维度,例如保费、保额等的金额方面的维度数据,以及包括投保时间、投保时长、版本、险种、年龄地区以及保单类型等的客户信息维度数据,具体的设定可以根据分析人员自行选择。同时,上述分类中还包括拆分操作,即是将一个保单内的所包含的各个维度按照分析人员的要求进行拆分,拆分后的各个维度数据将用于后续的步骤。
S3:根据分类后的类别将所述原始数据转换为第一数据表格。
具体地,根据上述预设的规则将原始数据的维度数据进行拆分后,将上述原始数据的维度数据转换为第一表格数据,该第一表格数据是根据分析人员的需求,将上述拆分后的各个维度重新组合而形成的数据表格,具体是生成具有至少两个维度的数据表格文件。
S4:将所述第一数据表格保存到缓存文件夹。
具体地,将通过上述步骤所生成的第一数据表格的文件存储到缓存文件夹,即后续调用的时候可以直接从上述文件夹调用已经生成好的数据表格,而无需重新从数据库中检索需要的维度并生成数据表格。需要指出的是,上述缓存文件夹并非限定单独一个的文件夹,可以是一个或者多个的文件夹。
S5:建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表。
具体地,为了使得系统能够快速地查找到对应的数据表格,还建立保存有第一数据表格的位置与原始数据之间的第一数据映射表,上述第一数据映射表记载了第一数据表格在缓存文件夹中的存储位置,以及第一数据表格具体包含原始数据中的哪些维度的数据,分析人员可以根据自己的需求直接从第一数据映射表中查找对应的第一数据表格。
S6:根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
具体地,根据分析人员所需要的目标类别,根据第一数据映射表以及预设的可视化规则,在分好类的第一数据表格中查询所需要的目标类别的目标原始数据,然后将查找到的上述原始数据通过预设的软件接口生成可视化页面。
进一步地,上述第一数据表格以及第二数据表格都优选为Excel文件格式,即第一数据表格为第一Excel文件、第二数据表格为第二Excel文件。Excel文件格式是目前运用最多的数据表格格式,由于其通用性好,分析人员也使用方便,在某些需要对数据表格的数据进行修改的使用场景,使用Excel文件格式将大大地降低分析人员的学习成本。
具体地,由于目前市面上存在很多能够将Excel文件格式输出为可视化页面的软件套件/接口,因此选择Excel文件格式作为存储数据表格的文件格式可以利用Excel文件格式的泛用性,直接搭配现有的软件套件/接口,例如通过微软办公软件功能和页面结合,实现快速的页面可视化,生成能够用于数据分析的网页或者文档。
在一些其他的实施例中,上述数据表格可以选用其他的数据表格文件格式,例如CSV、JSON、XML等格式。
可视化规则包括显示的时间维度、显示的数据维度、显示方式,显示方式具体包括数字列表、点状图、线状图、柱状图和/或饼状图。上述可视化规则所包含的内容可以由分析人员自行制定,以方便分析人员以更直观的方式分析上述数据。
此外,根据实际的业务需求以及系统整体的可利用资源,可以同时开设多个异步线程,即每一个异步线程根据不同的预设分类规则生成对应的不同的第一数据表格,以便于分析人员在多个不同的维度数据组合的表格之间进行分析,进一步提高分析的效率。
本发明所提供的可视化页面的快速生成方法能够对需要录入数据库的原始数据按照预设的规则进行分类,并将分类后的数据转换为第一数据表格,然后在保存到缓存文件夹中,并且建立保存有第一数据表格的位置与原始数据之间关系的第一数据映射表。通过上述步骤生成的第一数据表格以及第一数据映射表,分析人员在分析数据的时候,可以快速地通过所预先保存的第一数据表格以及记载了时间与数据维度的第一数据表格,根据自身需求选择的维度类型快速地生成可视化表格。此外,若还需要上述原始数据进行另外的分析,可以再次直接从第一数据表格以及第一数据映射表中快速地获取所需要的维度类型,并生成可视化页面,而不用重新从数据库中提取,从而降低数据库的负荷。
在一个具体的实施例中,所述根据所述第一数据映射表在所述第一数据表格中查询目标类别的目标原始数据,并且根据预设的可视化规则通过预设接口将所述目标原始数据生成可视化页面,包括:
S501:接收到生成可视化页面的请求信息时,根据所述第一数据映射表从所述缓存文件夹中获取所述第一数据表格;
S502:根据预设的可视化规则得到目标类别;
S503:根据所述第一数据映射表,查询所述第一数据表格中是否包含有所述目标类别;
S504:当所述第一数据表格中包含有所述目标类别时,将与所述目标类别相对应的目标原始数据,通过预设接口将所述目标原始数据生成可视化页面。
具体地,系统接收到分析人员调用目标数据表格生成可视化页面的请求信息时,首先在上述第一数据映射表中搜索是否存在目标数据表格,若存在第一数据映射表中检索到目标数据表格,从通过上述第一数据映射表中记载的目标数据表格的存储位置,然后在上述缓存文件夹中读取目标数据表格。
然后,查询获取的上述第一数据表格中是否包含有分析人员所要求的目标类别,该目标类别包括在上述请求信息内,系统在第一数据表格内查询是否记录有上述目标类别,若有,则获取与目标类别相对应的原始目标数据,然后通过预设的软件接口将上述目标原始数据生成可视化页面,具体的可视化页面生成方法在上述的实施例已经说明,在此不再赘述。
由此,分析人员调用目标数据表格时可以直接从第一数据映射表中搜索是否存在目标数据表格,并且直接获取,不需要通过数据库重新生成,从而减少系统的负载。
在一个具体的实施例中,所述根据接收到请求信息,在所述第一数据映射表中检索目标数据表格的步骤中,还包括:
S511:新建异步任务,从所述数据库中提取与所述目标类别相对应的目标原始数据;
S512:将所述目标原始数据转换为第二数据表格;
S513:将所述第二数据表格保存到所述缓存文件夹;
S514:将所述第二数据表格与所述目标原始数据之间的位置对应关系加入到所述第一数据映射表中。
具体地,在某些应用场景下,可能当初并没有涉及到该场景的数据分析,因此在第一数据映射表中无法检索到具有所期望的维度的目标数据表格,则新建一个异步任务,从数据库中直接提取目标数据以及包括的各种维度。在一个优选的实施例中,上述异步任务可以从备份数据库等并非负责主力存储的数据库中提取目标数据以及包括的各种维度。
进一步地,将从数据库中得到的目标数据以及包括的各种维度转换为第二数据表格,该第二表格数据是根据分析人员的新的且不同于上述第一表格数据的数据维度需求,将上述拆分后的各个维度重新组合而形成的数据表格。
进一步地,将通过上述步骤所生成的第二数据表格的文件也存储到缓存文件夹,即后续调用的时候可以直接从上述文件夹调用已经生成好的数据表格即可。
进一步地,将上述步骤生成第二数据表格的文件的存储位置、以及第二数据表格具体包含原始数据中的哪些维度的数据加入到原来的第一数据表格,并由此生成第二数据映射表。此时,若分析人员日后需要再次调用上述第二数据表格,可以直接从新生成的第二数据映射表中查找对应的第二数据映射表。
最后,将第二数据映射表生成可视化页面,并呈现给分析人员。
在一个具体的实施例中,所述目标类别包括时间维度以及指标类别;
在所述当所述第一数据表格中包含有所述目标类别时,将与所述目标类别相对应的目标原始数据,通过预设接口将所述目标原始数据生成可视化页面,包括:
S521:获取所述时间维度所对应的时间数据;
S522:获取至少一个指标类别所对应的指标数据;
S523:将获取的所述时间数据以及所述指标数据,生成中间表格;
S524:通过预设接口将所述中间表格生成可视化页面。
具体地,目标类别进一步包括时间维度以及指标类别,时间维度可以是一段的时间范围,也可以是某个具体的日期。指标数据是保单的保费、保额、版本、险种、年龄、地区、和/或疾病种类等保单指标。在一个具体的应用场景中,生成的可视化页面至少包括时间维度及其对应的时间数据,并且包括至少一个指标类别及其所对应的指标数据。获取了上述时间数据以及指标数据之后,首先生成中间表格,然后在通过预设的软件接口,将上述中间表格生成可视化页面。在一些可选的实施例中,上述中间表格也可以在存储空间允许的情况下先进行存储,以备后续分析中需要调用的时候可以直接再次调用,以提高分析效率。
在一个具体的实施例中,上述可视化页面的快速生成方法还包括:
S531:获取所述原始数据的增量数据;
S532:按照所述预设分类规则对所述增量数据进行分类;
S533:在所述第一数据映射表中查找是否存在具有同样的所述目标类别的所述第一数据表格;
S534:若存在具有同样的所述目标类别的所述第一数据表格,则将分类之后的所述增量数据写入所述第一数据表格,生成第三数据表格;
S535:将所述第三数据表格与所述增量数据之间的位置对应关系加入到所述第一数据映射表中。
具体地,由于随着时间上述原始数据的数据量也在不断地增长,在一个具体的实施例中,生成了第一数据表格以及第一数据映射表之后所产生的增量数据,也可以通过上述的步骤直接写入具有同样的预设分类规则的第一数据表格中,而无需重新创建新的第一数据表格。
具体地,首先获取上述原始数据的增量数据,即上一次执行可视化页面的快速生成方法之后新增的数据。对上述增量数据进行分类之后,在上述第一数据映射表中查找是否存在具有同样的目标类别的第一数据表格,若有,则可以直接将分好类的增量数据直接写入上述第一数据表格中,生成新的第三数据表格。最后,在第一数据映射表中更新第三数据表格的与上述增量数据之间位置对应关系。
在一个具体的实施例中,所述根据预设的可视化规则从所述第一数据表格中查询目标类别,包括:通过虚拟机在所述第一数据表格中查询目标类别;
所述接收到生成可视化页面的请求信息时,从所述缓存文件夹中获取所述第一数据表格,包括:通过虚拟机从所述缓存文件夹中获取所述第一数据表格。
具体地,为了进一步地减少系统的负荷,由虚拟机从第一数据映射表中检索目标数据表格,若检索到目标数据表格,则通过虚拟机从缓存文件夹(即磁盘)中读取上述目标数据表格。进一步地,可以按照分析人员的人数或者需要分析的数据的量来确定需要部署多少台虚拟机。此外,在上述S511的步骤中,也可以使用虚拟机来生成第二数据表格。具体地,上述虚拟机可以是Java虚拟机(JVM),Java虚拟机本质上是一个程序,当在命令行上启动的时候,就开始执行保存在某字节码文件中的指令。Java语言的泛用性正是建立在Java虚拟机的基础上。任何平台只要装有针对于该平台的Java虚拟机,字节码文件(.class)就可以在该平台上运行,即“一次编译,多次运行”。Java虚拟机不仅是一种跨平台的软件,而且是一种新的网络计算平台。该平台包括许多相关的技术,如符合开放接口标准的各种API、优化技术等。Java技术使同一种应用可以运行在不同的平台上。对于现有系统中,数据库负载过重的一个解决方案是,将部分数据库的压力交给JVM虚拟机处理,将数据交给流的方式,该方案只受网络的影响。从而形成一个数据库的一个剥离,并且减少数据库的建设与维护费用。
在一个具体的实施例中,所述数据库之前设置有数据旁路;
所述获取需要存入数据库的原始数据,包括:
通过所述数据旁路,获取所述原始数据的副本,将所述原始数据的副本作为需要存入数据库的原始数据。
具体的,可视化页面的快速生成方法的各个步骤可以是异步进行的,例如,在原始数据录入数据库之前,可以先拷贝一份副本,并通过设置在数据库之前的旁路将其推送到本发明所提供的系统中,并作为需要存入数据库的原始数据进行后续的步骤处理,然后执行上述数据表格的处理步骤,然后将得到的第一数据表格存储在缓存中供后续使用。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
在一实施例中,提供一种可视化页面的快速生成装置,该可视化页面的快速生成装置与上述实施例中可视化页面的快速生成方法一一对应。如图5所示,该数据表格的处理装置包括原始数据获取模块101、原始数据分类模块102、原始数据转换模块103、数据表格保存模块104、第一数据映射表建立模块105、以及可视化页面生成模块106。各功能模块详细说明如下:
原始数据获取模块101,用于获取需要存入数据库的原始数据;
原始数据分类模块102,用于按照预设分类规则对所述原始数据进行分类;
原始数据转换模块103,用于根据分类后的类别将所述原始数据转换为第一数据表格;
数据表格保存模块104,用于将所述第一数据表格保存到缓存文件夹;
第一数据映射表建立模块105,用于建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表;
可视化页面生成模块106,用于根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
在一个具体的实施例中,所述可视化页面生成模块106,包括:
第一数据表格获取单元,用于接收到生成可视化页面的请求信息时,根据所述第一数据映射表从所述缓存文件夹中获取所述第一数据表格;
目标类别获取单元,用于根据预设的可视化规则得到目标类别;
目标类别查询单元,用于根据所述第一数据映射表,查询所述第一数据表格中是否包含有所述目标类别;
可视化页面生成单元,用于当所述第一数据表格中包含有所述目标类别时,将与所述目标类别相对应的目标原始数据,通过预设接口将所述目标原始数据生成可视化页面。
在一个具体的实施例中,可视化页面的快速生成装置还包括:
目标原始数据提取模块,用于新建异步任务,从所述数据库中提取与所述目标类别相对应的目标原始数据;
第二数据表格转换模块,用于将所述目标原始数据转换为第二数据表格;
第二数据表格缓存模块,用于将所述第二数据表格保存到所述缓存文件夹;
第一数据映射表更新模块,用于将所述第二数据表格与所述目标原始数据之间的位置对应关系加入到所述第一数据映射表中。
在一个具体的实施例中,所述目标类别包括时间维度以及指标类别;
在所述可视化页面生成单元,包括:
时间数据获取单元,用于获取所述时间维度所对应的时间数据;
指标数据获取单元,用于获取至少一个指标类别所对应的指标数据;
中间表格生成单元,用于将获取的所述时间数据以及所述指标数据,生成中间表格;
中间表格可视化单元,用于通过预设接口将所述中间表格生成可视化页面。
在一个具体的实施例中,所述数据库之前设置有数据旁路,
所述原始数据获取模块101包括:
原始数据副本获取模块,用于通过所述数据旁路,获取所述原始数据的副本,将所述原始数据的副本作为需要存入数据库的原始数据。
在一个具体的实施例中,可视化页面的快速生成装置还包括:
增量数据获取模块,用于获取所述原始数据的增量数据;
增量数据分类模块,用于按照所述预设分类规则对所述增量数据进行分类;
相同目标类别查找模块,用于在所述第一数据映射表中查找是否存在具有同样的所述目标类别的所述第一数据表格;
第三数据表格生成模块,用于若存在具有同样的所述目标类别的所述第一数据表格,则将分类之后的所述增量数据写入所述第一数据表格,生成第三数据表格;
增量数据更新模块,用于将所述第三数据表格与所述增量数据之间的位置对应关系加入到所述第一数据映射表中。
在一个具体的实施例中,所述可视化页面生成模块106,包括
虚拟机查询单元,用于通过虚拟机在所述第一数据表格中查询目标类别;
所述第一数据表格获取单元,包括:
虚拟机获取单元,通过虚拟机从所述缓存文件夹中获取所述第一数据表格。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分,并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块,本申请中所出现的模块的划分,仅仅是一种逻辑上的划分,实际应用中实现时可以有另外的划分方式。
关于数据表格的处理装置的具体限定可以参见上文中对于数据表格的处理方法的限定,在此不再赘述。上述数据表格的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据表格的处理方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据表格的处理方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中数据表格的处理方法的步骤,例如图2所示的步骤S1至步骤S6及该方法的其它扩展和相关步骤的延伸。或者,处理器执行计算机程序时实现上述实施例中数据表格的处理装置的各模块/单元的功能,例如图5所示模块101至模块106的功能。为避免重复,这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述计算机装置的控制中心,利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中,也可以与所述处理器分开设置。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中数据表格的处理方法的步骤,例如图2所示的步骤S1至步骤S6及该方法的其它扩展和相关步骤的延伸。或者,计算机程序被处理器执行时实现上述实施例中数据表格的处理装置的各模块/单元的功能,例如图5所示模块101至模块106的功能。为避免重复,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

Claims (10)

1.一种可视化页面的快速生成方法,其特征在于,包括:
获取需要存入数据库的原始数据;
按照预设分类规则对所述原始数据进行分类;
根据分类后的类别将所述原始数据转换为第一数据表格;
将所述第一数据表格保存到缓存文件夹;
建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表;
根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
2.根据权利要求1所述的可视化页面的快速生成方法,其特征在于,所述根据所述第一数据映射表在所述第一数据表格中查询目标类别的目标原始数据,并且根据预设的可视化规则通过预设接口将所述目标原始数据生成可视化页面,包括:
接收到生成可视化页面的请求信息时,根据所述第一数据映射表从所述缓存文件夹中获取所述第一数据表格;
根据预设的可视化规则得到目标类别;
根据所述第一数据映射表,查询所述第一数据表格中是否包含有所述目标类别;
当所述第一数据表格中包含有所述目标类别时,将与所述目标类别相对应的目标原始数据,通过预设接口将所述目标原始数据生成可视化页面。
3.根据权利要求2所述的可视化页面的快速生成方法,其特征在于,当所述第一数据表格中不包含有所述目标类别时,所述方法还包括:
新建异步任务,从所述数据库中提取与所述目标类别相对应的目标原始数据;
将所述目标原始数据转换为第二数据表格;
将所述第二数据表格保存到所述缓存文件夹;
将所述第二数据表格与所述目标原始数据之间的位置对应关系加入到所述第一数据映射表中。
4.根据权利要求2所述的可视化页面的快速生成方法,其特征在于,所述目标类别包括时间维度以及指标类别;
在所述当所述第一数据表格中包含有所述目标类别时,将与所述目标类别相对应的目标原始数据,通过预设接口将所述目标原始数据生成可视化页面,包括:
获取所述时间维度所对应的时间数据;
获取至少一个所述指标类别所对应的指标数据;
将获取的所述时间数据以及所述指标数据,生成中间表格;
通过预设接口将所述中间表格生成可视化页面。
5.根据权利要求1所述的可视化页面的快速生成方法,其特征在于,
所述数据库之前设置有数据旁路;
所述获取需要存入数据库的原始数据,包括:
通过所述数据旁路,获取所述原始数据的副本,将所述原始数据的副本作为需要存入数据库的原始数据。
6.根据权利要求1所述的可视化页面的快速生成方法,其特征在于,还包括:
获取所述原始数据的增量数据;
按照所述预设分类规则对所述增量数据进行分类;
在所述第一数据映射表中查找是否存在具有同样的所述目标类别的所述第一数据表格;
若存在具有同样的所述目标类别的所述第一数据表格,则将分类之后的所述增量数据写入所述第一数据表格,生成第三数据表格;
将所述第三数据表格与所述增量数据之间的位置对应关系加入到所述第一数据映射表中。
7.根据权利要求2所述的可视化页面的快速生成方法,其特征在于,所述根据预设的可视化规则从所述第一数据表格中查询目标类别,包括:通过虚拟机在所述第一数据表格中查询目标类别;
所述接收到生成可视化页面的请求信息时,从所述缓存文件夹中获取所述第一数据表格,包括:通过虚拟机从所述缓存文件夹中获取所述第一数据表格。
8.一种可视化页面的快速生成装置,其特征在于,包括:
原始数据获取模块,用于获取需要存入数据库的原始数据;
原始数据分类模块,用于按照预设分类规则对所述原始数据进行分类;
原始数据转换模块,用于根据分类后的类别将所述原始数据转换为第一数据表格;
数据表格保存模块,用于将所述第一数据表格保存到缓存文件夹;
第一数据映射表建立模块,用于建立保存有所述第一数据表格的与所述原始数据之间位置对应关系的第一数据映射表;
可视化页面生成模块,用于根据所述第一数据映射表以及预设的可视化规则,在所述第一数据表格中查询目标类别的目标原始数据,并且通过预设接口将所述目标原始数据生成可视化页面。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述可视化页面的快速生成方法的步骤。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述可视化页面的快速生成方法的步骤。
CN202110729117.3A 2021-06-29 2021-06-29 可视化页面的快速生成方法、装置、设备及存储介质 Pending CN113407287A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110729117.3A CN113407287A (zh) 2021-06-29 2021-06-29 可视化页面的快速生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110729117.3A CN113407287A (zh) 2021-06-29 2021-06-29 可视化页面的快速生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113407287A true CN113407287A (zh) 2021-09-17

Family

ID=77680308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110729117.3A Pending CN113407287A (zh) 2021-06-29 2021-06-29 可视化页面的快速生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113407287A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115859370A (zh) * 2023-03-02 2023-03-28 萨科(深圳)科技有限公司 交易数据的处理方法、装置、计算机设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203847A (zh) * 2005-03-11 2008-06-18 雅虎公司 用于管理列表的系统和方法
CN101901265A (zh) * 2010-07-29 2010-12-01 中国运载火箭技术研究院 一种虚拟试验数据对象化管理系统
CN104978379A (zh) * 2014-10-14 2015-10-14 腾讯科技(深圳)有限公司 一种应用程序资料站的搭建方法及装置
US20170316002A1 (en) * 2016-04-27 2017-11-02 Sap Se Multi-Layered Row Mapping Data Structure in a Database System
CN107766428A (zh) * 2017-09-15 2018-03-06 北京大学 一种自动实现数据可视化的方法和系统
CN110069495A (zh) * 2019-03-13 2019-07-30 中科恒运股份有限公司 数据存储方法、装置和终端设备
CN112100219A (zh) * 2020-09-22 2020-12-18 平安养老保险股份有限公司 基于数据库查询处理的报表生成方法、装置、设备和介质
CN112214557A (zh) * 2020-10-21 2021-01-12 中国银行股份有限公司 数据匹配分类方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101203847A (zh) * 2005-03-11 2008-06-18 雅虎公司 用于管理列表的系统和方法
CN101901265A (zh) * 2010-07-29 2010-12-01 中国运载火箭技术研究院 一种虚拟试验数据对象化管理系统
CN104978379A (zh) * 2014-10-14 2015-10-14 腾讯科技(深圳)有限公司 一种应用程序资料站的搭建方法及装置
US20170316002A1 (en) * 2016-04-27 2017-11-02 Sap Se Multi-Layered Row Mapping Data Structure in a Database System
CN107766428A (zh) * 2017-09-15 2018-03-06 北京大学 一种自动实现数据可视化的方法和系统
CN110069495A (zh) * 2019-03-13 2019-07-30 中科恒运股份有限公司 数据存储方法、装置和终端设备
CN112100219A (zh) * 2020-09-22 2020-12-18 平安养老保险股份有限公司 基于数据库查询处理的报表生成方法、装置、设备和介质
CN112214557A (zh) * 2020-10-21 2021-01-12 中国银行股份有限公司 数据匹配分类方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115859370A (zh) * 2023-03-02 2023-03-28 萨科(深圳)科技有限公司 交易数据的处理方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN110276002B (zh) 搜索应用数据处理方法、装置、计算机设备和存储介质
CN109558440A (zh) 数据批量处理方法、装置、计算机设备及存储介质
US11972228B2 (en) Merging database tables by classifying comparison signatures
US10853564B2 (en) Operation for copied content
US20180307736A1 (en) Efficient Snapshot Generation of Data Tables
CN110674131A (zh) 财务报表数据处理方法、装置、计算机设备和存储介质
CN112286934A (zh) 数据库表导入方法、装置、设备及介质
US20150106380A1 (en) Database managing method, database managing system, and database tree structure
CN112883030A (zh) 数据收集方法、装置、计算机设备和存储介质
KR20130139724A (ko) 컴퓨팅 시스템 및 그 실행 제어 방법과, 그 실행 제어 프로그램을 기록한 기록 매체
CN112685415A (zh) 数据导入方法、装置、计算机设备和存储介质
JP2019204246A (ja) 学習データ作成方法及び学習データ作成装置
CN113407287A (zh) 可视化页面的快速生成方法、装置、设备及存储介质
CN111047434A (zh) 一种操作记录生成方法、装置、计算机设备和存储介质
CN102257490A (zh) 文档信息选择方法和计算机程序产品
JP7346332B2 (ja) データベースマイグレーション方法、データベースマイグレーションシステム、及びデータベースマイグレーションプログラム
CN112631833A (zh) 一种数据归档查询方法、系统、存储介质及设备
US20230153455A1 (en) Query-based database redaction
CN110795920A (zh) 一种文档生成方法及设备
US20180276290A1 (en) Relevance optimized representative content associated with a data storage system
US20150370911A1 (en) Information providing method, apparatus and program
JP2016018279A (ja) 文書ファイル検索プログラム、文書ファイル検索装置、文書ファイル検索方法、文書情報出力プログラム、文書情報出力装置及び文書情報出力方法
CN111782629B (zh) 一种特征加工脚本生成方法及装置
US10261663B2 (en) Mandatory comment on action or modification
CN111046636B (zh) 筛选pdf文件信息的方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination