CN115495452A - 数据处理方法、装置、计算机设备和存储介质 - Google Patents
数据处理方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115495452A CN115495452A CN202211161525.4A CN202211161525A CN115495452A CN 115495452 A CN115495452 A CN 115495452A CN 202211161525 A CN202211161525 A CN 202211161525A CN 115495452 A CN115495452 A CN 115495452A
- Authority
- CN
- China
- Prior art keywords
- data
- dimension
- filled
- created
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种数据处理方法、装置、计算机设备。所述方法包括:获取数据表创建请求和其携带的待创建表维度信息;基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;基于待创建表维度信息中的维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回请求端;获取对待填充虚拟表的填充请求,基于填充请求按照关联关系查找填充请求中待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称的待填充项写入待填充维度数据。采用本方法能够节省数据库资源。
Description
技术领域
本申请计算机应用技术领域,特别是涉及一种数据处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
在数据库中的数据通常以数据表的形式存储,传统的数据表由于结构不同需要对应的物理表模板来存储相关数据,比如,“人员”、“组织”等表头结构的不同,所以需要预先创建各个应用场景可能使用的物理表模板,然后通过已创建的物理表模板存储数据来生成应用场景需要的物理数据表。然而,由于应用的场景变化多样,会创建大量的数据表模板并生成大量的物理数据表,因此数据库中大量物理数据表会对数据库的管理和维护会造成很大压力,导致数据库中资源消耗大的问题。
发明内容
基于此,有必要针对上述技术问题,提供一种能够节省数据库资源的数据处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种数据处理方法。所述方法包括:
获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
第二方面,本申请还提供了一种数据处理装置。所述装置包括:
请求获取模块,用于获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
关联模块,用于基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
表生成模块,用于基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
待填充模块,用于获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
数据获取模块,用于基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
填充模块,用于将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
上述数据处理方法、装置、计算机设备、存储介质和计算机程序产品,通过获取请求端发送的数据创建请求,数据创建请求携带待创建表维度信息,并根据数据表创建请求生成待创建表标识,建立待创建表标识与待创建表维度信息的关联关系,通过待创建表标识和待创建表维度信息中的各个维度名称能够建立请求端所需要的待填充虚拟表,并将待填充虚拟表返回到请求端。获取请求端发送的对待填充虚拟表的填充请求,通过填充请求中的待填充维度名称和待创建表标识能够在待创建表标识与待创建表维度信息的关联关系中快速确定待填充维度名称对应的待填充维度数据来源,并根据待填充维度数据来源获取待填充维度名称对应的待填充维度数据。然后将待填充维度数据返回到请求端以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。由于根据待创建表维度信息生成的待填充虚拟表未存储到数据库中,并且待填充虚拟表中的填充数据是通过待填充维度数据来源获取到的,因此,能够在服务器数据库中避免大量的物理表的存储,从而节省了数据库资源。
附图说明
图1为一个实施例中数据处理方法的应用环境图;
图2为一个实施例中数据处理方法的流程示意图;
图3为一个实施例中待填充虚拟表的创建流程示意图;
图4为一个实施例中数据处理方法的流程示意图;
图5为另一个实施例中数据处理方法的流程示意图;
图6为一个实施例中数据处理装置的结构框图;
图7为一个实施例中计算机设备的内部结构图;
图8为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的数据处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。服务器104获取终端102发送的数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;服务器104基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;服务器104基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;服务器104获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;服务器104基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;服务器104将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图2所示,提供了一种数据处理方法,以该方法应用于图1中的服务器为例进行说明,可以理解的是,该方法也可以应用于终端,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:
步骤202,获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源。
其中,数据表是指数据库中用于存储数据的表。待创建表维度信息是指待创建的数据表对应的维度信息。维度信息是指待创建的数据表中数据维度的相关信息,包括维度名称和维度名称对应的维度数据来源。维度是指数据表中表征数据属性的描述。维度名称是指数据的属性名称。维度数据是指不同属性对应的数据,可以是数据集,不同的维度名称对应不同的维度数据。维度数据来源是指维度数据的来源信息,用于获取维度数据,维度数据来源可以是维度数据的获取地址。
具体地,服务器获取请求端发送的数据表创建请求并获取数据表创建请求携带的待创建表维度信息,待创建表信息包括维度名称和维度数据来源。服务器可以预先设置好维度信息列表,用于存储至少两个待选的维度信息和各个维度信息对应的维度信息标识。待创建表维度信息可以是服务器根据维度信息列表向请求端发送各个待选的维度信息,用户通过请求端在各个待选的维度信息中确定待创建表维度信息,用户也可以通过请求端输入待创建表的名称,并根据待创建表维度信息和待创建表的名称生成数据表创建请求发送给服务器。
步骤204,基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系。
其中,待创建表标识是指待创建的数据表对应的唯一标识。
具体地,服务器根据数据表创建请求生成待创建的数据表对应的待创建表标识,然后将生成的待创建表标识写入到与预先设置好的数据表标识记录表中,数据表标识记录表包括至少一个待创建表标识和各个待创建表标识对应的数据表名称。服务器也可以根据数据表创建请求中的待创建表的数据表名称生成待创建表标识,然后服务器建立待创建表标识和待创建表维度信息的关联关系。待创建表标识和待创建表维度信息的关联关系可以表示数据表标识记录表中待创建表标识在维度信息列表中对应的待创建表维度信息。
步骤206,基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端。
其中,待填充虚拟表是指根据待创建表维度信息生成的待填充的数据表。
具体地,服务器根据待创建表维度信息中的各个维度名称和待创建表标识确定待创建的数据表的表结构。然后服务器根据待创建的数据表的表结构生成待填充虚拟表,并将待填充虚拟表发送到数据表创建请求对应的请求端显示,以使用户通过请求端进行数据填充。
步骤208,获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识。
步骤210,基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据。
其中,填充请求是指对待填充虚拟表中进行填充时生成的填充数据获取请求。待填充维度名称是指待填充虚拟表中待填充项对应的维度名称。待填充维度数据是指待填充维度名称对应的维度数据。
具体地,服务器获取请求端对待填充虚拟表的填充请求,填充请求包括对待填充虚拟表对应的待创建表标识和待填充虚拟表中待填充项对应的待填充维度名称。服务器根据待创建表标识与待创建表维度信息的关联关系在维度信息列表中查找待创建表标识关联的待创建表维度信息,并获取待创建表维度信息中待填充维度名称对应的待填充维度数据来源,待填充维度数据来源可以是待填充维度数据的地址,服务器根据待填充维度数据来源获取待填充维度名称对应的待填充维度数据。
步骤212,将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
具体地,服务器将待填充维度数据返回到请求端,请求端在待填充虚拟表的待填充维度名称对应的待填充项中写入待填充维度数据。待创建表维度信息中还包括维度类型,表示维度名称对应的填充数据的数据类型,维度类型包括文本类型和非文本类型。服务器根据待创建表维度信息生成待填充虚拟表,并将待填充虚拟表发送到请求端。请求端检测到待填充虚拟表中待填充项的维度类型是非文本类型时,根据待填充项对应的待填充维度名称和待创建表标识生成填充请求并发送给服务器,获取服务器放回的待填充维度数据写入到对应的待填充项中。请求端检测到待填充虚拟表中待填充项的维度类型是文本类型时,直接获取用户输入的文本数据并写入到待填充虚拟表对应的待填充项中。然后请求端将待填充虚拟表中各个填充数据返回到服务器中。
上述数据处理方法中,通过获取请求端发送的数据创建请求,数据创建请求携带待创建表维度信息,并根据数据表创建请求生成待创建表标识,建立待创建表标识与待创建表维度信息的关联关系,通过待创建表标识和待创建表维度信息中的各个维度名称能够建立请求端所需要的待填充虚拟表,并将待填充虚拟表返回到请求端。获取请求端发送的对待填充虚拟表的填充请求,通过填充请求中的待填充维度名称和待创建表标识能够在待创建表标识与待创建表维度信息的关联关系中快速确定待填充维度名称对应的待填充维度数据来源,并根据待填充维度数据来源获取待填充维度名称对应的待填充维度数据。然后将待填充维度数据返回到请求端以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。由于根据待创建表维度信息生成的待填充虚拟表未存储到数据库中,并且待填充虚拟表中的填充数据是通过待填充维度数据来源获取到的,因此,能够在服务器数据库中避免大量的物理表的存储,从而节省了数据库资源。
在一个实施例中,在步骤202,获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源之前,还包括:
获取请求端发送的当前维度创建请求,当前维度创建请求携带有当前维度创建信息,基于当前维度创建信息生成当前维度信息;
获取历史维度信息,基于当前维度信息和历史维度信息得到至少一个待选维度信息,将至少一个待选维度信息发送至请求端,以使请求端在至少一个待选维度信息中确定待创建表维度信息,并基于待创建表维度信息生成数据表创建请求。
其中,当前维度创建请求是指当前时刻的维度创建请求,用于生成维度信息。当前维度创建信息是指创建维度信息需要的创建信息。当前维度信息是指当前时刻新创建的维度信息。历史维度信息是指在历史时刻创建的维度信息。
具体地,服务器获取请求端发送的当前维度创建请求中的当前维度创建信息,根据当前维度创建信息生成当前维度信息,当前维度信息可以是一个也可以是多个。然后服务器获取历史维度信息,并将历史维度信息和当前维度信息作为待选维度信息,得到多个待选维度信息。服务器将各个待选维度信息发送到请求端,用户通过请求端在各个待选维度信息中确定待创建表维度信息,并根据待创建表维度信息生成数据表创建请求。
在一个具体实施例中,服务器可以在获取到当前维度信息创建请求后,根据当前维度创建信息生成当前维度信息,并将当前维度信息写入预先设置好的维度信息列表。维度信息列表包括历史维度信息和当前维度信息。维度信息列表还包括各个维度信息对应的维度信息标识、维度名称、维度数据来源、维度类型等。
服务器获取请求端发送的数据表创建请求,数据表创建请求中携带数据表名称,然后服务器根据数据表创建请求生成待创建表标识,并将数据表名称和待创建表标识写入到预先设置好的数据表标识记录表中,数据表标识记录表包括各个数据表对应的待创建表标识、数据表名称、数据表创建时间等。然后服务器可以对请求端发送的数据表创建请求进行权限验证,在维度信息列表中将请求端创建的当前维度信息和满足请求端权限的历史维度信息作为待选维度信息,并将待选维度信息返回到请求端中。请求端在各个待选维度信息中确定待创建表维度信息,并将待创建表维度信息发送到服务器中。
本实施例中,通过根据当前维度创建信息生成当前维度信息,并将当前维度信息和历史维度信息作为待选维度信息返回给请求端来确定待创建表维度信息,能够实现用户进行自定义维度信息,能够根据待创建表维度信息生成待填充虚拟表,提高了数据表的创建效率。
在一个实施例中,所述方法,还包括:
获取待填充虚拟表中各个待填充项对应的填充请求,基于各个待填充项对应的填充请求和关联关系获取各个待填充项对应的待填充维度数据;
将各个待填充项对应的待填充维度数据返回到请求端,以使请求端在各个待填充项对应的待填充维度数据中确定各个待填充项对应的目标填充数据,并在待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表。
其中,目标填充数据是指待填充虚拟表中写入到待填充项的填充数据。目标虚拟表是指待填充虚拟表中各个待填充项已填充数据后的数据表。
具体地,请求端响应于用户对待填充虚拟表中的待填充项的点击操作生成该待填充项对应的填充请求,并将填充请求发送到服务器。服务器获取请求端发送的填充请求,根据填充请求获取待填充项对应的待填充维度名称和待创建表标识。
服务器可以预先设置好数据表标识和维度信息的维度关系表,维度关系表存储各个待创建表标识和各个待创建表标识对应的维度信息标识。服务器可以在维度关系表中查找填充请求的待创建表标识对应的各个维度信息标识,并根据待创建表标识对应的各个维度信息标识在维度信息列表中确定待创建表标识对应的各个维度信息。服务器在待创建表标识对应的各个维度信息中获取待填充维度名称对应的待填充维度数据来源,即得到待填充项对应的待填充维度数据来源。服务器根据待填充项对应的待填充数据来源获取待填充项对应的待填充维度数据,并将待填充维度数据返回到请求端中。
请求端将待填充维度数据进行显示,待填充维度数据可以是数据集,请求端响应于用户对待填充维度数据的选择操作,在待填充维度数据中确定待填充项对应的目标填充数据,请求端在将目标填充数据显示在对应的待填充项中,并将待填充项对应的目标填充数据返回到服务器中。服务器遍历请求端发送的各个待填充项对应的填充请求,向请求端发送各个待填充项对应的待填充维度数据,并获取请求端返回的各个待填充向对应的目标填充数据,得到目标虚拟表。
本实施例中,通过根据填充请求查找待填充项对应的待填充维度数据,并使用户通过请求端能够快速确定待填充项对应的目标填充数据,保证了数据的安全性和真实性,并且提高了对数据表的数据处理效率。
在一个实施例中,在将各个待填充项对应的待填充维度数据返回到请求端,以使请求端在各个待填充项对应的待填充维度数据中确定各个待填充项对应的目标填充数据,并在待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表之后,还包括:
获取请求端返回的目标虚拟表中各个待填充项对应的目标填充数据和各个待填充项对应的维度名称;
基于各个待填充项对应的目标填充数据确定目标虚拟表中各个行分别对应的行填充数据集,根据各个待填充项对应的维度名称将目标虚拟表中各个行分别对应的行填充数据集写入预设行数据记录表中;
当获取到请求端对目标虚拟表的行填充数据查询指令时,基于行填充数据查询指令在预设行数据记录表中确定目标行填充数据集,将目标行填充数据集返回到请求端中。
其中,行填充数据集是指目标虚拟表中各个行对应的目标填充数据生成的填充数据集。预设行数据记录表是指预先设置好的存储各个行填充数据集的记录表。行填充数据查询指令是指对目标虚拟表中某一行的数据进行查询的指令。
具体地,服务器获取请求端返回的目标虚拟表中各个待填充项对应的目标填充数据和各个待填充项对应的维度名称,即各个目标填充数据和各个目标填充数据对应的维度名称。服务器根据各个目标填充数据携带的行标识将各个目标填充数据进行划分,得到各个行分别对应的各个行填充数据。然后根据各个行填充数据对应的维度名称对各个行填充数据进行特征划分,得到属于特征维度的各个特征维度名称对应的行填充数据和属于非特征维度的各个非特征维度名称对应的行填充数据。特征维度和非特征维度是指预先设置好的两种维度类别。比如,目标虚拟表中的维度名称有“人员”、“科目”、“客户”、“金额”,预先设置“人员”、“科目”等的维度名称为特征维度名称,属于特征维度;预先设置“客户”、“金额”等的维度名称为非特征维度名称,属于非特征维度。特征维度对应的行填充数据可以作为查询非特征维度对应的行填充数据的查询索引,即通过特征维度对应的行填充数据可以查询到非特征维度对应的行填充数据。
服务器对各个特征维度名称和各个特征维度名称对应的行填充数据进行格式转换和存储,服务器对各个非特征维度名称和各个非特征维度名称对应的行填充数据进行相同的格式转换和存储,格式转换比如是使用JSON(轻量级的文本数据交换格式)格式进行序列化处理,得到特征维度对应的序列化值,即特征行填充数据集和非特征维度对应的序列化值,即非特征行填充数据集,服务器将特征行填充数据集和非特征行填充数据集作为行填充数据集,得到各个行分别对应的行填充数据集。服务器将各个行分别对应的行填充数据集中的特征行填充数据集和非特征行填充数据集分别存储到预设行数据记录表中。预设行数据记录表中包括行填充数据集对应的待创建表标识,预设行数据记录标表中可以存储至少一个待创建表标识和至少一个待创建表标识对应的各个行的行填充数据集。
服务器获取到请求端对目标虚拟表的行填充数据查询指令,行填充数据查询指令包括特征维度中所有特征维度名称对应的查询数据,特征维度名称对应的查询数据可以是填充数据。服务器根据查询数据在预设行数据记录表中查找对应的特征行填充数据集,然后在预设行数据记录表中获取特征行填充数据集对应的非特征行填充数据集。服务器将查找到的特征行填充数据集对应的非特征行填充数据集发送到请求端,以使请求端对特征行填充数据集和非特征行填充数据集进行反序列化,得到目标虚拟表中的各个维度名称和各个维度名称对应的一行填充数据,或者服务器将查找到的非维度特征对应的非特征行填充数据集发送到请求端进行反序列化,得到非特征维度名称对应的一行填充数据。比如,目标虚拟表中的维度名称有“人员”、“科目”、“客户”、“金额”,目标虚拟表中某一行各个维度名称对应的填充数据为“小B”、“科目A1”、“客户1”、“金额1”。特征维度名称为“人员”、“科目”,非特征维度名称为“客户”、“金额”,行填充数据查询指令中的查询数据为“人员=小B”、“科目=科目A1”,则服务器根据查询数据在预设行数据记录表中查找到的非特征维度名称对应的数据为“客户1”、“金额1”。然后服务器将“客户1”、“金额1”返回到请求端显示。
本实施例中,通过根据各个填充项对应的填充数据生成行填充数据集,行填充数据集包括特征行填充数据集和非特征行填充数据集,将特征行填充数据集和非特征行填充数据集存储到预设行数据记录表中,能够通过预设行数据记录表快速并且准确查询目标虚拟表中的某一行填充数据,从而提高了对数据查询的效率和准确性。
在一个实施例中,维度名称包括查询索引维度名称;预设行数据记录表包括填充数据集对应的数据集标识;在将各个待填充项对应的待填充维度数据返回到请求端,以使请求端在各个待填充项对应的待填充维度数据中确定各个待填充项对应的目标填充数据,并在待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表之后,还包括:
获取请求端返回的目标虚拟表中各个索引填充数据和各个索引填充数据对应的查询索引维度名称,基于各个索引填充数据在预设行数据记录表中分别确定各个索引填充数据对应的数据集标识;
基于待创建表标识、各个索引填充数据对应的数据集标识、各个索引填充数据对应的查询索引维度名称和各个索引填充数据写入预设索引填充数据查询数据表中;
获取到请求端对目标虚拟表的填充数据查询指令时,基于填充数据查询指令从预设索引填充数据查询数据表中确定目标索引填充数据和目标索引填充数据对应的目标数据集标识;
在预设行数据记录表中获取目标数据集标识对应的行填充数据集,将目标数据集标识对应的行填充数据集返回到请求端。
其中,数据集标识是指预设行数据记录表中的行填充数据集对应的标识。查询索引维度名称是指特征维度名称。索引填充数据是指查询索引维度名称对应的填充数据。预设索引填充数据查询数据表是指预先设置好的存储索引填充数据的记录表。
具体地,服务器获取请求端返回的目标虚拟表中各个索引填充数据和各个索引填充数据对应的查询索引维度名称,即目标虚拟表中各个特征维度名称和各个特征维度名称分别对应的各个填充数据。服务器在预设行数据记录表中查找各个索引填充数据所在的特征行填充数据集,并获取各个索引填充数据所在的特征行填充数据集对应的数据集标识,得到各个索引填充数据对应的数据集标识。服务器也可以在预设行数据记录表中根据数据集标识获取各个数据集标识和各个数据集标识对应的特征行填充数据集,并对各个数据集标识对应的特征行填充数据集进行数据拆分,得到各个索引填充数据和各个索引填充数据对应的查询索引维度名称。服务器将待创建表标识、各个索引填充数据对应的数据集标识、各个索引填充数据对应的查询索引维度名称和各个索引填充数据写入预设索引填充数据查询数据表中。
服务器到请求端对目标虚拟表的填充数据查询指令,填充数据查询指令包括特征维度中部分特征维度名称对应的查询数据,表示用户在所有特征维度名称中挑选部分特征维度名称进行自定义维度组合查询。服务器根据部分特征维度名称对应的查询数据在预设索引填充数据查询数据表中查找目标索引填充数据和目标索引填充数据对应的目标数据集标识。服务器根据目标数据集标识在预设行数据记录表中确定对应的行填充数据集,并获取目标数据集标识对应的行填充数据集中的非特征行填充数据集,非特征行填充数据集可以是一个也可以是多个。服务器将目标数据集标识对应的非特征行填充数据集返回到请求端显示。比如,目标虚拟表中的维度名称有“人员”、“科目”、“客户”、“金额”,目标虚拟表中各个维度名称对应的填充数据为“小B”、“科目A1”、“客户1”、“金额1”;“小C”、“科目A2”、“客户2”、“金额2”;“小D”、“科目B1”、“客户3”、“金额3”。特征维度名称为“人员”、“科目”,非特征维度名称为“客户”、“金额”,行填充数据查询指令中的查询数据为“人员=小”(“小”表示人名的姓)、“科目=科目A”,则服务器根据查询数据在预设行数据记录表中查找到的非特征维度名称对应的数据为“客户1”、“金额1”和“客户2”、“金额2”。然后服务器将“客户1”、“金额1”和“客户2”、“金额2”返回到请求端显示。
本实施例中,通过将目标虚拟表中的索引填充数据对应的查询索引维度名称和索引填充数据对应的数据集标识存储到预设索引填充数据查询数据表中,能够实现用户自定义查询,通过预设索引填充数据查询数据表快速并且准确查询目标虚拟表中的部分行填充数据,从而提高了对数据查询的效率和准确性。
在一个实施例中,数据表创建请求包括至少两个;所述方法,还包括:
获取至少两个数据表创建请求,基于至少两个数据表创建请求得到至少两个待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
基于至少两个数据表创建请求生成至少两个待创建表标识,并建立至少两个待创建表标识与对应的待创建表维度信息的目标关联关系;
基于至少两个待创建表维度信息中的各个维度名称和至少两个待创建表标识建立至少两个待填充虚拟表,将至少两个待填充虚拟表分别返回至少两个数据表创建请求对应的请求端;
获取目标填充请求,目标填充请求携带目标待创建表标识和目标维度名称;
基于目标填充请求按照目标关联关系查找目标待创建表标识关联的目标待创建表维度信息,从目标待创建表维度信息中获取目标维度名称对应的目标维度数据来源,基于目标维度数据来源获取目标维度数据;
将目标维度数据返回到目标填充请求对应的目标请求端,以使目标请求端在目标待创建表标识对应的待填充虚拟表中写入目标维度数据。
其中,目标关联关系是指各个待创建表标识与对应的待创建表维度信息之间的对应关系。目标填充请求是指在目标请求端发送的填充请求,目标请求端是指至少两个请求端中的其中一个请求端。目标待创建表维度信息是指目标待创建表标识对应的各个维度信息。
具体地,服务器获取至少两个数据表创建请求,并分别获取至少两个数据表创建请求中的待创建表维度信息。服务器根据至少两个数据表创建请求生成对应的待创建表标识,得到至少两个待创建表标识,并将至少两个待创建表标识存储到预设数据表标识记录表中。服务器根据各个待创建表维度信息中的各个维度名称在维度信息列表中获取对应的维度信息标识,然后将各个待创建表标识分别对应的各个维度信息标识存储到维度关系表中,建立各个待创建表标识与对应的待创建表维度信息的目标关联关系。
服务器根据各个待创建表标识和各个待创建表标识分别对应的各个维度名称建立各个待创建表标识对应的待填充虚拟表,并将各个待填充虚拟表分别返回到各个数据表创建请求对应的请求端。
服务器获取各个请求端发送的目标填充请求,并获取目标填充请求中的目标待创建表标识和目标维度名称。服务器根据目标待创建表标识在维度关系表中查找对应的目标待创建表维度信息,然后在目标待创建表维度信息中获取目标维度名称对应的维度信息。服务器从目标维度名称对应的维度信息中获取目标维度名称对应的目标维度数据来源,并根据目标维度数据来源获取目标维度数据。服务器将目标维度数据返回到目标填充请求对应的目标请求端,目标请求端在目标维度数据中确定一个填充数据,将该填充数据写入到待创建虚拟表对应的待填充项中,并将该填充数据发送给服务器。
在一个具体实施例中,如图3所示,提供一种待填充虚拟表的创建流程示意图;服务器根据系统数据和外部数据建立维度集,即维度信息列表。系统数据表示服务器数据库中预先存储有的数据,比如,公司全体员工信息、公司组织信息等。外部数据表示服务器数据库中未存储有的数据,可以是用户提供的外接数据库中的数据。服务器获取将系统数据和外部数据按照数据属性进行数据封装,得到至少一个维度数据,并获取各个维度数据的维度数据来源生成各个待选维度信息。服务器响应于至少一个请求端发送的数据表创建请求,将各个待选维度信息发送给各个请求端,通过各个请求端确定各个待创建表维度信息。然后服务器通过动态虚拟化模块根据至少一个待创建表维度信息进行虚拟化处理,得到至少一个待填充虚拟表。服务器可以根据待填充虚拟表生成待填充数据表模板,用户可以下载该待填充数据表模板进行离线填充,然后填充好的数据表批量导入,在服务器中生成目标虚拟表。动态虚拟化模块是获取用户对待创建表维度信息的动态配置创建待填充虚拟表的模块。动态是指服务器获取的待创建表维度信息并不是固定的,而是由用户配置选择得到的。虚拟化是指根据待创建表维度信息确定待填充虚拟表对应的表结构,并根据表结构创建待填充虚拟表的过程。
在一个具体实施例中,如图4所示,提供一种数据处理的流程示意图;图4-a表示核心视图,图中包括编码、名称、源维度、目标维度、编辑功能栏和已填充的虚拟表。编码可以是待创建表标识,名称表示虚拟表名称,所属体系表示虚拟表所属的业务体系,源维度表示特征维度,目标维度表示非特征维度。核心视图用于方案的创建、编辑和展示。方案表示通过维度信息组合形成的虚拟表。
图4-b表示维度相关信息,通过系统内部和系统外部的数据进行引入,定义维度的相关信息:维度编码、维度名称、维度所属体系、维度类型、维度来源、类型字段和类型值。
图4-c表示维度信息列表,通过维度相关信息生成维度信息列表。
图4-d表示虚拟表的查询方法,即根据源维度查询目标维度对应的数据。查询方法包括对虚拟表的精确查询和方案查询。精确查询通过定义虚拟表中所有源维度的查询数据,根据查询数据查询到对应的一条数据。方案查询通过定义虚拟表中部分源维度的查询数据,根据查询数据可以查找到多条数据。
图4-e表示数据导入模板,根据待填充虚拟表生成可下载的待填充数据表模板,待填充数据表模板可以是excel模板文件。用户在待填充数据表模板中填充完数据后,将填充好的数据表批量导入。
在一个具体实施例中,如图5所示,提供一种数据处理的流程示意图;图5-a表示维度信息列表,包括主键、维度编码、维度名称、维度来源、维度类型、类型字段、类型值和所属体系。其中,主键存储维度信息标识。维度类型包括系统字段和文本字段,系统字段表示该维度类型对应的待填充项填充的数据可以通过维度数据来源获取,文本字段表示该维度类型对应的待填充项填充的数据可以编辑文本输入。图5-a表示体系01对应的所有维度信息列表。不同的体系对应不同的维度信息列表。
图5-b表示映射方案表,即待创建表标识记录表,包括主键、方案编码、方案名称、所属体系和创建时间。其中,主键存储待创建表标识。用户新创建一个虚拟表则在映射方案表中新增一条映射方案记录。图5-b表示体系01对应的两种映射方案,即主键21对应的映射方案和主键22对应的映射方案。
图5-c表示映射方案-维度关系表,存储待创建表标识和待创建表维度信息之间的关联关系。映射方案-维度关系表包括主键、方案标识、维度标识、特征标识和序号。其中,方案标识存储待创建表标识。维度标识存储维度信息标识。特征标识表示是否是特征维度。图5-c表示主键为21的映射方案在维度信息列表中对应的维度有主键1-7对应的维度,其中,主键1-3对应的维度为特征维度,主键3-7对应的维度为非特征维度。
图5-d表示映射关系数据表,即行数据记录表,用于存储与特征维度对应填充数据映射关联的非特征维度对应的填充数据。映射关系表示特征维度和非特征维度之间的映射关系。映射关系数据表包括主键、方案标识、特征值、特征维度序列化和非特征维度序列化。其中,主键存储数据急标识。方案标识存储待创建表标识。特征值存储对特征维度序列化值进行CRC32(Cyclic Redundancy Check,循环冗余校验加密)加密得到的值,用于映射关系的精确查询。特征维度存储各个特征维度名称对应的填充项的序列化值。非特征维度序列化存储各个非特征维度名称对应的填充项的序列化值。图5-d表示待创建表标识为21的虚拟表中第一行至第五行(主键1001-1005)分别对应的特征维度序列化值和非特征维度序列化值。
映射关系数据表用于进行精确查询,服务器可以获取请求端发送的行填充数据查询指令,对行填充数据查询指令中所有特征维度的查询数据进行序列化处理和加密后,得到查询值。然后服务器将查询值和映射关系数据表中的特征值进行匹配,获取与查询值对应非特征维度序列化值并返回到请求端中。
图5-e表示映射关系特征维度表,即索引填充数据的记录表。映射关系特征维度表包括主键、方案标识、映射标识、维度编码和维度值。其中,方案标识存储待创建表标识。映射标识存储数据集标识。图5-e表示待创建表标识为21的虚拟表中第一行(主键1001)对应的各个特征维度名称对应的填充数据和第二行(主键1002)对应的各个特征维度名称对应的填充数据。
在一个具体实施例中,服务器获取请求端发送的当前维度创建请求,根据当前维度创建请求中的当前维度创建信息生成当前维度信息,将当前维度信息存储到维度信息列表中。服务器获取数据表创建请求时,根据数据表创建在映射方案表中新增一条数据表创建请求对应的映射方案记录,然后服务器根据维度信息列表将各个维度信息发送给请求端,并获取请求端返回的待创建表维度信息。服务器根据待创建表维度信息对应的维度信息标识和待创建表标识在映射方案-维度关系表中新增待创建表标识和各个维度信息标识之间的关联记录。然后服务器根据待创建表维度信息中各个维度名称和待创建表标识生成待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端。
服务器获取请求端对待填充虚拟表中各个待填充项对应的填充请求,并根据填充请求获取待填充项对应的待填充维度数据,将各个待填充项对应的待填充维度数据返回给请求端。服务器获取请求端返回的各个待填充项对应的目标填充数据和各个目标填充数据对应的维度名称,根据各个目标填充数据对应的维度名称和各个目标填充数据生成各个行对应的特征维度序列化值和非特征维度序列化值,将各个行对应的特征维度序列化值和非特征维度序列化值写入到映射关系数据表中。服务器将虚拟表中每一行的各个特征维度名称对应的填充数据分别写入映射关系特征维度表中。
本实施例中,将维度信息列表、映射方案表、映射方案-维度关系表、映射关系数据表和映射关系特征维度表作为基础表,通过基础表中记录的信息可以实时生成虚拟表给用户使用。当用户要创建一张新表时,只需要在各个基础表中增加一组相关的记录,而非真正的去数据库创建一张新的物理表,并且当表需要删除时,只需要在基础表中的相关数据删除即可。因此,可以通过上述几个固定的基础表构建大量的虚拟表,从而节省了数据库资源。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的数据处理方法的数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个数据处理装置实施例中的具体限定可以参见上文中对于数据处理方法的限定,在此不再赘述。
在一个实施例中,如图6所示,提供了一种数据处理装置600,包括:请求获取模块602、关联模块604、表生成模块606、待填充模块608、数据获取模块610和填充模块612,其中:
请求获取模块602,用于获取数据表创建请求,数据表创建请求携带待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;
关联模块604,用于基于数据表创建请求生成待创建表标识,并建立待创建表标识与待创建表维度信息的关联关系;
表生成模块606,用于基于待创建表维度信息中的各个维度名称和待创建表标识建立待填充虚拟表,将待填充虚拟表返回数据表创建请求对应的请求端;
待填充模块608,用于获取对待填充虚拟表的填充请求,填充请求中携带待填充维度名称和待创建表标识;
数据获取模块610,用于基于填充请求按照关联关系查找待创建表标识关联的待创建表维度信息,从待创建表维度信息中获取待填充维度名称对应的待填充维度数据来源,基于待填充维度数据来源获取待填充维度数据;
填充模块612,用于将待填充维度数据返回到请求端,以使请求端在待填充虚拟表的待填充维度名称对应的待填充项写入待填充维度数据。
在一个实施例中,数据处理装置600,还包括:
维度创建单元,包括:获取请求端发送的当前维度创建请求,当前维度创建请求携带有当前维度创建信息,基于当前维度创建信息生成当前维度信息;获取历史维度信息,基于当前维度信息和历史维度信息得到至少一个待选维度信息,将至少一个待选维度信息发送至请求端,以使请求端在至少一个待选维度信息中确定待创建表维度信息,并基于待创建表维度信息生成数据表创建请求。
在一个实施例中,数据处理装置600,还包括:
数据填充单元,包括:获取待填充虚拟表中各个待填充项对应的填充请求,基于各个待填充项对应的填充请求和关联关系获取各个待填充项对应的待填充维度数据;将各个待填充项对应的待填充维度数据返回到请求端,以使请求端在各个待填充项对应的待填充维度数据中确定各个待填充项对应的目标填充数据,并在待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表。
在一个实施例中,数据处理装置600,还包括:
行数据查询单元,包括:获取请求端返回的目标虚拟表中各个待填充项对应的目标填充数据和各个待填充项对应的维度名称;基于各个待填充项对应的目标填充数据确定目标虚拟表中各个行分别对应的行填充数据集,根据各个待填充项对应的维度名称将目标虚拟表中各个行分别对应的行填充数据集写入预设行数据记录表中;当获取到请求端对目标虚拟表的行填充数据查询指令时,基于行填充数据查询指令在预设行数据记录表中确定目标行填充数据集,将目标行填充数据集返回到请求端中。
在一个实施例中,数据处理装置600,还包括:
数据查询单元,包括:获取请求端返回的目标虚拟表中各个索引填充数据和各个索引填充数据对应的查询索引维度名称,基于各个索引填充数据在预设行数据记录表中分别确定各个索引填充数据对应的数据集标识;基于待创建表标识、各个索引填充数据对应的数据集标识、各个索引填充数据对应的查询索引维度名称和各个索引填充数据写入预设索引填充数据查询数据表中;获取到请求端对目标虚拟表的填充数据查询指令时,基于填充数据查询指令从预设索引填充数据查询数据表中确定目标索引填充数据和目标索引填充数据对应的目标数据集标识;在预设行数据记录表中获取目标数据集标识对应的行填充数据集,将目标数据集标识对应的行填充数据集返回到请求端。
在一个实施例中,数据处理装置600,还包括:
创建表单元,包括:获取至少两个数据表创建请求,基于至少两个数据表创建请求得到至少两个待创建表维度信息,待创建表维度信息包括各个维度名称和各个维度名称对应的维度数据来源;基于至少两个数据表创建请求生成至少两个待创建表标识,并建立至少两个待创建表标识与对应的待创建表维度信息的目标关联关系;基于至少两个待创建表维度信息中的各个维度名称和至少两个待创建表标识建立至少两个待填充虚拟表,将至少两个待填充虚拟表分别返回至少两个数据表创建请求对应的请求端;获取目标填充请求,目标填充请求携带目标待创建表标识和目标维度名称;基于目标填充请求按照目标关联关系查找目标待创建表标识关联的目标待创建表维度信息,从目标待创建表维度信息中获取目标维度名称对应的目标维度数据来源,基于目标维度数据来源获取目标维度数据;将目标维度数据返回到目标填充请求对应的目标请求端,以使目标请求端在目标待创建表标识对应的待填充虚拟表中写入目标维度数据。
上述数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待创建表维度信息等。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置,显示屏可以是液晶显示屏或电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7-8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种数据处理方法,其特征在于,所述方法包括:
获取数据表创建请求,所述数据表创建请求携带待创建表维度信息,所述待创建表维度信息包括各个维度名称和所述各个维度名称对应的维度数据来源;
基于所述数据表创建请求生成待创建表标识,并建立所述待创建表标识与所述待创建表维度信息的关联关系;
基于所述待创建表维度信息中的各个维度名称和所述待创建表标识建立待填充虚拟表,将所述待填充虚拟表返回所述数据表创建请求对应的请求端;
获取对所述待填充虚拟表的填充请求,所述填充请求中携带待填充维度名称和所述待创建表标识;
基于所述填充请求按照所述关联关系查找所述待创建表标识关联的待创建表维度信息,从所述待创建表维度信息中获取所述待填充维度名称对应的待填充维度数据来源,基于所述待填充维度数据来源获取待填充维度数据;
将所述待填充维度数据返回到所述请求端,以使所述请求端在所述待填充虚拟表的所述待填充维度名称对应的待填充项写入所述待填充维度数据。
2.根据权利要求1所述的方法,其特征在于,在所述获取数据表创建请求,所述数据表创建请求携带待创建表维度信息,所述待创建表维度信息包括各个维度名称和对应的维度数据来源之前,还包括:
获取所述请求端发送的当前维度创建请求,所述当前维度创建请求携带有当前维度创建信息,基于所述当前维度创建信息生成当前维度信息;
获取历史维度信息,基于所述当前维度信息和所述历史维度信息得到至少一个待选维度信息,将所述至少一个待选维度信息发送至所述请求端,以使所述请求端在所述至少一个待选维度信息中确定所述待创建表维度信息,并基于所述待创建表维度信息生成所述数据表创建请求。
3.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
获取所述待填充虚拟表中各个待填充项对应的填充请求,基于所述各个待填充项对应的填充请求和所述关联关系获取所述各个待填充项对应的待填充维度数据;
将所述各个待填充项对应的待填充维度数据返回到所述请求端,以使所述请求端在所述各个待填充项对应的待填充维度数据中确定所述各个待填充项对应的目标填充数据,并在所述待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表。
4.根据权利要求3所述的方法,其特征在于,在所述将所述各个待填充项对应的待填充维度数据返回到所述请求端,以使所述请求端在所述各个待填充项对应的待填充维度数据中确定所述各个待填充项对应的目标填充数据,并在所述待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表之后,还包括:
获取所述请求端返回的所述目标虚拟表中各个待填充项对应的目标填充数据和所述各个待填充项对应的维度名称;
基于所述各个待填充项对应的目标填充数据确定所述目标虚拟表中各个行分别对应的行填充数据集,根据所述各个待填充项对应的维度名称将所述目标虚拟表中各个行分别对应的行填充数据集写入预设行数据记录表中;
当获取到所述请求端对所述目标虚拟表的行填充数据查询指令时,基于所述行填充数据查询指令在所述预设行数据记录表中确定目标行填充数据集,将所述目标行填充数据集返回到所述请求端中。
5.根据权利要求4所述的方法,其特征在于,所述维度名称包括查询索引维度名称;所述预设行数据记录表包括所述填充数据集对应的数据集标识;
在所述将所述各个待填充项对应的待填充维度数据返回到所述请求端,以使所述请求端在所述各个待填充项对应的待填充维度数据中确定所述各个待填充项对应的目标填充数据,并在所述待填充虚拟表的各个待填充项中写入对应的目标填充数据,得到目标虚拟表之后,还包括:
获取所述请求端返回的所述目标虚拟表中各个索引填充数据和所述各个索引填充数据对应的查询索引维度名称,基于所述各个索引填充数据在所述预设行数据记录表中分别确定所述各个索引填充数据对应的数据集标识;
基于所述待创建表标识、所述各个索引填充数据对应的数据集标识、所述各个索引填充数据对应的查询索引维度名称和所述各个索引填充数据写入预设索引填充数据查询数据表中;
获取到所述请求端对所述目标虚拟表的填充数据查询指令时,基于所述填充数据查询指令从所述预设索引填充数据查询数据表中确定目标索引填充数据和所述目标索引填充数据对应的目标数据集标识;
在所述预设行数据记录表中获取所述目标数据集标识对应的行填充数据集,将所述目标数据集标识对应的行填充数据集返回到所述请求端。
6.根据权利要求1所述的方法,其特征在于,所述数据表创建请求包括至少两个;所述方法,还包括:
获取所述至少两个数据表创建请求,基于所述至少两个数据表创建请求得到至少两个待创建表维度信息,所述待创建表维度信息包括各个维度名称和所述各个维度名称对应的维度数据来源;
基于所述至少两个数据表创建请求生成至少两个待创建表标识,并建立所述至少两个待创建表标识与对应的待创建表维度信息的目标关联关系;
基于所述至少两个待创建表维度信息中的各个维度名称和所述至少两个待创建表标识建立至少两个待填充虚拟表,将所述至少两个待填充虚拟表分别返回所述至少两个数据表创建请求对应的请求端;
获取目标填充请求,所述目标填充请求携带目标待创建表标识和目标维度名称;
基于所述目标填充请求按照所述目标关联关系查找所述目标待创建表标识关联的目标待创建表维度信息,从所述目标待创建表维度信息中获取所述目标维度名称对应的目标维度数据来源,基于所述目标维度数据来源获取目标维度数据;
将所述目标维度数据返回到所述目标填充请求对应的目标请求端,以使所述目标请求端在所述目标待创建表标识对应的待填充虚拟表中写入所述目标维度数据。
7.一种数据处理装置,其特征在于,所述装置包括:
请求获取模块,用于获取数据表创建请求,所述数据表创建请求携带待创建表维度信息,所述待创建表维度信息包括各个维度名称和所述各个维度名称对应的维度数据来源;
关联模块,用于基于所述数据表创建请求生成待创建表标识,并建立所述待创建表标识与所述待创建表维度信息的关联关系;
表生成模块,用于基于所述待创建表维度信息中的各个维度名称和所述待创建表标识建立待填充虚拟表,将所述待填充虚拟表返回所述数据表创建请求对应的请求端;
待填充模块,用于获取对所述待填充虚拟表的填充请求,所述填充请求中携带待填充维度名称和所述待创建表标识;
数据获取模块,用于基于所述填充请求按照所述关联关系查找所述待创建表标识关联的待创建表维度信息,从所述待创建表维度信息中获取所述待填充维度名称对应的待填充维度数据来源,基于所述待填充维度数据来源获取待填充维度数据;
填充模块,用于将所述待填充维度数据返回到所述请求端,以使所述请求端在所述待填充虚拟表的所述待填充维度名称对应的待填充项写入所述待填充维度数据。
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161525.4A CN115495452A (zh) | 2022-09-23 | 2022-09-23 | 数据处理方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211161525.4A CN115495452A (zh) | 2022-09-23 | 2022-09-23 | 数据处理方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115495452A true CN115495452A (zh) | 2022-12-20 |
Family
ID=84471396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211161525.4A Pending CN115495452A (zh) | 2022-09-23 | 2022-09-23 | 数据处理方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115495452A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117271527A (zh) * | 2023-11-13 | 2023-12-22 | 煤炭科学研究总院有限公司 | 矿井数据的组织管理方法、装置、电子设备及存储介质 |
-
2022
- 2022-09-23 CN CN202211161525.4A patent/CN115495452A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117271527A (zh) * | 2023-11-13 | 2023-12-22 | 煤炭科学研究总院有限公司 | 矿井数据的组织管理方法、装置、电子设备及存储介质 |
CN117271527B (zh) * | 2023-11-13 | 2024-02-09 | 煤炭科学研究总院有限公司 | 矿井数据的组织管理方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111177302B (zh) | 业务单据处理方法、装置、计算机设备和存储介质 | |
CN115544183B (zh) | 数据可视化方法、装置、计算机设备和存储介质 | |
CN107392560A (zh) | 一种基于互联网的Excel表格数据发布采集方法及系统 | |
CN115759018A (zh) | 报表生成方法、装置、计算机设备和存储介质 | |
CN115495452A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN116738954A (zh) | 报表导出方法、报表模板的配置方法、装置、计算机设备 | |
CN116303657A (zh) | 群体画像生成方法、装置、计算机设备和存储介质 | |
CN112835886A (zh) | 数据表字段添加方法和装置 | |
CN116541454B (zh) | 事件配置方法、装置、计算机设备和存储介质 | |
CN117592757A (zh) | 报表数据处理方法、装置、计算机设备和存储介质 | |
CN114676675A (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
CN114462362A (zh) | 报告文件生成方法、装置、计算机设备、存储介质 | |
CN117648336A (zh) | 数据查询方法、装置、计算机设备和存储介质 | |
CN114385630A (zh) | 血缘关系梳理方法、装置、设备、存储介质和程序产品 | |
CN114781346A (zh) | 审计模型分享方法、装置、计算机设备和计算机程序产品 | |
CN116842107A (zh) | 实时数据仓库构建方法、装置、设备和存储介质 | |
CN114519062A (zh) | 基础数据更新方法、装置、计算机设备和存储介质 | |
CN116610667A (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN117435589A (zh) | 数据转存方法、装置、计算机设备、存储介质 | |
CN115878715A (zh) | 一种页面展示方案的生成方法、装置、计算机设备 | |
CN116401323A (zh) | 指标数据处理方法、装置及计算机设备 | |
CN116225830A (zh) | 业务操作日志上报方法、装置、计算机设备和存储介质 | |
CN114092064A (zh) | 电力大数据加工批处理系统及方法、装置、设备和介质 | |
CN117435651A (zh) | 测试数据处理方法、装置、计算机设备和存储介质 | |
CN117435198A (zh) | 页面生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |