CN112860700B - 数据表的生成方法及装置、存储介质及电子装置 - Google Patents
数据表的生成方法及装置、存储介质及电子装置 Download PDFInfo
- Publication number
- CN112860700B CN112860700B CN202110197763.XA CN202110197763A CN112860700B CN 112860700 B CN112860700 B CN 112860700B CN 202110197763 A CN202110197763 A CN 202110197763A CN 112860700 B CN112860700 B CN 112860700B
- Authority
- CN
- China
- Prior art keywords
- data
- target
- metadata
- determining
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 48
- 238000012216 screening Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 15
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000004140 cleaning Methods 0.000 claims description 6
- 238000005259 measurement Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013515 script Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据表的生成方法及装置、存储介质及电子装置，上述方法包括：确定目标对象的目标控制权限，根据目标控制权限从数据仓库获取目标元数据和目标主题层，根据目标元数据和目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；根据表参数从平台数据库中获取目标数据，并根据表参数对目标数据进行字段整理生成目标数据表，即通过利用存储在数据仓库中的元数据与主题层实现根据需求快速确定待生成数据表的表参数，进而生成目标数据表，解决了相关技术中，无法快速确定目标数据表以及对应规则等问题。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种数据表的生成方法及装置、存储介质及电子装置。
背景技术
现代互联网金融发展迅猛，但是其背后隐藏的风险也日益严峻。大多数在线旅游服务(OTA)的公司，基本都以网上下单支付作为主要交易形式，交易过程中的风险管理直接影响公司与客户的财产安全和消费体验。最大的安全隐患来自于互联网“黑色产业”。而对于安全防护目前市面的解决方案，都是以数据仓库为中心，由风控策略人员根据分析需要，向数据仓库开发同事提出数据需求，再由数据仓库同事开发，然后验证，该过程步骤繁琐，开发时间长，每次改动都需要提需求，甚至重新开发，这严重降低的风控指标的上线速度和版本迭代速度，并且无法根据风控产品和相关决策来实现自身需求的快速确认以及业务风险管理的自适应构建，开发周期长，对于作业人员具有较高的专业要求。
针对相关技术中，无法快速确定目标数据表以及对应规则等问题，尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种数据表的生成方法及装置、存储介质及电子装置，以至少解决相关技术中，以至少解决相关技术中，无法快速确定目标数据表以及对应规则等问题。
根据本发明实施例的一个方面，提供了一种数据表的生成方法，包括：确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
在一个示例性实施例中，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，包括：获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
在一个示例性实施例中，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：获取预设的功能列表，其中，所述功能列表用于指示元数据与对应数据处理功能的关联关系；从所述功能列表中查找出目标元数据对应的目标数据处理功能，以确定所述目标数据处理功能是否满足目标对象的操作指令。
在一个示例性实施例中，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表，包括：获取预设的数据筛选条件，其中，所述数据筛选条件用于指示平台数据库中的数据符合计算范围的判断条件；根据所述数据筛选条件对表参数从平台数据库中提取对应的数据进行筛选，以获得符合所述数据筛选条件的目标数据并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
在一个示例性实施例中，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表之后，所述方法还包括：为目标数据表创建存储算子，其中，所述存储算子用于指示目标数据表被存储后在数据库中具体的存储位置；根据所述存储算子生成所述目标数据表与存储算子的对应关系列表。
在一个示例性实施例中，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：对业务数据进行系统处理，以获取业务数据对应的数据源表，其中，所述系统处理用于指示对业务数据的加工流程，所述系统处理包含以下至少之一：业务数据的数据清洗，业务数据的数据仓库模型构建、业务数据的维度构建；确定所述数据源表对应的业务数据的维度信息数据以及业务信息数据，将完成确认的数据源表存储在数据仓库的主题层中。
根据本发明实施例的另一个方面，还提供了一种数据表的生成装置，包括：确定模块，用于确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；生成模块，用于根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
在一个示例性实施例中，上述确定模块，还用于获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
在一个示例性实施例中，上述装置还包括：获取模块，用于获取预设的功能列表，其中，所述功能列表用于指示元数据与对应数据处理功能的关联关系；从所述功能列表中查找出目标元数据对应的目标数据处理功能，以确定所述目标数据处理功能是否满足目标对象的操作指令。
在一个示例性实施例中，上述生成模块，还用于获取预设的数据筛选条件，其中，所述数据筛选条件用于指示平台数据库中的数据符合计算范围的判断条件；根据所述数据筛选条件对表参数从平台数据库中提取对应的数据进行筛选，以获得符合所述数据筛选条件的目标数据并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
在一个示例性实施例中，上述装置还包括：创建模块，用于为目标数据表创建存储算子，其中，所述存储算子用于指示目标数据表被存储后在数据库中具体的存储位置；根据所述存储算子生成所述目标数据表与存储算子的对应关系列表。
在一个示例性实施例中，上述装置还包括：处理模块，用于对业务数据进行系统处理，以获取业务数据对应的数据源表，其中，所述系统处理用于指示对业务数据的加工流程，所述系统处理包含以下至少之一：业务数据的数据清洗，业务数据的数据仓库模型构建、业务数据的维度构建；确定所述数据源表对应的业务数据的维度信息数据以及业务信息数据，将完成确认的数据源表存储在数据仓库的主题层中。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述数据表的生成方法。
根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的数据表的生成方法。
在本发明实施例中，确定目标对象的目标控制权限，根据目标控制权限从数据仓库获取目标元数据和目标主题层，根据目标元数据和目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；根据表参数从平台数据库中获取目标数据，并根据表参数对目标数据进行字段整理生成目标数据表，即通过利用存储在数据仓库中的元数据与主题层实现根据需求快速确定待生成数据表的表参数，进而生成目标数据表，解决了相关技术中，无法快速确定目标数据表以及对应规则等问题，根据需求与控制权限的表参数的灵活确定，提高了对于业务数据的风控指标确定的效率，降低了非专业人员的操作难度，提升了风控指标的上线速度和版本迭代速度。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种数据表的生成方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的数据表的生成方法的流程图；
图3是根据本发明可选实施例的基于数据仓库平台的系统的结构示意图；
图4是根据本发明可选实施例的系统平台可视化操作页面的形式样例示意图；
图5是根据本发明实施例的数据表的生成装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明的实施例。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在计算机终端、数据库或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种数据表的生成方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中数据表的生成方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据表的生成方法，图2是根据本发明实施例数据表的生成方法的流程图，该流程包括如下步骤：
步骤S202，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
步骤S204，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
通过上述步骤，确定目标对象的目标控制权限，根据目标控制权限从数据仓库获取目标元数据和目标主题层，根据目标元数据和目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；根据表参数从平台数据库中获取目标数据，并根据表参数对目标数据进行字段整理生成目标数据表，即通过利用存储在数据仓库中的元数据与主题层实现根据需求快速确定待生成数据表的表参数，进而生成目标数据表，解决了相关技术中，无法快速确定目标数据表以及对应规则等问题，根据需求与控制权限的表参数的灵活确定，提高了对于业务数据的风控指标确定的效率，降低了非专业人员的操作难度，提升了风控指标的上线速度和版本迭代速度。
在一个示例性实施例中，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，包括：获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
简而言之，由于不同的目标对象所具有的控制权限不相同，因此，需要进行确认后，才能为目标对象匹配对应的调用控制权限，进而在目标对象所具有的权限内，确定目标对象在可视化操作页面可执行的操作，为目标对象的需求配置最佳的元数据以及主题层，确定出属于目标对象需求的表参数来实现数据的汇总与管理。
在一个示例性实施例中，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：获取预设的功能列表，其中，所述功能列表用于指示元数据与对应数据处理功能的关联关系；从所述功能列表中查找出目标元数据对应的目标数据处理功能，以确定所述目标数据处理功能是否满足目标对象的操作指令。
也就是说，由于业务数据的不同，其对应的元数据也不相同，为了确定表参数中包含的元数据可以准确的实现目标对象的数据需求，在从数据仓库中确定目标元数据后，还可以根据获取预设的功能列表，确定出目标元数据对应的数据处理功能，保证目标对象在可视化操作界面的操作指令被准确的执行。
在一个示例性实施例中，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表，包括：获取预设的数据筛选条件，其中，所述数据筛选条件用于指示平台数据库中的数据符合计算范围的判断条件；根据所述数据筛选条件对表参数从平台数据库中提取对应的数据进行筛选，以获得符合所述数据筛选条件的目标数据并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
由于从平台数据库中获取的数据多且杂乱，因此，需要进行一定程度的整理筛选，根据预设的数据筛选条件可以将已获取数据中的不符合要求的数据进行快速的去除，仅保留符合筛选要求的数据，使得最终生成的目标数据表更加准确。
在一个示例性实施例中，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表之后，所述方法还包括：为目标数据表创建存储算子，其中，所述存储算子用于指示目标数据表被存储后在数据库中具体的存储位置；根据所述存储算子生成所述目标数据表与存储算子的对应关系列表。当同一目标数据表需要被多次使用时，还可以根据存储算子生成的目标数据表与存储算子的对应关系列表，从列表汇中快速的找出历史使用的目标数据表进行再次使用，避免了相同目标数据表的多次生成，节约了处理时间。
在一个示例性实施例中，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：对业务数据进行系统处理，以获取业务数据对应的数据源表，其中，所述系统处理用于指示对业务数据的加工流程，所述系统处理包含以下至少之一：业务数据的数据清洗，业务数据的数据仓库模型构建、业务数据的维度构建；确定所述数据源表对应的业务数据的维度信息数据以及业务信息数据，将完成确认的数据源表存储在数据仓库的主题层中。
为了更好的理解本发明实施例以及可选实施例的技术方案，以下结合示例对上述的数据表的生成方法的流程进行解释说明，但不用于限定本发明实施例的技术方案。
本发明可选实施例中提供了一套基于数据仓库平台的系统，接入数据仓库应用层，让风控产品和决策根据自身需求，通过系统调用数据仓库的表来自行产出相应指标。目的在于通过构建一套可视化的系统，由产品等非技术人员可以在平台上不用写代码就可以开发新的指标和更新旧指标。
图3为上述基于数据仓库平台的系统的结构示意图，该系统共分数据仓库32和系统平台34组成。
数据仓库32的作用为目前数据仓库平台的DM层，由数据仓库开发一张包含业务数据的宽表和维表存储到DM层(data market简称DM，主题层)层，然后作为系统平台34的数据源表。
系统平台34是经过系统构建的一个web平台，其后台通过权限控制等，接入数据仓库的元数据和DM层，并给用户提供一个可进行拖拉拽操作的可视化操作页面，其提供过滤条件、内存计算、生成excel、生成图表、发送邮件、分享发布订阅等功能。此外，系统平台中的可视化操作页面还包含有功能框42、筛选框44、预览框46；
需要说明的是，在实际应用中，可视化操作页面如图4所示，系统平台上的可视化操作页面提供有表，维度，度量，功能框，操作区(行、数值，算子)，数据区，筛选组成。功能框包括：执行、SQL(Structured Query Language，结构化查询语言，简称SQL)、保存、另存为、下载、发布、设置、描述、订阅等功能。具体内容如下：
表：系统从平台数据库中读取的表名；
维度：获取上“表”中的维度字段名；
度量：获取上“表”中的数据字段名；
操作区-行：所要分析的维度；
操作区-数值：获取要计算的度量名；
操作区-算子：包括求和，均值，最大值，最小值，方差，中值等，用于对度量进行计算，并返回给数据区；
数据区：显示上述处理后的数据样板demo；
筛选：条件语句，用来限制报表数据的计算范围；
执行：执行操作区的逻辑，向数仓发出请求，接收数仓返回的数据，在内存中计算，并将结果返回给数据区；
SQL：查看操作区产生的SQL脚本；
保存：保存报表的逻辑操作；
另存为：将报表另存为一个新的报表；
下载：下载当前逻辑执行后的数据表，并将完整结果记录到excel中，保存到本地；
发布：将当前报表发布到报表平台；
设置：设置报表每天的执行时间；
描述：报表的逻辑，建表目的等信息；
订阅：订阅/取消订阅其他同事开发的报表。
可选的，系统平台34还包含平台数据库36，其中，平台数据库是系统的后台数据库，用于存储报表的名称、使用人、系统角色权限、报表版本历史等信息，用于支持平台功能的正常运行。
在一可选实施例中，上述系统的运行原理步骤如下：
步骤S402、数据加工，由数仓部门将业务系统产生的数据，通过接入数仓(相当于实施例中的数据仓库)，数据清洗，数仓建模，数仓维度加工生成系统平台所需要的包含维度信息，业务信息的DM层数据表。例如：表1，dm_cardrisk.dm_order_detail；
(货币单位：人民币)
需要说明的是，该表1数据集成了酒店，机票，火车等所有交易成功订单的数据。
用户编码：用户的加密身份证号，加密手机号等唯一标识；
订单金额：该笔订单的金额；
单价：单程/每间的商品价格；
出发地编码：出发城市的编码；
目的地编码：到达城市/酒店所在城市的编码；
下单时间：下单时的时间；
出发时间：出发时间/入住时间等。
步骤S404、数据接入，具体的，数据接入负责整个系统数据的接入。包括用于发送和接收调用数仓数据的请求；发送和接收系统数据库的数据。例如：上表1，系统平台创建一个请求，接入新增表1：dm_order_detail，并将其元数据信息读取到系统平台数据库，然后加载到平台，平台会自动根据字段类型，将字段分成维度和度量。
步骤S406、指标构建，将报表(相当于本发明实施例中的目标数据表)要计算的维度放到“操作区-行”；将报表的度量根据要计算的方式选择合适的“算子”，构建一个“度量-算子”的新字段，放到“操作区-数值”；在“筛选”设置判断条件的维度/度量，并编辑其判断条件。
通过上述实施例，通过提出了一种高效，快捷，准确的风控指标系统，基于数仓平台的系统，接入数仓应用层，让风控产品和决策根据自身需求，通过系统调用数仓的表来自行产出相应指标。此外，指标构建可以在可视化操作页面上以拖拉拽的形式，使得不具备写代码功底的业务人员可以快速开发，版本迭代，进一步的，上述系统能覆盖大多数风控指标构建场景，能应对风控业务规则多变的需求，实现对风控业务的高效率应用及管理。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据表的生成装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本发明实施例的数据表的生成装置的结构框图，如图5所示，该装置包括：
确定模块52，用于确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
生成模块54，用于根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
通过上述技术方案，确定目标对象的目标控制权限，根据目标控制权限从数据仓库获取目标元数据和目标主题层，根据目标元数据和目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；根据表参数从平台数据库中获取目标数据，并根据表参数对目标数据进行字段整理生成目标数据表，即通过利用存储在数据仓库中的元数据与主题层实现根据需求快速确定待生成数据表的表参数，进而生成目标数据表，解决了相关技术中，无法快速确定目标数据表以及对应规则等问题，根据需求与控制权限的表参数的灵活确定，提高了对于业务数据的风控指标确定的效率，降低了非专业人员的操作难度，提升了风控指标的上线速度和版本迭代速度。
在一个示例性实施例中，上述确定模块，还用于获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
简而言之，由于不同的目标对象所具有的控制权限不相同，因此，需要进行确认后，才能为目标对象匹配对应的调用控制权限，进而在目标对象所具有的权限内，确定目标对象在可视化操作页面可执行的操作，为目标对象的需求配置最佳的元数据以及主题层，确定出属于目标对象需求的表参数来实现数据的汇总与管理。
在一个示例性实施例中，上述装置还包括：获取模块，用于获取预设的功能列表，其中，所述功能列表用于指示元数据与对应数据处理功能的关联关系；从所述功能列表中查找出目标元数据对应的目标数据处理功能，以确定所述目标数据处理功能是否满足目标对象的操作指令。
也就是说，由于业务数据的不同，其对应的元数据也不相同，为了确定表参数中包含的元数据可以准确的实现目标对象的数据需求，在从数据仓库中确定目标元数据后，还可以根据获取预设的功能列表，确定出目标元数据对应的数据处理功能，保证目标对象在可视化操作界面的操作指令被准确的执行。
在一个示例性实施例中，上述生成模块，还用于获取预设的数据筛选条件，其中，所述数据筛选条件用于指示平台数据库中的数据符合计算范围的判断条件；根据所述数据筛选条件对表参数从平台数据库中提取对应的数据进行筛选，以获得符合所述数据筛选条件的目标数据并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
由于从平台数据库中获取的数据多且杂乱，因此，需要进行一定程度的整理筛选，根据预设的数据筛选条件可以将已获取数据中的不符合要求的数据进行快速的去除，仅保留符合筛选要求的数据，使得最终生成的目标数据表更加准确。
在一个示例性实施例中，上述装置还包括：创建模块，用于为目标数据表创建存储算子，其中，所述存储算子用于指示目标数据表被存储后在数据库中具体的存储位置；根据所述存储算子生成所述目标数据表与存储算子的对应关系列表。当同一目标数据表需要被多次使用时，还可以根据存储算子生成的目标数据表与存储算子的对应关系列表，从列表汇中快速的找出历史使用的目标数据表进行再次使用，避免了相同目标数据表的多次生成，节约了处理时间。
在一个示例性实施例中，上述装置还包括：处理模块，用于对业务数据进行系统处理，以获取业务数据对应的数据源表，其中，所述系统处理用于指示对业务数据的加工流程，所述系统处理包含以下至少之一：业务数据的数据清洗，业务数据的数据仓库模型构建、业务数据的维度构建；确定所述数据源表对应的业务数据的维度信息数据以及业务信息数据，将完成确认的数据源表存储在数据仓库的主题层中。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
S2，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
S2，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种数据表的生成方法，其特征在于，包括：
确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表；
其中，所述确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，包括：
获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；
根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；
接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
2.根据权利要求1所述的方法，其特征在于，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：
获取预设的功能列表，其中，所述功能列表用于指示元数据与对应数据处理功能的关联关系；
从所述功能列表中查找出目标元数据对应的目标数据处理功能，以确定所述目标数据处理功能是否满足目标对象的操作指令。
3.根据权利要求1所述的方法，其特征在于，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表，包括：
获取预设的数据筛选条件，其中，所述数据筛选条件用于指示平台数据库中的数据符合计算范围的判断条件；
根据所述数据筛选条件对表参数从平台数据库中提取对应的数据进行筛选，以获得符合所述数据筛选条件的目标数据并根据所述表参数对所述目标数据进行字段整理生成目标数据表。
4.根据权利要求1所述的方法，其特征在于，根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表之后，所述方法还包括：
为目标数据表创建存储算子，其中，所述存储算子用于指示目标数据表被存储后在数据库中具体的存储位置；
根据所述存储算子生成所述目标数据表与存储算子的对应关系列表。
5.根据权利要求1所述的方法，其特征在于，确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数之前，所述方法还包括：
对业务数据进行系统处理，以获取业务数据对应的数据源表，其中，所述系统处理用于指示对业务数据的加工流程，所述系统处理包含以下至少之一：业务数据的数据清洗，业务数据的数据仓库模型构建、业务数据的维度构建；
确定所述数据源表对应的业务数据的维度信息数据以及业务信息数据，将完成确认的数据源表存储在数据仓库的主题层中。
6.一种数据表的生成装置，其特征在于，包括：
确定模块，用于确定目标对象的目标控制权限，根据所述目标控制权限从数据仓库获取目标元数据和目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，元数据用于指示数据仓库内数据的结构以及数据的建立规则，主题层用于指示根据业务数据的数据内容确定出的业务数据宽表和业务数据维表；
生成模块，用于根据所述表参数从平台数据库中获取目标数据，并根据所述表参数对所述目标数据进行字段整理生成目标数据表；
所述确定模块，还用于获取目标对象的标识信息，其中，所述标识信息用于指示在可视化操作页面显示的目标对象所具有控制权限的具体内容；根据所述标识信息确定目标对象从数据仓库中的调用信息的目标控制权限；接收所述目标对象在可视化操作页面的操作指令，从所述调用信息中确定目标元数据以及目标主题层，根据所述目标元数据和所述目标主题层确定待生成数据表的表参数，其中，所述表参数用于指示数据表所具有的数据处理功能。
7.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至5任一项中所述的方法。
8.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至5任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110197763.XA CN112860700B (zh) | 2021-02-22 | 2021-02-22 | 数据表的生成方法及装置、存储介质及电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110197763.XA CN112860700B (zh) | 2021-02-22 | 2021-02-22 | 数据表的生成方法及装置、存储介质及电子装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112860700A CN112860700A (zh) | 2021-05-28 |
| CN112860700B true CN112860700B (zh) | 2024-05-07 |
Family
ID=75988588
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110197763.XA Active CN112860700B (zh) | 2021-02-22 | 2021-02-22 | 数据表的生成方法及装置、存储介质及电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112860700B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113590593A (zh) * | 2021-08-04 | 2021-11-02 | 浙江大华技术股份有限公司 | 数据表信息的生成方法和装置、存储介质及电子装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236672A (zh) * | 2010-05-06 | 2011-11-09 | 深圳市腾讯计算机系统有限公司 | 一种数据导入方法及装置 |
| CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
| CN111143329A (zh) * | 2019-12-27 | 2020-05-12 | 中国银联股份有限公司 | 一种数据处理方法及装置 |
| CN111241185A (zh) * | 2020-04-26 | 2020-06-05 | 浙江网商银行股份有限公司 | 数据处理方法以及装置 |
| WO2020206204A1 (en) * | 2019-04-05 | 2020-10-08 | Choral Systems, Llc | Data analysis and visualization using structured data tables and nodal networks |
| CN112131203A (zh) * | 2020-08-28 | 2020-12-25 | 北京思特奇信息技术股份有限公司 | 一种数据仓库搭建的方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11188661B2 (en) * | 2018-12-12 | 2021-11-30 | Sap Se | Semi-rule based high performance permission management |
-
2021
- 2021-02-22 CN CN202110197763.XA patent/CN112860700B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236672A (zh) * | 2010-05-06 | 2011-11-09 | 深圳市腾讯计算机系统有限公司 | 一种数据导入方法及装置 |
| CN109271411A (zh) * | 2018-09-28 | 2019-01-25 | 中国平安财产保险股份有限公司 | 报表生成方法、装置、计算机设备及存储介质 |
| WO2020206204A1 (en) * | 2019-04-05 | 2020-10-08 | Choral Systems, Llc | Data analysis and visualization using structured data tables and nodal networks |
| CN111143329A (zh) * | 2019-12-27 | 2020-05-12 | 中国银联股份有限公司 | 一种数据处理方法及装置 |
| CN111241185A (zh) * | 2020-04-26 | 2020-06-05 | 浙江网商银行股份有限公司 | 数据处理方法以及装置 |
| CN112131203A (zh) * | 2020-08-28 | 2020-12-25 | 北京思特奇信息技术股份有限公司 | 一种数据仓库搭建的方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| "基于Brio的有效报表生成系统设计与实现";朱远翔;《浙江工程学院学报》;第21卷(第4期);第308-311页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112860700A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110443552B (zh) | 一种产品主数据信息自动传输的方法及装置 | |
| CN110197331A (zh) | 业务数据处理方法、装置、设备及计算机可读存储介质 | |
| CN105744005A (zh) | 客户定位分析方法及服务器 | |
| CN108647235A (zh) | 一种基于数据仓库的数据分析方法、设备以及介质 | |
| CN110852559A (zh) | 资源的分配方法和装置、存储介质、电子装置 | |
| CN112017007A (zh) | 用户行为数据的处理方法及装置、计算机设备、存储介质 | |
| CN112860700B (zh) | 数据表的生成方法及装置、存储介质及电子装置 | |
| CN111768174A (zh) | 一种活动管理方法、装置、设备及介质 | |
| CN117035687A (zh) | 一种电网业务固定资产流程配置方法、系统及计算机存储介质 | |
| CN113434742A (zh) | 账号的筛选方法和装置、存储介质及电子装置 | |
| CN113569162A (zh) | 数据处理方法、装置、设备及存储介质 | |
| CN112163948A (zh) | 一种分润计算方法、系统、设备及存储介质 | |
| CN116883111A (zh) | 商品推荐文本生成方法、装置及设备 | |
| CN114285896B (zh) | 信息推送方法、装置、设备、存储介质及程序产品 | |
| CN115277835A (zh) | 信息推送方法、装置、存储介质及电子设备 | |
| CN112288406B (zh) | 一种基于科技信息众创平台的服务对象检索方法 | |
| CN109544323A (zh) | 一种信用卡卡号的智能管理系统 | |
| CN111427900B (zh) | 一种标签库更新方法、装置、设备及可读存储介质 | |
| CN110162386B (zh) | 一种任务下发方法及装置 | |
| CN112711623A (zh) | 数据拉通方法及装置、存储介质、电子装置 | |
| CN113743791A (zh) | 一种业务工单的业务考评方法、装置、电子设备和介质 | |
| CN112529456A (zh) | 一种供应商评价系统、方法、后台设备及存储介质 | |
| CN111415209A (zh) | 一种信息分发的方法和装置 | |
| CN111144091A (zh) | 客服成员的确定方法、装置以及群成员身份的确定方法 | |
| CN113434612B (zh) | 数据统计方法及装置、存储介质及电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |