CN113760240A - 一种生成数据模型的方法和装置 - Google Patents
一种生成数据模型的方法和装置 Download PDFInfo
- Publication number
- CN113760240A CN113760240A CN202010910061.7A CN202010910061A CN113760240A CN 113760240 A CN113760240 A CN 113760240A CN 202010910061 A CN202010910061 A CN 202010910061A CN 113760240 A CN113760240 A CN 113760240A
- Authority
- CN
- China
- Prior art keywords
- field
- index
- processing logic
- dimension
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013499 data model Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 109
- 238000011161 development Methods 0.000 claims abstract description 84
- 238000013515 script Methods 0.000 claims abstract description 70
- 238000001914 filtration Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009795 derivation Methods 0.000 claims description 7
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000012423 maintenance Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种生成数据模型的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；执行所述可执行数据开发脚本，从而生成数据模型。该实施方式能够解决脚本开发工作量大和可复用性差的技术问题。
Description
技术领域
本发明涉及计算机技术领域，尤其涉及一种生成数据模型的方法和装置。
背景技术
目前，数据仓库的数据模型大部分均由业务分析人员或者数据开发人员开发HQL脚本来生成数据模型。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
1)开发HQL脚本的门槛高，而且开发HQL脚本的工作量大；
2)HQL脚本可读性差、可复用性差、代码杂乱繁多，不便于维护，还会导致数据二义性。
发明内容
有鉴于此，本发明实施例提供一种生成数据模型的方法和装置，以解决脚本开发工作量大和可复用性差的技术问题。
为实现上述目的，根据本发明实施例的一个方面，提供了一种生成数据模型的方法，包括：
根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；
执行所述可执行数据开发脚本，从而生成数据模型。
可选地，在根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑之前，还包括：
根据用户预先配置的配置信息，生成处理逻辑，将所述处理逻辑存储到指标配置库中；
其中，所述配置信息包括数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
可选地，对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本，包括：
读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表；
根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本，包括：
根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表；
对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，所述原子表为AtomicTable对象，所述派生表为DerivedTa ble对象。
可选地，将数值的大小有意义的字段作为指标字段，将数值大小无意义的字段作为维度字段。
可选地，所述算子包括关联算子、聚合算子、合并算子、去重算子、选择算子和过滤算子中的至少一种。
另外，根据本发明实施例的另一个方面，提供了一种生成数据模型的装置，包括：
匹配模块，用于根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
脚本模块，用于对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；
执行模块，用于执行所述可执行数据开发脚本，从而生成数据模型。
可选地，所述匹配模块还用于：
在根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑之前，根据用户预先配置的配置信息，生成处理逻辑，将所述处理逻辑存储到指标配置库中；
其中，所述配置信息包括数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
可选地，所述脚本模块还用于：
读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表；
根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，所述脚本模块还用于：
根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表；
对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，所述原子表为AtomicTable对象，所述派生表为DerivedTa ble对象。
可选地，将数值的大小有意义的字段作为指标字段，将数值大小无意义的字段作为维度字段。
可选地，所述算子包括关联算子、聚合算子、合并算子、去重算子、选择算子和过滤算子中的至少一种。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
上述发明中的一个实施例具有如下优点或有益效果：因为采用根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑，对处理逻辑进行优化和拼接，以生成可执行数据开发脚本的技术手段，所以克服了现有技术中脚本开发工作量大和可复用性差的技术问题。本发明实施例通过预先将处理逻辑存储到指标配置库中，用户只需要输入指标和维度就可以自动生成可执行数据开发脚本，显著减少了代码开发量和降低开发门槛。由于在指标配置库中维护标准化的处理逻辑，因此可以统一编码风格，保持数据结果唯一，消除数据二义性；还可以提高代码复用性，也便于后续维护和二次开发。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是根据本发明实施例的生成数据模型的方法的主要流程的示意图；
图2是根据本发明实施例的指标配置库中的处理逻辑的示意图；
图3是根据本发明实施例的HQL语句的示意图；
图4是根据本发明实施例的result_table_sql的示意图；
图5是根据本发明实施例的数据模型的示意图；
图6是根据本发明一个可参考实施例的生成数据模型的方法的主要流程的示意图；
图7是根据本发明另一个可参考实施例的生成数据模型的方法的主要流程的示意图；
图8是根据本发明实施例的自定义开发模式下的处理过程；
图9是根据本发明实施例的生成数据模型的装置的主要模块的示意图；
图10是本发明实施例可以应用于其中的示例性系统架构图；
图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本发明实施例的生成数据模型的方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述生成数据模型的方法可以包括：
步骤101，根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑。
在本发明的实施例中，用户只需要输入指标信息和维度信息，就可以从指标配置库中匹配出对应的处理逻辑。其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。需要指出的是，针对不同的指标字段和维度字段，可以维护不同的处理逻辑，因此通过用户输入的指标信息和维度信息，能够匹配出唯一的处理逻辑，从而解决数据二义性问题。数据二义性是指不同表里字段的命名相同，但因处理逻辑不同而导致最终数据结果不一样，因此会有多个不同数据结果。
可选地，将数值的大小有意义的字段作为指标字段，将数值大小无意义的字段作为维度字段。例如，以交易指标为例：
维度：商家ID、用户ID；
指标：成交金额(GMV)、成交订单量。
商家ID 1980&2000：数值大小并无意义，即为维度。
GMV 1000&10000：数值大小有明显区别，即为指标。
可选地，所述算子包括关联算子(join)、聚合算子(group_by)、合并算子(union)、去重算子(distinct)、选择算子(sellect)和过滤算子(filter_sql)中的至少一种。可选地，所述关联关系可以包括左关联、右关联和/或内关联。
在步骤101之前，还可以包括：根据用户预先配置的配置信息，生成处理逻辑，将所述处理逻辑存储到指标配置库中；其中，所述配置信息包括数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。为了能够从指标配置库中匹配出对应的处理逻辑，在步骤101之前，需要预先对数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系等进行配置，从而生成处理逻辑。可选地，还可以配置派生表的转换操作，相应地，所述处理逻辑还定义了派生表的转换操作。
以交易指标为例，根据用户预先配置的配置信息，比如数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系等，生成如图2所示的处理逻辑，并将该处理逻辑存储到指标配置库中。
步骤102，对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本。
从指标配置库中匹配出用户所需的处理逻辑后，对所述处理逻辑进行优化和拼接，从而自动地生成可执行数据开发脚本。用户无需输入数据源之间的关联关系和派生表的转换操作，即可生成可执行数据开发脚本，显著地减少了代码开发量。
可选地，步骤102可以包括：读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表；根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
在该步骤中，首先读取从指标配置库中匹配出的处理逻辑，以获取处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系等信息，然后根据这些信息实例化生成原子表，最后对原子表的内在计算逻辑进行优化和拼接，从而自动地生成可执行数据开发脚本。可选地，所述可执行数据开发脚本可以是HQL语句(一种应用于Hive的类SQL的结构化查询语言)。如图3所示，通过步骤101和步骤102可以生成完整的HQL语句，其中，result_table_sql是个变量，如图4所示。
可选地，根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本，包括：根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表；对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。需要指出的是，如果处理逻辑还定义了派生表的转换操作，则还需要根据定义的转换操作，对派生表进行转换操作，然后再对派生表的内在计算逻辑进行优化和拼接。
可选地，所述原子表为AtomicTable对象，是一种可执行的抽象数据结构；所述派生表为DerivedTable对象，多个原子表经过不同关联关系组合生成派生表(即中间表)，派生表也是一种可执行的抽象数据结构，由多个AtomicTable对象组合而来。
步骤103，执行所述可执行数据开发脚本，从而生成数据模型。
执行所述可执行数据开发脚本，就可以生成数据模型，如图5所示。
根据上面所述的各种实施例，可以看出本发明实施例通过根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑，对处理逻辑进行优化和拼接，以生成可执行数据开发脚本的技术手段，解决了现有技术中脚本开发工作量大和可复用性差的技术问题。本发明实施例通过预先将处理逻辑存储到指标配置库中，用户只需要输入指标和维度就可以自动生成可执行数据开发脚本，显著减少了代码开发量和降低开发门槛。由于在指标配置库中维护标准化的处理逻辑，因此可以统一编码风格，保持数据结果唯一，消除数据二义性；还可以提高代码复用性，也便于后续维护和二次开发。
为了方便用户开发数据模型，本发明实施例提供了两种开发模式：标准开发模式【standard】和自定义开发模式【dev】。在标准开发模式下，用户只需要输入指标信息和维度信息，就可以自动地生成可执行数据开发脚本；在自定义开发模式下，用户需要输入数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系等信息，从而生成派生表，然后对派生表的内在计算逻辑进行优化和拼接，从而生成可执行数据开发脚本。
图6是根据本发明一个可参考实施例的生成数据模型的方法的主要流程的示意图。作为本发明的又一个实施例，如图6所示，以标准开发模式为例，所述生成数据模型的方法可以包括：
步骤601，根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑。
在标准开发模式下，用户只需要输入指标信息和维度信息，就可以从指标配置库中匹配出对应的处理逻辑。其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
为了能够从指标配置库中匹配出处理逻辑，在步骤601之前，需要预先对数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系等进行配置，从而生成处理逻辑。
步骤602，读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
步骤603，将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表(比如AtomicTable对象)。
步骤604，根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表(比如DerivedTable对象)。
步骤605，对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
步骤606，执行所述可执行数据开发脚本，从而生成数据模型。
另外，在本发明一个可参考实施例中生成数据模型的方法的具体实施内容，在上面所述生成数据模型的方法中已经详细说明了，故在此重复内容不再说明。
图7是根据本发明另一个可参考实施例的生成数据模型的方法的主要流程的示意图。作为本发明的另一个实施例，如图6所示，以自定义发模式为例，所述生成数据模型的方法可以包括：
步骤701，根据用户输入的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件，实例化生成原子表。
步骤702，根据用户输入的算子和数据源之间的关联关系，对所述原子表进行处理，以生成表派生表。
步骤703，对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
步骤704，执行所述可执行数据开发脚本，从而生成数据模型。
在自定义开发模式下，由于无法从指标配置库中匹配出对应的处理逻辑，因此需要用户设置所有的配置信息，比如数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子、数据源之间的关联关系和派生表的转换操作等，如图8所示，开发框架根据设置的配置信息依次生成原子表、派生表，然后进行优化和拼接，从而生成生成可执行数据开发脚本。因此，自定义开发模式下的开发量会少于标准开发模式下的开发量。
另外，在本发明一个可参考实施例中生成数据模型的方法的具体实施内容，在上面所述生成数据模型的方法中已经详细说明了，故在此重复内容不再说明。
图9是根据本发明实施例的生成数据模型的装置的主要模块的示意图，如图9所示，所述生成数据模型的装置900包括匹配模块901、脚本模块902和执行模块903；匹配模块901用于根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；脚本模块902用于对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；执行模块903用于执行所述可执行数据开发脚本，从而生成数据模型。
可选地，所述匹配模块901还用于：
在根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑之前，根据用户预先配置的配置信息，生成处理逻辑，将所述处理逻辑存储到指标配置库中；
其中，所述配置信息包括数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
可选地，所述脚本模块902还用于：
读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表；
根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，所述脚本模块902还用于：
根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表；
对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
可选地，所述原子表为AtomicTable对象，所述派生表为DerivedTa ble对象。
可选地，将数值的大小有意义的字段作为指标字段，将数值大小无意义的字段作为维度字段。
可选地，所述算子包括关联算子、聚合算子、合并算子、去重算子、选择算子和过滤算子中的至少一种。
根据上面所述的各种实施例，可以看出本发明实施例通过根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑，对处理逻辑进行优化和拼接，以生成可执行数据开发脚本的技术手段，解决了现有技术中脚本开发工作量大和可复用性差的技术问题。本发明实施例通过预先将处理逻辑存储到指标配置库中，用户只需要输入指标和维度就可以自动生成可执行数据开发脚本，显著减少了代码开发量和降低开发门槛。由于在指标配置库中维护标准化的处理逻辑，因此可以统一编码风格，保持数据结果唯一，消除数据二义性；还可以提高代码复用性，也便于后续维护和二次开发。
需要说明的是，在本发明所述生成数据模型的装置的具体实施内容，在上面所述生成数据模型的方法中已经详细说明了，故在此重复内容不再说明。
图10示出了可以应用本发明实施例的生成数据模型的方法或生成数据模型的装置的示例性系统架构1000。
如图10所示，系统架构1000可以包括终端设备1001、1002、1003，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备1001、1002、1003可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器1005可以是提供各种服务的服务器，例如对用户利用终端设备1001、1002、1003所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、物品信息——仅为示例)反馈给终端设备。
需要说明的是，本发明实施例所提供的生成数据模型的方法一般由服务器1005执行，相应地，所述生成数据模型的装置一般设置在服务器1005中。本发明实施例所提供的生成数据模型的方法也可以由终端设备1001、1002、1003执行，相应地，所述生成数据模型的装置可以设置在终端设备1001、1002、1003中。
应该理解，图10中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图11，其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，计算机系统1100包括中央处理单元(CPU)1101，其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中，还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括匹配模块、脚本模块和执行模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；执行所述可执行数据开发脚本，从而生成数据模型。
根据本发明实施例的技术方案，因为采用根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑，对处理逻辑进行优化和拼接，以生成可执行数据开发脚本的技术手段，所以克服了现有技术中脚本开发工作量大和可复用性差的技术问题。本发明实施例通过预先将处理逻辑存储到指标配置库中，用户只需要输入指标和维度就可以自动生成可执行数据开发脚本，显著减少了代码开发量和降低开发门槛。由于在指标配置库中维护标准化的处理逻辑，因此可以统一编码风格，保持数据结果唯一，消除数据二义性；还可以提高代码复用性，也便于后续维护和二次开发。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
Claims (10)
1.一种生成数据模型的方法，其特征在于，包括：
根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；
执行所述可执行数据开发脚本，从而生成数据模型。
2.根据权利要求1所述的方法，其特征在于，在根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑之前，还包括：
根据用户预先配置的配置信息，生成处理逻辑，将所述处理逻辑存储到指标配置库中；
其中，所述配置信息包括数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系。
3.根据权利要求1所述的方法，其特征在于，对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本，包括：
读取所述处理逻辑，以获取所述处理逻辑中定义的数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
将所述数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件实例化生成原子表；
根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
4.根据权利要求3所述的方法，其特征在于，根据所述算子和所述数据源之间的关联关系对所述原子表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本，包括：
根据所述算子和所述数据源之间的关联关系，对所述原子表进行处理，以生成表派生表；
对所述派生表的内在计算逻辑进行优化和拼接，以生成可执行数据开发脚本。
5.根据权利要求4所述的方法，其特征在于，所述原子表为Atom icTable对象，所述派生表为DerivedTable对象。
6.根据权利要求1所述的方法，其特征在于，将数值的大小有意义的字段作为指标字段，将数值大小无意义的字段作为维度字段。
7.根据权利要求1所述的方法，其特征在于，所述算子包括关联算子、聚合算子、合并算子、去重算子、选择算子和过滤算子中的至少一种。
8.一种生成数据模型的装置，其特征在于，包括：
匹配模块，用于根据用户输入的指标信息和维度信息，从指标配置库中匹配出对应的处理逻辑；其中，所述指标配置库中存储有多个处理逻辑，每个所述处理逻辑定义了数据源、指标字段、维度字段、指标字段和/或维度字段的过滤条件、算子和数据源之间的关联关系；
脚本模块，用于对所述处理逻辑进行优化和拼接，以生成可执行数据开发脚本；
执行模块，用于执行所述可执行数据开发脚本，从而生成数据模型。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010910061.7A CN113760240B (zh) | 2020-09-02 | 2020-09-02 | 一种生成数据模型的方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010910061.7A CN113760240B (zh) | 2020-09-02 | 2020-09-02 | 一种生成数据模型的方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113760240A true CN113760240A (zh) | 2021-12-07 |
| CN113760240B CN113760240B (zh) | 2024-06-14 |
Family
ID=78785777
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010910061.7A Active CN113760240B (zh) | 2020-09-02 | 2020-09-02 | 一种生成数据模型的方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113760240B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881244A (zh) * | 2023-06-05 | 2023-10-13 | 北京捷泰云际信息技术有限公司 | 一种基于列存数据库的空间数据的实时处理方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996250A (zh) * | 2010-11-15 | 2011-03-30 | 中国科学院计算技术研究所 | 一种基于Hadoop的海量流数据存储和查询方法及系统 |
| WO2014079304A1 (zh) * | 2012-11-26 | 2014-05-30 | 中兴通讯股份有限公司 | 一种报表创建方法、装置和系统 |
| CN104850623A (zh) * | 2015-05-19 | 2015-08-19 | 杭州迅涵科技有限公司 | 多维度数据分析模型动态扩展方法和系统 |
| CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技（深圳）有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
| CN109002289A (zh) * | 2017-06-07 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 一种构建数据模型的方法和装置 |
| CN110427434A (zh) * | 2019-06-28 | 2019-11-08 | 苏宁云计算有限公司 | 一种多维数据查询方法及装置 |
| CN110674117A (zh) * | 2019-09-26 | 2020-01-10 | 京东数字科技控股有限公司 | 数据建模方法、装置、计算机可读介质及电子设备 |
| CN111159204A (zh) * | 2020-01-02 | 2020-05-15 | 北京东方金信科技有限公司 | 一种通过配置的方式生成标签的方法及系统 |
-
2020
- 2020-09-02 CN CN202010910061.7A patent/CN113760240B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101996250A (zh) * | 2010-11-15 | 2011-03-30 | 中国科学院计算技术研究所 | 一种基于Hadoop的海量流数据存储和查询方法及系统 |
| WO2014079304A1 (zh) * | 2012-11-26 | 2014-05-30 | 中兴通讯股份有限公司 | 一种报表创建方法、装置和系统 |
| CN104850623A (zh) * | 2015-05-19 | 2015-08-19 | 杭州迅涵科技有限公司 | 多维度数据分析模型动态扩展方法和系统 |
| CN109002289A (zh) * | 2017-06-07 | 2018-12-14 | 北京京东尚科信息技术有限公司 | 一种构建数据模型的方法和装置 |
| CN107766132A (zh) * | 2017-06-25 | 2018-03-06 | 平安科技（深圳）有限公司 | 多任务调度方法、应用服务器及计算机可读存储介质 |
| CN110427434A (zh) * | 2019-06-28 | 2019-11-08 | 苏宁云计算有限公司 | 一种多维数据查询方法及装置 |
| CN110674117A (zh) * | 2019-09-26 | 2020-01-10 | 京东数字科技控股有限公司 | 数据建模方法、装置、计算机可读介质及电子设备 |
| CN111159204A (zh) * | 2020-01-02 | 2020-05-15 | 北京东方金信科技有限公司 | 一种通过配置的方式生成标签的方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 黄慧超;张晓龙;: "基于数据挖掘方法的寿险业务管理KPI指标分析", 软件导刊, no. 07, 31 July 2008 (2008-07-31) * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116881244A (zh) * | 2023-06-05 | 2023-10-13 | 北京捷泰云际信息技术有限公司 | 一种基于列存数据库的空间数据的实时处理方法及装置 |
| CN116881244B (zh) * | 2023-06-05 | 2024-03-26 | 易智瑞信息技术有限公司 | 一种基于列存数据库的空间数据的实时处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113760240B (zh) | 2024-06-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110019350B (zh) | 基于配置信息的数据查询方法和装置 | |
| CN110689268B (zh) | 一种提取指标的方法和装置 | |
| US11200231B2 (en) | Remote query optimization in multi data sources | |
| CN111125064B (zh) | 一种生成数据库模式定义语句的方法和装置 | |
| CN112905178B (zh) | 业务功能页面生成方法、装置、设备及介质 | |
| CN111666293A (zh) | 数据库访问方法和装置 | |
| CN113419789A (zh) | 数据模型脚本的生成方法和装置 | |
| CN113760948A (zh) | 一种数据查询的方法及装置 | |
| CN110109983B (zh) | 一种操作Redis数据库的方法和装置 | |
| CN108959294B (zh) | 一种访问搜索引擎的方法和装置 | |
| CN111078230A (zh) | 一种代码生成方法和装置 | |
| CN112818026A (zh) | 数据整合方法和装置 | |
| CN113760961B (zh) | 数据查询方法和装置 | |
| CN110795494A (zh) | 缓存数据同步异步化的自动化测试方法和装置 | |
| CN113760969A (zh) | 一种基于ElasticSearch的数据查询方法和装置 | |
| CN113760240B (zh) | 一种生成数据模型的方法和装置 | |
| CN113536748A (zh) | 一种生成图表数据的方法和装置 | |
| CN112579151A (zh) | 一种模型文件的生成方法和装置 | |
| CN115145652A (zh) | 一种数据处理任务的创建方法、装置、设备及介质 | |
| CN114817297A (zh) | 一种处理数据的方法和装置 | |
| CN113312053A (zh) | 一种数据处理的方法和装置 | |
| CN113515285A (zh) | 生成实时计算逻辑数据的方法和装置 | |
| CN112988778A (zh) | 一种处理数据库查询脚本的方法和装置 | |
| CN113742321A (zh) | 一种数据更新的方法和装置 | |
| CN115994151B (zh) | 数据请求变更方法、装置、电子设备和计算机可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |