CN113360474A - 数据处理方法、装置、电子设备及计算机可读介质 - Google Patents
数据处理方法、装置、电子设备及计算机可读介质 Download PDFInfo
- Publication number
- CN113360474A CN113360474A CN202010152250.2A CN202010152250A CN113360474A CN 113360474 A CN113360474 A CN 113360474A CN 202010152250 A CN202010152250 A CN 202010152250A CN 113360474 A CN113360474 A CN 113360474A
- Authority
- CN
- China
- Prior art keywords
- data
- business object
- warehouse
- structured
- data table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000004458 analytical method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 50
- 238000003860 storage Methods 0.000 claims description 18
- 230000008676 import Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000011161 development Methods 0.000 description 7
- 238000012423 maintenance Methods 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 5
- 239000004984 smart glass Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读介质，涉及数据仓库领域。其中，所述方法包括：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。本申请实施例通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，大大减轻人力成本。
Description
技术领域
本申请实施例涉及数据仓库领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。
背景技术
目前，数据仓库对业务系统中的数据进行处理一般建立在ETL数据处理理论的基础上的，ETL是指Extraction(抽取)、Transformation(转换)、和Loading(加载)。具体地，将业务系统中的数据抽取出来，并将不同的数据按照业务需要进行转换和解析，得到目标数据，然后将目标数据加载到数据仓库中。
在数据仓库应用于品牌广告投放平台的场景中，品牌广告投放平台通常需要品牌广告的离线数据仓库和品牌广告的实时数据仓库。品牌广告的离线数据仓库方便于品牌广告主在品牌广告投放平台查看品牌广告的天级报表和小时级报表。品牌广告的实时数据仓库方便于品牌广告主在品牌广告投放平台查看品牌广告的分钟级报表和秒级报表。然而，品牌广告的离线数据仓库和品牌广告的实时数据仓库分别采用一套ETL解析逻辑，这样，就需要开发和运行维护两套ETL解析逻辑，不仅提高了ETL解析逻辑的运行维护成本，而且还增长了ETL解析逻辑的开发周期，从而大大增加了人力成本。
由此可见，如何降低ETL解析逻辑的运行维护成本，并缩短ETL解析逻辑的开发周期成为当前亟待解决的技术问题。
发明内容
本申请的目的在于提出一种数据处理方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何降低ETL解析逻辑的运行维护成本，并缩短ETL解析逻辑的开发周期的技术问题。
根据本申请实施例的第一方面，提供了一种数据处理方法。所述方法包括：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
根据本申请实施例的第二方面，提供了一种数据处理方法。所述方法包括：第一数据仓库获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表；所述第一数据仓库将所述第一业务对象数据表导入业务对象投放平台进行展示。
根据本申请实施例的第三方面，提供了一种数据处理方法。所述方法包括：第二数据仓库获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表；所述第二数据仓库将所述第二业务对象数据表导入业务对象投放平台进行展示。
根据本申请实施例的第四方面，提供了一种数据处理方法。所述方法包括：接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
根据本申请实施例的第五方面，提供了一种数据处理装置。所述装置包括：解析模块，用于对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；加载模块，用于将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
根据本申请实施例的第六方面，提供了一种数据处理装置。所述装置包括：第一获取模块，用于获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；第一生成模块，用于根据所述业务对象结构化数据实时生成所述第一业务对象数据表；第一导入模块，用于将所述第一业务对象数据表导入业务对象投放平台进行展示。
根据本申请实施例的第七方面，提供了一种数据处理装置。所述装置包括：第二获取模块，用于获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；第三生成模块，用于根据所述业务对象结构化数据离线生成所述第二业务对象数据表；第二导入模块，用于将所述第二业务对象数据表导入业务对象投放平台进行展示。
根据本申请实施例的第八方面，提供了一种数据处理装置。所述装置包括：第一接收模块，用于接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；选择模块，用于根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
根据本申请实施例的第九方面，提供了一种电子设备，包括：一个或多个处理器；计算机可读介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例的第一方面、第二方面、第三方面或者第四方面所述的数据处理方法。
根据本申请实施例的第十方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的第一方面、第二方面、第三方面或者第四方面所述的数据处理方法。
通过本申请实施例提供的数据处理方案，对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，并将业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得第一数据仓库根据业务对象结构化数据实时生成业务对象数据表，并且使得第二数据仓库根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，与现有的其它方式相比，通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，不仅有效降低了ETL解析逻辑的运行维护成本，而且还有效缩短了ETL解析逻辑的开发周期，大大减轻了人力成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1A为本申请实施例一中数据处理方法的步骤流程图；
图1B为根据本申请实施例一提供的数据处理过程的示意图；
图2A为本申请实施例二中数据处理方法的步骤流程图；
图2B为根据本申请实施例二提供的数据处理过程的示意图；
图3为本申请实施例三中数据处理方法的步骤流程图；
图4A为本申请实施例三中数据处理方法的步骤流程图；
图4B为根据本申请实施例三提供的数据处理过程的示意图；
图5为本申请实施例五中数据处理装置的结构示意图；
图6为本申请实施例六中数据处理装置的结构示意图；
图7为本申请实施例七中数据处理装置的结构示意图；
图8为本申请实施例八中数据处理装置的结构示意图；
图9为本申请实施例九中电子设备的结构示意图；
图10为本申请实施例十中电子设备的硬件结构。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅配置为解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参照图1A，示出了本申请实施例一中数据处理方法的步骤流程图。
本实施例从ETL工具的角度，对本实施例提供的数据处理方法进行说明。具体地，本实施例提供的数据处理方法包括以下步骤：
在步骤S101中，对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据。
在本实施例中，所述数据源可为用于存放业务对象数据的消息队列、用于存储业务对象数据的数据库等，或者用于存放业务对象数据的消息堆栈等，本实施例对此不做任何限定。所述业务对象数据包括以下中的至少一者：针对业务对象的操作数据、针对所述业务对象进行操作的地域数据、所述业务对象的投放数据。所述针对业务对象的操作数据包括以下中的至少一者：针对所述业务对象的展现操作数据、针对所述业务对象的点击操作数据、针对所述业务对象关联的商品的购买操作数据、针对所述业务对象的请求操作数据、针对所述业务对象的下发操作数据。针对所述业务对象进行操作的地域数据可为华北地区、华中地区、华南地区、华东地区等。所述业务对象的投放数据可包括业务对象的投放时长、业务对象的投放时间段、业务对象的投放费用、业务对象的投放者的标识等。其中，所述针对所述业务对象的展现操作数据可包括针对所述业务对象的展现时长、针对所述业务对象的展现时间段、针对所述业务对象的展现次数等。所述针对所述业务对象的点击操作数据可包括针对所述业务对象的点击次数、针对所述业务对象的点击时间点、针对所述业务对象进行点击的用户数据等。所述针对所述业务对象关联的商品的购买操作数据可包括所购买的所述商品的数据、购买所述商品的时间点、购买所述商品的费用、购买所述商品的地域数据等。所述针对所述业务对象的请求操作数据可包括针对所述业务对象关联的数据的请求次数、针对所述业务对象关联的数据的请求时间点、针对所述业务对象关联的数据进行请求的用户数据等。所述针对所述业务对象的下发操作数据可包括针对所述业务对象关联的数据的下发次数、针对所述业务对象关联的数据的下发时间点等。其中，所述业务对象可为品牌广告主在品牌广告投放平台投放的品牌广告。所述业务对象数据可为在品牌广告投放平台投放的品牌广告的数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在本实施例中，所述业务对象数据表包括业务对象投放数据表、业务对象定量投放数据表、业务对象投放财务报表等。所述业务对象结构化数据可理解为所述业务对象数据的结构化数据，例如，为业务对象数据标识的类型数据等。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述对从不同的数据源实时获取的业务对象数据进行统一解析之前，所述方法还包括：对从不同的所述数据源实时获取的所述业务对象数据进行清洗，以获得清洗后的所述业务对象数据；所述对从不同的数据源实时获取的业务对象数据进行统一解析，包括：对清洗后的所述业务对象数据进行统一解析，以获得用于生成所述业务对象数据表的所述业务对象结构化数据。籍此，通过对从不同的数据源实时获取的业务对象数据进行清洗，能够清洗掉业务对象数据中不需要的和不符合规范的数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，在对从不同的数据源实时获取的业务对象数据进行清洗时，根据业务对象投放业务的需要，将空值替换为特定的值或者直接过滤掉。还可通过验证数据的正确性，对业务对象数据进行清洗。具体地，主要是把不符合业务对象投放含义的数据做一处理，比如，把一个表示数量的字段中的字符串替换为0，把一个日期字段的非日期字符串过滤掉等等。此外，还可通过数据转码，对业务对象数据进行清洗。具体地，把一个源数据中用编码表示的字段，通过关联编码表，转换成代表其真实意义的值等等。此外，还可通过统一数据标准的方式，对业务对象数据进行清洗。比如，在源数据中表示男女的方式有很多种，在抽取的时候，直接根据模型中定义的值做转化，统一表示男女。当然，本实施例不限于此，还可通过其他业务规则定义数据清洗。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，在对从不同的数据源实时获取的业务对象数据进行统一解析时，对从不同的所述数据源实时获取的所述业务对象数据的数据格式进行转换，以获得具有统一数据格式的所述业务对象数据；对所述具有统一数据格式的所述业务对象数据进行结构化，以获得所述业务对象结构化数据。籍此，通过对从不同的数据源实时获取的业务对象数据的数据格式进行转换，能够获得具有统一数据格式的业务对象数据，从而有利于业务对象数据的结构化。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，从不同的数据源实时获取的业务对象数据的数据格式各式各样并不统一，因此，有必要对从不同的数据源实时获取的业务对象数据的数据格式进行转换，以获得具有统一数据格式的业务对象数据。例如，把所有的日期都格式化成yyyy-MM-dd HH:mm:ss的格式。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述业务对象结构化数据包括为所述业务对象数据标识的类型数据。在对所述具有统一数据格式的所述业务对象数据进行结构化时，对所述具有统一数据格式的所述业务对象数据进行类型标识，以获得为所述业务对象数据标识的类型数据。籍此，通过对具有统一数据格式的业务对象数据进行类型标识，能够获得为业务对象数据标识的类型数据，从而方便于生成业务对象数据表。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，当业务对象数据包括针对业务对象的展现操作数据时，为业务对象数据标识的类型数据可为展现类型。当业务对象数据包括针对业务对象的点击操作数据时，为业务对象数据标识的类型数据可为点击类型。当业务对象数据包括针对业务对象关联的商品的购买操作数据时，为业务对象数据标识的类型数据可为消费类型。当业务对象数据包括针对业务对象的请求操作数据时，为业务对象数据标识的类型数据可为请求类型。当业务对象数据包括针对业务对象的下发操作数据时，为业务对象数据标识的类型数据可为下发类型。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，在对所述具有统一数据格式的所述业务对象数据进行类型标识时，根据预设的业务对象投放业务的分类规则设置分类配置参数；根据分类配置参数生成分类整合模板；根据所述分类整合模板和多源数据整合框架生成SQL(StructuredQuery Language，结构化查询语言)代码；通过SQL代码，对所述具有统一数据格式的所述业务对象数据进行类型标识。籍此，通过生成的SQL代码，能够便捷地对具有统一数据格式的业务对象数据进行类型标识。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S102中，将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
在本申请实施例中，所述第一数据仓库用于根据业务对象结构化数据实时生成业务对象数据表，所述第一数据仓库的功能可以通过Blink工具实现。所述第二数据仓库用于根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，所述第二数据仓库的功能可以通过开放数据处理服务(Open Data Processing Service，ODPS)实现。其中，所述预设时间段可由本领域技术人员根据实际需要进行设定，例如，一天或者一个小时，本实施例对此不做任何限定。所述业务对象数据表包括业务对象投放数据表、业务对象定量投放数据表、业务对象投放财务报表等。所述业务对象投放数据表包含业务对象投放到平台的收入数据、业务对象投放到平台的展现时长、业务对象投放到平台的点击次数等内容数据。所述业务对象定量投放数据表包含在业务对象投放费用的范围内业务对象投放到平台的收入数据、业务对象投放到平台的展现时长、业务对象投放到平台的点击次数等内容数据。所述业务对象投放财务报表包含业务对象投放到平台的收入金额、业务对象投放到平台的收入批次等内容数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，如图1B所示，ETL工具分别从数据源1、数据源2和数据源3中实时获取业务对象数据，并对从数据源1、数据源2和数据源3中实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，再将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库。所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并将实时生成的所述业务对象数据表导入业务对象投放平台进行展示。所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表，并将离线生成的预设时间段内的所述业务对象数据表导入业务对象投放平台进行展示。其中，ETL工具可理解为执行ETL逻辑的工具。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
通过本申请实施例提供的数据处理方法，对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，并将业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得第一数据仓库根据业务对象结构化数据实时生成业务对象数据表，并且使得第二数据仓库根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，与现有的其它方式相比，通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，不仅有效降低了ETL解析逻辑的运行维护成本，而且还有效缩短了ETL解析逻辑的开发周期，大大减轻了人力成本。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图2A，示出了本申请实施例二中数据处理方法的步骤流程图。
本实施例从第一数据仓库的角度，对本实施例提供的数据处理方法进行说明。具体地，本实施例提供的数据处理方法包括以下步骤：
在步骤S201中，第一数据仓库获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据。
在本实施例中，所述第一数据仓库用于根据业务对象结构化数据实时生成业务对象数据表，所述第一数据仓库的功能可以通过Blink工具实现。所述ETL工具可理解为执行ETL逻辑的工具。所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S202中，所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表。
在一些可选实施例中，所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表时，通过所述第一数据仓库的存放层，存放所述业务对象结构化数据；通过所述第一数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；通过所述第一数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；通过所述第一数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以实时生成所述第一业务对象数据表。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，所述第一数据仓库的汇总层除了对所述业务对象结构化数据的明细数据进行汇总之外，还可以对所述业务对象结构化数据的明细数据进行公共指标加工。所述第一数据仓库的应用层除了应用所述业务对象结构化数据的汇总结果之外，还可以对所述业务对象结构化数据的汇总结果进行个性化指标加工。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S203中，所述第一数据仓库将所述第一业务对象数据表导入业务对象投放平台进行展示。
在本实施例中，所述业务对象投放平台可理解为用于投放业务对象的平台。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述方法还包括：当所述第一数据仓库实时生成所述第一业务对象数据表出现故障时，所述第一数据仓库获取第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，并根据所述第二业务对象数据表实时生成所述第一业务对象数据表。籍此，在第一数据仓库实时生成第一业务对象数据表出现故障时，可利用第二数据仓库根据业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，实时生成第一业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，第二数据仓库根据业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，包括分钟级业务对象数据表和秒钟级业务对象数据表。因此，在第一数据仓库实时生成第一业务对象数据表出现故障时，可利用第二业务对象数据表包括的分钟级业务对象数据表和秒钟级业务对象数据表，实时生成第一业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，如图2B所示，ETL工具从消息队列(message queue，MQ)中获取打点数据。所述打点数据可理解为用于记录针对业务对象的操作的数据。在获取到打点数据之后，ETL工具对所述打点数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，并将获得的业务对象结构化数据临时存储于存储中间件。再然后，通过存储中间件，将所述业务对象结构化数据分别加载至第一数据仓库(通过Blink工具实现的)和第二数据仓库(通过ODPS工具实现的)。其中，所述业务对象结构化数据包括带有类型标识的业务对象操作数据，所述类型标识包括消费类型、请求类型、下发类型、展现类型、点击类型等。在将所述业务对象结构化数据分别加载至第一数据仓库之后，通过所述第一数据仓库的ODS(operational data store，操作型数据存储)层，存放带有类型标识的业务对象操作数据。例如，带有消费类型的业务对象操作数据、带有请求类型的业务对象操作数据、带有下发类型的业务对象操作数据、带有展现类型的业务对象操作数据、带有点击类型的业务对象操作数据等。然后，通过所述第一数据仓库的DWD(Data Warehouse Detail，数据仓库明细)层，对带有类型标识的业务对象操作数据进行统计，以获得带有类型标识的业务对象操作数据的明细数据。例如，带有消费类型的业务对象操作数据的明细数据、带有请求类型的业务对象操作数据的明细数据、带有下发类型的业务对象操作数据的明细数据、带有展现类型的业务对象操作数据的明细数据、带有点击类型的业务对象操作数据的明细数据等。再然后，通过所述第一数据仓库的DWS(Data Warehouse Summary，数据仓库汇总)层，对带有类型标识的业务对象操作数据的明细数据进行汇总，以获得带有类型标识的业务对象操作数据的汇总结果。例如，带有消费类型的业务对象操作数据的汇总结果、带有请求类型的业务对象操作数据的汇总结果、带有下发类型的业务对象操作数据的汇总结果、带有展现类型的业务对象操作数据的汇总结果、带有点击类型的业务对象操作数据的汇总结果等。最后，通过所述第一数据仓库的ADS(Application Data store，应用数据存储)层，应用所述带有类型标识的业务对象操作数据的汇总结果，以实时生成所述第一业务对象数据表。例如，业务对象投放数据表、业务对象定量投放数据表、业务对象财务报表。在实时生成所述第一业务对象数据表之后，所述第一数据仓库将实时生成的所述第一业务对象数据表导入业务对象投放平台进行展示。在将所述业务对象结构化数据分别加载至第二数据仓库之后，所述第二数据仓库采用与所述第一数据仓库相同的方式基于所述业务对象结构化数据离线生成预设时间段内的第二业务对象数据表。在离线生成预设时间段内的所述第二业务对象数据表之后，所述第二数据仓库将离线生成的所述第二业务对象数据表导入业务对象投放平台进行展示。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
通过本申请实施例提供的数据处理方法，第一数据仓库获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，业务对象结构化数据为ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的，并根据业务对象结构化数据实时生成第一业务对象数据表，再将第一业务对象数据表导入业务对象投放平台进行展示，与现有的其它方式相比，通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，不仅有效降低了ETL解析逻辑的运行维护成本，而且还有效缩短了ETL解析逻辑的开发周期，大大减轻了人力成本。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图3，示出了本申请实施例三中数据处理方法的步骤流程图。
本实施例从第二数据仓库的角度，对本实施例提供的数据处理方法进行说明。具体地，本实施例提供的数据处理方法包括以下步骤：
在步骤S301中，第二数据仓库获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据。
在本实施例中，所述第二数据仓库用于根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，所述第二数据仓库的功能可以通过开放数据处理服务(OpenData Processing Service，ODPS)实现。所述ETL工具可理解为执行ETL逻辑的工具。所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S302中，所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表。
在一些可选实施例中，所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表时，通过所述第二数据仓库的存放层，存放所述业务对象结构化数据；通过所述第二数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；通过所述第二数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；通过所述第二数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以离线生成所述第二业务对象数据表。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，所述第二数据仓库的汇总层除了对所述业务对象结构化数据的明细数据进行汇总之外，还可以对所述业务对象结构化数据的明细数据进行公共指标加工。所述第二数据仓库的应用层除了应用所述业务对象结构化数据的汇总结果之外，还可以对所述业务对象结构化数据的汇总结果进行个性化指标加工。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S303中，所述第二数据仓库将所述第二业务对象数据表导入业务对象投放平台进行展示。
在本实施例中，所述业务对象投放平台可理解为用于投放业务对象的平台。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述方法还包括：当所述第二数据仓库离线生成所述第二业务对象数据表出现故障时，所述第二数据仓库获取第一数据仓库根据所述业务对象结构化数据实时生成的第一业务对象数据表，并根据所述第一业务对象数据表离线生成所述第二业务对象数据表。籍此，在第二数据仓库离线生成预设时间段内的第二业务对象数据表出现故障时，可利用第一数据仓库根据业务对象结构化数据实时生成的第一业务对象数据表，离线生成预设时间段内的第二业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，第一数据仓库根据业务对象结构化数据实时生成的第一业务对象数据表，为分钟级业务对象数据表和秒钟级业务对象数据表。因此，在第二数据仓库离线生成预设时间段内的第二业务对象数据表出现故障时，可利用第一业务对象数据表，离线生成预设时间段内的第二业务对象数据表，从而大幅度提升数据的稳定性。其中，所述预设时间段可由本领域技术人员根据实际需要进行设定，本申请实施例对此不做任何限定。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
通过本申请实施例提供的数据处理方法，第二数据仓库获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，业务对象结构化数据为ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的，并根据业务对象结构化数据离线生成第二业务对象数据表，再将第二业务对象数据表导入业务对象投放平台进行展示，与现有的其它方式相比，通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，不仅有效降低了ETL解析逻辑的运行维护成本，而且还有效缩短了ETL解析逻辑的开发周期，大大减轻了人力成本。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图4A，示出了本申请实施例四中数据处理方法的步骤流程图。
本实施例从ETL工具的可视化界面的角度，对本实施例提供的数据处理方法进行说明。具体地，本实施例提供的数据处理方法包括以下步骤：
在步骤S401中，接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息。
在本申请实施例中，所述用户输入的业务对象数据表生成触发操作可为用户针对ETL工具的可视化界面的业务对象数据表生成控件的点击操作。其中，所述业务对象数据表生成控件用于在被操作的情况下指示生成业务对象数据表。用户在ETL工具的可视化界面输入业务对象数据表生成触发操作之后，ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，并在ETL工具的可视化界面展示用于生成业务对象数据表的业务对象结构化数据的信息。其中，所述业务对象结构化数据的信息可为业务对象操作数据的类型标识，所述类型标识包括消费类型、请求类型、下发类型、展现类型、点击类型等。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，在所述将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库之前，所述方法还包括：接收所述用户输入的第一数据仓库的信息和第二数据仓库的信息，并根据所述第一数据仓库的信息和所述第二数据仓库的信息，分别确定所述所选择的业务对象结构化数据待发送的第一数据仓库和第二数据仓库。其中，所述第一数据仓库的信息可为第一数据仓库的名称或标识，所述第二数据仓库的信息可为第二数据仓库的名称或者标识。籍此，通过用户输入的第一数据仓库的信息和第二数据仓库的信息，能够准确地确定所选择的业务对象结构化数据待发送的第一数据仓库和第二数据仓库。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在步骤S402中，根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
在本申请实施例中，所述第一数据仓库用于根据业务对象结构化数据实时生成业务对象数据表，所述第一数据仓库的功能可以通过Blink工具实现。所述第二数据仓库用于根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，所述第二数据仓库的功能可以通过开放数据处理服务(Open Data Processing Service，ODPS)实现。其中，所述预设时间段可由本领域技术人员根据实际需要进行设定，例如，一天或者一个小时，本实施例对此不做任何限定。所述业务对象数据表包括业务对象投放数据表、业务对象定量投放数据表、业务对象投放财务报表等。所述业务对象投放数据表包含业务对象投放到平台的收入数据、业务对象投放到平台的展现时长、业务对象投放到平台的点击次数等内容数据。所述业务对象定量投放数据表包含在业务对象投放费用的范围内业务对象投放到平台的收入数据、业务对象投放到平台的展现时长、业务对象投放到平台的点击次数等内容数据。所述业务对象投放财务报表包含业务对象投放到平台的收入金额、业务对象投放到平台的收入批次等内容数据。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述方法还包括：若接收到所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表的故障信息，则获取并展示第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的所述业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第一数据仓库，以使所述第一数据仓库实时生成业务对象数据表。其中，所述业务对象数据表的信息可为所述业务对象数据表的名称或者标识。籍此，在第一数据仓库实时生成第一业务对象数据表出现故障时，可利用第二数据仓库根据业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，实时生成第一业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，第二数据仓库根据业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，包括分钟级业务对象数据表和秒钟级业务对象数据表。因此，在第一数据仓库实时生成第一业务对象数据表出现故障时，可利用第二业务对象数据表包括的分钟级业务对象数据表和秒钟级业务对象数据表，实时生成第一业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一些可选实施例中，所述方法还包括：若接收到所述第二数据仓库根据所述业务对象结构化数据离线生成所述业务对象数据表的故障信息，则获取并展示第一数据仓库根据所述业务对象结构化数据实时生成的业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第二数据仓库，以使所述第二数据仓库离线生成业务对象数据表。其中，所述业务对象数据表的信息可为所述业务对象数据表的名称或者标识。籍此，在第二数据仓库离线生成预设时间段内的第二业务对象数据表出现故障时，可利用第一数据仓库根据业务对象结构化数据实时生成的第一业务对象数据表，离线生成预设时间段内的第二业务对象数据表，从而大幅度提升数据的稳定性。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，第一数据仓库根据业务对象结构化数据实时生成的第一业务对象数据表，为分钟级业务对象数据表和秒钟级业务对象数据表。因此，在第二数据仓库离线生成预设时间段内的第二业务对象数据表出现故障时，可利用第一业务对象数据表，离线生成预设时间段内的第二业务对象数据表，从而大幅度提升数据的稳定性。其中，所述预设时间段可由本领域技术人员根据实际需要进行设定，本申请实施例对此不做任何限定。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
在一个具体的例子中，如图4B所示，用户在ETL工具的可视化界面输入业务对象数据表生成触发操作之后，ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据，并在ETL工具的可视化界面展示用于生成业务对象数据表的业务对象结构化数据的信息，例如，消费类型、请求类型、下发类型、展现类型、点击类型等。用户在ETL工具的可视化界面上选择点击类型之后，根据所述用户对展示的点击标识的选择操作，将所述选择操作所选择的带有点击标识的业务对象操作数据分别发送至第一数据仓库和第二数据仓库。第一数据仓库根据业务对象结构化数据实时生成业务对象数据表，并将实时生成的所述业务对象数据表导入业务对象投放平台进行展示。第二数据仓库根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，并将离线生成的预设时间段内的所述业务对象数据表导入业务对象投放平台进行展示。其中，ETL工具可理解为执行ETL逻辑的工具。可以理解的是，以上描述仅为示例性的，本申请实施例对此不做任何限定。
通过本申请实施例提供的数据处理方法，接收用户输入的业务对象数据表生成触发操作，根据触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息，再根据用户对展示的所述业务对象结构化数据的信息的选择操作，将选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得第一数据仓库根据业务对象结构化数据实时生成业务对象数据表，并且使得第二数据仓库根据业务对象结构化数据离线生成预设时间段内的业务对象数据表，与现有的其它方式相比，能够方便用户与ETL工具的可视化界面进行交互。
本实施例的数据处理方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备、个人数码助理(PDA)、平板电脑、笔记本电脑、掌上游戏机、智能眼镜、智能手表、可穿戴设备、虚拟显示设备或显示增强设备等。
参照图5，示出了本申请实施例五中数据处理装置的结构示意图。
本实施例提供的数据处理装置包括：解析模块502，用于对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；加载模块503，用于将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
可选地，所述解析模块502之前，所述装置还包括：清洗模块501，用于对从不同的所述数据源实时获取的所述业务对象数据进行清洗，以获得清洗后的所述业务对象数据；所述解析模块502，包括：解析子模块5021，用于对清洗后的所述业务对象数据进行统一解析，以获得用于生成所述业务对象数据表的所述业务对象结构化数据。
可选地，所述解析模块502，包括：转换子模块5022，用于对从不同的所述数据源实时获取的所述业务对象数据的数据格式进行转换，以获得具有统一数据格式的所述业务对象数据；结构化子模块5023，用于对所述具有统一数据格式的所述业务对象数据进行结构化，以获得所述业务对象结构化数据。
可选地，所述业务对象结构化数据包括为所述业务对象数据标识的类型数据，所述结构化子模块5023，具体用于：对所述具有统一数据格式的所述业务对象数据进行类型标识，以获得为所述业务对象数据标识的类型数据。
可选地，所述业务对象数据包括以下中的至少一者：针对业务对象的操作数据、针对所述业务对象进行操作的地域数据、所述业务对象的投放数据。
可选地，所述针对业务对象的操作数据包括以下中的至少一者：针对所述业务对象的展现操作数据、针对所述业务对象的点击操作数据、针对所述业务对象关联的商品的购买操作数据、针对所述业务对象的请求操作数据、针对所述业务对象的下发操作数据。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
参照图6，示出了本申请实施例六中数据处理装置的结构示意图。
本实施例提供的数据处理装置包括：第一获取模块601，用于获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；第一生成模块602，用于根据所述业务对象结构化数据实时生成所述第一业务对象数据表；第一导入模块603，用于将所述第一业务对象数据表导入业务对象投放平台进行展示。
可选地，所述第一生成模块602，具体用于：通过所述第一数据仓库的存放层，存放所述业务对象结构化数据；通过所述第一数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；通过所述第一数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；通过所述第一数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以实时生成所述第一业务对象数据表。
可选地，所述装置还包括：第二生成模块604，用于当所述第一数据仓库实时生成所述第一业务对象数据表出现故障时，获取第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，并根据所述第二业务对象数据表实时生成所述第一业务对象数据表。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
参照图7，示出了本申请实施例七中数据处理装置的结构示意图。
本实施例提供的数据处理装置包括：第二获取模块701，用于获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；第三生成模块702，用于根据所述业务对象结构化数据离线生成所述第二业务对象数据表；第二导入模块703，用于将所述第二业务对象数据表导入业务对象投放平台进行展示。
可选地，所述第三生成模块702，具体用于：通过所述第二数据仓库的存放层，存放所述业务对象结构化数据；通过所述第二数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；通过所述第二数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；通过所述第二数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以生成所述第二业务对象数据表。
可选地，所述装置还包括：第四生成模块704，用于当所述第二数据仓库离线生成所述第二业务对象数据表出现故障时，获取第一数据仓库根据所述业务对象结构化数据实时生成的第一业务对象数据表，并根据所述第一业务对象数据表离线生成所述第二业务对象数据表。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
参照图8，示出了本申请实施例八中数据处理装置的结构示意图。
本实施例提供的数据处理装置包括：第一接收模块801，用于接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；选择模块803，用于根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
可选地，所述选择模块803之前，所述装置还包括：第二接收模块802，用于接收所述用户输入的第一数据仓库的信息和第二数据仓库的信息，并根据所述第一数据仓库的信息和所述第二数据仓库的信息，分别确定所述所选择的业务对象结构化数据待发送的第一数据仓库和第二数据仓库。
可选地，所述装置还包括：第一执行模块804，用于若接收到所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表的故障信息，则获取并展示第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的所述业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第一数据仓库，以使所述第一数据仓库实时生成业务对象数据表；或者，第二执行模块805，用于若接收到所述第二数据仓库根据所述业务对象结构化数据离线生成所述业务对象数据表的故障信息，则获取并展示第一数据仓库根据所述业务对象结构化数据实时生成的业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第二数据仓库，以使所述第二数据仓库离线生成业务对象数据表。
本实施例的数据处理装置用于实现前述多个方法实施例中相应的数据处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
图9为本申请实施例九中电子设备的结构示意图；该电子设备可以包括：
一个或多个处理器901；
计算机可读介质902，可以配置为存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例一、实施例二、实施例三或者实施例四所述的数据处理方法。
图10为本申请实施例十中电子设备的硬件结构；如图10所示，该电子设备的硬件结构可以包括：处理器1001，通信接口1002，计算机可读介质1003和通信总线1004；
其中处理器1001、通信接口1002、计算机可读介质1003通过通信总线1004完成相互间的通信；
可选地，通信接口1002可以为通信模块的接口，如GSM模块的接口；
其中，处理器1001具体可以配置为：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。此外，处理器1001还可以配置为：获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；根据所述业务对象结构化数据实时生成所述第一业务对象数据表；将所述第一业务对象数据表导入业务对象投放平台进行展示。此外，处理器1001还可以配置为：获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；根据所述业务对象结构化数据离线生成所述第二业务对象数据表；将所述第二业务对象数据表导入业务对象投放平台进行展示。此外，处理器1001还可以配置为：接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
处理器1001可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
计算机可读介质1003可以是，但不限于，随机存取存储介质(Random AccessMemory，RAM)，只读存储介质(Read Only Memory，ROM)，可编程只读存储介质(Programmable Read-Only Memory，PROM)，可擦除只读存储介质(Erasable ProgrammableRead-Only Memory，EPROM)，电可擦除只读存储介质(Electric Erasable ProgrammableRead-Only Memory，EEPROM)等。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含配置为执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(CPU)执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读介质例如可以但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储介质(RAM)、只读存储介质(ROM)、可擦式可编程只读存储介质(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储介质(CD-ROM)、光存储介质件、磁存储介质件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输配置为由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写配置为执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络：包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个配置为实现规定的逻辑功能的可执行指令。上述具体实施例中有特定先后关系，但这些先后关系只是示例性的，在具体实现的时候，这些步骤可能会更少、更多或执行顺序有调整。即在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括解析模块和加载模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，解析模块还可以被描述为“对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据的模块”。
作为另一方面，本申请还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一、实施例二、实施例三或者实施例四所描述的数据处理方法。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。此外，还使得该装置：获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；根据所述业务对象结构化数据实时生成所述第一业务对象数据表；将所述第一业务对象数据表导入业务对象投放平台进行展示。此外，还使得该装置：获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；根据所述业务对象结构化数据离线生成所述第二业务对象数据表；将所述第二业务对象数据表导入业务对象投放平台进行展示。此外，还使得该装置：接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
在本公开的各种实施方式中所使用的表述“第一”、“第二”、“所述第一”或“所述第二”可修饰各种部件而与顺序和/或重要性无关，但是这些表述不限制相应部件。以上表述仅配置为将元件与其它元件区分开的目的。例如，第一用户设备和第二用户设备表示不同的用户设备，虽然两者均是用户设备。例如，在不背离本公开的范围的前提下，第一元件可称作第二元件，类似地，第二元件可称作第一元件。
当一个元件(例如，第一元件)称为与另一元件(例如，第二元件)“(可操作地或可通信地)联接”或“(可操作地或可通信地)联接至”另一元件(例如，第二元件)或“连接至”另一元件(例如，第二元件)时，应理解为该一个元件直接连接至该另一元件或者该一个元件经由又一个元件(例如，第三元件)间接连接至该另一个元件。相反，可理解，当元件(例如，第一元件)称为“直接连接”或“直接联接”至另一元件(第二元件)时，则没有元件(例如，第三元件)插入在这两者之间。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (21)
1.一种数据处理方法，所述方法包括：
对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；
将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
2.根据权利要求1所述的方法，其中，所述对从不同的数据源实时获取的业务对象数据进行统一解析之前，所述方法还包括：
对从不同的所述数据源实时获取的所述业务对象数据进行清洗，以获得清洗后的所述业务对象数据；
所述对从不同的数据源实时获取的业务对象数据进行统一解析，包括：
对清洗后的所述业务对象数据进行统一解析，以获得用于生成所述业务对象数据表的所述业务对象结构化数据。
3.根据权利要求1所述的方法，其中，所述对从不同的数据源实时获取的业务对象数据进行统一解析，包括：
对从不同的所述数据源实时获取的所述业务对象数据的数据格式进行转换，以获得具有统一数据格式的所述业务对象数据；
对所述具有统一数据格式的所述业务对象数据进行结构化，以获得所述业务对象结构化数据。
4.根据权利要求3所述的方法，其中，所述业务对象结构化数据包括为所述业务对象数据标识的类型数据，
所述对所述具有统一数据格式的所述业务对象数据进行结构化，包括：
对所述具有统一数据格式的所述业务对象数据进行类型标识，以获得为所述业务对象数据标识的类型数据。
5.根据权利要求1-4中任意一项权利要求所述的方法，其中，所述业务对象数据包括以下中的至少一者：针对业务对象的操作数据、针对所述业务对象进行操作的地域数据、所述业务对象的投放数据。
6.根据权利要求5所述的方法，其中，所述针对业务对象的操作数据包括以下中的至少一者：针对所述业务对象的展现操作数据、针对所述业务对象的点击操作数据、针对所述业务对象关联的商品的购买操作数据、针对所述业务对象的请求操作数据、针对所述业务对象的下发操作数据。
7.一种数据处理方法，所述方法包括：
第一数据仓库获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；
所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表；
所述第一数据仓库将所述第一业务对象数据表导入业务对象投放平台进行展示。
8.根据权利要求7所述的方法，其中，所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表，包括：
通过所述第一数据仓库的存放层，存放所述业务对象结构化数据；
通过所述第一数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；
通过所述第一数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；
通过所述第一数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以实时生成所述第一业务对象数据表。
9.根据权利要求7所述的方法，其中，所述方法还包括：
当所述第一数据仓库实时生成所述第一业务对象数据表出现故障时，所述第一数据仓库获取第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的第二业务对象数据表，并根据所述第二业务对象数据表实时生成所述第一业务对象数据表。
10.一种数据处理方法，所述方法包括：
第二数据仓库获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；
所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表；
所述第二数据仓库将所述第二业务对象数据表导入业务对象投放平台进行展示。
11.根据权利要求10所述的方法，其中，所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表，包括：
通过所述第二数据仓库的存放层，存放所述业务对象结构化数据；
通过所述第二数据仓库的统计层，对所述业务对象结构化数据进行统计，以获得所述业务对象结构化数据的明细数据；
通过所述第二数据仓库的汇总层，对所述业务对象结构化数据的明细数据进行汇总，以获得所述业务对象结构化数据的汇总结果；
通过所述第二数据仓库的应用层，应用所述业务对象结构化数据的汇总结果，以离线生成所述第二业务对象数据表。
12.根据权利要求10所述的方法，其中，所述方法还包括：
当所述第二数据仓库离线生成所述第二业务对象数据表出现故障时，所述第二数据仓库获取第一数据仓库根据所述业务对象结构化数据实时生成的第一业务对象数据表，并根据所述第一业务对象数据表离线生成所述第二业务对象数据表。
13.一种数据处理方法，所述方法包括：
接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；
根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
14.根据权利要求13所述的方法，其中，在所述将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库之前，所述方法还包括：
接收所述用户输入的第一数据仓库的信息和第二数据仓库的信息，并根据所述第一数据仓库的信息和所述第二数据仓库的信息，分别确定所述所选择的业务对象结构化数据待发送的第一数据仓库和第二数据仓库。
15.根据权利要求13或14所述的方法，其中，所述方法还包括：
若接收到所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表的故障信息，则获取并展示第二数据仓库根据所述业务对象结构化数据离线生成的预设时间段内的所述业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第一数据仓库，以使所述第一数据仓库实时生成业务对象数据表；
或者，
若接收到所述第二数据仓库根据所述业务对象结构化数据离线生成所述业务对象数据表的故障信息，则获取并展示第一数据仓库根据所述业务对象结构化数据实时生成的业务对象数据表的信息，并将所述业务对象数据表的信息指示的业务对象数据表发送至所述第二数据仓库，以使所述第二数据仓库离线生成业务对象数据表。
16.一种数据处理装置，所述装置包括：
解析模块，用于对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；
加载模块，用于将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
17.一种数据处理装置，所述装置包括：
第一获取模块，用于获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；
第一生成模块，用于根据所述业务对象结构化数据实时生成所述第一业务对象数据表；
第一导入模块，用于将所述第一业务对象数据表导入业务对象投放平台进行展示。
18.一种数据处理装置，所述装置包括：
第二获取模块，用于获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；
第三生成模块，用于根据所述业务对象结构化数据离线生成所述第二业务对象数据表；
第二导入模块，用于将所述第二业务对象数据表导入业务对象投放平台进行展示。
19.一种数据处理装置，所述装置包括：
第一接收模块，用于接收用户输入的业务对象数据表生成触发操作，根据所述触发操作展示用于生成业务对象数据表的业务对象结构化数据的信息；
选择模块，用于根据所述用户对展示的所述业务对象结构化数据的信息的选择操作，将所述选择操作所选择的业务对象结构化数据分别发送至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。
20.一种电子设备，所述设备包括：
一个或多个处理器；
计算机可读介质，配置为存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任意一项权利要求所述的数据处理方法，或者实现如权利要求7-9中任意一项权利要求所述的数据处理方法，或者实现如权利要求10-12中任意一项权利要求所述的数据处理方法，或者实现如权利要求13-15中任意一项权利要求所述的数据处理方法。
21.一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-6中任意一项权利要求所述的数据处理方法，或者实现如权利要求7-9中任意一项权利要求所述的数据处理方法，或者实现如权利要求10-12中任意一项权利要求所述的数据处理方法，或者实现如权利要求13-15中任意一项权利要求所述的数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010152250.2A CN113360474A (zh) | 2020-03-06 | 2020-03-06 | 数据处理方法、装置、电子设备及计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010152250.2A CN113360474A (zh) | 2020-03-06 | 2020-03-06 | 数据处理方法、装置、电子设备及计算机可读介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113360474A true CN113360474A (zh) | 2021-09-07 |
Family
ID=77524068
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010152250.2A Pending CN113360474A (zh) | 2020-03-06 | 2020-03-06 | 数据处理方法、装置、电子设备及计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113360474A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329015A (zh) * | 2022-10-14 | 2022-11-11 | 中孚安全技术有限公司 | 一种混合架构的数据仓库系统及实现方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090299969A1 (en) * | 2008-06-03 | 2009-12-03 | International Business Machines Corporation | Data warehouse system |
| US20110313969A1 (en) * | 2010-06-17 | 2011-12-22 | Gowda Timma Ramu | Updating historic data and real-time data in reports |
| CN107463610A (zh) * | 2017-06-27 | 2017-12-12 | 北京小度信息科技有限公司 | 一种数据入库方法及装置 |
| CN110362622A (zh) * | 2019-07-22 | 2019-10-22 | 江苏满运软件科技有限公司 | 基于实时数仓的实时流处理系统、方法、设备及存储介质 |
| CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
-
2020
- 2020-03-06 CN CN202010152250.2A patent/CN113360474A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090299969A1 (en) * | 2008-06-03 | 2009-12-03 | International Business Machines Corporation | Data warehouse system |
| US20110313969A1 (en) * | 2010-06-17 | 2011-12-22 | Gowda Timma Ramu | Updating historic data and real-time data in reports |
| CN107463610A (zh) * | 2017-06-27 | 2017-12-12 | 北京小度信息科技有限公司 | 一种数据入库方法及装置 |
| CN110362622A (zh) * | 2019-07-22 | 2019-10-22 | 江苏满运软件科技有限公司 | 基于实时数仓的实时流处理系统、方法、设备及存储介质 |
| CN110457320A (zh) * | 2019-08-06 | 2019-11-15 | 深圳萨摩耶互联网金融服务有限公司 | 数据的实时存储方法与装置、存储介质及计算机设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115329015A (zh) * | 2022-10-14 | 2022-11-11 | 中孚安全技术有限公司 | 一种混合架构的数据仓库系统及实现方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111177231B (zh) | 报表生成方法和报表生成装置 | |
| CN108536867B (zh) | 用于生成信息的方法和装置 | |
| US10943691B2 (en) | Cost of healthcare analytics platform | |
| CN114090608A (zh) | 数据报表的生成方法及装置 | |
| CN117454278A (zh) | 一种标准企业数字化规则引擎的实现方法和系统 | |
| CN111091439B (zh) | 订单关联营销活动实现方法、系统、设备及存储介质 | |
| CN111581356A (zh) | 用户行为路径分析方法和装置 | |
| CN113360474A (zh) | 数据处理方法、装置、电子设备及计算机可读介质 | |
| CN117787714A (zh) | 企业的风险评估方法、装置、存储介质及终端设备 | |
| CN110765610B (zh) | Pdm集成方法、装置、计算机设备及存储介质 | |
| US20150169515A1 (en) | Data driven synthesizer | |
| CN112085344A (zh) | 一种设备健康的分析方法、装置及电子设备 | |
| CN108764854B (zh) | 项目控制方法、装置、电子设备及介质 | |
| CN111078636A (zh) | 营销数据处理方法、系统及相关设备 | |
| CN116823493A (zh) | 一种特征处理方法、装置、存储介质及电子设备 | |
| US12050634B2 (en) | Method and apparatus for distributing content across platforms, device and storage medium | |
| CN115222499A (zh) | 内部结算方法、装置、存储介质及结算服务器 | |
| CN114240593A (zh) | 数据对账方法、装置、设备、介质和程序产品 | |
| CN114240339A (zh) | 背景调查方法、装置、存储介质及电子设备 | |
| CN112363716A (zh) | 动态组装评估模型的方法、系统和装置 | |
| CN117422557B (zh) | 一种交易报文的生成方法、电子设备及存储介质 | |
| CN110400189B (zh) | 信息输出方法和装置 | |
| CN112989770B (zh) | 一种表单生成方法、装置、系统、电子设备和存储介质 | |
| CN116664217A (zh) | 一种产品推荐方法及装置、存储介质及电子设备 | |
| CN115357611A (zh) | 数据处理方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |