CN114266235A - 数据的处理方法及装置、存储介质、电子装置 - Google Patents
数据的处理方法及装置、存储介质、电子装置 Download PDFInfo
- Publication number
- CN114266235A CN114266235A CN202111509253.8A CN202111509253A CN114266235A CN 114266235 A CN114266235 A CN 114266235A CN 202111509253 A CN202111509253 A CN 202111509253A CN 114266235 A CN114266235 A CN 114266235A
- Authority
- CN
- China
- Prior art keywords
- data
- interface
- target
- platform
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 14
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000004590 computer program Methods 0.000 claims description 18
- 238000007726 management method Methods 0.000 claims description 16
- 230000032683 aging Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 7
- 238000013524 data verification Methods 0.000 claims description 5
- 230000010354 integration Effects 0.000 claims description 5
- 238000012800 visualization Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims 1
- 238000007405 data analysis Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003032 molecular docking Methods 0.000 description 5
- 210000001503 joint Anatomy 0.000 description 4
- 238000012856 packing Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000007474 system interaction Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种数据的处理方法及装置、存储介质、电子装置，上述方法包括：通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，原始数据为来自业务服务的数据标记信息，数据运营中台与目标数据系统通过数据接口连接，数据接口包括：第一接口；根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格；通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中，解决了现有技术中大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂的问题。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种数据的处理方法及装置、存储介质、电子装置。
背景技术
目前运营人员需要通过excel离线的形式每周收集来自产业的数据标记信息，由管理员统一汇总，定期同步至大数据，大数据定期发版上线。当前每周二收集来自各产业、小微和业务线上周三至本周二的所有数据标记需求，周二下午同步至大数据，大数据依内部发版节奏通常为周四发版上线，周五可供产业查数。上述方案需要大量人员去手动配合，且人为操作的复杂性较高，易出错，且经常需要回滚，外部系统不能直接对接大数据平台。
针对相关技术中，大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂等问题，尚未提出有效的技术方案。
发明内容
本发明实施例提供了一种数据的处理方法及装置、存储介质、电子装置，以至少解决相关技术中，大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂等问题。
根据本发明的一个实施例，提供了一种数据的处理方法，包括：通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，原始数据为来自业务服务的数据标记信息，数据运营中台与目标数据系统通过数据接口连接，数据接口包括：第一接口；根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格；通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中。
在一个示例性实施例中，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据之前，上述方法还包括：接收目标对象的设置指令；根据设置指令确定为第一接口设置的目标任务，其中，目标任务用于指示对原始数据的调用频率；根据目标任务对目标数据系统中的原始数据进行周期调用。
在一个示例性实施例中，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据，包括：获取预先埋点事件的事件类型以及预先埋点事件的属性信息确定目标数据系统中待采集的数据源；通过第一接口对待采集的数据源中的数据进行打包，以得到预先埋点事件处的原始数据。
在一个示例性实施例中，根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格之前，上述方法还包括：获取目标对象在数据运营中台对应显示操作界面上的操作指令，其中，操作指令用于从预设表格数据库中选择数据标签；将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板。
在一个示例性实施例中，将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板之后，包括：对目标对象与表格模板进行使用绑定，生成目标对象的表格管理信息；将表格管理信息在数据运营中台进行存储。
在一个示例性实施例中，根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格，包括：确定从第一接口获取到的原始数据的时效值；在时效值符合预设阈值的情况下，使用表格模板中不同的数据标签对原始数据进行数据归类，以得到数据整合后的目标表格；对目标表格中的重复数据进行合并，确定出原始数据的汇总数据表格。
在一个示例性实施例中，通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中之后，上述方法还包括：接收大数据平台分析结果，并对分析结果进行解析，其中，分析结果用于指示大数据平台根据可视化需求对汇总数据表格的处理结果；在确定分析结果对应的目标汇总数据表格与数据运营中台上存储的第二接口向大数据平台推送汇总数据表格相同的情况下，确定分析结果通过数据运营中台的数据校验；将分析结果的可视化文件内容显示在数据运营中台的显示操作界面上。
根据本发明的另一个实施例，提供了一种数据的处理装置，包括：调用模块，用于通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；归类模块，用于根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；推送模块，用于通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
在一个示例性实施例中，上述装置还包括：设置模块，用于接收目标对象的设置指令；根据设置指令确定为第一接口设置的目标任务，其中，目标任务用于指示对原始数据的调用频率；根据目标任务对目标数据系统中的原始数据进行周期调用。
在一个示例性实施例中，上述调用模块，还用于获取预先埋点事件的事件类型以及预先埋点事件的属性信息确定目标数据系统中待采集的数据源；通过第一接口对待采集的数据源中的数据进行打包，以得到预先埋点事件处的原始数据。
在一个示例性实施例中，上述装置还包括：获取模块，用于获取目标对象在数据运营中台对应显示操作界面上的操作指令，其中，操作指令用于从预设表格数据库中选择数据标签；将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板。
在一个示例性实施例中，上述获取模块还包括：绑定单元，用于对目标对象与表格模板进行使用绑定，生成目标对象的表格管理信息；将表格管理信息在数据运营中台进行存储。
在一个示例性实施例中，上述归类模块，还用于确定从第一接口获取到的原始数据的时效值；在时效值符合预设阈值的情况下，使用表格模板中不同的数据标签对原始数据进行数据归类，以得到数据整合后的目标表格；对目标表格中的重复数据进行合并，确定出原始数据的汇总数据表格。
在一个示例性实施例中，上述装置还包括：显示模块，用于接收大数据平台分析结果，并对分析结果进行解析，其中，分析结果用于指示大数据平台根据可视化需求对汇总数据表格的处理结果；在确定分析结果对应的目标汇总数据表格与数据运营中台上存储的第二接口向大数据平台推送汇总数据表格相同的情况下，确定分析结果通过数据运营中台的数据校验；将分析结果的可视化文件内容显示在数据运营中台的显示操作界面上。
根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，原始数据为来自业务服务的数据标记信息，数据运营中台与目标数据系统通过数据接口连接，数据接口包括：第一接口；根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格；通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中。也就是说，通过数据运营中台对不同的目标数据系统中的原始数据进行调用，并对原始数据进行数据归类整理，进而在大数据平台需要对应目标数据系统的原始数据进行大数据分析时，可以通过数据运营中台快速确定出需要的原始数据信息，提升大数据平台对于基础数据的获取效率，因此，可以解决现有技术中大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂，提升了大数据平台进行数据分析的协作效率，进而节省了数据分析成本，提高了对于原始数据的统计效率。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种数据的处理方法的计算机终端的硬件结构框图；
图2是根据本发明实施例的数据的处理方法的流程图；
图3是根据本发明可选实施例的数据处理的系统交互时序图；
图4是根据本发明实施例的数据的处理装置的结构框图(一)；
图5是根据本发明实施例的数据的处理装置的结构框图(二)。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在计算机终端或者设备终端类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种数据的处理方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，在一个示例性实施例中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示等同功能或比图1所示功能更多的不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的数据的处理方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种数据的处理方法，图2是根据本发明实施例的数据的处理方法的流程图，该流程包括如下步骤：
步骤S202，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
步骤S204，根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
步骤S206，通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
通过上述步骤，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，原始数据为来自业务服务的数据标记信息，数据运营中台与目标数据系统通过数据接口连接，数据接口包括：第一接口；根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格；通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中。也就是说，通过数据运营中台对不同的目标数据系统中的原始数据进行调用，并对原始数据进行数据归类整理，进而在大数据平台需要对应目标数据系统的原始数据进行大数据分析时，可以通过数据运营中台快速确定出需要的原始数据信息，提升大数据平台对于基础数据的获取效率，因此，可以解决现有技术中大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂，提升了大数据平台进行数据分析的协作效率，进而节省了数据分析成本，提高了对于原始数据的统计效率。
在一个示例性实施例中，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据之前，上述方法还包括：接收目标对象的设置指令；根据设置指令确定为第一接口设置的目标任务，其中，目标任务用于指示对原始数据的调用频率；根据目标任务对目标数据系统中的原始数据进行周期调用。
需要说明的是，数据运营中台可能同时与多个目标系统连接，实现多个目标系统中对应原始数据的周期性采集，进而使得大数据平台在需要原始数据进行分析时，可以从数据运营平台中调用适合的被处理后的原始数据，提升了大数据平台获取待分析的原始数据的效率，并通过运营平台达成目标数据系统与大数据平台两个系统间对接，减少数据同步的周期与频次，时间效率上从T+7提升至T+1，可选的，T可以是天，也可是小时或者一个月，其单位更目标对象的数据分析需求有关，可以灵活设置，并且数据运营中台还可以对目标系统的数据源执行一些辅助的操作功能，如：历史数据导入，独立应用历史数据、事件归属历史数据、编码表历史数据的导入。
在一个示例性实施例中，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据，包括：获取预先埋点事件的事件类型以及预先埋点事件的属性信息确定目标数据系统中待采集的数据源；通过第一接口对待采集的数据源中的数据进行打包，以得到预先埋点事件处的原始数据。
也就是说，根据大数据平台需要执行分析方向的不同，在获取原始数据时，需要确定出符合该方向的原始数据，通过分析方向以及后续数据需求可以对应待获取的数据类型以及获取数据的时间周期，进而在目标数据平台中进行埋点，其中，根据待获取的数据类型可以确定预先埋点事件的事件类型，即重点需要从目标数据系统中获取何种数据，根据获取数据的时间周期可以确定预先埋点事件的属性信息，使得在无人工管理的情况下，也可以通过数据运营平台对目标数据系统的原始数据进行周期性的获取。
在一个示例性实施例中，根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格之前，上述方法还包括：获取目标对象在数据运营中台对应显示操作界面上的操作指令，其中，操作指令用于从预设表格数据库中选择数据标签；将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板。
简而言之，由于数据运营平台从不同目标系统获取到原始数据多种多样，为了使得不同目标系统中的原始数据可以被统一起来，目标对象根据数据需求在对应的预设表格模板中填充数据标签，进而得到可以用于归类原始数据的表格模板。
在一个示例性实施例中，将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板之后，包括：对目标对象与表格模板进行使用绑定，生成目标对象的表格管理信息；将表格管理信息在数据运营中台进行存储。
可以理解的是，对于同一目标对象为了使得后续对目标对象的需求做出快速的处理，可以将目标对象已经生成的表格模板与目标对象进行绑定，以保证对应目标模板的专用性，并根据目标对象的身份信息以及对应表格模板生成目标对象的表格管理信息，以在数据运营中台进行存储，便于后续查找使用。
需要说明的是，数据运营中台还可以对预设表格数据库进行更新，根据服务企业的不同进行对应调整，此外，数据运行中台还可以进行连接目标数据系统以及大数据平台的通信接口进行管理，对使用以及未使用的接口的使用情况进行记录。
在一个示例性实施例中，根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格，包括：确定从第一接口获取到的原始数据的时效值；在时效值符合预设阈值的情况下，使用表格模板中不同的数据标签对原始数据进行数据归类，以得到数据整合后的目标表格；对目标表格中的重复数据进行合并，确定出原始数据的汇总数据表格。
由于数据具有时效性，对数据进行大数据分析时，为了保证优质的分析效果，对不同时间段内的数据进行不同归类，例如：生产线上白班对应的原始数据与夜班对应的原始数据是不同，在对应分析时，需要确定原始数据是属于白班数据。还是夜班数据，进而有针对性的对原始数据通过表格模板进行整理，并将存在重复影响分析的数据进行合并处理，使得确定出的原始数据的汇总数据表格更加真实有效。
在一个示例性实施例中，通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中之后，上述方法还包括：接收大数据平台分析结果，并对分析结果进行解析，其中，分析结果用于指示大数据平台根据可视化需求对汇总数据表格的处理结果；在确定分析结果对应的目标汇总数据表格与数据运营中台上存储的第二接口向大数据平台推送汇总数据表格相同的情况下，确定分析结果通过数据运营中台的数据校验；将分析结果的可视化文件内容显示在数据运营中台的显示操作界面上。
为了更好的理解上述数据的处理方法的过程，以下结合几个可选实施例对上述数据的处理方法流程进行说明。
作为一种可选的实施方式，当前对于原始数据的处理主要通过人工的方式去解决数据同步的问题，存在以下几方面的缺点：
1、excel收集、下载、合并，合并后再反馈至大数据同事，再进行下载、二次审核、导入到工程。特别是对于变化的管理，增加了协作成本。
2、需要对反馈数据源进行重复性校验、事件名称、归属信息校验，易出错。
3、最长T+7的低时效性，从收到反馈至管理员到反馈至大数据到上线，最长可能得7天。
4、经常加急回溯历史数据，低时效性不能满足业务需求，通常需要加急处理，如周三收到数据需求，当周四需要上线；或周一收到数据归属需求，但活动当周二就上线。
针对上述问题，本发明可选实施例提出来的数据运营中台，为对接大数据和外部系统提供桥梁，解决人工处理的弊端，并且对数据的加工，回滚处理都更加及时。后续遇到类似的情况，也可通过数据运营中台接入大数据平台进行数据分析。
在本发明可选实施例中，主要提供了一种通过数据运营中台对数据源进行管理方法，通过数据运营中台来做中间桥梁，同时开发对接多个系统的接口，作为中间转换层，进而对外部系统的数据进行采集分析，对数据源的数据进行加工整理，从时效性，准确性等各种方式去满足大数据分析的需求，避免了现有的外部系统无法与大数据平台直接进行数据交互的问题；
可选的，数据运营中台为定位于数据生产之后或被定义之后、BI之前的一个中台系统。涵盖对数据的分类和标记、基于主题的分析模型、以及最终的分析报告生成。数据运营人员、数据(质量)管理人员可以通过该系统对统计结果进行分析。
可选的，如图3所示为本发明可选实施例的数据处理的系统交互时序图，具体如下：
步骤1、在外部对接系统中(即本发明实施例中的目标数据系统)录入基本的埋点事件和属性；
步骤2、数据运营中台调用外部系统现有的接口，或者数据脚本，获取外部数据。
可选的，数据运营中台根据埋点事件确定定时任务，根据定时任务对外部对接系统中的原始数据进行采集；或者目标对象还可以在数据运营中台上人工触发接口同步，将埋点事件处的原始数据同步至数据运营中台；
步骤3、数据运营中台执行数据检查，对获取到的原始数据进行清洗；对获取到数据进行重复性，有效性校验，并且进行初步的转换，入库存储。数据运营平台提供加工数据的可视化页面，对外部系统的数据可进行增量修改编辑，并提供对大数据平台的数据接口。.
步骤4、数据运营中台维护事件、归属、产业等大数据统计维度信息；数据运营平台对数据进行检验，加工，入库。对加工后的数据进行整理，生成可视化图表。
步骤5、推送处理后的数据至大数据平台；大数据平台通过数据脚本，或者由数据运营中台对应的运营平台主动调用大数据平台的接口，上送数据至大数据平台。
步骤6、大数据平台对数据的实时性和准确性进行验证，筛选，获取有用的数据保存。
步骤7、对获取到有用的数据进行分析并生成分析结果，确定大数据平台上原始数据的评估结果，保存；
步骤8、返回大数据分析的信息，完成数据运营中台与大数据平台的数据接口对接；
步骤9、数据运营中台对大数据平台反馈的分析结果进行内部效验；
步骤10、将通过校验的分析结果转化为可视化图表；
步骤11、如果外部系统有获取分析后的需求，可以提供接口返回结果；
也就是说，通过数据运营中台解决了对于外部对接系统与大数据平台之间无法直接进行数据交互，可通过数据运营中台来做中间桥梁，同时在数据运营中台开发对接两个系统的接口，作为中间转换层。在需要对接的系统不能满足大数据统计的情况下，通过数据运营中台对外部系统的数据进行采集分析，对数据源的数据进行加工整理，从时效性，准确性等各种方式去满足大数据分析的需求。
需要说明的是，数据运营中台的平台研发，平台自身要提供对接接口和表管理，以及对数据源的操作功能，历史数据导入，独立应用历史数据、事件归属历史数据、编码表历史数据的导入；设置同步大数据的接口，通过接口可以将独立应用归属、事件归属、归属编码等信息推送至大数据平台的接口完成交互。
综上，通过本发明可选实施例，提升协作效率，避免人工操作数据，通过运营数据中台来进行数据重复性校验、准确性校验信息化，达成协作信息化；提升统计效率，通过数据运营中台达成系统间对接，减少数据同步的周期与频次，时间效率上从T+7提升至T+1；提升统计可信度，通过数据运营中台维护数据源，提供图形化界面，数据源透明，提升统计可信度。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种数据的处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的数据的处理装置的结构框图(一)，如图4所示，该装置包括：
调用模块42，用于通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
归类模块44，用于根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
推送模块46，用于通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
通过上述装置，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，原始数据为来自业务服务的数据标记信息，数据运营中台与目标数据系统通过数据接口连接，数据接口包括：第一接口；根据表格模板对原始数据进行数据归类，得到原始数据的汇总数据表格；通过数据运营中台上的第二接口向大数据平台推送汇总数据表格，并使用目标格式将汇总数据表格存储在数据运营中台中。也就是说，通过数据运营中台对不同的目标数据系统中的原始数据进行调用，并对原始数据进行数据归类整理，进而在大数据平台需要对应目标数据系统的原始数据进行大数据分析时，可以通过数据运营中台快速确定出需要的原始数据信息，提升大数据平台对于基础数据的获取效率，因此，可以解决现有技术中大数据平台在从不同的数据系统中获取数据信息进行分析时，处理流程过长且处理流程复杂，提升了大数据平台进行数据分析的协作效率，进而节省了数据分析成本，提高了对于原始数据的统计效率。
图5是根据本发明实施例的数据的处理装置的结构框图(二)，如图5所示，该装置不仅包括图4中的所有装置，还包括：设置模块38、获取模块40、显示模块48；
在一个示例性实施例中，上述装置还包括：设置模块，用于接收目标对象的设置指令；根据设置指令确定为第一接口设置的目标任务，其中，目标任务用于指示对原始数据的调用频率；根据目标任务对目标数据系统中的原始数据进行周期调用。
需要说明的是，数据运营中台可能同时与多个目标系统连接，实现多个目标系统中对应原始数据的周期性采集，进而使得大数据平台在需要原始数据进行分析时，可以从数据运营平台中调用适合的被处理后的原始数据，提升了大数据平台获取待分析的原始数据的效率，并通过运营平台达成目标数据系统与大数据平台两个系统间对接，减少数据同步的周期与频次，时间效率上从T+7提升至T+1，并且数据运营中台还可以对目标系统的数据源执行一些辅助的操作功能，如：历史数据导入，独立应用历史数据、事件归属历史数据、编码表历史数据的导入。
在一个示例性实施例中，上述调用模块，还用于获取预先埋点事件的事件类型以及预先埋点事件的属性信息确定目标数据系统中待采集的数据源；通过第一接口对待采集的数据源中的数据进行打包，以得到预先埋点事件处的原始数据。也就是说，根据大数据平台需要执行分析方向的不同，在获取原始数据时，需要确定出符合该方向的原始数据，通过分析方向以及后续数据需求可以对应待获取的数据类型以及获取数据的时间周期，进而在目标数据平台中进行埋点，其中，根据待获取的数据类型可以确定预先埋点事件的事件类型，即重点需要从目标数据系统中获取何种数据，根据获取数据的时间周期可以确定预先埋点事件的属性信息，使得在无人工管理的情况下，也可以通过数据运营平台对目标数据系统的原始数据进行周期性的获取。
在一个示例性实施例中，上述装置还包括：获取模块，用于获取目标对象在数据运营中台对应显示操作界面上的操作指令，其中，操作指令用于从预设表格数据库中选择数据标签；将操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板。简而言之，由于数据运营平台从不同目标系统获取到原始数据多种多样，为了使得不同目标系统中的原始数据可以被统一起来，目标对象根据数据需求在对应的预设表格模板中填充数据标签，进而得到可以用于归类原始数据的表格模板。
在一个示例性实施例中，上述获取模块还包括：绑定单元，用于对目标对象与表格模板进行使用绑定，生成目标对象的表格管理信息；将表格管理信息在数据运营中台进行存储。可以理解的是，对于同一目标对象为了使得后续对目标对象的需求做出快速的处理，可以将目标对象已经生成的表格模板与目标对象进行绑定，以保证对应目标模板的专用性，并根据目标对象的身份信息以及对应表格模板生成目标对象的表格管理信息，以在数据运营中台进行存储，便于后续查找使用。
需要说明的是，数据运营中台还可以对预设表格数据库进行更新，根据服务企业的不同进行对应调整，此外，数据运行中台还可以进行连接目标数据系统以及大数据平台的通信接口进行管理，对使用以及未使用的接口的使用情况进行记录。
在一个示例性实施例中，上述归类模块，还用于确定从第一接口获取到的原始数据的时效值；在时效值符合预设阈值的情况下，使用表格模板中不同的数据标签对原始数据进行数据归类，以得到数据整合后的目标表格；对目标表格中的重复数据进行合并，确定出原始数据的汇总数据表格。由于数据具有时效性，对数据进行大数据分析时，为了保证优质的分析效果，对不同时间段内的数据进行不同归类，例如：生产线上白班对应的原始数据与夜班对应的原始数据是不同，在对应分析时，需要确定原始数据是属于白班数据。还是夜班数据，进而有针对性的对原始数据通过表格模板进行整理，并将存在重复影响分析的数据进行合并处理，使得确定出的原始数据的汇总数据表格更加真实有效。
在一个示例性实施例中，上述装置还包括：显示模块，用于接收大数据平台分析结果，并对分析结果进行解析，其中，分析结果用于指示大数据平台根据可视化需求对汇总数据表格的处理结果；在确定分析结果对应的目标汇总数据表格与数据运营中台上存储的第二接口向大数据平台推送汇总数据表格相同的情况下，确定分析结果通过数据运营中台的数据校验；将分析结果的可视化文件内容显示在数据运营中台的显示操作界面上。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
S2，根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
S3，通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
在一个示例性实施例中，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
在一个示例性实施例中，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
S2，根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
S3，通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
在一个示例性实施例中，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，在一个示例性实施例中，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据的处理方法，其特征在于，包括：
通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
2.根据权利要求1所述的数据的处理方法，其特征在于，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据之前，所述方法还包括：
接收目标对象的设置指令；
根据所述设置指令确定为所述第一接口设置的目标任务，其中，所述目标任务用于指示对原始数据的调用频率；
根据所述目标任务对所述目标数据系统中的原始数据进行周期调用。
3.根据权利要求1所述的数据的处理方法，其特征在于，通过第一接口从目标数据系统中调用预先埋点事件处的原始数据，包括：
获取所述预先埋点事件的事件类型以及所述预先埋点事件的属性信息确定所述目标数据系统中待采集的数据源；
通过所述第一接口对所述待采集的数据源中的数据进行打包，以得到所述预先埋点事件处的原始数据。
4.根据权利要求1所述的数据的处理方法，其特征在于，根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格之前，所述方法还包括：
获取目标对象在数据运营中台对应显示操作界面上的操作指令，其中，所述操作指令用于从预设表格数据库中选择数据标签；
将所述操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板。
5.根据权利要求4所述的数据的处理方法，其特征在于，将所述操作指令对应的数据标签填充至预设表格模板中，以确定出用于进行数据归类的表格模板之后，包括：
对所述目标对象与所述表格模板进行使用绑定，生成所述目标对象的表格管理信息；
将所述表格管理信息在数据运营中台进行存储。
6.根据权利要求1所述的数据的处理方法，其特征在于，根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格，包括：
确定从所述第一接口获取到的所述原始数据的时效值；
在所述时效值符合预设阈值的情况下，使用所述表格模板中不同的数据标签对所述原始数据进行数据归类，以得到数据整合后的目标表格；对所述目标表格中的重复数据进行合并，确定出所述原始数据的汇总数据表格。
7.根据权利要求1所述的数据的处理方法，其特征在于，通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中之后，所述方法还包括：
接收所述大数据平台分析结果，并对所述分析结果进行解析，其中，所述分析结果用于指示大数据平台根据可视化需求对汇总数据表格的处理结果；
在确定所述分析结果对应的目标汇总数据表格与所述数据运营中台上存储的第二接口向大数据平台推送所述汇总数据表格相同的情况下，确定所述分析结果通过所述数据运营中台的数据校验；
将所述分析结果的可视化文件内容显示在所述数据运营中台的显示操作界面上。
8.一种数据的处理装置，其特征在于，包括：
调用模块，用于通过数据运营中台上的第一接口从目标数据系统中调用预先埋点事件处所采集到的原始数据，其中，所述原始数据为来自业务服务的数据标记信息，所述数据运营中台与所述目标数据系统通过数据接口连接，所述数据接口包括：第一接口；
归类模块，用于根据表格模板对所述原始数据进行数据归类，得到所述原始数据的汇总数据表格；
推送模块，用于通过所述数据运营中台上的第二接口向大数据平台推送所述汇总数据表格，并使用目标格式将所述汇总数据表格存储在数据运营中台中。
9.一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111509253.8A CN114266235A (zh) | 2021-12-10 | 2021-12-10 | 数据的处理方法及装置、存储介质、电子装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111509253.8A CN114266235A (zh) | 2021-12-10 | 2021-12-10 | 数据的处理方法及装置、存储介质、电子装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114266235A true CN114266235A (zh) | 2022-04-01 |
Family
ID=80826894
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111509253.8A Pending CN114266235A (zh) | 2021-12-10 | 2021-12-10 | 数据的处理方法及装置、存储介质、电子装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266235A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188078A (zh) * | 2023-02-06 | 2023-05-30 | 北京高阳捷迅信息技术有限公司 | 营销活动的指标体系构建方法、装置、存储介质及服务器 |
| CN116991607A (zh) * | 2023-09-26 | 2023-11-03 | 北京九栖科技有限责任公司 | 用于大数据中台和平台间通信的适配方法、系统及设备 |
-
2021
- 2021-12-10 CN CN202111509253.8A patent/CN114266235A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116188078A (zh) * | 2023-02-06 | 2023-05-30 | 北京高阳捷迅信息技术有限公司 | 营销活动的指标体系构建方法、装置、存储介质及服务器 |
| CN116991607A (zh) * | 2023-09-26 | 2023-11-03 | 北京九栖科技有限责任公司 | 用于大数据中台和平台间通信的适配方法、系统及设备 |
| CN116991607B (zh) * | 2023-09-26 | 2023-12-22 | 北京九栖科技有限责任公司 | 用于大数据中台和平台间通信的适配方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111338814A (zh) | 消息处理方法和装置、存储介质和电子装置 | |
| CN114266235A (zh) | 数据的处理方法及装置、存储介质、电子装置 | |
| CN111459944B (zh) | 一种mr数据存储方法、装置、服务器及存储介质 | |
| CN112559475B (zh) | 数据实时捕获和传输方法及系统 | |
| US11954123B2 (en) | Data processing method and device for data integration, computing device and medium | |
| CN110162512A (zh) | 一种日志检索方法、装置及存储介质 | |
| CN110503408B (zh) | 一种基于自定义配置的业务流程管理系统 | |
| CN114756328A (zh) | 容器云平台巡检方法及装置 | |
| CN117332134A (zh) | 遥感卫星原始数据处理和管理方法、装置、设备及介质 | |
| CN116828039A (zh) | 问卷推送方法、问卷推送装置及电子设备 | |
| CN111240721A (zh) | 一种高速铁路设备软件版本监控方法及系统 | |
| CN111178026A (zh) | 一种实现集客专线运行分析报告的方法 | |
| CN113485742B (zh) | 主机应用版本登记方法及装置 | |
| CN112650815B (zh) | 环境数据的同步方法及装置、存储介质及电子装置 | |
| CN115185841A (zh) | 系统重构测试方法、装置、设备及存储介质 | |
| CN115526650A (zh) | 智慧城市大数据的共享业务信息处理方法及系统 | |
| CN110109959B (zh) | 数据处理方法、装置、服务器和存储介质 | |
| Colazo | Structural changes associated with the temporal dispersion of teams: Evidence from open source software projects | |
| CN102521717A (zh) | 一种配置管理资源库信息统计的方法与装置 | |
| CN116385102B (zh) | 信息推荐方法、装置、计算机设备及存储介质 | |
| CN111356011B (zh) | 电视节目生产监控探针和计算机程序产品 | |
| CN117520646A (zh) | 一种业务推送处理方法及装置 | |
| CN117635086A (zh) | 一种考勤数据管理方法、装置、设备及存储介质 | |
| CN118296141A (zh) | 报告生成方法和装置、处理器及电子设备 | |
| CN117527519A (zh) | 消息推送链路追踪方法、系统、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |