CN115712655A - 数据处理方法、装置、设备、介质及产品 - Google Patents
数据处理方法、装置、设备、介质及产品 Download PDFInfo
- Publication number
- CN115712655A CN115712655A CN202211206025.8A CN202211206025A CN115712655A CN 115712655 A CN115712655 A CN 115712655A CN 202211206025 A CN202211206025 A CN 202211206025A CN 115712655 A CN115712655 A CN 115712655A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- granularity
- application
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种数据处理方法、装置、设备、介质及产品。该数据处理方法包括获取贴源数据;对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;根据预设的目标属性从所述分类结果和所述应用数据中筛选出目标属性对应的目标数据;将所述目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。根据本申请实施例,可以提高用户获取自身需求的数据的效率,以及避免重复开发劳动提高数据开发效率。
Description
技术领域
本申请属于数据处理领域,尤其涉及一种数据处理方法、装置、设备、介质及产品。
背景技术
随着大数据能力和需求的深入发展,对大数据智能分析能力有了更高的要求,而银行业的大数据数量庞大且来源广泛,其中的业务含义复杂多变并且涉及的组件众多,对商业智能分析有着很高的要求。
目前,在进行银行商业智能分析时,为了使得用户能够获取到满足自身需求的数据,开发人员需要根据不同用户的不同需求,来开发不同的数据代码来对数据进行处理。如此,导致开发人员存在较多的重复开发劳动,开发效率较低。另外,用户在从系统上获取自己想要的数据时,数据需要从贴源数据进行处理,经过内部数据处理过程,得到满足用户需求的数据,导致用户想要获取到自身需求的数据的效率较低。
发明内容
本申请实施例提供一种数据处理方法、装置、设备、介质及产品,能够提高用户获取自身需求的数据的效率,以及避免重复开发劳动提高数据开发效率。
第一方面,本申请实施例提供一种数据处理方法,该方法包括:
获取贴源数据;
对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
根据贴源数据的不同应用场景,从各个分类结果中筛选出满足对应不同应用场景需求的应用数据;
根据预设的目标属性从应用数据中筛选出目标属性对应的目标数据;
将目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。
第二方面,本申请实施例提供了一种数据处理装置,该装置包括:
获取模块,用于获取贴源数据;
汇总模块,用于对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
第一筛选模块,根据贴源数据的不同应用场景,从各个分类结果中筛选出满足对应不同应用场景需求的应用数据;
第二筛选模块,用于根据预设的目标属性从应用数据中筛选出目标属性对应的目标数据;
关联模块,用于将目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行所述计算机程序指令时实现如第一方面的任一项实施例中所述的数据处理方法的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的任一项实施例中所述的数据处理方法的步骤。
第五方面,本申请实施例提供了一种计算机程序产品,计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如第一方面的任一项实施例中所述的数据处理方法的步骤。
本申请实施例中的数据处理方法、装置、设备、介质及产品,在接收到用户获取目标数据的请求之前,预先对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;并根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;然后根据预设的目标属性从所述分类结果和所述应用数据中筛选出目标属性对应的目标数据;最后将目标数据关联存储到指标引擎,从而使得不同用户可以基于指标引擎获得满足自身需求的目标数据。如此,指标引擎在获取到用户获取目标数据的请求后,可以直接从该指标引擎上获取到该请求对应的数据,无需经过从贴源数据到目标数据的处理过程,所以,本申请实施例提高了用户获取目标数据的效率。
此外,因该从贴源数据到目标数据的处理过程是不再与用户的需求直接关联,而是在获取用户需求之前的统一数据处理过程,所以只需开发人员开发一套数据处理代码即可,所以减少了开发人员的重复开发劳动,并提高了开发人员的开发效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理方法的流程示意图;
图2是本申请实施例提供的另一种数据处理方法的流程示意图;
图3是本申请实施例提供的又一种数据处理方法的流程示意图
图4是本申请实施例提供的一种数据处理装置的结构示意图;
图5是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅意在解释本申请,而不是限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
基于背景技术部分可知,现有的数据处理方法,想要根据不同的业务场景获取相对应的数据指标,都需要先基于贴源数据进行加工处理,花费了大量时间导致数据时效性差,也需要技术开发人员进行重复劳动。
为了解决上述问题,本申请实施例提供了一种数据处理方法,通过将贴源数据加工处理为目标数据,并将目标数据关联存储到指标引擎,可以使不同用户可以基于指标引擎获得满足自身需求的目标数据,无需经过从贴源数据到目标数据的处理过程,提高了用户获取目标数据的效率。并且从贴源数据到目标数据的处理过程是不再与用户的需求直接关联,而是在获取用户需求之前的统一数据处理过程,所以只需开发人员开发一套数据处理代码即可,减少了开发人员的重复开发劳动,并提高了开发人员的开发效率。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的数据处理方法进行详细地说明。
图1是本申请实施例提供的一种数据处理方法的流程示意图。如图1所示,该数据处理方法具体可以包括如下步骤:
S110、获取贴源数据;
S120、对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
S130、根据贴源数据的不同应用场景,从各个分类结果中筛选出满足对应不同应用场景需求的应用数据;
S140、根据预设的目标属性从分类结果和应用数据中筛选出目标属性对应的目标数据;
S150、将目标数据关联到指标引擎,以使不同用户通过指标引擎获取到目标数据。
下面介绍上述各个步骤的具体实现方式。
在一些实施例中,在S110中,本申请实施例所涉及的贴源数据例如可以是存储在数据仓库贴源层中的从业务系统中获取的最原始的数据,这些数据从数据结构和数据之间的逻辑关系都与业务系统基本保持一致。
作为一种示例,在进行银行商业OLAP数据分析时,与金融系统中的贴源层建立通信连接,通过建立的通信链路,从贴源层中获取贴源数据,该贴源数据例如可以为从金融系统中获取到的原始的用户数据、产品数据、账户数据等。
在一些实施例中,在S120中,本申请实施例所涉及的数据粒度例如可以是多种不同的数据属性,贴源数据中包含了对应多种不同属性特征的汇总表,在进行分类和汇总时根据数据的属性特征进行分类,从用户粒度、产品粒度、账户粒度和事件粒度等属性特征对贴源数据进行划分,得到对应不同属性特征的分类汇总表。其中,贴源数据中例如可以包括用户标识、产品标识、账户标识和事件标识等对应的数据,可以通过标识来对贴源数据进行分类和汇总。
作为一种示例,例如可以将贴源数据以用户粒度、产品粒度、账户粒度和事件粒度来进行划分,可以得到分别与用户标识、产品标识、账户标识和事件标识对应的数据分类汇总表这样的四种汇总结果。
在一些实施例中,在S130中,不同的应用场景需要使用不同属性的数据,因此需要从上述分类结果中根据不同使用场景的需要进行筛选,筛选出满足对应不同使用场景的应用数据,这里的应用场景例如可以是在银行商业数据智能分析中的业务场景。
作为一种示例,例如在需要用户信息的应用场景,在只需要与用户信息对应的数据的情况下,可以从分类结果中只筛选出相应的与用户标识对应的数据。
在一些实施例中,在S140中,根据对各不同属性的数据的调用次数得到可复用性较高的数据属性,并将可用性高的数据属性设置为目标属性,基于目标属性筛选出复用性高的数据。其中,目标属性例如可以是交易额、损失率、盈利率等。
作为一种示例,按照预先设置的复用率较高的属性,从上述得到的分类结果和应用数据两方面的数据根据进行大数据筛选,得到与预设的目标属性对应的目标数据,这样就得到了复用性高的数据指标。
在一些实施例中,在S150中,本申请实施例所涉及到的指标引擎例如可以是具有查看、管理、登记和维护功能的管理平台,可以对其中的数据指标进行管理。
在一些实施例中,将目标数据关联到指标引擎具体可以包括将目标数据存储到与指标引擎对应的存储空间。其中,存储空间例如可以是可对外公开访问的存储空间。
作为一种示例,将经过上述加工处理后得到的复用性高的数据关联存储到与指标引擎对应的存储空间当中,指标引擎可以通过其配置化功能定义数据指标的度量、维度、筛选条件和衍生规则。并且可以对同一数据指标进行同比计算或对不同的数据指标进行运算得到衍生指标和复合指标。同时也可以借助指标引擎完成对数据指标的登记工作。这样用户可以通过访问指标引擎这样的管理平台来选择自己需要使用的数据指标。
由此,通过在接收到用户获取目标数据的请求之前,预先对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;并根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;然后根据预设的目标属性从所述分类结果和所述应用数据中筛选出目标属性对应的目标数据;最后将目标数据关联存储到指标引擎,从而使得不同用户可以基于指标引擎获得满足自身需求的目标数据。如此,指标引擎在获取到用户获取目标数据的请求后,可以直接从该指标引擎上获取到该请求对应的数据,无需经过从贴源数据到目标数据的处理过程,所以,本申请实施例提高了用户获取目标数据的效率。
此外,因该从贴源数据到目标数据的处理过程是不再与用户的需求直接关联,而是在获取用户需求之前的统一数据处理过程,所以只需开发人员开发一套数据处理代码即可,所以减少了开发人员的重复开发劳动,并提高了开发人员的开发效率。
为了更准确的对数据进行分类和汇总,本申请还提供了数据处理方法的另一种实施例。如图2所示,在S120之前还可以包括:
S210、对贴源数据进行格式的预处理和标准化,得到格式化贴源数据。
上述S120具体可以包括:
S220、对处理后的格式化贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果。
在一些实施例中,在S210中,数据仓库先对贴源数据进行格式的预处理和标准化,得到统一格式的贴源数据以便后续使用。
在一些实施例中,在S220中,在一些实施例中,对格式化的贴源数据按照不同的数据属性进行分类和汇总,得到与用户粒度、产品粒度、账户粒度和事件粒度等一一对应的分类结果。
由此,通过对贴源数据进行格式的预处理和标准化,得到统一格式的贴源数据,可以更方便、准确的对贴源数据进行分类和汇总。
为了方便应用数据库能够应用目标数据,本申请还提供了数据处理方法的又一种实施例。如图3所示,在上述S150之后还可以包括:
S310、将存储空间中的目标数据同步到与应用关联的数据库中。
在一些实施例中,上述S310中与应用关联的数据库至少包括clickhouse数据库。
作为一种示例,通过访问目标数据的存储空间,例如可以对可公开的访问存储空间中的目标数据进行相应语句操作,读取并传递目标数据,将目标数据同步到与应用关联的数据库中。
在一些实施例中,本申请实施例所涉及到的与应用关联的数据库例如可以是任何需要使用目标数据的应用平台的数据库,在此不做限定。
作为一种示例,本申请实施例中采用clickhouse数据库作为可视化平台的源数据库,针对典型的OLAP数据分析的场景的关键特征,可以在OLAP场景下只扫描参与计算的列,不参与计算的列完全不会被扫描到。
由此,可以通过将存储空间中的目标数据同步到与应用关联的数据库中实现将目标数据共享给有需要的各应用数据库,使用clickhouse数据库作为可视化平台的源数据库,可以极大程度的降低磁盘IO的消耗,提升计算效率,实现缩短数据可视化加载时间,提高用户使用体验。
上述数据处理方法例如可以应用于银行业的金融数据的处理,具体可以为获取金融数据,对获取的金融数据从交易额、盈利率、损失率等属性进行分类和汇总,从分类结果中筛选出满足贷款、信用评价或理财等不同应用场景的数据指标,并根据复用率较高的数据属性筛选出可复用性高的数据指标,将同一加工处理后的数据存储到可公开访问的数据指标管理平台,对数据指标进行维护、管理和登记,提供给用户使用,用户可以根据需要直接获取数据指标,避免了重复的代码开发劳动。
上述各个实施例仅是一个示例,各实施例之间可以相互组合、相互替换最终形成一个数据处理方法的实施例。
需要说明的是,上述本申请实施例描述的应用场景是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于相同的发明构思,本申请还提供了一种数据处理装置。具体结合图4进行详细说明。
图4是本申请实施例提供的一种数据处理装置的结构示意图。
如图4所示,该数据处理装置400可以包括:
获取模块401,用于获取贴源数据;
汇总模块402,用于对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
第一筛选模块403,根据贴源数据的不同应用场景,从各个分类结果中筛选出满足对应不同应用场景需求的应用数据;
第二筛选模块404,用于根据预设的目标属性从应用数据中筛选出目标属性对应的目标数据;
关联模块405,用于将目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。
下面对上述数据处理装置400进行详细说明,具体如下所示:
在其中一些实施例中,为了得到格式化贴源数据,上述数据处理装置400还可以包括:
处理模块,用于在所述对贴源数据按照数据粒度进行分类和汇总之前,对贴源数据进行格式的预处理和标准化,得到格式化贴源数据;
汇总模块402可以具体用于对处理后的格式化贴源数据按照数据粒度进行分类和汇总。
在一些实施例中,为了对目标数据进行关联存储,上述关联模块405可以包括以下单元:
存储单元,用于将目标数据存储到与指标引擎对应的存储空间。
在一些实施例中,为了使应用数据库能够应用目标数据,上述数据处理装置400还可以包括:
同步装置,用于在将所述目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户后,将存储空间中的目标数据同步到与应用关联的数据库中。
由此,通过在接收到用户获取目标数据的请求之前,预先对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;并根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;然后根据预设的目标属性从所述分类结果和所述应用数据中筛选出目标属性对应的目标数据;最后将目标数据关联存储到指标引擎,从而使得不同用户可以基于指标引擎获得满足自身需求的目标数据。如此,指标引擎在获取到用户获取目标数据的请求后,可以直接从该指标引擎上获取到该请求对应的数据,无需经过从贴源数据到目标数据的处理过程,所以,本申请实施例提高了用户获取目标数据的效率。
此外,因该从贴源数据到目标数据的处理过程是不再与用户的需求直接关联,而是在获取用户需求之前的统一数据处理过程,所以只需开发人员开发一套数据处理代码即可,所以减少了开发人员的重复开发劳动,并提高了开发人员的开发效率。并通过将目标数据同步到与应用关联的数据库,实现将目标数据共享给有需要的各应用数据库。最后通过使用clickhouse数据库作为可视化平台的源数据库,可以极大程度的降低磁盘IO的消耗,提升计算效率,实现缩短数据可视化加载时间,提高用户使用体验。
图5是本申请实施例提供的一种电子设备的结构示意图。
在电子设备500可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地,上述处理器501可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器502可包括硬盘驱动器(Hard Disk Drive,HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus,USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器502可在综合网关容灾设备的内部或外部。在特定实施例中,存储器502是非易失性固态存储器。
在特定实施例中,存储器可包括只读存储器(ROM),随机存取存储器(RAM),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本申请的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的计算机程序指令,以实现上述实施例中的任意一种数据处理方法。
在一些示例中,电子设备500还可包括通信接口503和总线510。其中,如图5所示,处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者,将在线数据流量计费设备的部件彼此耦接在一起。举例来说而非限制,总线510可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
示例性的,电子设备500可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等。
该电子设备500可以执行本申请实施例中的数据处理方法,从而实现结合图1和图4描述的数据处理方法和装置。另外,结合上述实施例中的数据处理方法,本申请实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种数据处理方法。计算机可读存储介质的示例包括非暂态计算机可读存储介质,如便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件等。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本申请的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种数据处理方法,其特征在于,包括:
获取贴源数据;
对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;
根据预设的目标属性从所述分类结果和所述应用数据中筛选出目标属性对应的目标数据;
将所述目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。
2.根据权利要求1所述的方法,其特征在于,在所述对贴源数据按照数据粒度进行分类和汇总之前,所述方法还包括:
对所述贴源数据进行格式的预处理和标准化,得到格式化贴源数据;
所述对贴源数据按照数据粒度进行分类和汇总包括:
对处理后的格式化贴源数据按照数据粒度进行分类和汇总。
3.根据权利要求1所述的方法,其特征在于,所述将所述目标数据关联到指标引擎,包括:
将目标数据存储到与指标引擎对应的存储空间。
4.根据权利要求1所述的方法,其特征在于,所述数据粒度包括用户粒度、产品粒度、账户粒度和事件粒度中的至少一项。
5.根据权利要求1所述的方法,其特征在于,在将所述目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户后,所述方法还包括:
将所述存储空间中的目标数据同步到与应用关联的数据库中。
6.根据权利要求5所述的方法,其特征在于,所述与应用关联的数据库至少包括clickhouse数据库。
7.一种数据处理装置,其特征在于,所述装置包括:
获取模块,用于获取贴源数据;
汇总模块,对贴源数据按照数据粒度进行分类和汇总,得到各个数据粒度下的分类结果;
第一筛选模块,根据所述贴源数据的不同应用场景,从各个所述分类结果中筛选出满足对应不同应用场景需求的应用数据;
第二筛选模块,根据预设的目标属性从所述应用数据中筛选出目标属性对应的目标数据;
关联模块,将所述目标数据关联到指标引擎,以使所述指标引擎在接收到目标用户获取目标数据的请求的情况下,将目标数据共享给目标用户。
8.一种数据处理设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-6任意一项所述的数据处理方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-6任意一项所述的数据处理方法的步骤。
10.一种计算机程序产品,其特征在于,所述计算机程序产品中的指令由电子设备的处理器执行时,使得所述电子设备执行如权利要求1-6任意一项所述的数据处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206025.8A CN115712655A (zh) | 2022-09-30 | 2022-09-30 | 数据处理方法、装置、设备、介质及产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211206025.8A CN115712655A (zh) | 2022-09-30 | 2022-09-30 | 数据处理方法、装置、设备、介质及产品 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115712655A true CN115712655A (zh) | 2023-02-24 |
Family
ID=85230921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211206025.8A Pending CN115712655A (zh) | 2022-09-30 | 2022-09-30 | 数据处理方法、装置、设备、介质及产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115712655A (zh) |
-
2022
- 2022-09-30 CN CN202211206025.8A patent/CN115712655A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110781971B (zh) | 一种商户类型识别方法、装置、设备和可读介质 | |
CN110516173B (zh) | 一种非法网站识别方法、装置、设备及介质 | |
CN111367965B (zh) | 目标对象确定方法、装置、电子设备及存储介质 | |
US20140052497A1 (en) | Correlating location data | |
CN114461644A (zh) | 一种数据采集方法、装置、电子设备及存储介质 | |
CN115222361A (zh) | 业务流程流转方法、装置、设备及计算机存储介质 | |
US20240054110A1 (en) | Method, apparatus and electronic device for creating quantum vehicle model parts basic database, and storage medium | |
CN115712655A (zh) | 数据处理方法、装置、设备、介质及产品 | |
CN112905677A (zh) | 数据处理方法及装置、业务处理系统和计算机设备 | |
CN115269603A (zh) | 数据存储方法、装置、设备、存储介质及程序产品 | |
CN114372072A (zh) | 数据存储方法、装置、设备、计算机存储介质及程序产品 | |
CN112907009B (zh) | 标准化模型的构建方法、装置、存储介质及设备 | |
CN112053236A (zh) | 风险信息识别方法、装置、计算设备和介质 | |
CN112286827B (zh) | 一种软件测试方法、设备、电子设备及存储介质 | |
CN114584616B (zh) | 一种消息推送方法、装置、电子设备及存储介质 | |
CN109285036B (zh) | 物联网业务处理方法、装置及存储介质 | |
CN117194521A (zh) | 潜在对象的挖掘方法、装置、设备、介质及产品 | |
CN110287191B (zh) | 数据对齐方法及装置、存储介质、电子装置 | |
CN112286827A (zh) | 一种软件测试方法、设备、电子设备及存储介质 | |
CN115033534A (zh) | 文件处理方法、装置、设备及计算机可读存储介质 | |
CN115757647A (zh) | 话单处理方法、装置、设备及存储介质 | |
CN117785918A (zh) | 数据处理方法、装置、存储介质、程序产品及电子设备 | |
CN115858531A (zh) | 结构化参数表的配置方法、装置、设备、介质及产品 | |
CN115640290A (zh) | 数据分层方法、装置、设备及计算机存储介质 | |
CN116012157A (zh) | 一种识别虚假交易的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |