CN110032591A - 一种资产大数据智能分析方法 - Google Patents

Abstract

针对现有技术的不足，本发明提供一种资产大数据智能分析方法，综合考量查询需求涉及到的维度，根据查询具体内容分流至不同的路由，从而实现对资产业务整体状况的快速高效查询，同时保证灵活性。为实现以上目的，本发明一种资产大数据智能分析方法，对经过ETL转换后的集成数据集进行多维立方的构建；在多维数据立方中获取满足查询条件的指标数据，并将作为所述查询请求的响应结果。通过这样的方法从资产领域模型和概念模型方面对物理数据模型进行映射，使得业务人员能够自助构建、配置大数据多维模型，并按照纯粹的业务理解来进行优化和查询，避免了业务人员难以理解底层数据的问题。

Description

一种资产大数据智能分析方法

技术领域

本发明涉及产品自动分类方法，具体涉及一种资产大数据智能分析方法。

背景技术

企业的业务及资产系统经过长期的运行，已经积累了大量的结构化和非结构化数据，但这些数据仅是存在于各个孤立的资产信息系统中，并未得到充分利用，数据的价值没有得到深入挖掘。而在对资产资产大数据分析过程中，由于交易数据规模大，业务关联性复杂，现有技术中的数据库往往要对多张数据表进行综合查询，一方面导致在有限硬件资源上查询效率低下，另一方面无法满足对多维数据灵活全面的查询需求。因此，需要一种新的数据存储和分析方法及系统对资产数据快速多维度分析提供有效支撑。

申请号为CN201810581852.2的发明专利《一种基于大数据的无形资产评估方法及系统》中公开了一种一种基于大数据的无形资产评估方法及系统，包括基于大数据监管的资产评估流程优化、基于大数据的资产评估模型设计以及基于大数据的无形资产评估系统设计，基于大数据监管的资产评估流程优化包括单评估方的视角下资产评估流程优化、基于招标形式的多评估方资产评估流程优化以及大数据下资产评估处理流程；基于大数据的资产评估模型设计包括大数据下资产评估体系的分析、大数据下资产评估指标权重设计以及大数据下资产评估模型的建立。本发明提升了无形资产的评估结果可靠性，降低评估差异风险，提升无形资产评估准确性，开发的模块和数据结构可以为无形资产的评估提供更多的参考价值，进一步规范无形资产评估市场。

但是这样的技术方案只是解决了资产总账流程化、规范化，数据库是按照传统的ER设计模型设计，遵循数据库设计中的范式规则，因此数据存储方便及保存数据的一致性、完整性，但不利于多维查询和分析，效率较低。

而现有大数据多维分析方法主要包括：构建多个CUBE，识别各CUBE含义相同的维度名称，建立维度匹配关系表，生成含义相同的维度名称的公用维度名称，用户选择公用维度名称和指标名称，查找到包含用户选择的公用维度和指标的第三CUBE名称集合；生成SQL语句，从第三CUBE名称集合的各CUBE中分别查询数据，将查询结果放入内存中缓存；将查询结果进行拼装，得到结果集，显示结果集对应的图表。有益效果：建立各CUBE的维度匹配关系，用户选择维度和指标查询数据，查询各CUBE中的符合条件的数据并放入内存缓存，再将内存中的数据进行拼装成结果集并以图表展现，实现了跨CUBE的数据查询，效率高、查询方便、不需要人工对信息进行整合。

但此种分析方法在功能上仍以临时计算的方式应对多样化的查询需求，在预计算技术上仅满足历史离线数据查询需求；在易用性上仅面向数据开发人员和对数据较为熟悉的建模人员，为业务人员不够友好。

发明内容

针对现有技术的不足，本发明提供一种资产大数据智能分析方法，综合考量查询需求涉及到的维度，在大数据平台之上讲基于内存计算技术多维分析技术和基于预计算技术的分析技术相结合，根据查询具体内容分流至不同的路由，从而实现对资产业务整体状况的快速高效查询，同时保证灵活性。以概念模型映射到物理数据层的方法，能够给业务人员提供直接面向领域知识查询和建模的能力，使其能够专注于业务价值分析挖掘。

为实现以上目的，本发明通过以下技术方案予以实现：

一种资产大数据智能分析方法，通过资产大数据智能分析系统实现以下步骤：接收资产多维度数据的查询请求，分析资产多维度数据对应的主题类型，并根据主题类型相对应的数据立方由查询请求解析出查询条件，按照经过梳理的资产概念模型，对经过ETL转换后的集成数据集进行多维立方的构建；在多维数据立方中获取满足查询条件的指标数据，并将作为所述查询请求的响应结果；对于在预计算多维立方中已有查询，直接返回结果，对在预先构建的多维立方中没有涉及到的维度和度量，通过查询路由调用内存即席查询模块进行实时计算。

优选的，所述资产多维度数据设置多个主题类型，包括资产交易明细数据、资产设备数据和资产折旧数据。

优选的，所述资产大数据智能分析系统包括依次连接的数据抽取模块，数据加载模块，数据转换模块，查询解析模块，查询路由模块和多维分析模块；数据抽取模块负责从底层原业务系统或指定数据源中获取相应的原始数据；数据加载模块负责将抽取到的数据加载至存储空间或内存中进行计算和存储；数据转换模块将已加载完毕的数据按照特定的计算逻辑和规则进行计算和变换，使其能够按预先设定的模式完成数据集成和重组；查询解析模块负责解析前端收集到的查询语句或查询操作；查询路由模块负责将解析出的维度、度量和筛选条件进行匹配和转发。

优选的，所述多维分析模块包括预设模块、即席查询模块、数据展示模块，预设模块中存储有集成数据、预设维度和预设主题，预设主题是根据实际资产分析应用场景，将资产划分主题存储，如资产主题、应收主题、应付主题、存货主题等；预设维度是根据实际资产分析应用场景，确定维度分析粒度，应优先考虑为业务处理获取最有原子性的信息而开发维度模型，原子型数据是所收集的最详细的信息，这样的数据不能再做更进一步的细分，同时根据实际资产分析应用场景，确定维度构成，对共享维度进行合并，并对各维度定义属性、层次、成员等内容。

优选的，所述查询路由模块对于在预计算过程汇总已生成的多维立方维度组合，直接查询多维立方服务器返回查询结果，对于预计算过程中未包含的维度和度量则将请求发送至即席查询模块在内存中进行实时计算并返回结果。

优选的，数据加载模块中存储计算公式，并且在多维模型构建模块中按照资产概念模型设定相应的维度和度量；数据采集端采集企业原始资产数据，并将采集的数据在数据抽取模块中进行资产数据抽取，然后使用数据清洗模块对不符合规范的基础数据或无效数据进行清理，并将清洗后的各资产数据进行转换加工，以实现统一数据格式的存储，最终将处理后的资产数据加载到数据仓库服务器中；

优选的，数据存储模块将统一格式的资产数据和计算后的资产数据统一按照不同的业务场景进行划分和集成，按照预设的形式组织成多维数据集；将数据存储模块中的集成数据传输到多维查询服务器中，并通过前端概念模型展现方式，解析成对应的查询语句，通过数据查询接口调用多维查询服务器的维度和度量对集成数据进行分析，从而获取相应的多维分析查询结果数据表，然后通过数据展示模块将资产数据以丰富的图表方式展现在门户端，提供决策分析。

优选的，还设有额外功能选择，所述额外功能包括数据源选择功能，用于兼容更多种类和来源的数据；计算引擎设置功能，对于可以预计算的主题选择离线计算引擎在服务器闲时进行批量计算，按照既定模型生成预计算多维立方；对于临时性需求或不适合预计算的实时数据选择用基于内存计算的即席查询引擎临时启动计算任务；数据展现模块，对于查询返回结果按照业务需要展现成不同的图表形式。

本发明通过这样的技术方案，以流程化数据抽取、加载、转化、建模、映射、查询、分析的系统方式，支撑资产业务大数据多维分析场景，解决了以往资产大数据多维分析面临实时性和离线分析相隔离，在内存资源占用和快速查询需求中难以平衡的问题。实现了对不同维度、度量灵活查询的功能。

以面向业务为导向，从资产领域模型和概念模型方面对物理数据模型进行映射，使得业务人员能够自助构建、配置大数据多维模型，并按照纯粹的业务理解来进行优化和查询，避免了业务人员难以理解底层数据的问题。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种资产大数据智能分析方法，通过资产大数据智能分析系统实现以下步骤：在进行资产大数据分析系统研发和使用之前，需要对现有资产主题业务逻辑，元数据信息，数据关联关系，计算逻辑以及展现逻辑进行全面的梳理。在完成基础环境和组件的搭建工作之后，需要将历史数据与数据抽取或数据存储模块记性对接。在多维模型构建阶段，需要按照各个分析主题或场景设定相应的维度和度量，并形成相应的ETL规则或语句，供数据加载和转换模块调用，并为资产概念模型与数据模型进行映射做准备。在多维分析模块中，可对查询结果进行不同种形式的展现，这部分通常按用户需求定制化开发或提供自助分析工具。

接收资产多维度数据的查询请求，分析资产多维度数据对应的主题类型，并根据主题类型相对应的数据立方由查询请求解析出查询条件，按照经过梳理的资产概念模型，对经过ETL转换后的集成数据集进行多维立方的构建；在多维数据立方中获取满足查询条件的指标数据，并将作为所述查询请求的响应结果；对于在预计算多维立方中已有查询，直接返回结果，对在预先构建的多维立方中没有涉及到的维度和度量，通过查询路由调用内存即席查询模块进行实时计算。其中所述资产多维度数据设置多个主题类型，包括资产交易明细数据、资产设备数据和资产折旧数据。

具体过程为：所述资产大数据智能分析系统包括依次连接的数据抽取模块，数据加载模块，数据转换模块，查询解析模块，查询路由模块和多维分析模块；数据抽取模块负责从底层原业务系统或指定数据源中获取相应的原始数据；数据加载模块负责将抽取到的数据加载至存储空间或内存中进行计算和存储；数据转换模块将已加载完毕的数据按照特定的计算逻辑和规则进行计算和变换，使其能够按预先设定的模式完成数据集成和重组；查询解析模块负责解析前端收集到的查询语句或查询操作；查询路由模块负责将解析出的维度、度量和筛选条件进行匹配和转发。查询解析模块负责解析前端收集到的查询语句或查询操作；查询路由模块负责将解析出的维度、度量和筛选条件进行匹配和转发，对于在预计算过程汇总已生成的多维立方维度组合，直接查询多维立方服务器返回查询结果，对于预计算过程中未包含的维度和度量则将请求发送至即席查询模块在内存中进行实时计算并返回结果。多维分析模块包括预设模块、即席查询模块、数据展示模块，预设模块中存储有集成数据、预设维度和预设主题，预设主题是根据实际资产分析应用场景，将资产划分主题存储，如资产主题、应收主题、应付主题、存货主题等；预设维度是根据实际资产分析应用场景，确定维度分析粒度，应优先考虑为业务处理获取最有原子性的信息而开发维度模型，原子型数据是所收集的最详细的信息，这样的数据不能再做更进一步的细分，同时根据实际资产分析应用场景，确定维度构成，对共享维度进行合并，并对各维度定义属性、层次、成员等内容。

工作时，在数据加载模块中存储计算公式，并且在多维模型构建模块中按照资产概念模型设定相应的维度和度量；

数据采集端采集企业原始资产数据，并将采集的数据在数据抽取模块中进行资产数据抽取，然后使用数据清洗模块对不符合规范的基础数据或无效数据进行清理，并将清洗后的各资产数据进行转换加工，以实现统一数据格式的存储，最终将处理后的资产数据加载到数据仓库服务器中；

数据存储模块将统一格式的资产数据和计算后的资产数据统一按照不同的业务场景进行划分和集成，按照预设的形式组织成多维数据集；

将数据存储模块中的集成数据传输到多维查询服务器中中，并通过前端概念模型展现方式，解析成对应的查询语句，通过数据查询接口调用多维查询服务器的维度和度量对集成数据进行分析，从而获取相应的多维分析查询结果数据表，然后通过数据展示模块将资产数据以丰富的图表方式展现在门户端，提供决策分析。

根据实际使用的情况，还可以设有额外功能选择，所述额外功能包括数据源选择功能，用于兼容更多种类和来源的数据；计算引擎设置功能，对于可以预计算的主题选择离线计算引擎在服务器闲时进行批量计算，按照既定模型生成预计算多维立方；对于临时性需求或不适合预计算的实时数据选择用基于内存计算的即席查询引擎临时启动计算任务；数据展现模块，对于查询返回结果按照业务需要展现成不同的图表形式。

在资产大数据多维分析系统中综合考量了预计算多维立方和实时计算多维立方两种形式，并按照不同业务查询需要对查询语句进行路由。以最小化计算资源开销满足大批量数据的快速、高效、灵活的多维分析。

在资产多维立方模型构建过程中，从资产领域模型和概念模型出发，映射到物理数据模型，可实现业务人员按照对业务的直观理解手动或自动配置多维模型的维度、度量、层级关系，只需要按照对业务的理解直接以拖拉拽的方式进行建模和查询，不用面临难以理解底层数据的问题。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种资产大数据智能分析方法，其特征在于：通过资产大数据智能分析系统实现以下步骤：接收资产多维度数据的查询请求，分析资产多维度数据对应的主题类型，并根据主题类型相对应的数据立方由查询请求解析出查询条件，按照经过梳理的资产概念模型，对经过ETL转换后的集成数据集进行多维立方的构建；在多维数据立方中获取满足查询条件的指标数据，并将作为所述查询请求的响应结果；对于在预计算多维立方中已有查询，直接返回结果，对在预先构建的多维立方中没有涉及到的维度和度量，通过查询路由调用内存即席查询模块进行实时计算。

2.如权利要求1所述的一种资产大数据智能分析方法，其特征在于：所述资产多维度数据设置多个主题类型，包括资产交易明细数据、资产设备数据和资产折旧数据。

3.如权利要求1所述的一种资产大数据智能分析方法，其特征在于：所述资产大数据智能分析系统包括依次连接的数据抽取模块，数据加载模块，数据转换模块，查询解析模块，查询路由模块和多维分析模块；数据抽取模块负责从底层原业务系统或指定数据源中获取相应的原始数据；数据加载模块负责将抽取到的数据加载至存储空间或内存中进行计算和存储；数据转换模块将已加载完毕的数据按照特定的计算逻辑和规则进行计算和变换，使其能够按预先设定的模式完成数据集成和重组；查询解析模块负责解析前端收集到的查询语句或查询操作；查询路由模块负责将解析出的维度、度量和筛选条件进行匹配和转发。

4.如权利要求3所述的一种资产大数据智能分析方法，其特征在于：所述多维分析模块包括预设模块、即席查询模块、数据展示模块，预设模块中存储有集成数据、预设维度和预设主题，预设主题是根据实际资产分析应用场景，将资产划分主题存储，如资产主题、应收主题、应付主题、存货主题等；预设维度是根据实际资产分析应用场景，确定维度分析粒度，应优先考虑为业务处理获取最有原子性的信息而开发维度模型，原子型数据是所收集的最详细的信息，这样的数据不能再做更进一步的细分，同时根据实际资产分析应用场景，确定维度构成，对共享维度进行合并，并对各维度定义。内容。

5.如权利要求4所述的一种资产大数据智能分析方法，其特征在于：所述查询路由模块对于在预计算过程汇总已生成的多维立方维度组合，直接查询多维立方服务器返回查询结果，对于预计算过程中未包含的维度和度量则将请求发送至即席查询模块在内存中进行实时计算并返回结果。

6.如权利要求5所述的一种资产大数据智能分析方法的使用方法，其特征在于：数据加载模块中存储计算公式，并且在多维模型构建模块中按照资产概念模型设定相应的维度和度量；数据采集端采集企业原始资产数据，并将采集的数据在数据抽取模块中进行资产数据抽取，然后使用数据清洗模块对不符合规范的基础数据或无效数据进行清理，并将清洗后的各资产数据进行转换加工，以实现统一数据格式的存储，最终将处理后的资产数据加载到数据仓库服务器中。

7.如权利要求5所述的一种资产大数据智能分析方法的使用方法，其特征在于：数据存储模块将统一格式的资产数据和计算后的资产数据统一按照不同的业务场景进行划分和集成，按照预设的形式组织成多维数据集；将数据存储模块中的集成数据传输到多维查询服务器中，并通过前端概念模型展现方式，解析成对应的查询语句，通过数据查询接口调用多维查询服务器的维度和度量对集成数据进行分析，从而获取相应的多维分析查询结果数据表。

8.如权利要求1所述的一种资产大数据智能分析方法的使用方法，其特征在于：还设有额外功能选择，所述额外功能包括数据源选择功能；计算引擎设置功能；数据展现模块。