CN114254170A - 一种数据处理方法、系统、电子设备以及存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、系统、电子设备以及存储介质，所述数据处理方法应用于多维度业务场景，所述业务场景的实现包括：源数据处理、需求功能开发、需求功能测试、以及需求功能展示，所述数据处理方法包括：对源数据库进行预处理；根据对源数据库进行预处理构建初始中间表；对所述初始中间表进行测试，验证初始中间表逻辑，并建立中间表；利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果；以及利用所述中间表，验证所述需求功能展现结果。用以解决现有技术在多维度业务场景下，直接从原始数据库中获取数据而导致便利性较低和功能实现性能不稳定的技术问题。

Description

一种数据处理方法、系统、电子设备以及存储介质

技术领域

本申请涉及数据分析领域，具体而言，涉及一种数据处理方法、系统、电子设备以及计算机可读存储介质。

背景技术

在数据分析活动中，通常会遇到大量不同类型的数据，这些数据之间具备各种一对多或多对多的关联性，数据的分析往往需要从不同的维度进行，在应对多维度的业务场景时，所需要的数据量往往较为庞大。

在现有的技术方案中，为应对多维度的业务场景，在实现相应业务场景所需功能时，数据的获取来源是通过原始的数据库，原始的数据库缺乏对数据的整理，会导致相应业务场景功能的开发阶段、相应业务场景功能实现后的测试阶段、以及相应业务场景功能的对外展示都面临因数据量庞大，数据繁杂而造成的开发费时、开发便利性较低的问题。

发明内容

本申请实施例的目的在于提供一种数据处理方法，用以解决现有技术在多维度业务场景下，直接从原始数据库中获取数据而导致便利性较低和功能实现性能不稳定的技术问题。

为了实现上述目的，本申请实施例所提供的技术方案如下所示：

第一方面，本申请实施例提供一种数据处理方法。

本申请第一方面的实施例提供一种数据处理方法，所述数据处理方法应用于多维度业务场景，所述业务场景的实现包括：源数据处理、需求功能开发、需求功能测试、以及需求功能展示，所述数据处理方法包括：对源数据库进行预处理；根据对源数据库进行预处理构建初始中间表；对所述初始中间表进行测试，验证初始中间表逻辑，并建立中间表；利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果；以及利用所述中间表，验证所述需求功能展现结果。

在本实施例中，核心在于对中间表的利用，中间表是数据库中专门存放中间结果的数据表，中间表在数据处理的过程中，通常作为原始数据与对数据进行处理分析的最终结果中间的过渡。多维度业务场景的实现需要经过源数据处理、需求功能开发、需求功能测试、以及需求功能展示四个阶段，所述数据处理方法应用于这四个阶段中。所述数据处理方法首先对源数据库进行预处理，随后根据对源数据库进行预处理的结果构建出初始的中间表，初始中间表构建完成后，需要对初始中间表进行测试，验证初始中间表的逻辑是否正确，测试和验证步骤完成后，实现中间表的建立。随后利用所述的中间表，实现功能开发，这样的功能开发是对所需求的功能的实现进行开发，从而能够展现所需求的功能所需要实现的展现效果。最后，则是利用中间表，对需求功能所展现的结果进行验证，实现对功能的验收。本技术方案可以利用中间表实现在多维度业务场景的功能开发、测试和展示阶段的便利性增强以及性能的提升。

进一步地，所述对源数据库进行预处理，包括：对所述源数据库进行查询，获取源数据属性信息；根据所述源数据属性对源数据进行维度分类，并确定源数据之间的关联情况。

在本实施例中，对源数据进行预处理首先是对源数据库进行基本的查询，确定源数据的各类属性信息，随后根据源数据的属性信息对源数据进行相应的维度分类，并确定各维度分类下，不同数据之间的关联情况。本技术方案可以实现对大量原始数据的初步整理和分类，并初步确定数据间的内在联系。

进一步地，所述根据对源数据库进行预处理构建初始中间表，包括：收集所述业务场景的初始需求功能以及初始需求功能的展示形式；根据所述源数据的维度分类结果、源数据之间的关联情况、初始需求功能以及其展示形式，建立中间数据存储及查询逻辑；根据所述中间数据存储及查询逻辑建立初始中间表。

在本实施例中，当源数据库中数据被预处理后，需要利用预处理的结果来进行初始中间表的建立，在本实施例中，所建立的为初始中间表。在初始中间表的建立过程中，首先收集所述业务场景在初始状态下的初始需求功能，并收集所述初始需求功能的展示形式，随后根据由预处理阶段所获取的源数据维度分类的结果、源数据的关联情况，并结合初始需求功能和其展示形式，来建立中间数据的存储和查询的逻辑。接着，根据建立的中间数据的存储和查询的逻辑，建立初始中间表。本技术方案可以建立中间表的存储及查询逻辑，实现初始中间表的构建。

进一步地，所述对所述初始中间表进行测试，验证初始中间表逻辑，并建立中间表，包括：利用源数据库中的数据，对所述初始中间表的存储及查询逻辑正确性进行验证判断，若判断所述初始中间表的存储及查询逻辑正确，则建立中间表。

在本实施例中，需要对由上一步建立的初始中间表进行测试，从而建立中间表。在对初始中间表进行测试和逻辑验证的过程中，首先需要利用源数据库中的数据，对所述初始中间表的存储及查询的逻辑的正确性进行验证判断，当判断所述初始中间表的存储逻辑和查询逻辑正确时，则初始中间表测试验证通过，建立中间表。本技术方案可以实现对初始中间表的逻辑进行验证，保证建立的中间表的存储及查询逻辑正确。

进一步地，所述利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果，包括：收集所述需求功能，并根据所述需求功能确定其展示形式；从所述中间表中获取经预处理并由中间表存储的数据；利用从所述中间表中获取的数据进行开发，所述开发使得所述需求功能以所述展示形式展现。

在本实施例中，在建立好中间表后，需要利用所述中间表实现所需求的功能的开发，开发后获得所需求功能的展现结果。在具体开发实施中，首先对所述的需求功能进行收集，并确定所述的需求功能所需要的展示形式。随后，在开发过程中，从已建立好的中间表中获取经预处理的数据，这些经预处理的数据是由中间表存储的。接着，利用从中间表中获取的相应数据，就可以作为功能开发的数据来源，从而进行开发，开发完成后，所的需求功能就以所需要的展示形式进行展现。本技术方案可以实现利用中间表对需求的功能完成开发。

进一步地，所述利用所述中间表，验证所述需求功能展现结果，包括：从所述中间表获取数据，将所述中间表的数据与以所述展示形式展现的数据进行比对，若两者之间无误差，则判断所述需求功能开发展示的开发结果通过测试。

在本实施例中，需要对功能开发所实现的功能进行验证，确认功能开发满足所述需求，因此，在本实施例中，从中间表中获取相应的数据，将获取的数据与经过功能开发并展现的数据进行比对，当比对两者的数据之间无误差时，则判断所述的需求功能开发通过测试。本技术方案可以实现对所需求功能进行开发后的开发效果验证，确保功能开发按照所需进行。

进一步地，所述方法还包括：在所述多维度业务场景变更时，更改中间数据存储及查询逻辑，对中间表进行更新。

在本实施例中，当多维度业务场景发生变动的时候，即所需求的功能发生了变动，则需要根据新变动的业务场景及其需求，完成对中间数据存储和查询的逻辑的更改，从而实现对中间表的更新。本技术方案实现了在多维度业务场景面临动态变化时的实时有效调整。

第二方面，本申请实施例提供一种数据处理系统，所述数据处理系统应用于多维度业务场景，所述业务场景包括：源数据处理、需求功能开发、需求功能测试、以及需求功能展示，所述数据处理系统包括：预处理模块，对源数据库进行预处理；中间表构建模块，根据对源数据库进行预处理构建初始中间表，并对所述初始中间表进行测试，验证初始中间表逻辑，建立中间表；开发模块，利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果；以及测试模块，利用所述中间表，验证所述需求功能展现结果。

在本实施例中，多维度业务场景的实现需要经过源数据处理、需求功能开发、需求功能测试、以及需求功能展示四个阶段，所述数据处理系统应用于这四个阶段中。所述数据处理系统，首先由预处理模块对源数据库进行预处理，随后由中间表构建模块根据对源数据库进行预处理的结果构建出初始的中间表，初始中间表构建完成后，需要由中间表构建模块对初始中间表进行测试，验证初始中间表的逻辑是否正确，测试和验证步骤完成后，实现中间表的建立。随后由开发模块利用所述的中间表，实现功能开发，这样的功能开发是对所需求的功能的实现进行开发，从而能够展现所需求的功能所需要实现的展现效果。最后，则是由测试模块利用中间表，对需求功能所展现的结果进行验证，实现对功能的验收。本技术方案可以利用中间表实现在多维度业务场景的功能开发、测试和展示阶段的便利性增强以及性能的提升。

进一步地，预处理模块对源数据进行预处理首先是对源数据库进行基本的查询，确定源数据的各类属性信息，随后根据源数据的属性信息对源数据进行相应的维度分类，并确定各维度分类下，不同数据之间的关联情况。本技术方案可以实现对大量原始数据的初步整理和分类，并初步确定数据间的内在联系。

进一步地，当源数据库中数据被预处理后，需要由中间表构建模块利用预处理的结果来进行初始中间表的建立，在本实施例中，所建立的为初始中间表。在初始中间表的建立过程中，首先收集所述业务场景在初始状态下的初始需求功能，并收集所述初始需求功能的展示形式，随后根据由预处理阶段所获取的源数据维度分类的结果、源数据的关联情况，并结合初始需求功能和其展示形式，来建立中间数据的存储和查询的逻辑。接着，根据建立的中间数据的存储和查询的逻辑，建立初始中间表。本技术方案可以建立中间表的存储及查询逻辑，实现初始中间表的构建。

进一步地，中间表构建模块对由上一步建立的初始中间表进行测试，从而建立中间表。在对初始中间表进行测试和逻辑验证的过程中，首先需要利用源数据库中的数据，对所述初始中间表的存储及查询的逻辑的正确性进行验证判断，当判断所述初始中间表的存储逻辑和查询逻辑正确时，则初始中间表测试验证通过，建立中间表。本技术方案可以实现对初始中间表的逻辑进行验证，保证建立的中间表的存储及查询逻辑正确。

进一步地，在建立好中间表后，需要由开发模块利用所述中间表实现所需求的功能的开发，开发后获得所需求功能的展现结果。在具体开发实施中，首先对所述的需求功能进行收集，并确定所述的需求功能所需要的展示形式。随后，在开发过程中，从已建立好的中间表中获取经预处理的数据，这些经预处理的数据是由中间表存储的。接着，利用从中间表中获取的相应数据，就可以作为功能开发的数据来源，从而进行开发，开发完成后，所的需求功能就以所需要的展示形式进行展现。本技术方案可以实现利用中间表对需求的功能完成开发。

进一步地，由测试模块对功能开发所实现的功能进行验证，确认功能开发满足所述需求，因此，在本实施例中，从中间表中获取相应的数据，将获取的数据与经过功能开发并展现的数据进行比对，当比对两者的数据之间无误差时，则判断所述的需求功能开发通过测试。本技术方案可以实现对所需求功能进行开发后的开发效果验证，确保功能开发按照所需进行。

进一步地，当多维度业务场景发生变动的时候，即所需求的功能发生了变动，则需要根据新变动的业务场景及其需求，完成对中间数据存储和查询的逻辑的更改，从而实现对中间表的更新。本技术方案实现了在多维度业务场景面临动态变化时的实时有效调整。

第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器和总线；所述处理器和所述存储器通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如第一方面中的方法。

第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面中的方法。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举本申请实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为一种优选的业务场景实现步骤图；

图2为本申请实施例提供的数据处理方法步骤示意图；

图3为本申请实施例提供的预处理步骤图；

图4为本申请实施例提供的初始中间表构建步骤图；

图5为本申请实施例提供的开发步骤图；

图6本申请实施例提供的数据处理系统整体示意图；以及

图7为本申请实施例提供的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为一种优选的业务场景实现步骤图，其反映了当前大部分的开发流程。在图1中，业务场景实现的具体步骤包括：

步骤101：源数据处理。业务场景的实现主要是将复杂的数据进行处理后以所需求的形式进行展示，因此在业务场景实现的过程中，需要对源数据进行处理，源数据在这里是作为进行后续业务场景实现的基础数据。

步骤102：需求功能开发。在获取到经处理后的源数据后，业务场景功能的实现通常需要利用源数据进行相应的代码开发，从而将数据以所需求的业务场景，在所需求的展示下，在需求的展示维度下进行展现。

步骤103：需求功能测试。在代码开发以基本的需求功能后，为了保证需求功能达到了所需要展示的效果，且数据在源数据处理和需求功能开发的阶段没有误差，需要对开发出的基本功能进行测试，确保开发出的需求功能是符合要求的。

步骤104：需求功能展示。当需求功能开发完成并通过相应的测试验收后，将数据以需求功能所要求的形式进行展示。

图2为本申请实施例提供的数据处理方法步骤示意图。

请参见图2，图2示出了本申请数据处理方法的具体执行步骤。所述数据处理方法的执行步骤包括：

步骤201：对源数据库进行预处理。

源数据库的预处理主要是对于源数据库中的数据进行提前的分析处理。

步骤202：根据对源数据库进行预处理构建初始中间表。

在对源数据库的数据进行预处理后，根据对源数据库数据的预处理结果，构建出初始的中间表，初始的中间表是作为中间表的一个未经测试验证的形态而存在，具有与中间表相同的功能，但由于还未经过测试验证，故初始中间表的逻辑可能有错误，因此不能将初始中间表与中间表等同。

步骤203：对初始中间表进行测试，验证初始中间表逻辑，并建立中间表。

在本步骤中，由于在步骤202中已经得到了初始中间表，为了使得初始中间表能够转化为中间表，需要在本步骤中对初始中间表进行测试验证，根据测试验证的结果来对中间表进行建立。

步骤204：利用中间表，在需求功能开发的阶段对需求功能展示的实现进行开发，获取所述需求功能的展现结果。

在本步骤中，由于已经在步骤203中对中间表进行了建立，因此在此阶段的开发所取用的数据可以直接来源于中间表。在本步骤中，可以减少从源数据库直接取数据的要求，从中间表取数据，数据经过处理，在本步骤中，通过相应的开发，将所需要功能进行实现。

步骤205：利用中间表，验证所述需求功能展现效果。

在本步骤中，是将由步骤204的开发过程所实现的效果进行验证，步骤204所对需求功能进行实现后，由步骤205进行相应的功能验证，确保所实现的功能与想要的需求功能之间没有偏差，这里的偏差指的主要是在功能展示过程中所展示的数据是否是基于正确的计算逻辑所得到的正确结果。

图3为本申请实施例提供的预处理步骤图。

请参见图3，图3示出了在数据预处理阶段，所需要执行的步骤图，在预处理阶段，对所述源数据库进行查询，获取源数据属性信息，根据所述源数据属性对源数据进行维度分类，并确定源数据之间的关联情况。

步骤301：对源数据库进行查询，获取源数据属性信息。

在本步骤中，源数据库中存储的数据为原始数据，在复杂的业务需求下，原始数据是多种多样，包含众多种类的，因此在本步骤，首先需要对各种原始数据进行相应查询，获取到不同数据其自身所对应的属性相关信息，属性信息可以理解为表示对应的数据所记录的内容属于哪一类信息。

步骤302：根据源数据属性对源数据进行维度分类，并确定源数据之间的关联情况。

在本步骤中，由于在步骤301中已经获得了各数据的属性信息，可以根据相应的属性信息对数据进行维度分类，即将各属性信息按照其属性的不同划分为不同的统计维度，再根据相应的维度进行划分。数据之间并非是独立的，每一个数据都可能会受到其他一个或多个数据的影响，每一个数据也可能会影响到其他一个或多个数据，数据之间具备一定的关联情况，因此在本步骤中，还需要对源数据之间的关联情况进行确认。

在一个优选的实施例中，例如在能源相关的平台数据，原始数据可以是不同能源种类的用量、不同能源种类的存量，也可以是不同能源种类在不同使用场景例如航空、工业等场景的使用量，也可以是同一种类能源在不同地区的使用量，对于相应数据的统计，可以从能源品种的角度，可以从时间的角度，也可以从企业规模的角度，上述不同的统计角度可以视作不同的维度。

在一个优选的实施例中，以能源相关的平台数据为例，例如当某个企业对某一种能源的消耗量增加后，如果该种能源的生产总量不变，那么其他企业对该种能源的消耗量就可能会减少，该种能源的存量也可能会有变化，上述关系就是源数据之间的关联情况的一个举例。

图4为本申请实施例提供的初始中间表构建步骤图。

请参见图4，图4示出了当对源数据库进行预处理后，根据预处理结果进行初始中间表的建立的步骤图。

步骤401：收集业务场景的初始需求功能以及初始需求功能的展示形式。在步骤401中，首先对业务场景的初始需求功能进行收集，源数据库中收集了各类原始数据，对于这些原始数据的利用有多种多样的需求，而且这些需求是在不断地变化中，初始功能需求就是这些需求中最初始最基本的部分，初始功能需求可以作为这些变化的需求的基础，即为最简单的一类功能需求。需求功能要以一定的形式展示，因此在收集初始需求功能的同时，也要收集到初始需求功能的展示形式。

步骤402：根据源数据的维度分类结果、源数据之间的关联情况、初始需求功能以及其展示形式，建立中间数据存储及查询逻辑。

在数据预处理阶段，已经获取了源数据的属性信息并对源数据进行了维度分类，并且确定了源数据之间的关联情况，在步骤401中，也收集到了业务场景的初始需求功能以及初始需求功能的展示形式，利用上述获取的信息，完成中间数据存储及查询逻辑。源数据之间具有一定的相关性，通过一些简单的计算，可以得到某个属性的源数据与其他某个或某些源数据之间的数值关系，也可以利用某些源数据进行计算，得到某个新的属性数据，利用这些数值关系，可以形成中间数据的查询逻辑，将这些数据按照一定规则进行存放，则可以形成中间数据的存储逻辑。

在一个优选的实施例中，以能耗消耗的相关记录平台为例，单位工业增加值能耗等于综合能源消费量除以工业总产值，这里的单位工业增加值能耗就相当于新的属性数据，而综合能源消费量和工业总产值相除，就相当于对某些源数据进行计算。

步骤403：根据中间数据存储及查询逻辑建立初始中间表。

在步骤403中，由于在步骤402中，已经建立好了中间数据的存储及查询逻辑，众多的中间数据会形成多种多样的存储及查询逻辑，初始中间表包括了对相应的众多存储及查询逻辑进行的汇总。

进一步的，在建立好初始中间表后，需要对初始中间表进行相应的测试，测试的目的是验证初始中间表的逻辑是否正确。在测试的过程中，首先利用源数据库中的数据，不经过预处理，而直接进行相应的计算和处理，判断相应的计算逻辑是否正确，数据之间的关系是否正确，计算结果是否符合期望。若满足上述条件，则判断初始中间表的逻辑正确，初始中间表通过测试验证，通过测试验证的初始中间表变化为中间表。中间表经过了验证，功能稳定。

图5为本申请实施例提供的开发步骤图。

请参见图5，图5示出了开发阶段的步骤图，在中间表建立完善后，每当应对到不同的功能需求时，就可以根据中间表完成对相应功能需求的开发实现，并将相应功能进行展现。由于中间表已将大量的原始数据进行了处理和整理，因此数据量相比从源数据库取数据而言大幅减少，另一方面，当中间表建立后，在开发的过程中若遇到相同的业务需求，则可以直接从中间中获取数据，而并非像在建立中间表之前的开发过程一样，对相同的业务需求有多种开发逻辑，从而使得开发过程所需要存储的开发逻辑变得简单，从而使得开发过程中代码和开发逻辑需要被保存的内容减少，节省了相应的存储空间。

步骤501：收集需求功能，并根据需求功能确定其展现形式。

首先对业务场景所需要实现的功能进行收集，确定需要对外展示的数据类型，并且收集相应数据对外展示时所需要的表现形态，例如某个数据在看板上显示，是否需要同时展示与其相关联的数据，与其相关联的数据是部分展示还是全部展示，若数据是动态变化的，在展示的过程中需要多久更新一次，这些都是属于在本步骤需要收集到的需求功能及其展示形式。

步骤502：从中间表获取经预处理并由中间表存储的数据。

当确定好需求功能及其展示形式后，从中间表中获取数据，由于中间表已经建立好了相应的数据查询和存储逻辑，因此从中间表可以获取到相应经过处理的数据，这些数据已经被按照维度进行了分类，也明确了数据之间的关联情况，同时也事先进行了相应的计算，得到某个属性的源数据与其他某个或某些源数据之间的数值关系，或利用某些源数据进行计算，得到某个新的属性数据，步骤502就是从中间表中获得这些相应的数据，包括数据所附带的属性信息和关联信息等。

在一个优选的实施例中，获取数据的来源可以是中间表与源数据库结合，对于经过处理的一些复杂数据，可以从中间表中获取，对于一些简单的基础数据，可以直接从源数据库获取。

步骤503：利用从中间表获取的数据进行开发，使得需求功能以所述展现形式展现。

在步骤503中，进行开发过程，由于在步骤501已经获得了相应的需求功能及其展示形式的要求，并在步骤502中通过中间表中获取了相应的数据，在步骤503就利用相应的数据完成相应的需求功能及其展示形式的实现。

进一步的，开发完成后，需要对功能开发所实现的功能进行验证，确认功能开发满足所述需求，因此，从中间表中获取相应的数据，将获取的数据与经过功能开发并展现的数据进行比对，当比对两者的数据之间无误差时，则判断所述的需求功能开发通过测试。由于中间表已将大量的原始数据进行了处理和整理，因此数据量相比从源数据库取数据而言大幅减少，另一方面，当中间表建立后，在验证测试的过程中若遇到相同的业务需求，则可以直接从中间中获取数据，而并非像在建立中间表之前的验证测试过程一样，对相同的业务需求有多种测试逻辑，从而使得测试过程所需要存储的测试逻辑变得简单，从而使得测试过程中代码和测试逻辑需要被保存的内容减少，节省了相应的存储空间。

在一个优选的实施例中，由于中间表已将大量的原始数据进行了处理和整理，因此数据量相比从源数据库取数据而言大幅减少，因此当相应需求功能完成开发和测试验证后，在相应的需求功能展示阶段，所需要调用的数据量减少，需要的计算步骤也减少，因此需求功能页面展示的性能也被提升。

进一步的，当多维度业务场景发生变动的时候，即所需求的功能发生了变动，则需要根据新变动的业务场景及其需求，完成对中间数据存储和查询的逻辑的更改，在更改的过程中，可能涉及到新的属性数据的加入，不同属性数据之间新的关系的产生，以及计算方式的改变等，对中间数据查询和存储逻辑进行更改从而实现对中间表的更新。

在一个优选的实施例中，以能源相关的监测平台为例，对利用中间表进行数据处理以及业务开发进行进一步地说明。

能源监测平台，即原始数据库记录了多种多样的数据，例如A发电厂在10月份的火力发电量、B发电站在9月的水力发电量，C煤矿企业在10月的煤炭产量、甲制造企业在11月的电量消耗量、乙钢铁企业在11月的煤炭消耗量、本市11月的电量消耗量、本市11月的煤炭剩余存量等数据。

首先，在预处理阶段，对相关的数据进行预处理，就是对于能源监测平台所监测的数据进行属性查询，例如A发电厂在10月份的火力发电量数据的属性就是按月度统计的单个火力发电单位的电量提供量，当数据的属性被明确后，随后根据相关的属性进行分类，例如A发电厂在10月份的火力发电量、B发电站在9月的水力发电量，就可以被分类为单个单位按月统计的发电量维度，随后可以确定这些数据之间的关联情况，例如A发电厂在10月份的火力发电量增加，那么就有可能导致该市当月的发电总量增加，这就是数据之间的关联情况。

随后开始构建初始中间表，首先收集初始功能需求及其展示形式，例如需要将某市每天的电力剩余量进行展示，且要求每天进行一次更新，这就是初始的需求功能，随后对中间数据存储及查询逻辑进行建立，例如单位工业增加值能耗等于综合能源消费量除以工业总产值，上述计算就是一种简单的中间数据逻辑，根据相应的数据存储及查询逻辑就可以建立初始中间表。根据这样的计算，可以利用中间表轻易得到单位工业增加值能耗的相关数据。

初始中间表建立后，可以从原始数据中取一些不同时期综合能源消费量和工业总产值，进行相应计算，判断在中间表中存储的相关单位工业增加值能耗是否正确，以此为例，判断出初始中间表的逻辑是否正确，从而建立中间表。当中间表建立好后，就可以根据中间表数据进行更复杂功能的展现，例如想要知道某市过去十年人均生产总值与单位工业增加值的变化关系，这样的变化的展示具体到每一季度，就可以从中间表中直接取得单位工业增加值数据，再取得人均生产总值的变化数据，进行开发从而实现相应功能的展示。

在相应功能展示之前，需要对开发的结果进行测试验证，可以在中间表中随机取得一些年份季度的单位工业增加值数据和人均生产总值，验证相关数据在开发后的展示页面中是否是符合相应逻辑的，若符合，则相关的开发通过测试，可以对外进行展示。中间表是可以进行更新的，例如当一家新的水电站开始投入运营，并指定只给某家企业供电，则可以根据这家水电站和企业的相应关联在中间表中进行更新。

图6本申请实施例提供的数据处理系统整体示意图。

请参见图6，图6示出了数据处理系统600，包括预处理模块601、中间表构建模块603、开发模块605以及测试模块607。

模块601：预处理模块。预处理模块主要是对于源数据库中的数据进行提前的分析处理。

模块603：中间表构建模块。

在对源数据库的数据进行预处理后，中间表构建模块603根据对源数据库数据的预处理结果，构建出初始的中间表，初始的中间表是作为中间表的一个未经测试验证的形态而存在，具有与中间表相同的功能，但由于还未经过测试验证，故初始中间表的逻辑可能有错误，因此不能将初始中间表与中间表等同。

在本模块，由于在中间表构建模块603中已经得到了初始中间表，为了使得初始中间表能够转化为中间表，需要在本模块中继续对初始中间表进行测试验证，根据测试验证的结果来对中间表进行建立。

模块605：开发模块。

在本步骤中，由于已经在模块603中对中间表进行了建立，因此在此阶段的开发所取用的数据可以直接来源于中间表。在本模块中，可以减少从源数据库直接取数据的要求，从中间表取数据，数据经过处理，通过相应的开发，将所需要功能进行实现。

模块607：测试模块。

在本模块中，是将由开发模块605的开发过程所实现的效果进行验证，开发模块605所对需求功能进行实现后，由测试模块607进行相应的功能验证，确保所实现的功能与想要的需求功能之间没有偏差，这里的偏差指的主要是在功能展示过程中所展示的数据是否是基于正确的计算逻辑所得到的正确结果。

进一步的，预处理模块601中，源数据库中存储的数据为原始数据，在复杂的业务需求下，原始数据是多种多样，包含众多种类的，因此在本步骤，首先需要对各种原始数据进行相应查询，获取到不同数据其自身所对应的属性相关信息，属性信息可以理解为表示对应的数据所记录的内容属于哪一类信息。由于在预处理模块601中已经获得了各数据的属性信息，可以根据相应的属性信息对数据进行维度分类，即将各属性信息按照其属性的不同划分为不同的统计维度，再根据相应的维度进行划分。数据之间并非是独立的，每一个数据都可能会受到其他一个或多个数据的影响，每一个数据也可能会影响到其他一个或多个数据，数据之间具备一定的关联情况，因此在本步骤中，还需要对源数据之间的关联情况进行确认。

进一步的，在中间表构建模块603中，收集业务场景的初始需求功能以及初始需求功能的展示形式。首先对业务场景的初始需求功能进行收集，源数据库中收集了各类原始数据，对于这些原始数据的利用有多种多样的需求，而且这些需求是在不断地变化中，初始功能需求就是这些需求中最初始最基本的部分，初始功能需求可以作为这些变化的需求的基础，即为最简单的一类功能需求。需求功能要以一定的形式展示，因此在收集初始需求功能的同时，也要收集到初始需求功能的展示形式。在预处理模块601，已经获取了源数据的属性信息并对源数据进行了维度分类，并且确定了源数据之间的关联情况，也收集到了业务场景的初始需求功能以及初始需求功能的展示形式，中间表构建模块603利用上述获取的信息，完成中间数据存储及查询逻辑。源数据之间具有一定的相关性，通过一些简单的计算，可以得到某个属性的源数据与其他某个或某些源数据之间的数值关系，也可以利用某些源数据进行计算，得到某个新的属性数据，利用这些数值关系，可以形成中间数据的查询逻辑，将这些数据按照一定规则进行存放，则可以形成中间数据的存储逻辑。由于已经建立好了中间数据的存储及查询逻辑，众多的中间数据会形成多种多样的存储及查询逻辑，初始中间表包括了对相应的众多存储及查询逻辑进行的汇总。

进一步的，在建立好初始中间表后，中间表构建模块603需要对初始中间表进行相应的测试，测试的目的是验证初始中间表的逻辑是否正确。在测试的过程中，首先利用源数据库中的数据，不经过预处理，而直接进行相应的计算和处理，判断相应的计算逻辑是否正确，数据之间的关系是否正确，计算结果是否符合期望。若满足上述条件，则判断初始中间表的逻辑正确，初始中间表通过测试验证，通过测试验证的初始中间表变化为中间表。中间表经过了验证，功能稳定。

进一步的，在开发模块605中，首先对业务场景所需要实现的功能进行收集，确定需要对外展示的数据类型，并且收集相应数据对外展示时所需要的表现形态，例如某个数据在看板上显示，是否需要同时展示与其相关联的数据，与其相关联的数据是部分展示还是全部展示，若数据是动态变化的，在展示的过程中需要多久更新一次，这些都是属于在本步骤需要收集到的需求功能及其展示形式。当确定好需求功能及其展示形式后，从中间表中获取数据，由于中间表已经建立好了相应的数据查询和存储逻辑，因此从中间表可以获取到相应经过处理的数据，这些数据已经被按照维度进行了分类，也明确了数据之间的关联情况，同时也事先进行了相应的计算，得到某个属性的源数据与其他某个或某些源数据之间的数值关系，或利用某些源数据进行计算，得到某个新的属性数据，从中间表中获得这些相应的数据，包括数据所附带的属性信息和关联信息等。进行开发过程，由于已经获得了相应的需求功能及其展示形式的要求，并通过中间表中获取了相应的数据，开发模块605就可以利用相应的数据完成相应的需求功能及其展示形式的实现。由于中间表已将大量的原始数据进行了处理和整理，因此数据量相比从源数据库取数据而言大幅减少，另一方面，当中间表建立后，在开发的过程中若遇到相同的业务需求，则可以直接从中间中获取数据，而并非像在建立中间表之前的开发过程一样，对相同的业务需求有多种开发逻辑，从而使得开发过程所需要存储的开发逻辑变得简单，从而使得开发过程中代码和开发逻辑需要被保存的内容减少，节省了相应的存储空间。

进一步的，开发完成后，测试模块607需要对功能开发所实现的功能进行验证，确认功能开发满足所述需求，因此，从中间表中获取相应的数据，将获取的数据与经过功能开发并展现的数据进行比对，当比对两者的数据之间无误差时，则判断所述的需求功能开发通过测试。由于中间表已将大量的原始数据进行了处理和整理，因此数据量相比从源数据库取数据而言大幅减少，另一方面，当中间表建立后，在验证测试的过程中若遇到相同的业务需求，则可以直接从中间中获取数据，而并非像在建立中间表之前的验证测试过程一样，对相同的业务需求有多种测试逻辑，从而使得测试过程所需要存储的测试逻辑变得简单，从而使得测试过程中代码和测试逻辑需要被保存的内容减少，节省了相应的存储空间。

进一步的，在本申请的数据处理系统中，当多维度业务场景发生变动的时候，即所需求的功能发生了变动，则需要根据新变动的业务场景及其需求，完成对中间数据存储和查询的逻辑的更改，在更改的过程中，可能涉及到新的属性数据的加入，不同属性数据之间新的关系的产生，以及计算方式的改变等，对中间数据查询和存储逻辑进行更改从而实现对中间表的更新。

请参见图7，图7示出的本申请实施例提供的电子设备的结构示意图。本申请实施例提供的一种电子设备700，包括：处理器701和存储器702，存储器702存储有处理器701可执行的机器可读指令，机器可读指令被处理器701执行时执行如上的方法。

例如，本申请实施例的处理器701通过通信总线从存储器702读取计算机程序并执行该计算机程序可以实现如下方法：一种数据管理方法。在一些示例中，处理器701还可以对配置项进行更新，也就是说，可以执行如下步骤：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。

处理器701可以是一种集成电路芯片，具有信号处理能力。上述处理器701可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器702可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

可以理解，图7所示的结构仅为示意，电子设备700还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。于本申请实施例中，电子设备700可以是，但不限于台式机、笔记本电脑、智能手机、智能穿戴设备、车载设备等实体设备，还可以是虚拟机等虚拟设备。另外，电子设备700也不一定是单台设备，还可以是多台设备的组合，例如服务器集群，等等。于本申请实施例中，一种拍摄车辆的方法中的服务器可以采用图7示出的电子设备700实现。

本申请实施例还提供一种计算机可读存储介质，包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行时，计算机能够执行上述实施例中一种数据管理方法的步骤，例如包括：接收输入的日志数据，将所述日志数据存储至高速率存取模块，并在存储所述日志数据时标记存储时间；判断当前时间和所述日志数据的存储时间之间的时间长度是否大于预设阈值，若大于，则将所述日志数据迁移存储至普通速率存取模块；以及对已存储的已有日志数据进行查询，其中所述已有的日志数据包括存储在高速率存取模块和普通速率存取模块上的日志数据。

在本申请所提供的实施例中，应该理解到，所公开的系统和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述数据处理方法应用于多维度业务场景，所述业务场景的实现包括：源数据处理、需求功能开发、需求功能测试、以及需求功能展示，所述数据处理方法包括：

对源数据库进行预处理；

根据对源数据库进行预处理构建初始中间表；

对所述初始中间表进行测试，验证初始中间表逻辑，并建立中间表；

利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果；以及

利用所述中间表，验证所述需求功能展现结果。

2.根据权利要求1所述的方法，其特征在于，所述对源数据库进行预处理，包括：

对所述源数据库进行查询，获取源数据属性信息；以及

根据所述源数据属性对源数据进行维度分类，并确定源数据之间的关联情况。

3.根据权利要求2所述的方法，其特征在于，所述根据对源数据库进行预处理构建初始中间表，包括：

收集所述业务场景的初始需求功能以及初始需求功能的展示形式；

根据所述源数据的维度分类结果、源数据之间的关联情况、初始需求功能以及其展示形式，建立中间数据存储及查询逻辑；以及

根据所述中间数据存储及查询逻辑建立初始中间表。

4.根据权利要求3所述的方法，其特征在于，所述对所述初始中间表进行测试，验证初始中间表逻辑，并建立中间表，包括：

利用源数据库中的数据，对所述初始中间表的存储及查询逻辑正确性进行验证判断，若判断所述初始中间表的存储及查询逻辑正确，则建立中间表。

5.根据权利要求1所述的方法，其特征在于，所述利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果，包括：

收集所述需求功能，并根据所述需求功能确定其展示形式；

从所述中间表中获取经预处理并由中间表存储的数据；以及

利用从所述中间表中获取的数据进行开发，所述开发使得所述需求功能以所述展示形式展现。

6.根据权利要求5所述的方法，其特征在于，所述利用所述中间表，验证所述需求功能展现结果，包括：

从所述中间表获取数据，将所述中间表的数据与以所述展示形式展现的数据进行比对，若两者之间无误差，则判断所述需求功能展示的开发结果通过测试。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述多维度业务场景变更时，更改中间数据存储及查询逻辑，对中间表进行更新。

8.一种数据处理系统，其特征在于，所述数据处理系统应用于多维度业务场景，所述业务场景包括：源数据处理、需求功能开发、需求功能测试、以及需求功能展示，所述数据处理系统包括：

预处理模块，对源数据库进行预处理；

中间表构建模块，根据对源数据库进行预处理构建初始中间表，并对所述初始中间表进行测试，验证初始中间表逻辑，建立中间表；

开发模块，利用所述中间表，在所述需求功能开发的阶段对所述需求功能展示的实现进行开发，获取所述需求功能的展现结果；以及

测试模块，利用所述中间表，验证所述需求功能展现结果。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线；

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，所述计算机指令被计算机运行时，使所述计算机执行如权利要求1-7任一项所述的方法。

Images