CN109960699B - 数据统计建立方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及一种数据统计建立方法、装置、计算机设备及存储介质，其中数据统计建立方法包括：接收业务需求信息；根据业务需求信息获取待统计的数据项及数据项的约束条件；查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布统计模型。上述数据统计方法，能够实现从业务需求到数据开发的全过程管理，可减少数据分析来源的业务差异，提升数据统计成果的复用能力。此外，根据上述数据统计方法，在计算机设备上进行可视化的界面操作，并存储和读取运行数据，能够实现从业务需求到数据统计开发的全过程规范化、自助式操作，降低使用难度。

Description

数据统计建立方法、装置、计算机设备及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据统计建立方法、装置、计算机设备及存储介质。

背景技术

目前常见的数据统计过程中，往往需由操作人员人为梳理出业务需求，再针对业务需求进行数据开发设计。由于对从业务需求到数据开发设计的过程未提供过程管理，常导致后续更新数据统计需求时，不知道之前的统计业务规则或约束的业务来源，从而难以已有成果的基础上进行升级和优化，降低了数据统计成果的复用能力，提高了数据统计成本。

发明内容

基于此，有必要提供一种数据统计建立方法，能够实现从业务需求到数据开发的全过程管理，提升数据统计成果的复用能力。

在其中一个实施例中，提供一种数据统计建立方法，其包括：接收业务需求信息；根据业务需求信息获取待统计的数据项及数据项的约束条件；查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布统计模型。上述数据统计方法，能够实现从业务需求到数据开发的全过程管理，可减少数据分析来源的业务差异，提升数据统计成果的复用能力。此外，根据上述数据统计方法，在计算机设备上进行可视化的界面操作，并存储和读取运行数据，能够实现从业务需求到数据统计开发的全过程规范化、自助式操作，降低使用难度。

在其中一个实施例中，在发布统计模型之前，方法还包括：对统计模型进行测试，并收集测试数据；根据测试数据检测统计模型是否合格；当检测结果为合格时，发布统计模型。

在其中一个实施例中，在发布统计模型之前，方法还包括：设置统计模型的应用名称、存储位置和权限；发布统计模型，包括：发布统计模型及统计模型的应用名称、存储位置和权限。

在其中一个实施例中，在发布统计模型之后，方法还包括：执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。

在其中一个实施例中，根据业务需求信息获取待统计的数据项及数据项的约束条件，包括：对业务需求信息进行分析处理，得到需求点信息；根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。

在其中一个实施例中，将表和字段组合为统计模型，包括：根据预设的程序语句结构，将表和字段组合为标准化的程序语句；根据标准化的程序语句构建统计模型。

在其中一个实施例中，根据预设的程序语句结构，将表和字段组合为标准化的程序语句，包括：根据预设的结构化查询语言结构，将表和字段组合为标准化的结构化查询语言语句。

在其中一个实施例中，提供一种数据统计建立装置，其包括：接收模块，用于接收业务需求信息；获取模块，用于根据业务需求信息获取待统计的数据项及数据项的约束条件；组合模块，用于查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布模块，用于发布统计模型。

在其中一个实施例中，装置还包括：测试模块，用于对统计模型进行测试，并收集测试数据；检测模块，用于根据测试数据检测统计模型是否合格；发布模块，还用于当检测结果为合格时，发布统计模型。

在其中一个实施例中，装置还包括：执行模块，用于执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。

在其中一个实施例中，获取模块包括：分析单元，用于对业务需求信息进行分析处理，得到需求点信息；获取单元，用于根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。

在其中一个实施例中，组合模块包括：组合单元，用于根据预设的程序语句结构，将表和字段组合为标准化的程序语句；构建单元，用于根据标准化的程序语句构建统计模型。

在其中一个实施例中，组合单元还用于：根据预设的结构化查询语言结构，将表和字段组合为标准化的结构化查询语言语句。

在其中一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现本发明任一实施例的方法的步骤。

在其中一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本发明任一实施例的方法的步骤。

附图说明

图1为本发明一实施例的数据统计建立方法的流程示意图；

图2为本发明另一实施例的数据统计建立方法的流程示意图；

图3为本发明又一实施例的数据统计建立方法的流程示意图；

图4为本发明一实施例的数据统计建立装置的结构示意图；

图5为本发明另一实施例的数据统计建立装置的结构示意图；

图6为本发明一实施例的计算机设备的结构示意图；

图7为本发明另一实施例的计算机设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在一个实施例中，提供一种数据统计建立方法，其包括：接收业务需求信息；根据业务需求信息获取待统计的数据项及数据项的约束条件；查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布统计模型。

在一个实施例中，提供一种数据统计建立装置，其包括：接收模块，用于接收业务需求信息；获取模块，用于根据业务需求信息获取待统计的数据项及数据项的约束条件；组合模块，用于查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布模块，用于发布统计模型。

在一个实施例中，如图1所示，提供一种数据统计建立方法，该数据统计建立方法包括如下步骤：

S101，接收业务需求信息。

在一个实施例中，接收外部终端发送的业务需求信息；或者，接收用户通键盘、鼠标、语音识别装置等输入设备录入的业务需求信息。

一个实施例中，用户通过上述外部终端或输入设备描述并输入上述业务需求信息，包括定义需求名称、描述需求内容、定义需求所属的专业等。进一步的，需求内容中可包括对业务模块的定义、数据统计口径、数据筛查范围和数据处理要求中的至少一种。

S103，根据业务需求信息获取待统计的数据项及数据项的约束条件。

一个实施例中，根据业务需求信息中的关键词，获取与关键词相关的数据项作为待统计的数据项，并根据业务需求信息中的内容确定对数据项的约束条件。例如，若业务统计需求中包括“统计电价代码与用电类别不匹配的用户”，则相关的数据项包括“电价”和“用电类别”。

一个实施例中，获取用户通过外部终端或输入设备输入的数据项，并根据业务需求信息中的内容确定对该数据项的约束条件。例如，获取用户在显示界面选择的数据项，并根据业务需求信息中的内容确定对用户所选数据项的约束条件。

在一个实施例中，步骤S103包括：对业务需求信息进行分析处理，得到需求点信息；根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。其中，需求点信息包括需求定义、需求规则、所属专业、统计口径、引用制度等，通过分解上述业务需求信息，得到至少一个需求点，进一步根据每个需求点的要求获取相应的数据项及每个数据项的约束条件。

S105，查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型。

一个实施例中，在预设的表/字段清单中查询与待统计的数据项相对应的表和字段，并根据预设的组合格式将表和字段组合为统计模型。

在一个实施例中，步骤S105包括：根据预设的程序语句结构，将表和字段组合为标准化的程序语句；根据标准化的程序语句构建统计模型。例如，根据预设的SQL(StructuredQuery Language，结构化查询语言)结构，将表和字段组合为标准化的SQL语句，并根据组合而成的至少一个SQL语句构建统计模型。其中，该统计模型被运行时，将根据上述数据项及其约束条件，统计出上述业务需求信息所要求的数据。

S107，发布统计模型。

一个实施例中，将统计模型发布在预设平台或预设系统上，能供平台/系统使用者后续使用。其中，统计模型是可执行的文件，平台/系统使用者执行统计模型，获取符合上述筛查条件或约束条件的数据。

在一个实施例中，步骤S107之后，上述数据统计建立方法还包括如下步骤：执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。例如，执行统计模型之后，根据预设的图表样式显示执行结果，即把执行结果显示为预设样式的图表，如柱状图、条形图、散点图、折线图、雷达图、气泡图等。这样，能直观展示数据统计结果，提升使用者的使用体验。

上述数据统计方法，基于业务需求信息获取数据项及其约束条件，进一步跟进数据项及其约束条件对应的表和字段生成数据统计模型，从而实现从业务需求到数据开发的全过程管理，可减少数据分析来源的业务差异，提升数据统计成果的复用能力。此外，根据上述数据统计方法，在计算机设备上进行可视化的界面操作，并存储和读取运行数据，能够实现从业务需求到数据统计开发的全过程规范化、自助式操作，降低使用难度。

在一个实施例中，为了提升被发布数据统计模型的可靠性，如图2所示，在步骤S107之前，上述数据统计建立方法还包括如下步骤：

S1061,对统计模型进行测试，并收集测试数据。

具体的，对统计模型中的各语句进行测试，并收集每条语句的测试数据。例如测试统计模型中的各SQL语句，并收集每条SQL语句的测试数据。

一个实施例是，试执行上述统计模型，并收集执行数据作为测试数据。例如，在后台执行上述统计模型中的每条语句，收集每条SQL语句的执行结果作为测试数据，并将测试数据返回前端。

S1062，根据测试数据检测统计模型是否合格；并在检测结果为合格时，执行步骤S107。

在本步骤，检测统计模型是否合格，包括检测步骤S1061生成的测试数据是否符合上述业务需求信息对应的筛查条件或约束条件，以及上述测试数据中是否存在异常数据等。若上述测试数据不符合筛查条件或约束条件，或者上述测试数据中存在异常数据，则检测结果为不合格。若上述测试数据符合筛查条件或约束条件，并且上述测试数据中无异常数据，则检测结果为合格。

本实施例中，通过测试和检测，过滤掉不合格的数据统计模型，将检测结果为合格的数据统计模型进行发布，能够提升被发布数据统计模型的可靠性。

在一个实施例中，为便于使用者查找并使用被发布的统计模型，如图3所示，在步骤S107之前，上述数据统计建立方法还包括如下步骤：S1063，设置统计模型的应用名称、存储位置和权限；此时，步骤S107还包括：发布统计模型及统计模型的应用名称、存储位置和权限。

在一个实施例中，根据业务需求信息设置统计模型的应用名称、存储位置和权限。在另一个实施例中，根据预设终端或输入设备输入的设置信息，设置统计模型的应用名称、存储位置和权限。其中，经过权限设置，拥有相应权限的人员可在统计模型发布之后使用该统计模型。

本实施例中，为统计模型设置了应用名称、存储位置和权限，使用者可根据应用名称、存储位置或权限搜索并找到统计模型，以便于使用。

其中，可以在步骤S105之后执行步骤S1063和步骤S107，或者，也可以在步骤S1062之后执行步骤S1063和步骤S107。

本发明提出一种新的自助式数据统计的建立方法，实现业务需求到数据开发，再到数据运营的完整衔接和全过程管理，可极大的消除数据分析来源的业务差异；同时，这套方法及装置可降低系统操作难度，提高业务人员使用工具的频率，解决企业各类数据统计需求。通过自助式数据统计建立装置上界面操作，使得业务人员通过拖拉表和列即可沟通各种数据统计需求，从不同角度挖掘出隐藏的知识和规律，为企业各类业务的决策提供支持与服务。

在一个实施例中，如图4所示，提供一种数据统计建立装置40，上述数据统计建立装置40包括接收模块401、获取模块403、组合模块405及发布模块407，其中接收模块401用于接收业务需求信息；获取模块403用于根据业务需求信息获取待统计的数据项及数据项的约束条件；组合模块405用于查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布模块407用于发布统计模型。

上述数据统计建立装置，基于业务需求信息获取数据项及其约束条件，进一步跟进数据项及其约束条件对应的表和字段生成数据统计模型，从而实现从业务需求到数据开发的全过程管理，可减少数据分析来源的业务差异，提升数据统计成果的复用能力。此外，根据上述数据统计方法，在计算机设备上进行可视化的界面操作，并存储和读取运行数据，能够实现从业务需求到数据统计开发的全过程规范化、自助式操作，降低使用难度。

在一个实施例中，为了提升被发布数据统计模型的可靠性，如图5所示，上述数据统计建立装置40还包括测试模块406和检测模块408；测试模块406用于对统计模型进行测试，并收集测试数据；检测模块408用于根据测试数据检测统计模型是否合格；上述发布模块407还用于当检测结果为合格时，发布统计模型。本实施例中，通过测试和检测，过滤掉不合格的数据统计模型，将检测结果为合格的数据统计模型进行发布，能够提升被发布数据统计模型的可靠性。

在一个实施例中，为便于使用者查找并使用被发布的统计模型，上述数据统计建立装置还包括设置模块，用于设置统计模型的应用名称、存储位置和权限；相应地，发布模块用于发布统计模型及统计模型的应用名称、存储位置和权限。本实施例中，为统计模型设置了应用名称、存储位置和权限，使用者可根据应用名称、存储位置或权限搜索并找到统计模型，以便于使用。

在一个实施例中，上述装置还包括执行模块，用于执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。例如，执行统计模型之后，根据预设的图表样式显示执行结果，即把执行结果显示为预设样式的图表，如柱状图、条形图、散点图、折线图、雷达图、气泡图等。这样，能直观展示数据统计结果，提升使用者的使用体验。

在一个实施例中，上述获取模块包括分析单元和获取单元，其中分析单元用于对业务需求信息进行分析处理，得到需求点信息；获取单元用于根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。

在一个实施例中，上述组合模块包括组合单元和构建单元，其中：组合单元用于根据预设的程序语句结构，将表和字段组合为标准化的程序语句；构建单元用于根据标准化的程序语句构建统计模型。

在一个实施例中，上述组合单元还用于：根据预设的结构化查询语言结构，将表和字段组合为标准化的结构化查询语言语句。

在一个实施例中,提供一种数据统计建立装置，用于实现上述任一实施例所述的数据统计建立方法，该数据统计建立装置包括与本发明任一实施例的数据统计建立方法对应的功能模块。

在一个实施例中，如图6所示，提供一种计算机设备，其包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现如下步骤：接收业务需求信息；根据业务需求信息获取待统计的数据项及数据项的约束条件；查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布统计模型。

在一个实施例中，在发布统计模型之前，处理器执行计算机程序时还实现如下步骤：对统计模型进行测试，并收集测试数据；根据测试数据检测统计模型是否合格；当检测结果为合格时，发布统计模型。

在一个实施例中，在发布统计模型之前，处理器执行计算机程序时还实现还如下步骤：设置统计模型的应用名称、存储位置和权限；

上述发布统计模型的步骤包括：发布统计模型及统计模型的应用名称、存储位置和权限。

在一个实施例中，在发布统计模型之后，处理器执行计算机程序时还实现还如下步骤：执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。

在一个实施例中，上述根据业务需求信息获取待统计的数据项及数据项的约束条件的步骤包括：对业务需求信息进行分析处理，得到需求点信息；根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。

在一个实施例中，上述将表和字段组合为统计模型的步骤包括：根据预设的程序语句结构，将表和字段组合为标准化的程序语句；根据标准化的程序语句构建统计模型。

在一个实施例中，上述根据预设的程序语句结构，将表和字段组合为标准化的程序语句的步骤包括：根据预设的结构化查询语言结构，将表和字段组合为标准化的结构化查询语言语句。

在一个实施例中，如图7所示，上述计算机设备还包括与外部集成接口相连接的统一数据接口，数据统计建立装置分为存储层、计算层和展现层。计算层可以构建丰富的自定义数据统计应用。具体的，在上述计算层，通过与数据资产目录关联，构建了一个流程化的统计建立过程操作，分别为业务描述、业务分析、数据设计、应用开发、应用测试、应用评估和应用发布的过程。存储层用来存储数据统计模型及内部关联结构。上述展现层包括显示器，可用于数据统计结果的显示，包括支持表格、图形、EXCEL、PDF等格式数据，同时可图形化输出统计结果，如柱形图、折线图、饼图、条形图、面积图、散点图等。

在一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如下步骤：接收业务需求信息；根据业务需求信息获取待统计的数据项及数据项的约束条件；查询与待统计的数据项及约束条件相对应的表和字段，并将表和字段组合为统计模型；发布统计模型。

在一个实施例中，在发布统计模型之前，计算机程序被处理器执行时还实现如下步骤：对统计模型进行测试，并收集测试数据；根据测试数据检测统计模型是否合格；当检测结果为合格时，发布统计模型。

在一个实施例中，在发布统计模型之前，计算机程序被处理器执行时还实现如下步骤：设置统计模型的应用名称、存储位置和权限；

上述发布统计模型的步骤包括：发布统计模型及统计模型的应用名称、存储位置和权限。

在一个实施例中，在发布统计模型之后，计算机程序被处理器执行时还实现如下步骤：执行统计模型，并根据预设的可视化样式显示统计模型的执行结果。

在一个实施例中，上述根据业务需求信息获取待统计的数据项及数据项的约束条件的步骤包括：对业务需求信息进行分析处理，得到需求点信息；根据需求点信息，获取至少一个待统计的数据项及每个数据项的约束条件。

在一个实施例中，上述将表和字段组合为统计模型的步骤包括：根据预设的程序语句结构，将表和字段组合为标准化的程序语句；根据标准化的程序语句构建统计模型。

在一个实施例中，上述根据预设的程序语句结构，将表和字段组合为标准化的程序语句的步骤包括：根据预设的结构化查询语言结构，将表和字段组合为标准化的结构化查询语言语句。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种数据统计建立方法，其特征在于，所述方法包括：

接收业务需求信息；

对所述业务需求信息进行分解确定需求点信息，根据与所述需求点信息对应的内容获取与所述需求点信息相对应的待统计的数据项及所述数据项的约束条件，其中，所述待统计的数据项为与所述需求点信息对应的内容中的关键词相关的数据项，所述约束条件根据所述需求点信息对应的内容确定；

查询与所述待统计的数据项及所述约束条件相对应的表和字段，并根据预设的程序语句结构，将所述表和所述字段组合为标准化的程序语句，根据所述标准化的程序语句构建统计模型，所述统计模型为可执行的文件；

对所述统计模型中的各语句进行测试，将执行所述各语句得到的执行数据作为测试数据，根据所述各语句的测试数据以及所述约束条件确定测试合格的统计模型；

发布所述统计模型，其中，发布的统计模型为测试合格的统计模型。

2.根据权利要求1所述的数据统计建立方法，其特征在于，所述对所述统计模型中的各语句进行测试，根据所述各语句的测试数据以及所述约束条件确定测试合格的统计模型，包括：

对所述统计模型中的所述各语句进行测试，并收集所述各语句的测试数据；

根据所述测试数据以及所述约束条件检测所述统计模型是否合格；

当检测结果为合格时，发布所述统计模型。

3.根据权利要求1或2所述的数据统计建立方法，其特征在于，在发布所述统计模型之前，所述方法还包括：

设置所述统计模型的应用名称、存储位置和权限；

所述发布所述统计模型，包括：

发布所述统计模型及所述统计模型的应用名称、存储位置和权限。

4.根据权利要求1或2所述的数据统计建立方法，其特征在于，在发布所述统计模型之后，所述方法还包括：

执行所述统计模型，并根据预设的可视化样式显示所述统计模型的执行结果。

5.根据权利要求3所述的数据统计建立方法，其特征在于，所述设置所述统计模型的应用名称、存储位置和权限，包括：

根据所述业务需求信息设置所述统计模型的应用名称、存储位置和权限；

或者，根据预设终端或输入设备输入的设置信息，设置所述统计模型的应用名称、存储位置和权限。

6.根据权利要求1所述的数据统计建立方法，其特征在于，所述根据预设的程序语句结构，将所述表和所述字段组合为标准化的程序语句，包括：

根据预设的结构化查询语言结构，将所述表和所述字段组合为标准化的结构化查询语言语句。

7.一种数据统计建立装置，其特征在于，所述装置包括：

接收模块，用于接收业务需求信息；

获取模块，用于对所述业务需求信息进行分解确定需求点信息，根据与所述需求点信息对应的内容获取与所述需求点信息相对应的待统计的数据项及所述数据项的约束条件，其中，所述数据项为与所述需求点信息对应的内容中的关键词相关的数据项，所述约束条件根据所述需求点信息对应的内容确定；

组合模块，用于查询与所述待统计的数据项及所述约束条件相对应的表和字段，并根据预设的程序语句结构，将所述表和所述字段组合为标准化的程序语句，根据所述标准化的程序语句构建统计模型，所述统计模型为可执行的文件；

测试模块和检测模块，用于对所述统计模型中的各语句进行测试，将执行所述各语句得到的执行数据作为测试数据，根据所述各语句的测试数据以及所述约束条件确定测试合格的统计模型；

发布模块，用于发布所述统计模型，其中，发布的统计模型为测试合格的统计模型。

8.根据权利要求7所述的数据统计建立装置，其特征在于，所述测试模块，用于对所述统计模型中的所述各语句进行测试，并收集所述各语句的测试数据；

所述检测模块，用于根据所述测试数据以及所述约束条件检测所述统计模型是否合格；

所述发布模块，还用于当检测结果为合格时，发布所述统计模型。

9.根据权利要求7或8所述的数据统计建立装置，其特征在于，所述装置还包括：

执行模块，用于执行所述统计模型，并根据预设的可视化样式显示所述统计模型的执行结果。

10.根据权利要求7或8所述的数据统计建立装置，其特征在于，所述获取模块包括：

分析单元，用于对所述业务需求信息进行分析处理，得到需求点信息；

获取单元，用于根据所述需求点信息，获取至少一个待统计的数据项及每个所述数据项的约束条件。

11.根据权利要求7所述的数据统计建立装置，其特征在于，所述组合单元还用于：根据预设的结构化查询语言结构，将所述表和所述字段组合为标准化的结构化查询语言语句。

12.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images