CN114969125A - 一种通用数据查询和统计方法及系统 - Google Patents

Abstract

本发明公开一种通用数据查询和统计方法及系统，该方法包括下述步骤：步骤S1、数据源的元数据描述和配置：数据源的元数据描述和配置对业务系统的数据资源表进行梳理和元信息定义和配置；步骤S2、自定义接口协议的定义和组装：对接口协议进行定义；步骤S3、接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过步骤S1和步骤S2对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束。

Description

一种通用数据查询和统计方法及系统

技术领域

本发明公开一种通用数据查询和统计方法及系统，属于大数据查询、检索和统计等信息技术领域。

背景技术

随着中国信息化建设的快速发展，各行业都建设了大量信息化系统来辅助业务办理，目前，我国的电子政务已基本普及。但业务系统建设的初衷是为了提高业务办理的效率，实现业务数据的电子化、信息化，在数据的分析应用方面，业务系统通常仅仅实现了简单的数据查询和基础的数据统计报表功能。

而且对于这些简单的数据查询和统计需求，常规的解决方案往往是：一、定制化的开发查询和统计接口；二、引入各种开源工具、组件或大数据平台软件来对接业务系统的数据。

以上常规解决方案的缺点是显而易见，前者，需要投入大量的开发力量去对接用户经常变化的数据查询和统计需求，哪怕是增加一个查询条件亦或是新增一个统计指标，都需要调整程序的编码逻辑去适应这种需求的变化，做不到快速响应；后者，门槛更高，需要专业数据团队和数据分析人才，需要非常熟悉大数据领域生态的各种开源工具、组件和平台的使用方法、甚至是底层原理，这对中小公司和小型开发团队来说很难有这个资源投入实力，就算勉强落地实施，效果也非常不好，投入大、成效低。

发明内容

针对上述提到的现有技术中的数据查询和统计需求难以得到脑组的缺点，本发明提出了一种通用数据查询和统计方法及系统，其基于通用的查询、检索和统计的自定义接口协议及其解析原理与应用，一站式解决业务系统的用户数据查询和统计分析需求，为用户提供精细化的查询、检索和多维度的统计分析，以及由此而衍生的业务报表、分析报告、数据看板、专题档案、监测预警等应用需求，极大程度降低了用户的开发成本、缩短了响应时间，效率大大提升。

本发明解决其技术问题采用的技术方案是：一种通用数据查询和统计方法，该方法包括下述步骤：

步骤S1、数据源的元数据描述和配置：数据源的元数据描述和配置对业务系统的数据资源表进行梳理和元信息定义和配置；

步骤S2、自定义接口协议的定义和组装：对接口协议进行定义，协议体内容包括：(1)指标查询和统计的资源表信息，属性包括资源ID和指标统计字段； (2)维度信息，表述了在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值有哪些；(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些；

步骤S3、接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过步骤S1和步骤S2对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束。

一种通用数据查询和统计系统，该系统包括：

数据源的元数据描述和配置模块：用于对业务系统的数据资源表进行梳理和元信息定义和配置；

自定义接口协议的定义和组装模块：用于对协议的定义，协议体内容包括：(1)指标查询和统计的资源表信息，资源表信息属性包括资源ID和指标统计字段；(2)维度信息，表述在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值有哪些；(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些，条件数组中每一个子元素对应一个过滤条件，条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应地有各种不同的操作符类型，操作符类型包括：精确匹配、模糊匹配、模糊不匹配、包含或不包含；

协议解析及数据返回模块，用于接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过数据源的元数据描述和配置模块和自定义接口协议的定义和组装模块对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束。

本发明解决其技术问题采用的技术方案进一步还包括：

所述的数据源的元数据包含：资源表的名称、资源表的代码、资源表的来源信息、资源表访问协议信息以及资源表的字段类型信息。

所述的资源表的字段类型信息根据数据和业务的特征定义为如下7类：(1) 编号类型，用编码-1代表；(2)数值类型，用编码-2代表；(3)日期时间类型，用编码-3代表；(4)字典类型，用编码-4代表，细分为标准字典类型和自定义字典类型，标准字典类型用编码-41表示，自定义字典类型用编码-42表示；(5) 文本类型，用编码-5表示；(6)标签类型，用编码-6表示；(7)位置类型，用编码-7表示。

所述的资源表的字段类型信息用布尔值标注每一个字段是否支持对查询、明细、条件、维度、指标统计等的支持，0-否、1-是。

所述的条件信息的数组中每一个子元素对应一个过滤条件，过滤条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应的有各种不同的操作符类型，操作符类型包括：精确匹配、模糊匹配、模糊不匹配、包含或不包含。

本发明的有益效果是：本发明在协议和解析引擎的基础之上可构建出灵活通用的大数据分析应用平台，解决大多数用户所面临的数据分析的“最后一公里”问题，见效快、成本低。主要的价值体现应用场景有：(1)为行业业务系统提供精细、精准、高性能的复杂数据检索和多维统计分析解决方案；(2)为指挥决策部门提供各类业务数据指标综合分析、展示、决策支撑服务；(3)为专业部门提供大数据融合分析、综合指数监测预警和挖掘分析服务；(4)为指挥应用类系统提供数据接入网关、分析结果数据展现服务。这些应用场景占据了用户90％以上的需求，客户需求量大，市场前景广阔。

下面将结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明程序流程图。

图2为本发明中的资源表的字段类型信息图。

图3为本发明中的资源表的字段类型信息布尔值标注图。

图4为本发明实施例中数据源注册运行截图一。

图5为本发明实施例中数据源注册运行截图二。

图6为本发明实施例中资源表配置运行截图一。

图7为本发明实施例中资源表配置运行截图二。

图8为本发明实施例中字段配置运行截图一。

图9为本发明实施例中字段配置运行截图二。

图10为本发明实施例中发送请求到后端解析引擎运行截图。

具体实施方式

本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。

请结合参看附图1、附图2和附图3，本发明主要保护一种通用数据查询和统计方法，其主要包括下述步骤：

步骤S1、数据源的元数据描述和配置：数据源的元数据描述和配置对业务系统的数据资源表进行梳理和元信息定义和配置，主要包含如下信息：资源表的名称、资源表的代码、资源表的来源信息、资源表访问协议信息以及资源表的字段类型信息。本实施例中，资源表的字段类型信息根据数据和业务的特征定义为如下7类：

(1)编号类型，用编码-1代表；

(2)数值类型，用编码-2代表；

(3)日期时间类型，用编码-3代表；

(4)字典类型，用编码-4代表，其下又细分为标准字典类型和自定义字典类型，前者用编码-41表示，后者用编码-42表示；

(5)文本类型，用编码-5表示；

(6)标签类型，用编码-6表示；

(7)位置类型，用编码-7表示。

同时，本实施例中资源表的字段类型信息还要用布尔值标注每一个字段是否支持对查询、明细、条件、维度、指标统计等的支持，0-否、1-是。以上这些配置组成了对业务系统资源数据表的元信息描述。

步骤S2、自定义接口协议的定义和组装：首先是协议的定义，协议是JSON 格式，协议体内容主要由三块内容组成：

(1)指标查询和统计的资源表信息，主要属性有资源ID和指标统计字段；

(2)维度信息，表述了在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值granularity又有哪些；

(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些。conditions条件数组中每一个子元素对应一个过滤条件，条件属性信息包含：字段编码、条件操作符、条件值。条件操作符对应不同的条件字段类型相应地也有各种不同的操作符类型，例如：精确匹配、模糊匹配、模糊不匹配、包含、不包含等。

下面将以一个具体实例进行具体说明，协议是JSON格式，一个完整的接口协议样例如下所示(每行加行号，下文引用行号解释协议内容)：

本实施例中，上述协议体内容主要由三块内容组成：

(1)指标查询和统计的资源表信息，主要属性有资源ID、指标统计字段，分别对应：94行"tabId":"jzaj"，第5行"fieldCode":"aj_systemid"；

(2)维度信息dimension，对应7-23行，表述了在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值granularity又有哪些；

(3)条件信息conditions，对应24-93行，表述了在进行查询和统计时附加的数据过滤条件字段有哪些。conditions条件数组中每一个子元素对应一个过滤条件，条件属性信息包含：字段编码、条件操作符、条件值。条件操作符对应不同的条件字段类型相应地也有各种不同的操作符类型，例如：精确匹配、模糊匹配、模糊不匹配、包含、不包含等。

步骤S3、接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过步骤S1和步骤S2对业务数据的元数据梳理配置以及协议的组织，专有的后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束，形成闭环。

本发明同时保护一种通用数据查询和统计系统，该系统主要包括：

数据源的元数据描述和配置模块：数据源的元数据描述和配置模块用于对业务系统的数据资源表进行梳理和元信息定义和配置，主要包含如下信息：资源表的名称、资源表的代码、资源表的来源信息、资源表访问协议信息以及资源表的字段类型信息。本实施例中，资源表的字段类型信息根据数据和业务的特征定义为如下7类：

(1)编号类型，用编码-1代表；

(2)数值类型，用编码-2代表；

(3)日期时间类型，用编码-3代表；

(4)字典类型，用编码-4代表，其下又细分为标准字典类型和自定义字典类型，前者用编码-41表示，后者用编码-42表示；

(5)文本类型，用编码-5表示；

(6)标签类型，用编码-6表示；

(7)位置类型，用编码-7表示。

同时，资源表的字段类型信息中还要用布尔值标注每一个字段是否支持对查询、明细、条件、维度、指标统计等的支持，0-否、1-是。

以上这些配置组成了对业务系统资源数据表的元信息描述。

自定义接口协议的定义和组装模块：自定义接口协议的定义和组装模块用于对协议的定义，协议是JSON格式，协议体内容主要由三块内容组成：

(1)指标查询和统计的资源表信息，主要属性有资源ID和指标统计字段；

(2)维度信息，表述了在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值granularity又有哪些；

(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些。conditions条件数组中每一个子元素对应一个过滤条件，条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应地也有各种不同的操作符类型，例如：精确匹配、模糊匹配、模糊不匹配、包含、不包含等，具体条件根据实际的数据类型按常规需求设定。

协议解析及数据返回模块，协议解析及数据返回模块用于接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过数据源的元数据描述和配置模块和自定义接口协议的定义和组装模块对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束，形成闭环。

本发明通过提炼一套查询、检索、统计协议和解析引擎，解耦了上层应用和底层的存储计算引擎，扩展性好，可兼容多源异构体系，在此基础上构建大数据分析应用平台，可大大提升数据开发的生产力同时降低开发成本、缩短响应时间。

为了更进一步阐明本发明的应用及效果，现以本发明在产品研发域的应用成果为例进行说明。

请结合参看附图4至附图10，基于本发明研发了A级产品“棱镜”，即大数据应用服务平台，支撑了某市的警情多维分析等多个数据分析项目的实施，成效显著，以警情多维分析的实施为例：

S1、注册数据源，配置业务系统资源表和字段的元信息，页面截图如下：

(1)数据源注册

(2)资源表配置

(3)字段配置

S2、操作表单组织接口协议，发送请求到后端解析引擎；

S3、解析引擎基于接口协议解析处理，返回数据结果给前端。

本发明在协议和解析引擎的基础之上可构建出灵活通用的大数据分析应用平台，解决大多数用户所面临的数据分析的“最后一公里”问题，见效快、成本低。主要的价值体现应用场景有：(1)为行业业务系统提供精细、精准、高性能的复杂数据检索和多维统计分析解决方案；(2)为指挥决策部门提供各类业务数据指标综合分析、展示、决策支撑服务；(3)为专业部门提供大数据融合分析、综合指数监测预警和挖掘分析服务；(4)为指挥应用类系统提供数据接入网关、分析结果数据展现服务。这些应用场景占据了用户90％以上的需求，客户需求量大，市场前景广阔。

Claims (10)

1.一种通用数据查询和统计方法，其特征是：所述的方法包括下述步骤：

步骤S1、数据源的元数据描述和配置：数据源的元数据描述和配置对业务系统的数据资源表进行梳理和元信息定义和配置；

步骤S2、自定义接口协议的定义和组装：对接口协议进行定义，协议体内容包括：(1)指标查询和统计的资源表信息，属性包括资源ID和指标统计字段；(2)维度信息，表述了在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值有哪些；(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些；

步骤S3、接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过步骤S1和步骤S2对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束。

2.根据权利要求1所述的通用数据查询和统计方法，其特征是：所述的数据源的元数据包含：资源表的名称、资源表的代码、资源表的来源信息、资源表访问协议信息以及资源表的字段类型信息。

3.根据权利要求2所述的通用数据查询和统计方法，其特征是：所述的资源表的字段类型信息根据数据和业务的特征定义为如下7类：(1)编号类型，用编码-1代表；(2)数值类型，用编码-2代表；(3)日期时间类型，用编码-3代表；(4)字典类型，用编码-4代表，细分为标准字典类型和自定义字典类型，标准字典类型用编码-41表示，自定义字典类型用编码-42表示；(5)文本类型，用编码-5表示；(6)标签类型，用编码-6表示；(7)位置类型，用编码-7表示。

4.根据权利要求3所述的通用数据查询和统计方法，其特征是：所述的资源表的字段类型信息用布尔值标注每一个字段是否支持对查询、明细、条件、维度、指标统计等的支持，0-否、1-是。

5.根据权利要求1所述的通用数据查询和统计方法，其特征是：所述的条件信息的数组中每一个子元素对应一个过滤条件，过滤条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应的有各种不同的操作符类型，操作符类型包括：精确匹配、模糊匹配、模糊不匹配、包含或不包含。

6.一种通用数据查询和统计系统，其特征是：所述的系统包括：

数据源的元数据描述和配置模块：用于对业务系统的数据资源表进行梳理和元信息定义和配置；

自定义接口协议的定义和组装模块：用于对协议的定义，协议体内容包括：(1)指标查询和统计的资源表信息，资源表信息属性包括资源ID和指标统计字段；(2)维度信息，表述在进行统计时针对资源表的哪个维度字段进行聚合统计，维度字段下的粒度值有哪些；(3)条件信息，表述了在进行查询和统计时附加的数据过滤条件字段有哪些，条件数组中每一个子元素对应一个过滤条件，条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应地有各种不同的操作符类型，操作符类型包括：精确匹配、模糊匹配、模糊不匹配、包含或不包含；

协议解析及数据返回模块，用于接口协议解析引擎对协议的解析处理，返回查询明细数据或统计数据：通过数据源的元数据描述和配置模块和自定义接口协议的定义和组装模块对业务数据的元数据梳理配置以及协议的组织，后台解析引擎对接口协议进行解析、预处理、发送请求到底层的计算引擎，底层计算引擎处理完毕后返回明细或聚合统计的数据给解析引擎，解析引擎对结果进行预处理，封装成统一格式的响应体给到前端，整个处理流程结束。

7.根据权利要求6所述的通用数据查询和统计系统，其特征是：所述的数据源的元数据包含：资源表的名称、资源表的代码、资源表的来源信息、资源表访问协议信息以及资源表的字段类型信息。

8.根据权利要求7所述的通用数据查询和统计系统，其特征是：所述的资源表的字段类型信息根据数据和业务的特征定义为如下7类：(1)编号类型，用编码-1代表；(2)数值类型，用编码-2代表；(3)日期时间类型，用编码-3代表；(4)字典类型，用编码-4代表，细分为标准字典类型和自定义字典类型，标准字典类型用编码-41表示，自定义字典类型用编码-42表示；(5)文本类型，用编码-5表示；(6)标签类型，用编码-6表示；(7)位置类型，用编码-7表示。

9.根据权利要求8所述的通用数据查询和统计系统，其特征是：所述的资源表的字段类型信息用布尔值标注每一个字段是否支持对查询、明细、条件、维度、指标统计等的支持，0-否、1-是。

10.根据权利要求6所述的通用数据查询和统计系统，其特征是：所述的条件信息的数组中每一个子元素对应一个过滤条件，过滤条件属性信息包含：字段编码、条件操作符、条件值，条件操作符对应不同的条件字段类型相应的有各种不同的操作符类型，操作符类型包括：精确匹配、模糊匹配、模糊不匹配、包含或不包含。

Images