CN110069575A - 一种基于多维数据标注的动态数据统计方法及系统 - Google Patents
一种基于多维数据标注的动态数据统计方法及系统 Download PDFInfo
- Publication number
- CN110069575A CN110069575A CN201910337145.3A CN201910337145A CN110069575A CN 110069575 A CN110069575 A CN 110069575A CN 201910337145 A CN201910337145 A CN 201910337145A CN 110069575 A CN110069575 A CN 110069575A
- Authority
- CN
- China
- Prior art keywords
- statistics
- data
- objects
- index
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007619 statistical method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
- G06F16/285—Clustering or classification
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
一种基于多维数据标注的动态数据统计方法,包括:步骤1,在分类系统中,建立统计对象的多维多层级分类;步骤2,在统计对象管理系统中,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系;步骤3,在指标管理系统中,按统计场景创建指标集;步骤4,统计系统根据指标系统存储的指标,编写数据抽取脚本,在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值;步骤5,统计系统根据指标系统创建的指标集生成的统计结果表关联分类信息后,支持查询任意分类的指标统计数据及多分类统计的比对结果。
Description
技术领域
本发明属于数据统计技术领域,特别涉及一种基于多维数据标注的动态数据统计方法及系统。
背景技术
信息化时代的统计数据可以帮助我们更直观了解信息。现有技术中,已经可以通过固定的查询语句实现按单一的组织方式查找数据、查询数据的统计项计算结果,得到统计数据。但问题在于,数据的组织方式会发生变化,甚至根据需要会多样化的特点。现有方法已经无法适应这种变化。同时,对于同一个统计对象,需要统计的指标也并非一成不变。
发明内容
本发明提供一种基于多维数据标注的动态数据统计方法及系统,用以解决统计数据结构多样化,统计指标多变的问题。
本发明的实施例之一,一种基于多维数据标注的动态数据统计方法,包括以下步骤:
步骤1,在分类系统中,建立统计对象的多维多层级分类;
步骤2,在统计对象管理系统中,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系;
步骤3,在指标系统中,按统计场景创建指标集;
步骤4,统计系统根据指标系统存储的指标,创建统计结果表,编写数据抽取脚本,在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值;
步骤5,统计系统根据指标系统创建的指标集生成的统计结果表关联分类信息后,支持查询任意分类的指标统计数据及多分类统计的比对结果。
本发明实施例的有益效果包括:
1.本发明可通过新建分类、分类标注统计对象这样简单的操作,实现数据的多分类统计,无须多次编写查询语句,
2.本发明可通过新建指标,自动采集对应的指标值实现统计,无须重复编码。
附图说明
通过参考附图阅读下文的详细描述,本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中,以示例性而非限制性的方式示出了本发明的若干实施方式,其中:
图1根据本发明实施例之一的动态数据统计系统组成示意图。
具体实施方式
根据一个或者多个实施例,如图1所示一种基于多维数据标注的动态数据统计方法,包括以下步骤:
步骤1:在分类系统中,建立统计对象的多维多层级分类。
步骤1.1:按统计场景从数据的对象维度、级别维度、内容维度等新建第一级多分类;
步骤1.2:在第一级分类下,创建第二级分类;第二级分类下再创建第三级分类,以此类推,建立树状结构的多层级分类。
步骤2:在统计对象管理系统中,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系。统计对象可以有多个分类,记录多条关联关系数据。
步骤3:在指标管理系统中,按统计场景创建指标集。
步骤3.1新建统计对象的统计指标,并记录该指标在统计对象管理系统中对应的标识符。可以为统计对象创建多个指标。
步骤3.2定义统计对象的指标值存储在统计系统中的表结构,即统计对象的最终统计数据表。
步骤4:根据指标系统存储的指标,使用ETL工具kettle编写数据抽取脚本,在统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值。
步骤4.1查找分类系统中记录的所有对象;
步骤4.2获取指标管理系统存储的指标标识符;
步骤4.3在统计对象管理系统中,采集步骤4.1获取对象的指标标识符对应数值,根据步骤3.2定义的表结构,存储数据,完成数据采集。
步骤5:统计结果表关联分类信息后,支持查询任意分类的指标统计数据及多分类统计的比对结果
步骤6:重复步骤1、2、4,在不重新定义指标集的情况下,通过创建分类及数据标注,无须二次开发,实现更多分类场景的数据统计
步骤7:重复步骤3、4、5,在不重新组织数据的情况下,通过定义不同的统计指标集,无须二次开发,实现更多指标的数据统计
根据一个或者多个实施例,如图1所示,一种基于多维数据标注的动态数据统计系统,该包括:
分类系统,用于建立统计对象的多维多层级分类;
统计对象管理系统,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系;
指标系统,按统计场景创建指标集;
统计系统,根据指标系统创建的指标集生成统计结果表。
统计数据的采集流程包括:
查询分类系统获得被标记对象,从指标系统获取指标标识符,从统计对象管理系统中查询对象指标值,最后写入统计系统的统计结果表。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,也可以是电的,机械的或其它的形式连接。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分,或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (7)
1.一种基于多维数据标注的动态数据统计方法,包括以下步骤:
步骤1,在分类系统中,建立统计对象的多维多层级分类;
步骤2,在统计对象管理系统中,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系;
步骤3,在指标系统中,按统计场景创建指标集;
步骤4,在统计系统中,根据指标系统存储的指标,创建统计结果表,编写数据抽取脚本,统计对象管理系统中采集在分类系统中被标记的统计对象各项指标值;
步骤5,统计系统根据指标系统创建的指标集生成的统计结果表关联分类信息后,支持查询任意分类的指标统计数据及多分类统计的比对结果。
2.根据权利要求1所述的基于多维数据标注的动态数据统计方法,其特在于,进一步包括:
重复步骤1、2、4,在不重新定义指标集的情况下,通过创建分类及数据标注,实现更多分类场景的数据统计。
3.根据权利要求1所述的基于多维数据标注的动态数据统计方法,其特在于,进一步包括:
重复步骤3、4、5,在不重新组织数据的情况下,通过定义不同的统计指标集,实现更多指标的数据统计。
4.根据权利要求1所述的基于多维数据标注的动态数据统计方法,其特在于,所述步骤1包括:
步骤1.1,按统计场景从数据的对象维度、级别维度、内容维度等新建第一级多分类;
步骤1.2,在第一级分类下,创建第二级分类;第二级分类下再创建第三级分类,以此类推,建立树状结构的多层级分类。
5.根据权利要求4所述的基于多维数据标注的动态数据统计方法,其特在于,
所述步骤3包括:
步骤3.1,新建统计对象的统计指标,并记录该指标在统计对象管理系统中对应的标识符;
步骤3.2,定义统计对象的指标值存储在统计系统中的表结构,即统计对象的最终统计数据表。
6.根据权利要求5所述的基于多维数据标注的动态数据统计方法,其特在于,
所述步骤4包括:
步骤4.1,查找分类系统中记录的所有对象;
步骤4.2,获取指标管理系统存储的指标标识符;
步骤4.3,在统计对象管理系统中,采集步骤4.1获取对象的指标标识符对应数值,根据步骤3.2定义的表结构,存储数据,完成数据采集。
7.一种基于多维数据标注的动态数据统计系统,其特征在于,该包括:
分类系统,用于建立统计对象的多维多层级分类;
统计对象管理系统,使用分类系统的分类数据标注统计对象,在分类系统中存储统计对象ID及与分类的关联关系;
指标系统,按统计场景创建指标集;
统计系统,根据指标系统创建的指标集生成统计结果表。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910337145.3A CN110069575A (zh) | 2019-04-25 | 2019-04-25 | 一种基于多维数据标注的动态数据统计方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910337145.3A CN110069575A (zh) | 2019-04-25 | 2019-04-25 | 一种基于多维数据标注的动态数据统计方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110069575A true CN110069575A (zh) | 2019-07-30 |
Family
ID=67368804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910337145.3A Pending CN110069575A (zh) | 2019-04-25 | 2019-04-25 | 一种基于多维数据标注的动态数据统计方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110069575A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569360A (zh) * | 2019-09-06 | 2019-12-13 | 成都深思科技有限公司 | 网络会话数据标注与自动关联的方法 |
CN112966000A (zh) * | 2021-02-24 | 2021-06-15 | 克拉玛依油城数据有限公司 | 一种基于多维数据标注的动态数据统计方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109117467A (zh) * | 2018-07-27 | 2019-01-01 | 广东讯飞启明科技发展有限公司 | 可配置的动态数据报表的生成方法、系统、设备和介质 |
CN109241075A (zh) * | 2018-07-02 | 2019-01-18 | 深圳市彬讯科技有限公司 | 指标基础数据的处理方法、设备及计算机可读存储介质 |
-
2019
- 2019-04-25 CN CN201910337145.3A patent/CN110069575A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241075A (zh) * | 2018-07-02 | 2019-01-18 | 深圳市彬讯科技有限公司 | 指标基础数据的处理方法、设备及计算机可读存储介质 |
CN109117467A (zh) * | 2018-07-27 | 2019-01-01 | 广东讯飞启明科技发展有限公司 | 可配置的动态数据报表的生成方法、系统、设备和介质 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110569360A (zh) * | 2019-09-06 | 2019-12-13 | 成都深思科技有限公司 | 网络会话数据标注与自动关联的方法 |
CN112966000A (zh) * | 2021-02-24 | 2021-06-15 | 克拉玛依油城数据有限公司 | 一种基于多维数据标注的动态数据统计方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109952568B (zh) | 用于高速搜索或过滤大数据集的系统和方法 | |
CN105740303B (zh) | 改进的对象存储的方法及装置 | |
US9665600B2 (en) | Method for implementing database | |
CN105912687B (zh) | 海量分布式数据库存储单元 | |
CN103605651A (zh) | 一种基于olap多维分析的数据处理展现方法 | |
CN102270225A (zh) | 数据变更日志监控方法和数据变更日志监控装置 | |
US7302442B2 (en) | Method for recording, identification, selection, and reporting network transversal paths | |
CN102193990A (zh) | 一种图形数据库及其实现方法 | |
CN104298736A (zh) | 数据集合连接方法、装置及数据库系统 | |
CN110069575A (zh) | 一种基于多维数据标注的动态数据统计方法及系统 | |
CN106649368A (zh) | 数据存储方法、装置和数据查询方法、装置 | |
US11068459B2 (en) | Computer implemented and computer controlled method, computer program product and platform for arranging data for processing and storage at a data storage engine | |
CN110851663B (zh) | 管理元数据的方法和装置 | |
CN112328589A (zh) | 一种电子表格数据颗粒化及指标标准化处理方法 | |
CN111367956B (zh) | 数据统计方法及装置 | |
CN110019017B (zh) | 一种基于访问特征的高能物理文件存储方法 | |
CN104166736A (zh) | 倒排索引文件的存储方法和装置 | |
CN100357952C (zh) | 一种二进制数据的访问方法 | |
CN109446167A (zh) | 一种日志数据存储、提取方法及装置 | |
CN109739854A (zh) | 一种数据存储方法及装置 | |
CN115238153B (zh) | 一种基于虚拟仿真的文档管理方法及系统 | |
CN108108444B (zh) | 一种企业业务单元自适应系统及其实现方法 | |
CN110389939A (zh) | 一种基于NoSQL和分布式文件系统的物联网存储系统 | |
CN114416731A (zh) | 数据存储方法、数据读取方法、装置、电子设备及介质 | |
CN114297227B (zh) | 时序数据库的架构方法、查询方法和时序数据库 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190730 |