CN110781211B - 一种数据的解析方法及装置 - Google Patents

一种数据的解析方法及装置 Download PDF

Info

Publication number
CN110781211B
CN110781211B CN201810855514.3A CN201810855514A CN110781211B CN 110781211 B CN110781211 B CN 110781211B CN 201810855514 A CN201810855514 A CN 201810855514A CN 110781211 B CN110781211 B CN 110781211B
Authority
CN
China
Prior art keywords
aggregation
result
query
item
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810855514.3A
Other languages
English (en)
Other versions
CN110781211A (zh
Inventor
郑立凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wangsu Science and Technology Co Ltd
Original Assignee
Wangsu Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wangsu Science and Technology Co Ltd filed Critical Wangsu Science and Technology Co Ltd
Priority to CN201810855514.3A priority Critical patent/CN110781211B/zh
Priority to EP18928297.3A priority patent/EP3828712A4/en
Priority to US16/754,702 priority patent/US20200242121A1/en
Priority to PCT/CN2018/101751 priority patent/WO2020024342A1/zh
Publication of CN110781211A publication Critical patent/CN110781211A/zh
Application granted granted Critical
Publication of CN110781211B publication Critical patent/CN110781211B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases

Abstract

本发明公开了一种数据的解析方法及装置,所述方法和装置应用于Grafana分析系统中,其中,所述方法包括:接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;遍历所述查询结果中的各个聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。本申请提供的技术方案,能够对嵌套类数据结构进行解析。

Description

一种数据的解析方法及装置
技术领域
本发明涉及数据处理技术领域,特别涉及一种数据的解析方法及装置。
背景技术
随着数据处理技术的不断发展,能够处理的数据类型也在不断增多。面对多种多样的数据类型,通常可以利用数据分析系统,来对繁杂的数据进行查询、过滤以及分析。
目前,Grafana分析系统能够支持当下主流的一些数据源,因此在数据处理领域应用较广。然而,Grafana无法针对包含嵌套类数据结构的数据源进行分析。例如,对于ElasticSeach数据源而言,该数据源中会存在嵌套类的数据结构。ElasticSeach数据源本身是具备嵌套类数据结构的语法的,但是Grafana分析系统无法通过当前的配置生成针对嵌套类数据结构的查询语句,从而导致在利用Grafana分析系统无法对包含嵌套类数据结构的ElasticSeach数据源进行解析,这一缺陷限制了Grafana分析系统的使用的范围。
发明内容
本申请的目的在于提供一种数据的解析方法及装置,能够对嵌套类数据结构进行解析。
为实现上述目的,本申请一方面提供一种数据的解析方法,所述方法应用于Grafana分析系统中,所述方法提供有用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项,所述方法包括:接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项;生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;遍历所述查询结果中的各个所述聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。
为实现上述目的,本申请另一方面还提供一种数据的解析装置,所述装置应用于Grafana分析系统中,所述装置包括:聚合项新建单元,提供用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项;聚合项流程生成单元,用于接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项;查询结果获取单元,用于生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;查询结果解析单元,用于遍历所述查询结果中的各个所述聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。
由上可见,本申请提供的技术方案,可以预先在Grafana分析系统内置的聚合项中,添加用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项。这样,在接收到针对包含嵌套类数据结构的目标数据源的解析任务时,首先可以生成所述解析任务对应的聚合项流程。在该聚合项流程中,对于解析任务中的普通流程步骤而言,可以选用Grafana分析系统内置的对应聚合项,而在对所述目标数据源中嵌套类的数据结构进行分析时,可以在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项。这样,聚合项流程中除了包含常规的聚合项,还可以包含针对嵌套类数据结构的第一聚合项和第二聚合项。然后,根据该聚合项流程,可以生成对应的查询语句。具体地,聚合项流程中包含各个聚合项,那么在生成查询语句时,可以根据ElasticSearch的语法,逐一生成各个聚合项的子语句。由于ElasticSearch本身支持嵌套类数据结构的语法,因此针对上述的第一聚合项和第二聚合项,也能够正常生成对应的子语句。这样,各个子语句便可以形成上述的查询语句。后续,可以对目标数据源执行该查询语句,从而可以得到对应的查询结果。在执行该查询语句时,可以分别执行其中的各个子语句,从而可以得到各个子语句对应的聚合结果,这些聚合结果便可以形成上述的查询结果。由于该查询结果与查询条件一致,也是具备嵌套类的数据结构,因此Grafana分析系统无法直接识别该查询结果中的内容。鉴于此,在本申请中,可以遍历所述查询结果中的各个聚合结果,并获取各个聚合结果对应的聚合信息。最终,可以将这些聚合信息进行汇总,从而得到所述解析任务对应的解析结果。由此可见,本申请通过配置额外的聚合项,以及通过遍历聚合结果的方式,可以使得Grafana分析系统能够对嵌套类的数据结构进行分析,从而扩展了Grafana分析系统的使用范围。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例中数据的解析方法示意图;
图2是本发明实施例中逻辑步骤的流程图;
图3是本发明实施例中遍历聚合结果的流程示意图;
图4是本发明实施例中数据的解析装置的功能模块示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
实施例一
本申请提供一种数据的解析方法,该方法可以应用于Grafana分析系统中。在Grafana分析系统中,对数据的查询、过滤、分析等处理方式,均可以通过聚合项来完成。在Grafana分析系统中预先可以内置大量的聚合项,这些聚合项例如可以实现过滤某个时间段的数据、将数据按照类别进行分组、统计数据出现的数量等功能。然而,Grafana分析系统中并不存在针对嵌套类数据结构的聚合项。在本实施方式中,可以预先在Grafana分析系统中通过自定义聚合项的方式,额外配置用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项。这样,后续在面对嵌套类的数据结构时,在Grafana分析系统中便可以选用上述的第一聚合项和第二聚合项,来进入和退出嵌套类数据结构。
请参阅图1,本申请提供的数据的解析方法可以包括以下步骤。
S1:接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项。
在本实施方式中,所述目标数据源可以是待分析的数据源,该目标数据源中可以包括大量的信息,这些信息中有部分信息可以是嵌套类的数据结构。举例来说明,所述目标数据源可以是如表1所示的图书借阅数据。
表1图书借阅数据示意表
Figure BDA0001748418450000041
如表1所示,在该目标数据源中,书籍借阅信息中的数据采用的是嵌套类的数据结构。在书籍借阅信息中,包含了名称和借阅量的嵌套。
在本实施方式中,针对该目标数据源,用户可以向Grafana分析系统下达解析任务,该解析任务例如可以是“统计2018年1月1日各个图书分类中,借阅量最高的书籍名称”。Grafana分析系统接收到该解析任务之后,可以生成所述解析任务对应的聚合项流程。具体地,在生成所述聚合项流程时,首先可以确定用于实现所述解析任务所采取的多个逻辑步骤。例如,对于上述的解析任务,可以确定如图2所示的逻辑步骤。第一个逻辑步骤可以是“从目标数据源中筛选出2018年1月1日的数据”,第二个逻辑步骤可以是“将筛选得到的数据按照图书分类进行分组”,第三个逻辑步骤可以是“在分组后的数据中,根据书籍名称再次分组”,第四个逻辑步骤可以是“把具备相同名称的书籍的借阅量进行汇总”,最后一个逻辑步骤便可以是“确定借阅量最高的图书名称”。这些逻辑步骤可以按照执行顺序,从上到下依次排序。然而,由于书籍借阅信息中的数据为嵌套类数据结构,Grafana无法直接对书籍借阅信息中的数据进行处理。因此,如图2所示,当需要对书籍借阅信息中的数据进行分析时,需要在上述的第二个逻辑步骤和第三个逻辑步骤之间,增加“进入书籍借阅信息”的逻辑步骤,此外,在对书籍借阅信息分析完成之后,可以在第四个逻辑步骤和最后一个逻辑步骤之间增加“退出书籍借阅信息”的逻辑步骤。这样,总的逻辑步骤便可以如图2所示。
在本实施方式中,确定出实现解析任务所需的逻辑步骤之后,便可以在Grafana分析系统中针对各个逻辑步骤选用对应的聚合项。其中,后来添加的逻辑步骤,对应的是进入嵌套类数据结构和退出嵌套类数据结构的动作,因此,针对这两个逻辑步骤,可以分别选用第一聚合项和第二聚合项。也就是说,在对所述目标数据源中嵌套类的数据结构进行分析时,可以在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,可以在所述聚合项流程中添加所述第二聚合项。而针对其它逻辑步骤,都是可以通过Grafana分析系统中正常的聚合项来表示。这样,按照选用聚合项的顺序,可以将选用的聚合项形成所述解析任务对应的聚合项流程。该聚合项流程中的各个聚合项,可以与上述的各个逻辑步骤一一对应。
S3:生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果。
在本实施方式中,在得到所述聚合项流程之后,可以按照ElasticSearch的语法,针对所述聚合项流程中的各个聚合项,生成对应的子语句。由于ElasticSearh语法本身支持嵌套类的数据结构,因此可以正常生成上述第一聚合项和第二聚合项各自的子语句。然后,可以将生成的子语句按照聚合项在所述聚合项流程中的排列顺序进行排序,从而保持各个子语句的逻辑关系。这样,排序后的子语句便可以作为所述聚合项流程对应的查询语句。
在本实施方式中,Grafana分析系统中的各个聚合项,均可以具备唯一标识。这样,根据聚合项生成的子语句也具备唯一性,可以沿用该聚合项的唯一标识。因此,在查询语句中,各个子语句可以具备各自的唯一标识,通过唯一标识,便可以识别出对应的子语句。
在本实施方式中,在生成查询语句之后,可以针对该目标数据源执行该查询语句,从而得到所述目标数据源的查询结果。在执行该查询语句时,可以按照所述查询语句中各个子语句的排列顺序,依次对所述目标数据源执行各个子语句。每执行一个子语句,便可以得到一个对应的聚合结果。这样,在执行完所述查询语句之后,便可以得到由多个聚合结果构成的查询结果。由于查询语句中各个子语句具备唯一标识,那么为了区分查询结果中的多个聚合结果,可以将子语句具备的唯一标识分配给对应的聚合结果,这样,所述查询结果中某个子语句的聚合结果便可以携带该子语句的唯一标识。
S5:遍历所述查询结果中的各个聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果
在本实施方式中,在得到查询结果之后,由于原本的查询语句是针对嵌套类数据结构生成的,因此得到的查询结构也是嵌套类的数据结构。而Grafana分析系统无法针对嵌套类的查询结果进行解析,因此,本实施方式中还需要提供一种针对嵌套类的查询结果的解析方法。
在得到查询结果之后,由于查询结果中的聚合结果之间存在嵌套关系,因此可以由外向内逐一分析各个聚合结果,从而得到最终的解析结果。具体地,每个聚合结果都可以具备各自的聚合信息,该聚合信息根据聚合结果所处位置的不同,可以对应不同的含义。举例来说,针对图2的逻辑步骤最终得到查询结果后,该查询结构中的聚合结果实际上也是与逻辑步骤一一对应的。这样,针对“从目标数据源中筛选出2018年1月1日的数据”这个逻辑步骤而言,其对应的聚合结果便可以是借阅时间为2018年1月1日的数据,该聚合结果的聚合信息可以是“2018年1月1日”。而针对“将筛选得到的数据按照图书分类进行分组”这个逻辑步骤而言,其对应的聚合结果的聚合信息可以是分组后的图书类别,例如该聚合信息可以是表1中的“金融”。而对于最后一个逻辑步骤“确定借阅量最高的图书名称”,其对应的聚合结果的聚合信息可以是表1中的“金融政治”以及数值“100”。由此可见,若当前的聚合结果不是查询结果中的最后一个聚合结果,那么当前的聚合结果的聚合信息可以用于描述该聚合结果的类型。该类型例如可以是上述的时间“2018年1月1日”和图书类别“金融”。而如果当前的聚合结果为查询结果中的最后一个聚合结果时,该聚合结果的聚合信息通常会表征一个数值,例如该聚合信息可以是上述表征最高借阅量的“100”。
因此,请参阅图3,在本实施方式中,首先可以检测所述查询语句中各个子语句的唯一标识,然后可以遍历检测到的所述唯一标识,从而对携带唯一标识的聚合结果进行聚合信息的提取。具体地,针对当前的唯一标识,可以从所述查询结果中识别出携带所述当前的唯一标识的当前聚合结果。然后,可以判断所述当前聚合结果是否是所述查询结果中的最后一个结果,若否,则可以收集所述当前聚合结果中的属性信息,该属性信息例如可以是上述的用于描述聚合结果类型的信息。这样,所述属性信息便可以作为所述聚合结果的聚合信息。当然,需要说明的是,在收集属性信息之前,还可以判断该聚合结果中是否有需要收集的属性信息,如果有才收集。在某些情况下,有些聚合结果并不包含属性信息,例如上述第一聚合项和第二聚合项对应的聚合结果而言,便可以不包含属性信息。
在本实施方式中,在完成当前聚合结果的属性信息的收集过程之后,可以对下一个唯一标识进行分析。按照同样的过程,可以判断下一个唯一标识对应的聚合结果是否是最后一个聚合结果,如果依然不是,那可以按照上述的方式进行处理。如果是最后一个聚合结果,那么该聚合结果通常会包含表征统计量的一个数值。在这种情况下,可以从所述当前聚合结果中识别出表征统计量的聚合值,并将所述聚合值作为所述当前聚合结果的聚合信息。
在本实施方式中,在得到各个聚合结果的聚合信息之后,可以按照获取聚合信息的顺序,汇总各个所述聚合信息,并将汇总后的聚合信息作为所述解析任务的解析结果。例如,上述的统计最高借阅量的图书名称的例子中,最终得到的解析结果可以是“2018年1月1日金融类图书借阅量最高的是金融政治一书,该书籍的借阅量为100”。当然,在实际应用中,可以按照解析结果形式的不同,将解析结果表现为文字或者图表或者其它形式,本申请对解析结果的形式并不做限定。
实施例二
请参阅图4,本申请还提供一种数据的解析装置,所述装置可以应用于上述的Grafana分析系统中,所述装置包括:
聚合项新建单元,提供用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项;
聚合项流程生成单元,用于接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项;
查询结果获取单元,用于生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;
查询结果解析单元,用于遍历所述查询结果中的各个所述聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。
在一个实施方式中,所述查询语句中的子语句具备唯一标识,并且所述查询结果中所述子语句的聚合结果携带所述唯一标识;相应地,所述查询结果解析单元包括:
标识遍历模块,用于检测所述查询语句中各个子语句的唯一标识,并遍历检测到的所述唯一标识;
聚合结果识别模块,用于针对当前的唯一标识,从所述查询结果中识别出携带所述当前的唯一标识的当前聚合结果;
聚合信息收集模块,用于判断所述当前聚合结果是否是所述查询结果中的最后一个结果,若否,收集所述当前聚合结果中的属性信息,并将所述属性信息作为所述聚合结果的聚合信息;其中,所述属性信息用于描述所述聚合结果的类型。
在一个实施方式中,所述查询结果解析单元还包括:
聚合值识别模块,用于若所述当前聚合结果是所述查询结果中的最后一个结果,从所述当前聚合结果中识别聚合值,并将所述聚合值作为所述当前聚合结果的聚合信息
由上可见,本申请提供的技术方案,可以预先在Grafana分析系统内置的聚合项中,添加用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项。这样,在接收到针对包含嵌套类数据结构的目标数据源的解析任务时,首先可以生成所述解析任务对应的聚合项流程。在该聚合项流程中,对于解析任务中的普通流程步骤而言,可以选用Grafana分析系统内置的对应聚合项,而在对所述目标数据源中嵌套类的数据结构进行分析时,可以在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项。这样,聚合项流程中除了包含常规的聚合项,还可以包含针对嵌套类数据结构的第一聚合项和第二聚合项。然后,根据该聚合项流程,可以生成对应的查询语句。具体地,聚合项流程中包含各个聚合项,那么在生成查询语句时,可以根据ElasticSearch的语法,逐一生成各个聚合项的子语句。由于ElasticSearch本身支持嵌套类数据结构的语法,因此针对上述的第一聚合项和第二聚合项,也能够正常生成对应的子语句。这样,各个子语句便可以形成上述的查询语句。后续,可以对目标数据源执行该查询语句,从而可以得到对应的查询结果。在执行该查询语句时,可以分别执行其中的各个子语句,从而可以得到各个子语句对应的聚合结果,这些聚合结果便可以形成上述的查询结果。由于该查询结果与查询条件一致,也是具备嵌套类的数据结构,因此Grafana分析系统无法直接识别该查询结果中的内容。鉴于此,在本申请中,可以遍历所述查询结果中的各个聚合结果,并获取各个聚合结果对应的聚合信息。最终,可以将这些聚合信息进行汇总,从而得到所述解析任务对应的解析结果。由此可见,本申请通过配置额外的聚合项,以及通过遍历聚合结果的方式,可以使得Grafana分析系统能够对嵌套类的数据结构进行分析,从而扩展了Grafana分析系统的使用范围。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的解析方法,其特征在于,所述方法应用于Grafana分析系统中,所述方法提供有用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项,所述方法包括:
接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项;
生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;
遍历所述查询结果中的各个聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。
2.根据权利要求1所述的方法,其特征在于,生成所述解析任务对应的聚合项流程包括:
确定用于实现所述解析任务所采取的多个逻辑步骤,所述多个逻辑步骤按照执行顺序进行排序;
针对各个逻辑步骤选用对应的聚合项,并按照选用聚合项的顺序,将选用的聚合项形成所述解析任务对应的聚合项流程。
3.根据权利要求1所述的方法,其特征在于,生成所述聚合项流程对应的查询语句包括:
针对所述聚合项流程中的各个聚合项,生成对应的子语句,并将生成的子语句按照聚合项在所述聚合项流程中的排列顺序进行排序;
将排序后的子语句作为所述聚合项流程对应的查询语句。
4.根据权利要求1所述的方法,其特征在于,通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果包括:
按照所述查询语句中各个子语句的排列顺序,依次对所述目标数据源执行各个子语句,分别得到各个子语句对应的聚合结果,并将各个子语句对应的聚合结果作为所述目标数据源的查询结果。
5.根据权利要求1所述的方法,其特征在于,所述查询语句中的子语句具备唯一标识,并且所述查询结果中所述子语句的聚合结果携带所述唯一标识;相应地,遍历所述查询结果中的各个所述聚合结果,以获取各个所述聚合结果的聚合信息包括:
检测所述查询语句中各个子语句的唯一标识,并遍历检测到的所述唯一标识;
针对当前的唯一标识,从所述查询结果中识别出携带所述当前的唯一标识的当前聚合结果;
判断所述当前聚合结果是否是所述查询结果中的最后一个结果,若否,收集所述当前聚合结果中的属性信息,并将所述属性信息作为所述聚合结果的聚合信息;其中,所述属性信息用于描述所述聚合结果的类型。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
若所述当前聚合结果是所述查询结果中的最后一个结果,从所述当前聚合结果中识别聚合值,并将所述聚合值作为所述当前聚合结果的聚合信息。
7.根据权利要求1所述的方法,其特征在于,根据获取的所述聚合信息,生成所述解析任务的解析结果包括:
按照获取聚合信息的顺序,汇总各个所述聚合信息,并将汇总后的聚合信息作为所述解析任务的解析结果。
8.一种数据的解析装置,其特征在于,所述装置应用于Grafana分析系统中,所述装置包括:
聚合项新建单元,提供用于表征进入嵌套类数据结构的第一聚合项和用于表征退出嵌套类数据结构的第二聚合项;
聚合项流程生成单元,用于接收针对目标数据源的解析任务,并生成所述解析任务对应的聚合项流程;其中,在对所述目标数据源中嵌套类的数据结构进行分析时,在所述聚合项流程中添加所述第一聚合项,并且在对所述嵌套类的数据结构完成分析时,在所述聚合项流程中添加所述第二聚合项;
查询结果获取单元,用于生成所述聚合项流程对应的查询语句,所述查询语句中包括与所述聚合项流程中各个聚合项相匹配的子语句,并通过所述查询语句对所述目标数据源进行分析,得到所述目标数据源的查询结果,所述查询结果中包括各个所述子语句的聚合结果;
查询结果解析单元,用于遍历所述查询结果中的各个所述聚合结果,以获取所述聚合结果的聚合信息,并根据获取的所述聚合信息,生成所述解析任务的解析结果。
9.根据权利要求8所述的装置,其特征在于,所述查询语句中的子语句具备唯一标识,并且所述查询结果中所述子语句的聚合结果携带所述唯一标识;相应地,所述查询结果解析单元包括:
标识遍历模块,用于检测所述查询语句中各个子语句的唯一标识,并遍历检测到的所述唯一标识;
聚合结果识别模块,用于针对当前的唯一标识,从所述查询结果中识别出携带所述当前的唯一标识的当前聚合结果;
聚合信息收集模块,用于判断所述当前聚合结果是否是所述查询结果中的最后一个结果,若否,收集所述当前聚合结果中的属性信息,并将所述属性信息作为所述聚合结果的聚合信息;其中,所述属性信息用于描述所述聚合结果的类型。
10.根据权利要求9所述的装置,其特征在于,所述查询结果解析单元还包括:
聚合值识别模块,用于若所述当前聚合结果是所述查询结果中的最后一个结果,从所述当前聚合结果中识别聚合值,并将所述聚合值作为所述当前聚合结果的聚合信息。
CN201810855514.3A 2018-07-31 2018-07-31 一种数据的解析方法及装置 Active CN110781211B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810855514.3A CN110781211B (zh) 2018-07-31 2018-07-31 一种数据的解析方法及装置
EP18928297.3A EP3828712A4 (en) 2018-07-31 2018-08-22 DATA SAVING METHOD AND DEVICE
US16/754,702 US20200242121A1 (en) 2018-07-31 2018-08-22 Method and apparatus for analyzing data
PCT/CN2018/101751 WO2020024342A1 (zh) 2018-07-31 2018-08-22 一种数据的解析方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810855514.3A CN110781211B (zh) 2018-07-31 2018-07-31 一种数据的解析方法及装置

Publications (2)

Publication Number Publication Date
CN110781211A CN110781211A (zh) 2020-02-11
CN110781211B true CN110781211B (zh) 2022-04-05

Family

ID=69230529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810855514.3A Active CN110781211B (zh) 2018-07-31 2018-07-31 一种数据的解析方法及装置

Country Status (4)

Country Link
US (1) US20200242121A1 (zh)
EP (1) EP3828712A4 (zh)
CN (1) CN110781211B (zh)
WO (1) WO2020024342A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111752948A (zh) * 2020-06-24 2020-10-09 深圳市道通智能航空技术有限公司 一种航点任务信息存储方法、读取方法及无人机

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1482424A2 (en) * 2003-05-27 2004-12-01 Cognos Incorporated System and method of query transformation
CN103064876A (zh) * 2012-10-30 2013-04-24 中国标准化研究院 面向地理信息应用的空间数据服务化获取方法
CN106254121A (zh) * 2016-08-11 2016-12-21 浪潮软件股份有限公司 一种自动化部署与管理大数据集群的方法
CN106776878A (zh) * 2016-11-29 2017-05-31 西安交通大学 一种基于ElasticSearch对MOOC课程进行分面检索的方法
CN107169033A (zh) * 2017-04-17 2017-09-15 东北大学 基于数据模式转换和并行框架的关系数据查询优化方法
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN107463479A (zh) * 2017-07-11 2017-12-12 上海精数信息科技有限公司 一种社交数据监控系统
CN107491561A (zh) * 2017-09-25 2017-12-19 北京航空航天大学 一种基于本体的城市交通异构数据集成系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106325856B (zh) * 2016-08-10 2019-08-20 杭州玳数科技有限公司 一种实现Elasticsearch Dsl规则可视化编辑和数据展现的方法与系统
US10009375B1 (en) * 2017-12-01 2018-06-26 KnowBe4, Inc. Systems and methods for artificial model building techniques

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1482424A2 (en) * 2003-05-27 2004-12-01 Cognos Incorporated System and method of query transformation
CN103064876A (zh) * 2012-10-30 2013-04-24 中国标准化研究院 面向地理信息应用的空间数据服务化获取方法
CN106254121A (zh) * 2016-08-11 2016-12-21 浪潮软件股份有限公司 一种自动化部署与管理大数据集群的方法
CN106776878A (zh) * 2016-11-29 2017-05-31 西安交通大学 一种基于ElasticSearch对MOOC课程进行分面检索的方法
CN107169033A (zh) * 2017-04-17 2017-09-15 东北大学 基于数据模式转换和并行框架的关系数据查询优化方法
CN107368517A (zh) * 2017-06-02 2017-11-21 上海恺英网络科技有限公司 一种大数据流查询的方法及设备
CN107463479A (zh) * 2017-07-11 2017-12-12 上海精数信息科技有限公司 一种社交数据监控系统
CN107491561A (zh) * 2017-09-25 2017-12-19 北京航空航天大学 一种基于本体的城市交通异构数据集成系统及方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
[Feature request]ElasticSearch-aggregation by terms #5428;匿名;《https://github.com/grafana/grafana/issues/5428》;20160624;第1-4页 *
An introduction to hierarchical linear modeling;Heather Woltman 等;《Tutorials in Quantitative Methods for Psychology》;20120201;第8卷(第01期);第52-69页 *
ES Nested type bucket aggregation.(#7863)(#7863) #7863;Sharma Archit;《https://github.com/grafana/grafana/pull/7863》;20171201;第1-16页 *
fixes #4693 and fixes #4526:add Nested type bucket aggregation support for elasticsearch datasource #4694;Sharma Archit;《https://github.com/grafana/grafana/pull/4694》;20160401;第1-10页 *
大数据环境下数据分析与可视化核心技术研究;王宇宁;《中国优秀硕士学位论文全文数据库 信息科技辑》;20180415(第04期);I138-2014 *
面向"天地图·常州"的地理数据解析与聚合方法研究;叶琳;《中国优秀硕士学位论文全文数据库 基础科学辑》;20140215(第02期);A008-41 *

Also Published As

Publication number Publication date
EP3828712A1 (en) 2021-06-02
CN110781211A (zh) 2020-02-11
WO2020024342A1 (zh) 2020-02-06
EP3828712A4 (en) 2021-09-15
US20200242121A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN102314460B (zh) 数据分析方法、系统及服务器
WO2020147488A1 (zh) 异常群体识别方法及装置
US9390176B2 (en) System and method for recursively traversing the internet and other sources to identify, gather, curate, adjudicate, and qualify business identity and related data
CN105824855B (zh) 一种对数据对象筛选分类的方法、装置以及电子设备
KR101510647B1 (ko) 이슈 템플릿 추출 기반의 웹 동향 분석 방법 및 장치
CN107729330B (zh) 获取数据集的方法和装置
CN110781211B (zh) 一种数据的解析方法及装置
CN114049016A (zh) 指标相似性判断方法、系统、终端设备及计算机存储介质
CN110874366A (zh) 数据处理、查询方法和装置
CN110597796B (zh) 基于全生命周期的大数据实时建模方法及系统
CN107291749B (zh) 一种数据指标关联关系的确定方法及装置
CN106775694A (zh) 一种软件配置代码制品的层次分类方法
CN103942203A (zh) 一种信息处理方法及主题信息库制作系统
CN114138913A (zh) 一种数据库的建模方法、装置、设备及计算机存储介质
KR20220095654A (ko) 소셜 데이터 수집 분석 시스템
CN110765100A (zh) 标签的生成方法、装置、计算机可读存储介质及服务器
CN111209284A (zh) 基于元数据的分表方法及装置
CN110245265A (zh) 一种对象分类方法、装置、存储介质及计算机设备
CN112711699B (zh) 用户划分方法、系统、计算机设备及可读存储介质
CN113064597B (zh) 一种冗余代码的识别方法、装置和设备
CN115757769A (zh) 一种应用大数据分析的人工智能方法及系统
CN109522340B (zh) 一种数据统计方法、装置及设备
CN112307165A (zh) 一种核心专利判断方法及装置
JP2008262378A (ja) 品質管理データ表示システム
CN112711651A (zh) 一种舆情监测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant