CN106933916B - Json字符串的处理方法及装置 - Google Patents

Json字符串的处理方法及装置 Download PDF

Info

Publication number
CN106933916B
CN106933916B CN201511032523.5A CN201511032523A CN106933916B CN 106933916 B CN106933916 B CN 106933916B CN 201511032523 A CN201511032523 A CN 201511032523A CN 106933916 B CN106933916 B CN 106933916B
Authority
CN
China
Prior art keywords
aggregation
character string
processing
parameters
field set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511032523.5A
Other languages
English (en)
Other versions
CN106933916A (zh
Inventor
洪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Gridsum Technology Co Ltd
Original Assignee
Beijing Gridsum Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Gridsum Technology Co Ltd filed Critical Beijing Gridsum Technology Co Ltd
Priority to CN201511032523.5A priority Critical patent/CN106933916B/zh
Publication of CN106933916A publication Critical patent/CN106933916A/zh
Application granted granted Critical
Publication of CN106933916B publication Critical patent/CN106933916B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/288Entity relationship models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • G06F16/24554Unary operations; Data partitioning operations
    • G06F16/24556Aggregation; Duplicate elimination

Abstract

本发明公开了一种JSON字符串的处理方法及装置。其中,该方法包括:获取待处理的JSON字符串;根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。本发明解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。

Description

JSON字符串的处理方法及装置
技术领域
本发明涉及数据存储领域,具体而言,涉及一种JSON字符串的处理方法及装置。
背景技术
目前,在对大数据进行存储时,通常会采用Impala等列存储引擎。对于具有多对多关联的数据表,往往存在着在实体与实体之间的多对多关联。在上述具有多对多关联的数据表进行查询时,表连接Shuffle开销比较大,查询性能不是很高。
为了提高列存储引擎的查询性能,可以将具有多对多关联的多条数据以JSON(JavaScript Object Notation,JavaScript对象表示法)数据格式存储在一个字符串当中,并存储于同一个字段内。由于多条数据存储于一个JSON格式的字符串中,当需要对JSON字符串中的数据内容进行分析时,通常需要先对JSON字符串进行反序列化处理后,再进行后续的分析处理,往往运行效率很低。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种JSON字符串的处理方法及装置,以至少解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。
根据本发明实施例的一个方面,提供了一种JSON字符串的处理方法,包括:获取待处理的JSON字符串;根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。
进一步地,聚合处理参数至少包括:筛选参数和聚合参数,其中,按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标,包括:按照筛选参数对字段集合进行筛选,生成待聚合字段集合;按照聚合参数对聚合字段集合进行聚合处理,确定聚合指标。
进一步地,根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合,包括:确定第一格式规则中用于对JSON字符串中的多条信息进行分割的预设字符;根据预设字符对JSON字符串进行拆分,生成字段集合。
进一步地,在根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合之后,方法还包括:获取预先设置的筛选条件,其中,筛选条件至少包括:关键字;利用筛选条件对字段集合中的字段进行筛选,生成新字段集合。
进一步地,按照预先设置的聚合处理参数对字段进行聚合处理,确定与聚合处理参数对应的聚合指标,包括:获取预先设置的聚合处理参数,其中,聚合处理参数至少包括:求和参数、计数参数;根据聚合处理参数对字段集合中的字段进行聚合处理,确定与聚合处理参数对应的聚合指标。
进一步地,在按照预先设置的聚合处理参数对字段进行聚合处理,确定聚合处理参数对应的聚合指标之后,方法还包括:按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串。
进一步地,在按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串之前,方法还包括:按照预先设置的分析参数对聚合指标进行处理,得到新聚合指标。
根据本发明实施例的另一方面,还提供了一种JSON字符串的处理装置,包括:第一获取模块,用于获取待处理的JSON字符串;第一生成模块,用于根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;确定模块,用于按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。
进一步地,聚合处理参数至少包括:筛选参数和聚合参数,其中,确定模块包括:子筛选模块,用于按照筛选参数对字段集合进行筛选,生成待聚合字段集合;子聚合模块,用于按照聚合参数对聚合字段集合进行聚合处理,确定聚合指标。
进一步地,其特征在于,装置还包括:第三生成模块,用于按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串。
在本发明实施例中,采用获取待处理的JSON字符串;根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标的方式,达到了直接对JSON字符串中的数据信息进行聚合处理的目的,从而实现了提高对JSON字符串的处理效率的技术效果,进而解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种JSON字符串的处理方法的流程图;
图2是根据本发明实施例的一种JSON字符串的处理装置的示意图;以及
图3是根据本发明实施例的一种可选的JSON字符串的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述预设的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种JSON字符串的处理方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的JSON字符串的处理方法的流程图,如图1所示,该方法包括如下步骤:
步骤S21,获取待处理的JSON字符串。
步骤S23,根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合。
步骤S25,按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。
具体的,通过步骤S21至步骤S25,首先,将获取到的JSON字符串进行拆分处理,拆分得到与JSON字符串对应的字段集合,从而根据字段确定JSON字符串中包含的多条数据信息。然后,根据预先设置的聚合处理参数对字段集合中的数据信息进行聚合处理,从而得到相应的聚合指标。
其中,在生成JSON字符串时,是按照固定的格式规则进行生成的,因此,可以通过对JSON字符串中用于分割数据信息的预设字符进行识别,实现对JSON字符串进行拆分,从而得到字段集合。
通过上述方法,达到了直接对JSON字符串中的数据信息进行聚合处理的目的,从而实现了提高对JSON字符串的处理效率的技术效果,进而解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。
作为一种可选的实施方式,所述聚合处理参数至少包括:筛选参数和聚合参数,其中,在步骤S25按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理,确定聚合指标中,可以包括:
步骤S251,按照所述筛选参数对所述字段集合进行筛选,生成待聚合字段集合。
步骤S253,按照所述聚合参数对所述聚合字段集合进行聚合处理,确定所述聚合指标。
具体的,通过步骤S251至步骤S253,首先,利用筛选参数对字段集合中的字段集合进行维度过滤,得到用于进行聚合处理的聚合字段集合。然后,利用聚合参数对聚合字段集合中的字段信息进行聚合处理,从而最终得到聚合指标。
作为一种可选的实施方式,在步骤S23根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合中,可以包括:
步骤S231,确定第一格式规则中用于对JSON字符串中的多条信息进行分割的预设字符。
步骤S233,根据预设字符对JSON字符串进行拆分,生成字段集合。
具体的,在步骤S231至步骤S233中,首先,根据用于生成JSON字符串的第一格式规则,确定第一格式规则中用于对多条信息进行分割的预设字符。然后,利用预设字符对JSON字符串进行拆分,得到JSON字符串中与各条信息对应的字段集合。
作为一种可选的实施方式,在步骤S23根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合之后,方法还可以包括:
步骤S241,获取预先设置的筛选条件,其中,筛选条件至少包括:关键字。
步骤S243,利用筛选条件对字段集合中的字段进行筛选,生成新字段集合。
通过步骤S241至步骤S243,在对JSON字符串进行拆分之后,可以先按照预先设置的筛选条件对字段集合中的信息进行筛选,将不符合筛选条件的信息从字段集合中去除掉,生成新字段集合。通过上述筛选,可以聚合处理时,提高对JSON字符串进行处理的精确度。其中,筛选条件可以包括:关键字、时间等,可以根据实际需要进行设置,此处不作限制。
作为一种可选的实施方式,在步骤S25按照预先设置的聚合处理参数对字段进行聚合处理,确定与聚合处理参数对应的聚合指标中,包括:
步骤S251,获取预先设置的聚合处理参数,其中,聚合处理参数至少包括:求和参数、计数参数。
步骤S253,根据聚合处理参数对字段集合中的字段进行聚合处理,确定与聚合处理参数对应的聚合指标。
具体的,在步骤S251至步骤S253中,获取预先设置的至少一个聚合处理参数,并分别利用各个聚合处理参数对字段集合中的各个字段进行相应的聚合处理,以最终得到聚合指标。其中,聚合指标与聚合处理参数对应,并可以采用与记录聚合处理参数的字符串相应的格式规则对其进行合并。
作为一种可选的实施方式,在步骤S25按照预先设置的聚合处理参数对字段进行聚合处理,确定聚合处理参数对应的聚合指标之后,方法还可以包括:
步骤S27,按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串。
具体的,在经过不同的聚合处理,通常可以得到多个聚合指标。通过步骤S27,对得到的多个聚合指标进行处理,从而生成一个聚合指标字符串,从而便于存储和读取。
作为一种可选的实施方式,在实际应用当中,Json字符串的原生处理方法可以包括如下步骤:
步骤1,按“{}”对Json字符串进行拆解,拆分得到每个PVObject对象对应的子Json字符串。
步骤2,通过传入的筛选参数,找到需要的列的值,其中,子Json字符串中以“:”为预设标识对各个列对应的值进行分割。
步骤3,通过传入的聚合处理参数确定所需要进行聚合处理的方式(如Count,Sum等),遍历每个PVObject对应的列,依次对相应列做相应的聚合处理。
步骤4,经过聚合处理返回得到的所有的聚合指标,可再一次通过预设标识进行字符串的拼接。
作为一种可选的实施方式,在步骤S27按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串之前,方法还包括:
步骤S26,按照预先设置的分析参数对聚合指标进行处理,生成新聚合指标。
具体的,通过聚合处理参数对字段进行处理,虽然可以得到聚合处理后的聚合指标,有时并不能满足需求。因此,可以通过步骤S26,利用预先设置的分析参数对聚合指标进行进一步的分析处理,得到新的聚合指标。
当然,还可以根据实际需要,利用分析参数对聚合指标以不同的处理方式进行多次处理,此处不做具体限制。
作为一种可选的实施方式,在实际应用当中,用于通过AggregateMeasure函数可以实现上述步骤的功能。
具体的,上述AggregateMeasure函数的函数格式可以被设计为:
String AggregateMeasure(string filter,string measure);
其中,函数名为AggregateMeasure,意为聚合指标,在AggregateMeasure前面的String为返回值,用于返回聚合指标的结果;string filter为筛选参数,例如:UrlContains“xxx”(Url包含”xxx”),如有多个筛选参数,则可通过预设字符进行分隔;stringmeasure代表聚合方式的聚合方式信息,如sum(pvduration),表示对pvduration进行求和,生成相应的聚合指标。
作为一种可选的实施方式,预设字符可以为冒号、分号等。返回的用于记录聚合指标的聚合指标字符串以“IsMatched:1;PVCount:2;PVDuration:10”、预设字符为“分号”为例进行举例说明:PVArray为符合过滤条件的网页浏览记录PV的数量,PVDuration为符合条件的所有所有网页浏览记录的持续时间Duration之和。由JSON字符串可知,符合过滤条件的网页浏览记录PV共有2个,符合过滤条件的PV所有网页浏览记录的持续时间为10s。当需要计算平均值Avg时,需要用到总的PV的数量和总的PV持续时间两个派生列,因此,得到上面的返回值,再通过例如正则字符串处理函数或是Impala自带的字符串处理函数,还可以方便的获取到相关列的值。而在需要多个列的信息时,可以通过预设字符将这些信息列进行拼接,在使用时通过对预设字符进行识别,从而实现对其进行拆解。
图2是根据本发明实施例的JSON字符串的处理装置的示意图。如图2所示,该装置包括:第一获取模块21、第一生成模块23和确定模块25。
其中,第一获取模块21,用于获取待处理的JSON字符串;第一生成模块23,用于根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;确定模块25,用于按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。
具体的,通过上述第一获取模块21、第一生成模块23和确定模块25,首先,将获取到的JSON字符串进行你给拆分处理,拆分得到与JSON字符串对应的字段集合,从而根据字段确定JSON字符串中包含的多条数据信息。然后,根据预先设置的聚合处理参数对字段集合中的数据信息进行聚合处理,从而得到相应的聚合指标。
其中,在生成JSON字符串时,是按照固定的格式规则进行生成的,因此,可以通过对JSON字符串中用于分割数据信息的预设字符进行识别,实现对JSON字符串进行拆分,从而得到字段集合。
通过上述方法,达到了直接对JSON字符串中的数据信息进行聚合处理的目的,从而实现了提高对JSON字符串的处理效率的技术效果,进而解决了在做聚合处理时由于JSON的反序列化处理性能差导致的运行效率低的技术问题。
作为一种可选的实施方式,聚合处理参数至少包括:筛选参数和聚合参数,其中,确定模块25包括:子筛选模块251和子聚合模块253。
其中,子筛选模块251,用于按照筛选参数对字段集合进行筛选,生成待聚合字段集合;子聚合模块253,用于按照聚合参数对聚合字段集合进行聚合处理,确定聚合指标。
具体的,通过上述子筛选模块251和子聚合模块253,首先,利用筛选参数对字段集合中的字段集合进行维度过滤,得到用于进行聚合处理的聚合字段集合。然后,利用聚合参数对聚合字段集合中的字段信息进行聚合处理,从而最终得到聚合指标。
作为一种可选的实施方式,在上述第一生成模块23中,可以包括:第一子确定模块和子生成模块。
其中,第一子确定模块,用于确定第一格式规则中用于对JSON字符串中的多条信息进行分割的预设字符;子生成模块,用于根据预设字符对JSON字符串进行拆分,生成字段集合。
具体的,在上述第一子确定模块和子生成模块中,首先,根据用于生成JSON字符串的第一格式规则,确定第一格式规则中用于对多条信息进行分割的预设字符。然后,利用预设字符对JSON字符串进行拆分,得到JSON字符串中与各条信息对应的字段集合。
作为一种可选的实施方式,上述装置还可以包括:第二获取模块和第二生成模块。
其中,第二获取模块,用于获取预先设置的筛选条件,其中,筛选条件至少包括:关键字;第二生成模块,用于利用筛选条件对字段集合中的字段进行筛选,生成新字段集合。
通过上述第二获取模块和第二生成模块,在对JSON字符串进行拆分之后,可以先按照预先设置的筛选条件对字段集合中的信息进行筛选,将不符合筛选条件的信息从字段集合中去除掉,生成新字段集合。通过上述筛选,可以聚合处理时,提高对JSON字符串进行处理的精确度。其中,筛选条件可以包括:关键字、时间等,可以根据实际需要进行设置,此处不作限制。
作为一种可选的实施方式,在上述确定模块25中,可以包括:子获取模块和第二子确定模块。
其中,子获取模块,用于获取预先设置的聚合处理参数,其中,聚合处理参数至少包括:求和参数、计数参数;第二子确定模块,用于根据聚合处理参数对字段集合中的字段进行聚合处理,确定与聚合处理参数对应的聚合指标。
具体的,在上述子获取模块和第二子确定模块中,获取预先设置的至少一个聚合处理参数,并分别利用各个聚合处理参数对字段集合中的各个字段进行相应的聚合处理,以最终得到聚合指标。其中,聚合指标与聚合处理参数对应,并可以采用与记录聚合处理参数的字符串相应的格式规则对其进行合并。
作为一种可选的实施方式,如图3所示,上述装置还可以包括:第三生成模块27。
其中,第三生成模块27,用于按照预先设置的第二格式规则对聚合指标进行处理,生成聚合指标字符串。
具体的,在经过不同的聚合处理,通常可以得到多个聚合指标。通过上述第三生成模块27,对得到的多个聚合指标进行处理,从而生成一个聚合指标字符串,从而便于存储和读取。
作为一种可选的实施方式,在上述装置中还可以包括:
处理模块,用于按照预先设置的分析参数对聚合指标进行处理,生成新聚合指标。
具体的,通过聚合处理参数对字段进行处理,虽然可以得到聚合处理后的聚合指标。有时并不能满足需求。因此,可以进一步通过上述处理模块,利用预先设置的分析参数对聚合指标进行进一步的分析处理,得到新的聚合指标。
所述JSON字符串的处理装置包括处理器和存储器,上述第一获取模块、第一生成模块、确定模块等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元。上述第一格式规则、筛选条件、聚合处理参数和第二格式规则都可以存储在存储器中。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数解析文本内容。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请还提供了一种计算机程序产品的实施例,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:获取待处理的JSON字符串;根据JSON字符串的第一格式规则对JSON字符串进行拆分,生成字段集合;按照预先设置的聚合处理参数对字段集合中的字段进行聚合处理,确定聚合指标。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种JSON字符串的处理方法,其特征在于,包括:
获取待处理的JSON字符串;
根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分,生成字段集合;
其中,根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分,生成字段集合,包括:确定所述第一格式规则中用于对所述JSON字符串中的多条信息进行分割的预设字符;根据所述预设字符对所述JSON字符串进行拆分,生成所述字段集合;
按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理,确定聚合指标;
其中,聚合处理参数至少包括:筛选参数和聚合参数,按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理,确定聚合指标,包括:按照所述筛选参数对所述字段集合进行筛选,生成待聚合字段集合;按照所述聚合参数对所述聚合字段集合进行聚合处理,确定所述聚合指标。
2.根据权利要求1所述的方法,其特征在于,在根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分,生成字段集合之后,所述方法还包括:
获取预先设置的筛选条件,其中,所述筛选条件至少包括:关键字;
利用所述筛选条件对所述字段集合中的字段进行筛选,生成新字段集合。
3.根据权利要求1所述的方法,其特征在于,按照预先设置的聚合处理参数对所述字段进行聚合处理,确定与所述聚合处理参数对应的聚合指标,包括:
获取预先设置的所述聚合处理参数,其中,所述聚合处理参数至少包括:求和参数、计数参数;
根据所述聚合处理参数对所述字段集合中的字段进行聚合处理,确定与所述聚合处理参数对应的聚合指标。
4.根据权利要求1至3中任意一项所述的方法,其特征在于,在按照预先设置的聚合处理参数对所述字段进行聚合处理,确定所述聚合处理参数对应的聚合指标之后,所述方法还包括:
按照预先设置的第二格式规则对所述聚合指标进行处理,生成聚合指标字符串。
5.根据权利要求4所述的方法,其特征在于,在按照预先设置的第二格式规则对所述聚合指标进行处理,生成聚合指标字符串之前,所述方法还包括:
按照预先设置的分析参数对所述聚合指标进行处理,生成新聚合指标。
6.一种JSON字符串的处理装置,其特征在于,包括:
第一获取模块,用于获取待处理的JSON字符串;
第一生成模块,用于根据所述JSON字符串的第一格式规则对所述JSON字符串进行拆分,生成字段集合;
确定模块,用于按照预先设置的聚合处理参数对所述字段集合中的字段进行聚合处理,确定聚合指标;
第一生成模块还用于确定所述第一格式规则中用于对所述JSON字符串中的多条信息进行分割的预设字符;第二生成模块,用于根据所述预设字符对所述JSON字符串进行拆分,生成所述字段集合;
其中,所述聚合处理参数至少包括:筛选参数和聚合参数,所述确定模块包括:
子筛选模块,用于按照所述筛选参数对所述字段集合进行筛选,生成待聚合字段集合;
子聚合模块,用于按照所述聚合参数对所述聚合字段集合进行聚合处理,确定所述聚合指标。
7.根据权利要求6中任意一项所述的装置,其特征在于,所述装置还包括:
第三生成模块,用于按照预先设置的第二格式规则对所述聚合指标进行处理,生成聚合指标字符串。
CN201511032523.5A 2015-12-31 2015-12-31 Json字符串的处理方法及装置 Active CN106933916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511032523.5A CN106933916B (zh) 2015-12-31 2015-12-31 Json字符串的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511032523.5A CN106933916B (zh) 2015-12-31 2015-12-31 Json字符串的处理方法及装置

Publications (2)

Publication Number Publication Date
CN106933916A CN106933916A (zh) 2017-07-07
CN106933916B true CN106933916B (zh) 2020-05-08

Family

ID=59444151

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511032523.5A Active CN106933916B (zh) 2015-12-31 2015-12-31 Json字符串的处理方法及装置

Country Status (1)

Country Link
CN (1) CN106933916B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107977166A (zh) * 2017-11-27 2018-05-01 广西塔锡科技有限公司 一种数据存储方法和系统
CN107944011B (zh) * 2017-12-08 2020-08-21 中国平安财产保险股份有限公司 团体保单数据的处理方法、装置、服务器和存储介质
CN108268592B (zh) * 2017-12-08 2020-07-10 中国平安财产保险股份有限公司 基于json数据的筛选方法、装置、服务器和存储介质
CN109992293B (zh) * 2018-01-02 2023-06-20 深圳市宇通联发科技有限公司 Android系统组件版本信息的组装方法及装置
CN110554877A (zh) * 2019-09-05 2019-12-10 北京博睿宏远数据科技股份有限公司 一种json数据解析方法、装置、设备及储存介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839155A (zh) * 2013-11-13 2014-06-04 重庆大学 一种基于语义网关的异构信息系统模型集成方法
CN104090922A (zh) * 2014-06-20 2014-10-08 北京奇虎科技有限公司 一种清理隐私数据的方法和装置
CN104166663A (zh) * 2014-01-20 2014-11-26 广东工业大学 一种基于多维度的打车位置推荐系统及其推荐方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103839155A (zh) * 2013-11-13 2014-06-04 重庆大学 一种基于语义网关的异构信息系统模型集成方法
CN104166663A (zh) * 2014-01-20 2014-11-26 广东工业大学 一种基于多维度的打车位置推荐系统及其推荐方法
CN104090922A (zh) * 2014-06-20 2014-10-08 北京奇虎科技有限公司 一种清理隐私数据的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"MongoDB-Aggregate and Group example";mkyong;《https://www.mkyong.com/mongodb/mongodb-aggregate-and-group-example/》;20151017;第1-4页 *
"OData Extension for Data Aggregation A Directional White Paper ";Ralf Handl 等;《https://www.oasis-open.org/committees/download.php/46084/ODataExtensionforDataAggregationv1.0.pdf》;20120518;第1-23页 *

Also Published As

Publication number Publication date
CN106933916A (zh) 2017-07-07

Similar Documents

Publication Publication Date Title
CN106933916B (zh) Json字符串的处理方法及装置
CN107800591B (zh) 一种统一日志数据的分析方法
CN111241389B (zh) 一种基于矩阵的敏感词过滤方法、装置、电子设备、存储介质
US10346496B2 (en) Information category obtaining method and apparatus
WO2008106668A1 (en) User query mining for advertising matching
CN106874165B (zh) 网页检测方法和装置
WO2017101652A1 (zh) 网站页面间访问路径的确定方法及装置
US8290925B1 (en) Locating product references in content pages
CN108241692B (zh) 数据的查询方法及装置
CN104462396A (zh) 字符串处理方法和装置
CN106202050B (zh) 主题信息获取方法、装置和电子设备
CN106933905B (zh) 网页访问数据的监测方法和装置
CN106933907B (zh) 数据表扩展指标的处理方法及装置
US11093957B2 (en) Techniques to quantify effectiveness of site-wide actions
CN106933903B (zh) 应用于分布式存储的存储方法及装置
CN111966673B (zh) 基于大数据的数据审核方法、装置及存储介质
CN106339381B (zh) 一种信息处理方法及装置
CN106909567B (zh) 数据处理方法及装置
CN104991920A (zh) 标签的生成方法及装置
CN104408188A (zh) 数据处理方法和装置
CN106933933B (zh) 数据表信息的处理方法及装置
CN108763871B (zh) 基于第三代测序序列的补洞方法及装置
CN110275998B (zh) 网页属性数据的确定方法及装置
CN108154177B (zh) 业务识别方法、装置、终端设备及存储介质
CN105681097A (zh) 获取终端设备更换周期的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100083 No. 401, 4th Floor, Haitai Building, 229 North Fourth Ring Road, Haidian District, Beijing

Applicant after: Beijing Guoshuang Technology Co.,Ltd.

Address before: 100086 Cuigong Hotel, 76 Zhichun Road, Shuangyushu District, Haidian District, Beijing

Applicant before: Beijing Guoshuang Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant