CN110968763A - 数据处理的方法及装置 - Google Patents
数据处理的方法及装置 Download PDFInfo
- Publication number
- CN110968763A CN110968763A CN201811163006.5A CN201811163006A CN110968763A CN 110968763 A CN110968763 A CN 110968763A CN 201811163006 A CN201811163006 A CN 201811163006A CN 110968763 A CN110968763 A CN 110968763A
- Authority
- CN
- China
- Prior art keywords
- data
- sent
- query
- json object
- analysis result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 claims abstract description 107
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002776 aggregation Effects 0.000 claims description 51
- 238000004220 aggregation Methods 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 6
- 239000000284 extract Substances 0.000 description 13
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种数据处理的方法及装置,涉及数据处理技术领域,提高了前端设备查询ElasticSearch服务器获取数据的获取效率。本发明的方法包括:接收数据查询请求,并获取所述数据查询请求对应的待发送JSON对象;解析所述待发送JSON对象,获得解析结果;根据所述解析结果确定所述待发送JSON对象对应的查询类型;根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,并将所述待发送数据转换为预设结构的数据。本发明适用于查询ElasticSearch服务器获取数据的过程中。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种数据处理的方法及装置。
背景技术
随着互联网技术的日益发展,大数据时代已经来临。在大数据时代下,数据的实时搜索一直是业界聚焦的重点。ElasticSearch是一个基于云环境的实时数据搜索服务器,其提供了一个具有分布式多用户能力的全文搜索引擎。由于,在大数据的搜索、分析方面,ElasticSearch可以提供接近实时的可靠保障,因此,ElasticSearch作为实时数据搜索服务器被广泛应用于各个场景中。
发明人在实现本发明的过程中,发现现有技术中存在以下技术问题,在通过DSL(Domain Specific Language,特定领域语言)查询语句查询ElasticSearch服务器时,ElasticSearch服务器返回的查询结果为JSON格式的结构化数据,即JSON对象。由于,在使用不同DSL查询语句查询ElasticSearch服务器时,查询得到的JSON对象具有不同的数据结构,因此,查询端(例如前端设备)需要对接收到的每一个JSON对象进行相应的定制化处理,以获得JSON对象中包含的数据,从而增加前端设备的额外负荷,容易影响前端设备的使用性能。
发明内容
有鉴于此,本发明提供的数据处理的方法及装置,主要目的在于提高前端设备查询ElasticSearch服务器获取数据的获取效率。
为了达到上述目的,本发明主要提供如下技术方案:
第一方面,本发明提供了一种数据处理的方法,该方法包括:
接收数据查询请求,并获取所述数据查询请求对应的待发送JSON对象;
解析所述待发送JSON对象,获得解析结果;
根据所述解析结果确定所述待发送JSON对象对应的查询类型;
根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,并将所述待发送数据转换为预设结构的数据。
可选的,所述根据所述解析结果确定所述待发送JSON对象对应的查询类型,包括:
判断所述解析结果中是否包含第一预设字段;
若是,则将所述待发送JSON对象对应的查询类型确定为聚合查询;
若否,则将所述待发送JSON对象对应的查询类型确定为普通查询。
可选的,所述根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,包括:
当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
在所述第一对象数组中提取所述聚合数据,得到所述待发送数据;和/或,
当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
在所述第二对象数组中提取所述原始数据,得到所述待发送数据。
可选的,所述数据查询请求中包含查询条件;所述获取所述数据查询请求对应的待发送JSON对象,包括:
根据所述查询条件在数据库中查找所述待发送JSON对象。
可选的,所述解析所述待发送JSON对象,获得解析结果,包括:
通过预置解析代码解析所述待发送JSON对象,获得所述解析结果。
第二方面,本发明还提供一种数据处理的装置,该装置包括:
接收单元,用于接收数据查询请求;
获取单元,用于获取所述接收单元接收的所述数据查询请求对应的待发送JSON对象;
解析单元,用于解析所述获取单元获取的所述待发送JSON对象,获得解析结果;
确定单元,用于根据所述解析单元解析的所述解析结果确定所述待发送JSON对象对应的查询类型;
提取单元,用于根据所述确定单元确定的所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据;
转换单元,用于将所述提取单元提取的所述待发送数据转换为预设结构的数据。
可选的,所述确定单元包括:
判断模块,用于判断所述解析结果中是否包含第一预设字段;
第一确定模块,用于当所述判断模块判断所述解析结果中包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为聚合查询;
第二确定模块,用于当所述判断模块判断所述解析结果中未包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为普通查询。
可选的,所述提取单元包括:
第一获取模块,用于当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
第一提取模块,用于在所述第一获取模块获取的所述第一对象数组中提取所述聚合数据,得到所述待发送数据;
第二获取模块,用于当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
第二提取模块,用于在所述第二获取模块获取的所述第二对象数组中提取所述原始数据,得到所述待发送数据。
可选的,所述数据查询请求中包含查询条件;所述获取单元包括:
查找模块,用于根据所述查询条件在数据库中查找所述待发送JSON对象。
可选的,所述解析单元包括:
解析模块,用于通过预置解析代码解析所述待发送JSON对象,获得所述解析结果。
为了实现上述目的,根据本发明的第三方面,提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的数据处理的方法。
为了实现上述目的,根据本发明的第四方面,提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的数据处理的方法。
借由上述技术方案,本发明提供的技术方案至少具有下列优点:
本发明提供的一种数据处理的方法及装置,与现有技术中,ElasticSearch服务器在查询得到与前端设备发送的数据查询请求相匹配的JSON对象后,将JSON对象直接发送给前端设备相比,本发明能够在ElasticSearch服务器查询得到与前端设备发送的数据查询请求相匹配的JSON对象,即待发送JSON对象后,对待发送JSON对象进行解析处理,获得待发送JSON对象对应的解析结果,然后根据该解析结果确定待发送JSON对象对应的查询类型,最后根据该查询类型在该解析结果中提取与接收到的数据查询请求相对应的数据,即待发送数据,并将该待发送数据转换为预设结构的数据。由于,预设结构为前端设备需求的数据结构,因此,当ElasticSearch服务器将该预设结构的数据发送至前端设备后,前端设备无需对其进行定制化处理,可以直接读取使用该预设结构的数据,从而提高了前端设备查询ElasticSearch服务器获取数据的获取效率。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1示出了本发明实施例提供的一种数据处理的方法流程图;
图2示出了本发明实施例提供的另一种数据处理的方法流程图;
图3示出了本发明实施例提供的一种数据处理的装置的组成框图;
图4示出了本发明实施例提供的另一种数据处理的装置的组成框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供一种数据处理的方法,如图1所示,该方法包括:
101、接收数据查询请求,并获取数据查询请求对应的待发送JSON对象。
其中,一个JSON对象以“{”(左括号)开始、以“}”(右括号)结束,在JSON对象中包含多个键/值(key/value)对,每个键/值对由字段名称(键)以及该字段名称对应的数据内容(值)组成,以“字段名称/数据内容(即键/值)”的形式来表达,字段名称和该字段名称对应的数据内容之间用“:”来分隔,多个键/值对之间用“,”来分隔,例如,一个JSON对象可以为“{name1:value1,name2:value2,name3:value3}”。其中,字段名称对应的数据内容可以为字符串、数值、对象、数组、布尔值或者NULL值。
在本发明实施例中,前端设备在需要查询ElasticSearch服务器获取数据时,会向ElasticSearch服务器发送数据查询请求,此时,ElasticSearch服务器便能接收到该数据查询请求,并会在数据库中获取该数据查询请求对应的JSON对象,即待发送JSON对象。
102、解析待发送JSON对象,获得解析结果。
在本发明实施例中,在ElasticSearch服务器接收到前端设备发送的数据查询请求,并在数据库中获取该数据查询请求对应的待发送JSON对象后,为了保证前端设备能够获取得到自身需求的数据结构的数据,ElasticSearch服务器需要对待发送JSON对象进行解析处理,来获取待发送JSON对象对应的解析结果,以便后续在该解析结果中提取与接收到的数据查询请求相对应的数据,即待发送数据,并将该待发送数据转换为预设结构的数据,从而使得当ElasticSearch服务器将该预设结构的数据发送至前端设备后,前端设备无需对其进行定制化处理,可以直接读取使用该预设结构的数据。
103、根据解析结果确定待发送JSON对象对应的查询类型。
在本发明实施例中,ElasticSearch服务器在对待发送JSON对象进行解析处理,获取得到待发送JSON对象对应的解析结果后,便能根据该解析结果确定待发送JSON对象中包含的每个键/值对对应的字段名称和数据内容,从而能够根据该解析结果确定待发送JSON对象对应的查询类型,即接收到的数据查询请求对应的查询类型,在后续步骤中ElasticSearch服务器根据该查询类型便可确定以何种方式在该解析结果中提取待发送数据。
具体的,在本步骤中,当前端设备通过数据查询请求进行聚合查询时,待发送JSON对象对应的解析结果中会包含字段名称为第一预设字段的键/值对;而当前端设备通过数据查询请求进行普通查询时,待发送JSON对象对应的解析结果中并不会包含字段名称为第一预设字段的键/值对,因此,当ElasticSearch服务器判断待发送JSON对象对应的解析结果中包含第一预设字段时,ElasticSearch服务器便可将待发送JSON对象对应的查询类型确定为聚合查询;当ElasticSearch服务器判断待发送JSON对象对应的解析结果中未包含第一预设字段时,ElasticSearch服务器便可将待发送JSON对象对应的查询类型确定为普通查询,其中,第一预设字段具体为“aggregations”字段,但不限于此。
104、根据查询类型在解析结果中提取数据查询请求对应的待发送数据,并将待发送数据转换为预设结构的数据。
其中,预设结构为前端设备需求的数据结构,预设结构可以但不限制于为:JSON结构、表格结构等等。
在本发明实施例中,ElasticSearch服务器在根据待发送JSON对象对应的解析结果确定待发送JSON对象对应的查询类型后,便能够根据该查询类型在待发送JSON对象对应的解析结果提取与接收到的数据查询请求相对应的数据,即待发送数据,并将该待发送数据转换为预设结构的数据,从而使得当ElasticSearch服务器将该预设结构的数据发送至前端设备后,前端设备无需对其进行定制化处理,可以直接读取使用该预设结构的数据,进而提高了前端设备查询ElasticSearch服务器获取数据的获取效率。
具体的,在本步骤中,由于,当前端设备通过数据查询请求进行聚合查询时,待发送JSON对象对应的解析结果中的第一预设字段对应的第一数据内容中包含与接收到的数据查询请求相对应的数据,因此,当ElasticSearch服务器将待发送JSON对象对应的查询类型确定为聚合查询时,ElasticSearch服务器需要在待发送JSON对象对应的解析结果中获取该第一数据内容,然后在该第一数据内容中提取待发送数据;由于,当前端设备通过数据查询请求进行普通查询时,待发送JSON对象对应的解析结果中的第二预设字段对应的第二数据内容中包含与接收到的数据查询请求相对应的数据,因此,当ElasticSearch服务器将待发送JSON对象对应的查询类型确定为普通查询时,ElasticSearch服务器需要在待发送JSON对象对应的解析结果中获取该第二数据内容,以便后续在第二数据内容中提取待发送数据,其中,第一预设字段具体为“aggregations”字段,第二预设字段具体为“hits”字段,但不限于此。
本发明实施例提供的一种数据处理的方法,与现有技术中,ElasticSearch服务器在查询得到与前端设备发送的数据查询请求相匹配的JSON对象后,将JSON对象直接发送给前端设备相比,本发明实施例能够在ElasticSearch服务器查询得到与前端设备发送的数据查询请求相匹配的JSON对象,即待发送JSON对象后,对待发送JSON对象进行解析处理,获得待发送JSON对象对应的解析结果,然后根据该解析结果确定待发送JSON对象对应的查询类型,最后根据该查询类型在该解析结果中提取与接收到的数据查询请求相对应的数据,即待发送数据,并将该待发送数据转换为预设结构的数据。由于,预设结构为前端设备需求的数据结构,因此,当ElasticSearch服务器将该预设结构的数据发送至前端设备后,前端设备无需对其进行定制化处理,可以直接读取使用该预设结构的数据,从而提高了前端设备查询ElasticSearch服务器获取数据的获取效率。
以下为了更加详细地说明,本发明实施例提供了另一种数据处理的方法,特别是ElasticSearch服务器根据待发送JSON对象的查询类型在待发送JSON对象对应的解析结果中提取数据查询请求对应的待发送数据的具体方法,具体如图2所示,该方法包括:
201、接收数据查询请求。
其中,数据查询请求中包含查询语句,查询语句中包含查询条件,查询语句具体可以为DSL(Domain Specific Language,特定领域语言)查询语句。
其中,关于步骤201、接收数据查询请求,可以参考图1对应部分的描述,本发明实施例此处将不再赘述。
202、根据查询条件在数据库中查找待发送JSON对象。
在本发明实施例中,ElasticSearch服务器在接收到前端设备发送的包含查询条件的数据查询请求后,便会根据该数据查询请求中包含的查询条件在数据库中查找该数据查询请求对应的JSON对象,即待发送JSON对象。
203、通过预置解析代码解析待发送JSON对象,获得解析结果。
在本发明实施例中,ElasticSearch服务器在根据接收到的数据查询请求中包含的查询条件在数据库中查找得到待发送JSON对象后,通过预置解析代码对待发送JSON对象进行解析处理,来获取待发送JSON对象对应的解析结果,以便后续ElasticSearch服务器能够根据该解析结果确定待发送JSON对象中包含的每个键/值对对应的字段名称和数据内容,从而能够在该解析结果中提取与接收到的数据查询请求相对应的数据,即待发送数据。
204、根据解析结果确定待发送JSON对象对应的查询类型。
在本发明实施例中,ElasticSearch服务器在对待发送JSON对象进行解析处理,获取得到待发送JSON对象对应的解析结果后,便能根据该解析结果确定待发送JSON对象中包含的每个键/值对对应的字段名称和数据内容,从而能够根据该解析结果确定待发送JSON对象对应的查询类型,在后续步骤中ElasticSearch服务器根据该查询类型便可确定以何种方式在该解析结果中提取待发送数据。以下将对ElasticSearch服务器如何根据待发送JSON对象对应的解析结果确定待发送JSON对象对应的查询类型进行详细说明。
(1)判断解析结果中是否包含第一预设字段。
在本发明实施例中,由于,当前端设备通过数据查询请求进行聚合查询时,待发送JSON对象对应的解析结果中会包含字段名称为第一预设字段的键/值对;而当前端设备通过数据查询请求进行普通查询时,待发送JSON对象对应的解析结果中并不会包含字段名称为第一预设字段的键/值对,因此,ElasticSearch服务器在根据待发送JSON对象对应的解析结果确定待发送JSON对象对应的查询类型时,需要判断待发送JSON对象对应的解析结果中是否包含第一预设字段,其中,第一预设字段具体为“aggregations”字段。
(2)若是,则将待发送JSON对象对应的查询类型确定为聚合查询。
在本发明实施例中,当ElasticSearch服务器判断待发送JSON对象对应的解析结果中包含第一预设字段时,ElasticSearch服务器便可将待发送JSON对象对应的查询类型确定为聚合查询。
(3)若否,则将待发送JSON对象对应的查询类型确定为普通查询。
在本发明实施例中,当ElasticSearch服务器判断待发送JSON对象对应的解析结果中未包含第一预设字段时,ElasticSearch服务器便可将待发送JSON对象对应的查询类型确定为普通查询。
205、根据查询类型在解析结果中提取数据查询请求对应的待发送数据。
在本发明实施例中,ElasticSearch服务器在根据待发送JSON对象对应的解析结果确定待发送JSON对象对应的查询类型后,便能够根据该查询类型在待发送JSON对象对应的解析结果提取与接收到的数据查询请求相对应的数据,即待发送数据。以下将对ElasticSearch服务器如何根据待发送JSON对象对应的查询类型在待发送JSON对象对应的解析结果中提取数据查询请求对应的待发送数据进行详细说明。
1a、当待发送JSON对象对应的查询类型为聚合查询时,在解析结果中获取第一预设字段对应的第一数据内容。
其中,第一预设字段具体为“aggregations”字段;其中,第一数据内容中包含第一对象数组,第一对象数组中包含至少一个第一JSON对象,每个第一JSON对象中存储有一种预设聚合类型对应的聚合数据,即第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,聚合数据为经过分组处理或数理统计处理后的数据;其中,第一JSON对象具体为:
{
“key”:xxx,
“doc_count”:yyy
}
其中,字段名称为“key”的键/值对对应的数据内容为聚合数据对应的名称;字段名称为“doc_count”的键/值对对应的数据内容为聚合数据对应的数值。
在本发明实施例中,由于,当前端设备通过数据查询请求进行聚合查询时,待发送JSON对象对应的解析结果中的第一预设字段对应的第一数据内容中包含与接收到的数据查询请求相对应的数据,因此,当ElasticSearch服务器将待发送JSON对象对应的查询类型确定为聚合查询时,ElasticSearch服务器需要在待发送JSON对象对应的解析结果中获取该第一数据内容,以便后续在该第一数据内容中提取待发送数据。
2a、在第一对象数组中提取聚合数据,得到待发送数据。
在本发明实施例中,ElasticSearch服务器在将待发送JSON对象对应的查询类型确定为聚合查询,并在待发送JSON对象对应的解析结果中获取得到第一预设字段对应的第一数据内容后,在该第一数据内容包含的第一对象数组提取聚合数据,该聚合数据便是与接收到的数据查询请求相对应的数据,即待发送数据。
1b、当待发送JSON对象对应的查询类型为普通查询时,在解析结果中获取第二预设字段对应的第二数据内容。
其中,第二预设字段具体为“hits”字段;其中,第二数据内容中包括第二对象数组,第二对象数组中包含至少一个第二JSON对象,每个第二JSON对象中存储有未经过处理的原始数据,即第二对象数组中存储的数据为未经过处理的原始数据。
在本发明实施例中,由于,当前端设备通过数据查询请求进行普通查询时,待发送JSON对象对应的解析结果中的第二预设字段对应的第二数据内容中包含与接收到的数据查询请求相对应的数据,因此,当ElasticSearch服务器将待发送JSON对象对应的查询类型确定为普通查询时,ElasticSearch服务器需要在待发送JSON对象对应的解析结果中获取该第二数据内容,以便后续在该第二数据内容中提取待发送数据。
2b、在第二对象数组中提取原始数据,得到待发送数据。
在本发明实施例中,ElasticSearch服务器在将待发送JSON对象对应的查询类型确定为普通查询,并在待发送JSON对象对应的解析结果中获取得到第二预设字段对应的第二数据内容后,在该第二数据内容包含的第二对象数组提取原始数据,该原始数据便是与接收到的数据查询请求相对应的数据,即待发送数据。
206、将待发送数据转换为预设结构的数据。
其中,关于步骤206、将待发送数据转换为预设结构的数据,可以参考图1对应部分的描述,本发明实施例此处将不再赘述。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述所述的数据处理的方法。
为了实现上述目的,根据本发明的另一方面,本发明实施例还提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行上述所述的数据处理的方法。
进一步的,作为对上述图1及图2所示方法的实现,本发明另一实施例还提供了一种数据处理的装置。该装置实施例与前述方法实施例对应,为便于阅读,本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述,但应当明确,本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置应用于提高前端设备查询ElasticSearch服务器获取数据的获取效率,具体如图3所示,该装置包括:
接收单元31,用于接收数据查询请求;
获取单元32,用于获取接收单元31接收的所述数据查询请求对应的待发送JSON对象;
解析单元33,用于解析获取单元32获取的所述待发送JSON对象,获得解析结果;
确定单元34,用于根据解析单元33解析的所述解析结果确定所述待发送JSON对象对应的查询类型;
提取单元35,用于根据确定单元34确定的所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据;
转换单元36,用于将提取单元35提取的所述待发送数据转换为预设结构的数据。
进一步的,如图4所示,确定单元34包括:
判断模块341,用于判断所述解析结果中是否包含第一预设字段;
第一确定模块342,用于当判断模块341判断所述解析结果中包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为聚合查询;
第二确定模块343,用于当判断模块341判断所述解析结果中未包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为普通查询。
进一步的,如图4所示,提取单元35包括:
第一获取模块351,用于当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
第一提取模块352,用于在第一获取模块351获取的所述第一对象数组中提取所述聚合数据,得到所述待发送数据;
第二获取模块353,用于当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
第二提取模块354,用于在第二获取模块353获取的所述第二对象数组中提取所述原始数据,得到所述待发送数据。
进一步的,如图4所示,所述数据查询请求中包含查询条件;获取单元32包括:
查找模块321,用于根据所述查询条件在数据库中查找所述待发送JSON对象。
进一步的,如图4所示,解析单元33包括:
解析模块331,用于通过预置解析代码解析所述待发送JSON对象,获得所述解析结果。
本发明实施例提供的一种数据处理的方法及装置,与现有技术中,ElasticSearch服务器在查询得到与前端设备发送的数据查询请求相匹配的JSON对象后,将JSON对象直接发送给前端设备相比,本发明实施例能够在ElasticSearch服务器查询得到与前端设备发送的数据查询请求相匹配的JSON对象,即待发送JSON对象后,对待发送JSON对象进行解析处理,获得待发送JSON对象对应的解析结果,然后根据该解析结果确定待发送JSON对象对应的查询类型,最后根据该查询类型在该解析结果中提取与接收到的数据查询请求相对应的数据,即待发送数据,并将该待发送数据转换为预设结构的数据。由于,预设结构为前端设备需求的数据结构,因此,当ElasticSearch服务器将该预设结构的数据发送至前端设备后,前端设备无需对其进行定制化处理,可以直接读取使用该预设结构的数据,从而提高了前端设备查询ElasticSearch服务器获取数据的获取效率。
所述应急数据的处理装置包括处理器和存储器,上述接收单元、获取单元、解析单元、确定单元、提取单元和转换单元等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来提高前端设备查询ElasticSearch服务器获取数据的获取效率。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM),存储器包括至少一个存储芯片。
本发明实施例提供了一种存储介质,其上存储有程序,该程序被处理器执行时实现以上实施例中任一项所述的数据处理的方法。
本发明实施例提供了一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行以上实施例中任一项所述的数据处理的方法。
本发明实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:
接收数据查询请求,并获取所述数据查询请求对应的待发送JSON对象;
解析所述待发送JSON对象,获得解析结果;
根据所述解析结果确定所述待发送JSON对象对应的查询类型;
根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,并将所述待发送数据转换为预设结构的数据。
进一步的,所述根据所述解析结果确定所述待发送JSON对象对应的查询类型,包括:
判断所述解析结果中是否包含第一预设字段;
若是,则将所述待发送JSON对象对应的查询类型确定为聚合查询;
若否,则将所述待发送JSON对象对应的查询类型确定为普通查询。
进一步的,所述根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,包括:
当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
在所述第一对象数组中提取所述聚合数据,得到所述待发送数据;和/或,
当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
在所述第二对象数组中提取所述原始数据,得到所述待发送数据。
进一步的,所述数据查询请求中包含查询条件;所述获取所述数据查询请求对应的待发送JSON对象,包括:
根据所述查询条件在数据库中查找所述待发送JSON对象。
进一步的,所述解析所述待发送JSON对象,获得解析结果,包括:
通过预置解析代码解析所述待发送JSON对象,获得所述解析结果。
本文中的设备可以是服务器、PC等。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序代码:接收数据查询请求,并获取所述数据查询请求对应的待发送JSON对象;解析所述待发送JSON对象,获得解析结果;根据所述解析结果确定所述待发送JSON对象对应的查询类型;根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,并将所述待发送数据转换为预设结构的数据。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
以上仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种数据处理的方法,其特征在于,包括:
接收数据查询请求,并获取所述数据查询请求对应的待发送JSON对象;
解析所述待发送JSON对象,获得解析结果;
根据所述解析结果确定所述待发送JSON对象对应的查询类型;
根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,并将所述待发送数据转换为预设结构的数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述解析结果确定所述待发送JSON对象对应的查询类型,包括:
判断所述解析结果中是否包含第一预设字段;
若是,则将所述待发送JSON对象对应的查询类型确定为聚合查询;
若否,则将所述待发送JSON对象对应的查询类型确定为普通查询。
3.根据权利要求2所述的方法,其特征在于,所述根据所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据,包括:
当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
在所述第一对象数组中提取所述聚合数据,得到所述待发送数据;和/或,
当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
在所述第二对象数组中提取所述原始数据,得到所述待发送数据。
4.根据权利要求1所述的方法,其特征在于,所述数据查询请求中包含查询条件;所述获取所述数据查询请求对应的待发送JSON对象,包括:
根据所述查询条件在数据库中查找所述待发送JSON对象。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述解析所述待发送JSON对象,获得解析结果,包括:
通过预置解析代码解析所述待发送JSON对象,获得所述解析结果。
6.一种数据处理的装置,其特征在于,包括:
接收单元,用于接收数据查询请求;
获取单元,用于获取所述接收单元接收的所述数据查询请求对应的待发送JSON对象;
解析单元,用于解析所述获取单元获取的所述待发送JSON对象,获得解析结果;
确定单元,用于根据所述解析单元解析的所述解析结果确定所述待发送JSON对象对应的查询类型;
提取单元,用于根据所述确定单元确定的所述查询类型在所述解析结果中提取所述数据查询请求对应的待发送数据;
转换单元,用于将所述提取单元提取的所述待发送数据转换为预设结构的数据。
7.根据权利要求6所述的装置,其特征在于,所述确定单元包括:
判断模块,用于判断所述解析结果中是否包含第一预设字段;
第一确定模块,用于当所述判断模块判断所述解析结果中包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为聚合查询;
第二确定模块,用于当所述判断模块判断所述解析结果中未包含所述第一预设字段时,将所述待发送JSON对象对应的查询类型确定为普通查询。
8.根据权利要求7所述的装置,其特征在于,所述提取单元包括:
第一获取模块,用于当所述待发送JSON对象对应的查询类型为聚合查询时,在所述解析结果中获取第一预设字段对应的第一数据内容,所述第一数据内容中包含第一对象数组,所述第一对象数组中存储有至少一种预设聚合类型对应的聚合数据,所述聚合数据为经过分组处理或数理统计处理后的数据;
第一提取模块,用于在所述第一获取模块获取的所述第一对象数组中提取所述聚合数据,得到所述待发送数据;
第二获取模块,用于当所述待发送JSON对象对应的查询类型为普通查询时,在所述解析结果中获取第二预设字段对应的第二数据内容,所述第二数据内容中包括第二对象数组,所述第二对象数组中的数据为未经过处理的原始数据;
第二提取模块,用于在所述第二获取模块获取的所述第二对象数组中提取所述原始数据,得到所述待发送数据。
9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求5中任一项所述的数据处理的方法。
10.一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行权利要求1至权利要求5中任一项所述的数据处理的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811163006.5A CN110968763A (zh) | 2018-09-30 | 2018-09-30 | 数据处理的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811163006.5A CN110968763A (zh) | 2018-09-30 | 2018-09-30 | 数据处理的方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110968763A true CN110968763A (zh) | 2020-04-07 |
Family
ID=70029338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811163006.5A Pending CN110968763A (zh) | 2018-09-30 | 2018-09-30 | 数据处理的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110968763A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113296782A (zh) * | 2021-02-19 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 解析json数据的方法以及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106528797A (zh) * | 2016-11-10 | 2017-03-22 | 上海轻维软件有限公司 | 基于Elasticsearch的DSL查询方法 |
CN106980619A (zh) * | 2016-01-18 | 2017-07-25 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN107122418A (zh) * | 2017-03-31 | 2017-09-01 | 北京奇艺世纪科技有限公司 | 一种查询方法及装置 |
CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
CN107395663A (zh) * | 2017-05-17 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据获取方法及装置 |
-
2018
- 2018-09-30 CN CN201811163006.5A patent/CN110968763A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106980619A (zh) * | 2016-01-18 | 2017-07-25 | 北京国双科技有限公司 | 数据查询方法及装置 |
CN106528797A (zh) * | 2016-11-10 | 2017-03-22 | 上海轻维软件有限公司 | 基于Elasticsearch的DSL查询方法 |
CN107122418A (zh) * | 2017-03-31 | 2017-09-01 | 北京奇艺世纪科技有限公司 | 一种查询方法及装置 |
CN107133267A (zh) * | 2017-04-01 | 2017-09-05 | 北京京东尚科信息技术有限公司 | 查询elasticsearch集群的方法、装置、电子设备和可读存储介质 |
CN107395663A (zh) * | 2017-05-17 | 2017-11-24 | 阿里巴巴集团控股有限公司 | 数据获取方法及装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113296782A (zh) * | 2021-02-19 | 2021-08-24 | 阿里巴巴集团控股有限公司 | 解析json数据的方法以及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108270629B (zh) | 网站访客行为监测方法及装置 | |
KR102151328B1 (ko) | 오더 클러스터링 및 악의적인 정보 퇴치 방법 및 장치 | |
US9460117B2 (en) | Image searching | |
CN109743309B (zh) | 一种非法请求识别方法、装置及电子设备 | |
CN106648839B (zh) | 数据处理的方法和装置 | |
CN110020236B (zh) | 网页解析方法、装置、存储介质、处理器和设备 | |
CN114598597B (zh) | 多源日志解析方法、装置、计算机设备及介质 | |
CN106557483B (zh) | 一种数据处理、数据查询方法及设备 | |
CN114297204A (zh) | 一种异构数据源的数据存储、检索方法及装置 | |
CN112883088B (zh) | 一种数据处理方法、装置、设备及存储介质 | |
CN110968763A (zh) | 数据处理的方法及装置 | |
CN111125087B (zh) | 数据的存储方法及装置 | |
CN116680368B (zh) | 一种基于贝叶斯分类器的水利知识问答方法、设备及介质 | |
CN110969469B (zh) | 数据的获取方法及装置 | |
WO2016101737A1 (zh) | 搜索查询方法和装置 | |
CN110019497B (zh) | 一种数据读取方法及装置 | |
CN110019357B (zh) | 数据库查询脚本生成方法及装置 | |
CN110019295B (zh) | 数据库检索方法、装置、系统以及存储介质 | |
CN110929188A (zh) | 服务端页面渲染方法及装置 | |
CN106776654B (zh) | 一种数据搜索方法及装置 | |
CN114201376A (zh) | 基于人工智能的日志解析方法、装置、终端设备及介质 | |
CN109710833B (zh) | 用于确定内容节点的方法与设备 | |
CN109815477B (zh) | 识别浏览器信息的方法和装置 | |
CN109725982B (zh) | 数据对象构建方法及装置 | |
CN108073607B (zh) | Url处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200407 |
|
RJ01 | Rejection of invention patent application after publication |