CN104657392A - 一种实现检索异常还原的方法及装置 - Google Patents
一种实现检索异常还原的方法及装置 Download PDFInfo
- Publication number
- CN104657392A CN104657392A CN201310603444.XA CN201310603444A CN104657392A CN 104657392 A CN104657392 A CN 104657392A CN 201310603444 A CN201310603444 A CN 201310603444A CN 104657392 A CN104657392 A CN 104657392A
- Authority
- CN
- China
- Prior art keywords
- request
- retrieval
- information
- advance
- object information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种实现检索异常还原的方法及装置，用于提高检索异常还原的准确率，该方法包括：在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；利用MapReduce模型处理网络存储系统中保存的数据，获得每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息；根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
Description
技术领域
本发明涉及互联网技术领域，具体涉及一种实现检索异常还原的方法及装置。
背景技术
搜索引擎是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统，是互联网中的重要应用。对于一个好的搜索引擎产品，需要及时发现检索异常，还原坏例发生的异常原因，这对提升搜索质量、改善用户体验至关重要。
在现有技术中，实现检索异常还原即诊断发生检索异常的原因主要采用以下方式：利用诊断服务器给线上检索系统发送请求包，根据检索过程中需要用到的各个模块返回的结果文档和打分进行异常诊断。也就是说，利用诊断服务器发送请求的方式模拟线上检索的过程，对检索需要用到各个模块产生的结果进行分析，获得检索异常的原因。
但是，现有技术的检索异常还原方法，由于线上数据不断更新且各个模块状态实时变化，检索系统在不同时刻的检索状态可能有巨大变化，而诊断时刻相对异常发生时刻滞后，因此会存在诊断误差，尤其对系统稳定性引起的异常原因可能无法还原；同时，现有技术的检索异常还原方法，需要给线上检索系统发送查询请求，当大量请求发生时，会对线上检索系统造成一定压力，可能造成检索异常还原结果不可信。
发明内容
有鉴于此，本发明的主要目的是提供一种实现检索异常还原的方法及装置，以解决现有技术中检索异常还原结果存在诊断误差的问题。
为解决上述问题，本发明提供的技术方案如下：
一种实现检索异常还原的方法，所述方法包括：
在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；
利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息；
根据需求逻辑判断分析所述每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
相应的，所述方法还包括：
保存所述检索异常分析结果；
当接收到检索异常查询请求时，读取所述检索异常分析结果并在图形接口界面进行显示。
相应的，所述状态信息包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合；
所述结果信息包括：各个检索处理模块中预先标记的结果项产生的结果信息。
相应的，所述将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，包括：
当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理所述包括标记的请求时，将所述各个检索处理模块产生或接收的状态信息和/或结果信息召回；
将每一个所述检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
相应的，所述利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息，包括：
将所述网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个所述Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对；
将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
一种实现检索异常还原的装置，所述装置包括：
保存单元，用于在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；
数据处理单元，用于利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息；
分析单元，用于根据需求逻辑判断分析所述每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
相应的，所述装置还包括：
缓存单元，用于保存所述检索异常分析结果；
结果显示单元，用于当接收到检索异常查询请求时，读取所述检索异常分析结果并在图形接口界面进行显示。
相应的，所述状态信息包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合；
所述结果信息包括：各个检索处理模块中预先标记的结果项产生的结果信息。
相应的，所述保存单元包括：
接收子单元，用于当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理所述包括标记的请求时，将所述各个检索处理模块产生或接收的状态信息和/或结果信息召回；
保存子单元，用于将每一个所述检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
相应的，所述数据处理单元包括：
并行处理子单元，用于将所述网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个所述Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对；
合并子单元，用于将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
由此可见，本发明具有如下有益效果：
本发明实施例在检索过程中，实时将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，也就是将检索请求在各个检索处理模块的当前状态都记录下来，在需要进行检索异常查询时，不会受到数据更新、环境状态变化的影响，可以获得请求发生时的检索异常分析结果，避免了滞后诊断误差，使检索异常还原结果更加准确；同时，离线查询的方式无需再请求线上系统，利用MapReduce模型可以进行海量请求查询，提高了检索异常还原的处理效率。
附图说明
图1为本发明实现检索异常还原的方法实施例一的流程图；
图2为本发明实现检索异常还原的方法实施例中MapReduce处理流程示意图；
图3为本发明实现检索异常还原的方法实施例二的流程图；
图4为本发明实现检索异常还原的方法实施例的流程示意图；
图5为本发明实现检索异常还原的装置实施例一的示意图；
图6为本发明实现检索异常还原的装置实施例二的示意图；
图7为本发明提供的一种服务器的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明实施例作进一步详细的说明。
本发明方法实现检索异常还原的方法及装置，是针对现有技术中检索异常还原结果存在诊断误差的问题，提出在检索过程中，实时将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，即采用实时对指定标记的请求落日志的方式，再利用HADOOP分布式框架下MapReduce进行分布式数据处理将每个请求合并，进行对应需求逻辑的判断分析获得检索异常分析结果，这样产生的检索异常还原结果不会受到数据更新、环境状态变化的影响，避免了滞后诊断误差，使检索异常还原结果更加准确。
基于上述思想，参见图1所示，本发明实施例实现检索异常还原的方法实施例一可以包括以下步骤：
步骤101：在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中。
本发明实施例中在线上检索系统提供检索服务的过程中，对需要检测的请求可以进行预先标记，例如复用某个字段标记tag对请求进行标记，预先标记的请求可以从检索顶层处理模块传入，这样各个检索处理模块可以将预先标记的请求过滤出来，将产生或接收到的状态信息和/或结果信息保存到网络存储系统中。
在本发明的一些实施例中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中的具体实现可以包括以下步骤：
（1）当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理包括标记的请求时，将各个检索处理模块产生或接收的状态信息和/或结果信息召回。
（2）将每一个检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
对每一个检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息按照格式写入网络存储系统中，网络存储系统cfs可以提供海量网络文件共享，一条记录可以按照如下数据结构按行进行存储：
searchid|time|状态信息|结果信息
其中，searchid代表请求的标记，在搜索引擎中会对每个请求赋予一个编号，通常由前台根据请求顺序分配，作为请求的全局唯一编号，time为请求发生的时间，一条数据记录可以包括每一请求对应的状态信息和/或结果信息。
在本发明的一些实施例中，状态信息可以包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合。
结果信息则可以包括各个检索处理模块中预先标记的结果项产生的结果信息。
在实际应用中，状态信息结构如下表所示，采用类似pb结构中repeated的方式，按照“状态名：状态码”形式存储，首位状态是doc_num，记录共有几种结果信息做校验。
| doc_num:n | state1:xx | state1:xx | …… | state1:xx |
结果信息结构如下表所示，采用类似pb结构，多个结果信息加在末尾，其中，doc_name表示结果类型，doc_type表示结果格式。
| doc_name:u | doc_type:x | docid1:feature1:feature2 | docid2:feature1:feature |
对不同的检索处理模块，需要根据每个检索处理模块的检索逻辑保存不同的状态信息和/或结果信息，对状态信息而言，涉及到超时、返回状态码、可信/不可信、流控、是否命中cache这类自身状态或者下游状态的数据，需要全部记录供后续分析，个别模块自身特点有逻辑判断处理的状态也需要记录。对结果信息而言，一般结果信息会比较多，都记录下来会大量消耗磁盘空间，因此，各个检索处理模块中预先标记的结果项产生的结果信息，即只对有标签的结果进行记录，同一个中间结果在系统中也只记录一次，只记录在模块内发生截断、过滤的结果，以保证结果信息可以用于后续的检索异常还原，同时也不会占用过多的磁盘空间。
例如，对于一个中间请求模块，一条记录的数据如下：
searchid|time|doc_num:2group_state:11111111group_ret:00024000|doc_type:0docid1docid2docid3…|doc_type:0docidn docidm…
该记录将下游模块的状态和返回码记录在状态信息，涉及模块打分截断的输入输出记录在结果信息中。
这样，每个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息可以保存到网络存储系统中。
步骤102：利用MapReduce模型处理网络存储系统中保存的数据，获得每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息。
MapReduce是HADOOP分布式系统基本框架下的一个核心组件，可以应用于大规模数据集的并行运算，由Map（映射）和Reduce（化简）两部分，Map可以把输入数据分解成中间的Key/Value对，Reduce把Key/Value合成最终输出。利用MapReduce模型可以对网络存储系统中保存的海量数据进行并行处理。在网络存储系统中保存的是每个检索处理模块处理各个请求时产生或接收的状态信息和/或结果信息，经过MapReduce模型处理，可以得到一个请求在各个检索处理模块中所产生的状态信息和/或结果信息，以得到针对该请求的检索异常分析结果。
在本发明的一些实施例中，利用MapReduce模型处理网络存储系统中保存的数据，获得每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息的具体实现可以包括以下步骤：
（1）将网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对。
（2）将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
参见图2所示，是MapReduce模型处理网络存储系统中保存的数据的示意图。将网络存储系统中的数据记录切分为若干个独立的数据块分别输入Map，有Map并行处理各个模块的记录，输出以searchid为key，模块名为second key，详细信息（状态信息和/或结果信息）为value的数据对。
将映射到Map数据节点中具有相同searchid的数据进行合并，得到每一个请求在各个检索处理模块的所有状态信息和/或结果信息，输入到一个Reduce节点中。
步骤103：根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
对于一个检索请求，在Reduce中包含了检索过程中各个检索处理模块的所有信息，可以将数据信息加载到诊断分析模块进行数据分析，可根据不同需求和逻辑进行判断，获得每一个预先标记的请求的检索异常分析结果。
这样，本发明实施例在检索过程中，实时将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，也就是将检索请求在各个检索处理模块的当前状态都记录下来，在需要进行检索异常查询时，不会受到数据更新、环境状态变化的影响，可以获得请求发生时的检索异常分析结果，避免了滞后诊断误差，使检索异常还原结果更加准确；同时，离线查询的方式无需再请求线上系统，利用MapReduce模型可以进行海量请求查询，提高了检索异常还原的处理效率；另外，本发明实施例在需要扩展需求时只需要相应检索处理模块增加日志输出字段，结构化的数据格式以及高性能HADOOP的使用让诊断分析方式易开发，灵活易扩展。
在本发明的一些实施例中，本发明实施例实现检索异常还原的方法还可以包括：
保存检索异常分析结果；
当接收到检索异常查询请求时，读取检索异常分析结果并在图形接口界面进行显示。
在得到所有标记请求的诊断结果后，为了方便地实时查询分析还原结果，还可以将检索异常分析结果缓存，然后用apache搭建相应的前台框架，利用CGI程序实现查询分析结果显示。
参见图3所示，本发明实施例实现检索异常还原的方法实施例二可以包括以下步骤：
步骤301：当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理包括标记的请求时，将各个检索处理模块产生或接收的状态信息和/或结果信息召回。
步骤302：将每一个检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
步骤303：将网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对。
步骤304：将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
步骤305：根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
步骤306：保存检索异常分析结果，当接收到检索异常查询请求时，读取检索异常分析结果并在图形接口界面进行显示。
这样，参见图4所示，本发明实施例整体上可以分为三个部分：状态数据入库、MapReduce数据处理、还原状态展示。
首先，在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中。其次，利用MapReduce模型处理网络存储系统中保存的数据，获得每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。最后，当外部用户想查询某个异常结果的诊断信息时可以发送异常查询请求，在接收到检索异常查询请求时，读取保存的检索异常分析结果并在图形接口界面进行显示。
相应的，参见图5所示，本发明实施例实现检索异常还原的装置实施例一可以包括：
保存单元501，用于在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中。
本发明实施例中在线上检索系统提供检索服务的过程中，对需要检测的请求可以进行预先标记，例如复用某个字段标记tag对请求进行标记，预先标记的请求可以从检索顶层处理模块传入，这样各个检索处理模块可以将预先标记的请求过滤出来，将产生或接收到的状态信息和/或结果信息保存到网络存储系统中。
在本发明的一些实施例中，保存单元可以包括：
接收子单元，用于当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理包括标记的请求时，将各个检索处理模块产生或接收的状态信息和/或结果信息召回。
保存子单元，用于将每一个检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
在本发明的一些实施例中，状态信息可以包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合。
结果信息则可以包括各个检索处理模块中预先标记的结果项产生的结果信息。
数据处理单元502，用于利用MapReduce模型处理网络存储系统中保存的数据，获得每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息。
MapReduce是HADOOP分布式系统基本框架下的一个核心组件，可以应用于大规模数据集的并行运算，由Map（映射）和Reduce（化简）两部分，Map可以把输入数据分解成中间的Key/Value对，Reduce把Key/Value合成最终输出。利用MapReduce模型可以对网络存储系统中保存的海量数据进行并行处理。在网络存储系统中保存的是每个检索处理模块处理各个请求时产生或接收的状态信息和/或结果信息，经过MapReduce模型处理，可以得到一个请求在各个检索处理模块中所产生的状态信息和/或结果信息，以得到针对该请求的检索异常分析结果。
在本发明的一些实施例中，数据处理单元可以包括：
并行处理子单元，用于将网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对。
合并子单元，用于将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
分析单元503，用于根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
对于一个检索请求，在Reduce中包含了检索过程中各个检索处理模块的所有信息，可以将数据信息加载到诊断分析模块进行数据分析，可根据不同需求和逻辑进行判断，获得每一个预先标记的请求的检索异常分析结果。
另外，在本发明的一些实施例中，本发明实施例实现检索异常还原的装置还可以包括：
缓存单元，用于保存检索异常分析结果。
结果显示单元，用于当接收到检索异常查询请求时，读取检索异常分析结果并在图形接口界面进行显示。
相应的，参见图6所示，本发明实施例实现检索异常还原的装置实施例二可以包括：
接收子单元5011，用于当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理包括标记的请求时，将各个检索处理模块产生或接收的状态信息和/或结果信息召回。
保存子单元5012，用于将每一个检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
并行处理子单元5021，用于将网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对。
合并子单元5022，用于将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
分析单元503，用于根据需求逻辑判断分析每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
缓存单元504，用于保存检索异常分析结果。
结果显示单元505，用于当接收到检索异常查询请求时，读取检索异常分析结果并在图形接口界面进行显示。
这样，本发明实施例在检索过程中，实时将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，也就是将检索请求在各个检索处理模块的当前状态都记录下来，在需要进行检索异常查询时，不会受到数据更新、环境状态变化的影响，可以获得请求发生时的检索异常分析结果，避免了滞后诊断误差，使检索异常还原结果更加准确；同时，离线查询的方式无需再请求线上系统，利用MapReduce模型可以进行海量请求查询，提高了检索异常还原的处理效率；另外，本发明实施例在需要扩展需求时只需要相应检索处理模块增加日志输出字段，结构化的数据格式以及高性能HADOOP的使用让诊断分析方式易开发，灵活易扩展。
相应的，本发明实施例还提供一种服务器，参见图7所示，可以包括：
处理器701、存储器702、输入装置703和输出装置704。浏览器服务器中的处理器701的数量可以一个或多个，图7中以一个处理器为例。在本发明的一些实施例中，处理器701、存储器702、输入装置703和输出装置704可通过总线或其它方式连接，其中，图7中以通过总线连接为例。
存储器702可用于存储软件程序以及模块，处理器701通过运行存储在存储器702的软件程序以及模块，从而执行浏览器服务器的各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置703可用于接收输入的数字或字符信息，以及产生与浏览器服务器的用户设置以及功能控制有关的键信号输入。
具体在本实施例中，处理器701会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器702中，并由处理器701来运行存储在存储器702中的应用程序，从而实现各种功能：
在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；
利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息；
根据需求逻辑判断分析所述每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
相应的，还包括：保存所述检索异常分析结果；
当接收到检索异常查询请求时，读取所述检索异常分析结果并在图形接口界面进行显示。
相应的，所述状态信息包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合；
所述结果信息包括：各个检索处理模块中预先标记的结果项产生的结果信息。
相应的，所述将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，包括：
当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理所述包括标记的请求时，将所述各个检索处理模块产生或接收的状态信息和/或结果信息召回；
将每一个所述检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
相应的，所述利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息，包括：
将所述网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个所述Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对；
将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
本发明实施例中，处理器701在检索过程中，实时将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，也就是将检索请求在各个检索处理模块的当前状态都记录下来，在需要进行检索异常查询时，不会受到数据更新、环境状态变化的影响，可以获得请求发生时的检索异常分析结果，避免了滞后诊断误差，使检索异常还原结果更加准确；同时，离线查询的方式无需再请求线上系统，利用MapReduce模型可以进行海量请求查询，提高了检索异常还原的处理效率。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统或装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种实现检索异常还原的方法，其特征在于，所述方法包括：
在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；
利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息；
根据需求逻辑判断分析所述每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
保存所述检索异常分析结果；
当接收到检索异常查询请求时，读取所述检索异常分析结果并在图形接口界面进行显示。
3.根据权利要求1所述的方法，其特征在于，
所述状态信息包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合；
所述结果信息包括：各个检索处理模块中预先标记的结果项产生的结果信息。
4.根据权利要求1所述的方法，其特征在于，所述将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中，包括：
当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理所述包括标记的请求时，将所述各个检索处理模块产生或接收的状态信息和/或结果信息召回；
将每一个所述检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
5.根据权利要求4所述的方法，其特征在于，所述利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息，包括：
将所述网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个所述Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对；
将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
6.一种实现检索异常还原的装置，其特征在于，所述装置包括：
保存单元，用于在检索过程中，将各个检索处理模块在处理预先标记的请求时产生或接收的状态信息和/或结果信息保存到网络存储系统中；
数据处理单元，用于利用MapReduce模型处理所述网络存储系统中保存的数据，获得每一个预先标记的请求对应的所述各个检索处理模块产生的状态信息和/或结果信息；
分析单元，用于根据需求逻辑判断分析所述每一个预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，获得每一个预先标记的请求的检索异常分析结果。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
缓存单元，用于保存所述检索异常分析结果；
结果显示单元，用于当接收到检索异常查询请求时，读取所述检索异常分析结果并在图形接口界面进行显示。
8.根据权利要求6所述的装置，其特征在于，
所述状态信息包括：超时信息、返回状态码信息、是否可信信息、流控信息、是否命中Cache信息或逻辑判断处理状态信息中的一种或多种的组合；
所述结果信息包括：各个检索处理模块中预先标记的结果项产生的结果信息。
9.根据权利要求6所述的装置，其特征在于，所述保存单元包括：
接收子单元，用于当各个检索处理模块接收从检索处理顶层模块传入的包括标记的请求并处理所述包括标记的请求时，将所述各个检索处理模块产生或接收的状态信息和/或结果信息召回；
保存子单元，用于将每一个所述检索处理模块处理的各条包括标记的请求对应的状态信息和/或结果信息分别保存到网络存储系统中。
10.根据权利要求9所述的装置，其特征在于，所述数据处理单元包括：
并行处理子单元，用于将所述网络存储系统中保存的数据切分为若干个数据块，分别输入各个独立的Map节点进行并行处理，每个所述Map节点输出包括预先标记的请求、对应的检索处理模块以及对应的状态信息和/或结果信息的数据对；
合并子单元，用于将每一条预先标记的请求对应的全部状态信息和/或结果信息进行合并，获得每一条预先标记的请求对应的各个检索处理模块产生的状态信息和/或结果信息，并输入到一个Reduce节点中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310603444.XA CN104657392B (zh) | 2013-11-25 | 2013-11-25 | 一种实现检索异常还原的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310603444.XA CN104657392B (zh) | 2013-11-25 | 2013-11-25 | 一种实现检索异常还原的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104657392A true CN104657392A (zh) | 2015-05-27 |
| CN104657392B CN104657392B (zh) | 2020-02-11 |
Family
ID=53248535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310603444.XA Active CN104657392B (zh) | 2013-11-25 | 2013-11-25 | 一种实现检索异常还原的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104657392B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109901991A (zh) * | 2019-01-04 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 一种分析异常调用的方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101018113A (zh) * | 2007-01-24 | 2007-08-15 | 华为技术有限公司 | 实现数据同步、获知数据同步结果方法及其系统、hlr |
| JP4121123B2 (ja) * | 2003-05-20 | 2008-07-23 | 富士通株式会社 | 移動体通信方法及びシステム |
| CN101344394A (zh) * | 2008-09-02 | 2009-01-14 | 凯立德欣技术（深圳）有限公司 | 导航系统及导航系统的信息点检索方法 |
| CN102024044A (zh) * | 2010-12-08 | 2011-04-20 | 华为技术有限公司 | 分布式文件系统 |
| CN102664961A (zh) * | 2012-05-04 | 2012-09-12 | 北京邮电大学 | MapReduce环境下的异常检测方法 |
| CN102724059A (zh) * | 2012-03-31 | 2012-10-10 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于MapReduce的网站运行状态监控与异常检测 |
| CN103051707A (zh) * | 2012-12-20 | 2013-04-17 | 浪潮集团有限公司 | 一种基于动态用户行为的云取证方法及系统 |
| CN103336849A (zh) * | 2013-07-24 | 2013-10-02 | 昆明理工大学 | 一种数据库检索系统中提高检索速度的方法及装置 |
-
2013
- 2013-11-25 CN CN201310603444.XA patent/CN104657392B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4121123B2 (ja) * | 2003-05-20 | 2008-07-23 | 富士通株式会社 | 移動体通信方法及びシステム |
| CN101018113A (zh) * | 2007-01-24 | 2007-08-15 | 华为技术有限公司 | 实现数据同步、获知数据同步结果方法及其系统、hlr |
| CN101344394A (zh) * | 2008-09-02 | 2009-01-14 | 凯立德欣技术（深圳）有限公司 | 导航系统及导航系统的信息点检索方法 |
| CN102024044A (zh) * | 2010-12-08 | 2011-04-20 | 华为技术有限公司 | 分布式文件系统 |
| CN102724059A (zh) * | 2012-03-31 | 2012-10-10 | 常熟市支塘镇新盛技术咨询服务有限公司 | 基于MapReduce的网站运行状态监控与异常检测 |
| CN102664961A (zh) * | 2012-05-04 | 2012-09-12 | 北京邮电大学 | MapReduce环境下的异常检测方法 |
| CN103051707A (zh) * | 2012-12-20 | 2013-04-17 | 浪潮集团有限公司 | 一种基于动态用户行为的云取证方法及系统 |
| CN103336849A (zh) * | 2013-07-24 | 2013-10-02 | 昆明理工大学 | 一种数据库检索系统中提高检索速度的方法及装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109901991A (zh) * | 2019-01-04 | 2019-06-18 | 阿里巴巴集团控股有限公司 | 一种分析异常调用的方法、装置和电子设备 |
| CN109901991B (zh) * | 2019-01-04 | 2022-05-13 | 创新先进技术有限公司 | 一种分析异常调用的方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104657392B (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209352B (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
| WO2017167095A1 (zh) | 一种模型的训练方法和装置 | |
| CN110472068A (zh) | 基于异构分布式知识图谱的大数据处理方法、设备及介质 | |
| CN107077480A (zh) | 基于查询需求自适应地从当前时间的行存储数据库中构建列存储数据库的方法和系统 | |
| CN105139281A (zh) | 一种电力营销大数据的处理方法及系统 | |
| CN102682108B (zh) | 一种行列混合的数据库存储方法 | |
| CN104090889A (zh) | 数据处理方法及系统 | |
| CN106066895A (zh) | 一种智能查询系统 | |
| CN105653609A (zh) | 基于内存的数据处理方法及装置 | |
| CN106909372A (zh) | 一种移动端用户购买路径计算方法及系统 | |
| CN104317899A (zh) | 一种大数据分析与处理系统及访问方法 | |
| Gupta et al. | Faster as well as early measurements from big data predictive analytics model | |
| CN111258978A (zh) | 一种数据存储的方法 | |
| KR20200083313A (ko) | 기계 학습을 위한 데이터 스티칭 및 조화 | |
| CN103488564A (zh) | 一种分布式实时测试系统多路测试数据压缩与归并方法 | |
| CN104424325A (zh) | 数据查询方法和装置 | |
| CN104391910B (zh) | 一种基于HBase的税收统计报表存储与计算的方法 | |
| CN114064707A (zh) | 一种用于数据虚拟化服务器的数据查询方法、装置及存储介质 | |
| CN106909623B (zh) | 一种支持高效海量数据分析和检索的数据装置及数据存储方法 | |
| CN104657392A (zh) | 一种实现检索异常还原的方法及装置 | |
| CN108647243B (zh) | 基于时间序列的工业大数据存储方法 | |
| CN116155597A (zh) | 访问请求的处理方法、装置及计算机设备 | |
| CN102890708A (zh) | 图书馆采访决策辅助支持系统 | |
| CN104090895B (zh) | 获取基数的方法、装置、服务器及系统 | |
| CN104750488A (zh) | 一种软件调试日志输出控制实现方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |