CN111949479B - 交互系统和索引创建情况的确定方法、设备 - Google Patents

交互系统和索引创建情况的确定方法、设备 Download PDF

Info

Publication number
CN111949479B
CN111949479B CN202010756090.2A CN202010756090A CN111949479B CN 111949479 B CN111949479 B CN 111949479B CN 202010756090 A CN202010756090 A CN 202010756090A CN 111949479 B CN111949479 B CN 111949479B
Authority
CN
China
Prior art keywords
target index
search server
index
determining
creation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010756090.2A
Other languages
English (en)
Other versions
CN111949479A (zh
Inventor
李蔚声
史笛扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202010756090.2A priority Critical patent/CN111949479B/zh
Publication of CN111949479A publication Critical patent/CN111949479A/zh
Application granted granted Critical
Publication of CN111949479B publication Critical patent/CN111949479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3055—Monitoring arrangements for monitoring the status of the computing system or of the computing system component, e.g. monitoring if the computing system is on, off, available, not available
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3089—Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • G06F11/3093—Configuration details thereof, e.g. installation, enabling, spatial arrangement of the probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2272—Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/80—Database-specific techniques
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供了一种交互系统和索引创建情况的确定方法、设备，可用于金融领域或其他领域，其中，该系统包括：搜索服务器、应用服务器，搜索服务器，用于为加载入HBASE数据库的数据创建索引；搜索服务器端设置有接口和监测模块，监测模块用于通过搜索服务器端的接口监测搜索服务器是否在创建目标索引；应用服务器，用于在监测模块监测到搜索服务器在创建目标索引的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志，根据目标索引对应的记录日志确定目标索引的创建情况。在本申请实施例中，可以通过在搜索服务器端设置接口和监测模块，实时、准确地确定搜索服务器为加载入HBASE数据库的数据创建的索引的情况。

Description

交互系统和索引创建情况的确定方法、设备
技术领域
本申请涉及人工智能技术领域，特别涉及一种交互系统和索引创建情况的确定方法、设备。需要说明的是，本申请公开的交互系统和索引创建情况的确定方法、设备可用于金融领域，也可用于除金融领域之外的任意领域，本申请公开的交互系统和索引创建情况的确定方法、设备的应用领域不做限定。
背景技术
目前应用从数据湖中加载业务数据后，可以经过处理保存到HBASE数据库，上述HBASE数据库为一种开源的非关系型分布式数据库。由于HBASE数据库中的RowKey(HBASE的唯一主键)不支持条件查询，因此，引入了ES同步建立索引机制，以满足应用快速查询数据的需求。可以在将业务数据加载处理入HBASE数据库的同时利用ES(Elasticsearch，搜索服务器)集群同步建立索引，使得应用侧可以通过ES集群建立的索引去获取需要查询的数据，展现具体数据信息，完成整体查询交易流程。
在入HABSE库到ES同步建立索引的过程中，可能存在数据处理不同步、基础环境网络或设备故障、数据自身质量差等情况，从而会存在数据处理异常，导致ES索引建立失败，进而会导致应用侧查询数据失败。现有技术中，由于ES同步建立索引是一个黑盒过程，因此，应用侧无法获知建立的具体信息以确认索引是否创建和完整有效。从而使得采用现有技术中的技术方案无法准确定位以及时解决ES同步建立索引中出现的问题，运维时效低下。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种交互系统和索引创建情况的确定方法、设备，以解决现有技术中无法准确定位以及时解决ES同步建立索引中出现的问题，运维时效低下的问题。
本申请实施例提供了一种交互系统，所述交互系统包括：搜索服务器、应用服务器，其中，所述搜索服务器，用于为加载入HBASE数据库的数据创建索引；其中，所述搜索服务器端设置有接口和监测模块，所述监测模块用于通过所述搜索服务器端的接口监测所述搜索服务器是否在创建目标索引；所述应用服务器，通过所述接口与所述搜索服务器通信连接，用于在所述监测模块监测到所述搜索服务器在创建目标索引的情况下，通过所述搜索服务器端的接口读取所述搜索服务器在创建所述目标索引时产生的记录日志，根据所述目标索引对应的记录日志确定所述目标索引的创建情况。
本申请实施例还提供了一种索引创建情况的确定方法，包括：通过搜索服务器端的接口监测所述搜索服务器是否在创建目标索引；在监测到所述搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令。
本申请实施例还提供了一种索引创建情况的确定方法，包括：在接收到读取目标索引时产生的记录日志的指令的情况下，通过搜索服务器端的接口读取所述搜索服务器在创建所述目标索引时产生的记录日志；根据所述目标索引对应的记录日志，确定所述目标索引的创建情况。
本申请实施例还提供了一种索引创建情况的确定设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现所述索引创建情况的确定方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现所述索引创建情况的确定方法的步骤。
本申请实施例提供了一种交互系统，可以通过在搜索服务器端设置接口和监测模块，使得应用侧可以在监测模块监测到搜索服务器在创建目标索引的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志，并根据目标索引对应的记录日志确定目标索引的创建情况。从而可以实时、准确地确定搜索服务器为加载入HBASE数据库的数据创建的索引的情况，进而可以保证索引的创建和完整有效。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：
图1是根据本申请实施例提供的交互系统的示意图；
图2是根据本申请实施例提供的搜索服务器侧的索引创建情况的确定方法的步骤示意图；
图3是根据本申请实施例提供的应用服务器侧的索引创建情况的确定方法的步骤示意图；
图4是根据本申请实施例提供的索引创建情况的确定设备的结构示意图。
具体实施方式
下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本申请公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
本领域的技术人员知道，本申请的实施方式可以实现为一种系统、装置设备、方法或计算机程序产品。因此，本申请公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。
请参阅图1，本实施方式可以提供一种交互系统。该交互系统可以用于在搜索服务器创建目标索引是通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志，从而使得应用服务器可以实时根据目标索引对应的记录日志确定目标索引的创建情况。上述交互系统可以包括：搜索服务器100和应用服务器200，其中，
搜索服务器100，用于为加载入HBASE数据库的数据创建索引；其中，搜索服务器端设置有接口101和监测模块102，监测模块102用于通过搜索服务器端的接口101监测搜索服务器100是否在创建目标索引；
应用服务器200，通过接口101与搜索服务器100通信连接，用于在监测模块102监测到搜索服务器100在创建目标索引的情况下，通过搜索服务器端的接口101读取搜索服务器100在创建目标索引时产生的记录日志，根据目标索引对应的记录日志确定目标索引的创建情况。
在本实施方式中，上述HBASE数据库是一个开源的非关系型分布式数据库，由于HBASE数据库中的RowKey(HBASE的唯一主键)不支持条件查询，因此，可以在应用从数据湖中加在业务数据后，进行处理写入HBASE数据库，并利用搜索服务器100同步建立索引。
在本实施方式中，上述数据湖可以为各个企业建立的大数据系统，接入的各个应用可以将自己的所有数据纳入其中，也可以称为HADOOP集群，HADOOP集群是一个分布式系统基础架构，HADOOP集群可以使用户在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。
在本实施方式中，上述搜索服务器100可以是单一的服务器，也可以是一个服务器集群，具体的可以根据实际情况确定，本申请对此不作限定。上述搜索服务器100可以为Elasticsearch，上述Elasticsearch是一个基于Lucene的搜索服务器，是一个提供了分布式多用户能力的全文搜索引擎，上述Lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构。可以理解的是，在一些实施例中还可以采用其它技术实现搜索服务器100，例如：Google等，具体的可以根据实际情况确定本申请对此不作限定。
在本实施方式中，由于搜索服务器100同步建立索引是一个黑盒过程，因此，在搜索服务器端可以设置有接口101，上述应用服务器200可以通过接口101与搜索服务器100通信连接，从而可以通过接口101获取搜索服务器建立索引的过程数据。
在本实施方式中，接口泛指实体把自己提供给外界的一种抽象化物，用以由内部操作分离出外部沟通方法，使其能被修改内部而不影响外界其他实体与其交互的方式。上述接口101可以为搜索服务器100与应用服务器200之间的通信规则，在建立接口101之前可以由应用服务器200向搜索服务器获取授权信息，以保证接口101可以支持应用服务器的读取操作。
在本实施方式中，上述检测模块102可以与接口101进行通信连接，检测模块102可以用于通过接口101对搜索服务器100创建索引的操作进行监测，从而可以监测搜索服务器100是否在创建目标索引。其中，上述目标索引可以为搜索服务器中为加载入HBASE数据库的数据创建的任意一个搜索，可以为需要进行创建情况确定的索引。
在本实施方式中，上述检测模块102可以与应用服务器200进行通信连接，在上述检测模块102监测到搜索服务器100开始在创建目标索引的情况下，触发应用服务器200通过搜索服务器端的接口101读取搜索服务器100在创建目标索引时产生的记录日志，并且应用服务器200可以根据目标索引对应的记录日志确定目标索引的创建情况。
在本实施方式中，上述记录日志可以为搜索服务器100在创建目标索引时产生的，记录日志中可以包括：目标索引创建的时间、目标索引的创建位置等。由于加载入HBASE数据库的数据中每条数据均约定有需要建立索引的字段，因此，相应的每条索引均有对应的字段，该字段相当于用户查询时输入的查询关键词。在一些实施例中，上述记录日志中还可以包括目标索引对应的字段。上述创建情况可以包括：索引创建成功、索引创建失败等。
从以上的描述中，可以看出，本申请实施例实现了如下技术效果：可以通过在搜索服务器端设置接口和监测模块，使得应用侧可以在监测模块监测到搜索服务器在创建目标索引的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志，并根据目标索引对应的记录日志确定目标索引的创建情况。从而可以实时、准确地确定搜索服务器为加载入HBASE数据库的数据创建的索引的情况，进而可以保证索引的创建和完整有效。
在一个场景实例中，从数据湖中加载数据进行处理后入HBASE数据库，利用搜索服务器ES同步建立索引。为了确定搜索服务器建立索引的进程和建立情况，可以利用监测模块通过所述搜索服务器端的接口监测所述搜索服务器是否在创建目标索引，在监测到所述搜索服务器在创建目标索引的情况下，触发应用服务器通过所述搜索服务器端的接口读取所述搜索服务器在创建所述目标索引时产生的记录日志，并将读取的记录日志写入应用侧的数据库中。进一步的，可以根据所述目标索引对应的记录日志确定所述目标索引的创建情况。
请参阅图2，本实施方式可以提供一种基于上述交互系统进行的索引创建情况的确定方法。该索引创建情况的确定方法可以用于搜索服务器侧，上述索引创建情况的确定方法可以包括以下步骤。
S201：通过搜索服务器端的接口监测搜索服务器是否在创建目标索引。
在本实施方式中，为了不遗漏搜索服务器中创建的任意一条索引、实时确定建立的每一条索引的创建情况，可以通过搜索服务器端的接口监测搜索服务器是否在创建目标索引。
在本实施方式中，上述目标索引可以为搜索服务器中为加载入HBASE数据库的数据创建的任意一个搜索，可以为需要进行创建情况确定的索引。
在本实施方式中，上述搜索服务器可以为Elasticsearch，上述Elasticsearch是一个基于Lucene的搜索服务器，是一个提供了分布式多用户能力的全文搜索引擎，上述Lucene是一个开放源代码的全文检索引擎工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构。可以理解的是，在一些实施例中还可以采用其它技术实现搜索服务器，例如：Google(谷歌)等，具体的可以根据实际情况确定本申请对此不作限定。
在本实施方式中，接口泛指实体把自己提供给外界的一种抽象化物，用以由内部操作分离出外部沟通方法，使其能被修改内部而不影响外界其他实体与其交互的方式。上述接口可以为搜索服务器与应用服务器之间的通信规则，在建立接口之前可以由应用服务器向搜索服务器获取授权信息，以保证接口可以支持应用服务器的读取操作。
S202：在监测到搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令。
在本实施方式中，可以将监测到搜索服务器在创建目标索引作为触发条件触发应用服务器去通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志。因此，可以在监测到搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令。
在本实施方式中，上述记录日志中可以包括：目标索引创建的时间、目标索引的创建位置等。由于加载入HBASE数据库的数据中每条数据均约定有需要建立索引的字段，因此，相应的每条索引均有对应的字段，该字段相当于用户查询时输入的查询关键词。在一些实施例中，上述记录日志中还可以包括目标索引对应的字段。
在本实施方式中，上述指令中可以包含正在创建的索引基本信息，例如：目标索引的RowID，RowID为伪列，RowID是指在物理上这个列并不存在，只是在查询时才构造出来。使用RowID可以快速地定位到某个对应的数据，因为它标记了记录所对应的物理地址，是唯一的。当然可以理解的是，上述指令中还可以包含其它信息，具体的可以根据实际情况确定，本申请对此不作限定。
请参阅图3，本实施方式可以提供一种基于上述交互系统进行的索引创建情况的确定方法。该索引创建情况的确定方法可以用于应用服务器侧，上述索引创建情况的确定方法可以包括以下步骤。
S301：在接收到读取目标索引时产生的记录日志的指令的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志。
在本实施方式中，在接收到搜读取目标索引时产生的记录日志的指令的情况下，可以通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志。其中，上述记录日志可以用于判断目标索引的创建情况。
在本实施方式中，上述记录日志中可以包括：目标索引创建的时间、目标索引的创建位置等。由于加载入HBASE数据库的数据中每条数据均约定有需要建立索引的字段，因此，相应的每条索引均有对应的字段，该字段相当于用户查询时输入的查询关键词。在一些实施例中，上述记录日志中还可以包括目标索引对应的字段。
在一个实施方式中，可以预先设定应用服务器读取的路径，并将监测到搜索服务器在创建目标索引作为触发条件。从而可以在监测到搜索服务器在创建目标索引的情况下，根据上述预先设定好的路径读取搜索服务器在创建目标索引时产生的记录日志。
在一个实施方式中，在读取得到搜索服务器在创建目标索引时产生的记录日志后，可以将上述记录日志存储至应用侧的数据库中。
S302：根据目标索引对应的记录日志，确定目标索引的创建情况。
在本实施方式中，在读取得到搜索服务器在创建目标索引时产生的记录日志后，可以根据目标索引对应的记录日志，确定目标索引的创建情况。上述创建情况可以包括：索引创建成功、索引创建失败等。
在一个实施方式中，根据目标索引对应的记录日志，确定目标索引的创建情况，可以包括：根据目标索引对应的记录日志，确定记录日志中是否存在异常信息。在记录日志中不存在异常信息的情况下，可以确定目标索引创建成功，在记录日志中存在异常信息的情况下，可以确定目标索引创建失败。
在本实施方式中，由于在索引创建时，如果创建成功在记录日志中会有成功的标志，如果创建失败则在记录日志中会包含失败日志，失败日志中会存在异常信息，因此，可以通过判断记录日志中是否存在异常信息来确定目标索引是否创建成功。
在一个实施方式中，可以在读取得到搜索服务器在创建目标索引时产生的记录日志后，将上述记录日志存储至应用侧的数据库中。可以每间隔预设时间段对数据库中新增的记录日志进行检测，以确定是否存在创建失败的索引。其中，上述预设时间间隔可以为15分钟，也可以为10分钟，具体的可以根据实际情况确定，本申请对此不作限定。
在一个实施方式中，在确定目标索引创建失败之后，可以获取目标索引的伪列(RowID)，从目标索引对应的记录日志中获取失败记录信息，可以根据目标索引的伪列和失败记录信息生成目标索引的异常报文。进一步的，可以获取目标索引对应的处理对象，并将异常报文发送给处理对象。
在本实施方式中，上述RowID为伪列，RowID是指在物理上这个列并不存在，只是在查询时才构造出来。使用RowID可以快速地定位到某个对应的数据，因为它标记了记录所对应的物理地址，是唯一的。
在本实施方式中，如果索引创建失败则在记录日志中会包含失败日志，失败日志中记录有失败记录信息，因此，可以从目标索引对应的记录日志中获取失败记录信息。上述处理对象可以为负责处理索引创建的相关工作人员，当然也可以为电脑程序，具体的可以根据实际情况确定，本申请对此不作限定。
在本实施方式中，上述目标索引对应的处理对象在接收到目标索引对应的异常报文之后，可以根据目标索引的伪列和失败记录信息确定目标索引创建失败的原因，并重新创建目标索引。
在一个实施方式中，为了确保可追溯性，在确定目标索引创建失败之后，可以获取目标索引的伪列，可以从目标索引对应的记录日志中获取失败记录信息，并根据失败记录信息，确定目标索引创建失败的原因类别。进一步的，可以根据目标索引创建失败的原因类别，将目标索引的伪列和失败记录信息写入预设数据库中。
由于创建索引失败的原因可能会有很多，例如：数据处理不同步、内部处理机制、基础环境网络或设备故障、数据自身质量差等。对于不同的原因类别有不同的处理方式，例如：环境原因需要系统部门检查设备性能运行情况、数据质量需要联系上游提供数据方进行确认、内部处理机制需要联系搜索服务器侧系统处理等。因此，在本实施方式中，可以根据失败记录信息，确定目标索引创建失败的原因类别，从而可以在上述预设数据库中按照目标索引创建失败的原因类别分类存储目标索引的伪列和失败记录信息。
在一个实施方式中，在确定目标索引创建失败之后，可以根据目标索引对应的记录日志，确定目标索引创建失败的原因。进一步的，可以根据目标索引创建失败的原因，通过搜索服务器重新创建目标索引，直至目标索引创建成功。
在一个实施方式中，在根据目标索引对应的记录日志，确定目标索引的创建情况之后，还可以包括：接收用户发送的数据查询请求，其中，数据查询请求中包含查询关键词，查询关键词对应的索引为目标索引。在接收到数据查询请求之后可以根据查询关键词对应的目标索引进行查询，以确定数据查询请求的响应数据是否存在异常。如果存在异常则会在用户界面上显示无查询到的数据或者查询到的数据为空等，如果不存在异常则会在用户界面上显示查询到的数据。
进一步的，可以在数据查询请求的响应数据存在异常的情况下，获取目标索引的伪列，并根据目标索引的伪列，确定预设数据库中是否存在目标索引对应的失败记录信息。在预设数据库中存在目标索引对应的失败记录信息的情况下，可以根据目标索引对应的失败记录信息和数据查询请求的响应数据重新建立目标索引。
在本实施方式中，在理想情况下按照上述方式可以成功建立所有需要创建的索引，但是在一些情况下可能存在数据查询请求的响应数据存在异常，该异常可能不是由索引的创建问题引起的，因此，可以使用上述预设数据库进行快速的排查，从而可以快速准确地分析定位问题。
在本实施方式中，如果预设数据库中不存在目标索引对应的失败记录信息，则说明响应数据的异常与目标索引无关，可以进一步确定应用是否正常、查询检索条件是否符合要求等。如果预设数据库中存在目标索引对应的失败记录信息，可以根据目标索引对应的失败记录信息和数据查询请求的响应数据重新建立目标索引，以使重新建立的目标索引可以满足用户的业务需求。
在本实施方式中，在数据查询请求的响应数据存在异常的情况下，也可以将上述数据查询请求的响应数据以及上述数据查询请求发送给目标索引对应的处理对象。处理对象可以根据上述数据查询请求的响应数据以及上述数据查询请求，确定数据查询请求对应的查询关键词，并根据查询关键词从上述预设数据库中搜索是否存在与查询关键词对应的目标索引的失败记录信息。
在一个实施方式中，在确定预设数据库中是否存在目标索引对应的失败记录信息之后，可以在预设数据库中不存在目标索引对应的失败记录信息的情况下，则说明响应数据的异常与目标索引无关。可以获取目标索引对应的处理对象，并将数据查询请求的响应数据反馈给目标索引对应的处理对象。处理对象可以根据数据查询请求的响应数据进一步排查确定应用是否正常、查询检索条件是否符合要求等。
本申请实施方式还提供了一种电子设备，具体可以参阅图4所示的基于本申请实施例提供的索引创建情况的确定方法的电子设备组成结构示意图，电子设备具体可以包括输入设备41、处理器42、存储器43。其中，输入设备41具体可以用于输入相关参数。处理器42具体可以用于通过搜索服务器端的接口监测搜索服务器是否在创建目标索引；在监测到搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令；在接收到读取目标索引时产生的记录日志的指令的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志；根据目标索引对应的记录日志，确定目标索引的创建情况。存储器43具体可以用于存储目标索引的创建情况等参数。
在本实施方式中，输入设备具体可以是用户和计算机系统之间进行信息交换的主要装置之一。输入设备可以包括键盘、鼠标、摄像头、扫描仪、光笔、手写输入板、语音输入装置等；输入设备用于把原始数据和处理这些数的程序输入到计算机中。输入设备还可以获取接收其他模块、单元、设备传输过来的数据。处理器可以按任何适当的方式实现。例如，处理器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式等等。存储器具体可以是现代信息技术中用于保存信息的记忆设备。存储器可以包括多个层次，在数字系统中，只要能保存二进制数据的都可以是存储器；在集成电路中，一个没有实物形式的具有存储功能的电路也叫存储器，如RAM、FIFO等；在系统中，具有实物形式的存储设备也叫存储器，如内存条、TF卡等。
在本实施方式中，该电子设备具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
本申请实施方式中还提供了一种基于索引创建情况的确定方法的计算机存储介质，计算机存储介质存储有计算机程序指令，在计算机程序指令被执行时可以实现：通过搜索服务器端的接口监测搜索服务器是否在创建目标索引；在监测到搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令；在接收到读取目标索引时产生的记录日志的指令的情况下，通过搜索服务器端的接口读取搜索服务器在创建目标索引时产生的记录日志；根据目标索引对应的记录日志，确定目标索引的创建情况。
在本实施方式中，上述存储介质包括但不限于随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、缓存(Cache)、硬盘(Hard DiskDrive，HDD)或者存储卡(Memory Card)。存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
显然，本领域的技术人员应该明白，上述的本申请实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请实施例不限制于任何特定的硬件和软件结合。
虽然本申请提供了如上述实施例或流程图的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。的方法的在实际中的装置或终端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。
应该理解，以上描述是为了进行图示说明而不是为了进行限制。通过阅读上述描述，在所提供的示例之外的许多实施方式和许多应用对本领域技术人员来说都将是显而易见的。因此，本申请的范围不应该参照上述描述来确定，而是应该参照前述权利要求以及这些权利要求所拥有的等价物的全部范围来确定。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请实施例可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (7)

1.一种交互系统，其特征在于，所述交互系统包括：搜索服务器、应用服务器，其中，
所述搜索服务器，用于为加载入HBASE数据库的数据创建索引；其中，所述搜索服务器端设置有接口和监测模块，所述监测模块用于通过所述搜索服务器端的接口监测所述搜索服务器是否在创建目标索引；
所述应用服务器，通过所述接口与所述搜索服务器通信连接，用于在所述监测模块监测到所述搜索服务器在创建目标索引的情况下，通过所述搜索服务器端的接口读取所述搜索服务器在创建所述目标索引时产生的记录日志，根据所述目标索引对应的记录日志确定所述目标索引的创建情况；
其中，根据所述目标索引对应的记录日志，确定所述目标索引的创建情况，包括：
根据所述目标索引对应的记录日志，确定所述记录日志中是否存在异常信息；
在所述记录日志中不存在异常信息的情况下，确定所述目标索引创建成功；
在所述记录日志中存在异常信息的情况下，确定所述目标索引创建失败；
其中，在确定所述目标索引创建失败之后，还包括：
获取所述目标索引的伪列；
从所述目标索引对应的记录日志中获取失败记录信息；
根据所述失败记录信息，确定所述目标索引创建失败的原因类别；
根据所述目标索引创建失败的原因类别，将所述目标索引的伪列和失败记录信息写入预设数据库中；
其中，在根据所述目标索引对应的记录日志，确定所述目标索引的创建情况之后，还包括：
接收用户发送的数据查询请求；其中，所述数据查询请求中包含查询关键词，所述查询关键词对应的索引为所述目标索引；
确定所述数据查询请求的响应数据是否存在异常；
在所述数据查询请求的响应数据存在异常的情况下，获取所述目标索引的伪列；
根据所述目标索引的伪列，确定所述预设数据库中是否存在所述目标索引对应的失败记录信息；
在所述预设数据库中存在所述目标索引对应的失败记录信息的情况下，根据所述目标索引对应的失败记录信息和所述数据查询请求的响应数据重新建立所述目标索引。
2.一种索引创建情况的确定方法，其特征在于，包括：
通过搜索服务器端的接口监测所述搜索服务器是否在创建目标索引；
在监测到所述搜索服务器在创建目标索引的情况下，向应用服务器发送读取目标索引时产生的记录日志的指令；
在接收到读取目标索引时产生的记录日志的指令的情况下，通过搜索服务器端的接口读取所述搜索服务器在创建所述目标索引时产生的记录日志；
根据所述目标索引对应的记录日志，确定所述目标索引的创建情况；
其中，根据所述目标索引对应的记录日志，确定所述目标索引的创建情况，包括：
根据所述目标索引对应的记录日志，确定所述记录日志中是否存在异常信息；
在所述记录日志中不存在异常信息的情况下，确定所述目标索引创建成功；
在所述记录日志中存在异常信息的情况下，确定所述目标索引创建失败；
其中，在确定所述目标索引创建失败之后，还包括：
获取所述目标索引的伪列；
从所述目标索引对应的记录日志中获取失败记录信息；
根据所述失败记录信息，确定所述目标索引创建失败的原因类别；
根据所述目标索引创建失败的原因类别，将所述目标索引的伪列和失败记录信息写入预设数据库中；
其中，在根据所述目标索引对应的记录日志，确定所述目标索引的创建情况之后，还包括：
接收用户发送的数据查询请求；其中，所述数据查询请求中包含查询关键词，所述查询关键词对应的索引为所述目标索引；
确定所述数据查询请求的响应数据是否存在异常；
在所述数据查询请求的响应数据存在异常的情况下，获取所述目标索引的伪列；
根据所述目标索引的伪列，确定所述预设数据库中是否存在所述目标索引对应的失败记录信息；
在所述预设数据库中存在所述目标索引对应的失败记录信息的情况下，根据所述目标索引对应的失败记录信息和所述数据查询请求的响应数据重新建立所述目标索引。
3.根据权利要求2所述的方法，其特征在于，在确定所述目标索引创建失败之后，还包括：
获取所述目标索引的伪列；
从所述目标索引对应的记录日志中获取失败记录信息；
根据所述目标索引的伪列和失败记录信息生成所述目标索引的异常报文；
获取所述目标索引对应的处理对象；
将所述异常报文发送给所述处理对象。
4.根据权利要求2所述的方法，其特征在于，在确定所述目标索引创建失败之后，还包括：
根据所述目标索引对应的记录日志，确定所述目标索引创建失败的原因；
根据所述目标索引创建失败的原因，通过所述搜索服务器重新创建所述目标索引。
5.根据权利要求2所述的方法，其特征在于，在确定所述预设数据库中是否存在所述目标索引对应的失败记录信息之后，还包括：
在所述预设数据库中不存在所述目标索引对应的失败记录信息的情况下，获取所述目标索引对应的处理对象；
将所述数据查询请求的响应数据反馈给所述目标索引对应的处理对象。
6.一种索引创建情况的确定设备，其特征在于，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现权利要求2至5中任一项所述方法的步骤。
7.一种计算机可读存储介质，其特征在于，其上存储有计算机指令，所述指令被执行时实现权利要求2至5中任一项所述方法的步骤。
CN202010756090.2A 2020-07-31 2020-07-31 交互系统和索引创建情况的确定方法、设备 Active CN111949479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010756090.2A CN111949479B (zh) 2020-07-31 2020-07-31 交互系统和索引创建情况的确定方法、设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010756090.2A CN111949479B (zh) 2020-07-31 2020-07-31 交互系统和索引创建情况的确定方法、设备

Publications (2)

Publication Number Publication Date
CN111949479A CN111949479A (zh) 2020-11-17
CN111949479B true CN111949479B (zh) 2023-08-25

Family

ID=73338867

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010756090.2A Active CN111949479B (zh) 2020-07-31 2020-07-31 交互系统和索引创建情况的确定方法、设备

Country Status (1)

Country Link
CN (1) CN111949479B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380416A (zh) * 2020-11-25 2021-02-19 北京慕华信息科技有限公司 一种更新课程索引的方法、课程搜索方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004744A (zh) * 2006-01-17 2007-07-25 鸿富锦精密工业（深圳）有限公司 远程多点文件索引同步系统及方法
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
CN110489417A (zh) * 2019-07-25 2019-11-22 深圳壹账通智能科技有限公司 一种数据处理方法及相关设备
KR102097579B1 (ko) * 2018-12-14 2020-04-06 네이버 주식회사 경로탐색 실패 로그를 기반으로 도로네트워크 데이터 이상건 추출 방법 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101004744A (zh) * 2006-01-17 2007-07-25 鸿富锦精密工业（深圳）有限公司 远程多点文件索引同步系统及方法
CN107577588A (zh) * 2017-09-26 2018-01-12 北京中安智达科技有限公司 一种海量日志数据智能运维系统
KR102097579B1 (ko) * 2018-12-14 2020-04-06 네이버 주식회사 경로탐색 실패 로그를 기반으로 도로네트워크 데이터 이상건 추출 방법 및 시스템
CN110489417A (zh) * 2019-07-25 2019-11-22 深圳壹账通智能科技有限公司 一种数据处理方法及相关设备

Also Published As

Publication number Publication date
CN111949479A (zh) 2020-11-17

Similar Documents

Publication Publication Date Title
US9971679B2 (en) Identifying severity of test execution failures by analyzing test execution logs
US9734005B2 (en) Log analytics for problem diagnosis
US10437703B2 (en) Correlation of source code with system dump information
US8055945B2 (en) Systems, methods and computer program products for remote error resolution reporting
CN105556552A (zh) 欺诈探测和分析
US11176110B2 (en) Data updating method and device for a distributed database system
Chen et al. CoFI: Consistency-guided fault injection for cloud systems
CN1967503A (zh) 测试软件应用的方法
CN110188103A (zh) 数据对账方法、装置、设备和存储介质
US10140171B2 (en) Method and apparatus for downsizing the diagnosis scope for change-inducing errors
US20150121144A1 (en) Synchronized debug information generation
CN111522703A (zh) 监控访问请求的方法、设备和计算机程序产品
RU2711348C1 (ru) Способ и система для обработки запросов в распределенной базе данных
CN104636130A (zh) 用于生成事件树的方法和系统
CN104978336A (zh) 基于Hadoop分布式计算平台的非结构化数据存储系统
Sremack Big Data Forensics–Learning Hadoop Investigations
Zhang et al. Automated root causing of cloud incidents using in-context learning with GPT-4
CN111949479B (zh) 交互系统和索引创建情况的确定方法、设备
US10089350B2 (en) Proactive query migration to prevent failures
US10291700B2 (en) Network optimized scan with dynamic fallback recovery
JP2016057658A (ja) 障害情報管理システムおよび障害情報管理方法
Kalaki et al. Anomaly detection on OpenStack logs based on an improved robust principal component analysis model and its projection onto column space
US11645137B2 (en) Exception management in heterogenous computing environment
Do Towards Reliable Cloud Systems
Monge Solano et al. Developing for Resilience: Introducing a Chaos Engineering tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant