CN114491253B - 观测信息处理方法、装置、电子设备及存储介质 - Google Patents

观测信息处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114491253B
CN114491253B CN202210076944.1A CN202210076944A CN114491253B CN 114491253 B CN114491253 B CN 114491253B CN 202210076944 A CN202210076944 A CN 202210076944A CN 114491253 B CN114491253 B CN 114491253B
Authority
CN
China
Prior art keywords
observation information
module
scene
adjusting
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210076944.1A
Other languages
English (en)
Other versions
CN114491253A (zh
Inventor
刘畅
刘伟
张谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210076944.1A priority Critical patent/CN114491253B/zh
Publication of CN114491253A publication Critical patent/CN114491253A/zh
Priority to KR1020220148208A priority patent/KR20220156493A/ko
Priority to JP2022181062A priority patent/JP2023015275A/ja
Priority to EP23152431.5A priority patent/EP4216076A1/en
Priority to US18/157,470 priority patent/US20230153357A1/en
Application granted granted Critical
Publication of CN114491253B publication Critical patent/CN114491253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/90335Query processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24553Query execution of query operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9538Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • G06F40/247Thesauruses; Synonyms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking

Abstract

本公开提供了一种观测信息处理方法、装置、电子设备及存储介质,涉及数据处理技术领域,尤其涉及智能搜索、云计算、大数据领域。具体实现方案为:获取在处理查询请求的过程中生成的观测信息;确定与观测信息对应的场景标识;以及根据场景标识,将观测信息输出至对应的目标位置以便进行存储。

Description

观测信息处理方法、装置、电子设备及存储介质
技术领域
本公开涉及数据处理技术领域,尤其涉及智能搜索、云计算、大数据领域,更具体地,本公开提供了一种观测信息处理方法、装置、电子设备、存储介质以及计算机程序产品。
背景技术
搜索系统、推荐系统等查询系统可以从海量候选集中筛选出与查询请求相关性高的结果。查询系统的维护人员需要收集查询系统在处理查询请求过程中产生的观测信息,并根据观测信息确定检索系统存在的问题。例如,根据观测信息确定查询系统对查询请求的处理过程是否合理,确定如何对查询请求的处理过程进行优化,以及确定数据未正常返回给用户的原因等。
发明内容
本公开提供了一种观测信息处理方法、装置、电子设备、存储介质以及计算机程序产品。
根据本公开的一方面,提供了一种观测信息处理方法,包括:获取在处理查询请求的过程中生成的观测信息;确定与所述观测信息对应的场景标识;以及根据所述场景标识,将所述观测信息输出至对应的目标位置以便进行存储。
根据本公开的另一方面,提供了一种观测信息处理装置,包括观测信息获取模块、场景标识确定模块和输出模块。观测信息获取模块用于获取在处理查询请求的过程中生成的观测信息;场景标识确定模块用于确定与所述观测信息对应的场景标识;输出模块用于根据所述场景标识,将所述观测信息输出至对应的目标位置以便进行存储。
根据本公开的另一个方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开提供的方法。
根据本公开的另一个方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行本公开提供的方法。
根据本公开的另一个方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现本公开提供的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的观测信息处理方法和装置的应用场景示意图;
图2是根据本公开实施例的观测信息处理方法的示意流程图;
图3是根据本公开实施例的观测信息处理方法的示意原理图;
图4是根据本公开实施例的观测信息处理装置的示意结构框图;以及
图5是用来实施本公开实施例的观测信息处理方法的电子设备的结构框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1是根据本公开实施例的观测信息处理方法和装置的应用场景示意图。
需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户的查询请求生成的观测信息等)反馈给终端设备。
需要说明的是,本公开实施例所提供的观测信息处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的观测信息处理装置一般可以设置于服务器105中。本公开实施例所提供的观测信息处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的观测信息处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2是根据本公开实施例的观测信息处理方法的示意流程图。
如图2所示,该观测信息处理方法200可以包括操作S210~操作S230。
在操作S210,获取在处理查询请求的过程中生成的观测信息。
搜索系统、推荐系统等查询系统在接收到查询请求后,对查询请求进行处理,根据查询请求从数据库中筛选与查询请求具有较高关联性的一些数据,然后将筛选出的数据返回至查询请求的发送方。
查询系统处理查询请求的过程可以包括多个阶段,例如可以包括预处理阶段、召回阶段、排序阶段等,相应地,查询系统可以包括预处理模块、召回模块、排序模块等模块,来实现各个阶段的处理。每个模块可以包括多个处理单元,例如预处理模块可以包括切词和同义词转换等处理单元。召回模块可以包括关键词匹配、计算评估值等处理单元。排序模块可以包括计算评估值等处理单元。模块和处理单元均可以是用于实现处理功能的软件模块。
观测信息是指查询系统中的各个处理单元在处理查询请求的过程中生成的信息,用于记录各处理单元对查询请求的处理结果。通过观测信息可以确定候选数据在查询过程的处理情况,例如,某个候选集在召回阶段的评估情况,从而确定某个数据被召回的原因、展示给用户的原因、被过滤的原因等。在一个示例中,通过切词处理单元的观测信息可以确定查询文本被分割为哪些词,例如表述“观测单元”被分割为“观测”和“单元”两个词。例如,通过同义词转换处理单元的观测信息,可以确定查询文本被转换为哪些同义词,例如“观测”被转换为“观察”。
在操作S220,确定与观测信息对应的场景标识。
在一种示例中,场景可以包括用户使用场景。例如,很多用户使用查询系统来查询自己感兴趣的内容,用户输入的查询请求可以触发观测信息的生成与记录,用户对信息进行查询的情况可以是用户使用场景。用户使用场景下产生的观测信息可以包括概要处理信息,该观测信息的数量较少。如果针对某个查询请求的查询结果出现异常,例如未返回结果,则通过该观测信息能够定位查询系统存在问题的大致处理阶段。
在另一种示例中,场景可以包括业务观测场景。例如,业务方可以使用查询系统查询某个特定的文档,然后通过查询结果确定该文档是否被召回。业务观测场景下产生的观测信息可以包括概要处理信息,该观测信息的数量较少,例如观测信息占用的存储空间约为几十KB。如果文档未被正常召回,则可以通过该观测信息定位查询系统存在问题的大致处理阶段。
在另一种示例中,场景可以包括策略观测场景。查询系统的维护人员可以使用查询系统,确定查询请求无法正常召回的原因,或者对查询系统中的各个处理单元的运行策略进行优化。策略观测场景下产生的观测信息可以包括详细处理信息。例如,利用用户使用场景或业务观测场景下的观测信息定位到问题发生阶段之后,可以针对用户的查询请求和发生问题的特定阶段,使用策略观测场景下的较为详细的观测信息来确定该阶段出现问题的具体原因。策略观测场景下的观测信息的数量较多,例如观测信息占用的存储空间约为几十MB至几百GB。
示例性的,可以预先定义场景标识与观测信息之间的映射关系,然后根据映射关系确定场景标识。例如可以在生成观测信息之后,调用预定接口模块,该接口模块包括场景标识与观测信息的映射关系,然后根据该映射关系确定当前观测信息的场景标识。同一个观测信息可以映射到一个或多个场景标识。
在操作S230,根据场景标识,将观测信息输出至对应的目标位置以便进行存储。
在一种示例中,可以在确定场景标识是第一场景标识的情况下,将观测信息输出至本地。第一场景可以包括上述用户使用场景和上述业务观测场景中至少一个场景。存储观测信息的存储介质可以包括缓存、日志文件中的至少一个。在本地存储观测信息时,可以将观测信息组织成JSON(JavaScript Object Notation)格式。
根据本公开实施例提供的技术方案,将数据量较少的观测信息存储至本地,当需要确定查询系统存在的问题时,可以简单且快捷地从本地调取观测信息,从而提高排查问题的效率。此外,相比于使用远程分布式数据库存储观测信息的方式,还可以降低观测信息的存储成本。
在另一种示例中,可以在确定场景标识是第二场景标识的情况下,将观测信息输出至远程的数据存储区。第二场景可以包括上述策略观测场景。数据存储区可以包括ElasticSearch(弹性搜索;一种全文搜索引擎)、MySQL(My Structured Query Language;一种关系型数据库管理系统)等具有数据检索功能的分布式数据存储系统。
可选地,在观测信息具有层级关系的情况下,可以为不同层级的观测信息设置索引。例如层级关系可以包括父子关系和兄弟关系,以下以排序阶段为例,对父子关系和兄弟关系进行说明:可以根据基础相关性、点击量等多个因子计算评估值,然后根据评估值进行排序。排序与基础相关性之间属于父子关系,基础相关性与点击率之间属于兄弟关系。
根据本公开实施例的技术方案,将数据量较多的观测信息存储至远程的数据存储区,能够避免观测信息占用本地内存。此外,还可以对观测信息建立索引,从而可以使用多个索引从数据存储区筛选出需要的观测信息,提高观测信息的筛选能力,进而提高问题追查效率和效果分析效率。
根据本公开实施例提供的技术方案,由于为观测信息附加场景标识,并根据场景标识对不同场景下的观测信息进行差异化处理,例如将观测信息输出至对应的目标位置进行存储。因此,该技术方案可以增加观测适用范围,支持不同观测场景,满足不同用户的观测需求。
根据本公开另一实施例,观测信息处理方法还可以包括以下操作:响应于接收到控制信号,根据控制信号调整处理查询请求的过程。
在一种示例中,查询系统的处理单元在运行时可以读取控制信号,然后根据控制信号调整处理策略。例如,调整在预处理阶段调整针对查询请求的切词规则,从而改变查询文本切词后的结果。例如,调整在预处理阶段调整针对查询请求的同义词转换规则,从而改变查询文本同义词转换后的结果。例如,在召回阶段调整关键词匹配规则,从而改变候选集召回结果。例如,在计算评估值时,可以根据实际应用场景,调整施加到各个因子的权重,从而影响计算得到的评估值的大小。
在另一种示例中,控制信号可以用于调整查询系统中模块的调度过程。例如,查询系统中的模块可以包括第一模块(例如上文的召回模块)和第二模块(例如上文的排序模块),为了保证容灾(Disaster Tolerance),第二模块可以具有多个副本。第一模块可以调用第二模块的一个副本copy1,当副本copy1出现异常时,可以调整第一模块的目标调用地址,使第一模块调用第二模块的另一个副本copy2,来确保第一模块的可用性。例如,第二模块的一个副本copy3的数据或者策略运行过程与其他副本不同,可以调整第一模块的目标调用地址,使第一模块调用副本copy3,从而确定副本copy3存在的问题。例如,可以调整模块的超时参数。
在另一种示例中,控制信号可以调整缓存策略。例如,一些处理单元需要较大计算资源,可以通过控制信号,使该处理单元在执行处理操作之前做一些缓存,也可以使该处理单元不做缓存直接进行处理操作。
在一种技术方案中,当检索系统的各个处理单元的处理策略需要优化时,可以通过修改代码的方式调整处理单元的处理策略,然后更新查询系统的版本,将新版本的查询系统发布到线上,然后获取新版本的查询系统的观测信息。
本公开实施例提供的技术方案通过控制信号进行动态调整,进而对查询系统的运行流程进行干预。在优化检索系统的处理策略时,可以将控制信号处理之前和处理之后分别得到的观测信息进行对比,来分析优化效果,无需重新发布新版本的查询系统,因此能够提高追查问题的效率和效果分析的效率。
根据本公开另一实施例,观测信息处理方法还可以包括以下操作:设置针对观测信息的索引,以便根据索引在数据存储区查找观测信息。
在一种示例中,在创建观测单元时,观测单元具有基础属性,可以将属性设置为索引,例如观测单元名称、观测单元简介等。
在另一种示例中,可以在场景管理的插件读取观测信息的预定键名时,对观测信息进行解析并建立索引。
本公开实施例对索引的类型不做限定。例如,索引的类型可以包括阶段标识、处理模块标识、用户标识、商标标识等。在数据存储区查找观测信息时,可以将索引作为筛选条件,利用多个索引筛选观测信息。例如,从获取的多个观测信息中筛选出在召回阶段处于预定队列并且在排序阶段处于预定位置的观测信息。
本公开实施例提供的技术方案为观测信息设置多种类型的索引,可以根据多个索引筛选观测信息,实现多维度筛选观测信息的效果。相比于使用单个索引筛选观测信息的方式,可以减少筛选出的观测信息的数量,从而方便查询系统的维护人员对查询系统存在的问题进行分析。
图3是根据本公开实施例的观测信息处理方法的示意原理图。
如图3所示,该系统300可以包括检索系统310和观测系统320,二者可以集成在一个服务器中,也可以集成在不同的服务器中。
检索系统310包括多个处理阶段,例如预处理阶段、召回阶段、排序阶段等,每个阶段包括多个处理单元。检索系统310接收到多种场景下的查询请求之后,处理单元根据处理策略对检索请求进行处理。处理单元在处理查询请求的过程中会生成多个观测信息。例如,检索系统310对接收到的场景a的查询请求进行处理,生成多个观测信息a。检索系统310对接收到的场景b的查询请求进行处理,生成多个观测信息b。
检索系统310的处理单元可以调用观测系统320的接口。观测系统320可以预存有观测消息与场景标识的映射关系,观测系统320在接收到调用请求后,向处理单元提供与观测消息对应的预定义的场景标识。然后处理单元为观测信息附加场景标识,并将具有场景标识的观测信息发送至观测系统320。例如处理单元将具有场景标识a的观测信息a和具有场景标识b的观测信息b发送至观测系统320。
观测系统320可以包括消息管理模块321和场景管理模块322。消息管理模块321可以根据观测消息的场景标识进行消息聚类,将相同场景的观测信息组织在一起。然后将聚类之后的多个观测消息发送至场景管理模块322。
场景管理模块322可以调用多个插件,每个插件可以处理一种场景的观测信息。在一种示例中,可以调用第一个插件对具有场景标识a的观测信息a(例如上文用户使用场景和业务观测场景下的概要观测信息)进行处理,插件对观测信息的处理过程可以包括将观测信息a组织成JSON,并输出至对应的存储位置,例如输出至本地330。在另一种示例中,可以调用第二个插件对具有场景标识b的观测信息b(例如上文策略观测场景下的详细观测信息)进行处理,插件对观测信息b的处理过程可以包括将观测信息输出至对应的存储位置,例如输出至远程的数据存储区340,如ElasticSearch、MySQL等,处理过程还可以包括为观测信息建立索引。
在一种示例中,检索系统310还可以在接收到控制信号之后,根据控制信号调整处理单元的处理策略,从而改变对查询请求的处理过程。
图4是根据本公开实施例的观测信息处理装置的示意结构框图。
如图4所示,该观测信息处理装置400可以包括观测信息获取模块410、场景标识确定模块420以及输出模块430。
观测信息获取模块410用于获取在处理查询请求的过程中生成的观测信息。在一实施例中,观测信息获取模块410可以用于执行前文描述的操作S210,在此不再赘述。
场景标识确定模块420用于确定与观测信息对应的场景标识。在一实施例中,场景标识确定模块420可以用于执行前文描述的操作S220,在此不再赘述。
输出模块430用于根据场景标识,将观测信息输出至对应的目标位置以便进行存储。在一实施例中,输出模块430可以用于执行前文描述的操作S230,在此不再赘述。
根据本公开另一实施例,上述观测信息处理装置还可以包括调整模块,其用于响应于接收到控制信号,根据控制信号调整处理查询请求的过程。
根据本公开另一实施例,调整模块包括第一调整子模块、第二调整子模块、第三调整子模块、第四调整子模块、第五调整子模块和第六调整子模块中的至少一个。第一调整子模块用于在预处理阶段调整针对查询请求的切词规则。第二调整子模块用于在预处理阶段调整针对查询请求的同义词转换规则。第三调整子模块用于在召回阶段调整关键词匹配规则。第四调整子模块用于在排序阶段调整评估值计算规则。第五调整子模块用于调整预定模块的目标调用地址。第六调整子模块用于调整超时参数。
根据本公开另一实施例,输出模块包括第一输出子模块,其用于在确定场景标识是第一场景标识的情况下,将观测信息输出至本地。
根据本公开另一实施例,输出模块包括第二输出子模块,其用于在确定场景标识是第二场景标识的情况下,将观测信息输出至远程的数据存储区。
根据本公开另一实施例,上述观测信息处理装置还可以包括索引设置模块,其用于设置针对观测信息的索引,以便根据索引在数据存储区查找数据。
本公开的技术方案中,所涉及的数据的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图5示出了可以用来实施本公开的实施例的示例电子设备500的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图5所示,设备500包括计算单元501,其可以根据存储在只读存储器(ROM)502中的计算机程序或者从存储单元508加载到随机访问存储器(RAM)503中的计算机程序,来执行各种适当的动作和处理。在RAM 503中,还可存储设备500操作所需的各种程序和数据。计算单元501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
设备500中的多个部件连接至I/O接口505,包括:输入单元506,例如键盘、鼠标等;输出单元507,例如各种类型的显示器、扬声器等;存储单元508,例如磁盘、光盘等;以及通信单元509,例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理,例如观测信息处理方法。例如,在一些实施例中,观测信息处理方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元508。在一些实施例中,计算机程序的部分或者全部可以经由ROM 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到RAM 503并由计算单元501执行时,可以执行上文描述的观测信息处理方法的一个或多个步骤。备选地,在其他实施例中,计算单元501可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行观测信息处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。

Claims (11)

1.一种观测信息处理方法,包括:
获取检索系统中多个处理阶段的多个处理单元在处理查询请求的过程中生成的观测信息;其中,所述观测信息用于记录所述多个处理单元对所述查询请求的处理结果;
基于观测消息与场景标识之间的映射关系,确定与所述观测信息对应的场景标识;
针对所述观测信息附加相对应的场景标识;
根据所述观测信息附加的所述场景标识,对相同场景的观测信息进行聚类;
在确定所述场景标识是第一场景标识的情况下,将所述观测信息输出至本地;以及
在确定所述场景标识是第二场景标识的情况下,将所述观测信息输出至远程的数据存储区;其中,第一场景标识的观测信息的数据量少于第二场景标识的观测信息的数据量。
2.根据权利要求1所述的方法,还包括:
响应于接收到控制信号,根据所述控制信号调整所述处理查询请求的过程。
3.根据权利要求2所述的方法,其中,根据所述控制信号调整所述处理查询请求的过程包括以下中的至少一个:
在预处理阶段调整针对查询请求的切词规则;
在预处理阶段调整针对查询请求的同义词转换规则;
在召回阶段调整关键词匹配规则;
在排序阶段调整评估值计算规则;
调整预定模块的目标调用地址;以及
调整超时参数。
4.根据权利要求1所述的方法,还包括:
设置针对所述观测信息的索引,以便根据所述索引在所述数据存储区查找数据。
5.一种观测信息处理装置,包括:
观测信息获取模块,用于获取检索系统中多个处理阶段的多个处理单元在处理查询请求的过程中生成的观测信息;其中,所述观测信息用于记录所述多个处理单元对所述查询请求的处理结果;
场景标识确定模块,用于基于观测消息与场景标识之间的映射关系,确定与所述观测信息对应的场景标识;
附加模块,用于针对所述观测信息附加相对应的场景标识;
聚类模块,用于根据所述观测信息附加的所述场景标识,对相同场景的观测信息进行聚类;
输出模块,包括:
第一输出子模块,用于在确定所述场景标识是第一场景标识的情况下,将所述观测信息输出至本地;以及
第二输出子模块,用于在确定所述场景标识是第二场景标识的情况下,将所述观测信息输出至远程的数据存储区;其中,第一场景标识的观测信息的数据量少于第二场景标识的观测信息的数据量。
6.根据权利要求5所述的装置,还包括:
调整模块,用于响应于接收到控制信号,根据所述控制信号调整所述处理查询请求的过程。
7.根据权利要求6所述的装置,其中,所述调整模块包括以下中的至少一个:
第一调整子模块,用于在预处理阶段调整针对查询请求的切词规则;
第二调整子模块,用于在预处理阶段调整针对查询请求的同义词转换规则;
第三调整子模块,用于在召回阶段调整关键词匹配规则;
第四调整子模块,用于在排序阶段调整评估值计算规则;
第五调整子模块,用于调整预定模块的目标调用地址;以及
第六调整子模块,用于调整超时参数。
8.根据权利要求5所述的装置,还包括:
索引设置模块,用于设置针对所述观测信息的索引,以便根据所述索引在所述数据存储区查找数据。
9.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1至4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至4中任一项所述的方法。
11.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至4中任一项所述的方法。
CN202210076944.1A 2022-01-21 2022-01-21 观测信息处理方法、装置、电子设备及存储介质 Active CN114491253B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202210076944.1A CN114491253B (zh) 2022-01-21 2022-01-21 观测信息处理方法、装置、电子设备及存储介质
KR1020220148208A KR20220156493A (ko) 2022-01-21 2022-11-08 관측 정보 처리 방법, 관측 정보 처리 장치, 전자장비, 저장매체 및 컴퓨터 프로그램
JP2022181062A JP2023015275A (ja) 2022-01-21 2022-11-11 観測情報処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
EP23152431.5A EP4216076A1 (en) 2022-01-21 2023-01-19 Method and apparatus of processing an observation information, electronic device and storage medium
US18/157,470 US20230153357A1 (en) 2022-01-21 2023-01-20 Method of processing an observation information, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210076944.1A CN114491253B (zh) 2022-01-21 2022-01-21 观测信息处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114491253A CN114491253A (zh) 2022-05-13
CN114491253B true CN114491253B (zh) 2023-09-26

Family

ID=81473500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210076944.1A Active CN114491253B (zh) 2022-01-21 2022-01-21 观测信息处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20230153357A1 (zh)
EP (1) EP4216076A1 (zh)
JP (1) JP2023015275A (zh)
KR (1) KR20220156493A (zh)
CN (1) CN114491253B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115858309B (zh) * 2022-12-30 2023-12-22 北京百度网讯科技有限公司 面向分布式系统的数据监控方法、装置和电子设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185187A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
CN102004775A (zh) * 2010-11-19 2011-04-06 福建富士通信息软件有限公司 一种基于智能搜索的福富企业搜索引擎技术
CN102117320A (zh) * 2011-01-11 2011-07-06 百度在线网络技术(北京)有限公司 一种结构化数据搜索的方法和装置
CN102945125A (zh) * 2012-10-17 2013-02-27 北京天宇朗通通信设备股份有限公司 用户终端信息处理方法及装置
CN102957742A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN104298788A (zh) * 2014-11-13 2015-01-21 中国建设银行股份有限公司 一种分页查询方法和系统
CN105045901A (zh) * 2015-08-05 2015-11-11 百度在线网络技术(北京)有限公司 搜索关键词的推送方法和装置
CN109257259A (zh) * 2018-11-30 2019-01-22 广东美的制冷设备有限公司 场景联动控制方法、装置及家电设备
CN109344165A (zh) * 2018-11-23 2019-02-15 福建榕基软件股份有限公司 一种查询方法及存储设备
CN112131611A (zh) * 2020-09-14 2020-12-25 北京锐安科技有限公司 数据正确性验证方法、装置、设备、系统及存储介质
CN112579854A (zh) * 2019-09-30 2021-03-30 北京京东尚科信息技术有限公司 信息处理方法、装置、设备和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5409268B2 (ja) * 2009-10-30 2014-02-05 株式会社日立ソリューションズ 情報提示装置及び携帯端末
US10747792B2 (en) * 2017-11-30 2020-08-18 Bby Solutions, Inc. Streaming events analysis for search recall improvements

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006185187A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
CN102004775A (zh) * 2010-11-19 2011-04-06 福建富士通信息软件有限公司 一种基于智能搜索的福富企业搜索引擎技术
CN102117320A (zh) * 2011-01-11 2011-07-06 百度在线网络技术(北京)有限公司 一种结构化数据搜索的方法和装置
CN102945125A (zh) * 2012-10-17 2013-02-27 北京天宇朗通通信设备股份有限公司 用户终端信息处理方法及装置
CN102957742A (zh) * 2012-10-18 2013-03-06 北京天宇朗通通信设备股份有限公司 数据推送方法及装置
CN104298788A (zh) * 2014-11-13 2015-01-21 中国建设银行股份有限公司 一种分页查询方法和系统
CN105045901A (zh) * 2015-08-05 2015-11-11 百度在线网络技术(北京)有限公司 搜索关键词的推送方法和装置
CN109344165A (zh) * 2018-11-23 2019-02-15 福建榕基软件股份有限公司 一种查询方法及存储设备
CN109257259A (zh) * 2018-11-30 2019-01-22 广东美的制冷设备有限公司 场景联动控制方法、装置及家电设备
CN112579854A (zh) * 2019-09-30 2021-03-30 北京京东尚科信息技术有限公司 信息处理方法、装置、设备和存储介质
CN112131611A (zh) * 2020-09-14 2020-12-25 北京锐安科技有限公司 数据正确性验证方法、装置、设备、系统及存储介质

Also Published As

Publication number Publication date
CN114491253A (zh) 2022-05-13
US20230153357A1 (en) 2023-05-18
KR20220156493A (ko) 2022-11-25
EP4216076A1 (en) 2023-07-26
JP2023015275A (ja) 2023-01-31

Similar Documents

Publication Publication Date Title
CN112559271B (zh) 分布式应用的接口性能监测方法、装置、设备及存储介质
US10901811B2 (en) Creating alerts associated with a data storage system based on natural language requests
CN112307062B (zh) 数据库聚合查询方法、装置及系统
CN113204621A (zh) 文档入库、文档检索方法,装置,设备以及存储介质
CN114491253B (zh) 观测信息处理方法、装置、电子设备及存储介质
CN116955856A (zh) 信息展示方法、装置、电子设备以及存储介质
CN114995719B (zh) 列表渲染方法、装置、设备以及存储介质
EP4116889A2 (en) Method and apparatus of processing event data, electronic device, and medium
CN116594709A (zh) 用于获取数据的方法、装置及计算机程序产品
CN116597443A (zh) 素材标签处理方法、装置、电子设备及介质
CN114116924A (zh) 基于图谱数据的数据查询方法、图谱数据构建方法和装置
CN114706893A (zh) 故障检测方法、装置、设备及存储介质
CN113742322A (zh) 一种数据质量检测方法和装置
CN113032402B (zh) 存储数据和获取数据的方法、装置、设备和存储介质
US20230086429A1 (en) Method of recognizing address, electronic device and storage medium
CN113515504B (zh) 数据管理方法、装置、电子设备以及存储介质
CN114579573B (zh) 信息检索方法、装置、电子设备以及存储介质
US20230342352A1 (en) System and Method for Matching into a Complex Data Set
CN117520368A (zh) 查询语句确定方法、装置、设备、介质及产品
CN116204441A (zh) 索引数据结构的性能测试方法、装置、设备及存储介质
CN117033148A (zh) 风险业务接口的告警方法、装置、电子设备和介质
CN113326416A (zh) 检索数据的方法、向客户端发送检索数据的方法及装置
CN117215589A (zh) 一种云原生状态评估方法、装置、设备及存储介质
CN117667935A (zh) 一种数据处理方法、装置、设备及介质
CN113722600A (zh) 应用于大数据的数据查询方法、装置、设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant