CN116541118A - 网络设备管理方法、装置及电子设备 - Google Patents
网络设备管理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116541118A CN116541118A CN202310787799.2A CN202310787799A CN116541118A CN 116541118 A CN116541118 A CN 116541118A CN 202310787799 A CN202310787799 A CN 202310787799A CN 116541118 A CN116541118 A CN 116541118A
- Authority
- CN
- China
- Prior art keywords
- management
- instruction
- component
- cli
- llm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007726 management method Methods 0.000 title claims abstract description 386
- 238000000034 method Methods 0.000 claims description 32
- 238000012544 monitoring process Methods 0.000 claims description 10
- 239000003795 chemical substances by application Substances 0.000 description 51
- 238000010586 diagram Methods 0.000 description 15
- 238000004590 computer program Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 235000002198 Annona diversifolia Nutrition 0.000 description 1
- 241000282842 Lama glama Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/04—Network management architectures or arrangements
- H04L41/046—Network management architectures or arrangements comprising network management agents or mobile agents therefor
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供了网络设备管理方法、装置及电子设备。通过在网络设备部署NL CLI组件,由NL CLI组件提供支持自然语言的NL CLI,实现外部可以在NL CLI中以自然语言输入自然语言指令,使用自然语言可以更加直观地表达用户的需求和意图,用户不需要通过记忆复杂的命令和参数来操作设备,也可简化用户的操作步骤和输入内容,用户不需要输入冗长的命令和参数,并且,这种自然语言的输入方式可以让非专业人士也能轻松地操作设备,降低设备管理门槛,也屏蔽不同传统CLI的具体命令行差异,降低学习成本,实现了在满足网络设备的CLI所要求的命令的风格和格式的前提下避免CLI学习成本高,管理复杂的问题。
Description
技术领域
本申请涉及网络技术,特别涉及网络设备管理方法、装置及电子设备。
背景技术
命令行界面(CLI:CommandLine Interface),是一种在操作系统或程序中通过键入文字命令来执行特定任务的界面。通常,CLI只支持纯文本输入和输出。
CLI专门用于外部和网络设备之间的交互,但对外部输入的指令,要求非常严格,要求外部输入的每个命令和参数都必须按照既定格式输入,才能被网络设备识别和执行。而这就需要用户了解CLI所要求的语法和格式,增加用户的学习负担,也常会因为不了解CLI所要求的语法和格式而导致输入的命令不被设备,无法正确执行命令。
发明内容
本申请提供了网络设备管理方法、装置及电子设备,以在满足网络设备的CLI所要求的命令的风格和格式的前提下避免CLI学习成本高,管理复杂的问题。
本申请实施例提供了一种网络设备管理方法,该方法应用于自然语言NL助手服务器,NL助手服务器连接网络设备,所述NL助手服务器本地部署大语言模型LLM组件或者通过网络连接所述LLM组件,所述NL助手服务器本地部署了管理代理Agent组件;该方法包括:
通过所述Agent组件,接收网络设备发送的自然语言指令;所述自然语言指令是网络设备监测到的外部在NL 命令行界面CLI输入的、用于进行设备管理的指令,NL CLI由所述网络设备中已部署的NL CLI组件提供,所述网络设备还提供传统CLI组件,所述传统CLI组件提供的传统CLI支持指定指令格式的CLI指令;
通过所述Agent组件,触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合所述指定指令格式的管理指令;
通过所述Agent组件,接收所述管理指令并返回至所述NL CLI组件,由所述NL CLI组件通过NL CLI显示所述管理指令,以调用所述传统CLI组件基于外部对该显示的所述管理指令进行的指示实施对应的管理。
一种网络设备管理方法,该方法应用于网络设备,所述网络设备通过网络连接已部署的自然语言NL助手服务器,所述网络设备被部署NL命令行界面CLI组件和传统CLI组件,NL CLI组件提供的NL CLI,用于同外部交互,支持外部在所述NL CLI输入的自然语言指令,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;该方法包括:
监测外部在所述NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的管理代理Agent组件,以由Agent组件触发已部署的大语言模型LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
接收所述LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用所述传统CLI组件进行对应的管理。
一种自然语言NL助手服务器,NL助手服务器连接网络设备,所述NL助手服务器本地部署大语言模型LLM组件或者通过网络连接所述LLM组件,所述NL助手服务器至少包括本地部署的管理代理Agent组件;所述Agent组件包括:
接收单元,用于接收网络设备发送的自然语言指令;所述自然语言指令是网络设备监测到的外部在NL 命令行界面CLI输入的用于进行设备管理的自然语言指令,NL CLI由所述网络设备中已部署的NL CLI组件提供,所述网络设备还提供传统CLI组件,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;
触发单元,用于触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
接收单元,进一步接收所述管理指令并返回至所述NL CLI组件,由所述NL CLI组件通过NL CLI显示所述管理指令,以调用所述传统CLI组件基于外部对该显示的所述管理指令进行的指示实施对应的管理。
一种网络设备管理装置,该装置应用于网络设备,所述网络设备通过网络连接已部署的自然语言NL助手服务器,所述网络设备被部署NL命令行界面CLI组件和传统CLI组件,NL CLI组件提供的NL CLI,用于同外部交互,支持外部在所述NL CLI输入的自然语言指令,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;该装置包括:
监测单元,用于监测外部在所述NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的管理代理Agent组件,以由Agent组件触发已部署的大语言模型LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
指令单元,用于接收所述LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用所述传统CLI组件进行对应的管理。
一种电子设备。该电子设备包括:处理器和机器可读存储介质;
所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;
所述处理器用于执行机器可执行指令,以实现上述公开的方法的步骤。
由以上技术方案可以看出,本申请中,通过在网络设备部署NL CLI组件,由NL CLI组件提供支持自然语言的NL CLI,实现外部可以在NL CLI中以自然语言输入自然语言指令,使用自然语言可以更加直观地表达用户的需求和意图,用户不需要通过记忆复杂的命令和参数来操作设备,也可简化用户的操作步骤和输入内容,用户不需要输入冗长的命令和参数,并且,这种自然语言的输入方式可以让非专业人士也能轻松地操作设备,降低设备管理门槛,也屏蔽不同传统CLI的具体命令行差异,降低学习成本,实现了在满足网络设备的CLI所要求的命令的风格和格式的前提下避免CLI学习成本高,管理复杂的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的网络设备结构图;
图2为本申请实施例提供的网络设备与NL助手服务器之间的框架结构图;
图3为本申请实施例提供的NL助手服务器结构图;
图4为本申请实施例提供的方法流程图;
图5为本申请实施例提供的另一流程图;
图6为本申请实施例提供的步骤502实现流程图;
图7为本申请实施例提供的装置结构图;
图8为本申请实施例提供的另一装置结构图;
图9为本申请实施例提供的电子设备结构图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本领域技术人员更好地理解本申请实施例提供的技术方案,并使本申请实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本申请实施例中技术方案作进一步详细的说明。
本申请实施例对网络设备进行改进,以使网络设备相比已有的CLI(记为传统CLI)提供更友好的自然语言界面也即自然语言(NL:Natural Language)CLI,可以实现外部以自然语言输入其意图。同时,通过部署大语言模型(LLM:Large Language Model)组件将LLM技术应用于网络设备的管理中,由LLM组件分析外部通过NLCLI以自然语言输入的意图(也称自然语言表征的管理指令)并转换为符合传统CLI要求的格式和风格的管理指令。
相比传统的配置框架,网络设备的改进如图1所示,其新配置了NL CLI组件(原有的提供CLI的组件记为传统CLI组件),由NL CLI组件提供支持自然语言的NL CLI,以便同外部进行交互,比如外部可以在NL CLI中以自然语言输入其意图(也即自然语言形式体现的管理指令,简称自然语言指令)。该NL CLI不同于网络设备原有的CLI(记为传统CLI)。传统CLI如背景技术描述的,其支持既定格式(比如指定指令格式)的CLI指令。在本实施例中,网络设备支持从NL CLI跳转到传统CLI(通过特定的按键组合/特定命令可以切换),当然也支持从传统CLI跳转到NL CLI(通过其它特定的按键组合/其它特定命令可以切换)。
上述LLM组件基于LLM实现。LLM是指计算机程序利用深度学习技术,通过训练海量文本语料库,建立起一个能够自动生成连续、流畅、有意义的长文本的神经网络模型。
作为一个实施例,LLM组件可部署在已部署的NL助手服务器中,NL助手服务器还可部署管理代理(Agent)组件和设备知识库(下文有描述,这里暂不赘述),图2举例示出了网络设备与NL助手服务器之间的框架结构。网络设备通过网络连接NL助手服务器。
作为另一个实施例,LLM组件也可为公有服务组件,例如OpenAI的ChatGPT或者Meta的LLaMA等服务组件。图3举例示出采用OpenAI的ChatGPT作为LLM组件。
基于网络设备的NL CLI,外部可输入自然语言的管理指令,之后再由LLM组件转换为指定指令格式的CLI指令,无需再考虑不同的格式和风格,解决CLI学习成本高,管理复杂的问题。
基于上面描述,下面对本申请实施例提供的方法进行描述:
参见图4,图4为本申请实施例提供的方法流程图。该方法应用于上述网络设备。如图4所示,该流程可包括以下步骤:
步骤401,监测外部在NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的Agent组件,以由Agent组件触发已部署的LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令。
比如,自然语言指令为:“我想要和IP为1.1.1.1的BGP对端建立连接,交换IPv4路由,对端as号是200,本端使用as号100”。在本实施例中,网络设备在监测到外部在NL CLI输入的上述自然语言指令后,会将该自然语言指令发送给Agent组件,以由Agent组件触发已部署的LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定指令格式的管理指令。当LLM组件确定出该管理指令后,其会返回管理指令给Agent组件,具体见步骤402。
步骤402,接收LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用上述传统CLI组件进行对应的管理。
也即,当接收到LLM组件返回的管理指令后,通过NL CLI显示管理指令,以便外部确认该管理指令或调整该管理指令,之后即可调用上述传统CLI组件针对该最终的管理指令进行对应的管理,最终实现了根据外部对显示的所述管理指令进行的指示调用传统CLI组件进行对应的管理。
至此,完成图4所示流程。
通过图4所示流程,本实施例通过在网络设备部署NL CLI组件,由NL CLI组件提供支持自然语言的NL CLI,实现了在NL CLI使用自然语言更加直观地表达用户的需求和意图,用户不需要通过记忆复杂的命令和参数来操作设备,也可简化用户的操作步骤和输入内容,用户不需要输入冗长的命令和参数,并且,这种自然语言的输入方式可以让非专业人士也能轻松地操作设备,降低设备管理门槛,也屏蔽不同传统CLI的具体命令行差异,降低学习成本,实现了在满足网络设备的CLI所要求的命令的风格和格式的前提下避免CLI学习成本高,管理复杂的问题。
下面站在NL助手服务器的角度描述本申请实施例提供的方法:
参见图5,图5为本申请实施例提供的另一流程图。该流程应用于NL助手服务器。如图2或3所示,NL助手服务器本地部署了Agent组件。Agent组件负责和网络设备通信,同时肩负着粘合LLM组件和设备知识库的责任,具体如图5所示:
如图5所示,该流程可包括以下步骤:
步骤501,通过Agent组件,接收网络设备发送的自然语言指令。
如步骤401描述,自然语言指令是网络设备监测到的外部在NL CLI输入的用于进行设备管理的自然语言指令。
步骤502,通过Agent组件,触发LLM组件基于自然语言指令确定出与自然语言指令匹配且符合指定指令格式的管理指令。
这里的指定指令格式是传统CLI组件提供的传统CLI所要求的指令格式。
可选地,在本实施例中,Agent组件触发LLM组件基于自然语言指令确定出与自然语言指令匹配的符合指定指令格式的管理指令有很多方式,图6举例示出了其中一种实现方式,这里暂不赘述。
步骤503,通过Agent组件,接收管理指令并返回至NL CLI组件,由NL CLI组件通过NL CLI显示管理指令,以调用传统CLI组件基于外部对该显示的管理指令进行的指示实施对应的管理。
至此,完成图5所示的流程。
通过图5所示流程实现了使用自然语言可以更加直观地表达用户的需求和意图,用户不需要通过记忆复杂的命令和参数来操作设备,也可简化用户的操作步骤和输入内容,用户不需要输入冗长的命令和参数,并且,这种自然语言的输入方式可以让非专业人士也能轻松地操作设备,降低设备管理门槛,也屏蔽不同传统CLI的具体命令行差异,降低学习成本,实现了在满足网络设备的CLI所要求的命令的风格和格式的前提下避免CLI学习成本高,管理复杂的问题;
进一步地,本实施例借助LLM技术,以由LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定格式的管理指令,可实现基于自然语言的设备管理。
下面对步骤502进行描述:
作为一个实施例,为了实现步骤502,本实施例需要预先将网络设备的管理命令由LLM组件进行编码存储到设备知识库中。可选地,设备知识库采用向量数据库,将经过LLM编码后的指令以向量形式存储。这里,设备知识库可部署在NL助手服务器,也可独立于NL助手服务器,本实施例并不具体限定。
在本实施例中,Agent组件可通过与LLM组件和设备知识库相配合,将自然语言指令转换为传统CLI所要求的CLI指令。具体见图6所示流程:
参见图6,图6为本申请实施例提供的步骤502实现流程图。如图6所示,该流程可包括以下步骤:
步骤601,通过Agent组件,向LLM组件发送管理步骤请求。
在本实施例中,管理步骤请求可至少携带上述自然语言指令、命令拆分标识、基于命令拆分标识拆分出的步骤格式要求。
比如,自然语言指令为:“我想要和IP为1.1.1.1的BGP对端建立连接,交换IPv4路由,对端as号是200,本端使用as号100。”则:
管理步骤请求可为:
“请帮我按步骤拆分自然语言指令:“我想要和IP为1.1.1.1的BGP对端建立连接,交换IPv4路由,对端as号是200,本端使用as号100。”步骤格式要求为……”。
在本实施例中,管理步骤请求用于指示LLM组件基于命令拆分标识对上述自然语言指令进行拆分得到至少一个管理步骤。仍以上述管理步骤请求为例,当LLM组件接收到管理步骤请求后,其会理解该管理步骤请求,并按照上述步骤格式要求向Agent组件返回各管理步骤,比如:
A)配置本地BGP实例,as号为100;
B) 配置对端Peer,ip为1.1.1.1,as号为200;
C) 开启Peer的IPv4路由交换。
步骤602,通过Agent组件,接收LLM组件返回的至少一个管理步骤。
LLM组件返回的各管理步骤的格式符合按照Agent组件指示的步骤格式要求,由于LLM组件返回的各管理步骤的格式符合按照Agent组件指示的步骤格式要求,则Agent组件接收到各管理步骤后会直接区分出每一管理步骤。之后执行步骤603。
步骤603,针对每一管理步骤,通过Agent组件向LLM组件发送用于对该管理步骤进行编码的编码请求以请求LLM组件对该管理步骤进行编码得到对应的管理编码,以及,通过Agent组件接收LLM组件返回的该管理步骤对应的管理编码,在已部署的设备知识库查找与该管理编码匹配的管理指令描述,并通过Agent组件向LLM组件发送管理指令请求。
在本实施例中,以管理步骤:“A)配置本地BGP实例,as号为100“为例,则通过Agent组件向LLM组件发送用于对该管理步骤进行编码的编码请求,该编码请求会携带管理步骤的描述“配置本地BGP实例,as号为100”。当LLM组件接收到编码请求后,其会基于编码请求携带的管理步骤描述为该管理步骤生成对应的管理编码,比如管理编码为<95、0、0、0>。LLM组件返回管理编码至Agent组件。
Agent组件接收到LLM组件返回的管理编码,则会在已部署的设备知识库查找与该管理编码匹配的管理指令描述。比如,在设备知识库中查找距离该管理编码如<95、0、0、0>最近的管理指令描述。假若查找到的管理指令描述为管理编码<100、0、0、0>对应的如下描述:
“<95、0、0、0>:
BGP INSTANCE-NUMBER : 表示配置一个BGP实例,INSTANCE-NUMBER 表示本地的AS实例号。”
Agent组件在已部署的设备知识库查找与该管理编码匹配的管理指令描述后,如步骤603描述,其会向LLM组件发送管理指令请求。该管理指令请求至少携带该管理步骤、管理指令描述、以及具体管理指令请求标识、上述指定指令格式。比如,管理指令请求如下所示:
“已知:“BGP INSTANCE-NUMBER : 表示配置一个BGP实例,INSTANCE-NUMBER 表示本地的AS实例号;”用户请求:“配置本地BGP实例,as号为100.”,请问具体的命令是什么?(具体管理治理请求标识)返回指定指令格式比如指定指令格式……”
在本实施例中,管理指令请求用于请求LLM组件基于管理指令请求携带的管理步骤、管理指令描述确定出匹配的管理指令。作为一个实施例,LLM组件接收到管理指令请求后,其会基于管理指令请求携带的管理步骤、管理指令描述、具体管理指令请求标识来确定具体的管理命令。比如,仍以上述管理指令请求为例,则这里确定出的管理指令可为:Bgp100。执行到这里,上述管理步骤:“A)配置本地BGP实例,as号为100”的解析已完成。
类似地,下述管理步骤:
B) 配置对端Peer,ip为1.1.1.1,as号为200;
C) 开启Peer的IPv4路由交换。
也采用类似的操作实现。
需要说明的是,针对上述任一管理步骤,假若在通过Agent组件向LLM组件发送针对该管理步骤的管理指令请求之后,若通过Agent组件接收到特定消息,特定消息用于指示数据不充分无法确定管理指令,则可进一步执行以下步骤:
步骤a1),在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述,当前查找到的管理指令描述不同于之前查找到的管理指令描述。比如,在已部署的设备知识库中重新查找处于与该管理编码对应的设定范围之内的各管理指令描述;设定范围大于上一次针对该管理编码查找各管理指令描述的范围,直到最终LLM组件确定出完整的管理命令。可选地,设定范围内任一管理指令描述与该管理编码之间的距离小于或等于设定距离阈值。
步骤a2),通过Agent组件向LLM组件发送管理指令请求;管理指令请求至少携带该管理步骤、当前查找到的管理指令描述、以及具体管理指令请求标识、指定指令格式,管理指令请求用于请求所述LLM组件基于管理指令请求携带的管理步骤、管理指令描述、具体具体管理指令请求标识确定出匹配的管理指令。
比如,以上述管理步骤“C) 开启Peer的IPv4路由交换”为例,在具体实现时,可需要发送两次管理指令请求才能匹配出管理指令(即Address-family ipv4和Peer 1.1.1.1enable)。
至此,完成图6所示流程。
通过图6所示流程,最终实现了所有的管理步骤都被实例化,匹配出对应的管理指令。在各管理步骤都被实例化匹配出对应的管理指令后,可将各管理指令并返回至NL CLI组件,由NL CLI组件通过NL CLI显示各管理指令。仍以前述自然语言指令为例,则最终的管理指令为:
#配置本地as编号为100的BGP实例
BGP 100
#声明一个对端ip为1.1.1.1,as号为200的BGP对等体
Peer 1.1.1.1 as-number 200
#配置ipv4地址族相关信息
Address-family ipv4
#使能对等体1.1.1.1 交换ipv4路由
Peer 1.1.1.1 enable
之后,在监测到外部确认NL CLI显示的管理指令或者外部对NL CLI显示的管理指令进行调整并确认后,则可进一步调用传统CLI组件基于外部确认的管理指令执行对应的操作,以实现网络设备的管理比如上述的配置BGP来交换IPv4路由。
需要说明的是,在具体实现中,LLM组件的记忆时长比较短,在此前提下,假若同一自然语言指令有多个管理步骤,其中LLM组件对至少两个管理步骤进行解析相隔的时长超过LLM组件的记忆时长,则LLM组件可能无法将同一自然语言指令的多个管理步骤解析出的管理指令进行汇总,可能会影响后续管理步骤的解析。鉴于此,Agent组件会在收到LLM组件返回的针对管理步骤进行解析得到的管理指令时记录该接收到的管理指令,并在发现当前待解析的一管理步骤与之前已解析的管理步骤的时差超过上述时长,则会及时将已记录的该之前已解析的管理步骤的管理指令和当前待解析的管理步骤一起发送给LLM组件,以便LLM组件精确解析该当前待解析的管理步骤。当然,还有其他实现,本实施例并不一一举例,本实施例重点在于通过Agent组件做好记录,以避免LLM组件的记忆时长所导致的问题。
以上对本申请实施例提供的方法进行了描述,下面对本申请实施例提供的装置进行描述:
参见图7,图7为本申请实施例提供的NL助手服务器结构图。NL助手服务器连接网络设备,NL助手服务器本地部署LLM组件或者通过网络连接LLM组件。NL助手服务器至少包括本地部署的Agent组件;Agent组件包括:
接收单元,用于接收网络设备发送的自然语言指令;所述自然语言指令是网络设备监测到的外部在NL 命令行界面CLI输入的用于进行设备管理的自然语言指令,NL CLI由所述网络设备中已部署的NL CLI组件提供,NL CLI,用于同外部交互,支持外部在所述NLCLI输入的自然语言指令,所述网络设备还提供传统CLI组件,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;
触发单元,用于触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定指令格式的管理指令;
接收单元,进一步接收所述管理指令并返回至所述NL CLI组件,由所述NL CLI组件通过NL CLI显示所述管理指令,以调度所述传统CLI组件基于外部对该显示的所述管理指令进行的指示实施对应的管理。
可选地,触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定格式的管理指令包括:
向所述LLM组件发送管理步骤请求,以使所述LLM组件基于所述命令拆分标识对所述自然语言指令进行拆分得到至少一个管理步骤;所述管理步骤请求至少携带所述自然语言指令、命令拆分标识、基于命令拆分标识拆分出的步骤格式要求;
接收所述LLM组件返回的至少一个管理步骤,所述管理步骤是基于所述命令拆分标识对所述自然语言指令进行拆分得到的,所述管理步骤的格式满足所述步骤格式要求;
针对每一管理步骤,向所述LLM组件发送用于对该管理步骤进行编码的编码请求以请求所述LLM组件对该管理步骤进行编码得到对应的管理编码,以及,接收所述LLM组件返回的该管理步骤对应的管理编码,在已部署的设备知识库查找与该管理编码匹配的管理指令描述,并向所述LLM组件发送管理指令请求;所述管理指令请求至少携带该管理步骤、管理指令描述、以及所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述确定出匹配的所述管理指令;
可选地,在已部署的设备知识库中查找与该管理编码匹配的管理指令描述包括:在已部署的设备知识库中查找到该管理编码;在设备知识库中查找距离该管理编码最近的管理指令描述;
触发单元在通过所述Agent组件向所述LLM组件发送管理指令请求之后,若通过所述Agent组件接收到特定消息,所述特定消息用于指示数据不充分无法确定管理指令,则进一步在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述,当前查找到的管理指令描述不同于之前查找到的管理指令描述;通过所述Agent组件向所述LLM组件发送管理指令请求;所述管理指令请求至少携带该管理步骤、当前查找到的管理指令描述、以及所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述确定出匹配的所述管理指令;
可选地,在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述包括:在已部署的设备知识库中重新查找处于与该管理编码对应的设定范围之内的各管理指令描述;所述设定范围内任一管理指令描述与该管理编码之间的距离小于或等于设定距离阈值。
至此,完成图7所示装置的结构描述。
参见图8,图8为本申请实施例提供的另一装置结构图。该装置应用于网络设备,所述网络设备通过网络连接已部署的NL助手服务器,所述网络设备被部署NLCLI组件和传统CLI组件,NL CLI组件提供的NL CLI,用于同外部交互,支持外部在所述NL CLI输入的自然语言指令,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;该装置包括:
监测单元,用于监测外部在所述NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的管理代理Agent组件,以由Agent组件触发已部署的大语言模型LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定指令格式的管理指令;
指令单元,用于接收所述LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用所述传统CLI组件进行对应的管理。
至此,完成图8所示装置的结构描述。
本申请实施例还提供了图7或图8所示装置的硬件结构。参见图9,图9为本申请实施例提供的电子设备结构图。如图9所示,该硬件结构可包括:处理器和机器可读存储介质,机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现本申请上述示例公开的方法。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的方法。
示例性的,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (10)
1.一种网络设备管理方法,其特征在于,该方法应用于自然语言NL助手服务器,NL助手服务器连接网络设备,所述NL助手服务器本地部署大语言模型LLM组件或者通过网络连接所述LLM组件,所述NL助手服务器本地部署了管理代理Agent组件;该方法包括:
通过所述Agent组件,接收网络设备发送的自然语言指令;所述自然语言指令是网络设备监测到的外部在NL 命令行界面CLI输入的、用于进行设备管理的指令,NL CLI由所述网络设备中已部署的NL CLI组件提供,所述网络设备还提供传统CLI组件,所述传统CLI组件提供的传统CLI支持指定指令格式的CLI指令;
通过所述Agent组件,触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合所述指定指令格式的管理指令;
通过所述Agent组件,接收所述管理指令并返回至所述NL CLI组件,由所述NL CLI组件通过NL CLI显示所述管理指令,以调用所述传统CLI组件基于外部对该显示的所述管理指令进行的指示实施对应的管理。
2.根据权利要求1所述的方法,其特征在于,通过所述Agent组件,触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定格式的管理指令包括:
通过所述Agent组件,向所述LLM组件发送管理步骤请求;所述管理步骤请求至少携带所述自然语言指令、命令拆分标识、基于命令拆分标识拆分出的步骤格式要求;
通过所述Agent组件,接收所述LLM组件返回的至少一个管理步骤,所述管理步骤是基于所述命令拆分标识对所述自然语言指令进行拆分得到的,所述管理步骤的格式满足所述步骤格式要求;
针对每一管理步骤,通过所述Agent组件向所述LLM组件发送编码请求,以请求所述LLM组件对该管理步骤进行编码;通过所述Agent组件接收所述LLM组件返回的该管理步骤对应的管理编码;在已部署的设备知识库中查找与该管理编码匹配的管理指令描述,并通过所述Agent组件向所述LLM组件发送管理指令请求;所述管理指令请求至少携带该管理步骤、管理指令描述、具体管理指令请求标识、所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述、具体管理指令请求标识确定出匹配的所述管理指令。
3.根据权利要求2所述的方法,其特征在于,所述在已部署的设备知识库中查找与该管理编码匹配的管理指令描述包括:
在已部署的设备知识库中查找到该管理编码;
在设备知识库中查找距离该管理编码最近的管理指令描述。
4.根据权利要求2或3所述的方法,其特征在于,在通过所述Agent组件向所述LLM组件发送管理指令请求之后,若通过所述Agent组件接收到特定消息,所述特定消息用于指示无法确定管理指令,则该方法进一步包括:
在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述,使得当前查找到的管理指令描述不同于之前查找到的管理指令描述;
再次通过所述Agent组件向所述LLM组件发送管理指令请求,该管理指令请求至少携带该管理步骤、所述当前查找到的管理指令描述、具体管理指令请求标识、所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述、具体管理指令请求标识确定出匹配的管理指令。
5.根据权利要求4所述的方法,其特征在于,所述在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述包括:
在已部署的设备知识库中重新查找处于与该管理编码对应的设定范围之内的各管理指令描述;所述设定范围内任一管理指令描述与该管理编码之间的距离小于或等于设定距离阈值。
6.一种网络设备管理方法,其特征在于,该方法应用于网络设备,所述网络设备通过网络连接已部署的自然语言NL助手服务器,所述网络设备被部署NL命令行界面CLI组件和传统CLI组件,NL CLI组件提供的NL CLI,用于同外部交互,支持外部在所述NL CLI输入的自然语言指令,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;该方法包括:
监测外部在所述NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的管理代理Agent组件,以由Agent组件触发已部署的大语言模型LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
接收所述LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用所述传统CLI组件进行对应的管理。
7.一种自然语言NL助手服务器,其特征在于,NL助手服务器连接网络设备,所述NL助手服务器本地部署大语言模型LLM组件或者通过网络连接所述LLM组件,所述NL助手服务器至少包括本地部署的管理代理Agent组件;所述Agent组件包括:
接收单元,用于接收网络设备发送的自然语言指令;所述自然语言指令是网络设备监测到的外部在NL 命令行界面CLI输入的用于进行设备管理的自然语言指令,NL CLI由所述网络设备中已部署的NL CLI组件提供,所述网络设备还提供传统CLI组件,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;
触发单元,用于触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
接收单元,进一步接收所述管理指令并返回至所述NL CLI组件,由所述NL CLI组件通过NL CLI显示所述管理指令,以调用所述传统CLI组件基于外部对该显示的所述管理指令进行的指示实施对应的管理。
8.根据权利要求7所述的NL助手服务器,其特征在于,所述触发所述LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配的符合指定格式的管理指令包括:
向所述LLM组件发送管理步骤请求,以使所述LLM组件基于所述命令拆分标识对所述自然语言指令进行拆分得到至少一个管理步骤;
接收所述LLM组件返回的至少一个管理步骤,所述管理步骤是基于所述命令拆分标识对所述自然语言指令进行拆分得到的,所述管理步骤的格式满足所述步骤格式要求;
针对每一管理步骤,向所述LLM组件发送用编码请求以请求所述LLM组件对该管理步骤进行编码得到对应的管理编码,以及,接收所述LLM组件返回的该管理步骤对应的管理编码,在已部署的设备知识库查找与该管理编码匹配的管理指令描述,并向所述LLM组件发送管理指令请求;所述管理指令请求至少携带该管理步骤、管理指令描述、以及具体管理指令请求标识、所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述、具体管理指令请求标识确定出匹配的所述管理指令;
所述在已部署的设备知识库中查找与该管理编码匹配的管理指令描述包括:在已部署的设备知识库中查找到该管理编码;在设备知识库中查找距离该管理编码最近的管理指令描述;
触发单元在通过所述Agent组件向所述LLM组件发送管理指令请求之后,若通过所述Agent组件接收到特定消息,所述特定消息用于指示数据不充分无法确定管理指令,则进一步在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述,当前查找到的管理指令描述不同于之前查找到的管理指令描述;通过所述Agent组件向所述LLM组件发送管理指令请求;所述管理指令请求至少携带该管理步骤、当前查找到的管理指令描述、以及具体管理指令请求标识、所述指定指令格式,所述管理指令请求用于请求所述LLM组件基于所述管理指令请求携带的管理步骤、管理指令描述、具体管理指令请求标识确定出匹配的所述管理指令;
所述在已部署的设备知识库中重新查找与该管理编码匹配的管理指令描述包括:在已部署的设备知识库中重新查找处于与该管理编码对应的设定范围之内的各管理指令描述;所述设定范围内任一管理指令描述与该管理编码之间的距离小于或等于设定距离阈值。
9.一种网络设备管理装置,其特征在于,该装置应用于网络设备,所述网络设备通过网络连接已部署的自然语言NL助手服务器,所述网络设备被部署NL命令行界面CLI组件和传统CLI组件,NL CLI组件提供的NL CLI,用于同外部交互,支持外部在所述NL CLI输入的自然语言指令,所述传统CLI组件提供的传统CLI,支持指定指令格式的CLI指令;该装置包括:
监测单元,用于监测外部在所述NL CLI输入的用于进行设备管理的自然语言指令,将监测到的自然语言指令发送至NL助手服务器中的管理代理Agent组件,以由Agent组件触发已部署的大语言模型LLM组件基于所述自然语言指令确定出与所述自然语言指令匹配且符合指定指令格式的管理指令;
指令单元,用于接收所述LLM组件返回的管理指令,通过所述NL CLI显示所述管理指令,以根据外部对显示的所述管理指令进行的指示调用所述传统CLI组件进行对应的管理。
10.一种电子设备,其特征在于,该电子设备包括:处理器和机器可读存储介质,机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现权利要求1至6任一所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310787799.2A CN116541118B (zh) | 2023-06-29 | 2023-06-29 | 网络设备管理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310787799.2A CN116541118B (zh) | 2023-06-29 | 2023-06-29 | 网络设备管理方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116541118A true CN116541118A (zh) | 2023-08-04 |
CN116541118B CN116541118B (zh) | 2023-10-13 |
Family
ID=87456271
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310787799.2A Active CN116541118B (zh) | 2023-06-29 | 2023-06-29 | 网络设备管理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116541118B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109988A (zh) * | 2007-08-31 | 2008-01-23 | 北京腾拓科技有限公司 | 一种利用自然语言设置和操作可控对象的方法和系统 |
US20160260430A1 (en) * | 2015-03-06 | 2016-09-08 | Dell Products L.P. | Voice-based input using natural language processing for interfacing with one or more devices |
US20180108349A1 (en) * | 2016-10-14 | 2018-04-19 | Microsoft Technology Licensing, Llc | Device-described Natural Language Control |
CN109313666A (zh) * | 2016-06-14 | 2019-02-05 | 微软技术许可有限责任公司 | 计算机代理消息机器人 |
CN110147544A (zh) * | 2018-05-24 | 2019-08-20 | 清华大学 | 一种基于自然语言的指令生成方法、装置以及相关设备 |
CN111696534A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 语音交互设备和系统、设备控制方法、计算设备以及介质 |
CN114067792A (zh) * | 2020-08-07 | 2022-02-18 | 北京猎户星空科技有限公司 | 一种智能设备的控制方法及装置 |
CN116032581A (zh) * | 2022-12-19 | 2023-04-28 | 国网河北省电力有限公司衡水供电分公司 | 网络设备安全管理方法及电子设备 |
CN116306684A (zh) * | 2023-03-28 | 2023-06-23 | 北京邮电大学 | 基于自然语言的网络管控交互方法和装置 |
-
2023
- 2023-06-29 CN CN202310787799.2A patent/CN116541118B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101109988A (zh) * | 2007-08-31 | 2008-01-23 | 北京腾拓科技有限公司 | 一种利用自然语言设置和操作可控对象的方法和系统 |
US20160260430A1 (en) * | 2015-03-06 | 2016-09-08 | Dell Products L.P. | Voice-based input using natural language processing for interfacing with one or more devices |
CN109313666A (zh) * | 2016-06-14 | 2019-02-05 | 微软技术许可有限责任公司 | 计算机代理消息机器人 |
US20180108349A1 (en) * | 2016-10-14 | 2018-04-19 | Microsoft Technology Licensing, Llc | Device-described Natural Language Control |
CN110147544A (zh) * | 2018-05-24 | 2019-08-20 | 清华大学 | 一种基于自然语言的指令生成方法、装置以及相关设备 |
CN111696534A (zh) * | 2019-03-15 | 2020-09-22 | 阿里巴巴集团控股有限公司 | 语音交互设备和系统、设备控制方法、计算设备以及介质 |
CN114067792A (zh) * | 2020-08-07 | 2022-02-18 | 北京猎户星空科技有限公司 | 一种智能设备的控制方法及装置 |
CN116032581A (zh) * | 2022-12-19 | 2023-04-28 | 国网河北省电力有限公司衡水供电分公司 | 网络设备安全管理方法及电子设备 |
CN116306684A (zh) * | 2023-03-28 | 2023-06-23 | 北京邮电大学 | 基于自然语言的网络管控交互方法和装置 |
Non-Patent Citations (1)
Title |
---|
焦利敏等: ""基于ChatGPT机理的智能家居语音交互构建研究"", 《中国标准化》, pages 88 - 92 * |
Also Published As
Publication number | Publication date |
---|---|
CN116541118B (zh) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106782526B (zh) | 语音控制方法和装置 | |
US10311877B2 (en) | Performing tasks and returning audio and visual answers based on voice command | |
CN110457256A (zh) | 数据存储方法、装置、计算机设备及存储介质 | |
US20080320033A1 (en) | Method, Apparatus and Computer Program Product for Providing Association of Objects Using Metadata | |
CN110457011A (zh) | 软件应用定制方法及开发服务端 | |
CN110018858A (zh) | 一种基于语音控制的应用管理方法、装置 | |
US20210124555A1 (en) | System and method for providing a response to a user query using a visual assistant | |
JP2009116733A (ja) | アプリケーション検索システム、アプリケーション検索方法、モニタ端末、検索サーバおよびプログラム | |
CN108733666B (zh) | 服务器信息推送方法、终端信息发送方法及装置、系统 | |
CN110992937A (zh) | 语言离线识别方法、终端及可读存储介质 | |
CN111291157A (zh) | 应答响应方法、装置、终端及存储介质 | |
CN106558311B (zh) | 语音内容提示方法和装置 | |
CN115525302A (zh) | 一种大规模数字对象仓库集群的部署方法及装置 | |
CN108429848B (zh) | 一种信息处理方法、装置和设备 | |
CN116701601A (zh) | 人机交互的方法 | |
CN110555075B (zh) | 数据处理方法、装置、电子设备以及计算机可读存储介质 | |
CN109343916A (zh) | 显示界面切换方法、装置及电子设备 | |
CN109964473B (zh) | 语音业务应答的方法及装置 | |
CN111488286B (zh) | 一种Android模块独立开发的方法及装置 | |
CN116541118B (zh) | 网络设备管理方法、装置及电子设备 | |
CN110750295B (zh) | 一种信息处理方法,装置,电子设备和存储介质 | |
KR20050034680A (ko) | 문자메시지를 이용한 전화번호안내시스템 | |
CN113707145A (zh) | 显示设备及语音搜索方法 | |
CN105447055A (zh) | 搜索应用的方法、装置及电子设备 | |
CN106302821A (zh) | 一种数据请求方法及其设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |