CN116306684A - 基于自然语言的网络管控交互方法和装置 - Google Patents

基于自然语言的网络管控交互方法和装置 Download PDF

Info

Publication number
CN116306684A
CN116306684A CN202310318392.5A CN202310318392A CN116306684A CN 116306684 A CN116306684 A CN 116306684A CN 202310318392 A CN202310318392 A CN 202310318392A CN 116306684 A CN116306684 A CN 116306684A
Authority
CN
China
Prior art keywords
natural language
intention
network
network management
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310318392.5A
Other languages
English (en)
Inventor
袁彩霞
高晖
王小捷
许文俊
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202310318392.5A priority Critical patent/CN116306684A/zh
Publication of CN116306684A publication Critical patent/CN116306684A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请公开了一种基于自然语言的网络管控交互方法和装置，其中方法包括：第一智能体利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；所述第二智能体利用预训练的自然语言解析模型，对接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。采用本申请，可以提升网络管控交互的扩展性和鲁棒性。

Description

基于自然语言的网络管控交互方法和装置
技术领域
本发明涉及网络管理技术，特别是涉及一种基于自然语言的网络管控交互方法和装置。
背景技术
随着网络需求的不断上升和网络通信技术的不断发展，未来网络通信必将迈入智能化、自主化时代。传统的以收发和中继为主要功能的网络元素也将逐渐发展为具有智能化、自主化交互和决策的新型网络智能体。智能化交互需要统一的交互语言和协议簇作为基础，同时需要满足高鲁棒、高效率、高扩展等性能要求。围绕多个网元之间采用何种语言进行交互这一问题，学者们开展了诸多有效的研究。
传统网络管理方案中采用人工语言(即符合网络管理协议规定的语法规范的语言)开展网元之间的交互。例如简单网络管理协议(SNMP)通过定义协议数据单元(ProtocolData Unit，PDU)和基本编码规则(Basic Encoding Rules，BER)，将管理器和代理器之间的交互消息封装成标准语言，消息的发端和收端只需要遵守预先设定的语法规范，即可完成消息的封装和解析。
发明人在实现本发明的过程中发现：新型网络智能体之间若仍采用传统的人工语言交互方式，会存在扩展性差以及鲁棒性差的问题。具体分析如下：
一、人工语言需要依据既定的语法规范实现，而一旦语法规范确定了，所表示的消息类型也会随之确定，当有新的消息需求提出时，就需要为该新的消息需求生成相应的语法规范，以满足对该新的消息需求的表达，因此，受限于对人工语言语法规范的依赖，而存在可扩展性差的问题。
二、基于人工语言的消息指令在物理信道传输时会因为信道噪声的影响而出现错误比特，如此，容易导致接收端收到的消息要么无法解析，要么被错误解析，因此，受限于物理信道噪声的存在，而存在鲁棒性差的问题。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于自然语言的网络管控交互方法和装置，可以提升网络管控交互的扩展性和鲁棒性。
为了达到上述目的，本发明实施例提出的技术方案为：
一种基于自然语言的网络管控交互方法，包括：
第一智能体利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；
所述第二智能体利用预训练的自然语言解析模型，对接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
本发明实施例还提出一种基于自然语言的网络管控交互装置，包括：
自然语言生成模块，用于利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；
自然语言解析模块，用于利用预训练的自然语言解析模型，对所述第二智能体接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
本发明实施例还提出一种基于自然语言的网络管控交互设备，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述基于自然语言的网络管控交互方法。
本发明实施例还提出一种计算机可读存储介质，其中存储有计算机可读指令，该计算机可读指令用于执行如上所述基于自然语言的网络管控交互方法。
综上所述，本发明实施例提出的基于自然语言的网络管控交互方案中，网络管控决策发送端智能体(即第一智能体)，利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给网络管控决策执行端智能体(即第二智能体)；执行端智能体接收到的所述自然语言指令后，利用预训练的自然语言解析模型，对该自然语言指令进行网络管控意图和相应槽信息的提取，从而得到该自然语言指令的相应网络配置参数。如此，由于智能体之间传输的是具有语义信息的自然语言指令，使得即使传输噪声导致了错误比特依然不影响正确理解自然语言指令的语义信息。因此，可以利用自然语言指令的语义信息，降低传输噪声导致的错误比特带来的影响，获得正确的网络管控意图和关键槽信息，从而可以利用自然语言(即人与人之间交互使用的语言)的语义鲁棒性提高网络管控交互的鲁棒性。另外，由于无需事先设计智能体交互使用的交互语法和指令集合，而是利用离线训练好的自然语言生成模型和自然语言解析模型，在发送端，自动生成包含管控意图的自然语言指令，发送给接收端智能体；在接收端，将自然语言指令自动解析为具体的网络配置动作，如此，可以借助语言模型强大的生成能力，满足新的消息需求的表达，从而可以抵御现有人工协议语言的受限性，提升了网络管控交互的扩展性。
附图说明
图1为本发明实施例的方法流程示意图；
图2为本发明实施例的具体实施示意图；
图3为本发明实施例的装置结构意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步地详细描述。
图1为本发明实施例的基于自然语言的网络管控交互方法流程示意图，如图1所示，该实施例主要包括下述步骤：
步骤101、第一智能体利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体。
本步骤，与基于现有网络管理协议进行交互的方案所不同的是，消息发送端智能体(即第一智能体)与消息接收端智能体(即第二智能体)之间交互的是具有网络管控语义信息的自然语言指令，而非是基于某一网管协议的语法规范构建的网络管控指令，如此，可以利用自然语言指令的语义鲁棒性提升网络管控交互的鲁棒性，同时，可以利用借助语言模型强大的生成能力，提升网络管控交互的扩展能力，灵活便捷地满足新的消息需求的表达，而不如现有网管交互方案一样，需要先对网管协议进行更新，为新的消息需求生成相应的语法规范并增加至网管协议中，因此，可以大幅度提升网络管控交互的可扩展性。
在实际应用中，可以采用现有的网络通信协议，将用于网络管控的自然语言指令发送给第二智能体，在此不再赘述。
一种实施方式中，预先可以采用下述步骤a1～a4训练自然语言生成模型：
步骤a1、将训练样本的网络管控意图序列，输入所述自然语言生成模型的第一编码器进行编码，得到意图表示向量i。
本步骤，用于基于训练样本的网络管控意图序列，编码得到相应的意图表示向量i。
所述第一编码器具体可以实施为一双向长短时记忆网络(Long-Short TermMemory，LSTM)。
例如，对于一个多意图管控指令“Move&Request_Report”，可以编码得到相应的意图表示向量i，i∈Rd×1，d为LSTM隐层向量的长度。
步骤a2、将所述网络管控意图序列中的每个意图和相关联的槽信息，输入所述自然语言生成模型的第二编码器进行编码，得到意图和槽信息表示向量s。
本步骤，用于基于训练样本的网络管控意图序列和其中各意图关联的槽信息进行编码，得到意图和槽信息表示向量s。
所述第二编码器具体可以实施为一双向长短时记忆网络。
本步骤中，需要将每个意图和其所关联的槽信息(包括槽类型和槽值)拼接到一起后输出至第二编码器中进行编码，得到相应的意图和槽信息表示向量s。
例如，输入至第二编码器的信息为“Move＜Location＝左前方>&Request_Report＜Info＝SNR＞”，进行编码后得到意图和槽信息表示向量s，s∈Rd×1，d为LSTM隐层向量的长度。
步骤a3、将所述意图表示向量i和所述意图和槽信息表示向量s拼接后，输入所述自然语言生成模型的解码器进行解码，基于解码得到的词分布，得到所述网络管控意图序列对应的自然语言指令。
本步骤，用于将上述步骤a1和a2编码器的隐层向量i和s的拼接，输入一个解码器，进行解码处理，在每时刻生成一个词的分布pt，从而可以基于解码得到的词分布，得到所述网络管控意图序列对应的自然语言指令。
步骤a4、基于自然语言生成模型的输出结果，采用语义一致性约束，生成所述自然语言生成模型的总损失函数。
本步骤中，为了使得自然语言指令能准确地表达网络管控意图，基于步骤a1～a3得到的处理结果，采用语义一致性约束，生成自然语言生成模型的总损失函数。
一种实施方式中，步骤a4中具体可以按照公式：
Figure BDA0004150814660000061
生成所述自然语言生成模型的总损失函数loss(θ)。
其中，pt为所述自然语言生成模型输出的词分布，yt为所述样本数据的参考词分布，it+1和it分别为第t+1时刻和第t时刻要表达的意图向量，T为解码器输出的词序列的长度。i0被初始化为意图编码器得到的意图表示向量i，即：i0＝i，iT是解码结束时刻待表达的意图向量。通过一个控制器σt记录在t时刻以后需要继续解码的意图，完成it的更新：
σt＝sigmoid(Wyyt+Whht-1)
it+1＝σt⊙it
其中，Wy和Wh为可训练的模型参数，⊙表示向量的逐点相乘。
τ和
Figure BDA0004150814660000062
均为预设的调和参数，0＜τ＜1，/>
Figure BDA0004150814660000063
具体本领域技术人员可以根据实际需要，在上述取值范围内设置τ和/>
Figure BDA0004150814660000064
的合适取值，例如，τ可以为0.90，/>
Figure BDA0004150814660000065
可以为1.01，但不限于此。
上述损失函数包括三个部分，其中，
Figure BDA0004150814660000066
为解码器的正确性约束，
Figure BDA0004150814660000067
为不重复约束，||iT||为无遗漏约束。
上述利用自然语言生成模型实现的基于意图驱动的自然语言生成方法，使用序列学习模型建模管控意图表示的语义序列。并且，在语义一致性的约束下，能够进一步保证生成的自然语言句子准确表达智能体的交互意图。
步骤102、所述第二智能体利用预训练的自然语言解析模型，对接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
本步骤中，由于接收端智能体接收的是自然语言指令，因此，需要采用相应的自然语言解析模型对其进行解析，从中提取出网络管控意图和相应槽信息，从而得到相应网络管控的配置参数。
这里，自然语言解析模型包括意图识别和槽值标注两个子任务，共同构成自然语言指令的语义框架。其中，意图识别是指识别不同类型的管控任务，例如“询问”“否认”等。槽值标注指识别出自然语言指令包含的信息槽并标注其槽值，例如“IP地址”“SNR”等。槽值标注又称为槽填充技术，主要采用序列标注的方法，为自然语言指令中的字或词打上槽类别标签。
在实际指令传输过程中，由于通信过程中存在信道干扰，接收端智能体收到的文本序列可能存在错误，将带有噪声的文本序列输入到自然语言理解模块，会导致解码出来的自然语言序列出现偏差。例如，“查询信噪比”被错误解码为“嫘询信噪鞴”，“开机组网”被错误解码出“开机體网”等。
针对上述问题，为了进一步提高网络管控交互的鲁棒性，一种实施方式中，预先可以采用对抗学习的方式，训练自然语言解析模型，即从大规模预训练语言模型和对抗学习两个方面，同时提升自然语言理解的鲁棒性。较佳地可以采用下述步骤b1～b4实现这一目的。
步骤b1、将训练样本的句子序列X，输入所述自然语言解析模型的编码器，对所述句子序列进行编码，得到所述句子序列X的语义向量h[cls]。
本步骤中的编码器具体可以实施为BERT编码器。
假设，句子序列
Figure BDA0004150814660000071
其中T表示句子序列的长度，经过BERT编码器对句子进行编码，得到编码输出隐藏层向量
Figure BDA0004150814660000072
具体可以采用下述公式表征：
H＝BERT(X)
其中，h[cls]∈Rd×1表示句子序列的语义编码结果(即语义向量)，d为编码器使用的语义向量的长度。将该语义编码将在后续步骤中用于对句子的降噪和解析处理。
步骤b2、将所述语义向量h[cls]，输入所述自然语言解析模型的意图识别网络，对其包含的意图与槽类型组合进行预测；每个所述意图与槽类型组合由一种意图和该种意图所关联的一种槽类型组成。
本步骤用于识别自然语言指令中的管控意图及意图绑定的槽类型，相应的模型任务为句子到意图-槽的多分类任务。
所述意图识别网络具体可以实施为一个全连接网络层MLPintent-slot。相应地，本步骤中需要将句子的语义向量h[cls]，输入到该全连接网络层MLPintent-slot中，对可能出现的意图-槽类型进行预测，该预测具体可以采用下述公式表征：
Io＝σ(Whih[cls]+bi)
其中，Whi和bi为可训练的模型参数，σ表示激活函数，Io＝{I1，I2，...，II}，I表示所有意图-槽的个数。将Io输入softmax函数获得每个意图-槽类型的预测概率pi。
步骤b3、基于所述语义向量h[cls]，利用所述自然语言解析模型的槽值识别网络，预测每个所述意图与槽类型组合对应的槽值。
本步骤，用于为识别出的意图-槽类型生成相应的槽值。输入句子序列X和意图-槽类型，预测该意图-槽类型下的槽值。
一种实施方式中，槽值识别网络可以实施为分类器MLPvalue，为每一类意图-槽类型In，设置一个分类器MLPvalue来预测该意图-槽所对应的槽值。本步骤的预测具体可以表征为下述公式：
So＝σ(Whshi_[cls]+bs)
其中，Whs和bs为可训练的模型参数，σ表示激活函数，So＝{S1，S2，...，SV}，V表示所有候选槽值的个数。hi_[cls]为将意图-槽类型In对应的类别标签作为句子序列X的前缀，经过BERT编码后得到的语义向量。将So输入softmax函数获得每个意图-槽类型对应的候选槽值的概率pv。
步骤b4、基于所述语义向量h[cls]、所述句子序列X对应的噪声文本
Figure BDA0004150814660000091
的语义向量
Figure BDA0004150814660000092
所述意图与槽类型组合和所述槽值，计算所述自然语言解析模型的总损失函数值；利用所述总损失函数值对所述自然语言解析模型的参数进行优化调整；其中，所述噪声文本/>
Figure BDA0004150814660000093
基于所述句子序列X在噪声环境下生成，所述语义向量/>
Figure BDA0004150814660000094
为所述噪声文本/>
Figure BDA0004150814660000095
输入所述编码器编码得到。
这里，为了增加模型抵御噪声的能力，在计算自然语言解析模型的总损失函数值时，需要考虑对抗任务的训练，即基于所述语义向量h[cls]和相应的噪声文本
Figure BDA0004150814660000096
的语义向量
Figure BDA0004150814660000097
计算损失函数，以获得具有降噪功能的编码器，使得模型可以输出原始正确的指令(即未加噪之前的自然语言指令)，从而可以进一步提升模型在噪声环境下的语义理解和符号还原能力。
在实际应用中，所述噪声文本
Figure BDA0004150814660000098
可以采用现有方法生成。较佳地，一种实施方式中可以采用下述步骤d1～d4生成噪声文本/>
Figure BDA0004150814660000099
步骤d1、对所述句子序列X转化0-1比特流。
上述0-1比特流即由比特1和比特0构成的比特流。具体地，可以利用Unicode编码，将所述句子序列X转化为0-1比特流，但不限于此，也可以采用其他可以获得0-1比特流的方案，在此不再赘述。
步骤d2、利用正弦波对所述0-1比特流进行调制。
步骤d3、利用引入了衰落和噪声的信道，传输所述调制的结果给目标接收端。
步骤d4、所述目标接收端对接收到所述调制的结果进行解调，并对解调结果进行解码，得到所述噪声文本
Figure BDA00041508146600000910
采用上述步骤，在噪声环境下，生成的句子序列X对应的噪声文本
Figure BDA0004150814660000101
之后，将噪声文本/>
Figure BDA0004150814660000102
输入编码器中编码，即/>
Figure BDA0004150814660000103
得到编码输出隐藏层向量/>
Figure BDA0004150814660000104
如此，即可得到噪声句子序列/>
Figure BDA0004150814660000105
的语义向量/>
Figure BDA0004150814660000106
一种实施方式中，具体可以采用下述方法计算所述自然语言解析模型的总损失函数值：
步骤c1、计算所述语义向量h[cls]和所述语义向量
Figure BDA0004150814660000107
的余弦损失函数，得到第一损失函数。
本步骤，用于计算语义向量h[cls]和语义向量
Figure BDA0004150814660000108
的余弦损失，作为相似度损失函数。具体可以表征为下述公式：
Figure BDA0004150814660000109
其中，LSIM表示第一损失函数，hi表示语义向量h[cls]中的第i个元素，
Figure BDA00041508146600001010
表示语义向量/>
Figure BDA00041508146600001011
中的第i个元素，d表示语义向量h[cls]或/>
Figure BDA00041508146600001012
中的元素数量。
步骤c2、基于所述意图识别网络输出的所述意图与槽类型组合，计算第二损失函数值。
为了便于实现，一种实施方式中，可以采用交叉熵损失函数计算第二损失函数值，具体损失函数计算公式如下：
Figure BDA00041508146600001013
其中，LIntent为第二损失函数，pi为意图-槽类型的预测概率，yi为意图-槽类型的真实概率，I为所有意图-槽类型的个数。
在实际应用中也可以采用其他损失函数计算，在此不再赘述。
步骤c3、基于所述意图识别网络输出的所述槽值，计算第三损失函数值。
为了便于实现，一种实施方式中，可以采用交叉熵损失函数计算第三损失函数值，具体损失函数计算公式如下：
Figure BDA0004150814660000111
其中，LValue为第三损失函数，pv为候选槽值的预测概率，yv为候选槽值的真实概率，V表示所有候选槽值的个数。
在实际应用中也可以采用其他损失函数计算，在此不再赘述。
步骤c4、对所述第一损失函数、所述第二损失函数和所述第三损失函数求和，得到所述总损失函数。
本步骤具体可以表征为下述公式：
L＝LIntent+LValue+LSIM
其中，L为所述总损失函数。
基于上述自然语言解析模型的预训练方法可以看出，在训练自然语言解析模型时，输入引入物理信道噪声后的自然语言指令，通过BERT编码层获得指令的语义表示，输出包括：从加噪的指令中识别出的指令意图、从加噪的指令中识别出的槽值以及从加噪的指令还原出的原始正确指令。该自然语言解析模型具有下述优点：
(1)通过多任务学习，有效发挥多个相关目标任务的类同表示，促使模型在底层编码器关注任务通用特征的表示学习，在每个目标任务的编码器部分，关注任务相关特征的表示学习。
(2)通过从噪声输入中正确识别指令意图、槽值和对噪声输入的还原，模型获得了对抗物理信道噪声的能力，从而节省了传统协议中的差错控制开销，提升了指令的传输效率。
综上所述，基于上述自然语言解析模型的预训练方法，采用上述多任务学习框架，不仅可以迫使自然语言解析模型获得关键语义信息，而且促使自然语言解析模型在极大限度上抵抗物理信道的噪声，提升基于自然语言的网络管控协议的鲁棒性。
基于上述实施例的基于自然语言的网络管控交互方法可以看出，本发明实施例，利用预训练的自然语言生成模型和自然语言解析模型，在智能体之间传输具有语义信息的自然语言指令，实现了多个网络智能体之间围绕网络管控任务的拟人化交互。如此，一方面可以利用自然语言指令的语义鲁棒性提高网络管控交互的鲁棒性，另一方面，也可以借助语言模型强大的生成能力，满足新的消息需求的表达，有效提升了网络管控交互的扩展性。
图2为本发明实施例在一具体场景下的具体实施示意图。如图2所示，发送端智能体采用自然语言生成模型将管控意图封装为自然语言指令，进而通过编码器将其转换为适合物理信道传播的0-1比特序列，经过物理信道传输给接收端智能体，在接收端译码出自然语言指令后，接收端智能体采用自然语言解析模型从自然语言指令中解析出网络配置参数，完成网络配置。其中，网络中的多个发送端和接收端共享同一个自然语言生成模型和同一个自然语言解析模型，赋予网络智能体对复杂的任务语义和环境语义的表述和理解能力，进而可以提升网络智能体的自主交互能力。
基于上述基于自然语言的网络管控交互方法实施例，本发明实施例相应地提出一种基于自然语言的网络管控交互装置，如图3所示，该装置包括：
自然语言生成模块301，用于利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；
自然语言解析模块302，用于利用预训练的自然语言解析模型，对所述第二智能体接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
上述自然语言生成模块301和自然语言解析模块302分别用于发送信息的封装和接收信息的解析，因此分别设置于发送端智能体和接收端智能体中。考虑到，实际应用中，一个智能体往往可能既需要发送自然语言指令信息，也需要接收自然语言指令信息，因此，也会同时部署上述两个模块(如图3中模块303和304)，以分别进行信息的发送和接收处理。
需要说明的是，上述方法和装置是基于同一发明构思的，由于方法及装置解决问题的原理相似，因此，装置和方法的实施可以相互参见，重复之处不再赘述。
基于上述基于自然语言的网络管控交互方法实施例，本发明实施例相应地还提出一种基于自然语言的网络管控交互设备，包括处理器和存储器；所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如上所述基于自然语言的网络管控交互方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施方式的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。此外，还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述基于自然语言的网络管控交互方法实施方式中任一实施方式的功能。
其中，存储器具体可以实施为电可擦可编程只读存储器(EEPROM)、快闪存储器(Flash memory)、可编程程序只读存储器(PROM)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列，其中现场可编程门阵列集成一或多个中央处理器核。具体地，中央处理器或中央处理器核可以实施为CPU或MCU。
本申请实施例还实现了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上所述基于自然语言的网络管控交互方法的步骤。
需要说明的是，上述各流程和各结构图中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分，实际实现时，一个模块可以分由多个模块实现，多个模块的功能也可以由同一个模块实现，这些模块可以位于同一个设备中，也可以位于不同的设备中。
各实施方式中的硬件模块可以以机械方式或电子方式实现。例如，一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器，如FPGA或ASIC)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式，或是采用专用的永久性电路，或是采用临时配置的电路(如由软件进行配置)来实现硬件模块，可以根据成本和时间上的考虑来决定。
在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”并不表示将本发明相关部分的数量限制为“仅此一个”，并且“一个”不表示排除本发明相关部分的数量“多于一个”的情形。在本文中，“上”、“下”、“前”、“后”、“左”、“右”、“内”、“外”等仅用于表示相关部分之间的相对位置关系，而非限定这些相关部分的绝对位置。
本说明书及实施例中所述方案，如涉及个人信息处理，则均会在具备合法性基础(例如征得个人信息主体同意，或者为履行合同所必需等)的前提下进行处理，且仅会在规定或者约定的范围内进行处理。用户拒绝处理基本功能所需必要信息以外的个人信息，不会影响用户使用基本功能。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自然语言的网络管控交互方法，其特征在于，包括：
第一智能体利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；
所述第二智能体利用预训练的自然语言解析模型，对接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
2.根据权利要求1所述的方法，其特征在于，所述自然语言生成模型的预训练包括：
将训练样本的网络管控意图序列，输入所述自然语言生成模型的第一编码器进行编码，得到意图表示向量i；
将所述网络管控意图序列中的每个意图和相关联的槽信息，输入所述自然语言生成模型的第二编码器进行编码，得到意图和槽信息表示向量s；
将所述意图表示向量i和所述意图和槽信息表示向量s拼接后，输入所述自然语言生成模型的解码器进行解码，基于解码得到的词分布，得到所述网络管控意图序列对应的自然语言指令；
基于自然语言生成模型的输出结果，采用语义一致性约束，生成所述自然语言生成模型的总损失函数。
3.根据权利要求2所述的方法，其特征在于，按照
Figure FDA0004150814650000011
生成所述自然语言生成模型的总损失函数loss(θ)；其中，pt为所述自然语言生成模型输出的词分布，yt为所述样本数据的参考词分布，it分别为第t时刻要表达的意图向量，it+1为第t+1时刻要表达的意图向量，τ和/>
Figure FDA0004150814650000012
均为预设的调和参数，0＜τ＜1，/>
Figure FDA0004150814650000013
T为所述解码器输出的词序列的长度。
4.根据权利要求1所述的方法，其特征在于，所述自然语言解析模型采用对抗学习的方式进行预训练。
5.根据权利要求4所述的方法，其特征在于，所述自然语言解析模型的预训练包括：
将训练样本的句子序列X，输入所述自然语言解析模型的编码器，对所述句子序列进行编码，得到所述句子序列X的语义向量h[cls]；
将所述语义向量h[cls]，输入所述自然语言解析模型的意图识别网络，对其包含的意图与槽类型组合进行预测；每个所述意图与槽类型组合由一种意图和该种意图所关联的一种槽类型组成；
基于所述语义向量h[cls]，利用所述自然语言解析模型的槽值识别网络，预测每个所述意图与槽类型组合对应的槽值；
基于所述语义向量h[cls]、所述句子序列X对应的噪声文本
Figure FDA0004150814650000021
的语义向量/>
Figure FDA0004150814650000022
所述意图与槽类型组合和所述槽值，计算所述自然语言解析模型的总损失函数值；利用所述总损失函数值对所述自然语言解析模型的参数进行优化调整；其中，所述噪声文本/>
Figure FDA0004150814650000023
基于所述句子序列X在噪声环境下生成，所述语义向量/>
Figure FDA0004150814650000024
为所述噪声文本/>
Figure FDA0004150814650000025
输入所述编码器编码得到。
6.根据权利要求5所述的方法，其特征在于，所述计算所述自然语言解析模型的总损失函数值包括：
计算所述语义向量h[cls]和所述语义向量
Figure FDA0004150814650000026
的余弦损失函数，得到第一损失函数；
基于所述意图识别网络输出的所述意图与槽类型组合，计算第二损失函数值；
基于所述意图识别网络输出的所述槽值，计算第三损失函数值；
对所述第一损失函数、所述第二损失函数和所述第三损失函数求和，得到所述总损失函数。
7.根据权利要求6所述的方法，其特征在于，所述噪声文本
Figure FDA0004150814650000032
的生成包括：
对所述句子序列X转化0-1比特流；
利用正弦波对所述0-1比特流进行调制；
利用引入了衰落和噪声的信道，传输所述调制的结果给目标接收端；
所述目标接收端对接收到所述调制的结果进行解调，并对解调结果进行解码，得到所述噪声文本
Figure FDA0004150814650000031
8.一种基于自然语言的网络管控交互装置，其特征在于，包括：
自然语言生成模块，用于利用预训练的自然语言生成模型，将当前的网络管控意图转换为自然语言指令并发送给第二智能体；
自然语言解析模块，用于利用预训练的自然语言解析模型，对所述第二智能体接收到的所述自然语言指令进行网络管控意图和相应槽信息的提取，得到相应的网络配置参数。
9.一种基于自然语言的网络管控交互设备，其特征在于，包括处理器和存储器；
所述存储器中存储有可被所述处理器执行的应用程序，用于使得所述处理器执行如权利要求1至7中任一项所述基于自然语言的网络管控交互方法。
10.一种计算机可读存储介质，其特征在于，其中存储有计算机可读指令，该计算机可读指令用于执行如权利要求1至7中任一项所述基于自然语言的网络管控交互方法。
CN202310318392.5A 2023-03-28 2023-03-28 基于自然语言的网络管控交互方法和装置 Pending CN116306684A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310318392.5A CN116306684A (zh) 2023-03-28 2023-03-28 基于自然语言的网络管控交互方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310318392.5A CN116306684A (zh) 2023-03-28 2023-03-28 基于自然语言的网络管控交互方法和装置

Publications (1)

Publication Number Publication Date
CN116306684A true CN116306684A (zh) 2023-06-23

Family

ID=86823974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310318392.5A Pending CN116306684A (zh) 2023-03-28 2023-03-28 基于自然语言的网络管控交互方法和装置

Country Status (1)

Country Link
CN (1) CN116306684A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541118A (zh) * 2023-06-29 2023-08-04 新华三技术有限公司 网络设备管理方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541118A (zh) * 2023-06-29 2023-08-04 新华三技术有限公司 网络设备管理方法、装置及电子设备
CN116541118B (zh) * 2023-06-29 2023-10-13 新华三技术有限公司 网络设备管理方法、装置及电子设备

Similar Documents

Publication Publication Date Title
Yang et al. Semantic communications for future internet: Fundamentals, applications, and challenges
US10762305B2 (en) Method for generating chatting data based on artificial intelligence, computer device and computer-readable storage medium
CN106776578B (zh) 用于提升对话系统对话性能的方法及装置
Zhang et al. A unified multi-task semantic communication system for multimodal data
CN110555298B (zh) 验证码识别模型训练及识别方法、介质、装置、计算设备
JP5128629B2 (ja) 品詞タグ付けシステム、品詞タグ付けモデルのトレーニング装置および方法
CN110489102B (zh) 一种从自然语言自动生成Python代码的方法
KR20180019371A (ko) 기계 번역 방법 및 장치
Hu et al. One-to-many semantic communication systems: Design, implementation, performance evaluation
Lu et al. Semantics-empowered communications: A tutorial-cum-survey
CN113836866B (zh) 文本编码方法、装置、计算机可读介质及电子设备
CN116306684A (zh) 基于自然语言的网络管控交互方法和装置
CN113300813A (zh) 基于注意力的针对文本的联合信源信道方法
Xu et al. Knowledge-enhanced semantic communication system with OFDM transmissions
Yang et al. Graph-Stega: Semantic controllable steganographic text generation guided by knowledge graph
WO2024140909A1 (zh) 匹配模型训练方法、装置、设备及介质
CN117195922B (zh) 一种人在回路的神经机器翻译方法、系统及可读存储介质
Chen et al. Cross-modal semantic communications in 6G
CN117808481A (zh) 一种云边协同的大语言模型智能客服部署优化方法
CN116743605A (zh) 一种网络服务质量预测方法及装置
LU502694B1 (en) Semi-supervised sign language production method based on dual transformation and system and storage medium thereof
Weng et al. Robust Semantic Communications for Speech-to-Text Translation
CN116227498A (zh) 一种基于全局-局部对比学习的跨语言自然语言理解方法
CN115840820A (zh) 一种基于领域模板预训练的小样本文本分类方法
CN115374782A (zh) 文本处理方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination