CN116561248A - 一种信息处理方法、装置及电子设备 - Google Patents
一种信息处理方法、装置及电子设备 Download PDFInfo
- Publication number
- CN116561248A CN116561248A CN202210100335.5A CN202210100335A CN116561248A CN 116561248 A CN116561248 A CN 116561248A CN 202210100335 A CN202210100335 A CN 202210100335A CN 116561248 A CN116561248 A CN 116561248A
- Authority
- CN
- China
- Prior art keywords
- semantic
- slot
- query information
- slots
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 48
- 238000003672 processing method Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 148
- 238000000034 method Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 30
- 230000001419 dependent effect Effects 0.000 claims description 23
- 238000012163 sequencing technique Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000003860 storage Methods 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 14
- 238000003058 natural language processing Methods 0.000 abstract description 3
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005429 filling process Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Machine Translation (AREA)
Abstract
本发明提供一种信息处理方法、装置及电子设备,涉及自然语言处理领域。该方法包括:根据用户输入的查询信息,确定查询信息所对应的语义槽候选集;其中,查询信息对应多个词槽,语义槽候选集包括每个词槽对应的至少一个语义槽;根据语义槽候选集,按照N种预设规则对查询信息进行切分,得到N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;根据N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。本发明的方案,将分词过程与语义槽候选集结合,并从N种角度对切分结果分别进行筛选,提高了语义槽填充的准确性。
Description
技术领域
本发明涉及自然语言处理领域,特别是指一种信息处理方法、装置及电子设备。
背景技术
随着人工智能相关技术的快速发展,智能对话系统作为人机交互的重要入口,其扮演着越来越重要的角色。旨在为用户执行特定任务的任务型对话系统,是当前智能对话系统研究的热点,其主要工作包括自然语言理解、对话管理以及自然语言生成。在自然语言理解阶段,主要涉及意图识别和语义槽填充两个重要技术。语义槽填充是指提取用户输入内容中的实体的过程,是系统获取信息的重要途径。
现有技术方法中,存在以下缺陷:
(1)语义槽填充依赖于分词结果。对于中文的自然语言处理过程中,由于中文词语组合的灵活性,因此很多工作需要首先对待处理对象进行分词,将文本切分为最小的语义单元,再进行后续的处理。但是对于一些专有名词或未登录词,通用的分词系统可能会将其错误地切分为几部分,给下游语义槽填充工作带来干扰,导致整个工作误差的累积。而且在语义槽填充过程中,处理的对象主要就是实体,因此专有名词和未登录词出现的概率较高,产生分词错误的概率也会随之增加。
(2)多轮对话的槽填充问题,未考虑输入语句的整体语义对语义槽填充的影响。任务型对话通常可以支持系统通过多轮交互进行信息的收集,因此用户状态和上下文信息对语义槽填充过程具有一定的信息输入。但是目前很多基于模型的对话系统是根据当前用户输入的文本进行预测,而忽略了上下文信息和用户状态为槽填充带来的信息增益。尤其是在多个槽位需要收集,所有必须的语义槽尚未收集完的过程中,用户输入信息包含的各语义槽概率分布不是完全相等的,待收集槽位应该具有更高的权重。因此,在对话系统中,各功能模块之间的关系不是完全的顺序推理,而是相互耦合并带来信息增益。
(3)模型不能对用户在特定领域的个性化语义槽填充工作进行快速响应,重新训练成本较高。使用模型进行语义槽填充时,需要大量的数据进行模型训练,这在通用领域是有效的,但是在特定的个性化场景中会面临着数据量不足,变化快的问题。数据量不足的情况下,很难充分获取有用的特征,也很容易产生过拟合问题。数据变化快,则需要多次训练数据,对资源的占用较高。
综上所述,上述缺陷导致语义槽填充的准确性不高。
发明内容
本发明的目的是提供一种信息处理方法、装置及电子方法、装置及电子设备,以避免现有技术中存在的语义槽填充准确性不高的问题。
为达到上述目的,本发明的实施例提供一种信息处理方法,包括:
根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
可选的,所述的信息处理方法,其中,所述根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集,包括:
根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选的,所述的信息处理方法,其中,所述根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集,包括:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选的,所述的信息处理方法,其中,所述N种预设规则包括按照词槽长度属性切分的第一规则,所述根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选的,所述的信息处理方法,其中,所述N种预设规则包括按照词槽数量属性切分的第二规则,所述根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选的,所述的信息处理方法,其中,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,包括:
针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选的,所述的信息处理方法,其中,所述按照相同类型的语义槽,对所述语义槽对应的意图进行排序,包括:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选的,所述的信息处理方法,其中,所述针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图,包括:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
为达到上述目的,本发明的实施例还提供一种电子设备,包括处理器和收发机,其中,所述处理器用于,根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
所述处理器还用于,根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
所述处理器还用于,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
可选的,所述的电子设备,其中,所述处理器具体用于:
根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选的,所述的电子设备,其中,所述处理器具体用于:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选的,所述的电子设备,其中,所述处理器具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选的,所述的电子设备,其中,所述处理器具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选的,所述的电子设备,其中,所述处理器具体用于:
针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选的,所述的电子设备,其中,所述处理器具体用于:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选的,所述的电子设备,其中,所述处理器具体用于:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
为达到上述目的,本发明的实施例还提供一种信息处理装置,包括:
第一处理模块,用于根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
第二处理模块,用于根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
第三处理模块,用于根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
可选的,所述信息处理装置中,所述第一处理模块包括:
第一处理单元,用于根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选的,所述信息处理装置中,所述第一处理单元包括:
第一确定子单元,用于根据所述查询信息,确定所述查询信息的词槽;
第二确定子单元,用于根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
第三确定子单元,用于根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选的,所述信息处理装置中,所述第二处理模块包括:
第一确定单元,用于根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
第二确定单元,用于根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
第三确定单元,用于根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选的,所述信息处理装置中,所述第二处理模块还包括:
第四确定单元,用于根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
第五确定单元,用于根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
第六确定单元,用于根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选的,所述信息处理装置中,所述第三处理模块包括:
第二处理单元,用于针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
第三处理单元,用于按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
第四处理单元,用于按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选的,所述信息处理装置中,所述第三处理单元包括:
第一处理子单元,用于针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选的,所述信息处理装置中,所述第二处理单元包括:
第二处理子单元,用于根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
第三处理子单元,用于根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
第四处理子单元,用于根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
为达到上述目的,本发明的实施例还提供一种电子设备,包括:收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;所述处理器执行所述程序或指令时实现如上任一项所述的信息处理方法。
为达到上述目的,本发明的实施例还提供一种可读存储介质,其上存储有程序或指令,所述程序或指令被处理器执行时实现如上任一项所述的信息处理方法中的步骤。
本发明的上述技术方案的有益效果如下:
上述技术方案中,所述信息处理方法通过在根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果;能够实现将分词过程与语义槽候选集结合,并从N种角度对切分结果分别进行筛选,提高了语义槽填充的准确性。
附图说明
图1为本发明实施例提供的信息处理方法的流程示意图之一;
图2为本发明实施例提供的信息处理方法的流程示意图之二;
图3为本发明实施例提供的电子设备的结构示意图;
图4为本发明实施例提供的信息处理装置的模块示意图;
图5为本发明另一实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本发明的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
应当知道的是,随着人工智能相关技术的快速发展,智能对话系统作为人机交互的重要入口,扮演着越来越重要的角色。智能对话系统在包括客服系统、电话助理、服务机器人、家电控制、自动驾驶、语音助手、聊天机器人等应用场景中都是不可或缺的。旨在为用户执行特定任务的任务型对话系统,是当前智能对话系统研究的热点。与基于搜素模式的单轮问答型对话系统相比,任务型对话系统涉及到用户状态的保存和信息的收集,具有更高的复杂性。与复杂度较高的闲聊型对话系统相比,任务型对话有相对稳定的对话内容,相对封闭的对话场景,可实现性更高。任务型对话系统主要的工作包括:自然语言理解(NLU),对话管理(DM)和自然语言生成(NLG)。
自然语言理解是智能对话系统的重要基础,主要作用是处理用户输入的句子或者语音识别的结果,提取用户的对话意图以及用户输入中包含的信息。在问答型对话系统中自然语言理解的应用不如任务型对话系统中广泛,目前的问答型对话的主流技术还是基于搜素引擎相关技术,对于标准问题,系统给出的答案都是提前配置的,系统并没有对用户的输入加以理解。未来将自然语言理解技术应用于解析用户输入,结合自然语言生成技术给出系统回复,可以为用户带来更生动的问答服务。自然语言理解效果的提升,可以丰富系统从用户输入中获得的信息,使得系统可以收集到更多的情报,为后面的模块提供更多的数据和更可靠的支撑。
对话管理分为两个子模块,对话状态追踪(DST)和对话策略学习(DPL),其主要作用是根据NLU的结果来更新系统的状态,并生成相应的系统动作。DST的常用方法主要有三种:基于规则的方法,生成式模型,判别式模型。虽然生成式模型和判别式模型的相关研究很多,但是在工业界,受限于相关的数据资源,主要采用的还是基于规则的方法。DPL相关的研究一般会建模成强化学习或深度强化学习。与DST类似,工业界也是以基于规则的方法为主。
自然语言生成:将DM输出的系统动作,用自然语言的形式表达出来。即如何自然地要求用户补充其他槽值,澄清模糊信息。自然语言生成模块可以给用户带来直接的体验,其性能的好坏与用户的满意度密切相关。虽然在任务型对话系统中,对话系统最终的回复可能是某种动作(比如调用各种接口),但在多轮对话收集信息过程中,系统还是需要用更具亲和力的方式询问用户相应的信息。因此,自然语言生成决定着用户对整个对话系统总体评价。
在自然语言理解的阶段,主要涉及到意图识别和语义槽填充两个重要的技术。意图识别,顾名思义就是判断用户要做什么,或者确定用户在询问的话题。意图识别本质上是一个文本分类的问题。与情感分类等任务不同,意图分类的方式多种多样,灵活多变。在任务型对话系统中,通常支持用户自主上传数据和意图标签,不同的用户会对意图的分类结果有着不同的需求和认识。语义槽填充,指的是将用户输入的内容中的实体提取出来的过程,是系统获取信息的重要途径。这里的实体主要是指对任务的执行有影响的实体。比如订票场景下的地点、时间、数量等实体是任务执行所必须的,航空公司名称等实体虽然是可选的信息,但是也会直接影响任务的执行,因此这些都是语义槽填充的对象。常见的语义槽填充技术主要分为基于规则和词典的语义槽填充,以及基于模型的语义槽填充。基于规则和词典的语义槽填充具有灵活,快速,可动态调整的优点,但是难以解决规则和词典不能覆盖的部分;基于模型的语义槽填充通常将语义槽填充的过程看作是一个序列标注任务,这种模式可以一定程度上打破基于规则和词典模式的局限,但也需要准备大量的数据,而且对数据变化比较大的场景应用性较差。
本发明针对现有技术中存在的语义槽填充准确性不高的问题,提供一种信息处理方法、装置及电子设备。
如图1所示,本发明实施例的一种信息处理方法,包括:
步骤100,根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
举例说明,用户输入的查询信息为“去西安机票多少钱”时,这句话中的词槽只有“西安”,其可能对应的语义槽是“出发地”、“目的地”,这里想要获取的“费用”作为用户想要获取的信息,并不是从用户输入中获取的,可能是第三方接口或系统中的数据库等,不是语义槽提取的对象。
步骤200,根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;其中N为正整数;
步骤300,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
该实施例中,通过步骤100至步骤200实现了根据所述语义槽候选集按照N种预设规则对所述查询信息进行切分,防止基于通用模型的切分影响特定场景的语义槽边界,干扰语义槽填充;进一步通过步骤300,将N种切分结果中的每种切分结果对应的语义槽填充结果进行打分排序,选出系统需要的前预设值种最佳槽填充结果,提高了语义槽填充的准确性。
可选的,所述步骤100,包括:
步骤110,根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
本发明根据所述查询信息,匹配从预设方法中确定所述查询信息所对应的语义槽候选集,若匹配,将匹配结果列入初筛集合,并记录匹配词条在序列中的位置、标准化取值、可能语义槽名称。
具体地,本发明加载基于模型训练得到的语义槽、基于预设规则确定的语义槽以及基于用户输入确定的语义槽,并根据所述查询信息和所述预设方法,匹配基于模型训练得到的语义槽、基于预设规则确定的语义槽以及基于用户输入确定的语义槽中的至少一个,获得所述查询信息所对应的语义槽候选集。
需要说明的是,基于模型训练得到的语义槽,采用离线的方式训练模型,并将模型预置到系统中,可定期根据业务需要更新或扩展模型。模型以文件等形式在程序启动是载入内存系统。
基于预设规则确定的语义槽,可由系统预置或用户配置,其主要用于解决无法穷举的语义槽类型。例如:时间、电话号码、网址、电子邮箱等等。规则的形式包括但不限于正则表达式;基于预设规则确定的语义槽加入内存中的规则队列。
基于用户输入确定的语义槽,支持用户导入自定义词语,为用户自定义数据建立前缀树,以便快速查询和即时修改,用户自定义数据由用户根据业务需要自行上传或在平台编辑,可随时修改,即刻生效。
本发明将语义槽区分为通用的基于模型训练得到的语义槽和基于预设规则确定的语义槽,以及个性化的基于用户输入确定的语义槽,且基于用户输入确定的语义槽,为用户开放词典词条的编辑和上传接口,支持用户导入自定义词语,并动态加载自定义词语,及时响应用户配置,在定制领域中使用查找和匹配度评分的方式计算填充效果。
该实施例中,所述语义槽候选集指的是用户输入中可能为语义槽值的部分,及其对应的语义槽。比如:所述查询信息为“今天下午去北京大学”中,“今天”、“下午”可能是时间或时间段这两个语义槽的值,“北京”可能是目的地、出发地,“北京大学”可能是大学名称。其中,时间、时间段可能是基于模型训练得到的语义槽或者基于预设规则确定的语义槽来提取的,“北京大学”的大学名称基于用户输入确定的语义槽中检索到的。通过步骤110,可以从预设方法中确定所述查询信息所对应的语义槽候选集。
这里,所述步骤110采用不同的方式处理:1)对于通用语义词典,采用基于模型训练得到的语义槽和基于预设规则确定的语义槽相结合的匹配方式,使系统具有更高的普适性;2)对于个性化的自定义词典,采用规则和前缀树查询的方式,支持自定义词典的动态扩展,减少了不断重新训练数据的资源消耗,也在一定程度上可以解决数据量不足的问题。
可选的,所述步骤110,包括:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
需要说明的是,根据语义槽与语义槽之间是否独立,后续的槽是否依赖前面槽的结果,可以将槽之间的关系分为平级槽和依赖槽,所述平级槽指的是语义槽与语义槽之间没有依赖,例如打车中的三槽,出发地点语义槽,目的地点语义槽,出发时间语义槽,三个语义槽位没有直接依赖的关系;所述依赖槽指的是后续的语义槽是否依赖前面语义槽的结果,例如手机号码语义槽,不同国家手机号码格式不同(语义槽的属性不同),所以国家语义槽会影响选择哪个手机号码语义槽。
该实施例中,根据所述查询信息,确定所述查询信息的词槽,获取当前用户状态,根据所述词槽以及当前用户状态,确定所述词槽是否需要依赖于其他语义槽,如果当前用户状态中未获得某些语义槽的依赖语义槽,则这些依赖槽不列入候选集。如果当前用户状态为正在收集槽位,则仅处理当前意图所需语义槽。这里的用户状态包括但不限于:第一次输入的初始状态;输入相关内容的状态,如第一次输入“订票”的查询信息,后续询问“价格”的查询信息;同一聊天时的非相关内容的状态,如第一次输入“订票”的查询信息,后续询问“天气”的查询信息等多种状态。
例如:所述查询信息为“去西安机票多少钱”时,这句话中的语义槽应该只有“西安”,其可能对应的语义槽是“出发地”、“目的地”,“多少钱”即费用,作为用户想要获取的信息,并不是从用户输入中获取的,可能是第三方接口或系统中的数据库等,不是语义槽提取的对象,而对于“换乘站1-n”这一语义槽,不能从当前用户输入中直接获得,需要在其他交互中获得。
为了解决语义槽有多种切分的时候结果的选择问题。比如,所述查询信息为:“帮我买张昆明天津的机票。”时,此时需要把“昆明”和“天津”两个语义槽正确切分出来,而不是切分成表示时间的“明天”,为了能够正确的切分,本发明采用N种预设规则进行切分所述查询信息。
可选的,所述N种预设规则包括按照词槽长度属性切分的第一规则,所述步骤200,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
需要说明的是,由于所述语义槽候选集包括至少一个语义槽对应的词槽,根据所述语义槽候选集,可以确定所述查询信息对应的多个词槽。例如:所述查询信息为“今天下午去北京大学”,所述语义槽候选集包括基于模型训练得到的语义槽,如目的地、出发地等;基于预设规则确定的语义槽,如时间或时间段等;基于用户输入确定的语义槽时,可以根据目的地、出发地,确定所述查询信息的词槽为“北京”;根据时间或时间段,确定所述查询信息的词槽为“今天”、“下午”;根据用户输入确定的语义槽,确定所述查询信息的词槽为“北京大学”等。
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
该实施例中,通过确定的多个词槽{S1,S2,…,Sn}在序列中的起始位置Si start和结束位置Si end,建立有向无环图(DAG),有向无环图中的点是词槽每个字符下标idx,边则是连接词槽i的起始位置Si start和结束位置Si end连线li;动态规划查找最优路径Route,定义任意可被标记为某个词槽的部分的长度为di,di为该部分的字符数,对任意路径Ri,其词槽有m个,则路径Ri的长度D=Σdi,最优路径即为所有路径中长度D取值最大的路径;其中最优的定义为语义槽字符总长度最长,根据所述每条路径连通的长度和所述第一规则,遍历已经找到的最优路径Route,从而确定基于词槽长度最长的第一切分结果。
可选的,所述N种预设规则包括按照词槽数量属性切分的第二规则,所述步骤200,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
需要说明的是,由于所述语义槽候选集包括至少一个语义槽对应的词槽,根据所述语义槽候选集,可以确定所述查询信息对应的多个词槽。例如:所述查询信息为“今天下午去北京大学”,所述语义槽候选集包括基于模型训练得到的语义槽,如目的地、出发地等;基于预设规则确定的语义槽,如时间或时间段等;基于用户输入确定的语义槽时,可以根据目的地、出发地,确定所述查询信息的词槽为“北京”;根据时间或时间段,确定所述查询信息的词槽为“今天”、“下午”;根据用户输入确定的语义槽,确定所述查询信息的词槽为“北京大学”等。
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
该实施例中,通过确定的多个词槽{S1,S2,…,Sn}在序列中的起始位置Si start和结束位置Si end,建立有向无环图(DAG),有向无环图中的点是词槽每个字符下标idx,边则是连接词槽i的起始位置Si start和结束位置Si end连线li;动态规划查找最优路径Route,定义任意可被标记为某个词槽的部分的长度为d,且d=1,对任意路径Ri,其词槽有m个,则路径Ri的长度D为m*d=m;最优路径即为所有路径中长度D取值最大的路径,其中最优的定义为可匹配语义槽数最多,根据所述每条路径连通的长度和所述第二规则,遍历已经找到的最优路径Route,从而确定基于词槽长度最长的第二切分结果。
下面通过具体例子解释上述的第一切分结果和第二切分结果,例如所述查询信息为“我想听北京的金山上”时,可以确定多个词槽,如词槽长度为1的字,如“听”,词槽长度为2的词块,如“北京”、“金山”等,通过多个词槽根据有向无环图和第一原则,即长度最长的原则,会将“北京的金山上”切分出来;按照根据有向无环图和第二原则,即词槽最多的原则,则会将“北京”和“金山”两个表示地点的词槽切分出来。本发明修改了分词的切分方法,将分词过程结合所述语义槽候选集,防止语义槽被错误的分割,并从匹配词语数量和匹配词语长度两个角度对切分结果分别进行筛选,提高了准确性。
可选的,所述步骤300,包括:
步骤310,针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
这里,指针对不同的问句提供对应的意图及分类,也就是预先收集不同的问句,并提前设置好其意图及分类,这样可以形成一个所述意图知识库,所述意图知识库内包含切分结果对应的至少一种意图。例如:所述切分结果为时间、出发地的组合切分结果,在所述意图知识库中确定可能是意图“订机票”需要的槽位,也可能是意图“租车”需要的槽位,这种组合可以对应的意图可以有多个。
步骤320,按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
例如:获取的词槽为“北京”时,对应的相同类型的语义槽可能为目的地、出发地、城市等语义槽,不可能会匹配时间、日期等语义槽,这里,本发明通过对相同类型的语义槽进行意图排序,例如相同类型的语义槽包括目的地和出发地时,针对目的地的意图A-C进行排序,针对出发地的意图D和F进行排序,最终根据相同类型的语义槽,排序输出意图A-F。
步骤330,按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
该实施例中,按照不同类型的所述语义槽排序输出的意图进行组合,例:将第一类型的语义槽排序输出的意图a1、a2和a3,与第一类型的语义槽排序输出的意图b1和b2进行组合,从而确定切分结果对应的6种语义槽填充结果,如果a1的优先级最高,且b1的优先级也最高,那么组合a1-b1的语义槽填充结果为优先级最高的,根据所述语义槽填充结果,可以确定可能性较高的多个意图。
可选的,所述步骤320,包括:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
本发明通过对每种意图进行打分排序,使其排序结果更加明了,更加直观的了解意图的优先级,提高了数据处理的准确性。
可选的,所述步骤310,包括:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
该实施例中,根据所述查询信息,变成可替换为词槽的长度为q的向量:Input={word1,word2,…,wordq},则所述查询信息的词槽与语义槽的对应关系为第一对应矩阵S:S=(sij),其中1<=i<=q,1<=j<=sum(slot),其中,sum(slot)为可选的语义槽总数,矩阵S的每个元素sij可对应多个意图,因此查询到的结果为词槽结果和意图对应的第二关系矩阵K:K=(kij)其中1<=i<=q*sum(slot),1<=j<=sum(intent),其中,sum(intent)为可选意图总数;遍历第二关系矩阵K中的所有意图,并记录每个意图所需的语义槽总数,统计该意图中的语义槽在用户输入中出现的次数。
需要说明的是,每个意图中可以有若干个语义槽,比如订机票意图有出发地、目的地、时间、数量,查天气意图有地点和时间,如果经过初步筛选排除了查天气以外的其他意图,那语义槽填充只需要对查天气意图中的语义槽进行判断,而无需判断其他语义槽。
举例说明,用户输入的查询信息“我明天想去北京”,初步判断后得知,“明天”可以是时间、日期,“北京”可以是出发地、目的地、城市;S表示的是“明天”、“北京”与时间,日期,出发地,目的地,城市这几种语义槽可能组合的对应关系,比如,组合1:时间、出发地,组合2:时间、目的地等,这里,组合1:时间、出发地,可能是意图“订机票”需要的槽位,也可能是意图“租车”需要的槽位,这种组合可以对应的意图可以有多个。
具体地,所述步骤300中的从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果,可以理解为:第一切分结果输出了X1个填充结果,第二切分结果输出了X2个填充结果,第N切分结果为Xn个填充结果,最终将(X1+X2+…+Xn)个填充结果,输入上述预设公式(预设公式包括:Score=input[slot]/2+input[slot]/intent[slot]),从而得到N种切分结果所对应的全部语义槽填充结果的排分情况,并根据需求输出满足语义槽填充的预设值种可能结果,所述预设值表示可能性最高的意图个数,这个意图可以是在当前用户状态使用的意图,也可以表示为后续用户状态使用的意图,本发明并不限制。
如图2所示,根据图2所示的简易流程图可以看出,在用户输入的查询信息后,根据语义槽初步查询,从预设方法中确定所述查询信息所对应的语义槽候选集,其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法;并根据语义槽候选集,按照N种预设规则对查询信息进行切分,以完成语义槽切分的目的,得到N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;根据N种切分结果进行语义槽填充,需要用到语义槽候选集,以及用户状态进行语义槽组合,从而确定每种切分结果对应的语义槽填充结果。这里,所述用户状态包括但不限于:第一次输入的初始状态;输入相关内容的状态,如第一次输入“订票”的查询信息,后续询问“价格”的查询信息;同一聊天时的非相关内容的状态,如第一次输入“订票”的查询信息,后续询问“天气”的查询信息等多种状态。
综上所述,本发明针对语义槽填充依赖于分词结果的问题,修改了分词的切分方法,将分词过程结合槽填充的检索结果,防止语义槽被错误的分割,并从匹配词语数量和匹配词语长度两个角度对切分结果分别进行了筛选;针对多轮对话的槽填充时,针对多轮对话的槽填充时,未考虑输入语句的整体语义对语义槽填充的影响的问题,将语义槽对应的词典区分为通用的系统词典和个性化的自定义词典,自定义词典则采用结合意图的搜索方式来进行语义槽的填充,将会对语义槽填充进行分步处理,初步填充后会根据用户的问题进行填充效果评分,结合意图和上下文进行语义槽填充;针对模型不能对用户在特定领域的个性化语义槽填充工作进行快速响应,重新训练成本较高的问题,为用户开放词典词条的编辑和上传接口,支持用户导入自定义词语,并动态加载自定义词语,及时响应用户配置,在定制领域中使用查找和匹配度评分的方式计算填充效果。
如图3所示,本发明实施例还提供一种电子设备300,包括处理器310和收发机320,其中:
所述处理器310用于,根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
所述处理器310还用于,根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
所述处理器310还用于,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
本发明的实施例,能够实现将分词过程与语义槽候选集结合,并从N种角度对切分结果分别进行筛选,提高了语义槽填充的准确性。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选的,所述的电子设备300,其中,所述处理器310具体用于:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
需要说明的是,本发明实施例提供的上述电子设备,能够实现上述信息处理方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
如图4所示,本发明的实施例还提供一种信息处理装置,包括:
第一处理模块10,用于根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
第二处理模块20,用于根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
第三处理模块30,用于根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
可选的,所述信息处理装置中,所述第一处理模块10包括:
第一处理单元,用于根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选的,所述信息处理装置中,所述第一处理单元包括:
第一确定子单元,用于根据所述查询信息,确定所述查询信息的词槽;
第二确定子单元,用于根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
第三确定子单元,用于根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选的,所述信息处理装置中,所述第二处理模块20包括:
第一确定单元,用于根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
第二确定单元,用于根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
第三确定单元,用于根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选的,所述信息处理装置中,所述第二处理模块20还包括:
第四确定单元,用于根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
第五确定单元,用于根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
第六确定单元,用于根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选的,所述信息处理装置中,所述第三处理模块30包括:
第二处理单元,用于针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
第三处理单元,用于按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
第四处理单元,用于按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选的,所述信息处理装置中,所述第三处理单元包括:
第一处理子单元,用于针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选的,所述信息处理装置中,所述第二处理单元包括:
第二处理子单元,用于根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
第三处理子单元,用于根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
第四处理子单元,用于根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
需要说明的是,本发明实施例提供的上述装置,能够实现上述信息处理方法实施例所实现的所有方法步骤,且能够达到相同的技术效果,在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本发明实施例还提供一种电子设备,如图5所示,包括:处理器501;以及通过总线接口502与所述处理器501相连接的存储器503,所述存储器503用于存储所述处理器501在执行操作时所使用的程序和数据,处理器501调用并执行所述存储器503中所存储的程序和数据。
其中,收发机504与总线接口502连接,用于在处理器501的控制下接收和发送数据,具体地,处理器501,执行下列过程:
根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
可选地,所述处理器501具体用于:
根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
可选地,所述处理器501具体用于:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
可选地,所述处理器501具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
可选地,所述处理器501具体用于:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
可选地,所述处理器501具体用于:
针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
可选地,所述处理器501具体用于:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
可选地,所述处理器501具体用于:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
其中,在图5中,总线架构可以包括任意数量的互联的总线和桥,具体由处理器501代表的一个或多个处理器和存储器503代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起,这些都是本领域所公知的,因此,本文不再对其进行进一步描述。总线接口提供接口。收发机504可以是多个元件,即包括发送机和接收机,提供用于在传输介质上与各种其他装置通信的单元。处理器501负责管理总线架构和通常的处理,存储器503可以存储处理器501在执行操作时所使用的数据。
本领域技术人员可以理解,实现上述实施例的全部或者部分步骤可以通过硬件来完成,也可以通过程序来指示相关的硬件来完成,所述程序包括执行上述方法的部分或者全部步骤的指令;且该程序可以存储于一可读存储介质中,存储介质可以是任何形式的存储介质。
本发明实施例还提供一种可读存储介质,其中,所述可读存储介质上存储有程序,所述程序被处理器执行时实现如上任一项所述的信息处理方法。
在本申请所提供的几个实施例中,应该理解到,所揭露方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理包括,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述收发方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以作出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (12)
1.一种信息处理方法,其特征在于,包括:
根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
2.根据权利要求1所述的方法,其特征在于,所述根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集,包括:
根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集;
其中,所述预设方法包括:将所述查询信息匹配基于模型训练得到的语义槽、将所述查询信息匹配基于预设规则确定的语义槽和将所述查询信息匹配基于用户输入确定的语义槽中的至少一种方法。
3.根据权利要求2所述的方法,其特征在于,所述根据所述查询信息,从预设方法中确定所述查询信息所对应的语义槽候选集,包括:
根据所述查询信息,确定所述查询信息的词槽;
根据所述词槽,确定所述词槽所对应的平级槽和/或依赖槽;
根据所述平级槽和/或所述依赖槽,确定所述平级槽和/或所述依赖槽所对应的所述语义槽候选集。
4.根据权利要求1所述的方法,其特征在于,所述N种预设规则包括按照词槽长度属性切分的第一规则,所述根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第一规则,确定基于词槽长度最长的第一切分结果。
5.根据权利要求1所述的方法,其特征在于,所述N种预设规则包括按照词槽数量属性切分的第二规则,所述根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果,包括:
根据所述语义槽候选集,确定所述查询信息对应的多个词槽;
根据所述多个词槽,建立有向无环图,并根据所述有向无环图,确定每条路径连通的长度;其中,所述有向无环图的元素为词槽;
根据所述每条路径连通的长度和所述第二规则,确定基于词槽数量最多的第二切分结果。
6.根据权利要求1所述的方法,其特征在于,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,包括:
针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图;
按照相同类型的语义槽,对所述语义槽对应的意图进行排序;
按照不同类型的所述语义槽排序输出的意图进行组合,确定每种切分结果对应的语义槽填充结果。
7.根据权利要求6所述的方法,其特征在于,所述按照相同类型的语义槽,对所述语义槽对应的意图进行排序,包括:
针对所述语义槽对应的每种意图,按照预设公式对相同类型的所述语义槽进行评分,并根据意图评分结果对所述语义槽对应的意图进行排序;
其中,所述预设公式包括:
Score=input[slot]/2+input[slot]/intent[slot];
其中,intent[slot]为第一意图的所需语义槽的总数,input[slot]为所述查询信息中出现所述第一意图的所需语义槽的次数,Score为所述第一意图的意图评分结果。
8.根据权利要求6所述的方法,其特征在于,所述针对每种切分结果,根据意图知识库确定切分结果的每个语义槽对应的意图,包括:
根据所述查询信息,构建每个所述词槽与对应的至少一个语义槽的第一对应矩阵;
根据所述第一对应矩阵中的每个元素与所述意图知识库,构建所述词槽与所述意图的第二关系矩阵;所述意图知识库包括语义槽与至少一个意图的对应关系;
根据所述第二关系矩阵,确定切分结果的每个语义槽对应的意图。
9.一种电子设备,包括处理器和收发机,其特征在于,
所述处理器用于,根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
所述处理器还用于,根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
所述处理器还用于,根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
10.一种信息处理装置,其特征在于,包括:
第一处理模块,用于根据用户输入的查询信息,确定所述查询信息所对应的语义槽候选集;其中,所述查询信息对应多个词槽,所述语义槽候选集包括每个词槽对应的至少一个语义槽;
第二处理模块,用于根据所述语义槽候选集,按照N种预设规则对所述查询信息进行切分,得到所述N种预设规则所对应的切分结果;其中,每一种预设规则对应一种切分结果;
第三处理模块,用于根据所述N种切分结果进行语义槽填充,确定每种切分结果对应的语义槽填充结果,并从所述N种切分结果所对应的语义槽填充结果中确定目标语义槽填充结果。
11.一种电子设备,包括:收发器、处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令;其特征在于,所述处理器执行所述程序或指令时实现如权利要求1-8任一项所述的信息处理方法。
12.一种可读存储介质,其上存储有程序或指令,其特征在于,所述程序或指令被处理器执行时实现如权利要求1-8任一项所述的信息处理方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210100335.5A CN116561248A (zh) | 2022-01-27 | 2022-01-27 | 一种信息处理方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210100335.5A CN116561248A (zh) | 2022-01-27 | 2022-01-27 | 一种信息处理方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116561248A true CN116561248A (zh) | 2023-08-08 |
Family
ID=87484874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210100335.5A Pending CN116561248A (zh) | 2022-01-27 | 2022-01-27 | 一种信息处理方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116561248A (zh) |
-
2022
- 2022-01-27 CN CN202210100335.5A patent/CN116561248A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109657054B (zh) | 摘要生成方法、装置、服务器及存储介质 | |
CN114547329A (zh) | 建立预训练语言模型的方法、语义解析方法和装置 | |
CN110704641A (zh) | 一种万级意图分类方法、装置、存储介质及电子设备 | |
CN106649825B (zh) | 语音交互系统及其创建方法和装置 | |
CN111708869B (zh) | 人机对话的处理方法及装置 | |
CN110032623B (zh) | 用户问句与知识点标题的匹配方法和装置 | |
CN112800170A (zh) | 问题的匹配方法及装置、问题的回复方法及装置 | |
CN112579733B (zh) | 规则匹配方法、规则匹配装置、存储介质及电子设备 | |
US11636272B2 (en) | Hybrid natural language understanding | |
CN116127046A (zh) | 生成式大语言模型训练方法、基于模型的人机语音交互方法 | |
CN113326702B (zh) | 语义识别方法、装置、电子设备及存储介质 | |
CN114757176A (zh) | 一种获取目标意图识别模型的方法以及意图识别方法 | |
CN113590778A (zh) | 智能客服意图理解方法、装置、设备及存储介质 | |
CN117216212A (zh) | 对话处理方法、对话模型训练方法、装置、设备及介质 | |
CN110795547A (zh) | 文本识别方法和相关产品 | |
CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 | |
CN115617974B (zh) | 一种对话处理方法、装置、设备及存储介质 | |
CN116561248A (zh) | 一种信息处理方法、装置及电子设备 | |
CN111091011B (zh) | 领域预测方法、领域预测装置及电子设备 | |
CN115098665A (zh) | 一种对话数据扩展方法、装置及设备 | |
CN114970531A (zh) | 基于即时通信消息的意图识别与命名实体提取方法及装置 | |
CN114444609A (zh) | 数据处理方法、装置、电子设备及计算机可读存储介质 | |
CN117725185B (zh) | 智能对话生成方法及系统 | |
CN116737913B (zh) | 回复文本生成方法、装置、设备和可读存储介质 | |
CN117453895B (zh) | 一种智能客服应答方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |