CN117217238B - 一种基于大型语言模型的智能交互系统及方法 - Google Patents
一种基于大型语言模型的智能交互系统及方法 Download PDFInfo
- Publication number
- CN117217238B CN117217238B CN202311483026.1A CN202311483026A CN117217238B CN 117217238 B CN117217238 B CN 117217238B CN 202311483026 A CN202311483026 A CN 202311483026A CN 117217238 B CN117217238 B CN 117217238B
- Authority
- CN
- China
- Prior art keywords
- task
- character string
- language model
- user
- user input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 title claims description 42
- 238000012549 training Methods 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 15
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000002452 interceptive effect Effects 0.000 claims abstract 5
- 230000009471 action Effects 0.000 claims description 41
- 230000010354 integration Effects 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 230000003872 anastomosis Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000010195 expression analysis Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于大型语言模型的智能交互系统,包括:将用户输入转化为系统能够理解的结构化数据的自然语言理解模块;接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应的执行模块;根据该用户需求训练好的大型语言模型;根据响应并将其转化为自然语言文本的自然语言生成模块;接收自然语言文本并展示给用户的用户界面模块。本方案使用多通道人机交互技术,对用户的各种形式输入分别进行分析后整合,使得本系统能够更适应人在聊天时的输入习惯,能够更好地和用户进行智能交互聊天。
Description
技术领域
本发明属于自然语言处理领域,涉及一种基于大型语言模型的智能交互方法及系统。
背景技术
ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具,使用了Transformer神经网络架构,基于互联网可用数据训练的文本生成深度学习模型,形成大型语言模型。它用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI。ChatGPT进一步推动了AI人工智能的发展。ChatGPT可以根据用户输入文字的含义,做出对应的行为,例如面向问题的搜索、阅读理解、语义推断、机器翻译、文章生成和自动问答等等。具体地例如,为用户在网络上查找相应的内容;生成一个用户所需标签的文章等。现有的ChatGPT或类ChatGPT软件,都是需要用户发送给ChatGPT软件或类ChatGPT软件的文字偏向于指令,ChatGPT软件或类ChatGPT软件才能更好地识别。
现有的即时通讯软件,中国境内的如QQ、微信等,其主要功能均以真人用户与真人用户之间的即时文字、语音、图片、gif动图、视频等交流为主。用户在使用这些即时通讯软件时,不仅会发送文字,还会发送图片或gif图片形成的表情包,或者发送图片和视频,甚至发送语音,用户发送的内容形式十分复杂,并且,用户在正常使用ChatGPT软件或类ChatGPT软件时,由于知道该类软件的识别习惯,会不自主地发送适用于该类软件的识别习惯的内容,而用户在使用即时通讯软件时,心态会比较放松,因此可能发送闲聊文字内容、仅情绪表达的文字内容、表达情绪的表情包、开玩笑的文字或表情包等内容,对于人工智能技术驱动的自然语言处理工具来说,识别难度大大提高。
人机交互技术是研究计算机的使用者人、计算机及它们相互影响的技术,人机交互的目的就是让人和计算机相互理解,目前总的趋势也是从以前的以计算机为中心向以人为中心的方向发展,简单来说就是要让计算机来适应人的操作习惯和输入习惯。
目前,部分即时通讯软件用户,希望有AI人工智能的聊天机器人,能够和真人用户一样同用户交流。但是目前的聊天机器人相对比较呆板,而ChatGPT软件或类ChatGPT软件之类的人工智能技术驱动的自然语言处理工具,又很难理解用户在即时通讯软件中的一些内容,因此目前亟需一个更智能地基于大型语言模型的能够和用户像真人用户一样聊天的智能交互系统。
发明内容
本发明的目的在于:提供了一种基于大型语言模型的智能交互系统及方法,接入ChatGPT软件或类ChatGPT软件等大型语言模型,并使用多通道人机交互技术,对用户的各种形式输入分别进行分析后整合,使得本系统能够和用户进行智能交互,解决了上述问题。
本发明采用的技术方案如下:
一种基于大型语言模型的智能交互系统,包括:
将用户输入转化为系统能够理解的结构化数据的自然语言理解模块;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应的执行模块;
根据该用户需求训练好的大型语言模型;
根据响应并将其转化为自然语言文本的自然语言生成模块;
接收自然语言文本并展示给用户的用户界面模块。
为了更好地实现本方案,进一步地,所述自然语言理解模块包括:
将一定时间内的每次用户输入分别进行抽象处理,简化成任务字符串并加入到任务队列中的整合模块;
在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送到大型语言模型的解释模块。
为了更好地实现本方案,进一步地,所述整合模块针对每次用户输入分别进行抽象处理,包括:
分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;
将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中。
这里说的分别识别,具体包括可以同时进行的以下途径:
使用语言识别引擎对用户输入中的用户文字输入进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用语音识别引擎对用户输入中的用户语音输入进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用文字识别引擎对用户输入中的用户图像输入中的文字进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用图像识别引擎对用户输入中的用户图像输入进行识别,并将识别结果抽象成任务字符串的形式提交到任务列表。我们这里将用户输入中的图像输入分出文字和图像两方面分别识别,是因为目前在聊天中很多人会习惯使用表情包,这些表情包中的文字才是该图像要表达的重点,另外也有一些图像中的文字比较重要,亦或图像和文字要表达的含义的关联性不大,故而我们需要将用户图像输入中的文字单独摘出来识别。
另外,我们使用ALM增强语言模型对所有类型的文字进行识别,ALM增强语言模型有较强的归纳语言模型的推理能力,擅长将复杂任务分解为更简单的子任务,会将用户输入的文字部分分解抽象成简单的字符串的形式,即前文提及的任务字符串。
为了更好地实现本方案,进一步地,所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
使用类变量modal记录每个任务字符串的来源;
使用类变量time记录每个任务字符串的时间;
使用类变量type记录每个任务字符串的分类。
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中。
为了更好地实现本方案,进一步地,判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串。
为了更好地实现本方案,进一步地,判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽。
Smith Waterman算法起源于生物信息学。在生物信息学中,生物学家用于序列的片段测定、拼接,基因的表达式分析,RNA和蛋白质的结构功能预测,和物种亲缘树的构建。对于两个序列S和T,先进行相似性比较。在Smith Waterman算法中,若序列S和序列T相同,则必须满足以下两个条件:
(1)序列中的字符长度相同:|S|=|T|;
(2)序列中的每个字符都相同:S(i)=T(i) (0 < i <|S|)。
在比较每个字符是否相同时,设x和y是两个字符,那么记分函数γ(x,y)表示x和y在进行比较时的分值,需要说明的是,当x或y是空字符时,使用空字符来表示。
对于序列S和T的相似性比较A的得分可以用序列S’和T’来表示,其中:
(1)字符长度|S'|=|T'|;
(2)将序列S’和T’中的空字符去除后,得到的序列分别和序列S、T相同。
相似性比较A就是将序列S、T用空字符扩充到字符长度相同后,再对字符进行一一对比得到一个比分
其中t=|S'|=|T'|,S'(i)、T'(i)分别表示序列S’、T’中的第i个字符。
Smith Waterman算法先用迭代方法计算出两个序列S和T的所有可能的相似性比较的分值,然后使用动态规划的方法回溯寻找最优近似性比较。
为了更好地实现本方案,进一步地,确定将未产生新任务的任务字符串添加到哪个已产生任务的任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;简称完整原则。
根据该任务字符串和欲添加任务的任务动作的吻合程度;简称吻合原则。
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
这里的综合判断,是将完整原则和吻合原则“串并联”起来的。若该项任务字符串a属于任务对象,任务A缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,并且和任务A的任务动作吻合程度高,那么就将任务字符串a添加到任务A的任务对象中;
若该项任务字符串a属于任务对象,任务A缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,但是和任务A的任务动作吻合程度低,那么就不能将任务字符串a添加到任务A的任务对象中;
若该项任务字符串a属于任务对象,任务A缺失任务对象,任务B不缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,但是和任务A的任务动作吻合程度低且和任务B的任务对象吻合程度高,那么就不能将任务字符串a添加到任务A的任务对象中,而应该将任务字符串a添加到任务B的任务对象中。
为了更好地实现本方案,进一步地,所述大型语言模型通过以下方式获得:
提供数个非常用知识库供用户选择,并由用户选择的非常用知识库结合常用知识库形成结合语言训练模型训练形成预训练模型;
在每个用户与智能交互系统进行交互后提供评分由用户对该次交互进行打分,根据每次打分结果优化预训练模型,形成针对该用户特有的大型语言模型。
根据上述方案所述的系统形成的一种基于大型语言模型的智能交互方法,包括:
将用户输入转化为系统能够理解的结构化数据;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应;
根据该用户需求训练大型语言模型;
将响应其转化为自然语言文本并展示给用户。
为了更好地实现本方法,进一步地,还包括:
在一定时间内,分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;
将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中;
在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送给大型语言模型;
其中:
所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
其中,判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串;
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中;
其中,判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽;
其中,确定将任务字符串添加到哪个任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;
根据该任务字符串和欲添加任务的任务动作的吻合程度;
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
综上所述,由于采用了上述技术方案,本发明的有益效果是:
本发明所述的一种基于大型语言模型的智能交互系统,内设有大型语言模型,并使用多通道人机交互技术,对用户的各种形式输入分别进行分析后整合,使得本系统能够更适应人在聊天时的输入习惯,能够更好地和用户进行智能交互聊天。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图,其中:
图1是一种基于大型语言模型的智能交互系统的系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
下面结合实施例对本发明的特征和性能作进一步的详细描述。
实施例一
一种基于大型语言模型的智能交互系统,包括:
将用户输入转化为系统能够理解的结构化数据的自然语言理解模块;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应的执行模块;
根据该用户需求训练好的大型语言模型;
根据响应并将其转化为自然语言文本的自然语言生成模块;
接收自然语言文本并展示给用户的用户界面模块。
实施例二
本实施例在实施例一的基础上,所述自然语言理解模块包括:
将一定时间内的每次用户输入分别进行抽象处理,简化成任务字符串并加入到任务队列中的整合模块;
在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送到大型语言模型的解释模块。
所述整合模块针对每次用户输入分别进行抽象处理,包括:
分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;
将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中。
这里说的分别识别,具体包括可以同时进行的以下途径:
使用语言识别引擎对用户输入中的用户文字输入进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用语音识别引擎对用户输入中的用户语音输入进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用文字识别引擎对用户输入中的用户图像输入中的文字进行识别,并使用ALM增强语言模型将识别结果抽象成任务字符串的形式提交到任务列表;
使用图像识别引擎对用户输入中的用户图像输入进行识别,并将识别结果抽象成任务字符串的形式提交到任务列表。我们这里将用户输入中的图像输入分出文字和图像两方面分别识别,是因为目前在聊天中很多人会习惯使用表情包,这些表情包中的文字才是该图像要表达的重点,另外也有一些图像中的文字比较重要,亦或图像和文字要表达的含义的关联性不大,故而我们需要将用户图像输入中的文字单独摘出来识别。
另外,我们使用ALM增强语言模型对所有类型的文字进行识别,ALM增强语言模型有较强的归纳语言模型的推理能力,擅长将复杂任务分解为更简单的子任务,会将用户输入的文字部分分解抽象成简单的字符串的形式,即前文提及的任务字符串。
所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
使用类变量modal记录每个任务字符串的来源;
使用类变量time记录每个任务字符串的时间;
使用类变量type记录每个任务字符串的分类;
在具体实现的时候我们把用户输入抽象成的字符串变成任务动作时,分为几个大类的意义:
1、表示询问意义的事件;
2、表示创建意义的事件;
3、表示沟通意义的事件;
4、表示操作意义的事件;
5、表示见解意义的事件。
于是用户输入就变成了上述五个意义的抽象表达的字符串,任务动作类的用户输入就变成了集合ξ={‘1’,‘2’,‘3’,‘4’,‘5’}中的字符组成的字符串了。
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中。
判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串。
判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽。
Smith Waterman算法起源于生物信息学。在生物信息学中,生物学家用于序列的片段测定、拼接,基因的表达式分析,RNA和蛋白质的结构功能预测,和物种亲缘树的构建。对于两个序列S和T,先进行相似性比较。在Smith Waterman算法中,若序列S和序列T相同,则必须满足以下两个条件:
(1)序列中的字符长度相同:|S|=|T|;
(2)序列中的每个字符都相同:S(i)=T(i) (0 < i <|S|)。
在比较每个字符是否相同时,设x和y是两个字符,那么记分函数γ(x,y)表示x和y在进行比较时的分值,需要说明的是,当x或y是空字符时,使用空字符来表示。
对于序列S和T的相似性比较A的得分可以用序列S’和T’来表示,其中:
(1)字符长度|S'|=|T'|;
(2)将序列S’和T’中的空字符去除后,得到的序列分别和序列S、T相同。
相似性比较A就是将序列S、T用空字符扩充到字符长度相同后,再对字符进行一一对比得到一个比分
其中t=|S'|=|T'|,S'(i)、T'(i)分别表示序列S’、T’中的第i个字符。
Smith Waterman算法先用迭代方法计算出两个序列S和T的所有可能的相似性比较的分值,然后使用动态规划的方法回溯寻找最优近似性比较。
对于两个序列S和T,S(i)表示序列S中的第i个字符,T(j) 表示序列T中的第j个字符,其中0 < i <|S|,0 < j <|T|,S(i)和T(j)均属于字符集Ω,对Ω中的任何元素和空符号,他们两两之间都有一个记分值γ(x,y),用f(i,j)表示序列S的前i个字符S(1)S(2)…S(i-1)S(i)和序列T的前j个字符T(1)T(2)…T(j-1)T(j)之间的最优相似性比较的得分,则有下列公式
其中-w是公式构成的矩阵在该方向上的移动过程得分的惩罚值,w一般设置一个固定的正整数,一般来说,我们把w设为1或2。公式中i和j从0开始,f(0,0)=0。则通过上述公式,可以得到一个矩阵,将矩阵列表如下:
表1:最优相似性比较得分矩阵表
在得到这个矩阵后,就可以根据其中的得分高低来找到两个字符串之间的最佳对应了,在这个矩阵中,找两个字符串的最佳对应就变成了从f(i,j)这个点开始找到一条到f(0,0)的路径。
为了更好地实现本方案,进一步地,确定将未产生新任务的任务字符串添加到哪个已产生任务的任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;简称完整原则。
根据该任务字符串和欲添加任务的任务动作的吻合程度;简称吻合原则。
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
这里的综合判断,是将完整原则和吻合原则“串并联”起来的。若该项任务字符串a属于任务对象,任务A缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,并且和任务A的任务动作吻合程度高,那么就将任务字符串a添加到任务A的任务对象中;
若该项任务字符串a属于任务对象,任务A缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,但是和任务A的任务动作吻合程度低,那么就不能将任务字符串a添加到任务A的任务对象中;
若该项任务字符串a属于任务对象,任务A缺失任务对象,任务B不缺失任务对象,任务字符串a能够使得原本缺失任务对象的任务A的任务对象变的完整,但是和任务A的任务动作吻合程度低且和任务B的任务对象吻合程度高,那么就不能将任务字符串a添加到任务A的任务对象中,而应该将任务字符串a添加到任务B的任务对象中;
我们可以预设完整原则及吻合原则的阈值及他们两个原则在综合判断中的权重,并且可以进一步设置完整原则中时间相近及是否缺失该任务槽这两项的权重。我们通过实验,选择采用正态分布函数判断该任务字符串产生的时间中相近关系:
其中,x为未产生新任务的任务字符串a与产生任务字符串a欲添加进的任务A的任务字符串a1的时间差,取毫秒单位,故x≥0,其中α和δ为常数,α根据不同网络延迟及识别引擎的反应时间不同故而选择不同,若我们将时间相近关系f(x)的范围设为0~1,那么α常取100左右,δ常取200左右。需要注意的是,若未产生新任务的任务字符串a的类变量modal即来源是语音或图像,那么α的取值要更大。
实施例三
本实施例是实施例二的进一步补充,所述大型语言模型通过以下方式获得:
提供数个非常用知识库供用户选择,并由用户选择的非常用知识库结合常用知识库形成结合语言训练模型训练形成预训练模型;
在每个用户与智能交互系统进行交互后提供评分由用户对该次交互进行打分,根据每次打分结果优化预训练模型,形成针对该用户特有的大型语言模型。
这里提供的非常用知识库是日常中并非大部分人都使用的例如篮球知识、书法知识等知识库,并根据用户的选择形成一个预训练模型,这样设定的目的是为了契合该用户的聊天习惯,比如用户P是一个足球球迷,他日常与智能交互系统聊天的时候可能开玩笑也都是足球相关的,那么对于该用户P选择的足球相关的非常用知识库,关联的权重就会高很多。
并且我们还会不定期根据用户对近期或本次交互进行打分,根据每次打分结果优化预训练模型,以便形成针对该用户特有的大型语言模型。
实施例四
根据上述实施例一到实施例三中任一个实施例的方案所述的系统形成的一种基于大型语言模型的智能交互方法,包括:
将用户输入转化为系统能够理解的结构化数据;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应;
根据该用户需求训练大型语言模型;
将响应其转化为自然语言文本并展示给用户。
实施例五
本实施例在实施例四的基础上,还包括:
在一定时间内,分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;
将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中;
在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送给大型语言模型;
其中:
所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
其中,判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串;
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中;
其中,判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽;
其中,确定将任务字符串添加到哪个任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;
根据该任务字符串和欲添加任务的任务动作的吻合程度;
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明的保护范围,任何熟悉本领域的技术人员在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于大型语言模型的智能交互系统,其特征在于,包括:
将用户输入转化为系统能够理解的结构化数据的自然语言理解模块;所述自然语言理解模块包括:将一定时间内的每次用户输入分别进行抽象处理,简化成任务字符串并加入到任务队列中的整合模块;在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送到大型语言模型的解释模块;所述整合模块针对每次用户输入分别进行抽象处理,包括:分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应的执行模块;
根据该用户需求训练好的大型语言模型;
根据响应并将其转化为自然语言文本的自然语言生成模块;
接收自然语言文本并展示给用户的用户界面模块。
2.根据权利要求1所述的一种基于大型语言模型的智能交互系统,其特征在于,所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中。
3.根据权利要求2所述的一种基于大型语言模型的智能交互系统,其特征在于,判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串。
4.根据权利要求2所述的一种基于大型语言模型的智能交互系统,其特征在于,判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽。
5.根据权利要求3或4所述的一种基于大型语言模型的智能交互系统,其特征在于,确定将任务字符串添加到哪个任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;
根据该任务字符串和欲添加任务的任务动作的吻合程度;
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
6.根据权利要求1所述的一种基于大型语言模型的智能交互系统,其特征在于,所述大型语言模型通过以下方式获得:
提供数个非常用知识库供用户选择,并由用户选择的非常用知识库结合常用知识库形成结合语言训练模型训练形成预训练模型;
在每个用户与智能交互系统进行交互后提供评分由用户对该次交互进行打分,根据每次打分结果优化预训练模型,形成针对该用户特有的大型语言模型。
7.采用权利要求1-6任一项的一种基于大型语言模型的智能交互系统实现的一种基于大型语言模型的智能交互方法,其特征在于:
将用户输入转化为系统能够理解的结构化数据;
接收结构化数据并发送到训练好的大型语言模型,并根据大型语言模型的处理结果输出响应;
根据该用户需求训练大型语言模型;
将响应其转化为自然语言文本并展示给用户。
8.根据权利要求7所述的一种基于大型语言模型的智能交互方法,其特征在于,还包括:
在一定时间内,分别使用识别引擎将用户输入中的所有文字输入进行识别,并将识别出的文字使用ALM增强语言模型将识别结果抽象成任务字符串的形式发送到任务列表中的任务槽中;
将筛选出的所有用户输入中的非文字输入抽象成任务字符串的形式发送到任务列表中的任务槽中;
在任务队列中获得所有已经生成完的完整的任务,并将这些任务分别发送给大型语言模型;
其中:
所述任务列表中的每个任务包括以下任务槽:任务动作,任务对象,任务参数;
基于用户输入中的文字输入抽象出的任务字符串所产生的任务包含一个唯一的标志:任务ID,在基于用户输入中的文字输入抽象出的任务字符串产生新任务时,赋予新任务一个任务ID;
其中,判定用户输入中的文字输入抽象出的是否为未产生新任务的任务字符串的方法为:
判断该任务字符串是否包括任务动作:
若该任务字符串不包括任务动作,则判定该任务字符串为未产生新任务的任务字符串;
若该任务字符串包括任务动作,则判定该任务字符串为产生新任务的任务字符串;
将所有新任务产生完毕后,将用户输入中的非文字输入抽象成的任务字符串、用户输入中的文字输入抽象出的未产生新任务的任务字符串,添加到已产生的任务的任务槽中;
其中,判断任务字符串属于任务列表中的哪个任务槽,采用的方法是:
用Smith Waterman算法使用迭代方法计算出用户输入抽象成的任务字符串Si形成的序列S和每个预设的标准任务槽的任务字符串Ti形成的序列T,然后通过动态规划回溯确定针对相似度最高的序列Tn,并判断属于该任务Tn所属的任务槽;
其中,确定将任务字符串添加到哪个任务槽中的方法为:
判断该任务字符串所属的任务槽类型;
根据该任务字符串产生的时间中相近的、缺失或尚未完整所属该项任务槽类型的任务;
根据该任务字符串和欲添加任务的任务动作的吻合程度;
综合判断选取应添加到的任务的任务槽,将该未产生新任务的任务字符串添加进去。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483026.1A CN117217238B (zh) | 2023-11-09 | 2023-11-09 | 一种基于大型语言模型的智能交互系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311483026.1A CN117217238B (zh) | 2023-11-09 | 2023-11-09 | 一种基于大型语言模型的智能交互系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117217238A CN117217238A (zh) | 2023-12-12 |
CN117217238B true CN117217238B (zh) | 2024-01-30 |
Family
ID=89037509
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311483026.1A Active CN117217238B (zh) | 2023-11-09 | 2023-11-09 | 一种基于大型语言模型的智能交互系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117217238B (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115796165A (zh) * | 2022-11-30 | 2023-03-14 | 重庆大学 | 人机智能交互方法、电子设备及存储介质 |
CN116127045A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
CN116244416A (zh) * | 2023-03-03 | 2023-06-09 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
CN116501858A (zh) * | 2023-06-21 | 2023-07-28 | 阿里巴巴(中国)有限公司 | 文本处理及数据查询方法 |
CN116643675A (zh) * | 2023-07-27 | 2023-08-25 | 苏州创捷传媒展览股份有限公司 | 基于ai虚拟人物的智能交互系统 |
CN116775183A (zh) * | 2023-05-31 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 基于大语言模型的任务生成方法、系统、设备及存储介质 |
CN116775845A (zh) * | 2023-07-19 | 2023-09-19 | 之江实验室 | 一种具身智能机器人的主动多轮对话系统及方法 |
CN116805001A (zh) * | 2023-06-26 | 2023-09-26 | 城云科技(中国)有限公司 | 适用于垂直领域的智能问答系统、方法及其应用 |
CN116860985A (zh) * | 2023-05-31 | 2023-10-10 | 西安交通大学 | 一种基于知识图谱的自然语言交互软件框架及其构建方法 |
CN116976306A (zh) * | 2023-08-01 | 2023-10-31 | 珠海市卓轩科技有限公司 | 一种基于大规模语言模型的多模型协作方法 |
CN116991996A (zh) * | 2023-07-21 | 2023-11-03 | 杭州师范大学 | 具有认知推理能力的问答交互模型的构建方法及应用 |
-
2023
- 2023-11-09 CN CN202311483026.1A patent/CN117217238B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115796165A (zh) * | 2022-11-30 | 2023-03-14 | 重庆大学 | 人机智能交互方法、电子设备及存储介质 |
CN116127045A (zh) * | 2023-03-03 | 2023-05-16 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
CN116244416A (zh) * | 2023-03-03 | 2023-06-09 | 北京百度网讯科技有限公司 | 生成式大语言模型训练方法、基于模型的人机语音交互方法 |
CN116775183A (zh) * | 2023-05-31 | 2023-09-19 | 腾讯科技(深圳)有限公司 | 基于大语言模型的任务生成方法、系统、设备及存储介质 |
CN116860985A (zh) * | 2023-05-31 | 2023-10-10 | 西安交通大学 | 一种基于知识图谱的自然语言交互软件框架及其构建方法 |
CN116501858A (zh) * | 2023-06-21 | 2023-07-28 | 阿里巴巴(中国)有限公司 | 文本处理及数据查询方法 |
CN116805001A (zh) * | 2023-06-26 | 2023-09-26 | 城云科技(中国)有限公司 | 适用于垂直领域的智能问答系统、方法及其应用 |
CN116775845A (zh) * | 2023-07-19 | 2023-09-19 | 之江实验室 | 一种具身智能机器人的主动多轮对话系统及方法 |
CN116991996A (zh) * | 2023-07-21 | 2023-11-03 | 杭州师范大学 | 具有认知推理能力的问答交互模型的构建方法及应用 |
CN116643675A (zh) * | 2023-07-27 | 2023-08-25 | 苏州创捷传媒展览股份有限公司 | 基于ai虚拟人物的智能交互系统 |
CN116976306A (zh) * | 2023-08-01 | 2023-10-31 | 珠海市卓轩科技有限公司 | 一种基于大规模语言模型的多模型协作方法 |
Non-Patent Citations (7)
Title |
---|
A Unified Approach to Nested and Non-Nested Slots for Spoken Language Understanding;Xue Wan et al;Electronics;第12卷(第7期);1-15 * |
AuGPT: Dialogue with Pre-trained Language Models and Data Augmentation;Jonáš Kulhánek et al;arXiv;1-13 * |
Description-Driven Task-Oriented Dialog Modeling;Jeffrey Zhao et al;arXiv;1-12 * |
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing;Pengfei Li et al;ACM Computing Surveys;第55卷(第9期);1–35 * |
Recent Advances in Natural Language Processing via Large Pre-trained Language Models: A Survey;Bonan Min et al;ACM Computing Surveys;第56卷(第2期);1–40 * |
WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training;Yuqi Huo et al;arXiv;1-9 * |
面向医疗问答系统的大语言模型命名实体识别方法;杨波 等;计算机科学与探索;第17卷(第10期);2389-2402 * |
Also Published As
Publication number | Publication date |
---|---|
CN117217238A (zh) | 2023-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829757B (zh) | 一种聊天机器人的智能服务方法、服务器及存储介质 | |
US8065336B2 (en) | Data semanticizer | |
Sebastiani | Classification of text, automatic | |
CN108664599B (zh) | 智能问答方法、装置、智能问答服务器及存储介质 | |
JPH07295989A (ja) | データを解析するためのインタプリタを形成する装置 | |
CN111368049A (zh) | 信息获取方法、装置、电子设备及计算机可读存储介质 | |
US20050246353A1 (en) | Automated transformation of unstructured data | |
CN112328800A (zh) | 自动生成编程规范问题答案的系统及方法 | |
CN111858896B (zh) | 一种基于深度学习的知识库问答方法 | |
CN112685550B (zh) | 智能问答方法、装置、服务器及计算机可读存储介质 | |
CN114706966A (zh) | 基于人工智能的语音交互方法、装置、设备及存储介质 | |
CN112632258A (zh) | 文本数据处理方法、装置、计算机设备和存储介质 | |
WO2023129339A1 (en) | Extracting and classifying entities from digital content items | |
Dabade | Sentiment analysis of Twitter data by using deep learning And machine learning | |
CN113553419A (zh) | 民航知识图谱问答系统 | |
Bratić et al. | Centralized database access: transformer framework and llm/chatbot integration-based hybrid model | |
CN113761887A (zh) | 基于文本处理的匹配方法、装置、计算机设备和存储介质 | |
CN116049376B (zh) | 一种信创知识检索回复的方法、装置和系统 | |
CN117217238B (zh) | 一种基于大型语言模型的智能交互系统及方法 | |
WO2020054822A1 (ja) | 音解析装置及びその処理方法、プログラム | |
CN117113973A (zh) | 一种信息处理方法及相关装置 | |
Majumder et al. | Event extraction from biomedical text using crf and genetic algorithm | |
Olivero | Figurative Language Understanding based on Large Language Models | |
CN114238595A (zh) | 一种基于知识图谱的冶金知识问答方法及系统 | |
CN113821610A (zh) | 信息匹配方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |