CN117332823B - 目标内容自动生成方法、装置、电子设备及可读存储介质 - Google Patents
目标内容自动生成方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN117332823B CN117332823B CN202311596641.3A CN202311596641A CN117332823B CN 117332823 B CN117332823 B CN 117332823B CN 202311596641 A CN202311596641 A CN 202311596641A CN 117332823 B CN117332823 B CN 117332823B
- Authority
- CN
- China
- Prior art keywords
- target
- term memory
- long
- proposition
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000007787 long-term memory Effects 0.000 claims abstract description 354
- 238000012545 processing Methods 0.000 claims abstract description 112
- 230000006403 short-term memory Effects 0.000 claims abstract description 70
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 33
- 230000008569 process Effects 0.000 claims description 28
- 230000008094 contradictory effect Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000015654 memory Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 19
- 238000011002 quantification Methods 0.000 claims description 19
- 230000007935 neutral effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 238000012986 modification Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 6
- 238000012217 deletion Methods 0.000 claims description 5
- 230000037430 deletion Effects 0.000 claims description 5
- 238000013139 quantization Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000013473 artificial intelligence Methods 0.000 abstract description 9
- 239000003795 chemical substances by application Substances 0.000 description 44
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000003213 activating effect Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 235000002198 Annona diversifolia Nutrition 0.000 description 1
- 241000282842 Lama glama Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种目标内容自动生成方法、装置、电子设备及可读存储介质,应用于人工智能领域。其中,方法包括将用户的目标内容生成请求作为提示信息输入至自然语言任务处理模型得到指示任务,通过指令接口调用相应外部执行程序执行任务得到初始目标内容;利用当前长期记忆数据对指示任务和初始目标内容进行处理得到目标更新任务;将目标更新任务、初始目标内容和当前短期记忆数据作为下一轮次的提示信息输入至自然语言任务处理模型,循环执行直至指示任务为终止指令,将其上一轮次的初始目标内容作为目标内容进行输出。本发明可以解决相关技术低精度、低效率且高成本智能生成内容的问题,能够高效、高精度且低成本自动生成目标内容。
Description
技术领域
本发明涉及人工智能技术领域,特别是涉及一种目标内容自动生成方法、装置、电子设备及可读存储介质。
背景技术
生成式人工智能技术为基于输入信息,利用算法、模型、规则自动生成并输出文本、图片、声音、视频、代码等内容的技术,也即从其数据中学习内容或对象,并运用数据生成全新、完全原创的实际工件,其中以AutoGPT(Auto Generative Pre-trainedTransformer,自动智能预训练变换网络)为代表的生成式智能体应用最为广泛。
生成式智能体根据用户输入一次指令后,能持续生成自己下一步的指令,直至检测到用户指令中的所有要求均已经达到,最终输出用户所需的目标内容。但是,相关技术中的生成式智能体由于长、短期记忆模块过于简单且粗糙,导致最终生成的内容不仅精度较差,而且生成效率低,但成本还高。
鉴于此,实现高效、高精度且低成本自动生成目标内容,是所属领域技术人员需要解决的技术问题。
发明内容
本发明提供了一种目标内容自动生成方法、装置、电子设备及可读存储介质,能够高效、高精度且低成本自动生成目标内容。
为解决上述技术问题,本发明提供以下技术方案:
本发明第一方面提供了一种目标内容自动生成方法,包括:
当接收到目标内容生成请求,将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务;
通过预先构建的指令接口调用相应的目标外部执行程序,执行所述目标指示任务,得到初始目标内容;
利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务;
将所述目标更新任务、所述初始目标内容和所述短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至所述自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将所述当前轮次的上一轮次的初始目标内容作为目标内容进行输出。
在第一种示例性的实施方式中,所述利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,包括:
将所述目标指示任务和所述初始目标内容作为优化输入内容;
对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释;
根据解释内容和所述优化输入内容,确定至少一个命题;
将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,以基于至少一个所述目标命题得到目标更新任务。
在第二种示例性的实施方式中,所述对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释,包括:
逐词检测所述优化输入内容中是否存在不符合预设文本清楚条件的目标词;
将至少一个目标词输入至预先训练好的词解释模型中,得到相应目标词的解释内容。
在第三种示例性的实施方式中,所述对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释,包括:
预先训练语义清楚识别模型;所述语义清楚识别模型包括循环神经网络和判定层,所述循环神经网络的至少一次循环的输出链接至激活函数层,所述判定层与所述循环神经网络的输出层连接,用于确定输入词的置信度;
将所述优化输入内容逐词输入至所述语义清楚识别模型;
根据所述语义清楚识别模型输出的输入词的置信度,确定所述输入词是否满足预设文本清楚条件。
在第四种示例性的实施方式中,所述确定输入词的置信度,包括:
调用置信度计算关系式,计算输入词的置信度,所述置信度计算关系式为:
;
式中,r为输入词的置信度,γ为调节因子,ε为预先设置的阈值区间[-1,1],ot为所述循环神经网络的输出层的输出内容。
在第五种示例性的实施方式中,所述根据解释内容和所述优化输入内容,确定至少一个命题,包括:
预先训练命题综合处理模型;所述命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;
将所述解释内容和所述优化输入内容,输入至所述命题综合处理模型;
根据所述命题综合处理模型的输出,得到至少一个命题。
在第六种示例性的实施方式中,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,包括:
对各命题,依次将当前命题与长期记忆模块当前存储的至少一条长期记忆数据进行推断比对,得到所述当前命题与相应长期记忆数据的关联关系,根据至少一个关联关系确定所述当前命题是否与所述长期记忆数据冲突。
在第七种示例性的实施方式中,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,包括:
预先训练关系识别模型;所述关系识别模型基于自然语言推断网络构建;
对各命题,从长期记忆模块当前存储的长期记忆数据选择至少一条目标长期记忆数据,将当前命题和长期记忆模块的当前目标长期记忆数据输入至所述关系识别模型,得到所述当前命题和所述当前目标长期记忆数据的关系量化信息;所述关系量化信息为蕴含对数几率、冲突对数几率或中立对数几率;
基于预设关系判断条件和至少一个关系量化信息,确定所述当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题。
在第八种示例性的实施方式中,所述基于预设关系判断条件和至少一个关系量化信息,确定所述当前命题与长期记忆数据是否冲突,包括:
若所述当前命题的中立对数几率小于等于预设中立阈值,则所述当前命题与所述当前目标长期记忆数据相关,将所述当前目标长期记忆数据作为候选长期记忆;
统计至少一个候选长期记忆与所述当前命题对应的蕴含对数几率总和及冲突对数几率总和;
若所述蕴含对数几率总和大于所述冲突对数几率总和,则所述当前命题与长期记忆数据不冲突;若所述蕴含对数几率总和小于等于所述冲突对数几率总和,则所述当前命题与长期记忆数据冲突。
在第九种示例性的实施方式中,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题之后,还包括:
基于所述长期记忆模块的预设规模,所述长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,以基于所述长期记忆更新内容对所述长期记忆模块进行更新。
在第十种示例性的实施方式中,所述基于所述长期记忆模块的预设规模,所述长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,包括:
调用关联度计算关系式计算关联阈值,基于所述关联阈值确定预设关联度条件;所述关联度计算关系式为:
;
每确定一个目标命题,则判断所述长期记忆模块当前存储的长期记忆数据中是否存在蕴含对数几率小于等于所述关联阈值的长期记忆数据,若存在,则将当前确定的目标命题作为长期记忆更新内容;
式中,k0为关联阈值,k为自定义的规模阈值,N为基于所述长期记忆模块中的当前存储的长期记忆数据总数,p为规模阈值下限。
在第十一种示例性的实施方式中,所述调用关联度计算关系式计算关联阈值之前,还包括:
当接收到长期记忆模块规模调整指令,获取当前规模阈值;
基于所述当前规模阈值更新本地规模阈值。
在第十二种示例性的实施方式中,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题之后,还包括:
每确定一个目标命题,则将当前确定的目标命题作为短期记忆更新内容,以基于所述短期记忆更新内容对所述短期记忆模块进行更新。
在第十三种示例性的实施方式中,所述将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务,包括:
通过解析所述目标内容生成请求,确定待生成任务的目标指令集及其解释、自然语言描述的目标、自然语言任务处理模型输出内容形式及任务配置信息;
获取指令数据寄存器中发送的指令数据信息;所述指令数据信息包括各指令的定义及其使用方法和访问地址;
根据所述目标、所述任务配置信息和所述自然语言任务处理模型输出内容形式,将所述待生成任务分解为多个子任务;
基于所述指令数据信息、所述自然语言任务处理模型输出内容形式及所述目标指令集及其解释,为各子任务生成下一步执行的目标执行任务;所述目标执行任务携带应用程序编程接口,以用于调用相应的外部执行程序。
在第十四种示例性的实施方式中,所述将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型之前,还包括:
当接收到用户的指令配置请求,根据所述指令配置请求更新所述指令数据信息;
其中,所述指令配置请求包括待配置指令和更新操作,所述更新操作为指令增加和/或指令删除和/或指令修改。
在第十五种示例性的实施方式中,所述利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务,包括:
预先训练批判思维网络;所述批判思维网络包括词解释子网络、命题综合处理模型和命题选择与更新子网络;
将所述目标指示任务和所述初始目标内容作为优化输入内容,输入至所述批判思维网络;
将长期记忆模块当前存储的长期记忆数据输入至所述批判思维网络;
根据所述命题选择与更新子网络输出的目标命题确定目标更新任务,并相应更新短期记忆模块和长期记忆模块;
其中,所述词解释子网络用于逐词检测优化输入内容逐词,并对不符合预设文本清楚条件的目标词进行解释;所述命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;所述命题选择与更新子网络用于将所述命题综合处理模型输出的至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,从中选择与所述长期记忆数据不冲突的目标命题,以确定目标更新任务和短期记忆模块的短期记忆更新内容;基于所述长期记忆模块的预设规模,所述长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
在第十六种示例性的实施方式中,所述词解释子网络包括语义清楚识别模型和词解释模型;
其中,所述语义清楚识别模型用于根据输入词的置信度确定所述输入词是否满足预设文本清楚条件;所述词解释模型用于对不符合预设文本清楚条件的目标词进行解释。
在第十七种示例性的实施方式中,所述命题选择与更新子网络包括关系识别模型、命题生成层和记忆更新层;
其中,所述关系识别模型,用于计算所述命题综合处理模型输出的至少一个命题和所述长期记忆模块中各长期记忆数据之间的关系量化信息;
所述命题生成层,用于基于预设关系判断条件和至少一个关系量化信息,确定所述当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题;
所述记忆更新层,用于将所述命题生成层输出的至少一个目标命题作为短期记忆更新内容;基于所述长期记忆模块的预设规模,所述长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
本发明第二方面提供了一种目标内容自动生成方法,包括:
预先训练生成式智能体;
接收用户输入的目标内容生成请求;
将所述目标内容生成请求输入至所述生成式智能体,所述生成式智能体基于如前任一项所述目标内容自动生成方法的步骤,自动生成所述目标内容生成请求相应的目标内容。
本发明第三方面提供了一种目标内容自动生成装置,包括:
下一步任务生成模块,用于当接收到目标内容生成请求,将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务;
任务执行模块,用于通过预先构建的指令接口调用相应的目标外部执行程序,执行所述目标指示任务,得到初始目标内容;
任务更新模块,用于利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务;
内容生成模块,用于将所述目标更新任务、所述初始目标内容和所述短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至所述自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将所述当前轮次的上一轮次的初始目标内容作为目标内容进行输出。
本发明第四方面提供了一种目标内容自动生成装置,包括:
模型训练模块,用于预先训练生成式智能体;
请求接收模块,用于接收用户输入的目标内容生成请求;
内容自动生成模块,用于将所述目标内容生成请求输入至所述生成式智能体,所述生成式智能体基于如前任一项所述目标内容自动生成方法的步骤,自动生成所述目标内容生成请求相应的目标内容。
本发明第五方面提供了一种电子设备,包括处理器,所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述目标内容自动生成方法的步骤。
本发明第六方面最后还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如前任一项所述目标内容自动生成方法的步骤。
本发明提供的技术方案的优点在于,对利用外部执行程序执行的初始结果进行综合分析和判断,去掉存在冲突及矛盾的内容,将与长期记忆数据不矛盾的内容作为生成内容,提高内容生成精度。将所有与长期记忆数据不冲突的内容作为结果输出到下一步,结合之前步骤得到的内容统一作为下一轮次的提示信息,由于每一轮都将当前生成内容和不断更新地长期记忆进行了详细的综合分析和判断,不仅提高生成内容的精度,还能有效避免智能体陷入死循环的问题,提高目标内容生成效率,进而降低目标内容生成成本,能够高效、高精度且低成本自动生成目标内容。
此外,本发明还针对目标内容自动生成方法提供了相应的实现装置、电子设备及可读存储介质,进一步使得所述方法更具有实用性,所述装置、电子设备及可读存储介质具有相应的优点。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性的,并不能限制本发明。
附图说明
为了更清楚的说明本发明或相关技术的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的一种目标内容自动生成方法的流程示意图;
图2为本发明提供的长期记忆数据规模与关联阈值之间的关系示意图;
图3为本发明提供的另一种目标内容自动生成方法的流程示意图;
图4为本发明提供的词解释流程示意图;
图5为本发明提供的再一种目标内容自动生成方法的流程示意图;
图6为本发明提供的一个示例性应用场景的框架示意图;
图7为本发明提供的目标内容自动生成装置的一种具体实施方式结构图;
图8为本发明提供的目标内容自动生成装置的一种具体实施方式结构图;
图9为本发明提供的电子设备的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明的技术方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。其中,说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象,而不是用于描述特定的顺序。此外术语“包括”和“具有”以及二者的任何变形,意图在于覆盖不排他的包含。术语“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
随着人工智能技术的快速发展,以ChatGPT(Chat Generative Pre-trainedTransformer,聊天机器人程序)为代表的大规模语言模型因其强大的语言认知能力被广泛应用于日常工作生活中,如进行多轮对话、代码编码以及数学运算,进一步的促进大规模语言模型的相关技术的发展,生成式人工智能技术应用而生。生成式人工智能技术为基于输入信息,利用算法、模型、规则自动生成并输出文本、图片、声音、视频、代码等内容的技术,也即从其数据中学习内容或对象,并运用数据生成全新、完全原创的实际工件,其中以AutoGPT为代表的生成式智能体应用最为广泛。
生成式智能体根据用户输入一次指令后,能持续生成自己下一步的指令,直至检测到用户指令中的所有要求均已经达到。同时,生成式智能体在自动生成内容过程中,只要自己的决策认为需要访问便可使用网络链接等相关工具访问外部信息。此外,生成式智能体包括一长期记忆模块和一短期记忆模块,短期记忆模块用于记录最近10条输出,长期记忆模块用于存储所有的过往生成的文本。生成式智能体每次生成下一步内容时,会将短期记忆模块和通过查询长期记忆模块得到的最相关的多条长期记忆添加至提示(也即prompt)中,从而使得生成式智能体能够做出与过去的生成内容不矛盾的输出。以AutoGPT为例,AutoGPT以ChatGPT为内核,ChatGPT根据用户每次输入只生成一次回复,而AutoGPT能通过调用ChatGPT持续生成自己下一步的指令,且在每次调用ChatGPT生成下一步内容时,会将短期记忆模块和通过查询得到的最相关的10条长期记忆的内容都添加到提示中。
但是,相关技术中的生成式智能体的长短期记忆模块结构过于简单粗糙,其将当前生成的所有文本全部直接添加进入短期记忆和长期记忆中,而不进行任何筛选和判断,这就导致最后生成的内容出现不矛盾的也即相互冲突的内容,或者是明显错误的内容的提示,模型性能较差。进一步的,生成式智能体将所有过往内容全部放入长期记忆模块中,会导致长期记忆模块的空间占用量越来越大,而其中一些存储时间较长的数据后续被利用的概率也小,不仅会降低系统的利用率,还会使得检索成本激增。相关技术中的生成式智能体直接将过往输出内容原文用作当前步骤的提示也会使得调用模型成本太高,并导致提示中有大量与当前任务不相关的内容,最终生成内容具有高成本低精度的缺点。此外,生成式智能体不对每一轮生成的内容与长期记忆进行统一分析,会造成生成式智能体容易陷入死循环而不能跳脱出来,导致内容生成耗时太长甚至无法生成内容。由此可见,相关技术利用生成式智能体自动生成所需目标内容时,不仅生成内容精度较差,而且生成效率低但成本还高。
鉴于此,本发明将用户的目标内容生成请求作为提示信息输入至自然语言任务处理模型得到指示任务,通过指令接口调用相应外部执行程序执行任务得到初始目标内容;利用当前长期记忆数据对指示任务和初始目标内容进行处理得到目标更新任务;将目标更新任务、初始目标内容和当前短期记忆数据作为下一轮次的提示信息输入至自然语言任务处理模型,循环执行直至指示任务为终止指令,将其上一轮次的初始目标内容作为目标内容进行输出,能够高效、高精度且低成本自动生成目标内容。
在介绍了本发明的技术方案后,下面详细的说明本发明的各种非限制性实施方式。为了更好的说明本发明,在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解,没有这些具体细节,本发明同样可以实施。在另外一些实例中,对于所属领域技术人员熟知的方法、手段、元件和电路未作详细描述,以便于凸显本发明的主旨。
首先请参见图1,图1为本实施例提供的一种目标内容自动生成方法的流程示意图,本实施例可包括以下内容:
S101:当接收到目标内容生成请求,将目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务。
本步骤中的目标内容生成请求为用户下发且用于请求生成所需内容也即目标内容的指令,所需目标内容可为任何一种形式的内容,包括但并不限制于文本、图像、语音及视频,目标内容生成请求至少包括所需生成的目标内容的信息,如生成数字人、生成三维服务器模型、生成服务器预警提示音。目标内容生成请求可为文本形式,也可为音频格式,还可为视频格式,还可为图像格式,这均不影响本发明的实现。当接收到目标内容生成请求,根据自然语言任务处理模型对应要求的输入格式对目标内容生成请求进行相应的解析和格式转换。
其中,自然语言任务处理模型通过预先设置的应用程序编程接口进行调用,其为任何一种可以生成自然语言文本或理解语言文本的含义,可以处理多种自然语言任务的深度学习网络模型,其中,自然语言任务,如文本分类、问答、对话等。外部应用程序用于执行目标内容生成请求的相应内容以生成所需数据,为了提高自然语言任务处理模型的训练效率,可采用任意一种的预训练语言大模型,如ChatGPT、LLaMa((Large Language ModelMeta Artificial Intelligence,大型基础语言模型)、LLM((Large Language Model,大语言模型),其训练过程可利用大量文本数据采用任何一种相关技术中记载的相应模型的训练方式,这均不影响本发明的实现。自然语言任务处理模型将目标内容生成请求作为提示信息,依据用户提示生成要求格式的内容,包括将用户提出的任务目标进行详细的思考,将整个任务分解成为子任务步骤并给出相应的逻辑过程,依据对各子任务的逻辑过程和具体步骤生成当前需要完成的指令操作,并给出接下来要完成的任务。也即基于目标内容生成请求输出程序的下一步的目标指示任务,目标指示任务包括但并不限制于下一步的思考、推理、指令、计划,但至少要包括是否指示停止程序的指令,以确定整个目标内容生成过程是继续还是终止。
S102:通过预先构建的指令接口调用相应的目标外部执行程序,执行目标指示任务,得到初始目标内容。
在本步骤中,指令接口为预先设定好的指令集合,指令的定义、使用方法及访问地址也即调用指令接口可预先存储至目标位置,当自然语言任务处理模型在开始执行任务时,输入至自然语言任务处理模型中,并在提示中要求其合理选择并使用。当自然语言任务处理模型输出目标指示任务后,目标指示任务中的每个指令通过指令接口连接到外部执行程序依次进行执行,目标外部执行程序返回指令执行结果,根据每个指令对应的目标外部执行程序返回的指令执行结果得到初始目标内容。其中,指令例如可为搜索引擎、浏览网页、终止,以使用搜索引擎指令为例,当自然语言任务处理模型输出使用该指令对指定目标词组进行搜索时,则指令接口调用搜索引擎这个目标外部执行程序对该目标词组进行搜索并返回搜索页面的内容。当自然语言任务处理模型输出终止指令时,整个目标内容生成过程终止。
S103:利用长期记忆模块当前存储的长期记忆数据对目标指示任务和初始目标内容进行处理,得到与长期记忆数据不矛盾、且用于更新长期记忆模块和短期记忆模块的目标更新任务。
在本实施例中,长期记忆模块为一个大小没有上限的声明语句列表,短期记忆模块可包括最近多条如10条目标更新任务这类可信内容的列表,长期记忆数据为长期记忆模块中所存储的数据。利用当前存储的全部长期记忆数据或一部分长期记忆数据对目标指示任务和初始目标内容进行综合分析和判断,将其自身以及其与长期记忆数据矛盾的冲突内容去除,得到可信的目标更新任务,目标更新任务为更新后的初始目标内容,也即对初始目标内容中的思考、推理、指令、计划进行更新后所得。在得到目标更新任务之后,利用目标更新任务对长期记忆模块和短期记忆模块进行数据更新。长期记忆模块中的长期记忆数据不是直接添加而是经过综合分析和判断后的不矛盾的内容,还能够避免整个目标内容生成过程陷入死循环的问题。
S104:将目标更新任务、初始目标内容和短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将当前轮次的上一轮次的初始目标内容作为目标内容进行输出。
本实施例的目标内容生成过程为一个循环过程,该过程由用户输入的目标内容生成请求作为自然语言任务处理模型的初始的提示信息,由自然语言任务处理模型循环地生成下一步指令以逐步地完成用户的目标内容生成任务,期间通过执行目标任务中的指令和持续地更新短期记忆和长期记忆,直到自然语言任务处理模型输出终止指令,则整体目标内容生成过程结束,并将输出终止指令的上一个轮次的目标指示任务的执行结果也即初始目标内容作为最终的目标内容进行输出。
在本实施例提供的技术方案中,对利用外部执行程序执行的初始结果进行综合分析和判断,去掉存在冲突及矛盾的内容,将与长期记忆数据不矛盾的内容作为生成内容,提高内容生成精度。将所有与长期记忆数据不冲突的内容作为结果输出到下一步,结合之前步骤得到的内容统一作为下一轮次的提示信息,由于每一轮都将当前生成内容和不断更新地长期记忆进行了详细的综合分析和判断,不仅提高生成内容的精度,还能有效避免智能体陷入死循环的问题,提高目标内容生成效率,进而降低目标内容生成成本,能够高效、高精度且低成本自动生成目标内容。
在上述实施例中,对于如何执行对目标指示任务和初始目标内容进行处理并不做限定,本实施例利用长期记忆模块当前存储的长期记忆数据对目标指示任务和初始目标内容进行处理的一种高效且精准的实施方式,能够提升目标内容生成效率和生成精度。本实施例可包括下述内容:
将目标指示任务和初始目标内容作为优化输入内容;对优化输入内容中的不符合预设文本清楚条件的内容进行解释;根据解释内容和优化输入内容,确定至少一个命题;将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与长期记忆数据不矛盾的目标命题,以基于至少一个目标命题得到目标更新任务。
其中,预设文本清楚条件为预先设置的,用于作为判断优化输入内容中是否有语义不清楚内容的一个标准,所属领域技术人员可根据实际应用场景灵活选择。不符合预设文本清楚条件的内容则为语义不清楚的内容,对这些语义不清楚的内容进行解释,生成相应的解释内容,也即用于对语义不清楚的内容进行澄清的详细释义内容。示例性的,可以将解释内容添加至本轮输出文件也即目标更新任务的顶部。对解释内容和优化输入内容进行整理,得到最重要的关键命题,其中最重要和关键的判断标准可根据实际应用场景灵活选择,这均不影响本发明的实现。示例性的,可预先对任何一种语言大模型进行训练得到能够总结并列出符合预设关键内容条件如用户自定义的最关键命题的命题综合处理模型,也即要求命题综合处理模型对输入内容结合用户当前输入或预先设置好的提示进行总结并列出符合预设关键内容条件如用户自定义的最关键的所有命题。也即将解释内容和优化输入内容,输入至命题综合处理模型,命题综合处理模型用于对输入的解释内容和优化输入内容进行总结并确定符合预设关键内容条件的命题,根据命题综合处理模型的输出,得到至少一个命题。
示例性的,为了进一步提高目标内容生成精度和生成效率,本实施例还给出对优化输入内容中的不符合预设文本清楚条件的内容进行解释的一种示例性的实现过程,能够精准理解命题中每个元素的含义,避免歧义词和语义混淆,可包括下述内容:
逐词检测优化输入内容中是否存在不符合预设文本清楚条件的目标词;将至少一个目标词输入至预先训练好的词解释模型中,得到相应目标词的解释内容。
其中,词解释模型为任何一种使用用户当前输入或预先设置好的提示内容使其输出该单词的详细解释,能够实现对意义不清晰或有歧义的内容进行解释的深度学习网络模型,其基于大量文本数据利用任何一种相关技术中记载的模型训练方法进行训练所得。为了提高词解释模型的训练效率,词解释模型可采用任意一种的预训练语言大模型,如ChatGPT、LLaMa(Large Language Model Meta Artificial Intelligence,大型基础语言模型)、LLM(Large Language Model,大语言模型)。将优化输入内容的句子和目标词输入至词解释模型,通过设定好的提示要求其详细分析目标词在句子中最有可能的释义。
为了更加精准判断优化输入内容中是否存在不符合预设文本清楚条件的目标词,本实施例还可预先训练语义清楚识别模型,其用于对优化输入内容进行逐词检测,判断每个词是否不清晰需要澄清。语义清楚识别模型可包括循环神经网络和判定层,循环神经网络可采用任何一种现有的神经网络结构,且在循环神经网络的至少一次循环的输出链接至激活函数层,激活函数层为以tanh函数作为激活函数,判定层与循环神经网络的输出层连接,用于确定输入词的置信度,置信度表示计算当前输入词需要进行解释澄清的概率或者是说置信值。将优化输入内容逐词输入至语义清楚识别模型;根据语义清楚识别模型输出的输入词的置信度,通过比较置信度和预设置信度阈值的数值关系来确定输入词是否满足预设文本清楚条件。举例来说,置信度大于预设置信度阈值,则判定该目标词需要进行解释,置信度小于等于预设置信度阈值,则判定该目标词不需要进行解释,预设置信度阈值可根据实际需求灵活选择。
作为一种高效快捷的置信度计算方式,可在本地预先存储一置信度计算关系式,使循环神经网络的输出层的输出内容在远小于或远大于阈值区间时,使其接近于0或者1,而在其值接近阈值区间时对微小的区别变得敏感,使得置信度计算关系式能更精确和受控地在所需敏感程度下的目标单词。通过调用置信度计算关系式计算输入词的置信度,置信度计算关系式可表示为:
;
式中,r为输入词的置信度,γ为调节因子,用于调节置信度计算关系式的尖锐程度,γ越大,则置信度计算关系式越平滑,从而对微小变化越不敏感,γ越小,则置信度计算关系式越尖锐,对区别越敏感。由于输出层所链接的激活函数层的激活函数为tanh函数,其值域为[-1,1],ε为预先设置的阈值区间,其用于调节置信度计算关系式最敏感区域的中心,同样取值为[-1,1],通过设定ε可以方便地调节,当输出层的输出数据大于ε时,r的值大于0.5,当输出层的输出数据小于ε时,r的值小于0.5,ot为循环神经网络的输出层的输出内容。
示例性的,语义清楚识别模型的训练可在开源的维基数据集上进行,维基数据集作为模型训练的样本数据集,将维基数据集中的每个句子逐词地作为提示输入至上述词解释模型中,输入提示使词解释模型解释该词在句子中的意思,在下一轮对话中通过提示询问其是否有合理的其他解释。如果词解释模型给出肯定回答,则标注为需要解释的词,给出否定回答则标注为不需要解释的词。用上面标注的数据对语义清楚识别模型进行训练。由于是基于语义清楚识别模型的自动化标注,训练数据中的分类可能会过于敏感或过于不敏感,不满足现实场景的需求,因此可进一步使用上述置信度计算关系式对敏感度和敏感位置进行调节,从而提高最终生成内容的准确度。
由上可知,本实施例基于置信度对生成内容进行详细分析和归纳,有利于精准生成目标内容,且能够避免长短期记忆中出现不矛盾,有效避免目标内容生成过程陷入死循环的问题。
上述实施例对如何选择与长期记忆数据不矛盾的目标命题并不做任何限定,本实施例还给出一种高效精准的不矛盾命题选择方式,可包括下述内容:
对各命题,依次将当前命题与长期记忆模块当前存储的至少一条长期记忆数据进行推断比对,得到当前命题与相应长期记忆数据的关联关系,根据至少一个关联关系确定当前命题是否与长期记忆数据冲突。
其中,关联关系包括但并不限制于当前命题与长期记忆模块中各长期记忆数据之间是相关关系、无关关系还是中立关系,其中相关关系不仅包括正相关也即包含关系和被包含关系,还可包括互相矛盾或冲突的关系。可采用任何一种推断比对方法来确定当前命题与相应长期记忆数据的关联关系,本发明对此不做任何限定,根据该关联关系可以筛选出与长期记忆模块中存在显著冲突或矛盾的命题,从而可选择与长期记忆数据不矛盾的目标命题,每确定一个目标命题,将当前确定的目标命题作为短期记忆更新内容,基于该短期记忆更新内容对短期记忆模块进行更新,从而能够将更加合理的命题添加至长期记忆模块和短期记忆模块中。
为了提高目标命题的选择精准度,本实施例还可预先训练一关系识别模型;关系识别模型基于任何一种自然语言推断网络构建,自然语言推断网络可用于预测一个文本的含义是否可以从另一个文本推论得出,其可以使用Transformer(交换网络)模型,也可以使用LSTM(Long short-term memory,长短期记忆)或GRU(Gated Recurrent Unit,门控循环单元)网络模型,在任何一种公开的NLI(Natural Language Inference,自然语言推理)数据集如QNLI(一种类型的NLI数据集)、MNLI(一种类型的NLI数据集)、DocNLI(一种类型的NLI数据集)上进行预训练。对各命题,从长期记忆模块当前存储的长期记忆数据选择至少一条目标长期记忆数据,将当前命题和长期记忆模块的当前目标长期记忆数据输入至关系识别模型,得到当前命题和当前目标长期记忆数据的关系量化信息;基于预设关系判断条件和至少一个关系量化信息,确定当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题。
在本实施例中,预设关系判断条件用于作为衡量当前命题与长期记忆数据是否冲突的一个标准,可基于关系量化信息结合实际情况灵活定义。关系量化信息为蕴含对数几率、冲突对数几率或中立对数几率,示例性的,若当前命题的中立对数几率小于等于预设中立阈值,则当前命题与当前目标长期记忆数据相关,将当前目标长期记忆数据作为候选长期记忆;统计至少一个候选长期记忆与当前命题对应的蕴含对数几率总和及冲突对数几率总和;若蕴含对数几率总和大于冲突对数几率总和,则当前命题与长期记忆数据不冲突;若蕴含对数几率总和小于等于冲突对数几率总和,则当前命题与长期记忆数据冲突。
举例来说,对当前命题,首先通过一个关系识别模型将其与长期记忆中的每一条长期记忆数据逐个进行推断对比,获得每条长期记忆数据与当前命题的关系是蕴含、冲突或中立的logit概率(对数几率)。统计当前命题与所有长期记忆数据的关系,预设中立阈值为0.5,筛选掉中立的logit值大于0.5的长期记忆数据,这代表其与当前命题不相关。随后统计所有剩余长期记忆数据与当前命题的蕴含和冲突的logit的总和,当总和蕴含logit大于总和冲突logit说明当前命题与长期逻辑无冲突,反之则说明有冲突。
进一步的,为了提高长期记忆模块所存储的长期记忆数据的有效性,尽量降低将重复或相似度高的内容多次添加至长期记忆模块中,基于上述实施例,在确定了目标命题之后,还可基于长期记忆模块的预设规模,长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,以基于长期记忆更新内容对长期记忆模块进行更新。
在本实施例中,当当前命题与长期记忆数据无冲突时,如果检测到长期记忆模块中是存在至少一长期记忆数据与当前命题的蕴含logit非常大,则说明长期记忆模块中已有相关命题的内容,因此不需要将当前命题添加进入长期记忆模块中。
示例性的,本实施例还提供了一种能够高效且精准计算长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度的方法,预先在本地存储一关联度计算关系式,通过调用关联度计算关系式计算关联阈值,基于关联阈值确定预设关联度条件,每确定一个目标命题,则判断长期记忆模块当前存储的长期记忆数据中是否存在蕴含对数几率小于等于关联阈值的长期记忆数据,若存在,则将当前确定的目标命题作为长期记忆更新内容;本实施例的关联度计算关系式可表示为:
;
式中,k0为关联阈值,k为自定义的规模阈值,用于控制长期记忆模块的规模,N为长期记忆模块中的当前存储的长期记忆数据总数,p为规模阈值下限,用于避免当长期记忆规模到一定程度后阈值趋近于0,使得新命题几乎没有可能添加到长期记忆模块中。如图2为长期记忆数据规模与关联阈值之间的关系示意图,由图可知,通过关联度计算关系式可以在当前的长期记忆大小超过预先设置的规模阈值越多时,关联阈值会变得越接近0,也即筛选的难度会变大,只要长期记忆模块中存在蕴含logit超过关联阈值的数据,便选择不将当前命题添加到长期记忆模块中。而当长期记忆规模越少于设定的规模阈值,则关联阈值越大,越容易添加当前命题。当当前命题与长期记忆数据有冲突时,从长期记忆模块中筛选与当前命题冲突大的长期记忆数据并将其删除,筛选采用相同的关联度计算关系式,当长期记忆数据少时倾向于不删除,而当长期记忆数据多时倾向于多删除。
进一步的,为了提高实用性,本实施例还支持对长期记忆模块的规模进行实时调整,当接收到用户下发的长期记忆模块规模调整指令,获取长期记忆模块规模调整指令所携带的当前规模阈值,基于当前规模阈值更新本地规模阈值。
由上可知,本实施例通过简单参数控制长期记忆模块的规模,实现对长期记忆模块中的长期记忆数据进行增删处理,可以使得长期记忆模块在整个目标内容持续生成过程中维持一个规模趋向于自定义的规模,不仅可避免长期记忆模块中包含矛盾的长期记忆数据内容,变得更加合理,不会发生自相矛盾,还能大幅减少了调用检索长期记忆模块所需的运算时间。
上述实施例对如何执行得到目标指示任务并不做任何限定,本实施例还给出了一种高效生成目标指示任务的方法,可包括下述内容:
通过解析目标内容生成请求,确定待生成任务的目标指令集及其解释、自然语言描述的目标、自然语言任务处理模型输出内容形式及任务配置信息;获取指令数据寄存器中发送的指令数据信息;根据目标、任务配置信息和自然语言任务处理模型输出内容形式,将待生成任务分解为多个子任务;基于指令数据信息、自然语言任务处理模型输出内容形式及目标指令集及其解释,为各子任务生成下一步执行的目标执行任务。目标执行任务携带应用程序编程接口,以用于调用相应的外部执行程序。
在本实施例中,由用户输入自然语言任务处理模型一个初始的提示信息,该提示信息包括但并不限制于:1.目标指令集及其解释,还可包括对应各个指令的程序接口。2.一个自然语言描述的目标,作为最终需要完成的任务。3.一段文字描述当前任务的设定。4.要求自然语言任务处理模型生成的输出形式,一般包括对当前任务的推理过程与步骤分解、所需要完成的指令及相应的参数、下一步需要完成的任务等。其中,目标指令集是一个由用户定义的可以增加或减少的指令的集合,规定了自然语言任务处理模型当前执行目标内容生成任务过程中需要调用的所有的外部应用执行程序的指令,如可包括使用搜索引擎、浏览网页、执行代码、文件输入/输出、调用数学工具等,用户也可以通过编写个性化的指令和执行代码添加进入指令集中。目标指令集中必须包括终止指令,以便当自然语言任务处理模型输出该指令后,整个目标内容生成过程结束执行。指令数据信息预先存储至一寄存器中,本实施例定义为指令数据寄存器,指令数据寄存器会将指令数据信息输入至自然语言任务处理模型中,其包括所有指令的定义及其使用方法和访问地址,所谓的访问地址即为调用指令的接口或者是指令的访问地址,这样便可以直接将目标内容生成请求中的指令对应数据写入至该访问地址即可调用该指令。当获取目标指令集之后,通过将各指令与指令数据寄存器预先存储的指令数据信息进行综合比对,便可明确指令的调用方法以便执行后续任务。进一步的,用户可根据实际需求实时调整指令数据信息,当接收到用户的指令配置请求,根据指令配置请求更新指令数据信息;其中,指令配置请求包括待配置指令和更新操作,更新操作为指令增加和/或指令删除和/或指令修改。当自然语言任务处理模型收到用户的初始提示后,整个目标内容生成过程开始循环运行。依据用户提示生成要求格式的内容,包括将用户提出的任务目标进行详细的思考,将任务分解成为子任务步骤并给出相应的逻辑过程,依据对任务的逻辑过程和具体步骤生成当前需要完成的指令操作,并给出接下来要完成的任务。
上述实施例对如何得到目标更新任务并不做任何限定,基于上述实施例,本发明还给出一种高效且精准得到目标更新任务的实现方式,可包括下述内容:
预先训练批判思维网络;批判思维网络包括词解释子网络、命题综合处理模型和命题选择与更新子网络;将目标指示任务和初始目标内容作为优化输入内容,输入至批判思维网络;将长期记忆模块当前存储的长期记忆数据输入至批判思维网络;根据命题选择与更新子网络输出的目标命题确定目标更新任务,并相应更新短期记忆模块和长期记忆模块;
其中,词解释子网络用于逐词检测优化输入内容逐词,并对不符合预设文本清楚条件的目标词进行解释;命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;命题选择与更新子网络用于将命题综合处理模型输出的至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,从中选择与长期记忆数据不冲突的目标命题,以确定目标更新任务和短期记忆模块的短期记忆更新内容;基于长期记忆模块的预设规模,长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
在本实施例中,请参阅图3,当接收到目标内容生成请求,将该目标内容生成请求作为提示信息输入至自然语言任务处理模型,得到目标指示任务,通过指令接口调用相应的目标外部执行程序执行该目标指示任务,得到初始目标内容。将长期记忆模块当前存储的长期记忆数据、目标指示任务和初始目标内容一起输入至批判思维网络中,批判思维网络通过词解释子网络、命题综合处理模型和命题选择与更新子网络生成目标更新任务,并将目标更新任务、初始目标内容和短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息作为新一轮次的提示信息输入至自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将当前轮次的上一轮次的初始目标内容作为目标内容进行输出。其中,如图4所示,词解释子网络包括语义清楚识别模型和词解释模型;语义清楚识别模型用于根据输入词的置信度确定输入词是否满足预设文本清楚条件;如果需要解释,则利用词解释模型对不符合预设文本清楚条件的目标词进行解释,得到词的详细释义,并将其添加至输出文件的顶部。如果不需要解释,则继续输入下一个词。其中,命题选择与更新子网络包括关系识别模型、命题生成层和记忆更新层;关系识别模型,用于计算命题综合处理模型输出的至少一个命题和长期记忆模块中各长期记忆数据之间的关系量化信息;命题生成层,用于基于预设关系判断条件和至少一个关系量化信息,确定当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题;记忆更新层,用于将命题生成层输出的至少一个目标命题作为短期记忆更新内容;基于长期记忆模块的预设规模,长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
由此可见,本实施例的批判思维网络为一个神经网络结构,其可对输入内容根据长期记忆模块依次进行解释、综合和判断三个步骤的操作,最终筛选出可信的内容对短期记忆模块和长期记忆模块的数据进行更新。其中,短期记忆模块可包括最近多条如10条批判思维网络输出的可信内容的列表,随后将之与短期记忆模块的数据和前面的指令执行结果一并生成新的自然语言任务处理模型的提示,不仅能够提高目标内容生成准确度,而且也能有效避免目标内容生成过程中陷入死循环的问题。
此外,请参见图5,图5为本发明提供的另一种目标内容自动生成方法的流程示意图,其可应用于任何一种目标内容的生成场景下,可包括以下内容:
S501:预先训练生成式智能体。
本步骤可利用相关技术记载的生成式智能体的训练方式结合上述实施例所记载的生成式智能体的网络结构训练得到一生成式智能体,举例来说,生成式智能体可包括输入层、自然语言任务处理模型、指令接口、批判思维网络、长期记忆模块、短期记忆模块和输出层。
S502:接收用户输入的目标内容生成请求。
本步骤中的目标内容生成请求为生成式智能体中的自然语言任务处理模型的初始的提示信息,目标内容生成请求包括但并不限制于:1.目标指令集及其解释,还可包括各个指令的程序接口。2.一个自然语言描述的目标,作为生成式智能体需要完成的任务。3.一段文字描述生成式智能体当前任务的设定。4.目标只是任务的输出形式,一般包括对当前任务的推理过程与步骤分解、所需要完成的指令及相应的参数、下一步需要完成的任务等。
S503:将目标内容生成请求输入至生成式智能体,将生成式智能体的输出结果作为目标内容生成请求对应的目标内容进行自动生成。
本实施例的生成式智能体可基于如上任意一个实施例所记载的目标内容自动生成方法的步骤自动生成目标内容生成请求相应的目标内容。在本实施例中,生成式智能体的自然语言任务处理模型接收到用户的目标内容生成请求后,整个生成式智能体开始循环运行。依据用户提示生成要求格式的内容,包括将用户提出的任务目标进行详细的思考,将任务分解成为子任务步骤并给出相应的逻辑过程,依据对任务的逻辑过程和具体步骤生成当前需要完成的指令操作,并给出接下来要完成的任务,直至输出停止指令,整个生成式智能体的程序结束运行。目标内容的生成过程中,生成式智能体的长短期记忆模块的数据更新方式基于如上任意一个实施例所记载的相应步骤实现。
由上可知,本实施例可利用生成式智能体高效、精准且低成本生成用户需求的目标内容。
需要说明的是,本发明中各步骤之间没有严格的先后执行顺序,只要符合逻辑上的顺序,则这些步骤可以同时执行,也可按照某种预设顺序执行,图1和图5只是一种示意方式,并不代表只能是这样的执行顺序。
最后,基于上述本发明的技术方案,下面结合图6对本发明的技术方案涉及的一些可能的应用场景进行举例介绍,图6为本发明提供的一种目标内容自动生成方法所适用的硬件组成框架示意图,可包括下述内容:
该硬件组成框架可以包括第一电子设备61和第二电子设备62,第一电子设备61和第二电子设备62之间通过网络63连接。第一电子设备61部署用于执行上述任意一实施例所记载的目标内容自动生成方法的处理器,第二电子设备62部署用于提供人机交互界面的用户端。第一电子设备61可通过执行预先存储的计算机程序完成上述实施例所记载的目标内容自动生成中的全部或部分步骤。
基于上述本申请的技术方案,本发明实施例的应用场景之一,可以通过第二电子设备62与用户之间的交互来实现,在这一应用场景中,用户可通过第二电子设备62向第一电子设备61发送命令、请求和指令,如目标内容生成请求、各种提示信息和长期记忆模块规模调整指令,还可通过第二电子设备62向第一电子设备61发送数据,如训练好的自然语言任务处理模型及指令集等,用户还可发送信息访问请求,其中,访问信息可以是通过第二电子设备62与第一电子设备61之间进行交互来进行访问第一电子设备61上的信息,或者,是用于直接访问第二电子设备62自身的信息,本实施例对此不做限定。
需要注意的是,上述应用场景仅是为了便于理解本发明的思想和原理而示出,本发明的实施方式在此方面不受任何限制。相反,本发明的实施方式可以应用于适用的任何场景。
由上可知,本实施例能够高效、高精度且低成本自动生成目标内容。
本发明还针对目标内容自动生成方法提供了相应的装置,进一步使得方法更具有实用性。其中,装置可从功能模块的角度和硬件的角度分别说明。下面对本发明提供的目标内容自动生成装置进行介绍,该装置用以实现本发明提供的目标内容自动生成方法,在本实施例中,目标内容自动生成装置可以包括或被分割成一个或多个程序模块,该一个或多个程序模块被存储在存储介质中,并由一个或多个处理器所执行,已完成实施例一公开的目标内容自动生成方法。本实施例所称的程序模块是指能够完成特定功能的一系列计算机程序指令段,比程序本身更适合于描述目标内容自动生成装置在存储介质中的执行过程。以下描述将具体介绍本实施例各程序模块的功能,下文描述的目标内容自动生成装置与上文描述的目标内容自动生成方法可相互对应参照。
基于功能模块的角度,参见图7,图7为本实施例提供的目标内容自动生成装置在一种具体实施方式下的结构图,该装置可包括:
下一步任务生成模块701,用于当接收到目标内容生成请求,将目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务。
任务执行模块702,用于通过预先构建的指令接口调用相应的目标外部执行程序,执行目标指示任务,得到初始目标内容。
任务更新模块703,用于利用长期记忆模块当前存储的长期记忆数据对目标指示任务和初始目标内容进行处理,得到与长期记忆数据不矛盾、且用于更新长期记忆模块和短期记忆模块的目标更新任务。
内容生成模块704,用于将目标更新任务、初始目标内容和短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将当前轮次的上一轮次的初始目标内容作为目标内容进行输出。
示例性的,在本实施例的一些实施方式中,上述任务更新模块703还可用于:
将目标指示任务和初始目标内容作为优化输入内容;
对优化输入内容中的不符合预设文本清楚条件的内容进行解释;
根据解释内容和优化输入内容,确定至少一个命题;
将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与长期记忆数据不矛盾的目标命题,以基于至少一个目标命题得到目标更新任务。
作为上述实施例的一种示例性的实现方式,上述任务更新模块703还可用于:
逐词检测优化输入内容中是否存在不符合预设文本清楚条件的目标词;
将至少一个目标词输入至预先训练好的词解释模型中,得到相应目标词的解释内容。
作为上述实施例的另一种示例性的实现方式,上述任务更新模块703还可用于:
预先训练语义清楚识别模型;语义清楚识别模型包括循环神经网络和判定层,循环神经网络的至少一次循环的输出链接至激活函数层,判定层与循环神经网络的输出层连接,用于确定输入词的置信度;
将优化输入内容逐词输入至语义清楚识别模型;
根据语义清楚识别模型输出的输入词的置信度,确定输入词是否满足预设文本清楚条件。
作为上述实施例的一种示例性的实现方式,上述任务更新模块703还可用于:
调用置信度计算关系式,计算输入词的置信度,置信度计算关系式为:
;
式中,r为输入词的置信度,γ为调节因子,ε为预先设置的阈值区间[-1,1],ot为循环神经网络的输出层的输出内容。
作为上述实施例的再一种示例性的实现方式,上述任务更新模块703还可用于:
预先训练命题综合处理模型;命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;
将解释内容和优化输入内容,输入至命题综合处理模型;
根据命题综合处理模型的输出,得到至少一个命题。
作为上述实施例的再一种示例性的实现方式,上述任务更新模块703还可用于:
对各命题,依次将当前命题与长期记忆模块当前存储的至少一条长期记忆数据进行推断比对,得到当前命题与相应长期记忆数据的关联关系,根据至少一个关联关系确定当前命题是否与长期记忆数据冲突。
作为上述实施例的再一种示例性的实现方式,上述任务更新模块703还可用于:
预先训练关系识别模型;关系识别模型基于自然语言推断网络构建;
对各命题,从长期记忆模块当前存储的长期记忆数据选择至少一条目标长期记忆数据,将当前命题和长期记忆模块的当前目标长期记忆数据输入至关系识别模型,得到当前命题和当前目标长期记忆数据的关系量化信息;关系量化信息为蕴含对数几率、冲突对数几率或中立对数几率;
基于预设关系判断条件和至少一个关系量化信息,确定当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题。
作为上述实施例的一种示例性的实现方式,上述任务更新模块703还可用于:
若当前命题的中立对数几率小于等于预设中立阈值,则当前命题与当前目标长期记忆数据相关,将当前目标长期记忆数据作为候选长期记忆;
统计至少一个候选长期记忆与当前命题对应的蕴含对数几率总和及冲突对数几率总和;
若蕴含对数几率总和大于冲突对数几率总和,则当前命题与长期记忆数据不冲突;若蕴含对数几率总和小于等于冲突对数几率总和,则当前命题与长期记忆数据冲突。
作为上述实施例的再一种示例性的实现方式,上述任务更新模块703还可用于:
基于长期记忆模块的预设规模,长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,以基于长期记忆更新内容对长期记忆模块进行更新。
作为上述实施例的一种示例性的实现方式,上述任务更新模块703还可用于:
调用关联度计算关系式计算关联阈值,以基于关联阈值确定预设关联度条件,关联度计算关系式为:
;
每确定一个目标命题,则判断长期记忆模块当前存储的长期记忆数据中是否存在蕴含对数几率小于等于关联阈值的长期记忆数据,若存在,则将当前确定的目标命题作为长期记忆更新内容;
式中,k0为关联阈值,k为自定义的规模阈值,N为所述长期记忆模块中的当前存储的长期记忆数据总数,p为规模阈值下限。
作为上述实施例的一种示例性的实现方式,上述任务更新模块703还可用于:
当接收到长期记忆模块规模调整指令,获取当前规模阈值;
基于当前规模阈值更新本地规模阈值。
作为上述实施例的再一种示例性的实现方式,上述任务更新模块703还可用于:
每确定一个目标命题,则将当前确定的目标命题作为短期记忆更新内容,以基于短期记忆更新内容对短期记忆模块进行更新。
示例性的,在本实施例的另一些实施方式中,上述下一步任务生成模块701还可用于:
通过解析目标内容生成请求,确定待生成任务的目标指令集及其解释、自然语言描述的目标、自然语言任务处理模型输出内容形式及任务配置信息;
根据目标、任务配置信息和自然语言任务处理模型输出内容形式,将待生成任务分解为多个子任务;
基于自然语言任务处理模型输出内容形式及目标指令集及其解释,为各子任务生成下一步执行的目标执行任务;目标执行任务携带应用程序编程接口,以用于调用相应的外部执行程序。
作为上述实施例的一种示例性的实现方式,上述下一步任务生成模块701还可用于:
当接收到用户的指令配置请求,根据指令配置请求更新目标指令集及其解释;
其中,指令配置请求包括待配置指令和更新操作,更新操作为指令增加和/或指令删除和/或指令修改。
示例性的,在本实施例的另一些实施方式中,上述任务更新模块703还可用于:
预先训练批判思维网络;批判思维网络包括词解释子网络、命题综合处理模型和命题选择与更新子网络;
将目标指示任务和初始目标内容作为优化输入内容,输入至批判思维网络;
将长期记忆模块当前存储的长期记忆数据输入至批判思维网络;
根据命题选择与更新子网络输出的目标命题确定目标更新任务,并相应更新短期记忆模块和长期记忆模块;
其中,词解释子网络用于逐词检测优化输入内容逐词,并对不符合预设文本清楚条件的目标词进行解释;命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;命题选择与更新子网络用于将命题综合处理模型输出的至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,从中选择与长期记忆数据不冲突的目标命题,以确定目标更新任务和短期记忆模块的短期记忆更新内容;基于长期记忆模块的预设规模,长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
作为上述实施例的一种示例性的实现方式,上述词解释子网络包括语义清楚识别模型和词解释模型;
其中,语义清楚识别模型用于根据输入词的置信度确定输入词是否满足预设文本清楚条件;词解释模型用于对不符合预设文本清楚条件的目标词进行解释。
作为上述实施例的另一种示例性的实现方式,上述命题选择与更新子网络包括关系识别模型、命题生成层和记忆更新层;
其中,关系识别模型,用于计算命题综合处理模型输出的至少一个命题和长期记忆模块中各长期记忆数据之间的关系量化信息;
命题生成层,用于基于预设关系判断条件和至少一个关系量化信息,确定当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题;
记忆更新层,用于将命题生成层输出的至少一个目标命题作为短期记忆更新内容;基于长期记忆模块的预设规模,长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
基于功能模块的角度,参见图8,图8为本实施例提供的目标内容自动生成装置在一种具体实施方式下的结构图,该装置可包括:
模型训练模块801,用于预先训练生成式智能体;
请求接收模块802,用于接收用户输入的目标内容生成请求;
内容自动生成模块803,用于将目标内容生成请求输入至所述生成式智能体,所述生成式智能体基于如上任一个实施例所记载的目标内容自动生成方法的步骤自动生成目标内容生成请求相应的目标内容。
本实施例目标内容自动生成装置的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例能够高效、高精度且低成本自动生成目标内容。
上文中提到的目标内容自动生成装置是从功能模块的角度描述,进一步的,本发明还提供一种电子设备,是从硬件角度描述。图9为本发明实施例提供的电子设备在一种实施方式下的结构示意图。如图9所示,该电子设备包括存储器90,用于存储计算机程序;处理器91,用于执行计算机程序时实现如上述任一实施例提到的目标内容自动生成方法的步骤。
其中,处理器91可以包括一个或多个处理核心,比如4核心处理器、8核心处理器,处理器91还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器91可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable GateArray,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器91也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central Processing Unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器91可以集成有GPU(Graphics Processing Unit,图形处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器91还可以包括AI(ArtificialIntelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器90可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器90还可包括高速随机存取存储器以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。存储器90在一些实施例中可以是电子设备的内部存储单元,例如服务器的硬盘。存储器90在另一些实施例中也可以是电子设备的外部存储设备,例如服务器上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器90还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器90不仅可以用于存储安装于电子设备的应用软件及各类数据,例如:执行目标内容自动生成方法过程中的程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中,存储器90至少用于存储以下计算机程序901,其中,该计算机程序被处理器91加载并执行之后,能够实现前述任一实施例公开的目标内容自动生成方法的相关步骤。另外,存储器90所存储的资源还可以包括操作系统902和数据903等,存储方式可以是短暂存储或者永久存储。其中,操作系统902可以包括Windows、Unix、Linux等。数据903可以包括但不限于目标内容自动生成结果对应的数据等。
在一些实施例中,上述电子设备还可包括有显示屏92、输入输出接口93、通信接口94或者称为网络接口、电源95以及通信总线96。其中,显示屏92、输入输出接口93比如键盘(Keyboard)属于用户接口,示例性的用户接口还可以包括标准的有线接口、无线接口等。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口94示例性的可以包括有线接口和/或无线接口,如WI-FI接口、蓝牙接口等,通常用于在电子设备与其他电子设备之间建立通信连接。通信总线96可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extendedindustry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本领域技术人员可以理解,图9中示出的结构并不构成对该电子设备的限定,可以包括比图示更多或更少的组件,例如还可包括实现各类功能的传感器97。
本实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
由上可知,本实施例能够高效、高精度且低成本自动生成目标内容。
可以理解的是,如果上述实施例中的目标内容自动生成方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电可擦除可编程ROM、寄存器、硬盘、多媒体卡、卡型存储器(例如SD或DX存储器等)、磁性存储器、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。
基于此,本发明还提供了一种可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时如上任意一实施例所述目标内容自动生成方法的步骤。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的一种目标内容自动生成方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,基于本发明中的实施例,对于本技术领域的普通技术人员来说,在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (22)
1.一种目标内容自动生成方法,其特征在于,包括:
当接收到目标内容生成请求,将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务;
通过预先构建的指令接口调用相应的目标外部执行程序,执行所述目标指示任务,得到初始目标内容;
利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务;
将所述目标更新任务、所述初始目标内容和所述短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至所述自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将所述当前轮次的上一轮次的初始目标内容作为目标内容进行输出;
其中,所述利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,包括:
将所述目标指示任务和所述初始目标内容作为优化输入内容;对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释;根据解释内容和所述优化输入内容,确定至少一个命题;将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,以基于至少一个所述目标命题得到目标更新任务。
2.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释,包括:
逐词检测所述优化输入内容中是否存在不符合预设文本清楚条件的目标词;
将至少一个目标词输入至预先训练好的词解释模型中,得到相应目标词的解释内容。
3.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释,包括:
预先训练语义清楚识别模型;所述语义清楚识别模型包括循环神经网络和判定层,所述循环神经网络的至少一次循环的输出链接至激活函数层,所述判定层与所述循环神经网络的输出层连接,用于确定输入词的置信度;
将所述优化输入内容逐词输入至所述语义清楚识别模型;
根据所述语义清楚识别模型输出的输入词的置信度,确定所述输入词是否满足预设文本清楚条件。
4.根据权利要求3所述的目标内容自动生成方法,其特征在于,所述确定输入词的置信度,包括:
调用置信度计算关系式,计算输入词的置信度,所述置信度计算关系式为:
;
式中,r为输入词的置信度,γ为调节因子,ε为预先设置的阈值区间[-1,1],o t 为所述循环神经网络的输出层的输出内容。
5.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述根据解释内容和所述优化输入内容,确定至少一个命题,包括:
预先训练命题综合处理模型;所述命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;
将所述解释内容和所述优化输入内容,输入至所述命题综合处理模型;
根据所述命题综合处理模型的输出,得到至少一个命题。
6.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,包括:
对各命题,依次将当前命题与长期记忆模块当前存储的至少一条长期记忆数据进行推断比对,得到所述当前命题与相应长期记忆数据的关联关系,根据至少一个关联关系确定所述当前命题是否与所述长期记忆数据冲突。
7.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,包括:
预先训练关系识别模型;所述关系识别模型基于自然语言推断网络构建;
对各命题,从长期记忆模块当前存储的长期记忆数据选择至少一条目标长期记忆数据,将当前命题和长期记忆模块的当前目标长期记忆数据输入至所述关系识别模型,得到所述当前命题和所述当前目标长期记忆数据的关系量化信息;所述关系量化信息为蕴含对数几率、冲突对数几率或中立对数几率;
基于预设关系判断条件和至少一个关系量化信息,确定所述当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题。
8.根据权利要求7所述的目标内容自动生成方法,其特征在于,所述基于预设关系判断条件和至少一个关系量化信息,确定所述当前命题与长期记忆数据是否冲突,包括:
若所述当前命题的中立对数几率小于等于预设中立阈值,则所述当前命题与所述当前目标长期记忆数据相关,将所述当前目标长期记忆数据作为候选长期记忆;
统计至少一个候选长期记忆与所述当前命题对应的蕴含对数几率总和及冲突对数几率总和;
若所述蕴含对数几率总和大于所述冲突对数几率总和,则所述当前命题与长期记忆数据不冲突;若所述蕴含对数几率总和小于等于所述冲突对数几率总和,则所述当前命题与长期记忆数据冲突。
9.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题之后,还包括:
基于所述长期记忆模块的预设规模,所述长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,以基于所述长期记忆更新内容对所述长期记忆模块进行更新。
10.根据权利要求9所述的目标内容自动生成方法,其特征在于,所述基于所述长期记忆模块的预设规模,所述长期记忆模块中的当前存储的长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容,包括:
调用关联度计算关系式计算关联阈值,基于所述关联阈值确定预设关联度条件;所述关联度计算关系式为:
;
每确定一个目标命题,则判断所述长期记忆模块当前存储的长期记忆数据中是否存在蕴含对数几率小于等于所述关联阈值的长期记忆数据,若存在,则将当前确定的目标命题作为长期记忆更新内容;
式中,k 0为关联阈值,k为自定义的规模阈值,N为基于所述长期记忆模块中的当前存储的长期记忆数据总数,p为规模阈值下限。
11.根据权利要求10所述的目标内容自动生成方法,其特征在于,所述调用关联度计算关系式计算关联阈值之前,还包括:
当接收到长期记忆模块规模调整指令,获取当前规模阈值;
基于所述当前规模阈值更新本地规模阈值。
12.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题之后,还包括:
每确定一个目标命题,则将当前确定的目标命题作为短期记忆更新内容,以基于所述短期记忆更新内容对所述短期记忆模块进行更新。
13.根据权利要求1所述的目标内容自动生成方法,其特征在于,所述将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务,包括:
通过解析所述目标内容生成请求,确定待生成任务的目标指令集及其解释、自然语言描述的目标、自然语言任务处理模型输出内容形式及任务配置信息;
获取指令数据寄存器中发送的指令数据信息;所述指令数据信息包括各指令的定义及其使用方法和访问地址;
根据所述目标、所述任务配置信息和所述自然语言任务处理模型输出内容形式,将所述待生成任务分解为多个子任务;
基于所述指令数据信息、所述自然语言任务处理模型输出内容形式及所述目标指令集及其解释,为各子任务生成下一步执行的目标执行任务;所述目标执行任务携带应用程序编程接口,以用于调用相应的外部执行程序。
14.根据权利要求13所述的目标内容自动生成方法,其特征在于,所述将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型之前,还包括:
当接收到用户的指令配置请求,根据所述指令配置请求更新所述指令数据信息;
其中,所述指令配置请求包括待配置指令和更新操作,所述更新操作为指令增加和/或指令删除和/或指令修改。
15.根据权利要求1至14任意一项所述的目标内容自动生成方法,其特征在于,所述利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务,包括:
预先训练批判思维网络;所述批判思维网络包括词解释子网络、命题综合处理模型和命题选择与更新子网络;
将所述目标指示任务和所述初始目标内容作为优化输入内容,输入至所述批判思维网络;
将长期记忆模块当前存储的长期记忆数据输入至所述批判思维网络;
根据所述命题选择与更新子网络输出的目标命题确定目标更新任务,并相应更新短期记忆模块和长期记忆模块;
其中,所述词解释子网络用于逐词检测优化输入内容逐词,并对不符合预设文本清楚条件的目标词进行解释;所述命题综合处理模型用于对输入内容进行总结并确定符合预设关键内容条件的命题;所述命题选择与更新子网络用于将所述命题综合处理模型输出的至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,从中选择与所述长期记忆数据不冲突的目标命题,以确定目标更新任务和短期记忆模块的短期记忆更新内容;基于所述长期记忆模块的预设规模,所述长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
16.根据权利要求15所述的目标内容自动生成方法,其特征在于,所述词解释子网络包括语义清楚识别模型和词解释模型;
其中,所述语义清楚识别模型用于根据输入词的置信度确定所述输入词是否满足预设文本清楚条件;所述词解释模型用于对不符合预设文本清楚条件的目标词进行解释。
17.根据权利要求15所述的目标内容自动生成方法,其特征在于,所述命题选择与更新子网络包括关系识别模型、命题生成层和记忆更新层;
其中,所述关系识别模型,用于计算所述命题综合处理模型输出的至少一个命题和所述长期记忆模块中各长期记忆数据之间的关系量化信息;
所述命题生成层,用于基于预设关系判断条件和至少一个关系量化信息,确定当前命题与长期记忆数据是否冲突,并将不冲突的当前命题作为目标命题;
所述记忆更新层,用于将所述命题生成层输出的至少一个目标命题作为短期记忆更新内容;基于所述长期记忆模块的预设规模,所述长期记忆数据与各目标命题的关联度,将符合预设关联度条件的目标命题作为长期记忆更新内容。
18.一种目标内容自动生成方法,其特征在于,包括:
预先训练生成式智能体;
接收用户输入的目标内容生成请求;
将所述目标内容生成请求输入至所述生成式智能体,所述生成式智能体基于如权利要求1至17任一项所述目标内容自动生成方法的步骤,自动生成所述目标内容生成请求相应的目标内容。
19.一种目标内容自动生成装置,其特征在于,包括:
下一步任务生成模块,用于当接收到目标内容生成请求,将所述目标内容生成请求作为提示信息输入至预先训练好的自然语言任务处理模型,得到目标指示任务;
任务执行模块,用于通过预先构建的指令接口调用相应的目标外部执行程序,执行所述目标指示任务,得到初始目标内容;
任务更新模块,用于利用长期记忆模块当前存储的长期记忆数据对所述目标指示任务和所述初始目标内容进行处理,得到与所述长期记忆数据不矛盾、且用于更新所述长期记忆模块和短期记忆模块的目标更新任务;
内容生成模块,用于将所述目标更新任务、所述初始目标内容和所述短期记忆模块当前存储的短期记忆数据作为下一轮次的提示信息输入至所述自然语言任务处理模型,循环执行直至当前轮次得到的目标指示任务为终止指令,将所述当前轮次的上一轮次的初始目标内容作为目标内容进行输出;
其中,所述任务更新模块进一步用于:
将所述目标指示任务和所述初始目标内容作为优化输入内容;对所述优化输入内容中的不符合预设文本清楚条件的内容进行解释;根据解释内容和所述优化输入内容,确定至少一个命题;将至少一个命题与长期记忆模块当前存储的长期记忆数据进行比对,选择与所述长期记忆数据不矛盾的目标命题,以基于至少一个所述目标命题得到目标更新任务。
20.一种目标内容自动生成装置,其特征在于,包括:
模型训练模块,用于预先训练生成式智能体;
请求接收模块,用于接收用户输入的目标内容生成请求;
内容自动生成模块,用于将所述目标内容生成请求输入至所述生成式智能体,所述生成式智能体基于如权利要求1至17任一项所述目标内容自动生成方法的步骤,自动生成所述目标内容生成请求相应的目标内容。
21.一种电子设备,其特征在于,包括处理器和存储器,所述处理器用于执行所述存储器中存储的计算机程序时实现如权利要求1至18任一项所述目标内容自动生成方法的步骤。
22.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至18任一项所述目标内容自动生成方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311596641.3A CN117332823B (zh) | 2023-11-28 | 2023-11-28 | 目标内容自动生成方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311596641.3A CN117332823B (zh) | 2023-11-28 | 2023-11-28 | 目标内容自动生成方法、装置、电子设备及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117332823A CN117332823A (zh) | 2024-01-02 |
CN117332823B true CN117332823B (zh) | 2024-03-05 |
Family
ID=89293729
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311596641.3A Active CN117332823B (zh) | 2023-11-28 | 2023-11-28 | 目标内容自动生成方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117332823B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117634459B (zh) * | 2024-01-24 | 2024-08-13 | 山东海量信息技术研究院 | 目标内容生成及模型训练方法、装置、系统、设备及介质 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109543165A (zh) * | 2018-11-21 | 2019-03-29 | 中国人民解放军战略支援部队信息工程大学 | 基于循环卷积注意力模型的文本生成方法及装置 |
CN111737441A (zh) * | 2020-08-07 | 2020-10-02 | 北京百度网讯科技有限公司 | 基于神经网络的人机交互方法、装置和介质 |
CN112115247A (zh) * | 2020-09-07 | 2020-12-22 | 中国人民大学 | 一种基于长短时记忆信息的个性化对话生成方法和系统 |
WO2021056710A1 (zh) * | 2019-09-24 | 2021-04-01 | 平安科技(深圳)有限公司 | 多轮问答识别方法、装置、计算机设备及存储介质 |
CN113255333A (zh) * | 2014-12-12 | 2021-08-13 | 智慧人工智能股份有限公司 | 用于神经语言行为识别系统的感知联想记忆 |
CN113987148A (zh) * | 2021-10-28 | 2022-01-28 | 上海嬉燃科技有限公司 | 基于虚拟聊天角色的聊天方法以及相关装置 |
CN114003702A (zh) * | 2021-10-28 | 2022-02-01 | 上海嬉燃科技有限公司 | 用于聊天的数据处理方法以及相关装置 |
CN115952272A (zh) * | 2023-03-10 | 2023-04-11 | 杭州心识宇宙科技有限公司 | 一种生成对话信息的方法、装置、设备及可读存储介质 |
CN116561265A (zh) * | 2023-02-14 | 2023-08-08 | 北京邮电大学 | 个性化对话生成方法和模型训练方法以及设备 |
CN116700839A (zh) * | 2023-07-31 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 一种任务处理方法、装置、设备、存储介质及程序产品 |
CN116955578A (zh) * | 2023-09-21 | 2023-10-27 | 浪潮电子信息产业股份有限公司 | 一种预训练语言模型的信息处理方法、装置、设备及介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102562227B1 (ko) * | 2018-06-12 | 2023-08-02 | 현대자동차주식회사 | 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법 |
KR20200117317A (ko) * | 2019-04-03 | 2020-10-14 | 현대자동차주식회사 | 대화 시스템 및 대화 처리 방법 |
-
2023
- 2023-11-28 CN CN202311596641.3A patent/CN117332823B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113255333A (zh) * | 2014-12-12 | 2021-08-13 | 智慧人工智能股份有限公司 | 用于神经语言行为识别系统的感知联想记忆 |
CN109543165A (zh) * | 2018-11-21 | 2019-03-29 | 中国人民解放军战略支援部队信息工程大学 | 基于循环卷积注意力模型的文本生成方法及装置 |
WO2021056710A1 (zh) * | 2019-09-24 | 2021-04-01 | 平安科技(深圳)有限公司 | 多轮问答识别方法、装置、计算机设备及存储介质 |
CN111737441A (zh) * | 2020-08-07 | 2020-10-02 | 北京百度网讯科技有限公司 | 基于神经网络的人机交互方法、装置和介质 |
CN112115247A (zh) * | 2020-09-07 | 2020-12-22 | 中国人民大学 | 一种基于长短时记忆信息的个性化对话生成方法和系统 |
CN113987148A (zh) * | 2021-10-28 | 2022-01-28 | 上海嬉燃科技有限公司 | 基于虚拟聊天角色的聊天方法以及相关装置 |
CN114003702A (zh) * | 2021-10-28 | 2022-02-01 | 上海嬉燃科技有限公司 | 用于聊天的数据处理方法以及相关装置 |
CN116561265A (zh) * | 2023-02-14 | 2023-08-08 | 北京邮电大学 | 个性化对话生成方法和模型训练方法以及设备 |
CN115952272A (zh) * | 2023-03-10 | 2023-04-11 | 杭州心识宇宙科技有限公司 | 一种生成对话信息的方法、装置、设备及可读存储介质 |
CN116700839A (zh) * | 2023-07-31 | 2023-09-05 | 腾讯科技(深圳)有限公司 | 一种任务处理方法、装置、设备、存储介质及程序产品 |
CN116955578A (zh) * | 2023-09-21 | 2023-10-27 | 浪潮电子信息产业股份有限公司 | 一种预训练语言模型的信息处理方法、装置、设备及介质 |
Non-Patent Citations (5)
Title |
---|
Challenges in Building Intelligent Open-domain Dialog Systems;Minlie Huang 等;《ACM Transactions on Information Systems》;第38卷(第3期);1–32 * |
Dynamic Working Memory for Context-Aware Response Generation;Xu Zhen 等;《IEEE/ACM Transactions on Audio, Speech, and Language Processing》;第27卷(第9期);1419-1431 * |
Topic-to-Essay Generation with Neural Networks;Feng Xiaocheng 等;《 PROCEEDINGS OF THE TWENTY-SEVENTH INTERNATIONAL JOINT CONFERENCE ON ARTIFICIAL INTELLIGENCE》;4078-4084 * |
基于记忆机制的机器人视觉发育方法研究;刘伟民;《中国优秀硕士学位论文全文数据库信息科技辑》;第2018年卷(第3期);I138-1470 * |
长时记忆循环神经网络算法研究;罗威;《中国博士学位论文全文数据库 信息科技辑》;第2022年卷(第1期);I140-61 * |
Also Published As
Publication number | Publication date |
---|---|
CN117332823A (zh) | 2024-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10991366B2 (en) | Method of processing dialogue query priority based on dialog act information dependent on number of empty slots of the query | |
US20230080671A1 (en) | User intention recognition method and apparatus based on statement context relationship prediction | |
US10776707B2 (en) | Language translation based on search results and user interaction data | |
CN111062217B (zh) | 语言信息的处理方法、装置、存储介质及电子设备 | |
CN109543190A (zh) | 一种意图识别方法、装置、设备及存储介质 | |
EP3848855A1 (en) | Learning method and apparatus for intention recognition model, and device | |
CN117332823B (zh) | 目标内容自动生成方法、装置、电子设备及可读存储介质 | |
CN111563158B (zh) | 文本排序方法、排序装置、服务器和计算机可读存储介质 | |
CN110781687B (zh) | 相同意图语句的获取方法及装置 | |
CN110060674A (zh) | 表格管理方法、装置、终端和存储介质 | |
CN111858898A (zh) | 基于人工智能的文本处理方法、装置及电子设备 | |
CN114757176A (zh) | 一种获取目标意图识别模型的方法以及意图识别方法 | |
CN112579733A (zh) | 规则匹配方法、规则匹配装置、存储介质及电子设备 | |
CN110489730B (zh) | 文本处理方法、装置、终端及存储介质 | |
CN111625636A (zh) | 一种人机对话的拒绝识别方法、装置、设备、介质 | |
CN110795101B (zh) | Sql代码信息显示方法、装置、计算机装置及存储介质 | |
CN110895924B (zh) | 一种文档内容朗读方法、装置、电子设备及可读存储介质 | |
CN111930884A (zh) | 一种确定回复语句的方法、设备和人机对话系统 | |
CN116150376A (zh) | 一种样本数据分布优化方法、装置和存储介质 | |
CN114792256A (zh) | 基于模型选择的人群扩量方法及装置 | |
CN114912513A (zh) | 一种模型训练的方法、识别信息的方法及装置 | |
CN118586448B (zh) | 文本任务处理方法及其模型训练方法、设备、介质、产品 | |
CN118536605B (zh) | 自然语言处理任务执行及其模型训练方法、设备、介质 | |
CN117494669A (zh) | 新闻写作方法、新闻写作模型训练方法及装置 | |
CN117612533A (zh) | 处理数据的方法、装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |