CN117520514A - 一种问答任务处理方法、装置、设备及可读存储介质 - Google Patents
一种问答任务处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN117520514A CN117520514A CN202311571284.5A CN202311571284A CN117520514A CN 117520514 A CN117520514 A CN 117520514A CN 202311571284 A CN202311571284 A CN 202311571284A CN 117520514 A CN117520514 A CN 117520514A
- Authority
- CN
- China
- Prior art keywords
- target
- professional
- question
- answer
- reply
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 10
- 238000003672 processing method Methods 0.000 title abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 61
- 238000012545 processing Methods 0.000 claims abstract description 51
- 239000000463 material Substances 0.000 claims abstract description 30
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 abstract description 22
- 238000013473 artificial intelligence Methods 0.000 abstract description 19
- 230000000875 corresponding effect Effects 0.000 description 69
- 239000008186 active pharmaceutical agent Substances 0.000 description 16
- 230000000007 visual effect Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 238000003058 natural language processing Methods 0.000 description 8
- 241000282414 Homo sapiens Species 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000004801 process automation Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种问答任务处理方法、装置、设备及可读存储介质，涉及人工智能领域，包括：接收用户输入的目标问题；判断目标问题是否存在专业回复；若目标问题存在专业回复，获取专业回复，并将专业回复作为目标答案；若目标问题不存在专业回复，根据目标问题确定目标大规模语言模型；根据目标问题从多模态记忆库中获取答复素材；将目标问题和答复素材输入目标大规模语言模型生成目标问题的目标答案；将所述目标答案返回给所述用户。本申请中若检索到用户输入的目标问题存在对应的专业回复，便可以将该专业回复作为目标答案返回给用户，可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
Description
技术领域
本申请涉及人工智能领域，更具体地说，涉及一种问答任务处理方法、装置、设备及可读存储介质。
背景技术
自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理领域中目前研究最广泛的便是大规模语言模型(Large Language Model，LLM)，最典型的例子便是chatGPT。大规模语言模型是采用预训练技术和人类反馈的方法进行训练，可以生成各种类型的文本，可以在多个场景下与用户实现流畅的自然语言对话和问答。然而现有的大规模语言模型在涉及各行业的专业领域的问答过程中经常会出现一本正经胡说八道的现象，也即人工智能幻觉，导致现有的大规模语言模型在专业领域中的答复的准确性较低。
发明内容
本申请实施例提供了一种问答任务处理方法、装置、设备及可读存储介质，能够提高大规模语言模型答复的准确性。
有鉴于此，本申请实施例提供了一种问答任务处理方法，所述方法包括：
接收用户输入的目标问题；
判断所述目标问题是否存在专业回复；
若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；
若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；
根据所述目标问题从多模态记忆库中获取答复素材；
将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；
将所述目标答案返回给所述用户。
可选地，所述判断所述目标问题是否存在专业回复，包括：
获取所述多模态记忆库中存储的专业问题，所述多模态记忆库包括每个所述专业问题对应的专业回复；
将所述目标问题与所述专业问题进行语义分析对比，得到语义相似度；
若所述语义相似度高于预设阈值，则确定所述目标问题存在专业回复，并将语义相似度最高的专业问题对应的专业回复作为所述目标问题的专业回复；
若所述语义相似度低于预设阈值，则确定所述目标问题不存在专业回复。
可选地，所述根据所述目标问题确定目标大规模语言模型，包括：
获取所述目标问题对应的领域和所述用户的问答需求；
根据所述领域和所述问答需求确定所述目标大规模语言模型。
可选地，所述根据所述目标问题从多模态记忆库中获取答复素材，包括：
获取所述目标大规模语言模型对应的目标流程模板；
根据所述目标问题和所述目标流程模板从多模态记忆库中获取答复素材。
可选地，在所述接收用户输入的目标问题之前，所述方法还包括：
接收用户输入的实时私域数据，所述实时私域数据包括专业问题和所述专业问题对应的专业答复；
对所述实时私域数据进行预处理，得到待存储数据；
将所述待存储数据存储于所述多模态记忆库中。
可选地，所述方法还包括：
接收用户输入的复杂任务；
判断所述复杂任务是否存在对应的目标拆解模版；
若所述复杂任务存在对应的目标拆解模版，根据所述目标拆解模版对所述复杂任务进行拆解，得到多个子任务；
若所述复杂任务不存在对应的目标拆解模版，则基于任务拆解模型对所述复杂任务进行拆解，得到多个子任务；
分别对每个子任务进行处理，得到所述每个子任务的处理结果；
将所述每个子任务的处理结果返回给用户。
可选地，所述分别对每个子任务进行处理，得到所述每个子任务的处理结果，包括：
分别确定与每个子任务对应的机器人流程自动化应用程序；
分别调用每个机器人流程自动化应用程序执行对应的子任务，得到每个子任务的处理结果。
本申请实施例还提供了一种问答任务处理装置，所述装置包括：
接收单元，用于接收用户输入的目标问题；
判断单元，判断所述目标问题是否存在专业回复；
获取单元，若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；
确定单元，若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；
所述获取单元，还用于根据所述目标问题从多模态记忆库中获取答复素材；
生成单元，用于将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；
返回单元，用于将所述目标答案返回给所述用户。
本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种问答任务处理方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种问答任务处理方法。
本申请实施例提供了一种问答任务处理方法，所述方法包括：接收用户输入的目标问题；判断所述目标问题是否存在专业回复；若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；根据所述目标问题从多模态记忆库中获取答复素材；将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；将所述目标答案返回给所述用户。可见，在本申请中，若检索到用户输入的目标问题存在对应的专业回复，便可以将该专业回复作为目标答案返回给用户；若目标问题不存在对应的专业回复，再通过确定对应的目标大规模语言模型来生成目标答案，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种问答任务处理方法的流程示意图；
图2为本申请实施例提供的一种问答任务处理系统的结构示意图；
图3为本申请实施例提供的另一种问答任务处理方法的流程示意图；
图4为本申请实施例提供的再一种问答任务处理方法的流程示意图；
图5为本申请实施例提供的又一种问答任务处理方法的流程示意图；
图6为本申请实施例提供的一种问答任务处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。自然语言处理领域中目前研究最广泛的便是大规模语言模型(Large Language Model，LLM)，最典型的例子便是chatGPT。大规模语言模型是采用预训练技术和人类反馈的方法进行训练，可以生成各种类型的文本，可以在多个场景下与用户实现流畅的自然语言对话和问答。然而现有的大规模语言模型在涉及各行业的专业领域的问答过程中经常会出现一本正经胡说八道的现象，也即人工智能幻觉，导致现有的大规模语言模型在专业领域中的答复的准确性较低，难以实现常态化商用。
因此，针对上述问题，本申请实施例提供了一种问答任务处理方法、装置、设备及可读存储介质，能够提高大规模语言模型答复的准确性。
请参阅图1，本申请实施例所提供的一种问答任务处理方法包括以下步骤。
S101、接收用户输入的目标问题。
本实施例中，当用户需要进行问答时，可以通过客户端输入目标问题，或通过客户端发送目标问题，此时可以通过统一的对外接口接收用户输入的目标问题。可以理解的是，用户可以是人，也可以是企业应用，企业应用同样也可以通过统一的对外接口来输入所需解决的问题。
S102、判断所述目标问题是否存在专业回复。
本实施例中，在接收用户输入的目标问题后，可以判断目标问题是否存在专业回复。可以理解的是，通过判断目标问题是否存在专业回复，可以确定目标问题是否是存在专业回复的专业问题，是否能够直接获取专业回复作为目标答案进行回复，还是需要通过调用目标大规模语言模型来生成目标问题的目标答案进行回复，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
在一种可能实现的方式中，可以获取所述多模态记忆库中存储的专业问题，所述多模态记忆库包括每个所述专业问题对应的专业回复；将所述目标问题与所述专业问题进行语义分析对比，得到语义相似度；若所述语义相似度高于预设阈值，则确定所述目标问题存在专业回复，并将语义相似度最高的专业问题对应的专业回复作为所述目标问题的专业回复；若所述语义相似度低于预设阈值，则确定所述目标问题不存在专业回复。可以理解的是，多模态记忆库模块可以包括结构数据、向量数据、知识图谱以及分布式文件系统等子模块，用于存储人工智能应用运行相关的外部持续导入和动态更新的结构化数据，例如指标数据、状态数据等；还可以存储文本、图像、视频、声音等数据对应转化的向量数据；还可以存储行业领域知识和规则数据，其中包括专业问题以及每个专业问题对应的专业答复；还可以存储在查询、回复中直接使用的文本文件、多媒体文件等文件数据；还可以存储复杂任务执行中的子任务队列、状态和中间结果数据；还可以存储通过可视化界面预定义和配置的任务编排数据、提示模板数据。
可以理解的是，在获取目标问题后，可以将多模态记忆库中存储的专业问题与目标问题进行语义分析对比，来确定目标问题是否为存在专业答复的专业问题。当目标问题与多模态记忆库中存储的专业问题的语义相似度高于或等于预设阈值时，此时可以认为语义相似度最高的专业问题与目标问题是相同的问题，可以将语义相似度最高的专业问题的专业回复作为目标问题的专业回复；当目标问题与多模态记忆库中存储的专业问题的语义相似度都低于预设阈值时，说明目标问题大概率是非专业问题，不存在专业答复，需要通过调用目标大规模语言模型来生成目标问题的目标答案进行回复，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
S103、若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案。
本实施例中，若目标问题存在专业回复，可以获取目标问题对应的专业回复，并将该专业回复作为目标答案，从而能够避免大规模语言模型在专业领域的问答过程中一本正经地胡说八道，也即可以避免出现人工智能幻觉的现象，保证专业问题的回复答案的正确性，提高大规模语言模型答复的准确性。
S104、若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型。
本实施例中，若目标问题不存在专业答复，则可以根据目标问题确定目标大规模语言模型。可以理解的是，市面上现在存在有多种大规模语言模型，不同的大规模语言模型所擅长的领域各不相同，且其特性、稳定性情况和资费都有不同。通过设置优化调用策略从中调用最适合目标问题的目标大规模语言模型可以对解决目标问题起到最好的效果，可以进一步提高大规模语言模型答复的准确性。
在一种可能实现的方式中，可以获取所述目标问题对应的领域和所述用户的问答需求；根据所述领域和所述问答需求确定所述目标大规模语言模型。可以理解的是，可以预先为每个大规模语言模型设定特征标签，其中可以包括大规模语言模型所擅长的领域、特性差异、近期访问稳定性情况和资费情况等，并获取目标问题对应的领域以及用户的个性化需求；最后可以根据目标问题对应的领域以及用户的问答需求以及两者的权重，以及每个大规模语言模型的特征标签，确定出目标大规模模型，从而能够达到对目标问题的最佳解决效果，进一步提高大规模语言模型答复的准确性。
S105、根据所述目标问题从多模态记忆库中获取答复素材。
本实施例中，可以根据目标问题从多模态记忆库中获取答复素材，以便于能够通过目标大规模语言模型生成目标问题的目标答案。可以理解的是，可以对目标问题进行关键字和语法语义等识别，然后基于目标问题从多模态记忆库中检索出相关内容或向量信息，以及专业领域的最新数据或知识等，作为目标问题的答复素材。
在一种可能实现的方式中，可以获取所述目标大规模语言模型对应的目标流程模板；根据所述目标问题和所述目标流程模板从多模态记忆库中获取答复素材。可以理解的是，不同的流程模版对于大规模语言模型能起到的作用是不同的，因此可以为每个大规模语言模型匹配一个能够使得大规模语言模型能够输出高质量反馈的流程模版。在获取答复素材时可以先获取目标大规模语言模型对应的目标流程模板，然后基于目标流程模板可以确定在生成目标答案时需要获取什么类型的答复素材，可以基于目标问题和目标流程模板从多模态记忆库中获取答复素材，从而能够使得目标大规模语言模型生成的目标答案的准确性更高。
S106、将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案。
本实施例中，在获取答复素材后，可以将目标问题和答复素材输入到目标大规模语言模型中，生成目标问题的目标答案。可以理解的是，由于目标大规模语言模型是根据目标问题确定出的，所以通过调用目标大规模语言模型对目标问题进行解答，可以提高生成的目标答案的准确性，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
S107、将所述目标答案返回给所述用户。
本实施例中，在获取目标问题的目标答案后，可以将目标答案返回给用户，从而完成问答的整个流程。
在一种可能实现的方式中，在接收用户输入的目标问题之前，可以接收用户输入的实时私域数据，所述实时私域数据包括专业问题和所述专业问题对应的专业答复；对所述实时私域数据进行预处理，得到待存储数据；将所述待存储数据存储于所述多模态记忆库中。可以理解的是，由于大规模语言模型的模型参数量巨大，预训练成本较高，且训练语料和数据较为滞后，所以无法及时使用较新的数据进行训练，造成信息缺失。并且在专业领域因为语料较少，且很多数据属于企业私有，因此大规模语言模型无法给出相关专业领域、行业的较好回复。由此可以通过实时获取用户输入的实时私域数据来对大规模语言模型的训练数据进行实时更新，且获取的实时私域数据中包括专业问题和专业问题对应的专业答复，可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。具体的，在接收用户输入的实时私域数据后，可以为实时私域数据增加索引，进行格式转换或者切分，作为文件、向量、知识图谱等形式更新保存在多模态记忆库中。
在一种可能实现的方式中，可以接收用户输入的复杂任务；判断所述复杂任务是否存在对应的目标拆解模版；若所述复杂任务存在对应的目标拆解模版，根据所述目标拆解模版对所述复杂任务进行拆解，得到多个子任务；若所述复杂任务不存在对应的目标拆解模版，则基于任务拆解模型对所述复杂任务进行拆解，得到多个子任务；分别对每个子任务进行处理，得到所述每个子任务的处理结果；将所述每个子任务的处理结果返回给用户。可以理解的是，现有的大规模语言模型在接收到复杂任务后，是直接由大规模语言模型对复杂任务进行拆解，然而大规模语言模型作为基于概率的语言模型，往往不能很好地理解用户的任务，尤其是特定行业中的专业任务，这样拆分和执行的结果会造成不准确、效率低下、甚至出现死循环。因此可以预先为部分复杂任务设定对应的拆解模版，在接收到用户输入的复杂任务后，若该复杂任务存在对应的目标拆解模版，可以直接根据目标拆解模板对复杂任务进行拆解，来将复杂任务拆解成适合执行的子任务；当不存在对应的目标拆解模版时，再通过任务拆解模型对复杂任务进行拆解，来得到复杂任务对应的子任务，其中任务拆解模型可以是目标大规模语言模型也可以是其他专门用来进行任务拆解的大规模语言模型，并对每个子任务进行处理，来得到每个子任务的处理结果，最后将每个子任务的处理结果返回给用户，从而避免了现有的复杂任务分别方法存在过于依赖于大规模语言模型的智能分解，造成的执行低效、死循环、不精确等各种问题。其中可以将根据目标拆解模版对复杂任务进行拆解得到的子任务表示为第一子任务，还可以将通过任务拆解模型对复杂任务进行拆解得到的子任务表示为第二子任务，在此不做限定。
在一种可能实现的方式中，可以分别确定与每个子任务对应的机器人流程自动化应用程序；分别调用每个机器人流程自动化应用程序执行对应的子任务，得到每个子任务的处理结果。可以理解的是，虽然大规模语言模型已经可以实现与人类相近的思考和问答，但其本身缺乏行动能力，无法很好地执行拆解后的子任务。此时可以预先为不同的子任务设定对应的机器人流程自动化应用程序(Robotic process automation，RPA)，在需要执行子任务时可以通过调用对应的机器人流程自动化应用程序，来得到每个子任务的处理结果，使得大规模语言模型能够调用RPA模拟键鼠操作能力，操作已有的各类行业系统获取专业信息、执行专业操作的能力，并且可以实现对没有外部接口的行业专业系统进行操作，从而节省了改造成本。
由此可知，本申请实施例提供了一种问答任务处理方法，若检索到用户输入的目标问题存在对应的专业回复，便可以将该专业回复作为目标答案返回给用户；若目标问题不存在对应的专业回复，再通过确定对应的目标大规模语言模型来生成目标答案，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
请参阅图2，本申请还提供了一种问答任务处理系统，具体包括以下模块：
数据转换和切分模块：用于动态、实时地为系统提供行业领域的数据和知识。此模块会支持外部典型数据提供方式的预集成(例如：数仓、嵌入式数据库、关系数据库、图数据库等)，并支持主流的数据格式转换(文本、图片、声音、视频等)，并提供常用的数据对接、周期性获取、实时接入、通知、格式转换、数据切割等数据集成机制。
接口及调用模块：定义了统一的对外API接口格式，供用户或企业应用进行调用，无缝地访问后端的各类LLM。同时，该模块也实现了对应的安全保护、计量、流控等对应API网关的功能。此外，此模块还实现了基于输入问题类别、各LLM模型近期性能表现、各LLM模型所擅长的领域(例如：中文/英文、文本/图片/视频)、资费等各项因素，通过动态策略进行模型匹配，动态帮助用户选择最适合LLM的功能。
多模态记忆库模块：包括结构数据、向量数据、知识图谱以及分布式文件系统等子模块，用于存储人工智能应用运行相关的外部持续导入和动态更新的结构化数据，例如指标数据、状态数据等；还可以存储文本、图像、视频、声音等数据对应转化的向量数据；还可以存储行业领域知识和规则数据，其中包括专业问题以及每个专业问题对应的专业答复；还可以存储在查询、回复中直接使用的文本文件、多媒体文件等文件数据；还可以存储复杂任务执行中的子任务队列、状态和中间结果数据；还可以存储通过可视化界面预定义和配置的任务编排数据、提示模板数据。
提示工程和回复增强模块：主要功能包括两个方面：1)接收到“接口及调用”模块或“复杂任务代理模块”发来的输入信息，并通过提示工程和模板，结合多模态记忆库中的内容进行素材组装；2)对LLM反馈的结果进行行业领域的知识增强和约束，使得回复更专业合理。另外还可调用多模态记忆库中的各类数据、知识进行回复补充。
复杂任务代理模块：实现对用户提出的复杂任务进行拆解、调度和监控管理功能。对应的复杂任务，可以是基于可视化界面，基于行业领域已有任务处理流程进行创建和更新的；也可以是前期通过LLM进行的自动化方式拆解，被保存存储在记忆库中的；还可以是基于用户当前输入，交由LLM进行动态任务拆解的。
RPA及API集成模块：为系统提供外部信息查询能力，以及外部操作执行能力。其对应动作可以通过RPA模拟人类操作键鼠的方式进行，适用于没有API接口的外部或行业专业系统，避免改造成本和时间；也可以是通过调用外部系统或专业系统的API方式实现。
可视化业务逻辑编排和配置模块：为系统提供复杂任务、流程模板和拆解模板的相关编排和配置的可视化生命周期管理功能，同时也提供系统的一般性可视化运行和管理功能。
大模型运行情况监控模块：提供面向大模型的运行和监控功能，可以通过读取多模态记忆库，实现系统私有化部署管理，以及外部互联网上相关的大模型运行状况、性能的持续监控和统计功能。其信息也能用于支撑接口及调用模块对LLM进行选择调用的动态策略运行。
本地私有化部署大模型模块：系统提供弹性推理环境，支持大规模语言模型的本地私有化部署，适用于行业领域中“数据不出域”相关的请求和调用。
由此可知，本申请实施例提供的一种问答系统，给出了一种从系统外部不断地获取数据和知识的方法，以弥补LLM本身再训练和再微调成本高、通过提示带入信息量又有限的问题；提出对应的“多模态记忆库模块”和设计，用来存储行业和领域不断更新的数据和信息。通过多模态记忆库，除了能存储向量信息外，还能存储结构化数据、行业知识和规则、信息的文本、音频、图像、视频等原始文件(或文件的引用)，使得系统具备回复行业领域精确数据情况、精确知识内容、多媒体操作演示的能力。
提出了各类LLM的统一“接口及调用”模块，让用户可以通过统一的开放API，访问多类不同的LLM。并能基于用户需求语义、各LLM的近期可用情况、各LLM的擅长领域、资费等各相关要素，通过动态策略调用最合适的LLM，从而解决了单个LLM可用性差、服务不稳定，各LLM能力不均衡的问题，提供了更高性价比的系统化解决方案；提出了基于统一的“提示工程和回复增强”模块接口，实现专业领域的已有知识直接回复机制，当用户的请求已存在于常见问题解答或知识库中时，无需再额外调用LLM，而是能直接给出可解释的、精确的、专业的答案，同时也能调用多模态记忆库给出直观示意图、视频操作演示等答案，当用户的请求不存在能直接匹配的已有的专业回复时候，才通过提示模板，通过LLM组装和整理回复，能有效提升系统整体回复的专业性、准确性和可解释性，在更大程度上避免LLM的人工智能幻觉问题，亦能有效降低LLM调用的成本和开销。
提出了一种“复杂任务代理”模块的实现机制和方法，该模块既可以利用LLM的能力，分解复杂问题，并分别执行获得回复；又可以通过可视化业务逻辑编排和配置的方式，让用户基于LLM的初步任务分解、或基于已有的各类复杂任务处理处理模板，进行复杂任务执行流程和逻辑订制的功能，该设计方式实现了有效的“人在环路”(human in the loop)机制，有效避免了已有方案存依赖于LLM的智能分解，造成的执行低效、死循环、不精确等各种问题；提出了一种系统内置“RPA”模块的机制，有效地扩展了LLM的执行能力，使得LLM能够调用RPA模拟键鼠操作能力，操作已有各类行业遗留系统获取专业信息、执行专业操作的能力。扩展了已有方案依赖于插件API开发，以及API开发成本较高、效率过低等问题，“RPA”模块除了支持模拟人类的键鼠操作能力外，同时也支持API集成，可以把两种调用方式综合使用，带来了LLM应用执行能力的扩充、效率的提高。
提出了“大模型运行状态监控”模块，可以有效地跟踪本地私有化部署的、以及互联网上部署的各类大模型运行状态和回复情况，可以跟踪用户对其回复准确性的评价，从而持续跟踪各个大模型在不同领域的表现。这套监控机制能够有效提升系统对LLM的可管理性，结合调用模块，提升系统的可用性、回复准确性。在当前其他已有方案中，由于背后只依赖于一个LLM，且LLM因其高可靠部署成本较高，或互联网上LLM可用性较差，会存在行业专业领域中可用性达不到工程要求的情况。
请参阅图3，本申请实施例还提供了另一种问答任务处理方法，具体包括：
1、企业需要提供相关私域数据和知识，并实现持续更新；数据转换和切分模块用于为行业领域的数据提供方式、数据格式提供常用的数据对接、周期性获取、实时接入、通知等数据集成机制；
2、数据被索引、格式转换或者切分，作为文件、向量、知识等形式更新保存在系统的多模态记忆库；
3、企业的用户或应用，通过统一的对外API接口格式对基于LLM的AI应用进行调用。接口和调用模块用于实现对应的安全保护、计量、流控等对应API网关的功能。调用的用户或应用，可以显示指定需要调用的LLM，也可以由接口和调用模块，基于问题类别、各LLM模型的自身特征属性和动态性能表现属性，通过动态策略进行模型匹配，动态帮助用户选择使用的LLM；
4、基于模板进行提示工程组装，对应不同的目标模型匹配最佳模板，以获得高质量的模型反馈；
5、对用户或应用的输入进行关键字、语法语义等识别，基于提问内容调用多模态记忆库检索出相关内容或向量信息，并加入领域最新数据、知识对大模型进行引导，通过已有的提示模板补充提示内容的上下文信息。对于多次交互的上下文，以及此用户或应用之前的调用历史记录，也可从多模态记忆库中读取，并通过提示模板，补充进上下文信息。模块会基于前面调用选中的目标LLM，使用对应的提示模板，并遵循对应的规则和限制。对应不同LLM的提示模板可以在可视化业务逻辑编排和配置模块进行查看、定义、更新和验证；
6、调用本地私有化部署的大模型；
7、或者调用外部互联网上部署的大模型；
8、获得的LLM反馈结果，通过加密方式存入模型调用情况记录表。同时也会读取对应领域专业知识和相关规则约束；
9、通过接口及调用模块的标准接口进行回复；
10、回复用户或企业应用。
由此可知，本申请实施例提供的一种问答任务处理方法，能够实现企业行业专有数据、知识导入和更新；实现多种不同类型、属性、部署方式的LLM的统一调用接口和动态调用机制，降低用户开发门槛，提高可靠性和可用性；实现提示工程、提示模板的可视化管理、查看、维护和更新；实现为LLM增强多模态的记忆能力；实现对LLM反馈的结果进行行业领域的知识增强和约束。
请参阅图4，本申请实施例提供了再一种问答任务处理方法，具体包括：
1、企业需要提供相关私域数据和知识，并实现持续更新；数据转换和切分模块用于为行业领域的数据提供方式、数据格式提供常用的数据对接、周期性获取、实时接入、通知等数据集成机制；
2、对应的常见问题解答文档、多媒体数据进行转换、切分并保存；
3、企业输入的知识可以导入多模态记忆库中的图数据库，也可提供接口供查询和调用。
4、通过统一的对外API接口进行调用；
5、调用提示工程模块；
6、基于提问检索多模态记忆库，当发现输入和已有的专业问题语义高度重合，或者和已有知识高度符合时候。给出可直接返回的标记；
7、再次查询多模态记忆库。获取已有的专业回复，或者调用知识图谱的接口通过精确的、可解释的知识方式进行返回。如果相关内容带有对应的图像说明、多媒体介绍等，一并查询获取；
8、带有可直接返回标记，无需调用大模型；
9、把本次执行情况信息存入多模态记忆库；
10、通过标准接口回复；
11、回复用户或企业应用；
12、进一步进行多轮的对话或调用交互。
由此可知，本申请实施例提供的再一种问答任务处理方法，可以充分利用已有的行业、专业知识积累，实现多轮交互中知识和人工智能的结合使用，优势互补。更大程度上避免LLM的人工智能幻觉问题；可以有效降低LLM调用的成本、时间和开销；可以通过统一的调用接口，由系统基于多模态知识库中是否有相关准确的知识和回复作为判断依据，在多轮交互中实现知识和人工智能回复的无缝切换，无需用户操心和自行尝试；可以基于已有常见问题解答问题，可以给出除文本外的多媒体形式的回复，解决了LLM回复单一或多模态大模型回复开销大且不精准等问题。
请参阅图5，本申请实施例还提供了又一种问答任务处理方法，具体包括：
1、收到复杂任务指令；
2、创建复杂任务代理。
3、查询匹配已有的任务拆解模板，这些模板可以是通过可视化界面，基于行业领域已有任务处理流程进行创建和更新的，也有可能是前期通过LLM进行的自动化方式拆解，被保存存储在记忆库中的。在本步骤中，后续展现未查询到已有符合的任务拆解模板，判断需要通过调用LLM进行任务拆解；
4、调用提示工程组件；
5、调用本地LLM进行任务拆解；
6、或调用外部LLM进行任务拆解；
7、返回任务拆解结果；
8、把任务拆解结果保存入多模态记忆库中的任务执行队列，并纳入任务执行状态监管。任务执行的情况可以通过可视化界面读取多模态记忆库中的数据进行展现并查看；
9、基于拆解后的的子任务，可以一次或多次调用RPA模块进行处理。RPA模块支持对外部系统进行模拟人类的键鼠式操作，以获取外部系统(或行业专业系统)中的信息内容，或进行对应操作触发执行。RPA模块同样支持用API集成的方式，调用相关系统和插件。
10、本步骤可以与上述步骤并行或穿插执行，可以一次或多次通过提示工程组件调用内部、或外部的大模型进行信息获取或完成对应操作；
11、调用本地LLM；
12、调用外部LLM；
13、执行开始和执行过程中，持续同步任务执行阶段情况和中间结果中间过程和结果，可以在可视化界面中进行查看；
14、执行阶段和中间结果，也可以通过API(通过接口模块)进行查看；
15、汇总反馈任务执行情况和结果；
16、回复用户或企业应用。
由此可知，本申请实施例提供的又一种问答任务处理方法，可以通过引入RPA模块，既可以模拟人类键鼠操作，访问和操作已有系统，无需改造，也可以通过API集成方式调用相关系统和插件。可以使用LLM的强大的逻辑思维和推理能力，实现未定义的、复杂的任务的自动化拆解。拆解结果在执行成功、或获得好评后，可以保存在多模态记忆库中，通过可视化页面进行管理，也方便下次重用。除了通过LLM拆解复杂任务外，也支持基于行业领域的业务流程定义和复杂任务拆分，使用可视化的方式进行创建、管理和更新，能够弥补LLM当前对行业领域专业任务的认知不足和局限性；可以提供复杂任务拆解和执行过程中的状态定期更新保存入库，并能通过可视化界面、或用户API的方式进行查询和同步，实现中间状态透明化和可管理。
请参阅图6，本申请实施例还提供了一种问答任务处理装置，所述装置包括：
接收单元601，用于接收用户输入的目标问题；
判断单元602，判断所述目标问题是否存在专业回复；
获取单元603，若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；
确定单元604，若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；
所述获取单元603，还用于根据所述目标问题从多模态记忆库中获取答复素材；
生成单元605，用于将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；
返回单元606，用于将所述目标答案返回给所述用户。
可选地，所述判断单元602具体用于：
获取所述多模态记忆库中存储的专业问题，所述多模态记忆库包括每个所述专业问题对应的专业回复；
将所述目标问题与所述专业问题进行语义分析对比，得到语义相似度；
若所述语义相似度高于预设阈值，则确定所述目标问题存在专业回复，并将语义相似度最高的专业问题对应的专业回复作为所述目标问题的专业回复；
若所述语义相似度低于预设阈值，则确定所述目标问题不存在专业回复。
可选地，所述确定单元604具体用于：
所述根据所述目标问题确定目标大规模语言模型，包括：
获取所述目标问题对应的领域和所述用户的问答需求；
根据所述领域和所述问答需求确定所述目标大规模语言模型。
可选地，所述获取单元603具体用于：
获取所述目标大规模语言模型对应的目标流程模板；
根据所述目标问题和所述目标流程模板从所述多模态记忆库中获取答复素材。
可选地，所述装置还包括：
所述接收单元601，还用于接收用户输入的实时私域数据，所述实时私域数据包括专业问题和所述专业问题对应的专业答复；
预处理单元，用于对所述实时私域数据进行预处理，得到待存储数据；
存储单元，用于将所述待存储数据存储于所述多模态记忆库中。
可选地，所述装置还包括：
所述接收单元601，还用于接收用户输入的复杂任务；
所述判断单元602，还用于判断所述复杂任务是否存在对应的目标拆解模版；
拆解单元，用于若所述复杂任务存在对应的目标拆解模版，根据所述目标拆解模版对所述复杂任务进行拆解，得到多个子任务；
所述拆解单元，还用于若所述复杂任务不存在对应的目标拆解模版，则基于任务拆解模型对所述复杂任务进行拆解，得到多个子任务；
处理单元，用于分别对每个子任务进行处理，得到所述每个子任务的处理结果；
所述返回单元606，还用于将所述每个子任务的处理结果返回给用户。
可选地，所述处理单元，具体用于：
分别确定与每个子任务对应的机器人流程自动化应用程序；
分别调用每个机器人流程自动化应用程序执行对应的子任务，得到每个子任务的处理结果。
由此可知，本申请实施例提供了一种问答任务处理装置，若检索到用户输入的目标问题存在对应的专业回复，便可以将该专业回复作为目标答案返回给用户；若目标问题不存在对应的专业回复，再通过确定对应的目标大规模语言模型来生成目标答案，从而可以避免大规模语言模型在专业领域的问答过程中出现人工智能幻觉的现象，提高大规模语言模型答复的准确性。
本申请实施例还提供了一种计算机设备，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现上述所述的任意一种问答任务处理方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
本申请实施例还提供了一种计算机可读存储介质，存储有指令，当其在计算机上运行时，使得计算机执行如上述所述的任意一种问答任务处理方法。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种问答任务处理方法，其特征在于，所述方法包括：
接收用户输入的目标问题；
判断所述目标问题是否存在专业回复；
若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；
若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；
根据所述目标问题从多模态记忆库中获取答复素材；
将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；
将所述目标答案返回给所述用户。
2.根据权利要求1所述的方法，其特征在于，所述判断所述目标问题是否存在专业回复，包括：
获取所述多模态记忆库中存储的专业问题，所述多模态记忆库包括每个所述专业问题对应的专业回复；
将所述目标问题与所述专业问题进行语义分析对比，得到语义相似度；
若所述语义相似度高于预设阈值，则确定所述目标问题存在专业回复，并将语义相似度最高的专业问题对应的专业回复作为所述目标问题的专业回复；
若所述语义相似度低于预设阈值，则确定所述目标问题不存在专业回复。
3.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题确定目标大规模语言模型，包括：
获取所述目标问题对应的领域和所述用户的问答需求；
根据所述领域和所述问答需求确定所述目标大规模语言模型。
4.根据权利要求1所述的方法，其特征在于，所述根据所述目标问题从多模态记忆库中获取答复素材，包括：
获取所述目标大规模语言模型对应的目标流程模板；
根据所述目标问题和所述目标流程模板从所述多模态记忆库中获取答复素材。
5.根据权利要求1所述的方法，其特征在于，在所述接收用户输入的目标问题之前，所述方法还包括：
接收用户输入的实时私域数据，所述实时私域数据包括专业问题和所述专业问题对应的专业答复；
对所述实时私域数据进行预处理，得到待存储数据；
将所述待存储数据存储于所述多模态记忆库中。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收用户输入的复杂任务；
判断所述复杂任务是否存在对应的目标拆解模版；
若所述复杂任务存在对应的目标拆解模版，根据所述目标拆解模版对所述复杂任务进行拆解，得到多个子任务；
若所述复杂任务不存在对应的目标拆解模版，则基于任务拆解模型对所述复杂任务进行拆解，得到多个子任务；
分别对每个子任务进行处理，得到所述每个子任务的处理结果；
将所述每个子任务的处理结果返回给用户。
7.根据权利要求6所述的方法，其特征在于，所述分别对每个子任务进行处理，得到所述每个子任务的处理结果，包括：
分别确定与每个子任务对应的机器人流程自动化应用程序；
分别调用每个机器人流程自动化应用程序执行对应的子任务，得到每个子任务的处理结果。
8.一种问答任务处理装置，其特征在于，所述装置包括：
接收单元，用于接收用户输入的目标问题；
判断单元，判断所述目标问题是否存在专业回复；
获取单元，若所述目标问题存在专业回复，获取所述专业回复，并将所述专业回复作为目标答案；
确定单元，若所述目标问题不存在专业回复，根据所述目标问题确定目标大规模语言模型；
所述获取单元，还用于根据所述目标问题从多模态记忆库中获取答复素材；
生成单元，用于将所述目标问题和所述答复素材输入所述目标大规模语言模型生成所述目标问题的目标答案；
返回单元，用于将所述目标答案返回给所述用户。
9.一种计算机设备，其特征在于，包括：存储器、处理器以及总线系统；
其中，所述存储器用于存储程序；
所述处理器用于执行所述存储器中的程序，以实现权利要求1至7中任一项所述的方法；
所述总线系统用于连接所述存储器以及所述处理器，以使所述存储器以及所述处理器进行通信。
10.一种计算机可读存储介质，其特征在于，存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311571284.5A CN117520514A (zh) | 2023-11-23 | 2023-11-23 | 一种问答任务处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311571284.5A CN117520514A (zh) | 2023-11-23 | 2023-11-23 | 一种问答任务处理方法、装置、设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117520514A true CN117520514A (zh) | 2024-02-06 |
Family
ID=89745315
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311571284.5A Pending CN117520514A (zh) | 2023-11-23 | 2023-11-23 | 一种问答任务处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117520514A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828064A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
-
2023
- 2023-11-23 CN CN202311571284.5A patent/CN117520514A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117828064A (zh) * | 2024-03-05 | 2024-04-05 | 之江实验室 | 一种问答系统及问答系统的构建方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20240086793A1 (en) | Omnichannel, intelligent, proactive virtual agent | |
| CN107735804B (zh) | 用于不同标记集合的转移学习技术的系统和方法 | |
| Evermann et al. | Toward formalizing domain modeling semantics in language syntax | |
| Noran | An analysis of the Zachman framework for enterprise architecture from the GERAM perspective | |
| US11126938B2 (en) | Targeted data element detection for crowd sourced projects with machine learning | |
| CN116775183A (zh) | 基于大语言模型的任务生成方法、系统、设备及存储介质 | |
| US20230109545A1 (en) | System and method for an artificial intelligence data analytics platform for cryptographic certification management | |
| CN117520514A (zh) | 一种问答任务处理方法、装置、设备及可读存储介质 | |
| CN111930912A (zh) | 对话管理方法及系统、设备和存储介质 | |
| Liu et al. | Information recommendation based on domain knowledge in app descriptions for improving the quality of requirements | |
| CN115803734A (zh) | 使用动作解释的自然语言丰富 | |
| Berkani et al. | A value-added approach to design BI applications | |
| Baeva et al. | Ontology based resource for history education | |
| US10318528B2 (en) | Query response using mapping to parameterized report | |
| CN116975254A (zh) | 可视化数据的呈现方法、装置和存储介质 | |
| US9189249B2 (en) | Method for automatically defining icons | |
| Körner et al. | Mastering Azure Machine Learning: Perform large-scale end-to-end advanced machine learning in the cloud with Microsoft Azure Machine Learning | |
| JP2019071106A (ja) | 企業にとって関連する情報を識別する、システム及び方法 | |
| CN115269862A (zh) | 一种基于知识图谱的电力问答与可视化系统 | |
| US20180150543A1 (en) | Unified multiversioned processing of derived data | |
| Li et al. | A Web application framework for end-user-initiative development with a visual tool | |
| Esteves et al. | Mex interfaces: Automating machine learning metadata generation | |
| CN116737964B (zh) | 一种人工智能大脑系统 | |
| Debattista et al. | Semantic data ingestion for intelligent, value-driven big data analytics | |
| Kalfoglou et al. | On interoperability of ontologies for web-based educational systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |