CN111767382A - 生成反馈信息的方法、装置及终端设备 - Google Patents
生成反馈信息的方法、装置及终端设备 Download PDFInfo
- Publication number
- CN111767382A CN111767382A CN202010615084.5A CN202010615084A CN111767382A CN 111767382 A CN111767382 A CN 111767382A CN 202010615084 A CN202010615084 A CN 202010615084A CN 111767382 A CN111767382 A CN 111767382A
- Authority
- CN
- China
- Prior art keywords
- information
- answer
- question
- target
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000002159 abnormal effect Effects 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 7
- 238000013499 data model Methods 0.000 claims description 6
- 238000003708 edge detection Methods 0.000 claims description 4
- 239000000463 material Substances 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 9
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000012423 maintenance Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000009223 counseling Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
Abstract
本申请适用于智能决策技术领域，也适用于人工智能技术领域，其中，提供的一种生成反馈信息的方法，包括：根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。通过上述方法，可以提升线上智能咨询过程中输出的反馈信息与用户需求的匹配度。
Description
技术领域
本申请涉及智能决策技术领域，尤其涉及生成反馈信息的方法、生成反馈信息的装置、终端设备及计算机可读存储介质。
背景技术
为了更好的提供服务大众，各类企业、政府部门等都会提供线上智能咨询服务。然而，线上智能咨询服务所对应的数据库中的数据量等信息会随着工作人员的维护而不断变化，但目前的线上智能咨询服务往往无法适应数据库的数据量的变化，导致输出的反馈信息的准确度较差，与用户需求的匹配度较差，影响用户的使用体验。
发明内容
有鉴于此，本申请实施例提供了生成反馈信息的方法、生成反馈信息的装置、终端设备及计算机可读存储介质，可以提升线上智能咨询过程中输出的反馈信息与用户需求的匹配度。
第一方面，本申请实施例提供了一种生成反馈信息的方法，包括：
根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；
通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；
将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；
根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
第二方面，本申请实施例提供了一种生成反馈信息的装置，包括：
第一确定模块，用于根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；
第二确定模块，用于通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；
处理模块，用于将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；
第三确定模块，用于根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器、显示器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如第一方面所述的生成反馈信息的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的生成反馈信息的方法。
实施本申请实施例提供的生成反馈信息的方法、生成反馈信息的装置、终端设备及计算机可读存储介质具有以下有益效果：
本申请实施例中，可以根据预设语料库的语料数据量，确定答案生成模型，再通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息，其中，由于所述答案生成模型是根据所述预设语料库的语料数据量确定，因此，所采用的答案生成模型能够基于预设语料库建立用户提问与预设答案之间更为准确的对应关系，从而基于所述预设预料库获得与所述用户提问信息更为匹配的目标答案信息，并且，所述目标语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问，因此，任一标准答可以存在对应的标准问和相似问，以能够更好地适应不同用户的差异化的表述方式，更准确地匹配用户提问；然后，将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度，再根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，可以根据所述目标匹配度确定所述目标答案信息是否符合期望，从而确定对用户的反馈信息，以提升输出的反馈信息与用户需求的匹配度，从而提升输出的反馈信息的准确度，改善用户的使用体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种生成反馈信息的方法的流程示意图；
图2是本申请一实施例提供的另一种生成反馈信息的方法的流程示意图；
图3是本申请一实施例提供的再一种生成反馈信息的方法的流程示意图；
图4是本申请一实施例提供的一种生成反馈信息的装置的结构示意图；
图5是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的生成反馈信息的方法可以应用于服务器、台式电脑、手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等终端设备上，本申请实施例对终端设备的具体类型不作任何限制。
请参阅图1，图1示出了本申请实施例提供的一种信息处理方法的流程图。
本申请实施例可以应用于各类业务系统中，其中，该业务系统的具体应用场景可以根据实际需要来确定。在一些实施例中，所述业务系统可以为购物系统、政府服务系统(例如财政系统)、特定应用领域的管理系统等等。
在一种具体示例中，本实施例的一种具体应用场景可以为财政服务部门的线上财政咨询服务。由于财政领域的相关流程、服务的专业性较强，对线上咨询的服务能力要求较高，导致相关运维的人工成本、时间成本较大。而通过本申请实施例，可以高效方便地实现对相关财务政策、流程等事务的线上咨询服务，并能够提升输出的反馈信息与用户需求的匹配度，从而大大提升相关用户的使用体验。
如图1所示，本实施例提供的一种信息处理方法可以包括：
步骤S101，根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问。
本申请实施例中，所述预设语料库中的标准问答数据和相似问数据可以是预先基于人工经验采集得到，或者基于特定的机器学习算法等人工智能算法生成。所述答案生成模型的类型可以有多种，例如，在一些示例中，可以为基于统计学方法的答案生成模型、基于概率网络的答案生成模型，也可以基于特定机器学习算法的答案生成模型等等人工智能算法模型。
其中，示例性的，所述标准问答数据可以根据运维人员的工作经验人工整理得到，还可以基于用户与运维人员之间的咨询记录获取到，具体的，可以基于预设的规则算法，从所述咨询记录中提取用户的提问和运维人员的相应回答，并通过人工确认提取出的提问和相应回答中，哪一些可以作为标准问答数据，从而结合预设的规则算法和人工实现对标准问答数据的半自动提取。所述相似问可以根据所述标准问进行人工拓展而得到，也可以采用训练后的生成式对抗网络中的生成网络来生成。
本申请实施例中，针对实际情况中语料数据量的大小，预先选择不同的答案生成模型，可以针对所述预设语料库的语料数据量选择通过更合适的答案生成模型来生成答案，从而提升所得到的目标答案信息与用户提问的匹配程度。
在一些实施例中，在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
获取所述标准问答数据；
根据所述标准问答数据，通过训练后的生成式对抗网络中的生成网络，生成各个标准问所分别对应的相似问；
根据所述标准问答数据和所述相似问，获得所述目标语料库。
本申请实施例中，所述相似问可以采用训练后的生成式对抗网络中的生成网络来生成。其中，所述生成式对抗网络包括生成网络G(Generator)和判别网络D(Discriminator)。生成网络G可以用于生成问题。
具体的，生成网络G可以接收一个随机输入z，通过这个随机输入生成句子，记做G(z)。判别网络D用于判别生成网络G所生成的句子是否为标准问。它的输入参数是G(z)，输出D(x)代表G(z)为标准问的概率。如果输出D(x)为1，就表示生成网络G将随机输入z生成了和标准问一致的句子；而若输出D(x)为0，就代表生成的句子G(z)不可能是标准问。在训练过程中，生成网络G的目标就是尽量生成真实的问题去欺骗判别网络D，而D的目标就是尽量把生成网络G生成的句子和真实的标准问区分开。训练完成后，生成网络G可以生成可信度足够高的句子G(z)。对判别网络D来说，则难以判定生成网络G生成的句子究竟是不是真实的标准问。具体的，可以通过相应的损失函数判断所述训练是否完成。
训练完成后，可以通过训练后的生成式对抗网络中的生成网络G生成预设语料库中的各个标准问的相似问，以对所述预设语料库进行扩充。
在咨询过程中，不同用户对同一疑惑进行提问时的表达方式常常存在差异。因此，通过获得各个标准问所分别对应的相似问，可以扩充所述预设语料库中所存储有的提问方式的形式，以能够更好地识别不同用户的差异化的表述方式并匹配到较为准确的目标答案信息。
在一些实施例中，所述根据预设语料库的语料数据量，确定答案生成模型，包括：
若所述目标语料库的语料数据量处于第一数据区间，则确定所述答案生成模型为基于Jaccard系数的预设数据模型；
若所述目标语料库的语料数据量处于第二数据区间，则确定所述答案生成模型为预设概率网络模型，其中，所述第二数据区间的下限不小于所述第一数据区间的上限；
若所述目标语料库的语料数据量处于第三数据区间，则确定所述答案生成模型为混合模型，其中，所述混合模型包括生成模型和检索模型，所述第三数据区间的下限不小于所述第二数据区间的上限。
本申请实施例中，所述基于Jaccard系数的预设数据模型可以通过Jaccard系数计算字符串之间的相似度。此时，当语料数据量较小时，通过基于Jaccard系数的预设数据模型可以较为快速准确地检测出所述预设语料库中与所述用户提问信息相似度最高的、最匹配的目标问题以及相应的目标答案信息。
所述预设概率网络模型可以为诸如贝叶斯网络、马尔可夫网络或者隐马尔可夫网络等等。为了提升所述预设概率网络的性能，所述预设概率网络模型可以为基于Embedding的预设概率网络模型。其中，所述Embedding为一种将离散变量转变为连续向量的方式。通过所述Embedding，可以实现相似问题的快速筛选和匹配，因此，在有一定的语料数据量的情况下依然可以较为快速准确地检测出目标问题。所述第二数据区间的具体设置可以根据实际经验、测试等来确定。
所述混合模型可以包括生成模型和检索模型。其中，可以向所述生成模型输入所述用户提问信息，并获得所述生成模型根据用户提问信息所输出的初始答案，所述初始答案被输入所述检索模型中，所述检索模型可以采用NLP语义匹配等方式，将所述初始答案与数据库存放的答案进行检索，即选择相似度最大的答案作为输出，即获取与所述用户提问信息相对应的目标答案信息和所述目标匹配度。示例性的，所述生成模型可以采用基于BiLSTM和注意力机制的Encoder-Decoder结构。相比于单一的模型，所述混合模型可以实现至少两个层次的筛选和匹配，因此，通过所述混合模型能够在从数据量较大的预设语料库中识别出较为匹配的目标问题以及目标答案信息。
步骤S102，通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息。
本申请实施例中，示例性的，所述用户提问信息可以是用户通过对话框等特定前端界面输入相应的业务系统的；此外，也可以是根据用户对相关显示界面的显示操作而生成的，例如，可以是在检测到用户的异常操作之后，根据所述异常操作而生成的。
在一些示例中，所述用户提问信息可以为对特定的用户输入信息进行信息提取之后得到的。具体的，可以获取用户输入信息，并对所述用户输入信息进行信息提取，获得所述用户提问信息。其中，所述用户输入信息可以包括文本信息和/或图片，若所述用户输入信息包括文本信息，则可以对所述文本信息进行关键词提取，获得所述用户提问信息。而若所述用户输入信息包括图片，则可以对所述图片信息进行图像特征提取或者通过光学字符识别(OpticalCharacter Recognition，OCR)等方式获取所述图片信息中的文字内容，从而获得图片中的信息作为所述用户提问信息。其中，所述图片可以是本地存储的，或者，也可以是用户对包含所述提示信息的显示界面进行截图，或者业务系统在检测到包含关于异常操作的提示信息的弹窗之后，自动进行截图所得到的。所述图片的具体获取方式可以有多种。
本申请实施例中，从所述预设语料库中确定目标答案信息的方式可以有多种。例如，可以通过所述答案生成模型从所述预设语料库中确定与所述用户提问信息相似度最高的目标问题，将所述目标问题与所述用户提问信息之间的相似度作为目标匹配度，并从所述预设语料库中获取与所述目标问题相对应的目标答案信息。此外，也可以将所述用户提问信息输入答案生成模型，获得所述答案生成模型所得到目标答案信息。
其中，所选择的答案生成模型不同，具体的获取方式也不同。例如，若所述答案生成模型为基于Jaccard系数的预设数据模型，则可以通过Jaccard系数分别计算用户提问信息与所述预设语料库中的各个预设问题之间的相似度。若所述答案生成模型为预设概率网络模型，则可以将所述用户提问信息输入所述预设概率网络模型，获得所述概率网络模型输出的与所述用户提问信息相似度最高的目标问题，从而根据所述目标问题确定目标答案信息和目标匹配度。若所述答案生成模型为混合模型，则可以将所述用户提问信息输入所述混合模型，获得所述混合模型输出的目标答案信息和目标匹配度。
在一些实施例中，在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
步骤S201，若检测到预设业务系统的操作界面中显示有提示窗口，则对所述操作界面进行截图操作，获得截图图片，其中，所述提示窗口中包含关于在所述操作界面中的异常操作的信息；
步骤S202，对所述截图图片进行边缘检测，以确定所述提示窗口所在的区域；
步骤S203，对所述提示窗口所在的区域进行文本识别，以获取所述提示窗口中的目标文本信息；
步骤S204，从所述目标文本信息中提取所述异常操作的标识信息，并将所述异常操作的标识信息作为至少部分所述用户提问信息。
本申请实施例中，示例性的，所述异常操作可以为用户的错误操作、频率过快的操作或者结果异常的操作等等，所述异常操作的划分可以根据具体业务场景来确定。相关业务系统在检测到异常操作之后，往往会根据预先设置和所述异常操作生成并显示提示窗口，以通知用户。示例性的，提示窗口中可以包括用户的异常操作的所对应的异常编号、异常操作内容、异常操作结果等信息，因此，通过对所述操作界面进行截图操作获得截图图片，可以自动捕捉异常操作的操作信息并进行信息提取，并将获得的异常编号、异常操作内容、异常操作结果等信息中的至少一种作为用户提问信息中的至少部分内容，而无需用户自行组织语言再输入到相关业务系统中，大大提升了信息获取效率。
现有技术中，线上咨询所采用的用户提问方式通常仅为输入文本信息，即相应的应用往往仅可以接收用户输入的文本输入信息，而无法接收和处理其他类型的输入信息，更不能自动获取。而本申请实施例中，所述用户提问信息的来源可以不仅仅局限于文本信息，而能够通过截图等方式，获取相应的业务系统界面信息并进行信息提取以作为用户提问信息，提升了线上咨询方式的多样性和线上咨询操作的便捷性。
在一些实施例中，在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
步骤S301，若显示界面中弹出咨询对话框，则根据用户的历史浏览记录，生成并显示至少一个预估问题；
步骤S302，将所述用户选定的预估问题作为至少部分所述用户提问信息。
其中，所述咨询对话框可以在检测到用户对诸如业务系统中显示的智能客服图标等的点击操作之后弹出。生成所述预估问题的具体方式可以有多种，例如，可以提取所述历史浏览记录的相关界面的关键词，并根据该关键词生成所述预估问题；此外，也可以对用户的历史浏览记录所对应的浏览对象的类别等信息进行统计，并根据统计结果生成所述预估问题。
步骤S103，将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度。
本申请实施例中，所述目标匹配度可以用于反映所述目标答案信息是否符合期望，从而在后续确定对用户的反馈信息，以提升输出的反馈信息与用户需求的匹配度。
步骤S104，根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
本申请实施例中，对于处于不同预设区间的目标匹配度，可以采取不同的反馈方式，获得不同的反馈信息。例如，若所述目标匹配度较高(如大于90％等)，则所述反馈信息可以包括所述目标答案信息；但若所述目标匹配度较低，如小于40％，则所述反馈信息中可以包括其他信息，如引导用户进一步提问的引导信息等等。
在一些实施例中，所述根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，包括：
若所述目标匹配度小于第一匹配度，则确定所述反馈信息包括指示无法回答用户提问的指示信息，和/或包括询问用户是否转人工服务的询问信息；
若所述目标匹配度不小于第一匹配度且小于第二匹配度，则在所述预设预料库中查找与所述用户提问信息的相似度最高的N个问题，将所述相似度最高的N个问题作为备选问题并在咨询对话框中进行显示，以询问用户所要问的问题是否在所显示的N个所述备选问题中，其中，N为正整数；
若所述目标匹配度不小于所述第二匹配度，则确定所述反馈信息包括所述目标答案信息。
本申请实施例中，根据所述目标匹配度确定所述目标答案信息是否符合期望，从而确定对用户的反馈信息，可以提升输出的反馈信息与用户需求的匹配度，从而提升输出的反馈信息的准确度，改善用户的使用体验。
在一些实施例中，所述生成反馈信息的方法还包括：
统计第一时间段内的会话信息，其中，所述会话信息包括第一时间段内的用户提问信息和相应的反馈信息；
将所述会话信息与历史会话信息进行比对，以检测所述会话信息是否存在异常，其中，所述历史会话信息的生成时间早于所述会话信息；
若检测到所述会话信息存在异常，则生成异常提示信息。
本申请实施例中，示例性的，可以通过Z分数等方式来进行异常值分析，以检测所述会话信息是否存在异常。其中，Z分数(z-score)，又被称作标准分数(standard score)，衡量的是一组数据中的每一个数据与整组数据的平均值之间的偏离程度，即以标准差为单位表示一个具体数据到平均数的距离或离差。此外，也可以通过其他算法，如计算诸如咨询量、咨询人数等等特征数据的变化情况等等，来检测所述会话信息是否存在异常。例如，可以比对所述会话信息与历史会话信息之间的数据量、关键词(如差评评论)的出现频率等等，以判断所述会话信息是否出现异常。确定所述会话信息是否异常的方式可以根据实际场景需求等来确定。所述异常提示信息可以用于提示相关管理人员进行排查。
在一些实施例中，所述生成反馈信息的方法还包括：
统计第二时间段内的用户提问信息中出现的各个提问的出现次数；
根据所述出现次数由多到少的顺序，对各个提问进行排序，获得当前排序结果；
根据所述当前排序结果生成报告。
此外，还可以将所述当前排序结果与历史排序结果进行比对，获得比对结果，并根据所述排序结果和所述比对结果生成报告，以使得相关管理人员可以及时发现问题。例如，所述报告中可以指出业务系统X中提问A的出现次数较前一时间段明显增多，则管理员可以根据该报告优先维护业务系统X中提问A所涉及的问题，提高用户满意度。
在一些实施例中，可以根据用户对所述反馈信息的回复，收集尚未能解答的用户提问信息，并以一定的周期，将尚未能解答的用户提问信息以报告、表格、文档等形式发送给相关管理人员。
在一些实施例中，可以进一步接收相关管理人员重新整理的所述尚未能解决的用户提问信息及其相对应的回答，以迭代训练相应的答案生成模型，例如迭代训练所述生成式对抗网络、预设概率网络模型、包括生成模型和检索模型的混合模型等等。通过迭代，可以将新增内容加入至现有的答案生成模型中，提高维护效率。
本申请实施例中，可以根据预设语料库的语料数据量，确定答案生成模型，再通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息，其中，由于所述答案生成模型是根据所述预设语料库的语料数据量确定，因此，所采用的答案生成模型能够基于预设语料库建立用户提问与预设答案之间更为准确的对应关系，从而基于所述预设预料库获得与所述用户提问信息更为匹配的目标答案信息，并且，所述目标语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问，因此，任一标准答可以存在对应的标准问和相似问，以能够更好地适应不同用户的差异化的表述方式，更准确地匹配用户提问；然后，将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度，再根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，可以根据所述目标匹配度确定所述目标答案信息是否符合期望，从而确定对用户的反馈信息，以提升输出的反馈信息与用户需求的匹配度，从而提升输出的反馈信息的准确度，改善用户的使用体验。
请参阅图4，图4是本申请实施例提供的一种生成反馈信息的装置的结构框图。本实施例中该终端设备包括的各单元用于执行上述各个生成反馈信息的方法实施例中的各步骤。具体请参阅上述生成反馈信息的方法所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。
参照图4，该生成反馈信息的装置4包括：
第一确定模块401，用于根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；
第二确定模块402，用于通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；
处理模块403，用于将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；
第三确定模块404，用于根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
可选的，所述生成反馈信息的装置4还包括：
截图模块，用于若检测到预设业务系统的操作界面中显示有提示窗口，则对所述操作界面进行截图操作，获得截图图片，其中，所述提示窗口中包含关于在所述操作界面中的异常操作的信息；
边缘检测模块，用于对所述截图图片进行边缘检测，以确定所述提示窗口所在的区域；
文本识别模块，用于对所述提示窗口所在的区域进行文本识别，以获取所述提示窗口中的目标文本信息；
提取模块，用于从所述目标文本信息中提取所述异常操作的标识信息，并将所述异常操作的标识信息作为至少部分所述用户提问信息。
可选的，所述生成反馈信息的装置4还包括：
第二处理模块，用于若显示界面中弹出咨询对话框，则根据用户的历史浏览记录，生成并显示至少一个预估问题；
设置模块，用于将所述用户选定的预估问题作为至少部分所述用户提问信息。
可选的，所述第一确定模块401具体包括：
第一确定单元，用于若所述目标语料库的语料数据量处于第一数据区间，则确定所述答案生成模型为基于Jaccard系数的预设数据模型；
第二确定单元，用于若所述目标语料库的语料数据量处于第二数据区间，则确定所述答案生成模型为预设概率网络模型，其中，所述第二数据区间的下限不小于所述第一数据区间的上限；
第三确定单元，用于若所述目标语料库的语料数据量处于第三数据区间，则确定所述答案生成模型为混合模型，其中，所述混合模型包括生成模型和检索模型，所述第三数据区间的下限不小于所述第二数据区间的上限。
可选的，所述生成反馈信息的装置4还包括：
获取模块，用于获取所述标准问答数据；
第一生成模块，用于根据所述标准问答数据，通过训练后的生成式对抗网络中的生成网络，生成各个标准问所分别对应的相似问；
第三处理模块，用于根据所述标准问答数据和所述相似问，获得所述目标语料库。
可选的，所述第二确定模块403具体包括：
第四确定单元，用于若所述目标匹配度小于第一匹配度，则确定所述反馈信息包括指示无法回答用户提问的指示信息，和/或包括询问用户是否转人工服务的询问信息；
显示单元，用于若所述目标匹配度不小于第一匹配度且小于第二匹配度，则在所述预设预料库中查找与所述用户提问信息的相似度最高的N个问题，将所述相似度最高的N个问题作为备选问题并在咨询对话框中进行显示，以询问用户所要问的问题是否在所显示的N个所述备选问题中，其中，N为正整数；
第五确定单元，用于若所述目标匹配度不小于所述第二匹配度，则确定所述反馈信息包括所述目标答案信息。
可选的，所述生成反馈信息的装置4还包括：
统计模块，用于统计第一时间段内的会话信息，其中，所述会话信息包括第一时间段内的用户提问信息和相应的反馈信息；
比对模块，用于将所述会话信息与历史会话信息进行比对，以检测所述会话信息是否存在异常，其中，所述历史会话信息的生成时间早于所述会话信息；
第二生成模块，用于若检测到所述会话信息存在异常，则生成异常提示信息。
本申请实施例中，可以根据预设语料库的语料数据量，确定答案生成模型，再通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息，其中，由于所述答案生成模型是根据所述预设语料库的语料数据量确定，因此，所采用的答案生成模型能够基于预设语料库建立用户提问与预设答案之间更为准确的对应关系，从而基于所述预设预料库获得与所述用户提问信息更为匹配的目标答案信息，并且，所述目标语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问，因此，任一标准答可以存在对应的标准问和相似问，以能够更好地适应不同用户的差异化的表述方式，更准确地匹配用户提问；然后，将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度，再根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，可以根据所述目标匹配度确定所述目标答案信息是否符合期望，从而确定对用户的反馈信息，以提升输出的反馈信息与用户需求的匹配度，从而提升输出的反馈信息的准确度，改善用户的使用体验。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5是本申请另一实施例提供的一种终端设备的结构框图。如图5所示，该实施例的终端设备5包括：处理器51、存储器52以及存储在所述存储器52中并可在所述处理器51上运行的计算机程序53，例如生成反馈信息的方法的程序。处理器51执行所述计算机程序53时实现上述各个生成反馈信息的方法各实施例中的步骤，例如图1所示的S101至S104，或者图2所示的S201至S204，或者图3所示的S301至S302。或者，所述处理器51执行所述计算机程序53时实现上述图4对应的实施例中各单元和/或各模块的功能，例如，图4所示的模块401至404的功能，具体请参阅图4对应的实施例中的相关描述，此处不赘述。
示例性的，所述计算机程序53可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器52中，并由所述处理器51执行，以完成本申请。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序53在所述终端设备50中的执行过程。例如，所述计算机程序53可以被分割成第一确定模块、第二确定模块、处理模块以及第三确定模块，各单元具体功能如上所述。
所述终端设备可包括，但不仅限于，处理器51、存储器52。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述转台设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器51可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器52可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器52也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器52还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器52用于存储所述计算机程序以及所述转台设备所需的其他程序和数据。所述存储器52还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例中，上述处理器50执行上述计算机程序52以实现上述任意各个生成反馈信息的方法实施例中的步骤时，可以根据预设语料库的语料数据量，确定答案生成模型，再通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息，其中，由于所述答案生成模型是根据所述预设语料库的语料数据量确定，因此，所采用的答案生成模型能够基于预设语料库建立用户提问与预设答案之间更为准确的对应关系，从而基于所述预设预料库获得与所述用户提问信息更为匹配的目标答案信息，并且，所述目标语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问，因此，任一标准答可以存在对应的标准问和相似问，以能够更好地适应不同用户的差异化的表述方式，更准确地匹配用户提问；然后，将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度，再根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，可以根据所述目标匹配度确定所述目标答案信息是否符合期望，从而确定对用户的反馈信息，以提升输出的反馈信息与用户需求的匹配度，从而提升输出的反馈信息的准确度，改善用户的使用体验。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个生成反馈信息的方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个生成反馈信息的方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种生成反馈信息的方法，其特征在于，包括：
根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；
通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；
将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；
根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
2.如权利要求1所述的生成反馈信息的方法，其特征在于，在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
若检测到预设业务系统的操作界面中显示有提示窗口，则对所述操作界面进行截图操作，获得截图图片，其中，所述提示窗口中包含关于在所述操作界面中的异常操作的信息；
对所述截图图片进行边缘检测，以确定所述提示窗口所在的区域；
对所述提示窗口所在的区域进行文本识别，以获取所述提示窗口中的目标文本信息；
从所述目标文本信息中提取所述异常操作的标识信息，并将所述异常操作的标识信息作为至少部分所述用户提问信息。
3.如权利要求1所述的生成反馈信息的方法，其特征在于，在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
若显示界面中弹出咨询对话框，则根据用户的历史浏览记录，生成并显示至少一个预估问题；
将所述用户选定的预估问题作为至少部分所述用户提问信息。
4.如权利要求1所述的生成反馈信息的方法，其特征在于，所述根据预设语料库的语料数据量，确定答案生成模型，包括：
若所述目标语料库的语料数据量处于第一数据区间，则确定所述答案生成模型为基于Jaccard系数的预设数据模型；
若所述目标语料库的语料数据量处于第二数据区间，则确定所述答案生成模型为预设概率网络模型，其中，所述第二数据区间的下限不小于所述第一数据区间的上限；
若所述目标语料库的语料数据量处于第三数据区间，则确定所述答案生成模型为混合模型，其中，所述混合模型包括生成模型和检索模型，所述第三数据区间的下限不小于所述第二数据区间的上限。
5.如权利要求1所述的生成反馈信息的方法，其特征在于，
在通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息之前，还包括：
获取所述标准问答数据；
根据所述标准问答数据，通过训练后的生成式对抗网络中的生成网络，生成各个标准问所分别对应的相似问；
根据所述标准问答数据和所述相似问，获得所述目标语料库。
6.如权利要求1所述的生成反馈信息的方法，其特征在于，所述根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息，包括：
若所述目标匹配度小于第一匹配度，则确定所述反馈信息包括指示无法回答用户提问的指示信息，和/或包括询问用户是否转人工服务的询问信息；
若所述目标匹配度不小于第一匹配度且小于第二匹配度，则在所述预设预料库中查找与所述用户提问信息的相似度最高的N个问题，将所述相似度最高的N个问题作为备选问题并在咨询对话框中进行显示，以询问用户所要问的问题是否在所显示的N个所述备选问题中，其中，N为正整数；
若所述目标匹配度不小于所述第二匹配度，则确定所述反馈信息包括所述目标答案信息。
7.如权利要求1至6任意一项所述的生成反馈信息的方法，其特征在于，还包括：
统计第一时间段内的会话信息，其中，所述会话信息包括第一时间段内的用户提问信息和相应的反馈信息；
将所述会话信息与历史会话信息进行比对，以检测所述会话信息是否存在异常，其中，所述历史会话信息的生成时间早于所述会话信息；
若检测到所述会话信息存在异常，则生成异常提示信息。
8.一种生成反馈信息的装置，其特征在于，包括：
第一确定模块，用于根据预设语料库的语料数据量，确定答案生成模型，其中，所述预设语料库包括标准问答数据和相似问数据，所述标准问答数据中包括至少一个标准问和各个所述标准问所分别对应的标准答，所述相似问数据包括各个标准问所分别对应的相似问；
第二确定模块，用于通过所述答案生成模型，根据用户提问信息，从所述预设语料库中确定目标答案信息；
处理模块，用于将所述目标答案信息与所述用户提问信息之间的匹配度作为目标匹配度；
第三确定模块，用于根据所述目标答案信息和所述目标匹配度，确定对用户的反馈信息。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的生成反馈信息的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的生成反馈信息的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010615084.5A CN111767382A (zh) | 2020-06-30 | 2020-06-30 | 生成反馈信息的方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010615084.5A CN111767382A (zh) | 2020-06-30 | 2020-06-30 | 生成反馈信息的方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111767382A true CN111767382A (zh) | 2020-10-13 |
Family
ID=72723152
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010615084.5A Pending CN111767382A (zh) | 2020-06-30 | 2020-06-30 | 生成反馈信息的方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111767382A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418875A (zh) * | 2020-10-21 | 2021-02-26 | 航天信息股份有限公司 | 跨平台税务智能客服语料迁移方法及装置 |
| CN112417128A (zh) * | 2021-01-21 | 2021-02-26 | 中国平安人寿保险股份有限公司 | 话术推荐方法、装置、计算机设备及存储介质 |
| CN116303919A (zh) * | 2022-11-30 | 2023-06-23 | 荣耀终端有限公司 | 一种问答方法及系统 |
| CN116975395A (zh) * | 2023-09-22 | 2023-10-31 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
| CN117094304A (zh) * | 2023-10-18 | 2023-11-21 | 湖北华中电力科技开发有限责任公司 | 一种应用于电网领域技术标准制修订的提示方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631022A (zh) * | 2015-12-29 | 2016-06-01 | 上海智臻智能网络科技股份有限公司 | 信息处理方法及装置 |
| CN109388697A (zh) * | 2018-10-10 | 2019-02-26 | 成都小多科技有限公司 | 处理问答语料的方法、装置及电子终端 |
| CN109857850A (zh) * | 2019-01-18 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 咨询请求处理方法、装置、计算机设备及存储介质 |
| CN110795548A (zh) * | 2019-10-25 | 2020-02-14 | 招商局金融科技有限公司 | 智能问答方法、装置及计算机可读存储介质 |
| CN110990546A (zh) * | 2019-11-29 | 2020-04-10 | 中国银行股份有限公司 | 智能问答语料库更新方法和装置 |
-
2020
- 2020-06-30 CN CN202010615084.5A patent/CN111767382A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105631022A (zh) * | 2015-12-29 | 2016-06-01 | 上海智臻智能网络科技股份有限公司 | 信息处理方法及装置 |
| CN109388697A (zh) * | 2018-10-10 | 2019-02-26 | 成都小多科技有限公司 | 处理问答语料的方法、装置及电子终端 |
| CN109857850A (zh) * | 2019-01-18 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 咨询请求处理方法、装置、计算机设备及存储介质 |
| CN110795548A (zh) * | 2019-10-25 | 2020-02-14 | 招商局金融科技有限公司 | 智能问答方法、装置及计算机可读存储介质 |
| CN110990546A (zh) * | 2019-11-29 | 2020-04-10 | 中国银行股份有限公司 | 智能问答语料库更新方法和装置 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112418875A (zh) * | 2020-10-21 | 2021-02-26 | 航天信息股份有限公司 | 跨平台税务智能客服语料迁移方法及装置 |
| CN112418875B (zh) * | 2020-10-21 | 2024-03-26 | 航天信息股份有限公司 | 跨平台税务智能客服语料迁移方法及装置 |
| CN112417128A (zh) * | 2021-01-21 | 2021-02-26 | 中国平安人寿保险股份有限公司 | 话术推荐方法、装置、计算机设备及存储介质 |
| CN116303919A (zh) * | 2022-11-30 | 2023-06-23 | 荣耀终端有限公司 | 一种问答方法及系统 |
| CN116975395A (zh) * | 2023-09-22 | 2023-10-31 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
| CN116975395B (zh) * | 2023-09-22 | 2024-01-23 | 安徽淘云科技股份有限公司 | 错误反馈数据的处理方法、装置、设备以及介质 |
| CN117094304A (zh) * | 2023-10-18 | 2023-11-21 | 湖北华中电力科技开发有限责任公司 | 一种应用于电网领域技术标准制修订的提示方法和系统 |
| CN117094304B (zh) * | 2023-10-18 | 2024-01-23 | 湖北华中电力科技开发有限责任公司 | 一种应用于电网领域技术标准制修订的提示方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111767382A (zh) | 生成反馈信息的方法、装置及终端设备 | |
| WO2020006835A1 (zh) | 智能客服多轮问答方法、设备、存储介质及装置 | |
| US20200257659A1 (en) | Method and apparatus for determing description information, electronic device and computer storage medium | |
| US9146987B2 (en) | Clustering based question set generation for training and testing of a question and answer system | |
| US9595005B1 (en) | Systems and methods for predictive coding | |
| US8370278B2 (en) | Ontological categorization of question concepts from document summaries | |
| US9230009B2 (en) | Routing of questions to appropriately trained question and answer system pipelines using clustering | |
| CN112667794A (zh) | 一种基于孪生网络bert模型的智能问答匹配方法及系统 | |
| JP7153004B2 (ja) | コミュニティ質問応答データの検証方法、装置、コンピュータ機器、及び記憶媒体 | |
| CN109345417B (zh) | 基于身份认证的业务人员的在线考核方法及终端设备 | |
| CN111813960B (zh) | 基于知识图谱的数据安全审计模型装置、方法及终端设备 | |
| CN108228567B (zh) | 用于提取组织机构的简称的方法和装置 | |
| US11461613B2 (en) | Method and apparatus for multi-document question answering | |
| CN117271767B (zh) | 基于多智能体的运维知识库的建立方法 | |
| CN112765974A (zh) | 一种业务辅助方法、电子设备及可读存储介质 | |
| CN115641101A (zh) | 一种智能化招聘的方法、装置及计算机可读介质 | |
| CN110737824A (zh) | 内容查询方法和装置 | |
| CN114186040A (zh) | 一种智能机器人客服的运作方法 | |
| CN117520503A (zh) | 基于llm模型的金融客服对话生成方法、装置、设备及介质 | |
| CN112949305B (zh) | 负反馈信息采集方法、装置、设备及存储介质 | |
| CN114186041A (zh) | 一种答案输出方法 | |
| US20230359826A1 (en) | Computer-implemented system and method to perform natural language processing entity research and resolution | |
| Samejima et al. | A Help Desk Support System Based on Relationship between Inquiries and Responses | |
| CN113837322B (zh) | 课程的分类处理方法、装置、设备及介质 | |
| US20230046539A1 (en) | Method and system to align quantitative and qualitative statistical information in documents |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210127 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Applicant after: Shenzhen saiante Technology Service Co.,Ltd. Address before: 1-34 / F, Qianhai free trade building, 3048 Xinghai Avenue, Mawan, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong 518000 Applicant before: Ping An International Smart City Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |