CN112035666B - 文本机器人交叉验证优化方法及装置 - Google Patents
文本机器人交叉验证优化方法及装置 Download PDFInfo
- Publication number
- CN112035666B CN112035666B CN202010903444.1A CN202010903444A CN112035666B CN 112035666 B CN112035666 B CN 112035666B CN 202010903444 A CN202010903444 A CN 202010903444A CN 112035666 B CN112035666 B CN 112035666B
- Authority
- CN
- China
- Prior art keywords
- corpus
- sentence
- reply
- sentences
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002790 cross-validation Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000005457 optimization Methods 0.000 title claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 67
- 230000004044 response Effects 0.000 claims abstract description 35
- 238000012360 testing method Methods 0.000 claims abstract description 23
- 238000010801 machine learning Methods 0.000 claims description 47
- 230000003993 interaction Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 239000013589 supplement Substances 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 9
- 238000011161 development Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 239000000872 buffer Substances 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000004904 shortening Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
本发明提供的文本机器人交叉验证优化方法及装置，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。
Description
技术领域
本发明涉及文本机器人交叉验证优化技术领域，具体涉及文本机器人交叉验证优化方法及装置。
背景技术
为评估专业领域文本机器人的应答效果，以往采用交叉验证的方法，将语料数据分为训练集和测试集，分别用于机器人模型训练和测试评估，依据验证结果对机器人应答效果进行打分。使用该方法能够得到机器人应答效果的整体评价，进一步改进机器人性能仍需要测试人员手工验证和查找问题。当机器人涉及专业领域覆盖的业务场景较复杂时，需要耗费大量的人力和时间成本定位问题，目前主要应用交叉验证法对文本机器人作整体评估，评估得分反映系统应答效果，当应答效果不佳时需要测试人员手工查找问题缺陷。
发明内容
针对现有技术中的问题，本发明提供一种文本机器人交叉验证优化方法及装置。
为解决上述技术问题，本发明提供以下技术方案：
本发明的一个方面实施例提供一种文本机器人交叉验证优化方法，包括：
利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在优选的实施例中，还包括：采集文本机器人与客户信息交互过程中的问答语句对，形成语料库。
在优选的实施例中，还包括：建立所述机器学习模型。
在优选的实施例中，还包括：
采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库；
对所述语料库进行多次随机抽取，得到多组语料训练集。
在优选的实施例中，所述根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库，包括：
针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；
根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；
根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在优选的实施例中，所述根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类，包括：
若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；
若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；
若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
在优选的实施例中，所述优化包括修正操作和改进操作，优化所述语料库或者所述机器学习模型的算法，包括：
若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；
若所述询问语句为第二类别，修正所述语料库；
若所述询问语句为第三类别，修正所述机器学习模型的算法。
在优选的实施例中，还包括：利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
本发明另一个方面实施例提供一种文本机器人交叉验证优化装置，包括：
测试模块，利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
比对模块，比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
优化模块，根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在优选的实施例中，还包括：采集模块，采集文本机器人与客户信息交互过程中的问答语句对，形成语料库。
在优选的实施例中，还包括：模型建立模块，建立所述机器学习模型。
在优选的实施例中，还包括：
语料库生成模块，采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库；
训练集生成模块，对所述语料库进行多次随机抽取，得到多组语料训练集。
在优选的实施例中，所述优化模块，包括：
误判集合加入单元，针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；
分类单元，根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；
优化单元，根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在优选的实施例中，所述分类单元，包括：
第一类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；
第二类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；
第三类别划分单元，若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
在优选的实施例中，所述优化包括修正和补充，所述优化单元，包括：
补充单元，补充若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；
第一修正单元，若所述询问语句为第二类别，修正所述语料库；
第二修正单元，若所述询问语句为第三类别，修正所述机器学习模型的算法。
在优选的实施例中，还包括：训练模块，利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
本发明的又一个方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述的文本机器人交叉验证优化方法。
本发明的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现文本机器人交叉验证优化方法。
由上述技术方案可知，本发明提供的文本机器人交叉验证优化方法及装置，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种文本机器人交叉验证优化方法流程示意图。
图2为本发明实施例中的具体场景示意图。
图3为本发明实施例中一种文本机器人交叉验证优化装置结构示意图。
图4为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
考虑到当机器人涉及专业领域覆盖的业务场景较复杂时，需要耗费大量的人力和时间成本定位问题，目前主要应用交叉验证法对文本机器人作整体评估，评估得分反映系统应答效果，当应答效果不佳时需要测试人员手工查找问题缺陷。
在本发明的一个或多个实施例中，如图1所示，一种文本机器人交叉验证优化方法，包括：
S1:利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
S2:比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
S3:根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
本发明提供的文本机器人交叉验证优化方法，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。
具体的，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的。
在一些实施例中，还包括：采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库。
具体而言，文本机器人会根据客户的问答语句产生对应的答复语句，这样在该一对语句中即为本发明的问答语句对。例如，用户发出“感冒了怎么办？”，文本机器人识别出该问答语句的语义后，发出“就近治疗”的答复语句，显然，智能化的文本机器人可以通过不断学习提高问答语句的识别正确率，进而生成更准确的答复语句，例如“感冒可以服用XX等药物，平时应当注意xx事项”.
进一步的，在一些实施例中，还包括：对所述语料库进行多次随机抽取，得到多组语料训练集。
进一步的，本发明实施例还包括：
S01：利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
可以理解，本发明的步骤S01中，每组语料训练集包括随机选取的多对问答语句对，一般而言，每组语料训练集中问答语句对的数量是相同的，或者相差不大，避免对每个机器学习模型造成训练数据量的不平衡。
进一步的，在其他实施例中，本发明还包括：建立所述机器学习模型。
具体而言，本发明通过建立相同的机器学习模型，然后利用不同的训练集训练该机器学习模型，形成不同的应答语料模型。可以理解，基于训练集的不同，应答语料模型的配置参数不同。
机器学习模型可以基于常规的神经网络建立，例如CNN、PNN等，在此不做赘述。
在一些实施例中，步骤S3具体包括：
S31：针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；
S32：根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；
S33：根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
具体而言，如图2所示，将全量语料数据(询问语句)输入训练模型中，得到不同模型的应答结果(模型输出的对应答复语句)。对比模型输出结果(模型输出的对应答复语句)和预设答案(预设正确答复语句)，应用投票机制，即当同一语料在不同模型中判断错误的概率超过50％(本发明的一个设定阈值的示例)时，将该语料(该询问语句)加入误判集合，生成答复误判对照表。对误判集合包含的误判语料按照业务场景进行分类，并统计各业务场景下的误判量r(同一业务场景下误判语料的个数)以及场景语料数s(全量语料集中同一业务场景涉及的语料总数)，得到概率p(p＝r/s，设定标准值p0代表同一业务场景下允许出现误判率)。当p>p0时，对误判语料产生的问题原因作进一步分类，根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在一些实施例中，步骤S32具体包括：
S321：若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；
S322：若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；
S323：若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
该实施例中，步骤S33具体包括：
S331：若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；
S332：若所述询问语句为第二类别，修正所述语料库；
S333：若所述询问语句为第三类别，修正所述机器学习模型的算法。
具体而言，请继续结合图2，若误判量r和场景语料s均较小，说明在业务场景较少的语料数据中出现了较少的误判，导致误判的原因较大可能是语料过少导致训练不足，将该情况下的语料误判原因分类设置为“待补充语料”(第一类别)。若误判量r和场景语料s均较大，说明在同一业务场景下大量的语料数据均发生了误判，导致误判的原因大概率是模型在分词和判断过程中出现错误，将该情况下的语料误判原因分类设置为“待改进算法”(第三类别)。若误判量r较小而场景语料s较大，说明在同一业务场景下大量语料数据中发生了少量误判，需要检查对应的语料是否存在表述不清、特征标签标记有误的情况，将对应语料分类原因置为“待修正语料”(第二类别)。当误判量r相对于s较大、而s本身较小，导致误判的原因可能是语料不足，也可能是模型在判断过程中发生错误，将语料原因置为“未分类”(本发明未定义的类别)。
更具体的，测试人员对分类结果进行人工核查。对于“待补充语料”“待修正”分类中涉及语料，检查是否语料过少、语料本身是否存在表述问题、语料标签分类是否正确，确认语料数据问题导致机器人效果不佳时，核实后在知识库中对语料进行新增或维护。对于“待改进算法”原因分类中涉及的语料，开发人员根据机器人模型反馈的结果对系统进行算法改进。“未分类”原因中涉及语料经人工检验进行下一步处理。
可以知晓，通过训练多个机器人模型，对机器人应答结果进行投票判断的方式，筛选机器人无法正确应答的语料数据。通过对误判语料原因分类，进而定位系统问题。本发明能够同时对大批量语料数据开展测试，节约了测试人员手工准备测试数据和验证系统效果的人力和时间成本，同时降低了人员经验不足造成的影响，避免了测试场景遗漏。能够对机器人应答问题进行原因分类，大大缩短了问题定位需要的时间，提高了系统改进的效率。
基于相同的发明构思，本发明进一步提供一种文本机器人交叉验证优化装置，如图3所示，包括：
测试模块1，利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
比对模块2，比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
优化模块3，根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
本发明提供的文本机器人交叉验证优化装置，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。
在优选的实施例中，还包括：语料库生成模块，采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库。
在优选的实施例中，还包括：模型建立模块，建立所述机器学习模型。
在优选的实施例中，还包括：训练集生成模块，对所述语料库进行多次随机抽取，得到多组语料训练集。
在优选的实施例中，所述优化模块，包括：误判集合加入单元，针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；分类单元，根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；优化单元，根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
在优选的实施例中，所述分类单元，包括：第一类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；第二类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；第三类别划分单元，若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
在优选的实施例中，所述优化包括修正和补充，所述优化单元，包括：补充单元，补充若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；第一修正单元，若所述询问语句为第二类别，修正所述语料库；第二修正单元，若所述询问语句为第三类别，修正所述机器学习模型的算法。
在优选的实施例中，还包括：训练模块，利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
从硬件层面来说，为了本发明提供一种用于实现所述文本机器人交叉验证优化方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：
处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现服务器、装置、分布式消息中间件集群装置、各类数据库以及用户终端等相关设备之间的信息传输；该电子设备可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该电子设备可以参照实施例中的文本机器人交叉验证优化方法的实施例，以及，文本机器人交叉验证优化装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。
图4为本发明实施例的电子设备9600的系统构成的示意框图。如图4所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图4是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。
一实施例中，文本机器人交叉验证优化功能可以被集成到中央处理器9100中。例如，中央处理器9100可以被配置为进行如下控制：
S1:利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
S2:比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
S3:根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
从上述描述可知，本发明的实施例提供的电子设备，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。在另一个实施方式中，文本机器人交叉验证优化装置可以与中央处理器9100分开配置，例如可以将文本机器人交叉验证优化配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现文本机器人交叉验证优化功能。
如图4所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图4中所示的所有部件；此外，电子设备9600还可以包括图4中没有示出的部件，可以参考现有技术。
如图4所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。
其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。
输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。
该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。
存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。
通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。
基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。
本发明的实施例还提供能够实现上述实施例中的执行主体可以为服务器的文本机器人交叉验证优化方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的文本机器人交叉验证优化方法的全部步骤。
从上述描述可知，本发明的实施例提供的计算机可读存储介质，可以从知识库存储的全量语料数据中抽取语料用于文本机器人的模型训练和测试，筛选应答错误的语料构成误判语料集，然后对误判语料集进行分类处理和原因判断，帮助开发和测试人员完成问题定位，大大缩短了问题定位需要的时间，提高了系统改进的效率。
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (16)
1.一种文本机器人交叉验证优化方法，其特征在于，包括：
利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库；
所述根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库，包括：
针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；
根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；
根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
2.根据权利要求1所述的文本机器人交叉验证优化方法，其特征在于，还包括：采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库。
3.根据权利要求1所述的文本机器人交叉验证优化方法，其特征在于，还包括：建立所述机器学习模型。
4.根据权利要求2所述的文本机器人交叉验证优化方法，其特征在于，还包括：
对所述语料库进行多次随机抽取，得到多组语料训练集。
5.根据权利要求1所述的文本机器人交叉验证优化方法，其特征在于，所述根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类，包括：
若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；
若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；
若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
6.根据权利要求5所述的文本机器人交叉验证优化方法，其特征在于，所述优化包括修正操作和改进操作，优化所述语料库或者所述机器学习模型的算法，包括：
若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；
若所述询问语句为第二类别，修正所述语料库；
若所述询问语句为第三类别，修正所述机器学习模型的算法。
7.根据权利要求1所述的文本机器人交叉验证优化方法，其特征在于，还包括：利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
8.一种文本机器人交叉验证优化装置，其特征在于，包括：
测试模块，利用已标记预设正确答复语句的询问语句测试多个语料模型，每个应答语料模型输出对应的答复语句，所述多个语料模型是利用多组语料训练集训练机器学习模型得到，每组语料训练集包括多个问答语句对，每个问答语句对包括一询问语句和对应的一答复语句；所述问答语句对是文本机器人与客户进行信息交互产生的；
比对模块，比对所述预设正确答复语句与每个应答语料模型输出的答复语句，生成答复正误对照表；
优化模块，根据所述答复正误对照表中错误答复语句的数量优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库；
所述优化模块，包括：
误判集合加入单元，针对同一询问语句，若所述答复正误对照表中对应答复语句错误率高于设定阈值，将该询问语句加入误判集合；
分类单元，根据错误答复语句的数量和同一询问语句对应的所有答复语句的数量，结合所述答复语句错误率对该询问语句进行分类；
优化单元，根据每个询问语句所处的分类，优化所述机器学习模型的算法或者优化包括所述问答语句对的语料库。
9.根据权利要求8所述的文本机器人交叉验证优化装置，其特征在于，还包括：语料库生成模块，采集文本机器人与客户进行信息交互产生的问答语句对，生成所述语料库。
10.根据权利要求8所述的文本机器人交叉验证优化装置，其特征在于，还包括：模型建立模块，建立所述机器学习模型。
11.根据权利要求9所述的文本机器人交叉验证优化装置，其特征在于，还包括：
训练集生成模块，对所述语料库进行多次随机抽取，得到多组语料训练集。
12.根据权利要求8所述的文本机器人交叉验证优化装置，其特征在于，所述分类单元，包括：
第一类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量低于第二设定阈值，将该询问语句分类至第一类别；
第二类别划分单元，若所述错误答复语句的数量低于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第二类别；
第三类别划分单元，若所述错误答复语句的数量高于第一设定阈值，并且所有答复语句的数量高于第二设定阈值，将该询问语句分类至第三类别。
13.根据权利要求12所述的文本机器人交叉验证优化装置，其特征在于，所述优化包括修正和补充，所述优化单元，包括：
补充单元，补充若所述询问语句为第一类别，补充所述询问语句对应的问答对至所述询问语句对应的语料训练集；
第一修正单元，若所述询问语句为第二类别，修正所述语料库；
第二修正单元，若所述询问语句为第三类别，修正所述机器学习模型的算法。
14.根据权利要求8所述的文本机器人交叉验证优化装置，其特征在于，还包括：训练模块，利用多组语料训练集训练机器学习模型，得到对应数量的应答语料模型。
15.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述的文本机器人交叉验证优化方法。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7任一项所述的文本机器人交叉验证优化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903444.1A CN112035666B (zh) | 2020-09-01 | 2020-09-01 | 文本机器人交叉验证优化方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903444.1A CN112035666B (zh) | 2020-09-01 | 2020-09-01 | 文本机器人交叉验证优化方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112035666A CN112035666A (zh) | 2020-12-04 |
| CN112035666B true CN112035666B (zh) | 2024-04-16 |
Family
ID=73590477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010903444.1A Active CN112035666B (zh) | 2020-09-01 | 2020-09-01 | 文本机器人交叉验证优化方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112035666B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113782004B (zh) * | 2021-09-17 | 2023-10-24 | 深圳追一科技有限公司 | 人机语音交互测试方法、装置、计算机设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990546A (zh) * | 2019-11-29 | 2020-04-10 | 中国银行股份有限公司 | 智能问答语料库更新方法和装置 |
| CN111090736A (zh) * | 2018-10-24 | 2020-05-01 | 马上消费金融股份有限公司 | 问答模型的训练方法、问答方法、装置及计算机存储介质 |
| CN111339277A (zh) * | 2020-02-28 | 2020-06-26 | 中国工商银行股份有限公司 | 基于机器学习的问答交互方法及装置 |
-
2020
- 2020-09-01 CN CN202010903444.1A patent/CN112035666B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111090736A (zh) * | 2018-10-24 | 2020-05-01 | 马上消费金融股份有限公司 | 问答模型的训练方法、问答方法、装置及计算机存储介质 |
| CN110990546A (zh) * | 2019-11-29 | 2020-04-10 | 中国银行股份有限公司 | 智能问答语料库更新方法和装置 |
| CN111339277A (zh) * | 2020-02-28 | 2020-06-26 | 中国工商银行股份有限公司 | 基于机器学习的问答交互方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112035666A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109360550B (zh) | 语音交互系统的测试方法、装置、设备和存储介质 | |
| CN112035325B (zh) | 文本机器人自动监控方法及装置 | |
| CN106599317A (zh) | 问答系统的测试数据处理方法、装置及终端 | |
| CN113110995B (zh) | 系统迁移的测试方法及装置 | |
| CN108763548A (zh) | 收集训练数据的方法、装置、设备和计算机可读存储介质 | |
| US20180032902A1 (en) | Generating Training Data For A Conversational Query Response System | |
| CN110866209A (zh) | 在线教育数据推送方法、系统和计算机设备 | |
| CN112035666B (zh) | 文本机器人交叉验证优化方法及装置 | |
| CN109165286A (zh) | 自动问答方法、装置及计算机可读存储介质 | |
| CN112631850B (zh) | 故障场景的模拟方法及装置 | |
| CN113609390A (zh) | 信息分析方法及装置、电子设备和计算机可读存储介质 | |
| CN115206342A (zh) | 一种数据处理方法、装置、计算机设备及可读存储介质 | |
| CN105373568A (zh) | 问题答案自动学习方法和装置 | |
| CN112015883A (zh) | 英文题目自动生成方法和系统 | |
| CN112185187A (zh) | 一种社交语言的学习方法及智能装置 | |
| CN113628077B (zh) | 生成不重复考题的方法、终端及可读存储介质 | |
| CN116127029A (zh) | 基于能力画像的内容配置方法、装置、电子设备及存储介质 | |
| CN112035287B (zh) | 一种数据清洗结果的测试方法、装置、存储介质及设备 | |
| CN113255836A (zh) | 一种作业数据处理方法、装置、计算机设备和存储介质 | |
| CN113204626A (zh) | 基于知识图谱的交互方法、装置、终端和存储介质 | |
| CN113987296B (zh) | 一种应用题的解答检测方法及装置 | |
| CN112560431A (zh) | 用于生成试题辅导信息的方法、装置、设备、存储介质以及计算机程序产品 | |
| CN111309306A (zh) | 人机交互的对话管理系统 | |
| CN118298250B (zh) | 数据智能标注方法及装置 | |
| CN112966077B (zh) | 对话状态的确定方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |