CN109710734A - 结构化知识的自动审核方法、装置、系统及存储介质 - Google Patents
结构化知识的自动审核方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN109710734A CN109710734A CN201811513346.6A CN201811513346A CN109710734A CN 109710734 A CN109710734 A CN 109710734A CN 201811513346 A CN201811513346 A CN 201811513346A CN 109710734 A CN109710734 A CN 109710734A
- Authority
- CN
- China
- Prior art keywords
- structural knowledge
- processed
- auditing
- result
- knowledge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种结构化知识的自动审核方法、装置、系统及存储介质，该方法，包括：提取待处理的结构化知识的数据特征；根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；接收所述审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种结构化知识的自动审核方法、装置、系统及存储介质。
背景技术
随着电信运营商的客户积累逐渐增多，对客服的效率要求逐渐增高，对客服系统提供的结构化知识的知识准确性、及时性、易懂性的要求会更高。
目前，一般依靠客服人员在客服系统上进行人工审核，手动操作审核结构化的知识。
但是，由于客服系统面对的用户多，咨询量大，采用外网自助方式的知识库，其结构化知识采编、审核工作量大，对后期的人工审核要求高，增加了人工成本，且审核效率低下，知识库的知识覆盖率不佳。
发明内容
本发明提供一种结构化知识的自动审核方法、装置、系统及存储介质，以实现结构化知识的自动审核，有效提高了结构化知识的审核效率，降低人工审核工作量。
第一方面，本发明实施例提供一种结构化知识的自动审核方法，包括：
提取待处理的结构化知识的数据特征；
根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；
接收所述审核模块反馈的审核结果。
可选地，根据所述数据特征，将待处理的结构化知识分发给对应的审核模块，包括：
根据所述数据特征中的特征值所在的范围，确定所述待处理的结构化知识对应的审核模块。
可选地，还包括：
获取与所述待处理的结构化知识关联的结果集，以及与所述待处理的结构化知识关联的答案集。
可选地，获取与所述待处理的结构化知识关联的结果集，包括：
通过自然语言处理运营商的数据集，生成所有单个知识的集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的集合，得到候选集合；
对所述候选集合进行组合，以生成至少包含两个及以上候选集合的组合集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的组合集合，得到与所述待处理的结构化知识关联的结果集。
可选地，获取与所述待处理的结构化知识关联的答案集，包括：
所述待处理的结构化知识作为目标机器学习模型的输入，由所述目标机器学习模型输出与所述待处理的结构化知识关联的答案集；其中，所述目标机器学习模型是通过预先已知答案的结构化知识迭代训练得到的。
可选地，所述审核模块，具体用于：
通过K临近算法，从关联的所述结果集和答案集中找到与所述待处理的结构化知识最邻近的K个答案和结果作为审核结果。
可选地，还包括：
采用人工方式对所述审核模块反馈的审核结果进行复审；
对复审不通过的审核结果进行标注后，作为所述目标机器学习模型的训练数据，用以迭代训练所述目标机器学习模型。
可选地，还包括：
根据所述审核模块的当前审核数据量，动态调整所述审核模块的审核范围，和/或审核模块的数量；其中，所述审核范围是根据待处理的结构化知识的数据特征所划分的。
第二方面，本发明实施例提供一种结构化知识的自动审核装置，包括：
提取模块，用于提取待处理的结构化知识的数据特征；
分发模块，用于根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；
接收模块，用于接收所述审核模块反馈的审核结果。
可选地，所述分发模块，具体用于：
根据所述数据特征中的特征值所在的范围，确定所述待处理的结构化知识对应的审核模块。
可选地，所述审核模块，具体用于：
获取与所述待处理的结构化知识关联的结果集，以及与所述待处理的结构化知识关联的答案集。
可选地，获取与所述待处理的结构化知识关联的结果集，包括：
通过自然语言处理运营商的数据集，生成所有单个知识的集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的集合，得到候选集合；
对所述候选集合进行组合，以生成至少包含两个及以上候选集合的组合集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的组合集合，得到与所述待处理的结构化知识关联的结果集。
可选地，获取与所述待处理的结构化知识关联的答案集，包括：
所述待处理的结构化知识作为目标机器学习模型的输入，由所述目标机器学习模型输出与所述待处理的结构化知识关联的答案集；其中，所述目标机器学习模型是通过预先已知答案的结构化知识迭代训练得到的。
可选地，所述审核模块，还用于：
通过K临近算法，从关联的所述结果集和答案集中找到与所述待处理的结构化知识最邻近的K个答案和结果作为审核结果。
可选地，还包括：
复审模块，用于采用人工方式对所述审核模块反馈的审核结果进行复审；
对复审不通过的审核结果进行标注后，作为所述目标机器学习模型的训练数据，用以迭代训练所述目标机器学习模型。
可选地，还包括：
调整模块，用于根据所述审核模块的当前审核数据量，动态调整所述审核模块的审核范围，和/或审核模块的数量；其中，所述审核范围是根据待处理的结构化知识的数据特征所划分的。
第三方面，本发明实施例提供一种结构化知识的自动审核系统，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的结构化知识的自动审核方法。
第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述的结构化知识的自动审核方法。
本发明提供一种结构化知识的自动审核方法、装置、系统及存储介质，通过提取待处理的结构化知识的数据特征；根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；接收所述审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一应用场景的原理示意图；
图2为本发明实施例一提供的结构化知识的自动审核方法的流程图；
图3为本发明实施例提供的审核模块的分发示意图；
图4为本发明实施例提供的审核模块的原理示意图；
图5为本发明实施例二提供的结构化知识的自动审核方法的流程图；
图6为本发明实施例三提供的结构化知识的自动审核装置的结构示意图；
图7为本发明实施例四提供的结构化知识的自动审核装置的结构示意图；
图8为本发明实施例五提供的结构化知识的自动审核系统的结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明一应用场景的原理示意图，如图1所示，随着电信运营商的客户积累逐渐增多，对客服系统提供的结构化知识的要求越来越高。这些结构化的客服知识有文本、图片、视频多种形式，每种形式还有不同的结构，这就使审核工作需要面对多种审核方法和角度，同时，客服系统面对的用户多，咨询量大，采用外网自助方式的知识库，采编、审核工作量大。因此，本发明对待处理的结构化知识10，采用算法集成20进行处理，输出审核结果。其中，算法集成包括：提取模块、分发模块、审核模块、接收模块，通过提取待处理的结构化知识的数据特征；根据数据特征，将待处理的结构化知识分发给对应的审核模块；其中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；接收审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高审核工作的效率和覆盖率，减少人工审核工作量。
应用上述方法，可以实现通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高审核工作的效率和覆盖率，减少人工审核工作量。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
图2为本发明实施例一提供的结构化知识的自动审核方法的流程图，如图2所示，本实施例中的方法可以包括：
S101、提取待处理的结构化知识的数据特征。
本实施例中，结构化的客服知识有文本、图片、视频多种形式，每种形式还有不同的结构。因此，对于待处理的结构化知识进行数据特征提取，例如，提取结构化知识类型；对于文本的结构化知识，提取关键字；提取结构化知识的语义等等。
S102、根据数据特征，将待处理的结构化知识分发给对应的审核模块。
本实施例中，图3为本发明实施例提供的审核模块的分发示意图，如图3所示，有多个审核模块，每个审核模块针有自己对应的审核范围。本实施例，根据数据特征中的特征值所在的范围，确定待处理的结构化知识对应的审核模块。例如，根据结构化知识类型划分，有针对文本型进行处理的审核模块，有针对图像进行处理处理的审核模块，也有针对视频进行处理的审核模块；根据业务类型划分，有针对不同业务的审核模块。本实施例中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果。
可选地，审核模块，具体用于：获取与待处理的结构化知识关联的结果集，以及与待处理的结构化知识关联的答案集。
具体地，图4为本发明实施例提供的审核模块的原理示意图。可选地，如图4所示，获取与待处理的结构化知识关联的结果集，包括：
通过自然语言处理运营商的数据集，生成所有单个知识的集合；滤除与待处理的结构化知识之间不满足最小支持度的集合，得到候选集合；对候选集合进行组合，以生成至少包含两个及以上候选集合的组合集合；滤除与待处理的结构化知识之间不满足最小支持度的组合集合，得到与待处理的结构化知识关联的结果集。
可选地，如图4所示，获取与待处理的结构化知识关联的答案集，包括：
待处理的结构化知识作为目标机器学习模型的输入，由目标机器学习模型输出与待处理的结构化知识关联的答案集；其中，目标机器学习模型是通过预先已知答案的结构化知识迭代训练得到的。
可选地，如图4所示，审核模块，还用于：通过K临近算法，从关联的结果集和答案集中找到与待处理的结构化知识最邻近的K个答案和结果作为审核结果。
S103、接收审核模块反馈的审核结果。
本实施例中，接收审核模块反馈的审核结果，作为待处理的结构化知识的自动审核结果。
本实施例，通过提取待处理的结构化知识的数据特征；根据数据特征，将待处理的结构化知识分发给对应的审核模块；其中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；接收审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
图5为本发明实施例二提供的结构化知识的自动审核方法的流程图，如图5所示，本实施例中的方法可以包括：
S201、提取待处理的结构化知识的数据特征.
S202、根据数据特征，将待处理的结构化知识分发给对应的审核模块。
S203、接收审核模块反馈的审核结果。
本实施例中，步骤S201～步骤S203的具体实现过程和技术原理请参见图2所示的方法中步骤S101～步骤S103中的相关描述，此处不再赘述。
S204、采用人工方式对审核模块反馈的审核结果进行复审。
本实施例中，可以采用人工方式对审核模块反馈的审核结果进行复审。然后，对复审不通过的审核结果进行标注后，作为目标机器学习模型的训练数据，用以迭代训练目标机器学习模型。
具体地，人工对审核模块自动审核的结果进行复审。如果复审通过，则给出最后结果；如果不通过，则对机器审核错误部分进行标记处理，并交给机器进行再次学习纠正错误写到结果集，然后该知识重新进行审核流程。整个审核流程也是对机器学习的纠正及在学习过程，所以随着处理知识数量增多，机器审核的准确度会越来越高，人工干预的就越来越少。
S205、根据审核模块的当前审核数据量，动态调整审核模块的审核范围，和/或审核模块的数量；
本实施例中，每个审核模块针对自己对应审核范围进行训练，同时，各个审核模块可以根据审核的工作状态、任务量，进行动态调整审核范围，以适应不断变化的电信业务。也可以对审核模块的数量进行动态调整，以提高审核效率。其中，审核范围是根据待处理的结构化知识的数据特征所划分的。
具体地，分发模块根据特征值为其分配指定的审核模块，分配后获取该审核模块当时的压力状况。如果某个审核模块压力过大，会分析所有审核模块的信息，根据情况重新分配特征范围或者建立新的审核模块。每个审核模块都是针对自己处理范围内进行机器学习得到的，因此只处理各自擅长的特征范围，审核效率高。而在分发模块对某个审核模块的处理特征范围进行调整后，是不会马上给其分配审核新增范围的知识，会给予一个机器学习的时间。
本实施例，通过提取待处理的结构化知识的数据特征；根据数据特征，将待处理的结构化知识分发给对应的审核模块；其中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；接收审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
另外，本实施可以采用人工方式对审核模块反馈的审核结果进行复审，对审核模块的结果进行监督学习，提高自动审核的准确率。同时，本实施可以根据审核模块的当前审核数据量，动态调整审核模块的审核范围，和/或审核模块的数量，以适应不断变化的电信业务，提高自动审核的效率。
图6为本发明实施例三提供的结构化知识的自动审核装置的结构示意图，如图6所示，本实施例的结构化知识的自动审核装置可以包括：
提取模块31，用于提取待处理的结构化知识的数据特征；
分发模块32，用于根据数据特征，将待处理的结构化知识分发给对应的审核模块；
审核模块33，用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；
接收模块34，用于接收审核模块反馈的审核结果。
可选地，分发模块32，具体用于：
根据数据特征中的特征值所在的范围，确定待处理的结构化知识对应的审核模块。
可选地，审核模块33，具体用于：
获取与待处理的结构化知识关联的结果集，以及与待处理的结构化知识关联的答案集。
可选地，获取与待处理的结构化知识关联的结果集，包括：
通过自然语言处理运营商的数据集，生成所有单个知识的集合；
滤除与待处理的结构化知识之间不满足最小支持度的集合，得到候选集合；
对候选集合进行组合，以生成至少包含两个及以上候选集合的组合集合；
滤除与待处理的结构化知识之间不满足最小支持度的组合集合，得到与待处理的结构化知识关联的结果集。
可选地，获取与待处理的结构化知识关联的答案集，包括：
待处理的结构化知识作为目标机器学习模型的输入，由目标机器学习模型输出与待处理的结构化知识关联的答案集；其中，目标机器学习模型是通过预先已知答案的结构化知识迭代训练得到的。
可选地，审核模块33，还用于：
通过K临近算法，从关联的结果集和答案集中找到与待处理的结构化知识最邻近的K个答案和结果作为审核结果。
本实施例的结构化知识的自动审核装置，可以执行图2所示方法中的技术方案，其具体实现过程和技术原理参见图2所示方法中的相关描述，此处不再赘述。
本实施例，通过提取待处理的结构化知识的数据特征；根据数据特征，将待处理的结构化知识分发给对应的审核模块；其中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；接收审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
图7为本发明实施例四提供的结构化知识的自动审核装置的结构示意图，如图7所示，本实施例的结构化知识的自动审核装置在图6所示装置的基础上，还可以包括：
复审模块35，用于采用人工方式对审核模块反馈的审核结果进行复审；
对复审不通过的审核结果进行标注后，作为目标机器学习模型的训练数据，用以迭代训练目标机器学习模型。
可选地，还包括：
调整模块36，用于根据审核模块的当前审核数据量，动态调整审核模块的审核范围，和/或审核模块的数量；其中，审核范围是根据待处理的结构化知识的数据特征所划分的。
本实施例的结构化知识的自动审核装置，可以执行图2、图5所示方法中的技术方案，其具体实现过程和技术原理参见图2、图5所示方法中的相关描述，此处不再赘述。
本实施例，通过提取待处理的结构化知识的数据特征；根据数据特征，将待处理的结构化知识分发给对应的审核模块；其中，审核模块用于从关联的结果集和答案集中，找到与待处理的结构化知识匹配的结果和答案作为审核结果；接收审核模块反馈的审核结果。从而实现了通过无监督学习和监督学习相结合的机器学习算法，对电信运营商结构化知识进行自动化审核，提高了审核工作的效率和覆盖率，减少了人工审核工作量。
另外，本实施可以采用人工方式对审核模块反馈的审核结果进行复审，对审核模块的结果进行监督学习，提高自动审核的准确率。同时，本实施可以根据审核模块的当前审核数据量，动态调整审核模块的审核范围，和/或审核模块的数量，以适应不断变化的电信业务，提高自动审核的效率。
图8为本发明实施例五提供的结构化知识的自动审核系统的结构示意图，如图8所示，本实施例的结构化知识的自动审核系统40可以包括：处理器41和存储器42。
存储器42，用于存储计算机程序(如实现上述结构化知识的自动审核方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器42中。并且上述的计算机程序、计算机指令、数据等可以被处理器41调用。
处理器41，用于执行存储器42存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器41和存储器42可以是独立结构，也可以是集成在一起的集成结构。当处理器41和存储器42是独立结构时，存储器42、处理器41可以通过总线43耦合连接。
本实施例的服务器可以执行图2、图5所示方法中的技术方案，其具体实现过程和技术原理参见图2、图5所示方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供一种程序产品，程序产品包括计算机程序，计算机程序存储在可读存储介质中，服务器的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得服务器实施上述本发明实施例任一的结构化知识的自动审核方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (11)
1.一种结构化知识的自动审核方法，其特征在于，包括：
提取待处理的结构化知识的数据特征；
根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；
接收所述审核模块反馈的审核结果。
2.根据权利要求1所述的方法，其特征在于，根据所述数据特征，将待处理的结构化知识分发给对应的审核模块，包括：
根据所述数据特征中的特征值所在的范围，确定所述待处理的结构化知识对应的审核模块。
3.根据权利要求1所述的方法，其特征在于，还包括：
获取与所述待处理的结构化知识关联的结果集，以及与所述待处理的结构化知识关联的答案集。
4.根据权利要求3所述的方法，其特征在于，获取与所述待处理的结构化知识关联的结果集，包括：
通过自然语言处理运营商的数据集，生成所有单个知识的集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的集合，得到候选集合；
对所述候选集合进行组合，以生成至少包含两个及以上候选集合的组合集合；
滤除与所述待处理的结构化知识之间不满足最小支持度的组合集合，得到与所述待处理的结构化知识关联的结果集。
5.根据权利要求3所述的方法，其特征在于，获取与所述待处理的结构化知识关联的答案集，包括：
所述待处理的结构化知识作为目标机器学习模型的输入，由所述目标机器学习模型输出与所述待处理的结构化知识关联的答案集；其中，所述目标机器学习模型是通过预先已知答案的结构化知识迭代训练得到的。
6.根据权利要求5所述的方法，其特征在于，所述审核模块，具体用于：
通过K临近算法，从关联的所述结果集和答案集中找到与所述待处理的结构化知识最邻近的K个答案和结果作为审核结果。
7.根据权利要求6所述的方法，其特征在于，还包括：
采用人工方式对所述审核模块反馈的审核结果进行复审；
对复审不通过的审核结果进行标注后，作为所述目标机器学习模型的训练数据，用以迭代训练所述目标机器学习模型。
8.根据权利要求1-7中任一项所述的方法，其特征在于，还包括：
根据所述审核模块的当前审核数据量，动态调整所述审核模块的审核范围，和/或审核模块的数量；其中，所述审核范围是根据待处理的结构化知识的数据特征所划分的。
9.一种结构化知识的自动审核装置，其特征在于，包括：
提取模块，用于提取待处理的结构化知识的数据特征；
分发模块，用于根据所述数据特征，将待处理的结构化知识分发给对应的审核模块；其中，所述审核模块用于从关联的结果集和答案集中，找到与所述待处理的结构化知识匹配的结果和答案作为审核结果；
接收模块，用于接收所述审核模块反馈的审核结果。
10.一种结构化知识的自动审核系统，其特征在于，包括：存储器和处理器，存储器中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8中任一项所述的结构化知识的自动审核方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-8中任一项所述的结构化知识的自动审核方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513346.6A CN109710734A (zh) | 2018-12-11 | 2018-12-11 | 结构化知识的自动审核方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513346.6A CN109710734A (zh) | 2018-12-11 | 2018-12-11 | 结构化知识的自动审核方法、装置、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109710734A true CN109710734A (zh) | 2019-05-03 |
Family
ID=66256338
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811513346.6A Pending CN109710734A (zh) | 2018-12-11 | 2018-12-11 | 结构化知识的自动审核方法、装置、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109710734A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160027180A1 (en) * | 2014-07-25 | 2016-01-28 | Samsung Electronics Co., Ltd. | Method for retrieving image and electronic device thereof |
| CN107612893A (zh) * | 2017-09-01 | 2018-01-19 | 北京百悟科技有限公司 | 短信的审核系统和方法以及构建短信审核模型方法 |
| CN107944716A (zh) * | 2017-11-29 | 2018-04-20 | 国网江苏省电力有限公司 | 基于学习结果修正的变电站电能计量周期平衡异常诊断方法 |
| CN108124191A (zh) * | 2017-12-22 | 2018-06-05 | 北京百度网讯科技有限公司 | 一种视频审核方法、装置及服务器 |
| CN108647309A (zh) * | 2018-05-09 | 2018-10-12 | 达而观信息科技（上海）有限公司 | 基于敏感词的聊天内容审核方法及系统 |
-
2018
- 2018-12-11 CN CN201811513346.6A patent/CN109710734A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160027180A1 (en) * | 2014-07-25 | 2016-01-28 | Samsung Electronics Co., Ltd. | Method for retrieving image and electronic device thereof |
| CN107612893A (zh) * | 2017-09-01 | 2018-01-19 | 北京百悟科技有限公司 | 短信的审核系统和方法以及构建短信审核模型方法 |
| CN107944716A (zh) * | 2017-11-29 | 2018-04-20 | 国网江苏省电力有限公司 | 基于学习结果修正的变电站电能计量周期平衡异常诊断方法 |
| CN108124191A (zh) * | 2017-12-22 | 2018-06-05 | 北京百度网讯科技有限公司 | 一种视频审核方法、装置及服务器 |
| CN108647309A (zh) * | 2018-05-09 | 2018-10-12 | 达而观信息科技（上海）有限公司 | 基于敏感词的聊天内容审核方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11887597B2 (en) | Voice application platform | |
| US11615791B2 (en) | Voice application platform | |
| US10943589B2 (en) | Voice application platform | |
| CN110765246B (zh) | 基于智能机器人的问答方法、装置、存储介质和智能设备 | |
| CN111368089A (zh) | 一种基于知识图谱的业务处理方法及装置 | |
| US11437029B2 (en) | Voice application platform | |
| CN109002515A (zh) | 一种智能应答的方法和装置 | |
| CN113434685B (zh) | 一种资讯分类处理的方法及系统 | |
| CN109063433A (zh) | 虚假用户的识别方法、装置及可读存储介质 | |
| CN109191167A (zh) | 一种目标用户的挖掘方法和装置 | |
| CN109743286A (zh) | 一种基于图卷积神经网络的ip类型标记方法及设备 | |
| CN106910075B (zh) | 移动通信客户投诉的智能处理系统和方法 | |
| CN114462582A (zh) | 基于卷积神经网络模型的数据处理方法及装置、设备 | |
| CN109977977A (zh) | 一种识别潜在用户的方法及对应装置 | |
| CN109710734A (zh) | 结构化知识的自动审核方法、装置、系统及存储介质 | |
| EP3803856A1 (en) | Voice application platform | |
| CN106599244B (zh) | 通用的原始日志清洗装置及方法 | |
| CN115602158A (zh) | 一种基于电话信道的语音识别声学模型构建方法及系统 | |
| CN114863463A (zh) | 一种对合同文本的智能审核校验方法及装置 | |
| CN115577085A (zh) | 表格问答任务的处理方法及设备 | |
| CN104123584A (zh) | 基于信息系统的组织优化方法 | |
| CN113313615A (zh) | 一种对企业司法风险进行量化评分定级的方法及装置 | |
| CN108171336B (zh) | 机器数据模型演化的自动感知方法及装置 | |
| CN110457274A (zh) | 一种基于迁移学习的数据文件处理方法、装置、设备以及计算机存储介质 | |
| CN109325627A (zh) | 基于Hadoop和ARlMA的和教育趋势预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190503 |
|
| RJ01 | Rejection of invention patent application after publication |