CN110413961A - 基于分类模型进行文本评分的方法、装置和计算机设备 - Google Patents
基于分类模型进行文本评分的方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN110413961A CN110413961A CN201910544115.XA CN201910544115A CN110413961A CN 110413961 A CN110413961 A CN 110413961A CN 201910544115 A CN201910544115 A CN 201910544115A CN 110413961 A CN110413961 A CN 110413961A
- Authority
- CN
- China
- Prior art keywords
- answer text
- user
- similarity
- model
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及分类模型的技术领域，提供了一种基于分类模型进行文本评分的方法、装置、计算机设备和存储介质，包括：获取用户答案文本，以及对应的标准答案文本；计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；本申请从多维度对用户答案文本进行评分，准确量化用户答案文本的正确性。
Description
技术领域
本申请涉及分类模型的技术领域，特别涉及一种基于分类模型进行文本评分的方法、装置和计算机设备。
背景技术
目前，在业务系统、客服系统或者教育系统中，均需要用到对相关人员进行语言文本的正确性评估。现在通常是人工根据相关人员的文本答案进行评定，费时费力；且并不准确，同时评定的维度有限，通常不会进行多维度的评定，造成评定的结果不全面。
发明内容
本申请的主要目的为提供一种基于分类模型进行文本评分的方法、装置、计算机设备和存储介质，从多维度准确量化用户答案文本的正确性。
为实现上述目的，本申请提供了一种基于分类模型进行文本评分的方法，包括以下步骤：
获取用户答案文本，以及对应的标准答案文本；
计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
进一步地，所述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤，包括：
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
进一步地，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果；
其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，x2i为所述标准答案文本对应的第二词向量。
进一步地，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果。
进一步地，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤之前，包括：
对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
进一步地，所述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤之后，包括：
根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
本申请还提供了一种基于分类模型进行文本评分的装置，包括：
获取单元，用于获取用户答案文本，以及对应的标准答案文本；
第一计算单元，用于计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
评分单元，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
进一步地，所述评分单元包括：
输入子单元，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
确定子单元，用于根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
评分子单元，用于根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
本申请还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
本申请提供的基于分类模型进行文本评分的方法、装置、计算机设备和存储介质，包括：获取用户答案文本，以及对应的标准答案文本；计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；从多维度对用户答案文本进行评分，准确量化用户答案文本的正确性。
附图说明
图1是本申请一实施例中基于分类模型进行文本评分的方法步骤示意图；
图2是本申请一一实施例中步骤S3的具体步骤示意图；
图3是本申请一实施例中基于分类模型进行文本评分的装置结构框图；
图4是本申请另一实施例中的评分单元的结构框图；
图5为本申请一实施例的计算机设备的结构示意框图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
参照图1，本申请一实施例中提供了一种基于分类模型进行文本评分的方法，包括以下步骤：
步骤S1，获取用户答案文本，以及对应的标准答案文本；
步骤S2，计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
步骤S3，将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
在本实施例中，上述方法应用于业务系统、客服系统或者教育系统中，上述方法用于对比两个文本之间的相似度，本实施例中计算的是用户答案文本与标准答案文本之间的相似度，根据计算出的相似度，便可以获取到该用户答案文本与标准答案文本之间的差距，相似度越高，差距越小，相应的用户答案文本对应的评分就越高，用户的答案则越标准。
具体地，如上述步骤S1所述的，上述标准答案文本为预先设置的标准答案，上述用户答案文本通常为用户输入的文本信息，或者是用户输入的语音信息所转换得到的文本信息。具体地，在一个具体实施例中，在金融行业的业务系统中，预先设置有业务员话术的标准答案文本：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而由于业务人员的表达方式的不同，用户答案文本则会出现多个版本，例如：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。可以看出，上述用户答案文本与标准答案文本之间有一定的相似度，但是也具有一定的差距，本实施例中，则是为了获取用户答案文本与标准答案文本之间的相似度，获取两段文本之间的差距，从而判断用户答案文本是不是标准、正确。
如上述步骤S2所述的，计算上述用户答案文本与标准答案文本之间的特征距离，该特征距离通常是上述两个文本中不同的地方，其是用于表达该两段文本之间的相似程度的参数。在使用不同的算法来计算用户答案文本与标准答案文本之间的特征距离时，上述特征距离是不同的特征参数，例如，若使用WMD模型计算时，计算的用户答案文本与标准答案文本之间的特征距离为欧式距离；若使用SIMHASH算法计算时，计算的用户答案文本与标准答案文本之间的特征距离为海明距离。
在本实施例中，根据上述特征距离，则可以通过预先训练得到的算法模型(例如WMD模型、SIMHASH算法、CNN网络模型等)计算出上述用户答案文本与标准答案文本之间相似度结果。可以理解的是，本实施例中的算法模型均可以是基于大量的已知相似度结果的训练集文本所训练得到，对模型的训练为通用技术，在此不作赘述。
在上述通过预先训练得到的算法模型计算出上述用户答案文本与标准答案文本之间相似度结果的过程中，其主要是根据两个文本之间不同的地方来反映上述相似度结果；例如上述相似度结果中可以包括的是：上述用户答案文本缺少内容、有多余内容、文本中的句子顺序错误、词语顺序错误等多种情况。本实施例中，针对每一种相似度结果都会按照对应的打分规则作出一个相应的相似度打分。
具体地，在一实施例中，若上述标准答案文本为：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而上述用户答案文本则为：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。由于上述用户答案文本于上述标准答案文本的句子语序不同，则利用本实施例中的算法模型则可以得出上述用户答案文本与标准答案文本之间句子顺序错误的相似性结果；本实施例中还预设有对应于各种相似性结果的打分规则，根据该相似性结果以及预设的打分规则，则可以计算得到对应的相似度打分。例如，对于上述句子顺序错误的相似性结果的打分规则为句子两两比对，根据顺序错误的句子对占总句子对的比例，进行扣分。具体地，上述标准答案文本为：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而上述用户答案文本则为：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。上述用户答案文本有三个句子，将其与标准答案文本进行两两比对，则其中有两个句子的顺序是错误的；而预先设置好句子顺序错误时的总扣分(最高扣分)为20分，则上述用户答案文本的扣分为顺序错误句子在所有句子中占的比例与总扣分的相乘结果，即扣分为20*2/3≈10分，上述相似度打分则为100-10＝90分。对于其他的相似度结果，相应地，具有其它打分规则，例如，上述用户答案文本中，只有一个句子中出现词语错误，词语错误的总扣分为A，则该文本的扣分为A*1/3；或者也可以是统计该文本中有多少个词语，根据错误词语的个数占总数的比例来计算扣分。
如上述步骤S3所述的，本实施例中，设置有多个评分维度，例如正确性、完整性、连贯性以及逻辑性等；对于每个评分维度，包括多个不同的相似度结果；即上述步骤S2中得到的相似度结果是不同的，而不同的相似度结果是属于不同的评分维度中的一个评分参数；例如词语顺序错误以及文本不通顺等都属于逻辑性的评分维度中的一个评分参数。当需要对用户答案文本的逻辑性进行评分时，则需要获取到在逻辑性评分维度中各个评分参数(词语顺序错误以及文本不通顺)所对应的相似度打分，再进行综合计算，得到逻辑性评分。
在本实施例中，由于用户答案文本中可能出现多个不同的错误，相应地，会有多个不同的相似性结果；例如，同一个用户答案文本可能同时存在句子顺序错误、文本不通顺等多个错误，在上述计算相似度结果的过程时，则会将该用户答案文本同时归类为句子顺序错误、文本不通顺的相似性结果中；对应地，上述用户答案文本在句子顺序错误、文本不通顺上则会有不同的相似度打分；为了合理计算该用户答案文本在逻辑性评分维度上的评分结果，则应当对上述用户答案文本在句子顺序错误、文本不通顺上的相似度打分进行综合考虑。
为了合理对上述用户答案文本进行评分。在本实施例中，将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，通过该映射模型的计算，以输出所述用户答案文本在每个评分维度的评分结果。上述得到的用户答案文本在每个评分维度的评分结果才是对上述用户答案文本的综合评分结果。
具体地，参照图2，上述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤S3，包括：
步骤S301，将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
步骤S302，根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
步骤S303，根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
在本实施例中，以上述句子顺序错误、文本不通顺的相似度结果为例进行阐述，上述相似度结果对应的相似度打分分别为第一打分(如80分)以及第二打分(如90分)，上述句子顺序错误、文本不通顺的相似度结果对应的评分维度均为逻辑性评分维度；若上述句子顺序错误、文本不通顺的相似度结果的权重比例为60％：40％，则在计算用户答案文本在逻辑性评分维度上的评分结果时，评分结果＝60％*80+90*40％＝84分。
在一实施例中，上述步骤S2中，计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
步骤S201，通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
步骤S202，通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果。其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，所述x2i为所述标准答案文本对应的第二词向量。
在本实施例中，上述word2vec方法是通过训练将某种语言中的每一个词映射成一个固定长度的短向量，将所有这些向量放在一起形成一个词向量空间，而每一向量则为该空间中的一个点，在这个空间上引入“距离”，则可以根据词之间的距离来判断它们之间的(词法、语义上的)相似性。
本实施例中的WMD模型(Word Mover Distance)基于EMD(Earth Mover Distance)模型。其用来计算两个文本之间的欧式距离，并根据计算得到的欧式距离得到两个文本之间的相似度结果；WMD模型计算文本之间的相似性的计算过程为该模型中的通用功能，在此不进行赘述。
在另一实施例中，上述步骤S2中，计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
步骤S20，通过SIMHASH算法计算所述用户答案文本与标准答案文本之间的海明距离，并根据所述海明距离计算得到所述用户答案文本与标准答案文本之间的相似度结果。
具体地，该步骤包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果
本实施例中的SIMHASH算法作为locality sensitive hash(局部敏感哈希)的一种，其主要思想是降维，将高维的特征向量映射成低维的特征向量(把文档降维到hash数字)，通过两个向量的海明距离来确定文章是否重复或者高度近似。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。也就是说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：1011101与1001001之间的海明距离是2。至于我们常说的字符串编辑距离则是一般形式的海明距离。如此，通过比较多个文档的simHash值的海明距离，可以获取它们的相似度。
在又一实施例中，上述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤S2之前，包括：
对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
本实施例中的切句指的是将一段文本切分为多个句子；分词是对每个句子进行分词处理；同义词替换指的是对用户答案文本中的词语进行同义词的替换，便于与标准答案文本进行比较，这是因为用户用的词可能不同，但是表达的意思却可能相同。优选地，还可以进行去除停用词，去除文本中的乱码、无意义符号、表情等处理。
在又一实施例中，上述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤S3之后，包括：
步骤S4，根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
步骤S5，根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
在本实施例中，为了得到上述用户答案文本的最终总评分，则需要考虑其在各个评分维度的评分结果。本实施例中，预先设置有上述各个评分维度对应的权重比例，根据该权重比例以及上述评分结果，便可以加强计算得到所述用户答案文本的总评分。
本实施例中，还预设有总评分与评定结果的对应关系，根据该对应关系以及上述总评分，则可以获取到对应所述总评分的评定结果，作为对所述用户的评定结果；包括完全正确、基本正确、不合格等不同的评定结果。
综上所述，为本申请实施例提供的基于分类模型进行文本评分的方法，包括：获取用户答案文本，以及对应的标准答案文本；计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；从多维度对用户答案文本进行评分，准确量化用户答案文本的正确性。
参照图3，本申请一实施例中还提供了一种基于分类模型进行文本评分的装置，包括：
获取单元10，用于获取用户答案文本，以及对应的标准答案文本；
第一计算单元20，用于计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
评分单元30，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
在本实施例中，上述装置应用于业务系统、客服系统或者教育系统中，上述方法用于对比两个文本之间的相似度，本实施例中计算的是用户答案文本与标准答案文本之间的相似度，根据计算出的相似度，便可以获取到该用户答案文本与标准答案文本之间的差距，相似度越高，差距越小，相应的用户答案文本对应的评分就越高，用户的答案则越标准。
具体地，如上述获取单元10所述的，上述标准答案文本为预先设置的标准答案，上述用户答案文本通常为用户输入的文本信息，或者是用户输入的语音信息所转换得到的文本信息。具体地，在一个具体实施例中，在金融行业的业务系统中，预先设置有业务员话术的标准答案文本：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而由于业务人员的表达方式的不同，用户答案文本则会出现多个版本，例如：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。可以看出，上述用户答案文本与标准答案文本之间有一定的相似度，但是也具有一定的差距，本实施例中，则是为了获取用户答案文本与标准答案文本之间的相似度，获取两段文本之间的差距，从而判断用户答案文本是不是标准、正确。
如上述第一计算单元20所述的，计算上述用户答案文本与标准答案文本之间的特征距离，该特征距离通常是上述两个文本中不同的地方，其是用于表达该两段文本之间的相似程度的参数。在使用不同的算法来计算用户答案文本与标准答案文本之间的特征距离时，上述特征距离是不同的特征参数，例如，若使用WMD模型计算时，计算的用户答案文本与标准答案文本之间的特征距离为欧式距离；若使用SIMHASH算法计算时，计算的用户答案文本与标准答案文本之间的特征距离为海明距离。
在本实施例中，根据上述特征距离，则可以通过预先训练得到的算法模型(例如WMD模型、SIMHASH算法、CNN网络模型等)计算出上述用户答案文本与标准答案文本之间相似度结果。可以理解的是，本实施例中的算法模型均可以是基于大量的已知相似度结果的训练集文本所训练得到，对模型的训练为通用技术，在此不作赘述。
在上述通过预先训练得到的算法模型计算出上述用户答案文本与标准答案文本之间相似度结果的过程中，其主要是根据两个文本之间不同的地方来反映上述相似度结果；例如上述相似度结果中可以包括的是：上述用户答案文本缺少内容、有多余内容、文本中的句子顺序错误、词语顺序错误等多种情况。本实施例中，针对每一种相似度结果都会按照对应的打分规则作出一个相应的相似度打分。
具体地，在一实施例中，若上述标准答案文本为：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而上述用户答案文本则为：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。由于上述用户答案文本于上述标准答案文本的句子语序不同，则利用本实施例中的算法模型则可以得出上述用户答案文本与标准答案文本之间句子顺序错误的相似性结果；本实施例中还预设有对应于各种相似性结果的打分规则，根据该相似性结果以及预设的打分规则，则可以计算得到对应的相似度打分。例如，对于上述句子顺序错误的相似性结果的打分规则为句子两两比对，根据顺序错误的句子对占总句子对的比例，进行扣分。具体地，上述标准答案文本为：“我们是平安普惠，提供方便快捷的贷款服务，为您解决各种资金问题”。而上述用户答案文本则为：“我们是平安公司下的子公司普惠，解决各种资金问题，为您提供方便快捷的贷款服务”。上述用户答案文本有三个句子，将其与标准答案文本进行两两比对，则其中有两个句子的顺序是错误的；而预先设置好句子顺序错误时的总扣分(最高扣分)为20分，则上述用户答案文本的扣分为顺序错误句子在所有句子中占的比例与总扣分的相乘结果，即扣分为20*2/3≈10分，上述相似度打分则为100-10＝90分。对于其他的相似度结果，相应地，具有其它打分规则，例如，上述用户答案文本中，只有一个句子中出现词语错误，词语错误的总扣分为A，则该文本的扣分为A*1/3；或者也可以是统计该文本中有多少个词语，根据错误词语的个数占总数的比例来计算扣分。
如上述评分单元30所述的，本实施例中，设置有多个评分维度，例如正确性、完整性、连贯性以及逻辑性等；对于每个评分维度，包括多个不同的相似度结果；即上述第一计算单元20中得到的相似度结果是不同的，而不同的相似度结果是属于不同的评分维度中的一个评分参数；例如词语顺序错误以及文本不通顺等都属于逻辑性的评分维度中的一个评分参数。当需要对用户答案文本的逻辑性进行评分时，则需要获取到在逻辑性评分维度中各个评分参数(词语顺序错误以及文本不通顺)所对应的相似度打分，再进行综合计算，得到逻辑性评分。
在本实施例中，由于用户答案文本中可能出现多个不同的错误，相应地，会有多个不同的相似性结果；例如，同一个用户答案文本可能同时存在句子顺序错误、文本不通顺等多个错误，在上述计算相似度结果的过程时，则会将该用户答案文本同时归类为句子顺序错误、文本不通顺的相似性结果中；对应地，上述用户答案文本在句子顺序错误、文本不通顺上则会有不同的相似度打分；为了合理计算该用户答案文本在逻辑性评分维度上的评分结果，则应当对上述用户答案文本在句子顺序错误、文本不通顺上的相似度打分进行综合考虑。
为了合理对上述用户答案文本进行评分。在本实施例中，将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，通过该映射模型的计算，以输出所述用户答案文本在每个评分维度的评分结果。上述得到的用户答案文本在每个评分维度的评分结果才是对上述用户答案文本的综合评分结果。
参照图4，在一实施例中，上述评分单元30包括：
输入子单元301，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
确定子单元302，用于根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
评分子单元303，用于根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
在本实施例中，以上述句子顺序错误、文本不通顺的相似度结果为例进行阐述，上述相似度结果对应的相似度打分分别为第一打分(如80分)以及第二打分(如90分)，上述句子顺序错误、文本不通顺的相似度结果对应的评分维度均为逻辑性评分维度；若上述句子顺序错误、文本不通顺的相似度结果的权重比例为60％：40％，则在计算用户答案文本在逻辑性评分维度上的评分结果时，评分结果＝60％*80+90*40％＝84分。
在一实施例中，上述第一计算单元20，包括：
构建子单元，用于通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
第一计算子单元，用于通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果；其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，所述x2i为所述标准答案文本对应的第二词向量。
在本实施例中，上述word2vec方法是通过训练将某种语言中的每一个词映射成一个固定长度的短向量，将所有这些向量放在一起形成一个词向量空间，而每一向量则为该空间中的一个点，在这个空间上引入“距离”，则可以根据词之间的距离来判断它们之间的(词法、语义上的)相似性。
本实施例中的WMD模型(Word Mover Distance)基于EMD(Earth Mover Distance)模型。其用来计算两个文本之间的欧式距离，并根据计算得到的欧式距离得到两个文本之间的相似度结果；WMD模型计算文本之间的相似性的计算过程为该模型中的通用功能，在此不进行赘述。
在另一实施例中，上述第一计算单元20，包括：
第二计算子单元，用于通过SIMHASH算法计算所述用户答案文本与标准答案文本之间的海明距离，并根据所述海明距离计算得到所述用户答案文本与标准答案文本之间的相似度结果。
具体地，包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果。
本实施例中的SIMHASH算法作为locality sensitive hash(局部敏感哈希)的一种，其主要思想是降维，将高维的特征向量映射成低维的特征向量(把文档降维到hash数字)，通过两个向量的海明距离来确定文章是否重复或者高度近似。在信息论中，两个等长字符串之间的汉明距离是两个字符串对应位置的不同字符的个数。也就是说，它就是将一个字符串变换成另外一个字符串所需要替换的字符个数。例如：1011101与1001001之间的海明距离是2。至于我们常说的字符串编辑距离则是一般形式的海明距离。如此，通过比较多个文档的simHash值的海明距离，可以获取它们的相似度。
在又一实施例中，上述装置，还包括：
预处理单元，用于对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
本实施例中的切句指的是将一段文本切分为多个句子；分词是对每个句子进行分词处理；同义词替换指的是对用户答案文本中的词语进行同义词的替换，便于与标准答案文本进行比较，这是因为用户用的词可能不同，但是表达的意思却可能相同。优选地，还可以进行去除停用词，去除文本中的乱码、无意义符号、表情等处理。
在又一实施例中，上述装置，还包括：
第二计算单元，用于根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
匹配单元，用于根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
在本实施例中，为了得到上述用户答案文本的最终总评分，则需要考虑其在各个评分维度的评分结果。本实施例中，预先设置有上述各个评分维度对应的权重比例，第二计算单元根据该权重比例以及上述评分结果，便可以加强计算得到所述用户答案文本的总评分。
本实施例中，还预设有总评分与评定结果的对应关系，匹配单元根据该对应关系以及上述总评分，则可以获取到对应所述总评分的评定结果，作为对所述用户的评定结果；包括完全正确、基本正确、不合格等不同的评定结果。
综上所述，为本申请实施例提供的基于分类模型进行文本评分的装置，包括：获取用户答案文本，以及对应的标准答案文本；计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；从多维度对用户答案文本进行评分，准确量化用户答案文本的正确性。
参照图5，本申请实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储打分规则、映射模型等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于分类模型进行文本评分的方法。
上述处理器执行上述基于分类模型进行文本评分的方法的步骤：
获取用户答案文本，以及对应的标准答案文本；
计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
在一实施例中，上述处理器将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤，包括：
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果；
其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，x2i为所述标准答案文本对应的第二词向量。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤之前，包括：
对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
在一实施例中，上述处理器将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤之后，包括：
根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定。
本申请一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种基于分类模型进行文本评分的方法，具体为：
获取用户答案文本，以及对应的标准答案文本；
计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
在一实施例中，上述处理器将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤，包括：
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果；
其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，x2i为所述标准答案文本对应的第二词向量。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果。
在一实施例中，上述处理器计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤之前，包括：
对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
在一实施例中，上述处理器将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤之后，包括：
根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
综上所述，为本申请实施例中提供的基于分类模型进行文本评分的方法、装置、计算机设备和存储介质，包括：获取用户答案文本，以及对应的标准答案文本；计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；从多维度对用户答案文本进行评分，准确量化用户答案文本的正确性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
以上所述仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种基于分类模型进行文本评分的方法，其特征在于，包括以下步骤：
获取用户答案文本，以及对应的标准答案文本；
计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
2.根据权利要求1所述的基于分类模型进行文本评分的方法，其特征在于，所述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤，包括：
将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
3.根据权利要求1所述的基于分类模型进行文本评分的方法，其特征在于，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
通过word2vec方法分别构建所述用户答案文本与标准答案文本对应的第一词向量以及第二词向量；
通过WMD模型计算所述第一词向量以及第二词向量之间的欧式距离，并根据所述欧式距离计算得到所述用户答案文本与标准答案文本之间的相似度结果；
其中，所述欧式距离的计算公式为：
其中，d为欧式距离，x1i为所述用户答案文本对应的第一词向量，所述x2i为所述标准答案文本对应的第二词向量。
4.根据权利要求1所述的基于分类模型进行文本评分的方法，其特征在于，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤，包括：
对所述用户答案文本以及标准答案文本分别进行分词处理，并通过hash算法将所述用户答案文本以及标准答案文本中的每个词计算为对应的一个哈希值；
对所述用户答案文本中每个词对应的哈希值进行加权计算，合并处理得到第一序列串；对所述标准答案文本中每个词对应的哈希值进行加权计算，合并处理得到第二序列串；
分别对所述第一序列串以及第二序列串进行降维计算，得到对应的第一签名串以及第二签名串；对比所述第一签名串以及第二签名串中每个字符的差异，得到所述用户答案文本与标准答案文本之间的海明距离；
将所述海明距离与阈值进行比较，得到所述用户答案文本与标准答案文本之间的相似度结果。
5.根据权利要求1所述的基于分类模型进行文本评分的方法，其特征在于，所述计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果的步骤之前，包括：
对所述用户答案文本进行切句、分词处理，以及对所述标准答案文本进行切句、分词处理；并对所述用户答案文本中的词语进行同义词替换。
6.根据权利要求1所述的基于分类模型进行文本评分的方法，其特征在于，所述将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果的步骤之后，包括：
根据所述用户答案文本在每个评分维度的评分结果，以及各个评分维度对应的权重比例，计算得到所述用户答案文本的总评分；
根据所述总评分与评定结果的对应关系，匹配对应所述总评分的评定结果，作为对所述用户的评定结果。
7.一种基于分类模型进行文本评分的装置，其特征在于，包括：
获取单元，用于获取用户答案文本，以及对应的标准答案文本；
第一计算单元，用于计算所述用户答案文本与标准答案文本之间的特征距离，并根据所述特征距离计算所述用户答案文本与标准答案文本之间的相似度结果；根据所述相似度结果以及对应所述相似度结果的打分规则计算对应的相似度打分；
评分单元，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中，以输出所述用户答案文本在每个评分维度的评分结果；其中，所述映射模型中预设有不同的相似度结果所在的不同评分维度，以及同一个评分维度所对应的多个相似度结果之间的权重比例。
8.根据权利要求7所述的基于分类模型进行文本评分的装置，其特征在于，所述评分单元包括：
输入子单元，用于将所述相似度结果以及对应的相似度打分输入至预设的映射模型中；
确定子单元，用于根据预设的不同相似度结果所在的不同评分维度，从所述相似度结果中确定对应在同一个评分维度的所有目标相似度结果；
评分子单元，用于根据同一个评分维度所对应的所有目标相似度结果之间的权重比例，以及所述目标相似度结果所对应的相似度打分，通过加权计算得到所述用户答案文本在每个评分维度的评分结果。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544115.XA CN110413961B (zh) | 2019-06-21 | 2019-06-21 | 基于分类模型进行文本评分的方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910544115.XA CN110413961B (zh) | 2019-06-21 | 2019-06-21 | 基于分类模型进行文本评分的方法、装置和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110413961A true CN110413961A (zh) | 2019-11-05 |
| CN110413961B CN110413961B (zh) | 2021-02-09 |
Family
ID=68359635
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910544115.XA Active CN110413961B (zh) | 2019-06-21 | 2019-06-21 | 基于分类模型进行文本评分的方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110413961B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111224863A (zh) * | 2019-12-10 | 2020-06-02 | 平安国际智慧城市科技股份有限公司 | 会话任务生成方法、装置、计算机设备和存储介质 |
| CN111414456A (zh) * | 2020-03-20 | 2020-07-14 | 北京师范大学 | 一种开放式简答题自动评分的方法和系统 |
| CN111444339A (zh) * | 2020-02-29 | 2020-07-24 | 平安国际智慧城市科技股份有限公司 | 文本题目难度标注方法、装置及计算机可读存储介质 |
| CN113672694A (zh) * | 2020-05-13 | 2021-11-19 | 武汉Tcl集团工业研究院有限公司 | 一种文本处理方法、终端以及存储介质 |
| CN113688629A (zh) * | 2021-08-04 | 2021-11-23 | 德邦证券股份有限公司 | 文本去重的方法、装置以及存储介质 |
| CN113793611A (zh) * | 2021-08-27 | 2021-12-14 | 上海浦东发展银行股份有限公司 | 评分方法、装置、计算机设备和存储介质 |
| CN114357966A (zh) * | 2022-01-05 | 2022-04-15 | 中国工商银行股份有限公司 | 一种目标对象评分方法及系统 |
| CN116228440A (zh) * | 2023-02-22 | 2023-06-06 | 自贡市第一人民医院 | 一种医保智能管理方法、系统、装置和介质 |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103605492A (zh) * | 2013-11-28 | 2014-02-26 | 中国科学院深圳先进技术研究院 | 一种自适应语言训练方法和平台 |
| CN103955874A (zh) * | 2014-03-31 | 2014-07-30 | 西南林业大学 | 一种基于语义相似度区间的主观题自动评分系统及方法 |
| CN103985392A (zh) * | 2014-04-16 | 2014-08-13 | 柳超 | 音素级的低功耗的口语评价与缺陷诊断方法 |
| KR101713483B1 (ko) * | 2015-10-08 | 2017-03-07 | 한국교육과정평가원 | 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체 |
| CN106873964A (zh) * | 2016-12-23 | 2017-06-20 | 浙江工业大学 | 一种改进的SimHash代码相似度检测方法 |
| CN107330057A (zh) * | 2017-06-29 | 2017-11-07 | 哈尔滨工程大学科技园发展有限公司 | 一种ElasticSearch搜索相关度算法优化方法及系统 |
| US20180107716A1 (en) * | 2016-10-17 | 2018-04-19 | International Business Machines Corporation | Lower-dimensional subspace approximation of a dataset |
| CN108009135A (zh) * | 2016-10-31 | 2018-05-08 | 深圳市北科瑞声科技股份有限公司 | 生成文档摘要的方法和装置 |
| CN108595427A (zh) * | 2018-04-24 | 2018-09-28 | 成都海天数联科技有限公司 | 一种主观题评分方法、装置、可读存储介质以及电子设备 |
| CN108959261A (zh) * | 2018-07-06 | 2018-12-07 | 京工博创（北京）科技有限公司 | 基于自然语言的试卷主观题判题装置及方法 |
| CN109213999A (zh) * | 2018-08-20 | 2019-01-15 | 成都佳发安泰教育科技股份有限公司 | 一种主观题评分方法 |
| CN109271505A (zh) * | 2018-11-12 | 2019-01-25 | 深圳智能思创科技有限公司 | 一种基于问题答案对的问答系统实现方法 |
| US10224119B1 (en) * | 2013-11-25 | 2019-03-05 | Quire, Inc. (Delaware corporation) | System and method of prediction through the use of latent semantic indexing |
| CN109582773A (zh) * | 2018-11-29 | 2019-04-05 | 深圳爱问科技股份有限公司 | 智能问答匹配方法及装置 |
| US20190171792A1 (en) * | 2017-12-01 | 2019-06-06 | International Business Machines Corporation | Interaction network inference from vector representation of words |
| CN109993387A (zh) * | 2017-12-29 | 2019-07-09 | Tcl集团股份有限公司 | 一种基于nlp的自动评分方法及装置、考试系统 |
-
2019
- 2019-06-21 CN CN201910544115.XA patent/CN110413961B/zh active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10224119B1 (en) * | 2013-11-25 | 2019-03-05 | Quire, Inc. (Delaware corporation) | System and method of prediction through the use of latent semantic indexing |
| CN103605492A (zh) * | 2013-11-28 | 2014-02-26 | 中国科学院深圳先进技术研究院 | 一种自适应语言训练方法和平台 |
| CN103955874A (zh) * | 2014-03-31 | 2014-07-30 | 西南林业大学 | 一种基于语义相似度区间的主观题自动评分系统及方法 |
| CN103985392A (zh) * | 2014-04-16 | 2014-08-13 | 柳超 | 音素级的低功耗的口语评价与缺陷诊断方法 |
| KR101713483B1 (ko) * | 2015-10-08 | 2017-03-07 | 한국교육과정평가원 | 서답형 답안 채점 방법, 그를 위한 컴퓨터 프로그램과 기록매체 |
| US20180107716A1 (en) * | 2016-10-17 | 2018-04-19 | International Business Machines Corporation | Lower-dimensional subspace approximation of a dataset |
| CN108009135A (zh) * | 2016-10-31 | 2018-05-08 | 深圳市北科瑞声科技股份有限公司 | 生成文档摘要的方法和装置 |
| CN106873964A (zh) * | 2016-12-23 | 2017-06-20 | 浙江工业大学 | 一种改进的SimHash代码相似度检测方法 |
| CN107330057A (zh) * | 2017-06-29 | 2017-11-07 | 哈尔滨工程大学科技园发展有限公司 | 一种ElasticSearch搜索相关度算法优化方法及系统 |
| US20190171792A1 (en) * | 2017-12-01 | 2019-06-06 | International Business Machines Corporation | Interaction network inference from vector representation of words |
| CN109993387A (zh) * | 2017-12-29 | 2019-07-09 | Tcl集团股份有限公司 | 一种基于nlp的自动评分方法及装置、考试系统 |
| CN108595427A (zh) * | 2018-04-24 | 2018-09-28 | 成都海天数联科技有限公司 | 一种主观题评分方法、装置、可读存储介质以及电子设备 |
| CN108959261A (zh) * | 2018-07-06 | 2018-12-07 | 京工博创（北京）科技有限公司 | 基于自然语言的试卷主观题判题装置及方法 |
| CN109213999A (zh) * | 2018-08-20 | 2019-01-15 | 成都佳发安泰教育科技股份有限公司 | 一种主观题评分方法 |
| CN109271505A (zh) * | 2018-11-12 | 2019-01-25 | 深圳智能思创科技有限公司 | 一种基于问题答案对的问答系统实现方法 |
| CN109582773A (zh) * | 2018-11-29 | 2019-04-05 | 深圳爱问科技股份有限公司 | 智能问答匹配方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| PAWEL SZMEJA: "Dimensions of Ontological Similarity", 《2016 IEEE TENTH INTERNATIONAL CONFERENCE ON SEMANTIC COMPUTING (ICSC)》 * |
| 何屹松: "人工智能评测技术在大规模中英文作文", 《中国考试》 * |
| 王逍翔: "基于Simhash的文本相似性检测研究与改进", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 王龙: "基于多维度用户偏好的推荐技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111224863A (zh) * | 2019-12-10 | 2020-06-02 | 平安国际智慧城市科技股份有限公司 | 会话任务生成方法、装置、计算机设备和存储介质 |
| CN111444339A (zh) * | 2020-02-29 | 2020-07-24 | 平安国际智慧城市科技股份有限公司 | 文本题目难度标注方法、装置及计算机可读存储介质 |
| CN111444339B (zh) * | 2020-02-29 | 2024-05-03 | 平安国际智慧城市科技股份有限公司 | 文本题目难度标注方法、装置及计算机可读存储介质 |
| CN111414456A (zh) * | 2020-03-20 | 2020-07-14 | 北京师范大学 | 一种开放式简答题自动评分的方法和系统 |
| CN113672694A (zh) * | 2020-05-13 | 2021-11-19 | 武汉Tcl集团工业研究院有限公司 | 一种文本处理方法、终端以及存储介质 |
| CN113688629A (zh) * | 2021-08-04 | 2021-11-23 | 德邦证券股份有限公司 | 文本去重的方法、装置以及存储介质 |
| CN113793611A (zh) * | 2021-08-27 | 2021-12-14 | 上海浦东发展银行股份有限公司 | 评分方法、装置、计算机设备和存储介质 |
| CN114357966A (zh) * | 2022-01-05 | 2022-04-15 | 中国工商银行股份有限公司 | 一种目标对象评分方法及系统 |
| CN116228440A (zh) * | 2023-02-22 | 2023-06-06 | 自贡市第一人民医院 | 一种医保智能管理方法、系统、装置和介质 |
| CN116228440B (zh) * | 2023-02-22 | 2024-04-12 | 自贡市第一人民医院 | 一种医保智能管理方法、系统、装置和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110413961B (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110413961A (zh) | 基于分类模型进行文本评分的方法、装置和计算机设备 | |
| Rauh | Validating a sentiment dictionary for German political language—a workbench note | |
| CN110163478B (zh) | 一种合同条款的风险审查方法及装置 | |
| Ling et al. | Latent predictor networks for code generation | |
| US11113323B2 (en) | Answer selection using a compare-aggregate model with language model and condensed similarity information from latent clustering | |
| WO2019184217A1 (zh) | 热点事件分类方法、装置及存储介质 | |
| CN110765763A (zh) | 语音识别文本的纠错方法、装置、计算机设备和存储介质 | |
| Sunilkumar et al. | A survey on semantic similarity | |
| CN111563384B (zh) | 面向电商产品的评价对象识别方法、装置及存储介质 | |
| EP2439684A2 (en) | Automated assessment of examination scripts | |
| CN109284355B (zh) | 一种批改试卷中口算题的方法及装置 | |
| CN107480143A (zh) | 基于上下文相关性的对话话题分割方法和系统 | |
| US20210042391A1 (en) | Generating summary content using supervised sentential extractive summarization | |
| RU2680746C2 (ru) | Способ и устройство для создания модели качества веб-страницы | |
| CN105378707A (zh) | 情感反馈 | |
| CN105975459A (zh) | 一种词项的权重标注方法和装置 | |
| CN106940726A (zh) | 一种基于知识网络的创意自动生成方法与终端 | |
| CN110309279A (zh) | 基于语言模型的话语训练方法、装置及计算机设备 | |
| CN109255012A (zh) | 一种机器阅读理解的实现方法以及装置 | |
| CN109902157A (zh) | 一种训练样本有效性检测方法及装置 | |
| CN107918778A (zh) | 一种信息匹配方法及相关装置 | |
| CN110362662A (zh) | 数据处理方法、装置以及计算机可读存储介质 | |
| Ferreira et al. | A new sentence similarity assessment measure based on a three-layer sentence representation | |
| CN113988057A (zh) | 基于概念抽取的标题生成方法、装置、设备及介质 | |
| CN105243053A (zh) | 提取文档关键句的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |