CN110135592A - 分类效果确定方法、装置、智能终端及存储介质 - Google Patents

分类效果确定方法、装置、智能终端及存储介质 Download PDF

Info

Publication number
CN110135592A
CN110135592A CN201910409134.1A CN201910409134A CN110135592A CN 110135592 A CN110135592 A CN 110135592A CN 201910409134 A CN201910409134 A CN 201910409134A CN 110135592 A CN110135592 A CN 110135592A
Authority
CN
China
Prior art keywords
rate
value
precision
parameter
macro
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910409134.1A
Other languages
English (en)
Other versions
CN110135592B (zh
Inventor
张雨豪
陈新杰
郑景耀
刘洪�
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201910409134.1A priority Critical patent/CN110135592B/zh
Publication of CN110135592A publication Critical patent/CN110135592A/zh
Application granted granted Critical
Publication of CN110135592B publication Critical patent/CN110135592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供了一种分类效果确定方法、装置、智能终端，其中方法包括：利用分类模型对分类测试集进行处理，得到分类结果，分类结果用于指示分类测试集中每一个测试子集被分类模型识别后输出的预测类目；获取为每一个测试子集设置的标签类目，并将每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；根据比较结果确定分类模型的分类效果指标值；其中，分类效果指标值是根据第一效果参数、第二效果参数以及为第一效果参数确定的第一权重值、为第二效果参数确定的第二权重值计算得到的，第一效果参数和第二效果参数是根据比较结果确定的。通过本发明实施例可以有效提高确定分类模型的分类效果的客观性和准确性。

Description

分类效果确定方法、装置、智能终端及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种分类效果确定方法、装置、智能终端及存储介质。
背景技术
在人工智能(Artificial Intelligence，AI)领域中，机器学习是人工智能的核心，而机器学习中常见的应用包括分类应用。分类应用中通常先利用大量样本数据以及各种算法来生成分类模型，然后利用生成的分类模型去完成分类任务。为提高分类模型的分类效果，通常在生成分类模型之后，还会利用大量的训练数据对分类模型进行训练。但由于采用的样本数据、训练数据、算法的局限性，会导致分类模型的分类效果可能较好，也可能较差；如何确定分类模型的分类效果是有待解决的问题。
发明内容
本发明实施例提供了一种分类效果确定方法、装置、智能终端及存储介质，可以在确定分类模型的分类效果时兼顾多个效果参数以及各个效果参数的权重，从而有效提高确定分类模型的分类效果的客观性和准确性。
一方面，本发明实施例提供了一种分类效果确定方法，所述方法包括：
利用分类模型对分类测试集进行处理，得到分类结果，所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目，所述N为大于1的正整数；
获取为所述分类测试集中每一个测试子集设置的标签类目，并将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；
根据所述比较结果确定所述分类模型的分类效果指标值；
其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。
另一方面，本发明实施例提供了一种分类效果确定装置，所述装置包括：
处理单元，用于利用分类模型对分类测试集进行处理，得到分类结果，所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目，所述N为大于1的正整数；
获取单元，用于获取为所述分类测试集中每一个测试子集设置的标签类目；
所述处理单元，还用于将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；
确定单元，用于根据所述比较结果确定所述分类模型的分类效果指标值；
其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。
再一方面，本发明实施例提供了一种智能终端，包括：处理器和存储器，所述存储器存储有可执行程序代码，所述处理器用于调用所述可执行程序代码，执行上述分类效果确定方法。
相应地，本发明实施例还提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述分类效果确定方法。
本发明实施例通过利用分类模型对分类测试集进行处理，得到分类测试集中每一个测试子集的预测类目，并将每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；然后利用根据比较结果确定出的第一效果参数、第二效果参数以及为第一效果参数确定的第一权重值、为第二效果参数确定的第二权重值计算得到分类模型的分类效果指标值，从而可以在确定分类模型的分类效果时兼顾多个效果参数以及各个效果参数的权重，有效提高确定分类模型的分类效果的客观性和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种分类任务的流程示意图；
图2是本发明实施例提供的一种分类效果确定方法的流程示意图；
图3是本发明实施例中效果参数之间的转换关系的示意图；
图4是本发明实施例提供的一种分类效果确定装置的结构示意图；
图5是本发明实施例提供的一种智能终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1，图1为本发明实施例提供的一种分类任务的流程示意图。如图1所示，智能终端首先利用训练集对分类模型进行训练，得到训练后的分类模型；然后利用分类模型对测试集进行测试处理，得到分类结果；然后根据分类结果对分类模型的分类效果进行评估，得到分类模型的分类效果指标值。进一步地，智能终端根据评估得到的分类模型的分类效果指标值对训练集、分类模型、测试集进行调整，也即是图中所示的反馈过程。其中，分类模型包括多个分类类目输出，利用分类模型对分类测试集进行处理得到的分类结果用于指示：测试集中每一个测试子集被分类模型识别后输出的预测类目。智能终端根据分类结果确定分类模型的分类效果指标值的方式为：获取为测试集中每一个测试子集设置的标签类目，并将每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；然后利用根据该比较结果确定出的第一效果参数、第二效果参数以及为第一效果参数确定的第一权重值、为第二效果参数确定的第二权重值计算得到分类模型的分类效果指标值。上述方式可以在确定分类模型的分类效果时兼顾多个效果参数以及各个效果参数的权重，有效提高确定分类模型的分类效果的客观性和准确性。
请参阅图2，图2为本发明实施例提供的一种分类效果确定方法的流程示意图。本发明实施例中所描述的分类效果确定方法包括：
S201、智能终端利用分类模型对分类测试集进行处理，得到分类结果；所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目。
本发明实施例中，分类测试集包括多个测试子集，测试子集中包括有分类对象，测试子集可以是由分类对象的图像数据组成的数据集。智能终端利用分类模型对分类测试集进行处理，以利用分类模型对分类测试集中的每一个测试子集进行识别，确定每一个测试子集所属的预测类目。其中，分类模型包括N个分类类目输出，N为大于1的正整数。分类结果用于指示分类测试集中每一个测试子集被分类模型识别后输出的预测类目，预测类目为所述N个分类类目中的一个。在一实施例中，分类模型可以是智能终端事先利用分类训练集以及相关算法训练生成的用于执行分类任务的模型，相关算法可以是支持向量机(SupportVector Machine，SVM)、决策树或者逻辑回归等算法。
S202、所述智能终端获取为所述分类测试集中每一个测试子集设置的标签类目，并将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果。
本发明实施例中，事先为分类测试集中的每一个测试子集设置了标签类目，标签类目用于指示每一个测试子集所属的真实类目，或者说用于指示测试子集包括的分类对象所属的真实类目。智能终端将每一个测试子集的预测类目及其标签类目进行比较，以判断每一个测试子集的预测类目及其标签类目是否相同，得到比较结果。其中，比较结果包括所述N个分类类目中的每一个分类类目对应的目标类指标参数，目标类指标参数中包括真阳指标参数，目标类指标参数中还包括假阳指标参数和假阴指标参数中的至少一种。针对所述N个分类类目中的任意一个目标分类类目，真阳指标参数用于指示：预测类目和标签类目均为该目标分类类目的测试子集的数量；假阳指标参数用于指示：预测类目为该目标分类类目，但标签类目不为该目标分类类目的测试子集的数量；假阴指标参数用于指示：预测类目不为该目标分类类目，但标签类目为该目标分类类目的测试子集的数量。
S203、所述智能终端根据所述比较结果确定所述分类模型的分类效果指标值；其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。
本发明实施例中，第一权重值是根据第二效果参数、第一效果参数与第二效果参数的和值确定的；第二权重值是根据第一效果参数、第一效果参数与第二效果参数的和值确定的。第一效果参数和第二效果参数是根据上述比较结果包括的每一个分类类目对应的目标类指标参数确定的，具体是根据目标类指标参数包括的假阳指标参数和假阴指标参数中的至少一种、以及目标类指标参数包括的真阳指标参数确定的。其中，当分类模型的分类效果指标值越大时，表示分类模型的分类效果好，反之，则表示分类模型的分类效果差。
在一实施例中，第一效果参数包括微精准率，第二效果参数包括宏精准率；微精准率和宏精准率是根据目标类指标参数包括的真阳指标参数和假阳指标参数确定的。精准率(precision)用于指示对于预测类目为同一个分类类目的测试子集中，预测类目和标签类目一致的测试子集所占的数量比例。智能终端根据所述比较结果确定分类模型的分类效果指标值的方式为：获取微精准率与宏精准率的和值，并将宏精准率除以所述和值得到第一权重值，将微精准率除以所述和值得到第二权重值；然后根据微精准率与第一权重值的乘积、宏精准率与第二权重值的乘积得到融合精准率，并将所述融合精准率所指示的数值作为分类模型的分类效果指标值。
举例来说，分类类目i为所述N个分类类目中的任意一个，TPi表示分类类目i的真阳(True Positive)指标参数，FPi表示分类类目i的假阳(False Positive)指标参数。微精准率的计算方式如式一所示：
其中，precisionmicro表示分类模型的微精准率，i的取值范围为[1，N]。
宏精准率的计算方式如式二和式三所示：
其中，precisioni表示分类模型针对分类类目i的分类精准率，分类类目i的分类精准率用于表示：预测类目和标签类目均为分类类目i的测试子集的数量，占预测类目为分类类目i的测试子集的总数量的比例；i的取值范围为[1，N]。mean函数表示求平均值。precisionmacro表示分类模型的宏精准率，分类模型的宏精准率用于表示：分类模型针对其输出的各个分类类目的分类精准率的平均值。
进一步地，智能终端根据计算得到的微精准率和宏精准率确定分类模型的融合精准率。分类模型的融合精准率的计算方式如式四所示：
其中，precisionmix表示分类模型的融合精准率；表示第一权重值，precisionmicro表示分类模型的第一效果参数微精准率；表示第二权重值，precisionmacro表示第二效果参数宏精准率。
进一步地，智能终端将分类模型的融合精准率所指示的数值作为分类模型的分类效果指标值。当分类模型的融合精准率所指示的数值越大时，表示分类模型的分类效果好，反之，则表示分类模型的分类效果差。一方面，上述方式利用融合精准率来确定分类模型的分类效果，可以同时考虑分类模型的微精准率和宏精准率两个效果指标，从而可以提高确定分类模型分类效果的客观性和准确性。另一方面，上述方式还利用权重值来对微精准率和宏精准率进行加权，当分类模型针对头部类别测试集的分类效果较好时，分类模型的微精准率precisionmicro的值较大，这时式四中宏精准率precisionmacro的权重值变大，从而用于指示分类模型分类效果的融合精准率会更关注分类模型的宏精准率precisionmacri，也即是更加关注分类模型针对中长尾类别测试集的分类效果。反之，当分类模型针对中长尾类别测试集的分类效果较好时，分类模型的宏精准率precisionmacro的值较大，这时式四中微精准率precisionmicro的权重值变大，从而用于指示分类模型分类效果的融合精准率会更关注分类模型的微精准率precisionmicro，也即是更加关注分类模型针对头部类别测试集的分类效果。综上所述，上述方式利用权重值来对微精准率和宏精准率进行加权，可以平衡分类模型针对头部类别测试集的分类效果和针对中长尾类别测试集的分类效果，有效避免由于在确定分类模型的分类效果时只关注分类模型针对某一部分测试集的分类效果，造成的确定分类模型分类效果的偏向性问题，从而可以进一步提高确定分类模型分类效果的客观性和准确性。
需要说明的是，头部类别测试集是指由包括相同或者相似分类对象的数量较多的测试数据组成的数据集，中长尾类别测试集是指由包括相同或者相似分类对象的数量较少的测试数据组成的数据集。在一实施例中，根据式四可以得到式五，并可以根据式五直接计算分类模型的融合精准率，式五的表达式为：
在另一实施例中，第一效果参数包括微召回率，第二效果参数包括宏召回率，微召回率和宏召回率是根据目标类指标参数包括的真阳指标参数和假阴指标参数确定的。召回率(recall)用于指示对于标签类目为同一个分类类目的测试子集中，分类模型分类正确的测试子集所占的数量比例。智能终端根据所述比较结果确定分类模型的分类效果指标值的方式为：获取微召回率与宏召回率的和值，并将宏召回率除以所述和值得到第一权重值，将微召回率除以所述和值得到第二权重值；然后根据微召回率与第一权重值的乘积、宏召回率与第二权重值的乘积得到融合召回率，并将所述融合召回率所指示的数值作为分类模型的分类效果指标值。
举例来说，分类类目i为所述N个分类类目中的任意一个，TPi表示分类类目i的真阳(True Positive)指标参数，FNi表示分类类目i的假阴(False Negative)指标参数。微召回率的计算方式如式六所示：
其中，recallmicro表示分类模型的微召回率，i的取值范围为[1，N]。
宏召回率的计算方式如式七和式八所示：
其中，recalli表示分类模型针对分类类目i的分类召回率，分类类目i的分类召回率用于表示：预测类目和标签类目均为分类类目i的测试子集的数量，占标签类目为分类类目i的测试子集的总数量的比例；i的取值范围为[1，N]。mean函数表示求平均值。recallmacro表示分类模型的宏召回率，分类模型的宏召回率用于表示：分类模型针对其输出的各个分类类目的分类召回率的平均值。
进一步地，智能终端根据计算得到的微召回率和宏召回率确定分类模型的融合召回率。分类模型的融合召回率的计算方式如式九所示：
其中，recallmix表示分类模型的融合召回率；表示第一权重值，recallmicro表示分类模型的第一效果参数微召回率；表示第二权重值，recallmacro表示第二效果参数宏召回率。
进一步地，智能终端将分类模型的融合召回率所指示的数值作为分类模型的分类效果指标值。当分类模型的融合召回率所指示的数值越大时，表示分类模型的分类效果好，反之，则表示分类模型的分类效果差。一方面，上述方式利用融合召回率来确定分类模型的分类效果，可以同时考虑分类模型的微召回率和宏召回率两个效果指标，从而可以提高确定分类模型分类效果的客观性和准确性。另一方面，上述方式还利用权重值来对微召回率和宏召回率进行加权，当分类模型针对头部类别测试集的分类效果较好时，分类模型的微召回率recallmicro的值较大，这时式九中宏召回率recallmacro的权重值变大，从而用于指示分类模型分类效果的融合召回率会更关注分类模型的宏召回率recallmacro，也即是更加关注分类模型针对中长尾类别测试集的分类效果。反之，当分类模型针对中长尾类别测试集的分类效果较好时，分类模型的宏召回率recallmacro的值较大，这时式四中微召回率recallmicro的权重值变大，从而用于指示分类模型分类效果的融合召回率会更关注分类模型的微召回率recallmicro，也即是更加关注分类模型针对头部类别测试集的分类效果。综上所述，上述方式利用权重值来对微召回率和宏召回率进行加权，可以平衡分类模型针对头部类别测试集的分类效果和针对中长尾类别测试集的分类效果，有效避免由于在确定分类模型的分类效果时只关注分类模型针对某一部分测试集的分类效果，造成的确定分类模型分类效果的偏向性问题，从而可以进一步提高确定分类模型分类效果的客观性和准确性。
其中，根据式九可以得到式十，并可以根据式十直接计算分类模型的融合召回率，式十的表达式为：
在另一实施例中，第一效果参数包括微综合评价指标参数，第二效果参数包括宏综合评价指标参数，微综合评价指标参数和宏综合评价指标参数是根据目标类指标参数包括的真阳指标参数、真阴指标参数和假阴指标参数确定的。具体地，微综合评价指标参数是根据分类模型的微精准率和微召回率确定的，宏综合评价指标参数是根据分类模型的宏精准率和宏召回率确定的；分类模型的微精准率、宏精准率、微召回率和宏召回率是根据分类结果包括的目标类指标参数确定的。智能终端根据所述比较结果确定分类模型的分类效果指标值的方式为：获取微综合评价指标参数与宏综合评价指标参数的和值，并将宏综合评价指标参数除以所述和值得到第一权重值，将微综合评价指标参数除以所述和值得到第二权重值，然后根据微综合评价指标参数与第一权重值的乘积、宏综合评价指标参数与第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为分类模型的分类效果指标值。其中，微综合评价指标参数为微F1分数，宏综合评价指标参数为宏F1分数，融合综合评价指标参数为融合F1分数。综合评价指标参数或者F1分数(F1Score)，是用来衡量分类模型的分类精确度的一种指标，是同时兼顾了分类模型的精准率和召回率的综合指标。综合评价指标参数或者F1分数可以看作是分类模型的精准率和召回率的一种加权平均。需要说明的是，以下将微综合评价指标参数简称为微F1分数，将宏综合评价指标参数简称为宏F1分数，融合综合评价指标参数简称为融合F1分数，后续不再赘述。
其中，分类模型的微精准率、宏精准率、微召回率和宏召回率是根据目标类指标参数包括的真阴指标参数和假阴指标参数中的至少一种、目标类指标参数包括的真阳指标参数确定的。微精准率的计算方式如前文中的式一所示，宏精准率的计算方式如前文中的式二和式三所示，微召回率的计算方式如前文中的式六所示，宏召回率的计算方式如前文中的式七和式八所示，此处不再赘述。智能终端计算得到分类模型的微精准率precisionmicro、宏精准率precisionmacro、微召回率recallmicro和宏召回率recallmacro之后，根据计算得到的微精准率precisionmicro和微召回率recallmicro计算微F1分数，根据计算得到的宏精准率precisionmacro和宏召回率recallmacro计算宏F1分数。微F1分数的计算方式如式十一所示，宏F1分数的计算方式如式十二所示：
其中，Fmicro表示分类模型的微F1分数；Fmacro表示分类模型的宏F1分数。
进一步地，智能终端根据计算得到的微F1分数和宏F1分数确定分类模型的融合F1分数。分类模型的融合F1分数的计算方式如式十三所示：
其中，Fmix表示分类模型的融合F1分数；表示第一权重值，Fmicro表示分类模型的第一效果参数微F1分数；表示第二权重值，Fmacro表示第二效果参数宏F1分数。
进一步地，智能终端将分类模型的融合F1分数所指示的数值作为分类模型的分类效果指标值。当分类模型的融合F1分数所指示的数值越大时，表示分类模型的分类效果好，反之，则表示分类模型的分类效果差。一方面，上述方式利用融合F1分数来确定分类模型的分类效果，可以同时考虑分类模型的微精准率、宏精准率、微召回率和宏召回率四个效果指标，从而可以提高确定分类模型分类效果的客观性和准确性。另一方面，上述方式还利用权重值来对微F1分数和宏F1分数进行加权，当分类模型针对头部类别测试集的分类效果较好时，分类模型的微F1分数Fmicro的值较大，这时式十三中宏F1分数Fmacro的权重值变大，从而用于指示分类模型分类效果的融合召回率会更关注分类模型的宏F1分数Fmacro，也即是更加关注分类模型针对中长尾类别测试集的分类效果。反之，当分类模型针对中长尾类别测试集的分类效果较好时，分类模型的宏F1分数Fmacro的值较大，这时式十三中微F1分数Fmicro的权重值变大，从而用于指示分类模型分类效果的融合F1分数会更关注分类模型的微F1分数Fmicro，也即是更加关注分类模型针对头部类别测试集的分类效果。综上所述，上述方式利用权重值来对微F1分数和宏F1分数进行加权，可以平衡分类模型针对头部类别测试集的分类效果和针对中长尾类别测试集的分类效果，有效避免由于在确定分类模型的分类效果时只关注分类模型针对某一部分测试集的分类效果，造成的确定分类模型分类效果的偏向性问题，从而可以进一步提高确定分类模型分类效果的客观性和准确性。
其中，根据式十三可以得到式十四，并可以根据式十四直接计算分类模型的融合F1分数，式十四的表达式为：
在另一实施例中，第一效果参数包括融合精准率，第二效果参数包括融合召回率；融合精准率是根据分类模型的微精准率和宏精准率确定的，融合召回率是根据分类模型的微召回率和宏召回率确定的；分类模型的微精准率、宏精准率、微召回率和宏召回率是根据目标类指标参数包括的真阴指标参数和假阴指标参数中的至少一种、目标类指标参数包括的真阳指标参数确定的。智能终端根据所述比较结果确定分类模型的分类效果指标值的方式为：获取融合精准率与融合召回率的和值，并将融合召回率除以所述和值得到第一权重值，将融合精准率除以所述和值得到第二权重值；然后根据融合精准率与第一权重值的乘积、融合召回率与第二权重值的乘积得到融合综合评价指标参数，也即融合F1分数，并将所述融合F1分数所指示的数值作为分类模型的分类效果指标值。
其中，分类模型的融合精准率的计算方式如前文中的式四或者式五所示，分类模型的融合召回率的计算方式如式九或者式10所示。智能终端计算得到融合精准率precisionmix和融合召回率recallmix之后，根据计算得到的融合精准率precisionmix和融合召回率recallmix确定分类模型的融合F1分数。分类模型的融合F1分数的计算方式如式十五所示：
其中，Fmix表示分类模型的融合F1分数；表示第一权重值，precisionmix表示分类模型的第一效果参数融合精准率；表示第二权重值，recallmix表示第二效果参数融合召回率。
进一步地，智能终端将分类模型的融合F1分数所指示的数值作为分类模型的分类效果指标值。当分类模型的融合融F1分数所指示的数值越大时，表示分类模型的分类效果好，反之，则表示分类模型的分类效果差。一方面，上述方式利用融合F1分数来确定分类模型的分类效果，可以同时考虑分类模型的微精准率、宏精准率、微召回率和宏召回率四个效果指标，从而可以提高确定分类模型分类效果的客观性和准确性。另一方面，上述方式还利用权重值来对融合精准率和融合召回率进行加权，可以平衡分类模型针对头部类别测试集的分类效果和针对中长尾类别测试集的分类效果，有效避免由于在确定分类模型的分类效果时只关注分类模型针对某一部分测试集的分类效果，造成的确定分类模型分类效果的偏向性问题，从而可以进一步提高确定分类模型分类效果的客观性和准确性。
其中，根据式十五可以得到式十六，并可以根据式十六直接计算分类模型的融合F1分数，式十六的表达式为：
请一并参见图3，图3为本发明实施例中效果参数之间的转换关系的示意图。如图3所示，根据微精准率和宏精准率可以得到融合精准率，根据微召回率和宏召回率可以得到融合召回率；根据融合精准率和融合召回率可以得到融合F1分数。根据微精准率和微召回率可以得到微F1分数，根据宏精准率和宏召回率可以得到宏F1分数；根据微F1分数和宏F1分数可以得到融合F1分数。上述效果参数之间的计算关系可以根据前文中的公式得出，此处不再赘述。在一实施例中，可以将分类模型的微精准率、宏精准率、微召回率或者宏召回率所指示的数值作为分类模型的分类效果指标值，但只利用上述四个参数中的一个来确定分类模型的分类效果指标值，会在确定分类模型的分类效果时只关注分类模型针对某一部分测试集的分类效果，造成确定分类模型分类效果的偏向性问题。前文中将分类模型的融合精准率、融合F1分数或者融合召回率所指示的数值作为分类模型的分类效果指标值，一方面可以同时兼顾分类模型的多个效果指标，另一方面利用权重值来对效果指标进行加权，可以平衡分类模型针对头部类别测试集的分类效果和针对中长尾类别测试集的分类效果，从而有效提高确定分类模型分类效果的客观性和准确性。需要说明的是，根据前文中的公式可知，微精准率、宏精准率、微召回率和宏召回率的取值范围均为[0，1]；融合精准率、融合F1分数和融合召回率的取值范围也均为[0，1]。融合精准率、融合F1分数、融合召回率与微精准率、宏精准率、微召回率、宏召回率的值域保持一致，这样有利于各个效果参数之间的比较。
本发明实施例通过利用分类模型对分类测试集进行处理，得到分类测试集中每一个测试子集的预测类目，并将每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；然后利用根据比较结果确定出的第一效果参数、第二效果参数以及为第一效果参数确定的第一权重值、为第二效果参数确定的第二权重值计算得到分类模型的分类效果指标值，从而可以在确定分类模型的分类效果时兼顾多个效果参数以及各个效果参数的权重，有效提高确定分类模型的分类效果的客观性和准确性。
请参阅图4，图4为本发明实施例提供的一种分类效果确定装置的结构示意图。本发明实施例中所描述的分类效果确定装置，对应于前文所述的智能终端，所述分类效果确定装置包括：
处理单元401，用于利用分类模型对分类测试集进行处理，得到分类结果，所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目，所述N为大于1的正整数；
获取单元402，用于获取为所述分类测试集中每一个测试子集设置的标签类目；
所述处理单元401，还用于将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；
确定单元403，用于根据所述比较结果确定所述分类模型的分类效果指标值；其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。
在一实施例中，所述第一权重值是根据所述第二效果参数、所述第一效果参数与所述第二效果参数的和值确定的；所述第二权重值是根据所述第一效果参数、所述第一效果参数与所述第二效果参数的和值确定的。
在一实施例中，所述比较结果包括每一个分类类目对应的目标类指标参数，所述目标类指标参数包括真阳指标参数，所述目标类指标参数还包括假阳指标参数和假阴指标参数中的至少一种；所述第一效果参数和所述第二效果参数是根据所述目标类指标参数确定的。
在一实施例中，所述第一效果参数包括微精准率，所述第二效果参数包括宏精准率，所述确定单元403根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微精准率与所述宏精准率的和值；将所述宏精准率除以所述和值得到第一权重值，并将所述微精准率除以所述和值得到第二权重值；根据所述微精准率与所述第一权重值的乘积、所述宏精准率与所述第二权重值的乘积得到融合精准率，并将所述融合精准率所指示的数值作为所述分类模型的分类效果指标值。
在一实施例中，所述第一效果参数包括微召回率，所述第二效果参数包括宏召回率，所述确定单元403根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微召回率与所述宏召回率的和值；将所述宏召回率除以所述和值得到第一权重值，并将所述微召回率除以所述和值得到第二权重值；根据所述微召回率与所述第一权重值的乘积、所述宏召回率与所述第二权重值的乘积得到融合召回率，并将所述融合召回率所指示的数值作为所述分类模型的分类效果指标值。
在一实施例中，所述第一效果参数包括微综合评价指标参数，所述第二效果参数包括宏综合评价指标参数，所述确定单元403根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微综合评价指标参数与所述宏综合评价指标参数的和值；将所述宏综合评价指标参数除以所述和值得到第一权重值，并将所述微综合评价指标参数除以所述和值得到第二权重值；根据所述微综合评价指标参数与所述第一权重值的乘积、所述宏综合评价指标参数与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；其中，所述微综合评价指标参数是根据微精准率和微召回率确定的，所述宏综合评价指标参数是根据宏精准率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
在一实施例中，所述第一效果参数包括融合精准率，所述第二效果参数包括融合召回率，所述确定单元403根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述融合精准率与所述融合召回率的和值；将所述融合召回率除以所述和值得到第一权重值，并将所述融合精准率除以所述和值得到第二权重值；根据所述融合精准率与所述第一权重值的乘积、所述融合召回率与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；其中，所述融合精准率是根据微精准率和宏精准率确定的，所述融合召回率是根据微召回率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
可以理解的是，本发明实施例的分类效果确定装置的各功能单元的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
请参阅图5，图5为本发明实施例提供的一种智能终端的结构示意图。本发明实施例中所描述的智能终端包括：处理器501、用户接口502、通信接口503及存储器504。其中，处理器501、用户接口502、通信接口503及存储器504可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
其中，处理器501(或称CPU(Central Processing Unit，中央处理器))是终端的计算核心以及控制核心，其可以解析终端内的各类指令以及处理终端的各类数据，例如：CPU可以用于解析用户向终端所发送的开关机指令，并控制终端进行开关机操作；再如：CPU可以在终端内部结构之间传输各类交互数据，等等。用户接口502是实现用户与终端进行交互和信息交换的媒介，其具体体现可以包括用于输出的显示屏(Display)以及用于输入的键盘(Keyboard)等等，需要说明的是，此处的键盘既可以为实体键盘，也可以为触屏虚拟键盘，还可以为实体与触屏虚拟相结合的键盘。通信接口503可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等)，受处理器501的控制用于收发数据。存储器504(Memory)是终端中的记忆设备，用于存放程序和数据。可以理解的是，此处的存储器504既可以包括终端的内置存储器，当然也可以包括终端所支持的扩展存储器。存储器504提供存储空间，该存储空间存储了终端的操作系统，可包括但不限于：Android系统、iOS系统、Windows Phone系统等等，本发明对此并不作限定。
在本发明实施例中，处理器501通过运行存储器504中的可执行程序代码，执行如下操作：
利用分类模型对分类测试集进行处理，得到分类结果，所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目，所述N为大于1的正整数；
获取为所述分类测试集中每一个测试子集设置的标签类目，并将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；
根据所述比较结果确定所述分类模型的分类效果指标值；
其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。在一实施例中，所述第一权重值是根据所述第二效果参数、所述第一效果参数与所述第二效果参数的和值确定的；所述第二权重值是根据所述第一效果参数、所述第一效果参数与所述第二效果参数的和值确定的。
在一实施例中，所述比较结果包括每一个分类类目对应的目标类指标参数，所述目标类指标参数包括真阳指标参数，所述目标类指标参数还包括假阳指标参数和假阴指标参数中的至少一种；所述第一效果参数和所述第二效果参数是根据所述目标类指标参数确定的。
在一实施例中，所述第一效果参数包括微精准率，所述第二效果参数包括宏精准率，所述处理器501根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微精准率与所述宏精准率的和值；将所述宏精准率除以所述和值得到第一权重值，并将所述微精准率除以所述和值得到第二权重值；根据所述微精准率与所述第一权重值的乘积、所述宏精准率与所述第二权重值的乘积得到融合精准率，并将所述融合精准率所指示的数值作为所述分类模型的分类效果指标值。
在一实施例中，所述处理器501第一效果参数包括微召回率，所述第二效果参数包括宏召回率，所述根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微召回率与所述宏召回率的和值；将所述宏召回率除以所述和值得到第一权重值，并将所述微召回率除以所述和值得到第二权重值；根据所述微召回率与所述第一权重值的乘积、所述宏召回率与所述第二权重值的乘积得到融合召回率，并将所述融合召回率所指示的数值作为所述分类模型的分类效果指标值。
在一实施例中，所述第一效果参数包括微综合评价指标参数，所述第二效果参数包括宏综合评价指标参数，所述处理器501根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述微综合评价指标参数与所述宏综合评价指标参数的和值；将所述宏综合评价指标参数除以所述和值得到第一权重值，并将所述微综合评价指标参数除以所述和值得到第二权重值；根据所述微综合评价指标参数与所述第一权重值的乘积、所述宏综合评价指标参数与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；其中，所述微综合评价指标参数是根据微精准率和微召回率确定的，所述宏综合评价指标参数是根据宏精准率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
在一实施例中，所述第一效果参数包括融合精准率，所述第二效果参数包括融合召回率，所述处理器501根据所述比较结果确定所述分类模型的分类效果指标值时，具体用于：获取所述融合精准率与所述融合召回率的和值；将所述融合召回率除以所述和值得到第一权重值，并将所述融合精准率除以所述和值得到第二权重值；根据所述融合精准率与所述第一权重值的乘积、所述融合召回率与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；其中，所述融合精准率是根据微精准率和宏精准率确定的，所述融合召回率是根据微召回率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
具体实现中，本发明实施例中所描述的处理器501、用户接口502、通信接口503及存储器504可执行本发明实施例提供的一种分类效果确定方法中所描述的智能终端的实现方式，也可执行本发明实施例提供的一种分类效果确定装置中所描述的实现方式，在此不再赘述。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如本发明实施例所述的分类效果确定方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如本发明实施例所述的分类效果确定方法。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上所揭露的仅为本发明部分实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (10)

1.一种分类效果确定方法，其特征在于，所述方法包括：
利用分类模型对分类测试集进行处理，得到分类结果，所述分类模型包括N个分类类目输出，所述分类结果用于指示所述分类测试集中每一个测试子集被所述分类模型识别后输出的预测类目，所述N为大于1的正整数；
获取为所述分类测试集中每一个测试子集设置的标签类目，并将所述每一个测试子集的预测类目及其标签类目进行比较，得到比较结果；
根据所述比较结果确定所述分类模型的分类效果指标值；
其中，所述分类效果指标值是根据第一效果参数、第二效果参数以及为所述第一效果参数确定的第一权重值、为所述第二效果参数确定的第二权重值计算得到的，所述第一效果参数和所述第二效果参数是根据所述比较结果确定的。
2.如权利要求1所述的方法，其特征在于，所述第一权重值是根据所述第二效果参数、所述第一效果参数与所述第二效果参数的和值确定的；所述第二权重值是根据所述第一效果参数、所述第一效果参数与所述第二效果参数的和值确定的。
3.如权利要求1或2所述的方法，其特征在于，所述比较结果包括每一个分类类目对应的目标类指标参数，所述目标类指标参数包括真阳指标参数，所述目标类指标参数还包括假阳指标参数和假阴指标参数中的至少一种；所述第一效果参数和所述第二效果参数是根据所述目标类指标参数确定的。
4.如权利要求3所述的方法，其特征在于，所述第一效果参数包括微精准率，所述第二效果参数包括宏精准率，所述根据所述比较结果确定所述分类模型的分类效果指标值，包括：
获取所述微精准率与所述宏精准率的和值；
将所述宏精准率除以所述和值得到第一权重值，并将所述微精准率除以所述和值得到第二权重值；
根据所述微精准率与所述第一权重值的乘积、所述宏精准率与所述第二权重值的乘积得到融合精准率，并将所述融合精准率所指示的数值作为所述分类模型的分类效果指标值。
5.如权利要求3所述的方法，其特征在于，所述第一效果参数包括微召回率，所述第二效果参数包括宏召回率，所述根据所述比较结果确定所述分类模型的分类效果指标值，包括：
获取所述微召回率与所述宏召回率的和值；
将所述宏召回率除以所述和值得到第一权重值，并将所述微召回率除以所述和值得到第二权重值；
根据所述微召回率与所述第一权重值的乘积、所述宏召回率与所述第二权重值的乘积得到融合召回率，并将所述融合召回率所指示的数值作为所述分类模型的分类效果指标值。
6.如权利要求3所述的方法，其特征在于，所述第一效果参数包括微综合评价指标参数，所述第二效果参数包括宏综合评价指标参数，所述根据所述比较结果确定所述分类模型的分类效果指标值，包括：
获取所述微综合评价指标参数与所述宏综合评价指标参数的和值；
将所述宏综合评价指标参数除以所述和值得到第一权重值，并将所述微综合评价指标参数除以所述和值得到第二权重值；
根据所述微综合评价指标参数与所述第一权重值的乘积、所述宏综合评价指标参数与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；
其中，所述微综合评价指标参数是根据微精准率和微召回率确定的，所述宏综合评价指标参数是根据宏精准率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
7.如权利要求3所述的方法，其特征在于，所述第一效果参数包括融合精准率，所述第二效果参数包括融合召回率，所述根据所述比较结果确定所述分类模型的分类效果指标值，包括：
获取所述融合精准率与所述融合召回率的和值；
将所述融合召回率除以所述和值得到第一权重值，并将所述融合精准率除以所述和值得到第二权重值；
根据所述融合精准率与所述第一权重值的乘积、所述融合召回率与所述第二权重值的乘积得到融合综合评价指标参数，并将所述融合综合评价指标参数所指示的数值作为所述分类模型的分类效果指标值；
其中，所述融合精准率是根据微精准率和宏精准率确定的，所述融合召回率是根据微召回率和宏召回率确定的；所述微精准率、宏精准率、微召回率和宏召回率是根据所述目标类指标参数确定的。
8.一种分类效果确定装置，其特征在于，包括用于执行如权利要求1至7中任一项权利要求所述的分类效果确定方法的单元。
9.一种智能终端，其特征在于，包括：处理器和存储器，所述存储器存储有可执行程序代码，所述处理器用于调用所述可执行程序代码，执行如权利要求1至7中任一项权利要求所述的分类效果确定方法。
10.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1至7中任一项权利要求所述的分类效果确定方法。
CN201910409134.1A 2019-05-16 2019-05-16 分类效果确定方法、装置、智能终端及存储介质 Active CN110135592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910409134.1A CN110135592B (zh) 2019-05-16 2019-05-16 分类效果确定方法、装置、智能终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910409134.1A CN110135592B (zh) 2019-05-16 2019-05-16 分类效果确定方法、装置、智能终端及存储介质

Publications (2)

Publication Number Publication Date
CN110135592A true CN110135592A (zh) 2019-08-16
CN110135592B CN110135592B (zh) 2023-09-19

Family

ID=67574779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910409134.1A Active CN110135592B (zh) 2019-05-16 2019-05-16 分类效果确定方法、装置、智能终端及存储介质

Country Status (1)

Country Link
CN (1) CN110135592B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051917A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 人工智能ai模型的评估方法、系统及设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120251008A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Classification Algorithm Optimization
CN104750844A (zh) * 2015-04-09 2015-07-01 中南大学 基于tf-igm的文本特征向量生成方法和装置及文本分类方法和装置
CN105224695A (zh) * 2015-11-12 2016-01-06 中南大学 一种基于信息熵的文本特征量化方法和装置及文本分类方法和装置
US20170132489A1 (en) * 2015-11-11 2017-05-11 Ronen Simgi Inspection and classification system
CN107577785A (zh) * 2017-09-15 2018-01-12 南京大学 一种适用于法律识别的层次多标签分类方法
CN107609201A (zh) * 2017-10-25 2018-01-19 广东工业大学 一种基于推荐系统的推荐模型生成方法及相关装置
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108228569A (zh) * 2018-01-30 2018-06-29 武汉理工大学 一种基于松散条件下协同学习的中文微博情感分析方法
CN108470035A (zh) * 2018-02-05 2018-08-31 延安大学 一种基于判别混合模型的实体-引文相关性分类方法
CN108491429A (zh) * 2018-02-09 2018-09-04 湖北工业大学 一种基于类内类间文档频和词频统计的特征选择方法
WO2018163488A1 (ja) * 2017-03-08 2018-09-13 株式会社日立製作所 プラントデータ分類装置、プラントデータ表示処理装置及びプラント制御システム
CN108960073A (zh) * 2018-06-05 2018-12-07 大连理工大学 面向生物医学文献的跨模态图像模式识别方法
CN109389136A (zh) * 2017-08-08 2019-02-26 上海为森车载传感技术有限公司 分类器训练方法
CN109408641A (zh) * 2018-11-22 2019-03-01 山东工商学院 一种基于有监督主题模型的文本分类方法及系统

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120251008A1 (en) * 2011-03-31 2012-10-04 Microsoft Corporation Classification Algorithm Optimization
CN104750844A (zh) * 2015-04-09 2015-07-01 中南大学 基于tf-igm的文本特征向量生成方法和装置及文本分类方法和装置
US20170132489A1 (en) * 2015-11-11 2017-05-11 Ronen Simgi Inspection and classification system
CN105224695A (zh) * 2015-11-12 2016-01-06 中南大学 一种基于信息熵的文本特征量化方法和装置及文本分类方法和装置
WO2018163488A1 (ja) * 2017-03-08 2018-09-13 株式会社日立製作所 プラントデータ分類装置、プラントデータ表示処理装置及びプラント制御システム
CN109389142A (zh) * 2017-08-08 2019-02-26 上海为森车载传感技术有限公司 分类器训练方法
CN109389136A (zh) * 2017-08-08 2019-02-26 上海为森车载传感技术有限公司 分类器训练方法
CN107577785A (zh) * 2017-09-15 2018-01-12 南京大学 一种适用于法律识别的层次多标签分类方法
CN107609201A (zh) * 2017-10-25 2018-01-19 广东工业大学 一种基于推荐系统的推荐模型生成方法及相关装置
CN108108849A (zh) * 2017-12-31 2018-06-01 厦门大学 一种基于弱监督多模态深度学习的微博情感预测方法
CN108228569A (zh) * 2018-01-30 2018-06-29 武汉理工大学 一种基于松散条件下协同学习的中文微博情感分析方法
CN108470035A (zh) * 2018-02-05 2018-08-31 延安大学 一种基于判别混合模型的实体-引文相关性分类方法
CN108491429A (zh) * 2018-02-09 2018-09-04 湖北工业大学 一种基于类内类间文档频和词频统计的特征选择方法
CN108960073A (zh) * 2018-06-05 2018-12-07 大连理工大学 面向生物医学文献的跨模态图像模式识别方法
CN109408641A (zh) * 2018-11-22 2019-03-01 山东工商学院 一种基于有监督主题模型的文本分类方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ROSENBERG等: "Classifying skewed data: Importance weighting to optimize average recall", 《THIRTEENTH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION》, pages 2242 - 2245 *
吴川北: "基于卷积自编码神经网络的肺结节检测", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》, no. 7, pages 072 - 159 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021051917A1 (zh) * 2019-09-16 2021-03-25 华为技术有限公司 人工智能ai模型的评估方法、系统及设备

Also Published As

Publication number Publication date
CN110135592B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
CN110070117B (zh) 一种数据处理方法及装置
CN104798043B (zh) 一种数据处理方法和计算机系统
CN107766929B (zh) 模型分析方法及装置
CN107220217A (zh) 基于逻辑回归的特征系数训练方法和装置
CN108664893A (zh) 一种人脸检测方法及存储介质
CN108875768A (zh) 数据标注方法、装置和系统及存储介质
CN108563548A (zh) 异常检测方法及装置
CN101556553A (zh) 基于需求变更的缺陷预测方法和系统
CN108805689A (zh) 一种贷款风险评估控制方法及装置
CN106095684B (zh) 一种预测性变异测试方法
CN110413510A (zh) 一种数据处理方法、装置及设备
CN108319974A (zh) 数据处理方法、装置、存储介质和电子装置
CN113191828B (zh) 一种用户用电价值等级标签构建方法、装置、设备及介质
CN107545038A (zh) 一种文本分类方法与设备
CN106991577A (zh) 一种确定目标用户的方法及装置
CN110490683A (zh) 一种线下线上协同多模型混合推荐的方法及系统
CN108198072A (zh) 一种人工智能评估金融产品特征的系统
CN110334926A (zh) 一种智能场景大数据分析系统
CN110580217A (zh) 软件代码健康度的检测方法、处理方法、装置及电子设备
CN110135592A (zh) 分类效果确定方法、装置、智能终端及存储介质
CN107633421A (zh) 一种市场预测数据的处理方法及装置
CN109447462A (zh) 一种用于确定研究对象的影响因子的方法与设备
CN111582315A (zh) 样本数据处理方法、装置及电子设备
CN110648215A (zh) 分布式评分卡模型建立方法
CN110378516A (zh) 分析师画像生成方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant