CN114548263A - 标注数据的校验方法、装置、计算机设备及存储介质 - Google Patents

标注数据的校验方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114548263A
CN114548263A CN202210156601.6A CN202210156601A CN114548263A CN 114548263 A CN114548263 A CN 114548263A CN 202210156601 A CN202210156601 A CN 202210156601A CN 114548263 A CN114548263 A CN 114548263A
Authority
CN
China
Prior art keywords
emotion
data
group
annotation
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210156601.6A
Other languages
English (en)
Inventor
郄楠
周可远
杨宇哲
许立武
张鹏
李亚乾
郭彦东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202210156601.6A priority Critical patent/CN114548263A/zh
Publication of CN114548263A publication Critical patent/CN114548263A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Mathematical Optimization (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Strategic Management (AREA)
  • Pure & Applied Mathematics (AREA)
  • Operations Research (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Marketing (AREA)
  • Algebra (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种标注数据的校验方法、装置、计算机设备及存储介质，该方法包括：获取针对同一标注样本集的M组第一情感标注数据；基于每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分；基于每组第一情感标注数据与M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分，加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；基于每组第一情感标注数据对应的第一标注得分以及第二标注得分，对每组第一情感标注数据进行校验。本方法可以实现对情感标注数据的准确校验。

Description

标注数据的校验方法、装置、计算机设备及存储介质
技术领域
本申请涉及人工智能技术领域，更具体地，涉及一种标注数据的校验方法、装置、计算机设备及存储介质。
背景技术
随着科技水平的迅速发展，涉及情感标注数据的深度学习引起了人们极大的研究兴趣，并同时在很多应用产品中部署，例如利用情感标注数据训练语音对话模型、图像评价模型等。但是，在对样本数据进行情感标注时，容易受到标注人员的主观性、个性化的影响，进而影响了情感标注数据的标注准确性。
发明内容
本申请提出了一种标注数据的校验方法、装置、计算机设备及存储介质，可以实现对情感标注数据的准确校验。
第一方面，本申请实施例提供了一种标注数据的校验方法，所述方法包括：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
第二方面，本申请实施例提供了一种标注数据的校验装置，所述装置包括：数据获取模块、第一评分模块、第二评分模块以及数据校验模块，其中，所述数据获取模块用于获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；所述第一评分模块用于基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；所述第二评分模块用于基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；所述第二评分模块用于基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
第三方面，本申请实施例提供了一种计算机设备，包括：一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行上述第一方面提供的标注数据的校验方法。
第四方面，本申请实施例提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行上述第一方面提供的标注数据的校验方法。
本申请提供的方案，通过获取针对同一标注样本集的M组第一情感标注数据，再基于每组第一情感标注数据与标准标注数据库中的N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分，且第二情感标注数据与第一情感标注数据之间存在至少部分相同的标注样本，基于每组第一情感标注数据与M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分，且加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定，然后基于每组第一情感标注数据对应的第一标注得分以及第二标注得分，对每组第一情感标注数据进行校验。由于第一标注得分以及第二标注得分均根据一致性权重确定加权一致性分数得到，且加权一致性权重由情感标签之间的关联度确定，因此可以提升第一标注得分以及第二标注得分的准确性，从而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够提升校验准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了根据本申请一个实施例的标注数据的校验方法流程图。
图2示出了根据本申请另一个实施例的标注数据的校验方法流程图。
图3示出了根据本申请又一个实施例的标注数据的校验方法流程图。
图4示出了根据本申请再一个实施例的标注数据的校验方法流程图。
图5示出了根据本申请又另一个实施例的标注数据的校验方法流程图。
图6示出了根据本申请一个实施例的标注数据的校验装置的一种框图。
图7是本申请实施例的用于执行根据本申请实施例的标注数据的校验方法的计算机设备的框图。
图8是本申请实施例的用于保存或者携带实现根据本申请实施例的标注数据的校验方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
主观数据标注，即收集与人的主观感受、态度和看法相关的数据，是视觉理解、语义理解等算法研究的基础，是使算法效果得到用户主观满意的关键。主观数据标注任务，具有主观性强、个性化强的特点，不存在唯一标准答案，这给标注数据质量控制带来了挑战。针对主观标注任务的质量控制，需要既能够避免错标、乱标的情况，又能够保留合理的主观差异。
传统的对标注数据的校验方式中，通常将标注数据与专家标注数据进行匹配，由此确定标注数据是否核稿，或者，对于同一标注样本选择标注人数最多的标签，作为最终的标注结果。但是，在针对图像、视频、语音的主观标注任务中，对样本标注情感分量标签，即样本引发的主观情绪，是一种重要的标注场景。情感分类标签既无法转化为定量数据进行分析，又不能简单视为彼此独立的无序分类变量(例如，兴奋、快乐这两个情感分类就比快乐、愤怒这两个标签语义距离更近)，因此，而传统的校验方案无法很好地处理情感标注场景，导致情感标注数据的校验准确性不足。
针对上述问题，发明人提出了本申请实施例提供的标注数据的校验方法、装置、计算机设备以及存储介质，由于在校验过程中获取的第一标注得分以及第二标注得分均根据一致性权重确定加权一致性分数得到，且加权一致性权重由情感标签之间的关联度确定，因此可以提升第一标注得分以及第二标注得分的准确性，从而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够提升校验准确性。其中，具体的标注数据的校验方法在后续的实施例中进行详细的说明。
下面再结合附图对本申请实施例提供的标注数据的校验方法进行详细介绍。
请参阅图1，图1示出了本申请一个实施例提供的标注数据的校验方法的流程示意图。在具体的实施例中，所述标注数据的校验方法应用于如图6所示的标注数据的校验装置400以及配置有所述标注数据的校验装置400的计算机设备100(图7)。下面将以计算机设备为例，说明本实施例的具体流程，当然，可以理解的，本实施例所应用的计算机设备可以为服务器、PC电脑、笔记本电脑等，在此不做限定。下面将针对图1所示的流程进行详细的阐述，所述标注数据的校验方法具体可以包括以下步骤：
步骤S110：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数。
在本申请实施例中，计算机设备可以获取标注用户针对同一标注样本集的M组第一情感标注数据，并且每组第一情感标注数据的标注用户不同。标注样本集的样本数据可以为图像、音频等类型的样本数据，情感标注数据为对标注样本集中的样本数据标注情感标签后得到的数据。标注情感标签为对样本数据所引发的情感或情绪标注情感标签，也就是说情感标签用于表征样本数据引发的情感或情绪，例如，情感标签可以包括：兴奋、高兴、悲伤、低落等与情感相关的标签。可选地，本申请实施例中的情感标注也可以为其他类型的主观分类标签的标注，例如联觉类标注、意图类标注、场景类标注以及偏好类标注的。
在一些实施方式中，计算机设备可以将待标注的样本数据划分为多个数据包，每个数据包作为一个标注样本集；然后根据标注样本集生成标注任务，并将标注任务下发至多标注用户对应的客户端；在标注用户完成对标注样本集的标注后，再由标注用户的客户端反馈至该计算机设备，从而计算机设备可以得到标注用户对标注样本集。其中，每个标注样本集被M个标注用户标注，也就是说，同一标注样本集对应的标注任务被下发至M个标注用户对应的客户端，由此，对于同一标注样本集而言，计算机设备可以获得M组第一情感标注数据。需要说明的是，一个标注任务中可以包括1个标注样本集，也可以包括多个标注样本集，也就是说，每个标注用户可以对1个标注样本集进行标注，也可以对多个标注样本集进行标注，仅需要保证同一标注样本集被多个标注用户标注即可，在此不做限定。
在一些实施方式中，上述M可以大于预设用户数量，也就是说，计算机设备获取到的针对同一标注样本集进行标注的情感标注数据的组数应当大于预设用户数量，由此可以保证后续确定同一标注样本集的情感标注数据中的一致性分数时，所得到的标注得分具有准确性。其中，预设用户数量可以为4、5、6、7等，具体数值可以不做限定。
步骤S120：基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数。
在本申请实施例中，可以预先于标准标注数据库中存储有第二情感标注数据，并且，第二情感标注数据对应的标注样本，与第一情感标注数据对应的标注样本中存在至少部分相同。其中，标准标注数据库中的情感标注数据为预先对标注样本进行标注并经过校验的标注数据，例如，可以为有相应资格的标注员标注并进行校验后的标注数据，由于第二情感标注数据与第一情感标注数据之间存在至少部分相同的标注样本，因此，基于第二情感标注数据可以对第一情感标注数据进行校验，达到抽检的目的。可以理解地，众包标注情感标签的场景下，待标注的样本数量是巨大的，无法做到所有待标注样本都招募有资格的标注员，在可控情况下对所有样本进行标注，因此，可以预先于标准标注数据库中存储有多组第二情感标注数据，并且将二情感标注数据掺进全部待标注样本中分发给其他标注用户，而标准标注数据库的第二情感标注数据对应的标注样本相当于有标准答案的抽检题目，可以检查出标注用户的标注质量问题。
其中，基于标准标注数据库中的多组第二情感标注数据，对获取到的不同用户对标注样本集标注的第一情感标注数据进行校验时，可以基于每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分。可以理解地，每组第一情感标注数据与任一组第二情感标注数据之间的一致性分数表示所对应的两人标注意见的一致性，一致性分数越大，则代表这两个人标注的意见越统一，即待校验的第一情感标注数据与标准的第二情感标注数据更为匹配，第一情感标注数据的准确性也越高；另外，由于情感标注中，情感标签可能具有较强的关联度，例如兴奋的情感标签与快乐的情感标签具有高关联度，而兴奋与厌恶具有低关联度，因此在计算每组第一情感标注数据与每组第二情感标注数据之间的一致性分数时，可以根据情感标签之间的关联度确定一致性权重，并根据该一致性权重计算得到的一致性分数，更为贴合情感标注场景。
在一些实施方式中，计算机设备在确定每组第一情感标注数据与每组第二情感标注数据之间的加权一致性分数时，可以基于每组第一情感标注数据与每组第二情感标注数据中所标注的情感标签，以及上述情感标签之间的一致性权重，计算加权一致性分数。其中，加权一致性分数可以为加权肯德尔等级相关系数、加权Kappa相关系数等。
在一些实施方式中，一致性权重应当保证具有不同关联度的情感标签间的混淆对一致性计算的影响不同，其中，关联度越高的情感标签，则标签间混淆对一致性计算影响越小，即一致性权重越低。可以理解地，不同情感标签之间的相关度越高，则越容易混淆，因此一致性计算时应当减少权重，从而提升确定的加权一致性分数的准确性。例如，高兴对应的情感标签与兴奋对应的情感标签具有较高关联度，高兴对应的情感标签与厌恶对应的情感标签具有较低的关联度，则将高兴的样本标注为兴奋，对一致性影响较低，而将其标注为厌恶对一致性影响较高，因此高兴对应的情感标签与兴奋对应的情感标签之间的一致性权重，相对高兴对应的情感标签与厌恶对应的情感标签之间的一致性权重较小。
在一些实施方式中，在基于每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分时，可以获取每组第一情感标注数据对应的多个加权一致性分数的均值，作为第一标注得分；也可以获取每组第一情感标注数据对应的多个加权一致性分数的和值，作为第一标注得分，具体地计算方式可以不做限定。
步骤S130：基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定。
在本申请实施例中，在对上述M组第一情感标注数据进行校验时，还可以针对任一组第一情感标注数据，获取对应的第二标注得分时，可以获取该组第一情感标注数据与M组第一情感标注数据中除该组第一情感标注数据以外的其他第一情感标注数据中每组其他第一情感标注数据之间的加权一致性分数，例如，M组第一情感标注数据包括：a组情感标注数据、b组情感标注数据、c组情感标注数据、d组情感标注数据和e组情感标注数据，则针对a组情感标注数据获取对应的第二标注得分时，可以获取a组情感标注数据与b组情感标注数据之间的加权一致性分数、a组情感标注数据与c组情感标注数据之间的加权一致性分数、a组情感标注数据与d组情感标注数据之间的加权一致性分数、以及a组情感标注数据与e组情感标注数据之间的加权一致性分数；然后，基于每组第一情感标注数据与每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分。
可以理解地，每组第一情感标注数据与任一组其他第一情感标注数据之间的一致性分数表示所对应的两人标注意见的一致性，一致性分数越大，则代表这两个人标注的意见越统一，即待校验的第一情感标注数据与标准的第二情感标注数据更为匹配，若任一组第一情感标注数据与其他第一情感标注数据之间的一致性分数都较大，则该组第一情感标注数据对应的标注意见与多数用户的意见越统一，其准确性越高；另外，同步骤S120，在计算每组第一情感标注数据与每组其他第一情感标注数据之间的一致性分数时，可以根据情感标签之间的关联度确定一致性权重，并根据该一致性权重计算得到的一致性分数，更为贴合情感标注场景。
在一些实施方式中，在基于每组第一情感标注数据与每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分时，可以获取每组第一情感标注数据与每组其他第一情感标注数据之间的加权一致性分数的均值，作为二标注得分；也可以获取每组第一情感标注数据与每组其他第一情感标注数据之间的加权一致性分数的和值，作为第二标注得分，具体地计算方式可以不做限定。
步骤S140：基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
在本申请实施例中，每组第一情感标注数据对应的第一标注得分基于每组第一情感标注数据与标准标注数据库中N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分确定，因此第一标注得分可以反映标准标注数据对于每组第一情感标注数据校验的准确性；并且，第二标注得分基于每组第一情感标注数据与相同标注样本集对应的每组其他第一情感标注数据之间的加权一致性分确定，因此第二标注得分可以反映针对相同标注样本集的其他第一情感标注数据对该组第一情感标注数据校验的准确性。因此，计算机设备在获取到每组第一情感标注数据对应的第一标注得分以及第二标注得分之后，可以基于每组第一情感标注数据对应的第一标注得分以及第二标注得分，确定每组第一情感标注数据是否合格。
在一些实施方式中，若目标情感标注数据对应的第一标注得分大于第一阈值，且第二标注得分大于第二阈值，则确定所述目标情感标注数据为合格，所述目标情感标注数据为所述M组第一情感标注数据中的任一组情感标注数据；若目标情感标注数据对应的第一标注得分小于或等于第一阈值，和/或，第二标注得分小于或等于第二阈值，则确定所述目标情感标注数据为不合格。
在该实施方式中，计算机设备可以基于针对每一组第一情感标注数据，按照上述方式确定其是否合格。可以理解地，若第一标注得分大于第一阈值，且第二标注得分大于第二阈值，则表示目标情感标注数据与标准标注数据库中的情感标注数据的标注意见较为统一，而且目标情感标注数据与针对同一标注样本集的其他情感标注数据的标注意见也较为统一，因此可以确定其为合格；反之，则可以确定其不合格。
在该实施方式中，第一阈值可以根据第一标注得分的计算方式确定，同样地，第二阈值可以根据第二标注得分的计算方式确定。具体地，若第一标注得分为多个加权一致性分数的均值，则第一阈值根据加权一致性分数的经验值确定，例如，加权一致性分数为Kappa相关系数的情况下，-1表示完全不一致，0表示偶然一致，0.0～0.20表示极低的一致性，0.21～0.40表示一般的一致性，0.41～0.60表示中等的一致性，0.61～0.80表示高度的一致性，0.81～1表示几乎完全一致，则第一阈值可以取0.41～0.60；同样地，若第二标注得分第一标注得分为多个加权一致性分数的均值，则第二阈值也可以根据加权一致性分数的经验值确定；若第一标注得分为多个加权一致性分数的和值，则可以第一阈值可以为多个加权一致性分数的数量与上述取均值情况下的第一阈值的乘积，例如，加权一致性分数为Kappa相关系数的情况下，多个加权一致性分数的数量为N，第一阈值可以为N*0.5；若第一标注得分为多个加权一致性分数的和值，则可以第二阈值可以为多个加权一致性分数的数量与上述取均值情况下的第二阈值的乘积。
本申请实施例提供的标注数据的校验方法，对同一标注样本集的M组第一情感标注数据进行校验时，确定了每组第一情感标注数据与标准标注数据库中每组第二情感标注数据之间的标注意见的统一性(即第一标注得分)，也确定了每组第一情感标注数据与针对同一标注样本集的其他情感标注数据之间的标注意见的统一性(即第二标注得分)，因此同时利用第一标注得分以及第二标注得分有效判断标注质量，能够提升校验准确性，得到客观上具有代表性和普遍性的主观标注数据；并且，由于第一标注得分以及第二标注得分均根据一致性权重确定加权一致性分数得到，且加权一致性权重由情感标签之间的关联度确定，因此可以提升第一标注得分以及第二标注得分的准确性，从而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够进一步提升校验准确性。
请参阅图2，图2示出了本申请另一个实施例提供的标注数据的校验方法的流程示意图。该标注数据的校验方法应用于上述计算机设备，下面将针对图2所示的流程进行详细的阐述，所述标注数据的校验方法具体可以包括以下步骤：
步骤S210：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数。
在本申请实施例中，步骤S210可以参阅前述实施例的内容，在此不再赘述。
步骤S220：基于所述标准标注数据库中的第二情感标注数据，确定每个样本对应各情感标签被标注的次数。
在本申请实施例中，在确定情感标签之间的一致性权重时，可以基于标准标注数据库中的第二情感标注数据，确定每个样本对应各情感标签被标注的次数，以便根据每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的关联度系数。可以理解地，对于同一样本，由于情感标签具有主观性，标准标注数据库中可能对其标注为标签A，也可能对其标注为标签B，但是标签A与标签B之间是较为相关的(较为相似)，例如，“高兴”与“兴奋”对应的情感标签之间较为相关，因此，可以针对每个样本，统计各情感标签被选择的频数，以便基于此确定每两个情感标签之间的关联度系数。
步骤S230：基于所述每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的一致性权重。
在一些实施方式中，在获取到每个样本对应各情感标签被标注的次数之后，则可以基于每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的关联度系数；然后，基于每两个情感标签之间的关联度系数，确定每两个情感标签之间的一致性权重，且一致性权重与所述关联度系数呈负相关。
其中，对于情感标签i与情感标签j，可以统计相同样本时，情感标签i被标注的次数记为ei，情感标签j被标注的次数记为ej，然后基于相关系数的公式计算每两个情感标签之间的关联度系数，相关系数的公式如下：
Figure BDA0003512968880000111
rij为情感标签i与情感标签j之间的关联度系数，cov(ei，ej)为ei与ej的协方差，
Figure BDA0003512968880000112
为ei的标准差，
Figure BDA0003512968880000113
为ej的标准差。
在获取到情感标签i与情感标签j之间的关联度系数之后，则可以由该关联度系数，确定情感标签i与情感标签j之间的一致性权重。可选地，一致性权重wij的计算公式如下：
Figure BDA0003512968880000114
可以理解地，由于一致性权重与关联度系数呈负相关，通过该公式得到的一致性权重可以保证具有不同关联度的情感标签间的混淆对一致性计算的影响不同，其中，关联度越高的情感标签，则标签间混淆对一致性计算影响越小，即一致性权重越低。例如，高兴对应的情感标签与兴奋对应的情感标签具有较高关联度，高兴对应的情感标签与厌恶对应的情感标签具有较低的关联度，则将高兴的样本标注为兴奋，对一致性影响较低，而将其标注为厌恶对一致性影响较高，因此高兴对应的情感标签与兴奋对应的情感标签之间的一致性权重，相对高兴对应的情感标签与厌恶对应的情感标签之间的一致性权重较小。
步骤S240：基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数。
步骤S250：基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定。
步骤S260：基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
在本申请实施例中，步骤S240至步骤S260可以参阅其他实施例的内容，在此不再赘述。
本申请实施例提供的标注数据的校验方法，提供了情感分类的不同情感标签之间的一致性权重的获取方式，通过确定标准标注数据库中每个样本对应各情感标签被标注的次数，并基于此确定每两个情感标签之间的关联度系数，然后基于每两个情感标签之间的关联度系数，确定每两个情感标签之间的一致性权重，由此使得获取到的一致性权重可以保证具有不同关联度的情感标签间的混淆对一致性计算的影响不同，从而根据确定出的一致性权重进一步确定加权一致性分数得到第一标注得分以及第二标注得分时，可以提升第一标注得分以及第二标注得分的准确性，进而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够进一步提升校验准确性。
请参阅图3，图3示出了本申请又一个实施例提供的标注数据的校验方法的流程示意图。该标注数据的校验方法应用于上述计算机设备，下面将针对图3所示的流程进行详细的阐述，所述标注数据的校验方法具体可以包括以下步骤：
步骤S310：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数。
在本申请实施例中，步骤S310可以参阅其他实施例的内容，在此不再赘述。
步骤S320：分别获取所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的N个一致性分数。
其中，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数。
在本申请实施例中，计算机设备在基于每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分时，可以分别获取每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，由此，可以得到每组第一情感标注数据对应的N个一致性分数。
在一些实施方式中，加权一致性分数可以为加权Kappa相关系数，计算机设备可以基于每组第一情感标注数据与N组第二情感标注数据中的每组第二情感标注数据，生成每组第一情感标注数据对应的N个列联表；基于每组第一情感标注数据对应的N个列联表，以及一致性权重，获取每组第一情感标注数据与每组第二情感标注数据之间的加权Kappa相关系数，得到每组第一情感标注数据对应的N个一致性分数，且该一致性权重由标注的情感标签之间的关联度确定。
其中，列联表是两组观测数据交叉分类的频数分布表。示例性地，每组第一情感标注数据以及第二情感标注数据均包含20张图片，情感标签包括：兴奋、开心、和悲伤，生成的列联表示例为：
Figure BDA0003512968880000131
假设行标签与第二情感标注数据的用户A对应，列标签与第二情感标注数据的用户B对应，则第二行第一列的数字1，代表20张图中有且仅有1张图片，被用户A标注了悲伤，用户B标注了兴奋；同理第三行第三列的数字3，代表有3张图被两人都标注了开心。并且，对角线上的数量之和，代表了两用户意见统一的图片数量之和。
对于r行交叉表，设xij为第i行第j列的元素，xi+为交叉表第i行元素之和，x+j为交叉表第j列元素之和，wij为第i行的情感标签与第j列的情感标签之间的一致性权重，n为交叉表全部元素之和，基于列联表计算加权Kappa相关系数rk的公式如下：
Figure BDA0003512968880000132
其中，
Figure BDA0003512968880000141
步骤S330：获取所述每组第一情感标注数据对应的N个一致性分数的均值，得到所述每组第一情感标注数据对应的第一标注得分。
在本申请实施例中，在得到每组第一情感标注数据对应的N个一致性分数之后，则可以计算每组第一情感标注数据对应的N个一致性分数的均值，由此得到每组第一情感标注数据对应的第一标注得分。
示例性地，第一标注得分的计算公式如下：
Figure BDA0003512968880000142
其中，Rs为第一标注得分，rk为第一情感标注数据对应的加权Kappa相关系数(即一致性分数)，N为一致性分数的数量，也即第二情感标注数据的组数。
步骤S340：获取所述每组第一情感标注数据与所述M组第一情感标注数据中除所述每组第一情感标注数据以外的每组其他第一情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的M-1个一致性分数。
同样地，对于同一标注样本集的M组第一情感标注数据而言，可以针对每组第一情感标注数据，获取与其他的M-1组第一情感标注数据中每组数据之间的加权一致性分数，得到每组第一情感标注数据对应的M-1个一致性分数。
在一些实施方式中，加权一致性分数可以为加权Kappa相关系数，计算机设备可以基于获取所述每组第一情感标注数据与所述每组其他第一情感标注数据，生成所述每组第一情感标注数据对应的M-1个列联表；基于所述每组第一情感标注数据对应的M-1个列联表，以及一致性权重，获取所述每组第一情感标注数据与所述每组其他第一情感标注数据之间的加权Kappa相关系数，得到所述每组第一情感标注数据对应的M-1个一致性分数，所述一致性权重由标注的情感标签之间的关联度确定。其中，步骤S340中获取加权Kappa相关系数的方式可以参阅步骤S330的内容，在此不再赘述。
步骤S350：获取所述每组第一情感标注数据对应的M-1个一致性分数的均值，得到所述每组第一情感标注数据对应的第二标注得分。
在本申请实施例中，在得到每组第一情感标注数据对应的M-1个一致性分数之后，则可以计算每组第一情感标注数据对应的M-1个一致性分数的均值，由此得到每组第一情感标注数据对应的第二标注得分。
步骤S360：基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
在一些实施方式中，若目标情感标注数据对应的第一标注得分大于第一阈值，且第二标注得分大于第二阈值，则确定所述目标情感标注数据为合格，所述目标情感标注数据为所述M组第一情感标注数据中的任一组情感标注数据；若目标情感标注数据对应的第一标注得分小于或等于第一阈值，和/或，第二标注得分小于或等于第二阈值，则确定所述目标情感标注数据为不合格。其中，由于第一标注得分以及第二标注得分为多个加权一致性分数的均值，则第一阈值以及第二阈值可以根据加权一致性分数的经验值确定。可选地，加权一致性分数为Kappa相关系数的情况下，-1表示完全不一致，0表示偶然一致，0.0～0.20表示极低的一致性，0.21～0.40表示一般的一致性，0.41～0.60表示中等的一致性，0.61～0.80表示高度的一致性，0.81～1表示几乎完全一致，则第一阈值以及第二阈值可以取0.41～0.60，例如，第一阈值以及第二阈值均为0.5。
本申请实施例提供的标注数据的校验方法，对同一标注样本集的M组第一情感标注数据进行校验时，根据每组第一情感标注数据与标准标注数据库中每组第二情感标注数据之间的加权一致性分数的均值，确定了每组第一情感标注数据与每组第二情感标注数据之间的标注意见的统一性(即第一标注得分)，也根据每组第一情感标注数据与针对同一标注样本集的其他情感标注数据之间的加权一致性分数的均值，确定了每组第一情感标注数据与针对同一标注样本集的其他情感标注数据之间的标注意见的统一性(即第二标注得分)，因此同时利用第一标注得分以及第二标注得分有效判断标注质量，能够提升校验准确性，得到客观上具有代表性和普遍性的主观标注数据。并且，由于第一标注得分以及第二标注得分均根据一致性权重确定加权一致性分数后，再取均值得到，且加权一致性权重由情感标签之间的关联度确定，因此可以提升第一标注得分以及第二标注得分的准确性，从而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够进一步提升校验准确性。
请参阅图4，图4示出了本申请再一个实施例提供的标注数据的校验方法的流程示意图。该标注数据的校验方法应用于上述计算机设备，下面将针对图4所示的流程进行详细的阐述，所述标注数据的校验方法具体可以包括以下步骤：
步骤S410：获取针对标准样本集的K组第三情感标注数据，K为正整数。
在本申请实施例中，计算机设备可以将标准样本库中的标准样本集下发至具有标准样本库的标注资格的标注用户对应的客户端，在用户标注完成后，由客户端反馈至计算机设备，其中，可以将标准样本集下发至K个具有标注资格的标注用户对应的客户端，由此，可以得到针对标准样本集的K组第三情感标注数据。其中，具有标准样本库的标注资格可以根据标注用户以往的样本标注数量、次数、准确率等确定。可选地，K可以大于上述N，以保证后续得到的标准标注数据库中的第二情感标注数据的组数大于或等于N。
步骤S420：获取所述K组第三情感标注数据中每两组第三情感标注数据之间的一致性分数。
在本申请实施例中，计算机设备获取到针对标准样本集的K组样本数据后，可以针对K组第三情感标注数据，获取每两组第三情感标注数据之间的一致性分数。需要说明的是，由于计算机设备未获取到标准标注数据，而无法准确的确定一致性权重，因此在构建标准标注数据库时，可以通过计算一致性分数。
在一些实施方式中，可以生成每两组第三情感标注数据之间的列联表，并计算每两组第三情感标注数据之间的简单Kappa相关系数。具体地，Kappa相关系数的计算公式如下：
Figure BDA0003512968880000161
其中，对于r行交叉表，设xii为交叉表对角线元素，xi+为交叉表第i行元素之和，x+i为交叉表第i列元素之和，n为交叉表全部元素之和，则
Figure BDA0003512968880000171
步骤S430：基于所述每两组第三情感标注数据之间的一致性分数，对所述K组第三情感标注数据进行筛选，并将筛选得到的第三情感标注数据作为所述第二情感标注数据存储至所述标准标注数据库。
在本申请实施例中，在得到每两组第三情感标注数据之间的一致性分数之后，可以根据每两组第三情感标注数据之间的一致性分数，将标注结果与绝大多数标注者的标注结果之间的一致性分数均小于预设阈值的标注用户的标注数据删除，并将其余数据存储至标准标注数据库，标准标注数据库中的标注数据即为金标准数据(即第二情感标注数据)。其中，可以根据每两组第三情感标注数据之间的一致性分数，确定每组第三情感标注数据对应的所有一致性分数，也即每组第三情感标注数据与每组其他第三情感标注数据之间的K-1个一致性分数，然后确定K-1个一致性分数中，一致性分数小于预设阈值的数量，若该数量大于预设数量，则表示其与其他用户的标注意见相差过大，因此将其删除；若该数量不大于预设数量，则表示其与多数用户的标注意见统一，因此可以将其保留。由此，可以对K组第三情感标注数据进行筛选，得到标准标注数据库中的情感标注数据。
步骤S440：获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数。
步骤S450：基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数。
步骤S460：基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定。
步骤S470：基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
在本申请实施例中，步骤S440至步骤S470可以参阅其他实施例的内容，在此不再赘述。
本申请实施例提供的标注数据的校验方法，提供了标准标注数据库中的情感标注数据的获取方式，由此，可为后续的情感标注数据提供标准，从而对后续的情感标注数据进行校验，以计算第一标注得分，提升校验准确性。
下面再通过图5对前述实施例涉及的标注数据的校验方法进行介绍。
如图5所示，该标注数据的校验方法涉及管理客户端、服务器、以及标注客户端，管理客户端为工程师对应的客户端，服务器为执行前述实施例中的标注数据的校验方法的计算机设备，标注客户端为标注用户对应的客户端。
其中，管理客户端可以上传待标样本(待标注的样本数据)，并定义情感分类的情感标签，以及系统参数(例如上述第一阈值、第二阈值等)。
系统后端获取到待标样本、定义的情感标签以及系统参数之后，则可以对待标样本进行样本随机划分，全部待标样本中抽取一定比例(1％-10％)的样本数据放入标准样本库，并将其余样本数据放入待标样本库；然后系统后端将标准样本库中的样本数据分发给有标准标注资格的标注员进行标注。其中，系统后端根据标注员过往标注表现判断其是否具备标准样本库的标注资格(即上述标准标注资格)，只有同类型数据标注经验达到一定阈值，且标注合格率高于一定阈值的标注员有标准标注资格。该阈值由系统后端默认生成，也可以由管理客户端对应的工程师进行修改。
标注客户端在响应标注用户的操作时，可以判断其是否具备标准标注资格，若是，判断其是否有标准标注任务(即基于上述标准样本库中的样本数据生成的标注任务)；若存在标准标注任务，则可以对该标准标注任务进行展示，并根据标注用户的标注操作，生成对标准样本库中的样本数据的标注数据。
系统后端接收针对标注样本库中的样本数据的标注数据后，将标注用户所选择的情感标签存入数据库；在标准样本库中的每个样本数据均被标注T次(T>10，T值可由管理客户端进行修改)后，结束标准样本库的标注任务。其中，T可以理解为标注用户的数量，也就是说每个样本数据被T个不同的标注用户进行标注。针对得到的T组数据，生成每两组数据之间的列联表，并计算每两位标注用户的标注数据之间的Kappa相关系数；根据计算结果，将标注结果与绝大多数标注者相关性系数(即Kappa相关系数)均小于预设阈值的标注用户的标注数据删除，并将其余数据存入标准标注数据库，标准标注数据库中的标注数据即为金标准数据(也即前述实施例中所说的第二情感标注数据)。
另外，系统后端根据标准标注数据库中的标注数据，统计标准标注数据库中每个标注数据对应的各情感标签被选择的频数，并根据频数生成情感标签之间的一致性权重，得到权重矩阵。
系统后端在完成标准标注数据库中的标注数据的获取以及一致性权重的确定以后，则可以针对待标样本库，将待标注样本划分为多个数据包，得到多个待标数据包(即标注样本集)。其中，每个数据包包含的样本数量设置应确保标注用户可以一次性完成标注而不至于疲劳，且每个数据包中有一定比例(5％-10％)的待测样本来自标准样本库，其余来自待标样本库，由此保证每个待标数据包与标准标注数据库中的。系统后端以待标数据包为最小单位向标注客户端分发标注任务。标注任务以待标数据包为最小单元开展，每次标注时数据包内的样本呈现顺序随机。其中，同一个待标数据包最多被同一个标注客户端标注一次。
系统后端在分发待标样本库中的样本数据的标注任务后，则可以接收标注客户端上传的针对标注任务中待标数据包的情感标注数据(即上述第一情感标注数据)，然后利用上述权重矩阵以及标准标注数据库中的情感标注数据，计算每个待标数据包的情感标注数据对应的第一标注得分，并计算第二标注得分，对每个待标数据包的情感标注数据进行一致性校验；在校验后，对每个待标数据包的情感标注数据进行校验结果标记(合格或不合格)，并将检验结果为合格的情感标注数据存入数据库中。另外，系统后端还可以根据标注结果，向标注客户端进行标注结果反馈，以将标注结果反馈给标注用户。例如，在对每个待标数据包的标注数据进行校验后，通过网页界面以文字形式反馈给标注客户端：“您对本数据包的标注质量为合格/不合格”，从而标注用户可以通过反馈及时了解自己的标注情况，反思并改正不正确的标注行为。系统后端也可以将校验结果反馈给管理客户端，用于帮助工程师完成数据清理、数据权重设置及标注结果验收。
在上述流程中，对于所有的待标样本，标准样本库的标注数据，以及后续校验为合格的数据包的标注数据，可构成所有待标样本的标注数据，实现所有待标样本的情感标注。
请参阅图6，其示出了本申请实施例提供的一种标注数据的校验装置400的结构框图。该标注数据的校验装置400应用上述的计算机设备，该标注数据的校验装置400包括：数据获取模块410、第一评分模块420、第二评分模块430以及数据校验模块440。其中，所述数据获取模块410用于获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；所述第一评分模块420用于基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；所述第二评分模块430用于基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；所述第二评分模块440用于基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
在一些实施方式中，该标注数据的校验装置400还可以包括：次数获取模块以及权重确定模块。次数获取模块用于在所述基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分之前，基于所述标准标注数据库中的第二情感标注数据，确定每个样本对应各情感标签被标注的次数；权重确定模块用于基于所述每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的一致性权重。
作为一种可能的实施方式，权重确定模块可以具体用于：基于所述每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的关联度系数；基于所述每两个情感标签之间的关联度系数，确定每两个情感标签之间的一致性权重，所述一致性权重与所述关联度系数呈负相关。
在一些实施方式中，第一评分模块420可以用于：分别获取所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的N个一致性分数；获取所述每组第一情感标注数据对应的N个一致性分数的均值，得到所述每组第一情感标注数据对应的第一标注得分。
作为一种可能的实施方式，第一评分模块420获取所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的N个一致性分数，可以包括：基于所述每组第一情感标注数据与N组第二情感标注数据中的每组第二情感标注数据，生成所述每组第一情感标注数据对应的N个列联表；基于所述每组第一情感标注数据对应的N个列联表，以及一致性权重，获取所述每组第一情感标注数据与所述每组第二情感标注数据之间的加权Kappa相关系数，得到所述每组第一情感标注数据对应的N个一致性分数，所述一致性权重由标注的情感标签之间的关联度确定。
在一些实施方式中，第二评分模块420可以用于：获取所述每组第一情感标注数据与所述M组第一情感标注数据中除所述每组第一情感标注数据以外的每组其他第一情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的M-1个一致性分数；获取所述每组第一情感标注数据对应的M-1个一致性分数的均值，得到所述每组第一情感标注数据对应的第二标注得分。
作为一种可能的实施方式，第二评分模块420获取所述每组第一情感标注数据与所述M组第一情感标注数据中除所述每组第一情感标注数据以外的每组其他第一情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的M-1个一致性分数，可以包括：基于获取所述每组第一情感标注数据与所述每组其他第一情感标注数据，生成所述每组第一情感标注数据对应的M-1个列联表；基于所述每组第一情感标注数据对应的M-1个列联表，以及一致性权重，获取所述每组第一情感标注数据与所述每组其他第一情感标注数据之间的加权Kappa相关系数，得到所述每组第一情感标注数据对应的M-1个一致性分数，所述一致性权重由标注的情感标签之间的关联度确定。
在一些实施方式中，该标注数据的校验装置400还可以包括：第三评分模块以及数据筛选模块。数据获取模块410还可以用于获取针对标准样本集的K组第三情感标注数据，K为正整数；第三评分模块可以用于获取所述K组第三情感标注数据中每两组第三情感标注数据之间的一致性分数；数据筛选模块用于基于所述每两组第三情感标注数据之间的一致性分数，对所述K组第三情感标注数据进行筛选，并将筛选得到的第三情感标注数据作为所述第二情感标注数据存储至所述标准标注数据库。
在一些实施方式中，数据校验模块440可以用于：若目标情感标注数据对应的第一标注得分大于第一阈值，且第二标注得分大于第二阈值，则确定所述目标情感标注数据为合格，所述目标情感标注数据为所述M组第一情感标注数据中的任一组情感标注数据；若目标情感标注数据对应的第一标注得分小于或等于第一阈值，和/或，第二标注得分小于或等于第二阈值，则确定所述目标情感标注数据为不合格。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，模块相互之间的耦合可以是电性，机械或其它形式的耦合。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
综上所述，本申请提供的方案，通过获取针对同一标注样本集的M组第一情感标注数据，再基于每组第一情感标注数据与标准标注数据库中的N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第一标注得分，且第二情感标注数据与第一情感标注数据之间存在至少部分相同的标注样本，基于每组第一情感标注数据与M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定每组第一情感标注数据对应的第二标注得分，且加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定，然后基于每组第一情感标注数据对应的第一标注得分以及第二标注得分，对每组第一情感标注数据进行校验。由于第一标注得分以及第二标注得分均根据一致性权重确定加权一致性分数得到，且加权一致性权重由情感标签之间的关联度确定，因此可以提升第一标注得分以及第二标注得分的准确性，从而利用第一标注得分以及第二标注得分对情感标注数据进行校验时，能够提升校验准确性。
请参考图7，其示出了本申请实施例提供的一种计算机设备的结构框图。该计算机设备100可以是服务器、PC电脑、笔记本电脑等能够运行应用程序的设备。本申请中的计算机设备100可以包括一个或多个如下部件：处理器110、存储器120、以及一个或多个应用程序，其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行，一个或多个应用程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个计算机设备100内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行计算机设备100的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(ProgrammableLogic Array，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储计算机设备100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图8，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地，计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (12)

1.一种标注数据的校验方法，其特征在于，所述方法包括：
获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；
基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；
基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；
基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
2.根据权利要求1所述的方法，其特征在于，在所述基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分之前，所述方法还包括：
基于所述标准标注数据库中的第二情感标注数据，确定每个样本对应各情感标签被标注的次数；
基于所述每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的一致性权重。
3.根据权利要求2所述的方法，其特征在于，所述基于所述每个情感标签被标注的次数，确定每两个情感标签之间的一致性权重，包括：
基于所述每个样本对应各情感标签被标注的次数，确定每两个情感标签之间的关联度系数；
基于所述每两个情感标签之间的关联度系数，确定每两个情感标签之间的一致性权重，所述一致性权重与所述关联度系数呈负相关。
4.根据权利要求1所述的方法，其特征在于，所述基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，包括：
分别获取所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的N个一致性分数；
获取所述每组第一情感标注数据对应的N个一致性分数的均值，得到所述每组第一情感标注数据对应的第一标注得分。
5.根据权利要求4所述的方法，其特征在于，所述获取所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的N个一致性分数，包括：
基于所述每组第一情感标注数据与N组第二情感标注数据中的每组第二情感标注数据，生成所述每组第一情感标注数据对应的N个列联表；
基于所述每组第一情感标注数据对应的N个列联表，以及一致性权重，获取所述每组第一情感标注数据与所述每组第二情感标注数据之间的加权Kappa相关系数，得到所述每组第一情感标注数据对应的N个一致性分数，所述一致性权重由标注的情感标签之间的关联度确定。
6.根据权利要求1所述的方法，其特征在于，所述基于所述每组第一情感标注数据与所述M组第一情感标注数据中其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，包括：
获取所述每组第一情感标注数据与所述M组第一情感标注数据中除所述每组第一情感标注数据以外的每组其他第一情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的M-1个一致性分数；
获取所述每组第一情感标注数据对应的M-1个一致性分数的均值，得到所述每组第一情感标注数据对应的第二标注得分。
7.根据权利要求6所述的方法，其特征在于，所述获取所述每组第一情感标注数据与所述M组第一情感标注数据中除所述每组第一情感标注数据以外的每组其他第一情感标注数据之间的加权一致性分数，得到所述每组第一情感标注数据对应的M-1个一致性分数，包括：
基于获取所述每组第一情感标注数据与所述每组其他第一情感标注数据，生成所述每组第一情感标注数据对应的M-1个列联表；
基于所述每组第一情感标注数据对应的M-1个列联表，以及一致性权重，获取所述每组第一情感标注数据与所述每组其他第一情感标注数据之间的加权Kappa相关系数，得到所述每组第一情感标注数据对应的M-1个一致性分数，所述一致性权重由标注的情感标签之间的关联度确定。
8.根据权利要求1-7任一项所述的方法，其特征在于，在所述获取针对同一标注样本集的M组第一情感标注数据之前，所述方法还包括：
获取针对标准样本集的K组第三情感标注数据，K为正整数；
获取所述K组第三情感标注数据中每两组第三情感标注数据之间的一致性分数；
基于所述每两组第三情感标注数据之间的一致性分数，对所述K组第三情感标注数据进行筛选，并将筛选得到的第三情感标注数据作为所述第二情感标注数据存储至所述标准标注数据库。
9.根据权利要求1-7任一项所述的方法，其特征在于，所述基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验，包括：
若目标情感标注数据对应的第一标注得分大于第一阈值，且第二标注得分大于第二阈值，则确定所述目标情感标注数据为合格，所述目标情感标注数据为所述M组第一情感标注数据中的任一组情感标注数据；
若目标情感标注数据对应的第一标注得分小于或等于第一阈值，和/或，第二标注得分小于或等于第二阈值，则确定所述目标情感标注数据为不合格。
10.一种标注数据的校验装置，其特征在于，所述装置包括：数据获取模块、第一评分模块、第二评分模块以及数据校验模块，其中，
所述数据获取模块用于获取针对同一标注样本集的M组第一情感标注数据，其中，每组第一情感标注数据的标注用户不同，所述M为正整数；
所述第一评分模块用于基于所述每组第一情感标注数据与N组第二情感标注数据中每组第二情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第一标注得分，所述第二情感标注数据为标准标注数据库中的标注数据，且所述第二情感标注数据与所述第一情感标注数据之间存在至少部分相同的标注样本，所述N为正整数；
所述第二评分模块用于基于所述每组第一情感标注数据与所述M组第一情感标注数据中的每组其他第一情感标注数据之间的加权一致性分数，确定所述每组第一情感标注数据对应的第二标注得分，所述加权一致性分数依据的一致性权重由标注的情感标签之间的关联度确定；
所述第二评分模块用于基于所述每组第一情感标注数据对应的第一标注得分以及第二标注得分，对所述每组第一情感标注数据进行校验。
11.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
12.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如权利要求1-9任一项所述的方法。
CN202210156601.6A 2022-02-21 2022-02-21 标注数据的校验方法、装置、计算机设备及存储介质 Pending CN114548263A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210156601.6A CN114548263A (zh) 2022-02-21 2022-02-21 标注数据的校验方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210156601.6A CN114548263A (zh) 2022-02-21 2022-02-21 标注数据的校验方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN114548263A true CN114548263A (zh) 2022-05-27

Family

ID=81675916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210156601.6A Pending CN114548263A (zh) 2022-02-21 2022-02-21 标注数据的校验方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114548263A (zh)

Similar Documents

Publication Publication Date Title
CN108073568B (zh) 关键词提取方法和装置
CN110267119B (zh) 视频精彩度的评价方法及相关设备
CN110020437B (zh) 一种视频和弹幕相结合的情感分析及可视化方法
CN106919661B (zh) 一种情感类型识别方法及相关装置
CN112533051B (zh) 弹幕信息显示方法、装置、计算机设备和存储介质
CN109862397B (zh) 一种视频分析方法、装置、设备和存储介质
CN110321845B (zh) 一种从视频中提取表情包的方法、装置及电子设备
TW201443812A (zh) 社群媒體影響性評估（二）
CN109992781B (zh) 文本特征的处理方法、装置和存储介质
CN110706312A (zh) 一种表情包的文案确定方法、装置及电子设备
CN115577316A (zh) 一种基于多模态数据融合的用户人格预测方法与应用
CN111222837A (zh) 智能化面试的方法、系统、设备及计算机存储介质
CN111079433B (zh) 一种事件抽取方法、装置及电子设备
CN112995690B (zh) 直播内容品类识别方法、装置、电子设备和可读存储介质
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
CN110633410A (zh) 信息处理方法及装置、存储介质、电子装置
Pentland et al. Does accuracy matter? Methodological considerations when using automated speech-to-text for social science research
CN109062900B (zh) 一种朋友圈生成方法及装置
CN111159377A (zh) 属性召回模型训练方法、装置、电子设备以及存储介质
CN111639485A (zh) 基于文本相似性的课程推荐方法及相关设备
CN115456676A (zh) 一种游戏广告可视化投放数据分析管理方法及系统
CN114548263A (zh) 标注数据的校验方法、装置、计算机设备及存储介质
CN112115981B (zh) 一种社交网络博主的embedding评估方法及系统
CN112463964B (zh) 文本分类及模型训练方法、装置、设备及存储介质
CN111143688B (zh) 一种基于移动新闻客户端的评估方法及其系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination