CN110472054B - 一种数据处理方法和装置 - Google Patents
一种数据处理方法和装置 Download PDFInfo
- Publication number
- CN110472054B CN110472054B CN201910753601.2A CN201910753601A CN110472054B CN 110472054 B CN110472054 B CN 110472054B CN 201910753601 A CN201910753601 A CN 201910753601A CN 110472054 B CN110472054 B CN 110472054B
- Authority
- CN
- China
- Prior art keywords
- voice
- task
- type
- labeling
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 3
- 238000002372 labelling Methods 0.000 claims description 120
- 238000012986 modification Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 12
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 238000003780 insertion Methods 0.000 claims description 6
- 230000037431 insertion Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/355—Class or cluster creation or modification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
- G10L2015/0631—Creating reference templates; Clustering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
本发明公开一种数据处理方法和装置，该方法包括以下步骤：在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；根据所述标注数据，对所述多个标注员进行聚类，确定每个所述标注员擅长的任务类型和不擅长的任务类型。本发明通过多种类型的语音标注任务对标注员进行自动培训平台，有利于标注员熟悉任务规则和培训标注能力，利用标注员的标注数据对标注员进行准确性维度和能效比维度的分析，确定标注员擅长的任务，对标注员的能力有一个先验知识，从而针对性地分配标注任务，提高标注质量，并辅助质检员工作，减少质检员的工作。
Description
技术领域
本发明涉及计算机技术领域，特别涉及一种数据处理方法和装置。
背景技术
随着语音技术的发展，对语音模型的要求越来越高，而一个有效的语音模型依赖海量的语音数据进行训练，且数据准确性越高，语音模型越好。
现有技术中，通常采用人工标注的方法获取标注结果，再通过质检对标注结果进行合格验收，而标注员在领取任务后需要熟悉标注规则和标注任务，标注结果的质量相对较差，质检员需要对标注结果进行严格把控，导致标注效率较低。
发明内容
本发明提供了一种数据处理方法和装置，以提高标注效率。
本发明提供了一种数据处理方法，包括以下步骤：
在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；
根据所述标注数据，对所述多个标注员进行聚类，确定每个所述标注员擅长的任务类型和不擅长的任务类型。
可选地，所述标注数据包括语音文本正确性；
所述获取每个所述标注员的标注数据，包括：
获取每个所述标注员完成每个语音标注任务后得到的标注文本；
通过对所述标注文本与所述语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，所述多种类型错误包括插入错误、删除错误和替换任务；
根据所述语音标注任务的类型，确定每种类型的错误的权重；
根据所述每种类型错误的权重，计算文本错误率；
判断所述文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确。
可选地，所述标注数据包括标注时间正确性；
所述获取每个所述标注员的标注数据，包括：
获取每个所述标注员完成每个语音标注任务后得到的标注时间点；
获取所述标注时间点与所述语音标注任务对应的标准时间点的交集和并集；
判断所述交集与所述并集的比值是否大于第二预设阈值，如果是，则确定标注时间不正确；否则，确定标注时间正确。
可选地，所述标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比。
可选地，所述根据所述标注数据，对所述多个标注员进行聚类，确定每个所述标注员擅长的任务类型和不擅长的任务类型，包括：
针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
本发明还提供了一种数据处理装置，包括：
获取模块，用于在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；
聚类模块，用于根据所述标注数据，对所述多个标注员进行聚类，确定每个所述标注员擅长的任务类型和不擅长的任务类型。
可选地，所述标注数据包括语音文本正确性；
所述获取模块，具体用于获取每个所述标注员完成每个语音标注任务后得到的标注文本；通过对所述标注文本与所述语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，所述多种类型错误包括插入错误、删除错误和替换任务；根据所述语音标注任务的类型，确定每种类型的错误的权重；根据所述每种类型错误的权重，计算文本错误率；判断所述文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确。
可选地，所述标注数据包括标注时间正确性；
所述获取模块，具体用于获取每个所述标注员完成每个语音标注任务后得到的标注时间点；获取所述标注时间点与所述语音标注任务对应的标准时间点的交集和并集；判断所述交集与所述并集的比值是否大于第二预设阈值，如果是，则确定标注时间不正确；否则，确定标注时间正确。
可选地，所述标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比。
可选地，所述聚类模块，具体用于针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
本发明通过多种类型的语音标注任务对标注员进行自动培训平台，有利于标注员熟悉任务规则和培训标注能力，利用标注员的标注数据对标注员进行准确性维度和能效比维度的分析，确定标注员擅长的任务，对标注员的能力有一个先验知识，从而针对性地分配标注任务，提高标注质量，并辅助质检员工作，使质检员更多关注于培训时得分较低的标注员的标注文本，减少质检员的工作。
附图说明
图1为本发明实施例中的一种数据处理方法流程图；
图2为本发明实施例中的一种数据处理装置结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种数据处理方法，如图1所示，包括以下步骤：
步骤101，在多个标注员完成多种类型的语音标注任务后，获取每个标注员的标注数据。
其中，标注数据用于表示对语音标注任务的标注质量。标注数据可以包括语音文本正确性，也可以包括标注时间正确性，还可以包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比。
具体地，当标注数据包括语音文本正确性时，可以获取每个标注员完成每个语音标注任务后得到的标注文本；通过对标注文本与语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，该多种类型错误包括插入错误、删除错误和替换任务；根据语音标注任务的类型，确定每种类型的错误的权重；根据每种类型错误的权重，计算文本错误率；判断文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确。
当标注数据包括标注时间正确性时，获取每个标注员完成每个语音标注任务后得到的标注时间点；获取标注时间点与语音标注任务对应的标准时间点的交集和并集；判断交集与并集的比值是否大于第二预设阈值，如果是，则确定标注时间不正确；否则，确定标注时间正确。
步骤102，根据标注数据，对多个标注员进行聚类，确定每个标注员擅长的任务类型和不擅长的任务类型。
具体地，可以针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。本实施例可以基于机器学习的聚类算法，对多个标注员进行聚类。
其中，当标注数据包括语音文本正确性时，可以针对每个标注员，判断其对每种类型的语音标注任务的语音文本是否正确，如果正确，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。当标注数据包括标注时间正确性时，可以针对每个标注员，判断其对每种类型的语音标注任务的标注时间是否正确，如果正确，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
当标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比时，可以针对每个标注员，判断其对每种类型的语音标注任务的标注数据与预设阈值是否满足预设关系，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。例如，可以判断标注员对每种类型的语音标注任务的一次通过率是否大于第三预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。可以判断标注员对每种类型的语音标注任务的文本修改率是否小于第四预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
本发明实施例通过多种类型的语音标注任务对标注员进行自动培训平台，有利于标注员熟悉任务规则和培训标注能力，利用标注员的标注数据对标注员进行准确性维度和能效比维度的分析，确定标注员擅长的任务，对标注员的能力有一个先验知识，从而针对性地分配标注任务，提高标注质量，并辅助质检员工作，使质检员更多关注于培训时得分较低的标注员的标注文本，减少质检员的工作。
基于上述数据处理方法，本发明实施例还提供一种数据处理装置，如图2所示，包括：
获取模块210，用于在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；
聚类模块220，用于根据所述标注数据，对所述多个标注员进行聚类，确定每个所述标注员擅长的任务类型和不擅长的任务类型。
其中，标注数据包括语音文本正确性；相应地，获取模块210，具体用于获取每个所述标注员完成每个语音标注任务后得到的标注文本；通过对所述标注文本与所述语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，所述多种类型错误包括插入错误、删除错误和替换任务；根据所述语音标注任务的类型，确定每种类型的错误的权重；根据所述每种类型错误的权重，计算文本错误率；判断所述文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确。
其中，标注数据包括标注时间正确性；相应地，获取模块210，具体用于获取每个所述标注员完成每个语音标注任务后得到的标注时间点；获取所述标注时间点与所述语音标注任务对应的标准时间点的交集和并集；判断所述交集与所述并集的比值是否大于第二预设阈值，如果是，则确定标注时间不正确；否则，确定标注时间正确。
其中，标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比。
聚类模块220，具体用于针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
本发明实施例通过多种类型的语音标注任务对标注员进行自动培训平台，有利于标注员熟悉任务规则和培训标注能力，利用标注员的标注数据对标注员进行准确性维度和能效比维度的分析，确定标注员擅长的任务，对标注员的能力有一个先验知识，从而针对性地分配标注任务，提高标注质量，并辅助质检员工作，使质检员更多关注于培训时得分较低的标注员的标注文本，减少质检员的工作。
结合本文中所公开的实施例描述的方法中的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (2)
1.一种数据处理方法，其特征在于，包括以下步骤：
在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；
根据所述标注数据，对所述多个标注员进行聚类，利用所述标注数据对标注员进行准确性维度和能效比维度的分析，确定每个所述标注员擅长的任务类型和不擅长的任务类型；
所述标注数据包括语音文本正确性；
所述获取每个所述标注员的标注数据，包括：
获取每个所述标注员完成每个语音标注任务后得到的标注文本；
通过对所述标注文本与所述语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，所述多种类型错误包括插入错误、删除错误和替换任务；
根据所述语音标注任务的类型，确定每种类型的错误的权重；
根据所述每种类型错误的权重，计算文本错误率；
判断所述文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确；
所述标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比；
所述根据所述标注数据，对所述多个标注员进行聚类，利用所述标注数据对标注员进行准确性维度和能效比维度的分析，确定每个所述标注员擅长的任务类型和不擅长的任务类型，包括：
针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；
其中，当标注数据包括语音文本正确性时，针对每个标注员，判断其对每种类型的语音标注任务的语音文本是否正确，如果正确，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；
当标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比时，针对每个标注员，判断其对每种类型的语音标注任务的标注数据与预设阈值是否满足预设关系，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；其中，判断标注员对每种类型的语音标注任务的一次通过率是否大于第三预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；判断标注员对每种类型的语音标注任务的文本修改率是否小于第四预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
2.一种数据处理装置，其特征在于，包括：
获取模块，用于在多个标注员完成多种类型的语音标注任务后，获取每个所述标注员的标注数据，所述标注数据用于表示对语音标注任务的标注质量；
聚类模块，用于根据所述标注数据，对所述多个标注员进行聚类，利用所述标注数据对标注员进行准确性维度和能效比维度的分析，确定每个所述标注员擅长的任务类型和不擅长的任务类型；
所述标注数据包括语音文本正确性；
所述获取模块，具体用于获取每个所述标注员完成每个语音标注任务后得到的标注文本；通过对所述标注文本与所述语音标注任务对应的标准文本进行对比，确定多种类型错误的出现次数，所述多种类型错误包括插入错误、删除错误和替换任务；根据所述语音标注任务的类型，确定每种类型的错误的权重；根据所述每种类型错误的权重，计算文本错误率；判断所述文本错误率是否大于第一预设阈值，如果是，则确定语音文本不正确；否则，确定语音文本正确；
所述标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比；
所述聚类模块，具体用于针对每个标注员，判断其对每种类型的语音标注任务的标注数据是否满足预设条件，若满足，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；
其中，当标注数据包括语音文本正确性时，针对每个标注员，判断其对每种类型的语音标注任务的语音文本是否正确，如果正确，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；
当标注数据包括完成任务所需时间、文本正确分数、语音有效时长、完成任务的次数、一次通过率、文本修改率和能效比时，针对每个标注员，判断其对每种类型的语音标注任务的标注数据与预设阈值是否满足预设关系，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；其中，判断标注员对每种类型的语音标注任务的一次通过率是否大于第三预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务；判断标注员对每种类型的语音标注任务的文本修改率是否小于第四预设阈值，如果是，则确定该标注员擅长该类型的语音标注任务；否则，确定该标注员不擅长该类型的语音标注任务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753601.2A CN110472054B (zh) | 2019-08-15 | 2019-08-15 | 一种数据处理方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910753601.2A CN110472054B (zh) | 2019-08-15 | 2019-08-15 | 一种数据处理方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110472054A CN110472054A (zh) | 2019-11-19 |
| CN110472054B true CN110472054B (zh) | 2023-05-23 |
Family
ID=68511392
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910753601.2A Active CN110472054B (zh) | 2019-08-15 | 2019-08-15 | 一种数据处理方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110472054B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111275079B (zh) * | 2020-01-13 | 2023-07-04 | 浙江大学 | 基于图神经网络的众包标签推测方法及系统 |
| CN112766654B (zh) * | 2020-12-31 | 2023-11-24 | 大为国际工程咨询有限公司 | 一种工程造价数据中心管理系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8892447B1 (en) * | 2011-10-25 | 2014-11-18 | Nuance Communications, Inc. | Quality assessment of text derived from an audio signal |
| CN107122786A (zh) * | 2016-02-25 | 2017-09-01 | 华为技术有限公司 | 一种众包学习方法及装置 |
| CN108304539A (zh) * | 2018-01-30 | 2018-07-20 | 平安科技（深圳）有限公司 | 人才数据库建立方法、装置及存储介质 |
| CN109389275A (zh) * | 2017-08-08 | 2019-02-26 | 北京图森未来科技有限公司 | 一种图像标注方法和装置 |
| CN109684947A (zh) * | 2018-12-11 | 2019-04-26 | 广州景骐科技有限公司 | 标注质量监控方法、装置、计算机设备和存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120029963A1 (en) * | 2010-07-31 | 2012-02-02 | Txteagle Inc. | Automated Management of Tasks and Workers in a Distributed Workforce |
| CN105930353A (zh) * | 2016-04-08 | 2016-09-07 | 西安美林数据技术股份有限公司 | 一种海量数据下的呼叫中心客服人员的特征细分方法 |
| CN107832662B (zh) * | 2017-09-27 | 2022-05-27 | 百度在线网络技术（北京）有限公司 | 一种获取图片标注数据的方法和系统 |
| CN108389577B (zh) * | 2018-02-12 | 2019-05-31 | 广州视源电子科技股份有限公司 | 优化语音识别声学模型的方法、系统、设备及存储介质 |
| CN108846544A (zh) * | 2018-04-27 | 2018-11-20 | 淘然视界(杭州)科技有限公司 | 一种标注任务的分配方法及系统 |
| CN110070854A (zh) * | 2019-04-17 | 2019-07-30 | 北京爱数智慧科技有限公司 | 语音标注质量确定方法、装置、设备及计算机可读介质 |
-
2019
- 2019-08-15 CN CN201910753601.2A patent/CN110472054B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8892447B1 (en) * | 2011-10-25 | 2014-11-18 | Nuance Communications, Inc. | Quality assessment of text derived from an audio signal |
| CN107122786A (zh) * | 2016-02-25 | 2017-09-01 | 华为技术有限公司 | 一种众包学习方法及装置 |
| CN109389275A (zh) * | 2017-08-08 | 2019-02-26 | 北京图森未来科技有限公司 | 一种图像标注方法和装置 |
| CN108304539A (zh) * | 2018-01-30 | 2018-07-20 | 平安科技（深圳）有限公司 | 人才数据库建立方法、装置及存储介质 |
| CN109684947A (zh) * | 2018-12-11 | 2019-04-26 | 广州景骐科技有限公司 | 标注质量监控方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110472054A (zh) | 2019-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109871326B (zh) | 一种脚本录制的方法和装置 | |
| CN105653517A (zh) | 一种识别率确定方法及装置 | |
| CN102609406B (zh) | 学习装置、判断装置、学习方法和判断方法 | |
| CN104268603A (zh) | 用于文字性客观题的智能阅卷方法及系统 | |
| CN110472054B (zh) | 一种数据处理方法和装置 | |
| CN110826494A (zh) | 标注数据质量评价方法、装置、计算机设备及存储介质 | |
| CN109473093A (zh) | 语音识别方法、装置、计算机设备及存储介质 | |
| CN105468468A (zh) | 面向问答系统的数据纠错方法及装置 | |
| EP3605453A1 (en) | Convolutional neural network based inspection of blade-defects of a wind turbine | |
| CN107169321B (zh) | 基于属性计数和结构度量技术相结合的程序剽窃检测方法及系统 | |
| EP3859558A1 (en) | Answer marking method for mental calculation questions, device, electronic apparatus, and storage medium | |
| CN104347071A (zh) | 生成口语考试参考答案的方法及系统 | |
| CN111325031A (zh) | 简历解析方法及装置 | |
| CN117421217A (zh) | 一种软件功能自动测试方法、系统、终端及介质 | |
| CN116743637B (zh) | 一种异常流量的检测方法、装置、电子设备及存储介质 | |
| CN109460730B (zh) | 一种表格换行换页的分析方法及装置 | |
| CN116079498A (zh) | 一种刀具异常信号的识别方法 | |
| CN105513450A (zh) | 一种语音测评用户识字量的方法与设备 | |
| CN111090989B (zh) | 一种基于文字识别的提示方法及电子设备 | |
| CN113918471A (zh) | 测试用例的处理方法、装置及计算机可读存储介质 | |
| CN114282586A (zh) | 一种数据标注方法、系统和电子设备 | |
| CN111078067A (zh) | 一种信息定位方法及电子设备 | |
| CN111008140A (zh) | 一种跨平台的ui自动化测试方法及装置 | |
| CN114846543A (zh) | 语音识别结果检测方法及装置、存储介质 | |
| CN118278385A (zh) | 一种基于篇章卷面分析的测试方法、装置及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 411, 4th floor, building 4, No.44, Middle North Third Ring Road, Haidian District, Beijing 100088 Patentee after: Beijing Qingshu Intelligent Technology Co.,Ltd. Address before: 100044 1415, 14th floor, building 1, yard 59, gaoliangqiaoxie street, Haidian District, Beijing Patentee before: BEIJING AISHU WISDOM TECHNOLOGY CO.,LTD. |
|
| CP03 | Change of name, title or address |