CN111143577B - 数据标注方法、装置和系统 - Google Patents
数据标注方法、装置和系统 Download PDFInfo
- Publication number
- CN111143577B CN111143577B CN201911378929.7A CN201911378929A CN111143577B CN 111143577 B CN111143577 B CN 111143577B CN 201911378929 A CN201911378929 A CN 201911378929A CN 111143577 B CN111143577 B CN 111143577B
- Authority
- CN
- China
- Prior art keywords
- labeling
- task
- evaluation
- data
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000002372 labelling Methods 0.000 title claims abstract description 296
- 238000011156 evaluation Methods 0.000 claims abstract description 192
- 238000005070 sampling Methods 0.000 claims abstract description 82
- 238000000034 method Methods 0.000 claims description 46
- 238000007689 inspection Methods 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 17
- 238000007726 management method Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 238000012827 research and development Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000011157 data evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 238000001303 quality assessment method Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000004549 pulsed laser deposition Methods 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/24765—Rule-based classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Animal Behavior & Ethology (AREA)
- Computational Linguistics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Transfer Between Computers (AREA)
- Automatic Analysis And Handling Materials Therefor (AREA)
Abstract
本申请公开了数据标注方法、装置和系统，涉及知识图谱、数据标注领域。具体实现方案为：根据数据源的评估任务对数据源进行抽样，得到抽样数据；根据抽样数据生成标注任务；向标注端发送标注任务；接收标注端返回的标注任务的标注结果。本申请实施例利用评估任务实现对数据的自动评估，有利于提升评估效率。
Description
技术领域
本申请涉及数据处理领域，尤其涉及知识图谱、数据标注领域。
背景技术
在衡量KG(Knowledge Graph，知识图谱)的数据能力以及数据质量的方法上，目前主要通过一系列的数据评估指标来反映。以SPO(Subject-Predicate-Object，主语-谓语-宾语)属性准确率为例。评估某条数据中的SPO，可以确定该数据是否准确。例如，数据中S为“雁荡山”，P为“总面积”，O为“450平方公里”，则此条SPO数据准确。再如，数据中S为“某公司”，P为“成立时间”，O为“某年某月某日”，但是该日期是错误的，则此条SPO数据不准确。
目前对知识图谱数据等进行评估的指标包括准确率、重复率、低质率等。随着知识图谱数据的构建越来越深入，数据指标评估需求在逐渐增加。但是，目前对于标准的迭代稳定以及整体数据指标数据结果的分析等，存在较多问题。例如：流程分散，管理成本大；人工评估标准不统一；人工评估效率低；数据重复处理，整体耗时长。
发明内容
本申请实施例提供一种数据标注方法，其特征在于，包括：
根据数据源的评估任务对该数据源进行抽样，得到抽样数据；
根据该抽样数据生成标注任务；
向标注端发送该标注任务；
接收该标注端返回的该标注任务的标注结果。
本申请实施例可以利用评估任务实现对数据的自动评估，有利于提升评估效率。利用评估任务对数据源进行抽样，可以减少数据处理量，并且由于抽样数据的随机性，有利于得到准确的标注结果。
在一种实施方式中，该方法还包括：
将该标注任务的标注结果记录到该评估任务中。这样便于统一查看和管理评估任务的标注任务的标注结果。
在一种实施方式中，该方法还包括：
生成该数据源的评估任务，该评估任务中包括评估指标，评估指标具有对应的抽样规则。执行评估任务时，可以根据评估任务中的评估指标自动调用对应的抽样规则发起抽样。
在一种实施方式中，该方法还包括：
接收已经通过第一次检查的该数据源的检查结果和地址信息；
对该数据源进行第二次检查，在第二次检查通过的情况下，生成该数据源的评估任务。通过多次检查可以预先筛选不合格数据，减少不必要数据标注过程。
在一种实施方式中，根据数据源的评估任务对该数据源进行抽样，得到抽样数据，包括：
根据该数据源的评估任务以及该数据源的地址信息，对该数据源进行抽样，得到抽样数据。抽样过程中，根据数据源的地址信息能够准确快速的找到数据源，完成抽样。
在一种实施方式中，该方法还包括：
对收到的各标注结果进行评估，得到各标注结果的评估结果；
向服务器发送各标注结果的评估结果；
接收该服务器返回的分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
通过服务器对标注结果和/或评估结果进行分析，有利于总结整体标注的质量。
在一种实施方式中向标注端发送该标注任务，包括：通过服务器向该标注端发送该标注任务；
接收该标注端返回的该标注任务的标注结果，包括：通过该服务器接收该标注端返回的该标注任务的标注结果。
通过服务器转发标注任务和标注结果，有利于对标注任务和标注结果进行统一管理，合理分配。
本申请实施例提供了一种数据标注装置，包括：
抽样模块，用于根据数据源的评估任务对该数据源进行抽样，得到抽样数据；
第一生成模块，用于根据该抽样数据生成标注任务；
第一发送模块，用于向标注端发送该标注任务；
第一接收模块，用于接收该标注端返回的该标注任务的标注结果。
在一种实施方式中，该装置还包括：
记录模块，用于将该标注任务的标注结果记录到该评估任务中。
在一种实施方式中，该装置还包括：
第二生成模块，用于生成该数据源的评估任务，该评估任务中包括评估指标，评估指标具有对应的抽样规则。
在一种实施方式中，该装置还包括：
第二接收模块，用于接收已经通过第一次检查的该数据源的检查结果和地址信息；
第三生成模块，用于对该数据源进行第二次检查，在第二次检查通过的情况下，生成该数据源的评估任务。
在一种实施方式中，该抽样模块还用于根据该数据源的评估任务以及该数据源的地址信息，对该数据源进行抽样，得到抽样数据。
在一种实施方式中，该装置还包括：
评估模块，用于对收到的各标注结果进行评估，得到各标注结果的评估结果；
第二发送模块，用于向服务器发送各标注结果的评估结果；
第三接收模块，用于接收该服务器返回的分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
在一种实施方式中，该第一发送模块还用于通过服务器向该标注端发送该标注任务；
该第一接收模块还用于通过该服务器接收该标注端返回的该标注任务的标注结果。
本申请实施例提供了一种数据标注系统，包括：
任务端，用于执行本申请实施例的数据标注方法；
至少一个标注端，接收来自该任务端的标注任务，对该标注任务包括的数据进行标注，向该任务端返回该标注任务的标注结果。
在一种实施方式中，该系统还包括：
服务器，用于接收来自该任务端的各标注结果的评估结果；对属于同一评估任务的标注任务的标注结果进行分析得到分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果；向该任务端返回该分析结果。
在一种实施方式中，标注端还用于预加载并缓存待标注的多条数据的页面。
上述申请中的一个实施例具有如下优点或有益效果：可以利用评估任务实现对数据的自动评估，有利于提升评估效率。利用评估任务对数据源进行抽样，可以减少数据处理量，并且由于抽样数据的随机性，有利于得到准确的标注结果。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例的数据标注方法的流程图。
图2是根据本申请实施例的数据标注方法的流程图。
图3是根据本申请实施例的数据标注方法的流程图。
图4是根据本申请实施例的数据标注装置的框图。
图5是根据本申请实施例的数据标注装置的框图。
图6是根据本申请实施例的数据标注系统的框图。
图7是根据本申请实施例的数据标注系统的框图。
图8是根据本申请实施例的数据源管理的示意图。
图9是根据本申请实施例的评估项管理的示意图。
图10是根据本申请实施例的数据抽样的示意图。
图11是根据本申请实施例的质量评估流程的示意图。
图12是根据本申请实施例的数据抽样流程的示例图。
图13是根据本申请实施例的数据标注方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
图1是根据本申请实施例的数据标注方法的流程图。如图1所示，该方法可以包括：
S11、根据数据源的评估任务对该数据源进行抽样，得到抽样数据。
本申请实施例中，数据源可以包括多种类型，例如数据仓库、FTP(File TransferProtocol，文件传输协议)系统或HDFS(Hadoop Distributed File System，Hadoop分布式文件系统)等。数据仓库中可以包括结构化数据、知识图谱等，FTP系统或HDFS中可以包括日志、离线数据等数据集。需要进行评估的多种数据源可以统一管理。
对于需要进行评估的某个数据源，可以创建该数据源的评估任务。评估任务中可以包括评估所需的各种参数，例如准确率、重复率、评估哪些属性、评估多少条数据等。在任务端例如PM(Product Manager/Project Manager，产品管理或项目管理)端，可以根据该评估任务对该数据源进行抽样，得到抽样数据。例如，如果该数据源包括1万条数据，需要评估1千条数据，则从这个数据源中抽样得到1千条抽样数据。
在一种实施方式中，步骤S11包括：根据该数据源的评估任务以及该数据源的地址信息，对该数据源进行抽样，得到抽样数据。
示例性地，该数据源的地址信息可以包含在评估任务中，也可以在评估任务之外单独发送给任务端。任务端根据该地址信息可以快速准确地查找到该数据源，在该数据源中进行抽样，得到抽样数据。
S12、根据该抽样数据生成标注任务。
本申请实施例中，可以将抽样数据生成多个标注任务。每个标注任务中包括的抽样数据的条数可以相同，也可以不同。例如，将1千条抽样数据中，每200条数据生成一个标注任务，生成5个标注任务。再如，将1千条抽样数据中生成3标注任务，分别包括300条、330条、370条数据。
S13、向标注端发送该标注任务。
本申请实施例中，可以有多个标注端。可以根据每个标注端的工作状态，决定向每个标注端发送的标注任务。也可以在生成标注任务时就预先参考每个标注端的工作状态。如果向多个标注端分别发送不同的标注任务，有利于提高标注速度。例如，将生成的3个标注任务分别发送给3个标注端。再如，将生成的10个标注任务分别发送给5个标注端，可以向每个标注端下发两个标注任务。
在一种实施方式中，步骤S13包括：通过服务器向该标注端发送该标注任务。例如，任务端先将各标注任务发送给服务器，由服务器评估各个标注端的任务状态，决定将标注任务发送给哪个标注端。
S14、接收该标注端返回的该标注任务的标注结果。
本申请实施例中，标注端收到标注任务后，可以对该标注任务中的各项数据进行标注。根据不同的评估参数例如重复率、正确率等，标注的方式可以不同。在标注端可以显示需要标注的数据，以及该数据的标注页面等。标注人员(marker)可以在标注页面上操作，记录标注任务中每条数据的标注结果。标注结果包括但不限于与评估参数有关的文本、图像、视频等。例如，需要标注数据A是否准确，在标注页面中记录数据A不准确的位置，搜索到的数据A的准确解释的截图。标注结果中还可以包括标注端和标注人员的信息，标注的时间等。
在一种实施方式中，步骤S14包括：通过该服务器接收该标注端返回的该标注任务的标注结果。例如，标注端将某个标注任务的标注结果先返回给服务器。服务器将该标注结果发送给发起该标注任务的任务端。通过服务器转发标注任务和标注结果，有利于对标注任务和标注结果进行统一管理，合理分配。
本申请实施例可以利用评估任务实现对数据的自动评估，与人工评估相比，有利于提升评估效率，减少评估时间。利用评估任务对数据源进行抽样，可以减少数据处理量，并且由于抽样数据的随机性，有利于得到准确的标注结果。进一步地，通过对数据源以及数据标注评估过程进行统一管理，有利于集中流程，减少管理成本。此外，通过评估任务可以统一配置需要标注的参数，有利于统一评估标准。
在一种实施方式中，如图2所示，该方法还包括：
步骤S15、将该标注任务的标注结果记录到该评估任务中。
对于收到的各标注任务的标注结果，可以记录到生成这些标注任务的评估任务中，便于后续统一查看和管理。
在一种实施方式中，该方法还包括：
步骤S21、生成数据源的评估任务，该评估任务中包括评估指标。
示例性地，评估任务中包括的评估所需的各种参数，例如准确率、重复率、评估哪些属性、评估多少条数据等也可以称为评估指标。针对不同的评估指标，可以预先设置所采用抽样规则例如：蓄水池、聚类等方法。执行评估任务时，可以根据评估任务中的评估指标自动调用对应的抽样规则发起抽样。
在一种实施方式中，如图3所示，该方法还包括：
步骤S31、接收已经通过第一次检查的该数据源的检查结果和地址信息。
步骤S32、对该数据源进行第二次检查，在第二次检查通过的情况下，生成该数据源的评估任务。
在生成评估任务之前，可以由检查者例如RD(Research and Development，研发)人员预先对数据源进行第一次检查。第一次检查的内容包括但不限于数据中明显的文字错误、格式错误等。第一次检查的方法可以包括线下或者线上。
例如，RD人员在线下从某个数据源中抽取少量数据。检查正确后，将第一次检查的检查结果告知PM人员。PM人员在任务端根据第一次检查的检查结果对该数据源进行第二次检查。如果第一次检查的检查结果准确，可以判定第二次检查通过。
再如，RD人员在检查端从某个数据源中抽取少量数据。检查正确后，将第一次检查的检查结果通过服务器发送给任务端。PM人员在任务端根据第一次检查的检查结果对该数据源进行第二次检查。如果第一次检查的检查结果准确，可以判定第二次检查通过。
通过多次检查可以预先筛选不合格数据，减少不必要数据标注过程。
在一种实施方式中，如图2和图3所示，该方法还包括：
步骤S16、对收到的各标注结果进行评估，得到各标注结果的评估结果。
步骤S17、向服务器发送各标注结果的评估结果。
步骤S18、接收该服务器返回的分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
评估结果可以包括对该评估结果的验收、修正等。通过服务器对标注结果和/或评估结果进行分析，有利于总结整体标注的质量。例如，如果抽样数据为1万条，准确数据为9000条，则可以分析得到该数据源的准确率为90％。在任务端可以展现该数据源本次评估的准确率。
本申请实施例中，任务端收到服务器返回的标注端的各标注结果后，可以对各标注结果进行评估。例如，PM人员可以在标注端看到各评估任务划分的各标注任务的标注结果。然后，检查这些标注结果是否准确或是否合理等。对于每个标注结果可以给出评估结果。如果标注结果准确，PM人员在标注端可以将各标注结果的评估结果提交到服务器。如果标注结果不准确或不合理，PM人员在标注端也可以退回标注端重新标注。
图4是根据本申请实施例的数据标注装置的框图。该装置可以包括：
抽样模块41，用于根据数据源的评估任务对该数据源进行抽样，得到抽样数据；
第一生成模块42，用于根据该抽样数据生成标注任务；
第一发送模块43，用于向标注端发送该标注任务；
第一接收模块44，用于接收该标注端返回的该标注任务的标注结果。
在一种实施方式中，如图5所示，该装置还包括：
记录模块45，用于将该标注任务的标注结果记录到该评估任务中。
在一种实施方式中，该装置还包括：
第二生成模块51，用于生成该数据源的评估任务，该评估任务中包括评估指标。
在一种实施方式中，该装置还包括：
第二接收模块52，用于接收已经通过第一次检查的该数据源的检查结果和地址信息。
第三生成模块53，用于对该数据源进行第二次检查，在第二次检查通过的情况下，生成该数据源的评估任务。
在一种实施方式中，该抽样模块41还用于根据该数据源的评估任务以及该数据源的地址信息，对该数据源进行抽样，得到抽样数据。
在一种实施方式中，该装置还包括：
评估模块46，用于对收到的各标注结果进行评估，得到各标注结果的评估结果；
第二发送模块47，用于向服务器发送各标注结果的评估结果；
第三接收模块48，用于接收该服务器返回的分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
在一种实施方式中，第一发送模块43还用于通过服务器向该标注端发送该标注任务。
在一种实施方式中，第一接收模块44还用于通过该服务器接收该标注端返回的该标注任务的标注结果。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
图6是根据本申请实施例的数据标注系统的框图。该数据标注系统可以包括：
任务端61，用于执行本申请任一实施例的数据标注方法；
至少一个标注端62，接收来自该任务端的标注任务，对该标注任务包括的数据进行标注，向该任务端返回该标注任务的标注结果。
在一种实施方式中，如图7所示，该系统还包括：
服务器63，用于接收来自该任务端的各标注结果的评估结果；对属于同一评估任务的标注任务的标注结果进行分析得到分析结果，该分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果；向该任务端返回该分析结果。
在一种实施方式中，标注端62还用于预加载并缓存待标注的多条数据的页面。在标注界面可以先展示第一条数据的页面，在第一条数据的标注完成后，可以切换至第二条数据的页面，并预加载后面数据的页面。此外，还可以每新加载一个页面，删除最前面缓存的页面，以减少页面缓存对设备性能的影响。
在一种实施方式中，该系统中还可以包括检查端，用于对数据源进行第一次检查，并将检查通过的数据源的检查结果和地址信息发送至任务端。由任务端再根据第一次检查的检查结果对数据源进行第二次检查。在第二次检查通过后，再生成该数据源的评估任务。
本申请实施例系统中，各组成部分的功能可以参见上述方法中的对应描述，在此不再赘述。
在一种应用示例中，质量评估平台可以包括以下部分：数据源管理、评估项管理、数据抽样、标注任务、统计报表等。该质量评估平台可以对数据的标注进行评估。下面分别介绍各部分的功能。
1.数据源管理：
在进行数据源管理时，可以对目前评估的各种数据来源进行统一管理，避免数据的重复出库，降低数据冗余，提升整体流程效率。
平台用户例如RD人员或PM人员可以在自己的客户端导入各类数据源至平台进行统一管理。数据源类型包括但不限于各类数据仓库(例如HBASE等)和离线数据(例如FTP系统或HDFS)等。数据仓库中可以包括结构化数据、知识图谱等，FTP系统或HDFS中可以包括日志、离线数据等数据集。
在数据源管理过程中，可以对数据源或其中的数据进行删除、添加、更新等数据操作，对于各分散数据可有效进行管理，如图8所示。
例如，在创建数据源时，可以记录该数据源的标识(ID)、数据源名、负责人、数据类型、数据源地址、状态、更新时间、描述、操作权限等信息。此外，还可以通过数据源列表中管理多个数据源。
2.评估项管理：
对于选定数据源，PM人员在任务端选定需要进行评估的指标，并配置相关的抽样方法和评估类型。如图9所示，评估指标可以包括准确率、重复率等类型。在进行评估项管理时，可以进行编辑、删除、新增等评估项操作。
评估项管理的功能示例如下：
1.)新建评估项。例如，在进行评估项配置时，可以确定评估项名称、负责人、需求方等，选择待评估的数据源、场景、标注人等，并确认数据需要评估的指标。还可以进行评估任务的例行周期的配置，例如可每月/每周自动进行数据抽样，并发起评估任务。
2.)配置评估指标。例如，在进行指标项配置时，可以根据具体的指标例如重复率、准确率、低质率、召回率等，选择抽样的属性、数量等，作为抽样和评估的依据。一份数据源可同时配置多个评估指标。
在创建指标项时，将任务类型、任务命令、属性、抽样数量等信息填写或选择完成后，可以完成创建。例如，将任务类型选择为“评估抽样”，将任务命令选择为“随机SPO重复率”，将属性填写为“name”，将抽样数量填写为“500”，然后完成该指标项的创建。
3.数据抽样：如图10所示，根据抽样规则(或称为抽样方法)，可发起抽样任务，并产出抽样数据用于标注。抽样规则包括但不限于蓄水池、聚类等方法。根据数据类型(type)、数据评估指标等提前定义抽样规则。不同评估指标的抽样规则可能相同，也可能不同。例如，为准确率和重复率设置不同的抽样类型，每一种抽样类型具有对应的抽样方法。在数据抽样时，可以进行编辑、发起抽样等抽样操作。
4.标注任务管理：
根据评估项配置生成标注任务，记录标注任务所处状态，还可以记录标注任务的ID、数据源、评估项、标注指标、开始施加、结束时间、操作等。评估任务创建后，会发起数据抽样，并利用抽样数据生成标注任务，下发标注任务给标注端。标注人员在标注端可以看到自己的标注任务。
5.数据标注：
下发数据的标注任务后，由标注人员在标注端承接任务，开始进行数据的标注。例如，PM人员在任务端可以按照标注任务的量分配标注任务，向各标注端发送一定数量的标注任务。标注端向任务端返回标注结果。PM人员在任务端确认标注结果。
根据准确率、重复率等不同评估指标的评估方法，评估页面的模版和样式可以有所不同。为了提升标注的速度，可以对评估页面的交互进行优化，例如使用URL(UniformResource Locator,统一资源定位符)自动化拼接、页面预加载等方式，以提升评估的速度和效率。
5.1可根据配置自动拼接URL，打开评估参考页面。
如：需要评估电影垂类数据“电影T-上映时间-2019-11-01”是否准确，可根据下表所示的规则，自动为标注人员加载搜索页面，减少其重复机械化的操作时间。
| S＝电影T | P＝上映时间 |
| 百度 | https://www.baidu.com/aaa＝{{S+P}} |
| 网站1 | https://www.bbbbb.com/bbb＝1002&q＝{{S}} |
| 网站2 | https://cccc.com/ccc＝{{S}} |
上表中的链接地址仅是示例性表示，并不特指某个具体的网页。
5.2不仅可以加载当前评估中实体的参考页面，还可以对后面实体的评估参考页面进行预加载。通过该方式，可以极大地提升页面加载速度，减少切换到下一实体后等待页面加载的时间，极大地提升了评估的速度。
首次打开标注任务时，预加载前10条待评估的实体页面1～10并缓存，并展示第1条实体的页面。第1条评估完成切换至展示第2条时，预加载第11条实体评估页面。依次类推，直至缓存页面到第20个实体。后续每新加载1条实体评估页面，都将删除最前面的缓存页面，保持缓存页面最大数量不超过20，以减少页面缓存对PC性能产生影响。
6.统计报表：对评估结果进行汇总统计，报表展示。
如图11所示，为利用本示例的质量评估平台进行数据评估的整体流程。评估流程可以涉及多个角色。例如：PM、RD、QA(Quality Assurance，质量检查)和marker(标注人员)。
在数据源准备阶段，RD人员(通过检查端)和PM人员(通过任务端)可以通过数据源管理功能进行数据源准备。例如，HBASE数据仓库的数据例行出库。将HBASE出库的文件在平台的服务器进行存储，方便抽样使用。发起新评估任务前，判断数据库的数据版本/更新时间是否一致，如果不一致，进行再次出库。QA人员可以对数据源准备进行监督管理。例如，如图12所示，RD人员从一批10w(万)条的数据进行抽取10条进行检查，将检查结果发给任务端。PM人员在任务端对检查结果进行二次检查，如果检查通过，PM人员在任务端发起评估任务(例如评估任务中的参数包括：需要抽样的数据为1w条)。
在评估任务发起阶段，PM人员可以通过评估项管理功能选择评估任务的指标，修改配置或例行，并发起评估任务。在此过程中，PM可以参考RD的检查结果和相关建议等。例如，如图12所示，根据评估任务中的参数，从10w条数据中抽样1万条数据。
在抽样任务阶段，执行评估任务，按照一定个抽样规则对数据源进行抽样得到抽样数据。并根据抽样数据新建标注任务。其中，不同的指标可能具有相同的抽样规则。在该阶段，如果评估任务自动启动失败，可以以发送邮件等方式通知PM、RD等相关人员需要重启。例如，如图12所示，将1万条抽样数据分为两个标注任务，标注任务1和标注任务2中分别包括5000条数据。
在标注任务阶段，在任务端可以调用标注任务关联模板，向各标注端分发标注任务。标注端完成标注后，可以返回给任务端，由PM进行验收和修改。验收和修正后可以提交到服务器。例如，如图12所示，将标注任务1分给标注端mark1进行标注，将标注任务2分给标注端mark2进行标注。最后进行标注结果汇总。
在分析任务阶段，服务器可以根据标注结果和评估结果自动计算各指标，并生成报表。服务器可以将生成的报表返回给相关的任务端。PM人员在任务端可以看到报表。服务器也可以将生成的报表返回给相关的检查端。RD人员在检查端可以看到报表。
采用本应用实例的数据质量评估平台来管理知识图谱等数据的质量评估过程，通过平台化的方式，可以规范评估流程，降低门槛，减少人工操作成本，提升评估效率。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图13所示，是根据本申请实施例的数据标注方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图13所示，该电子设备包括：一个或多个处理器901、存储器902，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图13中以一个处理器901为例。
存储器902即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的数据标注方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的数据标注方法。
存储器902作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的数据标注方法对应的程序指令/模块(例如，附图4所示的抽样模块41、第一生成模块42、第一发送模块43和第一接收模块44)。处理器901通过运行存储在存储器902中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的数据标注方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据数据标注方法的电子设备的使用所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至数据标注方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
数据标注方法的电子设备还可以包括：输入装置903和输出装置904。处理器901、存储器902、输入装置903和输出装置904可以通过总线或者其他方式连接，图13中以通过总线连接为例。
输入装置903可接收输入的数字或字符信息，以及产生与数据标注方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置904可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(Liquid Crystal Display，LCD)、发光二极管(Light EmittingDiode，LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，可以利用评估任务实现对数据的自动评估，有利于提升评估效率。利用评估任务对数据源进行抽样，可以减少数据处理量，并且由于抽样数据的随机性，有利于得到准确的标注结果。将该标注任务的标注结果记录到评估任务中，便于统一查看和管理评估任务的标注任务的标注结果。执行评估任务时，可以根据评估任务中的评估指标自动调用对应的抽样规则发起抽样。通过多次检查可以预先筛选不合格数据，减少不必要数据标注过程。抽样过程中，根据数据源的地址信息能够准确快速的找到数据源，完成抽样。通过服务器对标注结果和/或评估结果进行分析，有利于总结整体标注的质量。通过服务器转发标注任务和标注结果，有利于对标注任务和标注结果进行统一管理，合理分配。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。
Claims (17)
1.一种数据标注方法，其特征在于，包括：
根据数据源的评估任务对所述数据源进行抽样，得到抽样数据；
根据所述抽样数据生成标注任务；
向标注端发送所述标注任务；
接收所述标注端返回的所述标注任务的标注结果；
还包括：
生成所述数据源的评估任务，所述评估任务中包括评估指标，所述评估指标具有对应的抽样规则；
其中，针对不同的评估指标，预先设置采用的抽样规则，根据评估任务中的评估指标自动调用对应的抽样规则。
2.根据权利要求1所述的方法，其特征在于，还包括：
将所述标注任务的标注结果记录到所述评估任务中。
3.根据权利要求1所述的方法，其特征在于，还包括：
接收已经通过第一次检查的所述数据源的检查结果和地址信息；
对所述数据源进行第二次检查，在第二次检查通过的情况下，生成所述数据源的评估任务。
4.根据权利要求3所述的方法，其特征在于，根据数据源的评估任务对所述数据源进行抽样，得到抽样数据，包括：
根据所述数据源的评估任务以及所述数据源的地址信息，对所述数据源进行抽样，得到抽样数据。
5.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
对收到的各标注结果进行评估，得到各标注结果的评估结果；
向服务器发送各标注结果的评估结果；
接收所述服务器返回的分析结果，所述分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
6.根据权利要求1至4中任一项所述的方法，其特征在于：
向标注端发送所述标注任务，包括：通过服务器向所述标注端发送所述标注任务；
接收所述标注端返回的所述标注任务的标注结果，包括：通过所述服务器接收所述标注端返回的所述标注任务的标注结果。
7.一种数据标注装置，其特征在于，包括：
抽样模块，用于根据数据源的评估任务对所述数据源进行抽样，得到抽样数据；
第一生成模块，用于根据所述抽样数据生成标注任务；
第一发送模块，用于向标注端发送所述标注任务；
第一接收模块，用于接收所述标注端返回的所述标注任务的标注结果；
还包括：
第二生成模块，用于生成所述数据源的评估任务，所述评估任务中包括评估指标，所述评估指标具有对应的抽样规则；
其中，针对不同的评估指标，预先设置采用的抽样规则，根据评估任务中的评估指标自动调用对应的抽样规则。
8.根据权利要求7所述的装置，其特征在于，还包括：
记录模块，用于将所述标注任务的标注结果记录到所述评估任务中。
9.根据权利要求7所述的装置，其特征在于，还包括：
第二接收模块，用于接收已经通过第一次检查的所述数据源的检查结果和地址信息；
第三生成模块，用于对所述数据源进行第二次检查，在第二次检查通过的情况下，生成所述数据源的评估任务。
10.根据权利要求9所述的装置，其特征在于，所述抽样模块还用于根据所述数据源的评估任务以及所述数据源的地址信息，对所述数据源进行抽样，得到抽样数据。
11.根据权利要求7至10中任一项所述的装置，其特征在于，还包括：
评估模块，用于对收到的各标注结果进行评估，得到各标注结果的评估结果；
第二发送模块，用于向服务器发送各标注结果的评估结果；
第三接收模块，用于接收所述服务器返回的分析结果，所述分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果。
12.根据权利要求7至10中任一项所述的装置，其特征在于：
所述第一发送模块还用于通过服务器向所述标注端发送所述标注任务；
所述第一接收模块还用于通过所述服务器接收所述标注端返回的所述标注任务的标注结果。
13.一种数据标注系统，其特征在于，包括：
任务端，用于执行如权利要求1至6中任一项所述的数据标注方法；
至少一个标注端，接收来自所述任务端的标注任务，对所述标注任务包括的数据进行标注，向所述任务端返回所述标注任务的标注结果。
14.根据权利要求13所述的系统，其特征在于，还包括：
服务器，用于接收来自所述任务端的各标注结果的评估结果；对属于同一评估任务的标注任务的标注结果进行分析得到分析结果，所述分析结果中包括属于同一评估任务的标注任务的标注结果和/或评估结果；向所述任务端返回所述分析结果。
15.根据权利要求13所述的系统，其特征在于：
所述标注端还用于预加载并缓存待标注的多条数据的页面。
16.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
17.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378929.7A CN111143577B (zh) | 2019-12-27 | 2019-12-27 | 数据标注方法、装置和系统 |
| US16/898,747 US11531847B2 (en) | 2019-12-27 | 2020-06-11 | Data labeling method, apparatus and system |
| EP20180600.7A EP3842956A1 (en) | 2019-12-27 | 2020-06-17 | Data labeling method, apparatus and system |
| US17/989,098 US11860838B2 (en) | 2019-12-27 | 2022-11-17 | Data labeling method, apparatus and system, and computer-readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911378929.7A CN111143577B (zh) | 2019-12-27 | 2019-12-27 | 数据标注方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111143577A CN111143577A (zh) | 2020-05-12 |
| CN111143577B true CN111143577B (zh) | 2023-06-16 |
Family
ID=70521129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911378929.7A Active CN111143577B (zh) | 2019-12-27 | 2019-12-27 | 数据标注方法、装置和系统 |
Country Status (3)
| Country | Link |
|---|---|
| US (2) | US11531847B2 (zh) |
| EP (1) | EP3842956A1 (zh) |
| CN (1) | CN111143577B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4080406A4 (en) * | 2019-12-20 | 2022-12-28 | BOE Technology Group Co., Ltd. | SYSTEM AND METHOD FOR DISTRIBUTED PRODUCT DEFECT ANALYSIS AND COMPUTER READABLE STORAGE MEDIA |
| CN111143577B (zh) * | 2019-12-27 | 2023-06-16 | 北京百度网讯科技有限公司 | 数据标注方法、装置和系统 |
| CN112968941B (zh) * | 2021-02-01 | 2022-07-08 | 中科视拓(南京)科技有限公司 | 一种基于边缘计算的数据采集和人机协同标注方法 |
| CN113779150B (zh) * | 2021-09-14 | 2024-06-18 | 杭州数梦工场科技有限公司 | 一种数据质量评估方法及装置 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262678A (zh) * | 2011-08-16 | 2011-11-30 | 郑毅 | 一个对海量数据进行抽样以及抽样数据管理系统 |
| CN102693317A (zh) * | 2012-05-29 | 2012-09-26 | 华为软件技术有限公司 | 数据挖掘流程生成方法及装置 |
| CN103365961A (zh) * | 2013-06-19 | 2013-10-23 | 北京时间中国网科技有限公司 | 一种面向精准搜索的网站结构化标注方法和系统 |
| CN104156403A (zh) * | 2014-07-24 | 2014-11-19 | 中国软件与技术服务股份有限公司 | 一种基于聚类的大数据常态模式提取方法及系统 |
| CN106780204A (zh) * | 2016-11-14 | 2017-05-31 | 广东小天才科技有限公司 | 一种用于试题题库的评估方法及装置 |
| CN106951925A (zh) * | 2017-03-27 | 2017-07-14 | 成都小多科技有限公司 | 数据处理方法、装置、服务器及系统 |
| CN107886161A (zh) * | 2017-11-03 | 2018-04-06 | 南京航空航天大学 | 一种提高复杂信息系统效能的全局敏感性分析方法 |
| CN108021931A (zh) * | 2017-11-20 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种数据样本标签处理方法及装置 |
| CN108875775A (zh) * | 2018-04-27 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 一种应用于数据标注领域的评估系统及其方法 |
| CN109783997A (zh) * | 2019-03-12 | 2019-05-21 | 华北电力大学 | 一种基于深度神经网络的电力系统暂态稳定评估方法 |
| CN109871889A (zh) * | 2019-01-31 | 2019-06-11 | 内蒙古工业大学 | 突发事件下大众心理评估方法 |
| CN110046251A (zh) * | 2019-03-22 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 社区内容风险评估方法及装置 |
| CN110298033A (zh) * | 2019-05-29 | 2019-10-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 关键词语料标注训练提取工具 |
| CN110377704A (zh) * | 2019-07-22 | 2019-10-25 | 北京百度网讯科技有限公司 | 数据一致性的检测方法、装置和计算机设备 |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4907229A (en) * | 1988-06-23 | 1990-03-06 | The United States Of America As Represented By The Secretary Of The Navy | Selective multimode/multiconfigurable data acquisition and reduction processor system |
| US7697759B2 (en) * | 2004-05-11 | 2010-04-13 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Split-remerge method for eliminating processing window artifacts in recursive hierarchical segmentation |
| US20070174916A1 (en) * | 2005-10-28 | 2007-07-26 | Ching Peter N | Method and apparatus for secure data transfer |
| US8996587B2 (en) * | 2007-02-15 | 2015-03-31 | International Business Machines Corporation | Method and apparatus for automatically structuring free form hetergeneous data |
| WO2012044214A1 (en) * | 2010-09-29 | 2012-04-05 | Telefonaktiebolaget L M Ericsson (Publ) | Method and arrangement for processing data |
| US9070046B2 (en) * | 2012-10-17 | 2015-06-30 | Microsoft Technology Licensing, Llc | Learning-based image webpage index selection |
| US9053436B2 (en) * | 2013-03-13 | 2015-06-09 | Dstillery, Inc. | Methods and system for providing simultaneous multi-task ensemble learning |
| US10296850B2 (en) * | 2013-03-15 | 2019-05-21 | Konstantinos (Constantin) F. Aliferis | Document coding computer system and method with integrated quality assurance |
| US20160078359A1 (en) * | 2014-09-12 | 2016-03-17 | Xerox Corporation | System for domain adaptation with a domain-specific class means classifier |
| US9852231B1 (en) * | 2014-11-03 | 2017-12-26 | Google Llc | Scalable graph propagation for knowledge expansion |
| EP3566201A4 (en) * | 2016-12-22 | 2020-11-25 | Xevo Inc. | PROCESS AND SYSTEM FOR PROVIDING SERVICES OF ANALYSIS OF ARTIFICIAL INTELLIGENCE (AIA) FOR PERFORMANCE PREDICTION |
| US11127062B2 (en) * | 2017-01-23 | 2021-09-21 | Walmart Apollp, Llc | Systems and methods for promoting products in product search results using transfer learning with active sampling |
| US10810317B2 (en) * | 2017-02-13 | 2020-10-20 | Protegrity Corporation | Sensitive data classification |
| US10834221B2 (en) * | 2017-03-30 | 2020-11-10 | Xevo Inc. | Method and system for providing predictions via artificial intelligence (AI) models using a distributed system |
| US10484255B2 (en) * | 2017-06-19 | 2019-11-19 | Cisco Technology, Inc. | Trustworthiness index computation in a network assurance system based on data source health monitoring |
| US11270159B1 (en) * | 2018-03-19 | 2022-03-08 | Meta Platforms, Inc. | Training content selection models with reduced bias |
| WO2020123109A1 (en) * | 2018-12-13 | 2020-06-18 | Clinc, Inc | Systems and methods for automatically configuring training data for training machine learning models of a machine learning-based dialogue system |
| CN110162684B (zh) * | 2019-05-07 | 2021-06-25 | 中国电子科技集团公司第二十八研究所 | 基于深度学习的机器阅读理解数据集构建以及评估方法 |
| US11461537B2 (en) * | 2019-11-13 | 2022-10-04 | Salesforce, Inc. | Systems and methods of data augmentation for pre-trained embeddings |
| CN111143577B (zh) * | 2019-12-27 | 2023-06-16 | 北京百度网讯科技有限公司 | 数据标注方法、装置和系统 |
| CN111814871B (zh) * | 2020-06-13 | 2024-02-09 | 浙江大学 | 一种基于可靠权重最优传输的图像分类方法 |
| US11496501B1 (en) * | 2021-06-30 | 2022-11-08 | Sift Science, Inc. | Systems and methods for an adaptive sampling of unlabeled data samples for constructing an informative training data corpus that improves a training and predictive accuracy of a machine learning model |
-
2019
- 2019-12-27 CN CN201911378929.7A patent/CN111143577B/zh active Active
-
2020
- 2020-06-11 US US16/898,747 patent/US11531847B2/en active Active
- 2020-06-17 EP EP20180600.7A patent/EP3842956A1/en not_active Ceased
-
2022
- 2022-11-17 US US17/989,098 patent/US11860838B2/en active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102262678A (zh) * | 2011-08-16 | 2011-11-30 | 郑毅 | 一个对海量数据进行抽样以及抽样数据管理系统 |
| CN102693317A (zh) * | 2012-05-29 | 2012-09-26 | 华为软件技术有限公司 | 数据挖掘流程生成方法及装置 |
| CN103365961A (zh) * | 2013-06-19 | 2013-10-23 | 北京时间中国网科技有限公司 | 一种面向精准搜索的网站结构化标注方法和系统 |
| CN104156403A (zh) * | 2014-07-24 | 2014-11-19 | 中国软件与技术服务股份有限公司 | 一种基于聚类的大数据常态模式提取方法及系统 |
| CN106780204A (zh) * | 2016-11-14 | 2017-05-31 | 广东小天才科技有限公司 | 一种用于试题题库的评估方法及装置 |
| CN106951925A (zh) * | 2017-03-27 | 2017-07-14 | 成都小多科技有限公司 | 数据处理方法、装置、服务器及系统 |
| CN107886161A (zh) * | 2017-11-03 | 2018-04-06 | 南京航空航天大学 | 一种提高复杂信息系统效能的全局敏感性分析方法 |
| CN108021931A (zh) * | 2017-11-20 | 2018-05-11 | 阿里巴巴集团控股有限公司 | 一种数据样本标签处理方法及装置 |
| CN108875775A (zh) * | 2018-04-27 | 2018-11-23 | 淘然视界(杭州)科技有限公司 | 一种应用于数据标注领域的评估系统及其方法 |
| CN109871889A (zh) * | 2019-01-31 | 2019-06-11 | 内蒙古工业大学 | 突发事件下大众心理评估方法 |
| CN109783997A (zh) * | 2019-03-12 | 2019-05-21 | 华北电力大学 | 一种基于深度神经网络的电力系统暂态稳定评估方法 |
| CN110046251A (zh) * | 2019-03-22 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 社区内容风险评估方法及装置 |
| CN110298033A (zh) * | 2019-05-29 | 2019-10-01 | 西南电子技术研究所（中国电子科技集团公司第十研究所） | 关键词语料标注训练提取工具 |
| CN110377704A (zh) * | 2019-07-22 | 2019-10-25 | 北京百度网讯科技有限公司 | 数据一致性的检测方法、装置和计算机设备 |
Non-Patent Citations (4)
| Title |
|---|
| Deep Web数据获取问题研究;闫中敏;《CNKI中国知网》;全文 * |
| Semi-Supervised Hyperspectral Subspace Learning Based on a Generalized Eigenvalue Problem for Regression and Dimensionality Reduction;Kuniaki Uto;《IEEE Xplore》;全文 * |
| 一种面向藏文聚类的文本建模方法;江涛;《西北民族大学学报（自然科学版）》(第第37卷总第103期期);全文 * |
| 有监督智能聚类与分类技术及其应用研究;杭文龙;《CNKI中国知网》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11860838B2 (en) | 2024-01-02 |
| CN111143577A (zh) | 2020-05-12 |
| US20210201081A1 (en) | 2021-07-01 |
| US11531847B2 (en) | 2022-12-20 |
| EP3842956A1 (en) | 2021-06-30 |
| US20230078799A1 (en) | 2023-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111143577B (zh) | 数据标注方法、装置和系统 | |
| CN111080243A (zh) | 业务处理的方法、装置、系统、电子设备及存储介质 | |
| CN111639078A (zh) | 数据查询方法、装置、电子设备以及可读存储介质 | |
| US9563421B2 (en) | Refining data understanding through impact analysis | |
| CN111639027B (zh) | 一种测试方法、装置及电子设备 | |
| CN112395333B (zh) | 用于排查数据异常的方法、装置、电子设备及存储介质 | |
| CN111913808A (zh) | 任务分配的方法、装置、设备以及存储介质 | |
| CN112015468A (zh) | 一种接口文档处理方法、装置、电子设备以及存储介质 | |
| CN113988795A (zh) | 任务流处理方法、装置、设备、存储介质及程序产品 | |
| CN111831320A (zh) | 插件管理方法、装置、电子设备及存储介质 | |
| CN116578497A (zh) | 一种接口自动化测试方法、系统、计算机设备及存储介质 | |
| CN116664060A (zh) | 费用报销基础数据的生成方法、系统和装置 | |
| CN111274127A (zh) | 代码评审中的代码跳转方法、装置、设备和介质 | |
| CN111026916A (zh) | 文本描述的转换方法、装置、电子设备及存储介质 | |
| CN116009847A (zh) | 代码生成方法、装置、电子设备及存储介质 | |
| CN116011955A (zh) | 一种机器人流程自动化需求实现方法、装置、设备和存储介质 | |
| CN112667795B (zh) | 对话树构建方法和装置、对话树运行方法、装置以及系统 | |
| Shuttleworth | Translation management systems | |
| CN115469849A (zh) | 一种业务处理系统、方法、电子设备和存储介质 | |
| US9275358B1 (en) | System, method, and computer program for automatically creating and submitting defect information associated with defects identified during a software development lifecycle to a defect tracking system | |
| CN112381167A (zh) | 训练任务分类模型的方法、任务分类方法和装置 | |
| CN111831317A (zh) | 服务间依赖关系的获取方法、装置、电子设备和存储介质 | |
| CN111221610A (zh) | 一种页面元素采集方法和装置 | |
| CN115146604B (zh) | 一种接口技术文档的生成方法、装置、设备及存储介质 | |
| CN111125587B (zh) | 网页结构优化方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |