CN108549909A - 基于众包的对象分类方法及对象分类系统 - Google Patents
基于众包的对象分类方法及对象分类系统 Download PDFInfo
- Publication number
- CN108549909A CN108549909A CN201810343036.8A CN201810343036A CN108549909A CN 108549909 A CN108549909 A CN 108549909A CN 201810343036 A CN201810343036 A CN 201810343036A CN 108549909 A CN108549909 A CN 108549909A
- Authority
- CN
- China
- Prior art keywords
- classification
- crowdsourcing
- strategy
- category
- answer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000009826 distribution Methods 0.000 claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000035699 permeability Effects 0.000 claims description 18
- 238000010276 construction Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 239000004744 fabric Substances 0.000 claims description 2
- 238000003066 decision tree Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 13
- 241001465754 Metazoa Species 0.000 description 12
- 241000270322 Lepidosauria Species 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000005553 drilling Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 241000271566 Aves Species 0.000 description 2
- 241000938605 Crocodylia Species 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 2
- 241000124008 Mammalia Species 0.000 description 2
- 241000251539 Vertebrata <Metazoa> Species 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012946 outsourcing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000134253 Lanka Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开一种基于众包的对象分类方法及对象分类系统，其中，所述对象分类方法包括：获取待分类的对象；将待分类的对象基于一提问策略而生成一众包任务，将众包任务进行众包分发；收集众包答案并据此获得适合对象的类别；根据已完成分类的各个对象的分类结果，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数的最少化处理。
Description
技术领域
本申请涉及数据处理技术，特别是涉及一种基于众包的对象分类方法及对象分类系统。
背景技术
在大数据时代下，通过合理的方法去分析和使用已有的数据可以有效的帮助我们解决许多的问题，机器学习领域通过收集有效的标注数据去训练和优化它们的模型和算法，从而更好的对一些事物和问题作出决策和推论。为了获得一个较好的模型，不仅需要足够好的算法，还需要大量的已标注数据(例如对图像、视频、文本等数据类别/内容的标注数据)作为训练和分析的基础。
近年来，随着众包技术的发展，利用众包技术进行数据标注引起了研究者的关注。众包技术是一种分布式的问题求解方式。该技术利用众人的智慧和力量来解决计算机难以解决的任务，尤其是数据标注、对象分类等这类对人类来说非常简单，但是对计算机来讲非常困难的任务。很多标注任务，例如文本标注、图像分类等，均可以通过众包平台发布到互联网上，由来自互联网的普通用户进行标注，普通用户完成数据标注任务并获得发布者提供的经济报酬。
不过，在上述众包技术中，以图像分类为例，发布者事前针对所要分类的图像设计了相应的类别层次架构，并依据设定的类别层次架构设计提问策略，依据提问策略向众包平台发送提问并收集答案。一般地，类别层次架构和提问策略较为固定，而需要标注或分类的图像数据量的规模庞杂，因此，为实现有效分类所需的提问数量将相当巨大。一般地，每一个提问将消耗一定经济成本(例如，一个提问需要支付0.1元)，假设每一个提问所耗费的成本是一定的，那么完成整个分类任务所耗费的总成本将直接正比于总的提问的数量。另外，提问数量众多，也会增加数据处理时间，增加时间成本且效率较低。
发明内容
鉴于以上所述相关技术的缺失，本申请的目的在于公开一种基于众包的对象分类方法及对象分类系统，用于解决相关技术中基于众包的对象分类技术存在成本高企等问题。
为实现上述目的及其他目的，本申请的第一方面公开一种基于众包的对象分类方法，包括以下步骤：获取待分类的对象；将所述待分类的对象基于一提问策略而生成一众包任务，将所述众包任务进行众包分发；收集众包答案并根据所述众包答案而获得适合所述对象的类别；根据已完成分类的各个对象的分类结果，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数的最少化处理。
本申请的第二方面公开一种基于众包的对象分类系统，包括：对象获取模块，用于获取待分类的对象；任务生成模块，用于将所述待分类的对象基于一提问策略而生成一众包任务；收发模块，用于将所述众包任务进行众包分发以及收集对应所述众包任务的众包答案；分类模块，用于根据收集到的众包答案而获得适合所述对象的类别；自学习模块，用于根据已完成分类的各个对象的分类结果进行自学习，重新估计类别分布并据此调整提问策略。
本申请的第三方面公开一种计算机可读存储介质，存储有应用于对象分类的程序，所述程序被所述至少一个处理器执行时，实现如前所述基于众包的对象分类方法中的各个步骤。
本申请的第四方面公开一种数据处理设备，包括：至少一个处理器；至少一个存储器；至少一个程序，其中，所述至少一个程序被存储在所述至少一个存储器中并被配置为由所述至少一个处理器执行指令，所述至少一个处理器执行所述执行指令使得所述数据处理设备执行如前所述基于众包的对象分类方法中的各个步骤。
如上所述，本申请的基于众包的对象分类方法及对象分类系统，具有以下有益效果：根据众包答案所完成的分类结果，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数最少化，降低完成整个对象分类任务所耗费的总成本，并能提高分类效率。
附图说明
图1显示为本申请基于众包的对象分类方法在一实施例中的流程示意图。
图2显示为图1中步骤S11的细化流程示意图。
图3显示为本申请基于众包的对象分类系统在一实施例中的结构示意图。
图4显示为本申请基于众包的对象分类系统在一实施例中的应用框图。
图5显示为图像分类的应用中基于国家及城市的类别层次结构的一示例图。
图6显示为图像分类的应用中构建的某一初始的提问策略的示例图。
图7显示为图像分类的应用中重新构建提问策略采用决策树结构的示例图。
图8显示为本申请的数据处理设备在一实施例中的结构示意图。
具体实施方式
以下由特定的具体实施例说明本申请的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
在下述描述中，参考附图，附图描述了本申请的若干实施例。应当理解，还可使用其他实施例，并且可以在不背离本公开的精神和范围的情况下进行组成以及操作上的改变。下面的详细描述不应该被认为是限制性的，并且本申请的实施例的范围仅由本申请的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本申请。
虽然在一些实例中术语第一、第二等在本文中用来描述各种元素，但是这些元素不应当被这些术语限制。这些术语仅用来将一个元素与另一个元素进行区分。例如，第一预设阈值可以被称作第二预设阈值，并且类似地，第二预设阈值可以被称作第一预设阈值，而不脱离各种所描述的实施例的范围。第一预设阈值和预设阈值均是在描述一个阈值，但是除非上下文以其他方式明确指出，否则它们不是同一个预设阈值。
再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元素、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元素、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、B和C”。仅当元素、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
众包技术可利用众人的智慧和力量来解决例如数据标注、对象分类等这类对人类来说非常简单但是对计算机来讲非常困难的任务。不过在众包技术中，每一个提问均会耗费成本，而完成众包任务的总成本将直接正比于总的提问的数量。例如，以图像分类为例，例如要对大量的图像进行分类，发布者事前针对所要分类的图像设计了相应的类别层次架构，并依据设定的类别层次架构设计提问策略，依据提问策略向众包平台发送提问并收集答案。每一个图像均需一个或多个提问才能进行有效分类，众多图片那么就需要提出海量的提问才能实现。在这种情形下，就显得提问的有效性具有非常重要的意义。有鉴于此，本申请公开一种基于众包的对象分类方法及对象分类系统，能够逐步学习类别分布，并据此调整提问策略，使得完成对对象分类所耗用的提问总数最少化，降低完成整个对象分类任务所耗费的总成本，并能提高分类效率。
在一实施例中，所述基于众包的对象分类方法可由例如为计算机设备等数据处理设备或网络系统来执行。所述计算机设备可以是以下合适的设备，诸如手持计算机设备、平板计算机设备、笔记本计算机、桌上型计算机、服务器等。计算机设备可包括以下一个或多个部件：显示器、输入装置、输入/输出(I/O)端口、一个或多个处理器、存储器、非易失性存储设备、网络接口、以及电源等。所述的各种部件可包括硬件元件(例如芯片和电路)、软件元件(例如存储指令的有形非暂态计算机可读介质)、或者硬件元件和软件元件的组合。此外，需注意，各种部件可被组合成更少的部件或者被分离成附加部件。例如，存储器和非易失性存储设备可被包括在单个部件中。
在一实施例中，所述基于众包的对象分类方法可由例如构建于网络架构中的服务端系统来实现，所述服务端可以根据功能、负载等多种因素布置在一个或多个实体服务器上。其中，当分布在多个实体服务器时，所述服务端可以由基于云架构的服务器组成。例如，基于云架构的服务器包括公共云(Public Cloud)服务端与私有云(Private Cloud)服务端，其中，所述公共或私有云服务端包括Software-as-a-Service(软件即服务，SaaS)、Platform-as-a-Service(平台即服务，PaaS)及Infrastructure-as-a-Service(基础设施即服务,IaaS)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等。所述服务端还可以由分布的或集中的服务器集群构成。例如，所述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行所述广告投放服务端中的至少一功能模块，各虚拟服务器之间通过网络通信。
本申请公开了一种基于众包的对象分类方法。请参阅图1，显示为本申请基于众包的对象分类方法在一实施例中的流程示意图。如图1所示，所述基于众包的对象分类方法包括以下步骤：
步骤S11，对象分类的初始化设置。
请参阅图2，显示为前述步骤S11的细化流程示意图。
在本实施中，所述初始化工作可具体包括：
步骤S111，根据分类任务，创建或调用一类别层次结构；
步骤S113，设定初始的类别分布；
步骤S115，根据初始的类别分布，构建一初始的提问策略。
以下针对上述细化步骤进行详细描述。
步骤S111，根据分类任务，创建或调用一类别层次结构。在本申请中，针对不同的分类对象及分类任务，会创建或调用与之相应的类别层次结构。仍以对象为图像为例，在某些实施方式中，可以是对图像的拍摄地点(即，景物地点)进行分类：例如，若是以中国国内为主题的，那么与之相应的类别层次结构就可以包括省/自治区、市、区县、乡镇等层级。若是以世界为主题的，那么与之相应的类别层次就可以大洲、国家、州/地区、城市等层级。在某些实施方式中，可以是对图像的拍摄内容进行分类：例如，对于一般的图像，相应的类别层次结构可以包括人物类图像、动物类图像、植物类图像、自然风光类图像等层级。若是对于包含动物的图像进行分类，相应的类别层次结构可包括无脊椎动物和脊椎动物，在脊椎动物下又可分为鱼类、爬行类动物、两栖类动物、鸟类、哺乳类动物等。因此，在步骤S111，得根据不同的分类对象及分类任务而创建或调用与之相应的类别层次结构。在某些实施方式中，分类对象及分类任务为熟知的，那么可以直接调用现有的类别层次结构即可。在某些实施方式中，分类对象及分类任务是新的或是现有的类别层次结构存在瑕疵需要作调整的，那么就可创建一类别层次结构。在本实施例中，创建或调用的类别层次结构可采用树状类别层次结构，可以包括根节点、子节点、以及叶节点。针对某一个子节点，其具有至少一个叶节点。
步骤113，设定初始的类别分布。在本实施例中，可根据步骤S111中创建或调用的类别层次结构，设定初始的类别分布。在某些实施方式中，基于分类对象和类别层次结构，设定的初始的类别分布可以是均匀分布，但并不以此为限，在某些实施方式中，设定的初始的类别分布可以是非均匀分布，例如对某一(些)类分布赋予不同的权重信息。
步骤S115，根据所述初始的类别分布，构建一初始的提问策略。在本实施例中，所述初始的提问策略是根据初始的类别分布而构建的。在具体实现上，构建的初始的提问策略可以采用决策树结构，将认为对象最有可能被分到的类别的提问置于决策树的根节点或邻近于根节点的子节点。在本实施例中，具体地，以类别层次结构为树状层次结构为例，可基于所述树状类别层次结构中的某一子节点，创建多项选择问题。在某些实施方式中，所述与子节点对应的多项分类选择问题包括：与所述子节点下的至少一个叶节点对应的至少一个叶节点选择问题；与所述子节点下的至少一个叶节点无关但与所述子节点相关的节点选择问题；与所述子节点无关的节点排斥选择问题。
后续即可根据构建的提问策略对待分类的对象进行训练。
步骤S13，获取待分类的对象。
在本实施例中，可创建一对象集，在所述对象集中，包括多个待分类的对象。以图像分类为例，可创建一图像集，在所述图像集中，包括多个待分类的图像。这些图像的来源不限，可以是本地数据库的(例如，自行拍摄)也可以是网络数据库的(例如公众可获取的公开的图片库)。这些图像的规格不限，可以是具有高信息量的原图，也可以是缩略图像或是从某一图像中截取的截图等。这些图像有些可以是包含对象整体或对象的典型特征的典型图像，也可以是包含对象局部或对象的非典型特征甚至是不包含对象的非典型图像。
在步骤S13中，获取待分类的对象可包括从创建的对象集中获取，判断所述对象是否已进行过分类，若经检测所述对象还未进行过分类，则可判定所述对象为待分类的对象，若经检测所述对象已进行过分类，则对该对象不作处理并针对所述对象结束操作，继续从所述对象集中获取其他的对象。在这里，从创建的对象集中获取对象的数量不作限定，可以是从对象集中获取一对象，也可以是从对象集中获取两个或多个对象，这两个或多个对象可以是关联的，也可以是随机的。以两个或多个对象是关联的来说，以图像为例，所述关联可以表示为这两个或多个图像是在同一地点拍摄的、或是相邻时间拍摄的、或是取自同一图片库的等。
步骤S15，将待分类的对象基于一提问策略而生成一众包任务，将众包任务进行众包分发。
在本实施例中，所谓的众包(Crowdsourcing)，可以看作一个分布式问题解决的业务产出模型，在2006年的《Wired》杂志中，该杂志的记者Jeff Howe首次推出了“众包(Crowdsourcing)”的概念，指一个外包任务由传统的雇员完成发展为开放的一群人(非特定性)去完成。
步骤S17，收集众包答案并根据众包答案而获得适合所述对象的类别。在本实施例中，收集众包答案，对所述众包答案进行质量评估，根据质量评估结构来确定所述对象的类别。
在某些实施方式中，对众包答案进行质量评估可例如包括：
从收集的众包答案中遴选出有效的众包答案。该操作一种可以是通过一定的答案模型遴选出有效的众包答案，一种是将不符合答案模型的无效的众包答案剔除后剩下的即可视为有效的众包答案。其中，无效的众包答案可包括但不限于：答案不完整的众包答案，答案不明确(例如答案中包括两个或多个分类答案)的众包答案，众包答案的提交者(即用户)主体不符合等。
对遴选出的有效的众包答案进行质量评估。例如，在某些实施方式中，统计出这些众包答案的分布，根据答案分布，可以选择占比最高的答案作为最有可能的分类结果。在某些实施方式中，也可以参考待分类的对象的知识领域和众包平台上的用户的知识水平等来评价，例如，所述图像分类是关于昆虫分类的，那么会将答案的提交者为教师、科普工作者、博物馆工作人员等专业人士所提供的答案赋予更高的权重，从而更倾向于将他们提交的答案作为最有可能的分类结果。
在实际应用中，在步骤S17，还包括将由完成分类的对象汇总至一已分类对象集中。
步骤S19，根据已完成分类的对象的分类结果，重新估计类别分布并据此调整提问策略。
在本实施例中，步骤S19更可包括：
根据已完成分类的对象的分类结果，重新估计类别分布。通过前述各个步骤，随着更多的对象的分类结果，原先的类别分布势必会发生相应的变化。而本申请中，即是能实现自学习，即，可根据已完成分类的各个对象的分类结果进行自学习，在自学习过程中，可感知类别分布的变化趋势，并据此因应所述变化趋势，重新估计类别分布。以图像分类为例，可以感知到：连续一段时间内图像的分类结果更多是偏向于动物类图像(例如爬行类动物)或某一国家/地区(例如中国北京)的图像，或是选自某一图片库内的图像的分类结果更多是偏向于人物类图像还是自然风光类图像，等。
根据重新估计的类别分布，重新构建一提问策略。在本实施例中，所述提问策略是根据重新估计的类别分布而重新构建的。以提问策略采用决策树结构为例，将认为对象最有可能被分到的类别的提问置于决策树的根节点或邻近于根节点的子节点。在本申请中，将构建提问策略转化为构建决策树的问题。在实际应用中，为力构建最优决策树，所采用的方法可例如为一种自然式贪心算法(natural greedy algorithm)或完全多项式时间近似法(Fully Polynomial Time Approximation Scheme，简称FPTAS)。在具体实现上，根据重新估计的类别分布和所述类别层次结构，基于分类结果中类别出现频率的高低，将出现频率高的类别的提问置于提问策略的前列。
这样的话，就可将重新构建的提问策略替代原先的提问策略，并利用重新构建的提问策略来对对象集中剩余的未分类的对象进行众包分类。
具体地，在步骤19之后，可返回步骤S13，利用重新构建的提问策略，对对象进行众包分类。以图像分类为例，若当前时间段内或当前图片库中的图像大多是爬行类动物图像或中国北京的图像，那么，在重新构建的提问策略中，针对爬行类动物图像而言，将爬行类动物的分类的类别至于决策树的前端，针对中国北京的图像而言，将中国及北京的分类的类别至于决策树的前端。这样，在接下来的众包分类中，被获取的待分类的对象(这对象为爬行类动物图像或中国北京的图像的可能性相对较高)，那么，基于重新构建的提问策略(在该提问策略中，将爬行类动物的分类的类别至于决策树的前端或将中国及北京的分类的类别至于决策树的前端)，提问可更具有针对性，为获得可靠的分类结果，所需的提问数量将相比于原先的提问策略所需的提问数量必将得到减少，从而降低了完成对象分类任务所耗费的成本。同时，由于重新构建的提问策略的更有针对性及提问数量的减少，也可减少数据处理时间，提高对象分类的效率。
本申请公开的基于众包的对象分类方法，能实现自学习，可根据已完成分类的各个对象的分类结果进行自学习，感知类别分布的变化趋势，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数最少化，降低完成整个对象分类任务所耗费的总成本，并能提高分类效率。
本申请提供的一种基于众包的对象分类系统，所述基于众包的对象分类系统在实施例中，可由例如为计算机设备等数据处理设备或网络系统来执行。所述计算机设备可以是以下合适的设备，诸如手持计算机设备、平板计算机设备、笔记本计算机、桌上型计算机、服务器等。计算机设备可包括以下一个或多个部件：显示器、输入装置、输入/输出(I/O)端口、一个或多个处理器、存储器、非易失性存储设备、网络接口、以及电源等。所述的各种部件可包括硬件元件(例如芯片和电路)、软件元件(例如存储指令的有形非暂态计算机可读介质)、或者硬件元件和软件元件的组合。此外，需注意，各种部件可被组合成更少的部件或者被分离成附加部件。例如，存储器和非易失性存储设备可被包括在单个部件中。
在一实施例中，所述基于众包的对象分类系统可由例如构建于网络架构中的服务端系统来实现，所述服务端可以根据功能、负载等多种因素布置在一个或多个实体服务器上。其中，当分布在多个实体服务器时，所述服务端可以由基于云架构的服务器组成。例如，基于云架构的服务器包括公共云(Public Cloud)服务端与私有云(Private Cloud)服务端，其中，所述公共或私有云服务端包括Software-as-a-Service(软件即服务，SaaS)、Platform-as-a-Service(平台即服务，PaaS)及Infrastructure-as-a-Service(基础设施即服务,IaaS)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(Amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等。所述服务端还可以由分布的或集中的服务器集群构成。例如，所述服务器集群由至少一台实体服务器构成。每个实体服务器中配置多个虚拟服务器，每个虚拟服务器运行所述广告投放服务端中的至少一功能模块，各虚拟服务器之间通过网络通信。
请参阅图3和图4，其中，图3显示为本申请基于众包的对象分类系统在一实施例中的结构示意图，图4显示为本申请基于众包的对象分类系统在一实施例中的应用框图。结合图3和图4所示，所述基于众包的对象分类系统包括：创建/调用模块21、类别分布估计模块22、提问策略构建模块23、对象获取模块24、任务生成模块25、收发模块26、分类模块27、自学习模块28。
以下对前述各个模块进行详细描述。
创建/调用模块21用于根据分类任务，创建或调用一类别层次结构。在本申请中，针对不同的分类对象及分类任务，会创建或调用与之相应的类别层次结构。仍以对象为图像为例，在某些实施方式中，可以是对图像的拍摄地点(即，景物地点)进行分类：例如，若是以中国国内为主题的，那么与之相应的类别层次结构就可以包括省/自治区、市、区县、乡镇等层级。若是以世界为主题的，那么与之相应的类别层次就可以大洲、国家、州/地区、城市等层级。在某些实施方式中，可以是对图像的拍摄内容进行分类：例如，对于一般的图像，相应的类别层次结构可以包括人物类图像、动物类图像、植物类图像、自然风光类图像等层级。若是对于包含动物的图像进行分类，相应的类别层次结构可包括无脊椎动物和脊椎动物，在脊椎动物下又可分为鱼类、爬行类动物、两栖类动物、鸟类、哺乳类动物等。因此，在步骤S111，得根据不同的分类对象及分类任务而创建或调用与之相应的类别层次结构。在某些实施方式中，分类对象及分类任务为熟知的，那么可以直接调用现有的类别层次结构即可。在某些实施方式中，分类对象及分类任务是新的或是现有的类别层次结构存在瑕疵需要作调整的，那么就可创建一类别层次结构。在本实施例中，创建或调用的类别层次结构可采用树状类别层次结构，可以包括根节点、子节点、以及叶节点。针对某一个子节点，其具有至少一个叶节点。
类别分布估计模块22用于设定类别分布。在本实施例中，可根据创建/调用模块21所创建或调用的类别层次结构来设定类别分布。在本实施例中，特别地，适用于对象分类的类别分布并非固定不变的，其会根据众包答案的分类结果而作适时更新。不过，为实现本申请的对象分类任务，可先利用类别分布估计模块22设定初始的类别分布。以设定初始的类别分布为例，在某些实施方式中，基于分类对象和类别层次结构，设定的初始的类别分布可以是均匀分布，但并不以此为限，在某些实施方式中，设定的初始的类别分布可以是非均匀分布，例如对某一(些)类分布赋予不同的权重信息。
提问策略构建模块23用于根据所述类别分布构建一提问策略。在本实施例中，特别地，如前所述，所述类别分布会根据众包答案的分类结果而作适时更新，因此，提问策略构建模块23也会根据更新的类别分布而重新构建一提问策略。不过，为实现本申请的对象分类任务，可先利用提问策略构建模块23构建一初始的提问策略。在具体实现上，构建的初始的提问策略可以采用决策树结构，将认为对象最有可能被分到的类别的提问置于决策树的根节点或邻近于根节点的子节点。在本实施例中，具体地，以类别层次结构为树状层次结构为例，可基于所述树状类别层次结构中的某一子节点，创建多项选择问题。在某些实施方式中，所述与子节点对应的多项分类选择问题包括：与所述子节点下的至少一个叶节点对应的至少一个叶节点选择问题；与所述子节点下的至少一个叶节点无关但与所述子节点相关的节点选择问题；与所述子节点无关的节点排斥选择问题。
对象获取模块24，用于获取待分类的对象。在本实施例中，可创建一对象集，在所述对象集中，包括多个待分类的对象。以图像分类为例，可创建一图像集，在所述图像集中，包括多个待分类的图像。这些图像的来源不限，可以是本地数据库的(例如，自行拍摄)也可以是网络数据库的(例如公众可获取的公开的图片库)。这些图像的规格不限，可以是具有高信息量的原图，也可以是缩略图像或是从某一图像中截取的截图等。这些图像有些可以是包含对象整体或对象的典型特征的典型图像，也可以是包含对象局部或对象的非典型特征甚至是不包含对象的非典型图像。
获取待分类的对象可包括从创建的对象集中获取，在这里，从创建的对象集中获取对象的数量不作限定，可以是从对象集中获取一对象，也可以是从对象集中获取两个或多个对象，这两个或多个对象可以是关联的，也可以是随机的。以两个或多个对象是关联的来说，以图像为例，所述关联可以表示为这两个或多个图像是在同一地点拍摄的、或是相邻时间拍摄的、或是取自同一图片库的等。
任务生成模块25用于将所述待分类的对象基于一提问策略而生成一众包任务。这里，所谓的众包(Crowdsourcing)，可以看作一个分布式问题解决的业务产出模型，指一个外包任务由传统的雇员完成发展为开放的一群人(非特定性)去完成。
收发模块26用于将所述众包任务进行众包分发以及收集对应所述众包任务的众包答案。在本实施例中，本申请基于众包的对象分类系统可构建于一例如为网络服务器的数据处设备中或分布式网络系统中，因此，由任务生成模块25生成的众包任务可由网络服务器分发至用户的客户端(例如计算机设备、网页等)。
分类模块27用于根据收集到的众包答案而获得适合所述对象的类别。在本实施例中，收集众包答案，对所述众包答案进行质量评估，根据质量评估结构来确定所述对象的类别。
在某些实施方式中，对众包答案进行质量评估可例如包括：
从收集的众包答案中遴选出有效的众包答案。该操作一种可以是通过一定的答案模型遴选出有效的众包答案，一种是将不符合答案模型的无效的众包答案剔除后剩下的即可视为有效的众包答案。其中，无效的众包答案可包括但不限于：答案不完整的众包答案，答案不明确(例如答案中包括两个或多个分类答案)的众包答案，众包答案的提交者(即用户)主体不符合等。
对遴选出的有效的众包答案进行质量评估。例如，在某些实施方式中，统计出这些众包答案的分布，根据答案分布，可以选择占比最高的答案作为最有可能的分类结果。在某些实施方式中，也可以参考待分类的对象的知识领域和众包平台上的用户的知识水平等来评价，例如，所述图像分类是关于昆虫分类的，那么会将答案的提交者为教师、科普工作者、博物馆工作人员等专业人士所提供的答案赋予更高的权重，从而更倾向于将他们提交的答案作为最有可能的分类结果。
在实际应用中，可将由分类模块27完成分类的对象汇总至一已分类对象集中。
自学习模块28用于根据已完成分类的各个对象的分类结果进行自学习，重新估计类别分布并据此调整提问策略。在本实施例中，自学习模块28可根据已完成分类的各个对象的分类结果进行自学习，在自学习过程中，可感知类别分布的变化趋势，并因应所述变化趋势，控制类别分布估计模块22和提问策略构建模块23作相应的操作。具体地，自学习模块28可实现：令类别分布估计模块22根据已完成分类的各个对象的分类结果，重新估计类别分布；令提问策略构建模块23根据重新估计的类别分布和所述类别层次结构重新构建一提问策略。
其中，类别分布估计模块22根据已完成分类的对象的分类结果，重新估计类别分布。随着更多的对象的分类结果，原先的类别分布势必会发生相应的变化。而本申请中，即是能实现自学习，即，可根据已完成分类的各个对象的分类结果进行自学习，在自学习过程中，可感知类别分布的变化趋势，并据此因应所述变化趋势，重新估计类别分布。以图像分类为例，可以感知到：连续一段时间内图像的分类结果更多是偏向于动物类图像(例如爬行类动物)或某一国家/地区(例如中国北京)的图像，或是选自某一图片库内的图像的分类结果更多是偏向于人物类图像还是自然风光类图像，等。
提问策略构建模块23根据重新估计的类别分布和所述类别层次结构重新构建一提问策略。在具体实现上，提问策略构建模块23根据重新估计的类别分布和所述类别层次结构，基于分类结果中类别出现频率的高低，将出现频率高的类别的提问置于提问策略的前列。以提问策略采用决策树结构为例，将认为对象最有可能被分到的类别的提问置于决策树的根节点或邻近于根节点的子节点。以图像分类为例，若当前时间段内或当前图片库中的图像大多是爬行类动物图像或中国北京的图像，那么，在重新构建的提问策略中，针对爬行类动物图像而言，将爬行类动物的分类的类别至于决策树的前端，针对中国北京的图像而言，将中国及北京的分类的类别至于决策树的前端。
这样的话，就可将重新构建的提问策略替代原先的提问策略，并利用重新构建的提问策略来对对象集中剩余的未分类的对象进行众包分类。以图像分类为例，承接上面的描述，在接下来的众包分类中，被获取的待分类的对象(这对象为爬行类动物图像或中国北京的图像的可能性相对较高)，那么，基于重新构建的提问策略(在该提问策略中，将爬行类动物的分类的类别至于决策树的前端或将中国及北京的分类的类别至于决策树的前端)，提问可更具有针对性，为获得可靠的分类结果，所需的提问数量将相比于原先的提问策略所需的提问数量必将得到减少，从而降低了完成对象分类任务所耗费的成本。同时，由于重新构建的提问策略的更有针对性及提问数量的减少，也可减少数据处理时间，提高对象分类的效率
本申请公开的基于众包的对象分类系统，包括创建/调用模块、类别分布估计模块、提问策略构建模块、对象获取模块、任务生成模块、收发模块、分类模块、自学习模块，其中，自学习模块能根据已完成分类的各个对象的分类结果进行自学习，感知类别分布的变化趋势，由类别分布估计模块重新估计获得新的类别分布，由策略构建模块根据新的类别分布创建一提问策略，使得完成对对象分类所耗用的提问总数最少化，降低完成整个对象分类任务所耗费的总成本，并能提高分类效率。
以下以图像分类为例来说明本申请公开的基于众包的对象分类方法及对象分类系统的实际应用及其效果。
假设有一图片库，图片库中有海量的图像，这些图片的内容为世界各地的名城古迹或地标建筑，我们的目的是通过众包平台对这些图像进行地点分类，确定图像中名城古迹或地标建筑的所在城市。
基于本申请的对象分类方法，整个操作过程大致可如下描述：
根据图像分类任务，创建一类别层次结构。既然是要确定图像中名城古迹或地标建筑的所在城市，那么基于世界范围内的国家及城市，创建一类别层次结构。具体可参阅图5，显示为图像分类的应用中基于国家及城市的类别层次结构的一示例图。为便于描述，对类别层次结构作了相应的简化，在图5中仅显示亚洲的一部分。如图5所示，所述类别层次结构为树状类别层次结构，根节点(至少以图5显示部分为例，若以世界范围的大的类别层次结构，可能就不是根节点，在此不论)为“亚洲”，在根节点“亚洲”下至少包括子节点“东亚”和“南亚”，其中，在子节点“东亚”下至少包括子节点“中国”、“日本”、以及“韩国”，在子节点“中国”下至少包括叶节点“北京”和“上海”，在叶节点“韩国”下至少包括“首尔”和“釜山”，在另一子节点“南亚”下至少包括“印度”和“斯里兰卡”，在子节点“印度”下至少包括“新德里”和“孟买”。
之后，基于图像的类别分布，构建初始的提问策略。在本申请中，构建初始的提问策略主要在于使得后续的图像分类操作能够进行下去以获得真实的图像类别分布并据此重新构建相应的提问策略。因此，初始的提问策略可采用随机方式构建，也可以根据图像的类别层次结构常规构建，不会改变后续的操作过程且不会影响图像分类的整体效果。
请参阅图6，显示为图像分类的应用中构建的某一初始的提问策略的示例图。如图6所示，构建的初始的提问策略可以采用决策树结构。该所述决策树结构中，一般地，对于树状类别层次结构中的某一子节点，可创建对应的多项分类选择问题。以“中国”为例，创建的多项分类选择问题可包括：(1)、与子节点“中国”下包括的叶节点“北京”和“上海”对应的叶节点选择问题：(a)拍摄于北京；(b)拍摄于上海；(2)、与子节点“中国”下的叶节点“北京”和“上海”无关但与子节点“中国”相关的节点选择问题：(c)拍摄于中国的其他城市；(3)、与子节点“中国”无关的节点排斥选择问题：(d)不是拍摄于中国。图6所示的即为根据图像的树状类别层次结构而创建的树状决策树。
之后，就可实施众包任务：从图片库中获取待分类的图片；将待分类的对象基于前述图6所示的提问策略而生成一众包任务，将所述众包任务进行众包分发；收集众包答案并根据所述众包答案而获得适合所述对象的类别。
假设，根据已完成分类的各个对象的分类结果，发现当前分类的图像有很大概率是多拍摄于印度，由于“印度”的子节点位于初始的策略树的底部，对于每一个图像而言，最终分类到“印度”及其下的叶节点“新德里”和“孟买”相对于分类到其他的分类节点所需要的提问数量就更多些，那么当图片数量众多时，这种差异就越明显，对于众包任务整体而言，就得提出很大数量的提问数量，整体成本十分惊人。
而在本申请中，特别地，可根据已完成分类的各个图像的分类结果进行自学习，在自学习过程中，可感知图像的类别分布的变化趋势，并据此因应所述变化趋势，重新估计图像的类别分布，并根据重新估计的图像的类别分布重新构建提问策略。承接上面的描述，根据当前分类的图像绝大多数或全部集中拍摄于印度，将分类结果中类别出现频率高的“印度”的提问置于提问策略的前列。请参阅图7，显示为图像分类的应用中重新构建提问策略采用决策树结构的示例图。如图7所示，将出现频率高的“印度”的提问置于决策树的最前列。如此，在当前的类别分布下，对于会出现高概率为“印度”的接下来的待分类的图像，要获得该待分类的图像的分类结果，就很可能仅需少量的提问数量即可完成。如此，使得完成图像分类所耗用的提问总数最少化，降低完成整个图像分类任务所耗费的总成本，并能提高分类效率。
请参阅图8，其显示为本申请的数据处理设备在一实施例中的结构示意图。如图8所示，本实施例提供的数据处理设备41主要包括存储器410、一个或多个处理器411、以及存储于所述存储器410中的一个或多个程序，其中，存储器410存储执行指令，当数据处理设备41运行时，处理器411与存储器410之间通信。
其中，所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行指令，所述一个或多个处理器执行所述执行指令使得所述数据处理设备执行上述的基于众包的对象分类方法，即所述处理器411执行执行指令使得数据处理设备41执行如图1或图2所示的方法，进而根据众包答案所完成的分类结果，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数最少化，降低完成整个对象分类任务所耗费的总成本，并能提高分类效率。
需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本申请的实施例来执行操作。
基于此，本申请再提供一种计算机可读写存储介质，其上存储有基于众包的对象分类的计算机程序，所述基于众包的对象分类的计算机程序被处理器执行时实现上述基于众包的对象分类方法的步骤。
在实施例中，所述机器可读介质可包括，但不限于，软盘、光盘、CD-ROM(紧致盘-只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。
本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
需要说明的是，本领域技术人员可以理解，上述部分组件可以是可编程逻辑器件，包括：可编程阵列逻辑(Programmable Array Logic，简称PAL)、通用阵列逻辑(GenericArray Logic，简称GAL)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)、复杂可编程逻辑器件(Complex Programmable Logic Device，简称CPLD)中的一种或多种，本申请对此不做具体限制。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。
Claims (19)
1.一种基于众包的对象分类方法，其特征在于，包括以下步骤：
获取待分类的对象；
将所述待分类的对象基于一提问策略而生成一众包任务，将所述众包任务进行众包分发；
收集众包答案并根据所述众包答案而获得适合所述对象的类别；以及
根据已完成分类的各个对象的分类结果，重新估计类别分布并据此调整提问策略，使得完成对对象分类所耗用的提问总数的最少化处理。
2.根据权利要求1所述的基于众包的对象分类方法，其特征在于，还包括如下步骤：
根据分类任务，创建或调用一类别层次结构；
根据所述类别层次结构，设定初始的类别分布；
根据所述初始的类别分布，构建一初始的提问策略。
3.根据权利要求2所述的基于众包的对象分类方法，其特征在于，所述类别层次结构为树状类别层次结构。
4.根据权利要求3所述的基于众包的对象分类方法，其特征在于，在所述树状类别层次结构中，针对某一子节点，具有至少一个叶节点。
5.根据权利要求2所述的基于众包的对象分类方法，其特征在于，所述创建一提问策略的步骤包括：利用贪心算法或完全多项式时间近似法来创建提问策略。
6.根据权利要求4所述的基于众包的对象分类方法，其特征在于，所述根据所述类别层次结构创建一提问策略的步骤包括：基于所述对象和所述树状类别层次结构中的某一子节点，创建多项选择问题。
7.根据权利要求6所述的基于众包的对象分类方法，其特征在于，所述与子节点对应的多项分类选择问题包括：
与所述子节点下的至少一个叶节点对应的至少一个叶节点选择问题；
与所述子节点下的至少一个叶节点无关但与所述子节点相关的节点选择问题；以及
与所述子节点无关的节点排斥选择问题。
8.根据权利要求1所述的基于众包的对象分类方法，其特征在于，所述收集众包答案并根据所述众包答案而获得适合所述对象的类别的步骤包括：
收集众包答案；
对所述众包答案进行质量评估以确定所述对象的类别。
9.根据权利要求1所述的基于众包的对象分类方法，其特征在于，所述重新估计类别分布并据此调整提问策略的步骤包括：
根据已完成分类的各个对象的分类结果，重新估计类别分布；
根据重新估计的类别分布和所述类别层次结构，基于分类结果中类别出现频率的高低，将出现频率高的类别的提问置于提问策略的前列。
10.一种基于众包的对象分类系统，其特征在于，包括：
对象获取模块，用于获取待分类的对象；
任务生成模块，用于将所述待分类的对象基于一提问策略而生成一众包任务；
收发模块，用于将所述众包任务进行众包分发以及收集对应所述众包任务的众包答案；
分类模块，用于根据收集到的众包答案而获得适合所述对象的类别；以及
自学习模块，用于根据已完成分类的各个对象的分类结果进行自学习，重新估计类别分布并据此调整提问策略。
11.根据权利要求10所述的基于众包的对象分类系统，其特征在于，还包括：
创建/调用模块，用于根据分类任务，创建或调用一类别层次结构；
类别分布估计模块，用于设定类别分布；以及
提问策略构建模块，用于根据所述类别分布构建一提问策略。
12.根据权利要求11所述的基于众包的对象分类系统，其特征在于，所述类别层次结构为树状类别层次结构。
13.根据权利要求12所述的基于众包的对象分类系统，其特征在于，在所述树状类别层次结构中，针对某一子节点，具有至少一个叶节点。
14.根据权利要求13所述的基于众包的对象分类系统，其特征在于，所述提问策略构建模块根据所述类别分布构建一提问策略，包括：基于所述对象和所述树状类别层次结构中的某一子节点，创建多项选择问题。
15.根据权利要求14所述的基于众包的对象分类系统，其特征在于，所述与子节点对应的多项分类选择问题包括：
与所述子节点下的至少一个叶节点对应的至少一个叶节点选择问题；
与所述子节点下的至少一个叶节点无关但与所述子节点相关的节点选择问题；以及
与所述子节点无关的节点排斥选择问题。
16.根据权利要求10所述的基于众包的对象分类系统，其特征在于，所述分类模块根据收集到的众包答案而获得适合所述对象的类别包括：对所述众包答案进行质量评估以确定所述对象的类别。
17.根据权利要求11所述的基于众包的对象分类系统，其特征在于，所述自学习模块重新估计类别分布并据此调整提问策略，包括：
令类别分布估计模块根据已完成分类的各个对象的分类结果，重新估计类别分布；以及
令提问策略构建模块根据重新估计的类别分布和所述类别层次结构，基于分类结果中类别出现频率的高低，将出现频率高的类别的提问置于提问策略的前列。
18.一种计算机可读存储介质，其特征在于，存储有应用于对象分类的程序，所述程序被所述至少一个处理器执行时，实现如权利要求1至9中任一项所述基于众包的对象分类方法中的各个步骤。
19.一种数据处理设备，其特征在于，包括：
至少一个处理器；
至少一个存储器；以及
至少一个程序，其中，所述至少一个程序被存储在所述至少一个存储器中并被配置为由所述至少一个处理器执行指令，所述至少一个处理器执行所述执行指令使得所述数据处理设备执行如权利要求1至9中任一项所述基于众包的对象分类方法中的各个步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810343036.8A CN108549909B (zh) | 2018-04-17 | 2018-04-17 | 基于众包的对象分类方法及对象分类系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810343036.8A CN108549909B (zh) | 2018-04-17 | 2018-04-17 | 基于众包的对象分类方法及对象分类系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108549909A true CN108549909A (zh) | 2018-09-18 |
| CN108549909B CN108549909B (zh) | 2021-03-12 |
Family
ID=63515362
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810343036.8A Active CN108549909B (zh) | 2018-04-17 | 2018-04-17 | 基于众包的对象分类方法及对象分类系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108549909B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109451015A (zh) * | 2018-11-02 | 2019-03-08 | 华东交通大学 | 群智感知数据的处理方法、装置、电子设备及存储介质 |
| CN109934266A (zh) * | 2019-02-19 | 2019-06-25 | 清华大学 | 提高众包标注数据质量的可视分析系统及方法 |
| CN111382144A (zh) * | 2018-12-27 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 信息处理方法及装置、存储介质及处理器 |
| CN112101419A (zh) * | 2020-08-17 | 2020-12-18 | 清华大学 | 基于众包的高效分类系统及其创建、使用方法 |
| CN116703108A (zh) * | 2023-06-20 | 2023-09-05 | 暨南大学 | 一种基于top-k结构洞的众包问题选择方法和系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103797479A (zh) * | 2011-09-08 | 2014-05-14 | 诺基亚公司 | 用于混合社交搜索模型的方法和装置 |
| US20160140212A1 (en) * | 2014-11-14 | 2016-05-19 | Battelle Memorial Institute | Data object classification using feature generation through crowdsourcing |
| CN106156140A (zh) * | 2014-12-11 | 2016-11-23 | 塔塔咨询服务有限公司 | 经由使用移动通信装置的众包分类植物病害的方法和系统 |
| CN107067105A (zh) * | 2017-04-07 | 2017-08-18 | 华东师范大学 | 一种基于最优数据分组的众包策略分配方法 |
| CN107577689A (zh) * | 2016-07-04 | 2018-01-12 | 松下知识产权经营株式会社 | 决策树生成装置、决策树生成方法、非暂时性记录介质以及提问系统 |
-
2018
- 2018-04-17 CN CN201810343036.8A patent/CN108549909B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103797479A (zh) * | 2011-09-08 | 2014-05-14 | 诺基亚公司 | 用于混合社交搜索模型的方法和装置 |
| US20160140212A1 (en) * | 2014-11-14 | 2016-05-19 | Battelle Memorial Institute | Data object classification using feature generation through crowdsourcing |
| CN106156140A (zh) * | 2014-12-11 | 2016-11-23 | 塔塔咨询服务有限公司 | 经由使用移动通信装置的众包分类植物病害的方法和系统 |
| CN107577689A (zh) * | 2016-07-04 | 2018-01-12 | 松下知识产权经营株式会社 | 决策树生成装置、决策树生成方法、非暂时性记录介质以及提问系统 |
| CN107067105A (zh) * | 2017-04-07 | 2017-08-18 | 华东师范大学 | 一种基于最优数据分组的众包策略分配方法 |
Non-Patent Citations (2)
| Title |
|---|
| ADITYA PARAMESWARAN ET AL.: "Human-Assisted Graph Search: It’s Okay to Ask Questions", 《PROCEEDINGS OF THE VLDB ENDOWMENT (PVLDB)》 * |
| 冯建红 等: "众包技术研究综述", 《计算机学报》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109451015A (zh) * | 2018-11-02 | 2019-03-08 | 华东交通大学 | 群智感知数据的处理方法、装置、电子设备及存储介质 |
| CN109451015B (zh) * | 2018-11-02 | 2021-10-08 | 华东交通大学 | 群智感知数据的处理方法、装置、电子设备及存储介质 |
| CN111382144A (zh) * | 2018-12-27 | 2020-07-07 | 阿里巴巴集团控股有限公司 | 信息处理方法及装置、存储介质及处理器 |
| CN111382144B (zh) * | 2018-12-27 | 2023-05-02 | 阿里巴巴集团控股有限公司 | 信息处理方法及装置、存储介质及处理器 |
| CN109934266A (zh) * | 2019-02-19 | 2019-06-25 | 清华大学 | 提高众包标注数据质量的可视分析系统及方法 |
| CN112101419A (zh) * | 2020-08-17 | 2020-12-18 | 清华大学 | 基于众包的高效分类系统及其创建、使用方法 |
| CN116703108A (zh) * | 2023-06-20 | 2023-09-05 | 暨南大学 | 一种基于top-k结构洞的众包问题选择方法和系统 |
| CN116703108B (zh) * | 2023-06-20 | 2024-03-08 | 暨南大学 | 一种基于top-k结构洞的众包问题选择方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108549909B (zh) | 2021-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108549909A (zh) | 基于众包的对象分类方法及对象分类系统 | |
| US10706363B2 (en) | Data recommendation method and device, and storage medium | |
| CN110196908A (zh) | 数据分类方法、装置、计算机装置及存储介质 | |
| US20170140322A1 (en) | Selecting a plurality of individuals and ai agents to accomplish a task | |
| DE112021002820T5 (de) | Dynamische automatisierung einer auswahl von pipeline-artefakten | |
| WO2022247955A1 (zh) | 非正常账号识别方法、装置、设备和存储介质 | |
| CN108268575A (zh) | 标注信息的处理方法、装置和系统 | |
| US20170308836A1 (en) | Hierarchical visualization for decision review systems | |
| EP3918472A1 (en) | Techniques to detect fusible operators with machine learning | |
| US20220269927A1 (en) | Optimizing machine learning | |
| CN110458600A (zh) | 画像模型训练方法、装置、计算机设备及存储介质 | |
| US11847443B2 (en) | Constraints-based refactoring of monolith applications through attributed graph embeddings | |
| Jrad et al. | STRATFram: A framework for describing and evaluating elasticity strategies for service-based business processes in the cloud | |
| CN117236624A (zh) | 一种基于动态图的Issue修复者推荐方法与装置 | |
| Kozlova et al. | Development of the toolkit to process the internet memes meant for the modeling, analysis, monitoring and management of social processes | |
| CN112818241B (zh) | 一种内容推广方法、装置、计算机设备和存储介质 | |
| US11782923B2 (en) | Optimizing breakeven points for enhancing system performance | |
| DE102021124270A1 (de) | Verfahren und system zum ermitteln und priorisieren von refactoring, um mikrodienste besser zu ermitteln | |
| US11687591B2 (en) | Systems, methods, computing platforms, and storage media for comparing non-adjacent data subsets | |
| WO2021258076A1 (en) | Methods and systems for session management in digital telepresence systems using machine learning | |
| Li et al. | Enterprise precision marketing effectiveness model based on data mining technology | |
| US11748063B2 (en) | Intelligent user centric design platform | |
| TWI812423B (zh) | 分散式結構設計系統與方法 | |
| US20240037234A1 (en) | Smart incentivization for achieving collaborative machine learning | |
| He et al. | Predicting Effect and Cost of Microservice System Evolution Using Graph Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20181026 Address after: 210046 601 room, No. 6, Qi Min Road, Xianlin street, Qixia District, Nanjing, Jiangsu, China. 6 Applicant after: Turing Artificial Intelligence Research Institute (Nanjing) Co., Ltd. Address before: 100084 Tsinghua Yuan, Beijing, Haidian District Applicant before: Tsinghua University |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |