CN110347379B - 组合型众包题目的处理方法、装置及存储介质 - Google Patents

Abstract

本发明提供一种组合型众包题目的处理方法、装置及存储介质。该方法包括：获取组合型众包题目的功能组件，功能组件包括标题组件、内容组件、选项组件，功能组件为组件库中预存的组件；获取第一用户对功能组件的配置信息；根据配置信息生成组合型众包题目，组合型众包题目复用部分功能组件。上述方法降低了组合型题目的开发难度，用户可以根据需要对功能组件进行自由拆分和组合，减轻了用户创建组合型题目的工作量，提高了创建组合型题目的开发效率。

Description

组合型众包题目的处理方法、装置及存储介质

技术领域

本发明实施例涉及众包数据处理领域，尤其涉及一种组合型众包题目的处理方法、装置及存储介质。

背景技术

近年来，人工智能技术的发展为我们的生活提供了很多便利，越来越多的产品利用机器学习或深度学习等技术使产品更加智能化，提高了产品的用户体验。人工智能领域最重要的是数据，数据的来源不仅可以是已有的产品，还有更多的数据需要人工去标注，众包标注平台应运而生。众包标注平台可供众多的需求方发布多种多样的题目，由数据标注公司或团队领取题目进行数据标注，数据标注主要包括对文本、图片、音频、视频的标注。

目前现有的众包标注平台提供多种固定题型的题型模块，用户直接在平台上选择题型模板，然后在模板上增加数据。如果需要开发新题型，例如组合题型，可以通过平台开放的部分接口，插入新题型对应的插件或者代码，虽然这种方式非常灵活，但要求用户具备编写代码的能力，技术门槛高，且开发效率低。

发明内容

本发明实施例提供的组合型众包题目的处理方法、装置及存储介质，提高了创建组合型题目的开发效率。

第一方面，本发明提供一种组合型众包题目的处理方法，包括：

获取组合型众包题目的功能组件，所述功能组件包括标题组件、内容组件、选项组件，所述功能组件为组件库中预存的组件；

获取第一用户对所述功能组件的配置信息；

根据所述配置信息生成组合型众包题目，所述组合型众包题目复用部分功能组件。

可选的，所述组合型众包题目包括多个不同的标题组件，各所述标题组件对应的内容组件以及多个选项组件，所述多个选项组件的类型相同或不同。

可选的，所述组合型众包题目包括一个标题组件和所述标题组件对应的内容组件，以及多个选项组件，所述多个选项组件的类型相同或者不同。

可选的，所述选项组件的类型包括单选、多选、填空、区间标注。

在一种可能的实现方式中，所述获取第一用户对所述功能组件的配置信息，包括：

获取第一用户对所述标题组件的数据内容的配置信息；

获取第一用户对所述内容组件的数据内容的配置信息；

获取第一用户对所述选项组件的数据内容的配置信息以及选项的配置信息。

可选的，所述数据内容的配置信息包括数据内容的链接地址，所述数据内容包括以下至少一项：文本、图片、音频或视频。

可选的，所述数据内容的配置信息还包括所述数据内容的前端交互配置。

可选的，所述选项的配置信息包括最小选择个数、最大选择个数、计算相关参数以及与第二用户交互的参数；所述第二用户为答题用户。

在一种可能的实现方式中，所述根据所述配置信息生成所述组合型众包题目，包括：

根据所述配置信息推断所述组合型众包题目的答案组件，所述答案组件数量为一个或多个；每一个所述答案组件包括答案组件的答案格式；

根据所述配置信息和所述答案组件生成所述组合型众包题目。

在一种可能的实现方式中，所述根据所述配置信息推断所述组合型众包题目的答案组件之前，还包括：

判断所述配置信息的格式是否与预设格式匹配，若匹配，执行所述根据所述配置信息推断所述组合型众包题目的答案组件。

在一种可能的实现方式中，所述方法还包括：

读取多个第二用户对所述组合型众包题目的标注记录；

读取所述组合型众包题目的选项组件和内容组件的类型；

根据所述组合型众包题目的选项组件和内容组件的类型确定对应的数据处理方法，对所述标注记录进行数据分析，所述数据处理方法包括通用化数据处理方法或者特殊化数据处理方法。

第二方面，本发明提供一种众包题目的处理装置，包括：

获取模块，用于获取组合型众包题目的功能组件，所述功能组件包括标题组件、内容组件、选项组件，所述功能组件为组件库中预存的组件；

所述获取模块，还用于获取第一用户对所述功能组件的配置信息；

生成模块，用于根据所述配置信息生成组合型众包题目，所述组合型众包题目复用部分功能组件。

第三方面，本发明提供一种众包题目的处理装置，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如本发明第一方面任一项所述的方法。

第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如本发明第一方面任一项所述的方法。

本发明实施例提供一种组合型众包题目的处理方法、装置及存储介质。该方法包括：获取组合型众包题目的功能组件，功能组件包括标题组件、内容组件、选项组件，功能组件为组件库中预存的组件；获取第一用户对功能组件的配置信息；根据配置信息生成组合型众包题目，组合型众包题目复用部分功能组件。上述方法降低了组合型题目的开发难度，用户可以根据需要对功能组件进行自由拆分和组合，减轻了用户创建组合型题目的工作量，提高了创建组合型题目的开发效率。

附图说明

图1为本发明实施例提供的组合型众包题目的处理方法的第一流程图；

图2为发明实施例提供的组合型众包题目的第一示意图；

图3为本发明实施例提供的组合型众包题目的第二示意图；

图4为本发明实施例提供的组合型众包题目的第三示意图；

图5为本发明实施例提供的组合型众包题目的处理方法的第二流程图；

图6为本发明实施例提供的组合型众包题目的处理装置的第一结构示意图；

图7为本发明实施例提供的组合型众包题目的处理装置的第二结构示意图；

图8为本发明实施例提供的组合型众包题目的处理装置的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，本文中使用的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

下面采用几个具体实施例对本发明提供的技术方案进行详细说明。需要说明的是，下面几个具体实施例可以相互结合，对于相同或相似的内容，在不同的实施例中不再进行重复说明。

图1为本发明实施例提供的组合型众包题目的处理方法的第一流程图。图2为发明实施例提供的组合型众包题目的第一示意图，图3为本发明实施例提供的组合型众包题目的第二示意图，图4为本发明实施例提供的组合型众包题目的第三示意图。

本实施例提供的处理方法可以由任意执行该方法的装置来执行，该装置可以是终端设备，例如智能手机、平板电脑、台式电脑等，也可以是服务器，例如众包标注平台等。该装置可以通过软件和/或硬件实现。

如图1所示，本实施例提供的方法包括：

步骤101、获取组合型众包题目的功能组件，功能组件包括标题组件、内容组件、选项组件，功能组件为组件库中预存的组件。

在本实施例中，众包题目是指对各数据进行标注的题目，其中数据包括文本、字符串、图片、音频、视频等。组合型众包题目可以理解为标注次数大于一次的众包题目。

例如，图片标注可以是对图片整体的标注，例如对单独一张图片进行描述或者提供一些选项供用户选择，例如该图片中是否出现人物，或者请选出该图片中出现的物体等等；也可以是和图片本身有交互，例如打点或者矩形框选标注。又例如，视频或音频标注可以是对视频或音频整体的标注，例如对整个视频进行描述，或者提供一些选项供用户选择(和图片标注相似)；也可以对视频进行区间标注，例如需要标注某一段视频中某一区间出现了某个人。再例如，文本标注可以针对文本内容进行标注，也可以针对文本进行实体标注，例如标注出一句话的地点/人名等等。

众包题目通常抽象为四个部分，体现为四个主要类型的功能组件：标题组件、内容组件、选项组件和答案组件。上述四个功能组件作为众包题目的组成部件。每一种功能组件中包含题目的关键数据以及交互特点的配置选项。比如选项组件需要配置选项的类型、个数以及对应选项的参数，具体参数在后文中展开。用户只需要配置好各个功能组件的位置以及对应功能选项的数据内容即可。

由于数据标注题目的最终目的是获取数据标注结果，组件之间的相互连接是通过答案组件来记录及处理，答案组件包括该答案的数据来源以及答案格式。需要说明的是，答案组件是根据用户选择的标题组件、内容组件、选项组件以及其交互方式自动生成的，在用户交互界面上可以查看答案组件的答案格式。

除此之外，还有一种通用类型的组件，包括但不限于文本、图片、视频、音频等等，这种类型的组件可以相互组合。通用组件单独或组合后可以充当以上四个功能组件的一部分。此类组件方便用户拼装成各个功能组件。

在本实施例中，可以根据需要配合一组或多组功能组件以满足不同用户对组合型题目的需求。

步骤102、获取第一用户对功能组件的配置信息。

具体的，获取第一用户对标题组件的数据内容的配置信息；获取第一用户对内容组件的数据内容的配置信息；获取第一用户对选项组件的数据内容的配置信息以及选项的配置信息。其中，第一用户是指众包平台上的发题方用户。

由上述步骤可知，标题组件、内容组件以及选项组件中可以包括文本、图片、音频或视频。因此，第一用户在获取组件组中预存的功能组件之后，需要对各功能组件进行相应的配置。配置信息包括数据内容的配置信息和/或前端交互配置。其中，

数据内容的配置信息包括数据内容的链接地址。例如数据内容包括图片，则需要配置图片的链接地址；数据内容包括音/视频，则需要配置音/视频的链接地址。

数据内容的前端交互配置包括对数据内容的标注类型。例如数据内容包括图片，则可以配置图片仅作展示，也可以配置对图片进行打点，还可以配置对图片进行矩形框选择。数据内容包括音/视频，则可以配置音/视频仅作展示，也可以配置对音/视频进行区间标注，还可以配置对音/视频进行内容描述等。

对于选项组件来说，除了配置选项中的数据内容之外，还需要对选项进行相关配置。选项的配置信息包括最小选择个数、最大选择个数、计算相关参数以及与第二用户交互的参数；第二用户为答题用户。其中，计算相关参数是为了处理对于一个相同的组件，不同的发题方对答案的记录或者正确答案的判断可能有不同的要求，例如一个多选有四个选项ABCD，有的发题方希望A/AB/AD三个可能的答案按照完全不同的答案处理，在与正确答案进行判断时，如果正确答案是AB而用户选A，那么这个答案算错。有的发题方希望如果答题者选A，那么A这个答案记录选择次数，如果答题者选AB，那么A和B这两个答案的被选择次数都记录，而不是记录AB这个答案的被选择次数，在正确答案判断时，如果正确答案是AB，而用户选择A，那么这个答案算正确。与第二用户交互的参数主要是为了定义不同组件在答题界面上与答题用户交互时的表现，例如图片组件，可以定义图片是缩放在一个页面还是这个图片可以通过点击放大并拖动等等，又例如单选组件，可以定义多个选项是横排还是竖排。

步骤103、根据配置信息生成组合型众包题目，组合型众包题目复用部分功能组件。

在本实施例中，根据配置信息推断组合型众包题目的答案组件，具体的，根据配置信息获取构成组合型众包题目的功能组件的数量和组件类型，在预存的组件对照表中查找对应的答案组件，答案组件中包括答案的格式；再根据配置信息和答案组件生成组合型众包题目。其中，答案组件数量为一个或多个。

在一种可能的实现方式中，组合型众包题目包括多个不同的标题组件，各标题组件对应的内容组件以及多个选项组件，多个选项组件的类型相同或不同。其中，选项组件的类型包括单选、多选、填空或区间标注。多个选项组件的类型相同或者不同可以理解为：多个不同的标题组件对应的选项组件可以具有相同的选项类型，也可以具有不同的选项类型。在一种示例中，组合型众包题目包括10个标题组件，该标题组件可以理解为题目的题干)，10个待标注的数据(对应内容组件)，待标注的数据可以是文本、图片、音频、视频或者任意两者的组合，如图2所示，10个标题组件具有相同的选项类型，也就是说10个标题组件复用一个选项组件。在另一种实例中，可以将前5个标题组件设置为一种选项类型，比如单选，将后5个标题组件设置为另一种选项类型，比如填空。上述实例示出的组合型众包题目可以看作是调查问卷形式的众包题目。目前的众包平台还无法实现上述组合型众包题目。

在另一种可能的实现方式中，组合型众包题目包括一个标题组件和标题组件对应的内容组件，以及多个选项组件，多个选项组件的类型相同或者不同。其中，多个选项组件对应同一个标题组件和内容组件，如图3和4所示。在一种实例中，多个选项组件的选项类型相同，如图3中三个选项复用一个选项组件，该选项组件的选项类型为单选；在另一种实例中，多个选项组件的选项类型不同，如图4中一个选项组件的选项类型为单选，另一选项组件的选项类型为填空。

上述各实例示出的组合型众包题目，相比现有众包平台的固定题型，复用部分功能组件，题型更加灵活和多样化，用户只需要从组件库中选择功能组件，并对功能组件进行相应的配置，降低了新题型开发的难度，提高了创建新题型的开发效率。

可选的，在一些实施例中，也可以开放答案组件的格式选择，或者让第一用户根据自身需求自定义需要的数据格式。

可选的，在一些实施例中，根据配置信息推断组合型众包题目的答案组件之前，还可以包括：判断配置信息的格式是否与预设格式匹配，若匹配，执行根据配置信息推断组合型众包题目的答案组件；若不匹配，生成问题数据，发送至用户界面供用户下载修改，直至配置信息的格式符合预设格式要求。

在本实施例中，所有的功能组件都用配置化的方法实现，组件声明及配置格式由开发人员定义，由两部分构成，一部分是组件的声明，用来记录用户选择的具体组件，一部分是组件的具体配置，包括数据或数据来源等等。由于功能组件的配置较灵活，需要限制各个参数的数据类型、取值范围等等。可选的，可采用JSON作为通用配置文件，对应的，使用JSON Schema作为通用组件声明文件，由开发人员定义对应的JSON Schema，不仅可以定义组件的数据格式，也可以定义出组件的各种配置。这样就可以在声明组件后直接根据JSONSchema的判断规则来判断各个组件配置的各个参数，包括答案的格式是否符合要求。本实施例中只要保证格式符合要求就可以认为是一个有效的配置或答案。在其余实现中，配置文件的格式并不限于JSON，可以是任意机器可识别的格式，包括但不限于XML/YAML/TOML等等，数据格式定义可以不是JSON Schema，可以不需要定义，也可以使用其余格式定义，也可以自定义格式识别规范。

本发明实施例提供的组合型众包题目的处理方法，涉及众包题目的创建过程，该方法包括：获取组合型众包题目的功能组件，功能组件包括标题组件、内容组件、选项组件，功能组件为组件库中预存的组件；获取第一用户对功能组件的配置信息；根据配置信息生成组合型众包题目，组合型众包题目复用部分功能组件。上述方法降低了组合型题目的开发难度，用户可以根据需要对功能组件进行自由拆分和组合，减轻了用户创建组合型题目的工作量，提高了创建组合型题目的开发效率。

在上述实施例的基础上，下面一个实施例示出了在完成组合型题目的创建之后，发题方将创建好的组合型题目发放给一定数量的答题用户，众包平台在接收到答题用户反馈的标注答案之后，众包平台的数据处理过程。下面结合附图5对本实施例提供的组合型题目的处理方法进行详细说明。

图5为本发明实施例提供的组合型众包题目的处理方法的第二流程图。如图5所示，本实施例提供的方法，包括：

步骤201、读取多个第二用户对组合型众包题目的标注记录。

具体的，从组合型众包题目的答案组件中读取多个第二用户对组合型众包题目的标注记录。标注记录包括用户对文本、图片、音频或视频的标注记录。

步骤202、读取组合型众包题目的选项组件和内容组件的类型。

组合型众包题目的选项组件的类型包括单选、多选、填空、区间标注。内容组件的类型包括本文、图片、音频或者视频。

步骤203、根据组合型众包题目的选项组件和内容组件的类型确定对应的数据处理方法，对标注记录进行数据分析。

在本实施例中，不同的选项组件和内容组件的组合可能对应不同的数据处理方法。其中，数据处理方法包括通用化数据处理方法或者特殊化数据处理方法。

通用化数据处理方法是将原问题切分成子问题，将原数据格式转化为一个三维数据，第一维表示不同答题用户，第二维表示切分的子问题，第三维表示每个选项对应的选择，用0或1表示，例如0表示未选择，1表示选择。

针对文本标注的题目，通常可以采用通用化的数据处理方法。在一种示例中，对于文本的实体标注，例如一个长度为10的句子需要标注四个实体，即选项组件的data部分为["A","B","C","D"]，标注用户在界面上面记录该段文字从第一个字符到第五个字符均为实体A，系统接收到的答案组件数据中的data字段为{"begin":0,"end":5,"tag":[[0]]}，该题型切分子问题的策略为每个字符为一个子问题，那么这个题型就变为，对于每一个字符来说属于哪个实体，也就是对于一个长度为10的句子，变为了10个子问题，此处为了简便起见假设这个问题只被回答了1次，系统在数据处理阶段，先从数据库中读取用户的答案，将答案按照子问题的需要变为一个三维数组，第一维表示不同的用户，第二维表示切分的子问题，第三维表示每个选项对应的选择，0/1表示：0表示未选择，1表示选择。例如四个选项就为[1,0,0,0](此处如果是对多个用户来说，可以是选择该选项的置信度，例如四个选项为[0.1,0.5,0.2,0.2])。此处的选项和子问题的切分策略由答案组件的value_index_from和index_from确定，也就是说实际计算过程中的子问题和选项可以由发题用户决定。

通过把数据转化为固定的三维数组，可以很容易地使系统并行化地处理大量数据，对于某些题型的速度优化可以仅对转化好的数据格式进行优化，不需要关心原始的组件类型。所有使用通用化处理的组件只需要定义好子问题和选项即可直接复用通用化的数据处理方法。

需要说明的是，文本标注的题目如对数据处理有特殊要求，也可能采用特殊化的处理方法，对此本实施例不做具体限定。

针对图片标注的题目，可以分为普通标注(根据图片内容进行单选、多选或者填空)和特殊标注(图片打点或者拉框)。普通标注采用通用化的数据处理方法，特殊标注通常可以采用特殊化的数据处理方法，提升数据处理的速度。在一种示例中，对于图片打点标注，以每个图片像素点为子问题，以需要打点的位置为选项组件，也就是如果按照通用化的解决方案，一个500*800的图片，会切分为400000个子问题，而大部分子问题都是没有答案的，因为图片打点的题型只需要对一个点进行判断，此处通用化的方法经过优化也很难高效地处理，此时就可以用特殊化地方法进行，比如对图片打点的题型，选项为["头部","腹部"]，即需要在图片中用一个点标出人物的头部和腹部，答案格式为{"0":[25,23,0],"1":[25,50,0]}，表示头部为坐标[25,23]，腹部为坐标[25,50]，假设已有的正确答案为{"0":[26,22,10],"1":[28,49,10]}，只去判断不同选项标签中两个点的距离，超过距离阈值(例如，10)判定为该点不合格。

针对音频标注和视频标注的题目，可以分为普通标注(根据视频或音频内容进行单选、多选、填空)和区间标注(视频或音频数据的区间选择)。具体来说，普通标注是指答题用户在答题过程中与整个音频或视频的播放组件没有交互，例如听完一段音频，选出一个选项或者写出一段描述语，此时采用通用化的数据处理方法进行数据分析。区间标注是指答题用户需要与音频或者视频的播放组件进行交互，例如选出一段或者几段有人声的音频，或者，选出一段或者几段有人物画面的视频帧。普通标注采用通用化的数据处理方法，区间标注可以采用特殊化的数据处理方法进行数据分析。在一种示例中，预设音频标注的正确答案的区间在(10,20)，用户标注的答案区间在(11,23)，上述两个区间的交并比为9/13＝0.69，若发题方用户设置交并比阈值为0.8，则判断用户答错，若发题方用户设置交并比阈值为0.6，则判定用户答对。

本实施例提供的组合型众包题目的处理方法涉及对标注答案的数据分析过程，通过读取多个第二用户对组合型众包题目的标注记录，读取组合型众包题目的选项组件和内容组件的类型，根据选项组件和内容组件的类型确定对应的数据处理方法，对标注记录进行数据分析，提高了数据处理的效率。

图6为本发明实施例提供的组合型众包题目的处理装置的第一结构示意图。如图6所示，本实施例提供的组合型众包题目的处理装置300，包括：

获取模块301，用于获取组合型众包题目的功能组件，所述功能组件包括标题组件、内容组件、选项组件，所述功能组件为组件库中预存的组件；

所述获取模块301，还用于获取第一用户对所述功能组件的配置信息；

生成模块302，用于根据所述配置信息生成组合型众包题目，所述组合型众包题目复用部分功能组件。

可选的，所述组合型众包题目包括多个不同的标题组件，各所述标题组件对应的内容组件以及多个选项组件，所述多个选项组件的类型相同或不同。

可选的，所述组合型众包题目包括一个标题组件和所述标题组件对应的内容组件，以及多个选项组件，所述多个选项组件的类型相同或者不同。

可选的，所述选项组件的类型包括单选、多选、填空、区间标注。

可选的，所述获取模块301，具体用于：

获取第一用户对所述标题组件的数据内容的配置信息；

获取第一用户对所述内容组件的数据内容的配置信息；

获取第一用户对所述选项组件的数据内容的配置信息以及选项的配置信息。

可选的，所述数据内容的配置信息包括数据内容的链接地址，所述数据内容包括以下至少一项：文本、图片、音频或视频。

可选的，所述数据内容的配置信息还包括所述数据内容的前端交互配置。

可选的，所述选项的配置信息包括最小选择个数、最大选择个数、计算相关参数以及与第二用户交互的参数；所述第二用户为答题用户。

可选的，所述生成模块302，具体用于：

根据所述配置信息推断所述组合型众包题目的答案组件，所述答案组件数量为一个或多个；每一个所述答案组件包括答案组件的答案格式；

根据所述配置信息和所述答案组件生成所述组合型众包题目。

图7为本发明实施例提供的组合型众包题目的处理装置的第二结构示意图，在图6所示实施例的基础上，本实施例提供的处理装置300还包括：判断模块303、数据处理模块304。

在根据所述配置信息推断所述组合型众包题目的答案组件之前，所述判断模块303，用于判断所述配置信息的格式是否与预设格式匹配，若匹配，执行所述根据所述配置信息推断所述组合型众包题目的答案组件。

所述数据处理模块304，用于读取多个第二用户对所述组合型众包题目的标注记录；读取所述组合型众包题目的选项组件和内容组件的类型；根据组合型众包题目的选项组件和内容组件的类型确定对应的数据处理方法，对所述标注记录进行数据分析，所述数据处理方法包括通用化数据处理方法或者特殊化数据处理方法。

本实施例提供的组合型众包题目的处理装置，可以用于执行上述各方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图8为本发明实施例提供的组合型众包题目的处理装置的硬件结构示意图。如图8所示，本实施例提供的组合型众包题目的处理装置400，包括：

存储器401；

处理器402；以及

计算机程序；

其中，计算机程序存储在存储器401中，并被配置为由处理器402执行以实现如前述任一项方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

可选的，存储器401既可以是独立的，也可以跟处理器402集成在一起。

当存储器401是独立于处理器402之外的器件时，组合型众包题目的处理装置400还包括：总线403，用于连接存储器401和处理器402。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器402执行以实现如上方法实施例中组合型众包题目的处理装置400所执行的各个步骤。

应理解，上述处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于处理装置中。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (12)

1.一种组合型众包题目的处理方法，其特征在于，包括：

获取组合型众包题目的功能组件，所述功能组件包括标题组件、内容组件、选项组件，所述功能组件为组件库中预存的组件；

获取第一用户对所述功能组件的配置信息；所述配置信息包括数据内容的链接地址和对所述数据内容的标注类型；

根据所述配置信息生成组合型众包题目，所述组合型众包题目复用部分功能组件；

所述根据所述配置信息生成所述组合型众包题目，包括：

判断所述配置信息的格式是否与预设格式匹配，若匹配，执行根据所述配置信息推断所述组合型众包题目的答案组件，所述答案组件数量为一个或多个，每一个所述答案组件包括答案组件的答案格式；

根据所述配置信息和所述答案组件生成所述组合型众包题目。

2.根据权利要求1所述的方法，其特征在于，所述组合型众包题目包括多个不同的标题组件，各所述标题组件对应的内容组件以及多个选项组件，所述多个选项组件的类型相同或不同。

3.根据权利要求1所述的方法，其特征在于，所述组合型众包题目包括一个标题组件和所述标题组件对应的内容组件，以及多个选项组件，所述多个选项组件的类型相同或者不同。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述选项组件的类型包括单选、多选、填空、区间标注。

5.根据权利要求1所述的方法，其特征在于，所述获取第一用户对所述功能组件的配置信息，包括：

获取第一用户对所述标题组件的数据内容的配置信息；

获取第一用户对所述内容组件的数据内容的配置信息；

获取第一用户对所述选项组件的数据内容的配置信息以及选项的配置信息。

6.根据权利要求5所述的方法，其特征在于，所述数据内容包括以下至少一项：文本、图片、音频或视频。

7.根据权利要求6所述的方法，其特征在于，所述数据内容的配置信息还包括所述数据内容的前端交互配置。

8.根据权利要求5所述的方法，其特征在于，所述选项的配置信息包括最小选择个数、最大选择个数、计算相关参数以及与第二用户交互的参数；所述第二用户为答题用户。

9.根据权利要求1所述的方法，其特征在于，还包括：

读取多个第二用户对所述组合型众包题目的标注记录；

读取所述组合型众包题目的选项组件和内容组件的类型；

根据所述组合型众包题目的选项组件和内容组件的类型确定对应的数据处理方法，对所述标注记录进行数据分析，所述数据处理方法包括通用化数据处理方法或者特殊化数据处理方法。

10.一种众包题目的处理装置，其特征在于，包括：

获取模块，用于获取组合型众包题目的功能组件，所述功能组件包括标题组件、内容组件、选项组件，所述功能组件为组件库中预存的组件；

所述获取模块，还用于获取第一用户对所述功能组件的配置信息；所述配置信息包括数据内容的链接地址和对所述数据内容的标注类型；

生成模块，用于根据所述配置信息生成组合型众包题目，所述组合型众包题目复用部分功能组件；

所述生成模块，具体用于根据所述配置信息推断所述组合型众包题目的答案组件，所述答案组件数量为一个或多个，每一个所述答案组件包括答案组件的答案格式；

根据所述配置信息和所述答案组件生成所述组合型众包题目；

在根据所述配置信息推断所述组合型众包题目的答案组件之前，判断模块，用于判断所述配置信息的格式是否与预设格式匹配，若匹配，执行所述根据所述配置信息推断所述组合型众包题目的答案组件。

11.一种众包题目的处理装置，其特征在于，包括：

存储器；

处理器；以及

计算机程序；

其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-9任一项所述的方法。