CN1971603A - 从群体协作中聚集意见子集的系统和方法 - Google Patents

从群体协作中聚集意见子集的系统和方法 Download PDF

Info

Publication number
CN1971603A
CN1971603A CNA2006101366345A CN200610136634A CN1971603A CN 1971603 A CN1971603 A CN 1971603A CN A2006101366345 A CNA2006101366345 A CN A2006101366345A CN 200610136634 A CN200610136634 A CN 200610136634A CN 1971603 A CN1971603 A CN 1971603A
Authority
CN
China
Prior art keywords
participant
classification
suggestion
idea
handling system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2006101366345A
Other languages
English (en)
Inventor
维韦克·塞克哈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1971603A publication Critical patent/CN1971603A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q2230/00—Voting or election arrangements

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了用于从群体协作收集意见的系统、方法和工具。在实施例中，可要求每个参与者回答问题的小子集，其中向参与者显示的每个问题子集可不同于向另一参与者展示的问题子集。可使用数据处理系统实现方法、基于哪些问题需要更大的意见样本而准备每个待询问的问题子集，并聚集意见子集以推断出群体的聚集意见。这可显著地降低或消除使参与者承担表达关于可能在群体协作中收集到的大量问题的每一个的意见的繁重任务。

Description

从群体协作中聚集意见子集的系统和方法
版权声明
此专利文档的公开的一部分包含受版权保护的材料。版权拥有者不反对该专利文档或专利公开的传真复制，只要其出现在专利和商标局的专利文件或记录中，但对其他情况均保留所有版权。
技术领域
本发明涉及用于收集意见的系统、方法和工具，尤其是从群体协作(groupcollaboration)收集意见的系统、方法和工具。
背景技术
技术辅助群体协作现在很普通：许多类型的工具已被创建来支持并扩展在地理上分散的参与者之间完成的事物的范围。这些工具中的一些允许收集来自一大群人的意见，经常使用将一系列问题展现给参与者的在线投票方式。此技术可根据投票参与者的数量而调整，但不必根据问题的数量、或每个参与者表达他们的意见所必需的时间的长度而调整。经常地，对投票中能询问的问题的多少和种类可能有严格限制。以此方式可能不实用的投票的例子可以是：向公众成员询问他们关于多个想法的意见，以实现再循环的新程序。可能存在数十、数百、或许数千个想法。在这样的情况下，不可能合理地希望回答者表达对每一个想法的意见。
所需要的是更有效率地收集来自一大群参与者的意见。
发明内容
本发明涉及用于从群体协作中聚集意见的子集的系统、方法和工具。
在一个实施例中，可要求每个参与者回答问题的小子集，其中向参与者显示的每个问题子集可不同于向另一参与者展示的问题子集。可使用数据处理系统实现方法、基于哪些问题需要更大的意见样本而准备每个待询问的问题子集，并聚集意见子集以推断出群体的聚集意见。这可显著地降低或消除使参与者承担表达关于可能在群体协作中收集到的大量问题的每一个的意见的繁重任务。
在本发明的一个方面中，提供了一种数据处理系统实现方法，用于从多个参与者聚集关于多个问题的意见，该方法包括：向每个参与者提供问题，并对每个问题从参与者请求可被表达为数值的意见；对每个问题，聚集从参与者收到的意见，并计算代表参与者的聚集意见的平均值；对每个问题，根据收到意见的数值的分布，计算聚集意见中的置信度大小；对后续参与者，提供根据计算出的聚集意见中的置信度大小而选择的问题。
在一个实施例中，该方法还包括：根据对问题计算出的置信度大小而对问题进行分级，并从已分级的问题中选择要展示给后续参与者的问题，优选具有较低置信度值的问题。
在另一实施例中，该方法还包括：假定多个问题具有相同的置信度大小，则在这些多个问题中随机选择用于向后续参与者展示的问题。
在另一实施例中，每个问题的置信度大小是根据收到意见的数值的分布而计算出的置信区间。
在另一实施例中，该方法还包括：基于问题的聚集意见对所述问题进行分级；在问题的已分级列表中选择关注的区域；以及从关注区域选择要向后续参与者展示的问题，优选具有较宽置信区间的问题。
在再一实施例中，该方法还包括向后续参与者展示问题，直到关注区域中的问题的置信区间已达到期望置信区间为止。
在另一实施例中，该方法还包括：提供多个预定分类，并从每个参与者请求问题属于哪个分类的意见；对每个问题，对选择预定分类中的每个分类的参与者的数量进行制表，并计算每个分类的投票百分比。
在再一实施例中，该方法还包括：对每个问题，基于计算出的投票百分比选择获胜分类，并根据获胜分类中所计算的投票百分比对问题进行分级。
在另一实施例中，该方法还包括优先选择获胜分类中具有最低投票百分比的问题，用于向后续参与者展示。
在本发明的另一方面中，提供一种数据处理系统，用于从多个参与者聚集关于多个问题的意见，该系统包括：用于向每个参与者提供问题、并对每个问题从参与者请求可被表达为数值的意见的装置；用于对每个问题聚集从参与者收到的意见、并计算代表参与者的聚集意见的平均值的装置；用于对每个问题、根据收到的对该问题的意见的数值分布而计算聚集意见中的置信度大小的装置；用于对后续参与者提供根据计算出的聚集意见中的置信度大小而选择的问题的装置。
在一个实施例中，该系统还包括：用于根据对问题计算出的置信度大小而对问题进行分级、并从已分级的问题中选择要展示给后续参与者的问题、优选具有较低置信度值的问题的装置。
在另一实施例中，该系统还包括用于从多个具有相同置信度大小的问题中随机选择用于向后续参与者展示的问题的装置。
在另一实施例中，每个问题的置信度大小是根据收到意见的数值的分布而计算出的置信区间。
在另一实施例中，该系统还包括：用于基于问题的聚集意见而对所述问题进行分级的装置；用于在问题的已分级列表中选择关注的区域的装置；以及用于从关注区域选择要向后续参与者展示的问题、优选具有较宽置信区间的问题的装置。
在再一实施例中，该系统还包括用于向后续参与者展示问题、直到关注区域中的问题的置信区间已达到期望置信区间为止的装置。
在一个实施例中，该系统还包括：用于提供多个预定分类、并从每个参与者请求问题属于哪个分类的意见的装置；以及用于对每个问题、对选择预定分类中的每个分类的参与者的数量进行制表、并计算每个分类的投票百分比的装置。
在一个实施例中，该系统还包括：用于对每个问题、基于计算出的投票百分比而选择获胜分类、并根据获胜分类中所计算的投票百分比而对问题进行分级的装置。
在一个实施例中，该系统还包括用于优先选择获胜分类中具有最低投票百分比的问题以便向后续参与者展示的装置。
在本发明的另一方面中，提供了一种数据处理器可读介质，用于存储当被加载进数据处理设备时使得该设备适用于从多个参与者聚集关于多个问题的意见的数据处理器代码，该数据处理器可读介质包括：用于向每个参与者提供问题、并对每个问题从参与者请求可被表达为数值的意见的代码；用于对每个问题聚集从参与者收到的意见、并计算代表参与者的聚集意见的平均值的代码；用于对每个问题、根据收到的对该问题的意见的数值分布而计算聚集意见中的置信度大小的代码；用于对后续参与者提供根据计算出的聚集意见中的置信度大小而选择的问题的代码。
在一个实施例中，该数据处理器可读介质还包括：用于根据对问题计算出的置信度大小而对问题进行分级、并从已分级的问题中选择要展示给后续参与者的问题、优选具有较低置信度值的问题的代码。
在另一实施例中，该数据处理器可读介质还包括用于从多个具有相同置信度大小的问题中随机选择用于向后续参与者展示的问题的代码。
在另一实施例中，每个问题的置信度大小是根据收到意见的数值的分布而计算出的置信区间。
在另一实施例中，该数据处理器可读介质还包括：用于基于问题的聚集意见而对所述问题进行分级的代码；用于在问题的已分级列表中选择关注的区域的代码；以及用于从关注区域选择要向后续参与者展示的问题、优选具有较宽置信区间的问题的代码。
在再一实施例中，该数据处理器可读介质还包括用于向后续参与者展示问题、直到关注区域中的问题的置信区间已达到期望置信区间为止的代码。
在一个实施例中，该数据处理器可读介质还包括：用于提供多个预定分类、并从每个参与者请求问题属于哪个分类的意见的代码；以及用于对每个问题、对选择预定分类中的每个分类的参与者的数量进行制表、并计算每个分类的投票百分比的代码。
在一个实施例中，该数据处理器可读介质还包括：用于对每个问题、基于计算出的投票百分比而选择获胜分类、并根据获胜分类中所计算的投票百分比而对问题进行分级的代码。
在一个实施例中，该数据处理器可读介质还包括用于优先选择获胜分类中具有最低投票百分比的问题以便向后续参与者展示的代码。
根据下面示例实施的更具体的说明，本发明的这些和其他方面将变得清楚。
附图说明
在示出本发明的示例实施例的图中：
图1示出可提供合适的操作环境的一般数据处理系统。
图2A和2B示出政策发展的示例性框架。
图3A和3B示出想法树的示例性示意图。
图3C示出用于图3A和3B的想法树的示例性数据大纲(schema)。
图4A示出集体讨论聊天工具的示例性屏幕截图。
图4B示出分类器工具的示例性屏幕截图。
图4C示出协作文档编辑工具的示例性屏幕截图。
图4D示出实时协作文档编辑工具的示例性屏幕截图。
图4E示出文档评论工具的示例性屏幕截图。
图4F示出分级(ranking)工具的示例性屏幕截图。
图4G示出解决方案矩阵工具的示例性屏幕截图。
图5示出用于工具的示例性IT体系的示意框图。
图6示出图5的IT体系的一些组件之间的示例性通信流的示意框图。
图7A示出想法的示例性初始分级和相关置信区间。
图7B示出在参与者已经贡献关于一些想法的意见之后，想法的示例性分级和相关置信区间。
图7C示出7B中分级的想法的示例性分类。
具体实施方式
本发明涉及用于从群体协作中聚集意见的子集的系统、方法和工具。
可在各种实施例中实践本发明。可提供适当配置的数据处理系统、以及相关通信网络、设备、软件和固件，以提供用于使能这些系统、方法和工具中的一个或多个的平台。通过示例的方式，图1示出一般数据处理系统100，其可包括连接到存储单元104并连接到随机存取存储器106的中央处理单元(“CPU”)102。CPU102可处理操作系统101、应用程序103、以及数据123。可将操作系统101、应用程序103以及数据123存储在存储单元104中，并按可能的需要而将其加载进存储器106。操作员107可使用由视频接口105连接的视频显示器108、以及由I/O接口109连接的各种输入/输出设备(如键盘110、鼠标112、以及盘驱动器114)而与数据处理系统100互动。以已知方式，可将鼠标112配置为控制视频显示器108上的光标的移动，并使用鼠标按键来操作视频显示器108上显现的各种图形用户界面(“GUI”)控件。可将盘驱动器114配置为接受数据处理系统可读介质116。数据处理系统100可经由网络接口111而形成网络的一部分，这允许数据处理系统100与其他适当配置的数据处理系统(未示出)通信。在此说明书中通过示例方式示出的具体配置并不意味着是限制。
本发明可利于从多个不同类型的群体协作计划聚集意见的子集。通过示例的方式，一个这样的群体协作计划可包括公共政策制订程序中的公民约定。在图2A中，示出典型的政策制订框架，代表从原始想法到长期实现的时间线。在此框架中，时间线被划分为四个象限，其中，上面两个象限代表公民主导(citizen-led)的行为，而下面两个象限代表政府主导的行为。左侧的象限代表立法前事件，而右侧象限代表立法后事件。在此政策制订框架内，公民可提出、争论和质询一项政策，并且，取决于提议(input)和反馈，政府可通过立法程序决定是否实现该政策。
如图2B所示，在框架的下半部分，政府领导的动议职能(initiative)，如市政厅会议、公民集会和公民评判委员会可为来自公民的提议提供论坛。然而，这些公民评判委员会和市政厅会议可能倾向于向公民参与者提供仅仅有限的机会。他们可能不允许政府利用投票人口的更具代表性的样本人群提出的提议和意见的全部范围。给定可产生结果的意见的可能规模和范围，则此示例性应用展示了对本发明教导的解决方案的需要。
现在在可能实践本发明的示例性环境的情况下解释本发明，但是此示例性环境不意味着是限制。更一般地，可在由发明人提出的、用于有助于一大群人之中的协作的解决方案的情况下实践本发明，对此，已作为美国专利申请序列号＿＿(事务所卷号CA9-2005-0062)提交了共同未决申请。
有助于大规模群体协作的解决方案可包括：(i)一种系统和数据结构，其考虑了以多种形式和格式提出的想法的灵活存储、检索和处理；以及(ii)协作工具包，其使得系统和数据结构的多种变换的灵活应用成为可能。
由发明人开发并预想的协作工具包提供在集体讨论(brainstorm)、研讨、以及将参与者的贡献汇编成结构化且有意义的输出的过程中，辅助参与者和仲裁者的一组工具。如下面将进一步更详细说明的，协作工具包的值得注意的特征是：可将工具同时应用于数据结构的不同部分。还可对工具分级，以便用于任何顺序的数据结构，这允许创建灵活的、用户化的工作流，以对任何类型的协作过程进行虚拟建模。可将任务分为可管理的部分，并可将来自多个参与者的贡献集成为统一整体。为使得此灵活性成为可能，应该通过可扩展的、灵活结构化的、并且对错误有恢复能力的数据结构来使用协作工具包。给定此标准，发明人优选的数据结构是能够存储各类数据项目的分级数据结构，并且更优选地是改进树数据结构，在此其被称为“想法树”，并如下所述。
想法树
发明人选择了如图3A所示的树状数据结构，其适用于促进如上面提出的公共政策发展示例那样的大规模协作。
如图3A所示，每个“想法树”300A从被称为根节点的单节点302开始。使用协作工具包中的其中一个工具，可通过创建并添加与根节点302相连的适当的子节点304、306、308，将相关想法或子想法添加到想法树中。同级(sibling)节点304、306、308中的每一个可以是具有它们自己的子节点的父节点(例如，父节点304具有子节点310、312、314；父节点306具有子节点316、318；父节点308具有子节点320、322)。想法树中的每个节点实质上可具有无限多个代表子思想、或涉及父节点中表达的想法的评论的子节点。如图3A所示，想法树的子树本身可以是完整的想法树。这种结构自相似性可允许对于潜在非常广的话题的大规模协作，并可允许被同时用于想法树的不同部分的多个协作工具。这一点在图3A中得到示例，其中显示了作用于想法树300A的不同部分的三个工具--“工具A”、“工具B”和“工具C”。这些工具中的每一个被逻辑链接到特定节点，并可作用于包括该链接节点及其子节点的“工作空间”。
如图3B所示，与想法树300B的每个节点相关联的数据存储装置可存储不同形式的结构化数据。例如，与想法树300B的每个节点相关联的数据存储装置可包括具有多个记录的表或数据库，用于容纳与特定节点相关的不同类型的数据或信息。可将每个表配置为在其记录中存储各类数据项目，诸如文本、声音、画面，以及多种与想法树300B的内容或结构相关的信息(例如，以视频剪辑、文本或声音记录的形式揭示的所提出的想法的评论或响应；响应于对想法评级的提示而收集的评级的结果；对父节点和子节点的分级参考等等)。
想法树300B的数据结构可提供相当大的灵活性，允许每个协作工具存储并检索该工具所需的数据或信息的仅仅特定片段，而忽略其余部分。例如，可将具有包括节点304、310、312和314的工作空间的工具A配置为仅仅处理文本数据，在此情况下，工具A可检索并使用节点304、310和314中的仅仅文本数据。工具A可忽略节点304、310、312、314中的声音数据或画面数据。作为另一示例，工具B可能是具有包括节点318的工作空间的幻灯片显示工具，其处理从节点318检索到的图像。作为再一个例子，如果正在多个节点使用此幻灯片显示工具，该幻灯片显示工具可使用与多个节点中存储的图像数据相关的分级信息，来以分级的顺序创建图像的幻灯片显示。下面进一步提供可在想法树上使用的工具的更多示例。
为提供数据弹性，想法树300A、300B可通过执行一个或多个逆变换操作(例如，通过将错误放置的想法移动到树中先前的节点上)、或通过允许想法树回复到先前存储的状态，而允许撤消在树上执行的任何变换操作。
可使用许多不同应用开发工具和语言中的一个来实现想法树。例如，在基于因特网的应用开发环境下，可使用可扩展标记语言(“XML”)来定义想法树。由于其固有的分级特性，发明人发现XML较好地适用于定义想法树。
在示例性示例中，想法树的每个节点可具有多个已定义的要素，包括简称(Short Name)、数据列表、以及子节点(Children)，如表A在下面所列出的。
要素 描述
简称 节点的文本描述
数据列表 节点中数据项目的集合
子节点 连接到此节点的子节点的列表
表A
同样，每个节点上存储的数据项目(DataItem)可包括信息的多个片段，如表B在下面所示的。
信息 描述
ID 唯一地标识节点中的信息片段的简称
描述 信息片段的较长的、人类可读的标识符
类型 数据项目的数据类型(字符串、整数、分级等)
数据 用于数据项目的数据
来源 创建此数据的工具
表B
图3E中示出示例性XML大纲的图形表示，并且，下面给出此XML大纲的相应语言版本。
<？xml version＝″1.0″encoding＝″UTF-8″？>
<xs:schema xmlns:xs＝″http://www.w3.org/2001/XMLSchema″elementFormDefault＝″qualified″
attributeFormDefault＝″unqualified″>
     <xs:element name＝″Project″>
         <xs:annotation>
             <xs:documentation>An alltogether Toolkit Project-Stores the entire ldea
             Tree</xs:documentation>
         </xs:annotation>
         <xs:complexType>
<xs:sequence>
  <xs:element name＝″Node″>
      <xs:annotation>
          <xs:documentation>A single node in the idea tree.</xs:documentation>
      </xs:annotation>
      <xs:complexType>
          <xs:sequence>
              <xs:element name＝″ShortName″nillable＝″false″>
                  <xs:annotation>
                      <xs:documentation>A short text description of the data within this
                      node.</xs:documentation>
                  </xs:annotation>
                  <xs:slmpleType>
                      <xs:restriction base＝″xs:string″>
                          <xs:mlnLength value＝″1″/>
                      </xs:restriction>
                  </xs:simpleType>
              </xs:element>
              <xs:element name＝″DataList″>
                  <xs:annotation>
                      <xs:documentation>A list of all data within this node.
                      </xs:documentation>
                  </xs:annotation>
                  <xs:complexType>
                      <xs:sequence>
                          <xs:element name＝″Dataltem″minOccurs＝″0″
                          maxOccurs＝″unbounded″>
                             <xs:annotation>
                                 <xs:documentation>A single piece of data within the
                                 node.</xs:documentation>
                             </xs:annotation>
                             <xs:complexType>
                                 <xs:sequence>
                                     <xs:element name＝″ID″nillable＝″false″>
                                         <xs:annotation>
                                             <xs:documentation>A short textual id of
                                        the node.This field must be unique
                                   within a DataList.</xs:documentation>
                                        </xs:annotation>
                                        <xs:simpleType>
                                            <xs:restriction base＝″xs:token″>
                                                <xs:minLength value＝″1″/>
                                            </xs:restriction>
                                        </xs:simpleType>
                                   </xs:element>
                                   <xs:element name＝″Description″nillable＝″false″>
                                       <xs:annotation>
                                           <xs:documentation>A human-
                                           understandable description
                                           of the data stored in the
                                           Dataltem.</xs:documentation>
                                      </xs:annotation>
                                      <xs:simpleType>
                                          <xs:restriction base＝″xs:string″>
                                              <xs:minLength value＝″1″/>
                                          </xs:restriction>
                                      </xs:slmpleType>
                                  </xs:element>
                                  <xs:element name＝″Type″>
                                      <xs:annotation>
                                          <xs:documentation>The type of data
                                          stored in this Dataltem.(E.g.String，
                                          Rank，Number)</xs:documentation>
                                      </xs:annotation>
                                      <xs:simpleType>
                                          <xs:restriction base＝″xs:token″>
                                              <xs:minLength value＝″1″/>
                                          </xs:restriction>
                                      </xs:simpleType>
                                  </xs:element>
                                  <xs:element name＝″Data″nillable＝″false″>
                                      <xs:annotation>
                                          <xs:documentation>The actual
                                          data.</xs:documentation>
                                      </xs:annotation>
                                      <xs:simpleType>
                                          <xs:restriction base＝″xs:string″>
                                              <xs:minLength value＝″1″/>
                                          </xs:restriction>
                                      </xs:simpleType>
                                 </xs:element>
                                 <xs:element name＝″From″>
                                     <xs:annotation>
                                         <xs:documentation>Which tool this data
                                         came from.</xs:documentation>
                                     </xs:annotation>
                                     <xs:simpleType>
                                         <xs:restriction base＝″xs:string″>
                                             <xs:minLength value＝″1″/>
                                         </xs:restriction>
                                     </xs:simpleType>
                                 </xs:element>
                             </xs:sequence>
                        </xs:complexType>
                   </xs:element>
              </xs:sequence>
          </xs:complexType>
      </xs:element>
      <xs:element name＝″Children″>
          <xs:annotation>
                       <xs:documentation>A list of all children of this
                       node.</xs:documentation>
                   </xs:annotation>
                   <xs:complexType>
                       <xs:sequence>
                           <xs:element ref＝″Node″minOccurs＝″0″
                           maxOccurs＝″unbounded″/>
                       </xs:sequence>
                                  </xs:complexType>
                              </xs:element>
                          </xs:sequence>
                      </xs:complexType>
                  </xs:element>
              </xs:sequence>
         </xs:complexType>
     </xs:element>
     <xs:element name＝″Node″/>
 </xs:schema>
尽管上面的示例性XML大纲可适用于许多不同类型的应用，但将意识到的是，可按需要的那样来采用XML大纲(例如，允许其他要素或信息描述符)。
协作工具包
前面提供了可用于在想法树上操作的工具的简要示例。现在提供工具的其他示例。
一般而言，协作工具包可包括参与者协作工具和仲裁者工具。在一个实施例中，为保持对想法树成长的期望程度的控制，可使得参与者使用协作工具中的一个提出的对想法树的添加和修改排成队列，并且仅仅在适当确定的时间、作为想法树上的变换而由仲裁者采用。另一方面，仲裁者工具可允许改变立即生效。
在基于因特网的实现中，可由仲裁者设置协作工具，并使得其在计划(project)的网站上可用。下面进一步说明示例性信息技术(IT)体系。参与者可进入网站，并使用一个或多个可用工具来参与群体协作计划。现在说明一些协作工具的示例：
(a)集体讨论聊天工具
在图4A中示出示例性“集体讨论聊天”工具界面的示例屏幕截图400A。在401A处图形表示了可由此集体讨论聊天工具实现的想法树的相应变换。此集体讨论聊天工具可通过鼓励参与者提交关于正讨论的问题或议题的新想法而有助于集体讨论会话。
当集体讨论聊天会话开始时，可将相应的集体讨论聊天工具逻辑链接到想法树中最能代表集体讨论的期望范围的适当节点上。该工具链接到的节点语义上可形成讨论/集体讨论的“话题”或“种子”。除提交对其他人提出的想法的评论之外，参与者还能提交他们自己的新想法。可将这些新想法作为集体讨论聊天工具逻辑链接的节点的子节点而添加到想法树。此集体讨论聊天工具可允许一个群体集体讨论问题的解决方案、提出新的动议、或建议改变。由此使用参与者的贡献来构建想法树，并使其变为想法树中信息的集体存储的一部分。如将意识到的，在许多参与者添加了他们的贡献后，围绕想法所表达的意见的数量可能较大，或许达到几百、或甚至几千的量级。
在一个实施例中，每个参与者可通过支持一个想法(例如，通过点击与该想法相关的按钮)而提升它。可对为一想法接收的置信度的投票的数量计数，使得该想法的提交人能看到该想法被其他参与者接受的程度。下面进一步详细讨论想法的分级。
根据作为示例性示例的实施例，可将此集体讨论聊天工具配置为使用IRC或其他即时消息协议的基于网络的在线聊天界面。还可将集体讨论聊天工具扩展到用于移动设备，如SMS的界面。这可允许用于参与者的许多不同的接入点。例如，可在数天或数周期间保持集体讨论会话或事件，并且可经由广告牌、印刷媒体、无线电或电视，提醒公众通过向某一地址发送电子邮件、或向某一电话号码发送文本消息，提交他们解决问题的建议。然后服务器可将所接收的想法添加到网站上的想法树。
(b)分类器工具
图4B示出示例性分类器工具界面的示例屏幕截图400B。在401B处示出由分类器工具采用的想法树的相应变换。如所示，分类器工具可具有改变想法树的结构的效果。
想法可能以所有形式出现，并且可能覆盖话题内的宽范围的议题。自由形式的公众集体讨论会话，如可使用上述集体讨论聊天工具促进的会话，可能导致或许数百个或数千个想法。如前面提到的，发明人提出一种解决方案，通过其每个参与者被请求提供关于仅仅一部分已提出问题的意见，这些问题涉及参与者具有的、关于他们自己或其他参与者产生的想法中的一些的意见。(下面将参考图7C进一步更详细地说明分类操作的示例性示例)。
此分类器工具可允许一群参与者对将想法的大集合分类的任务作出贡献。可向每个参与者显示相对少的想法，并请求他们基于他们对想法如何相关的观点而将想法放置到分类中。可将优选的参与者分类制表成选票，并且基于统计模型，可在进行分类操作时向参与者展示其它想法。然后可聚集来自参与者的提议，使得分类的全部结果统计性地代表整个群体。如果参与者觉得预定义的分类都不合适，则参与者还可提交新分类，用于由仲裁者审查，并且可能包括进去。
仲裁者可通过选择待分类的想法、并提供可能分类的初始列表，设置此分类器工具的操作。根据由群体的分类选择统计确定的、他们的全部分类优选，分类器工具可创建驻有分类的新节点，并可在这些分类节点下移动想法。
与上述集体讨论聊天工具相似，可将分类器工具逻辑链接到特定节点。在此情况下，可将分类作为子节点插入链接节点，并且任何正被分类的节点在他们被群体分类时，可作为子节点而在分类节点下移动。
(c)协作文档编辑工具
图4C中示出协作文档编辑工具的示例屏幕截图400C。在401C处示出由此工具施加给想法树的相应变换。可使用此协作文档编辑工具访问和搜索文档，并提交已提出的改变和编辑。
在一个实施例中，尽管可立即使得所提出的改变和编辑可用于观看，但是由于可能需要维持想法树的组织，所以仲裁员可调节所提出的改变和编辑。因为此协作文档编辑工具可允许人们在想法树的不同部分进行异步操作，所以其具有较高的可调整性，并允许大量的参与者同时对想法树作出贡献。仅有的实践限制可能是：仲裁者审查并在期望时批准所提出的编辑和改变的容量，但是，如果容量如此要求的话，则在此情况下可使用多个仲裁者。
与协作工具包中的其他工具一样，可将协作文档编辑工具逻辑链接到特定节点及其子节点上，并且，仅仅访问在想法树的所选部分中存储的、关于相关协作文档编辑工具的数据。可将协作文档编辑工具配置为在仲裁者接受参与者给出的评论时，创建或修改在每个节点中存储的适当的文本条目(entry)。
在示例性的、基于因特网的XML大纲示例中，根据实施例，可使用备注型(memo-type)数据项目来将自由形式的文本存储在每个节点中。在一个实施例中，可将每个节点配置为包括适当地描述其语义内容所必需的信息。然后，工具可从每个节点汇聚该文本，以产生文档。如果集体分级与每个文本条目相关，则可在产生的文档中按分级后的次序显示该文本。
可由参与者编辑该文档，接着将改变转变为想法树的变换。例如，改变文本的段落将修改适当节点中的备注文本数据项目条目。同样，对文本的重新排序会更新节点的相对分级。
通过如想法树指定的那样，根据其根本的语义结构而自动分割文档，此协作文档编辑工具允许多用户处理文档。
(d)实时协作文档编辑工具
图4D中示出“实时”文档工具的示例屏幕截图400D。在401D处示出由该“实时”文档工具向想法树施加的相应变换。此实时协作文档编辑工具是协作文档编辑工具的替代工具，并且可给予参与者实时地一起工作和协调其他人对文档的贡献的能力。参与者能编辑从想法树提取的预先存在的文件，或仅仅从文档概要开始，以建立新文档。可对每个参与者追踪文档的改变，并可使得聊天室可用，允许仲裁者和参与者实时协调他们的操作。
与协作文档编辑工具一样，仲裁者可通过导航想法树而导出讨论的概要。文档的每个段落或小节可与一个想法相关联，并存在为树上的节点。可输入对文档进行的改变，作为对适当节点中的表的适当记录的编辑。
因为该工具允许参与者在特定文档上实时操作，所以其可被更有效地用在想法树的较小部分上，并且更大的协作可被协作文档编辑工具更好地处理。
(e)文档评论工具
图4E中示出文档评论工具的示例屏幕截图400E。在401E处示出可由此工具施加于想法树的相应变换。此文档评论工具可允许参与者对由上述文档工具中的一个创建的、或从其他源引入的文档进行评论。如401E所示，例如，可将这些评论作为子节点添加到父节点中存在的各个想法。
可将此文档评论工具配置为选择整个想法树，或选择其中已使用前述文档工具中的一个创建文档的特定子树。与想法树的每个节点相关联的表可包括文本条目，其可按需要被汇编来显示文档。当参与者使用此文档评论工具将评论添加到段落时，可在此段落所属的节点下创建新的子节点，然后，可将该评论输入该新子节点中的表的记录中。
如下面将进一步解释的，其他参与者可具有对使用文档评论工具添加的评论进行分级的选项。例如，可将此分级信息存储为包括该评论的节点的表中的条目。以此方式，例如，仲裁员可基于所有参与者的分级，被引导来处理最流行的评论。
再一次，参与者或仲裁者可将文档评论工具逻辑链接到特定节点，并将他们的反馈指向文档的特定小节。如401E所示，这些评论节点可以是一般意义的节点，并且可变为另一集体讨论的种子。还可由分级或分类工具处理评论，或可将评论汇编成可随后被再次评论的新文档，从而创建迭代程序。
(f)分级工具
图4F示出可被用于对想法树中的想法进行分级的分级工具的示例屏幕截图400F。在401F处示出由此工具施加于想法树的相应变换。如下面进一步说明的，此分级工具可对从一大群参与者搜寻关于多个想法的意见是非常有用的。
通过示例方式，可要求参与者按数值刻度、或仅仅通过同意或不同意指示来对想法评级。分级工具可作为输入使用想法树上的同级节点的集合。在同级节点中，例如，分级工具可对每个同级节点的相对分级进行制表。此相对分级信息可与同级节点中的唯一分级ID相关联，从而可对相对分级进行比较。在对想法树结构的改变导致节点不再是同级的事件中，还可使用分级ID来重新组成节点的分级(即，即使节点不再是同级，也可使用分级操作的结果相互比较已分级的节点)。
在一个实施例中，参与者可协作创建一组想法或建议的分级。分级工具(ranking tool)可采用想法树上的节点的集合作为输入。一种指定此节点的集合的方法是：将分级工具链接到共同父节点，其子节点形成输入集。然后可向每个参与者展示同级节点中包含的想法，并要求其表达意见(例如，“这是问题的好的解决方案吗？”、“你想购买此产品吗？”、或“这个日期方便你参加会议吗？”)。然后参与者可尽可能多地就他们可能关注的想法表达意见，同时系统聚集所有参与者的贡献，以创建想法的集体分级。(下面将参考图7A和7B进一步更详细地说明分级操作的示例性示例。)
然后可将分级存储为所包括的所有节点的数据表中的双链接列表。本领域技术人员将意识到，在双链接列表中，已排序的列表中的每个元素包括指向下一元素的指针、以及指向前一元素的指针。通过在两个方向上遍历这些指针，直到链的末端，可在以后重构在其上执行分级的节点集。通过适当更新双链接列表，分级还可幸免于节点删除(即，更新与删除的节点相邻的节点中的指针，以反映该删除)。这有效地从列表中移除特定节点，但保留所有其他节点的相对排序。还将意识到的是，因为每次分级操作仅仅将分级条目添加到节点的数据表，所以节点可参与多次分级。例如，一个人可能想知道节点A、B和C相对于彼此如何分级，然后想知道节点B、D和E相对于彼此如何分级。在此情况下，节点B可具有两个分级条目，每个都具有分级ID和两个指针，其形成定义节点集(在其上进行了特定分级)的双链接列表的一部分。
(g)解决方案矩阵工具
图4G示出解决方案矩阵工具的示例屏幕截图400G。在401G处示出由此工具施加于想法树的相应变换。
此解决方案矩阵工具可通过提供一组标准和多个可满足此标准的建议解决方案，辅助进行决定的任务。具体解决方案(在行中列出)与标准(在列中列出)之间的相交点是参与者可提供关于具体解决方案是否满足了特定标准的位置。
在参与者输入他们自己对这些问题的答案时，他们能够看到它们(例如，由复选标记或x标记显示)。然而，可使用解决方案矩阵工具来对集体结果进行制表，以看出有多少参与者觉得具体解决方案遵守特定标准。可由仲裁者删除那些不符合一组标准的想法，并可使用解决方案矩阵工具来突出显示优选解决方案。
解决方案矩阵工具可采用与分级工具相似的想法树的变换。例如，仲裁者可选择待评级的节点，并输入参与者应根据其进行他们的决定的标准。仲裁者还可向用于计算最终分级的每个标准赋予数值权值。对每个节点，解决方案矩阵工具可存储聚集分级、以及该想法在每个分类中是如何做的。
仲裁者工具
除了上述参与者协作工具外，还可提供特定的仲裁者工具。例如，拼写检查工具可允许仲裁者检查选择的节点(例如，一个节点及其所有相关子节点)中的文本的拼写。拼写检查工具可显示拼写错误、建议校正、并接收指令以校正或忽略。拼写检查工具可在仲裁者完成拼写检查任务后结束，并使用校正后的文本更新该想法树。
还可向仲裁者提供树编辑器工具，以控制想法树的生长。例如，仲裁者可希望通过去除过期的、或与讨论无关的想法的分枝，周期性地修剪想法树。树编辑器工具还可允许仲裁者察看想法树、移动或删除节点、以及保存想法树的修改版本。通过回溯每一步骤、或通过回复到先前存储的想法树版本，可撤消所有这些编辑动作。
还可向仲裁者提供管理工具，其可被用于保持追踪活跃性摘要(activitysummary)、参与者列表、以及访问控制列表。这些管理工具可提供查询活跃性摘要以检查各个参与者的活跃性的能力(例如，确定应该给予谁什么级别的访问权限)。例如，仲裁者可被授权来修改用于具体协作计划、或用于具体协作工具的访问控制列表。
实例工具工作流
为示出如何使用不同的工具来模拟具有顺序进展的工作流，现在说明一些实例工具工作流。
第一示例是用于创作针对具体计划话题的文档的大规模协作。使用集体讨论聊天工具，一群参与者可集体讨论该计划话题，并有可能生成多个可被作为子节点添加到想法树的子想法。接着，可能展开每个子节点，直到想法树已生长到包括来自参与者的想法和协作提议。
接着，使用解决方案矩阵工具，可由参与者对想法树中存在的想法进行分级，并且可在适当的时候去除分级较低的想法。然后可要求参与者对照一组标准来衡量，评论剩余的解决方案的赞成与反对的理由。
使用解决方案矩阵工具的结果，可使用协作文档编辑工具创建文档概要，其中可将每个主要的副主题作为一章，并且可将关于该副主题的每个想法作为每章的一节。也可添加介绍和总结小节。可在许多参与者的参与下修改该文档。在适当的时候，仲裁者可扮演控制文档生长的编辑者的角色。
如另一示例性示例，现在描述群体纷争解决计划。首先，一个群体可使用集体讨论聊天工具启动在线计划，其中鼓励成员列出问题。使用分类器工具，可使用群体推荐的类别来对问题进行分类。接着，可使用分级工具，通过收集来自参与者的分级，确定哪些问题与群体的讨论最有关系。可删除不太有关的问题，或留待以后处理。在剩余的问题中，成员可使用集体讨论聊天工具来考虑被标识为最有关的问题的可能解决方案。一旦提出解决方案的此过程完成，可再次使用分级工具，基于所感觉到的处理问题的效果而对解决方案进行分级。使用解决方案矩阵工具，可从多个存在的解决方案中选出最好的解决方案，假定它们的效果满足预定标准。
工具包界面
在基于因特网的实现中，参与者可能能够通过访问实现工具包并包含到各个计划的链接的网站，来访问协作工具包。例如，协作工具主页可具有可访问的所有计划的列表。可通过由活跃性的量衡量的流行性来确定网页上的计划列表的顺序，即，越流行的计划可被放置得越靠近列表顶端。其中参与者活跃性水平剧烈变化的计划也可被标识为非常活跃，并放置得更靠近列表顶端。这样可确保根据关注水平而在列表中适当地轮换各计划。
可使用主页上的链接创建新计划。作为示例性示例，两个选项可用于创建新计划：(i)可设置服务器使得任何人都能创建计划；或(ii)可使此选项只对仲裁者或仅仅少数参与者可用，允许对创建的计划的种类的某种控制。为创建新计划，仲裁者或参与者可添加基本计划信息，如计划名称和目的，并创建工作流项目的试验性的时间表。然后可使得该计划在主页上可用。
一旦选择了具体计划，相关计划页面可以是涉及该计划的开始点。在仲裁者使得具体协作工具(例如，前面所述的工具之一)可用时，可使用此计划页面来访问它。计划页面还可包含该计划上使用其他协作工具已完成的任何工作的摘要。参与者可将自己作为贡献者添加到计划中，这可使得他们的“头衔”(handle)被放置到计划页面上的参与者列表上。
可将每个工具配置为对特定工具唯一的客户端程序，允许参与者与该工具以及与其他参与者互动。可将工具配置为创建概括了参与者的动作的摘要文档、以及使用这些工具施加于想法树的变换。例如，文档创建工具可示出文档，分类器工具可显示最终分类，而分级工具将显示想法的最终分级。
可向每个参与者提供个人简档。无论何处显示出参与者的姓名，在该姓名上的点击(例如，使用鼠标)可显示该参与者已作出贡献的所有计划的活跃性日志。每个参与者的个人简档还可包括个人说明空间，其中用户可粘贴简短的个人说明。可由服务器管理员设置其他简档项目。
如果参与者希望匿名给出他或她的贡献，则他们可通过修改他们的个人设置来做到这一点。在计划存档中，匿名贡献可被标注为是匿名的。如果认为有必要避免由于具有具体观点的匿名参与者过多而引起的对结果的不希望的歪曲，则计划仲裁者可决定在计划的一些或所有部分不接受匿名贡献。在此情况下，如果参与者已选择保持匿名，则工具可阻止他们的贡献，或询问用户是否愿意为了访问和参与讨论中的计划或工具而丧失他们的匿名性。
为辅助仲裁者，可提供向导工具，其询问多个适当的问题。例如，向导可询问一系列“下一步你想做什么？”的问题。这些问题可关注于找出仲裁者希望做什么，并帮助他或她选择合适的工具或工具集合来满足他们的目标。然后仲裁者可选择将想法树的哪一部分用作用于特定工具的数据，并将该工具相应地链接到适当节点上。还可提供特定工具向导，其可有助于确保仲裁者选择合适的工具设置。
IT体系结构
图5示出协作工具包的示例性体系概观。如先前所提到的，可将此IT体系结构嵌入适当配置的数据处理系统(例如，图1的数据处理系统100)、以及相关联的通信网络、设备、软件和固件。
如图5所示，协作工具包可包括位于参与者510(例如，公民512、组织514、政府516)与后台550(包含数据库552)之间的表示层520和应用层530。例如，可使用IBM的WebsphereTM门户服务器(Portal Server)来设计表示层520。例如，可在IBM的WebsphereTM应用服务器上设计可负责事务逻辑的应用层530。对于后台550，可使用IBM的DB2TM信息管理软件作为数据库552。表示层520和应用层530可使用网络服务来通信，并且应用层530可使用适当的协议，例如JavaTM数据库连接(“JDBC”)协议，来与后台数据库552通信。
在表示层520处，可向应用层的每个组件提供图形用户界面，其包括协作工具包GUI522、计划GUI524、以及各种工具GUI526。
表示层520负责与参与者510直接相关的所有元素。其可由多个组件构成，包括协作工具包GUI522、计划GUI524、以及工具客户端GUI526。协作工具包GUI522提供协作工具包服务器532的所有界面和表示元素，而计划GUI524提供计划服务器534的所有界面和表示元素，如下所述。工具客户端GUI526提供用于他们的相应工具客户端(544、546等)的所有界面元素，如计划的工具服务器(537)所例示。
通过示例的方式，协作工具包GUI522可由多个能在IBM的WebsphereTM门户服务器平台上配置的J2EETM(Java2平台，企业版)小端口程序(portlet)组成。还可将工具客户端GUI526设计为小端口程序。取决于工具，还可将界面设计为HTML(超文本标记语言)、或封装的Java小应用程序(Applet)。
应用层530可由多个组件构成，包括：(i)协作工具包服务器532；(ii)计划服务器534；(iii)一个或多个工具服务器537；以及(iv)工具服务器逻辑库542。一般而言，工具服务器537可以是工具服务器逻辑(即，544、546等的其中一个)的例示，其是支持具体协作工具(集体讨论聊天工具、分级工具等)的功能所需的通用服务器端软件。当仲裁者选出在计划中使用的工具时，该工具的服务器逻辑被实例化为工具服务器537。该工具服务器逻辑库542作用为存储库，在计划需要时可从其加载服务器端软件。如上所述，在计划中同时可能有多于一个工具服务器537活动，每个工具服务器537运行相同或不同的工具服务器逻辑。例如，两个工具服务器537可运行在想法树的不同节点上操作的两个集体讨论聊天工具，或者两个工具服务器537可同时运行集体讨论聊天工具和分级工具。协作工具包服务器532可包括广泛种类的不同计划服务器534，每一个对应于利用工具包的不同计划536。下面更详细地说明计划服务器534。
协作工具包服务器532还可包括当前可用的所有工具的工具注册表538。例如，此工具注册表538可存储工具服务器逻辑库542中的工具服务器逻辑(544、546等)的位置、526中的匹配工具客户端GUI的位置、以及相关联的工具向导(未示出)。协作工具包服务器532还可将每个参与者的活跃性的日志存储在参与者活跃性日志540中，将参与者如何贯穿不同的计划536而互动的细节存储在各个计划服务器534上。
每个计划服务器534可包括用于单一计划的计划信息和事务逻辑。每个计划服务器534还存储关于计划的重要信息539，包括过去已使用的工具的时间表、将来要使用的工具的时间表、以及该计划的各种特性。输出数据存储库541可存储由每个单独工具输出的信息。
每个工具服务器537可具有多个输出，例如：(i)在已执行所有变换后的输出树；(ii)提供输出的可视化显示的HTML输出，以供用户看到已完成什么；以及(iii)参与者日志，以更新个别用户简档页和参与者活跃性日志540。
每个工具客户端逻辑(544、546等)可包括涉及个别工具的操作的所有事务逻辑。如所示，工具服务器逻辑库542可包括用于各种工具的逻辑，包括分级器工具逻辑544、分类器工具逻辑546、集体讨论客户端逻辑548等。例如，在集体讨论聊天工具中，该工具服务器逻辑548描述工具服务器537与表示层520上运行的工具GUI之间的信息传送、消息和想法数据的存储、以及其他服务器端处理。
当仲裁者在计划536中启动新工具时，创建新工具服务器537，并且从工具服务器逻辑库542加载所选的工具服务器逻辑(544、546等)。参与者510通过经由协作工具包GUI522(其被连接到协作工具包服务器532)登录而访问网站。然后参与者510选择要访问的计划536。然后协作工具包GUI522加载与适当的计划服务器534相连的计划GUI524。计划服务器534检验用户具有访问该计划的适当特权。参与者510使用计划GUI524浏览该计划的各个信息区域，并且可最终选择参与活动的协作工具中的一个。计划GUI524在适当的工具服务器537上查询工具，在工具注册表538中查找工具，并加载适当的工具客户端GUI526。工具客户端GUI526连接到适当的工具服务器537。然后用户可经由工具客户端GUI而与工具互动。
图6中示出图5的各个组件之间的示例性的通信流。以规则的间隔，工具服务器537与计划服务器534通信，并向计划服务器534发送输出树数据和HTML格式的输出612。工具客户端537还向协作工具包服务器532发送用户活跃性数据610。
协作工具包服务器532可创建一个或多个计划服务器534。计划服务器534可初始化一个或多个工具服务器537，向工具服务器537提供输入树数据614。计划服务器534还可向工具客户端GUI526提供参与者的用户名和用户ID616。然后工具客户端GUI526可访问工具服务器537。在618处，以对每个工具特定的方式，工具客户端GUI526与工具服务器537通信。
应该理解的是，图6中的通信流是示例性的，并且其他通信流是有可能的。
意见子集的聚集
现在更详细地说明本发明的特定方面。在一个实施例中，可要求每个参与者回答问题的小子集，其中每个问题子集可不同于向另一参与者展示的问题子集。对每个问题，可要求参与者以固定范围内的数值来响应(例如，如上面图4F中的说明所示)。可将响应映射到聚集数值，不管其是所选值的平均、还是在回答是或否的情况下的是响应与否响应的计数。
对于给定问题，尤其关注所有响应的平均值，这是因为其可被考虑为一群参与者的集体意见。如果随机选择向其展示具体问题的参与者，则可降低该平均值的系统偏差的机会。这还可允许如下假定：对任何问题的响应的样本很可能在真实总体平均值周围正态分布。
在响应的平均值可被采用为总体意见的平均值的满意估计量之前，可使用响应的样本的平均值的置信区间(confidence interval)计算必须向其展示问题的参与者的数量。在计算置信区间的步骤中可使用例如95％的固定置信水平。
当参与者回答问题时，可将该响应添加到该问题的响应列表中，并可计算用于这些响应的平均值的新的置信区间。然后可向参与者提供之前该参与者还未回答的、且当前具有其平均值周围的最宽置信区间之一的(即，指示参与者响应中的宽变化的)问题。在存在具有最大置信区间的问题中存在平局(tie)的地方，可从这些问题中随机选择下一问题。
在多个参与者提供了意见或分级后，返回窄范围内的响应的问题可能较早达到窄置信区间，并且可能不需要被非常频繁地提问。另一方面，从参与者得到宽范围的响应的问题可能需要被向更多的参与者展示，意图尝试缩窄置信区间。随着参与者和响应数量的增加，池中所有问题的置信区间可能逐渐变窄。可更频繁或更不频繁地展示问题，到获得了对该问题的响应平均值的足够窄的置信区间。
通过向每个参与者显示定制的问题子集，可降低问题之间的顺序、分组或其他心理互动导致的偏差结果的潜在可能。例如，在参与者被询问他们是否有任何明显是少数民族成员的朋友之后，与他们先前没有被询问这样的问题的情况相比，他们很可能就多样性的问题回答“是”。通过对某些回答者以不同的顺序放置潜在相关的问题、或根本不向其他回答者显示这些问题，问题子集的随机性质可降低偏差的可能性。
在一个实施例中，某人可使用本发明的教导来创建想法的分级列表，其中该列表非常长，以确定哪些想法看起来是群体最支持的。在此情况下，投票可由一系列具有形式“你如何看待这个想法：[在此插入想法]？”的问题组成。在回答者提交他们的意见时，可实时维持想法的临时分级。如上所述，可基于置信区间选择要向回答者给出的想法，以及基于参与者此前的响应、在分级中该想法当前所处分级的调整因子。以此方式，可权衡该系统，以提取关于分级顶端和底端的最精确信息。
作为示例性示例，群体协作可能已经产生1000个用于实现再循环程序的想法。一种方式希望基于用户反馈找出上面四个想法。如上所述，可向参与者提供1000个想法的子集，并要求其在1到10之间对每个想法评级，其中1是“不好”，而10是“极好”(例如，按照图4F)。
如图7A所示，系统可从想法的随机排序开始，每个想法具有最大可能的置信区间。当向各个参与者提供想法时，可基于参与者的响应改变他们在列表中的分级，并且相应地缩短他们的置信区间。(应注意将根据参与者的响应对列表中的想法分级，而不是根据各个置信区间。)然后系统可基于哪些想法具有最宽的置信区间，选择下面要向参与者显示的想法。
可替换地，如果期望从列表更快地达到一定数量的顶端想法，则向参与者显示的想法的选择可偏向利于那些看起来表现为领先者的想法。这可导致当前在列表中较高的想法(与否则该选择单单基于置信区间时它们将会被提交的情况相比)被更频繁地提交给回答者。在此情况下，最终结果是想法的分级列表，其中顶端想法更可能集体地代表群体的顶端想法，这是因为它们接收了来自更多参与者的意见。在可帮助减少达到顶端少数想法的分级所需的时间量的折衷方法(trade-off)中，对接近列表底端的想法正确地分级是不太可能的，这是因为它们被更少地提交给回答者。
例如，如果期望找到要从列表中去除的50个最差想法，则所述场景还可逆向操作。在此情况下，系统可基于置信区间选择后面给回答者的问题，但偏向有利于那些表现最差的想法。在此情况下，所得到的列表的置信区间将缩短接近列表的底端。可向更多的参与者提供在数次响应后流向底端的想法，以确保它们确实是最差的想法。
在另一实施例中，本发明的教导不是让大量参与者对想法的大列表进行分级，而是扩展到让大量参与者对想法进行分类。为示出这一点，下面的示例考虑对用于鼓励再循环的想法进行分类。在此场景中，可通过展示一系列具有形式“你认为此想法最应属于哪一分类：[在此插入想法]？”的问题，从参与者寻求对想法子集的意见。
可允许每个参与者将每个想法放到固定分类集合的其中一个中。然后系统可登记一次支持将哪个想法放到哪个分类中的“投票”。通过将每个想法放到它得到最多投票的分类中，呈现出最终分类。
如图7C所示，寻求鼓励再循环(recycling)的群体可能需要向市议会提出三项建议：短期建议(可在6个月的时间内实现的计划)；中期建议(需要6-18个月的计划)；以及长期建议(需要超过18个月来实现的计划)。因为不具有适当研究这些想法中的每一个的资源，所以群体可向公众展示该问题，并询问可能有点了解这些想法的参与者，以帮助将它们放到三种分类中的一个中。
因为此处不存在响应的梯度(gradient)，所以不能采用置信区间。然而，某人可检查投票的相对两极化来取代置信区间。在一个实施例中，系统可基于哪些想法具有最低的获胜分类投票百分比(“PVWC”)而选择下面向参与者提出的想法。最低PVWC直接是想法在其“获胜”分类中具有的投票百分比。例如，如果想法X目前为止对分类A已得到其投票的20％、对分类B是70％、而对分类C是10％，则其PVWC是80％。想法Y可对分类A具有其投票的40％、对分类B是40％、而对分类C是20％。在此情况下，想法Y具有40％的PVWC。根据此分级方案，系统将优选向回答者给出想法Y，这是因为其具有最低PVWC，因而对此分类问题的额外响应将对整个投票贡献最大。
参考图7C所示的示例性示例，用于每个想法的PVWC是以粗体显示的百分比。因此，优选向还未对任何想法分类的新回答者提出的下一想法会是第二个：“改变..的颜色”。这是其分类最不明确的想法，因而需要额外的提议。
基于PVWC的想法的选择将在每个问题已得到预设数量的投票(即，上面示例中的10)之后开始。这可确保PVWC值最有可能成为群体意见的反映。在使用PVWC之前，可随机地向参与者提供想法。
尽管上面已描述了本发明的各种示例性实施例，但本领域技术人员应意识到，可进行变化和修改。更一般地，上述示例性实施例和操作环境不意味着是限制，而由下面的权利要求限定本发明的范围。

Claims (18)

1、一种数据处理系统实现方法，用于从多个参与者聚集关于多个问题的意见，该方法包括：
向每个参与者提供问题，并对每个问题从参与者请求可被表达为数值的意见；
对每个问题，聚集从参与者收到的意见，并计算代表参与者的聚集意见的平均值；
对每个问题，根据收到意见的数值的分布，计算所聚集意见中的置信度的大小；
对后续参与者，提供根据计算出的聚集意见中的置信度的大小而选择的问题。
2、如权利要求1所述的数据处理系统实现方法，还包括：
根据对问题计算出的置信度大小而对所述问题进行分级，并从已分级的问题中选择要展示给后续参与者的问题，优选具有较低置信度值的问题。
3、如权利要求2所述的数据处理系统实现方法，还包括：假定多个问题具有相同的置信度大小，则在这些多个问题中随机选择用于向后续参与者展示的问题。
4、如权利要求1所述的数据处理系统实现方法，其中每个问题的置信度大小是根据收到意见的数值的分布而计算出的置信区间。
5、如权利要求4所述的数据处理系统实现方法，还包括：
基于问题的聚集意见对问题进行分级；
在问题的已分级列表中选择关注的区域；以及
从关注区域选择要向后续参与者展示的问题，优选具有较宽置信区间的问题。
6、如权利要求5所述的数据处理系统实现方法，还包括：向后续参与者展示问题，直到关注区域中的问题的置信区间已达到期望置信区间为止。
7、如权利要求1所述的数据处理系统实现方法，还包括：
提供多个预定分类，并从每个参与者请求问题属于哪个分类的意见；
对每个问题，对选择预定分类中的每个分类的参与者的数量进行制表，并计算每个分类的投票百分比。
8、如权利要求7所述的数据处理系统实现方法，还包括：
对每个问题，基于计算出的投票百分比选择获胜分类，并根据获胜分类中所计算的投票百分比，对问题进行分级。
9、如权利要求8所述的数据处理系统实现方法，还包括：优先选择获胜分类中具有最低投票百分比的问题，用于向后续参与者展示。
10、一种数据处理系统，用于从多个参与者聚集关于多个问题的意见，该系统包括：
用于向每个参与者提供问题、并对每个问题从参与者请求可被表达为数值的意见的装置；
用于对每个问题聚集从参与者收到的意见、并计算代表参与者的聚集意见的平均值的装置；
用于对每个问题、根据收到的对该问题的意见的数值分布而计算聚集意见中的置信度大小的装置；
用于对后续参与者提供根据计算出的聚集意见中的置信度大小而选择的问题的装置。
11、如权利要求10所述的数据处理系统，还包括：
用于根据对问题计算出的置信度大小而对问题进行分级、并从已分级的问题中选择要展示给后续参与者的问题、优选具有较低置信度值的问题的装置。
12、如权利要求11所述的数据处理系统，还包括用于从多个具有相同置信度大小的问题中随机选择用于向后续参与者展示的问题的装置。
13、如权利要求10所述的数据处理系统，其中每个问题的置信度大小是根据收到意见的数值的分布而计算出的置信区间。
14、如权利要求13所述的数据处理系统，还包括：
用于基于问题的聚集意见而对所述问题进行分级的装置；
用于在问题的已分级列表中选择关注的区域的装置；以及
用于从关注区域选择要向后续参与者展示的问题、优选具有较宽置信区间的问题的装置。
15、如权利要求14所述的数据处理系统，还包括用于向后续参与者展示问题、直到关注区域中的问题的置信区间已达到期望置信区间为止的装置。
16、如权利要求10所述的数据处理系统，还包括：
用于提供多个预定分类、并从每个参与者请求问题属于哪个分类的意见的装置；以及
用于对每个问题、对选择预定分类中的每个分类的参与者的数量进行制表、并计算每个分类的投票百分比的装置。
17、如权利要求16所述的数据处理系统，还包括用于对每个问题、基于计算出的投票百分比而选择获胜分类、并根据获胜分类中所计算的投票百分比而对问题进行分级的装置。
18、如权利要求17所述的数据处理系统，还包括用于优先选择获胜分类中具有最低投票百分比的问题以便向后续参与者展示的装置。
CNA2006101366345A 2005-10-28 2006-10-27 从群体协作中聚集意见子集的系统和方法 Pending CN1971603A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CA2525267 2005-10-28
CA002525267A CA2525267A1 (en) 2005-10-28 2005-10-28 Systems, methods and tools for aggregating subsets of opinions from group collaborations

Publications (1)

Publication Number Publication Date
CN1971603A true CN1971603A (zh) 2007-05-30

Family

ID=37965163

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2006101366345A Pending CN1971603A (zh) 2005-10-28 2006-10-27 从群体协作中聚集意见子集的系统和方法

Country Status (3)

Country Link
US (2) US20070099162A1 (zh)
CN (1) CN1971603A (zh)
CA (1) CA2525267A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103455908A (zh) * 2012-05-30 2013-12-18 Sap股份公司 云环境中的头脑风暴
CN103714114A (zh) * 2012-10-05 2014-04-09 成功要素股份有限公司 自然语言度量条件警告编排
CN104106089A (zh) * 2012-01-30 2014-10-15 国际商业机器公司 用于在企业中使用的社交网络分析
CN109697438A (zh) * 2018-03-08 2019-04-30 中国科学院大学 一种特殊群体聚集行为早期检测及聚集地预测方法和系统
US10388177B2 (en) 2012-04-27 2019-08-20 President And Fellows Of Harvard College Cluster analysis of participant responses for test generation or teaching
CN115495793A (zh) * 2022-11-17 2022-12-20 中关村科学城城市大脑股份有限公司 多集问题安全发送方法、装置、设备和介质

Families Citing this family (72)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090204507A1 (en) * 2004-02-26 2009-08-13 Change Research Incorporated Method and system for discovering and generating an insight via a network
CA2524527A1 (en) * 2005-10-26 2007-04-26 Ibm Canada Limited - Ibm Canada Limitee Systems, methods and tools for facilitating group collaborations
US20080115103A1 (en) * 2006-11-13 2008-05-15 Microsoft Corporation Key performance indicators using collaboration lists
US8060390B1 (en) * 2006-11-24 2011-11-15 Voices Heard Media, Inc. Computer based method for generating representative questions from an audience
US8572043B2 (en) 2007-12-20 2013-10-29 International Business Machines Corporation Method and system for storage of unstructured data for electronic discovery in external data stores
US8032471B2 (en) * 2007-12-21 2011-10-04 Yahoo! Inc. System and method for annotating and analyzing reviews with inferred analytics
US8112406B2 (en) 2007-12-21 2012-02-07 International Business Machines Corporation Method and apparatus for electronic data discovery
US8140494B2 (en) 2008-01-21 2012-03-20 International Business Machines Corporation Providing collection transparency information to an end user to achieve a guaranteed quality document search and production in electronic data discovery
US20090197236A1 (en) * 2008-02-06 2009-08-06 Phillips Ii Howard William Implementing user-generated feedback system in connection with presented content
US20090286219A1 (en) * 2008-05-15 2009-11-19 Kisin Roman Conducting a virtual interview in the context of a legal matter
US8275720B2 (en) 2008-06-12 2012-09-25 International Business Machines Corporation External scoping sources to determine affected people, systems, and classes of information in legal matters
US9830563B2 (en) 2008-06-27 2017-11-28 International Business Machines Corporation System and method for managing legal obligations for data
US8515924B2 (en) 2008-06-30 2013-08-20 International Business Machines Corporation Method and apparatus for handling edge-cases of event-driven disposition
US8327384B2 (en) 2008-06-30 2012-12-04 International Business Machines Corporation Event driven disposition
US8484069B2 (en) 2008-06-30 2013-07-09 International Business Machines Corporation Forecasting discovery costs based on complex and incomplete facts
US8489439B2 (en) 2008-06-30 2013-07-16 International Business Machines Corporation Forecasting discovery costs based on complex and incomplete facts
US8073729B2 (en) 2008-09-30 2011-12-06 International Business Machines Corporation Forecasting discovery costs based on interpolation of historic event patterns
US8204869B2 (en) * 2008-09-30 2012-06-19 International Business Machines Corporation Method and apparatus to define and justify policy requirements using a legal reference library
US20100240461A1 (en) * 2009-03-18 2010-09-23 Michael Rasmussen Methods, systems, and computer readable media for online community-driven computer game development
US9047575B2 (en) * 2009-05-04 2015-06-02 Oracle International Corporation Creative process modeling and tracking system
US20110040600A1 (en) * 2009-08-17 2011-02-17 Deidre Paknad E-discovery decision support
US8250041B2 (en) 2009-12-22 2012-08-21 International Business Machines Corporation Method and apparatus for propagation of file plans from enterprise retention management applications to records management systems
US8655856B2 (en) 2009-12-22 2014-02-18 International Business Machines Corporation Method and apparatus for policy distribution
US20110184882A1 (en) * 2010-01-25 2011-07-28 International Business Machines Corporation Social modeling of processes
US20110209072A1 (en) * 2010-02-19 2011-08-25 Naftali Bennett Multiple stream internet poll
US20110313952A1 (en) * 2010-06-21 2011-12-22 Ofer Agam System for monitoring real organizations
US8566903B2 (en) 2010-06-29 2013-10-22 International Business Machines Corporation Enterprise evidence repository providing access control to collected artifacts
US8832148B2 (en) 2010-06-29 2014-09-09 International Business Machines Corporation Enterprise evidence repository
US8402359B1 (en) 2010-06-30 2013-03-19 International Business Machines Corporation Method and apparatus for managing recent activity navigation in web applications
US9292667B1 (en) 2010-11-10 2016-03-22 Amazon Technologies, Inc. Location based community
US20120179755A1 (en) * 2010-12-27 2012-07-12 Fishkin James S Deliberative Polling Incorporating Ratings By A Random Sample
US20120304072A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Sentiment-based content aggregation and presentation
US20120304075A1 (en) * 2011-05-23 2012-11-29 Dworkin Ross E System and method for management of motions
US20120303422A1 (en) * 2011-05-27 2012-11-29 Diran Li Computer-Implemented Systems And Methods For Ranking Results Based On Voting And Filtering
US9344519B2 (en) * 2012-06-14 2016-05-17 Discourse Analytics, Inc. Receiving and correlation of user choices to facilitate recommendations for peer-to-peer connections
GB201215377D0 (en) * 2012-08-21 2012-10-10 Colby Mark A Collabration in a communications network
JP2014056319A (ja) * 2012-09-11 2014-03-27 Canon Inc 情報処理装置およびプログラム、制御方法
US20140162241A1 (en) * 2012-12-06 2014-06-12 CrowdzSpeak Inc. Determining crowd consensus
JP6142616B2 (ja) * 2013-03-27 2017-06-07 富士通株式会社 ディスカッション支援プログラム、ディスカッション支援方法、及び情報処理装置
US9524505B2 (en) 2013-04-01 2016-12-20 International Business Machines Corporation End-to-end effective citizen engagement via advanced analytics and sensor-based personal assistant capability (EECEASPA)
US10176488B2 (en) 2014-02-19 2019-01-08 International Business Machines Corporation Perturbation, monitoring, and adjustment of an incentive amount using statistically valuable individual incentive sensitivity for improving survey participation rate
WO2018006065A1 (en) * 2016-07-01 2018-01-04 Unanimous A. I., Inc. Methods and systems for modifying user influence during a collaborative session of a real-time collective intelligence system
AU2015236010A1 (en) 2014-03-26 2016-11-10 Unanimous A.I. LLC Methods and systems for real-time closed-loop collaborative intelligence
US10122775B2 (en) 2014-03-26 2018-11-06 Unanimous A.I., Inc. Systems and methods for assessment and optimization of real-time collaborative intelligence systems
US10277645B2 (en) 2014-03-26 2019-04-30 Unanimous A. I., Inc. Suggestion and background modes for real-time collaborative intelligence systems
US10110664B2 (en) 2014-03-26 2018-10-23 Unanimous A. I., Inc. Dynamic systems for optimization of real-time collaborative intelligence
US10439836B2 (en) 2014-03-26 2019-10-08 Unanimous A. I., Inc. Systems and methods for hybrid swarm intelligence
US10222961B2 (en) 2014-03-26 2019-03-05 Unanimous A. I., Inc. Methods for analyzing decisions made by real-time collective intelligence systems
US12079459B2 (en) * 2014-03-26 2024-09-03 Unanimous A. I., Inc. Hyper-swarm method and system for collaborative forecasting
US9940006B2 (en) 2014-03-26 2018-04-10 Unanimous A. I., Inc. Intuitive interfaces for real-time collaborative intelligence
US10817158B2 (en) * 2014-03-26 2020-10-27 Unanimous A. I., Inc. Method and system for a parallel distributed hyper-swarm for amplifying human intelligence
US12099936B2 (en) 2014-03-26 2024-09-24 Unanimous A. I., Inc. Systems and methods for curating an optimized population of networked forecasting participants from a baseline population
US10310802B2 (en) 2014-03-26 2019-06-04 Unanimous A. I., Inc. System and method for moderating real-time closed-loop collaborative decisions on mobile devices
US10817159B2 (en) 2014-03-26 2020-10-27 Unanimous A. I., Inc. Non-linear probabilistic wagering for amplified collective intelligence
US10133460B2 (en) 2014-03-26 2018-11-20 Unanimous A.I., Inc. Systems and methods for collaborative synchronous image selection
US11941239B2 (en) * 2014-03-26 2024-03-26 Unanimous A.I., Inc. System and method for enhanced collaborative forecasting
US11269502B2 (en) 2014-03-26 2022-03-08 Unanimous A. I., Inc. Interactive behavioral polling and machine learning for amplification of group intelligence
US10551999B2 (en) 2014-03-26 2020-02-04 Unanimous A.I., Inc. Multi-phase multi-group selection methods for real-time collaborative intelligence systems
US10353551B2 (en) 2014-03-26 2019-07-16 Unanimous A. I., Inc. Methods and systems for modifying user influence during a collaborative session of real-time collective intelligence system
US11151460B2 (en) 2014-03-26 2021-10-19 Unanimous A. I., Inc. Adaptive population optimization for amplifying the intelligence of crowds and swarms
US10416666B2 (en) 2014-03-26 2019-09-17 Unanimous A. I., Inc. Methods and systems for collaborative control of a remote vehicle
US12001667B2 (en) * 2014-03-26 2024-06-04 Unanimous A. I., Inc. Real-time collaborative slider-swarm with deadbands for amplified collective intelligence
US10712929B2 (en) 2014-03-26 2020-07-14 Unanimous A. I., Inc. Adaptive confidence calibration for real-time swarm intelligence systems
EP3155584A4 (en) * 2014-06-15 2017-12-27 Unanimous A.I., Inc. Intuitive interfaces for real-time collaborative intelligence
US20160232544A1 (en) * 2015-02-05 2016-08-11 Arthur Andrew Scotson Social Network that Groups Users into Political Constituencies
US10178057B2 (en) * 2015-09-02 2019-01-08 International Business Machines Corporation Generating poll information from a chat session
US20170154542A1 (en) 2015-12-01 2017-06-01 Gary King Automated grading for interactive learning applications
US10708208B2 (en) 2016-06-16 2020-07-07 Microsoft Technology Licensing, Llc Smart chunking logic for chat persistence
US10795961B2 (en) * 2018-05-29 2020-10-06 International Business Machines Corporation Accessing specific portions of documents on a network
GB201819485D0 (en) * 2018-11-29 2019-01-16 Kruse Andres Layered idea mapping
JP7429577B2 (ja) * 2020-03-27 2024-02-08 株式会社日立製作所 発想支援装置及び発想支援方法
US11949638B1 (en) 2023-03-04 2024-04-02 Unanimous A. I., Inc. Methods and systems for hyperchat conversations among large networked populations with collective intelligence amplification

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4029943A (en) * 1975-12-12 1977-06-14 Henry Rodriguez Method and apparatus for opinion surveys
US4671772A (en) * 1985-10-22 1987-06-09 Keilty, Goldsmith & Boone Performance appraisal and training system and method of utilizing same
FR2624291B1 (fr) * 1987-12-02 1990-05-18 Rebeillard Serge Procede et dispositif de recueil d'informations et leurs applications
US5740035A (en) * 1991-07-23 1998-04-14 Control Data Corporation Self-administered survey systems, methods and devices
US5999908A (en) * 1992-08-06 1999-12-07 Abelow; Daniel H. Customer-based product design module
US5433615A (en) * 1993-02-05 1995-07-18 National Computer Systems, Inc. Categorized test item reporting system
AUPM813394A0 (en) * 1994-09-14 1994-10-06 Dolphin Software Pty Ltd A method and apparatus for preparation of a database document in a local processing apparatus and loading of the database document with data from remote sources
US5615134A (en) * 1995-02-27 1997-03-25 National Research Council Of Canada Method and system for polling and data collection
US6047288A (en) * 1995-07-20 2000-04-04 Canon Kabushiki Kaisha Group environment setting method and system thereof to provide an equivalent environment for plural participants
US20020002482A1 (en) * 1996-07-03 2002-01-03 C. Douglas Thomas Method and apparatus for performing surveys electronically over a network
US5862223A (en) * 1996-07-24 1999-01-19 Walker Asset Management Limited Partnership Method and apparatus for a cryptographically-assisted commercial network system designed to facilitate and support expert-based commerce
US6267379B1 (en) * 1997-12-31 2001-07-31 Forrest-Pruzan Creative Llc Electronically interactive location-based multimedia game system and method
CA2223597A1 (en) * 1998-01-06 1999-07-06 Ses Canada Research Inc. Automated survey kiosk
US6477504B1 (en) * 1998-03-02 2002-11-05 Ix, Inc. Method and apparatus for automating the conduct of surveys over a network system
US6993495B2 (en) * 1998-03-02 2006-01-31 Insightexpress, L.L.C. Dynamically assigning a survey to a respondent
US6064980A (en) * 1998-03-17 2000-05-16 Amazon.Com, Inc. System and methods for collaborative recommendations
US6321221B1 (en) * 1998-07-17 2001-11-20 Net Perceptions, Inc. System, method and article of manufacture for increasing the user value of recommendations
US6236975B1 (en) * 1998-09-29 2001-05-22 Ignite Sales, Inc. System and method for profiling customers for targeted marketing
US6377944B1 (en) * 1998-12-11 2002-04-23 Avaya Technology Corp. Web response unit including computer network based communication
US6606581B1 (en) * 2000-06-14 2003-08-12 Opinionlab, Inc. System and method for measuring and reporting user reactions to particular web pages of a website
US6421724B1 (en) * 1999-08-30 2002-07-16 Opinionlab, Inc. Web site response measurement tool
US20020120619A1 (en) * 1999-11-26 2002-08-29 High Regard, Inc. Automated categorization, placement, search and retrieval of user-contributed items
US20030120687A1 (en) * 2000-01-03 2003-06-26 Solomon G. Douglas System and method of providing customized marketing data
US20010034015A1 (en) * 2000-02-11 2001-10-25 Raichur Arvind A. Network based anonymous question and answer system
US6539392B1 (en) * 2000-03-29 2003-03-25 Bizrate.Com System and method for data collection, evaluation, information generation, and presentation
US7606726B2 (en) * 2000-05-31 2009-10-20 Quality Data Management Inc. Interactive survey and data management method and apparatus
US7831688B2 (en) * 2000-06-06 2010-11-09 Adobe Systems Incorporated Method and system for providing electronic user assistance
US6574638B1 (en) * 2000-09-12 2003-06-03 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data using surveying data
FI113413B (fi) * 2000-09-20 2004-04-15 Interquest Oy Menetelmä tietojen keräämiseksi ja käsittelemiseksi
US20050266387A1 (en) * 2000-10-09 2005-12-01 Rossides Michael T Answer collection and retrieval system governed by a pay-off meter
US20030101088A1 (en) * 2000-11-27 2003-05-29 Suriyan Lohavichan Web-based survey method for measuring customer service response
US6895405B1 (en) * 2001-01-31 2005-05-17 Rosetta Marketing Strategies Group Computer-assisted systems and methods for determining effectiveness of survey question
US6577846B2 (en) * 2001-02-12 2003-06-10 Ctb-Mcgraw Hill, Llc Methods for range finding of open-ended assessments
US6912521B2 (en) * 2001-06-11 2005-06-28 International Business Machines Corporation System and method for automatically conducting and managing surveys based on real-time information analysis
US20030099402A1 (en) * 2001-07-02 2003-05-29 Baylis Charles M. Method for conducting and categorizing data
US7386797B1 (en) * 2002-05-22 2008-06-10 Oracle Corporation Framework to model and execute business processes within a collaborative environment
US20050097440A1 (en) * 2003-11-04 2005-05-05 Richard Lusk Method and system for collaboration
US7389321B2 (en) * 2003-12-12 2008-06-17 International Business Machines Corporation Sequential restructuring of a collaborative context
US8540514B2 (en) * 2003-12-16 2013-09-24 Martin Gosling System and method to give a true indication of respondent satisfaction to an electronic questionnaire survey
US8121886B2 (en) * 2004-12-03 2012-02-21 Ryma Technology Solutions Inc. Confidence based selection for survey sampling
US20060286530A1 (en) * 2005-06-07 2006-12-21 Microsoft Corporation System and method for collecting question and answer pairs
CA2524527A1 (en) * 2005-10-26 2007-04-26 Ibm Canada Limited - Ibm Canada Limitee Systems, methods and tools for facilitating group collaborations

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104106089A (zh) * 2012-01-30 2014-10-15 国际商业机器公司 用于在企业中使用的社交网络分析
CN104106089B (zh) * 2012-01-30 2017-11-14 国际商业机器公司 用于在企业中使用的社交网络分析的方法
US10388177B2 (en) 2012-04-27 2019-08-20 President And Fellows Of Harvard College Cluster analysis of participant responses for test generation or teaching
CN103455908A (zh) * 2012-05-30 2013-12-18 Sap股份公司 云环境中的头脑风暴
CN103714114A (zh) * 2012-10-05 2014-04-09 成功要素股份有限公司 自然语言度量条件警告编排
CN109697438A (zh) * 2018-03-08 2019-04-30 中国科学院大学 一种特殊群体聚集行为早期检测及聚集地预测方法和系统
CN109697438B (zh) * 2018-03-08 2020-10-27 中国科学院大学 一种特殊群体聚集行为早期检测及聚集地预测方法和系统
CN115495793A (zh) * 2022-11-17 2022-12-20 中关村科学城城市大脑股份有限公司 多集问题安全发送方法、装置、设备和介质

Also Published As

Publication number Publication date
US20070099162A1 (en) 2007-05-03
CA2525267A1 (en) 2007-04-28
US20140379439A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
CN1971603A (zh) 从群体协作中聚集意见子集的系统和方法
CN1992728B (zh) 用于便利分组合作的系统和方法
US10332132B2 (en) Method and apparatus for colleting and disseminating information over a computer network
Kelleher Public relations online: Lasting concepts for changing media
US7860852B2 (en) Systems and apparatuses for seamless integration of user, contextual, and socially aware search utilizing layered approach
US7016853B1 (en) Method and system for resume storage and retrieval
US20070250479A1 (en) System and Method For Facilitating Collaborative Generation of Life Stories
US20080208844A1 (en) Entertainment platform with layered advanced search and profiling technology
US20100299603A1 (en) User-Customized Subject-Categorized Website Entertainment Database
US20040128691A1 (en) Video browsing system, distribution server and browse client
US7035838B2 (en) Methods and systems for organizing information stored within a computer network-based system
US8180752B2 (en) Apparatus and methods for managing a social media universe
JP4596725B2 (ja) ウェブサーバおよび共同開発システム
Miller et al. Google Scholar and more: new Google applications and tools for libraries and library users
US20150112991A1 (en) Inline hierarchy method and software, and business methods therefore
JP2002189813A (ja) コンテンツ再利用サービスシステム及びコンテンツ再利用方法
Maurer Aspects of Digital Libraries

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Open date: 20070530