CN113508406A - 用于异步协作和基于机器的仲裁的结构化论证的系统 - Google Patents

用于异步协作和基于机器的仲裁的结构化论证的系统 Download PDF

Info

Publication number
CN113508406A
CN113508406A CN201980093500.5A CN201980093500A CN113508406A CN 113508406 A CN113508406 A CN 113508406A CN 201980093500 A CN201980093500 A CN 201980093500A CN 113508406 A CN113508406 A CN 113508406A
Authority
CN
China
Prior art keywords
response
user
forecast
prompt
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980093500.5A
Other languages
English (en)
Inventor
奈吉尔·D·斯特普
大卫·J·休柏
采青·卢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hrl Laboratory Co ltd
HRL Laboratories LLC
Original Assignee
Hrl Laboratory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hrl Laboratory Co ltd filed Critical Hrl Laboratory Co ltd
Publication of CN113508406A publication Critical patent/CN113508406A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0204—Market segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Human Resources & Organizations (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于收集和处理用户输入的方法。在一些实施例中，所述方法包含：向第一用户呈现用于引发第一响应的提示，所述第一响应包含包括一个或多个数字的数字部分，以及解释性部分；从所述第一用户接收所述第一响应；从多个其它用户中的每一个接收多个其它响应中的相应响应；以及向所述第一用户显示其它响应的有序列表。在所述有序列表内，所述多个其它响应中的第二响应可以早于所述多个其它响应中的第三响应，所述第二响应根据距离的量度比所述第三响应距所述第一响应更远。

Description

用于异步协作和基于机器的仲裁的结构化论证的系统
相关申请案的交叉引用
本申请案要求2019年3月8日提交的标题为“用于异步协作和基于机器的仲裁的结构化论证的系统(SYSTEM OF STRUCTURED ARGUMENTATION FOR ASYNCHRONOUSCOLLABORATION AND MACHINE-BASED ARBITRATION)”的第62/815,631号美国临时申请案的优先权和权益，所述美国临时申请案的整个内容以引用的方式并入本文中。
本申请案涉及2019年10月2日提交的第16/591,397号美国专利申请案(“'397申请案”)，所述美国专利申请案的整个内容以引用的方式并入本文中。
政府许可权
本发明是在美国情报高级研究计划局(IARPA)混合预报竞争(HFC)部门发出的第2017-17061500006号合约下由美国政府支持进行。美国政府拥有本发明的某些权利。
技术领域
根据本公开的实施例的一个或多个方面涉及预报聚合和仲裁。
背景技术
现有技术在线消息板有时是由此类消息板的用户用来请求对此类用户可能有帮助的建议或意见。举例来说，可能想要购买或出售某一商品的用户可以请求关于所述商品的可能未来价格的意见。用户可以随后以特用方式分析且聚合接收到的响应，努力评估发布响应的那些人的专门知识，且从响应中提取未来价格的预报。
此方法可能具有各种缺点。在消息板上，用户可以在“线程”中开始讨论，且其它用户可以评论原始帖子或其他人响应于原始帖发出的帖子。此类型的讨论可能缺乏任何类型的可辨别结构，尽管有时对帖子的响应被显示为用于上下文理解的树。无论如何处置结构，此类界面都对指导讨论没什么用，讨论可能完全留给参与者来做。因此，由于离题、未能引用源来支持给出的意见，或源的引用并不支持正作出的论点，讨论可能变得偏离方向。
另一潜在缺点涉及参与者自身。用户可能是其偏差以及其初始论点和意见的受害者。举例来说，用户可能受到称为“锚定”的一类偏差的影响，其中用户可能受到她或他看见或听见的第一个外部意见的强影响。另一潜在偏差称为“确认偏差”，它是一类逻辑失败，其中人创建意见，并且接着通过仅选择与其一致的源和其它验证方法对其进行验证，而忽略可能持异议的任何意见或资源。
此外，参与者可能难以或不可能达到任何类型的共识，即使当构建共识且得出结论是讨论的主要目的时也是这样。
因此，需要用于促进在线用户之间富有成效的交互的系统和方法。
发明内容
根据本发明的实施例，提供一种用于收集和处理用户输入的方法，所述方法包含：由处理电路向第一用户呈现用于引发第一响应的提示，所述第一响应包含：数字部分，其包含一个或多个数字，以及解释性部分；由所述处理电路从所述第一用户接收所述第一响应；由所述处理电路从多个其它用户中的每一个接收多个其它响应中的相应响应；由所述处理电路向所述第一用户显示其它响应的有序列表；由所述处理电路确定所述第一用户和所述其它用户是否已达成共识；响应于确定所述第一用户和所述其它用户已形成共识预报，由所述处理电路产生所述共识预报；响应于确定所述第一用户和所述其它用户尚未形成共识预报，由所述处理电路产生协调的预报；以及响应于所述共识预报或响应于所述协调的预报，由所述处理电路造成采取动作，其中：所述多个其它响应中的第二响应在所述有序列表中早于所述多个其它响应中的第三响应，且所述第二响应根据距离的量度比所述第三响应距所述第一响应更远。
在一些实施例中，所述方法还包含拒绝所述第一用户访问所有其它响应直到从所述第一用户接收到所述第一响应为止。
在一些实施例中，用于引发所述第一响应的所述提示包含用于引发所述数字部分的提示和用于引发所述解释性部分的提示，用于引发所述数字部分的所述提示包含用于引发预报的提示；且用于引发所述解释性部分的所述提示包括用于引发针对所述预报的基本理论的提示。
在一些实施例中，用于引发所述解释性部分的所述提示还包含用于引发支持所述基本理论的引用文件的提示。
在一些实施例中，所述方法还包含向所述第一用户呈现用于引发所述第二响应的评级的提示。
在一些实施例中，所述方法还包含：向所述多个其它用户中的第二用户显示所述第一响应，以及从所述第二用户引发所述第一响应的评级。
在一些实施例中，所述方法还包含向所述第二用户呈现用于引发所述第一响应中的引用文件的评级的提示。
在一些实施例中，用于引发所述第一响应中的所述引用文件的所述评级的所述提示包含：用于引发所述引用文件的相关性的评估的提示；以及用于引发所述引用文件的真实性的评估的提示。
在一些实施例中，所述方法还包含在向所述第一用户显示其它响应的所述有序列表之后，向所述第一用户呈现用于引发对所述第一响应的调整的提示。
在一些实施例中，所述数字部分表示序数预报，且由数字向量表示；且所述距离的量度针对第一向量和第二向量是以下两者的比率：所述第一向量的回答密度和所述第二向量的回答密度之间的差；以及所述第一向量与所述第二向量之间的相似性的量度。
在一些实施例中，所述第一向量和所述第二向量中的每一个的所述回答密度是所述向量的元素上的加权总和，其中每一权重是相应元素的指数。
在一些实施例中，所述相似性的量度是以下两者的比率：所述向量的点积，以及所述向量的量值的乘积。
在一些实施例中，所述数字部分表示分类预报，且由数字向量表示，测试向量的距参考向量的所述距离的量度是以下两者的比率：所述参考向量的最大元素的值和对应于所述参考向量的所述最大元素的所述测试向量的元素的值之间的差；以及所述向量之间的相似性的量度。
在一些实施例中，所述相似性的量度是以下两者的比率：所述向量的点积，以及所述向量的量值的乘积。
在一些实施例中，所述数字部分表示分类预报，且由数字向量表示，测试向量的距参考向量的所述距离的量度是以下两者的乘积：正负号项，以及所述测试向量的距所述参考向量的初步距离量度。
在一些实施例中，所述测试向量的距所述参考向量的所述初步距离量度是以下两者的比率的绝对值：所述参考向量的最大元素的值和对应于所述参考向量的所述最大元素的所述测试向量的元素的值之间的差；以及所述向量的点积和所述向量的量值的乘积之间的比率。
在一些实施例中，所述正负号项是：当对应于所述参考向量的所述最大元素的所述测试向量的所述元素的所述值是所述测试向量的最大元素时是一，且否则是负一。
在一些实施例中，所述方法还包含由处理电路对所述第一响应且对所述其它响应中的每一个指派评级。
在一些实施例中，所述方法还包含向所述第一用户显示所述数字部分在其它响应的数字部分的范围内的位置。
根据本发明的实施例，提供一种用于收集和处理用户输入的系统，所述系统包含：处理电路，以及存储器，其耦合到所述处理电路且其上存储有指令，所述指令当由所述处理电路执行时致使所述处理电路：向第一用户呈现用于引发第一响应的提示，所述第一响应包含：数字部分，其包含一个或多个数字，以及解释性部分；从所述第一用户接收所述第一响应；从多个其它用户中的每一个接收多个其它响应中的相应响应；以及向所述第一用户显示其它响应的有序列表，确定所述第一用户和所述其它用户是否已达成共识；响应于确定所述第一用户和所述其它用户已形成共识预报，产生所述共识预报；响应于确定所述第一用户和所述其它用户尚未形成共识预报，产生协调的预报；以及响应于所述共识预报或响应于所述协调的预报，造成采取动作，其中：所述多个其它响应中的第二响应在所述有序列表中早于所述多个其它响应中的第三响应，且所述第二响应根据距离的量度比所述第三响应距所述第一响应更远。
附图说明
将参考本说明书、权利要求书以及随附图式来了解并理解本公开的这些特征和其它特征以及优点，其中：
图1是根据本公开的实施例的系统框图；
图2是根据本公开的实施例的提示；
图3是根据本公开的实施例的提示；
图4是根据本公开的实施例的提示；
图5A是根据本公开的实施例的提示；
图5B是根据本公开的实施例的散点图
图6是示出可用以实施本发明的实施例的彼此通信的各种计算机化系统的框图；以及
图7是示出与本发明的至少一个实施例结合使用的处理系统、处理电路或者处理系统或处理电路的一部分的框图。
具体实施方式
下方结合附图阐述的具体实施方式既定作为根据本公开提供的用于异步协作和基于机器的仲裁的结构化论证的系统的示例性实施例的描述，且并不希望表示其中可以构造或利用本公开的仅有形式。所述描述结合所示出的实施例来阐述本公开的特征。然而，将理解，可通过不同实施例来实现相同或等效的功能和结构，所述不同实施例也意图涵盖在本公开的范围内。如本文中其它地方所指示，相同元件编号既定指示相同元件或特征。
图1示出在一些实施例中用于论证的系统的系统图。用于论证的系统可以由希望从多个用户获得一系列意见(或“预报”)或共识意见的用户配置，所述用户在本文中被称作“主机”。主机可能希望关于问题105调查其它用户的意见；作为说明性实例，问题105可以是估计(或预报)利比亚在2020年5月将生产的石油量。主机可以根据要回答的问题配置系统，且每一个参与的用户随后可以在110处被呈现引发对问题的响应的提示。图2示出引发响应的提示的实例。用户被呈现多个滑块205和文本框210。滑块引发响应的数字部分215(用户对可能的石油输出的预报，如在下文进一步详细论述)，且文本框引发响应的解释性部分220(用户的预报的基本理论)。
所述多个滑块205中的每一个对应于范围或“回答区间”(第一范围是小于750的值，第二范围是750与900之间的值等等)。用户可以调整每一滑块以反映用户的回答处于对应于滑块的范围的置信度。举例来说，如果用户确定量将大于900桶(BBL)且小于1050桶，那么用户可以一直向右滑动第三滑块(指示回答处于此范围的100％置信度)。如果在用户看来，所述量确定大于750桶且小于1050桶，且相等地可能(i)达不到900桶或(ii)超过900桶，那么用户可以将第二和第三滑块中的每一个向右滑动一半，即，到50％。
软件(例如，在用户与用于论证的系统交互的浏览器中运行的JavaScript)可以自动调整滑块，使得指示的四个值的总计是100％。算法可以优先调整用户尚未调整的滑块，以避免让滑块设定改变影响先前作出的另一滑块的设定，这不是用户希望的。举例来说，在一些实施例中，如果用户曾将第一滑块调整到50％，并且接着尝试调整第二滑块超出50％(导致总计>100％)，那么系统将简单地将第二滑块的值“卡”到用于第二滑块的最高可允许的值以使得其总和总计为100％。在一些实施例中，一旦设定第一滑块，如无显式用户干预则系统就不会将其改变，所述显式用户干预可以涉及用户手动地改变滑块，或用户点击将所有滑块标准化具有相等值(对于2个滑块而言为50％，对于4个滑块而言为25％等)的按钮。
在文本框210中，用户可以提供用于预报的基本理论。基本理论可以包含用户输入的解释性文字。此外，因为除非参与者可引用相关且真实源来支持其预报，否则论证可能是徒劳的，所以系统可以提供用于用户引用支持其论点的源的方法，例如通过在其基本理论中插入URL，在“引用文件上载”栏中单独地提供URL，或以例如便携式文档格式(PortableDocument Format，pdf)等网络格式上载文档。这些引用文件可以随后向其它参与者示出作为因特网链接或可下载的文档文件，其它参与者可以检查且将其包含于自己的论点中，例如通过论证引用文件的特定点或提供其自己的对应引用文件。其它用户也可以评估引用文件(如在下文进一步详细论述)。
用户可以被呈现图2的提示而无需先前或同时访问其它用户可能已作出的任何预报(即，用户可能被拒绝此类访问，直到从所述用户接收到对提示的响应)；此特征(拒绝用户访问其它用户的预报)可以消除锚定，且减轻确认偏差，例如减少确认偏差。通过选择其它用户的响应稍后显示的次序也可以减轻确认偏差(如在下文进一步详细论述)。
图2的提示引发可称为“序数预报”的一类预报。如本文所使用，“序数预报”是其中存在对可能的回答区间的排序的那些预报，如图2中的区间(各自对应于相应滑块)的情况。其中不存在此类排序的预报可称为“分类预报”。分类预报的实例是其中例如四个候选者将赢得选举的预测。在此情况下，提示可以类似于图2，其中第一滑块标记有第一候选者的姓名(而不是如图2中标记为“小于750”)，第二滑块标记有第二候选者的姓名，等等。在此预报中，用户还可以使用滑块来指示置信度的程度，例如如果用户确定第二候选者将获胜，那么一直向右调整第二滑块。预报是序数还是分类可以影响两个用户的预报之间的“距离”(两个用户不一致的程度的量度)可以如何计算(如在下文进一步详细论述)。序数预报和分类预报可以各自由向量(例如，具有用于每一范围或回答区间或在分类预报的情况下用于每一项目(例如，候选者)的一个元素的向量)表示，向量的每一元素表示对应范围或项目是对主机提出的问题的正确回答的用户置信度的程度。
应理解，可以使用适合于从用户接收数字输入的任何其它界面(例如，一组文本框，每一文本框用于接收相应数字)而不是滑块，输入栏或控件的数目可以不同于图2所示的四个，且将控件约束或自动调整为具有某一总计(例如，100％)的特征可能不存在(在此情况下系统可以在适当时在进一步处理之前归一化数字输入值的向量)。再次参考图1，在已经从多个用户引发(在110)响应之后，可以在用户已经提供初始响应(例如，通过响应于图2的提示)之后对预报进行排名(在115)且向每一用户显示(在120)。
显示给任何用户的其它预报可以被分选(或“排序”或“排名”)(在115，图1)，其中第一显示的(或“最早的”)响应是与用户的预报最不一致的(即，距用户的预报最远的)预报。这可以使用户回顾且对照冲突的意见；以此方式，用于论证的系统可以减轻确认偏差且驱使群体用户进行自我评价和建设性的辨论。图3示出预报可以如何显示给特定用户(或“当前用户”)的实例。概要曲线图305可以示出用于多个其它用户的预报中的每一个的点，其中每一点的水平位置示出其它用户的预报距当前用户的预报的距离，且每一点的竖直位置示出每一其它用户的预报的评级(由其它用户，在下文进一步详细论述)。竖直线可以示出对应于当前用户的预报的水平位置。“距离”可以是带正负号的量，如在下文进一步详细论述。
在概要曲线图305下方，显示可以示出其它用户的预报的两个列表，其中(如上所提到)与当前用户的预报最不同的预报被首先列出，即在每一列表的顶部。图3中的左手侧列表310示出距当前用户的预报具有负距离的预报(距当前用户的预报具有最大(负)距离的其它预报被首先示出)，且图3中右边的右手侧列表315示出距当前用户的预报具有正距离的预报(距当前用户的预报具有最大(正)距离的其它预报被首先示出)。因为一些用户可能习惯能够从默认次序改变所显示列表的次序，所以系统可以为每一用户给出搜索以及重新排序每一列表的选项。
每一其它用户的预报的回答区间可以示出为在每一预报的顶部的颜色条320(其中条中的颜色对应于回答区间中的一个，且具有所述颜色的片段的长度对应于所述回答区间的置信度值)。评级条325可以示出接收的预报的“赞成”票的数目。在一些实施例中，当示出图3的提示时(图2的提示可以例如示出于图3的提示的正上方)或当示出图4的提示(下文论述)时图2的提示保持显示。这可以使得当前用户可能调整她或他对主机问题的响应，这已例如受到某些其它用户的基本理论的影响。
用于论证的系统可以从每一用户引发(在125，图1)对其它用户提供的基本理论的评估。在当前用户悬停于(例如，将鼠标指针放置于)任何其它用户的预报时，当前用户可以被呈现意见评级提示，图4中示出其实例。意见评级提示405可以为用户给出通过对问题“这是好的基本理论”回答“是”而投“赞成”票或者通过回答“否”而投“否决”票的机会。此外，在图4的实施例中，小的说话气泡图标410是可以打开编辑栏以增加对基本理论的评论的按钮。实际的文字编辑栏可能看起来类似于方框，在意见评级提示405的边界内和意见评级提示405的文字下方。文字评论的添加可以是对“这是好的基本理论？”问题的是/否回答的补充。除提供可以鼓励参与者更经常参与系统的可见的低努力反馈之外，允许用户提供对给定论点的整体评估还提供了可用于对基本理论进行排名和聚合的度量。
为了帮助跟踪用户提供的引用的值，用于论证的系统可以从每一用户引发(在130，图1)对其它用户提供的引用的评估。可能有利的是至少在相关性和真实性的度量上评估每一引用文件，因为这些是用于给定引用文件的正交信息片段；一个反映源(例如，引用的文档或公布)与论点之间的关系，且其它反映源自身的值。举例来说，给定源可以是准确且可信的，但依赖于所述引用文件的用户可能已经曲解其意义，从而导致其不正确地用以支持并不遵循所引用源中的信息的陈述。相反，参与者可以引用完全支持论点的源，但所引用源可能被广泛理解为不可信或高度偏差；在此情况下同样，论点中的引用文件的实用性可为低的。特别是从主题专家接收到真实性方面的多个否决票的源可以从讨论中完全移除。通过引发针对相关性和真实性的反馈，系统允许加权和判断个别论点，且通过鼓励使用外部源而不是纯粹基于意见的论证来促进富有成效的讨论。
用于论证的系统还可以引发(在135，图1)对评论的用户评论。然而，对此类评论可以限制讨论树的深度(例如，系统可以使得用户不可能对基本理论上的评论的评论提供评论)，以减少讨论离题的风险。
在当前用户悬停于另一用户的预报中的任何引用文件时，当前用户可以被呈现用于引发引用文件评级的提示，图5A中示出其实例。图5A的提示包含：相关性滑块505，当前用户可以用来指示引用文件的相关性；以及真实性滑块510，当前用户可以用来指示引用文件的真实性。随后可以在例如图5B的散点图中(例如，向当前用户，或向主机)显示聚合的二维引用文件评估。每一引用文件具有相应的评估集合和例如图5B的相应散点图。在一些实施例中，用户通过各种特征(例如，通过专门知识的程度，如图5B所示，或根据一个或多个其它特性，例如用户是否是供应引用文件的人的队友)被分类。所述分类可以在散点图中通过例如以对应颜色显示每一点来指示。
预报之间的距离可以定义且计算如下。针对序数预报，预报可以表示为N个回答区间上的概率质量函数p，使得每一回答pi∈[0，1]且
Figure BDA0003242619600000101
预报的回答密度可以是概率的加权总和，其中权重是基于回答区间，例如，每一权重可以是相应区间的中点或区间的指数。举例来说，回答密度可以被定义为
Figure BDA0003242619600000102
将两个预报p和q之间的相似性取为其相关性，
Figure BDA0003242619600000103
且预报距离随后被定义为
Figure BDA0003242619600000104
如果p是特定用户的预报，那么此度量对于比p加权更高(即，具有更高回答密度)的预报是正，且对于比p加权更低(即，具有更低回答密度)的预报是负，在两种情况下通过相似性按比例缩放。这允许将预报集合有意义地分割成
F+＝{q|Dord(p，q)≥0}和F-＝{q|Dord(p，q)＜0}
针对分类预报，距离可以两种方式中的任一个定义。可称为“关于最大回答值的同意”的第一定义涉及两个预报关于预报中的一个的首选的同意的程度。即，如果用户1对候选者B指派最大值，那么所有其它预报按其候选者B值进行比较。可称为“关于最大区间指数的同意”的第二选项首先涉及两个预报是否选择同一区间作为其最大值。这两个定义的细节在下方提供。在每一情况下，p是“参考”预报，其与“测试”预报q进行比较。
为了根据对最大回答值的同意计算距离，系统可首先选择含有参考预报的最大值的区间，
m＝argmax{p}
随后，系统可以计算所述区间上的距离，以预报相似性按比例缩放：
Figure BDA0003242619600000105
其中预报相似性r(p,q)定义与序数预报的情况相同。
如果预报q对区间m指派较大值，那么此度量为正，这被解释为对预报p的较极端同意。如果预报q对区间m指派较小值，那么此度量为负，这被解释为对预报p的较不极端同意。
为了根据对最大区间指数的同意计算距离，所述系统可以选择用于每一预报的最大区间指数：
m＝argmax{p}
n＝argmax{q}
如果这些指数是相等的，那么度量可以被选择为正，否则为负，以先前定义的距离量度的绝对值
Figure BDA0003242619600000111
按比例缩放(在下方等式中用作初步距离量度)：
Figure BDA0003242619600000112
其中可见符号项-1sgn|m-n|当对应于参考向量的最大元素的测试向量的元素的值是测试向量的最大元素时是一，且否则是负一。此度量提供不同的同意视角，使得在分区的正侧上的预报关于哪一个区间应当被指派最大值是一致的，且在负侧上的预报针对最大值拾取某一其它区间。
在一些实施例中，除允许用户通过直接评论交互式地评估彼此的响应和引用之外，系统还通过一系列语言分析算法自动评估(在140，图1)每一用户的基本理论的内容和质量。此方法可用以基于与基本理论相关联的预报的所估计准确性对每一基本理论指派得分，从而提供对用户提供的投票的判断的替代或并行方法。语言分析可以处理基本理论，且提供用以估计预报的准确性的特征集合。在一些实施例中，提取的特征在'397申请案中描述。举例来说，各种句子结构、词语使用、引用文件模式和用户的过去预报历史可以相关于训练监督机器学习算法(例如，支持向量机、贝叶斯网络或深度学习)来计算得分，所述得分是预报将经论证正确的可能性。这可以帮助从投票移除偏差且在存在很少用户投票的实例中填入质量信息。
此自动化评估可以使用概率性图形模型实现，称为用于合理化预报的概率性矩阵因式分解(PMF-RF)，其学习潜在用户简档与在每一预报基本理论中作出的论点之间的关系。此方法在'397申请案中描述。用于论证的当前系统的一些实施例可以设置为实施PMF-RF模型，使得其能够以高可能性的准确性识别质量基本理论。在一些实施例中，构建以下模型：(1)每一用户的预报能力(即，用户最终经论证正确的频率)，(2)特定问题的难度，和(3)响应于用户提供的基本理论而发生的讨论。通过理解这三个变量之间的关系，模型预测用户关于每一问题将有多准确。在小数据设定中，此模型通过用户的基本理论比仅通过查看其预报准确性可以了解用户更多。举例来说，如果模型能够从基本理论提取特征，那么可能需要较少历史数据来作出关于给定用户的预报的预测。此改进的对用户能力的理解可以随后用以提供哪些用户可能在辨论的任一方作出强论点的较准确估计。
在一些实施例中，例如当系统的关于问题协作的用户无法达成共识时，执行自动化聚合和协调(在145，图1)以产生协调的解决方案。举例来说，如果在给定时间(即，需要作出决策的“临界”时间)的响应变化超过阈值，那么此情况可以确定为存在。如果响应的变化超过阈值，那么系统可以确定不存在同意，且系统可以使用其已经具有的信息代表群组作出决策。另一实例可以是意见随时间的收敛；随着共识增长，变化可以朝向零减小(其中零变化将指示所有系统参与者之间的100％同意)。如果变化朝向零的减小在由提问的人指定的长时间周期中暂停，那么系统可以声明死锁且基于其已经具有的信息作出决策。如果系统的关于问题协作的用户无法达成共识，那么系统可以尝试使用用户关于彼此的基本理论和引用文件提供的反馈以及其自身的基本理论评估算法以产生讨论问题的共识意见，而无需来自用户的进一步输入。这可以通过评分机制完成，所述机制查看辨论的所有方的基本理论集合，且基于在每一基本理论上来自用户的加权投票、关于基本理论的评论以及关于基本理论的引用文件的相关性和真实性得分来对每一选项指派值。这允许系统对问题的潜在选项中的每一个指派单个值得分，这可随后被归一化为概率指派。
举例来说，可以使用用于任务指派的多任务建模框架，其学习群众中的参与者的技能，并且接着基于其要求和可用参与者的技能将所述技能指派到任务。此框架例如在M.Rostami等的“用于地理政治事件预报的众包分选算法(A Crowdsourcing TriageAlgorithm for Geopolitical Event Forecasting)”(RecSys'18，2018年10月2-7日，加拿大BC省温哥华市)中描述，其以引用的方式并入本文中。在此方法中，并非使用关于参与者的技能的信息用于指派，系统可利用由框架提供的技能和特征信息对个别系统输入(即，断言、基本理论得分和引用文件得分)指派权重以产生最终聚合系统响应。在此方法的学习和参数推断阶段期间，系统基于历史表现估计系统输入的参数(例如，基本理论提供者或投票者或评论者在此话题领域上在过去的正确程度、给定参考源的过去值等)。此动作还可以并入引用文件的真实性和相关性得分，其中良好参考论点比不良参考的论点或完全不具有参考的论点具有更高的权重。随后，学习所有模型参数后，系统可以通过考虑如上方标识的Rostami公开案的等式1中的框架中所描述的概率的值，将系统输入的特征并入到聚合过程中。因此，创建共识意见，其为通过个别参与者的引用文件和一般反馈得分加权的个别参与者意见的加权聚合。举例来说，在一些实施例中，所有预报被平均化且平均值用作系统响应。在其它实施例中，可以计算加权平均，如'397申请案中所描述。
当系统在其输入上执行协调以达成决策时，其可以产生用于人类评估的审计踪迹以确保(1)系统在其处理中尚未作出任何错误，以及(2)所有参与者可以看见且理解系统作出的决策，但具有完全的系统透明度。系统产生的审计踪迹针对系统协调的每一问题可以包含以下内容：每一基本理论ID，每一基本理论得分，每一个的引用文件和相关性和真实性得分的列表，讨论线程结构(即，线程中的每一基本理论或论点的等级)，以及决策中的每一输入的权重。可以实施图形用户界面以向用户显示此信息或其可以作为文本文件输出。
如本文所使用，如果(另一用户的)第一预报距当前用户的预报的距离的绝对值超过(另一用户的)第二预报距当前用户的预报的距离的绝对值，那么第一预报距当前用户的预报比第二预报“更远”。如本文所使用，“预报”是操作者未知的任何可定量信息，因为其是与尚未发生的一个或多个事件有关的信息，或是其它原因。因此，关于已经发生的失败的根本原因的假设可称为“预报”，即使它们不是关于未来事件的预测。如本文所使用，第一量和第二量“的比率”意味着第一量除以第二量。举例来说，“A和B的比率”意味着A/B。如本文所使用，词语“或”是包含性的，使得举例来说，“A或B”意味着(i)A、(ii)B和(iii)A和B中的任一个。
本文所描述的操作中的一些或全部可由一个或多个处理电路执行。举例来说，用于论证的系统可以代管于包含处理电路的服务器上，且每一用户和主机可以使用由包含处理电路的计算机显示的用户界面(例如，网络浏览器中)。服务器可以执行用户响应的聚合，以及自动化论点评估，以及自动化聚合和协调，如上文所论述。术语“处理电路”在本文中用以意指用于处理数据或数字信号的硬件、固件以及软件的任何组合。处理电路硬件可包含(例如)专用集成电路(application specific integrated circuit；ASIC)、通用或专用中央处理单元(CPU)、数字信号处理器(digital signal processor；DSP)、图形处理单元(GPU)以及如现场可编程门阵列(field programmable gate array；FPGA)的可编程逻辑器件。如本文中所使用，在处理电路中，每一功能由配置(即硬接线)成执行所述功能的硬件来执行，或由配置成执行存储在非暂时性存储介质中的指令的较通用硬件(如CPU)来执行。处理电路可在单个印刷电路板(printed circuit board；PCB)上制造或分布在若干互连PCB上方。处理电路可包含其它处理电路；例如，处理电路可包含互连在PCB上的两个处理电路FPGA和处理电路CPU。
图6是示出可用以实施本发明的实施例的彼此通信的各种计算机化系统的框图。
如图6所示，根据本公开的一些实施例的系统800与服务器801(例如，待操作的装置)连接以执行本文所描述的操作，例如基于预测状态改变产生报告或发送消息。在此实例中，服务器801可以包含社交媒体服务器或被配置成向用户发送关于事件的警示的其它电子通信装置。
举例来说，系统800可以包含被配置成运行提供一些实施例的功能性的应用程序的处理电路。此应用程序可以向多个用户中的每一个(例如，向由每一用户操作的相应网络浏览器)提供实施用户界面(例如图2-5B的那些)的页面，其允许每一用户提供输入以及查看和分级其它用户的输入。所述应用程序还可以执行用户响应的聚合和仲裁(如上文所论述)，且其可以响应于得出的结论(例如，由于用户共识，或由于仲裁)而采取动作(例如，采取校正动作)，如在下文进一步详细论述。在一些实施例中，所述应用程序可以是分布式的，例如，应用程序的提供用户界面且接收用户输入的部分可以在与聚合用户输入且可以执行仲裁的服务器不同的服务器上运行。系统800经由网络802连接到服务器801以发送和接收与经由移动和非移动装置访问的互连用户帐户(元素804)的各种社交媒体网络相关的信息，所述装置的非限制性实例包含台式计算机806、膝上型计算机808、智能电话810和其它移动装置812。用户帐户(元素804)的非限制性实例包含
Figure BDA0003242619600000151
用户帐户和
Figure BDA0003242619600000152
用户帐户。如本领域技术人员可理解，用户装置是可经由网络802接收和发射数据的任何装置。另外，用户帐户可以是可以或可能不能够接收针对性营销的社交媒体平台的用户帐户。
本发明的实施例还可以用作控制系统的输入。举例来说，控制系统可以是还可以作为用于诊断故障(例如，工业系统、核反应堆、洪水控制系统、汽车或类似物中)的根本原因的系统操作的系统的组件。响应于识别出根本原因(例如，关于根本原因达成共识)，系统可以采取矫正措施以补救故障(例如，在洪水控制系统的情况下，打开或关闭防洪闸门的自动化动作)。
在其它方面中，服务器801可以是社交网络平台或广告递送网络以经由社交网络账户(元素804)访问信息或自动提供针对性信息和/或广告到通信装置(元素806、808、810、810)上的显示屏。
计算机和其它处理电路
本发明的实施例的提及“处理电路”的使用的各种部分可以用逻辑门或者处理单元或处理电路的任何其它实施例来实施。本文中使用术语“处理单元”或“处理电路”来包含用于处理数据或数字信号的硬件、固件和软件的任何组合。
图7是示出与本发明的至少一个实施例结合使用的在本文中被称作计算机系统的处理系统、处理电路或者处理系统或处理电路的一部分的框图。
图7中示出根据一实施例的示例性计算机系统1200。示例性计算机系统1200被配置成执行与程序或算法相关联的计算、过程、操作和/或功能。在一个实施例中，本文所论述的某些过程和步骤被实现为一系列指令(例如，软件程序)，其驻留于计算机可读存储器单元内且由示例性计算机系统1200的一个或多个处理电路执行。当执行时，指令致使示例性计算机系统1200执行例如本文所描述的特定动作和展现特定行为。
示例性计算机系统1200可以包含被配置成传送信息的地址/数据总线1210。另外，例如处理电路1220等一个或多个数据处理单元与地址/数据总线1210耦合。处理电路1220被配置成处理信息和指令。在一实施例中，处理电路1220是微处理器。替代地，处理电路1220可以是例如并行处理器等不同类型的处理器，或现场可编程门阵列。
示例性计算机系统1200被配置成利用一个或多个数据存储单元。示例性计算机系统1200可以包含与地址/数据总线1210耦合的易失性存储器单元1230(例如，随机存取存储器(“RAM”)、静态RAM、动态RAM等)，其中易失性存储器单元1230被配置成存储用于处理电路1220的信息和指令。示例性计算机系统1200还可以包含与地址/数据总线1210耦合的非易失性存储器单元1240(例如，只读存储器(“ROM”)、可编程ROM(“PROM”)、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM“EEPROM”)、快闪存储器等)，其中非易失性存储器单元1240被配置成存储用于处理电路1220的静态信息和指令。替代地，示例性计算机系统1200可以例如在“云”计算中执行从在线数据存储单元检索的指令。在一实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个接口，例如接口1250。所述一个或多个接口被配置成使示例性计算机系统1200能够与其它电子装置和计算机系统介接。由所述一个或多个接口实施的通信接口可以包含有线(例如，串行缆线、调制解调器、网络适配器等)和/或无线(例如，无线调制解调器、无线网络适配器等)通信技术。
在一个实施例中，示例性计算机系统1200可以包含与地址/数据总线1210耦合的输入装置1260，其中输入装置1260被配置成将信息和命令选择传送到处理电路1220。根据一个实施例，输入装置1260是可以包含字母数字和/或功能键的字母数字输入装置，例如键盘。替代地，输入装置1260可以是除字母数字输入装置外的输入装置。在一实施例中，示例性计算机系统1200可以包含与地址/数据总线1210耦合的光标控制装置1270，其中光标控制装置1270被配置成将用户输入信息和/或命令选择传送到处理电路1220。在一实施例中，光标控制装置1270是使用例如鼠标、轨迹球、轨迹垫、光学追踪装置或触摸屏等装置实施的。尽管如此，在一实施例中，例如响应于与输入装置1260相关联的特殊键和键序列命令的使用而经由来自输入装置1260的输入引导和/或激活光标控制装置1270。在替代实施例中，光标控制装置1270被配置成由语音命令引导或导引。
在一实施例中，示例性计算机系统1200还可以包含与地址/数据总线1210耦合的一个或多个任选的计算机可用数据存储装置，例如存储装置1280。存储装置1280被配置成存储信息和/或计算机可执行指令。在一个实施例中，存储装置1280是例如磁性或光盘驱动器(例如，硬盘驱动器(“HDD”)、软盘、光盘只读存储器(“CD-ROM”)或数字通用光盘(“DVD”))等存储装置。依据一个实施例，显示装置1290与地址/数据总线1210耦合，其中显示装置1290被配置成显示视频和/或图形。在一实施例中，显示装置1290可以包含阴极射线管(“CRT”)、液晶显示器(“LCD”)、场发射显示器(“FED”)、等离子显示器，或适合于显示视频和/或图形图像和用户可辨识的字母数字字符的任何其它显示装置。
本文呈现示例性计算机系统1200作为根据一实施例的示例性计算环境。然而，示例性计算机系统1200未严格地限于计算机系统。举例来说，一个实施例提供示例性计算机系统1200表示根据本文所描述的各种实施例可以使用的一类数据处理分析。此外，也可以实施其它计算系统。实际上，本发明技术的精神和范围不限于任何单个数据处理环境。因此，在一实施例中，使用由计算机执行的例如程序模块等计算机可执行指令来控制或实施本发明技术的各种实施例的一个或多个操作。在一个示例性实施方案中，此类程序模块包含被配置成执行特定任务或实施特定抽象数据类型的例程、程序、对象、组件和/或数据结构。另外，一个实施例提供通过利用一个或多个分布式计算环境实施本发明技术的一个或多个方面，例如其中任务是由通过通信网络链接的远程处理装置执行，或例如其中各种程序模块位于包含存储器存储装置的本地和远程计算机存储介质中。
应了解，虽然本文中可以使用术语“第一”、“第二”、“第三”等来描述各种元件、组件、区域、层和/或部分，但这些元件、组件、区域、层和/或部分不应受这些术语限制。这些术语仅用于区分一个元件、组件、区域、层或部分与另一元件、组件、区域、层或部分。因此，本文中所论述的第一元件、组件、区、层或区段可称为第二元件、组件、区、层或区段，而并不脱离本发明概念的精神和范围。
为易于描述，本文中可使用空间相对术语，如“在...之下”、“在...下方”、“下部”、“在...下面”、“在...上方”、“上部”和其类似者来描述一个元件或特征与另一(些)元件或特征的关系，如图示所示的。应理解，除图中所描绘的定向之外，这种空间相对术语意图涵盖装置在使用或操作中的不同定向。举例来说，如果图中的装置倒过来，那么描述为“在”其它元件或特征“下方”或“之下”或“下面”的元件将定向“在”其它元件或特征“上方”。因此，实例术语“在......下方”和“在......下面”可涵盖在上方和在下方的定向。装置可以其它方式定向(例如旋转90度或处于其它定向)，且本文中所使用的空间相对描述词应相应地进行解译。
本文中所使用的术语仅出于描述特定实施例的目的，且并不意图限制本发明概念。
如本文中所使用，除非上下文另作明确指示，否则单数形式“一(a/an)”也意图包含复数形式。应进一步理解，当用于本说明书中时，术语“包括(comprises/comprising)”指定存在所陈述的特征、整数、步骤、操作、元件和/或组件，但不排除存在或添加一或多个其它特征、整数、步骤、操作、元件、组件和/或其群组。如本文所用，术语“和/或”包含相关联的所列项目中的一个或多个的任何和所有组合。例如“中的至少一个”等表述当在元件列表之前时修饰元件的整个列表而不是修饰列表的个别元件。另外，当描述本发明概念的实施例时，使用“可”是指“本公开的一或多个实施例”。此外，术语“示例性”意欲指代实例或说明。如本文中所使用，术语“使用(use/using/used)”可分别视为与术语“利用(utilize/utilizing/utilized)”同义。
本文中所述的任何数值范围意图包含所述范围内归入的相同数值精度的所有子范围。举例来说，“1.0至10.0”的范围意图包括1.0的所述最小值与10.0的最大值之间(且包括在内)的子范围，也就是说，具有等于或大于1.0的最小值和等于或小于10.0的最大值，如2.4至7.6。本文中所述的任何最大数值限制意图包括其中包含的所有较低数值限制且本说明书中所述的任何最小数值限制意图包括其中包含的所有较高数值限制。
虽然本文已经具体描述和示出用于异步协作和基于机器的仲裁的结构化论证的系统的示例性实施例，但本领域的技术人员将了解许多修改和变化。因此，应理解可以除本文具体描述的方式外的方式实施说明根据本公开的原理构造的用于异步协作和基于机器的仲裁的结构化论证的系统。本发明也定义于所附权利要求书和其等效物中。

Claims (20)

1.一种用于收集和处理用户输入的方法，其特征在于，所述方法包括：
由处理电路向第一用户呈现用于引发第一响应的提示，所述第一响应包括：
数字部分，其包括一个或多个数字，以及
解释性部分；
由所述处理电路从所述第一用户接收所述第一响应；
由所述处理电路从多个其它用户中的每一个接收多个其它响应中的相应响应；
由所述处理电路向所述第一用户显示其它响应的有序列表；
由所述处理电路确定所述第一用户和所述其它用户是否已达成共识；
响应于确定所述第一用户和所述其它用户已形成共识预报，由所述处理电路产生所述共识预报；
响应于确定所述第一用户和所述其它用户尚未形成共识预报，由所述处理电路产生协调的预报；以及
响应于所述共识预报或响应于所述协调的预报，由所述处理电路造成采取动作，
其中：
所述多个其它响应中的第二响应在所述有序列表中早于所述多个其它响应中的第三响应，且
所述第二响应根据距离的量度比所述第三响应距所述第一响应更远。
2.根据权利要求1所述的方法，其特征在于，还包括拒绝所述第一用户访问所有其它响应直到从所述第一用户接收到所述第一响应为止。
3.根据权利要求1所述的方法，其特征在于，用于引发所述第一响应的所述提示包括用于引发所述数字部分的提示和用于引发所述解释性部分的提示，
用于引发所述数字部分的所述提示包括用于引发预报的提示；且
用于引发所述解释性部分的所述提示包括用于引发针对所述预报的基本理论的提示。
4.根据权利要求3所述的方法，其特征在于，用于引发所述解释性部分的所述提示还包括用于引发支持所述基本理论的引用文件的提示。
5.根据权利要求1所述的方法，其特征在于，还包括向所述第一用户呈现用于引发所述第二响应的评级的提示。
6.根据权利要求1所述的方法，其特征在于，还包括：
向所述多个其它用户中的第二用户显示所述第一响应，以及
从所述第二用户引发所述第一响应的评级。
7.根据权利要求6所述的方法，其特征在于，还包括向所述第二用户呈现用于引发所述第一响应中的引用文件的评级的提示。
8.根据权利要求7所述的方法，其特征在于，用于引发所述第一响应中的所述引用文件的所述评级的所述提示包括：
用于引发所述引用文件的相关性的评估的提示；以及
用于引发所述引用文件的真实性的评估的提示。
9.根据权利要求1所述的方法，其特征在于，还包括在向所述第一用户显示其它响应的所述有序列表之后，
向所述第一用户呈现用于引发对所述第一响应的调整的提示。
10.根据权利要求1所述的方法，其特征在于：
所述数字部分表示序数预报，且由数字向量表示；且
所述距离的量度针对第一向量和第二向量是以下两者的比率：
以下两者之间的差：
所述第一向量的回答密度，和
所述第二向量的回答密度；以及
所述第一向量与所述第二向量之间的相似性的量度。
11.根据权利要求10所述的方法，其特征在于，所述第一向量和所述第二向量中的每一个的所述回答密度是所述向量的元素上的加权总和，其中每一权重是相应元素的指数。
12.根据权利要求11所述的方法，其特征在于，所述相似性的量度是以下两者的比率：
所述向量的点积，以及
所述向量的量值的乘积。
13.根据权利要求1所述的方法，其特征在于：
所述数字部分表示分类预报，且由数字向量表示，
测试向量的距参考向量的所述距离的量度是以下两者的比率：
以下两者之间的差：
所述参考向量的最大元素的值，和
对应于所述参考向量的所述最大元素的所述测试向量的元素的值；以及
所述向量之间的相似性的量度。
14.根据权利要求13所述的方法，其特征在于，所述相似性的量度是以下两者的比率：
所述向量的点积，以及
所述向量的量值的乘积。
15.根据权利要求1所述的方法，其特征在于：
所述数字部分表示分类预报，且由数字向量表示，
测试向量的距参考向量的所述距离的量度是以下两者的乘积：
正负号项，以及
所述测试向量的距所述参考向量的初步距离量度。
16.根据权利要求15所述的方法，其特征在于，所述测试向量的距所述参考向量的所述初步距离量度是以下两者的比率的绝对值：
以下两者之间的差：
所述参考向量的最大元素的值，和
对应于所述参考向量的所述最大元素的所述测试向量的元素的值；以及
以下两者之间的比率：
所述向量的点积，以及
所述向量的量值的乘积。
17.根据权利要求16所述的方法，其特征在于，所述正负号项是：
当对应于所述参考向量的所述最大元素的所述测试向量的所述元素的所述值是所述测试向量的最大元素时是一，且
否则是负一。
18.根据权利要求1所述的方法，其特征在于，还包括由处理电路对所述第一响应且对所述其它响应中的每一个指派评级。
19.根据权利要求1所述的方法，其特征在于，还包括向所述第一用户显示所述数字部分在其它响应的数字部分的范围内的位置。
20.一种用于收集和处理用户输入的系统，其特征在于，所述系统包括：
处理电路，以及
存储器，其耦合到所述处理电路且其上存储有指令，所述指令当由所述处理电路执行时致使所述处理电路：
向第一用户呈现用于引发第一响应的提示，所述第一响应包括：
数字部分，其包括一个或多个数字，以及
解释性部分；
从所述第一用户接收所述第一响应；
从多个其它用户中的每一个接收多个其它响应中的相应响应；以及
向所述第一用户显示其它响应的有序列表
确定所述第一用户和所述其它用户是否已达成共识；
响应于确定所述第一用户和所述其它用户已形成共识预报，产生所述共识预报；
响应于确定所述第一用户和所述其它用户尚未形成共识预报，产生协调的预报；以及
响应于所述共识预报或响应于所述协调的预报，造成采取动作，
其中：
所述多个其它响应中的第二响应在所述有序列表中早于所述多个其它响应中的第三响应，且
所述第二响应根据距离的量度比所述第三响应距所述第一响应更远。
CN201980093500.5A 2019-03-08 2019-12-20 用于异步协作和基于机器的仲裁的结构化论证的系统 Pending CN113508406A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962815631P 2019-03-08 2019-03-08
US62/815,631 2019-03-08
PCT/US2019/068175 WO2020185283A1 (en) 2019-03-08 2019-12-20 System of structured argumentation for asynchronous collaboration and machine-based arbitration

Publications (1)

Publication Number Publication Date
CN113508406A true CN113508406A (zh) 2021-10-15

Family

ID=69191270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980093500.5A Pending CN113508406A (zh) 2019-03-08 2019-12-20 用于异步协作和基于机器的仲裁的结构化论证的系统

Country Status (4)

Country Link
US (1) US11238470B2 (zh)
EP (1) EP3935584B1 (zh)
CN (1) CN113508406A (zh)
WO (1) WO2020185283A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114354188A (zh) * 2022-01-10 2022-04-15 郑州大学 一种基于完全自适应噪声集合经验模态分解的旋转机械故障诊断方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220092619A1 (en) * 2018-11-19 2022-03-24 Veriphix, Inc. Method and System for Detection of Motivation
US11673045B2 (en) * 2021-03-29 2023-06-13 Charter Communications Operating, Llc Event synchronization in an online game

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060212339A1 (en) * 2005-03-17 2006-09-21 Hubbard Philip M Method of producing a consensus forecast
US20070067211A1 (en) * 2005-09-22 2007-03-22 Kaplan Craig A Graphical forecasting interface
US7451213B2 (en) * 2005-09-30 2008-11-11 Iq Company Online forecasting system and method
US7617245B2 (en) * 2007-02-26 2009-11-10 Accenture Global Services Gmbh Workflow definition and management system
US20100004976A1 (en) * 2008-04-08 2010-01-07 Plan4Demand Solutions, Inc. Demand curve analysis method for analyzing demand patterns
US9792615B2 (en) * 2008-09-09 2017-10-17 Ebay Inc. Automatic sequential review elicitation
US9461876B2 (en) * 2012-08-29 2016-10-04 Loci System and method for fuzzy concept mapping, voting ontology crowd sourcing, and technology prediction
US10467327B1 (en) * 2013-03-15 2019-11-05 Matan Arazi Real-time event transcription system and method
US10268660B1 (en) * 2013-03-15 2019-04-23 Matan Arazi Real-time event transcription system and method
US20150339415A1 (en) * 2014-05-21 2015-11-26 Gary L. KLEIN System and method for creating a simulation model via crowdsourcing
US11308531B2 (en) * 2017-04-26 2022-04-19 Google Llc Application rating and feedback
WO2019113546A1 (en) * 2017-12-08 2019-06-13 FairClaims, Inc. Assistance engine for multiparty mediation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114354188A (zh) * 2022-01-10 2022-04-15 郑州大学 一种基于完全自适应噪声集合经验模态分解的旋转机械故障诊断方法

Also Published As

Publication number Publication date
EP3935584B1 (en) 2024-07-31
US11238470B2 (en) 2022-02-01
EP3935584A1 (en) 2022-01-12
WO2020185283A1 (en) 2020-09-17
US20200286108A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
CN113614757B (zh) 用于事件的人机混合预测的系统和方法
US11663545B2 (en) Architecture, engineering and construction (AEC) risk analysis system and method
US10672012B2 (en) Brand personality comparison engine
Cabrerizo et al. A decision support system to develop a quality management in academic digital libraries
CN110070391B (zh) 数据处理方法、装置、计算机可读介质及电子设备
Liu et al. Risk assessment in system FMEA combining fuzzy weighted average with fuzzy decision-making trial and evaluation laboratory
US9152969B2 (en) Recommendation ranking system with distrust
US20200118145A1 (en) Characterizing and Modifying User Experience of Computing Environments Based on Behavior Logs
Allahbakhsh et al. Reputation management in crowdsourcing systems
US20170323212A1 (en) Agent aptitude prediction
CN113508406A (zh) 用于异步协作和基于机器的仲裁的结构化论证的系统
WO2017088026A1 (en) Computer-implemented frameworks and methodologies configured to enable delivery of content and/or user interface functionality based on monitoring of activity in a user interface environment and/or control access to services delivered in an online environment responsive to operation of a risk assessment protocol
US20170061448A1 (en) Brand Personality Perception Gap Identification and Gap Closing Recommendation Generation
WO2017027667A1 (en) Method and system for characterizing a user's reputation
CN111639706A (zh) 基于图像集的个人风险画像生成方法及相关设备
CN117194779A (zh) 基于人工智能的营销系统优化方法、装置及设备
Ying et al. How to make project plans trustworthy: an investigation based on multi-criteria contractor selection
EP4099250A1 (en) Method and device for determining quality of user experience of products
WO2020214187A1 (en) Identifying and quantifying sentiment and promotion bias in social and content networks
CN115545674A (zh) 一种人岗匹配检测方法、装置、设备以及存储介质
CN109460778A (zh) 活动评估方法、装置、电子设备及存储介质
Cao et al. From labor to trader: Opinion elicitation via online crowds as a market
Virvou et al. VIRTSI: A novel trust dynamics model enhancing Artificial Intelligence collaboration with human users–Insights from a ChatGPT evaluation study
US20240169146A1 (en) Recommendation generation using machine learning model trained on multi-step performance data
US11972358B1 (en) Contextually relevant content sharing in high-dimensional conceptual content mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination