CN117882066A - 基于用户可信度验证众包现场报告 - Google Patents

Abstract

在不参考基准真相数据的情况下评估众包现场报告的有效性。现场报告验证系统通过应用迭代模型来选择接受的标签来评估用户提交的标签，每个表示场所属性。该方法包括识别评估时间段的现场报告的子集。模型按提交时间戳迭代地生成暂定接受的标签的集合。每个暂定接受的标签基于用户可信度得分和与每个用户提交的标签的相对年龄相关联的衰减因子。该模型按场所属性和场所标识符重复，以生成暂定接受的标签的超集，并且更新用户可信度得分。当值收敛时，模型会为子集中的每个场所属性标识一个接受的标签。

Description

基于用户可信度验证众包现场报告

相关申请的交叉引用

本申请要求于2021年8月31日提交的美国申请序列号17/462,125的优先权，其内容通过引用整体并入本文。

技术领域

本公开中阐述的示例涉及电子记录和数据分析领域，包括用户提供的内容。更具体地，但不是通过限制的方式，本公开描述了基于用户可信度(credibility)来评估众包现场报告(crowdsourced field report)。

背景技术

地图和地图相关的应用包括关于兴趣点的数据。关于兴趣点的数据可以通过众包获得。

众包涉及一个庞大的、相对开放的、以及不断发展的用户的池，他们可以在没有特殊技能或培训的情况下参与并收集实时数据。众包场所数据的质量差异很大，这取决于现场报告的准确性和用户的可信度。

如今，用户可以使用许多类型的计算机和电子设备，诸如移动设备(例如，智能手机、平板电脑和膝上型计算机)和可穿戴设备(例如，智能眼镜、数字眼镜)，其包括各种相机、传感器、无线收发器、输入系统和显示器。

附图说明

所描述的各种示例的特征从参考各图的以下详细描述中将容易地理解。在描述和整个附图的若干个视图中，每个元件都使用参考数字。当存在多个相似元件时，单个参考数字可以被分配给类似的元件，其中附加的小写字母指代具体的元件。

图中示出的各个元件除非另有指示，否则不按比例绘制。为了清楚起见，各个元件的尺寸可以放大或缩小。这几幅图描绘了一个或多个实施方式，并仅通过示例的方式呈现，而不应被解释为限制性的。附图中包括以下各图：

图1是列出选择接受的标签的示例方法中的步骤的流程图；

图2A是示出根据本文描述的模型的示例时间迭代分析的现场报告的示例子集的图；

图2B是示出图2A中所示的示例时间迭代的不同候选标签和累积得分的示例列表的图；

图3A是示出根据另一示例时间迭代分析的图2A的现场报告的示例子集的图；

图3B是示出图3A中所示的示例时间迭代的不同候选标签和累积得分的示例列表的图；

图4是示出每个用户提交的标签与通过将模型应用于图2A的现场报告的示例子集而选择的暂定接受的标签的比较的图；

图5是示出按场所-属性对排列的、用于评估是否满足标签条件的暂定接受的标签的示例集合的图；

图6是根据一些示例的计算机系统形式的机器的图解表示，在该计算机系统内可以执行指令集以使机器执行本文所述的方法或过程中的任何一个或多个；以及

图7是示出根据示例的其中可以实施本公开的软件架构的框图。

具体实施方式

地图和地图相关的应用经常包括关于兴趣点的不正确或陈旧的数据。参考用于评估来自众包现场报告的用户提交的标签的有效性(例如，用于更新关于兴趣点的数据)的示例来描述各种实施方式和细节。例如，数学模型通过提交时间戳为现场报告的子集迭代生成暂定接受的标签的集合。每个暂定接受的标签基于用户可信度得分和与每个用户提交的标签的相对年龄相关联的衰减因子(decay factor)。该模型按场所属性和场所标识符迭代重复，以生成暂定接受的标签的超集，并更新用户可信度得分。当值收敛时，模型会为子集中的每个场所属性标识一个接受的标签。概率模型评估用户提交的现场报告的有效性和用户的相对可信度，而不使用专业版主(expert moderator)或基准真相(ground truth)数据集。

示例方法包括根据评估时间段识别存储的现场报告的子集，并且识别该子集中的一个或多个不同的场所标识符，其中每个识别的不同的场所标识符与场所属性集合相关联。该方法包括建立一个或多个场所属性对，每个包括不同的场所标识符中的一个及其相关联的场所属性集合。使用数学模型，该方法包括生成暂定接受的标签的集合，每个暂定接受的标签与用户提交的标签中的一个及其相关联的从第一时间戳到参考时间戳的提交时间戳相关联。每个暂定接受的标签基于全局用户可信度得分(global user credibilityscore)、衰减因子和累积候选标签得分(cumulative candidate label score)。该方法包括通过提交时间戳迭代地重复该生成过程，直到参考时间戳等于最后一个时间戳为止。

在一些实施方式中，该方法包括针对相关联的场所属性集合中的每个场所属性，按场所属性迭代地产生与第一不同场所标识符相关联的第一暂定接受的标签的集合，并且还针对该子集中的每个不同的场所标识符，按场所标识符迭代地产生与后续不同场所标识符相关联的后续暂定接受的标签的集合。该过程还包括基于当前超集中的每个暂定接受的标签的集合按场所属性对与至少一个先前超集中的每个暂定接受的标签的集合的比较来确定是否满足标签条件。响应于确定满足标签条件，该方法包括为子集中的每个场所属性选择接受的标签，其中每个接受的标签包括来自当前超集的最新值。

响应于确定不满足标签条件，该方法包括基于对子集中每一个用户提交的标签在其相关联的提交时间戳时的评估，更新与每个用户标识符相关联的全局用户可信度得分，并且迭代地并根据更新的全局用户可信度得分重复生成过程，产生与下一次迭代相关联的暂定接受的标签的下一超集，直到满足标签条件为止。

尽管本文参考评估场所属性的真实性来描述各种系统和方法，但所描述的技术可应用于评估任何数据的相对真实性、可信度或价值。

以下详细描述包括说明本公开中阐述的示例的系统、方法、技术、指令序列和计算机器程序产品。许多细节和示例被包括在内，出于提供对所公开主题及其相关教导的透彻理解的目的。然而，相关领域技术人员可以理解在没有这些细节的情况下如何应用相关教导。所公开主题的各方面不局限于所描述的具体设备、系统和方法，因为相关教导可以以各种方式应用或实践。本文中使用的术语和命名仅是出于描述特定方面的目的，并非旨在是限制性的。一般而言，众所周知的指令实例、协议、结构和技术不一定详细显示。

如本文中使用的术语“被耦合”或“被连接”是指包括链路或类似物的任何逻辑连接、光学连接、物理连接或电气连接，通过该连接，由一个系统元件产生或供应的电信号或磁信号被传递到另一个被耦合或被连接的系统元件。除非另有描述，否则被耦合或被连接的元件或设备不一定直接彼此连接，并且可以由中间部件、元件或通信介质分隔开，其中的一个或多个可以修改、操纵或携带电信号。术语“在……上”意味着由一个元件直接支撑，或者由元件通过集成到该元件中或被其支撑的另一个元件间接支撑。

示例的额外目的、优点和新颖特征将在以下描述中部分地阐述，并且在检查以下内容和附图时，部分地将对本领域技术人员而言变得显而易见，或者可以通过示例的生产或操作获知。本主题的目的和优点可以借助于所附权利要求中特别指出的方法、工具和组合来实现或达到。

地图和地图相关的应用经常包括关于兴趣点的不正确或陈旧的数据。派遣现场专业人员来收集和更新场所数据耗时且昂贵。专有数据集昂贵且不规则。数据质量在地理上有所不同，最大城市的数据可接受，以及其他地方的覆盖相对较差。聘请专业内容版主来审查和确认用户提交的场所数据会增加延迟和费用，通常会抵消从非专业人员用户收集场所数据的好处。

在地图相关应用的示例上下文中，用户可以提交关于新场所(例如，添加场所动作)或关于现有场所(例如建议编辑动作)的现场报告。在一些应用中，现场报告的格式包括局限于预定义的属性集合的场所数据，其中一些属性预计随时间的推移是相对静态的(例如，姓名、地址、企业类型、电话号码)，而另一些则会发生改变或是动态的(例如，入场政策、工作时间、便利设施)。例如，用户提交的现场报告包括与特定属性(例如，企业类型)相关联的数据提交或标签(例如，咖啡馆)。现场报告不需要为每一个属性都包括一个标签。例如，建议编辑动作可能包括与一个属性相关联的单个标签。添加场所动作可能包括大多数或所有属性的标签。

对于正在使用的活跃应用，成千上万的用户以各种方式参与其中，包括提交包含场所数据的现场报告。对于允许相对无限制提交的应用，传入的现场报告通常包括重叠的标签。在一个方面中，关于特定属性的重叠标签倾向于确认标签的准确性。例如，数百名用户可能会提交与特定场所相关联的“企业名称”属性的标签“Acme Bank”。收到多个共同的标签表明标签是准确的。在另一个方面中，相对于其他现场报告，标签可能部分冲突(例如，对于“企业类型”属性，咖啡馆与餐厅)，或者在某些情况下，完全冲突(例如银行与药房)。

由于错误、拼写错误和主观评估(例如，蛋糕店与面包店)，通常预计在用户提交的标签之间发生不同程度的偶发冲突。然而，传入的现场报告之间的重大冲突表明，特定地方存在一个重要问题。该问题可能表示真正的改变，诸如新的工作时间或新的企业名称。该问题还可能指示可疑的用户行为(例如，错误的现场报告、欺诈性提交、恶意意图)或其他有必要进一步调查的异常情况。

用户和参与企业想要反映客观基准真相的场所数据；换句话说，是准确、可靠和最新的场所数据。可以通过购买专有的第三方数据集或通过派遣专业调查人员进入现场来寻找基准真相场所数据。聘请专业内容版主来调查和解决每个冲突需要时间并增加费用。

在一个方面中，本文描述的系统和方法有助于解决冲突的众包数据，而不依赖于客观的基准真相数据。

图1是列出根据用于现场报告的子集中的用户提交的标签的示例模型，从多个生成的暂定接受的标签的集合中选择接受的标签的示例方法中的步骤的流程图100。流程图100包括计算衰减因子220的过程，衰减因子特别好地适合于动态的或随时间(例如，工作时间)而改变的场所属性。对于随时间保持相对静态的场所属性(例如，企业名称)，该过程不包括计算衰减因子220。在这个方面中，静态场所属性表示相对于流程图100中描述的一个或多个步骤的特殊情况。

尽管参考现场报告、标签、场所属性和场所数据描述了这些步骤，但本领域技术人员将基于本文的描述理解所描述步骤的其他有益用途和实施方式。所示和描述的步骤中的一个或多个可以同时、以一系列、以除所示和描述之外的顺序、或者结合附加步骤来执行。一些步骤可以省略，或者在一些应用中可以重复。

在一些示例实施方式中，现场报告202包括用户标识符212、提交时间戳216、场所标识符35和表示场所属性20的至少一个用户提交的标签214。在一些实施方式中，用户标识符212包括用户名、设备标识符(例如，设备IP地址、设备元数据)、与用户设备相关联的地理位置数据(例如，EXIF格式的图像元数据)、以及与作为参与或注册用户的特定人员相关联的其他标记。在一些实施方式中，提交时间戳216表示当用户提交现场报告202时的日期和时钟时间。在一些实施方式中，场所标识符35包括场所名称、唯一场所编号(例如，参考号或序列号)、地理空间标识符(例如，地理元数据、GPS数据)以及与提交现场报告202的地理场所相关联的其他标记。

现场报告202可以被存储在一个或多个计算设备600(诸如本文所述的计算设备)的存储器604中(例如，在现场报告数据库或关系数据库集合中)。类似地，用户记录可以被存储在一个或多个计算设备600的存储器604中(例如，在用户数据库或关系数据库集合中)。在一些实施方式中，用户记录包括用户标识符212、全局用户可信度得分218以及各种其他用户特定的数据和信息。

在一些实施方式中，用户提交的标签214包括一个或多个字符(例如，字母、单词、数字、空格、标点符号)、值(例如，从菜单中的选择、与特定变量相关联的值)或与场所属性20相关联或表示场所属性20的任何其他标记。在一些实施方式中，场所属性20包括与场所或兴趣点相关联的各种属性中的任何一种，包括预计随时间保持相对静态的属性(例如，姓名、地址、企业类型、电话号码)和相对动态、可变，或随时间的推移发生改变的其他属性(例如，入场政策、工作时间、便利设施)。例如，包括文本字符串“Acme Bank”的用户提交的标签214可以被提交以表示标题为“企业名称”的场所属性20。包括数值8的另一示例用户提交的标签214可以被提交以表示标题为“星期一开放时间”的场所属性20。

图1中的框102描述了根据评估时间段51识别多个现场报告202的子集204的示例步骤。现场报告202可以被存储在存储器中，如本文所述。在该方面中，识别子集204的示例步骤包括从存储器检索所存储的现场报告202的子集204。在一些实施方式中，子集204可以根据期望的或特定的评估时间段51(例如，从开始日期和时间到结束日期和时间)，通过提交时间戳216，通过解析包含在现场报告202中的数据来识别。在一些实施方式中，评估时间段51可以跨越与大多数或所有现场报告202相关联的时间戳。

图2A中所示的现场报告202的示例子集204相对较小，以提供一个简单的示例。然而，在实践中，用于分析的子集204可以包括大量的现场报告。此外，在一些实施方式中，在框102处识别子集204的示例步骤包括检索一个或多个附加子集，每个包括来自不同评估时间段的现场报告202。例如，用于第一选定场所标识符31和第一选定场所属性21的现场报告的子集204可以跨越相对长的持续时间(例如，90天)。在一些实施方式中，子集204可以根据不同的评估时间段(例如，时段中最早的十天，以最近的现场报告结束的四十天)被划分或解析成一个或多个附加子集。

在另一个方面中，根据评估时间段51识别多个现场报告202的子集204的示例步骤包括一个或多个初始化步骤。例如，在一些实施方式中，第一迭代包括将每个用户标识符212的全局用户可信度得分218设置为0.5，其中值1将指示完全可信度(即，用户提交的标签214总是正确的)，以及值0将指示他们的用户提交的标签214总是不正确的。在相关方面中，对于第二和随后的迭代，在一些实施方式中，初始化步骤包括针对本文所述的模型10的下一迭代使用每个用户标识符212的更新的全局用户可信度得分218。在一些实施方式中，初始化步骤包括为暂定接受的标签的集合238建立空位或空集(例如，图4中所示的集合238将被初始化为空集)。

图1中的框104描述了在已识别的现场报告的子集204上运行数学模型10的示例步骤，如本文所述。在一些实施方式中，如图所示，迭代地重复模型10，直到满足标签条件500为止(框122)。

图1中的框106描述了在子集204中的所有不同的场所标识符35上循环的示例步骤。在一些实施方式中，该示例步骤包括识别子集204中的一个或多个不同的场所标识符35的过程。如本文所使用的，集合或子集中的不同值包括该集合中的所有不同值，其中去除了重复，使得仅每个不同值的一个实例被包括。在实践中，子集204可以包括该子集中的许多现场报告202中的大量和各种各样的场所标识符35。例如，子集204可以包括与被称为AcmeBank的场所相关联的场所标识符35(例如AB31NK6)的三百个实例。在去除重复实例之后，不同场所标识符35的列表将包括AB31NK6的单个实例。在一些实施方式中，如图所示，按场所标识符迭代地重复在子集204中的所有不同场所标识符35上循环的过程，直到所有的模型10已经应用于所有不同的场所标识符35为止(框116)。

每个识别的不同场所标识符35与场所属性20的集合相关联。例如，被称为AcmeBank的场所可以包括大量和各种各样的场所属性20(例如，场所标识符35(AB31NK6)、地址、企业类型、电话号码、工作时间、入场政策和类似物)。与特定场所标识符相关联的场所属性20在本文中可以被称为场所属性集合。图1中的框108描述了在该集合中的所有场所属性20上循环的示例步骤。在一些实施方式中，如图所示，按场所属性20迭代地重复在所有场所属性上循环的过程，直到所有模型10已经应用于该集合中的所有场所属性为止(框114)。

在相关方面中，在一些实施方式中，识别场所标识符和属性和在场所标识符和属性上循环的步骤包括建立一个或多个场所属性对340(图5)，每个包括不同的场所标识符35中的一个及其相关联的场所属性20的集合。

图1中的框110描述了在与子集204中的每个用户提交的标签214相关联的所有提交时间戳216上循环的示例步骤。在一些实施方式中，如图所示，按时间戳迭代地重复在所有提交时间戳216上循环的过程，直到所有模型10已经应用于子集204中的所有提交时间戳216为止(框112)。

在另一个方面中，在所有提交时间戳216上循环的示例步骤包括生成暂定接受的标签的集合238，每个标签与用户提交的标签214中的一个及其相关联的提交时间戳216相关联。在一些实施方式中，提交时间戳216的组跨越从第一时间戳232到参考时间戳234的时间。如本文所述，在一些实施方式中，每个暂定接受的标签238基于全局用户可信度得分218、衰减因子220和累积候选标签得分224。

图2A是示出根据本文所述的模型10的示例迭代分析的现场报告的示例子集204的图。在一些实施方式中，模型10是现场报告验证系统200的一部分。在该示例中，子集204包括与第一不同场所标识符31(来自所识别的不同场所标识符35的列表)相关联的现场报告。如图所示，示例子集204包括与使用字母A、B、C、E、F和G表示的若干用户标识符212中的每个相关联的记录(例如，在该示例中，每一行)。为了清楚起见，在该示例中，子集204仅包括六个记录。用于由本文描述的模型10进行分析和研究的典型子集204可以包括数百或数千个记录。

下一列示出了与第一不同场所标识符31(例如Acme Bank)相关联的第一场所属性21(例如星期一开放时间)的用户提交标签214的示例。如图所示，在该示例中，用户提交的标签214包括指示银行在星期一开放的小时数的数字。示例提交时间戳216指示提交每个现场报告202时的日期和时间。在一些实施方式中，时间戳216包括日期和通用或协调的时钟时间。

在所示的示例中，用户提交的标签214是完全不同的，其值范围从7到12。完全不同的值揭示了传入现场报告202之间的冲突，这表明该特定的场所属性21或场所标识符31可能存在潜在问题。潜在问题可能表示真正的改变(例如，新的工作时间)、报告错误(例如，用户输入不正确的值)或数据中的一些其他异常。在一些实施方式中，本文所描述的模型10被配置为分析包含完全不同或冲突的用户提交的标签214的子集204(例如，拒绝子集204，除非完全不同的标签214的数量或百分比超过预定的最小阈值)。在这个方面中，例如，包含相似或同质的用户提交的标签214(例如，所有八个)的子集204将不需要模型10的分析和解析。基于用户提交的标签214(例如，所有八个)的这一子集之间的佐证，模型10推断出所有用户都提交了正确的响应，并且相应地，每个全局用户可信度得分218将提高。

下一列示出了与每个用户标识符212相关联的示例全局用户可信度得分218。得分218被描述为全局的，因为在一些实施方式中，全局用户可信度得分218反映了基于用户提交的所有现场报告202(即，对于大多数或所有场所属性20、场所标识符35和时间段，如接收或存储在现场报告数据库中)，关于场所属性20的用户提交的标签214是正确的概率。在一些实施方式中，从商店用户记录中检索与每个用户标识符212相关联的全局用户可信度得分218。

再次参考图1中的框110，在该示例实施方式中，每个暂定接受的标签238基于检索到的全局用户可信度得分218、衰减因子220和累积候选标签得分224。在一些实施方式中，用于识别暂定接受的标签238的过程在图2A中示出。如图所示，模型10被应用于用户提交的标签214的组–在该示例中时间迭代–以第一时间戳232开始，并且以参考时间戳234a结束(即，标签214与标记为A、B、C、E和F的用户标识符212相关联)。在一些实施方式中，第一时间戳232是子集204中的最早时间，最后一个时间戳236是子集204的最新时间，并且参考时间戳234是在模型10的每个连续迭代期间与正在分析的最后记录相关联的变量。例如，对于第一时间迭代，参考时间戳234可以与第一时间戳232相同(例如，跨越与标记为A(仅)的用户标识符212相关联的标签214，这当然将表示微不足道的集合)。对于第二时间迭代，参考时间戳234将递增到下一个记录(例如，标记为B的用户标识符212)，使得正在分析的用户提交的标签214的组将从第一时间戳232(例如，用户A)跨越并以参考时间戳(例如，用户B)结束。在一些实施方式中，通过时间戳216的迭代继续，直到参考时间戳234等于子集204中的最后一个时间戳236为止。

图2A示出了与子集204中的每个用户提交的标签214相关联的经衰减调整的用户可信度得分222a的计算。如图所示，参考时间戳234a–对于该时间迭代–与参考现场报告230a(例如，标记为F的用户标识符212)相关联。

衰减因子220表示每个现场报告202相对于参考现场报告230a的相对年龄。衰减因子220在评估随时间提交的一系列用户提交的标签214时特别有用–并且用于评估选定场所属性21，诸如“星期一开放时间”，其可能随时间发生真实和合法的改变(例如，季节性基础上改变的工作时间)。图2A中所示的示例子集204表示用于第一不同场所标识符31和第一场所属性21的基于时间的一系列用户提交的标签214。如本文描述的衰减因子220在估计用户提交的标签214是准确的和当前的概率方面是有用的。

在一些实施方式中，衰减因子220使用e^x形式的指数函数计算，该函数也被写为exp(x)，其中指数x等于每个时间戳216相对于参考时间戳234a的相对年龄除以参数(Tau)。在一个示例中，衰减因子220根据该等式被计算：

其中，d是衰减因子220，A是每个时间戳216的相对年龄，以及Tau是与诸如当前场所属性(例如，在该示例中，第一场所属性21)的参数相关联的值。例如，在一些实施方式中，该参数是与零售企业随时间的推移保持开放的可能性相关联的值，可以基于围绕特定类型或特定区域的零售店面的典型寿命的已发布数据。

根据图2A所示的示例，与标记为F的用户标识符212相关联的衰减因子220a等于1，因为在该迭代中，用户F的提交时间戳被设置为参考时间戳234a。与标记为A的用户标识符212相关联的衰减因子220a等于0.5906。第一时间戳232相对于参考时间戳234的相对年龄是1277天。在该示例中，参数为负2425。在该示例中，指数(x)是年龄(1277天)除以参数(-2425)，其等于负0.5266。函数exp(x)等于0.5906。

如本文所述的计算衰减因子220的过程特别好地适合于随时间发生改变的场所属性(例如，工作时间、入场政策、占用限制、便利设施、可访问性和类似属性)。对于预计随时间保持相对静态的场所属性(例如，企业名称、地址、企业类型、电话号码)，在一些实施方式中，生成暂定可接受标签238的过程(在图1中的框110处描述)不包括衰减因子220。在该示例实施方式中，每个暂定接受的标签238仅基于检索到的全局用户可信度得分218；随后是累积候选标签得分224(而不计算经衰减调整的用户可信度得分222a)。对于该实施方式，与场所属性20的格式相关联的数据包括将某些场所属性20标识为静态的值。

在一些实施方式中，经衰减调整的用户可信度得分222a的计算等于全局用户可信度得分218乘以子集204中每个用户提交的标签214的衰减因子220a。对于标记为A的用户标识符212，全局用户可信度得分218(0.71)乘以衰减因子220a(0.5906)等于经衰减调整的用户可信度得分222a(0.4193)。

在图2B中示出了识别该时间迭代的暂定接受的标签238a的下一步骤。在一些实施方式中，下一步骤包括从子集204中的用户提交的标签214中识别一个或多个不同的候选标签226a(与当前时间迭代相关联)。如本文所使用的，集合中的不同值包括该集合中的所有不同值，其中去除了重复，使得仅每个不同值的一个实例被包括。例如，对于该时间迭代，图2A中的用户提交的标签214的集合包括8的三个实例、12的一个实例和7的一个实例。注意；最终7的实例不包括在这个时间迭代中。在去除重复实例之后，不同候选标签226a的列表包括8、12和7，如图2B所示。

在一些实施方式中，另一步骤包括计算与所识别的不同候选标签226a中的每个相关联的累积候选标签得分224a。在一些实施方式中，如图2B所示，将与每个不同的候选标签226a相关联的经衰减调整的用户可信度得分222a相加在一起，以计算累积候选标签得分224a。例如，对于等于8的不同候选标签226a，将与记录A、B和E(即，等于8的用户提交的标签214)相关联的经衰减调整的用户可信度得分222a相加在一起，以计算累积候选标签分数224a(1.5124)。

对于等于12的不同候选标签226a，累积候选标签得分224a等于0.3172(这是等于12的用户提交的标签214的单个实例的经衰减调整的用户可信度得分222a)。最后，对于等于7的不同候选标签226a，累积候选标签得分224a等于0.9200(这是等于7的用户提交的标签214的单个实例的经衰减调整的用户可信度得分222a)。

识别暂定接受的标签238a的步骤基于计算出的累积候选标签得分224a。如图2B所示，等于8的不同候选标签226a具有最高的累积候选标签得分224a(1.5124大于其他得分224a)。因此，对于该时间迭代，暂定接受的标签238a是8。因此，值8被添加到暂定接受的标签的集合238，如通过将模型10应用于该子集204而生成的。

图3A是示出根据另一示例时间迭代分析的图2A的现场报告的示例子集的图。如图所示，模型10被应用于用户提交的标签214的组–在该示例中时间迭代–以第一时间戳232开始，并且以参考时间戳234b结束(即，标签214与标记为A、B、C、E、F和G的用户标识符212相关联)。在一些实施方式中，图3A中的示例表示通过时间戳216的最终迭代，其中参考时间戳234b等于子集204中的最后一个时间戳236。换句话说，图3A和图3B中的该示例表示在所有提交时间戳216上循环的过程中的最终迭代(如图1中的框112所示)。

在模型10的一个方面中，与图2A所示的针对先前迭代计算的因子220a相比，在图3A中，针对每个用户提交的标签214的计算的衰减因子220b在该时间迭代中是不同的。衰减因子220b是不同的，因为参考时间戳234b现在与最终参考现场报告230b(例如标记为G的用户标识符212)相关联。因此，经衰减调整的用户可信度得分222b也不同。

在图3B中示出了识别该时间迭代的暂定接受的标签238b的下一步骤。在一些实施方式中，下一步骤包括识别一个或多个不同的候选标签226b。对于该时间迭代，图3A中的用户提交的标签214的集合包括8的三个实例、12的一个实例和7的两个实例。在去除了重复实例之后，不同候选标签226a的列表包括8、12和7，如图3B所示。累积候选标签得分224b通过将与每个不同候选标签226a相关联的经衰减调整的用户可信度得分222b相加在一起来计算。在该示例中，等于7的不同候选标签226b、与记录F和G(即，等于7的用户提交的标签214)相关联的经衰减调整的用户可信度得分222b被相加在一起以计算累积候选标签得分224b(1.5945)。

识别暂定接受的标签238b的步骤基于计算出的累积候选标签得分224b。如图3B所示，等于7的不同候选标签226b具有最高的累积候选标签得分224b(1.5945大于其他得分224b)。因此，对于该时间迭代，暂定接受的标签238b是7。因此，值7被添加到暂定接受的标签的集合238，如通过将模型10应用于该子集204而生成的。

图4是示出每个用户提交的标签214与通过将模型10应用于图2A中所示的现场报告的示例子集204而选择的暂定接受的标签238的比较的图。例如，对于标记为B的用户标识符212，用户提交的标签214是8，并且由模型10选择的暂定接受的标签238是8，这指示用户B提交了截至其提交时间戳216(其为2/1/2017)的准确且真实的标签214。如图所示，用户B的所识别的匹配被表示为评估410(例如，如果正确则为1；如果不正确则为0)。每个评估410基于用户提交的标签214与暂定接受的标签238的比较。例如，对于标记为C的用户标识符212，用户提交的标签214是12，以及对应的暂定接受的标签238是8，指示该标签不准确并且不匹配，导致用户C的评估410为零(不正确)。

图4示出了与第一不同场所标识符31相关联的第一场所属性21的暂定接受的标签的集合238–在该示例中，为{8，8，8，8，8，7}。通过属性和场所的每次迭代生成暂定接受的标签的集合238。

再次参考图1，图1中的框114描述了按场所属性20迭代地重复生成过程，以产生与第一不同场所标识符31相关联的场所属性20的集合中的第一暂定接受的标签的集合371(例如，对于后续场所属性22等，通过并包括最终场所属性29)的示例步骤。在一些实施方式中，第一集合371包括与第一不同场所标识符31相关联的所有暂定接受的标签。

类似地，框116处的过程描述了按不同的场所标识符35迭代地重复生成过程以产生后续的暂定接受的标签的集合372(例如，对于后续的不同的场所标识32等，通过并包括最终不同的场所标识符39)的示例步骤；换句话说对于子集204中的所有不同的场所标识符35。在一些实施方式中，后续集合372包括与子集204中的每一个不同的场所标识符35相关联的所有暂定接受的标签。

如框114和框116所述，通过所有属性和场所的每次迭代生成暂定接受的标签381的超集，该超集包括第一集合371和后续集合372。在一些实施方式中，如图5所示，每个连续迭代的超集381由场所-属性对340存储。

图1中的框118描述了确定是否满足标签条件500的示例步骤。在一些实施方式中，标签条件500基于当前超集381中的每个暂定接受的标签的集合238，按场所-属性对340(例如，从第一场所-属性对341直到并包括最终场所-属性对349)与至少一个先前超集382中的每个暂定接受的标签的集合238的比较。图5示出了与当前迭代(标记为t+1)相关联的当前超集381和与先前迭代(标记为t)相关联的先前超集382。

如图5所示，基于场所-属性对340，每个超集381、382可以包括不同类型和数量的暂定接受的标签238。例如，第一场所-属性对341包括第一场所属性21(例如，星期一小时)和第一不同场所标识符31的暂定接受的标签238–在该示例中，为{8，8，8，8，8，7}，如图2A至图4所示和描述的。对于第一场所-属性对341，连续的超集381、382是相等的。然而，标签条件500不被满足，因为第二或后续场所-属性对342的连续超集381、382是不相等的。在一些实施方式中，除非所有连续的超集381、382是相等的，否则不满足标签条件500。在使用中，在子集204中可能存在数百或数千个场所-属性对340的情况下，在连续超集381、382中的任何接受的标签值之间识别的差异将导致不被满足的标签条件500。

根据本文描述的模型10，在一些实施方式中，连续超集381、382中接受的标签值趋于收敛并变得相等，满足标签条件500。在特殊情况下，这应该是不寻常的，连续超集381、382中的接受的标签值不收敛；相反，接受的标签值中的一个或多个在迭代(例如，8、7、8、7、8、7…)之间无限期地交替。对于这种非典型边缘情况，确定是否满足标签条件500的过程包括应用收敛阈值。代替要求的精确相等，如果连续超集381、382中的接受的标签值之间的差低于收敛阈值(例如，在连续超集381、382中，小于0.1％的接受的标签值不同)，则将满足标签条件500。在这个方面中，收敛阈值允许对于这种非典型边缘情况满足标签条件500。

当满足标签条件500时，图1中的框119描述了基于连续超集381、382为子集204中的每个场所属性20选择接受的标签39的示例步骤。在一些实施方式中，接受的标签39是来自每个所生成的暂定接受的标签的集合238的最新值。例如，对于第一场所-属性对341，接受的标签39是7，因为它是集合{8，8，8，8，8，7}中的最新值。基于用户可信度得分218和本文描述的迭代模型10的分析，选择7作为第一场所-属性对341的接受标签39指示第一场所属性21(星期一小时)在持续时间上已经准确且真实地从8小时改变为7小时。在这个方面中，选择7作为接受的标签39在没有参考基准真相数据(例如，第三方数据集)并且没有涉及内容版主或其他专业人员的情况下发生。

当不满足标签条件500时，图1中的框120描述了基于每个用户提交的标签214的评估410来更新与每个用户标识符212相关联的全局用户可信度得分218的示例步骤。参考图4来描述和示出评估410。在一个方面中，根据与每个用户提交的标签214相关联的提交时间戳216进行每个评估410。换句话说，标签214的正确性是根据提交时可用的数据来判断的。例如，如图4所示，等于8的用户提交的标签214中的几个被评估为正确的，即使最新或最近的暂定接受的标签238是7。

在一些实施方式中，更新全局用户可信度得分218的过程包括计算与每个用户标识符212相关联的所有评估410的总和(例如，用于正确标签的1，用于不正确的0)，并且将该总和除以该用户标识符212提交的用户提交标签214的总数。在一些实施方式中，总和包括按提交时间戳与子集204中的所有不同场所标识符35的所有场所属性相关联的评估410。在这个方面中，评估410的总和表示与子集204中的所有用户提交的标签214相关的用户可信度。

图1中的框122描述了迭代地并且根据更新的全局用户可信度得分218重复模型10，直到满足标签条件500为止的示例步骤。重复模型10的过程迭代地产生暂定接受的标签的下一超集，用于在框118处与在前一迭代中生成的超集进行比较。

列出图1示出的示例方法中的步骤的流程图100可以用伪代码表示，如下面的表1所示：

表1

/>

#运行模型10，直到当前迭代(t+1)中的每个暂定接受的标签(L)与前一迭代(t)中的标签(L)相等

/>

ENDWHILE

如本文所述，衰减因子220(d)使用e^x形式的指数函数计算，该函数也被写为exp(x)，其中指数x等于每个时间戳216的相对年龄(A)除以参数(Tau)，根据该等式：

在表1中，相对年龄(A)被表示为“M(V)减去m”，或者用户提交的标签214(V)的提交时间216(M)减去参考时间戳234(m)之间的差。

对于预计随时间保持相对静态的场所属性(例如，企业名称、地址、企业类型、电话号码)，在一些实施方式中，该过程不包括计算衰减因子220。在该示例实施方式中，当场所属性20被识别为静态时，生成每个暂定接受的标签238(L)而不考虑衰减因子220(d)。在上面的表1中，过程“FOR(a in A)”(即在所有场所属性(a)上循环)，在一些实施方式中包括首先在静态属性上循环；然后在其他非静态或动态属性上循环。在这个方面中，迭代过程按时间戳应用于静态和非静态属性。

来自表1的以下等式以数学形式表示为每个不同场所标识符35(p)、每个场所属性20(a)和每个提交时间戳216(m)选择暂定接受的标签238(L)的过程，其中上标指示迭代(t)。

变量“w”代表全局用户可信度得分218。再次参考图2A，全局用户可信度得分218(w)乘以衰减因子220a(d)等于经衰减调整的用户可信度得分222a。变量“V”表示评估410(图4)。运算“arg max”与用户标识符的总和(u＝1到u)一起以数学形式表示基于累积候选标签得分224a的最大值来选择暂定接受的标签238(L)的过程(如图2B所示)。

来自表1的最终等式表示通过计算与暂定接受的标签238(L)匹配的所有用户提交的标签214的总和，以及然后将该总和除以该用户标识符212提交的标签214的总数(N)来更新全局用户可信度得分218(w)的过程。

双等号是标签(L)的总和与评估410(V)之间的比较运算符；在L和V相等的情况下返回1，并且否则返回0。

图6是机器600的图解表示，其中可以执行用于使机器600执行本文所讨论的方法中的任何一个或多个的指令608(例如，软件、程序、应用、小应用程序、app或其他可执行代码)。例如，指令608可以使机器600执行本文所描述的方法中的任何一个或多个。指令608将一般的、未编程的机器600变换成被编程为以所描述的方式执行描述和所示的功能的特定机器600。机器600可以作为独立设备操作，或者可以被耦合(例如，联网)到其他机器。在联网部署中，机器600可以在服务器-客户端网络环境中以服务器机器或客户端机器的能力工作，或者在对等(或分布式)网络环境中作为对等机器工作。机器600可以包括但不限于服务器计算机、客户端计算机、个人计算机(personal computer，PC)、平板计算机、膝上型计算机、上网本、机顶盒(set-top box，STB)、PDA、娱乐媒体系统、蜂窝电话、智能电话、移动设备、可穿戴设备(例如，智能手表)、智能家居设备(例如，智能家电)、其他智能设备、网络设备、网络路由器、网络交换机、网桥或能够顺序地或以其他方式执行指定机器600要采取的动作的指令608的任何机器。此外，虽然仅示出了单个机器600，但术语“机器”也应被视为包括单独或联合执行指令608以执行本文所讨论的方法中的任何一个或多个的机器的集合。

机器600可以包括处理器602、存储器604和输入/输出(input/output，I/O)部件642，其可以被配置为经由总线644彼此通信。在示例中，处理器602(例如，中央处理单元(Central Processing Unit，CPU)、精简指令集计算(Reduced Instruction SetComputing，RISC)处理器、复杂指令集计算(Complex Instruction Set Computing，CISC)处理器、图形处理单元(Graphics Processing Unit，GPU)、数字信号处理器(DigitalSignal Processor，DSP)、ASIC、射频集成电路(Radio-Frequency Integrated Circuit，RFIC)、另一处理器或其任何合适的组合)可以包括例如执行指令608的处理器606和处理器610。术语“处理器”旨在包括多核处理器，多核处理器可以包括可以同时执行指令的两个或更多个独立处理器(有时称为“核”)。尽管示出了多个处理器602，但是机器600可以包括具有单核的单个处理器、具有多核的单个处理器(例如，多核处理器)、具有单核的多个处理器、具有多核的多个处理器、或其任意组合。

存储器604包括主存储器612、静态存储器614和存储单元616，它们都可经由总线644由处理器602访问。主存储器604、静态存储器614和存储单元616存储体现本文所描述的方法或功能中的任何一个或多个的指令608。指令608还可以在其由机器600执行期间，完全或部分地驻留在主存储器612内、静态存储器614内、存储单元616内的机器可读介质618(例如，非瞬态机器可读存储介质)内、处理器602中的至少一个内(例如，处理器的高速缓冲存储器内)或其任何合适的组合内。

此外，机器可读介质618是非瞬态的(换句话说，不具有任何瞬态信号)，因为它不包含传播信号。然而，将机器可读介质618标记为“非瞬态的”不应被解释为意味着该介质不能移动；介质应当被认为是可从一个物理位置运送到另一个物理位置。另外，由于机器可读介质618是有形的，因此该介质可以是机器可读设备。

I/O部件642可以包括各种各样的部件，以接收输入、提供输出、产生输出、传输信息、交换信息、捕获测量及诸如此类。被包括在特定机器中的特定I/O部件642将取决于机器的类型。例如，诸如移动电话的便携式机器可以包括触摸输入设备或其他这样的输入机构，而无头服务器机器将可能不包括这样的触摸输入设备。将理解，I/O部件642可以包括许多未示出的其他部件。在各种示例中，I/O部件642可以包括输出部件628和输入部件630。输出部件628可以包括视觉部件(例如，诸如等离子体显示板(plasma display panel，PDP)、发光二极管(light emitting diode，LED)显示器、液晶显示器(liquid crystal display，LCD)、投影仪或阴极射线管(cathode ray tube，CRT)之类的显示器)、声学部件(例如扬声器)、触觉部件(例如振动马达、电阻反馈机构)、其他信号发生器及诸如此类。输入部件630可以包括字母数字输入部件(例如，键盘、被配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入部件)、基于指向的输入部件(例如，鼠标、触摸板、轨迹球、操纵杆、运动传感器或其他指向仪器)、触觉输入部件(例如，物理按钮、提供触摸或触摸手势的位置、力的触摸屏或其他触觉输入部件)、音频输入部件(例如麦克风)和类似物。

在进一步的示例中，I/O部件642在广泛的其他部件阵列中可以包括生物特征识别部件632、运动部件634、环境部件636或位置部件638。例如，生物特征识别部件632包括检测表情(例如，手部表情、面部表情、声音表情、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、汗液或脑电波)、识别人(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)和类似物的部件。运动部件634包括加速度传感器部件(例如加速度计)、重力传感器部件、旋转传感器部件(例如陀螺仪)及诸如此类。环境部件636包括，例如，照明传感器部件(例如光度计)、温度传感器部件(例如，检测环境温度的一个或多个温度计)、湿度传感器部件、压力传感器部件(例如气压计)、声学传感器部件(例如，检测背景噪声的一个或者多个麦克风)、接近传感器部件(例如，检测附近物体的红外传感器)、气体传感器(例如，为了安全检测危险气体浓度或测量大气中污染物的气体检测传感器)，或可以提供与周围物理环境相对应的指示、测量或信号的其他部件。位置部件638包括位置传感器部件(例如，GPS接收器部件)、高度传感器部件(例如，检测从中可以导出高度的气压的高度计或气压计)、方位传感器部件(例如，磁力计)和类似物。

通信可以使用各种各样的技术来实施。I/O部件642还包括通信部件640，通信部件640可操作以分别经由耦合624和耦合626将机器600耦合到网络620或设备622。例如，通信部件640可以包括网络接口部件或与网络620接口的另一合适设备。在进一步的示例中，通信部件640可以包括有线通信部件、无线通信部件、蜂窝通信部件、近场通信(NFC)部件、部件(例如，/>低能耗)、/>部件以及经由其他方式提供通信的其他通信部件。设备622可以是另一机器或各种外围设备中的任何一个(例如，经由USB耦合的外围设备)。

此外，通信部件640可以检测标识符或包括可操作来检测标识符的部件。例如，通信部件640可以包括射频识别(Radio Frequency Identification，RFID)标签读取器部件、NFC智能标签检测部件、光学读取器部件(例如，检测一维条形码，诸如通用产品代码(Universal Product Code，UPC)条形码，多维条形码，诸如快速响应(Quick Response，QR)码、Aztec码、Data Matrix、Dataglyph、MaxiCode、PDF417、Ultra Code、UCC RSS-2D条形码和其他光学代码的光学传感器)，或者声学检测部件(例如，识别标记的音频信号的麦克风)。另外，可以经由通信部件640导出各种信息，诸如经由网际协议(Internet Protocol，IP)地理位置的位置、经由信号三角测量的位置、经由检测可以指示特定位置的NFC信标信号的位置及诸如此类。

各种存储器(例如，存储器604、主存储器612、静态存储器614、处理器602的存储器)、存储单元616可以存储体现本文所述的方法或功能中的任何一个或多个或由其使用的一个或多个指令集和数据结构(例如，软件)。这些指令(例如，指令608)在由处理器602执行时，使各种操作来实施所公开的示例。

可以使用传输介质，经由网络接口设备(例如，包括在通信部件640中的网络接口部件)，以及使用许多众所周知的传输协议中的任何一个(例如，超文本传输协议(hypertext transfer protocol，HTTP))，在网络620上发送或接收指令608。类似地，可以使用传输介质经由到设备622的耦合626(例如，对等耦合)来发送或接收指令608。

图7是示出软件架构704的框图700，该软件架构可以被安装在本文所描述的设备中的任何一个或多个上。软件架构704由诸如机器702的硬件支持，该机器702包括处理器720、存储器726和I/O部件738。在该示例中，软件架构704可以被概念化为层的堆栈，其中每个层提供特定的功能。软件架构704包括诸如操作系统712、库710、框架708和应用706的层。在操作上，应用706通过软件堆栈调用API调用750，并且接收响应于API调用750的消息752。

操作系统712管理硬件资源并提供公共服务。操作系统712包括例如内核714、服务716和驱动器722。内核714充当硬件和其他软件层之间的抽象层。例如，内核714除其他功能外提供存储器管理、处理器管理(例如，调度)、部件管理、联网和安全设置。服务716可以为其他软件层提供其他公共服务。驱动器722负责控制底层硬件或与底层硬件接口。例如，驱动器722可以包括显示器驱动器、相机驱动器、或/>低能耗(/>LowEnergy，BLE)驱动器、闪存驱动器、串行通信驱动器(例如，通用串行总线(UniversalSerial Bus，USB)驱动器)、/>驱动器、音频驱动器、功率管理驱动器及诸如此类。

库710提供由应用706使用的低级公共基础结构。库710可以包括系统库718(例如，C标准库)，其提供诸如存储器分配函数、字符串操纵函数、数学函数和类似物的函数。另外，库710可以包括API库724，诸如媒体库(例如，支持各种媒体格式的呈现和操纵的库，各种媒体格式诸如动态图像专家组-4(Moving Picture Experts Group-4，MPEG4)、高级视频编码(H.264或Advanced Audio Coding，AVC)、动态图像专家组层面-3(Moving PictureExperts Group Layer-3，MP3)、高级音频编码(Advanced Audio Coding，AAC)、自适应多速率(Adaptive Multi-Rate，AMR)音频编解码器、联合图像专家组(Joint PhotographicExperts Group，JPEG或JPG)或便携式网络图片(Portable Network Graphics，PNG))、图形库(例如，用于在显示器上的图形内容中以二维(two dimensions，2D)和三维(threedimensions，3D)渲染的OpenGL框架)、数据库库(例如，提供各种关系数据库功能的SQLite)、网络库(例如提供网络浏览功能的引擎)和类似物。库710还可以包括各种各样的其他库728，以向应用706提供许多其他API。

框架708提供由应用706使用的高级公共基础结构。例如，框架708提供各种图形用户界面(graphical user interface，GUI)功能、高级资源管理和高级位置服务。框架708可以提供可以由应用706使用的广谱的其他API，其中一些可以是特定操作系统或平台所特有的。

在示例中，应用706可以包括家庭应用736、联系人应用730、浏览器应用732、图书阅读器应用734、位置应用742、媒体应用744、消息传递应用746、游戏应用748以及诸如第三方应用740的种类繁多的其他应用。第三方应用740是执行在程序内定义的功能的程序。

在特定示例中，第三方应用740(例如，由除特定平台的供应商以外的实体使用Google Android或Apple iOS软件开发工具包(software development kit，SDK)开发的应用)可以是运行在移动操作系统(诸如Google Android、Apple iOS(用于iPhone或iPad设备)、Windows Mobile、Amazon Fire OS、RIM BlackBerry OS，或者另一移动操作系统)上的移动软件。在该示例中，第三方应用740可以调用由操作系统712提供的API调用750，以促进本文描述的功能。

各种编程语言可以被采用来创建以各种方式结构化的一个或多个应用706中，诸如面向对象编程语言(例如，Objective-C、Java、C++或R)或过程编程语言(例如，C或汇编语言)。例如，R是一种特别适用于统计计算、数据分析和图形的编程语言。

本文所述的任何功能都能够被体现在一个或多个计算机软件应用或编程指令集中。根据一些示例，“功能”、“多个功能”和“应用”、“多个应用、”指令、“多个指令”或“多个编程”是执行程序中定义的功能的一个或多个程序。各种编程语言可以被采用来开发以各种方式结构化的一个或多个应用，诸如面向对象编程语言(例如，Objective-C、Java或C++)或过程编程语言(例如，C或汇编语言)。在具体示例中，第三方应用(例如，由除特定平台的供应商以外的实体使用ANDROID^TM或IOS^TM软件开发工具包(SDK)开发的应用)可以包括运行在移动操作系统(诸如IOS^TM、ANDROID^TM、Phone或其他移动操作系统)上的移动软件。在本示例中，第三方应用可以调用由操作系统提供的API调用，以促进本文中描述的功能。

因此，机器可读介质可以采用多种形式的有形存储介质。非易失性存储介质包括例如光盘或磁盘，诸如任何计算机设备中的任何存储设备或诸如此类，诸如可被用于实施如图所示的客户端设备、介质网关、转码器等。易失性存储介质包括动态存储器，诸如此类计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括包含计算机系统内总线的电线。载波传输介质可以采用电信号或电磁信号的形式，或者声波或光波的形式，诸如在射频(radio frequency，RF)和红外(infrared，IR)数据通信期间生成的那些。因此，计算机可读介质的常见形式包括例如：软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、DVD或DVD-ROM、任何其他光学介质、穿孔卡纸带、具有孔图案的任何其他物理存储介质、RAM、PROM和EPROM、FLASH-EPROM、任何其他存储芯片或盒式存储器，传输数据或指令的载波、传输这种载波的电缆或链路，或者计算机可以从中读取编程代码或数据的任何其他介质。这些形式的计算机可读介质中的许多可以涉及将一个或多个指令的一个或更多序列携带到处理器以供执行。

除了上面刚刚陈述的，已经陈述或示出的任何内容都不旨在或不应该被解释为致使将任何部件、步骤、特征、目的、益处、优点或等同物奉献给公众，无论其是否在权利要求中被陈述。

将理解，本文中使用的术语和表述具有如这样的术语和表述相对于其对应的各自探究和研究领域所赋予的普通含义，除非本文中另外已经阐述了其中的具体含义。关系术语(诸如第一和第二等)可以仅用于将一个实体或动作与另一个实体或动作区分开，而不一定要求或暗示这样的实体或动作之间的任何实际的这种关系或顺序。术语“包括”、“包含”、“含有”、“涵盖”或其任何其他变型旨在涵盖非排他性的包含，使得包括或包含一系列元素或步骤的过程、方法、物品或装置不仅包括那些元素或步骤，还可以包括未明确列出的或这样的过程、方法、物品或装置固有的其他元素或步骤。在没有进一步约束的情况下，以“一”或“一个”开头的元素并不排除在包括该元素的过程、方法、物品或装置中存在额外的相同元素。

除非另有说明，否则本说明书(包括随后的权利要求)中阐述的任何及所有测量结果、值、额定值、位置、幅值、尺寸和其他规格都是近似的，而不是精确的。这些量旨在具有合理的范围，即与它们所涉及的功能以及它们所属领域的惯例一致。例如，除非另有明确说明，否则参数值或类似值可能与所述量或范围相差多达正负百分之十。

另外，在前面的详细描述中，可以看到，出于精简本公开的目的，各个特征在各种示例中被组合在一起。这种公开的方法不应当被解释为反映这样的意图，即所要求保护的示例要求比每个权利要求中明确陈述的特征更多。相反，正如以下权利要求所反映的，要被保护的主题在于少于任何单个所公开示例的所有特征。因此，以下权利要求由此并入详细描述中，其中每项权利要求作为单独所要求保护的主题独立存在。

尽管前面已经描述了被认为是最佳模式和其他示例的内容，但是可以理解的是，可以在其中进行各种修改，并且本文中公开的主题可以以各种形式和示例实施，并且它们可以应用于众多应用中，本文中仅已经描述了其中的一些应用。以下权利要求旨在要求保护属于本概念的真实范围内的任何及所有修改和变型。

Claims (20)

1.一种评估现场报告的方法，包括：

在一个或多个计算设备的存储器中存储多个现场报告，其中每个现场报告包括用户标识符、提交时间戳、场所标识符和表示场所属性的至少一个用户提交的标签；

在所述存储器中存储多个用户记录，其中每个用户记录包括所述用户标识符和全局用户可信度得分；

根据评估时间段从所述存储器检索所存储的现场报告的子集；

识别所述子集中的一个或多个不同的场所标识符，其中每个识别的不同的场所标识符与场所属性集合相关联；

建立一个或多个场所-属性对，每个场所-属性对包括所述不同的场所标识符中的一个场所标识符及其相关联的场所属性集合；

生成暂定接受的标签的集合，每个暂定接受的标签与用户提交的标签中的一个标签及其相关联的从第一时间戳到参考时间戳的提交时间戳相关联，

其中，每个暂定接受的标签基于所述全局用户可信度得分、衰减因子和累积候选标签得分；并且

按提交时间戳迭代地重复所述生成，直到所述参考时间戳等于最后一个时间戳为止。

2.根据权利要求1所述的方法，其中，生成暂定接受的标签的集合还包括：

针对所述相关联的场所属性集合中的每个场所属性，按场所属性迭代地产生与第一不同场所标识符相关联的第一暂定接受的标签的集合；

针对所述子集中的每个不同的场所标识符，按场所标识符迭代地产生与后续不同场所标识符相关联的后续的暂定接受的标签的集合；并且

定义与当前迭代相关联的暂定接受的标签的当前超集，所述当前超集包括第一集合和后续集合。

3.根据权利要求2所述的方法，还包括：

基于所述当前超集中的每个暂定接受的标签的集合按场所-属性对与至少一个先前超集中的每个暂定接受的标签的集合的比较，确定是否满足标签条件；并且

响应于确定满足所述标签条件，为所述子集中的每个场所属性选择接受的标签，其中每个接受的标签包括来自所述当前超集的最新值。

4.根据权利要求3所述的方法，还包括：

响应于确定不满足所述标签条件，基于对所述子集中的每一个用户提交的标签在其相关联的提交时间戳时的评估来更新与每个用户标识符相关联的所述全局用户可信度得分；并且

迭代地并且根据更新的全局用户可信度得分来重复所述生成，以产生与下一迭代相关联的暂定接受的标签的下一超集，直到满足所述标签条件为止。

5.根据权利要求1所述的方法，其中，生成所述暂定接受的标签的集合还包括针对每个用户提交的标签：

根据以下等式，基于在其提交时间戳处的每个用户提交的标签相对于参考时间戳的相对年龄(A)和与相关联的场所属性相关的参数(Tau)来计算衰减因子(d)：

基于所述全局用户可信度得分和计算的所述子集中每个用户提交的标签的衰减因子来计算经衰减调整的属性级用户可信度得分；

从所述子集中的用户提交的标签中识别一个或多个不同的候选标签；并且

计算与所识别的不同候选标签中的每个候选标签相关联的累积候选标签得分。

6.根据权利要求4所述的方法，其中，更新与每个用户标识符相关联的所述全局用户可信度得分包括：

基于所述用户提交的标签是否与在所述提交时间戳时选择的接受的标签匹配来生成评估，其中所述评估是二进制变量，所述二进制变量包括1和0，对于匹配的情况，所述二进制变量为1，否则为0；并且

基于对所述子集中的所有用户提交的标签的评估的总和除以所述子集中的用户提交的标签的总数来计算所述更新的全局用户可信度得分。

7.根据权利要求1所述的方法，还包括：

识别所述相关联的场所属性集合中的一个或多个静态场所属性；并且

对于每个识别的静态场所属性，将所述衰减因子设置为1。

8.一种用于验证现场报告的系统，包括：

存储器，所述存储器存储指令；和

处理器，所述处理器由所存储的指令配置为执行包括以下步骤的操作：

在所述存储器中存储多个现场报告，其中每个现场报告包括用户标识符、提交时间戳、场所标识符和表示场所属性的至少一个用户提交的标签；

在所述存储器中存储多个用户记录，其中每个用户记录包括所述用户标识符和全局用户可信度得分；

根据评估时间段从所述存储器检索所存储的现场报告的子集；

识别所述子集中的一个或多个不同的场所标识符，其中每个识别的不同的场所标识符与场所属性集合相关联；

建立一个或多个场所-属性对，每个场所-属性对包括所述不同的场所标识符中的一个场所标识符及其相关联的场所属性集合；

生成暂定接受的标签的集合，每个暂定接受的标签与用户提交的标签中的一个标签及其相关联的从第一时间戳到参考时间戳的提交时间戳相关联，其中，每个暂定接受的标签基于所述全局用户可信度得分、衰减因子和累积候选标签得分；并且

按提交时间戳迭代地重复所述生成，直到所述参考时间戳等于最后一个时间戳为止。

9.根据权利要求8所述的系统，其中，生成暂定接受的标签的集合的步骤还包括：

针对所述相关联的场所属性集合中的每个场所属性，按场所属性迭代地产生与第一不同场所标识符相关联的第一暂定接受的标签的集合；

针对所述子集中的每个不同的场所标识符，按场所标识符迭代地产生与后续不同场所标识符相关联的后续的暂定接受的标签的集合；并且

定义与当前迭代相关联的暂定接受的标签的当前超集，所述当前超集包括第一集合和后续集合。

10.根据权利要求9所述的系统，其中，所述处理器由所存储的指令配置为执行进一步的操作，所述进一步的操作包括：

基于所述当前超集中的每个暂定接受的标签的集合按场所-属性对与至少一个先前超集中的每个暂定接受的标签的集合的比较，确定是否满足标签条件；并且

响应于确定满足所述标签条件，为所述子集中的每个场所属性选择接受的标签，其中每个接受的标签包括来自所述当前超集的最新值。

11.根据权利要求10所述的系统，其中，所述处理器由所存储的指令配置为执行进一步的操作，所述进一步的操作包括：

响应于确定不满足所述标签条件，基于对所述子集中的每一个用户提交的标签在其相关联的提交时间戳时的评估来更新与每个用户标识符相关联的所述全局用户可信度得分；并且

迭代地并且根据更新的全局用户可信度得分来重复所述生成，以产生与下一迭代相关联的暂定接受的标签的下一超集，直到满足所述标签条件为止。

12.根据权利要求8所述的系统，其中，生成暂定接受的标签的集合的步骤还包括针对每个用户提交的标签：

根据以下等式，基于在其提交时间戳处的每个用户提交的标签相对于参考时间戳的相对年龄(A)和与相关联的场所属性相关的参数(Tau)来计算衰减因子(d)：

基于所述全局用户可信度得分和计算的所述子集中每个用户提交的标签的衰减因子来计算经衰减调整的属性级用户可信度得分；

从所述子集中的用户提交的标签中识别一个或多个不同的候选标签；并且

计算与所识别的不同候选标签中的每个候选标签相关联的累积候选标签得分。

13.根据权利要求11所述的系统，其中，更新与每个用户标识符相关联的所述全局用户可信度得分的步骤包括：

基于所述用户提交的标签是否与在所述提交时间戳时选择的接受的标签匹配来生成评估，其中所述评估是二进制变量，所述二进制变量包括1和0，对于匹配的情况，所述二进制变量为1，否则为0；并且

基于对所述子集中的所有用户提交的标签的评估的总和除以所述子集中的用户提交的标签的总数来计算所述更新的全局用户可信度得分。

14.根据权利要求8所述的系统，其中，所述处理器由所存储的指令配置为执行进一步的操作，所述进一步的操作包括：

识别所述相关联的场所属性集合中的一个或多个静态场所属性；并且

对于每个识别的静态场所属性，将所述衰减因子设置为1。

15.一种存储程序代码的非暂时性计算机可读介质，所述程序代码在被执行时能够操作以使电子处理器执行以下步骤：

在存储器中存储多个现场报告，其中每个现场报告包括用户标识符、提交时间戳、场所标识符和表示场所属性的至少一个用户提交的标签；

在所述存储器中存储多个用户记录，其中每个用户记录包括所述用户标识符和全局用户可信度得分；

根据评估时间段从所述存储器检索所存储的现场报告的子集；

识别所述子集中的一个或多个不同的场所标识符，其中每个识别的不同的场所标识符与场所属性集合相关联；

建立一个或多个场所-属性对，每个场所-属性对包括所述不同的场所标识符中的一个场所标识符及其相关联的场所属性集合；

生成暂定接受的标签的集合，每个暂定接受的标签与用户提交的标签中的一个标签及其相关联的从第一时间戳到参考时间戳的提交时间戳相关联，其中，每个暂定接受的标签基于所述全局用户可信度得分、衰减因子和累积候选标签得分；并且

按提交时间戳迭代地重复所述生成，直到所述参考时间戳等于最后一个时间戳为止。

16.根据权利要求15所述的非暂时性计算机可读介质，其中，生成暂定接受的标签的集合的步骤还包括：

针对所述相关联的场所属性集合中的每个场所属性，按场所属性迭代地产生与第一不同场所标识符相关联的第一暂定接受的标签的集合；

针对所述子集中的每个不同的场所标识符，按场所标识符迭代地产生与后续不同场所标识符相关联的后续的暂定接受的标签的集合；并且

定义与当前迭代相关联的暂定接受的标签的当前超集，所述当前超集包括第一集合和后续集合。

17.根据权利要求16所述的非暂时性计算机可读介质，其中，所存储的程序代码在被执行时能够操作以使电子处理器执行以下进一步步骤：

基于所述当前超集中的每个暂定接受的标签的集合按场所-属性对与至少一个先前超集中的每个暂定接受的标签的集合的比较，确定是否满足标签条件；并且

响应于确定满足所述标签条件，为所述子集中的每个场所属性选择接受的标签，其中每个接受的标签包括来自所述当前超集的最新值。

18.根据权利要求17所述的非暂时性计算机可读介质，其中，所存储的程序代码在被执行时能够操作以使电子处理器执行以下进一步步骤：

响应于确定不满足所述标签条件，基于对所述子集中的每一个用户提交的标签在其相关联的提交时间戳时的评估来更新与每个用户标识符相关联的所述全局用户可信度得分；并且

迭代地并且根据更新的全局用户可信度得分来重复所述生成，以产生与下一迭代相关联的暂定接受的标签的下一超集，直到满足所述标签条件为止。

19.根据权利要求15所述的非暂时性计算机可读介质，其中，生成暂定接受的标签的集合的步骤还包括针对每个用户提交的标签：

根据以下等式，基于在其提交时间戳处的每个用户提交的标签相对于参考时间戳的相对年龄(A)和与相关联的场所属性相关的参数(Tau)来计算衰减因子(d)：

基于所述全局用户可信度得分和计算的所述子集中每个用户提交的标签的衰减因子来计算经衰减调整的属性级用户可信度得分；

从所述子集中的用户提交的标签中识别一个或多个不同的候选标签；并且

计算与所识别的不同候选标签中的每个候选标签相关联的累积候选标签得分。

20.根据权利要求18所述的非暂时性计算机可读介质，其中，更新与每个用户标识符相关联的所述全局用户可信度得分的步骤包括：

基于所述用户提交的标签是否与在提交时间戳时选择的接受的标签匹配来生成评估，其中所述评估是二进制变量，所述二进制变量包括1和0，对于匹配的情况，所述二进制变量为1，否则为0；并且

基于对所述子集中的所有用户提交的标签的评估的总和除以所述子集中的用户提交的标签的总数来计算所述更新的全局用户可信度得分。