CN111339231B - 众包更新结果的处理方法及装置 - Google Patents

Abstract

本公开提供一种众包更新结果的处理方法及装置，该方法包括：根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据；将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果；根据所述预期更新结果确定所述众包更新结果的正确性；根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力。实现了众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。

Description

众包更新结果的处理方法及装置

技术领域

本公开涉及地图技术领域，尤其涉及一种众包更新结果的处理方法及装置。

背景技术

随着车辆驾驶自动化技术水平的不断提高，高精地图的需求迫在眉睫，高精地图是指高精度、精细化定义的地图，包含了车道模型、道路模型、道路属性等。

但是，当前现实环境变化较快，高精地图除了对精度要求高之外，还需要高活性，即交通场景的变化能够及时更新到高精地图中。现有技术中，通常采用众包更新系统对众包数据进行更新，根据众包更新结果来更新高精地图。

因此，如何确定众包更新系统的众包更新结果的准确性成为重要问题。现有技术中对众包更新结果进行验证主要是人工进行，耗时长、效率低。

发明内容

针对上述问题，本公开提供一种众包更新结果的处理方法及装置，以解决现有技术地图数据更新效率低等缺陷。

本公开第一方面提供一种众包更新结果的处理方法，包括：

根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据；

将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果；

根据所述预期更新结果确定所述众包更新结果的正确性；

根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力。

在其中一种可选的示例中，

所述根据所述预期更新结果确定所述众包更新结果的正确性，包括：

对于所述预期更新结果中的每个要素，确定所述要素的坐标与所述众包更新结果中相同要素的坐标之间的坐标差异、所述要素的属性信息变化及所述要素的更新结果长度；

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性；

根据各要素的更新正确性，确定所述众包更新结果的正确性。

在其中一种可选的示例中，

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性，包括：

对于每个要素：

若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，则确定该要素的更新结果为正确；

若更新结果的坐标差异小于位置匹配阈值和属性信息变化小于属性匹配阈值两个条件中有任意一个不满足，则确定该要素的更新结果存在错误；

若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但更新结果长度小于长度匹配阈值，则确定该要素更新结果漏更；

若在所述预期更新结果中存在的第一要素，在所述众包更新结果中不存在，则确定所述第一要素更新结果漏更。

在其中一种可选的示例中，

所述根据各要素的更新正确性，确定所述众包更新结果的正确性，包括：

基于各要素的更新正确性确定所述众包更新结果的查全率和查准率；

根据所述众包更新结果的查全率和查准率，以及预设正确性阈值，确定所述众包更新结果的正确性。

在其中一种可选的示例中，

所述根据所述预期更新结果确定所述众包更新结果的正确性之前，所述方法还包括：

根据所述众包更新结果中各要素相对于高精地图的offset偏移值，计算所述众包更新结果中各要素的空间坐标。

在其中一种可选的示例中，所述根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力包括：

根据所述众包更新结果中每个要素的更新正确性，分别按个数和更新结果长度生成结果报告，所述个数包括所述众包更新结果中更新正确的要素个数、更新错误的要素个数及漏更的要素个数。

在其中一种可选的示例中，所述方法还包括：

根据所述结果报告，将所述众包更新结果按预设场景分类，获得场景分类结果，并将所述场景分类结果反馈给所述众包更新系统。

在其中一种可选的示例中，所述方法还包括：

根据不同版本众包更新系统对应的结果报告，生成差分结果，并将差分结果反馈给各版本众包更新系统。

在其中一种可选的示例中，所述根据预设规则建立测试数据集，并生成对应的预期更新结果之后，所述方法还包括：

在新地图上对所述预期更新结果进行标注，并对标注后的新地图进行显示。

本公开第二方面提供一种众包更新结果的处理装置，包括：

获取模块，用于根据预设规则建立测试数据集，并生成对应的预期更新结果，所述预设测试数据集包括对原地图数据进行修改获得的新地图数据；

生成模块，用于将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果；

验证模块，用于根据所述预期更新结果确定所述众包更新结果的正确性；

处理模块，用于根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力。

在其中一种可选的示例中，所述验证模块，具体用于：

对于所述预期更新结果中的每个要素，确定所述要素的坐标与所述众包更新结果中相同要素的坐标之间的坐标差异、所述要素的属性信息变化及所述要素的更新结果长度；

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性；

根据各要素的更新正确性，确定所述众包更新结果的正确性。

在其中一种可选的示例中，所述验证模块，具体用于：

对于每个要素：

若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，则确定该要素的更新结果为正确；

若更新结果的坐标差异小于位置匹配阈值和属性信息变化小于属性匹配阈值两个条件中有任意一个不满足，则确定该要素的更新结果存在错误；

若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但更新结果长度小于长度匹配阈值，则确定该要素更新结果漏更；

若在所述预期更新结果中存在的第一要素，在所述众包更新结果中不存在，则确定所述第一要素更新结果漏更。

在其中一种可选的示例中，所述验证模块，具体用于：

基于各要素的更新正确性确定所述众包更新结果的查全率和查准率；

根据所述众包更新结果的查全率和查准率，以及预设正确性阈值，确定所述众包更新结果的正确性。

在其中一种可选的示例中，所述装置还包括，预处理模块用于：

根据所述众包更新结果中各要素相对于高精地图的offset偏移值，计算所述众包更新结果中各要素的空间坐标。

在其中一种可选的示例中，所述处理模块，具体用于：

根据所述众包更新结果中每个要素的更新正确性，分别按个数和更新结果长度生成结果报告，所述个数包括所述众包更新结果中更新正确的要素个数、更新错误的要素个数及漏更的要素个数。

在其中一种可选的示例中，所述处理模块，具体用于：

根据所述结果报告，将所述众包更新结果按预设场景分类，获得场景分类结果，并将所述场景分类结果反馈给所述众包更新系统。

在其中一种可选的示例中，所述处理模块，具体用于：

根据不同版本众包更新系统对应的结果报告，生成差分结果，并将差分结果反馈给各版本众包更新系统。

在其中一种可选的示例中，所述装置还包括显示模块，用于：

在新地图上对所述预期更新结果进行标注，并对标注后的新地图进行显示。

本公开第三方面提供一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前任一所述的方法。

本公开第四方面提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如前任一所述的方法。

本公开提供的众包更新结果的处理方法及装置，通过建立测试数据集合预期更新结果；将测试数据集中的新地图数据发送给众包更新系统，以使众包更新系统对新地图数据进行众包更新，并根据预期更新结果确定众包更新系统的众包更新结果的正确性；从而根据众包更新结果的正确性，确定众包更新系统的变化发现能力，实现了对众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本公开基于的处理系统的架构示意图；

图2为本公开提供的一种众包更新结果的处理方法的流程示意图；

图3为本公开提供的另一种众包更新结果的处理方法的流程示意图；

图4为本公开提供的再一种众包更新结果的处理方法的流程示意图；

图5为本公开提供的又一种众包更新结果的处理方法的流程示意图；

图6为本公开提供的众包更新结果的处理装置的结构示意图；

图7为本公开提供的电子设备的结构示意图。

通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

本公开提供的众包更新结果的处理方法，适用于对众包更新系统的变化发现能力进行评价的应用场景。如图1所示，为本公开实施例基于的处理系统的架构示意图。该处理系统可以包括众包更新结果的处理装置(以下简称装置)和众包更新系统。该装置和众包更新系统可以是设置在同一电子设备中，也可以是分别设置在不同的电子设备中，其中，电子设备可以是服务器、台式电脑、笔记本电脑等设备。该装置可以获取预设测试数据集及对应的预期更新结果，预设测试数据集包括对原地图数据进行修改获得的新地图数据，比如对原地图数据中的交通标牌、车道标线等要素的空间信息(比如坐标)和属性信息(要素名称、类型等属性)等进行修改，或者在原地图数据中增加新的要素及对应的空间信息和属性信息等等，具体可以根据实际需求设置。该装置还获取预期更新结果，预期更新结果是指在对新地图数据进行众包更新时，应该获得的理想更新结果，比如在新地图数据中相对于原地图数据增加了交通标牌，那么在对新地图数据进行众包更新时预期更新结果应该是删除该交通标牌。在获取到预设测试数据集及对应的预期更新结果后，则可以基于众包数据对新地图数据进行众包更新获得众包更新结果，具体的，可以是将新地图数据发送给众包更新系统，以使众包更新系统基于众包数据对新地图数据进行众包更新，并向该装置返回众包更新结果。该装置则可以获取到众包更新结果，根据预期更新结果对众包更新结果进行验证，获得所述众包更新结果的验证结果，并根据众包更新结果的验证结果对众包更新结果进行相应的处理，比如根据众包更新结果的验证结果生成众包更新结果的评价报告(即结果报告)。还可以将评价报告反馈给众包更新系统。通过建立测试数据集并生成预期更新结果对众包更新结果进行评价，实现了众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。

本公开示例提供的众包更新结果的处理方法适用于对高精地图的众包更新结果的评价，也可以适用于普通地图的众包更新结果的评价。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。

下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。

第一方面，本公开示例提供了一种众包更新结果的处理方法，用于自动对众包更新系统的众包更新结果进行评价，提高处理效率。本实施例的执行主体为众包更新结果的处理装置，该众包更新结果的处理装置可以设置在电子设备中，该电子设备可以是服务器、台式电脑、笔记本电脑等设备。

如图2所示，为本公开提供的一种众包更新结果的处理方法的流程示意图，该众包更新结果的处理方法包括：

步骤101，根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据。

可以预先建立测试数据集(即预设测试数据集)，并生成标准答案(即预期更新结果)。预设测试数据集包括对原地图数据进行修改获得的新地图数据。具体来说，可以建立高精地图场景模型，可以分为车道场景、道路场景、对象场景、路口场景等。根据指定场景修改高精地图数据(可以是称为原地图数据)来模拟现实世界变化，现实世界变化是指道路及两侧附属设施等实际发生的变化。

示例性的，在高精地图V0版本的地图数据(即原地图数据)基础上，进行修改得到V1版本的地图数据(即新地图数据)，作为众包更新系统的输入，同时会生成标准答案。比如在V0版本的基础上新增交通标牌得到V1版本的地图数据，则标准答案就是删除该交通标牌。标准答案即测试的预期结果，也即众包更新的预期更新结果。

进一步的，在生成预期更新结果之后，还可以在新地图上对预期更新结果进行标注，并对标注后的新地图进行显示。以直观体现新地图的变化部分。

步骤102，将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果。

具体来说，可以将新地图数据发送给众包更新系统作为众包更新系统的输入，使众包更新系统对新地图数据进行众包更新，获得众包更新结果，众包更新系统将众包更新结果返回给众包更新结果的处理装置。

众包更新系统将众包数据作为参考依据，判断新地图数据相对于众包数据需要进行哪些更新，比如众包数据中没有某交通标牌，新地图数据中有该交通标牌，那么对于该交通标牌要素，众包更新结果为删除该交通标牌。当然，是否能发现该变化依赖于众包更新系统的变化发现能力，这里只是示例性说明众包更新系统如何进行众包更新。

步骤103，根据所述预期更新结果确定所述众包更新结果的正确性。

在获得众包更新结果后，则可以根据预期更新结果对众包更新结果进行验证，验证众包更新结果的正确性，获得众包更新结果的验证结果。

具体来说，需要基于预期更新结果中的每个要素对众包更新结果进行验证，来判断每个要素更新结果的正确性，以及是否有漏更的要素等等。要素是指地图数据中的道路、交通标牌、车道标线等。

步骤104，根据众包更新结果的验证结果，对众包更新结果进行相应的处理，确定得到众包更新系统的变化发现能力。

在获得众包更新结果的验证结果后，可以根据众包更新结果的验证结果对众包更新结果进行相应的处理，比如生成结果报告、向众包更新系统反馈验证结果，根据结果报告确定众包更新系统的变化发现能力(比如众包更新系统是否能够准确地图上的哪些地方发生了图了变化)等等，具体可以根据实际需求设置。

本实施例提供的众包更新结果的处理方法，通过建立测试数据集及预期更新结果，基于测试数据集获得众包更新结果，根据预期更新结果对众包更新结果进行验证，并根据众包更新结果的验证结果对众包更新结果进行相应的处理，实现了对众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。

在前述示例的基础上，进一步地，对新地图数据进行众包更新，获得众包更新结果，具体可以包括：

将新地图数据发送给众包更新系统，以使众包更新系统基于众包数据对新地图数据进行众包更新，获得并返回众包更新结果；

接收众包更新系统返回的众包更新结果。

具体来说，若众包更新结果的处理装置与众包更新系统设置在不同的电子设备上，则需要将新地图数据(或预设测试数据集)发送给众包更新系统，获得众包更新系统的众包更新结果，进行后续的评价。

众包更新系统会对众包数据进行一系列处理，输出众包更新结果，即高精地图要素变化，可以包括存在变化发现和属性变化发现。

在前述示例的基础上，为了进一步描述本公开提供的众包更新结果的处理方法，如图3所示，为本公开提供的另一种众包更新结果的处理方法的流程示意图。

该众包更新结果的处理方法，包括：

步骤201，根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据。

步骤202，将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结。

步骤203，对于预期更新结果中的每个要素，将要素的空间信息和属性信息与众包更新结果中相同要素的空间信息和属性信息进行匹配，获得众包更新结果的更新正确性。

步骤204，根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力。

其中，步骤201、202和步骤204的具体操作与前述示例一致，在此不再赘述。

此外，在获得众包更新结果后，则可以根据预期更新结果对众包更新结果进行验证，验证众包更新结果的正确性，获得众包更新结果的验证结果(为了区分可以称为第一验证结果)。具体需要基于预期更新结果中的每个要素对众包更新结果进行验证，来判断每个要素更新结果的正确性，以及是否有漏更的要素等等。要素是指地图数据中的道路、交通标牌、车道标线等。

具体来说，对于预期更新结果中的每个要素，将该要素的空间信息和属性信息与众包更新结果中该要素的空间信息和属性信息进行匹配，来获得该要素的验证结果(可以称为第二验证结果)，根据各要素的验证结果来获得第一验证结果。

其中，要素的空间信息是指要素在地图中的空间位置信息，属性信息包括要素在地图中的名称、类型及其他相关属性，比如某要素为交通标牌，其空间位置信息包括该交通标牌的坐标，其属性信息包括该交通标牌的名称、颜色、形状等等。众包更新结果和预期更新结果都可以有空间信息和属性信息。

需要说明的是，本公开提供的众包更新结果的处理方法的执行主体为众包更新结果的处理装置。

进一步地，还可以在获得众包更新结果后，对众包更新结果进行预处理。

具体来说，由于众包更新系统输出的众包更新结果不会输出空间坐标，各个要素间属性信息存在关联性，直接对众包更新结果进行评价可能会缺失一些信息，因此可以对这些要素变化信息进行预处理，将一些隐含信息直观显示，使得预处理后的众包更新结果包含更详细的信息，如几何位置、要素类型、更新长度、属性信息变化(即变化前和变化后的属性)，这些信息有利于后续预期更新结果与众包更新结果进行一致性匹配。

示例性的，高精地图众包更新结果只会输出各要素与高精地图的相对位置关系，通过预处理可以根据相对高精地图的offset偏移值反算出该要素更新结果的空间位置。

进一步的，对于预期更新结果中的每个要素，将要素的空间信息和属性信息与众包更新结果中相同要素的空间信息和属性信息进行匹配，获得众包更新结果的验证结果，包括：

步骤2031，对于预期更新结果中的每个要素，确定要素的坐标与众包更新结果中相同要素的坐标之间的坐标差异、要素的属性信息变化及要素的更新结果长度。

在获得众包更新结果后，需要基于预期更新结果中的每个要素对众包更新结果进行验证，来判断每个要素更新结果的正确性，以及是否有漏更的要素等等。具体来说，可以对于预期更新结果中的每个要素，确定要素的坐标与众包更新结果中相同要素的坐标之间的坐标差异、要素的属性信息变化及要素的更新结果长度。

其中，坐标差异可以是坐标之间的距离或者其他方式反映的差异。属性信息变化是指变化前和变化后的属性。更新结果长度是指更新了多长距离，比如新增车道标线长度400米。

步骤2032，根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性。

其中，位置匹配阈值、属性匹配阈值和长度匹配阈值可以根据实际需求设置，本实施例不做限定。比如若坐标差异以坐标之间的距离体现，则位置匹配阈值可以设置为距离阈值，比如0.5米。

示例性的，预期更新结果中某要素坐标为(x1,y1,z1),众包更新结果中该要素坐标为(x2,y2,z2),计算两坐标之间的距离，作为该要素更新结果的坐标差异，与位置匹配阈值比较。

示例性的，预期更新结果中新增车道标线要素的更新结果长度为400米，而众包更新结果中该新增车道标线要素的更新结果长度为100米，可以获取两更新结果长度的差值300米，与长度匹配阈值进行比较。

示例性的，预期结果中车道标线宽度是200mm，众包更新结果中该车道标线宽度是190mm，车道标线宽度差值是10mm(即属性信息变化为10mm)，与属性匹配阈值进行比较。比如属性匹配阈值设置为20mm，差值小于属性匹配阈值。

步骤2033根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性。

具体来说，在确定了各要素的验证结果后，则可以根据各要素的验证结果来确定对整个众包更新结果的验证结果(即第一验证结果)。

示例性的，可以根据更新正确的要素数量、更新错误的要素数量、漏更的要素数量等来确定众包更新结果的查全率和查准率，来获得整个众包更新结果的验证结果。

进一步地，根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性，包括：

对于每个要素，验证结果包括以下几种情况：

1、若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，则确定该要素的更新结果为通过。

2、若更新结果的坐标差异小于位置匹配阈值和属性信息变化小于属性匹配阈值两个条件中有任意一个不满足，则确定该要素的更新结果存在错误；

3、若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但更新结果长度小于长度匹配阈值，则确定该要素更新结果漏更。

4、若在预期更新结果中存在的第一要素，在众包更新结果中不存在，则确定第一要素更新结果漏更。

具体来说，对于预期更新结果和众包更新结果中都存在的要素，更新结果包括正确、错误及漏更三种情况，对于在预期更新结果中存在而在众包更新结果中不存在的要素，说明众包更新系统对这些要素漏更了。

若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，说明该要素的预期更新结果与众包更新结果匹配成功或称一致，则确定该要素的更新结果为通过(或称正确)。

若更新结果的坐标差异大于位置匹配阈值，或者属性信息变化大于属性匹配阈值说明该要素的众包更新结果与预期更新结果不一致，众包更新结果错误。

若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但是更新结果长度小于长度匹配阈值，说明两者匹配上了，但是由于更新长度未达到长度匹配阈值，说明众包更新系统对该要素漏更了，可能是漏更了部分长度。

示例性的，位置匹配阈值设定为α，属性匹配阈值设定为β，长度匹配阈值设定为γ。当一致性匹配结果的坐标低于α，且属性信息变化低于β，更新结果的长度高于γ，才算匹配上。以新增交通标牌为例，当众包更新结果的新增交通标牌与预期更新结果中的新增交通标牌坐标差异高于位置匹配阈值α时，则两者结果未匹配上。

进一步地，根据各要素的更新正确性，确定众包更新结果的正确性，包括：

步骤20331，基于各要素的更新正确性确定众包更新结果的查全率和查准率；

步骤20332，根据众包更新结果的查全率和查准率，以及预设正确性阈值，确定众包更新结果的正确性。

具体来说，可以建立评价标准，具体可以是采用机器学习的评价指标。由于众包更新结果数据量大、结果复杂多样，对于众包更新系统而言，影响众包更新结果的因素有众包数据、代码版本、高精地图数据等，要评价众包更新系统的变化发现能力，确定统一的评价标准非常关键。本公开示例采用机器学习的评价指标：查准率和查全率。高精地图各要素都属于众包更新系统的评价范围，评价指标涉及各个要素变化的查准率和查全率，其中，查准率和查全率的公式分别为：

P＝TP/(TP+FP)

R＝TP/(TP+FN)

其中各符号含义如表1所示。

表1

名词	解释
		TP	当众包更新结果与标准答案匹配上时，即正确更新
FN	当标准答案无匹配上的众包更新结果时，即漏更新
		FP	当众包更新结果无匹配上的标准答案时，即误更新
P	查准率，也称准确率
		R	查全率，也称召回率

示例性的，预期更新结果中有新增交通标牌要素，而众包更新结果没有相应匹配上的新增交通标牌要素，则该新增交通标牌要素是FN，众包更新系统漏新增该交通标牌。

在前述示例的基础上，为了进一步描述本公开提供的众包更新结果的处理方法，如图4所示，为本公开提供的再一种众包更新结果的处理方法的流程示意图。

该众包更新结果的处理方法，包括：

步骤301，根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据。

步骤302，将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果。

步骤303，根据所述预期更新结果确定所述众包更新结果的正确性。

步骤304，根据众包更新结果的正确性生成结果报告。

需要说明的是，步骤301-303的具体操作与前述示例一致，在此不再赘述。

此外，在获得众包更新结果的验证结果后，可以根据众包更新结果的验证结果生成结果报告。

具体来说，可以对众包更新结果中各要素的验证结果按个数、长度进行统计生成评价报告。

进一步的，根据众包更新结果的验证结果生成结果报告，包括：

步骤3041，根据所述众包更新结果中每个要素的更新正确性，分别按个数和更新结果长度生成结果报告。

其中，个数包括众包更新结果中更新正确的要素个数、更新错误的要素个数及漏更的要素个数。

具体来说，个数可以包括更新结果正确(TP)的要素个数、更新结果错误(FP)的要素个数、漏更(FN)的要素个数等等，具体可以根据实际需求设置。根据各个类型的TP、FP、FN个数和查准率、查全率，评价众包更新系统总的TP、FP、FN个数，以及众包更新系统查准率和查全率的变化情况。

对于按长度(结果更新长度)生成结果报告，当坐标差异低于位置匹配阈值、属性信息变化低于属性匹配阈值，但更新结果长度低于长度匹配阈值时，按个数进行评价时是按FN，这样不够准确，有部分长度属于正确更新，因此，增加按长度进行统计。TP长度按照实际匹配上的长度进行统计，FN长度按照实际与标准答案漏更新的长度进行统计，FP长度按照实际与标准答案误更新的长度进行统计。

示例性的，以新增车道标线为例，标准答案中新增车道标线长度是400m，众包更新结果新增车道标线长度是100m，未达到长度匹配阈值，新增车道标线按个数统计则有1个FN，按长度统计则有300m长度的FN。进一步的，该众包更新结果的处理方法，还可以包括：

根据结果报告，将众包更新结果按预设场景分类，获得场景分类结果，并将场景分类结果反馈给众包更新系统。

具体来说，根据上述示例中建立的场景模型，将众包更新结果按照预设场景(车道场景、道路场景、对象场景、路口场景)进行分类，能够共计出众包更新结果正确更新、误更(即更新错误)、漏更的场景分布情况。由于众包更新系统对场景具有依赖性，在不同场景下更新能力各不相同，场景分类结果能够将不同场景的处理能力反馈给众包更新系统，提供共性问题和后续的改进方向，有助于提升众包更新系统的能力。比如众包更新系统漏更新、误更新的场景主要集中在路口场景，众包更新系统对路口场景的存在变化发现和属性变化发现能力存在不足，后续众包更新系统需要对路口场景的众包数据做进一步处理，提高对路口场景的处理能力。

进一步的，该众包更新结果的处理方法，还可以包括：

根据不同版本众包更新系统对应的结果报告，生成差分结果，并将差分结果反馈给众包更新系统。

具体来说，对不同代码版本的众包更新系统进行评价时，若在生成的评价报告中包含当前版本众包更新系统所有的更新结果，每次完整地分析评价报告耗时较长、效率较低。为了提高处理效率，可以输出对两个版本评价后的差分结果，即V1版本相比于V0版本TP、FP、FN的变化差异。差分结果就是V1版本相比于V0版本有差异的更新结果，例如V1版本误新增了车道标线，V0版本未新增该车道标线，根据差分结果，只需要关注V1版本误新增的车道标线即可。

当高精地图数据、传感器数据等不变时，不同代码版本众包更新系统对高精地图要素变化的查准率和查全率不同。差分结果能够提高分析效率，将差分结果反馈给众包更新系统，会体现不同代码版本众包更新系统的成熟度、处理能力是否提升，能够评价不同代码版本众包更新系统的变化发现能力，可以详细到具体记录的分析，集中分析有差异的部分。

需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本公开不做限定。

本公开提供的众包更新结果的处理方法，通过建立测试数据集及预期更新结果，基于测试数据集获得众包更新结果，根据预期更新结果对众包更新结果进行验证，并根据众包更新结果的验证结果对众包更新结果进行相应的处理，实现了对众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。还可以生成结果报告，并按场景分类反馈给众包更新系统以使众包更新系统相关人员可以根据结果报告完善改进众包更新系统，提高众包更新系统的变化发现能力。还可以是向众包更新系统反馈差分结果，即不同版本众包更新系统评价结果的差异部分，而不需要反馈各版本的所有更新结果，提高数据传输效率，且能够获得不同代码版本众包更新系统的变化发现能力。

在前述示例的基础上，为了进一步描述本公开提供的众包更新结果的处理方法，如图5所示，为本公开提供的又一种众包更新结果的处理方法的流程示意图。具体包括：

1.1建立测试数据集，生成标准答案

建立高精地图场景模型，可以分为车道场景、道路场景、对象场景、路口场景。根据指定场景修改高精地图数据来模拟现实世界变化，在高精地图V0版本的基础上修改地图数据得到V1版本的高精地图，作为众包更新系统的输入，同时会生成标准答案(即预期更新结果)。如在V0版本的基础上新增交通标牌得到V1版本的地图数据，则标准答案就是删除该交通标牌。标准答案即测试的预期更新结果，它的来源有测试数据集、已确定的现实世界变化。

1.2众包更新结果预处理

高精地图众包更新系统会对众包数据进行一系列处理，输出众包更新结果，即高精地图要素变化，包括存在变化发现和属性变化发现。由于输出的众包更新结果不会输出空间坐标，各个要素间属性信息存在关联性，直接对众包更新结果进行评价会缺失一些信息，需要对这些要素变化信息进行预处理，将一些隐含信息直观显示，使得预处理后的众包更新结果包含更详细的信息，如几何位置、要素类型、更新类型、更新长度、属性信息变化等，这些信息有利于后续标准答案与众包更新结果进行一致性匹配。将预处理后的众包更新结果作为上述示例中的众包更新结果进行评价。

例如高精地图众包更新结果只会输出各个要素与高精地图的相对位置关系，预处理会根据相对高精地图的offset偏移值反算出该更新结果的空间位置，有利于后续1.3环节根据空间位置将标准答案与众包更新结果进行结果匹配。

1.3结果匹配

标准答案和众包更新结果都有空间信息和属性信息，将众包更新结果预处理后的结果与标准答案进行匹配，两者的匹配涉及到位置匹配阈值、属性匹配阈值、长度匹配阈值。

将标准答案的坐标与众包更新结果的坐标进行匹配，确定每个坐标点的差异，如果相同要素对应点的坐标差异高于位置匹配阈值，则说明两者不匹配，该要素的众包更新结果存在错误；如果两者一致性匹配结果的坐标差异低于位置匹配阈值，但是属性信息变化高于属性匹配阈值，则说明两者不匹配，该要素的众包更新结果存在错误；如果一致性匹配结果的坐标差异低于位置匹配阈值，且属性信息变化低于属性匹配阈值，但是更新结果的长度(即更新结果长度)低于长度匹配阈值，则说明两者匹配上了，但是由于长度未达到长度匹配阈值，则说明该要素众包更新结果漏更新；如果一致性匹配结果的坐标差异低于位置匹配阈值，且属性信息变化低于属性匹配阈值、更新结果的长度高于长度匹配阈值，则说明两者匹配，该要素的众包更新结果正确；如果某个要素的标准答案无相应匹配上的众包更新结果，则说明该要素众包更新结果漏更新。

由于众包数据精度较低，这里位置匹配阈值设定为α，属性匹配阈值设定为β，长度匹配阈值设定为γ。当一致性匹配结果的坐标低于α，且属性信息变化低于β，更新结果的长度高于γ，才算匹配上。以新增交通标牌case为例，当众包更新结果的新增交通标牌与标准答案中的新增交通标牌一致性匹配结果高于位置匹配阈值α时，则两者结果未匹配上。

1.4建立评价标准

由于众包更新结果的数据量大、结果复杂多样。对于众包更新系统而言，影响众包更新结果的因素有众包数据、代码版本、高精地图数据等，要评价众包更新系统的变化发现能力，采用统一的评价标准很有必要。

将标准答案与众包更新结果匹配后的结果进行数据正确性测试，这里采用机器学习的评价指标--查准率、查全率，高精地图各个要素都属于众包更新系统的评价范围，评价指标会涉及到各个要素变化的查准率和查全率，差准率和查全率的计算公式分别是：

P＝TP/(TP+FP)

R＝TP/(TP+FN)

其中，各符号的含义如上表1所示。

例如标准答案中有新增交通标牌case，而众包更新结果没有相应匹配上的新增交通标牌，则该新增交通标牌case是FN，众包更新系统漏新增该交通标牌。

1.5生成评价报告

对1.3众包更新结果与标准答案匹配后的结果分别按个数、长度统计生成评价报告。

1.5.1按个数统计的评价报告

按个数统计时，各个要素一致性匹配后，统计出众包更新结果TP、FP、FN的个数以及查准率和查全率。根据各个类型的TP、FP、FN个数和查准率、查全率，能够评价出众包更新系统总的TP、FP、FN个数，以及众包更新系统查准率和查全率的变化情况。

1.5.2按长度统计的评价报告

1.3结果匹配涉及长度匹配阈值，当一致性匹配结果的坐标低于位置匹配阈值、属性信息变化低于属性匹配阈值，但是更新结果的长度低于长度匹配阈值时，按个数进行评价时算FN，这显然不够准确，有部分长度属于正确更新，所以对众包更新系统进行评价时增加了按长度进行统计。TP长度按照实际匹配上的长度进行统计，FN长度按照实际与标准答案漏更新的长度进行统计，FP长度按照实际与标准答案误更新的长度进行统计。

这里以新增车道标线为例，标准答案中新增车道标线长度是400m，众包更新结果新增车道标线长度是100m，未达到长度匹配阈值，新增车道标线case按个数统计则有1个FN，按长度统计则有300m长度的FN。

1.6结果反馈

根据1.5评价报告，会将众包更新结果以场景分类结果、差分结果反馈给众包更新系统。

1.6.1场景分类结果

根据1.1建立的场景模型，将众包更新结果按照场景进行分类。高精地图的场景比较复杂、场景不一，通过将高精地图要素变化的更新结果按照场景进行分类，能够统计出众包更新结果正确更新、漏更新、误更新的场景分布情况。由于众包更新系统对场景具有依赖性，系统在不同场景下更新能力各不相同，场景分类结果能够将不同场景的处理能力反馈给众包更新系统，提供共性问题和后续的改进方向，真正提升众包更新系统能力。如众包更新系统漏更新、误更新的场景主要集中在路口场景，众包更新系统对路口场景的存在变化发现和属性变化发现能力存在不足，后续系统会对路口场景的众包数据做进一步处理，提高对路口场景的处理能力。

1.6.2差分结果

对不同代码版本的众包更新系统进行评价时，会输出两个版本评价后的差分结果，即V1版本相比于V0版本TP、FP、FN的变化差异。1.5生成的评价报告包含当前版本众包更新系统所有的更新结果，每次完整地分析评价报告耗时较长、效率较低。差分结果就是V1版本相比于V0版本有差异的更新结果，例如V1版本误新增了车道标线，V0版本未新增该车道标线，根据差分结果，只需要关注V1版本误新增的车道标线即可。

当高精地图数据、传感器数据等不变时，不同代码版本众包更新系统对高精地图要素变化的查准率和查全率不同。差分结果能够提高case分析效率，将差分结果反馈给众包更新系统，会体现不同代码版本众包更新系统的成熟度、处理能力是否提升，能够评价不同代码版本众包更新系统的变化发现能力，可以详细到具体记录的分析，集中分析有差异的部分。

第二方面，本公开示例提供了一种众包更新结果的处理装置，用于执行前述示例的众包更新结果的处理方法。

如图6所示，为本公开提供的众包更新结果的处理装置的结构示意图。该众包更新结果的处理装置40包括获取模块41、生成模块42、验证模块43和处理模块44。

其中，获取模块，用于根据预设规则建立测试数据集，并生成对应的预期更新结果，所述预设测试数据集包括对原地图数据进行修改获得的新地图数据；生成模块，用于将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果；验证模块，用于根据所述预期更新结果确定所述众包更新结果的正确性；处理模块，用于根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力。

在其中一种可选的示例中，所述验证模块，具体用于：

对于所述预期更新结果中的每个要素，确定所述要素的坐标与所述众包更新结果中相同要素的坐标之间的坐标差异、所述要素的属性信息变化及所述要素的更新结果长度；

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性；

根据各要素的更新正确性，确定所述众包更新结果的正确性。

在其中一种可选的示例中，所述验证模块，具体用于：

对于每个要素：

若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，则确定该要素的更新结果为正确；

若更新结果的坐标差异小于位置匹配阈值和属性信息变化小于属性匹配阈值两个条件中有任意一个不满足，则确定该要素的更新结果存在错误；

若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但更新结果长度小于长度匹配阈值，则确定该要素更新结果漏更；

若在所述预期更新结果中存在的第一要素，在所述众包更新结果中不存在，则确定所述第一要素更新结果漏更。

在其中一种可选的示例中，所述验证模块，具体用于：

基于各要素的更新正确性确定所述众包更新结果的查全率和查准率；

根据所述众包更新结果的查全率和查准率，以及预设正确性阈值，确定所述众包更新结果的正确性。

在其中一种可选的示例中，所述装置还包括，预处理模块用于：

根据所述众包更新结果中各要素相对于高精地图的offset偏移值，计算所述众包更新结果中各要素的空间坐标。

在其中一种可选的示例中，所述处理模块，具体用于：

根据所述众包更新结果中每个要素的更新正确性，分别按个数和更新结果长度生成结果报告，所述个数包括所述众包更新结果中更新正确的要素个数、更新错误的要素个数及漏更的要素个数。

在其中一种可选的示例中，所述处理模块，具体用于：

根据所述结果报告，将所述众包更新结果按预设场景分类，获得场景分类结果，并将所述场景分类结果反馈给所述众包更新系统。

在其中一种可选的示例中，所述处理模块，具体用于：

根据不同版本众包更新系统对应的结果报告，生成差分结果，并将差分结果反馈给各版本众包更新系统。

在其中一种可选的示例中，所述装置还包括显示模块，用于：

在新地图上对所述预期更新结果进行标注，并对标注后的新地图进行显示。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的众包更新结果的处理装置的具体工作过程以及相应的有益效果，可以参考前述方法示例中的对应过程，在此不再赘述。

根据本公开提供的众包更新结果的处理装置，通过建立测试数据集及预期更新结果，基于测试数据集获得众包更新结果，根据预期更新结果对众包更新结果进行验证，并根据众包更新结果的验证结果对众包更新结果进行相应的处理，实现了对众包更新系统的变化能力的自动化测试，有效提高了处理效率，降低人工成本。还可以生成结果报告，并按场景分类反馈给众包更新系统以使众包更新系统相关人员可以根据结果报告完善改进众包更新系统，提高众包更新系统的变化发现能力。还可以是向众包更新系统反馈差分结果，即不同版本众包更新系统评价结果的差异部分，而不需要反馈各版本的所有更新结果，提高数据传输效率，且能够获得不同代码版本众包更新系统的变化发现能力。

第三方面，本公开提供一种电子设备，用于执行前述示例提供的方法。

如图7所示，为公开提供的电子设备的结构示意图。该电子设备50包括：

一个或多个处理器51；

存储装置52，用于存储一个或多个程序；

当一个或多个程序被一个或多个处器执行，使得一个或多个处理器实现如前任一的方法。

功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，电子设备的结构中包括处理器和存储器，存储器用于存储支持电子设备执行上述第一方面中众包更新结果的处理方法的程序，处理器被配置为用于执行存储器中存储的程序。电子设备还可以包括通信接口，用于电子设备与其他设备或通信网络通信。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备的具体工作过程以及相应的有益效果，可以参考前述方法示例中的对应过程，在此不再赘述。

第四方面，本公开示例提供了一种存储介质，用于储存电子设备所用的计算机软件指令，其包含用于执行上述第一方面中众包更新结果的处理方法所涉及的程序。

在本公开所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本公开各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (9)

1.一种众包更新结果的处理方法，其特征在于，包括：

根据预设规则建立测试数据集，并生成对应的预期更新结果，所述测试数据集包括对原地图数据进行修改获得的新地图数据；

将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果，所述众包更新结果包括存在变化发现和属性变化发现；

根据所述预期更新结果确定所述众包更新结果的正确性；

根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力；

所述根据所述预期更新结果确定所述众包更新结果的正确性，包括：

对于所述预期更新结果中的每个要素，确定所述要素的坐标与所述众包更新结果中相同要素的坐标之间的坐标差异、所述要素的属性信息变化及所述要素的更新结果长度；

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性；

根据各要素的更新正确性，确定所述众包更新结果的正确性。

2.根据权利要求1所述的方法，其特征在于，根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性，包括：

对于每个要素：

若更新结果的坐标差异小于位置匹配阈值、属性信息变化小于属性匹配阈值，且更新结果长度大于长度匹配阈值，则确定该要素的更新结果为正确；

若更新结果的坐标差异小于位置匹配阈值和属性信息变化小于属性匹配阈值两个条件中有任意一个不满足，则确定该要素的更新结果存在错误；

若更新结果的坐标差异小于位置匹配阈值，且属性信息变化小于属性匹配阈值，但更新结果长度小于长度匹配阈值，则确定该要素更新结果漏更；

若在所述预期更新结果中存在的第一要素，在所述众包更新结果中不存在，则确定所述第一要素更新结果漏更。

3.根据权利要求2所述的方法，其特征在于，所述根据各要素的更新正确性，确定所述众包更新结果的正确性，包括：

基于各要素的更新正确性确定所述众包更新结果的查全率和查准率；

根据所述众包更新结果的查全率和查准率，以及预设正确性阈值，确定所述众包更新结果的正确性。

4.根据权利要求1所述的方法，其特征在于，所述根据所述预期更新结果确定所述众包更新结果的正确性之前，所述方法还包括：

根据所述众包更新结果中各要素相对于高精地图的offset偏移值，计算所述众包更新结果中各要素的空间坐标。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力包括：

根据所述众包更新结果中每个要素的更新正确性，分别按个数和更新结果长度生成结果报告，所述个数包括所述众包更新结果中更新正确的要素个数、更新错误的要素个数及漏更的要素个数。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据所述结果报告，将所述众包更新结果按预设场景分类，获得场景分类结果，并将所述场景分类结果反馈给所述众包更新系统。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

根据不同版本众包更新系统对应的结果报告，生成差分结果，并将差分结果反馈给各版本众包更新系统。

8.根据权利要求1所述的方法，其特征在于，所述根据预设规则建立测试数据集，并生成对应的预期更新结果之后，所述方法还包括：

在新地图上对所述预期更新结果进行标注，并对标注后的新地图进行显示。

9.一种众包更新结果的处理装置，其特征在于，包括：

获取模块，用于根据预设规则建立测试数据集，并生成对应的预期更新结果，所述预设测试数据集包括对原地图数据进行修改获得的新地图数据；

生成模块，用于将所述新地图数据发送给众包更新系统，以使所述众包更新系统对所述新地图数据进行众包更新，并接收所述众包更新系统反馈的众包更新结果，所述众包更新结果包括存在变化发现和属性变化发现；

验证模块，用于根据所述预期更新结果确定所述众包更新结果的正确性；

处理模块，用于根据所述众包更新结果的正确性，确定众包更新系统的变化发现能力；

所述验证模块，具体用于：

对于所述预期更新结果中的每个要素，确定所述要素的坐标与所述众包更新结果中相同要素的坐标之间的坐标差异、所述要素的属性信息变化及所述要素的更新结果长度；

根据各要素的更新结果的坐标差异及位置匹配阈值、属性信息变化及属性匹配阈值、更新结果长度及长度匹配阈值，确定各要素的更新正确性；

根据各要素的更新正确性，确定所述众包更新结果的正确性。