CN111008672B - 样本提取方法、装置、计算机可读存储介质和计算机设备 - Google Patents

Abstract

本申请涉及一种样本提取方法、装置、计算机可读存储介质和计算机设备，包括：获取城市道路网中的目标路段；根据目标路段从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器得到机器识别结果；根据机器识别结果以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。采用本方法可提高道路及道路设施的检测分类准确性。

Description

样本提取方法、装置、计算机可读存储介质和计算机设备

技术领域

本申请涉及计算机技术领域，特别是涉及一种样本提取方法、装置、计算机可读存储介质和计算机设备。

背景技术

随着城市化进程的不断加快，城市基础建设特别是城市交通道路建设的重要性逐渐凸显，而面对不断变化的城市交通道路及其道路设施，相应地及时更新城市地图对于人们的日常出行具有关键性作用。

现有技术中针对城市地图的更新，通常是利用人工标注样本进而训练机器模型，使之学习到具有道路及道路设施检测或分类的能力，从而利用模型检测分类结果更新当前城市道路，进而实现对城市地图的更新。

然而，由于上述用于模型训练的样本选取随机性较大、样本有效率较低，造成训练后的模型作业能力依旧不足，模型针对道路及道路设施的检测与分类结果可靠性依旧不高。

因此，现有技术中用于检测分类道路及道路设施的机器模型存在输出结果可靠性差的问题。

发明内容

基于此，有必要针对现有技术中用于检测分类道路及道路设施的机器模型存在着输出结果可靠性差的技术问题，提供一种样本提取方法、装置、计算机可读存储介质和计算机设备。

一方面，本发明实施例提供一种样本提取方法，包括：获取城市道路网中的目标路段；目标路段根据预设的地理要素确定；根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

另一方面，本发明实施例提供一种样本提取装置，包括：目标路段获取模块，用于获取城市道路网中的目标路段；目标路段根据预设的地理要素确定；众包轨迹确定模块，用于根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；识别结果输出模块，用于获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；目标样本确定模块，用于根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；目标分类检测模块，用于基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

又一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取城市道路网中的目标路段；目标路段根据预设的地理要素确定；根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

又一方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取城市道路网中的目标路段；目标路段根据预设的地理要素确定；根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

上述样本提取方法、装置、计算机可读存储介质和计算机设备，服务器首先根据预设的地理要素从城市道路网中获取目标路段，进而获取该目标路段的目标众包轨迹对分类检测器进行基础训练，以使基础训练后的分类检测器具备初级识别能力，最后再将随机路段的众包轨迹输入至该具备初级识别能力的分类检测器中，使之输出机器识别结果，由机器识别结果与真值结果判定该众包轨迹是否可作为目标提取样本，用以进一步优化分类检测器的性能。最后基于优化后的分类检测器对道路及道路设施进行分类检测。采用本方法，不仅可搜集有效率较高且用于优化分类检测器性能的目标提取样本，还能提高检测分类道路及道路设施的准确性。

附图说明

图1为一个实施例中样本提取方法的应用环境图；

图2为一个实施例中计算机设备的结构框图；

图3为一个实施例中样本提取方法的流程示意图；

图4为一个实施例中指定范围内城市道路网的路况示意图；

图5为一个实施例中具有预设地理要素的众包轨迹图片示意图；

图6为一个实施例中目标路段获取步骤的流程示意图；

图7为一个实施例中目标众包轨迹确定步骤的流程示意图；

图8为一个实施例中分类检测器基础训练步骤的流程示意图；

图9为一个实施例中目标提取样本获取步骤的流程示意图；

图10(a)为一个实施例中常规召回率改进样本的路况示意图；

图10(b)为一个实施例中虚检准确率改进样本的路况示意图；

图10(c)为一个实施例中有效置信度改进样本的路况示意图；

图10(d)为一个实施例中误检准确率改进样本的路况示意图；

图10(e)为一个实施例中非常规召回率改进样本的路况示意图；

图11为一个实施例中目标提取样本标注步骤的流程示意图；

图12为一个实施例中样本提取装置的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

图1为一个实施例中样本提取方法的应用环境图。本申请提供的样本提取方法可应用于如图1所示的应用环境中。其中，用户终端110通过网络与服务器120进行通信，用户终端110具体可以是台式终端或移动终端，移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种，服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现，网络包含但不限于是：广域网、城域网或局域网。

在实际应用中，用户终端110可生成带有指定地理要素的样本提取请求，进而将该请求发送至服务器120，供服务器120响应于样本提取请求获取模型训练样本，进而利用模型训练样本迭代优化深度学习模型，使深度学习模型作用于目标检测或目标分类对象时具有显著改善的准确率及召回率，以便在执行城市地图更新任务过程中，使用深度学习模型可得到更准确全面的输入结果，利于城市道路的路况更新。

图2示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器120。如图2所示，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的计算机设备通过网络连接通信。该计算机程序被处理器执行时以实现一种样本提取方法。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

如图3所示，在一个实施例中，提供了一种样本提取方法。本实施例主要以该方法应用于上述图1中的服务器120来举例说明。参照图3，该样本提取方法具体包括如下步骤：

S302，获取城市道路网中的目标路段；目标路段根据预设的地理要素确定。

其中，城市道路网可以是指城市范围内由不同功能、等级、区位的道路，以一定的密度和适当的形式组成的网络结构。

其中，目标路段可以是指城市道路网中满足预设条件的link，而link含义为路网中的某一段路。

其中，地理要素可以是分类检测器当前所需检测识别的作业要素，该要素也可以是城市交通道路的相关参数，例如，车信地标线、车道数、道路状态、红绿灯、标牌等。

具体地，服务器120在获取城市道路网中的目标路段之前，可先接收由用户终端110所发送并带有预设地理要素的样本提取请求，响应于该请求从城市道路网中确定具有该地理要素的路段，作为目标路段。

更具体地，服务器120可以是响应于样本提取请求，通过相应接口获取城市道路网的路网数据，进而在该路网数据中遍历预设的地理要素，以此确定具有该地理要素的路段，作为后续处理依据的目标路段。

例如，若用户终端110提交的地理要素为“车信地标线”，则服务器120在获取到城市道路网的路网参数之后，可通过查找具有该“车信地标线”参数标识的路段，来确定目标路段。

当然，本领域技术人员还可通过其他预设的限制条件来获取目标路段，而该限制条件不仅可以是地理要素，还可以是路网搜索范围，例如城市范围，即当用户终端110提交的限制条件为指定城市和地理要素时，服务器120首先获取该指定城市所对应城市道路网的路网数据，进而再根据地理要素确定目标link路段。因此，本实施例中涉及目标路段的获取方式在本申请中不作具体限制。

S304，根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练。

其中，众包轨迹可以是指通过众包方式采集的图片或GPS点资料数据。

其中，目标众包轨迹可以是指与目标路段相匹配的、采集对象锁定为该目标路段的图片或GPS点资料数据。

其中，分类检测器可以是指能够针对待处理对象进行分类检测的机器学习模型，例如，深度学习模型。

具体地，服务器120在城市道路网中确定目标路段之后，可进一步从轨迹数据库中获取预存的众包轨迹，该预存的众包轨迹可能是未经定向匹配的轨迹数据，即所有轨迹数据不具有指定的映射路段，则服务器120可通过轨迹拉取服务接口来获取与目标路段相匹配的众包轨迹，作为目标众包轨迹，该目标众包轨迹包括图片或GPS点资料数据，可用于实施对分类检测器的基础训练，使之具备初级检测分类能力。

例如，可参阅图4，图4为指定范围内城市道路网的路况示意图。其中，白色路段表示为非目标路段，其不具有“车信地标线”地理要素，而灰色路段表示为服务器120确定具有“车信地标线”的目标路段。

又例如，图4中表示为目标路段的灰色路段，部分吸附有箭头，该箭头即表示为link路段的众包轨迹，也即是说吸附有众包轨迹箭头的灰色目标路段，其对应有采集到的图片或GPS点资料数据，而目标路段的众包轨迹图片，可参与图5，图5所示的目标路段具有“车信地标线”。

S306，获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果。

其中，随机路段可以是服务器120在城市道路网中随机获取的某一路段，不完全与前文所提目标路段相同，即不一定具有预设的地理要素。

具体地，服务器120在获取到目标路段的目标众包轨迹之后，可将目标众包轨迹输入至分类检测器进行基础训练，使之具备针对随机路段众包轨迹进行地理要素检测分类的能力，进而输出当前所处理随机路段对应的机器识别结果，该机器识别结果可包括随机路段众包轨迹中地理要素的具体类别。

例如，图5所示的link路段图片输入至分类检测器后，分类检测器可输出得到具有“左转”、“直行”、“直行”、“直行或右转”四类车信地标线的机器识别结果。

S308，根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练。

其中，真值结果可以是经路网确定的地理要素具体类别，例如，车信地标线的“左转”类别、“直行”类别等。真值含义在于其毫无疑问地已被确定。

其中，目标提取样本可以是指随机路段众包轨迹中，能够作为补充训练集而提高分类检测器作业性能的待训练样本，例如，分类检测器未识别出的却具有某类车信地标线的link路段图片样本。

具体地，服务器120得到随机路段众包轨迹的机器识别结果，即为得到该随机路段是否具有地理要素，以及具有何种类别地理要素的结果，机器识别结果属于分类检测器基于现有能力识别得到的结果，而真值结果属于路网中人工作业批注的真实性结果。当服务器120获取到目标对象-随机路段众包轨迹的机器识别结果后，可进一步获取该随机路段众包轨迹的真值结果，通过对两种结果的比较，即可判定该随机路段的众包轨迹是否可作为提高分类检测器性能的目标提取样本，若判定该随机路段的众包轨迹是目标提取样本，则可将其输入至经过基础训练后的分类检测器，用以进一步提高分类检测器的分类检测性能。

例如，如图5所示的link路段，其真值结果包括“左转车信地标线”、“直行车信地标线”、“直行车信地标线”以及“直行或右转车信地标线”，但机器识别结果为空，说明分类检测器未识别出该link路段中的车信地标线，该link路段图片可作为目标提取样本，补充至模型训练样本集用以提高分类检测器的召回率。

S310，基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

具体地，基于上述步骤优化训练后的分类检测器，其已具备准确率较高的道路/道路设施分类及检测效果，因此，后续步骤中服务器120可利用该优化训练后的分类检测器，对对道路和道路设施中的至少一项进行分类检测。

例如，基于优化训练后的分类检测器，若任务目标是检测红绿灯，则服务器120可控制分类检测器检测当前所输入某link路段中的红绿灯。

本实施例中，服务器首先根据预设的地理要素从城市道路网中获取目标路段，进而获取该目标路段的目标众包轨迹对分类检测器进行基础训练，以使基础训练后的分类检测器具备初级识别能力，最后再将随机路段的众包轨迹输入至该具备初级识别能力的分类检测器中，使之输出机器识别结果，由机器识别结果与真值结果判定该众包轨迹是否可作为目标提取样本，用以进一步优化分类检测器的性能。最后基于优化后的分类检测器对道路及道路设施进行分类检测。采用本方法，不仅可搜集有效率较高且用于优化分类检测器性能的目标提取样本，还能提高检测分类道路及道路设施的准确性。

如图6所示，在一个实施例中，步骤S302中获取城市道路网中的目标路段，具体包括如下步骤：

S3022，确定预设的地理要素。

具体地，该预设的地理要素可以是用户终端110发送的地理要素，服务器120接收到用户终端110发送的地理要素后，即可存储该地理要素作为后续目标路段的获取依据。

例如，用户通过用户终端110的交互界面提交了“车信地标线”的地理要素后，用户终端110将“车信地标线”发送至服务器110，服务器120接收到“车信地标线”后可存储备用。

S3024，根据地理要素，从预存的至少两个路网参数中确定目标路网参数；目标路网参数为与地理要素具有一对一映射关系的路网参数。

其中，路网参数可以是针对不同道路设施、路况等地理要素而设置的唯一性标识，可表示为一段二进制字符串，或指定数值，例如，车信地标线对应的路网参数可以是“0000”，斑马线的的路网参数可以是“0001”等。

具体地，服务器120获取到用户终端110发送的地理要素，无法根据地理要素从城市道路网中获取目标路段，则首先根据该地理要素从预存的路网参数中获取与该地理要素相匹配的目标路网参数，以便后续在城市道路网中查找具有该目标路网参数的道路，作为目标路段。

更具体地，服务器120预存有一个数据映射表，该数据映射表包括有地理要素与路网参数的一对一映射关系。

例如，服务器120接收到的地理要素为“车信地标线”，查找数据库预存的数据映射表，得到该“车信地标线”的目标路网参数为“0000”。

S3026，获取城市道路网中具有目标路网参数的城市道路，作为目标路段。

具体地，服务器120可根据当前所获地理要素“车信地标线”的目标路网参数“0000”，在城市道路网中遍历具有该参数的道路，作为后续待处理的目标路段。

本实施例中，通过查找地理要素在城市道路网中具有唯一性标识的目标路网参数，来确定当前所需标注地理要素的目标路段，可提高检测分类道路及道路设施的准确性。

如图7所示，在一个实施例中，步骤S304中根据目标路段，从预存的众包轨迹中确定目标众包轨迹，具体包括如下步骤：

S3042，将目标路段与预存的众包轨迹进行匹配。

具体地，城市道路网中所有路段的众包轨迹可以是通过其他服务接口预先采集，并存储在一个内存数据库中的图片或或GPS点资料数据，服务器120获取目标众包轨迹的途径可以是将目标路段与预存的众包轨迹进行匹配，利用两者之间的映射关系来确定，也可以是通过现有的算法接口来计算目标路段与众包轨迹的关联性，通过预置的关联阈值来确定目标路段的目标众包轨迹。

S3044，确定与目标路段相匹配的众包轨迹，作为目标众包轨迹。

具体地，本领域技术人员可通过多种方式获取与目标路段相匹配的目标众包轨迹，如上文所提利用两者之间的预置映射关系来确定，也可以是利用算法接口计算两者的关联系数，与关联阈值进行比较后确定。因此，目标众包轨迹获取方式在本申请中不作具体限制。

本实施例中，确定与目标路段相匹配的目标众包轨迹作为分类检测器的基础训练样本，相较现有的模型训练随机样本更具针对性，更易改善分类检测器的输出结果质量，提高测分类道路及道路设施的准确性。

如图8所示，在一个实施例中，步骤S304中根据目标路段，从预存的众包轨迹中确定目标众包轨迹之后，具体包括如下步骤：

S3052，获取至少一个标注人员对目标众包轨迹进行要素类别标注得到的标注结果。

具体地，服务器120得到目标众包轨迹之后，随即启动对分类检测器的基础训练，但在一些实施例中，训练之前可增添标注人员对目标众包轨迹的再次确认步骤，即获取标注人员对目标众包轨迹进行地理要素类别标注后得到的标注结果，将具有该地理要素类别标注结果的目标众包轨迹作为分类检测器的基础训练样本，可提高模型作业性能，即是能够提高模型后期作业的检测分类能力。

例如，将具有地理要素类别标注结果的目标众包轨迹作为分类检测器的基础训练样本，可使训练后的分类检测器不仅能识别link路段中具有的地理要素，还能识别出具体的地理要素类别。

S3054，将具有标注结果的目标众包轨迹输入至分类检测器中进行基础训练，得到基础训练后的分类检测器。

具体地，服务器120提取具有标注结果的目标众包轨迹作为训练样本，可进一步降低前期样本收集的误差，以此提升分类检测器的识别性能。

本实施例中，利用目标众包轨迹训练分类检测器之前，可进一步获取该目标众包轨迹的地理要素类别标注结果，以此细化分类检测器的学习对象，从而提升检测分类道路及道路设施的准确性。

如图9所示，在一个实施例中，步骤S308中根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本，具体包括如下步骤：

S3081，若真值结果非空、机器识别结果为空，则确定随机路段的众包轨迹，作为目标提取样本中的常规召回率改进样本。

其中，召回率可以是指训练样本中正例的正确预测率，即正确的结果有多少被给出。而常规召回率在本实施例中可以是相对于非常规召回率而言，即非稀有识别对象(地理要素类别)的召回率。

具体地，真值结果含义在上述实施例中已解释，在此不做赘述。而针对同一识别对象的随机路段众包轨迹，如随机link路段的轨迹图片，若机器识别结果为空，而真值结果为非空，则表示分类检测器当前未识别出该随机link路段轨迹图片中存在地理要素。

例如，可参阅图10(a)，真值结果得到该link路段具有“掉头车信地标线”，但因地标模糊使得机器识别结果未识别出，则可将该link路段图片补充至目标提取样本中，以便提高分类检测器针对常规类型地标识别的召回率。

S3082，若真值结果为空、机器识别结果非空，则确定随机路段的众包轨迹，作为目标提取样本中的虚检准确率改进样本。

其中，准确率可以是指预测结果中正例样本的正确预测率，即给出的结果有多少是准确的。

具体地，针对随机link路段的轨迹图片进行识别检测，若机器识别结果为非空，而真值结果为空，则表示分类检测器当前识别出该随机link路段轨迹图片存在地理要素的结果，实质为虚检。

例如，可参阅图10(b)，真值结果得到该link路段不含“车信地标线”，但机器识别结果得出具有“车信地标线”的结论，则可将该link路段图片补充至目标提取样本中，以便提高分类检测器针对道路错误符号虚检的准确率。

S3083，若真值结果与机器识别结果非空相等、机器识别结果的置信度不大于预设的置信度阈值，则确定随机路段的众包轨迹，作为目标提取样本中的有效置信度改进样本。

其中，置信度可以是指可靠度、置信水平或置信系数，可用数值表示，也可用百分率表示。

其中，置信度阈值可以是判定置信度高低的临界值，同样可用数值或百分率表示，但表示形式与置信度对应。

其中，有效置信度在本实施例中可以是指判定结果为正确的置信度。

具体地，针对随机link路段的轨迹图片进行识别检测，若机器识别结果与真值结果均非空，表示分类检测器当前识别出该随机link路段轨迹图片含有地理要素，同时真值结果也确定该随机link路段轨迹图片含有地理要素，而两者结果相等表示两者对地理要素的具体类别也识别一致，而机器识别结果的置信度不大于预设的置信度预置，表示机器识别结果对正确识别的地理要素类别不确定。

例如，可参阅图10(c)，真值结果得到该link路段含有“右转车信地标线”，但因地标磨损畸变，导致机器识别结果虽然得出具有“右转车信地标线”的结论，但是置信度取值未达到置信度预置，则可将该link路段图片补充至目标提取样本中，以便提高分类检测器对正确结果的识别置信度。

S3084，若真值结果与机器识别结果非空不相等，则确定随机路段的众包轨迹，作为目标提取样本中的误检准确率改进样本。

其中，误检准确率可以是指预测结果中反例样本的正确预测率。

具体地，针对随机link路段的轨迹图片进行识别检测，若机器识别结果与真值结果均非空但不一致，则表示分类检测器当前识别得出的机器识别结果为误检。

例如，可参阅图10(d)，真值结果得到该link路段含有“左转车信地标线”，但因图片采集的角度问题，导致机器识别结果得出其具有“直行左转车信地标线”的结论，则可将该link路段图片补充至目标提取样本中，以便提高分类检测器对样本误检的准确率。

S3085，若真值结果非空且为非常规要素类别的真值结果，则确定随机路段的众包轨迹，作为目标提取样本中的非常规召回率改进样本。

其中，非常规召回率在本实施例中可以是相对于常规召回率而言，即稀有识别对象(地理要素类别)的召回率。

具体地，针对随机link路段的轨迹图片，若真值结果非空且为非常规地理要素类别的真值结果，可将气补充至目标提取样本中，以便提高分类检测器针对非常规类型地标识别的召回率。

例如，可参阅图10(e)，真值结果得到该link路段具有“直行掉头左转一体化车信地标线”，而现有的分类检测器常见的机器识别结果不包含该类别，判定地理要素类别是否为稀有的非常规类型，可通过计算机器识别结果的分类占有率与占有率阈值的比较关系来进行判定。

本实施例中，提出目标提取样本存在多种类型，且可针对性地提高分类检测器的不同性能，将其作为优化训练样本训练分类检测器，可使分类检测器检测分类道路及道路设施的准确性更高。

如图11所示，在一个实施例中，步骤S308中根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本之后，具体包括如下步骤：

S3092，获取至少一个标注人员对目标提取样本进行真值标注后得到的待训练目标提取样本。

具体地，服务器120在确定目标提取样本后，仅仅得到的是具有优化分类检测器性能的众包轨迹，不能将其作为模型优化训练样本输入至分类检测器进行训练，还需设置标签内容，将目标提取样本转换为有标签样本，即包括对应的地理要素类别，由此可供分类检测器训练调优。

S3094，将待训练目标提取样本输入至基础训练后的分类检测器，供基础训练后的分类检测器根据待训练目标提取样本进行优化训练。

具体地，服务器120将有标签样本-待训练目标提取样本输入至基础训练后的分类检测器，对于提高现有分类检测器的性能(召回率和准确率)更具针对性，从而使得现有机器模型的输出结果更加可靠。

本实施例中，对目标提取样本设置标签内容，可对提高检测分类道路及道路设施的准确性。

在一个实施例中，分类检测器包括地理要素分类器或地理要素检测器；地理要素检测器包括深度学习yolo检测器；地理要素分类器包括深度学习inception分类器。

其中，深度学习yolo检测器是目前最先进的实时系统，建立在深度学习的基础上，以解决图像检测问题。

其中，深度学习inception分类器是卷积神经网络(CNN)中的一种分类结构，是CNN分类器发展史上的一个重要里程碑。

具体地，服务器120针对目标提取样本的搜集，不仅针对深度学习yolo检测器中的yolo_v3结构，其他检测网络模型也适用；且目标提取样本的搜集不仅可用于深度学习检测任务，还可用于深度学习(如inception网络)分类任务。

例如，服务器120使用深度学习inception分类器对地理要素的分类，包括圆形标牌分类为交限牌和限速牌等、地面铺设状态分类等。

本实施例中，提供了分类检测器的具体模型结构，可提高检测分类道路及道路设施的准确性。

应该理解的是，虽然图3、6-9、11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3、6-9、11中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图12所示，在一个实施例中，提供了一种样本提取装置1200，该装置1200可设置于样本提取系统中，用于执行上述样本提取方法，样本提取装置1200具体包括：目标路段获取模块1202、众包轨迹确定模块1204、识别结果输出模块1206、目标样本确定模块1208以及目标分类检测模块1210，其中：

目标路段获取模块1202，用于获取城市道路网中的目标路段；目标路段根据预设的地理要素确定；

众包轨迹确定模块1204，用于根据目标路段，从预存的众包轨迹中确定目标众包轨迹；目标众包轨迹用于输入至分类检测器进行基础训练；

识别结果输出模块1206，用于获取城市道路网中随机路段的众包轨迹，并将随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；

目标样本确定模块1208，用于根据机器识别结果，以及至少一个标注人员对随机路段的众包轨迹进行要素类别标注后得到的真值结果，在随机路段的众包轨迹中确定目标提取样本；目标提取样本用于对基础训练后的分类检测器进行优化训练；

目标分类检测模块1210，用于基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

在一个实施例中，目标路段获取模块1202还用于确定预设的地理要素；根据地理要素，从预存的至少两个路网参数中确定目标路网参数；目标路网参数为与地理要素具有一对一映射关系的路网参数；获取城市道路网中具有目标路网参数的城市道路，作为目标路段。

在一个实施例中，众包轨迹确定模块1204还用于将目标路段与预存的众包轨迹进行匹配；确定与目标路段相匹配的众包轨迹，作为目标众包轨迹。

在一个实施例中，样本提取装置1200还包括基础训练模块，用于获取至少一个标注人员对目标众包轨迹进行要素类别标注得到的标注结果；将具有标注结果的目标众包轨迹输入至分类检测器中进行基础训练，得到基础训练后的分类检测器。

在一个实施例中，目标样本确定模块1208还用于若真值结果非空、机器识别结果为空，则确定随机路段的众包轨迹，作为目标提取样本中的常规召回率改进样本；若真值结果为空、机器识别结果非空，则确定随机路段的众包轨迹，作为目标提取样本中的虚检准确率改进样本；若真值结果与机器识别结果非空相等、机器识别结果的置信度不大于预设的置信度阈值，则确定随机路段的众包轨迹，作为目标提取样本中的有效置信度改进样本；若真值结果与机器识别结果非空不相等，则确定随机路段的众包轨迹，作为目标提取样本中的误检准确率改进样本；若真值结果非空且为非常规要素类别的真值结果，则确定随机路段的众包轨迹，作为目标提取样本中的非常规召回率改进样本。

在一个实施例中，样本提取装置1200还包括优化训练模块，用于获取至少一个标注人员对目标提取样本进行真值标注后得到的待训练目标提取样本；将待训练目标提取样本输入至基础训练后的分类检测器，供基础训练后的分类检测器根据待训练目标提取样本进行优化训练。

本实施例中，服务器首先根据预设的地理要素从城市道路网中获取目标路段，进而获取该目标路段的目标众包轨迹对分类检测器进行基础训练，以使基础训练后的分类检测器具备初级识别能力，最后再将随机路段的众包轨迹输入至该具备初级识别能力的分类检测器中，使之输出机器识别结果，由机器识别结果与真值结果判定该众包轨迹是否可作为目标提取样本，用以进一步优化分类检测器的性能。最后基于优化后的分类检测器对道路及道路设施进行分类检测。采用本方案，不仅可搜集有效率较高且用于优化分类检测器性能的目标提取样本，还能提高检测分类道路及道路设施的准确性。

在一个实施例中，本申请提供的样本提取装置可以实现为一种计算机程序的形式，计算机程序可在如图2所示的计算机设备上运行。计算机设备的存储器中可存储组成该样本提取装置的各个程序模块，比如，图12所示的目标路段获取模块1202、众包轨迹确定模块1204、识别结果输出模块1206、目标样本确定模块1208以及目标分类检测模块1210。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的样本提取方法中的步骤。

例如，图2所示的计算机设备可以通过如图12所示的样本提取装置中的目标路段获取模块1202执行步骤S302。计算机设备可通过众包轨迹确定模块1204执行步骤S304。计算机设备可通过识别结果输出模块1206执行步骤S306。计算机设备可通过目标样本确定模块1208执行步骤S308。计算机设备可通过目标分类检测模块1210执行步骤S310。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述样本提取方法的步骤。此处样本提取方法的步骤可以是上述各个实施例的样本提取方法中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述样本提取方法的步骤。此处样本提取方法的步骤可以是上述各个实施例的样本提取方法中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (16)

1.一种样本提取方法，其特征在于，包括如下步骤：

接收带有地理要素的样本提取请求，根据所述样本提取请求获取城市道路网中具有所述地理要素的目标路段，所述目标路段所包括的地理要素是分类检测器需检测识别的地理要素；

从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，从预存的众包轨迹中确定目标众包轨迹；将所述目标众包轨迹中的图片输入至所述分类检测器进行基础训练使所述分类检测器检测识别所述地理要素；

获取所述城市道路网中随机路段的众包轨迹，并将所述随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；

根据所述机器识别结果，以及至少一个标注人员对所述随机路段的众包轨迹进行要素类别标注后得到的真值结果，在所述随机路段的众包轨迹中确定目标提取样本；所述目标提取样本用于对所述基础训练后的分类检测器进行优化训练；

基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

2.根据权利要求1所述的方法，其特征在于，所述获取城市道路网中具有所述地理要素的目标路段，包括：

确定预设的地理要素；

根据所述地理要素，从预存的至少两个路网参数中确定目标路网参数；所述目标路网参数为与所述地理要素具有一对一映射关系的路网参数；

获取所述城市道路网中具有所述目标路网参数的城市道路，作为具有所述地理要素的所述目标路段。

3.根据权利要求1所述的方法，其特征在于，所述从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，从预存的众包轨迹中确定目标众包轨迹，包括：

从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，对所述目标路段与所述预存的众包轨迹进行匹配；

确定与所述目标路段相匹配的众包轨迹，作为所述目标众包轨迹。

4.根据权利要求1所述的方法，其特征在于，在所述从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，从预存的众包轨迹中确定目标众包轨迹之后，还包括：

获取至少一个标注人员对所述目标众包轨迹进行要素类别标注得到的标注结果；

将具有所述标注结果的目标众包轨迹输入至所述分类检测器中进行基础训练，得到所述基础训练后的分类检测器。

5.根据权利要求1所述的方法，其特征在于，所述根据所述机器识别结果，以及至少一个标注人员对所述随机路段的众包轨迹进行要素类别标注后得到的真值结果，在所述随机路段的众包轨迹中确定目标提取样本，包括：

若所述真值结果非空、所述机器识别结果为空，则确定所述随机路段的众包轨迹，作为所述目标提取样本中的常规召回率改进样本；

若所述真值结果为空、所述机器识别结果非空，则确定所述随机路段的众包轨迹，作为所述目标提取样本中的虚检准确率改进样本；

若所述真值结果与所述机器识别结果非空相等、所述机器识别结果的置信度不大于预设的置信度阈值，则确定所述随机路段的众包轨迹，作为所述目标提取样本中的有效置信度改进样本；

若所述真值结果与所述机器识别结果非空不相等，则确定所述随机路段的众包轨迹，作为所述目标提取样本中的误检准确率改进样本；

若所述真值结果非空且为非常规要素类别的真值结果，则确定所述随机路段的众包轨迹，作为所述目标提取样本中的非常规召回率改进样本。

6.根据权利要求1所述的方法，其特征在于，在所述根据所述机器识别结果，以及至少一个标注人员对所述随机路段的众包轨迹进行要素类别标注后得到的真值结果，在所述随机路段的众包轨迹中确定目标提取样本之后，还包括：

获取至少一个标注人员对所述目标提取样本进行真值标注后得到的待训练目标提取样本；

将所述待训练目标提取样本输入至所述基础训练后的分类检测器进行优化训练。

7.根据权利要求1所述的方法，其特征在于，所述分类检测器包括地理要素分类器或地理要素检测器；所述地理要素检测器包括深度学习yolo检测器；所述地理要素分类器包括深度学习inception分类器。

8.一种样本提取装置，其特征在于，所述装置包括：

目标路段获取模块，用于接收带有地理要素的样本提取请求，根据所述样本提取请求获取城市道路网中具有所述地理要素的目标路段，所述目标路段所包括的地理要素是分类检测器需检测识别的地理要素；

众包轨迹确定模块，用于从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，从预存的众包轨迹中确定目标众包轨迹；将所述目标众包轨迹中的图片输入至所述分类检测器进行基础训练使所述分类检测器检测识别所述地理要素；

识别结果输出模块，用于获取所述城市道路网中随机路段的众包轨迹，并将所述随机路段的众包轨迹输入至基础训练后的分类检测器，得到机器识别结果；

目标样本确定模块，用于根据所述机器识别结果，以及至少一个标注人员对所述随机路段的众包轨迹进行要素类别标注后得到的真值结果，在所述随机路段的众包轨迹中确定目标提取样本；所述目标提取样本用于对所述基础训练后的分类检测器进行优化训练；

目标分类检测模块，用于基于优化训练后的分类检测器，对道路和道路设施中的至少一项进行分类检测。

9.根据权利要求8所述的装置，其特征在于，所述目标路段获取模块还用于确定预设的地理要素；根据地理要素，从预存的至少两个路网参数中确定目标路网参数；目标路网参数为与地理要素具有一对一映射关系的路网参数；获取城市道路网中具有目标路网参数的城市道路，作为具有所述地理要素的目标路段。

10.根据权利要求8所述的装置，其特征在于，所述众包轨迹确定模块还用于从预存的采用众包方式采集的所述城市道路网中所有路段的众包轨迹中，按所述目标路段与所述众包轨迹的关联性，对目标路段与各预存的众包轨迹进行匹配；确定与目标路段相匹配的众包轨迹，作为目标众包轨迹。

11.根据权利要求8所述的装置，其特征在于，所述样本提取装置还包括基础训练模块，用于获取至少一个标注人员对目标众包轨迹进行要素类别标注得到的标注结果；将具有标注结果的目标众包轨迹包括的图片作为所述分类检测器的基础训练样本，对所述分类检测器进行基础训练，以得到基础训练后的分类检测器。

12.根据权利要求8所述的装置，其特征在于，所述目标样本确定模块还用于若真值结果非空、机器识别结果为空，则确定随机路段的众包轨迹，作为目标提取样本中的常规召回率改进样本；若真值结果为空、机器识别结果非空，则确定随机路段的众包轨迹，作为目标提取样本中的虚检准确率改进样本；若真值结果与机器识别结果非空相等、机器识别结果的置信度不大于预设的置信度阈值，则确定随机路段的众包轨迹，作为目标提取样本中的有效置信度改进样本；若真值结果与机器识别结果非空不相等，则确定随机路段的众包轨迹，作为目标提取样本中的误检准确率改进样本；若真值结果非空且为非常规要素类别的真值结果，则确定随机路段的众包轨迹，作为目标提取样本中的非常规召回率改进样本。

13.根据权利要求8所述的装置，其特征在于，所述样本提取装置还包括优化训练模块，用于获取至少一个标注人员对目标提取样本进行真值标注后得到的待训练目标提取样本；将待训练目标提取样本输入至基础训练后的分类检测器，供基础训练后的分类检测器根据待训练目标提取样本进行优化训练。

14.根据权利要求8所述的装置，其特征在于，所述分类检测器包括地理要素分类器或地理要素检测器；所述地理要素检测器包括深度学习yolo检测器；所述地理要素分类器包括深度学习inception分类器。

15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述方法的步骤。

16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

Images