CN112785162B - 基于智能车语义的高精地图众包数据质量评估方法与系统 - Google Patents
基于智能车语义的高精地图众包数据质量评估方法与系统 Download PDFInfo
- Publication number
- CN112785162B CN112785162B CN202110101556.XA CN202110101556A CN112785162B CN 112785162 B CN112785162 B CN 112785162B CN 202110101556 A CN202110101556 A CN 202110101556A CN 112785162 B CN112785162 B CN 112785162B
- Authority
- CN
- China
- Prior art keywords
- semantic
- data
- road
- vehicle
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001303 quality assessment method Methods 0.000 title claims abstract description 12
- 230000008447 perception Effects 0.000 claims abstract description 61
- 238000001914 filtration Methods 0.000 claims abstract description 25
- 238000004364 calculation method Methods 0.000 claims abstract description 16
- 230000004931 aggregating effect Effects 0.000 claims abstract description 4
- 238000000034 method Methods 0.000 claims description 29
- 238000012790 confirmation Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 9
- 238000013441 quality evaluation Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 230000011218 segmentation Effects 0.000 claims description 6
- 230000001953 sensory effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013480 data collection Methods 0.000 claims description 5
- 238000010200 validation analysis Methods 0.000 claims description 5
- 230000002776 aggregation Effects 0.000 claims description 4
- 238000004220 aggregation Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 238000003908 quality control method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
- G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Strategic Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Educational Administration (AREA)
- Entrepreneurship & Innovation (AREA)
- Tourism & Hospitality (AREA)
- Quality & Reliability (AREA)
- General Business, Economics & Management (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Manufacturing & Machinery (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于智能车语义的高精地图众包数据质量评估方法与系统,包括:发布地图众包任务需求,招募智能车参与众包;获取智能车的感知数据,包括图像、元数据和语义对象集;对智能车上传的感知数据进行过滤,包括不符合众包任务的时空需求的感知数据以及动态语义对象;对感知数据按道路单元分组,基于语义的质量计算并排名,根据预算选择感知数据;聚合所有选中的感知数据,计算局部众包质量,调整下一轮任务需求。本发明将众包参与者设定为具有语义输出能力的智能车,并采用边缘计算与云计算协同方式进行众包质量评估和把控。本发明能够能够在靠近数据源的边缘端过滤大部分无效数据,有效地甄选对地图更新有意义的高质量语义数据。
Description
技术领域
本发明涉及城市智能交通的技术领域,尤其是指一种基于智能车语义的高精地图众包数据质量评估方法与系统。
背景技术
高精地图是实现无人驾驶的关键技术。作为对现实物理世界的高精度还原,高精地图是辅助无人车辆驾驶的重要服务,在车辆定位、环境感知、控制决策等方面发挥着重要作用。高精地图服务具有更新频率高、实时性要求高、网络延迟低、部署范围大、覆盖面积广等特点,而传统的云计算模式实时性不够,存在通信延迟问题,且数据量巨大,将占用大量带宽资源,因此在该场景下不适用。取而代之的是具有本地化、邻近、低时延优点的边缘计算技术,将云端繁重的计算任务卸载到边缘节点,减轻传输和存储的负担。
高精地图由于其高度精确和真实的道路表示形式,往往需要频繁的更新。通过专业的采集车队测量道路数据的方式昂贵而耗时,难以保证地图更新的实时性与高覆盖。而采取众包收集方式在边缘侧收集、筛选、聚合大量智能车辆的传感数据,其中,传感数据包括图像、视频、位置、时间,能够实现覆盖区域广泛、实时性高、成本开销低廉的地图服务。结合众包机制,利用多车的传感数据在边缘端与云端进行协同计算,实现地图的构建与更新。
在这一过程中,智能车既是地图服务的请求者也是地图更新的众包数据提供者。车辆在行驶过程中不断地采集图像、识别图像来感知与理解行车环境,并完成后续的行车决策。过程中输出关键的环境语义(交通标志、车道线、交通信号灯)将成为判断地图更新是否发生的重要来源,对众包数据质量判断具有重要的指导意义。
然而,不同智能车的传感器精度以及行驶过程中的外部条件(天气、光照、遮挡)各不相同,它们对环境的感知结果差异较大,会出现图像、视频质量不佳、有效语义信息的不足,从而导致地图制作和更新受影响。
因此,如何解决高精地图众包更新中数据质量评估问题,特别是对于智能驾驶输出的环境语义数据的质量评估,对于高精地图的构建与更新、保障智能驾驶环境及至关重要。
发明内容
本发明的目的在于克服现有技术的缺点与不足,解决高精地图的众包更新场景中数据质量评估问题,提出了一种基于智能车语义的高精地图众包数据质量评估方法与系统,将众包参与者设定为具有语义输出能力的智能车,要求其上传的感知数据包括道路环境语义;对其感知数据进行过滤,提取其中有效的语义数据,并进行基于语义的质量评估,选择高质量数据;通过计算局部众包质量,宏观把控整体众包质量,以调整下一阶段的任务发布,使得高精地图能够达到广泛、有效地更新。
为实现上述目的,本发明所提供的技术方案为:基于智能车语义的高精地图众包数据质量评估方法,包括以下步骤:
S1、发布本轮高精地图众包任务需求,招募智能车参与众包;其中,任务需求包括时间范围、空间范围和预算;
S2、获取智能车的感知数据;其中,获取的主要数据,既包括关于道路的图像,也包括图像对应的拍摄位置、方向和时间,还包括图像中包含的所有语义对象构成的语义对象集;
S3、对智能车上传的感知数据进行过滤;其中,需要过滤掉的感知数据,既包括不符合众包任务的时间范围和空间范围需求的感知数据,也包括无效语义对象;
S4、对智能车上传的感知数据按道路单元分组,进行基于语义的质量计算;根据基于语义的质量进行加权并排名,按预算在组内选择感知数据;
S5、聚合为所有道路单元选中的感知数据,计算各道路单元的局部众包质量;根据局部众包质量,调整下一轮任务的空间范围和各道路单元的预算。
进一步,所述步骤S1要求发布的地图众包任务需求有:
时间范围,包括任务开始时间和任务结束时间;
空间范围,包括在地图中GPS坐标系的上下左右四个坐标点;其中,将空间范围根据其道路拓扑划分为N个独立的道路单元;
预算,需要向被选中的智能车提供报酬,所有智能车的报酬之和在预算范围内。
进一步,所述步骤S2要求智能车收集的主要数据有:
图像,使用车载摄像头采集智能车当前行驶的道路环境;
元数据,包括道路图像对应的拍摄位置、方向和时间;其中,位置由GPS获取,方向由IMU获取;
语义对象集,即根据图像利用智能车内置的视觉算法对其进行语义分割,输出当前道路环境的语义内容,形成一个集合,用于描述当前道路包含的语义对象;其中,语义对象包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线。
进一步,所述步骤S3包括以下步骤:
S301、根据智能车上传的元数据,进行数据时空对齐;其中,进行数据时空对齐的步骤,包括:
S3011、根据元数据中的位置和时间,丢弃不符合任务时空要求的智能车感知数据,包括过时的数据以及超出空间范围的数据;
S3012、对于符合任务要求的智能车感知数据,根据其元数据中的位置,计算智能车所属的道路单元;
S302、对于智能车上传的语义对象集,进行语义过滤;其中,进行语义过滤的步骤,包括:
S3021、对于智能车上传的语义对象集,过滤不符合地图更新需求的无效语义对象,保留有效语义对象;其中,无效语义对象包括行人、车辆、动物和树木,有效语义对象包括交通标志、交通信号灯和车道线;
S3022、根据智能车上传的语义对象集,去除多余的表示同一道路物体的冗余语义对象,只保留其中一个;
S303、对于进行语义过滤后的语义对象集,将剩余的语义对象合并成一个车辆语义集,形成每个智能车对其所在道路单元的最简语义描述。
进一步,所述步骤S4包括以下步骤:
S401、根据智能车所属的道路单元,对车辆语义集进行分组;
S402、对于同一道路单元R内的数据,根据语义质量指标计算每个车辆语义集效用U(SV);其中,语义质量指标包括:
冗余度:RD=|SV∩SR.CF|
确认度:CD=|SV∩SR.UCF|
更新度:UD=|SV∪SR|-|SR|
细节度:DD=|{sj}|,s.t.Same(sj,sk)=true,sj.d>sk.d,sj∈SV,sk∈SR
式中,sj和sk均表示语义对象,由路旁物体的语义类型、位置信息组成;d为语义对象sk的深度,记作sk.d,用于衡量语义信息的详细程度;SV表示车辆语义集,为车辆V对道路单元R的语义描述集合,由一组语义对象组成;SR表示道路语义集,为多个智能车对道路单元R的总体语义描述,即多个SV的并集,能够描述当前道路单元R中所有语义对象的整体感知情况;每个语义对象sk都有一个统计的确认次数ck,记作sk.ck,表示语义对象sk被智能车确认的次数,并根据一个确认阈值α将道路语义集SR划分为两个集合:已确认集CF、未确认集UCF:
CF={sk:if sk.ck≥α,sk∈SR}
UCF={sk:if sk.ck<α,sk∈SR}
式中,CF表示已确认集,其中的所有语义对象sk的确认次数ck均大于或等于确认阈值α;而UCF表示未确认集,其中的所有语义对象的确认次数均小于确认阈值α;
Same(sj,sk)函数,用于判断两个语义对象sj,sk是否描述同一路旁物体,若Same(sj,sk)取值为ture,则表示两个语义对象sj,sk描述同一路旁物体;
四个基于语义的质量指标的具体意义为:冗余度RD表示车辆语义集SV包含当前道路中已确认语义对象的数量;确认度CD表示车辆语义集SV包含当前道路中未确认语义对象的数量;更新度UD表示车辆语义集SV包含当前道路中从未出现过的全新语义对象的数量;细节度DD表示车辆语义集SV中能带来更详细语义信息的语义对象的数量;
其中,车辆语义集效用U(SV)的加权计算公式为:
U(SV)=ω1×RD+ω2×CD+ω3×UD+ω4×DD
式中,为每一个质量指标的分别引入权重ωi,其中,i=1,2,3,4,并且ω1+ω2+ω3+ω4=1以便基于不同的任务需要,调整每个质量指标的权重;
S403、根据道路单元内所有的车辆语义集效用和该道路单元的预算B,进行智能车的感知数据选择;其中,感知数据选择的步骤包括:
S4031、将智能车的感知数据按车辆语义集效用从高到低排序;
S4032、在不超过预算B的条件下,按车辆语义集效用排名选择对于智能车的感知数据;
S404、将选中各个智能车的车辆语义集合并到道路语义集SR中,更新多车对同一道路的合并语义描述,用于下一轮任务的语义质量计算。
进一步,所述步骤S5包括以下步骤:
S501、将同一道路单元内选中的所有智能车的车辆语义集效用相加,作为该道路单元的局部众包质量QR;对于每个道路单元,计算各自的局部众包质量;
S502、根据各道路单元的局部众包质量,调整下一轮的众包任务需求,包括更新感兴趣的空间范围、调整各道路单元的预算;
S503、将选中的感知数据输入到后续的高精地图制图流程中,完成高精地图的制作与更新;其中,所述感知数据包括图像、元数据和语义对象集。
基于智能车语义的高精地图众包数据质量评估系统,包括:
众包任务发布模块,部署在云端数据中心,用于发布地图众包任务需求,通过网络分发到各边缘节点,招募智能车参与地图众包;其中,任务需求包括时间范围、空间范围和预算;
感知数据收集模块,安装于智能车端,用于从车载传感器收集感知数据,以及完成智能车自身对道路环境进行语义识别,并将感知数据上传到当前道路所属的边缘节点;其中,要求智能车收集的主要感知数据有:图像,使用摄像头采集;元数据,包括拍摄位置、方向和时间;语义对象集,利用视觉算法对图像进行语义分割,输出的周围道路环境的关键语义对象,包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线;
感知数据过滤模块,部署在边缘节点,用于接收来自多个智能车的感知数据,根据元数据中的位置和时间进行道路单元的计算,并过滤无效的感知数据;其中,无效的感知数据包括:对于元数据中的位置和时间,其中不符合众包任务时间和空间要求的感知数据;对于语义对象集,其中的动态语义对象,包括行人、车辆和动物;
语义质量计算模块,部署在边缘节点,用于对感知数据按道路单元分组;根据语义质量指标计算各智能车的语义质量;在指定预算内,为每个道路单元选择一组的感知数据,最后将选中的感知数据上传到云端;
全局数据聚合模块,部署在云端数据中心,用于汇聚边缘节点为各道路单元选中的感知数据;计算各道路单元的局部众包质量;根据各道路单元的局部众包质量,调整下一轮的任务需求,并输入到众包任务发布模块;其中,调整下一轮的任务需求包括更新感兴趣的空间范围及调整各道路单元的预算;将选中的感知数据输入到高精地图制图流程中,完成后续的高精地图的制作与更新。
本发明与现有技术相比,具有如下优点与有益效果:
1、本发明基于高精地图服务请求者——智能车的特点,充分利用其智能驾驶过程中产生的语义输出,作为地图更新的来源。
2、本发明针对语义数据提供了基于语义的质量计算方法,充分考虑当前语义数据收集的实际情况作为质量计算的参考,提出一组质量指标;并以加权的方式,能够根据不同的任务需要调整不同质量指标的权重。
3、本发明采用边缘计算方式,在靠近数据源的边缘端过滤大部分无效数据,减少回传至云端数据中心的数据量。模拟实验证明了边缘节点对无效感知数据过滤的必要性。
4、本发明采用云计算方式,在云端数据中心汇总经过甄选的高质量数据,并能够根据局部众包质量宏观把控整体众包质量,调整下一阶段的众包任务发布。
附图说明
图1为本发明方法的流程示意图。
图2为本发明方法涉及的车辆语义集和道路语义集的示例图。
图3为本发明系统的架构图。
图4为本发明系统的各模块交互示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
如图1所示,本发明提供了一种基于智能车语义的高精地图众包数据质量评估方法,具体过程如下:
S1、发布本轮地图众包任务需求,招募智能车参与众包;其中,任务需求包括:
时间范围,包括任务开始时间和任务结束时间;
空间范围,包括在地图中GPS坐标系的上下左右四个坐标点;其中,将空间范围根据其道路拓扑划分为N个独立的道路单元;
预算,需要向被选中的智能车提供报酬,所有智能车的报酬之和在预算范围内。
S2、获取智能车的感知数据;其中,获取的主要数据,包括:
图像,使用车载摄像头采集智能车当前行驶的道路环境;
元数据,包括道路图像对应的拍摄位置、方向、时间;其中,位置由GPS获取,方向由IMU获取;
语义对象集,即根据图像,利用智能车内置的视觉算法对其进行语义分割,输出当前道路环境的语义内容,形成一个集合,用于描述当前道路包含的语义对象;其中,语义对象,包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线,这部分语义数据将成为判断高精地图更新的重要依据。
S3、对智能车上传的感知数据进行过滤,具体过程如下:
S301、根据智能车上传的元数据,进行数据时空对齐;其中,进行数据时空对齐的步骤,包括:
S3011、根据元数据中的位置和时间,丢弃不符合任务时空要求的智能车感知数据,包括过时的数据,以及超出空间范围的数据;
S3012、对于符合任务要求的智能车感知数据,根据其元数据中的位置,计算智能车所属的道路单元;
S302、对于智能车上传的语义对象集,进行语义过滤;其中,进行语义过滤的步骤,包括:
S3021、对于智能车上传的语义对象集,过滤不符合地图更新需求的无效语义对象,保留有效语义对象;其中,无效语义对象包括行人、车辆、动物、树木,有效语义对象包括交通标志、交通信号灯、车道线;
S3022、根据智能车上传的语义对象集,对表示同一道路物体的冗余语义对象去重;只保留其中一个;
S303、对于进行语义过滤后的语义对象集,将剩余的语义对象合并成一个车辆语义集,形成每个智能车对其所在道路单元的最简语义描述。
S4、对智能车上传的感知数据按道路单元分组,进行基于语义的质量计算;根据基于语义的质量进行加权并排名,按预算在组内选择感知数据;具体过程如下:
S401、根据智能车所属的道路单元,对车辆语义集进行分组,即将同一道路单元内的数据分为一组;
S402、对于同一道路单元R内的数据,根据语义质量指标计算每个车辆语义集效用U(SV),把它作为数据选择的依据;其中,语义质量指标包括:
冗余度:RD=|SV∩SR.CF|
确认度:CD=|SV∩SR.UCF|
更新度:UD=|SV∪SR|-|SR|
细节度:DD=|{sj}|,s.t.Same(sj,sk)=true,sj.d>sk.d,sj∈SV,sk∈SR
式中,sj和sk均表示语义对象,由路旁物体的语义类型、位置信息组成;如图2中,三种形状(星形、五边形、三角形)表示3种不同的语义类型。
d为语义对象sk的深度,为了方便记作sk.d,用于衡量语义信息的详细程度,考虑语义有效性的影响。例如,对高精地图而言,不需要了解红绿灯的瞬时状态,“绿色的红绿灯”与“红绿灯”提供的语义细节程度一致,因此语义深度设置为相等;又如,“限速60km/h标志”的语义深度大于“限速标志”。
SV表示车辆语义集,为车辆V对道路单元R的语义描述集合,由一组语义对象组成;如图2中,车辆V1的车辆语义集包含两个语义对象s1和s4。
SR表示道路语义集,为多个智能车对道路单元R的总体语义描述,即多个SV的并集,能够描述当前道路单元R中所有语义对象的整体感知情况;图2中,SR由4辆车(Vi,i=1,2,3,4)的车辆语义集的并集构成。
每个语义对象sk都有一个统计的确认次数ck,为了方便记作sk.ck,表示所述语义对象sk被智能车确认的次数;图2中,语义对象s1,s2,s3,s4和s5的确认次数分别为4,3,2,1和2。
根据一个确认阈值α将所述道路语义集SR划分为两个集合:已确认集CF、未确认集UCF:
CF={sk:if sk.ck≥α,sk∈SR}
UCF={sk:if sk.ck<α,sk∈SR}
式中,CF表示已确认集,其中的所有语义对象sk的确认次数ck均大于或等于确认阈值α;而UCF表示未确认集,其中的所有语义对象的确认次数均小于确认阈值α;图2中,若α=3时,CF={s1,s2},CF={s3,s4,s5}。
Same(sj,sk)函数,用于判断两个语义对象sj,sk是否描述同一路旁物体,若Same(sj,sk)取值为ture,则表示两个语义对象sj,sk描述同一路旁物体;例如,将语义类型相同、位置相近的语义对象聚簇,同一个聚簇内的语义对象被视为同一物体。图2中,共形成5个聚簇(Cluster),即当前SR中有5个语义对象sk,k=1,2,3,4,5。
四个基于语义的质量指标的具体意义为:冗余度RD表示车辆语义集SV包含当前道路中已确认语义对象的数量;确认度CD表示车辆语义集SV包含当前道路中未确认语义对象的数量;更新度UD表示车辆语义集SV包含当前道路中从未出现过的全新语义对象的数量;细节度DD表示车辆语义集SV中能带来更详细语义信息的语义对象的数量;对于一辆智能车V5,其车辆语义集为若当前的道路语义集为图2中的SR,则有RD=2,CD=1,UD=1。
车辆语义集效用U(SV)的加权计算公式为:
U(SV)=ω1×RD+ω2×CD+ω3×UD+ω4×DD
式中,为每一个质量指标的分别引入权重ωi,其中,i=1,2,3,4,以便基于不同的任务需要,调整每个质量指标的权重;例如,如果是更新优先的需求下,则可以分别为设置比其他三个权重更大的值。以此类推,确认优先和细节优先的需求下,为和设置更高的权重。例如,若车辆V5的细节度DD=2,令ω1=0.1,ω2=0.2,ω3=0.2和ω4=0.3,则
S403、根据道路单元内所有的车辆语义集效用和该道路单元的预算B,进行智能车的感知数据选择;其中,感知数据选择的步骤包括:
S4031、将智能车的感知数据按车辆语义集效用从高到低排序;
S4032、在不超过预算B的条件下,按车辆语义集效用排名选择对于智能车的感知数据;
S404、将选中各个智能车的车辆语义集合并到道路语义集SR中,更新多车对同一道路的合并语义描述,用于下一轮任务的语义质量计算。
S5、聚合所有选中的感知数据,对于每个道路单元,计算各自的局部众包质量;根据局部众包质量,调整下一轮任务的空间范围和各道路单元的预算。具体步骤包括:
S501、将同一道路单元内选中的所有智能车的车辆语义集效用相加,作为该道路单元的局部众包质量QR;对于每个道路单元,计算它们各自的局部众包质量;
S502、根据每个道路单元各自的局部众包质量,调整下一轮的众包任务需求,包括更新感兴趣的空间范围、调整各道路单元的预算;
S503、将选中的感知数据输入到后续的高精地图制图流程中,完成高精地图的制作与更新;其中,所述感知数据包括图像、元数据和语义对象集。
如图3所示,本实施例也提供了一种基于智能车语义的高精地图众包数据质量评估系统,高精地图众包任务由三种角色共同完成:众包参与者、边缘节点和云端数据中心,其中众包参与者设定为具有语义输出能力的智能车。该系统采用分层架构,边缘计算与云计算协同的工作方式:由边缘端执行道路单元内众包数据过滤、质量评估和选择;由云端宏观地控制整体和局部众包质量,调整下一阶段任务需求。
如图4所示,本发明系统包括以下5个模块:众包任务发布模块M1,感知数据收集模块M2,感知数据过滤模块M3,语义质量计算模块M4,全局数据聚合模块M5。其中,参照图3,模块M2安装于智能车端,模块M3和模块M4部署在边缘节点,模块M1和模块M5部署在云端数据中心;具体的功能为:
众包任务发布模块M1,用于发布地图众包任务需求,通过网络分发到各边缘节点,招募智能车参与地图众包;其中,任务需求包括,时间范围、空间范围和预算。
感知数据收集模块M2,用于从车载传感器收集感知数据,以及完成智能车自身对道路环境进行语义识别,并将感知数据上传到当前道路所属的边缘节点;其中,要求智能车收集的主要感知数据有:图像,使用摄像头采集;元数据,包括拍摄位置、方向、时间;语义对象集,即利用视觉算法对图像进行语义分割,输出的周围道路环境的关键语义对象的集合,包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线。
感知数据过滤模块M3,用于接收来自多个智能车的感知数据,根据元数据中的位置和时间进行道路单元的计算,并过滤无效的感知数据;其中,无效的感知数据包括:对于元数据中的位置和时间,其中不符合众包任务时间和空间要求的感知数据;对于语义对象集,其中的动态语义对象,包括行人、车辆和动物。
语义质量计算模块M4,用于对感知数据按道路单元分组;根据语义质量指标计算各智能车的语义质量;在指定预算内,为每个道路单元选择一组的感知数据,最后将选中的感知数据上传到云端。
全局数据聚合模块M5,用于汇聚边缘节点为各道路单元选中的感知数据;计算各道路单元的局部众包质量;根据各道路单元的局部众包质量,调整下一轮的任务需求,并输入到众包任务发布模块M1;其中,调整下一轮的任务需求包括,更新感兴趣的空间范围、调整各道路单元的预算;将选中的感知数据输入到高精地图制图流程中,完成后续的高精地图的制作与更新。
综上所述,本发明为高精地图众包数据质量评估提供了新的方法与系统,充分利用智能车在驾驶过程中产生的语义输出,作为地图更新来源;能够在靠近数据源的边缘端过滤大部分无效数据;对语义数据提供了具体的语义质量计算方法,考虑当前语义数据收集情况作为质量度量的参考。本发明能够能够减少智能车回传至云的数据量,有效地甄选对地图更新有意义的高质量语义数据,具有实际应用价值,值得推广。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (6)
1.基于智能车语义的高精地图众包数据质量评估方法,其特征在于,包括以下步骤:
S1、发布本轮高精地图众包任务需求,招募智能车参与众包;其中,任务需求包括时间范围、空间范围和预算;
S2、获取智能车的感知数据;其中,获取的主要数据,既包括关于道路的图像,也包括图像对应的拍摄位置、方向和时间,还包括图像中包含的所有语义对象构成的语义对象集;
S3、对智能车上传的感知数据进行过滤;其中,需要过滤掉的感知数据,既包括不符合众包任务的时间范围和空间范围需求的感知数据,也包括无效语义对象;
S4、对智能车上传的感知数据按道路单元分组,进行基于语义的质量计算;根据基于语义的质量进行加权并排名,按预算在组内选择感知数据;包括以下步骤:
S401、根据智能车所属的道路单元,对车辆语义集进行分组;
S402、对于同一道路单元R内的数据,根据语义质量指标计算每个车辆语义集效用U(SV);其中,语义质量指标包括:
冗余度:RD=|SV∩SR.CF|
确认度:CD=|SV∩SR.UCF|
更新度:UD=|SV∪SR|-|SR|
细节度:DD=|{sj}|,s.t.Same(sj,sk)=true,sj.d>sk.d,sj∈SV,sk∈SR
式中,sj和sk均表示语义对象,由路旁物体的语义类型、位置信息组成;d为语义对象sk的深度,记作sk.d,用于衡量语义信息的详细程度;SV表示车辆语义集,为车辆V对道路单元R的语义描述集合,由一组语义对象组成;SR表示道路语义集,为多个智能车对道路单元R的总体语义描述,即多个SV的并集,能够描述当前道路单元R中所有语义对象的整体感知情况;每个语义对象sk都有一个统计的确认次数ck,记作sk.ck,表示语义对象sk被智能车确认的次数,并根据一个确认阈值α将道路语义集SR划分为两个集合:已确认集CF、未确认集UCF:
CF={sk:if sk.ck≥α,sk∈SR}
UCF={sk:if sk.ck<α,sk∈SR}
式中,CF表示已确认集,其中的所有语义对象sk的确认次数ck均大于或等于确认阈值α;而UCF表示未确认集,其中的所有语义对象的确认次数均小于确认阈值α;
Same(sj,sk)函数,用于判断两个语义对象sj,sk是否描述同一路旁物体,若Same(sj,sk)取值为ture,则表示两个语义对象sj,sk描述同一路旁物体;
四个基于语义的质量指标的具体意义为:冗余度RD表示车辆语义集SV包含当前道路中已确认语义对象的数量;确认度CD表示车辆语义集SV包含当前道路中未确认语义对象的数量;更新度UD表示车辆语义集SV包含当前道路中从未出现过的全新语义对象的数量;细节度DD表示车辆语义集SV中能带来更详细语义信息的语义对象的数量;
其中,车辆语义集效用U(SV)的加权计算公式为:
U(SV)=ω1×RD+ω2×CD+ω3×UD+ω4×DD
式中,为每一个质量指标分别引入权重ωi,其中,i=1,2,3,4,并且ω1+ω2+ω3+ω4=1,以便基于不同的任务需要,调整每个质量指标的权重;
S403、根据道路单元内所有的车辆语义集效用和该道路单元的预算B,进行智能车的感知数据选择;其中,感知数据选择的步骤包括:
S4031、将智能车的感知数据按车辆语义集效用从高到低排序;
S4032、在不超过预算B的条件下,按车辆语义集效用排名选择对于智能车的感知数据;
S404、将选中各个智能车的车辆语义集合并到道路语义集SR中,更新多车对同一道路的合并语义描述,用于下一轮任务的语义质量计算;
S5、聚合为所有道路单元选中的感知数据,计算各道路单元的局部众包质量;根据局部众包质量,调整下一轮任务的空间范围和各道路单元的预算。
2.根据权利要求1所述的基于智能车语义的高精地图众包数据质量评估方法,其特征在于,所述步骤S1要求发布的地图众包任务需求有:
时间范围,包括任务开始时间和任务结束时间;
空间范围,包括在地图中GPS坐标系的上下左右四个坐标点;其中,将空间范围根据其道路拓扑划分为N个独立的道路单元;
预算,需要向被选中的智能车提供报酬,所有智能车的报酬之和在预算范围内。
3.根据权利要求1所述的基于智能车语义的高精地图众包数据质量评估方法,其特征在于,所述步骤S2要求智能车收集的主要数据有:
图像,使用车载摄像头采集智能车当前行驶的道路环境;
元数据,包括道路图像对应的拍摄位置、方向和时间;其中,位置由GPS获取,方向由IMU获取;
语义对象集,即根据图像利用智能车内置的视觉算法对其进行语义分割,输出当前道路环境的语义内容,形成一个集合,用于描述当前道路包含的语义对象;其中,语义对象包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线。
4.根据权利要求1所述的基于智能车语义的高精地图众包数据质量评估方法,其特征在于,所述步骤S3包括以下步骤:
S301、根据智能车上传的元数据,进行数据时空对齐;其中,进行数据时空对齐的步骤,包括:
S3011、根据元数据中的位置和时间,丢弃不符合任务时空要求的智能车感知数据,包括过时的数据以及超出空间范围的数据;
S3012、对于符合任务要求的智能车感知数据,根据其元数据中的位置,计算智能车所属的道路单元;
S302、对于智能车上传的语义对象集,进行语义过滤;其中,进行语义过滤的步骤,包括:
S3021、对于智能车上传的语义对象集,过滤不符合地图更新需求的无效语义对象,保留有效语义对象;其中,无效语义对象包括行人、车辆、动物和树木,有效语义对象包括交通标志、交通信号灯和车道线;
S3022、根据智能车上传的语义对象集,去除多余的表示同一道路物体的冗余语义对象,只保留其中一个;
S303、对于进行语义过滤后的语义对象集,将剩余的语义对象合并成一个车辆语义集,形成每个智能车对其所在道路单元的最简语义描述。
5.根据权利要求1所述的基于智能车语义的高精地图众包数据质量评估方法,其特征在于,所述步骤S5包括以下步骤:
S501、将同一道路单元内选中的所有智能车的车辆语义集效用相加,作为该道路单元的局部众包质量QR;对于每个道路单元,计算各自的局部众包质量;
S502、根据各道路单元的局部众包质量,调整下一轮的众包任务需求,包括更新感兴趣的空间范围、调整各道路单元的预算;
S503、将选中的感知数据输入到后续的高精地图制图流程中,完成高精地图的制作与更新;其中,所述感知数据包括图像、元数据和语义对象集。
6.基于智能车语义的高精地图众包数据质量评估系统,其特征在于,用于实现权利要求1-5任意一项所述的基于智能车语义的高精地图众包数据质量评估方法,包括:
众包任务发布模块,部署在云端数据中心,用于发布地图众包任务需求,通过网络分发到各边缘节点,招募智能车参与地图众包;其中,任务需求包括时间范围、空间范围和预算;
感知数据收集模块,安装于智能车端,用于从车载传感器收集感知数据,以及完成智能车自身对道路环境进行语义识别,并将感知数据上传到当前道路所属的边缘节点;其中,要求智能车收集的主要感知数据有:图像,使用摄像头采集;元数据,包括拍摄位置、方向和时间;语义对象集,利用视觉算法对图像进行语义分割,输出的周围道路环境的关键语义对象,包括行人、车辆、动物、树木、交通标志、交通信号灯和车道线;
感知数据过滤模块,部署在边缘节点,用于接收来自多个智能车的感知数据,根据元数据中的位置和时间进行道路单元的计算,并过滤无效的感知数据;其中,无效的感知数据包括:对于元数据中的位置和时间,其中不符合众包任务时间和空间要求的感知数据;对于语义对象集,其中的动态语义对象,包括行人、车辆和动物;
语义质量计算模块,部署在边缘节点,用于对感知数据按道路单元分组;根据语义质量指标计算各智能车的语义质量;在指定预算内,为每个道路单元选择一组的感知数据,最后将选中的感知数据上传到云端;
全局数据聚合模块,部署在云端数据中心,用于汇聚边缘节点为各道路单元选中的感知数据;计算各道路单元的局部众包质量;根据各道路单元的局部众包质量,调整下一轮的任务需求,并输入到众包任务发布模块;其中,调整下一轮的任务需求包括更新感兴趣的空间范围及调整各道路单元的预算;将选中的感知数据输入到高精地图制图流程中,完成后续的高精地图的制作与更新。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101556.XA CN112785162B (zh) | 2021-01-26 | 2021-01-26 | 基于智能车语义的高精地图众包数据质量评估方法与系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110101556.XA CN112785162B (zh) | 2021-01-26 | 2021-01-26 | 基于智能车语义的高精地图众包数据质量评估方法与系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112785162A CN112785162A (zh) | 2021-05-11 |
CN112785162B true CN112785162B (zh) | 2024-05-28 |
Family
ID=75757597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110101556.XA Active CN112785162B (zh) | 2021-01-26 | 2021-01-26 | 基于智能车语义的高精地图众包数据质量评估方法与系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112785162B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113379286B (zh) * | 2021-06-25 | 2022-07-26 | 华南理工大学 | 一种高精地图众包中基于参与者贡献的反向拍卖方法 |
CN113503869B (zh) * | 2021-06-25 | 2023-06-20 | 华南理工大学 | 一种基于区域感知度的高精地图众包车辆选择方法 |
CN113587943B (zh) * | 2021-07-28 | 2024-08-09 | 广州小鹏自动驾驶科技有限公司 | 一种地图处理的方法和装置 |
CN115100852A (zh) * | 2022-06-09 | 2022-09-23 | 智能汽车创新发展平台(上海)有限公司 | 服务于智能网联汽车的高可用路侧融合感知系统和方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106705972A (zh) * | 2016-11-25 | 2017-05-24 | 梁海燕 | 一种基于用户反馈的室内语义地图更新方法与系统 |
CN110160544A (zh) * | 2019-06-12 | 2019-08-23 | 北京深思敏行科技有限责任公司 | 一种基于边缘计算的高精度地图众包更新系统 |
CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
-
2021
- 2021-01-26 CN CN202110101556.XA patent/CN112785162B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106705972A (zh) * | 2016-11-25 | 2017-05-24 | 梁海燕 | 一种基于用户反馈的室内语义地图更新方法与系统 |
CN110160544A (zh) * | 2019-06-12 | 2019-08-23 | 北京深思敏行科技有限责任公司 | 一种基于边缘计算的高精度地图众包更新系统 |
CN111652179A (zh) * | 2020-06-15 | 2020-09-11 | 东风汽车股份有限公司 | 基于点线特征融合激光的语义高精地图构建与定位方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112785162A (zh) | 2021-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112785162B (zh) | 基于智能车语义的高精地图众包数据质量评估方法与系统 | |
EP2979261B1 (de) | Backend für fahrerassistenzsysteme | |
US11514682B2 (en) | Determining weights of points of a point cloud based on geometric features | |
CN109688224A (zh) | 一种智能网联汽车云控平台架构 | |
US20110276592A1 (en) | Geodatabase information processing | |
WO2019205020A1 (zh) | 一种路况识别方法、装置及设备 | |
CN112418674A (zh) | 基于城市多源数据的街道空间品质测度评价方法和系统 | |
CN113127590B (zh) | 地图更新方法及设备 | |
CN113920739B (zh) | 基于信息物理融合系统的交通数据驱动框架及构建方法 | |
DE102018119882A1 (de) | Übertragen von Bilddaten, die von einer Fahrzeugkamera aufgenommen werden | |
US20240077331A1 (en) | Method of predicting road attributers, data processing system and computer executable code | |
US20230121226A1 (en) | Determining weights of points of a point cloud based on geometric features | |
CN116797055A (zh) | 一种基于物联网的城市道路规划方法及系统 | |
CN117275241B (zh) | 基于数字孪生的交通态势感知和流量预测的可视化系统 | |
CN113255553B (zh) | 一种基于振动信息监督的可持续学习方法 | |
CN112732860B (zh) | 道路提取方法、装置、可读存储介质及设备 | |
CN116543563A (zh) | 一种基于云计算和深度学习的数据分析方法 | |
CN116229424A (zh) | 基于改进YOLO v3的智能网联汽车行人检测方法 | |
CN113971885A (zh) | 车速预测的方法、装置及系统 | |
CN116229765A (zh) | 一种基于数字数据处理的车路协同方法 | |
CN115965755A (zh) | 高精地图数据存储介质及高精地图自动化生成方法 | |
CN112905856B (zh) | 一种具有时空依赖的高速交通数据集的构建方法 | |
CN114898553A (zh) | 一种基于实景融合的交通态势监控方法 | |
CN114139984A (zh) | 基于流量与事故协同感知的城市交通事故风险预测方法 | |
CN112686988A (zh) | 三维建模方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |