CN111999752B - 确定道路信息数据的方法、装置和计算机存储介质 - Google Patents

确定道路信息数据的方法、装置和计算机存储介质 Download PDF

Info

Publication number
CN111999752B
CN111999752B CN202010862248.4A CN202010862248A CN111999752B CN 111999752 B CN111999752 B CN 111999752B CN 202010862248 A CN202010862248 A CN 202010862248A CN 111999752 B CN111999752 B CN 111999752B
Authority
CN
China
Prior art keywords
data
location
road information
information data
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010862248.4A
Other languages
English (en)
Other versions
CN111999752A (zh
Inventor
沈达云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Technology Beijing Co Ltd
Original Assignee
Apollo Intelligent Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Technology Beijing Co Ltd filed Critical Apollo Intelligent Technology Beijing Co Ltd
Priority to CN202010862248.4A priority Critical patent/CN111999752B/zh
Publication of CN111999752A publication Critical patent/CN111999752A/zh
Priority to US17/215,563 priority patent/US11783570B2/en
Priority to EP21165627.7A priority patent/EP3836018B1/en
Priority to JP2021056069A priority patent/JP7213293B2/ja
Priority to KR1020210041537A priority patent/KR102525227B1/ko
Application granted granted Critical
Publication of CN111999752B publication Critical patent/CN111999752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/43—Determining position using carrier phase measurements, e.g. kinematic positioning; using long or short baseline interferometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/45—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/47—Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being an inertial measurement, e.g. tightly coupled inertial
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/05—Underwater scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

根据本公开的示例实施例，提供了确定道路信息数据的方法、装置和计算机存储介质，可用于自动驾驶、道路信息预测、行车路线规划。确定道路信息数据的方法，包括：经由交通工具的精准导航设备，确定交通工具的多个定位；经由交通工具的传感器，获取交通工具所处物理环境的多个图像帧；从多个定位中确定与多个图像帧中的至少一个图像帧相对应的目标定位；以及基于所获取的目标定位和与物理环境有关的地图，确定与至少一个图像帧相对应的道路信息数据。根据本公开的方案。可以准确、高效地生成道路信息标注数据。

Description

确定道路信息数据的方法、装置和计算机存储介质
技术领域
本公开的实施例涉及自动驾驶领域，并且更具体地，涉及确定道路信息数据的方法、装置和计算机存储介质。
背景技术
随着计算机和互联网的发展，在自动驾驶场景中，越来越多的神经网络的结构被提出用于预测道路中的各种车道线、路沿、路面箭头、限速标牌，这些神经网络模型的输入为交通工具的摄像头采集的图像信息，并且人工标注图像中车道线、路面箭头、限速标牌等语义信息作为真值，不断训练使神经网络模型能够准确地预测道路中的各种车道线、路沿、路面箭头、限速标牌。然而，这需要大量的标注数据来训练神经网络模型。因此，需要寻找一种低成本、快速高效的数据标注方法。
发明内容
根据本公开的实施例，提供了一种确定道路信息数据的方案。
在本公开的第一方面中，提供了一种确定道路信息数据的方法，包括：经由交通工具的精准导航设备，确定交通工具的多个定位；经由交通工具的传感器，获取交通工具所处物理环境的多个图像帧；从多个定位中确定与多个图像帧中的至少一个图像帧相对应的目标定位；以及基于所获取的目标定位和与物理环境有关的地图，确定与至少一个图像帧相对应的道路信息数据。
在本公开的第二方面中，提供了一种确定道路信息数据的装置，包括：第一定位获取模块，被配置为经由交通工具的精准导航设备，确定交通工具的多个定位；图像获取模块，被配置为经由交通工具的传感器，获取交通工具所处物理环境的多个图像帧；定位确定模块，被配置为从多个定位中确定与多个图像帧中的至少一个图像帧相对应的目标定位；以及第一道路信息数据确定模块，被配置为基于所获取的目标定位和与物理环境有关的地图，确定与至少一个图像帧相对应的道路信息数据。
在本公开的第三方面中，提供了一种电子设备，包括一个或多个处理器；以及存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现根据本公开的第一方面的方法。
在本公开的第四方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
在本公开的第五方面中，提供了一种计算机程序产品，包括计算机程序指令，该计算机程序指令被处理器实现如本公开的第一方面的方法。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素，其中：
图1示出了本公开的多个实施例能够在其中实现的示例环境的示意图；
图2示出了根据本公开的一些实施例的确定道路信息数据的过程的流程图；
图3示出了根据本公开的一些实施例的确定目标定位的过程的流程图；
图4示出了根据本公开的一些实施例的确定目标定位的过程的流程图；
图5示出了根据本公开的一些实施例的确定道路信息数据的装置的示意性框图；以及
图6示出了能够实施本公开的多个实施例的计算设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施例。虽然附图中显示了本公开的优选实施例，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
在本公开的实施例的描述中，术语“模型”可以从训练数据中学习到相应的输入与输出之间的关联，从而在训练完成后基于训练得到的参数集对给定的输入进行处理以生成对应的输出。“模型”有时也可以被称为“神经网络”、“学习模型”、“学习网络”或“网络”。这些术语在本文中可互换地使用。
如以上提及的，需要人工标注图像中车道线、路面箭头、限速标牌等语义信息。然而人工标注存在以下缺点(1)训练神经网络模型所述的大批量标注数据标注导致高成本；(2)标注工作人员水平层次不齐，标注质量不能保证，经常有错误标注、漏标的情况；(3)人工标注大批量数据需要较长的工作周期。因此，需要一种低成本、准确、且快速高效的道路信息数据标注方法。
根据本公开的实施例，提出了一种确定道路信息数据的方案。该方案利用定位和地图获取道路信息数据作为标注数据。在该方案中，通过交通工具的精准导航设备，确定该交通工具的多个定位，并通过该交通工具的传感器，获取该交通工具所处物理环境的多个图像帧。从该多个定位中确定与该多个图像帧中的至少一个图像帧相对应的目标定位。根据目标定位和地图，能够确定与图像帧相对应的道路信息数据。
通过建立交通工具定位与交通工具所拍摄的图像的关系，可以进一步建立高精度地图中的道路信息数据与所拍摄的图像的关系，并且可以利用该道路信息数据作为标注数据来训练神经网络模型。因而可以以低成本、准确、快速高效地生成道路信息数据标注，为准确训练神经网络模型打下基础。
以下参考附图来说明本公开的基本原理和若干示例实现。
图1示出了本公开的多个实施例能够在其中实现的示例环境100的示意图。应当理解，图1所示出的环境100仅仅是示例性的，而不应当构成对本公开所描述的实现的功能和范围的任何限制。如图1所示，环境100包括行驶在道路中的交通工具110。在图1的示例中，交通工具110可以是可以承载人和/或物并且通过发动机等动力系统移动的任何类型的车辆，包括但不限于轿车、卡车、巴士、电动车、摩托车、房车、火车等等。在一些实施例中，环境100中的一个或多个交通工具110可以是具有一定自动驾驶能力的车辆，这样的车辆也被称为无人驾驶车辆。在一些实施例中，交通工具110也可以是不具有自动驾驶能力的车辆。
交通工具110可以通信地耦合到计算设备105。计算设备105可以被嵌入在交通工具110中。计算设备105也可以是交通工具110外部的实体，并且可以经由无线网络与交通工具110通信。计算设备105可以是任何具有计算能力的设备。作为非限制性示例，计算设备105可以是任意类型的固定计算设备、移动计算设备或便携式计算设备，包括但不限于台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、多媒体计算机、移动电话等；计算设备105的全部组件或一部分组件可以分布在云端。计算设备105至少包含处理器、存储器以及其他通常存在于通用计算机中的组件，以便实现计算、存储、通信、控制等功能。
交通工具110包括精准导航设备130，该精准导航设备130可以利用各种定位信号如单独利用全球卫星导航系统(GNSS)，或是结合GNSS和实时差分定位技术(Real-timeKinematic，RTK)这两种定位信号，或是结合GNSS与惯性导航系统(Inertial NavigationSystem，INS)等方法来确定交通工具110的定位。在一个示例中，精准导航设备为SPAN-CPT导航设备，由于SPAN-CPT导航设备获得厘米级的定位精度，所以提高了交通工具110的定位的准确性。
在本文中，术语“定位”是指交通工具在特定坐标系中的经度、纬度、俯仰角、航向角和旋转角等。例如，在二维坐标系和三维坐标系中，交通工具的定位可以利用航向角来表示。在三维坐标系中，交通工具的姿态还可以利用俯仰角、航向角和旋转角来表示。然而应当理解，这仅仅出于示例的目的，而无意于限制本公开的范围。
交通工具110还包括至少一个传感器140，其被配置为获取交通工具110所处物理环境的图像110。例如，在图1的示例中，传感器140可以为图像传感器，其通过计算机视觉技术来获取交通工具110所处物理环境155的多个图像帧。在图1的示例环境100中，图像帧150是多个图像帧中的一个图像帧。尽管未示出，但是应当理解，多个图像帧还可以包括其他帧，并且可以对其他帧执行根据本公开的图像处理。多个图像帧也可以是由相机拍摄的动态图像中截取的多个图像帧。仅作为一个示例，在诸如L3级自动驾驶的场景中，多个图像帧可以是由一个前向广角摄像头和四个鱼眼摄像头采集的。多个图像帧也可以是通过任何适当的方式获取的。在一些实施例中，传感器140可以为具有一个或多个广角或者超广角的摄像头，这些摄像头能够捕获周围环境360度内的场景。备选地，传感器140也可以采用可旋转的结构，以便可旋转地检测交通工具110外部多个方向的实时场景。
地图180可以是与交通工具110所处物理环境155有关的地图。地图180可以在交通工具110行驶通过该物理环境155前预先确定，并且可以被提供给交通工具110的计算设备105。
在一个示例中，地图180可以为高精度地图，该高精度地图可以包括与物理环境155有关的各种道路信息数据，例如与车道线120-3相关的各种车道线类型190-2、190-3(单虚线、单实线、左虚右实双线、左实右虚双线、减速车道线、路沿、护栏)；与道路标识120-1、120-2、120-4相关的各种特征物(路面箭头、灯杆、高速路牌、限速牌等)的边框(boundingbox)190-1、190-4。高精度地图中的上述车道线通过例如在WGS-84(World GeodeticSystem 1984，一种为GPS全球定位系统使用而建立的坐标系统)坐标系中，平均每4m采集一个点，然后通过将离散点连线而形成。在下文中，将地图180中的反应高道路信息的车道线类型190-2、190-3以及道路标识120-1、120-2、120-4统称为道路信息数据。
在该示例环境100中，由计算设备105利用精准导航设备130和传感器140分别获取多个定位160和多个图像帧，然后将图像中的至少一个图像帧150与响应的目标定位170进行匹配，从而利用该目标定位170获取相应的地图180中的道路信息数据。
以下结合图2至图4来进一步描述详细的确定道路信息数据的过程。图2图示了根据本公开的实施例的道路信息数据的方法200的流程图。方法200可以由图1中的计算设备105来实施。为便于描述，将参照图1来描述方法200。
在框210，计算设备105经由交通工具110的精准导航设备130，确定交通工具的多个定位160。在一些实施例中，当交通工具110行驶到某个位置时，可以利用安装在交通工具110内部或外部的例如SPAN-CPT导航设备来获取交通工具110在全局坐标系中的经度、纬度、俯仰角、航向角和旋转角。
在一个示例中，精准导航设备130进行交通工具定位的原理为：基于粒子滤波、扩展卡尔曼滤波算法，以IMU为驱动，以GPS、交通工具速度、高精地图与摄像头感知数据匹配的结果作为观测，融合出交通工具定位。具体方法可以为：获取融合算法，在融合算法中有粒子滤波算法和扩展卡尔曼滤波算法，粒子滤波算法的作用是将多种方式的定位结果快速进行初始化，将高精地图和感知数据进行匹配，并将初始化的交通工具定位发送给扩展卡尔曼滤波算法中，卡尔曼滤波算法通过IMU的交通工具定位预测下一帧的交通工具定位，采用观测的多种方式的定位对IMU预测的定位进行更新，获得更新后的交通工具定位，该更新后的交通工具定位进行输出，即得到最终的交通工具定位。
在框220，计算设备105经由交通工具110的传感器140，获取交通工具110所处物理环境155的多个图像帧。在一些实施例中，当交通工具110行驶到某个位置时，可以利用安装在交通工具110内部或外部的相机来获取交通工具110前方的图像或视频，然后对该图像或视频进行截帧处理以获得多个图像帧。
如图1所示，多个图像帧中的一个图像帧150可以反映出交通工具110前方的物理环境155，其中包括道路信息标志120-1，信号灯120-2，车道线120-3、道路箭头120-4。应当理解，图1中所示的图像帧150包括的对象的数目和类型仅是示例性的，而无意限制。图像帧150可以包括任何数目和类型的对象。
在一个示例中，该图像帧150作为神经网络的输入数据来预测出图像坐标系下的感知数据(例如车道线数据、标识牌数据、信号灯数据等)。然而，由于感知系统的数据来源于对摄像头采集图像的处理，所以原始图像的质量影响最终感知数据的质量。感知数据受天气、光照、路况等不同场景的影响。在光照情况良好的情况下(晴天)，检测质量较高，在雨雪天气、夜间，检测质量较差。目前在匝道、交通拥堵等典型场景下，感知及其容易出现错检的现象，比如把虚线检测为实线，或者把实线检测为虚线。比如在有沥青的路段，因为沥青反光，容易将沥青检测为车道线。因此，需要与感知数据相对应的准确的道路信息数据作为真值来训练该神经网络。
在一个备选实施例中，计算设备105可以与交通工具110所处物理环境相关联的、交通工具110外部的一个或多个设备通信，以获取图像110。例如，计算设备105可以与交通工具110所处位置周围的路测相机通信以获得图像110。应当理解，可以采用本领域公知的网络技术(例如，蜂窝网络(例如第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如公共交换电话网(PSTN))、专用网络、自组织网络、内联网、因特网、基于光纤的网络等、和/或这些或其他类型的网络的组合)以建立计算设备105、交通工具110与路侧相机的连接，在此不再详叙。
在框230，计算设备105从多个定位160中确定与多个图像帧中的至少一个图像帧150相对应的目标定位17。计算设备105在时间上从多个定位160中确定与至少一个图像帧150相对应的目标定位。这将在下文结合图3详细描述。
跳转到图3进行描述，图3示出了确定根据本公开的一些实施例的确定目标定位的过程的流程图。
在框310处，计算设备105获取精准导航设备130的系统时间和传感器140获取图像帧的时间之间的时间戳偏移量。在一个实施例中，交通工具上的精准导航设备130按照预定频率(例如100HZ)对交通工具110进行定位，以获得多个定位，并且每个定位具有定位时间戳。交通工具110上的相机按照预定频率对例如交通工具110前方的物理环境155进行拍照以或得多个图像帧帧，并且每个图像帧也具有图像帧时间戳。精准导航设备130系统的定位时间戳与图像曝光的图像帧时间戳之间往往具有差值，即时间戳偏移量。计算设备105会根据精准导航设备130的系统时间和图像曝光的时间计算该差值以作为时间戳偏移量。
在框320处，计算设备105基于时间戳偏移量，对多个图像帧的时间戳和多个定位的时间戳进行对齐处理。在一个示例中，计算设备105根据上述差值对定位时间戳或图像帧时间戳进行调整以将其对齐，例如，将每个定位的时间戳加上或者减去该差值以与图像曝光的时间戳对齐。
在框320处，计算设备105基于经对齐后的多个图像帧和多个定位，确定目标定位。由于精准导航设备130按照预定频率，例如100HZ进行定位，而传感器140按照另一预定频率，例如33HZ进行图像帧采集。因此定位数据较密集而图像帧数据较稀疏，然而稀疏的数据不一定可以直接与密集的数据相对应，例如在时间戳1.3s采集有一图像帧，然后在1.3s不一定有与其相对应的定位，所以需要确定与1.3s采集的图像帧相对应的目标定位。目标定位的确定将在下文结合图4详细描述。上述频率仅是示例性的，本公开对精准导航设备和传感器采集图像的频率不作限制。
跳转到图4进行描述，图4示出了确定根据本公开的一些实施例的确定目标定位的过程的流程图。
在框410处，计算设备105分别获取在时间戳上与至少一个图像帧最接近的第一定位和第二定位，第一定位的第一时间戳在至少一个图像帧的时间戳之前，第二定位的第二时间戳在至少一个图像帧的时间戳之后。在一个实施例中，如上所述的，计算设备105无法直接确定与1.3s采集的图像帧相对应的1.3s的定位，因此计算设备可以获取与1.3s最接近的前一定位时间戳和后一定位时间戳，例如第一定位的第一时间戳为1.0s并且第二定位的第二时间戳为2.0s，这里最接近的意思是在1.0s和1.3s之间没有其他定位数据，并且在1.3s和2.0s之间没有其他定位数据。
在框420处，计算设备105基于第一定位、第二定位、第一时间戳和第二时间戳，确定定位变化率。计算设备105可以基于第一时间戳1.0s和与其对应的第一定位、第二时间戳2.0s和与其对应的第二定位来确定定位变化率，例如，计算设备可以计算第一时间戳1.0s和第二时间戳2.0s之间每0.1s的定位变化率。
在框430处，计算设备105基于第一定位、第一时间戳、至少一个图像帧的时间戳和定位变化率，确定所述目标定位170。在一个实施例中，计算设备可以基于上述每0.1s的定位变化率和第一时间戳1.0s与至少一个图像帧的时间戳1.3s之间的差值0.3s，确定0.3s内的定位变化，并且基于该定位变化和1.0s处的定位来确定与在1.3s处的至少一个图像帧150相对应的目标定位。
请注意，上述确定目标定位的方法只是示意性的，还可以应用其他插值法，例如反距离加权法、样条插值法、克里金法、离散平滑插值和趋势面光滑插值来确定目标定位。
在一个备选实施例中，计算设备105在误差允许的范围内，可以直接将在时间戳上与至少一个图像帧150最接近的定位确定为目标定位170，这提供了准确性与计算资源节省之间的良好折中。
下面继续回到图2进行描述，在框240处，计算设备105基于所确定的目标定位和与物理环境有关的地图180，确定与至少一个图像帧150相对应的道路信息数据。例如，计算设备105可以获取上述确定的目标定位170的各种参数，例如经度、纬度、俯仰角、航向角和旋转角等，然后基于该参数从地图180中找到对应的数据。如上所述，该地图中包括与至少一个图像帧150相对应的准确道路信息数据，例如车道线数据190-3、路沿数据190-2、路面箭头190-4和路牌190-1的边框等。通过做这些准确道路信息数据和上述神经网络以该至少一个图像帧150作为输入预测的感知数据作比较，以不断训练神经网络模型。道路信息数据包括但不限于车道线数据、路沿数据、护栏数据、路灯数据或道路指示牌数据。
在一些实施例中，道路信息数据例如是地图180中的、交通工具的定位前方120米的车道线信息或者路面箭头、标识牌信息。
在一些实施例中，由于交通工具的传感器有时会放在交通工具前轴附近，由于路况等原因、交通工具行驶过程中会颠簸(又称为点头)从而导致图像帧的获取不准确，在这种情况下，计算设备105可以获取目标定位170的姿态定向，例如俯仰角，该俯仰角指示交通工具偏离路面的情况。计算设备响应于该俯仰角在预定范围内，基于地图180和目标定位170，确定所述道路信息数据。通过对车辆的俯仰角进行判断，使获取的道路信息数据更加准确，从而为训练网络模型提供了优质的真值数据。
在一些实施例中，该传感器140可以为相机，该相机具有内参和外参，计算设备105可以通过相机140的内外参确定投影变换方程,从而将全局坐标系下的道路信息数据转换为变换为图像帧坐标系下的道路信息数据。
本公开通过建立交通工具定位与交通工具所拍摄的图像的关系，可以进一步建立高精度地图中的道路信息数据与所拍摄的图像的关系，并且可以利用该道路信息数据作为标注数据来训练神经网络模型。因而可以以低成本、准确、快速高效地生成道路信息数据标注，为准确训练神经网络模型打下基础。
图5示出了根据本公开的一些实施例的确定道路信息数据的装置的示意性框图。装置500可以被包括在图1的计算设备105中或者被实现为计算设备105。
如图5所示，装置500包括第一定位获取模块510，被配置为经由交通工具的精准导航设备，确定交通工具的多个定位；图像获取模块，520，被配置为经由交通工具的传感器，获取交通工具所处物理环境的多个图像帧；定位确定模块530，被配置为从多个定位中确定与多个图像帧中的至少一个图像帧相对应的目标定位；以及第一道路信息数据确定模块540，被配置为基于所确定的目标定位和与物理环境有关的地图，确定与至少一个图像帧相对应的道路信息数据。
在一些实施例中，定位确定模块530可以包括：时间戳偏移量确定模块，被配置为获取精准导航设备的系统时间和传感器获取图像帧的时间之间的时间戳偏移量，时间戳对齐模块，被配置为基于时间戳偏移量，对多个图像帧的时间戳和多个定位的时间戳进行对齐处理；以及第一目标定位确定模块，被配置为基于经对齐后的多个图像帧和多个定位，确定目标定位。
在一些实施例中，第一目标定位确定模块可以包括：第二定位获取模块，被配置为分别获取在时间戳上与至少一个图像帧最接近的第一定位和第二定位，第一定位的第一时间戳在至少一个图像帧的时间戳之前，第二定位的第二时间戳在至少一个图像帧的时间戳之后；定位变化率确定模块，被配置为基于第一定位、第二定位、第一时间戳和第二时间戳，确定定位变化率；以及第二目标定位确定模块，被配置为基于第一定位、第一时间戳、至少一个图像帧的时间戳和定位变化率，确定目标定位。
在一些实施例中，第一道路信息数据确定模块540可以包括：姿态定向获取模块，被配置为获取目标定位的姿态定向；以及第二道路信息数据确定模块，被配置为响应于姿态定向在预定范围内，基于地图和目标定位，确定道路信息数据。
在一些实施例中，其中传感器为相机，装置500还可以包括：坐标系转换模块，被配置为基于相机的参数，将道路信息数据转换为图像帧坐标系中的道路信息数据。
在一些实施例中，其中道路信息数据包括以下中的至少一项：车道线数据、路沿数据、护栏数据、路灯数据或道路指示牌数据。
在一些实施例中，其中精准导航设备为SPAN-CPT导航设备。
在一些实施例中，其中地图为高精度地图。
根据本公开的实施例，本公开还提供了一种的确定道路信息数据的电子设备、可读存储介质和计算机程序产品。
图6图示了可以用来实施本公开内容的实施例的示例设备600的示意性框图。例如，如图1所示的示例环境100中的计算设备105可以由设备600来实施。如图所示，设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的计算机程序指令或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序指令，来执行各种适当的动作和处理。在RAM 603中，还可存储设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200、300和400，可由处理单元701执行。例如，在一些实施例中，方法200、300和400可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序被加载到RAM603并由CPU 601执行时，可以执行上文描述的方法200、300和400中的一个或多个动作。
本公开可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims (14)

1.一种确定道路信息数据的方法，包括：
经由交通工具的精准导航设备，确定所述交通工具的多个定位；
经由所述交通工具的传感器以及所述多个定位周围的路测相机，获取所述交通工具所处物理环境的多个图像帧；
确定所述多个定位与所述多个图像帧之间的对应关系；
基于所述多个定位与所述多个图像帧之间的对应关系，确定高精度地图中的多个道路信息数据与所述多个图像帧之间的对应关系；
从所述多个定位中确定与所述多个图像帧中的至少一个图像帧相对应的目标定位；
基于所确定的所述目标定位和与所述物理环境有关的所述高精度地图，确定与所述至少一个图像帧相对应的道路信息数据；以及
将所述道路信息数据作为所述至少一个图像帧的标注数据训练神经网络模型；
其中确定所述多个定位包括：
获取惯性测量单元的测量数据、全球定位系统的定位数据、所述交通工具的速度、以及所述高精度地图与摄像头感知数据的匹配结果；以及
基于粒子滤波算法以及扩展卡尔曼滤波算法，对所述惯性测量单元的测量数据、所述全球定位系统的定位数据、所述交通工具的速度、以及所述高精度地图与摄像头感知数据的匹配结果进行融合；
其中确定与所述至少一个图像帧相对应的所述道路信息数据包括：
获取所述目标定位的姿态定向；以及
响应于所述姿态定向在预定范围内，基于所述高精度地图和所述目标定位，确定所述道路信息数据。
2.根据权利要求1所述的方法，其中确定与至少一个图像帧相对应的目标定位包括：
获取所述精准导航设备的系统时间和所述传感器获取图像帧的时间之间的时间戳偏移量，
基于所述时间戳偏移量，对所述多个图像帧的时间戳和所述多个定位的时间戳进行对齐处理；以及
基于经对齐后的所述多个图像帧和所述多个定位，确定所述目标定位。
3.根据权利要求2所述的方法，其中基于经对齐后的所述多个图像帧和所述多个定位，确定所述目标定位包括：
分别获取在时间戳上与所述至少一个图像帧最接近的第一定位和第二定位，所述第一定位的第一时间戳在所述至少一个图像帧的时间戳之前，所述第二定位的第二时间戳在所述至少一个图像帧的时间戳之后；
基于所述第一定位、所述第二定位、所述第一时间戳和所述第二时间戳，确定定位变化率；以及
基于所述第一定位、所述第一时间戳、所述至少一个图像帧的时间戳和所述定位变化率，确定所述目标定位。
4.根据权利要求1所述的方法，其中所述传感器为相机，所述方法还包括：
基于所述相机的参数，将所述道路信息数据转换为图像帧坐标系中的道路信息数据。
5.根据权利要求1所述的方法，其中所述道路信息数据包括以下中的至少一项：车道线数据、路沿数据、护栏数据、路灯数据或道路指示牌数据。
6.根据权利要求1所述的方法，其中所述精准导航设备为SPAN-CPT导航设备。
7.一种确定道路信息数据的装置，包括：
第一定位获取模块，被配置为经由交通工具的精准导航设备，确定所述交通工具的多个定位；
图像获取模块，被配置为经由所述交通工具的传感器以及所述多个定位周围的路测相机，获取所述交通工具所处物理环境的多个图像帧；
第一对应关系确定模块，被配置为确定所述多个定位与所述多个图像帧之间的对应关系；
第二对应关系确定模块，被配置为基于所述多个定位与所述多个图像帧之间的对应关系，确定高精度地图中的多个道路信息数据与所述多个图像帧之间的对应关系；
定位确定模块，被配置为从所述多个定位中确定与所述多个图像帧中的至少一个图像帧相对应的目标定位；
第一道路信息数据确定模块，被配置为基于所确定的所述目标定位和与所述物理环境有关的所述高精度地图，确定与所述至少一个图像帧相对应的道路信息数据；以及
神经网络模型训练模块，被配置为将所述道路信息数据作为所述至少一个图像帧的标注数据训练神经网络模型；
其中所述第一定位获取模块包括：
初始定位信息获取模块，被配置为获取惯性测量单元的测量数据、全球定位系统的定位数据、所述交通工具的速度、以及所述高精度地图与摄像头感知数据的匹配结果；以及
初始定位信息融合模块，被配置为基于粒子滤波算法以及扩展卡尔曼滤波算法，对所述惯性测量单元的测量数据、所述全球定位系统的定位数据、所述交通工具的速度、以及所述高精度地图与摄像头感知数据的匹配结果进行融合；
其中所述第一道路信息数据确定模块包括：
姿态定向获取模块，被配置为获取所述目标定位的姿态定向；以及
第二道路信息数据确定模块，被配置为响应于所述姿态定向在预定范围内，基于所述高精度地图和所述目标定位，确定所述道路信息数据。
8.根据权利要求7所述的装置，其中所述定位确定模块包括：
时间戳偏移量确定模块，被配置为获取所述精准导航设备的系统时间和所述传感器获取图像帧的时间之间的时间戳偏移量，
时间戳对齐模块，被配置为基于所述时间戳偏移量，对所述多个图像帧的时间戳和所述多个定位的时间戳进行对齐处理；以及
第一目标定位确定模块，被配置为基于经对齐后的所述多个图像帧和所述多个定位，确定所述目标定位。
9.根据权利要求8所述的装置，其中所述第一目标定位确定模块包括：
第二定位获取模块，被配置为分别获取在时间戳上与所述至少一个图像帧最接近的第一定位和第二定位，所述第一定位的第一时间戳在所述至少一个图像帧的时间戳之前，所述第二定位的第二时间戳在所述至少一个图像帧的时间戳之后；
定位变化率确定模块，被配置为基于所述第一定位、所述第二定位、所述第一时间戳和所述第二时间戳，确定定位变化率；以及
第二目标定位确定模块，被配置为基于所述第一定位、所述第一时间戳、所述至少一个图像帧的时间戳和所述定位变化率，确定所述目标定位。
10.根据权利要求7所述的装置，其中所述传感器为相机，所述装置还包括：
坐标系转换模块，被配置为基于所述相机的参数，将所述道路信息数据转换为图像帧坐标系中的道路信息数据。
11.根据权利要求7所述的装置，其中所述道路信息数据包括以下中的至少一项：车道线数据、路沿数据、护栏数据、路灯数据或道路指示牌数据。
12.根据权利要求7所述的装置，其中所述精准导航设备为SPAN-CPT导航设备。
13.一种电子设备，所述设备包括：
一个或多个处理器；以及
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如权利要求1-6中任一项所述的方法。
CN202010862248.4A 2020-08-25 2020-08-25 确定道路信息数据的方法、装置和计算机存储介质 Active CN111999752B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202010862248.4A CN111999752B (zh) 2020-08-25 2020-08-25 确定道路信息数据的方法、装置和计算机存储介质
US17/215,563 US11783570B2 (en) 2020-08-25 2021-03-29 Method and apparatus for determining road information data and computer storage medium
EP21165627.7A EP3836018B1 (en) 2020-08-25 2021-03-29 Method and apparatus for determining road information data and computer storage medium
JP2021056069A JP7213293B2 (ja) 2020-08-25 2021-03-29 道路情報データ確定の方法、装置及びコンピュータ記憶メディア
KR1020210041537A KR102525227B1 (ko) 2020-08-25 2021-03-31 도로 정보 데이터를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010862248.4A CN111999752B (zh) 2020-08-25 2020-08-25 确定道路信息数据的方法、装置和计算机存储介质

Publications (2)

Publication Number Publication Date
CN111999752A CN111999752A (zh) 2020-11-27
CN111999752B true CN111999752B (zh) 2024-03-26

Family

ID=73470708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010862248.4A Active CN111999752B (zh) 2020-08-25 2020-08-25 确定道路信息数据的方法、装置和计算机存储介质

Country Status (5)

Country Link
US (1) US11783570B2 (zh)
EP (1) EP3836018B1 (zh)
JP (1) JP7213293B2 (zh)
KR (1) KR102525227B1 (zh)
CN (1) CN111999752B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556701A (zh) * 2020-12-23 2021-03-26 北京嘀嘀无限科技发展有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN112733793A (zh) * 2021-01-22 2021-04-30 北京嘀嘀无限科技发展有限公司 检测公交车道的方法、装置、电子设备和存储介质
CN112833880A (zh) * 2021-02-02 2021-05-25 北京嘀嘀无限科技发展有限公司 车辆定位方法、定位装置、存储介质及计算机程序产品
CN112966059B (zh) * 2021-03-02 2023-11-24 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
US20220383751A1 (en) * 2021-05-28 2022-12-01 Lyft, Inc. Systems and methods for personal mobile vehicle localization in a fleet management system
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN113537133B (zh) * 2021-07-30 2022-11-08 阿波罗智联(北京)科技有限公司 信息处理方法及装置、电子设备、存储介质及产品
CN113392816B (zh) * 2021-08-16 2021-12-31 禾多科技（北京）有限公司 路面病害检测方法、装置、电子设备和计算机可读介质
CN113581256B (zh) * 2021-09-02 2023-05-30 浙江众合科技股份有限公司 一种基于bim和gis技术的列车自主定位方法和系统
CN113850837B (zh) * 2021-11-25 2022-02-08 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备、存储介质及计算机产品
CN114264299B (zh) * 2021-12-29 2023-11-24 杭州电子科技大学 一种基于标量磁场数据的交流输电海缆路由定位方法
CN114623838A (zh) * 2022-03-04 2022-06-14 智道网联科技(北京)有限公司 基于车联网的地图数据采集方法、装置及存储介质
CN115294770A (zh) * 2022-08-03 2022-11-04 航天宏图信息技术股份有限公司 一种雨天交通拥堵指数的预测方法和装置
CN116358460B (zh) * 2023-01-31 2024-03-08 青岛中电众益智能科技发展有限公司 一种用于确定层位信息的方法、设备、介质及程序产品
CN116872951B (zh) * 2023-09-06 2023-12-05 福瑞泰克智能系统有限公司 多传感器数据对齐方法、装置和存储介质及电子装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196407A (zh) * 2006-12-08 2008-06-11 高德软件有限公司 带有道路路标信息的导航装置
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN207460317U (zh) * 2017-08-29 2018-06-05 深圳市智研华安科技有限公司 车载拍摄装置
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
CN110047373A (zh) * 2019-04-28 2019-07-23 北京超维度计算科技有限公司 一种基于通用应用处理器的高精度地图生成系统
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110376604A (zh) * 2019-08-09 2019-10-25 北京智行者科技有限公司 基于单线激光雷达的路沿检测方法
CN110595494A (zh) * 2019-09-17 2019-12-20 百度在线网络技术（北京）有限公司 地图误差确定方法和装置
WO2020045318A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 車両側装置、サーバ、方法および記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5047515B2 (ja) 2006-03-20 2012-10-10 株式会社ゼンリン 道路画像作成システム及び道路画像作成方法，及び道路画像合成装置
JP2010237797A (ja) 2009-03-30 2010-10-21 Equos Research Co Ltd 画像処理装置および画像処理プログラム
JP5910241B2 (ja) 2012-03-29 2016-04-27 富士通株式会社 映像抽出装置、方法及びプログラム
KR20180058090A (ko) 2016-11-23 2018-05-31 부산대학교 산학협력단 경로지에 기반한 도로 상황 및 장애물 인지 시스템 및 방법
KR20180068511A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 영상에 포함된 도로와 관련된 정보를 결정하는 뉴럴 네트워크를 학습시키는 학습 데이터를 생성하는 장치 및 방법
JP7000884B2 (ja) 2017-03-09 2022-02-04 株式会社デンソー データ取得システム、および、サーバ
US10325166B2 (en) * 2017-04-13 2019-06-18 Here Global B.V. Method, apparatus, and system for a parametric representation of signs
CN108230379B (zh) 2017-12-29 2020-12-04 百度在线网络技术（北京）有限公司 用于融合点云数据的方法和装置
DK180774B1 (en) * 2018-10-29 2022-03-04 Motional Ad Llc Automatic annotation of environmental features in a map during navigation of a vehicle
US10976747B2 (en) * 2018-10-29 2021-04-13 Here Global B.V. Method and apparatus for generating a representation of an environment
US11544938B2 (en) * 2018-12-21 2023-01-03 Continental Autonomous Mobility US, LLC Systems and methods for automatic labeling of images for supervised machine learning
EP3904992B1 (en) 2018-12-28 2024-01-10 Panasonic Intellectual Property Management Co., Ltd. Positioning apparatus and moving body
US20200217667A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Robust association of traffic signs with a map

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101196407A (zh) * 2006-12-08 2008-06-11 高德软件有限公司 带有道路路标信息的导航装置
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN207460317U (zh) * 2017-08-29 2018-06-05 深圳市智研华安科技有限公司 车载拍摄装置
WO2020045318A1 (ja) * 2018-08-31 2020-03-05 株式会社デンソー 車両側装置、サーバ、方法および記憶媒体
CN109798903A (zh) * 2018-12-19 2019-05-24 广州文远知行科技有限公司 一种从地图数据中获取道路信息的方法及装置
CN110047373A (zh) * 2019-04-28 2019-07-23 北京超维度计算科技有限公司 一种基于通用应用处理器的高精度地图生成系统
CN110135323A (zh) * 2019-05-09 2019-08-16 北京四维图新科技股份有限公司 图像标注方法、装置、系统及存储介质
CN110376604A (zh) * 2019-08-09 2019-10-25 北京智行者科技有限公司 基于单线激光雷达的路沿检测方法
CN110595494A (zh) * 2019-09-17 2019-12-20 百度在线网络技术（北京）有限公司 地图误差确定方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
陶有俊等.《选矿过程模拟与优化》.中国矿业大学出版社,2018,48. *

Also Published As

Publication number Publication date
EP3836018A3 (en) 2021-10-20
US20210213971A1 (en) 2021-07-15
JP2021184243A (ja) 2021-12-02
KR20220026466A (ko) 2022-03-04
US11783570B2 (en) 2023-10-10
EP3836018A2 (en) 2021-06-16
KR102525227B1 (ko) 2023-04-21
JP7213293B2 (ja) 2023-01-26
CN111999752A (zh) 2020-11-27
EP3836018B1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
CN111999752B (zh) 确定道路信息数据的方法、装置和计算机存储介质
US20220221295A1 (en) Generating navigation instructions
US11501104B2 (en) Method, apparatus, and system for providing image labeling for cross view alignment
CN111801636A (zh) 提供详细地图数据的方法及其系统
US20200378787A1 (en) Method and apparatus for providing dynamic warnings for navigations
US11531348B2 (en) Method and apparatus for the detection and labeling of features of an environment through contextual clues
EP3644013B1 (en) Method, apparatus, and system for location correction based on feature point correspondence
US11170485B2 (en) Method, apparatus, and system for automatic quality assessment of cross view feature correspondences using bundle adjustment techniques
US11024054B2 (en) Method, apparatus, and system for estimating the quality of camera pose data using ground control points of known quality
EP3786584A1 (en) Method, apparatus, and system for selecting sensor systems for map feature accuracy and reliability specifications
US11677930B2 (en) Method, apparatus, and system for aligning a vehicle-mounted device
US11549816B2 (en) Systems and methods for controlling mapping information inaccuracies
US11107235B1 (en) Systems and methods for identifying data suitable for mapping
US20200134311A1 (en) Method, apparatus, and system for determining a ground control point from image data using machine learning
US10949707B2 (en) Method, apparatus, and system for generating feature correspondence from camera geometry
US20230046410A1 (en) Semantic annotation of sensor data using unreliable map annotation inputs
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN111651547B (zh) 高精度地图数据的获取方法、装置及可读存储介质
Elfring et al. Vehicle localization using a traffic sign map
Sun et al. GCD-L: A novel method for geometric change detection in HD maps using low-cost sensors
WO2022188775A1 (zh) 路网文件的生成方法、装置、设备、可读存储介质及车辆
CN112099481A (zh) 用于构建道路模型的方法和系统
US20230237679A1 (en) Aligning geodata graph over electronic maps
US20230358558A1 (en) Method, apparatus, and system for determining a lane marking confusion index based on lane confusion event detections
KR102482829B1 (ko) 차량용 ar 디스플레이 장치 및 ar 서비스 플랫폼

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211015

Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085

Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd.

Address before: 100094 2 / F, baidu building, No.10 Shangdi 10th Street, Haidian District, Beijing

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant