CN114463504A - 基于单目相机的路侧线状要素重建方法、系统及存储介质 - Google Patents

基于单目相机的路侧线状要素重建方法、系统及存储介质 Download PDF

Info

Publication number
CN114463504A
CN114463504A CN202210085354.5A CN202210085354A CN114463504A CN 114463504 A CN114463504 A CN 114463504A CN 202210085354 A CN202210085354 A CN 202210085354A CN 114463504 A CN114463504 A CN 114463504A
Authority
CN
China
Prior art keywords
linear
information
monocular
roadside
observation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210085354.5A
Other languages
English (en)
Other versions
CN114463504B (zh
Inventor
杨蒙蒙
杨殿阁
温拓朴
江昆
唐雪薇
黄健强
黄琪杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202210085354.5A priority Critical patent/CN114463504B/zh
Publication of CN114463504A publication Critical patent/CN114463504A/zh
Application granted granted Critical
Publication of CN114463504B publication Critical patent/CN114463504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于单目相机的路侧线状要素重建方法、系统及存储介质，其包括：实时获取单目图像信息及GNSS和IMU信号；将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据所述GNSS和IMU信号得到车辆六自由度信息；根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。本发明算法复杂度小，重建精度高，本发明能广泛在智能网联汽车环境构建领域中应用。

Description

基于单目相机的路侧线状要素重建方法、系统及存储介质
技术领域
本发明涉及一种智能网联汽车环境构建领域，特别是关于一种基于单目相机的路侧线状要素重建方法、系统及存储介质。
背景技术
高精度地图是高级别自动驾驶中重要的输入，其要求对道路环境进行分米级到厘米级的描述。传统的方法主要使用激光雷达这样精确的三维测量仪器进行重建，然而激光雷达由于较为昂贵，难以广泛搭载在车辆上，导致地图的采集速度受到局限。
发明内容
针对上述问题，本发明的目的是提供一种基于单目相机的路侧线状要素重建方法、系统及存储介质，其算法复杂度小，重建精度高。
为实现上述目的，本发明采取以下技术方案：一种基于单目相机的路侧线状要素重建方法，其包括：实时获取单目图像信息及GNSS和IMU信号；将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据所述GNSS和IMU信号得到车辆六自由度信息；根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
进一步，所述将所述单目图像信息进行感知处理，包括：将所述单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
进一步，所述根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息，包括：根据所述地图元素结果和所述车辆六自由度信息进行基于光流估计的观测聚类计算，将相同线状物体的观测归为一类，构成一个观测组，不同线状物体的观测归为不同组；
对于每一个物体的观测组，其被输入到基于先验信息的最小二乘求解器中进行求解，输出路侧线状要素的三维位置信息。
进一步，所述基于光流估计的观测聚类计算，包括：
对于时刻t，计算图像It-1,It的整体光流ft-1；
对于上一时刻的感知结果
Figure BDA0003487564740000011
计算上一时刻物体
Figure BDA0003487564740000012
i表示第i个感知物体，经过光流ft-1预测得到上一时刻物体
Figure BDA0003487564740000013
在当前时刻图像中的位置
Figure BDA0003487564740000014
对于当前的感知结果
Figure BDA0003487564740000015
记感知物体
Figure BDA0003487564740000016
与上一时刻物体
Figure BDA0003487564740000017
相对应；
通过求解所有线状物体与上一时刻的线状物体的对应关系，获得每一个线状物体在不同时刻的观测结果，构成一个线状物体的观测组
Figure BDA0003487564740000021
t0,t1…,tN表示该物体被观测到的时刻。
进一步，所述线段
Figure BDA0003487564740000022
与上一时刻物体
Figure BDA0003487564740000023
相对应为：Ak＝i；Ak为：
Figure BDA0003487564740000024
Figure BDA0003487564740000025
其中，
Figure BDA0003487564740000026
表示
Figure BDA0003487564740000027
上的点p到线段
Figure BDA0003487564740000028
的距离。
进一步，所述基于先验信息的最小二乘求解器，针对某一个线状物体的观测组，用于对该物体进行三维求解，包括：
给定观测组的观测序列以及其对应的六自由度定位信息，构建最小二乘模块；
通过最小二乘估计求解，完成对路侧线状物体的普吕克参数的估计。
进一步，对于tk时刻下的物体在图像平面的直线参数
Figure BDA0003487564740000029
Figure BDA00034875647400000210
表示当前时刻的相机位姿的旋转，
Figure BDA00034875647400000211
表示当前时刻相机位姿的平移，则有该物体组成的观测矩阵Ok，以及残差向量Rk，k＝0,…,N，N为物体总数；所有的物体构成的观测矩阵和残差定义为M和b，则有：
Figure BDA00034875647400000212
Figure BDA00034875647400000213
Figure BDA00034875647400000214
一种基于单目相机的路侧线状要素重建系统，其包括：数据采集模块，实时获取单目图像信息及GNSS和IMU信号；感知模块，将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；定位模块，根据所述GNSS和IMU信号得到车辆六自由度信息；路侧线状要素计算模块，根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
本发明由于采取以上技术方案，其具有以下优点：
1、本发明能够仅使用低成本的单目相机、GNSS、IMU实现路侧线状要素的重建。
2、本发明能够依靠引入先验信息的最小二乘估计模块，算法复杂度小，重建精度高。
3、本发明采用众包单目相机的数据来进行高精地图的重建，能实现低成本，大规模高精地图的采集重建。
附图说明
图1是本发明一实施例中的单目视觉路侧线状物体重建系统的整体流程示意图；
图2是本发明一实施例中的路侧线状物体计算模块流程图；
图3是本发明一实施例中的计算设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
本发明提出一种基于单目相机的路侧线状要素重建方法、系统及存储介质，其包括：实时获取单目图像信息及GNSS和IMU信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS和IMU信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。本发明算法复杂度小，重建精度高，本发明能广泛在智能网联汽车环境构建领域中应用。
在本发明的一个实施例中，提供一种基于单目相机的路侧线状要素重建方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，路侧的线状要素主要指灯杆，交通指示牌等线状物体，如图1所示，该方法包括以下步骤：
1)实时获取单目图像信息及GNSS和IMU信号；
2)将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
3)根据GNSS和IMU信号得到车辆六自由度信息；
4)根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
上述步骤2)中，将单目图像信息进行感知处理，具体为：将单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
在本实施例中，包含一个基于卷积神经网络的图像分割模型。输入的单目图像会被放缩到768*480的大小，然后送入到神经网络当中，通过GPU/FPGA/AI芯片计算单元进行该神经网络的前向计算，得到最终的图像每个像素的分类结果。分类的种类由地图定位元素的种类决定，在本实施例中主要使用感知结果中的路侧线状要素，如灯杆，标识牌杆等。
上述步骤4)中，根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息，如图2所示，包括以下步骤：
4.1)根据地图元素结果和车辆六自由度信息进行基于光流估计的观测聚类计算，将相同线状物体的观测归为一类，构成一个观测组，不同线状物体的观测归为不同组；
4.2)对于每一个物体的观测组，其被输入到基于先验信息的最小二乘求解器中进行求解，输出路侧线状要素的三维位置信息。
上述步骤4.1)中，基于光流估计的观测聚类计算，包括以下步骤：
4.1.1)对于时刻t，计算图像It-1,It的整体光流ft-1；
在本实施例中，输入为连续帧的图像It的感知结果St；
4.1.2)得到光流之后，对于上一时刻的感知结果
Figure BDA0003487564740000041
i表示第i个感知物体，计算上一时刻物体
Figure BDA0003487564740000042
经过光流ft-1预测得到上一时刻物体
Figure BDA0003487564740000043
在当前时刻图像中的位置
Figure BDA0003487564740000044
4.1.3)对于当前的感知结果
Figure BDA0003487564740000045
k表示第k个感知物体，记感知物体
Figure BDA0003487564740000046
与上一时刻物体
Figure BDA0003487564740000047
相对应；
4.1.4)通过求解所有线状物体与上一时刻的线状物体的对应关系，获得每一个线状物体在不同时刻的观测结果，构成一个线状物体的观测组
Figure BDA0003487564740000048
t0,t1…,tN表示该物体被观测到的时刻。
上述步骤4.1.3)中，线段
Figure BDA0003487564740000049
与上一时刻物体
Figure BDA00034875647400000410
相对应为：Ak＝i；
其中，Ak为：
Figure BDA00034875647400000411
Figure BDA00034875647400000412
其中，
Figure BDA00034875647400000413
表示
Figure BDA00034875647400000414
上的点p到线段
Figure BDA00034875647400000415
的距离。
上述步骤4.2)中，基于先验信息的最小二乘求解器，针对某一个线状物体的观测组Lk，用于对该物体进行三维求解，包括以下步骤：
4.2.1)给定观测组的观测序列
Figure BDA0003487564740000051
以及其对应的六自由度定位信息
Figure BDA0003487564740000052
构建最小二乘模块；其中，
Figure BDA0003487564740000053
由于先验信息中，路侧灯杆大多均垂直于路面，因此其普吕克参数可以记为(nw,dw)＝((α,β,0),(0,0,1))。同时记
Figure BDA0003487564740000054
为
Figure BDA0003487564740000055
在图像平面的直线参数，从而最小二乘模块可以由如下方程构成。对于tk时刻下的物体在图像平面的直线参数
Figure BDA0003487564740000056
Figure BDA0003487564740000057
表示当前时刻的相机位姿的旋转，
Figure BDA0003487564740000058
表示当前时刻相机位姿的平移，则有该物体组成的观测矩阵Ok，以及残差向量Rk，k＝0,…,N，N为物体总数。所有的物体构成的观测矩阵和残差定义为M和b。则有：
Figure BDA0003487564740000059
Figure BDA00034875647400000510
Figure BDA00034875647400000511
4.2.2)通过最小二乘估计求解，完成对路侧线状物体的普吕克参数的估计；
在本实施例中，通过最小二乘估计求解为：
x＝(MTM)-1MTb
从而nw＝(x(0),x(1),0)，nw为线状物体普吕克参数，x(0),x(1)为x的第一个和第二个分量。从而完成对路侧线状物体的普吕克参数的估计。
在本发明的一个实施例中，提供一种基于单目相机的路侧线状要素重建系统，其包括：
数据采集模块，实时获取单目图像信息及GNSS和IMU信号；
感知模块，将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
定位模块，根据GNSS和IMU信号得到车辆六自由度信息；
路侧线状要素计算模块，根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
上述实施例中，定位模块可以兼容GNSS或者RTK信号来获得不同定位精度的定位结果。此外，同样可以融合其他传感器来获得更加精确的相对定位精度。
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
如图3所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(Communications Interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种重建方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、管理商网络、NFC(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：实时获取单目图像信息及GNSS和IMU信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS和IMU信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：实时获取单目图像信息及GNSS和IMU信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS和IMU信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：实时获取单目图像信息及GNSS和IMU信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据GNSS和IMU信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于单目相机的路侧线状要素重建方法，其特征在于，包括：
实时获取单目图像信息及GNSS和IMU信号；
将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；
根据所述GNSS和IMU信号得到车辆六自由度信息；
根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
2.如权利要求1所述基于单目相机的路侧线状要素重建方法，其特征在于，所述将所述单目图像信息进行感知处理，包括：将所述单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
3.如权利要求1所述基于单目相机的路侧线状要素重建方法，其特征在于，所述根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息，包括：
根据所述地图元素结果和所述车辆六自由度信息进行基于光流估计的观测聚类计算，将相同线状物体的观测归为一类，构成一个观测组，不同线状物体的观测归为不同组；
对于每一个物体的观测组，其被输入到基于先验信息的最小二乘求解器中进行求解，输出路侧线状要素的三维位置信息。
4.如权利要求3所述基于单目相机的路侧线状要素重建方法，其特征在于，所述基于光流估计的观测聚类计算，包括：
对于时刻t，计算图像It-1,It的整体光流ft-1；
对于上一时刻的感知结果
Figure FDA0003487564730000011
计算上一时刻物体
Figure FDA0003487564730000012
i表示第i个感知物体，经过光流ft-1预测得到上一时刻物体
Figure FDA0003487564730000013
在当前时刻图像中的位置
Figure FDA0003487564730000014
对于当前的感知结果
Figure FDA0003487564730000015
记感知物体
Figure FDA0003487564730000016
与上一时刻物体
Figure FDA0003487564730000017
相对应；
通过求解所有线状物体与上一时刻的线状物体的对应关系，获得每一个线状物体在不同时刻的观测结果，构成一个线状物体的观测组
Figure FDA0003487564730000018
t0,t1…,tN表示该物体被观测到的时刻。
5.如权利要求4所述基于单目相机的路侧线状要素重建方法，其特征在于，所述线段
Figure FDA0003487564730000019
与上一时刻物体
Figure FDA00034875647300000110
相对应为：Ak＝i；
Ak为：
Figure FDA00034875647300000111
Figure FDA0003487564730000021
其中，
Figure FDA0003487564730000022
表示
Figure FDA0003487564730000023
上的点p到线段
Figure FDA0003487564730000024
的距离。
6.如权利要求3所述基于单目相机的路侧线状要素重建方法，其特征在于，所述基于先验信息的最小二乘求解器，针对某一个线状物体的观测组，用于对该物体进行三维求解，包括：
给定观测组的观测序列以及其对应的六自由度定位信息，构建最小二乘模块；
通过最小二乘估计求解，完成对路侧线状物体的普吕克参数的估计。
7.如权利要求6所述基于单目相机的路侧线状要素重建方法，其特征在于，对于tk时刻下的物体在图像平面的直线参数
Figure FDA0003487564730000025
Figure FDA0003487564730000026
表示当前时刻的相机位姿的旋转，
Figure FDA0003487564730000027
表示当前时刻相机位姿的平移，则有该物体组成的观测矩阵Ok，以及残差向量Rk，k＝0,…,N，N为物体总数；所有的物体构成的观测矩阵和残差定义为M和b，则有：
Figure FDA0003487564730000028
Figure FDA0003487564730000029
Figure FDA00034875647300000210
8.一种基于单目相机的路侧线状要素重建系统，其特征在于，包括：
数据采集模块，实时获取单目图像信息及GNSS和IMU信号；
感知模块，将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；
定位模块，根据所述GNSS和IMU信号得到车辆六自由度信息；
路侧线状要素计算模块，根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行如权利要求1至7所述方法中的任一方法。
10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行如权利要求1至7所述方法中的任一方法的指令。
CN202210085354.5A 2022-01-25 2022-01-25 基于单目相机的路侧线状要素重建方法、系统及存储介质 Active CN114463504B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210085354.5A CN114463504B (zh) 2022-01-25 2022-01-25 基于单目相机的路侧线状要素重建方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210085354.5A CN114463504B (zh) 2022-01-25 2022-01-25 基于单目相机的路侧线状要素重建方法、系统及存储介质

Publications (2)

Publication Number Publication Date
CN114463504A true CN114463504A (zh) 2022-05-10
CN114463504B CN114463504B (zh) 2024-07-23

Family

ID=81412306

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210085354.5A Active CN114463504B (zh) 2022-01-25 2022-01-25 基于单目相机的路侧线状要素重建方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN114463504B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526987A (zh) * 2022-09-22 2022-12-27 清华大学 基于单目相机的标牌要素重建方法、系统、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108364304A (zh) * 2018-04-11 2018-08-03 湖南城市学院 一种用于单目机载目标检测的系统和方法
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统
US20200309963A1 (en) * 2017-12-06 2020-10-01 Sony Corporation Mobile object, positioning system, positioning program, and positioning method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200309963A1 (en) * 2017-12-06 2020-10-01 Sony Corporation Mobile object, positioning system, positioning program, and positioning method
CN108364304A (zh) * 2018-04-11 2018-08-03 湖南城市学院 一种用于单目机载目标检测的系统和方法
CN109405824A (zh) * 2018-09-05 2019-03-01 武汉契友科技股份有限公司 一种适用于智能网联汽车的多源感知定位系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
WEISONG WEN ET AL.: "Multi-Agent Collaborative GNSS/Camera/INS Integration Aided by Inter-Ranging for Vehicular Navigation in Urban Areas", 《IEEE ACCESS》, 20 July 2020 (2020-07-20) *
邸凯昌 等: "深空探测车环境感知与导航定位技术进展与展望", 《测绘学报》, vol. 50, no. 11, 30 November 2021 (2021-11-30) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115526987A (zh) * 2022-09-22 2022-12-27 清华大学 基于单目相机的标牌要素重建方法、系统、设备及介质

Also Published As

Publication number Publication date
CN114463504B (zh) 2024-07-23

Similar Documents

Publication Publication Date Title
JP6862409B2 (ja) 地図生成及び移動主体の位置決めの方法及び装置
CN108596974B (zh) 动态场景机器人定位建图系统及方法
KR101836304B1 (ko) 포인트 클라우드 데이터에 기반하는 차량 윤곽 검출 방법과 장치
US10019652B2 (en) Generating a virtual world to assess real-world video analysis performance
CN108256431B (zh) 一种手部位置标识方法及装置
Qiu et al. RGB-DI images and full convolution neural network-based outdoor scene understanding for mobile robots
CN108764187A (zh) 提取车道线的方法、装置、设备、存储介质以及采集实体
EP3980969A1 (en) Cross-modal sensor data alignment
CN109299656B (zh) 一种车载视觉系统场景视深确定方法
CN110148177A (zh) 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体
CN111539484A (zh) 训练神经网络的方法及装置
CA3207430A1 (en) Rendering new images of scenes using geometry-aware neural networks conditioned on latent variables
CN112396657A (zh) 一种基于神经网络的深度位姿估计方法、装置及终端设备
CN115965970A (zh) 基于隐式的集合预测实现鸟瞰图语义分割的方法及系统
CN114463504B (zh) 基于单目相机的路侧线状要素重建方法、系统及存储介质
CN117058474B (zh) 一种基于多传感器融合的深度估计方法及系统
CN113313824B (zh) 一种三维语义地图构建方法
CN113366488A (zh) 具有自动对象标记方法和设备的自主驾驶数据集生成
CN117870716A (zh) 地图兴趣点的显示方法、装置、电子设备及存储介质
CN112381876A (zh) 一种交通标志标注方法、装置及计算机设备
CN112800822A (zh) 利用结构约束和物理约束进行3d自动标记
Bai et al. Cyber mobility mirror for enabling cooperative driving automation: A co-simulation platform
CN114913500B (zh) 位姿确定方法、装置、计算机设备和存储介质
CN115526987A (zh) 基于单目相机的标牌要素重建方法、系统、设备及介质
Jung et al. Fast point clouds upsampling with uncertainty quantification for autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant