CN109696173A - 一种车体导航方法和装置 - Google Patents

一种车体导航方法和装置 Download PDF

Info

Publication number
CN109696173A
CN109696173A CN201910127609.8A CN201910127609A CN109696173A CN 109696173 A CN109696173 A CN 109696173A CN 201910127609 A CN201910127609 A CN 201910127609A CN 109696173 A CN109696173 A CN 109696173A
Authority
CN
China
Prior art keywords
car body
observation object
image data
laser radar
ambient enviroment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910127609.8A
Other languages
English (en)
Inventor
张臣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wind Map Intelligent Technology Co Ltd
Original Assignee
Suzhou Wind Map Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wind Map Intelligent Technology Co Ltd filed Critical Suzhou Wind Map Intelligent Technology Co Ltd
Priority to CN201910127609.8A priority Critical patent/CN109696173A/zh
Publication of CN109696173A publication Critical patent/CN109696173A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • G01C21/3415Dynamic re-routing, e.g. recalculating the route when the user deviates from calculated route or after detecting real-time traffic data or accidents
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本公开涉及一种导航方法和装置。包括:获取所述车体周围环境的三维点云数据以及所述车体周围环境的图像数据;将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息;基于所述观测对象信息,对所述车体进行路径规划。本公开将激光雷达与摄像装置相结合,将激光雷达获取三维点云数据与摄像装置二维图像数据进行数据融合,能够可靠识别所述车体周围环境中的观测对象,同时,利用GPS技术获得所述车体前方道路信息的相对位置,在前方观测对象更为稀疏的情况下,加强了定位的可靠性。

Description

一种车体导航方法和装置
技术领域
本公开涉及导航技术领域,尤其涉及一种车体导航方法和装置。
背景技术
目前无人车在开放环境中进行行驶,主要基于全球导航卫星系统(GNSS,GlobalNavigation Satellite System)进行定位导航,所述开放环境指的是周围环境中道路信息较为稀少,如沙漠、野外或高尔夫球场等,GNSS定位较为准确,然而成本较高,不适宜大规模的无人车车体部署,相关技术中,通过获取周围环境的特征信息并与高精地图匹配以定位的方法,依赖于已知的高精地图,在道路信息突发变化的情况下,不能及时的被无人车检测和识别。
因此,相关技术中亟需一种如何在开放环境中实现对无人车进行导航的技术。
发明内容
为克服相关技术中存在的问题,本公开提供一种车体导航方法和装置。
根据本公开实施例的第一方面,提供一种车体导航方法,包括:
获取所述车体周围环境的三维点云数据;
获取所述车体周围环境的图像数据;
将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息;
基于所述观测对象信息,对所述车体进行路径规划。
在一种可能的实现方式中,所述基于所述观测对象信息,对所述车体进行路径规划,包括:
获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
在一种可能的实现方式中,在所述车体上至少安装激光雷达和摄像装置,所述将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息,包括:
分别建立所述激光雷达以及所述摄像装置的空间坐标系;
基于所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中;
对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
在一种可能的实现方式中,所述基于所述激光雷达与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中,包括;
根据所述激光雷达与所述摄像装置的空间坐标系,获取所述激光雷达与所述摄像装置坐标变换矩阵;
根据所述坐标变换矩阵,确定所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的透视变化关系;
基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
在一种可能的实现方式中,所述对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象,包括:
对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
在一种可能的实现方式中,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
在一种可能的实现方式中,所述基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划,包括:
当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
根据本公开实施例的第二方面,提供一种车体导航装置,应用于无人驾驶的车体中,所述车体至少安装激光雷达和摄像装置,包括;
激光雷达,用于利用所述激光雷达扫描并获取所述车体周围环境的三维点云数据以及利用所述摄像装置获取所述车体周围环境的图像数据;
摄像装置,用于将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中获取所述车体周围环境中的观测对象信息;
执行模块,用于基于所述观测对象信息,对所述车体进行路径规划。
在一种可能的实现方式中,所述执行模块包括:
GPS装置,用于获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
执行子模块,用于基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
在一种可能的实现方式中,所述处理模块包括:
设置子模块,用于建立所述激光雷达以及所述摄像装置的空间坐标系;
融合子模块,基于所述激光雷达与所述摄像装置的空间坐标系之间的透视变化关系,将所述三维点云数据映射到所述图像数据中
识别子模块,用于对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
在一种可能的实现方式中,所述融合子模块包括:
第一确定单元,用于根据所述激光雷达与所述摄像装置的空间坐标系,确定所述激光雷达与所述摄像装置之间的坐标变换矩阵;
第二确定单元,用于根据所述坐标变换矩阵,确定所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的透视变化关系;
映射单元,用于基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
在一种可能的实现方式中,所述识别子模块包括:
检测单元,用于对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
在一种可能的实现方式中,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
在一种可能的实现方式中,所述执行子模块包括:
第一执行单元,当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
第二执行单元,根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
根据本公开实施例的第三方面,提供一种车体导航装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行本公开任一实施例所述的方法。
根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,包括当所述存储介质中的指令由处理器执行时,使得处理器能够执行根据本公开任一实施例所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:本公开将激光雷达与摄像装置相结合,将激光雷达获取三维点云数据与摄像装置二维图像数据进行数据融合,能够可靠识别所述车体周围环境中的观测对象,并获得所述车体与所述道路信息中观测对象的相对位置,实现准确定位。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种车体导航方法的流程图。
图2是根据一示例性实施例示出的一种车体导航方法的流程图。
图3是根据一示例性实施例示出的一种车体导航方法的流程图。
图4是根据一示例性实施例示出的一种车体导航方法的流程图。
图5是根据一示例性实施例示出的一种车体导航方法的流程图。
图6是根据一示例性实施例示出的一种车体导航装置的框图。
图7是根据一示例性实施例示出的一种车体导航装置的框图。
图8是根据一示例性实施例示出的一种车体导航装置的框图。
图9是根据一示例性实施例示出的一种车体导航装置的框图。
图10是根据一示例性实施例示出的一种车体导航装置的框图。
图11是根据一示例性实施例示出的一种车体导航装置的框图。
图12是根据一示例性实施例示出的一种车体导航装置的框图。
图13是根据一示例性实施例示出的一种车体导航装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
为了方便本领域技术人员理解本公开实施例提供的技术方案,下面先对技术方案实现的技术环境进行说明。
无人车的自主导航是指无人车在移动的过程中,通过传感器感知自身状态和环境信息,在有障碍物的环境中,完成定位、避障和路径规划等一系列的自动操作。相关技术中,无人车在结构化环境中进行自主导航技术较为成熟,所述结构化环境包括楼宇、街道、交通指示灯等道路信息较为密集的场所,在结构化环境中需要借助预先获知的高精地图或GNSS技术,成本较高。而在开放环境中,如道路信息较为稀疏的开阔地带,如沙漠、郊区、高尔夫球场、公园等,由于标注物较少,因此,利用高精地图进行定位、导航的成本较高,如何实现无人车的自主导航且降低导航成本是一个需要解决的技术问题。
基于类似于上文所述的实际技术需求,本公开提供的车体导航方法可以在没有高精地图的情况下,实现准确导航,相比于GNSS,能大大节省成本。
下面结合附图1对本公开所述的车体导航方法进行详细的说明。图1是本公开提供的车体导航方法一种实施例的方法流程图。虽然本公开提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。
具体的,本公开提供的车体导航方法的一种实施例如图1所示,所述方法可以应用于无人驾驶的车体中,所述车体至少安装激光雷达和摄像装置,包括:
步骤S11,获取所述车体周围环境的三维点云数据;
步骤S12,获取所述车体周围环境的图像数据;
步骤S13,将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息;
步骤S14中,基于所述观测对象信息,对所述车体进行路径规划。
本公开实施例中用到的激光雷达是一种主动传感器,所形成的数据是点云形式,主要由发射机、接收机、测量控制和电源组成。激光雷达在工作时,首先向被测目标发射一束激光,然后测量反射或散射信号到达发射机的时间、信号强弱程度和频率变化等参数,从而确定被测目标的距离、运动速度以及方位。激光雷达获取的三维图像分辨率不高。摄像机是一种视觉传感器,能够获得观测对象的形状以及纹理信息,将两种传感器结合使用,可以起到优势互补的效果。
本公开实施例中,可以将所述激光雷达和摄像装置安装于车体前方顶部位置。所述激光雷达和摄像装置的个数也可以是多个,多个激光雷达之间可以通过坐标系转换的方法,将扫描的数据进行融合,相应的,多个摄像装置也可以通过匹配方法获得更多的图像数据。
在一个实施例中,通过激光雷达获取的所述三维点云数据中包含了环境中物体表面点的位置信息和距离信息,有的物体会吸收所述激光雷达的激光能量,从而造成雷达数据的失真,可以对所述三维点云数据进行滤波处理,以减少数据失真。
在另一个实施例中,为了从所述点云数据中提取所述观测对象,可以对所述点云数据进行聚类处理,所述聚类处理的目的是将一个数据集划分为不相连的有相同属性的簇,从而判断出所述观测对象的数量和位置。将聚类后的三维点云数据融合到图像中,可以得到所述观测对象的位置,而通过所述摄像装置获取的图像数据包括了所述观测对象的属性信息,比如,观测对象是道路还是河流。
本公开实施例中,所述观测对象可以包括道路边缘,如路面和绿化植被的交界处、田埂等,限定行驶速度、禁止前行、左转掉头等交通指示牌,减速带,斑马线等。基于所述观测对象信息,对所述车体进行路径规划,比如所述观测对象是减速带,则控制车体的行驶速度,使其减速慢行;比如所述观测对象是左转弯,则控制车体左转;当所述观测对象是道路边缘,则需要进一步获知所述观测对象与所述车体的距离信息,当所述距离小于预设的安全距离时,则调整车体的位置,使其行驶在安全距离范围内。
考虑到单独利用激光雷达可以直接获取道路信息中观测对象的三维几何距离,但是受激光脉冲频率的限制,所获取的三维点云数据较为稀疏,扫描观测对象时可能发生漏检,单独利用摄像装置可以对所述观测对象进行识别,但是由于缺少所述观测对象的深度信息以及受天气影响较大,无法对观测对象进行准确定位。本公开将激光雷达与摄像装置相结合,将激光雷达获取三维点云信息与摄像装置二维图像信息进行数据融合,能够可靠识别所述车体周围环境中的观测对象,并获得所述车体与所述道路信息中观测对象的相对位置,实现准确自主导航。
图2是根据一示例性实施例示出的一种车体导航方法的流程图,参考2所示,虽然本公开提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。本公开实施例中所述步骤S14,基于所述观测对象信息,对所述车体进行路径规划,在一种可能的实现方式中,包括:
步骤S141,获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
步骤S142,基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
本公开实施例中可以根据所述车体的GPS数据,所述GPS数据包括所述车体的经度、纬度、高度和航向,确定所述车体所处的道路特征,比如确定车体大致处于哪条道路、草坪、雪地或施工场所等。
本公开实施例中,根据所述道路特征,对所述车体进行路径规划,比如检测到所述道路特征是,所述车体的行驶方向一定距离内有池塘或施工,则控制车体的行进速度并转弯以避让所述池塘或施工地。
本公开通过GPS数据可以对所述车体在车体的前进方向,即纵向方向,进行粗略定位,再通过所述激光雷达和摄像装置在所述车体横向方向进行修正,可以提高导航效率。
图3是根据一示例性实施例示出的一种导航方法的流程图,如图3所示,虽然本公开提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。与上述实施例不同的是,所述步骤S13将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息,在一种可能的实现方式中,在所述车体至少安装激光雷达和摄像装置,可以包括步骤S131、步骤S132和步骤S133:
在步骤S131中,分别建立所述激光雷达以及所述摄像装置的空间坐标系;
在步骤S132中,基于所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中;
在步骤S133中,对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
本公开实施例中,由于所述激光雷达和摄像装置为独立的传感器,具有各自独立的数据空间向量,需要分别建立所述激光类和摄像装置的空间坐标系。可以以所述摄像装置的安装位置为原点,建立所述摄像装置的空间坐标系,以激光雷达镜面反射点作为原点,建立所述激光雷达的空间坐标系。所述空间坐标系包括空间直角坐标系和极坐标系。
在一种实施例中,可以根据所述激光雷达和摄像装置的空间坐标系,所述透视变换关系可以包括式(1),其中,[u,v,1]T为图像坐标系,[X,Y,Z,1]T为激光雷达坐标系,为任一变化比例因子。在进行坐标转换时,可以事先对摄像装置与激光雷达进行对准。
本公开实施例中,对融合后的图像数据进行处理,可以采用图像增强、图像滤波以及图像分割的方法,对所述融合后的图像数据进行处理。所述图像增强的目标在于减少图像中图像的噪声,改变原来图像的亮度、色彩分布对比度等参数,以增强图像的清晰度;可以采用中值滤波的方法对所述图像数据进行处理,将滤波窗口内的最大值和最小值视为噪声,用像素邻域内各像素的平均灰度值来代替该像素原来的灰度值,实现图像的平滑;所述图像分割可以包括基于区域特征的分割方法、基于相关匹配的分割方法和基于边界特征的分割方法。
图4是根据一示例性实施例示出的一种导航方法的流程图,如图4所示,虽然本公开提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。与上述实施例不同的是,所述步骤S132,基于所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中,在一种可能的实现方式中,可以包括步骤S1321、步骤S1322和步骤S1323:
在步骤S1321中,根据所述激光雷达与所述摄像装置的空间坐标系,获取所述激光雷达与所述摄像装置坐标变换矩阵。
在步骤S1322中,根据所述坐标变换矩阵,获取所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的透视变化关系。
在步骤S1323中,基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
本公开实施例中,可以通过标定的方法获取所述坐标变换矩阵,标定时,所述激光雷达和摄像装置设置同步采集数据。比如,设标定参考点在所述激光雷达空间坐标系中的三维位置坐标为M(X,Y,Z)在摄像装置空间坐标系中的坐标为m(u,v),其中P3×4表示从所述激光雷达空间坐标系到摄像装置空间坐标系之间的坐标变换矩阵。
消去其中的可得式(3),其中,p'对于每一个标定点,都对应式中的两个方程,由于待求解的参数p'有12个未知变量,因此至少需要6个标定点才能求解出坐标变换矩阵P3×4,为了减小标定误差,通常选取的标定点数大于6个。
p'=(p11 p12 p13 p14 p21 p22 p23 p24 p31 p32 p33 p34)T (4)
本公开实施例中,根据所述坐标变换矩阵,所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的透视变化关系则确定,基于所述透视变化关系,将所述三维点云信息映射到所述二维图像信息中,其中,可以通过聚类的方法获取所述三维点云中的观测对象,根据需要,观测对象的点云数据融合到所述图像数据中,比如,所述观测对象是道路边缘信息时,需要获得所述观测对象的深度信息,以调整所述车体与道路边缘距离,这时,将所述道路边缘的三维点云数据映射到所述图像数据中;比如所述观测对象是交通指示牌,比如限行标志,则不需要将所述限行标志的三维点云数据映射到所述图像数据中,如此可以减少计算量,提高导航效率。
在一种可能的实现方式中,所述步骤S133中,对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象,包括:对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
本公开实施例中,边缘检测的目的是检测观测对象的边缘以识别图像,在一种可能的实现方式中,包括采用高斯滤波方法平滑对所述融合后的图像进行平滑,采用一阶偏导有限差分计算梯度幅值和方向,再次对所述梯度幅值进行非极大值抑制,最后用双阈值法检测和连接边缘。
在一种可能的实现方式中,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
图5是根据一示例性实施例示出的一种导航方法的流程图,如图5所示,虽然本公开提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。与上述实施例不同的是,所述步骤S142,所述基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划,在一种可能的实现方式中,可以包括步骤S1421和步骤S1422:
在步骤1421中,当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
在步骤1422中,根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
本公开实施例中,所述道路边缘包括道路与绿化带的交界处、道路与河流的交界处或者道路与道路的行驶分界线,当所述观测对象是道路边缘时,利用所述激光雷达和摄像装置获知所述道路边缘与所述车体的距离信息,当所述距离小于预设的安全距离时,则调整车体的位置,使其行驶在安全距离范围内,实现对所述车体横向位置的路径规划。本公开实施例中,所述道路纵向特征包括汽车行驶方向的观测对象的信息,比如前方行驶的车辆、减速带等,通过GPS数据可以对所述车体在车体的前进方向,即纵向方向,进行粗略定位,再通过所述激光雷达和摄像装置获取的道路边缘信息,在所述车体横向方向进行修正,可以提高导航效率。
图6是根据一示例性实施例示出的一种车体导航装置框图。参照图5,该装置包括:
激光雷达11,用于扫描并获取所述车体周围环境的三维点云数据;
摄像装置12,用于获取所述车体周围环境的图像数据;
处理模块13,用于将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中获取所述车体周围环境中的观测对象信息;
执行模块14,用于基于所述观测对象信息,对所述车体进行路径规划。
图7是根据一示例性实施例示出的一种车体导航装置框图。参照图6,与上述实施例不同的是,在一种可能的实现方式中,所述执行模块14包括:
GPS装置141,用于获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
执行子模块142,用于基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
图8是根据一示例性实施例示出的一种车体导航装置框图。参照图7,与上述实施例不同的是,在一种可能的实现方式中,所述处理模块13包括:
设置子模块131,用于建立所述激光雷达以及所述摄像装置的空间坐标系;
融合子模块132,基于所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中
识别子模块133,用于对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
图9是根据一示例性实施例示出的一种车体导航装置框图。参照图8,与上述实施例不同的是,在一种可能的实现方式中,所述融合子模块132包括:
第一确定单元1321,用于根据所述激光雷达与所述摄像装置的空间坐标系,确定所述激光雷达与所述摄像装置坐标变换矩阵;
第二确定单元1322,用于根据所述坐标变换矩阵,确定所述激光雷达的空间坐标系与所述摄像装置的空间坐标系之间的透视变化关系;
映射单元1323,用于基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
图10是根据一示例性实施例示出的一种车体导航装置框图。参照图9,与上述实施例不同的是,在一种可能的实现方式中,所述识别子模块133包括:
检测单元1331,用于对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
在一种可能的实现方式中,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
图11是根据一示例性实施例示出的一种车体导航装置框图。参照图10,与上述实施例不同的是,在一种可能的实现方式中,所述执行子模块142包括:
第一执行单元1421,当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
第二执行单元1422,根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图12是根据一示例性实施例示出的一种用于导航的装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图12,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电源组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,摄像装置操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件806为装置800的各种组件提供电力。电源组件806可以包括电源管理系统,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图13是根据一示例性实施例示出的一种用于导航的装置1900的框图。例如,装置1900可以被提供为一服务器。参照图13,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述导航方法
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作系统,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1932,上述指令可由装置1900的处理组件1922执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种车体导航方法,其特征在于,包括:
获取所述车体周围环境的三维点云数据;
获取所述车体周围环境的图像数据;
将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息;
基于所述观测对象信息,对所述车体进行路径规划。
2.根据权利要求1所述的方法,其特征在于,所述基于所述观测对象信息,对所述车体进行路径规划,包括:
获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
3.根据权利要求1所述的方法,其特征在于,在所述车体上至少安装激光雷达和摄像装置,所述将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中提取所述车体周围环境中的观测对象信息,包括:
分别建立所述激光雷达以及所述摄像装置的空间坐标系;
基于所述激光雷达与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中;
对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
4.根据权利要求3所述的方法,其特征在于,所述基于所述激光雷达与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中,包括;
根据所述激光雷达与所述摄像装置的空间坐标系,确定所述激光雷达与所述摄像装置之间的坐标变换矩阵;
根据所述坐标变换矩阵,确定所述激光雷达与所述摄像装置的空间坐标系之间的透视变化关系;
基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
5.根据权利要求3所述的方法,其特征在于,所述对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象,包括:
对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
6.根据权利要求1所述的方法,其特征在于,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
7.根据权利要求2所述的方法,其特征在于,所述基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划,包括:
当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
8.一种车体导航装置,其特征在于,应用于无人驾驶的车体中,所述车体至少安装激光雷达和摄像装置,包括:
激光雷达,用于扫描并获取所述车体周围环境的三维点云数据;
摄像装置,用于获取所述车体周围环境的图像数据;
处理模块,用于将所述三维点云数据与所述图像数据进行数据融合,并从融合后的数据中获取所述车体周围环境中的观测对象信息;
执行模块,用于基于所述观测对象信息,对所述车体进行路径规划。
9.根据权利要求8所述的装置,其特征在于,所述执行模块包括:
GPS装置,用于获取所述车体的GPS数据,确定所述车体所处的道路纵向特征;
执行子模块,用于基于所述观测对象信息和所述道路纵向特征,对所述车体进行路径规划。
10.根据权利要求8所述的装置,其特征在于,所述处理模块包括:
设置子模块,用于建立所述激光雷达以及所述摄像装置的空间坐标系;
融合子模块,基于所述激光雷达与所述摄像装置的空间坐标系之间的关系,将所述三维点云数据映射到所述图像数据中
识别子模块,用于对融合后的图像数据进行处理,以识别所述车体周围环境中的观测对象。
11.根据权利要求10所述的装置,其特征在于,所述融合子模块包括:
第一确定单元,用于根据所述激光雷达与所述摄像装置的空间坐标系,确定所述激光雷达与所述摄像装置之间的坐标变换矩阵;
第二确定单元,用于根据所述坐标变换矩阵,确定所述激光雷达与所述摄像装置的空间坐标系之间的透视变化关系;
映射单元,用于基于所述透视变化关系,将所述三维点云信息映射到所述图像数据中。
12.根据权利要求10所述的装置,其特征在于,所述识别子模块包括:
检测单元,用于对所述融合后的图像数据进行边缘检测,以识别所述车体周围环境中的观测对象。
13.根据权利要求8所述的装置,其特征在于,所述观测对象信息包括下述中的至少一种:道路边缘、交通指示牌、交通指示灯、减速带及路面标志。
14.根据权利要求9所述的装置,其特征在于,所述执行子模块包括:
第一执行单元,当所述观测对象为道路边缘时,基于所述道路边缘与所述车体的相对位置,对所述车体的横向位置进行路径规划;
第二执行单元,根据所述道路纵向特征,对所述车体的纵向位置进行路径规划。
15.一种车体导航装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行权利要求1至6所述的方法。
16.一种非临时性计算机可读存储介质,当所述存储介质中的指令由处理器执行时,使得处理器能够执行根据权利要求1至6所述的方法。
CN201910127609.8A 2019-02-20 2019-02-20 一种车体导航方法和装置 Pending CN109696173A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910127609.8A CN109696173A (zh) 2019-02-20 2019-02-20 一种车体导航方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910127609.8A CN109696173A (zh) 2019-02-20 2019-02-20 一种车体导航方法和装置

Publications (1)

Publication Number Publication Date
CN109696173A true CN109696173A (zh) 2019-04-30

Family

ID=66234858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910127609.8A Pending CN109696173A (zh) 2019-02-20 2019-02-20 一种车体导航方法和装置

Country Status (1)

Country Link
CN (1) CN109696173A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111137236A (zh) * 2019-12-29 2020-05-12 的卢技术有限公司 一种基于汽车前挡风非透明液晶显示方法及系统
CN111708046A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN111724616A (zh) * 2020-06-11 2020-09-29 樊馨 基于人工智能的数据获取及共享的方法与装置
CN112015178A (zh) * 2020-08-20 2020-12-01 中国第一汽车股份有限公司 一种控制方法、装置、设备及存储介质
CN112257732A (zh) * 2019-07-22 2021-01-22 南京人工智能高等研究院有限公司 一种特征图融合方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知系统及其工作方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
CN107490382A (zh) * 2017-07-31 2017-12-19 中北智杰科技(北京)有限公司 一种无人驾驶汽车路径规划系统及控制方法
CN108068817A (zh) * 2017-12-06 2018-05-25 张家港天筑基业仪器设备有限公司 一种无人驾驶汽车自动变道装置及方法
US20180356526A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101975951A (zh) * 2010-06-09 2011-02-16 北京理工大学 一种融合距离和图像信息的野外环境障碍检测方法
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知系统及其工作方法
CN107167811A (zh) * 2017-04-26 2017-09-15 西安交通大学 基于单目视觉与激光雷达融合的道路可行驶区域检测方法
US20180356526A1 (en) * 2017-06-13 2018-12-13 TuSimple Sensor calibration and time method for ground truth static scene sparse flow generation
CN107490382A (zh) * 2017-07-31 2017-12-19 中北智杰科技(北京)有限公司 一种无人驾驶汽车路径规划系统及控制方法
CN108068817A (zh) * 2017-12-06 2018-05-25 张家港天筑基业仪器设备有限公司 一种无人驾驶汽车自动变道装置及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257732A (zh) * 2019-07-22 2021-01-22 南京人工智能高等研究院有限公司 一种特征图融合方法及装置
CN111137236A (zh) * 2019-12-29 2020-05-12 的卢技术有限公司 一种基于汽车前挡风非透明液晶显示方法及系统
CN111708046A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN111724616A (zh) * 2020-06-11 2020-09-29 樊馨 基于人工智能的数据获取及共享的方法与装置
CN111724616B (zh) * 2020-06-11 2021-11-05 徐州国云信息科技有限公司 基于人工智能的数据获取及共享的方法与装置
CN112015178A (zh) * 2020-08-20 2020-12-01 中国第一汽车股份有限公司 一种控制方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11676307B2 (en) Online sensor calibration for autonomous vehicles
US11604076B2 (en) Vision augmented navigation
CN111257866B (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
CN109696173A (zh) 一种车体导航方法和装置
CN110174093B (zh) 定位方法、装置、设备和计算机可读存储介质
CN111126182B (zh) 车道线检测方法、装置、电子设备及存储介质
US10262466B2 (en) Systems and methods for adjusting a combined image visualization based on depth information
CN110967024A (zh) 可行驶区域的检测方法、装置、设备及存储介质
KR20210061319A (ko) 전자 장치 및 그의 제어 방법
CN109725329A (zh) 一种无人车定位方法及装置
CN111104893B (zh) 目标检测方法、装置、计算机设备及存储介质
CN106871906A (zh) 一种盲人导航方法、装置及终端设备
CN111192341A (zh) 生成高精地图的方法、装置、自动驾驶设备及存储介质
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
WO2023123837A1 (zh) 地图的生成方法、装置、电子设备及存储介质
CN114549633A (zh) 位姿检测方法、装置、电子设备和存储介质
CN115407355B (zh) 库位地图的验证方法、装置及终端设备
CN111651547A (zh) 高精度地图数据的获取方法、装置及可读存储介质
CN115205384A (zh) 导盲方法、装置及可读存储介质
Gu et al. Correction of vehicle positioning error using 3D-map-GNSS and vision-based road marking detection
CN117452411A (zh) 障碍物检测方法和装置
CN117671164A (zh) 高精地图底图构建方法
CN117664097A (zh) 获取底图的方法
CN117055016A (zh) 传感器的探测精度测试方法、装置及存储介质
WO2023245615A1 (zh) 导盲方法、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190430