CN107798724A - 自动化车辆3d道路模型和车道标记定义系统 - Google Patents
自动化车辆3d道路模型和车道标记定义系统 Download PDFInfo
- Publication number
- CN107798724A CN107798724A CN201710779432.0A CN201710779432A CN107798724A CN 107798724 A CN107798724 A CN 107798724A CN 201710779432 A CN201710779432 A CN 201710779432A CN 107798724 A CN107798724 A CN 107798724A
- Authority
- CN
- China
- Prior art keywords
- lane markings
- road
- model
- camera
- running surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/42—Simultaneous measurement of distance and other co-ordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Abstract
适于在自动化车辆上使用的道路模型定义系统(10),包括相机(14)、激光雷达单元(20)和控制器(24)。相机(14)用于提供主车辆(12)附近的区域(18)的图像(16)。激光雷达单元(20)用于提供描述区域(18)的点云(22)。控制器(24)与相机(14)以及激光雷达单元(20)通信。所述控制器(24)被配置为确定图像(16)中的车道标记(26)的图像位置(28),从表示行驶表面(42)的点云(22)中选择地面点(44),基于地面点(44)确定三维(3D)道路模型(40)的系数,以及基于车道标记(26)的图像位置(28)和3D道路模型(40)来确定将图像(16)中的车道标记(26)映射到行驶表面(42)的变换(60),并由此获得3D标记模型。
Description
技术领域
本发明公开总体上涉及道路模型定义系统,具体而言,涉及一种系统,其确定用于将来自摄像机的图像中存在的车道标记映射到基于激光雷达数据的行驶表面模型的变换,以获得车道标记的3D标记模型。
背景技术
为了确保在包括诸如自动驾驶车辆在内的自动化车辆中所使用的各种系统的良好性能,需要在主车辆前方即将驶过的行驶表面(例如,道路)的精确模型。已知的技术是在假设行驶表面是平面的前提下,即行驶表面平坦且平整的前提下,对行驶表面的车道标记进行建模。然而,行驶表面实际上经常是拱起的,即行驶表面的高度朝着路沿逐渐降低,这对于雨季条件下的排水是有利的。而且,随着主车辆沿着行驶表面移动,行驶表面的俯仰角(例如,上坡或下坡)发生变化,经常出现与之相关的垂直曲率分量。在这些非平面条件下,来自视觉系统的车道标记估计以平面的行驶表面作为假设前提,会导致不够准确的道路模型。行驶表面也可能会被抬高一侧,或者说倾斜,以使得在高速公路出口等路段能够以更高速度转弯,而这在平面道路的情况下,对于车辆控制是重要的。
发明内容
这里描述了一种道路模型定义系统,其使用改进的技术,用激光雷达和照相机来获得行驶车道的三维(3D)模型。3D道路模型包含行驶表面的拱起和垂直曲率的分量,以及在照相机的图像中检测到的车道标记的垂直和/或水平曲率。3D模型允许更准确地估计环境的相关特征,例如前车相对于行驶车道的位置,并且允许在自动驾驶设置中更准确地控制主车辆,例如更好地通知转向控制器行驶车道的3D形状。
根据一个实施例,提供一种适用于自动化车辆的道路模型定义系统。该系统包括相机、激光雷达单元和控制器。相机用于提供主车辆附近区域的图像。激光雷达单元用于提供描述区域的点云。控制器与相机以及激光雷达单元通信。控制器被配置为确定图像中的车道标记的图像位置,从表示行驶表面的点云中选择地面点,基于地面点确定三维(3D)道路模型的系数,以及基于车道标记的图像位置和3D道路模型来确定将图像中的车道标记映射到行驶表面的变换,并由此获得3D标记模型。
阅读优选实施例的下列详细描述并参考各个附图,进一步的特征和优点将更加显而易见,优选实施例只是作为非限制性示例给出的。
附图说明
现在将参考各个附图,作为示例,来描述本发明,其中:
图1是根据一个实施例的道路模型定义系统的示图;
图2是根据一个实施例的由图1的系统所捕捉到的图像;
图3是根据一个实施例的由图1的系统使用的数据的曲线图;
图4是根据一个实施例的由图1的系统确定的3D模型的曲线图;以及
图5是根据一个实施例的由图1的系统确定的3D模型的另一曲线图。
具体实施方式
图1示出了适合自动化车辆(例如主车辆12)使用的道路模型定义系统10(以下称为系统10)的非限制性示例。虽然所呈现的示例其主要特征是一般涉及本车辆12在自动模式(即完全自动驾驶模式,该模式下本车辆12的人工操作者(未示出)除了指定目的地外几乎不进行主车辆12的操作)下进行操作的情形,但应该可以想到,这里给出的教导同样适用于以手动模式操作主车辆12的情形。在手动模式下,自动化的程度或等级可能仅限于向总体上控制主车辆12的转向、加速器和制动器的操作人员提供转向辅助。也就是说,系统10只会根据需要来帮助操作人员将主车辆12保持在行驶车道中心、维持主车辆12的控制、和/或避免对例如其他车辆的干扰和/或碰撞。
系统10包括但不限于用于提供主车辆12附近区域18的图像16的相机14和用于提供表示区域18的点云22(即,如本领域技术人员所能够理解地,激光雷达检测点的坐标集合)的激光雷达单元20。虽然图示中把相机14和激光雷达单元20两者设置在一起(可能在一个集成单元中),但这不是必须的。可以理解,把两者设置在一起将简化图像16和点云22的对齐。然而,已知有多种技术,用于当相机14和激光雷达单元20位于主车辆12上相互隔开的位置时,进行数据的对齐。相机14和激光雷达单元20的视场也不要求是一样的。也就是说,例如,相机14可以具有比激光雷达单元更宽的视场,但是两者的视场都要包括或覆盖区域18,区域18通常可以被表征为主车辆12的前方。
系统10包括与相机14和激光雷达单元20通信的控制器24。控制器24可包括诸如微处理器的处理器(未具体示出),和/或其它控制电路诸如模拟和/或数字控制电路,包括本领域技术人员熟知的用于处理数据的专用集成电路(ASIC)。控制器24可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出),包括非易失性存储器,诸如电可擦除可编程只读存储器(EEPROM)。处理器可以执行一个或多个例程,以根据控制器24从相机14和激光雷达单元20接收的信号来执行用于确定关于主车辆12的区域18的3D模型的步骤,下文还将详细描述。
图2示出了由相机14捕捉或提供的图像16的非限制性示例,其包括或示出了车道标记26。如本领域技术人员所能理解的,图像16底部的车道标记26的端部相对靠近主车辆12,而顶部的端部相对远离主车辆12。可以认识到,例如存在于区域18中的其他物体的许多其它细节和特征可能呈现于图像16中,但是图2中未示出,仅仅是为了简化图示。还可以认识到,可能还存在未示出的图像中的车道标记的其他实例,并且车道标记26也可以不是实(即,连续)线,而是例如虚线,或虚线和实线的组合。
控制器24被配置为确定图像16中的车道标记26的图像位置28。作为示例而非限制,可以通过形成在图像16中检测到车道标记26的像素或坐标的列表来方便地表示车道标记26的图像位置28。对于每个车道标记,列表可以根据检测到车道标记26的第i次实例来组织,该列表可以被描述为:
L(i)=[u(i),v(i)]i=1:N 式1
其中u(i)是第i个坐标实例的垂直坐标,v(i)是第i个坐标实例的水平坐标,表示在图像16中检测到的车道标记26的图像位置28。如果相机14具有1024×768的总共786,432个像素的分辨率,列表中的条目数可能过分地大,即,分辨率可能过分地精细。作为一种替代方案,通常的方法是列出检测到的车道标记的中心或中线的像素位置(u,v),使得列表将确定或形成沿车道标记26的中心或中间的线。作为另一替代方案,像素可以被分组为例如每像素组12个像素(例如,4×3像素),使得可能的条目数为65,536,在控制器24能力有限的情形下这一数量将更加可操作。很明显,车道标记26通常仅占据图像16的一小部分。因此,检测到车道标记的实际像素数或像素组数将远小于图像16中像素或像素组的总数。当例如一个像素组中的一半或超过一半的像素表示存在车道标记26时,可以将第i个像素或像素组指定为表示或覆盖或对应于通道标记26。
图3示出了曲线图30的非限制性示例,其示出了对应于图2中的车道标记26的图像标记32、对应于图像标记32在零高度平面36上的反向透视投影的投影标记34、以及对应于车道标记26在区域18的3D模型(图4)上所处位置的模型标记38三者之间的关系,其中,零高度平面36由主车辆12的轮胎接触区域建立或限定。在这一点上,应该认识到,在可以通过将投影标记34投影到3D模型上来确定模型标记38之前,必须确定该区域的3D模型。
已经观察到,道路上车道标记的真实3-D位置与基于平坦零高度地平面的假定位置之间的差异实际上可能由于垂直曲率(例如,道路弯曲上坡或下坡)和/或水平曲率或倾斜(道路拱起,高速出口匝道等)而相当显著,这可能导致影响了主车辆12的精确控制。例如,注意到投影标记34的线随着经度值增加而逐渐发散。这是因为车道标记实际所在的实际道路向上弯曲,即具有正的垂直曲率。因此,当将平面道路作为假设前提而将图像标记32投影到零高度平面36上时,对垂直曲率的补偿不足导致投影标记34发散。
图像标记32在道路的3D模型上的投影产生模型标记38,在不失一般性的情况下其可以通过假设相机14的理想针孔模型来执行。假设相机14位于的笛卡尔坐标系(X,Y,Z)中[0,0,hc]处,其中hc为行驶表面42上方相机14的高度,并且相机14的焦距设为f,针孔相机模型用下式2和式3将第i个像素或像素组从相对世界坐标系(x,y,z)投影到图像坐标系(u,v)。
u(i)=f*{z(i)–hc}/x(i) 式2
v(i)=f*y(i)/x(i) 式3
图4示出了区域18(图1)的三维(3D)道路模型40的非限制性示例,此处为双二次模型50。为了帮助将模型标记38适配到道路(例如作为区域18的一部分的行驶表面42)的3D模型(图1),需要3D道路模型40。为了区分不适合主车辆12行驶的部分区域18和适合主车辆12行驶的部分区域18,即,区分路内区域(可能包括路肩)和路外区域以及避让物,控制器24被配置为从点云22选择表示行驶表面42的地面点44。本领域技术人员将认识到,有许多方法可以从点云22中选择哪个地面点44可能是表示行驶表面42的。作为示例而不是限制,地面点44可以是点云22中以高度值46小于高度阈值48为特征的那些点。本领域技术人员可以认识到,组成点云22的云点的各实例的高度值46可以基于由激光雷达单元20所指示的范围和到该云点的仰角来进行计算。
一旦定义了用于定义行驶表面42的地面点44,控制器24被配置成基于地面点44确定行驶表面42的3D道路模型40。给定一组M个激光雷达测量值,其中,r(k)、φ(k)和θ(k)分别为第k个激光雷达测量值的范围、仰角和方位角,路面模型可以被适配至这些测量值。典型的模型包括:平面,双线性,二次,双二次,立方和二次立方,并且还可以是这些模型的细分块(tessellated patches)。虽然基于三维道路模型40可以提供许多表面功能,但分析表明,优选的是三维道路模型对应于地面点44的双二次模型50,其可以被表示为:
其中h1是激光雷达单元20在零高度平面36上方的高度。z(k)使用以下的双二次模型来确定:
z(k)=a1+a2*x(k)+a3*y(k)+a4*x(k)^2+a5*y(k)^2+a6*x(k)*y(k)+
a7*x(k)^2*y(k)+a8*x(k)*y(k)^2+a9*x(k)^2*y(k)^2 式5
其中,假设a9为零(a9=0),以简化模型。三维道路模型40然后由一组估计的系数集合来确定,用以最适合测量数据的模型。然后通过以下方式给出直接最小二乘解:
或
或
现在给出图像标记32在相机图像平面中的行车道标记位置和行驶表面42的3D道路模型40,两者可以融合在一起以获得车道标记点的估计3-D位置。这可通过求解由3D道路模型40进行限制后的相机投影模型的非线性方程来完成。道路模型的优选实施例是由式4、式5、式6给出的双二次模型50。在下面的式7中,系数是通过求解式6而进行估计的系数。点(uk,vk)是图像平面、像素、检测车道标记的位置。然后求解车道标记检测的相应的世界坐标系坐标x(k)、y(k)、z(k),即,(xk,,yk,zk),其中
该方程组的解是一个三次多项式方程。通过求根(root finding)方法,或割线法等优化技术,该方程式可以用三次多项式的闭式解来求解。
然后可以求解式8,获得zk、xk以及yk,以提供融合/重建的车道标记的3-D位置
再次参考图3和图4,应当理解,模型标记38与3D路面模型的投影标记34的融合重建相当,在该示例中,3D路面模型是双二次模型50。也就是,模型标记38对应于实际或真实的车道标记位置。
图5示出双二次模型50,包括图像标记32、投影标记34、以及得到的双二次模型50的融合,和投影标记34,这即是一种三维车道模型58。
给定来自式8和式9的投影标记34的位置,每个车道标记的点可以被转换成曲线的更紧凑的表示。在优选实施例中,每个车道标记由独立地对水平和垂直曲率进行模拟的两个二维三次多项式52表示。即,三维道路模型40用基于车道标记26的水平曲率54和垂直曲率56的两个二维三次多项式52来表征车道标记26。例如,给定左车道标记的三维重构点{xk,yk,zk}左,则水平曲率由下式表示
其中
并且垂直曲率由下式表示
其中
也就是说,控制器24被配置为基于车道标记26的图像位置28和3D道路模型40来确定将图像16中的车道标记26映射到行驶表面42的变换60,并由此获得3D车道模型58。
因此,提供了车道模型定义系统(系统10)、用于系统10的控制器24以及操作系统10的方法。系统10提供车道标记26的图像16与行驶表面42的3D道路模型40的融合,以提供车道标记26的3D车道模型,使得能够将由行驶表面42的水平曲率54和/或垂直曲率56导致的所有实质误差考虑在内,而不是假定行驶表面42是平坦的。
尽管已经根据本发明的优选实施例描述了本发明,但是并不限制于此,而是仅在所附的权利要求书所阐述的范围内为限。
Claims (5)
1.一种适用于自动化车辆的道路模型定义系统(10),所述系统(10)包括:
相机(14),所述相机(14)用于提供主车辆(12)附近的区域(18)的图像(16);
激光雷达单元(20),所述激光雷达单元(20)用于提供描述所述区域(18)的点云(22);
以及
控制器(24),所述控制器(24)与所述相机(14)以及所述激光雷达单元(20)通信,所述控制器(24)被配置为
确定所述图像(16)中的车道标记(26)的图像位置(28),
从指示行驶表面(42)的所述点云(22)中选择地面点(44),
基于所述地面点(44)确定所述行驶表面(42)的三维(3D)道路模型(40);以及
基于车道标记(26)的所述图像位置(28)和所述3D道路模型(40)来确定将所述图像(16)中的所述车道标记(26)映射到所述行驶表面(42)的变换(60),并由此获得3D车道模型。
2.根据权利要求1所述的系统(10),其特征在于,所述地面点(44)是来自以高度值(46)小于高度阈值(48)为特征的所述点云(22)的那些点。
3.根据权利要求1所述的系统(10),其特征在于,所述3D道路模型(40)从所述地面点(44)的多项式模型导出。
4.根据权利要求3所述的系统(10),其特征在于,所述3D道路模型(40)对应于所述多项式模型的双二次模型。
5.根据权利要求1所述的系统(10),其特征在于,所述3D道路模型(40)用基于所述车道标记(26)的水平曲率(54)和垂直曲率(56)的两个2D三次多项式(52)来表征所述车道标记(26)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210266790.2A CN114596410A (zh) | 2016-09-02 | 2017-09-01 | 自动化车辆3d道路模型和车道标记定义系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/255,737 US20180067494A1 (en) | 2016-09-02 | 2016-09-02 | Automated-vehicle 3d road-model and lane-marking definition system |
US15/255,737 | 2016-09-02 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210266790.2A Division CN114596410A (zh) | 2016-09-02 | 2017-09-01 | 自动化车辆3d道路模型和车道标记定义系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107798724A true CN107798724A (zh) | 2018-03-13 |
CN107798724B CN107798724B (zh) | 2022-03-18 |
Family
ID=59738158
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710779432.0A Active CN107798724B (zh) | 2016-09-02 | 2017-09-01 | 自动化车辆3d道路模型和车道标记定义系统 |
CN202210266790.2A Pending CN114596410A (zh) | 2016-09-02 | 2017-09-01 | 自动化车辆3d道路模型和车道标记定义系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210266790.2A Pending CN114596410A (zh) | 2016-09-02 | 2017-09-01 | 自动化车辆3d道路模型和车道标记定义系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180067494A1 (zh) |
EP (1) | EP3291138A1 (zh) |
CN (2) | CN107798724B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109444916A (zh) * | 2018-10-17 | 2019-03-08 | 上海蔚来汽车有限公司 | 一种无人驾驶可行驶区域确定装置及方法 |
CN110220501A (zh) * | 2019-06-11 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于获取验证数据的方法、装置、电子设备和计算机存储介质 |
CN111104849A (zh) * | 2018-10-29 | 2020-05-05 | 安波福技术有限公司 | 运载工具的导航期间的、地图中的环境特征的自动注释 |
CN112441075A (zh) * | 2019-08-30 | 2021-03-05 | 比亚迪股份有限公司 | 轨道交通外部环境感知系统、方法和轨道交通设备 |
CN112835086A (zh) * | 2020-07-09 | 2021-05-25 | 北京京东乾石科技有限公司 | 确定车辆位置的方法和装置 |
CN113196341A (zh) * | 2018-12-13 | 2021-07-30 | 大陆汽车有限责任公司 | 用于对道路的表面上的对象进行检测和建模的方法 |
US11175149B2 (en) * | 2018-10-16 | 2021-11-16 | Samsung Electronics Co., Ltd. | Vehicle localization method and apparatus |
CN113805145A (zh) * | 2020-05-29 | 2021-12-17 | 通用汽车环球科技运作有限责任公司 | 动态激光雷达对准 |
CN113994408A (zh) * | 2019-06-14 | 2022-01-28 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11370422B2 (en) * | 2015-02-12 | 2022-06-28 | Honda Research Institute Europe Gmbh | Method and system in a vehicle for improving prediction results of an advantageous driver assistant system |
US11953599B2 (en) * | 2017-01-26 | 2024-04-09 | Mobileye Vision Technologies Ltd. | Vehicle navigation based on aligned image and LIDAR information |
WO2018180081A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | 劣化地物特定装置、劣化地物特定システム、劣化地物特定方法、劣化地物特定プログラム及び劣化地物特定プログラムを記録したコンピュータ読み取り可能な記録媒体 |
WO2020168464A1 (en) * | 2019-02-19 | 2020-08-27 | SZ DJI Technology Co., Ltd. | Local sensing based autonomous navigation, and associated systems and methods |
US20220262127A1 (en) * | 2019-07-22 | 2022-08-18 | Motherson Innovations Company Limited | Method for generating a perspective-corrected and/or trimmed overlay for an imaging system of a motor vehicle |
KR20210061069A (ko) * | 2019-11-19 | 2021-05-27 | 삼성전자주식회사 | 3차원 객체를 표시하는 방법 및 장치 |
US10867190B1 (en) | 2019-11-27 | 2020-12-15 | Aimotive Kft. | Method and system for lane detection |
CN110880202B (zh) * | 2019-12-02 | 2023-03-21 | 中电科特种飞机系统工程有限公司 | 一种三维地形模型创建方法、装置、设备及存储介质 |
CN111274976B (zh) * | 2020-01-22 | 2020-09-18 | 清华大学 | 基于视觉与激光雷达多层次融合的车道检测方法及系统 |
CN112560800A (zh) * | 2021-01-12 | 2021-03-26 | 知行汽车科技(苏州)有限公司 | 路沿检测方法、装置及存储介质 |
DE102021101133A1 (de) * | 2021-01-20 | 2022-07-21 | Valeo Schalter Und Sensoren Gmbh | Detektion eines lateralen Endes einer Fahrbahn |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161944A1 (en) * | 2007-12-21 | 2009-06-25 | Industrial Technology Research Institute | Target detecting, editing and rebuilding method and system by 3d image |
US20100121577A1 (en) * | 2008-04-24 | 2010-05-13 | Gm Global Technology Operations, Inc. | Three-dimensional lidar-based clear path detection |
WO2011160672A1 (en) * | 2010-06-21 | 2011-12-29 | Centre De Visió Per Computador | Method for obtaining drivable road area |
US20140032108A1 (en) * | 2012-07-30 | 2014-01-30 | GM Global Technology Operations LLC | Anchor lane selection method using navigation input in road change scenarios |
CN103605135A (zh) * | 2013-11-26 | 2014-02-26 | 中交第二公路勘察设计研究院有限公司 | 一种基于断面剖分的道路特征提取方法 |
US20140125671A1 (en) * | 2010-09-16 | 2014-05-08 | Borys Vorobyov | System and Method for Detailed Automated Feature Extraction from Data Having Spatial Coordinates |
CN103871102A (zh) * | 2014-03-28 | 2014-06-18 | 南京大学 | 一种基于高程点和道路轮廓面的道路三维精细建模方法 |
CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和系统 |
US20150279017A1 (en) * | 2014-03-28 | 2015-10-01 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device for vehicle |
CN105488459A (zh) * | 2015-11-23 | 2016-04-13 | 上海汽车集团股份有限公司 | 车载3d道路实时重构方法及装置 |
CN105678285A (zh) * | 2016-02-18 | 2016-06-15 | 北京大学深圳研究生院 | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 |
CN105783936A (zh) * | 2016-03-08 | 2016-07-20 | 武汉光庭信息技术股份有限公司 | 用于自动驾驶中的道路标识制图及车辆定位方法及系统 |
CN105825173A (zh) * | 2016-03-11 | 2016-08-03 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
US20160253566A1 (en) * | 2015-02-26 | 2016-09-01 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
-
2016
- 2016-09-02 US US15/255,737 patent/US20180067494A1/en not_active Abandoned
-
2017
- 2017-08-22 EP EP17187303.7A patent/EP3291138A1/en not_active Withdrawn
- 2017-09-01 CN CN201710779432.0A patent/CN107798724B/zh active Active
- 2017-09-01 CN CN202210266790.2A patent/CN114596410A/zh active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090161944A1 (en) * | 2007-12-21 | 2009-06-25 | Industrial Technology Research Institute | Target detecting, editing and rebuilding method and system by 3d image |
US20100121577A1 (en) * | 2008-04-24 | 2010-05-13 | Gm Global Technology Operations, Inc. | Three-dimensional lidar-based clear path detection |
WO2011160672A1 (en) * | 2010-06-21 | 2011-12-29 | Centre De Visió Per Computador | Method for obtaining drivable road area |
US20140125671A1 (en) * | 2010-09-16 | 2014-05-08 | Borys Vorobyov | System and Method for Detailed Automated Feature Extraction from Data Having Spatial Coordinates |
US20140032108A1 (en) * | 2012-07-30 | 2014-01-30 | GM Global Technology Operations LLC | Anchor lane selection method using navigation input in road change scenarios |
CN103605135A (zh) * | 2013-11-26 | 2014-02-26 | 中交第二公路勘察设计研究院有限公司 | 一种基于断面剖分的道路特征提取方法 |
CN103871102A (zh) * | 2014-03-28 | 2014-06-18 | 南京大学 | 一种基于高程点和道路轮廓面的道路三维精细建模方法 |
US20150279017A1 (en) * | 2014-03-28 | 2015-10-01 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device for vehicle |
CN104463935A (zh) * | 2014-11-11 | 2015-03-25 | 中国电子科技集团公司第二十九研究所 | 一种用于交通事故还原的车道重建方法和系统 |
US20160253566A1 (en) * | 2015-02-26 | 2016-09-01 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
CN105488459A (zh) * | 2015-11-23 | 2016-04-13 | 上海汽车集团股份有限公司 | 车载3d道路实时重构方法及装置 |
CN105678285A (zh) * | 2016-02-18 | 2016-06-15 | 北京大学深圳研究生院 | 一种自适应的道路鸟瞰图变换方法和道路车道检测方法 |
CN105783936A (zh) * | 2016-03-08 | 2016-07-20 | 武汉光庭信息技术股份有限公司 | 用于自动驾驶中的道路标识制图及车辆定位方法及系统 |
CN105825173A (zh) * | 2016-03-11 | 2016-08-03 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
Non-Patent Citations (5)
Title |
---|
JENS GOLDBECK 等: "Lane Detection and Tracking by Video Sensors", 《PROCEEDINGS 199 IEEE/IEEJ/JSAI INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS》 * |
MAO TIANLU 等: "An efficient lane model for complex traffic simulation", 《COMPUTER ANIMATION AND VIRTUAL WORLDS》 * |
SEUNGHAK SHIN 等: "Combinatorial approach for lane detection using image and LIDAR reflectance", 《2015 12TH INTERNATIONAL CONFERENCE ON UBIQUITOUS ROBOTS AND AMBIENT INTELLIGENCE (URAI)》 * |
刘冠宇: "基于视觉的车道线检测与车辆识别技术研究", 《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》 * |
彭红 等: "基于扩展卡尔曼滤波器的车道线检测算法", 《光电子·激光》 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11175149B2 (en) * | 2018-10-16 | 2021-11-16 | Samsung Electronics Co., Ltd. | Vehicle localization method and apparatus |
CN109444916A (zh) * | 2018-10-17 | 2019-03-08 | 上海蔚来汽车有限公司 | 一种无人驾驶可行驶区域确定装置及方法 |
CN109444916B (zh) * | 2018-10-17 | 2023-07-04 | 上海蔚来汽车有限公司 | 一种无人驾驶可行驶区域确定装置及方法 |
CN111104849B (zh) * | 2018-10-29 | 2022-05-31 | 动态Ad有限责任公司 | 运载工具的导航期间的、地图中的环境特征的自动注释 |
CN111104849A (zh) * | 2018-10-29 | 2020-05-05 | 安波福技术有限公司 | 运载工具的导航期间的、地图中的环境特征的自动注释 |
US11774261B2 (en) | 2018-10-29 | 2023-10-03 | Motional Ad Llc | Automatic annotation of environmental features in a map during navigation of a vehicle |
CN113196341A (zh) * | 2018-12-13 | 2021-07-30 | 大陆汽车有限责任公司 | 用于对道路的表面上的对象进行检测和建模的方法 |
CN110220501A (zh) * | 2019-06-11 | 2019-09-10 | 北京百度网讯科技有限公司 | 用于获取验证数据的方法、装置、电子设备和计算机存储介质 |
CN113994408A (zh) * | 2019-06-14 | 2022-01-28 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
CN112441075A (zh) * | 2019-08-30 | 2021-03-05 | 比亚迪股份有限公司 | 轨道交通外部环境感知系统、方法和轨道交通设备 |
CN113805145A (zh) * | 2020-05-29 | 2021-12-17 | 通用汽车环球科技运作有限责任公司 | 动态激光雷达对准 |
CN112835086B (zh) * | 2020-07-09 | 2022-01-28 | 北京京东乾石科技有限公司 | 确定车辆位置的方法和装置 |
CN112835086A (zh) * | 2020-07-09 | 2021-05-25 | 北京京东乾石科技有限公司 | 确定车辆位置的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN107798724B (zh) | 2022-03-18 |
CN114596410A (zh) | 2022-06-07 |
EP3291138A1 (en) | 2018-03-07 |
US20180067494A1 (en) | 2018-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107798724A (zh) | 自动化车辆3d道路模型和车道标记定义系统 | |
KR102572219B1 (ko) | 자율 주행을 위한 항법 정보의 융합 프레임워크(fusion framework) 및 배치 정렬(batch alignment) | |
CN104854637B (zh) | 移动物体位置姿态角推定装置及移动物体位置姿态角推定方法 | |
US10384679B2 (en) | Travel control method and travel control apparatus | |
CN111448478B (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
Wedel et al. | B-spline modeling of road surfaces with an application to free-space estimation | |
CN107433948A (zh) | 路径引导装置以及路径引导方法 | |
CN100524385C (zh) | 车辆用行驶划分线识别装置 | |
WO2021227645A1 (zh) | 目标检测方法和装置 | |
KR101729912B1 (ko) | 주행 중인 차량의 롤링각 평가 방법 | |
US20140267415A1 (en) | Road marking illuminattion system and method | |
CN107792069A (zh) | 车辆的行驶控制装置 | |
JP6538547B2 (ja) | 道路曲率計測装置 | |
CN108896994A (zh) | 一种无人驾驶车辆定位方法及设备 | |
CN107235044A (zh) | 一种基于多传感数据实现对道路交通场景和司机驾驶行为的还原方法 | |
CN108805934A (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN104520894A (zh) | 路旁物检测装置 | |
CN106462727A (zh) | 用于车道尽头识别的系统和方法 | |
CN109949594A (zh) | 实时的交通灯识别方法 | |
CN107241916A (zh) | 车辆的行驶控制装置以及行驶控制方法 | |
US20160214617A1 (en) | Method for determining a relative gradient of a roadway | |
CN107615201A (zh) | 自身位置估计装置及自身位置估计方法 | |
CN103136747A (zh) | 车载摄像系统及其校准方法和校准程序 | |
CN102037735A (zh) | 用于车辆照相机的照相机外在参数的自标定 | |
CN103843035B (zh) | 用于几何校准借助车辆的传感器系统形成的传感器数据的设备和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20181130 Address after: Babado J San Michaele Applicant after: Amberford Technology Co., Ltd. Address before: michigan Applicant before: Delphi Automotive Systems LLC (US) |
|
TA01 | Transfer of patent application right | ||
GR01 | Patent grant | ||
GR01 | Patent grant |