CN111052132A - 利用多个传感器的基于运动的车道检测的验证模块系统和方法 - Google Patents
利用多个传感器的基于运动的车道检测的验证模块系统和方法 Download PDFInfo
- Publication number
- CN111052132A CN111052132A CN201880055025.8A CN201880055025A CN111052132A CN 111052132 A CN111052132 A CN 111052132A CN 201880055025 A CN201880055025 A CN 201880055025A CN 111052132 A CN111052132 A CN 111052132A
- Authority
- CN
- China
- Prior art keywords
- lane
- fitted
- module
- lane marker
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 66
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012795 verification Methods 0.000 title description 9
- 239000003550 marker Substances 0.000 claims abstract description 86
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 20
- 238000004891 communication Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 238000012805 post-processing Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- JBRZTFJDHDCESZ-UHFFFAOYSA-N AsGa Chemical compound [As]#[Ga] JBRZTFJDHDCESZ-UHFFFAOYSA-N 0.000 description 1
- 229910001218 Gallium arsenide Inorganic materials 0.000 description 1
- GPXJNWSHGFTCBW-UHFFFAOYSA-N Indium phosphide Chemical compound [In]#P GPXJNWSHGFTCBW-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 229910052594 sapphire Inorganic materials 0.000 description 1
- 239000010980 sapphire Substances 0.000 description 1
- 238000004092 self-diagnosis Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3658—Lane guidance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/10—Recognition assisted with metadata
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
公开了一种用于非瞬时性计算机可读存储介质的车道检测的方法,所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令,所述指令在由计算设备执行时使所述计算设备执行以下步骤,包括:生成与以上帝视角表示的车道标记相关联的地面真值;接收来自命中图图像和拟合的车道标记中的至少一个的特征,其中,所述命中图图像包括命中车道标记的像素的分类,并且所述拟合的车道标记包括基于所述命中图图像优化的像素;以及基于所述特征和地面真值来训练置信度模块,所述置信度模块被配置为使用以弧形来表示车道标记的参数,在线确定拟合的车道标记是否合理。
Description
优先权/相关文件
本申请要求于2017年8月22日递交的美国专利申请序号15/683,441的优先权。本专利申请通过引用全文并入并要求以下于2017年8月22日递交的共同待审的专利申请的优先权,包括:(1)“Deep Module and Fitting Module System and Method for Motion-Based Lane Detection with Multiple Sensors”和(2)“Post-processing ModuleSystem and Method for Motion-Based Lane Detection with Multiple Sensors”,所有这些专利申请具有相同的发明人。
技术领域
本公开的领域总体涉及自主车辆,具体地,涉及一种用于车道检测的方法和系统。
背景技术
智能和自主车辆是改善道路安全、交通问题和乘客舒适性的具有前景的解决方案。道路车道检测或道路边界检测是道路车辆的复杂而具有挑战性的任务之一。这种检测基于车道检测,车道检测包括道路的定位、确定车辆与道路之间的相对位置、以及分析车辆的前进方向。车道标记作为公路的主要组成部分,指示自主车辆交互式地、安全地在公路上行驶。即便差分全球定位系统(GPS)已经变得可负担得起,但定位精度可能仍不够稳定。此外,控制需要根据当前视图中的车道进行精确定位。
发明内容
通过以下实施例的详细描述以及附图,本实施例的各种目的、特征、方面和优点将变得更加显而易见,附图中相似的标号表示相似的组件。
本公开的实施例提供了一种用于非瞬时性计算机可读存储介质的车道检测的方法,所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令,所述指令在由计算设备执行时使所述计算设备执行以下步骤,包括:生成与以上帝视角表示的车道标记相关联的地面真值;接收来自命中图图像和拟合的车道标记中的至少一个的特征,其中,所述命中图图像包括命中车道标记的像素的分类,并且所述拟合的车道标记包括基于所述命中图图像优化的像素;以及基于所述特征和地面真值来训练置信度模块,所述置信度模块被配置为使用以弧形来表示车道标记的参数,在线确定拟合的车道标记是否合理。
在实施例中,生成地面真值包括:通过使用所述参数注释车道标记来生成标注的车道标记。
在另一实施例中,所述方法还包括:使用所述地面真值来训练车道检测算法;以及基于车道检测算法来生成针对当前视图的命中图图像。
在又一实施例中,所述方法还包括:基于所述命中图图像和车道模板来生成拟合的车道标记,所述车道模板包括紧邻当前视图之前的视图的特征。
在又一实施例中,生成拟合的车道标记包括:基于先验知识或约束来优化所述车道模板以获得局部最优。
在又一实施例中,所述方法还包括:使用所述参数来确定拟合的车道标记的置信度水平是合理的;以及输出拟合的车道标记作为预测的车道标记。
在又一实施例中,所述方法还包括:将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及当比较结果表明拟合的车道标记与所述地面真值不匹配时,确定与拟合的车道标记相关联的失败模式。
在又一实施例中,所述方法还包括:使用所述参数来确定拟合的车道的置信度水平是不合理的;以及拒绝拟合的车道标记。
在又一实施例中,所述方法还包括:将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及当比较结果表明拟合的车道标记与所述地面真值匹配时,确定与拟合的车道标记相关联的失败模式。
在又一实施例中,所述方法还包括:通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
本公开的一些实施例还提供了一种用于车道检测的系统。所述系统包括互联网服务器,所述互联网服务器包括:I/O端口,被配置为向客户端设备发送电信号和从客户端设备接收电信号;存储器;一个或多个处理单元;以及一个或多个程序,所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理单元执行,所述一个或多个程序包括用于执行以下操作的指令:生成与以上帝视角表示的车道标记相关联的地面真值;接收来自命中图图像和拟合的车道标记中的至少一个的特征,其中,所述命中图图像包括命中车道标记的像素的分类,并且所述拟合的车道标记包括基于所述命中图图像优化的像素;以及基于所述特征和地面真值来训练置信度模块,所述置信度模块被配置为使用以弧形来表示车道标记的参数,在线确定拟合的车道标记是否合理。
附图说明
应注意,附图可能是简化形式,并且可能不是精确比例。参考这里的公开,仅出于方便和清楚的目的,关于附图使用诸如顶、底、左、右、上、下、之上、上方、之下、下方、后、前、远和近的方向性术语。这样的方向性术语不应以任何方式被解释为限制实施例的范围。
图1是根据实施例的用于在线车道检测的系统的框图;
图2A是由图1所示的学习模块生成的示例性命中图图像的图;
图2B是由图1所示的运动模块基于先前视图生成的用于车道标记的示例性车道模板的图;
图2C是根据实施例的以上帝视角表示的车道标记的示意图;
图2D是由图1所示的拟合模块针对当前视图生成的拟合的车道标记的示例性图像的图;
图3是示出根据一些实施例的支持图1所示的在线车道检测系统的方法的示意图;
图4A是根据一些实施例的用于细化图1所示的置信度模块的系统的示意性框图;
图4B是示出根据一些实施例的细化图1所示的置信度模块的方法的流程图;
图5是示出根据一些实施例的图1所示的系统中的置信度模块的功能的图;
图6是示出根据实施例的在线车道检测的方法的流程图;
图7是示出根据实施例的支持在线车道检测的方法的流程图;以及
图8是根据一些实施例的用于车道检测的系统的框图。
具体实施方式
现在可以通过转向实施例的以下详细描述来更好地理解实施例及其各种实施例,所述实施例作为权利要求中限定的实施例的所示示例来呈现。应当清楚地理解,由权利要求书限定的实施例可以比下面描述的所示实施例更宽。
在所描述的实施例中的任何改变和修改,以及在本文中描述的原理的任何进一步的应用被认为是与本公开内容相关的本领域普通技术人员通常会想到的。以下描述了组件和布置的特定示例以简化本公开。当然,这些仅仅是示例,而无意于是限制性的。例如,当元件被称为“连接到”或“耦合到”另一个元件时,它可以直接连接到或耦合到该另一个元件,或者可以存在中间元件。
在附图中,为了清楚和方便,可能放大了形状和厚度。本说明书将特别针对形成根据本公开的设备的一部分或与之直接协作的元件。应当理解,未具体示出或描述的元件可以采用各种形式。在整个说明书中,对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。
在附图中,附图不一定是按比例绘制的,并且在某些情况下,出于示意目的,附图在某些地方被放大和/或简化。基于本公开的以下示意性实施例,本领域的普通技术人员将理解本公开的许多可能的应用和变化。
在整个说明书中,短语“在一个实施例中”或“在实施例中”在各个地方的出现不一定都指相同实施例。此外,在一个或多个实施例中,可以以任何合适的方式组合特定的特征,结构或特性。应当理解,以下附图未按比例绘制;相反,这些附图仅预期用于示意。
应当理解,单数形式的“一(a)”、“一(an)”和“该(the)”也意图包括复数形式,除非上下文另外明确指出。此外,相对术语,例如“底”和“顶”,在本文中可以用来描述如图所示的一个元件与其他元件的关系。
除非另有定义,本文中使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常所理解的相同含义。还将理解的是,术语(诸如在常用词典中定义的术语)应被解释为具有与其在相关领域和本公开的上下文中的含义一致的含义,并且不在理想化的或过于正式的意义上进行解释,除非在本文中明确这样定义。
本领域普通技术人员可以在不脱离实施例的精神和范围的情况下做出许多改变和修改。因此,必须理解,仅出于示例的目的阐述了所示实施例,并且不应将其视为限制如所附权利要求所限定的实施例。例如,尽管以下以某种组合阐述了权利要求的元素,但是必须明确地理解,实施例包括更少、更多或不同元素的其他组合,这些组合也被公开,即使最初未以这样的组合来要求保护。
本说明书中用于描述实施例及其各种实施例的词语不仅要在其通常定义的含义的意义上理解,而且要通过在本说明书中的特殊定义而包括超出通常定义的含义的范围的结构、材料或动作。因此,如果元素可以在本说明书的上下文中被理解为包括多于一个的含义,则必须将其在权利要求中的使用理解为对说明书和词语本身所支持的所有可能含义而言是上位的。
因此,所附权利要求的词语或元素的定义不仅包括从字面上阐述的元素的组合,而且包括用于以基本上相同的方式执行基本上相同的功能以获得基本上相同的结果的所有等效结构、材料或动作。
因此,在这个意义上,想到可以将以下权利要求中的任何一个元素等同替换为两个或更多元素,或者可以将权利要求中的两个或更多元素替换为单个元素。尽管以上可以将元素描述为以某些组合来动作并且甚至最初如此要求保护,但是应当明确地理解,在某些情况下,来自所要求保护的组合的一个或多个元素可以从该组合中删除,并且要求保护的组合可以涉及子组合或子组合的变体。
现在参考附图,其中,贯穿附图,相似的标号表示相似的部分。
如本文所使用的,术语“无线”是指到设备或在多个设备之间的无线通信。根据商业、场所、活动或博物馆的需要,无线设备可以固定在某个位置和/或硬连线到电源系统。在一个实施例中,可以使无线设备能够连接到互联网,但是不需要向和从互联网传送数据以便在无线信息通信和传送系统内进行通信。
如本文所使用的,术语“智能电话”或“智能手机”或“移动设备”或“蜂窝电话”或“手机”或“移动电话”等是指无线通信设备,包括但不限于:集成电路(IC)、芯片组、芯片、片上系统,包括低噪声放大器、功率放大器、专用集成电路(ASIC)数字集成电路、收发器、接收器或发送器、动态、静态或非瞬时性存储设备、一个或多个计算机处理器以处理例如从和向互联网、其他无线设备接收和发送的信号,并提供无线信息通信和传送系统内的通信,包括发送、广播和接收信息、信号数据、位置数据、总线、用于发送和接收信号的天线以及电源,例如可充电电池或功率存储单元。芯片或IC可以在从例如硅、蓝宝石、磷化铟或砷化镓晶片切割的“裸片”上构造(“制造”)。IC可以是例如芯片上的模拟的或数字的或其混合组合。此外,数字集成电路可以在仅占几毫米的正方形区域上包含从1到数千或数百万个信号反相器以及逻辑门,例如“与”、“或”、“与非”和“或非”门、触发器、复用器等。与更复杂的板级集成相比,例如IC的小尺寸使这些电路能够提供高速运算、低功率耗散和降低的制造成本。
如本文所使用的,术语“无线”、“无线数据传送”、“无线跟踪和定位系统”、“定位系统”和“无线定位系统”是指但不限于使用一个或多个设备(例如,无线通信设备)传送数据或通信或广播消息的任何无线系统,该通信可以包括位置坐标或其他信息。
如本文所使用的,术语“模块”是指但不限于已经被添加、下载、更新、传送或原始作为辅助或提供计算能力的较大计算或收发器系统的一部分的任何软件、软件程序、固件或实际硬件或其组合,其中计算能力包括但不限于辅助或提供命令或消息的通信广播的逻辑功能,该通信可以包括位置坐标或一个或多个设备之间或向一个或多个设备(例如无线通信设备)的通信。
在根据本公开的一些实施例中,提供了一种非瞬时性(即非易失性)计算机可读存储介质。非瞬时性计算机可读存储介质存储有一个或多个程序。当程序由计算设备(即,车辆的一部分)的处理单元执行时,使计算设备执行根据本公开的一些实施例的以下阐述的特定操作。
在一些实施例中,如图8中所示,非瞬时性存储计算机可读存储介质的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。在某些实施例中,术语“非瞬时性”可以指示存储介质不是实现在载波或传播的信号中。在一些实施例中,非瞬时性存储介质可以存储可以随时间改变的数据(例如,在RAM或高速缓存中)。
在根据本公开的一些实施例中,在操作中,例如由智能电话76(参见图8)根据用户的请求将客户端应用发送到计算设备。例如,第一客户端设备76可以是从计算机服务器下载应用的智能电话。在操作中,该应用安装在车辆上。因此,用户可以通过计算设备执行特定功能,如校准传感器和时间同步、以及例如发送和接收用于数据对齐目的的校准文件。
图1是根据实施例的用于在线车道检测的系统10的框图。参考图1,系统10包括学习模块11、拟合模块12、验证模块15和后处理模块18。
学习模块11被配置为基于用于车道检测的功能或算法,响应于当前视图的原始图像101来生成命中图(hit-map)图像102。原始图像101由安装在车辆上的传感器提供,传感器可以包括至少一个相机、光检测和测距(LiDAR)传感器、惯性测量单元(IMU)模块161、全球定位系统(GPS)模块162和地图构建(MAP)模块164。另外,在实施例中,原始图像101可以包括由至少一个相机捕捉的RGB图像和由LiDAR生成的点云。车道检测算法可以以描述实时原始图像101和命中图图像102之间的关系的一组参数来表示。此外,可以通过将参考图3详细讨论的离线机器学习过程23(图3)来实现车道检测算法。此外,可以通过将参考图3讨论的测试过程24(图3)来细化车道检测算法。命中图图像102表示命中车道标记的像素的分类。图2A是由学习模块11生成的示例性命中图图像102的图。
拟合模块12被配置为响应于来自学习模块11的命中图图像102和来自处理模块18的车道模板180来生成针对当前视图的拟合的车道标记。在本实施例中,在IMU模块161、GPS模块162和MAP模块163的帮助下,车道标记以上帝视角(god's view)表示,这意味着当以包括系统10的汽车为原点时,汽车的朝向是y坐标,而汽车的垂直方向是x坐标。在一个实施例中,拟合模块12基于命中图图像102来优化车道模板180中的点以获得局部最优。车道模板180表示紧邻当前视图之前的、已经由处理模块18处理的视图的图像。因此,车道模板180包括先前视图的特征,并且可以包括来自后处理模块18的附加特征(如果有)。此外,车道模板180用于提高拟合模块12的拟合速度和精度,从而促进下一车道模板的精度。在拟合过程中,拟合模块12可以使用但不限于道路的以下先验知识(prior)或约束:
(1)公路上的车道标记彼此平行;
(2)公路上的车道的曲率的形状是圆形;
(3)公路上的车道的曲率小于大约三百(300)米;
(4)公路上的相邻车道之间的车道间距范围在大约三和四(3~4)米之间,例如,大约3.75米;以及
(5)车道标记的边缘处的颜色与公路上没有车道标记的其他部分的颜色不同。
这些和其他先验知识和约束促进拟合模块12中的优化过程。此外,如图1的本实施例中那样,提供与先前视图相关联的车道模板,进一步促进拟合模块12中的优化过程。
验证模块15被配置为确定来自拟合模块12的拟合结果是否合理。验证模块15包括过滤模块151和置信度模块152。过滤模块151被配置为基于先验知识和约束去除车道标记的不正确或不合理的拟合线。置信度模块152被配置为确定每个拟合的车道标记的置信度水平。拟合的车道标记的置信度促进处理模块18中的自我诊断。置信度模块152中采用的功能或参数可以通过将参考图4A详细讨论的离线置信度训练过程35(图4A)来实现。
后处理模块18被配置为输出当前视图的图像,并生成用于下一视图的车道模板。后处理模块18包括用于车道标记的参数化模块181、扩展模块182和运动模块183,所有这些都促进车道检测算法的优化。参数化模块181被配置为将拟合的车道标记拟合到例如圆弧中,得到预测图像188。因此,车道检测算法包括以弧形来表示车道标记的一组参数。另外,验证模块15基于用于车道标记的参数,确定来自拟合模块12的拟合的车道标记是否合理。预测图像188被发送到用于上运动规划的控制系统(未示出)。
扩展模块182被配置为基于先验知识和约束来扩展拟合的车道标记。在一个实施例中,扩展拟合的车道标记包括增加车道模板180中的拟合的车道标记的数量。例如,对于包含针对当前视图的两个拟合的车道标记的车道模板,通过添加另外两个拟合的车道标记,下一车道模板包含针对下一视图的四个拟合的车道标记。利用关于拟合的车道标记的附加信息,有效地提高了拟合模块12的拟合速度和精度。备选地,扩展模块182被配置为基于高清晰度(HD)地图来扩展拟合的车道标记。处理模块18将与当前视图相关联的车道模板180发送给拟合模块12,以用于下一视图的车道检测。
运动模块183利用来自IMU模块161、GPS模块162和MAP模块163的信息160,并且基于来自参数化模块181和扩展模块182中的至少一个的处理结果,来生成车道模板180。在一个实施例中,IMU模块161、GPS模块162和MAP模块163被配置为提供关于正在检测的车道的信息。运动模块183被配置为以上帝视角或鸟瞰视角表示来自参数化模块181和扩展模块182中的至少一个的车道标记结果,并且使用来自IMU模块161、GPS模块162和MAP模块163的信息,获得更精确的车道标记,该更精确的车道标记然后用作与先前视图相关联的车道模板180。
在一个实施例中,GPS模块162提供关于车道宽度、车道数量和车道曲率中的至少一个的地理位置信息。另外,IMU模块161提供关于车辆姿态的信息。车辆的姿态是用于车道检测的必要信息,特别是在一些实施例中,根据本发明的车道检测算法是在上帝视角下建立的,这意味着精确的车辆姿态和视角变换矩阵是有利的。另外,IMU模块161提供车辆的速度的信息。因此,车辆可以在检测到的车道图上移动,并且可以获得更好的车道模板以用于下一视图的车道检测。可以使用同时定位和地图构建(SLAM)的MAP模块163促进自主汽车创建其周围的地图,并在该地图内实时地正确定向自主汽车本身。利用来自IMU模块161、GPS模块162和MAP模块163的信息160以及来自运动模块183的车道模板180,有效地在系统10中减少了运行时间并且改善了检测结果。
图2B是由运动模块183基于先前视图生成的用于车道标记的示例性车道模板180的图。参考图2B,在车道模板180中存在四个车道标记CL1、CL2、EL1和EL2。在先前视图中,可能仅存在两个中央车道标记CL1和CL2。扩展模块182通过针对先前视图增加EL1和EL2来扩展车道标记,从而得到四个车道标记CL1、CL2、EL1和EL2。随后,运动模块183以上帝视角处理具有四个车道标记CL1、CL2、EL1和EL2的先前视图的图像帧,以提高精度。图2C是根据一个实施例的以上帝视角表示的车道标记CL1、CL2、EL1和EL2的示意图。
图2D是由拟合模块12针对当前视图生成的拟合的车道标记的示例性图像120的图。基于图2A所示的命中图图像102和图2B所示的车道模板180,生成的拟合的车道标记CL1、CL2、EL1和EL2′的图像120。借助于来自后处理模块18的车道模板180,可以预期比在没有任何车道模板的情况下生成的更好的拟合结果。另外,预期图像120比车道模板180更精确。例如,参考图2D,图像120中的车道标记EL2′比车道模板180中的车道标记EL2更精确(看起来更像一条直线)。然后,更好拟合的图像120在验证模块15中通过置信度检查时,用作运动模块183用于生成针对下一视图的新车道模板的基础。生成更好的车道模板和更好拟合的车道标记结果的迭代过程促进更鲁棒和可靠的车道检测算法。而且,如将进一步讨论的,如果拟合的车道标记未通过置信度检查或预测图像188未通过测试检查,则对车道检测算法进行细化,这也导致更鲁棒和可靠的车道检测算法。
车道检测系统10使得可以利用包括IMU、GPS和MAP在内的多个传感器,并利用来自这些传感器的信息。然而,由于没有这种用于车道检测的算法是建立在上帝视角下,因此一些现有方法可能无法实现本公开的期望效果。此外,在系统10中,可以使用来自GPS、IMU和HD地图的许多先验知识。例如,在当前位置处的实际车道宽度可用的情况下,可以针对下一视图生成更精确的车道模板,这显著加速了置信度模块152和车道检测算法的优化。其他先验知识,例如车道的曲率和车道的数量,也促进优化过程。在一些实施例中,拟合模块12可以被配置为基于包括来自GPS的信息在内的先验知识来优化与先前视图相关联的车道模板。而且,验证模块15的过滤模块151可以被配置为基于包括来自GPS的信息在内的先验知识来排除拟合的车道标记的不正确拟合线。
图3是示出了根据一些实施例的支持图1所示的在线车道检测系统10的方法20的示意图。方法20可以离线执行。参考图3,方法20包括数据收集21、注释22、机器学习23和测试24的操作。
数据收集21通过传感器收集数据。传感器可以包括例如LiDAR、至少一个相机、IMU模块、GPS模块和MAP模块。在数据收集之前,执行数据对齐,包括传感器校准和时间同步。车辆配备有多个互补的传感器,这些传感器需要校准才能在公共坐标系中表示感测到的信息。LiDAR传感器和相机可以安装在车辆的车顶上。LiDAR传感器在工业和机器人应用中已变得越来越普遍。LiDAR传感器由于其直接距离测量和高精度而特别令人期望。在根据本公开的实施例中,LiDAR传感器配备有许多以变化的角度同时旋转的波束,例如64波束旋转LiDAR。多波束LiDAR提供的数据至少比单波束LiDAR至少多一个数量级,并在地图构建、对象检测和识别、场景理解以及同时定位和地图构建(SLAM)中实现了新的应用。
根据本公开的实施例中的惯性导航模块包括全球导航卫星系统(GNSS)-惯性测量单元(IMU)模块或IMU-全球定位系统(GPS)模块。GNSS卫星信号用于校正或校准来自IMU的解决方案。将GNSS与IMU一起使用的好处是可以通过GNSS信号对IMU进行校准,并且IMU可以以比GNSS更快的速度提供位置和角度更新。对于高动态车辆,IMU填补了GNSS位置之间的空白。此外,GNSS可能会丢失其信号,并且IMU可以在丢失GNSS信号期间继续计算位置和角度。这两个系统是互补的,并且经常一起使用。通常首选由IMU和GPS组成的集成导航系统,因为在易于接收信号不良或受多径影响的区域中,对仅GPS导航器的依赖性降低。集成系统的性能在很大程度上取决于IMU的质量和集成方法。考虑到高等级IMU的限制使用及其相关价格,低成本IMU已成为用于民用导航目的的首选。基于MEMS的惯性传感器由于其体积小、成本低,使民用陆地车辆导航的发展成为可能。
传感器之间的数据对齐包括校准相机的固有参数,以及校准相机、LiDAR和惯性导航模块之间的外部参数。在一个实施例中,预先使用监督方法来校准每个波束的固有参数。此外,LiDAR扫描以扫掠形式收集。扫掠定义为LiDAR传感器从0度旋转到360度的扫描范围。此外,假设LiDAR运动的角速度和线速度是恒定的,可以校正扫掠内的运动失真。
假定环境通常是静态的并且包含一些3D特征,即,它不仅是平滑的地面。为了实现精确校准,当车辆经过一系列已知的姿态转换时,记录LiDAR测量。全局姿态信息是无关紧要的,因为没有现有的地图,因此仅需要局部姿态信息。可以以任何多种方式来获取局部姿态数据,例如,从车轮编码器和IMU、从集成的GPS/IMU系统,或从具有实时校正的GPS系统。
除了校准和变换之外,还实现LiDAR传感器、相机和惯性导航模块之间的时间同步。具体地,实现LiDAR传感器与惯性导航模块之间、惯性导航模块与相机之间、以及LiDAR传感器与相机之间的时间同步。
在数据对齐之后,这些传感器用于收集环境中的数据。在一个实施例中,环境的图像由相机以大约30Hz捕捉。LiDAR扫描以大约20Hz的扫掠形式收集。惯性导航模块以大约50Hz的频率在“东北天”(ENU)坐标中收集包括位置和朝向在内的车辆姿态。
在注释22的操作中,通过例如年度注释,用车道标记来标注收集的数据。标注的车道标记或标注的数据201(指示是否存在车道标记)用作地面真值以输入到使用例如卷积神经网络(CNN)进行深度模块训练的机器学习过程23以及输入到测试过程24进行测试。标注的车道标记201用于在机器学习过程23期间训练车道检测算法,得到一组参数以用于学习模块11用以生成参考图1描述和示出的命中图图像102。此外,在测试过程24中,将系统10的预测图像188与标注的车道标记201进行比较,以确定预测图像188是否正确。如果测试24表明预测图像188不正确或不合需要,则在操作25中细化置信度模块152,或者在操作26中细化车道检测算法,或者两者都细化。置信度模块152可以被训练和细化,如将参考图3A进一步讨论的。为了细化置信度模块152或车道检测算法,输入更多的标注数据201,以确定什么场景导致置信度模块152或车道检测算法在测试过程24中失败。此外,有更多的标注数据201输入,优化了从机器学习过程23得到的参数。因此,参考图1描述和示出的学习模块11可以由于参数的优化而进行细调。此外,验证模块15或更具体地其置信度模块152被细化。而且,车道检测算法可以例如在组织上被细化并变得优化。
图4A是根据一些实施例的细化图1所示的置信度模块152的系统30的示意性框图。
参考图4A,系统30包括置信度训练模块35,其可以被认为是机器学习系统。置信度训练模块35被配置为通过使用标注的车道标记201来训练来自学习模块11和拟合模块12中至少一个的特征,从而生成用于置信度模块152中的置信度评估的功能或算法。另外,如先前参考图3所讨论的,利用关于标注的车道标记201的更多信息,可以通过置信度训练模块35中的训练过程来细化置信度模块152。而且,由于可以通过关于标注的车道标记201的附加信息来细化学习模块11,因此,可以通过训练过程来细化置信度模块152。另外,由于拟合模块12可以由于学习模块11被细化而被细化,置信度模块152可以相应地通过训练过程而被细化。
此外,置信度训练模块35被配置为确定与拟合的车道标记相关联的失败模式。通过分析失败模式,可以探索各种失败事件的特征。失败事件可以包括来自拟合模块12的不正确或不合理的拟合的车道标记。分析结果因此可以用于优化置信度模块152和车道检测算法。分析结果可以自动或手动指示。
因此,对于在线操作,如果来自置信度模块152的拟合的车道标记的置信度落入或超过预定阈值,则置信度模块152输出拟合的车道标记以用于预测车道的线或标记。相反,如果来自置信度模块152的拟合的车道标记的置信度落在预定阈值之后,则拟合的车道标记被拒绝。对于离线训练,将来自置信度模块152的拟合的车道标记的置信度与地面真值进行比较。如果置信度与地面真值不匹配,则识别失败事件,然后对其进行分析以确定失败模式,以细化置信度模块152。
图4B是示出根据一些实施例的细化图1所示的置信度模块152的方法32的流程图。
参考图4B以及图4A,在操作321中,接收来自学习模块11或拟合模块12中的至少一个的特征。
接下来,在操作323中,通过使用标注的数据201在置信度训练模块35中训练所述特征。
在操作325中,基于所述特征和标注的数据201来确定失败模式。
此外,在操作327中,生成用于描述车道标记的置信度的一组参数。这组参数用作置信度模块152中用于置信度评估的算法。
此外,通过将关于标注的数据201的附加信息提供给置信度训练模块35,可以细化或优化置信度模块152。而且,利用关于标注的数据201的附加信息,可以细化学习模块11,并且进而可以通过训练过程相应地细化或优化置信度模块152。另外,由于拟合模块12可以由于学习模块11被细化而被细化,因此可以通过训练过程来细化或优化置信度模块152。
图5是示出根据一些实施例的图1所示的系统10中的置信度模块152的功能的图。
参考图5,作为图4A的训练过程的结果,置信度模块152被应用于图1所示的系统10中的在线车道检测。在本实施例中,置信度模块152确定来自学习模块11或拟合模块12中的至少一个的特征的置信度,并生成检测结果的置信度150。在置信度检查中,置信度模块152基于用于以弧形来表示车道标记的参数来确定来自拟合模块12的拟合的车道标记是否合理。在一个实施例中,将置信度150提供给图3中描述和示出的测试模块24,以确定是否应细化置信度模块152。例如,如果预测的车道标记的置信度150相对强,而测试表明标注的数据201与预测的车道标记之间的显著差异,则可以确定置信度模块152或其用于置信度评估的相关算法需要细化。此外,例如,相反地,如果预测的车道标记的置信度150相对较弱,而测试表明标注的数据201与预测的车道标记之间没有显著差异,则可以确定确定置信度模块152或其用于置信度评估的相关算法需要细化。
图6是示出根据实施例的在线车道检测的方法50的流程图。
参考图6,在操作51中,获得与当前视图相关联的车道标记。车道标记是以上帝视角表示的。
在操作52中,接收与先前视图关联的车道模板。还参考图1,车道模板由运动模块183生成以用于车道标记。
接下来,在操作53中,还参考图1,通过使用来自IMU模块、GPS模块和MAP模块的信息,基于来自学习模块11的命中图图像102,对车道模板进行优化,以获得与当前视图相关联的拟合的车道标记的局部最优。
在操作54中,使用以弧形来表示车道标记的参数来确定拟合的车道标记的置信度。还参考图1,置信度模块152确定拟合的车道标记的置信度。
在操作55中,例如由图1的参数化模块18使用所述参数来生成预测的车道标记。
在操作56中,运动模块183使用所述参数来生成与当前视图关联的车道模板。
随后,在操作57中,与当前视图关联的车道模板被馈送到图1的拟合模块12,以用于下一视图的车道检测。
图7是示出根据实施例的支持在线车道检测的方法60的流程图。
参考图7,在操作61中,通过使用包括IMU模块、GPS模块和MAP模块的传感器在环境中收集数据。
接下来,在操作62中,生成地面真值。还参考图2,所收集的数据用以上帝视角表示的车道标记来注释,以生成用作地面真值的标注的数据。
在操作63中,通过使用地面真值,在机器学习过程中训练车道检测算法。
在操作64中,将根据车道检测算法生成的预测的车道标记与地面真值进行比较。然后在操作65中,比较结果确定由置信度模块使用以弧形来表示车道标记的参数确定的置信度是否合理。
随后在操作66中,可以通过例如向标注的数据添加附加信息来细化车道检测算法。备选地,在操作67中,可以通过附加信息来细化置信度模块。在一个实施例中,车道检测算法和置信度模块均被细化或优化。
图8是根据一些实施例的用于车道检测的系统70的框图。
参考图8,系统70包括:处理器71、计算机服务器72、网络接口73、输入和输出(I/O)设备75、存储设备77、存储器79以及总线或网络78。总线78将网络接口73、I/O设备75、存储设备77和存储器79耦合到处理器71。
因此,处理器71被配置为使计算机服务器72(例如,互联网服务器)能够执行本文公开的特定操作。要注意的是,本文描述的操作和技术可以至少部分地以硬件、软件、固件或其任何组合来实现。例如,所描述的实施例的各个方面,例如处理器71、计算机服务器72等,可以在一个或多个处理单元(包括一个或多个微处理单元、数字信号处理单元(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或离散逻辑电路以及这些组件的任何组合)内实现。
术语“处理单元”或“处理电路”通常可以指代单独或与其他逻辑电路或任何其他等效电路组合的任何前述逻辑电路。包括硬件的控制单元还可以执行本公开的技术中的一个或多个。
在根据本公开的一些实施例中,计算机服务器72被配置为利用I/O端口75经由诸如无线网络之类的网络78与外部设备通信。在某些实施例中,I/O端口75是网络接口组件,例如以太网卡、光收发器、射频收发器或可以从互联网发送和接收数据的任何其他类型的设备。网络接口的示例可以包括移动计算设备中的3G和无线电以及USB。无线网络的示例可以包括和3G。在一些实施例中,互联网服务器72被配置为利用I/O端口75与客户端设备76无线通信,该客户端设备76例如是移动电话、平板PC、便携式笔记本电脑或具有互联网连接性的任何其他计算设备。相应地,电信号在计算机服务器72和客户端设备76之间传输。
在根据本公开的一些实施例中,计算机服务器72是能够执行常规服务器具有的任何功能的虚拟服务器。在某些实施例中,计算机服务器72是系统70的另一客户端设备。换句话说,对于系统70可能没有集中式主机,并且系统中的客户端设备76被配置为直接彼此通信。在某些实施例中,这样的客户端设备76在对等(P2P)的基础上彼此通信。
处理器71被配置为执行程序指令,该程序指令包括工具模块,该工具模块被配置为执行参考图4B、图6和图7所描述和示出的方法。相应地,在根据参考图4B描述和示出的方法30的实施例中,工具模块被配置为执行以下操作,包括:接收来自学习模块或拟合模块中的至少一个的特征;通过使用标注的数据在置信度训练模块中训练所述特征;基于所述特征和标注的数据来确定失败模式;以及生成用于描述车道标记的置信度的一组参数。
在另一个实施例中,根据参考图6描述和示出的方法50,工具模块被配置为执行以下操作,包括:获得与当前视图相关联的以上帝视角表示的车道标记;接收与先前视图相关联的车道模板;通过使用来自IMU模块、GPS模块和MAP模块的信息,基于来自学习模块的命中图图像对车道模板进行优化,以获得与当前视图相关联的拟合的车道标记的局部最优;使用以弧形来表示车道标记的参数来确定拟合的车道标记的置信度;使用所述参数生成预测的拟合的车道标记;使用所述参数,通过运动模块生成与当前视图相关联的车道模板以用于车道标记;以及馈送与当前视图相关联的车道模板以用于下一视图的车道检测。
在又一个实施例中,根据参考图7所描述和示出的方法60,工具模块被配置为执行以下操作,包括:通过使用包括IMU模块、GPS模块和MAP模块的传感器在环境中收集数据;以及通过对以上帝视角表示的车道标记进行注释来生成地面真值;通过使用地面真值在机器学习过程中训练车道检测算法;将预测的车道标记与地面真值进行比较;使用以弧形来表示车道标记的参数确定预测的车道标记的置信度;确定与车道检测相关联的失败模式;响应于失败模式,细化检测算法或细化置信度模块或两者。
网络接口73被配置为访问程序指令和通过网络(未示出)远程存储的由程序指令访问的数据。
I/O设备75包括输入设备和输出设备,该输入设备和输出设备被配置为使得用户能够与系统70交互。在一些实施例中,输入设备包括例如键盘、鼠标和其他设备。此外,输出设备包括例如显示器、打印机和其他设备。
存储设备77被配置为存储程序指令和由程序指令访问的数据。在一些实施例中,存储设备77包括例如磁盘和光盘。
存储器79被配置为存储要由处理器71执行的程序指令和由该程序指令访问的数据。在一些实施例中,存储器79包括随机存取存储器(RAM)和/或一些其他易失性存储设备和/或只读存储器(ROM)和/或一些其他非易失性存储设备,包括其他可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存、硬盘、固态驱动器(SSD)、致密光盘ROM(CD-ROM)、软盘、盒式磁带、磁介质、光学介质或其他计算机可读介质。在某些实施例中,存储器79被合并到处理器71中。
因此,已经公开了特定的实施例和应用。然而,对本领域技术人员显而易见的是,在不背离本文所公开的概念的情况下,除了已经描述之外,还可以进行许多更多修改。因此,除了所附权利要求的精神之外,实施例不受限制。此外,在解释说明书和权利要求时,应以与上下文一致的最宽可能方式解释所有术语。特别地,术语“包括”和“包含”应被解释为以非排他性的方式指代元件、组件或步骤,指示所引用的元件、组件或步骤可以存在、利用或与其他未明确引用的元件、组件或步骤组合。如本领域普通技术人员所见的对所要求保护的主题的非实质性变化,无论现在已知或以后想到的,被明确地认为在权利要求的范围内是等同的。因此,本领域普通技术人员现在或以后所知的明显替代被定义为在所定义元素的范围内。因此,权利要求应被理解为包括以上具体示出和描述的内容、概念上等同的内容、可以明显替换的内容以及本质上包含实施例的基本思想的内容。
Claims (20)
1.一种用于非瞬时性计算机可读存储介质的车道检测的方法,所述非瞬时性计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令在由计算设备执行时使所述计算设备执行以下步骤,包括:
生成与以上帝视角表示的车道标记相关联的地面真值;
接收来自命中图图像和拟合的车道标记中的至少一个的特征,其中,所述命中图图像包括命中车道标记的像素的分类,并且所述拟合的车道标记包括基于所述命中图图像优化的像素;以及
基于所述特征和地面真值来训练置信度模块,所述置信度模块被配置为使用以弧形来表示车道标记的参数,在线确定拟合的车道标记是否合理。
2.根据权利要求1所述的方法,其中,生成地面真值包括:
通过使用所述参数注释车道标记来生成标注的车道标记。
3.根据权利要求1所述的方法,还包括:
使用所述地面真值来训练车道检测算法;以及
基于车道检测算法来生成针对当前视图的命中图图像。
4.根据权利要求3所述的方法,还包括:
基于所述命中图图像和车道模板来生成拟合的车道标记,所述车道模板包括紧邻当前视图之前的视图的特征。
5.根据权利要求4所述的方法,其中,生成拟合的车道标记包括:
基于先验知识或约束来优化所述车道模板以获得局部最优。
6.根据权利要求1所述的方法,还包括:
使用所述参数来确定拟合的车道标记的置信度水平是合理的;以及
输出拟合的车道标记作为预测的车道标记。
7.根据权利要求6所述的方法,还包括:
将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及
当比较结果表明拟合的车道标记与所述地面真值不匹配时,确定与拟合的车道标记相关联的失败模式。
8.根据权利要求1所述的方法,还包括:
使用所述参数来确定拟合的车道的置信度水平是不合理的;以及
拒绝拟合的车道标记。
9.根据权利要求8所述的方法,还包括:
将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及
当比较结果表明拟合的车道标记与所述地面真值匹配时,确定与拟合的车道标记相关联的失败模式。
10.根据权利要求1所述的方法,还包括:
通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
11.一种用于车道检测的系统,所述系统包括:
互联网服务器,所述互联网服务器包括:
I/O端口,被配置为向客户端设备发送电信号和从客户端设备接收电信号;
存储器;
一个或多个处理单元;以及
一个或多个程序,所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理单元执行,所述一个或多个程序包括用于执行以下操作的指令:
生成与以上帝视角表示的车道标记相关联的地面真值;
接收来自命中图图像和拟合的车道标记中的至少一个的特征,其中,所述命中图图像包括命中车道标记的像素的分类,并且所述拟合的车道标记包括基于所述命中图图像优化的像素;以及
基于所述特征和地面真值来训练置信度模块,所述置信度模块被配置为使用以弧形来表示车道标记的参数,在线确定拟合的车道标记是否合理。
12.根据权利要求11所述的系统,其中,生成地面真值包括:
通过使用所述参数注释车道标记来生成标注的车道标记。
13.根据权利要求11所述的系统,还包括:
使用所述地面真值来训练车道检测算法;以及
基于车道检测算法来生成针对当前视图的命中图图像。
14.根据权利要求13所述的系统,还包括:
基于所述命中图图像和车道模板来生成拟合的车道标记,所述车道模板包括紧邻当前视图之前的视图的特征。
15.根据权利要求14所述的系统,其中,生成拟合的车道标记包括:
基于先验知识或约束来优化所述车道模板以获得局部最优。
16.根据权利要求11所述的系统,还包括:
使用所述参数来确定拟合的车道标记的置信度水平是合理的;以及
输出拟合的车道标记作为预测的车道标记。
17.根据权利要求16所述的系统,还包括:
将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及
当比较结果表明拟合的车道标记与所述地面真值不匹配时,确定与拟合的车道标记相关联的失败模式。
18.根据权利要求11所述的系统,还包括:
使用所述参数来确定拟合的车道的置信度水平是不合理的;以及
拒绝拟合的车道标记。
19.根据权利要求18所述的系统,还包括:
将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较;以及
当比较结果表明拟合的车道标记与所述地面真值匹配时,确定与拟合的车道标记相关联的失败模式。
20.根据权利要求11所述的系统,还包括:
通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/683,441 | 2017-08-22 | ||
US15/683,441 US10816354B2 (en) | 2017-08-22 | 2017-08-22 | Verification module system and method for motion-based lane detection with multiple sensors |
PCT/US2018/047608 WO2019040670A1 (en) | 2017-08-22 | 2018-08-22 | VERIFICATION MODULE SYSTEM AND METHOD FOR DETECTING PATH ON THE BASIS OF DISPLACEMENT AND USING MULTIPLE SENSORS |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111052132A true CN111052132A (zh) | 2020-04-21 |
CN111052132B CN111052132B (zh) | 2024-05-28 |
Family
ID=65435004
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880055025.8A Active CN111052132B (zh) | 2017-08-22 | 2018-08-22 | 利用多个传感器的基于运动的车道检测的验证模块系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (4) | US10816354B2 (zh) |
EP (1) | EP3673340A4 (zh) |
CN (1) | CN111052132B (zh) |
WO (1) | WO2019040670A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114290993A (zh) * | 2020-10-05 | 2022-04-08 | 大众汽车股份公司 | 机动车的抬头显示装置的与车道相关的视觉辅助功能 |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
US10803325B2 (en) * | 2017-11-15 | 2020-10-13 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US11080537B2 (en) * | 2017-11-15 | 2021-08-03 | Uatc, Llc | Autonomous vehicle lane boundary detection systems and methods |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
CN109343061B (zh) * | 2018-09-19 | 2021-04-02 | 百度在线网络技术(北京)有限公司 | 传感器标定方法、装置、计算机设备、介质和车辆 |
CN110084095B (zh) * | 2019-03-12 | 2022-03-25 | 浙江大华技术股份有限公司 | 车道线检测方法、车道线检测装置和计算机存储介质 |
FR3093847B1 (fr) * | 2019-03-13 | 2021-02-12 | Psa Automobiles Sa | Entraînement d’un réseau de neurones, pour l’assistance à la conduite d’un véhicule par détermination de délimitations difficilement observables |
US11718324B2 (en) | 2019-04-11 | 2023-08-08 | Isee, Inc. | Instance segmentation imaging system |
CN110567480B (zh) * | 2019-09-12 | 2021-06-29 | 北京百度网讯科技有限公司 | 车辆定位的优化方法、装置、设备及存储介质 |
DE102020202964A1 (de) * | 2020-03-09 | 2021-09-09 | Continental Automotive Gmbh | Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen. |
EP3893150A1 (en) | 2020-04-09 | 2021-10-13 | Tusimple, Inc. | Camera pose estimation techniques |
CN113847930A (zh) | 2020-06-28 | 2021-12-28 | 图森有限公司 | 多传感器校准系统 |
AU2021204030A1 (en) * | 2020-06-28 | 2022-01-20 | Beijing Tusen Weilai Technology Co., Ltd. | Multi-sensor calibration system |
US11960276B2 (en) | 2020-11-19 | 2024-04-16 | Tusimple, Inc. | Multi-sensor collaborative calibration system |
CN112528864A (zh) * | 2020-12-14 | 2021-03-19 | 北京百度网讯科技有限公司 | 模型生成方法、装置、电子设备和存储介质 |
US11702089B2 (en) | 2021-01-15 | 2023-07-18 | Tusimple, Inc. | Multi-sensor sequential calibration system |
EP4047515B1 (en) * | 2021-02-19 | 2023-10-11 | Zenseact AB | Platform for perception system development for automated driving systems |
CN113870600B (zh) * | 2021-09-29 | 2022-09-27 | 禾多阡陌科技(北京)有限公司 | 车道线信息显示方法、装置、电子设备和计算机可读介质 |
US12014555B2 (en) * | 2022-11-07 | 2024-06-18 | Plusai, Inc. | Vehicle localization based on lane templates |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102815305A (zh) * | 2011-06-09 | 2012-12-12 | 通用汽车环球科技运作有限责任公司 | 通过用于车道居中/保持的对象车辆信息的车道感测增强 |
WO2016090282A1 (en) * | 2014-12-05 | 2016-06-09 | Cowbyt Technologies Llc | Autonomous navigation system |
CN105667518A (zh) * | 2016-02-25 | 2016-06-15 | 福州华鹰重工机械有限公司 | 车道检测的方法及装置 |
CN105825173A (zh) * | 2016-03-11 | 2016-08-03 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
CN106909876A (zh) * | 2015-12-22 | 2017-06-30 | 豪威科技股份有限公司 | 车道检测系统及方法 |
Family Cites Families (269)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IT651738A (zh) | 1960-06-21 | |||
DE2608513A1 (de) | 1976-03-02 | 1977-09-08 | Standard Elektrik Lorenz Ag | Anordnung zur weichensteuerung fuer ein verkehrssystem |
AU642638B2 (en) | 1989-12-11 | 1993-10-28 | Caterpillar Inc. | Integrated vehicle positioning and navigation system, apparatus and method |
US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
US7103460B1 (en) | 1994-05-09 | 2006-09-05 | Automotive Technologies International, Inc. | System and method for vehicle diagnostics |
US7783403B2 (en) | 1994-05-23 | 2010-08-24 | Automotive Technologies International, Inc. | System and method for preventing vehicular accidents |
US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
US6084870A (en) | 1996-07-22 | 2000-07-04 | Qualcomm Incorporated | Method and apparatus for the remote monitoring and configuration of electronic control systems |
US6263088B1 (en) | 1997-06-19 | 2001-07-17 | Ncr Corporation | System and method for tracking movement of objects in a scene |
JP3183501B2 (ja) | 1997-07-07 | 2001-07-09 | 本田技研工業株式会社 | 車両用走行制御装置 |
US6243648B1 (en) | 1999-07-12 | 2001-06-05 | Eagle Eye, Inc. | Fast acquisition position reporting system |
US6594821B1 (en) | 2000-03-30 | 2003-07-15 | Transmeta Corporation | Translation consistency checking for modified target instructions by comparing to original copy |
JP3777398B2 (ja) | 2000-04-26 | 2006-05-24 | 株式会社ジェイテクト | 車両用操舵制御装置 |
US8711217B2 (en) | 2000-10-24 | 2014-04-29 | Objectvideo, Inc. | Video surveillance system employing video primitives |
US6882287B2 (en) | 2001-07-31 | 2005-04-19 | Donnelly Corporation | Automotive lane change aid |
US7363149B2 (en) | 2001-12-13 | 2008-04-22 | Robert Bosch Gmbh | Autonomous in-vehicle navigation system and diagnostic system |
US7167519B2 (en) | 2001-12-20 | 2007-01-23 | Siemens Corporate Research, Inc. | Real-time video object generation for smart cameras |
WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
US9007197B2 (en) | 2002-05-20 | 2015-04-14 | Intelligent Technologies International, Inc. | Vehicular anticipatory sensor system |
US6975923B2 (en) | 2002-10-01 | 2005-12-13 | Roke Manor Research Limited | Autonomous vehicle guidance on or near airports |
US6777904B1 (en) | 2003-02-25 | 2004-08-17 | Ford Global Technologies, Llc | Method and system for controlling a motor |
US8855405B2 (en) | 2003-04-30 | 2014-10-07 | Deere & Company | System and method for detecting and analyzing features in an agricultural field for vehicle guidance |
US20070230792A1 (en) | 2004-04-08 | 2007-10-04 | Mobileye Technologies Ltd. | Pedestrian Detection |
EP1741079B1 (en) | 2004-04-08 | 2008-05-21 | Mobileye Technologies Limited | Collision warning system |
WO2005098751A1 (en) | 2004-04-08 | 2005-10-20 | Mobileye Technologies Limited | Crowd detection |
US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
US8078338B2 (en) | 2004-10-22 | 2011-12-13 | Irobot Corporation | System and method for behavior based control of an autonomous vehicle |
DE112006000295T5 (de) | 2005-02-23 | 2008-04-17 | Matsushita Electric Works, Ltd., Kadoma | Autonomes Fahrzeug und Verfahren zur Erkennung von planaren Hindernissen |
US7728869B2 (en) | 2005-06-14 | 2010-06-01 | Lg Electronics Inc. | Matching camera-photographed image with map data in portable terminal and travel route guidance method |
KR100802511B1 (ko) | 2005-10-11 | 2008-02-13 | 주식회사 코리아 와이즈넛 | 토픽 기반의 검색 서비스 제공 시스템 및 그 방법 |
US8553088B2 (en) | 2005-11-23 | 2013-10-08 | Mobileye Technologies Limited | Systems and methods for detecting obstructions in a camera field of view |
US8164628B2 (en) | 2006-01-04 | 2012-04-24 | Mobileye Technologies Ltd. | Estimating distance to an object using a sequence of images recorded by a monocular camera |
US8265392B2 (en) | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
US7689559B2 (en) | 2006-02-08 | 2010-03-30 | Telenor Asa | Document similarity scoring and ranking method, device and computer program product |
US8050863B2 (en) | 2006-03-16 | 2011-11-01 | Gray & Company, Inc. | Navigation and control system for autonomous vehicles |
US8417060B2 (en) | 2006-03-20 | 2013-04-09 | Arizona Board Of Regents For And On Behalf Of Arizona State University | Methods for multi-point descriptors for image registrations |
US8108092B2 (en) | 2006-07-14 | 2012-01-31 | Irobot Corporation | Autonomous behaviors for a remote vehicle |
JP4938351B2 (ja) | 2006-05-16 | 2012-05-23 | トヨタ自動車株式会社 | 車両用測位情報更新装置 |
US7786898B2 (en) | 2006-05-31 | 2010-08-31 | Mobileye Technologies Ltd. | Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications |
US7876926B2 (en) | 2006-11-03 | 2011-01-25 | Delphi Technologies, Inc. | Lane marker detection and fitting methods |
ATE519193T1 (de) | 2006-12-06 | 2011-08-15 | Mobileye Technologies Ltd | Detektion und erkennung von verkehrszeichen |
US20080249667A1 (en) | 2007-04-09 | 2008-10-09 | Microsoft Corporation | Learning and reasoning to enhance energy efficiency in transportation systems |
US7839292B2 (en) | 2007-04-11 | 2010-11-23 | Nec Laboratories America, Inc. | Real-time driving danger level prediction |
US8229163B2 (en) | 2007-08-22 | 2012-07-24 | American Gnc Corporation | 4D GIS based virtual reality for moving target prediction |
US8041111B1 (en) | 2007-10-15 | 2011-10-18 | Adobe Systems Incorporated | Subjective and locatable color theme extraction for images |
US9176006B2 (en) | 2008-01-15 | 2015-11-03 | Mobileye Vision Technologies Ltd. | Detection and classification of light sources using a diffraction grating |
US9117133B2 (en) | 2008-06-18 | 2015-08-25 | Spectral Image, Inc. | Systems and methods for hyperspectral imaging |
US20100049397A1 (en) | 2008-08-22 | 2010-02-25 | Garmin Ltd. | Fuel efficient routing |
US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
US8345956B2 (en) | 2008-11-03 | 2013-01-01 | Microsoft Corporation | Converting 2D video into stereo video |
US9459515B2 (en) | 2008-12-05 | 2016-10-04 | Mobileye Vision Technologies Ltd. | Adjustable camera mount for a vehicle windshield |
US8175376B2 (en) | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
CN102365651A (zh) | 2009-03-26 | 2012-02-29 | 皇家飞利浦电子股份有限公司 | 用于通过使用基于色彩频率的显著图来修改图像的方法和装置 |
US8271871B2 (en) | 2009-04-30 | 2012-09-18 | Xerox Corporation | Automated method for alignment of document objects |
WO2010134502A1 (ja) | 2009-05-18 | 2010-11-25 | 小平アソシエイツ株式会社 | 画像情報出力方法 |
US8392117B2 (en) | 2009-05-22 | 2013-03-05 | Toyota Motor Engineering & Manufacturing North America, Inc. | Using topological structure for path planning in semi-structured environments |
US9683854B2 (en) | 2009-07-19 | 2017-06-20 | Aaron T. Emigh | Pricing by historical comparison |
DE102009046124A1 (de) | 2009-10-28 | 2011-05-05 | Ifm Electronic Gmbh | Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems |
TWI393074B (zh) | 2009-12-10 | 2013-04-11 | Ind Tech Res Inst | 移動物體偵測裝置與方法 |
JP2011176748A (ja) | 2010-02-25 | 2011-09-08 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US8726305B2 (en) | 2010-04-02 | 2014-05-13 | Yahoo! Inc. | Methods and systems for application rendering and management on internet television enabled displays |
KR101145112B1 (ko) | 2010-05-11 | 2012-05-14 | 국방과학연구소 | 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법 |
US9753128B2 (en) | 2010-07-23 | 2017-09-05 | Heptagon Micro Optics Pte. Ltd. | Multi-path compensation using multiple modulation frequencies in time of flight sensor |
US9043078B2 (en) | 2010-08-13 | 2015-05-26 | Deere & Company | Method and system for performing diagnostics or software maintenance for a vehicle |
WO2012026406A1 (ja) | 2010-08-27 | 2012-03-01 | 京セラ株式会社 | 携帯電子機器及び携帯電子機器の使用方法 |
US9355321B2 (en) | 2010-09-16 | 2016-05-31 | TomTom Polska Sp. z o o. | Automatic detection of the number of lanes into which a road is divided |
US9118816B2 (en) | 2011-12-06 | 2015-08-25 | Mobileye Vision Technologies Ltd. | Road vertical contour detection |
US9280711B2 (en) | 2010-09-21 | 2016-03-08 | Mobileye Vision Technologies Ltd. | Barrier and guardrail detection using a single camera |
US8509982B2 (en) | 2010-10-05 | 2013-08-13 | Google Inc. | Zone driving |
EP2448251B1 (en) | 2010-10-31 | 2019-09-25 | Mobileye Vision Technologies Ltd. | Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter |
US9355635B2 (en) | 2010-11-15 | 2016-05-31 | Futurewei Technologies, Inc. | Method and system for video summarization |
EP2463843B1 (en) | 2010-12-07 | 2015-07-29 | Mobileye Vision Technologies Ltd. | Method and system for forward collision warning |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
WO2012095658A1 (en) | 2011-01-14 | 2012-07-19 | Bae Systems Plc | Data transfer system and method thereof |
US9323250B2 (en) | 2011-01-28 | 2016-04-26 | Intouch Technologies, Inc. | Time-dependent navigation of telepresence robots |
AU2012221159B2 (en) | 2011-02-21 | 2015-11-26 | Stratech Systems Limited | A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield |
CN102184535B (zh) | 2011-04-14 | 2013-08-14 | 西北工业大学 | 一种车辆所在车道边界检测方法 |
US8401292B2 (en) | 2011-04-26 | 2013-03-19 | Eastman Kodak Company | Identifying high saliency regions in digital images |
US9233659B2 (en) | 2011-04-27 | 2016-01-12 | Mobileye Vision Technologies Ltd. | Pedestrian collision warning system |
KR101777875B1 (ko) | 2011-04-28 | 2017-09-13 | 엘지디스플레이 주식회사 | 입체 영상 표시장치와 그 입체 영상 조절 방법 |
US9183447B1 (en) | 2011-06-09 | 2015-11-10 | Mobileye Vision Technologies Ltd. | Object detection using candidate object alignment |
GB2492848A (en) | 2011-07-15 | 2013-01-16 | Softkinetic Sensors Nv | Optical distance measurement |
WO2013015416A1 (ja) | 2011-07-28 | 2013-01-31 | 本田技研工業株式会社 | ワイヤレス送電方法 |
US8744123B2 (en) | 2011-08-29 | 2014-06-03 | International Business Machines Corporation | Modeling of temporarily static objects in surveillance video data |
EP2756682A4 (en) | 2011-09-12 | 2015-08-19 | Intel Corp | NETWORK CAPTURE AND 3D DISPLAY OF LOCALIZED AND SEGMENTED IMAGES |
DE102011083749B4 (de) | 2011-09-29 | 2015-06-11 | Aktiebolaget Skf | Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes |
US8891820B2 (en) | 2011-09-29 | 2014-11-18 | The Boeing Company | Multi-modal sensor fusion |
US20140143839A1 (en) | 2011-11-16 | 2014-05-22 | Flextronics Ap, Llc. | On board vehicle remote control module |
WO2013084225A1 (en) | 2011-12-05 | 2013-06-13 | Brightway Vision Ltd. | Smart traffic sign system and method |
WO2013086475A1 (en) | 2011-12-08 | 2013-06-13 | Cornell University | System and methods for world-scale camera pose estimation |
US9297641B2 (en) | 2011-12-12 | 2016-03-29 | Mobileye Vision Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
FR2984254B1 (fr) | 2011-12-16 | 2016-07-01 | Renault Sa | Controle de vehicules autonomes |
US8810666B2 (en) | 2012-01-16 | 2014-08-19 | Google Inc. | Methods and systems for processing a video for stabilization using dynamic crop |
US9317776B1 (en) | 2013-03-13 | 2016-04-19 | Hrl Laboratories, Llc | Robust static and moving object detection system via attentional mechanisms |
JP5605381B2 (ja) | 2012-02-13 | 2014-10-15 | 株式会社デンソー | クルーズ制御装置 |
US9042648B2 (en) | 2012-02-23 | 2015-05-26 | Microsoft Technology Licensing, Llc | Salient object segmentation |
US8457827B1 (en) | 2012-03-15 | 2013-06-04 | Google Inc. | Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles |
US9476970B1 (en) | 2012-03-19 | 2016-10-25 | Google Inc. | Camera based localization |
US8737690B2 (en) | 2012-04-06 | 2014-05-27 | Xerox Corporation | Video-based method for parking angle violation detection |
US8718861B1 (en) | 2012-04-11 | 2014-05-06 | Google Inc. | Determining when to drive autonomously |
US9549158B2 (en) | 2012-04-18 | 2017-01-17 | Brightway Vision Ltd. | Controllable single pixel sensors |
JP6243402B2 (ja) | 2012-04-18 | 2017-12-06 | ブライトウェイ ビジョン リミテッド | 読み出し毎の複数のゲーテッド画素 |
US9723233B2 (en) | 2012-04-18 | 2017-08-01 | Brightway Vision Ltd. | Controllable gated sensor |
JP6416085B2 (ja) | 2012-05-29 | 2018-10-31 | ブライトウェイ ビジョン リミテッド | 適用可能な被写界深度を使用するゲーテッド撮像 |
US9134402B2 (en) | 2012-08-13 | 2015-09-15 | Digital Signal Corporation | System and method for calibrating video and lidar subsystems |
US9620010B2 (en) | 2012-08-21 | 2017-04-11 | Brightway Vision Ltd. | Simultaneously illuminating traffic light signals at different ranges |
US9025880B2 (en) | 2012-08-29 | 2015-05-05 | Disney Enterprises, Inc. | Visual saliency estimation for images and video |
DE112013004369T5 (de) | 2012-09-06 | 2015-06-11 | Faro Technologies, Inc. | Laserscanner mit zusätzlicher Erfassungsvorrichtung |
US9165190B2 (en) | 2012-09-12 | 2015-10-20 | Avigilon Fortress Corporation | 3D human pose and shape modeling |
US9120485B1 (en) | 2012-09-14 | 2015-09-01 | Google Inc. | Methods and systems for smooth trajectory generation for a self-driving vehicle |
US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
US9701023B2 (en) | 2012-12-03 | 2017-07-11 | Abb Schweiz Ag | Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station |
DE102013225676B4 (de) | 2012-12-17 | 2018-06-07 | pmdtechnologies ag | Lichtlaufzeitkamera mit einer Bewegungserkennung |
US9602807B2 (en) | 2012-12-19 | 2017-03-21 | Microsoft Technology Licensing, Llc | Single frequency time of flight de-aliasing |
US9063548B1 (en) | 2012-12-19 | 2015-06-23 | Google Inc. | Use of previous detections for lane marker detection |
US9081385B1 (en) | 2012-12-21 | 2015-07-14 | Google Inc. | Lane boundary detection using images |
US9092430B2 (en) | 2013-01-02 | 2015-07-28 | International Business Machines Corporation | Assigning shared catalogs to cache structures in a cluster computing system |
US8788134B1 (en) | 2013-01-04 | 2014-07-22 | GM Global Technology Operations LLC | Autonomous driving merge management system |
CN110213565B (zh) | 2013-01-15 | 2021-03-09 | 移动眼视力科技有限公司 | 成像系统和用于深度计算的方法 |
US9277132B2 (en) | 2013-02-21 | 2016-03-01 | Mobileye Vision Technologies Ltd. | Image distortion correction of a camera with a rolling shutter |
US9147255B1 (en) | 2013-03-14 | 2015-09-29 | Hrl Laboratories, Llc | Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9652860B1 (en) | 2013-03-15 | 2017-05-16 | Puretech Systems, Inc. | System and method for autonomous PTZ tracking of aerial targets |
US9342074B2 (en) | 2013-04-05 | 2016-05-17 | Google Inc. | Systems and methods for transitioning control of an autonomous vehicle to a driver |
CN103198128A (zh) | 2013-04-11 | 2013-07-10 | 苏州阔地网络科技有限公司 | 一种云教育平台的数据搜索方法及系统 |
AU2013205548A1 (en) | 2013-04-30 | 2014-11-13 | Canon Kabushiki Kaisha | Method, system and apparatus for tracking objects of a scene |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9025825B2 (en) | 2013-05-10 | 2015-05-05 | Palo Alto Research Center Incorporated | System and method for visual motion based object segmentation and tracking |
US9729860B2 (en) | 2013-05-24 | 2017-08-08 | Microsoft Technology Licensing, Llc | Indirect reflection suppression in depth imaging |
JP6484228B2 (ja) | 2013-06-13 | 2019-03-13 | モービルアイ ビジョン テクノロジーズ リミテッド | 視覚強化ナビゲーション |
IL227265A0 (en) | 2013-06-30 | 2013-12-31 | Brightway Vision Ltd | Smart flash for the camera |
KR102111784B1 (ko) | 2013-07-17 | 2020-05-15 | 현대모비스 주식회사 | 차량 위치 인식 장치 및 방법 |
JP6142733B2 (ja) | 2013-08-26 | 2017-06-07 | 株式会社ジェイテクト | 車両のパワーステアリング装置 |
US9315192B1 (en) | 2013-09-30 | 2016-04-19 | Google Inc. | Methods and systems for pedestrian avoidance using LIDAR |
US9122954B2 (en) | 2013-10-01 | 2015-09-01 | Mobileye Vision Technologies Ltd. | Performing a histogram using an array of addressable registers |
US9738280B2 (en) | 2013-10-03 | 2017-08-22 | Robert Bosch Gmbh | Adaptive cruise control with on-ramp detection |
US20150112765A1 (en) | 2013-10-22 | 2015-04-23 | Linkedln Corporation | Systems and methods for determining recruiting intent |
US9330334B2 (en) | 2013-10-24 | 2016-05-03 | Adobe Systems Incorporated | Iterative saliency map estimation |
US9299004B2 (en) | 2013-10-24 | 2016-03-29 | Adobe Systems Incorporated | Image foreground detection |
CN107533801A (zh) | 2013-11-01 | 2018-01-02 | 国际智能技术公司 | 使用测绘车辆的地图测绘技术 |
US9452754B2 (en) | 2013-12-04 | 2016-09-27 | Mobileye Vision Technologies Ltd. | Systems and methods for detecting and responding to traffic laterally encroaching upon a vehicle |
EP2887311B1 (en) | 2013-12-20 | 2016-09-14 | Thomson Licensing | Method and apparatus for performing depth estimation |
WO2015103159A1 (en) | 2013-12-30 | 2015-07-09 | Tieman Craig Arnold | Connected vehicle system with infotainment interface for mobile devices |
CN106462727B (zh) | 2014-01-30 | 2020-02-11 | 移动眼视力科技有限公司 | 车辆、车道终止检测系统和方法 |
CN106461774B (zh) | 2014-02-20 | 2019-04-23 | 御眼视觉技术有限公司 | 基于雷达提示视觉成像的高级驾驶员辅助系统 |
CN103793925B (zh) | 2014-02-24 | 2016-05-18 | 北京工业大学 | 融合时空特征的视频图像视觉显著程度检测方法 |
US9981389B2 (en) | 2014-03-03 | 2018-05-29 | California Institute Of Technology | Robotics platforms incorporating manipulators having common joint designs |
EP2918974B1 (en) | 2014-03-11 | 2019-01-16 | Volvo Car Corporation | Method and system for determining a position of a vehicle |
US9476730B2 (en) | 2014-03-18 | 2016-10-25 | Sri International | Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics |
JP6282498B2 (ja) | 2014-03-19 | 2018-02-21 | 株式会社東芝 | 画像処理装置、その方法、及び、そのプログラム |
DE102014205170A1 (de) | 2014-03-20 | 2015-11-26 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug |
US9739609B1 (en) | 2014-03-25 | 2017-08-22 | Amazon Technologies, Inc. | Time-of-flight sensor with configurable phase delay |
US9151626B1 (en) | 2014-04-11 | 2015-10-06 | Nissan North America, Inc. | Vehicle position estimation system |
US9471889B2 (en) | 2014-04-24 | 2016-10-18 | Xerox Corporation | Video tracking based method for automatic sequencing of vehicles in drive-thru applications |
CN105100134A (zh) | 2014-04-28 | 2015-11-25 | 思科技术公司 | 屏幕共享缓存管理 |
WO2015177648A1 (en) | 2014-05-14 | 2015-11-26 | Ofer Springer | Systems and methods for curb detection and pedestrian hazard assessment |
US9720418B2 (en) | 2014-05-27 | 2017-08-01 | Here Global B.V. | Autonomous vehicle monitoring and control |
CN112528737B (zh) | 2014-06-03 | 2022-03-01 | 御眼视觉技术有限公司 | 用于检测对象的系统和方法 |
US9457807B2 (en) | 2014-06-05 | 2016-10-04 | GM Global Technology Operations LLC | Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver |
WO2015189847A1 (en) | 2014-06-10 | 2015-12-17 | Mobileye Vision Technologies Ltd. | Top-down refinement in lane marking navigation |
IL233356A (en) | 2014-06-24 | 2015-10-29 | Brightway Vision Ltd | Sensor-based imaging system with minimum wait time between sensor exposures |
US9628565B2 (en) | 2014-07-23 | 2017-04-18 | Here Global B.V. | Highly assisted driving platform |
US9766625B2 (en) | 2014-07-25 | 2017-09-19 | Here Global B.V. | Personalized driving of autonomously driven vehicles |
US20160026787A1 (en) | 2014-07-25 | 2016-01-28 | GM Global Technology Operations LLC | Authenticating messages sent over a vehicle bus that include message authentication codes |
US10150473B2 (en) | 2014-08-18 | 2018-12-11 | Mobileye Vision Technologies Ltd. | Recognition and prediction of lane constraints and construction areas in navigation |
US9554030B2 (en) | 2014-09-29 | 2017-01-24 | Yahoo! Inc. | Mobile device image acquisition using objects of interest recognition |
US9248834B1 (en) | 2014-10-02 | 2016-02-02 | Google Inc. | Predicting trajectories of objects based on contextual information |
US9746550B2 (en) | 2014-10-08 | 2017-08-29 | Ford Global Technologies, Llc | Detecting low-speed close-range vehicle cut-in |
US9779276B2 (en) | 2014-10-10 | 2017-10-03 | Hand Held Products, Inc. | Depth sensor based auto-focus system for an indicia scanner |
US9773155B2 (en) | 2014-10-14 | 2017-09-26 | Microsoft Technology Licensing, Llc | Depth from time of flight camera |
US9959903B2 (en) | 2014-10-23 | 2018-05-01 | Qnap Systems, Inc. | Video playback method |
EP3018448B1 (en) | 2014-11-04 | 2021-01-06 | Volvo Car Corporation | Methods and systems for enabling improved positioning of a vehicle |
US9547985B2 (en) | 2014-11-05 | 2017-01-17 | Here Global B.V. | Method and apparatus for providing access to autonomous vehicles based on user context |
KR101664582B1 (ko) | 2014-11-12 | 2016-10-10 | 현대자동차주식회사 | 자율주행차량의 주행경로 생성장치 및 방법 |
US9494935B2 (en) | 2014-11-13 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Remote operation of autonomous vehicle in unexpected environment |
KR102312273B1 (ko) | 2014-11-13 | 2021-10-12 | 삼성전자주식회사 | 거리영상 측정용 카메라 및 그 동작방법 |
US9347779B1 (en) | 2014-12-10 | 2016-05-24 | Here Global B.V. | Method and apparatus for determining a position of a vehicle based on driving behavior |
KR20160078724A (ko) | 2014-12-24 | 2016-07-05 | 한국전자통신연구원 | 카메라 감시 영역 표시 방법 및 장치 |
CA3067177A1 (en) | 2015-02-10 | 2016-08-18 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
US9805294B2 (en) | 2015-02-12 | 2017-10-31 | Mitsubishi Electric Research Laboratories, Inc. | Method for denoising time-of-flight range images |
US10115024B2 (en) | 2015-02-26 | 2018-10-30 | Mobileye Vision Technologies Ltd. | Road vertical contour detection using a stabilized coordinate frame |
JP6421684B2 (ja) | 2015-04-17 | 2018-11-14 | 井関農機株式会社 | 乗用草刈機 |
EP3082063A1 (en) | 2015-04-17 | 2016-10-19 | Tata Consultancy Services Limited | Method and system for ground truth determination in lane departure warning |
US9649999B1 (en) | 2015-04-28 | 2017-05-16 | Sprint Communications Company L.P. | Vehicle remote operations control |
US10635761B2 (en) | 2015-04-29 | 2020-04-28 | Energid Technologies Corporation | System and method for evaluation of object autonomy |
US9483839B1 (en) | 2015-05-06 | 2016-11-01 | The Boeing Company | Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures |
JP6269566B2 (ja) | 2015-05-08 | 2018-01-31 | トヨタ自動車株式会社 | 誤認識判定装置 |
US10345809B2 (en) | 2015-05-13 | 2019-07-09 | Uber Technologies, Inc. | Providing remote assistance to an autonomous vehicle |
US9613273B2 (en) | 2015-05-19 | 2017-04-04 | Toyota Motor Engineering & Manufacturing North America, Inc. | Apparatus and method for object tracking |
DE102015210015A1 (de) | 2015-06-01 | 2016-12-01 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs |
US9690290B2 (en) | 2015-06-04 | 2017-06-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles |
JP6503906B2 (ja) | 2015-06-10 | 2019-04-24 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
DE102015211926A1 (de) | 2015-06-26 | 2016-12-29 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs |
WO2017013875A1 (ja) | 2015-07-23 | 2017-01-26 | 日本電気株式会社 | 経路切替装置、経路切替システムおよび経路切替方法 |
US9710714B2 (en) | 2015-08-03 | 2017-07-18 | Nokia Technologies Oy | Fusion of RGB images and LiDAR data for lane classification |
US9989965B2 (en) | 2015-08-20 | 2018-06-05 | Motionloft, Inc. | Object detection and analysis via unmanned aerial vehicle |
US10282591B2 (en) | 2015-08-24 | 2019-05-07 | Qualcomm Incorporated | Systems and methods for depth map sampling |
US9587952B1 (en) | 2015-09-09 | 2017-03-07 | Allstate Insurance Company | Altering autonomous or semi-autonomous vehicle operation based on route traversal values |
CN107209854A (zh) | 2015-09-15 | 2017-09-26 | 深圳市大疆创新科技有限公司 | 用于支持顺畅的目标跟随的系统和方法 |
US10676057B2 (en) | 2015-10-28 | 2020-06-09 | Lg Innotek Co., Ltd. | Optical output module, vehicle including same, and control method therefor |
US9507346B1 (en) | 2015-11-04 | 2016-11-29 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
WO2017079349A1 (en) | 2015-11-04 | 2017-05-11 | Zoox, Inc. | System for implementing an active safety system in an autonomous vehicle |
US9754490B2 (en) | 2015-11-04 | 2017-09-05 | Zoox, Inc. | Software application to request and control an autonomous vehicle service |
US9630619B1 (en) | 2015-11-04 | 2017-04-25 | Zoox, Inc. | Robotic vehicle active safety systems and methods |
US9734455B2 (en) | 2015-11-04 | 2017-08-15 | Zoox, Inc. | Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles |
KR20170065083A (ko) | 2015-12-02 | 2017-06-13 | 현대오트론 주식회사 | 도로 시설물 정보를 이용한 차선 표시 장치 및 방법 |
US10127685B2 (en) | 2015-12-16 | 2018-11-13 | Objectvideo Labs, Llc | Profile matching of buildings and urban structures |
KR102373926B1 (ko) | 2016-02-05 | 2022-03-14 | 삼성전자주식회사 | 이동체 및 이동체의 위치 인식 방법 |
US9568915B1 (en) | 2016-02-11 | 2017-02-14 | Mitsubishi Electric Research Laboratories, Inc. | System and method for controlling autonomous or semi-autonomous vehicle |
US9760837B1 (en) | 2016-03-13 | 2017-09-12 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
WO2017165627A1 (en) * | 2016-03-23 | 2017-09-28 | Netradyne Inc. | Advanced path prediction |
US9535423B1 (en) | 2016-03-29 | 2017-01-03 | Adasworks Kft. | Autonomous vehicle with improved visual detection ability |
US9776638B1 (en) | 2016-04-20 | 2017-10-03 | GM Global Technology Operations LLC | Remote interrogation and override for automated driving system |
US10362429B2 (en) | 2016-04-28 | 2019-07-23 | California Institute Of Technology | Systems and methods for generating spatial sound information relevant to real-world environments |
JP6838285B2 (ja) | 2016-04-28 | 2021-03-03 | 日立Astemo株式会社 | レーンマーカ認識装置、自車両位置推定装置 |
US9672446B1 (en) | 2016-05-06 | 2017-06-06 | Uber Technologies, Inc. | Object detection for an autonomous vehicle |
JP2017224876A (ja) | 2016-06-13 | 2017-12-21 | アイシン精機株式会社 | 撮影画像判定装置 |
US9888364B2 (en) | 2016-06-17 | 2018-02-06 | Lightmetrics Technologies Pvt. Ltd. | Localizing a smartphone in a moving vehicle |
US10871782B2 (en) | 2016-07-01 | 2020-12-22 | Uatc, Llc | Autonomous vehicle control using submaps |
EP3290864A1 (en) | 2016-08-30 | 2018-03-07 | Continental Automotive GmbH | Driver assistance system for determining a position of a vehicle |
CN113140125B (zh) | 2016-08-31 | 2022-06-17 | 北京万集科技股份有限公司 | 车路协同辅助驾驶方法及路侧设备 |
CN117782153A (zh) | 2016-09-09 | 2024-03-29 | 内克斯特纳夫有限公司 | 用于校准不稳定传感器的系统和方法 |
KR101876968B1 (ko) | 2016-10-21 | 2018-07-12 | 네이버 주식회사 | 실내 자율 주행 로봇을 위한 제어 방법 및 시스템 |
CN118010048A (zh) | 2016-10-31 | 2024-05-10 | 御眼视觉技术有限公司 | 用于导航车道合并和车道分离的系统和方法 |
KR20180050823A (ko) | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 3차원의 도로 모델을 생성하는 방법 및 장치 |
JP6754444B2 (ja) | 2016-11-29 | 2020-09-09 | 三菱重工機械システム株式会社 | マップマッチング装置、マップマッチングシステム、マップマッチング方法及びプログラム |
US10261574B2 (en) | 2016-11-30 | 2019-04-16 | University Of Macau | Real-time detection system for parked vehicles |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
CN106781591A (zh) | 2016-12-19 | 2017-05-31 | 吉林大学 | 一种基于车路协同的城市车辆导航系统 |
CN111108342B (zh) | 2016-12-30 | 2023-08-15 | 辉达公司 | 用于高清地图创建的视觉测程法和成对对准 |
KR102513185B1 (ko) | 2017-01-12 | 2023-03-23 | 모빌아이 비젼 테크놀로지스 엘티디. | 규칙 기반 항법 |
GB2559196B (en) | 2017-01-31 | 2021-11-17 | Sony Europe Bv | Determining a position of a vehicle on a track |
US10147193B2 (en) | 2017-03-10 | 2018-12-04 | TuSimple | System and method for semantic segmentation using hybrid dilated convolution (HDC) |
US9953236B1 (en) | 2017-03-10 | 2018-04-24 | TuSimple | System and method for semantic segmentation using dense upsampling convolution (DUC) |
US10430968B2 (en) | 2017-03-14 | 2019-10-01 | Ford Global Technologies, Llc | Vehicle localization using cameras |
US10209359B2 (en) | 2017-03-28 | 2019-02-19 | Luminar Technologies, Inc. | Adaptive pulse rate in a lidar system |
US10209089B2 (en) * | 2017-04-03 | 2019-02-19 | Robert Bosch Gmbh | Automated image labeling for vehicles based on maps |
CN107015238A (zh) | 2017-04-27 | 2017-08-04 | 睿舆自动化(上海)有限公司 | 基于三维激光雷达的无人车自主定位方法 |
US10990829B2 (en) | 2017-04-28 | 2021-04-27 | Micro Focus Llc | Stitching maps generated using simultaneous localization and mapping |
US10444759B2 (en) | 2017-06-14 | 2019-10-15 | Zoox, Inc. | Voxel based ground plane estimation and object segmentation |
US10466704B2 (en) | 2017-06-22 | 2019-11-05 | GM Global Technology Operations LLC | Autonomous vehicle localization |
US20180373980A1 (en) | 2017-06-27 | 2018-12-27 | drive.ai Inc. | Method for training and refining an artificial intelligence |
US10816354B2 (en) | 2017-08-22 | 2020-10-27 | Tusimple, Inc. | Verification module system and method for motion-based lane detection with multiple sensors |
US10223806B1 (en) | 2017-08-23 | 2019-03-05 | TuSimple | System and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10565457B2 (en) | 2017-08-23 | 2020-02-18 | Tusimple, Inc. | Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10223807B1 (en) | 2017-08-23 | 2019-03-05 | TuSimple | Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map |
US10762673B2 (en) | 2017-08-23 | 2020-09-01 | Tusimple, Inc. | 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map |
US10410055B2 (en) | 2017-10-05 | 2019-09-10 | TuSimple | System and method for aerial video traffic analysis |
US10812589B2 (en) | 2017-10-28 | 2020-10-20 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
US10666730B2 (en) | 2017-10-28 | 2020-05-26 | Tusimple, Inc. | Storage architecture for heterogeneous multimedia data |
US10528823B2 (en) | 2017-11-27 | 2020-01-07 | TuSimple | System and method for large-scale lane marking detection using multimodal sensor data |
CN108010360A (zh) | 2017-12-27 | 2018-05-08 | 中电海康集团有限公司 | 一种基于车路协同的自动驾驶环境感知系统 |
AU2019206509A1 (en) | 2018-01-09 | 2020-07-23 | Tusimple, Inc. | Real-time remote control of vehicles with high redundancy |
WO2019140277A2 (en) | 2018-01-11 | 2019-07-18 | TuSimple | Monitoring system for autonomous vehicle operation |
CN108182817A (zh) | 2018-01-11 | 2018-06-19 | 北京图森未来科技有限公司 | 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统 |
US11009365B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization |
US11009356B2 (en) | 2018-02-14 | 2021-05-18 | Tusimple, Inc. | Lane marking localization and fusion |
US10529089B2 (en) | 2018-02-23 | 2020-01-07 | GM Global Technology Operations LLC | Crowd-sensed point cloud map |
US10685244B2 (en) | 2018-02-27 | 2020-06-16 | Tusimple, Inc. | System and method for online real-time multi-object tracking |
US10928207B2 (en) | 2018-03-02 | 2021-02-23 | DeepMap Inc. | Camera based localization for autonomous vehicles |
CN110858405A (zh) | 2018-08-24 | 2020-03-03 | 北京市商汤科技开发有限公司 | 车载摄像头的姿态估计方法、装置和系统及电子设备 |
JP2020034472A (ja) | 2018-08-31 | 2020-03-05 | 株式会社デンソー | 自律的ナビゲーションのための地図システム、方法および記憶媒体 |
US10621452B2 (en) | 2018-09-14 | 2020-04-14 | Lyft, Inc. | Determining and mapping location-based information for a vehicle |
CN111256693B (zh) | 2018-12-03 | 2022-05-13 | 北京魔门塔科技有限公司 | 一种计算位姿变化方法及车载终端 |
CN111771141B (zh) | 2019-01-30 | 2024-04-09 | 百度时代网络技术(北京)有限公司 | 自动驾驶车辆中使用3d cnn网络进行解决方案推断的lidar定位 |
CN112307810B (zh) | 2019-07-26 | 2023-08-04 | 北京魔门塔科技有限公司 | 一种视觉定位效果自检方法及车载终端 |
EP3819673A4 (en) | 2019-09-12 | 2021-07-21 | Huawei Technologies Co., Ltd. | POSITIONING METHOD, DEVICE AND SYSTEM |
-
2017
- 2017-08-22 US US15/683,441 patent/US10816354B2/en active Active
-
2018
- 2018-08-22 WO PCT/US2018/047608 patent/WO2019040670A1/en unknown
- 2018-08-22 CN CN201880055025.8A patent/CN111052132B/zh active Active
- 2018-08-22 EP EP18849237.5A patent/EP3673340A4/en active Pending
-
2020
- 2020-10-19 US US17/074,468 patent/US11573095B2/en active Active
-
2023
- 2023-01-24 US US18/158,974 patent/US11874130B2/en active Active
- 2023-08-14 US US18/449,340 patent/US20230408284A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102815305A (zh) * | 2011-06-09 | 2012-12-12 | 通用汽车环球科技运作有限责任公司 | 通过用于车道居中/保持的对象车辆信息的车道感测增强 |
WO2016090282A1 (en) * | 2014-12-05 | 2016-06-09 | Cowbyt Technologies Llc | Autonomous navigation system |
CN106909876A (zh) * | 2015-12-22 | 2017-06-30 | 豪威科技股份有限公司 | 车道检测系统及方法 |
CN105667518A (zh) * | 2016-02-25 | 2016-06-15 | 福州华鹰重工机械有限公司 | 车道检测的方法及装置 |
CN105825173A (zh) * | 2016-03-11 | 2016-08-03 | 福州华鹰重工机械有限公司 | 通用道路和车道检测系统与方法 |
Non-Patent Citations (1)
Title |
---|
ANDREAS SCHINDLER: ""Generation of high precision digital maps using circular arc splines"", 《IEEE INTELLIGENT VEHICLES SYMPOSIUM》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114290993A (zh) * | 2020-10-05 | 2022-04-08 | 大众汽车股份公司 | 机动车的抬头显示装置的与车道相关的视觉辅助功能 |
Also Published As
Publication number | Publication date |
---|---|
US11573095B2 (en) | 2023-02-07 |
WO2019040670A1 (en) | 2019-02-28 |
US20190063945A1 (en) | 2019-02-28 |
EP3673340A1 (en) | 2020-07-01 |
US11874130B2 (en) | 2024-01-16 |
US20230160712A1 (en) | 2023-05-25 |
EP3673340A4 (en) | 2021-05-26 |
US10816354B2 (en) | 2020-10-27 |
US20210033420A1 (en) | 2021-02-04 |
CN111052132B (zh) | 2024-05-28 |
US20230408284A1 (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111052132B (zh) | 利用多个传感器的基于运动的车道检测的验证模块系统和方法 | |
US11151393B2 (en) | Feature matching and corresponding refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map | |
US10223806B1 (en) | System and method for centimeter precision localization using camera-based submap and LiDAR-based global map | |
US10223807B1 (en) | Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map | |
US10671083B2 (en) | Neural network architecture system for deep odometry assisted by static scene optical flow | |
US10866101B2 (en) | Sensor calibration and time system for ground truth static scene sparse flow generation | |
US10552979B2 (en) | Output of a neural network method for deep odometry assisted by static scene optical flow | |
US10488521B2 (en) | Sensor calibration and time method for ground truth static scene sparse flow generation | |
US10373003B2 (en) | Deep module and fitting module system and method for motion-based lane detection with multiple sensors | |
US10360686B2 (en) | Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation | |
CN111045024A (zh) | 一种基于光检测和测距的车辆追踪方法和系统 | |
US10268205B2 (en) | Training and testing of a neural network method for deep odometry assisted by static scene optical flow | |
US10481267B2 (en) | Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation | |
US20190079533A1 (en) | Neural network architecture method for deep odometry assisted by static scene optical flow | |
US10984540B2 (en) | Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method | |
US20180356831A1 (en) | Sparse image point correspondences generation and correspondences refinement method for ground truth static scene sparse flow generation | |
US10482769B2 (en) | Post-processing module system and method for motioned-based lane detection with multiple sensors | |
US20190080166A1 (en) | Data acquistion and input of neural network method for deep odometry assisted by static scene optical flow | |
US20190080167A1 (en) | Data acquistion and input of neural network system for deep odometry assisted by static scene optical flow | |
US20180357314A1 (en) | Time synchronization and data acquisition system for ground truth static scene sparse flow generation | |
US20180357315A1 (en) | UNDISTORTED RAW LiDAR SCANS AND STATIC POINT EXTRACTIONS SYSTEM FOR GROUND TRUTH STATIC SCENE SPARSE FLOW GENERATION |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |