CN111052132A - 利用多个传感器的基于运动的车道检测的验证模块系统和方法 - Google Patents

利用多个传感器的基于运动的车道检测的验证模块系统和方法 Download PDF

Info

Publication number
CN111052132A
CN111052132A CN201880055025.8A CN201880055025A CN111052132A CN 111052132 A CN111052132 A CN 111052132A CN 201880055025 A CN201880055025 A CN 201880055025A CN 111052132 A CN111052132 A CN 111052132A
Authority
CN
China
Prior art keywords
lane
fitted
module
lane marker
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880055025.8A
Other languages
English (en)
Other versions
CN111052132B (zh
Inventor
刘思远
王明东
侯晓迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tusimple Inc
Original Assignee
Tusimple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tusimple Inc filed Critical Tusimple Inc
Publication of CN111052132A publication Critical patent/CN111052132A/zh
Application granted granted Critical
Publication of CN111052132B publication Critical patent/CN111052132B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3658—Lane guidance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

公开了一种用于非瞬时性计算机可读存储介质的车道检测的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备执行以下步骤，包括：生成与以上帝视角表示的车道标记相关联的地面真值；接收来自命中图图像和拟合的车道标记中的至少一个的特征，其中，所述命中图图像包括命中车道标记的像素的分类，并且所述拟合的车道标记包括基于所述命中图图像优化的像素；以及基于所述特征和地面真值来训练置信度模块，所述置信度模块被配置为使用以弧形来表示车道标记的参数，在线确定拟合的车道标记是否合理。

Description

利用多个传感器的基于运动的车道检测的验证模块系统和 方法
优先权/相关文件
本申请要求于2017年8月22日递交的美国专利申请序号15/683,441的优先权。本专利申请通过引用全文并入并要求以下于2017年8月22日递交的共同待审的专利申请的优先权，包括：(1)“Deep Module and Fitting Module System and Method for Motion-Based Lane Detection with Multiple Sensors”和(2)“Post-processing ModuleSystem and Method for Motion-Based Lane Detection with Multiple Sensors”，所有这些专利申请具有相同的发明人。
技术领域
本公开的领域总体涉及自主车辆，具体地，涉及一种用于车道检测的方法和系统。
背景技术
智能和自主车辆是改善道路安全、交通问题和乘客舒适性的具有前景的解决方案。道路车道检测或道路边界检测是道路车辆的复杂而具有挑战性的任务之一。这种检测基于车道检测，车道检测包括道路的定位、确定车辆与道路之间的相对位置、以及分析车辆的前进方向。车道标记作为公路的主要组成部分，指示自主车辆交互式地、安全地在公路上行驶。即便差分全球定位系统(GPS)已经变得可负担得起，但定位精度可能仍不够稳定。此外，控制需要根据当前视图中的车道进行精确定位。
发明内容
通过以下实施例的详细描述以及附图，本实施例的各种目的、特征、方面和优点将变得更加显而易见，附图中相似的标号表示相似的组件。
本公开的实施例提供了一种用于非瞬时性计算机可读存储介质的车道检测的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序。所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备执行以下步骤，包括：生成与以上帝视角表示的车道标记相关联的地面真值；接收来自命中图图像和拟合的车道标记中的至少一个的特征，其中，所述命中图图像包括命中车道标记的像素的分类，并且所述拟合的车道标记包括基于所述命中图图像优化的像素；以及基于所述特征和地面真值来训练置信度模块，所述置信度模块被配置为使用以弧形来表示车道标记的参数，在线确定拟合的车道标记是否合理。
在实施例中，生成地面真值包括：通过使用所述参数注释车道标记来生成标注的车道标记。
在另一实施例中，所述方法还包括：使用所述地面真值来训练车道检测算法；以及基于车道检测算法来生成针对当前视图的命中图图像。
在又一实施例中，所述方法还包括：基于所述命中图图像和车道模板来生成拟合的车道标记，所述车道模板包括紧邻当前视图之前的视图的特征。
在又一实施例中，生成拟合的车道标记包括：基于先验知识或约束来优化所述车道模板以获得局部最优。
在又一实施例中，所述方法还包括：使用所述参数来确定拟合的车道标记的置信度水平是合理的；以及输出拟合的车道标记作为预测的车道标记。
在又一实施例中，所述方法还包括：将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及当比较结果表明拟合的车道标记与所述地面真值不匹配时，确定与拟合的车道标记相关联的失败模式。
在又一实施例中，所述方法还包括：使用所述参数来确定拟合的车道的置信度水平是不合理的；以及拒绝拟合的车道标记。
在又一实施例中，所述方法还包括：将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及当比较结果表明拟合的车道标记与所述地面真值匹配时，确定与拟合的车道标记相关联的失败模式。
在又一实施例中，所述方法还包括：通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
本公开的一些实施例还提供了一种用于车道检测的系统。所述系统包括互联网服务器，所述互联网服务器包括：I/O端口，被配置为向客户端设备发送电信号和从客户端设备接收电信号；存储器；一个或多个处理单元；以及一个或多个程序，所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理单元执行，所述一个或多个程序包括用于执行以下操作的指令：生成与以上帝视角表示的车道标记相关联的地面真值；接收来自命中图图像和拟合的车道标记中的至少一个的特征，其中，所述命中图图像包括命中车道标记的像素的分类，并且所述拟合的车道标记包括基于所述命中图图像优化的像素；以及基于所述特征和地面真值来训练置信度模块，所述置信度模块被配置为使用以弧形来表示车道标记的参数，在线确定拟合的车道标记是否合理。
附图说明
应注意，附图可能是简化形式，并且可能不是精确比例。参考这里的公开，仅出于方便和清楚的目的，关于附图使用诸如顶、底、左、右、上、下、之上、上方、之下、下方、后、前、远和近的方向性术语。这样的方向性术语不应以任何方式被解释为限制实施例的范围。
图1是根据实施例的用于在线车道检测的系统的框图；
图2A是由图1所示的学习模块生成的示例性命中图图像的图；
图2B是由图1所示的运动模块基于先前视图生成的用于车道标记的示例性车道模板的图；
图2C是根据实施例的以上帝视角表示的车道标记的示意图；
图2D是由图1所示的拟合模块针对当前视图生成的拟合的车道标记的示例性图像的图；
图3是示出根据一些实施例的支持图1所示的在线车道检测系统的方法的示意图；
图4A是根据一些实施例的用于细化图1所示的置信度模块的系统的示意性框图；
图4B是示出根据一些实施例的细化图1所示的置信度模块的方法的流程图；
图5是示出根据一些实施例的图1所示的系统中的置信度模块的功能的图；
图6是示出根据实施例的在线车道检测的方法的流程图；
图7是示出根据实施例的支持在线车道检测的方法的流程图；以及
图8是根据一些实施例的用于车道检测的系统的框图。
具体实施方式
现在可以通过转向实施例的以下详细描述来更好地理解实施例及其各种实施例，所述实施例作为权利要求中限定的实施例的所示示例来呈现。应当清楚地理解，由权利要求书限定的实施例可以比下面描述的所示实施例更宽。
在所描述的实施例中的任何改变和修改，以及在本文中描述的原理的任何进一步的应用被认为是与本公开内容相关的本领域普通技术人员通常会想到的。以下描述了组件和布置的特定示例以简化本公开。当然，这些仅仅是示例，而无意于是限制性的。例如，当元件被称为“连接到”或“耦合到”另一个元件时，它可以直接连接到或耦合到该另一个元件，或者可以存在中间元件。
在附图中，为了清楚和方便，可能放大了形状和厚度。本说明书将特别针对形成根据本公开的设备的一部分或与之直接协作的元件。应当理解，未具体示出或描述的元件可以采用各种形式。在整个说明书中，对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在至少一个实施例中。
在附图中，附图不一定是按比例绘制的，并且在某些情况下，出于示意目的，附图在某些地方被放大和/或简化。基于本公开的以下示意性实施例，本领域的普通技术人员将理解本公开的许多可能的应用和变化。
在整个说明书中，短语“在一个实施例中”或“在实施例中”在各个地方的出现不一定都指相同实施例。此外，在一个或多个实施例中，可以以任何合适的方式组合特定的特征，结构或特性。应当理解，以下附图未按比例绘制；相反，这些附图仅预期用于示意。
应当理解，单数形式的“一(a)”、“一(an)”和“该(the)”也意图包括复数形式，除非上下文另外明确指出。此外，相对术语，例如“底”和“顶”，在本文中可以用来描述如图所示的一个元件与其他元件的关系。
除非另有定义，本文中使用的所有术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员通常所理解的相同含义。还将理解的是，术语(诸如在常用词典中定义的术语)应被解释为具有与其在相关领域和本公开的上下文中的含义一致的含义，并且不在理想化的或过于正式的意义上进行解释，除非在本文中明确这样定义。
本领域普通技术人员可以在不脱离实施例的精神和范围的情况下做出许多改变和修改。因此，必须理解，仅出于示例的目的阐述了所示实施例，并且不应将其视为限制如所附权利要求所限定的实施例。例如，尽管以下以某种组合阐述了权利要求的元素，但是必须明确地理解，实施例包括更少、更多或不同元素的其他组合，这些组合也被公开，即使最初未以这样的组合来要求保护。
本说明书中用于描述实施例及其各种实施例的词语不仅要在其通常定义的含义的意义上理解，而且要通过在本说明书中的特殊定义而包括超出通常定义的含义的范围的结构、材料或动作。因此，如果元素可以在本说明书的上下文中被理解为包括多于一个的含义，则必须将其在权利要求中的使用理解为对说明书和词语本身所支持的所有可能含义而言是上位的。
因此，所附权利要求的词语或元素的定义不仅包括从字面上阐述的元素的组合，而且包括用于以基本上相同的方式执行基本上相同的功能以获得基本上相同的结果的所有等效结构、材料或动作。
因此，在这个意义上，想到可以将以下权利要求中的任何一个元素等同替换为两个或更多元素，或者可以将权利要求中的两个或更多元素替换为单个元素。尽管以上可以将元素描述为以某些组合来动作并且甚至最初如此要求保护，但是应当明确地理解，在某些情况下，来自所要求保护的组合的一个或多个元素可以从该组合中删除，并且要求保护的组合可以涉及子组合或子组合的变体。
现在参考附图，其中，贯穿附图，相似的标号表示相似的部分。
如本文所使用的，术语“无线”是指到设备或在多个设备之间的无线通信。根据商业、场所、活动或博物馆的需要，无线设备可以固定在某个位置和/或硬连线到电源系统。在一个实施例中，可以使无线设备能够连接到互联网，但是不需要向和从互联网传送数据以便在无线信息通信和传送系统内进行通信。
如本文所使用的，术语“智能电话”或“智能手机”或“移动设备”或“蜂窝电话”或“手机”或“移动电话”等是指无线通信设备，包括但不限于：集成电路(IC)、芯片组、芯片、片上系统，包括低噪声放大器、功率放大器、专用集成电路(ASIC)数字集成电路、收发器、接收器或发送器、动态、静态或非瞬时性存储设备、一个或多个计算机处理器以处理例如从和向互联网、其他无线设备接收和发送的信号，并提供无线信息通信和传送系统内的通信，包括发送、广播和接收信息、信号数据、位置数据、总线、用于发送和接收信号的天线以及电源，例如可充电电池或功率存储单元。芯片或IC可以在从例如硅、蓝宝石、磷化铟或砷化镓晶片切割的“裸片”上构造(“制造”)。IC可以是例如芯片上的模拟的或数字的或其混合组合。此外，数字集成电路可以在仅占几毫米的正方形区域上包含从1到数千或数百万个信号反相器以及逻辑门，例如“与”、“或”、“与非”和“或非”门、触发器、复用器等。与更复杂的板级集成相比，例如IC的小尺寸使这些电路能够提供高速运算、低功率耗散和降低的制造成本。
如本文所使用的，术语“无线”、“无线数据传送”、“无线跟踪和定位系统”、“定位系统”和“无线定位系统”是指但不限于使用一个或多个设备(例如，无线通信设备)传送数据或通信或广播消息的任何无线系统，该通信可以包括位置坐标或其他信息。
如本文所使用的，术语“模块”是指但不限于已经被添加、下载、更新、传送或原始作为辅助或提供计算能力的较大计算或收发器系统的一部分的任何软件、软件程序、固件或实际硬件或其组合，其中计算能力包括但不限于辅助或提供命令或消息的通信广播的逻辑功能，该通信可以包括位置坐标或一个或多个设备之间或向一个或多个设备(例如无线通信设备)的通信。
在根据本公开的一些实施例中，提供了一种非瞬时性(即非易失性)计算机可读存储介质。非瞬时性计算机可读存储介质存储有一个或多个程序。当程序由计算设备(即，车辆的一部分)的处理单元执行时，使计算设备执行根据本公开的一些实施例的以下阐述的特定操作。
在一些实施例中，如图8中所示，非瞬时性存储计算机可读存储介质的示例可以包括磁性硬盘、光盘、软盘、闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。在某些实施例中，术语“非瞬时性”可以指示存储介质不是实现在载波或传播的信号中。在一些实施例中，非瞬时性存储介质可以存储可以随时间改变的数据(例如，在RAM或高速缓存中)。
在根据本公开的一些实施例中，在操作中，例如由智能电话76(参见图8)根据用户的请求将客户端应用发送到计算设备。例如，第一客户端设备76可以是从计算机服务器下载应用的智能电话。在操作中，该应用安装在车辆上。因此，用户可以通过计算设备执行特定功能，如校准传感器和时间同步、以及例如发送和接收用于数据对齐目的的校准文件。
图1是根据实施例的用于在线车道检测的系统10的框图。参考图1，系统10包括学习模块11、拟合模块12、验证模块15和后处理模块18。
学习模块11被配置为基于用于车道检测的功能或算法，响应于当前视图的原始图像101来生成命中图(hit-map)图像102。原始图像101由安装在车辆上的传感器提供，传感器可以包括至少一个相机、光检测和测距(LiDAR)传感器、惯性测量单元(IMU)模块161、全球定位系统(GPS)模块162和地图构建(MAP)模块164。另外，在实施例中，原始图像101可以包括由至少一个相机捕捉的RGB图像和由LiDAR生成的点云。车道检测算法可以以描述实时原始图像101和命中图图像102之间的关系的一组参数来表示。此外，可以通过将参考图3详细讨论的离线机器学习过程23(图3)来实现车道检测算法。此外，可以通过将参考图3讨论的测试过程24(图3)来细化车道检测算法。命中图图像102表示命中车道标记的像素的分类。图2A是由学习模块11生成的示例性命中图图像102的图。
拟合模块12被配置为响应于来自学习模块11的命中图图像102和来自处理模块18的车道模板180来生成针对当前视图的拟合的车道标记。在本实施例中，在IMU模块161、GPS模块162和MAP模块163的帮助下，车道标记以上帝视角(god's view)表示，这意味着当以包括系统10的汽车为原点时，汽车的朝向是y坐标，而汽车的垂直方向是x坐标。在一个实施例中，拟合模块12基于命中图图像102来优化车道模板180中的点以获得局部最优。车道模板180表示紧邻当前视图之前的、已经由处理模块18处理的视图的图像。因此，车道模板180包括先前视图的特征，并且可以包括来自后处理模块18的附加特征(如果有)。此外，车道模板180用于提高拟合模块12的拟合速度和精度，从而促进下一车道模板的精度。在拟合过程中，拟合模块12可以使用但不限于道路的以下先验知识(prior)或约束：
(1)公路上的车道标记彼此平行；
(2)公路上的车道的曲率的形状是圆形；
(3)公路上的车道的曲率小于大约三百(300)米；
(4)公路上的相邻车道之间的车道间距范围在大约三和四(3～4)米之间，例如，大约3.75米；以及
(5)车道标记的边缘处的颜色与公路上没有车道标记的其他部分的颜色不同。
这些和其他先验知识和约束促进拟合模块12中的优化过程。此外，如图1的本实施例中那样，提供与先前视图相关联的车道模板，进一步促进拟合模块12中的优化过程。
验证模块15被配置为确定来自拟合模块12的拟合结果是否合理。验证模块15包括过滤模块151和置信度模块152。过滤模块151被配置为基于先验知识和约束去除车道标记的不正确或不合理的拟合线。置信度模块152被配置为确定每个拟合的车道标记的置信度水平。拟合的车道标记的置信度促进处理模块18中的自我诊断。置信度模块152中采用的功能或参数可以通过将参考图4A详细讨论的离线置信度训练过程35(图4A)来实现。
后处理模块18被配置为输出当前视图的图像，并生成用于下一视图的车道模板。后处理模块18包括用于车道标记的参数化模块181、扩展模块182和运动模块183，所有这些都促进车道检测算法的优化。参数化模块181被配置为将拟合的车道标记拟合到例如圆弧中，得到预测图像188。因此，车道检测算法包括以弧形来表示车道标记的一组参数。另外，验证模块15基于用于车道标记的参数，确定来自拟合模块12的拟合的车道标记是否合理。预测图像188被发送到用于上运动规划的控制系统(未示出)。
扩展模块182被配置为基于先验知识和约束来扩展拟合的车道标记。在一个实施例中，扩展拟合的车道标记包括增加车道模板180中的拟合的车道标记的数量。例如，对于包含针对当前视图的两个拟合的车道标记的车道模板，通过添加另外两个拟合的车道标记，下一车道模板包含针对下一视图的四个拟合的车道标记。利用关于拟合的车道标记的附加信息，有效地提高了拟合模块12的拟合速度和精度。备选地，扩展模块182被配置为基于高清晰度(HD)地图来扩展拟合的车道标记。处理模块18将与当前视图相关联的车道模板180发送给拟合模块12，以用于下一视图的车道检测。
运动模块183利用来自IMU模块161、GPS模块162和MAP模块163的信息160，并且基于来自参数化模块181和扩展模块182中的至少一个的处理结果，来生成车道模板180。在一个实施例中，IMU模块161、GPS模块162和MAP模块163被配置为提供关于正在检测的车道的信息。运动模块183被配置为以上帝视角或鸟瞰视角表示来自参数化模块181和扩展模块182中的至少一个的车道标记结果，并且使用来自IMU模块161、GPS模块162和MAP模块163的信息，获得更精确的车道标记，该更精确的车道标记然后用作与先前视图相关联的车道模板180。
在一个实施例中，GPS模块162提供关于车道宽度、车道数量和车道曲率中的至少一个的地理位置信息。另外，IMU模块161提供关于车辆姿态的信息。车辆的姿态是用于车道检测的必要信息，特别是在一些实施例中，根据本发明的车道检测算法是在上帝视角下建立的，这意味着精确的车辆姿态和视角变换矩阵是有利的。另外，IMU模块161提供车辆的速度的信息。因此，车辆可以在检测到的车道图上移动，并且可以获得更好的车道模板以用于下一视图的车道检测。可以使用同时定位和地图构建(SLAM)的MAP模块163促进自主汽车创建其周围的地图，并在该地图内实时地正确定向自主汽车本身。利用来自IMU模块161、GPS模块162和MAP模块163的信息160以及来自运动模块183的车道模板180，有效地在系统10中减少了运行时间并且改善了检测结果。
图2B是由运动模块183基于先前视图生成的用于车道标记的示例性车道模板180的图。参考图2B，在车道模板180中存在四个车道标记CL1、CL2、EL1和EL2。在先前视图中，可能仅存在两个中央车道标记CL1和CL2。扩展模块182通过针对先前视图增加EL1和EL2来扩展车道标记，从而得到四个车道标记CL1、CL2、EL1和EL2。随后，运动模块183以上帝视角处理具有四个车道标记CL1、CL2、EL1和EL2的先前视图的图像帧，以提高精度。图2C是根据一个实施例的以上帝视角表示的车道标记CL1、CL2、EL1和EL2的示意图。
图2D是由拟合模块12针对当前视图生成的拟合的车道标记的示例性图像120的图。基于图2A所示的命中图图像102和图2B所示的车道模板180，生成的拟合的车道标记CL1、CL2、EL1和EL2′的图像120。借助于来自后处理模块18的车道模板180，可以预期比在没有任何车道模板的情况下生成的更好的拟合结果。另外，预期图像120比车道模板180更精确。例如，参考图2D，图像120中的车道标记EL2′比车道模板180中的车道标记EL2更精确(看起来更像一条直线)。然后，更好拟合的图像120在验证模块15中通过置信度检查时，用作运动模块183用于生成针对下一视图的新车道模板的基础。生成更好的车道模板和更好拟合的车道标记结果的迭代过程促进更鲁棒和可靠的车道检测算法。而且，如将进一步讨论的，如果拟合的车道标记未通过置信度检查或预测图像188未通过测试检查，则对车道检测算法进行细化，这也导致更鲁棒和可靠的车道检测算法。
车道检测系统10使得可以利用包括IMU、GPS和MAP在内的多个传感器，并利用来自这些传感器的信息。然而，由于没有这种用于车道检测的算法是建立在上帝视角下，因此一些现有方法可能无法实现本公开的期望效果。此外，在系统10中，可以使用来自GPS、IMU和HD地图的许多先验知识。例如，在当前位置处的实际车道宽度可用的情况下，可以针对下一视图生成更精确的车道模板，这显著加速了置信度模块152和车道检测算法的优化。其他先验知识，例如车道的曲率和车道的数量，也促进优化过程。在一些实施例中，拟合模块12可以被配置为基于包括来自GPS的信息在内的先验知识来优化与先前视图相关联的车道模板。而且，验证模块15的过滤模块151可以被配置为基于包括来自GPS的信息在内的先验知识来排除拟合的车道标记的不正确拟合线。
图3是示出了根据一些实施例的支持图1所示的在线车道检测系统10的方法20的示意图。方法20可以离线执行。参考图3，方法20包括数据收集21、注释22、机器学习23和测试24的操作。
数据收集21通过传感器收集数据。传感器可以包括例如LiDAR、至少一个相机、IMU模块、GPS模块和MAP模块。在数据收集之前，执行数据对齐，包括传感器校准和时间同步。车辆配备有多个互补的传感器，这些传感器需要校准才能在公共坐标系中表示感测到的信息。LiDAR传感器和相机可以安装在车辆的车顶上。LiDAR传感器在工业和机器人应用中已变得越来越普遍。LiDAR传感器由于其直接距离测量和高精度而特别令人期望。在根据本公开的实施例中，LiDAR传感器配备有许多以变化的角度同时旋转的波束，例如64波束旋转LiDAR。多波束LiDAR提供的数据至少比单波束LiDAR至少多一个数量级，并在地图构建、对象检测和识别、场景理解以及同时定位和地图构建(SLAM)中实现了新的应用。
根据本公开的实施例中的惯性导航模块包括全球导航卫星系统(GNSS)-惯性测量单元(IMU)模块或IMU-全球定位系统(GPS)模块。GNSS卫星信号用于校正或校准来自IMU的解决方案。将GNSS与IMU一起使用的好处是可以通过GNSS信号对IMU进行校准，并且IMU可以以比GNSS更快的速度提供位置和角度更新。对于高动态车辆，IMU填补了GNSS位置之间的空白。此外，GNSS可能会丢失其信号，并且IMU可以在丢失GNSS信号期间继续计算位置和角度。这两个系统是互补的，并且经常一起使用。通常首选由IMU和GPS组成的集成导航系统，因为在易于接收信号不良或受多径影响的区域中，对仅GPS导航器的依赖性降低。集成系统的性能在很大程度上取决于IMU的质量和集成方法。考虑到高等级IMU的限制使用及其相关价格，低成本IMU已成为用于民用导航目的的首选。基于MEMS的惯性传感器由于其体积小、成本低，使民用陆地车辆导航的发展成为可能。
传感器之间的数据对齐包括校准相机的固有参数，以及校准相机、LiDAR和惯性导航模块之间的外部参数。在一个实施例中，预先使用监督方法来校准每个波束的固有参数。此外，LiDAR扫描以扫掠形式收集。扫掠定义为LiDAR传感器从0度旋转到360度的扫描范围。此外，假设LiDAR运动的角速度和线速度是恒定的，可以校正扫掠内的运动失真。
假定环境通常是静态的并且包含一些3D特征，即，它不仅是平滑的地面。为了实现精确校准，当车辆经过一系列已知的姿态转换时，记录LiDAR测量。全局姿态信息是无关紧要的，因为没有现有的地图，因此仅需要局部姿态信息。可以以任何多种方式来获取局部姿态数据，例如，从车轮编码器和IMU、从集成的GPS/IMU系统，或从具有实时校正的GPS系统。
除了校准和变换之外，还实现LiDAR传感器、相机和惯性导航模块之间的时间同步。具体地，实现LiDAR传感器与惯性导航模块之间、惯性导航模块与相机之间、以及LiDAR传感器与相机之间的时间同步。
在数据对齐之后，这些传感器用于收集环境中的数据。在一个实施例中，环境的图像由相机以大约30Hz捕捉。LiDAR扫描以大约20Hz的扫掠形式收集。惯性导航模块以大约50Hz的频率在“东北天”(ENU)坐标中收集包括位置和朝向在内的车辆姿态。
在注释22的操作中，通过例如年度注释，用车道标记来标注收集的数据。标注的车道标记或标注的数据201(指示是否存在车道标记)用作地面真值以输入到使用例如卷积神经网络(CNN)进行深度模块训练的机器学习过程23以及输入到测试过程24进行测试。标注的车道标记201用于在机器学习过程23期间训练车道检测算法，得到一组参数以用于学习模块11用以生成参考图1描述和示出的命中图图像102。此外，在测试过程24中，将系统10的预测图像188与标注的车道标记201进行比较，以确定预测图像188是否正确。如果测试24表明预测图像188不正确或不合需要，则在操作25中细化置信度模块152，或者在操作26中细化车道检测算法，或者两者都细化。置信度模块152可以被训练和细化，如将参考图3A进一步讨论的。为了细化置信度模块152或车道检测算法，输入更多的标注数据201，以确定什么场景导致置信度模块152或车道检测算法在测试过程24中失败。此外，有更多的标注数据201输入，优化了从机器学习过程23得到的参数。因此，参考图1描述和示出的学习模块11可以由于参数的优化而进行细调。此外，验证模块15或更具体地其置信度模块152被细化。而且，车道检测算法可以例如在组织上被细化并变得优化。
图4A是根据一些实施例的细化图1所示的置信度模块152的系统30的示意性框图。
参考图4A，系统30包括置信度训练模块35，其可以被认为是机器学习系统。置信度训练模块35被配置为通过使用标注的车道标记201来训练来自学习模块11和拟合模块12中至少一个的特征，从而生成用于置信度模块152中的置信度评估的功能或算法。另外，如先前参考图3所讨论的，利用关于标注的车道标记201的更多信息，可以通过置信度训练模块35中的训练过程来细化置信度模块152。而且，由于可以通过关于标注的车道标记201的附加信息来细化学习模块11，因此，可以通过训练过程来细化置信度模块152。另外，由于拟合模块12可以由于学习模块11被细化而被细化，置信度模块152可以相应地通过训练过程而被细化。
此外，置信度训练模块35被配置为确定与拟合的车道标记相关联的失败模式。通过分析失败模式，可以探索各种失败事件的特征。失败事件可以包括来自拟合模块12的不正确或不合理的拟合的车道标记。分析结果因此可以用于优化置信度模块152和车道检测算法。分析结果可以自动或手动指示。
因此，对于在线操作，如果来自置信度模块152的拟合的车道标记的置信度落入或超过预定阈值，则置信度模块152输出拟合的车道标记以用于预测车道的线或标记。相反，如果来自置信度模块152的拟合的车道标记的置信度落在预定阈值之后，则拟合的车道标记被拒绝。对于离线训练，将来自置信度模块152的拟合的车道标记的置信度与地面真值进行比较。如果置信度与地面真值不匹配，则识别失败事件，然后对其进行分析以确定失败模式，以细化置信度模块152。
图4B是示出根据一些实施例的细化图1所示的置信度模块152的方法32的流程图。
参考图4B以及图4A，在操作321中，接收来自学习模块11或拟合模块12中的至少一个的特征。
接下来，在操作323中，通过使用标注的数据201在置信度训练模块35中训练所述特征。
在操作325中，基于所述特征和标注的数据201来确定失败模式。
此外，在操作327中，生成用于描述车道标记的置信度的一组参数。这组参数用作置信度模块152中用于置信度评估的算法。
此外，通过将关于标注的数据201的附加信息提供给置信度训练模块35，可以细化或优化置信度模块152。而且，利用关于标注的数据201的附加信息，可以细化学习模块11，并且进而可以通过训练过程相应地细化或优化置信度模块152。另外，由于拟合模块12可以由于学习模块11被细化而被细化，因此可以通过训练过程来细化或优化置信度模块152。
图5是示出根据一些实施例的图1所示的系统10中的置信度模块152的功能的图。
参考图5，作为图4A的训练过程的结果，置信度模块152被应用于图1所示的系统10中的在线车道检测。在本实施例中，置信度模块152确定来自学习模块11或拟合模块12中的至少一个的特征的置信度，并生成检测结果的置信度150。在置信度检查中，置信度模块152基于用于以弧形来表示车道标记的参数来确定来自拟合模块12的拟合的车道标记是否合理。在一个实施例中，将置信度150提供给图3中描述和示出的测试模块24，以确定是否应细化置信度模块152。例如，如果预测的车道标记的置信度150相对强，而测试表明标注的数据201与预测的车道标记之间的显著差异，则可以确定置信度模块152或其用于置信度评估的相关算法需要细化。此外，例如，相反地，如果预测的车道标记的置信度150相对较弱，而测试表明标注的数据201与预测的车道标记之间没有显著差异，则可以确定确定置信度模块152或其用于置信度评估的相关算法需要细化。
图6是示出根据实施例的在线车道检测的方法50的流程图。
参考图6，在操作51中，获得与当前视图相关联的车道标记。车道标记是以上帝视角表示的。
在操作52中，接收与先前视图关联的车道模板。还参考图1，车道模板由运动模块183生成以用于车道标记。
接下来，在操作53中，还参考图1，通过使用来自IMU模块、GPS模块和MAP模块的信息，基于来自学习模块11的命中图图像102，对车道模板进行优化，以获得与当前视图相关联的拟合的车道标记的局部最优。
在操作54中，使用以弧形来表示车道标记的参数来确定拟合的车道标记的置信度。还参考图1，置信度模块152确定拟合的车道标记的置信度。
在操作55中，例如由图1的参数化模块18使用所述参数来生成预测的车道标记。
在操作56中，运动模块183使用所述参数来生成与当前视图关联的车道模板。
随后，在操作57中，与当前视图关联的车道模板被馈送到图1的拟合模块12，以用于下一视图的车道检测。
图7是示出根据实施例的支持在线车道检测的方法60的流程图。
参考图7，在操作61中，通过使用包括IMU模块、GPS模块和MAP模块的传感器在环境中收集数据。
接下来，在操作62中，生成地面真值。还参考图2，所收集的数据用以上帝视角表示的车道标记来注释，以生成用作地面真值的标注的数据。
在操作63中，通过使用地面真值，在机器学习过程中训练车道检测算法。
在操作64中，将根据车道检测算法生成的预测的车道标记与地面真值进行比较。然后在操作65中，比较结果确定由置信度模块使用以弧形来表示车道标记的参数确定的置信度是否合理。
随后在操作66中，可以通过例如向标注的数据添加附加信息来细化车道检测算法。备选地，在操作67中，可以通过附加信息来细化置信度模块。在一个实施例中，车道检测算法和置信度模块均被细化或优化。
图8是根据一些实施例的用于车道检测的系统70的框图。
参考图8，系统70包括：处理器71、计算机服务器72、网络接口73、输入和输出(I/O)设备75、存储设备77、存储器79以及总线或网络78。总线78将网络接口73、I/O设备75、存储设备77和存储器79耦合到处理器71。
因此，处理器71被配置为使计算机服务器72(例如，互联网服务器)能够执行本文公开的特定操作。要注意的是，本文描述的操作和技术可以至少部分地以硬件、软件、固件或其任何组合来实现。例如，所描述的实施例的各个方面，例如处理器71、计算机服务器72等，可以在一个或多个处理单元(包括一个或多个微处理单元、数字信号处理单元(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或任何其他等效的集成或离散逻辑电路以及这些组件的任何组合)内实现。
术语“处理单元”或“处理电路”通常可以指代单独或与其他逻辑电路或任何其他等效电路组合的任何前述逻辑电路。包括硬件的控制单元还可以执行本公开的技术中的一个或多个。
在根据本公开的一些实施例中，计算机服务器72被配置为利用I/O端口75经由诸如无线网络之类的网络78与外部设备通信。在某些实施例中，I/O端口75是网络接口组件，例如以太网卡、光收发器、射频收发器或可以从互联网发送和接收数据的任何其他类型的设备。网络接口的示例可以包括移动计算设备中的
Figure BDA0002390818190000161
3G和
Figure BDA0002390818190000162
无线电以及USB。无线网络的示例可以包括
Figure BDA0002390818190000163
和3G。在一些实施例中，互联网服务器72被配置为利用I/O端口75与客户端设备76无线通信，该客户端设备76例如是移动电话、平板PC、便携式笔记本电脑或具有互联网连接性的任何其他计算设备。相应地，电信号在计算机服务器72和客户端设备76之间传输。
在根据本公开的一些实施例中，计算机服务器72是能够执行常规服务器具有的任何功能的虚拟服务器。在某些实施例中，计算机服务器72是系统70的另一客户端设备。换句话说，对于系统70可能没有集中式主机，并且系统中的客户端设备76被配置为直接彼此通信。在某些实施例中，这样的客户端设备76在对等(P2P)的基础上彼此通信。
处理器71被配置为执行程序指令，该程序指令包括工具模块，该工具模块被配置为执行参考图4B、图6和图7所描述和示出的方法。相应地，在根据参考图4B描述和示出的方法30的实施例中，工具模块被配置为执行以下操作，包括：接收来自学习模块或拟合模块中的至少一个的特征；通过使用标注的数据在置信度训练模块中训练所述特征；基于所述特征和标注的数据来确定失败模式；以及生成用于描述车道标记的置信度的一组参数。
在另一个实施例中，根据参考图6描述和示出的方法50，工具模块被配置为执行以下操作，包括：获得与当前视图相关联的以上帝视角表示的车道标记；接收与先前视图相关联的车道模板；通过使用来自IMU模块、GPS模块和MAP模块的信息，基于来自学习模块的命中图图像对车道模板进行优化，以获得与当前视图相关联的拟合的车道标记的局部最优；使用以弧形来表示车道标记的参数来确定拟合的车道标记的置信度；使用所述参数生成预测的拟合的车道标记；使用所述参数，通过运动模块生成与当前视图相关联的车道模板以用于车道标记；以及馈送与当前视图相关联的车道模板以用于下一视图的车道检测。
在又一个实施例中，根据参考图7所描述和示出的方法60，工具模块被配置为执行以下操作，包括：通过使用包括IMU模块、GPS模块和MAP模块的传感器在环境中收集数据；以及通过对以上帝视角表示的车道标记进行注释来生成地面真值；通过使用地面真值在机器学习过程中训练车道检测算法；将预测的车道标记与地面真值进行比较；使用以弧形来表示车道标记的参数确定预测的车道标记的置信度；确定与车道检测相关联的失败模式；响应于失败模式，细化检测算法或细化置信度模块或两者。
网络接口73被配置为访问程序指令和通过网络(未示出)远程存储的由程序指令访问的数据。
I/O设备75包括输入设备和输出设备，该输入设备和输出设备被配置为使得用户能够与系统70交互。在一些实施例中，输入设备包括例如键盘、鼠标和其他设备。此外，输出设备包括例如显示器、打印机和其他设备。
存储设备77被配置为存储程序指令和由程序指令访问的数据。在一些实施例中，存储设备77包括例如磁盘和光盘。
存储器79被配置为存储要由处理器71执行的程序指令和由该程序指令访问的数据。在一些实施例中，存储器79包括随机存取存储器(RAM)和/或一些其他易失性存储设备和/或只读存储器(ROM)和/或一些其他非易失性存储设备，包括其他可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电子可擦除可编程只读存储器(EEPROM)、闪存、硬盘、固态驱动器(SSD)、致密光盘ROM(CD-ROM)、软盘、盒式磁带、磁介质、光学介质或其他计算机可读介质。在某些实施例中，存储器79被合并到处理器71中。
因此，已经公开了特定的实施例和应用。然而，对本领域技术人员显而易见的是，在不背离本文所公开的概念的情况下，除了已经描述之外，还可以进行许多更多修改。因此，除了所附权利要求的精神之外，实施例不受限制。此外，在解释说明书和权利要求时，应以与上下文一致的最宽可能方式解释所有术语。特别地，术语“包括”和“包含”应被解释为以非排他性的方式指代元件、组件或步骤，指示所引用的元件、组件或步骤可以存在、利用或与其他未明确引用的元件、组件或步骤组合。如本领域普通技术人员所见的对所要求保护的主题的非实质性变化，无论现在已知或以后想到的，被明确地认为在权利要求的范围内是等同的。因此，本领域普通技术人员现在或以后所知的明显替代被定义为在所定义元素的范围内。因此，权利要求应被理解为包括以上具体示出和描述的内容、概念上等同的内容、可以明显替换的内容以及本质上包含实施例的基本思想的内容。

Claims (20)

1.一种用于非瞬时性计算机可读存储介质的车道检测的方法，所述非瞬时性计算机可读存储介质存储一个或多个程序，所述一个或多个程序包括指令，所述指令在由计算设备执行时使所述计算设备执行以下步骤，包括：
生成与以上帝视角表示的车道标记相关联的地面真值；
接收来自命中图图像和拟合的车道标记中的至少一个的特征，其中，所述命中图图像包括命中车道标记的像素的分类，并且所述拟合的车道标记包括基于所述命中图图像优化的像素；以及
基于所述特征和地面真值来训练置信度模块，所述置信度模块被配置为使用以弧形来表示车道标记的参数，在线确定拟合的车道标记是否合理。
2.根据权利要求1所述的方法，其中，生成地面真值包括：
通过使用所述参数注释车道标记来生成标注的车道标记。
3.根据权利要求1所述的方法，还包括：
使用所述地面真值来训练车道检测算法；以及
基于车道检测算法来生成针对当前视图的命中图图像。
4.根据权利要求3所述的方法，还包括：
基于所述命中图图像和车道模板来生成拟合的车道标记，所述车道模板包括紧邻当前视图之前的视图的特征。
5.根据权利要求4所述的方法，其中，生成拟合的车道标记包括：
基于先验知识或约束来优化所述车道模板以获得局部最优。
6.根据权利要求1所述的方法，还包括：
使用所述参数来确定拟合的车道标记的置信度水平是合理的；以及
输出拟合的车道标记作为预测的车道标记。
7.根据权利要求6所述的方法，还包括：
将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及
当比较结果表明拟合的车道标记与所述地面真值不匹配时，确定与拟合的车道标记相关联的失败模式。
8.根据权利要求1所述的方法，还包括：
使用所述参数来确定拟合的车道的置信度水平是不合理的；以及
拒绝拟合的车道标记。
9.根据权利要求8所述的方法，还包括：
将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及
当比较结果表明拟合的车道标记与所述地面真值匹配时，确定与拟合的车道标记相关联的失败模式。
10.根据权利要求1所述的方法，还包括：
通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
11.一种用于车道检测的系统，所述系统包括：
互联网服务器，所述互联网服务器包括：
I/O端口，被配置为向客户端设备发送电信号和从客户端设备接收电信号；
存储器；
一个或多个处理单元；以及
一个或多个程序，所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理单元执行，所述一个或多个程序包括用于执行以下操作的指令：
生成与以上帝视角表示的车道标记相关联的地面真值；
接收来自命中图图像和拟合的车道标记中的至少一个的特征，其中，所述命中图图像包括命中车道标记的像素的分类，并且所述拟合的车道标记包括基于所述命中图图像优化的像素；以及
基于所述特征和地面真值来训练置信度模块，所述置信度模块被配置为使用以弧形来表示车道标记的参数，在线确定拟合的车道标记是否合理。
12.根据权利要求11所述的系统，其中，生成地面真值包括：
通过使用所述参数注释车道标记来生成标注的车道标记。
13.根据权利要求11所述的系统，还包括：
使用所述地面真值来训练车道检测算法；以及
基于车道检测算法来生成针对当前视图的命中图图像。
14.根据权利要求13所述的系统，还包括：
基于所述命中图图像和车道模板来生成拟合的车道标记，所述车道模板包括紧邻当前视图之前的视图的特征。
15.根据权利要求14所述的系统，其中，生成拟合的车道标记包括：
基于先验知识或约束来优化所述车道模板以获得局部最优。
16.根据权利要求11所述的系统，还包括：
使用所述参数来确定拟合的车道标记的置信度水平是合理的；以及
输出拟合的车道标记作为预测的车道标记。
17.根据权利要求16所述的系统，还包括：
将具有合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及
当比较结果表明拟合的车道标记与所述地面真值不匹配时，确定与拟合的车道标记相关联的失败模式。
18.根据权利要求11所述的系统，还包括：
使用所述参数来确定拟合的车道的置信度水平是不合理的；以及
拒绝拟合的车道标记。
19.根据权利要求18所述的系统，还包括：
将具有不合理置信度水平的拟合的车道标记与所述地面真值进行比较；以及
当比较结果表明拟合的车道标记与所述地面真值匹配时，确定与拟合的车道标记相关联的失败模式。
20.根据权利要求11所述的系统，还包括：
通过在训练置信度模块时添加附加的标注数据来细化置信度模块。
CN201880055025.8A 2017-08-22 2018-08-22 利用多个传感器的基于运动的车道检测的验证模块系统和方法 Active CN111052132B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/683,441 US10816354B2 (en) 2017-08-22 2017-08-22 Verification module system and method for motion-based lane detection with multiple sensors
US15/683,441 2017-08-22
PCT/US2018/047608 WO2019040670A1 (en) 2017-08-22 2018-08-22 VERIFICATION MODULE SYSTEM AND METHOD FOR DETECTING PATH ON THE BASIS OF DISPLACEMENT AND USING MULTIPLE SENSORS

Publications (2)

Publication Number Publication Date
CN111052132A true CN111052132A (zh) 2020-04-21
CN111052132B CN111052132B (zh) 2024-05-28

Family

ID=65435004

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880055025.8A Active CN111052132B (zh) 2017-08-22 2018-08-22 利用多个传感器的基于运动的车道检测的验证模块系统和方法

Country Status (4)

Country Link
US (4) US10816354B2 (zh)
EP (1) EP3673340A4 (zh)
CN (1) CN111052132B (zh)
WO (1) WO2019040670A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114290993A (zh) * 2020-10-05 2022-04-08 大众汽车股份公司 机动车的抬头显示装置的与车道相关的视觉辅助功能

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US11080537B2 (en) * 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US10803325B2 (en) * 2017-11-15 2020-10-13 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
CN109343061B (zh) * 2018-09-19 2021-04-02 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
CN110084095B (zh) * 2019-03-12 2022-03-25 浙江大华技术股份有限公司 车道线检测方法、车道线检测装置和计算机存储介质
FR3093847B1 (fr) * 2019-03-13 2021-02-12 Psa Automobiles Sa Entraînement d’un réseau de neurones, pour l’assistance à la conduite d’un véhicule par détermination de délimitations difficilement observables
US11718324B2 (en) 2019-04-11 2023-08-08 Isee, Inc. Instance segmentation imaging system
CN110567480B (zh) * 2019-09-12 2021-06-29 北京百度网讯科技有限公司 车辆定位的优化方法、装置、设备及存储介质
DE102020202964A1 (de) * 2020-03-09 2021-09-09 Continental Automotive Gmbh Die Erfindung betrifft ein Verfahren zur Erhöhung der Sicherheit von Fahrfunktionen.
EP3893150A1 (en) 2020-04-09 2021-10-13 Tusimple, Inc. Camera pose estimation techniques
AU2021204030A1 (en) * 2020-06-28 2022-01-20 Beijing Tusen Weilai Technology Co., Ltd. Multi-sensor calibration system
CN113847930A (zh) 2020-06-28 2021-12-28 图森有限公司 多传感器校准系统
US11960276B2 (en) 2020-11-19 2024-04-16 Tusimple, Inc. Multi-sensor collaborative calibration system
CN112528864A (zh) * 2020-12-14 2021-03-19 北京百度网讯科技有限公司 模型生成方法、装置、电子设备和存储介质
US11702089B2 (en) 2021-01-15 2023-07-18 Tusimple, Inc. Multi-sensor sequential calibration system
EP4047515B1 (en) * 2021-02-19 2023-10-11 Zenseact AB Platform for perception system development for automated driving systems
CN113870600B (zh) * 2021-09-29 2022-09-27 禾多阡陌科技(北京)有限公司 车道线信息显示方法、装置、电子设备和计算机可读介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102815305A (zh) * 2011-06-09 2012-12-12 通用汽车环球科技运作有限责任公司 通过用于车道居中/保持的对象车辆信息的车道感测增强
WO2016090282A1 (en) * 2014-12-05 2016-06-09 Cowbyt Technologies Llc Autonomous navigation system
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
CN105825173A (zh) * 2016-03-11 2016-08-03 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法
CN106909876A (zh) * 2015-12-22 2017-06-30 豪威科技股份有限公司 车道检测系统及方法

Family Cites Families (269)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL266208A (zh) 1960-06-21
DE2608513A1 (de) 1976-03-02 1977-09-08 Standard Elektrik Lorenz Ag Anordnung zur weichensteuerung fuer ein verkehrssystem
WO1991009375A1 (en) 1989-12-11 1991-06-27 Caterpillar Inc. Integrated vehicle positioning and navigation system, apparatus and method
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US7103460B1 (en) 1994-05-09 2006-09-05 Automotive Technologies International, Inc. System and method for vehicle diagnostics
US7783403B2 (en) 1994-05-23 2010-08-24 Automotive Technologies International, Inc. System and method for preventing vehicular accidents
US7655894B2 (en) 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6084870A (en) 1996-07-22 2000-07-04 Qualcomm Incorporated Method and apparatus for the remote monitoring and configuration of electronic control systems
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
JP3183501B2 (ja) 1997-07-07 2001-07-09 本田技研工業株式会社 車両用走行制御装置
US6243648B1 (en) 1999-07-12 2001-06-05 Eagle Eye, Inc. Fast acquisition position reporting system
US6594821B1 (en) 2000-03-30 2003-07-15 Transmeta Corporation Translation consistency checking for modified target instructions by comparing to original copy
JP3777398B2 (ja) 2000-04-26 2006-05-24 株式会社ジェイテクト 車両用操舵制御装置
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US6882287B2 (en) 2001-07-31 2005-04-19 Donnelly Corporation Automotive lane change aid
US7363149B2 (en) 2001-12-13 2008-04-22 Robert Bosch Gmbh Autonomous in-vehicle navigation system and diagnostic system
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
AU2003225228A1 (en) 2002-05-03 2003-11-17 Donnelly Corporation Object detection system for vehicle
US9007197B2 (en) 2002-05-20 2015-04-14 Intelligent Technologies International, Inc. Vehicular anticipatory sensor system
US6975923B2 (en) 2002-10-01 2005-12-13 Roke Manor Research Limited Autonomous vehicle guidance on or near airports
US6777904B1 (en) 2003-02-25 2004-08-17 Ford Global Technologies, Llc Method and system for controlling a motor
US8855405B2 (en) 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
ATE396470T1 (de) 2004-04-08 2008-06-15 Mobileye Technologies Ltd Kollisionswarnsystem
US20070230792A1 (en) 2004-04-08 2007-10-04 Mobileye Technologies Ltd. Pedestrian Detection
WO2005098751A1 (en) 2004-04-08 2005-10-20 Mobileye Technologies Limited Crowd detection
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
US8078338B2 (en) 2004-10-22 2011-12-13 Irobot Corporation System and method for behavior based control of an autonomous vehicle
DE112006000295T5 (de) 2005-02-23 2008-04-17 Matsushita Electric Works, Ltd., Kadoma Autonomes Fahrzeug und Verfahren zur Erkennung von planaren Hindernissen
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100802511B1 (ko) 2005-10-11 2008-02-13 주식회사 코리아 와이즈넛 토픽 기반의 검색 서비스 제공 시스템 및 그 방법
US8553088B2 (en) 2005-11-23 2013-10-08 Mobileye Technologies Limited Systems and methods for detecting obstructions in a camera field of view
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8265392B2 (en) 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation
US8150155B2 (en) 2006-02-07 2012-04-03 Qualcomm Incorporated Multi-mode region-of-interest video object segmentation
US7689559B2 (en) 2006-02-08 2010-03-30 Telenor Asa Document similarity scoring and ranking method, device and computer program product
US8050863B2 (en) 2006-03-16 2011-11-01 Gray & Company, Inc. Navigation and control system for autonomous vehicles
US8417060B2 (en) 2006-03-20 2013-04-09 Arizona Board Of Regents For And On Behalf Of Arizona State University Methods for multi-point descriptors for image registrations
US8108092B2 (en) 2006-07-14 2012-01-31 Irobot Corporation Autonomous behaviors for a remote vehicle
JP4938351B2 (ja) 2006-05-16 2012-05-23 トヨタ自動車株式会社 車両用測位情報更新装置
US7786898B2 (en) 2006-05-31 2010-08-31 Mobileye Technologies Ltd. Fusion of far infrared and visible images in enhanced obstacle detection in automotive applications
US7876926B2 (en) 2006-11-03 2011-01-25 Delphi Technologies, Inc. Lane marker detection and fitting methods
EP2383713B1 (en) 2006-12-06 2013-05-29 Mobileye Technologies Limited Detecting and recognizing traffic signs
US20080249667A1 (en) 2007-04-09 2008-10-09 Microsoft Corporation Learning and reasoning to enhance energy efficiency in transportation systems
US7839292B2 (en) 2007-04-11 2010-11-23 Nec Laboratories America, Inc. Real-time driving danger level prediction
US8229163B2 (en) 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8041111B1 (en) 2007-10-15 2011-10-18 Adobe Systems Incorporated Subjective and locatable color theme extraction for images
US9176006B2 (en) 2008-01-15 2015-11-03 Mobileye Vision Technologies Ltd. Detection and classification of light sources using a diffraction grating
US9117133B2 (en) 2008-06-18 2015-08-25 Spectral Image, Inc. Systems and methods for hyperspectral imaging
US20100049397A1 (en) 2008-08-22 2010-02-25 Garmin Ltd. Fuel efficient routing
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US8345956B2 (en) 2008-11-03 2013-01-01 Microsoft Corporation Converting 2D video into stereo video
US9459515B2 (en) 2008-12-05 2016-10-04 Mobileye Vision Technologies Ltd. Adjustable camera mount for a vehicle windshield
US8175376B2 (en) 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
EP2411961B1 (en) 2009-03-26 2012-10-31 TP Vision Holding B.V. Method and apparatus for modifying an image by using a saliency map based on color frequency
US8271871B2 (en) 2009-04-30 2012-09-18 Xerox Corporation Automated method for alignment of document objects
WO2010134502A1 (ja) 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
US8392117B2 (en) 2009-05-22 2013-03-05 Toyota Motor Engineering & Manufacturing North America, Inc. Using topological structure for path planning in semi-structured environments
US9002632B1 (en) 2009-07-19 2015-04-07 Aaron T. Emigh Fuel cost optimized routing
DE102009046124A1 (de) 2009-10-28 2011-05-05 Ifm Electronic Gmbh Verfahren und Vorrichtung zur Kalibrierung eines 3D-TOF-Kamerasystems
TWI393074B (zh) 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8726305B2 (en) 2010-04-02 2014-05-13 Yahoo! Inc. Methods and systems for application rendering and management on internet television enabled displays
KR101145112B1 (ko) 2010-05-11 2012-05-14 국방과학연구소 자율이동차량의 조향제어장치, 이를 구비하는 자율이동차량 및 자율이동차량의 조향제어방법
US9753128B2 (en) 2010-07-23 2017-09-05 Heptagon Micro Optics Pte. Ltd. Multi-path compensation using multiple modulation frequencies in time of flight sensor
US9043078B2 (en) 2010-08-13 2015-05-26 Deere & Company Method and system for performing diagnostics or software maintenance for a vehicle
WO2012026406A1 (ja) 2010-08-27 2012-03-01 京セラ株式会社 携帯電子機器及び携帯電子機器の使用方法
EP2616989A1 (en) 2010-09-16 2013-07-24 Tomtom Polska SP.Z.O.O. Improvements in or relating to automatic detection of the number of lanes into which a road is divided
US9280711B2 (en) 2010-09-21 2016-03-08 Mobileye Vision Technologies Ltd. Barrier and guardrail detection using a single camera
US9118816B2 (en) 2011-12-06 2015-08-25 Mobileye Vision Technologies Ltd. Road vertical contour detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
EP2448251B1 (en) 2010-10-31 2019-09-25 Mobileye Vision Technologies Ltd. Bundling night vision and other driver assistance systems (DAS) using near infra red (NIR) illumination and a rolling shutter
US9355635B2 (en) 2010-11-15 2016-05-31 Futurewei Technologies, Inc. Method and system for video summarization
US9251708B2 (en) 2010-12-07 2016-02-02 Mobileye Vision Technologies Ltd. Forward collision warning trap and pedestrian advanced warning system
US9823339B2 (en) 2010-12-21 2017-11-21 Microsoft Technology Licensing, Llc Plural anode time-of-flight sensor
WO2012095658A1 (en) 2011-01-14 2012-07-19 Bae Systems Plc Data transfer system and method thereof
US9323250B2 (en) 2011-01-28 2016-04-26 Intouch Technologies, Inc. Time-dependent navigation of telepresence robots
WO2012115594A1 (en) 2011-02-21 2012-08-30 Stratech Systems Limited A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
CN102184535B (zh) 2011-04-14 2013-08-14 西北工业大学 一种车辆所在车道边界检测方法
US8401292B2 (en) 2011-04-26 2013-03-19 Eastman Kodak Company Identifying high saliency regions in digital images
US9233659B2 (en) 2011-04-27 2016-01-12 Mobileye Vision Technologies Ltd. Pedestrian collision warning system
KR101777875B1 (ko) 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9183447B1 (en) 2011-06-09 2015-11-10 Mobileye Vision Technologies Ltd. Object detection using candidate object alignment
GB2492848A (en) 2011-07-15 2013-01-16 Softkinetic Sensors Nv Optical distance measurement
US9490064B2 (en) 2011-07-28 2016-11-08 Honda Motor Co., Ltd. Wireless power transmission method
US8744123B2 (en) 2011-08-29 2014-06-03 International Business Machines Corporation Modeling of temporarily static objects in surveillance video data
US9418438B2 (en) 2011-09-12 2016-08-16 Intel Corporation Networked capture and 3D display of localized, segmented images
DE102011083749B4 (de) 2011-09-29 2015-06-11 Aktiebolaget Skf Rotorblatt einer Windkraftanlage mit einer Vorrichtung zum Erfassen eines Abstandswertes und Verfahren zum Erfassen eines Abstandswertes
US8891820B2 (en) 2011-09-29 2014-11-18 The Boeing Company Multi-modal sensor fusion
US20140143839A1 (en) 2011-11-16 2014-05-22 Flextronics Ap, Llc. On board vehicle remote control module
WO2013084225A1 (en) 2011-12-05 2013-06-13 Brightway Vision Ltd. Smart traffic sign system and method
US9324151B2 (en) 2011-12-08 2016-04-26 Cornell University System and methods for world-scale camera pose estimation
US9297641B2 (en) 2011-12-12 2016-03-29 Mobileye Vision Technologies Ltd. Detection of obstacles at night by analysis of shadows
FR2984254B1 (fr) 2011-12-16 2016-07-01 Renault Sa Controle de vehicules autonomes
US8810666B2 (en) 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
US9317776B1 (en) 2013-03-13 2016-04-19 Hrl Laboratories, Llc Robust static and moving object detection system via attentional mechanisms
JP5605381B2 (ja) 2012-02-13 2014-10-15 株式会社デンソー クルーズ制御装置
US9042648B2 (en) 2012-02-23 2015-05-26 Microsoft Technology Licensing, Llc Salient object segmentation
US8457827B1 (en) 2012-03-15 2013-06-04 Google Inc. Modifying behavior of autonomous vehicle based on predicted behavior of other vehicles
US9476970B1 (en) 2012-03-19 2016-10-25 Google Inc. Camera based localization
US8737690B2 (en) 2012-04-06 2014-05-27 Xerox Corporation Video-based method for parking angle violation detection
US8718861B1 (en) 2012-04-11 2014-05-06 Google Inc. Determining when to drive autonomously
US9549158B2 (en) 2012-04-18 2017-01-17 Brightway Vision Ltd. Controllable single pixel sensors
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
CN107690050B (zh) 2012-04-18 2020-07-31 布莱特瓦维森有限公司 用于提供白天场景和夜间场景的改进的图像的系统
US9810785B2 (en) 2012-05-29 2017-11-07 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
US9134402B2 (en) 2012-08-13 2015-09-15 Digital Signal Corporation System and method for calibrating video and lidar subsystems
US9620010B2 (en) 2012-08-21 2017-04-11 Brightway Vision Ltd. Simultaneously illuminating traffic light signals at different ranges
US9025880B2 (en) 2012-08-29 2015-05-05 Disney Enterprises, Inc. Visual saliency estimation for images and video
US9074878B2 (en) 2012-09-06 2015-07-07 Faro Technologies, Inc. Laser scanner
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9120485B1 (en) 2012-09-14 2015-09-01 Google Inc. Methods and systems for smooth trajectory generation for a self-driving vehicle
US9111444B2 (en) 2012-10-31 2015-08-18 Raytheon Company Video and lidar target detection and tracking system and method for segmenting moving targets
WO2014088997A1 (en) 2012-12-03 2014-06-12 Abb Technology Ag Teleoperation of machines having at least one actuated mechanism and one machine controller comprising a program code including instructions for transferring control of the machine from said controller to a remote control station
DE102013225676B4 (de) 2012-12-17 2018-06-07 pmdtechnologies ag Lichtlaufzeitkamera mit einer Bewegungserkennung
US9063548B1 (en) 2012-12-19 2015-06-23 Google Inc. Use of previous detections for lane marker detection
US9602807B2 (en) 2012-12-19 2017-03-21 Microsoft Technology Licensing, Llc Single frequency time of flight de-aliasing
US9081385B1 (en) 2012-12-21 2015-07-14 Google Inc. Lane boundary detection using images
US9092430B2 (en) 2013-01-02 2015-07-28 International Business Machines Corporation Assigning shared catalogs to cache structures in a cluster computing system
US8788134B1 (en) 2013-01-04 2014-07-22 GM Global Technology Operations LLC Autonomous driving merge management system
EP2946336B1 (en) 2013-01-15 2023-06-21 Mobileye Vision Technologies Ltd. Stereo assist with rolling shutters
US9277132B2 (en) 2013-02-21 2016-03-01 Mobileye Vision Technologies Ltd. Image distortion correction of a camera with a rolling shutter
US9147255B1 (en) 2013-03-14 2015-09-29 Hrl Laboratories, Llc Rapid object detection by combining structural information from image segmentation with bio-inspired attentional mechanisms
US9652860B1 (en) 2013-03-15 2017-05-16 Puretech Systems, Inc. System and method for autonomous PTZ tracking of aerial targets
WO2014200589A2 (en) 2013-03-15 2014-12-18 Leap Motion, Inc. Determining positional information for an object in space
US9342074B2 (en) 2013-04-05 2016-05-17 Google Inc. Systems and methods for transitioning control of an autonomous vehicle to a driver
CN103198128A (zh) 2013-04-11 2013-07-10 苏州阔地网络科技有限公司 一种云教育平台的数据搜索方法及系统
AU2013205548A1 (en) 2013-04-30 2014-11-13 Canon Kabushiki Kaisha Method, system and apparatus for tracking objects of a scene
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9025825B2 (en) 2013-05-10 2015-05-05 Palo Alto Research Center Incorporated System and method for visual motion based object segmentation and tracking
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
EP3008708B1 (en) 2013-06-13 2019-12-18 Mobileye Vision Technologies Ltd. Vision augmented navigation
IL227265A0 (en) 2013-06-30 2013-12-31 Brightway Vision Ltd Smart flash for the camera
KR102111784B1 (ko) 2013-07-17 2020-05-15 현대모비스 주식회사 차량 위치 인식 장치 및 방법
JP6142733B2 (ja) 2013-08-26 2017-06-07 株式会社ジェイテクト 車両のパワーステアリング装置
US9315192B1 (en) 2013-09-30 2016-04-19 Google Inc. Methods and systems for pedestrian avoidance using LIDAR
US9122954B2 (en) 2013-10-01 2015-09-01 Mobileye Vision Technologies Ltd. Performing a histogram using an array of addressable registers
US9738280B2 (en) 2013-10-03 2017-08-22 Robert Bosch Gmbh Adaptive cruise control with on-ramp detection
US20150112765A1 (en) 2013-10-22 2015-04-23 Linkedln Corporation Systems and methods for determining recruiting intent
US9330334B2 (en) 2013-10-24 2016-05-03 Adobe Systems Incorporated Iterative saliency map estimation
US9299004B2 (en) 2013-10-24 2016-03-29 Adobe Systems Incorporated Image foreground detection
US9528834B2 (en) 2013-11-01 2016-12-27 Intelligent Technologies International, Inc. Mapping techniques using probe vehicles
EP3812962A1 (en) 2013-12-04 2021-04-28 Mobileye Vision Technologies Ltd. Navigating a vehicle to pass another vehicle
EP2887311B1 (en) 2013-12-20 2016-09-14 Thomson Licensing Method and apparatus for performing depth estimation
CA2935617C (en) 2013-12-30 2023-09-12 Craig Arnold Tieman Connected vehicle system with infotainment interface for mobile devices
EP3736732A1 (en) 2014-01-30 2020-11-11 Mobileye Vision Technologies Ltd. Systems and methods for lane end recognition
CN109884618B (zh) 2014-02-20 2023-05-26 御眼视觉技术有限公司 车辆的导航系统、包括导航系统的车辆和导航车辆的方法
CN103793925B (zh) 2014-02-24 2016-05-18 北京工业大学 融合时空特征的视频图像视觉显著程度检测方法
US9981389B2 (en) 2014-03-03 2018-05-29 California Institute Of Technology Robotics platforms incorporating manipulators having common joint designs
EP2918974B1 (en) 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
US9476730B2 (en) 2014-03-18 2016-10-25 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
JP6282498B2 (ja) 2014-03-19 2018-02-21 株式会社東芝 画像処理装置、その方法、及び、そのプログラム
DE102014205170A1 (de) 2014-03-20 2015-11-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Ermitteln einer Trajektorie für ein Fahrzeug
US9739609B1 (en) 2014-03-25 2017-08-22 Amazon Technologies, Inc. Time-of-flight sensor with configurable phase delay
US9151626B1 (en) 2014-04-11 2015-10-06 Nissan North America, Inc. Vehicle position estimation system
US9471889B2 (en) 2014-04-24 2016-10-18 Xerox Corporation Video tracking based method for automatic sequencing of vehicles in drive-thru applications
CN105100134A (zh) 2014-04-28 2015-11-25 思科技术公司 屏幕共享缓存管理
US9443163B2 (en) 2014-05-14 2016-09-13 Mobileye Vision Technologies Ltd. Systems and methods for curb detection and pedestrian hazard assessment
US9720418B2 (en) 2014-05-27 2017-08-01 Here Global B.V. Autonomous vehicle monitoring and control
US10572744B2 (en) 2014-06-03 2020-02-25 Mobileye Vision Technologies Ltd. Systems and methods for detecting an object
US9457807B2 (en) 2014-06-05 2016-10-04 GM Global Technology Operations LLC Unified motion planning algorithm for autonomous driving vehicle in obstacle avoidance maneuver
WO2015189847A1 (en) 2014-06-10 2015-12-17 Mobileye Vision Technologies Ltd. Top-down refinement in lane marking navigation
IL233356A (en) 2014-06-24 2015-10-29 Brightway Vision Ltd Sensor-based imaging system with minimum wait time between sensor exposures
US9628565B2 (en) 2014-07-23 2017-04-18 Here Global B.V. Highly assisted driving platform
US9766625B2 (en) 2014-07-25 2017-09-19 Here Global B.V. Personalized driving of autonomously driven vehicles
US20160026787A1 (en) 2014-07-25 2016-01-28 GM Global Technology Operations LLC Authenticating messages sent over a vehicle bus that include message authentication codes
EP4254383A3 (en) 2014-08-18 2023-12-20 Mobileye Vision Technologies Ltd. Recognition and prediction of lane constraints
US9554030B2 (en) 2014-09-29 2017-01-24 Yahoo! Inc. Mobile device image acquisition using objects of interest recognition
US9248834B1 (en) 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US9746550B2 (en) 2014-10-08 2017-08-29 Ford Global Technologies, Llc Detecting low-speed close-range vehicle cut-in
US9779276B2 (en) 2014-10-10 2017-10-03 Hand Held Products, Inc. Depth sensor based auto-focus system for an indicia scanner
US9773155B2 (en) 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
US9959903B2 (en) 2014-10-23 2018-05-01 Qnap Systems, Inc. Video playback method
EP3018448B1 (en) 2014-11-04 2021-01-06 Volvo Car Corporation Methods and systems for enabling improved positioning of a vehicle
US9547985B2 (en) 2014-11-05 2017-01-17 Here Global B.V. Method and apparatus for providing access to autonomous vehicles based on user context
KR101664582B1 (ko) 2014-11-12 2016-10-10 현대자동차주식회사 자율주행차량의 주행경로 생성장치 및 방법
KR102312273B1 (ko) 2014-11-13 2021-10-12 삼성전자주식회사 거리영상 측정용 카메라 및 그 동작방법
US9494935B2 (en) 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US9347779B1 (en) 2014-12-10 2016-05-24 Here Global B.V. Method and apparatus for determining a position of a vehicle based on driving behavior
KR20160078724A (ko) 2014-12-24 2016-07-05 한국전자통신연구원 카메라 감시 영역 표시 방법 및 장치
CA2976344A1 (en) 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US9805294B2 (en) 2015-02-12 2017-10-31 Mitsubishi Electric Research Laboratories, Inc. Method for denoising time-of-flight range images
US10115024B2 (en) 2015-02-26 2018-10-30 Mobileye Vision Technologies Ltd. Road vertical contour detection using a stabilized coordinate frame
EP3082063A1 (en) 2015-04-17 2016-10-19 Tata Consultancy Services Limited Method and system for ground truth determination in lane departure warning
JP6421684B2 (ja) 2015-04-17 2018-11-14 井関農機株式会社 乗用草刈機
US9649999B1 (en) 2015-04-28 2017-05-16 Sprint Communications Company L.P. Vehicle remote operations control
US10635761B2 (en) 2015-04-29 2020-04-28 Energid Technologies Corporation System and method for evaluation of object autonomy
US9483839B1 (en) 2015-05-06 2016-11-01 The Boeing Company Occlusion-robust visual object fingerprinting using fusion of multiple sub-region signatures
JP6269566B2 (ja) 2015-05-08 2018-01-31 トヨタ自動車株式会社 誤認識判定装置
US10345809B2 (en) 2015-05-13 2019-07-09 Uber Technologies, Inc. Providing remote assistance to an autonomous vehicle
US9613273B2 (en) 2015-05-19 2017-04-04 Toyota Motor Engineering & Manufacturing North America, Inc. Apparatus and method for object tracking
DE102015210015A1 (de) 2015-06-01 2016-12-01 Robert Bosch Gmbh Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
US9690290B2 (en) 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
JP6503906B2 (ja) 2015-06-10 2019-04-24 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102015211926A1 (de) 2015-06-26 2016-12-29 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln bzw. Bewerten einer Soll-Trajektorie eines Kraftfahrzeugs
JP6436237B2 (ja) 2015-07-23 2018-12-12 日本電気株式会社 経路切替装置、経路切替システムおよび経路切替方法
US9710714B2 (en) 2015-08-03 2017-07-18 Nokia Technologies Oy Fusion of RGB images and LiDAR data for lane classification
US9989965B2 (en) 2015-08-20 2018-06-05 Motionloft, Inc. Object detection and analysis via unmanned aerial vehicle
US10282591B2 (en) 2015-08-24 2019-05-07 Qualcomm Incorporated Systems and methods for depth map sampling
US9587952B1 (en) 2015-09-09 2017-03-07 Allstate Insurance Company Altering autonomous or semi-autonomous vehicle operation based on route traversal values
EP3353706A4 (en) 2015-09-15 2019-05-08 SZ DJI Technology Co., Ltd. SYSTEM AND METHOD FOR MONITORING UNIFORM TARGET TRACKING
KR20170049453A (ko) 2015-10-28 2017-05-10 엘지이노텍 주식회사 광출력 모듈 및 이를 포함하는 자동차 및 그 제어 방법
US9630619B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Robotic vehicle active safety systems and methods
US9507346B1 (en) 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
WO2017079349A1 (en) 2015-11-04 2017-05-11 Zoox, Inc. System for implementing an active safety system in an autonomous vehicle
KR20170065083A (ko) 2015-12-02 2017-06-13 현대오트론 주식회사 도로 시설물 정보를 이용한 차선 표시 장치 및 방법
US10127685B2 (en) 2015-12-16 2018-11-13 Objectvideo Labs, Llc Profile matching of buildings and urban structures
KR102373926B1 (ko) 2016-02-05 2022-03-14 삼성전자주식회사 이동체 및 이동체의 위치 인식 방법
US9568915B1 (en) 2016-02-11 2017-02-14 Mitsubishi Electric Research Laboratories, Inc. System and method for controlling autonomous or semi-autonomous vehicle
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
EP3433131B1 (en) * 2016-03-23 2023-07-12 Netradyne, Inc. Advanced path prediction
US9535423B1 (en) 2016-03-29 2017-01-03 Adasworks Kft. Autonomous vehicle with improved visual detection ability
US9776638B1 (en) 2016-04-20 2017-10-03 GM Global Technology Operations LLC Remote interrogation and override for automated driving system
JP6838285B2 (ja) 2016-04-28 2021-03-03 日立Astemo株式会社 レーンマーカ認識装置、自車両位置推定装置
US10362429B2 (en) 2016-04-28 2019-07-23 California Institute Of Technology Systems and methods for generating spatial sound information relevant to real-world environments
US9672446B1 (en) 2016-05-06 2017-06-06 Uber Technologies, Inc. Object detection for an autonomous vehicle
JP2017224876A (ja) 2016-06-13 2017-12-21 アイシン精機株式会社 撮影画像判定装置
US9888364B2 (en) 2016-06-17 2018-02-06 Lightmetrics Technologies Pvt. Ltd. Localizing a smartphone in a moving vehicle
US10852744B2 (en) 2016-07-01 2020-12-01 Uatc, Llc Detecting deviations in driving behavior for autonomous vehicles
EP3290864A1 (en) 2016-08-30 2018-03-07 Continental Automotive GmbH Driver assistance system for determining a position of a vehicle
CN113140125B (zh) 2016-08-31 2022-06-17 北京万集科技股份有限公司 车路协同辅助驾驶方法及路侧设备
EP3510355A1 (en) 2016-09-09 2019-07-17 Nextnav, LLC Systems and methods for calibrating unstable sensors
KR101876968B1 (ko) 2016-10-21 2018-07-12 네이버 주식회사 실내 자율 주행 로봇을 위한 제어 방법 및 시스템
WO2018081807A2 (en) 2016-10-31 2018-05-03 Mobileye Vision Technologies Ltd. Systems and methods for navigating lane merges and lane splits
KR20180050823A (ko) 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
WO2018100617A1 (ja) 2016-11-29 2018-06-07 三菱重工機械システム株式会社 マップマッチング装置、マップマッチングシステム、マップマッチング方法及びプログラム
US10261574B2 (en) 2016-11-30 2019-04-16 University Of Macau Real-time detection system for parked vehicles
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN106781591A (zh) 2016-12-19 2017-05-31 吉林大学 一种基于车路协同的城市车辆导航系统
WO2018125939A1 (en) 2016-12-30 2018-07-05 DeepMap Inc. Visual odometry and pairwise alignment for high definition map creation
KR102535540B1 (ko) 2017-01-12 2023-05-23 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
GB2559196B (en) 2017-01-31 2021-11-17 Sony Europe Bv Determining a position of a vehicle on a track
US10147193B2 (en) 2017-03-10 2018-12-04 TuSimple System and method for semantic segmentation using hybrid dilated convolution (HDC)
US9953236B1 (en) 2017-03-10 2018-04-24 TuSimple System and method for semantic segmentation using dense upsampling convolution (DUC)
US10430968B2 (en) 2017-03-14 2019-10-01 Ford Global Technologies, Llc Vehicle localization using cameras
US10209359B2 (en) 2017-03-28 2019-02-19 Luminar Technologies, Inc. Adaptive pulse rate in a lidar system
US10209089B2 (en) * 2017-04-03 2019-02-19 Robert Bosch Gmbh Automated image labeling for vehicles based on maps
CN107015238A (zh) 2017-04-27 2017-08-04 睿舆自动化（上海）有限公司 基于三维激光雷达的无人车自主定位方法
US10990829B2 (en) 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10444759B2 (en) 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10466704B2 (en) 2017-06-22 2019-11-05 GM Global Technology Operations LLC Autonomous vehicle localization
US20180373980A1 (en) 2017-06-27 2018-12-27 drive.ai Inc. Method for training and refining an artificial intelligence
US10816354B2 (en) 2017-08-22 2020-10-27 Tusimple, Inc. Verification module system and method for motion-based lane detection with multiple sensors
US10223806B1 (en) 2017-08-23 2019-03-05 TuSimple System and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10762673B2 (en) 2017-08-23 2020-09-01 Tusimple, Inc. 3D submap reconstruction system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223807B1 (en) 2017-08-23 2019-03-05 TuSimple Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10565457B2 (en) 2017-08-23 2020-02-18 Tusimple, Inc. Feature matching and correspondence refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10410055B2 (en) 2017-10-05 2019-09-10 TuSimple System and method for aerial video traffic analysis
US10666730B2 (en) 2017-10-28 2020-05-26 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10812589B2 (en) 2017-10-28 2020-10-20 Tusimple, Inc. Storage architecture for heterogeneous multimedia data
US10528823B2 (en) 2017-11-27 2020-01-07 TuSimple System and method for large-scale lane marking detection using multimodal sensor data
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
EP3737595B1 (en) 2018-01-09 2023-12-27 TuSimple, Inc. Real-time remote control of vehicles with high redundancy
CN108182817A (zh) 2018-01-11 2018-06-19 北京图森未来科技有限公司 自动驾驶辅助系统、路侧端辅助系统和车载端辅助系统
CN115834617A (zh) 2018-01-11 2023-03-21 图森有限公司 用于自主车辆操作的监视系统
US11009365B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization
US11009356B2 (en) 2018-02-14 2021-05-18 Tusimple, Inc. Lane marking localization and fusion
US10529089B2 (en) 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
US10685244B2 (en) 2018-02-27 2020-06-16 Tusimple, Inc. System and method for online real-time multi-object tracking
EP3759562B1 (en) 2018-03-02 2022-12-28 DeepMap Inc. Camera based localization for autonomous vehicles
CN110858405A (zh) 2018-08-24 2020-03-03 北京市商汤科技开发有限公司 车载摄像头的姿态估计方法、装置和系统及电子设备
JP2020034472A (ja) 2018-08-31 2020-03-05 株式会社デンソー 自律的ナビゲーションのための地図システム、方法および記憶媒体
US10621452B2 (en) 2018-09-14 2020-04-14 Lyft, Inc. Determining and mapping location-based information for a vehicle
CN111256693B (zh) 2018-12-03 2022-05-13 北京魔门塔科技有限公司 一种计算位姿变化方法及车载终端
US11531110B2 (en) 2019-01-30 2022-12-20 Baidu Usa Llc LiDAR localization using 3D CNN network for solution inference in autonomous driving vehicles
CN112307810B (zh) 2019-07-26 2023-08-04 北京魔门塔科技有限公司 一种视觉定位效果自检方法及车载终端
CN112639882B (zh) 2019-09-12 2021-12-14 华为技术有限公司 定位方法、装置及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102815305A (zh) * 2011-06-09 2012-12-12 通用汽车环球科技运作有限责任公司 通过用于车道居中/保持的对象车辆信息的车道感测增强
WO2016090282A1 (en) * 2014-12-05 2016-06-09 Cowbyt Technologies Llc Autonomous navigation system
CN106909876A (zh) * 2015-12-22 2017-06-30 豪威科技股份有限公司 车道检测系统及方法
CN105667518A (zh) * 2016-02-25 2016-06-15 福州华鹰重工机械有限公司 车道检测的方法及装置
CN105825173A (zh) * 2016-03-11 2016-08-03 福州华鹰重工机械有限公司 通用道路和车道检测系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ANDREAS SCHINDLER: ""Generation of high precision digital maps using circular arc splines"", 《IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114290993A (zh) * 2020-10-05 2022-04-08 大众汽车股份公司 机动车的抬头显示装置的与车道相关的视觉辅助功能

Also Published As

Publication number Publication date
US11573095B2 (en) 2023-02-07
US20190063945A1 (en) 2019-02-28
US20230160712A1 (en) 2023-05-25
CN111052132B (zh) 2024-05-28
US10816354B2 (en) 2020-10-27
EP3673340A4 (en) 2021-05-26
EP3673340A1 (en) 2020-07-01
WO2019040670A1 (en) 2019-02-28
US20210033420A1 (en) 2021-02-04
US11874130B2 (en) 2024-01-16
US20230408284A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
CN111052132B (zh) 利用多个传感器的基于运动的车道检测的验证模块系统和方法
US11151393B2 (en) Feature matching and corresponding refinement and 3D submap position refinement system and method for centimeter precision localization using camera-based submap and LiDAR-based global map
US10223807B1 (en) Feature extraction from 3D submap and global map system and method for centimeter precision localization using camera-based submap and lidar-based global map
US10671083B2 (en) Neural network architecture system for deep odometry assisted by static scene optical flow
US10866101B2 (en) Sensor calibration and time system for ground truth static scene sparse flow generation
US10552979B2 (en) Output of a neural network method for deep odometry assisted by static scene optical flow
US20190066329A1 (en) System and method for centimeter precision localization using camera-based submap and lidar-based global map
US10373003B2 (en) Deep module and fitting module system and method for motion-based lane detection with multiple sensors
US20180356526A1 (en) Sensor calibration and time method for ground truth static scene sparse flow generation
US10360686B2 (en) Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
CN111045024A (zh) 一种基于光检测和测距的车辆追踪方法和系统
US10481267B2 (en) Undistorted raw LiDAR scans and static point extractions method for ground truth static scene sparse flow generation
US10268205B2 (en) Training and testing of a neural network method for deep odometry assisted by static scene optical flow
US10984540B2 (en) Tracking and modeling processing of image data for LiDAR-based vehicle tracking system and method
US20180356831A1 (en) Sparse image point correspondences generation and correspondences refinement method for ground truth static scene sparse flow generation
US20190079533A1 (en) Neural network architecture method for deep odometry assisted by static scene optical flow
US10482769B2 (en) Post-processing module system and method for motioned-based lane detection with multiple sensors
CN111045025A (zh) 一种基于光检测和测距的车辆追踪方法和系统
US20190080166A1 (en) Data acquistion and input of neural network method for deep odometry assisted by static scene optical flow
US20190080167A1 (en) Data acquistion and input of neural network system for deep odometry assisted by static scene optical flow
US20180357314A1 (en) Time synchronization and data acquisition system for ground truth static scene sparse flow generation
US20180357315A1 (en) UNDISTORTED RAW LiDAR SCANS AND STATIC POINT EXTRACTIONS SYSTEM FOR GROUND TRUTH STATIC SCENE SPARSE FLOW GENERATION

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant