CN108802761B - 用于激光雷达点云异常的方法和系统 - Google Patents

用于激光雷达点云异常的方法和系统 Download PDF

Info

Publication number
CN108802761B
CN108802761B CN201810407638.5A CN201810407638A CN108802761B CN 108802761 B CN108802761 B CN 108802761B CN 201810407638 A CN201810407638 A CN 201810407638A CN 108802761 B CN108802761 B CN 108802761B
Authority
CN
China
Prior art keywords
point cloud
lidar point
lidar
autonomous vehicle
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810407638.5A
Other languages
English (en)
Other versions
CN108802761A (zh
Inventor
I·鲁斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108802761A publication Critical patent/CN108802761A/zh
Application granted granted Critical
Publication of CN108802761B publication Critical patent/CN108802761B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/003—Transmission of data between radar, sonar or lidar systems and remote stations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Abstract

提供了用于控制自主车辆的系统和方法。在一个实施例中，一种用于控制自主车辆的方法包括在自主车辆的操作期间从被设置在自主车辆上的一个或多个激光雷达传感器获取激光雷达数据、使用激光雷达数据产生激光雷达点云、经由自主车辆上的处理器基于激光雷达点云与存储在存储器中的先前激光雷达点云信息的比较来作出可能激光雷达点云异常的初始确定、从远程模块接收关于可能激光雷达点云异常是否是已确认的激光雷达点云异常的通知，以及当存在已确认的激光雷达点云异常时采取一个或多个车辆动作。

Description

用于激光雷达点云异常的方法和系统
技术领域
本公开总体涉及车辆，并且更具体地涉及与用于车辆(诸如自主车辆)的激光雷达云异常有关的系统和方法。
背景技术
自主车辆是能够感测其环境并且以很少或不需要用户输入进行导航的车辆。它使用诸如雷达、激光雷达、图像传感器等感测装置来这样做。自主车辆进一步使用来自全球定位系统(GPS)技术、导航系统、车对车通信、车对基础设施技术和/或线控驱动系统的信息来对车辆进行导航。
虽然自主车辆提供了优于传统车辆的许多潜在优点，但是在某些情况下，可能期望改进自主车辆的操作，诸如激光雷达点云数据的使用。
因此，期望提供用于激光雷达点云数据的使用的系统和方法。
发明内容
提供了用于控制自主车辆的系统和方法。在一个实施例中，一种用于控制自主车辆的方法包括在自主车辆的操作期间从被设置在自主车辆上的一个或多个激光雷达传感器获取激光雷达数据、使用激光雷达数据产生激光雷达点云、经由自主车辆上的处理器基于激光雷达点云与存储在存储器中的先前激光雷达点云信息的比较来作出可能激光雷达点云异常的初始确定、从远程模块接收关于可能激光雷达点云异常是否是已确认的激光雷达点云异常的通知，以及当存在已确认的激光雷达点云异常时采取一个或多个车辆动作。
在一个实施例中，一种用于控制自主车辆的系统包括远程计算机模块和自主车辆计算机模块。该自主车辆计算机模块被配置为至少促进在自主车辆的操作期间从被设置在自主车辆上的一个或多个激光雷达传感器获取激光雷达数据、使用激光雷达数据产生激光雷达点云，并且经由自主车辆上的处理器基于激光雷达点云与存储在存储器中的先前激光雷达点云信息的比较作出可能激光雷达点云异常的初始确定。该远程计算机模块远离自主车辆设置，并且被配置为至少促进确认可能激光雷达点云异常。该自主车辆计算机模块进一步被配置为至少促进从远程计算机模块接收关于可能激光雷达点云异常是否是已确认的激光雷达点云异常的通知，并且当存在已确认的激光雷达点云异常时采取一个或多个车辆动作。
附图说明
下文将结合以下附图描述示例性实施例，其中相同标号表示相同元件，且其中：
图1是示出根据各种实施例的自主车辆的功能框图；
图2是示出根据各种实施例的具有如图1中所示的一个或多个自主车辆的运输系统的功能框图；
图3是示出根据各种实施例的与自主车辆相关联的自主驾驶系统(ADS)的功能框图；
图4是示出根据各种实施例的用于自主车辆的激光雷达辅助系统的数据流图；
图5是根据各种实施例的与激光雷达点云异常有关的道路上的自主车辆的示意图；并且
图6是根据各种实施例的用于寻址激光雷达点云异常的控制过程的流程图。
具体实施方式
以下详细描述本质上仅仅是示例性的，并且不旨在限制应用和用途。另外，不存在被任何前述的技术领域、背景、发明内容或以下详细描述中提出的任何明确的或暗示的理论约束的意图。如本文所使用，术语“模块”是指单独地或呈任何组合的任何硬件、软件、固件、电子控制部件、处理逻辑和/或处理器装置，包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、处理器(共享、专用或成组)以及执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能性的其它合适部件。
本公开的实施例在本文可依据功能和/或逻辑块部件和各个处理步骤来描述。应当明白的是，这些块部件可由被配置为执行指定功能的任何数量的硬件、软件和/或固件部件来实施。例如，本公开的实施例可采用各种集成电路部件(例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其它控制装置的控制下执行多种功能)。另外，本领域技术人员将明白的是，本公开的实施例可结合任何数量的系统来实践，并且本文所述的传感器平台仅仅是本公开的一个示例性实施例。
为了简明起见，本文可不详细描述与信号处理、数据传输、信令、控制、机器学习、图像分析以及该系统(和该系统的单个操作部件)的其它功能方面有关的常规技术。另外，本文所包括的各个图式中所示的连接线旨在表示各个元件之间的示例功能关系和/或物理联接。应当注意的是，在本公开的实施例中可存在许多替代或附加的功能关系或物理连接。
参考图1，根据各种实施例，总体上示为100的激光雷达实施系统100与车辆10相关联。通常，激光雷达实施系统(或简称为“系统”)100在适当的情况下为车辆10提供基于激光雷达的辅助，包括检测和处理由车辆10收集的激光雷达数据的激光雷达云异常。如在整个本申请中所使用的，除非另有说明，否则术语“远程用户”、“远程操作员”和“远程个体”应当是指远离车辆10设置的远程人类个体。
如图1中所描绘，车辆10通常包括底盘12、车身14、前轮16和后轮18。车身14被布置在底盘12上并且大致上包围车辆10的部件。车身14和底盘12可共同形成框架。车轮16到18各自在车身14的相应拐角附近旋转地联接到底盘12。
在各种实施例中，车辆10是自主车辆，并且激光雷达实施系统100和/或其部件被结合到自主车辆10(在下文中被称为自主车辆10)中。自主车辆10例如是被自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示出的实施例中，车辆10被描绘为乘用车，但是应当明白的是，也可使用包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、船舶、飞行器等任何其它车辆。
在一个示例性实施例中，自主车辆10对应于汽车工程师协会(SAE)“J3016”标准分类的自动驾驶等级下的四级或五级自动化系统。使用该术语，四级系统指示“高度自动化”，其指代自动驾驶系统在动态驾驶任务的所有方面的驾驶模式所特有的性能，即使人类驾驶员对干预请求没有做出适当响应。另一方面，五级系统指示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下在的动态驾驶任务的所有方面的全面性能。然而，应当明白的是，根据本主题的实施例不限于自动化类别的任何特定的分类学或标题。另外，根据本实施例的系统可与利用导航系统和/或提供路线引导和/或实施方案的任何自主或其它车辆结合使用。
如所示，自主车辆10通常包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34以及通信系统36。推进系统20在各种实施例中可包括内燃机、诸如牵引电动机等电机和/或燃料电池推进系统。变速器系统22被配置为根据可选速比将来自推进系统20的动力传输到多个车轮16和18。根据各种实施例，变速器系统22可包括分级传动比自动变速器、无级变速器或其它适当的变速器。
制动系统26被配置为向车轮16和18提供制动转矩。在各种实施例中，制动系统26可包括摩擦制动器、线控制动器、诸如电机等再生制动系统，和/或其它适当的制动系统。
转向系统24影响车轮16和/或18的位置。虽然为了说明目的而被描绘为包括方向盘25，但是在本公开的范围内预期的一些实施例中，转向系统24可不包括方向盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a到40n。感测装置40a到40n可包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器和/或其它传感器。致动器系统30包括一个或多个致动器装置42a到42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，自主车辆10还可包括图1中未说明的内部和/或外部车辆特征，诸如各种车门、行李箱以及诸如无线电、音乐、照明、触屏显示部件(诸如与导航系统连接中所使用的部件)等驾驶室特征。
数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的限定地图。在各种实施例中，限定地图可由远程系统预定义并且从远程系统获取(关于图2进一步详细描述)。例如，限定地图可由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。路线信息还可被存储在数据装置32内-即，一组路段(在地理上与一个或多个限定地图相关联)，其一起限定了用户可从起始位置(例如，用户的当前位置)行驶到目标位置所采取的路线。同样在各种实施例中，数据存储装置32存储与用于使用激光雷达数据解译激光雷达云的激光雷达数据历史和规则有关的激光雷达相关数据。如将明白的是，数据存储装置32可为控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可为任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制模块34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、它们的任何组合或通常用于执行指令的任何装置。计算机可读存储装置或介质46可包括例如只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储器。KAM是一种持久或非易失性存储器，其可在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其它电动、磁性、光学或组合存储器装置的许多已知存储器中的任何一种来实施，其中的某些数据表示由控制器34用于控制自主车辆10的可执行指令。
指令可包括一个或多个单独的程序，每个程序包括用于实施逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的部件的逻辑、计算、方法和/或算法，并且产生控制信号，其被传输到致动器系统30以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可包括通过任何合适的通信介质或通信介质的组合进行通信并且协作以处理传感器信号、执行逻辑、计算、方法和/或算法且产生控制信号以自动控制自主车辆10的特征的任意数量的控制器34。在一个实施例中，如下文详细地讨论，控制器34被配置为在适当情况下为车辆10提供基于激光雷达的辅助，包括检测和处理由车辆10收集的激光雷达数据的激光雷达云异常。
通信系统36被配置为向和从其它实体48(诸如但不限于其它车辆(“V2V”通信)、基础设施(“V2I”通信)、远程运输系统和/或用户装置(关于图2更详细描述)无线地传送信息。在示例性实施例中，通信系统36是被配置为经由使用IEEE802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的通信系统。然而，诸如专用短程通信(DSRC)信道等附加或替代通信方法也被认为在本公开的范围内。DSRC信道是指专门为汽车使用而设计的单向或双向短程到中程无线通信信道，以及对应的一组协议和标准。
现在参考图2，在各种实施例中，关于图1描述的自主车辆10可适用于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)的出租车或班车系统的背景下或可只需由远程系统管理。例如，自主车辆10可与基于自主车辆的远程运输系统相关联。图2说明了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程运输系统(或简称为“远程运输系统”)52，其与关于图1所描述的一个或多个自主车辆10a到10n相关联。在各种实施例中，操作环境50(其全部或部分可对应于图1中所示的实体48)进一步包括经由通信网络56与自主车辆10和/或远程运输系统52通信的一个或多个用户装置54。
通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可包括无线载波系统60，诸如蜂窝电话系统，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需要的任何其它联网部件。每个手机信号塔均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到MSC。无线载波系统60可实施任何合适的通信技术，包括(例如)诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其它当前或正涌现的无线技术等数字技术。其它手机信号塔/基站/MSC布置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或它们可远离彼此，每个基站可负责单个手机信号塔或单个基站可服务于各个手机信号塔，且各个基站可联接至单个MSC，这里仅列举几种可能布置。
除包括无线载波系统60外，可包括呈卫星通信系统64的形式的第二无线载波系统来提供与自主车辆10a到10n进行的单向或双向通信。这可使用一个或多个通信卫星(未示出)和上行链路传输站(未示出)来进行。单向通信可包括(例如)卫星无线电服务，其中节目内容(新闻、音乐等)是由传输站接收、封装上传并且然后发送至卫星，从而向用户广播该节目。双向通信可包括(例如)使用卫星以在车辆10与站之间中继电话通信的卫星电话服务。除了或代替无线载波系统60，可利用卫星电话。
可进一步包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程运输系统52。例如，陆地通信系统62可包括诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的公共交换电话网(PSTN)。一段或多段陆地通信系统62可通过使用标准有线网络、光纤或其它光学网络、电缆网络、电力线、其它无线网络(诸如无线局域网(WLAN))或提供宽带无线存取(BWA)的网络或其任何组合来实施。另外，远程运输系统52不需要经由陆地通信系统62连接，反而可包括无线电话设备使得其可直接与无线网络(诸如无线载波系统60)通信。
虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可支持任意数量的用户装置54，包括由一个人拥有、操作或以其它方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可使用任何合适的硬件平台来实施。就此而言，用户装置54可以任何常见形式因素来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；一件家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等。由操作环境50支持的每个用户装置54被实现为具有实行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实施的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号产生GPS坐标的GPS模块。在其它实施例中，用户装置54包括蜂窝通信功能性使得该装置通过通信网络56使用一个或多个蜂窝通信协议(如本文所讨论)实行语音和/或数据通信。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其它显示器。
远程运输系统52包括一个或多个后端服务器系统，该后端服务器系统可为基于云的、基于网络的或驻留在由远程运输系统52服务的特定校园或地理位置。远程运输系统52可由现场顾问、自动顾问、人工智能系统或它们的组合来人工操作。远程运输系统52可与用户装置54和自主车辆10a到10n进行通信以安排乘车、派遣自主车辆10a到10n等。在各种实施例中，远程运输系统52存储诸如用户认证信息、车辆标识符、简档记录、生物测量数据、行为模式和其它相关用户信息等账户信息。在一个实施例中，如下面进一步详细描述的，远程运输系统52包括存储与导航系统路线有关的信息的路线数据库53，该信息包括沿着各种路线的道路的车道标记，以及特定路段是否以及在何种程度上受到已经由一个或多个自主车辆10a到10n检测到的建筑区或其它可能的危险或障碍影响。
根据典型的用例工作流程，远程运输系统52的注册用户可经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的乘车位置(或当前GPS位置)、期望目的地位置(其可识别预定义的车辆停靠站和/或用户指定的乘客目的地)以及乘车时间。远程运输系统52接收乘车请求、处理该请求，并且在指定的乘车地点且在适当的时间派遣自主车辆10a到10n中的一个车辆来让乘客乘车(当一个车辆可用时和如果一个车辆可用)。运输系统52还可产生并向用户装置54发送适当配置的确认消息或通知，以使乘客知道车辆正在途中。
如可明白，本文公开的主题提供了可被认为是标准或基线的自主车辆10和/或基于自主车辆的远程运输系统52的某些增强的特征和功能。为此，自主车辆和基于自主车辆的远程运输系统可被修改、增强或以其它方式补充以提供下面更详细描述的附加特征。
根据各种实施例，控制器34实施如图3中所示的自主驾驶系统(ADS)。即，利用控制器34的合适软件和/或硬件部件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统。
在各种实施例中，自主驾驶系统70的指令可由功能或系统组织。例如，如图3中所示，自主驾驶系统70可包括传感器融合系统74、定位系统76、引导系统78和车辆控制系统80。如可明白的是，在各种实施例中，由于本公开不限于本示例，所以可将指令组织(例如，组合、进一步划分等)为任何数量的系统。
在各种实施例中，传感器融合系统74合成并处理传感器数据并且预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，传感器融合系统74可结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其它类型的传感器)的信息。
定位系统76处理传感器数据以及其它数据以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其它数据以确定车辆10遵循的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。
在各种实施例中，控制器34实施机器学习技术以辅助控制器34的功能，诸如特征检测/分类、障碍缓解、路线穿越、绘图、传感器集成、地面实况确定等。
返回参考图1，在各种实施例中，控制器34的一个或多个指令被实施在图1的激光雷达实施系统100中。如上文简要地提及，图1的激光雷达实施系统100在适当情况下为车辆10提供基于激光雷达的辅助，包括检测和处理由车辆10收集的激光雷达数据的激光雷达云异常。
参考图4，示例性激光雷达实施系统400通常包括自主车辆计算机模块410和远程计算机模块420。在所描绘的实施例中，自主车辆计算机模块410例如作为图1的控制器34的一部分和/或一个或多个其它相关计算机系统和/或装置被设置在车辆10上。同样在所描绘的实施例中，远程计算机模块420远离车辆10设置，例如作为图2的基于自主车辆的远程运输系统52的一部分。在各种实施例中，自主车辆计算机模块410提供关于可能激光雷达云异常的激光雷达云数据和其初步分析，并且远程计算机模块420提供对激光雷达云异常的确认和与激光雷达云异常有关的辅助。
在各种实施例中，自主车辆计算机模块410包括一个或多个传感器412、接口414、处理器416、存储器装置(或存储器)417和收发器418。如上所述，在各种实施例中，自主车辆计算机模块410提供关于可能激光雷达云异常的激光雷达云数据和其初步分析。
在某些实施例中，传感器412涉及图1的传感器40a、40b、…40n，并且包括一个或多个激光雷达传感器407、相机408和/或其它传感器409。在各种实施例中，激光雷达传感器407被安装在车辆10的车身的各个位置处，并且产生与车辆周围环境(例如，道路、其它车辆、行人、骑车者、动物、树木、电话杆、建筑物墙壁和其它对象)有关的激光雷达数据点。同样在各种实施例中，相机408被安装在车辆10的车身的各个位置处，并且产生车辆周围的环境的照片和/或视频片段(例如，包括车辆10前方的前视图视频片段、车辆10后面的后视片段、车辆10的驾驶员侧以外的驾驶员侧片段，以及车辆10的乘客侧以外的乘客侧片段到乘客侧片段)。同样在某些实施例中，其它传感器409被设置在车辆10的各个位置处，并且提供关于车辆10和/或其操作和/或周围环境的附加信息(例如，用于检测和监测邻近车辆10的对象的雷达和声纳传感器、用于检测车辆10的轮速的轮速传感器等)。
在某些实施例中，接口414用于与车辆10内的个体通信。例如，在某些实施例中，接口414包括用于从车辆10的乘客接收关于行驶的期望位置的输入的一个或多个输入装置415(例如，触摸屏)(在某些实施例中，接口414可也从图2的用户装置54接收这样的信息)。
同样在某些实施例中，处理器416用于处理经由传感器412和/或接口414获取的信息。在各种实施例中，处理器416使用来自激光雷达传感器407的激光雷达数据针对关于激光雷达点云的可能异常分析激光雷达点云。同样在各种实施例中，存储器417存储与车辆10(和/或图2的其它车辆10a、10b、...10n)的先前数据历史有关的数据和/或激光雷达数据解释规则，以供处理器416检索和使用以分析激光雷达点云。同样在各种实施例中，处理器416使用从传感器412获取的数据(激光雷达和对象检测数据)和从接口414获取的数据(例如，包括关于期望目的地的用户输入)来规划车辆10的行驶路线，并且还实施由远程计算机模块420提供的辅助(例如，调整路线)。
另外，在各种实施例中，收发器418促进自主车辆计算机模块410与远程计算机模块420之间的通信。例如，在某些实施例中，收发器418向远程计算机模块420提供关于激光雷达点云中的可能异常的数据。在某些实施例中，收发器418向远程计算机模块420提供来自激光雷达传感器407的激光雷达点云数据以及来自处理器416的与激光雷达点云数据有关的初始分析、视频片段(例如，从车辆10周围从各种相机408以各种视图获取的片段)以及相关信息(例如，关于各种车辆系统的操作和/或由其它传感器409获取的检测到的对象)。同样在某些实施例中，收发器418经由远程计算机模块420接收手动指令。在各种实施例中，收发器418经由图2的通信网络56(例如，经由一个或多个无线载波和/或其系统)与远程计算机模块420通信。
在各种实施例中，远程计算机模块420包括如图4中所描绘的一个或多个处理器422、存储器存储装置(或存储器)423、接口424和/或收发器426。在各种实施例中，远程计算机模块420确认关于激光雷达点云的异常，并且对车辆10的操作的异常提供辅助。
在某些实施例中，处理器422确定是否存在可能激光雷达云异常(在从自主车辆计算机模块410接收到可能激光雷达点云异常的通知之后)。在某些实施例中，该确定是经由处理器422自动作出的。在其它实施例中，处理器422基于来自(例如，经由接口424远离车辆10设置的)远程用户的输入来作出该确定。
在某些实施例中，存储器423包括用于确认异常和/或用于确定未来激光雷达点云异常和/或用于关于激光雷达点云异常的辅助的手段的数据。例如，在某些实施例中，存储器423存储与各种车辆(例如，图2的车辆10a、10b、...10n)有关的数据，、激光雷达数据解译规则，和/或用于在激光雷达点云异常情况下(例如，包括可能被“列入黑名单”的道路列表，对于该道路列表，禁止或不鼓励车辆行驶至少达一段时间)提供辅助的数据。
在各种实施例中，接口424促进发出由远程人类操作员以专家模式提供的手动输入。例如，在各种实施例中，接口424经由显示器430向远程操作员提供与车辆10的当前操作有关的数据(包括视频片段、任何相关音频和系统操作数据)。在各种实施例中，显示器430包括可视部件434，诸如显示屏(例如，LCD显示屏)。同样在某些实施例中，显示器430还可包括音频部件436(例如，具有用于视频片段的相关音频，和/或用于专家模式实施方案的可能性的音频描述的相关音频等等)。另外，在各种实施例中，接口424还包括供远程用户提供输入的一个或多个输入装置432(例如，包括操纵杆、键盘、触摸屏、方向盘、计算机鼠标、麦克风等等)，用于例如辅助确认激光雷达点云异常和/或考虑到激光雷达点云异常而提供辅助等等。
同样在各种实施例中，收发器426促进远程计算机模块420与自主车辆计算机模块410之间的通信。例如，在某些实施例中，收发器426向自主车辆计算机模块410提供对激光雷达点云异常的确认以及考虑到激光雷达点云异常提供辅助指令。
进一步参考图4，在各种实施例中，来自自主车辆计算机模块410的输出442用作远程计算机模块420的输入。在各种实施例中，来自自主车辆计算机模块410的这样的输出442包括激光雷达点云数据、来自车辆10周围的各种视图的视频片段、其它传感器数据(例如，与在车辆10附近检测到的障碍物和/或车辆10和/或障碍物的运动有关)、来自处理器416的关于激光雷达点云的初始确定，和/或例如经由收发器418提供的各种其它类型的信息。
同样进一步参考图4，远程计算机模块420还从远程用户接收附加输入444。在各种实施例中，附加输入444包括远程用户对激光雷达点云异常的确认。在某些实施例中，附加输入444还可包括来自远程用户的与考虑到激光雷达点云异常的建议辅助有关的输入(例如，如果用户建议车辆10避开特定道路等等)。远程计算机模块420提供输出446，其在各种实施例中包括对激光雷达点云异常的确认以及考虑到激光雷达点云异常的辅助指令(例如，避开特定道路的建议，和/或要避开的特定道路的列表等等)，其用作自主车辆计算机模块410的输入。同样在各种实施例中，自主车辆计算机模块410最终提供输出448(例如，图1的变速器系统22、转向系统24、制动系统26、致动器系统30和/或其它车辆系统)以根据辅助指令控制车辆10、用于使车辆沿着替代路径或路线行驶(为了本申请的目的，术语“路径”和“路线”意图是同义的)。
现在转到图5，提供了根据各种实施例的自主车辆10的示意图。在所描绘的实施例中，车辆10当前经由初始路径504沿着第一道路502行驶。沿着第一道路502检测激光雷达点云506以供图4的自主车辆计算机模块410和远程计算机模块420进行分析。如果确定保证车辆10的路径改变的激光雷达点云506存在异常(例如，在一些实施例中，施工现场、紧急情况场景、急救车辆、交通拥堵、静止车辆或其它对象、马拉松、其它赛跑或事件，或骑行者或行人的其它组合、其它道路堵塞等等)，则车辆10可被引导经由替代路径510在第二道路508上行驶。
现在参考图6，提供了根据各种实施例的用于寻址激光雷达点云异常的控制方法600的流程图。下面结合图6以及继续参考图1到5讨论控制方法600。在各种实施例中，控制方法600可由图1到5的系统100和相关实施方案根据示例性实施例来执行。如根据本公开可理解，该方法内的操作顺序不限于如图6中所示出的顺序执行，而是可根据需要并且根据本公开来以一个或多个不同顺序来执行。在各种实施例中，控制方法600可被安排为基于一个或多个预定事件运行，和/或可在自主车辆10的操作期间连续运行。
在各种实施例中，控制方法600可在602处开始。在各种实施例中，当乘员在车辆10内并且车辆10以自动方式开始操作时发生602。
在某些实施例中，在604处获取乘客输入。在各种实施例中，乘客输入与经由车辆10行驶的期望目的地有关。在各种实施例中，用户输入可经由图4的输入装置415和/或图2的用户装置54获取。
在606处获取地图数据。在各种实施例中，从车辆10上的存储器(诸如图1的数据存储装置32)和/或图2的基于自主车辆的远程运输系统52的远程路线数据库53检索地图数据。同样在各种实施例中，地图数据包括与车辆10附近和/或接近车辆10的当前到其目的地(例如，根据乘客输入)的路线附近或在该路线上的道路有关的地图和相关数据。
在608处产生并实施自主车辆的初始路径。在各种实施例中，针对图1的车辆10使用604的乘客输入和606的地图数据、例如经由处理器416提供的自动指令来经由图3的ADS70产生并实施该初始路径。在各种实施例中，608的初始路径包括车辆10的移动路径，预期该路径将促进车辆10移动到预期目的地，同时最大化相关分数和/或期望标准(例如，最小化驾驶时间、最大化安全和舒适，等等)。将明白的是，在各种实施例中，初始路径还可结合其它数据，例如激光雷达和/或下文讨论的其它传感器数据。
在610处获取激光雷达数据。在各种实施例中，经由图4的激光雷达传感器407在车辆10的操作期间的各个时间点优选地以连续方式获取激光雷达数据。同样在各种实施例中，激光雷达数据包括在车辆10的操作期间来自车辆10周围的区域(包括道路)的各种激光雷达数据点。在各种实施例中，将激光雷达数据提供给图4的处理器416以进行处理。
在612处获取相机数据。在各种实施例中，经由图4的相机408在车辆10的操作期间的各个时间点优选地以连续方式获取相机数据。同样在各种实施例中，相机数据包括车辆10周围的视频片段，包括车辆10前方的前视图、车辆10后面的后视图、超出车辆10的驾驶员侧的驾驶员侧视图以及超出车辆10的乘客侧的乘客侧视图。
在614处获取其它传感器数据。在各种实施例中，经由图4的其它传感器409在车辆10的操作期间的各个时间点优选地以连续方式获取其它传感器数据。同样在某些实施例中，其它传感器数据包括关于车辆10和/或其操作和/或周围环境的附加信息(例如，用于检测和监测邻近车辆10的对象的雷达和声纳传感器、用于检测车辆10的轮速的轮速传感器等)。
在616处从存储器中检索数据。在各种实施例中，图4的处理器416从图4的存储器417检索数据，其包括与用于使用激光雷达数据解译激光雷达云的激光雷达数据历史和规则有关的激光雷达相关数据。
在618处产生激光雷达点云。在各种实施例中，激光雷达点云表示来自610的激光雷达数据的数据点的集合，如经由车辆10上的图4的激光雷达传感器407在车辆10的操作期间获取的。在各种实施例中，激光雷达点云也可至少部分地由图4的处理器416使用来自图4的激光雷达传感器407的数据来产生。
在620处对激光雷达点云执行分析。在某些实施例中，车辆10上的图4的处理器416将610的激光雷达点云与在616处获取的先前分析的和/或已知的点云和/或已知的激光雷达点云规则进行比较。同样在某些实施例中，作为示例，这种先前的和/或已知的激光雷达点云历史和/或规则可与施工现场、紧急情况场景、急救车辆、交通拥堵、静止车辆或其它对象、马拉松、其它赛跑或事件，或骑行者或行人的其它组合、其它道路堵塞等等有关。
在622处确定是否存在潜在的激光雷达点云异常。在各种实施例中，图4的处理器416确定当现有激光雷达点云类似于一个或先前和/或已知的激光雷达点云历史(例如，具有与它们共用的各种点、模式和/或其它特性)时存在潜在的激光雷达点云异常，这些先前和/或已知的激光雷达点云历史与异常有关和/或可保证车辆10的路径变化(例如，与施工现场、紧急情况场景、急救车辆、交通拥堵、静止车辆或其它对象、马拉松、其它赛跑或事件，或骑行者或行人的其它组合、其它道路堵塞等等有关)。
在某些实施例中，为了确定异常，使用一个或多个卷积神经网络(CNN)模型(例如，在618到622处)作为用于检测到的点云对象的分类器。例如，在某些实施例中，处理器416使用一个或多个CNN模型来对作为激光雷达点云的一部分检测到的对象进行预分类以用于确定异常。例如，在某些实施例中，CNN可接收与激光雷达数据点云中的对象有关的激光雷达数据(例如，包括输入图像)；为激光雷达数据实施卷积相位(例如，使用适当大小的卷积滤波器，其产生对应于输入图像的较小排列的一组特征图)；执行特征提取和二次采样(例如，产生有效“平滑”的一组较小特征图以降低卷积滤波器对噪声和其它变化的灵敏度)；执行另一次卷积(例如，以产生较大组的较小特征图，然后对其进行二次采样)；并且最终提供对象的分类(或预分类)(例如，通过处理特征图以产生第一层，随后是产生分类输出的完全连接层)。同样在某些实施例中，可以监督模式通过向CNN提供大量(即，“全集”)输入图像并且基于在CNN的训练期间可能存在于场景内的对象对输出“钳位”来预先训练CNN(例如，作为车队的一部分)。同样在某些实施例中，如本领域中已知的反向传播可用于改进CNN的训练，并且所得到的模块然后可被实施为图4的自主车辆计算机模块410和/或远程计算机模块420中的一个或两个的一部分。同样在某些实施例中，随后在正常操作期间，当车辆10移动通过其环境时，训练的CNN可用于处理激光雷达数据和图像以用于确定激光雷达点云异常。
在624处请求辅助。在各种实施例中，图4的自主车辆计算机模块410的处理器416提供了用于经由图4的收发器418将消息传输到图4的远程计算机模块420的收发器426的指令，并通知已经检测到潜在的激光雷达云异常。同样，在各种实施例中，该通知是图4的输出442的一部分，该输出422从自主车辆计算机模块410到远程计算机模块420。
在626处经由收发器418、426将车辆信息(例如，对应于图4的输出442)从自主车辆计算机模块410提供给远程计算机模块420。在各种实施例中，所传输的信息包括激光雷达点云(例如，包括其一个或多个图像)、其任何初步分析、包括乘客侧前方、后面、乘客侧以及驾驶员侧前方、后面、驾驶员侧的视频片段的视频内容、与车辆10的路径中或以其它方式接近车辆10的任何障碍物有关的对象检测信息，以及车辆系统和操作信息(例如，包括初始路径、车道、当前车道的中心线、车道标记、车速和挡位数据、关于任何错误消息的数据等)和/或任何其它相关信息和数据。
在各种实施例中，图4的自主车辆计算机模块410的处理器416提供了用于经由图4的收发器418将626的信息传输到图4的远程计算机模块420的收发器426的指令，并通知已经检测到潜在的激光雷达云异常。同样，在各种实施例中，该传输是图4的输出442的一部分，该输出422从自主车辆计算机模块410到远程计算机模块420。
另外，在各种实施例中，经由图4的显示器430为远程操作员(例如，在图2的基于自主车辆的远程运输系统52处)显示626的视频内容和数据。同样在各种实施例中，在整个过程中优选地连续地提供视频内容和信息。
在628处提供远程分析。在各种实施例中，经由图4的远程计算机模块420来促进远程分析。具体地，在某些实施例中，图4的一个或多个输入装置415在628处接收由远程操作员手动提供的用于确认激光雷达点云异常的输入(例如，通过在远程操作员已经观察到激光雷达点云图像和在626处提供的视频内容和附加信息之后手动点击框或关于是否已经确认可能激光雷达点云异常的其它指示)。例如，在某些实施例中，远程操作员提供如下确认：潜在的激光雷达点云异常对应于期望车辆10避开道路的情况，诸如与施工现场、紧急情况场景、急救车辆、交通拥堵、静止车辆或其它对象、马拉松、其它赛跑或事件，或骑行者或行人的其它组合、其它道路堵塞等等有关的情况。同样在各种实施例中，远程用户输入对应于用于图4的远程计算机模块420的输入444。另外，在某些实施例中，激光雷达点云异常的确认对应于图4的输出446，该输出446从图4的远程计算机模块420到自主车辆计算机模块410。
在某些其它实施例中，图4的处理器422可在628处通过将激光雷达点云异常与来自图4的存储器423的不同的激光雷达点云规则进行比较来自动确认激光雷达点云异常。例如，在某些实施例中，处理器422可基于当前潜在的激光雷达点云异常与所检索的激光雷达点云规则的比较来自动确定当前道路具有可保证(例如，在施工现场、紧急情况场景、急救车辆、交通拥堵、静止车辆或其它对象、马拉松、其它赛跑或事件，或骑行者或行人的其它组合、其它道路堵塞等等的情况下)车辆10避开道路的情况。在某些实施例中，处理器422可利用人工智能(AI)进行比较和确定。
然后在630确定异常是否已被确认。在各种实施例中，图4的处理器422在628处基于来自远程操作员的输入进行确定。在某些其它实施例中，该确定是由处理器422自动作出的。
如果确定异常已经被确认，则在632处设定确认标志。例如，确认标志用作已经确认激光雷达点云异常的通知使得可提供任何适当的辅助。在某些实施例中，确认标志是由图4的处理器422设定并且存储在远程计算机模块420的图1的存储器423中。在某些实施例中，确认标志是由图4的处理器416设定并且存储在自主车辆计算机模块410的图1的存储器417中。
另外，在634处更新一个或多个数据库。在各种实施例中，图4的远程计算机模块420的处理器422以关于激光雷达点云异常以及激光雷达点云异常对上面已经检测到激光雷达点云异常的道路(例如，车辆10一直在上面行驶的道路)的潜在影响的信息来更新图4的存储器423，和/或图2的路线数据库53。例如，在各种实施例中，图2的路线数据库53被更新，使得车队中的附加车辆(例如，对应于图2的车辆10a、10b、...10n)可酌情利用与激光雷达点云异常有关的信息。例如，在某些实施例中，如果沿着相同道路行驶的其它车辆可能会遇到这些状况，则这种信息可能有助于实施其它这种车辆的数据(例如，如果遇到长时间和/或在长时间不工作的交通灯和/或施工区中保持在道路上等等)。例如，在某些实施例中，包括这种激光雷达点云异常的道路可被“列入黑名单”，使得图2的车辆10a、10b、...、10n将被阻止或不鼓励在将来采取包括这样的黑名单道路的路线，或者至少只要这些道路仍然在“黑名单”上(例如，只要这样的道路包括激光雷达点云异常)就被阻止或不鼓励采取包括这样的黑名单道路的路线。
在636处提供辅助指令。在各种实施例中，图4的远程计算机模块420的处理器422考虑到激光雷达点云异常提供了用于使车辆10行驶的替代路线(例如，对应于图5的替代道路508的替代路径510)。在某些其它实施例中，图4的远程计算机模块420的处理器422考虑到激光雷达点云异常反而提供车辆10行驶的替代路线的参数。例如，在某些实施例中，车辆10可被指示选择不包括已经确认激光雷达点云异常的当前道路的替代路线(例如，对应于图5的替代道路508的替代路径510)。另外，在某些实施例中，车辆10可被指示选择不包括任何“黑名单”道路(例如，对于这些道路，使用由当前车辆10和/或图2的一个或多个其它车辆10a、10b、...10n提供的数据已经确认激光雷达点云异常)的替代路线。同样在各种实施例中，该辅助包括由图4的远程计算机模块420的处理器422经由图4的收发器426提供到图4的自主车辆计算机模块410的指令。另外，同样在某些实施例中，636的辅助/指令对应于图4的输出446，该输出446从图4的远程计算机模块420提供到自主车辆计算机模块410。
在638处实施辅助指令。具体地，在各种实施例中，图4的自主车辆计算机模块410的处理器416实施由图的远程计算机模块420提供的辅助和/或指令。在某些实施例中，处理器416实施由图4的远程计算机模块420提供的车辆10的替代路径(例如，对应于图5的替代道路508的替代路径510)。在某些其它实施例中，处理器416使用由图4的远程计算机模块420提供的参数来产生并实施车辆10的替代路径(例如，通过避开具有激光雷达点云异常的当前道路，和/或通过避开已经对一个或多个其它车辆检测到激光雷达点云异常的其它黑名单道路等等)。在各种实施例中，图4的处理器416通过提供各种车辆系统的指令(例如，提供到变速器系统22、转向系统24、制动系统26、图1的致动器系统30和/或其它车辆系统)来实施替代路线以实施替代路线(例如，对应于图4的输出448)。
随着附加数据被优选地连续收集，该过程然后返回到610。然后过程继续从610开始：确认标志保持设定(例如直到在622或630进一步确定不再有激光雷达点云异常)。
再次参考630，如果在630处确定激光雷达点云异常尚未被确认，则在640处设定误报标志。误报标志用作激光雷达点云异常尚未得到确认的通知，尽管可能出现异常622。在某些实施例中，误报标志是由图4的处理器422设定并且存储在远程计算机模块420的图1的存储器423中。在某些实施例中，误报标志是由图4的处理器416设定并且存储在自主车辆计算机模块410的图1的存储器417中。
在642处更新存储器中的一个或多个数据库。在各种实施例中，图4的远程计算机模块420的处理器422以关于对激光雷达点云异常的误报结果的信息来更新图4的存储器423和/或图2的路线数据库53。例如，在各种实施例中，图2的路线数据库53被更新，使得车队中的附加车辆(例如，对应于图2的车辆10a、10b、...10n)可酌情利用与误报结果有关的信息(例如，通过酌情结合激光雷达点云规则的误报结果用于分析其它未来的激光雷达点云异常)。例如，在某些实施例中，如果沿着相同道路行驶的其它车辆遇到类似的激光雷达点云信息，则这样的信息可能有助于认识到这样的信息也可能导致误报结果，等等。
在644处提供车辆10的继续操作。在各种实施例中，车辆10被允许沿着其当前路径和道路继续行驶(例如，对应于沿着图5的道路502的路径504)。同样在各种实施例中，图4的远程计算机模块420的处理器422经由图4的收发器426将指令提供到图4的自主车辆计算机模块410，使得图4的处理器416可保持车辆10沿着当前道路的当前路径移动。
随着附加数据被优选地连续收集，该过程然后返回到610。然后过程继续从610开始：误报标志保持设定(例如直到在630进一步确定已经确认激光雷达点云异常)。
在各种实施例中，所公开的方法和系统提供对激光雷达点云异常的检测和处理。潜在的激光雷达点云异常由车辆10检测到。潜在的激光雷达点云异常由远程装置确认(例如，在一个实施例中，使用来自远程操作员的手动输入)。当激光雷达点云异常已经被确认时，远程装置还为车辆10提供适当的辅助(例如，包括对车辆10的路径重新设定路线和/或提供用于对车辆10的路径重新设定路线的参数)。
虽然前述详细描述中已经提出了至少一个示例性实施例，但是应当明白的是，存在许多变化。还应当明白的是，示例性实施例或多个示例性实施例仅仅是示例并且不旨在以任何方式限制本公开的范围、适用性或配置。实情是，前文详细描述将给本领域技术人员提供用于实施示例性实施例或多个示例性实施例的便捷指引。应当理解的是，在不脱离所附权利要求书和其合法等同物的范围的情况下，可对元件的功能和设置作出各种改变。

Claims (10)

1.一种用于控制自主车辆的方法，所述方法包括：
在所述自主车辆的操作期间从被设置在所述自主车辆上的一个或多个激光雷达传感器获取激光雷达数据；
使用所述激光雷达数据产生激光雷达点云；
经由所述自主车辆上的处理器，使用卷积神经网络模型，基于所述激光雷达点云与存储在存储器中的先前激光雷达点云信息的比较来作出对可能激光雷达点云异常的初始确定，其中，当所述激光雷达点云被确定为包括与来自先前的激光雷达点云信息的已知的激光雷达点历史共用的模式时，所述自主车辆被确定为具有潜在的激光雷达点云异常，所述先前的激光雷达点云信息用于保证所述自主车辆的路径变化的情况；
从远程模块接收关于所述可能激光雷达点云异常是否为已确认的激光雷达点云异常的通知，并且所述已确认的激光雷达点云异常包括保证所述自主车辆的路径变化的确认；以及
当存在已确认的激光雷达点云异常时采取一个或多个车辆动作。
2.根据权利要求1所述的方法，其中所述可能激光雷达点云异常由与所述远程模块相关联的远程操作员手动确认。
3.根据权利要求1所述的方法，其中作出所述初始确定的步骤包括经由所述自主车辆上的所述处理器基于所述激光雷达点云与存储在所述存储器中的多个激光雷达点云规则的比较来作出对所述可能激光雷达点云异常的所述初始确定。
4.根据权利要求3所述的方法，其中作出所述初始确定的步骤包括经由所述自主车辆上的所述处理器基于关于所述激光雷达点云的一个或多个特性是否与激光雷达点云规则一致的确定来作出所述初始确定，所述激光雷达点云规则与以下一项或多项有关：施工现场、紧急情况场景、急救车辆、交通拥堵或道路堵塞。
5.根据权利要求1所述的方法，其中传输信息的步骤包括：
将所述激光雷达点云的图像连同所述自主车辆周围的道路的视频片段一起传输到所述远程模块。
6.根据权利要求5所述的方法，其中所述激光雷达点云异常由与所述远程模块相关联的远程操作员至少部分基于所述激光雷达点云的所述图像和所述视频片段来手动确认。
7.根据权利要求1所述的方法，其中采取一个或多个车辆动作的步骤包括基于所述已确认的激光雷达点云异常来采取所述自主车辆的替代路线。
8.根据权利要求7所述的方法，其中采取替代路线的步骤包括基于所报告的激光雷达点云异常采取沿着不在黑名单道路列表上的道路的替代路线。
9.一种用于控制自主车辆的系统，所述系统包括：
自主车辆计算机模块，其被配置为至少促进：
在所述自主车辆的操作期间从被设置在所述自主车辆上的一个或多个激光雷达传感器获取激光雷达数据；
使用所述激光雷达数据产生激光雷达点云；
经由所述自主车辆上的处理器，使用卷积神经网络模型，基于所述激光雷达点云与存储在存储器中的先前激光雷达点云规则信息的比较来作出对可能激光雷达点云异常的初始确定，其中，当所述激光雷达点云被确定为包括与来自先前的激光雷达点云信息的已知的激光雷达点历史共用的模式时，所述自主车辆被确定为具有潜在的激光雷达点云异常，所述先前的激光雷达点云信息用于保证所述自主车辆的路径变化的情况；以及
远程计算机模块，其远离所述自主车辆设置，并且被配置为至少促进确认所述可能激光雷达点云异常，所述已确认的激光雷达点云异常包括保证所述自主车辆的路径变化的确认；
其中所述自主车辆计算机模块被进一步配置为至少促进：
从所述远程计算机模块接收关于所述可能激光雷达点云异常是否为已确认的激光雷达点云异常的通知，所确认的激光雷达点云异常包括保证所述自主车辆的路径变化的确认；并且
当存在已确认的激光雷达点云异常时采取一个或多个车辆动作。
10.一种用于自主车辆的系统，所述系统包括：
激光雷达传感器，其被配置为在所述自主车辆的操作期间获取激光雷达图像；
存储器，其被配置为存储先前激光雷达点云信息；
处理器，其被配置为使用卷积神经网络模型基于所述激光雷达点云与存储在存储器中的先前激光雷达点云规则信息的比较来作出对可能激光雷达点云异常的初始确定，其中，当所述激光雷达点云被确定为包括与来自先前的激光雷达点云信息的已知的激光雷达点历史共用的模式时，所述自主车辆被确定为具有潜在的激光雷达点云异常，所述先前的激光雷达点云信息用于保证所述自主车辆的路径变化的情况；以及
收发器，其被配置为从远程模块接收关于所述可能激光雷达点云异常是否为已确认的激光雷达点云异常的通知，所述已确认的激光雷达点云异常包括保证所述自主车辆的路径变化的确认。
CN201810407638.5A 2017-05-03 2018-05-02 用于激光雷达点云异常的方法和系统 Active CN108802761B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/585,891 US10401866B2 (en) 2017-05-03 2017-05-03 Methods and systems for lidar point cloud anomalies
US15/585891 2017-05-03

Publications (2)

Publication Number Publication Date
CN108802761A CN108802761A (zh) 2018-11-13
CN108802761B true CN108802761B (zh) 2022-05-13

Family

ID=60038164

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810407638.5A Active CN108802761B (zh) 2017-05-03 2018-05-02 用于激光雷达点云异常的方法和系统

Country Status (3)

Country Link
US (1) US10401866B2 (zh)
CN (1) CN108802761B (zh)
DE (1) DE102018110425A1 (zh)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10466714B2 (en) * 2016-09-01 2019-11-05 Ford Global Technologies, Llc Depth map estimation with stereo images
WO2018119417A1 (en) * 2016-12-22 2018-06-28 Nissan North America, Inc. Autonomous vehicle service system
US11087206B2 (en) 2017-04-28 2021-08-10 Intel Corporation Smart memory handling and data management for machine learning networks
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies
JP6638695B2 (ja) * 2017-05-18 2020-01-29 トヨタ自動車株式会社 自動運転システム
US10866101B2 (en) 2017-06-13 2020-12-15 Tusimple, Inc. Sensor calibration and time system for ground truth static scene sparse flow generation
US10360686B2 (en) * 2017-06-13 2019-07-23 TuSimple Sparse image point correspondences generation and correspondences refinement system for ground truth static scene sparse flow generation
DE102017216802A1 (de) * 2017-09-22 2019-03-28 Continental Teves Ag & Co. Ohg Verfahren und vorrichtung zum erkennen von fahrspuren, fahrerassistenzsystem und fahrzeug
US10043113B1 (en) * 2017-10-04 2018-08-07 StradVision, Inc. Method and device for generating feature maps by using feature upsampling networks
CN107843267B (zh) * 2017-10-25 2020-04-17 广州汽车集团股份有限公司 施工路段无人驾驶车辆的路径生成方法及装置
US10962650B2 (en) 2017-10-31 2021-03-30 United States Of America As Represented By The Administrator Of Nasa Polyhedral geofences
CN109840448A (zh) * 2017-11-24 2019-06-04 百度在线网络技术（北京）有限公司 用于无人驾驶车辆的信息输出方法和装置
US10768304B2 (en) 2017-12-13 2020-09-08 Luminar Technologies, Inc. Processing point clouds of vehicle sensors having variable scan line distributions using interpolation functions
US11618438B2 (en) 2018-03-26 2023-04-04 International Business Machines Corporation Three-dimensional object localization for obstacle avoidance using one-shot convolutional neural network
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
US10551485B1 (en) * 2018-08-06 2020-02-04 Luminar Technologies, Inc. Fitting points to a surface
US10628063B2 (en) 2018-08-24 2020-04-21 Advanced Micro Devices, Inc. Implementing scalable memory allocation using identifiers that return a succinct pointer representation
US11428817B2 (en) 2018-10-11 2022-08-30 Baidu Usa Llc Automatic LIDAR calibration based on cross validation for autonomous driving
US11841437B2 (en) * 2018-10-12 2023-12-12 Baidu Usa Llc Automatic lidar calibration based on pre-collected static reflection map for autonomous driving
CN109375228B (zh) * 2018-10-31 2020-07-24 歌尔股份有限公司 激光雷达的异常帧点云数据的确定方法、处理方法及装置
US11221399B2 (en) 2018-12-12 2022-01-11 Waymo Llc Detecting spurious objects for autonomous vehicles
US11520331B2 (en) * 2018-12-28 2022-12-06 Intel Corporation Methods and apparatus to update autonomous vehicle perspectives
CN109631929B (zh) * 2019-02-20 2021-04-30 百度在线网络技术（北京）有限公司 基于黑名单的重导航方法、装置及存储介质
CN111626288B (zh) * 2019-02-28 2023-12-01 深圳市速腾聚创科技有限公司 数据处理方法、装置、计算机设备和存储介质
CN110040084A (zh) * 2019-03-22 2019-07-23 深圳市速腾聚创科技有限公司 传感器稳定性的提升方法、系统、装置、设备和存储介质
CN112230230B (zh) * 2019-06-28 2024-02-27 比亚迪股份有限公司 定位方法、装置和系统
US11143747B2 (en) * 2019-07-11 2021-10-12 GM Global Technology Operations LLC Methods and systems for classifying received signals from radar system
DE102019120778A1 (de) * 2019-08-01 2021-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in einer Umgebung
US11556000B1 (en) 2019-08-22 2023-01-17 Red Creamery Llc Distally-actuated scanning mirror
CN113030881A (zh) * 2019-12-09 2021-06-25 上海禾赛科技股份有限公司 激光雷达的点云合理性诊断方法、激光雷达以及包括其的车辆
KR20210061842A (ko) * 2019-11-20 2021-05-28 삼성전자주식회사 이동 로봇 장치 및 이의 제어 방법
CN111324945B (zh) 2020-01-20 2023-09-26 阿波罗智能技术(北京)有限公司 传感器方案确定方法、装置、设备及存储介质
CN113811793A (zh) * 2020-03-26 2021-12-17 百度时代网络技术（北京）有限公司 基于近邻的点云过滤系统
US20210334645A1 (en) * 2020-04-28 2021-10-28 Nvidia Corporation Notifications determined using one or more neural networks
US11740360B2 (en) * 2020-11-02 2023-08-29 Motional Ad Llc Light detection and ranging (LiDaR) scan smoothing
US11807266B2 (en) * 2020-12-04 2023-11-07 Mitsubishi Electric Corporation Driving system for distribution of planning and control functionality between vehicle device and cloud computing device, vehicle computing device, and cloud computing device
US11682242B1 (en) * 2020-12-04 2023-06-20 Zoox, Inc. Facilitation of ingress to a passenger compartment of a vehicle
JP7270017B2 (ja) * 2020-12-29 2023-05-09 三菱電機株式会社 経路生成装置及び移動体制御システム
WO2022145036A1 (ja) * 2020-12-29 2022-07-07 三菱電機株式会社 経路生成装置、経路生成方法及び経路生成プログラム
CN112965047B (zh) * 2021-02-01 2023-03-14 中国重汽集团济南动力有限公司 一种车辆多激光雷达标定方法、系统、终端及存储介质
WO2022229735A1 (en) 2021-04-26 2022-11-03 Agco Corporation Methods and systems for detecting damage to agricultural implements
KR20230001072A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
WO2023098040A1 (zh) * 2021-11-30 2023-06-08 驭势科技（北京）有限公司 诊断方法、控制方法、装置、介质、控制器及车辆
CN114755642B (zh) * 2022-03-23 2023-03-10 广州文远知行科技有限公司 一种雷达线路检测方法、装置、交通工具及存储介质
EP4335270A1 (en) 2022-09-08 2024-03-13 Agco Corporation Methods of operating an implement in an agricultural field
CN116259028A (zh) * 2023-05-06 2023-06-13 杭州宏景智驾科技有限公司 用于激光雷达的异常场景检测方法、电子设备和存储介质
CN116212389B (zh) * 2023-05-09 2023-07-07 深圳市卡妙思电子科技有限公司 一种基于vr技术的电竞赛车竞赛系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2637106A1 (en) * 2007-09-14 2009-03-14 The Boeing Company Method and system to control operation of a device using an integrated simulation with a time shift option
CN104376595A (zh) * 2014-11-28 2015-02-25 史文中 一种基于机载LiDAR和GIS协同的三维道路生成方法
CN106023338A (zh) * 2016-07-07 2016-10-12 百度在线网络技术（北京）有限公司 一种无人车车况检测方法及装置
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8306941B2 (en) * 2009-03-24 2012-11-06 Weyerhaeuser Nr Company System and method for identifying trees using LiDAR tree models
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
US9014415B2 (en) * 2010-04-22 2015-04-21 The University Of North Carolina At Charlotte Spatially integrated aerial photography for bridge, structure, and environmental monitoring
US9110163B2 (en) * 2013-06-14 2015-08-18 Microsoft Technology Licensing, Llc Lidar-based classification of object movement
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
US10311633B2 (en) * 2014-01-17 2019-06-04 Nokia Technologies Oy Method and apparatus for visualization of geo-located media contents in 3D rendering applications
US9436974B2 (en) * 2014-02-24 2016-09-06 Vencore Labs, Inc. Method and apparatus to recover scene data using re-sampling compressive sensing
US10082797B2 (en) * 2015-09-16 2018-09-25 Ford Global Technologies, Llc Vehicle radar perception and localization
US20180136332A1 (en) * 2016-11-15 2018-05-17 Wheego Electric Cars, Inc. Method and system to annotate objects and determine distances to objects in an image
US10401866B2 (en) * 2017-05-03 2019-09-03 GM Global Technology Operations LLC Methods and systems for lidar point cloud anomalies

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2637106A1 (en) * 2007-09-14 2009-03-14 The Boeing Company Method and system to control operation of a device using an integrated simulation with a time shift option
CN104376595A (zh) * 2014-11-28 2015-02-25 史文中 一种基于机载LiDAR和GIS协同的三维道路生成方法
CN106023338A (zh) * 2016-07-07 2016-10-12 百度在线网络技术（北京）有限公司 一种无人车车况检测方法及装置
CN106054208A (zh) * 2016-08-16 2016-10-26 长春理工大学 多线激光雷达车辆目标识别方法和汽车的防撞装置
CN106371105A (zh) * 2016-08-16 2017-02-01 长春理工大学 单线激光雷达车辆目标识别方法、装置和汽车

Also Published As

Publication number Publication date
US10401866B2 (en) 2019-09-03
DE102018110425A1 (de) 2018-11-08
US20170300059A1 (en) 2017-10-19
CN108802761A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108802761B (zh) 用于激光雷达点云异常的方法和系统
CN109817008B (zh) 自主车辆中用于交通繁忙情况中的无保护左转弯的系统和方法
CN109814520B (zh) 用于确定自主车辆的安全事件的系统和方法
US10317907B2 (en) Systems and methods for obstacle avoidance and path planning in autonomous vehicles
CN108628206B (zh) 道路施工检测系统和方法
CN108268034B (zh) 用于车辆的专家模式
CN108766011B (zh) 用于自主车辆的停车评分
US10688991B2 (en) Systems and methods for unprotected maneuver mitigation in autonomous vehicles
US10331135B2 (en) Systems and methods for maneuvering around obstacles in autonomous vehicles
US20190332109A1 (en) Systems and methods for autonomous driving using neural network-based driver learning on tokenized sensor inputs
US20180093671A1 (en) Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles
US20190072978A1 (en) Methods and systems for generating realtime map information
US20190061771A1 (en) Systems and methods for predicting sensor information
US20190026588A1 (en) Classification methods and systems
US20180315314A1 (en) Automated vehicle route traversal
US20180004215A1 (en) Path planning of an autonomous vehicle for keep clear zones
US20180224860A1 (en) Autonomous vehicle movement around stationary vehicles
US20180079422A1 (en) Active traffic participant
US10458174B2 (en) Door closing system
CN112498349A (zh) 用于紧急车道改变的操纵计划
US20180348771A1 (en) Stop contingency planning during autonomous vehicle operation
CN109131065B (zh) 用于由自主车辆进行外部警告的系统和方法
US20190168805A1 (en) Autonomous vehicle emergency steering profile during failed communication modes
US20200070822A1 (en) Systems and methods for predicting object behavior
CN109131276B (zh) 用于自主车辆中的制动系统的接触式传感器组件

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant