CN110816547A - 用于自主驾驶的实际感知系统的感知不确定性建模 - Google Patents

用于自主驾驶的实际感知系统的感知不确定性建模 Download PDF

Info

Publication number
CN110816547A
CN110816547A CN201910462281.5A CN201910462281A CN110816547A CN 110816547 A CN110816547 A CN 110816547A CN 201910462281 A CN201910462281 A CN 201910462281A CN 110816547 A CN110816547 A CN 110816547A
Authority
CN
China
Prior art keywords
vehicle
data
uncertainty
ground truth
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910462281.5A
Other languages
English (en)
Inventor
H·权
K·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110816547A publication Critical patent/CN110816547A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9316—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles combined with communication equipment with other vehicles or with base stations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于控制自主车辆的系统和方法。在一个实施例中，一种方法包括：从车辆的一个或多个传感器接收传感器数据；由处理器处理传感器数据，以确定指示车辆的环境的场景内的至少一个元素的对象数据；由处理器处理传感器数据，以确定与该元素相关联的地面实况数据；由处理器基于地面实况数据和对象数据确定不确定性模型；由处理器基于不确定性模型训练车辆功能；并且基于经过训练的车辆功能控制车辆。

Description

用于自主驾驶的实际感知系统的感知不确定性建模
引言
本公开总体上涉及自主车辆，并且更具体地涉及对在控制自主车辆的训练决策功能中使用的感知系统不确定性进行建模的系统和方法。
自主车辆是一种能够感知其环境并在用户输入很少或没有用户输入的情况下进行导航的车辆。自主车辆通常包括感知系统，这种感知系统采用诸如雷达、激光雷达、图像传感器之类的感测装置来感测其环境，并对传感器信息进行处理，从而了解周围环境并对车辆进行导航。自主车辆还采用来自全球定位系统(GPS)技术、导航系统、车辆到车辆通信、车辆到基础设施技术和/或线控驾驶系统的信息来对车辆进行导航。
尽管自主车辆和半自主车辆提供了传统车辆不具备的许多潜在优点，但在某些情形下，仍然可能需要改进车辆的操作。例如，在某些情况下，自主车辆的决策功能往往需要进行训练。通常是使用通过感知系统获得的大量真实世界数据来执行训练。获得这样的数据并对决策功能进行训练可能是耗时且成本高昂的。
因此，期望提供对感知系统不确定性进行建模并使用该模型来训练决策功能的系统和方法。这些模型可用来代替过剩的现实世界数据，从而缩减了开发时间及成本。此外，结合附图以及前述技术领域和背景技术，本发明的其他期望特征和特性通过随后的详细描述和所附权利要求将变得显而易见。
发明内容
提供了用于控制自主车辆的系统和方法。在一个实施例中，一种方法包括：从车辆的一个或多个传感器接收传感器数据；由处理器处理传感器数据，以确定指示车辆的环境的场景内的至少一个元素的对象数据；由处理器处理传感器数据，以确定与该元素相关联的地面实况数据；由处理器基于地面实况数据和对象数据确定不确定性模型；由处理器基于不确定性模型训练车辆功能；并且基于经过训练的车辆功能控制车辆。
在各种实施例中，不确定性模型包括范围不确定性。在各种实施例中，不确定性模型包括方位不确定性。在各种实施例中，不确定性模型包括速度不确定性。
在各种实施例中，确定不确定性模型是基于对象数据的对象位置与地面实况数据的地面实况位置的比较。
在各种实施例中，训练包括基于不确定性模型生成感知系统数据并基于生成的感知系统数据训练车辆功能。
在各种实施例中，对象数据包括包围场景内的元素的边界框，其中该边界框由对象检测方法识别。
在各种实施例中，对象数据还包括从车辆到元素的距离以及基于边界框确定的场景内的元素的位置。
在各种实施例中，地面实况数据包括包围场景内的元素的边界框，其中该边界框由地面实况检测方法识别。
在各种实施例中，地面实况数据还包括从车辆到元素的距离以及基于边界框确定的场景内的元素的位置。
在一个实施例中，一种用于自主车辆的系统包括：非暂时性计算机可读介质，该非暂时性计算机可读介质包括：第一模块，该第一模块配置为由处理器从车辆的一个或多个传感器接收传感器数据，处理传感器数据以确定指示车辆的环境的场景内的至少一个元素的对象数据并处理传感器数据以确定与该元素相关联的地面实况数据；第二非暂时性模块，该第二非暂时性模块配置为由处理器基于地面实况数据和对象数据确定不确定性模型；以及第三模块，该第三模块配置为由处理器基于不确定性模型生成感知系统数据并基于生成的感知系统数据训练车辆控制器的车辆功能。
在各种实施例中，不确定性模型包括范围不确定性。根据权利要求11所述的系统，其中所述不确定性模型包括方位不确定性。在各种实施例中，不确定性模型包括速度不确定性。
在各种实施例中，不确定性模型是基于对象数据的对象位置与地面实况数据的地面实况位置的比较。在各种实施例中，对象数据包括包围场景内的元素的边界框，其中该边界框由对象检测方法识别。
在各种实施例中，对象数据还包括从车辆到元素的距离以及基于边界框确定的场景内的元素的位置。在各种实施例中，地面实况数据包括包围场景内的元素的边界框，其中该边界框由地面实况检测方法识别。
在各种实施例中，地面实况数据还包括从车辆到元素的距离以及基于边界框确定的场景内的元素的位置。
在一个实施例中，一种自主车辆包括：多个传感器，该多个传感器设置在车辆周围并配置为感测车辆的外部环境并生成传感器信号；以及控制模块，该控制模块配置为由处理器处理传感器信号以确定指示车辆的环境的场景内的至少一个元素的对象数据，处理传感器数据以确定与该元素相关联的地面实况数据，基于地面实况数据和对象数据确定不确定性模型，基于不确定性模型训练车辆功能并且基于经过训练的车辆功能控制车辆。
附图说明
在下文中将结合以下附图来描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中：
图1是示出了根据各种实施例的具有训练系统的自主车辆的功能框图；
图2是示出了根据各种实施例的具有图1的一辆或多辆自主车辆的交通系统的功能框图；
图3和图4是示出了根据各种实施例的包括自主车辆的训练系统的自主驾驶系统的数据流程图；以及
图5是示出了根据各种实施例的用于控制自主车辆的控制方法的流程图。
具体实施方式
以下详细描述在本质上仅是示例性的，并不旨在限制应用和用途。此外，并不存在受前述技术领域、背景技术、发明内容或下述具体实施方式中提出的任何明示或暗示的理论的约束的意图。如本文所用，术语“模块”是指任何硬件、软件、固件、电子控制组件、处理逻辑和/或处理器装置，它们单独地或以任何组合的方式包括但不限于：专用集成电路(ASIC)、现场可编程门阵列(FPGA)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和存储器、组合逻辑电路和/或提供所述功能的其他适合组件。
可以按照功能和/或逻辑块组件和各种处理步骤来描述本公开的实施例。应当理解，可以通过配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现这样的块组件。例如，本公开的实施例可以采用各种集成电路组件，例如，存储器元件、数字信号处理元件、逻辑元件、查找表等，这些集成电路组件可以在一个或多个微处理器或其他控制装置的控制下执行各种功能。另外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实践，并且本文描述的系统仅仅是本公开的示例性实施例。
为了简洁起见，在此可能没有详细地描述与信号处理、数据传输、信令、控制和系统(以及系统的各个操作组件)的其他功能方面有关的传统技术。此外，本文包含的各种附图中所示的连接线旨在表示各种元件之间的示例性功能关系和/或物理性耦合。应注意，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。
参考图1，根据各种实施例，总体上示为100的训练系统与车辆10相关联。一般情况下，训练系统100获得从车辆10的环境感测到的传感器信息，根据传感器信息开发出不确定性模型，并且使用所开发的不确定性模型训练车辆的决策功能。出于示例性目的，将在由训练系统100(其在车辆10上执行)执行的训练的背景下讨论本公开。可以理解的是，在各种实施例中，训练系统100的全部或部分可以离线地执行和/或远离车辆10执行。
如图1所示，示例性车辆10大体上包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上并且基本上包围车辆10的各部件。车身14和底盘12可以共同地形成车架。车轮16-18各自在靠近车身14的相应角落处可旋转地联接到底盘12。
在各种实施例中，车辆10是自主车辆，并且本文描述的训练系统100结合到该自主车辆(下文中称为自主车辆10)中。例如，自主车辆10是受到自动控制以将乘客从一个位置运送到另一个位置的车辆。在所示实施例中，车辆10被描绘为乘用车，但是应当理解的是，也可以使用包括摩托车、卡车、运动型多用途车辆(SUV)、休闲车辆(RV)、船舶、飞行器等任何其他车辆。在示例性实施例中，自主车辆10是所谓的四级或五级自动化系统。四级系统表示“高度自动化”，其指代自动驾驶系统根据行驶模式执行动态驾驶任务的所有方面，即使人类驾驶员对干预请求没有做出适当响应。五级系统表示“全自动化”，其指代自动驾驶系统在可由人类驾驶员管理的所有道路和环境状况下以全时方式执行动态驾驶任务的所有方面。
如图所示，自主车辆10大体上包括推进系统20、变速器系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储装置32、至少一个控制器34、通知系统25以及通信系统36。在各种实施例中，推进系统20可以包括内燃机、诸如牵引电动机之类的电机和/或燃料电池推进系统。变速器系统22配置为根据可选速比将来自推进系统20的动力传输到车轮16和18。根据各种实施例，变速器系统22可以包括分级传动比自动变速器、无级变速器或其他适当的变速器。制动系统26配置为向车轮16和18提供制动扭矩。在各种实施例中，制动系统26可以包括摩擦制动器、线控制动器、诸如电机之类的再生制动系统和/或其他适当的制动系统。转向系统24影响车轮16和/或18的位置。虽然出于说明目的而被描绘为包括方位盘，但是在本公开范围内预期的一些实施例中，转向系统24可以不包括方位盘。
传感器系统28包括感测自主车辆10的外部环境和/或内部环境的可观察状况的一个或多个感测装置40a-40n。感测装置40a-40n可以包括但不限于雷达、激光雷达、全球定位系统、光学相机、热像仪、超声波传感器、惯性测量单元和/或其他传感器。致动器系统30包括一个或多个致动器装置42a-42n，其控制一个或多个车辆特征，诸如但不限于推进系统20、变速器系统22、转向系统24和制动系统26。在各种实施例中，车辆特征还可以包括内部和/或外部车辆特征，诸如但不限于车门、行李箱以及诸如无线电、音乐、照明(未编号)之类的驾驶室特征。
通信系统36配置为向和从其他实体48(诸如但不限于，其他车辆(“V2V”通信)、基础设施(“V2I”通信)、远程系统和/或个人装置(结合图2更详细地描述)无线地传送信息。在示例性实施例中，通信系统36是配置为经由使用IEEE 802.11标准的无线局域网(WLAN)或通过使用蜂窝数据通信来进行通信的无线通信系统。然而，附加或替代通信方法(诸如专用短程通信(DSRC)信道)也被认为在本公开的范围内。DSRC信道是指专门为汽车用途以及对应的一组协议和标准而设计的单向或双向短程到中程无线通信信道。
数据存储装置32存储用于自动控制自主车辆10的数据。在各种实施例中，数据存储装置32存储可导航环境的定义地图。在各种实施例中，定义地图可以由远程系统预定义并且从远程系统获取(结合图2进一步详细描述)。例如，定义地图可以由远程系统组装并且(以无线方式和/或以有线方式)传送到自主车辆10并存储在数据存储装置32中。路线信息还可以存储在数据存储装置32内-即，一组路段(在地理上与一个或多个定义地图相关联)，这些路段共同定义了用户可以从起始位置(例如，用户的当前位置)行驶到目标位置所采取的路线。将会理解的是，数据存储装置32可以是控制器34的一部分，与控制器34分开，或作为控制器34的一部分以及单独系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储装置或介质46。处理器44可以是任何定制的或商业上可用的处理器、中央处理单元(CPU)、图形处理单元(GPU)、与控制器34相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片集的形式)、宏处理器、其任何组合或通常用于执行指令的任何装置。例如，计算机可读存储装置或介质46可以包括只读存储器(ROM)、随机存取存储器(RAM)和保活存储器(KAM)中的易失性和非易失性存储装置。KAM是一种持久或非易失性存储器，其可以在处理器44断电时用于存储各种操作变量。计算机可读存储装置或介质46可以使用诸如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪速存储器或能够存储数据的任何其他电性、磁性、光学或组合存储器装置之类的许多已知存储器装置中的任何一种来实现，其中的一些数据表示由控制器34用于控制自主车辆10的可执行指令。在各种实施例中，控制器34配置为实现如下面详细讨论的行为规划系统及方法。
指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。指令在由处理器44执行时接收并处理来自传感器系统28的信号，执行用于自动控制自主车辆10的各部件的逻辑、计算、方法和/或算法，并且产生针对致动器系统30的控制信号，以基于逻辑、计算、方法和/或算法来自动地控制自主车辆10的各部件。虽然图1中仅示出了一个控制器34，但是自主车辆10的实施例可以包括任意数量的控制器34，这些控制器通过任何合适的通信介质或通信介质的组合进行通信并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法并且产生控制信号以自动控制自主车辆10的特征。
在各种实施例中，控制器34的一个或多个指令体现在训练系统100中，并且在由处理器44执行时处理传感器数据和/或地图数据以确定不确定性模型，基于不确定性模型训练一个或多个决策功能，并基于经过训练的不确定性模型生成控制信号以控制车辆10。
现在参考图2，在各种实施例中，结合图1描述的自主车辆10可以适合于在某个地理区域(例如，城市、学校或商业园区、购物中心、游乐园，活动中心等)内的出租车或班车系统的场景下使用，或者可以仅由远程系统管理。例如，自主车辆10可以与基于自主车辆的远程交通系统相关联。图2示出了总体上以50示出的操作环境的示例性实施例，该操作环境包括基于自主车辆的远程交通系统52，该系统与结合图1所描述的一辆或多辆自主车辆10a-10n相关联。在各种实施例中，操作环境50进一步包括经由通信网络56与自主车辆10和/或远程交通系统52进行通信的一个或多个用户装置54。
通信网络56根据需要支持在由操作环境50支持的装置、系统和部件之间(例如，经由有形的通信链路和/或无线通信链路)的通信。例如，通信网络56可以包括无线载波系统60(诸如蜂窝电话系统)，其包括多个手机信号塔(未示出)、一个或多个移动交换中心(MSC)(未示出)以及将无线载波系统60与陆地通信系统连接所需的任何其他联网部件。每个手机信号塔均包括发送和接收天线以及基站，其中来自不同手机信号塔的基站直接或经由诸如基站控制器等中间设备连接到MSC。无线载波系统60可以实现任何合适的通信技术，包括例如：诸如CDMA(例如，CDMA2000)、LTE(例如，4G LTE或5G LTE)、GSM/GPRS或其他当前的或正涌现的无线技术之类的数字技术。其他手机信号塔/基站/MSC布置是可能的并且可结合无线载波系统60使用。例如，基站和手机信号塔可共同位于相同站点处或者它们可彼此远离，每个基站可负责单个手机信号塔或单个基站可服务于多个手机信号塔，并且多个基站可联接到单个MSC，这里仅列举几种可能布置。
除了包括无线载波系统60外，可以包括呈卫星通信系统64的形式的第二无线载波系统，由此提供与自主车辆10a-10n的单向或双向通信。这可以使用一个或多个通信卫星(未示出)和上行链路发射站(未示出)来进行。例如，单向通信可以包括卫星无线电服务，其中节目内容(新闻、音乐等)是由发射站接收、打包上传并随后发送至卫星，卫星再向用户广播该节目。例如，双向通信可以包括使用卫星以在车辆10与发射站之间中继电话通信的卫星电话服务。作为无线载波系统60的补充或替代，可以利用卫星电话。
还可以包括陆地通信系统62，其为连接到一个或多个陆线电话的常规陆基电信网络并且将无线载波系统60连接到远程交通系统52。例如，陆地通信系统62可以包括公共交换电话网(PSTN)，诸如用于提供硬接线电话、分组交换数据通信和因特网基础设施的那些。一段或多段陆地通信系统62可以通过使用标准有线网络、光纤或其他光学网络、电缆网络、电力线、其他无线网络(诸如无线局域网(WLAN))或提供宽带无线存取(BWA)的网络或其任何组合来实现。另外，远程交通系统52不需要经由陆地通信系统62连接，反而可以包括无线电话设备，使其可以直接与无线网络(诸如无线载波系统60)通信。
虽然在图2中仅示出了一个用户装置54，但是操作环境50的实施例可以支持任意数量的用户装置54，包括由一个人拥有、操作或以其他方式使用的多个用户装置54。由操作环境50支持的每个用户装置54可以使用任何合适的硬件平台来实现。就此而言，用户装置54可以按照任何常见外形规格来实现，包括但不限于：台式计算机；移动计算机(例如，平板计算机、膝上型计算机或上网本计算机)；智能电话；视频游戏装置；数字媒体播放器；家庭娱乐设备；数码相机或视频摄影机；可穿戴计算装置(例如，智能手表、智能眼镜、智能服装)；等等。由操作环境50支持的每个用户装置54是实现为具有执行本文描述的各种技术和方法所需的硬件、软件、固件和/或处理逻辑的计算机实现的或基于计算机的装置。例如，用户装置54包括可编程装置形式的微处理器，该微处理器包括存储在内部存储器结构中并且被施加来接收二进制输入以创建二进制输出的一个或多个指令。在一些实施例中，用户装置54包括能够接收GPS卫星信号并且基于那些信号生成GPS坐标的GPS模块。在其他实施例中，用户装置54包括蜂窝通信功能性，这样使得该装置通过通信网络56使用一个或多个蜂窝通信协议执行语音和/或数据通信，如本文所讨论的。在各种实施例中，用户装置54包括可视显示器，诸如触摸屏图形显示器或其他显示器。
远程交通系统52包括一个或多个后端服务器系统，该后端服务器系统可以是基于云的、基于网络的或常驻在由远程交通系统52服务的特定校园或地理位置。远程交通系统52可以由现场顾问或自动顾问或其组合来人工操作。远程交通系统52可以与用户装置54和自主车辆10a-10n进行通信，以便安排乘车、派遣自主车辆10a-10n等。各种实施例中，远程交通系统52存储诸如用户认证信息、车辆标识符、档案记录、行为模式和其他相关用户信息之类的账户信息。
根据典型的用例工作流程，远程交通系统52的注册用户可以经由用户装置54创建乘车请求。乘车请求通常将指示乘客希望的上车位置(或当前GPS位置)、期望目的地位置(其可以识别出预定义的车辆停靠站和/或用户指定的乘客目的地)以及上车时间。远程交通系统52接收乘车请求、处理该请求并且派遣自主车辆10a-10n中的一辆所选车辆在指定的上车地点和适当的时间让乘客上车(如果一辆车辆可用时)。远程交通系统52还可以向用户装置54产生并发送经过适当配置的确认消息或通知，以使乘客知道车辆正在途中。
可以理解的是，本文公开的主题向可以被认为是标准或基准的自主车辆10和/或基于自主车辆的远程交通系统52提供某些增强特征和功能。为此，可以对自主车辆和基于自主车辆的远程交通系统进行修改、增强或补充，从而提供下面更详细描述的附加特征。
根据各种实施例，控制器34实现如图3中所示的自主驾驶系统(ADS)70。也就是说，利用控制器34的合适软件和/或硬件组件(例如，处理器44和计算机可读存储装置46)来提供与车辆10结合使用的自主驾驶系统70。
在各种实施例中，自主驾驶系统70的指令可以按照功能、模块或系统来进行组织。例如，如图3中所示，自主驾驶系统70可以包括感知系统74、定位系统76、引导系统78和车辆控制系统80。可以理解的是，在各种实施例中，由于本公开不局限于本示例，因此，可以将指令组织(例如，组合、进一步划分等)成任何数量的系统。
在各种实施例中，感知系统74合成并处理传感器数据，并且预测车辆10的环境的对象和特征的存在、位置、分类和/或路径。在各种实施例中，感知系统74可以结合来自多个传感器(包括但不限于相机、激光雷达、雷达和/或任何数量的其他类型的传感器)的信息。
定位系统76处理传感器数据以及其他数据，以确定车辆10相对于环境的位置(例如，相对于地图的本地位置、相对于道路车道的精确位置、车辆航向、速度等)。引导系统78处理传感器数据以及其他数据，以确定车辆10所跟随的路径。车辆控制系统80根据所确定的路径产生用于控制车辆10的控制信号。
在各种实施例中，控制器34通过实现机器学习技术来辅助控制器34的功能，诸如特征检测/分类、障碍物减少、路线穿越、绘图、传感器集成、地面实况确定等。
如上面简要提及地，图1的训练系统100可以包括在ADS 70内，作为感知系统74、引导系统78和车辆控制系统80中的任何一个或其组合的一部分，或者作为如图3所示的单独系统。例如，在各种实施例中，训练系统100从感知系统74接收信息，开发出不确定性模型，然后再将不确定性模型提供给引导系统78和/或车辆控制系统80，以便训练和控制车辆10。
在这一点上，图4是更详细地示出训练系统100的各方面的数据流程图。参考图4并继续参考图1至图3，训练系统100包括数据收集模块102、对象定位模块104、范围估计模块106和不确定性建模模块108。
数据收集模块102接收由例如车辆10的传感器系统28生成的传感器数据110。数据收集模块102处理传感器数据110，以确定描绘车辆10的环境中的场景的图像，并且产生相应的场景数据112。
对象定位模块104处理场景数据112以确定对象数据114，对象数据114包括对应于场景内的元素的元素数据115和在元素周围的边界框。可以理解的是，可以使用任何对象检测方法来检测出元素，并且元素不局限于任何一个示例。
对象定位模块104进一步处理场景数据112，以基于地面实况确定地面实况数据117，地面实况数据117包括元素的地面实况和在元素周围的第二边界框。在各种实施例中，由于传感器噪声、环境情况等缘故，对象的元素数据115和地面实况数据117的检测并不相同；因此允许对不确定性进行确定。
范围估计模块106接收对象数据114和传感器数据116。例如，传感器数据116可以包括相对精确的LIDAR传感器范围信息。范围估计模块106确定车辆10与场景内的检测到的对象之间的距离或范围信息118(DGT)。例如，场景中的地面实况对象区域是AGT，估计的对象区域是AD，那么，到对象的估计距离是DD。倘若给出以下关系式：
DD/DGT≈√(AD/AGT)， (1)
并且鉴于√AGT应与DGT“线性”成反比，可以估计出距离或深度信息。在等式(1)中，DD/DGT是不确定性的比率，如果该值等于“1”，则表示完美的传感器系统。
对于方位和速度的不确定性，除了范围信息118之外，不确定性还取决于图像中相对于地面实况位置检测到的框位置。这是因为方位不确定性和速度不确定性与图像平面中对象的横向运动有关，并且相应的变量是|CD-CGT|，其中CGT是对象(车辆)的地面实况边界框的中心像素位置，而CD是“规范化”图像坐标(x值和y值的范围为[-0.5，0.5])中相应对象的估计边界框的位置。
根据收集的数据114，116，可以为所有检测到的元素计算出包括范围、速度和方位在内的不确定性模型数据120。例如，不确定性建模模块108基于以下关系式估计出范围不确定性：
d′＝d+G(0，σD(d)). (2)
其中σD(d)是测量距离d的距离估计的标准偏差，而GD(m，n)是具有平均值m和标准偏差n的高斯分布。可以根据人工测量的距离到目标(地面实况)与从传感器测量的距离到目标之间的偏差统计来获取相应的高斯分布。
不确定性建模模块108基于以下关系式估计出角度不确定性：
θ′＝θ+GA(0，σA(d))+H(CD-CGT，d). (3)
其中σA(d)是测量距离d的相对角度估计的标准偏差。根据人工测量的与目标的方位偏差(地面实况)与从安装在主车辆上的传感器测量到的与目标的方位偏差之间的角度偏差统计，获取高斯分布GA()。并且，H(CD-CGT，d)是方位角的附加横向偏差不确定性，在图像平面和距离上具有横向偏差。高斯分布的值H(CD-C.d)是基于具有两个变量CD-CGT和d的联合概率而获取的。
不确定性建模模块108基于以下关系式估计出速度不确定性：
v′＝v+(GV+0，σv(d))+HV(CD，-CGT，d). (4)
其中σV(d)是距离d的速度估计的标准偏差。根据目标车辆的实际速度(地面实况)与从安装在主车辆上的传感器测量到的速度之间的速度偏差统计，获取高斯分布GV()。并且，
Figure BDA0002078152040000131
是对象速度的附加横向偏差不确定性，在图像平面和距离上具有横向偏差。H(CD-CGT，d)的值也是基于具有两个变量CD-CGT和d的联合概率而获取的。根据上述不确定性模型数据120，使用x′＝d′cosθ′和y′＝d′sinθ′来在几何上估计具有相对于车辆10的不确定性的新相对位置。估计的不确定性模型数据120可以进一步用于训练车辆10的决策功能。例如，在各种实施例中，可以将不确定性应用于决策功能，作为乘以感知不确定性的标准偏差的权重范围，然后再使用经过训练的决策功能来控制车辆10。
应当理解，根据本公开的训练系统100的各种实施例可以包括嵌入在控制器34内的任何数量的附加子模块，这些子模块可以进行组合和/或进一步划分，以便类似地实现在此描述的系统和方法。此外，训练系统100的输入可以从传感器系统28接收、从与自主车辆10相关联的其他控制模块(未示出)接收、从通信系统36接收和/或由图1的控制器34内的其他子模块(未示出)确定/建模。此外，输入还可以进行预处理，诸如子采样、降噪、归一化、特征提取、丢失数据缩减等。
现参考图5并且继续参考图1至图4，流程图示出了可以由根据本公开的图1的训练系统100执行的控制方法200。根据本公开可以理解的是，该方法内的操作顺序并不局限于如图5所示的顺序执行，而是可以根据本公开以适用的一个或多个不同的顺序执行。在各种实施例中，方法400可以被设定为基于一个或多个预定事件运行，和/或可以在自主车辆10的操作期间连续地运行。
在各种实施例中，方法200可以开始于210。在220处接收传感器数据110。在230处，对传感器数据110进行处理，从而识别出场景内的元素(自行车、其他车辆、行人等)。在240处，进一步处理传感器数据110，从而确定对象数据114和范围信息118。
之后在245处，处理对象数据114和范围信息118，以确定不确定性模型数据120。例如，在250处基于上面的等式(2)确定范围不确定性。例如，在260处基于上面的等式(3)确定方位不确定性。例如，在270处基于上面的等式(4)确定速度不确定性。
然后，在280处，将包括范围不确定性、方位不确定性和速度不确定性的不确定性模型数据120用于训练决策功能。例如如上所述，在各种实施例中，可以将不确定性应用于决策功能，作为乘以感知不确定性的标准偏差的权重范围。
之后，在290处再将经过训练的决策功能用于控制车辆10；并且方法可以在300处结束。
尽管前述详细描述中已经提出了至少一个示例性实施例，但是应当理解的是，仍存在许多变化。还应理解的是，该示例性实施例或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将会向本领域的技术人员提供用于实现该示例性实施例或多个示例性实施例的便捷指引。应当理解，在不脱离所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置作出各种改变。

Claims (10)

1.一种控制自主车辆的方法，包括：
从所述车辆的一个或多个传感器接收传感器数据；
由处理器处理所述传感器数据，以确定指示所述车辆的环境的场景内的至少一个元素的对象数据；
由所述处理器处理所述传感器数据，以确定与所述元素相关联的地面实况数据；
由所述处理器基于所述地面实况数据和所述对象数据确定不确定性模型；
由所述处理器基于所述不确定性模型训练车辆功能；并且
基于所述经过训练的车辆功能控制所述车辆。
2.根据权利要求1所述的方法，其中所述不确定性模型包括范围不确定性。
3.根据权利要求1所述的系统，其中所述不确定性模型包括方位不确定性。
4.根据权利要求1所述的方法，其中所述不确定性模型包括速度不确定性。
5.根据权利要求1所述的方法，其中所述确定所述不确定性模型是基于所述对象数据的对象位置与所述地面实况数据的地面实况位置的比较。
6.根据权利要求1所述的方法，其中所述训练包括基于所述不确定性模型生成感知系统数据并基于所述生成的感知系统数据训练所述车辆功能。
7.根据权利要求1所述的方法，其中所述对象数据包括包围所述场景内的所述元素的边界框，其中所述边界框由对象检测方法识别。
8.根据权利要求7所述的方法，其中所述对象数据还包括从所述车辆到所述元素的距离以及基于所述边界框确定的所述场景内的所述元素的位置。
9.根据权利要求1所述的方法，其中所述地面实况数据包括包围所述场景内的所述元素的边界框，其中所述边界框由地面实况检测方法识别。
10.一种用于自主车辆的训练系统，包括：
非暂时性计算机可读介质，所述非暂时性计算机可读介质包括：
第一模块，所述第一模块配置为由处理器从所述车辆的一个或多个传感器接收传感器数据，处理所述传感器数据以确定指示所述车辆的环境的场景内的至少一个元素的对象数据并处理所述传感器数据以确定与所述元素相关联的地面实况数据；
第二非暂时性模块，所述第二非暂时性模块配置为由处理器基于所述地面实况数据和所述对象数据确定不确定性模型；以及
第三模块，所述第三模块配置为由处理器基于所述不确定性模型生成感知系统数据并基于所述生成的感知系统数据训练车辆控制器的车辆功能。
CN201910462281.5A 2018-08-07 2019-05-30 用于自主驾驶的实际感知系统的感知不确定性建模 Pending CN110816547A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/057,084 US20200050191A1 (en) 2018-08-07 2018-08-07 Perception uncertainty modeling from actual perception systems for autonomous driving
US16/057084 2018-08-07

Publications (1)

Publication Number Publication Date
CN110816547A true CN110816547A (zh) 2020-02-21

Family

ID=69186027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910462281.5A Pending CN110816547A (zh) 2018-08-07 2019-05-30 用于自主驾驶的实际感知系统的感知不确定性建模

Country Status (3)

Country Link
US (1) US20200050191A1 (zh)
CN (1) CN110816547A (zh)
DE (1) DE102019114578A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN114279458A (zh) * 2020-09-17 2022-04-05 通用汽车环球科技运作有限责任公司 车辆中的车道不确定性建模和跟踪

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022526825A (ja) * 2019-04-12 2022-05-26 エヌビディア コーポレーション 自律マシン・アプリケーションのためのマップ情報で拡張されたグラウンド・トゥルース・データを使用するニューラル・ネットワーク・トレーニング
US20230281310A1 (en) * 2022-03-01 2023-09-07 Meta Plataforms, Inc. Systems and methods of uncertainty-aware self-supervised-learning for malware and threat detection
CN117681892B (zh) * 2024-02-02 2024-05-14 中国科学院自动化研究所 面向矿区场景的自动驾驶数据选择方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US20170242443A1 (en) * 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10762635B2 (en) * 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US11062461B2 (en) * 2017-11-16 2021-07-13 Zoox, Inc. Pose determination from contact points
US11169536B2 (en) * 2018-04-09 2021-11-09 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5144685A (en) * 1989-03-31 1992-09-01 Honeywell Inc. Landmark recognition for autonomous mobile robots
CN104094177A (zh) * 2012-01-30 2014-10-08 谷歌公司 基于感知不确定性的车辆控制
US20170242443A1 (en) * 2015-11-02 2017-08-24 Peloton Technology, Inc. Gap measurement for vehicle convoying

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114279458A (zh) * 2020-09-17 2022-04-05 通用汽车环球科技运作有限责任公司 车辆中的车道不确定性建模和跟踪
CN113963027A (zh) * 2021-10-28 2022-01-21 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置
CN113963027B (zh) * 2021-10-28 2022-09-09 广州文远知行科技有限公司 不确定性检测模型的训练、不确定性的检测方法及装置

Also Published As

Publication number Publication date
DE102019114578A1 (de) 2020-02-13
US20200050191A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
CN108961320B (zh) 确定移动物体速度的方法和系统
CN108528458B (zh) 用于车辆尺寸预测的系统和方法
CN108628206B (zh) 道路施工检测系统和方法
CN109466548B (zh) 用于自主车辆操作的地面参照确定
CN108802761B (zh) 用于激光雷达点云异常的方法和系统
CN108766011B (zh) 用于自主车辆的停车评分
US20190072978A1 (en) Methods and systems for generating realtime map information
CN109945891B (zh) 用于对准车辆中的惯性测量单元的系统和方法
US20180074506A1 (en) Systems and methods for mapping roadway-interfering objects in autonomous vehicles
CN109085819B (zh) 用于实施自主车辆中的驾驶模式的系统和方法
US20180093671A1 (en) Systems and methods for adjusting speed for an upcoming lane change in autonomous vehicles
US20190026588A1 (en) Classification methods and systems
CN109552212B (zh) 用于自主车辆中的雷达定位的系统和方法
CN109872370B (zh) 使用激光雷达数据对摄像机系统进行检测和重新校准
US20180004215A1 (en) Path planning of an autonomous vehicle for keep clear zones
CN112498349A (zh) 用于紧急车道改变的操纵计划
CN109115230B (zh) 用于车辆的自主驾驶系统及其车辆
CN110816547A (zh) 用于自主驾驶的实际感知系统的感知不确定性建模
US20180024239A1 (en) Systems and methods for radar localization in autonomous vehicles
US20200103902A1 (en) Comfortable ride for autonomous vehicles
CN110554691A (zh) 用于检测高架高速公路以防止接合巡航特征的系统、方法和装置
US20200070822A1 (en) Systems and methods for predicting object behavior
US20180180719A1 (en) Extendable sensor mount
CN113177428A (zh) 用于物体跟踪的实时主动物体融合
US20180095475A1 (en) Systems and methods for visual position estimation in autonomous vehicles

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200221