CN110969074A - 用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法 - Google Patents

用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法 Download PDF

Info

Publication number
CN110969074A
CN110969074A CN201910816937.9A CN201910816937A CN110969074A CN 110969074 A CN110969074 A CN 110969074A CN 201910816937 A CN201910816937 A CN 201910816937A CN 110969074 A CN110969074 A CN 110969074A
Authority
CN
China
Prior art keywords
estimate
estimator
classification
velocity
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910816937.9A
Other languages
English (en)
Inventor
K·纳特罗什维利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN110969074A publication Critical patent/CN110969074A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/02—Investigating particle size or size distribution
    • G01N15/0205—Investigating particle size or size distribution by optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04—Systems determining the presence of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biochemistry (AREA)
  • Optics & Photonics (AREA)
  • Dispersion Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法。一种感知设备，包括：至少一个图像传感器，被配置成用于检测多个图像；信息估计器，被配置成用于从多个图像中的每个图像估计深度估计、速度估计、对象分类估计以及测程估计；粒子生成器，被配置成用于生成多个粒子，其中，多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；占用假设确定器，被配置成用于确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。

Description

用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟 踪的感知方法
技术领域
本发明的各方面总体上涉及用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法。
背景技术
感知和传感器融合是完全或部分自动驾驶车辆的必要过程，因为它们提供车辆周围的区域的最新认识。最终，高感知质量是针对乘客以及街道上的其他人两者的安全的先决条件。
解决感知问题的最初方式是基于使用边界框来检测和跟踪对象；但是边界框方式无法检测诸如建筑物之类的大型对象，对于建筑物，没有边界框可以被构建。另外，边界框无法支持一致性边界框中来自多个传感器的信息融合，这些传感器诸如，相机、激光雷达、雷达。最后，边界框方式在计算上非常昂贵。
边界框的替代方案包括与动态占用网格(DOG)结合的粒子过滤器：动态占用网格提供对车辆周围的空间进行建模的方法，其中，传感器测量被变换为放置在DOG上的粒子并且随后被抽象以识别自由空间静态障碍物和动态(即，移动的)对象。结果是，DOG提供传感器融合问题的自然且有效的解决方案以及独立于静态对象和动态对象的尺寸来同时表示静态对象和动态对象的有效的方法。粒子过滤器提供对动态占用网格进行演化以适应于变化的道路状况并剪除可从错误传感器读数导出的粒子的方法。
然而，动态占用网格也呈现出问题，尤其是对于从图像传感器(诸如，单色相机)检测到的图像。第一，单色相机图像不传送深度维度，因此难以将它们变换成将要在DOG中使用的粒子；第二，来自单色相机以及来自其他传感器(诸如，激光雷达传感器)的图像缺失速度信息；因此不可能将移动的对象与静态和动态对象区分开，并且不可能预测网格将如何随时间演化；第三，来自单色相机的图像缺失对象标识信息，并且因此难以识别图像的哪些部分需要被变换成粒子以及哪个部分应当被丢弃。
发明内容
一种感知设备，包括：至少一个图像传感器，被配置成用于检测多个图像；信息估计器，被配置成用于从多个图像中的每个图像估计深度估计、速度估计、对象分类估计以及测程估计；粒子生成器，被配置成用于生成多个粒子，其中，多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；占用假设确定器，被配置成用于确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
附图说明
在附图中，贯穿不同的视图，相同的附图标记一般指示相同部分。这些附图不一定是按比例的；而是一般着重于说明本公开的原理。在以下描述中，参照以下附图描述本公开的各方面，其中：
图1示出示例性车辆，该示例性车辆包括用于检测预定区域中的空间占用的感知设备。
图2示出示例性感知设备，该示例性感知设备可完成确定预定区域的占用假设的任务。
图3示出可由图像传感器检测到的样本图像。
图4示出信息估计器的实施例。
图5将图像估计器的实施例示出为神经网络。
图6表示被配置成深度神经网络的分类估计器的实施例。
图7示出示例性ESP层的实施例。
图8示出残差块模块的示例性实施例以及向上投影模块的示例性实施例。
图9示出被配置成深度神经网络的深度估计器的实施例。
图10示出深度神经网络1000的实施例，该深度神经网络1000可被训练以估计分类估计和深度估计两者。
图11示出被配置成深度神经网络的速度估计器的实施例。
图12示出被配置成深度神经网络的测程估计器的实施例。
图13示出被配置成深度神经网络的测程估计器的替代实施例。
图14示出包括多个网格单元的示例性动态占用网格。
图15示出对粒子速度分布值和误差分布的推导。
图16示出占用假设确定器的实施例。
图17示出指示由粒子过滤器执行的过程的框图。
图18示出用于在由图像传感器检测到的图像的基础上生成动态占用网格的方法。
图19示出计算机可读介质，该计算机可读介质包括一个或多个处理器以及一个或多个数据和指令存储。
具体实时方式
以下详细描述中对附图进行参考，附图通过图示示出了具体细节以及可在其中实施本公开的实施例。可利用其他方面，并且可作出结构的、逻辑的和电气的改变，而不背离本公开的范围。本公开的各方面不一定是互斥的，因为可将本公开的一些方面与本公开的一个或多个其他方面组合以形成新的方面。
在本申请中使用词“示例性”来意指“充当示例、实例或说明”。在本申请中被描述为“示例性”的任何实施例或设计不一定被解释为相对于其他实施例或设计是优选的或有优势的。
鉴于以下描述、示例和图涉及自动驾驶(AD)(例如，自主驾驶)车辆，应当理解，自动驾驶车辆的示例可包括汽车、公共汽车、小型公共汽车、货车、卡车、移动房屋、车辆拖车、摩托车、自行车、三轮车、移动机器人、个人运输设备和无人机。还应当理解，自动驾驶车辆可包括火车、有轨电车、地铁以及更一般地包括限于在预先指定的轨道上移动的车辆；还应当理解，所公开的感知设备应用于任何尺寸和类型的车辆。
另外，应当理解，所公开的感知设备以及所公开的示例不限于车辆；相反，感知设备可在广泛范围的应用中使用，这些广泛范围的应用包括：可使用感知设备来监视对给定区域的访问的安全相机；可使用感知设备来监视在交叉路口处等待的交通的交通灯；出于广告和信息目的两者的、可使用感知设备来估计印象的数量或者推导出要显示的最相关的内容的智能数字标牌；可使感知设备估计给定区域中的交通的交通拥堵传感器；可使用感知设备来计算给定区域中车辆的速度的速度计。
图1示出示例性车辆(例如，自动车辆)100，该示例性车辆100包括用于检测预定区域100中的空间占用的感知设备102。在一些实施例中，空间占用的示例可包括静态和动态对象，其中，示例性静态对象可对应于道路上的障碍物，并且示例性动态对象可对应于其他车辆和交通。
示例性自动驾驶车辆100还可包括汽车控制器114以及各种汽车组件，这些汽车组件诸如，转向模块116、电机118以及车轮120，这些汽车组件还可包括制动系统和转弯系统，该制动系统和转弯系统均未显示。
在一些实施例中，感知设备可以是可以不与其他组件连接的独立式设备。在此类情况下，感知设备102可向用户发信号通知潜在危险。
在其他实施例中，感知设备102可通过示例性连接132连接至示例性车辆100的汽车控制器114。汽车控制器114可被配置成用于控制车辆的驾驶方向和速度，并且总体而言用于控制汽车组件，这些汽车组件诸如转向模块116、电机118、车轮120、制动系统(未在图1中显示)以及车辆中包括的其他系统。
汽车控制器114可被配置成用于完全或部分地控制车辆100。完全控制可指示：汽车控制器114可被配置成用于控制所有其他汽车组件的行为。部分控制可指示：汽车控制器114可被配置成用于控制一些汽车组件，而不控制在人类驾驶员的控制下的其他组件。在部分控制的一些示例性实施例中，汽车控制器114可被配置成用于仅控制车辆速度但不控制车辆转向。在车辆100的一些实施例中，部分控制可指示：汽车控制器114可被配置成用于控制所有的汽车组件，但是仅在一些情形下控制所有的汽车组件，例如，控制高速公路上而不是在其中人类驾驶员应当获得控制的其他道路上的车辆。在其他实施例中，部分控制可指示以上实施例的任何组合。
在一些实施例中，感知设备102可通过连接器132连接至汽车控制器。在这些实施例中，连接器132可被配置成用于将占用信息从感知设备102传输至汽车控制器114。在一些实施例中，占用信息可采用占用网格的形式。在一些实施例中，完整的动态占用网格可被传输，在其他实施例中，仅占用网格的多个部分可被传输。在一些实施例中，感知设备102与汽车控制器114之间的连接器132可在请求/响应协议的基础上被配置，由此，汽车控制器114可向感知设备请求信息，并且感知设备能以诸如占用信息之类的信息进行响应。
在图1中所显示的车辆100的示例性实施例中，感知设备102和汽车控制器114是不同的组件。在车辆100的其他实施例中，感知设备102和汽车控制器114可被集成到单个设备中。在其他实施例中，感知设备102和汽车控制器114可部分地被集成。在此类实施例中，感知设备102的组件中的一些可被集成在汽车控制器114内。
图1还示出跨不同组件的示例性连接方案。连接器144可将汽车控制器14与转向模块116、电机118以及车轮120等等耦合。连接器144能以此类方式被配置以使得汽车控制器114可向转向模块116、电机118以及车轮120指示如何驾驶车辆，并且转向模块116、电机118以及车轮120可往回向转向模块116指示测程信息、定位信息和车辆状态信息。
连接器146将转向模块116耦合至车轮120的转弯系统(未示出)以控制车辆的驾驶方向。连接器146能以此类方式被配置以使得转向模块116可向致动组件(诸如，车轮120的转弯系统(未示出))如何驾驶车辆，并且致动组件(诸如，车轮120的转弯系统(未示出))可往回向转向模块114指示测程信息、定位信息和车辆状态信息。
连接器132、144和146可被实现为有线连接或无线连接。可将包括车辆总线网络的任何种类的通信协议用于两个相应组件之间的通信，该车辆总线网络诸如，控制器区域网络(CAN)、本地互连网络(LIN)总线、FlexRay、面向媒体的系统传输(MOST)、以及汽车以太网、及密码和非密码变型。此外，组件之间的交互可被实现为跨软件模块或以允许组件之间的信息传输的任何其他方式的循环广播、或多播通信、或远程函数调用、或API调用。
在图1中显示的示例性实施例中，车辆100可以是汽车，并且可能是自动驾驶汽车，但是在其他实施例中，车辆100可以是自动驾驶交通工具100，例如，自主驾驶车辆、自主无人机、自主飞机或任何其他飞行对象、自主自行车、三轮车等等。自主车辆100还可以是任何种类的机器人或移动硬件代理。此外，可能应注意，车辆100不一定必需是完全自主车辆，而是还可以是部分自主车辆或在其中将感知设备实现为驾驶员辅助系统的部分的车辆。
在一些实施例中，车辆100能以要求给定区域中的感知的任何设备来代替，诸如，可监视特定位置的监视设备。与不断改变位置的车辆相反，此类设备可以被固定在特定位置中。
图2示出示例性感知设备200可完成确定预定区域的占用假设的任务。感知设备200可在功能上等同于感知设备102。
为了完成任务，感知设备可包括多个传感器(例如，202、204以及潜在地包括未示出的其他传感器)，其中，至少一个传感器(例如，传感器202)可以是被配置成用于检测多个图像的图像传感器，诸如，单色相机。在一些实施例中，能以规律的时间间隔检测多个图像。传感器204也可以是图像传感器，但其还可以是不同类型的传感器，诸如，激光雷达传感器或雷达传感器。
在一些实施例中，传感器范围的限制可确定由感知设备200确定的占用假设的区域。在其他实施例中，对占用假设区域的确定能以其他方式来执行。
在一些实施例中，诸如图像传感器202之类的图像传感器可刚性地附连至车辆100，该传感器指向车辆100的运动方向。在一些实施例中，诸如图像传感器202之类的图像传感器可处于相对于运动方向某个角度。在一些实施例中，诸如图像传感器202之类的图像传感器可随着车辆100移动而动态地移动。
在一些实施例中，诸如图像传感器202之类的图像传感器可固有地或非固有地被校准。在一些实施例中，对诸如图像传感器202之类的图像传感器的校准可涉及参照有色棋盘的校准测试。在一些实施例中，其他传感器204也可被校准。
多个传感器(诸如，示例性传感器，例如，传感器202和204)可连接至多个信息估计器(例如，222和224)，这些信息估计器可被配置成用于对传感信息进行解码，以推导出可被用来确定对控制车辆100有用的占用信息的有价值的信息。
传感器与信息估计器之间的连接器(诸如，示例性连接器212和214)可将传感信息从传感器传送至信息估计器。作为示例，示例性连接器212可传送由图像传感器202检测到的多个图像，而示例性连接器214可替代地传送取决于传感器204的其他类型的信息，诸如，激光或雷达读数。
信息估计器222可被配置成用于从通过连接器214传送的多个图像中的每个图像估计至少一个深度估计、至少一个速度估计、至少一个对象分类估计、以及至少一个测程估计。
以类似方式，信息估计器224可被配置成用于从由传感器204收集的传感器读数来估计信息。在一些实施例中，信息估计器可估计不同信息。例如，鉴于信息估计器222可提供至少一个速度估计，估计器224可以不提供任何速度估计，或者其可估计径向速度。
在一些实施例中，每个传感器可与信息估计器相关联；在其他实施例中，同一类型的所有传感器可与能够处理这些同一类型的所有传感器产生的传感信息的一个信息估计器相关联。在一些示例性实施例中，信息估计器222可处理来自多个图像传感器(诸如，202)的信息。在其他实施例中，其他配置是可能的，其中，信息处理器可服务给定类型的一些但并非所有传感器。
来自信息估计器的估计可通过连接器(诸如，216和218)被传输至示例性粒子生成器(诸如，226)。
诸如粒子生成器226之类的粒子生成器可被配置成用于合成从所有传感器接收的读数。为了完成该任务，粒子生成器226可被配置成用于生成多个粒子，其中，多个粒子中的每个粒子可包括从示例性深度估计确定的位置值、从示例性速度估计确定的速度值以及从示例性分类估计确定的分类值。每个粒子还可包含对哪个传感器生成了由该粒子表示的信息的指示。在一些实施例中，粒子还可包含除位置、速度和分类之外的附加值。
在一些实施例中，每个粒子可与传感器读数对应；因此，整个粒子集合可表示由所有传感器收集的所有读数的集合。在其他实施例中，一些粒子可表示多个传感器读数。
可通过连接器220将由粒子生成器226生成的多个粒子传送至诸如示例性占用假设确定器230之类的占用假设确定器。
占用假设确定器230可被配置成用于确定预定区域的占用假设，其中，多个粒子中的每个粒子提供给定位置可能被占用的某个证据。因此，多个粒子中的每个粒子均对占用假设的确定作出贡献。此外，通过与粒子的关系，每个传感器读数有助于对占用假设的确定。
占用假设可被认为是预定区域的动态地图，其可取决于粒子的分布，其中，与预定区域中的给定位置相关联的粒子越多，该位置被占用的可能性就越高。
说明性地，已在图2中将感知设备200表示为单个框，但是在车辆100的一些实施例中，传感器(诸如，202和204)、信息估计器222和224、粒子生成器226以及单个占用假设确定器230可跨整个车辆分布，以适应工程考虑或其他考虑。在一些实施例中，组件202、204、222、224、226和230中的一些也可被包括在诸如示例性汽车控制器114之类的汽车控制器中。
连接器212、214、216、218、220可与图1中的连接器132、144、146类似地被实现为有线或无线连接。可将包括车辆总线网络的任何种类的通信协议用于两个相应组件之间的通信，该车辆总线网络诸如，控制器区域网络(CAN)、本地互连网络(LIN)总线、FlexRay、面向媒体的系统传输(MOST)、以及汽车以太网、以及密码和非密码变型。此外，组件之间的交互可被实现为跨软件模块或以允许组件之间的信息传输的任何其他方式的循环广播或多播通信、或远程函数调用、或API调用。
连接器240可在功能上等同于连接器132，并且其可被配置成用于将占用信息从感知设备200传输至在功能上等同于汽车控制器114的汽车控制器。
图3示出示例图像300，该示例图像300可由可在功能上等同于示例性图像传感器202的图像传感器检测到。图像300可表示具有第一墙壁302、第二墙壁304、第二墙壁304前方的树木308、第一人行道330、第二人行道332、第一人行道上的对象306以及车辆310的城市场景。
图像300(每一个图像同样)可包括多个像素，其中，多个像素中的每个像素可由三个值来表征；其中，这三个值中的第一值指定像素的绿色光度水平，这三个值中的第二值指定该像素的红色光度水平，并且这三个值中的第三值指定该像素的黄色光度水平。
样本图像300还可包括由圆形312、314、316、318、320表示的多个像素的样本。每个像素可表示图像300的部分，并且更具体地，每个像素可表示图像中所表示的对象的部分。作为示例，像素312可表示第一墙壁302的部分，像素314可表示第二墙壁304的部分，像素316可表示对象306的部分，像素318可表示树木308的部分，并且像素320可表示车辆310的部分。
在一些实施例中，诸如图像300之类的图像中的多个像素能以与阴影区域340中表示的像素类似的方式被组织在2维(2D)矩阵中。
图像300中的每个像素还可提供关于该图像表示的对象的信息。可在功能上等同于信息估计器222的示例性信息估计器可从图像300中的多个像素中的至少一个像素估计一个或多个距离估计、一个或多个速度估计、一个或多个对象分类估计。作为示例，示例性信息估计器222可从像素320估计车辆310的位置、车辆310的速度、以及车辆310的分类(例如，它是汽车)。另外，信息提取器可提取图像传感器运动的一个或多个测程估计。
作为示例，可在功能上等同于粒子生成器226的示例性粒子生成器可生成与像素312、314、316、318、320中的每个像素对应的粒子。这些粒子中的一个粒子可从像素320被推导出，该粒子可有助于标识车辆310。
最后，作为示例，可在功能上等同于占用估计确定器的示例性占用估计确定器可确定检测出的图像300的图像传感器前方的给定区域被占用且占用该区域的对象可被标记为汽车。
图4示出可在功能上等同于信息估计器222的信息估计器400的实施例。信息估计器400从由(可在功能上等同于图像传感器202的)图像传感器402检测到的诸如(可等同于图像300的)图像404之类的图像估计特殊信息。
信息估计器400可通过连接器430从图像传感器402接收诸如图像404之类的图像，该连接器430可在功能上等同于连接器212。信息估计器400中的输入组件406可接收通过连接器430从图像传感器402传输的图像，并且随后通过连接器432将这些图像分发给估计器412、414、416、418。
在一些实施例中，输入组件406可存储多个图像；在一些实施例中，该输入组件可执行对这些图像的预处理。
估计器412是估计图像(诸如，图像404)中所描绘的对象的深度以产生一个或多个深度估计422的深度估计器，其中，深度估计422可以是对图像传感器402与图像404中所描绘的对象或对象的部分之间的距离的估计。换言之，深度估计器412可估计图像传感器402与围绕图像传感器402且也在图像404中被描绘的对象之间的距离。在一些实施例中，每个距离估计可以是单个值；在其他实施例中，距离估计可指示距离值以及相对于某个参考方向(诸如，车辆方向)的角度。
估计器414可以是估计至少一个速度估计424的速度估计器，其中，速度估计可以是对所描绘的对象相对于图像传感器的速度的估计。换言之，速度估计器414可估计图像404中所描绘的对象是否相对于图像传感器402。在一些实施例中，速度估计可以是单个值；在其他实施例中，可参照某个参考坐标系就速度值和运动方向来定义速度值估计，该参考坐标系可在图像传感器402中居中。
估计器416可以是估计至少一个分类估计426的分类估计器，其中，分类估计可以是对图像404中所描绘的对象的分类的估计。换言之，分类估计器416可估计或识别图像404中所描绘的对象是车辆、建筑物还是任何其他类型的对象。在一些实施例中，分类中的类型可包括诸如道路、人行道、建筑物、墙壁、栅栏、杆、交通灯、交通标志、植被、地形、天空，人、骑手、汽车、卡车、公共汽车、火车、摩托车和自行车之类的标签。
估计器418可以是估计至少一个测程估计428的测程估计器，其中测程估计可以是对图像传感器402的移动的估计。测程估计可估计图像传感器402移动得多快以及其移动和加速的方向。
在一些实施例中，由估计器412、414、416、418产生的相对于图像传感器的估计可被解释为相对于可以正在主控该图像传感器的车辆的估计。在这些实施例中，信息估计器可估计相对于车辆的距离、相对于车辆的速度以及相对于车辆移动的测程估计。
在一些实施例中，信息估计器可包含附加的估计器。此类估计器可包括以上所描述的估计器的多个实例，或者它们可包括提供有关可能围绕车辆100的对象的附加信息的其他类型的估计器的多个实例。
输出组件442可收集估计器的所有输出，诸如，深度估计422、速度估计424、分类估计428以及测程估计428。在一些实施例中，输出组件442可执行对所估计的值的某种后处理。
输出组件442可通过连接器440将估计传输至其他组件。此类其他组件可包括可在功能上等同于粒子生成器226的粒子生成器，在此类情况下，连接器440可在功能上等同于连接器216。
结果是，信息估计器400可从多个图像中的每个输入图像估计：至少一个深度估计，其中，该深度估计可以是对从输入图像中所描绘的对象的部分到图像传感器的距离的估计；至少一个速度估计，其可以是对输入图像中所描绘的对象的部分相对于图像传感器的速度的估计；至少一个对象分类，其可以是参照预先定义的标签集合表示输入图像中所描绘的对象的部分的分类的一个或多个标签；以及测程估计，其可以是对图像传感器的移动的测量。
图5示出作为神经网络的估计器的实施例，该估计器作为示例性神经网络500可在功能上等同于估计器412、414、416和418中的任一者。神经网络500可包括可被配置成用于存储输入图像(诸如，图像404或图像300)的输入层502以及可被配置成用于存储由估计器计算出的估计的输出层512。示例性地，输出层512可与估计422、424、426、428中的任一者对应。神经网络500还可包含一个或多个内层。
每个层502、504、506、508、510、512、514、516、518、520、522、524可由网络部分组成，换言之，可由单元组成，其中，说明性地，单元可与神经网络中的神经元对应。网络部分(换言之，单元)可跨层或在层内彼此连接。这些连接可由权重来表征，该权重可指示两个网络部分之间的连接的强度。连接权重可指示两个网络部分(换言之，两个单元)有多相关。改变连接权重可影响神经网络的整体行为。在神经网络的训练期间，连接权重可改变，换言之，可被调整。在一些实施例中，神经网络的训练是可旨在调整连接权重以使得整个网络实现特定的输入/输出变换的过程。在一些实施例中，用于训练神经网络的方法是反向传播。
输入层502可由神经网络中的单元组成，其中，说明性地，单元可与网络中的神经元对应。输入层可通过对输入层中的单元中的图像中的像素编码来对输入图像(诸如，图像404或图像300)进行编码：按此类方式，每个单元可表示仅一个像素，并且一个像素由一个单元表示的此类方式。
神经网络500还可包括：一个或多个卷积层，诸如，具有示例性层504、506、508、510、522；以及一个或多个去卷积层，诸如，示例性层518、520、514、516、524。卷积层可定义神经网络500的编码级，而去卷积层可定义神经网络500的解码级。在一些实施例中，去卷积可使用深度到空间层来执行。
在一些实施例中，这些层中的一些可被配置成递归卷积层，其中，递归卷积层中所包括的单元中的至少一个单元可被配置为长的短期记忆(LSTM)单元。在一些实施例中，递归层的所有单元均被配置成LSTM单元。示例性层506、510、524、520、516可以是由符号530指示的递归层。
连接器532表示示例性神经网络500中的跨层连接。在一些实施例中，网络的层可以是完全连接的，在其他实施例中，可采用其他形式的部分连接性。
在其中神经网络500可包括多个隐藏层的一些实施例中，其可在功能上等同于深度神经网络(DNN)。在其中神经网络500可包括递归层的一些实施例中，其可在功能上等同于深度递归网络(DRNN)。在其中网络可包括递归层和卷积层两者的一些实施例中，其可等同于递归卷积神经网络(CRNN)。
图6示出被配置成深度神经网络(DNN)600的分类估计器(诸如，分类估计器416)的实施例。神经网络600可基于示例性神经网络500，神经网络600具有允许该网络识别图像中的对象的分类的附加细节。
输入层602对图像进行编码，并且其可在功能上等同于层502。在表1中描述该网络的内层，其中，参考列可指示图6中表示层的符号的参考号。层列可指示参照DNN 600的层。作为示例，参考号610可指示与两个层610-3和610-4对应的图6中的符号。类型列可指示层的类型，其中，标签卷积可指示对应的层可以是卷积层，标签去卷积可指示对应的层可以是去卷积层；标签ESP可指示对应的层可被配置成可在功能上等同于700的高效空间金字塔(ESP)模块；并且标签Softmax可指示softmax函数可被应用于对应的层。列I/O信道描述输入/输出信道的数量。列输出处的缩放提供确定对输出的缩放的参数。输入列示出对应层的输入，其中，符号&可指示串接操作符。
表1：图6中DNN的层的描述
Figure BDA0002186599530000121
Figure BDA0002186599530000131
附加层606、612和618是要求对来自不同连接的信息进行合并的串接层。
神经网络600中的层可以是完全连接的或部分连接的，此外，连接640、642、644和650允许在一些层内执行的计算被向前传输，从而允许通过跳过连接中的一些层对身份功能的自然实现。后果是，神经网络可学习并计算更复杂的函数。可利用连接646、648、652和654来实现类似的效果。
输出层634可指示层602中经编码的图像中检测到的对象的所估计的分类以及此类编码的概率。
可使用从预定义的图像集合开始的反向传播并对预期输出进行编码来执行网络600的训练。
图7示出示例性ESP层的实施例。ESP是就计算、存储器和功率而言高效的同时维持类似准确度的分类的一种类型的卷积模型。
输入层702可由M个输入信道组成，其中，M可以是ESP的参数，并且其可取决于输入层702可连接到的卷积层。可通过连接器730将输入层702中的数据传输至卷积层704和输出层726两者。卷积层704可执行第一卷积，并且随后其可通过连接器732将其结果传输至卷积层706、708、710、712和714。表2中详细描述了卷积层704、706、708、710、712和714，其中，层列可指示层的参考号。作为示例，第一行中的704可指示图7中的层704。类型列可指示层的类型，其中，标签卷积可指示对应的层可以是卷积层。列I/O信道描述输入/输出信道的数量。列扩大可以是可描述卷积层中所采用的过滤器的尺寸的扩大参数。
在列I/O信道中，值d可在下列等式的基础上被确定：
d＝M/K (1)
其中
M可以是层702的输入信道的数量；
K可以是ESP的参数，在一些实施例中，K可被设置为5。
表2：ESP网络的层
层 类型 I/O信道 核尺寸 扩大
704 卷积 M/d 1x1 1
706 卷积 d/d 3x3 1
708 卷积 d/d 3x3 2
710 卷积 d/d 3x3 4
712 卷积 d/d 3x3 8
714 卷积 d/d 3x3 16
层716、718、720、722可以是实现渐进地对卷积层的结果进行求和的ESP典型特征的求和层。因此，层706的卷积的值和卷积层708的值可分别通过连接器734和736被传输至层716，该层716可以是求和层。进而，求和层716的值和卷积层710的值可分别通过连接器748和738进一步被传送至求和层718。类似地，求和层718的值和卷积层712的值可分别通过连接器744和740进一步被传送至求和层720。最后，求和层720的值和卷积层714的值可分别通过连接器742和746进一步被传送至求和层722。
层724可以是串接层，该串接层可将可通过连接器734传送的卷积层706的结果与可分别通过连接器754、736、738、750传送的求和层716、718、720、722的结果进行串接。
层726可以是求和层，该求和层可对通过连接器730从输入层702传送的输入值与具有通过连接器756传送的层724中经串接的值的值进行求和。
连接器752可将EPS卷积的值传送至神经网络中的进一步的层。
图8示出残差块模块800的示例性实施例以及向上投影模块850的示例性实施例。残差块模块和向上投影模块可具有如下功能：增加神经网络的深度，并因此增加神经网络可能能够计算的函数的量同时减少神经网络的训练工作。
诸如示例性残差块800之类的残差块可以是允许身份是卷积函数的形式的卷积模块的形式。
在示例性残差网络模块800中，连接器802提供输入数据。可通过连接器820将此类输入数据直接传输至输出层818，并且可将此类输入数据进一步传输至层812，该层812可以是具有示例性参数1x1的卷积层。卷积层812可通过连接器804连接至层814。层814可以是具有示例性参数3x3的卷积层，并且其可通过连接器806进一步连接至层816。层816可以是具有示例性参数1x1的卷积层。卷积层816可通过连接808进一步连接至求和层818，该求和层818计算由层812、814和816计算的卷积的结果与由连接器820提供的数据的和。连接器810可将残差块模块800的输出层818连接至神经网络中的其他模块。
诸如示例性向上投影模块850之类的向上投影模块可以是去卷积层的形式。在示例性向上投影模块850中，连接器852向具有示例性参数5x5的示例性去卷积层872提供输入数据。层872可通过连接器854连接至层874。层874可以是具有示例性参数5x5的卷积层，并且其可通过连接器856进一步连接至层876。层876可以是具有示例性参数3x3的卷积层。卷积层876可通过连接858连接至求和层878。
去卷积层872可通过连接器862进一步连接至层880。层880可以是具有示例性参数5x5的卷积层，并且其可通过连接器864进一步连接至求和层818。
求和层878可计算由层872、874和876计算的去卷积和卷积的结果与由层880计算的卷积的和。连接器860可将向上投影模块850的求和层878连接至神经网络中的其他模块。
图9示出被配置成深度神经网络(DNN)900的深度估计器(诸如，深度估计器412)的实施例。神经网络900可基于示例性神经网络500，神经网络900具有允许该网络识别图像中的对象的深度的附加细节。
输入层902对图像进行编码，并且其可在功能上等同于层502。
表3中描述了网络的内层，其中，表3的列具有与表1中相同的解释，并且类型列可指示层的类型，其中，标签卷积可指示对应的层可以是卷积层；标签最大池化可指示对应的层可以是最大池化层；标签残差块可指示对应的层可以是残差块层，其可在功能上等同于残差块模块800；标签向上投影可指示对应的层可以是向上投影层，其可在功能上等同于向上投影模块850；并且标签去卷积可指示对应的层可以是去卷积层。
作为示例，在表3的第3行中由具有参考号908的符号指示的层908-1、908-2、908-3、908-4可以是具有数个输入/输出信道的残差块层，输入/输出信道的数量如在层908-1的情况下可以是32/128，或者如在层908-2和908-3的情况下可以是128/128，或者如在层908-4的情况下可以是128/256；此外，层908-1、908-2、908-3可具有输出处的缩放值4，而层908-4可具有输出处的缩放值8。
表3：图9中DNN的层的描述
Figure BDA0002186599530000161
Figure BDA0002186599530000171
输入层902可通过连接器940连接至层904。
神经网络900中的层可以是完全或部分连接的，其中，层904可连接至层906，层906可进一步连接至层908，层908可进一步连接至层910，层910可进一步连接至层912，层912可进一步连接至层914，层914可进一步连接至层916，层916可进一步连接至层918，层918可进一步连接至层920，层920可进一步连接至层922，层922可进一步连接至层924，层924可进一步连接至层926，层926可进一步连接至输出层928。
在一些实施例中，神经网络900还可包含附加连接。在此类实施例中，通过908引用的层中的至少一个层可通过连接器924进一步连接至层924；通过910引用的层中的至少一个层可通过连接器944进一步连接至层922；并且通过912引用的层中的至少一个层可通过连接器946进一步连接至层920。
层928可以是可提供图像中不同对象的深度的输出层。在一些实施例中，层928可具有与层902的单元数量相同的单元，其中，可针对输入图像的每个部分来估计深度值。
在一些实施例中，分类估计器930的输出可向卷积层904提供附加输入，该分类估计器930可以是在功能上等同于神经网络600的神经网络或在功能上等同于估计器416的另一类型的估计器。
神经网络900的训练可要求损失函数来评估估计误差。在一些实施例中，深度估计器的损失函数可被配置成用于计算由神经网络900计算的距离估计与多个参考值之间的差的函数，这些参考值提供关于图像传感器与测试图像中所显示的对象之间的距离的基本事实。
在一些实施例中，距离估计值的损失函数可被配置成用于计算下列公式：
∑||Di-DGT|| (2)
其中
Di可以是一个距离估计；
DGT可以是一个深度参考值；
‖…‖.可指示绝对值函数。
图10示出深度神经网络1000的实施例，该深度神经网络1000可被训练以估计分类估计和深度估计两者。DNN 1000可基于DNN 600，DNN 600可能仅仅产生分类估计，但DNN1000偏离于DNN 600，因为DNN 1000采用可以产生深度估计的额外的解码层。
得到的DNN 1000包括：由层1002至1018组成的编码器，其对于深度估计和分类估计两者可以是公共的；以及两个解码器：一个由层1022至1034组成，用于估计分类，另一个由层1060至1076组成，用于估计深度。
输入层1002可在功能上等同于层602。
在表4中描述了公共编码器的内层，其中，表4的列具有与表1的列相同的解释。此外，类型列可指示层的类型，其中，标签卷积可指示对应的层可以是卷积层，标签去卷积可指示对应的层可以是去卷积层；标签ESP可指示对应的层可被配置成高效空间金字塔(ESP)模块，该ESP模块可以是在功能上等同于700的卷积层的形式；标签LSTM可指示对应的层可以是包括至少一个长的短期记忆(LSTM)单元的递归卷积层；并且标签Softmax可指示softmax函数可被应用于对应的层。列I/O信道描述对应的层的输入/输出信道的数量。列输出处的缩放提供确定输出的缩放的参数。
表4：DNN 1000的公共编码器的层的描述
Figure BDA0002186599530000191
可估计分类的第一解码器可涉及层1020至1032，这些层可如表5中所描述地被配置。表5假定与表4相同的结构和相同的解释。
表5：DNN 1000的分类解码器的层的描述
Figure BDA0002186599530000192
Figure BDA0002186599530000201
可估计深度的第二解码器可涉及层1060至1076，这些层可如图6中所描述地被配置，表6假定与表4相同的结构和相同的解释。
表6：DNN 1000的深度解码器的层的描述
参考 层 类型 I/O信道 输出处的缩放 输入
1060 1060 去卷积 256/32 4 1014-4&1016-12
1062 1062 卷积 32/64 4 1060
1064 1064 LSTM 64/64 4 1062
1066 1066 去卷积 64/16 2 1064
1068 1068 卷积 16/32 2 1066
1070 1070 LSTM 32/32 2 1068
1072 1072 去卷积 32/8 1 1070
1074 1074 卷积 8/1 1 1072
附加层1006、1012和1018是要求对来自不同连接的信息进行合并的串接层。神经网络1000中的层可以是完全连接的或部分连接的，此外，连接1040、1042、1044和1050允许在一些层内执行的计算被向前传输，从而允许通过跳过连接中的一些层对身份功能的自然实现。后果是，神经网络可更快地学习并计算更复杂的函数。可利用连接1046、1048、1052和1054来实现类似的效果。
输出层1034可指示对层1002中编码的图像中检测到的对象的所估计的分类以及此类编码的概率。
在一些实施例中，可在两个阶段中执行DNN 1000的训练：首先，由公共编码器和分类解码器构成的分类网络可以可能使用反向传播来训练。
一旦分类网络可被训练，就可执行由公共编码器和第二解码器构成的深度估计网络的训练。深度估计网络的训练可基于反向传播，但是在该情况下，反向传播可能被限制以在不影响公共编码器的参数的情况下训练第二解码器。深度估计神经网络的训练可能要求诸如函数(2)之类的损失函数来评估如关于图9所描述的估计的误差。
上文所描述的神经网络1000的训练可概括为其中存在第一神经网络和第二神经网络且其中第一神经网络的层是第二神经网络的输入层的任何情况。在一些实施例中，用于训练神经网络的方法可包括：训练第一神经网络；随后在不改变第一神经网络的权重或结构的情况下在第一神经网络上训练第二神经网络。
在一些实施例中，训练第一神经网络可包括：应用反向传播训练策略。在一些实施例中，训练第二神经网络可包括：应用反向传播训练策略。
在一些实施例中，第一神经网络可具有一个或多个隐藏层。在一些实施例中，第二神经网络隐藏层中的一个隐藏层可以是第二神经网络的输入层。在一些实施例中，第二神经网络可具有一个或多个隐藏层。
图11示出被配置成深度神经网络(DNN)1100的速度估计器(诸如，速度估计器414)的实施例。神经网络1100可基于示例性神经网络500，神经网络1100具有允许该网络识别图像中的对象的速度的附加细节。
DNN 1100可共享如表3中详细示出的DNN 900的相同结构，相应地具有对图中符号的参考以及对获得报酬的网络中的层的参考。
在一些实施例中，DNN 1100的训练可要求损失函数来评估速度估计的误差。在一些实施例中，损失函数可被配置成用于计算由神经网络1100计算的速度估计与多个参考值之间差的函数，这些参考值提供关于图像传感器与测试图像中所显示的对象之间的速度的基本事实。
在一些实施例中，误差函数可给每个图像分派根据下列公式(3)确定的误差值。
Figure BDA0002186599530000221
其中
vi可以是从第i个像素提取的一个速度估计；
VGT可以是一个速度参考值。
在一些实施例中，分类估计器1130的输出可通过连接器1150向卷积层1104提供附加输入，该分类估计器1130可以是在功能上等同于神经网络600或1000的神经网络或者在功能上等同于估计器416的任何其他类型的估计器。
在一些实施例中，深度估计器1132的输出可通过连接器1152向卷积层1104提供附加输入，该深度估计器1132可以是在功能上等同于神经网络900或1000的神经网络或者在功能上等同于估计器412的任何其他类型的估计器。
图12示出被配置成深度神经网络(DNN)1200的测程估计器(诸如，测程估计器418)的实施例。神经网络1200可基于示例性神经网络500，神经网络1200具有允许该网络识别图像传感器的移动的附加细节。
输入层1202对图像进行编码，并且其可在功能上等同于层502。CNN 1200的输出层可以是层1228。在一些实施例中，层1228中的单元可对深度测量(换言之，距离测量)进行编码，该深度测量可指示图像传感器的移动量。在其他实施例中，层1228中的单元可对旋转矩阵和平移向量进行编码，其中，旋转矩阵提供对车辆的水平和竖直旋转(换言之，车辆左转或右转了多少以及车辆上坡移动或下坡移动了多少)的估计。此外，层1228中的单元还可对平移向量进行编码，该平移向量可指示车辆移动了多少。
表7中描述了网络的内层，其中，表7的列具有与表1中相同的解释，仅有的例外是类型列可指示层的类型，其中，标签卷积可指示对应的层可以是卷积层；标签最大池化可指示对应的层可以是最大池化层；标签残差块可指示对应的层可以是残差块层，其可在功能上等同于残差块模块800；标签向上投影可指示对应的层可以是向上投影层，其可在功能上等同于向上投影模块850；并且标签去卷积可指示对应的层可以是去卷积层；标签LSTM可指示对应的层可以是包括至少一个长的短期记忆(LSTM)单元的递归卷积层。
表7：DNN 1200的深度解码器的层的描述
Figure BDA0002186599530000231
Figure BDA0002186599530000241
在一些实施例中，神经网络1200还可包含附加连接。在此类实施例中，通过1208引用的层中的至少一个层可通过连接器1242进一步连接至层1224；通过1210引用的层中的至少一个层可通过连接器1244进一步连接至层1222；并且通过1212引用的层中的至少一个层可通过连接器1246进一步连接至层1220。
符号1250提供可指示平移向量的幅度(换言之，长度)的值。可通过连接器1252将幅度值传送至重塑操作器1254。该重塑操作器可迫使所估计的平移向量等于测距计算的向量。
图13示出被配置成深度神经网络(DNN)1300的测程估计器(诸如，测程估计器418)的替代实施例以及使用仅仅基于光学信息的基本事实来训练DNN 1300的过程的替代实施例。
DNN 1300由层1302和层1328定界，层1302可以是可对图像进行编码并且可在功能上等同于层502的输入层；并且层1328可以是可在其中报告测程估计的输出层。在一些实施例中，层1328中的单元可对深度测量(换言之，距离测量)进行编码，该深度测量可指示图像传感器的移动量。在其他实施例中，层1328中的单元可对旋转矩阵和平移向量进行编码，其中，旋转矩阵提供对车辆的水平和竖直旋转(换言之，车辆左转或右转了多少以及车辆上坡移动或下坡移动了多少)的估计。此外，层1328中的单元还可对平移向量进行编码，该平移向量可指示车辆移动了多少。可在表8中详细描述神经网络1300，表8具有与表3的结构相同的结构。
表8：DNN 1300的深度解码器的层的描述
Figure BDA0002186599530000242
Figure BDA0002186599530000251
输出层1328的单元可对车辆的旋转矩阵和平移矩阵进行编码，其中，旋转矩阵可指示水平方向的改变，换言之，车辆正在左转还是右转，并且旋转矩阵还可指示竖直方向的改变，换言之，车辆正在上坡还是下坡。平移向量可指示车辆移动了多远。
DNN 1300的训练可要求作为基本事实估计的车辆移动的估计，相对于该基本事实估计建立反向传播过程。在一些实施例中，此类估计可从车辆自身内的汽车传感器获得。原则上，利用来自网络的估计来测量DNN 1300并且随后执行反向传播可以是可能的。在此类实施例中，可在以上公式(2)和(3)的基础上构建损失函数。
替代方式可使用来自图像传感器自身的信息，并且使用分析数学方法(诸如，光流法)来处理图像传感器检测到的图像。此类方法可提供对跨图片的图像传感器的移动的估计。进而，此类估计可提供随后可被利用来定义用于DNN1300的反向传播训练的损失函数的基本事实。
可执行估计跨图像的图像传感器的移动所要求的分析数学分析的过程可开始于到DNN 1300的输出的点云的3D投影。此类3D投影可由组件1358执行，该组件1358通过连接器1382接收测程估计。可通过连接器1388将得到的点云传送至组件1360。组件1360通过两个变换组件来对该点云进行变换：第一变换组件1354可应用描述车辆的旋转的旋转矩阵，该旋转矩阵可由DNN1300推导；并且第二变换组件1356可应用描述车辆的移动的平移向量。连接器1382和1384可表示从组件1360到组件1354和1356以及来自组件1354和1356的数据传输。
组件1362可通过连接器1390接收过程1360的输出，并且组件1362可将点云投影到2D。
组件1364可在通过连接器1392从过程1362接收的2D点云的基础上计算光流。
组件1368可通过将光流估计、第一图像1302和第二图像1352组合来计算损失函数，该光流估计从组件1364通过连接器1386得到，第一图像1302还可以是DNN 1300的输入，该第一图像1302由组件1368通过连接器1370接收，第二图像1352通过连接器1376被接收。在一些实施例中，由图像传感器在示例性时刻t检测到第二图像，而第二图片在示例性时刻t+1被检测到。
在一些实施例中，由组件1368计算的损失函数可被配置如下：
Figure BDA0002186599530000261
其中
N是检测到的图像的数量
I是被计算以推导出光流估计的强度函数
x,y可以是由DNN 1300估计的车辆的位置的坐标
x',y'可以是通过光流估计所估计的基本事实位置的坐标。
在一些实施例中，组件1358、1360、1354、1356、1362、1364和1368可以是软件组件，在此类实施例中，连接器1388、1390、1392、1386、1382和1384可以是跨软件组件的数据传递过程，在一些实施例中，此类数据传递过程可涉及函数调用。
图14示出包括多个网格单元1402的示例性动态占用网格1400。每个网格单元1402可由相应的网格单元边框线1404框定。在一些实施例中，网格单元可以是正方形或矩形，在其他实施例中，网格单元可假定其他形状。
网格单元的尺寸可有所变化：网格单元尺寸的示例性值的范围从几平方厘米到几平方米的尺寸。在一些实施例中，可采用其他单元尺寸。在一些实施例中，较小的网格单元倾向于得到较高的分辨率。在一些示例性实施例中，网格单元在较靠近车辆处可能较小，较靠近车辆处可能需要较高的分辨率，并且在较远离于车辆的网格的边缘处网格单元较大，在较远离于车辆处可能具有较不严格的分辨率要求。在一些实施例中，占用网格中的网格单元的尺寸和数量可通过分析所要求的分辨率与可用的分辨率之间的权衡来确定。
在一些实施例中，动态占用网格可与预定区域相关联，其中，该区域可包括所有单元的区域，这些单元是网格的部分。在一些实施例中，如在网格1400的情况下，预定区域可以是连续的，在预定区域中，单元可彼此相邻放置，在其他实施例中，动态占用网格可被分割，以捕捉特殊要求。
动态占用网格的预定区域可以是车辆100周围的区域。在一些实施例中，车辆100可被定位在占用网格的中心，并且预定区域可以是在车辆周围均等分布的区域。在其他实施例中，车辆100可被定位在动态占用网格的侧面处，或者等效地位于预定区域的侧面处，以适应在车辆的一侧可能要求更多信息的要求。在一些实施例中，车辆100可在动态占用网格之外。在一些实施例中，动态占用王可随车辆100移动。
网格单元可与粒子相关联，其中，每个粒子可表示一个或多个传感器读数，该一个或多个传感器读数可能已经检测到由网格单元表示的区域中存在的对象。通过放置粒子，动态占用网格可提供关于预定区域内对象的位置的信息。动态占用网格可被认为是预定区域的动态地图，替代地，换言之，动态占用网格可被认为提供预定区域的占用假设。
参考图14，符号1412、1414、1416、1418、1420、1422、1424可表示可被定位在占用网格1400中的粒子。可由粒子生成器从深度估计器推导出这些粒子的位置，该粒子生成器在功能上等同于粒子生成器226，该深度估计器可在功能上等同于412或在功能上等同于示例性DNN 900和1000。其中，所估计的深度可提供对粒子距车辆的距离的估计、以及粒子相对于车辆的位置的估计。在一些实施例中，假定以车辆位置为中心的极坐标系，粒子可被放置在网格上，。
作为示例，可已经从与像素312相关联的信息生成粒子1412，并且粒子1412可在动态占用网格中表示第一墙壁302的部分；可已经从与像素314相关联的信息生成粒子1414，并且粒子1414可表示第二墙壁304的部分；可已经从与像素320相关联的信息生成粒子1420，并且粒子1420可表示车辆310的部分。
在一些实施例中，诸如第一墙壁、第二墙壁和车辆之类的对象可由多个粒子表示。在一些实施例中，此类多个粒子可包括大量的粒子。一般而言，所生成的粒子的数量可取决于传感器的质量，其中，高分辨率传感器可生成较大量的粒子；所生成的粒子的数量可取决于计算考虑，其中，较大量的粒子可能要求较大量的计算资源；并且所生成的粒子的数量可取决于所要求的分辨率，其中，较大量的粒子可得到较高的分辨率。
粒子还可与速度相关联，该速度可由运动的方向并由速度值表示。与非零速度相关联的粒子可被指示为动态粒子，而与零速度相关联的粒子可被指示为静态粒子。作为示例，表示车辆310的部分的粒子1420可以是具有在由箭头1436指示的方向上的非零速度的动态粒子；而两者均表示墙壁的部分的粒子1412和1414可以是具有零速度的静态粒子。
粒子还可与标签相关联，该标签指示粒子在网格中表示的对象的类型，其中，对象的类型可由可从信息估计器(诸如，400)推导出的分类估计指示。示例性粒子1420可与类型“汽车”相关联，因为其可指示车辆310，而示例性粒子1412可与标签“墙壁”相关联，因为其可指示第一墙壁302。
在图14中，形状1430可表示与单元1406相关联的示例性单个占用假设，其中，单个占用假设可提供单元占用的级别的指示、单元速度的指示、以及占用类型的指示。在一些实施例中，单个占用假设可以是单元被占用的可能性的测量或可信度的测量、与单元的占用相关联的速度的测量。示例性单元1406可包括可指代墙壁202的粒子(如粒子1412)，因此单元中的大部分或全部粒子可以是静态的并且被标记为“墙壁”。后果是，单个占用假设1430可指示对应的单元可以是静态的以及其为墙壁。类似地，形状1432可表示针对单元1408的示例性单个占用假设。单元1408可包括可指代车辆310的粒子(如粒子1420)，因此单元1408中的大部分或全部粒子可以是动态的，反映车辆310的速度。箭头1434可指示与单个占用假设1430的非零速度相关联的运动的方向。
在图14中，符号1422和1424可表示可由附加传感器204(诸如，激光雷达传感器或雷达传感器)提供的附加粒子。这些粒子可与任何其他粒子一样多地对任何单个占用假设的公式化作出贡献。
在一些实施例中，诸如单个占用假设1430和1432之类的单个占用假设可使用可信度质量函数来确定，其中，单元占用的可信度质量可被定义为单元中的粒子相对于动态占用网格中的所有粒子的比例。速度的可信度质量可从与单元中的粒子相关联的速度的分布来计算。
在一个实施例中，可根据下列公式来确定单个占用假设：
Figure BDA0002186599530000291
其中
Figure BDA0002186599530000292
可以是第i个传感器的质量可信度；
Figure BDA0002186599530000293
可以是证据组合运算符，在一些实施例中，其可以是Dempster Shafer证据组合运算符；
S可以是单元中的粒子为静态的指示；
D可以是单元中的粒子为动态的指示；
si可指示第i个传感器。
公式(4)可提供用于在分派给粒子的位置值的基础上同时保持将传感器之间的技术差异(诸如，精度)考虑在内来计算单元的占用的方式。
类似于公式(4)的公式可指示如何推导出与单元相关联的速度以及单元的分类标签的质量可信度。
图15示出粒子速度分布值以及与传感器的速度估计相关联的误差分布的推导，传感器提供高斯误差分布假定下的速度信息。符号1510表示具有图像传感器1512的假设性车辆，该图像传感器1512检测由箭头1520指示的方向上的图像。该图像可引起多个粒子的生成，这些粒子中的一些可与其中心可由点1522描述的单元相关联。单元中的每个粒子可具有不同的速度值。单元的速度可由箭头1524和1526描述，其中，1524可以是x方向上的假设速度或vx，并且1526可以是y方向上的假设速度或vy。速度分布的方差可由线1532和1534描述。这可引起可由椭圆1530指示的速度分布。
在一些实施例中，至少一个传感器无法提供速度信息。在这些实施例中，诸如单个占用假设确定器110之类的单个占用假设确定器可能不具有关于与由传感器生成的粒子相关联的速度的任何信息。在此类实施例中，单个占用确定器110可在不具有速度信息的情况下向粒子分派从预先定义的概率分布提取出的随机速度值。在一些实施例中，可根据下列公式(5)来分派此类随机速度值：
Figure BDA0002186599530000301
其中
w动态+w静态＝1 (6)
其中
U可以是均匀分布；
Figure BDA0002186599530000302
可以是具有零速度的静态粒子的狄拉克(Dirac)分布；
w动态可以是指示动态粒子(换言之，具有非零速度)的预期比例的参数；
w静态可以是指示静态粒子(换言之，具有零速度)的预期比例的参数；
在一些实施例中，可从占用由网格单元表示的区域的对象的类型来估计参数w动态和w静态。
图像传感器202以及所有的附加传感器204可能产生噪声读数，这些噪声读数可导致错误粒子。结果是，不能由此识别空闲区域，并且可能引导在功能上等同于车辆100的车辆避开不存在的障碍物，和/或被占用的区域可能被识别为空闲区域，从而可能导致事故。
图16示出可在功能上等同于占用假设确定器230的占用假设确定器1600的实施例。占用假设确定器1600可生成一个或多个占用网格，可通过连接器132将这些占用网格传送至示例性汽车控制器114。
占用假设确定器1600的输入可以是多个占用粒子形式的传感器信息1602，占用假设确定器1600通过连接器1630(其可等同于连接器220)接收这些粒子。
在1604中，占用假设确定器1600可计算基于传感器的动态占用网格，该基于传感器的动态占用网格可包括通过连接器1630接收的粒子。基于传感器的动态占用网格的计算还可涉及与该基于传感器的动态占用网格的每个单元对应的可信度质量的计算，其中，可信度质量的计算可根据公式(4)来执行。
在一些实施例中，传感器会产生错误读数，这些错误读数可能导致错误的粒子被添加到动态占用网格。可能需要从动态占用网格移除错误的粒子以改善其准确度。
占用假设确定器1600可通过两个过滤过程来改善动态占用网格。第一过滤器可基于粒子过滤器1614，第二过滤器可基于过滤器1660，该过滤器1660基于Dempster Shafer映射。
粒子过滤器还可将粒子的速度(如由连接器1652指示)和对象跟踪过程1606考虑在内，该对象跟踪过程1606可基于通过连接器1634传送的分类估计。具体而言，对象跟踪过程可通过连接器1636和1638与粒子过滤器交换关于粒子的信息。对象跟踪过程的角色可以是改善动态占用网格中对象维度的表示，以及减少动态占用网格中粒子的数量。这两个过程可具有改善粒子过滤器的计算效率的效果。
可在计算上将粒子过滤器定义为有限循环，其中，第一动态占用网格1612可被传送1648至映射过程1614以通过附加粒子的注入而生成(如由连接器1650所示)第二经更新的动态占用网格1616，这些附加粒子可能来自于基于传感器的动态占用网格，通过连接器1632被传送至粒子过滤器。连接器1658示出其中第二动态占用网格编程下一迭代的第一动态占用网格的循环步骤。
粒子过滤的结果可以是如由连接器1640示出的基于证据的粒子映射1620。基于证据的粒子映射1620可通过连接器1642被传输至Dempster Shafer映射1624。静态、动态和自由空间质量1622也可通过连接器1644被传输至Dempster Shafer映射1624。如由连接器1646所指示，Dempster Shafer映射1624可创建多个新的静态、动态和自由空间质量1626。在一些实施例中，Dempster Shafer映射1670可帮助改善对象维度。连接器1670可指示：循环通过连接器闭合。
图17示出指示由粒子过滤器1610执行的过程的框图。
粒子过滤器的核心过程是开始于第一动态占用网格1702并且前进以生成第二动态占用网格1712的循环，第一动态占用网格1702表示预定区域在给定的示例性时刻t的状态，第二动态占用网格1712可表示时刻t+1的预定区域。
在1704中，使用第一动态占用网格1702中粒子的速度信息来更新这些粒子的位置。具体而言，预期粒子将以恒定的速度行进达给定的固定时间间隔。更新过程的结果是预测预定区域在示例性时刻t+1的状态的预测动态占用网格。
在1706中，可将来自基于传感器的动态占用网格的粒子添加到预测动态占用网格。
在1708中，估计粒子正确性的可能性。既在预测动态占用网格中又在基于传感器的动态占用网格中的粒子被认为可能是正确的，其他粒子被认为不太可能是正确的。
在1710中，在粒子的正确性的基础上对粒子进行重新采样。被估计为正确的粒子可以更有可能被采样，而具有较低可能性的可能不被采样。该采样过程可执行过滤过程，其中，具有低的正确可能性的粒子可能倾向于被丢弃。将所采样的粒子被添加到第二占用网格，该第二占用网格可提供对预定区域的状态的更好的表示。
连接符1720指示图17中所描述的过程的步骤的时间顺序。
连接符1720指示第二占用网格变成第一占用网格。
符号1730可指示基于传感器的占用网格。
图18示出用于在由图像传感器检测到的图像的基础上生成动态占用网格的方法1800。
在过程1802中，可检测多个图像；
在过程1804中，从多个图像中的每个图像估计至少一个深度估计、至少一个速度估计、至少一个对象分类估计、以及至少一个测程估计；
在过程1806中，生成多个粒子，其中，多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值、以及从分类估计确定的分类值；以及
在过程1808中，确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
连接符1820可表示方法1800中的过程之间的时间关系。
图19示出计算机可读介质1900，该计算机可读介质1900包括一个或多个处理器1902以及一个或多个数据和指令存储1904。
车辆100的组件(并且具体而言，感知设备)可由非瞬态计算机可读介质1900实现，该非瞬态计算机可读介质1900将实现由这些组件要求的方法1800的多条指令存储在数据和指令存储1904中。在感知设备102的情况下，计算机可读介质1800可存储实现用于检测预定区域中对象的位置的方法的多条指令。
现在示出，计算机可读介质1800可包括多个处理器1802和/或一个或多个控制器。处理器或控制器因此可以是或可包括模拟电路、数字电路、混合信号电路、逻辑电路、处理器、微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、集成电路、专用集成电路(ASIC)等，或其任何组合。下文将进一步详细描述的相应功能的任何其他种类的实现也可被理解为处理器、控制器或逻辑电路。可理解，本文中详述的处理器、控制器或逻辑电路中的任何两个(或更多个)可被实现为具有等效功能或类似功能的单个实体，并且相反地，本文中详述的任何单个处理器、控制器或逻辑电路可被实现为具有等效功能或类似功能的两个(或更多个)分开的实体。
计算机可读介质1800还可以是可由一个或多个物理设备执行的虚拟化设备。另外，计算机可读介质可以是驻留在云中的网络设备，或者其可被配置成用于例如通过远程API调用来执行云中的一些功能。
在下文中，提供了参考以上所描述的各方面的各示例。
示例1是一种感知设备，该感知设备包括：至少一个图像传感器，被配置成用于检测多个图像；信息估计器，被配置成用于从该多个图像中的每个图像估计深度估计、速度估计、对象分类估计以及测程估计；粒子生成器，被配置成用于生成多个粒子，其中，该多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；占用假设确定器，被配置成用于确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
在示例2中，如示例1所述的主题可任选地包括：图像传感器包括单色相机或者图像传感器是单色相机。
在示例3中，如示例1或2所述的主题可任选地包括：每个图像包括多个像素。
在示例4中，如示例1至3中任一项所述的主题可任选地包括：多个像素中的每个像素由三个值来描述，其中，这三个值中的第一值指定该像素的绿色色阶，这三个值中的第二值指定该像素的红色色阶，并且这三个值中的第三值指定该像素的黄色色阶。
在示例5中，如示例1至4中任一项所述的主题可任选地包括：多个像素中的每个像素表示在由图像传感器接收的图像中所描绘的对象的部分。
在示例6中，如示例1至5中任一项所述的主题可任选地包括：多个像素被组织为2维像素矩阵。
在示例7中，如示例1至6中任一项所述的主题可任选地包括：深度估计是对从在由图像传感器接收的图像中所描绘的对象的部分到该图像传感器的距离的估计；速度估计是对在由图像传感器接收的图像中所描绘的对象的部分相对于该图像传感器的速度的估计；对象分类是预先定义的标签集合中的一个或多个标签，其中，该标签表示在由图像传感器接收的图像中所描绘的对象的部分的分类；测程估计是对图像传感器的移动距离的一个测量。
在示例8中，如示例1至7中任一项所述的主题可任选地包括：信息估计器包括：至少一个深度估计器，被配置成用于从多个图像中的每个图像估计至少一个深度估计；至少一个速度估计器，被配置成用于从多个图像中的每个图像估计至少一个速度估计；至少一个分类估计器，被配置成用于从多个图像中的每个图像估计至少一个分类估计；以及至少一个测程估计器，被配置成用于从多个图像中的每个图像估计至少一个测程估计。
在示例9中，如示例1至8中任一项所述的主题可任选地包括：深度估计器、速度估计器、分类估计器、测程估计器中的至少一者被配置成神经网络；以及该神经网络的输入层包括多个网络部分，并且该多个网络部分中的每个网络部分与多个像素中的至少一个像素对应。
在示例10中，如示例9所述的主题可任选地包括：神经网络包括多个内层。
在示例11中，如示例9或10中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成卷积层。
在示例12中，如示例9至11中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成去卷积层。
在示例13中，如示例1至12中任一项所述的主题可任选地包括：分类估计器被配置成神经网络；以及该神经网络的输出层包括表示分类标签的至少一个网络部分。
在示例14中，如示例13所述的主题可任选地包括：输出层的表示分类标签的至少一个网络部分进一步指示分类概率。
在示例15中，如示例11至14中任一项所述的主题可任选地包括：多个层中的至少一个卷积层被配置成高效空间金字塔模块。
在示例16中，如示例1至12中任一项所述的主题可任选地包括：深度估计器被配置成神经网络；其中，该神经网络的输出层包括表示距离估计的至少一个网络部分。
在示例17中，如示例16所述的主题可任选地包括：多个内层中的至少一个卷积层被配置成残差网络。
在示例18中，如示例16或17中任一项所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分。
在示例19中，如示例16至18中任一项所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算距离估计与一个距离参考值之间的差的和；并且距离估计器的训练不涉及分类估计器的训练。
在示例20中，如示例19所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算下列公式：
∑||Di-DGT||
其中
Di是一个距离估计；
DGT是一个深度参考值；
‖…‖.指示绝对值函数。
在示例21中，如示例13至20中任一项所述的主题可任选地包括：分类估计器神经网络的内层是深度估计器神经网络的输入。
在示例22中，如示例16至21中任一项所述的主题可任选地包括：深度估计器神经网络的训练被配置成训练分类估计器神经网络；随后在不改变分类估计器神经网络的权重或结构的情况下在分类估计器上训练距离估计器神经网络。
在示例23中，如示例8至12中任一项所述的主题可任选地包括：速度估计器被配置成神经网络；并且该神经网络的输出层包括表示速度估计的至少一个网络部分。
在示例24中，如示例23所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分，或者该神经网络的输入层包括表示深度估计的至少一个网络部分。
在示例25中，如示例23或24中的任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算速度估计与一个速度参考值之间的差的和。
在示例26中，如示例23至25中任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算下列公式：
∑||Vi-VGT||
其中
Vi是从第i个像素提取出的速度估计；
VGT是一个速度参考值；
‖…‖.指示绝对值函数。
在示例27中，如示例8至12中任一项所述的主题可任选地包括：测程估计器被配置成神经网络；并且该神经网络的输出层包括表示测程估计的至少一个网络部分。
在示例28中，如示例27所述的主题可任选地包括：测程估计包括至少一个距离估计和/或速度估计。
在示例29中，如示例27或28中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算相对于未来测程估计的平均测程估计误差。
在示例30中，如示例27至29中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
Figure BDA0002186599530000371
其中
It是时间实例t处的测程估计；
I(t+1)是时间实例t+1处的测程估计；
N是时间实例的数量；
‖…‖.指示绝对值函数。
在示例31中，如示例1至30中任一项所述的主题进一步包括：至少一个激光雷达传感器；和/或至少一个雷达传感器。
在示例32中，如示例31所述的主题可任选地包括：信息估计器进一步被配置成用于处理从至少一个激光雷达传感器和/或从至少一个雷达传感器接收的信号。
在示例33中，如示例1至32中任一项所述的主题可任选地包括：粒子生成器进一步被配置成用于通过将误差率加到像素速度来确定粒子值。
在示例34中，如示例33所述的主题可任选地包括：误差率根据预先定义的标准差和均值是正态分布的。
在示例35中，如示例33或34中任一项所述的主题可任选地包括：均值误差率为0。
在示例36中，如示例1至35中任一项所述的主题可任选地包括：占用假设是包括多个网格单元的动态占用网格；每个网格单元表示预定区域中的某个区域；网格单元中的至少一个网格单元与单个占用假设相关联；并且单个占用假设包括占用值、速度值以及分类值。
在示例37中，如示例36所述的主题可任选地包括：单个占用假设的占用值包括网格单元的占用级别的可能性分布。
在示例38中，如示例36或37所述的主题可任选地包括：单个占用假设的速度值包括网格单元的速度的可能性分布。
在示例39中，如示例36至38中任一项所述的主题可任选地包括：单个占用假设的分类值包括网格单元的分类的可能性分布。
在示例40中，如示例36至39中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定单个占用假设
Figure BDA0002186599530000381
其中
Figure BDA0002186599530000382
是第n个传感器的质量可信度；
Figure BDA0002186599530000383
是Dempster Shafer证据组合运算符；
S是单元中的粒子为静态的指示；
D是单元中的粒子为动态的指示。
在示例41中，如示例36至40中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定与无法提供速度信息的传感器相关联的传感器信息的速度值：
Figure BDA0002186599530000391
其中
w动态+w静态＝1
其中
U是均匀分布；
δ是狄拉克分布。
在示例42中，如示例1至41中任一项所述的主题可任选地包括：占用假设与时间实例相关联。
在示例43中，如示例1至42中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于过滤占用假设中的粒子。
在示例44中，如示例43所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用粒子过滤器来过滤占用假设中的粒子。
在示例45中，如示例43或44中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用Dempster Shafer过滤器来过滤粒子。
在示例46中，如示例45所述的主题可任选地包括：Dempster Shafer过滤器是粒子过滤器。
在示例47中，如示例45或46中任一项所述的主题可任选地包括：Dempster Shafer过滤器是基于Dempster Shafer证据理论的粒子过滤器。
在示例48中，如示例45至47中任一项所述的主题可任选地包括：Dempster Shafer过滤器被进一步配置成用于在单个占用网格在时刻t的单个占用假设的基础上执行预测函数、更新函数以及重新采样函数。
示例49是一种确定预定区域的占用假设的感知方法，该方法包括：检测多个图像；从该多个图像中的每个图像估计至少一个深度估计、至少一个速度估计、至少一个对象分类估计、以及至少一个测程估计；生成多个粒子，其中，该多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；以及确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
在示例50中，如示例49所述的主题可任选地包括：图像传感器包括单色相机或者图像传感器是单色相机。
在示例51中，如示例49或50所述的主题可任选地包括：每个图像包括多个像素。
在示例52中，如示例49至51中任一项所述的主题可任选地包括：多个像素中的每个像素由三个值来描述，其中，这三个值中的第一值指定该像素的绿色色阶，这三个值中的第二值指定该像素的红色色阶，并且这三个值中的第三值指定该像素的黄色色阶。
在示例53中，如示例49至52中任一项所述的主题可任选地包括：多个像素中的每个像素表示在由图像传感器接收的图像中所描绘的对象的部分。
在示例54中，如示例49至53中任一项所述的主题可任选地包括：多个像素被组织为2维像素矩阵。
在示例55中，如示例49至54中任一项所述的主题可任选地包括：深度估计是对从在由图像传感器接收的图像中所描绘的对象的部分到该图像传感器的距离的估计；速度估计是对在由图像传感器接收的图像中所描绘的对象的部分相对于该图像传感器的速度的估计；对象分类是预先定义的标签集合中的一个或多个标签，其中，该标签表示在由图像传感器接收的图像中所描绘的对象的部分的分类；测程估计是对图像传感器的移动距离的一个测量。
在示例56中，如示例49至55中任一项所述的主题可任选地包括：信息估计器包括：至少一个深度估计器，被配置成用于从多个图像中的每个图像估计至少一个深度估计；至少一个速度估计器，被配置成用于从多个图像中的每个图像估计至少一个速度估计；至少一个分类估计器，被配置成用于从多个图像中的每个图像估计至少一个分类估计；以及至少一个测程估计器，被配置成用于从多个图像中的每个图像估计至少一个测程估计。
在示例57中，如示例49至56中任一项所述的主题可任选地包括：深度估计器、速度估计器、分类估计器、测程估计器中的至少一者被配置成神经网络；并且该神经网络的输入层包括多个网络部分，并且该多个网络部分中的每个网络部分与多个像素中的至少一个像素对应。
在示例58中，如示例57所述的主题可任选地包括：神经网络包括多个内层。
在示例59中，如示例57或58中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成卷积层。
在示例60中，如示例57至59中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成去卷积层。
在示例61中，如示例49至60中任一项所述的主题可任选地包括：分类估计器被配置成神经网络；并且该神经网络的输出层包括表示分类标签的至少一个网络部分。
在示例62中，如示例61所述的主题可任选地包括：输出层的表示分类标签的至少一个网络部分进一步指示分类概率。
在示例63中，如示例59至62中任一项所述的主题可任选地包括：多个层中的至少一个卷积层被配置成高效空间金字塔模块。
在示例64中，如示例49至60中任一项所述的主题可任选地包括：深度估计器被配置成神经网络；其中，该神经网络的输出层包括表示距离估计的至少一个网络部分。
在示例65中，如示例64所述的主题可任选地包括：多个内层中的至少一个卷积层被配置成残差网络。
在示例66中，如示例64或65中任一项所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分。
在示例67中，如示例64至66中任一项所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算距离估计与一个距离参考值之间的差的和；并且距离估计器的训练不涉及分类估计器的训练。
在示例68中，如示例67所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算下列公式：
∑||Di-DGT||
其中
Di是一个距离估计；
DGT是一个深度参考值；
‖…‖.指示绝对值函数。
在示例69中，如示例64至68中任一项所述的主题可任选地包括：分类估计器神经网络的内层是深度估计器神经网络的输入。
在示例70中，如示例67至69中任一项所述的主题可任选地包括：深度估计器神经网络的训练被配置成训练分类估计器神经网络；随后在不改变分类估计器神经网络的权重或结构的情况下在分类估计器上训练距离估计器神经网络。
在示例71中，如示例56至60中任一项所述的主题可任选地包括：速度估计器被配置成神经网络；并且该神经网络的输出层包括表示速度估计的至少一个网络部分。
在示例72中，如示例71所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分，或者该神经网络的输入层包括表示深度估计的至少一个网络部分。
在示例73中，如示例71或72中的任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算速度估计与一个速度参考值之间的差的和。
在示例74中，如示例71至73中任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算下列公式：
∑||Vi-VGT||
其中
Vi是从第i个像素提取出的速度估计；
VGT是一个速度参考值；
‖…‖.指示绝对值函数。
在示例75中，如示例56至60中任一项所述的主题可任选地包括：测程估计器被配置成神经网络；并且该神经网络的输出层包括表示测程估计的至少一个网络部分。
在示例76中，如示例75所述的主题可任选地包括：测程估计包括至少一个距离估计和/或速度估计。
在示例77中，如示例75或76中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算相对于未来测程估计的平均测程估计误差。
在示例78中，如示例75至77中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
Figure BDA0002186599530000431
其中
It是时间实例t处的测程估计；
I(t+1)是时间实例t+1处的测程估计；
N是时间实例的数量；
‖…‖.指示绝对值函数。
在示例79中，如示例49至78中任一项所述的主题进一步包括：至少一个激光雷达传感器；和/或至少一个雷达传感器。
在示例80中，如示例79所述的主题可任选地包括：信息估计器进一步被配置成用于处理从至少一个激光雷达传感器和/或从至少一个雷达传感器接收的信号。
在示例81中，如示例49至80中任一项所述的主题可任选地包括：粒子生成器进一步被配置成用于通过将误差率加到像素速度来确定粒子值。
在示例82中，如示例81所述的主题可任选地包括：误差率根据预先定义的标准差和均值是正态分布的。
在示例83中，如示例81或82中任一项所述的主题可任选地包括：均值误差率为0。
在示例84中，如示例49至83中任一项所述的主题可任选地包括：占用假设是包括多个网格单元的动态占用网格；每个网格单元表示预定区域中的某个区域；网格单元中的至少一个网格单元与单个占用假设相关联；并且单个占用假设包括占用值、速度值以及分类值。
在示例85中，如示例84所述的主题可任选地包括：单个占用假设的占用值包括网格单元的占用级别的可能性分布。
在示例86中，如示例84或85所述的主题可任选地包括：单个占用假设的速度值包括网格单元的速度的可能性分布。
在示例87中，如示例84至86中任一项所述的主题可任选地包括：单个占用假设的分类值包括网格单元的分类的可能性分布。
在示例88中，如示例84至87中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定单个占用假设
Figure BDA0002186599530000441
其中
Figure BDA0002186599530000442
是第n个传感器的质量可信度；
Figure BDA0002186599530000443
是Dempster Shafer证据组合运算符；
S是单元中的粒子为静态的指示；
D是单元中的粒子为动态的指示。
在示例89中，如示例84至88中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定与无法提供速度信息的传感器相关联的传感器信息的速度值：
Figure BDA0002186599530000444
其中
w动态+w静态＝1
其中
U是均匀分布；
δ是狄拉克分布。
在示例90中，如示例49至89中任一项所述的主题可任选地包括：占用假设与时间实例相关联。
在示例91中，如示例49至90中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于过滤占用假设中的粒子。
在示例92中，如示例91所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用粒子过滤器来过滤占用假设中的粒子。
在示例93中，如示例91或92中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用Dempster Shafer过滤器来过滤粒子。
在示例94中，如示例93所述的主题可任选地包括：Dempster Shafer过滤器是粒子过滤器。
在示例95中，如示例93或94中任一项所述的主题可任选地包括：Dempster Shafer过滤器是基于Dempster Shafer证据理论的粒子过滤器。
在示例96中，如示例93至95中任一项所述的主题可任选地包括：Dempster Shafer过滤器被进一步配置成用于在单个占用网格在时刻t的单个占用假设的基础上执行预测函数、更新函数以及重新采样函数。
示例97是一种车辆，该车辆包括感知设备，该感知设备包括：至少一个图像传感器，被配置成用于检测多个图像；信息估计器，被配置成用于从该多个图像中的每个图像估计深度估计、速度估计、对象分类估计以及测程估计；粒子生成器，被配置成用于生成多个粒子，其中，该多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；占用假设确定器，被配置成用于确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
在示例98中，如示例97所述的主题可任选地包括：图像传感器包括单色相机或者图像传感器是单色相机。
在示例99中，如示例97或98所述的主题可任选地包括：每个图像包括多个像素。
在示例100中，如示例97至99中任一项所述的主题可任选地包括：多个像素中的每个像素由三个值来描述，其中，这三个值中的第一值指定该像素的绿色色阶，这三个值中的第二值指定该像素的红色色阶，并且这三个值中的第三值指定该像素的黄色色阶。
在示例101中，如示例97至100中任一项所述的主题可任选地包括：多个像素中的每个像素表示在由图像传感器接收的图像中所描绘的对象的部分。
在示例102中，如示例97至101中任一项所述的主题可任选地包括：多个像素被组织为2维像素矩阵。
在示例103中，如示例97至102中任一项所述的主题可任选地包括：深度估计是对从在由图像传感器接收的图像中所描绘的对象的部分到该图像传感器的距离的估计；速度估计是对在由图像传感器接收的图像中所描绘的对象的部分相对于该图像传感器的速度的估计；对象分类是预先定义的标签集合中的一个或多个标签，其中，该标签表示在由图像传感器接收的图像中所描绘的对象的部分的分类；测程估计是对图像传感器的移动距离的一个测量。
在示例104中，如示例97至103中任一项所述的主题可任选地包括：信息估计器包括：至少一个深度估计器，被配置成用于从多个图像中的每个图像估计至少一个深度估计；至少一个速度估计器，被配置成用于从多个图像中的每个图像估计至少一个速度估计；至少一个分类估计器，被配置成用于从多个图像中的每个图像估计至少一个分类估计；以及至少一个测程估计器，被配置成用于从多个图像中的每个图像估计至少一个测程估计。
在示例105中，如示例97至104中任一项所述的主题可任选地包括：深度估计器、速度估计器、分类估计器、测程估计器中的至少一者被配置成神经网络；并且该神经网络的输入层包括多个网络部分，并且该多个网络部分中的每个网络部分与多个像素中的至少一个像素对应。
在示例106中，如示例105所述的主题可任选地包括：神经网络包括多个内层。
在示例107中，如示例105或106中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成卷积层。
在示例108中，如示例105至107中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成去卷积层。
在示例109中，如示例97至108中任一项所述的主题可任选地包括：分类估计器被配置成神经网络；并且该神经网络的输出层包括表示分类标签的至少一个网络部分。
在示例110中，如示例109所述的主题可任选地包括：输出层的表示分类标签的至少一个网络部分进一步指示分类概率。
在示例111中，如示例107至110中任一项所述的主题可任选地包括：多个层中的至少一个卷积层被配置成高效空间金字塔模块。
在示例112中，如示例97至108中任一项所述的主题可任选地包括：深度估计器被配置成神经网络；其中，该神经网络的输出层包括表示距离估计的至少一个网络部分。
在示例113中，如示例112所述的主题可任选地包括：多个内层中的至少一个卷积层被配置成残差网络。
在示例114中，如示例112或113中任一项所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分。
在示例115中，如示例112至114中任一项所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算距离估计与一个距离参考值之间的差的和；并且距离估计器的训练不涉及分类估计器的训练。
在示例116中，如示例115所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算下列公式：
∑||Di-DGT||
其中
Di是一个距离估计；
DGT是一个深度参考值；
‖…‖.指示绝对值函数。
在示例117中，如示例112至116中任一项所述的主题可任选地包括：分类估计器神经网络的内层是深度估计器神经网络的输入。
在示例118中，如示例115至117中任一项所述的主题可任选地包括：深度估计器神经网络的训练被配置成训练分类估计器神经网络；随后在不改变分类估计器神经网络的权重或结构的情况下在分类估计器上训练距离估计器神经网络。
在示例119中，如示例104至108中任一项所述的主题可任选地包括：速度估计器被配置成神经网络；并且该神经网络的输出层包括表示速度估计的至少一个网络部分。
在示例120中，如示例119所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分，或者该神经网络的输入层包括表示深度估计的至少一个网络部分。
在示例121中，如示例119或120中的任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算速度估计与一个速度参考值之间的差的和。
在示例122中，如示例119至121中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
∑||Vi-VGT||
其中
Vi是从第i个像素提取出的速度估计；
VGT是一个速度参考值；
‖…‖.指示绝对值函数。
在示例123中，如示例104至108中任一项所述的主题可任选地包括：测程估计器被配置成神经网络；并且该神经网络的输出层包括表示测程估计的至少一个网络部分。
在示例124中，如示例123所述的主题可任选地包括：测程估计包括至少一个距离估计和/或速度估计。
在示例125中，如示例123或124中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算相对于未来测程估计的平均测程估计误差。
在示例126中，如示例123至125中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
Figure BDA0002186599530000491
其中
It是时间实例t处的测程估计；
I(t+1)是时间实例t+1处的测程估计；
N是时间实例的数量；
‖…‖.指示绝对值函数。
在示例127中，如示例97至126中任一项所述的主题进一步包括：至少一个激光雷达传感器；和/或至少一个雷达传感器。
在示例128中，如示例127所述的主题可任选地包括：信息估计器进一步被配置成用于处理从至少一个激光雷达传感器和/或从至少一个雷达传感器接收的信号。
在示例129中，如示例97至128中任一项所述的主题可任选地包括：粒子生成器进一步被配置成用于通过将误差率加到像素速度来确定粒子值。
在示例130中，如示例129所述的主题可任选地包括：误差率根据预先定义的标准差和均值是正态分布的。
在示例131中，如示例129或130中任一项所述的主题可任选地包括：均值误差率为0。
在示例132中，如示例97至131中任一项所述的主题可任选地包括：占用假设是包括多个网格单元的动态占用网格；每个网格单元表示预定区域中的某个区域；网格单元中的至少一个网格单元与单个占用假设相关联；并且单个占用假设包括占用值、速度值以及分类值。
在示例133中，如示例132所述的主题可任选地包括：单个占用假设的占用值包括网格单元的占用级别的可能性分布。
在示例134中，如示例132或133所述的主题可任选地包括：单个占用假设的速度值包括网格单元的速度的可能性分布。
在示例135中，如示例132至134中任一项所述的主题可任选地包括：单个占用假设的分类值包括网格单元的分类的可能性分布。
在示例136中，如示例132至135中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定单个占用假设
Figure BDA0002186599530000501
其中
Figure BDA0002186599530000502
是第n个传感器的质量可信度；
Figure BDA0002186599530000503
是Dempster Shafer证据组合运算符；
S是单元中的粒子为静态的指示；
D是单元中的粒子为动态的指示。
在示例137中，如示例132至136中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定与无法提供速度信息的传感器相关联的传感器信息的速度值：
Figure BDA0002186599530000504
其中
w动态+w静态＝1
其中
U是均匀分布；
δ是狄拉克分布。
在示例138中，如示例97至137中任一项所述的主题可任选地包括：占用假设与时间实例相关联。
在示例139中，如示例97至138中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于过滤占用假设中的粒子。
在示例140中，如示例139所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用粒子过滤器来过滤占用假设中的粒子。
在示例141中，如示例139或140中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用Dempster Shafer过滤器来过滤粒子。
在示例142中，如示例141所述的主题可任选地包括：Dempster Shafer过滤器是粒子过滤器。
在示例143中，如示例141或142中任一项所述的主题可任选地包括：DempsterShafer过滤器是基于Dempster Shafer证据理论的粒子过滤器。
在示例144中，如示例141至143中任一项所述的主题可任选地包括：DempsterShafer过滤器被进一步配置成用于在单个占用网格在时刻t的单个占用假设的基础上执行预测函数、更新函数以及重新采样函数。
示例145是一种非瞬态计算机可读介质，存储计算机程序，该计算机程序在由处理器执行时，实现一种确定预定区域的占用假设的感知方法，该方法包括：检测多个图像；从该多个图像中的每个图像估计至少一个深度估计、至少一个速度估计、至少一个对象分类估计、以及至少一个测程估计；生成多个粒子，其中，该多个粒子中的每个粒子包括从深度估计确定的位置值、从速度估计确定的速度值以及从分类估计确定的分类值；以及确定预定区域的占用假设，其中，多个粒子中的每个粒子均对该占用假设的确定作出贡献。
在示例146中，如示例145所述的主题可任选地包括：图像传感器包括单色相机或者图像传感器是单色相机。
在示例147中，如示例145或146所述的主题可任选地包括：每个图像包括多个像素。
在示例148中，如示例145至147中任一项所述的主题可任选地包括：多个像素中的每个像素由三个值来描述，其中，这三个值中的第一值指定该像素的绿色色阶，这三个值中的第二值指定该像素的红色色阶，并且这三个值中的第三值指定该像素的黄色色阶。
在示例149中，如示例145至148中任一项所述的主题可任选地包括：多个像素中的每个像素表示在由图像传感器接收的图像中所描绘的对象的部分。
在示例150中，如示例145至149中任一项所述的主题可任选地包括：多个像素被组织为2维像素矩阵。
在示例151中，如示例145至150中任一项所述的主题可任选地包括：深度估计是对从在由图像传感器接收的图像中所描绘的对象的部分到该图像传感器的距离的估计；速度估计是对在由图像传感器接收的图像中所描绘的对象的部分相对于该图像传感器的速度的估计；对象分类是预先定义的标签集合中的一个或多个标签，其中，该标签表示在由图像传感器接收的图像中所描绘的对象的部分的分类；测程估计是对图像传感器的移动距离的一个测量。
在示例152中，如示例145至151中任一项所述的主题可任选地包括：信息估计器包括：至少一个深度估计器，被配置成用于从多个图像中的每个图像估计至少一个深度估计；至少一个速度估计器，被配置成用于从多个图像中的每个图像估计至少一个速度估计；至少一个分类估计器，被配置成用于从多个图像中的每个图像估计至少一个分类估计；以及至少一个测程估计器，被配置成用于从多个图像中的每个图像估计至少一个测程估计。
在示例153中，如示例145至152中任一项所述的主题可任选地包括：深度估计器、速度估计器、分类估计器、测程估计器中的至少一者被配置成神经网络；并且该神经网络的输入层包括多个网络部分，并且该多个网络部分中的每个网络部分与多个像素中的至少一个像素对应。
在示例154中，如示例153所述的主题可任选地包括：神经网络包括多个内层。
在示例155中，如示例153或154中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成卷积层。
在示例156中，如示例153至155中任一项所述的主题可任选地包括：多个层中的至少一个层被配置成去卷积层。
在示例157中，如示例145至156中任一项所述的主题可任选地包括：分类估计器被配置成神经网络；并且该神经网络的输出层包括表示分类标签的至少一个网络部分。
在示例158中，如示例157所述的主题可任选地包括：输出层的表示分类标签的至少一个网络部分进一步指示分类概率。
在示例159中，如示例155至158中任一项所述的主题可任选地包括：多个层中的至少一个卷积层被配置成高效空间金字塔模块。
在示例160中，如示例145至156中任一项所述的主题可任选地包括：深度估计器被配置成神经网络；其中，该神经网络的输出层包括表示距离估计的至少一个网络部分。
在示例161中，如示例160所述的主题可任选地包括：多个内层中的至少一个卷积层被配置成残差网络。
在示例162中，如示例160或161中任一项所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分。
在示例163中，如示例160至162中任一项所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算距离估计与一个距离参考值之间的差的和；并且距离估计器的训练不涉及分类估计器的训练。
在示例164中，如示例163所述的主题可任选地包括：距离估计器的损失函数被配置成用于计算下列公式：
∑||Di-DGT||
其中
Di是一个距离估计；
DGT是一个深度参考值；
‖…‖.指示绝对值函数。
在示例165中，如示例112至164中任一项所述的主题可任选地包括：分类估计器神经网络的内层是深度估计器神经网络的输入。
在示例166中，如示例163至165中任一项所述的主题可任选地包括：深度估计器神经网络的训练被配置成训练分类估计器神经网络；随后在不改变分类估计器神经网络的权重或结构的情况下在分类估计器上训练距离估计器神经网络。
在示例167中，如示例152至156中任一项所述的主题可任选地包括：速度估计器被配置成神经网络；并且该神经网络的输出层包括表示速度估计的至少一个网络部分。
在示例168中，如示例167所述的主题可任选地包括：神经网络的输入层包括表示分类标签的至少一个网络部分，或者该神经网络的输入层包括表示深度估计的至少一个网络部分。
在示例169中，如示例167或168中的任一项所述的主题可任选地包括：速度估计器的损失函数被配置成用于计算速度估计与一个速度参考值之间的差的和。
在示例170中，如示例167至169中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
∑||Vi-VGT||
其中
Vi是从第i个像素提取出的速度估计；
VGT是一个速度参考值；
‖…‖.指示绝对值函数。
在示例171中，如示例152至156中任一项所述的主题可任选地包括：测程估计器被配置成神经网络；并且该神经网络的输出层包括表示测程估计的至少一个网络部分。
在示例172中，如示例171所述的主题可任选地包括：测程估计包括至少一个距离估计和/或速度估计。
在示例173中，如示例171或172中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算相对于未来测程估计的平均测程估计误差。
在示例174中，如示例171至173中任一项所述的主题可任选地包括：测程估计器的损失函数被配置成用于计算下列公式：
Figure BDA0002186599530000541
其中
It是时间实例t处的测程估计；
I(t+1)是时间实例t+1处的测程估计；
N是时间实例的数量；
‖…‖.指示绝对值函数。
在示例175中，如示例145至174中任一项所述的主题进一步包括：至少一个激光雷达传感器；和/或至少一个雷达传感器。
在示例176中，如示例175所述的主题可任选地包括：信息估计器进一步被配置成用于处理从至少一个激光雷达传感器和/或从至少一个雷达传感器接收的信号。
在示例177中，如示例145至176中任一项所述的主题可任选地包括：粒子生成器进一步被配置成用于通过将误差率加到像素速度来确定粒子值。
在示例178中，如示例177所述的主题可任选地包括：误差率根据预先定义的标准差和均值是正态分布的。
在示例179中，如示例177或178中任一项所述的主题可任选地包括：均值误差率为0。
在示例180中，如示例145至179中任一项所述的主题可任选地包括：占用假设是包括多个网格单元的动态占用网格；每个网格单元表示预定区域中的某个区域；网格单元中的至少一个网格单元与单个占用假设相关联；并且单个占用假设包括占用值、速度值以及分类值。
在示例181中，如示例180所述的主题可任选地包括：单个占用假设的占用值包括网格单元的占用级别的可能性分布。
在示例182中，如示例180或181所述的主题可任选地包括：单个占用假设的速度值包括网格单元的速度的可能性分布。
在示例183中，如示例180至182中任一项所述的主题可任选地包括：单个占用假设的分类值包括网格单元的分类的可能性分布。
在示例184中，如示例180至183中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定单个占用假设
Figure BDA0002186599530000551
其中
Figure BDA0002186599530000552
是第n个传感器的质量可信度；
Figure BDA0002186599530000553
是Dempster Shafer证据组合运算符；
S是单元中的粒子为静态的指示；
D是单元中的粒子为动态的指示。
在示例185中，如示例180至184中任一项所述的主题可任选地包括：单个占用假设确定器被配置成用于根据下列公式来确定与无法提供速度信息的传感器相关联的传感器信息的速度值：
Figure BDA0002186599530000561
其中
w动态+w静态＝1
其中
U是均匀分布；
δ是狄拉克分布。
在示例186中，如示例145至185中任一项所述的主题可任选地包括：占用假设与时间实例相关联。
在示例187中，如示例145至186中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于过滤占用假设中的粒子。
在示例188中，如示例187所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用粒子过滤器来过滤占用假设中的粒子。
在示例189中，如示例139或188中任一项所述的主题可任选地包括：占用假设确定器进一步被配置成用于使用Dempster Shafer过滤器来过滤粒子。
在示例190中，如示例189所述的主题可任选地包括：Dempster Shafer过滤器是粒子过滤器。
在示例191中，如示例189或190中任一项所述的主题可任选地包括：DempsterShafer过滤器是基于Dempster Shafer证据理论的粒子过滤器。
在示例192中，如示例189至191中任一项所述的主题可任选地包括：DempsterShafer过滤器被配置成用于在单个占用网格在时刻t的单个占用假设的基础上执行预测函数、更新函数以及重新采样函数。
示例193是一种用于训练多个神经网络的方法，其中，神经网络由第一神经网络和第二神经网络组成；其中，第一神经网络的某个层是第二神经网络的输入层；该方法包括：训练第一神经网络；随后在不改变第一神经网络的权重或结构的基础上在该第一神经网络上训练第二神经网络。
在示例194中，如示例193所述的主题可任选地包括：训练第一神经网络包括反向传播。
在示例195中，如示例193或194所述的主题可任选地包括：第一神经网络包括至少一个隐藏层。
在示例196中，如示例193至195中任一项所述的主题可任选地包括：第一神经网络的隐藏层中的至少一个隐藏层是第二神经网络的输入层。
在示例197中，如示例193至196中任一项所述的主题可任选地包括：对第一神经网络的训练根据反向传播被执行。
示例198是一种用于训练神经网络以使得该神经网络包括第一神经网络和第二神经网络、以使得该第一神经网络的某个层可以是第二神经网络的输入层的装置，该装置包括神经网络训练器，该神经网络训练器可训练第一神经网络，随后该神经网络训练器可在不改变第一神经网络的权重或结构的情况下在该第一神经网络上训练第二神经网络。
在示例199中，如示例198所述的主题可任选地包括：训练第一神经网络包括反向传播。
在示例200中，如示例198或199所述的主题可任选地包括：第一神经网络包括至少一个隐藏层。
在示例201中，如示例198至200中任一项所述的主题可任选地包括：第一神经网络的隐藏层中的至少一个隐藏层可以是第二神经网络的输入层。
在示例202中，如示例198至201中任一项所述的主题可任选地包括：对第一神经网络的训练根据反向传播被执行，根据反向传播来训练第一神经网络。
示例203是非瞬态计算机可读介质，存储计算机程序，该计算机程序在由处理器执行时，实现一种用于训练多个神经网络的方法，其中，神经网络由第一神经网络和第二神经网络组成；其中，第一神经网络的某个层是第二神经网络的输入层；该方法包括：训练第一神经网络；随后在不改变第一神经网络的权重或结构的基础上在该第一神经网络上训练第二神经网络。
在示例204中，如示例203所述的主题可任选地包括：训练第一神经网络包括反向传播。
在示例205中，如示例203或204所述的主题可任选地包括：第一神经网络包括至少一个隐藏层。
在示例206中，如示例203至205中任一项所述的主题可任选地包括：第一神经网络的隐藏层中的至少一个隐藏层是第二神经网络的输入层。
在示例207中，如示例203至206中任一项所述的主题可任选地包括：根据反向传播被来训练第一神经网络。

Claims (20)

1.一种感知设备，包括：
至少一个图像传感器，被配置成用于检测多个图像；
信息估计器，被配置成用于从所述多个图像中的每个图像估计深度估计、速度估计、对象分类估计、以及测程估计；
粒子生成器，被配置成用于生成多个粒子，其中，所述多个粒子中的每个粒子包括从所述深度估计确定的位置值、从所述速度估计确定的速度值以及从所述分类估计确定的分类值；
占用假设确定器，被配置成用于确定预定区域的占用假设，其中，所述多个粒子中的每个粒子均对所述占用假设的确定作出贡献。
2.如权利要求1所述的感知设备，
其中，所述深度估计是对从在由所述图像传感器接收的图像中所描绘的对象的部分到所述图像传感器的距离的估计；
其中，所述速度估计是对在由所述图像传感器接收的图像中所描绘的对象的部分相对于所述图像传感器的速度的估计；
其中，所述对象分类是预先定义的标签集合中的一个或多个标签，其中，标签表示在由所述图像传感器接收的图像中所描绘的对象的部分的分类；
其中，所述测程估计是对所述图像传感器的移动距离的一个测量。
3.如权利要求1所述的感知设备，
其中，所述信息估计器包括：
至少一个深度估计器，被配置成用于从所述多个图像中的每个图像估计至少一个深度估计；
至少一个速度估计器，被配置成用于从所述多个图像中的每个图像估计至少一个速度估计；
至少一个分类估计器，被配置成用于从所述多个图像中的每个图像估计至少一个分类估计；以及
至少一个测程估计器，被配置成用于从所述多个图像中的每个图像估计至少一个测程估计。
4.如权利要求1所述的感知设备，
其中，所述深度估计器、所述速度估计器、所述分类估计器、所述测程估计器中的至少一者被配置成神经网络；并且
其中，所述神经网络的输入层包括多个网络部分，
其中，每个图像包括多个像素，
其中，所述多个网络部分中的每个网络部分与所述多个像素中的至少一个像素对应。
5.如权利要求1所述的感知设备，
其中，所述信息估计器进一步被配置成用于处理从至少一个激光雷达传感器和/或从至少一个雷达传感器接收的信号。
6.如权利要求1所述的感知设备，
其中，所述占用假设是包括多个网格单元的动态占用网格；
其中，每个网格单元表示所述预定区域中的区域；
其中，所述网格单元中的至少一个网格单元与单个占用假设相关联；
其中，所述单个占用假设包括占用值、速度值以及分类值。
7.如权利要求1所述的感知设备，
其中，单个占用假设的占用值包括网格单元的占用级别的可能性分布。
8.如权利要求1所述的感知设备，
其中，单个占用假设的速度值包括网格单元的速度的可能性分布。
9.如权利要求1所述的感知设备，
其中，单个占用假设的分类值包括网格单元的分类的可能性分布。
10.如权利要求1所述的感知设备，
其中，占用假设与时间实例相关联。
11.如权利要求1所述的感知设备，
其中，所述占用假设确定器进一步被配置成用于过滤占用假设中的粒子。
12.如权利要求1所述的感知设备，
其中，所述占用假设确定器进一步被配置成用于使用粒子过滤器来过滤占用假设中的粒子。
13.一种车辆，包括：
感知设备，所述感知设备包括：
至少一个图像传感器，被配置成用于检测多个图像；
信息估计器，被配置成用于从所述多个图像中的每个图像估计深度估计、速度估计、对象分类估计、以及测程估计；
粒子生成器，被配置成用于生成多个粒子，其中，所述多个粒子中的每个粒子包括从所述深度估计确定的位置值、从所述速度估计确定的速度值以及从所述分类估计确定的分类值；
占用假设确定器，被配置成用于确定预定区域的占用假设，其中，所述多个粒子中的每个粒子均对所述占用假设的确定作出贡献。
14.如权利要求13所述的车辆，
其中，所述深度估计是对在从由所述图像传感器接收的图像中所描绘的对象的部分到所述图像传感器的距离的估计；
其中，所述速度估计是对在由所述图像传感器接收的图像中所描绘的对象的部分相对于所述图像传感器的速度的估计；
其中，所述对象分类是预先定义的标签集合中的一个或多个标签，其中，标签表示在由所述图像传感器接收的图像中所描绘的对象的部分的分类；
其中，所述测程估计是对所述图像传感器的移动距离的一个测量。
15.如权利要求13所述的车辆，
其中，所述信息估计器包括：
至少一个深度估计器，被配置成用于从所述多个图像中的每个图像估计至少一个深度估计；
至少一个速度估计器，被配置成用于从所述多个图像中的每个图像估计至少一个速度估计；
至少一个分类估计器，被配置成用于从所述多个图像中的每个图像估计至少一个分类估计；以及
至少一个测程估计器，被配置成用于从所述多个图像中的每个图像估计至少一个测程估计。
16.如权利要求13所述的车辆，
其中，所述深度估计器、所述速度估计器、所述分类估计器、所述测程估计器中的至少一者被配置成神经网络；并且
其中，所述神经网络的输入层包括多个网络部分，
其中，每个图像包括多个像素，
其中，所述多个网络部分中的每个网络部分与所述多个像素中的至少一个像素对应。
17.一种非瞬态计算机可读介质，存储计算机程序，所述计算机程序在由处理器执行时实现确定预定区域的占用假设的感知方法，所述方法包括：
检测多个图像；
从所述多个图像中的每个图像估计至少一个深度估计、至少一个速度估计、至少一个对象分类估计、以及至少一个测程估计；
生成多个粒子，其中，所述多个粒子中的每个粒子包括从所述深度估计确定的位置值、从所述速度估计确定的速度值以及从所述分类估计确定的分类值；以及
确定预定区域的占用假设，其中，所述多个粒子中的每个粒子均对所述占用假设的确定作出贡献。
18.如权利要求17所述的非瞬态计算机可读介质，
其中，深度估计是对从在由所述图像传感器接收的图像中所描绘的对象的部分到所述图像传感器的距离的估计；
其中，速度估计是对在由所述图像传感器接收的图像中所描绘的对象的部分相对于所述图像传感器的速度的估计；
其中，对象分类是预先定义的标签集合中的一个或多个标签，其中，标签表示在由所述图像传感器接收的图像中所描绘的对象的部分的分类；
其中，所述测程估计是对所述图像传感器的移动距离的一个测量。
19.如权利要求17所述的非瞬态计算机可读介质，
其中，信息估计器包括：
至少一个深度估计器，被配置成用于从所述多个图像中的每个图像估计所述至少一个深度估计；
至少一个速度估计器，被配置成用于从所述多个图像中的每个图像估计所述至少一个速度估计；
至少一个分类估计器，被配置成用于从所述多个图像中的每个图像估计所述至少一个分类估计；以及
至少一个测程估计器，被配置成用于从所述多个图像中的每个图像估计所述至少一个测程估计。
20.如权利要求17所述的非瞬态计算机可读介质，
其中，深度估计器、速度估计器、分类估计器、测程估计器中的至少一者被配置成神经网络；并且
其中，所述神经网络的输入层包括多个网络部分，
其中，每个图像包括多个像素，
其中，所述多个网络部分中的每个网络部分与所述多个像素中的至少一个像素对应。
CN201910816937.9A 2018-09-28 2019-08-30 用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法 Pending CN110969074A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/145,315 US20190050653A1 (en) 2018-09-28 2018-09-28 Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US16/145,315 2018-09-28

Publications (1)

Publication Number Publication Date
CN110969074A true CN110969074A (zh) 2020-04-07

Family

ID=65275158

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910816937.9A Pending CN110969074A (zh) 2018-09-28 2019-08-30 用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法

Country Status (3)

Country Link
US (1) US20190050653A1 (zh)
CN (1) CN110969074A (zh)
DE (1) DE102019121785A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273039A (zh) * 2022-09-29 2022-11-01 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法
CN115436239A (zh) * 2022-11-07 2022-12-06 四川亿欣新材料有限公司 一种碳酸钙颗粒度检测方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108983213B (zh) * 2018-09-07 2021-01-01 百度在线网络技术（北京）有限公司 障碍物静止状态的确定方法、装置、设备及存储介质
US10311321B1 (en) * 2018-10-26 2019-06-04 StradVision, Inc. Learning method, learning device using regression loss and testing method, testing device using the same
US20200217950A1 (en) * 2019-01-07 2020-07-09 Qualcomm Incorporated Resolution of elevation ambiguity in one-dimensional radar processing
US10373317B1 (en) * 2019-01-22 2019-08-06 StradVision, Inc. Learning method and learning device for attention-driven image segmentation by using at least one adaptive loss weight map to be used for updating HD maps required to satisfy level 4 of autonomous vehicles and testing method and testing device using the same
FR3094798B1 (fr) * 2019-04-02 2021-03-05 Renault procédé de détermination d’une vitesse d’un véhicule automobile
DE102020206660A1 (de) * 2019-05-30 2020-12-03 Robert Bosch Gesellschaft mit beschränkter Haftung Redundante umgebungswahrnehmungsverfolgung für automatisierte fahrsysteme
CN110334622B (zh) * 2019-06-24 2022-04-19 电子科技大学 基于自适应特征金字塔的行人检索方法
US11734473B2 (en) * 2019-09-27 2023-08-22 Zoox, Inc. Perception error models
US11625513B2 (en) 2019-09-27 2023-04-11 Zoox, Inc. Safety analysis framework
CN111192327B (zh) * 2020-01-03 2023-09-29 北京百度网讯科技有限公司 用于确定障碍物朝向的方法和装置
DE102020109757A1 (de) 2020-04-08 2021-10-14 Bayerische Motoren Werke Aktiengesellschaft System zur Umfelderkennung eines Fahrzeugs
CN111626189B (zh) * 2020-05-26 2023-04-18 浙江大华技术股份有限公司 一种路面异常检测方法、装置、电子设备及存储介质
CN111578894B (zh) * 2020-06-02 2021-10-15 北京经纬恒润科技股份有限公司 一种确定障碍物航向角的方法及装置
CN111898419B (zh) * 2020-06-17 2022-10-25 西安交通大学 基于级联深度卷积神经网络的分区滑坡检测系统及方法
CN112734811B (zh) * 2021-01-21 2021-08-24 清华大学 一种障碍物跟踪方法、障碍物跟踪装置和芯片
DE102021105342A1 (de) 2021-03-05 2022-09-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren und System zum Erzeugen von Ground-Truth-Daten zur Absicherung einer Umfelderkennung
GB2605587A (en) * 2021-04-01 2022-10-12 Aptiv Tech Ltd Mapping a vehicle environment
DE102022207293A1 (de) 2022-07-18 2024-01-18 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Umgebungserfassungssystem zur Segmentierung von Daten
GB2625732A (en) * 2022-12-22 2024-07-03 Jaguar Land Rover Ltd Apparatus and method for tracking objects

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10710579B2 (en) * 2017-06-01 2020-07-14 Waymo Llc Collision prediction system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115273039A (zh) * 2022-09-29 2022-11-01 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法
CN115273039B (zh) * 2022-09-29 2023-01-10 中汽数据(天津)有限公司 一种基于摄像头的小障碍物探测方法
CN115436239A (zh) * 2022-11-07 2022-12-06 四川亿欣新材料有限公司 一种碳酸钙颗粒度检测方法

Also Published As

Publication number Publication date
DE102019121785A1 (de) 2020-04-02
US20190050653A1 (en) 2019-02-14

Similar Documents

Publication Publication Date Title
CN110969074A (zh) 用于障碍物检测和跟踪的感知设备以及用于障碍物检测和跟踪的感知方法
US10922817B2 (en) Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
US11657603B2 (en) Semantic segmentation of three-dimensional data
US11221413B2 (en) Three-dimensional object detection
US20230074368A1 (en) Determining drivable free-space for autonomous vehicles
Asvadi et al. 3D Lidar-based static and moving obstacle detection in driving environments: An approach based on voxels and multi-region ground planes
EP4152204A1 (en) Lane line detection method, and related apparatus
JP2022539245A (ja) アクションデータに基づくトップダウンシーンの予測
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
CN112789481A (zh) 对自上而下场景的轨迹预测
US10984543B1 (en) Image-based depth data and relative depth data
CN111860227B (zh) 训练轨迹规划模型的方法、装置和计算机存储介质
CN114845913A (zh) 基于物体运动的自顶向下场景预测
CN111169468A (zh) 一种自动泊车的系统及方法
CN113195322A (zh) 用于确定预定区域内的运动轨迹的方法和装置
JP2020064619A (ja) イメージ認識モデルのトレーニング装置及び方法並びにイメージ認識方法
US11562571B2 (en) Vehicle neural network
CN116601667A (zh) 用单目监视相机进行3d对象检测和跟踪的系统和方法
WO2023009794A1 (en) Three-dimensional object detection based on image data
Kumar et al. Vision-based outdoor navigation of self-driving car using lane detection
Chen et al. Multitarget vehicle tracking and motion state estimation using a novel driving environment perception system of intelligent vehicles
US10552692B2 (en) Color learning
CN117115690A (zh) 一种基于深度学习和浅层特征增强的无人机交通目标检测方法及系统
US20230048926A1 (en) Methods and Systems for Predicting Properties of a Plurality of Objects in a Vicinity of a Vehicle
Memon et al. Self-driving car using lidar sensing and image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination