CN112183715A - 传感器融合 - Google Patents

传感器融合 Download PDF

Info

Publication number
CN112183715A
CN112183715A CN202010554347.6A CN202010554347A CN112183715A CN 112183715 A CN112183715 A CN 112183715A CN 202010554347 A CN202010554347 A CN 202010554347A CN 112183715 A CN112183715 A CN 112183715A
Authority
CN
China
Prior art keywords
gate
fusion
sensor
product
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010554347.6A
Other languages
English (en)
Inventor
阿萨马纳拉亚南·拉克希米纳拉亚南
阿维纳什·西拉武鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/664,356 external-priority patent/US11580365B2/en
Priority claimed from US16/694,419 external-priority patent/US11610125B2/en
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of CN112183715A publication Critical patent/CN112183715A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Enzymes And Modification Thereof (AREA)

Abstract

本发明题为“传感器融合”。根据一个方面，一种用于与长短期记忆(LSTM)单元相关联的传感器融合的方法可以包括：基于来自第一传感器的第一传感器编码来生成第一调节传感器编码；基于来自第二传感器的第二传感器编码来生成第二调节传感器编码；基于该第一调节传感器编码和该第二调节传感器编码来生成融合结果；基于该融合结果和该第一调节传感器编码来生成第一乘积；基于该第二调节传感器编码来生成第二乘积；以及基于该第一乘积和该第二乘积来生成融合状态。

Description

传感器融合
背景技术
长短期记忆(LSTM)是用于深度学习或机器学习的人工递归神经网络(RNN)架构。LSTM单元会记住在任意时间间隔上的值，并调节信息流入和流出LSTM单元。在反向传播期间，递归神经网络可能经受梯度消失的问题。梯度是用于更新神经网络权重的值。当梯度随着时间向后传播而缩小时，发生梯度消失问题。如果梯度值变得非常小，则梯度可能不会有助于学习。
发明内容
根据一个方面，用于传感器融合的长短期记忆(LSTM)单元可以包括第一遗忘门、第二遗忘门、第一输入门、第二输入门、第一输出门、第二输出门、隐藏状态门和单元状态门。第一遗忘门可以接收第一传感器编码
Figure BDA0002543740760000011
和第一共享隐藏状态ht-1。第二遗忘门可以接收第二传感器编码
Figure BDA0002543740760000012
和第一共享隐藏状态ht-1。第一输入门可以接收第一传感器编码
Figure BDA0002543740760000013
和第一共享隐藏状态ht-1。第二输入门可以接收第二传感器编码
Figure BDA0002543740760000014
和第一共享隐藏状态ht-1。第一输出门可以基于第一共享单元状态ct-1、第一传感器编码
Figure BDA0002543740760000015
和第一共享隐藏状态ht-1来生成第一输出。第二输出门可以基于第一共享单元状态ct-1、第二传感器编码
Figure BDA0002543740760000016
和第一隐藏状态ht-1来生成第二输出。隐藏状态门可以基于第一输出和第二输出来生成第二共享隐藏状态ht。单元状态门可以基于第一遗忘门的输出、第二遗忘门的输出、第一输入门的输出以及第二输入门的输出来生成第二共享单元状态ct。
第一遗忘门或第二遗忘门可以采用S函数以分别生成第一遗忘门的输出或第二遗忘门的输出。第一遗忘门的输出
Figure BDA0002543740760000017
第一输入门或第二输入门可以采用S函数、双曲正切函数(tanh)或逐元素乘积函数以分别生成第一输入门的输出或第二输入门的输出。第一输入门的输出
Figure BDA0002543740760000018
第一输出门或第二输出门可以采用S函数、双曲正切函数(tanh)或逐元素乘积函数以分别生成第一输出门的输出或第二输出门的输出。第一输出门的输出
Figure BDA0002543740760000021
隐藏状态门可以通过计算第一输出和第二输出的逐元素求和来生成第二共享隐藏状态ht。
LSTM单元内的第一架构可以包括第一遗忘门、第一输入门和第一输出门。LSTM单元内的第二架构可以包括第二遗忘门、第二输入门和第二输出门。第一架构可以与第二架构并行地实现。第一架构可以生成第一部分共享单元状态
Figure BDA0002543740760000022
第二架构可以生成第二部分共享单元状态
Figure BDA0002543740760000023
单元状态门可以通过计算第一部分共享单元状态
Figure BDA0002543740760000024
和第二部分共享单元状态
Figure BDA0002543740760000025
的逐元素求和来生成第二共享单元状态ct。
根据一个方面，用于与长短期记忆(LSTM)神经网络相关联的传感器融合的方法可以包括：在第一遗忘门处接收第一传感器编码
Figure BDA0002543740760000026
和第一共享隐藏状态ht-1；在第二遗忘门处接收第二传感器编码
Figure BDA0002543740760000027
和第一共享隐藏状态ht-1；在第一输入门处接收第一传感器编码
Figure BDA0002543740760000028
和第一共享隐藏状态；在第二输入门处接收第二传感器编码
Figure BDA0002543740760000029
和第一共享隐藏状态ht-1；基于第一共享单元状态ct-1、第一传感器编码
Figure BDA00025437407600000210
以及第一共享隐藏状态ht-1在第一输出门处生成第一输出；基于第一共享单元状态ct-1、第二传感器编码
Figure BDA00025437407600000211
以及第一隐藏状态ht-1在第二输出门处生成第二输出；基于第一输出和第二输出在隐藏状态门处生成第二共享隐藏状态ht；并基于第一遗忘门的输出、第二遗忘门的输出、第一输入门的输出和第二输入门的输出在单元状态门处生成第二共享单元状态ct。
用于传感器融合的方法可以包括通过采用S函数来生成第一遗忘门的输出或第二遗忘门的输出。用于传感器融合的方法可以包括通过采用S函数、双曲正切函数(tanh)或逐元素乘积函数来生成第一输入门的输出或第二输入门的输出。用于传感器融合的方法可以包括通过采用S函数、双曲正切函数(tanh)或逐元素乘积函数来生成第一输出门的输出或第二输出门的输出。
根据一方面，用于传感器融合的长短期记忆(LSTM)单元可以包括M个遗忘门、M个输入门和M个输出门。M个遗忘门可以从M个传感器接收M组传感器编码数据和共享隐藏状态ht-1。M个输入门可以接收对应的M组传感器数据和共享隐藏状态ht-1。M个输出门可以基于M组传感器编码数据、共享隐藏状态ht-1和共享单元状态ct-1来生成M个部分共享单元状态输出和M个部分共享隐藏状态输出。M可能>＝2。
用于传感器融合的LSTM单元可以包括单元状态门，该单元状态门通过计算M个部分共享单元状态输出的逐元素求和来生成更新的共享单元状态ct。用于传感器融合的LSTM单元可以包括隐藏状态门，该隐藏状态门通过计算M个部分共享隐藏状态输出的逐元素求和来生成更新的共享隐藏状态ht。用于传感器融合的LSTM单元可以包括第一架构和第二架构。LSTM单元中的第一架构可以包括M个遗忘门中的第一遗忘门、M个输入门中的第一输入门和M个输出门中的第一输出门。LSTM单元内的第二架构可以包括M个遗忘门中的第二遗忘门、M个输入门中的第二输入门和M个输出门中的第二输出门。第一架构可以与第二架构并行地实现。M个遗忘门、M个输入门和M个输出门可以采用S函数。
根据一个方面，与长短期记忆(LSTM)单元相关联的融合单元可以包括第一整流器、第二整流器、融合门、第一逐元素乘积门、第二逐元素乘积门和输出门。第一整流器可以从第一传感器接收第一传感器编码
Figure BDA0002543740760000031
并且生成第一调节传感器编码
Figure BDA0002543740760000032
第二整流器可以从第二传感器接收第二传感器编码
Figure BDA0002543740760000033
并且生成第二调节传感器编码
Figure BDA0002543740760000034
融合门可以接收第一调节传感器编码
Figure BDA0002543740760000035
和第二调节传感器编码
Figure BDA0002543740760000036
并且生成融合门结果
Figure BDA0002543740760000037
第一逐元素乘积门可以接收融合门结果
Figure BDA0002543740760000038
和第一调节传感器编码
Figure BDA0002543740760000039
并且生成第一乘积。第二逐元素乘积门可以接收
Figure BDA00025437407600000310
和第二调节传感器编码
Figure BDA00025437407600000311
并且生成第二乘积。输出门可以接收第一乘积和第二乘积并生成融合状态at。
第一整流器或第二整流器可以是整流线性单元(ReLU)。融合门可以采用逐元素求和函数和S函数以基于第一调节传感器编码
Figure BDA00025437407600000312
和第二调节传感器编码
Figure BDA00025437407600000313
来生成融合门结果
Figure BDA00025437407600000314
第一逐元素乘积门或第二逐元素乘积门可以采用逐元素乘积函数以分别生成第一乘积或第二乘积。输出门可以采用逐元素求和函数以基于第一乘积和第二乘积生成融合状态at。第一调节传感器编码
Figure BDA00025437407600000315
融合门结果
Figure BDA00025437407600000316
融合状态
Figure BDA0002543740760000041
融合状态at可以被输入到LSTM单元的第一门，该第一门采用对融合状态at和隐藏状态ht-1求和的逐元素求和函数。LSTM单元的第一门的输出可以作为输入传递至LSTM单元的遗忘门。
根据一个方面，与长短期记忆(LSTM)单元相关联的融合单元可以包括第一整流器、第二整流器、融合门、第一逐元素乘积门和第二逐元素乘积门。第一整流器可以从第一传感器接收第一传感器编码
Figure BDA0002543740760000042
并且生成第一调节传感器编码
Figure BDA0002543740760000043
第二整流器可以从第二传感器接收第二传感器编码
Figure BDA0002543740760000044
并且生成第二调节传感器编码
Figure BDA0002543740760000045
融合门可以接收第一调节传感器编码
Figure BDA0002543740760000046
和第二调节传感器编码
Figure BDA0002543740760000047
并且生成融合门结果
Figure BDA0002543740760000048
第一逐元素乘积门可以接收融合门结果
Figure BDA0002543740760000049
和第一调节传感器编码
Figure BDA00025437407600000410
并且生成第一乘积。第二逐元素乘积门可以接收
Figure BDA00025437407600000411
和第二调节传感器编码
Figure BDA00025437407600000412
并且生成第二乘积。
第一调节传感器编码
Figure BDA00025437407600000413
融合门结果
Figure BDA00025437407600000414
融合门可以采用逐元素求和函数和S函数以基于第一调节传感器编码
Figure BDA00025437407600000415
和第二调节传感器编码
Figure BDA00025437407600000416
来生成融合门结果
Figure BDA00025437407600000417
第一乘积可以被输入到LSTM单元内的第一架构的第一门，该第一门采用对第一乘积与隐藏状态ht-1求和的逐元素求和函数。第二乘积可以被输入到LSTM单元内的第二架构的第一门，该第一门采用对第二乘积与隐藏状态ht-1求和的逐元素求和函数。
根据一个方面，一种用于与长短期记忆(LSTM)单元相关联的传感器融合的方法可以包括：基于来自第一传感器的第一传感器编码
Figure BDA00025437407600000418
生成第一调节传感器编码
Figure BDA00025437407600000419
基于来自第二传感器的第二传感器编码
Figure BDA00025437407600000420
生成第二调节传感器编码
Figure BDA00025437407600000421
基于第一调节传感器编码
Figure BDA00025437407600000422
和第二调节传感器编码
Figure BDA00025437407600000423
生成融合结果
Figure BDA00025437407600000424
基于融合结果和第一调节传感器编码
Figure BDA00025437407600000425
生成第一乘积；基于
Figure BDA00025437407600000426
和第二调节传感器编码
Figure BDA00025437407600000427
生成第二乘积；以及基于第一乘积和第二乘积生成融合状态at。
第一调节传感器编码
Figure BDA0002543740760000051
融合结果
Figure BDA0002543740760000052
融合状态
Figure BDA0002543740760000053
附图说明
图1是根据一方面的示例性长短期记忆(LSTM)单元的图示。
图2是根据一方面的示例性长短期记忆(LSTM)单元的图示。
图3是根据一方面的示例性长短期记忆(LSTM)单元的图示。
图4是根据一方面的示例性长短期记忆(LSTM)单元和融合单元的图示。
图5A至图5B是根据一方面的示例性长短期记忆(LSTM)单元和融合单元的图示。
图6是根据一方面的用于与图1至图5的长短期记忆(LSTM)单元相关联的传感器融合的系统的示例性组件图。
图7是根据一方面的用于与图1至图5的长短期记忆(LSTM)单元相关联的传感器融合的方法的示例性流程图。
图8是根据一方面的用于与图1至图5的长短期记忆(LSTM)单元相关联的传感器融合的方法的示例性流程图。
图9是根据一方面的用于与图1至图5的长短期记忆(LSTM)单元相关联的传感器融合的方法的示例性流程图。
图10是根据一方面的示例计算机可读介质或计算机可读装置的图示，该计算机可读介质或计算机可读装置包括被配置为体现本文阐述的规定中的一个或更多个的处理器可执行指令。
图11是根据一方面的示例计算环境的图示，本文阐述的规定中的一个或更多个在该计算环境中实现。
具体实施方式
以下包括本文采用的选定术语的定义。定义包括落入某个术语的范围内的并且可用于实施方式的组件的各种示例和/或形式。这些示例不是限制性的。此外，本领域的普通技术人员将会知道，本文讨论的组件可以组合、省略或与其他组件组织或组织成不同架构。
如本文所用，“处理器”处理信号并且执行一般计算和算术功能。由处理器处理的信号可以包括数字信号、数据信号、计算机指令、处理器指令、消息、位、位流或可被接收、传输和/或检测的其他手段。一般来讲，处理器可以是多种处理器，包括多个单核和多核处理器和协处理器以及其他多个单核和多核处理器和协处理器架构。处理器可以包括各种模块以执行各种功能。
如本文所用的“单元”可以被实现为硬件电路、集成电路(IC)等，或者由处理器使用数字信号、数据信号、计算机指令、处理器指令等来实现。
如本文所用的“存储器”可以包括易失性存储器和/或非易失性存储器。非易失性存储器可以包括例如ROM(只读存储器)、PROM(可编程只读存储器)、EPROM(可擦除PROM)和EEPROM(电可擦除PROM)。易失性存储器可以包括例如RAM(随机存取存储器)、同步RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据速率SDRAM(DDRSDRAM)和直接RAM总线RAM(DRRAM)。存储器可以存储控制或分配计算装置的资源的操作系统。
如本文所用的“盘”或“驱动器”可以是磁盘驱动器、固态磁盘驱动器、软盘驱动器、磁带驱动器、Zip驱动器、闪存存储器卡和/或存储棒。此外，盘可以是CD-ROM(压缩盘ROM)、CD可记录驱动器(CD-R驱动器)、CD可重写驱动器(CD-RW驱动器)和/或数字视频ROM驱动器(DVD-ROM)。盘可以存储控制或分配计算装置的资源的操作系统。
如本文所用，“总线”是指可互连的架构，其可操作地连接到在计算机内或在计算机之间的其他计算机组件。总线可以在计算机组件之间传输数据。总线可以是存储器总线、存储器控制器、外围总线、外部总线、纵横开关和/或本地总线等等。总线可还是使用诸如面向媒体的系统传送(MOST)、控制器局域网(CAN)、本地互连网络(LIN)等等协议来将在车辆内的组件互连的车辆总线。
如本文所用的“数据库”可以是指表、一组表和一组数据存储(例如，盘)和/或用于访问和/或操纵那些数据存储的方法。
“可操作的连接”或使实体“可操作地连接”的连接是可发送和/或接收信号、物理通信和/或逻辑通信的连接。可操作的连接可以包括无线接口、物理接口、数据接口和/或电接口。
如本文所用的“计算机通信”是指在两个或多个计算装置(例如，计算机、个人数字助理、蜂窝电话、网络装置)之间的通信，并且可以是例如网络传输、文件传输、小程序传输、电子邮件、超文本传输协议(HTTP)传输等。计算机通信可以跨例如无线系统(例如，IEEE802.11)、以太网系统(例如，IEEE 802.3)、令牌环系统(例如，IEEE 802.5)、局域网(LAN)、广域网(WAN)、点对点系统、电路交换系统、分组交换系统等等发生。
如本文所用，“移动装置”可以是通常具有带有用户输入(例如，触摸、键盘)的显示屏和用于计算的处理器的计算装置。移动装置包括手持装置、便携式电子装置、智能电话、膝上型电脑、平板电脑和电子阅读器。
如本文所用，“车辆”是指能够运载一个或多个人类乘员并且由任何形式的能量提供动力的任何移动车辆。术语“车辆”包括汽车、卡车、货车、小型货车、SUV、摩托车、踏板车、船只、私人船艇和飞行器。在一些场景中，机动车辆包括一个或多个发动机。此外，术语“车辆”可以是指由完全地或部分地由电池供电的一个或多个电动马达供电的电动车辆(EV)。EV可包括电池动力电动车辆(BEV)和插电式混合动力电动车辆(PHEV)。另外，术语“车辆”可以是指由任何形式的能量提供动力的自主车辆和/或自行驾驶车辆。自主车辆可以运载或可以不运载一个或多个人类乘员。
如本文所用的“车辆系统”可以是可用于加强车辆、驾驶和/或安全性的任何自动或手动系统。示例性车辆系统包括自主驾驶系统、电子稳定性控制系统、防抱死制动系统、制动辅助系统、自动制动预填充系统、低速跟随系统、巡航控制系统、碰撞警告系统、碰撞缓解制动系统、自动巡航控制系统、车道偏离警告系统、盲点指示器系统、车道保持辅助系统、导航系统、变速器系统、制动踏板系统、电子动力转向系统、视觉装置(例如，相机系统、接近传感器系统)、气候控制系统、电子预紧系统、监测系统、乘客检测系统、车辆悬架系统、车辆座椅配置系统、车辆车厢照明系统、音频系统、感觉系统等。
本文讨论的方面可以在存储计算机可执行指令的非暂态计算机可读存储介质的上下文中描述和实现。非暂态计算机可读存储介质包括计算机存储介质和通信介质。例如，闪存存储器驱动器、数字通用盘(DVD)、压缩盘(CD)、软盘和磁带盒。非暂态计算机可读存储介质可以包括在用于信息(诸如计算机可读指令、数据结构、模块或其他数据)的存储的任何方法或技术中实现的易失性或非易失性、可移动和不可移动介质。
早期递归融合(ERF)
图1是根据一个方面的示例性长短期记忆(LSTM)单元100的图示。图1的LSTM单元可以包括一个或多个门，并且可以从两个或更多个传感器(例如，Si 102、Sj 104)接收输入信号(例如，第一传感器编码
Figure BDA0002543740760000081
第二传感器编码
Figure BDA0002543740760000082
)。根据一个方面，两个或更多个传感器Si 102、Sj 104可以是不同的传感器类型(例如，Si 102可以是图像传感器，Sj 104可以是控制器局域网总线传感器)。虽然参照图像传感器和CAN总线传感器来描述图1和本文描述的其他图中的一些，但是可以使用任何其他传感器类型。两个或更多个传感器Si 102(例如，第一传感器)、Sj 104(例如，第二传感器)可以是相同的传感器类型(即，两者都可以是图像传感器等)或者可以是不同的传感器类型(例如，图像传感器、关节编码器、惯性测量单元(IMU)数据、图形处理单元(GPU)数据、音频传感器、触摸传感器、触觉传感器等)。
第一编码模块106和第二编码模块108可以被配置为预处理传感器输入信号或第一传感器编码
Figure BDA0002543740760000083
和第二传感器编码
Figure BDA0002543740760000084
并在进行任何传感器融合之前将相应的编码
Figure BDA0002543740760000085
调整为相同尺寸。以此方式，第一编码模块106和第二编码模块108分别处理第一传感器编码
Figure BDA0002543740760000086
和第二传感器编码
Figure BDA0002543740760000087
使得它们在时间上相关。
根据一个方面，可以经由级联器110经由级联或融合来实现早期递归融合(ERF)，该级联器可以对相应的编码
Figure BDA0002543740760000088
进行级联、融合、执行融合、求和等。级联器110的输出或结果、第一单元状态ct-1 122(例如，其可以是跨两个或更多个架构的共享单元状态，该架构在本文参照图3和图5A至图5B进行讨论)和第一隐藏状态ht-1 124(例如，其可以是跨两个或更多个架构的共享隐藏状态，该架构在本文参照图3和图5A至图5B进行讨论)可以是图1的LSTM单元100的输入。
图1是LSTM单元100的示例性第一架构的图示，并且根据一个方面，可以与一个或多个附加架构并行实现。图1的LSTM单元100的第一架构可以包括第一遗忘门126，该遗忘门接收级联器110的输出或结果(第一传感器编码
Figure BDA0002543740760000091
102和第二传感器编码
Figure BDA0002543740760000092
104的级联结果)和第一隐藏状态ht-1 124。第一遗忘门126可以包括或采用S函数132和逐元素乘积函数(element-wise product function)128来生成第一遗忘门126的输出，该输出可以是与第二单元状态ct 162相关联的中间结果。
另外，图1的LSTM单元100的第一架构可以包括第一输入门134，该第一输入门接收级联器110的输出或结果以及第一隐藏状态ht-1 124。第一输入门134可以包括或采用S函数(例如134)、逐元素乘积函数142、双曲正切函数(tanh)144或逐元素求和函数146以生成第一输入门134的输出。tanh函数144可以接收级联器110的输出或结果和第一隐藏状态ht-1124，逐元素乘积函数142可以取自tanh函数144的输出和S函数134的输出。可以将逐元素乘积函数142的输出与第一遗忘门126的输出进行逐元素求和146，从而生成第二单元状态ct162。
图1的LSTM单元100的第一架构可以包括输出门152，该输出门可以包括或采用S函数来接收级联器110的输出或结果和第一隐藏状态ht-1 124。第二单元状态ct 162可以被传递通过tanh函数154，从而产生tanh函数154的输出。tanh函数154的输出和输出门152的逐元素乘积156可以用来生成第二隐藏状态ht 164。
图2是根据一个方面的更详细描述的图1的示例性LSTM单元(诸如LSTM单元100)的图示。在图2中，可以看出，可以由级联器110执行级联，或者可以计算第一传感器编码
Figure BDA0002543740760000093
102和第二传感器编码
Figure BDA0002543740760000094
104的逐元素求和210。级联器110的输出或逐元素求和210可以被指定为xt(其可以与第一隐藏状态ht-1 124进行逐元素求和212)。可以包括或采用S函数的第一遗忘门126的输出可以表示为ft。与输入门134相关联的S函数的输出可以表示为it。与输入门134相关联的tanh函数144的输出可以表示为gt。与输出门152相关联的S函数的输出可以表示为ot。根据一个方面，图1的LSTM单元100的逐元素乘积函数128可以实现为第一单元状态ct-1 122与第一遗忘门126的输出ft的逐元素乘积函数228。就这一点而言，逐元素乘积函数142的输出可以与逐元素乘积函数228的输出进行逐元素求和146，从而生成第二单元状态ct 162。
Figure BDA0002543740760000101
ft＝σ(Wf*xt+Uf*Ht-1+bf),
it＝σ(Wi*xt+Ui*Ht-1+bi),
ot＝σ(Wo*xt+Uo*ht-1+bo),
Figure BDA0002543740760000102
Figure BDA0002543740760000103
后期递归求和(LRS)
图3是根据一个方面的包括第一架构300a和第二架构300b的示例性LSTM单元的图示。尽管仅参考第一架构300a和第二架构300b描述了图3，但是可以使用M个传感器以阵列状方式并行地实现其他架构以用于后期递归求和。
第一架构300a可以包括第一门，该第一门可以包括逐元素求和函数212a，该求和函数对第一传感器编码
Figure BDA0002543740760000104
102与第一共享隐藏状态ht-1 124进行求和并生成输出，该输出可以被传递到第一架构300a的第一遗忘门126a、第一输入门134a、第一tanh函数144a和第一输出门152a。第一遗忘门126a可以包括或采用S函数并生成输出
Figure BDA0002543740760000105
可以计算第一遗忘门126a的输出
Figure BDA0002543740760000106
与第一共享单元状态ct-1 122的逐元素乘积128a。第一共享隐藏状态ht-1124和第一共享单元状态ct-1可以被共享或输入到多个架构中，诸如第一架构300a、第二架构300b、第三架构等。以此方式，第一共享隐藏状态ht-1 124和第一共享单元状态ct-1 122可以被认为是共享陈述状态或公共状态。
第一输入门134a可以包括或采用S函数并生成输出
Figure BDA0002543740760000107
第一tanh函数144a可以生成输出。第一输入门134a的输出
Figure BDA0002543740760000108
和第一tanh函数144a的输出可以被传递到逐元素乘积函数142a。逐元素乘积函数142a可以通过计算第一输入门134a的输出
Figure BDA0002543740760000111
与第一tanh函数144a的输出的逐元素乘积来生成输出。逐元素乘积函数142a的输出可以与逐元素乘积函数128a的输出进行逐元素求和146a。逐元素求和函数146a的输出可以是第一部分共享单元状态
Figure BDA0002543740760000112
302a。第一部分共享单元状态
Figure BDA0002543740760000113
302a可以被传递到第一tanh函数154a。第一输出门152a可以包括或采用S函数并生成输出。第一输出门152a的输出和第一tanh函数154a的输出可以被传递到逐元素乘积函数156a，该逐元素乘积函数可以生成第一部分共享隐藏状态
Figure BDA0002543740760000114
304a。
第二架构300b可以包括第一门，该第一门可以包括逐元素求和函数212b，该逐元素求和函数对第二传感器编码
Figure BDA0002543740760000115
104与相同的第一共享隐藏状态ht-1 124(例如，提供给第一架构300a)进行求和并生成输出，该输出可以被传递到第二架构300b的第二遗忘门126b、第二输入门134b、第二tanh函数144b和第二输出门152b。第二遗忘门126b可以包括或采用S函数并生成输出
Figure BDA0002543740760000116
可以计算第二遗忘门126b的输出
Figure BDA0002543740760000117
和相同的第一共享单元状态ct-1122(例如，提供给第一架构300a)的逐元素乘积128b。
第二输入门134b可以包括或采用S函数并生成输出
Figure BDA0002543740760000118
第二tanh函数144b可以生成输出。第二输入门134b的输出
Figure BDA0002543740760000119
和第二tanh函数144b的输出可以被传递给逐元素乘积函数142b。逐元素乘积函数142b可以通过计算第二输入门134b的输出
Figure BDA00025437407600001110
与第二tanh函数144b的输出的逐元素乘积来生成输出。逐元素乘积函数142b的输出可以与逐元素乘积函数128b的输出进行逐元素求和146b。逐元素求和函数146b的输出可以是第二部分共享单元状态
Figure BDA00025437407600001111
302b。第二部分共享单元状态
Figure BDA00025437407600001112
302b可以被传递到第二tanh函数154b。第二输出门152b可以包括或采用S函数并生成输出。第二输出门152b的输出和第二tanh函数154b的输出可以被传递到逐元素乘积函数156b，该逐元素乘积函数可以生成第二部分共享隐藏状态
Figure BDA00025437407600001113
304b。
第二架构300b可以与第一架构300a相同，不同之处在于，第二架构300b可以接收第二传感器编码
Figure BDA00025437407600001114
104作为输入而不是第一传感器编码
Figure BDA00025437407600001115
102作为输入。用于单元状态门312和隐藏状态门314的逐元素求和函数可以对第一部分共享单元状态
Figure BDA00025437407600001116
304a与第二部分共享单元状态
Figure BDA00025437407600001117
304b求和，并对第一部分共享隐藏状态
Figure BDA00025437407600001118
302a与第二部分共享隐藏状态
Figure BDA00025437407600001119
302b求和，以分别生成第二共享单元状态ct 162和第二共享隐藏状态ht 164。如果实现附加架构，则用于单元状态门312和隐藏状态门314的逐元素求和函数可以相应地对附加的部分共享单元状态和/或附加的部分共享隐藏状态求和(例如，
Figure BDA0002543740760000121
或
Figure BDA0002543740760000122
)。
根据后期递归求和的一方面，可以存在LSTM单元或架构的M个副本(例如300a、300b等，或者每个传感器对应一个)。对于每种模态，可以计算单独的遗忘、输入、输出和单元状态。转换每个门的输入空间的权重W*、U*和偏置b*对于每种模态都是唯一的，但可能会随时间共享。因此，每个LSTM单元或架构可以经由共享状态(例如，第一共享隐藏状态ht-1124和第一共享单元状态ct-1 122)从过去时间步的状态接收信息并从当前时间步st接收输入(例如，对应的传感器输入)。
现在，代替具有传感器的每个LSTM单元的单独状态，所有架构都接收从先前时间步获得的相同共享状态或公共状态(例如，第一共享隐藏状态ht-1 124和第一共享单元状态ct-1 122)。以此方式，融合的表示可以在时间上传播。通过跨所有传感器共享过去共享单元状态ct-1，该模型可以单独决定是为每种模态保留还是丢弃记忆。如上所述，将部分共享隐藏状态和单元状态相加以产生可被发送或传递到下一时间步的第二共享单元状态ct和第二共享隐藏状态ht的组合表示。
Figure BDA0002543740760000123
Figure BDA0002543740760000124
Figure BDA0002543740760000125
Figure BDA0002543740760000126
Figure BDA0002543740760000127
Figure BDA0002543740760000128
就这一点而言，图3所公开的架构(例如，包括第一架构300a和第二架构300b)可以基于来自两个或更多个传感器(例如，视频或图像捕获传感器和CAN总线)的传感器编码(诸如，第一传感器编码
Figure BDA0002543740760000129
102和第二传感器编码
Figure BDA00025437407600001210
104)来对驾驶员正在做什么进行分类，并基于相应的编码
Figure BDA0002543740760000131
预测什么输出(诸如车辆转向)应该接近驾驶场景。不同类型的传感器编码的示例可以包括图像捕获、视频、LiDAR、CAN总线、触觉传感器等。此外，第一架构300a、第二架构300b、第三架构(未示出)、第四架构等中的每一个可以包括其自己的遗忘门、输入门、输出门等，并且可以配置为计算其自己的候选者或部分计算的单元状态(例如，第一部分共享单元状态
Figure BDA0002543740760000132
302a、第二部分共享单元状态
Figure BDA0002543740760000133
302b、第三部分共享单元状态
Figure BDA0002543740760000134
(图3中未示出)等)，同时共享公共隐藏状态(例如，第一隐藏状态ht-1 124、第二隐藏状态ht164，用于下一阶段)和公共单元状态(例如，第一共享单元状态ct-1 122、第二共享单元状态ct，用于下一阶段)，并在时间t上重复。
图4是根据一方面的示例性LSTM单元400和融合单元410的图示。LSTM单元400可以与图2的LSTM单元200相同，不同之处在于级联器110和/或第一传感器编码
Figure BDA0002543740760000135
102和第二传感器编码
Figure BDA0002543740760000136
104的逐元素求和210。相反，融合单元410的输出可以被输入到逐元素求和函数212，如将在本文中讨论的。
融合单元410的输出可以与第一隐藏状态ht-1 124进行逐元素求和212。可以包括或采用S函数的第一遗忘门126的输出可以表示为ft。与输入门134相关联的S函数的输出可以表示为it。与输入门134相关联的tanh函数144的输出可以表示为gt。与输出门152相关联的S函数的输出可以表示为ot。LSTM单元400可以包括第一单元状态ct-1 122和第一遗忘门126的输出ft的逐元素乘积函数228。逐元素乘积函数142的输出可以与逐元素乘积函数228的输出进行逐元素求和146，以生成第二单元状态ct 162。
融合单元410可包括第一整流器412、第二整流器414、融合门420、S函数门430、函数门432、第一逐元素乘积门442、第二逐元素乘积门444和输出门450。第一整流器412或第二整流器414可以是整流线性单元(ReLU)。
第一整流器412可以从第一传感器接收第一传感器编码
Figure BDA0002543740760000137
并且可以生成第一调节传感器编码
Figure BDA0002543740760000138
可以将第一调节传感器编码计算为
Figure BDA0002543740760000139
第二整流器414可以从第二传感器接收第二传感器编码
Figure BDA00025437407600001310
并且可以生成第二调节传感器编码
Figure BDA00025437407600001311
第一调节传感器编码
Figure BDA00025437407600001312
可以被传递到融合门420和第一逐元素乘积门442。第二调节传感器编码
Figure BDA0002543740760000141
可以被传递到融合门420和第二逐元素乘积门444。融合门420可以接收第一调节传感器编码
Figure BDA0002543740760000142
和第二调节传感器编码
Figure BDA0002543740760000143
并且生成融合门结果
Figure BDA0002543740760000144
该结果可以被传递到S函数门430。融合门结果可以被计算为
Figure BDA0002543740760000145
S函数门430的输出可以被传递到第一逐元素乘积门442和函数门432。函数门432可以计算
Figure BDA0002543740760000146
值。第一逐元素乘积门442可以接收融合门结果
Figure BDA0002543740760000147
和第一调节传感器编码
Figure BDA0002543740760000148
并且生成第一乘积，该第一乘积可以被传递到输出门450以进行逐元素求和。第二逐元素乘积门444可以从函数门432接收
Figure BDA0002543740760000149
和第二调节传感器编码
Figure BDA00025437407600001410
并且生成第二乘积，该第二乘积可以被传递到输出门450以与第一乘积进行逐元素求和。第一逐元素乘积门442或第二逐元素乘积门444可采用逐元素乘积函数来生成第一乘积和/或第二乘积。融合门450可以采用逐元素求和函数和S函数，以基于第一调节传感器编码
Figure BDA00025437407600001411
和第二调节传感器编码
Figure BDA00025437407600001412
来生成融合门结果
Figure BDA00025437407600001413
就这一点而言，输出门450可以接收第一乘积和第二乘积，并且生成融合状态at452，该融合状态可以作为输入被传递给LSTM单元400的逐元素求和函数212。以此方式，融合单元410可以通过预处理传感器编码而被用来为LSTM单元生成输入。如先前所论述，可以将融合状态at 452与第一隐藏状态ht-1 124进行逐元素求和212。输出门450可以采用逐元素求和函数，以基于第一乘积和第二乘积生成融合状态at 452。融合状态at 452可以被计算为
Figure BDA00025437407600001414
融合状态at 452可以被输入到LSTM单元的第一门(例如，逐元素求和212)，该第一门使用对融合状态at 452和隐藏状态ht-1求和的逐元素求和函数。以此方式，LSTM单元400的第一门或逐元素求和212的输出可以作为输入被馈送到LSTM单元400的遗忘门。
图5A至图5B是根据一方面的示例性LSTM单元和融合单元的图示。图5A至图5B的架构可以与包括图3的第一架构300a和第二架构300b的LSTM单元和融合单元410的组合相同或相似，该组合可以稍加修改。如前所述，尽管仅参考第一架构300a和第二架构300b描述了图5A至图5B，但是可以使用M个传感器以阵列状方式并行地实现附加架构以用于后期递归求和，每个传感器具有与第一架构300a、第二架构300b等相同的架构、结构和/或配置。
例如，参照图5A，第一架构300a可以包括逐元素求和函数212a，该函数对第二逐元素乘积门444相关联的乘积或输出与第二共享隐藏状态ht-1 124求和。逐元素求和函数212a可以生成输出，该输出可以被传递到第一架构300a的第一遗忘门126a、第一输入门134a、第一tanh函数144a和第一输出门152a。第一遗忘门126a可以包括或采用S函数并生成输出
Figure BDA0002543740760000151
可以计算第一遗忘门126a的输出
Figure BDA0002543740760000152
与第一共享单元状态ct-1 122的逐元素乘积128a。
第一输入门134a可以包括或采用S函数并生成输出
Figure BDA0002543740760000153
第一tanh函数144a可以生成输出。第一输入门134a的输出
Figure BDA0002543740760000154
和第一tanh函数144a的输出可以被传递给逐元素乘积函数142a。逐元素乘积函数142a可以通过计算第一输入门134a的输出
Figure BDA0002543740760000155
与第一tanh函数144a的输出的逐元素乘积来生成输出。逐元素乘积函数142a的输出可以与逐元素乘积函数128a的输出进行逐元素求和146a。逐元素求和函数146a的输出可以是第一部分共享单元状态
Figure BDA0002543740760000156
302a。第一部分共享单元状态
Figure BDA0002543740760000157
302a可以被传递到第一tanh函数154a。第一输出门152a可以包括或采用S函数并生成输出。第一输出门152a的输出和第一tanh函数154a的输出可以被传递到逐元素乘积函数156a，该逐元素乘积函数可以生成第一部分共享隐藏状态
Figure BDA0002543740760000158
304a。
第二架构300b可以包括第一门，该第一门可以包括逐元素求和函数212b，该函数对第二传感器编码
Figure BDA0002543740760000159
104与相同的第一共享隐藏状态ht-1 124(例如，提供给第一架构300a)进行求和并生成输出，该输出可以被传递到第二架构300b的第二遗忘门126b、第二输入门134b、第二tanh函数144b和第二输出门152b。第二遗忘门126b可以包括或采用S函数并生成输出
Figure BDA00025437407600001510
可以计算第二遗忘门126b的输出
Figure BDA00025437407600001511
与相同的第一共享单元状态ct-1 122(例如，提供给第一架构300a)的逐元素乘积128b。
第二输入门134b可以包括或采用S函数并生成输出
Figure BDA00025437407600001512
第二tanh函数144b可以生成输出。第二输入门134b的输出
Figure BDA00025437407600001513
和第二tanh函数144b的输出可以被传递给逐元素乘积函数142b。逐元素乘积函数142b可以通过计算第二输入门134b的输出
Figure BDA0002543740760000161
与第二tanh函数144b的输出的逐元素乘积来生成输出。逐元素乘积函数142b的输出可以与逐元素乘积函数128b的输出进行逐元素求和146b。逐元素求和函数146b的输出可以是第二部分共享单元状态
Figure BDA0002543740760000162
302b。第二部分共享单元状态
Figure BDA0002543740760000163
302b可以被传递到第二tanh函数154b。第二输出门152b可以包括或采用S函数并生成输出。第二输出门152b的输出和第二tanh函数154b的输出可以被传递到逐元乘积函数156b，该逐元乘积函数可以生成第二部分共享隐藏状态
Figure BDA0002543740760000164
304b。
如前所述，第二架构300b可以与第一架构300a相同，不同之处在于第二架构300b可以接收第二传感器编码
Figure BDA0002543740760000165
104作为输入而不是第一传感器编码
Figure BDA0002543740760000166
102作为输入。用于单元状态门312和隐藏状态门314的逐元素求和函数可以对第一部分共享单元状态
Figure BDA0002543740760000167
304a与第二部分共享单元状态
Figure BDA0002543740760000168
304b求和，并且对第一部分共享隐藏状态
Figure BDA0002543740760000169
302a与第二部分共享隐藏状态
Figure BDA00025437407600001610
302b求和，以分别生成第二共享单元状态ct 162和第二共享隐藏状态ht164。
图5B的融合单元可以与图4的融合单元410相同或相似，不同之处在于去除了输出门450，从而使得第一逐元素乘积门442的第一乘积552和第二逐元素乘积门444的第二乘积554被传递到第二架构300b的逐元素求和函数212b和第一架构300a的逐元素求和函数212a。
例如，图5B的融合单元可以包括第一整流器412、第二整流器414、融合门420、S函数门430、函数门432、第一逐元素乘积门442和第二逐元素乘积门444。第一整流器412可以从第一传感器接收第一传感器编码
Figure BDA00025437407600001611
并且可以生成第一调节传感器编码
Figure BDA00025437407600001612
第二整流器414可以从第二传感器接收第二传感器编码
Figure BDA00025437407600001613
并且可以生成第二调节传感器编码
Figure BDA00025437407600001614
第一调节传感器编码
Figure BDA00025437407600001615
可以被传递到融合门420和第一逐元素乘积门442。第二调节传感器编码
Figure BDA00025437407600001616
可以被传递到融合门420和第二逐元素乘积门444。融合门420可以接收第一调节传感器编码
Figure BDA00025437407600001617
和第二调节传感器编码
Figure BDA00025437407600001618
并且生成融合门结果
Figure BDA00025437407600001619
该结果可以被传递到S函数门430。S函数门430的输出可以被传递到第一逐元素乘积门442和函数门432。函数门432可以计算
Figure BDA00025437407600001620
值。
第一逐元素乘积门442可以接收融合门结果
Figure BDA00025437407600001621
和第一调节传感器编码
Figure BDA00025437407600001622
并且生成第一乘积552，该第一乘积可以作为输入传递到第二架构300b的逐元素乘积函数212b。第二逐元素乘积门444可以从函数门432接收
Figure BDA0002543740760000171
和第二调节传感器编码
Figure BDA0002543740760000172
并且生成第二乘积554，该第二乘积可以作为输入被传递到第一架构300a的逐元素求和函数212a。以此方式，第一乘积552可以被输入到LSTM单元内的第二架构300b的第一门(例如，逐元素求和函数212b)，该第一门采用对第一乘积552和隐藏状态ht-1求和的逐元素求和函数。类似地，第二乘积554可以被输入到LSTM单元内的第一架构300a的第一门(例如，逐元素求和函数212a)，该第一门采用对第二乘积554和隐藏状态ht-1求和的逐元素求和函数。
Figure BDA0002543740760000173
Figure BDA0002543740760000174
Figure BDA0002543740760000175
ft＝σ(Wf*at+Uf*Ht-1+bf),
it＝σ(Wi*at+Ui*Ht-1+bi),
ot＝σ(Wo*at+Uo*ht-1+bo),
Figure BDA0002543740760000176
ht＝ot⊙tanh(ct), (11)
Figure BDA0002543740760000177
Figure BDA0002543740760000178
Figure BDA0002543740760000179
Figure BDA00025437407600001710
Figure BDA00025437407600001711
Figure BDA00025437407600001712
Figure BDA0002543740760000181
Figure BDA0002543740760000182
Figure BDA0002543740760000183
图6是根据一方面的用于与图1至图5的LSTM单元相关联的传感器融合的系统600的示例性组件图。用于传感器融合的系统可以包括处理器602、存储器604、存储装置驱动器606、通信接口608、LSTM模块612、门控融合模块614和总线642。LSTM模块612和/或门控融合模块614可以经由处理器602来实现，并且执行或执行以上参照图1至图5描述的函数中的一个或多个，诸如执行逐元素求和函数、逐元素乘积函数、tanh函数、S函数等。用于传感器融合的系统600可以在车辆内实现并且与一个或多个车辆系统相关联。就这一点而言，可以基于分别从第一传感器102和第二传感器104接收的输入(诸如第一传感器编码
Figure BDA0002543740760000184
和第二传感器编码
Figure BDA0002543740760000185
)，来执行驾驶员行为分类和/或驾驶员行为预测。如所讨论的，尽管本文讨论了仅两个传感器(即，与第一传感器编码
Figure BDA0002543740760000186
和第二传感器编码
Figure BDA0002543740760000187
相关联)，但是可以考虑任何数量(M个)的传感器或模态。
图7是根据一方面的用于与图1至图5的LSTM单元相关联的传感器融合的方法700的示例性流程图。方法700可以包括：接收702LSTM单元内的第一传感器数据；接收704LSTM单元内的与第一传感器数据分离的第二传感器数据；使用LSTM单元内的第一遗忘门处理706第一传感器数据；使用LSTM单元内的不同于第一遗忘门的第二遗忘门处理708第二传感器数据；使用LSTM单元内的第一输入门来处理710第一传感器数据；使用LSTM单元内的与第一输入门不同的第二输入门来处理712第二传感器数据；使用LSTM单元内的第一输出门和单元状态来生成714第一输出；以及使用LSTM单元内的第二输出门和单元状态来生成716第二输出。
图8是根据一方面的用于与图1至图5的LSTM单元相关联的传感器融合的方法800的示例性流程图。方法800可以包括：从M个传感器中接收802LSTM单元内的M组传感器数据；使用LSTM单元内的与M组传感器数据对应的M个遗忘门来处理804M组传感器数据；使用LSTM单元内的M个输入门处理806M组传感器数据；并使用LSTM单元内的M个输出门和先前单元状态生成808M个输出(以确定更新的单元状态和更新的隐藏状态)。
图9是根据一方面的用于与图1至图5的LSTM单元相关联的传感器融合的方法900的示例性流程图。用于传感器融合的方法900可以包括：基于来自第一传感器的第一传感器编码来生成902第一调节传感器编码；基于来自第二传感器的第二传感器编码来生成904第二调节传感器编码；基于第一调节传感器编码和第二调节传感器编码生成906融合结果；基于融合结果和第一调节传感器编码生成908第一乘积；基于第二调节传感器编码生成910第二乘积；在LSTM单元的第一遗忘门处接收912第一传感器编码或第一乘积和第一共享隐藏状态；在LSTM单元的第二遗忘门处接收914第二传感器编码或第二乘积和第一共享隐藏状态；在LSTM单元的第一输入门处接收916第一传感器编码或第一乘积和第一共享隐藏状态；在LSTM单元的第二输入门处接收918第二传感器编码或第二乘积和第一共享隐藏状态；基于第一共享单元状态、第一传感器编码或第一乘积以及第一共享隐藏状态在第一输出门处生成920第一输出；基于第一共享单元状态、第二传感器编码或第二乘积以及第一隐藏状态在第二输出门处生成922第二输出；基于第一输出和第二输出来在隐藏状态门处生成924第二共享隐藏状态；以及基于第一遗忘门的输出、第二遗忘门的输出、第一输入门的输出和第二输入门的输出在单元状态门处生成926第二共享单元状态。
又一方面涉及计算机可读介质，该计算机可读介质包括处理器可执行指令，该处理器可执行指令被配置为实现本文呈现的技术的一个方面。图10中示出了以这些方式设计的计算机可读介质或计算机可读装置的一方面，其中实施方式1000包括计算机可读介质1008，诸如CD-R、DVD-R、闪存驱动器、硬盘驱动器的盘片等，计算机可读数据1006在该计算机可读介质上被编码。该编码的计算机可读数据1006(诸如包括如1006所示的多个零和一的二进制数据)又包括一组处理器可执行计算机指令1004，该组指令被配置为根据本文阐述的原理中的一个或更多个操作。在该实施方式1000中，处理器可执行计算机指令1004可以被配置为执行方法1002，诸如图7的方法700、图8的方法800或图9的方法900。在另一方面，处理器可执行计算机指令1004可以被配置为实现系统(诸如图6的系统600)。许多此类计算机可读介质可以由本领域的普通技术人员设计，其被配置为根据本文呈现的技术进行操作。
如本申请中所用，术语“组件”、“模块”、“系统”、“接口”等一般旨在是指计算机相关实体、硬件、硬件和软件的组合、软件或执行中的软件。例如，组件可以是但不限于是在处理器上运行的进程、处理单元、对象、可执行程序、执行线程、程序或计算机。作为说明，在控制器上运行的应用程序和控制器两者都可以是组件。驻留在进程或执行线程和组件内的一个或多个组件可以位于一台计算机上或分布在两台或更多台计算机之间。
此外，所要求保护的主题被实现为使用标准编程或工程技术以产生软件、固件、硬件或它们的任何组合来控制计算机实现所公开的主题的方法、设备或制品。如本文所用的术语“制品”旨在涵盖可从任何计算机可读装置、载体或介质访问的计算机程序。当然，在不脱离所要求保护的主题的范围或精神的情况下，可以对该配置做出许多修改。
图11和以下讨论提供了用于实现本文阐述的规定中的一个或更多个的方面的合适的计算环境的描述。图11的操作环境仅是合适的操作环境的一个示例，并且并不旨在对操作环境的使用范围或功能提出任何限制。示例性计算装置包括但不限于个人计算机、服务器计算机、手持式或膝上型装置、移动装置(诸如移动电话、个人数字助理(PDA)、媒体播放器等)、多处理器系统、消费者电子装置、小型计算机、大型计算机、包括上述系统或装置中的任一个的分布式计算环境等。
一般来说，在“计算机可读指令”可由一个或多个计算装置执行的一般上下文中描述各方面。计算机可读指令可以经由计算机可读介质分发，如下面将讨论。计算机可读指令可以被实现为执行一个或多个任务或实现一个或多个抽象数据类型的程序模块，诸如函数、对象、应用程序编程接口(API)、数据结构等。通常，计算机可读指令的功能性根据需要在各种环境中组合或分布。
图11示出了包括被配置为实现本文提供的一个方面的计算装置1112的系统1100。在一种配置中，计算装置1112包括至少一个处理单元1116和存储器1118。取决于计算装置的确切配置和类型，存储器1118可以是易失性的(诸如RAM)、非易失性的(诸如ROM、闪存存储器等)或这两者的组合。该配置在图11中由虚线1114示出。
在其他方面，计算装置1112包括附加特征或功能。例如，计算装置1112可以包括附加存储装置，诸如可移动存储装置或不可移动存储装置，包括但不限于磁性存储装置、光学存储装置等。此类附加存储装置在图11中由存储装置1120示出。在一方面，用于实现本文提供的一个方面的计算机可读指令在存储装置1120中。存储装置1120可以存储其他计算机可读指令以实现操作系统、应用程序等。例如，计算机可读指令可以被加载到存储器1118中以供处理单元1116执行。
如本文所用的术语“计算机可读介质”包括计算机存储介质。计算机存储介质包括在用于存储信息(诸如计算机可读指令或其他数据)的任何方法或技术中实现的易失性和非易失性、可移动和不可移动介质。存储器1118和存储装置1120是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存存储器或其他存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、盒式磁带、磁带、磁盘存储装置或其他磁性存储装置或可用于存储期望的信息并且可由计算装置1112访问的任何其他介质。任何此类计算机存储介质都是计算装置1112的一部分。
术语“计算机可读介质”包括通信介质。通信介质通常以“经调制的数据信号”(诸如载波或其他传输机制)来体现计算机可读指令或其他数据并且包括任何信息传递介质。术语“经调制的数据信号”包括以对信号中的信息进行编码的方式设置或改变其特性中的一个或多个的信号。
计算装置1112包括(多个)输入装置1124，诸如键盘、鼠标、笔、语音输入装置、触摸输入装置、红外相机、视频输入装置或任何其他输入装置。(多个)输出装置1122(诸如一个或更多个显示器、扬声器、打印机或任何其他输出装置)可以包括在计算装置1112中。(多个)输入装置1124和(多个)输出装置1122可以经由有线连接、无线连接或它们的任何组合连接到计算装置1112。在一方面，来自另一计算装置的输入装置或输出装置可以用作计算装置1112的(多个)输入装置1124或(多个)输出装置1122。例如，计算装置1112可以包括(多个)通信连接1126，以便于诸如通过网络1128与一个或多个其他装置1130进行通信。
尽管用特定于结构特征或方法动作的语言描述了本主题，但是应当理解，所附权利要求书的主题不一定限于上述具体特征或动作。相反，上述具体特征和动作是作为示例性方面被公开。
在本文提供了各方面的各种操作。描述操作中的一个或多个或全部的次序不应被解释为暗示这些操作必须是按次序的。将会基于该描述而知道替代排序。此外，并非所有操作都必须要存在于本文提供的每个方面中。
如本申请中所用，“或”旨在表示包括性“或”而非排他性“或”。此外，包含性“或”可以包括它们的任何组合(例如，A、B或它们的任何组合)。另外，除非另外指明或从上下文清楚指向单数形式，否则如本申请中所用的“一个”和“一种”一般被解释为表示“一个或多个”。另外，A和B中的至少一个和/或相似的表达一般表示A或B或A和B两者。此外，就“包括(includes)”、“具有(having)”、“具有(has)”、“带有”或它们的变体在详细描述或权利要求书中使用来说，此类术语旨在以与术语“包括(comprising)”类似的方式是包括性的。
此外，除非另有说明，否则“第一”、“第二”等并不表示暗示时间方面、空间方面、排序等。相反，此类术语仅用作特征、要素、项等的标识符、名称等。例如，第一信道和第二信道一般对应于信道A和信道B或两个不同或两个相同的信道、或同一信道。另外，“包括(comprising)”、“包括(comprises)”、“包括(including)”、“包括(includes)”等一般表示包括(comprising)或包括(including)但不限于。
应当理解，上面公开的特征和功能以及其他特征和功能中的各种特征和功能或它们的替代物或变体可以理想地组合到许多其他不同系统或应用中。此外，本领域的技术人员可以之后做出本文的各种目前无法预料或无法预期的替代、修改、变化或改进，这些也旨在涵盖在所附权利要求书中。

Claims (20)

1.一种与长短期记忆(LSTM)单元相关联的融合单元，所述融合单元包括：
第一整流器，所述第一整流器从第一传感器接收第一传感器编码
Figure FDA0002543740750000011
并且生成第一调节传感器编码
Figure FDA0002543740750000012
第二整流器，所述第二整流器从第二传感器接收第二传感器编码
Figure FDA0002543740750000013
并且生成第二调节传感器编码
Figure FDA0002543740750000014
融合门，所述融合门接收所述第一调节传感器编码
Figure FDA0002543740750000015
和所述第二调节传感器编码
Figure FDA0002543740750000016
并且生成融合门结果
Figure FDA0002543740750000017
第一逐元素乘积门，所述第一逐元素乘积门接收所述融合门结果
Figure FDA0002543740750000018
和所述第一调节传感器编码
Figure FDA0002543740750000019
并且生成第一乘积；
第二逐元素乘积门，所述第二逐元素乘积门接收
Figure FDA00025437407500000110
和所述第二调节传感器编码
Figure FDA00025437407500000111
并且生成第二乘积；和
输出门，所述输出门接收所述第一乘积和所述第二乘积并生成融合状态at。
2.根据权利要求1所述的融合单元，其中所述第一整流器或所述第二整流器是整流线性单元(ReLU)。
3.根据权利要求1所述的融合单元，其中所述融合门采用逐元素求和函数和S函数以基于所述第一调节传感器编码
Figure FDA00025437407500000112
和所述第二调节传感器编码
Figure FDA00025437407500000113
来生成所述融合门结果
Figure FDA00025437407500000114
4.根据权利要求1所述的融合单元，其中所述第一逐元素乘积门或所述第二逐元素乘积门采用逐元素乘积函数以分别生成所述第一乘积或所述第二乘积。
5.根据权利要求1所述的融合单元，其中所述输出门采用逐元素求和函数以基于所述第一乘积和所述第二乘积来生成所述融合状态at。
6.根据权利要求1所述的融合单元，其中所述第一调节传感器编码
Figure FDA00025437407500000115
7.根据权利要求1所述的融合单元，其中所述融合门结果
Figure FDA0002543740750000021
8.根据权利要求1所述的融合单元，其中所述融合状态
Figure FDA0002543740750000022
9.根据权利要求1所述的融合单元，其中所述融合状态at被输入到所述LSTM单元的第一门，所述第一门采用对所述融合状态at和隐藏状态ht-1求和的逐元素求和函数。
10.根据权利要求9所述的融合单元，其中将所述LSTM单元的所述第一门的输出作为输入传递至所述LSTM单元的遗忘门。
11.一种与长短期记忆(LSTM)单元相关联的融合单元，所述融合单元包括：
第一整流器，所述第一整流器从第一传感器接收第一传感器编码
Figure FDA0002543740750000023
并且生成第一调节传感器编码
Figure FDA0002543740750000024
第二整流器，所述第二整流器从第二传感器接收第二传感器编码
Figure FDA0002543740750000025
并且生成第二调节传感器编码
Figure FDA0002543740750000026
融合门，所述融合门接收所述第一调节传感器编码
Figure FDA0002543740750000027
和所述第二调节传感器编码
Figure FDA0002543740750000028
并且生成融合门结果
Figure FDA0002543740750000029
第一逐元素乘积门，所述第一逐元素乘积门接收所述融合门结果
Figure FDA00025437407500000210
和所述第一调节传感器编码
Figure FDA00025437407500000211
并且生成第一乘积；和
第二逐元素乘积门，所述第二逐元素乘积门接收
Figure FDA00025437407500000212
和所述第二调节传感器编码
Figure FDA00025437407500000213
并且生成第二乘积。
12.根据权利要求11所述的融合单元，其中所述第一调节传感器编码
Figure FDA00025437407500000214
13.根据权利要求11所述的融合单元，其中所述融合门结果
Figure FDA00025437407500000215
14.根据权利要求11所述的融合单元，其中所述融合门采用逐元素求和函数和S函数以基于所述第一调节传感器编码
Figure FDA00025437407500000216
和所述第二调节传感器编码
Figure FDA00025437407500000217
来生成所述融合门结果
Figure FDA00025437407500000218
15.根据权利要求11所述的融合单元，其中所述第一乘积被输入到所述LSTM单元内的第一架构的第一门，所述第一门采用对所述第一乘积与隐藏状态ht-1求和的逐元素求和函数。
16.根据权利要求11所述的融合单元，其中所述第二乘积被输入到所述LSTM单元内的第二架构的第一门，所述第一门采用对所述第二乘积与隐藏状态ht-1求和的逐元素求和函数。
17.一种用于与长短期记忆(LSTM)单元相关联的传感器融合的方法，所述方法包括：
基于来自第一传感器的第一传感器编码
Figure FDA0002543740750000031
来生成第一调节传感器编码
Figure FDA0002543740750000032
基于来自第二传感器的第二传感器编码
Figure FDA0002543740750000033
来生成第二调节传感器编码
Figure FDA0002543740750000034
基于所述第一调节传感器编码
Figure FDA0002543740750000035
和所述第二调节传感器编码
Figure FDA0002543740750000036
来生成融合结果
Figure FDA0002543740750000037
基于所述融合结果
Figure FDA0002543740750000038
和所述第一调节传感器编码
Figure FDA0002543740750000039
来生成第一乘积；
基于
Figure FDA00025437407500000310
和所述第二调节传感器编码
Figure FDA00025437407500000311
来生成第二乘积；以及
基于所述第一乘积和所述第二乘积来生成融合状态at。
18.根据权利要求17所述的用于传感器融合的方法，其中所述第一调节传感器编码
Figure FDA00025437407500000312
19.根据权利要求17所述的用于传感器融合的方法，其中所述融合结果
Figure FDA00025437407500000313
20.根据权利要求17所述的用于传感器融合的方法，其中所述融合状态
Figure FDA00025437407500000314
CN202010554347.6A 2019-07-03 2020-06-17 传感器融合 Pending CN112183715A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201962870460P 2019-07-03 2019-07-03
US62/870,460 2019-07-03
US16/664,356 US11580365B2 (en) 2019-07-03 2019-10-25 Sensor fusion
US16/664,356 2019-10-25
US16/694,419 2019-11-25
US16/694,419 US11610125B2 (en) 2019-07-03 2019-11-25 Sensor fusion

Publications (1)

Publication Number Publication Date
CN112183715A true CN112183715A (zh) 2021-01-05

Family

ID=73919311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554347.6A Pending CN112183715A (zh) 2019-07-03 2020-06-17 传感器融合

Country Status (1)

Country Link
CN (1) CN112183715A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180005107A1 (en) * 2016-06-30 2018-01-04 Samsung Electronics Co., Ltd. Hybrid memory cell unit and recurrent neural network including hybrid memory cell units
US20180196599A1 (en) * 2017-01-12 2018-07-12 Samsung Electronics Co., Ltd. System and method for higher order long short-term memory (lstm) network
CN108762245A (zh) * 2018-03-20 2018-11-06 华为技术有限公司 数据融合方法以及相关设备
US20190087710A1 (en) * 2016-04-29 2019-03-21 Cambricon Technologies Corporation Limited Apparatus and method for executing recurrent neural network and lstm computations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190087710A1 (en) * 2016-04-29 2019-03-21 Cambricon Technologies Corporation Limited Apparatus and method for executing recurrent neural network and lstm computations
US20180005107A1 (en) * 2016-06-30 2018-01-04 Samsung Electronics Co., Ltd. Hybrid memory cell unit and recurrent neural network including hybrid memory cell units
US20180196599A1 (en) * 2017-01-12 2018-07-12 Samsung Electronics Co., Ltd. System and method for higher order long short-term memory (lstm) network
CN108762245A (zh) * 2018-03-20 2018-11-06 华为技术有限公司 数据融合方法以及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KHALED SALEH 等: "Driving behavior classification based on sensor data fusion using LSTM recurrent neural networks", 《2017 IEEE 20TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》, 9 July 2018 (2018-07-09), pages 1 - 6 *

Similar Documents

Publication Publication Date Title
US11410048B2 (en) Systems and methods for anomalous event detection
US10482334B1 (en) Driver behavior recognition
US11657266B2 (en) Cooperative multi-goal, multi-agent, multi-stage reinforcement learning
US10860873B2 (en) Driver behavior recognition and prediction
US11479243B2 (en) Uncertainty prediction based deep learning
US11465650B2 (en) Model-free reinforcement learning
US11087477B2 (en) Trajectory prediction
US11580365B2 (en) Sensor fusion
CN112537306A (zh) 用于在密集交通中提供协同感知的车道变换控制的系统和方法
US11150656B2 (en) Autonomous vehicle decision making
US11873012B2 (en) System and method for providing social-stage spatio-temporal multi-modal future forecasting
US11460856B2 (en) System and method for tactical behavior recognition
US11868132B2 (en) System and method for implementing pedestrian avoidance strategies for a mobile robot
US20210082283A1 (en) Systems and methods for providing future object localization
CN113379096B (zh) 基于合成字段的单发(single shot)预测
US11062141B2 (en) Methods and apparatuses for future trajectory forecast
US11958201B2 (en) Systems and methods for visuo-tactile object pose estimation
US20210270605A1 (en) Systems and methods for estimating tactile output based on depth data
CN112183715A (zh) 传感器融合
US11610125B2 (en) Sensor fusion
US20220391675A1 (en) Sensor fusion
CN115116021A (zh) 用于完成连续多代理轨迹预测的系统和方法
CN114491297A (zh) 用于从代理增强环境完成轨迹预测的系统和方法
US20230316734A1 (en) Pose fusion estimation
US20230109171A1 (en) Operator take-over prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination