CN111353596A - 利用训练的神经网络的单组件数据处理系统和方法 - Google Patents

Abstract

提供了被配置为使用单组件专用传感器数据处理神经网络来处理传感器数据的方法、系统、装置和计算机程序产品。单组件数据处理系统被配置为从传感器接收输入数据，使用由单个训练的传感器数据处理组件体现的神经网络分析输入数据，其中单个训练的传感器数据处理组件被训练以产生输出数据，其近似于以流水线方式执行的多个特定于任务的转换，并在转换输入数据之后产生输出数据。另外，提供了用于训练单个训练的传感器数据处理组件以近似于以流水线方式执行的多个特定于任务的转换的方法、系统、装置和计算机程序产品。

Description

利用训练的神经网络的单组件数据处理系统和方法

技术领域

本公开的某些实施例通常涉及一种方法，装置和计算机程序产品，其用于利用训练的传感器数据处理神经网络将输入的传感器数据转换成输出数据，该神经网络被训练以近似多个特定于任务的转换。

背景技术

传感器数据的使用越来越多地预示技术驱动的决策。在一个这样的示例中，自主车辆配备有多个传感器，这些传感器被设计为确保车辆按预期运行。这些传感器包括但不限于光探测和测距(LiDAR)系统，惯性导航系统(INS)，相机和雷达。然而，这些传感器通常采集具有原始输入数据形式的信号，图像或其它数据，该原始输入数据形式对于包括例如自主车辆的感知系统的许多其它系统是不可用的。为了有用，输入数据必须通过各种转换来处理，以达到已处理且可解释的形式。

取决于用于收集输入数据的传感器系统的类型，所需的转换和处理步骤不同。将输入数据转换为可解释的形式通常需要进行多种不同的转换。在某些情况下，为了促进这些数据转换，片上系统利用了多个专用组件。在某些情况下，多个组件以线性流水线进行组织，以使从一个专用组件输出的数据流到下一个专用组件的输入，直到完成整个转换过程为止。一旦最终的专用组件执行了其转换，数据便以可解释的形式输出。

然而，在其中每个流水线系统执行单个专门转换的多个流水线系统中，组件的数量随完成数据处理流水线所需的转换数量的增加而增加。随着组件数量的增加，系统需要更大的材料占用面积，增加了所需的功耗，并导致成本增加。同样，增加的组件数会降低总体系统效率和系统效能。

例如，彩色图像渲染流水线通常包括以下步骤：[1]图像传感器校正，[2]降噪，[3]图像缩放，[4]伽马校正，[5]图像增强，[6]颜色空间变换，[7]色度子采样，[8]帧率变换，以及[9]图像压缩。假设这些是给定系统必须执行的唯一步骤，那么流水线数据处理系统将需要9个单独的专用组件，每个单独的步骤都需要一个组件。随着向流水线中增加附加步骤，所需的附加专用组件的数量也持续增加，进一步加剧了占用面积，功耗和相关材料成本的增加。

发明内容

因此，根据本发明的示例实施例，提供了一种方法，装置和计算机程序产品，用于利用训练的传感器数据处理神经网络对传感器数据进行处理，该训练的传感器数据处理神经网络被训练以近似于以流水线方式执行的多个特定于任务的转换功能。通过训练神经网络以近似于以流水线方式执行的多个特定转换功能，训练的传感器数据处理神经网络可代替以流水线方式执行的多个特定于任务的转换。体现训练的传感器数据处理神经网络的单个训练的传感器数据处理组件可代替被配置成以流水线方式执行多个特定于任务的转换的多个专用组件。这样，训练的传感器数据处理组件可以减少组件的硅占用面积，减少所需的功率消耗，降低组件成本以及提高传感器数据处理系统的效率和效能。

示例实施例包括一种装置，该装置包括被配置为处理传感器数据的单个训练的传感器数据处理组件。示例装置被配置为使用单个训练的传感器数据处理组件，接收来自传感器的输入数据，并使用由单个训练的传感器数据处理组件所体现的神经网络来分析输入数据，其中，单个训练的传感器数据处理组件被训练以产生输出数据，其近似于以流水线方式执行的多个特定于任务的转换，并在转换输入数据之后产生输出数据。

在一些实施例中，包括单组件传感器数据处理组件的装置还被配置为向第二系统输出该输出数据。多个特定于任务的转换可以包括顺序执行的特定于传感器的转换。在一些实施例中，输入数据包括原始数据，而在其它实施例中，输入数据包括已经历了至少一个预处理转换的数据。

示例实施例包括一种用于处理传感器数据的方法。该示例方法包括配置神经网络以执行多个特定于任务的转换。该示例方法还包括从传感器接收输入数据。该示例方法还包括使用体现神经网络的单个训练的传感器数据处理组件来分析输入数据，其中单个训练的传感器数据处理组件被训练以产生输出数据，其近似于以流水线方式执行的多个特定于任务的转换。该示例方法还包括在利用单个训练的传感器数据处理组件对输入数据进行转换之后，从单个训练的传感器数据处理组件产生输入数据。

在一些实施例中，该方法还包括向第二系统输出该输出数据。多个特定于任务的转换可以包括顺序执行的特定于传感器的转换。在一些实施例中，输入数据包括原始数据，而在其它实施例中，输入数据包括已经历了至少一个预处理转换的数据。

示例实施例包括一种用于训练由单个传感器数据处理组件体现的神经网络的方法。该示例方法包括从由至少一个传感器收集的输入数据集中接收输入数据。该示例方法还包括从由传感器数据处理流水线系统创建的已处理数据集中接收已处理数据，该传感器数据处理流水线系统包括多个特定于任务的转换组件。该示例方法还包括训练由单个传感器数据处理组件体现的神经网络，以近似于利用多个特定于任务的转换组件对输入数据到已处理数据进行的转换。

在一些实施例中，输入数据集是预先收集的输入值数据集，而在其它实施例中，输入数据集是实时收集的数据集。一些实施例的已处理数据包括实时处理的数据，而其它实施例的已处理数据集是预先收集的数据集。在一些实施例中，输入数据包括原始数据，而在其它实施例中，输入数据包括已经历了至少一个预处理转换的数据。示例实施例的方法还包括：去除与包括多个特定于任务的转换组件的传感器数据处理流水线系统相关联的硬件。

附图说明

已概括地描述了本发明的实施例，现在将参考附图，这些附图不一定按比例绘制，并且在附图中：

图1是使用图像数据转换流水线方式进行用于图像数据处理的一组转换的示例流程图表示；

图2是由实现图像数据转换流水线的系统所体现的图像数据转换流水线方式的示例系统图；

图3是根据本发明实施例的用于图像数据处理的一组转换的示例流程图表示；

图4是可根据本发明的示例实施例实现的用于图像数据处理的系统的示例系统图；

图5是可根据本发明的示例实施例实现的用于LiDAR数据处理的系统的示例系统图；以及

图6是示出根据本发明的示例实施例的训练示例神经网络的方法的示例流程图。

具体实施方式

现在将在下文中参考附图更完整地描述一些示例实施例，在附图中示出了一些但不是全部实施例。实际上，示例实施例可以采取许多不同的形式，并且不应该被解释为限于这里阐述的实施例；相反，提供这些实施例以使得本公开满足适用的法律要求。贯穿全文，相似的参考标号指代相似的元件。根据一些示例实施例，术语“数据”，“内容”，“信息”和类似术语可以互换使用，以指代能够被发送，接收，操作和/或存储的数据。此外，如本文中可能使用的，术语“示例性”不被提供来传达任何定性评估，而是仅被提供来传达示例的说明。因此，不应使用任何这样的术语来限制本发明的实施例的精神和范围。

图1示出了流程图，该流程图表示使用通过图像数据处理流水线100的一系列转换来进行图像数据处理的过程。图像数据处理流水线100示出了示例数据处理流水线。如图所示，输入102通过多个转换106(A)-(N)被处理为输出104。在所示流水线中，输入102首先经过模数转换或ADC转换106(A)。然后，ADC转换106(A)的输出经历图像校正转换，例如“解拜耳(debayer)”转换106(B)，其中应用拜耳(Bayer)滤色镜。然后，解拜耳转换106(B)的输出继续通过流水线转换106(C)-(N)，直到流水线过程完全完成。在最终的转换(例如，如图所示的数模转换或DAC转换106(N))之后，将生成输出104，此时流水线已实现其总体转换目标。

如图所示，转换106(A)-106(N)中的每一个是一个独立的，特定于任务的转换步骤，其必须以特定的顺序执行。在替代的图像数据处理流水线中，可能需要附加和/或不同的转换。因此，在一些替代的图像数据处理流水线中，转换的数量可以随着所需的附加转换的数量线性增加。每个传感器数据处理流水线可以实现特定的转换目标，例如以另一系统可解释的形式输出数据。特定的传感器数据处理流水线可以实现特定的转换目标，例如从特定的传感器接收输入并以特定系统可以解释的形式输出相同的内容。例如，图1中所示的输入102可以来自相机传感器，并且图像数据处理流水线100可以具有将输入102转换为输出104以使得输出104可由显示系统(未示出)解释的转换目标。可存在利用不同转换来实现特定转换目标的多个传感器数据处理流水线。

相应地，图1仅是传感器数据处理流水线的一个示例。其它传感器数据处理流水线可以包括替代转换和/或除图1中描绘的特定转换106(A)-106(N)之外的附加转换。此外，特定传感器可具有与其输出相关联的多于一个的数据处理流水线，以实现特定的转换目标，从而使在流水线中执行的特定于任务的转换不同于或在顺序上不同于如图1中所示的转换106(A)-106(N)。特定的传感器例如可以具有与之关联的多个特定于传感器的转换，使得必须顺序执行特定于传感器的转换以实现给定的转换目标。尽管所示的图像数据处理流水线可以应用于针对特定传感器的特定转换目标，例如，所示的系统可以具有将来自诸如相机的图像传感器的图像数据转换为第二系统(诸如显示系统)可解释的形式的转换目标，但是，不同的传感器数据处理流水线可适用于不同的传感器和/或转换目标。例如，LiDAR数据处理流水线可包括以流水线方式的各种特定于任务的转换，其转换目标是将经由LiDAR传感器采集的原始LiDAR数据转换为可由诸如感知系统的第二系统解释的形式。替代的LiDAR数据处理流水线可包括以流水线方式的各种特定于任务的转换，其转换目标是将由LiDAR传感器采集并通过预处理系统放大的输入数据转换为第二系统可解释的形式，例如感知系统。

图2示出了使用图像数据处理流水线系统200来实现图像数据处理流水线100的示例系统体系结构。该系统包括图像传感器202和图像数据处理流水线系统200。图像传感器202可以是相机或类似的图像检测系统。图像传感器202可以采集表示为输入204的数据。图像传感器202然后可将输入204传输到图像数据处理流水线系统200。

在替代系统中，图像传感器202可以将数据输出到预处理系统(未示出)。在这样的系统中，可以通过经历至少一个预处理转换来对输入数据204进行预处理。预处理系统然后可以将输入204传输到图像数据处理流水线系统200。

图像数据处理流水线系统200可以是包括多个专用组件的片上系统。替代图像数据处理流水线系统可以利用类似的实现方式。

图像数据处理流水线系统200从图像传感器202接收输入204以进行处理。如图所示，输入204然后流经多个专用组件208(A)-208(N)。多个专用组件208(A)-208(N)被设计为实现图像数据处理流水线100。多个专用组件208(A)-208(N)中的每个专用组件都被专门配置为执行特定转换。例如，ADC组件208(A)被特别配置为执行ADC转换106(A)。然后，来自专用ADC组件208(A)的输出被输入到流水线中的下一个专用组件中，例如，如图所示的专用解拜耳组件208(B)。解拜耳组件208(B)被特别配置为执行解拜耳转换106(B)。

每个中间专用组件208(C)-208(M)接收来自在前专用组件的输入，并将输出提供给后续专用组件。最终的专用组件208(N)产生输出206。可以根据转换目标对输出206进行完全处理。例如，在所示的系统中，输出206可以由诸如显示系统的第二系统解释。在替代系统中，输出206可以作为输入传输到第二系统(未示出)。

值得注意的是，在传感器数据处理流水线中执行的特定于任务的转换的数量等于实现传感器数据处理流水线的系统所需的专用组件的数量。例如，图2中所示的专用组件的数量可以与图1中执行的转换的数量匹配。因此，随着给定传感器数据处理流水线中所需的专门转换的数量增加以实现特定的转换目标，相应的传感器数据处理流水线系统中实现传感器数据处理流水线的组件的数量也随之增加。例如，如果传感器数据处理流水线需要30个专用转换来实现给定的转换目标，则相应的传感器数据处理流水线系统可包括30个专用组件，以使每个专用转换由一个专用组件执行。此外，在一些系统实现方式中，在多于一次需要转换的情况下，硬件组件可能会重复。替代地，在一些系统实现方式中，可能需要附加的硬件和/或电路，以使得单个组件能够被重新用于多次转换(未示出)。无论如何，在处理流水线系统中，随着转换次数的增加，系统所需的硅占用面积也会增加。

因此，其它传感器数据处理流水线系统可包括替代的专用组件和/或附加的专用组件，而不是图2所示的特定专用组件208(A)-208(N)。在某些系统中，输入204可以直接从替代系统而不是图像传感器202传输。例如，输入204可以从光探测和测距(LiDAR)系统，惯性导航系统(INS)，雷达，或其它传感器传输到与期望的转换目标相对应的传感器数据处理流水线系统。替代地，在一些实施例中，输入204可以在到达传感器数据处理流水线系统(例如，图像数据处理流水线系统200)之前从传感器传输到预处理系统。另外，特定的传感器可以具有与其相关联的一个以上的数据处理流水线以实现特定的转换目标，从而使流水线系统中的特定于任务的转换组件不同于或在顺序上不同于图2所示的特定于任务的转换组件208(A)-208(N)。虽然所示的图像数据处理流水线系统可应用于针对特定传感器(例如，如所示的图像传感器202)的特定转换目标，但是可以针对不同的传感器和/或转换目标使用不同的特定于任务的转换组件来配置不同的传感器数据处理流水线系统。例如，LiDAR数据处理流水线系统可包括以流水线方式的各种其它特定于任务的转换组件，以完成转换目标：将通过LiDAR传感器采集的原始LiDAR数据转换为第二系统(例如，感知系统)可解释的形式。替代的LiDAR数据处理流水线系统可包括以流水线方式排序的各种特定于任务的转换组件，以实现转换目标：将由LiDAR传感器采集并通过预处理系统放大的输入数据转换为第二系统(例如，感知系统)可解释的形式。

图3示出了根据本发明示例实施例的用于处理图像数据的方法的流程图表示。如图所示，使用特别训练的神经网络(例如，特别训练的图像数据处理神经网络304)，将输入302处理成输出306。训练的图像数据处理神经网络304被特别地训练以近似于一系列特定于任务的转换。例如，如图所示，训练的图像数据处理神经网络304被特别地训练以近似于由图像数据处理流水线100执行的特定于任务的转换106(A)-106(N)。但是，与图像数据处理流水线100不同，仅使用单个分量将输入302转换为近似于输出104的输出306。

在示例实施例中，使用传感器数据处理神经网络(例如，训练的图像数据处理神经网络304)执行传感器数据处理，该传感器数据处理神经网络学习以近似于高级处理任务和低级处理任务二者。另外，一些实施例使用传感器数据处理神经网络(例如，训练的图像数据处理神经网络304)执行传感器数据处理，该传感器数据处理神经网络学习以同时近似于至少一项高级处理任务和至少一项低级处理任务。

在另外的示例实施例中，训练的图像数据处理神经网络304可以学习以近似于包括未在图像数据处理流水线100中示出的附加转换的数据处理流水线。例如，图像数据处理神经网络304可以学习以近似于具有针对所采集图像中的突出显示区域或感兴趣主体的一个或多个附加转换的图像数据处理流水线100。具体地，可以利用附加转换将输入数据转换成表示图像的输出数据，该图像突出显示了输入数据中的一个或多个感兴趣的对象或区域，例如采集的图像中的一个或多个人。

在示例实施例中，训练的图像数据处理神经网络304可近似于包括一系列顺序执行的特定转换的转换。

在示例实施例中，输入302可以是原始数据，意味着从传感器收集并在没有任何中间处理的情况下作为输入302接收的数据。在另一实施例中，输入302可以是部分处理的数据，意味着已经通过至少一个转换处理的数据。

在示例实施例中，输出306可以是半处理的数据，这意味着输出数据还不具有终端系统可解释的形式，并且需要进一步的处理。在另一个实施例中，输出306可以具有可由终端系统解释的格式。

训练的图像数据处理神经网络304仅是近似于示例图像数据处理流水线100的神经网络的示例实施例。一些实施例的神经网络可以近似于其它数据处理流水线。一些实施例的神经网络可以近似于执行图1中未示出的转换的数据处理流水线。另外，一些实施例的神经网络可以近似于包括图1所示的一些或全部转换的数据处理流水线。

因此，图3中所示的被训练以近似于图像数据处理流水线100的特定训练的图像数据处理神经网络304不应被用于限制本发明实施例的精神和范围。

图4示出了用于处理图像数据的示例单组件传感器数据处理系统，本发明的实施例可以在该系统中进行操作。如图所示，单个专门的硬件组件，例如训练的图像数据处理组件408，被配置为实现图3所示的训练的图像数据处理神经网络304。图像传感器202再次采集输入204。图像传感器202将输入204传输到训练的图像数据处理组件408以进行处理。训练的图像数据处理组件408将输入204转换为输出406。

训练的图像数据处理组件408被配置成近似于图像数据处理流水线系统200。因此，来自训练的图像数据处理组件408的输出406精确地近似于输出206。换句话说，训练的图像数据处理组件408可以有效地代替图像数据处理流水线系统200。如图所示，训练的图像数据处理组件可以是系统410中的单个组件。例如，系统410可以是包括训练的图像数据处理组件408的片上系统。在装置的一些实施例中，系统410仅包括训练的图像数据处理组件408，从而替代与标准图像数据处理流水线系统相关联的所有其它处理和存储器模块。

如示例系统中所示，由单个训练的图像数据处理组件408体现的训练的图像数据处理神经网络304近似于多组件图像数据处理流水线系统200。因此，如在图4中所示，单个专用硬件组件(例如，训练的图像数据处理组件408)精确地近似于使用图2所示的多个专用组件208(A)-(N)完成的转换。因此，训练的图像数据处理组件408可以代替图像数据处理流水线系统200。因此，通过使用单个专用硬件而不是通过以流水线方式执行多个转换来进行从输入到输出的转换，图4所示的图像数据处理系统实质上需要更少的硬件，从而减少了系统的硅占用面积，降低了材料成本，增加了其它系统的可用硬件空间，降低了所需的功耗，并提高了整体系统效率和效能。

在示例实施例中，训练的图像数据处理组件408可以体现神经网络，该神经网络被训练以近似于具有附加步骤的传感器数据处理流水线(例如图像数据处理流水线100)。例如，训练的图像数据处理组件408可体现神经网络，该神经网络被训练以通过图1所示的转换与附加转换来处理图像数据，该附加转换完成在处理的图像中突出显示一个或多个人的任务。

系统的一些实施例被配置为向另一个系统，例如显示或渲染系统，输出。相反，系统的一些实施例被配置为向另一处理系统输出以进行进一步处理。

应当理解，可以以多种不同方式来体现训练的图像数据处理组件408，例如体现训练的信号处理神经网络的各种硬件实现方式。例如，训练的图像数据处理组件408可以由片上系统来体现，该片上系统包括用于实施训练的神经网络，特别是用于体现训练的图像数据处理神经网络304的单个定制集成电路。替代地或附加地，组件可以由其它集成电路配置来体现，这些集成电路配置替代被设计为以流水线方式执行的现有的一组处理和存储器硬件。在示例实施例中，为了体现训练的神经网络，单个定制的集成电路包括一组算术单元，逻辑单元和/或缓冲单元，例如，被配置为存储中间结果的单元。

图4所示的单组件系统提供了相对于多组件图像数据处理流水线系统200的显著优点。例如，由于由单个训练的图像数据处理组件408所体现的神经网络执行了一组就地(in-place)操作，因此提高了吞吐量。另外，将所需的组件数量从所示的十四个减少到一个，相应地将功耗，硅占用面积和材料成本各自减少了十四倍。同样，通过将所需组件的数量从14个减少到一个，可以使更大的硬件空间可用，例如用于其它系统组件。

图5示出了可以由本发明的实施例实现的用于处理LiDAR数据的示例系统架构。如图所示，单个专门的硬件组件，训练的LiDAR数据处理组件508，被配置为充当LiDAR数据处理神经网络。类似于训练的图像数据处理神经网络304，LiDAR数据处理神经网络可近似于以流水线方式顺序执行的一系列特定于任务的转换，以实现给定的转换目标。类似地，训练的LiDAR数据处理组件508可近似于传感器数据处理流水线系统，该传感器数据处理流水线系统利用布置在线性流水线中的一系列特定于任务的转换组件来实现LiDAR数据处理流水线，类似于图像数据处理流水线系统200，但具有不同的特殊配置的硬件组件。输入数据504由LiDAR传感器502采集，并传输到训练的LiDAR数据处理组件508。训练的LiDAR数据处理组件508近似于由LiDAR数据处理流水线系统执行的一系列LiDAR数据转换，作为输出506。

在示例实施例中，由训练的LiDAR数据处理组件近似的转换目标可以是将LiDAR传感器数据转换为第二系统可解释的形式。在图5所示的实施例中，例如，训练的LiDAR数据处理组件508可以体现LiDAR数据处理神经网络，该神经网络将来自LiDAR传感器(例如LiDAR传感器502)的输入数据(例如输入504)转换为输出数据(例如输出数据506)，该输出数据是感知系统(例如感知系统510)可解释的。感知系统可以被配置为利用输入数据来执行一个或多个任务，例如现场环境分析。因此，在所示的系统中，训练的LiDAR数据处理组件508可以以感知系统510可解释的形式提供输出506，以用于进一步的分析。

在另外的实施例中，训练的LiDAR数据处理组件508可被配置为向另一系统提供输出，该另一系统例如是显示器或其它渲染系统，分析系统或决策系统。在另一个实施例中，训练的LiDAR数据处理组件508可被配置为输出到另一个处理系统以进行进一步处理。

如图所示，训练的LiDAR数据处理组件508可以是系统512中的单个组件。例如，系统512可以是具有系统512中的单个组件的片上系统，其特别地包括训练的LiDAR数据处理组件508。在装置的一些实施例中，系统512仅包括训练的LiDAR数据处理组件508，从而替代与标准LiDAR数据处理流水线系统相关联的所有其它处理和存储模块。

如图5所示，训练的LiDAR数据处理组件508相比于利用多个特定于任务的转换组件的多组件系统，提供了显著的优点。例如，由于由单个训练的LiDAR数据处理组件508所体现的神经网络执行了一组就地操作，因此提高了吞吐量。另外，训练的LiDAR数据处理组件508将所需的组件数量减少到一个，从而减少了功耗，材料成本，和硅占用面积。类似地，通过将所需的组件数量减少到一个，训练的LiDAR数据处理组件508可小于LiDAR数据处理流水线，这节省了空间。

此外，系统可以利用多个训练的数据处理组件，例如具有图3和图4所示的类型，其中，不同的组件例如并联或串联布置。例如，多传感器系统可具有图像传感器和LiDAR传感器。示例系统可利用训练的图像数据处理组件，例如训练的图像数据处理组件408，将来自图像传感器的数据转换成显示系统可解释的形式。另外，示例系统可以利用单个训练的数据处理组件，例如训练的LiDAR数据处理组件508，将来自LiDAR传感器的LiDAR数据转换为感知系统可解释的形式。随着在系统内利用附加的传感器，利用示例实施例的系统的优点加剧。

图4和图5仅是利用单个训练的传感器数据处理组件的单组件传感器数据处理系统的示例系统，该单个训练的传感器数据处理组件被训练以体现神经网络。其它训练的传感器数据处理组件可体现被训练以近似于其它传感器数据处理流水线的其它神经网络。在一些实施例中，训练的传感器数据处理组件被训练以体现接近于传感器数据处理流水线的神经网络，该传感器数据处理流水线可包括除在图1中所示的特定转换106(A)-106(N)或如上所述的转换之外的替代转换和/或附加转换。因此，这样的单组件传感器数据处理系统可代替相应的传感器数据处理流水线系统，同时实现相同的转换目标。另外，特定传感器可以具有与其相关联的多于一个的训练的传感器数据处理组件，以实现特定的转换目标，使得与特定传感器相关联的训练的传感器数据处理组件中的每一个近似于不同的传感器数据处理流水线，该传感器数据处理流水线包括以流水线方式执行的多个特定于任务的转换。如果特定的传感器具有与该传感器关联的多个特定于传感器的转换，使得特定于传感器的转换必须顺序执行以实现给定的转换目标，则相应的单组件数据处理系统将使用体现神经网络的单个训练的传感器数据处理组件，该神经网络被训练以近似于顺序执行的特定于传感器的转换。因此，本发明的实施例可以针对任何传感器来实现，其中，相应的传感器数据处理流水线系统实施多个特定于任务的转换以满足特定的转换目标。

因此，图4和图5中所示的单组件传感器数据处理系统不应该用于限制本发明的实施例的精神和范围。

图6示出了描述根据本发明的实施例的用于训练专用神经网络的方法的流程图。将理解，流程图的每个框以及流程图中的框的组合可以通过各种方式来实现，诸如硬件，固件，处理器，电路和/或与包括一个或多个计算机程序指令的软件的执行相关联的其它设备。例如，所描述的过程中的一个或多个过程可以由计算机程序指令来体现。在这方面，体现上述过程的计算机程序指令可以由采用本发明实施例的装置的存储器存储，并由该装置中的处理器执行。

如将理解的，任何这样的计算机程序指令可以被加载到计算机或其它可编程装置(例如，硬件，芯片)上以生成机器，使得所得的计算机或其它可编程装置提供在流程图框中指定的功能的实现。这些计算机程序指令还可存储在非暂时性计算机可读存储存储器中，该非暂时性计算机可读存储存储器可以引导计算机或其它可编程装置以特定方式起作用，从而使得存储在计算机可读存储存储器中的指令产生制品，该制品的执行实现了流程图框中指定的功能。

计算机程序指令还可以被加载到计算机或其它可编程装置上，以使得在计算机或其它可编程装置上将要执行一系列操作，以产生计算机实现的过程，使得在计算机或其它可编程装置上执行的指令提供用于实现流程图框中指定的功能的操作。这样，当被执行时，图6的操作将计算机或处理电路转换成被配置为执行本发明的示例实施例的特定机器。因此，图6的操作定义用于配置计算机或处理器以执行示例实施例的算法。在一些情况下，通用计算机可以被提供有执行图6的算法的处理器的实例，以将通用计算机转换为被配置为执行示例实施例的特定机器。

因此，流程图中的框支持用于执行指定功能的装置的组合以及用于执行指定功能的操作的组合。还将理解，流程图中的一个或多个框以及流程图中的框的组合可以通过执行指定功能的基于专用硬件的计算机系统或专用硬件和计算机指令的组合来实现。

在一些示例实施例中，一种方法，装置和计算机程序产品可以被配置用于训练数据处理神经网络，并且更具体地，用于训练神经网络以通过近似于多个个体转换来将输入数据转换成输出数据。在一个实施例中，输入数据是由传感器直接采集的原始数据。在一个实施例中，输出具有第二系统可解释的形式。

图6是示出根据本发明的实施例的用于训练专用数据处理神经网络的方法的示例流程图。应当理解，图6的操作可在专用硬件组件上执行，尽管在一些实施例中其不限于单个专用硬件组件。例如，可以类似地训练非集成电路系统。

另外，应当理解，可以使用各种神经网络框架来实现专用数据处理神经网络。例如，在特定实施例中，专用数据处理神经网络可以实现深度神经网络框架。在一些实施例中，替代的神经网络框架被实现以产生相似的结果。

在本发明的示例实施例中，用户可以根据图6所示的方法，利用包括计算设备的系统来训练神经网络。例如，如框602所示，可以接收输入数据集。输入数据集中的每个元素可以是收集的数据传感器值，例如，当携带传感器的车辆沿着特定路线前进(例如，行驶)时，表示由传感器(例如图像传感器，LiDAR传感器等)收集的数据的数据值。如框604所示，然后可以接收已处理数据集。已处理数据集可以是由多组件传感器数据处理流水线提供的输出，例如在处理由传感器提供的输入之后，由图2所示的图像数据处理流水线系统200处理的输出206。已处理数据集中的每个元素可以是例如与输入数据集中的给定值配对的数据表示。因此，输入数据集值可以与已处理数据集值相对应，使得对应的已处理数据集值是给定的数据处理流水线系统(例如，图像数据处理流水线系统200)的输出，其中输入数据集值作为输入。如下所述，可分别从传感器和数据处理流水线系统直接接收输入和已处理数据集，或者可以将输入和/或已处理数据集存储在作为计算机系统的组成部分或可由计算机系统访问的存储器中。如方框606所示，然后可以使用包括输入数据集和已处理数据集的组合数据集来训练神经网络。每个输入数据集值和相应的已处理数据集值可以形成一个元组(输入，已处理)。元组可用于训练神经网络以近似于由传感器数据处理流水线系统中用于创建已处理数据集的多个特定于任务的转换组件执行的整体转换。将理解的是，可使用各种神经网络训练技术和算法(包括任何复原式网络，例如起始(inception)网络架构)来执行框606中的训练。在一些实施例中，损失函数与训练该数据处理神经网络相关联。在一些实施例中，与训练该数据处理神经网络相关联的损失函数是对数损失或交叉熵损失。

在一些实施例中，在部署神经网络之前，使用训练计算设备或多个计算设备来训练神经网络。在系统的一些实施例中，执行训练的计算设备包括处理器和包括计算机编码指令的存储器，使得存储器和处理器被耦接以在相应软件的控制下执行上述操作。例如，可将经过特殊编程的计算机配置为训练用于如本文所述的信号数据处理的神经网络，并且随后，利用单个专用数据处理组件将训练的神经网络部署在芯片上的系统上，以实现如本文所述的神经网络。

在可选框608处，去除形成数据处理流水线系统(例如，多组件传感器数据处理流水线)的硬件，该数据处理流水线系统用于创建已处理数据集。在一些实施例中，训练系统包括形成数据处理流水线系统的硬件。在一些实施例中，该系统用于针对至少一个先前收集的输入值来转换已处理的数据值。在一些实施例中，数据处理流水线系统硬件允许实时收集输入数据集和/或已处理数据集。例如，在一些实施例中，具有一个或多个传感器的自主车辆采集特定路线上的输入数据并将其存储在输入数据集中。在一些实施例中，具有一个或多个传感器的自主车辆包括车载数据处理流水线系统硬件，其用于在采集输入值时生成已处理数据集，从而可以实时生成已处理数据集。

本领域普通技术人员将容易理解，上述方法是通用的，并且可以从包括不同输入源类型的随机集合的多个输入数据集进行训练。经过一般训练的这种实现方式的另一个优点是能够覆盖以前看不见的输入，例如来自看不见或独特区域的图像采集数据。

在示例实施例中，输入数据集可以包括多个组成数据集。可以基于多个组成数据集来构造输入数据集。

在另一个示例实施例中，一个或多个输入数据集可以包括标记的数据，其中该标记表征相关数据。被标记的数据可以基于聚集(aggregated)数据被自动标记。例如，在由自主车辆收集的图像数据集中，数据集可以包含用于所检测的环境观察的图像数据。可以在遍及相同区域或沿着相同路线的一系列驾驶路程(drive)上构建此数据集。系统可以自动检测相同位置的内容之间的差异，并基于所检测的观察是否在多个数据聚集时间段之间移动来自动标记数据。

在一些实施例中，实时收集在框602中接收的输入数据集。例如，LiDAR传感器可以在特定路线上实时收集LiDAR数据，并将数据存储在输入数据集中。在一些实施例中，可以将实时收集的输入数据集与第二数据集组合以形成混合数据集，该第二数据集可能已经预先收集或在第二时间实时收集。

在一些实施例中，还实时收集或生成已处理数据集。在一些实施例中，已处理数据集是预先收集的或预先生成的。在一些实施例中，已处理数据集是混合数据集，包括实时收集或生成的数据值以及预先收集或预先生成的数据值。已处理数据集类型(例如，实时，预先收集，预先生成，混合等)可能与输入数据集的类型(例如，实时，预先收集，预先生成，混合等)不同。实时处理的数据集可包含通过由多个特定于任务的转换组件形成的系统(例如图像数据处理流水线系统200)实时处理的值。例如，具有相关联的LiDAR传感器的车辆也可具有相关联的LiDAR数据处理流水线系统和单组件的训练的LiDAR数据处理组件以进行图6所示的训练过程。LiDAR传感器可收集输入值，并将输入值存储在输入数据集中。然后，例如输入值可以被输入到相关联的LiDAR数据处理流水线系统中，并被完全处理成输出值，该输出值然后可被存储在已处理数据集中。然后可利用输入数据集和已处理数据集创建(输入，已处理)的组合数据集。然后，来自组合数据集的元组例如被输入到体现正在接受训练的神经网络的单组件中。在一些实施例中，在体现神经网络的单组件以期望的精度近似于由LiDAR数据处理流水线系统产生的已处理数据值之后，认为训练已完成。在一些实施例中，然后移除LiDAR数据处理流水线系统硬件。在一些实施例中，然后将体现神经网络的单组件用于执行实时LiDAR数据处理。

在一些实施例中，在收集了所有期望的输入数据值并且计算了所有处理的数据值之后创建组合数据集。替代地，在一些实施例中，将输入数据值连续输入到LiDAR数据处理流水线系统中以产生已处理数据值，并且随着收集新的输入，使用(输入，已处理)的新元组来训练体现正在接受训练的神经网络的单组件。在一些实施例中，可能需要这种连续训练以进一步提高体现神经网络的单组件的准确性。

根据上文，训练的传感器数据处理神经网络可近似于传感器数据处理流水线。因此，训练的传感器数据处理神经网络的输出可以近似于传感器数据处理流水线的相同输出，但是不一定必须执行在传感器数据处理流水线中执行的所有或任何特定中间计算或转换。类似地，单组件训练的传感器数据处理神经网络系统不一定需要生成由多组件传感器数据处理流水线系统生成的所有或任何特定中间值。因此，训练的传感器数据处理神经网络可完全替代传感器数据处理流水线，并且单组件的训练的传感器数据处理神经网络系统可替代相应的传感器数据处理流水线系统的所有组件。因此，系统的实施例可减少相关联的系统组件的硅占用面积，减少所需的功率消耗，降低组件成本，并提高传感器数据处理流水线系统的效率和效能。

这样，训练的传感器数据处理组件可减少组件的硅占用面积，降低所需的功率消耗，降低组件成本，以及提高传感器数据处理系统的效率和效能。

在一些实施例中，以上的某些操作可以被修改或进一步放大。此外，在一些实施例中，可以包括附加的可选操作。对以上操作的修改，添加或放大可以以任何顺序和以任何组合来执行。

受益于前述描述和相关附图中呈现的教导，这些发明所属领域的技术人员将想到本文中阐述的本发明的许多修改和其它实施例。因此，应当理解，本发明不限于所公开的特定实施例，并且修改和其它实施例旨在被包括在所附权利要求的范围内。此外，尽管前述描述和相关附图在元件和/或功能的某些示例组合的上下文中描述了示例实施例，但是应当理解，可以由替代实施例提供元件和/或功能的不同组合，而不脱离所附权利要求的范围。在这点上，例如，如在所附权利要求中的一些所阐述的，与上文明确描述的元件和/或功能的组合不同的组合也被设想。尽管本文采用了特定术语，但是它们仅在一般性和描述性意义上使用，而不是出于限制的目的。

Claims (18)

1.一种单组件传感器数据处理系统，包括单个训练的传感器数据处理组件，并被配置为：

从传感器接收输入数据；

使用由所述单个训练的传感器数据处理组件体现的神经网络分析所述输入数据，其中，所述单个训练的传感器数据处理组件被训练以产生输出数据，所述单个训练的传感器数据处理组件近似于以流水线方式执行的多个特定于任务的转换；以及

在转换所述输入数据之后产生所述输出数据。

2.根据权利要求1所述的单组件传感器数据处理系统，其中，所述单组件传感器数据处理组件还被配置为：

向第二系统输出所述输出数据。

3.根据权利要求1所述的单组件传感器数据处理系统，其中，所述多个特定于任务的转换包括顺序执行的特定于传感器的转换。

4.根据权利要求1所述的单组件传感器数据处理系统，其中，所述输入数据包括原始数据。

5.根据权利要求1所述的单组件传感器数据处理系统，其中，所述输入数据包括已经历了至少一个预处理转换的数据。

6.一种用于处理数据的方法，包括：

配置神经网络以执行多个特定于任务的转换；

从传感器接收输入数据；

使用体现所述神经网络的单个训练的传感器数据处理组件来分析所述输入数据，其中，所述单个训练的传感器数据处理组件被训练以产生输出数据，所述单个训练的传感器数据处理组件近似于以流水线方式执行的多个特定于任务的转换；以及

在利用所述单个训练的传感器数据处理组件对所述输入数据进行转换之后，从所述单个训练的传感器数据处理组件中产生所述输出数据。

7.根据权利要求6所述的用于处理数据的方法，还包括：向第二系统输出所述输出数据。

8.根据权利要求6所述的用于处理数据的方法，其中，所述多个特定于任务的转换包括顺序执行的特定于传感器的转换。

9.根据权利要求6所述的用于处理数据的方法，其中，所述输入数据包括原始数据。

10.根据权利要求6所述的用于处理数据的方法，其中，所述输入数据包括已经历了至少一个预处理转换的数据。

11.一种用于训练神经网络的方法，所述神经网络由单个传感器数据处理组件体现，所述方法包括：

从至少一个传感器收集的输入数据集中接收输入数据；

从由传感器数据处理流水线系统创建的已处理数据集接收已处理数据，所述传感器数据处理流水线系统包括多个特定于任务的转换组件；以及

利用所述多个特定于任务的转换组件，训练由所述单个传感器数据处理组件体现的神经网络以近似于从所述输入数据到所述已处理数据的转换。

12.根据权利要求11所述的用于训练神经网络的方法，其中，所述输入数据集是预先收集的输入值数据集。

13.根据权利要求11所述的用于训练神经网络的方法，其中，所述输入数据集是实时收集的数据集。

14.根据权利要求11所述的用于训练神经网络的方法，其中，所述已处理数据包括实时处理的数据。

15.根据权利要求11所述的用于训练神经网络的方法，其中，所述已处理数据集是预先收集的数据集。

16.根据权利要求11所述的用于训练神经网络的方法，其中，所述输入数据包括原始数据。

17.根据权利要求11所述的用于训练神经网络的方法，其中，所述输入数据包括已经历了至少一个预处理转换的数据。

18.根据权利要求11所述的用于训练神经网络的方法，还包括：

去除与包括所述多个特定于任务的转换组件的所述传感器数据处理流水线系统相关联的硬件。

Images